Jev 1.13 от TypeSafe: быстрая и недорогая модель для автоматизации
Определить тему письма, выбрать подходящий документ, заметить спам — внутри приложений постоянно возникают такие задачи. Для них TypeSafe разработала Jev 1.13. Модель работает с текстовыми данными и возвращает выбранный вариант, оценку или вероятность.
TypeSafe относит Jev к классу System One — моделям для быстрых, структурированных решений. Она оценивает данные по заданным критериям, а программа использует результат в своей логике. Генерация статей, кода и ответов в чате в её задачи не входит. Как устроена Jev.
Модели передают данные и вопросы к ним. Например, обращение «Деньги списались дважды» и список отделов: оплата, техническая поддержка, управление аккаунтом. Jev выбирает подходящий вариант из заданного списка.
Вопросы бывают трёх типов:
Choice — выбрать один вариант из списка, например категорию обращения.
Score — оценить данные по описанной шкале, например степень недовольства клиента.
Noul — оценить вероятность выполнения условия, например того, что пользователь просит возврат.
Несколько вопросов можно передать вместе с одним текстом: Jev обрабатывает их параллельно и независимо. Это позволяет за один запрос определить тему обращения, признаки срочности и намерение клиента. Типы вопросов и их обработка.
Практических применений у такого подхода довольно много:
Поддержка. Разбирать входящие обращения и распределять их по очередям. Простой вопрос о статусе заказа можно направить в автоматический обработчик, а неоднозначную жалобу — сотруднику.
Выбор нейросети. Предварительно оценивать тему и сложность запроса, чтобы приложение могло выбрать подходящую модель. Это может сократить расходы на обработку простых задач.
Модерация. Проверять комментарии на признаки спама и нарушения правил площадки. Спорные случаи можно оставлять на ручную проверку.
Поиск по базе знаний. Оценивать, насколько найденные документы соответствуют вопросу пользователя, и выбирать полезные материалы для помощника, который подготовит ответ.
Это примеры возможных сценариев; похожие варианты собраны в документации TypeSafe.
TypeSafe сообщает о времени ответа 70–500 мс в своих измерениях и связывает эффективность Jev с параллельной обработкой результатов. Замеры проводились преимущественно с западного побережья США, поэтому фактическую задержку нужно проверять в своём приложении. Данные разработчика.
Низкая стоимость особенно полезна при обработке тысяч писем и отзывов. Реальная экономия будет зависеть и от того, как часто результат потребует дополнительной проверки.
Попробовать такой сценарий можно через Decisions API GoRouter. Ниже — запрос, который выбирает отдел для обращения. GOROUTER_API_KEY — переменная окружения с API-ключом GoRouter:
curl https://gorouter.ru/api/v1/decisions \
-H "Authorization: Bearer $GOROUTER_API_KEY" \
-H "Content-Type: application/json" \
-d '{
"model": "typesafe/jev-1.13",
"state": "Списали оплату дважды. Хочу вернуть лишний платёж.",
"questions": {
"department": {
"type": "choice",
"instructions": "Выбери отдел для обработки обращения.",
"criteria": {
"billing": "Платежи и возвраты денег",
"technical": "Ошибки в работе сервиса",
"account": "Доступ к аккаунту и настройки",
"other": "Обращения на другие темы"
}
}
}
}'Результат находится в answers.department.choice. Если модель выбрала billing, приложение может направить обращение специалисту по оплате.
Для Choice и Score также возвращаются вероятности вариантов и показатель confidence. Он помогает определить, насколько однозначен выбор модели. При низкой уверенности программа может запросить уточнение или передать задачу человеку. Порог подбирают на собственных данных: высокая уверенность сама по себе не гарантирует правильный ответ. Подробнее о confidence.
У Jev 1.13 есть и ограничения. Она может слишком буквально понимать инструкции, ошибаться в подсчётах и сравнении дат, терять точность из-за лишних деталей. Поэтому вопросы лучше делать конкретными, а вычисления оставлять обычному коду. Известные ограничения.
TypeSafe: Jev 1.13typesafe/jev-1.13Jev — это структурированная модель принятия решений от TypeSafe и первая из моделей её линейки System One. Модели System One принимают быстрые, структурированные решения для программного обеспечения, возвращая типизированный выбор вместо произвольного текста. Она подходит для маршрутизации, классификации и других точек принятия решений внутри приложения, где важнее быстрый и предсказуемый ответ, чем сгенерированный текст. Подробнее в документации TypeSafe: https://docs.typesafe.ai/concepts/system-oneВход / выходвход5,07 ₽выход0,00 ₽за 1 млн токеновКонтекст 32 тыс.Текст decisionsПодробнее о модели