Большие языковые модели (LLM) создавались ради генерации текста, однако на практике их всё чаще используют не для написания эссе или реплик в чате, а для принятия решений и классификации данных. Модели передают некий фрагмент — письмо, отзыв, кусок кода — и просят оценить его: выставить рейтинг, ответить «да» или «нет», отнести к одной из заранее заданных категорий.
Всего несколько недель назад вышла модель нового типа под названием Jev, доведённая в этой роли до предела. Она чрезвычайно быстрая, предельно дешёвая и заточена исключительно под принятие решений. Написать хотя бы одно предложение она не способна в принципе — зато раскладывает данные по категориям очень и очень быстро.
Устроена Jev так: на вход по-прежнему подаётся текст, но на выходе модель выдаёт только числа с плавающей точкой. Эти числа и есть «ответы» на заданные пользователем вопросы — бинарные «да/нет», выбор из списка вариантов или оценку по шкале. Разработчик Саймон Уиллисон подготовил сжатый разбор того, что именно умеет Jev и почему новая категория моделей так интересна.
Сказать, что идея «выстрелила», — значит сильно преуменьшить. Энтузиасты наперегонки собирают собственные «решающие» модели и ставят эксперименты. Два характерных примера — Kev и Nimble. Последнюю недавно добавили в список поддерживаемых моделей в Ollama — популярной оболочке для запуска языковых моделей прямо на домашнем компьютере, — и она достаточно компактна, чтобы без труда работать локально.
Главное преимущество таких моделей в том, что они избавляют от необходимости гонять тяжёлую универсальную LLM ради простой разметки: там, где раньше требовался громоздкий облачный сервис, теперь хватает лёгкой модели на локальной машине. Для фильтрации контента, сортировки обращений в поддержку или оценки тональности отзывов именно такого недостающего звена многим и не хватало, чтобы довести идею до рабочего прототипа.
