О, новые типы моделей, наконец-то!

Один из ранних разработчиков ChatGPT представил модель нового класса, которая на вопрос с заданными вариантами ответов, возвращает набор вероятностей.

То есть если обычные языковые модели пишут текст в ответ на открытые вопросы, то эта супер быстро и качественно выбирает правильные ответы из multiple choice (выбери один правильный).

Если обычные большие языковые модели (LLM) предсказывают токены (слова) последовательно, то тут ты получаешь все распределение сразу.

И работает она супер быстро, за сотни миллисекунд. В демо, модель играет в Doom, отвечая на вопрос «какую из клавиш на клавиатуре нажать?» 10 раз в секунду.

И стоит она как копье, в примере с Doom — 7$ в час (при 10 запросах в секунду)! Пока только API доступ, по инвайтам, заявки оставлять по ссылке.

Очень хорошее описание с кучей интерактивных примеров и видео, образцовый технический анонс, короткий и емкий, рекомендую почитать первоисточник.