Похоже, у Jev появилась открытая локальная альтернатива — Laya.
Laya - локальная открытая модель принятия решений на 421 млн параметров. Она работает со структурированными решениями (быстрые ответы да/нет, оценка или выбор из вариантов).
> работает менее чем с 1 ГБ памяти
> бесплатно доступна на Hugging Face
> запускается на ноутбуке и даже на телефоне
В тесте Laya сравнили с облачным Jev. Обе системы играли в одну и ту же змейку с одинаковым форматом решений в течение 30 секунд.
> Laya — счёт 46, длина 52, 86,5 решений в секунду, P50 около 9 мс
> Jev — счёт 1, длина 7, 3,2 решения в секунду, полный цикл запроса к API 317 мс
На M5 Pro медианное время составило 15,3 мс для локальной Laya и 298,1 мс для облачного Jev. Это почти 20-кратная разница в этом тесте.
Главное отличие здесь в том, что Laya принимает каждое решение локально, тогда как Jev на каждом шаге ждёт ответ от облачного API.
При этом у проекта есть два ограничения, о которых заявляется прямо:
1) контекст всего 512–1024 токена, поэтому некоторые задачи просто не поместятся
2) без дополнительной настройки Laya хуже обобщает, чем Jev
