Обратите внимание на новую волну моделей System One, если вы создаёте собственные harness-системы.
Сначала Jev. Теперь Contrastive Language Model (CLM).
CLM работает в 9 раз быстрее, чем Jev.
Похоже, что CLM лучше справляется с ролью верификатора, особенно в задачах с длинным горизонтом выполнения.
Чем отличаются Jev и CLM?
CLM использует контрастное обучение, а Jev обучается с помощью Reinforcement Learning for Calibrated Decisions (RLCD).
Jev получает ситуацию вместе с заранее определёнными вопросами и возвращает типизированные решения с вероятностями.
CLM кодирует ситуацию и возможные действия в эмбеддинги, сравнивает их сходство, а затем ранжирует или выбирает наиболее подходящий вариант.
Суть в том, что существует несколько способов решать эту задачу, и это действительно интересно.
