Tencent выпустила Hy4 Preview — новую модель с открытыми весами под лицензией Apache 2.0.
Это флагманская модель нового поколения на архитектуре смеси экспертов.
У неё 770 млрд параметров, 49 млрд активных, контекстное окно на 1 млн токенов.
Из интересного — Tencent утверждает, что Hy4 смогла параллельно координировать несколько сессий Codex, оценивать их результаты и на основе этого менять направление исследования. В таком режиме модель обошла Codex, работающий в одиночку, сразу на восьми тестах.
Hy4 нацелена на длинные задачи по программированию, работу с несколькими файлами и научные исследования.
Ещё несколько месяцев назад такая модель выглядела бы абсолютным передовым уровнем.
