Теперь DeepSeek-V4.1-Flash с 763 миллиардами параметров можно запустить локально даже на видеокарте с 12 ГБ видеопамяти.
Исследователи из австрийского института IST Austria представили квантованную версию модели, используя метод GSQ-RCO, а разработчики движка инференса Strata обеспечили возможность её запуска на потребительских видеокартах.
Согласно результатам испытаний:
> RTX 5070 с 12 ГБ видеопамяти и 64 ГБ оперативной памяти обеспечивает около 5 токенов в секунду при генерации ответа и до 231 токена в секунду при обработке входного контекста.
> RTX 3060 с 12 ГБ видеопамяти и 46 ГБ оперативной памяти достигает 8–10 токенов в секунду при генерации ответа и около 149 токенов в секунду при обработке входного контекста.
Однако для запуска потребуется значительный объём оперативной памяти и не менее 239 ГБ свободного места на накопителе, поскольку большая часть весов модели хранится в оперативной памяти и на SSD, откуда подгружается по мере необходимости.
Разумеется, подобную скорость трудно назвать высокой, а выполнение сложных агентных задач по-прежнему требует немалых вычислительных ресурсов.
Тем не менее сама возможность запустить модель с 763 миллиардами параметров на обычном компьютере свидетельствует о существенном прогрессе в области квантования и оптимизации инференса.
https://huggingface.co/ISTA-DASLab/DeepSeek-V4.1-Flash-1017-GSQ-RCO-GGUF