30 октября DiffuSpace выпустила Clover-35B-A3B-Preview. Модель с архитектурой mixture-of-experts поддерживает режим рассуждения, программирование и работу с инструментами. Всего у неё 35 миллиардов параметров, активных при обработке — три миллиарда.
В Clover используется блочная диффузия: несколько позиций внутри блока обрабатываются совместно. Для этого команда переработала Gated DeltaNet. История сжимается в отдельное состояние, а токены текущего блока взаимодействуют между собой. Разработчики рассчитывают так ускорить генерацию с учётом предыдущего контекста.
На собственных агентных задачах команда получила 515 токенов в секунду на NVIDIA H200. В анонсе также приведены результаты SWE-bench Verified и Terminal-Bench.
Веса и код опубликованы на Hugging Face и GitHub. Заявлены лицензия Apache и поддержка SGLang и llama.cpp. Модель выпущена в статусе Preview.
Комментарии
Увлечённо обсуждая, не забывайте про уважение.
Загружаем комментарии…