Команда MNN представила компактную языковую модель MNN-Pocket-0.3B, рассчитанную на работу непосредственно на устройствах, включая смартфоны и умные очки. В техническом отчёте на arXiv от 9 ноября 2026 года авторы объявили о публикации открытых весов и готовых пакетов развёртывания для движка MNN.
Модель содержит 300 млн параметров и поддерживает контекст до 32 тысяч токенов — единиц, на которые разбивается обрабатываемый текст. По измерениям команды, версия INT4 с 4-битным представлением весов занимает 173 МБ, а скорость генерации на iPad Pro M5 с использованием Metal достигает 466 токенов в секунду. Этот результат относится к указанному устройству и способу запуска.
Предобучение включало около 4,1 трлн токенов на китайском и английском языках. Затем разработчики провели обучение выполнению инструкций, перенос навыков от нескольких моделей-учителей и подготовку к работе с пониженной точностью весов. Архитектуру модели и движок MNN оптимизировали с учётом ограничений памяти и вычислительных ресурсов устройств.
Комментарии
Увлечённо обсуждая, не забывайте про уважение.
Загружаем комментарии…