Baidu выпустила веса ERNIE-5.5-Flash-Base с контекстом до миллиона токенов

Baidu опубликовала на Hugging Face веса ERNIE-5.5-Flash-Base в форматах FP8 и BF16. Это базовая текстовая модель на стадии завершённого предобучения, без последующих этапов настройки. Разработчики могут использовать её как основу для адаптации под отдельные области, обучения следованию инструкциям и исследований обучения с подкреплением.

По данным Baidu, модель построена на архитектуре Mixture-of-Experts: из 280 млрд параметров на каждый токен активируются 14 млрд. Для предобучения использовали 33,5 трлн токенов, а длина обучающего контекста достигала 128 тысяч токенов. При дообучении и выполнении запросов поддерживается контекст до 1 048 576 токенов.

Для развёртывания предусмотрена поддержка SGLang и vLLM. Веса распространяются по собственной лицензии ERNIE 5.5 Flash Base Model License Agreement v1.0.