Thinking Machines Lab представила второе поколение своих моделей, начав с Inkling 2 Small. В её архитектуре 594 млрд параметров, из которых для обработки токена задействуются 17 млрд. Можно передавать изображения и выбирать глубину рассуждения.
По описанию лаборатории, основной упор сделан на длительную самостоятельную работу: программирование, исследовательские задачи и создание сайтов или 3D-сцен с последующей проверкой результата по изображениям. Для обучения использовали многошаговые задачи в разных агентных средах. Аудио модель не поддерживает.
Inkling 2 Small доступна в Tinker Playground, а также для генерации и дообучения через Tinker. Веса на момент анонса закрыты: компания собирается выпустить их под Apache 2.0 после внешнего тестирования безопасности. Разработчики также отмечают, что модель бывает многословной и не всегда удачно выбирает инструменты.
Комментарии
Увлечённо обсуждая, не забывайте про уважение.
Загружаем комментарии…