Исследователи ByteDance и американских университетов опубликовали Axion 1.0 — работу об обучении моделей, которые рассуждают и используют внешние инструменты. Вместе со статьёй вышли код, данные, промпты и процедуры проверки задач, позволяющие воспроизводить отдельные этапы обучения.
Сначала модель учится решать научные и математические задачи самостоятельно. Затем осваивает задания, где нужно искать сведения и выполнять вычисления. Завершающий этап — обучение с подкреплением на взаимодействии с инструментами. Для подготовки задач авторы используют открытые базы данных и программно проверяемые ответы.
В статье исследованы модели на 35 и 122 млрд параметров. Репозиторий отдельно указывает, что доступный чекпойнт Axion 1.0-35B создан сообществом. Официальные веса 122B не представлены. Опубликованный код распространяется по Apache 2.0 и включает генерацию данных, обучение и инструменты оценки результатов.
Комментарии
Увлечённо обсуждая, не забывайте про уважение.
Загружаем комментарии…