Исследователи представили Embodied First Exam — тест для ИИ-агентов, способных писать код и управлять роботами. Препринт опубликован на arXiv 9 ноября 2026 года. Набор включает 1156 задач в 35 группах для 47 роботов и предназначен для проверки агентов в симуляции перед выходом в физический мир.
Агент может выбрать способ решения: управлять роботом напрямую, написать управляющий код или обучить политику — модель, которая выбирает действия по наблюдениям. Девять новых групп задач охватывают пространственные головоломки, точные манипуляции, взаимодействие нескольких роботов, динамическое управление всем телом и инженерные задачи переноса между симуляторами.
В стандартном режиме агент получает только сенсорные наблюдения и по умолчанию не может перезапускать среду. В варианте Realtime симуляция продолжает работать, пока агент рассуждает. Отдельный привилегированный режим открывает полное состояние симулятора и разрешает неограниченные перезапуски; авторы используют его результаты как приблизительную верхнюю границу успешности.
По результатам команды, на 456 основных задачах лучший из восьми проверенных агентов — GPT-6 Astra в Codex — достиг 34% успешных решений в стандартном режиме. Этот показатель относится к указанной части теста, а не ко всему набору или испытаниям на физических роботах.
Комментарии
Увлечённо обсуждая, не забывайте про уважение.
Загружаем комментарии…