Шэнъюнь Сы, Цзюньцзе Чу, Е Лэн и Ян Чжан представили AutoHRS — методику оценки того, насколько автоматизированные ИИ-исследователи воспроизводят решения и результаты работы учёных при сопоставимом исходном контексте. Препринт опубликован на arXiv 9 ноября 2026 года.
AutoHRS оценивает сходство по отдельным этапам научной работы. Для проверки авторы взяли 152 статьи, представленные в формате устных докладов на конференции ICLR, и сформировали на их основе 456 исследовательских траекторий, охватывающих разные стадии исследования.
По выводам команды, современные ИИ-исследователи часто не восстанавливают ключевые решения людей и связанные с ними результаты на нескольких этапах работы. Этот вывод касается сходства исследовательского пути и его результатов с человеческими, а не общей оценки научной ценности работ, созданных агентами.
Комментарии
Увлечённо обсуждая, не забывайте про уважение.
Загружаем комментарии…