Авторы препринта Publications as benchmarks предложили превращать научные публикации в проверяемые тесты для ИИ-агентов. Работу разместили на arXiv 9 ноября 2026 года. Подход продемонстрировали на выравнивании данных пространственной транскриптомики — исследований активности генов с учётом их расположения в ткани.
В исследовании сравнили шесть ИИ-агентов и 16 базовых методов на 121 задаче. По данным авторов, лучшие агенты — GPT-6-Astra и Gemini-4-Argon — на 80% задач достигли результатов не хуже всех базовых методов или превзошли их. При этом агенты нередко использовали простые эвристики — практические правила решения задач.
Создание тестов также выявило ошибки в предыдущих работах и способы получать высокий результат за счёт особенностей метрик оценки. Это показывает, что проверка затрагивала не только агентов, но и сами критерии, по которым оценивали решения.
Решения, созданные агентами, авторы преобразовали в повторно используемую программу. На ранее не виденных данных она вошла в верхние 10% базовых методов по результатам сравнения.
Комментарии
Увлечённо обсуждая, не забывайте про уважение.
Загружаем комментарии…