OpenAI и Ligo представили BioBasicsBench — 100 задач для ИИ по лабораторным данным

OpenAI совместно с биотехнологической компанией Ligo представила BioBasicsBench — набор из 100 типовых задач анализа лабораторных данных. Он охватывает работу с белками, микроскопическими изображениями, цитометрией, количественными измерениями, нуклеиновыми кислотами и молекулярным клонированием.

ИИ-агенты получают экспериментальные изображения, файлы секвенирования, выгрузки приборов, лабораторные записи и видео. Учёные предоставили собственные данные и критерии оценки ответов. Задачи прошли внутреннюю и внешнюю научную проверку.

OpenAI испытала семь моделей в 37 конфигурациях с разными настройками рассуждения. По пять попыток на каждую задачу дали 18 500 результатов. При уровне рассуждения xhigh GPT‑6 Astra набрала 66,7% доступных баллов, GPT‑5.6 Sol — 43,8%, а GPT‑6.1 Sol — 62,0%. Это средние оценки по критериям, а не доля полностью решённых задач.

Компания предупреждает, что более высокий результат не подтверждает надёжность лабораторных суждений модели. Среди описанных ошибок Astra — перепутанные идентичности колоний вопреки контрольным данным, игнорирование противоречащих выводу микроскопических изображений и завышение числа колоний примерно на 12% относительно эталона бенчмарка.