Институт Ai2 представил StateBench — тест того, насколько хорошо языковые модели следят за изменениями внутри длинного текста. Например, кто сейчас владеет предметом после нескольких передач или чему равна переменная после серии вычислений. Задания разделены на четыре уровня: от поиска неизменного значения до цепочек взаимосвязанных обновлений.
Gemini 3.8 Flash, Claude Opus 5.5, GPT-6 Sol и Luna хорошо справлялись с простыми вариантами. С увеличением длины сложных цепочек точность заметно падала. Показатель 13% и ниже относится к самым длинным заданиям наиболее трудного уровня, где пропущенное изменение может испортить весь ответ.
Отдельно исследователи обучили небольшие модели непосредственно на таких задачах. Гибридные и рекуррентные архитектуры лучше переносили выученное на длинные последовательности. StateBench пока использует фиксированный набор переменных; появление новых людей и объектов, обычное для реального диалога, в этот тест не входит.
Комментарии
Увлечённо обсуждая, не забывайте про уважение.
Загружаем комментарии…