В LifeVal входят 169 заданий: например, найти жильё, выбрать детский сад или подготовить документы. OpenAI представила тест 2 ноября. Направления выбрали по исследованиям использования времени и опросу почти четырёх тысяч человек о том, какую помощь они хотели бы получать от цифрового ассистента.
Задания составляли люди, которые сами решали подобные задачи. Они задавали контекст и критерии оценки. Каждое задание проходило как минимум три этапа человеческой проверки. С согласия участников исследователи использовали обезличенные разговоры, память ChatGPT и дополнительные документы.
Модели выполняют поручения в подготовленных средах с браузером и приложениями. Оценка учитывает созданные файлы и реальные изменения состояния системы. Попытки обойти правила среды проверяют отдельно.
Среди устойчивых ошибок авторы отмечают неверные сведения и пропуск важных деталей из личного контекста. Опрос, определивший выбор задач, был преимущественно американским и англоязычным. Потребности других стран и сообществ могут быть представлены хуже.
Комментарии
Увлечённо обсуждая, не забывайте про уважение.
Загружаем комментарии…