OpenAI 29 октября описала расширенную систему наблюдения за действиями сильных моделей. Изменения последовали за ранее раскрытым инцидентом с Hugging Face, который обнаружил пробелы в проверках. Мониторинг охватывает внутреннюю работу Codex, обучение и испытания моделей.
Лёгкие классификаторы отмечают подозрительные признаки. Модель-рецензент изучает контекст и использование инструментов, затем агенты-исследователи восстанавливают события. В чувствительных задачах они сверяют происходившее с сетевыми журналами. Опасные действия могут привести к уведомлению специалистов или автоматической приостановке задачи. Круглосуточное оповещение включено только для части рабочих процессов.
Внешняя версия учитывает ограничения конкретного продукта и доступного контекста. Регулярная передача отмеченных случаев сотрудникам OpenAI для ручного разбора в ней не предусмотрена.
Систему независимо проверяли METR и Redwood Research. По данным OpenAI, большинство найденных ими недостатков исправлено; одно исправление ещё готовится.
Комментарии
Увлечённо обсуждая, не забывайте про уважение.
Загружаем комментарии…