Исследователи представили RoboImagine для дообучения моделей мира роботов

В работе на arXiv исследователи представили RoboImagine — метод дообучения моделей мира для роботов. Такие модели предсказывают будущие изображения с учётом действий робота и помогают планировать его поведение. RoboImagine обучает их на сравнении нескольких вариантов будущего, сочетая оценку смысла происходящего с проверкой визуальных деталей.

Для одинаковых исходных наблюдений, последовательностей действий и инструкций система создаёт разные прогнозы. Мультимодальная модель-оценщик с фиксированными параметрами попарно сравнивает видеоролики по их соответствию задаче. Дополнительная визуальная обратная связь учитывает ошибки в пикселях, структуре и внешнем виде объектов.

Эксперименты с отдельно обученными моделями на RT-1, BridgeV2 и RoboCasa охватили реальные и симулированные манипуляционные задачи. По данным авторов, на RT-1 RoboImagine повысил PSNR на 1,26 дБ и снизил LPIPS на 11,93% относительно продолженного обучения с учителем при одинаковых начальных условиях, числе обновлений и протоколах оценки. Эти метрики характеризуют качество предсказанных изображений; приведённые результаты не измеряют успешность выполнения задач самим роботом.