Авторы SWAM представили метод обучения моделей, предсказывающих видео и действия

Исследователи представили на arXiv работу SWAM о моделях, которые по языковому заданию совместно предсказывают видео и действия. Авторы изучили, как при обучении действиям сохранить связь между текстовыми инструкциями и видеорядом: добавление такого обучения может ухудшать ранее освоенное соответствие между языком и изображением.

Для экспериментов команда подготовила около 47 тысяч часов обычного видео, видео от первого лица, демонстраций UMI и демонстраций роботов. По результатам авторов, при одинаковом бюджете обучения сочетание видео от первого лица и демонстраций UMI улучшало способность модели управлять действиями в незнакомых условиях. На результат также влияли архитектура модели и схема совместного обучения.

После дообучения только на демонстрациях RoboTwin Clean модель достигла, по данным команды, 88,10% успешных выполнений в режиме Easy (Clean-to-Clean) и 61,56% в режиме Hard (Clean-to-Random). На трёх задачах в реальном мире успешность составила 40% против 23,33% у сильнейшего базового метода в сравнении авторов.

Работа описывает исследовательский метод. Авторы объявили о публикации подготовленных данных, кода обучения и весов модели.