Genie 4: интерактивные миры со звуком

Genie 4 генерирует исследуемые окружения и сопровождает происходящее звуками, музыкой и диалогами. С помощью текстовых команд можно менять погоду, добавлять персонажей и предметы, управлять камерой. Модели семейства Gemini помогают симуляции интерпретировать команды и сохранять связность событий.

На момент анонса модель доступна в исследовательском режиме доверенным тестировщикам. Google планирует расширить доступ через Project Genie и инструменты для разработчиков. Пока в долгих сессиях могут меняться детали и положение объектов; физика, пространственная точность и звук остаются направлениями исследований. Иллюстрация в этом материале — редакционный концепт, а не запись работы Genie 4.

Источник: Google DeepMind.