Сбер сообщил о доступности Kandinsky Avatar 1.0 для разработчиков. Модель оживляет человека или персонажа на изображении: подстраивает движения губ, выражение лица, позу и жесты под загруженную речь. Эмоцию и сцену можно описать текстом. Саму звуковую дорожку нужно подготовить отдельно.
В технических материалах семейство называется Kandinsky S2V 1.0. В него входят Lite примерно на 2 млрд параметров и Pro на 21 млрд, а также ускоренные варианты. Разработчики опубликовали код, контрольные точки моделей и интеграцию с Diffusers под лицензией MIT. Есть демонстрация и инструкции для ComfyUI.
Ноябрьский повод — объявление доступа разработчикам: препринт с описанием технологии появился ещё 13 октября. Для самостоятельного запуска требуется производительная NVIDIA GPU; требования зависят от разрешения и способа выгрузки компонентов из видеопамяти. По данным технической страницы, результат генерируется с частотой 25 кадров в секунду.
Комментарии
Увлечённо обсуждая, не забывайте про уважение.
Загружаем комментарии…