Первые генерации в Sora: Смешать, но не взбалтывать

Пошаговый гид

Превращайте изображения в анимацию, комбинируя разные видео, создавайте плавные и выразительные сцены, используя Storyboard и уникальную функцию Blend:

В этом тюториале мы будем работать с единственным опорным кадром. В кадре - два фантастических существа, которых невозможно описать словами, сидят рядом на ветке. Наша задача сделать так - чтобы появилось видео, на котором эти существа обнимают друг друга.

‍1. Получение видео из изображения  референса

Чтобы превратить статичное изображение в видео, лучше не загружать сразу несколько кадров, а взять только первый фрейм и сгенерировать из него. Для этого перейдите в Storyboard.

1.1 Добавьте изображение, которое станет первым кадром генерации. Можно попробовать добавить несколько изображений сразу, но надежнее начать с одного. 

1.2 Под кадром появится иконка описания -  можно разрешить Sora добавить автоматическое  описание — это в общем-то не обязательно, но иногда полезно. 

На выходе получится видео без активных событий, которое можно использовать в следующих генерациях для добавления движения и развития сюжета.

1.3 Убедитесь, что между фрэймом картинки и промптом есть место.

Получается видео, в котором практически ничего не происходит: 

2. Создание движения с помощью направляющего видео (guidance) и функции Blend 

Есть несколько подходов: можно продолжать генерировать отдельные видео из референсных кадров и комбинировать их на сториборде, можно “толкать” видео 1 к желаемому результату  новыми промптами, но в Sora есть еще довольно особенная функция Sora - Blend, с помощью которой можно смешать два видео, попробовать сделать “бесшовный переход”, а также извлечь движение из “направляющего” видео. 

‍

2.1 Подберите или загрузите направляющее видео. 

В этом примере, мы сначала разыскали подходящее видео в Explore - из того, что сгенерировали другие пользователи. Это было видео двух обнимающихся женщин, - кадр, который может подсказать Sora, что мы хотим, чтобы персонажи обнялись. 

2.2 Откройте видео сгенерированное на шаге 1 (в котором ничего не происходит) и выберите под ним функцию Blend и выберите подготовленное направляющее видео. 

Оба видео появятся на таймлайне одно под другим. 

‍2.3 Custom blend. 

Blend позволяет трансформировать содержание и стиль одного видео в другое.

Степень влияния каждого видео отображается (регулируется)  кривой. Чем выше кривая, тем больше влияние верхнего видео; чем ниже кривая, тем больше влияние нижнего видео.

Используйте маркеры обрезки, чтобы задать общую продолжительность, и передвигайте каждый клип, выбирая нужный фрагмент для смешивания.

Если расположить начальную точку генерации на самом высоком уровне, генерация в первую очередь сохранит стиль и сюжет верхнего видео,  но если подвинуть чуть ниже, то смешивание начнется сразу и отразится на стиле результата.

Два “рычажка” – для сглаживания кривой.

Пример 1:

Здесь вся кривая постоянно находится наверху, и нижнее (направляющее) видео почти не проявляется:  

Пример 2:

Кривая начинается в области 100%  влияния направляющего видео. Поэтому в первую очередь изображение подхватит картинку из направляющего видео (обнимающихся женщин). Позже, когда кривая уходит наверх - к первому видео, в генерацию добавятся элементы из верхнего видео. тк мы специально получили статичное видео, то это будут именно элементы, а не движение. 

Научиться генерировать изображения и создавать собственные видео с помощью AI вы можете на курсах Пражской медиашколы.