Пошаговый гид
Превращайте изображения в анимацию, комбинируя разные видео, создавайте плавные и выразительные сцены, используя Storyboard и уникальную функцию Blend:
В этом тюториале мы будем работать с единственным опорным кадром. В кадре - два фантастических существа, которых невозможно описать словами, сидят рядом на ветке. Наша задача сделать так - чтобы появилось видео, на котором эти существа обнимают друг друга.
1. Получение видео из изображения референса
Чтобы превратить статичное изображение в видео, лучше не загружать сразу несколько кадров, а взять только первый фрейм и сгенерировать из него. Для этого перейдите в Storyboard.
1.1 Добавьте изображение, которое станет первым кадром генерации. Можно попробовать добавить несколько изображений сразу, но надежнее начать с одного.
1.2 Под кадром появится иконка описания - можно разрешить Sora добавить автоматическое описание — это в общем-то не обязательно, но иногда полезно.
На выходе получится видео без активных событий, которое можно использовать в следующих генерациях для добавления движения и развития сюжета.
1.3 Убедитесь, что между фрэймом картинки и промптом есть место.
Есть несколько подходов: можно продолжать генерировать отдельные видео из референсных кадров и комбинировать их на сториборде, можно “толкать” видео 1 к желаемому результату новыми промптами, но в Sora есть еще довольно особенная функция Sora - Blend, с помощью которой можно смешать два видео, попробовать сделать “бесшовный переход”, а также извлечь движение из “направляющего” видео.
2.1 Подберите или загрузите направляющее видео.
В этом примере, мы сначала разыскали подходящее видео в Explore - из того, что сгенерировали другие пользователи. Это было видео двух обнимающихся женщин, - кадр, который может подсказать Sora, что мы хотим, чтобы персонажи обнялись.
2.2 Откройте видео сгенерированное на шаге 1 (в котором ничего не происходит) и выберите под ним функцию Blend и выберите подготовленное направляющее видео.
Оба видео появятся на таймлайне одно под другим.
2.3 Custom blend.
Blend позволяет трансформировать содержание и стиль одного видео в другое.
Степень влияния каждого видео отображается (регулируется) кривой. Чем выше кривая, тем больше влияние верхнего видео; чем ниже кривая, тем больше влияние нижнего видео.
Используйте маркеры обрезки, чтобы задать общую продолжительность, и передвигайте каждый клип, выбирая нужный фрагмент для смешивания.
Если расположить начальную точку генерации на самом высоком уровне, генерация в первую очередь сохранит стиль и сюжет верхнего видео, но если подвинуть чуть ниже, то смешивание начнется сразу и отразится на стиле результата.
Два “рычажка” – для сглаживания кривой.
Пример 1:
Здесь вся кривая постоянно находится наверху, и нижнее (направляющее) видео почти не проявляется:
Пример 2:
Кривая начинается в области 100% влияния направляющего видео. Поэтому в первую очередь изображение подхватит картинку из направляющего видео (обнимающихся женщин). Позже, когда кривая уходит наверх - к первому видео, в генерацию добавятся элементы из верхнего видео. тк мы специально получили статичное видео, то это будут именно элементы, а не движение.
Научиться генерировать изображения и создавать собственные видео с помощью AI вы можете на курсах Пражской медиашколы.