Как снять короткометражку нейросетью: от идеи до фильма с живыми героями

Короткометражка в ClipWa — это игровой фильм от 30 секунд до 15 минут по вашей идее. Вы пишете пару фраз о сюжете и, если хотите, добавляете фото героя. ClipWa пишет сценарий, рисует героев, снимает фильм план за планом, где герои сами говорят в кадре, и монтирует всё в готовое видео. Если история не закончилась, фильм продолжается следующим блоком с теми же героями.

Мы сняли на этом шаблоне минутный фильм из двух блоков: выживший уходит по руинам от робособак и робота-охотника. Вот что вышло без единой правки в монтажной программе.

Почему это похоже на кино, а не на набор роликов

Красивая картинка у нейросетей уже есть. Кожа выглядит как кожа, свет ведёт себя как свет. Разваливается другое: зритель видит, что человек в кадре ведёт себя неестественно. Держит предмет, как никто не держит. Изображает «грусть» лицом маски. Меняет лицо от плана к плану.

Мы разобрали, как снимают полнометражные фильмы целиком нейросетью, и перенесли главные приёмы в шаблон. Вам не нужно их знать, ClipWa применяет их сама:

• Задача вместо эмоции. В сценарии не пишется «ему страшно». Пишется цель, препятствие и действие: «прижимает ключ к груди и слушает, откуда идёт звук». Эмоция рождается из действия, как у живого актёра.
• Один план — одно действие. Длинные непрерывные сцены нейросети даются хуже всего. Сложный трюк раскладывается на несколько коротких планов и склеивается, как в документальной съёмке.
• Лицо рисуется один раз. Сначала крупный портрет героя, по нему образ в полный рост. Эти картинки держат внешность во всех планах фильма.
• У модели нет памяти. Поэтому свет, оптика, одежда и голос героя описываются заново в каждом плане, слово в слово. Так фильм не «плывёт» от сцены к сцене.
• Живые глаза. Отдельно прописано, как двигаются зрачки, когда герой моргает и что делает с лицом. Застывший стеклянный взгляд — главный признак искусственной картинки, и с ним шаблон борется прицельно.

Шаг за шагом: как мы сняли первый блок

1. Идея. Пишете, о чём фильм, и выбираете длину, стиль картинки, формат кадра и язык речи. Героев можно добавить с фото: по нему ClipWa нарисует лицо. Музыка по желанию: свой трек, загруженный файл или новая мелодия под фильм.

2. Сценарий. Через минуту готовы название, мысль фильма, режиссёрское решение, герои, места, предметы и раскадровка по планам. Каждый план можно поправить: изменить действие, реплику, состав героев в кадре.

3. Герои и места. ClipWa рисует каждого героя дважды: портрет крупным планом и образ в полный рост, а для каждого места — фон. Не понравилась картинка — её можно перерисовать отдельно.

4. Съёмка. Выбираете движок и качество. Цена всего фильма видна на кнопке до запуска. Планы снимаются по три одновременно, страницу можно закрыть.

5. Готово. Фильм можно скачать, продолжить следующим блоком или улучшить до 720p и 1080p.

Продолжение фильма блоками

Длинную историю удобнее снимать частями. Кнопка «Продолжить фильм» открывает форму следующего блока: пишете, что происходит дальше, выбираете длину и движок. Герои, места, стиль и голоса переходят из прошлого блока сами, заново их не рисуют. Героя, который больше не нужен, можно отключить галочкой, а нового — добавить со своим фото.

Если во втором блоке сценарий придумал новое место, ClipWa нарисует только его. Всё, что перешло из прошлого блока, помечено.

Правка отдельных планов

Не нужно переснимать фильм из-за одного неудачного плана. У каждого плана три инструмента:

• Переснять. Пишете, что изменить («герой уже стоит, без падения»), и оплачиваете только этот план. Если пересъёмка не удалась, старый вариант остаётся.
• Удалить из фильма. Лишний план убирается, фильм сразу пересобирается без него бесплатно. Передумали — план можно вернуть.
• Продолжить с последнего кадра. Новый план начинается с того места, где кончился предыдущий. ClipWa сама проверяет последний кадр: если лица героев видны, план стартует прямо с него, без склейки. Если героя в кадре нет, внешность берётся из его образа, чтобы в фильме не появился чужой человек.

Улучшение качества до 720p и 1080p

Снимать сразу в высоком качестве дороже. Выгоднее снять фильм в 480p, выбрать удачные планы, а потом улучшить готовый блок одной кнопкой. Каждый план проходит через улучшение отдельно, звук остаётся прежним, блок собирается заново в выбранном качестве. Если какой-то план не улучшился, его доля оплаты возвращается. После пересъёмки платите только за новые планы.

Что получилось: результаты

• Первый блок: 30 секунд, 7 планов. Сценарий — меньше минуты, герои и место — 7 минут, съёмка — 11 минут. Один план с первого раза не снялся и был переснят.
• Второй блок: 30 секунд, 7 планов, снят другим движком. Сценарий — около минуты, новое место — полторы минуты, съёмка — 6 минут. После просмотра три плана пересняли, один удалили.
• Улучшение до 1080p: 6 планов второго блока за 3 минуты.
• Итог: фильм на 59 секунд из 13 планов, два героя, три места. После пересъёмки трёх планов лицо героя держится везде, где он в кадре.

Где видны нестыковки и как их убрать

Скажем прямо: фильм не идеален, и мы оставили его таким специально. Задача была показать возможности шаблона на честном примере, а не собрать лучший кадр из десяти попыток. Вот что заметно и как это лечится:

• Прыжки между планами. Герой в конце одного плана стоит не там, где в начале следующего. Лечится подробнее описанным действием («уже стоит на колене у стены») и галочкой «Продолжить с последнего кадра».
• Разный голос в блоках. Первый блок мы сняли одним движком, второй — другим, и голос героя зазвучал иначе. Для одного голоса на весь фильм снимайте все блоки одним движком, форма продолжения об этом напомнит.
• Чужое лицо в отдельных планах. Во втором блоке пара планов стартовала с кадра, где героя не было видно, и нейросеть дорисовала другого человека. После этого мы добавили в шаблон автоматическую проверку лиц, теперь такое не повторится.
• Упрощённая физика. Броски и кувырки выглядят мягче, чем в жизни. Это решается дроблением трюка на короткие планы и точным описанием веса и сопротивления в заметке к пересъёмке.

Каждая нестыковка правится пересъёмкой одного плана за пару минут, а не всего фильма.

Сколько стоит

Цены в кредитах: 100 кр = 10 ₽. Точная цена каждого шага всегда видна на кнопке до запуска.

Съёмка, с речью героев и звуком:

Наш фильм клиенту обошёлся бы примерно в 3 300 ₽: первый блок в 480p с героями и местом — около 1 460 ₽, второй блок со сценарием и новым местом — около 1 210 ₽, улучшение второго блока до 1080p — около 580 ₽. Три пересъёмки добавили бы ещё около 470 ₽. Если какой-то план не снялся, его доля оплаты возвращается автоматически.

Советы, чтобы фильм получился с первого раза

• Начните с 30 секунд. Короткий блок снимается за четверть часа, и сразу видно, куда двигаться дальше.
• Давайте герою фото: лицо по фото держится лучше, чем придуманное.
• Описывайте действие, а не чувство: «сжимает ключ в кулаке» работает, «он в отчаянии» — нет.
• Не больше трёх героев в одном плане и никаких надписей в кадре: текст нейросети пока пишут плохо.
• Снимайте все блоки фильма одним движком, если важен один голос героя.
• Снимайте в 480p, а улучшайте только готовый результат.

Частые вопросы

Сколько длится фильм? Один блок — от 30 секунд до 15 минут. Блоков можно снять сколько угодно, каждый продолжает предыдущий.

Можно ли снять фильм со своим лицом? Да. Добавьте фото героя на первом шаге, ClipWa нарисует по нему портрет и образ и будет держать это лицо во всём фильме.

Герои говорят сами? Да, речь рождается вместе с видео, губы двигаются в такт. Можно выбрать русский, английский, выдуманный язык или фильм без слов.

Что делать, если план получился неудачным? Переснять только его с заметкой, что изменить, или удалить из фильма. Остальные планы не трогаются.

Можно ли добавить музыку? Да: свой трек из ClipWa, загруженный mp3 или новая мелодия под настроение фильма. Музыка приглушается, когда герои говорят.

Сколько ждать? Блок на 30 секунд — около 20 минут от идеи до готового видео. Страницу можно закрыть, съёмка идёт на сервере.