Почему нейросеть портит лица и руки

Первое впечатление от генеративного клипа обычно хорошее, второе хуже. На повторном просмотре вылезают шесть пальцев, лицо героя к третьей сцене становится другим, а куртка меняет цвет между кадрами. Всё это чинится, но не кнопкой «сделать хорошо», а пониманием, откуда каждая проблема берётся.

Руки

Самая известная беда. Причина в том, что кисть это множество мелких сочленений, которые в обучающих данных чаще всего смазаны, перекрыты или обрезаны. Модель видела миллионы рук, но редко видела их чётко.

Что помогает:

• не давать рукам главную роль в кадре. Крупный план ладони это заявка на артефакт
• занимать руки предметом: гитара, микрофон, чашка, руль. Предмет задаёт форму, и модель перестаёт фантазировать
• убирать руки из кадра: в карманах, за спиной, ниже границы кадра
• брать движение, а не статику. В размытой от движения руке лишний палец не читается

Лицо, которое меняется от сцены к сцене

Каждая сцена считается отдельно, и модель заново решает, как выглядит герой. Без опоры она даёт похожего, но другого человека. За клип из двенадцати сцен накапливается заметный дрейф.

Лечится опорным изображением: один и тот же портрет подаётся во все сцены как референс. Три ракурса вместо одного дают ещё более устойчивый результат: анфас, три четверти и кадр в полный рост с одеждой.

Одежда и предметы, которые скачут

Та же природа, что у лица. Модель не знает, что во второй сцене куртка должна быть той же. Кроме опорных кадров помогает простое ограничение: не делайте героя сложно одетым. Один запоминающийся элемент, например красный шарф, держится между сценами гораздо лучше, чем полный костюм с деталями.

Текст в кадре

Вывески, надписи на футболках, названия улиц почти всегда получаются нечитаемым набором похожих на буквы значков, особенно на кириллице. Правильный ход это не бороться, а не заказывать текст вовсе. Всё, что должно быть написано, кладётся поверх видео на этапе монтажа, там шрифт настоящий и всегда чёткий.

Плывущий фон

Если камера в сцене движется быстро, задний план начинает течь: столбы изгибаются, окна перетекают друг в друга. Причина в том, что модель дорисовывает то, что уходит за край кадра, и делает это приблизительно.

Что помогает: медленное движение камеры вместо быстрого, простой фон вместо перегруженного, малая глубина резкости. Размытый задний план это не только красиво, но и практично.

Слишком гладкая картинка

Отдельная проблема, которую редко называют вслух: ролик выглядит стерильно. Идеально ровный свет, ни пылинки, ни зерна, ни одного случайного движения. Именно по этой стерильности зритель на глаз определяет генерацию, даже не разбираясь в деталях.

Лечится на этапе сборки: лёгкое зерно, небольшая неровность экспозиции между сценами, едва заметное дрожание камеры. Пять процентов грязи делают картинку заметно более настоящей.

Монтаж, который выдаёт всё остальное

Часто ролик разваливается не из-за артефактов, а из-за ритма. Признаки:

• все кадры одинаковой длины, потому что все сцены сгенерированы по пять секунд
• склейка происходит не на долю, а когда закончился фрагмент
• каждая сцена начинается с движения камеры вперёд, и через минуту это гипнотизирует

Первые два пункта решаются подрезкой: сгенерированные пять секунд не обязаны попасть в ролик целиком. Третий решается на этапе описания сцен: движение камеры надо назначать разное, иначе модель по умолчанию поставит наезд везде.

Когда чинить не надо

Есть случай, когда все перечисленные дефекты перестают быть дефектами: если стиль клипа изначально не реалистичный. В рисованном, коллажном, психоделическом или откровенно клиповом визуале лишний палец никто не ищет, потому что там нет обещания реальности. Это самый дешёвый способ обойти половину списка сразу: не пытаться выдать генерацию за съёмку.