Как заставить персонажа петь в клипе

Клип, где никто не поёт, зритель считывает как набор красивых картинок. Как только в кадре появляется лицо, попадающее в слова, ролик превращается в клип. Это сильный эффект, но включать его надо аккуратно.

Как это работает

Липсинк это отдельная модель, которая берёт видео с лицом и звуковую дорожку и перерисовывает область рта так, чтобы артикуляция совпадала со звуком. Она не генерирует сцену заново: фон, свет, поза и одежда остаются от исходного кадра, меняется только нижняя часть лица.

Отсюда два следствия. Первое: качество липсинка сильно зависит от исходного кадра. Второе: он считается отдельно и стоит дороже обычной сцены той же длины.

Каким должен быть исходный кадр

• Лицо крупно. Общий план, где человек размером с ноготь, липсинк не вытянет: рисовать нечего.
• Ракурс близкий к анфас. Профиль и резкий поворот головы дают самые заметные артефакты.
• Рот не перекрыт. Микрофон у губ, рука у лица, длинная чёлка, борода до нижней губы — всё это ломает результат.
• Умеренное движение. Если герой резко мотает головой, область рта не успевает за ним и начинает плыть.
• Ровный свет на лице. Контровой свет и глубокая тень на подбородке дают дрожащие края.

Куда его ставить

Рабочая схема на песню длиной три-четыре минуты: две-три сцены с липсинком, каждая по 5–8 секунд, на самых сильных строчках. Обычно это первая строка припева и одна ударная фраза из второго куплета.

Всё остальное время герой может быть в кадре без пения: идти, смотреть, курить, ехать. Зритель уже принял, что поёт именно он, и дорисовывает связь сам.

Откуда брать лицо

Есть три пути, и они дают разный результат.

Своё фото. Самый честный вариант для исполнителя. Нужен снимок анфас, при хорошем свете, без очков и головного убора. Одного фото достаточно, но три ракурса дают заметно более стабильный результат.

Сгенерированный персонаж. Модель рисует героя, дальше он используется во всех сценах. Плюс в том, что персонажа можно поставить куда угодно. Минус в том, что за длинный клип он немного «плывёт»: черты лица от сцены к сцене слегка меняются.

Чужое лицо. Технически возможно, юридически плохая идея. Публикация ролика с узнаваемым человеком, который ничего вам не разрешал, это прямой путь к жалобе и блокировке, а в некоторых случаях и к иску.

Признаки плохого липсинка

Если ролик выглядит неправильно, но непонятно почему, проверьте по списку:

• рот двигается, но зубы и язык выглядят как единая масса
• губы шевелятся с запаздыванием примерно в полкадра, особенно на быстрых словах
• вокруг рта прямоугольник с чуть другим оттенком кожи
• подбородок дрожит на согласных
• лицо поёт, а глаза неподвижны, как у манекена

Первые четыре пункта чинятся заменой исходного кадра: крупнее лицо, ровнее свет, спокойнее движение. Последний часто спасает простое решение: обрезать сцену на секунду раньше.

Про быстрые слова

Рэп с плотной читкой это самый сложный материал для липсинка: артикуляция меняется быстрее, чем модель успевает нарисовать. На таких фрагментах разумнее вообще не показывать рот. Общий план, силуэт, кадр со спины, крупно руки — приёмы, которыми пользуются и в обычных клипах, когда фонограмма не совпала с записью.

Сколько это добавляет к цене

Сцена с липсинком стоит примерно вдвое-втрое дороже обычной сцены той же длины. Три таких сцены на клип поднимают итоговую стоимость на несколько сотен рублей и при этом дают основную часть эффекта. Липсинк на весь клип поднимает цену в разы, а впечатление часто ухудшает.