Синхронизация губ на видео
Загрузите видео, где человек говорит в кадре, и новую запись речи — нейросеть перерисует губы так, чтобы они двигались под новый голос. Пригодится для дубляжа на другой язык, озвучки ролика и исправления оговорки без пересъёмки. Видео обрабатывается на наших серверах в России.
Как это работает
Нейросеть LatentSync находит лицо на каждом кадре видео, слушает речь и заново рисует область рта так, чтобы губы совпадали со звуком. Всё остальное — лицо, фон, свет, движения головы — остаётся с исходного видео. Длина готового ролика равна длине речи: если видео длиннее, берётся его начало; если короче — видео проигрывается вперёд и назад. Результат — 720p, 25 кадров в секунду. В кадре должно быть одно лицо: если лиц несколько, нейросеть берёт самое крупное, а если два лица одинакового размера — откажется. В угол кадра вшивается метка «Создано ИИ».
Для чего пригодится
- Дубляж на другой язык. Переведите речь и озвучьте её — губы будут двигаться под новый язык, а не под оригинал.
- Озвучка ролика. Записали видео без звука или с плохим звуком — наложите чистую запись, и губы совпадут.
- Исправление оговорки. Перепишите одну фразу и замените её, не пересобирая съёмку.
- Аватар для курса или презентации. Снимите себя один раз и озвучивайте новые уроки текстом через озвучку.
Как получить хороший результат
Лицо должно быть хорошо видно: анфас или вполоборота, без рук у рта, без микрофона перед губами, при ровном свете. Лучше всего подходят ролики, где человек говорит в камеру и почти не двигает головой. Речь — чистая, без музыки и шума: если запись с шумом, сначала прогоните её через шумоподавление. Начните с короткого фрагмента в 5–10 секунд — это бесплатно и сразу покажет, подходит ли видео.
Чьё лицо можно использовать
Только своё или человека, который согласился на такую обработку. Нельзя делать ролики с публичными людьми и политиками, выдавать сгенерированную речь за настоящие слова реального человека, использовать ролики для обмана, давления или травли. Каждое видео получает неудаляемую метку «Создано ИИ». Ролики, которые вы захотите опубликовать в общем каталоге AiSearch, сначала проверяет модератор.
Где обрабатывается видео
На наших серверах с видеокартами в России. Видео и речь никуда за рубеж не передаются и не используются для обучения нейросетей. Видео, запись речи и готовый ролик лежат в ваших «Файлах», пока вы сами их не удалите.
Частые вопросы
Сколько стоит синхронизация губ?
2 ₽ за секунду готового ролика: минутное видео — 120 ₽. Готовый ролик — 720p. Каждый день после входа даётся 10 бесплатных секунд. Это разовая оплата, без подписки. Деньги списываются только за готовый ролик.
Можно сделать ролик с чужим лицом?
Только если человек дал согласие. Перед запуском вы подтверждаете это галочкой. Ролики с публичными людьми и политиками, а также ролики, которые выдают сгенерированную речь за настоящие слова человека, делать нельзя — это нарушает правила сервиса и закон: по ст. 152.1 Гражданского кодекса использовать изображение человека можно только с его согласия.
Зачем метка «Создано ИИ» и можно ли её убрать?
Метка честно показывает зрителю, что речь на видео изменена нейросетью. Это защита и для вас, и для людей в кадре: ролик нельзя выдать за настоящую запись. Убрать метку нельзя — ни бесплатно, ни за деньги.
Где обрабатывается видео?
На наших серверах в России. Видео с лицом — это персональные данные, поэтому мы обрабатываем его только у себя и никому не передаём. Исходное видео, речь и готовый ролик хранятся в ваших «Файлах», пока вы их не удалите.
Можно заставить говорить фото?
Нет, нужна видеозапись: нейросеть меняет только губы, а мимику, моргание и движения головы берёт из видео. Даже 5–10 секунд обычной записи на телефон, где человек смотрит в камеру, подойдут.
Какие видео и запись подходят?
Видео MP4, MOV или WEBM до 200 МБ, в кадре одно хорошо видимое лицо (если лица нет, денег не берём); речь MP3, WAV или M4A до 60 секунд, без музыки и шума. Записи речи нет — сделайте её в озвучке текста; шумная — сначала уберите шум.