Дубляж видео нейросетью: как перевести и озвучить ролик в 2026

Дубляж видео нейросетью — это замена речи в ролике на другой язык: текст переводят, нейросеть озвучивает его новым голосом, а при необходимости заново синхронизирует губы спикера с новой дорожкой. В студии ИИшки это делается в два-три шага: переведённый текст озвучивают ElevenLabs Voice или MiniMax (русский и десятки других языков), а для лица в кадре дорожку подают в Kling Avatars v2 вместе с кадром из исходника — получается говорящий спикер в 720 или 1080 длиной до 5 минут. Если лицо не в кадре или крупные планы не важны, хватает закадровой озвучки без липсинка. Всё работает на русском, без VPN и с оплатой токенами.

Какой бывает дубляж и что выбрать

Прежде чем дублировать видео нейросетью, решите, какой результат нужен. От этого зависит, сколько шагов и моделей понадобится.

• Закадровый перевод. Новая речь идёт поверх ролика, оригинал приглушён или вырезан. Губы не совпадают, но зрителю это не мешает, если спикер мелко в кадре или его нет вовсе: скринкасты, обзоры товаров, влоги с перебивками.
• Полный дубляж. Оригинальная речь заменена, музыка и шумы сохранены. Технически это та же озвучка, только поверх чистой фоновой дорожки.
• Дубляж с липсинком. Губы спикера двигаются под новую речь. Нужен для «говорящих голов»: обращений, экспертных роликов, рекламы с лицом крупным планом.

Как сделать дубляж видео нейросетью: 5 шагов

Шаг 1. Подготовьте текст перевода

Выпишите речь из ролика с таймкодами — хотя бы по абзацам. Переводите не дословно, а так, как сказал бы носитель: идиомы, единицы измерения и шутки адаптируйте. Помните о длине: русский текст почти всегда длиннее английского, и если фраза не помещается в исходную паузу, её придётся сокращать уже на этом шаге, а не ускорять голос потом. Участникам клуба для черновика перевода доступен ChatGPT на русском в разделе «Агент».

Шаг 2. Озвучьте перевод

Откройте ElevenLabs Voice или MiniMax, вставьте текст одного фрагмента и выберите голос, похожий на оригинал по полу, возрасту и темпу. Клонирования голоса нет, поэтому подбирайте по звучанию: прослушайте два-три варианта на одной фразе. В ElevenLabs движок v3 понимает теги эмоций и пауз — ими удобно подгонять ритм под картинку:

[спокойно] Сегодня покажу, как собрать полку за десять минут. [пауза] Нам понадобятся только отвёртка и уровень.

[с энтузиазмом] Это наш новый рюкзак — и да, он правда влезает под сиденье самолёта!

Для MiniMax тот же текст пишется без тегов, а темп задаётся пунктуацией: точка даёт паузу, запятая — короткую остановку. Подробнее о голосах и движках — в гайде по озвучке MiniMax.

Шаг 3. Выберите: закадровый дубляж или липсинк

Если лицо спикера мелкое, закрыто или появляется на пару секунд — останавливайтесь на озвучке: положите новую дорожку в монтажку поверх видео и уберите оригинальный голос. Если лицо в кадре крупно и долго, переходите к шагу 4.

Шаг 4. Синхронизируйте губы в Kling Avatars v2

1. Возьмите из исходного ролика кадр, где спикер смотрит в камеру, рот открыт или расслаблен, лицо не закрыто руками и микрофоном. Нужно не меньше 300 px по стороне, jpg, png или webp до 10 МБ.
2. Загрузите кадр в слот «Портрет аватара» в Kling Avatars v2, а озвучку из шага 2 — в слот «Аудио».
3. Выберите качество: 720 для соцсетей, 1080 для YouTube и сайта. Промпт необязателен; если нужен, опишите поведение, а не текст речи:

Спикер спокойно говорит в камеру, лёгкие кивки, естественная мимика, камера почти неподвижна.

Модель создаёт новое видео, где человек с кадра произносит вашу дорожку. Фон и поза берутся из снимка, поэтому выбирайте кадр, который похож на весь исходный план. Больше приёмов для портрета и аудио — в статье как сделать говорящее фото.

Для коротких клипов до 30 секунд можно попробовать Seedance 2.5: режим «Референсы», задача «Изменить», исходник как @Video1 и новая дорожка как @Audio1. Такой вариант пересобирает сцену целиком и работает не с каждым лицом, поэтому для «говорящих голов» надёжнее Kling Avatars v2.

Шаг 5. Сведите звук и соберите ролик

Положите новую речь на отдельную дорожку, под ней — музыку и шумы оригинала на 15–20 % громкости (если оригинал без чистой фоновой дорожки, сгенерируйте новую музыку в ElevenLabs Музыка). Проверьте стыки фрагментов: паузы между репликами должны совпадать с монтажными склейками. Если исходник был в низком разрешении, прогоните готовый ролик через Topaz Апскейл видео.

Как проверить дубляж перед публикацией

Посмотрите готовый ролик целиком, а не по фрагментам, и пройдитесь по короткому списку:

• Смысл. Попросите носителя языка послушать хотя бы минуту — ошибки перевода на слух заметнее, чем в тексте.
• Термины и имена. Названия брендов, моделей и людей должны звучать одинаково во всех фрагментах; если голос читает их по-разному, запишите их в тексте так, как они произносятся.
• Ритм. Реплика не должна начинаться до того, как спикер открыл рот, и тянуться после смены плана.
• Громкость. Речь громче музыки на всём ролике, без скачков между фрагментами.
• Губы крупным планом. На липсинк-фрагментах проверьте звуки «п», «б», «м» — на них рассинхрон виден первым.

Частые ошибки при дубляже

Где дубляж окупается быстрее всего

• Обучающие ролики и курсы. Один урок — много языков: закадровой озвучки обычно достаточно, липсинк нужен только для вступления с лицом преподавателя.
• Реклама и карточки товаров. Короткие клипы с лицом крупно — лучший случай для Kling Avatars v2: 15–30 секунд, несколько языков из одной съёмки.
• Экспертные видео и обращения. «Говорящая голова» на 1–3 минуты целиком укладывается в одну генерацию Kling Avatars v2.
• YouTube и Shorts. Длинное видео делят на смысловые блоки; клипы для Shorts удобно дублировать с липсинком, а длинную версию — закадрово.

Если дубляж — часть большого процесса, соберите его на Канвасе: узел озвучки, узел аватара и узел апскейла связываются нодами, и при правке текста перезапускается только нужный шаг. А если нужно не перевести ролик, а перенести движение одного человека на другого, смотрите клонирование видео нейросетью.

Что дальше

Начните с одного фрагмента на 20–30 секунд: переведите, озвучьте в двух голосах, выберите лучший и прогоните через Kling Avatars v2. Когда формула голоса и кадра найдена, остальные фрагменты делаются по ней. Сравнить движки озвучки можно в подборке нейросетей для озвучки текста, а другие способы озвучить видео собраны в подборке нейросетей для липсинка.