субтитрыAIраспознавание речи

Как добавить субтитры к видео автоматически: полное руководство

Как работает распознавание речи, чем отличаются SRT, VTT и ASS, когда нужны вшитые субтитры, как разбивать строки и что обязательно проверять руками.

6 мин чтения

Субтитры перестали быть функцией доступности и стали условием просмотра. Значительная часть коротких видео смотрится без звука — в транспорте, на работе, поздно вечером. Видео без субтитров в такой ситуации просто пролистывают.

Набирать тайм-коды вручную — часы работы на каждый ролик. Поэтому субтитры почти всегда делают автоматически, через распознавание речи. Ниже — как это устроено, где ошибается и что нужно проверять самому.

Как работает автоматическое распознавание

Система получает аудиодорожку, преобразует её в текст и расставляет временные метки. Результат бывает двух видов, и разница важна:

  • Пословные метки (word-level) — время начала и конца известно для каждого слова. Позволяет делать покадровое появление и подсветку отдельных слов.
  • Пофразовые метки (segment-level) — время известно для целой реплики. Достаточно для классических субтитров, но не даёт эффекта «слова в ритм речи».

Для коротких вертикальных видео нужны пословные: именно на них строится характерная динамичная подача.

От чего зависит точность

Качество распознавания определяется в первую очередь звуком, а не моделью:

  • Микрофон. Петличка или конденсаторный микрофон дают заметно лучший результат, чем встроенный в камеру или ноутбук.
  • Перекрёстная речь. Когда двое говорят одновременно, точность падает резко. Если есть возможность писать отдельные дорожки — пишите.
  • Фоновая музыка. Особенно с вокалом: система пытается распознать и его.
  • Реверберация. Запись в пустой комнате с голыми стенами распознаётся хуже, чем в помещении с мягкой мебелью.
  • Темп и дикция. Быстрая невнятная речь теряет окончания.

Улучшить звук на записи дешевле, чем потом править текст.

Особенности русского языка

На русском стабильно ошибаются одни и те же категории:

  • Имена собственные. Фамилии, названия компаний, топонимы. Ошибка в имени гостя выглядит небрежно и бьёт по доверию.
  • Англицизмы и профессиональный жаргон. Термины записываются на слух и часто превращаются в похожие по звучанию русские слова.
  • Числа. Могут записываться и цифрами, и прописью, непоследовательно.
  • Омонимы и падежи. Без контекста система выбирает частотный вариант.

Вывод практический: автоматический текст нужно бегло вычитывать, уделяя внимание именно этим местам, а не всему подряд.

Галлюцинации на тишине

Отдельная особенность нейросетевого распознавания: на участках тишины, шума или музыки модель может «дорисовать» текст, которого не было. Часто это фразы из обучающих данных — подписи к видео, названия студий, благодарности за просмотр.

Выглядит это как внезапная посторонняя фраза в субтитрах на пустом месте. Проверяйте участки, где никто не говорит: именно там появляется такой мусор.

Форматы файлов субтитров

Форматов много, реально используются три.

SRT

Самый простой и распространённый. Содержит номер реплики, время начала и конца и текст. Оформления не поддерживает: ни шрифта, ни цвета, ни положения на экране. Годится как универсальный обменный формат — его принимают почти все площадки и редакторы.

WebVTT

Веб-стандарт, развитие SRT. Помимо текста умеет задавать положение реплики на экране и поддерживает ограниченное оформление. Используется для субтитров в браузерном плеере.

ASS/SSA

Формат с полноценным оформлением: шрифты, цвета, обводка, тень, точное позиционирование, анимация и покараоке-подсветка отдельных слов. Именно на нём строятся эффектные субтитры для коротких видео. Используется как промежуточный формат при вшивании текста в картинку.

Вшитые или отключаемые

Принципиальная развилка.

Отключаемые (softsub) — отдельный файл рядом с видео. Зритель может включить или выключить, площадка может показать их своим шрифтом. Плюс: доступность и возможность нескольких языков. Минус: вы не контролируете, как они выглядят и покажут ли их вообще.

Вшитые (hardsub) — текст впечатан в кадр и является частью изображения. Выключить нельзя. Зато выглядят одинаково везде и показываются всегда.

Для коротких вертикальных видео практически всегда нужны вшитые. Причины две: автоматические субтитры площадок непредсказуемы по качеству и виду, а характерное покадровое оформление отдельным файлом вообще не передать. Для длинных горизонтальных видео разумнее отключаемые — их можно исправить без перезаливки.

Разбивка на строки

Здесь короткие видео принципиально отличаются от классических субтитров.

Классические субтитры к фильмам и длинным роликам: не более двух строк, порядка 35–42 символов в строке, скорость чтения около 15–17 символов в секунду. Реплика держится на экране достаточно, чтобы её спокойно прочитать.

Короткие вертикальные видео: 2–4 слова на экране, смена в ритм речи. Читать здесь не нужно — текст воспринимается целиком, как подпись, и служит опорой для взгляда. Длинная строка в таком формате выглядит чужеродно и не читается на ходу.

Практическое правило: если фраза не умещается в 3–4 слова, разбивайте по смысловым группам, а не по ширине экрана. Разрыв между предлогом и словом или между подлежащим и сказуемым читается плохо.

Оформление

Субтитры лежат поверх меняющейся картинки, поэтому читаемость важнее стиля:

  • Шрифт — плотный гротеск без засечек. Тонкие начертания и декоративные шрифты теряются на видео.
  • Обводка или тень — обязательны. Без них белый текст исчезнет на светлом кадре.
  • Размер — такой, чтобы читалось на экране телефона в ленте, а не на мониторе при монтаже.
  • Подсветка ключевого слова — работает как акцент, но только если выделяется действительно главное слово, а не каждое второе.
  • Регистр — сплошные заглавные читаются медленнее; уместны для коротких акцентов, но не для всего текста.

Безопасные зоны

Интерфейс площадок перекрывает края кадра: снизу обычно описание и кнопки, справа — панель действий. Субтитры, поставленные в самый низ, окажутся под элементами интерфейса. Держите текст в средней части кадра, с отступом от нижнего края. Конкретные размеры зон отличаются между площадками и меняются — проверяйте на реальной публикации, а не в редакторе.

Что проверять перед публикацией

  1. Имена собственные и термины — самая частая категория ошибок.
  2. Участки тишины — нет ли дорисованного текста.
  3. Числа — везде ли записаны одинаково.
  4. Синхронизацию в начале и конце — накопленное смещение заметнее всего там.
  5. Читаемость на самом светлом и самом тёмном кадре ролика.
  6. Положение относительно интерфейса площадки.

Эта проверка занимает пару минут и снимает почти все проблемы автоматического распознавания. Полная ручная вычитка обычно не окупается: выгода автоматических субтитров именно в том, что правится небольшая доля текста.

Когда автоматика не подходит

Есть случаи, где ручная работа остаётся необходимой: юридические и медицинские материалы, где цена ошибки высока; записи с сильным акцентом или диалектом; многоязычные разговоры с переключением языка внутри фразы. Во всех остальных ситуациях автоматическое распознавание с быстрой вычиткой даёт результат, неотличимый от ручного, за несоизмеримо меньшее время.

Нарежьте клипы автоматически в КРОУ КЛИПС

КРОУ КЛИПС берёт ваше длинное видео и сам нарезает его на готовые вертикальные клипы с субтитрами и брендингом — для VK Клипов, YouTube Shorts, Rutube и Дзена. Это умный отбор лучших моментов, а не ручной монтаж. Попробуйте бесплатно — 10 минут обработки в подарок при регистрации.