ИИ-технологии «VK Видео» улучшили субтитры на 25%

Технологии искусственного интеллекта позволили сервису «VK Видео» улучшить точность анализа и расшифровки речи на 25 %. Для автоматического распознавания речи и синтеза субтитров в роликах, шоу, клипах и другом контенте внедрены новые алгоритмы ИИ.

Нейросети не стоят на месте, а активно осваивают речь человека. Среди тысяч новых слов ИИ уже хорошо понимают мемы и акронимы, знакомы с именами собственными и профессиональными терминами. Скоро ИИ научится разделять на отдельные реплики речь разных спикеров, и это тоже поможет сделать субтитры еще понятнее.

За последний месяц на 28 % расширилась доля пользователей платформы «VK Видео», применяющих функцию субтитров в веб-версии. Сейчас субтитры включают 11 % от всей аудитории сервиса. В числе тех, кому технология реально помогает – люди с нарушениями слуха. Кроме того, бывают ситуации, когда приходится смотреть видео без звука.

Формируются субтитры автоматически благодаря работе ML-моделей. Они создают текст, расставляют знаки препинания и синхронизируют его с видео. Аудиопоток проходит несколько стадий обработки для улучшения точности. Сначала распознается речь и переводится в текст с предварительным очищением контента от посторонних шумов. Затем модели пунктуации и денормализации набор распознанных слов приводят в порядок, получая читабельный текст. И в конце производится его синхронизация с аудиодорожкой. Все это делает субтитры любительских и профессиональных видео удобными и понятными.

Источник: CNews