Компания Яндекс добавила в свой браузер технологию автоматического закадрового перевода прямых трансляций некоторых YouTube-каналов.
Перевод на русский язык работает в режиме реального времени, что позволяет не ждать завершения мероприятия. Автоматический закадровый перевод прямых трансляций дополняет технологии голосового перевода видео и интерактивных субтитров.
Нейросети выступают в роли синхронного переводчика, который начинает переводить предложение еще до того, как его закончили произносить. Для быстрой и качественной работы потокового сценария, разработчикам Яндекса понадобилось перестроить всю архитектуру закадрового перевода видео. Одна нейросеть распознает аудио и превращает его в текст буквально на лету, другая – определяет пол спикера по биометрии. Третья нейросеть расставляет знаки препинания и выделяет из текста смысловые фрагменты — части, которые содержат законченную мысль. Именно их забирает ещё одна нейросеть, отвечающая за перевод, который сразу синтезируется на русском языке.
Синхронный перевод можно опробовать в «Яндекс Браузере» для компьютера на ограниченном списке YouTube-каналов:
- NASA;
- English Speeches;
- TED;
- TedX Talks;
- Hubble;
- SpaceX;
- Business Insider;
- Freeinvesting;
- TechCrunch;
- Google;
- Google Developers;
- Apple;
- CNET Highlights;
- Gaming News — IGN;
- thegameawards;
- The Overlap.
Также в в «Яндексе» поделились поделились статистикой использования закадрового перевода. За 10 месяцев функцию запустили на 81 млн видеороликов.
