Яндекс Браузер научился синхронному переводу прямых трансляций

Компания Яндекс добавила в свой браузер технологию автоматического закадрового перевода прямых трансляций некоторых YouTube-каналов.

Перевод на русский язык работает в режиме реального времени, что позволяет не ждать завершения мероприятия. Автоматический закадровый перевод прямых трансляций дополняет технологии голосового перевода видео и интерактивных субтитров.

Нейросети выступают в роли синхронного переводчика, который начинает переводить предложение еще до того, как его закончили произносить. Для быстрой и качественной работы потокового сценария, разработчикам Яндекса понадобилось перестроить всю архитектуру закадрового перевода видео. Одна нейросеть распознает аудио и превращает его в текст буквально на лету, другая – определяет пол спикера по биометрии. Третья нейросеть расставляет знаки препинания и выделяет из текста смысловые фрагменты — части, которые содержат законченную мысль. Именно их забирает ещё одна нейросеть, отвечающая за перевод, который сразу синтезируется на русском языке.

Синхронный перевод можно опробовать в «Яндекс Браузере» для компьютера на ограниченном списке YouTube-каналов:

  • NASA;
  • English Speeches;
  • TED;
  • TedX Talks;
  • Hubble;
  • SpaceX;
  • Business Insider;
  • Freeinvesting;
  • TechCrunch;
  • Google;
  • Google Developers;
  • Apple;
  • CNET Highlights;
  • Gaming News — IGN;
  • thegameawards;
  • The Overlap.

Также в в «Яндексе» поделились поделились статистикой использования закадрового перевода. За 10 месяцев функцию запустили на 81 млн видеороликов.

Пользуетесь Телеграм? Обязательно подпишитесь на новый канал The GEEK!

Источник:

Комментарии

guest
0 Комментариев
Межтекстовые Отзывы
Посмотреть все комментарии