Яндекс Браузер научился автоматически переводить и озвучивать видео с китайского языка на русский. Все операции обработки выполняются через нейросеть, которая обработала 1,5 миллиона видео с помощью алгоритма и 100 тысяч примеров с качественными субтитрами на севернокитайском языке.
Технология уже работает на YouTube, а в скором времени будет поддерживаться на популярной китайской видеоплатформе Bilibili. Для обучения нейросетей Яндекс Браузера были учтены множество особенностей сложного восточного языка. Одной из самых сложных особенностей китайского является тональность, которую нейросети смогли освоить всего за месяц.
Для выполнения задачи нейросетям браузера пришлось выучить тысячи иероглифов, которые кодируются в виде 10 000 токенов и научиться делить сплошной поток иероглифов на смысловые отрезки для более точного перевода.
Яндекс Браузер предлагает перевести видео с китайского языка на YouTube с помощью одной кнопки “Перевести видео”.
