Яндекс Браузер запустил новую версию перевода видео, в которой нейросети передают оригинальные голоса и интонации участников роликов. Теперь при просмотре переведённых с английского видео создаётся ощущение, будто герои владеют русским языком.
Браузер использует новую нейросетевую модель, которая анализирует оригинальную речь, выделяет тембр, ритм и интонации, а затем воспроизводит их в переводе. Для обучения технологии применили сотни тысяч аудиопримеров. В результате закадровая речь звучит более живо и естественно, а сам перевод стал точнее передавать смысл и стилистику оригинала.
Особенно это заметно в видео с живыми выступлениями, скетчами или речами известных людей, где важны эмоции и особенности речи. Новая технология основывается на модели YandexGPT, признанной лидером в международном бенчмарке DiBiMT по качеству перевода с английского на русский язык.
Разницу можно оценить, например, на этом видео:
- как было: https://disk.yandex.ru/i/gcOpbmvAHBwxtA
- как стало: https://disk.yandex.ru/i/Ve8aISQM9PMQkg
Перевод нового поколения уже доступен для пользователей Яндекс Браузера при просмотре роликов на YouTube, в Яндекс Поиске, на VK Видео, Дзене и Rutube. Для активации функции нужно быть авторизованным через Яндекс ID и выбрать перевод в панели просмотра видео.
