Яндекс анонсировал новую версию технологии перевода текста на фотографиях и изображениях, основанную на YandexGPT. Нововведение позволит пользователям быстро переводить текст на фотографиях, например, меню в ресторанах или техническую документацию. Обновление уже доступно в Переводчике и Браузере, а позже появится и в Умной камере.
Для улучшения перевода текста на изображениях Яндекс создал отдельную модель семейства YandexGPT, адаптированную для соответствующих задач. Модель обучали на тысячах пар оригинальных и переведённых текстов, показывая примеры как качественных, так и неудачных переводов. Это позволило нейросети научиться избегать ошибок и стремиться к качественному переводу, без добавления лишних или неверных деталей.
Модель семейства YandexGPT, на базе которой работает новая технология, понимает стиль оригинального текста и может сохранить игру слов, например, в рекламных слоганах или заголовках газет. Теперь она способна точнее передавать содержание как простых текстов, вроде описания косметической продукции, так и более сложных материалов — публицистики, энциклопедий и инструкций.
Кроме того, разработчики улучшили визуализацию перевода — текст на изображениях теперь легче читается. Алгоритмы стирают оригинальный текст и заменяют его переведённым, при этом подбирая подходящий шрифт, размер и цвет букв для максимального сохранения визуального оформления. Технология также распознаёт переносы слов и может обрабатывать даже частично захваченные фрагменты текста.
Комментарии в Telegram