Нейросеть Алиса в Яндекс Браузере научилась распознавать, что изображено на картинках в интернете и создавать их подробные описания. О новой возможности рассказали в пресс-службе Яндекса.
В компании отметили, что новая функция делает визуальный контент доступным для незрячих и слабовидящих пользователей. Алиса может подробно описать иллюстрации в статьях, фотографии товаров в интернет-магазинах или изображения в соцсетях, вплоть до мелких деталей, например, цвета, кроя и посадки платья.
Функция основана на нейросетевой мультимодальной модели. Она анализирует одновременно текст и изображение, учитывая контекст и взаимосвязь объектов. Это позволяет формировать точные и осмысленные описания, отражающие содержание картинки в целом.
Активировать функцию можно в настройках Браузера в разделе «Специальные возможности». Для получения описания нужно выбрать опцию «Описать картинку» в контекстном меню или на панели поверх изображения, либо навести на картинку фокус программы экранного доступа. В Яндекс Браузере для Windows, iOS и Android Алиса также озвучивает составленное описание.
Комментарии в Телеграм