Яндекс улучшил поиск по картинкам: теперь он лучше распознает телефоны, автомобили и товары

Теперь алгоритмы учитывают не только само изображение, но и текстовое описание рядом с ним. Благодаря этому сервис лучше понимает, что изображено на фотографии, даже если описание страницы содержит ошибки.

Обновление особенно полезно при поиске конкретных моделей техники, автомобилей, мебели, одежды и других товаров, которые могут выглядеть похоже. Например, если на странице размещена фотография одного смартфона, а в тексте указана другая модель, алгоритмы смогут определить реальный объект на изображении.

Раньше Поиск по картинкам анализировал изображение и текст отдельно. Теперь данные объединяются, что позволяет точнее находить релевантные изображения и показывать пользователю подходящие результаты без дополнительных уточняющих запросов.

В основе обновления лежит мультимодальная технология. Сначала Яндекс обучил большую модель, после чего создал несколько компактных моделей для отдельных этапов обработки. Благодаря этому сложные вычисления выполняются заранее, а сам поиск остается быстрым.

По словам компании, после внедрения новой технологии количество релевантных изображений в верхней части выдачи заметно выросло. Особенно заметным улучшение должно стать при поиске товаров, где важна именно точная идентификация модели.