Яндекс Карты начали использовать нейросети для определения заведений, доступных для людей с особенностями мобильности. Благодаря этому база кафе и ресторанов с отметкой «Доступный вход» выросла примерно на треть.
В основе системы используется связка двух моделей. Мультимодальная Alice AI VLM анализирует фотографии заведений, а текстовая Alice AI LLM обобщает полученные данные и принимает решение о доступности входа.
Ранее такие отметки добавлялись вручную пользователями и владельцами заведений, из-за чего часто возникали ошибки. Например, не учитывались высота порога, наличие ступенек или угол подъёма пандуса. При этом фотографии входа были лишь у 14% заведений.
Теперь нейросеть самостоятельно находит на снимках вход в помещение и добавляет такие фотографии в раздел «Доступность» карточки заведения. Уже проанализировано более 900 тысяч изображений, благодаря чему доля заведений с фотографиями входа выросла с 14% до 62%.
После этого система анализирует снимки и отвечает на вопросы: есть ли ступеньки, высокий порог, пандус и достаточно ли широкий дверной проём. Затем текстовая модель делает итоговый вывод о доступности.
Если место признано доступным, в карточке появляется соответствующая отметка, а в ИИ-чате Карты могут объяснить детали. Например, указать наличие пандуса или предупредить о высоком пороге.
Если вывод нейросети не совпадает с пользовательскими отметками, объект отправляется на ручную проверку.
По данным Яндекса, благодаря новой системе число заведений с отметкой «Доступный вход» выросло с 39 до 52 тысяч, а точность ИИ-разметки превышает 80%.
Найти такие места можно через поиск или ИИ-чат в Яндекс Картах, включив фильтр «Доступность входа на инвалидной коляске». В будущем систему планируют расширить на другие категории организаций.
Комментарии в Телеграм