Яндекс опубликовал в открытом доступе Alice AI Search Pretrain — собственную языковую модель, которая лежит в основе быстрых ИИ-ответов в Поиске. Модель доступна на Hugging Face и может использоваться разработчиками и исследователями в собственных проектах.
Alice AI Search Pretrain была обучена с нуля и уже прошла базовый этап pretrain. Она рассчитана на обработку большого количества документов и высокую нагрузку, при этом требует сравнительно немного вычислительных ресурсов.
Главная особенность модели — гибридная архитектура, сочетающая Encoder-Decoder и Mixture of Experts. Первая часть отвечает за отбор и обработку информации, вторая — за генерацию ответа. MoE позволяет активировать только часть параметров, необходимую для конкретного запроса.
Всего модель содержит 35 млрд параметров, однако при обработке одного токена используется около 600 млн — менее 2% от общего числа. За счет этого Alice AI Search Pretrain должна работать быстрее и экономичнее более крупных моделей.
По внутренним тестам Яндекса модель превосходит Qwen 3.5 2B, Qwen 3.5 4B и T5 Gemma 2 4B-4B Base на задачах по русскому языку. При этом ее качество заявлено на уровне Qwen 3.5 35B-A3B, которая требует заметно больше вычислительных ресурсов.
