Компания Сбер представила новую генеративную модель Kandinsky 2.1. Это нейросеть, которая способна создавать высококачественные изображения всего за несколько секунд по текстовому описанию на естественном языке. Она также умеет смешивать несколько рисунков, изменять их, генерировать изображения, дорисовывать недостающие части картинки и формировать изображения в режиме бесконечного полотна.
Модель понимает запросы на 101 языке, включая русский и английский, и может рисовать в различных стилях. Нейросеть была разработана и обучена исследователями Sber AI при поддержке ученых из Института искусственного интеллекта AIRI на объединенном датасете Sber AI и компании SberDevices.
Kandinsky 2.1 улучшили за счет новой обученной модели автоэнкодера, которая используется в качестве декодера векторных представлений изображений. Это кардинально улучшило генерацию изображений в высоком разрешении, включая лица и сложные объекты. Теперь модель содержит 3,3 млрд параметров вместо 2 млрд в Kandinsky 2.0.
Kandinsky 2.1 использует не только закодированное текстовое описание, но и специальное представление изображения моделью CLIP. Таким образом, модель формирует представление картинки на основе текстовой информации и подает его на вход основной генеративной модели.
Новая модель может применяться в различных отраслях, например, в банковской сфере для создания персонализированных маркетинговых решений, ярких образов продуктов и привлечения внимания клиентов.
Попробовать нейросеть можно на промо-странице модели, при помощи команды «Запусти художника» на умных устройствах Sber и в мобильном приложении Салют, на платформе ML Space в хабе предобученных моделей и датасетов DataHub, на платформе Fusion Brain и в Telegram-боте.
