Яндекс выложил в открытый доступ YTsaurus Flow, технологию для непрерывной обработки больших потоков данных. Она позволяет учитывать действия пользователей практически сразу после их появления.
Система обрабатывает клики, лайки, показы, заказы и другие события в реальном времени. За счёт этого алгоритмы могут быстрее замечать изменение интересов пользователей, обновлять рекомендации и рекламу, а также выявлять подозрительную активность.
YTsaurus Flow уже используется внутри сервисов Яндекса. Например, в Рекламе технология обрабатывает более 100 ГБ данных в секунду и миллионы событий. Раньше подготовка данных для дообучения некоторых моделей занимала более 10 часов, теперь задержку удалось почти полностью устранить.
Технология также применяется в Маркете и антифрод-системах. Она рассчитана на высокую нагрузку, не дублирует события и продолжает работу при сбоях за счёт перераспределения нагрузки между серверами.
YTsaurus Flow стала частью открытой платформы YTsaurus и распространяется по лицензии Apache 2.0. Технологию можно использовать в том числе в коммерческих проектах.
