Конференция для инженеров и всех, кто должен понимать инженеров

MLOps: как не потеряться в 10 тысячах фич

Big Data и Data Engineering

Архитектуры / другое
Непрерывная интеграция
Hadoop
Machine Learning
Автоматизация разработки, доставки, эксплуатации
Автотесты
Инфраструктура
Инструменты

Доклад принят в программу конференции

Мнение Программного комитета о докладе

Если вы используете архитектуру Data Mesh, то ваши команды могут пользоваться данными других команд. Пайплайны могут ломаться, данные подвержены дрифту и возникают инциденты. Из доклада вы узнаете, как отслеживать зависимости между фичами и ML-моделями и реагировать на инциденты в данных.

Целевая аудитория

MLOps-инженеры, тимлиды, техлиды, менеджеры.

Тезисы

В архитектуре Data Mesh команды могут пользоваться данными других команд. Часто продукты зависят от качества данных нескольких команд. Пайплайны ломаются, данные дрифтят, и это не всегда можно оперативно отследить в чужих данных. Мы столкнулись с этим в аспекте подготовки фич для моделей машинного обучения.

В докладе я расскажу, как нам удалось эффективно отслеживать зависимости между фичами и ML-моделями и реагировать на инциденты в данных.

Head DS beeline business. Команда DS beeline business решает различные задачи: анализ геоданных, построение скоринговых моделей, видеоаналитика, ASR и другие.
Дмитрий более 10 лет в анализе данных. Опыт внедрения MLOps-процессов, построения платформ анализа данных, создания высоконагруженных ML-систем. Работал в компаниях: Master Delivery, НТЦ ЕЭС ИК, beeline и др.

билайн

билайн — технологичная компания, предоставляющая клиентам услуги в области Big Data, IT, безопасности, облачных технологий, интернета вещей и рекламных инструментов. В штате работают более 3000 IT-специалистов, они помогают более 80 000 клиентам из разных отраслей бизнеса быть более эффективными.

Видео