GitOps для AirFlow. Как мы перешли на легковесный k8s-native Argo Workflow
Программный комитет ещё не принял решения по этому докладу
Целевая аудитория
Тезисы
Множество платформ по машинному обучению строятся на основе популярного инструмента AirFlow. Но действительно ли он так хорош или все-таки есть подводные камни?
В данном докладе я поделюсь тем, как мы решили отказаться от AirFlow и подобных ему инструментов по типу Dagster, в которых DAG/пайплайны пишутся на Python, в пользу ArgoWorkflow с написанием всего в yaml формате.
Мы поговорим о проблемах, которые возникают у достаточно большого числа команд при работе с AirFlow, в особенности при построении платформ по машинному обучению на базе Kubernetes.
MLOps-инженер с впечатляющим опытом в создании нескольких платформ по машинному обучению, включая одну, которая успешно зарегистрирована в государственном реестре официальных программ. Профессиональный путь начал как DevOps, успешно внедрял передовые практики в области разработки различных сервисов и платформ.
Обладатель диплома бакалавра с отличием от «Университета «Дубна».
В настоящее время продолжает свое образование в магистратуре ИТМО по направлению «Безопасность систем искусственного интеллекта».
Кроме того, активно участвует в различных конференциях как спикер, передавая свой опыт и знания. Выступления на открытых и закрытых мероприятиях позволяют Александру делиться лучшими найденными практиками с сообществом.
Его достижения не ограничиваются исключительно техническим аспектом работы. Активно участвует в различных событиях во время учебы и имеет множество увлечений.
KTS, Альфа-Банк
Видео
Другие доклады секции
Platform Engineering
