Kubeflow: Machine Learning для kubernetes, и на самом деле не только ML
Доклад отклонён
Тезисы
Kubeflow -- это модульная система, разработанная для простого построения ML-пайплайнов, но она хорошо подходит и для других задач
——
Чем она хороша для ML:
* есть model serving == kfserving
* есть AutoML == Katib
——
Не только про ML: расскажу, как мы использовали kubeflow вместо стационарного Jupyter-hub, какие проблемы пришлось решать в процессе, и какие выгоды получили от перехода
Преимущества:
возможность дать контроль над:
* ресурсами (cpu, mem, gpu)
* привязкой к классам узлов (affinity/toleration),
* общим контейнерам/директориям (volumes) через общее пространство (namespace)
* выбору программного обеспечения (свои образы для контейнеров)
Kubeflow Pipelines: условный конкурент cron/airflow
Тоже могут быть общими (свойства namespace)
Инженер больших данных, преподаватель/лектор на ВМК МГУ, игрок в го
QIWI