Данила Гудынин на DevOpsConf 2025

🏋🏻‍♂️vGPU в K8s — как перестать считать видеокарты для контейнеров

Cloud Native Engineering

Фреймворки

C/C++

Обзор

7 апреля, 12:20, Зал «Пекин»

Google Outlook Apple

Доклад принят в программу конференции

Мнение Программного комитета о докладе

Вы хотите использовать ваши GPU на полную, разделяя ресурсы между разными пользователями. У вас своё собственное клиентское облако, где вы хотите предоставлять доступ к облачным AI-процессам, и вы думаете, как разделять ресурсы видеокарты между пользователями. Здесь есть ответы на ваши вопросы!

Целевая аудитория

DevOps-инженеры, техлиды, владельцы команд, которые решают задачу ML Inference.

Тезисы

* Проанализируем проблему утилизации GPU в контексте подходов single-model и multi-model inference.
* Дадим сравнительную оценку аппаратных и программных решений для оптимизации использования GPU.
* Погрузимся в реализацию концепции vGPU в Kubernetes и её архитектурные особенности.
* Рассмотрим практические подходы к устранению дефицита CPU, возникающего при перераспределении ресурсов GPU.
* Подытожим рекомендации по эффективному управлению ресурсами GPU в контейнеризированных окружениях.

Данила Гудынин

Cloud.ru

DevOps/MLOps/LLMOps-инженер.

Cloud.ru

Cloud․ru — провайдер облачных сервисов и AI-технологий, который делает доступ к облакам и искусственному интеллекту простым и удобным. В Cloud․ru есть 100+ IaaS- и PaaS-сервисов, ML-платформа на базе суперкомпьютеров и публичное облако Cloud․ru Evolution на основе собственных разработок и open source. В команде провайдера более 1 500 специалистов в области IT, кибербезопасности и AI. Cloud․ru входит в число крупнейших IT-компаний России.