vGPU в K8s - как перестать считать видеокарты для контейнеров
Доклад принят в программу конференции
Целевая аудитория
DevOps инженеры, тех лиды, владельцы команд, которые решают задачу ML Inference
Тезисы
- Анализ проблем утилизации GPU в контексте подходов single-model и multi-model inference.
- Сравнительная оценка аппаратных и программных решений для оптимизации использования GPU.
- Глубокое понимание реализации концепции vGPU в Kubernetes и её архитектурных особенностей.
- Практические подходы к устранению дефицита CPU, возникающего при перераспределении ресурсов GPU.
- Рекомендации по эффективному управлению ресурсами GPU в контейнеризированных окружениях.
DevOps/MLOps инженер
Cloud.ru
Cloud․ru — провайдер облачных сервисов и AI-технологий, который делает доступ к облакам и искусственному интеллекту простым и удобным.
Видео
Другие доклады секции
Применение ИИ в Devops
