Как мы управляем GenAI-трафиком в Istio и Kubernetes

Мы знаем, как готовить K8s

Архитектурные паттерны

DevOps / Кубер

Сеть

Google Outlook Apple

Доклад принят в программу конференции

Мнение Программного комитета о докладе

Как управлять GenAI-трафиком в Kubernetes так же уверенно, как обычными сервисами? Разберём типы AI-взаимодействий и покажем, как с помощью Istio, Gateway API и кастомных решений обеспечить надёжность, безопасность и observability для LLM и агентных систем.

Целевая аудитория

DevOps-инженеры, разработчики и архитекторы Cloud-Native-решений на базе Kubernetes.

Тезисы

Скачать презентацию Все презентации конференции

Что такое ИИ-агент c точки зрения Kubernetes — регулярное контейнерное приложение или абсолютно новый вид рабочих нагрузки для кластера с особым трафиком?

Как рулить инференсом моделей для агентов? Протоколы MCP, A2A — это обычный HTTP или что-то большее? И что там с сетевой безопасностью?

Приходите на доклад — все обсудим.

Максим Чудновский

СберТех

Более 15 лет опыта разработки ПО в различных ролях: developer, product manager, solution architect, system architect.

Ключевые области проектов:
* высоконагруженные интеграционные решения;
* распределенные платформенные решения на базе облачных технологий;
* CI/CD-решения для облачных сред;
* AI&ML-решения.