🏋🏻‍♂️Авторизация в Kafka: управление изменениями, когда тысячи клиентов и миллионы RPS

DevOps практики и культура

Логирование и мониторинг
Управление изменениями
Логи, метрики, ошибки
Обработка данных
Безопасность инфраструктуры

Доклад принят в программу конференции

Мнение Программного комитета о докладе

Внедрение глобальных изменений в любую большую систему — это всегда большое количество рисков и подводных камней. В этом докладе будут даны советы, которые помогут провернуть изменения не только в кластерах Kafka, но и дадут обзор общих архитектурных подходов.

Целевая аудитория

* Инженеры эксплуатации, которым интересно взаимодействие с разработкой. * Руководители технических команд. * Для CTO/CIO/CISO будет история о том, как включать авторизацию в больших компаниях.

Тезисы

Этот доклад для всех, кто хочет послушать историю полную как боли и лишений, так и инженерного опыта. Поговорим о том, как подходить к масштабным задачам, где подстелить соломки и как убедиться, что все будет работать даже при отключении дата-центра.

Расскажу:
* как мы включали авторизацию на кластере, переваривающем 17 млн сообщений в секунду;
* Strimzi-провайдер — продакшн-решение без логов и метрик;
* разделение авторизации и аутентификации — добро или зло?
* проблемы со стороны клиентов — как расследовать и откуда они берутся?
* как потери единичных пакетов дестабилизируют всю систему и что с этим делать;
* как организовать переход нескольких тысяч микросервисов на четырех языках на походы в кафку с авторизацией.

Руководит направлением Managed Services в Ozon. Вместе со своей командой развивают ряд инфраструктурных сервисов и предоставляют их через внутреннее облако. Среди сервисов: шина данных на основе Kafka, собственное объектное хранилище s3 поверх ceph, хранилище секретов на базе Vault, а также etcd, redis, memchache и другие. Решают задачу предоставления инфраструктуры как сервиса.

Ранее успел побывать на разных должностях от разработчика до CTO. Выстраивал команды, процессы разработки и руководил проектами. Ведет подкаст о жизни в IT «Кода кода». Является членом ПК YaTalks и Ural Digital Weekend.

Ozon

Ozon — ведущий e-com России. В Ozon Tech — IT-команде компании — уже более 6 000 специалистов, которые создают продукты для миллионов людей по всей стране и за рубежом. Инженеры Ozon разрабатывают собственные решения, контрибьютят в Open Source и используют современный стек: Go, C#, Kotlin, Swift, Vue.js, Kubernetes, Kafka и др. С каждым годом команда растёт вместе с бизнесом, чтобы повышать качество сервисов и быть ещё ближе к пользователям.

Видео

Другие доклады секции

DevOps практики и культура