Мы используем высоконагруженный кластер Kafka для обработки входящего потока логов в Sage, собственной платформе мониторинга Тинькофф. В докладе я поделюсь опытом траблшутинга кластера в момент деградации производительности. Расскажу про методы поиска узкого места и использованный инструментарий. В докладе будет минимум информации по API клиентской части, напротив, будет сделан фокус на работе кластера и брокеров под капотом. Мы пройдем весь пайплайн внутри брокера Kafka: от записи данных в сетевой сокет до сброса обработанных данных на диск.