Как собирать 1 млн логов в секунду через vector, хранить и быстро искать в clickhouse.
Программный комитет ещё не принял решения по этому докладу
Целевая аудитория
devops, sre
Тезисы
В каждой компании есть необходимость выстроить систему observability. В своём докладе расскажу, как эволюционировал пайплайн сбора и хранения логов. От ElasticSearch к файлам на дисках и к clickhouse.
О том, как мы перестраивали нашу архитектуру под большее количество данных. Много ли сейчас у нас данных? Имеем на входе 24к RPS, 1 миллион спанов в сек., 5к инстансов сервисов. Рассмотрим особенности таблиц с логами в clickhouse.
Также затронем долговременное хранение в hadoop
Ведущий разработчик в платформенной команде Head Hunter. Занимается разработкой фреймворков компании, внедрением новых технологий, SRE. Больше 10 лет опыта в разработке.
Видео
Другие доклады секции
DevOps практики и культура
