Логи: как EFK нас довел... до Vector и Clickhouse

Reliability Engineering

Логирование и мониторинг

Автоматизация разработки, доставки, эксплуатации

DevOps / SRE

Google Outlook Apple

Доклад принят в программу конференции

Мнение Программного комитета о докладе

Альтернативный взгляд на системы логирования. Стек Vector. dev и ClickHouse — это только лишь хайп или реальное решение насущных проблем? В докладе подробно разберем плюсы и минусы этого решения. А дальше вы сможете принять решение, стоит ли мигрировать на него.

Целевая аудитория

DevOps-инженеры, SRE, разработчики.

Тезисы

Скачать презентацию Все презентации конференции

Когда-то мы впервые сталкиваемся с логами. Обычно это просто файл, содержащий данные о работе программы. Кто из вас слышал фразу «погрепать логи»? Так вот, это работает до сих пор во многих случаях. Но всегда ли это удобно? Конечно, нет.

В докладе я поделюсь, как построить удобную и производительную централизованную систему сбора и хранения логов на основе Vector. dev, Kafka и Clickhouse, позволяющую экономить на ресурсах и обслуживать высоконагруженные приложения.

Ссылка на материалы использованные в докладе https://github.com/vseinstrumentiru/devopsconf2024/blob/main/resentation-from-efk-to-vector-and-clickhouse/references.md

Дмитрий Синявский

Ви.Tech

SR-инженер (SRE). Более 5 лет строит и эксплуатирует отказоустойчивые системы, сопровождает их, обрабатывает и анализирует сбои. Помогает увидеть уровень сервиса через SLI/SLO. Строит систему сбора логов.

Более 20 лет в ИT, из них 14 лет в разработке. Начал с сисадмина, дошел до руководителя группы программистов, а потом перешел в backend-разработку, где увлекся темой надежности систем и стал SRE.
Имеет опыт работы в сфере телекоммуникаций, финтеха и ретейла.

Спикер IT-конференций, член ПК DevOpsConf.

Автор телеграм-группы «ALLSO - все про SLO» https://t.me/allslo_ru. Сообщество https://github.com/ALLSLO-COMMUNITY/
Ведет свой телеграм канал «Летит Кит» про SRE и разработку https://t.me/letitkit

Сейчас - инженер по надежности в Ви.Tech, https://vitech.team

Ви.Tech

Ви.Tech — это команда инженеров, которая строит ИТ для ВИ.ру — одного из крупнейших игроков на рынке e-commerce.