Конференция для инженеров и всех, кто должен понимать инженеров

Логи: как EFK нас довел... до Vector и Clickhouse

Reliability Engineering

Логирование и мониторинг
Автоматизация разработки, доставки, эксплуатации
DevOps / SRE

Доклад принят в программу конференции

Мнение Программного комитета о докладе

Альтернативный взгляд на системы логирования. Стек Vector. dev и ClickHouse — это только лишь хайп или реальное решение насущных проблем? В докладе подробно разберем плюсы и минусы этого решения. А дальше вы сможете принять решение, стоит ли мигрировать на него.

Целевая аудитория

DevOps-инженеры, SRE, разработчики.

Тезисы

Когда-то мы впервые сталкиваемся с логами. Обычно это просто файл, содержащий данные о работе программы. Кто из вас слышал фразу «погрепать логи»? Так вот, это работает до сих пор во многих случаях. Но всегда ли это удобно? Конечно, нет.

В докладе я поделюсь, как построить удобную и производительную централизованную систему сбора и хранения логов на основе Vector. dev, Kafka и Clickhouse, позволяющую экономить на ресурсах и обслуживать высоконагруженные приложения.

Ссылка на материалы использованные в докладе https://github.com/vseinstrumentiru/devopsconf2024/blob/main/resentation-from-efk-to-vector-and-clickhouse/references.md

SR-инженер (SRE). 4 года строю и эксплуатирую отказоустойчивые системы, сопровождаю их, обрабатываю и анализирую сбои. Помогаю увидеть уровень сервиса через SLI/SLO. Строю систему сбора логов.
Более 10 лет в разработке, более 18 лет в IT. Начал с сисадмина, дошел до руководителя группы программистов, а потом перешел в backend-разработку, где увлекся темой надежности систем и стал SRE.
Имею опыт работы в сфере теллекомуникаций, финтех и ритейл
Автор телеграм группы “ALLSO - все про SLO”.

Сейчас инженер по доступности сервиса в Ви.Tech

Vi.Tech

Vi.Tech — это команда инженеров, которая строит IТ для ВИ.ру — одного из крупнейших игроков на рынке e-commerce.

Видео