Рост команды против зрелости процессов: автоматизация и CI/CD для data-платформ
Доклад принят в программу конференции
Целевая аудитория
Тезисы
По мере роста дата-команды становится сложнее управлять изменениями и качеством данных. Разработчики часто мешают друг другу, а тимлиды уже не успевают ревьювить каждое изменение. Любой пропущенный баг быстро становится инцидентом.
Доклад о том, как CI/CD и подходы к автоматизации позволяют сделать деплой данных стабильным, а качество — предсказуемым.
На примере dbt поговорим: * как релизная политика влияет на риски и стабильность; * как автоматизировать валидацию патчей до прода; * как безопасно деплоить в прод и минимизировать сбои; * как внедрять тесты при инфраструктурных ограничениях; * какие шаги помогут повысить качество данных; * как организовать мониторинг данных и тестов; * какие проблемы возникают при создании каталога и документации; * ключевые моменты оптимизации CI/CD-процессов.
Более 8 лет в ИT. Карьеру начинал с fullstack-разработки в РЖД, после чего перешел в Газпромбанк.Тех, где занимался построением ETL-процессов, а затем вошел в состав DataOps-команды. В ней разрабатывали собственный фреймворк и выстраивали CI/CD-пайплайны для КХД. Сегодня занимает позицию руководителя разработки и отвечает за внедрение инструментов и практик DataOps в рамках создания новой платформы данных банка.
