Профессиональная конференция по интеграции процессов разработки, тестирования и эксплуатации

Аналитическая база данных как продукт внутренней платформы данных

Резерв

Базы данных / другое
Непрерывное развертывание и деплой
Администрирование баз данных
Автоматизация разработки, доставки, эксплуатации
Хранилища

Доклад принят в программу конференции

Мнение Программного комитета о докладе

Платформы это не только про k8s и код, но и про другие инструменты повышения удобства. В этом докладе будет не только рассказ про интеграцию аналитических БД в платформу, но и обзор свежего решения.

Целевая аудитория

Инженеры данных, sre, администраторы баз данных

Тезисы

Предоставить пользователям аналитическую базу данных - это не просто поднять гринплам, кликхауз или купить на них подписку. На примере внедрения в платформу данных базы нового поколения Starrocks (https://www.starrocks.io) расскажу про обеспечение необходимого минимума функционала и автоматизации для потребителей - инженеров данных, инженеров-аналитиков или разработчиков dwh.
Постараюсь ответить на вопрос - каким требованиям должны удовлетворять инсталляции и сами движки баз, особенно, если вы как поддержка хотите спать по ночам и не вздрагивать при словах "обновление", "блокирующие операции ddl" или "отказ мощностей".
В докладе будет k8s (куда же без него в современном мире), сервисы миграций, аутентификации и авторизации, dbt как сервис - и все это приправлено щепоткой golang и gitlab-ci.

Руководитель платформы данных с более чем десятилетним опытом в индустрии. Начинал с администрирования систем виртуализации, систем хранения и построения надежной сетевой инфраструктуры. Люблю опенсорс.
Основатель сообществ dbt & modern data stack и nifi users в telegram.

Place.01

Компания разрабатывает продукты для финтеха на международном рынке от технических платформ до маркетинговой поддержки.

Видео