Iceberg, Spark, Airflow и прочие радости: строим data platform, не сходя с ума

Platform Engineering. Архитектура платформ

Программный комитет ещё не принял решения по этому докладу

Целевая аудитория

— Data Platform Engineers, Data Engineers и архитекторы данных, строящие или модернизирующие аналитические платформы; — Техлиды и инженеры-руководители, принимающие решения о миграции data-стека в облако или Kubernetes; — Специалисты, сталкивающиеся с метаданными, вендор-локом и оркестрацией сложных data-воркфлоу (Airflow + Spark + Trino).

Тезисы

Доклад посвящён практическому опыту построения масштабируемой платформы данных в Kubernetes. Расскажу, как мы интегрировали Spark, Trino, Airflow, Iceberg и Apache Ranger в единую отказоустойчивую систему, обеспечивающую аналитикам и дата-инженерам paas-сервис. Расскажу про архитектурные решения, и результаты— от сокращения времени запуска задач до полного контроля над вендор-локом.

Юрченко Максим

Лента

Построил DevOps-направление и облачную инфраструктуру компании с нуля — сначала в Azure, затем полностью перенёс в Yandex Cloud в 2022 году. Руководил командой, внедрил CI/CD, SRE-практики и устранил вендор-лок. Запустил Spark в Kubernetes (1500+ нод), JupyterHub для 50+ аналитиков

Видео

Другие доклады секции

Platform Engineering. Архитектура платформ

Построение конвейера сборки дистрибутива Linux в парадигме IaC (Inrfrastructure-as-a-Code)

Андрей Зубков

СберТех

Форк-ад в проде: как DevOps-архитектура спасла наш продукт

Руслан Мамлеев

Getfloorplan

Как мы заново изобретали IDP в большом зелёном банке: от сценариев до архитектуры

Павел Паранин

Сбер

Кластеры на растяжке: почему multi-DC отказоустойчивость — это не про shared ETCD, а про здравый смысл

Николай Асеев

Magnit Tech

Разумная платформа: Как AI-агенты улучшают процессы разработки

Максим Скоморохов

tutu.ru

Делаем жизнь ML-инженеров проще: как мы построили систему Remote IDE на on-premise ресурсах

Никита Томчик

Т-Банк

Год в проде с Ceph: как мы пришли к новой референсной архитектуре

Игорь Шишкин

Рунити

Итак, вы хотите построить on-prem Kubernetes кластер

Александр Чистяков

spbnix.com

Рефакторинг фронтенд-монолитов: инструменты, архитектура и человеческий фактор

Вадим Царегородцев

Островок!

Observability платформа: вчера, сегодня, завтра

Руслан Боярский

T-Банк

Управление пакетами и доставкой при помощи EPT

Алексей Веснин

HyperSphere

Мультитенантность на IAC: как мы настроили Keycloak Organizations под B2B-платформу

Дмитрий Фролов

Т-Банк

IDP (Internal Development Platform). Инструмент тирании или святой грааль?

Михаил Трифонов

Cloud.ru

Firmware - как сделать дистрибутив полноценной прошивкой, но не превратиться только в неё

Алексей Веснин

HyperSphere

Как самому сделать микро-дистрибутив Linux

Алексей Веснин

HyperSphere

Kafka в Kubernetes: от хаоса к контролю

Кирилл Протопопов

Mindbox

От Kubespray к единой платформе: как Kubernetes, Cluster API и Crossplane связали облако и on-premise в единую экосистему

Станислав Щербаков

Plesk

I'll be back: как платформа управления кубов возвращается после падения ЦОДа

Александр Краснов

Штурвал, Лаборатория Числитель

Три попытки сделать хорошую Internal Developer Platform: что мы поняли в процессе

Никита Вельгин

Флант