Миграция данных из OnPrem Postgres в Managed Podstgres с Yandex DataTransfer. Сложные случаи

Жизнь в облаках и без

PostgreSQL

Базы данных / другое

Devops / другое

Работа с облачными сервисами

Расширение кругозора

Программный комитет ещё не принял решения по этому докладу

Целевая аудитория

DevOps, DBA, Архитекторы

Тезисы

Если вы планируете миграцию из on-prem инфраструктуры в облако, то вам точно понадобится мирировать и данные. Одна из наиболее популярных реляционных СУБД - это Postgresql. В своем докладе я расскажу об опыте миграции нескольких больших (4-7Тб) и множества не очень больших баз данных из On-prem Postgresql в Yandex Managed Postgresql используя Yandex Data Transfer. Причем не только про миграцию "как есть", а с рядом особенностей, таких как:
- Частичный перенос данных (не все таблицы)
- Практически бесшовный переезд с одновременной записью в БД источник и назначение
- Особенности переноса таблиц без Primary Key
- Долгоживущие трансферы и что делать если нужно изменить структуру данных на источнике
- Как правильно разнести схемы из одного источника в разные инстансы-приемники

А так же отвечу на вопросы:
- Как трансфер переживает перебои в работе сети?
- Что может пойти не так во время работы трансфера? Спойлер: очень многое!
- Как можно уронить прод 3 раза за день?
- И даже: как траблщутить трансфер с помощью tcpdump?

Если вы архитектор, которому необходимо спланировать миграцию данных, или DevOps, который который организует процесс миграции, или DBA который участвует в процессе - обязательно приходите послушать, будет интересно!

Алексей Колосков

Hilbert Team

DevOps Lead Hilbert Team. Более 15 лет в IТ. Cоавтор курсов Yandex Cloud — «DevSecOps в облачном CI/CD», «Аутентификация и управление доступами», «Managed Service for ClickHouse», «Масштабирование нагрузки в K8s», «Контейнеризация с Docker». Победитель «Технотекст 2023» от Хабр в категории «Информационная безопасность».