Мнение Программного комитета о докладе
Технический доклад для интересующихся Scylla DB и уставших от проблем с Cassandra.
Доклад принят в программу конференции
Технический доклад для интересующихся Scylla DB и уставших от проблем с Cassandra.
Наш сервис вычисляет инференс моделей машинного обучения в транзакционном режиме. Как БД для наших сервисов мы использовали Cassandra:12 нод по 10 ядер и 32 ГБ памяти.
Немного цифр: среднее число запросов 1000 RPS, в пиковых нагрузках — 1200 RPS, ежедневная загрузка данных 800 ГБ, нагрузка на базу — от 50 000 до 100 000 RPS.
В начале 2020 г. мы столкнулись с пределами масштабирования: перестало хватать кластеров, появились всплески latency (из-за garbage collection), фантомные данные, увеличилось время загрузки (11-12 часов). У нас был выбор: масштабироваться за счет железа (но с каждым разом это будет все дороже, и есть предел) или мигрировать. Мы выбрали миграцию базы с Cassandra на Scylla DB и думали, что мигрируем за пару спринтов...
Расскажем, как инсталлировали кластеры, делали реплики, настраивали мониторинг и где возникли проблемы, из-за которых все растянулось на 4 месяца.
System Engineer платформы ML и облачных решений.
OneFactor
Архитектура в DevOps, DevOps для CTO
Видео, доступные к покупке
Видео FrontendConf 2023
2 октября 2023 — 3 ноября 2023
32000 ₽
Видео HighLoad++ 2023
27 и 28 ноября 2023
32000 ₽
Видео TeamLead Conf++ 2023
30 ноября 2023 и 1 декабря 2023
32000 ₽
Видео DevOpsConf 2024
4 и 5 марта 2024
37500 ₽
Видео Saint HighLoad++ 2024
24 и 25 июня 2024
39500 ₽
Видео Saint TeamLead Conf 2024
27 и 28 июня 2024
37500 ₽
Видео AiConf 2024
26 и 27 сентября 2024
37500 ₽
Видео FrontendConf 2024
30 сентября 2024 и 1 октября 2024
37500 ₽