Мнение Программного комитета о докладе
Когда ваши маленькие модельки доросли до большого денежного продакшена, неудачная выкатка становится дорогой проблемой. Давайте тестировать и делиться опытом.
Доклад принят в программу конференции
Когда ваши маленькие модельки доросли до большого денежного продакшена, неудачная выкатка становится дорогой проблемой. Давайте тестировать и делиться опытом.
Всем нам хорошо известно, что одним из аспектов надёжности является тестирование. За годы разработки в индустрии сформировались практики тестирования классических детерминированных сервисов, где мы можем точно предсказать результат выполнения алгоритма/бизнес-логики.
А что делать, если ваша система — ML-сервис? Результат модели непредсказуем до тех пор, пока не передашь на вход данные и не получишь результат. Но даже зная, как себя поведёт конкретная модель на конкретном датасете, после дообучения мы попадаем вновь в начальную точку, когда мы не можем предсказать результат модели на известном наборе данных из-за изменившихся весов. Ситуация усугубляется, если у вас цепочка моделей, где результат каждой последующей зависит от предыдущей, а значит и ошибка, вносимая одной моделью, заведомо вносит ошибку в последующие модели.
Как гарантировать бизнесу высокое качество в столь неопределенной среде? Взяв в качестве примера несколько систем виртуального ассистента Салют, я расскажу, какую эволюцию мы прошли, какие новые приёмы и метрики придумали для того, чтобы гарантировать качество ML-системы.
Руководитель Python-разработки ML-систем NLP-платформы в Сбербанке.
Сбердевайсы
SRE-практики
Видео, доступные к покупке
Видео FrontendConf 2023
2 октября 2023 — 3 ноября 2023
32000 ₽
Видео HighLoad++ 2023
27 и 28 ноября 2023
32000 ₽
Видео TeamLead Conf++ 2023
30 ноября 2023 и 1 декабря 2023
32000 ₽
Видео DevOpsConf 2024
4 и 5 марта 2024
37500 ₽
Видео Saint HighLoad++ 2024
24 и 25 июня 2024
39500 ₽
Видео Saint TeamLead Conf 2024
27 и 28 июня 2024
37500 ₽
Видео AiConf 2024
26 и 27 сентября 2024
37500 ₽
Видео FrontendConf 2024
30 сентября 2024 и 1 октября 2024
37500 ₽