Особенности observability в LLM-приложениях и агентах
Программный комитет ещё не принял решения по этому докладу
Целевая аудитория
Тезисы
AI-агенты все плотнее входят в нашу повседневную жизнь и встраиваются в бизнесы компаний, где мы работаем. Если год назад приложение, плотно интегрированное с LLM, было чем-то особенным, то сейчас этим никого не удивить. И с ростом популярности AI-агентов растет и значимость темы мониторинга их работы - а как понять, что AI-агент работает как надо? И как вообще мониторить интеграцию с большим "черным ящиком" под названием LLM, от которого может зависеть так многое?
В этом докладе вы узнаете о том, как правильно организовать observability для LLM-агентов. Мы разберём принципы работы агентов и покажем, что за кажущейся магией стоит обычная инженерия. Вы познакомитесь с базовыми подходами к мониторингу через трейсы, метрики и evals, а также узнаете о ключевых проблемах: незрелость OpenTelemetry в этой области, отсутствие единых конвенций и сложности визуализации больших текстовых данных.
Даниэль из Самары. Родился там и живет пока тоже там.
Работает техническим менеджером в Яндексе. Развивает основную систему мониторинга, которой мониторится почти все продукты в компании. В частности, отвечает за направление трейсинга (distributed tracing).
До этого работал техническим продакт-менеджером в Т-Банке. В разное время отвечал за быстродействие приложения мобильного банка и за его надёжность (краши, мониторинги, технические метрики и всё такое), и за развитие главной системы мониторинга Sage на внешнем рынке.
Еще раньше поработал системным аналитиком и бекенд-разработчиком на проекте Кувейсткого оператора связи (гонял пару раз в Кувейт даже), SRE инженером и системным администратором.
В нерабочее время учусь кататься на скейте, занимаюсь MMA и поигрываю немного в Playstation.
Видео
Другие доклады секции
Operational Intelligence. Наблюдаемость в новом мире
