Ирина Николаева на DevOpsConf 2024

Локальные LLM: как с легкостью применять большие языковые модели в ежедневных задачах

Воркшопы

Google Outlook Apple

Доклад принят в программу конференции

Мнение Программного комитета о докладе

Искусственный интеллект ближе, чем кажется! Присоединяйтесь, чтобы узнать, как использовать открытые локальные LLM в повседневной работе на твоём обычном ПК. Откроем завесы над миром LLM-моделей и попробуем их в бою для анализа ошибок и поиска решений, соблюдая лицензии и требования к оборудованию.

Целевая аудитория

Разработчики, использующие в своей работе ChatGPT и/или другие большие языковые модели.

Тезисы

Скачать презентацию Все презентации конференции

В этом мастер-классе я расскажу, как максимально быстро и безопасно автоматизировать часть своей работы с помощью локально развернутых LLM. Мы вместе попробуем несколько моделей для базовых DevOps-задач, научимся писать промпты (да, они немного отличаются от промптов для Chat GPT), а также поговорим про то, как можно улучшить ответ модели за N шагов.

Ирина Николаева

Raft

Data Scientist c опытом работы в разных областях: от анализа временных рядов и computer vision до больших дата-инженерных highload-проектов.
Также имеет солидный математический бэкграунд в области функционального анализа и операторных алгебр — научные статьи и выступления на конференциях.
На данный момент работает в компании Raft и занимается исследованиями и внедрением LLM-моделей в продакшн, о чем ей бы очень хотелось рассказать на этой конференции.

Raft

Raft специализируется на разработке приложений на основе генеративного ИИ, применяя такие технологии, как YandexGPT-2, ChatGTP и Llama-2. Занимаются созданием решений для защиты приложений на генеративном ИИ от потенциальных угроз и разрабатывают свои продукты. Главный продукт — AudioInsights. Этот инструмент предназначен для анализа качества обслуживания в продажах и клиентской поддержке. Ежемесячно он обрабатывает сотни тысяч диалогов в таких сферах, как автобизнес, финтех и медицина.