Контролируемая автономность: guardrails для LLM-агентов
Подробнее о выступлении
Другие выступления в треке
- Из техлида в FDE: за какой результат готов платить бизнес?Александр Гончаров

- Путь к построению автономной разработки без участия человекаСергей Чистяков

- Круглый стол: «Продакт-инженер: кто это, зачем он нужен и где его взять»Иван Поддубный, Андрей Усенко, Глеб Михеев, Владислав Сазонов

Спикеры
HiveTrace
ML-инженер, ведет разработку Guardrail-системы в HiveTrace
Что получите
Участник получит понятную картину рисков, связанных с ростом автономности LLM-агентов. Разберется, как встраивать guardrails в систему так, чтобы они снижали эти риски, не лишая агента самостоятельности, и как проверять эффективность такой защиты в реальных сценариях.
Кому полезно
Разработчики LLM/GenAI-приложений, ML/LLM-инженеры, LLMOps, MLSecOps, AISecOps, техлиды и CTO
О чем выступление
При автоматизации бизнес-процессов с помощью LLM и мультиагентных систем ошибка модели может быстро превратиться в полноценный инцидент: от утечки персональных данных и обхода внутренних политик до выполнения опасных действий через tools и потери контроля над частью инфраструктуры. В докладе разберем ключевые риски LLM-приложений, почему их нельзя закрыть только промптами или дообучением модели и где проходит граница между безопасностью и полезностью системы.
Поговорим о guardrail-подходах на уровне архитектуры: контроле входов и выходов, работе с контекстом, black-box и white-box методах, фильтрах и классификаторах, а также защите агентных сценариев. Отдельно разберем, как валидировать защитные слои: использовать открытые бенчмарки, интерпретировать ASR и FPR и собирать собственный тестовый набор под конкретный домен.
В завершение рассмотрим, как собрать базовый guardrail-контур на open-source решениях, оценить его ограничения и понять, насколько такой защите можно доверять в реальном продукте.