GuardRate: −90% стоимости аудита и честный лидерборд safety-моделей
Программный комитет ещё не принял решения по этому докладу
Целевая аудитория
Тезисы
Внедрение LLM в продакшен сегодня упирается не в генерацию, а в безопасность. Guardrail-модели (фильтры безопасности) банят безобидные вопросы или пропускают явные угрозы, а сравнивать их «на глаз» невозможно: вендоры публикуют только удобные им метрики, а ручной аудит одной модели занимает дни работы ML-инженера. Мы в HiveTrace & AI Security Lab столкнулись с этой проблемой при дообучении собственных guardrail моделей и по этой причине собрали собственную автоматизированную арену для честной оценки guardrails. В докладе мы поделимся результатами аудита топовых open-source моделей и расскажем: • Почему стандартные метрики (Accuracy, F1) врут при оценке безопасности ИИ, и на что смотреть вместо них (FPR/FNR). • Как архитектура и размер модели влияют на скорость (latency) и качество защиты: почему модели на 0.6B иногда обходят гигантов на 15B. • Как мы автоматизировали проверку по 19 бенчмаркам, сократив время аудита с 5 часов до 30 минут, а стоимость цикла — на 90%. • Практический гайд: как выбрать модель под свой бизнес-кейс. Доклад будет полезен всем, кто внедряет LLM, отвечает за AI Safety или хочет понять, как объективно оценивать ML-инструменты без веры маркетинговым обещаниям вендоров.
AI Security Researcher в HiveTrace. Создала GuardRate — автоматизированной арены и публичного лидерборда для независимой оценки guardrail-моделей (фильтров безопасности LLM).
Разработанный мной пайплайн сократил время ручного аудита ML-моделей с 5 часов до 30 минут и снизил стоимость цикла на 90%. Провела глубокий аналитический разбор топовых open-source guardrails и выявивила неочевидные паттерны. Помогаю командам выбирать ИИ-инструменты на основе данных, а не маркетинга вендоров.
Видео
Другие доклады секции
Оптимизируй свою команду
