Хватит измерять harness на глаз: внедряем evals и метрики
Подробнее о выступлении
Другие выступления в треке
- Из техлида в FDE: за какой результат готов платить бизнес?Александр Гончаров

- Путь к построению автономной разработки без участия человекаСергей Чистяков

- Круглый стол: «Продакт-инженер: кто это, зачем он нужен и где его взять»Иван Поддубный, Андрей Усенко, Глеб Михеев, Владислав Сазонов

- Контролируемая автономность: guardrails для LLM-агентовНикита Облаков

Спикеры
15+ лет в ИТ. Прошел путь fullstack, teamlead. Работает CTO в Вебпрактик (~150 человек). Пишет на PHP, Typescript, Nodejs (Nest) и React. Влюблен в Linux, Open Source. Внедряет AI в SDLC 2 года со 100% adoption, строит сквозные AI процессы. Организатор ростовского PHP-сообщества (500+ человек). ПК Podlodka, TechLeadConf, CTOconf, ПЫХ.Конф, AgenticConf.
Кому полезно
Тимлиды, Техлиды, Инженеры
О чем выступление
Harness все больше становится ядром разработки, ключевым продуктом.
Регресс в harness может привлечь к сильным просадкам в скорости и качестве работы, нам необходима уверенность в том что изменение скила, переход на новую или более слабую модель не просаживает качество нашего ядра. Eval - это автотесты ключевого компонента вашей разработки, в этом докладе мы разберем как их строить.
Покрытие eval'ами harness это не только уверенность в стабильности, но и петля обратной связи для постоянного улучшения, а также возможность значительно экономить, точно ли вам нужны топовые модели, или вы достигаете приемлемого для вас уровня качества на более слабых моделях.