Хватит измерять harness на глаз: внедряем evals и метрики
Спикеры
Вебпрактик
15+ лет в ИТ. Прошел путь fullstack, teamlead.
Работает CTO в Вебпрактик (~150 человек).
Пишет на PHP, Typescript, Nodejs (Nest) и React. Влюблен в Linux, Open Source.
Внедряет AI в SDLC 2 года со 100% adoption, строит сквозные AI процессы.
Организатор ростовского PHP-сообщества (500+ человек).
ПК Podlodka, TechLeadConf, CTOconf, ПЫХ.Конф, AgenticConf.
Кому полезно
О чём доклад
Harness все больше становится ядром разработки, ключевым продуктом.
Регресс в harness может привлечь к сильным просадкам в скорости и качестве работы, нам необходима уверенность в том что изменение скила, переход на новую или более слабую модель не просаживает качество нашего ядра. Eval - это автотесты ключевого компонента вашей разработки, в этом докладе мы разберем как их строить.
Покрытие eval'ами harness это не только уверенность в стабильности, но и петля обратной связи для постоянного улучшения, а также возможность значительно экономить, точно ли вам нужны топовые модели, или вы достигаете приемлемого для вас уровня качества на более слабых моделях.
