Вам кажется, что вы стали быстрее: самообман AI продуктивности и как измерить честно
Спикеры
11+ лет в IT, из них 7 - в управлении командами. Последние 4 года в VK руковожу разработкой продуктов игрового направления: игры, киберспортивная платформа и тд. До этого - CTO финтех-стартапа в США: вывел MVP на рынок и вырастил распределённую команду из 20+ инженеров. Разрабатывал кэшбек-систему для австралийского банка. Сейчас увлечён AI-трансформацией разработки.
Что получите
Кому полезно
О чём доклад
Ваша команда уже полгода пользуется AI ассистентами, все довольны, разработчики говорят, что стали работать быстрее. Плохая новость: скорее всего, вы не знаете, правда ли это.
В нашумевшем эксперименте METR опытные разработчики с AI инструментами выполняли реальные задачи на 19% медленнее - при этом сами были уверены, что ускорились на 20%.
Я расскажу, как мы у себя перестали верить ощущениям и построили измерение эффекта AI, которое переживает скепсис финансового директора: какие метрики оказались мусором, на чём мы обожглись, какие цифры получили в итоге и почему часть из них нам не понравилась. Вы уйдёте с работающим фреймворком: что мерить, что не мерить никогда, и как отличить реальное ускорение от дорогого плацебо.
