От Jira до бизнес-ценности: система метрик для DS и MLOps
Программный комитет ещё не принял решения по этому докладу
Целевая аудитория
Тезисы
В докладе расскажем о нашем подходе к метрикам DS и MLOps в промышленной компании, где за пределами узкого круга IT-специалистов классические технические метрики и метрики ML/DS часто непонятны бизнесу. Для нас метрики стали не формальной отчетностью, а инструментом управления: мы исходим из принципа, что управлять можно только тем, что измеряешь. При этом в DS и MLOps возможных метрик слишком много. Поэтому мы опирались на принцип необходимого и достаточного набора метрик, а сбор показателей старались максимально автоматизировать. Одним из результатов стал разработанный dashboard с метриками, где данные автоматически собираются из Jira. Важным фокусом стала не только фиксация технических показателей, но и их перевод на понятный бизнесу язык: через скорость поставки ценности, надежность процессов, прозрачность загрузки и вклад команды в экономические результаты.
Окончил МФТИ по специальности прикладная физика и математика. С 2018 года работает в компании НЛМК. Прошёл путь от дата-саентиста до руководителя отдела DS. Масштабировал команду и внедрил современные инструменты в платформу машинного обучения для разработки и поддержки сотен моделей и работы десятков дата-саентистов, над задачами мат. оптимизиации, классического ML, компьютерного зрения и ИИ. В рамках платформы ML запустил хранилище и платформу для аналитики больших данных.
