Как построить работу DevOps 24/7?Организационная структура

За 7 лет наша компания прошла путь от небольшой команды системных администраторов, решающих задачи заказчиков в дневное время, до полноценного DevOps-продакшна, ведущего непрерывную круглосуточную работу по настройке, поддержке, развитию инфраструктур и оптимизации процессов разработки для более чем 100 компаний в круглосуточном режиме. При этом в ночное время мы работаем не только в формате техподдержки и реагируем, когда у какого-то клиента что-то сломалось, но и продолжаем полноценную активную работу по текущим инфраструктурным задачам, которые зачастую довольно объёмные и могут длиться по нескольку недель.

В докладе я расскажу о подводных камнях, с которыми столкнулись на пути, выработанных нами решениях и рабочих процессах, которые мы опробовали и можем рекомендовать к применению другим компаниям и командам. А именно:
- как передавать задачи между сменами так, чтобы инженерам не нужно было гадать, какие задачи и с какого места им нужно подхватить;
- какие рабочие графики для 24/7 мы перепробовали и к чему в итоге пришли, чтобы решить проблемы выгорания ночных инженеров, не допускать их отрыва от команды и избегать текучки кадров;
- как выстроить алгоритм приоритизации задач, когда в стеке более 100 активных проектов, чтобы в каждый конкретный момент времени инженеры понимали, какие задачи и по каким проектам важные и срочные;
- как организовать удобную систему нотификаций, чтобы свести к минимуму информационный шум и каждый участник получал только релевантные для него уведомления.

И самое важное — люди. 24/7 — график дико неудобный. Самая сложная задача состояла в том, чтобы сделать работу команды максимально комфортной, создать для этого соответствующую атмосферу. Чтобы люди шли в офис с удовольствием, не выпадали из рабочего процесса, инженеры всех уровней хотели и не боялись проявлять инициативу, предлагать новые идеи, радели за порядок на проектах и инфраструктурах, которые мы обслуживаем.