Pisani scenariji za odgovor na incidente u produkciji: što bi svaki tim trebao pokriti

Pisani scenarij za incidente koji vašem timu treba prije nego što pager zazvoni

Svaki prekid u produkciji teže je riješiti bez pisanog scenarija za odgovor na incidente. Scenarij (playbook) razlikuje se od priručnika (runbook): priručnici dokumentiraju uobičajene operativne korake, dok scenariji vode timove kroz kaos neplaniranog incidenta kada uobičajene procedure više ne vrijede. Dobra vijest je da se CISA, NIST SP 800-61, Google SRE, AWS, Microsoft i PagerDuty slažu oko iste lagane strukture koju svaki tim može usvojiti već ovog tromjesečja.

ICS (Incident Command System) model definira tri ključne uloge: zapovjednika incidenta (delegira, ne debugira), operativnog ili tehničkog voditelja (rješava problem) i voditelja komunikacije (obavještava dionike). NIST-ov četverofazni životni ciklus — priprema, otkrivanje i analiza, obuzdavanje/uklanjanje/oporavak te aktivnosti nakon incidenta — izravno se preslikava na svaki veći okvir. Priprema uključuje pisanje i testiranje samog scenarija. Otkrivanje i analiza definira razine ozbiljnosti i putove eskalacije. Oporavak pokriva tehničke korake za ponovno uspostavljanje usluge, a faza nakon incidenta mjesto je za nepristrane analize (blameless postmortems). CISA i Google naglašavaju da su incidenti kvarovi sustava, a ne pojedinačne pogreške, što nepristranu analizu čini temeljem svakog zrelog programa odgovora na incidente.

Predlošci su slobodno dostupni. CISA objavljuje dvostranačni PDF IRP Basics. AWS nudi CIRT primjere na GitHubu. PagerDuty-ina javna dokumentacija za odgovor na incidente uključuje predloške priručnika i vodiče za definiranje razina ozbiljnosti. Najbrži put do poboljšanja jest odabrati jedan scenarij s kojim se vaš tim već susreo, napisati jednostranični scenarij oko njega i ovog mjeseca provesti vježbu (tabletop exercise). To je sve što je potrebno za izgradnju mišićne memorije koja stvarne incidente čini rješivima.