Инцидент-менеджмент: как не потеряться во время аварии
Авария длится не потому, что её сложно починить, а потому что непонятно, кто чем занят.
Главная ошибка — все чинят одновременно и никто не говорит с бизнесом. Нужны две роли: тот, кто чинит, и тот, кто ведёт. Ведущий не трогает консоль: он собирает факты, держит таймлайн и общается со стейкхолдерами.
Второй элемент — единый канал. Один чат на инцидент, всё остальное — шум. В чат попадают только факты с временем: «18:04 — 502 с трёх точек», «18:07 — откатили релиз», «18:12 — проверка зелёная».
- Кто чинит — hands on keyboard, не отвлекается на вопросы
- Кто ведёт — собирает картину, пишет в статус-страницу
- Кто общается с клиентами — один голос, без оценок сроков
- Где живёт таймлайн — один чат или документ
- Когда закрывать — все проверки зелёные 10 минут подряд
Постмортем — не суд, а список действий. Формат: что случилось, как заметили, что помогло, сколько длилось, что делаем, чтобы не повторилось. У каждого пункта — владелец и срок. Без этого через месяц всё повторится ровно так же.
Отдельно про статус-страницу: обновляйте её по расписанию, даже если новостей нет — «работаем над восстановлением» лучше тишины. Клиенты прощают аварию, но не прощают информационный вакуум.
Частые вопросы
Нужен ли дежурный на 24/7?
Достаточно эскалации: сначала Telegram, затем SMS, затем звонок — с явным временем реакции.
Что писать в постмортеме про причины?
Только проверяемые факты. «Упал php-fpm после деплоя» — факт, «виноват стажёр» — нет.
Проверьте на своём сайте
Три объекта бесплатно, без карты. Первый алерт — в течение часа.