Канал оповещения недоступен
Мессенджер, почтовый шлюз или интеграция дали сбой. Алерт сформировался, но не дошёл ни до кого. Узнать об этом обычно удаётся уже по последствиям.
Сценарий
Резервный канал алертинга
Второй, независимый путь до дежурного инженера. Ставится рядом с тем, что уже работает, и не требует ничего отключать.
Когда основной канал подводит
Сообщение дошло, но реакции нет
Уведомление в общем чате не делает никого ответственным. Нужен явный ACK от конкретного человека и передача события дальше, если подтверждения не было.
Один алерт — два канала
Alertmanager отправляет критическое событие обоим получателям одновременно. Ничего не нужно переключать в момент аварии: резерв работает постоянно для выбранных правил.
| Канал | Что получает команда |
|---|---|
| Существующий | Привычные уведомления в мессенджере, почте или текущей системе дежурств. Настройки остаются нетронутыми. |
| Acktide | Системное уведомление Android на заблокированном экране, ACK прямо из шторки, передача резервному инженеру при отсутствии подтверждения. |
Существующие receiver'ы Slack, email и webhooks в конфигурации Alertmanager продолжают работать без изменений — добавляется ещё один.
Как сделать резерв настоящим
Резервный канал имеет смысл ровно настолько, насколько он независим от того, что может отказать. Четыре вещи, которые стоит развести.
- Отдельное размещениеСервер и база Acktide живут вне кластера или площадки, от отказа которой вы защищаетесь.
- Доступ с телефона при сбое основной сетиТелефону нужно достучаться до Acktide тогда, когда основная сеть недоступна. VPN и DNS входят в план проверки.
- Независимый источник сигналаЕсли площадка легла целиком, алерт о ней должен родиться снаружи: внешние проверки или отдельный мониторинг.
- Проверенное восстановлениеРезервные копии, доступ администратора и порядок восстановления проверяются заранее, а не в ночь аварии.
Что резерв даёт и чего не даёт
| Ситуация | Поведение Acktide |
|---|---|
| Отказ основного канала оповещения | Отдельная доставка на телефон, пока доступны источник алертов, Acktide и сеть |
| Телефон временно без сети | Повторная доставка после подключения, если сервер уже принял и сохранил событие |
| Недоступна вся площадка | Нужна установка Acktide вне этой площадки и независимый источник сигналов — см. пиринг площадок |
| Нет связи ни с одним телефоном | Доставка ждёт сеть. SMS и голосовые звонки в продукт не входят |