噪音一多,告警就等于没有
告警疲劳不是"大家不够负责",而是系统设计出了问题。当一条通知有九成概率不需要处理,人的本能反应就是不再认真看它——包括那条真正重要的。
一条好规则,不止一个阈值
"CPU 超过 80% 就告警"只是一条规则的一小半。真正能少打扰人的规则,会同时回答五个问题。
最容易被省掉、也最能降噪的是"持续时间"这一项。多数指标都有瞬时尖峰,要求它连续越线一小段时间,就能挡掉相当一部分不需要人处理的通知。阈值数字只是起点,应结合自己集群的基线来调。
不同的事,走不同的路
同样是"超阈值",磁盘即将写满和 CPU 小幅偏高,紧迫程度完全不同。分级的意义在于:越紧急,越打扰人;越不紧急,越安静。
该安静的时候,让它安静
规则设计得再好,也挡不住"一次事件触发一堆告警"。抑制类机制的作用,是让一件事只被通知一次。
去重与收敛
同一条规则在问题未恢复期间反复越线,只通知一次,并在恢复时补一条"已恢复",而不是每个采集周期都响一次。
维护窗口静默
计划内的重启、升级、迁移,提前设定静默时间段,期间相关告警不打扰任何人,窗口结束后自动恢复监控。
依赖抑制
上游已经出问题时,下游由它引发的告警没必要再单独通知。先报根因,再把派生的告警折叠起来。
通知发出去了,不等于有人看到了
最危险的情况不是没有告警,而是告警发给了一个当时恰好看不到的人。升级机制确保严重告警一直有人认领。
通知值班人员
P1 告警触发,第一时间通知当前值班 DBA。
未确认则升级
无人确认,通知备份值班人员,并提高提醒强度。
通知负责人
仍无人响应,升级至团队负责人,确保不会石沉大海。
文中的分级标准、时间间隔都是常见的起点示例,具体到你的团队,应该按自己的值班制度和业务容忍度来定。
