跳到主要内容
锦木信息 JINMU INFO
MongoDB 博客
WAP · 告警规则设计

告警响了 200 次
真正需要你的只有 6 次

告警系统最大的敌人不是漏报,而是噪音。当每天几百条通知把团队训练成"已读不回",真正的故障反而会淹没其中。这篇文章拆解 WAP 告警模块怎么设计规则——从一条规则该包含什么,到分级、抑制、升级,一层层把噪音筛掉。

原始越线事件
指标每次越过阈值
1,248
去重与收敛后
同一问题合并为一条
213
持续时间过滤后
瞬时抖动不再触发
38
真正需要人处理
分级后进入 P1 / P2
6

示意数据,用来说明每一层过滤的作用 · 不是某个具体集群的统计

01 · 告警疲劳

噪音一多,告警就等于没有

告警疲劳不是"大家不够负责",而是系统设计出了问题。当一条通知有九成概率不需要处理,人的本能反应就是不再认真看它——包括那条真正重要的。

CPU 瞬间冲到 95% 又落回 40%,触发一条告警,三十秒后自己恢复
一台主机宕机,上面的每个 MongoDB 实例各发一条,一次故障变成二十条通知
计划内维护期间,所有节点重启,告警渠道被刷屏
02 · 规则解剖

一条好规则,不止一个阈值

"CPU 超过 80% 就告警"只是一条规则的一小半。真正能少打扰人的规则,会同时回答五个问题。

指标
复制延迟
盯的是什么
→
条件
大于 10 秒
越过多高算异常
→
持续时间
连续 2 分钟
过滤瞬时抖动
→
严重级别
Warning
决定响应方式
→
通知对象
值班 DBA
谁该看到它
当 复制延迟 大于 10 秒 并且 持续 2 分钟,以 Warning 级别通知 值班 DBA。
经验

最容易被省掉、也最能降噪的是"持续时间"这一项。多数指标都有瞬时尖峰,要求它连续越线一小段时间,就能挡掉相当一部分不需要人处理的通知。阈值数字只是起点,应结合自己集群的基线来调。

03 · 分级路由

不同的事,走不同的路

同样是"超阈值",磁盘即将写满和 CPU 小幅偏高,紧迫程度完全不同。分级的意义在于:越紧急,越打扰人;越不紧急,越安静。

级别典型含义期望响应渠道示例
P1 · 严重 业务已受影响或即将受影响,如主节点不可用、磁盘即将写满 立刻处理,无人确认则升级 电话 / 即时通讯强提醒
P2 · 警告 趋势不好但尚未影响业务,如复制延迟持续偏高、缓存命中率下滑 工作时间内跟进 即时通讯群消息
P3 · 提示 值得知道,但不需要立刻动作,如慢查询占比小幅上升 汇总查看即可 邮件 / 每日摘要
04 · 抑制与静默

该安静的时候,让它安静

规则设计得再好,也挡不住"一次事件触发一堆告警"。抑制类机制的作用,是让一件事只被通知一次。

去重与收敛

同一条规则在问题未恢复期间反复越线,只通知一次,并在恢复时补一条"已恢复",而不是每个采集周期都响一次。

例:磁盘使用率持续高于阈值,只在首次越线时通知

维护窗口静默

计划内的重启、升级、迁移,提前设定静默时间段,期间相关告警不打扰任何人,窗口结束后自动恢复监控。

例:周六凌晨版本升级,该集群静默 2 小时

依赖抑制

上游已经出问题时,下游由它引发的告警没必要再单独通知。先报根因,再把派生的告警折叠起来。

例:主机宕机时,不再单独报该主机上各实例失联
05 · 升级机制

通知发出去了,不等于有人看到了

最危险的情况不是没有告警,而是告警发给了一个当时恰好看不到的人。升级机制确保严重告警一直有人认领。

T0
T + 0 分钟
通知值班人员

P1 告警触发,第一时间通知当前值班 DBA。

T1
T + 15 分钟
未确认则升级

无人确认,通知备份值班人员,并提高提醒强度。

T2
T + 30 分钟
通知负责人

仍无人响应,升级至团队负责人,确保不会石沉大海。

提示

文中的分级标准、时间间隔都是常见的起点示例,具体到你的团队,应该按自己的值班制度和业务容忍度来定。

READY?

好的告警系统
是让你少看,而不是多看

从规则设计到抑制升级,Whaleal Platform 的告警模块要做的,就是让每一次通知都值得被认真对待。

聊聊您的数据难题

告诉我们业务现状,资深技术顾问一对一给出选型与实施建议,咨询免费。