监控换了底座:
指标进 Prometheus,告警走 Alertmanager
Whaleal Platform 的监控逻辑完成了一次底层调整:指标的采集、存储和规则评估交给 Prometheus,告警的去重、分组、抑制、静默和路由交给 Alertmanager。同时,WAP 对外提供了接口,让你可以把 WAP 的指标和告警接入自己已有的监控平台,而不必另起一套。这篇文章讲清楚新链路是怎么运转的,以及你可以怎么接。
你的 Prometheus / Grafana 可直接拉取
示意图 · 展示数据与告警的流向,实际部署形态以 WAP 文档为准
站在事实标准上,监控才好接、好扩
Prometheus 和 Alertmanager 是云原生监控领域最通行的一套组合。把 WAP 的监控逻辑建立在它们之上,带来的是三个实实在在的好处。
通用的生态
指标用统一的格式暴露,查询用 PromQL,看板可以用 Grafana。团队里已经熟悉这套工具的人,几乎不用重新学习。
职责分离
"什么算异常"由 Prometheus 的规则判断,"通知谁、怎么通知、什么时候不通知"由 Alertmanager 负责。两件事分开,各自调整互不牵连。
容易对接
指标和告警都用业界通行的格式输出,你的监控平台只要能读 Prometheus 指标,或者能收一个 Webhook,就能接进来。
从一个指标到一条通知
一次告警要经过四步。其中最值得弄清的是 Prometheus 里一条告警的生命周期,它直接决定了你什么时候会收到通知。
表达式没有命中,一切正常。
条件已经成立,但持续时间还没达到规则里的 for,继续观察。
持续时间已达标,告警发往 Alertmanager。
条件不再成立,Alertmanager 可发出"已恢复"通知。
Exporter 暴露指标
被监控的 MongoDB 实例状态,被转换成 Prometheus 能读的指标,在一个 HTTP 端点上提供出来。
Prometheus 周期抓取并存储
Prometheus 按设定的 scrape_interval 主动拉取指标,写入时序存储,供查询、绘图和规则评估使用。
规则评估,触发告警
Prometheus 按 evaluation_interval 周期性地执行告警规则里的表达式。命中并持续超过 for 之后,告警进入 firing,发送给 Alertmanager。
Alertmanager 治理后通知
收到的告警会先经过去重、分组、抑制和静默,再按路由规则分发到对应的接收方——可以是 WAP 内置的通知,也可以是你自己的平台。
让一件事只被通知一次
告警最怕的是噪音。Alertmanager 把降噪能力做成了几个明确的机制,都可以在配置里声明。
分组
把相似的告警合并成一条通知。一次大范围故障触发几十条告警,你收到的是一条汇总,而不是几十条。
抑制
当某些告警正在触发时,压住另一些相关告警的通知。比如整个集群不可达时,不再单独通知它内部的各项告警。
静默
在一段时间内让匹配的告警不再通知,适合计划内的维护。静默通过匹配条件定义,在 Alertmanager 的界面里设置。
路由
通过一棵路由树决定告警如何分组、何时发送、交给哪个接收方。不同级别、不同集群,可以走不同的路。
Alertmanager 本身支持以集群方式运行。官方的建议是:不要在 Prometheus 与多个 Alertmanager 之间再加负载均衡,而是让 Prometheus 直接指向全部 Alertmanager 的列表。
两种方式,接进你自己的监控平台
很多团队已经有自己的监控和告警体系,不希望再多养一个孤岛。WAP 提供了两类接口:一类是你来拿数据,一类是 WAP 把告警推给你。
指标接口
WAP 把监控指标以 Prometheus 的抓取格式暴露出来。你自己的 Prometheus 把它加入抓取目标,就能把这些指标收进自己的体系。
- 适合:想用自己的 Grafana 做看板、想把指标并入统一的长期存储
- 你需要做:在 Prometheus 里增加一个抓取任务
- 得到:可以用 PromQL 查询、编写你自己的告警规则
告警 Webhook
Alertmanager 把治理之后的告警,以 HTTP POST 的方式发送到你指定的地址,载荷是统一的 JSON 结构。
- 适合:已有告警平台、工单系统、值班系统,希望统一收口
- 你需要做:提供一个接收端点,并在路由里指定它
- 得到:带标签和描述的结构化告警,以及恢复通知
本文的接口说明和代码示例用来解释对接思路,指标名、接口路径、鉴权方式和具体字段都是示意。落地时请以 WAP 官方文档为准。
看看配置和载荷长什么样
下面的配置语法来自 Prometheus 与 Alertmanager 的通用格式。标注了"示意"的部分,需要替换成你环境里的实际值。
scrape_configs: - job_name: 'wap' scrape_interval: 15s metrics_path: /metrics # 示意:实际路径以文档为准 static_configs: - targets: ['<WAP 地址>:<端口>']
groups: - name: mongodb-replication rules: - alert: ReplicationLagHigh expr: mongodb_replset_lag_seconds > 10 for: 2m labels: severity: warning annotations: summary: "副本集 {{ $labels.rs }} 复制延迟超过 10 秒"
route: receiver: wap-default group_by: ['alertname', 'cluster'] group_wait: 30s group_interval: 5m repeat_interval: 4h routes: - matchers: [ severity="critical" ] receiver: customer-platform receivers: - name: customer-platform webhook_configs: - url: 'https://your-platform.example.com/hooks/wap' send_resolved: true inhibit_rules: - source_matchers: [ severity="critical" ] target_matchers: [ severity="warning" ] equal: ['alertname', 'cluster']
{
"version": "4",
"groupKey": "{}:{alertname=\"ReplicationLagHigh\"}",
"status": "firing",
"receiver": "customer-platform",
"groupLabels": { "alertname": "ReplicationLagHigh" },
"commonLabels": { "alertname": "ReplicationLagHigh", "severity": "warning" },
"commonAnnotations": { "summary": "副本集 rs0 复制延迟超过 10 秒" },
"externalURL": "http://alertmanager:9093",
"alerts": [
{
"status": "firing",
"labels": { "alertname": "ReplicationLagHigh", "rs": "rs0", "severity": "warning" },
"annotations": { "summary": "副本集 rs0 复制延迟超过 10 秒" },
"startsAt": "2026-10-28T02:15:00.000Z",
"endsAt": "0001-01-01T00:00:00Z",
"generatorURL": "http://prometheus:9090/graph?g0.expr=...",
"fingerprint": "a1b2c3d4e5f6"
}
]
}
写接收端点时,值得注意的四点
快速返回
收到请求后尽快返回成功状态码,把耗时的处理放到后台,避免因为超时被当作发送失败。
处理多条告警
因为有分组,一次请求的 alerts 里可能有多条。要遍历数组,而不是只读第一条。
区分 firing 与 resolved
开启 send_resolved 后,恢复通知会以 status: resolved 送达,可用来自动关闭工单。
做好幂等
同一条告警可能被重复发送。可以用 fingerprint 与 groupKey 去重,避免重复建单。
延迟由四段累加而成
换成 Prometheus 体系之后,"从异常发生到收到通知"需要的时间,是几个配置项叠加的结果。理解它们,才能调出符合预期的灵敏度。
for,是占比最大的一段,也是过滤瞬时抖动的关键。重新校准阈值
规则从"平台内置阈值"变成了 PromQL 表达式。迁移时别原样照搬,先对照自己集群的历史基线核对一遍。
规范好标签
分组、抑制、路由都依赖标签。统一约定 cluster、severity 这类标签,后面的治理才好写。
留一段并行观察期
如果你同时保留原有告警,新旧并行一段时间,对比两边触发的告警,确认没有遗漏再切换。
图中的 15 秒、2 分钟、30 秒只是为了说明构成而取的示意值,不是 WAP 的默认配置。建议以 Prometheus 与 Alertmanager 官方文档对各配置项的说明为依据,按自己的需求调整。
