跳到主要内容
锦木信息 JINMU INFO
MongoDB 博客
WAP · 监控架构升级

监控换了底座:
指标进 Prometheus,告警走 Alertmanager

Whaleal Platform 的监控逻辑完成了一次底层调整:指标的采集、存储和规则评估交给 Prometheus,告警的去重、分组、抑制、静默和路由交给 Alertmanager。同时,WAP 对外提供了接口,让你可以把 WAP 的指标和告警接入自己已有的监控平台,而不必另起一套。这篇文章讲清楚新链路是怎么运转的,以及你可以怎么接。

采集
MongoDB + Exporter
把实例状态暴露为指标
存储 · 评估
Prometheus
周期抓取、存储时序数据,按规则评估是否触发告警
治理 · 路由
Alertmanager
去重 · 分组 · 抑制 · 静默 · 路由
WAP 内置通知
平台自身的通知渠道
你的监控平台
通过 Webhook 接收告警
指标接口 · Prometheus 抓取格式
你的 Prometheus / Grafana 可直接拉取

示意图 · 展示数据与告警的流向,实际部署形态以 WAP 文档为准

01 · 为什么换

站在事实标准上,监控才好接、好扩

Prometheus 和 Alertmanager 是云原生监控领域最通行的一套组合。把 WAP 的监控逻辑建立在它们之上,带来的是三个实实在在的好处。

通用的生态

指标用统一的格式暴露,查询用 PromQL,看板可以用 Grafana。团队里已经熟悉这套工具的人,几乎不用重新学习。

职责分离

"什么算异常"由 Prometheus 的规则判断,"通知谁、怎么通知、什么时候不通知"由 Alertmanager 负责。两件事分开,各自调整互不牵连。

容易对接

指标和告警都用业界通行的格式输出,你的监控平台只要能读 Prometheus 指标,或者能收一个 Webhook,就能接进来。

02 · 新链路

从一个指标到一条通知

一次告警要经过四步。其中最值得弄清的是 Prometheus 里一条告警的生命周期,它直接决定了你什么时候会收到通知。

inactive

表达式没有命中,一切正常。

→
pending

条件已经成立,但持续时间还没达到规则里的 for,继续观察。

→
firing

持续时间已达标,告警发往 Alertmanager。

→
resolved

条件不再成立,Alertmanager 可发出"已恢复"通知。

01

Exporter 暴露指标

被监控的 MongoDB 实例状态,被转换成 Prometheus 能读的指标,在一个 HTTP 端点上提供出来。

02

Prometheus 周期抓取并存储

Prometheus 按设定的 scrape_interval 主动拉取指标,写入时序存储,供查询、绘图和规则评估使用。

03

规则评估,触发告警

Prometheus 按 evaluation_interval 周期性地执行告警规则里的表达式。命中并持续超过 for 之后,告警进入 firing,发送给 Alertmanager。

04

Alertmanager 治理后通知

收到的告警会先经过去重、分组、抑制和静默,再按路由规则分发到对应的接收方——可以是 WAP 内置的通知,也可以是你自己的平台。

03 · Alertmanager 的治理能力

让一件事只被通知一次

告警最怕的是噪音。Alertmanager 把降噪能力做成了几个明确的机制,都可以在配置里声明。

分组

把相似的告警合并成一条通知。一次大范围故障触发几十条告警,你收到的是一条汇总,而不是几十条。

抑制

当某些告警正在触发时,压住另一些相关告警的通知。比如整个集群不可达时,不再单独通知它内部的各项告警。

静默

在一段时间内让匹配的告警不再通知,适合计划内的维护。静默通过匹配条件定义,在 Alertmanager 的界面里设置。

路由

通过一棵路由树决定告警如何分组、何时发送、交给哪个接收方。不同级别、不同集群,可以走不同的路。

高可用

Alertmanager 本身支持以集群方式运行。官方的建议是:不要在 Prometheus 与多个 Alertmanager 之间再加负载均衡,而是让 Prometheus 直接指向全部 Alertmanager 的列表。

04 · 开放接口

两种方式,接进你自己的监控平台

很多团队已经有自己的监控和告警体系,不希望再多养一个孤岛。WAP 提供了两类接口:一类是你来拿数据,一类是 WAP 把告警推给你。

PULL · 拉取

指标接口

WAP 把监控指标以 Prometheus 的抓取格式暴露出来。你自己的 Prometheus 把它加入抓取目标,就能把这些指标收进自己的体系。

  • 适合:想用自己的 Grafana 做看板、想把指标并入统一的长期存储
  • 你需要做:在 Prometheus 里增加一个抓取任务
  • 得到:可以用 PromQL 查询、编写你自己的告警规则
PUSH · 推送

告警 Webhook

Alertmanager 把治理之后的告警,以 HTTP POST 的方式发送到你指定的地址,载荷是统一的 JSON 结构。

  • 适合:已有告警平台、工单系统、值班系统,希望统一收口
  • 你需要做:提供一个接收端点,并在路由里指定它
  • 得到:带标签和描述的结构化告警,以及恢复通知
你的平台类型建议方式说明
Grafana 等看板工具 指标接口 把你的 Prometheus 作为数据源,指标由它抓取 WAP 后提供
自研监控 / 告警平台 告警 Webhook 写一个接收端点,把载荷转换成平台内部的告警模型
工单 / 值班 / ITSM 系统 告警 Webhook firing 时建单或触发值班,resolved 时自动关闭
即时通讯群机器人 告警 Webhook + 适配 多数机器人有自己的消息格式,通常需要一层转换服务
以文档为准

本文的接口说明和代码示例用来解释对接思路,指标名、接口路径、鉴权方式和具体字段都是示意。落地时请以 WAP 官方文档为准。

05 · 接入示例

看看配置和载荷长什么样

下面的配置语法来自 Prometheus 与 Alertmanager 的通用格式。标注了"示意"的部分,需要替换成你环境里的实际值。

① Prometheus:把 WAP 加为抓取目标(示意)
scrape_configs:
  - job_name: 'wap'
    scrape_interval: 15s
    metrics_path: /metrics   # 示意:实际路径以文档为准
    static_configs:
      - targets: ['<WAP 地址>:<端口>']
② 告警规则:复制延迟持续偏高(指标名为示意)
groups:
  - name: mongodb-replication
    rules:
      - alert: ReplicationLagHigh
        expr: mongodb_replset_lag_seconds > 10
        for: 2m
        labels:
          severity: warning
        annotations:
          summary: "副本集 {{ $labels.rs }} 复制延迟超过 10 秒"
③ Alertmanager:把严重告警推给你的平台
route:
  receiver: wap-default
  group_by: ['alertname', 'cluster']
  group_wait: 30s
  group_interval: 5m
  repeat_interval: 4h
  routes:
    - matchers: [ severity="critical" ]
      receiver: customer-platform

receivers:
  - name: customer-platform
    webhook_configs:
      - url: 'https://your-platform.example.com/hooks/wap'
        send_resolved: true

inhibit_rules:
  - source_matchers: [ severity="critical" ]
    target_matchers: [ severity="warning" ]
    equal: ['alertname', 'cluster']
④ 你的端点收到的 Webhook 载荷(字段结构为 Alertmanager 通用格式,取值为示意)
{
  "version": "4",
  "groupKey": "{}:{alertname=\"ReplicationLagHigh\"}",
  "status": "firing",
  "receiver": "customer-platform",
  "groupLabels": { "alertname": "ReplicationLagHigh" },
  "commonLabels": { "alertname": "ReplicationLagHigh", "severity": "warning" },
  "commonAnnotations": { "summary": "副本集 rs0 复制延迟超过 10 秒" },
  "externalURL": "http://alertmanager:9093",
  "alerts": [
    {
      "status": "firing",
      "labels": { "alertname": "ReplicationLagHigh", "rs": "rs0", "severity": "warning" },
      "annotations": { "summary": "副本集 rs0 复制延迟超过 10 秒" },
      "startsAt": "2026-10-28T02:15:00.000Z",
      "endsAt": "0001-01-01T00:00:00Z",
      "generatorURL": "http://prometheus:9090/graph?g0.expr=...",
      "fingerprint": "a1b2c3d4e5f6"
    }
  ]
}

写接收端点时,值得注意的四点

快速返回

收到请求后尽快返回成功状态码,把耗时的处理放到后台,避免因为超时被当作发送失败。

处理多条告警

因为有分组,一次请求的 alerts 里可能有多条。要遍历数组,而不是只读第一条。

区分 firing 与 resolved

开启 send_resolved 后,恢复通知会以 status: resolved 送达,可用来自动关闭工单。

做好幂等

同一条告警可能被重复发送。可以用 fingerprint 与 groupKey 去重,避免重复建单。

06 · 迁移注意

延迟由四段累加而成

换成 Prometheus 体系之后,"从异常发生到收到通知"需要的时间,是几个配置项叠加的结果。理解它们,才能调出符合预期的灵敏度。

异常发生约 3 分钟(示意)收到通知
抓取间隔 15s
指标多久更新一次,决定了"看到异常"的最快速度。
评估间隔 15s
规则多久被执行一次。
持续时间 2m
规则里的 for,是占比最大的一段,也是过滤瞬时抖动的关键。
分组等待 30s
Alertmanager 收集同组告警的等待时间,换来更少的通知。

重新校准阈值

规则从"平台内置阈值"变成了 PromQL 表达式。迁移时别原样照搬,先对照自己集群的历史基线核对一遍。

规范好标签

分组、抑制、路由都依赖标签。统一约定 cluster、severity 这类标签,后面的治理才好写。

留一段并行观察期

如果你同时保留原有告警,新旧并行一段时间,对比两边触发的告警,确认没有遗漏再切换。

提示

图中的 15 秒、2 分钟、30 秒只是为了说明构成而取的示意值,不是 WAP 的默认配置。建议以 Prometheus 与 Alertmanager 官方文档对各配置项的说明为依据,按自己的需求调整。

READY?

监控自己掌握
告警按你的方式送达

底层用业界通行的标准,对外给出开放的接口。无论你想直接用 WAP,还是把它接进自己的平台,都有路可走。

聊聊您的数据难题

告诉我们业务现状,资深技术顾问一对一给出选型与实施建议,咨询免费。