跳到主要内容
锦木信息 JINMU INFO
MongoDB 博客
MongoDB · 监控基础

告警信号从哪来
五个值得盯的 MongoDB 内置命令

CPU 高了、内存涨了,这些只是症状。真正告诉你"数据库内部出了什么事"的,是 MongoDB 自带的几条状态命令。这篇文章挑出五个最适合拿来做告警依据的,讲清楚每个命令看什么、能转化成什么规则。

MongoDB 命令它反映的信号可以写成的告警规则
rs.status()
→
成员状态与复制延迟
→
延迟持续偏高 / 成员状态异常
db.currentOp()
→
正在运行的操作
→
存在运行过久的操作
Database Profiler
→
超过阈值的慢操作
→
慢查询数量或占比上升
serverStatus().globalLock
→
等待执行的读写队列
→
队列持续不为空
serverStatus().connections
→
当前连接与剩余额度
→
连接占用比例过高

一条命令对应一类信号,一类信号对应一条可落地的告警规则

01 · 为什么要看数据库内部

外部指标告诉你"疼",内部命令告诉你"哪里疼"

主机层的 CPU、内存、磁盘指标当然要监控,但它们回答不了"是哪条查询在吃资源""哪个节点落后了多少"这类问题。把数据库内部状态也纳入告警依据,规则才能写得具体,排查才能少绕路。

外部指标

CPU · 内存 · 磁盘 IO

覆盖面广、任何系统都能采集,但只能说明"资源紧张",不指向具体原因。

数据库内部状态

复制 · 操作 · 队列 · 连接

直接来自 MongoDB 自身,能指出具体是复制落后、操作卡住还是队列堆积。

信号 01

rs.status():成员状态与复制延迟

副本集健康的第一手信息都在这里。每个成员的 stateStr(PRIMARY / SECONDARY / RECOVERING 等)、health 以及 optimeDate 都能从中读出。

把 primary 的 optimeDate 与各 secondary 的相减,就得到复制延迟。想快速看一眼,也可以用 rs.printSecondaryReplicationInfo()。

告警思路成员状态不是预期值,立即告警;复制延迟超过阈值并持续一段时间,再告警。
读取各成员的状态与最新同步时间
rs.status().members.map(m => ({
  name:   m.name,
  state:  m.stateStr,
  health: m.health,
  optime: m.optimeDate
}))
快速查看各从节点落后主节点多久
rs.printSecondaryReplicationInfo()
信号 02

db.currentOp():正在运行的操作

想知道"此刻数据库在忙什么",答案就在 currentOp。它返回当前正在执行的每个操作,包括运行了多少秒、操作的集合、来源客户端。

配合 secs_running 过滤,就能把"跑得特别久的操作"单独拎出来——它们往往是长事务、缺索引的查询,或者忘了提交的客户端留下的。

告警思路运行超过设定秒数的操作数量大于 0,并持续一段时间,提示有操作可能卡住。
注意currentOp 需要相应权限。发现长耗时操作后,先确认它是什么,再决定是否终止,不要见到就 killOp。
找出运行超过 30 秒的活跃操作
db.currentOp({
  active: true,
  secs_running: { $gt: 30 }
})
信号 03

Database Profiler:慢操作记录

Profiler 把执行时间超过阈值的操作,记录进当前数据库的 system.profile 集合。把级别设为 1,并指定 slowms,就只记录超过这个毫秒数的操作。

这样,"慢查询"从一种模糊的感觉,变成了可以统计的数据:一段时间内有多少条、集中在哪些集合、扫描了多少文档。

告警思路单位时间内慢操作数量,或慢操作占总请求的比例,超过基线并持续一段时间。
注意system.profile 是固定大小的 capped 集合,旧记录会被覆盖;开启 Profiler 本身也有开销,生产环境阈值不要设得过低。
记录超过 100 毫秒的操作
db.setProfilingLevel(1, { slowms: 100 })
查看最近的 5 条慢操作
db.system.profile
  .find()
  .sort({ ts: -1 })
  .limit(5)
信号 04 · 05

serverStatus():队列与连接

serverStatus 是 MongoDB 状态信息最集中的地方。其中两块特别适合做告警依据。

globalLock.currentQueue:有多少读、写操作正在排队等待。队列偶尔非零很正常,持续不为零才说明数据库处理不过来了。

connections:current 是当前连接数,available 是还能再接受的数量。两者相加得到总额度,占用比例逼近上限,就该提前处理。

告警思路读写队列持续不为空;连接占用比例(current ÷ (current + available))超过设定比例。
读写队列
db.serverStatus().globalLock.currentQueue
// { total: .., readers: .., writers: .. }
连接数与剩余额度
db.serverStatus().connections
// { current: .., available: .., ... }
02 · 汇总

把信号变成规则:一份起点清单

下面的阈值只是起点示例。每个集群的基线不同,建议先观察一段时间的正常水位,再据此调整。

信号来源观察对象规则示例建议级别
rs.status() 成员状态 任一成员不处于预期状态 P1
rs.status() 复制延迟 大于 10 秒,持续 2 分钟 P2
db.currentOp() 长耗时操作数 运行超过 30 秒的操作持续存在 P2
Profiler 慢操作数量 / 占比 明显高于自身基线,并持续上升 P3
globalLock 读写队列 队列持续不为空 P2
connections 连接占用比例 超过总额度的 80% P2
WAP 提示

复制延迟、连接数、慢查询占比这些信号,正是 WAP 持续采集的指标,可以直接作为告警规则的依据——不用每次都手动登录去跑命令。这些命令则适合在告警触发后,用来进一步确认现场。

最后一句

先懂信号,
再谈告警

规则写得好不好,取决于你对 MongoDB 内部状态的理解有多深。把这五条命令吃透,大多数常见问题都能在影响业务之前被看见。

聊聊您的数据难题

告诉我们业务现状,资深技术顾问一对一给出选型与实施建议,咨询免费。