告警信号从哪来
五个值得盯的 MongoDB 内置命令
CPU 高了、内存涨了,这些只是症状。真正告诉你"数据库内部出了什么事"的,是 MongoDB 自带的几条状态命令。这篇文章挑出五个最适合拿来做告警依据的,讲清楚每个命令看什么、能转化成什么规则。
一条命令对应一类信号,一类信号对应一条可落地的告警规则
外部指标告诉你"疼",内部命令告诉你"哪里疼"
主机层的 CPU、内存、磁盘指标当然要监控,但它们回答不了"是哪条查询在吃资源""哪个节点落后了多少"这类问题。把数据库内部状态也纳入告警依据,规则才能写得具体,排查才能少绕路。
外部指标
覆盖面广、任何系统都能采集,但只能说明"资源紧张",不指向具体原因。
数据库内部状态
直接来自 MongoDB 自身,能指出具体是复制落后、操作卡住还是队列堆积。
rs.status():成员状态与复制延迟
副本集健康的第一手信息都在这里。每个成员的 stateStr(PRIMARY / SECONDARY / RECOVERING 等)、health 以及 optimeDate 都能从中读出。
把 primary 的 optimeDate 与各 secondary 的相减,就得到复制延迟。想快速看一眼,也可以用 rs.printSecondaryReplicationInfo()。
name: m.name,
state: m.stateStr,
health: m.health,
optime: m.optimeDate
}))
db.currentOp():正在运行的操作
想知道"此刻数据库在忙什么",答案就在 currentOp。它返回当前正在执行的每个操作,包括运行了多少秒、操作的集合、来源客户端。
配合 secs_running 过滤,就能把"跑得特别久的操作"单独拎出来——它们往往是长事务、缺索引的查询,或者忘了提交的客户端留下的。
currentOp 需要相应权限。发现长耗时操作后,先确认它是什么,再决定是否终止,不要见到就 killOp。active: true,
secs_running: { $gt: 30 }
})
Database Profiler:慢操作记录
Profiler 把执行时间超过阈值的操作,记录进当前数据库的 system.profile 集合。把级别设为 1,并指定 slowms,就只记录超过这个毫秒数的操作。
这样,"慢查询"从一种模糊的感觉,变成了可以统计的数据:一段时间内有多少条、集中在哪些集合、扫描了多少文档。
system.profile 是固定大小的 capped 集合,旧记录会被覆盖;开启 Profiler 本身也有开销,生产环境阈值不要设得过低。.find()
.sort({ ts: -1 })
.limit(5)
serverStatus():队列与连接
serverStatus 是 MongoDB 状态信息最集中的地方。其中两块特别适合做告警依据。
globalLock.currentQueue:有多少读、写操作正在排队等待。队列偶尔非零很正常,持续不为零才说明数据库处理不过来了。
connections:current 是当前连接数,available 是还能再接受的数量。两者相加得到总额度,占用比例逼近上限,就该提前处理。
// { total: .., readers: .., writers: .. }
// { current: .., available: .., ... }
把信号变成规则:一份起点清单
下面的阈值只是起点示例。每个集群的基线不同,建议先观察一段时间的正常水位,再据此调整。
复制延迟、连接数、慢查询占比这些信号,正是 WAP 持续采集的指标,可以直接作为告警规则的依据——不用每次都手动登录去跑命令。这些命令则适合在告警触发后,用来进一步确认现场。
