跳到主要内容
锦木信息 JINMU INFO
MongoDB 博客
MongoDB · 复制基础

MongoDB Oplog
一份日志,撑起两件事

副本集怎么保持数据一致?备份怎么恢复到任意时间点?答案指向同一个地方——oplog。这篇文章聊聊这份常被忽视、却支撑着整个高可用体系的环形日志。

01 · oplog 是什么

一个特殊的 capped collection

oplog(operations log)存放在 local.oplog.rs 里,本质是一个固定大小的 capped collection——记录着这个副本集上发生过的每一次写操作。它不是"日志文件",而是一个真正的 MongoDB 集合,可以被查询、被订阅、被复制。

这里有一个容易被忽略的细节:oplog 里记录的操作是幂等的(idempotent)。同一条操作重复应用多次,结果和只应用一次完全一样——这个特性,正是整个复制机制能够安全重放的前提。顺带一提,MongoDB 的 Change Streams 功能,本质上也是在订阅这份日志。

02 · 复制怎么用它

Secondary 靠"追更"来保持同步

Primary 上的每一次写入,都会先记录进 oplog,再异步复制给每一个 secondary。Secondary 内部维护着一个指向 oplog 的 tailable cursor——像追更一样持续读取新写入的操作,在本地重放一遍。这个"追更"的过程存在天然延迟,就是我们常说的复制延迟(replication lag)。

Primary 写入
→
记录进 oplog
→
Secondary tailing cursor 持续读取
→
本地重放,完成同步
03 · 窗口的含义

oplog 窗口:这份日志能往回看多久

因为 oplog 是固定大小的 capped collection,写满之后,最新的操作会覆盖最老的记录。当前 oplog 里"最老记录"到"最新写入"之间的时间跨度,就是 oplog 窗口——它决定了这份日志能往回看多久。

窗口起点 · 最老记录 窗口终点 · 最新写入
oplog 窗口 = 当前日志覆盖的时间跨度
更早的记录已被覆盖,不再可读 固定大小 capped collection · 写满后循环覆盖

窗口不是越大越好,也不是越小越省事——它的大小直接决定了两件事能不能做成。

04 · 两个依赖者

谁在依赖这个窗口?

表面上看,oplog 窗口只是一个存储参数;实际上,两件关乎系统可靠性的大事都压在它身上。

副本集追赶

如果一个 secondary 掉线或者严重落后,只要追赶所需的时间没有超出 oplog 窗口,就能靠正常的增量复制补上进度。一旦超出窗口,它需要的那部分操作已经被覆盖,只能触发一次代价高昂的全量重新同步(initial sync)。

持续备份与 PITR

任意时间点恢复的原理,是"全量快照 + 重放增量 oplog"。如果备份工具需要重放的那段 oplog 已经被窗口"冲掉",能恢复到的最近时间点,就会比你以为的要早得多。

WAP 提示

这也是为什么复制延迟(oplog lag)是 WAP 持续追踪的核心指标之一——窗口够不够长、落后有没有在扩大,这些信号需要一直有人盯着,而不是等到某次全量重新同步才发现问题。

05 · 怎么估算合适的大小

算一次,好过猜一次

合适的 oplog 大小,取决于两个数字:单位时间产生的写入量,以及你希望覆盖的最坏场景——比如一次计划内维护要多久、备份周期设置了多长。窗口至少要能覆盖这些场景里最长的那一个,再留出安全余量。MongoDB 支持用 replSetResizeOplog 命令动态调整大小,不需要重启副本集,这意味着"先给个默认值,等真正用起来再重新计算"是完全可行的路径。

oplog 大小还是装机时的默认值,从没重新算过→按实际写入吞吐和目标窗口重新计算
只关心「有没有开复制」,不关心窗口够不够长→持续监控 oplog 窗口与复制延迟
维护窗口 / 备份周期比 oplog 窗口还长→确保窗口覆盖最坏情况下的维护与恢复时长
最后一句

一份日志,两件大事
都值得被认真对待

oplog 配置得好不好,平时几乎感觉不到;一旦出事,才会发现它有多重要。持续追踪窗口和延迟这件事,正是 Whaleal Platform 每天在做的。

聊聊您的数据难题

告诉我们业务现状,资深技术顾问一对一给出选型与实施建议,咨询免费。