MongoDB Oplog
一份日志,撑起两件事
副本集怎么保持数据一致?备份怎么恢复到任意时间点?答案指向同一个地方——oplog。这篇文章聊聊这份常被忽视、却支撑着整个高可用体系的环形日志。
一个特殊的 capped collection
oplog(operations log)存放在 local.oplog.rs 里,本质是一个固定大小的 capped collection——记录着这个副本集上发生过的每一次写操作。它不是"日志文件",而是一个真正的 MongoDB 集合,可以被查询、被订阅、被复制。
这里有一个容易被忽略的细节:oplog 里记录的操作是幂等的(idempotent)。同一条操作重复应用多次,结果和只应用一次完全一样——这个特性,正是整个复制机制能够安全重放的前提。顺带一提,MongoDB 的 Change Streams 功能,本质上也是在订阅这份日志。
Secondary 靠"追更"来保持同步
Primary 上的每一次写入,都会先记录进 oplog,再异步复制给每一个 secondary。Secondary 内部维护着一个指向 oplog 的 tailable cursor——像追更一样持续读取新写入的操作,在本地重放一遍。这个"追更"的过程存在天然延迟,就是我们常说的复制延迟(replication lag)。
oplog 窗口:这份日志能往回看多久
因为 oplog 是固定大小的 capped collection,写满之后,最新的操作会覆盖最老的记录。当前 oplog 里"最老记录"到"最新写入"之间的时间跨度,就是 oplog 窗口——它决定了这份日志能往回看多久。
窗口不是越大越好,也不是越小越省事——它的大小直接决定了两件事能不能做成。
谁在依赖这个窗口?
表面上看,oplog 窗口只是一个存储参数;实际上,两件关乎系统可靠性的大事都压在它身上。
副本集追赶
如果一个 secondary 掉线或者严重落后,只要追赶所需的时间没有超出 oplog 窗口,就能靠正常的增量复制补上进度。一旦超出窗口,它需要的那部分操作已经被覆盖,只能触发一次代价高昂的全量重新同步(initial sync)。
持续备份与 PITR
任意时间点恢复的原理,是"全量快照 + 重放增量 oplog"。如果备份工具需要重放的那段 oplog 已经被窗口"冲掉",能恢复到的最近时间点,就会比你以为的要早得多。
这也是为什么复制延迟(oplog lag)是 WAP 持续追踪的核心指标之一——窗口够不够长、落后有没有在扩大,这些信号需要一直有人盯着,而不是等到某次全量重新同步才发现问题。
算一次,好过猜一次
合适的 oplog 大小,取决于两个数字:单位时间产生的写入量,以及你希望覆盖的最坏场景——比如一次计划内维护要多久、备份周期设置了多长。窗口至少要能覆盖这些场景里最长的那一个,再留出安全余量。MongoDB 支持用 replSetResizeOplog 命令动态调整大小,不需要重启副本集,这意味着"先给个默认值,等真正用起来再重新计算"是完全可行的路径。
