聚合管道:
把数据加工交给数据库
统计每月销售额、算出各品类的 Top 10、把订单和用户信息拼在一起……这些在 SQL 里靠 GROUP BY 和 JOIN 完成的事,在 MongoDB 里交给聚合管道(Aggregation Pipeline)。这篇文章讲清楚管道怎么工作、常用阶段怎么对应 SQL,以及怎样写才能既对又快。
文档数量为示意:越早把数据筛小,后面每个阶段的工作量就越少
一串阶段,前一个的输出是后一个的输入
聚合管道由一个或多个阶段(stage)组成,每个阶段对流经它的文档做一种处理:筛选、分组、改字段、排序、关联其他集合……文档从第一个阶段流进去,最后一个阶段的输出就是结果。阶段可以重复出现,顺序由你决定。
汇总与计算
find() 只能把文档按条件取出来;求和、计数、平均、分组、拼接字段,都需要聚合管道。
少搬数据
把 100 万篇订单拉到应用里再汇总,网络和内存都吃不消;让数据库算好,只返回最后 10 行。
结果可以很多
aggregate() 返回游标,结果集可以很大;但单篇结果文档不能超过 16MB。
熟悉 SQL?对照着记最快
聚合管道有几十个阶段,日常用得最多的就是下面这些。
find() 的查询条件一样WHERE(放在 $group 之后则类似 HAVING)_id 指定的字段分组,配合 $sum、$avg、$max、$push 等累加器GROUP BY + 聚合函数$set(即 $addFields)只新增或覆盖字段,其余保留SELECT 字段列表本月各品类销售额 Top 10
订单文档里有 status、createdAt 和一个 items 数组(每项有品类、单价、数量)。要算出本月已支付订单里,每个品类卖了多少钱。
db.orders.aggregate([ // 1. 先筛:可以用上 { status: 1, createdAt: 1 } 索引 { $match: { status: "paid", createdAt: { $gte: ISODate("2026-11-01") } } }, // 2. 把 items 数组拆成一行一个商品 { $unwind: "$items" }, // 3. 按品类累加金额 { $group: { _id: "$items.category", revenue: { $sum: { $multiply: ["$items.price", "$items.qty"] } }, orders: { $addToSet: "$_id" } } }, // 4. 整理输出字段 { $project: { _id: 0, category: "$_id", revenue: 1, orderCount: { $size: "$orders" } } }, { $sort: { revenue: -1 } }, { $limit: 10 } ])
SELECT i.category, SUM(i.price * i.qty) AS revenue, COUNT(DISTINCT o.id) AS orderCount FROM orders o JOIN order_items i ON i.order_id = o.id WHERE o.status = 'paid' AND o.created_at >= '2026-11-01' GROUP BY i.category ORDER BY revenue DESC LIMIT 10;
从上往下,一步一步
管道的好处是每一步都能单独调试:先只跑第一个 $match 看结果对不对,再逐个加阶段。SQL 是一整句声明,管道更像一段按顺序执行的流程。
顺序决定性能:先筛小,再加工
同样的结果,阶段顺序不同,耗时可能差几个数量级。
$match 和 $sort 放最前面
只有管道开头的 $match 和 $sort 能利用集合上的索引。一旦经过 $group、$unwind 等阶段,后面的文档就是新生成的,再也用不上索引。
尽早丢掉不用的字段
文档又大又宽时,在筛选之后用 $project 只保留后续要用的字段,让每个阶段处理的数据更少。
$sort + $limit 挨着写
$sort 后面紧跟 $limit 时,MongoDB 会合并处理,排序过程中只保留前 N 条,不用把全部结果排完。
MongoDB 自带管道优化,例如在不影响结果的前提下把 $match 提前、合并相邻的 $sort 和 $limit。但它不会替你重新设计业务逻辑,写的时候按"先筛小、再加工"来排,最稳妥。
db.orders.explain("executionStats").aggregate([ { $match: { status: "paid" } }, { $group: { _id: "$userId", n: { $sum: 1 } } } ]) // 关注 IXSCAN(走索引)还是 COLLSCAN(全表扫描)
db.orders.aggregate(pipeline, { allowDiskUse: true })
// $group、$sort 等阶段单阶段内存上限 100MB;
// 6.0 起由 allowDiskUseByDefault 控制,
// 默认超限时写临时文件,而不是直接报错
结果对了,不代表写对了
$unwind 让文档数量翻倍
一篇订单有 20 个商品,$unwind 后就变成 20 篇文档。在 $unwind 之前先 $match,否则后面的阶段要处理成倍的数据。空数组或缺失字段的文档默认会被丢掉,需要保留时加 preserveNullAndEmptyArrays: true。
$lookup 关联字段没有索引
$lookup 会拿每篇输入文档去另一个集合里找匹配。被关联集合的 foreignField 没有索引,就是对每篇文档做一次全表扫描。
把整张表 $group 成一篇文档
用 $push 把所有明细塞进一个数组,结果文档很容易超过 16MB 而报错。汇总值用 $sum、$avg,需要明细时分页查询。
把聚合放在从节点上跑
耗时较长的报表类聚合,可以把读偏好设为 secondaryPreferred,让从节点承担,减轻主节点压力。前提是能接受从节点数据略有延迟。
聚合管道检查清单
explain("executionStats") 确认是 IXSCAN避免全表扫描foreignField 建索引避免对每篇文档全表扫描一次$push 收集全部明细单篇结果不能超过 16MBsecondaryPreferred不和线上业务抢主节点资源聚合写得不好,最先表现为慢查询和 CPU 升高。借助 WAP 的诊断分析能力找出耗时最长的聚合,再结合 explain 检查阶段顺序和索引使用情况,是比较顺手的排查路径。
