跳到主要内容
锦木信息 JINMU INFO
MongoDB 博客
MongoDB · 技术文章

聚合管道:
把数据加工交给数据库

统计每月销售额、算出各品类的 Top 10、把订单和用户信息拼在一起……这些在 SQL 里靠 GROUP BY 和 JOIN 完成的事,在 MongoDB 里交给聚合管道(Aggregation Pipeline)。这篇文章讲清楚管道怎么工作、常用阶段怎么对应 SQL,以及怎样写才能既对又快。

文档像流水线上的零件,逐个阶段加工 db.orders.aggregate([ … ])
$match
筛选100 万篇订单 → 只留本月已支付的 3 万篇
→
$group
分组汇总按品类累加金额 → 剩 48 篇汇总文档
→
$sort
排序按销售额从高到低
→
$limit
截取只要前 10 名
→
结果
10 篇文档直接返回给应用

文档数量为示意:越早把数据筛小,后面每个阶段的工作量就越少

01 · 管道是什么

一串阶段,前一个的输出是后一个的输入

聚合管道由一个或多个阶段(stage)组成,每个阶段对流经它的文档做一种处理:筛选、分组、改字段、排序、关联其他集合……文档从第一个阶段流进去,最后一个阶段的输出就是结果。阶段可以重复出现,顺序由你决定。

find 做不到的

汇总与计算

find() 只能把文档按条件取出来;求和、计数、平均、分组、拼接字段,都需要聚合管道。

在数据库里算

少搬数据

把 100 万篇订单拉到应用里再汇总,网络和内存都吃不消;让数据库算好,只返回最后 10 行。

返回游标

结果可以很多

aggregate() 返回游标,结果集可以很大;但单篇结果文档不能超过 16MB。

02 · 常用阶段

熟悉 SQL?对照着记最快

聚合管道有几十个阶段,日常用得最多的就是下面这些。

阶段作用类似 SQL
$match按条件筛选文档,语法和 find() 的查询条件一样WHERE(放在 $group 之后则类似 HAVING)
$group按 _id 指定的字段分组,配合 $sum、$avg、$max、$push 等累加器GROUP BY + 聚合函数
$project / $set选择、改名、计算字段;$set(即 $addFields)只新增或覆盖字段,其余保留SELECT 字段列表
$sort / $limit / $skip排序、截取、跳过ORDER BY / LIMIT / OFFSET
$lookup按字段关联另一个集合,把匹配的文档放进数组字段LEFT OUTER JOIN
$unwind把数组字段拆开,数组里每个元素生成一篇文档把一对多结果展开成多行
$facet在同一批输入上并行跑多条子管道,一次拿到多组统计多条查询合成一次
$count统计流到这一步的文档数COUNT(*)
03 · 实战示例

本月各品类销售额 Top 10

订单文档里有 status、createdAt 和一个 items 数组(每项有品类、单价、数量)。要算出本月已支付订单里,每个品类卖了多少钱。

MongoDB 聚合管道
db.orders.aggregate([
  // 1. 先筛:可以用上 { status: 1, createdAt: 1 } 索引
  { $match: {
      status: "paid",
      createdAt: { $gte: ISODate("2026-11-01") }
  } },
  // 2. 把 items 数组拆成一行一个商品
  { $unwind: "$items" },
  // 3. 按品类累加金额
  { $group: {
      _id: "$items.category",
      revenue: { $sum: { $multiply: ["$items.price", "$items.qty"] } },
      orders:  { $addToSet: "$_id" }
  } },
  // 4. 整理输出字段
  { $project: { _id: 0, category: "$_id", revenue: 1,
                orderCount: { $size: "$orders" } } },
  { $sort: { revenue: -1 } },
  { $limit: 10 }
])
等价的 SQL(订单与明细分两张表)
SELECT i.category,
       SUM(i.price * i.qty)         AS revenue,
       COUNT(DISTINCT o.id)          AS orderCount
FROM   orders o
JOIN   order_items i ON i.order_id = o.id
WHERE  o.status = 'paid'
  AND  o.created_at >= '2026-11-01'
GROUP BY i.category
ORDER BY revenue DESC
LIMIT  10;
读法

从上往下,一步一步

管道的好处是每一步都能单独调试:先只跑第一个 $match 看结果对不对,再逐个加阶段。SQL 是一整句声明,管道更像一段按顺序执行的流程。

04 · 写得快

顺序决定性能:先筛小,再加工

同样的结果,阶段顺序不同,耗时可能差几个数量级。

规则一

$match 和 $sort 放最前面

只有管道开头的 $match 和 $sort 能利用集合上的索引。一旦经过 $group、$unwind 等阶段,后面的文档就是新生成的,再也用不上索引。

规则二

尽早丢掉不用的字段

文档又大又宽时,在筛选之后用 $project 只保留后续要用的字段,让每个阶段处理的数据更少。

规则三

$sort + $limit 挨着写

$sort 后面紧跟 $limit 时,MongoDB 会合并处理,排序过程中只保留前 N 条,不用把全部结果排完。

优化器

MongoDB 自带管道优化,例如在不影响结果的前提下把 $match 提前、合并相邻的 $sort 和 $limit。但它不会替你重新设计业务逻辑,写的时候按"先筛小、再加工"来排,最稳妥。

看执行计划:有没有用上索引、每个阶段处理了多少文档
db.orders.explain("executionStats").aggregate([
  { $match: { status: "paid" } },
  { $group: { _id: "$userId", n: { $sum: 1 } } }
])
// 关注 IXSCAN(走索引)还是 COLLSCAN(全表扫描)
内存超限时允许落盘
db.orders.aggregate(pipeline, { allowDiskUse: true })
// $group、$sort 等阶段单阶段内存上限 100MB;
// 6.0 起由 allowDiskUseByDefault 控制,
// 默认超限时写临时文件,而不是直接报错
05 · 常见的坑

结果对了,不代表写对了

$unwind 让文档数量翻倍

一篇订单有 20 个商品,$unwind 后就变成 20 篇文档。在 $unwind 之前先 $match,否则后面的阶段要处理成倍的数据。空数组或缺失字段的文档默认会被丢掉,需要保留时加 preserveNullAndEmptyArrays: true。

$lookup 关联字段没有索引

$lookup 会拿每篇输入文档去另一个集合里找匹配。被关联集合的 foreignField 没有索引,就是对每篇文档做一次全表扫描。

把整张表 $group 成一篇文档

用 $push 把所有明细塞进一个数组,结果文档很容易超过 16MB 而报错。汇总值用 $sum、$avg,需要明细时分页查询。

把聚合放在从节点上跑

耗时较长的报表类聚合,可以把读偏好设为 secondaryPreferred,让从节点承担,减轻主节点压力。前提是能接受从节点数据略有延迟。

06 · 上线前对一遍

聚合管道检查清单

检查项怎么做为什么
开头有 $match把能筛的条件放在第一个阶段只有开头的筛选能走索引
筛选字段有索引用 explain("executionStats") 确认是 IXSCAN避免全表扫描
$lookup 的关联字段有索引给被关联集合的 foreignField 建索引避免对每篇文档全表扫描一次
$sort 紧跟 $limit只要前 N 条时两者挨着写排序只保留前 N 条
结果文档不会过大慎用 $push 收集全部明细单篇结果不能超过 16MB
耗时报表放到从节点读偏好设为 secondaryPreferred不和线上业务抢主节点资源
WAP 提示

聚合写得不好,最先表现为慢查询和 CPU 升高。借助 WAP 的诊断分析能力找出耗时最长的聚合,再结合 explain 检查阶段顺序和索引使用情况,是比较顺手的排查路径。

最后一句

先筛小,再加工,
让数据库替你算

聚合管道把统计、分组、关联都留在数据库里完成。记住三件事:开头放 $match 用上索引,$lookup 的关联字段要有索引,结果文档别超过 16MB。

聊聊您的数据难题

告诉我们业务现状,资深技术顾问一对一给出选型与实施建议,咨询免费。