Node.js 报表接口被 MongoDB 聚合内存打爆:我用投影裁剪、分批聚合和 allowDiskUse 稳住统计页
统计接口报 100MB aggregation memory limit 后,我没有只开 allowDiskUse,而是先裁剪字段、缩小分组范围,再用分批聚合和落盘兜底。

作者
ZHOUYI
上周后台统计页一打开就转圈,Node.js 日志里出现 MongoDB 报错:aggregation memory limit of 100MB exceeded。这个接口按时间、渠道、商户做订单汇总,之前数据少没事,活动一来直接打爆。第一反应是开 allowDiskUse,但只靠落盘,接口很可能从慢变成更慢,所以我先按“少算、少带、分批”处理。
先定位是哪一段聚合吃内存
- $match 条件是否过宽,是不是一下子扫了几个月全量订单。
- $unwind 是否把订单明细、优惠券、日志数组展开,导致文档数量翻倍。
- $group 前是否带着大字段,例如商品快照、备注、富文本、嵌套对象。
- 是否先排序再分组,$sort 大结果集也会吃内存。
第一刀:投影裁剪,别让无关字段进聚合
我把聚合管道改成先 $match 过滤状态和时间,再立刻 $project 只保留统计需要的字段:金额、支付时间、渠道、日期。原来整个订单文档都往后传,现在只传几个数值字段,内存压力明显下降。这里最容易踩坑:投影放太晚,前面 $unwind 和 $lookup 已经把大对象带进来了。
const pipeline = [
{ $match: { status: 'paid', createdAt: { $gte: from, $lt: to } } },
{ $project: { _id: 0, amount: 1, day: { $dateToString: { format: '%Y-%m-%d', date: '$createdAt' } } } },
{ $group: { _id: '$day', total: { $sum: '$amount' }, count: { $sum: 1 } } }
];
await db.collection('orders').aggregate(pipeline, { allowDiskUse: true }).toArray();第二刀:分批聚合,把大查询拆小
报表页其实不需要一次算完所有历史。我把查询拆成按天或按商户分批,前端先展示最近 30 天,历史数据异步生成汇总写入 Redis 或统计表。这样接口只承担小范围聚合,定时任务再慢慢补全大盘数据。对 Nuxt/Vue 前端来说,页面也可以先渲染骨架,再分批请求图表数据,体验比等待一个超大接口好很多。
allowDiskUse 是兜底,不是代餐
最后我在聚合选项里加了 allowDiskUse: true。它允许 MongoDB 在内存不够时把排序和分组临时写盘,避免直接报错。但开了之后要盯耗时,因为磁盘 IO 可能让接口变慢。我的原则是:先用索引和投影减少数据量,再分批降低单次压力,实在还有峰值,才让 allowDiskUse 兜住。
“聚合内存报错不是玄学,通常是管道里带了太多字段、展开了太多数组,或者一次算了太大范围。”
这次修完,统计页从超时变成稳定返回,接口日志也没再出现 100MB 限制。对报表类需求,我现在会默认检查三件事:字段是否裁剪、范围是否分批、落盘是否只当保险。