Node.js 导出 10 万行报表超时:我用流式游标、背压写 Excel 和异步任务稳住下载
一次财务导出把接口拖到 504。后来改成异步任务、MongoDB 游标分批读取,并用背压控制写 Excel,内存和事件循环终于稳了。

作者
ZHOUYI
那次是财务月底导出:运营点「导出全部明细」,接口 30 秒后 504,Node 进程内存一路往上顶。排查后发现,老逻辑直接 find().toArray() 拉 10 万行,再在内存里拼 Excel。数据量小的时候没问题,量一上来,内存、事件循环、网关超时一起爆。
第一步:把同步下载改成异步任务
我没有继续硬扛 HTTP 同步返回,而是改成提交导出任务:接口只创建任务、返回 taskId,前端用轮询或 WebSocket 查状态。任务状态我放在 Redis 里,字段包括 pending、running、success、failed、progress、fileUrl。这样网关不会等死,失败也能重试和看原因。
第二步:MongoDB 用游标分批读
查询不再 toArray,而是用 cursor 按批次消费。关键是只投影需要的字段,配合索引避免全表扫描;每批处理完再取下一批。这样单次内存占用可控,也不会把事件循环长时间占住。若聚合复杂,仍要关注 allowDiskUse 和管道裁剪,但导出场景更常见的是读取和写入节奏失控。
const cursor = db.collection('orders')
.find(query, { projection: { _id: 1, amount: 1, status: 1, createdAt: 1 } })
.batchSize(2000);
let buffer = [];
for await (const doc of cursor) {
buffer.push(formatRow(doc));
if (buffer.length >= 2000) {
await writeRowsWithBackpressure(buffer);
buffer = [];
}
}
if (buffer.length) await writeRowsWithBackpressure(buffer);第三步:写 Excel 必须做背压
- 写入流返回 false 时暂停读游标,等 drain 再继续。
- 每批 1000~5000 行,别把几十万行堆在一个数组里。
- 文件先落临时目录或对象存储,任务成功后再给用户下载链接。
- 设置任务超时、失败清理和过期删除,避免磁盘被残留文件打满。
这里最容易踩的坑是:只做了数据库流式读取,却把数据疯狂塞给 Excel 写入流。写入慢于读取时,数据仍会堆在内存里。所以背压不是可选项,而是保护 Node 事件循环的刹车。前端也别一直同步等待,任务失败要能看到原因,运营才不会反复点击把服务打得更惨。
“大报表导出的本质不是「查得快」,而是「把长任务拆成可控的小步骤」。异步任务解决等待,游标分批解决内存,背压解决写入洪峰。”