·更新于 2026年11月22日· 89 次浏览 Node.jsMongoDBRedis工程实践BUG解决

Node.js 导出 10 万行报表超时:我用流式游标、背压写 Excel 和异步任务稳住下载

一次财务导出把接口拖到 504。后来改成异步任务、MongoDB 游标分批读取,并用背压控制写 Excel,内存和事件循环终于稳了。

Node.js 导出 10 万行报表超时:我用流式游标、背压写 Excel 和异步任务稳住下载 封面
ZHOUYI

作者

ZHOUYI

那次是财务月底导出:运营点「导出全部明细」,接口 30 秒后 504,Node 进程内存一路往上顶。排查后发现,老逻辑直接 find().toArray() 拉 10 万行,再在内存里拼 Excel。数据量小的时候没问题,量一上来,内存、事件循环、网关超时一起爆。

第一步:把同步下载改成异步任务

我没有继续硬扛 HTTP 同步返回,而是改成提交导出任务:接口只创建任务、返回 taskId,前端用轮询或 WebSocket 查状态。任务状态我放在 Redis 里,字段包括 pending、running、success、failed、progress、fileUrl。这样网关不会等死,失败也能重试和看原因。

第二步:MongoDB 用游标分批读

查询不再 toArray,而是用 cursor 按批次消费。关键是只投影需要的字段,配合索引避免全表扫描;每批处理完再取下一批。这样单次内存占用可控,也不会把事件循环长时间占住。若聚合复杂,仍要关注 allowDiskUse 和管道裁剪,但导出场景更常见的是读取和写入节奏失控。

js
const cursor = db.collection('orders')
  .find(query, { projection: { _id: 1, amount: 1, status: 1, createdAt: 1 } })
  .batchSize(2000);

let buffer = [];
for await (const doc of cursor) {
  buffer.push(formatRow(doc));
  if (buffer.length >= 2000) {
    await writeRowsWithBackpressure(buffer);
    buffer = [];
  }
}
if (buffer.length) await writeRowsWithBackpressure(buffer);

第三步:写 Excel 必须做背压

  1. 写入流返回 false 时暂停读游标,等 drain 再继续。
  2. 每批 1000~5000 行,别把几十万行堆在一个数组里。
  3. 文件先落临时目录或对象存储,任务成功后再给用户下载链接。
  4. 设置任务超时、失败清理和过期删除,避免磁盘被残留文件打满。

这里最容易踩的坑是:只做了数据库流式读取,却把数据疯狂塞给 Excel 写入流。写入慢于读取时,数据仍会堆在内存里。所以背压不是可选项,而是保护 Node 事件循环的刹车。前端也别一直同步等待,任务失败要能看到原因,运营才不会反复点击把服务打得更惨。

“大报表导出的本质不是「查得快」,而是「把长任务拆成可控的小步骤」。异步任务解决等待,游标分批解决内存,背压解决写入洪峰。”


Guestbook

留言

若这篇文章也曾停在你心上,留一行字吧,我会看的。

先确认一下邮箱

多这一步,是为了少些机器骚扰,也让我能更踏实地读每一条真人写下的字。验证码 10 分钟内有效;同一邮箱 60 秒内只能发一封。

本文留言

共 0 条已加载 0 条

这里还静悄悄的——愿意做第一个留下脚印的人吗?