Node.js 博客后台导出 CSV 总乱码:我用 UTF-8 BOM、流式分页和临时文件清理修好大数据下载
运营导出中文报表打开是乱码,数据一多还会超时。这篇记录我从编码、游标分批查询到临时文件生命周期管理的修复过程,适合遇到后台导出大文件的场景。

作者
ZHOUYI
上周运营导出近三个月留言报表,打开 CSV 后中文全是“锟斤拷”这类乱码,超过两万行时接口还会超时。最初我以为是前端下载姿势问题,后来发现根因在服务端:编码没有照顾 Excel、查询一次性拉满、临时文件没人清理。
乱码:UTF-8 文件也要给 Excel 一个提示
我们后端确实按 UTF-8 写文件,但 Windows 下 Excel 打开没有 BOM 的 CSV 时,常按本地编码猜,中文就花了。我的做法是在文件开头写入 UTF-8 BOM(U+FEFF),响应头设置 Content-Type: text/csv; charset=utf-8。如果内容是字符串拼接,注意只在最终文件开头加一次,避免多个 BOM 造成空行或解析异常。
超时:别把大表一次性塞进内存
老代码先 find().toArray(),再拼字符串,数据一多内存和响应时间都顶不住。我改成 MongoDB 游标逐批读取,配合 batchSize 控制每批大小;字段转换后立即追加到文件流,不让结果在内存里堆积。若需要任务进度,可以用 Redis 存一个轻量的任务状态,不要把整份报表塞进缓存。
const fs = require('fs');
const cursor = db.collection('orders').find({}).sort({ _id: 1 });
const tmp = `/tmp/export-${Date.now()}.csv`;
const stream = fs.createWriteStream(tmp);
stream.write(String.fromCharCode(0xFEFF) + '订单号,金额,状态\n');
for await (const doc of cursor.batchSize(1000)) {
stream.write(`${doc.orderId},${doc.amount},${doc.status}\n`);
}
stream.end();
stream.on('finish', () => {
res.download(tmp, () => fs.unlink(tmp, () => {}));
});临时文件:创建、重命名、清理都要有闭环
- 用任务 ID 生成临时文件,避免并发互相覆盖。
- 先写 .tmp,写完关闭流后再 rename 成正式文件,防止下载到一半的脏文件。
- 下载完成、请求中断、任务失败都要尝试删除文件。
- 再加一个定时清理,把超过 1 小时的残留临时文件删掉,防止磁盘慢慢满。
实际踩坑有两个:一是流还没 finish 就返回下载,文件可能不完整;二是请求中断后没有清理临时文件,磁盘会留下很多半成品。现在我会在 stream.on('finish') 后再触发下载,并用 try/finally 或进程级定时任务兜底。
“这类导出问题不算难,但很容易反复踩坑:编码要站在打开软件的角度,性能要站在数据增长的角度,文件要站在运维的角度。”