·更新于 2026年11月22日· 43 次浏览 Node.jsCSVMongoDBRedis工程实践BUG解决

Node.js 博客后台导出 CSV 总乱码:我用 UTF-8 BOM、流式分页和临时文件清理修好大数据下载

运营导出中文报表打开是乱码,数据一多还会超时。这篇记录我从编码、游标分批查询到临时文件生命周期管理的修复过程,适合遇到后台导出大文件的场景。

Node.js 博客后台导出 CSV 总乱码:我用 UTF-8 BOM、流式分页和临时文件清理修好大数据下载 封面
ZHOUYI

作者

ZHOUYI

上周运营导出近三个月留言报表,打开 CSV 后中文全是“锟斤拷”这类乱码,超过两万行时接口还会超时。最初我以为是前端下载姿势问题,后来发现根因在服务端:编码没有照顾 Excel、查询一次性拉满、临时文件没人清理。

乱码:UTF-8 文件也要给 Excel 一个提示

我们后端确实按 UTF-8 写文件,但 Windows 下 Excel 打开没有 BOM 的 CSV 时,常按本地编码猜,中文就花了。我的做法是在文件开头写入 UTF-8 BOM(U+FEFF),响应头设置 Content-Type: text/csv; charset=utf-8。如果内容是字符串拼接,注意只在最终文件开头加一次,避免多个 BOM 造成空行或解析异常。

超时:别把大表一次性塞进内存

老代码先 find().toArray(),再拼字符串,数据一多内存和响应时间都顶不住。我改成 MongoDB 游标逐批读取,配合 batchSize 控制每批大小;字段转换后立即追加到文件流,不让结果在内存里堆积。若需要任务进度,可以用 Redis 存一个轻量的任务状态,不要把整份报表塞进缓存。

javascript
const fs = require('fs');
const cursor = db.collection('orders').find({}).sort({ _id: 1 });
const tmp = `/tmp/export-${Date.now()}.csv`;
const stream = fs.createWriteStream(tmp);
stream.write(String.fromCharCode(0xFEFF) + '订单号,金额,状态\n');
for await (const doc of cursor.batchSize(1000)) {
  stream.write(`${doc.orderId},${doc.amount},${doc.status}\n`);
}
stream.end();
stream.on('finish', () => {
  res.download(tmp, () => fs.unlink(tmp, () => {}));
});

临时文件:创建、重命名、清理都要有闭环

  1. 用任务 ID 生成临时文件,避免并发互相覆盖。
  2. 先写 .tmp,写完关闭流后再 rename 成正式文件,防止下载到一半的脏文件。
  3. 下载完成、请求中断、任务失败都要尝试删除文件。
  4. 再加一个定时清理,把超过 1 小时的残留临时文件删掉,防止磁盘慢慢满。

实际踩坑有两个:一是流还没 finish 就返回下载,文件可能不完整;二是请求中断后没有清理临时文件,磁盘会留下很多半成品。现在我会在 stream.on('finish') 后再触发下载,并用 try/finally 或进程级定时任务兜底。

“这类导出问题不算难,但很容易反复踩坑:编码要站在打开软件的角度,性能要站在数据增长的角度,文件要站在运维的角度。”

Guestbook

留言

若这篇文章也曾停在你心上,留一行字吧,我会看的。

先确认一下邮箱

多这一步,是为了少些机器骚扰,也让我能更踏实地读每一条真人写下的字。验证码 10 分钟内有效;同一邮箱 60 秒内只能发一封。

本文留言

共 0 条已加载 0 条

这里还静悄悄的——愿意做第一个留下脚印的人吗?