·更新于 2026年11月22日· 69 次浏览 Node.jsNuxt文件上传分片上传RedisMongoDB工程实践BUG解决

Node.js 上传接口被 2GB 附件打满磁盘:我用分片上传、秒传哈希和过期清理稳住文件服务

一次 2GB 附件把服务器磁盘写满,上传接口直接拖垮整个服务。后来我把上传改成分片、哈希秒传、断点续传,并给临时文件加过期清理,才让文件服务恢复稳定。

Node.js 上传接口被 2GB 附件打满磁盘:我用分片上传、秒传哈希和过期清理稳住文件服务 封面
ZHOUYI

作者

ZHOUYI

那次事故很直接:同事在 Nuxt 后台上传一个 2GB 素材包,Node 接口收到后直接往服务器本地写。临时目录很快被占满,磁盘 100%,日志写不进去,健康检查也开始失败。重启服务时,残留的大文件还让启动脚本卡住。那一刻我意识到,文件上传不能只靠一个接口硬扛。

先把大文件拆成分片

我把前端上传改成分片:文件按固定大小切开,逐个上传。后端每次只处理一个小分片,写入独立的临时目录。这样单个请求不会长时间占着连接,磁盘压力也更平滑。前端并发我会限制在 3 到 5 个,避免把带宽和接口打爆。

javascript
async function uploadByChunks(file, hash) {
  const chunkSize = 5 * 1024 * 1024;
  const total = Math.ceil(file.size / chunkSize);
  for (let i = 0; i < total; i++) {
    const start = i * chunkSize;
    const blob = file.slice(start, start + chunkSize);
    await uploadChunk(blob, { hash, index: i, total });
  }
}

哈希负责秒传和断点续传

上传前,我会先算文件哈希。服务端发现这个哈希已经存在,并且对应文件完整,就直接返回秒传成功;如果只传了一部分,就返回已有分片列表,前端只补缺失分片。哈希可以放在 Redis 里做快速索引,文件元信息再落 MongoDB。注意哈希不是免检金牌,合并后仍要校验大小、类型和权限。

  • 分片文件名用「哈希_序号」,不要直接相信客户端传来的文件名。
  • Redis 存上传状态时设置 TTL,避免元数据永久堆积。
  • 合并前检查分片数量和每个分片大小,异常直接拒绝。
  • 合并时用流读写,别把整个文件读进内存。

临时文件要会自己过期

真正容易拖垮服务的是残留分片。我加了清理任务:每 30 分钟扫描一次临时目录,超过 24 小时还没合并的分片直接删除;Redis 里的上传记录也同步过期。合并成功后,立即删除对应分片目录。多实例部署时,清理任务要加分布式锁或只跑一个实例,避免重复扫描。

“文件上传稳住的关键,不是追求一次传得快,而是把失败变成可恢复的小步骤:分片降低单次风险,哈希减少重复劳动,清理保证磁盘不被垃圾文件吃掉。”

Guestbook

留言

若这篇文章也曾停在你心上,留一行字吧,我会看的。

先确认一下邮箱

多这一步,是为了少些机器骚扰,也让我能更踏实地读每一条真人写下的字。验证码 10 分钟内有效;同一邮箱 60 秒内只能发一封。

本文留言

共 0 条已加载 0 条

这里还静悄悄的——愿意做第一个留下脚印的人吗?