Node.js 上传接口被 2GB 附件打满磁盘:我用分片上传、秒传哈希和过期清理稳住文件服务
一次 2GB 附件把服务器磁盘写满,上传接口直接拖垮整个服务。后来我把上传改成分片、哈希秒传、断点续传,并给临时文件加过期清理,才让文件服务恢复稳定。

作者
ZHOUYI
那次事故很直接:同事在 Nuxt 后台上传一个 2GB 素材包,Node 接口收到后直接往服务器本地写。临时目录很快被占满,磁盘 100%,日志写不进去,健康检查也开始失败。重启服务时,残留的大文件还让启动脚本卡住。那一刻我意识到,文件上传不能只靠一个接口硬扛。
先把大文件拆成分片
我把前端上传改成分片:文件按固定大小切开,逐个上传。后端每次只处理一个小分片,写入独立的临时目录。这样单个请求不会长时间占着连接,磁盘压力也更平滑。前端并发我会限制在 3 到 5 个,避免把带宽和接口打爆。
async function uploadByChunks(file, hash) {
const chunkSize = 5 * 1024 * 1024;
const total = Math.ceil(file.size / chunkSize);
for (let i = 0; i < total; i++) {
const start = i * chunkSize;
const blob = file.slice(start, start + chunkSize);
await uploadChunk(blob, { hash, index: i, total });
}
}哈希负责秒传和断点续传
上传前,我会先算文件哈希。服务端发现这个哈希已经存在,并且对应文件完整,就直接返回秒传成功;如果只传了一部分,就返回已有分片列表,前端只补缺失分片。哈希可以放在 Redis 里做快速索引,文件元信息再落 MongoDB。注意哈希不是免检金牌,合并后仍要校验大小、类型和权限。
- 分片文件名用「哈希_序号」,不要直接相信客户端传来的文件名。
- Redis 存上传状态时设置 TTL,避免元数据永久堆积。
- 合并前检查分片数量和每个分片大小,异常直接拒绝。
- 合并时用流读写,别把整个文件读进内存。
临时文件要会自己过期
真正容易拖垮服务的是残留分片。我加了清理任务:每 30 分钟扫描一次临时目录,超过 24 小时还没合并的分片直接删除;Redis 里的上传记录也同步过期。合并成功后,立即删除对应分片目录。多实例部署时,清理任务要加分布式锁或只跑一个实例,避免重复扫描。
“文件上传稳住的关键,不是追求一次传得快,而是把失败变成可恢复的小步骤:分片降低单次风险,哈希减少重复劳动,清理保证磁盘不被垃圾文件吃掉。”