·更新于 2026年11月22日· 41 次浏览 Nuxt 3RSSNode.jsRedis性能优化SEO

Nuxt 3 博客 RSS 被爬虫拉爆带宽后,我用 ETag、限流和摘要截断稳住订阅源

一次 RSS 流量异常让我发现,订阅接口不能只会输出全文。通过条件请求、限流和摘要截断,可以把带宽和数据库压力拉回可控范围。

Nuxt 3 博客 RSS 被爬虫拉爆带宽后,我用 ETag、限流和摘要截断稳住订阅源 封面
ZHOUYI

作者

ZHOUYI

周一早上我看流量面板,发现 /feed.xml 的请求量异常高,带宽几乎被打满。起初以为是某个订阅客户端转发,但日志里是几个 UA 很可疑的爬虫,每隔几十秒就全量拉一次。我的博客是 Nuxt 3 + MongoDB,RSS 接口每次都要查文章、拼 XML、输出全文,结果不仅带宽涨,数据库连接也跟着紧张。

先别急着封 IP,先看请求是不是每次都在做重活

我一开始想直接封 IP,但 RSS 本身是公开接口,订阅器也可能因为配置错误频繁重试。更稳的做法是降低每次请求的成本:如果内容没变,就返回 304;如果来源太频繁,就限流;如果正文太大,就只输出摘要。这样正常订阅不受影响,爬虫也拿不走那么多带宽。

三个关键动作

  1. 用 ETag 做条件请求:根据文章列表的更新时间和数量生成弱 ETag,命中 If-None-Match 就返回 304。
  2. 用 Redis 做接口限流:按 IP 和 User-Agent 组合计数,超过阈值返回 429,并提示稍后重试。
  3. RSS 只输出摘要:正文截断到前 200 字,保留标题、链接、发布时间和分类,避免全文被批量抓取。
  4. 加一层短缓存兜底:Redis 存最近一次 XML,数据库查询失败时先返回旧版,避免接口直接 500。
ts
export default defineEventHandler(async (event) => {
  const key = rssLimitKey(event)
  if (!(await allow(key, { max: 30, window: 60 }))) {
    setResponseStatus(event, 429)
    return { error: 'too many requests' }
  }
  const etag = await getRssEtag()
  if (getHeader(event, 'if-none-match') === etag) {
    setResponseStatus(event, 304)
    return null
  }
  setHeader(event, 'ETag', etag)
  setHeader(event, 'Cache-Control', 'public, max-age=300')
  return renderRss({ summary: 200, limit: 20 })
})

这里有几个坑:ETag 不能只用当前时间戳,否则每次都变;304 时不要再返回 XML 主体,否则客户端可能仍然下载;限流不要只按 IP,因为有些出口会共享 IP,最好结合 UA 和路径;摘要截断要保留原文链接,不然订阅阅读体验和 SEO 都会受影响。缓存过期策略别拍脑袋,以官方文档为准。

最后:把 RSS 当成有限资源来设计

调整之后,/feed.xml 的全量响应明显减少,大部分重复请求都变成了 304,异常爬虫会被 429 挡住,带宽也回到正常区间。我的感受是,公开接口不等于无限服务:先让重复请求变便宜,再让异常请求变慢,最后让正常请求只拿必要内容。

Guestbook

留言

若这篇文章也曾停在你心上,留一行字吧,我会看的。

先确认一下邮箱

多这一步,是为了少些机器骚扰,也让我能更踏实地读每一条真人写下的字。验证码 10 分钟内有效;同一邮箱 60 秒内只能发一封。

本文留言

共 0 条已加载 0 条

这里还静悄悄的——愿意做第一个留下脚印的人吗?