·更新于 2026年11月22日· 56 次浏览 Nuxt3SEOrobots工程实践故障复盘

Nuxt 3 博客流量突然腰斩:我用环境隔离、上线校验和收录监控修好 robots 误屏蔽

一次测试用的 robots.txt 被带到生产,把正文页全部挡在搜索外。本文复盘我如何用环境隔离、发布校验和收录告警把这类误屏蔽挡在上线前。

Nuxt 3 博客流量突然腰斩:我用环境隔离、上线校验和收录监控修好 robots 误屏蔽 封面
ZHOUYI

作者

ZHOUYI

那天早上看统计,自然流量少了近一半。第一反应是广告、缓存、内容质量,排查半天后发现所有文章页都被 robots 挡住。更离谱的是,这份 robots.txt 是上周测试环境为了防抓取临时写的,发布时被一起带到了生产。

先止血:确认是 robots 屏蔽,不是内容掉权

我没有立刻改文件,而是先确认三件事:抓取 /robots.txt 看规则;用搜索平台的抓取工具检查正文页是否被 robots 阻止;再对比流量曲线和发布时间。确认是误屏蔽后,马上恢复生产 robots,只保留必要屏蔽,并提交站点地图,等待重新抓取。

环境隔离:测试环境别生成生产规则

我把 robots 从静态文件改成由服务端按环境生成:生产只放开必要内容,测试环境默认禁止抓取,预览环境再单独放开。字段名和配置方式以自己项目为准,核心是别让同一份规则跨环境复用。

js
export default defineEventHandler((event) => {
  setHeader(event, 'content-type', 'text/plain; charset=utf-8')
  const config = useRuntimeConfig(event)
  const isProd = config.public.env === 'production'
  const lines = [
    'User-agent: *',
    isProd ? 'Allow: /' : 'Disallow: /',
    'Sitemap: ' + config.public.sitemapUrl
  ]
  return lines.join('\n')
})

上线校验:发布后自动检查关键规则

  1. 生产 /robots.txt 不允许出现 Disallow: / 或 Disallow: /post/ 这类全站、正文屏蔽。
  2. 抽查 3 篇最新文章页,确认 robots meta 和 X-Robots-Tag 没有 noindex。
  3. 发布脚本用 curl 或 Node 请求校验,失败就阻断发布并回滚。

收录监控:把发现时间从一天缩到十分钟

后来我加了一个 Node.js 定时任务,抓首页、文章页和标签页,把 robots 规则、状态码和索引量写进 Redis 做趋势对比。只要正文页被 Disallow、sitemap 异常或索引量骤降,就立刻推送告警。


“这次事故让我意识到,robots 这种“几行文本”也会影响整站流量。把它纳入环境配置、发布校验和监控告警,才算真正修好。”

Guestbook

留言

若这篇文章也曾停在你心上,留一行字吧,我会看的。

先确认一下邮箱

多这一步,是为了少些机器骚扰,也让我能更踏实地读每一条真人写下的字。验证码 10 分钟内有效;同一邮箱 60 秒内只能发一封。

本文留言

共 0 条已加载 0 条

这里还静悄悄的——愿意做第一个留下脚印的人吗?