·更新于 2026年11月22日· 56 次浏览 Nuxt3SEOrobots工程实践故障复盘
Nuxt 3 博客流量突然腰斩:我用环境隔离、上线校验和收录监控修好 robots 误屏蔽
一次测试用的 robots.txt 被带到生产,把正文页全部挡在搜索外。本文复盘我如何用环境隔离、发布校验和收录告警把这类误屏蔽挡在上线前。

作者
ZHOUYI
那天早上看统计,自然流量少了近一半。第一反应是广告、缓存、内容质量,排查半天后发现所有文章页都被 robots 挡住。更离谱的是,这份 robots.txt 是上周测试环境为了防抓取临时写的,发布时被一起带到了生产。
先止血:确认是 robots 屏蔽,不是内容掉权
我没有立刻改文件,而是先确认三件事:抓取 /robots.txt 看规则;用搜索平台的抓取工具检查正文页是否被 robots 阻止;再对比流量曲线和发布时间。确认是误屏蔽后,马上恢复生产 robots,只保留必要屏蔽,并提交站点地图,等待重新抓取。
环境隔离:测试环境别生成生产规则
我把 robots 从静态文件改成由服务端按环境生成:生产只放开必要内容,测试环境默认禁止抓取,预览环境再单独放开。字段名和配置方式以自己项目为准,核心是别让同一份规则跨环境复用。
js
export default defineEventHandler((event) => {
setHeader(event, 'content-type', 'text/plain; charset=utf-8')
const config = useRuntimeConfig(event)
const isProd = config.public.env === 'production'
const lines = [
'User-agent: *',
isProd ? 'Allow: /' : 'Disallow: /',
'Sitemap: ' + config.public.sitemapUrl
]
return lines.join('\n')
})上线校验:发布后自动检查关键规则
- 生产 /robots.txt 不允许出现 Disallow: / 或 Disallow: /post/ 这类全站、正文屏蔽。
- 抽查 3 篇最新文章页,确认 robots meta 和 X-Robots-Tag 没有 noindex。
- 发布脚本用 curl 或 Node 请求校验,失败就阻断发布并回滚。
收录监控:把发现时间从一天缩到十分钟
后来我加了一个 Node.js 定时任务,抓首页、文章页和标签页,把 robots 规则、状态码和索引量写进 Redis 做趋势对比。只要正文页被 Disallow、sitemap 异常或索引量骤降,就立刻推送告警。
“这次事故让我意识到,robots 这种“几行文本”也会影响整站流量。把它纳入环境配置、发布校验和监控告警,才算真正修好。”