robots.txt、noindex 与鉴权分别解决什么问题？
robots.txt 管理抓取，noindex 管理支持该规则的搜索引擎是否索引，鉴权控制谁能取得数据。
本页目录
直接回答
robots.txt 管理抓取，noindex 管理支持该规则的搜索引擎是否索引，鉴权控制谁能取得数据。它们不能互相替代；页面被 robots 阻止抓取时，爬虫可能看不到页面上的 noindex。
适用场景
需要保护私密内容、处理不应索引的公开页，或排查索引指令冲突。
一步一步做
按目标选择控制
私密内容先用服务端身份与权限校验，HTML、数据接口和 RSC 都检查。公开但不希望索引的页考虑可被读取的 noindex；抓取负担用 robots 策略单独处理。
精确匹配真实路径
检查默认语言、所有语言前缀、参数和相似目录，验证 allow 与 disallow 的实际匹配。规则变更先对样本路径测试，新增语言时同步检查。
核对响应与搜索看到的状态
查看 robots、meta 与响应头，确认没有互相矛盾。使用 URL 检查并等待重新抓取结果；noindex 不代表立即消失，更不是私密数据的保护。
案例拆解
假设练习，非真实业绩。
一篇公开但不希望被搜索展示的页面使用 noindex，同时被 robots 完全阻断，Google 就可能无法读取新指令。私密报告则必须先拒绝未授权请求，不能仅处理索引。
行动检查
可复制模板
访问与索引决策表
页面与数据是否私密：
服务端授权结果：
是否公开但不索引：
meta／X-Robots-Tag：
robots 对各语言路径的匹配：
是否阻碍读取 noindex：
HTML／数据／RSC 与 URL 检查：
公开页索引排除示例
HTML head：<meta name="robots" content="noindex">
或 HTTP 响应头：X-Robots-Tag: noindex
使用场景：公开可读取，但不希望被支持该指令的搜索引擎索引。
不要同时阻止爬虫读取该页。私密内容另做服务端鉴权。
单独的抓取规则示例
User-agent: *
Disallow: /crawl-lab/
Disallow: /zh/crawl-lab/
这是抓取管理示例，不是私密保护或 noindex 示例；上线前测试真实路径，新增语言时补测。
易错点
不要把 noindex 写进 robots.txt 当成 Google 支持的指令。不要在 robots 中列出敏感文件来“隐藏”它们；路径本身是公开的。