robots.txt 能做什么，不能做什么
robots.txt 最容易被误用的地方，在于很多人会把它当成访问控制手段。事实上，它只是面向合规爬虫的抓取提示，用来说明哪些路径允许抓取、哪些路径不建议抓取，并不能真正保护后台、私密文件或未公开页面。
写 robots 规则时，最重要的是规则边界清晰
robots.txt 写错时，后果通常不是“完全无效”，而是“误伤面太大”。例如一个过宽的 `Disallow` 前缀，可能把原本应该公开的内容一起挡掉；反过来，一个 user-agent 分段写错，也可能让本来只想针对某类爬虫的规则，落成了全站默认。真正成熟的写法，往往不是复杂，而是边界非常清楚。
几类最核心的 robots 指令
| 指令 | 作用 |
|---|---|
| User-agent | 指定后续规则针对哪类爬虫 |
| Disallow | 提示哪些路径不建议抓取 |
| Allow | 在更大范围封禁里单独放开局部路径 |
| Sitemap | 把爬虫引导到站点地图地址 |
如何使用这个工具
- 先在 Robots.txt 生成器 中准备一份有代表性的User-agent 规则、允许路径、禁止路径、抓取延迟提示和 sitemap 地址，不要一开始就处理最大或最敏感的真实内容。
- 执行处理流程并生成可部署前复核的 robots.txt 文件内容后，优先检查路径前缀、规则顺序、sitemap URL、特定爬虫代理和是否误挡公开页面，再判断结果是否真的可用。
- 只有当结果已经适合用于新站上线、保护 staging、排除后台路径、声明站点地图和 SEO 交接，并且不再触发这条风险提醒时，才复制或下载输出：robots 规则只是给合规爬虫看的公开提示，不能当作私密内容的访问控制。
Robots.txt 生成器 示例
这个 Robots.txt 生成器 示例使用有代表性的User-agent 规则、允许路径、禁止路径、抓取延迟提示和 sitemap 地址，展示生成后的可部署前复核的 robots.txt 文件内容，便于你先确认路径前缀、规则顺序、sitemap URL、特定爬虫代理和是否误挡公开页面，再把同样设置用于真实输入。
示例输入
Allow /, disallow /admin, sitemap https://codertools.site/sitemap.xml
预期输出
User-agent: *
Allow: /
Disallow: /admin
Sitemap: https://codertools.site/sitemap.xml关于 staging 和私密路径，一个非常重要的现实提醒
如果某个路径真的必须保密，应该用登录验证、网络限制或服务器层权限，而不是依赖 robots.txt。因为 robots.txt 本身就是公开文件，别人不仅能看到你不想让爬虫抓什么，甚至还能顺着文件反查出敏感路径在哪。对 staging、管理后台和内部预发布页来说，这一点尤其不能搞错。
使用注意
- 复用可部署前复核的 robots.txt 文件内容前，先检查路径前缀、规则顺序、sitemap URL、特定爬虫代理和是否误挡公开页面。
- robots 规则只是给合规爬虫看的公开提示，不能当作私密内容的访问控制。
- 当结果会影响生产工作或客户可见内容时，应保留原始User-agent 规则、允许路径、禁止路径、抓取延迟提示和 sitemap 地址以便回退和核对。
Robots.txt 生成器 参考说明
Robots.txt 生成器 的参考说明应始终围绕User-agent 规则、允许路径、禁止路径、抓取延迟提示和 sitemap 地址、生成的可部署前复核的 robots.txt 文件内容，以及用于新站上线、保护 staging、排除后台路径、声明站点地图和 SEO 交接前必须确认的检查点。
- 输入重点：User-agent 规则、允许路径、禁止路径、抓取延迟提示和 sitemap 地址。
- 输出重点：可部署前复核的 robots.txt 文件内容。
- 复核重点：路径前缀、规则顺序、sitemap URL、特定爬虫代理和是否误挡公开页面。
参考资料
常见问题
以下问题围绕 Robots.txt 生成器 的实际用途整理，重点说明输入要求、输出结果和常见限制。生成包含 Allow、Disallow 和 Sitemap 规则的 robots.txt。
Robots.txt 生成器 最适合处理什么样的User-agent 规则、允许路径、禁止路径、抓取延迟提示和 sitemap 地址？
Robots.txt 生成器 的核心用途是生成 robots.txt 指令。当User-agent 规则、允许路径、禁止路径、抓取延迟提示和 sitemap 地址需要快速变成可部署前复核的 robots.txt 文件内容，并继续用于新站上线、保护 staging、排除后台路径、声明站点地图和 SEO 交接时，它最有价值。
复用 Robots.txt 生成器 生成的可部署前复核的 robots.txt 文件内容前，最该检查什么？
应优先检查路径前缀、规则顺序、sitemap URL、特定爬虫代理和是否误挡公开页面。这些细节最能直接判断结果是否已经适合继续交给下游流程。
Robots.txt 生成器 生成的可部署前复核的 robots.txt 文件内容通常会被带到哪里继续使用？
最常见的下一步就是用于新站上线、保护 staging、排除后台路径、声明站点地图和 SEO 交接。这类输出是按真实交接场景来组织的，不是泛化占位结果。
什么时候不应该直接相信 Robots.txt 生成器 的结果，而要人工复核？
robots 规则只是给合规爬虫看的公开提示，不能当作私密内容的访问控制。