你的robots.txt可能正在害你？5分钟修正指南
核心要点
Robots.txt 是一个位于网站根目录的纯文本文件，它告诉搜索引擎和AI爬虫哪些页面可以抓取、哪些需要跳过。通过引导爬虫避开技术性垃圾和低价值页面，你能确保它们将精力集中在能带来实际效果的重要、高价值内容上。四个最值得关注的AI爬虫（GPTBot、ClaudeBot、Google-Extended 和 CCBot）都遵守 robots.txt 指令，你可以通过各自的用户代理字符串单独屏蔽它们。常见的 robots.txt 错误包括：在正式网站上使用 Disallow: /、屏蔽 CSS 或 JavaScript 文件（影响页面渲染），以及混淆 Disallow 与 noindex——因为被禁止抓取的页面若被外部链接引用，仍可能被索引。
将 robots.txt 文件视为你网站的GPS。它告诉谷歌或必应等搜索引擎（以及现在的AI）的网页爬虫该去哪里查看、索引什么内容。这在当今的搜索世界中意义重大。然而，它往往是技术SEO中被忽视的部分。许多人对待 robots.txt 采取“设置后就不管”的心态，却没有意识到这对搜索可见性可能造成的损害。随着AI占据搜索引擎结果页面的顶部位置，正确的 robots.txt 配置比以往任何时候都更加重要。为了帮助你保持领先，我整理了这份指南，教你如何创建能提升现代可见性并带来实际业务成果的 robots.txt 文件。
什么是 Robots.txt 文件？
Robots.txt 文件，也称为爬虫排除协议或标准，是一个文本文件，它告诉网页爬虫（通常是搜索引擎爬虫和AI抓取工具）你的网站上哪些页面可以抓取，以及哪些页面不能抓取。假设一个搜索引擎即将访问一个网站。在访问目标页面之前，它会先检查 robots.txt 以获取指令。不同类型的 robots.txt 文件有不同的样子，让我们看几个例子。
假设搜索引擎找到以下示例 robots.txt 文件：
User-agent: *
Disallow: /
这是 robots.txt 文件的基本骨架。User-agent 后面的星号表示该 robots.txt 文件适用于访问该网站的所有网页爬虫。Disallow 后面的斜杠告诉爬虫不要访问网站上的任何页面。然而，需要注意的是，禁止抓取一个页面并不能阻止它被索引，如果有外部链接指向该页面的话。
为什么 Robots.txt 对 SEO 很重要
你可能会想，为什么会有人想要阻止网页爬虫访问他们的网站？毕竟，传统SEO和AI SEO的主要目标之一就是让搜索引擎或AI爬虫轻松抓取你的网站，从而提高你的可见性。这正是这个SEO技巧的秘诀所在。
你的网站上可能有很多页面，对吧？即使你不这么认为，也请检查一下。你可能会感到惊讶。如果搜索引擎爬取你的网站，它会爬取每一个页面。如果你有很多页面，搜索引擎爬虫需要花很长时间才能爬完。这可能会对你的排名产生负面影响。
这是因为谷歌爬虫（Googlebot）有一个“抓取预算”。这分为两部分。第一部分是抓取容量限制，即谷歌在任何给定时间可以用于抓取一个网站的最大连接数。谷歌对此有更详细的说明：
第二部分是抓取需求，本质上是谷歌对你内容的“胃口”。这取决于你的页面受欢迎程度以及你更新它们的频率。以下是谷歌更深入的解释：
基本上，抓取预算就是“谷歌爬虫可以并且想要抓取的URL数量”。你希望帮助谷歌爬虫尽可能高效地使用其针对你网站的抓取预算。这意味着你希望它爬取你最有价值的页面。
为了确保将爬虫引导到正确的地方，谷歌建议尽量减少以下常见的抓取资源消耗：
- 分面导航：用于排序和筛选的URL参数可能会创建“无限空间”，将爬虫困在冗余页面的迷宫中。
- 重复内容：当相同的信息存在于多个URL上时，应合并它们，以便爬虫可以专注于你的独特内容。
- 障碍和死胡同：软404错误和长重定向链会浪费抓取需求，迫使爬虫无谓地工作。
- 服务器性能：如果你的网站响应缓慢，谷歌可能无法读取你网站的更多内容。
好了，让我们回到 robots.txt。一个结构良好的 robots.txt 页面会告诉搜索引擎爬虫（尤其是谷歌爬虫）避开某些页面。想想这意味着什么。通过精心设置你的 robots.txt 文件，你是在突出你最好的作品。你实际上是在引导爬虫远离技术性垃圾，转向你最有价值的内容。
换句话说，你的 robots.txt 有助于确保爬虫在你域名上花费的每一秒都是有价值的。这就像爬虫在你的数字仓库中漫无目的地游荡，与直接前往能带来结果的页面的区别。
对 robots.txt 的力量感兴趣了吗？让我们谈谈如何创建并正确使用 robots.txt 文件。
如何创建 Robots.txt 文件
有效使用 robots.txt 始于正确掌握基础。请按照以下步骤创建一个能让你的“网站GPS”起步的 robots.txt 文件。
第1步：打开纯文本编辑器
你可以使用纯文本编辑器（如PC上的记事本和Mac上的文本编辑）创建一个新的 robots.txt 文件。无论你使用什么，请确保它是一个纯文本编辑器。如果你已经有 robots.txt 文件，请确保删除其中的文本（但不要删除文件本身），以便重新开始。
第2步：正确定位和格式化文件
首先，你必须将文件命名为“robots.txt”。这似乎显而易见，但它非常重要，值得强调。如果命名错误，你做的其他一切都将毫无意义。另请注意，每个网站只能有一个 robots.txt 文件。该文件还必须放置在其所适用的网站的根域下。谷歌提供了更多背景信息（我们也在下面总结了关键要点）：
将其视为技术性细则。以下是谷歌指南中需要牢记的三件最重要的事情：
- 位置决定一切：你的文件必须位于主机的根目录（例如，yoursite.com/robots.txt）。如果你将其藏在子文件夹中，爬虫根本不会去寻找它。
- 各司其职：robots.txt 文件仅对其特定的协议（HTTP vs. HTTPS）、子域和端口具有权威性。如果你有一个移动网站（m.yoursite.com），它需要自己的专用文件。
- 坚持使用 UTF-8：该文件必须是一个采用 UTF-8 编码的纯文本文件。如果你使用非标准字符，谷歌可能会认为你的规则无效并完全忽略它们。
第3步：编写你的 Robots.txt 规则
我将向你展示如何设置一个简单的 robots.txt 文件，将我们上面提到的规则付诸实践。每个 robots.txt 文件都以 user-agent 指令开头。这定义了哪些爬虫受该规则约束。谷歌 robots.txt 文档中的这个示例将 Googlebot 设置为用户代理。该示例还定义了两个规则：allow 和 disallow。它们使 robots.txt 文件能够引导 Googlebot 访问根域 www.example.com 下的任何页面，但那些包含 /nogooglebot/ URL 路径的页面除外。所有其他爬虫都可以自由抓取网站内的任何页面。
我知道这看起来非常简单，但这短短两行已经做了很多事情。这个规则还链接到一个 XML 站点地图，但这并非严格必要。它作为所有爬虫（包括AI）的通用地图。对于较大的网站尤其重要，因为它为爬虫提供了一条直接通往你最有价值页面的路径，而无需它们费力寻找链接。
瞧，你现在有了一个包含简单（但有效）规则的基本 robots.txt 文件。随着你对使用 robots.txt 越来越熟悉，你可以利用更多规则。谷歌在这里列出了所有规则及其作用。
第4步：保存并上传到根目录
为了发挥作用，你的 robots.txt 文件需要上传到你网站的根目录。如何操作取决于你的托管平台和网站架构。一个常见的例外是 WordPress，它可以在你启动网站时生成自己的虚拟 robots.txt 文件。要更改它，你可能需要一个插件或手动上传来覆盖它。如果不确定，请联系你的托管平台或搜索他们的支持文档以了解上传方法。通常，你可以通过导航到他们的帮助文章或知识库并搜索“上传文件 [托管公司名称]”来完成此操作。
如何使用 Robots.txt 屏蔽 AI 爬虫
屏蔽 AI 爬虫可以让你更好地控制内容的使用方式。一些网站所有者这样做是为了限制AI训练使用。其他人这样做是为了减少爬虫负载、保护意外公开的付费内容，或阻止竞争对手通过AI工具重新包装他们的作品。代价是可见性。如果你屏蔽所有内容，可能会保护更多你的内容，但也可能降低你在AI生成结果中出现的几率。
值得了解的主要AI爬虫包括：GPTBot（OpenAI）、ClaudeBot（Anthropic）、Google-Extended（Google）和 CCBot（Common Crawl）。这四种都支持 robots.txt 控制，并且每种都发布了一个你可以定位的特定用户代理字符串。CCBot 是许多人忽略的一个，尽管它的公共数据集为几十个开源模型提供支持，因此不能忽视。
要单独屏蔽每个爬虫，请列出每个用户代理及其自己的 disallow 规则：
User-agent: GPTBot
Disallow: /
User-agent: ClaudeBot
Disallow: /
User-agent: Google-Extended
Disallow: /
User-agent: CCBot
Disallow: /
值得了解的主要AI爬虫涵盖训练和搜索功能。OpenAI 运行 GPTBot 用于训练，OAI-SearchBot 用于搜索。Anthropic 运行 ClaudeBot 用于训练，Claude-SearchBot 用于搜索。Google 使用 Google-Extended 进行训练。Common Crawl 运行的 CCBot 为几十个开源模型提供支持，因此即使许多人忽略它，也值得包括在内。这种区别在实践中很重要。屏蔽 GPTBot 不会屏蔽 OAI-SearchBot，屏蔽 ClaudeBot 不会屏蔽 Claude-SearchBot。如果你想同时阻止训练和搜索爬取，你需要为每个爬虫设置单独的规则。
所有这些爬虫都支持 robots.txt 控制，并且每种都发布了一个你可以定位的特定用户代理字符串。要单独屏蔽它们，请列出每个用户代理及其自己的 disallow 规则：
User-agent: GPTBot
Disallow: /
User-agent: OAI-SearchBot
Disallow: /
User-agent: ClaudeBot
Disallow: /
User-agent: Claude-SearchBot
Disallow: /
User-agent: Google-Extended
Disallow: /
User-agent: CCBot
Disallow: /
如果你更愿意一次性屏蔽所有非搜索爬虫，可以反转逻辑。默认禁止所有内容，然后显式允许你想要保留的搜索引擎。
User-agent: *
Disallow: /
User-agent: Googlebot
Allow: /
User-agent: Bingbot
Allow: /
请注意，Google-Extended 是一个独立于 Googlebot 的令牌。屏蔽它会使你退出谷歌的AI训练数据，并且对你常规谷歌搜索中的排名完全没有影响。请记住，虽然屏蔽AI爬虫可以阻止你的内容用于模型训练，但这也会降低你在AI答案中被引用的机会。如果你想实施这些规则，务必谨慎行事。如果AI可见性是你战略的一部分，请使用 llms.txt 文件进行SEO，引导AI系统访问你最好的内容，而不是像使用 robots.txt 文件那样完全将它们拒之门外。
如何测试你的 Robots.txt 文件
在你的 robots.txt 文件上线后，请确认谷歌可以正确读取它。谷歌于2023年底退役了旧的独立 robots.txt 测试器，并用 Google Search Console 中的 robots.txt 报告取而代之。要找到它，请打开 Search Console，选择你的属性，然后点击左侧边栏中的“设置”。该报告会显示谷歌为你的网站获取了哪些 robots.txt 文件、每个文件上次被爬取的时间，以及解析过程中遇到的任何语法错误或警告。如果你刚刚推送了更新，可以直接在该屏幕上请求重新爬取。
要测试特定URL在当前规则下的行为，请切换到 Search Console 的“网址检查”工具。它会告诉你 Googlebot 是否可以访问该页面，或者是否有指令在阻止它。这对于在错误的 disallow 规则破坏重要页面之前捕获它非常有用。将其作为你常规技术SEO站点审核的一部分。
另一个专业提示：在浏览器中键入根域后跟 /robots.txt，即可查看该网站的 robots.txt 文件。这是了解竞争对手如何构建其规则、他们保护哪些目录以及他们正在屏蔽哪些AI爬虫的快速方法。将其与完整的SEO审核相结合，以全面了解你可以在哪些方面改进并超越竞争对手。
需要避免的常见 Robots.txt 错误
Robots.txt 错误很容易犯，而且很难发现，直到流量下降。即使是小错误也可能产生全站范围的影响。以下是需要注意的最常见失误：
- 在正式网站上使用
Disallow: /：这一行会阻止所有爬虫访问你网站上的每个URL，包括你的主页。这通常发生在暂存文件未经更新就被推送到生产环境时，因此请务必在每次迁移后检查你的 robots.txt。 - 屏蔽 CSS 和 JavaScript：Googlebot 会像浏览器一样渲染你的页面，因此它需要访问你的 CSS、JavaScript 和图像文件才能正确评估它们。屏蔽这些资源可能会迫使谷歌“盲目”爬取你的网站，导致排名下降。
- 混淆
Disallow与noindex：Disallow规则会阻止爬取，但不会阻止索引。如果被屏蔽的URL被其他网站链接，它仍然可能出现在谷歌搜索中。要将页面排除在搜索结果之外，请改用noindex元标记或对页面进行密码保护。 - 文件为空或缺失：缺失 robots.txt 文件不会破坏你的网站。谷歌会假设所有内容都可以爬取，但你会失去将爬虫指向你的站点地图、管理抓取预算或选择退出AI爬虫的能力。将其纳入你的常规SEO检查清单，以免事后才想起来。
常见问题解答
robots.txt 如何工作？
爬虫在爬取你的页面之前会检查 yoursite.com/robots.txt。该文件使用 user-agent 和 disallow 指令告诉它们要跳过哪些路径。遵守是自愿的，但主要爬虫都会遵守。
我需要 robots.txt 文件吗？
不一定。谷歌可以在没有它的情况下爬取你的网站，但该文件允许你控制抓取预算并屏蔽AI训练爬虫，即使对于小型网站也值得这样做。
robots.txt 文件应该是什么样子的？
一个允许所有爬虫并指向你站点地图的最小文件如下所示：
User-agent: *
Disallow:
Sitemap: https://yoursite.com/sitemap.xml
为你不想被爬取的任何目录（如 /wp-admin/ 或 /checkout/）添加 disallow 规则。为你想要赋予不同规则的每个爬虫使用单独的 user-agent 块。
如何在 WordPress 中编辑 robots.txt？
最简单的方法是使用像 Yoast 这样的SEO插件，它在设置中包含一个 robots.txt 编辑器。否则，通过 FTP 或你的托管文件管理器编辑文件，并将其上传到你网站的根目录。
如何修复“已被 robots.txt 屏蔽但仍被索引”的警告？
这个警告意味着谷歌索引了一个它无法爬取的URL。要么删除 disallow 规则，以便谷歌可以读取你页面的 noindex 标记，要么完全对页面进行密码保护（或删除）。
结论
Robots.txt 是一个小文件，但对你的网站如何在网络上展示有着巨大影响。几个精心放置的指令可以阻止低价值页面出现在搜索结果中，并决定AI系统是否可以使用你的内容进行训练。已经有 robots.txt 文件了吗？根据上面提到的错误对其进行审核。从头开始？按照本指南中的步骤构建它，并在 Search Console 中进行测试，然后再宣布完成。
关于 robots.txt 的讨论已经发生了变化。它最初是管理 Googlebot 和搜索引擎结果页面的工具，现在已扩展到处理AI在搜索领域的崛起以及像 llms.txt 这样的新兴标准。无论接下来发生什么，robots.txt 仍然是保持对你内容控制的基础部分。
