要不要让AI爬我的网站？先分清两类爬虫

「要不要挡住 AI 爬虫？我不想我的内容被白拿去用。」——这是很多老板最近会问的问题。

先把结论给出来：别急着拦。AI 爬虫不是一个东西，至少分三类——一类决定「AI 能不能提到你」，一类只决定「你的内容要不要用于训练模型」，还有一类是用户临时要求访问。混在一起一刀切，最常见的后果是：你想挡的是训练，结果把「被 AI 发现」的机会也一起挡掉了。

边界也说清楚：不是所有企业都需要精细配置。如果你的官网内容本来就是公开的、也不介意被用于训练，那默认放开通常没问题。真正需要做决策的，是「训练类」那一档。

一、AI 爬虫分三类，用途完全不同

把爬虫按「来了干什么」分三类，判断标准就清楚了：

• 训练类：抓取内容，用于训练或改进 AI 模型。它决定的是「你的内容会不会进入模型的知识」。代表是 GPTBot（OpenAI）、ClaudeBot（Anthropic）、Google-Extended（Google）、Applebot-Extended（Apple）、CCBot（Common Crawl）、Bytespider（字节）。
• 检索类：抓取内容，用于「实时回答用户问题」时检索来源。它决定的是「AI 在回答问题时，能不能找到你、引用你」。代表是 OAI-SearchBot（ChatGPT 搜索）、Claude-SearchBot、PerplexityBot。
• 用户触发类：当某个用户明确要求 AI「去看看这个页面」时，才临时访问。代表是 ChatGPT-User、Claude-User、Perplexity-User。

口径区分：除 Google 之外，上述爬虫名称与用途来自第三方整理的厂商说明汇总，未逐条回原厂商文档核实；厂商的用户代理字符串每年都会有增删，正式配置前请以各厂商官方文档为准。

关键点在于：你真正想拦的，大概率是第一类；而你真正需要的，是第二类。

二、最重要的一条：Google-Extended 不影响搜索收录与排名

很多人的顾虑是「拦了 AI，会不会连搜索排名一起掉？」——这个担心对 Google 来说，官方已经给过明确答复。

Google 在其开发者文档《Google's common crawlers》中写明了两件事：

• Google-Extended 没有单独的用户代理字符串，抓取仍由 Google 现有的用户代理完成，robots.txt 里的这个令牌只起「控制开关」的作用。
• 它管理的是：Google 抓取的内容是否可用于训练未来版本的 Gemini 模型，以及用于 Gemini 应用与 Vertex AI 上的「接地」（在提示时把 Google 搜索索引里的内容提供给模型）。

然后是那句最关键的官方结论：「Google-Extended 不会影响网站列入 Google 搜索结果，也不会在 Google 搜索中用作排名信号。」

换句话说：对 Google 而言，「拦训练」和「被搜索收录」是两件互不影响的事。你完全可以选择只退出训练语料，而保留被搜索和 AI 功能发现的机会。

口径区分：这条官方结论只针对 Google-Extended。其他厂商是否提供同等精细的分离控制，需要按各自的官方文档确认——不要把它当成行业通用规则。

三、所以真正该想清楚的是那个问题

把上面的机制理清之后，「要不要拦」就变成一个具体得多的选择题：

• 你介意的到底是什么？是「我的内容被用来训练别人的模型」，还是「AI 在回答客户问题时提到我」？前者是训练类，后者是检索类。
• 你的内容里有没有不该外流的东西？公开的产品信息、行业知识、使用说明——公开本来就是这个目的。真正需要保护的是客户名单、报价细节、工艺配方这类内容，而这些东西本来就不该放在官网公开页面上。
• 拦得住吗？这一点比很多人想的更现实，见下一节。

四、一个必须知道的现实：robots.txt 是「请求」，不是「锁」

robots.txt 是行业自律协议——它是一份「请不要抓」的声明，而不是一道技术防线。

遵守它的厂商会遵守；但也有爬虫被记录为不遵守该规则（第三方资料中提到 ByteDance 的 Bytespider 有此记录）。另外还有一类情况更绕：用户触发类的访问（如 ChatGPT-User、Perplexity-User），业界普遍认为这类请求通常不受 robots.txt 约束，因为发起动作的是用户本人，而不是机器人主动抓取。

口径区分：以上关于「哪些爬虫遵守 robots.txt」的说法来自第三方资料汇总，属于行业观察，不是厂商官方承诺；不同厂商的具体做法可能变化。

由此得出的实用结论有三条：

1. 对公开内容，不要指望靠 robots.txt 保密。真正的敏感信息应该放在权限后面，而不是靠一纸声明。
2. 对不遵守规则的爬虫，只能走服务器层拦截（防火墙规则、按请求特征返回拒绝），robots.txt 解决不了。
3. 定期复查。用户代理字符串每年都会新增或改名，一份两年前写的规则很可能已经过期。

五、落地时最容易踩的两个坑

坑一：用 `Disallow: /` 一刀切。这一条会同时挡住搜索引擎的标准爬虫，等于把自己从搜索里摘出去。永远不要挡 Googlebot 和 Bingbot——它们是搜索索引的入口，跟 AI 训练是两件事。

坑二：以为「拦了就删了」。已经进入训练数据的内容不会因为你现在改了规则而消失。规则只对「今后的抓取」生效。

另外提醒一句：robots.txt 是域名根级共用的——同一个域名下的所有语言版本、所有子目录共用这一份文件。所以规则要以「整个站点」为单位来想，不能只考虑某一个栏目。

六、三个常见问题

1. 官网内容被 AI 白用了，我亏了吗？

换个角度：如果 AI 回答客户问题时找不到你，那才是真的亏。对绝大多数做 B2B 的企业来说，官网内容本来的目的就是被看到、被信任、被引用——它不是付费产品，不需要按下载量收费。

所以常见的合理选择是：检索类放开（让 AI 能找到你），训练类按自己的意愿决定。这两件事在 Google 上是完全分离的。

2. 我们做的是 B2B、客户不多，还需要管这个吗？

正因为客户不多，才更值得管——因为你不能承受「客户问 AI 的时候，答案里没有你」。这件事的成本几乎为零（改一份文件），但配错的代价可能是一整条渠道失效。

3. 怎么知道 AI 到底有没有来爬？

看服务器或 CDN 的访问日志，按用户代理筛选，就能看到哪些爬虫访问了哪些页面、频率如何。如果某个检索类爬虫反复来抓同一篇文章，通常说明它在被用于回答实时问题——这恰恰是值得保留的访问。

七、写在最后

把这件事收一下：「要不要让 AI 爬」不是一个是非题，而是一道分类题。

先分清三类爬虫、再想清楚你最在意的是什么，然后只做必要的动作：别挡搜索、按意愿决定训练、公开信息别指望靠声明保密、规则记得定期复查。

你可以现在就做一件小事：打开你网站的 `robots.txt`，看看里面有没有 `Disallow: /` 或者写着 `User-agent: *` 的全局禁止规则。如果有，先确认它有没有误伤搜索引擎的正规爬虫——这是最容易被忽略、代价也最大的一个错误。

深圳易杭此前从事跨境 B2B 与阿里国际站相关服务，2024 年起拓展 GEO 方向。我们自己的判断是：公开内容应该尽量让 AI 读得到，真正要保护的东西不该放在公开页面上。

数据与效果边界：本文涉及 Google-Extended 的机制、用途与影响范围，均出自 Google 官方开发者文档《Google's common crawlers》与《关于 Google 网页抓取的须知事项》。除 Google 之外的爬虫名称、用途与遵守情况，来自第三方公开整理资料，属行业汇总口径，未经各厂商官方文档逐条核实，也未由任何厂商背书。以上内容描述的是机制与规则，不代表任何具体企业的效果；遵循这些做法不保证内容一定被 AI 引用，也不承诺见效周期与业务结果。

参考资料

1. Google for Developers：《Google's common crawlers》（含 Google-Extended 官方说明）
2. Google for Developers：《关于 Google 网页抓取的须知事项》
3. Google Search Central：《AI features and your website》
4. 第三方汇总：AI 爬虫用户代理与用途整理（行业观察口径，非厂商官方）