四家 AI 公司认了同一个 robots.txt 令牌：你写的那个星号，管不到它

一句话结论：2026 年 10 月 30 日，OpenAI、Google、Microsoft、Anthropic 同时表态将承认 robots.txt 里的一个跨厂商策略令牌 __usage_ai-training。写法不发明新语法，就用 robots.txt 原有的分组，把令牌写在 User-Agent: 那一行。但草案里有一条硬规定：User-Agent: * 不得被解释为匹配这个令牌。也就是说，你现在写的 User-agent: * 加 Disallow: /，既没有成功表达「拒绝训练」，又成功把所有爬虫——包括替你带来 AI 引用的检索爬虫——一起挡在门外。一个没做对，一个做过头。

一、发生了什么：一个令牌、四家、三档时间

10 月 30 日，OpenAI 在自己的官网上发了一篇不长的公告，标题很朴素：帮网站表达 AI 训练偏好。核心是一句话——OpenAI 将承认 robots.txt 里的一个「通用信号」。

同一天，Google、Microsoft、Anthropic 一起表态将采用同一套东西。The Verge 当天下午的报道把名单钉死了，也把来龙去脉说清楚了：这个信号由 Anthropic 的标准技术负责人 Kevin Kelley 提交给 IETF，草案代号 draft-kelley-aipref-training-preference-signal，当前版本 -00，今年 10 月 30 日更新，2027 年 5 月 3 日到期。

有一个容易被中文报道含糊掉的定性：这是一份个人提交稿（individual submission），不是 IETF 工作组正式文档。 IETF 的页面上写得很直白——本稿未获 IETF 背书，在标准流程中不具正式地位。所以它是「四家厂商自愿认的一份草案」，不是「国际标准」。这个区别很重要，后面讲它为什么会变的时候要用。

Token 长什么样，公告里没写，但草案正文写了：__usage_ai-training。前面两个下划线是故意的，为了避免跟已经部署的解析器意外撞名。

写法是这样：

User-Agent: __usage_ai-training
Disallow: /
Allow: /press-kit/

意思是：除了 /press-kit/ 这个目录，全站不用于 AI 训练。它没有引入任何新指令、新语法，用的还是 robots.txt 那套路径语言、最长匹配优先、分组结构。这一点是刻意设计的——省得所有网站为了一个新标准再学一遍配置。

四家的落地时间对不上，这一点最容易被抹平：

Meta 那一行值得单独看一眼。Meta 传播负责人 Andy Stone 公开说支持这个信号，但 The Verge 的原话是「没有说明公司是否会遵守」。表态和遵守之间，隔着一整个执行团队。

二、这次真正的新东西：写法没变，但 * 失效了

大多数解读会停在上面的名单和写法，然后告诉你「加一行就完事」。真正值得写的是草案里那句技术规定，它跟你的直觉相反：

通配符分组（User-Agent: *）不得被解释为匹配该策略令牌。

翻成人话：你写 User-agent: * 加 Disallow: /，不等于你向这四家表达了「不要拿我的内容做训练」。

这两件事是分开的。

User-agent: * 拦的是爬虫访问。所有读取这个文件的爬虫，看到通配符，就按你的规则不进来。这些爬虫里既有训练爬虫，也有检索爬虫——后者是 AI 回答问题时去你页面取依据的那一类。

而 __usage_ai-training 表达的是用途偏好。它只在这四家（目前只有一家真正认）主动去读、并且愿意遵守时才生效。通配符管不到它。

于是你现在最可能处于一个很别扭的位置：你想要的没拿到，不想要的拿到了。 拒绝训练没生效，断掉引用倒是生效了。

这不是文字游戏。探哥讲过一句很到位的比喻：「AI 就是皇帝会来翻牌子的……问题是你有没有牌子啊？」（tange/QUOTES.md 第 753 行，2026-08-19 直播）令牌就是那块牌子，通配符是把门锁上。锁上门，皇帝进不来，牌子递不出去，两件事一起发生。

三、三个用途，一个通配符

把这件事拆干净，只需要认三件事，它们管的是不同的东西：

1. 训练：内容进不进模型的参数。关了，下一代模型里就没有你的语料。
2. 检索接地（grounding）：AI 回答问题时，会不会去你的页面取一段当依据。关了，AI 的回答里不再出现你。
3. 搜索收录：在 Bing、Google 的搜索结果里还能不能找到你。

这三件事不是同一个入口的三个下游，它们由不同的爬虫承担。训练类走的是 GPTBot、ClaudeBot、Google-Extended 这些；检索类走的是另一批名字（OpenAI 这边是 OAI-SearchBot、ChatGPT-User 一类，名单以各家官方文档当前版本为准，厂商会新增，建议每季度对一次）。所以「我拦了 GPTBot，ChatGPT 就不会引用我了」这个推论是错的——拦 GPTBot 影响的是训练那条线，不是引用那条线。

第三行是重点。它看起来最「安全」，实际上是四种写法里唯一一个两头都输的。

还有一个连带的事实：厂商之间的粒度控制并不齐。Microsoft 明确说会给更细的开关，让发布者分别退出 AI 训练或 AI grounding，并强调网站在 Bing 搜索结果里的呈现不受这些偏好影响；Google 更早就有了类似的两分法。OpenAI 这一次只谈训练，一个字没提检索。

两家拆开了，一家只管一段，一家还没落地。 这就是下一节要说的事。

四、真空期：同一份配置，四家读出四种结果

三档时间摆在一起，会产生一个只有这条新闻才有的东西：未来六到十二个月，是一段规则真空期。

同一份 robots.txt，四家读出来的结果不一样：

真空期的意思不是「等一等就好」，是这段时间里你的配置处于半生效状态，而且你不知道另外三家什么时候突然开始读。

这带来两个方向的误判，都要避开。

一个误判是期待立刻见效。你今晚上线，明天去问 AI「某某品牌怎么样」，它照样提你，于是判断「这玩意没用」。不是没用，是另外三家还没开始读。

另一个误判是等到明年再说。明年 Google 和 Microsoft 一起开始读的那天，如果你的配置还停在 User-agent: *，问题不会在那天才出现——它会在那天被你发现。

所以现在做的动作，准确的定性不是「生效」，是把判断做在生效之前，并且留下基线。

五、怎么知道对方真的读了

这是这件事唯一新增的风险面，全网解读都不会提这一段：多了一层没有强制力的声明，你就多了一件非自己验证不可的事。

robots.txt 是君子协定。不读它的爬虫照样抓，读了它的人也可以选择不遵守——Meta 到现在都没说要遵守。所以你写完不算完，得能验证。

方法不复杂，全在服务器访问日志里：

第一，确认它来取过。 抓一份 access log，取改配置前后各 30 天，筛 robots.txt 这一个路径，看 User-Agent 里有没有出现你不认识的新 UA，或者四家的已知爬虫 UA 有没有在某个时间点之后开始规律出现。

第二，看它取完之后行为变没变。 同一个 UA，在取到新配置之后，抓取你正文页面的频次应该下降。频次没降，说明它读了但没照办，或者读的是缓存里的旧版本。

第三，做一张表，每季度对一次。 这张表只有六列，但它是这件事唯一真正需要长期维护的东西：

跑三个月你会发现一件事：这张表比任何「AI 可见度报告」都诚实。它不告诉你分数，它告诉你谁真的来过。

六、四个坑

坑一：以为 * 就是全部。 这是第二节讲的那条，也是最贵的一条。* 是拦爬虫的，不是表达用途偏好的。两者写法相似，语义不通。

坑二：删了旧的换新的。 OpenAI 在公告里写得很清楚：新信号不会替代他们已提供的 robots.txt 控制，现有控制继续有效、继续被遵守。你现在把 GPTBot 那段删掉，改去等令牌生效——而令牌要到「未来几个月」才上线。中间这段时间，你是全开的。正确做法是两套并存。

坑三：以为退出训练就等于让模型忘掉你。 不会。草案对「AI 训练」的定义是「用素材修改生成式模型的已学习参数」——它管的是未来那一次训练，不是过去已经发生的那次。已经训进参数的东西不回滚。所以对已经发生的引用，你唯一能做的是把事实口径做对：让 AI 提到你时，数字对、名称对。这是知识库的活，不是 robots.txt 的活。

坑四：指望一行字有强制力。 它没有。正因为没有，Cloudflare 才直接默认拦截 AI 爬虫，RSL 那套标准才想直接对爬虫收费。声明、拦截、收费，是三层叠加的东西，不是三选一。

七、今天该做什么：多数人不用改

先泼一盆冷水。如果你的站点没有独立官网，生意主要靠抖音、微信、私域，那这篇文章对你的用处是"知道有这回事"，不是"马上去改"。 你没有那个文件可以改，这条新闻的执行层跟你无关。

有官网、有搜索或 AI 自然流量的，才需要往下看。而且看完第一步，多数人的结论会是"别动"。这很正常——正确的动作本来就分三种，只有一种需要改。

第一步，三十分钟，先看你家现在写的是什么。

浏览器打开 https://你的域名/robots.txt。三种结果：

• 返回 404：你没写，默认全开。先别急着加，看第二步。
• 返回一段 HTML：服务器把不存在的路径重定向到首页了，爬虫拿到的是一张网页，规则等于没写。这种情况比 404 更糟，因为它看起来像有。先修这个。
• 返回正常的纯文本：逐段读，数一下有几个 User-agent，特别是有没有 User-agent: * 配 Disallow: /。

把全文复制下来存成文件，文件名带今天日期。这是你的基线，以后所有的「以前是不是这样」都靠它回答。

第二步，按你靠什么赚钱，分三种情况。

• 靠被人搜到、被人推荐获客的（大多数 B2B、服务商、内容站）：你不需要退出训练，最多是在令牌普及后不加那一行。但你必须确认检索爬虫没被你挡住。今天要做的只有一件事：把基线存好，然后什么都不改。
• 靠卖内容、卖课程、卖独家方法论的：该退训练。但退的方式是加令牌，不是加通配符。而且旧规则要留着。
• 两者都有（最常见）：用路径级例外。把付费内容、逐字稿、客户案例放进一个目录，只对那个目录表达拒绝，其余放行——草案给的 Allow: /press-kit/ 就是这个用法。

第三步，如果你确定要写，照这个结构。

# 一、旧的训练规则：保留，不要删
User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

# 二、检索类：显式放行，别指望默认
User-agent: OAI-SearchBot
Allow: /

# 三、用途偏好：只对已支持的厂商生效
User-agent: __usage_ai-training
Disallow: /paid/
Disallow: /internal/
Allow: /

三点提醒：旧规则保留；检索类显式 Allow；令牌那一行标上草案版本号（当前是 -00，2027 年 5 月 3 日到期），因为它会改，改完你得知道自己在按哪一版写。

第四步，建变更日志。 每次改，记一行：日期、改了什么、为什么改、谁批的、下次复核日。下次复核日最容易漏，也最有用。

四步加起来一下午。但它的产出不是「立刻见效」，是「等生效那天，你已经是对的」。

八、防不住什么

说清楚边界，比说清楚方法更重要。

没有强制力。 不读的照样抓，读了的可以不遵守。Meta 的表态就是活例子。

草案会变，而且可能不被采纳。 现在这份是个人提交稿，-00 版，IETF 明说没有正式地位。最坏的情况是工作组不采纳、厂商改口——那你写的令牌行就是一句注释。这不是说别写，是说别把身家押在上面。

你管不了别人怎么描述你。 转载、截图、聚合站，你把自家门锁上了，别人家门还开着。

已训练的不回滚。 退出只影响未来。

它保护的是用途偏好，不是商业机密。 想靠一行 robots.txt 藏住核心方法论，是想多了。真要藏，那些东西本来就不该在公网上。

九、这件事跟 GEO 的关系

GEO 这条链子有四环：能被抓 → 能被读懂 → 被引用 → 被说对。

绝大多数 GEO 讨论从第二环开始讲：结构化数据、llms.txt、FAQ、语义分层。这些都对，但它们全都默认第一环是通的。

10 月 30 日这件事，把第一环从「默认通着、没人管」变成了「有一个显式开关、而且写错的方式很多」。开关多了不是坏事，但它把一件原本不需要判断的事，变成了需要判断的事。

判断只需要回答一个问题：你靠什么赚钱。靠内容卖钱的，训练该关；靠被人找到赚钱的，抓取绝不能关。这两类企业在同一份文件里会写出完全相反的配置，而帮你建站的公司不知道你是哪一类。

门开着是前提，不是结果。前提没了，后面三环做得再好，分数是零。

通问AI 自己的答案是全部放行。官网的 robots.txt 里 38 个 User-agent 段，AI 爬虫逐个 Allow，只在最后用通配符挡掉 /admin、/private、/tmp 三个目录——因为这家公司靠被人找到赚钱，退出训练等于把自己的名字从下一代模型里擦掉。你可以不同意这个答案，但你得有自己的答案。

通问AI 给企业做 GEO 体检时，第一件事就是拉这个文件。原因很简单：它改一次十分钟，比任何内容优化都便宜；它写错一次，比任何内容失误都致命。而这个文件躺在服务器根目录里很多年，可能从来没有人打开看过。

常见问题

我要不要退出训练？

先看你靠什么赚钱，不要一刀切。品牌介绍、产品页、公开案例、创始人故事——不要退，你希望模型认识你、希望它回答「这家公司是做什么的」时有正确版本。付费课程逐字稿、独家方法论、客户名单、内部文档——该退，这些本来也不该出现在公网。判断标准只有一条：这段内容被别人学走，你是亏还是赚。

我写了 User-agent: * 加 Disallow: /，算不算已经拒绝了训练？

按这份草案，不算。通配符分组明确规定不得被解释为匹配 __usage_ai-training 令牌。你那个写法拦的是爬虫访问，不是表达用途偏好。更麻烦的是它连检索爬虫一起拦了——也就是你最想要的那部分。这大概是目前最常见的一种「两头都输」的配置。

退出训练，AI 是不是就不推荐我了？

不会，前提是你没顺手把抓取也关了。这是两条线：退出训练只影响下一代模型的参数里有没有你的语料；影响「AI 回答时提不提你」的是检索接地，而 grounding 要靠爬虫实时取页面。你把 Disallow 一刀切下去，断的是后者。

现在就写有用吗，反正另外三家明年才生效？

对 Anthropic 现在就有用。对另外三家，现在写的作用是「生效那天你已经是对的」，而不是「生效那天你才开始查资料」。但如果你属于「靠被人找到赚钱」那一类，正确答案是不写——维持默认，把基线存好，等令牌真正铺开再说。

我不懂技术，怎么确认自己没写错？

三个检查，都不需要技术。一，浏览器打开 你的域名/robots.txt，404 说明没写，跳到首页说明配错了。二，在搜索引擎里搜 site:你的域名，结果正常说明搜索没被你锁掉。三，找一台没登录过任何账号的电脑，问 AI「某某品牌是做什么的」，看它还提不提你——提，说明门还开着。

1. OpenAI 官方博客《Helping websites express AI training preferences》，2026-10-30：https://openai.com/index/helping-websites-express-ai-training-preferences （「仅覆盖基础模型训练」「不取代现有爬虫控制」「未来几个月实现」三处表述均出自此文原文）
2. The Verge，Emma Roth《The biggest names in AI are backing a new way to opt out of scraping》，2026-10-30 15:26 ET：https://www.theverge.com/tech/1023763/openai-google-microsoft-ai-scraping-standard-opt-out （四家名单、Meta 表态、三档落地时间、Microsoft 拆分 training 与 grounding、Google 既有控制）
3. IETF 草案 draft-kelley-aipref-training-preference-signal-00，Kevin Kelley（Anthropic），2026-10-30 更新，2027-05-03 到期：https://datatracker.ietf.org/doc/draft-kelley-aipref-training-preference-signal/ （令牌 __usage_ai-training、User-Agent: * 不匹配策略令牌、AI 训练定义、个人提交稿身份，均出自此稿）
4. IT之家中文报道，2026-11-01：https://www.ithome.com/1/020/837.htm （中文口径与厂商名单交叉核对）
5. AIHOT 事件聚合（publicId a28f10be-5030-4347-b3a3-38356ffe393f），digest 更新至 2026-11-01 15:36 UTC：https://aihot.news/story/a28f10be-5030-4347-b3a3-38356ffe393f

引语溯源：文中带「」的引语逐字取自两位 IP 的技能金句库，标注行号与日期以便复核——探哥「AI 就是皇帝会来翻牌子的……问题是你有没有牌子啊？」，见 tange/QUOTES.md 第 753 行，2026-08-19；两位素材分别截至 2026 年 08 月 25 日与 2026 年 08 月 08 日，均早于本事件，未对本次标准表态，相关引用属判断框架对照，不代表其对本次事件的看法。

声明：本文关于 __usage_ai-training 令牌与「User-Agent: * 不得匹配策略令牌」的表述，均出自 IETF 个人提交稿 -00 版原文，该稿未获 IETF 背书、不具正式地位，条文可能变更；四家均已表示将支持，但只有 Anthropic 明确已采用，其余为计划或承诺，无确定日期。文中不引用任何具体百分比与金额。