robots.txt 是什麼？AI 爬蟲要不要擋、怎麼設定？

先講結論

AI 爬蟲分成訓練用（GPTBot、ClaudeBot 等）和搜尋用（OAI-SearchBot、Claude-SearchBot、PerplexityBot 等）。擋訓練用的，不會擋到 AI 搜尋。
想被 AI 回答提到，至少不要擋搜尋用的爬蟲。Google AI 摘要和 AI 模式另外由 Search Console 的控制項管，預設是納入。
Content Signals 是在 robots.txt 宣告內容准不准用在搜尋、AI 回答、AI 訓練，只是表達意願，不能強制。
Cloudflare 的 Agent Readiness 檢查看的是網站支援哪些給 AI 代理用的技術標準。在地店家顧好 robots.txt、sitemap 和 Content Signals 就夠了，MCP、OAuth、付款協定目前用不到。

目錄7 節

AI 爬蟲有哪幾種？訓練用和搜尋用差在哪？
robots.txt 是什麼？怎麼設定 AI 爬蟲？
不想出現在 Google AI 摘要，要擋哪個？
Content Signals 是什麼？robots.txt 要不要加？
Agent Readiness 檢查在看什麼？
在地店家的 robots.txt 和 AI 爬蟲該怎麼處理？
常見問題

AI 爬蟲有哪幾種？訓練用和搜尋用差在哪？

AI 公司派到網站上的程式不只一種。照各家官方說明，大致分成三類：

訓練用：蒐集內容，可能拿去訓練下一代 AI 模型
搜尋用：替 AI 搜尋建索引，決定你的網站會不會出現在 AI 的搜尋答案裡
使用者觸發：有人問 AI 問題時，AI 當下去讀某個網頁

官方文件：各家公布的名稱如下（2026 年 10 月查閱）：

公司	訓練用	搜尋用	使用者觸發
OpenAI	GPTBot	OAI-SearchBot	ChatGPT-User
Anthropic	ClaudeBot	Claude-SearchBot	Claude-User
Perplexity	（官方說不用來訓練模型）	PerplexityBot	Perplexity-User
Google	Google-Extended（不是爬蟲，是 robots.txt 的控制名稱）	Googlebot	—

重點是：擋 GPTBot 不等於擋 ChatGPT 搜尋。OpenAI 說 GPTBot 只負責蒐集可能用來訓練模型的內容，ChatGPT 搜尋用的是 OAI-SearchBot；Anthropic 也說，擋 ClaudeBot 是表示之後的內容不要拿去訓練，擋 Claude-SearchBot 才會讓你在 Claude 的搜尋結果裡少出現。

限制使用者觸發的那一類，OpenAI 和 Perplexity 都說因為是使用者自己要求的，robots.txt 的規則「可能不適用」或「通常不遵守」。robots.txt 主要管得到的是前兩類。

robots.txt 是什麼？怎麼設定 AI 爬蟲？

robots.txt 是放在網站根目錄（例如 www.example.com/robots.txt）的文字檔，告訴爬蟲哪些頁面可以抓。常見的三種設定：

1. 全部開放：什麼都不寫，或只寫下面這樣，所有爬蟲都可以抓。

User-agent: *
Allow: /

Sitemap: https://www.example.com/sitemap.xml

2. 只擋訓練、不擋搜尋：想被 AI 搜尋找到、但不想被拿去訓練模型，可以只擋訓練用的名稱。

User-agent: *
Allow: /

User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: Google-Extended
Disallow: /

Sitemap: https://www.example.com/sitemap.xml

3. 全部擋掉：連搜尋用的也擋，網站就不會出現在那家 AI 的搜尋答案裡。對靠客人找上門的店家來說，通常不划算。

設定時要注意一件事：每個 User-agent 段落各自獨立。某個爬蟲如果有自己的段落，就只看那一段，不會再套用 User-agent: * 的規則。所以想對特定爬蟲多加限制時，要把限制寫在它自己的段落裡。

有些主機或 CDN 服務（例如 Cloudflare）提供一鍵封鎖 AI 爬蟲的設定，可能沒寫在 robots.txt 裡。網站一直沒被 AI 搜尋提到時，也要檢查這類設定有沒有開。

不想出現在 Google AI 摘要，要擋哪個？

官方文件：Google 的情況跟其他家不一樣：

Google-Extended 不會讓你從 Google 搜尋消失。Google 說它管的是 Gemini 模型的訓練，以及 Gemini 應用程式和 Vertex AI 拿 Google 搜尋資料當參考，不影響網站出現在 Google 搜尋，也不是排名訊號（Google 搜尋中心，2026-07-14 更新）
AI 摘要和 AI 模式由 Search Console 控制。Search Console 的「設定 → Google 搜尋生成式 AI」可以選納入或排除，2026 年 8 月 31 日起全球網站都有這個選項，預設是納入（Search Console 說明）
選排除後，網站不會出現在 AI 摘要、AI 模式和 Google 探索的生成式 AI 功能裡，但不影響一般搜尋排名，也不影響 AI 訓練
擋 Googlebot 會讓網站整個從 Google 搜尋消失，不要為了 AI 去擋它

所以一般店家什麼都不用做，就已經是「納入」。只是如果網站一直沒出現在 AI 摘要，可以到 Search Console 確認這個設定沒有被改成排除。

Content Signals 是什麼？robots.txt 要不要加？

官方文件：Content Signals 是 Cloudflare 提出的寫法，在 robots.txt 裡多加一行，宣告網站內容准不准用在三件事（IETF 草案，2025-10-01）：

名稱	意思
search	用來建搜尋索引、在搜尋結果顯示連結和摘錄（不含 AI 產生的摘要）
ai-input	AI 即時回答時拿來當參考，例如 AI 搜尋的答案
ai-train	拿來訓練或微調 AI 模型

寫法是在每個 User-agent 段落裡加一行，yes 是准、no 是不准：

User-agent: *
Content-Signal: search=yes, ai-input=yes, ai-train=no
Allow: /

上面這個例子的意思是：可以出現在搜尋和 AI 回答裡，但不想被拿去訓練。三個要怎麼選，是店家自己的決定。

限制Content Signals 只是聲明，跟 robots.txt 一樣沒辦法強制爬蟲遵守。這份 IETF 草案是個人提案，不是正式標準。Cloudflare 統計，流量前 20 萬的網站裡只有 4% 加了它（Cloudflare，2026-04-17）。

Agent Readiness 檢查在看什麼？

官方文件：Agent Readiness 是 Cloudflare 在 2026 年 4 月 17 日推出的免費檢查工具（isitagentready.com）。Cloudflare 把它比喻成 Google Lighthouse：Lighthouse 檢查網站效能，這個工具檢查網站支援多少給 AI 代理用的技術標準。AI 代理指的是會替人瀏覽網頁、登入、甚至付款的 AI 程式。

它檢查四大類，結果以等級呈現：

類別	檢查什麼	在地店家需要嗎？
可被發現	robots.txt、sitemap、Link 標頭	robots.txt、sitemap 需要
內容	AI 來讀網頁時，能不能改給 Markdown 版本	可有可無
爬蟲控制	robots.txt 有沒有寫 AI 爬蟲規則、Content Signals、Web Bot Auth	前兩項建議做
代理能力	MCP、Agent Skills、API 目錄、OAuth、WebMCP	目前用不到

另外還會檢查 x402、ACP 等「AI 代理付款」的協定，但 Cloudflare 說這些目前不計入結果。

要注意它沒有檢查什麼：結構化資料、標題層級、內容品質、作者資訊都不在檢查項目裡。網路上有些介紹把這些算進去，以工具頁和 Cloudflare 公告為準。

官方文件：Cloudflare 用同一套標準看了流量前 20 萬的網站（Cloudflare，2026-04-17）：

78% 有 robots.txt，但大多是寫給傳統搜尋引擎的
4% 加了 Content Signals
3.9% 支援 Markdown 版本
有 MCP 伺服器說明或 API 目錄的，合計不到 15 個網站

我們的數據：我們用這個工具檢查自己的官網：

時間	結果	差在哪
修改前	Level 1 Basic Web Presence	robots.txt、sitemap、AI 爬蟲規則都通過；缺 Content Signals
robots.txt 加上 Content Signals 後	Level 2 Bot-Aware	下一級只差「Markdown 版本」

官方文件：下一級要的「Markdown 版本」，是 AI 程式來讀網頁時，網站改回一份去掉選單和樣式的純文字版本。Cloudflare 說，這在某些情況可以讓 AI 要處理的文字量少掉最多 80%，讀得更快、成本更低（Cloudflare，2026-04-17）。

我們的官網目前沒有加，原因有三個：

Google 說，要出現在 AI 摘要和 AI 模式，不需要另外做給機器讀的檔案（Google 搜尋中心）
目前沒有證據顯示，提供 Markdown 版本會讓網站更常被 AI 引用；省下的主要是 AI 那一端的成本
每一頁要多一個版本，或讓伺服器即時轉換；兩個版本只要有一邊沒更新，AI 就可能讀到舊資料

我們認為，等主要的 AI 搜尋服務說明會優先讀 Markdown 版本，再加也不遲。

代理能力那一類全部沒通過。對沒有提供 API、會員登入或線上付款的在地服務業網站來說，這很正常。

限制Agent Readiness 衡量的是技術標準的支援程度，目前沒有證據顯示等級越高、越容易被 AI 推薦或引用。

在地店家的 robots.txt 和 AI 爬蟲該怎麼處理？

我們的建議：照這個順序檢查就好：

打開自己的 robots.txt 看一眼（在網址後面加 /robots.txt），確認沒有擋到搜尋用的爬蟲（OAI-SearchBot、Claude-SearchBot、PerplexityBot、Googlebot）
robots.txt 裡寫上 sitemap 的網址
決定要不要被拿去訓練：不想的話擋 GPTBot、ClaudeBot、Google-Extended，或用 Content Signals 寫 ai-train=no；搜尋和 AI 回答建議保持開放
到 Search Console 確認「Google 搜尋生成式 AI」是納入（預設就是）
主機或 CDN 有一鍵封鎖 AI 爬蟲的設定，確認它跟你的決定一致
MCP、OAuth、AI 付款協定先不用管
或者交給我們，一起檢查官網、商家檔案和外部資料

這些都設好之後，AI 會不會提到你的店，還是看頁面內容、Google 商家檔案和其他網站上的資料（見〈GEO 是什麼？〉）。

常見問題

擋掉 GPTBot，ChatGPT 搜尋就找不到我的網站嗎？
不會。OpenAI 說 GPTBot 只負責蒐集可能用來訓練模型的內容，ChatGPT 搜尋用的是 OAI-SearchBot。擋 GPTBot 是表示不想被拿去訓練；要讓網站出現在 ChatGPT 搜尋答案裡，要放行的是 OAI-SearchBot。

robots.txt 擋 Google-Extended，會讓我從 Google AI 摘要消失嗎？
不會。Google 說 Google-Extended 管的是 Gemini 模型訓練和 Gemini 應用程式的參考資料，不影響網站出現在 Google 搜尋。要讓網站不出現在 AI 摘要和 AI 模式，要到 Search Console 的「Google 搜尋生成式 AI」控制項選排除；預設是納入。

Content Signals 是什麼？
Content Signals 是寫在 robots.txt 裡的一行聲明，表示網站內容准不准用在三件事：建搜尋索引（search）、AI 即時回答時引用（ai-input）、訓練 AI 模型（ai-train）。它是 Cloudflare 提出的草案，只是表達意願，不能強制爬蟲遵守。

Agent Readiness 檢查分數低，會影響 AI 推薦我的店嗎？
目前沒有證據。這個檢查看的是網站支援哪些給 AI 代理用的技術標準，例如 MCP、OAuth、付款協定，在地店家多半用不到。它不檢查內容寫得好不好，也不檢查結構化資料；AI 介紹店家，看的主要還是頁面內容、商家檔案和其他網站上的資料。

限制本文整理 2026 年 10 月查得到的官方文件。AI 爬蟲的名稱、用途和各家設定方式常常更新，請以文末連結為準。