你負責一家會計師事務所的官網。網站上有公開的稅務文章,有一份花了半年整理、開放下載的產業研究報告放在 /research/,還有一區只給客戶登入使用的報稅範本,另外有一個放草稿的 /preview/ 資料夾。你希望客戶在 ChatGPT 問營業稅怎麼申報的時候,回答會引用你們的文章;但你不希望那份研究報告被拿去訓練 OpenAI 的模型。
結果負責網站的同事,把 GPTBot、OAI-SearchBot 和 ChatGPT-User 全部寫進同一條 Disallow: /。訓練確實是擋住了,可是過了幾週,你在 ChatGPT 問同一個營業稅的問題,回答引用的來源裡,已經再也看不到事務所的文章。來源會變的原因很多,但這次最直接的原因是:這三個名字只差幾個字,管的卻是三件不同的事,同事把它們當成同一個「OpenAI 爬蟲」一起擋掉了。
這篇只講 OpenAI 自己的爬蟲。Google、Anthropic、Perplexity、Apple 這些其他家的 AI 爬蟲,以及 robots.txt 規則怎麼分組、怎麼比對的細節,我整理在 robots.txt 管理 AI 爬蟲。
同一個網站,三個名字分開設定之後:搜尋用的爬蟲全開,訓練用的只擋研究報告,客戶專區則交給登入。
OAI-SearchBot 與 GPTBot:OpenAI 的三個爬蟲各管什麼
爬蟲是自動去網站抓網頁的程式。每支爬蟲送出請求時都會報上自己的名字,也就是 user-agent,而網站就是靠這個名字,決定要套用 robots.txt 裡的哪一組規則。OpenAI 的爬蟲說明頁列了四個名字,其中一般網站會遇到的是下面三個:
| user-agent | 用來做什麼 | 擋掉它會發生什麼 | 事務所的決定 |
|---|---|---|---|
OAI-SearchBot | 讓網站出現在 ChatGPT 的搜尋功能 | 不會出現在 ChatGPT 搜尋的回答裡,但仍可能以導覽連結出現(只給網址、不引用內文) | 全站開放,研究報告也可以讀 |
GPTBot | 抓取可能拿來訓練 OpenAI 基礎模型(ChatGPT 背後的那些模型)的內容 | 等於告訴 OpenAI 這些內容不要拿去訓練;ChatGPT 搜尋不受影響 | 只擋 /research/ |
ChatGPT-User | 使用者在 ChatGPT 或自訂 GPT 裡提問、需要開某個網頁時才去讀,不會自己到處爬 | OpenAI 說這類請求 robots.txt 規則可能不適用 | 不靠 robots.txt,客戶專區用登入擋 |
OpenAI 寫明這幾個設定彼此獨立,你可以讓 OAI-SearchBot 抓,同時擋掉 GPTBot。而 ChatGPT-User 也不會被拿來決定內容能不能出現在搜尋裡,所以想退出 ChatGPT 搜尋,要設的是 OAI-SearchBot,ChatGPT-User 跟這件事無關。回到事務所,同事的錯誤就是把 OAI-SearchBot 一起擋掉了;只要把它從那條規則裡拿出來,文章就有機會重新出現在 ChatGPT 搜尋的來源裡。
文件裡還有一句很容易被忽略:如果 OAI-SearchBot 和 GPTBot 你都允許,OpenAI 可能只抓一次,再把結果同時用在搜尋和訓練上,避免重複抓取。所以如果你不想讓研究報告被拿去訓練,就要明確對 GPTBot 擋掉 /research/,而不是以為只開放搜尋的爬蟲就不會被拿去訓練。
先決定事務所要控制哪幾件事
事務所的網站裡,同時有公開的稅務文章、可下載的研究報告,以及只給客戶看的報稅範本。所以動手改檔案之前,我會先把每一區要控制的事寫下來,再翻成 robots.txt 的路徑規則。如果看到一個 user-agent 就貼上 Disallow: /,等於把「不想被拿去訓練」和「不想出現在搜尋」兩個決定綁在一起,就會發生事務所遇到的事。
| 事務所想做到的事 | 要設定的名字 | 怎麼做 | 改完看什麼 |
|---|---|---|---|
| 稅務文章出現在 ChatGPT 搜尋 | OAI-SearchBot | 保留公開路徑的存取 | 伺服器紀錄有沒有它來抓,ChatGPT 回答引用的來源有沒有你 |
| 研究報告不拿去訓練 | GPTBot | 對 /research/ 寫 Disallow | robots.txt 的新版內容和伺服器紀錄 |
| 客戶專區不外流 | 跟爬蟲名字無關 | 登入或權限控制 | 沒登入時打開,會不會被擋下來 |
Google 在 robots.txt 的說明裡也提醒,這個檔案是用來管理爬蟲流量的,如果想讓頁面不出現在搜尋結果,要用 noindex 或密碼保護。這個原則放在 OpenAI 身上一樣成立:需要真正保護的文件,要用登入或權限擋住,robots.txt 的一行字保護不了它。
robots.txt 怎麼寫:搜尋全開,訓練只擋研究報告
開場提到的草稿資料夾 /preview/,不管哪一支爬蟲都不該抓。把上面的決定寫成 robots.txt,就會是下面這樣(Allow 是允許抓取,Disallow 是禁止抓取):
User-agent: OAI-SearchBot
Allow: /
Disallow: /preview/
User-agent: GPTBot
Disallow: /research/
Disallow: /preview/
User-agent: *
Disallow: /preview/
Sitemap: https://www.example.com/sitemap.xml
OAI-SearchBot 和 GPTBot 各有自己的一組規則,所以它們只會看自己那一組,不會再去讀 User-agent: *。這就是為什麼 /preview/ 要在兩組裡各寫一次:如果只寫在 * 那一組,OAI-SearchBot 和 GPTBot 都不會照做。替某個名字寫了專屬的規則之後,* 裡的限制就要在那一組再寫一次。規則怎麼比對、同一個網址符合好幾條規則時聽哪一條,我在 robots.txt 管理 AI 爬蟲那篇用另一個例子講得比較完整。
客戶專區沒有寫進這份檔案,因為 robots.txt 任何人都打得開,寫進去就等於把路徑告訴所有人,所以客戶專區應該改成要登入才能看。
檔案改好之後,先確認讀得到
robots.txt 要放在網站根目錄的 /robots.txt,而且每個網域都要有一份,http 和 https 也各算一份。先用這兩行指令,確認檔案和一篇文章都能正常回應:
curl -i https://www.example.com/robots.txt
curl -I https://www.example.com/tax/business-tax-guide
第一行會印出 robots.txt 的狀態碼和內容,第二行只看文章的狀態碼。不過下面三種情況,光看 robots.txt 的文字是看不出來的:
- CDN 回傳 403:CDN 是架在網站前面、幫忙快取和轉送網頁的服務;檔案寫的是允許,但 CDN 在前面就用 403(拒絕存取)把爬蟲擋掉了。
- 防火牆依 IP 拒絕:網站防火牆另外設了規則,把不認得的 IP 擋在外面。
- 正文要登入才看得到:爬蟲拿到的頁面只有登入框,沒有文章內容。
所以檔案寫對之後,還是要實際抓一次頁面來確認。
接著從伺服器或 CDN 的紀錄,核對 OpenAI 的爬蟲有沒有真的來過。user-agent 這個名字任何程式都能自己填,所以只看名字分不出真假。而 OpenAI 有把每個爬蟲的 IP 範圍公布成 JSON 檔:
- OAI-SearchBot:
openai.com/searchbot.json - GPTBot:
openai.com/gptbot.json - ChatGPT-User:
openai.com/chatgpt-user.json - OAI-AdsBot:
openai.com/adsbot.json
我會先拿請求的來源 IP 去比對這幾份清單,名字只當參考。至於能比對到多細,就要看你的伺服器、CDN 和防火牆支援到哪裡。
改完之後怎麼確認真的生效
我會分三步確認:規則有沒有寫對、OpenAI 的爬蟲抓不抓得到頁面,以及 ChatGPT 的回答有沒有跟著變。這三步要各自留下紀錄,才不會把伺服器回了一次 200(正常回應),就當成文章已經被引用。
1. 規則有沒有寫對
保存修改前後的 robots.txt 和修改日期,並在每一條規則上方用 # 寫一行註解,說明為什麼這樣設,例如 # 研究報告不給 GPTBot 訓練,2026-10 加。之後換人接手時,他看檔案就知道每一條是為了什麼。同一個路徑在好幾組都有規則時,要逐組對照著看,只看第一組很容易漏。
2. OpenAI 的爬蟲抓不抓得到
挑一篇公開的稅務文章和一頁研究報告,各自去看伺服器紀錄裡 OAI-SearchBot 與 GPTBot 的請求、拿到的狀態碼,以及來源 IP 有沒有在官方清單裡。稅務文章要確認正文有出現在回傳的內容裡;研究報告則要確認只有 GPTBot 被擋,OAI-SearchBot 照樣讀得到,沒有不小心把整個網站擋掉。
3. ChatGPT 的回答有沒有變
OpenAI 寫明,robots.txt 更新之後,ChatGPT 的搜尋系統大約需要 24 小時調整。所以我會等一天之後,再用同一組問題去問 ChatGPT,記下回答有沒有出現事務所的網站、引用了哪一個網址,以及是哪一天問的。
伺服器紀錄有抓取之後,還要看什麼
允許 OAI-SearchBot 之後,最容易犯的錯是推論跳得太快:伺服器紀錄有抓取,就以為文章會被引用。這兩件事中間還隔著 ChatGPT 怎麼建立索引、使用者問了什麼、你的文章有沒有回答到,以及回答最後挑了哪些來源。OpenAI 的文件只說明了每個爬蟲的用途和設定方式,至於每一題實際引用了誰,還是要你自己去問、自己去看。
比如說,你在伺服器紀錄看到營業稅那篇已經被 OAI-SearchBot 讀過了,下一步就是準備一組固定的問題去問 ChatGPT。這組問題不要寫成搜尋關鍵字,而是要寫成客戶在想這件事的時候,實際會怎麼問 AI。因為在 Google 搜尋時,大家習慣打「營業稅 申報」這種關鍵字;但問 AI 的時候,客戶通常會把自己的處境一起講出來,回答引用的來源也可能不一樣:
| 關鍵字寫法 | 客戶實際會問 AI 的方式 |
|---|---|
| 營業稅 申報 | 我剛開一間網拍工作室,一個月營業額大概 15 萬,營業稅要怎麼報?要準備哪些東西? |
| 台北 會計師事務所 | 我在台北開了兩年小公司,想把記帳和報稅一起外包,找會計師事務所要注意什麼? |
| 事務所名稱 | 這間事務所有幫小型電商報稅嗎?收費大概怎麼算? |
記下每一題回答有沒有提到事務所、有沒有引用你們的文章、引用的是哪一個網址。題目要分哪些類型、怎麼避免同一題換字重複,可以看 AI 搜尋題庫怎麼設計;要追特定文章有沒有被引用,則看 AI 引用追蹤。
這種「用同一組問題定期去問、記下回答和引用了哪些網址」的工作,就是我們的 Otlex 在做的事。它是 EthorX 開發的 AI 搜尋優化平台,會把 ChatGPT 和其他 AI 引擎的回答與引用來源保存下來,所以你改了 robots.txt 之後,前後的回答就能放在同一個地方對照。
這份設定管不到的事
最後要提醒,上面這份 robots.txt 只處理 OpenAI 的爬蟲,所以有三件事它管不到:
- Google 的 AI 摘要:Google 搜尋用的是 Google 自己的爬蟲,擋掉 GPTBot 不會影響它;Google 那邊怎麼設,寫在 robots.txt 管理 AI 爬蟲。
- 其他家的 AI:Anthropic、Perplexity、Apple 的爬蟲要另外寫;各家怎麼寫,可以看 robots.txt 能不能控制 AI 搜尋爬蟲。
- 使用者叫 ChatGPT 去讀的頁面:ChatGPT-User 這類請求,robots.txt 可能不適用,所以不想被讀到的內容,還是要靠登入。
回到事務所。照這份檔案改完、等了一天之後,你在伺服器紀錄裡看到 OAI-SearchBot 抓了營業稅那篇、拿到 200,GPTBot 來抓 /research/ 時則被規則擋下;接著用那三題去問 ChatGPT,把回答的來源一題一題記下來。一週後再問一次,網拍工作室那題的來源重新出現了營業稅那篇,另外兩題還沒有。剩下兩題要看的是文章有沒有回答到、其他網站寫得怎麼樣,至少已經不是事務所自己把文章擋在門外了。
常見問題
允許 OAI-SearchBot 就一定會被 ChatGPT 引用嗎?
不一定。允許它,只代表你沒有在 robots.txt 擋住 ChatGPT 搜尋的自動抓取;回答最後引用哪些來源,還要看使用者問了什麼、你的頁面有沒有回答到,以及 ChatGPT 怎麼挑來源。所以伺服器紀錄和回答裡的來源網址,我會分開記。
拒絕 GPTBot 會讓網站離開 ChatGPT 搜尋嗎?
不會。OpenAI 把 GPTBot 和 OAI-SearchBot 分開控制,所以只擋 GPTBot 的話,ChatGPT 搜尋還是抓得到你的頁面。會影響搜尋的是 OAI-SearchBot;像開場的事務所那樣把兩個一起擋掉,搜尋也會跟著不見。
只開放 OAI-SearchBot、沒寫 GPTBot,內容就不會被拿去訓練嗎?
不一定。如果你的 robots.txt 沒有擋 GPTBot,它就是被允許的;而 OpenAI 寫明兩個都允許時,可能只抓一次、同時用在搜尋和訓練。所以不想被拿去訓練的路徑,要明確寫在 GPTBot 那一組的 Disallow。
ChatGPT-User 可以用 robots.txt 完全阻止嗎?
沒辦法保證。OpenAI 說明 ChatGPT-User 是使用者要求才去讀網頁,不會自己到處爬,所以 robots.txt 規則可能不適用。要保護的資料,就用登入、授權或伺服器端的存取控制來擋。
改完 robots.txt 要多久才看得到變化?
OpenAI 寫的是 ChatGPT 搜尋大約要 24 小時才會套用新設定。所以我會等一天之後,再看伺服器紀錄和固定問題的回答,設定有沒有生效,要由這兩樣來確認。
投了 ChatGPT 廣告,要注意哪個爬蟲?
OpenAI 還有第四個名字 OAI-AdsBot。它只會去讀在 ChatGPT 送審的廣告到達頁,檢查內容是否符合政策,而 OpenAI 說它收集的資料不會拿來訓練模型。沒投廣告的網站不會遇到它;有投的話,封鎖 AI 爬蟲時別把它一起擋掉,細節在 ChatGPT 廣告要不要投。
只看 user-agent 就能確認是 OpenAI 官方請求嗎?
還要核對 IP。user-agent 這個名字任何程式都能自己填,所以它只是自稱。OpenAI 把每個爬蟲的 IP 範圍公布在官方的 JSON 檔裡,網站可以拿請求的來源 IP 去比對;做不做得到,要看你的伺服器、CDN 和防火牆支援到哪裡。
參考來源
以下依官方文件整理,OpenAI 的 user-agent 名稱、IP 範圍與調整時間以官方頁面當下為準。
