OAI-SearchBot 與 GPTBot 怎麼分開設定?OpenAI robots.txt 實作指南

OAI-SearchBot 管 ChatGPT 搜尋,GPTBot 管模型訓練,ChatGPT-User 是使用者要求才來讀。這篇用一家事務所的官網,示範 robots.txt 怎麼分開設定。

先說結論

OAI-SearchBot 與 GPTBot 要分開設定:前者讓網站出現在 ChatGPT 搜尋,後者抓取可能拿來訓練模型的內容,所以你可以放行前者、只對後者擋掉部分路徑。ChatGPT-User 則是使用者要求才來讀,robots.txt 可能管不到,敏感資料要靠登入。允許抓取也只代表讀得到,會不會被引用還要看題目和內容。

會計師事務所的淺色橡木桌上,左邊攤開一疊薄薄的稅務小冊,中間是一本用螢光綠帶子綁住的厚研究報告,右邊是一個掛著鎖的灰色鐵製文件盒;背景是失焦的計算機、檯燈和資料夾架
OAI-SearchBot 與 GPTBot 怎麼分開設定?OpenAI robots.txt 實作指南 封面視覺

你負責一家會計師事務所的官網。網站上有公開的稅務文章,有一份花了半年整理、開放下載的產業研究報告放在 /research/,還有一區只給客戶登入使用的報稅範本,另外有一個放草稿的 /preview/ 資料夾。你希望客戶在 ChatGPT 問營業稅怎麼申報的時候,回答會引用你們的文章;但你不希望那份研究報告被拿去訓練 OpenAI 的模型。

結果負責網站的同事,把 GPTBot、OAI-SearchBot 和 ChatGPT-User 全部寫進同一條 Disallow: /。訓練確實是擋住了,可是過了幾週,你在 ChatGPT 問同一個營業稅的問題,回答引用的來源裡,已經再也看不到事務所的文章。來源會變的原因很多,但這次最直接的原因是:這三個名字只差幾個字,管的卻是三件不同的事,同事把它們當成同一個「OpenAI 爬蟲」一起擋掉了。

這篇只講 OpenAI 自己的爬蟲。Google、Anthropic、Perplexity、Apple 這些其他家的 AI 爬蟲,以及 robots.txt 規則怎麼分組、怎麼比對的細節,我整理在 robots.txt 管理 AI 爬蟲。

對照圖:會計師事務所網站的三個區域(稅務文章、研究報告、客戶專區)與 OpenAI 三個爬蟲。上方是同事原本的寫法,把 GPTBot、OAI-SearchBot、ChatGPT-User 寫進同一條 Disallow: /,訓練擋住了,但 ChatGPT 搜尋的來源裡也看不到事務所的文章。下方是分開設定之後:OAI-SearchBot 讀得到稅務文章和研究報告,稅務文章回到搜尋的來源裡;GPTBot 讀得到稅務文章,研究報告用 Disallow: /research/ 擋下;ChatGPT-User 在使用者要求時讀得到這兩區;三個爬蟲遇到客戶專區都被登入擋下,而 ChatGPT-User 那裡另外註明 robots.txt 可能管不到它 同一個網站,三個名字分開設定之後:搜尋用的爬蟲全開,訓練用的只擋研究報告,客戶專區則交給登入。

OAI-SearchBot 與 GPTBot:OpenAI 的三個爬蟲各管什麼

爬蟲是自動去網站抓網頁的程式。每支爬蟲送出請求時都會報上自己的名字,也就是 user-agent,而網站就是靠這個名字,決定要套用 robots.txt 裡的哪一組規則。OpenAI 的爬蟲說明頁列了四個名字,其中一般網站會遇到的是下面三個:

user-agent用來做什麼擋掉它會發生什麼事務所的決定
OAI-SearchBot讓網站出現在 ChatGPT 的搜尋功能不會出現在 ChatGPT 搜尋的回答裡,但仍可能以導覽連結出現(只給網址、不引用內文)全站開放,研究報告也可以讀
GPTBot抓取可能拿來訓練 OpenAI 基礎模型(ChatGPT 背後的那些模型)的內容等於告訴 OpenAI 這些內容不要拿去訓練;ChatGPT 搜尋不受影響只擋 /research/
ChatGPT-User使用者在 ChatGPT 或自訂 GPT 裡提問、需要開某個網頁時才去讀,不會自己到處爬OpenAI 說這類請求 robots.txt 規則可能不適用不靠 robots.txt,客戶專區用登入擋

OpenAI 寫明這幾個設定彼此獨立,你可以讓 OAI-SearchBot 抓,同時擋掉 GPTBot。而 ChatGPT-User 也不會被拿來決定內容能不能出現在搜尋裡,所以想退出 ChatGPT 搜尋,要設的是 OAI-SearchBot,ChatGPT-User 跟這件事無關。回到事務所,同事的錯誤就是把 OAI-SearchBot 一起擋掉了;只要把它從那條規則裡拿出來,文章就有機會重新出現在 ChatGPT 搜尋的來源裡。

文件裡還有一句很容易被忽略:如果 OAI-SearchBot 和 GPTBot 你都允許,OpenAI 可能只抓一次,再把結果同時用在搜尋和訓練上,避免重複抓取。所以如果你不想讓研究報告被拿去訓練,就要明確對 GPTBot 擋掉 /research/,而不是以為只開放搜尋的爬蟲就不會被拿去訓練。

先決定事務所要控制哪幾件事

事務所的網站裡,同時有公開的稅務文章、可下載的研究報告,以及只給客戶看的報稅範本。所以動手改檔案之前,我會先把每一區要控制的事寫下來,再翻成 robots.txt 的路徑規則。如果看到一個 user-agent 就貼上 Disallow: /,等於把「不想被拿去訓練」和「不想出現在搜尋」兩個決定綁在一起,就會發生事務所遇到的事。

事務所想做到的事要設定的名字怎麼做改完看什麼
稅務文章出現在 ChatGPT 搜尋OAI-SearchBot保留公開路徑的存取伺服器紀錄有沒有它來抓,ChatGPT 回答引用的來源有沒有你
研究報告不拿去訓練GPTBot對 /research/ 寫 Disallowrobots.txt 的新版內容和伺服器紀錄
客戶專區不外流跟爬蟲名字無關登入或權限控制沒登入時打開,會不會被擋下來

Google 在 robots.txt 的說明裡也提醒,這個檔案是用來管理爬蟲流量的,如果想讓頁面不出現在搜尋結果,要用 noindex 或密碼保護。這個原則放在 OpenAI 身上一樣成立:需要真正保護的文件,要用登入或權限擋住,robots.txt 的一行字保護不了它。

robots.txt 怎麼寫:搜尋全開,訓練只擋研究報告

開場提到的草稿資料夾 /preview/,不管哪一支爬蟲都不該抓。把上面的決定寫成 robots.txt,就會是下面這樣(Allow 是允許抓取,Disallow 是禁止抓取):

User-agent: OAI-SearchBot
Allow: /
Disallow: /preview/

User-agent: GPTBot
Disallow: /research/
Disallow: /preview/

User-agent: *
Disallow: /preview/

Sitemap: https://www.example.com/sitemap.xml

OAI-SearchBot 和 GPTBot 各有自己的一組規則,所以它們只會看自己那一組,不會再去讀 User-agent: *。這就是為什麼 /preview/ 要在兩組裡各寫一次:如果只寫在 * 那一組,OAI-SearchBot 和 GPTBot 都不會照做。替某個名字寫了專屬的規則之後,* 裡的限制就要在那一組再寫一次。規則怎麼比對、同一個網址符合好幾條規則時聽哪一條,我在 robots.txt 管理 AI 爬蟲那篇用另一個例子講得比較完整。

客戶專區沒有寫進這份檔案,因為 robots.txt 任何人都打得開,寫進去就等於把路徑告訴所有人,所以客戶專區應該改成要登入才能看。

檔案改好之後,先確認讀得到

robots.txt 要放在網站根目錄的 /robots.txt,而且每個網域都要有一份,http 和 https 也各算一份。先用這兩行指令,確認檔案和一篇文章都能正常回應:

curl -i https://www.example.com/robots.txt
curl -I https://www.example.com/tax/business-tax-guide

第一行會印出 robots.txt 的狀態碼和內容,第二行只看文章的狀態碼。不過下面三種情況,光看 robots.txt 的文字是看不出來的:

  • CDN 回傳 403:CDN 是架在網站前面、幫忙快取和轉送網頁的服務;檔案寫的是允許,但 CDN 在前面就用 403(拒絕存取)把爬蟲擋掉了。
  • 防火牆依 IP 拒絕:網站防火牆另外設了規則,把不認得的 IP 擋在外面。
  • 正文要登入才看得到:爬蟲拿到的頁面只有登入框,沒有文章內容。

所以檔案寫對之後,還是要實際抓一次頁面來確認。

接著從伺服器或 CDN 的紀錄,核對 OpenAI 的爬蟲有沒有真的來過。user-agent 這個名字任何程式都能自己填,所以只看名字分不出真假。而 OpenAI 有把每個爬蟲的 IP 範圍公布成 JSON 檔:

  • OAI-SearchBot:openai.com/searchbot.json
  • GPTBot:openai.com/gptbot.json
  • ChatGPT-User:openai.com/chatgpt-user.json
  • OAI-AdsBot:openai.com/adsbot.json

我會先拿請求的來源 IP 去比對這幾份清單,名字只當參考。至於能比對到多細,就要看你的伺服器、CDN 和防火牆支援到哪裡。

改完之後怎麼確認真的生效

我會分三步確認:規則有沒有寫對、OpenAI 的爬蟲抓不抓得到頁面,以及 ChatGPT 的回答有沒有跟著變。這三步要各自留下紀錄,才不會把伺服器回了一次 200(正常回應),就當成文章已經被引用。

1. 規則有沒有寫對

保存修改前後的 robots.txt 和修改日期,並在每一條規則上方用 # 寫一行註解,說明為什麼這樣設,例如 # 研究報告不給 GPTBot 訓練,2026-10 加。之後換人接手時,他看檔案就知道每一條是為了什麼。同一個路徑在好幾組都有規則時,要逐組對照著看,只看第一組很容易漏。

2. OpenAI 的爬蟲抓不抓得到

挑一篇公開的稅務文章和一頁研究報告,各自去看伺服器紀錄裡 OAI-SearchBot 與 GPTBot 的請求、拿到的狀態碼,以及來源 IP 有沒有在官方清單裡。稅務文章要確認正文有出現在回傳的內容裡;研究報告則要確認只有 GPTBot 被擋,OAI-SearchBot 照樣讀得到,沒有不小心把整個網站擋掉。

3. ChatGPT 的回答有沒有變

OpenAI 寫明,robots.txt 更新之後,ChatGPT 的搜尋系統大約需要 24 小時調整。所以我會等一天之後,再用同一組問題去問 ChatGPT,記下回答有沒有出現事務所的網站、引用了哪一個網址,以及是哪一天問的。

伺服器紀錄有抓取之後,還要看什麼

允許 OAI-SearchBot 之後,最容易犯的錯是推論跳得太快:伺服器紀錄有抓取,就以為文章會被引用。這兩件事中間還隔著 ChatGPT 怎麼建立索引、使用者問了什麼、你的文章有沒有回答到,以及回答最後挑了哪些來源。OpenAI 的文件只說明了每個爬蟲的用途和設定方式,至於每一題實際引用了誰,還是要你自己去問、自己去看。

比如說,你在伺服器紀錄看到營業稅那篇已經被 OAI-SearchBot 讀過了,下一步就是準備一組固定的問題去問 ChatGPT。這組問題不要寫成搜尋關鍵字,而是要寫成客戶在想這件事的時候,實際會怎麼問 AI。因為在 Google 搜尋時,大家習慣打「營業稅 申報」這種關鍵字;但問 AI 的時候,客戶通常會把自己的處境一起講出來,回答引用的來源也可能不一樣:

關鍵字寫法客戶實際會問 AI 的方式
營業稅 申報我剛開一間網拍工作室,一個月營業額大概 15 萬,營業稅要怎麼報?要準備哪些東西?
台北 會計師事務所我在台北開了兩年小公司,想把記帳和報稅一起外包,找會計師事務所要注意什麼?
事務所名稱這間事務所有幫小型電商報稅嗎?收費大概怎麼算?

記下每一題回答有沒有提到事務所、有沒有引用你們的文章、引用的是哪一個網址。題目要分哪些類型、怎麼避免同一題換字重複,可以看 AI 搜尋題庫怎麼設計;要追特定文章有沒有被引用,則看 AI 引用追蹤。

這種「用同一組問題定期去問、記下回答和引用了哪些網址」的工作,就是我們的 Otlex 在做的事。它是 EthorX 開發的 AI 搜尋優化平台,會把 ChatGPT 和其他 AI 引擎的回答與引用來源保存下來,所以你改了 robots.txt 之後,前後的回答就能放在同一個地方對照。

這份設定管不到的事

最後要提醒,上面這份 robots.txt 只處理 OpenAI 的爬蟲,所以有三件事它管不到:

  • Google 的 AI 摘要:Google 搜尋用的是 Google 自己的爬蟲,擋掉 GPTBot 不會影響它;Google 那邊怎麼設,寫在 robots.txt 管理 AI 爬蟲。
  • 其他家的 AI:Anthropic、Perplexity、Apple 的爬蟲要另外寫;各家怎麼寫,可以看 robots.txt 能不能控制 AI 搜尋爬蟲。
  • 使用者叫 ChatGPT 去讀的頁面:ChatGPT-User 這類請求,robots.txt 可能不適用,所以不想被讀到的內容,還是要靠登入。

回到事務所。照這份檔案改完、等了一天之後,你在伺服器紀錄裡看到 OAI-SearchBot 抓了營業稅那篇、拿到 200,GPTBot 來抓 /research/ 時則被規則擋下;接著用那三題去問 ChatGPT,把回答的來源一題一題記下來。一週後再問一次,網拍工作室那題的來源重新出現了營業稅那篇,另外兩題還沒有。剩下兩題要看的是文章有沒有回答到、其他網站寫得怎麼樣,至少已經不是事務所自己把文章擋在門外了。

常見問題

允許 OAI-SearchBot 就一定會被 ChatGPT 引用嗎?

不一定。允許它,只代表你沒有在 robots.txt 擋住 ChatGPT 搜尋的自動抓取;回答最後引用哪些來源,還要看使用者問了什麼、你的頁面有沒有回答到,以及 ChatGPT 怎麼挑來源。所以伺服器紀錄和回答裡的來源網址,我會分開記。

拒絕 GPTBot 會讓網站離開 ChatGPT 搜尋嗎?

不會。OpenAI 把 GPTBot 和 OAI-SearchBot 分開控制,所以只擋 GPTBot 的話,ChatGPT 搜尋還是抓得到你的頁面。會影響搜尋的是 OAI-SearchBot;像開場的事務所那樣把兩個一起擋掉,搜尋也會跟著不見。

只開放 OAI-SearchBot、沒寫 GPTBot,內容就不會被拿去訓練嗎?

不一定。如果你的 robots.txt 沒有擋 GPTBot,它就是被允許的;而 OpenAI 寫明兩個都允許時,可能只抓一次、同時用在搜尋和訓練。所以不想被拿去訓練的路徑,要明確寫在 GPTBot 那一組的 Disallow。

ChatGPT-User 可以用 robots.txt 完全阻止嗎?

沒辦法保證。OpenAI 說明 ChatGPT-User 是使用者要求才去讀網頁,不會自己到處爬,所以 robots.txt 規則可能不適用。要保護的資料,就用登入、授權或伺服器端的存取控制來擋。

改完 robots.txt 要多久才看得到變化?

OpenAI 寫的是 ChatGPT 搜尋大約要 24 小時才會套用新設定。所以我會等一天之後,再看伺服器紀錄和固定問題的回答,設定有沒有生效,要由這兩樣來確認。

投了 ChatGPT 廣告,要注意哪個爬蟲?

OpenAI 還有第四個名字 OAI-AdsBot。它只會去讀在 ChatGPT 送審的廣告到達頁,檢查內容是否符合政策,而 OpenAI 說它收集的資料不會拿來訓練模型。沒投廣告的網站不會遇到它;有投的話,封鎖 AI 爬蟲時別把它一起擋掉,細節在 ChatGPT 廣告要不要投。

只看 user-agent 就能確認是 OpenAI 官方請求嗎?

還要核對 IP。user-agent 這個名字任何程式都能自己填,所以它只是自稱。OpenAI 把每個爬蟲的 IP 範圍公布在官方的 JSON 檔裡,網站可以拿請求的來源 IP 去比對;做不做得到,要看你的伺服器、CDN 和防火牆支援到哪裡。

參考來源

以下依官方文件整理,OpenAI 的 user-agent 名稱、IP 範圍與調整時間以官方頁面當下為準。

從這篇繼續看相關內容

依文章主題整理同站文章、服務/產品與 FAQ 入口,讓下一步有清楚的閱讀方向。

延伸閱讀

下一步

工具入口

查看 GEO 工具評估方法

比較 AI 搜尋觀測、引用追蹤與內容缺口分析各自要看什麼。

查看相關頁面

常見問題

noindex 能阻止 AI 搜尋引用頁面嗎?

noindex 是索引訊號,不是所有 AI 存取情境的通用開關,先看一題直接回答。

查看 FAQ 解答

GEO 與 AI 搜尋

從你的網站,找出下一步該改什麼

一起釐清 AI 搜尋中的品牌描述、內容缺口與網站結構,再決定觀測和改善的範圍。