AI 搜尋與爬蟲
robots.txt 可以控制 AI 搜尋爬蟲嗎？
先看解答
可以控制部分 AI 搜尋的自動抓取，但必須分平台看。OpenAI 提供 OAI-SearchBot 與 GPTBot 的獨立 robots.txt 控制；Google 的 AI 搜尋功能則沿用 Googlebot 的 Search 抓取控制。使用者主動要求工具開啟網址時，又可能是另一種存取情境。
不要只看一條 Disallow
檢查時要先確認目標產品到底用哪個 crawler。OpenAI 的搜尋、模型訓練與使用者主動開啟網頁就不是同一個 user-agent；Google Search 的 AI 功能則仍以 Googlebot 為 Search 抓取控制。
網站還可能被 CDN、WAF、Bot Fight Mode 或 rate limit 擋在 robots.txt 之前，所以 robots.txt 允許並不等於實際一定能抓到頁面。