AI 搜尋與爬蟲
noindex 可以阻止頁面出現在 AI 搜尋引用裡嗎？
先看解答
noindex 可以告訴支援該訊號的搜尋系統不要將頁面編入索引，但不能據此保證所有 AI 產品都不會抓取或引用頁面。應把目標產品、crawler、robots、HTTP 標頭與頁面狀態分開核對。
先說清楚你要阻止哪一種使用
Google 的 noindex 文件描述的是搜尋索引控制，不是所有網路讀取的總開關。OpenAI 也把搜尋 crawler、訓練 crawler 和使用者主動要求開啟網址分開處理，這些情境不能混為一談。
如果目標是避免特定搜尋系統建立索引，應照該系統文件設定並用讀回檢查確認；如果目標是控制 AI crawler，還要另外查看 user-agent 和 robots 規則。任何一層都不能被寫成「已阻止所有 AI 引用」的保證。