AI 搜尋與爬蟲

把頁面放進 sitemap 就能保證 AI 搜尋找到嗎?

先看解答

不能保證。sitemap 是一份交給搜尋引擎的網址清單,能幫它更快找到你的網頁;但 Google 自己也說,交了 sitemap 不代表每個網址都會被抓取或收錄。而 AI 搜尋會不會用到某一頁,還要看每一家 AI 搜尋怎麼抓網頁、怎麼挑回答要引用的來源,這些都不是 sitemap 能決定的。

sitemap 能幫上什麼

你的網站剛上線一篇新文章,也已經把它加進 sitemap。這時候 sitemap 做的事,是告訴 Google 和其他搜尋引擎「這個網址存在、最近更新過」,讓它們比較快找到這一頁;至於什麼時候來抓、抓了之後收不收錄,還是由它們自己決定。

sitemap 也不會幫你處理頁面本身的問題。如果這篇文章被 robots.txt 擋住、設了 noindex、回傳錯誤的狀態碼,或內容跟站上另一頁幾乎一樣,列在 sitemap 裡也沒有用。所以除了 sitemap,你還要確認這一頁回 200、正文是文字而不是圖片,並且從相關的文章或分類頁有連結連進來。

怎麼確認它真的被找到了

看 sitemap 有沒有交出去,Search Console 的「Sitemap」報表就看得到;而要確認這一頁有沒有被收錄,要用「網址檢查」或「網頁索引」報表。至於 AI 回答有沒有引用它,就只能拿固定的問題實際去問 AI,看回答附上的來源裡有沒有這個網址。

sitemap 放哪些網址、lastmod 怎麼填,以及從 sitemap 一路查到 AI 回答的完整順序,在 sitemap 是什麼、怎麼產生與提交有說明;robots.txt、HTML 和連結要一起查的話,可以照 AI 爬蟲檢查表確認。

參考來源

  1. Google Search Central:Sitemap 簡介(另開分頁)
回到AI 搜尋與爬蟲