你負責一家賣實木家具的公司官網,廠商上個月才把網站改版完成。今天早上你在 Google 搜自家的「胡桃木餐桌」,第一筆還是你們的網頁。可是標題底下那幾行說明文字不見了,Google 只告訴你它沒有這個網頁的資訊。
你打電話問廠商,對方說可能是 robots.txt 的關係。你照著他講的,在網域後面打上 /robots.txt,畫面上只有兩行字。
User-agent: *
Disallow: /
這兩行的意思是搜尋引擎派來抓網頁的程式,也就是爬蟲,全部都不要抓這個網站的任何一頁。有些網站在開發階段會這樣設定,免得做到一半的測試站被 Google 抓走,而這個設定很可能在上線時跟著搬了過來。
這時老闆又丟來兩個問題。他想知道訂單查詢頁能不能不要出現在 Google,也想知道經銷商報價頁能不能藏起來。
這家公司是我為這篇寫的示範,頁面名稱你要換成自己的。
先講結論,Disallow: / 一定要拿掉,但不能公開的頁面要先保護好,因為這兩行從來沒有保護過它們。完整順序我放在文章後段。
robots.txt 是什麼?
robots.txt 是放在網站根目錄的純文字檔,用來告訴爬蟲哪些網址不要來抓。Google 的爬蟲叫做 Googlebot。根目錄是網站的最上層,所以每個網站的這個檔案都在同一個位置,例如我們的是 www.ethorx.com/robots.txt。
Googlebot 在抓一個網站之前,會先下載並讀取這個檔案。你可以把它想成一張告示。
robots.txt 就像貼在大樓門口的訪客須知。上面寫著哪條走廊不要進去,訪客走到門口會先看一眼,守規矩的人就會照做。但是須知本身不會鎖門,想闖進去的人還是走得進去。
- 位置固定:須知要貼在大門口,檔案也一定要放在根目錄。如果你放在
/pages/robots.txt,爬蟲根本不會去看。 - 靠對方守規矩:Googlebot 會照做,但 Google 也寫明這個檔案沒辦法強制每一支爬蟲遵守。
- 誰都看得到:路過的人都讀得到須知。所以你寫進去的路徑,等於公開告訴別人有這條走廊。
- 一棟大樓一張:
www.example.com的規則管不到shop.example.com,也管不到http://開頭的版本。
不過這個比喻有一個地方不成立。訪客每次到門口都會重看一次須知,Google 則會把內容抄回去用,通常最多保留 24 小時。所以你今天改完檔案,Google 可能隔一段時間才會照新的規則走。
robots.txt 能擋住什麼、擋不住什麼?
robots.txt 能擋住守規矩的爬蟲來抓內容,但擋不住網址被收錄,也擋不住人打開頁面。robots.txt 管的是爬蟲可以進哪裡抓,網址還是可能出現在搜尋結果。
Google 處理一個網頁,會先把頁面抓回去,這一步叫做檢索。接著它才決定要不要收進資料庫,這一步叫做建立索引,也就是大家講的收錄。整個過程在 SEO 是什麼有完整說明,而 robots.txt 只作用在第一步。
所以開場那個現象解釋得通了。Google 不能進來抓你的「胡桃木餐桌」頁,但它早就知道這個網址。這個網址可能來自舊的收錄紀錄,也可能來自別的網站連結。它抓不到內容就寫不出說明文字,卻仍然可以替這個網址建立索引。於是你看到網頁還在,說明文字卻不見了。
老闆的兩個問題也要拆開來看,因為想達成的事不一樣,該用的工具就不一樣。
| 你想做到的事 | 該用什麼 | 家具公司的例子 | 如果只靠 robots.txt |
|---|---|---|---|
| 不要讓爬蟲花時間抓沒用的網址 | robots.txt | 站內搜尋結果頁 | 這就是它的工作 |
| 頁面可以打開,但不要出現在 Google | noindex | 訂單查詢的表單頁、表單送出後的感謝頁 | 別的網站連過來時,網址還是可能出現 |
| 外人根本不能看 | 登入或驗證 | 經銷商報價頁、顯示訂單內容的結果頁 | 知道網址的人照樣打得開,檔案還公開了路徑 |
| 已經出現在 Google,要趕快拿掉 | Search Console 的移除工具 | 已經被收錄的報價頁 | 網址可能留在結果裡,Google 也讀不到 noindex |
noindex 是放在頁面上的「這頁不要收錄」標記,下一節會細講。Search Console 是 Google 給網站管理者的免費後台,驗證網站之後就能用,後面的檢查都會用到它。移除工具在它左側選單的「移除」,效力大約 6 個月,之後還是要刪頁、設密碼或加 noindex。
所以老闆的第二題答案很明確。經銷商報價頁要設登入,不能靠 robots.txt。制定這個標準的 RFC 9309 就直接寫了,這些規則不是用來管誰能存取頁面的。
第一題則要看實際頁面。如果那一頁只有輸入訂單編號的表單,加 noindex 就夠了。如果查完會顯示姓名和地址,而且網址本身就打得開,我會比照報價頁要求驗證,例如訂單編號之外再輸入電話。因為 noindex 只禁止頁面出現在 Google,使用者還是打得開。
robots.txt 和 noindex 差在哪?
robots.txt 是告訴爬蟲不要來抓,noindex 則是告訴 Google 抓到了也不要收錄。所以 noindex 要讓爬蟲進得去才有用。
noindex 通常寫在頁面原始碼的 <head> 裡,長這樣。
<meta name="robots" content="noindex">
如果要處理的是 PDF 這類沒有 <head> 的檔案,可以請廠商改用 X-Robots-Tag: noindex 這個伺服器設定,你把這串字直接轉給他就好。回到大樓的比喻,兩者的關係是這樣。
noindex 就像掛在房間裡的牌子,上面寫著「這間不要寫進導覽手冊」。訪客要走進房間才看得到這塊牌子。如果門口的須知叫他別走那條走廊,他就永遠看不到牌子。
訪客須知管的是能不能進去,房間裡的牌子管的是要不要寫進手冊。第三格就是兩個一起用的結果。
| robots.txt | noindex | |
|---|---|---|
| 寫在哪裡 | 根目錄的一個檔案,一次管很多網址 | 每一頁的原始碼或伺服器設定,一頁一頁設 |
| 告訴爬蟲什麼 | 不要來抓這些網址 | 這一頁不要收錄 |
| 爬蟲要不要進到頁面 | 不用,看檔案就知道 | 要,進來才讀得到 |
| 網址還會不會出現在 Google | 可能,別的頁面連過來時有機會 | 爬蟲讀到之後就不會 |
| 適合的情況 | 大量沒用的網址,想省下爬蟲的時間 | 單一頁面可以看,但不想被搜尋到 |
所以這兩個不要用在同一頁。Google 寫得很明白,網頁被封鎖時,爬蟲就發現不了 noindex,這一頁仍然可能留在搜尋結果。
你的訂單查詢表單頁現在就是這樣。只要 Disallow: / 還在,你今天替它加上 noindex 也不會有作用,要等封鎖拿掉,Google 進得去才讀得到。想讓頁面不出現在 Google,就要讓 Google 進得去,它才讀得到 noindex。之後也不要把這一頁寫進 robots.txt。
哪些網址值得擋,哪些不能擋?
值得擋的是數量會一直長、又不需要被搜到的網址。不能擋的是 Google 理解頁面時要用到的東西,以及你希望被搜到或要它讀到 noindex 的頁面。如果你的官網只有幾十頁,也沒有站內搜尋和篩選功能,我覺得幾乎不需要擋任何東西。
| 網址類型 | 要不要擋 | 原因 |
|---|---|---|
| 站內搜尋結果 | 通常可以擋 | Google 建議可以考慮封鎖,網址可以一直增加 |
| 篩選和排序的組合 | 不需要被搜到才擋 | 如果「胡桃木餐桌」的頁面網址就是 /tables?color=walnut,這個網址就不能擋 |
| 購物車、結帳流程 | 可以擋 | 通常不需要從 Google 進來,網址不多的話不擋也沒關係 |
| 影響畫面的 CSS、JavaScript | 不要擋 | 例如商品照要靠 JavaScript 載入,擋了 Google 可能看不懂頁面 |
| 加了 noindex 的頁面 | 不要擋 | 擋了就讀不到 noindex |
| 想讓人搜到的商品頁、文章 | 不要擋 | 擋了 Google 就抓不到內容,也寫不出說明文字 |
| 要保密的頁面 | 擋了也沒用 | 要用登入,寫進 robots.txt 反而公開了路徑 |
常聽到的檢索預算,就是 Google 分配給一個網站的抓取資源,這通常也不用太擔心。Google 這份指南是寫給百萬頁、上萬頁又天天更新,或有大量網址卡在「已找到 - 目前尚未建立索引」的網站。
robots.txt 怎麼寫?
用 User-agent 寫這組規則給誰,用 Disallow 和 Allow 寫哪裡不要抓、哪裡可以抓,再用 Sitemap 告訴爬蟲網站地圖在哪裡。一般官網通常幾行就夠。
| 寫法 | 意思 |
|---|---|
User-agent: * | 下面這組規則給所有爬蟲 |
User-agent: Googlebot | 下面這組規則只給 Googlebot |
Disallow: /search | 不要抓網址開頭是 /search 的頁面 |
Allow: /search/help | 在被擋的範圍裡開一個例外 |
Sitemap: https://www.example.com/sitemap.xml | 網站地圖的位置,要寫完整網址 |
# 這行是註解 | 給人看的備註,爬蟲會略過 |
你的家具網站最小的改法只有這樣,網域要換成自己的。不過這幾行要等報價頁和結果頁處理好才上線,順序在文章後段。
User-agent: *
Allow: /
Sitemap: https://www.example.com/sitemap.xml
至於其他規則,要等你確認網站真的有這些網址,也確認不會擋到想被搜到的頁,才一條一條加。舉例來說,如果站內搜尋的網址是 /search,購物車是 /cart,排序的網址長得像 /tables?sort=price,而且這些都不需要被搜到,檔案可以長這樣。
User-agent: *
Allow: /
Disallow: /search
Disallow: /cart
Disallow: /*?*sort=
Sitemap: https://www.example.com/sitemap.xml
網址裡 ? 後面放的是篩選或排序條件,而 /*?*sort= 就是擋住條件裡有 sort= 的網址。訂單查詢頁和經銷商報價頁都沒有寫進來,因為前面已經決定它們要用 noindex 和登入處理。
動手寫的時候,要留意路徑比對和存檔方式:
- 路徑分大小寫:
Disallow: /Cart擋不到/cart。 - 規則比對的是開頭:
Disallow: /table會連/tables、/table-legs一起擋住。如果只想擋一個資料夾,要寫成/table/。 - 衝突時看誰比較明確:
Disallow: /search和Allow: /search/help都符合/search/help這個網址,Google 會照字比較長的Allow。如果一樣長,就用限制最少的那一條。 - 星號和錢字號有特殊意思:
*代表任意字元,$代表網址結尾。所以Disallow: /*.pdf$會擋住所有結尾是.pdf的網址。 - 要用純文字編輯器存檔:編碼用 UTF-8。Word 這類軟體可能加上彎引號,讓爬蟲讀不懂。
如果你的網站架在 Wix 或 Blogger 這類平台,可能不需要、也沒辦法直接改這個檔案。這時可以到平台後台找搜尋相關的設定,或搜尋「Wix 對搜尋引擎隱藏網頁」這類平台說明。
ethorx.com 的 robots.txt 長什麼樣子
我們自己的檔案只有這幾行,你可以打開來對照。
User-agent: *
Allow: /
Disallow: /api/
Sitemap: https://www.ethorx.com/sitemap.xml
Allow: / 拿掉效果也一樣,因為 Google 預設就是全部可以抓。/api/ 底下是接收聯絡表單資料的路徑,不是給人看的頁面。
你可能會問,我們的設計規範展示頁 /design-system 也不想出現在搜尋結果,為什麼沒有寫進去?因為那一頁用的是 noindex,爬蟲要抓得到頁面才讀得到這個標記,所以不能再用 robots.txt 擋。
如果你想替 AI 爬蟲分開寫規則,可以看 robots.txt 怎麼管理 AI 爬蟲的對照表。
設錯會發生什麼事?改完要怎麼檢查?
最嚴重的是重要頁面被擋住,說明文字消失,頁面出現在搜尋結果的次數也可能跟著下降。改完之後,依序看檔案本身、robots.txt 報表和網址檢查。
| 設錯的地方 | 會發生什麼事 | 怎麼修 |
|---|---|---|
改版後留下 Disallow: / | 全站都不能抓,你改的內容 Google 都看不到 | 拿掉這行,網站遷移指南也特別提醒這點 |
Disallow: /table 少寫斜線 | 連 /tables 一起擋住,分類頁就抓不到了 | 改成明確的路徑,再抽查幾頁 |
| 擋住影響畫面的 CSS 或 JavaScript | Google 沒辦法正確分析仰賴這些檔案的頁面 | 拿掉那條規則 |
| 想靠 robots.txt 讓舊頁消失 | 網址還在,Google 又讀不到 noindex | 拿掉封鎖,改用 noindex 或刪頁 |
| 伺服器出錯,讀檔案時回 5xx 錯誤 | Google 前 12 小時停止檢索網站,接下來 30 天用上一個可用版本,之後視網站狀況當作沒有限制或停止檢索 | 請廠商先修伺服器 |
順帶一提,如果檔案根本不存在、回的是 404(找不到這個檔案),Google 會當作沒有任何限制。這種情況就不算設錯。
你看到的檔案和 Google 抓到的不一定一樣,所以我會這樣查:
- 直接打開檔案:用無痕視窗開
你的網域/robots.txt,確認看到的是新版本。 - 看 robots.txt 報表:這份報表會列出 Google 抓到的檔案、上次檢查時間和有問題的行數,也能要求重新檢索。如果你的 Search Console 是用整個網域或網站首頁網址驗證的,就看得到它。
- 用網址檢查抽幾頁:網址檢查是 Search Console 查單一網址狀態的工具。挑首頁、一個分類頁、一個商品頁,看它們能不能檢索,以及上次檢索時間是哪一天。
這些報表的位置,在 Search Console 教學都有說明。如果想從 AI 爬蟲的角度再查一次,可以照 AI 爬蟲檢查表走一遍。
回到家具公司:今天改什麼,之後看什麼?
今天先保護報價頁和含客戶資料的結果頁,接著確認開發階段加的 noindex 沒有帶到正式站,最後才把 Disallow: / 改成 Allow: /。
這兩頁現在就已經對外開放,知道網址的人都打得開,Disallow: / 從來沒有保護過它們。所以不管你什麼時候解封,登入和驗證都要先做。
- 先保護不能公開的頁面:經銷商報價頁改成登入才看得到,會顯示客戶資料的結果頁要驗證。如果來不及,就先把頁面下架,或請廠商加臨時密碼。
- 處理訂單查詢表單頁:加 noindex,也不要寫進 robots.txt。
- 確認開發階段加的 noindex 沒有帶到正式站:開發階段除了擋爬蟲,也可能在頁面加 noindex,Google 的遷移指南也提醒要移除。解封之後 Google 就讀得到它,重要頁面可能整筆消失。所以請廠商先看過原始碼和伺服器設定。網址檢查的「是否允許編入索引?」在封鎖期間一律顯示「是」,這時不能當證據。
- 只解封正式站:把正式站的
Disallow: /改成Allow: /,補上 Sitemap 那一行,網站地圖裡不要列前面那些頁面。測試站要繼續保留登入或封鎖,如果兩邊共用設定,請廠商分開。 - 請 Google 回來:用無痕視窗確認新檔案,到 robots.txt 報表要求重新檢索,並提交網站地圖。最重要的幾頁可以用網址檢查送出要求建立索引。
如果這次改版也換了網址,舊網址還要設轉址,可以看 301 轉址那篇。
新檔案上線當天,先到網頁索引報表記下兩個狀態的頁數,這份報表列出哪些網址有收錄、哪些沒有。接著 Google 檢索可能要幾天到幾週,我建議你每週抽五頁重要的頁面做網址檢查,看上次檢索時間有沒有晚於新檔案上線那一天。
- 兩個狀態的頁數:「網址遭到 robots.txt 封鎖」和「已建立索引,但遭到 robots.txt 封鎖」都應該往下掉,最後只剩你刻意擋的網址。後者就是開場那種還在結果裡、沒有說明文字的頁面。
- 成效報表的曝光和點擊:曝光是頁面出現在搜尋結果的次數。拿改版上線前四週,和解封後的同樣天數來比,老闆問起掉了多少,你才答得出來。
- 「胡桃木餐桌」的搜尋結果:標題底下的說明文字應該會回來。如果整筆消失,先回頭查 noindex。
等抽查的五頁都更新過,兩個狀態也只剩刻意擋的網址,你就可以跟老闆說封鎖的問題解決了。如果過了幾週,這五頁的上次檢索時間還停在新檔案上線之前,可以從餐桌分類頁補連結到這些頁,因為爬蟲主要是跟著連結找頁面。
常見問題
頁面已經沒有 noindex,為什麼 Google 還說沒收錄?
因為 Google 要回來重新抓這一頁,才會知道 noindex 已經不在了。
我們的 Claude Skills 怎麼用就是這樣,2026 年 11 月 6 日正式頁面沒有 noindex,網址檢查卻還顯示被 noindex 排除,上次檢索是 9 月 19 日。碰到這種情況,先按「測試線上網址」確認 Google 現在讀到的版本,再送出要求建立索引。重複送出不會變快。
網站一定要有 robots.txt 嗎?
不一定。沒有這個檔案的話,Google 會當作整個網站都可以抓,只要網址正確回 404 就好。如果你想告訴爬蟲 sitemap 在哪裡,放一個有 User-agent、Allow 和 Sitemap 的小檔案就夠了。
robots.txt 和 sitemap 差在哪?
robots.txt 是告訴爬蟲哪裡不要抓,sitemap 則是一份列出重要網址的清單。robots.txt 裡的 Sitemap 那一行,只是告訴爬蟲這份清單放在哪裡。sitemap 本身是什麼、各平台怎麼產生與提交,可以看 sitemap 是什麼。
robots.txt 要用什麼工具測試?
一般網站主用 Search Console 的 robots.txt 報表就夠了,它會指出 Google 讀不懂的行。想知道某一頁有沒有被擋,就用網址檢查查那一頁。如果你是開發人員,Google 也有開放原始碼的程式庫可以在自己的電腦上測試。
把後台路徑寫進 robots.txt 安全嗎?
這樣做沒有保護的效果,反而可能幫倒忙。這個檔案任何人都打得開,所以 Disallow: /admin-2026/ 等於公開告訴別人後台的位置。後台要靠登入和權限來擋。
Crawl-delay 要不要設?
如果你設定的對象是 Google,就不用設,因為 Google 不支援這個欄位,寫了也會被略過。Google 也不支援把 noindex 寫在 robots.txt 裡。這兩行常在舊範本看到,但對 Google 都沒有作用。
參考來源
- Google Search Central,robots.txt 簡介
- Google Crawling Infrastructure,如何編寫及提交 robots.txt 檔案
- Google Crawling Infrastructure,Google 如何解讀 robots.txt 規格
- Google Search Central,使用 noindex 禁止 Google 搜尋建立索引
- Google Search Central,要求 Google 重新檢索網址
- Google Search Central,從 Google 搜尋結果中移除您網站上代管的網頁
- Google Search Central,網址結構最佳做法
- Google Search Central,管理多面向導覽網址的檢索
- Google Search Central,最佳化檢索預算
- Google Search Central,變更網址時遷移網站
- Search Console 說明,robots.txt 報表、網頁索引報表、網址檢查工具、搜尋結果中未顯示網頁資訊
- Google,robots.txt 開放原始碼程式庫
- IETF,RFC 9309:Robots Exclusion Protocol
- ethorx.com,robots.txt
