robots.txt 是什麼?它管什麼、和 noindex 差在哪,設錯會發生什麼事

改版後 Google 結果的說明文字不見了,打開 robots.txt 才發現整站都被擋住。這篇用一家示範的家具公司官網,講它管什麼、和 noindex 差在哪、怎麼改才不會擋錯。

先說結論

robots.txt 是放在網站根目錄的純文字檔,告訴爬蟲哪些網址不要來抓。它擋不住網址被收錄,所以想讓頁面不出現在 Google,要用 noindex(告訴 Google 這頁不要收錄的標記),要保密則要登入。noindex 不能和 robots.txt 用在同一頁,否則 Google 讀不到這個標記。如果改版後留下全站封鎖,要先保護好不能公開的頁面,再拿掉封鎖。

展示間模型裡,螢光綠細繩攔住一條走廊,門口立著空白告示牌,房間門把掛著空白小牌,中央是一張胡桃木餐桌模型
robots.txt 是什麼?它管什麼、和 noindex 差在哪,設錯會發生什麼事 封面視覺

你負責一家賣實木家具的公司官網,廠商上個月才把網站改版完成。今天早上你在 Google 搜自家的「胡桃木餐桌」,第一筆還是你們的網頁。可是標題底下那幾行說明文字不見了,Google 只告訴你它沒有這個網頁的資訊。

你打電話問廠商,對方說可能是 robots.txt 的關係。你照著他講的,在網域後面打上 /robots.txt,畫面上只有兩行字。

User-agent: *
Disallow: /

這兩行的意思是搜尋引擎派來抓網頁的程式,也就是爬蟲,全部都不要抓這個網站的任何一頁。有些網站在開發階段會這樣設定,免得做到一半的測試站被 Google 抓走,而這個設定很可能在上線時跟著搬了過來。

這時老闆又丟來兩個問題。他想知道訂單查詢頁能不能不要出現在 Google,也想知道經銷商報價頁能不能藏起來。

這家公司是我為這篇寫的示範,頁面名稱你要換成自己的。

先講結論,Disallow: / 一定要拿掉,但不能公開的頁面要先保護好,因為這兩行從來沒有保護過它們。完整順序我放在文章後段。

robots.txt 是什麼?

robots.txt 是放在網站根目錄的純文字檔,用來告訴爬蟲哪些網址不要來抓。Google 的爬蟲叫做 Googlebot。根目錄是網站的最上層,所以每個網站的這個檔案都在同一個位置,例如我們的是 www.ethorx.com/robots.txt。

Googlebot 在抓一個網站之前,會先下載並讀取這個檔案。你可以把它想成一張告示。

robots.txt 就像貼在大樓門口的訪客須知。上面寫著哪條走廊不要進去,訪客走到門口會先看一眼,守規矩的人就會照做。但是須知本身不會鎖門,想闖進去的人還是走得進去。

  • 位置固定:須知要貼在大門口,檔案也一定要放在根目錄。如果你放在 /pages/robots.txt,爬蟲根本不會去看。
  • 靠對方守規矩:Googlebot 會照做,但 Google 也寫明這個檔案沒辦法強制每一支爬蟲遵守。
  • 誰都看得到:路過的人都讀得到須知。所以你寫進去的路徑,等於公開告訴別人有這條走廊。
  • 一棟大樓一張:www.example.com 的規則管不到 shop.example.com,也管不到 http:// 開頭的版本。

不過這個比喻有一個地方不成立。訪客每次到門口都會重看一次須知,Google 則會把內容抄回去用,通常最多保留 24 小時。所以你今天改完檔案,Google 可能隔一段時間才會照新的規則走。

robots.txt 能擋住什麼、擋不住什麼?

robots.txt 能擋住守規矩的爬蟲來抓內容,但擋不住網址被收錄,也擋不住人打開頁面。robots.txt 管的是爬蟲可以進哪裡抓,網址還是可能出現在搜尋結果。

Google 處理一個網頁,會先把頁面抓回去,這一步叫做檢索。接著它才決定要不要收進資料庫,這一步叫做建立索引,也就是大家講的收錄。整個過程在 SEO 是什麼有完整說明,而 robots.txt 只作用在第一步。

所以開場那個現象解釋得通了。Google 不能進來抓你的「胡桃木餐桌」頁,但它早就知道這個網址。這個網址可能來自舊的收錄紀錄,也可能來自別的網站連結。它抓不到內容就寫不出說明文字,卻仍然可以替這個網址建立索引。於是你看到網頁還在,說明文字卻不見了。

老闆的兩個問題也要拆開來看,因為想達成的事不一樣,該用的工具就不一樣。

你想做到的事該用什麼家具公司的例子如果只靠 robots.txt
不要讓爬蟲花時間抓沒用的網址robots.txt站內搜尋結果頁這就是它的工作
頁面可以打開,但不要出現在 Googlenoindex訂單查詢的表單頁、表單送出後的感謝頁別的網站連過來時,網址還是可能出現
外人根本不能看登入或驗證經銷商報價頁、顯示訂單內容的結果頁知道網址的人照樣打得開,檔案還公開了路徑
已經出現在 Google,要趕快拿掉Search Console 的移除工具已經被收錄的報價頁網址可能留在結果裡,Google 也讀不到 noindex

noindex 是放在頁面上的「這頁不要收錄」標記,下一節會細講。Search Console 是 Google 給網站管理者的免費後台,驗證網站之後就能用,後面的檢查都會用到它。移除工具在它左側選單的「移除」,效力大約 6 個月,之後還是要刪頁、設密碼或加 noindex。

所以老闆的第二題答案很明確。經銷商報價頁要設登入,不能靠 robots.txt。制定這個標準的 RFC 9309 就直接寫了,這些規則不是用來管誰能存取頁面的。

第一題則要看實際頁面。如果那一頁只有輸入訂單編號的表單,加 noindex 就夠了。如果查完會顯示姓名和地址,而且網址本身就打得開,我會比照報價頁要求驗證,例如訂單編號之外再輸入電話。因為 noindex 只禁止頁面出現在 Google,使用者還是打得開。

robots.txt 和 noindex 差在哪?

robots.txt 是告訴爬蟲不要來抓,noindex 則是告訴 Google 抓到了也不要收錄。所以 noindex 要讓爬蟲進得去才有用。

noindex 通常寫在頁面原始碼的 <head> 裡,長這樣。

<meta name="robots" content="noindex">

如果要處理的是 PDF 這類沒有 <head> 的檔案,可以請廠商改用 X-Robots-Tag: noindex 這個伺服器設定,你把這串字直接轉給他就好。回到大樓的比喻,兩者的關係是這樣。

noindex 就像掛在房間裡的牌子,上面寫著「這間不要寫進導覽手冊」。訪客要走進房間才看得到這塊牌子。如果門口的須知叫他別走那條走廊,他就永遠看不到牌子。

牛皮紙橡皮章插畫,分三格:紙袋造型的訪客在大門口看須知、在房間裡看牌子,以及被繩子攔在走廊外、看不到走廊盡頭的牌子 訪客須知管的是能不能進去,房間裡的牌子管的是要不要寫進手冊。第三格就是兩個一起用的結果。

robots.txtnoindex
寫在哪裡根目錄的一個檔案,一次管很多網址每一頁的原始碼或伺服器設定,一頁一頁設
告訴爬蟲什麼不要來抓這些網址這一頁不要收錄
爬蟲要不要進到頁面不用,看檔案就知道要,進來才讀得到
網址還會不會出現在 Google可能,別的頁面連過來時有機會爬蟲讀到之後就不會
適合的情況大量沒用的網址,想省下爬蟲的時間單一頁面可以看,但不想被搜尋到

所以這兩個不要用在同一頁。Google 寫得很明白,網頁被封鎖時,爬蟲就發現不了 noindex,這一頁仍然可能留在搜尋結果。

你的訂單查詢表單頁現在就是這樣。只要 Disallow: / 還在,你今天替它加上 noindex 也不會有作用,要等封鎖拿掉,Google 進得去才讀得到。想讓頁面不出現在 Google,就要讓 Google 進得去,它才讀得到 noindex。之後也不要把這一頁寫進 robots.txt。

哪些網址值得擋,哪些不能擋?

值得擋的是數量會一直長、又不需要被搜到的網址。不能擋的是 Google 理解頁面時要用到的東西,以及你希望被搜到或要它讀到 noindex 的頁面。如果你的官網只有幾十頁,也沒有站內搜尋和篩選功能,我覺得幾乎不需要擋任何東西。

網址類型要不要擋原因
站內搜尋結果通常可以擋Google 建議可以考慮封鎖,網址可以一直增加
篩選和排序的組合不需要被搜到才擋如果「胡桃木餐桌」的頁面網址就是 /tables?color=walnut,這個網址就不能擋
購物車、結帳流程可以擋通常不需要從 Google 進來,網址不多的話不擋也沒關係
影響畫面的 CSS、JavaScript不要擋例如商品照要靠 JavaScript 載入,擋了 Google 可能看不懂頁面
加了 noindex 的頁面不要擋擋了就讀不到 noindex
想讓人搜到的商品頁、文章不要擋擋了 Google 就抓不到內容,也寫不出說明文字
要保密的頁面擋了也沒用要用登入,寫進 robots.txt 反而公開了路徑

常聽到的檢索預算,就是 Google 分配給一個網站的抓取資源,這通常也不用太擔心。Google 這份指南是寫給百萬頁、上萬頁又天天更新,或有大量網址卡在「已找到 - 目前尚未建立索引」的網站。

robots.txt 怎麼寫?

用 User-agent 寫這組規則給誰,用 Disallow 和 Allow 寫哪裡不要抓、哪裡可以抓,再用 Sitemap 告訴爬蟲網站地圖在哪裡。一般官網通常幾行就夠。

寫法意思
User-agent: *下面這組規則給所有爬蟲
User-agent: Googlebot下面這組規則只給 Googlebot
Disallow: /search不要抓網址開頭是 /search 的頁面
Allow: /search/help在被擋的範圍裡開一個例外
Sitemap: https://www.example.com/sitemap.xml網站地圖的位置,要寫完整網址
# 這行是註解給人看的備註,爬蟲會略過

你的家具網站最小的改法只有這樣,網域要換成自己的。不過這幾行要等報價頁和結果頁處理好才上線,順序在文章後段。

User-agent: *
Allow: /

Sitemap: https://www.example.com/sitemap.xml

至於其他規則,要等你確認網站真的有這些網址,也確認不會擋到想被搜到的頁,才一條一條加。舉例來說,如果站內搜尋的網址是 /search,購物車是 /cart,排序的網址長得像 /tables?sort=price,而且這些都不需要被搜到,檔案可以長這樣。

User-agent: *
Allow: /
Disallow: /search
Disallow: /cart
Disallow: /*?*sort=

Sitemap: https://www.example.com/sitemap.xml

網址裡 ? 後面放的是篩選或排序條件,而 /*?*sort= 就是擋住條件裡有 sort= 的網址。訂單查詢頁和經銷商報價頁都沒有寫進來,因為前面已經決定它們要用 noindex 和登入處理。

動手寫的時候,要留意路徑比對和存檔方式:

  • 路徑分大小寫:Disallow: /Cart 擋不到 /cart。
  • 規則比對的是開頭:Disallow: /table 會連 /tables、/table-legs 一起擋住。如果只想擋一個資料夾,要寫成 /table/。
  • 衝突時看誰比較明確:Disallow: /search 和 Allow: /search/help 都符合 /search/help 這個網址,Google 會照字比較長的 Allow。如果一樣長,就用限制最少的那一條。
  • 星號和錢字號有特殊意思:* 代表任意字元,$ 代表網址結尾。所以 Disallow: /*.pdf$ 會擋住所有結尾是 .pdf 的網址。
  • 要用純文字編輯器存檔:編碼用 UTF-8。Word 這類軟體可能加上彎引號,讓爬蟲讀不懂。

如果你的網站架在 Wix 或 Blogger 這類平台,可能不需要、也沒辦法直接改這個檔案。這時可以到平台後台找搜尋相關的設定,或搜尋「Wix 對搜尋引擎隱藏網頁」這類平台說明。

ethorx.com 的 robots.txt 長什麼樣子

我們自己的檔案只有這幾行,你可以打開來對照。

User-agent: *
Allow: /
Disallow: /api/

Sitemap: https://www.ethorx.com/sitemap.xml

Allow: / 拿掉效果也一樣,因為 Google 預設就是全部可以抓。/api/ 底下是接收聯絡表單資料的路徑,不是給人看的頁面。

你可能會問,我們的設計規範展示頁 /design-system 也不想出現在搜尋結果,為什麼沒有寫進去?因為那一頁用的是 noindex,爬蟲要抓得到頁面才讀得到這個標記,所以不能再用 robots.txt 擋。

如果你想替 AI 爬蟲分開寫規則,可以看 robots.txt 怎麼管理 AI 爬蟲的對照表。

設錯會發生什麼事?改完要怎麼檢查?

最嚴重的是重要頁面被擋住,說明文字消失,頁面出現在搜尋結果的次數也可能跟著下降。改完之後,依序看檔案本身、robots.txt 報表和網址檢查。

設錯的地方會發生什麼事怎麼修
改版後留下 Disallow: /全站都不能抓,你改的內容 Google 都看不到拿掉這行,網站遷移指南也特別提醒這點
Disallow: /table 少寫斜線連 /tables 一起擋住,分類頁就抓不到了改成明確的路徑,再抽查幾頁
擋住影響畫面的 CSS 或 JavaScriptGoogle 沒辦法正確分析仰賴這些檔案的頁面拿掉那條規則
想靠 robots.txt 讓舊頁消失網址還在,Google 又讀不到 noindex拿掉封鎖,改用 noindex 或刪頁
伺服器出錯,讀檔案時回 5xx 錯誤Google 前 12 小時停止檢索網站,接下來 30 天用上一個可用版本,之後視網站狀況當作沒有限制或停止檢索請廠商先修伺服器

順帶一提,如果檔案根本不存在、回的是 404(找不到這個檔案),Google 會當作沒有任何限制。這種情況就不算設錯。

你看到的檔案和 Google 抓到的不一定一樣,所以我會這樣查:

  1. 直接打開檔案:用無痕視窗開 你的網域/robots.txt,確認看到的是新版本。
  2. 看 robots.txt 報表:這份報表會列出 Google 抓到的檔案、上次檢查時間和有問題的行數,也能要求重新檢索。如果你的 Search Console 是用整個網域或網站首頁網址驗證的,就看得到它。
  3. 用網址檢查抽幾頁:網址檢查是 Search Console 查單一網址狀態的工具。挑首頁、一個分類頁、一個商品頁,看它們能不能檢索,以及上次檢索時間是哪一天。

這些報表的位置,在 Search Console 教學都有說明。如果想從 AI 爬蟲的角度再查一次,可以照 AI 爬蟲檢查表走一遍。

回到家具公司:今天改什麼,之後看什麼?

今天先保護報價頁和含客戶資料的結果頁,接著確認開發階段加的 noindex 沒有帶到正式站,最後才把 Disallow: / 改成 Allow: /。

這兩頁現在就已經對外開放,知道網址的人都打得開,Disallow: / 從來沒有保護過它們。所以不管你什麼時候解封,登入和驗證都要先做。

  1. 先保護不能公開的頁面:經銷商報價頁改成登入才看得到,會顯示客戶資料的結果頁要驗證。如果來不及,就先把頁面下架,或請廠商加臨時密碼。
  2. 處理訂單查詢表單頁:加 noindex,也不要寫進 robots.txt。
  3. 確認開發階段加的 noindex 沒有帶到正式站:開發階段除了擋爬蟲,也可能在頁面加 noindex,Google 的遷移指南也提醒要移除。解封之後 Google 就讀得到它,重要頁面可能整筆消失。所以請廠商先看過原始碼和伺服器設定。網址檢查的「是否允許編入索引?」在封鎖期間一律顯示「是」,這時不能當證據。
  4. 只解封正式站:把正式站的 Disallow: / 改成 Allow: /,補上 Sitemap 那一行,網站地圖裡不要列前面那些頁面。測試站要繼續保留登入或封鎖,如果兩邊共用設定,請廠商分開。
  5. 請 Google 回來:用無痕視窗確認新檔案,到 robots.txt 報表要求重新檢索,並提交網站地圖。最重要的幾頁可以用網址檢查送出要求建立索引。

如果這次改版也換了網址,舊網址還要設轉址,可以看 301 轉址那篇。

新檔案上線當天,先到網頁索引報表記下兩個狀態的頁數,這份報表列出哪些網址有收錄、哪些沒有。接著 Google 檢索可能要幾天到幾週,我建議你每週抽五頁重要的頁面做網址檢查,看上次檢索時間有沒有晚於新檔案上線那一天。

  • 兩個狀態的頁數:「網址遭到 robots.txt 封鎖」和「已建立索引,但遭到 robots.txt 封鎖」都應該往下掉,最後只剩你刻意擋的網址。後者就是開場那種還在結果裡、沒有說明文字的頁面。
  • 成效報表的曝光和點擊:曝光是頁面出現在搜尋結果的次數。拿改版上線前四週,和解封後的同樣天數來比,老闆問起掉了多少,你才答得出來。
  • 「胡桃木餐桌」的搜尋結果:標題底下的說明文字應該會回來。如果整筆消失,先回頭查 noindex。

等抽查的五頁都更新過,兩個狀態也只剩刻意擋的網址,你就可以跟老闆說封鎖的問題解決了。如果過了幾週,這五頁的上次檢索時間還停在新檔案上線之前,可以從餐桌分類頁補連結到這些頁,因為爬蟲主要是跟著連結找頁面。

常見問題

頁面已經沒有 noindex,為什麼 Google 還說沒收錄?

因為 Google 要回來重新抓這一頁,才會知道 noindex 已經不在了。

我們的 Claude Skills 怎麼用就是這樣,2026 年 11 月 6 日正式頁面沒有 noindex,網址檢查卻還顯示被 noindex 排除,上次檢索是 9 月 19 日。碰到這種情況,先按「測試線上網址」確認 Google 現在讀到的版本,再送出要求建立索引。重複送出不會變快。

網站一定要有 robots.txt 嗎?

不一定。沒有這個檔案的話,Google 會當作整個網站都可以抓,只要網址正確回 404 就好。如果你想告訴爬蟲 sitemap 在哪裡,放一個有 User-agent、Allow 和 Sitemap 的小檔案就夠了。

robots.txt 和 sitemap 差在哪?

robots.txt 是告訴爬蟲哪裡不要抓,sitemap 則是一份列出重要網址的清單。robots.txt 裡的 Sitemap 那一行,只是告訴爬蟲這份清單放在哪裡。sitemap 本身是什麼、各平台怎麼產生與提交,可以看 sitemap 是什麼。

robots.txt 要用什麼工具測試?

一般網站主用 Search Console 的 robots.txt 報表就夠了,它會指出 Google 讀不懂的行。想知道某一頁有沒有被擋,就用網址檢查查那一頁。如果你是開發人員,Google 也有開放原始碼的程式庫可以在自己的電腦上測試。

把後台路徑寫進 robots.txt 安全嗎?

這樣做沒有保護的效果,反而可能幫倒忙。這個檔案任何人都打得開,所以 Disallow: /admin-2026/ 等於公開告訴別人後台的位置。後台要靠登入和權限來擋。

Crawl-delay 要不要設?

如果你設定的對象是 Google,就不用設,因為 Google 不支援這個欄位,寫了也會被略過。Google 也不支援把 noindex 寫在 robots.txt 裡。這兩行常在舊範本看到,但對 Google 都沒有作用。

參考來源

從這篇繼續看相關內容

依文章主題整理同站文章、服務/產品與 FAQ 入口,讓下一步有清楚的閱讀方向。

延伸閱讀

下一步

服務入口

了解網站診斷與 GEO 服務

先確認網站能否被搜尋引擎讀取、內容缺哪些頁面,再決定觀測與修改的範圍。

查看相關頁面

常見問題

AI 搜尋一定要求網站有作者頁嗎?

作者、來源與更新資訊各自交代什麼,先看一題直接回答。

查看 FAQ 解答

網站與搜尋

從你的網站,找出下一步該改什麼

提供官網網址,我們會先確認網站能否被搜尋引擎讀取、內容缺哪些頁面,接下來的修改由我們做完並上線。