你的網站上有一篇「SEO 工具比較」,裡面有一段寫著「傳統 SEO 工具都看不到 AI 回答」。後來你發現 Ahrefs 有 Brand Radar、Semrush 也有 AI Visibility Toolkit,兩家都已經能追蹤品牌在 AI 回答裡被提到的情況,所以你把那一段改成按工具逐一比較。兩週後,你在 ChatGPT 問「我想知道自己的品牌有沒有出現在 ChatGPT 的回答裡,現有的 SEO 工具做得到嗎?」,結果回答的來源裡,第一次出現了你這篇文章的網址。你習慣在改版前一天先存一次回答,這次也把這一題和另外兩題工具比較題存了下來,所以手上有東西可以比。
這是改稿的功勞嗎?內容改完、回答也變了,兩件事之間卻不一定有關係。因為同一週你們還調整了網站導覽和內部連結,題庫(固定追蹤的那一組問題)也剛好新增了一題,而 ChatGPT 這段時間有沒有換了搜尋來源,你從外面也看不到。這些變動只要有一個發生,回答就可能跟著改變,所以這次的變化值得記下來,但功勞還不能直接算到那一段改寫頭上。
Otlex 示範帳戶的回答時間線:同一題在不同日期的回答排在一起,前後比較才有東西可對。
內容改版前後比較怎麼做:先寫測試問題
測試前要先有一個明確的問題。比較這兩種寫法:
- 「改完內容後 AI 有沒有變好」:沒有說改了哪裡,也沒有說要看哪些題目、哪個結果,所以測完你也不知道該看什麼結果。
- 「比較文的 AI 工具段落改寫後,在固定的工具比較題裡,回答有沒有提到我們、有沒有引用這篇的網址?」:改了哪裡、看哪些題目、看什麼結果,都寫在這句話裡了。
第二種寫法還有一個好處,就是它沒有先假設結果會變好。題目一開始就假定了方向,之後每一個判斷都會不自覺往那邊靠。
測試問題可以拆成四件事:
| 要寫的事 | 要寫清楚什麼 | 比較文的例子 |
|---|---|---|
| 改了什麼 | 哪一頁、哪一段、什麼版本 | SEO 工具比較文的 AI 工具段落 |
| 看哪些題目 | 哪些問題可能受這次修改影響 | 固定的三題工具比較題(題目寫法見下面那張表) |
| 比較什麼 | 回答裡要看的項目 | 品牌提及、有沒有引用這篇、工具功能有沒有說錯 |
| 什麼時候測 | 改版前、改版後各在什麼時候測 | 改版前一天存一次,改版後第 7 天、第 14 天各存一次 |
如果你不確定哪些問題會受影響,可以先照內容主題和讀者想完成的事列出一組問題,再把跟這次修改直接有關的題目標成主要觀察題。而題目不要寫成搜尋關鍵字,要寫成讀者實際會怎麼問 AI,因為讀者問 AI 時通常會把自己的處境一起講出來,回答引用的來源也會跟著不同。比較文的三題工具比較題,可以這樣寫:
| 關鍵字寫法 | 讀者實際會問 AI 的方式 |
|---|---|
| SEO 工具 AI 回答 | 我想知道自己的品牌有沒有出現在 ChatGPT 的回答裡,現有的 SEO 工具做得到嗎? |
| Ahrefs Semrush 比較 | 我們是三個人的行銷團隊,預算只夠買一套 SEO 工具,Ahrefs 和 Semrush 哪個比較適合追 AI 搜尋? |
| AI 能見度 工具 | 有沒有工具可以每天幫我看 AI 怎麼介紹我們公司,還能看到它引用了哪些網頁? |
題目要怎麼挑、怎麼分題型,可以看 AI 搜尋題庫設計。
開跑前先決定:怎麼比、怎麼算、什麼時候停
很多團隊先改、先測,看到結果之後才決定要拿哪一天、哪幾題來比;但這樣做的問題是,看到有利的差異之後才決定「資料夠了」,最後比出來的只是你挑的那個時間點。所以下面三件事,都要在改版前就寫好。
有沒有對照組,能回答的問題不一樣
對照組是指同一段時間裡「沒有改的頁面或題目」。有沒有它,決定了你最後能說到哪裡:
| 比較方式 | 可以回答 | 還不能說 |
|---|---|---|
| 有改的頁面+沒改的對照題 | 同一段時間裡,兩組的結果有沒有往不同方向走 | 外部變因都已經排除 |
| 同一題的改版前後比較 | 改版前後出現了哪些差異 | 差異一定是內容造成的 |
| 只有改版後的紀錄 | 新版本在指定條件下的狀態 | 改版帶來了提升 |
| 改版前沒有留紀錄 | 現在記了哪些資料、缺了哪些 | 改版前是零 |
大部分內容團隊做得到的,是第二種再加上幾題對照題。以比較文來說,你可以把「GEO 和傳統 SEO 的差別是什麼?」這種跟這次改寫無關、但同樣會被 AI 回答的題目放進來當對照題(下面記成 P-05)。如果對照題的回答也在同一段時間一起變了,那多半是平台或來源在變,就不太能算是你那一段內容的功勞。
對照題也有它的限制。它的題目意圖、會被引用的頁面,本來就和改動的題目不一樣,所以它只能告訴你同一段時間裡 AI 回答有沒有大範圍在變,沒辦法替你排除所有外部因素。另外,題目要在測試前就分好組;看完結果才挑一組當對照,等於自己選了一個對自己有利的基準。
分母要先寫,而且按結果拆開
提及率、引用率這類數字,分子和分母都要先定義好。這裡的「有效回答」,是指那次真的有拿到完整的回答,不包含執行錯誤、空白回答或被截斷的情況。
| 要看的結果 | 分子 | 分母 |
|---|---|---|
| 品牌提及 | 有提到品牌的有效回答數 | 同一組題目、同一個引擎的有效回答數 |
| 引用這篇 | 來源裡出現這篇網址、而且打得開的有效回答數 | 同上 |
| 工具功能說對 | 依事先定好的規則判斷為正確的有效回答數 | 同上 |
有兩個地方要特別注意。第一,回答裡出現網址,和那個網址真的支持回答裡的說法,是兩件事;如果你只要網址出現就算,那個數字就叫「網址出現率」,不要叫它引用率。第二,執行錯誤或沒拿到回答的那幾次,要另外列出來並從分母拿掉,不能把它們算成「沒提到」,不然一個技術故障就會被算成一次行銷失敗。
分母小的時候,數字也要看得保守一點。例如只有 20 次有效回答時,多一次提及就是 5 個百分點,那可能只是某天回答剛好不同。
觀察期間和什麼時候收工
內容改完之後拿到的第一個回答,不能代表長期的結果。所以你可以依內容更新的速度、平台拿不拿得到回答,以及你願意花的成本,先決定觀察期間,例如改版當天存一次、第 7 天和第 14 天各存一次。期間拉得越長,同時發生的其他變化也會越多,這是一個取捨,在報告裡寫清楚就好。
把主要修改、同期其他變動和兩組題目的觀測排在同一條時間軸上,就看得出改版後的差異可能來自哪幾件事。
收工條件也要一起寫好:
- 收滿事先定好的有效回答數,而且每一筆都查得回原始回答、來源網址和版本。比較文這一輪定的是三題乘上第 7、14 天兩輪,共 6 次。
- 題目、引擎、語言或修改範圍改變了,就停下目前這一輪,另外開新的版本。
- 執行錯誤或空白回答多到超過事先定的比例,先處理資料問題。
- 發現同期有大改版,資料照樣保留,但先不做因果判斷。
最後還有一條最容易被忽略:沒有看到差異的時候,停下來的是「下結論」,而不是把結果寫成內容無效。沒有差異和「改壞了」是兩個結論,需要的證據量也不一樣。
改版前:先存一份基準紀錄
保存改版前的回答,而不是只抄摘要
修改前要保存題目文字、題庫版本、引擎或模式、語言、地區、裝置、執行時間、回答原文、回答附的來源,以及你的判斷結果。摘要可以放在報表裡,但原文才是後續核對差異的依據。等到改版後發現「回答變了」的時候,你要比對的是回答裡的句子,而不是自己三週前寫的一行結論。
基準紀錄也要記頁面狀態
除了 AI 的回答,也要保存修改前頁面的網址、HTTP 狀態、title、主標題、相關段落的原文、canonical(告訴搜尋引擎哪個網址才是正式版本的標記)和內容版本。如果這一頁同時還有其他變更,例如內部連結、圖片、結構化資料或轉址,也都記在同一份修改範圍裡。
因為只寫「文章已更新」的話,兩個月後就沒有人知道當初到底改了什麼,那一輪的資料也就沒辦法再拿來比較了。
基準紀錄的品質分開標記
基準紀錄可以分成三種狀態:
| 狀態 | 條件 | 怎麼用 |
|---|---|---|
| 完整 | 回答、來源、題目和頁面版本都齊 | 可以拿來做前後比較 |
| 部分 | 只有部分回答或來源讀得到 | 只能當背景,並註明缺了什麼 |
| 無效 | 題目或執行條件缺失 | 先補資料,再決定要不要重跑 |
「無效」的意思是這一筆不適合拿來當比較基準,跟「內容表現是零」沒有關係。如果基準只有一張截圖,看不到完整的題目或來源,就標成「部分」,也不要在報告裡把沒記到的資料補成看起來很完整的樣子。改版前的基準要怎麼一次建好,可以再看 GEO 基準紀錄。
修改:怎麼記錄內容改動
一筆修改紀錄要寫什麼
回到那篇比較文。這次的修改記下來,大概會長這樣:
| 要記的事 | 要記什麼 | 比較文的填法 |
|---|---|---|
| 修改編號 | 這次改動的編號 | 比較文-2026-10-01 |
| 頁面與段落 | 改了哪一頁、哪一段 | SEO 工具比較文,比較 AI 回答那一節 |
| 改前 | 改之前的原文或版本 | 「傳統 SEO 工具都看不到 AI 回答」 |
| 改後 | 改之後的原文或版本 | 逐一比較 Brand Radar、AI Visibility Toolkit 等工具能看到的題目、回答和引用網址 |
| 修改原因 | 為什麼改;還沒證實的就寫成假設 | 原本的說法和產品現況不符 |
| 要觀察的題目 | 哪幾題可能受影響 | 工具比較題:回答是否還說傳統 SEO 工具沒有 AI 模組、來源有沒有指到這篇 |
| 修改時間 | 什麼時候發布 | 發布的日期與時間 |
| 同期其他變動 | 同一段時間裡其他頁面或設定的改動 | 同一週調整了導覽和內部連結 |
修改原因如果是看到 AI 回答漏掉或說錯某件事之後的推測,就直接寫成「假設」。在這裡寫成已經證明的原因,之後整份報告都會沿著它偏掉。
而改前改後的文字對照,只能證明說法改了。AI 有沒有採用新的說法、有沒有引用這篇,要靠前後保存的回答與來源來判斷;至於搜尋點擊和詢價,又是另外兩份資料。
想直接開始的話,可以下載這兩份檔案:五題繁中題組和空白觀測紀錄,都是 CSV 格式。題組裡有工具比較題、品牌描述題,還有一題 GEO 基礎對照題,剛好可以對應這篇的例子;拿到之後先換成你自己的問題,再把版本固定下來。
把主要修改和同期其他變動分開
如果你改了比較文,同一週又改了首頁、FAQ、canonical 或網站的語言版本,改版後的差異就會同時受到好幾個頁面的影響。這時候把最主要的那一項列成主要修改,其餘的列成同期其他變動。常見的同期變動和處理方式如下:
| 同期變動 | 事前怎麼處理 | 解讀時怎麼寫 |
|---|---|---|
| 其他頁面也在同一段時間更新 | 記進同期其他變動,必要時另開一輪 | 結果不只歸給比較文那一段 |
| 題目或題庫改了 | 開新的題庫版本,新舊分開放 | 新舊題目的結果不合併 |
| 引擎、模式或語言地區換了 | 分開比較,或重新開始一段觀察期間 | 條件不同造成的差異,不當成內容效果 |
| 頁面或來源打不開 | 標成無效或待確認 | 不寫成負面結果 |
| 平台的回答格式改了 | 保存原始回答和日期 | 結論只寫那段期間 |
| 搜尋平台的規則變動 | 記下變動日期當背景 | 檔案或標記的變更,不直接當成搜尋結果的改變 |
搜尋平台的規則變動,今年就有兩個例子。Google 的 FAQ 複合式搜尋結果從 2026 年 5 月 7 日起不再顯示;到了 6 月 15 日,Google 又另外說明它的搜尋不會使用 llms.txt,有沒有這個檔案都不會影響曝光或排名。(Google Search 文件更新紀錄)所以如果你這段時間剛好加了 FAQ 標記或 llms.txt,它們都應該記成同期的其他變動,而不能當成這次改版的成果。
同期有變動時報告照樣可以寫,只是解讀要保守。如果每一輪都記了一長串同期其他變動,通常代表測試範圍該再縮小。
內容修改不一定會進到回答裡
Google 在 AI 功能的說明裡寫到,頁面要先被收進索引、而且符合在搜尋結果顯示摘要的條件,才有機會成為 AI 摘要或 AI 模式裡的來源連結;就算這些條件都符合了,Google 也不保證一定會抓取、建立索引或顯示。(Google:AI 功能與你的網站)所以內容改動要記成一個「待觀察的變因」。一開始就寫成「這次會帶來引用」,測試就變成在驗證已經下好的結論。
改版後:怎麼重測
固定可比較的條件
改版後重測時,要沿用同一個題目版本、題庫版本、引擎或模式、語言、地區、裝置、判斷標準和來源保存方式。OpenAI 的說明中心也提醒,ChatGPT 搜尋的結果和引用可能不完整、過時或錯誤,所以前後兩次都要把來源打開核對,而不是只看品牌有沒有出現(OpenAI:Searching the web with ChatGPT)。
題目或引擎換了,前後數字就不能接成一條線
如果改版後你順手把題目改寫得更清楚,或把 ChatGPT 換成另一個引擎,新資料還是有用,只是要另外開一組。因為直接接在舊資料後面畫成一條趨勢線的話,前半段和後半段量的根本是不同的東西,那條線上升或下降,都說不清楚是內容的關係,還是題目換了的關係。題庫改版時要怎麼標記哪些數字還能比,可以看題庫版本管理。
記清楚頁面走到了哪一步
比較文在你電腦上改好、部署上線、公開可讀、被搜尋引擎重新抓取、出現在 AI 回答裡,這是五個不同的時間點。重測紀錄裡寫你實際確認得到的那一個就好,不要從部署時間直接推論搜尋引擎已經讀到新內容。
改版前後比較表
| 題目編號 | 題型 | 改版前回答 | 改版後回答 | 來源變化 | 完整度變化 | 判斷 |
|---|---|---|---|---|---|---|
| P-01 | 工具比較 | 保存回答編號 | 保存回答編號 | 待核對 | ||
| P-02 | 工具比較 | 保存回答編號 | 保存回答編號 | 待核對 | ||
| P-05 | 對照 | 保存回答編號 | 保存回答編號 | 背景 |
正式資料要把回答編號連到回答原文、來源網址、觀測時間和內容版本。還沒比對來源和回答內容的題目,意思是「還沒比對完、還不知道」,而不是「沒有變化」。
解讀:哪些差異可以寫,哪些只能列為假設
先分清楚三種說法
結果出來的時候,可以把要寫進報告的句子分成三種:
| 說法 | 以比較文為例 | 手上要有什麼才能這樣寫 |
|---|---|---|
| 觀測 | 「改版後兩週,三題工具比較題在 ChatGPT 共有 6 次有效回答,其中 2 次引用了比較文;改版前一天存的 3 次是 0/3」(6 次是三題乘上兩輪重測) | 題目、引擎、日期、分母和原始回答 |
| 關聯 | 「引用出現的時間和比較文改版接近,對照題同期沒有變化」 | 再加上同期其他變動的清單和對照題 |
| 因果 | 「改寫那一段讓比較文被引用」 | 再加上更嚴格的設計、穩定的資料,並排除其他原因 |
一般的日常監測,通常只能寫到第一種說法;資料比較完整、對照題同期沒有其他變動時,可以寫到第二種,並把它當成下一輪要驗證的方向。至於第三種,光靠一張前後截圖根本證明不了。
可以描述看到的差異
同一題、同一條件下,改版前的回答沒有自家來源,改版後出現了比較文的網址,那就可以寫:「改版後,比較文的網址出現在回答的來源裡,網址為 X,還要打開核對它有沒有支持那句話。」品牌提及出現時,也寫明是出現在哪一句和回答的時間。這些描述講的都是發生了什麼,每一句都回得到原始資料。
推論要寫成推論
「內容改寫讓引用增加」是因果推論,需要更多控制和觀測才說得出口。因為就算這次只改了一頁,平台的模型、來源、索引狀態或其他頁面,都可能在同一時間變動。
比較穩妥的寫法是:「比較文改版後的觀察期間,出現了 X 差異;內容改動是可能原因之一,還要在固定條件下重測。」這樣寫,之後接著做的人就知道還要測什麼。
差異要分項看
把回答拆成品牌提及、來源網址、推薦條件和重點有沒有答到,分開來看。例如回答已經改口說 Semrush 有 AI 模組,但來源還是別人的文章,這代表回答的內容變了,來源卻還沒換成你。只算一個總分,就看不出這種差別。提及與引用怎麼定義,可以看 AI 能見度量測方法;回答重點有沒有答到,可以用 AI 回答完整度的表來記狀態與分母。
寫出分母和失敗數
前後兩輪的有效回答數不一樣時,先比較兩輪都有效的題目,再呈現整體比例。執行錯誤、空白回答、被截斷或來源打不開的資料,則另外列出來;讓它們默默混進「沒提到」,是這類測試很常見的失真來源。
Search Console 的數字要分開放
Search Console 也有兩個地方可以看 Google AI 功能的狀況:AI 功能帶來的流量會算在成效報表的「網頁」搜尋類型裡(Google:AI 功能與你的網站),Google 另外也提供生成式 AI 成效報表,可以看內容在 Google 搜尋與探索的生成式 AI 功能裡表現如何(Google 生成式 AI 搜尋指南)。不過這些都是 Google 自家產品的資料,和你逐題保存的跨引擎比較表是兩份不同的資料,可以並列呈現,但不要相加,因為兩邊的計算單位和分母都不一樣。
用同一組題目定期去問各家 AI、把每次的回答和來源保存下來,讓改版前後可以逐題對照,就是我們的 Otlex 在做的事;開場那張回答時間線截圖,就是同一題在不同日期的回答排在一起的樣子。自己做的話,同一題為什麼要分次觀測,可以看為什麼 AI 搜尋成效不能只測一次;改完大概要等多久,看做 GEO 多久會看到變化;要把執行和來源保存做成固定程序,看 ChatGPT 品牌監測;結果要交給內容團隊時,可以照 GEO 報告交接的格式整理。
回到那篇比較文。照這篇的做法走完兩週,你手上會有改版前一天、第 7 天和第 14 天的原始回答,以及對照題同期的紀錄,對照題 P-05 這三次的回答都沒有明顯變化,所以月報上可以寫的是:「改版後兩週,三題工具比較題有 2 次引用了比較文,改版前是 0 次;引用出現的時間和改版接近,對照題同期沒有變化。不過同一週導覽也改了,有效回答也只有 6 次,下一輪只改一個範圍再測一次。」至於同一週新增的那一題,因為改版前沒有它的紀錄,就另外開一組,從這一輪開始累積。
常見問題
修改完內容後馬上重問,就能判斷有沒有效嗎?
馬上重問得到的差異,可以記成一筆紀錄,但離「有效」還很遠。先保存改版前的回答、修改範圍、改版後的回答和條件,再按照事先決定的期間重測。「事先決定」這四個字很重要,因為事後才挑時間點來看,挑到的通常是好看的那一天。
改版前後的題目可以稍微改寫嗎?
如果目標是比較內容版本,題目就要維持相同。題目非改不可時,就開新的題目版本,把兩組結果分開放。把新題目的回答當成舊題目的改版後結果,等於同時換了兩個變因。
可以只比較品牌提及,不看來源網址嗎?
提及可以當成一個獨立的指標,只是它代表不了引用或回答完整度。如果你改內容的目標是讓自家頁面被拿來當來源,就要另外保存來源網址、轉址、canonical,以及那個來源有沒有支持回答裡的說法。
對照題沒有變化,是否就能證明改頁面造成結果?
對照題提供的是同一段時間的背景,它沒辦法當成完整的對照組,因為引擎、索引、來源或其他頁面還是可能變動。所以你可以把它當成輔助證據,但因果推論的限制照樣要保留。
引擎或模式在觀察期間更新了怎麼辦?
先把變動日期和你看得出來的差異記下來,這段期間先不下結論。如果變動大到會改變問題本身,就開新版本或分開報告。不同模式的回答直接合併成一個內容效果的話,那個效果是算出來的,而不是觀測到的。
Search Console 的數字可以和 AI 回答的提及率加在一起嗎?
不建議相加。Search Console 是 Google 自家產品的資料,提及率則是你自己在各個引擎逐題保存的結果,兩邊的來源、計算單位和分母都不同,加起來的數字就沒有分母可以解釋。比較好的做法是並列呈現,再把各自的定義寫清楚。
參考來源
以下依官方文件整理,搜尋功能的顯示規則與報表項目以各平台頁面當下為準。
- Google Search Central:AI features and your website
- Google Search Central:Optimizing your website for generative AI features on Google Search
- Google Search Central:Latest Google Search documentation updates
- OpenAI Help Center:Searching the web with ChatGPT
- Ahrefs:Brand Radar
- Semrush:AI Visibility Toolkit
- EthorX:Otlex
