你負責台中一家 15 人 CNC 加工廠的官網,想知道潛在客戶問 AI 時會看到什麼,於是在 ChatGPT 問了這一題:「台中有哪些工廠可以做 CNC 小量打樣?請說明最少幾件起做、交期多久、能加工哪些材料,以及怎麼報價。」回答列了三家工廠,其中一家就是你們,還附上了你們官網的連結。
如果只看品牌有沒有出現,這題看起來已經答得很好了。但回頭對照題目,客戶問了四件事,回答只講清楚了「幾件起做」和「交期」;能加工哪些材料一句都沒提,最後那段講的又是價格便不便宜,並沒有說要怎麼報價。有品牌提及、有引用來源,回答仍然可能只答到一部分。
檢查回答完整度,做法很像老師改申論題。學生寫得再流暢,老師還是要對著評分標準看:題目要的四個要點,他答到幾個?只寫一句「寫得不錯,85 分」,下次就說不出要補哪裡。
我這篇會一直用上面那一題當例子:先分清楚完整度和品牌提及的差別,再講怎麼拆要點、每個要點怎麼判斷、檢查表要記什麼,最後是兩種比例怎麼算,以及分母要怎麼寫才不會把「還沒讀完」講成「已經完整」。要把回答完整度放進整套能見度指標,可以先看 AI 能見度報表。
先分清楚:回答完整度和品牌提及是兩件事
先看開頭那一題拿到的回答。我們先把你們工廠叫做「A 精密」,回答是這樣寫的:
台中可以做 CNC 小量打樣的工廠,可以先參考這三家:
- A 精密:單件就能打樣,一般件約 5 到 7 個工作天交貨,很適合新創團隊驗證設計。〔來源:A 精密官網〕
- B 機械:10 件起做,交期大約兩週,常接量產前的試做。
- C 工業:5 件起做,可以加急,最快 3 天出貨,適合趕展覽或趕送樣的案子。
價格方面,A 精密在同業中算實惠,B 機械數量多的話可以談折扣。
這則回答好不好,要分成四件事來看,每一件回答一個不同的問題:
- 品牌提及看的是你的名字有沒有出現在回答裡。A 精密出現了,所以這項成立。
- 引用看的是回答有沒有附上你網站的來源。回答附了 A 精密的官網,這項也成立。
- 推薦看的是 AI 有沒有說「如果你需要什麼,就選它」,而且給了理由。回答說 A 精密「很適合新創團隊驗證設計」,所以也算成立。
- 回答完整度看的是題目要的要點有沒有答到。題目問了四件事,回答只答了兩件:三家工廠的起做件數和交期都有寫,能加工哪些材料卻一個字都沒提;而最後那段講的是價格便不便宜,題目問的卻是怎麼報價,例如要不要先給 3D 圖檔、幾天會回覆。
所以前三項都過了,完整度卻是不完整。前三項的紀錄要怎麼分開記,可以看品牌提及和引用有什麼不同。
像老師改考卷一樣:工廠名字有出現、也夾了來源,但四個要點只有兩個答到,材料是空白的,報價答成了價格高低。
反過來的情況也會發生。同一題拿去問另一個 AI 產品,回答列的是另外兩家工廠,完全沒有 A 精密:
台中做 CNC 小量打樣的工廠,可以參考這兩家:
- D 精工:1 件起做,一般件約 10 個工作天交貨,可以加工鋁合金、不鏽鋼和 POM 塑膠;報價要先上傳 3D 圖檔並註明數量,一個工作天內回覆。
- E 機械:5 件起做,大約兩週交貨,主要做鋁合金和黃銅;報價要提供圖檔和材質,大約兩天回覆。
兩家工廠的四個要點都交代了,所以這則回答對 A 精密的品牌提及是零,完整度卻是完整。只看品牌提及的報表,會把第一則當成好消息、第二則當成壞消息,但對要改內容的人來說,第二則反而示範了客戶想看到的答案要包含哪些資訊。
怎麼把一句提問拆成要點
題目要寫成顧客真的會問的句子
要點是從題目拆出來的,所以題目本身要先寫對。如果題目只是「台中 CNC 打樣」這種搜尋關鍵字,裡面根本沒有條件可以拆,你也就沒辦法判斷 AI 有沒有答到重點。顧客問 AI 的時候,通常會把自己的處境和條件一起講出來,題目就照這種問法寫:
| 關鍵字寫法 | 顧客實際會問 AI 的方式 |
|---|---|
| 台中 CNC 打樣 | 台中有哪些工廠可以做 CNC 小量打樣?請說明最少幾件起做、交期多久、能加工哪些材料,以及怎麼報價。 |
| CNC 加工 材料 | 我們要做 5 個鋁合金外殼,之後可能改成不鏽鋼,台中哪家工廠兩種都能做? |
| CNC 打樣 報價 | 第一次找工廠打樣,報價前要準備哪些東西?圖檔要給什麼格式? |
右邊這種問法,每一題本身就帶著要檢查的要點。題庫,也就是你固定追蹤的那一組問題,要怎麼分題型、怎麼避免同一題換字重複,可以看 AI 搜尋題庫怎麼設計。
先圈出題目要求的動作
先看題目要 AI 做什麼:定義、比較、選擇、列出、解釋、估算,或提出步驟。不同的動作,要的要點也不一樣。開頭那題要求的是「列出幾家工廠並說明條件」,所以要點就是每一家都該交代的幾件事;如果題目問的是「第一次找代工要怎麼開始」,要點就會變成步驟、事前要準備什麼(圖檔、數量),以及有哪些限制。
要點要從顧客問的題目拆。如果改用你自己網頁的標題來拆,例如 A 精密官網那一頁的標題是「CNC 小量打樣服務」,只會拆出「有沒有接打樣」這一點,題目裡問的材料和報價方式就整個漏掉了。
再找主題、條件、比較面向和回答的呈現方式
接著把題目拆成四類,開頭那題拆起來是這樣:
| 類型 | 要問自己的問題 | 開頭那題的例子 |
|---|---|---|
| 主題 | 回答在談什麼? | 可以做 CNC 小量打樣的工廠 |
| 條件 | 什麼情況下才適用? | 在台中、數量少 |
| 比較面向 | 必須交代哪些事? | 起做件數、交期、可加工的材料、報價方式 |
| 回答的呈現方式 | 回答要用什麼形式? | 列出幾家工廠,逐家說明 |
每一類不一定都要變成一個要點,但要先決定哪些是不能缺的。例如題目裡如果寫了「我們是做自行車零件的新創」,而它只是背景、不是要比較的條件,就把它寫在題目的備註,不要列成要點,否則檢查的人會以為回答漏了一項。開頭那題最後拆成四個要點,就是比較面向那四件事:起做件數、交期、可加工的材料、報價方式。主題和呈現方式則是用來確認回答有沒有偏題,例如回答完全沒列出工廠,就不用再逐點判斷了。
每個要點切到能核對就好
判斷要點切得對不對,有一個簡單的檢驗:換一個人來檢查,他能不能用一句話回答「有、只答一部分、沒有,還是看不出來」?
一個要點如果包了五件事,兩個人判出來的結果就會不一樣:
例如把「可加工的材料」寫成更大的「加工能力」,裡面就同時包含材料、精度、最大尺寸、表面處理和幾軸加工。回答只寫了「可以做到 ±0.01 mm 的精度」,一個人會判只答一部分,另一個人覺得精度不算材料,判成沒提到。
反過來,每一句話都拆成一個要點,判斷時就只剩在看字面上有沒有出現某個詞:
例如拆成「有沒有寫鋁」「有沒有寫不鏽鋼」「有沒有出現『金屬』兩個字」,最後一項就只是在找字。回答寫的是「6061 合金和 SUS304」,也就是一種鋁合金和一種不鏽鋼,明明兩種材料都講了,也可能被判成沒有。
開頭那題,我會切到「可加工的材料」這麼細就好:回答提到的每一家工廠都列出兩種以上的材料,就算完整;有工廠只寫一種,或只說「金屬都可以做」,就是只答一部分。實際做的時候,我建議先從 3 到 7 個要點開始,檢查幾輪之後再修改規則,而且每次修改都記下日期。
每個要點怎麼判斷:五種狀態
回到開頭那則回答,四個要點逐一判斷完是這個樣子,每一點都標一個狀態,並留下一小段原文:
每個要點都標一個狀態,並留下一小段原文;報價那段講的是價格便不便宜,所以標成答非所問。
五種狀態和判斷條件
| 狀態 | 判斷條件 | 算不算有答到 | 檢查時要記什麼 |
|---|---|---|---|
| 完整 | 回答直接處理了這個要點,內容也符合題目的條件 | 算 | 摘錄相關的句子或段落 |
| 只答一部分 | 只處理了要點的一部分,或少了一個必要的條件 | 不算進完整,另外計數 | 寫下缺了哪一段 |
| 沒提到 | 回答完整、讀得到,但就是沒有處理這個要點 | 不算 | 寫明「回答沒有提到」,之後才知道要補哪一點 |
| 答非所問 | 有相關的文字,但講的是別的問題或別的條件 | 不算,和沒提到分開統計 | 寫下為什麼不符合 |
| 還沒辦法判斷 | 回答被截斷或缺了前後文,看不出有沒有答到 | 不放進分母 | 記下缺了什麼 |
答非所問就像開頭那則回答的最後一段:題目問的是「怎麼報價」,回答講的卻是價格便不便宜。有文字、看起來也相關,判斷時和沒寫一樣;但它要另外列出來,因為它代表回答的方向偏了,跟單純沒提到的原因不同。
「沒提到」和「還沒辦法判斷」的差別更重要。回答完整、讀得到,就是沒提材料,那是沒提到;而如果你只拿到回答的前半段,後面有沒有講到材料根本不知道,那是還沒辦法判斷。就像改申論題時,學生的第二頁不見了,老師不能直接當作他沒寫。把還沒辦法判斷算成沒提到,缺口會看起來比實際大;算成完整,比例又會比實際好看。
判斷規則要寫成別人也能照著判的句子
判斷規則要寫到另一個人照著判,也會判出一樣的結果。以材料這一點來說,可以寫成這樣:
回答提到的每一家工廠,如果都列出兩種以上可以加工的材料,而且寫的是具體的材料名稱(例如鋁合金、不鏽鋼),標記為完整;有工廠只寫一種,或只說「金屬都可以做」,標記為只答一部分;回答被截斷、看不到講材料的那一段,標記為還沒辦法判斷。
一條能用的規則要包含三件事:怎樣算通過、怎樣不算,以及資料不夠時要標成哪一種。
實作:做一張別人也能複查的檢查表
第一步:替題目和要點清單標上版本
每一題給一個編號和版本,要點清單也一樣。題目或要點改過,就開一個新版本,舊的紀錄留著,這樣之後比較時才知道兩次檢查用的是不是同一套標準。
接著,每一個要點都要記下四件事:題目、要點、判斷和原文摘錄。開頭那則回答記下來是這樣:
| 題目 | 要點 | 判斷 | 原文摘錄 |
|---|---|---|---|
| 台中 CNC 小量打樣(第 1 版) | 起做件數 | 完整 | 「單件就能打樣」 |
| 同上 | 交期 | 完整 | 「一般件約 5 到 7 個工作天交貨」 |
| 同上 | 可加工的材料 | 沒提到 | 回答沒有提到任何材料 |
| 同上 | 報價方式 | 答非所問 | 回答講的是價格高低,沒講怎麼報價 |
另外再記下這則回答是哪個 AI 產品、哪一天問的、有沒有拿到完整的回答,以及檢查的人是誰。一則回答有四個要點,就會有四筆判斷;這樣報表除了算得出有幾則回答完整,也追得到哪一個要點最常被漏掉,你也就知道官網內容要先補哪裡。
第二步:先讀題目,再讀回答
先只看題目和要點清單,把判斷規則寫好,再去讀回答。這樣比較不會因為看到熟悉的大廠,就覺得答得比較好。
實際檢查時,回答列了一串知名工廠,卻漏掉了題目問的材料和報價,那還是照要點來標。而回答完全沒提到 A 精密,卻把四個條件講得很完整的話,完整度一樣可以是完整。
第三步:逐點標記,並留一小段原文
每一個要點都留一段最短、可以核對的原文,或寫明「回答沒有提到」,不要只填一個總分。
來源網址、回答原文和檢查的人寫的備註,要分開存。混在一起最常見的結果,是一個來源連結被當成所有要點的依據:
例如開頭那則回答只附了 A 精密的官網。如果把這個連結當成每個要點的依據,報表看起來四個要點都有來源;但打開官網,它只支持「單件就能打樣」和交期那兩句,材料和報價方式根本沒有內容可以對照。
第四步:替整則回答下結論
可以先用一套保守的規則:
- 完整:所有必要的要點都是完整,這則回答才算完整。
- 只答一部分:有一個以上的要點只答一部分,但沒有任何要點是沒提到或答非所問。
- 不完整:只要有一個要點是沒提到或答非所問。
- 先不下結論:有要點還沒辦法判斷時,這則回答先另外列出來,等拿到完整的回答再下結論。
套用到開頭那則回答:起做件數和交期是完整,材料沒提到,報價方式答非所問,所以整則回答標為不完整。如果另一則回答其他三點都完整,只有材料只寫了「鋁件都可以」,那則就是只答一部分。
如果題目允許某個要點不適用,要在要點清單裡事先標好「不適用」。事後為了讓比例好看才把某個要點刪掉,分母就變了,前後兩次的比例也就不能比較。
報告:怎麼比較不同的回答
用一張統計表找出真正的缺口
接著這家工廠把開頭那一題,在五個 AI 產品各問兩次,一共拿到 10 則回答,其中 1 則只拿到前半段:前半段看得到起做件數和交期,講材料和報價的後半段被截掉了。逐點判斷完,整理成統計表是這樣:
| 要點 | 完整 | 只答一部分 | 沒提到 | 答非所問 | 還沒辦法判斷 | 下一步 |
|---|---|---|---|---|---|---|
| 起做件數 | 6 | 3 | 1 | 0 | 0 | 官網已經寫了,先回頭看那 3 則只答一部分的回答漏了哪一家 |
| 交期 | 8 | 2 | 0 | 0 | 0 | 維持現狀 |
| 可加工的材料 | 1 | 2 | 6 | 0 | 1 | 官網補一份材料清單 |
| 報價方式 | 0 | 1 | 6 | 2 | 1 | 補報價流程,並和價格高低分開寫 |
這張表比一個總分更能說明下一步要改什麼:「可加工的材料」和「報價方式」大部分回答都沒提到,這兩項就是最明顯的缺口。而如果不同題目的要點數不一樣,就不要把各題的分數直接加起來比較,因為每一題的滿分根本不同。
兩種計算方式
完整度可以從兩個層級算比例:以整則回答來算的叫回答完整率,以要點來算的叫重點涵蓋率。
第一種是回答完整率,看的是有幾則回答把所有要點都答完整了:
回答完整率 = 所有必要要點都是「完整」的回答數 ÷ 所有要點都已經判斷完的回答數
以上面的統計表來說,材料和報價那兩個「還沒辦法判斷」,都落在同一則被截斷的回答上,因此四個要點都判斷完的回答是 9 則。而這 9 則裡,「報價方式」沒有一則是完整的,回答完整率就是 0/9。
第二種是重點涵蓋率,看的是要點層級。公式裡的「適用」,指的是這一題本來就該回答的要點;前面第四步提過,事先標成不適用的要點不放進分母:
重點涵蓋率 = 「完整」的要點數 ÷ 已經判斷、而且適用的要點數
10 則回答 × 4 個要點,一共 40 個要點,其中 2 個還沒辦法判斷,所以分母是 38。完整的要點加起來是 6 + 8 + 1 + 0 = 15,重點涵蓋率就是 15/38,大約 39%。只答一部分的要點不算進分子,另外計數。兩種算法都要把只答一部分、沒提到、答非所問和還沒辦法判斷分開保存。報表上也至少要同時列出四個數字:
- 全部適用的要點數,這個例子是 40。
- 已經判斷且適用的要點數,這個例子是 38。
- 完整的要點數,這個例子是 15。
- 還沒辦法判斷的要點數,這個例子是 2。
有了這四個數字,讀的人才知道那個百分比是怎麼來的。這兩種算法也都把每個要點當成一樣重要;如果你認為報價方式比交期重要、要給它比較高的權重,就要在報表上寫出各要點的比重。
另外還有一個比例,名字聽起來很像,常常和這兩種混在一起:題目問完了沒的比例。這家工廠預定問 10 次,其中 1 次回答在中途被截斷,完整拿到回答的是 9 次,所以這個比例是 9/10,也就是 90%。它只說明回答有沒有拿全,跟回答答得好不好無關。所以報表上每個比例都要寫出自己的分母,不然讀的人很容易把這個 90% 看成回答有九成完整。
還有一種情況特別容易寫錯。如果你這週只來得及看完其中 3 則回答的「交期」,3 則剛好都完整,另外 37 個要點還沒看。這時候可以寫「已判斷部分的涵蓋率是 3/3,也就是 100%,還有 37 個要點還沒判斷」;寫成「這題的涵蓋率已達 100%」,就是把還沒讀完當成已經完整。正式的摘要可以寫成這樣:
| 欄位 | 數值 | 怎麼讀 |
|---|---|---|
| 全部適用的要點 | 40 | 要點清單要求檢查的總數 |
| 已經判斷且適用 | 3 | 目前真的檢查完的分母 |
| 完整 | 3 | 已經判斷的要點裡,答完整的數量 |
| 還沒判斷 | 37 | 還沒檢查,或還缺回答的前後文 |
| 已判斷部分的涵蓋率 | 3/3 = 100% | 只描述已經判斷的部分,整體還沒做完 |
這種只算已判斷部分的寫法,報表上要註明「還沒判斷的要點不算進分母」。另一種更保守的做法,是只要還有沒判斷的要點,就只列各狀態的數量,不算整體的涵蓋率,等所有適用的要點都判斷完了,再算「完整的要點數 ÷ 全部適用的要點數」。
從缺口回到要改的內容
如果「報價方式」在大部分回答裡都是沒提到,就可以提出一個假設:官網缺少一段 AI 可以引用的報價說明。
例如 A 精密的官網原本只寫「歡迎來電詢價」,AI 從這句話裡找不到報價流程可以講。補的時候改成具體的步驟:「請上傳 3D 圖檔(STEP 或 IGES 格式),註明數量和材料,我們一個工作天內回覆報價;單件打樣另收一筆程式設定費。」STEP 和 IGES 是兩種常見的 3D 圖檔格式。
這只是假設,完整度檢查表證明不了原因。真正的檢驗方式,是補上那一段之後,用同一題、同一組要點,在新的日期重新問一輪,並記下這次改了哪些內容,再看報價方式這個要點的數字有沒有變。
例如 A 精密照上面那段補上報價步驟,兩週後用同一題、同樣四個要點,在同樣五個 AI 產品各問兩次。這一輪「報價方式」完整的有 4 則、只答一部分 1 則、答非所問 2 則,沒提到的則從 6 則降到 3 則。這還不能證明就是那段文字造成的,因為 AI 產品本身也在變;但至少工廠知道這一項有在動,下一輪要繼續追,而材料清單還沒補,就排在下一個要改的地方。
回答完整度量不到的東西
第一件量不到的事,是回答講得對不對。四個要點全部答到了,其中一項的數字卻是錯的,這種情況也會發生:
例如回答寫「A 精密最快 2 天交貨」,「交期」這一點算完整,但 A 精密官網寫的是一般件 5 到 7 個工作天。
這時候要另外記一筆事實核對,標成錯誤,並附上官網的連結;完整度維持完整,因為回答確實處理了這個要點,只是講錯了。回答附了來源連結,也不代表每一句話都有被那個來源支持,所以重要的資訊,我建議點進原始頁面確認。
第二件量不到的事,是客戶看完之後的反應。例如那家工廠的統計表裡,10 則回答有 8 則把「交期」答完整了,但這說明不了客戶看完會不會來詢價,那要用詢價數、轉換這些指標去看;而品牌提及、引用和推薦的追蹤,可以看 AI 能見度,這些紀錄和完整度各自分開記。
Google 的 AI 功能說明寫到,網頁要出現在 AI 摘要或 AI 模式裡,前提仍然是可以被檢索、被收錄、可以在搜尋結果顯示摘要,而且 Google 也不保證一定會出現,所以網站本身的 SEO 基礎也要顧好。
至於 Search Console 的生成式 AI 成效報表,只有網站在 AI 摘要和 AI 模式裡的曝光次數,可以按網頁、國家、裝置和日期分開看,但看不到是哪個查詢,報表裡也沒有回答的內容。所以 A 精密就算看到官網在 AI 摘要的曝光變多,也還是要回到回答原文和要點清單,才知道報價方式有沒有被答到。
如果你想每天用同一組題目去問 ChatGPT、Google 的 AI 摘要、Gemini 這些 AI 引擎,並把每一則回答的原文和來源留下來核對,我們開發的 Otlex 就是在做這件事;而要點清單和判斷的標準,還是要由你們自己來定。
常見問題
AI 回答完整度和品牌提及率有什麼不同?
兩者問的是不同的問題。品牌提及率問的是品牌名字有沒有出現在回答裡,回答完整度問的是回答有沒有處理題目指定的要點。一則回答可以提到品牌,卻漏掉限制和適用條件;也可以一個品牌都沒提,卻把一個方法題答得很完整。所以兩者要分開保存、分開計算。
一個要點只被回答一半,要算有還是沒有?
標成「只答一部分」,並寫清楚缺的是哪一段,以及缺的那一段會不會影響客戶做決定。如果團隊真的需要一個單一的完整率,可以把只答一部分當成沒答完整,但明細裡還是要保留它的數量,不然下次要補內容時,就分不出「差一點」和「完全沒寫」的差別。
看到回答附了來源網址,就能把相關的要點標成完整嗎?
還要再核對兩件事:回答的文字有沒有真的處理那個要點,以及那個來源有沒有支持這一段內容。網址只能證明回答附上了來源,重要的資訊還是要點進原始頁面確認。
題目有五個要點,回答只處理三個,完整度是 60% 嗎?
要同時符合四個條件,才能寫成 3/5:五個要點的權重相同、三個都是完整、另外兩個確實沒提到,而且分母的規則事先寫好了。只要裡面摻了只答一部分、還沒辦法判斷、不適用,或權重不同的要點,就先列出各狀態的數量和分母,再決定要不要用百分比。
可以用 AI 自動判斷回答完整度嗎?
可以拿來做初步的整理或篩選。不過自動判斷在不同 AI 產品、題型和語言下會不會判錯,要你自己抽樣檢查才知道,所以判斷規則、抽樣、人工複查和錯誤修正都要留下紀錄。重要的報告如果完全交給一個沒驗證過的分類程式,風險在於你不會知道它在哪一類題目上判錯。
