觀測與指標
AI 回答完整度怎麼算?
先看解答
AI 回答完整度的算法,是先把題目拆成幾個要點,逐點判斷回答有沒有完整講到,再用「完整講到的要點數 ÷ 已判斷且適用的要點數」算出比例。還沒判斷的要點不放進分母,但報告裡要寫出還剩幾個沒判斷;而它也要和「排定的題目有幾次成功拿到回答」的完成率分開算,因為兩者的分母不一樣。
先分清兩種算法
你每週固定拿同一題去問 AI:「我們是台中的機械零件廠,想找 SEO 公司幫官網做英文版,要怎麼挑?」,一週排定跑 10 次。第一個要算的是完成率,也就是排定的 10 次裡,有幾次照預定條件跑完、拿到可以判斷的回答:
完成率 = 成功取得回答的次數 ÷ 排定要跑的次數
跑失敗、逾時,或拿到的回答沒辦法判斷的,都不要默默算成有效回答;如果報告裡排除了哪幾次,就把排除條件和實際分母一起寫出來。
第二個才是回答完整度,看的是拿到的回答有沒有講到題目要求的重點。例如你把這一題拆成「服務範圍」「怎麼確認成果」「價格怎麼比」「合約要注意什麼」四個要點,再逐點判斷回答是完整、部分、沒提到,還是還沒判斷:
回答完整度 = 完整講到的要點數 ÷ 已判斷且適用的要點數
這裡的分母是要點數,跟跑了幾次無關。只講到一部分、完全沒提到、還沒判斷的要點要分開列,也不要拿完成率代替回答完整度。各家工具對這類指標的算法不一定相同,所以不管用哪一套,報告都要寫出分母是什麼。
呈現比例時,記得同時列出已判斷的要點數、全部適用的要點數,以及還沒判斷的數量。因為這個比例只說明判斷過的那一部分:例如那一題的 4 個要點你只判斷了 1 個,而且剛好完整講到,就不能寫成回答完整度 100%。
分母比漂亮的數字重要
同樣用上面那一題來看,10 次裡可能有 2 次跑失敗、1 次回傳空白、7 次有回答,而那 7 次裡又有幾次沒有提到你的品牌。如果全部放進同一個分母,讀報告的人就分不出這個百分比到底是成功拿到回答的比例、品牌出現的比例,還是引用的比例。
所以我會建議保存每一筆的原始回答和情況,至少把跑失敗、回傳空白和有回答的次數分開記;有回答的那幾次,品牌有沒有被提到、有沒有被引用也各記各的。報告裡同時列出分母、比例和排除條件,下一次重測時才能和這一次放在一起比。
想先了解 AI 能見度有哪些指標、各自怎麼讀,可以看 AI 能見度。