觀測與指標
為什麼 AI 搜尋成效不能只測一次?
先看解答
因為同一題今天問和明天問,AI 可能給出不同的答案。AI 產品每次都會重新產生回答,找的來源也可能換,所以這次有提到你的品牌,下次不一定還在;這次沒出現,也可能只是剛好沒被選到。比較可靠的做法,是把題目、AI 引擎和提問方式固定下來,每天或每週固定問一次,看一段時間內出現了幾次。
問五次和問一次差在哪
你在台北開記帳事務所,連續五天都用 ChatGPT 問同一題:「我在台北開了一間三個人的設計工作室,想找記帳士處理每月帳務和報稅,有推薦的嗎?」結果第一天和第四天有提到你們,其他三天沒有。如果只看第一天,你會以為已經被 AI 推薦了;只看第二天,又會以為完全沒機會。把五天放在一起看,比較接近現況的說法是「五次裡出現兩次」,而之後改完網站內容,你也才有一個數字可以拿來比。
換一個 AI 產品也會不一樣。Google 在 AI 功能的說明裡寫到,AI Overviews 和 AI 模式可能用不同的模型和做法,所以兩邊列出的回答和連結本來就會有差異。
重複觀測要固定什麼
題目要寫成顧客真的會問 AI 的樣子。關鍵字的寫法是「台北 記帳士 推薦」,但顧客問 AI 時,通常會把自己的處境和條件一起講出來,就像上面那一題。題目怎麼設計,可以看 AI 搜尋題庫怎麼設計。
每次都要記下題目原文、問的時間、用的是哪個 AI 引擎、完整的回答和引用的網址;如果產品會顯示模型版本或地區,也一起記下來。因為題目字句一改,或換了引擎、換了登入狀態,前後的回答就不能直接放在一起比。
這些紀錄存下來之後,看到提及或引用變多、變少時,你才有原始回答可以回頭查原因。如果想把固定的一組問題每天問一次、把回答和來源都存成紀錄,可以先了解 Otlex AI 搜尋優化平台。