業務在內部的 AI 助理裡問:「B 客戶的付款條件是什麼?」幾秒後得到一句很乾脆的回答:「月結 60 天,依 2025 年簽訂的合約第 4 條。」語氣篤定,還附了條號。業務照這個條件回覆客戶,後來財務翻出合約,寫的是月結 30 天,第 4 條講的是交貨地點。
這就是一般說的 AI 幻覺。麻煩的地方在於它看起來和正確答案一模一樣:句子通順、格式完整、該有的細節都有。流暢和正確是兩件事,模型寫得越像真的,人越容易省掉核對那一步。
AI 幻覺是什麼:講得很有把握,內容卻是錯的
AI 幻覺(hallucination)指的是 AI 模型產出錯誤或誤導性的內容,而且通常用很有把握的語氣呈現。美國國家標準暨技術研究院(NIST)在生成式 AI 風險框架裡用的詞是 confabulation,定義是生成式 AI「自信地產出錯誤或虛假的內容」,並註明一般俗稱「幻覺」或「捏造」。
NIST 把範圍劃得比「說錯事實」更寬,還包括兩種情況:回答偏離了你給的提示或文件,以及和同一段對話裡自己先前的說法矛盾。Google Cloud 的說明則點出另一種常見形式:模型可能捏造連結,指向根本不存在的網頁。
OpenAI 研究團隊在 2025 年 9 月發表的論文〈Why Language Models Hallucinate〉,開頭就用作者自己當例子。他們問一個開源模型:「Adam Tauman Kalai 的生日是哪天?知道的話只回答日-月。」模型試了三次,給了三個不同的日期,全錯,而題目明明說了「知道的話」才回答。再問三個熱門模型他的博士論文題目,三個都答出一個像樣的題目、學校和年份,沒有一個對。論文特別註明,這三個模型當時都沒有上網搜尋。
這個例子說明了幻覺最麻煩的地方:模型給不出正確答案時,產出的是一個格式正確、看起來合理的錯誤答案,很少留白。
為什麼會發生:模型在猜下一個字,評分又獎勵猜
要理解幻覺,要先知道大型語言模型在做什麼。NIST 的說明很直接:生成式模型產出的內容,是在逼近訓練資料的統計分布,LLM 做的事是預測句子裡的下一個 token(模型處理文字的最小單位)。這種預測多數時候能得出正確、一致的內容,同樣的機制也會產出事實錯誤或前後矛盾的內容。LLM 的運作細節,我在 LLM 是什麼 另外整理過。
OpenAI 那篇論文把原因拆成兩段。
預訓練:只出現過一次的事實最容易錯
模型從大量文字學語言。愛因斯坦的生日在網路上出現過無數次,模型很少答錯;一般人的生日可能只在某篇訃聞裡出現過一次,模型沒有規律可循。論文的推算是:如果訓練資料裡有 20% 的生日資訊只出現過一次,基礎模型在生日這類問題上,預期至少會有 20% 答錯。
換到企業情境:產品的最新規格、某位客戶的合約條件、上個月才改的價格,這些資訊模型要嘛沒看過,要嘛只看過一次。問它這類問題,本來就是在問它不可能知道的事。
後訓練與評分:猜一個答案比說不知道划算
模型訓練完還會經過調整,其中一個目標就是減少幻覺。那為什麼還會一直出現?論文用考試打比方:選擇題不會寫時,學生會猜,因為空白一定零分,猜還有機會對。語言模型的評測大多也是這樣計分,答對得分、答錯和回答「不知道」一樣零分。在這種規則下,一直猜的模型分數比較高。
論文的說法是,模型一直處在「考試模式」。作者建議修改主流評測的計分方式,例如在題目裡寫明「有 75% 以上把握才作答,答錯會扣分」,讓承認不確定不再吃虧。
應用層:沒給它依據,或給錯了依據
前兩段講的是模型本身。實際導入時,還有兩個常見原因出在系統設計:
- 沒有提供依據。Google Cloud 把「缺乏適當依據」列為幻覺的主因之一。模型沒拿到你的合約,就只能用它學過的一般慣例去補。
- 提供了錯的依據。做了 RAG(檢索增強生成) 之後,模型會先查文件再回答,但檢索可能找到舊版規格,或抓到另一個客戶的合約。模型照著錯的段落回答,看起來同樣言之有據。
幻覺常見的幾種樣子
把幻覺分類,是為了知道該在哪一步擋。以下是企業情境裡最常見的幾種:
| 類型 | 企業裡的例子 | 最容易出現在 | 先從哪裡擋 |
|---|---|---|---|
| 編造事實 | 問某客戶付款條件,答出合約裡沒有的天數 | 模型沒看過的內部資訊、少見的專有名詞 | 提供文件作為依據,找不到就回答找不到 |
| 編造出處 | 附上不存在的條號、判例、論文或網址 | 要求它「附上來源」卻沒給它資料時 | 出處必須能點回原文,逐條核對 |
| 違背提供的文件 | 文件寫 30 天,回答寫 60 天 | 文件很長、段落相似、版本很多 | 先抽出引文再作答;檢索只放現行版本 |
| 前後矛盾 | 同一段對話裡,前面說有庫存、後面說缺貨 | 長對話、多輪追問 | 同一題多問幾次比對;重要數字查系統 |
| 虛構的推理過程 | 算式步驟寫得很完整,結果是錯的 | 計算、比較、推論型問題 | 數字交給系統或試算表算,模型只負責說明 |
編得最像的往往是出處。NIST 特別提到,生成式 AI 可能附上虛構的推理或引用來替答案背書,讓人更容易誤信。一句沒有來源的話,讀者多少會懷疑;一句附了條號、判決字號的話,大家就直接用了。

兩個真實案例:錯了之後,責任在誰
幻覺造成的損失,最後都會回到使用它的人或公司身上。這兩個判決常被拿來說明這件事。
第一個是 2023 年美國紐約南區聯邦地方法院的 Mata v. Avianca 案。原告律師用 ChatGPT 找判例,提交給法院的書狀裡引用了不存在的判決,連判決內容與引文都是生成的。律師事後說,他當時沒想過 ChatGPT 會捏造案例。法院在 2023 年 6 月 22 日的裁定中,對兩位律師與所屬事務所處以 5,000 美元的制裁。
第二個是 2024 年加拿大卑詩省民事審裁處的 Moffatt v. Air Canada 案。旅客在航空公司官網上問客服聊天機器人喪親優惠票價的規定,機器人說可以先買票、事後申請退差價;官網另一頁寫的規定卻正好相反。航空公司主張聊天機器人應該被視為獨立的主體,自己不必為它的說法負責。審裁處不接受這個說法,認為資訊來自靜態網頁或聊天機器人,對公司來說沒有差別,判航空公司賠償。
兩個案子的共同點很清楚:模型答錯時,責任落在使用它的公司。律師要為書狀負責,航空公司要為官網上的每一句話負責,包括聊天機器人說的話。對企業來說,這決定了哪些 AI 輸出可以直接放出去,哪些一定要先經過人。
企業導入時,降低幻覺的五個做法
幻覺無法歸零,要設計的是:錯了會被誰、在哪一步攔下來。以下五個做法按導入順序排,前兩個幾乎不花成本,建議一開始就做。
1. 給它依據,並限定只用這些依據
內部問答最有效的一步,是讓模型依你提供的文件回答,也就是 RAG 或直接把文件放進提示。Anthropic 的建議更進一步:明確要求模型只使用提供的文件,不要用它自己的一般知識補。
回到付款條件的例子,提示裡應該寫的是「只依以下合約內容回答;合約沒有寫的,回答找不到」,比單純問「B 客戶的付款條件是什麼」可靠得多。資料要整理到什麼程度,可以看企業知識庫要整理到什麼程度,AI agent 才用得上。
2. 允許它說「不知道」
這一步看起來簡單,效果常被低估。Anthropic 的文件把「明確允許模型承認不確定」列為第一個基本做法,說這個簡單的技巧就能大幅減少錯誤資訊。對照前面的考試比喻,就是在規則裡告訴它:答不出來可以交白卷,不會扣分。
實務上可以寫成「如果文件裡找不到答案,請回答『文件中沒有這項資訊』,並列出你查過哪些文件」。後半句很有用,使用者能知道是真的沒有,還是它沒查到該查的文件。要給團隊重複使用的提示詞怎麼寫成完整規格,可以看提示詞怎麼寫。
3. 要求附出處,找不到引文就撤回
要求每個主張都附出處,答案才能被核對。Anthropic 建議的做法分兩步:處理長文件時,先請模型逐字抽出相關引文,再根據引文作答;答完之後,請它替每一句話找出支持的引文,找不到引文就撤回那句話。
出處要能點回原文。只寫「根據公司規定」的出處沒有用;寫「2026 年 3 月版報價規則第 2 節」,人才有辦法打開來確認。
4. 高風險的輸出交給人確認
哪些輸出要人看過才能放出去,依影響決定:會對客戶做出承諾的(價格、交期、合約條件、退款規則)、會寫進系統的、涉及法律或安全的,都應該先暫停、交給負責的人確認。Air Canada 的案例就是缺了這一層。
確認點要設得少而準,全部都要人看,最後大家就會跳過不看。怎麼分級,可以看 AI agent 的權限與人工確認怎麼設。
5. 用固定題目持續測,包含沒有答案的題目
從真實紀錄挑二、三十個問題,寫好標準答案和應該引用的段落,每次換模型、改提示、更新文件就重跑一次。一定要放幾題文件裡沒有答案的問題,正確行為是回答找不到,硬湊出答案就算錯,這是最直接測幻覺的方法。
要自動化時,Microsoft 的評估工具有一項 groundedness(依據性)檢查,專門看回答是否依提供的內容、有沒有自己編造。Anthropic 也建議把同一題跑幾次、比對答案是否一致,不一致的地方很可能就是幻覺。完整的驗收設計在 AI agent 專案怎麼驗收。
| 做法 | 成本 | 擋住的是哪一種幻覺 |
|---|---|---|
| 給依據、限定只用依據 | 中:要整理文件、建檢索 | 編造事實 |
| 允許說不知道 | 低:改提示 | 編造事實、編造出處 |
| 附出處、找不到引文就撤回 | 低到中:改提示、多一次檢查 | 編造出處、違背文件 |
| 高風險輸出人工確認 | 中:要訂規則、排人力 | 所有類型,作為最後一道 |
| 固定題目持續測 | 中:建題目、定期重跑 | 找出哪一種最常發生 |
AI 搜尋把你公司講錯時:先分辨是編造還是來源寫錯
另一種情況發生在公司外面。客戶問 ChatGPT 或 Google 的 AI 摘要「某某公司有沒有做某項服務」,得到的答案是錯的:把已停產的產品說成主力、把總部寫在錯的城市、把你和同名公司混在一起。
這類錯誤不一定是模型憑空編造。Google 在 2024 年 5 月說明 AI 摘要的問題時寫到,AI 摘要和搜尋排名系統整合,一般不像其他 LLM 產品那樣「幻覺」;出錯多半是誤解了查詢、誤讀了網頁上的語意,或這個問題本來就沒有足夠好的資訊。它舉的例子是「每天該吃幾顆石頭」:網路上幾乎沒有人認真討論這個問題,唯一相關的是一篇諷刺文章,剛好又被一家地質軟體公司轉載,AI 摘要就照著引用了。
所以處理順序是:先點開它引用的那一頁,看錯誤從哪裡來。
| 你看到的狀況 | 比較可能的原因 | 先處理哪裡 |
|---|---|---|
| 引用的頁面本身就寫錯(舊新聞、過期的目錄、同名公司) | 來源錯誤,模型照實轉述 | 修正自己的頁面;第三方頁面聯絡對方更新 |
| 官網和第三方網站說法不一致 | 來源互相矛盾,模型挑了其中一個 | 統一名稱、類別、服務範圍的說法 |
| 這個問題沒有任何頁面認真回答過 | 資訊空白,模型只能拼湊 | 補一頁直接回答這個問題的內容 |
| 引用的頁面寫得對,回答卻寫錯 | 模型誤讀或編造 | 向平台回報;把關鍵事實寫得更直接、更容易單獨引用 |
前三種都是來源問題,也是品牌能直接動手的部分。
AI 搜尋講錯公司時,多數要回頭修的是來源,跟模型爭論改變不了下一次的答案。
官網各頁說法怎麼統一,可以用品牌實體一致性檢查的稽核表;引用網址怎麼記錄、怎麼判斷那一頁有沒有支持回答,可以看 AI 引用來源網址怎麼分析;AI 怎麼從候選來源組出答案,則在 AI 怎麼決定推薦哪個品牌。
第四種才是真正的模型錯誤。Google 的說明頁寫明 AI 摘要可能提供不準確的資訊,無法確保內容正確,使用者可以按「回報問題」提供意見。回報值得做,但平台不會承諾更正時間,自己的頁面還是要寫清楚。
幻覺可以完全消除嗎
以目前的技術,做不到。OpenAI 的論文指出,只要訓練資料裡有模型分不出對錯的內容,預訓練就會產生錯誤;只要主流評測仍然讓猜測比承認不確定得分高,模型就會傾向猜。論文也提到,最新的模型仍然有幻覺。
降低風險的每一層也都會漏。例如開頭付款條件的情境,檢索可能抓到舊版合約,確認的人可能只看了金額沒看天數,測試題也沒有涵蓋這個客戶。比較務實的目標,是讓錯誤在造成損失前被看見,而且每個答案都能追回來源。
用到 AI agent 時更要留意這一點。agent 會依模型的判斷去寄信、建單,幻覺的代價就從「答錯一句話」變成「做錯一件事」。反過來說,資料過期、權限沒設好、流程沒人負責確認,這些問題換一個更強的模型也解決不了。
我們能協助的部分
企業內部導入 AI 時,我們的企業 AI 營運方案會把資料異常或高風險的判斷設計成先暫停、交由專人確認再執行;哪些動作需要確認,會在上線前和負責的主管一起訂好。
如果問題出在 AI 搜尋怎麼介紹你的公司,我們的 GEO 服務用自己開發的 AI 搜尋優化平台 Otlex 觀測 AI 如何回答顧客會問的問題,檢查回答對品牌與產品的描述是否正確,再對照引用來源和官網內容,找出需要調整的頁面。已經看過不正確的 AI 回答,可以把截圖、問題與查詢日期一起提供給我們。
常見問題
ChatGPT 開了搜尋功能,還會有幻覺嗎?
會少一些,但還是會發生。開了搜尋之後,模型多了可以依據的網頁,編造事實的機會降低;但它仍可能讀錯網頁、引用不相關的頁面,或在網頁內容之外自己補一句。回答附的連結,重要的資訊都要點開確認那一頁真的這樣寫。
在提示裡寫「不要亂編」有用嗎?
有一點用,但不夠。比較有效的寫法是給出具體規則:只依提供的文件回答、找不到時回答哪一句話、每個主張附上引文。Anthropic 建議的做法都是這類可以檢查的規則。規則寫好之後,還是要用沒有答案的測試題確認它真的會照做。
網路上看到的「幻覺率」數字,可以拿來挑模型嗎?
參考價值有限。每份測試用的題目、是否允許模型回答不知道、有沒有開搜尋都不同,數字之間沒辦法直接比。OpenAI 的論文也指出,多數主流評測只算答對率,會把「猜對」和「真的知道」混在一起。挑模型時,用你自己的真實問題測一輪,比看排行榜可靠。
員工用 ChatGPT 寫對外文件,公司應該先訂哪些規則?
至少三條。第一,對外文件裡的數字、日期、條款、引用來源,一律由人對照原始資料確認。第二,要求 AI 附上出處的內容,出處要實際點開檢查,這是 Mata v. Avianca 案律師漏掉的一步。第三,客戶資料、合約內容能不能貼進哪一種 AI 工具,要事先講清楚。
AI 把我們公司講錯了,可以直接請平台更正嗎?
可以回報,但沒有保證的更正管道。以 Google 的 AI 摘要為例,可以按「回報問題」送出意見。比較可靠的做法是同時處理來源:把正確資訊寫在官網容易找到、可以單獨引用的位置,並請第三方網站更新過期的內容。之後用同一組問題定期重看,確認答案有沒有跟著改。
參考來源
- Kalai 等人(2025):Why Language Models Hallucinate
- OpenAI:Why language models hallucinate
- NIST AI 600-1:Artificial Intelligence Risk Management Framework: Generative Artificial Intelligence Profile
- Google Cloud:什麼是 AI 幻覺?
- Anthropic:Reduce hallucinations
- Microsoft Learn:RAG evaluators(Groundedness)
- Google 搜尋說明:關於 Google 搜尋中的 AI 摘要
- Google:AI Overviews: About last week(2024)
- Mata v. Avianca, Inc., 678 F.Supp.3d 443(S.D.N.Y. 2023)(判決副本)
- Moffatt v. Air Canada, 2024 BCCRT 149