你在一家精密零件廠管報價和規格文件。下午三點,業務在 LINE 上傳訊息問你:「A 客戶上次那張報價單,用的是哪一版材料規格?」客戶還在電話另一頭等他確認,他想在掛電話前就回答。
你們的報價單是掃描 PDF 和信件附檔,不在 ERP(管進銷存和財務的系統)裡。這類檔案有幾百張,每個月還在增加。所以遇到這種問題,你得去共用硬碟翻十幾個資料夾。
沒看過這些報價單的 AI 通常答不出來,還可能憑印象亂猜。報價單的備註只寫「材料與公差依現行規格表」,沒有寫版號,所以你還得對照報價日期,去規格表資料夾查當時有效的是哪一版。
更麻煩的是,共用硬碟裡第 2 版和現行的第 3 版規格表都還在。上個月新來的業務助理就翻到第 2 版,照著回了客戶。第 2 版的孔徑公差和第 3 版不一樣,要不是你剛好看到那封信,工廠就會做出客戶不收的零件。
RAG 要做的,是讓 AI 在回答之前先去翻公司的文件。以這個問題來說,它會先找到那張報價單和對應的規格表,把相關段落和問題一起交給模型。這一整段交給模型的指令和資料,就叫提示。模型被要求只根據這幾段回答,並標出答案出自哪一份文件。
OpenAI 在說明怎麼提高模型準確度時,拿考試打過一個比方。微調(拿資料再訓練一次模型,讓它記住)像是上了好幾個月的課,把東西記在腦子裡。RAG 則像開書考,可以把課本帶進考場,遇到題目再翻。OpenAI:提升 LLM 準確度 這個比方可以再往下推一點:
RAG 就像一場開書考。
考生可以帶課本進考場,但每一個環節都會影響分數:
- 課本:就是你放進去的公司文件。課本裡沒寫的事,考生翻得再快也答不出來。
- 翻到對的那一頁:就是檢索,也就是從所有文件裡找出和問題相關的段落。翻錯頁,答案就會跟著錯。為了翻得快,課本要先分好章節、貼好索引標籤。分章節在 RAG 裡叫切段,貼索引標籤叫建立索引(把文件整理成可以快速搜尋的形式),下面的表格會逐步說明。
- 只照課本寫:這場考試另外規定,答案只能照課本寫、不能憑印象補。也就是要求模型只依找到的段落作答。
- 寫上頁碼:這也是額外的規定,就是附出處,改考卷的人才能翻回去核對。
- 帶錯版本的課本:如果書包裡同時有舊版和新版,考生翻到哪一版就照哪一版寫。所以接了 RAG 之後,答錯版本的事還是可能發生,就跟開頭那位業務助理翻到第 2 版一樣。
- 有些章節只有特定考生能翻:例如底價那一章只給財務和業務主管看,這就是權限。
比喻不成立的地方是,真正的考生多少讀過整本書,而 RAG 的模型對你公司的文件,只看得到這次翻到的那幾頁。沒翻到的部分,它只能靠自己原本的記憶去補。直接問 ChatGPT 會亂猜,就是這個原因,所以才要規定它只照段落寫。公司內部的規格、價格和流程會一直改,所以這類知識適合讓模型在回答時去查。要是讓模型背下來,每改一次就得重新教一次。
開書考的三個環節:翻到對的那一頁、只照課本寫並寫上頁碼,還有別帶錯版本的課本。
RAG 是什麼:讓 AI 先查資料,再回答
RAG 是讓 AI 先從你的文件找出相關段落,再依這些段落回答的做法。
它是 Retrieval-Augmented Generation 的縮寫,中文常翻成「檢索增強生成」。這個詞來自 Patrick Lewis 等人在 2020 年發表的論文。他們把模型能用的知識分成兩種。一種是模型在訓練時學到、存在模型裡面的知識,另一種是放在模型外面、整理成可以搜尋的文件庫。
RAG 就是讓模型在寫答案時,也能去查後面這一種。
論文當時就點出,RAG 能幫模型交代答案出處,也讓知識更容易更新。Lewis et al.(2020)
AWS 的定義講得很直白:讓大型語言模型在產生回答之前,先去查訓練資料以外、可靠的資料來源。AWS:什麼是 RAG 放到企業裡來看,好處是:
- 不用重新訓練模型,就能用上公司的資料。例如價格表改了,只要更新文件、重新建立一次索引就好。舊的那份要記下停用日期或移出。
- 答案可以附上出處。使用者可以點回原文核對,這點對客服和業務特別重要,因為他們回給客戶的內容是要負責的。
- 資料來源由你控制。哪些文件能被查、誰可以查,都由你決定,例如底價那份只開給財務和業務主管,不必等模型廠商重新訓練。
回到開頭的例子。模型本身不知道 A 客戶用的是哪一版規格,因為這件事只存在你們的報價單和規格表裡。RAG 補上的,就是「先去查」這一段。
RAG 架構與原理:從提問到答案的六個步驟
RAG 的運作分成索引、檢索、生成三段,共六個步驟。第 1、2 步是索引,在文件放進系統時就先做好,不用等人提問。第 3、4 步是檢索,每次有人提問才跑。第 5、6 步是生成,由模型依找到的段落寫答案並附上出處。
各家平台的細節不同,但流程大致相同。我用「A 客戶上次的報價單用哪一版材料規格」這個問題,把六個步驟走一次:
| 步驟 | 在做什麼 | 在報價單例子裡 |
|---|---|---|
| 1. 切段(chunking) | 把文件切成一小段一小段,讓每一段都可以單獨被找到 | 報價單切成表頭、品項、備註;規格表按章節切 |
| 2. 建立索引 | 用 embedding 模型把每一段轉成一串代表意思的數字(向量),方便用意思比對;同時保留關鍵字索引,用原字比對;也記下文件日期、版本、生效與停用日期、誰能看 | 「材料規格」「AL6061-T6」這類字串都查得到;第 2 版記著 2026-06 停用,第 3 版記著 2026-06 起生效 |
| 3. 檢索 | 系統拿問題去索引裡找,先撈出可能相關的幾十段;也可以加上條件,排除不符合條件的文件 | 這一題查兩次。先用客戶名稱找 A 客戶最近的報價單(2026-08),再用「2026-08 當時有效」找規格表。第 2 版在那之前已停用,所以被排除 |
| 4. 重排(rerank) | 把找回來的段落再評一次分,只留下最相關的幾段 | 這一題的有效條件已經排除第 2 版,重排只是把報價單備註欄和第 3 版版本紀錄排在最前面;撈回很多相似報價單時,重排才會有明顯作用 |
| 5. 組成提示 | 把問題、段落和作答規則組成提示(交給模型的那一整段指令和資料),一起交給模型 | 規則是「只依這些段落回答,找不到就說找不到」 |
| 6. 生成並附出處 | 模型依段落寫答案,並標出每一句來自哪份文件 | 「第 3 版,出處:2026-08 報價單備註(依現行規格表)、規格表第 3 版的版本紀錄(2026-06 起生效)」 |
表格第 3 步的兩次查詢,是誰決定的?在這個例子裡,是你事先寫好的固定流程:遇到這類問題,就先查報價單,再查報價當時有效的規格表。
如果讓模型自己決定先查什麼、查幾次,就是下面 Azure AI Search 那種由模型規劃查詢的做法。它做的仍然只是找資料,要進系統建單、改資料,才是後面說的 agent。
第二步的「用意思比對」,是 RAG 最常被拿出來介紹的部分。例如問題寫的是「交期」,文件寫的是「出貨日」,兩個詞意思相近,系統一樣找得到。
不過料號、訂單編號、錯誤代碼這類字串,只用意思比對反而容易找到長得像、但其實不是的那一筆。多數平台因此會把兩種比對合起來用。這種做法放在下面的 Hybrid RAG。
問題比較複雜時,有些平台會先讓模型把一個問題拆成幾個小問題,再分頭去查。例如 Microsoft 的 Azure AI Search 遇到「A 客戶上次的報價單用哪一版規格、交期多久」這種問題。它可以拆成規格、交期兩個查詢。它會同時去找,再把結果合起來。
這項功能目前還在預覽階段,也就是還沒正式推出、之後可能調整。Microsoft 對新的 RAG 專案,建議從這種會拆子查詢的 agentic retrieval 起手。
只能用正式推出的功能、求簡單快速,或想保留既有程式與細部控制時,再用傳統的混合搜尋做法。Microsoft Learn:RAG 與 Azure AI Search
最後一步的出處,就是開書考寫上的頁碼,決定了答案能不能被核對。例如 OpenAI 的檔案搜尋工具,會在回答裡標出引用了哪一個檔案。OpenAI:File search 要求答案附出處,是之後能驗收的前提,因為沒有出處,你就沒辦法確認答案是不是真的從文件裡來的。
切段和建立索引在文件放進來時就先做好;每次有人提問,系統先找出幾十段,重排後只留最相關的幾段,模型再依這幾段回答並附上出處。
RAG 有哪些類型:Vector RAG、Graph RAG、Hybrid RAG
常被拿來比較的 RAG 做法有三種,差別在檢索時用什麼方式找資料。Vector RAG 用意思找,Graph RAG 用關係找,Hybrid RAG 同時用意思和原字找。
Vector RAG:用意思找相近的段落
只用向量比對的做法叫 Vector RAG,也就是前面六步表第 2 步裡向量索引那一半。它把每一段轉成向量,提問時也把問題轉成向量,再找意思最接近的幾段。
優點是問法和文件用詞不同時也找得到。缺點是料號、材料牌號這類要一字不差的字串容易抓偏,細節見下面的 Hybrid RAG。
Graph RAG:用關係找相連的資料
如果業務問的是「A 客戶這三年用過哪幾版材料規格,每一版改了什麼」,答案就散在好幾張報價單和好幾版規格表裡。要沿著「客戶→報價單→規格版本」這條關係一路找過去,這時才值得考慮 Graph RAG。開頭那一題只問一張報價單用哪一版,向量加關鍵字就找得到,不需要它。
Graph RAG 泛指用知識圖譜(記下實體和彼此關係的資料)來找資料的 RAG。最常被提到的是 Microsoft Research 的 GraphRAG:它先請模型把整批文件讀過一遍,整理出裡面的人、地點、組織和它們之間的關係。接著依關係分群,事先替每一群寫好摘要,回答時同時用這張關係圖和摘要。
Microsoft 指出,一般 RAG 不容易把分散在不同文件的資訊串起來。Microsoft Research:GraphRAG
Hybrid RAG:意思和原字一起找
這篇說的 Hybrid RAG 是混合檢索,讓意思比對和原字比對各找一輪,再把結果合起來。也有人用 Hybrid RAG 指向量檢索加上 Graph RAG。看到這個詞時,先確認對方指的是哪一種。
Anthropic 在說明怎麼改善檢索時舉過例子。使用者查「Error code TS-999」這種精確的代碼時,照原字比對的關鍵字搜尋更容易找到正確的文件。意思比對反而容易偏掉。Anthropic:Contextual Retrieval
報價單例子裡的材料牌號「AL6061-T6」就是這種字串,混合檢索讓原字比對補上這一塊。
Google Cloud 介紹進階搜尋引擎時也提到這種做法,Microsoft 則直接建議這樣用。
語意搜尋(也就是前面說的用意思比對)和關鍵字搜尋各找一輪再合併,可以盡量少漏掉相關的段落。接著再用重排,把最相關的結果排到前面。Google Cloud:什麼是 RAG、Microsoft Learn:RAG 與 Azure AI Search
文件以文字為主時,例如規格書、規章和報價單,第一個知識庫可以先用混合檢索。再用驗收的結果決定要不要加別的做法。
RAG、長上下文、微調和 agent 怎麼選
看完 RAG 的幾種做法,接著確認你的需求適不適合用 RAG。文件多、會持續更新又要附出處,或者要依版本、權限過濾時,就選 RAG;文件少選長上下文,要改語氣或格式選微調,要進系統做事選 agent。
長上下文:文件少,就整份放進去
長上下文的意思,是模型一次可以讀進很長的內容。所以文件量不大的時候,你可以直接把整份文件放進提示裡,連檢索都不用建。例如只有一份 30 頁的規格表,整份貼進去就能問「最小孔徑是多少」。
Anthropic 的建議是,知識庫小於 20 萬個 token(他們估大約 500 頁)時可以這樣做。token 是模型計算文字長度的單位,實際能放幾頁,用模型的 token 計數工具量過才準。這篇的表格先用 100 頁當起點,是我們刻意抓得保守的估法。Anthropic:Contextual Retrieval
Google 的 Gemini 文件也提到,長上下文讓你可以一開始就把相關資料全部交給模型。但如果同一次要找好幾個分散的資訊,準確度會下降。Gemini API:Long context
另外,因為每次提問都要付整份文件的輸入費用,常用的內容可以搭配快取來降低成本。快取就是把同一份內容先存起來重複使用。Gemini API:Long context
微調:處理的是模型的行為
微調是拿你準備的範例再訓練模型一次,讓它的回答方式跟著改變。OpenAI 建議的順序,是先改提示、建一組測試題來評估,再決定下一步。如果模型缺的是它沒學過的知識,就用 RAG 這類補資料的方法。如果問題是格式不穩、語氣不對、推理方式不一致,才用微調。這兩種方法也可以疊在一起用。
格式不穩和語氣不對,指的是例如同樣是回覆報價,有時列成清單、有時寫成一整段,或者語氣一下客氣、一下隨便。
所以拿微調去教模型每個月都在改的價格表,方向就錯了,因為價格一改,你就得再訓練一次。
agent:查完資料,還要進系統做事
agent 指的是會自己決定下一步、呼叫系統工具去完成任務的 AI。如果需求不只是查答案,還要進系統做事,例如建立報價單草稿、改訂單狀態,這時才需要 agent。
在這種情況下,RAG 通常是 agent 手上的一個工具,負責查資料。兩者的差別,可以看 AI agent 和聊天機器人、RPA、自動化流程差在哪。
幾種做法放在一起看
| 你的需求 | 先試 | 理由 |
|---|---|---|
| 同事查規格、問政策,文件約 100 頁以內(我們抓的保守起點) | 長上下文 | 不用建索引,整理好文件直接放進提示 |
| 文件上百份、會持續更新,要附出處 | RAG | 只拿相關段落;文件改了,重建索引就能用上新內容 |
| 答案內容都對,但格式、語氣每次不一樣 | 先改提示,不夠再微調 | 問題出在模型的回答方式,補資料幫不上忙 |
| 查完資料還要去系統建單、改狀態 | agent,RAG 當其中一個工具 | 需要多步驟操作與人工確認 |
| 要查的是數量、金額、庫存 | 直接查資料庫或表格 | 答案要一字不差,直接查系統裡的欄位,不從文件段落裡讀數字 |
用報價單的例子來說,如果要查的只有一份規格表,直接整份放進提示就好。實際的情況是報價單有幾百張、每個月還在增加(文件多、會持續更新)。
報價單和規格表都是文件,業務要的答案要附出處,規格表又新舊版並存,要依報價日期取當時有效的那一版。三個條件都成立,所以適合 RAG。業務希望 AI 直接開好報價單草稿,才需要 agent。
文件以文字為主的話,第一個知識庫問答可以先用 RAG 或長上下文開始,不用一開始就做成 agent。至於第一個流程要怎麼挑,可以看哪些企業流程適合先交給 AI agent。
企業常見的 RAG 應用
| 場景 | 誰在問 | 查什麼文件 | 用 RAG 還是長上下文 |
|---|---|---|---|
| 客服回信(AI 客服) | 客服人員 | 過去的來信、出貨與退換貨規則、產品手冊 | 規則上百份又常更新,用 RAG |
| 業務報價 | 業務 | 幾百張報價單和各版規格表 | 用 RAG;只有一份規格表就長上下文 |
| 品保查標準 | 品保人員 | 檢驗標準、作業指引 | 約 100 頁內(保守起點)用長上下文,跨產線多版本再用 RAG |
| 內部規章問答 | 新進員工、行政 | 請假、採購、報帳規定 | 文件少用長上下文,多部門多版本用 RAG |
| 舊文件整理(知識庫準備) | 資訊或專案人員 | 散在共用硬碟和信箱的文件 | 先整理,再建 RAG |
RAG 答錯時,每一步常見的五種錯誤
RAG 答錯時,常見的原因有五種:找錯段落、找到舊版、權限沒跟著設、表格和掃描檔,以及答案沒附出處或出處對不上。很多人遇到答錯,第一個反應是換更強的模型,但這五種裡,前四種可以先在資料和檢索端查,只有最後一種出在寫答案。
找錯段落
如果問題和文件的用詞不同、問題問得太模糊,或者文件裡有很多相似的段落,檢索就可能抓錯。例如業務問的是 A 客戶的報價單,系統卻抓到 B 客戶一張料號很像的報價單。
要確認的話,先別急著看最後的答案。直接看這一題檢索回來的前幾段是什麼。
找到舊版
例如規格表第 2 版和第 3 版都放在資料夾裡。業務問「6061 鋁材最小孔徑是多少」時,檢索找到哪一版,模型多半就照哪一版回答。這是資料端的問題。段落裡就算有版號,也不能指望模型自己判斷哪一份才是現行版本。
比較可靠的做法,是在建立索引時替每一版記下生效和停用日期。檢索時就只找現行有效的那一版;如果問的是更早的報價單,條件就改成報價當時有效的那一版。
權限沒跟著設
財務的報價底價,應該只給財務和業務主管看。
但如果索引裡沒有記下每份文件的權限,任何人一問,都可能把它找出來。Microsoft 的文件把這類做法稱為 document-level security trimming。檢索時只取出使用者有權限看的內容。Microsoft Learn:RAG 與 Azure AI Search
權限要在系統找資料的時候就擋掉。只在提示裡叫模型「不要說出來」的話,模型還是看得到那段內容。提問的人可以換個問法,或在問題裡夾帶「忽略前面的規則」這類指令,誘使它說出來,這種攻擊叫提示注入。
表格和掃描檔
表格被切段之後,某一段可能只剩下一行數字。例如某一段只剩「0.8|1.0|1.2」,被單獨找出來時,你看不出是哪種材質、哪個尺寸的孔徑。而掃描檔如果沒有經過文字辨識(OCR),裡面的字可能根本沒有進到索引。
答案沒附出處,或出處對不上
模型有時會在段落之外,自己補上一般常識。它也可能答案寫第 3 版,附的出處卻是第 2 版的規格表。
沒有附出處的答案,你沒辦法核對。出處對不上的答案更麻煩,因為讀的人看到有附出處,很容易就不再點回去確認。
| 症狀 | 通常出在哪一步 | 先查什麼 |
|---|---|---|
| 答非所問 | 檢索、重排 | 這一題找回來的前五段是什麼 |
| 答出舊規格 | 資料、索引 | 資料夾裡是否同時放了新舊版本 |
| 有人看到不該看的內容 | 索引、檢索 | 索引裡有沒有記下每份文件誰能看,找資料時有沒有依身分過濾 |
| 明明有文件卻答「找不到」 | 切段、索引 | 檔案是不是掃描檔、系統有沒有讀出裡面的字 |
| 答案看起來對,但出處對不上 | 生成 | 提示有沒有要求只依段落回答、逐句附出處 |
資料端要整理到什麼程度,可以看企業知識庫要整理到什麼程度,AI agent 才用得上的準備清單。
Microsoft 列出的 RAG 挑戰裡,就包括資料散在不同系統,以及權限控管。Microsoft Learn:RAG 與 Azure AI Search
例如規格書在共用硬碟、訂單和庫存在 ERP、客服紀錄在信箱,各有各的權限。接這些系統可以用 MCP。它是讓 AI 應用用同一種方式連到各種資料來源和工具的開放標準。細節看 MCP 是什麼。
這幾個系統要一個一個接,我們的企業 AI 營運方案包含需求診斷、系統串接和驗證上線。
答案怎麼驗收:找對段落和答對問題分開記
驗收時要把「找對段落」和「答對問題」分開記,因為兩者出錯的原因和修法不一樣。OpenAI 在前面提到的那份準確度指南裡,把 RAG 的失敗分成兩類。一類是檢索給錯了資料,或是給了太多無關的資料,把重點淹沒了。另一類是資料給對了,模型卻用錯了。
我建議這樣做:
- 從真實紀錄裡挑 20 到 30 題。題目要來自客服信、業務的 LINE 對話和內部表單裡實際被問過的問題,不要自己想。
- 每一題寫下標準答案,以及應該被找到的文件段落。例如「A 客戶報價單用哪一版規格」的標準答案是「第 3 版」。應該找到的段落是 2026 年 8 月那張報價單的備註欄,以及第 3 版規格表的版本紀錄。
- 放幾題文件裡沒有答案的問題。正確的反應是回答「找不到」,硬湊出一個答案就算錯。
- 每一題記下三件事:
- 段落有沒有找到:正確的段落有沒有出現在檢索結果的前五名。
- 答案對不對:和標準答案比對。
- 出處對不對得上:點回出處時,原文是不是真的寫著這件事。
記錄起來大概會像這樣:
| 題目 | 應該找到的段落 | 檢索有沒有找到 | 答案對不對 | 出處對不對得上 | 問題在哪 |
|---|---|---|---|---|---|
| A 客戶報價單用哪版規格 | 2026-08 報價單備註、第 3 版版本紀錄 | 有 | 對 | 對得上 | 沒有問題 |
| 6061 鋁材最小孔徑 | 規格表第 3 版 4.2 節 | 沒有,找到第 2 版 | 錯 | 指向第 2 版 | 舊版規格還留在資料夾裡 |
| B 客戶付款條件 | 合約附件二 | 有 | 錯,模型自己補上業界常見的「月結 60 天」 | 附件二沒寫 60 天 | 提示沒有要求只依段落回答 |
| 明年度調價幅度 | 文件裡沒有 | 沒有可找的段落 | 應該回答「找不到」 | 不該附出處 | 測試它會不會硬湊答案 |
這張表能告訴你該修哪一段。第二題要整理資料,第三題要改提示。如果只看答對幾題,你會把兩種問題混在一起修。
另外,文件改版之後用同一組題目再跑一次,才看得出有沒有退步。更完整的驗收設計,可以看 AI agent 專案怎麼驗收。
回到下午三點那則訊息。前面說過這個情境適合 RAG,接下來你要做的是:
- 整理資料:把報價單掃描檔做文字辨識,替每一版規格表記上生效和停用日期,檢索才能依報價日期取當時有效的那一版。
- 選一種做法起手:可以先用雲端平台代管的做法(見常見問題),或先用 NotebookLM 這類工具試放進文件、提問,不必先自己架。
- 跑一輪驗收題:從 LINE 對話和報價紀錄挑 20 到 30 題跑一輪,每題照上面那張表記下段落有沒有找到、答案對不對、出處對不對得上。
- 先訂放行門檻:門檻由你們依答錯的後果自己訂,下面的數字只是示範。例如 25 題裡,前五名找到正確段落至少 22 題、答對至少 22 題、出處對不上 0 題,文件裡沒有答案的題目全部回答「找不到」。沒達到就照症狀表修資料或提示,再跑一輪。
- 上線後每週抽查:從業務實際問過的題目抽一批,看前五名命中題數、答對題數和出處對不上的題數有沒有變差。文件改版之後也要重跑。
做到這幾步之後,業務在 LINE 上問同一題,該拿到的答案是「第 3 版」。出處是 2026 年 8 月報價單的備註欄和第 3 版規格表的版本紀錄。他點開出處確認一次,就能在客戶掛電話前回覆,你也比較不用再去翻共用硬碟。
常見問題
公司網站被 AI 搜尋引用,也是 RAG 嗎?
Google 自己的文件把這種做法稱為 RAG,也叫 grounding(讓回答有查到的資料當依據)。文件說 Google 搜尋的生成式 AI 功能(例如 AI 摘要和 AI 模式)依靠核心排名系統,從搜尋索引取回相關網頁,再從中查出事實來寫回答。Google Search Central:生成式 AI 功能最佳化
所以你的網頁要先被 Google 收錄,才有機會成為回答裡的來源連結。兩種搜尋的差別,可以看 AI 搜尋和傳統搜尋差在哪裡。
有了 RAG,AI 就不會答錯了嗎?
會少一些,但仍可能答錯。Google Cloud 的說法是 RAG 有助於減少生成式 AI 的幻覺,也就是模型一本正經地編出不存在的內容。不過前提是檢索有找對段落,模型也照著段落回答。
所以會對客戶承諾的內容,例如交期、價格、品質判定,建議保留人工確認,並要求答案附上出處,方便核對。
RAG 和微調可以一起用嗎?
可以,RAG 補知識、微調穩定格式與行為。不過多數企業的第一個專案先把 RAG 做好就夠了。等答案都對了、只剩格式不穩時,再評估微調。
一定要自己架向量資料庫嗎?
不一定。向量資料庫是專門存放、比對那串向量的資料庫。現在幾家雲端平台都有代管的做法,也就是由平台替你架好、維護。
OpenAI 的向量儲存(vector store)在檔案放進去時,會自動切段、轉成向量並建立索引。Azure AI Search 也有自動切段和向量化的流程。
Google Cloud 的 Agent Search(原本叫 Vertex AI Search)要在建立資料儲存庫(存放這批文件的空間)時就開啟切段功能。建好之後就不能再切換。
會選擇自己架的公司,通常是因為資料不能離開公司環境,或者需要更細的檢索調整。代管還是自己架怎麼選,可以看向量資料庫是什麼。只是想先試試「放進文件、提問、看引用」的效果,NotebookLM 這類工具不用自己架任何東西。
文件改版之後,RAG 要重新訓練嗎?
不用,要更新的是索引。你把新版文件放進去、舊版移出來,等索引同步完成,下一次提問就會查到新的內容。建議在文件改版的流程裡多加一步「確認索引已經更新」,再用固定的測試題抽查。
料號、訂單編號這種字串,RAG 找得到嗎?
只用意思比對的話,精確的字串比較容易抓偏。Hybrid RAG 會同時用原字比對,所以找料號和編號通常可靠許多。如果要查的是某張訂單的數量或狀態,讓系統直接查資料庫,通常會比從文件段落裡找更準。
參考來源
以下依各家官方文件整理,預覽功能與產品名稱以各家官方頁面當下為準。
- AWS:What is RAG (Retrieval-Augmented Generation)?
- Google Cloud:What is Retrieval-Augmented Generation (RAG)?
- Microsoft Learn:RAG and generative AI(Azure AI Search)
- Microsoft Research:GraphRAG: Unlocking LLM discovery on narrative private data
- OpenAI:Optimizing LLM accuracy
- OpenAI:File search
- OpenAI:Retrieval
- Anthropic:Introducing Contextual Retrieval
- Google Cloud:Parse and chunk documents(Agent Search)
- Google AI Studio:Long context
- Google Search Central:Optimizing for generative AI features on Google Search
- Google Search Central:AI features and your website
- Lewis et al.(2020):Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks
