LLM 是什麼?大型語言模型的原理、限制與企業用法

ChatGPT、Claude、Gemini 背後都是大型語言模型。這篇拿一封客戶的詢價信從頭走一次,講 LLM 怎麼把文字切成 token、預測下一個字,它會在哪裡出錯,以及企業有哪幾種使用方式。

先說結論

LLM(大型語言模型)是用大量文字訓練、靠預測下一個 token 產生文字的模型,ChatGPT、Claude、Gemini 這些聊天產品背後用的都是它。它擅長讀、寫、摘要與改寫,但知識停在訓練資料的截止日,也會流暢地講錯。企業很少需要自己訓練模型:先用商用版聊天產品或 API 試一個流程,要查公司資料再加 RAG,要進系統做事才接 agent。

橡木桌上放著一封只有灰色線條的詢價信和一顆不鏽鋼法蘭,旁邊的排字盤上排了一列鉛字塊,鑷子夾著下一塊,頂面塗成螢光綠,後方是一個裝滿鉛字的木抽屜
LLM 是什麼?大型語言模型的原理、限制與企業用法 封面視覺

你在一家做不鏽鋼法蘭的工廠當業務經理,客戶都叫你王經理,每天要回幾十封詢價信。週會上老闆說:「隔壁那家說他們訓練了自己的 AI 在回信,我們是不是也該訓練一個自己的 LLM?」

大家散會後各自去搜尋,結果看到 GPT、Gemini、生成式 AI、RAG、agent 一整串名詞,越看越不確定該從哪裡回答。

要回答老闆,你得先知道 LLM 是什麼、怎麼產生答案,以及會在哪裡出錯。弄懂之後,你才判斷得下去:要不要讓它先查公司的文件(這叫 RAG),要不要讓它直接操作公司的系統(這叫 agent)。下面這種信你信箱裡很常見,這篇就拿它從頭走一次。

王經理您好,上次那批 SUS304 法蘭 500 件品質很穩定。這次想改成 800 件,交期能不能在 11 月 20 日前?單價可以再談嗎?報價請註明是否含稅與運費。謝謝。

LLM 是什麼意思:讀過大量文字、學會接下一個字的大型語言模型

LLM 是 Large Language Model 的縮寫,中文叫「大型語言模型」。它是用大量文字訓練出來、能讀懂也能寫出文字的模型,所以它能回答問題、翻譯、摘要和改寫(AWS、Google Cloud)。

法學碩士的縮寫「LL.M.」看起來很像,但這篇講的是 AI 的大型語言模型。

「大型」指的是訓練資料和參數都很多。光是 AWS 提到的 Common Crawl 網頁資料集,就有超過 500 億頁。GPT-3 的參數則有 1,750 億個。參數是模型內部可以調整的數值,訓練就是把這些數值一點一點調整,直到預測變準為止。

可以把 LLM 想成一個讀過大量文字的手機輸入法。

你在手機上打「上次那」,輸入法會跳出「批」「次」「個」讓你選,因為它看過很多人這樣打字。LLM 做的是同一件事,只是規模大很多。

  • 看前文猜下一個字:它看著目前為止的整段文字,猜接下來最可能是哪一個字。
  • 讀得越多,猜得越像樣:訓練時讀過的文字量大到難以想像。所以它接出來的句子通順、口氣也對。
  • 只管順,不管對:輸入法不會查證你打的字是不是事實,LLM 也一樣,它產生的是「最可能接下去的文字」,事實正確與否要另外把關。

這個比喻也有對不上的地方。輸入法只猜一兩個字、等你選,LLM 會照你的指令,自己一路接上幾百個字。而且 LLM 讀過的書沒有存起來可以翻查。

牛皮紙橡皮章插畫三段:① 手機輸入法,紙袋造型的小信差看著手機上方跳出的三個候選字泡泡;② 讀過大量文字,小信差坐在書本和網頁堆成的小山上;③ 一次接一個字,小信差把方形字塊一塊塊接到信上,最新那塊是螢光綠 輸入法和 LLM 都是看前文猜下一個字,差在 LLM 看過的文字多很多,也會自己一路接下去。

ChatGPT 是 LLM 嗎?LLM、生成式 AI、ChatGPT 和 AI agent 的關係

ChatGPT 是聊天產品,不是 LLM 本身,它背後用的 GPT 系列才是 LLM。Gemini 和 Claude 比較特別,同時是模型的名字,也是產品的名字。所以有人說「我在用 Gemini」,可能是指模型,也可能是指聊天應用。下表的名詞常被混在一起講,指的卻是不同層次的東西。

名詞是什麼在詢價信這件事上
生成式 AI能產生新內容的 AI 總稱,包含文字、圖片、聲音寫回信、生成產品圖都算
LLM生成式 AI 裡以文字為主的模型(新一代多半也能讀圖),例如 GPT、Claude、Gemini,以及 Google 的開放模型 Gemma讀懂詢價信、寫出回信草稿的那個模型
聊天產品把 LLM 包成介面給人直接用,例如 ChatGPT、Claude、Gemini App你把信貼進 ChatGPT 請它擬回信
RAG回答前先查你的文件,讓 LLM 依資料作答擬回信前先查公司的價目表和出貨紀錄
AI agent由 LLM 判斷下一步,自己去用查詢、寫入這類系統功能,把好幾個步驟做完讀信、查庫存、擬報價,再交給你確認後寄出

生成式 AI 能幫公司做哪些事、哪裡一定要人確認,整理在生成式 AI 是什麼。如果你要的只是分類或預測一個數字,不一定要用到 LLM,先看機器學習會比較清楚。

RAG 和 agent 則是在 LLM 外面,加上查資料或操作系統的能力。

AI 要連上 ERP(進銷存與生產管理系統)、CRM(客戶管理系統)去查訂單和客戶資料時,常用的共通規格是 MCP。

agent 和聊天機器人、RPA 的差別,可以看 AI agent 和聊天機器人、RPA、自動化流程差在哪。最近常聽到的 Agentic AI,是指能自己規劃、動手的 AI 系統,和 AI agent 的差別寫在 Agentic AI 是什麼。

LLM 怎麼運作:把文字切成 token,一次預測一個

先把文字切成 token

模型讀的不是「字」,而是 token,也就是模型處理文字時用的單位。一個 token 可能是一個中文字、兩個字組成的詞、一個英文單字、半個單字或一個標點。英文大約 4 個字元是一個 token(OpenAI)。中文的比例要看模型怎麼切,因為每一代模型切字的規則都不一樣。

我拿開頭那封詢價信,用 OpenAI 公開的切字工具 tiktoken 算了一次。這封信不算空白是 76 個字元,token 數則要看切法。

  • GPT-4o 之後、包括 GPT-5 系列用的切法(o200k_base):68 個 token。「您好」「品質」「可以」各被切成一個 token,「SUS」「304」也各算一個。
  • GPT-4 的切法(cl100k_base):101 個 token。很多中文字被拆成兩三段,同一封信多了將近五成。

更多中文文件的切法對照放在 AI 的 token 是什麼。token 直接關係到費用和上限。

  • 費用:API(讓公司系統直接呼叫模型的連接方式)通常按輸入與輸出的 token 數計價。輸出比輸入貴,常見是好幾倍。
  • 上限:每個模型一次能處理的 token 數有上限,稱為上下文長度(context window)。

所以要估成本,我建議拿真正會送進去的東西,例如一封詢價信加上報價單,用官方的 token 計算工具算一次,這會比套公式可靠。

一次預測一個 token

訓練的時候,模型會反覆調整參數,直到它能根據前面的 token,正確預測出下一個 token(AWS)。回信時也一樣。它看著詢價信和「請幫我擬一封回信」這句話,先猜回信開頭最可能的 token,例如「您好」。接上去之後再猜下一個,一路接到回信結束。

讓它能看懂一長段文字的,是 Transformer 架構,由 Google 研究團隊在 2017 年的論文〈Attention Is All You Need〉提出。它讓模型在處理每個字時,會回頭去看前面所有字跟它的關係。所以模型讀到「單價可以再談嗎」時,會把它和前面的「800 件」連起來,知道客戶是想用數量換價格。

但「上次那批」到底是哪一批,它只看得到這封信,並不知道。要回答這個,得去查出貨紀錄,這就是 RAG 要做的事。

預訓練之後,還要教它聽指令

如果模型只會預測下一個 token,你把詢價信貼給它、請它擬回信,它可能會接著寫出另一封詢價信,因為網路上的文字常常是這樣接下去的。所以要讓它變成能對話、能照指示做事的助手,還要再訓練幾輪。OpenAI 在 2022 年發表的 InstructGPT 論文,是這一步的代表做法:

階段在做什麼效果
預訓練用大量文字學會預測下一個 token學會語言、常識和大量知識
指令微調用人寫的「指令+理想回答」範例再訓練學會照指令回答
人類回饋強化學習(RLHF)請人替多個回答排序,讓模型往較好的方向調整回答更有幫助,較少捏造與有害內容

論文拿經過這兩步調整、只有 13 億參數的模型,和 1,750 億參數、沒有調整過的 GPT-3 相比。評分的人反而比較喜歡小模型的回答(Ouyang et al.(2022))。所以模型好不好用,除了參數多寡,訓練後怎麼調整也有很大的影響。

牛皮紙橡皮章插畫三段:① 預訓練,紙袋造型的小信差在成堆的書本裡把方塊一個個接下去;② 指令微調,一個人拿範例卡給小信差照著抄;③ 人類回饋,一個人替三份回答中最好的那份別上緞帶 第一段讓模型學會語言,後兩段才教它聽懂指令、回答得有幫助。

LLM 能做什麼、會在哪裡出錯

LLM 能做的是「文字進、文字出」的工作,會出錯的多半是它沒看過的事實和數字。

  • 擬回信和改寫:把客戶的詢價信貼進去,請它擬一封語氣得體的回信,或把你寫得太硬的句子改順。
  • 摘要:把來回十幾封的信件整理成一段。
  • 翻譯:把外國客戶的英文詢價信翻成中文。
  • 從信裡抓資料:抓出品名(SUS304 法蘭)、數量(800 件)、交期(11 月 20 日前),整理成固定格式填進報價系統。
  • 寫程式:寫一段整理出貨表的小程式。
  • 查公司文件回答:先查價目表和出貨紀錄再回信,這是 RAG。

但如果你只把那封詢價信貼給它、沒給任何公司資料,它很可能擬出這樣的草稿:

您好,感謝您再次詢價。800 件的單價可調整為每件 NT$185,交期可配合於 11 月 20 日前出貨,報價含稅、不含運費。上次那批的品質我們也會維持同樣的標準。

這封草稿讀起來很順。問題卻藏在三個地方:NT$185 的單價、「上次那批」的品質、11 月 20 日的交期。這三處剛好對應 LLM 最常見的限制,而「補資料進去就好」也有它的限制。

知識停在訓練資料的截止日

模型只知道訓練資料裡有的東西。你們十月才調過的 SUS304 單價,它不會知道。所以 NT$185 這個數字只能照它讀過的行情去猜。

Anthropic 的模型總覽會分開列「可靠知識截止」和「訓練資料截止」兩個日期。前者之前的事,模型知道得最完整可靠,兩個日期之間的就比較零碎(Anthropic:Models overview)。

上下文有上限,塞越多不一定越好

那把價目表補進去就好了嗎?上下文長度是模型一次能讀進去的文字量。你貼的信、附上的文件、先前的對話和模型的回答,全都算在這個額度裡。

Anthropic 也提醒,一次放進去的內容越多,模型越容易漏看或記錯其中的細節(Anthropic:Context windows)。所以如果你把整本產品型錄貼進去,模型反而可能漏看客戶問的那個規格。

與其放得越多越好,不如挑對要放進去的內容。agent 每一步該放哪些資料,可以看 Context Engineering 是什麼。

會流暢地講錯

「上次那批的品質我們也會維持」這句,模型根本不知道上次那批是什麼,卻寫得像真的一樣。這就是一般說的「AI 幻覺」,NIST 的描述是:模型會自信地產出錯誤或虛構的內容(NIST AI 600-1)。客戶若追問「能不能耐 400 度」,型錄裡沒寫,模型也可能流暢地回答「可以」。

它為什麼會這樣、企業可以怎麼降低,我另外寫在 AI 幻覺是什麼。

精確數字和即時資料要交給系統

「11 月 20 日前出貨」是一個承諾,但模型沒看過產線排程。800 件的單價、現貨還剩幾件、交期排不排得進,這類答案要由 ERP 或報價系統算出來。

LLM 負責讀懂客戶要問什麼、交給系統查,再把結果寫成回信。所以要精確的部分交給系統,要理解和表達的部分交給 LLM。

常見的 LLM 模型有哪些

常見的 LLM 有 GPT、Claude、Gemini、Gemma、Llama、Qwen 六個家族。它們的差別在誰開發、能不能下載到自己的機器,以及從哪裡使用。前三個要透過開發公司的產品、API 或雲端平台使用。後三個是開放模型,模型檔案公開,可以下載到自己的機器上跑。

模型家族開發公司能下載到自己的機器嗎常見使用入口
GPTOpenAI不能。OpenAI 另外釋出的 gpt-oss 可以下載ChatGPT、OpenAI API
ClaudeAnthropic不能Claude 聊天產品(claude.ai)、Claude API、Amazon Bedrock、Google Cloud、Microsoft Foundry
GeminiGoogle不能Gemini App、Gemini API、Google AI Studio、Google Cloud
GemmaGoogle能,在 Kaggle 和 Hugging Face 上下載後在自己的硬體上跑,也有託管服務
LlamaMeta能,在 Hugging Face 上同意授權條款後下載。Meta 新一代的 Muse 也有可下載版本下載後在自己的硬體上跑
Qwen阿里巴巴的 Qwen 團隊能,在 Hugging Face 和 ModelScope 上Qwen Chat 網站、下載後自己跑

選型時我建議用自己的測試題比一次。如果詢價信完全不能出公司,就從開放模型裡挑。我們拿同一批信實測 gpt-oss、Gemma、Qwen 的結果,寫在 Ollama 教學。

企業用 LLM 的四種方式

企業用 LLM 有四種方式:商用版聊天產品、API、雲端平台和自架開放模型。同樣是讓 LLM 幫忙回詢價信,用法不同,信件內容會送到哪裡、成本和維運負擔就差很多。

方式這封詢價信會去哪適合要注意
商用版聊天產品(ChatGPT Business/Enterprise 等)你貼進公司帳號的 ChatGPT;OpenAI 寫明這類方案的資料預設不用於訓練員工日常寫作、摘要、查找個人免費版預設可能用於改善模型,公司資料別放個人帳號
API(讓公司系統直接呼叫模型)報價系統自動把信送給模型;OpenAI 寫明 API 資料預設不用於訓練,為了檢查違規使用會保留紀錄最多 30 天把 LLM 接進自己的系統或流程要有人寫程式、保管 API 金鑰(系統登入模型用的密碼)、盯用量
雲端平台(Amazon Bedrock、Google Cloud、Microsoft 的 AI 平台 Foundry)公司雲端帳號裡、你選定地區的機房,依雲端合約處理已經在用某家雲端,想統一帳務與權限各平台提供的模型版本與停用時程不同,以平台公告為準
自架開放模型(如 Gemma)留在公司自己的伺服器資料不能離開公司環境、用量大且穩定硬體、更新、效能調校都要自己來

員工已經在用免費版,是最常見的風險。個人帳號要到設定裡的「資料控制」關掉「為所有人改善模型」,新的對話才不會被拿去訓練。與其禁止業務把詢價信貼進個人帳號,我會建議直接提供商用版帳號,並講清楚哪些資料不能貼。商用版怎麼選,可以看企業版 AI 助理怎麼選。員工私下用 AI 的風險與規範,可以看 Shadow AI 是什麼。

我的建議順序是:先用商用版聊天產品或 API 把一個流程跑順,確定值得做,再決定要不要換成雲端平台或自架。因為一開始就自架,很容易花好幾個月架環境,卻還沒碰到業務問題。

要不要訓練自己的 LLM

多數中小企業不需要,因為從零開始訓練一個 LLM,要大量的資料、運算資源和專業團隊,幾乎不划算。老闆說「用我們的資料訓練一個回詢價信的 AI」時,想要的通常是下表其中一件事。

你真正想要的做法需要重新訓練模型嗎
回信時用上公司的價目表、出貨紀錄、交期規則RAG 或把文件直接放進上下文;RAG 怎麼找到意思相近的段落,可以看向量資料庫是什麼不用
回信的格式、語氣固定先改給 AI 的指令(提示詞),不夠再用公司範例把模型再訓練一輪(微調)微調才需要,而且是在既有模型上調整
AI 能查庫存、建立報價單agent+系統串接(如 MCP)不用
詢價信完全不能出公司自架開放模型,再搭 RAG通常不用,直接用現成的開放模型

OpenAI 在談提高準確度的指南裡,也把「模型缺知識」和「模型行為不對」分開處理。缺知識的時候用 RAG 補上相關資料。行為不穩定的時候,才用微調(OpenAI:Optimizing LLM accuracy)。

前面那封草稿的三個問題,沒有一個是重新訓練模型能解決的。單價和上次那批要查資料,交期要查系統。而且單價、規格和交期規則會一直變,所以用查資料的方式接進來,會比訓練進模型好維護。資料要整理到什麼程度才接得上,可以看企業知識庫要整理到什麼程度,AI agent 才用得上。

所以下一次週會,你可以這樣回老闆。不用訓練自己的模型,先用商用版帳號試 30 封真實的詢價信,讓 AI 擬草稿、你改完再寄。兩週試下來,如果你改得最多的是單價和交期,下一步就是讓它先查價目表和出貨紀錄,也就是 RAG。交期則等它能查產線排程,再考慮做成 agent。

導入前先確認的五件事

  1. 挑一個流程,寫出現在花多少時間。例如「回覆詢價信,每封平均 15 分鐘」。流程怎麼挑,可以看哪些企業流程適合先交給 AI agent。
  2. 列出會碰到的資料和它們的權限。報價底價、客戶個資、還沒公開的產品計畫,各自能交給哪一種使用方式。
  3. 準備 20 到 30 封真實的詢價信當測試題。其中要有幾封問到資料裡沒有答案的,看模型會不會老實說不知道。指令的寫法看提示詞怎麼寫,驗收的設計看 AI agent 專案怎麼驗收。
  4. 決定哪裡要人確認。對外寄出的信、會改到資料的動作,先設成草稿、等人放行。細節在 AI agent 的權限與人工確認怎麼設。
  5. 用真實文件估一次 token 用量,例如一封詢價信加價目表。把這個用量乘上每天的封數,就能推算一個月的費用區間。

這五件事寫得出來,找平台、找供應商或自己做都比較好談。自建、買平台或委外怎麼選,可以看企業 AI agent 自建、平台或委外。

我們的企業 AI 營運方案會依每個步驟的需要,在 OpenAI、Claude、Gemini 之間配置模型。這樣能兼顧反應速度與成本。

常見問題

常見的 LLM 有哪些?

最常見的是 GPT、Claude、Gemini、Gemma、Llama、Qwen,差別整理在上面的表格。

LLM 會記得我上次跟它說過的話嗎?

模型本身不會。每次回答時,它只看得到這次送進上下文裡的內容,包括這段對話先前的訊息。有些聊天產品另外做了記憶功能,會把你的偏好存下來、下次自動放進上下文,可以在設定裡查看或關閉。

自架開放模型,資料就一定安全嗎?

資料不會送到外部供應商,這點確實比較單純。但誰能存取這台機器、輸出有沒有留紀錄,還是要處理。看不到某份資料的員工,透過模型是不是也看不到,也要確認。所以自架之後,權限和稽核照樣要做。

公司可以只選一家模型嗎?

可以,而且第一個專案我會建議先專心用一家。等流程穩定之後,再依任務分配,例如擬回信用能力強的模型,抓品名和數量用便宜快速的模型。呼叫模型的程式集中在同一處,之後要換或混用都比較容易。

參考來源

以下依官方文件與原始論文整理,資料政策、模型名稱與平台支援範圍以各家官方頁面當下為準。

從這篇繼續看相關內容

依文章主題整理同站文章、服務/產品與 FAQ 入口,讓下一步有清楚的閱讀方向。

延伸閱讀

下一步

服務入口

了解企業 AI 營運導入

名詞弄清楚之後,看 AI agent 怎麼接進既有系統,以及哪些動作要人工確認。

查看相關頁面

常見問題

AI 的 token 是什麼?

用量和費用怎麼算,先看一題直接回答。

查看 FAQ 解答

企業 AI 落地實踐

把文章裡的判斷帶回你的流程

從一個實際工作流開始,與 EthorX 共同釐清 AI agents 的導入起點。