AI Agent 導入
AI 的 token 是什麼？用量和費用怎麼算？
先看解答
token 是模型讀寫文字的最小單位，可能是一個字、半個單字或一個標點；OpenAI 的換算是英文約 4 個字元一個 token，中文的比例不同。API 依輸入與輸出的 token 數分開計價，以每 100 萬 token 為單位，輸出通常比輸入貴好幾倍，重複送出的內容走快取會便宜很多。要估每月費用，拿一份真正會用到的文件算一次 token，再乘上每天的使用次數。
一次請求的費用從哪裡來
舉個例子。客服 AI 每回一封信，送進模型的有三樣東西：系統指令、從知識庫找到的兩段文件，以及客戶的來信，這些都算輸入 token；模型寫出的回信是輸出 token。系統指令每封信都一樣，這種重複內容如果走快取，OpenAI 價目表上的快取輸入單價只有一般輸入的十分之一。
同一家廠商的大模型和小模型，單價可能差上百倍。所以估費用時，先決定這個工作需要哪一級的模型，再用官方的 token 計算工具，把一封典型來信加上會附的文件實際算一次。
中文怎麼估
各家模型切 token 的方式不同，網路上的「一個中文字等於幾個 token」只能當粗估。中文 token 的估法與上下文長度的限制，寫在 LLM 是什麼。