AI Agent 導入

AI agent 可以不經人確認,直接寄信或修改資料嗎?

先看解答

技術上可以設定,但上線初期建議先不要。權限可以分成唯讀、產出草稿、低風險寫入、需人工確認與禁止五級:在內部系統加備註這類能復原的動作,可以讓 agent 自己做;寄信給客戶、報價、退款這類無法復原或有對外承諾的動作,先保留人工確認。OWASP 把功能過多、權限過大、自主過高列為 agent 過度授權的三個來源。

確認點要少而準

確認點設太多,審核的人會開始直接按同意,確認就只剩形式。比較好的做法是只在對外寄送、影響客戶或無法復原的動作設確認,並讓確認畫面一眼看出重點。

假設業務 agent 要寄一封報價信,確認畫面至少列出收件人是否和 CRM 聯絡人一致、信中單價與數量和報價單系統的數字並排,以及這封信對應哪一筆商機。審核的人看得出差異,確認才有意義。

五個權限等級、操作紀錄欄位與緊急停用的準備,整理在 AI agent 的權限與人工確認怎麼設。

參考來源

  1. OWASP:LLM06:2025 Excessive Agency(另開分頁)
  2. OpenAI Agents SDK:Human-in-the-loop(另開分頁)
  3. OpenAI:A practical guide to building agents(另開分頁)
回到AI Agent 導入