企業 AI Agent 接入 RAG 知識庫：8 個踩坑實錄
從「把文件丟進向量庫」到「回答穩定可依賴」——RAG 落地的真實坑位清單
2026-08-17 · Leo · 踩坑 · 12 分鐘閱讀
⚠️ 本文是通用操作手冊，基於多個 RAG 落地的通用方法論整理，不指代任何真實客戶，所有數位為通用行業參考基線，僅作 SOP 參考。
TL;DR — 把企業文件接進 AI Agent 只完成了 20%。真正的坑在：chunk 切分策略、embedding 模型選型、檢索召回落優、權限隔離、幻覺控制、增量更新、評估閉環。本文列出 8 個高頻坑位 + 每個坑的「現象 → 根因 → 修法」，最後給一份可直接落地的通用 SOP。
一、坑 1：無腦按固定字數切 chunk，上下文被腰斬
現象
500 字的固定 chunk，把一份合同的關鍵條款從中間切斷。Agent 檢索到的是「半句話」，回答自然對不上。
根因
按字元硬切，破壞了語義邊界。表格、程式碼、條款列表最容易被切碎。
修法：先按結構切（標題/段落/表格/列表），再對超長區塊做軟切（帶 10-20% 重疊）。優先用 Markdown/HTML 結構感知切分器；表格單獨成一個 chunk，並保留表頭上下文。
二、坑 2：embedding 模型選錯，中文檢索像撞大運
現象
用英文優化的 embedding 處理中文文件，使用者問「報銷流程」，召回的是「財務報表」，相關性一塌糊塗。
根因
embedding 模型有語言傾向。中文場景需要中文語料訓練/微調的模型，且要關注 MTEB 中文榜單表現。
修法：中文場景優先選中文優化模型（如 bge-m3、bge-large-zh 等），並實測同義詞、行業術語的召回。選型後固定版本，不要隨意換模型——換模型 = 全部向量要重算。
三、坑 3：只靠向量檢索，精確關鍵字反而找不到
現象
使用者問「ERP 系統停機了怎麼辦」，向量檢索召回了一堆「系統維護計劃」，唯獨沒有包含「停機」的維運手冊。
根因
純向量檢索對精確術語、編號（如「GB/T 19001」）、縮寫（如「API、CRM」）的召回不穩定。BM25 關鍵字檢索恰好擅長這個。
修法：混合檢索（Hybrid Search）——向量召回 + BM25 關鍵字召回，再用 RRF（Reciprocal Rank Fusion）合併排序。這是 RAG 工程裡的標配做法，能同時抓住語義相關和精確匹配。
四、坑 4：權限不隔離，Agent 變成資訊洩露出口
現象
普通員工問一句「公司今年獎金方案是什麼」，Agent 把只有管理層可見的文件答出來了。
根因
知識庫是全域共享的，檢索階段沒有做權限過濾。
修法：文件入庫時打權限標籤（部門/角色/密級），檢索時按使用者身份過濾後再召回，LLM 只看到使用者有權看的內容。這個必須在檢索層做，不能指望模型「自覺」。
五、坑 5：幻覺沒控住，「編造」比「不知道」更致命
現象
Agent 在知識庫沒覆蓋的領域「自信地」給出錯誤答案，使用者拿去執行，出了問題。
根因
沒有設定「不知道就說不知道」的護欄，也沒有召回置信度閾值。
修法：① prompt 強制「僅基於檢索內容回答，內容不足時明確說不知道」；② 設定召回分數閾值，低於閾值直接拒絕回答；③ 對關鍵業務領域做答案校驗（如讓模型自檢引用來源）。
六、坑 6：文件更新了，Agent 還在回答舊版本
現象
新制度 7 月 1 日生效，員工 7 月中旬問 Agent，答的還是舊制度。
根因
知識庫只做了全量重建，沒有增量更新機制；或者更新後沒重新生成受影響文件的向量。
修法：建立「文件變更 → 重切分 → 重嵌入 → 覆蓋舊向量」的增量管線。文件要帶版本號和生效日期，檢索時優先取生效中的版本。管理後台要有「最近更新」可稽核。
七、坑 7：沒有評估集，優化全靠感覺
現象
切分參數改了、模型換了，但沒人說得清效果是變好還是變差。
根因
沒有標註好的問答評估集，也沒有可量化的召回/回答指標。
修法：從真實使用者問題裡挑 50-100 條做成評估集（問題 + 標準答案 + 引用來源），每次改動跑一遍：召回命中率、答案準確率、引用正確率。沒有評估集，RAG 優化就是開盲盒。
八、坑 8：把 RAG 當「一次性專案」，沒人維護
現象
上線熱鬧兩週，之後文件沒人更新、評估沒人跑、壞掉的源文件沒人修，Agent 回答品質肉眼可見下滑。
根因
RAG 不是一次性交付，是持續營運的知識資產。
修法：明確知識庫 Owner + 更新頻率 + 月度品質回顧。把 RAG 當作「內容營運」來管理，而不是「上線即結束」的專案。
九、通用 SOP：4 週從零到可用的 RAG 落地清單
- W1：盤點與切分 — 梳理知識源清單（制度/手冊/FAQ/表格），確定文件結構，選結構感知切分器，跑通「文件 → chunk → 向量」管線。
- W2：檢索調優 — 選定 embedding 模型 + 混合檢索，用 30-50 條真實問題驗證召回率，調整 chunk 大小與重疊參數。
- W3：接入與護欄 — 接入 Agent，加權限過濾、置信度閾值、「不知道就說不知道」的 prompt 護欄。
- W4：評估與上線 — 建 50-100 條評估集，跑基線指標，定更新機制與 Owner，灰度放量。