資料內(nèi)容:
一、RAG基礎(chǔ)功能篇
1.1 RAG 工作流程
從RAG的工作流程看,RAG 模塊有:文檔塊切分、文本嵌入模型、提示工程、大模型生成。
二、RAG 各模塊有哪些優(yōu)化策略?
• 文檔塊切分:設(shè)置適當(dāng)?shù)膲K間重疊、多粒度文檔塊切分、基于語義的文檔切分、文檔塊摘要。
• 文本嵌入模型:基于新語料微調(diào)嵌入模型、動態(tài)表征。
• 提示工程優(yōu)化:優(yōu)化模板增加提示詞約束、提示詞改寫。
• 大模型迭代:基于正反饋微調(diào)模型、量化感知訓(xùn)練、提供大context window的推理模型。
此外,還可對query召回的文檔塊集合進行處理,比如:元數(shù)據(jù)過濾[7]、重排序減少文檔塊數(shù)量[2]。
三、RAG 架構(gòu)優(yōu)化有哪些優(yōu)化策略?
3.1 如何利用 知識圖譜(KG)進行上下文增強?
3.1.1 典型RAG架構(gòu)中,向量數(shù)據(jù)庫進行上下文增強 存在哪些問題?
向量數(shù)據(jù)庫進行上下文增強 存在問題:
1. 無法獲取長程關(guān)聯(lián)知識
2. 信息密度低(尤其當(dāng)LLM context window較小時不友好)
3.1.2 如何利用 知識圖譜(KG)進行上下文增強?
• 策略:增加一路與向量庫平行的KG(知識圖譜)上下文增強策略。