資料內(nèi)容：
一、為什么需要 對 RAG 進行評測？
在探索和優(yōu)化 RAG（檢索增強生成器）的過程中，如何有效評估其性能已經(jīng)成為關(guān)鍵問題。
二、如何合成 RAG 測試集？
假設你已經(jīng)成功構(gòu)建了一個RAG 系統(tǒng)，并且現(xiàn)在想要評估它的性能。為了這個目的，你需要一個
評估數(shù)據(jù)集，該數(shù)據(jù)集包含以下列：
• question（問題）：想要評估的RAG的問題
• ground_truths（真實答案）：問題的真實答案
• answer（答案）：RAG 預測的答案
• contexts（上下文）：RAG 用于生成答案的相關(guān)信息列表
前兩列代表真實數(shù)據(jù)，最后兩列代表 RAG 預測數(shù)據(jù)。
要創(chuàng)建這樣的數(shù)據(jù)集，我們首先需要生成問題和答案的元組。
接下來，在RAG上運行這些問題以獲得預測結(jié)果。
• 生成問題和基準答案（實踐中可能會出現(xiàn)偏差）
要生成（問題、答案）元組，我們首先需要準備 RAG 數(shù)據(jù)，我們將其拆分為塊，并將其嵌入向量
數(shù)據(jù)庫中。 完成這些步驟后，我們會指示 LLM 從指定主題中生成 num_questions 個問題，從而得
到問題和答案元組。
為了從給定的上下文中生成問題和答案，我們需要按照以下步驟操作：
1. 選擇一個隨機塊并將其作為根上下文
2. 從向量數(shù)據(jù)庫中檢索 K 個相似的上下文
3. 將根上下文和其 K 個相鄰上下文的文本連接起來以構(gòu)建一個更大的上下文
4. 使用這個大的上下文和 num_questions 在以下的提示模板中生成問題和答案
