資料內容：
1 大模型怎么評測？
當前superGLUE, GLUE, 包括中文的CLUE 的benchmark都在不太合適評估大模型?？赡茉u估推理能力、多輪對
話能力是核心。
2 大模型的honest原則是如何實現(xiàn)的？模型如何判斷回答的知識是訓練過的已知的知識，怎么訓練這種能力？
大模型需要遵循的helpful，honest， harmless的原則。
可以有意構造如下的訓練樣本，以提升模型準守honest原則，可以算trick了：
微調時構造知識問答類訓練集，給出不知道的不回答，加強honest原則；
閱讀理解題，讀過的要回答，沒讀過的不回答，不要胡說八道。
3 如何衡量大模型水平？
要評估一個大型語言模型的水平，可以從以下幾個維度提出具有代表性的問題。
• 理解能力：提出一些需要深入理解文本的問題，看模型是否能準確回答。
• 語言生成能力：讓模型生成一段有關特定主題的文章或故事，評估其生成的文本在結構、邏輯和語法等方面
的質量。
• 知識面廣度：請模型回答關于不同主題的問題，以測試其對不同領域的知識掌握程度。這可以是關于科學、
歷史、文學、體育或其他領域的問題。一個優(yōu)秀的大語言模型應該可以回答各種領域的問題，并且準確性和
深度都很高。
• 適應性：讓模型處理各種不同類型的任務，例如：寫作、翻譯、編程等，看它是否能靈活應對。
• 長文本理解：提出一些需要處理長文本的問題，例如：提供一篇文章，讓模型總結出文章的要點，或者請模
型創(chuàng)作一個故事或一篇文章，讓其有一個完整的情節(jié)，并且不要出現(xiàn)明顯的邏輯矛盾或故事結構上的錯誤。
一個好的大語言模型應該能夠以一個連貫的方式講述一個故事，讓讀者沉浸其中。
• 長文本生成：請模型創(chuàng)作一個故事或一篇文章，讓其有一個完整的情節(jié)，并且不要出現(xiàn)明顯的邏輯矛盾或故
事結構上的錯誤。一個好的大語言模型應該能夠以一個連貫的方式講述一個故事，讓讀者沉浸其中。
• 多樣性：提出一個問題，讓模型給出多個不同的答案或解決方案，測試模型的創(chuàng)造力和多樣性。
• 情感分析和推斷：提供一段對話或文本，讓模型分析其中的情感和態(tài)度，或者推斷角色間的關系。
• 情感表達：請模型生成帶有情感色彩的文本，如描述某個場景或事件的情感、描述一個人物的情感狀態(tài)等。
一個優(yōu)秀的大語言模型應該能夠準確地捕捉情感，將其表達出來。
• 邏輯推理能力：請模型回答需要進行推理或邏輯分析的問題，如概率或邏輯推理等。這可以幫助判斷模型對
推理和邏輯思考的能力，以及其在處理邏輯問題方面的準確性。例如：“所有的動物都會呼吸。狗是一種動
物。那么狗會呼吸嗎？”
• 問題解決能力：提出實際問題，例如：數(shù)學題、編程問題等，看模型是否能給出正確的解答。
• 道德和倫理：測試模型在處理有關道德和倫理問題時的表現(xiàn)，例如：“在什么情況下撒謊是可以接受的？”
• 對話和聊天：請模型進行對話，以測試其對自然語言處理的掌握程度和能力。一個優(yōu)秀的大語言模型應該能
夠準確地回答問題，并且能夠理解人類的語言表達方式。
