資料內(nèi)容：
一、介紹一下 LLM的經(jīng)典預(yù)訓(xùn)練Pipeline？
目前基于Transformer decoder的LLM，比如ChatGPT、LLaMA、baichuan等，通常都會有基于預(yù)訓(xùn)練的base模
型和在base模型至少使用RLHF微調(diào)的Chat模型，Chat模型的訓(xùn)練一般都包括如下三個步驟：預(yù)訓(xùn)練，有監(jiān)督微
調(diào)和對齊。
1. 在預(yù)訓(xùn)練階段，模型會從大量無標(biāo)注文本數(shù)據(jù)集中學(xué)習(xí)通用知識；
2. 使用「有監(jiān)督微調(diào)」（SFT）優(yōu)化模型以更好地遵守特定指令；
3. 使用對齊技術(shù)使LLM可以更有用且更安全地響應(yīng)用戶提示。
二、預(yù)訓(xùn)練（Pre-training）篇
2.1 具體介紹一下 預(yù)訓(xùn)練（Pre-training）？
預(yù)訓(xùn)練（Pre-training）：利用數(shù)十億到數(shù)萬億個token的龐大文本語料庫 對模型繼續(xù) 預(yù)訓(xùn)練，使 模型 能夠 根據(jù)
提供的文本來預(yù)測「下一個單詞」。
三、有監(jiān)督微調(diào)（Supervised Tinetuning）篇
3.1 具體介紹一下 有監(jiān)督微調(diào)（Supervised Tinetuning）？
有監(jiān)督微調(diào)（Supervised Tinetuning）:雖然 SFT 訓(xùn)練目標(biāo)和 預(yù)訓(xùn)練（Pre-training）類似，也是 需要模型 預(yù)測
「下一個單詞」，但是需要人工標(biāo)注的指令數(shù)據(jù)集，其中模型的輸入是一個指令（根據(jù)任務(wù)的不同，也可能包含
一段輸入文本），輸出為模型的預(yù)期回復(fù)內(nèi)容
