資料內(nèi)容：
三、KL 散度與交叉熵的區(qū)別？
KL散度指的是相對(duì)熵，KL散度是兩個(gè)概率分布P和Q差別的非對(duì)稱性的度量。KL散度越小表示兩個(gè)分布越接近。
也就是說KL散度是不對(duì)稱的，且KL散度的值是非負(fù)數(shù)。（也就是熵和交叉熵的差）
• 交叉熵?fù)p失函數(shù)是二分類問題中最常用的損失函數(shù)，由于其定義出于信息學(xué)的角度，可以泛化到多分類問題
中。
• KL散度是一種用于衡量?jī)蓚€(gè)分布之間差異的指標(biāo)，交叉熵?fù)p失函數(shù)是KL散度的一種特殊形式。在二分類問題
中，交叉熵函數(shù)只有一項(xiàng)，而在多分類問題中有多項(xiàng)。
四、多任務(wù)學(xué)習(xí)各loss差異過大怎樣處理？
多任務(wù)學(xué)習(xí)中，如果各任務(wù)的損失差異過大，可以通過動(dòng)態(tài)調(diào)整損失權(quán)重、使用任務(wù)特定的損失函數(shù)、改變模型
架構(gòu)或引入正則化等方法來處理。目標(biāo)是平衡各任務(wù)的貢獻(xiàn)，以便更好地訓(xùn)練模型
