資料內(nèi)容:
1. 如何 利用 transformers 加載 Bert 模型?
2. 如何 利用 transformers 輸出 Bert 指定 hidden_state?
Bert 默認是 十二層,但是有時候預訓練時并不需要利用全部利用,而只需要預訓練前面幾層即
可,此時該怎么做呢?
下載到bert-base-uncased的模型目錄里面包含 配置文件 config.json, 該文件中包含
output_hidden_states,可以利用該參數(shù)來設置 編碼器內(nèi)隱藏層層數(shù)