資料內(nèi)容:
LLM輸出配置
一旦您選擇了模型,您就需要確定模型配置。大多數(shù)LLMs都帶有各種配置選項(xiàng),這些選項(xiàng)控制著LLM的輸出。有效的提示工程需要將這些配置優(yōu)化以適應(yīng)您的任務(wù)。
輸出長(zhǎng)度
一個(gè)重要的配置設(shè)置是生成響應(yīng)中的令牌數(shù)量。
生成更多令牌需要從LLM進(jìn)行更多計(jì)算,導(dǎo)致更高的能耗,可能更慢的響應(yīng)時(shí)間,以及更高的成本。