1. 為什么大模型推理時(shí)顯存漲的那么多還一直占著？
2. 大模型在gpu和cpu上推理速度如何？
7B量級(jí)下：
3. 推理速度上，int8和fp16比起來(lái)怎么樣？
根據(jù)實(shí)踐經(jīng)驗(yàn)，int8模式一般推理會(huì)明顯變慢（huggingface的實(shí)現(xiàn)）
4. 大模型有推理能力嗎？
大模型有推理能力。有下面2個(gè)方面的體現(xiàn)：
ChatGPT擁有in-context correction的能力，即如果說(shuō)錯(cuò)了，給出矯正，ChatGPT能“聽(tīng)懂”錯(cuò)在哪兒了，并向正確
的方向修正。in-context correction要比in-context learning難了太多，描述越詳細(xì)清楚，ChatGPT回答得越好。
要知道，越詳細(xì)的描述，在預(yù)訓(xùn)練的文本里越難匹配到的。
