資料內(nèi)容：
一、為什么需要對文本分塊？
使用大型語言模型（LLM）時，切勿忽略文本分塊的重要性，其對處理結(jié)果的好壞有重大影響。
考慮以下場景：你面臨一個幾百頁的文檔，其中充滿了文字，你希望對其進行摘錄和問答式處
理。在這個流程中，最初的一步是提取文檔的嵌入向量，但這樣做會帶來幾個問題：
• 信息丟失的風險：試圖一次性提取整個文檔的嵌入向量，雖然可以捕捉到整體的上下文，但也
可能會忽略掉許多針對特定主題的重要信息，這可能會導致生成的信息不夠精確或者有所缺
失。
• 分塊大小的限制：在使用如OpenAI這樣的模型時，分塊大小是一個關鍵的限制因素。例如，
GPT-4模型有一個32K的窗口大小限制。盡管這個限制在大多數(shù)情況下不是問題，但從一開始
就考慮到分塊大小是很重要的。
因此，恰當?shù)貙嵤┪谋痉謮K不僅能夠提升文本的整體品質(zhì)和可讀性，還能夠預防由于信息丟失或不
當分塊引起的問題。這就是為何在處理長篇文檔時，采用文本分塊而非直接處理整個文檔至關重要
的原因。
