1 什么是分块 文本分块(Chunking)是自然语言处理(NLP)和检索增强生成(RAG)中的核心技术,旨在将长文本拆分为更小、更易处理的语义单元。 2 分块作用 突破模型输入限制 主流预训练模型(如GPT系列)的输入长度通常在512-2048 tokens…
1 创建Vllm环境 安装默认版本的Vllm conda create -n myenv python=3.10 -y conda activate myenv # 切换清华源 pip config set global.index-url https://p…