标签： Chunker

2 篇文章

RagFlow 创建知识库
LLM,RAG,大语言模型,知识图谱
|
|
303
|
0
1 基本参数 知识库名称（必填） 知识库图标 描述 文档语言 可选参数：英文（default）、中文、越南语、葡萄牙语 知识库权限 嵌入模型： 创建知识库前必须在系统模型设置里面添加Embedding和LLM模型 在知识库文档解析分块后就无法更改嵌入模型；若想…
ChunkerChunkingembeddingLLMRAG配置
文本分块（Chunking）
embedding,NLP,RAG
|
|
115
|
0
1 什么是分块 文本分块（Chunking）是自然语言处理（NLP）和检索增强生成（RAG）中的核心技术，旨在将长文本拆分为更小、更易处理的语义单元。 2 分块作用 突破模型输入限制 主流预训练模型（如GPT系列）的输入长度通常在512-2048 tokens…
ChunkerChunkingNLP