跳到主要内容

AI 百科词条

文档分块（Chunking）是什么？

把长文档切成小片段再建索引，是知识库检索准不准的关键工序

一句话说清楚

RAG 检索时不会整本文档喂给模型，而是先切成块（chunk）再对块建索引。切法直接影响效果：切块太大，检索结果夹带无关内容稀释答案；切块太小，上下文断裂导致语义不完整。常见策略有按段落、按语义边界、按固定 token 数加重叠（overlap）。好的分块让「找的那句话」恰好出现在「有完整上下文的块」里。

这对你选工具意味着什么

搭企业知识库时优先选支持智能分块（按语义/标题层级切）的工具，纯按字数硬切的实现效果差一截；调优时先动分块策略，再考虑换更贵的模型。

常见误区

表格与代码被硬切后基本不可用——数字对不上行、代码断在半句。含大量表格的文档要选支持表格感知分块的方案，或预处理成文本描述。

和「文档分块」最相关的工具按真实人气排序

用这些工具解决真实场景

AI 读论文：速读、问答到文献综述

先让 AI 产出结构化摘要（问题/方法/结论），再针对公式与实验细节追问，支持引用溯源的工具可信度更高。

AI 建站：一句话到可上线落地页

描述需求或贴参考截图，AI 出整站代码或免代码页面，重点看部署链路与可迁移性。

AI 做旅行攻略：行程、预算、避坑一次排好

说清天数、预算、偏好，AI 出逐日行程表，你只负责按真实交通与评价微调。