RAG 文档分块策略完全指南：从原理到 Java 实战

import dev.langchain4j.data.document.Document;
import dev.langchain4j.data.document.DocumentSplitter;
import dev.langchain4j.data.document.splitter.DocumentSplitters;
import dev.langchain4j.data.segment.TextSegment;
import dev.langchain4j.model.openai.OpenAiTokenizer;

import java.util.List;

public class RecursiveChunkingDemo {

    public static List<TextSegment> chunkDocumentRecursive(Document document) {
        // ✅ 使用 OpenAI tokenizer 进行精确 token 计数
        OpenAiTokenizer tokenizer = new OpenAiTokenizer("text-embedding-ada-002");

        // 构建递归分块器：最大 512 tokens，重叠 64 tokens（约 12.5%）
        DocumentSplitter splitter = DocumentSplitters.recursive(
            512,        // maxSegmentSizeInTokens：每块最多 512 tokens
            64,         // maxOverlapSizeInTokens：相邻块重叠 64 tokens，防止边界截断
            tokenizer   // 使用 token 计数而非字符计数，与嵌入模型对齐
        );

        // 执行分块，返回 TextSegment 列表
        List<TextSegment> segments = splitter.split(document);

        System.out.printf("原始文档切分完成，共生成 %d 个 Chunk%n", segments.size());
        return segments;
    }
}

import dev.langchain4j.data.document.splitter.DocumentByParagraphSplitter;
import dev.langchain4j.data.segment.TextSegment;

import java.util.List;

public class ParagraphChunkingDemo {

    public static List<TextSegment> chunkByParagraph(Document document) {
        // 按段落（双换行符 \n\n）切分，每块最多 500 字符，重叠 50 字符
        DocumentByParagraphSplitter splitter = new DocumentByParagraphSplitter(
            500,    // maxSegmentSizeInChars
            50      // maxOverlapSizeInChars
        );

        return splitter.split(document);
    }
}

import dev.langchain4j.data.document.splitter.DocumentBySentenceSplitter;
import dev.langchain4j.data.segment.TextSegment;

import java.util.List;

public class SentenceChunkingDemo {

    public static List<TextSegment> chunkBySentence(Document document) {
        // 按句子（。！？.!?）切分，每块最多 200 tokens，重叠 20 tokens
        // 对中文文档更友好，不会切断完整句子
        DocumentBySentenceSplitter splitter = new DocumentBySentenceSplitter(
            200,    // maxSegmentSizeInTokens
            20      // maxOverlapSizeInTokens
        );

        return splitter.split(document);
    }
}

import dev.langchain4j.data.document.Document;
import dev.langchain4j.data.document.DocumentSplitter;
import dev.langchain4j.data.document.loader.FileSystemDocumentLoader;
import dev.langchain4j.data.document.splitter.DocumentSplitters;
import dev.langchain4j.data.segment.TextSegment;
import dev.langchain4j.model.embedding.EmbeddingModel;
import dev.langchain4j.model.openai.OpenAiEmbeddingModel;
import dev.langchain4j.model.openai.OpenAiTokenizer;
import dev.langchain4j.store.embedding.EmbeddingStoreIngestor;
import dev.langchain4j.store.embedding.inmemory.InMemoryEmbeddingStore;

import java.nio.file.Path;
import java.util.List;

public class RagIngestionPipeline {

    // ===== 核心配置参数（基于 2026 年基准测试最优区间）=====
    private static final int CHUNK_SIZE_TOKENS = 512;  // 最优区间：256-512
    private static final int OVERLAP_TOKENS    = 64;   // 约 12.5%，在 10%-20% 范围内

    public static void ingestDocuments(List<Path> documentPaths) {
        // Step 1：加载文档（支持 PDF、TXT、DOCX 等格式）
        List<Document> documents = FileSystemDocumentLoader.loadDocuments(documentPaths);
        System.out.printf("加载文档完成，共 %d 份%n", documents.size());

        // Step 2：配置递归分块器（生产首选策略）
        OpenAiTokenizer tokenizer = new OpenAiTokenizer("text-embedding-3-small");
        DocumentSplitter splitter = DocumentSplitters.recursive(
            CHUNK_SIZE_TOKENS,
            OVERLAP_TOKENS,
            tokenizer
        );

        // Step 3：配置嵌入模型
        EmbeddingModel embeddingModel = OpenAiEmbeddingModel.builder()
            .apiKey(System.getenv("OPENAI_API_KEY"))
            .modelName("text-embedding-3-small")
            .build();

        // Step 4：配置向量存储（生产环境可替换为 Chroma / Qdrant / Milvus）
        InMemoryEmbeddingStore<TextSegment> embeddingStore = new InMemoryEmbeddingStore<>();

        // Step 5：构建摄入器，一键完成 分块 → 向量化 → 存储
        EmbeddingStoreIngestor ingestor = EmbeddingStoreIngestor.builder()
            .documentSplitter(splitter)       // 注入分块策略
            .embeddingModel(embeddingModel)   // 注入嵌入模型
            .embeddingStore(embeddingStore)   // 注入向量存储
            .build();

        // 执行摄入
        ingestor.ingest(documents);
        System.out.println("✅ 文档摄入完成，RAG 知识库已就绪");
    }
}

// ✅ 推荐起步配置（基于 2026 年多个基准测试的最优区间）
DocumentSplitter splitter = DocumentSplitters.recursive(
    512,    // chunk_size：256-512 tokens 为甜点区间
    64,     // overlap：chunk_size 的 10-20%
    tokenizer
);

// 伪代码：评估分块策略
// 构建评估数据集：问题 + 标准答案 + 相关文档段落
EvaluationDataset dataset = EvaluationDataset.from("eval-questions.json");

// 指标1：Context Recall（召回率）
// = 标准答案中有多少事实被检索到的 Chunk 覆盖
// 目标：≥ 80%，低于此值说明分块过小或 Chunk 数量不足

// 指标2：Context Precision（精确率）
// = 检索到的 Chunk 中有多少是真正相关的
// 目标：≥ 70%，低于此值说明分块过大或向量检索噪声太多