LlamaIndex（一）-核心概念与查询机制GREEN BOOK · PROGRAMMER AI CODING · 课时 11

from llama_index.core import VectorStoreIndex, SimpleDirectoryReader

# 1. 加载文档
documents = SimpleDirectoryReader('docs').load_data()

# 2. 构建索引（自动完成分块、向量化、存储）
index = VectorStoreIndex.from_documents(documents)

# 3. 查询
query_engine = index.as_query_engine()
response = query_engine.query("技术文档的问题")

print(response)

Document Loaders → Index Structures → Query Engines → Response Synthesizers
   (加载数据)         (构建索引)          (查询接口)        (生成答案)

from llama_index.core.settings import Settings
from llama_index.llms.dashscope import DashScope
from llama_index.embeddings.dashscope import DashScopeEmbedding

# 全局LLM：对应RAG的「生成阶段」
Settings.llm = DashScope(
    model_name="qwen3-max",
    api_key=API_KEY,
    temperature=0.3
)

# 全局Embedding：对应RAG的「离线阶段」和「检索阶段」
Settings.embed_model = DashScopeEmbedding(
    model_name="text-embedding-v3",
    api_key=API_KEY,
    embed_batch_size=10
)

from llama_index.core import SimpleDirectoryReader
# 1. 本地文件夹（自动识别格式）
documents = SimpleDirectoryReader('./data/docs').load_data()
# 支持：txt, pdf, docx, md, csv, pptx 等

# 2. 单个文件
documents = SimpleDirectoryReader(input_files=['./data/manual.pdf']).load_data()

# 3. 网页
from llama_index.readers.web import SimpleWebPageReader

# 爬虫也给你省了~~
documents = SimpleWebPageReader(html_to_text=True).load_data(
    ["https://example.com/article"]
)

# 4. 数据库
from llama_index.readers.database import DatabaseReader

reader = DatabaseReader(
    connection_string="mysql://user:pass@localhost/dbname"
)
documents = reader.load_data(query="SELECT * FROM articles")

from llama_index.core import VectorStoreIndex

# 一行代码完成整个离线阶段
index = VectorStoreIndex.from_documents(documents)

Step 1: 文档切块
        默认1024字符切一块，相邻块重叠20字符
Step 2: 向量化
        调用Settings.embed_model，批量转换为向量
Step 3: 存储
        存入向量库（默认内存，可切换Chroma/Milvus）

from llama_index.core.node_parser import (
    SentenceSplitter,      # 按句子切分（默认）
    SemanticSplitterNodeParser,  # 按语义相似度切分
    TokenTextSplitter,     # 按token数切分
    CodeSplitter,          # 按代码结构切分
)

# 示例1：代码文档，按函数/类切分
node_parser = CodeSplitter(
    language="python",
    chunk_lines=40,  # 每块最多40行
)
index = VectorStoreIndex.from_documents(
    code_documents, 
    transformations=[node_parser]
)

# 示例2：长文档，按语义自动切分
node_parser = SemanticSplitterNodeParser(
    buffer_size=1,
    breakpoint_percentile_threshold=95  # 语义相似度阈值
)
index = VectorStoreIndex.from_documents(
    long_documents,
    transformations=[node_parser]
)

from llama_index.core import Document, VectorStoreIndex

# 第8节的结构化分块逻辑（按条目切分）
def structured_chunk(text):
    chunks = []
    for item in extract_items(text):  # 提取条目
        chunks.append(item)
    return chunks

# 自己分好块，然后交给LlamaIndex
raw_text = load_pdf("Java开发手册.pdf")
chunks = structured_chunk(raw_text)

# 把每个chunk包装成Document对象
documents = [Document(text=chunk) for chunk in chunks]

# 构建索引（不再自动切分）
index = VectorStoreIndex.from_documents(documents)

# 首次运行：构建并保存
index.storage_context.persist(persist_dir="kb/")

# 之后运行：直接加载，不用再次向量化
from llama_index.core import load_index_from_storage, StorageContext
storage_context = StorageContext.from_defaults(persist_dir="kb/")
index = load_index_from_storage(storage_context)

# 创建查询引擎
query_engine = index.as_query_engine()

# 查询
response = query_engine.query("你的问题")
print(response)

query_engine = index.as_query_engine(
    similarity_top_k=3,          # Top-K=3，最相关的3条
    response_mode="compact",      # 压缩模式：将多个chunk压缩后一次生成答案
    verbose=True                  # 显示中间过程：输出检索到的chunk和LLM调用详情
)

from llama_index.core.response_synthesizers import get_response_synthesizer

# 1. Refine模式（逐步精炼）
synthesizer = get_response_synthesizer(response_mode="refine")
# 第1个chunk生成初版答案
# 第2个chunk优化答案
# 第3个chunk再优化...

# 2. Tree Summarize（树形摘要）
synthesizer = get_response_synthesizer(response_mode="tree_summarize")
# 把多个chunk分组摘要，再合并

# 3. Compact（压缩拼接）
synthesizer = get_response_synthesizer(response_mode="compact")
# 把所有chunk压缩后一次生成