本篇目标与适用场景

在「Ai大模型训练教程：从入门到实战落地的系统课程」系列里，模型幻觉（Hallucination）是落地时最容易翻车的环节：答得很像、却不真实；引用看似正规、却张冠李戴；或者把检索到的材料“改写”成不存在的事实。

本篇聚焦两件事：

1) 怎么测：把“幻觉”从主观感受变成可量化的评估指标与测试集。
2) 怎么降：用事实一致性评估、引用约束、检索增强（RAG）策略形成一套可复用的工程闭环。

你将得到可直接上手的流程：数据怎么准备、怎么打分、怎么在提示词与系统侧加约束、RAG 怎么做防幻觉设计，以及上线后的监控与回归测试方法。

一、先把“幻觉”拆成可测的类型

幻觉不是一个单一问题，至少要拆成几类，否则你会发现“优化了 A 指标，B 反而更差”。建议在评估与日志里标注类型。

1.1 事实型幻觉（Factual Hallucination）

定义：回答中出现与客观事实矛盾或无法证实的陈述。

• 例：把某公司成立年份写错；把政策条款条数说错；编造统计数据。

1.2 引用型幻觉（Citation Hallucination）

定义：给出引用但引用不存在、链接无效、或引用内容与结论不匹配。

• 常见形态：

  • 伪造论文标题/作者/DOI
  • 给出可访问链接但正文并不包含声称的句子
  • “拼接式引用”：把多个来源混成一个来源

1.3 归因型幻觉（Attribution Error）

定义：来源存在，但模型把观点/结论错误归因给该来源。

• 例：A 报告说“上升”，模型说“A 报告指出下降”。

1.4 推理越界（Overreach / Speculation）

定义：从有限证据推到过强结论，没有明确限定假设与不确定性。

• 例：检索只找到“可能相关”，模型却下确定性结论。

实操建议：评估时至少区分「事实型」「引用型」「推理越界」。不同类型的“降幻觉”手段侧重点不同。

二、事实一致性评估：把“像不像真的”变成指标

要降幻觉，必须先有可稳定复现的评估。推荐采用“三层评估体系”：

1) 离线基准集（Benchmark）：定期跑，追踪迭代收益。
2) 上线抽检集（Shadow Eval）：从真实流量采样。
3) 高风险专项集（Risk Suite）：合规/医疗/金融等敏感问法。

2.1 构建评估集：从业务文档到可评测样本

以企业知识库问答为例（政策、产品手册、SOP）：

步骤 A：挑选文档与切片

• 选 50~200 篇高频文档
• 使用稳定切片规则（按标题/段落/列表）保证引用颗粒一致
• 为每个 chunk 保留：doc_id、chunk_id、原文、页码/标题层级

步骤 B：生成问题（Query）
覆盖三类：

• 直接事实：条款是什么、参数是多少
• 组合事实：跨段落汇总（但仍可从文档证据支持）
• 反事实干扰：故意给出似是而非说法，测试模型是否会拒答或纠错

步骤 C：定义“可判定答案”（Gold）

• 对于事实题：答案尽量结构化（数值、枚举项、条件）
• 对于解释题：给出关键点列表 + 必须引用的 chunk_id

关键：评估集不是“让模型写作文”，而是要可核验。能核验就能测幻觉。

2.2 评估维度与打分规则（建议最少 4 项）

你可以从轻量到严格逐步升级：

(1) 事实正确率（Fact Accuracy）

• 定义：关键事实点是否正确
• 打分：0/1 或 0/0.5/1
• 建议：把答案拆成 3~8 个事实点（facts），逐点对照。

(2) 证据覆盖率（Evidence Coverage）

• 定义：回答中的关键事实是否都能在提供的证据中找到支撑
• 打分：支持/不支持/部分支持
• 目的：识别“猜出来但碰巧对”的情况（这类同样危险）。

(3) 引用精确度（Citation Precision）

• 定义：引用的 chunk 是否真的包含该事实

• 打分方式：

  • precision = 正确引用数 / 总引用数
  • 或直接对每条引用标注：正确/错误/不相关

(4) 不确定性与拒答质量（Uncertainty / Refusal Quality）

• 定义：当证据不足时是否明确说“不确定/需要更多信息”，并给出下一步建议

• 打分：

  • 0：瞎编
  • 0.5：含糊其辞
  • 1：明确拒答 + 请求缺失信息/建议检索来源

落地建议：在业务汇报时，优先展示「证据覆盖率」「引用精确度」而不是只看“答案像不像”。因为幻觉最致命的是不可追溯。

2.3 自动评估：用“可验证声明 + 证据判定”替代纯主观打分

若全人工成本太高，可引入半自动：

1) 声明抽取（Claim Extraction）：把回答拆成若干原子声明（适合用小模型或规则）。
2) 证据检索（Evidence Matching）：对每条声明到证据 chunk 中做语义匹配。
3) NLI/一致性判定（Entailment）：用自然语言推断判断“证据是否蕴含声明”。

实操要点：

• 判定的输入必须包含证据原文，否则判定器也会“幻觉”。

• 如果你没有 NLI 模型，先用“关键字段匹配 + 数值正则”做最小可用版本：

  • 数值/日期/条款号优先用规则校验
  • 再对文本用相似度阈值

三、引用约束：把“回答自由度”锁到可追溯范围

很多业务需要“可审计”的回答：必须带引用、引用必须可点开验证。引用约束是降幻觉的高性价比手段。

3.1 输出格式约束：先把结构定死

建议统一成：

• 结论（短）
• 要点（列表）
• 逐条引用（每条要点对应 1~N 个引用）
• 证据原文摘录（可选，但对高风险场景非常有效）

核心原则：

• 不允许“泛引用”：比如只在末尾放一堆链接但不对应具体句子。
• 每条要点必须绑定引用：要点 i → [doc_id#chunk_id]。

3.2 “无引用即不输出”的系统规则

在系统提示或后处理层设硬规则：

• 若未找到证据：

  • 输出“未在给定资料中找到依据，建议补充资料或扩展检索范围”，并列出需要的资料类型。

• 若引用无法匹配：

  • 直接判为不合格，触发重试或降级回答。

这能显著减少“编造式回答”，但会提高拒答率。工程上要结合业务容忍度。

3.3 引用校验（Citation Verification）作为后处理

即使模型按格式输出，也可能“乱填 chunk_id”。因此建议加一个轻量校验器：

• 校验引用 ID 是否存在
• 抽取要点中的关键实体/数值
• 在引用 chunk 原文中做包含/相似度校验
• 不通过则：
  1) 让模型重新生成（提示：只能使用这些 chunk）
  2) 或降低回答：只返回可验证部分，其余拒答

实战经验：“生成—校验—再生成”比一次性生成可靠得多，尤其对引用型幻觉。

四、检索增强（RAG）降幻觉：不是“加检索”就够了

RAG 常被误用：只要接了向量库就以为不会胡说。实际上，幻觉可能来自：检索不到、检索错、上下文塞不下、模型仍在自由发挥。

4.1 RAG 的 4 个关键控制点

(1) 查询改写（Query Rewrite）

让模型先把用户问题改写成适合检索的查询：

• 提取实体（产品名、地区、时间）
• 拆分子问题
• 生成关键词 + 同义词

建议做法：

• 改写结果要可见并可记录到日志（便于复盘）。

(2) 检索策略：混合检索优于纯向量

推荐：BM25（关键词）+ 向量（语义）混合，再做 rerank。

• BM25 抓“条款号、参数名、专有名词”
• 向量抓“同义表达”
• rerank 抓“真正相关段落”

(3) 上下文组装：少而精 + 去重 + 保留元数据

不要把 top20 全塞进去。建议：

• 先 rerank 选 top3~top8
• 同一文档相邻 chunk 合并（避免断句）
• 每段证据前加标头：doc_title / section / chunk_id / date

(4) 生成约束：只允许基于证据回答

提示词中明确：

• 仅使用给定证据
• 若证据不足必须拒答
• 输出逐条引用

4.2 常见失败模式与修复清单

失败模式 A：检索为空 → 模型开始自由发挥

修复：

• 检索为空时直接走拒答模板
• 或触发二次检索：放宽阈值、扩展同义词、改用 BM25

失败模式 B：检索到了，但证据不支持结论

修复：

• 强制做“证据—结论一致性检查”（NLI 或规则）
• 不一致则要求模型改写为“根据证据可得…，无法得出…”

失败模式 C：上下文过长导致模型忽略关键句

修复：

• rerank + 摘要式证据（但摘要也需可追溯）
• 对关键字段（数值/日期）做结构化抽取后放在最前

失败模式 D：多文档冲突（新旧版本政策）

修复：

• 元数据过滤：优先最新版本/指定地区
• 在回答中显式声明版本与日期
• 若冲突无法消解：输出“存在冲突”并列出两方证据

4.3 “引用增强 RAG”：把证据片段直接绑定到答案句子

一个可落地的做法是：

• 先生成“答案要点草稿”（不输出）
• 对每条要点选择最匹配的 1~2 个 chunk
• 最终输出时，每条要点后直接带引用

这样引用不再是“事后补链接”，而是生成过程的一部分。

五、从评估到上线的闭环：你需要的不是一次优化，而是持续回归

5.1 建立最小可用的幻觉测试流水线

建议每次改动（提示词、检索、模型版本）都跑：

1) 固定评估集（100~500 条）
2) 输出四项指标：事实正确率、证据覆盖率、引用精确度、拒答质量
3) 设定门槛：

• 引用精确度 < 0.9 直接不允许发布（示例门槛，可按业务调整）
• 证据覆盖率下降则回滚

5.2 线上监控：用日志捕捉“幻觉前兆”

建议记录：

• 检索 topK 的 doc_id/chunk_id 与分数
• 最终使用的证据列表
• 回答中的引用列表
• “拒答/不确定”标记

可做简单告警规则：

• 引用数量 = 0 且回答长度很长 → 高风险
• 检索相似度分数整体偏低 → 高风险
• 用户追问“你确定吗/来源呢”频繁出现 → 高风险

5.3 人工复盘模板（每周一次就能见效）

抽样 50 条高风险对话，用同一张表复盘：

• 幻觉类型：事实/引用/推理越界
• 根因：检索空、检索错、证据冲突、提示词太松、上下文太长
• 修复动作：加过滤、改 rerank、加拒答规则、补充文档、加评估样本

经验：把“根因—动作—回归样本”串起来，幻觉会以肉眼可见速度下降。

六、可直接套用的实践建议清单（按优先级）

1) 先上引用约束 + 引用校验：最快减少“凭空编造”。
2) 评估指标优先看证据覆盖率/引用精确度：别只盯主观好不好看。
3) RAG 采用混合检索 + rerank：专有名词与条款号场景效果差异巨大。
4) 检索为空就拒答或二次检索：不要让模型自由发挥。
5) 冲突版本要做元数据过滤：时间、地区、版本号要进入检索条件。
6) 把线上高风险问题回灌到评估集：持续回归比一次性优化更重要。

结语

在 Ai 大模型训练与落地中，“幻觉怎么测怎么降”不是玄学：用可核验的评估集把问题量化，用引用约束把输出锁定在证据范围，再用 RAG 的检索与生成控制点做工程化加固，并用上线后的监控与回归形成闭环。做到这一步，你的系统会从“看起来很聪明”变成“可审计、可追溯、可稳定交付”。