持续预训练与增量微调到底解决什么问题？

在《Ai大模型训练教程：从入门到实战落地的系统课程》里，当你把“基座模型 + 一次性微调”跑通后，下一阶段一定会遇到三类现实挑战：

1. 领域迁移：模型在通用语料上很强，但对你的行业（金融、政务、法务、医疗、制造等）术语、流程、文本风格、知识体系不够“贴合”。
2. 知识与数据持续变化：业务知识每周更新、产品策略改变、法规版本迭代。你不可能每次都从头训练，也不希望每次更新都“重做全套”。
3. 遗忘（Catastrophic Forgetting）：模型为了学新领域/新数据，可能把原本通用能力或旧领域能力“冲掉”。典型表现是：新任务变好，但旧任务指标明显下滑，或回答风格变得偏执/单一。

本篇聚焦两种最常用的工程路线：

• 持续预训练（Continued Pretraining / Domain-Adaptive Pretraining, DAPT）：继续做“自监督”的语言建模训练（如 next-token prediction），让模型把领域语料当作“新的世界观”补进参数里。
• 增量微调（Incremental Fine-tuning）：在已有指令微调/监督微调（SFT）基础上，分批次引入新样本继续微调，并用数据配比与正则手段降低遗忘。

在落地中，它们经常组合使用：先 DAPT 拉齐领域语言分布，再做 SFT/偏好对齐（DPO/ORPO等）提升可控性与任务表现。

如何在“持续预训练”与“增量微调”之间做选择

适合持续预训练的信号

当你看到以下情况，优先考虑持续预训练：

• 领域文本长度长、结构稳定、术语密集（例如法律条文、招投标文档、病历、专利、工艺文档）。
• 你希望提升的是整体语言建模能力：更懂行业语感、缩写、格式、引用方式，而不是某个单一任务。
• 你有大量未标注文本（10^7 tokens 级别以上越明显），但标注/指令数据相对少。

适合增量微调的信号

当你看到以下情况，优先考虑增量微调：

• 新需求主要是可控输出：格式化回复、业务流程问答、工具调用、写作风格。
• 你有明确的任务数据（QA、信息抽取、分类、对话、工具调用示例），且希望快速迭代。
• 模型已经很懂领域词，但不按你想要的方式回答（比如不遵循模板、不做引用、不走流程）。

常见组合策略

• DAPT → SFT：先用领域纯文本做持续预训练，再用指令数据微调。适合“先补语言/知识，再补指令”。
• SFT 增量 → 小步 DAPT：当新数据主要是业务对话/指令，先增量 SFT；若发现术语理解仍弱，再插入少量 DAPT。

领域迁移的实操：从数据到训练的一条可复用流程

下面给出一套偏工程化的步骤，适合你在企业内做“可重复的领域迁移”。

Step 1：定义迁移目标与评测集（先评测，再训练）

领域迁移最怕“训完才发现没提升”。建议在训练前建立三类小而精的评测：

1. 领域理解集：术语解释、缩写扩展、同义改写、概念边界（例如“保理 vs 票据贴现”）。
2. 领域任务集：你的核心任务（合同审查要点提取、医疗摘要、工单归因、招投标合规检查等）。
3. 通用能力守门集：常识问答、简单数学、通用写作、代码片段解释等，用来监控遗忘。

每类 100~500 条即可起步，关键是覆盖你的“高频真实场景”。

Step 2：准备持续预训练语料（DAPT）

持续预训练吃的是“干净、像人写的、分布稳定”的文本。建议处理细节：

• 去重：文档级去重 + 近重复段落去重（MinHash/SimHash），避免模型过拟合模板段落。
• 清洗：去掉导航、页眉页脚、目录、广告、乱码；保留对领域有价值的结构（例如条款编号）。
• 切分：按自然段落切分，过长用滑窗切；保留标题与层级符号（对法律/规范类特别重要）。
• 隐私合规：脱敏（姓名、手机号、身份证、病案号、客户号），并建立可追溯记录。

一个经验值：

• 小模型（7B~14B）做 DAPT，1B~20B tokens 都可能有效；数据少就小步多轮，数据多就控制质量与多样性。

Step 3：准备增量微调数据（SFT/指令数据）

增量微调的数据要体现“你希望模型怎么做”。常见样本结构：

• 输入：用户问题 + 必要上下文（文档片段/结构化字段）
• 输出：严格格式、引用规则、步骤化流程

建议把样本分成三桶：

1. 核心业务高价值：直接对应 KPI 的任务（例如审查要点、工单分类、报告生成）。
2. 边界与拒答：越权请求、无依据推断、敏感信息、缺少材料时要如何追问。
3. 风格与模板：输出格式、表格字段、引用来源标注方式。

增量更新时，务必保留一部分“旧任务代表样本”，用于对抗遗忘（后文讲配比）。

遗忘缓解：让模型学新不忘旧的三类方法

遗忘不是玄学，通常来自两个原因：

• 参数更新方向过于偏向新数据分布
• 新数据规模/梯度主导了训练

可以用“数据策略 + 训练策略 + 约束策略”三层组合。

方法一：混合回放（Replay）——最实用的工程手段

做法：训练时把旧数据（或旧任务代表集）按比例混入新数据。

• 优点：实现简单、效果稳定，是企业最常用方案。
• 关键点：旧数据不要太大，否则新知识学不进；不要太小，否则守不住旧能力。

建议：维护一个Replay Buffer（回放池），包含：

• 通用指令/对话样本（保持通用对齐）
• 旧版本业务高频场景
• 关键负例（拒答、追问、引用）

方法二：正则与“对齐约束”——让参数别漂太远

常见可选项：

• 更小学习率 + 更短训练步数：增量阶段宁愿“小步快跑”，每次只推进一点。
• LoRA/QLoRA 适配层：冻结基座权重，只更新低秩适配器，天然降低对原能力破坏。
• KL 正则 / Reference Model 约束：训练时让新模型输出分布不要偏离旧模型太多（常用于偏好对齐或稳定风格）。

工程建议：如果你对“旧能力守门”要求高，优先用 LoRA + 回放混合，再考虑 KL 约束。

方法三：分阶段与冻结策略——把“会坏的部分”先锁住

在增量微调中可以尝试：

• 先冻结底层 Transformer 层，只训练高层/适配器；稳定后再逐步解冻。
• 先在“格式/风格”数据上训练少量步，再上“知识密集”数据，降低一上来就把风格带偏。

是否值得用？取决于你是否能稳定复现收益。一般企业场景：LoRA + 数据回放已经足够覆盖 80% 情况。

混合数据配比策略：怎么配才不翻车

数据配比是持续预训练与增量微调里最容易被忽视、但最决定成败的环节。这里给出可落地的配比方法与调参步骤。

1）先区分“训练阶段”的配比

• 持续预训练阶段（DAPT）：主要是领域纯文本（可混少量通用文本防漂移）。
• 增量微调阶段（SFT）：主要是指令数据（新任务 + 回放池 + 通用对齐样本）。

两阶段不要混成一锅大乱炖：DAPT 解决“懂不懂”，SFT 解决“会不会按要求做”。

2）持续预训练（DAPT）推荐配比

一个常用起点：

• 领域文本：70%~95%
• 通用文本：5%~30%

调参规则：

• 如果你发现模型通用问答/写作明显变差：提高通用占比（例如从 10% 拉到 20%）。
• 如果领域术语仍不稳、格式仍不自然：提高领域占比或提升领域数据质量。

注意：通用文本不必太大，但要“高质量、覆盖广”，避免引入噪声。

3）增量微调（SFT）推荐配比

把 SFT 数据分为三类：

• A：新领域/新需求数据（New）
• B：旧业务回放池（Replay）
• C：通用对齐/通用指令（General）

推荐从这个区间起步：

• A：50%~70%
• B：20%~40%
• C：5%~15%

调参规则：

• 旧任务掉点（守门集下降）：提高 B（回放）比例，或把旧任务样本“提纯”（只留关键场景）。
• 模型变得不听指令、输出变散：提高 C（通用对齐）或加入更严格的格式样本。
• 新需求学不进去：提高 A，或把 A 拆成更清晰的子任务、减少长尾噪声样本。

4）动态配比：从“学习”到“巩固”的两段式

一次增量发布可用两段训练：

• 阶段 1（学习期）：A 高一些（例如 A:B:C=70:20:10）
• 阶段 2（巩固期）：B 高一些（例如 A:B:C=55:35:10）

好处：先把新能力学到位，再用回放把旧能力拉回来，整体更稳。

一个可直接照抄的训练迭代方案（示例）

假设你在做“法务合同审查助手”，每两周新增一批条款与审查规则。

迭代目标

• 新增：数据安全条款审查、跨境条款提示
• 不能退化：原有付款、违约、争议解决条款的召回

数据准备

• DAPT：新增法规解读、合同范本、裁判文书相关解释性文本（去重清洗后 300M tokens）

• SFT：

  • A（新需求）2000 条：给定合同片段 → 输出风险点 + 建议修改 + 引用依据
  • B（回放）1500 条：旧版本高频条款的审查样本 + 关键拒答样本
  • C（通用）300 条：通用写作与遵循格式样本

训练顺序

1. 小步 DAPT：训练 1~2 个 epoch（或固定 steps），学习率偏小（如 1e-5~5e-5 量级，视模型与batch而定）。
2. SFT 增量（LoRA）：按 A:B:C=65:25:10 混合训练，训练到验证集收敛即停（不要贪多）。

3. 守门评测：领域任务集 + 通用能力集 + 旧任务集三类一起跑，若旧任务下降明显：

   • 提高 B 到 35%
   • 或加入 KL 约束（参考旧模型输出）
4. 上线灰度：收集线上失败样本（特别是“自信胡说”“引用错法条”“越权建议”），进入下一轮 A 或 B。

训练与数据的关键细节清单（避免常见坑）

1）不要用“未清洗的网页抓取”直接做 DAPT

噪声会把模型风格带偏，出现大量口水话、重复句、营销文案腔。宁可少，也要干净。

2）增量 SFT 最忌讳“一把梭哈大步更新”

学习率过大、训练步数过多，会快速遗忘。建议：

• 小学习率
• 早停
• 回放混合
• LoRA 优先

3）把“引用/依据”做成硬约束

领域场景（法务/医疗/政务）最好强制输出：

• 引用来源（条款编号、文件名、段落位置）
• 不足信息时的追问

这些都要写进 SFT 样本的输出格式里，并在评测中作为打分项。

4）维护版本化数据与可复现实验

• 每次增量训练记录：数据版本、采样比例、训练步数、学习率、LoRA rank、基座 hash
• 评测集固定并版本化

否则你会陷入“这次看着好像好了，但不知道为什么”的循环。

小结：一条最稳的落地路线

在企业场景里，把“持续预训练与增量微调”做成可迭代工程，通常遵循这条最稳路线：

1. DAPT 负责领域语言与知识分布迁移：领域 70%~95%，通用 5%~30%。
2. SFT 增量负责指令对齐与任务落地：新数据 50%~70%，回放 20%~40%，通用对齐 5%~15%。
3. 遗忘缓解优先用回放 + 小步训练 + LoRA，必要时加 KL 约束。
4. 用“守门评测集”做准入：新能力提升的同时，旧能力不掉线。

围绕这套方法，你可以把 Ai大模型训练教程 的“从入门到实战落地”真正变成持续迭代的生产流程：每次更新都可控、可评估、可回滚，并且越训越贴合业务。