大模型训练如何防过拟合：Dropout、Weight Decay、数据去重与早停策略

在 Ai大模型训练教程 这套系列里，很多同学在把训练流程跑通之后，最常见的“第二个坑”就是：训练集 loss 降得很快，验证集指标却不涨甚至变差；生成效果在训练语料风格上越来越“像”，但一换话题就开始胡编或重复。这通常不是模型“能力不够”，而是 过拟合（overfitting） 或与其相邻的问题（数据泄漏、重复数据导致的记忆化、训练过度导致的退化）。

这篇文章聚焦四类对大模型（尤其是 Transformer/LLM 的预训练与指令微调）最常用、最可落地的防过拟合手段：Dropout、Weight Decay（权重衰减）、数据去重、早停。我会给出具体做法、经验参数范围、以及你在训练日志里如何判断是否应该启用/调整它们。

1. 先把“过拟合”与“数据问题”分清楚

在大模型训练里，表面症状相似，但根因差异很大：

1.1 常见症状

• 训练 loss 持续下降，但 验证 loss 下降一段后反弹（经典过拟合曲线）。
• 验证集困惑度/准确率/ROUGE 等停滞，同时训练集继续变好。

• 生成任务中出现：

  • 对训练集中高频句式的复读（模板化输出）。
  • 对少量“热数据”记忆化（能背出某段内容或特定问答）。
  • 对域外样本泛化差。

1.2 先排除两类“伪过拟合”

1) 验证集被污染（data leakage）：验证集内容或近似内容出现在训练集里（尤其是公开数据集拼接、网页爬取、重复采样）。这会导致你误以为“泛化不错”，直到上线才暴露。也可能反过来：验证集太难/分布不一致，让你误以为过拟合。

2) 重复数据造成的记忆化：大量重复样本会让训练 loss 非常漂亮，但模型只是学会了背诵。

因此，本文的策略排序建议是：

先做数据去重与验证集清洁 → 再做训练正则化（Dropout/Weight Decay）→ 最后用早停在训练动态中“刹车”。

2. Dropout：在哪些位置加、加多少、什么时候不该加

Dropout 的核心是在训练时随机“丢弃”一部分神经元输出，迫使网络学习更稳健的表示。对 Transformer 来说，Dropout 通常不只一个位置。

2.1 Transformer/LLM 里常见的 Dropout 位点

不同框架命名略有差异，但大体分为：

• Attention Dropout：对 attention 权重矩阵做 dropout。
• Residual/Hidden Dropout：对子层输出（或残差连接前后）做 dropout。
• Embedding Dropout：对 token embedding 或 position embedding 做 dropout（不一定默认开启）。
• MLP Dropout：对前馈网络（FFN/MLP）中间层做 dropout。

一般而言：

• 指令微调（SFT）：数据量相对预训练更小，更容易过拟合，Dropout 更有价值。
• 大规模预训练：如果数据足够大、batch 足够大、训练步骤足够多，Dropout 的收益可能变小，甚至影响收敛速度；很多现代 LLM 预训练会将 dropout 设置得很低或接近 0（但也要看架构与数据规模）。

2.2 推荐的实操参数范围

可以从这些范围起步（经验值，非绝对）：

• SFT（中小数据）：0.05 ~ 0.2
• 继续预训练（域内继续预训，中等数据）：0.0 ~ 0.1
• 超大规模预训练（海量数据）：0.0 ~ 0.05（甚至为 0）

如果你发现：

• 训练 loss 降得特别快，验证 loss 早早反弹；
• 生成输出开始“模板化”，

可以优先把 hidden/residual dropout 从 0 提到 0.05 试一轮，再考虑 0.1。

2.3 Dropout 的“副作用”与避坑

• 会降低训练速度/需要更多 step 才到同等训练 loss：别看到训练 loss 变高就立刻关掉，要看验证指标。
• 与 LoRA/QLoRA 微调的配合：很多 LoRA 训练默认不改基座模型的 dropout；如果数据非常小（比如几千条指令），适度开启 dropout 往往能缓解“把训练集背下来”。但如果你用的是很强的基座、数据质量极高，过多 dropout 可能导致“学不上去”。

2.4 快速检查清单

• 你的配置里是否存在多个 dropout 字段？是否只改了一个？
• attention dropout 与 hidden dropout 是否同时为 0？（SFT 小数据情况下通常不理想）
• dropout 调大后，验证 loss 是否更平稳、最优点是否更靠后？

3. Weight Decay（权重衰减）：更稳定的“基础正则”

Weight Decay 本质上是在优化时惩罚过大的权重（L2 正则的一种实现方式）。对 AdamW 来说，weight decay 是“解耦”实现，通常更符合预期。

3.1 为什么大模型里 Weight Decay 很关键

在 Transformer/LLM 的微调里，过拟合往往表现为：

• 少量样本被模型以大权重“硬记住”；
• 泛化到验证集时失效。

Weight decay 能让参数更新更“保守”，减少对噪声样本或重复样本的过度拟合。

3.2 典型配置建议（从可用到更优）

• 优先使用 AdamW（或等价实现）。

• 常见起步值：

  • SFT：0.01（常用）、0.05（更强正则）、0.001（较弱）
  • 继续预训练：0.01 或更低（0.001）

更细的建议：

（1）排除不该做 weight decay 的参数

通常以下参数 不做 weight decay（几乎是行业通用做法）：

• bias（偏置）
• LayerNorm/ RMSNorm 的权重（norm 参数）

原因：对这些参数施加衰减，容易损害训练稳定性或效果。

（2）观察信号：weight decay 是否合适

• 如果训练集 loss 下降很快但验证集掉队：weight decay 往上调（例如 0.01 → 0.05）。
• 如果训练/验证都不怎么下降，且模型明显欠拟合：weight decay 往下调（例如 0.01 → 0.001）。

3.3 与学习率的联动

weight decay 不是越大越好，和学习率强相关：

• 学习率高 + weight decay 高：可能导致训练困难或效果上不去。
• 一条实操经验：当你把 weight decay 提高一档时，可以考虑把学习率 小幅下调（例如 10%~30%）来保持稳定。

4. 数据去重：大模型过拟合的“元凶”之一

大模型训练数据（尤其是爬虫网页、论坛、问答、代码仓库）天然重复率高：同一段内容会出现在多个站点、多个镜像、多个时间版本；指令数据也经常被“搬运/改写”后重复出现。重复数据会造成：

• 有效样本量虚高：你以为 100 万条，其实有效多样性可能只有 30 万。
• 模型记忆化加重：对高频片段背诵。
• 验证集泄漏概率提高：你很难保证验证集没被类似内容“撞上”。

4.1 去重应该分层做：精确去重 + 近似去重

（1）精确去重（Exact Dedup）

适合处理完全相同的样本。

可落地步骤：

1. 对每条样本做标准化（normalize）：

   • 统一大小写（针对英文）；
   • 去掉多余空格、连续换行；
   • 可选：去掉时间戳、id 这类噪声字段。
2. 计算哈希：如 SHA256/MD5。
3. 用哈希集合去重。

示例（思路层面）：对 prompt + response 拼接后哈希，能避免只对 prompt 去重导致的误删。

（2）近似去重（Near-Dedup）

适合处理“高度相似但不完全相同”的样本，例如：

• 只改了几个词、换了同义词；
• 只改了变量名的代码样本；
• 指令模板“换皮”。

常用方法：

• MinHash + LSH：对长文本非常常用，速度快，可扩展。
• SimHash：实现简单，适合快速近似。
• n-gram Jaccard/余弦相似：可作为基线。
• Embedding 相似度去重：对语义重复更敏感，但成本高，需要向量化。

实操建议阈值（仅作为起点）：

• MinHash/LSH：相似度阈值可从 0.8~0.9 试。
• Embedding：余弦相似度从 0.92~0.97 试（取决于向量模型与文本长度）。

4.2 指令微调数据的“结构化去重”

对 SFT 数据，强烈建议做“结构化字段级”去重：

• 对 instruction 去重（避免同一指令重复出现 50 次）。
• 对 instruction + input 去重。
• 对 instruction + input + output 去重（最严格）。

更进一步：

• 如果你的数据是多轮对话，建议对每轮拼接成统一格式再去重，避免只对第一轮去重导致漏掉重复对话。

4.3 去重后的再平衡：别只删不管

去重会改变数据分布，可能导致某些任务类型样本被“删得太狠”。建议：

• 去重后按任务类型统计数量（分类、摘要、代码、数学、工具调用等）。
• 对被稀释的类型做补充采样或再爬取。
• 对高重复的类型考虑“降采样 + 提升多样性”，而不是简单保留。

4.4 去重与验证集构建的关系

为了避免验证集泄漏：

• 优先从“去重后的全集”里切分 train/val。
• 如果必须先切分再去重，至少要对 train 与 val 做交叉近似去重：把与 val 高相似的 train 样本移除。

5. 早停（Early Stopping）：把“最佳泛化点”停住

早停的核心思想很朴素：当验证集指标不再提升时停止训练，避免模型继续在训练集上变“更会背”。

5.1 早停监控什么指标？

在语言模型训练中常见：

• 验证集 loss（最通用）
• 验证集 perplexity（困惑度）
• 下游任务指标（如 BLEU/ROUGE/准确率）

实操建议：

• 预训练/继续预训练：优先看 val loss/perplexity。
• SFT：val loss 仍然重要，但更建议结合 小型人工评测集 或自动化偏好评测（例如同一组提示的 win-rate），因为 SFT 的“好坏”不总是与 loss 单调对应。

5.2 早停的三个关键参数

1) 评估频率（eval interval）

• 太低：可能错过最佳点。
• 太高：计算开销大。
• 建议：让每次 eval 覆盖的训练步数不要过长。SFT 常用每 100~500 steps 评估一次（视数据规模而定）。

2) 耐心值（patience）

• 含义：连续多少次评估没有提升才停止。

• 建议起点：

  • 小数据 SFT：patience = 2~5
  • 中等规模：patience = 3~8

3) 最小提升阈值（min_delta）

• 验证 loss 的波动可能很小，设置 min_delta 可以避免被噪声误导。
• 建议：对 loss 可以用相对变化或绝对变化，小心别设太大。

5.3 早停不等于“训练一半就跑”

早停策略要和保存 checkpoint 联动：

• 始终保存 best checkpoint（以 val loss 最小或指标最大为准）。
• 训练结束时加载 best checkpoint，而不是最后一步的权重。

另外，早停触发往往说明：

• 你已经开始过拟合；或
• 学习率太大导致验证不稳定；或
• 数据分布差异大（train/val mismatch）。

因此早停是“保险丝”，但不是唯一解决方案。配合前面的去重与正则化，效果会明显更稳。

6. 一套可直接照做的防过拟合落地流程（建议顺序）

下面给出一个从“症状出现”到“稳定提升”的实操流程，你可以按顺序执行，每步只改一两项，便于归因。

6.1 Step 1：清洗与去重

• 对训练集做：精确去重（hash）+ 近似去重（MinHash/SimHash/embedding）。

• 对验证集做：

  • 确保与训练集无交叉重复；
  • 保持与目标场景分布一致。
• 输出统计：去重前后样本数、重复率、各任务类型占比变化。

6.2 Step 2：设置基础正则（Weight Decay）

• 优先 AdamW。
• 起步：weight decay = 0.01。
• bias/norm 参数不施加衰减。

6.3 Step 3：加入温和 Dropout

• 若是 SFT 小数据：把 hidden/residual dropout 设置到 0.05。
• 观察验证 loss 曲线是否更平滑、最佳点是否延后。

6.4 Step 4：加早停与 best checkpoint

• eval interval：确保能捕捉曲线拐点（例如每 200 steps）。
• patience：3（起步）。
• 保存 best checkpoint 并在结束后回滚到最佳。

6.5 Step 5：用“对照实验”确认收益

建议你至少做两组对照：

• A：去重 + weight decay + 早停
• B：A + dropout

比较：

• best val loss / best 指标
• 训练步数到达最佳点的 step
• 固定提示集上的输出质量（尽量记录可复现的 prompt 列表）

7. 训练日志里如何快速判断你在过拟合

给你几个“看到就该行动”的信号：

• val loss 最低点出现后，继续训练 1~2 次 eval 周期都在上升：开启/收紧早停，或加大正则。
• train loss 与 val loss 差距越来越大：提高 weight decay 或 dropout；检查重复数据。
• 模型在固定提示集上输出变得更长、更啰嗦、更像训练语料的风格：常见于 SFT 过拟合，优先去重与早停。
• 出现大量复读/自我循环：可能是数据质量问题（重复、低质量模板）+ 训练过度叠加，先去重再调正则。

8. 小结：四件事的“优先级与职责分工”

• 数据去重：从源头提升有效样本多样性，降低记忆化与泄漏风险；性价比最高。
• Weight Decay：最稳定、最常用的基础正则，通常默认就该配好。
• Dropout：对小数据 SFT 尤其有效，但要控制强度，避免学不上去。
• 早停：训练动态的最后防线，配合 best checkpoint 把最佳泛化点保住。

在 Ai大模型训练教程 的后续实战篇里，你可以把这些策略当成“训练稳定四件套”：只要遇到验证指标不涨、生成开始模板化，按本文流程逐步排查与加固，通常都能把模型从“会背书”拉回到“会泛化”。