让模型稳定输出JSON与工具调用参数：约束解码、格式数据与损失设计在 Ai大模型训练教程 的实战落地环节里，“让模型稳定输出 JSON”往往比“让模型回答得像人”更关键：只要 JSON 一次解析失败，整条工具链（函数调用、检索、下单、工单流转、报表生成）就会中断。很多团队会...

背景：为什么多轮对话 SFT 更容易出现灾难性遗忘在「Ai大模型训练教程」系列里，很多同学做完基础 SFT（单轮指令-回答）后，会很快转到多轮对话 SFT（Supervised Fine-Tuning）。这一步常见的坑是：模型在新数据上对话能力提升了，但旧能力（通用问答、格...

LoRA/QLoRA微调详解：Rank怎么选、目标模块怎么配与效果权衡在《Ai大模型训练教程：从入门到实战落地的系统课程》这个系列里，LoRA/QLoRA 往往是“把模型快速拉到能用”的关键一环：你不需要全参数微调那样昂贵的显存与训练成本，却能在多数业务场景里获得足够好的效...

全参SFT实战：从数据到训练到导出权重的完整流程在《Ai大模型训练教程：从入门到实战落地的系统课程》这一系列里，全参 SFT（Supervised Fine-Tuning，监督微调）是最接近“把模型调成可用产品能力”的关键一环。与 LoRA/QLoRA 这类参数高效微调不同...

SFT 指令数据的目标：让模型“按你希望的方式说话”在 Ai大模型训练教程 的实战路径里，SFT（Supervised Fine-Tuning，监督微调）最核心的产出不是“更多数据”，而是更可控的行为：面对不同任务，输出结构稳定、格式可解析回答风格统一（语气、长度、引用规范...

为什么“长上下文训练”容易不稳在 Ai大模型训练教程 的实战阶段，很多团队会从 4k/8k 上下文升级到 32k、64k 甚至 128k。真正落地时经常遇到：loss 波动变大、偶发 NaN：同样的超参，在长序列时更容易数值不稳。困惑度不降反升：模型“读得更长”了，但似乎理...

提升训练吞吐的实用技巧：Gradient Accumulation、FlashAttention与编译加速在《Ai大模型训练教程：从入门到实战落地的系统课程》系列里，很多读者做到能“跑起来”后，下一关往往是“跑得快、跑得稳、跑得省”。大模型训练吞吐（throughput）上...

写在前面：为什么“看懂曲线”比“跑通训练”更重要在 Ai大模型训练教程 系列里，很多同学把“训练能跑起来”当成终点，但真正决定模型能否稳定收敛、成本是否可控、上线质量是否可靠的，是你能不能在训练过程中读懂监控曲线，并据此快速定位问题。这篇文章聚焦训练中最常见、也最容易误判的...

为什么“无损恢复”在大模型训练中是刚需在大模型训练里，“训练中断”几乎是常态：显卡驱动重启、集群抢占、作业超时、网络抖动、进程 OOM、手滑 kill、节点硬件故障……如果恢复策略不完善，会出现以下典型损失：训练进度损失：只能从旧 checkpoint 继续，浪费数小时到数...

...