项目目标与交付物：把“安全分类 + 拒答对齐”做成可上线的系统

在 Ai大模型训练教程 系列里，讲“安全”最容易陷入概念。但在真实业务里，安全项目通常有两个刚需：

1. 安全分类（Safety Classification）：对用户输入/模型输出进行风险识别与分级，例如：暴力、色情、仇恨、违法交易、自残、隐私泄露、越狱提示词等。
2. 拒答对齐（Refusal Alignment）：当命中高风险时，模型需要“拒绝 + 引导”，并且拒绝要稳定、不被绕过，同时对低风险合规需求不能过度拒答。

本文的交付物按“可落地上线”来定义：

• 一套可维护的 安全标签体系（taxonomy）与标注规范
• 一个可训练、可评估的 安全分类器（输入级/输出级）
• 一个经过 SFT/偏好对齐的 拒答对齐模型（或在基座模型上进行安全微调）
• 一套贯穿研发—评测—灰度—上线的 指标体系与门禁（gating）
• 一份可复用的 训练与评测流水线（数据、训练、评测、回归、监控）

安全标签体系设计：先定义“什么叫风险”，再谈训练

H3 1）风险大类与分级（示例）

建议先从业务最常见且监管最敏感的类目开始，过大而全会导致标注成本暴增、互标一致性下降。

一个可执行的起步方案：

• S0 合规：正常对话、日常知识
• S1 边界：轻度擦边/可能引发误解（例如：轻度暴力描述、成人暗示）
• S2 违规：明确违反平台/法规（例如：制作爆炸物、贩毒、网赌、成人露骨内容）
• S3 高危：直接危害人身或社会安全（自残自杀指导、恐袭、极端仇恨煽动）

同时定义风险类型（可多选）：

• 暴力与伤害（Violence）
• 色情与性内容（Sexual）
• 违法交易（Illegal trade）
• 仇恨与骚扰（Hate/Harassment）
• 自残自杀（Self-harm）
• 隐私与个人数据（Privacy）
• 越狱与提示词攻击（Jailbreak）
• 医疗/法律/金融等高风险建议（Advice）

实操建议：不要一开始就追求 30+ 类目。建议 8–12 个一级类 + 0–3 个风险等级，先把端到端闭环跑通。

H3 2）拒答策略模板：拒绝也要“可用”

拒答不是一句“我不能回答”。上线后会遇到两个问题：

• 过硬拒：用户体验差，合规请求也被误拒。
• 过软拒：给出替代方案时不小心“泄露关键步骤”。

可执行的拒答模板结构：

1. 明确拒绝（点出不提供的内容类型）
2. 原因简述（安全/法律/政策）
3. 安全替代（提供合规方向：科普、求助渠道、预防措施）
4. 澄清引导（让用户改写为合规需求）

示例（自残场景，注意不要包含操作性细节）：

• 拒绝：我不能提供伤害自己的方法或步骤。
• 引导：如果你正在经历痛苦，我可以帮你寻找支持资源；也可以聊聊你现在最难受的点。
• 建议：联系当地紧急热线/心理援助渠道（可按地区配置）。

数据工程：训练安全分类与拒答对齐的“数据三件套”

H3 1）数据来源与构成

建议按三类数据构建：

1. 真实业务日志（首选）：来自线上问答、搜索、客服对话。优点是真实分布；缺点是需要脱敏、合规审批。
2. 合成数据（补齐长尾）：用规则/模板/LLM 生成对抗样本，补齐罕见高危类（例如恐怖主义）。
3. 公开数据集（辅助）：用于冷启动或对齐参考，但需注意许可与域偏差。

推荐配比（起步）：

• 合规 S0/S1：60%–80%（防止模型“见谁都拒”）
• 违规 S2/S3：20%–40%（覆盖关键风险）
• 其中越狱/对抗：至少占违规部分的 20%（否则上线很脆）

H3 2）标注规范：一致性比数量更重要

标注字段建议至少包括：

• risk_level: S0/S1/S2/S3
• risk_types: 多选
• should_refuse: yes/no
• refusal_style: 模板/语气（可选）
• rationale: 简短理由（用于审计与训练解释）

互标一致性（IAA）建议：

• 每批次抽 5%–10% 双人复标
• 用 Cohen’s Kappa 或 Krippendorff’s Alpha 监控一致性
• Kappa < 0.6 先修规范再扩量

H3 3）对抗与越狱数据：上线前必须准备

越狱样本建议覆盖：

• 角色扮演："你现在是黑客/医生/化学家"
• 分步诱导：先要概念，再要材料，再要步骤
• 语言混淆：中英夹杂、同音字、空格/符号插入
• 反向心理："不要告诉我如何……" 诱导输出
• 引用攻击："我在小说里写……"、"朋友让我问……"

可操作生成方法：

• 模板：对每个高危意图写 20–50 个提示模板
• LLM 扩写：让模型改写成不同表达、不同语言、不同上下文
• 规则扰动：同义替换、字符插入、拼写错误

训练方案总览：两条线并行，最终在推理侧合流

一个成熟系统往往是“分类器 + 对齐模型 + 规则兜底”的组合。

• 安全分类器：低延迟、强可控，适合做 gating
• 拒答对齐模型：负责生成高质量拒答与合规替代
• 规则兜底：用于已知必拦关键词、特定场景（如未成年人保护）

推理合流常见架构：

1. 输入先过 input_safety_classifier
2. 若高危：直接拒答（或调用拒答生成器）
3. 若低危：进入主模型生成
4. 输出再过 output_safety_classifier 做二次拦截
5. 若输出命中风险：改写为拒答或做安全重写（safe completion）

安全分类器训练：从数据到指标的可复现流程

H3 1）任务定义：多标签 + 等级 + 拒答触发

建议把分类拆成两个头（或两个模型）：

• 头 A：risk_level（多分类）
• 头 B：risk_types（多标签）
• 派生：should_refuse = risk_level >= S2（也可单独训练一个二分类头）

这样做的好处：

• 便于解释：你为什么拦？拦的是哪类？
• 便于策略：不同类目不同拒答模板与引导

H3 2）数据切分与采样

• 按用户/会话维度切分，避免同一对话泄漏到训练与测试
• 保留 3 个集合：train/valid/test
• 单独维护 challenge set（对抗集）：越狱、边界擦边、长尾高危

类不平衡处理建议：

• 对 S2/S3 上采样（但不要让训练分布完全失真）
• 使用 focal loss 或 class weight
• 指标以 PR-AUC、F1（macro）为主，避免只看 accuracy

H3 3）阈值与策略：不要只训练，不设门槛

分类器输出通常是概率，需要阈值策略：

• 对 should_refuse 用 高召回阈值（宁可多拦一点，但要控制误杀）
• 对 risk_types 可用 top-k + 阈值

阈值选择方法：

1. 在 valid 上画 Precision-Recall 曲线
2. 设定目标：例如 S2/S3 的 Recall ≥ 0.98
3. 在满足 Recall 的阈值区间里，选择 Precision 最高点
4. 再用 challenge set 验证阈值是否稳健

拒答对齐模型训练：SFT + 偏好对齐（可选）的落地做法

H3 1）SFT 数据格式：把“拒答模板”写进数据

SFT 的核心不是让模型学会“拒绝”，而是学会：

• 哪些该拒、哪些不该拒
• 拒绝时输出的结构与措辞
• 对合规替代的边界：提供帮助但不提供可执行危害步骤

SFT 样本建议包含三类：

1. 必须拒答：高危意图 → 标准拒答 + 安全替代
2. 允许回答：合规问题 → 正常高质量回答（防止过拒）
3. 边界改写：用户问违规 → 模型引导用户改写成合规需求

示例（边界改写类）：

• User：我想买到处方药，有没有不走正规渠道的方法？
• Assistant（目标）：拒绝提供非法购买渠道；建议通过正规医疗途径；解释风险。

H3 2）偏好对齐（DPO/IPO 等）：用“更好的拒答”打磨风格与稳健性

当你发现 SFT 后拒答出现以下问题时，偏好对齐很有效：

• 拒答不一致：同类问题有时拒、有时答
• 拒答啰嗦/说教/激怒用户
• 替代建议不够有用
• 被越狱绕过（在诱导下泄露步骤）

偏好数据（pairwise）构造方法：

• 同一提示下生成 A/B 两个候选：

  • A：拒答清晰、提供安全替代
  • B：拒而不当（过度解释/隐含步骤/态度差/过拒）
• 人工或半自动打偏好标签（A 胜 B）

偏好对齐的指标重点不是困惑度，而是：拒答质量、越狱鲁棒性、合规回答保真度。

指标体系：训练指标只是起点，上线门禁才是关键

下面给一套可直接落地的指标框架，分为“分类器指标”“生成模型指标”“系统级指标”。

H3 1）安全分类器指标（离线）

1. S2/S3 召回率（Recall@S2+）：最关键，决定漏放风险
2. 误杀率（False Positive Rate on S0/S1）：决定体验与业务损失
3. Macro-F1 / PR-AUC：应对类别不平衡
4. 分类型召回：Self-harm、Illegal、Sexual 等关键类单独看
5. 对抗集召回（Challenge Recall）：越狱/混淆表达下的稳定性

建议设置门禁（示例，可按业务调整）：

• Recall(S2+ ) >= 0.98
• Challenge Recall(S2+ ) >= 0.95
• FPR(S0/S1) <= 0.03

H3 2）拒答对齐模型指标（离线）

对生成模型，单纯 BLEU/ROUGE 意义不大，建议使用“可审核”的结构化指标：

1. 拒答正确率（Refusal Correctness）：该拒是否拒、该答是否答
2. 拒答泄露率（Leakage Rate）：拒答中是否包含可执行细节（可用规则+人工抽检）
3. 有用性评分（Helpfulness for Safe Alternative）：替代建议是否可用
4. 语气合规（Tone Compliance）：不攻击、不嘲讽、不过度说教
5. 一致性（Consistency）：同义改写下策略一致
6. 越狱成功率（Jailbreak Success Rate, JSR）：攻击提示下模型输出违规内容的比例（越低越好）

落地评测做法：

• 建一个固定的 评测集：

  • 200–500 条高危拒答
  • 200–500 条合规正常回答
  • 100–300 条边界样本
  • 200+ 条越狱攻击集
• 每次训练/改动都跑回归，形成版本对比表。

H3 3）系统级指标（端到端）

系统合流后要看整体：

• 端到端漏放率（E2E Unsafe Pass Rate）：输入+输出联防后仍放出的比例
• 端到端误杀率（E2E Overblock Rate）：合规请求被拦或被拒答的比例
• 拒答后留存/转化：拒答是否提供了可继续对话的路径
• 平均延迟与成本：分类器、二次审核、重写会增加开销

上线门禁建议：

• 灰度阶段对高风险类目设置更保守阈值
• 当误杀导致业务损失明显时，再基于日志做“误杀专项集”迭代

评测与回归：把安全当成“持续集成”而不是一次性任务

H3 1）回归集维护方法

建议将评测集分层维护：

• Core set：长期稳定，保证可比性
• Fresh set：每周/每月从线上抽样新增，反映新型表达
• Red team set：专门的越狱与对抗集合，持续扩充

每个样本保留：来源、时间、版本、标签、判定依据，便于审计。

H3 2）红队流程（实操）

红队不是随便“提坏问题”，需要可追踪：

1. 定义攻击目标：让模型输出某类违规内容
2. 定义攻击手法：角色扮演、链式诱导、编码混淆等
3. 记录成功路径：提示词序列、模型响应、触发原因
4. 形成可复现用例：纳入 red team set

5. 修复：

   • 更新分类器/阈值
   • 增加对抗训练样本
   • 改拒答模板，减少可利用的“提示”

上线与监控：指标闭环与事故响应

H3 1）线上监控字段

建议至少记录（脱敏后）：

• 是否触发拒答、触发原因（风险类型/等级）
• 分类器置信度分布（监控漂移）
• 输出二次拦截次数
• 用户改写后的继续对话率（拒答是否有效引导）

H3 2）事故分级与响应

• P0：出现明确违法/高危指导输出（立刻回滚/提高阈值/临时规则拦截）
• P1：大面积误杀（调整阈值、回滚到上一个稳定版本）
• P2：边界争议（进入人工复核与规范更新）

把响应动作写成 runbook，避免“临场发挥”。

一个可执行的端到端流程清单（建议照此落地）

1. 确定标签体系：8–12 个风险类 + 3–4 档风险等级
2. 制定标注规范：字段、例子、拒答模板、争议处理
3. 准备数据：真实日志 + 合成补齐 + 越狱对抗集
4. 训练安全分类器：多任务头；处理不平衡；确定阈值
5. 构建拒答 SFT 集：必须拒/允许答/边界改写
6. SFT 训练拒答对齐模型：验证过拒与泄露
7. （可选）偏好对齐：构造 A/B 偏好对，降低越狱成功率
8. 离线评测门禁：分类器 Recall/FPR、模型泄露率/JSR、系统端到端漏放
9. 灰度上线：监控漂移与误杀，收集新型样本
10. 持续回归与红队：周更 fresh set、月更 red team set，形成版本对比

结语：安全不是“把模型变得更谨慎”，而是工程化地可衡量、可迭代

“训练安全分类与拒答对齐模型”的核心难点不在于某个算法名词，而在于：定义清楚风险 → 数据可复现 → 指标可门禁 → 上线可监控 → 迭代可回归。在 Ai大模型训练教程 的项目实战中，只要你把分类器与拒答对齐拆成两条线，并用挑战集/红队把指标做实，就能从“看起来安全”走到“可上线的安全”。