我家Ai智障

在 7B 参数规模以下，对齐相较于单纯的 SFT 几乎没有增益 DPO 的默认学习率为 5e-7，但我们发现 KTO 使用 5e-6 作为默认学习率效果更佳 一、 数据预处理与超参数初始化 数据格式转换 若原始数据为偏好对 （ 优于 ），则标记  为合意样本、 为不合意样本；若为原生二元反馈，直接按标签划分两类样本。 处理数据不平衡：设合意样本数为 、不合意样本数为 ，调整权重超参数 （合意权重）、（不合意权重），满足： 示例：若 ，设 ，则 。 模型与超参数配置 确定参考模型 ：可为有监督微调（SFT）模型或预训练模型；待优化模型  初始化与  一致。 设置核心超参数： 风险厌恶系数 ：大型模型 / 已 SFT 用 ；小型模型 / 无 SFT 用  学习率：推荐 （搭配 AdamW 优化器） 微批次大小：（推荐 ，需满足参考点估计的样本量要求） 二、 单步训练核心计算流程 对每个训练微批次执行以下步骤，迭代至模型收敛： 步骤 1：计算隐含奖励  对批次内每个样本 ，计算当前模型相对于参考模型的概率比对数，即隐含奖励： 合意样本期望 （当前模型生成概率高于参考模型） 不合意样本期望 （当前模型生成概率低于参考模型） 步骤 2：估计参考点  参考点用于衡量全局 “基准奖励”，控制损失函数饱和，采用不匹配对有偏估计： 对批次内 m 个样本，构造不匹配对  ） 计算不匹配对的隐含奖励均值，截断为非负值： 简化场景：若 SFT 数据是 KTO 数据的子集，可直接设 ，无需额外计算。 步骤 3：计算人类感知价值函数  基于前景理论的逻辑函数（避免指数函数数值不稳定），分样本类型计算价值： 其中 Sigmoid 函数 ，确保价值在收益区呈凹形、损失区呈凸形，契合人类决策偏差。 风险厌恶 / 寻求程度由 β 控制；β 越大，收益区域的风险厌恶程度越高，损失区域的风险寻求程度也越高。在实际应用中，对于已进行 SFT 的大型模型，β 在 [0.01, 0.10] 范围内的较小值效果更佳；对于未进行前期 SFT、直接进行 KTO 训练的小型模型，β 在 [0.10, 1.00] 范围内的较大值效果更佳。 步骤 4：计算 KTO 损失函数  损失目标是最大化价值函数，形式为批次样本的期望均值： 其中  对应样本类型的权重（合意取 ，不合意取 ），保证损失非负。 步骤 5：模型参数更新 对损失函数关于模型参数  求梯度（ 不参与反向传播，避免训练不稳定），梯度公式为： 其中  为符号因子：合意样本取 -1，不合意样本取 +1；z 为价值函数内的自变量（合意样本为 ，不合意样本为 ）。用梯度下降算法（如 AdamW）更新参数 ，完成单步训练。 三、 训练收尾与调优 收敛判断：通过验证集的生成质量评估（如 GPT-4 胜率、任务指标）判断模型是否收敛，避免过拟合。 简化训练：大参数量预训练模型（如 Llama-3 8B）可跳过 SFT...

DPO 的核心是跳过显式奖励模型训练和强化学习采样，直接用 “输入 x + 偏好回复 yₙ+ 非偏好回复 yₗ” 的三元组数据，通过简单的分类损失函数优化模型，让模型对齐人类偏好，全程无需模型凭空生成新回复。 一、准备 1. 偏好数据集构建 核心数据格式：每个样本是三元组 (x, yₙ, yₗ) 数据来源：人类标注者对模型初始生成的回复进行 pairwise 偏好判断（二选一），无需标注绝对分数。 x：用户输入提示（如 “我弄坏了朋友的东西，该怎么说？”） yₙ（chosen）：人类偏好的优质回复（如 “主动道歉，问问能不能赔偿”） yₗ（rejected）：人类不偏好的劣质回复（如 “假装不知道，别理他”） 2. 参考模型（π_ref）初始化 参考模型是 “能力基准”，用于限制训练中模型的偏离程度，避免能力退化： 优先选择：已训练好的监督微调模型（SFT 模型），即通过高质量单轮回复微调后的基础模型； 备选方案：若无 SFT 模型，可在偏好数据集的 (x, yₙ) 对上做简单监督微调，得到仅学习优质回复的模型作为 π_ref。参考模型的参数在 DPO 训练中固定不变，仅用于计算约束项。 3. 目标模型（π_θ）初始化 目标模型是待优化的模型，初始参数直接复用参考模型 π_ref 的参数，避免从零训练导致的效率低下和稳定性问题。 二、训练 第一步：数据预处理 —— 拼接序列并转 token 将三元组数据转换为模型可处理的输入格式： 对每个样本，分别拼接两个完整序列： 优质序列：x + yₙ（如 “我弄坏了朋友的东西，该怎么说？+ 主动道歉，问问能不能赔偿”） 劣质序列：x + yₗ（如 “我弄坏了朋友的东西，该怎么说？+ 假装不知道，别理他”） 通过模型的 tokenizer 将两个序列转为 token ID（chosen_input_ids、rejected_input_ids），并生成对应的注意力掩码（attention_mask），标记有效 token 位置。 第二步：计算对数概率 —— 评估现成回复的 “得分” DPO 无需生成新回复，仅计算模型对已有 yₙ 和 yₗ 的生成概率（对数形式，记为 logps），步骤如下： 分别将 chosen_input_ids 和 rejected_input_ids 输入目标模型 π_θ，得到模型输出的 logits（未归一化的预测分数）； 提取回复部分（yₙ 或 yₗ 对应的 token 位置，跳过输入 x 的 token）的 logits，通过 log_softmax 转换为对数概率； 按 yₙ/yₗ 的真实 token 序列，提取每个位置的对数概率并求和，得到整个回复的对数概率： 优质回复对数概率：chosen_logps = sum(log P_θ(yₙ_token | x, yₙ_prev_tokens)) 劣质回复对数概率：rejected_logps = sum(log P_θ(yₗ_token | x, yₗ_prev_tokens)) 同时，用参考模型 π_ref 对相同的两个序列做同样计算，得到 ref_chosen_logps（π_ref 对 yₙ 的对数概率）和 ref_rejected_logps（π_ref 对 yₗ 的对数概率）。 第三步：计算 DPO 损失函数 —— 约束偏好与偏离度...

PPO 训练核心是“采样-计算-多轮裁剪优化”的循环，以“旧策略采样、新策略裁剪更新”为核心逻辑，兼顾稳定性、样本效率和实现简洁性，完整流程如下： 一、前置初始化 网络构建：搭建 Actor-Critic 双分支网络 Actor（策略网络）：输入状态 (s)，输出动作概率分布（离散动作输出类别 logits，连续动作输出高斯分布均值+标准差），用于生成动作。 Critic（价值网络）：输入状态 (s)，输出状态价值 (V(s))（预测该状态的长期期望奖励），用于计算优势值。 可选共享底层特征层（如 MLP/CNN），减少参数冗余。 超参数设置： 折扣因子 (\gamma = 0.99)、GAE 参数 (\lambda = 0.95)、裁剪系数 (\epsilon = 0.2) 多轮优化次数 (K = 10)、单智能体采样步数 (T = 2048)、并行智能体数 (N = 8) 小批量大小 (batch_size = 64)、优化器（Adam，学习率 (lr = 3e-4)） 环境与参数初始化：创建训练环境（如 CartPole/MuJoCo），初始化网络参数 (\theta)。 二、核心迭代循环（每轮 = 1 次策略更新） 循环执行至策略收敛（奖励达标/迭代上限），每轮包含 4 关键步骤： 步骤 1：并行采样数据（用旧策略收集样本） 启动 N 个并行智能体，每个智能体基于当前旧策略（未更新的网络参数）与环境交互 (T) 步。 每步记录核心数据：状态 、动作 、即时奖励 、旧策略动作对数概率 、下一状态 、是否结束 （回合结束为 True）。 最终收集 条样本（如 条），保证数据多样性。 步骤 2：计算优势值 与目标价值 核心是用 GAE（广义优势估计）给每个动作“打分”，修正价值网络预测： 用 Critic 网络预测所有采样状态的价值： 、 计算时序差分误差 ： 从后往前倒推计算 GAE 优势值 （平衡偏差与方差）： 标准化优势值（提升优化稳定性）： 计算目标价值 （用于训练 Critic 网络）： 步骤 3：保存旧策略与数据格式化 保存当前网络参数 为 ，作为后续计算“新旧策略概率比”的锚点，避免策略突变。 将所有样本（）转换为张量，按小批量大小分组，生成数据加载器。 步骤 4：多轮小批量裁剪优化（核心！） 重复...