12 0
GRPO: DeepSeek-R1
在推理能力方面，OpenAI 的 o1 系列模型（OpenAI, 2024b）率先通过延长思维链（Chain-of-Thought）推理过程的长度实现推理时扩展，在数学、编程、科学推理等多种推理任务中...
19 0
KTO 训练流程总结
在 7B 参数规模以下，对齐相较于单纯的 SFT 几乎没有增益 DPO 的默认学习率为 5e-7，但我们发现 KTO 使用 5e-6 作为默认学习率效果更佳 一、 数据预处理与超参数初始化 数据格式转...
25 0
DPO（直接偏好优化）训练流程总结
DPO 的核心是跳过显式奖励模型训练和强化学习采样，直接用 “输入 x + 偏好回复 yₙ+ 非偏好回复 yₗ” 的三元组数据，通过简单的分类损失函数优化模型，让模型对齐人类偏好，全程无需模型凭空生成...
26 0
PPO（近端策略优化）训练流程总结
PPO 训练核心是“采样-计算-多轮裁剪优化”的循环，以“旧策略采样、新策略裁剪更新”为核心逻辑，兼顾稳定性、样本效率和实现简洁性，完整流程如下： 一、前置初始化 网络构建：搭建 Actor-Crit...