Tagged: 优化器

41  0

Kimi K2

MuonClip Muon 抛弃 Adam 的二阶矩,用全局 RMS 缩放替代,以牺牲少量稳定性换翻倍的令牌效率和更低的计算开销。 MuonClip 解决 Muon 规模化训练时的Attention ...