132 0
LLM里程碑（WIP）
名称 发布时间 创新点 关键提升 GPT-3.5 2022/11/30 – 指令微调 (Instruction Fine-Tuning)– 基于人类反馈的强化学习 (RLHF)...
123 0
DeepSeek-V3
Abstract MoE 671B -> 37B Multi-head Latent Attention auxiliary-loss-free strategy a multi-token p...
1,942 0
[略读]FROZEN TRANSFORMERS IN LANGUAGE MODELSARE EFFECTIVE VISUAL ENCODER LAYERS
ABSTRACT 本文揭示了大型语言模型（LLMs）尽管仅在文本数据上进行训练，但在没有语言的情况下，它们仍然是纯视觉任务的强大编码器。更有趣的是，这可以通过一种简单但以前被忽视的策略实现 ̵...