70 0
[略读] RouteLLM
https://arxiv.org/pdf/2406.18665 Abstract 大型语言模型（LLM）在广泛任务上表现出色，但选择合适的模型往往需要在性能与成本之间权衡。强大的模型效果更好却更昂贵...
340 0
LLM里程碑（WIP）
名称 发布时间 创新点 关键提升 GPT-3.5 2022/11/30 – 指令微调 (Instruction Fine-Tuning)– 基于人类反馈的强化学习 (RLHF)...
333 0
DeepSeek-V3
Abstract MoE 671B -> 37B Multi-head Latent Attention auxiliary-loss-free strategy a multi-token p...
2,331 0
[转载]ZLPR: A NOVEL LOSS FOR MULTI-LABEL CLASSIFICATION
为防失效，转载原文，来自 https://kexue.fm/archives/9064 多标签分类问题的统一loss，能媲美精调权重下的二分类方案，这个损失函数有着单标签分类中“Softmax+交叉熵...
2,075 0
[略读]FROZEN TRANSFORMERS IN LANGUAGE MODELSARE EFFECTIVE VISUAL ENCODER LAYERS
ABSTRACT 本文揭示了大型语言模型（LLMs）尽管仅在文本数据上进行训练，但在没有语言的情况下，它们仍然是纯视觉任务的强大编码器。更有趣的是，这可以通过一种简单但以前被忽视的策略实现 ̵...