975 0
[略读]FROZEN TRANSFORMERS IN LANGUAGE MODELSARE EFFECTIVE VISUAL ENCODER LAYERS
ABSTRACT 本文揭示了大型语言模型（LLMs）尽管仅在文本数据上进行训练，但在没有语言的情况下，它们仍然是纯视觉任务的强大编码器。更有趣的是，这可以通过一种简单但以前被忽视的策略实现 ̵...
852 0
[瞎读]VISION-LANGUAGE INTEGRATION IN MULTIMODAL VIDEO TRANSFORMERS (PARTIALLY) ALIGNS WITH THE BRAIN
视觉-语言融合在多模态视频Transformer中与部分大脑一致 ABSTRACT 整合来自多种模态的信息可以说是使人工智能系统具有对真实世界的理解的基本先决条件之一。最近，视频Transformer...
707 0
[精读]What Matters in Training a GPT4-Style LanguageModel with Multimodal Inputs?
Abstract 最近大型语言模型（LLMs）的进展，如GPT4，在遵循给定图像的开放式指令方面展示了出色的多模态能力。然而，这些模型的性能严重依赖于设计选择，如网络结构、训练数据和训练策略，而这些选...
2,676 0
[略读]Align before Fuse
Align before Fuse: Vision and Language Representation Learning with Momentum Distillation 背景 VLP（Vis...
1,347 0
[翻译] UNITER：通用图文表示学习
UNiversal Image-TExt Representation Learning Abstract 联合图文嵌入是大多数视觉和语言任务(V+L tasks)的基础，在这些任务中，多模态输入被同...