2,251 0
[略读]FROZEN TRANSFORMERS IN LANGUAGE MODELSARE EFFECTIVE VISUAL ENCODER LAYERS
ABSTRACT 本文揭示了大型语言模型（LLMs）尽管仅在文本数据上进行训练，但在没有语言的情况下，它们仍然是纯视觉任务的强大编码器。更有趣的是，这可以通过一种简单但以前被忽视的策略实现 ̵...
1,778 0
[瞎读]VISION-LANGUAGE INTEGRATION IN MULTIMODAL VIDEO TRANSFORMERS (PARTIALLY) ALIGNS WITH THE BRAIN
视觉-语言融合在多模态视频Transformer中与部分大脑一致 ABSTRACT 整合来自多种模态的信息可以说是使人工智能系统具有对真实世界的理解的基本先决条件之一。最近，视频Transformer...
2,012 0
[略读]Big Bird: Transformers for Longer Sequences
Abstract 基于Transformer的模型，例如BERT，已成为自然语言处理中最成功的深度学习模型之一。不幸的是，它有一个核心限制是全局注意力机制对序列长度具有二次方的依赖性（主要是在显存方面...
1,605 0
[精读]What Matters in Training a GPT4-Style LanguageModel with Multimodal Inputs?
Abstract 最近大型语言模型（LLMs）的进展，如GPT4，在遵循给定图像的开放式指令方面展示了出色的多模态能力。然而，这些模型的性能严重依赖于设计选择，如网络结构、训练数据和训练策略，而这些选...
2,096 0
[略读]The benefit of PCA and whitening
Negative evidences and co-occurrences in image retrieval: the benefit of PCA and whitening Abstract ...
2,517 0
[多模态]Everything at Once
Multi-modal Fusion Transformer for Video Retrieval Abstract 从视频数据中进行多模态学习最近受到了越来越多的关注，因为它允许在没有人工注释的情...