2017年，深度学习领域迎来了一个划时代的突破——《Attention is All You Need》这篇论文的发表，几乎一夜之间改变了人工智能的发展轨迹。这篇论文的核心贡献是提出了一种全新的模型架构——Transformer，彻底摒弃了传统的递归神经网络（RNN）和卷积神经网络（CNN）结构，提出了“注意力机制”作为唯一的计算手段。Transformer的出现不仅在自然语言处理（NLP）领域掀 ...

理解了多头注意力（Multi-Head ...

深度学习领域围绕着如何改进 Transformer 架构的讨论从未停歇。此前，许多研究者试图寻找能够完全替代 Transformer ...

Transformer架构已经成为当今大模型的基石，不管是NLP还是CV领域，目前的SOTA模型基本都是基于Transformer架构的，比如NLP中目前的各种知名大模型，或者CV中的Vit等模型 本次介绍的论文标题为：Tokenformer: Rethinking Transformer Scaling with Tokenized Model Parameters,” 顾名思义 ...

大模型的核心点就在于特征的提取和重建，大模型技术的所有一切都是为了这个核心点服务 ” 对大模型有过了解的人应该都知道Transformer架构，而且也知道这个架构在NLP(自然语言处理)领域大放异彩；但是为什么Transformer架构能在NLP领域大放异彩，以及为什么 ...