2017年，深度学习领域迎来了一个划时代的突破——《Attention is All You Need》这篇论文的发表，几乎一夜之间改变了人工智能的发展轨迹。这篇论文的核心贡献是提出了一种全新的模型架构——Transformer，彻底摒弃了传统的递归神经网络（RNN）和卷积神经网络（CNN）结构，提出了“注意力机制”作为唯一的计算手段。Transformer的出现不仅在自然语言处理（NLP）领域掀 ...

在这项新专利中，佳源科技将Transformer蒸馏技术应用于仪表检测中，旨在提高检测的准确性和效率。这一方法能够快速分析和处理大量数据，实时监测各种仪表的状态，进而为工业自动化提供更智能的解决方案。这样的创新应用对于制造业、智能家居以及其他自动化系 ...

2025年春节期间，吸引大家视线关注和热议的恐怕不是春节晚会，而是人工智能DeepSeek和电影《哪吒之魔童闹海》（下文简称《哪吒》。就其实质，DeepSeek的基因是哪吒，或者说，DeepSeek就是另一个哪吒。一、哪吒：一个佛系“熊孩子”的千年碰瓷史公元8世纪的长安西市，胡商们正用波斯口音叫卖胡椒，忽然有位天竺僧人神秘兮兮 ...

理解了多头注意力（Multi-Head ...

AIxiv专栏是机器之心发布学术、技术内容的栏目。过去数年，机器之心AIxiv专栏接收报道了2000多篇内容，覆盖全球各大高校与企业的顶级实验室，有效促进了学术交流与传播。如果您有优秀的工作想要分享，欢迎投稿或者联系报道。投稿邮箱：liyazhou@ ...

关于神经网络 从本质上来说，所谓的神经网络就是一个模拟人类大脑的数学模型；而为了解决不同的问题，技术专家们也设计了多种不同的神经网络模型，比如RNN，CNN以及Transformer等模型，以及基于这些模型的变种。 不同的神经网络模型擅长解决不同领域的具体 ...