【导读】 最近，7B小模型又成为了AI巨头们竞相追赶的潮流。继谷歌的Gemma2 7B后，Mistral今天又发布了两个7B模型，分别是针对STEM学科的Mathstral，以及使用Mamaba架构的代码模型Codestral Mamba。

Mamba 虽好，但发展尚早。 深度学习架构有很多，但近些年最成功的莫过于 Transformer，其已经在多个应用领域确立了自己的主导地位。 如此成功的一大关键推动力是注意力机制，这能让基于 Transformer 的模型关注与输入序列相关的部分，实现更好的上下文理解。

在较高层次上，S4学习如何通过中间状态 h(t) 将输入x(t) 映射到输出 y(t) 上。 在此，由于SSM被设计于很好地处理连续数据，例如音频、传感器数据和图像，因此x、y、t 是x的函数。 S4通过三个连续参数矩阵A、B和C将它们互联，具体形式表现为以下两个方程（Mamba ...

如今，线性注意力和SSM连接起来后，前途一片大好，更快的算法、更好的系统优化，就在眼前了。 【导读】在开源社区引起「海啸」的Mamba架构，再次卷土重来！这次，Mamba-2顺利拿下ICML。通过统一SSM和注意力机制，Transformer和SSM直接成了「一家亲」，Mamba-2这是要一统江湖了？ 年前，Mamba被顶会ICLR拒稿的消息曾引起轩然大波。 不同的是，作者在更高的视角上，统一了状 ...

在计算机视觉领域，卷积神经网络（CNN）受限于其有限的感受野，难以捕捉全局特征。尽管变换器（Transformers）弥补了CNN的不足，在提取全局特征方面表现出色，但在高分辨率场景下却面临计算复杂性的问题。如今，Mamba凭借其线性复杂性和全局建模能力展现了 ...

【新智元导读】曼巴回来了！Transformer框架最有力挑战者之一Mamba的最新进化版本Mamba-3来了，已进入ICLR 2026盲审环节，超长文本处理和低延时是其相对Transformer的显著优势。另一个挑战者是FBAM，从不同的角度探索Transformer的下一代框架。 算法巨蟒「Mamba」悄然蜕变 ...

本文提出Geo-Mamba框架，创新性地将地理因素分类为动态、静态和类别型，结合Mamba架构的线性时空建模能力与KAN网络的高精度数值回归特性，实现异质时空数据的多尺度融合与高效建模，在地下水存储异常（RMSE=1.916）、净生态系统交换（R2=0.986）和水覆盖分类（OA ...

智东西11月3日消息，10月29日，美国语音生成创企Cartesia创始人兼首席执行官Karan Goel在社交平台X上宣布推出全新的语音模型Sonic-3，同时还披露其已完成1亿美元（约合人民币7.12亿元）融资，英伟达参投。 Cartesia创立于2023年，由5位斯坦福AI实验室研究员创立，其中 ...

人工智能领域迎来一项突破性进展，国际研究团队成功开发出一种融合Transformer与Mamba架构优势的新型语言模型。这项由多国科研人员共同完成的研究，通过创新性架构设计实现了模型性能与效率的双重突破，为自然语言处理技术开辟了新路径。 传统语言模型 ...