机器之心报道编辑：小舟 Mamba 时代来了？ 自 2017 年开创性研究论文《Attention is All You Need》问世以来，transformer 架构就一直主导着生成式人工智能领域。 然而，transformer 架构实际上有两个显著缺点： 内存占用大：Transformer 的内存占用量随上下文长度而变化。这使得在没有大量硬件资源的情况下运行长上下文窗口或大量并行批处理变得具有挑战性，从而限制了广泛的实验和部署。  随着上下文长度的增加，推理速度会变慢：Transformer 的注…