BASHCAT: 後 Transformer 時代來了？Mamba-3、ICLR Outstanding Paper、7M 模型同時打三個方向的真相

2026 年 4-5 月有三件事讓「Transformer 要被換掉」的論調再度燒起來。但你把三件事擺在一起看，會發現它們指的不是同一個方向——其中一件甚至從理論側狠狠打了 SSM 派一巴掌。先別急著重構你的 stack，這篇把張力講清楚。

後 Transformer 對峙主視覺

先看一個讓人心煩的數字

DeepSeek R1，671B 參數，在 ARC-AGI-1 拿 15.8%。
Gemini 2.5 Pro，37.0%。
o3-mini，34.5%。

然後有一個叫 TRM 的東西，7M 參數——少了五個數量級——拿了 44.6%。

你沒看錯。一個你能塞進手機的小模型，在 ARC-AGI（那個讓 AGI 派與懷疑派吵到天昏地暗的「真推理」基準）上面，把市值千億的 frontier model 通通踢開。這篇論文叫 Less is More: Recursive Reasoning with Tiny Networks ，作者 Alexia Jolicoeur-Martineau 來自 Samsung SAIT AI Lab（Montreal），還拿了 ARC Prize 2025 的 Paper Award 1st Place 。

同一時間 ICLR 2026 也辦完了。Mamba-3 拿到 Oral 名額（4% 論文才有的待遇），把 SSM 推到一個明顯更成熟的位置（Oral 是 ICLR 接受論文中極稀少的高榮譽）。另一頭，Transformers are Inherently Succinct 拿了 Outstanding Paper ——理論派直接證明：RNN/SSM 要做出 Transformer 能做的事，表達成本可能是「指數級」的開銷。

三件事丟在一起像看摔角自由搏擊：每個招式都漂亮，但你根本不知道誰會贏。
這就是我接下來要拆的事。

第一條線：Mamba-3 的「推理優先」翻盤

Mamba-3 狀態空間視覺化

Mamba-1（2023）證明 selective SSM 可以打到接近 Transformer。
Mamba-2（2024）給了個叫「state space duality」的理論框架，讓 SSM 不再像個玄學咒語。
Mamba-3 （ICLR 2026 Oral）的問題不一樣：「如果一開始就為推理（inference）設計 SSM，它會長什麼樣？」

作者群 Aakash Lahoti、Kevin Li、Berlin Chen、Caitlin Wang、Aviv Bick、Zico Kolter、Tri Dao、Albert Gu 動了三個槓桿：

1. Exponential-Trapezoidal 離散化

過去 Mamba-1/2 都用「指數歐拉法」做連續時間 ODE 的離散化，這玩意是一階近似。Mamba-3 換成梯形法——二階近似，局部截斷誤差從 O(Δt²) 降到 O(Δt³)。直白講：你的 hidden state 更新公式變成三項遞迴：

h_t = α_t · h_{t-1} + β_t · B_{t-1} · x_{t-1} + γ_t · B_t · x_t

這個小改變的副作用很爽——它讓你不再需要短 causal convolution。Mamba-1/2 都靠那個 short conv 補 induction 能力（簡單講就是「記住前面看過什麼」），Mamba-3 把這件事內建進遞迴本身，省一層。

2. Data-Dependent RoPE 補 state tracking

Mamba 系列被詬病最久的就是 state tracking 能力差——你給它 parity 任務（奇偶判斷），它會崩。
Mamba-3 把 hidden state 升級成複數值（complex-valued），用旋轉的方式更新。實作上等於「資料相依的 RoPE」——把 Transformer 早就用爛的旋轉位置編碼，搬到 SSM 的內部狀態。結果：parity 任務接近 100% 解開。

3. MIMO：用閒置的 GPU 算術強度

decode 時 GPU 通常 memory-bound，算術單元在發呆。Mamba-3 的 MIMO（Multi-Input Multi-Output）讓每個 decode step 做更多有用的事，但 latency 不變。

成績：

指標	Mamba-3 (1.5B)	vs 次強模型
下游平均準確度	+0.6 分（SISO） / +1.8 分（MIMO）	對比 Gated DeltaNet
同 perplexity 所需 state size	砍半	對比 Mamba-2

Janu Verma 的論文導讀給了一句精準的總結：「Mamba-3 是一個押注——推理時代已經到了。」

但——這篇論文還有一個你不會在新聞稿看到的細節。作者在附錄寫得很坦白：要追上 Transformer 的「精準檢索」能力，他們最後跑的是 hybrid（每 5 個 SSM 配 1 個 attention）。
是的。連 Mamba-3 自己都用 hybrid。

第二條線：理論派的當頭棒喝

ICLR Outstanding Paper 表達能力證明

如果你過去十年讀過 SSM 論文，每篇開頭幾乎都會問同一個問題：「我這個架構能表達 Transformer 能表達的函數嗎？」 大家拼命跑 perplexity、跑 benchmark，最後得到的答案大致是「能」。

ICLR 2026 Outstanding Paper 「Transformers are Inherently Succinct」 ——三位作者來自 RPTU Kaiserslautern-Landau、ETH Zürich 與 Max Planck Institute——把這個問題改了：「你能多『簡潔』地表達它？」

結論用一句話講完：
Transformer 可以比 RNN/SSM 指數級更簡潔。比 finite automata 雙指數級更簡潔。

這不是常數倍數差距，不是多項式倍數差距，是 2^n 等級的差。換成工程白話：有一類概念（論文證明用的是 LTL 公式與某些形式語言），用 polynomial-size 的 Transformer 可以表達，但同樣的概念若改用 RNN 或 SSM，最小尺寸必須是指數級。

這就尷尬了。
業界一直在問「Mamba 表達能力夠不夠？」答案是「夠」。但這篇論文要你問的是：「夠的代價是多少？」——如果代價是 參數量爆炸到指數級，那你拿掉 attention 省下的東西，馬上又被狠狠補回來。

論文還有一個副產品也很有意思：驗證 fixed-precision Transformer 的簡單性質是 EXPSPACE-complete。對做 AI 安全與形式驗證（formal verification）的人來說，這基本上等於「想做」跟「做得到」隔了一個指數空間。

Towards AI 上 Dr Swarneendu AI 的解讀講得很狠：「我們花十年回答錯的問題。」

夭壽。

第三條線：7M 參數的 ARC-AGI 小怪

TRM 小模型大殺四方

回到開頭那組數字。TRM 的招式說來其實簡單——簡單到讓人懷疑為什麼以前沒人這樣搞：

# 簡化版 pseudocode
y = embed(answer)
z = embed(latent)
for k in range(K):  # K = 16 改進步數
    for n in range(N):  # 內部遞迴 n 次
        z = net(x, y, z)  # 用問題、目前答案、目前 latent 更新 latent
    y = net(y, z)         # 用 latent 更新答案
# 前面幾輪不計算梯度，只有最後一輪做 backprop

兩層網路，7M 參數，遞迴 16 次自我修正。靠的不是參數量，是「test-time compute」——把算力花在推理時的迭代，不花在參數本身。

完整對比：

模型	參數	ARC-AGI-1	ARC-AGI-2
DeepSeek R1	671B	15.8%	1.3%
Claude 3.7 (16K)	?	28.6%	0.7%
o3-mini-high	?	34.5%	3.0%
Gemini 2.5 Pro (32K)	?	37.0%	4.9%
HRM（前身）	27M	40.3%	5.0%
TRM-Att	7M	44.6%	7.8%
Grok-4-thinking	1.7T	66.7%	15.9%
Bespoke (Grok-4)	1.7T	79.6%	29.4%

（資料整理自 ARC Prize Leaderboard 與 TRM 論文 Table 5，時間點為 2025 年 10 月公告；各模型評估時間不同，比較宜以同期評估為準。）

別過度興奮。
TRM 贏的對手是「拿著 prompt 直接做 ARC」的 LLM。一旦你給 frontier model 大量 test-time compute + 蒸餾（像 Bespoke Grok-4），它還是贏 TRM 一大截。而且 TRM 完全不能回答事實性問題——它的「知識」就是訓練那 1000 筆樣本，它靠的是規則推理而非世界知識。

但 TRM 的存在點出一件事：
參數量 ≠ 推理能力。把算力分到「test-time recursion」，能在特定任務拿到完全不成比例的 ROI。對韌體 / 邊緣場景來說，這是條極大的好消息。

三者擺一起：Hybrid 才是答案

Hybrid 架構視覺化

把三條線並起來：

Mamba-3 用工程把 SSM 推到新高度，但作者自己跑 hybrid
ICLR Outstanding Paper 證明純 SSM 在某些概念表達上要付指數代價
TRM 用「小模型 + 遞迴 test-time compute」打開另一條路

Forbes 的訪談裡 Liquid AI 共同創辦人 Alexander Amini 講得很乾脆：「我們已經看到這個轉變了——今天頂尖、甚至 trillion-parameter 的模型，多數已經是 Transformer 與其他成分的 hybrid。」「我覺得這是今天的主流。」

Alibaba、Qwen 也是同樣路線。
Google 的 Gemma 4 + Multi-Token Prediction 更狠——直接把 speculative decoding 烤進主模型，官方測試 Pixel 上 E2B/E4B 各跑 2.8x / 3.1x，Apple M4 跑 31B 模型 2.5x 。授權還順便改成 Apache 2.0。

所以工程師現在面對的真實局面，不是「Transformer 死了該換誰」這種小屁孩問題，而是：

「怎麼搭？」

Attention 給你精準檢索與壓縮表達
SSM/Mamba 給你線性複雜度、可控 state、長 context、串流
Test-time recursion 給你不靠參數量的推理深度
MTP / speculative decoding 給你 inference 加速

這四個是 可組合的元件，不是互斥的選項。會不會搭，是 2026-2027 的真本事。

對嵌入式 / 邊緣 AI 工程師的意義

邊緣 AI MCU 部署場景

我寫這篇有一半是寫給自己看的。
我做硬體韌體，過去兩年看 LLM 都帶著一種「這跟我有什麼關係」的距離感——Cortex-M4 上跑 70B？笑死。

但 2026 上半年這三件事疊起來，邊緣場景的局勢真的變了：

Mamba-3 的 state size 砍半 + 線性複雜度：MCU 上跑 sub-quadratic 模型不再是學術玩具。state 越小，SRAM / Flash 預算越好抓。
TRM 的 7M 推理範式：不是讓你在 nRF52 上跑 ChatGPT——而是讓你「用一個小到能塞進 MCU 的模型解決特定推理任務」（感測器決策、序列辨識、規則推理）。1.5MB 的權重檔很多 MCU 都吃得下。
Gemma 4 MTP 的 speculative decoding：邊緣不只是「模型多小」，是「inference 多快」。同樣的算力，吞吐 2-3x，這在 voice agent / 即時感測器融合的場景是質變。

如果你跟我一樣是硬韌體背景，要追的不是「LLM 越來越大」，而是 「architecture × test-time compute × inference optimization」這三個方向的交集。
那才是邊緣 AI 真正的窗口。

而軟體端，給用 Claude / Cursor / Codex 的人一句話：
把 prompt 與 skill 當作「可攜資產」設計，因為 6 個月內你下面的模型一定會換——不管是換到 hybrid、換到 SSM 主導、還是換到某種我們現在還沒看到的東西。

寫在最後

2017 年 Vaswani 那篇 Attention Is All You Need 把序列建模壓進一個範式。
2026 年我們同時看到三件事：工程派把 SSM 推到新高度、理論派證明 Transformer 在「簡潔」這個維度有指數優勢、新範式靠 test-time recursion 用 7M 打敗 671B。

我不覺得這是「Transformer 末日」。
我覺得這是「Transformer 終於不再是唯一答案」——一個更健康、更工程化、更 hybrid 的時代。

如果你還在猶豫要不要關注 Mamba / SSM / 後 Transformer，我的建議是：別問「會不會贏」，問「我的場景哪一塊可以用它換性能」。
那才是工程師該問的問題。

BASHCAT

後 Transformer 時代來了？Mamba-3、ICLR Outstanding Paper、7M 模型同時打三個方向的真相