標籤 稀疏注意力

TTR-Compressor 把序列壓縮改寫成「每次輸入解一次回歸」：係數在推論時用閉式解當場算出，重複資訊的影響隨之遞減。在 Qwen3-VL 視覺端，3×3 合併版本用比標準 MLP 合併器少 55.6% 的視覺 Token，十項評測平均 54.85 對 54.93；在稀疏注意力端，RULER 檢索平均 51.44% 對 39.20%。本文對照論文、專案頁與 GitHub 原始碼，拆解兩張成績單的量測條件、訓練成本與尚未揭露的部分。