標籤 TNG Technology Consulting

TNG 示範在凍結的 MoE 基座上新增領域專家,合併時不必重訓

TechMoon 精選圖:凍結的 MoE 底座與獨立訓練的 Rust、Haskell 專家模組,拼接進同一模型檢查點的概念圖。

TNG Technology Consulting 於 2026 年 11 月 10 日公開 Bring Your Own Expert 實驗:以 Qwen3.5-35B-A3B-Base 為凍結基座,只訓練新增的 Rust 與 Haskell 專家與路由參數,pass@1 分別提升 11 與 19 個百分點;兩份專家直接合併仍保有大部分能力,官方對照中兩份 LoRA 平均合併則塌回基準附近。程式碼與權重未隨文釋出。

Share to...