標籤 SGLang

AWS 於 2026 年 11 月 12 日開放 SGLang-Neuron 公開預覽容器 v0.1.0，由 SGLang 背後的 RadixArk 與 Annapurna Labs 合作發布：Trainium3 沿用熟悉的 SGLang 介面服務 GPT-OSS-120B、Qwen3.5-397B-A17B、Kimi-K3 等九個語言模型家族，支援 NIXL 加 EFA 的分離式推論與接流量前的編譯暖機；但核心釘死在 SGLang 修訂 43881a7 與 Neuron SDK 2.33.0，預設貪婪取樣會拒絕未帶溫度的請求，LoRA 與嵌入服務這版全被拒。