標籤 長上下文訓練

Google 開源訓練框架 MaxText 在 v0.2.4 加入長上下文訓練，官方在 64 顆 Cloud TPU 上示範 1,400 萬 token 訓練序列；All-gather、A2A、Ring、USP 四種上下文平行怎麼選，官方利用率數字各綁哪些條件，想試的人從哪裡開始。