標籤 UltraBERT

dmis-lab 團隊 10 月 10 日同步公開 UltraBERT 論文與三個 Apache-2.0 模型，150M 與 380M 兩種尺寸宣稱在 GLUE 分類與 BEIR 檢索同時拿下同級第一，並原生支援 32K 上下文。榜單數字全部來自逐任務微調，模型卡明言釋出的是預訓練權重，現成可用的只有另發的 Embed-150M，而且僅支援英文。