MosaicML推出300億參數(shù)模型MPT-30B，訓(xùn)練成本僅為競(jìng)品零頭-焦點(diǎn)熱訊

2023-06-26 13:45:18 來(lái)源：凱迪網(wǎng)

(資料圖)

DoNews6月25日消息，AI創(chuàng)業(yè)公司MosaicML近日發(fā)布了其語(yǔ)言模型MPT-30B，該模型具有300億參數(shù)，訓(xùn)練成本“僅有其他同類(lèi)競(jìng)品模型的零頭”，有望促進(jìn)行業(yè)逐步降低此類(lèi)模型訓(xùn)練成本，擴(kuò)大AI模型在更廣泛領(lǐng)域的運(yùn)用。

MosaicML 公司CEO Naveen Rao 表示，MPT-30B 的訓(xùn)練成本為 70 萬(wàn)美元（約 502.44 萬(wàn)元人民幣），遠(yuǎn)低于 GPT-3 等同類(lèi)產(chǎn)品所需的數(shù)千萬(wàn)美元訓(xùn)練成本。此外，由于 MPT-30B 的成本較低，體積較小，它也可以更快速地被訓(xùn)練，并且更適合部署在本地硬件上。

MosaicML 公司表示，將模型擴(kuò)展到 300 億參數(shù)只是第一步，接下來(lái)他們將以降低成本為前提，推出體積更大、質(zhì)量更高的模型。