金山云全面接入文心4.5系列開源模型
金山云瀚海平臺(tái)全面接入文心4.5開源模型,為文心大模型開源后首批接入的平臺(tái)之一。
作為綜合性的企業(yè)AI解決方案,金山云瀚海平臺(tái)(以下簡(jiǎn)稱“瀚海平臺(tái)”)可為企業(yè)提供從模型訓(xùn)練、評(píng)估、推理到應(yīng)用開發(fā)的全流程能力。隨著更多優(yōu)質(zhì)模型的接入,瀚海平臺(tái)能在更加多樣化的業(yè)務(wù)場(chǎng)景中助力企業(yè)提升業(yè)務(wù)效率,加速其數(shù)智化轉(zhuǎn)型。
金山云瀚海平臺(tái)部署文心4.5系列開源模型流程:
進(jìn)入模型管理頁(yè)面,找到文心4.5系列開源模型,點(diǎn)擊部署;
填寫推理服務(wù)名稱,設(shè)置推理資源組和副本數(shù),點(diǎn)擊啟動(dòng),等待服務(wù)上線即可。
調(diào)用模型服務(wù):
支持內(nèi)網(wǎng)直接調(diào)用模型;
支持接入瀚海應(yīng)用平臺(tái)后,根據(jù)應(yīng)用場(chǎng)景需要來(lái)使用模型。
據(jù)悉,文心4.5系列開源模型共10款,涵蓋了激活參數(shù)規(guī)模分別為47B和3B的混合專家(MoE)模型(最大的模型總參數(shù)量為424B),以及0.3B的稠密參數(shù)模型。文心4.5系列模型針對(duì)MoE架構(gòu)提出了多模態(tài)異構(gòu)模型結(jié)構(gòu),通過(guò)跨模態(tài)參數(shù)共享機(jī)制實(shí)現(xiàn)模態(tài)間知識(shí)融合,同時(shí)為各單一模態(tài)保留專用參數(shù)空間。
文心4.5系列模型均使用飛槳深度學(xué)習(xí)框架進(jìn)行高效訓(xùn)練、推理和部署。在大語(yǔ)言模型的預(yù)訓(xùn)練中,模型FLOPs利用率(MFU)達(dá)到47%。實(shí)驗(yàn)結(jié)果顯示,該系列模型在多個(gè)文本和多模態(tài)基準(zhǔn)測(cè)試中達(dá)到SOTA水平,在指令遵循、世界知識(shí)記憶、視覺(jué)理解和多模態(tài)推理任務(wù)上效果尤為突出。
文心4.5系列開源模型的接入,不僅拓寬了金山云在平臺(tái)模型服務(wù)領(lǐng)域的廣度,也為公司助力企業(yè)構(gòu)建自主智能體與行業(yè)應(yīng)用奠定了堅(jiān)實(shí)的基礎(chǔ)。未來(lái),金山云瀚海平臺(tái)將持續(xù)接入更多優(yōu)質(zhì)模型,為 金融 、政企、醫(yī)療等領(lǐng)域的客戶提供更優(yōu)服務(wù),助推產(chǎn)業(yè)智能化升級(jí)。