螞蟻集團(tuán)旗下的百靈大模型團(tuán)隊(duì)在近期舉辦的螞蟻技術(shù)日上宣布了一項(xiàng)重要決定：將統(tǒng)一多模態(tài)大模型Ming-lite-omni進(jìn)行開(kāi)源。這一舉動(dòng)標(biāo)志著螞蟻集團(tuán)在人工智能領(lǐng)域的又一次重大開(kāi)放。

Ming-lite-omni是基于Ling-lite構(gòu)建的MoE架構(gòu)全模態(tài)模型，擁有220億的總參數(shù)和30億的激活參數(shù)。據(jù)螞蟻集團(tuán)介紹，該模型不僅在技術(shù)上實(shí)現(xiàn)了突破，更在參數(shù)規(guī)模上達(dá)到了新的高度。

目前，Ming-lite-omni的模型權(quán)重和推理代碼已經(jīng)面向公眾開(kāi)放，后續(xù)訓(xùn)練代碼和訓(xùn)練數(shù)據(jù)也將陸續(xù)推出。這一舉措無(wú)疑將推動(dòng)人工智能領(lǐng)域的技術(shù)創(chuàng)新和應(yīng)用發(fā)展。

今年以來(lái)，百靈大模型團(tuán)隊(duì)已經(jīng)連續(xù)開(kāi)源了多個(gè)模型產(chǎn)品，包括Ling-lite、Ling-plus等大語(yǔ)言模型，以及多模態(tài)大模型Ming-lite-uni和預(yù)覽版的Ming-lite-omni。這些開(kāi)源模型不僅豐富了人工智能領(lǐng)域的技術(shù)生態(tài)，更為開(kāi)發(fā)者提供了更多的選擇和可能性。

據(jù)百靈大模型團(tuán)隊(duì)介紹，五月中旬開(kāi)源的Ling-lite-1.5版本在能力上已經(jīng)接近同水位的SOTA水平，介于千問(wèn)4B和8B之間。這一成就不僅驗(yàn)證了300B尺寸的SOTA MoE大語(yǔ)言模型在非高端算力平臺(tái)上訓(xùn)練的可行性，更展示了國(guó)產(chǎn)GPU在人工智能領(lǐng)域的潛力。

而本次開(kāi)源的Ming-lite-omni在多項(xiàng)理解和生成能力評(píng)測(cè)中，性能與10B量級(jí)領(lǐng)先的多模態(tài)大模型相當(dāng)或更優(yōu)。螞蟻集團(tuán)認(rèn)為，這是目前已知首個(gè)在模態(tài)支持方面能夠與GPT-4o相媲美的開(kāi)源模型。這一成就不僅彰顯了螞蟻集團(tuán)在人工智能領(lǐng)域的技術(shù)實(shí)力，更為全球開(kāi)發(fā)者提供了更多的選擇和參考。

百靈大模型負(fù)責(zé)人西亭表示，百靈大模型的命名規(guī)則中，Ling代表基礎(chǔ)大模型，Ring代表推理版本，Ming則代表多模態(tài)大模型。在過(guò)去的時(shí)間里，百靈大模型團(tuán)隊(duì)主要在MoE架構(gòu)和多模態(tài)領(lǐng)域進(jìn)行了深入探索。他們堅(jiān)定地在語(yǔ)言大模型和多模態(tài)大模型上統(tǒng)一使用了MoE架構(gòu)，并使用了大量非高端的算力平臺(tái)，成功證明了國(guó)產(chǎn)GPU在訓(xùn)練可比擬GPT4o模型方面的能力。

對(duì)于未來(lái)的規(guī)劃，百靈大模型團(tuán)隊(duì)表示將持續(xù)優(yōu)化Ming-lite-omni在全模態(tài)理解和生成任務(wù)上的效果，并提升其多模復(fù)雜推理能力。同時(shí)，他們還將訓(xùn)練更大尺寸的全模態(tài)模型Ming-plus-omni。根據(jù)西亭透露，百靈還在籌備Ling的Max版本，發(fā)布時(shí)間將與deepseek V3的版本相近。