螞蟻集團(tuán)近日宣布了一項(xiàng)重要開源舉措，正式推出了Ling-Coder-Lite，這是一款基于MoE（混合專家）架構(gòu)的代碼大語言模型。

據(jù)官方詳細(xì)闡述，Ling-Coder-Lite在推理效率上實(shí)現(xiàn)了顯著提升，具體提升幅度達(dá)到了1.5至2倍。這一成果無疑為代碼生成和處理領(lǐng)域帶來了新的突破。

值得注意的是，螞蟻集團(tuán)此次不僅開源了Ling-Coder-Lite，還同步推出了其輕量級版本Ling-Coder-Lite-Base。這兩款模型均已在Hugging Face與ModelScope平臺上對外開放，供開發(fā)者和研究人員自由使用。

為了支持社區(qū)對這兩款模型進(jìn)行更深入的研究和開發(fā)，螞蟻集團(tuán)還慷慨地開源了大量相關(guān)數(shù)據(jù)。這包括用于退火訓(xùn)練的SyntheticQA數(shù)據(jù)集，以及用于后訓(xùn)練的SFT（監(jiān)督微調(diào)）和DPO（直接偏好優(yōu)化）數(shù)據(jù)集，總數(shù)據(jù)量高達(dá)約3000萬條。

Ling-Coder-Lite基于先進(jìn)的Ling-MoE架構(gòu)打造，其總參數(shù)量達(dá)到了16.8B（十六十八億），但在推理過程中實(shí)際激活的參數(shù)僅為2.75B（二十七億五千萬）。這一設(shè)計(jì)使得模型在保持強(qiáng)大性能的同時，也具備了高效的推理能力。

在功能方面，Ling-Coder-Lite展現(xiàn)出了極高的多樣性和實(shí)用性。它支持Python、Java、C++等數(shù)十種常用編程語言，能夠滿足開發(fā)者在不同場景下的需求。除了簡單的代碼生成和多語言支持外，Ling-Coder-Lite還擅長競賽類和應(yīng)用類高級代碼生成、代碼理解和輸入輸出推理、數(shù)據(jù)科學(xué)和SQL類數(shù)據(jù)分析，以及代碼修復(fù)等復(fù)雜任務(wù)。