近日，國(guó)際電信聯(lián)盟電信標(biāo)準(zhǔn)分局（ITU-T）正式公布了由中國(guó)信息通信研究院（簡(jiǎn)稱“中國(guó)信通院”）主導(dǎo)制定的全新國(guó)際標(biāo)準(zhǔn)——ITU-T F.748.44，該標(biāo)準(zhǔn)聚焦于大模型基準(zhǔn)測(cè)試評(píng)估體系，命名為“基準(zhǔn)測(cè)試/Assessment criteria for foundation models: Benchmark”。這一里程碑式的成就標(biāo)志著大模型技術(shù)評(píng)估領(lǐng)域邁向了國(guó)際化標(biāo)準(zhǔn)化的新篇章。

該國(guó)際標(biāo)準(zhǔn)深入規(guī)范了大模型基準(zhǔn)測(cè)試的各項(xiàng)關(guān)鍵要素，包括測(cè)試維度、數(shù)據(jù)集、方法及工具，旨在構(gòu)建一個(gè)全球公認(rèn)的大模型能力評(píng)估框架。通過系統(tǒng)性研究全球產(chǎn)學(xué)研界超過500項(xiàng)基準(zhǔn)測(cè)試，標(biāo)準(zhǔn)確立了四大核心測(cè)試維度，即測(cè)試場(chǎng)景、測(cè)試能力、測(cè)試任務(wù)和測(cè)試指標(biāo)，為全面、客觀地衡量大模型性能提供了科學(xué)依據(jù)。

隨著人工智能技術(shù)的飛速發(fā)展，如何準(zhǔn)確評(píng)估大模型的綜合能力及其潛在缺陷，已成為學(xué)術(shù)界與產(chǎn)業(yè)界共同關(guān)注的焦點(diǎn)。模型基準(zhǔn)測(cè)試作為目前最為認(rèn)可的評(píng)估手段，通過精心設(shè)計(jì)的測(cè)試任務(wù)和評(píng)價(jià)數(shù)據(jù)集，實(shí)現(xiàn)了對(duì)模型性能的公正、量化評(píng)估。然而，由于缺乏統(tǒng)一標(biāo)準(zhǔn)，當(dāng)前市場(chǎng)上存在眾多基準(zhǔn)測(cè)試方法和數(shù)據(jù)集，評(píng)測(cè)結(jié)果的公正性備受質(zhì)疑。

為了破解這一難題，中國(guó)信通院自2023年起便著手布局大模型基準(zhǔn)測(cè)試研究，并于年底推出了“方升”大模型基準(zhǔn)測(cè)試體系，創(chuàng)新性地引入了自適應(yīng)動(dòng)態(tài)測(cè)試方法，積累了600萬條數(shù)據(jù)集，并構(gòu)建了FactTeting測(cè)試工具，實(shí)現(xiàn)了大模型測(cè)試流程的自動(dòng)化。這一系列的努力為國(guó)際標(biāo)準(zhǔn)的制定奠定了堅(jiān)實(shí)基礎(chǔ)。

自2024年起，中國(guó)信通院參照已發(fā)布的ITU大模型基準(zhǔn)測(cè)試國(guó)際標(biāo)準(zhǔn)，對(duì)國(guó)內(nèi)外眾多標(biāo)桿大模型進(jìn)行了持續(xù)監(jiān)測(cè)，涵蓋了OpenAI o1、DeepSeek R1、Gemini 2.5 Pro、Claude 3.7 Sonnet、Qwen2.5-Max以及百度文心大模型X1等上百個(gè)模型。通過每?jī)蓚€(gè)月一次的周期性評(píng)測(cè)，發(fā)布了涵蓋大語言通用能力、推理能力、代碼能力、多模態(tài)理解能力、文生圖能力以及文生視頻能力等多個(gè)方面的評(píng)測(cè)結(jié)果，為行業(yè)提供了權(quán)威、全面的參考。

ITU-T F.748.44國(guó)際標(biāo)準(zhǔn)的發(fā)布，不僅為大模型技術(shù)的提供方和應(yīng)用方提供了高質(zhì)量的能力評(píng)估依據(jù)，還促進(jìn)了大模型基準(zhǔn)測(cè)試體系架構(gòu)的國(guó)際共識(shí)，引導(dǎo)大模型技術(shù)及產(chǎn)業(yè)健康有序發(fā)展。這一標(biāo)準(zhǔn)化成果對(duì)于推動(dòng)技術(shù)創(chuàng)新、引領(lǐng)行業(yè)趨勢(shì)以及加強(qiáng)國(guó)際合作與交流具有重要意義，標(biāo)志著大模型測(cè)試領(lǐng)域邁出了堅(jiān)實(shí)的一步。