北京2025年1月8日 /美通社/ -- 日前，國(guó)際標(biāo)準(zhǔn)性能評(píng)估組織SPEC公布了AI基準(zhǔn)測(cè)試SPEC ML最新進(jìn)展，該基準(zhǔn)已完成面向不同AI負(fù)載下的軟硬件系統(tǒng)的性能、擴(kuò)展性和模算效率三大關(guān)鍵指標(biāo)構(gòu)建。其中模算效率首次納入SPEC ML基準(zhǔn)評(píng)測(cè)，將填補(bǔ)大模型計(jì)算效率評(píng)測(cè)基準(zhǔn)領(lǐng)域的研究空白。
隨著人工智能更加廣泛的應(yīng)用，為AI/ML建立強(qiáng)大的基準(zhǔn)測(cè)試比以往任何時(shí)候都更加重要。SPEC ML基準(zhǔn)委員會(huì)主席Arthur Kang表示，統(tǒng)一的基準(zhǔn)評(píng)測(cè)方法不僅有助于簡(jiǎn)化模型比較，還將為注重效率、準(zhǔn)確性和可持續(xù)性的創(chuàng)新鋪平道路。目前AMD、英特爾、NVIDIA、浪潮信息、NetApp和Red Hat等科技企業(yè)正在共同參與開發(fā) SPEC ML基準(zhǔn)測(cè)試，SPEC呼吁更多伙伴參與到項(xiàng)目中，通過(guò)產(chǎn)業(yè)上下游的合作，為大模型的開發(fā)應(yīng)用樹立新的性能評(píng)估標(biāo)桿，為AI技術(shù)的高效、綠色、可持續(xù)發(fā)展注入新動(dòng)力，共創(chuàng)更加繁榮與可持續(xù)的AI新時(shí)代。
近年來(lái)，隨著預(yù)訓(xùn)練模型的快速發(fā)展，人工智能領(lǐng)域迎來(lái)了顯著的技術(shù)進(jìn)步。這些模型通過(guò)大規(guī)模數(shù)據(jù)集的預(yù)訓(xùn)練，并結(jié)合微調(diào)技術(shù)來(lái)適應(yīng)不同任務(wù)，在自然語(yǔ)言處理和計(jì)算機(jī)視覺(jué)等多個(gè)領(lǐng)域取得了顯著成效。然而，隨著模型結(jié)構(gòu)和參數(shù)量的日益復(fù)雜，其在不同軟件框架和硬件平臺(tái)上的表現(xiàn)存在差異，如何全面、公正地比較模型、算力系統(tǒng)的綜合性能變得愈加困難。為了在不增加大規(guī)模計(jì)算資源投入的情況下提升模型的準(zhǔn)確性和效率，建立統(tǒng)一的基準(zhǔn)測(cè)試體系已成為AI領(lǐng)域的迫切需求，這不僅可以幫助開發(fā)者選擇最適合的技術(shù)方案，還能為優(yōu)化計(jì)算資源利用、降低碳排放提供科學(xué)的參考依據(jù)。
但當(dāng)前業(yè)界在模型、框架和硬件協(xié)同效能評(píng)估方面存在顯著空白，缺乏統(tǒng)一的評(píng)估基準(zhǔn)，評(píng)估過(guò)程難以量化，導(dǎo)致開發(fā)者難以做出最優(yōu)的技術(shù)選擇。尤其是在大型模型的訓(xùn)練和推理過(guò)程中，計(jì)算資源和能源的消耗成為行業(yè)面臨的重要挑戰(zhàn)。如何在滿足性能需求的同時(shí)優(yōu)化計(jì)算資源的利用，降低能源消耗，是當(dāng)前研究和應(yīng)用的關(guān)鍵所在。為此，SPEC ML首次提出將模算效率納入基準(zhǔn)評(píng)測(cè)，模型本身精度越高、在對(duì)應(yīng)軟件上對(duì)硬件性能利用率越高、推理及訓(xùn)練所需算力越小，模算效率越高。模算效率的評(píng)價(jià)對(duì)象涵蓋了AI大模型、運(yùn)行框架和硬件算力平臺(tái)的一整套軟硬件系統(tǒng)。
模算效率的首次提出，將增強(qiáng)不同預(yù)訓(xùn)練模型、軟件框架和硬件系統(tǒng)之間的可比性，促進(jìn)模型與硬件的協(xié)同優(yōu)化，推動(dòng)AI計(jì)算系統(tǒng)的能效提升和技術(shù)創(chuàng)新：
