基于真實環(huán)境的AI測試不斷演進，促使英特爾技術專家順應行業(yè)需求，持續(xù)提升產品性能，進而營造更友好的發(fā)展環(huán)境，推動AI技術的普及。
MLPerf大家可能都略有耳聞，但又未必完全了解這項AI基準測試。雖然沒能找到這個詞本身的明確定義，但利用AI助手，我們得到了一個值得信賴的答案：MLPerf在2018年5月首次出現(xiàn)時被比作是為“SPEC for ML”。AI助手繼續(xù)寫道：“‘MLPerf’是一個合成詞，由‘ML’（代表機器學習）和‘Perf’（代表性能）組合而成�！�
它進一步解釋說：“雖然沒有關于命名過程的詳細官方說明，但名稱本身就非常直觀，之所以被選中，可能是因為它直接體現(xiàn)了基準測試的目的�！保ㄟ@個解釋也很貼合大家對AI生成的答案的預期，這些AI由研究人員所構建并不斷改進）
實際結果證明了這一點：就在上周，英特爾是唯一一家持續(xù)向MLPerf提交服務器CPU測試結果的廠商。提交的結果中包括了使用英特爾®至強® 6處理器進行圖像檢測和信息分析等常見的AI任務。
加速AI發(fā)展背后的組織與流程
英特爾數(shù)據(jù)中心和人工智能事業(yè)部軟件部門的Ramesh Chukka表示：“MLPerf是目前AI領域首屈一指的基準測試�！�
Chukka代表英特爾擔任MLCommons委員會成員，該聯(lián)盟成立于2020年底，目標是將最初的MLPerf工作范疇擴展到“推動開發(fā)最新的AI和機器學習數(shù)據(jù)集和模型、最佳實踐、基準和指標，并讓使用更加便捷”。
Chukka認為，MLPerf可以泛指所有的基準測試，這些基準測試“像技術的發(fā)展一樣，處于快速演進中”，從而通過“快速構建新的AI技術原型”來實現(xiàn)推動該領域發(fā)展的目標。每個基準測試都衡量了在一定的質量水平下，完成特定AI任務的速度。
這些基準測試分為兩大類：一是訓練，即使用數(shù)據(jù)構建AI模型；二是推理，即讓AI模型像應用程序一樣運行起來。用大語言模型（LLM）來類比：訓練是指LLM從海量信息中學習的過程，而推理則是你每次安排它執(zhí)行任務的時候。
MLCommons每年針對訓練和推理兩大類目分別發(fā)布兩組基準測試結果。英特爾最近一次公布訓練結果是在去年6月，而最新的推理結果則是在本月剛剛發(fā)布。
從MLPerf創(chuàng)立之初，再到之后的MLCommons，英特爾AI專家一直積極參與并貢獻測試結果。英特爾從兩方面參與其中：幫助塑造和推動整個項目的發(fā)展，同時使用英特爾的處理器、加速器和解決方案進行編譯并提交基準測試結果。
MLPerf基準測試所解決的問題
AI模型是復雜的程序，現(xiàn)在越來越多種類的計算機能夠運行這些模型。通過MLPerf基準測試，不僅能夠更好地對比不同種類的計算機，同時也可以推動研究人員和企業(yè)進一步探索前沿技術。
每個基準測試都會盡可能貼近實際應用場景，而其結果則分為兩個類別。其中，“封閉”類別對AI模型和軟件堆棧進行嚴格控制，以盡可能精準地進行硬件比較，即在不同的系統(tǒng)中，使用相同的程序來實現(xiàn)相同的結果，如自然語言處理的準確率測試。
“開放”類別則包含創(chuàng)新因素，即讓每個系統(tǒng)在實現(xiàn)相同目標的前提下，盡可能地突破性能極限。
值得注意的是，MLPerf將所有內容共享，且基準測試是開源的。測試結果需要是可復現(xiàn)的，無隱藏信息。正是這種開源開放的特性，能夠讓廠商進行更全面的比較，而不僅僅是單純的速度對比。比如，廠商也可以從每瓦性能，或成本等維度進行對比。
MLPerf的運行及演進過程
正如Chukka所說，MLPerf之所以廣受業(yè)界認可，部分原因在于它不斷演進并持續(xù)增加新的基準測試。其演進過程主要是由MLCommons社區(qū)的公開討論和辯論驅動的，而諸多大型企業(yè)、初創(chuàng)公司和學術界等均是該社區(qū)的參與者。
首先，新的基準測試會被提出并進行辯論，隨后獲批的基準測試需要一個公開的數(shù)據(jù)集用于訓練。其中需要注意的是，該數(shù)據(jù)集可能已經存在，也可能需要重新創(chuàng)建。其次，參與者自愿組隊，共同構建基準測試、確定或收集數(shù)據(jù)，并為基準測試的發(fā)布設定時間表。
最后，任何希望發(fā)布測試結果的公司都需要在截止日期前提交成果。如果錯過該截止日期，則只能等待下一輪流程重新開啟。
更快速、更高效的AI塑造世界的未來
當越來越多的人借助半導體技術攻克各類難題時，對于英特爾而言，無疑在宏觀層面帶來了顯著的積極影響，然而，英特爾參與MLPerf基準測試，有著更為深遠的意義。
英特爾一直在為AI開源框架貢獻力量，如PyTorch及其擴展。當英特爾工程師努力優(yōu)化代碼以提升MLPerf的運行效率時，那些在英特爾芯片上部署相關AI應用的用戶，無需任何額外操作，便能輕松受益于這些技術進步。
Chukka表示，“對于新的基準測試，我們也一直在探索可行的優(yōu)化方案，并積極準備后續(xù)的提交工作�！�
為了實現(xiàn)更出色的測試結果，Chukka團隊匯集公司各方力量，在多輪測試中取得了出色的性能提升，例如，在2024年的測試結果中，推薦系統(tǒng)推理性能提升了80%，又如在本月的測試結果中，GPT-J基準測試性能提升了22%。
因此，當英特爾發(fā)布新一輪MLPerf測試結果時，往往也代表著整體AI系統(tǒng)都變得更快速、更高效，甚至時下熱門的大模型，也能在響應用戶新的需求時，給出更迅速、更智能的解答。
注釋：
性能因使用情況、配置和其他因素而異。欲了解更多信息，請訪問網站www.Intel.com/PerformanceIndex。
性能結果基于截至配置中所示日期的測試，可能不反映所有公開可用的更新。欲了解更多信息，請訪問MLCommons官方網站。沒有任何產品或組件是絕對安全的。
