3月28日，北京大學(xué)鯤鵬昇騰科教創(chuàng)新卓越中心特訓(xùn)營在北京大學(xué)新燕園校區(qū)計(jì)算機(jī)大樓成功舉辦，本次特訓(xùn)營旨在深入探討昇騰技術(shù)棧在大模型應(yīng)用中的前沿技術(shù)，特別是基于北京大學(xué)自研SCOW平臺和華為昇騰的DeepSeek本地化部署與推理優(yōu)化，并通過實(shí)踐操作和技術(shù)專家面對面交流，進(jìn)一步激發(fā)學(xué)生們的創(chuàng)新思維與學(xué)術(shù)視野。
深入解析：DeepSeek推理技術(shù)與昇騰平臺的融合
活動伊始，昇騰生態(tài)技術(shù)專家許濤就“DeepSeek-MoE模型技術(shù)演變分析”，深入解讀了DeepSeek系列模型技術(shù)演變。DeepSeek-MoE模型自推出以來不斷優(yōu)化，通過增加模型大小和專家數(shù)量，降低專家激活比，來提升性能，在架構(gòu)和訓(xùn)練策略上持續(xù)創(chuàng)新。在技術(shù)實(shí)現(xiàn)方面，模型采用了多種優(yōu)化方法，如在訓(xùn)練過程中，利用DualPipe雙向流水線方法減少通信開銷，根據(jù)不同的算子需求選擇合適精度計(jì)算，引入MTP方法，以多個(gè)Token作為監(jiān)督優(yōu)化模型。同時(shí)，昇騰已經(jīng)完成對Deepseek的適配，可以高效利用超節(jié)點(diǎn)內(nèi)的高速通信帶寬，有望在DeepSeek時(shí)代取得更好的發(fā)展。
（昇騰生態(tài)技術(shù)專家 許濤）
實(shí)踐分享：基于昇騰的DeepSeek全棧開源推理方案
北京大學(xué)聯(lián)合華為發(fā)布的DeepSeek全棧開源推理方案依托全棧開源組件構(gòu)建，基于北京大學(xué)自主研發(fā)的SCOW算力平臺系統(tǒng)，整合了DeepSeek、openEuler、MindSpore與vLLM/RAY等社區(qū)開源組件，通過開放協(xié)作打破技術(shù)壁壘，持續(xù)推動技術(shù)創(chuàng)新。北京大學(xué)計(jì)算中心工程師龍汀汀在特訓(xùn)營中詳細(xì)介紹了該方案，現(xiàn)場演示了系統(tǒng)如何快速適應(yīng)不同的AI框架，并展示其在多種應(yīng)用場景下的高效性能。
（北京大學(xué)計(jì)算中心工程師 龍汀汀）
上手實(shí)操：邊緣設(shè)備上的昇騰技術(shù)實(shí)踐
在本次特訓(xùn)營的開發(fā)實(shí)戰(zhàn)環(huán)節(jié)，學(xué)生們基于昇思MindSpore框架，在香橙派AI Pro開發(fā)板（20TOPS）上進(jìn)行模型部署。值得一提的是，目前香橙派昇騰系列產(chǎn)品已經(jīng)率先完成了與 DeepSeek 模型的深度適配，利用開箱即用模型，讓邊緣離線部署變得輕松高效。通過實(shí)操，學(xué)生們親身感受到了昇騰無需依賴云端的強(qiáng)大算力，直接在邊緣設(shè)備上實(shí)現(xiàn)高性能計(jì)算及積木式開發(fā)，既保障了數(shù)據(jù)處理的隱私安全，又大幅提升了響應(yīng)效率。這種“端側(cè)智能”的實(shí)戰(zhàn)體驗(yàn)，不僅讓學(xué)習(xí)更直觀，更讓大家領(lǐng)略到AI落地應(yīng)用的無限可能。
（北京大學(xué)學(xué)生現(xiàn)場實(shí)操香橙派AI Pro開發(fā)板）
開放討論：技術(shù)專家與學(xué)者面對面答疑
在活動的最后，學(xué)生們與華為計(jì)算戰(zhàn)略規(guī)劃專家、北京大學(xué)計(jì)算中心工程師、AI安全解決方案專家、昇騰生態(tài)技術(shù)專家們一起進(jìn)行了面對面的互動，從鯤鵬昇騰設(shè)備使用到技術(shù)難題再到未來發(fā)展趨勢，涵蓋諸多領(lǐng)域。在算子開發(fā)與適配方面，學(xué)生們提出的問題得到了專家們細(xì)致且富有前瞻性的解答。關(guān)于自定義算子綁定復(fù)雜、編譯耗時(shí)的問題，專家們表示除了相關(guān)QA文檔資源會隨商業(yè)版本盡快發(fā)布外，也可直接咨詢?nèi)A為研發(fā)專家加速問題解決。同時(shí)歡迎高校師生將自身解決問題的過程發(fā)布為案例教程，這些無疑為學(xué)生們后續(xù)的開發(fā)工作提供了有力支持。對于開源編譯器支持的疑問，專家們詳細(xì)介紹了相關(guān)接口的開源情況以及正在推進(jìn)的研發(fā)工作，讓學(xué)生們了解到未來算子開發(fā)將更加簡化，這極大地激發(fā)了學(xué)生們探索新技術(shù)的熱情。
硬件性能與生態(tài)建設(shè)也是互動的焦點(diǎn)。學(xué)生們關(guān)心的端側(cè)異構(gòu)模型部署問題，專家深入淺出地講解了華為在這方面的布局和技術(shù)優(yōu)勢。他們提到，華為在端側(cè)NPU和GPU的協(xié)同工作上有著長遠(yuǎn)的規(guī)劃，并且在泛邊緣或泛端場景下，軟件體系的通用性為開發(fā)者提供了更為廣闊的發(fā)展空間，這讓學(xué)生們認(rèn)識到華為計(jì)算生態(tài)的潛力，也為他們未來的研究方向提供了新的思路。
（開放交流環(huán)節(jié) 專家學(xué)者與學(xué)生們互動）
本次特訓(xùn)營的圓滿舉辦是北京大學(xué)鯤鵬昇騰科教創(chuàng)新卓越中心在AI技術(shù)創(chuàng)新和人才培養(yǎng)方面的一次成功實(shí)踐。北京大學(xué)鯤鵬昇騰科教創(chuàng)新卓越中心自成立以來，致力于構(gòu)建基于鯤鵬昇騰技術(shù)路線的校級生態(tài)合作平臺，圍繞大學(xué)計(jì)算產(chǎn)業(yè)前沿課題研究、課程體系建設(shè)、研究人才培養(yǎng)等方面展開合作，為產(chǎn)業(yè)輸出高質(zhì)量鯤鵬昇騰創(chuàng)新人才，孵化和培育根植中國的世界級科研創(chuàng)新成果。未來，鯤鵬昇騰科教創(chuàng)新卓越中心將繼續(xù)開展一系列針對高校師生的培訓(xùn)活動，幫助他們在科研創(chuàng)新與技術(shù)應(yīng)用中取得更好的成果，推動人工智能技術(shù)的進(jìn)步與產(chǎn)業(yè)的發(fā)展。
