飛象原創(chuàng)（魏德齡/文）通用大語言模型使用得越多，就越會發(fā)現(xiàn)它的不專業(yè)。即便是搜索行業(yè)資料，也可能會讓某一領(lǐng)域的知識與毫不相干的內(nèi)容產(chǎn)生邏輯推理關(guān)聯(lián)，甚至?xí)讯鄠�數(shù)據(jù)當(dāng)成一道道應(yīng)用題，從而在幻覺中編造數(shù)據(jù)，讓人誤以為真。
通用大模型之于電信領(lǐng)域自然也出現(xiàn)了專業(yè)性的問題，在真實的電信環(huán)境中，認(rèn)知局限性問題使其還難以真正應(yīng)用于行業(yè)。
通用大模型的局限性
今年2月份的一項測試表明，GPT-4在專門評估電信知識的TeleQnA數(shù)據(jù)集上得分不到75%，在基于3GPP標(biāo)準(zhǔn)文檔的3GPPTdocs Classification數(shù)據(jù)集上得分甚至低于40%。微軟的輕量模型Phi-2在包含500道通用數(shù)學(xué)題的MATH500基準(zhǔn)測試中僅取得10%的得分。
SK電訊此前在開發(fā)網(wǎng)絡(luò)操作助手的過程中也發(fā)現(xiàn)，盡管作為一項風(fēng)險最低的任務(wù)，但在使用通用大語言模型+RAG的情況下，準(zhǔn)確率卻低于60%，無法達到商用標(biāo)準(zhǔn)。另外，將通用LLM應(yīng)用于客服場景的多項任務(wù)時，調(diào)查顯示滿意度僅為約40%。
在AI與通信領(lǐng)域的融合成為行業(yè)未來方向的大背景之下，LLM在處理電信技術(shù)知識、合規(guī)要求以及網(wǎng)絡(luò)故障排查方面顯然暴露出了能力不足的問題。
其中的原因在于，電信網(wǎng)絡(luò)擁有著復(fù)雜且深入的專業(yè)知識。開發(fā)人員需要將分散的復(fù)雜知識整合為統(tǒng)一數(shù)據(jù)庫，構(gòu)建電信專業(yè)大語言模型及嵌入模型所需的訓(xùn)練數(shù)據(jù)集。數(shù)據(jù)類型可能包括專業(yè)知識、設(shè)備手冊、標(biāo)準(zhǔn)文檔、應(yīng)急處理文檔和行業(yè)術(shù)語。
英偉達此前在GTC大會上又這樣解釋電信大模型與通用大模型所存在的本質(zhì)區(qū)別，關(guān)鍵在于語言信息內(nèi)容的不同，網(wǎng)絡(luò)數(shù)據(jù)超越了文本、視頻和圖像，還包括日志、模擬信息、架構(gòu)圖等信息。為了能夠助力人工智能理解電信網(wǎng)絡(luò)中每天產(chǎn)生的百萬連接與超3800TB的數(shù)據(jù)，就需要訓(xùn)練能夠理解網(wǎng)絡(luò)語言的專用電信模型。
聚焦電信大模型
基于此，電信大模型自然成為行業(yè)聚焦點，對于這一概念在模型的命名上不同的廠商盡管有所差異，但又殊途同歸，例如，SK電訊自研的電信大語言模型（Telco LLM），英偉達的產(chǎn)品為多模態(tài)大語言模型LTM（Large Telco Model），其中電信與模型成為核心關(guān)鍵詞。
GSMA也已經(jīng)推出GSMA Open-Telco LLM Benchmarks，旨在提升大語言模型（LLM）在電信領(lǐng)域應(yīng)用表現(xiàn)的開源社區(qū)。該社區(qū)提供了業(yè)內(nèi)首個用于評估AI模型在真實電信用例中表現(xiàn)的框架，并得到了Hugging Face、哈利法大學(xué)、Linux基金會以及多家領(lǐng)先的移動網(wǎng)絡(luò)運營商和廠商的支持。支持該項目發(fā)布的電信運營商包括Deutsche Telekom、LG Uplus、SK電訊和土耳其電信，以及技術(shù)供應(yīng)商華為。
SK電訊的Telco LLM的微調(diào)流程從一個預(yù)訓(xùn)練的基礎(chǔ)模型開始，例如Claude或GPT，在數(shù)萬億個Token上進行訓(xùn)練后，通過電信任務(wù)數(shù)據(jù)和指令數(shù)據(jù)對基礎(chǔ)模型進行微調(diào)得到。據(jù)稱該模型對電信領(lǐng)域具有深入理解，是一個強大的領(lǐng)域?qū)Ｓ没A(chǔ)模型。之后，可以進一步基于特定用例的數(shù)據(jù)與人工反饋數(shù)據(jù)進行精調(diào)，使其更易快速集成至具體產(chǎn)品和服務(wù)中。
英偉達專門為電信行業(yè)定制的多模態(tài)大語言模型LTM能夠作為網(wǎng)絡(luò)AI智能體的核心組成部分，自動化復(fù)雜的決策流程、提高運營效率與員工效率，并增強網(wǎng)絡(luò)性能。該模型利用NVIDIA AI Enterprise軟件平臺中的NVIDIA NIM和NeMo微服務(wù)，推動新一代AI在網(wǎng)絡(luò)運營中的應(yīng)用。LTM能夠使AI智能體掌握電信網(wǎng)絡(luò)的專屬語言，理解實時網(wǎng)絡(luò)事件、預(yù)測故障，并自動化解決方案。借助NVIDIA NIM微服務(wù)，LTM能夠高效、精準(zhǔn)、低延遲地針對電信工作負(fù)載進行優(yōu)化。
電信大模型在實際業(yè)務(wù)中的工作職責(zé)與其他行業(yè)AI相似，目前也是先從助手的角色做起。
先從助手做起
客服助手是目前很多運營商所選擇的AI率先落地領(lǐng)域。由于電信知識和業(yè)務(wù)邏輯已嵌入在模型中，不再需要冗長、復(fù)雜、難維護的提示，從而大幅降低服務(wù)成本�？头藛T可以在日常對話的過程中，即時獲得大模型所給出的提示，AI依據(jù)用戶的對話可以提取出關(guān)鍵詞與主題，再與專業(yè)知識庫中的內(nèi)容相結(jié)合，帶來準(zhǔn)確、有邏輯、貼近業(yè)務(wù)需求的輔助提示。
電信運營商還會對電信大語言模型進行分詞器優(yōu)化，使得模型能夠更好地理解和處理文本的含義，并且符合服務(wù)地語言的語境和表達方式，讓其所服務(wù)的當(dāng)?shù)卣Z種也能達到與Llama3和GPT-4相近的性能表現(xiàn)。
在網(wǎng)絡(luò)優(yōu)化方面，不久前軟銀也曾演示過關(guān)于體育場突發(fā)流量的優(yōu)化案例，操作人員只需通過對話敘述“明天將會在東京某體育場舉行棒球比賽，我需要如何準(zhǔn)備？”的網(wǎng)絡(luò)需求情況，該模型作為NVIDIA NIM微服務(wù)的一部分，便可根據(jù)網(wǎng)絡(luò)流量的變化自動調(diào)整網(wǎng)絡(luò)配置，從而在幾分鐘內(nèi)實現(xiàn)對網(wǎng)絡(luò)資源的分配。而這項任務(wù)在過去最長可能需要幾天來進行。
面向未來，電信大模型還會驅(qū)動智能體從而扮演網(wǎng)絡(luò)優(yōu)化中的不同角色，包括網(wǎng)絡(luò)規(guī)劃代理、網(wǎng)絡(luò)規(guī)劃代理、網(wǎng)絡(luò)健康代理、網(wǎng)絡(luò)運營中心代理、網(wǎng)絡(luò)保障代理與網(wǎng)絡(luò)部署代理。例如，通過NVIDIA AI Enterprise提供的額外工具所構(gòu)建的網(wǎng)絡(luò)AI智能體，能夠?qū)崿F(xiàn)包括減少宕機時間、優(yōu)化客戶體驗與增強安全性等能力。AI智能體可以通過預(yù)測故障來減少宕機時間，從而提升網(wǎng)絡(luò)韌性。同時，AI驅(qū)動的優(yōu)化能夠加快網(wǎng)絡(luò)速度、減少故障，確保用戶享受無縫連接。此外，AI還能持續(xù)掃描網(wǎng)絡(luò)威脅，并實時降低網(wǎng)絡(luò)攻擊風(fēng)險，全面增強網(wǎng)絡(luò)安全性。
從目前的試水情況來看，“助手”一職顯然還證明處在AI處在極早期的階段，電信大模型還有很長的路要走，證明該領(lǐng)域絕非簡單灌注數(shù)據(jù)就能標(biāo)榜為“專業(yè)”，AI想要助力電信業(yè)突破香濃極限，還要先能夠做到專業(yè)知識的融會貫通，而非簡單的班門弄斧。
