OpenAI 在 2022 年 11 月發(fā)布了對話型大語言模型 ChatGPT,提供了高度智能化的人機(jī)交互體驗(yàn)和極富創(chuàng)造力的內(nèi)容生成能力,模型一經(jīng)發(fā)布,就得到全世界的廣泛關(guān)注。在 ChatGPT 火爆以后,中國科技企業(yè)紛紛投入大模型的相關(guān)工作,包括通信廠商、互聯(lián)網(wǎng)廠商、AI 廠商,以及很多初創(chuàng)公司,從算力層、平臺層、模型層、應(yīng)用層等各個層面進(jìn)行全面布局和突破,涌現(xiàn)出華為盤古、百度文心一言、阿里通義千問、科大訊飛星火認(rèn)知等一批具有行業(yè)影響力的大模型產(chǎn)品。
對通信行業(yè)來說,大模型技術(shù)表現(xiàn)出的技術(shù)能力和潛力,讓業(yè)界普遍認(rèn)為,大模型技術(shù)不僅在自然語言處理、計算機(jī)視覺以及多模態(tài)領(lǐng)域有廣泛的應(yīng)用前景,在通信網(wǎng)絡(luò)中大模型技術(shù)同樣可以大有可為,能夠促進(jìn)通信網(wǎng)絡(luò)自智能力持續(xù)提升。
本文針對通信行業(yè)在智能化發(fā)展方面的痛點(diǎn),分析大模型技術(shù)的優(yōu)勢,針對大模型技術(shù)在無線通信領(lǐng)域,特別是無線通信網(wǎng)絡(luò)智能運(yùn)維方向的應(yīng)用進(jìn)行分析,重點(diǎn)聚焦在大模型技術(shù)背景下,如何將 AIGC 技術(shù)和網(wǎng)絡(luò)運(yùn)維需求相結(jié)合,進(jìn)行應(yīng)用場景和模型構(gòu)建的相關(guān)探討。
一、無線網(wǎng)絡(luò)AI技術(shù)應(yīng)用的前景與現(xiàn)狀
隨著5G無線通信網(wǎng)絡(luò)的發(fā)展,無線網(wǎng)絡(luò)的架構(gòu)日趨復(fù)雜,終端類型和業(yè)務(wù)應(yīng)用也不斷增加,覆蓋增強(qiáng)、網(wǎng)絡(luò)資源管理、干擾提升、跨制式和跨層優(yōu)化、節(jié)能等問題不斷突出,多場景、多制式、多目標(biāo)等問題日趨明顯,每一維度的’多’都為網(wǎng)絡(luò)建設(shè)、運(yùn)營和網(wǎng)絡(luò)優(yōu)化帶來了更高的挑戰(zhàn)。從通信技術(shù)本身來說,存在大量傳統(tǒng)方法難以進(jìn)行精確數(shù)學(xué)建模或者高效求解的技術(shù)問題,而AI技術(shù)在自然語言處理和計算機(jī)視覺等方面的突飛猛進(jìn),推動了近年來 AI 技術(shù)在通信系統(tǒng)中的廣泛研究與探討,目前的研究熱點(diǎn)包括:
網(wǎng)管領(lǐng)域:系統(tǒng)容量、覆蓋、故障率、負(fù)載均衡、異常檢測等多方面的性能優(yōu)化;
核心網(wǎng):智能業(yè)務(wù)質(zhì)量定義與分配、切片狀態(tài)分析、用戶體驗(yàn)分析;
接入網(wǎng):智能無線資源管理、接入控制、調(diào)度算法;
無線AI算法研究重點(diǎn):基于AI的編碼、調(diào)制、多址、多天線、波束管理、定位、感知、信道估計/預(yù)測、接收機(jī)算法等。
從業(yè)界廣泛的研究和探討[1][2]進(jìn)展可以看到,AI技術(shù)應(yīng)用到無線通信網(wǎng)絡(luò),尤其是無線空口側(cè)存在以下挑戰(zhàn):
缺乏科學(xué)公開的數(shù)據(jù)集:行業(yè)的不同機(jī)構(gòu)采用的數(shù)據(jù)集并不統(tǒng)一,研究結(jié)果難以相互驗(yàn)證;
無線AI數(shù)據(jù)和應(yīng)用具備自己獨(dú)特的特征,如何將自然語言處理和計算機(jī)視覺領(lǐng)域的前沿AI算法,與無線數(shù)據(jù)以及無線領(lǐng)域?qū)<抑R進(jìn)行有機(jī)融合尚不明確;
無線通信系統(tǒng)的顯著特征之一是通信場景復(fù)雜多變(室內(nèi)、室外、高鐵等)與業(yè)務(wù)形式多樣,如何讓無線AI方案在有限算力前提下適用于多種通信場景與業(yè)務(wù)形式,是業(yè)界目前需要克服的重要挑戰(zhàn);
無線AI的鏈路級和系統(tǒng)級性能上界尚不明確,在綜合考慮算力、功耗、數(shù)據(jù)集、信令開銷等成本的前提下,AI方案對比傳統(tǒng)基于專家知識的設(shè)計是否有性能增益等重要問題還缺乏系統(tǒng)科學(xué)的分析與論證,這是無線AI未來標(biāo)準(zhǔn)化和產(chǎn)業(yè)化落地的先決條件。
這些問題,導(dǎo)致AI技術(shù)在無線網(wǎng)絡(luò)的空口層面短期難以落地,而業(yè)界更多的面向6G無線AI的應(yīng)用進(jìn)行探討和嘗試,而目前AI技術(shù)在無線網(wǎng)絡(luò)的實(shí)際應(yīng)用主要集中在智能運(yùn)維領(lǐng)域,所以,本文重點(diǎn)針對大模型技術(shù)在智能運(yùn)維的應(yīng)用進(jìn)行探討。
從5G無線網(wǎng)絡(luò)智能運(yùn)維的角度,如何將AI技術(shù)應(yīng)用于5G無線網(wǎng)絡(luò),提升網(wǎng)絡(luò)的性能和效率的需求日趨強(qiáng)烈,業(yè)界已經(jīng)在規(guī)、建、維、優(yōu)、營等網(wǎng)絡(luò)智能化方面有大量實(shí)際應(yīng)用。從一方面來說,5G網(wǎng)絡(luò)架構(gòu)復(fù)雜、參數(shù)眾多,從另一方面說,5G網(wǎng)絡(luò)難以獲得站點(diǎn)環(huán)境、組網(wǎng)環(huán)境、用戶體驗(yàn)、業(yè)務(wù)質(zhì)量等影響網(wǎng)絡(luò)部署和資源分配的關(guān)鍵因素;而AI技術(shù)在特征提取、感知預(yù)測等方面具備優(yōu)勢,如何利用先進(jìn)的AI模型和算法,解決移動通信網(wǎng)絡(luò)對無線環(huán)境、業(yè)務(wù)體驗(yàn)的感知和預(yù)測,從而提升網(wǎng)絡(luò)性能和業(yè)務(wù)感知,將是當(dāng)前階段的一個急需突破的工作。
二、大模型技術(shù)在智能運(yùn)維應(yīng)用的前景和挑戰(zhàn)
從目前OpenAI推出的ChatGPT和之后GPT-4產(chǎn)品來看,大模型技術(shù)擁有一些重要的技術(shù)特征[3],具體包括:
知識抽取能力:GPT系列產(chǎn)品擁有龐大的世界知識,包括事實(shí)性知識和常識,可以提供知識的查詢和檢索,而且可以進(jìn)行知識的歸納和總結(jié),甚至提供簡單的知識推理和證明能力。
符合人類習(xí)慣的交互方式:以遵循提示(prompt)并生成補(bǔ)全提示詞的句子的語言生成方式,通過上下文學(xué)習(xí)保持對話一致性,能理解人類意圖并用自然語言回答問題、生成內(nèi)容和解決問題,改變了現(xiàn)有人機(jī)互動方式及人類獲取世界知識的方式。
跨語言及多模態(tài)交流能力:不僅可以處理多種人類語言,還可以理解圖片內(nèi)容,為人們提供更加便捷的交流,此外還可以將人類語言與機(jī)器語言進(jìn)行相互翻譯,促進(jìn)了人機(jī)物三元世界的融合。
自我學(xué)習(xí)和自我進(jìn)化的能力:能夠自動從海量數(shù)據(jù)和人類指令中學(xué)習(xí)到其中的世界知識,學(xué)習(xí)過程不需要人的介入,而且可以自行檢查學(xué)習(xí)成果并不斷優(yōu)化迭代,能靈活應(yīng)用所學(xué)知識來解決實(shí)際問題。
根據(jù)大模型技術(shù)展現(xiàn)的這些技術(shù)特征,針對無線通信的智能運(yùn)維應(yīng)用,大模型技術(shù)在以下方面有明顯的技術(shù)優(yōu)勢:
模型平臺統(tǒng)一問題:從AI技術(shù)在通信的應(yīng)用情況來看,面臨場景多樣和需求復(fù)雜的問題,任務(wù)多樣,而不同的任務(wù)又有不同的數(shù)據(jù)需求;從模型應(yīng)用來看,不同的任務(wù)很難定義統(tǒng)一的評價目標(biāo),導(dǎo)致不同的場景需求需要不同的AI模型,出現(xiàn)“大煉模型”的行業(yè)現(xiàn)狀。而大模型技術(shù),能夠處理自然語言處理的多種任務(wù),同樣的,我們希望,大模型技術(shù)也能應(yīng)用于智能運(yùn)維的多種任務(wù),構(gòu)建統(tǒng)一的模型平臺。
數(shù)據(jù)集的多來源問題:從數(shù)據(jù)集方面,通信行業(yè)雖然擁有大量網(wǎng)絡(luò)數(shù)據(jù),但是數(shù)據(jù)來源和數(shù)據(jù)形式多種多樣,從之前的AI應(yīng)用來看,數(shù)據(jù)的清洗、篩選等處理是一個極其耗費(fèi)人力的工作。而大模型技術(shù)在預(yù)訓(xùn)練過程使用了多種不同來源的數(shù)據(jù)集,具備處理多模態(tài)數(shù)據(jù)的能力,對數(shù)據(jù)的式樣和分布兼容性較高,可以通過微調(diào)等技術(shù)便利的應(yīng)對數(shù)據(jù)的多來源問題。
功能遷移能力:大模型技術(shù)具有強(qiáng)大的知識抽取能力,而智能運(yùn)維的大量任務(wù)可以歸類為知識抽取任務(wù),比如告警的根因分析、干擾識別等任務(wù);大模型技術(shù)在自然語言處理中有大量的序列轉(zhuǎn)導(dǎo)任務(wù),比如翻譯任務(wù),而對于無線網(wǎng)絡(luò)基于用戶體驗(yàn)和網(wǎng)絡(luò)環(huán)境的網(wǎng)絡(luò)優(yōu)化來說,存在用戶感知與網(wǎng)絡(luò)KPI的映射、網(wǎng)絡(luò)KPI與設(shè)備狀態(tài)的關(guān)聯(lián)等需求,這些需求都可以類似于序列轉(zhuǎn)導(dǎo)任務(wù)來進(jìn)行解決。
模型的增量學(xué)習(xí)和進(jìn)化:機(jī)器學(xué)習(xí)模型假設(shè)數(shù)據(jù)分布是平穩(wěn)的,即訓(xùn)練時接受同分布的數(shù)據(jù)訓(xùn)練。但是無線網(wǎng)絡(luò)隨著業(yè)務(wù)種類和用戶流量的持續(xù)增加,網(wǎng)絡(luò)的狀態(tài)也在不斷發(fā)生變化,需要模型能夠持續(xù)的增量學(xué)習(xí),而大模型技術(shù)的自我學(xué)習(xí)和進(jìn)化能力非常適用于網(wǎng)絡(luò)的持續(xù)優(yōu)化要求。
對于構(gòu)建電信行業(yè)大模型,需要利用行業(yè)數(shù)據(jù)對大模型繼續(xù)微調(diào)或重新訓(xùn)練,以提升模型的專業(yè)性。從行業(yè)數(shù)據(jù)角度,通信行業(yè)基于標(biāo)準(zhǔn)化的體系架構(gòu),是一個高度標(biāo)準(zhǔn)化、數(shù)字化的專業(yè)領(lǐng)域,已經(jīng)積累大量的歷史數(shù)據(jù),經(jīng)過場景業(yè)務(wù)梳理和對數(shù)據(jù)的處理,可以轉(zhuǎn)化為大規(guī)模、多樣性、高質(zhì)量的有效訓(xùn)練數(shù)據(jù)集,在行業(yè)數(shù)據(jù)方面具有構(gòu)建行業(yè)大模型的必要條件。
圖1 通信領(lǐng)域的數(shù)據(jù)優(yōu)勢
雖然大模型技術(shù)在無線網(wǎng)絡(luò)的應(yīng)用前景廣闊,但是,依然存在一些具體的問題和挑戰(zhàn),具體包括:
數(shù)據(jù)質(zhì)量要求:從大模型的訓(xùn)練來看,模型性能對數(shù)據(jù)有比較高的質(zhì)量要求,如何針對跨廠家跨域的數(shù)據(jù)質(zhì)量進(jìn)行一致性要求,將是影響大模型技術(shù)在通信網(wǎng)絡(luò)應(yīng)用的一個關(guān)鍵問題。
可靠性要求:從目前大模型的表現(xiàn)來看,無法達(dá)到較高的置信度,存在“一本正經(jīng)的胡說八道”的現(xiàn)象。對于通信網(wǎng)絡(luò),可靠性要求遠(yuǎn)超過GPT產(chǎn)品在互聯(lián)網(wǎng)的應(yīng)用要求,在無線通信系統(tǒng)原有技術(shù)的基礎(chǔ)上,如何基于移動網(wǎng)絡(luò)的數(shù)據(jù)和專家經(jīng)驗(yàn),提升大模型技術(shù)的可靠性?
小型化要求:大模型技術(shù)在無線網(wǎng)絡(luò)的應(yīng)用落地,大模型能做到多‘小’?通過模型蒸餾等技術(shù),模型變小后,可靠性、可遷移性能否滿足運(yùn)營要求?疊加大模型后,需要整體考慮算力、性能、成本等等綜合收益。
安全性要求:大模型本身有數(shù)據(jù)安全泄露風(fēng)險,如何解決安全性、隱私性問題?
三、基于大模型技術(shù)的智能運(yùn)維平臺構(gòu)建探討
針對大模型技術(shù),首先基于智能網(wǎng)絡(luò)三層架構(gòu),進(jìn)行技術(shù)拆解??紤]大模型作為統(tǒng)一技術(shù)底座,提升功能模塊的通用性,改變從異構(gòu)的單一模塊設(shè)計弊病到功能模塊的內(nèi)核統(tǒng)一化;形成統(tǒng)一的模型訓(xùn)練和模型下發(fā),提升模型的可遷移性和可靠性;形成統(tǒng)一的評估模型,便于異廠家、異構(gòu)網(wǎng)絡(luò)的互聯(lián)互通。
圖2 智能網(wǎng)絡(luò)架構(gòu)和解決方案
針對大模型技術(shù)在智能運(yùn)維的應(yīng)用,考慮在智能運(yùn)維當(dāng)中,日志本身就是一種近似自然語言的文本,可以通過大模型技術(shù)來加強(qiáng)對日志文本的理解;可以采用預(yù)訓(xùn)練和指令學(xué)習(xí),根據(jù)多場景任務(wù)需求,建立統(tǒng)一的平臺框架。對于應(yīng)用場景,以異常檢測為例,將日志按照模板進(jìn)行日志解析和數(shù)據(jù)構(gòu)建,利用大模型技術(shù)平臺進(jìn)行日志分析,進(jìn)行告警壓降、異常檢測、故障預(yù)測和診斷等相關(guān)任務(wù)。圖3展示了利用大模型技術(shù)針對告警壓降場景進(jìn)行的應(yīng)用效果,根據(jù)告警數(shù)據(jù)和專家經(jīng)驗(yàn)構(gòu)建訓(xùn)練集,將告警日志導(dǎo)入大模型進(jìn)行告警壓降,根據(jù)專家規(guī)則的數(shù)據(jù)進(jìn)行驗(yàn)證,效果良好,表明大模型技術(shù)具備日志理解、分析和挖掘的巨大應(yīng)用潛力。
圖3告警壓降應(yīng)用示例
借鑒LangChain技術(shù)框架,綜合考慮智能運(yùn)維的場景任務(wù)和應(yīng)用需求,基于大模型技術(shù)構(gòu)建智能運(yùn)維的平臺框架主要包括下面幾方面組成部分:
日志數(shù)據(jù):針對網(wǎng)管數(shù)據(jù)進(jìn)行預(yù)處理,包括數(shù)據(jù)清洗、特征提取、數(shù)據(jù)歸一化等,以便后續(xù)的分析和建模。
向量數(shù)據(jù)庫:將日志數(shù)據(jù)按照相應(yīng)的分類、模板進(jìn)行處理,使用適當(dāng)?shù)南蛄勘硎痉椒▽⑻幚砗蟮娜罩緮?shù)據(jù)轉(zhuǎn)化為向量,需要考慮數(shù)據(jù)高效存儲和快速索引,以及數(shù)據(jù)的更新等。
提示模板:確定提示的目標(biāo)和場景,結(jié)合思維鏈(CoT)技術(shù),收集與目標(biāo)和場景相關(guān)的上下文信息;基于收集到的上下文信息,設(shè)計出適合的提示模板,包括針對各種任務(wù)的提示內(nèi)容;結(jié)合具體應(yīng)用場景個性化定制,根據(jù)網(wǎng)絡(luò)不同發(fā)展階段的性能需求,對提示進(jìn)行進(jìn)一步精細(xì)化定制;對提示的效果和應(yīng)用反饋進(jìn)行監(jiān)控、分析和持續(xù)更新。
知識圖譜:在智能運(yùn)維領(lǐng)域,利用專家經(jīng)驗(yàn)構(gòu)建知識圖譜可以幫助系統(tǒng)更好地理解和應(yīng)用領(lǐng)域內(nèi)的專業(yè)知識。通過收集專家知識、知識抽取和表示、知識建模、知識融合、知識驗(yàn)證等步驟,構(gòu)建知識圖譜,應(yīng)用于智能運(yùn)維系統(tǒng)中,用于相應(yīng)的各類場景和任務(wù)。
大模型平臺:首先需要根據(jù)場景和目標(biāo),選取合適的大模型平臺。然后利用日志數(shù)據(jù),對模型進(jìn)行微調(diào)或重新訓(xùn)練,以保證模型平臺應(yīng)用在智能運(yùn)維中的專業(yè)性。另外,整體考慮算力、性能、成本等等綜合因素,需要對模型進(jìn)行量化、壓縮等優(yōu)化處理,以提示模型的效率。
智能代理:作為應(yīng)用接口,根據(jù)任務(wù)的目標(biāo)和場景,利用向量存儲的日志數(shù)據(jù)、提示模板和知識圖譜,進(jìn)行任務(wù)分解,構(gòu)建相應(yīng)的上下文信息,進(jìn)行合適的日志抽取和提示構(gòu)建,綜合利用專家知識、專業(yè)應(yīng)用程序和大模型平臺執(zhí)行相關(guān)任務(wù)。
圖4 智能運(yùn)維平臺框架
四、大模型技術(shù)在智能運(yùn)維平臺的應(yīng)用嘗試
針對大模型在智能運(yùn)維的應(yīng)用,包括網(wǎng)絡(luò)AI大模型支撐的場景和任務(wù)研究、網(wǎng)絡(luò)AI大模型高效集成方案研究、網(wǎng)絡(luò)AI大模型成效評估體系研究等研究任務(wù)。當(dāng)前階段,重點(diǎn)考慮利用大模型技術(shù)底座,構(gòu)建多任務(wù)統(tǒng)一框架平臺,并進(jìn)行了應(yīng)用驗(yàn)證。
基于ChatGLM2-6B基礎(chǔ)大模型,采用P-Tuning v2方法微調(diào)訓(xùn)練,驗(yàn)證大模型技術(shù)的推理能力??紤]根因分析和異常檢測是運(yùn)維中最基礎(chǔ)和關(guān)鍵的功能,將根因分析和異常檢測作為三個單任務(wù)構(gòu)建模型進(jìn)行驗(yàn)證,測試評估結(jié)果如下。
任務(wù) | Prompt格式 | 測試集準(zhǔn)確度 |
根因分析 | "prompt": "告警數(shù)據(jù)有2條,第0條數(shù)據(jù)中,子原因是人為操作,告警項(xiàng)是RHUB不在位,故障類型是規(guī)劃RHUB,小區(qū)號是NoCELL,發(fā)生的時間順序是3374,第1條數(shù)據(jù)中,子原因是鏈路異常,告警項(xiàng)是射頻單元不在位告警,故障類型是規(guī)劃RRU,小區(qū)號是NoCELL,發(fā)生的時間順序是20,“ "response": "這條告警數(shù)據(jù)的根因是鏈路異常。“ | 97.7% |
"prompt": "告警項(xiàng)有3個,分別是時鐘進(jìn)入異常運(yùn)行狀態(tài),小區(qū)退服,XN鏈路斷開。", "response": "這條告警數(shù)據(jù)的根因是:時鐘進(jìn)入異常運(yùn)行狀態(tài)。“ | 90% | |
異常檢測 | "prompt": "多維指標(biāo)數(shù)據(jù)列表為[100.00, 0.00,100.00, 2.00, 4.00, 0.09, 0.00, 0.09, 3.52,486.61]。" "response": "這條數(shù)據(jù)異常“ | 87.4% |
進(jìn)一步的,輸入多種任務(wù)訓(xùn)練數(shù)據(jù),通過微調(diào)訓(xùn)練得到混合任務(wù)模型,并對該模型進(jìn)行多任務(wù)推理測試,測試評估結(jié)果如下。
任務(wù) | Prompt格式 | 測試集準(zhǔn)確度 |
根因分析 | "prompt": "告警項(xiàng)有3個,分別是時鐘進(jìn)入異常運(yùn)行狀態(tài),小區(qū)退服,XN鏈路斷開。", "response": "這條告警數(shù)據(jù)的根因是:時鐘進(jìn)入異常運(yùn)行狀態(tài)。" | 84.4% |
異常檢測 | "prompt": "多維指標(biāo)數(shù)據(jù)列表為[100.00, 0.00,100.00, 2.00, 4.00, 0.09, 0.00, 0.09, 3.52,486.61]。" "response": "這條數(shù)據(jù)異常" | 87.1% |
從驗(yàn)證效果看,基于大模型技術(shù),對比傳統(tǒng)技術(shù),單項(xiàng)任務(wù)的性能獲得明顯提升;針對多任務(wù)混合模型,大模型技術(shù)也呈現(xiàn)出非常優(yōu)越的性能,說明基于大模型技術(shù)具備建立統(tǒng)一的平臺框架的可能性。在后續(xù)工作中,還將繼續(xù)嘗試更大規(guī)模模型,結(jié)合微調(diào)優(yōu)化方法,提升現(xiàn)有任務(wù)性能;進(jìn)行更多混合任務(wù)評測及性能提升,充分驗(yàn)證多任務(wù)統(tǒng)一框架平臺的可行性;考慮使用Long Chain外掛網(wǎng)管運(yùn)維專業(yè)知識庫,構(gòu)建AI Agent智能代理,實(shí)現(xiàn)運(yùn)維自動化的跨越式提升。
本文初步探討了基于大模型技術(shù)構(gòu)建智能運(yùn)維平臺的應(yīng)用場景和平臺框架,進(jìn)行了分析和應(yīng)用嘗試,我們有理由相信大模型技術(shù)在無線網(wǎng)絡(luò)的智能運(yùn)維領(lǐng)域具有廣闊的應(yīng)用前景,通過提升網(wǎng)絡(luò)的智能化和自動化水平,可以極大的提高網(wǎng)絡(luò)的可靠性、性能和用戶體驗(yàn)。
參考文獻(xiàn):
《6G物理層AI關(guān)鍵技術(shù)白皮書》 中國移動通信有限公司研究院 2022年。
《6G無線內(nèi)生AI架構(gòu)與技術(shù)白皮書》 中國移動通信有限公司研究院 2022年。
《AIGC(GPT-4)賦能通信行業(yè)應(yīng)用白皮書》,亞信科技、清華大學(xué)智能產(chǎn)業(yè)研究院,2023年。