大模型無疑是2023年最火熱的話題之一。ChatGPT的誕生吹響了大模型競(jìng)賽的號(hào)角，科技企業(yè)紛紛推出自家大模型產(chǎn)品，一場(chǎng)大模型的狂歡就此拉開帷幕。

大模型全稱大型語言模型(Large Language Model，LLM)，是指使用大量文本數(shù)據(jù)訓(xùn)練的深度學(xué)習(xí)模型，可以處理多種自然語言任務(wù)，如文本分類、問答、對(duì)話等。據(jù)不完全統(tǒng)計(jì)，國內(nèi)已經(jīng)發(fā)布超130個(gè)大模型。

爭(zhēng)議與熱度并存

不過，伴隨熱度而來的還有爭(zhēng)議，爭(zhēng)議的核心點(diǎn)就在于大模型的安全性，一方面，大模型的幻覺問題，可能會(huì)向企業(yè)的IT團(tuán)隊(duì)提供錯(cuò)誤的輸出，這將導(dǎo)致誤報(bào)或不可操作的修復(fù)事件建議。另一方面，利用大模型創(chuàng)建令人信服的網(wǎng)絡(luò)釣魚消息、字典攻擊、生成惡意代碼等將對(duì)網(wǎng)絡(luò)安全帶來極大的風(fēng)險(xiǎn)挑戰(zhàn)。具體來看：

第一，創(chuàng)建令人信服的網(wǎng)絡(luò)釣魚信息。大模型可以用來創(chuàng)建不同類型的信息，并具有強(qiáng)大的創(chuàng)造力。網(wǎng)絡(luò)攻擊者除了能寫出富有創(chuàng)意的句子外，還可能利用從目標(biāo)個(gè)人的社交媒體賬戶中抓取的數(shù)據(jù)來訓(xùn)練大模型。以此為背景，大模型可以幫助網(wǎng)絡(luò)攻擊者為任何形式的活動(dòng)生成非常有創(chuàng)意的、個(gè)性化的網(wǎng)絡(luò)釣魚信息。

第二，字典攻擊。字典攻擊是一種密碼破解技術(shù)，它基于暴力破解的原理，通過嘗試使用預(yù)先準(zhǔn)備好的單詞列表或字典來猜測(cè)用戶的密碼。大模型可以抓取IT員工之間的對(duì)話或日志文件中的數(shù)據(jù)，在這些信息片段上進(jìn)行訓(xùn)練，然后用于生成專門針對(duì)企業(yè)進(jìn)行的字典攻擊。

第三，惡意代碼生成。網(wǎng)絡(luò)攻擊者可以使用大模型來欺騙或直接使用它們來生成惡意代碼。然后，該代碼可用于構(gòu)建惡意軟件功能，或在與之關(guān)聯(lián)的IT基礎(chǔ)設(shè)施的內(nèi)部組件中執(zhí)行惡意操作。

第四，訓(xùn)練數(shù)據(jù)中毒。大模型訓(xùn)練數(shù)據(jù)庫被虛假信息破壞是企業(yè)應(yīng)該特別警惕的風(fēng)險(xiǎn)。大模型可能會(huì)被攻擊者毒害，從而忽略某些提示或漏洞，或者被訓(xùn)練執(zhí)行某些只有攻擊者知道如何利用的任務(wù)。

可以說，大模型帶來的網(wǎng)絡(luò)風(fēng)險(xiǎn)挑戰(zhàn)是多方面的，需要從多個(gè)方面采取措施應(yīng)對(duì)。

如何降低大模型引發(fā)的相關(guān)風(fēng)險(xiǎn)？

為了降低大模型對(duì)網(wǎng)絡(luò)安全構(gòu)成的風(fēng)險(xiǎn)，企業(yè)在模型訓(xùn)練和數(shù)據(jù)檢索期間采取某些行動(dòng)至關(guān)重要。這些措施包括：

第一，對(duì)抗訓(xùn)練。對(duì)抗性訓(xùn)練包括通過向大模型提供網(wǎng)絡(luò)攻擊實(shí)例來教授他們?nèi)绾巫R(shí)別威脅。網(wǎng)絡(luò)攻擊實(shí)例可以是用于惡意輸入注入的常見提示，也可以是非常成功的網(wǎng)絡(luò)釣魚消息。一旦大模型理解了相關(guān)的惡意令牌和語法，就可以執(zhí)行更有效的停止序列，甚至發(fā)出有關(guān)惡意活動(dòng)的警報(bào)。

第二，防御蒸餾。防御蒸餾是一種更高級(jí)的對(duì)抗訓(xùn)練，涉及兩種機(jī)器學(xué)習(xí)算法。第一個(gè)“教師”模型可以訪問原始訓(xùn)練數(shù)據(jù)，而第二個(gè)學(xué)生模型只在第一個(gè)“教師”模型的輸出上進(jìn)行訓(xùn)練。通過預(yù)測(cè)模式，“學(xué)生”模型創(chuàng)建了對(duì)“教師”模型輸出的期望。當(dāng)“教師”模型輸出不符合它的預(yù)測(cè)時(shí)，就很容易識(shí)別來自惡意行為者的欺騙或注入實(shí)例。

第三，聯(lián)邦學(xué)習(xí)。聯(lián)邦學(xué)習(xí)是一種訓(xùn)練大型語言模型的分散方法。這種方法不允許算法訪問原始數(shù)據(jù)的主要存儲(chǔ)庫，而是使用本地?cái)?shù)據(jù)訓(xùn)練較小的模型，并將單獨(dú)的信息存儲(chǔ)到大型數(shù)據(jù)庫中。然后，使用提供給該數(shù)據(jù)庫的信息對(duì)大模型進(jìn)行訓(xùn)練。

第四，梯度掩蔽。攻擊者對(duì)大模型等機(jī)器學(xué)習(xí)模型使用的一種方法是快速梯度符號(hào)法(Fast Gradient-Sign Method，F(xiàn)GSM)，包括計(jì)算期望和模型輸出之間的損失或變化。然后，攻擊者使用損失來計(jì)算梯度，并小心地利用輸出結(jié)果來增加模型的損失，這使得模型對(duì)輸入進(jìn)行錯(cuò)誤分類，或者對(duì)類似的輸入產(chǎn)生錯(cuò)誤的結(jié)果。梯度掩蔽包括添加正則化元素，在每次計(jì)算梯度時(shí)修改梯度。這樣，攻擊者就很難生成可利用的(非零)梯度。

第五，訓(xùn)練數(shù)據(jù)加密。訓(xùn)練數(shù)據(jù)加密可以對(duì)數(shù)據(jù)進(jìn)行匿名處理，以消除個(gè)人身份識(shí)別，也可以有效地防止大模型被惡意利用。

此外，還可以通過建立完善的安全管理體系，加強(qiáng)安全培訓(xùn)和意識(shí)教育，提高員工的安全意識(shí)和技能，以應(yīng)對(duì)大模型帶來的風(fēng)險(xiǎn)挑戰(zhàn)。

寫在最后

總而言之，大模型作為一種將對(duì)人類產(chǎn)生深遠(yuǎn)影響的新興技術(shù)，其安全問題值得全社會(huì)的重視與關(guān)注。這需要企業(yè)和相關(guān)監(jiān)管機(jī)構(gòu)共同努力，通過建立系統(tǒng)的防范體系，建設(shè)新型安全基礎(chǔ)設(shè)施等手段，以確保大模型在網(wǎng)絡(luò)安全領(lǐng)域的健康發(fā)展。