事實表明，盡管有很多好處，但生成式人工智能也給企業(yè)帶來了許多安全挑戰(zhàn)，而且可能代價高昂。而企業(yè)需要審查可能的威脅和最佳實踐以降低風險。

在ChatGPT推出之后，生成式人工智能模型的迅速采用有望從根本上改變企業(yè)開展業(yè)務以及與客戶和供應商互動的方式。

生成式人工智能可以支持廣泛的業(yè)務需求，例如編寫營銷內(nèi)容、改善客戶服務、生成軟件應用程序源代碼和生成業(yè)務報告。生成式人工智能工具的諸多好處鼓勵企業(yè)和個人在工作中測試這些工具的能力，尤其在降低成本、提高工作速度和質量方面。

然而，與任何新興技術一樣，快速實施可能存在風險，為威脅行為者利用企業(yè)的漏洞打開了大門。在當今復雜的IT威脅環(huán)境中，未經(jīng)仔細考慮就使用生成人工智能工具可能會給企業(yè)帶來災難性的后果。

與在企業(yè)環(huán)境中使用生成人工智能相關的安全風險

了解在企業(yè)環(huán)境中使用生成式人工智能的潛在風險對于從這項技術中受益，同時保持合規(guī)性和避免安全漏洞至關重要。在規(guī)劃生成式人工智能部署時，需要牢記以下風險。

(1)員工泄露敏感工作信息

在企業(yè)環(huán)境中，用戶應該謹慎對待他們與他人分享的任何數(shù)據(jù)，包括ChatGPT和其他人工智能聊天機器人。

最近最引人注目的事件是三星公司員工將敏感信息與ChatGPT共享而導致的數(shù)據(jù)泄露。三星的工程師將機密源代碼上傳到ChatGPT模型，此外還使用該服務創(chuàng)建會議記錄和匯總包含敏感工作相關信息的商業(yè)報告。

三星公司發(fā)生的數(shù)據(jù)泄露案例只是向人工智能聊天機器人泄露敏感信息的一個廣為人知的例子。許多其他使用生成式人工智能工具的公司和員工可能會因泄露敏感工作信息而犯類似的錯誤，例如內(nèi)部代碼、版權材料、商業(yè)秘密、個人身份信息(PII)和機密商業(yè)信息。

OpenAI公司對ChatGPT的標準政策是保留用戶記錄30天，以監(jiān)控可能的濫用，即使用戶選擇關閉聊天記錄。對于將ChatGPT集成到其業(yè)務流程中的公司來說，這意味著員工的ChatGPT帳戶可能包含敏感信息。因此，成功入侵員工ChatGPT賬戶的威脅行為者可能會訪問這些用戶查詢和人工智能響應中包含的任何敏感數(shù)據(jù)。

(2)人工智能工具中的安全漏洞

與任何其他軟件一樣，生成式人工智能工具本身也可能存在漏洞，使企業(yè)面臨網(wǎng)絡威脅。

例如，今年3月，OpenAI公司將ChatGPT下線，以修復聊天機器人開源庫中的一個漏洞，該漏洞使一些用戶能夠從另一個活躍用戶的聊天歷史中看到聊天標題。如果兩個用戶在同一時間處于活動狀態(tài)，也可以在其他人的聊天記錄中看到新創(chuàng)建對話的第一條消息。

此外，同樣的漏洞還泄露了在特定時間段內(nèi)活躍的1.2%的ChatGPTPlus用戶的支付相關信息，包括客戶的姓名、電子郵件地址和信用卡號碼的最后四位數(shù)字。在最近的另一起安全事件中，網(wǎng)絡情報機構Group-IB公司發(fā)現(xiàn)，超過10萬個被入侵的ChatGPT賬戶在暗網(wǎng)市場上出售。

(3)數(shù)據(jù)中毒和盜竊

生成式人工智能工具必須提供大量數(shù)據(jù)才能正常工作。這些培訓數(shù)據(jù)來自各種來源，其中許多在互聯(lián)網(wǎng)上是公開的，在某些情況下，可能包括企業(yè)以前與客戶的互動。

在數(shù)據(jù)中毒攻擊中，威脅參與者可以操縱人工智能模型開發(fā)的預訓練階段。通過向訓練數(shù)據(jù)集中注入惡意信息，網(wǎng)絡攻擊者可以影響模型的預測行為，從而導致錯誤或其他有害的響應。

另一個與數(shù)據(jù)相關的風險涉及威脅行為者竊取用于訓練生成式人工智能模型的數(shù)據(jù)集。如果沒有對數(shù)據(jù)訪問進行足夠的加密和控制，模型訓練數(shù)據(jù)中包含的任何敏感信息都可能被獲取數(shù)據(jù)集的攻擊者看到。

(4)違反合規(guī)義務

在企業(yè)環(huán)境中使用人工智能聊天機器人時，IT領導者應評估以下與違反相關法規(guī)相關的風險:

不正確的響應。人工智能工具有時會給出錯誤或膚淺的答案。使顧客接觸到誤導性的信息，除了對企業(yè)的聲譽產(chǎn)生負面影響外，還可能引起法律責任。

數(shù)據(jù)泄漏。員工可以在與人工智能聊天機器人的對話中分享敏感的工作信息，包括客戶的個人身份信息或受保護的健康信息(PHI)。這反過來又可能違反GDPR、PCIDSS和HIPAA等監(jiān)管標準，面臨罰款和法律訴訟的風險。

偏見。人工智能模型的反應有時會表現(xiàn)出基于種族、性別或其他受保護特征的偏見，這可能違反反歧視法。

違反知識產(chǎn)權和版權法。人工智能驅動的工具是在大量數(shù)據(jù)上進行訓練的，通常無法準確地為它們的反應提供特定的來源。其中一些訓練數(shù)據(jù)可能包括受版權保護的材料，如書籍、雜志和學術期刊。在沒有引用的情況下使用基于版權作品的人工智能輸出可能會使企業(yè)受到法律罰款。

關于聊天機器人使用的法律。許多企業(yè)已經(jīng)開始將ChatGPT和其他生成式人工智能工具集成到他們的應用程序中，有些企業(yè)使用人工智能聊天機器人來立即回答客戶的詢問。但在不提前告知客戶的情況下這樣做，可能會受到加州機器人信息披露法等法規(guī)的處罰。

數(shù)據(jù)隱私。一些企業(yè)可能希望開發(fā)自己的生成式人工智能模型，這一過程可能涉及收集大量訓練數(shù)據(jù)。如果威脅行為者成功破壞企業(yè)IT基礎設施并獲得對培訓數(shù)據(jù)的未經(jīng)授權訪問，則泄露受損數(shù)據(jù)集中包含的敏感信息可能違反數(shù)據(jù)隱私法。

除了安全性，生成式人工智能還帶來了算法偏差、幻覺和技術復雜性等挑戰(zhàn)。

在企業(yè)中使用生成式人工智能工具時的最佳安全實踐

為了解決與生成式人工智能相關的眾多安全風險，企業(yè)在實施生成式人工智能工具時應牢記以下策略。

(1)在構建或集成生成式人工智能之前，對數(shù)據(jù)進行分類、匿名和加密

企業(yè)應該對數(shù)據(jù)進行分類，然后再將其輸入聊天機器人或使用它來訓練生成式人工智能模型。確定哪些數(shù)據(jù)對于這些用例是可接受的，并且不與人工智能系統(tǒng)共享任何其他信息。

同樣，對訓練數(shù)據(jù)集中的敏感數(shù)據(jù)進行匿名處理，避免泄露敏感信息。加密人工智能模型的數(shù)據(jù)集及其所有連接，并通過強大的安全策略和控制保護企業(yè)最敏感的數(shù)據(jù)。

(2)對員工進行生成式人工智能安全風險培訓，并制定內(nèi)部使用政策

員工培訓是降低生成式人工智能相關網(wǎng)絡攻擊風險的最關鍵保護措施。為了負責任地實施生成式人工智能，企業(yè)必須教育員工使用這項技術的相關風險。

企業(yè)可以通過制定安全和可接受的使用策略，為工作中的生成人工智能使用設定指導方針。盡管具體細節(jié)因組織而異，但一般的最佳實踐是需要人工監(jiān)督。不要自動信任人工智能生成的內(nèi)容。人類應該審查和編輯人工智能工具創(chuàng)造的一切。

人工智能的使用和安全策略還應該明確指出，在對聊天機器人的查詢中可以包含哪些數(shù)據(jù)，哪些數(shù)據(jù)是不允許的。例如，開發(fā)者不應該將知識產(chǎn)權、版權材料等敏感信息添加到人工智能工具中。

(3)為安全提供生成式人工智能工具

針對生成式人工智能工具進行安全審計和定期滲透測試，以便在將其部署到生產(chǎn)環(huán)境之前識別安全漏洞。

安全團隊還可以通過向人工智能工具提供網(wǎng)絡攻擊示例來訓練它們識別和抵御攻擊企圖。這降低了黑客成功利用組織人工智能系統(tǒng)的可能性。

(4)管理員工對敏感工作數(shù)據(jù)的訪問權限

在企業(yè)環(huán)境中應用最小權限原則，只允許授權人員訪問人工智能訓練數(shù)據(jù)集和底層IT基礎設施。

使用身份和訪問管理工具可以幫助集中和控制員工的訪問憑據(jù)和權限。同樣，實施多因素身份驗證可以幫助保護人工智能系統(tǒng)和數(shù)據(jù)訪問。

(5)確保底層網(wǎng)絡和基礎設施是安全的

在專用網(wǎng)段上部署人工智能系統(tǒng)。使用單獨的網(wǎng)段，限制對主機人工智能工具的訪問，可以增強安全性和可用性。

對于在云中托管人工智能工具的企業(yè)，需要選擇執(zhí)行嚴格安全控制并具有有效合規(guī)性認證的信譽良好的云計算提供商。確保所有與云計算基礎設施的連接都是加密的。

(6)密切關注合規(guī)性需求，包括定期審核供應商

合規(guī)性法規(guī)在不斷發(fā)展，隨著企業(yè)人工智能采用的增加，組織可能會看到更多與生成式人工智能技術相關的合規(guī)性要求。

企業(yè)應密切關注影響其行業(yè)的合規(guī)性法規(guī)，以了解與使用人工智能系統(tǒng)相關的任何變化。作為這個過程的一部分，當使用第三方供應商的人工智能工具時，定期審查供應商的安全控制和漏洞評估。這有助于確保供應商系統(tǒng)中的任何安全弱點都不會滲透到企業(yè)的IT環(huán)境中。