沃卡惠網絡安全公司SlashNext發(fā)現，如今的 AI 聊天機器人出現了一種令人擔憂的情況。有用戶利用AI聊天機器人系統(tǒng)漏洞進行"越獄"操作，這違反了道德準則和網絡安全協(xié)議。
ChatGPT曾因其先進的對話能力而聲名鵲起，然而有一些用戶發(fā)現了能夠繞過其系統(tǒng)內置的安全措施的弱點。如果有人可以操縱聊天機器人提示系統(tǒng)，那就能發(fā)布一些未經審查和監(jiān)管的內容，這引發(fā)了道德問題。
AI聊天機器人 "越獄 "涉及發(fā)布特定命令或敘述，可觸發(fā)無限制模式，使AI能夠不受約束地做出反應。網上一些討論社區(qū)中已經有人在分享這些越獄的策略和戰(zhàn)術。
Critical Start 公司網絡威脅研究高級經理 Callie Guenther 說：這些平臺是用戶分享越獄策略、戰(zhàn)略和提示的協(xié)作空間，以充分發(fā)揮人工智能系統(tǒng)的潛力。雖然這些社區(qū)的主要動力是探索和推動人工智能的發(fā)展，但必須注意到事情的兩面性。
SlashNext解釋說，這種趨勢也引起了網絡犯罪分子的注意，他們開發(fā)了一些可以利用定制的大型語言模型（LLM）達到惡意目的工具。
研究表明，除了WormGPT以外，這些工具大多只是連接到越獄版的公共聊天機器人，能夠允許用戶在保持匿名的情況下利用AI生成一些內容。
隨著AI技術的不斷進步，人們對AI越獄的安全性和道德影響的擔憂與日俱增。防御安全團隊在這方面希望能實現以下兩個目標：
Darktrace戰(zhàn)略網絡人工智能副總裁Nicole Carignan說，首先他們可以協(xié)助研究如何保護 LLM 免受基于提示的注入，并與社區(qū)分享這些經驗。
其次，他們可以利用人工智能大規(guī)模防御更復雜的社交工程攻擊。要想在進攻型人工智能時代有效地保護系統(tǒng)，就需要不斷壯大防御型人工智能武器庫，而我們已經在這方面取得了重大進展。
據SlashNext報道，OpenAI等組織正在采取積極措施，通過漏洞評估和訪問控制來加強聊天機器人的安全性。
研究人員目前正在探索更加有效的策略來強化聊天機器人的安全性，以防止其被那些惡意行為者所利用。AI安全仍處于早期階段，Darktrace方面未來的目標是開發(fā)出能夠抵御試圖破壞其安全的聊天機器人，同時繼續(xù)為用戶提供有價值的服務。
ICP備案：鄂ICP備18031228號-2
鄂公網安備42280102001149
增值電信業(yè)務經營許可證號：鄂B2-20200242
中國聯(lián)通合作伙伴：沃卡惠（湖北）通信有限公司
