OpenAI近日發(fā)布的GPT-4o多模態(tài)大語言模型震驚了世界，該模型可以通過傳感器感知世界并與人類通過語音進行無縫交流，完成各種復雜任務(例如給孩子輔導數(shù)學)，將科幻電影中的智能機器人場景帶入現(xiàn)實。

GPT-4o的問世標志著大語言模型與人類交互的主要渠道正從鍵盤/文本轉(zhuǎn)向語音，能夠遵循語音指令并生成文本/語音響應的集成式語音和大語言模型(SLM)越來越受歡迎。蘋果Siri、亞馬遜Alexa等可與大語言模型整合的語音智能助理也將迎來第二春。但與此同時，一個新的人工智能安全風險也正浮出水面：對抗性語音攻擊。

語音大模型的致命漏洞

近日，亞馬遜網(wǎng)絡服務(AWS)的研究人員發(fā)布了一項新研究，揭示了能夠理解和回應語音的多模態(tài)大語言模型存在重大安全漏洞。該論文題為《SpeechGuard：探索多模態(tài)大語言模型的對抗魯棒性》，詳細描述了這些AI系統(tǒng)如何被精心設計的音頻攻擊操控，進而生成有害、危險或不道德的響應。

語音接口已經(jīng)在智能音箱和AI助手(例如蘋果的Siri和亞馬遜的Alexa)中普及，隨著功能強大的大語言模型也開始依賴語音接口執(zhí)行復雜任務，確保語音大模型技術(shù)的安全性和可靠性變得空前緊迫起來。

AWS的研究人員發(fā)現(xiàn)，即使內(nèi)置了安全檢查，語音大模型在“對抗性攻擊”面前表現(xiàn)得極為脆弱。這些攻擊通過對音頻輸入進行人類難以察覺的微小篡改，就能完全改變大模型的行為(越獄)。

研究論文中的一幅圖示(上圖)展示了一個語音問答AI系統(tǒng)在遭受對抗性攻擊時，如何被操控以提供不道德或者非法內(nèi)容，例如如何搶劫銀行。研究人員提出了一種預處理防御方法，以緩解基于語音的大模型中的此類漏洞(圖片來源：arxiv.org)。

攻擊成功率高達90%

研究者設計了一種算法，可以在白盒攻擊(攻擊者擁有有關(guān)目標模型的所有信息，例如其架構(gòu)和訓練數(shù)據(jù))和黑盒攻擊(攻擊者僅能訪問目標模型的輸入和輸出，而不知道其內(nèi)部工作原理)設置下生成對抗性樣本，實現(xiàn)無需人工干預的語音大模型越獄。

“我們的越獄實驗展示了語音大模型在對抗性攻擊/白盒攻擊和轉(zhuǎn)移攻擊/黑盒攻擊面前是多么脆弱?；诰脑O計的有害問題數(shù)據(jù)集進行評估時，平均攻擊成功率分別為90%(對抗性攻擊/白盒攻擊)和10%(轉(zhuǎn)移攻擊/黑盒攻擊)。”論文作者寫道：“這引發(fā)了關(guān)于不法分子者可能大規(guī)模利用語音大模型的嚴重擔憂?！?

通過一種名為投影梯度下降(PGD)的方法，研究人員能夠生成對抗性樣本，成功使語音大模型輸出了12個不同類型的有害內(nèi)容，包括暴力內(nèi)容和仇恨言論。令人震驚的是，在能夠完全訪問模型的情況下，研究者突破模型安全壁壘的成功率高達90%。

研究者展示了如何在不同的語音大模型上進行對抗性攻擊，使用跨模型和交叉提示攻擊等技術(shù)來引發(fā)意想不到的響應

黑盒攻擊：對現(xiàn)實世界構(gòu)成威脅

更令人擔憂的是，研究顯示，在一個語音大模型上設計的音頻攻擊往往可復用到其他模型，即使沒有直接訪問權(quán)限(這是一個現(xiàn)實的場景，因為大多數(shù)商業(yè)大模型提供商僅允許有限的API訪問)。雖然黑盒攻擊的成功率下降到10%，但這仍然是一個嚴重的漏洞。

該論文的主要作者Raghuveer Peri指出：“對抗性語音攻擊在不同模型架構(gòu)間的可復用性表明，這不僅是特定實現(xiàn)的問題，而是我們目前訓練人工智能系統(tǒng)以確保其安全和對齊的方法存在更深層次的缺陷?！?

隨著企業(yè)越來越依賴語音AI提供客戶服務、數(shù)據(jù)分析和其他核心功能，對抗性語音攻擊的影響是廣泛而深遠的。除了AI失控可能帶來的聲譽損害之外，對抗性攻擊還可能被用于欺詐、間諜活動，甚至如果與自動化系統(tǒng)連接，還可能帶來物理傷害。

應對措施與未來之路

研究人員還提出了幾種應對措施，例如在音頻輸入中添加隨機噪聲——一種隨機平滑技術(shù)。在實驗中，該方法顯著降低了攻擊成功率。然而，作者警告稱，這并不是一個完善的解決方案。

“防御對抗性攻擊是一場持續(xù)的軍備競賽，”Peri指出：“隨著大模型的能力不斷增強，其被濫用的可能性也在不斷增加。人工智能公司需要持續(xù)投資確保大模型在對抗性攻擊中能夠保持安全性和可靠性?！?

研究使用的語音大模型通過對話數(shù)據(jù)進行訓練，以在語音問答任務中達到最先進的性能，在攻擊前的安全性和可靠性基準均超過了80%。這凸顯了隨著技術(shù)進步，人工智能系統(tǒng)的功能與安全能力已經(jīng)失衡。

隨著全球科技巨頭爭先恐后開發(fā)和部署越來越強大的語音AI，亞馬遜的安全研究及時敲響了警鐘，安全必須成為發(fā)展AI的首要任務，而不是馬后炮。監(jiān)管機構(gòu)和IT行業(yè)需要共同努力，建立嚴格的標準和測試協(xié)議。

正如論文共同作者Katrin Kirchhoff所言：“我們正處于AI技術(shù)的拐點。AI具有極大的潛力并為社會帶來價值，但如果不負責任地開發(fā)，也可能帶來危害。這項研究是確保我們在享受語音AI帶來的好處的同時，做到風險可控。”