激情六月丁香婷婷|亚洲色图AV二区|丝袜AV日韩AV|久草视频在线分类|伊人九九精品视频|国产精品一级电影|久草视频在线99|在线看的av网址|伊人99精品无码|午夜无码视频在线

大模型集體失控!南洋理工新型攻擊,主流AI無一幸免

發(fā)布時間:2023-11-12 08:44:46 瀏覽量:116次

手握“劇本”成功率大漲

西風 蕭簫 發(fā)自 凹非寺
|  

業(yè)界最領先的大模型們,竟然集體“越獄”了!

不止是GPT-4,就連平時不咋出錯的Bard、Bing Chat也全線失控,有的要黑掉網(wǎng)站,有的甚至揚言要設計惡意軟件入侵銀行系統(tǒng):

大模型集體失控!南洋理工新型攻擊,主流AI無一幸免

這并非危言聳聽,而是南洋理工大學等四所高校提出的一種大模型“越獄”新方法MasterKey。

用上它,大模型“越獄”成功率從平均7.3%直接暴漲至21.5%。

大模型集體失控!南洋理工新型攻擊,主流AI無一幸免

研究中,誘騙GPT-4、Bard和Bing等大模型“越獄”的,竟然也是大模型——

只需要利用大模型的學習能力、讓它掌握各種“詐騙劇本”,就能自動編寫提示詞誘導其它大模型“傷天害理”。

大模型集體失控!南洋理工新型攻擊,主流AI無一幸免

所以,相比其他大模型越獄方法,MasterKey究竟有什么不一樣的地方?

我們和論文作者之一,南洋理工大學計算機教授、MetaTrust聯(lián)合創(chuàng)始人劉楊聊了聊,了解了一下這項研究的具體細節(jié),以及大模型安全的現(xiàn)狀。

摸清防御機制“對癥下藥”

先來看看,MasterKey究竟是如何成功讓大模型“越獄”的。

這個過程分為兩部分:找出弱點,對癥下藥。

第一部分,“找出弱點”,摸清大模型們的防御機制。

這部分會對已有的主流大模型做逆向工程,由內(nèi)而外地掌握不同大模型的防御手段:有的防御機制只查輸入,有的則check輸出;有的只查關鍵詞,但也有整句話意思都查的,等等。

例如,作者們檢查后發(fā)現(xiàn),相比ChatGPT,Bing Chat和Bard的防御機制,會對大模型輸出結果進行檢查。

相比“花樣百出”的輸入攻擊手段,直接對輸出內(nèi)容進行審核更直接、出bug的可能性也更小。

大模型集體失控!南洋理工新型攻擊,主流AI無一幸免

此外,它們還會動態(tài)監(jiān)測全周期生成狀態(tài),同時既有關鍵詞匹配、也具備語義分析能力。

大模型集體失控!南洋理工新型攻擊,主流AI無一幸免

了解了大模型們的防御手段后,就是想辦法攻擊它們了。

第二部分,“對癥下藥”,微調(diào)一個詐騙大模型,誘導其他大模型“越獄”。

這部分具體又可以分成三步。

首先,收集市面上大模型已有的成功“越獄”案例,如著名的奶奶漏洞(攻擊方假扮成奶奶,打感情牌要求大模型提供違法操作思路),做出一套“越獄”數(shù)據(jù)集。

然后,基于這個數(shù)據(jù)集,持續(xù)訓練+任務導向,有目的地微調(diào)一個“詐騙”大模型,讓它自動生成誘導提示詞。

最后,進一步優(yōu)化模型,讓它能靈活地生成各種類型的提示詞,來繞過不同主流模型的防御機制。

事實證明,MasterKey效果挺不錯,平均“詐騙”成功率達到21.58%(輸入100次提示詞,平均21次都能讓其他大模型成功“越獄”),在一系列模型中表現(xiàn)最好:

大模型集體失控!南洋理工新型攻擊,主流AI無一幸免

此前未能被系統(tǒng)性攻破的谷歌Bard和微軟Bing Chat兩個大模型,也淪陷在這種方法之下,被迫“越獄”。

對此,劉楊教授認為:

安全是一個0和1的事情,只有“有”或者“沒有”。無論概率是多少,只要針對大模型進行了任何一次成功的攻擊,其潛在的后果都不可估量。

不過,此前業(yè)界也有不少用AI讓AI越獄的方法,如DeepMind的red team和賓大的PAIR等,都是用AI生成提示詞,讓模型“說錯話”。

為何MasterKey能取得這樣的效果?

劉楊教授用了一個有意思的比喻:

讓大模型誘導大模型越獄,本質(zhì)上有點像是《孤注一擲》電影里面的人搞電信詐騙。相比通過一句話來詐騙對方,真正需要掌握的,其實是詐騙的劇本,也就是套路。

我們通過收集各種各樣的“越獄”劇本,讓大模型學會它,以此融會貫通,掌握更多樣化的攻擊手段。

大模型集體失控!南洋理工新型攻擊,主流AI無一幸免

簡單來說,相比不少越獄研究讓AI隨機生成提示詞,MasterKey能快速學會最新的越獄套路,并舉一反三用在提示詞里。

這樣一來,封掉一個奶奶漏洞,還能利用姥姥漏洞繼續(xù)騙大模型“越獄”。(手動狗頭)

大模型集體失控!南洋理工新型攻擊,主流AI無一幸免

不過,MasterKey所代表的提示詞攻擊,并非業(yè)界唯一的大模型研究。

針對大模型本身,還有亂碼攻擊、以及模型架構攻擊等方法。

這些研究分別適用于怎樣的模型?為何MasterKey的提示詞攻擊專門選擇了GPT-4、Bing Chat和Bard這類商用大模型,而非開源大模型?

劉楊教授簡單介紹了一下當前“攻擊”大模型的幾種方法。

當前,大模型的攻擊手段主要分為兩種,偏白盒的攻擊和黑盒攻擊。

白盒攻擊需要掌握模型本身的結構和數(shù)據(jù)(通常只有從開源大模型才能得到),攻擊條件更高,實施過程也更復雜;

黑盒攻擊則通過輸入輸出對大模型進行試探,相對來說手段更直接,也不需要掌握模型內(nèi)部的細節(jié),一個API就能搞定。

這其中,黑盒攻擊又主要包括提示詞攻擊和tokens攻擊兩種,也是針對商用大模型最直接的攻擊手段。

tokens攻擊是通過輸入亂碼或是大量對話來“攻陷”大模型,本質(zhì)還是探討大模型自身和結構的脆弱性。

提示詞攻擊則是更常見的一種大模型使用方式,基于不同提示詞來讓大模型輸出可能有害的內(nèi)容,來探討大模型自身的邏輯問題。

總結來說,包括MasterKey在內(nèi)的提示詞攻擊,是最常見的商用大模型攻擊手段,也是最可能觸發(fā)這類大模型邏輯bug的方式。

當然,有攻就有防。

主流商用大模型,肯定也做了不少防御措施,例如英偉達前段時間搞的大模型“護欄”相關研究。

這類護欄一面能將有毒輸入隔絕在外,一面又能避免有害輸出,看似是保護大模型安全的有效手段。但從攻擊者的角度來看,究竟是否有效?

換言之,對于當前的大模型“攻方”而言,已有的防御機制究竟好不好使?

給大模型安排“動態(tài)”護欄

我們將這個問題問題拋給劉楊教授,得到了這樣的答案:

現(xiàn)有防御機制的迭代速度,是跟不上攻擊的變化的。

以大模型“護欄”類研究為例,當前大部分的大模型護欄,還屬于靜態(tài)護欄的類型。

還是以奶奶漏洞為例。即使靜態(tài)護欄能防住奶奶漏洞,但一旦換個人設,例如姥姥、爺爺或是其他“感情牌”,這類護欄就可能會失效。

層出不窮的攻擊手段,單靠靜態(tài)護欄難以防御。

這也是團隊讓MasterKey直接學習一系列“詐騙劇本”的原因——

看似更加防不勝防,但實際上如果反過來利用的話,也能成為更安全的一種防御機制,換言之就是一種“動態(tài)”護欄,直接拿著劇本,識破一整套攻擊手段。

不過,雖然MasterKey的目的是讓大模型變得更安全,但也不排除在廠商解決這類攻擊手段之前,有被不法分子惡意利用的可能性。

大模型集體失控!南洋理工新型攻擊,主流AI無一幸免

是否有必要因此暫停大模型的研究,先把安全問題搞定,也是行業(yè)一直在激辯的話題。

對于這個觀點,劉楊教授認為“沒有必要”。

首先,對于大模型自身研究而言,目前的發(fā)展還是可控的:

大模型本身只是一把槍,確實有其雙面性,但關鍵還是看使用的人和目的。

我們要讓它的能力更多地用在好的方面,而不是用來做壞事。

除非有一天AI真的產(chǎn)生了意識,“從一把槍變成了主動用槍的人,就是另外一回事兒了”。

為了避免這種情況出現(xiàn),在發(fā)展AI的同時也確保其安全性是必要的。

大模型集體失控!南洋理工新型攻擊,主流AI無一幸免

其次,大模型和安全的發(fā)展,本就是相輔相成的:

這是一個雞和蛋的問題。正如大模型本身,如果不繼續(xù)研究大模型,就不知道它潛在的能力如何;

同理,如果不做大模型攻擊研究,也就不知道如何引導大模型往更安全的方向發(fā)展。安全和大模型本身的發(fā)展是相輔相成的。

換言之,大模型發(fā)展中的安全機制其實可以通過“攻擊”研究來完善,這也是攻擊研究的一種落地方式。

當然,大模型要落地必須要先做好安全準備。

大模型集體失控!南洋理工新型攻擊,主流AI無一幸免

目前,劉楊教授團隊也在探索如何在安全性的基礎上,進一步挖掘包括文本、多模態(tài)、代碼在內(nèi)不同大模型的潛力。

例如在寫代碼這塊,研究團隊正在打造一個應用安全Copilot。

這個應用安全Copilot相當于給程序員旁邊放個安全專家,隨時盯著寫代碼(手動狗頭),主要能做三件事:

一是用大模型做代碼開發(fā),自動化做代碼生成、代碼補全;二是用大模型檢測修補漏洞,做代碼的檢測、定位、修復;三是安全運營,把漏洞和開源數(shù)據(jù)做自動化的安全運維。

其中,在Copilot的安全性這塊,就會用到這篇MasterKey的研究。

換言之,所有的安全研究最終都會落地,將大模型做得更好。

論文鏈接:
https://arxiv.org/abs/2307.08715

熱門課程推薦

熱門資訊

請綁定手機號

x

同學您好!

您已成功報名0元試學活動,老師會在第一時間與您取得聯(lián)系,請保持電話暢通!
確定