3月21日，數(shù)張美國前總統(tǒng)特朗普“被捕”照片在互聯(lián)網(wǎng)上流傳。盡管相關(guān)圖片很快被認出是AI作品，但仍引發(fā)大量網(wǎng)友關(guān)注和傳播。南都大數(shù)據(jù)研究院發(fā)現(xiàn)，特朗普并非AI繪畫技術(shù)的唯一相關(guān)者，事實上，多個基于真人形象訓練而成的AI模型早在網(wǎng)上流傳。在國內(nèi)，已有人在閑魚平臺兜售相關(guān)模型及其訓練服務，小紅書上甚至已有賬號利用AI生成圖像假扮真人。

AI實測：

30秒即可生成擬真圖像

憑借媲美真實照片的質(zhì)感、高度接近真人的樣貌，這幾張由AI生成的美國前總統(tǒng)特朗普被捕照片在互聯(lián)網(wǎng)上引發(fā)熱議。在網(wǎng)民追問下，作者承認其使用了AI繪畫模型Midjourney來生成這些圖片。不少網(wǎng)友驚訝于AI強大的生成能力，并開始擔憂相關(guān)技術(shù)被用于造謠傳謠的可能性。

3月21日，有人在網(wǎng)上發(fā)布由AI生成的美國前總統(tǒng)特朗普被捕照片。

生成類似的擬真圖片門檻有多低？答案可能是：你家的電腦就行。

南都大數(shù)據(jù)研究院監(jiān)測發(fā)現(xiàn)，在Midjourney吸引大批網(wǎng)民目光的同時，另一個名為Stable Diffusion的AI繪畫模型已悄然走紅。據(jù)介紹，該模型可在普通家用電腦運行，并通過疊加不同子模型，生成不同風格的圖像，其中就包括模擬真實照片風格。

Stable Diffusion是否真如宣傳所言般強大？南都研究員從網(wǎng)絡(luò)渠道取得一份模型整合包。實測發(fā)現(xiàn)，該模型在南都研究員的個人電腦上確實成功運行。根據(jù)教程指引，南都研究員嘗試向AI提出了幾個作圖關(guān)鍵詞（像照片般逼真、基于物理渲染、一個女生、戴眼鏡、連帽衫、看向鏡頭、城市景觀），等待約30秒后，AI便生成了一張質(zhì)量頗高且符合關(guān)鍵詞要求的擬真圖像。

南都研究員使用Stable Diffusion生成的AI圖像。

這款Stable Diffusion模型來自哪里？南都研究員檢索發(fā)現(xiàn)，這是一款由創(chuàng)業(yè)公司stability.ai于2022年8月發(fā)布的AI繪畫模型，目前已更新至2.0版本。

與DALL-E、Midjourney等其他AI繪畫模型相比，Stable Diffusion的一大特色是代碼開源，這意味著第三方開發(fā)者也可免費使用該模型，或在其基礎(chǔ)上增添內(nèi)容。在開源項目托管平臺GitHub上，已有超700個與Stable Diffusion相關(guān)的代碼項目。

在眾多開發(fā)者的合力支持下，Stable Diffusion快速迭代，對運行設(shè)備的要求不斷下降。如今已實現(xiàn)在普通家用電腦、甚至iPhone上也能運行。

超低門檻：

40張照片即可練出真人模型

在AI訓練方面，Stable Diffusion也接近實現(xiàn)零門檻。有開發(fā)者在Stable Diffusion的基礎(chǔ)上加入了一項模型微調(diào)技術(shù)——LoRA（Low-Rank Adaptation）。在該技術(shù)的支持下，用戶只需準備少量圖片素材，即可訓練出一個LoRA模型，并生成與素材內(nèi)容高度相似的圖像。

實踐證明，這項LoRA技術(shù)運用在真人模型訓練上效果相當顯著。在社交平臺上，已有網(wǎng)友分享利用自己照片訓練而成的LoRA模型。從網(wǎng)友反饋的訓練結(jié)果可以看到，只需投入約40張照片作為素材，AI就能生成一個高度接近真人樣貌的模型。

有網(wǎng)友分享利用自己照片訓練而成的LoRA模型。

暗藏風險：

已有藝人被制成模型并生成虛假圖片

當然，使用AI為自己打造一個“賽博分身”，從訓練素材到練成模型，相關(guān)數(shù)據(jù)全部由自己掌控，安全風險或可控；但如果有人私下收集你的照片再拿去訓練，情況就不一樣了。

南都研究員深入調(diào)查發(fā)現(xiàn)，在國外某AI模型分享網(wǎng)站上，已有人將基于真人形象訓練而成的模型上傳并允許其他用戶下載。該網(wǎng)站數(shù)據(jù)顯示，多個真人模型的下載量已經(jīng)過萬。

劉亦菲、楊超越、新垣結(jié)衣、蓋爾·加朵……大量基于國內(nèi)外知名藝人形象訓練而成的模型正在網(wǎng)上公開傳播。

此外，通過stability.ai公開的說明文檔以及Github上的代碼說明，南都研究員發(fā)現(xiàn)，雖然該AI模型名為Stable Diffusion（穩(wěn)定擴散），但其道德感一點也不“穩(wěn)定”。由于其開源性質(zhì)，開發(fā)者無法對Stable Diffusion作出任何有效的內(nèi)容生成限制和過濾。用戶只需在對AI輸入指令時強調(diào)黃色或暴力等關(guān)鍵詞，AI就會完全服從并生成對應圖像。

事實上，不少用戶已經(jīng)發(fā)現(xiàn)該項缺陷。在前文所述的模型分享網(wǎng)站，南都研究員發(fā)現(xiàn)了多張以知名藝人形象為基礎(chǔ)生成的不雅圖片。

除Stable Diffusion外，另一款AI繪畫模型Midjourney的道德限制同樣可被繞開，進而生成大量“假新聞圖片”。

據(jù)南都大數(shù)據(jù)研究院監(jiān)測，基于Midjourney生成的“特朗普被捕”虛假圖片在社交平臺流傳后，很快有其他網(wǎng)民察覺到AI繪畫模型這一“新功能”，開始利用該模型針對不同政治人物創(chuàng)作各種“假新聞”。

陸續(xù)有其他網(wǎng)民利用AI繪畫模型創(chuàng)作不同主題的“假新聞圖片”。

在線暗訪：

大量賣家在閑魚兜售AI繪畫模型

南都研究員還發(fā)現(xiàn)，已有國內(nèi)網(wǎng)民不滿足于利用AI模型制圖“整活”，開始嘗試“技術(shù)變現(xiàn)”。

在閑魚平臺上，南都研究員發(fā)現(xiàn)大量賣家在公開兜售Stable Diffusion模型，其介紹頁面大多配有高度接近真人照片的圖像，并聲稱可提供詳細使用教程，“包教包會”。

閑魚上出現(xiàn)大批AI繪畫模型商品。

深入了解發(fā)現(xiàn)，閑魚上甚至還有賣家提供LoRA模型代訓練服務，其中多名賣家表示可訓練真人模型。在問及會否存在侵權(quán)等法律風險時，有賣家表示“不要往外發(fā)，自己私下玩玩就好”。更有賣家向南都研究員展示自己擁有的大量LoRA模型。

買賣雙方真的能保證模型只是“私下玩玩”嗎？從模型分享網(wǎng)站上出現(xiàn)的大量真人模型不難看出，事實顯然并非如此。

閑魚上，多名賣家聲稱可提供真人模型訓練服務。

真假難辨：

國內(nèi)社交平臺出現(xiàn)不少AI賬號

在模型網(wǎng)站上，所有用戶都知道圖像是由AI生成；假新聞稍一查證也能辨明真?zhèn)巍５氐揭话闵缃黄脚_，如果有賬號經(jīng)常發(fā)布自拍照，且在評論區(qū)積極互動溝通，你是否還能分清真假？

通過大規(guī)模檢索，南都研究員在小紅書等國內(nèi)社交平臺上發(fā)現(xiàn)不少利用AI生成圖像假扮真人的賬號。在這些賬號的評論區(qū)中，盡管有部分網(wǎng)友辨認并指出圖像為AI生成，但有更多網(wǎng)友已誤認為圖像是真人出鏡。

小紅書上已出現(xiàn)不少被指利用AI生成圖像假扮真人的賬號。

補救措施：

技術(shù)愛好者嘗試糾正社區(qū)氛圍

面對AI模型帶來的安全風險，以及已經(jīng)出現(xiàn)的濫用趨勢，開發(fā)者如何應對？是否還有補救措施？南都研究員發(fā)現(xiàn)，越來越多技術(shù)愛好者留意到AI擬真圖像傳播愈演愈烈的趨勢，正積極嘗試糾正社區(qū)氛圍，避免更多人走上歪路。

ChilloutMix是一款由日本開發(fā)者制作的、基于Stable Diffusion訓練而成的模型，因為在生成東亞女性樣貌上表現(xiàn)出色而大受青睞，多個真人模型正是在其基礎(chǔ)上衍生。由于網(wǎng)上流傳的真人模型越來越多，開發(fā)者一度將該模型下架。后來，該模型版權(quán)被轉(zhuǎn)移至模型分享網(wǎng)站運營方，并聲明禁止將模型用于訓練基于明星、公眾人物肖像的風格模型。

隨后，多名模型制作者也在個人頁面中補充聲明，要求用戶不將模型用于不當用途。多名用戶也在評論區(qū)留言，希望共同營造良好社區(qū)氛圍。有網(wǎng)民明確指出：制作真人模型不能展現(xiàn)你對偶像的喜愛，反而是在侮辱、物化你的偶像。也有網(wǎng)民提醒，網(wǎng)上已經(jīng)出現(xiàn)利用真人模型進行詐騙的案例，希望制作者將模型下架，避免AI技術(shù)淪為犯罪溫床。

某真人模型留言區(qū)內(nèi)，多名網(wǎng)民指出不應訓練真實人物。

不過，其中一名模型制作者向南都研究員承認，受限于Stable Diffusion極其脆弱的道德限制，這些聲明只是一種提醒，無法起到真正的約束作用，“防君子不防小人”。要從根源上阻斷這一趨勢，只能期待監(jiān)管部門和開發(fā)者有所作為。

南都研究員留意到，在stability.ai新推出的Stable Diffusion Reimagine工具中，已經(jīng)加入了一個新的過濾器，用于阻止不適當?shù)恼埱蟆?/p>

調(diào)查過程中，也有多名技術(shù)愛好者向南都研究員表示，AI技術(shù)研發(fā)的初衷是進一步為人類工作生活提供便利，而非打造又一個違法工具，希望監(jiān)管部門能及時治理相關(guān)濫用情況，切斷違法鏈條，還AI社區(qū)一個良好氛圍。

針對AI技術(shù)出現(xiàn)的濫用風險和部分開發(fā)者所發(fā)表聲明，有法律界人士向南都研究員表示，無論是否營利，只要是未經(jīng)肖像權(quán)人同意，擅自利用真人素材進行AI訓練，該行為都已侵犯對方肖像權(quán)；此外，若網(wǎng)民明知圖片由AI生成，仍將圖片用侮辱、誹謗等方式進行傳播，則涉嫌侵犯對方名譽權(quán)。

有法律界人士認為，應該慎談“技術(shù)中立”：“做一件事情之前誰都知道自己為什么去做”“AI技術(shù)的濫用其實也不難應對，很多違法行為都已有適用條文，只要及時依法處罰存在的違法犯罪行為，就能夠有效地防范AI技術(shù)的濫用。”

面對AI技術(shù)出現(xiàn)的濫用風險，國內(nèi)監(jiān)管部門有何舉措？南都大數(shù)據(jù)研究院將持續(xù)跟蹤了解。

出品：南都大數(shù)據(jù)研究院 數(shù)據(jù)安全治理與發(fā)展研究課題組

采寫：南都研究員李偉鋒 實習生 陳嘉寶 余欣賢 吳靜儀