火星網(wǎng)校
效果超越SDXL！港中大博士生推出超真實人像合成工具，訓(xùn)練用了3.4億張圖
發(fā)布時間：2023-11-19 02:46:23 瀏覽量：91次
效果超越SDXL！港中大博士生推出超真實人像合成工具，訓(xùn)練用了3.4億張圖
測評得分遙遙領(lǐng)先
克雷西 發(fā)自 凹非寺
|
為了讓AI畫出的人更加逼真，港中大博士生用了3.4億張圖像專門訓(xùn)練畫人。
人物的表情、姿態(tài)，環(huán)境的空間關(guān)系、光線都能合理布局，可謂立體感十足。
就連爆火的SDXL也不是它的對手，話不多說，直接上圖！
這個模型的名字叫HyperHuman，主打的就是一個真實立體。
它解決了Stable Diffusion等傳統(tǒng)AI繪圖工具在畫人時圖像不連貫、姿態(tài)不自然的問題。
而且不僅畫得好，也更加“聽話”，畫出的內(nèi)容能更好地匹配提示詞。
那么下面就來具體看看HyperHuman都能創(chuàng)作出哪些作品吧！
無論是孩子還是老人，各個年齡段的人人物形象HyperHuman都可以畫。
人物的動作、表情自然，空間關(guān)系看著也很合理。
不僅是圖本身看上去真實，和提示文本的匹配也十分精確。
人物之外，HyperHuman能繪制出的場景類型也多種多樣。
無論是單人還是多人，是滑雪或者沖浪……
如果和其他模型對比一下的話……
很明顯，在這組提示詞中，其他模型基本上都沒能正確畫出停止標(biāo)志，而HyperHuman則正確地繪制了出來。
A man on a motorcycle that is on a road that has grass fields on both sides and a stop sign.
而在這一組中，其他模型的作品或者不知所云，或者出現(xiàn)各種細(xì)節(jié)問題，更有甚者畫出的人長了三只腳，但HyperHuman依舊是穩(wěn)定發(fā)揮。
Mastering the art of skateboarding is profoundly beneficial.
不僅是直觀感受，在數(shù)據(jù)上HyperHuman也是全面碾壓包括SD2.0在內(nèi)的一眾競爭對手。
圖像質(zhì)量方面，HyperHuman的FID、KID兩項指標(biāo)（均為數(shù)值越低效果越好）都超過了其他模型四分之一以上。
姿勢準(zhǔn)確度上，HyperHuman的兩項評分也明顯勝過了ControlNet等其他模型。
那么，HyperHuman又是如何實現(xiàn)的呢？
聯(lián)合學(xué)習(xí)，分步生成
為了提高HyperHuman的效果，研究團隊一共提出了兩個思路。
首先是同時學(xué)習(xí)圖片的顏色、深度圖和法線圖。
顏色反映外觀，深度圖反映物體位置，法線圖反映表面角度。將它們一起學(xué)習(xí)，可以讓模型更好地理解圖片內(nèi)容。
第二點則是分階段生成，先使用文本和骨架點作為條件，生成顏色、深度和法線三者的初步合成結(jié)果。
然后以前面生成的條件作為指引，生成更高分辨率和質(zhì)量的圖片。
具體實現(xiàn)上，HyperHuman和SDXL一樣也是采用擴散模型。
具體而言，HyperHuman使用的是“潛在結(jié)構(gòu)（latent structal）”模型。
它的核心包括以下兩個模塊：
- 聯(lián)合去噪模塊：具有多個輸入輸出分支的統(tǒng)一網(wǎng)絡(luò)結(jié)構(gòu)，在顏色、深度和法線圖三個維度同時去除噪聲。
- 結(jié)構(gòu)指導(dǎo)模塊：用上一步產(chǎn)生的結(jié)果作為條件和指引，實現(xiàn)結(jié)構(gòu)到紋理的精細(xì)化生成。
此外，為了提高魯棒性，模型在生成過程中還會選擇的的對一些條件進(jìn)行取舍。
訓(xùn)練數(shù)據(jù)方面，開發(fā)者將LAION-2B和COYO兩個數(shù)據(jù)集中的公開資源進(jìn)行整合并處理、標(biāo)注，得到了約3.4億張圖像的HumanVerse數(shù)據(jù)集。
結(jié)果在基于COCO 2014數(shù)據(jù)集的多個繪圖模型橫評中，HyperHuman（紅色）都取得了最佳成績，如果考慮文本匹配度，HyperHuman更是一騎絕塵。
△FID數(shù)值越低成績越好
除了測試數(shù)據(jù)，研究人員還招募了100名用戶，調(diào)查了他們更青睞于哪種模型的作品。
他們被要求選出更逼真、質(zhì)量更好的圖像，結(jié)果和另外多種模型相比，HyperHuman都更受歡迎。
作者簡介
HyperHuman論文第一作者是香港中文大學(xué)博士生Xian Liu。
HyperHuman是他在Snap公司實習(xí)期間完成的，Snap的Sergey Tulyakov等人也參與了本項目。
此外還有香港大學(xué)和南洋理工大學(xué)的學(xué)者對HyperHuman亦有貢獻(xiàn)。
熱門課程推薦
熱門資訊
-
想將照片變成漫畫效果？這篇文章分享了4個方法，包括Photoshop、聰明靈犀、VanceAI Toongineer、醒圖，簡單操作就能實現(xiàn)，快來嘗試一下吧！
-
2. 華為手機神奇“AI修圖”功能，一鍵消除衣服！原圖變身大V領(lǐng)深V！
最近華為手機Pura70推出的“AI修圖”功能引發(fā)熱議，通過簡單操作可以讓照片中的人物換裝。想了解更多這款神奇功能的使用方法嗎？點擊查看！
-
近年來,人工智能逐漸走入公眾視野,其中的AI圖像生成技術(shù)尤為引人注目。只需在特定軟件中輸入關(guān)鍵詞描述語以及上傳參考圖就能智能高效生成符合要求的...
-
4. AI視頻制作神器Viggle：讓靜態(tài)人物動起來，創(chuàng)意無限！
Viggle AI是一款免費制作視頻的AI工具，能讓靜態(tài)人物圖片動起來，快來了解Viggle AI的功能和優(yōu)勢吧！
-
5. Logo Diffusion——基于sd繪畫模型的AI LOGO 生成器
這下LOGO設(shè)計徹底不用求人了。接下來詳細(xì)演示一遍操作流程首先進(jìn)入Logo D... 想學(xué)習(xí)更多AI技能,比如說關(guān)于怎么樣利用AI來提高生產(chǎn)效率、還能做什么AI...
-
6. 零基礎(chǔ)10分鐘生成漫畫，教大家如何用AI生成自己的漫畫
接下來,我將親自引導(dǎo)你,使用AI工具,創(chuàng)作一本既有趣又能帶來盈利的漫畫。我們將一起探索如何利用這個工具,發(fā)揮你的創(chuàng)意,制作出令人驚嘆的漫畫作品。讓...
-
7. 趕緊收藏好!這4個完全免費的AI視頻制作網(wǎng)站和工具
以下是一些免費的AI視頻制作網(wǎng)站或工具,幫助您制作各種類型的視頻。 1. Lumen5:Lumen5是一個基于AI的視頻制作工具,可將文本轉(zhuǎn)換為視頻。 用戶可以使...
-
8. 一款免費無限制的AI視頻生成工具火了!國內(nèi)無障礙訪問!附教程
人人都可以動手制作AI視頻! 打開網(wǎng)址https://pixverse.ai/,用郵箱注冊后,點擊右上角Create,就可以開始創(chuàng)作了。 PixVerse目前有文案生成視頻,和圖片生...
-
9. AI顯卡繪畫排行榜:4090無懸念，最具性價比出人意料
在AI繪圖領(lǐng)域，Stable Diffusion的顯卡繪圖性能備受關(guān)注。本文整理了Stable Diffusion顯卡的硬件要求和性能表現(xiàn)，以及2023年3月顯卡AI繪圖效率排行榜和性價比排行榜。歡迎查看最新的AI顯卡算力排行榜。
-
就能快速生成一幅極具藝術(shù)效果的作品,讓現(xiàn)實中不懂繪畫的人也能參與其中創(chuàng)作!真的超贊噠~趣趣分享幾款超厲害的AI繪畫軟件,提供詳細(xì)操作!有需要的快來...
最新文章
