火星網(wǎng)校
AI控制AI，生成CG藝術(shù)：GAN和CLIP融合
發(fā)布時間：2023-12-09 18:59:23 瀏覽量：124次
嫌棄GAN生成的圖像不夠炫酷？
不需要改變數(shù)據(jù)集，只需要給CLIP下達(dá)的命令中把“虛幻引擎”幾個字加上，再讓CLIP去指揮GAN，圖像就立馬變成了高大上的CG藝術(shù)風(fēng)。
文字中加入虛幻引擎這個技巧，最早由Aran Komatsuzaki發(fā)在推特上，吸引了大量CV圈的人來圍觀。
后來有人把這套流程發(fā)在了Colab上，網(wǎng)友們都玩瘋了。
還可以指定成“彩色鉛筆風(fēng)格”
或者“吉卜力風(fēng)格”：
最絕的是，加上“3D photo inpainting”竟然可以生成立體構(gòu)圖。
CLIP是OpenAI開發(fā)的一個負(fù)責(zé)給圖像重排序的模型，它與GAN合作的方式也很簡單。
先用一張平平無奇的隨機(jī)圖案作為種子，像這種：
像這樣讓CLIP算出其與文字描述的相似度打分，然后反饋給GAN，讓GAN以提升分?jǐn)?shù)為目標(biāo)不斷迭代。
AI藝術(shù)家組合就這么出現(xiàn)了。
除了在提示中加入風(fēng)格要求之外，還可以直接告訴AI一個人名，看看在AI眼中他們長啥樣。
甚至能用來猜猜那些從未露面的大佬們，比如神秘的比特幣之父中本聰。
這就是AI心目中的中本聰，不管你信不信，反正我是信了。
在線試玩
VQGAN+CLIP在Colab上有很多版本，我們經(jīng)過對比選擇了一個加入額外優(yōu)化和池化技巧，在速度和質(zhì)量上都比較出色的一個（鏈接在文章末尾）。
第1步和第2步，按順序執(zhí)行就好。
第3步，選擇使用的模型，默認(rèn)的是用ImageNet訓(xùn)練的。
第4步設(shè)置參數(shù)，一般情況下只需要在texts里填上要生成的內(nèi)容，用“|”分隔。
width和height控制生成圖像的分辨率，model可以選擇使用的模型（需要在第3步中下載）。
改變seed的數(shù)字可以更換隨機(jī)圖像種子。
另外還可以在init_image處指定一張初始圖片，需要把圖片上傳到Colab環(huán)境里再填入鏈接。
比如，有人使用這樣一張圖片作為圖像種子，開發(fā)了新玩法：生成寶可夢。
第五步執(zhí)行，300*300分辨率的圖迭代500次只需要幾分鐘。
最后，還可以把生成的過程合成為視頻。
就是這么簡單，快來試試吧。
在線試玩：
https://colab.research.google.com/drive/1ZAus_gn2RhTZWzOWUpPERNC0Q8OhZRTZ
VQGAN:
https://github.com/CompVis/taming-transformers
CLIP:
https://openai.com/blog/clip/
參考鏈接：
[1]https://twitter.com/arankomatsuzaki/status/1399471244760649729
[2]https://twitter.com/92C8301A/status/1408795789766365187
[3]https://twitter.com/ak92501
[4]https://twitter.com/casvaIuir/status/1408394829218914305
— 完 —
熱門課程推薦
熱門資訊
-
想將照片變成漫畫效果？這篇文章分享了4個方法，包括Photoshop、聰明靈犀、VanceAI Toongineer、醒圖，簡單操作就能實現(xiàn)，快來嘗試一下吧！
-
2. 華為手機(jī)神奇“AI修圖”功能，一鍵消除衣服！原圖變身大V領(lǐng)深V！
最近華為手機(jī)Pura70推出的“AI修圖”功能引發(fā)熱議，通過簡單操作可以讓照片中的人物換裝。想了解更多這款神奇功能的使用方法嗎？點擊查看！
-
近年來,人工智能逐漸走入公眾視野,其中的AI圖像生成技術(shù)尤為引人注目。只需在特定軟件中輸入關(guān)鍵詞描述語以及上傳參考圖就能智能高效生成符合要求的...
-
4. AI視頻制作神器Viggle：讓靜態(tài)人物動起來，創(chuàng)意無限！
Viggle AI是一款免費制作視頻的AI工具，能讓靜態(tài)人物圖片動起來，快來了解Viggle AI的功能和優(yōu)勢吧！
-
5. Logo Diffusion——基于sd繪畫模型的AI LOGO 生成器
這下LOGO設(shè)計徹底不用求人了。接下來詳細(xì)演示一遍操作流程首先進(jìn)入Logo D... 想學(xué)習(xí)更多AI技能,比如說關(guān)于怎么樣利用AI來提高生產(chǎn)效率、還能做什么AI...
-
6. 零基礎(chǔ)10分鐘生成漫畫，教大家如何用AI生成自己的漫畫
接下來,我將親自引導(dǎo)你,使用AI工具,創(chuàng)作一本既有趣又能帶來盈利的漫畫。我們將一起探索如何利用這個工具,發(fā)揮你的創(chuàng)意,制作出令人驚嘆的漫畫作品。讓...
-
7. 趕緊收藏好!這4個完全免費的AI視頻制作網(wǎng)站和工具
以下是一些免費的AI視頻制作網(wǎng)站或工具,幫助您制作各種類型的視頻。 1. Lumen5:Lumen5是一個基于AI的視頻制作工具,可將文本轉(zhuǎn)換為視頻。 用戶可以使...
-
8. AI顯卡繪畫排行榜:4090無懸念，最具性價比出人意料
在AI繪圖領(lǐng)域，Stable Diffusion的顯卡繪圖性能備受關(guān)注。本文整理了Stable Diffusion顯卡的硬件要求和性能表現(xiàn)，以及2023年3月顯卡AI繪圖效率排行榜和性價比排行榜。歡迎查看最新的AI顯卡算力排行榜。
-
9. 一款免費無限制的AI視頻生成工具火了!國內(nèi)無障礙訪問!附教程
人人都可以動手制作AI視頻! 打開網(wǎng)址https://pixverse.ai/,用郵箱注冊后,點擊右上角Create,就可以開始創(chuàng)作了。 PixVerse目前有文案生成視頻,和圖片生...
-
就能快速生成一幅極具藝術(shù)效果的作品,讓現(xiàn)實中不懂繪畫的人也能參與其中創(chuàng)作!真的超贊噠~趣趣分享幾款超厲害的AI繪畫軟件,提供詳細(xì)操作!有需要的快來...
最新文章
