激情六月丁香婷婷|亚洲色图AV二区|丝袜AV日韩AV|久草视频在线分类|伊人九九精品视频|国产精品一级电影|久草视频在线99|在线看的av网址|伊人99精品无码|午夜无码视频在线

高校合作1：010-59833514 ?咨詢電話：400-810-1418 服務(wù)與監(jiān)督電話：400-810-1418轉(zhuǎn)接2

AI與3D攜手創(chuàng)作：打造專屬游戲場(chǎng)景的新趨勢(shì)

發(fā)布時(shí)間：2024-08-19 11:29:11 瀏覽量：233次

機(jī)器之心報(bào)道

編輯：澤南、小舟

英偉達(dá)進(jìn)入AI生成模型領(lǐng)域的研究，直接比別人多一個(gè)次元：一句描述生成3D模型。

我們生活在三維的世界里，盡管目前大多數(shù)應(yīng)用程序是2D的，但人們一直對(duì)3D數(shù)字內(nèi)容有很高的需求，包括游戲、娛樂、建筑和機(jī)器人模擬等應(yīng)用。

然而，創(chuàng)建專業(yè)的3D內(nèi)容需要很高的藝術(shù)與審美素養(yǎng)和大量3D建模專業(yè)知識(shí)。人工完成這項(xiàng)工作需要花費(fèi)大量時(shí)間和精力來培養(yǎng)這些技能。

需求大又是「勞動(dòng)密集型行業(yè)」，那么有沒有可能交給AI來做？上周五，英偉達(dá)提交到預(yù)印版論文平臺(tái)arXiv的論文引起了人們的關(guān)注。

和現(xiàn)在流行的NovelAI差不多，人們只需要輸入一段文字比如「一只坐在睡蓮上的藍(lán)色箭毒蛙」，AI就能給你生成個(gè)紋理造型俱全的3D模型出來。

Magic3D還可以執(zhí)行基于提示的3D網(wǎng)格編輯：給定低分辨率3D模型和基本提示，可以更改文本從而修改生成的模型內(nèi)容。此外，作者還展示了保持畫風(fēng)，以及將2D圖像樣式應(yīng)用于3D模型的能力。

Stable Diffusion的論文在2024年首次提交，幾個(gè)月就已經(jīng)進(jìn)化到這樣的程度，不禁讓人感嘆科技發(fā)展的速度。

英偉達(dá)表示，你只需要在這個(gè)基礎(chǔ)上稍作修改，生成的模型就可以當(dāng)做游戲或CGI藝術(shù)場(chǎng)景的素材了。

3D生成模型的方向并不神秘，其實(shí)在2024年谷歌曾經(jīng)發(fā)布過一款文本到3D的生成模型DreamFusion，英偉達(dá)在Magic3D的研究中直接對(duì)標(biāo)該方法。

類似于DreamFusion用文本生成2D圖像，再將其優(yōu)化為體積NeRF（神經(jīng)輻射場(chǎng)）數(shù)據(jù)的流程，Magic3D使用兩階段生成法，用低分辨率生成的粗略模型再優(yōu)化到更高的分辨率。

英偉達(dá)的方法首先使用低分辨率擴(kuò)散先驗(yàn)獲得粗糙模型，并使用稀疏3D哈希網(wǎng)格結(jié)構(gòu)進(jìn)行加速。用粗略表示作為初始，再進(jìn)一步優(yōu)化了帶紋理的3D網(wǎng)格模型，該模型具有與高分辨率潛在擴(kuò)散模型交互的高效可微分渲染器。

Magic3D可以在40分鐘內(nèi)創(chuàng)建高質(zhì)量的3D網(wǎng)格模型，比DreamFusion快2倍（后者平均需要1.5小時(shí)），同時(shí)還實(shí)現(xiàn)了更高的分辨率。統(tǒng)計(jì)表明相比DreamFusion，61.7%的人更喜歡英偉達(dá)的新方法。

連同圖像調(diào)節(jié)生成功能，新技術(shù)為各種創(chuàng)意應(yīng)用開辟了新途徑。

論文鏈接：點(diǎn)擊咨詢

技術(shù)細(xì)節(jié)

Magic3D可以在較短的計(jì)算時(shí)間內(nèi)根據(jù)文本prompt合成高度詳細(xì)的3D模型。Magic3D通過改進(jìn)DreamFusion中的幾個(gè)主要設(shè)計(jì)選擇來使用文本prompt合成高質(zhì)量的3D內(nèi)容。

具體來說，Magic3D是一種從粗到精的優(yōu)化方法，其中使用不同分辨率下的多個(gè)擴(kuò)散先驗(yàn)來優(yōu)化3D表征，從而生成視圖一致的幾何形狀以及高分辨率細(xì)節(jié)。Magic3D使用監(jiān)督方法合成8倍高分辨率的3D內(nèi)容，速度也比DreamFusion快2倍。

Magic3D的整個(gè)工作流程分為兩個(gè)階段：在第一階段，該研究?jī)?yōu)化了類似于DreamFusion的粗略神經(jīng)場(chǎng)表征，以實(shí)現(xiàn)具有基于哈希網(wǎng)格的內(nèi)存和計(jì)算的高效場(chǎng)景表征。

在第二階段該方法切換到優(yōu)化網(wǎng)格表征。這個(gè)步驟很關(guān)鍵，它允許該方法在高達(dá)512×512的分辨率下利用擴(kuò)散先驗(yàn)。由于3D網(wǎng)格適用于快速圖形渲染，可以實(shí)時(shí)渲染高分辨率圖像，因此該研究利用基于光柵化的高效微分渲染器和相機(jī)特寫來恢復(fù)幾何紋理中的高頻細(xì)節(jié)。

基于上述兩個(gè)階段，該方法可以生成高保真的3D內(nèi)容，并且很容易在標(biāo)準(zhǔn)圖形軟件中導(dǎo)入和可視化。

此外，該研究展示了用文本prompt對(duì)3D合成過程的創(chuàng)造性控制能力，如下圖1所示。

為了對(duì)比實(shí)際應(yīng)用效果，英偉達(dá)的研究人員把Magic3D和DreamFusion在397個(gè)文本提示生成的內(nèi)容上進(jìn)行了比較。平均的粗略模型生成階段花費(fèi)15分鐘，精細(xì)階段訓(xùn)練了25分鐘，所有運(yùn)行時(shí)間均在8塊英偉達(dá)A100 GPU上測(cè)得。

雖然論文和demo只是第一步，但英偉達(dá)已經(jīng)為Magic3D想好了未來的應(yīng)用方向：給游戲和元宇宙世界提供制作海量3D模型的工具，而且讓所有人都可以上手使用。

當(dāng)然，最早上線這項(xiàng)功能的可能會(huì)是英偉達(dá)自己的Omniverse。

參考內(nèi)容：點(diǎn)擊咨詢

火星時(shí)代教育一直致力于數(shù)字藝術(shù)教育，提供游戲設(shè)計(jì)培訓(xùn)、動(dòng)畫培訓(xùn)、原畫培訓(xùn)、AI繪畫培訓(xùn)等課程。想要了解更多信息，歡迎點(diǎn)擊咨詢。

熱門課程推薦

熱門資訊

請(qǐng)綁定手機(jī)號(hào)

獲取驗(yàn)證碼
x

同學(xué)您好！

您已成功報(bào)名0元試學(xué)活動(dòng)，老師會(huì)在第一時(shí)間與您取得聯(lián)系，請(qǐng)保持電話暢通！
確定