火星網(wǎng)校
3張圖片生成一個手辦3D模型!華人博士提出新模型NeROIC，更真實
發(fā)布時間：2024-04-03 15:43:10 瀏覽量：183次
編輯：LRS
【新智元導讀】通過幾張二維照片還原為3D模型一直是一個圖形學的一個難題，并且照片的不同光線、相機型號都會影響到最終的生成效果，也限制了模型的實際應用場景。最近南加州大學華人博士提出新模型NeROIC，不僅讓模型的易用性大大提升，還顯著提升了真實感！
隨著深度學習的加入，計算機圖形學又產(chǎn)生了很多新興領域。
神經(jīng)渲染（Neural Rendering）技術就是利用各種深度神經(jīng)網(wǎng)絡進行圖像合成，通過自動化的流程，能夠節(jié)省大量從業(yè)人員的時間和精力。
例如給定幾張不同角度拍攝的二維圖像，神經(jīng)渲染模型能夠生成一個三維模型，而無需任何人工的介入。
在現(xiàn)實場景中，可能你會有一堆手辦的照片，如果按照傳統(tǒng)的方式都建成3D模型，那需要耗費的工作量，想想都頭禿。
神經(jīng)渲染技術可以很容易地把這些模型輸入到計算機中，并讓機器理解這些照片中的物體在三維空間中的實際形狀和物理狀態(tài)。
對于人來說，這項任務可以說是十分容易了，因為人眼了解現(xiàn)實世界，也知道圖像的深度，但對于只能看到像素的計算機來說，神經(jīng)渲染模型的設計還是很有挑戰(zhàn)的。
除了拍手辦以外，游戲從業(yè)者還可以利用神經(jīng)渲染技術，簡單地拍攝一些物體的照片，合成3D模型，然后就可以制作出一個完美的游戲場景。
但模型如果只是看起來準確，形狀更貼合照片，還遠遠不夠，因為一旦把合成后的物體放入到新場景中，因為光影的不同，合成模型在新環(huán)境中顯得格格不入，所以一下子就會「露餡」。
針對這個問題，來自SnapChat和南加州大學的研究人員提出了一個新模型NeROIC，能夠解決從圖像中創(chuàng)建虛擬物體所帶來的照明和真實性的問題。
論文地址：https://arxiv.org/pdf/2201.02533.pdf
新模型建立在神經(jīng)輻射場（neural radiance field）的基礎上，神經(jīng)輻射場廣泛用于重構中，例如NeRF等模型。但神經(jīng)輻射場需要在相同的理想條件下才能夠完美建模，但這并不符合真實場景的需求。
研究人員從NeRF模型出發(fā)來改進。NeRF神經(jīng)網(wǎng)絡的訓練輸入為一張圖片，用來推測每個像素的顏色、不透明度和輻射度，并猜測物體中沒有出現(xiàn)在二維圖像中的小部分的缺失像素。但這種方法對大面積的缺失部分或不同的照明條件下沒有作用，因為它只能從輸入的圖像中進行插值。所以新的模型需要更多的信息來推斷，并對某個地方應該出現(xiàn)的東西或這些像素在這種光照下應該是怎樣的做出假設等。
許多方法都是在NeRF的基礎上解決這個問題，但新模型總是需要用戶提供更多的輸入條件，這也并不符合實際場景的需求，并且在很多情況下用戶也并不清除這些數(shù)據(jù)，特別是當其他人想建立一個好的數(shù)據(jù)集來訓練模型時，就更加困難了。
總的來說， 之前的NeRF類模型并沒有真正理解物體，也沒有理解物體所處的環(huán)境。
所以真正要解決的事又回到照明問題上了。
研究人員的目標是在網(wǎng)絡圖像（online images）中也能使用這種新模型架構，也就是說，具有不同燈光、相機、環(huán)境和姿勢的圖像，新模型都應該有能力來處理，這也是NeRF難以做到的真實性。
除了需要物體本身的圖像之外，他們唯一需要的東西是一個粗略的前景分割器和對攝像機參數(shù)的估計，這兩個信息都可以通過其他可用的模型獲得。前景分割基本上只是一個遮罩（mask），可以告訴模型用戶感興趣的物體在圖像上的位置。
新模型所做的不同之處在于，他們將物體的渲染與輸入圖像中的環(huán)境照明分開，將這兩個任務獨立出來，在兩個階段內(nèi)完成。
首先，（a）網(wǎng)絡獲取的是物體的幾何形狀，這是與NeRF最相似的部分，文中稱為幾何網(wǎng)絡（Geometry Network）。它將輸入圖像、分割遮罩和相機參數(shù)估計結合起來建立一個輻射場，并找到每個像素的密度和顏色的猜測結果，整體流程和NeRF基本相同，但新模型需要適應輸入圖像中不同的照明條件。
這種差異來源于模型中的兩個分支，使得模型能夠將靜態(tài)內(nèi)容與攝像機或陰影等變化的參數(shù)分開，從而能夠訓練模型如何正確地將靜態(tài)內(nèi)容與其他不需要的參數(shù)（如照明）隔離開來，但只有這些還無法完美還原模型的空間結構。
在（b）中，研究人員將從這個學到的密度場（density field）中估計表面法線（surface normals）作為物體的形狀紋理。換句話說，在（a）中產(chǎn)生的結果能夠幫助找到物體對光線的反應。
在這個階段可以找到物體的無偏材料屬性（unbiased material properties），或者是使用一個帶有Sobel kernel的三維卷積得到對屬性的估計值。整個過程基本上就是一個filter，可以在三維空間中使用它來找到所有的物體邊緣和確定邊緣的銳利程度，可以提供關于物體的不同質地和形狀的基本信息。
階段（c）是調(diào)整模型學到的幾何體，并優(yōu)化剛剛使用這個渲染網(wǎng)絡產(chǎn)生的法線。
同樣包含兩個分支，一個是材料（material），另一個是照明（lighting）。他們將使用球面諧波（spherical harmonics）來表示照明模型，并在訓練中優(yōu)化其系數(shù)。
研究人員在論文中解釋稱，球面諧波在這里可以被用來代表一組定義在球面上的基礎函數(shù)，定義在球體表面的每個函數(shù)都可以寫成這些球面諧波的總和。這種技術經(jīng)常被用于計算3D模型的照明。
這種方法能產(chǎn)生高度逼真的陰影和陰影，而且開銷相對較小。簡而言之，它將簡單地減少需要估計的參數(shù)數(shù)量，但保持相同的信息量。
因此，與其從頭開始學習如何為整個物體渲染適當?shù)墓庹?，文中提出的新模型將轉而學習正確的系數(shù)以用于估計每個像素表面的光照，將問題簡化為幾個參數(shù)。
另一個分支被訓練來改善物體的表面法線，遵循同樣的技巧，使用標準的Phong BRDF將基于幾個參數(shù)找到物體的材料屬性模型。
最后渲染和照明兩個分支被合并，以預測每個像素的最終顏色。
文章中的實驗部分和NeRF模型進行對比，評價指標為峰值信噪比（PSNR）和結構相似性指數(shù)測量（SSIM）平均分。
考慮到測試圖像的照明條件是未知的，研究人員從同一場景下的另一張訓練圖像中挑選照明參數(shù)（嵌入式矢量或SH系數(shù)），并凍結網(wǎng)絡，用隨機梯度下降優(yōu)化器對照明參數(shù)進行1000步優(yōu)化。
實驗結果中可以看到，新模型以相當大的優(yōu)勢勝過了NeRF，并且在實際效果上，也比NeRF產(chǎn)生的結果更加一致和平滑。
文章的第一作者是匡正非，南加州理工的博士生，主要研究領域包括神經(jīng)渲染、3D重構、人類數(shù)字化和動畫、基于物理的模擬等，2019年本科畢業(yè)于清華大學。
參考資料：
https://www.louisbouchard.ai/neroic/
https://arxiv.org/pdf/2201.02533.pdf
熱門課程推薦
熱門資訊
-
探討游戲引擎的文章，介紹了10款游戲引擎及其代表作品，涵蓋了RAGE Engine、Naughty Dog Game Engine、The Dead Engine、Cry Engine、Avalanche Engine、Anvil Engine、IW Engine、Frostbite Engine、Creation引擎、Unreal Engine等引擎。借此分析引出了游戲設計領域和數(shù)字藝術教育的重要性，歡迎點擊咨詢報名。
-
2. 手機游戲如何開發(fā)(如何制作傳奇手游，都需要準備些什么？)
?如何制作傳奇手游，都需要準備些什么？提到傳奇手游相信大家都不陌生，他是許多80、90后的回憶；從起初的端游到現(xiàn)在的手游，說明時代在進步游戲在更新，更趨于方便化移動化。而如果我們想要制作一款傳奇手游的
-
3. B站視頻剪輯軟件「必剪」：免費、炫酷特效，小白必備工具
B站視頻剪輯軟件「必剪」，完全免費、一鍵制作炫酷特效，適合新手小白?？靵碓囋?！
-
游戲中玩家將面臨武俠人生的掙扎抉擇,戰(zhàn)或降?殺或放?每個抉定都將觸發(fā)更多愛恨糾葛的精彩奇遇。《天命奇御》具有多線劇情多結局,不限主線發(fā)展,高自由...
-
5. Bigtime加密游戲經(jīng)濟體系揭秘，不同玩家角色的經(jīng)濟活動
Bigtime加密游戲經(jīng)濟模型分析，探討游戲經(jīng)濟特點，幫助玩家更全面了解這款GameFi產(chǎn)品。
-
6. 3D動畫軟件你知道幾個?3ds Max、Blender、Maya、Houdini大比拼
當提到3D動畫軟件或動畫工具時,指的是數(shù)字內(nèi)容創(chuàng)建工具。它是用于造型、建模以及繪制3D美術動畫的軟件程序。但是,在3D動畫軟件中還包含了其他類型的...
-
7. 3D動漫建模全過程，不是一般人能學的會的，會的多不是人?
步驟01:面部,頸部,身體在一起這次我不準備設計圖片,我從雕刻進入。這一次,它將是一種純粹關注建模而非整體繪畫的形式。像往常一樣,我從Sphere創(chuàng)建它...
-
8. 如何自己開發(fā)一款游戲(游戲開發(fā)入門必看：五大獨立游戲開發(fā)技巧)
?游戲開發(fā)入門必看：五大獨立游戲開發(fā)技巧無論您是剛剛起步開發(fā)自己的第一款游戲，還是已經(jīng)制作了幾款游戲，本篇文章中的5大獨立游戲開發(fā)技巧都可以幫助您更好地設計下一款游戲。無論你對游戲有著什么樣的概念，都
-
?三昧動漫對于著名ARPG游戲《巫師》系列，最近CD Projekt 的高層回應并不會推出《巫師4》。因為《巫師》系列在策劃的時候一直定位在“三部曲”的故事框架，所以在游戲的出品上不可能出現(xiàn)《巫師4》
-
想讓你的3D打印模型更堅固？不妨嘗試一下Cura參數(shù)設置和設計技巧，讓你輕松掌握！
