當(dāng)前位置：首頁(yè) >人工智能 >AI技術(shù)助力3D場(chǎng)景重建，實(shí)現(xiàn)自動(dòng)駕駛系統(tǒng)訓(xùn)練新突破

AI技術(shù)助力3D場(chǎng)景重建，實(shí)現(xiàn)自動(dòng)駕駛系統(tǒng)訓(xùn)練新突破

發(fā)布時(shí)間：2024-08-21 10:46:20 瀏覽量：111次

場(chǎng)景的保真度，對(duì)于自動(dòng)駕駛仿真和合成數(shù)據(jù)生成至關(guān)重要，場(chǎng)景重建保真度不足，將極大地制約高階自動(dòng)駕駛系統(tǒng)的訓(xùn)練效果。同時(shí)，在用于訓(xùn)練大模型和具身智能的合成數(shù)據(jù)領(lǐng)域，同樣對(duì)低成本的高保真場(chǎng)景有巨大的需求。

在此背景下，憑借多年的技術(shù)積累，51WORLD旗下AI合成數(shù)據(jù)及仿真平臺(tái)公司51Sim基于AI算法，將3D Gaussian Splatting與傳統(tǒng)圖形渲染技術(shù)創(chuàng)新融合，不僅攻克了3DGS技術(shù)泛化能力不足等“卡脖子”難題，實(shí)現(xiàn)了在擬真度方面的突破性進(jìn)展，還顯著提高了自動(dòng)駕駛系統(tǒng)的訓(xùn)練質(zhì)量及仿真的置信度。

▍“端到端”自動(dòng)駕駛對(duì)高保真場(chǎng)景需求迫切

目前已量產(chǎn)的智能駕駛，大多數(shù)采用的都是模塊化架構(gòu)，而端到端架構(gòu)則是通過(guò)一個(gè)模型來(lái)實(shí)現(xiàn)，因此能夠更加高效和低成本地聚焦核心功能，也讓端到端解決方案正逐漸成為主流。

端到端方案對(duì)于高保真場(chǎng)景的需求更加迫切，由于端到端系統(tǒng)需要能夠在各種復(fù)雜場(chǎng)景中自如應(yīng)對(duì)，需要將大量標(biāo)注有自動(dòng)駕駛行為的視頻投入自動(dòng)駕駛訓(xùn)練。然而傳統(tǒng)的3D場(chǎng)景仿真技術(shù)因?yàn)閳?chǎng)景的真實(shí)感不足、多樣性欠缺和成本高等問(wèn)題，已無(wú)法完整滿足端到端落地的需求。

▍3D Gaussian Splatting 技術(shù)

3D高斯?jié)姙R（3D Gaussian Splatting, 簡(jiǎn)稱3DGS）是用于實(shí)時(shí)輻射場(chǎng)渲染的3D 高斯分布描述的一種渲染技術(shù)，通過(guò)將多視角圖像表示的三維場(chǎng)景轉(zhuǎn)化為各向異性3D高斯點(diǎn)云表示的場(chǎng)景，并能通過(guò)參數(shù)優(yōu)化和密度控制來(lái)提高重建質(zhì)量。

3DGS在渲染速度、圖像質(zhì)量、定位精度等方面呈現(xiàn)出了非常優(yōu)異的表現(xiàn)，全面補(bǔ)足了NeRF的短板。基于3DGS的重建場(chǎng)景能夠1:1復(fù)刻在真實(shí)智駕上發(fā)現(xiàn)的邊緣場(chǎng)景，通過(guò)動(dòng)態(tài)場(chǎng)景泛化，提升端到端智駕系統(tǒng)應(yīng)對(duì)Corner Case的能力。

▍51Sim融合方案突破3DGS技術(shù)局限

針對(duì)3DGS在實(shí)際應(yīng)用上的短板，51Sim憑借多年在仿真領(lǐng)域的技術(shù)積累，將3DGS通過(guò)AI算法驅(qū)動(dòng)與傳統(tǒng)圖形渲染技術(shù)融合，突破了單一技術(shù)的局限。

在通過(guò)3DGS點(diǎn)云建模的基礎(chǔ)上，通過(guò)優(yōu)化的AI融合算法，將靜態(tài)3DGS場(chǎng)景與51Sim此前積累的靜態(tài)場(chǎng)景庫(kù)、動(dòng)態(tài)的交通場(chǎng)景庫(kù)和各類傳感器仿真進(jìn)行了自然融合，確保了整體場(chǎng)景的連貫性和視覺(jué)真實(shí)感，實(shí)現(xiàn)了場(chǎng)景豐富度指數(shù)級(jí)增加。同時(shí)，利用先進(jìn)的全局渲染技術(shù)，生成高質(zhì)量視圖，確保多相機(jī)視角的一致性和高保真度，實(shí)現(xiàn)了逼真的渲染效果。

▍應(yīng)用場(chǎng)景覆蓋各類具身/非具身智能領(lǐng)域

51Sim融合方案具有高質(zhì)量和實(shí)時(shí)渲染的能力，高保真的模擬場(chǎng)景不僅提高了自動(dòng)駕駛系統(tǒng)的訓(xùn)練質(zhì)量，還顯著提升了仿真的真實(shí)性，使其幾乎可以達(dá)到肉眼難辨的程度，大幅提升了仿真的置信度，并彌補(bǔ)了3DGS在細(xì)節(jié)和泛化能力的不足，這也是目前行業(yè)內(nèi)首例真正可用于自動(dòng)駕駛仿真的3DGS解決方案。

Future

高保真場(chǎng)景重建，將仿真置信度提升到了新的高度，對(duì)于端到端自動(dòng)駕駛的進(jìn)化與落地具有關(guān)鍵意義。未來(lái)，51Sim將持續(xù)迭代3DGS融合技術(shù)，為AI訓(xùn)練提供充足的數(shù)據(jù)燃料，賦能更廣泛的行業(yè)應(yīng)用。

想要了解更多關(guān)于數(shù)字藝術(shù)教育的信息，歡迎點(diǎn)擊點(diǎn)擊咨詢。