法國LIGM實驗室的研究人員已開發(fā)了一種新穎的技術(shù)，可以由真實場景周圍捕獲的圖像集合快速創(chuàng)建高度逼真的3D網(wǎng)格模型。他們的方法被稱為SuGaR，通過以一種獨特的方式采用神經(jīng)表示和計算幾何技術(shù)，可以在短短幾分鐘內(nèi)重新構(gòu)建詳細的三角形網(wǎng)格模型。這項功能可以為創(chuàng)作者、教育工作者和專業(yè)人員提供一種更易于訪問的途徑，以便在許多應(yīng)用環(huán)境充分利用3D模型。

本文將介紹這種方法的獨特之處以及它對其他AI項目意味著什么。

3D重建的挑戰(zhàn)

重建真實環(huán)境的準(zhǔn)確3D模型長期以來一直是一項艱巨的任務(wù)，需要專門的設(shè)備、精心編排的捕獲流程和大量的手動后期處理。激光掃描設(shè)備和結(jié)構(gòu)光深相機可以直接捕獲幾何掃描，但仍存在緩慢、昂貴和笨重的缺點。

基于運動結(jié)構(gòu)的攝影測量方法由相機圖像生成稀疏的3D點云，但光由這些點云生成干凈、詳細的表面模型就非常困難了。雖然質(zhì)量很出眾，但最先進的神經(jīng)輻射場即使在現(xiàn)代GPU上也需要持續(xù)數(shù)小時乃至數(shù)天的渲染密集型優(yōu)化周期，才能將其體積場景表示轉(zhuǎn)換成實用的表面網(wǎng)格。

因此，雖然模擬、教育、數(shù)字化和創(chuàng)意媒體等領(lǐng)域的許多下游用例都必然會從易于訪問的高質(zhì)量3D場景表示中受益匪淺，但對大多數(shù)人來說，捕獲和開發(fā)方面仍面臨極大的障礙。

新穎地結(jié)合技術(shù)

本文介紹了SuGaR方法。SuGaR方法將新興的神經(jīng)場景表示與傳統(tǒng)的計算幾何算法相結(jié)合，克服了這些挑戰(zhàn)，并提供了一種獨特的快速且易于訪問的3D建模途徑。

該技術(shù)立足于最近一種基于神經(jīng)粒子的場景表示方法：3D高斯?jié)姙R。通過優(yōu)化上百萬個微小的3D高斯基元的方向、尺寸、放射及其他屬性，最準(zhǔn)確地再現(xiàn)一組輸入相機圖像，高斯?jié)姙R可以在短短幾分鐘內(nèi)重建生動的場景神經(jīng)渲染。

經(jīng)過優(yōu)化后，獨立的高斯粒子仍然是非結(jié)構(gòu)化的。SuGaR的關(guān)鍵創(chuàng)新在于引入了一種新的訓(xùn)練過程，該過程鼓勵顆粒在保留細部的同時符合表面。這種對齊便于將粒子當(dāng)成結(jié)構(gòu)化的點云進行重建。

利用這種點結(jié)構(gòu)，SuGaR隨后執(zhí)行一種名為泊松表面重建的計算技術(shù)，直接由對齊的粒子高效地生成網(wǎng)格。同時處理數(shù)百萬個粒子會得到一個詳細的三角模型，而這是傳統(tǒng)技術(shù)難以實現(xiàn)的。

從本質(zhì)上講，SuGaR將大量的計算負載轉(zhuǎn)移到一個快速的、可擴展的前端點云結(jié)構(gòu)中。這將所需的渲染密集型工作負載由最終網(wǎng)格生成轉(zhuǎn)移到別處，從而使快速構(gòu)建模型成為可能。

驗證效果

研究人員通過實驗證明了SuGaR在廣泛的公共數(shù)據(jù)集上快速構(gòu)建高質(zhì)量模型的效果，這些數(shù)據(jù)集涉及室內(nèi)場景、室外景觀、詳細結(jié)構(gòu)、鏡面、照明變化及其他建模挑戰(zhàn)。

圖1. 使用SuGaR的渲染（a）和重新構(gòu)建的網(wǎng)格（b）的兩個示例。常規(guī)地圖（c）有助于直觀地顯示幾何形狀

示例包括由Mip-NeRF360數(shù)據(jù)集重建復(fù)雜室內(nèi)環(huán)境的建筑模型的詳細網(wǎng)格，以及由Tank & Temples數(shù)據(jù)集生成車輛和建筑物等結(jié)構(gòu)的生動網(wǎng)格。

與現(xiàn)有的最先進的神經(jīng)和混合重建技術(shù)進行定量和定性比較表明，SuGaR提供了顯著加快的網(wǎng)格創(chuàng)建速度，渲染質(zhì)量和幾何精度可以媲美所需計算資源多得多的方法。論文作者表示：“我們的方法在由3D高斯?jié)姙R檢索3D網(wǎng)格方面要快得多，而3D高斯?jié)姙R本身就比NeRF快得多。正如我們的實驗表明的那樣，我們通過將高斯函數(shù)綁定到網(wǎng)格上所進行的渲染獲得了比以前基于網(wǎng)格的解決方案更高的質(zhì)量。”

論文作者還強調(diào)了其方法的速度：“使用我們的方法，檢索這樣一個可編輯的網(wǎng)格進行逼真的渲染只需幾分鐘，同時提供了更好的渲染質(zhì)量，而使用SDF方面最先進的方法也需要數(shù)小時。”

結(jié)論

SuGaR技術(shù)顯著改善了3D模型重建。像激光掃描這樣的傳統(tǒng)方法既昂貴又復(fù)雜，雖然神經(jīng)輻射場具有高質(zhì)量，但速度慢且耗費大量資源。SuGaR通過將神經(jīng)場景表示與計算幾何相結(jié)合改變了這種情況。它先使用一種名為3D高斯?jié)姙R的方法來創(chuàng)建神經(jīng)渲染，然后它對齊這些粒子，讓其行為如同結(jié)構(gòu)化的點云。這是下一步的關(guān)鍵：使用泊松表面重建將這些粒子轉(zhuǎn)換成詳細的網(wǎng)格。這個過程更快，因為它將繁重的計算移到了最開始。

SuGaR已經(jīng)在各種數(shù)據(jù)集上進行了測試，可處理室內(nèi)和室外場景等不同的挑戰(zhàn)。它不僅比NeRF更快，還保持了高質(zhì)量和準(zhǔn)確性。這使得創(chuàng)建詳細的3D模型更快速、更易于訪問，這對于模擬、教育和媒體等領(lǐng)域的應(yīng)用而言很了不起。