來源：映維網(wǎng)? 作者? 黃顏

一直以來，將現(xiàn)實地點轉(zhuǎn)換為3D模型對人類藝術(shù)家而言都是巨大的挑戰(zhàn)，尤其是需要實現(xiàn)照片級真實感的時候。

但谷歌研究人員已經(jīng)構(gòu)思出一種替代方案，其可以同時地自動化3D建模過程并改進結(jié)果，利用一個包含眾包地點照片的神經(jīng)網(wǎng)絡來令人信服地在3D中復刻相關(guān)地標和照明。

名為神經(jīng)輻射場（Nergular Radiance Fields，NeRF）的技術(shù)可通過確定光線的終止位置而從2D圖像中提取3D深度數(shù)據(jù)，然后就能夠創(chuàng)建看似合理的地標3D紋理模型。

谷歌的NeRF-in-Wild（NeRF-W）系統(tǒng)則更進一步。首先，它使用“in-the-wild photo collections”作為輸入，從而擴展計算機從多個角度查看地標的能力。接下來，系統(tǒng)評估圖像以尋找結(jié)構(gòu)，分離出攝影圖形和環(huán)境變化，如圖像曝光、場景照明、后處理和天氣條件，以及鏡頭到鏡頭的對象差異。然后，它將重新創(chuàng)建場景，將靜態(tài)元素（結(jié)構(gòu)幾何和紋理）與提供體三維輻射的瞬態(tài)元素混合。

因此，可以從多個角度流暢地查看NeRF-W的3D地標模型，而且看起來不會抖動或出現(xiàn)偽影。同時，照明系統(tǒng)使用檢測到的變化來為場景照明和陰影提供輻射指導。

另外，NeRF-W可以將圖像到圖像對象的差異視為一個不確定域，然后消除或弱化差異。標準的NeRF系統(tǒng)則允許差異顯示為云狀遮擋偽影，因為它在圖像攝取過程中不會將它們與結(jié)構(gòu)分離。

谷歌在視頻中對比了標準NeRF與NeRF-W的結(jié)果。我們可以看到，這個全新的神經(jīng)系統(tǒng)能夠令人信服地在3D中再現(xiàn)地標，而虛擬現(xiàn)實和增強現(xiàn)實設備的用戶可以體驗到復雜的建筑，包括時間和天氣變化。實際上，這是2019年公布的方案“Neural Rerendering in the Wild”的優(yōu)化，現(xiàn)在的系統(tǒng)已經(jīng)可以更好地將三維結(jié)構(gòu)與光照分離開來，并且當在從不同角度查看時，畫面會顯地更加流暢。

相關(guān)論文 ：NeRF in the Wild: Neural Radiance Fields for Unconstrained Photo Collections

當然，谷歌不是唯一一家研究將照片用作3D建模輸入的公司。例如，英特爾的研究人員正在使用多張照片和一個遞歸編解碼器網(wǎng)絡來插值未捕捉到的角度，從而生成現(xiàn)實世界地點的合成版本。盡管英特爾的系統(tǒng)在像素級清晰度和時間平滑度方面似乎優(yōu)于包括標準NeRF在內(nèi)的眾多替代產(chǎn)品，但它似乎沒有提供NeRF-W的可變照明功能，同時沒有注重使用隨機來源的照片來重現(xiàn)真實世界的位置。

原文鏈接：https://yivian.com/news/77005.html