搜索引擎新技能,阿里新研究用2D圖片搜出3D模型
AI技術(shù)的研究正在從2D走向更高難度的3D。12月3日,記者獲悉,阿里技術(shù)團隊研發(fā)了全新3D AI算法,可基于2D圖片精準搜索出相應(yīng)的3D模型,準確率大幅提升10%,可降低3D打印、VR看房、場景導購等領(lǐng)域的門檻。該研究成果已被AI頂會NeurIPS 2020收錄。
盡管3D打印、VR等應(yīng)用場景逐漸成熟,但以3D搜索為代表的3D智能技術(shù)依舊處于早期研究階段。例如,受限于2D圖片顏色、紋理信息和3D模型形狀信息之間的差異,傳統(tǒng)AI方法模型匹配的準確率較低。過去幾年,包括卡耐基梅隆大學、MIT、斯坦福大學等頂級機構(gòu)都紛紛投入該領(lǐng)域的研究。
(阿里3D AI算法可基于2D圖片,從海量數(shù)據(jù)集中精準找到匹配的3D模型)
國際AI頂會NeurIPS 2020官方顯示,阿里技術(shù)團隊率先提出了3D搜索的全新方法,即讓AI先學習大量復雜2D圖片樣本,從而弱化紋理等干擾信息,使AI網(wǎng)絡(luò)更聚焦于幾何細節(jié)的學習,從而讓AI更好地理解2D圖片及3D模型之間的差異。
實驗結(jié)果顯示,訓練完成后的算法模型能更高效地和3D模型數(shù)據(jù)集進行匹配,在不同數(shù)據(jù)集上的準確率提高約10%,例如用一張家具照片,可直接找到該家具的3D模型。
該論文作者、阿里淘系技術(shù)算法專家付歡表示,“3D搜索和3D重建、3D顯示都是3D領(lǐng)域基礎(chǔ)技術(shù), 未來,隨著算法和3D數(shù)據(jù)集的不斷強大,通過搜索引擎可以搜索出萬物的3D模型。”
據(jù)悉,阿里技術(shù)團隊在3D重建、3D搜索等技術(shù)領(lǐng)域已實現(xiàn)多項突破,相關(guān)技術(shù)已應(yīng)用在淘寶3D購、躺平設(shè)計家等場景中。今年3月,阿里巴巴與多所國際知名學者合作開源業(yè)界首個飽含紋理細節(jié)的大型3D家具數(shù)據(jù)集(3D-FUTURE),吸引了斯坦福大學、加州大學伯克利分校、清華大學、香港中文大學等高校及蘋果、Facebook等企業(yè)進行學術(shù)和應(yīng)用的前沿研究。
雷鋒網(wǎng)
(公眾號:雷鋒網(wǎng))
雷鋒網(wǎng)
雷鋒網(wǎng)版權(quán)文章,未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見。