搜索引擎新技能,阿里新研究用2D圖片搜出3D模型
AI技術的研究正在從2D走向更高難度的3D。12月3日,記者獲悉,阿里技術團隊研發了全新3D AI算法,可基于2D圖片精準搜索出相應的3D模型,準確率大幅提升10%,可降低3D打印、VR看房、場景導購等領域的門檻。該研究成果已被AI頂會NeurIPS 2020收錄。
盡管3D打印、VR等應用場景逐漸成熟,但以3D搜索為代表的3D智能技術依舊處于早期研究階段。例如,受限于2D圖片顏色、紋理信息和3D模型形狀信息之間的差異,傳統AI方法模型匹配的準確率較低。過去幾年,包括卡耐基梅隆大學、MIT、斯坦福大學等頂級機構都紛紛投入該領域的研究。
(阿里3D AI算法可基于2D圖片,從海量數據集中精準找到匹配的3D模型)
國際AI頂會NeurIPS 2020官方顯示,阿里技術團隊率先提出了3D搜索的全新方法,即讓AI先學習大量復雜2D圖片樣本,從而弱化紋理等干擾信息,使AI網絡更聚焦于幾何細節的學習,從而讓AI更好地理解2D圖片及3D模型之間的差異。
實驗結果顯示,訓練完成后的算法模型能更高效地和3D模型數據集進行匹配,在不同數據集上的準確率提高約10%,例如用一張家具照片,可直接找到該家具的3D模型。
該論文作者、阿里淘系技術算法專家付歡表示,“3D搜索和3D重建、3D顯示都是3D領域基礎技術, 未來,隨著算法和3D數據集的不斷強大,通過搜索引擎可以搜索出萬物的3D模型。”
據悉,阿里技術團隊在3D重建、3D搜索等技術領域已實現多項突破,相關技術已應用在淘寶3D購、躺平設計家等場景中。今年3月,阿里巴巴與多所國際知名學者合作開源業界首個飽含紋理細節的大型3D家具數據集(3D-FUTURE),吸引了斯坦福大學、加州大學伯克利分校、清華大學、香港中文大學等高校及蘋果、Facebook等企業進行學術和應用的前沿研究。
雷鋒網
(公眾號:雷鋒網)
雷鋒網
雷鋒網版權文章,未經授權禁止轉載。詳情見。