您當前的位置:首頁 > 攝影 > 新聞內容

谷歌實時全身人像容積攝影新研究

時間:2019-11-20 19:09:52  來源:  作者:  瀏覽量:

 谷歌實時全身人像容積攝影新研究

 

此前,在《6DoF才是全景視頻的未來》中,青亭網曾提到利用容積攝影拍攝的6DoF視頻對于VR電影重要性,比如:6DoF容積視頻中的人或物支持從多個角度觀看,比普通的360°全景視頻更具立體感等。除了VR,容積攝影對于AR/MR、CG特效/動畫來講也是一項重要技術,它可以讓你在無須動捕服裝、標記的情況下實現對人物動作的多角度動作捕捉,還可以讓AR/MR濾鏡變的更立體,可以從不同視角查看。

目前,微軟、Intel、Facebook等公司旗下分別擁有各自的容積攝影/動捕工作室,這些工作室通常會使用100顆甚至更多的高分辨率攝像頭,已經可以實現分辨率較高的人體實時動捕,但由于后期調光所需的光照信息不夠多,三維重建后的效果缺乏高刷新率的細節,而且陰影部分難以根據不同的合成背景進行調試。

可想而知,光線對于逼真的容積攝影和全身實時動捕來講非常重要。為了進一步優化這項技術,谷歌科研人員提出了一種增強高分辨率容積系統光線捕捉能力的方案:Relightables,其特點是將90個1240萬像素、60Hz刷新率的攝像頭與331個定制化的可編程LED燈模組結合,取代傳統的綠幕背景,拍攝出的動態容積視頻具備更高水平的幾何精度,并且可以替換任何場景,支持更靈活和逼真的后期調光。

與其他光源相比,Relightables的光源可生成極其密實的圖案,支持準確的立體匹配,其燈光舞臺采用分時多工的梯度光照,會在兩種顏色漸變的發光模式中切換,而這些漸變信息之后還可以用于推斷重新調光所需的反射特性。

Relightables系統為容積攝影技術帶來多方面的創新,比如:配備了一種特殊設計的主動深度感知模組,可捕捉1240萬像素的深度地圖;用一種混合機器學習的幾何重建流程來處理容積視頻的輸入和輸出;利用60Hz刷新率下捕捉到的兩種顏色的交替式漸變照明圖(生成兩種球形色彩漸變發光圖案)中包含的信息,來生成動態且實時一致的反射率網格,用于輸出30Hz刷新率的視頻。

深耕Relightables的硬件配置

據了解,Relightables系統包含的90個攝像頭分別為58個RGB攝像頭和32個紅外攝像頭,其中由32個紅外攝像頭、16個RGB攝像頭和定制的紅外結構光光源組成多個主動深度傳感模組。每個模組包含一個高分辨率RGB攝像頭、兩個高分辨率紅外攝像頭和一個定制的結構光光源,而光源則包含VCSEL激光器、柔光器、鉻鍍玻璃的直接投影掩模、準直透鏡、投影鏡頭等裝置。

這些RGB和紅外攝像頭都是德國Ximea MX124攝像頭,并采用索尼IMX253傳感器,支持CMOS傳感、global-shutter,具備4112x3008高分辨率和低噪聲,量子效率足夠高,拍出來的照片細節夠多。與這些攝像頭和傳感器相連的,還有16個處理數據的PC。

而另外的331個可編程的定制LED燈模組中,每個模組包含63個高亮度LED燈,可顯示紅色、琥鉑色、青檸色、綠色、藍色、皇家藍等多種顏色。每個LED燈由一個內置的SoC來控制,可在10MHz的速度下切換燈光。

與市面上其他容積攝影系統不同的是,Relightables并非使用白色光源,而是使用反向漸變色彩,其中紅色在X軸,綠色在Y軸,藍色在Z軸,而反向漸變指的是從暗到亮發光,而不是亮到暗。

已有位網友發表評論
網友評論

登錄名: 匿名發表
15选5中奖奖金查询