5月7日消息，繼向ARCore添加深度API之后，谷歌繼續(xù)使用谷歌Pixel 4智能手機(jī)探索實(shí)時(shí)3D深度感測。

據(jù)悉，谷歌開發(fā)了實(shí)時(shí)紅外（IR）有源立體深度傳感器uDepth，旨在設(shè)計(jì)精確且具有度量的標(biāo)準(zhǔn)。這個(gè)想法是為了在Pixel 4手機(jī)的面部解鎖功能下在高速和黑暗中工作。此外，它可以幫助身份驗(yàn)證系統(tǒng)識別用戶，同時(shí)還可以防止欺騙攻擊，它還能夠?qū)φ掌M(jìn)行事后潤色、基于深度的場景分割、背景模糊、人像效果和3D照片。該系統(tǒng)既生成30Hz的深度流，又生成平滑的、經(jīng)過后期處理的深度圖，以用于攝影后捕獲效果，例如用于社交媒體的散景和3D照片。

為了實(shí)現(xiàn)這一目標(biāo)，Google訓(xùn)練了一種端到端的深度學(xué)習(xí)架構(gòu)，該架構(gòu)增強(qiáng)了uDepth的原始數(shù)據(jù)，使用RGB圖像、人物分割和原始深度的組合推斷出完整、密集的3D深度圖。此外，該公司還將Pixel 4手機(jī)與一個(gè)體積捕捉系統(tǒng)的燈光和攝像頭同步，該系統(tǒng)可以生成接近真實(shí)感的人體模型。該系統(tǒng)由一個(gè)測地線球體、331個(gè)定制彩色LED燈、一組高分辨率攝像機(jī)和一組定制高分辨率深度傳感器組成，它有助于生成結(jié)合真實(shí)圖像和從Pixel 4攝像機(jī)視角合成渲染的訓(xùn)練數(shù)據(jù)。

uDepth軟件主管Michael Schoenberg和uDepth硬件/系統(tǒng)主管Adarsh Kowdle在一個(gè)描述該技術(shù)的博客上寫道：“當(dāng)一部手機(jī)出現(xiàn)嚴(yán)重下降時(shí)，它可能導(dǎo)致立體攝像機(jī)的出廠校準(zhǔn)偏離攝像機(jī)的實(shí)際位置。為了確保在實(shí)際使用中獲得高質(zhì)量的結(jié)果，uDepth系統(tǒng)是自校準(zhǔn)的。計(jì)分程序評估每個(gè)深度圖像是否有誤校準(zhǔn)的跡象，并建立對設(shè)備狀態(tài)的信心。如果檢測到校準(zhǔn)錯(cuò)誤，則從當(dāng)前場景重新生成校準(zhǔn)參數(shù)，這是一條由特征檢測和對應(yīng)、亞像素細(xì)化（利用點(diǎn)輪廓）和束調(diào)整組成的管道?！?

雖然智能手機(jī)的面部解鎖功能可能還與商業(yè)和專業(yè)領(lǐng)域無關(guān)，但這項(xiàng)技術(shù)的進(jìn)步展示了深度傳感器在未來3D應(yīng)用中的潛力。深度感測為開發(fā)人員和用戶提供了確定場景的3D信息的能力，在智能手機(jī)上使用深度傳感器不僅可以幫助攝影，還可以幫助增強(qiáng)現(xiàn)實(shí)、3D掃描應(yīng)用程序等。與其隨身攜帶一臺大型3D手持掃描儀，不如將它放在口袋里。