Luca Verre是傳感器公司Prophesee的首席執(zhí)行官,也是這家法國巴黎誕生的初創(chuàng)公司的聯(lián)合創(chuàng)始人,在一眾半導(dǎo)體創(chuàng)業(yè)企業(yè)中,Prophesee所涉足的視覺傳感器,仍是一個外界了解較少的小眾賽道,但憑借自身開創(chuàng)的獨特技術(shù)——“基于事件的傳感器”,有望創(chuàng)造新的應(yīng)用領(lǐng)域。
Prophesee聯(lián)合創(chuàng)始人兼首席執(zhí)行官Luca Verre
圖片來源:Prophesee
所謂基于事件的傳感器(EVS),其起源于視覺神經(jīng)的信號模擬,是一種模仿眼睛的感光機制而建立的仿生傳感器技術(shù):人眼感受到光線后,視網(wǎng)膜上的受體細胞就會將光信號轉(zhuǎn)換成神經(jīng)信息,后段的神經(jīng)細胞再分別挑選出亮部和暗部,經(jīng)由神經(jīng)節(jié)細胞,將信息傳遞到大腦的視覺皮層。
EVS則如同人類視覺神經(jīng),射入傳感器的光線會轉(zhuǎn)換成電氣信號。電氣信號通過放大器,由比較器根據(jù)亮度變化進行分離,形成變亮信號和變暗信號,然后再通過后段的信號處理,以EVS圖像數(shù)據(jù)的形式輸出。因此,EVS是一種只對亮度變化敏感并輸出圖像的視覺傳感器。
Luca Verre介紹,事件視覺技術(shù)的優(yōu)勢在于捕獲動態(tài)信息、時間信息,這些信息可以很好地和CMOS RGB 傳感器的信息實現(xiàn)互補,或是和ToF 或者激光雷達收集的3D 信息互補。這種傳感器模式的組合可以形成更具價值的解決方案。
在EVS的制造上,主要是在索尼幫助下完成的,生產(chǎn)出的EVS傳感器成品提供給客戶,目前在索尼半導(dǎo)體部門的官網(wǎng)上,已經(jīng)有兩款EVS傳感器對外提供。根據(jù)Prophesee介紹,借助索尼生產(chǎn)圖形傳感器的經(jīng)驗,使得EVS傳感器得以大規(guī)模量產(chǎn),實現(xiàn)優(yōu)秀的拍攝性能并降低成本。
實際上,EVS作為一類新型傳感器,更重要的是為其尋找落地場景,據(jù)索尼半導(dǎo)體部門的相關(guān)研發(fā)人員介紹,早期“最大的難題是向客戶介紹EVS后,一開始大家都對這款獨特的傳感器產(chǎn)生了濃厚興趣,覺得很有趣,但是一旦討論到它的應(yīng)用,客戶往往不知道要如何使用,因此始終難以進入下一個階段?!?
這也是Luca Verre時常需要思考的問題。
傳感器細分賽道專業(yè)且龐雜,距大眾生活看似較遠,但其所應(yīng)用的一些領(lǐng)域卻也和平常人的生活息息相關(guān),如作為手機、汽車等設(shè)備“眼睛”攝像頭,內(nèi)藏的圖像傳感器是核心部件,過去主要以傳統(tǒng)CMOS傳感器(CIS)為主。根據(jù)市場調(diào)研公司Counterpoint數(shù)據(jù),2022年CIS全球單位出貨市場規(guī)模為190億美元。其中,移動手機占據(jù)的份額最高,為132億美元。
給手機裝上不一樣的“眼睛”,是Prophesee力圖在消費市場達到的成績,并選擇了一個手機攝像的常用功能“去模糊(deblur)”作為切入點,其基本原理是EVS傳感器配合傳統(tǒng)傳感器的數(shù)據(jù),系統(tǒng)能夠?qū)VS以微秒為單位記錄的事件填充到兩幀圖像的間隙,通過算法提取純動態(tài)信息,從而修復(fù)運動模糊。從Prophesee向界面新聞提供的Demo來看,這一功能令人印象深刻。
與高通的合作也將為EVS進入手機市場降低難度,“我們和高通以及其他一些手機OEM廠商合作,將我們的傳感器和常規(guī)RGB 傳感器結(jié)合,用于提升手機攝影的圖像質(zhì)量,用于圖像去模糊?!盠uca Verre稱。
EVS傳感器以及Prophesee的去模糊算法,與高通的驍龍手機平臺整合后,有利于進一步打開市場,“我們跟高通的合作非常具有戰(zhàn)略意義。高通是高端旗艦手機應(yīng)用處理器的市場領(lǐng)導(dǎo)者,我們和高通合作, 把Prophesee metavision傳感器和高通驍龍SoC結(jié)合,提高手機影像質(zhì)量,我們也一起向一些手機OEM廠商推廣我們的解決方案?!盠uca Verre稱,強調(diào)與高通的合作時一次“長期合作”,并暗示搭載EVS的手機將會很快推出。
除了手機,VR/AR頭顯也是Luca Verre一直密切關(guān)注的產(chǎn)品。北京時間6月6日凌晨,蘋果推出第一款XR(混合現(xiàn)實)頭戴顯示設(shè)備Apple Vision Pro和操作系統(tǒng)VisionOS,將在2024年早些時候登陸美國市場,隨后擴展至其他國家。Vision Pro內(nèi)外部生態(tài)結(jié)合,通過虛擬鍵盤、眼球追蹤、手勢控制等新型交互方式落地辦公、娛樂等場景,無疑對于傳感器的要求也會有不少。
蘋果Vision Pro頭顯引發(fā)了對XR話題的廣泛關(guān)注,尤其是在眼球追蹤和手勢識別上取得了很好的效果,這被認為是所謂“空間計算”的關(guān)鍵交互技術(shù)。