豆瓣高分美劇《了不起的麥瑟爾夫人》故事背景為 20 世紀(jì) 50、60 年代,女主爸爸是在哥倫比亞大學(xué)擔(dān)任終身教授的數(shù)學(xué)家,當(dāng)他得知女兒兼職脫口秀演員時,十分震驚和不解。
幾十年后的今天,在中國香港“卻有”一位科學(xué)家在兼職脫口秀,他就是即將加入華為公司的香港理工大學(xué)博士后廖付友。
圖 | 論文第一作者廖付友博士表演脫口秀(來源:廖付友)
其研究方向是半導(dǎo)體器件與工藝,2022 年大年初三,廖付友和導(dǎo)師港理工應(yīng)用物理系教授柴揚(yáng),在 Nature Electronics 發(fā)了一篇論文。
圖 | 相關(guān)論文(來源:Nature Electronics)
農(nóng)歷大年初八,Nature 官網(wǎng)以研究亮點(diǎn)(RESEARCH HIGHLIGHT)形式報(bào)道了這一工作,其上寫道:“適應(yīng)各種光強(qiáng)度半導(dǎo)體的器件,或可用于自動駕駛汽車和工業(yè)生產(chǎn)線?!?
圖 | Nature 官網(wǎng)研究亮點(diǎn)報(bào)道(來源:Nature 官網(wǎng))
模擬人眼視網(wǎng)膜,研發(fā)仿生視覺適應(yīng)傳感器
該工作的背景在于,在人類生活環(huán)境中,從烈日當(dāng)空的正午、到伸手不見五指的漆黑夜晚,自然光的強(qiáng)度分布非常廣。如何在不同光照條件下準(zhǔn)確提取外部環(huán)境的信息,是一個基礎(chǔ)科學(xué)問題,具有非常實(shí)際應(yīng)用的意義。
隨著機(jī)器視覺的發(fā)展、及其在自動駕駛和實(shí)時視頻分析等領(lǐng)域的應(yīng)用,高分辨率、高圖像捕獲速度成為視覺傳感器的必備能力,具體體現(xiàn)為良好的穩(wěn)定性、以及寬感知范圍,即在不同光照強(qiáng)度下感知目標(biāo)的能力。
據(jù)悉,地球上自然光強(qiáng)度的分布超過 280dB,因此對于正確感知環(huán)境來說,在不同光照下準(zhǔn)確捕獲圖像尤為重要。這就要求光電器件在弱光、以及亮光照明下,必須準(zhǔn)確捕捉和感知細(xì)節(jié)。
目前,市場上主流的硅基 CMOS(互補(bǔ)金屬氧化物半導(dǎo)體,Complementary metal Oxide Semiconductor)圖像傳感器通常只有 70dB 的感知范圍,遠(yuǎn)低于自然場景的光強(qiáng)變化范圍。
為實(shí)現(xiàn)較寬的感知范圍,此前有學(xué)者探索過控制光學(xué)孔徑、使用液態(tài)透鏡、調(diào)節(jié)曝光時間、以及后端去噪算法等方法,但這些方法通常需要復(fù)雜的硬件和軟件資源。
因此非常有必要在傳感器終端發(fā)展出一種具有視覺適應(yīng)功能和寬感知范圍的光電器件,從而改善機(jī)器視覺的功能、降低硬件復(fù)雜性、并提升高圖像識別效率。
相比硅基光電探測器,人眼的光接收細(xì)胞感知范圍比較有限只有 40dB,但是人眼的視覺適應(yīng)功能讓我們可以感知和識別不同光照條件下的各種物體,哪怕是從較暗環(huán)境、轉(zhuǎn)換到較亮環(huán)境中。
(來源:Nature Electronics)
人眼的視覺適應(yīng)機(jī)制,依賴于每個光接收細(xì)胞在不同光照條件下光靈敏度的動態(tài)調(diào)節(jié),其調(diào)節(jié)原理是在不同光照條件下,水平細(xì)胞控制視錐和視桿細(xì)胞之間的轉(zhuǎn)換、以及光色素的產(chǎn)生和消失。
在該工作中,柴揚(yáng)和團(tuán)隊(duì)研發(fā)出一種基于底柵光電晶體管陣列的仿生視覺適應(yīng)傳感器。該器件模擬了水平細(xì)胞和光接收細(xì)胞的結(jié)構(gòu),具有視覺亮適應(yīng)和暗適應(yīng)的功能,有效感知范圍達(dá)到 199dB。
利用這款傳感器,可在不借助大體積光學(xué)組件、以及復(fù)雜外圍電路和后端信號處理的條件下,實(shí)現(xiàn)視覺適應(yīng)功能和寬感知范圍。
(來源:Nature Electronics)
柴揚(yáng)表示,其團(tuán)隊(duì)在 5 年前就已開展光電存儲器的研究,這種新型器件能將光傳感與光信息處理的功能在單一器件中完成。
2018 年,該團(tuán)隊(duì)發(fā)表了第一篇關(guān)于將光傳感器與邏輯信息處理集成的論文[2]。隨后,在此研究基礎(chǔ)上進(jìn)一步開展,2019 年柴揚(yáng)等人設(shè)計(jì)并利用光控阻變隨機(jī)存儲器實(shí)現(xiàn)了圖像感知和圖像預(yù)處理的功能[3]。
在 2020 年,他們又率先提出近傳感器和傳感器內(nèi)計(jì)算的方法[4,5]。人眼視網(wǎng)膜可以感知外界光信號,并根據(jù)光照強(qiáng)度自動調(diào)節(jié)光接收細(xì)胞的靈敏度,從而適應(yīng)不同的背景光強(qiáng)度,這便是視網(wǎng)膜的視覺適應(yīng)功能。