異構(gòu)融合的人工智能是一種多模態(tài)系統(tǒng)。駕駛自行車就是一個多模態(tài)任務(wù)，它需要語音識別，也需要視覺識別和追蹤，這需要自行車上的電機或者傳感器來發(fā)送和接受信息數(shù)據(jù)，而系統(tǒng)對兩者信息處理的編碼模式是不一樣的，這就是所謂多模態(tài)。那么這個復雜的多模態(tài)任務(wù)就成了施路平團隊驗證其異構(gòu)融合成果的展示平臺。

對于“天機芯”的未來應用前景，裴京表示，由于這是一款異構(gòu)融合芯片，因此不管是深度學習加速器還是神經(jīng)形態(tài)芯片能夠做到的事情，“天機芯”都能完成。同時，兩者的結(jié)合能夠完成一些原本單獨無法完成的任務(wù)。

比如在運動視頻分析中，若使用機器學習算法模型，由于傳感器輸出數(shù)據(jù)的速度有限且數(shù)據(jù)量大，通常會造成卡頓；用神經(jīng)形態(tài)的方法，雖然數(shù)據(jù)量較少，但同時精度也會降低不少。而將兩種模態(tài)結(jié)合后，則能在兩者之間在代價和功能方面進行很好的平衡。

除了無人自行車，該芯片在自動駕駛汽車、智能機器人等領(lǐng)域上也有極大的發(fā)揮空間。此外，因其低能耗、低成本，這個芯片會在家庭和服務(wù)性場景中得到廣泛應用。

據(jù)施路平透露，目前，“天機芯”已經(jīng)在北京靈汐科技有限公司開始進行下一步開發(fā)。

專訪施路平團隊：如何理解異構(gòu)融合?

DeepTech：如何理解異構(gòu)融合？為什么說將類腦計算和機器學習融合是一個更好的做法？

施路平：異構(gòu)融合有基于電腦的一套計算范式，也有基于人腦的一套計算范式，從大的思路上來講，我們希望把這兩個范式能夠融合起來，因為它的特點是能夠互補。

我們認為現(xiàn)在的計算機是將多維的信息轉(zhuǎn)換成一維的信息流，主頻越來越快，換句話說這是利用了時間復雜度；而在人腦中，一個神經(jīng)元連接著 1 千到 1 萬個神經(jīng)元，這是利用了空間復雜度，且大腦是利用脈沖進行編碼，換句話說這就引入了時間復雜度，因此代表了時空復雜度。

類腦計算就同時具備了空間復雜度和時空復雜度，這就是異構(gòu)融合。事實上，異構(gòu)融合的架構(gòu)包含了多層的信息，有類腦和電腦的融合、計算和存儲的融合、空間復雜性和時間復雜性的融合、空間編碼和時間編碼的融合，還有精確計算和近似計算的融合。

DeepTech：在實現(xiàn)通用人工智能的過程里，將人腦思維、計算機思維結(jié)合到一起的做法是不是業(yè)界、學界的共識？是否有其他的實現(xiàn)路徑？

施路平：將兩者結(jié)合的方法得到了很多業(yè)界人士和學者的認可，但核心的難度在于這是一個跨學科的研究，因此能夠組織起多個院系共同研究的團隊還不多。

此前所有來到清華交流的學術(shù)團隊都認為我們這種交融和交叉模式是最成功的一個類腦計算的模式。同時歐洲也有團隊將這種融合的模式作為一個課題提出。

DeepTech：如果是說我有兩個芯片，一個芯片是類腦芯片，一個是電腦芯片，那么兩個芯片能在同一個機器人身上運行實現(xiàn)異構(gòu)融合效果嗎？

施路平：這樣不能實現(xiàn)異構(gòu)融合。你這個問題在論文審稿的過程當中討論過。從原理上講可以，但是從實際上講很難。為什么很難？兩個芯片有不同的接口，其速度、性質(zhì)、編碼匹配，運行起來很困難。經(jīng)過了反復論證，審稿人最后接受了我們的解釋。

有審稿人問，同一個芯片上兩個模塊的協(xié)作和兩個不同模塊的芯片協(xié)作有何不同？要理解這個太復雜了。這相當于大腦的黑匣子，我們對大腦知之甚少，對左腦和右腦的協(xié)作知之甚少。這也是我們碰到的最難的問題之一。

DeepTech：在這個無人自行車試驗中，我們能看到的哪些方面（或功能）是體現(xiàn)模擬人類大腦的，哪些方面（或功能）是體現(xiàn)機器學習算法的？

鄧磊：自行車的語音識別、環(huán)境感知、平衡控制、避障等功能都需要背后的模型算法提供支持才能實現(xiàn)，這其中就包括了不同模態(tài)的模型。如語音識別、自主決策以及視覺追蹤是模擬大腦的，而目標探測、運動控制以及躲避障礙等，則需要通過機器學習算法完成。