以下文章來源于EETOP ，作者Nancy Zhou
近日，馬斯克透露，他的人工智能初創(chuàng)公司xAI正計(jì)劃建造一臺(tái)超級計(jì)算機(jī)，并希望在 2025年秋季之前讓擬議的超級計(jì)算機(jī)運(yùn)行，為其下一版本的人工智能聊天機(jī)器人Grok提供算力。
其實(shí)，早在今年3月，xAI就發(fā)布了其最新版的Grok 1.5。不過，4月，馬斯克宣布，由于沒有足夠多的先進(jìn)芯片，故推遲了Grok 2模型的訓(xùn)練和發(fā)布。他表示，訓(xùn)練Grok2模型需要大約2萬塊英偉達(dá)H100，而Grok3模型及更高版本將需要10萬塊英偉達(dá)H100。完成后，其連接的芯片組將至少是當(dāng)今最大GPU集群的4倍。
確實(shí)，生成式AI從云端走向終端，芯片已經(jīng)成為推進(jìn)大模型發(fā)展的關(guān)鍵。大模型企業(yè)也已經(jīng)開始將目光聚焦到芯片公司，期待從底層展開合作，以解決算力成本在端側(cè)的覆蓋問題。基于算力需求，芯片廠商與大模型廠商走得更近了。
在泰克最新對清華大學(xué)教授高濱的采訪中，他表示：“自2023年開始，大模型就非常火。國際上、以及幾個(gè)大公司都在研究怎么去支持大模型。從新的器件到新的工藝，這幾個(gè)公司的技術(shù)路線都不太一樣。有的相對傳統(tǒng)一些，有的嘗試用新工藝新器件去做。在去年的IEDM大會(huì)中，還專門設(shè)置了一個(gè)探討大模型的section。”
高濱老師特別強(qiáng)調(diào)說：“大模型不僅僅是算法和應(yīng)用上，其實(shí)底層的算力支撐也是非常重要。”
大模型與存算一體技術(shù)
當(dāng)前，各行各業(yè)都在數(shù)字化轉(zhuǎn)型，數(shù)據(jù)處理和存儲(chǔ)的需求與日俱增。傳統(tǒng)的計(jì)算與存儲(chǔ)的模式已經(jīng)很難滿足當(dāng)下高性能、低能耗、強(qiáng)安全的需求。存算一體技術(shù)被認(rèn)為是可以有效解決傳統(tǒng)馮·諾依曼架構(gòu)下的“存儲(chǔ)墻”和“功耗墻”問題的有效途徑。
存算一體的優(yōu)勢是打破存儲(chǔ)墻，消除不必要的數(shù)據(jù)搬移延遲和功耗，并使用存儲(chǔ)單元提升算力，成百上千倍的提高計(jì)算效率，降低成本。除了用于AI計(jì)算外，存算技術(shù)也可用于存算一體芯片和類腦芯片，代表了未來主流的大數(shù)據(jù)計(jì)算芯片架構(gòu)。
高濱老師表示，大模型對功耗及成本的要求很高。如果憶阻器真的能應(yīng)用到大模型里面的話，能效比預(yù)計(jì)將會(huì)有數(shù)量級的提升?，F(xiàn)在大模型基本都是在云端，未來在端側(cè)，功耗將會(huì)是一個(gè)非常大的挑戰(zhàn)。憶阻器這種高能效的優(yōu)勢在端側(cè)就會(huì)有很多的優(yōu)勢。
高濱老師分享了近兩三年的研究重點(diǎn)，主要是希望把存算一體的技術(shù)往應(yīng)用上去牽引，具體在開展的工作包括以下三大方面：
與企業(yè)合作。嘗試在實(shí)際邊緣智能的場景中做芯片設(shè)計(jì)，以及實(shí)際場景下的可靠性。高濱老師特別指出：“我們發(fā)現(xiàn)，在很多實(shí)際場景下，芯片電阻狀態(tài)的保持其實(shí)是存在隨機(jī)偏移的relaxation效應(yīng)的，如何抑制隨機(jī)偏移，以滿足未來的應(yīng)用需求，這是當(dāng)前非常重要的課題。”
大模型的應(yīng)用研究，主要是致力于提高密度。傳統(tǒng)的小的卷積網(wǎng)絡(luò)加速是不需要高密度的，但大模型需要。希望把密度盡可能的做高。以前做小的卷積網(wǎng)絡(luò)的加速，其實(shí)不需要這么高的密度。但是大模型需要。這其實(shí)主要是工藝方面的研究。
類腦學(xué)習(xí)。這是更前沿更創(chuàng)新的領(lǐng)域，除了去年十月在Science上發(fā)表的新近研究成果之外，其實(shí)清華大學(xué)還在布局新型類腦計(jì)算，它更看重整體算法效果，而非器件個(gè)體，最后是落實(shí)到器件上去做優(yōu)化，調(diào)節(jié)器件中的電子離子的輸運(yùn)。
后摩爾時(shí)代，從系統(tǒng)層面進(jìn)行頂層規(guī)劃，根據(jù)系統(tǒng)需求優(yōu)化器件，并做好器件與系統(tǒng)的協(xié)同設(shè)計(jì)，這點(diǎn)這尤為重要。就此，高濱老師特別分享了后摩爾時(shí)代，系統(tǒng)和器件的全新范式的研究模式。
系統(tǒng)和器件的全新范式的研究模式
摩爾定律的黃金時(shí)代，主要是將晶體管、電阻、電容和電感等元器件集成在一起，并形成具有預(yù)期功能的電路。這個(gè)時(shí)期，不太需要在意系統(tǒng)和器件的協(xié)同，只要器件做的足夠小，芯片的性能大體就能得到保證。
但是，后摩爾時(shí)代，應(yīng)用場景的需求正向著高密度、小型化、強(qiáng)功能、低功耗、低成本、高可靠、易設(shè)計(jì)等方向發(fā)展，已經(jīng)不僅僅是簡單的電路設(shè)計(jì)，而是要做系統(tǒng)化的集成。很多時(shí)候，需要把系統(tǒng)和器件做一個(gè)協(xié)同的設(shè)計(jì)，根據(jù)系統(tǒng)的需求去優(yōu)化器件，很典型的就是存算一體，最終目的是要做人工智能的加速。
