不管用何種方法調(diào)整超參數(shù)，目前利用固定架構(gòu)的訓(xùn)練流程在某種程度上局限了模型的可能性，也就是說(shuō)，我們或許只在所有的解決方案中管窺了一部分。固定架構(gòu)讓模型內(nèi)的超參數(shù)設(shè)置探究變得很容易(比如，隱藏單元數(shù)、層數(shù)等)，但去探索不同模型間的參數(shù)設(shè)置變得很難(比如，模型類(lèi)別的不同)，因?yàn)槿绻鸵粋€(gè)并不簡(jiǎn)單符合某個(gè)固定架構(gòu)的模型來(lái)進(jìn)行訓(xùn)練，就可能要花很長(zhǎng)時(shí)間。相反，FPGA靈活的架構(gòu)，可能更適合上述優(yōu)化類(lèi)型，因?yàn)橛?/span>FPGA能編寫(xiě)一個(gè)完全不同的硬件架構(gòu)并在運(yùn)行時(shí)加速。

4.3. Low power compute clusters低耗能計(jì)算節(jié)點(diǎn)集群

深度學(xué)習(xí)模型最讓人著迷的就是其拓展能力。不管是為了從數(shù)據(jù)中發(fā)現(xiàn)復(fù)雜的高層特征，還是為數(shù)據(jù)中心應(yīng)用提升性能，深度學(xué)習(xí)技術(shù)經(jīng)常在多節(jié)點(diǎn)計(jì)算基礎(chǔ)架構(gòu)間進(jìn)行拓展。目前的解決方案使用具備Infiniband互連技術(shù)的GPU集群和MPI，從而實(shí)現(xiàn)上層的并行計(jì)算能力和節(jié)點(diǎn)間數(shù)據(jù)的快速傳輸。然而，當(dāng)大規(guī)模應(yīng)用的負(fù)載越來(lái)越各不相同，使用FPGA可能會(huì)是更優(yōu)的方法。FPGA的可編程行允許系統(tǒng)根據(jù)應(yīng)用和負(fù)載進(jìn)行重新配置，同時(shí)FPGA的能耗比高，有助于下一代數(shù)據(jù)中心降低成本。

結(jié)語(yǔ)

相比GPU和GPP，FPGA在滿(mǎn)足深度學(xué)習(xí)的硬件需求上提供了具有吸引力的替代方案。憑借流水線(xiàn)并行計(jì)算的能力和高效的能耗，FPGA將在一般的深度學(xué)習(xí)應(yīng)用中展現(xiàn)GPU和GPP所沒(méi)有的獨(dú)特優(yōu)勢(shì)。同時(shí)，算法設(shè)計(jì)工具日漸成熟，如今將FPGA集成到常用的深度學(xué)習(xí)框架已成為可能。未來(lái)，FPGA將有效地適應(yīng)深度學(xué)習(xí)的發(fā)展趨勢(shì)，從架構(gòu)上確保相關(guān)應(yīng)用和研究能夠自由實(shí)現(xiàn)。