第二代Transformer引擎：結(jié)合了Blackwell Tensor Core技術(shù)和TensorRT-LLM和NeMo Megatron框架中的英偉達(dá)先進(jìn)動態(tài)范圍管理算法，Blackwell將通過新的4位浮點AI支持雙倍的計算和模型大小推理能力。

第五代NVlink：為提高數(shù)萬億參數(shù)和混合專家AI模型的性能，最新一代英偉達(dá)NVlink為每個GPU提供了突破性的1.8TB/s雙向吞吐量，確保最復(fù)雜LLM之間多達(dá)576個GPU之間的無縫高速通信。

RAS引擎：Blackwell支持的GPU包含一個專用引擎，實現(xiàn)可靠性、可用性和服務(wù)性。此外，Blackwell架構(gòu)還增加了芯片級功能，利用基于AI的預(yù)防性維護進(jìn)行診斷和預(yù)測可靠性問題。這可以最大限度地延長系統(tǒng)正常運行時間，并提高大部署規(guī)模AI的彈性，使其能連續(xù)運行數(shù)周甚至數(shù)月，并降低運營成本。

安全人工智能：先進(jìn)的機密計算功能可在不影響性能的情況下保護AI模型和客戶數(shù)據(jù)，并支持新的本機接口加密協(xié)議，這對于醫(yī)療保健和金融服務(wù)等隱私敏感行業(yè)至關(guān)重要。

解壓縮引擎：專用解壓縮引擎支持最新格式，加快數(shù)據(jù)庫查詢，提供數(shù)據(jù)分析和數(shù)據(jù)科學(xué)的最高性能。未來幾年，在企業(yè)每年花費數(shù)百億美元的數(shù)據(jù)處理方面，將越來越多地由GPU加速。

Blackwell GPU體積龐大，將兩個單獨制造的晶粒組合成一個由臺積電制造的芯片。它還將作為一款名為GB200 NVlink 2的整個服務(wù)器提供，該服務(wù)器結(jié)合了72個Blackwell GPU和其他旨在訓(xùn)練AI模型的英偉達(dá)部件。

亞馬遜、谷歌、微軟和甲骨文將通過云服務(wù)提供對GB200的訪問。GB200將兩個B200 Blackwell GPU與一個基于Arm的Grace CPU配對。英偉達(dá)表示，亞馬遜網(wǎng)絡(luò)服務(wù)將構(gòu)建一個包含20000個GB200芯片的服務(wù)器集群。

英偉達(dá)沒有提供新款GB200或其使用系統(tǒng)的成本。據(jù)分析師估計，英偉達(dá)基于Hopper的H100芯片成本在2.5萬至4萬美元之間，而整個系統(tǒng)的成本高達(dá)20萬美元。

英偉達(dá)推理微服務(wù)

英偉達(dá)還宣布，將在其英偉達(dá)企業(yè)軟件訂閱中添加一款名為NIM（英偉達(dá)推理微服務(wù)）的新產(chǎn)品。NIM讓使用較舊的英偉達(dá)GPU進(jìn)行推理（或運行AI軟件的過程）變得更加簡單，并允許公司繼續(xù)使用其已經(jīng)擁有的數(shù)億個英偉達(dá)GPU。與新AI模型的初始訓(xùn)練相比，推理所需的計算能力較少。對于那些希望運行自己的AI模型，而不是從OpenAI等公司購買AI結(jié)果作為服務(wù)的企業(yè)來說，NIM無疑是他們的得力助手。

英偉達(dá)的策略是吸引購買基于英偉達(dá)的服務(wù)器的客戶注冊英偉達(dá)企業(yè)版，每個GPU每年的許可費為4500美元。

英偉達(dá)將與微軟或Hugging Face等AI公司合作，確保他們的AI模型能夠在所有兼容的英偉達(dá)芯片上運行。隨后，開發(fā)者可以使用NIM在自有服務(wù)器或基于云端的英偉達(dá)服務(wù)器上高效運行模型，無需繁瑣的配置過程。

“在我原本調(diào)用OpenAI的代碼中，我只需替換一行代碼，將其指向從英偉達(dá)獲取的NIM即可?！盌as說道。

英偉達(dá)表示，該軟件還將助力AI在配備GPU的筆記本電腦上運行，而非僅限于云端服務(wù)器。