北京時間5月14日消息，NVIDIA宣布首款基于NVIDIA Ampere架構(gòu)的GPU——NVIDIA A100已全面投產(chǎn)并已向全球客戶交付。

全新NVIDIA A100 GPU將AI訓練和推理性能提高20倍

      A100采用了NVIDIA Ampere架構(gòu)的突破性設(shè)計，該設(shè)計為NVIDIA第八代GPU提供了迄今為止最大的性能飛躍，集AI訓練和推理于一身，并且其性能相比于前代產(chǎn)品提升了高達20倍。 作為一款通用型工作負載加速器，A100還被設(shè)計用于數(shù)據(jù)分析、科學計算和云圖形。

      NVIDIA創(chuàng)始人兼首席執(zhí)行官黃仁勛表示：“云計算和AI的強大趨勢正在推動數(shù)據(jù)中心設(shè)計的結(jié)構(gòu)性轉(zhuǎn)變，過去的純CPU服務(wù)器正在被高效的加速計算基礎(chǔ)架構(gòu)所取代。NVIDIA A100 GPU作為一個端到端的機器學習加速器，其實現(xiàn)了從數(shù)據(jù)分析到訓練再到推理20倍的AI性能飛躍。這是有史以來首次，可以在一個平臺上實現(xiàn)對橫向擴展以及縱向擴展的負載的加速。NVIDIA A100將在提高吞吐量的同時，降低數(shù)據(jù)中心的成本?！?

      A100所采用的全新彈性計算技術(shù)能夠為每項工作分配適量的計算能力。多實例GPU技術(shù)可將每個A100 GPU分割為多達七個獨立實例來執(zhí)行推理任務(wù)，而第三代NVIDIA NVLink互聯(lián)技術(shù)能夠?qū)⒍鄠€A100 GPU合并成一個巨大的GPU來執(zhí)行更大規(guī)模的訓練任務(wù)。

      眾多全球領(lǐng)先的云服務(wù)供應(yīng)商和系統(tǒng)構(gòu)建商計劃將A100 GPU集成到其產(chǎn)品中，其中包括：阿里云、AWS、Atos、百度智能云、思科、Dell Technologies、富士通、技嘉科技、Google Cloud、新華三、HPE、浪潮、聯(lián)想、Microsoft Azure、甲骨文、Quanta/QCT、Supermicro和騰訊云。

在全球范圍內(nèi)被迅速采用

      Microsoft是首批采用NVIDIA A100 GPU的用戶之一，計劃充分利用其性能和可擴展性。

      Microsoft公司副總裁Mikhail Parakhin表示：“Microsoft大規(guī)模應(yīng)用前代NVIDIA GPU訓練了全球最大的語言模型——Turing Natural Language Generation。Azure將使用NVIDIA 新一代A100 GPU訓練更大型的AI模型，以推動語言、語音、視覺和多模態(tài)技術(shù)領(lǐng)域的最新發(fā)展?！?

      DoorDash是一個按需提供的食品平臺，在大流行期間作為餐館的生命線，它指出了擁有靈活的人工智能基礎(chǔ)設(shè)施的重要性。

      DoorDash的機器學習工程師Gary Ren表示：“現(xiàn)代復雜AI訓練和推理工作負載需要處理大量的數(shù)據(jù)，像NVIDIA A100 GPU這樣最先進的技術(shù)，可以幫助縮短模型訓練時間，加快機器學習開發(fā)進程。此外，采用基于云的GPU集群還能夠為我們提供更高的靈活性，可以根據(jù)需要擴容或縮容，將有助于提高效率、簡化操作并節(jié)約成本。”

      其他早期采用者還包括多所國家實驗室以及一些全球頂尖高等教育和研究機構(gòu)，它們都在使用A100支持其新一代超級計算機。以下是部分早期采用者：

      · 印第安納大學（Indiana University），在美國，其Big Red 200超級計算機基于HPE的Cray Shasta系統(tǒng)。該超級計算機將支持科學研究和醫(yī)學研究以及AI、機器學習和數(shù)據(jù)分析領(lǐng)域的前沿研究。

      · 利希超算中心（Jülich Supercomputing Centre），在德國，其JUWELS增速系統(tǒng)由Atos建造，專為極端計算能力和AI任務(wù)而設(shè)計。

      · 卡爾斯魯厄理工學院（Karlsruhe Institute of Technology），在德國，正在與聯(lián)想一起建造其HoreKa超級計算機。該超級計算機將能夠在材料科學、地球系統(tǒng)科學、能源和動力工程研究以及粒子和天體物理學領(lǐng)域開展更大規(guī)模的多尺度模擬。

      · 馬克斯普朗克計算和數(shù)據(jù)中心（Max Planck Computing and Data Facility），在德國，其借助于聯(lián)想為其建造的新一代超級計算機Raven，為馬克斯普朗克研究所（Max Planck Institutes）的高性能計算應(yīng)用的開發(fā)、優(yōu)化、分析和可視化提供了先進的支持。

      · 美國能源部國家能源研究科學計算中心(U.S. Department of Energy’s National Energy Research Scientific Computing Center)，位于美國勞倫斯伯克利國家實驗室（Lawrence Berkeley National Laboratory），其正在基于HPE的Cray Shasta系統(tǒng)建造新一代超級計算機Perlmutter。該超級計算機將被用于支持超大規(guī)模科學研究、開發(fā)新能源、提高能效以及探索新材料。

A100的五大突破

      NVIDIA A100 GPU的突破性技術(shù)設(shè)計來源于五大關(guān)鍵性創(chuàng)新：

      · NVIDIA Ampere架構(gòu)——A100的核心是NVIDIA Ampere GPU架構(gòu)，該架構(gòu)包含超過540億個晶體管，這使其成為全球最大的7納米處理器。

      · 具有TF32的第三代Tensor Core核心——NVIDIA廣泛采用的Tensor Core核心現(xiàn)在已變得更加靈活、快速且易于使用。其功能經(jīng)過擴展后加入了專為AI開發(fā)的全新TF32，它能在無需更改任何代碼的情況下，使FP32精度下的AI性能提高多達20倍。此外，Tensor Core核心現(xiàn)在支持FP64精度，相比于前代，其為HPC應(yīng)用所提供的計算力比之前提高了多達2.5倍。

      · 多實例GPU——MIG，一種全新技術(shù)功能，可將單個A100 GPU分割為多達七個獨立的GPU，為不同規(guī)模的工作提供不同的計算力，以此實現(xiàn)最佳利用率和投資回報率的最大化。

      · 第三代NVIDIA NVLink——使GPU之間的高速聯(lián)接增加至原來的兩倍，實現(xiàn)服務(wù)器的高效性能擴展。

      · 結(jié)構(gòu)化稀疏——這種全新效率技術(shù)利用AI數(shù)學固有的稀疏性，使性能提升了一倍。

      憑借這些新功能，NVIDIA A100成為了AI訓練和推理以及科學模擬、對話式AI、推薦系統(tǒng)、基因組學、高性能數(shù)據(jù)分析、地震建模和金融預(yù)測等各種高要求工作負載的理想選擇。

新系統(tǒng)已搭載NVIDIA A100，很快將登陸云端

      于今日同時發(fā)布的還有NVIDIA DGX? A100 系統(tǒng)，其內(nèi)置8個由NVIDIA NVLink互聯(lián)的NVIDIA A100 GPU。NVIDIA和官方合作伙伴現(xiàn)已開始供應(yīng)該系統(tǒng)。

      阿里云、AWS、百度智能云、Google Cloud、Microsoft Azure 、甲骨文和騰訊云正在計劃提供基于A100的服務(wù)。

      此外，眾多全球領(lǐng)先的系統(tǒng)制造商也將提供各種基于A100的服務(wù)器，包括Atos、思科、Dell Technologies、富士通、技嘉科技、新華三、HPE、浪潮、聯(lián)想、Quanta/QCT和Supermicro。

      為幫助合作伙伴加快服務(wù)器的開發(fā)，NVIDIA開發(fā)了HGX A100服務(wù)器構(gòu)建模塊，該模塊采用了多GPU配置的集成基板形式。

      HGX A100 4-GPU通過NVLink實現(xiàn)GPU之間的完整互聯(lián)， 8-GPU配置的HGX A100通過NVIDIA NVSwitch?實現(xiàn)GPU之間的全帶寬通信。采用全新MIG 技術(shù)的HGX A100能夠被分割為56個小型GPU，每個GPU的速度都比NVIDIA T4更快；或者也可以將其用作一臺擁有10petaflops AI性能的巨型8-GPU服務(wù)器。

A100軟件優(yōu)化

      NVIDIA還發(fā)布了多個軟件堆棧更新，使應(yīng)用程序開發(fā)者能夠充分發(fā)揮A100 GPU創(chuàng)新技術(shù)的性能。這些更新包括了50多個新版本CUDA-X庫，可用于加速圖形、模擬和AI；CUDA 11；多模態(tài)對話式AI服務(wù)框架NVIDIA Jarvis；深度推薦應(yīng)用框架 NVIDIA Merlin；以及NVIDIA HPC SDK，其中包括能夠幫助HPC開發(fā)者調(diào)試和優(yōu)化A100代碼的編譯器、庫和工具。