Tesla T4 GPU及全新TensorRT軟件可助力實現(xiàn)智能語音、視頻、圖像和推薦服務(wù)。

    NVIDIA近日推出全新人工智能數(shù)據(jù)中心平臺，為語音、視頻、圖像和推薦服務(wù)提供業(yè)界超級先進(jìn)的推理加速，從而推動全球AI服務(wù)的發(fā)展。

    NVIDIA TensorRT? 超大規(guī)模推理平臺采用基于突破性的NVIDIA Turing?架構(gòu)的NVIDIA® Tesla® T4 GPU，以及一整套完整的新推理軟件。

     該平臺可為端到端應(yīng)用提供更快性能和更低延遲，助力超大規(guī)模數(shù)據(jù)中心提供全新服務(wù)，例如增強(qiáng)型自然語言交互，以及對搜索查詢的給出直接答案而非模糊匹配的一系列結(jié)果。

    NVIDIA副總裁兼加速業(yè)務(wù)總經(jīng)理Ian Buck表示：“未來人工智能將觸及每種產(chǎn)品和服務(wù)并為之帶來改進(jìn)，我們的客戶正在朝此方向發(fā)展。NVIDIA TensorRT超大規(guī)模平臺的設(shè)計旨在實現(xiàn)這一目標(biāo)，即比以往設(shè)想的更快、更高效?！泵刻齑笠?guī)模數(shù)據(jù)中心都會處理數(shù)以億計的語音查詢、翻譯、圖像、視頻、推薦和社交媒體交互。所有這些應(yīng)用的處理過程都需要在位于服務(wù)器上不同類型的神經(jīng)網(wǎng)絡(luò)進(jìn)行。

    為優(yōu)化數(shù)據(jù)中心以實現(xiàn)更高吞吐量和服務(wù)器利用率，NVIDIA TensorRT超大規(guī)模平臺包括實時推理軟件和Tesla T4 GPU，處理查詢的速度比僅采用CPU時快40倍。

 業(yè)界先進(jìn)的AI推理平臺

    NVIDIA TensorRT超大規(guī)模平臺包括一整套硬件和軟件產(chǎn)品，這些產(chǎn)品針對強(qiáng)大、高效的推理進(jìn)行了優(yōu)化。關(guān)鍵要素包括：

   NVIDIA Tesla T4 GPU - 搭載320個Turing Tensor Core和2560個CUDA® Core，這款全新GPU具有突破性的性能，以及靈活的多精度功能，從FP32到FP16再到INT8及INT4。它采用高能效的75瓦小型PCIe封裝，可輕松適用于大多數(shù)服務(wù)器。FP16的峰值性能為65 teraflops，INT8為130 teraflops，INT4為260 teraflops。

   NVIDIA TensorRT 5 - 推理優(yōu)化器和運行時引擎，NVIDIA TensorRT 5支持Turing Tensor Core，并對適用于多精度工作負(fù)載的神經(jīng)網(wǎng)絡(luò)優(yōu)化集進(jìn)行了擴(kuò)展。

   NVIDIA TensorRT推理服務(wù)器 - 這一容器化的微服務(wù)軟件使應(yīng)用能夠在數(shù)據(jù)中心生產(chǎn)中采用AI模型。其在NVIDIA GPU Cloud容器注冊中免費提供，可實現(xiàn)數(shù)據(jù)中心吞吐量和GPU利用率的最大化，支持所有常用AI模型和框架，并集成了Kubernetes和Docker。

                          本文轉(zhuǎn)載自英偉達(dá)NVIDIA企業(yè)解決方案