NVIDIA 全新資料中心推論平台推動下一波 AI 服務浪潮
前言：
Tesla T4 GPU 與全新 TensorRT 軟體支援
智慧語音、影像、圖像以及推薦服務
2018年9月13日--NVIDIA (輝達) 今天宣布為推動全球人工智慧 (AI) 服務的發展推出 AI 資料中心平台，針對語音、影像、圖像以及推薦服務提供業界最先進的推論加速功能。
NVIDIA TensorRT™ 超大規模推論平台採用 NVIDIA® Tesla® T4 GPU，基於突破性的 NVIDIA Turing™ 架構以及一套完整的全新推論軟體。
針對端對端應用，此平台提供更高的效能與更低的延遲，並為超大規模資料中心提供各種全新服務，包含加強的自然語言互動以及精準的搜尋結果，取代以往一連串可能性的答案。
NVIDIA 副總裁暨加速運算部門總經理 Ian Buck 表示：「我們的客戶正邁向 AI 可以觸及並改善所有產品與服務的未來，而 NVIDIA TensorRT 超大規模平台將提供較以往更快、更有效率的方式來實現此目標。」
大規模的資料中心每天需要處理數十億的語音搜尋、翻譯、圖像、影像、推薦服務以及社群媒體互動等，上述的每一個應用皆需透過伺服器內部不同類型的神經網路來處理。
為了優化資料中心的最大吞吐量以及伺服器使用率，NVIDIA TensorRT 超大規模平台包含即時推論軟體以及 Tesla T4 GPU，其處理搜尋結果的速度較單獨使用 CPU 快 40 倍。
NVIDIA 預估 AI 推論產業將於未來五年內成長至 200 億美元。
業界最先進的 AI 推論平台
NVIDIA TensorRT 超大規模平台包含一套完整的硬體與軟體，並針對強大、高效率推論進行優化，平台的關鍵元素包含：
NVIDIA TensorRT 超大規模平台包含一套完整的硬體與軟體，並針對強大、高效率推論進行優化，平台的關鍵元素包含：
NVIDIA Tesla T4 GPU：搭載 320 個 Turing Tensor 核心以及 2,560 個 CUDA® 核心，支援 FP32、FP16、INT8 以及 INT4 具彈性且多精度功能的突破性效能。封裝成一顆功耗僅 75 瓦且省電又小巧的 PCIe板型，能輕易部署到大多數伺服器中，而 FP16 的尖峰效能可達到 65 teraflop、INT8 可達到 130 teraflop、INT4 則達到 260 teraflop。
NVIDIA TensorRT 5：這款推論優化器與運轉時間引擎 (runtime engine) 支援 Turing Tensor 核心，並針對多精度作業附載擴充一套神經網路最佳化。
NVIDIA TensorRT 推論伺服器：這款容器化微型伺服器軟體讓應用程式在資料中心生產環境下運用各種 AI 模型。透過 NVIDIA GPU 雲 容器可以免費註冊下載此軟體，不僅可以最大化資料中心的吞吐量以及 GPU 使用率，還支援所有熱門的 AI 模型與框架，並能整合 Kubernetes 與 Docker。
NVIDIA TensorRT 5：這款推論優化器與運轉時間引擎 (runtime engine) 支援 Turing Tensor 核心，並針對多精度作業附載擴充一套神經網路最佳化。
NVIDIA TensorRT 推論伺服器：這款容器化微型伺服器軟體讓應用程式在資料中心生產環境下運用各種 AI 模型。透過 NVIDIA GPU 雲 容器可以免費註冊下載此軟體，不僅可以最大化資料中心的吞吐量以及 GPU 使用率，還支援所有熱門的 AI 模型與框架，並能整合 Kubernetes 與 Docker。
全球科技領導品牌的支持
世界各地頂尖客戶與科技企業品牌對 NVIDIA 全新推論平台表示支持。
世界各地頂尖客戶與科技企業品牌對 NVIDIA 全新推論平台表示支持。
Microsoft Bing 與 AI 產品事業副總裁 Jordi Ribas 表示：「Microsoft 正致力於將最創新的 AI 服務提供給客戶，在即時推論作業中使用 NVIDIA GPU 能改善 Bing 的進階搜尋功能，協助我們降低影像物件偵測的延遲，我們期待能導入 NVIDIA 下一代推論軟體與硬體，使更多人能因 AI 產品與服務受惠。
Google 雲端產品經理 Chris Kleban 表示：「現今 AI 已日益普及，其中推論對於客戶想成功導入 AI 模型而言至關重要，對於 Google 雲端平台即將支援 NVIDIA Turing Tesla T4 GPU 我們感到非常興奮。」
更多關於如何申請於 Google 雲端平台先行使用 T4 GPU 的詳情，請瀏覽此 Google 表單。
其他包含各大伺服器製造商對於 NVIDIA TensorRT 超大規模平台的支持包括：
Cisco 資料中心產品管理副總裁 Kaustubh Das 表示：「Cisco UCS 系列產品提供政策方針與 GPU 加速的系統與解決方案，為各階段的 AI 提供動能，透過基於 NVIDIA Turing 架構的 Tesla T4 GPU，Cisco 的客戶將能獲得最有效率的 AI 推論加速，並以更快的速度獲得資訊並縮短回應時間。」
Dell EMC 伺服器與基礎建設系統產品管理與行銷資深副總裁 Ravi Pendekanti 表示：「Dell EMC 協助客戶進行 IT 轉型並同時提供如 AI 等先進技術，作為全球頂尖伺服器系統供應商，我們將持續強化 PowerEdge 伺服器系列產品，進而協助客戶達成目標，我們與 NVIDIA 的密切關係與先前導入最新 GPU 加速的合作，在協助客戶搶先導入 AI 訓練與推論中扮演相當重要的角色。」
Fujitsu 資料中心平台事業群產品部副總裁 Hideaki Maeda 表示：「Fujitsu 計畫將 NVIDIA Tesla T4 GPU 導入我們全球 Fujitsu PRIMERGY 系統伺服器，透過 NVIDIA 最新高效能 GPU 加速器，我們將能夠為全球客戶提供量身打造的伺服器，以因應其不斷增加的 AI 需求。」
Hewlett Packard Enterprise (HPE) 高效能與 AI 事業部副總裁暨總經理 Bill Mannel 表示：「在 HPE，我們致力於在終端推動智慧功能以加快獲取資訊並改善經驗，透過基於 NVIDIA Turing 架構的 Tesla T4 GPU，我們將能利用資料中心的現代化與加速驅動終端的推論。」
IBM Power Systems 產品管理副總裁 Steve Sibley 表示：「IBM Cognitive 系統藉由利用我們的深度學習訓練與推論軟體 PowerAI 與 IBM Power System AC922 加速伺服器在簡化的 AI 平台上同時進行優化，能提供 4 倍以上的深度學習訓練效能。我們在過往與 NVIDIA 有悠久的合作與創新，曾攜手打造業界唯一一款在 IBM Power 上透過 NVIDIA NVLink 連結 CPU 與 GPU 的處理器，我們期待能夠發掘更多全新 NVIDIA T4 GPU 加速器，延續我們在推論作業的領導地位。」
Kubeflow 共同創辦人暨產品經理 David Aronchick 表示：「我們很高興能看到 NVIDIA 透過 NVIDIA TensorRT 推論伺服器將其 GPU 推論導入 Kubernetes，我們也很期待將其整合至 Kubeflow 中，透過各種不同的基礎建設為使用者提供簡單、輕便與具備擴充性的 AI 推論作業。」
Oracle 雲端建設產品發展副總裁 Kash Iftikhar 表示：「開源且跨架構的推論對於全面導入機器學習模型而言相當重要，我們期待看到能同時將 GPU 與 CPU 推論進行規模化的 NVIDIA TensorRT 推論伺服器如何加速 AI 應用的導入作業並改善基礎建設的使用。」
Supermicro 總裁暨執行長 Charles Liang 表示：「Supermicro 率先針對由 5G、智慧城市與 IoT 裝置所驅動的新興高產出推論市場進行處理，其產出龐大的資料量需要即時的決策，我們認為 NVIDIA TensorRT 與全新基於 Turing 架構的 T4 GPU 加速器之整合是處理這些新興、高需求量和高延遲要求的作業最理想的平台，我們也計畫將其積極導入至我們 GPU 系統產品線中。」
掌握 NVIDIA 最新動態
請訂閱 NVIDIA 官方部落格或追蹤 Facebook 、Google+、Twitter、LinkedIn 與Instagram。瀏覽 NVIDIA 相關影片及圖片，請至 YouTube 或 Flickr。
請訂閱 NVIDIA 官方部落格或追蹤 Facebook 、Google+、Twitter、LinkedIn 與Instagram。瀏覽 NVIDIA 相關影片及圖片，請至 YouTube 或 Flickr。
關於NVIDIA (輝達)
NVIDIA (輝達)自1999年發明GPU起，成功促進PC電競市場的成長並重新定義現代電腦顯示卡產品，掀起電腦平行運算革命。近年來GPU深度學習也促發被視為下一個運算時代的人工智慧，透過GPU以類人腦方式運作於電腦、機器人與自駕車等，來感知並解讀真實世界。欲瞭解更多資訊，請瀏覽http://nvidianews.nvidia.com/。
NVIDIA (輝達)自1999年發明GPU起，成功促進PC電競市場的成長並重新定義現代電腦顯示卡產品，掀起電腦平行運算革命。近年來GPU深度學習也促發被視為下一個運算時代的人工智慧，透過GPU以類人腦方式運作於電腦、機器人與自駕車等，來感知並解讀真實世界。欲瞭解更多資訊，請瀏覽http://nvidianews.nvidia.com/。
