NVIDIA 發表全新推論軟體展開互動對話式人工智慧時代
前言：
NVIDIA TensorRT 7 的編譯器能夠做到即時推論 創造出更聰明的人類與 AI 互動
2019年12月18日--NVIDIA (輝達) 今日宣布推出一項極具開創性的推論軟體，讓全球各地的開發人員都可以用它來製作對話式人工智慧 (AI) 應用程式，大幅縮短推論延遲的情況，而至今這種延遲情況仍不利於創造出真正的互動式參與。
NVIDIA TensorRT™ 7 為 NVIDIA 推論軟體開發套件的第七代產品，為人類與 AI 更聰明的互動開啟了大門，讓人們能夠即時與語音助理、聊天機器人及推薦引擎等應用程式進行互動。
根據市場調研機構 Juniper Research 估算，全球各項裝置中共有 32.5 億個數位語音助理。至 2023 年，此一數字預計將達到 80 億，超過全球總人口數。
TensorRT 7 具備嶄新的深度學習編譯器，用於自動優化與加速日益複雜的 AI 語音應用遞歸神經網路和 Transformer 神經網路。與在 CPU 上運行時的速度相比，TensorRT 7 使對話式 AI 元件的運行速度提高十倍以上，將延遲情況降到即時互動所需的 300 毫秒閾值以下。
NVIDIA 創辦人暨執行長黃仁勳在 GTC China主題演講中表示：「我們已經進入了 AI 新的篇章，機器能夠即時理解人類語言。TensorRT 7 協助讓這件事成真，為各地的開發人員提供一項強大的工具，開發與部署速度更快也更聰明的對話式 AI 服務，以便讓人類與 AI 之間有著更自然的互動。」
許多全球規模最為龐大、最具創新性的公司早已採用 NVIDIA對話式 AI 加速功能。提供微信搜尋服務的搜狗便是其中之一，而微信則是世界上使用最頻繁的手機應用程式。
搜狗技術長楊洪濤表示：「搜狗每天為數億名用戶提供語音、影像、翻譯、對話和問答等優質的 AI 服務。透過 NVIDIA TensorRT 推論平台，我們可以做到即時線上服務回應。這些領先的 AI 功能大幅提升了我們的用戶體驗。」
遞歸神經網路的重要性不斷提升
TensorRT 7 加速 AI 模型的增長，這些模型被用於預測使用遞歸迴圈結構 (遞歸神經網路) 的時間序列、序列資料場景。除了用於對話式 AI 語音神經網路，遞歸神經網路還能用於規劃車輛或衛星的到達時間、預測電子病歷中的內容、預測金融資產及偵測詐騙行為。
TensorRT 7 加速 AI 模型的增長，這些模型被用於預測使用遞歸迴圈結構 (遞歸神經網路) 的時間序列、序列資料場景。除了用於對話式 AI 語音神經網路，遞歸神經網路還能用於規劃車輛或衛星的到達時間、預測電子病歷中的內容、預測金融資產及偵測詐騙行為。
遞歸神經網路的配置和函數組合急速增加，對於快速部署以滿足即時效能標準的生產用程式碼造成不小的壓力，開發人員針對手寫程式碼進行優化之際，會造成長達數月的延遲。因此，僅少數擁有該技術人才的公司才能使用對話式 AI。
透過 TensorRT 全新深度學習編譯器，各地的開發人員現在都有能力自動優化這些神經網路，像是客製化的自動語音辨識神經網路，還有文字轉語音的 WaveRNN 和 Tacotron 2，以提供最佳的效能及最低的延遲性。而全新的編譯器還優化了自然語言處理 BERT 這一類變體神經網路模型。
從邊緣到雲端加快推論速度
TensorRT 7 可以快速優化、驗證和部署經過訓練的神經網路，以便超大規模資料中心、嵌入式或汽車 GPU 平台進行推論作業。
TensorRT 7 可以快速優化、驗證和部署經過訓練的神經網路，以便超大規模資料中心、嵌入式或汽車 GPU 平台進行推論作業。
除了對話式 AI 應用程式，NVIDIA 的推論平台，包括 TensorRT 及多個 NVIDIA CUDA-X AI™ 函式庫和 NVIDIA GPU，也為其它的應用程式提供低延遲、高吞吐量的推論服務，包括影像分類、詐騙檢測、分割、物體偵測和推薦引擎。包括阿里巴巴、美國運通、百度、PayPal、Pinterest、Snap、騰訊與 Twitter 在內，部分全球頂尖企業及消費性科技公司廣泛採用 NVIDIA 推論平台的功能。
供應時程
NVIDIA 開發人員計畫中的成員可在未來幾天內，透過 TensorRT 網頁免費取得用於開發和部署的 TensorRT 7。也可以從 TensorRT GitHub 儲存庫以開放源碼的方式取得最新版本的外掛程式、語法分析器 (parser) 和範例。
NVIDIA 開發人員計畫中的成員可在未來幾天內，透過 TensorRT 網頁免費取得用於開發和部署的 TensorRT 7。也可以從 TensorRT GitHub 儲存庫以開放源碼的方式取得最新版本的外掛程式、語法分析器 (parser) 和範例。
關於 NVIDIA (輝達)
NVIDIA (輝達)自1999年發明 GPU 起，成功促進 PC 電競市場的成長並重新定義現代電腦顯示卡產品，掀起電腦平行運算革命。近年來 GPU 深度學習也促發被視為下一個運算時代的人工智慧，透過 GPU 以類人腦方式運作於電腦、機器人與自駕車等，來感知並解讀真實世界。欲瞭解更多資訊，請瀏覽 http://nvidianews.nvidia.com/。
NVIDIA (輝達)自1999年發明 GPU 起，成功促進 PC 電競市場的成長並重新定義現代電腦顯示卡產品，掀起電腦平行運算革命。近年來 GPU 深度學習也促發被視為下一個運算時代的人工智慧，透過 GPU 以類人腦方式運作於電腦、機器人與自駕車等，來感知並解讀真實世界。欲瞭解更多資訊，請瀏覽 http://nvidianews.nvidia.com/。
