當前位置: 主頁 > 新聞 >
 

ExecuTorch 測試版發表 於 Arm 平台上加速實現邊緣端的生成式 AI

本文作者:Arm       點擊: 2024-11-04 13:52
前言:
2024年11月4日--Arm 正在與 Meta 公司的 PyTorch 團隊攜手合作,共同推進新的 ExecuTorch 測試版(Beta)上線,其目標在為全球數十億邊緣端裝置和數百萬開發人員提供人工智慧(AI)和機器學習(ML)功能,進而確保 AI 真正的潛力能被最廣泛的裝置和開發人員所使用。

借助 ExecuTorch 和新的 Llama 量化模型,Arm 運算平台優化生成式 AI 效能
Arm 運算平台無處不在,為全球眾多邊緣端裝置提供支援,而 ExecuTorch 則是專為行動和邊緣端裝置部署 AI 模型而設計的 PyTorch 原生部署框架。兩者的緊密合作,使開發人員能夠促成更小、更優化的模型,包括新的 Llama 3.2 1B 和 3B 量化模型。這些新模型可以減少記憶體佔用、提高準確性、強化效能和提供可攜性,成為小型裝置上的生成式 AI 應用的理想選擇,例如虛擬聊天機器人、內容摘要和 AI 助理等。

開發人員無需額外的修改或優化,便可將新的量化模型無縫整合到應用中,進而節省時間和資源。因此,他們能夠迅速在廣泛的 Arm 裝置上大規模開發和部署更多智慧的 AI 應用。

隨著 Llama 3.2 大語言模型(LLM)新版本的發佈,Arm 正在透過 ExecuTorch 框架優化 AI 效能,使得在 Arm 運算平台邊緣端裝置運行的真實生成式 AI 工作負載能更加快速。在 ExecuTorch 測試版發佈的首日起,開發人員便能享有這些效能的提升。

整合 KleidiAI,加速行動裝置生成式 AI 的實現
在行動裝置領域,Arm 與 ExecuTorch 的合作代表眾多生成式 AI 應用,如虛擬聊天機器人、內容生成和摘要、即時語音和虛擬助理等,完全能夠在搭載 Arm CPU 的裝置上以更高的效能運行。這一成果受惠於 KleidiAI,它導入了針對 4 位元量化優化的微核心,並透過 XNNPACK 整合在 ExecuTorch 中,因此,在 Arm 運算平台上運行 4 位元量化的 LLM 時,可無縫加速 AI 工作負載的執行。例如,透過 KleidiAI 的整合,Llama 3.2 1B 量化模型預填充階段的執行速度可以提高 20%,使一些基於 Arm 架構的行動裝置上的內容生成速度超過了每秒 400 個詞元(token)。這代表終端裝置使用者將從他們的行動裝置上獲得更快速、回應更靈敏的 AI 體驗。

瞭解更多 Arm 在行動裝置市場對 ExecuTorch 的支持,請參考這篇部落格。

為物聯網在邊緣端 AI 應用加速即時處理能力
在物聯網領域,ExecuTorch 將提高邊緣端 AI 應用的即時處理能力,包括智慧家電、可穿戴裝置以及自動零售系統等。這代表物聯網裝置和應用能夠以毫秒級的速度回應環境變化,這對保障安全性和功能可用性相當重要。

ExecuTorch 可在 Arm® Cortex®-A CPU 和 Ethos™-U NPU 上運行,以加速邊緣端 AI 應用的開發和部署。事實上,透過將 ExecuTorch 與 Arm Corstone™-320 參考平台(也可做為模擬固定虛擬平台〈FVP〉使用)、Arm Ethos-U85 NPU 驅動程式和編譯器支援整合到一個套裝軟體中,開發人員可在平台上市前幾個月就著手開發邊緣端 AI 應用。

瞭解更多 Arm 在物聯網領域對 ExecuTorch 的支持,請參考這篇部落格。

更易獲取、更快捷的邊緣端 AI 開發體驗
ExecuTorch 有潛力成為全球最受歡迎的高效率 AI 和 ML 開發框架之一。透過將應用最廣泛的 Arm 運算平台與 ExecuTorch 相結合,Arm 正在透過新的量化模型加速 AI 的普及,讓開發人員能夠更快地在更多裝置上部署應用,並將更多生成式 AI 體驗導入邊緣端。
 
關於 Arm 
Arm 是業界效能最高且最節能的運算平台,其無可比擬的應用範疇觸及全球所有連網使用者。為因應全球對運算永無止境的需求,Arm 提供先進的解決方案,使全球領先的科技公司得以釋放前所未有的 AI 體驗與功能。透過與全球最大的運算生態系及 2,000 萬名軟體開發人員的共同努力,我們正在 Arm 平台上建構 AI 的未來。 
 
所有資訊都「依目前情況」提供,且並不帶保證或代表性。此文件可以自由分享,但不得修改且必須註明出處。Arm 是 Arm Limited(或其子公司與附屬機構)的註冊商標。所有品牌或產品名稱均為所屬公司之財產。© 1995-2024 Arm Limited. 
 
 

電子郵件:look@compotechasia.com

聯繫電話:886-2-27201789       分機請撥:11