圖片人物: Arm 雲端 AI 產品解決方案總監 Ravi Malhotra
隨著生成式AI逐步從單純的內容生成，邁向能夠自主規劃、執行任務及跨系統協作的代理型AI（Agentic AI），企業對運算基礎架構的需求也正在改變。相較於傳統AI主要仰賴GPU進行模型訓練與推論，Agentic AI在實際執行過程中，還需要大量CPU資源處理工具呼叫、資料存取、工作流程協調、程式碼執行及系統管理等任務。Arm指出，Agentic AI的應用場景可分為軟體工程、企業自動化、科學研究、個人助理及機器人代理五大類，不同應用對CPU效能、延遲、並行處理及運算效率都有不同要求。
在Agentic AI基礎架構設計方面，Arm 雲端 AI 產品解決方案總監 Ravi Malhotra表示，CPU與加速器必須採取分工協作的方式，才能兼顧運算效能與整體資源使用效率。從工作流程來看，Agentic AI主要包含工具執行、流程協調，以及推理與規劃三大部分。其中，工具執行涉及API閘道、資料庫、應用程式執行環境及網路通訊；流程協調則包括沙箱執行、代理框架及不同系統間的工作管理；推理與規劃階段則涉及向量資料庫、資料處理、模型服務控制及大型語言模型推論。這些環節都會產生不同程度的CPU負載，尤其當多個AI代理同時執行任務時，CPU必須具備足夠的核心數量、記憶體頻寬及I/O能力，才能避免系統資源競爭造成效能下降。
為了驗證CPU在Agentic AI工作負載中的表現，Arm透過第三方研究機構Signal65進行測試，比較Arm AGI CPU與AMD EPYC Turin處理器在不同工作負載下的效能。測試涵蓋Nginx、MySQL、SWE-bench、Terminal-Bench、Milvus、vLLM及fastText等項目，分別對應API服務、資料庫交易、程式開發代理、工具執行、向量搜尋、AI服務控制及文字資料處理等應用。測試結果顯示，以每機架效能（Performance per Rack）衡量，Arm AGI CPU在整體Agentic AI工作流程中最高可達AMD EPYC Turin的約2倍；其中工具執行相關工作負載最高達1.95倍，流程協調相關測試約為1.93至2倍，而推理與規劃相關工作負載最高達3.19倍。這些結果顯示，CPU除了影響AI推論周邊的系統處理效率，也直接關係到代理執行任務時的環境建置、工具調用及整體工作流程速度。
面對Agentic AI持續擴大應用，Arm AGI CPU的發展方向主要聚焦於效能、擴展性與能源效率三大面向。透過針對AI代理工作負載設計的運算架構，並搭配不同規模的參考伺服器、商用伺服器及機架級解決方案，Arm希望讓企業能依據應用需求，彈性部署運算資源。相關系統也涵蓋氣冷與液冷等不同設計，以因應資料中心在運算密度及散熱方面的需求。未來AI資料中心不僅需要高效能加速器處理模型推論，也需要高效率CPU負責工作流程協調與周邊運算，透過CPU與加速器的協同運作，才能提升每機架的工作負載處理能力，並降低整體能源消耗，為企業大規模導入Agentic AI奠定基礎。
