2025年1月6日--高通技術公司今日於CES 2025宣布推出高通AI本地裝置解決方案（Qualcomm AI On-Prem Appliance Solution），為本地桌上型或壁掛式硬體解決方案，以及高通AI推論套組（Qualcomm AI Inference Suite），為一整套用於AI推論的軟體與服務，範圍涵蓋近邊（near-edge）至雲端。全新產品組合使中小企業、大型企業與產業組織得以在本地運行客製與現有的AI應用，包括生成式工作負載。相較於承租第三方AI基礎架構的成本，於本地運行AI推論可大幅節省營運成本和總體擁有成本（TCO）。
結合AI本地裝置解決方案與AI推論套件，客戶現在可以運用其專有資料、微調模型和技術基礎設施，將生成式 AI 應用於幾乎任何工作流程建立完善、可重複，並適合進行自動化的終端環境中，將人力與機器流程和應用進行自動化，例如零售商店、速食餐廳、購物中心、經銷商、醫院、工廠及生產現場等場所。
高通技術公司汽車、工業及嵌入式物聯網和雲端運算部門總經理Nakul Duggal表示：「我們全新的AI本地應用裝置解決方案與AI推論套組，透過將生成式AI工作負載從僅限於雲端處理轉移至本地部署，改變AI部署的總體擁有成本經濟效益。針對各種AI自動化使用案例，如店內助理、員工培訓、特定場所資訊、安全規範遵循，以及在商店、經銷商或工廠生產線場內的銷售與服務支援，我們的AI本地裝置解決方案大幅降低了企業和工業需求的AI營運成本。企業現可加速部署生成式AI應用，利用自有模型實現隱私性、個人化和客製化，同時保持對資料的完全掌控，並確保資料不會離開其本地環境。」
高通AI本地應用裝置解決方案由高通雲端AI加速器系列驅動，結合資料中心推論伺服器的可及性與效能，以及本地AI解決方案的功耗效率、重量和外型設計、資料隱私、個人化與完整控制。AI本地應用裝置解決方案支援多種功能：
• 從獨立桌上型產品至壁掛應用裝置叢集皆可支援的可擴充性，後者可提供大量本地AI服務，如語音助理套組（voice agents in-a-box）、卸載處理小型語言模型（SLM）、大型語言模型（LLM）和大型多模態模型（LMM），以及智慧索引搜尋與摘要的檢索增強生成（RAG）功能、AI代理（agentic AI）、AI工作流程自動化、圖像生成、程式碼生成、電腦視覺與相機處理等。
• 支援廣泛的生成式AI、自然語言處理與電腦視覺模型，包括開源和專有模型，為多種企業應用實現工作流程自動化，如智慧多語言搜尋、客製化AI助理與代理、程式碼生成、自動繪圖與筆記等。
• 相機AI具備圖像、影片、串流處理功能，適用於專注於保全、安全性與現場監控的電腦視覺應用。
適用於本地的高通AI推論套組使企業客戶與第三方開發人員掌握完整工具與設計庫，可用於開發生成式AI應用，或將之移植至AI本地應用裝置解決方案，或其他以高通雲端AI加速器系列為基礎的產品。本套組具備豐富應用程式介面（API），包括使用者管理（management and administration）、聊天、圖像生成、音訊與影片生成式AI功能、OpenAI API相容性與檢索增強生成（RAG）功能等。本套組支援與流行的生成式AI模型、框架整合，以及利用Kubernetes或裸機容器（bare container）進行部署。
產業領導者運用高通AI本地解決方案與AI 推論套組
漢威聯合（Honeywell）正與高通技術公司合作，運用AI本地解決方案與AI推論套組，設計、評估和／或部署AI工作流程自動化應用案例。
Aetina是率先以高通AI本地應用裝置解決方案為基礎提供企業用部署本地裝置的OEM廠商之一。其體積輕巧、以壁式電源供電的本地AI應用裝置，運用多個小型語言模型的組合進行自然語言處理，並運用微調後的大型語言模型與大型多模態模型（運行參數達70B）運行支援即時回應與AI工作流程自動化功能（如智慧索引搜尋與內容創作）的企業AI代理，且全都透過同類型最佳的功耗與優異總體擁有成本的架構所實現。
除了雲端之外，IBM正合作將其watsonx data 與AI平台和Granite系列AI模型部署至本地AI應用裝置，以支援各種汽車、製造、零售與通訊領域的一系列企業與工業使用案例。
有興趣的企業用戶與開發人員可前往我們的邊緣AI應用裝置與運算盒（Edge AI Appliance and Box）網頁，了解更多關於AI本地應用裝置解決方案的可能性及AI推理套組的各項功能。
關於美國高通公司
高通公司創新不懈，讓智慧運算無所不在，協助世界解決一些最重大的挑戰。我們經過驗證的解決方案推動主要產業的轉型，我們的Snapdragon品牌平台為消費者提供卓越的體驗。憑藉近40年為產業制定標準和創造劃時代技術突破的領導地位，我們提供領先的邊緣AI、高效能、低功耗運算和無與倫比的連接能力。我們與生態系夥伴攜手合作，實現新一代數位轉型，豐富人們的生活、提升企業運作並推進社會發展。在高通，我們致力於推動人類進步。美國高通公司包括技術許可業務（QTL）和我們絕大部分的專利組合。高通技術公司（QTI）是美國高通公司的全資子公司，與其子公司一起營運我們所有的工程、研發活動以及所有產品和服務業務，其中包括半導體業務QCT。Snapdragon和高通品牌產品是高通技術公司和/其子公司的產品。高通的專利由高通公司授權。
