摘要
1簡介
本白皮書探索了人工智慧 (AI) 在網路邊緣的目的與優勢，以及嵌入式處理器與軟體的進步如何讓 AI 比以往更輕鬆地在各種應用中實作。
2什麼是邊緣 AI？
了解邊緣 AI 為何是半導體世界中如此熱門的話題，以及其與新聞中所展示的 AI 類型有何不同。
3AI 如何走向邊緣
了解嵌入式硬體和軟體工程師所面臨的挑戰，以及 TI 如何因應這些挑戰。
4邊緣 AI 的可擴展性
探索 TI 為因應可擴展性和可重複使用性挑戰而提供的硬體和軟體。
簡介
AI 已從利基技術轉變為人們每天與之互動的技術，成長範圍已超越工程和技術領域。這種趨勢促使幾乎各行各業的公司都在考慮如何運用 AI 來提升效率，降低成本，並提升產品功能。廣泛可用的雲端式 AI 解決方案具備可存取性和使用便利性，讓幾乎所有人都能更輕鬆地使用專為 AI 設計的模型和工具。
然而，並非所有 AI 創新都會在雲端進行。隨著嵌入式處理器設計的技術進步，AI 功能也逐漸導入筆記型電腦、行動電話等消費產品以及其他電子產品：視訊門鈴等電池供電應用、汽車系統視覺處理，以及能源基礎架構與工業系統中的馬達。
邊緣 AI 是在資料來源附近本機執行 AI 模型的能力，可提升電子產品的回應性、效率、可靠性和安全性。嵌入式處理器讓這種雲端到邊緣的轉型成為可能，整合了用於數位訊號處理 (DSP) 的專用核心等元件，並由易於使用的 GUI 架構工具支援，可將 AI 導入邊緣所需的時間和專業知識降到最低。
以嵌入式處理器提升邊緣智慧在本白皮書中，我將探討邊緣 AI 的演進與優勢，以及支援邊緣 AI 的軟硬體的進步。
何謂 AI？
AI 是機器展現某種智慧或推理的能力。今天大多數人想到 AI 時，通常會聯想到文字和圖像生成器，或是電玩遊戲中的虛擬對手。但即使是最簡單的演算法，在技術上也是文字意義上 AI 的範例。
AI 的廣泛性及其多重使用案例催生了多個子領域，包括機器學習和深度學習，如 图 1 所示。
图 1. 不同 AI 子領域之間的關係。
用於嵌入式應用的大多數 AI 為機器學習，這是機器和演算法「學習」如何解決問題的子領域；例如，車輛透過分析通用模式的影像資料來辨識行人與障礙物。機器學習模型也可透過接收大量訓練資料或已標記的資料來進行學習。此訓練程序可讓機器學習模型能夠辨識資料中的模式，並可用於進行未來的推論。
在機器學習領域中，雖然深度學習需要大量的運算資源，但因其能準確地解決高度複雜的問題，已成為最受歡迎的實作方式之一。深度學習使用多層神經網路，這是受人腦神經元啟發的資料模型。此技術可讓產品設計人員能建立解決方案來辨識自己無法分辨的模式。
什麼是邊緣 AI？
AI 及其子領域通常可在雲端或本機硬體上執行處理。雲端式 AI 在過去較為普遍，因為要在大型伺服器之外執行有影響力 AI 所需的運算能力並不是容易達成的條件。然而，隨著嵌入式處理器的運算能力和電源效率不斷提升，邊緣 AI 也日益普及。
图 2 顯示邊緣 AI 和雲端 AI 在接收和處理資料以及與雲端式資源互動的方式上有何不同。
图 2. 雲端式 AI 與邊緣 AI 的比較。
邊緣 AI 通常會在開發期間使用雲端或桌上型電腦資源進行模型訓練。將模型部署至嵌入式裝置後，即可在本機獨立地對新資料進行模型推論和決策。
直到最近，最有意義的 AI 範例所需的處理能力均超出一般消費性電子產品所能提供的能力。這意味著機器學習模型通常是在雲端式資源上進行訓練和實作。雖然雲端式架構實作透過最大限度地減少硬體投資而提供了便利性，但也限制了 AI 的採用。雲端式 AI 實作無法在沒有雲端存取 (即網路連線) 的任何應用程式中使用。此外，與雲端式 AI 相比，邊緣 AI 還可以提高保全性、安全性和回應能力。
隨著半導體的進步和 AI 工具鏈的改善，現在已可將 AI 解決方案直接導入嵌入式處理器和微控制器 (MCU)，進一步將 AI 推展至邊緣。將 AI 帶入邊緣意味著運算和 AI 推論要在提供資料的感測器附近執行，因此必須考慮到電子裝置收集的感測器資料量會持續增加。不斷成長的資料量使得純雲端資源變得不太實用，因為從雲端傳輸大量資料可能使成本高昂且過程複雜，並且會出現單點故障。
在網路邊緣執行 AI 模型通常可減少根據感測器資料進行推
論和決策的延遲，例如車輛中用於碰撞偵測的攝影機感測器。運用邊緣 AI 功能，車輛可以更快速地進行推論，即時回應刺激，無需等待來自雲端的推論。
與雲端式 AI 相比，邊緣 AI 具有其他多項優勢，包括減少對網路連線的依賴。邊緣 AI 可用於無法存取雲端的應用，並將網路中斷造成的潛在停機時間降至最低。此外，由於雲端式 AI 需要網路連線，因此可能會產生經常性的存取服務費，這在設計消費產品時可能是一個具有挑戰性的商業模式。
AI 如何走向邊緣
讓我們來看看，嵌入式處理器和易於使用的網路型軟體的進步，如何協助更多設計人員在設計中啟用邊緣 AI 功能。
邊緣 AI 硬體創新：過去，嵌入式處理器的處理與功耗限制，以及高階內部編程專業知識和資源，都限制了邊緣 AI 的普及性。可滿足 AI 運算性能需求的嵌入式裝置通常體積過大、功耗過高，且會產生過多熱能。
近年來，市場上出現了專門的硬體解決方案，可以更有效地加速邊緣人工智慧所需的運算操作。但這些硬體解決方案都各自存在著一些優缺點，因而限制了其在邊緣應用中的廣泛採用。雖然圖形處理單元 (GPU)、現場可編程閘陣列 (FPGA) 和特定應用積體電路 (ASIC) 等專用硬體解決方案已經能夠達到令人印象深刻的成果，但通常受到功耗的限制 (特別是在 GPU 和 FPGA) 或缺乏彈性 (就 ASIC 而言)。
而具備整合式邊緣 AI 功能的新型嵌入式處理器解決了這些功耗限制和成本考量。其中許多裝置皆配備了神經處理單元 (NPU) 和/或數位訊號處理器 (DSP) 等整合式元件。
图 3 顯示了具有整合式 NPU 的 TI C2000™ MCU 範例，適用於馬達和太陽電弧故障偵測。
图 3. 即時控制系統中支援邊緣 AI 故障監控解決方案。
NPU 是一種專用硬體加速器，可整合至嵌入式處理器設計中，提供所需的運算等級。例如，如 TMS320F28P550SJ 等 TI 的 TMS320F28P55x 系列即時 C2000 MCU 具有適用於馬達軸承和太陽能電弧故障偵測的晶片內建 NPU，可分擔主要 CPU 的處理負荷，以進行即時馬達控制。及早偵測到故障有助於減少停機時間和維修成本，同時也能提升安全性。馬達故障偵測在暖氣、通風、空調 (HVAC)、工廠自動化、機器人和電動車等應用中扮演著關鍵的角色。這些應用可以使用從各種感測器匯總的時間序列資料，進行準確的推論，並快速偵測系統中的異常狀況。請閱讀技術文章「透過支援邊緣 AI 的 MCU，最佳化即時控制系統中的系統故障偵測功能」，進一步了解支援邊緣 AI 的 C2000 MCU 如何簡化馬達與電弧故障偵測。
對於視覺處理等感知型應用，微處理器需包含視覺管線的必要元件，以及能夠滿足 AI 性能所需的 NPU。TI 的分析處理器 (如 AM67A 和 TDA4VM) 具有整合式深度學習加速器，可將 AI 性能和功耗最佳化。這些深度學習加速器均由 C7x DSP 及附加矩陣相乘加速器組成，可大幅改善視覺處理中常見神經網路的處理性能。此架構運用 TI 的 DSP 技以嵌入式處理器提升邊緣智慧術，透過將 AI 運算集中在同質運算元件上，進行有效率的資料移動，並將功耗最佳化。
為了確保嵌入式處理器盡可能地易於設計，TI 等半導體製造商也與第三方合作夥伴密切合作，開發如系統模組等「可立即部署」的硬體元件。這些硬體解決方案的設計旨在支援單一 PCB 上的特定嵌入式處理器和核心元件。
邊緣 AI 軟體創新：從硬體觀點來看，隨著嵌入式裝置中高效率 AI 運算的進步，開放原始碼社群和半導體製造商只需具備最少的編程專業知識，即可測試和部署 AI 模型，讓創新變得更加容易。若能讓 AI 更易於使用 (在某些情況下是以 GUI 為基礎)，將有助於減少投資額外資源或訓練來增強 AI 專業知識的需求。
對於較熟悉 AI 模型的設計人員而言，PyTorch 和 TensorFlow 等開放原始碼平台可透過抽象化解讀各嵌入式平台的許多細節，協助簡化邊緣 AI 解決方案的開發程序。您可將使用這些工具開發的模型匯入至相容的嵌入式裝置。
若開發人員想進一步簡化 AI 模型在 TI 裝置上的測試和部署，則可以使用 TI 的 Edge AI Studio，這是一套非常實用的網路架構工具。Edge AI Studio 的設計旨在使用遠端 TI 硬體和圖形使用者介面，簡化並加速 TI 嵌入式裝置上的邊緣 AI 應用開發。這些工具包括模型編輯器、模型分析器、模型選擇工具和模型製作器，可協助設計人員快速評估模型及其性能，而無需實際連接至評估板。
邊緣 AI 的可擴展性
使用嵌入式微控制器或微處理器開發產品時，請務必要考慮產品如何隨時間演進與擴充。工程師不想花費數個月的時間在一個微處理器上開發解決方案，然後在將產品更新為更高性能的處理器時又必須從頭開始。
打造這些嵌入式裝置的半導體製造商必須開發在功能、性能和成本方面具有可擴展性的產品組合，並確保其各種 AI 嵌入式處理器之間有無縫移轉策略，以使開發人員盡可能簡單地在不同裝置上重複使用其工作。邊緣 AI 也不例外。例如，製造居家機器人的設計師可能想要同時生產配備三部環景攝影機的高階版本，以及只配備單一前置攝影機的入門級版本。可擴充的視覺處理器產品組合可將軟體從高階機型移植至入門級機型，將生產這兩種產品所需的資源量降至最低。可擴展性也允許開發人員隨著產品的發展，將研發投資從一個平台轉移至下一個平台。
結論
儘管邊緣 AI 目前仍是相對較新的技術，但其重塑我們日常生活的潛力正逐漸成為人們關注的焦點，特別是為幾乎所有應用帶來更高回應性和更高性能的能力。隨著低功率、經濟高效的嵌入式處理器以及直覺式軟體和模型訓練工具的進步，對於任何經驗程度的設計師而言，使用 AI 技術從未像今日這般容易。我們可以預期，這種情況將能持續到每一代邊緣 AI 裝置，以及管理我們與之互動和依賴的電子設備內的運作和資料收集的關鍵元件 (例如用於感測、電力傳輸和連接的半導體)。
其他資源
• 請透過白皮書以高度整合處理器設計高效邊緣 AI 系統，了解 TI 的邊緣 AI 視覺處理器。
• 請閱讀技術文章視覺處理器如何擴展視訊門鈴與智慧零售設計中的邊緣 AI 功能，了解智慧住宅與零售邊緣 AI 視覺應用的主要設計挑戰。
