如果在沒有嵌入式處理器供應商提供的合適工具和軟體的支援下，既想設計高能效的邊緣人工智慧(AI)系統，同時又要加快產品上市時間，這項工作難免會冗長乏味。面臨的一系列挑戰包括選擇恰當的深度學習模型、針對性能和精度目標對模型進行訓練和優化，以及學習使用在嵌入式邊緣處理器上部署模型的專用工具。
從模型選擇到在處理器上部署，TI可免費提供相關工具、軟體和服務，為您深度神經網路(DNN)開發工作流程的每一步保駕護航。下面讓我們來瞭解如何不借助手動工具或手動程式設計來選擇模型、隨時隨地訓練模型並將其無縫部署到TI處理器上，從而實現硬體加速推理。
圖1： 邊緣AI應用的開發流程
第1步：選擇模型
邊緣AI系統開發的首要任務是選擇合適的DNN模型，同時要兼顧系統的性能、精度和功耗目標。GitHub上的TI邊緣AI Model Zoo等工具可助您加速此流程。
Model Zoo廣泛彙集了TensorFlow、PyTorch和MXNet框架中常用的開源深度學習模型。這些模型在公共資料集上經過預訓練和優化，可以在TI適用於邊緣AI的處理器上高效運行。TI會定期使用開源社區中的新模型以及TI設計的模型對Model Zoo進行更新，為您提供性能和精度經過優化的廣泛模型選擇。
Model Zoo囊括數百個模型，TI模型選擇工具（如圖1所示）可以幫助您在不編寫任何代碼的情況下，通過查看和比較性能統計資料（如推理輸送量、延遲、精度和雙倍數據速率頻寬），快速比較和找到適合您AI任務的模型。
圖2：TI 模型選擇工具
第2步：訓練和優化模型
選擇模型後，下一步是在TI處理器上對其進行訓練或優化，以獲得出色的性能和精度。憑藉我們的軟體架構和開發環境，您可隨時隨地訓練模型。
從TI Model Zoo中選擇模型時，借助訓練腳本可讓您在自訂資料集上為特定任務快速傳輸和訓練模型，而無需花費較長時間從頭開始訓練或使用手動工具。訓練腳本、框架擴展和量化感知培訓工具可幫助您優化自己的DNN模型。
第3步：評估模型性能
在開發邊緣AI應用之前，需要在實際硬體上評估模型性能。
TI提供靈活的軟體架構和開發環境，您可以在TensorFlow Lite、ONNX RunTime或TVM和支援Neo AI DLR的SageMaker Neo運行環境引擎三者中選擇習慣的業界標準Python或C++應用程式設計介面(API)，只需編寫幾行代碼，即可隨時隨地訓練自己的模型，並將模型編譯和部署到TI硬體上。在這些業界通用運行環境引擎的後端，我們的TI深度學習(TIDL)模型編譯和運行環境工具可讓您針對TI的硬體編譯模型，將編譯後的圖或子圖部署到深度學習硬體加速器上，並在無需任何手動工具的情況下實現卓越的處理器推理性能。
在編譯步驟中，訓練後量化工具可以自動將浮點模型轉換為定點模型。該工具可通過設定檔實現層級混合精度量化（8位和16位），從而能夠足夠靈活地調整模型編譯，以獲得出色的性能和精度。
不同常用模型的運算方式各不相同。同樣位於GitHub上的TI邊緣AI基準工具可説明您為TI Model Zoo中的模型無縫匹配DNN模型功能，並作為自訂模型的參考。
評估TI處理器模型性能的方式有兩種：TDA4VM入門套件評估模組(EVM)或TI Edge AI Cloud，後者是一項免費線上服務，可支援遠端存取TDA4VM EVM，以評估深度學習推理性能。借助針對不同任務和運行時引擎組合的數個示例腳本，五分鐘之內便可在TI硬體上程式設計、部署和運行加速推理，同時收集基準測試資料。
第4步：部署邊緣AI應用程式
您可以使用開源Linux®和業界通用的API來將模型部署到TI硬體上。然而，將深度學習模型部署到硬體加速器上只是難題的冰山一角。
為幫助您快速構建高效的邊緣AI應用，TI採用了GStreamer框架。借助在主機Arm®內核上運行的GStreamer外掛程式，您可以自動將計算密集型任務的端到端信號鏈加速部署到硬體加速器和數位信號處理內核上。
圖2展示了適用於邊緣AI的Linux Processor SDK的軟體棧和元件。
圖3：適用於邊緣AI的Linux Processor SDK組件
結語
如果您對本文中提及的工具感到陌生或有所擔憂，請放寬心，因為即使您想要開發和部署AI模型或構建AI應用，也不必成為AI專家。TI Edge AI Academy能夠幫助您在自學、課堂環境中通過測驗學習AI基礎知識，並深入瞭解AI系統和軟體程式設計。實驗室提供了構建“Hello World” AI應用的分步代碼，而帶有攝像頭捕獲和顯示功能的端到端高級應用使您能夠按照自己的節奏順利開發AI應用。
其他資源
• 詳細瞭解如何實現實用嵌入式智慧。
• 查閱邊緣AI工具的相關文檔
關於德州儀器(TI)
德州儀器（TI）（納斯達克股票代碼：TXN）是一家全球性的半導體公司，致力於設計、製造、測試和銷售類比和嵌入式處理晶片，用於工業、汽車、個人電子產品、通信設備和企業系統等市場。我們致力於通過半導體技術讓電子產品更經濟實用，創造一個更美好的世界。如今，每一代創新都建立在上一代創新的基礎之上，使我們的技術變得更小巧、更快速、更可靠、更實惠，從而實現半導體在電子產品領域的廣泛應用，這就是工程的進步。這正是我們數十年來乃至現在一直在做的事。 欲瞭解更多資訊，請訪問公司網站www.ti.com.cn。
商標
所有注冊商標和其它商標均歸其各自所有者專屬。
