所有移動的事物都將變成自主模式，所有自主的事物都需要先進的即時感知功能。
NVIDIA (輝達) 宣布其最新計畫，旨在為 ROS 開發者社群提供一套感知技術。這項計畫對於想把先進的電腦視覺及人工智慧 (AI)/ 機器學習 (ML) 功能加入其基於 ROS 架構的機器人應用程式的開發者來說，將能縮短他們的開發時間，並提升執行效能。
Open Robotics 為 NVIDIA AI 擴大 ROS
NVIDIA 與 Open Robotics 已達成協議，將加速 NVIDIA Jetson 邊緣 AI 平台和基於 GPU 架構系統上的 ROS 2 效能，藉以在 Open Robotics 的 Ignition Gazebo 與以 Omniverse 平台為基礎的 NVIDIA Isaac Sim 間，能夠流暢地將模擬內容互通有無。
Jetson 平台受到各領域的機器人專家採用，其設計旨在為機器人提供高效能、低延遲的作業處理，使其具備靈敏的反應力、安全性及協作能力。Open Robotics 將強化 ROS 2，以便在 Jetson 平台上的 GPU 和其他處理器間，高效率地管理資料流程和共用記憶體。此舉將能顯著提升必須即時處理來自攝影機、光達等感測器高頻寬資料的應用程式的效能。
除了強化在 Jetson 平台上部署機器人應用程式的功能外，Open Robotics 與 NVIDIA 正在著手整合 Ignition Gazebo 與 NVIDIA Isaac Sim 的計畫。Isaac Sim 早以開箱即用的方式支援 ROS 1 和 2，並與 Blender 和 Unreal Engine 4 等熱門應用程式相互串連，創造出極為重要的 3D 內容生態系。
整個機器人社群大規模使用 Ignition Gazebo 已有數十個年頭，包括正在進行的 DARPA Subterranean Challenge 等備受矚目的競賽。ROS 開發者連接兩個模擬器，便能輕鬆地在 Ignition Gazebo 和 Isaac Sim 間移動機器人和環境，並進行大規模的模擬活動。他們還能利用每個模擬器的先進功能，如極為逼真的動力學、精確的感測器模型和栩栩如生的渲染結果，生成用於訓練和測試 AI 模型的合成資料。
Open Robotics 執行長 Brian Gerkey 表示：「隨著越來越多的 ROS 開發者使用有著額外運算功能的硬體平台卸載主機 CPU，ROS 正持續發展並讓人們以更輕鬆且高效率的方式，採用這些先進的硬體資源。與 NVIDIA 這樣的加速運算領導者合作，透過其在 AI 和機器人創新領域的豐富經驗，將為整個 ROS 社群帶來莫大好處。」
這項合作所生成的軟體內容預計將於 2022 年春季推出。
專為 ROS 發布的 Isaac GEM 大幅提升作業速度
用於 ROS 的 Isaac GEM 是硬體加速套件，協助 ROS 開發者更輕鬆地在 Jetson 平台上打造高效能的解決方案。這些 GEM 著重在提升影像處理輸出量及基於 DNN 架構的感知模型處理能力，這些模型對機器人專家來說越來越重要。這些軟體套件減少了主機 CPU 的作業負載，同時大幅提高效能。
用於 ROS 的全新 Isaac GEM 包含：
SGM 立體視差與點雲 (Stereo Disparity and Point Cloud)
色彩空間轉換與鏡頭失真校正
AprilTags 偵測
圖一_ROS 支援立體攝影機，在 ROS Rviz 工具中提供了左右攝影機畫面。在 Rviz 中皆有顯示 RGB 和深度影像。
全新 Isaac Sim 功能支援 ROS 開發者
在最新版本的 Isaac Sim 中加入針對 ROS 開發者社群的重點支援。部分最令人注目的例子便是 ROS2 導航堆疊和 MoveIt Motion 規劃框架。現已開放下載，可以在 Isaac Sim 文件中找到。
Isaac Sim 中的 ROS 範例清單
ROS AprilTag
ROS 立體攝影機
ROS 導航
ROS TurtleBot3 範例
ROS 操作與攝影機範例
ROS 服務
MoveIt Motion 規劃框架
使用原生 Python ROS
ROS2 導航
圖二_Omniverse 上的 Isaac Sim 功能區塊圖顯示機器人模型、環境模型及 3D 資產輸入項目
Isaac Sim 生成用於訓練感知的合成資料集
擁有強大能力的 Isaac Sim 除了能作為機器人模擬器，還能生成合成資料來訓練和測試感知模型。隨著機器人專家在他們的平台上加入越來越多的感知功能，這些能力將變得更加重要。顯然當機器人對於環境的感知能力越強大時，其自主能力就越好，如此一來便能減少人工的介入。
當 Isaac Sim 生成合成資料集後，便能直接投入 NVIDIA TAO AI模型適應平台，讓感知模型去適應機器人的特定工作環境。在從目標環境中收集任何真實資料前，此舉便能確保機器人的感知堆疊在特定工作環境順利開始運作。
機器人專家長期以來對於如何將導航等經典的機器人任務，與 AI 感知堆疊進行串連和整合而感到苦惱。Isaac Sim 可以同時作為機器人和合成資料生成工具，加上精簡的 TAO 訓練平台整合內容，解決了這項困難的工作流程。
更多資訊在 ROS World 與 GTC 2021
NVIDIA 正在為 10 月 21 日至 22 日舉行的 ROS World 大會做準備。我們計劃為 Jetson 開發人員發布更多全新的 GEM，其中包括多個熱門的 DNN。我們亦將宣布多項 Isaac Sim 的功能，以支援 ROS 開發者社群。歡迎參觀我們的線上展位、參加 NVIDIA ROS 圓桌會議以及觀看 Isaac Sim 相關技術簡報等精彩內容。
NVIDIA 將於 11 月 8 日至 11 日舉行的 GTC 大會，邀請多位重量級演講嘉賓發表精彩的演講內容。我們也為機器人開發人員準備豐富的議程，其中包括 Open Robotics 共同創辦人暨執行長 Brian Gerkey 的演講。多場演講內容亦涵蓋 NVIDIA Jetson、Isaac ROS、Isaac Sim 與 Isaac GYM 等主題。
即刻開始
想要立即在產品中加入 NVIDIA AI 感知技術的開發者，可以多加利用以下連結：
用於 ROS 的 Isaac GEM
Isaac Sim 相關資訊
