NVIDIA 將生成式 AI 工具、模擬和感知工作流程帶入 ROS 開發者生態系
前言：
在 ROSCon 上宣布的更新旨在加速 AI 驅動機械手臂和自主移動機器人的開發
在歐登塞（Odense） — 丹麥最古老的城市之一、也是自動化據點 — 舉行的 ROSCon 大會上，NVIDIA 與其機器人生態系合作夥伴宣布發表生成式人工智慧（AI）工具、模擬和感知 AI 工作流程，以促進機器人操作系統（Robot Operating System，ROS）開發者社群的發展。
發布的內容包括 NVIDIA Isaac ROS 和 NVIDIA Isaac Sim 技術與開發者指南，其中包含新的生成式 AI 節點和工作流程，供 ROS 開發人員部署到 NVIDIA Jetson 平台以實現邊緣 AI 和機器人技術。Isaac Sim 中基於物理的模擬技術可幫助 ROS 開發者在部署之前模擬和驗證 AI 模型。生成式 AI 使機器人能夠感知和理解周圍環境的情境，自然地與人類交流，並自主做出適應性決策。
生成式 AI 進入 ROS 社群
基於 ROS 2 架構的 ReMEmbR 利用生成式 AI 增強了機器人的推理與行動能力。它結合了大型語言模型（LLM）、視覺語言模型（VLM）以及檢索增強生成技術，使機器人能夠構建和查詢長期語義記憶，提升其在環境中的導航和互動能力。
語音識別功能由 WhisperTRT ROS 2 節點驅動。該節點使用 NVIDIA TensorRT 最佳化 OpenAI 的 Whisper 模型，實現 Jetson 上的低延遲推論，從而實現回應靈敏的人機互動。
具有語音控制功能的 ROS 2 機器人專案使用 NVIDIA Riva ASR-TTS 服務，使機器人能夠理解並回應語音指令。美國太空總署（NASA）噴射推進實驗室（Jet Propulsion Laboratory，JPL）獨立展示了 ROSA，這是一種用於ROS的AI驅動代理，在 Isaac Sim 的 Nebula-SPOT 機器人上運作。
在 ROSCon 上，Canonical 展示了 NanoOWL，這是在 Jetson Orin Nano 模組系統上運行的零樣本目標偵測模型。它使機器人能夠在不依賴預先定義分類的情況下，即時識別各種物體。
開發人員現在就可以開始使用 ROS 2 Nodes for Generative AI，它帶來了由 NVIDIA Jetson 最佳化的大型語言模型與視覺語言模型，以增強機器人的能力。
以「模擬優先」方法增強 ROS 工作流程
模擬對於在部署前安全測試和驗證 AI 驅動的機器人至關重要。Isaac Sim 是一款基於 OpenUSD 和 RTX 的機器人模擬參考應用，為 ROS 開發者提供了一個虛擬環境，可以透過輕鬆連接到他們的 ROS 套件來測試機器人。全新的《使用 Isaac Sim 的 ROS 2 工作流程初學者指南》現已推出，該指南說明了機器人模擬和測試的端到端工作流程。
Foxglove 作為 NVIDIA Inception 新創計畫的成員，展示了一項整合功能，可幫助開發人員透過使用基於 Isaac Sim 構建的 Foxglove 客製化擴展，即時檢視模擬數據並進行除錯。
Isaac ROS 3.2 的新功能
Isaac ROS 建立在開源 ROS 2 軟體架構上，是一套用於機器人開發的加速運算套件和 AI 模型。即將發布的 3.2 版本增強了機器人感知、操作和環境映射能力。
Isaac Manipulator 的主要升級包括整合 FoundationPose 和 cuMotion 的全新參考工作流程，以加速機器人技術中拾取與放置和物件追蹤管道的開發。
另一個升級則是 Isaac Perceptor，它具有新的視覺 SLAM 參考工作流程、增強的多攝影機偵測和 3D 重建功能，以提高自主移動機器人（AMR）在倉庫等動態環境中的環境感知能力和效能。
採用 NVIDIA Isaac 的合作夥伴
機器人公司正在將 Isaac ROS 加速函式庫和AI模型整合到他們的平台中。
Teradyne Robotics 旗下公司 Universal Robots 推出了新的 AI 加速器工具套件，以支援 AI 驅動的協作機器人（cobot）應用的開發。
Miso Robotics 正在使用 Isaac ROS來加速其AI驅動的薯條製作機器人Flippy Fry Station，並推動食品服務自動化的效率和準確性提升。
Wheel.me 正在與 RGo Robotics 和 NVIDIA 合作，使用 Isaac Perceptor 建立生產就緒的 AMR。
Main Street Autonomy 正在使用Isaac Perceptor 來簡化感測器校準。
Orbbec 發布了 Perceptor Developer Kit，為適用於 Isaac Perceptor 的開箱即用 AMR 解決方案。
LIPS Corporation 推出了多攝影機感知開發套件，以改善 AMR 導航。
Canonical 強調為 ROS 開發人員提供經過全面認證的 Ubuntu 環境，提供開箱即擁有的長期支援。
在 ROSCon 與合作夥伴交流
ROS 社群成員和合作夥伴，包括 Canonical、Ekumen、Foxglove、Intrinsic、Open Navigation、Siemens 和 Teradyne Robotics，將在丹麥舉辦工作坊、講座、攤位展示和會議。活動亮點包括：
來自 Open Navigation LLC 的 Steve Macenski 主持的「Nav2 User Meetup」討論聚會
由 BMW AG 的 Michael Gentner 和 Siemens AG 的 Carsten Braunroth 主持的「ROS in Large-Scale Factory Automation」
NVIDIA 的「Integrating AI in Robot Manipulation Workflows」討論聚會
NVIDIA 的「Accelerating Robot Learning at Scale in Simulation」討論聚會
Open Navigation 的 Macenski 的「On Use of Nav2 Docking」
此外，Teradyne Robotics 和 NVIDIA 將於 10 月 22 日（星期二）在丹麥歐登塞共同舉辦午餐會和晚間接待會。
ROSCon 由開源機器人基金會（Open Source Robotics Foundation，OSRF）主辦。NVIDIA 是開源機器人（Open Robotics）的白金級支持者，該組織是 OSRF 及其所有計畫的聯合組織。
欲了解 ROSCon 的最新消息，請至 ROSCon 網頁。
