開源人工智慧(AI)已體現了當模型、資料與工具能被共享時,開發者能以更快的速度推動創新。機器人領域同樣具備這樣的機會,但物理 AI 開發的進展,仍可能受到成本高昂且分散的資源所限制,這些資源涵蓋大型資料集、機器人基礎模型,以及模擬、運算與驗證工具等。
NVIDIA 與 Hugging Face 正共同合作,將適用於人形機器人的 NVIDIA Isaac GR00T 1.7 開放式推理視覺語言動作(VLA)模型,以及 NVIDIA Isaac Teleop 框架導入 LeRobot。LeRobot 是 Hugging Face 的開源機器人函式庫,而 NVIDIA Cosmos 3 這款物理 AI 前沿模型也規劃於近期導入。這些整合將為開發者提供更易取用且標準化的端到端機器人開發路徑,同時推動開放機器人社群的創新與協作。
Hugging Face 共同創辦人暨首席科學長 Thomas Wolf 表示:「開源是讓一個領域得以將先進研究轉化為人們可以鑽研、調整並進一步發展的基礎。隨著 NVIDIA Isaac GR00T 1.7 與 Isaac TeleOp 導入 LeRobot,機器人開發者能利用共享模型、資料與工作流程,在開放環境訓練與評估機器人。再隨著 NVIDIA Cosmos 3 的計畫導入,社群也將能把前沿的世界模型納入相同的協作循環。」
為機器人基礎模型打造開放路徑
Hugging Face LeRobot 是一個開源機器人函式庫,用於訓練、執行與分享機器人資料集、模型、策略和工作流程。NVIDIA 與 Hugging Face 的持續合作,將 NVIDIA 的 300 萬名機器人開發者與 Hugging Face 的 1,600 萬名 AI 建構者連結在一起,透過開放式工作流程擴大前沿物理 AI 工具的可及性。
將 NVIDIA 的物理 AI 能力整合至 LeRobot,為開發者提供了一套共通方式,透過開放式工作流程來收集與標準化資料、訓練與微調機器人基礎模型、評估效能,並部署模型。整合內容包括:
NVIDIA Isaac Teleop 是用於機器人資料收集的開源框架,可協助開發者透過標準化且互通的格式,從外部裝置擷取高品質的人類示範資料,並直接在 LeRobot 中擴充資料集、與社群分享資料。
NVIDIA Isaac GR00T 1.7 作為首款開放且具可商業化的機器人基礎模型,能透過 LeRobot 工作流程更輕鬆地進行模型後訓練與部署,協助開發者將 GR00T 適配至新的機器人型態與任務,並具備經基準測試驗證的效能。
NVIDIA Cosmos 3 是即將導入 LeRobot 的物理 AI 前沿級世界基礎模型。在真實世界資料有限或收集成本過高時,將協助開發者生成與擴增機器人資料、模擬情境,並支援策略開發。
這些整合建構在 NVIDIA 已與 LeRobot 串聯的廣泛資源基礎之上,以支援完整的機器人開發循環,包含:
規模最大的開源物理 AI 資料集,下載次數已超過 1,500 萬次,內含超過 35 萬筆真實與模擬軌跡,以及 5,700 萬次抓取動作資料,協助開發者快速啟動機器人工作流程。
基於 NVIDIA Isaac Sim 與 Isaac Lab 的模擬框架,協助開發者在轉移至實體機器人前,先建立環境、生成機器人資料、測試策略並驗證行為。
LeRobot Environment Hub 中的 NVIDIA Isaac Lab-Arena,讓開發者能快速打造複雜模擬環境的原型,將其註冊至 LeRobot EnvHub,並在 LeRobot 生態系中無縫使用,以訓練與評估 GR00T、Pi 與 SmolVLA 等通用型機器人策略。
NVIDIA Jetson Thor 與 LeRobot Reachy 2 的整合,支援在開源人形機器人部署視覺語言動作模型。
進一步了解如何在 LeRobot 使用 Isaac Teleop、Isaac GR00T 1.7 與 Isaac Lab-Arena,以進行端到端的人形機器人開發,並探索詳細的 LeRobot 整合工作流程。