2026年7月20日--NVIDIA 宣布,NVIDIA Agent Toolkit 現已涵蓋 NVIDIA Omniverse™ 函式庫。這套軟體元件集合能為人工智慧(AI)代理提供工具與技能,協助既有應用程式加入物理 AI 功能,並備妥可供模擬使用的 3D 內容。
機器人、工廠與自主系統在實際運作前,都必須先透過模擬進行設計、測試與訓練。要讓 3D 內容可適用於模擬,不只需要逼真的視覺效果,也須具備正確的結構、材質、比例、標籤、感測器與物理屬性。透過 NVIDIA Agent Toolkit 中的 NVIDIA Omniverse 函式庫,AI 代理將擁有建立工作流程、檢查場景、標記問題及準備資產的工具與技能,協助開發人員更快速地將 3D 內容轉化為可用於模擬的環境。
NVIDIA 創辦人暨執行長黃仁勳表示:「物理 AI 時代將優先在模擬環境中建構。搭載 Omniverse 函式庫的 NVIDIA Agent Toolkit,將 AI 代理導入開發人員現在使用的 3D 工具,協助打造模擬就緒的世界,讓機器人、工廠與自主系統早在進入真實世界之前,就能完成訓練與測試。」
SideFX 與 PTC 等軟體開發商正整合 Omniverse 函式庫,用於支援代理的感測器模擬、物理模擬與資產驗證,助力將代理型 AI 導入開發人員與技術美術師原本用來準備 3D 內容的應用程式與工作流程。
Omniverse 函式庫為 NVIDIA Agent Toolkit 帶來物理 AI 技能
NVIDIA Agent Toolkit 協助軟體開發商建立可連結工具、技能與資料來源的 AI 代理。Omniverse 函式庫則透過可呼叫的工具,進一步將這些代理延伸至 3D 與物理 AI 工作流程,這些工具可在既有應用程式中進行感測器模擬、GPU 加速物理模擬,以及模擬就緒的資產驗證。
全新 Omniverse 函式庫包括 ovrtx、ovphysx 與 CAD-to-SimReady 技能,現已於 GitHub 開放存取,為 AI 代理提供工具,用於建立檢查場景、測試變更,以及為模擬準備 3D 資產的工作流程。此外,用於將 Omniverse 函式庫整合至 Blender的全新藍圖目前也已在 GitHub 上提供。
這些函式庫的主要功能包括:
● NVIDIA RTX 感測器模擬:ovrtx 協助應用程式從 3D 場景產生攝影機、光達、雷達及其他感測器的輸出結果,讓開發人員與 AI 代理能測試物理 AI 系統將如何感知虛擬環境。
● 物理行為:ovphysx 運用 GPU 加速物理模擬,透過碰撞、質量、摩擦力與運動等屬性,為 3D 場景帶來逼真的行為,使團隊能先在模擬環境中測試物件與系統的互動模式。
● 適用於模擬的 3D 物件:CAD-to-SimReady 技能可協助將電腦輔助設計(CAD)資料轉換為基於 OpenUSD 建置的 SimReady 資產,賦予 3D 內容進行物理 AI 模擬與虛擬測試所需的屬性。
軟體開發商運用 Omniverse 函式庫進行開發
包括 SideFX 和 PTC 在內的軟體開發商,以及ForgeCAD、Lightwheel、Moonlake AI 與 Palatial 等新創公司,皆是首批採用並運用 Omniverse 函式庫進行開發的軟體業者。這些函式庫現已成為 NVIDIA Agent Toolkit 的一部分。
SideFX 正運用 OpenUSD 工作流程,以及 ovrtx 和 ovphysx 函式庫,探索代理能夠如何協助將 Omniverse 函式庫整合至 Houdini 的程序化 3D 內容創作工作流程,讓技術美術師得以產生內容、測試物理效果,並準備用於模擬的內容。
SideFX 總裁暨執行長 Kim Davidson 表示:「程序化 3D 內容創作,是打造模擬、機器人與工業 AI 所需之複雜且可控世界的關鍵。透過 NVIDIA Omniverse 函式庫與 OpenUSD,SideFX 正探索代理就緒的工具如何能支援 Houdini 工作流程,協助技術美術師檢查、測試並準備用於模擬的程序化內容,同時保有對創作流程的控制權。」
PTC Onshape CAD 與產品資料管理(PDM)平台正運用 OpenUSD 與 ovrtx,將雲端原生設計工作流程連結至物理模擬,協助產品設計內容持續串聯電腦輔助設計、產品資料管理、協作與模擬工作流程。
PTC 總裁暨執行長 Neil Barua 表示:「工程團隊希望在整個開發過程中,以更加連貫的方式進行設計、協作與模擬。PTC 與 NVIDIA 的合作支持這項更宏大的願景,而 NVIDIA Omniverse 函式庫則有助於實現模擬就緒的工作流程,讓驗證與測試更貼近產品設計流程。」
在 SIGGRAPH 上展示的「SimReady」Blender,是一套利用 NVIDIA Omniverse 函式庫與 NVIDIA NemoClaw™ 在 Blender 中建構的示範工作流程,展示軟體開發商如何在既有 3D 應用程式中,加入代理就緒的模擬功能,包括 NVIDIA RTX 感測器模擬、物理模擬與驗證,同時讓創作者保有控制權。這套工作流程現已作為藍圖公開釋出,供開發者將 Omniverse 函式庫整合至 Blender 中。
該展示也呈現了以 NVIDIA Agent Toolkit 內 Omniverse 函式庫打造的工作流程,如何在本地端執行,從搭載 NVIDIA RTX Spark™ 的精巧型 RTX 系統,到由 NVIDIA GB300 驅動、採用 NVIDIA DGX Station™ 的系統。華碩、戴爾科技集團、HP、聯想集團、Microsoft Surface 與微星科技將於今年秋季推出 RTX Spark 系統,宏碁與技嘉的機型也將陸續上市。華碩、戴爾科技集團、技嘉科技、HP、微星科技、美超微與 Exxact 推出的 DGX Station 系統現已開放訂購。
包括 NVIDIA Inception 計畫成員在內的新創公司,也正運用 Omniverse 函式庫與技能,加入由代理輔助的資產與場景準備工作流程。Palatial 正運用 Omniverse 的 CAD-to-SimReady 技能,大規模自動化完成從 CAD 輸入資料到 SimReady 資產的生成及驗證。Lightwheel 則在其 SimReadyGen 技術中,運用由 OpenUSD 驅動的 Omniverse Content Agents,透過文字提示產生物理精確的 SimReady 資產。
ForgeCAD 與 Moonlake AI 正探索由代理驅動的 3D 內容工作流程,運用 Omniverse 的功能協助產生、擴增並準備用於物理 AI 模擬的資產。
觀看 NVIDIA 在 SIGGRAPH 的主題演講。瞭解 NVIDIA Omniverse 函式庫,並探索現有範例與文件。
關於NVIDIA(輝達)
NVIDIA(輝達)為 AI 與加速運算領域的全球領導者。