遵循提示：生成式人工智慧借助NVIDIA Isaac平台使機器人更智慧
前言：
波士頓動力（Boston Dynamics）、Collaborative Robotics、Covariant、Sanctuary AI、Unitree Robotics等公司在機器人領域中採用大型語言模型（LLM）
生成式人工智慧（AI）正在重塑價值數兆美元的產業，而智慧機器人領域的領導者 NVIDIA 正在抓住時機。
今天，作為 CES 前特別演講的一部分，NVIDIA 機器人和邊緣運算副總裁 Deepu Talla 詳細介紹了 NVIDIA 及其合作夥伴如何將生成式AI和機器人結合在一起。
這是一種自然的契合，有越來越多的合作夥伴，包括波士頓動力（Boston Dynamics）、Collaborative Robotics、Covariant、Sanctuary AI、Unitree Robotics等公司，都在採用GPU加速的大型語言模型，為各種機器帶來前所未有的智慧和適應性。
時機再好不過了。
Talla表示：「由AI驅動的自主機器人越來越多地用於提高效率、降低成本和解決勞動力短缺問題。」
參與創造過程
NVIDIA從一開始就在生成式AI革命中扮演了重要角色。
十年前，NVIDIA創辦人暨執行長黃仁勳親自交付了第一台NVIDIA DGX AI超級電腦給OpenAI。現在，受益於OpenAI的ChatGPT，生成式AI已成為我們這個時代增長最快的技術之一。
而這只是剛剛開始。
Talla預測，生成式AI的影響將超越文字和圖像生成，擴展到家庭和辦公室、農場和工廠、醫院和實驗室。
關鍵在於大型語言模型（LLM），類似於大腦的語言中心，將使機器人更自然地理解並回應人類的指令。
這樣的機器將能夠持續地從人類學習、相互學習，以及向周圍的世界中學習。
Talla表示：「鑒於這些特性，生成式AI非常適用於機器人技術。」
機器人如何使用生成式AI
Agility Robotics、NTT和其他公司正在將生成式AI融入他們的機器人中，以幫助它們理解文字或語音命令。Dreame Technology的吸塵機器人正於生成式AI模型創建出的模擬生活空間中接受訓練。而Electric Sheep正在開發一種用於自主修剪草坪的世界模型。
NVIDIA Isaac和Jetson平台等 NVIDIA 技術有助於AI驅動的機器人開發和部署，已受到超過 120 萬名開發者、10,000 家公司和合作夥伴所依賴。
其中許多公司本週將參加CES，包括Analog Devices、Aurora Labs、Canonical、Dreame Innovation Technology、DriveU、e-con Systems、Ecotron、Enchanted Tools、GlüxKind、Hesai Technology、Leopard Imaging、Segway-Ninebot、Nodar、Orbbec、QT Group、Robosense、Spartan Radar、TDK Corporation、Telit、Unitree Robotics、Voyant Photonics和ZVISION Technologies Co., Ltd。
兩個大腦比一個大腦好
在 CES 的演講中，Talla 展示了在機器人領域部署AI所需的雙電腦模型（如下圖），並展示了 NVIDIA 在AI開發和應用的全面方法。
第一台電腦，被稱為「AI工廠（AI Factory）」，是創建和不斷改善AI模型的核心。
AI工廠使用了NVIDIA的資料中心運算基礎設施以及其AI和NVIDIA Omniverse平台，用於模擬和訓練AI模型。
第二台電腦代表機器人的運行環境。
這取決於應用情境：它可能在雲端或資料中心，也可以在本地伺服器中，用於執行半導體製造中的缺陷檢查等任務；或在配備多個感測器和攝影機的自動化機器內。
產生高品質的資產和場景
Talla還強調了大型語言模型在消除技術障礙方面的作用，將典型用戶轉變為能夠創建複雜機器人工作單元或整個倉庫模擬的技術藝術家。
使用像是NVIDIA Picasso這樣的生成式AI工具，使用者可以從簡單的文字提示中生成栩栩如生的3D資產，並將它們添加到數位場景中，用於動態和全面的機器人訓練環境。
同樣的功能還可以擴展到在 Omniverse 中創建多樣化且物理上精確的場景，增強機器人的測試和訓練，以確保現實世界的適用性。
這與生成式AI在重新配置機器人部署方面的變革潛力相吻合。
傳統上，機器人是專門為特定任務而設計的，而針對不同的任務對其進行修改是一個耗時的過程。
但大型語言模型和視覺語言模型的進步正在消除這一瓶頸，透過自然語言可以與機器人進行更直覺的互動，Talla解釋道。
這種具有適應性並能感知周圍環境的機器，很快就會遍布世界各地。
欲了解更多資訊，請參加CES 線上分享會並觀看 Talla 的完整演講。
