NVIDIA Research 贏得國際電腦視覺與圖型識別會議端對端駕駛自動駕駛挑戰賽
前言：
NVIDIA 在國際電腦視覺與圖型識別會議（Conference on Computer Vision and Pattern Recognition，CVPR）上展示了用於自動駕駛載具開發上加速運算和生成式 AI的 突破
NVIDIA 採取行動加速自動駕駛汽車的開發，今天在本週於西雅圖舉行的國際電腦視覺與圖型識別會議（CVPR）會議上被評為自動駕駛挑戰賽（Autonomous Grand Challenge）獲勝者。
繼去年在 3D 佔用狀況預測獲勝的基礎上，NVIDIA Research今年憑藉其 Hydra-MDP 模型在大規模端到端駕駛類別中名列前茅，超越了全球 400 多個參賽作品。
這一里程碑表明了生成式人工智慧（AI）在建立自動駕駛載具（AV)）開發中的物理AI 部署方面的重要性。該技術還可應用於工業環境、醫療保健、機器人等領域。
此獲獎作品還獲得了 CVPR 創新獎，表彰 NVIDIA 改進「任何使用習得開迴路代理指標的端到端駕駛模型」的方法。
此外，NVIDIA 還推出了 NVIDIA Omniverse Cloud Sensor RTX，這是一組微服務，可實現物理上精確的感測器模擬，從而加速各種全自動機器的開發。
端對端駕駛的運作原理
開發自動駕駛汽車的競賽不是一場短跑，而是一場永無止境的鐵人三項賽，其中三個不同但關鍵的部分同時運行：AI訓練、模擬和自動駕駛。每個步驟都需要自己的加速運算平台，而專門為這些步驟建構的全堆疊系統形成了一個強大的三合一系統，可實現持續的開發週期，始終提高效能和安全性。
為了實現這一目標，首先在NVIDIA DGX等 AI 超級電腦上訓練模型。然後，在進入車輛之前，使用NVIDIA Omniverse平台並在 NVIDIA OVX系統上運行，進行模擬測試和驗證，最後，NVIDIA DRIVE AGX平台透過模型即時處理感測器資料。
建構一個在複雜的物理世界中安全導航的自主系統極具挑戰性。系統需要全面感知和理解周圍環境，然後在幾分之一秒內做出正確、安全的決策。這需要類人的態勢感知來處理潛在的危險或罕見的情況。
自動駕駛載具軟體開發傳統上基於模組化方法，具有用於物件檢測和追蹤、軌跡預測以及路徑規劃和控制的單獨組件。
端到端自動駕駛系統使用統一模型接收感測器輸入並產生載具軌跡來簡化這一過程，有助於避免過於複雜的管道，並提供更全面、資料驅動的方法來處理現實場景。
觀看有關 Hydra-MDP 模型的影片，是 CVPR 端到端駕駛自動駕駛挑戰賽的獲勝者：https://www.youtube.com/watch?v=wfpLLSz5iWY
應對巨大挑戰
今年的 CVPR 挑戰賽要求參與者開發一個端對端自動駕駛模型，使用 nuPlan 資料集進行訓練，以根據感測器資料產生駕駛軌跡。
這些模型被提交在開源 NAVSIM 模擬器中進行測試，並負責導航數千個他們尚未經歷過的場景。根據安全性、乘客舒適度和與原始記錄軌跡的偏差指標對模型效能進行評分。
NVIDIA Research 獲獎的端到端模型會接收攝影機和光學雷達資料以及車輛的軌跡歷史記錄，以在感測器輸入後五秒內產生安全、最佳的車輛路徑。
NVIDIA 研究人員用於贏得比賽的工作流程可以透過 NVIDIA Omniverse 在高保真模擬環境中複製。這意味著自動駕駛模擬開發人員可以在物理精確的環境中重新建立工作流程，然後再在現實世界中測試自動駕駛。NVIDIA Omniverse Cloud Sensor RTX 微服務將於今年稍後推出。歡迎註冊搶先體驗。
此外，NVIDIA 在 CVPR語言駕駛（Driving with Language）自動駕駛大挑戰賽中排名第二。NVIDIA的方法將視覺語言模型和自動駕駛系統連接起來，整合大型語言模型來幫助做出決策並實現可概括、可解釋的駕駛行為。
了解更多CVPR
今年 CVPR 接受了 50 多篇 來自NVIDIA的論文，主題涵蓋汽車、醫療保健、機器人等。十幾篇論文將涵蓋 NVIDIA 汽車相關研究，包括：
Hydra-MDP: End-to-End Multimodal Planning With Multi-Target Hydra-Distillation
CVPR 大規模端到端駕駛挑戰賽的獲勝者
閱讀 NVIDIA 技術部落格
Producing and Leveraging Online Map Uncertainty in Trajectory Prediction
CVPR最佳論文獎入圍
Driving Everywhere With Large Language Model Policy Adaptation
請參考 DRIVE Labs: LLM-Based Road Rules Guide Simplifies Driving
Is Ego Status All You Need for Open-Loop End-to-End Autonomous Driving?
Improving Distant 3D Object Detection Using 2D Box Supervision
Dynamic LiDAR Resimulation Using Compositional Neural Fields
BEVNeXt: Reviving Dense BEV Frameworks for 3D Object Detection
PARA-Drive: Parallelized Architecture for Real-Time Autonomous Driving
NVIDIA AI研究副總裁 Sanja Fidler 將在 CVPR 自動駕駛工作坊上就視覺語言模型發表演講。
了解更多有關 NVIDIA Reasearch，這是一個由數百名科學家和工程師組成的全球團隊，專注於AI、電腦繪圖、電腦視覺、自動駕駛汽車和機器人等主題。
