李以樂和李欣庭這兩位才華橫溢的歌手經常在網路上直播唱歌,有次在台北一處公共廣場上進行演唱時,NVIDIA 創辦人暨執行長黃仁勳恰巧遇見她們。
當兩位歌手在演唱 Lady Gaga 的《Always Remember Us This Way》時,黃仁勳忍不住與她們一同高歌,並為這段演出熱情鼓掌。
該直播影片隨即在網路上獲得廣大觀賞與迴響,而兩位歌手後續錄製的影片也是廣受歡迎,她們演唱了 Lady Gaga 的《Hold My Hand》,這首歌也是黃仁勳一開始向她們點唱的歌曲。
使用 NVIDIA Omniverse Avatar Cloud Engine 打造 Toy Jensen
黃仁勳藉由以人工智慧 (AI) 打造而成的虛擬分身 Toy Jensen 的幫助下,構想出以節日為主題,又富有樂趣的回應。
NVIDIA 的創意團隊迅速為 Toy Jensen 打造這項以節日為主題的演出,從中展現出 NVIDIA Omniverse Avatar Cloud Engine (ACE) 平台的部分核心技術。
Omniverse ACE 集合雲端原生 AI 微服務與工作流程,供開發人員輕鬆建立、自訂與部署迷人的互動式虛擬分身。
與當前想要開發虛擬分身,需要同時具備專業知識、特殊設備及人力密集型的工作流程不同,Omniverse ACE 建立在 NVIDIA 的 Unified Compute Framework (UCF) 之上,只需要用最簡易的程式碼,便能快速建立及設定 AI 作業管道。
NVIDIA 技術專案經理 Cyrus Hogg 表示:「這項技術非常了不起!我們能夠做到這個程度,表現實在是太出色了!」
NVIDIA 的團隊為了實現這個目標,使用最近開發的語音轉換模型,從其中的樣本中提取專業歌手的聲音,並把它變成 Toy Jensen 的聲音 – 原本是需要耗費數小時,實際錄音以進行訓練而開發出的聲音。團隊使用樣本裡的音符,並將其套用到 Toy Jensen 的數位聲音上,讓這個虛擬分身唱出跟原唱一樣的音符和節奏。
NVIDIA Omniverse 生成式 AI - Audio2Face、Audio2Gesture 支援製作逼真的臉部表情與肢體動作
該團隊接著使用 NVIDIA Omniverse ACE、Omniverse Audio2Face 和 Audio2Gesture 等技術,單純按照 Toy Jensen 的聲音,便為整段表演產生出逼真的臉部表情和肢體動作。
Omniverse ACE 這項技術背後的團隊,花了多年時間來開發和微調演出中所展示的技術,但只用了不到數小時的時間,就將他們創作的音樂曲目變成一段精美的動畫。
Toy Jensen 以《Jingle Bells》一曲來與粉絲同樂
這予以團隊有更充足的時間來確保完成一場令人驚豔的表演。
他們甚至攜手曾與 Michael Bublé 和 David Foster 合作過的作曲家兼製作人 Jochem van der Saag,為 Toy Jensen 創作完美的伴奏。
Hogg 表示:「有 Jochem van der Saag 全力幫忙的作曲和編曲,對團隊來說可是如虎添翼。非常高興能有他的加入。」
ACE 將會徹底改變虛擬體驗
這支動畫完美展現出 NVIDIA Omniverse ACE 的優勢及其用於各行各業的情況 – 像是虛擬活動、線上教育和客戶服務,以及為電玩遊戲、社群媒體和虛擬實境體驗建立個人專屬的數位化身。我們很快將開放合作夥伴搶先試用 NVIDIA Omniverse ACE。