Video thumbnail for 【TO Talk】機器人世代的崛起:AI 及機器人技術大解析 feat. 李昇達 NVIDIA 台灣新創生態系暨機器人開發者關係負責人

AI機器人時代來臨:NVIDIA專家解析人形機器人技術與應用

Summary

Language:

Quick Abstract

人形機器人時代來臨?一窺 NVIDIA Project Groot 如何透過 AI 驅動機器人發展,解決勞力缺口並適應物理世界!這份摘要將帶您快速了解人形機器人的發展趨勢、技術挑戰,以及 NVIDIA 在此領域的創新應用,從降低成本到提升機器人的自主學習能力,揭示未來機器人技術的無限可能。

Quick Takeaways:

  • 勞力缺口:全球勞力短缺造成 GDP 巨大損失,推動機器人技術發展。

  • 物理世界:AI 無法完全取代人類,許多工作仍需機器人與真實世界互動。

  • 成本降低:人形機器人成本大幅下降,加速商業化應用。

  • NVIDIA Project Groot:打造機器人大腦,提升機動性與自主學習能力。

  • Dual System:結合高階推理和底層控制,使機器人更聰明靈活。

  • 資料金字塔:結合真實世界資料、衍生資料與合成資料,訓練機器人模型。

  • Isaac Platform:建立機器人模擬場景,加速資料生成和訓練。

  • Holoscan:實現低延遲、高解析度的傳輸,支持大量感測器數據處理。

Project Groot N1 是一個完全開放原始碼的計畫, NVIDIA 建構了 Universe 平台,藉由 Isaac SYNC工具與 Cosmos, 降低 AI 導入機器人的門檻。透過視覺與語言模型(VLM & LM) 理論與 diffusion transformer 結合, 使機器人可以對應真實世界的各種應用情境。

發展機器人的原因

勞力缺口

  • 搜集了六個先進國家2011年至今的人力缺口,數字龐大。去年這六個國家因勞工職位空缺造成的GDP損失約1.4兆,相當於墨西哥全國GDP。

需接觸實體物理世界的工作眾多

  • 雖然AI如ChatGPT能幫助解決很多問題,但最終將想法變成實體仍需進入真實物理世界。例如吃飯需要人煮,會計師盤點公司資產負債表仍需親臨現場。

人型機器人使用成本降低

  • 從早期NASA的Robonaut一台150萬美金,到現在Unitree G1可降到4萬美金左右甚至更低。

機器人的三大領域

無人機

  • 已在AWS的說明中介紹過。

自主駕駛機器人

  • AWS的應用中也有,這兩個領域已有許多具經濟和戰略價值的應用情境。

人型機器人

  • 人型機器人是否必要,後面會討論。

人型機器人開發遇到的問題

機器人對異常情況的處理

  • 機械手臂在特定工作中,遇到未預期的情況(如蘋果大小不同)就無法正常工作,像個笨蛋。

資料生成

  • 若要機器人自主學習挑選全世界的蘋果,收集所有蘋果不切實際。所以資料生成部分,要取得真實且足夠的場景資料,再回饋到神經網路,讓機器人能應對未來任務變化,最終部署到真實世界。

Physical AI lifecycle

Generate token

  • Isaac平台協助生成各種機器人訓練所需的場景和資料。

Learn token

  • 透過DGX系列的超級電腦進行學習。

Edge computing

  • 推出最新一代AGX Thor,用於部署這些Token。

機器人的學習與系統

學習特定任務

  • Generalist機器人需要先學習特定任務,如看東西、移動、抓取等。

雙系統

  • 分為底層和高層。底層像人體本能反應,執行可靠動作;高層理解指令,變成可執行任務交給底層系統。

資料金字塔

真實世界資料

  • 成本高但必要,機器人不認得所有事情時需要。

衍生資料

  • 人型機器人因世界基礎設施多為人類打造,可透過各種管道取得大量資料。

Isaac生成資料

  • 針對特定任務生成符合需求的資料。

AI發展階段

specialist AI system

  • 滿足特定任務。

全知全能的超級大腦

  • 如chatGpt4,但大多數企業無法負擔。

Generalist AI的應用

  • 將超大全知全能的模型變成適合自己應用的大小,再進化到Specialized的 generalist。機器人也從單一功能的specialist向通用型發展。

Project Groot

概念

  • one AI brain for all humanoid robots,核心是機器人大腦。

機動性

  • 機器人能學習NBA球星打籃球等動作,代表在物理世界有一定機動性。

發展空間

  • 能力提升、成本下降、易部署在以人類為主的世界、網路有大量資料、可透過Isaac生成特定任務資料。

Dual System

  • 高層reasoning思考任務執行方式,交給底層control。

Project Groot N1

  • 完全open的project,可在Github下載,分為左半部的reasoning engine和右半部的diffusion transformer。

案例

  • 用HackingFan上的Lerobot SO100加上Project Groot,可玩有趣應用。

資料合成與訓練

Isaac

  • 透過gen AI產生各種生活應用場景情境,訓練機械手臂等。

VisionPro與Isaac

  • 透過Apple的VisionPro進入Isaac的Gen,模擬操作機器人,收集demo後生成更多特定情境資料,做AI訓練。

真實與合成世界資料

  • 真實世界資料貴但必要,合成世界可複製大量資料,加快速度,訓練model後部署到不同應用。

NVLAB與Project Groot

論文發表

  • NVLAB有許多關於Project Groot的論文發表。

Groot Teleport

  • 在虛擬場景建立好後,透過VisionPro登錄操作並錄製,讓機器人初步學習。

Groot Gen

  • 生成場景資料,讓機器人有更多corner case做更好學習。

Groot Control

  • EcoSystem的partner會用到Groot的部分或全部。

Physical AI與Omniverse

Omniverse

  • 提供建構真實世界所需工具,連結既有工具。

Cosmos

  • 用Prompt方式生成場景,給機器人做訓練。

OpenUSD

  • 讓大家建構3D世界模擬,並方便交換、互動、協作的格式。

Isaac SYNC與Isaac Lab

  • Isaac SYNC完成Project Groot的事,Isaac Lab進行強化式學習和模仿式學習。

Jetson與Holoscan

Jetson

  • 從X1、X2到Thor,增加了Security和Security Island,確保硬體安全性和Redundancy。使用Jetson時要注意VPI,能大幅提升處理速度。

Holoscan

  • 早期用於醫療儀器,主打低延遲和高解析度傳輸,現在在機器人上也很重要,協助大量Sensor進入運算器處理。

Inception Program

  • 新創公司十年以內、兩個人、未上市,可考慮加入Inception Program。

Was this summary helpful?

Quick Actions

Watch on YouTube

Related Summaries

No related summaries found.

Summarize a New YouTube Video

Enter a YouTube video URL below to get a quick summary and key takeaways.