發展機器人的原因
勞力缺口
- 搜集了六個先進國家2011年至今的人力缺口，數字龐大。去年這六個國家因勞工職位空缺造成的GDP損失約1.4兆，相當於墨西哥全國GDP。
需接觸實體物理世界的工作眾多
- 雖然AI如ChatGPT能幫助解決很多問題，但最終將想法變成實體仍需進入真實物理世界。例如吃飯需要人煮，會計師盤點公司資產負債表仍需親臨現場。
人型機器人使用成本降低
- 從早期NASA的Robonaut一台150萬美金，到現在Unitree G1可降到4萬美金左右甚至更低。
機器人的三大領域
無人機
- 已在AWS的說明中介紹過。
自主駕駛機器人
- AWS的應用中也有，這兩個領域已有許多具經濟和戰略價值的應用情境。
人型機器人
- 人型機器人是否必要，後面會討論。
人型機器人開發遇到的問題
機器人對異常情況的處理
- 機械手臂在特定工作中，遇到未預期的情況（如蘋果大小不同）就無法正常工作，像個笨蛋。
資料生成
- 若要機器人自主學習挑選全世界的蘋果，收集所有蘋果不切實際。所以資料生成部分，要取得真實且足夠的場景資料，再回饋到神經網路，讓機器人能應對未來任務變化，最終部署到真實世界。
Physical AI lifecycle
Generate token
- Isaac平台協助生成各種機器人訓練所需的場景和資料。
Learn token
- 透過DGX系列的超級電腦進行學習。
Edge computing
- 推出最新一代AGX Thor，用於部署這些Token。
機器人的學習與系統
學習特定任務
- Generalist機器人需要先學習特定任務，如看東西、移動、抓取等。
雙系統
- 分為底層和高層。底層像人體本能反應，執行可靠動作；高層理解指令，變成可執行任務交給底層系統。
資料金字塔
真實世界資料
- 成本高但必要，機器人不認得所有事情時需要。
衍生資料
- 人型機器人因世界基礎設施多為人類打造，可透過各種管道取得大量資料。
Isaac生成資料
- 針對特定任務生成符合需求的資料。
AI發展階段
specialist AI system
- 滿足特定任務。
全知全能的超級大腦
- 如chatGpt4，但大多數企業無法負擔。
Generalist AI的應用
- 將超大全知全能的模型變成適合自己應用的大小，再進化到Specialized的 generalist。機器人也從單一功能的specialist向通用型發展。
Project Groot
概念
- one AI brain for all humanoid robots，核心是機器人大腦。
機動性
- 機器人能學習NBA球星打籃球等動作，代表在物理世界有一定機動性。
發展空間
- 能力提升、成本下降、易部署在以人類為主的世界、網路有大量資料、可透過Isaac生成特定任務資料。
Dual System
- 高層reasoning思考任務執行方式，交給底層control。
Project Groot N1
- 完全open的project，可在Github下載，分為左半部的reasoning engine和右半部的diffusion transformer。
案例
- 用HackingFan上的Lerobot SO100加上Project Groot，可玩有趣應用。
資料合成與訓練
Isaac
- 透過gen AI產生各種生活應用場景情境，訓練機械手臂等。
VisionPro與Isaac
- 透過Apple的VisionPro進入Isaac的Gen，模擬操作機器人，收集demo後生成更多特定情境資料，做AI訓練。
真實與合成世界資料
- 真實世界資料貴但必要，合成世界可複製大量資料，加快速度，訓練model後部署到不同應用。
NVLAB與Project Groot
論文發表
- NVLAB有許多關於Project Groot的論文發表。
Groot Teleport
- 在虛擬場景建立好後，透過VisionPro登錄操作並錄製，讓機器人初步學習。
Groot Gen
- 生成場景資料，讓機器人有更多corner case做更好學習。
Groot Control
- EcoSystem的partner會用到Groot的部分或全部。
Physical AI與Omniverse
Omniverse
- 提供建構真實世界所需工具，連結既有工具。
Cosmos
- 用Prompt方式生成場景，給機器人做訓練。
OpenUSD
- 讓大家建構3D世界模擬，並方便交換、互動、協作的格式。
Isaac SYNC與Isaac Lab
- Isaac SYNC完成Project Groot的事，Isaac Lab進行強化式學習和模仿式學習。
Jetson與Holoscan
Jetson
- 從X1、X2到Thor，增加了Security和Security Island，確保硬體安全性和Redundancy。使用Jetson時要注意VPI，能大幅提升處理速度。
Holoscan
- 早期用於醫療儀器，主打低延遲和高解析度傳輸，現在在機器人上也很重要，協助大量Sensor進入運算器處理。
Inception Program
- 新創公司十年以內、兩個人、未上市，可考慮加入Inception Program。