R&D
CENTER

數位孿生與 Pick & Place:在實機之前先以虛擬方式驗證

將機器人工作站原樣複製到虛擬空間,就能在實際移動之前確認路徑、碰撞與週期時間。本篇依序走過 Pick & Place 的完整流程,從 3D 辨識、夾取規劃到實機鏡像。

基礎4 分鐘0 瀏覽
本課重點
  1. 數位孿生是將機器人・夾爪・工作台的形狀與運動學移植到虛擬空間的模型,並使用與實際工作站相同的座標系。
  2. Pick & Place 依「3D 辨識 → 夾取候選產生・排序 → 逆運動學路徑 → 力導引接近 → 放置規劃」的順序進行。
  3. 實機鏡像會接收實際的關節角度,讓孿生跟著移動;若與預期不符就會停止。
  4. 收集運作資料(預測 vs 實測)並更新修正值,即使時間經過也能維持精度。

第一次用實際機器人測試新動作既危險又緩慢。路徑可能撞到治具、關節可能卡在極限,週期時間也可能比預期更長。數位孿生會先在虛擬空間中找出這些問題。

孿生由什麼構成

  • URDF — 記載機器人連桿(手臂各節)形狀與關節位置・極限的標準格式。fineAi Digital Twin 以 URDF 建構 RB5-850E・RB10-1300e 機器人、DG-3F-M 夾爪、栽培架與籃子。
  • 運動學 — 由關節角度求出末端位置的正向運動學(FK),以及由期望的末端位置求出關節角度的逆向運動學(IK)。孿生以解析式 IK 快速計算路徑。
  • 相同的座標系 — 孿生的座標必須與實際工作站相同,虛擬結果才值得信任。為此直接使用 Hand-Eye 校正的結果。

Pick & Place 的完整流程

① 3D 辨識點雲·對位 ② 夾取候選產生·排序·驗證 ③ 路徑IK · 在孿生中確認 ④ 接近·夾取力導引前進 ⑤ 放置格位·低落差 實機鏡像:孿生依實際關節角度跟著移動,偏離時即停止
Digital Twin Pick&Place v1.1 的處理流程。所有步驟都會原樣顯示在孿生畫面上。

① 3D 辨識 — 整理以 3D 相機(EpicEye Pixel Pro)拍攝的點雲並分離出物體,再與已註冊的範本比對,求出位置與姿態。必要時會一併使用 YOLO 偵測。詳細處理請參閱3D 視覺與點雲課程。

② 夾取候選 — 為每個物體產生多個夾爪可握持的姿態,並考量與周圍物體的碰撞、手指接觸面的穩定性,以及機器人是否能到達,進行排序。從最佳候選開始驗證,選出通過的那一個。

③ 路徑 — 以 IK 計算到達所選姿態的關節路徑,並在孿生中重播,確認移動時不會碰撞。

④ 接近與夾取 — 最後幾 cm 是 3D 量測誤差會直接顯現的區間。因此不會一次移動到固定位置,而是每次前進 6 mm,並以力感測器確認夾爪墊是否已接觸。像香菇這類柔軟的對象,握住後會將手腕以 ±15° 扭轉三次將其摘下(twist pluck)。

⑤ 放置 — 規劃籃子或格位上的空位並放下。容易受損的對象會從低處放下(低落差)。

實機鏡像:孿生跟隨實機

實際機器人移動時,接收從控制器資料埠傳入的關節角度,讓孿生中的機器人做出相同的動作。可以親眼確認畫面中的機器人與實際機器人處於相同姿態;若規劃的路徑與實際動作偏離超過一定程度,就會立即停止。

運作中的自我校正

當相機支架輕微下垂,或機構因溫度而伸長時,最初校正的值會一點一點偏移。運作期間會累積「預測位置」與「實際接觸位置」的差異,再以最小平方法重新求出最能解釋該殘差的小幅修正值(ops offset)。即使沒有人重新校正,精度也能維持。

孿生帶來的好處

  • 安全 — 在實機之前找出碰撞與關節極限。
  • 時間 — 不必停線就能準備新動作(離線教導)。
  • 說明 — 將工作階段記錄下來,重播發生問題的瞬間以找出原因。RoboVision 也提供以虛擬相機事先確認視野與拍攝範圍(coverage)的功能。