第一次用真实机器人测试新动作既危险又缓慢。路径可能撞到夹具,关节可能卡在极限位置,周期时间也可能比预期更长。数字孪生会先在虚拟空间中发现这些问题。
孪生由什么构成
- URDF — 描述机器人连杆(手臂各节)形状以及关节位置・极限的标准格式。fineAi Digital Twin 用 URDF 构建 RB5-850E・RB10-1300e 机器人、DG-3F-M 夹爪、栽培架和筐。
- 运动学 — 由关节角度求末端位置的正运动学(FK),以及由期望的末端位置求关节角度的逆运动学(IK)。孪生采用解析 IK 快速计算路径。
- 相同的坐标系 — 孪生的坐标必须与真实工作站一致,虚拟结果才可信。为此直接使用手眼标定的结果。
Pick & Place 的全流程
① 3D 识别 — 对 3D 相机(EpicEye Pixel Pro)拍摄的点云进行整理并分割出物体,再与已注册的模板匹配,求出位置和姿态。必要时会同时使用 YOLO 检测。详细处理见3D 视觉与点云课程。
② 抓取候选 — 为每个物体生成多个夹爪可夹持的姿态,并综合考虑与周围物体的碰撞、手指接触面的稳定性以及机器人能否到达,进行排序。从最佳候选开始验证,选出通过验证的那一个。
③ 路径 — 用 IK 计算到达所选姿态的关节路径,并在孪生中回放,确认运动过程中不会发生碰撞。
④ 接近与抓取 — 最后几 cm 是 3D 测量误差会直接暴露出来的区间。因此不是一次移动到既定位置,而是每次前进 6 mm,并用力传感器确认夹爪垫是否已经接触。像香菇这类柔软的对象,夹住后将手腕以 ±15° 扭转三次将其摘下(twist pluck)。
⑤ 放置 — 规划筐或格位上的空位并放下。容易受损的对象从较低高度放下(低落差)。
真机镜像:孪生跟随实物
真实机器人运动时,接收从控制器数据端口传入的关节角度,让孪生中的机器人做出相同的动作。可以直观确认画面中的机器人与真实机器人处于相同姿态;如果规划路径与实际运动的偏离超过一定程度,就会立即停止。
运行中的自标定
当相机支架发生细微下垂,或机构因温度而伸长时,最初标定的值会一点点偏移。运行期间会积累“预测位置”与“实际接触位置”之间的差异,再用最小二乘法重新求出最能解释该残差的小幅修正值(ops offset)。即使无人重新标定,精度也能保持。
孪生带来什么
- 安全 — 在真机运行前发现碰撞和关节极限问题。
- 时间 — 无需停线即可准备新动作(离线示教)。
- 可解释 — 将会话记录下来,回放出现问题的瞬间以查找原因。RoboVision 还提供用虚拟相机预先确认视野和拍摄范围(coverage)的功能。