视觉检测的结果通常是 OK/NG 信号,接收该信号并剔除不良品的,是另外安装的设备。Physical AI 则更进一步,由机器人根据所看到、所判断的内容直接行动。抓哪里、用多大的力夹持、往哪个方向扭转,都根据当时的情况决定。
组成要素
| 要素 | 作用 | 在 fineAi 中 |
|---|---|---|
| 视觉 | 感知对象的位置・姿态・状态 | Basler 2D 相机,Zivid・Photoneo・EpicEye 3D 相机 |
| AI 模型 | 检测对象、判定缺陷 | YOLO 检测・分割,PatchCore/PaDiM 异常检测 |
| 机器人 | 移动与作业 | Rainbow Robotics RB5-850 · RB10-1300e 协作机器人 |
| 末端执行器 | 抓取、焊接等 | OnRobot 2FG7、Tesollo DG-3F-M 三指(12 自由度)夹爪 |
| 传感器 | 确认接触・力 | 6 轴力/力矩传感器 |
| 标定 | 相机坐标 → 机器人坐标 | 手眼标定 |
| 虚拟验证 | 预先确认路径・碰撞・周期时间 | 数字孪生 |
案例:香菇采收自动化
CUBE FARM 栽培系统与 RoboVision 联动,由机器人摘下成熟的香菇并放入筐中。
- 感知 — 用 3D 相机拍摄栽培架,找到香菇并确定其 3D 位置。
- 判断 — 为每朵香菇生成可抓取的夹爪姿态候选,按碰撞可能性和稳定性排序,再从预先定义的抓取预设(18 种)中选出合适的一种。
- 行动 — 机器人靠近后用三指夹爪握住,左右扭转手腕(twist pluck)将其摘下。
- 确认 — 用力/力矩传感器确认接触和抓取状态。如果与预期不符,状态机(FSM)会重新尝试或转到下一朵香菇。
- 记录 — 采收结果回传至 CUBE FARM,与生长数据一起管理。
案例:焊接检测
在机械臂末端安装相机和光源,沿焊缝移动拍摄。利用拍摄的图像找出缺陷,并测量 3D 焊道截面,评定 ISO 5817 等级。标记为漏检・过检的结果会积累到数据集中,用于重新训练。
语言模型做什么
finetheAi Physical AI Platform(PaaS)使用在本地运行的语言模型(Ollama)。
- 作业指令 — 将“3 号筐满了就换到 4 号”这类自然语言指令拆解为作业步骤。基于 LangGraph 的编排器把任务分配给多个智能体。
- 结果解读 — 视觉语言模型(VLM)查看异常检测热力图,用文字说明是哪一种异常。
- 运营报告 — 汇总一天的作业结果,生成日报。
语言模型不会直接驱动机器人。实际动作由遵循已验证路径和安全规则的控制层执行,语言模型则在其上层负责规划和说明。
安全第一
即使是在人身边作业的协作机器人,安全装置也是基本配置。RoboVision 支持紧急停止(E-STOP)和暂停,并内置无需真实机器人即可确认动作的仿真模式。新动作要先在仿真和数字孪生中确认,再移到真机上执行。