R&D
CENTER

Physical AI:会看、会判断、会动作的 AI

不止于把检测结果显示在屏幕上,而是由机器人根据该结果抓取、搬运、加工物体,这就是 Physical AI。本文以香菇采收自动化案例介绍其组成要素和运行闭环。

入门4 分钟0 浏览
本课要点
  1. Physical AI 在真实世界中反复执行“感知(视觉)→ 判断(AI)→ 行动(机器人)→ 确认(传感器)”的闭环。
  2. 将视觉坐标转换为机器人坐标的标定,以及在真机运行前验证动作的数字孪生,是关键的连接环节。
  3. 力/力矩传感器和状态机(FSM)使机器人在遇到与预期不符的情况时,能够安全停止或重新尝试。
  4. 语言模型(LLM・VLM)以理解作业指令、解释结果的角色加入这一闭环。

视觉检测的结果通常是 OK/NG 信号,接收该信号并剔除不良品的,是另外安装的设备。Physical AI 则更进一步,由机器人根据所看到、所判断的内容直接行动。抓哪里、用多大的力夹持、往哪个方向扭转,都根据当时的情况决定。

感知2D·3D 视觉 判断检测·抓取规划 行动机器人·夹爪 确认力传感器·重新拍摄
Physical AI 的运行闭环。不是一次判断就结束,而是再次确认行动的结果,并修正下一次行动。

组成要素

要素 作用 在 fineAi 中
视觉 感知对象的位置・姿态・状态 Basler 2D 相机,Zivid・Photoneo・EpicEye 3D 相机
AI 模型 检测对象、判定缺陷 YOLO 检测・分割,PatchCore/PaDiM 异常检测
机器人 移动与作业 Rainbow Robotics RB5-850 · RB10-1300e 协作机器人
末端执行器 抓取、焊接等 OnRobot 2FG7、Tesollo DG-3F-M 三指(12 自由度)夹爪
传感器 确认接触・力 6 轴力/力矩传感器
标定 相机坐标 → 机器人坐标 手眼标定
虚拟验证 预先确认路径・碰撞・周期时间 数字孪生

案例:香菇采收自动化

CUBE FARM 栽培系统与 RoboVision 联动,由机器人摘下成熟的香菇并放入筐中。

  1. 感知 — 用 3D 相机拍摄栽培架,找到香菇并确定其 3D 位置。
  2. 判断 — 为每朵香菇生成可抓取的夹爪姿态候选,按碰撞可能性和稳定性排序,再从预先定义的抓取预设(18 种)中选出合适的一种。
  3. 行动 — 机器人靠近后用三指夹爪握住,左右扭转手腕(twist pluck)将其摘下。
  4. 确认 — 用力/力矩传感器确认接触和抓取状态。如果与预期不符,状态机(FSM)会重新尝试或转到下一朵香菇。
  5. 记录 — 采收结果回传至 CUBE FARM,与生长数据一起管理。

案例:焊接检测

在机械臂末端安装相机和光源,沿焊缝移动拍摄。利用拍摄的图像找出缺陷,并测量 3D 焊道截面,评定 ISO 5817 等级。标记为漏检・过检的结果会积累到数据集中,用于重新训练。

语言模型做什么

finetheAi Physical AI Platform(PaaS)使用在本地运行的语言模型(Ollama)。

  • 作业指令 — 将“3 号筐满了就换到 4 号”这类自然语言指令拆解为作业步骤。基于 LangGraph 的编排器把任务分配给多个智能体。
  • 结果解读 — 视觉语言模型(VLM)查看异常检测热力图,用文字说明是哪一种异常。
  • 运营报告 — 汇总一天的作业结果,生成日报。

语言模型不会直接驱动机器人。实际动作由遵循已验证路径和安全规则的控制层执行,语言模型则在其上层负责规划和说明。

安全第一

即使是在人身边作业的协作机器人,安全装置也是基本配置。RoboVision 支持紧急停止(E-STOP)和暂停,并内置无需真实机器人即可确认动作的仿真模式。新动作要先在仿真和数字孪生中确认,再移到真机上执行。