비전 검사의 결과는 보통 OK/NG 신호입니다. 그 신호를 받아 불량품을 빼내는 것은 따로 설치된 설비가 합니다. Physical AI는 한 걸음 더 나아가, 보고 판단한 내용을 바탕으로 로봇이 직접 행동합니다. 어디를 집을지, 어떤 힘으로 쥘지, 어느 방향으로 비틀지를 그때그때 정합니다.
구성 요소
| 요소 | 역할 | fineAi에서 |
|---|---|---|
| 비전 | 대상의 위치·자세·상태 인지 | Basler 2D, Zivid·Photoneo·EpicEye 3D 카메라 |
| AI 모델 | 대상 탐지, 결함 판정 | YOLO 탐지·세그멘테이션, PatchCore/PaDiM 이상 탐지 |
| 로봇 | 이동과 작업 | Rainbow Robotics RB5-850 · RB10-1300e 협동로봇 |
| 말단 공구 | 집기, 용접 등 | OnRobot 2FG7, Tesollo DG-3F-M 3핑거(12자유도) 그리퍼 |
| 센서 | 접촉·힘 확인 | 6축 힘/토크 센서 |
| 보정 | 카메라 좌표 → 로봇 좌표 | Hand-Eye 캘리브레이션 |
| 가상 검증 | 경로·충돌·사이클 사전 확인 | 디지털 트윈 |
사례 — 표고버섯 수확 자동화
CUBE FARM 재배 시스템과 RoboVision이 연동되어, 다 자란 표고버섯을 로봇이 따서 바구니에 담습니다.
- 인지 — 3D 카메라로 재배대를 찍고, 버섯을 찾아 3D 위치를 확정합니다.
- 판단 — 버섯마다 집을 수 있는 그리퍼 자세 후보를 만들고, 충돌 가능성과 안정성으로 순위를 매깁니다. 미리 정해 둔 파지 프리셋(18종)에서 맞는 것을 고릅니다.
- 행동 — 로봇이 다가가 3핑거 그리퍼로 쥐고, 손목을 좌우로 비틀어(twist pluck) 땁니다.
- 확인 — 힘/토크 센서로 접촉과 파지 상태를 확인합니다. 예상과 다르면 상태 기계(FSM)가 재시도하거나 다음 버섯으로 넘어갑니다.
- 기록 — 수확 결과가 CUBE FARM으로 돌아가 생육 데이터와 함께 관리됩니다.
사례 — 용접 검사
로봇 팔 끝에 카메라와 조명을 달고 용접선을 따라 이동하며 찍습니다. 찍은 영상으로 결함을 찾고 3D 비드 단면을 재서 ISO 5817 등급을 매깁니다. 미검·과검으로 표시된 결과는 데이터셋에 쌓여 재학습에 쓰입니다.
언어 모델이 하는 일
finetheAi Physical AI Platform(PaaS)은 로컬에서 도는 언어 모델(Ollama)을 씁니다.
- 작업 지시 — "3번 바구니가 차면 4번으로 바꿔" 같은 자연어 지시를 작업 단계로 나눕니다. LangGraph 기반 오케스트레이터가 여러 에이전트에 일을 나눠 줍니다.
- 결과 해석 — 비전-언어 모델(VLM)이 이상 탐지 히트맵을 보고 어떤 이상인지 문장으로 설명합니다.
- 운영 보고 — 하루 작업 결과를 요약해 일일 리포트를 만듭니다.
언어 모델은 로봇을 직접 움직이지 않습니다. 실제 동작은 검증된 경로와 안전 규칙을 따르는 제어 계층이 수행하고, 언어 모델은 그 위에서 계획과 설명을 맡습니다.
안전이 먼저
사람 곁에서 움직이는 협동로봇이라도 안전 장치는 기본입니다. RoboVision은 비상 정지(E-STOP)와 일시정지를 지원하고, 실제 로봇 없이 동작을 확인하는 시뮬레이션 모드를 내장하고 있습니다. 새 동작은 시뮬레이션과 디지털 트윈에서 먼저 확인한 뒤 실기로 옮깁니다.