異常檢測會告訴您「這裡和良品不一樣」。但若要改善製程,需要的是「這是壓痕,位於右上方,今天出現了幾個」。區分並計數瑕疵種類,是**物件偵測(Object Detection)**的工作。
輸出:框、類別、信心度
- 框(Bounding box) — 包圍瑕疵的矩形位置與大小。
- 類別 — 瑕疵的種類,即訓練時設定的名稱(scratch、dent、missing 等)。
- 信心度(Confidence) — 模型對該判斷有多確定,介於 0~1 之間的值。
IoU 與 NMS
模型常會對同一個瑕疵輸出多個略有差異的框。**NMS(Non-Maximum Suppression)**會保留信心度最高的框,並刪除與該框大量重疊(IoU 達到基準以上)的其餘框。Multi-Inspector 的 modeN_iou 設定就是這個基準。調低數值,相鄰的兩個瑕疵可能會被合併成一個;調高數值,同一個瑕疵可能會被計算兩次。
IoU 也用於評估。模型的框與正確答案框的 IoU 必須達到基準(通常為 0.5)以上,才算「正確找到」。
各類別閾值
並非所有瑕疵的分量都相同。影響功能的裂痕只要稍有疑慮就必須抓出,而外觀上的小污漬則可以只在確定時才抓。Multi-Inspector EB v2.3 為每個類別使用不同的信心度閾值,低於閾值的偵測結果也會以細框和 (<thr) 標示留在畫面上,讓操作人員能看到邊界上的案例。所有偵測結果都記錄在 CSV 的 YOLO_Detections 欄位中。
YOLO 與 RT-DETR
- YOLO — 只看影像一次,就同時預測所有框的方式。快速且輕量,廣泛用於現場推論。fineAi 使用 Ultralytics YOLO 系列(v8、v11 等)。
- RT-DETR — 以 Transformer 為基礎的即時偵測模型。其結構不需 NMS 即可直接輸出框,在物體重疊時有時較有利。
fineAi OD Workbench 以相同資料訓練 YOLO 與 RT-DETR 系列共 28 個模型,並排比較準確率與速度。小模型快、大模型準,因此在產線節拍時間內選擇最準確的模型即可。
資料與標註
物件偵測屬於監督式學習,因此標註決定品質。
- 框要緊貼瑕疵,並依相同基準繪製。每個人畫框的方式不同,模型也會跟著搖擺。
- 先以文件訂定類別名稱與邊界案例(小刮痕算 scratch 還是忽略?),再進行標註。
- 也要混入沒有瑕疵的良品影像,才能減少過檢。
- 標註以 COCO 等標準格式儲存,以便在不同工具間移轉。
需要的不是框而是形狀時
像焊道或裂痕這類細長彎曲的瑕疵,用框表示會留下許多空白。這時要使用以像素為單位塗出區域的**分割(segmentation)**模型。RoboVision 的焊接檢測先以分割找出瑕疵區域,再量測長度・深度等定量值,並依 ISO 5817 等級規則判定。
與異常檢測搭配使用
| 異常檢測 | 物件偵測 | |
|---|---|---|
| 訓練資料 | 僅良品 | 瑕疵 + 標註 |
| 從未見過的瑕疵 | ✓ 抓得到 | 可能漏檢 |
| 瑕疵名稱 | 不提供 | ✓ 提供 |
| 瑕疵統計・原因分析 | 困難 | ✓ 容易 |
產線剛啟動時先從異常檢測開始,運作過程中再為累積的 NG 影像加上標註、加入物件偵測,是很自然的順序。Multi-Inspector 可在同一個零件上同時執行兩種模式。