R&D
CENTER

物件偵測:為瑕疵標上名稱與位置的 YOLO・RT-DETR

說明物件偵測如何針對已知的瑕疵類型,回答「是什麼、在哪裡、有多確定」。內容涵蓋框・類別・信心度、IoU 與 NMS、各類別閾值,以及如何與異常檢測搭配使用。

入門4 分鐘1 瀏覽
本課重點
  1. 物件偵測的每個結果都會輸出框(位置)、類別(種類)與信心度(確定程度)。
  2. IoU 是兩個框重疊的程度;NMS 是在同一對象上重疊輸出的多個框中,只保留最確定的那一個的後處理。
  3. 每種瑕疵的風險不同,因此要依類別分別設定閾值。
  4. 已知的瑕疵用物件偵測,未知的瑕疵用異常檢測——在現場兩者會一起使用。

異常檢測會告訴您「這裡和良品不一樣」。但若要改善製程,需要的是「這是壓痕,位於右上方,今天出現了幾個」。區分並計數瑕疵種類,是**物件偵測(Object Detection)**的工作。

輸出:框、類別、信心度

scratch 0.91 dent 0.84 框 · 類別 · 信心度 IoU = 重疊面積 ÷ 聯集面積0.5 以上時,通常視為「同一對象」
左:每個偵測結果都附有框、類別與信心度。右:兩個框的 IoU 同時用於與正確答案比對及去除重複。
  • 框(Bounding box) — 包圍瑕疵的矩形位置與大小。
  • 類別 — 瑕疵的種類,即訓練時設定的名稱(scratch、dent、missing 等)。
  • 信心度(Confidence) — 模型對該判斷有多確定,介於 0~1 之間的值。

IoU 與 NMS

模型常會對同一個瑕疵輸出多個略有差異的框。**NMS(Non-Maximum Suppression)**會保留信心度最高的框,並刪除與該框大量重疊(IoU 達到基準以上)的其餘框。Multi-Inspector 的 modeN_iou 設定就是這個基準。調低數值,相鄰的兩個瑕疵可能會被合併成一個;調高數值,同一個瑕疵可能會被計算兩次。

IoU 也用於評估。模型的框與正確答案框的 IoU 必須達到基準(通常為 0.5)以上,才算「正確找到」。

各類別閾值

並非所有瑕疵的分量都相同。影響功能的裂痕只要稍有疑慮就必須抓出,而外觀上的小污漬則可以只在確定時才抓。Multi-Inspector EB v2.3 為每個類別使用不同的信心度閾值,低於閾值的偵測結果也會以細框和 (<thr) 標示留在畫面上,讓操作人員能看到邊界上的案例。所有偵測結果都記錄在 CSV 的 YOLO_Detections 欄位中。

YOLO 與 RT-DETR

  • YOLO — 只看影像一次,就同時預測所有框的方式。快速且輕量,廣泛用於現場推論。fineAi 使用 Ultralytics YOLO 系列(v8、v11 等)。
  • RT-DETR — 以 Transformer 為基礎的即時偵測模型。其結構不需 NMS 即可直接輸出框,在物體重疊時有時較有利。

fineAi OD Workbench 以相同資料訓練 YOLO 與 RT-DETR 系列共 28 個模型,並排比較準確率與速度。小模型快、大模型準,因此在產線節拍時間內選擇最準確的模型即可。

資料與標註

物件偵測屬於監督式學習,因此標註決定品質。

  • 框要緊貼瑕疵,並依相同基準繪製。每個人畫框的方式不同,模型也會跟著搖擺。
  • 先以文件訂定類別名稱與邊界案例(小刮痕算 scratch 還是忽略?),再進行標註。
  • 也要混入沒有瑕疵的良品影像,才能減少過檢。
  • 標註以 COCO 等標準格式儲存,以便在不同工具間移轉。

需要的不是框而是形狀時

像焊道或裂痕這類細長彎曲的瑕疵,用框表示會留下許多空白。這時要使用以像素為單位塗出區域的**分割(segmentation)**模型。RoboVision 的焊接檢測先以分割找出瑕疵區域,再量測長度・深度等定量值,並依 ISO 5817 等級規則判定。

與異常檢測搭配使用

異常檢測 物件偵測
訓練資料 僅良品 瑕疵 + 標註
從未見過的瑕疵 ✓ 抓得到 可能漏檢
瑕疵名稱 不提供 ✓ 提供
瑕疵統計・原因分析 困難 ✓ 容易

產線剛啟動時先從異常檢測開始,運作過程中再為累積的 NG 影像加上標註、加入物件偵測,是很自然的順序。Multi-Inspector 可在同一個零件上同時執行兩種模式。