[Object Detection] NMS(Non-Maximum Suppression)

💡 Non-Max Suppression이란,

입력 이미지에 Object Detection 알고리즘에 의해 bounding box regression이 적용되면, 아래의 그림과 같이 객체에 여러 개의 bboxr가 그려지며 물체의 확률 값을 가지게 됩니다. 여러 개의 bbox 중 가장 스코어가 높은 박스만 남기고 나머지를 제거하는 것이 Non-Maximum Suppression 이라고 합니다. 이를 통해 모델을 간결하게 하고 중북된 결과를 제거함으로써 정확한 객체 탐지를 수행할 수 있습니다. 

 

📌  동작 원리

① Object Detection 후보군 추출 : 객체탐지 모델을 사용하여 입력 이미지에서 객체 후보군을 추출합니다. 이에 각 후보 객체에 대한 추상적인 위치와 해당 객체가 어떤 클래스에 속하는지에 대한 확률 값을 반환합니다. 즉, Confidence 값을 추출한다고 생각하시면 됩니다.

 

② IoU(Intersection over Union) 계산 및 정렬 : 박스 간의 겹치는 영역을 측정하는 지표이며, 계산된 IoU 값에 따라 후보 객체들을 높은 순서대로 정렬합니다. 주로 IoU가 가장 높은 객체를 선택하고, 최종 객체로 설정하게 됩니다. 하지만 이는 다른 객체와 겹치는 부분이 있을 수도 있어, 다음과 같은 단계를 진행합니다.

 

③ 임계값(threshold) 적용 : 일정 IoU 임계값(주로 0.5)으로 설정하여, 이 임계값 이상으로 겹치는 객체들을 제거합니다. 

 

④ 반복 및 최종 객체 결정 : 만약 입력 데이터에 다중 클래스가 존재한다면, (1)~(3) 단계를 반복합니다.

---

💡 Soft NMS란, 

 

기존 NMS는 가장 높은 Confidence 값을 가지는 bbox를 찾고, 같은 클래스인 bbox들 중 겹치는 영역의 임계값이 이상이라면 제거하는 것 입니다. 하지만 이와 같이 임계값을 설정하는 것은 매우 복잡하고 까다로우며 mAP가 낮아지는 문제가 발생하게 됩니다. 예시로 위 그림에서 Blueberry를 검출하기 위해 0.53 ~ 0.92 Confidence 값이 존재합니다. 가장 높은 0.92의 Blueberry를 제외하고, 나머지는 사라지게 됩니다. 이러한 문제점을 해결하기 위해서 Soft-NMS가 고안되었습니다. 

 

Soft-NMS의 아이디어는 생각보다 단순합니다. 높은 IOU와 높은 confidence score를 가진 propsal을 완전히 제거하지 않고 IOU의 값에 비례하여 proposal의 confidence를 줄인다.