Image segmentation(recognition+localization)

0. Image segmentation

Image segmentation은 object의 boundary를 참조하여, 해당 객체가 있는 위치를 정확히 가리키는 역할을 한다.

대부분의 image segmentation 모델은 encoder, decoder구조로 구성되어 있다.

Encoder: input의 latent space representation을 인코딩

Decoder: encoder로부터 encoding된 정보로부터 decoding하고 segment map을 형성

Image segmentation은 크게 3가지로 나뉜다.

1. Semantic segmentation

Image의 pixel을 semantic(의미론적)으로 분류하는 것. == 실제로 인식할 수 있는 물리적 의미 단위로 인식하는 세그멘테이션

- 특정 클래스에 속하는 pixel은 단순히 해당 클래스로 분류(다른 정보나 context를 고려하지 않음)
- 위와 같은 특징 때문에 이미지에 동일한 클래스의 여러 instance가 밀접하여 단일로 그룹화된다는 단점이 있다(instance를 각각 구분하지 못함).
- 이로 인해, 이미지에 대한 심층적인 세부 정보가 거의 제공되지 않음.

2. Instance segmentation

- 클래스가 아닌 "Instance"를 기반으로 픽셀을 범주로 분류.
- 분류된 영역이 속한 클래스에 대한 개념이 없지만 boundary를 기반으로 겹치거나, 매우 유사한 object region을 분리할 수 있다.

- Semantic segmentation과의 차이점으로 위 그림에서 볼 수 있듯이 동일한 객체에 대해 다른 instance로 인식한다.(semantic에서는 모두 sheep이지만, instance에서는 sheep1, sheep2, sheep3)

- 그러나 Instance segmentation은 객체만을 검출하기 때문에 배경 등을 인식하지 못한다.

3. Panoptic segmentation

Object의 각 Instance를 분리하고 Object의 identity을 예측하는 semantic segmentation + instance segmentation의 조합
주변 환경에 대한 방대한 양의 정보를 캡처해야 하는 환경에서 적용 가능성 있음 (자율 주행 시스템 등)

이러한 image segmentation은 의학사진, 자율주행, 위성이미지 분석 등의 다양한 분야에서 쓰인다.

 

4. 비교

5. Reference

Image Segmentation 정리 (computer vision)

 

이미지 세그멘테이션(Image Segmentation)

 

1. Segmentation이 뭔가요?