Computer vision Metric

1. Image Classification

1-1. Confusion Matrix

이전에 분류지표에서도 많이 설명했던 Confusion Matrix에 대하여 다시 짚고 넘어가자.

`TP`: 실제 positive인 것을 positive라고 예측 =정답

`FP`: 실제 negative인 것을 positive로 예측= 오답

`FN`: 실제 positive인 것을 negative로 예측 = 오답

`TN`: 실제 negative인 것을 negative로 예측 = 정답

1-2. 평가지표

즉 앞에 T/F는 맞혔는지 틀렸는지를 의미, 뒤에 P/N은 무엇으로 예측하였는지를 의미

`Accuracy`: 전체 데이터에 대하여 올바르게 예측된 데이터의 비율 $$ \text{Accuracy} = \frac{TP + TN}{TP + TN + FP + FN} $$

`Precision`: 모델이 positive로 예측한 데이터 중에서 실제 positive인 데이터의 비율 $$ \text{Precision} = \frac{TP}{TP + FP} $$
`Recall`: 실제 positive인 데이터 중에서 모델이 positive로 예측한 데이터의 비율 $$\text{Recall (Sensitivity)} = \frac{TP}{TP + FN} $$
`Specificity`: 실제 negative인 데이터 중에서 모델이 negative로 예측한 데이터의 비율 $$\text{Specificity} = \frac{TN}{TN + FP} $$
`F1 score`:Precision과 recall의 조화평균 $$ F1 score = \frac{2 \times \text{Precision} \times \text{Recall}}{\text{Precision} + \text{Recall}}$$

`TPR`: 실제 True 중에서 positive로 예측한 비율

`FPR`: 실제 False 중에서 positive로 예측한 비율

1-3. ROC curve

다양한 threshhold에서의 성능을 한눈에 볼 수 있도록 시각화 한 측정 그래프 

FPR과 TPR을 각각 x, y축으로 가지는 그래프로, threshold를 연속적으로 바꾸면서 측정했을 때 이 둘의 변화를 나타낸 것

좌상단에 치우칠수록 높은 성능을 의미한다. 

 

2. Object Detection

2-1. IoU

`IoU`: Intersection over Union의 약자로, Bounding Box의 겹치는 영역의 크기를 통해 정확도를 평가하는 방법

2-2. TP & FP

위의 classification의 confusion matrix에서 나왔던 TP와 FP를 Object Detection에서는 IoU값을 기준으로 분류한다. 

특정 threshold를 기준으로 IoU가 threshold보다 클 경우 TP로 구분, 작을 경우 FP로 구분한다. 

이를 이용해 Precision과 Recall을 계산할 수 있다. 

Threshold가 높을수록, bbox의 수가 적어지고 Recall이 내려가며 Precision이 올라간다.

Threshold가 낮을수록, bbox의 수가 많아지고 Recall이 높아지며 Precision이 내려간다.

이 관계를 그래프로 그린 것이 `PR Curve`라고 부른다. 

이렇게 구한 PR Curve의 아래쪽 면적을 `AP`:Average Precision이라고 부르며 모델의 성능을 정략적으로 평가하고자 하는 수치이다. 모든 클래스에 대한 AP의 평균을 `mAP`: Mean Average Precision이라고 부른다. 

3. Image Segmentation

3-1. PA

`PA`:Pixel Accuracy는 모든 pixel에 대해 class를 올바르게 예측한 pixel의 비율을 의미한다. 

$$ PA=\frac{\sum_{i=0}^{K}p_{ii}}{\sum_{i=0}^{K}\sum_{j=0}^{K}p_{ij}} $$

이를 모든 class에 대하여 평균을 내면 `MPA`:Mean Pixel Accuracy라고 부른다.

$$ MPA=\frac{1}{K+1}\sum_{i=0}^{K}\frac{p_{ii}}{\sum_{j=0}^{K}p_{ij}} $$

3-2. IoU

Object Detection에서는 bbox의 겹치는 것을 기준으로 평가했다면, Image Segmentation에서는 픽셀단위의 겹치는 부분을 이용하여 계산한다. 

3-3. Dice Coefficient

IoU와 유사하지만, 두 영역(합집합, 교집합)의 조화평균을 사용하여 계산하는 방법

- 데이터가 imbalence 할 경우 더 정확한 metric