Out-of-distribution Metrics(FPR95, AUROC, AUPR)

OOD Sample과 ID sample을 구분하는 OOD Detection task에서 자주 사용하는 Metric들에 대해 알아보자. 

 

 

 

1) False Positive Rate(FPR95):

모델이 높은 신뢰도로 ID 데이터를 식별하는 상황에서, 얼마나 많은 OOD 데이터를 잘못 식별하는지 평가할 수 있다. 

 

FPR95는 True Positive Rate(TPR)가 95%일 때의 False Positive Rate(FPR)를 의미

• True Positive Rate (TPR): 실제로 In-Distribution (ID) 데이터인 경우를 모델이 올바르게 ID로 분류한 비율.

 

• False - - Positive Rate (FPR): 실제로 OOD 데이터인 경우를 모델이 잘못 ID 데이터로 분류한 비율.

 

즉, TPR이 95%일 때의 FPR 값은, 모델이 ID 데이터를 95%의 확률로 정확하게 식별하는 임계값에서, OOD 데이터를 잘못 ID 데이터로 분류하는 비율을 나타낸다.

 

 

---

 

2) AUROC(the area under the receiver operating characteristic curve): 

 

모델이 ID 샘플과 OOD 샘플을 얼마나 잘 구분하는지 측정한다. 

AUROC는 ROC곡선 아래의 면적을 의미한다.

ROC 곡선은 모델의 True positive rate(TPR)과 False Positive Rate(FPR)간의 관계를 나타내며, 다양한 임계값에서의 성능을 시각화한다. 

ROC curve를 한 마디로 이야기하자면 ROC 커브는 좌상단에 붙어있는 커브가 더 좋은 분류기를 의미한다고 생각할 수 있다.

 

AUROC의 의미

AUROC 값은 0에서 1 사이의 값을 가지며, 다음을 의미한다

• 1.0: 완벽한 분류기. 모든 ID 데이터를 정확히 ID로, 모든 OOD 데이터를 정확히 OOD로 분류
• 0.5: 무작위 분류기. ID와 OOD 데이터를 구분하지 못하며, 동전 던지기와 같은 수준
• 0.0: 완전히 잘못된 분류기. 모든 ID 데이터를 OOD로, 모든 OOD 데이터를 ID로 분류

 

---

 

3) AUPR( the area under the precision-recall curve)

 

Precision-Recall Curve 

PR 곡선은 모델의 Precision과 Recall 간의 관계를 나타낸다. 

- Precision: 모델이 Positive 로 예측한 것 중 실제로 positive인 비율

- Recall: 실제 Positive 중 모델이 positive로 올바르게 예측한 비율. TPR과 동일하다.

 

 

 

AUPR의 의미

AUPR은 Precision-Recall 곡선 아래의 면적을 의미한다.AUPR 값은 0에서 1 사이의 값을 가진다

• 1.0: 완벽한 분류기. 모든 Positive 데이터를 정확히 Positive로, 모든 Negative 데이터를 정확히 Negative로 분류
• 0.0: 완전히 잘못된 분류기. 모든 Positive 데이터를 Negative로, 모든 Negative 데이터를 Positive로 분류

---

 

 

 

참고링크

1) ROC 커브

https://angeloyeo.github.io/2020/08/05/ROC.html