4. ROC curve 와 AUC

- Accuracy 정확도
(TP + TN) / (TP + TN + FP + TN)

- Precision 정밀도 
TP / (TP + FP)

- Recall 재현율 = Sensitivity 민감도 = TPR true positive rate
TP / (TP + FN)

- FPR false positive rate
FP / (TN + FP)

- Specificity 특이성 = TNR true nagative rate
TN / (TN + FP)  = 1 - FPR

 

ROC curve

X-axis 가 FPR, Y-axis 가 TPR 인 곡선

Receiver Operation Characteristic Curve, 통신장비성능 측정용도로
고안된 곡선이기 때문에 이런 이름. 이름이 중요하진 않다

FPR 은 threshold 값이 변함에 따라 변한다.
threshold = 1 이라면 모두 Nagative 로 분류하므로 TP = FP = 0
따라서 FPR = (0 / (? + 0)) = 0
threshold = 0 이라면 반대로 TN = FN = 0
FPR = ? / (0 + ?) = 1 이 된다.

AUC

Area Under CurveROC curve 의 정적분값, 즉 면적

1에 가까울수록(FPR 이 작음에도 TPR 이 크게 나와야 함) 좋은 성능

ROC curve 함수가 y=x 에 가까울수록 좋지 않은 성능
random 하게 이진 분류를 할 경우 ROC curve : y=x 가 된다.