ROC AUC(receiver operating characteristic curve, Area Under ROC)

ROC 곡선

ROC 곡선(수신자 조작 특성 곡선)은 모든 분류 임계값에서 분류 모델의 성능을 보여주는 그래프입니다. 이 곡선은 다음 두 매개변수를 표시합니다.

• 참 양성 비율(TPR)
• 허위 양성 비율(FPR)

참 양성 비율(TPR)은 재현율의 동의어이며 이에 따라 다음과 같이 정의됩니다.TPR=TPTP+FN

허위 양성 비율(FPR)은 다음과 같이 정의됩니다.FPR=FPFP+TN

ROC 곡선은 다양한 분류 임계값의 TPR 및 FPR을 나타냅니다. 분류 임계값을 낮추면 더 많은 항목이 양성으로 분류되므로 거짓양성과 참양성이 모두 증가합니다. 다음 그림에서는 일반 ROC 곡선을 보여줍니다.

그림 4. 다양한 분류 임계값의 참 양성(TP) 및 허위 양성(FP) 비율

ROC 곡선의 점을 계산하기 위해 분류 임계값이 다른 로지스틱 회귀 모형을 여러 번 평가할 수 있지만 이 방법은 효율적이지 않습니다. 다행히 이 정보를 제공할 수 있는 효율적인 정렬 기반 알고리즘이 있는데, 이를 AUC라고 합니다.

AUC: ROC 곡선 아래 영역

AUC는 ‘ROC 곡선 아래 영역’을 의미합니다. 즉, AUC는 (0,0)에서 (1,1)까지 전체 ROC 곡선 아래에 있는 전체 2차원 영역을 측정합니다(적분학을 생각해 보세요).

그림 5. AUC(ROC 곡선 아래 영역)

https://developers.google.com/machine-learning/crash-course/classification/check-your-understanding-roc-and-auc?hl=ko

AUC는 가능한 모든 분류 임계값에서 성능의 집계 측정값을 제공합니다. AUC를 해석하는 한 가지 방법은 모델이 임의 양성 예제를 임의 음성 예제보다 더 높게 평가할 확률입니다. 예를 들어 다음 예에서는 로지스틱 회귀 예측의 오름차순으로 왼쪽에서 오른쪽으로 정렬되어 있습니다.

그림 6. 로지스틱 회귀 점수를 오름차순으로 평가한 예측

AUC는 임의의 양성(초록색) 예제가 임의의 음성(빨간색) 예제의 오른쪽에 배치되는 확률을 나타냅니다.

AUC 값의 범위는 0~1입니다. 예측이 100% 잘못된 모델의 AUC는 0.0이고 예측이 100% 정확한 모델의 AUC는 1.0입니다.

AUC는 다음 두 가지 이유로 이상적입니다.

• AUC는 척도 불변입니다. AUC는 절대값이 아니라 예측이 얼마나 잘 평가되는지 측정합니다.
• AUC는 분류 임계값 불변입니다. AUC는 어떤 분류 임계값이 선택되었는지와 상관없이 모델의 예측 품질을 측정합니다.

하지만 이러한 두 이유는 특정 사용 사례에서 AUC의 유용성을 제한할 수 있다는 단점이 있습니다.

• 척도 불변이 항상 이상적인 것은 아닙니다. 예를 들어 잘 보정된 확률 결과가 필요한 경우가 있는데 AUC로는 이 정보를 알 수 없습니다.
• 분류 임계값 불변이 항상 이상적인 것은 아닙니다. 허위 음성(FN) 비용과 허위 양성(FP) 비용에 큰 차이가 있는 경우 한 가지 유형의 분류 오류를 최소화하는 것은 위험할 수 있습니다. 예를 들어 이메일 스팸 감지를 실행할 때 허위 양성(FP)의 최소화로 인해 허위 음성(FN)이 크게 증가한다고 해도 허위 양성(FP) 최소화를 우선시하고 싶을 수 있습니다. AUC는 이런 유형의 최적화에 유용한 측정항목이 아닙니다.

아래 옵션을 살펴보세요.다음 ROC 곡선 중에서 0.5보다 큰 AUC 값을 산출하는 곡선은 무엇일까요?

AUC 및 조정 예측

아래 옵션을 살펴보세요.주어진 모델에서 모든 예측에 2.0을 곱하면(예를 들어 모델이 0.4를 예측하는 경우 2.0을 곱하여 0.8이라는 예측을 산출) AUC로 측정한 모델의 예측 성능이 어떻게 바뀔까요?이렇게 되면 AUC 값이 유용해집니다. 예측값이 모두 서로 멀리 떨어져 있기 때문입니다.바뀌지 않습니다. AUC는 상대적인 예측 점수만 고려합니다.이제 예측값이 완전히 틀리기 때문에 AUC가 쓸모없게 됩니다.