ROC 곡선·AUC 계산기

아무 양성 하나와 아무 음성 하나를 뽑았을 때 양성의 점수가 더 높을 확률입니다. AUC 0.8이면 그런 쌍 100개 중 80개에서 양성이 더 높은 점수를 받는다는 뜻입니다. 넓이라는 기하학적 뜻과 이 확률이 정확히 같은 값이라는 점이 AUC를 쓰는 이유입니다.

한쪽만 구현하면 틀려도 알 수 없기 때문입니다. 곡선 아래를 사다리꼴로 적분한 값과 맨-휘트니 U를 n₁n₂로 나눈 값은 근사가 아니라 항등적으로 같아야 합니다. 이 계산기는 둘을 따로 구해 함께 보여 주므로, 값이 어긋나면 그 자리에서 드러납니다.

그 임계값에서 곡선이 비스듬한 선분이 됩니다. 같은 점수를 받은 양성과 음성이 함께 있으면 TP와 FP가 동시에 올라가기 때문입니다. 그래서 계단으로 처리하지 않고 사다리꼴로 적분해야 하며, 맨-휘트니 쪽에서 동점을 0.5개로 세는 것이 정확히 여기에 대응합니다. 다른 계산기와 값이 다르다면 대개 이 처리 때문입니다.

민감도 + 특이도 − 1이며, ROC 곡선에서 무작위 판정선과 가장 멀리 떨어진 점을 찾는 값입니다. 0이면 무작위와 다르지 않고 1이면 완벽하게 갈립니다. 다만 J를 최대로 하는 임계값은 «놓치는 것과 헛짚는 것의 비용이 같다»는 전제를 깔고 있어, 놓치는 쪽이 훨씬 비싼 자리에서는 답이 아닙니다.

점수의 방향이 뒤집혀 있을 가능성이 큽니다. 점수가 낮을수록 양성인 지표라면 부호를 바꾸어 다시 넣으면 되고, 그러면 AUC는 1에서 지금 값을 뺀 값이 됩니다. 실제로 무작위보다 못한 분류기는 드물고, 대개는 라벨이나 부호를 잘못 붙인 것입니다.

유병률에 따라 다릅니다. AUC는 순위만 보는 값이라 양성이 1%든 50%든 같은 값이 나옵니다. 유병률이 아주 낮은 자리에서는 AUC가 높아도 양성이라고 판정한 것 중 진짜가 몇 %인지(양성예측도)는 낮을 수 있으므로, 실제로 쓸지는 혼동행렬을 직접 보고 판단해야 합니다.

Hanley–McNeil(1982) 근사를 씁니다. 점수가 지수분포라는 가정을 깔고 있어 보수적인 편이며, 널리 쓰이는 DeLong 방법과는 값이 다를 수 있습니다. 논문에 실을 값이라면 통계 패키지로 다시 확인하는 편이 좋습니다.

전송되지 않습니다. 모든 계산은 브라우저 안에서 이루어지며 입력값은 이 기기에만 남습니다.