카파 계수 계산기

κ = (Po − Pe) / (1 − Pe)입니다. Po는 실제로 일치한 비율(대각선 합 ÷ 전체), Pe는 두 평가자가 각자의 습관대로 무작위로 찍었을 때 우연히 맞을 비율로 Σ(행 합 × 열 합) / N²로 구합니다. 완전 일치면 1, 우연 수준이면 0, 우연보다 못하면 음수가 나옵니다.

우연히 맞은 몫이 섞여 들어가기 때문입니다. 두 평가자가 아무 생각 없이 한쪽만 찍어도 일치율은 높게 나오며, 드문 질환이라면 그것만으로 95%가 될 수도 있습니다. 카파는 그 몫을 빼고 우연을 넘어 개선할 수 있었던 여지로 나눠, 우연 대비 얼마나 잘했는지를 봅니다.

카파의 역설이라고 부르는 정상적인 현상입니다. 관측이 한 범주에 몰려 있으면 우연히 맞을 비율 Pe가 커지고, 분모 (1 − Pe)가 작아져 카파가 낮게 나옵니다. 100명 중 98명이 정상으로 일치하고 나머지가 엇갈리는 경우가 그렇습니다. 평가가 나쁘다는 뜻이 아니므로 카파만 보지 말고 교차표를 함께 봐야 합니다.

절대적인 기준은 없습니다. 널리 쓰이는 랜디스·코크(1977) 구간은 0.21~0.40 어느 정도, 0.41~0.60 보통, 0.61~0.80 상당함, 0.81 이상 거의 완전으로 나누지만, 저자들이 임의로 제안한 것이고 논문에도 그렇게 적혀 있습니다. 의료 진단처럼 오류 비용이 큰 분야에서는 0.8 이상을 요구하기도 합니다.

코헨의 카파 대신 플라이스 카파를 씁니다. 코헨의 카파는 평가자 두 명이 같은 대상을 평가한 경우에만 쓸 수 있습니다. 또 범주에 순서가 있는 경우(경증·중등도·중증 등)에는 어긋난 정도를 반영하는 가중 카파를 쓰는 것이 적절합니다.

표준오차 SE = √(Po(1−Po) / (N(1−Pe)²))를 구하고 카파 ± 1.96×SE로 95% 구간을 잡습니다. 널리 쓰이는 근사식이며 표본이 클수록 정확해집니다. 관측 수가 늘면 카파 자체는 변하지 않지만 구간이 좁아지는데, 표본이 100배가 되면 구간 폭이 10분의 1이 됩니다.