도구스학업·수학

플라이스 카파 계산기

평가자 셋 이상이 대상을 범주로 나눠 판정한 표를 넣으면 플라이스 카파(Fleiss' kappa)로 일치도를 계산합니다.

대상 × 범주 판정 표

한 줄이 대상 하나입니다. 칸마다 그 범주로 판정한 평가자 수를 적으세요 — 행의 합(대상당 평가자 수)이 모든 줄에서 같아야 합니다.

플라이스 카파(κ)

0.392

어느 정도 (fair)

대상 수5개
대상당 평가자 수3명
범주 수3개
관측 일치도 P̄0.6
우연 일치도 Pₑ0.3422
플라이스 카파(κ)0.3919

범주별 판정 비율

범주 140%
범주 233.3%
범주 326.7%
해석 구간(0.81 이상 거의 완전 ~ 0 미만 우연보다 못함)은 랜디스·코크(1977)가 제안한 관례일 뿐 절대적인 합격선이 아닙니다. 분야마다 요구 수준이 다르며, 의료처럼 엄격한 자리에서는 0.8 이상을 요구하기도 합니다.
평가자가 정확히 두 명이고 어느 평가자가 어느 대상을 봤는지 대응이 되어 있다면 edu/cohens-kappa를 쓰세요. 플라이스 카파는 “이 대상을 몇 명이 이 범주로 봤는가”라는 집계표만 있으면 되고, 평가자 대응은 필요 없습니다.

계산 방법

  1. 1대상마다 한 줄, 범주마다 한 칸으로 표를 만듭니다. 각 칸에는 그 대상을 그 범주로 판정한 평가자 수를 적습니다.
  2. 2모든 대상을 같은 수의 평가자가 봐야 합니다(행의 합이 전부 같아야 합니다).
  3. 3플라이스 카파와 해석 구간을 확인합니다.

자주 묻는 질문

edu/cohens-kappa는 평가자가 정확히 두 명이고, 어느 평가자가 어느 대상을 봤는지 대응이 되어 있을 때 씁니다. 플라이스 카파는 평가자가 셋 이상이거나, 대상마다 실제로 평가한 사람이 달라 대응시킬 수 없을 때 씁니다 — "이 대상을 몇 명이 이 범주로 봤는가"라는 집계표만 있으면 됩니다.

플라이스 카파의 공식이 대상당 평가자 수(n)가 고정되어 있다고 가정하기 때문입니다. 대상마다 평가자 수가 다르면 이 계산기의 공식을 그대로 쓸 수 없어 입력을 다시 확인하라고 안내합니다.

랜디스·코크(1977)가 제안한 구간(0.81 이상 거의 완전, 0.61~0.80 상당함, 0.41~0.60 보통 등)을 참고용으로 보여줍니다. 이 구간은 저자들이 임의로 제안한 관례일 뿐 절대적인 합격선이 아니며, 분야마다 요구 수준이 다릅니다.

네. 평가자들의 판정이 우연히 맞을 확률보다도 못하게 갈리면(예: 한 대상 안에서 평가가 여러 범주로 고르게 쪼개지면) 카파가 음수가 됩니다.

전송되지 않습니다. 모든 계산은 브라우저 안에서 이뤄지고, 입력값은 이 기기에만 남습니다.

알아두면 좋은 점

  • κ = (P̄−P_e)/(1−P_e) 공식(P̄·P_e를 다중평가자 집계표에서 구하는 방식)은 Wikipedia "Fleiss' kappa" 항목과 Fleiss(1971) 원 논문을 인용한 SAS SUGI22 자료가 동일하게 제시합니다(WebSearch 교차 확인, 2026-09-05). 정의로 정해지는 계산이라 유효기간은 없습니다.
  • 해석 구간(랜디스·코크 1977)은 edu/cohens-kappa의 kappaLevel을 그대로 재사용합니다 — 코헨의 카파와 같은 관례이지 절대 기준이 아닙니다.
  • 핵심 계산은 src/lib/calc/fleissKappa.ts에 있습니다.

함께 보면 좋은 도구

마지막 검증: 2026년 9월 5일 · 결과는 참고용 추정치입니다.