급내상관계수(ICC) 계산기

평가자를 어떻게 뽑았는지와 무엇을 최종 점수로 쓸지가 기준입니다. 대상마다 평가자가 다른 사람이면 ICC(1,·), 같은 평가자들이 모두를 평가했고 결과를 다른 평가자에게 일반화하고 싶으면 ICC(2,·), 이 평가자들이 관심의 전부면 ICC(3,·)입니다. 여기에 최종 점수로 한 사람의 점수를 쓰면 (·,1), k명의 평균을 쓰면 (·,k)가 붙습니다. 측정기기의 검사–재검사 신뢰도처럼 절대적인 값이 중요한 자리에서는 ICC(2,1)을 쓰는 것이 보통입니다.

한 평가자가 늘 2점씩 후하게 줄 때 일관성은 그것을 문제 삼지 않고 절대일치는 벌점으로 봅니다. 그래서 평가자마다 후하고 박한 정도가 다르면 ICC(2,1)이 ICC(3,1)보다 낮게 나오며, 이 차이가 두 배를 넘기도 합니다. 순위만 같으면 되는 경우(예: 지원자를 줄 세우기)에는 일관성으로 충분하지만, 점수 자체를 값으로 쓰는 경우(예: 혈압계 두 대의 측정값)에는 절대일치를 보셔야 합니다.

흔히 인용되는 Koo & Li(2016)의 구간은 0.5 미만 낮음, 0.5~0.75 보통, 0.75~0.9 좋음, 0.9 이상 매우 좋음입니다. 다만 이것은 관행적인 눈금일 뿐 기준이 아니며, 임상 측정처럼 개인의 값을 판단에 쓰는 자리에서는 0.9 이상을 요구하기도 합니다. 점 추정치보다 신뢰구간의 아래끝을 보고 판단하시는 편이 안전합니다 — 표본이 작으면 구간이 아주 넓게 나옵니다.

나올 수 있습니다. 대상 사이의 분산보다 대상 안의 분산이 더 크면 분자가 음수가 되기 때문이며, 「대상을 구분해 주는 정보가 사실상 없다」는 뜻으로 읽습니다. 원래의 분산성분 정의로는 0보다 작을 수 없으므로 보고할 때 0으로 잘라 적는 관행도 있지만, 계산 그대로 적고 신뢰구간을 함께 보이는 편이 정직합니다.

피어슨 r은 두 평가자의 점수가 나란히 움직이기만 하면 1이 되지만 ICC는 값이 실제로 같은지까지 봅니다. 평가자 B가 늘 A보다 10점씩 높게 주면 r은 1이지만 절대일치 ICC는 크게 떨어집니다. 또 r은 평가자가 셋 이상이면 짝마다 따로 구해야 하는 데 비해 ICC는 한 번에 냅니다.

대상들의 폭이 좁으면 ICC가 낮아집니다. ICC는 전체 분산 중 대상 사이 분산이 차지하는 몫이라, 평가자들이 아무리 잘 맞아도 대상들이 고만고만하면 나눌 것이 없어 값이 떨어집니다. 그래서 표본을 좁게 잡은 연구는 같은 측정도구를 써도 ICC가 낮게 나옵니다. 다른 연구와 견줄 때는 대상의 분포가 비슷한지부터 확인하셔야 하며, 이럴 때는 측정오차 자체를 보는 측정표준오차(SEM)를 함께 적기도 합니다.

재는 대상이 다릅니다. 카파는 진단명처럼 순서 없는 범주에 대한 일치도, 크론바흐 알파는 한 검사 안의 문항들이 같은 것을 재는지 보는 내적 일관성, ICC는 연속형 점수를 여러 번 잰 자료의 신뢰도입니다. 참고로 ICC(3,k)는 크론바흐 알파와 수식이 같아 값이 일치합니다 — 다만 «문항»을 평가자로 볼 때의 이야기입니다.

전송되지 않습니다. 계산은 모두 브라우저 안에서 이루어지고 넣은 값은 이 기기에만 남습니다.