검정력·표본크기 계산기

차이가 실제로 있을 때 그것을 유의하다고 잡아낼 확률입니다. 1 − β이며, β는 «차이가 있는데 없다고 할 확률(2종 오류)»입니다. 관행적으로 80%를 목표로 잡는데, 다섯 번에 한 번은 놓쳐도 괜찮다는 뜻입니다.

검정력이 낮으면 «유의하지 않았다»는 결과를 해석할 수 없기 때문입니다. 정말 차이가 없는 것인지, 차이는 있는데 표본이 작아 못 잡은 것인지 구별되지 않습니다. 자료를 모으기 전에 계산해야 그 결과에 뜻이 생깁니다.

계산으로 나오는 값이 아니라 정해야 하는 값입니다. 두 평균의 차이를 표준편차로 나눈 것이며, 선행 연구의 값을 쓰거나 실무적으로 의미 있는 최소 차이를 표준편차로 나눠 정합니다. 코헨이 제시한 0.2(작음)·0.5(중간)·0.8(큼)은 분야를 가리지 않는 눈금이라 참고로만 씁니다.

교과서에 흔한 n = 2(z₍α/2₎+z₍β₎)²/d²는 t 분포를 정규분포로 갈음한 것이라 필요한 표본을 실제보다 작게 봅니다. d = 0.5, 검정력 80%에서 정규근사는 63을 내지만 정확한 값은 64입니다. 표본이 작을수록 더 어긋납니다. 이 계산기는 비중심 t 분포로 구한 정확한 값을 내고 근사값을 함께 보여 줍니다.

차이가 실제로 있을 때 t 통계량이 따르는 분포입니다. 귀무가설이 참이면 t 분포를 따르지만, 차이가 있으면 중심이 δ = d√(n/2)만큼 옮겨갑니다. 검정력은 그 옮겨간 분포에서 임계값 밖으로 나갈 확률입니다.

헛것을 잡지 않으려고 조심할수록 진짜도 놓치기 쉬워지기 때문입니다. α를 0.05에서 0.01로 좁히면 임계값이 멀어져 같은 표본에서 검정력이 내려갑니다. 둘을 다 지키려면 표본을 늘려야 합니다.

권하지 않습니다. 관측된 효과크기로 구한 «사후 검정력»은 p값을 다시 쓴 것에 지나지 않아 새로운 정보를 주지 않습니다. p가 크면 사후 검정력은 반드시 낮게 나오므로 «검정력이 낮아서 못 잡았다»는 말이 동어반복이 됩니다. 검정력 계산은 자료를 모으기 전에 하는 것입니다.

전송되지 않습니다. 모든 계산은 브라우저 안에서 이루어지며 입력값은 이 기기에만 남습니다.