순열 검정(재표집) 계산기

두 집단의 값을 통째로 섞어 다시 두 무더기로 나누기를 되풀이하면서, 관측한 만큼의 차이가 얼마나 흔한지 직접 세는 검정입니다. 귀무가설이 「두 집단이 같은 분포에서 왔다」라면 어느 값이 어느 집단에 붙었는지가 우연일 뿐이므로, 라벨을 바꿔 붙인 것들이 모두 똑같이 그럴듯하다는 논리입니다.

가정이 다릅니다. t 검정은 자료가 정규분포를 따른다고 보고 t 분포에서 p값을 읽지만, 순열 검정은 자료 자체를 재배열해 분포를 직접 만들어 냅니다. 그래서 정규성이 의심스럽거나 표본이 작거나 이상치가 있을 때 순열 검정 쪽이 안전합니다. 정규분포 자료에서는 두 값이 거의 같게 나옵니다.

가능한 나눔의 수 C(n₁+n₂, n₁)가 감당할 만하면 하나도 빠짐없이 세고, 그렇지 않으면 무작위로 뽑습니다. 10명씩이면 18만 가지지만 20명씩이면 1,378억 가지가 되어 셀 수 없습니다. 전부 센 p값은 정확하고 몇 번을 돌려도 같지만, 뽑은 p값은 돌릴 때마다 조금씩 달라지므로 어느 쪽을 썼는지 반드시 밝혀야 합니다.

그렇게 하지 않으면 p = 0이 나올 수 있는데 0은 «그런 일이 불가능하다»는 뜻이라 틀리기 때문입니다. 관측한 배열 자체도 하나의 재배열이므로 «관측만큼 극단적인» 경우는 언제나 최소한 하나 있습니다. p = (이긴 횟수 + 1) ÷ (반복 + 1)로 해야 검정이 유의수준을 제대로 지키며, 이 보정을 빠뜨린 구현이 흔합니다.

몬테카를로의 하한이 1 ÷ (반복 + 1)이기 때문입니다. 1만 번 뽑았다면 0.0001 아래로는 내려갈 수 없습니다. 더 작은 p값이 필요하면 반복 수를 늘리십시오. 이 하한이 있는 것은 정직한 일입니다 — 1만 번 뽑아 본 것으로 그보다 드문 일을 말할 수는 없습니다.

순열 검정의 큰 강점이 그것입니다. 통계량이 무엇이든 재배열해 분포를 만들 수 있으므로 중앙값 차이나 절사평균 차이도 그대로 검정할 수 있습니다. 이상치가 하나 섞여 평균이 흔들릴 때 중앙값으로 바꿔 보시면 차이가 확 줄어드는 것을 볼 수 있습니다. t 검정에는 이런 선택지가 없습니다.

맨–휘트니는 값을 순위로 바꾼 뒤 순위합을 견주는 것이고, 순열 검정은 값을 그대로 두고 재배열합니다. 순위로 바꾸면 이상치에 둔해지는 대신 값의 크기 정보를 버리게 됩니다. 어느 쪽이 낫다기보다, 관심 있는 것이 «분포의 위치가 다른가»면 맨–휘트니, «평균(또는 고른 통계량)이 다른가»면 순열 검정이 곧바로 답합니다.

몬테카를로를 쓰고 있기 때문입니다. 난수 씨앗을 고정하면 같은 값이 다시 나오고, 씨앗을 바꿔 가며 돌려 보면 p값이 얼마나 흔들리는지 눈으로 확인할 수 있습니다. 흔들림이 판정을 뒤집을 만큼 크다면 반복 수를 늘리셔야 합니다.

전송되지 않습니다. 계산은 모두 브라우저 안에서 이루어지며 붙여 넣은 자료는 이 기기에만 남습니다.