다중비교 보정 계산기

검정을 여러 번 하면 아무 차이가 없어도 유의한 것이 나오기 때문입니다. 유의수준 5%는 «틀릴 확률 5%»라는 뜻이므로, 스무 번 재면 한 번쯤은 우연히 걸립니다. 정확히는 1 − (1 − 0.05)²⁰ = 64%로, 절반이 넘습니다.

p값에 검정 수를 곱하고 1을 넘으면 1로 자릅니다. p′ = min(1, m × p)입니다. 가장 단순하고 가장 보수적인 방법으로, 어떤 상황에서도 «하나라도 틀릴 확률»을 유의수준 아래로 눌러 줍니다. 대신 검정이 많아지면 웬만한 것은 살아남지 못합니다.

같은 보증을 주면서 언제나 같거나 더 많이 잡아내므로 홀름을 쓰면 됩니다. 본페로니가 통과시키는 것은 홀름도 반드시 통과시킵니다. p값을 오름차순으로 정렬해 (m − i)를 곱하되 앞까지의 최댓값을 누적해 취하는 방식이며, 본페로니가 여전히 쓰이는 것은 설명하기 쉽기 때문이지 더 나아서가 아닙니다.

목표가 다릅니다. 본페로니와 홀름은 «하나라도 틀릴 확률(FWER)»을 누르지만, BH는 «유의하다고 고른 것 중 틀린 것의 비율(FDR)»을 누릅니다. 그래서 더 느슨하고 더 많이 잡아냅니다. 유전자 수만 개를 한꺼번에 보는 것처럼 검정이 아주 많을 때, 몇 개쯤 헛것이 섞이는 것을 감수하고 진짜를 놓치지 않으려는 자리에 씁니다.

하나라도 틀리면 곤란한 자리에는 홀름, 후보를 추려 다음 실험으로 넘기는 자리에는 BH가 맞습니다. 임상시험의 주요 평가변수나 규제 제출은 앞쪽이고, 탐색적 분석이나 대규모 스크리닝은 뒤쪽입니다. 중요한 것은 결과를 보기 전에 정하는 것입니다. 세 값을 계산해 놓고 마음에 드는 것을 고르면 보정한 의미가 사라집니다.

보정한 값을 유의수준과 그대로 비교하면 됩니다. 보정값이 0.05 이하면 그 검정은 통과입니다. 유의수준을 낮추는 방식(0.05 대신 0.05/m)과 같은 결론을 주지만, 보정된 p값으로 적으면 표에 그대로 실을 수 있어 편합니다.

단조화 단계가 빠진 구현일 가능성이 큽니다. 홀름은 오름차순으로 누적 최댓값을, BH는 내림차순으로 누적 최솟값을 취해야 하는데, 이 단계가 없으면 «p는 큰데 보정값은 작은» 자리가 생겨 순서가 뒤집힙니다. 이 계산기는 R의 p.adjust와 같은 알고리즘을 씁니다.

전송되지 않습니다. 모든 계산은 브라우저 안에서 이루어지며 입력값은 이 기기에만 남습니다.