A/B 테스트 유의성 계산기

두 전환율의 차이를 합동 표준오차로 나눈 z로 구합니다. z = (p̂₂−p̂₁) ÷ √(p̄(1−p̄)(1/n₁+1/n₂))이며 p̄는 두 집단을 합친 전환율입니다. 이 z를 표준정규분포에 넣어 양측 p값을 얻습니다.

보는 질문이 다르기 때문입니다. 검정은 «두 비율이 같다»는 귀무가설 아래에서 계산하므로 참값이 하나뿐이라고 보고 두 집단을 합쳐 추정합니다(합동). 신뢰구간은 «차이가 얼마인가»를 재는 것이라 둘이 같다고 보지 않으므로 각각 따로 추정합니다(비합동). 그래서 경계에서는 p값은 유의하지 않은데 신뢰구간은 0을 빼는 일이 생길 수 있습니다. 어느 하나가 틀린 것이 아닙니다.

유의성과 효과 크기는 다른 이야기입니다. p값은 차이의 크기보다 자료의 양에 크게 좌우되어서, 5.0% 대 5.2%처럼 실무적으로 의미 없는 차이도 표본이 19만 명이면 유의해집니다. 차이의 신뢰구간을 보고 그 폭 안의 개선이 사업적으로 의미 있는 크기인지 따로 판단해야 합니다.

아닙니다. «차이를 잡아낼 힘이 모자랐다»일 수도 있습니다. 10% 대 13%라는 꽤 큰 차이도 각 1,000명으로는 검출력이 0.56에 그쳐 절반 가까이 놓칩니다. 유의하지 않게 나왔다면 필요한 표본 수를 확인해 보세요.

n(집단당) = [z_{α/2}√(2p̄(1−p̄)) + z_β√(p₁q₁+p₂q₂)]² ÷ Δ²입니다. 잡으려는 차이 Δ가 작을수록 제곱으로 늘어나서, 차이를 절반으로 줄이면 표본은 4배가 듭니다. 10%를 13%로 올리는 것을 검출력 80%로 잡으려면 집단당 1,774명이 필요합니다.

안 됩니다. 이 검정은 정해 둔 표본을 다 모은 뒤 한 번 본다는 전제로 만들어졌습니다. 계속 들여다보다 p < 0.05가 뜨는 순간 멈추면 실제 1종 오류율이 5%가 아니라 20~30%까지 올라갑니다. 아무 차이가 없어도 계속 보면 언젠가 우연히 걸리기 때문입니다. 표본 수를 미리 정하고 그때까지 결과를 보지 않는 것이 정석입니다.

어느 쪽이 나을지 미리 정하지 않았다면 양측입니다. 단측은 p값이 정확히 절반이 되므로, 실험을 돌린 뒤 결과를 보고 «B가 나을 것 같으니 단측으로 보자»고 바꾸면 p값을 반으로 깎는 셈이 됩니다. 방향은 실험 전에 정해야 합니다.

아닙니다. 두 구간이 겹쳐도 차이의 신뢰구간은 0을 뺄 수 있습니다. 각각의 구간을 견주는 것은 차이를 판정하는 올바른 방법이 아니며, 판정은 «차이의 신뢰구간»으로 해야 합니다.

맞지 않습니다. 이 계산기는 정규근사를 쓰므로 각 칸의 기대도수가 5 미만이면 결과를 믿기 어렵습니다. 그때는 피셔의 정확검정을 쓰세요. 또 여러 안을 동시에 견주면 다중비교 보정이 필요한데 여기서는 두 안만 봅니다.

관측된 두 비율을 참값으로 놓고 되계산한 사후검정력(post hoc power)입니다. p값과 일대일로 묶여 있어 새로운 정보를 주지 않으므로, 이번 결과의 «신뢰도»로 읽으면 안 됩니다. 다음 실험을 얼마나 크게 설계할지의 눈금으로만 쓰세요.

전송되지 않습니다. 모든 계산은 브라우저 안에서 이루어지며 입력값은 이 기기에만 남습니다.