베이지안 A/B 테스트 계산기
A/B 두 안의 방문자·전환 수로 B가 A보다 나을 확률과 잘못 골랐을 때의 기대손실을 계산합니다.
A안
명
명
B안
명
명
B가 A보다 나을 확률
92.3%
A 전환율 추정 10.08% · B 전환율 추정 12.08%
A 사후분포Beta(101, 901)
B 사후분포Beta(121, 881)
P(B > A)92.32%
B를 골랐는데 실은 A가 나을 때의 평균 손실0.00048
A를 골랐는데 실은 B가 나을 때의 평균 손실0.02044
“유의한가?”가 아니라 “B가 나을 확률은 몇 %인가?”에 답합니다. 각 안의 전환율을 베타분포 사후분포(균등 사전분포 Beta(1,1) 기준)로 두고, 두 확률을 직접 비교합니다. edu/ab-test-significance는 p값·신뢰구간으로 “이 차이가 우연일 가능성”을 보는 빈도주의 방법이라 질문 자체가 다릅니다 — 같은 데이터를 놓고 서로 다른 질문에 답하는 상호보완적 도구입니다.
확률이 높아도 기대손실이 크면 성급히 끝내지 마세요. 기대손실은 “혹시 잘못 골랐을 때 평균적으로 얼마나 손해인가”를 나타냅니다. P(B>A)가 95%를 넘어도 두 전환율이 워낙 비슷해 손실이 여전히 크다면, 표본을 더 모으는 편이 안전합니다.
계산 방법
- 1A안의 방문자 수와 전환 수를 입력합니다.
- 2B안의 방문자 수와 전환 수를 입력합니다.
- 3B가 A보다 나을 확률과 기대손실이 계산됩니다.
자주 묻는 질문
각 안의 전환율을 베타분포 사후분포(균등 사전분포 Beta(1,1) + 관측 전환 수)로 두고, Evan Miller(2015)의 닫힌 식으로 두 확률변수 중 B가 더 클 확률을 정확히 계산합니다. 몬테카를로 시뮬레이션 없이 유한합으로 바로 나옵니다.
혹시 잘못된 쪽을 골랐을 때 평균적으로 얼마나 손해인지를 나타냅니다. B를 선택했는데 실제로는 A가 나았을 경우의 평균 손실, A를 선택했는데 실제로는 B가 나았을 경우의 평균 손실을 각각 계산합니다. 확률이 높아도 손실이 크면 표본을 더 모으는 것이 안전합니다.
ab-test-significance는 p값·신뢰구간으로 "이 차이가 우연일 가능성이 얼마나 되는가"를 봅니다. 이 계산기는 "B가 A보다 나을 확률이 몇 %인가"라는 다른 질문에 직접 답합니다. 같은 데이터를 다른 방법론으로 바라보는 상호보완적인 도구입니다.
네. 데이터가 적을수록 사전분포(균등분포)의 영향이 커져 결과가 50%에 가깝게 나오는데, 이는 "아직 판단할 정보가 부족하다"는 뜻을 정확히 반영하는 것입니다.
알아두면 좋은 점
- 사전분포는 균등분포 Beta(1,1)로 고정합니다. 사전 정보를 다르게 반영하고 싶다면 다른 사전분포를 쓰는 전문 도구가 필요합니다.
- 통계적 확률 계산일 뿐 사업적 판단을 대신하지 않습니다.
함께 보면 좋은 도구
마지막 검증: 2026년 9월 3일 · 결과는 참고용 추정치입니다.