상호정보량·결합엔트로피 계산기

한쪽을 알았을 때 다른 쪽의 불확실성이 얼마나 줄어드는지를 잰 값입니다. I(X;Y) = H(X) − H(X|Y)이며, 로그 밑이 2면 단위가 비트입니다. 두 변수가 독립이면 정확히 0이고, 한쪽이 다른 쪽을 완전히 정하면 min(H(X),H(Y))로 최대가 됩니다.

피어슨 상관은 직선 관계만 재지만 상호정보량은 굽은 관계도 잡습니다. y = x²처럼 대칭인 관계에서 상관은 0이 나오지만 상호정보량은 크게 나옵니다. 범주형 자료에도 그대로 쓸 수 있습니다. 대신 방향(양·음)은 알려 주지 않아 「얼마나 얽혀 있나」만 답합니다.

아닙니다. 표본이 적으면 우연히 생긴 쏠림도 관계로 세기 때문에, 독립인 모집단에서 뽑아도 I가 0보다 크게 나옵니다. 그 어림값이 (행−1)(열−1)/(2N) nat입니다. 이 계산기는 그 값과 우도비 검정 p값을 함께 내므로, 실제 I가 그보다 충분히 큰지를 보고 판단해야 합니다.

G² = 2N·I(nat)가 독립이라는 가정 아래 자유도 (행−1)(열−1)의 카이제곱을 따른다는 성질을 씁니다. 우도비 검정이라 부르는 방법이며, 피어슨 카이제곱 검정과 같은 질문에 답하지만 통계량을 다르게 만듭니다. 칸의 기대도수가 5보다 작은 곳이 많으면 근사가 나빠집니다.

무엇으로 나누느냐에 따라 값이 다르므로 반드시 밝혀야 합니다. √(H(X)H(Y))로 나눈 것을 흔히 NMI라 부르고, 2I/(H(X)+H(Y))는 대칭 불확실성, I/min(H(X),H(Y))는 1에 가장 잘 닿습니다. I/H(X)는 「Y로 X를 얼마나 설명하는가」인 불확실성 계수로 비대칭입니다.

H(X,Y) = H(X) + H(Y|X) = H(Y) + H(X|Y)이고, 여기서 I(X;Y) = H(X) + H(Y) − H(X,Y)가 따라 나옵니다. 이 계산기는 I를 정의대로 따로 계산한 뒤 이 항등식으로 구한 값과 대조해 함께 보여 줍니다.

연속형 자료를 구간으로 잘라 표를 만들면, 구간이 잘아질수록 표본이 흩어져 우연한 쏠림이 늘고 I가 올라가기 때문입니다. 그래서 구간 수가 다른 두 결과를 견주면 안 됩니다. 구간 수를 먼저 정한 뒤 그 안에서만 비교하세요.

전송되지 않습니다. 계산은 모두 브라우저 안에서 이루어지고 넣은 값은 이 기기에만 남습니다.