KL 발산·JS 발산 계산기

Q를 참이라 믿고 부호화했을 때 실제 분포가 P라서 더 쓰게 되는 정보량입니다. 식은 KL(P‖Q) = Σ pᵢ·log(pᵢ/qᵢ)이고, 로그 밑이 2면 단위가 비트입니다. 두 분포가 같을 때만 0이고 그 밖에는 늘 양수입니다.

안 됩니다. 대칭이 아니고 삼각부등식도 만족하지 않기 때문입니다. KL(P‖Q)와 KL(Q‖P)는 몇 배씩 차이 나기도 하며, P=[½,½]·Q=[0.9,0.1]·R=[0.99,0.01]이면 KL(P‖R) 2.329가 KL(P‖Q)+KL(Q‖R) 0.945보다 큽니다. 그래서 정식 이름도 거리가 아니라 발산입니다.

목적이 정합니다. KL(P‖Q)를 줄이면 P가 있는 곳을 Q가 모두 덮으려 해서 Q가 넓게 퍼지고, KL(Q‖P)를 줄이면 Q가 P의 봉우리 하나에만 붙습니다. 변분추론은 대개 뒤쪽을, 최대가능도 학습은 앞쪽을 씁니다. 논문이나 코드에서 KL을 볼 때는 인자 순서를 먼저 확인하세요.

qᵢ가 0인데 pᵢ가 0이 아닌 칸이 있기 때문입니다. log(pᵢ/0)이 무한대라 합계가 통째로 발산합니다. 반대로 pᵢ가 0인 칸은 0·log0 = 0으로 세지 않습니다. 표본에서 만든 도수분포라면 0은 대개 「불가능」이 아니라 「아직 못 봤다」이므로 라플라스 평활을 씁니다.

보통 1을 씁니다. 모든 칸에 α를 더한 뒤 정규화하므로 0이던 칸도 작은 확률을 갖게 되어 무한대가 사라집니다. α를 크게 할수록 두 분포가 균등분포 쪽으로 끌려가 발산이 작아지므로, 표본이 클 때 큰 α를 쓰면 실제 차이를 지워 버립니다.

두 분포의 평균 M = (P+Q)/2를 가운데 두고 ½KL(P‖M) + ½KL(Q‖M)로 재기 때문에 대칭이고 늘 유한합니다. 밑이 2면 0 이상 1 이하로 유계이며, 겹치는 곳이 전혀 없을 때 정확히 1이 됩니다. √JSD는 삼각부등식까지 만족하는 진짜 거리입니다.

H(P,Q) = H(P) + KL(P‖Q)입니다. H(P)는 자료가 정한 상수라 학습으로 바꿀 수 없으므로, 분류 모델에서 교차엔트로피 손실을 줄이는 것과 KL(P‖Q)를 줄이는 것이 정확히 같은 일이 됩니다.

전송되지 않습니다. 계산은 모두 브라우저 안에서 이루어지고 넣은 값은 이 기기에만 남습니다.