정보 이득 계산기
데이터를 어떤 특징으로 나눴을 때 부모 노드의 엔트로피에서 자식 노드들의 가중평균 엔트로피를 뺀 정보 이득을 계산합니다. 지니 불순도 감소량도 함께 보여줘 결정 트리가 왜 그 특징을 먼저 고르는지 확인할 수 있습니다.
정보 이득 (전체 14개)
0.05비트
부모 엔트로피 0.94비트 − 가중평균 자식 엔트로피 0.89비트
자식 노드별 값
| 노드 | 개수 | 가중치 | 엔트로피 | 지니 |
|---|---|---|---|---|
| 자식 1 | 8 | 0.57 | 0.81 | 0.38 |
| 자식 2 | 6 | 0.43 | 1 | 0.5 |
계산 방법
- 1부모 노드의 클래스별 개수를 «클래스:개수» 형식으로 입력합니다.
- 2나눈 뒤의 자식 노드마다 클래스별 개수를 입력합니다(자식은 얼마든지 추가할 수 있습니다).
- 3정보 이득과 지니 이득을 확인합니다 — 값이 클수록 그 분할이 클래스를 잘 갈랐다는 뜻입니다.
- 4자식 노드의 클래스 합이 부모와 정확히 맞는지(일관성) 확인합니다.
자주 묻는 질문
데이터를 특정 기준으로 나눴을 때 불확실성(엔트로피)이 얼마나 줄었는지를 재는 값입니다. IG = H(부모) − Σ(자식 크기/부모 크기)×H(자식)으로 계산하며, 결정 트리(ID3 알고리즘 등)는 이 값이 가장 큰 특징을 먼저 골라 가지를 나눕니다.
엔트로피가 오목함수(concave)이기 때문입니다. 옌센 부등식에 따라 데이터를 쪼개서 가중평균한 엔트로피는 합쳐서 하나로 잰 엔트로피를 절대 넘지 못합니다. 그래서 나누면 불확실성이 줄어들거나 그대로일 뿐, 늘어나는 일은 없습니다.
둘 다 노드 안에 클래스가 얼마나 섞여 있는지를 재는 잣대라는 점은 같습니다. 지니 불순도(Gini = 1−Σpᵢ²)는 로그 계산이 없어 더 빠르고 CART 알고리즘이 씁니다. 대체로 엔트로피와 비슷한 순위를 매기지만 항상 똑같지는 않아, 어떤 분할이 «가장 좋은지»가 잣대에 따라 갈릴 수 있습니다.
자식 노드가 전부 순수(한 클래스만 있음)해지면 자식의 엔트로피가 0이 되어, 정보 이득이 부모 엔트로피와 정확히 같아집니다 — 이론상 가능한 최댓값입니다.
이 계산기는 계산은 그대로 진행하되 «일관성이 어긋난다»고 알려 줍니다. 데이터를 나눌 때 어떤 항목이 사라지거나 중복 입력된 경우 흔히 생기는 실수라, 실제 결정 트리 분할이라면 클래스별 합이 부모와 정확히 같아야 합니다.
전송되지 않습니다. 모든 계산은 브라우저 안에서 이뤄지고, 입력값은 이 기기에만 남습니다.
알아두면 좋은 점
- 엔트로피 계산은 dev/entropy와 같은 함수를 씁니다.
- 자식 노드는 몇 개든 추가할 수 있습니다(반드시 둘로만 나뉠 필요는 없습니다).
- 이 계산기는 하나의 분할 기준을 평가할 뿐, 여러 특징 중 어느 것이 가장 좋은지 자동으로 비교하지는 않습니다 — 후보 특징마다 각각 계산해 정보 이득을 직접 견주어 보세요.
함께 보면 좋은 도구
마지막 검증: 2026년 9월 3일 · 결과는 참고용 추정치입니다.