TF-IDF 가중치 계산기

«이 문서에 자주 나오면서 다른 문서에는 잘 안 나오는 낱말»에 큰 값을 주는 가중치입니다. tf는 그 문서에 나온 횟수, idf는 그 낱말이 나온 문서 수의 역수에 로그를 씌운 값이며 둘을 곱합니다. 어느 문서에나 나오는 낱말은 idf가 작아져 저절로 눌리므로, 불용어 목록을 따로 두지 않아도 «그리고» 같은 말이 밀려납니다.

tf와 idf 모두 널리 쓰이는 정의가 여럿이기 때문입니다. tf는 원시 빈도·로그·상대 빈도·최대 정규화·이진이 모두 쓰이고, idf는 log(N/df)와 ln((1+N)/(1+df))+1이 둘 다 «표준»으로 불립니다. 여기에 L2 정규화를 켜고 끄는 차이까지 겹칩니다. 어느 정의를 썼는지 밝히지 않은 TF-IDF 값은 다른 값과 견줄 수 없습니다.

기본값 ln((1+N)/(1+df)) + 1에 +1이 붙어 있기 때문입니다. 교과서 정의 log(N/df)로는 모든 문서에 나오는 낱말의 idf가 정확히 0이 되어 완전히 사라지지만, 사이킷런에서는 1이 되어 살아남습니다. 같은 문서에서 어느 쪽은 «the»를 지우고 어느 쪽은 1위로 올리는 일이 이 차이 때문에 생깁니다.

긴 문서가 무조건 큰 값을 갖는 것을 막고, 두 문서의 코사인 유사도를 내적만으로 구할 수 있게 하려는 것입니다. 문서마다 벡터의 길이를 1로 맞추므로 낱말 수가 다른 문서끼리도 견줄 수 있습니다. 낱말 사이의 순위는 바뀌지 않고 값의 크기만 달라집니다.

문서 수가 100배 늘어도 가중치가 100배가 되지 않게 하려는 것입니다. 로그가 없으면 아주 드문 낱말 하나가 다른 모든 낱말을 압도해 버립니다. 로그를 씌우면 «드문 정도»가 자릿수 단위로 반영되어, 10배 드문 낱말이 일정한 양만큼 더 큰 값을 갖게 됩니다.

한계가 있습니다. 이 계산기는 공백과 문장부호로만 자르므로 «학교»와 «학교에»와 «학교를»이 서로 다른 낱말이 됩니다. 실제 검색 시스템은 형태소 분석기로 조사를 떼어 내거나 글자 n-그램으로 자르는데, 둘 다 브라우저 안에서 돌리기에는 무겁습니다. 개념을 보이기 위한 계산기로 쓰십시오.

BM25는 tf에 상한을 두고 문서 길이를 보정합니다. TF-IDF는 낱말이 두 배 나오면 가중치도 대략 두 배가 되지만, 실제로는 «한 번과 열 번»의 차이가 «열 번과 백 번»의 차이보다 훨씬 큽니다. BM25는 이것을 고쳐 요즘 검색 엔진의 기본이 되었으며, idf라는 발상 자체는 그대로 이어집니다.

전송되지 않습니다. 계산은 모두 브라우저 안에서 이루어지며 입력한 글은 이 기기에만 남습니다.