소프트맥스·온도·top-p 계산기

넘치는 것을 막기 위해서입니다. exp(1000)은 배정도로 표현할 수 없어 Infinity가 되고 Infinity/Infinity는 NaN이라, 로짓이 조금만 커도 결과가 통째로 NaN이 됩니다. 소프트맥스는 모든 로짓에 같은 수를 더해도 값이 변하지 않으므로(분자·분모에 같은 eᶜ가 곱해져 약분됩니다) 최댓값을 빼면 가장 큰 지수가 exp(0) = 1이 되어 절대 넘치지 않습니다. 어느 라이브러리든 이렇게 되어 있으며, 이 계산기는 빼지 않은 분모도 함께 내서 어디서 무너지는지 보여 줍니다.

로짓을 T로 나누므로 로짓의 «차이»가 T배로 줄거나 늡니다. T가 작으면 차이가 벌어져 가장 큰 것으로 몰리고, 크면 차이가 눌려 균등분포에 가까워집니다. T → 0은 그리디 선택(최댓값 하나가 확률 1), T = 1은 그대로, T → ∞는 균등분포입니다. 엔트로피가 T에 대해 단조증가하는 것이 이것을 한 수로 말해 줍니다.

top-k는 확률 높은 것부터 «개수»로 자르고, top-p는 누적합이 p를 넘을 때까지 남깁니다. 개수로 자르면 분포가 납작할 때 좋은 후보를 버리고 뾰족할 때 쓸모없는 것을 남기는데, 누적으로 자르면 몇 개가 남는지가 분포에 따라 저절로 달라집니다. 이 계산기는 top-p를 걸었을 때 실제로 몇 개가 살아남는지를 함께 셉니다.

포함합니다. 그래야 남은 확률의 합이 p 이상이 되기 때문입니다. 확률이 0.6, 0.3, 0.1인 분포에 p = 0.8을 걸면 0.6만으로는 모자라므로 0.3까지 포함해 두 개가 남고 합이 0.9가 됩니다. 자른 뒤에는 남은 것들끼리 합이 1이 되도록 다시 나눕니다.

2^엔트로피이며 «실질적으로 몇 개 중에서 고르는가»로 읽습니다. 반반이면 2, 넷으로 고르게 갈리면 4이고, 한쪽으로 치우칠수록 개수보다 작아집니다. 확률 하나가 1이면 퍼플렉시티가 1이 되어 고를 것이 하나뿐이라는 뜻입니다.

그렇게 읽을 수 없습니다. 로짓은 크기 자체가 아니라 «차이»만 뜻을 갖습니다. 모든 로짓에 100을 더해도 소프트맥스 결과가 똑같은 것이 그 증거입니다. 확신을 보려면 소프트맥스를 거친 확률이나 엔트로피를 봐야 합니다.

전송되지 않습니다. 계산은 모두 브라우저 안에서 이루어지고 넣은 값은 이 기기에만 남습니다.