친칠라 스케일링 법칙 계산기

DeepMind가 2022년 발표한 논문(Hoffmann et al., "Training Compute-Optimal Large Language Models")의 결론으로, 같은 컴퓨트(연산량) 예산이라면 모델 크기(파라미터 수)와 학습 데이터 양(토큰 수)을 같은 비율로 늘려야 손실이 가장 낮아진다는 것입니다. 그전까지는 모델을 키우는 데만 치중해 GPT-3·Gopher 같은 대형 모델들이 데이터 대비 «과소학습» 상태였다는 것을 보여 화제가 됐습니다.

논문이 여러 컴퓨트 예산에서 손실을 가장 낮추는 조합을 실측한 결과, 최적점 부근에서 토큰 수가 파라미터 수의 약 20배였습니다. 논문이 실제로 학습한 친칠라 모델 자체가 파라미터 70B·토큰 1.4조(정확히 20배)입니다. 이 계산기는 이 실측 비율(20)과 학습 연산량 어림식(C≈6ND)만으로 나머지 값을 구하는 단순화 버전입니다.

참고용 경험칙으로만 쓰는 것이 안전합니다. 이 값은 «법칙»이 아니라 논문 한 편의 실험 데이터를 멱함수로 피팅해 얻은 권고치이고, Epoch AI 등 후속 재현 연구가 원 논문의 신뢰구간(피팅에 쓴 손실 곡선의 노이즈)에 이견을 제기했습니다. 데이터 품질·토크나이저·모델 구조·학습 기법에 따라 실제 최적 비는 달라질 수 있습니다.

아닙니다. 친칠라 최적은 «같은 학습 연산량으로 손실을 가장 낮추는» 조합일 뿐, 추론(서빙) 비용까지 고려한 최적은 아닙니다. 실무에서는 손실을 최적점보다 조금 손해 보더라도 모델을 더 작게 만들어(과대학습) 추론 비용을 줄이는 경우가 흔합니다(예: 라마 계열 모델들).