모델 양자화 크기 계산기

파라미터 수 × 가중치당 비트 ÷ 8이 바이트 수입니다. 70억 파라미터를 4비트로 담으면 7×10⁹ × 4 ÷ 8 = 3.5×10⁹바이트, 즉 3.5GB입니다. fp16이면 14GB, fp32면 28GB가 됩니다. 다만 블록마다 스케일을 저장하는 방식이라면 여기에 메타데이터 몫이 더 붙습니다.

블록마다 스케일을 따로 저장하기 때문입니다. 가중치를 32개씩 묶고 블록마다 fp16 스케일 하나를 붙이면 가중치당 16÷32 = 0.5비트가 더해져 실효 4.5비트가 됩니다. 영점까지 저장하는 비대칭 방식이면 5.0비트입니다. 블록 안에서만 최대·최소를 맞춰야 정밀도가 유지되기 때문에 치르는 비용이며, 파일 크기를 어림할 때 이 몫을 빼먹으면 언제나 모자라게 잡습니다.

용량만 보면 그렇지만 정밀도가 떨어집니다. 블록이 클수록 스케일 하나가 담당하는 값의 범위가 넓어져, 그 안에 유난히 큰 값 하나가 섞이면 나머지가 모두 뭉개집니다. 32에서 128로 키우면 4비트 기준 실효 비트가 4.5에서 4.125로 줄어 용량은 8% 남짓 절약되지만, 그만큼 품질을 내주는 셈입니다.

GPU 메모리에 올릴지 따질 때는 GiB를 보셔야 합니다. GPU 메모리 «24GB»는 사실 24GiB이고, 파일 크기를 GB로 적어 둔 자료와 비교하면 7.4%만큼 어긋나기 때문입니다. 3.5GB는 3.26GiB이며 이 계산기는 둘을 나란히 냅니다.

돌아가지 않습니다. 여기 값은 가중치만 센 것이고, 실제로는 활성값과 KV 캐시, 프레임워크가 잡는 여유분이 더 필요합니다. 특히 KV 캐시는 문맥 길이와 배치 크기에 비례해 커져서 긴 문맥에서는 가중치에 맞먹기도 합니다. 여유가 거의 없다면 올라가지 않는다고 보시는 편이 안전하며, KV 캐시는 따로 «KV 캐시 메모리 계산기»로 재실 수 있습니다.

몇 %씩 어긋납니다. 임베딩이나 정규화 층은 다른 비트로 담는 경우가 많고, 층마다 다른 양자화 방식을 섞어 쓰기도 하며, 파일 형식마다 헤더와 정렬 여백이 붙기 때문입니다. 이 계산기는 «대략 이만한 자리가 필요한가»를 재는 용도이고 특정 파일의 바이트 수를 맞히는 도구가 아닙니다.

개념은 같지만 대상이 다릅니다. 아날로그 신호를 비트로 나누는 ADC 해상도나 이미지의 색 비트 줄이기는 시간·공간에 늘어선 «샘플»을 다루는 반면, 여기서는 신경망의 «가중치»를 다룹니다. 블록마다 스케일을 따로 두는 구조는 신호 쪽에는 잘 없는 방식입니다.

전송되지 않습니다. 계산은 모두 브라우저 안에서 이루어지고 넣은 값은 이 기기에만 남습니다.