LoRA 파라미터 계산기
입력·출력 차원과 랭크(r)로 LoRA 학습 파라미터 수와 원본 대비 압축률을 계산합니다. ΔW=BA 저랭크 분해의 정의식 그대로입니다.
예: 32개 레이어에 q·k·v·o 4개 행렬씩 적용하면 32×4=128
전체 LoRA 학습 파라미터
8,388,608개
원본 대비 99.61% 절감 (압축률 0.3906%)
사용 방법
- 1LoRA를 적용할 가중치 행렬의 입력 차원(d)과 출력 차원(k)을 입력합니다.
- 2LoRA 랭크(r)를 입력합니다. 보통 4~64 사이 값을 씁니다.
- 3적용 대상 행렬 개수(예: 레이어 수 × 레이어당 적용 행렬 수)를 입력합니다.
- 4LoRA 학습 파라미터 수와 원본(풀파인튜닝) 대비 압축률을 확인합니다.
자주 묻는 질문
행렬 하나당 r×(d+k)입니다. 원본 가중치 W(d×k 행렬)를 직접 학습하는 대신 B(d×r)와 A(r×k) 두 개의 작은 행렬만 학습해 ΔW=BA를 만들기 때문에, B의 원소 d×r개와 A의 원소 r×k개를 더한 값이 학습 파라미터 수가 됩니다.
r이 min(d,k)보다 훨씬 작은 저랭크(low-rank) 값이기 때문입니다. 예를 들어 d=k=4096, r=8이면 원본은 4096×4096=약 1,678만 개인데 LoRA는 8×(4096+4096)=65,536개로 약 256분의 1입니다. 원본 가중치 W는 그대로 고정(freeze)하고 이 작은 증분만 학습·저장합니다.
표현할 수 있는 증분 ΔW의 랭크가 늘어나 더 복잡한 조정이 가능해지지만, 학습 파라미터 수도 r에 비례해 늘어나는 트레이드오프입니다. 원 논문(Hu et al., 2021)은 실무에서 r=4~8 정도로도 충분한 경우가 많다고 보고합니다.
아니요. 이 도구는 학습 파라미터 "개수"만 계산합니다. 메모리는 옵티마이저 상태 바이트 수 등 별도 가정이 필요해 범위를 좁혔습니다. 풀파인튜닝·사전학습의 메모리 계산은 dev/llm-training-memory를 이용하세요(해당 도구는 LoRA를 명시적으로 범위 밖으로 둡니다).
오류로 처리합니다. d×k 행렬이 가질 수 있는 최대 랭크는 min(d,k)이므로, r이 이보다 크면 "저랭크 근사"라는 전제 자체가 성립하지 않습니다.
알아두면 좋은 점
- 정의식은 Hu et al., "LoRA: Low-Rank Adaptation of Large Language Models"(ICLR 2022)을 그대로 산술화한 것입니다. HuggingFace peft 등 구현체도 동일한 방식으로 파라미터 수를 계산합니다.
- 활성화 메모리·옵티마이저 상태 등 학습에 필요한 실제 GPU 메모리는 계산 범위에 포함하지 않습니다.
- 입력한 내용은 서버로 전송되지 않고 브라우저 안에서만 계산됩니다.
함께 보면 좋은 도구
마지막 검증: 2026년 9월 5일 · 결과는 참고용 추정치입니다.