트랜스포머 학습 연산량 계산기

순전파 2와 역전파 4를 더한 값입니다. 가중치 하나는 곱셈 한 번과 덧셈 한 번에 쓰이므로 곱하고 더하기가 2 FLOP이고, 순전파는 토큰당 2N이 됩니다. 역전파는 앞쪽 층으로 흘려보낼 입력 기울기와 실제로 갱신할 가중치 기울기를 각각 구해야 해서 2N씩 두 번, 곧 4N입니다.

토큰당 2N으로 학습의 3분의 1입니다. 역전파가 없기 때문입니다. 다만 실제 추론 속도는 연산량보다 메모리 대역폭에 걸리는 경우가 많아, 이 값만으로 속도를 예측하기는 어렵습니다.

시퀀스가 길 때입니다. 6ND는 가중치를 거치는 곱셈만 세는데, 어텐션의 QKᵀ와 (softmax 결과)·V는 가중치가 없고 시퀀스 길이의 제곱으로 늘어납니다. 표준 FFN이라면 이 항이 6ND에서 차지하는 비가 층 수와 무관하게 L ÷ (12·d_model)로 정리되므로, 시퀀스 길이가 d_model의 1.2배쯤 되면 10%를 넘습니다.

인과 마스킹으로 절반을 실제로 건너뛰느냐에 달렸습니다. 층 하나에서 QKᵀ와 (attn)·V가 각각 L²·d_model번의 곱하고더하기이므로 순전파가 4L²·d_model FLOP이고, 역전파까지 3배 하면 토큰당 12·n_layers·L·d_model이 됩니다. 인과 마스킹으로 위 삼각형만 계산하면 그 절반인 6입니다. 자료마다 두 값이 섞여 나오므로 어느 쪽인지 밝히지 않은 수치는 두 배까지 어긋날 수 있습니다.

층 하나에 어텐션 Q·K·V·O 네 행렬이 4·d²이고, FFN이 표준이면 2·r·d², 게이트(SwiGLU 등)면 3·r·d²입니다. r은 d_ff ÷ d_model이며 흔히 4를 씁니다. 게이트를 쓰면 행렬이 하나 더 있으므로 파라미터 수를 맞추려고 r을 8/3로 줄이는 관례가 있습니다 — 3 × 8/3 = 2 × 4로 같아집니다.

6ND의 N은 관례상 임베딩을 뺀 값입니다. 임베딩은 표를 조회하는 것이라 곱셈이 아니기 때문입니다. 다만 출력 쪽 언임베딩은 실제로 행렬 곱이라 세는 관례도 있어서, 이 계산기는 두 값을 나란히 냅니다. 모형이 크면 임베딩 몫이 작아 어느 쪽이든 크게 다르지 않습니다.

이 계산기가 정해 드릴 수 없습니다. 하드웨어, 커널 구현, 병렬화 방식, 통신 비용, 시퀀스 길이에 따라 크게 달라지므로 쓰시는 환경에서 실제로 재신 값을 넣으셔야 합니다. 특정 제품의 성능이나 가격은 자주 바뀌어 굳혀 두면 곧 틀린 값이 되므로 이 계산기에 담지 않았습니다.

여기서 나오는 시간은 계산이 한 번도 멈추지 않는다고 본 하한입니다. 자료를 읽어 오는 시간, 체크포인트 저장, 장애로 인한 재시작, 예열과 평가에 드는 시간은 들어 있지 않습니다. 실제 일정은 대개 이보다 길게 잡습니다.

전송되지 않습니다. 계산은 모두 브라우저 안에서 이루어지며 입력한 값은 이 기기에만 남습니다.