루프라인 모델(연산강도·성능 상한) 계산기

메모리에서 가져온 바이트 하나당 몇 번 연산하는가입니다. I = 연산 횟수 ÷ 옮긴 바이트 수이며 단위는 FLOP/byte입니다. 메모리를 초당 B 바이트 가져올 수 있으면 연산은 초당 최대 B×I번이므로, 이 값이 성능 상한을 정합니다.

메모리가 정하는 빗변과 연산기가 정하는 천장이 만나는 지점으로, I* = 최대 연산성능 ÷ 대역폭입니다. 연산강도가 이보다 작으면 메모리에, 크면 연산에 막힙니다. 기계마다 다른 값이며 최근 가속기일수록 연산성능이 대역폭보다 빨리 늘어 능선점이 오른쪽으로 밀려 왔습니다.

연산기가 데이터를 기다리느라 놀고 있다는 뜻입니다. 이때는 연산기를 두 배 빠르게 해도 시간이 전혀 줄지 않습니다. 대신 데이터를 덜 옮기는 쪽이 답입니다 — 여러 연산을 한 번의 읽기로 묶기(융합), 타일링으로 재사용 늘리기, 자료형을 좁히기. 자료형을 32비트에서 16비트로 바꾸면 연산강도가 그대로 두 배가 됩니다.

데이터 하나를 여러 번 재사용하기 때문입니다. n×n 행렬곱은 연산이 2n³인데 옮기는 것은 행렬 세 개, 곧 3n²뿐이라 연산강도가 n에 비례해 커집니다. 벡터 합이나 SAXPY는 요소 하나를 한두 번 쓰고 버리므로 크기를 아무리 키워도 연산강도가 그대로입니다. 연산강도는 결국 재사용의 다른 이름입니다.

32비트 실수라면 1/12 ≈ 0.083입니다. 요소마다 더하기가 한 번인데 읽기 둘 쓰기 하나로 12바이트를 옮기기 때문입니다. 웬만한 기계의 능선점이 5~50 사이이므로 벡터 합은 언제나 메모리에 막히며, 최대 연산성능의 1%도 쓰지 못합니다.

사양에 적힌 대역폭은 이론값이고 실제로 나오는 값은 그보다 낮기 때문입니다. 접근 패턴과 메모리 컨트롤러 사정에 따라 이론값의 60~80% 정도가 보통이며, 천장을 이론값으로 잡으면 실제보다 낙관적인 그림이 됩니다. 정확히 알고 싶으면 대역폭 측정 프로그램으로 재신 값을 넣으십시오.

루프라인은 상한이라 여기 못 미치는 이유가 여럿 있습니다. 메모리 지연을 감추지 못했거나, 캐시가 서로 밀어내고 있거나, 분기나 동기화에 시간을 쓰고 있거나, 접근이 정렬되어 있지 않을 수 있습니다. 실측이 이 선의 절반에도 못 미친다면 병목이 연산도 대역폭도 아닌 다른 데 있다는 신호입니다.

자주 바뀌기 때문입니다. 굳혀 두면 몇 달 뒤 틀린 값을 계속 내보내게 되므로, 성능과 대역폭은 쓰시는 장비의 사양이나 실측값을 직접 넣도록 두었습니다.

전송되지 않습니다. 계산은 모두 브라우저 안에서 이루어지며 입력한 값은 이 기기에만 남습니다.