캐시 적중률 실효 지연 계산기

적중률 × 캐시 지연 + (1 − 적중률) × 원본 지연 입니다. 적중률 90%, 캐시 1ms, 원본 100ms라면 0.9×1 + 0.1×100 = 10.9ms입니다. 캐시가 없을 때의 100ms에 견주면 9.2배 빨라진 셈입니다.

얼마나 올렸느냐가 아니라 실패가 몇 분의 일로 줄었느냐를 보세요. 50%에서 90%로 올리면 실패가 5분의 1이 되지만, 90%에서 99%로 올리면 10분의 1이 됩니다. 뒤쪽이 더 큰 개선입니다 — 느린 경로가 전체를 지배하기 때문입니다.

적중과 실패의 지연 차이가 작기 때문일 수 있습니다. 실효 지연은 아무리 잘해도 캐시 지연 아래로 내려가지 않으므로, 얻을 수 있는 최대 배속은 원본 지연 ÷ 캐시 지연 입니다. 원본이 1ms 인데 원격 캐시가 0.5ms라면 아무리 잘해야 2배입니다.

캐시를 먼저 뒤져 보고 원본으로 가므로 원칙적으로는 더해야 합니다. 로컬 메모리 캐시처럼 조회가 아주 싸면 무시해도 되지만, 네트워크를 건너는 원격 캐시라면 무시할 수 없습니다. 적중률이 낮은데 원격 캐시를 붙이면 오히려 느려질 수 있는 이유입니다.

각 층의 실패율이 곱해집니다. L1과 L2가 모두 90%라면 원본까지 가는 요청은 10% × 10% = 1%로 떨어집니다. 실효 지연은 h₁T₁ + (1−h₁)[h₂T₂ + (1−h₂)T₃] 로 계산합니다.

그런 경우가 많습니다. 원본이 버틸 수 있는 요청 수가 정해져 있다면, 적중률이 곧 감당할 수 있는 총 트래픽을 정합니다. 적중률 90%면 원본은 10분의 1만 받고, 99%면 100분의 1만 받습니다. 같은 서버로 열 배·백 배의 트래픽을 받는다는 뜻입니다.