Landscape 16:9 log-scaled plot of training loss vs compute, four curves for different model sizes.
X-axis "Training compute (FLOPs)" with log ticks "1e20", "1e21", "1e22", "1e23", "1e24". Y-axis "Validation loss (cross-entropy)" with linear decreasing ticks "3.5", "3.0", "2.5", "2.0", "1.5".
Four descending curves with ±1σ shaded bands, labels near tails:
"70M params" (slate gray), "1B params" (muted navy), "10B params" (dusty teal), "70B params" (soft terracotta).
Warm-copper dashed diagonal line labeled "compute-optimal frontier"; open circles at isoflop crossover points. Legend box top-right.
Title: "Empirical scaling laws: loss vs training compute". Subtitle: "four model sizes on a fixed data mixture; shaded bands = ±1 std over 3 seeds."
한국어 번역
훈련 손실 대 연산량의 가로 16:9 로그 스케일 플롯, 서로 다른 모델 크기에 대한 네 개의 곡선.
X축 "Training compute (FLOPs)", 로그 눈금 "1e20", "1e21", "1e22", "1e23", "1e24". Y축 "Validation loss (cross-entropy)", 선형으로 감소하는 눈금 "3.5", "3.0", "2.5", "2.0", "1.5".
±1σ 음영 띠가 있는 네 개의 하강 곡선, 꼬리 근처 레이블:
"70M params"(슬레이트 그레이), "1B params"(차분한 네이비), "10B params"(더스티 틸), "70B params"(부드러운 테라코타).
"compute-optimal frontier"라고 레이블된 따뜻한 구리색 점선 대각선; 등연산 교차점에 빈 원. 오른쪽 상단에 범례 상자.
제목: "경험적 스케일링 법칙: 손실 대 훈련 연산량". 부제: "고정 데이터 혼합에 대한 네 가지 모델 크기; 음영 띠 = 3개 시드에 대한 ±1 표준편차."
