Landscape 16:9 log-scaled plot of training loss vs compute, four curves for different model sizes.
X-axis "Training compute (FLOPs)" with log ticks "1e20", "1e21", "1e22", "1e23", "1e24". Y-axis "Validation loss (cross-entropy)" with linear decreasing ticks "3.5", "3.0", "2.5", "2.0", "1.5".
Four descending curves with ±1σ shaded bands, labels near tails:
"70M params" (slate gray), "1B params" (muted navy), "10B params" (dusty teal), "70B params" (soft terracotta).
Warm-copper dashed diagonal line labeled "compute-optimal frontier"; open circles at isoflop crossover points. Legend box top-right.
Title: "Empirical scaling laws: loss vs training compute". Subtitle: "four model sizes on a fixed data mixture; shaded bands = ±1 std over 3 seeds."
日本語訳
学習損失 vs 計算量の横向き 16:9 対数スケールプロット。異なるモデルサイズの 4 本の曲線。
X 軸「Training compute (FLOPs)」、対数目盛ティック「1e20」「1e21」「1e22」「1e23」「1e24」。Y 軸「Validation loss (cross-entropy)」、線形減少ティック「3.5」「3.0」「2.5」「2.0」「1.5」。
4 本の下降曲線と ±1σ の陰影帯、曲線末端付近のラベル:
「70M params」(スレートグレー)、「1B params」(落ち着いたネイビー)、「10B params」(くすんだティール)、「70B params」(柔らかなテラコッタ)。
ウォームカッパーの破線対角線にラベル「compute-optimal frontier」。アイソフロップ交点に白抜きの円。右上に凡例ボックス。
タイトル:「Empirical scaling laws: loss vs training compute」。サブタイトル:「four model sizes on a fixed data mixture; shaded bands = ±1 std over 3 seeds.」