ai21.net
言語

LLM 事前学習データ混合のサンキー図

インフォグラフィック／教育図表／チャート
LLM 事前学習データ混合のサンキー図 — 1

プロンプト

Landscape 16:9 sankey diagram of a pretraining data mixture, three stages with translucent colored ribbons.

LEFT (8 source blocks, heights proportional to tokens): "Common Crawl (web) 540B" (muted navy, largest), "arXiv papers 180B" (dusty teal), "GitHub code 160B" (slate gray), "Wikipedia 40B" (soft terracotta), "StackExchange QA 30B" (warm copper), "Books (public domain) 25B" (pale olive), "Patents 18B" (pale navy), "Curated news & forums 15B" (dusty teal).

MIDDLE (3 processing blocks, stacked): "Deduplicated (MinHash + exact)", "Quality-filtered (classifier + heuristics)", "PII-scrubbed (regex + NER)".

RIGHT (3 final splits): "Pretraining set 1.4T tokens" (largest), "Instruction-tune pool 12B tokens", "RLHF preference pool 3B tokens".

Flow ribbons inherit source color with mid-labels showing token counts ("85B", "320B", "44B"). Legend strip at bottom.

Title: "LLM pretraining data mixture and downstream splits". Subtitle: "token counts after deduplication and quality filtering; ribbon thickness ∝ token flow."

日本語訳

事前学習データ混合の横向き 16:9 サンキー図。3 段階、半透明の色付きリボン。

左（8 つのソースブロック、高さはトークン数に比例）：「Common Crawl (web) 540B」（落ち着いたネイビー、最大）、「arXiv papers 180B」（くすんだティール）、「GitHub code 160B」（スレートグレー）、「Wikipedia 40B」（柔らかなテラコッタ）、「StackExchange QA 30B」（ウォームカッパー）、「Books (public domain) 25B」（淡いオリーブ）、「Patents 18B」（淡いネイビー）、「Curated news & forums 15B」（くすんだティール）。

中（3 つの処理ブロック、縦積み）：「Deduplicated (MinHash + exact)」「Quality-filtered (classifier + heuristics)」「PII-scrubbed (regex + NER)」。

右（3 つの最終分割）：「Pretraining set 1.4T tokens」（最大）、「Instruction-tune pool 12B tokens」、「RLHF preference pool 3B tokens」。

フローリボンはソースの色を継承し、中間ラベルにトークン数（「85B」「320B」「44B」）を表示。下部に凡例ストリップ。

タイトル：「LLM pretraining data mixture and downstream splits」。サブタイトル：「token counts after deduplication and quality filtering; ribbon thickness ∝ token flow.」

出典

原作者
wuyoscar
収録元