LLM pretraining data-mixture sankey

提示詞

Landscape 16:9 sankey diagram of a pretraining data mixture, three stages with translucent colored ribbons.

LEFT (8 source blocks, heights proportional to tokens): "Common Crawl (web) 540B" (muted navy, largest), "arXiv papers 180B" (dusty teal), "GitHub code 160B" (slate gray), "Wikipedia 40B" (soft terracotta), "StackExchange QA 30B" (warm copper), "Books (public domain) 25B" (pale olive), "Patents 18B" (pale navy), "Curated news & forums 15B" (dusty teal).

MIDDLE (3 processing blocks, stacked): "Deduplicated (MinHash + exact)", "Quality-filtered (classifier + heuristics)", "PII-scrubbed (regex + NER)".

RIGHT (3 final splits): "Pretraining set 1.4T tokens" (largest), "Instruction-tune pool 12B tokens", "RLHF preference pool 3B tokens".

Flow ribbons inherit source color with mid-labels showing token counts ("85B", "320B", "44B"). Legend strip at bottom.

Title: "LLM pretraining data mixture and downstream splits". Subtitle: "token counts after deduplication and quality filtering; ribbon thickness ∝ token flow."

中文翻譯

橫版 16:9 的預訓練數據混合桑基圖（sankey diagram），三個階段，帶有半透明的彩色流帶。

左側（8 個來源區塊，高度與 token 數成正比）：“Common Crawl（網頁）540B”（柔和藏青，最大）、“arXiv 論文 180B”（灰調青綠）、“GitHub 代碼 160B”（石板灰）、“維基百科 40B”（柔和陶土色）、“StackExchange 問答 30B”（暖銅色）、“圖書（公有領域）25B”（淺橄欖色）、“專利 18B”（淺藏青）、“精選新聞與論壇 15B”（灰調青綠）。

中部（3 個處理區塊，縱向堆疊）：“已去重（MinHash + 精確匹配）”、“質量過濾（分類器 + 啓發式規則）”、“PII 清洗（正則 + NER）”。

右側（3 個最終分流）：“預訓練集 1.4T tokens”（最大）、“指令微調池 12B tokens”、“RLHF 偏好池 3B tokens”。

流帶繼承來源顏色，中部標籤顯示 token 數（“85B”、“320B”、“44B”）。底部爲圖例條。

標題：“LLM 預訓練數據混合與下遊切分”。副標題：“去重與質量過濾後的 token 數量；流帶厚度 ∝ token 流量。”

溯源

原作者

wuyoscar

收錄來源

wuyoscar/GPT-Image2-Skill · 87 · MIT