LLM pretraining data-mixture sankey

提示词

Landscape 16:9 sankey diagram of a pretraining data mixture, three stages with translucent colored ribbons.

LEFT (8 source blocks, heights proportional to tokens): "Common Crawl (web) 540B" (muted navy, largest), "arXiv papers 180B" (dusty teal), "GitHub code 160B" (slate gray), "Wikipedia 40B" (soft terracotta), "StackExchange QA 30B" (warm copper), "Books (public domain) 25B" (pale olive), "Patents 18B" (pale navy), "Curated news & forums 15B" (dusty teal).

MIDDLE (3 processing blocks, stacked): "Deduplicated (MinHash + exact)", "Quality-filtered (classifier + heuristics)", "PII-scrubbed (regex + NER)".

RIGHT (3 final splits): "Pretraining set 1.4T tokens" (largest), "Instruction-tune pool 12B tokens", "RLHF preference pool 3B tokens".

Flow ribbons inherit source color with mid-labels showing token counts ("85B", "320B", "44B"). Legend strip at bottom.

Title: "LLM pretraining data mixture and downstream splits". Subtitle: "token counts after deduplication and quality filtering; ribbon thickness ∝ token flow."

中文译文

横版 16:9 的预训练数据混合桑基图（sankey diagram），三个阶段，带有半透明的彩色流带。

左侧（8 个来源区块，高度与 token 数成正比）：“Common Crawl（网页）540B”（柔和藏青，最大）、“arXiv 论文 180B”（灰调青绿）、“GitHub 代码 160B”（石板灰）、“维基百科 40B”（柔和陶土色）、“StackExchange 问答 30B”（暖铜色）、“图书（公有领域）25B”（浅橄榄色）、“专利 18B”（浅藏青）、“精选新闻与论坛 15B”（灰调青绿）。

中部（3 个处理区块，纵向堆叠）：“已去重（MinHash + 精确匹配）”、“质量过滤（分类器 + 启发式规则）”、“PII 清洗（正则 + NER）”。

右侧（3 个最终分流）：“预训练集 1.4T tokens”（最大）、“指令微调池 12B tokens”、“RLHF 偏好池 3B tokens”。

流带继承来源颜色，中部标签显示 token 数（“85B”、“320B”、“44B”）。底部为图例条。

标题：“LLM 预训练数据混合与下游切分”。副标题：“去重与质量过滤后的 token 数量；流带厚度 ∝ token 流量。”

溯源

原作者

wuyoscar

收录来源

wuyoscar/GPT-Image2-Skill · 87 · MIT