ai21.net
言語

Transformer エンコーダ–デコーダアーキテクチャ

Transformer エンコーダ–デコーダアーキテクチャ — 1

プロンプト

Landscape 16:9 academic concept figure of the Transformer encoder-decoder architecture, NeurIPS camera-ready style. Two vertical column stacks side-by-side with a dashed divider.

LEFT column header: "ENCODER (×N)". Blocks bottom-to-top: "Input tokens" → "Input Embedding" → "+ Positional Encoding" → dashed "Encoder layer" containing "Multi-Head Self-Attention", "Add & Norm", "Feed-Forward", "Add & Norm", with thin curved residual arrows around each sublayer.

RIGHT column header: "DECODER (×N)". Blocks bottom-to-top: "Output tokens (shifted right)" → "Output Embedding" → "+ Positional Encoding" → dashed "Decoder layer" containing "Masked Multi-Head Self-Attention", "Add & Norm", "Multi-Head Cross-Attention" (horizontal arrow from encoder top labeled "keys, values"), "Add & Norm", "Feed-Forward", "Add & Norm". Above decoder: "Linear", "Softmax", "Output probabilities".

Title: "Transformer: encoder–decoder with multi-head attention". Subtitle: "Vaswani et al., 2017".

日本語訳

Transformer エンコーダ・デコーダアーキテクチャの横向き 16:9 学術概念図、NeurIPS カメラレディスタイル。2 本の縦のカラムスタックを横に並べ、間に破線の区切り線を置く。

左カラムのヘッダー:「ENCODER (×N)」。ブロックは下から上へ:「Input tokens」→「Input Embedding」→「+ Positional Encoding」→ 破線の「Encoder layer」(内部に「Multi-Head Self-Attention」「Add & Norm」「Feed-Forward」「Add & Norm」)、各サブレイヤーの周囲に細い曲線の残差矢印。

右カラムのヘッダー:「DECODER (×N)」。ブロックは下から上へ:「Output tokens (shifted right)」→「Output Embedding」→「+ Positional Encoding」→ 破線の「Decoder layer」(内部に「Masked Multi-Head Self-Attention」「Add & Norm」「Multi-Head Cross-Attention」(エンコーダ上部からの水平矢印にラベル「keys, values」)「Add & Norm」「Feed-Forward」「Add & Norm」)。デコーダの上に:「Linear」「Softmax」「Output probabilities」。

タイトル:「Transformer: encoder–decoder with multi-head attention」。サブタイトル:「Vaswani et al., 2017」。

出典

原作者
wuyoscar
収録元