TASTE BENCH：Sunburstの広告品質7.38、初稿がそのまま配信可能なのはわずか54.2%

プロンプト

Today we're launching TASTE BENCH, Omneky's eval suite for the creative quality of AI-generated ads. For image ads, the top model, GPT Image 2.5 Sunburst, averaged 7.38 out of 10 on quality, yet only 54.2% of its ads were ready to run as-is. Across eight models, ready-to-run rates ranged from 22.0% to 54.2%. Every model got the same 59 briefs across four brands and five languages, and a blind panel of AI judges from OpenAI, Anthropic, and Google checked each ad for exact copy, faithful logos and products, safe zones, and fabricated claims. These are first-attempt numbers with our own review step turned off.

We built TASTE BENCH because once you can measure taste, you can hill climb it. It covers image and video models, and you can explore every image ad, brief, judge explanation, and score at http://www.omneky.com/tastebench.

日本語訳

本日、AI生成広告のクリエイティブ品質を評価するOmnekyの評価スイート、TASTE BENCHを公開します。画像広告では、最高モデルのGPT Image 2.5 Sunburstが品質で平均10点中7.38点でしたが、その広告のうちそのまま配信可能だったのはわずか54.2%でした。8モデル全体では、そのまま配信可能な率は22.0%から54.2%の範囲でした。すべてのモデルに、4ブランド・5言語にわたる同一の59件のブリーフを与え、OpenAI、Anthropic、GoogleのAI審査員によるブラインドパネルが、各広告について正確なコピー、ロゴと製品の忠実さ、セーフゾーン、捏造された主張をチェックしました。これらは当社独自のレビュー工程をオフにした初回試行の数値です。

私たちがTASTE BENCHを作ったのは、センスを測定できれば改善を積み上げられるからです。画像モデルと動画モデルを対象としており、すべての画像広告、ブリーフ、審査員の説明、スコアは http://www.omneky.com/tastebench で確認できます。

出典

原作者

omneky

公開日

2026-09-25

原典

元の投稿を見る ↗

収録元

xianyu110/awesome-gpt-image2.5 · 2103352139838071038 · MIT