TASTE BENCH: Sunburst 광고 품질 7.38, 첫 시안 그대로 집행 가능은 54.2%뿐
Omneky가 동일한 59개 brief×4개 브랜드×5개 언어로 8개 모델을 블라인드 테스트: GPT Image 2.5 Sunburst가 평균 7.38/10로 최고점이지만, 첫 시안을 그대로 집행할 수 있는 비율은 54.2%에 불과. 모델 선택은 점수만 보지 마라 — 광고가 실제로 돌아가야 최종 심사다.
데모 영상
원문에 결과 이미지가 없습니다
프롬프트
Today we're launching TASTE BENCH, Omneky's eval suite for the creative quality of AI-generated ads. For image ads, the top model, GPT Image 2.5 Sunburst, averaged 7.38 out of 10 on quality, yet only 54.2% of its ads were ready to run as-is. Across eight models, ready-to-run rates ranged from 22.0% to 54.2%. Every model got the same 59 briefs across four brands and five languages, and a blind panel of AI judges from OpenAI, Anthropic, and Google checked each ad for exact copy, faithful logos and products, safe zones, and fabricated claims. These are first-attempt numbers with our own review step turned off. We built TASTE BENCH because once you can measure taste, you can hill climb it. It covers image and video models, and you can explore every image ad, brief, judge explanation, and score at http://www.omneky.com/tastebench.
한국어 번역
오늘 우리는 TASTE BENCH를 공개한다. Omneky가 AI 생성 광고의 크리에이티브 품질을 평가하는 스위트다. 이미지 광고에서 최고 모델인 GPT Image 2.5 Sunburst는 품질 평균 10점 만점에 7.38점을 기록했지만, 그 광고 중 그대로 집행 가능한 것은 54.2%뿐이었다. 8개 모델에서 집행 가능 비율은 22.0%에서 54.2% 사이였다. 모든 모델은 4개 브랜드, 5개 언어에 걸친 동일한 59개 brief를 받았고, OpenAI, Anthropic, Google의 AI 심사위원 블라인드 패널이 각 광고의 정확한 문구, 로고와 제품의 충실한 재현, 세이프 존, 허위 주장 여부를 확인했다. 이는 우리 자체 검수 단계를 끈 상태의 첫 시도 수치다. 우리가 TASTE BENCH를 만든 이유는, 취향을 측정할 수 있게 되면 그것을 개선해 나갈 수 있기 때문이다. 이미지와 비디오 모델을 모두 다루며, 모든 이미지 광고와 brief, 심사 설명, 점수를 http://www.omneky.com/tastebench 에서 살펴볼 수 있다.
출처
- 원작자
- omneky
- 게시일
- 2026-09-25
- 원문 출처
- 원문 보기 ↗
- 수록 출처
- xianyu110/awesome-gpt-image2.5 · 2103352139838071038 · MIT