プロンプト
公开我的制作方案,发给Opus5.5就能用
1. 选素材
三个标准,直接决定成败:
- 主体完整:人物或物体全身入画。细节会在加工中丢失,观众靠轮廓认东西,特写会变成一团。
- 背景干净:纯色、雪地、天空都行,主体和背景容易分开。
- 有明确的动作瞬间:打击、起跳、落地、转身。这些是后面做特效的支点。
来源可以是自己拍的、视频模型生成的,或有授权的现成片段。
2. 拆素材
从每一帧提取三类信息:
- 颜色:原画面。
- 远近:每个位置离镜头多远,用现成的深度估计模型算。
- 主体范围:哪里是主体、哪里是背景。
另外找出镜头切换发生在哪些时刻。这一步的要点是保持稳定:远近和主体范围要在同一个镜头内统一处理,否则播放起来会抖。
3. 定"粒子"和"样式"
先决定用什么东西来重建画面:圆点、方块、文字、线条都可以。
然后设计几种样式。每种样式其实只是三条规则的不同组合:
- 放在哪:整个画面都放,还是只放在主体上。
- 多大:统一大小,还是跟着明暗、远近变化。
- 什么颜色:用原画的颜色,还是统一用一两种颜色。
再加一个开关:是平铺在一个面上,还是按远近推进三维空间。推进去之后镜头才能环绕。
准备四到六种差异明显的样式就够用。粒子的疏密需要自己看着调:太大认不出内容,太小又和原片没区别。
4. 找节奏
- 定速度:选定音乐的速度,把时间切成等长的小格。让一格正好是整数帧,后面所有切换都好对齐。
- 找动作瞬间:结合"声音突然变响"和"画面突然变动"两个信号,找出素材里的打击点。
- 准备音乐:可以用现成的曲子并分析出它的拍子,也可以按定好的速度合成一段,并在打击点上加重音。
5. 编排
做一张时间表,写明每一格用哪种样式、什么配色、镜头在哪。这张表单独存放,以后调节奏只改它。
编排的四条原则:
- 开头交代变化:先给原画面,再过渡到粒子,让观众看懂发生了什么。
- 快慢交替:一直快会麻木,中间要有一段明显慢下来的部分。
- 配色要撞:相邻两格的颜色和样式反差越大,切换越有力。
- 结尾要有收束:比如粒子越来越大直到变成色块,或者回到原画面。
6. 关键时刻的反馈
在打击点上叠加短促的反应,按轻重分级:
- 每一次都有的轻反馈:粒子变形一下、镜头顶一下。
- 较重时才有的中反馈:一部分粒子朝镜头弹开。
- 最重的一两次才用的大反馈:时间静止,镜头环绕。
原则是弱而短。只动一部分粒子,几帧内结束,否则画面炸成一片,观众就看不清主体在做什么了。
贯穿全程的工作方法
- 先小样后全片:每做完一个环节,先渲染几帧看效果,确认了再往下。全片只在最后渲染。
- 拿不准的参数一次出一排:比如疏密,让 AI 同时出五六个档位并排放,你来挑。
- 改哪里渲哪里:调整某一段时只重新渲染那一段。
- 让 AI 自己看图:每一步都要求它把渲染结果打开看一遍再汇报。
- 所有随机都固定:保证同样的设置每次渲染结果一致,否则没法逐步修改。
日本語訳
制作プロセスを公開、Opus5.5に送ればそのまま使える
1. 素材選び
3つの基準が成否を直接決める:
- 主体が完全:人物や物体が全身入っていること。細部は加工の途中で失われ、観客は輪郭で物を認識するので、クローズアップは一塊になってしまう。
- 背景がきれい:単色、雪原、空のどれでもよい。主体と背景を分けやすくする。
- 明確な動作の瞬間:打撃、ジャンプ、着地、振り向き。これらが後のエフェクトの支点になる。
出所は自分で撮ったもの、動画モデルが生成したもの、あるいは許諾を得た既存のクリップでよい。
2. 素材を分解
各フレームから3種類の情報を抽出する:
- 色:元の画面。
- 遠近:各位置がカメラからどれだけ離れているか。既存の深度推定モデルで計算する。
- 主体の範囲:どこが主体で、どこが背景か。
さらに、カメラの切り替わりがどの時点で起きるかを見つける。このステップの要点は安定性を保つことだ。遠近と主体の範囲は同じショット内で統一的に処理しないと、再生時に揺れて見える。
3. 「粒子」と「スタイル」を決める
まず画面を再構築するのに何を使うかを決める:円点、四角、文字、線、どれでもよい。
次にいくつかのスタイルを設計する。各スタイルは実のところ、3つの規則の組み合わせにすぎない:
- どこに置くか:画面全体に置くか、主体の上だけに置くか。
- 大きさ:均一な大きさか、明暗や遠近に応じて変化させるか。
- 色:元画面の色を使うか、1〜2色に統一するか。
さらにスイッチを1つ加える:1つの面に敷き詰めるか、遠近に応じて3D空間へ押し出すか。押し込んでからでないとカメラは周回できない。
4〜6種類、はっきり違いの出るスタイルを用意すれば十分だ。粒子の密度は自分で見ながら調整する必要がある:大きすぎると内容が判別できず、小さすぎると元映像と区別がつかない。
4. リズムを見つける
- 速度を決める:選んだ音楽のテンポに合わせて、時間を等間隔の小さなグリッドに切る。1グリッドがちょうど整数フレームになるようにすれば、以降の切り替えがすべて合わせやすくなる。
- 動作の瞬間を見つける:「音が急に大きくなる」と「画面が急に変わる」の2つの信号を組み合わせて、素材の中の打撃点を見つける。
- 音楽を準備する:既存の曲を使ってその拍を解析してもよいし、決めたテンポで合成し、打撃点にアクセントを重ねてもよい。
5. 構成
タイムテーブルを作り、各グリッドでどのスタイルを使い、どの配色で、カメラがどこにあるかを書き込む。この表は別に保存し、後でリズムを調整するときはこれだけを変更する。
構成の4つの原則:
- 冒頭で変化を説明する:まず元の画面を見せ、それから粒子へ遷移させ、何が起きたかを観客に分からせる。
- 速い・遅いを交互に:速いままだと麻痺するので、途中に明らかに遅くなる部分を入れる。
- 配色はぶつける:隣り合う2つのグリッドの色とスタイルのコントラストが大きいほど、切り替えが力強くなる。
- 結末は収束させる:たとえば粒子がだんだん大きくなって色の塊になる、あるいは元の画面に戻る。
6. 肝心な瞬間のフィードバック
打撃点に短い反応を重ね、強弱で段階分けする:
- 毎回ある軽いフィードバック:粒子が少し歪む、カメラが少し突き上げる。
- 重いときだけある中フィードバック:一部の粒子がカメラに向かって弾ける。
- 最も重い1〜2回だけ使う大フィードバック:時間が止まり、カメラが周回する。
原則は弱く短く。一部の粒子だけを動かし、数フレームで終わらせる。さもないと画面が爆発したようになり、観客は主体が何をしているか見分けられなくなる。
全体を通じた進め方
- まず小見本、次に全編:各工程を終えるたびに数フレームをレンダリングして効果を確認し、確認してから次へ進む。全編のレンダリングは最後だけ。
- 迷うパラメータは一度に一列出す:たとえば密度なら、AIに5〜6段階を同時に並べて出させ、自分で選ぶ。
- 変えたところだけレンダリングする:ある区間を調整するときはその区間だけを再レンダリングする。
- AI自身に画像を見させる:各ステップで、レンダリング結果を開いて確認してから報告するよう求める。
- すべてのランダムを固定する:同じ設定なら毎回同じ結果になるようにする。そうでなければ段階的な修正ができない。