いよいよ本題ですね。先日、Wan2.2を動作させるための基本的な環境構築とWan2.2の環境構築までは完成させることができました。
完成させたんです。ご存知ないという方は、どうぞ、こちらをご一読ください。
さて、ローカル環境でComfyUIを使ってWan2.2を動かすところまではできました。
ここからいよいよ、画像を使って動画生成をしてみよー！やってみよー！ということをやっていきたいと思います。
お前ら！準備はいいかー！！！！かー！かー！ヵー！⋯
ついてこいよー（小声）
では、行きますね。
Wan2.2 5Bを使って動画生成をしてみよう
Wan2.2 5Bとは？
Wan2.2 5Bは、テキストや静止画から短い動画を生成できる軽量AIモデル。画像に自然な動きを加えたり、シーンを連続的に展開したりが可能。
50億パラメータと小型設計で、高パフォーマンスPCだけでなく、一部のノートPCでも動作。学習データが効率化されており、少ないリソースで高速生成を実現。
クリエイター向けに「手軽に、すぐにつくれる」動画生成AIの新しい選択肢です。
つまり、軽いので低スペックPCでも動画生成ができちゃうモデルってことです。
前準備
翻訳サイトはここがおすすめ
プロンプトを作成するのには、日本語ではなかなかまだまだ対応しているところも少なく、一旦日本語でプロンプトを作成して、それを英語に変換するのが現実的です。
そこでご紹介する翻訳サイトがこちら。当サイトのアイキャッチ画像のアイデアもここで作成させていただいています。
画像生成サイトを選んで画像を生成しておく
AI画像生成サイトは様々なものがありますが、私がおすすめするのはこちらです。当サイトのアイキャッチ画像のアイデアも、こちらのサイトで画像にしています。
翻訳サイトと画像生成サイトを使ってサンプル画像を生成しておく
まず「Google 翻訳」で、次のプロンプトを書いて翻訳します。
真珠の耳飾りをした青いターバンの少女。
すると、次のように翻訳されます。
A girl in a blue turban and pearl earrings.
この文言を「Image FX」のプロンプト入力欄に入力し、アスペクト比から「正方形」を選んで、「作成」をクリックします。
目指したものとは違いましたが、ここからサンプルとする画像をチョイスしました。
サンプル画像をリサイズする
このままの画像サイズでは少々でかすぎますので、私の御用達のサイトで縦横1/2に縮小したいと思います。
サイズ変更サイトはこちら。サイズ変更された画像がこちら。画像サイズがでかいと、結構マシンパワー使うんですよね。
ComfyUIを立ち上げる
まず、これをやっておかなければいけません。Anaconda PowerShell Prompt を立ち上げ、次の文言を入力します。
conda activate PyTorch
cd C:\comfyui
python main.pyブラウザを立ち上げ、次のURLを入力します。
http://127.0.0.1:8188ComfyUIが立ち上がります。
いよいよWan2.2で動画生成を行う
環境の立ち上げ
ComfyUIを立ち上げ、Wan2.2 5Bのテンプレートを選択したら、以下のような画面になっていると思います。
ここでいじる項目は、次の4ヶ所です。
- 画像を読み込む → CTRL + B を押してアクティブにしたのち、元に使う画像を指定します
- Video Size & length → Width と height を設定します
- CLIPテキストエンコード（ポジティブ） → 動画生成の元となるプロンプトを書き出します
- CLIPテキストエンコード（ネガティブ） → 除外するシーンのプロンプトを書き出します
あともいじることもあるといえばあるのですが、とりあえずこの4つで動くはず！
いってみよー！
画像のセット
「画像を読み込む」に、先ほど作成したサンプル画像をセットします。画像サイズに合わせるか、または出力サイズに合わせて、「Video Size & length」のWidthとheightを両方例えば512に設定しておきます。
プロンプトのセット
次のようなポジティブプロンプトを与えてみます。
自然光が差し込む公園。青いターバンを巻いて白いピアスを付けている少女が、こちらに向かって微笑みながら、両手でハートを作っている。
「Google 翻訳」で変換すると次のようになります。
In a park bathed in natural light, a girl wearing a blue turban and white earrings smiles at us and makes a heart shape with her hands.
これをポジティブプロンプトに入力します。
ネガティブプロンプトも作っていきましょう。デフォルトで何か入っています。中国語から日本語へ変換したものを書き出してみました。その他、ネガティブプロンプトで参考にしたサイトはこちらです。
鮮やかな色彩、露出オーバー、静止画、ぼやけた細部、字幕、スタイル、アートワーク、絵画、静止画、全体的に灰色がかっている、最低品質、低品質、JPEG 圧縮の残留物、醜い、損傷している、余分な指、下手な手、下手な顔、変形している、傷ついている、奇形の手足、癒合した指、静止画、雑然とした背景、3 本の足、混雑した背景、後ろ向きに歩いている
実験的に作成してみてうまくいかなかったので、元のネガティブプロンプトに「携帯」と付け足してみます。
鲜艳的色彩、曝光过度、静止图像、模糊的细节、字幕、风格、艺术品、绘画、静止图像、整体灰暗、最低质量、低质量、JPEG 压缩残留物、丑陋、断裂、多余的手指、做得不好的手、做得不好的脸、变形、毁容、畸形的肢体、融合的手指、静止图像、杂乱的背景、三条腿、拥挤的背景、倒退行走、移动
動画生成を行う
「実行する」をクリックします。
⋯しばらく待ちます。
10分が経過しました⋯進捗は40％です。
待ちます⋯。待ちます⋯。
30分ほどで動画が生成できました。出力動画サイズを小さくすることで、作成時間を短縮することも可能です。
動画が完成！
AIで生成された動画
生成された動画は、C:\comfyui\outputの下に保存されます。
お待ちかね、生成された動画がこちら！
最後に
お疲れ様でした。
いかがでしたでしょうか？
ローカル環境でAIを使った動画生成をしてみました。お使いの環境、スペックがもっとある方ならば、もっと早く動画生成を行うことができるかと思います。
興味を持った方は、是非やってみてね！
ではでは、参考までに。
コメント