『Stable Diffusion』の拡張機能である『ControlNet』を使えば、簡単にAIイラストへポーズを指定することができます。
この記事では、『Stable Diffusion webUI』への『ControlNet』の導入方法をはじめ、具体的な使い方もまとめます。

ControlNetとは
『ControlNet』は、Stable Diffusionの拡張機能です。用意した画像から「ポーズ」を抽出して、生成するイラストに反映することができます。

本来、AIイラストでポーズを決める際は、ポーズをプロンプトで指定するのが主流です。そのため、複雑なものは指定しづらく、思い通りのポーズでイラスト生成することが困難でした。
ControlNetの登場により、写真やラフ画などから簡単にポーズを指定できるようになっています。
ControlNetの導入方法
『Stable Diffusion webUI』に『ControlNet』を導入していきます。
ControlNetの拡張機能をインストールする

Extensionsを開き、Install from URLのURL for extension’s git repositoryに下記のURLを入力します。
https://github.com/Mikubill/sd-webui-controlnet.git
Installボタンを押せば導入完了です。
ControlNet用のモデルをインストールする
『ControlNet』を使うには専用のモデルをインストールする必要があります。下記のページから必要なファイルをダウンロードしてください。

オレンジで囲んだ部分がモデルです。
ダウンロードしたファイルはフォルダに格納します。
extensions/sd-webui-controlnet/models
配布されているモデルはいくつかありますが、使い勝手の良いモデルを2つピックアップして紹介します。

「canny」は輪郭抽出ができるモデルです。
写真やイラストから輪郭を抽出し、新たなイラストとして描画します。

「openpose」はポーズを検出できるモデルです。
写真・イラストからだけでなく、3Dモデリングソフトで作ったbone(モデル)等からもイラスト生成に役立てれます。
ほかのモデルについてはControlNetの配布ページで解説されています。
ControlNetの基本的な使い方

正しくインストールされていれば『ControlNet』のタブが追加されています。
主要な使い方を紹介していきます。
- Enable:チェックを入れると有効化される
- Low VRAM:VRAM不足で動作しない場合はチェックを入れるとよい
- Preprocessor:使いたい手法を選択する
- Model:Preprocessorに合わせたモデルを選択する
画像を追加し各種項目を選択したら、通常通りにプロンプトを入力しGenerateします。
ポーズの反映された、イラストが生成されるはずです。
Openposeでポーズを指定する
改めてですがOpneposeを使えば画像からポーズを抽出し、イラストに反映させることができます。

もしポーズが反映されない場合は、イラスト生成の前にプレビューを表示することもできます。
画面下部にある「Preview annotator result」ボタンを押せば、プレビューを確認できます。
Openpose Editorでポーズを作る
画像がなくてもポーズを指定する方法もあります。
『Stable Diffusion webUI』の拡張機能である『Openpose Editor』を使用します。

棒人間を直接操作し、ポーズを作成できます。

簡単なポーズを指定したいならば、画像を探すより『Openpose Editor』を操作するほうが早くできるのでおすすめです。
インストール方法や使い方は下記の記事で紹介します。

スポンサードリンク