ControlNetで自在なポーズでイラスト生成【Stable Diffusion】

『Stable Diffusion』の拡張機能である『ControlNet』を使えば、簡単にAIイラストへポーズを指定することができます。

この記事では、『Stable Diffusion webUI』への『ControlNet』の導入方法をはじめ、具体的な使い方もまとめます。

2023年9月17日【AIイラスト】Stable Diffusion WebUIのインストール方法と使い方

ControlNetとは

『ControlNet』は、Stable Diffusionの拡張機能です。用意した画像から「ポーズ」を抽出して、生成するイラストに反映することができます。

本来、AIイラストでポーズを決める際は、ポーズをプロンプトで指定するのが主流です。そのため、複雑なものは指定しづらく、思い通りのポーズでイラスト生成することが困難でした。

ControlNetの登場により、写真やラフ画などから簡単にポーズを指定できるようになっています。

ControlNetの導入方法

『Stable Diffusion webUI』に『ControlNet』を導入していきます。

ControlNetの拡張機能をインストールする

Extensionsを開き、Install from URLのURL for extension’s git repositoryに下記のURLを入力します。

https://github.com/Mikubill/sd-webui-controlnet.git

Installボタンを押せば導入完了です。

ControlNet用のモデルをインストールする

『ControlNet』を使うには専用のモデルをインストールする必要があります。下記のページから必要なファイルをダウンロードしてください。

オレンジで囲んだ部分がモデルです。

ダウンロードしたファイルはフォルダに格納します。

配布されているモデルはいくつかありますが、使い勝手の良いモデルを2つピックアップして紹介します。

canny

「canny」は輪郭抽出ができるモデルです。

写真やイラストから輪郭を抽出し、新たなイラストとして描画します。

openpose

「openpose」はポーズを検出できるモデルです。

写真・イラストからだけでなく、3Dモデリングソフトで作ったbone(モデル)等からもイラスト生成に役立てれます。

ほかのモデルについてはControlNetの配布ページで解説されています。

ControlNetの基本的な使い方

正しくインストールされていれば『ControlNet』のタブが追加されています。

主要な使い方を紹介していきます。

画像を追加し各種項目を選択したら、通常通りにプロンプトを入力しGenerateします。

ポーズの反映された、イラストが生成されるはずです。

Openposeでポーズを指定する

改めてですがOpneposeを使えば画像からポーズを抽出し、イラストに反映させることができます。

もしポーズが反映されない場合は、イラスト生成の前にプレビューを表示することもできます。

画面下部にある「Preview annotator result」ボタンを押せば、プレビューを確認できます。

Openpose Editorでポーズを作る

画像がなくてもポーズを指定する方法もあります。

『Stable Diffusion webUI』の拡張機能である『Openpose Editor』を使用します。

棒人間を直接操作し、ポーズを作成できます。

簡単なポーズを指定したいならば、画像を探すより『Openpose Editor』を操作するほうが早くできるのでおすすめです。

インストール方法や使い方は下記の記事で紹介します。

2023年3月15日Openpose Editorで簡単にポーズを作る【Stable Diffusion】