話題の画像生成AIイラストツールStable Diffusionを使いやすくした Stable Diffusion WebUIに拡張機能を加えることが出来るControlNetをインストールする手順と、使い方について解説していくよ

Stable Diffusion WebUIをローカル環境で使う設定方法は解説してもらったけど、ControlNetって何かな?



ControlNetは、Stable Diffusion WebUIに機能を拡張してくれるモジュールだよ
ControlNetを使えば、さまざまな機能をStable Diffusion WebUIで使うことが出来ます
例えば、AIイラストって素敵な絵は簡単に生成できるものの…なかなか思い通りのイラストを生成するのは難しいですよね
ControlNetを使うことで、イラストに思い通りのポーズをさせたり、線画だけを抽出したり、手書きの線画でAIに指示をしたり、手書きの線画だけのイラストに色付けをしたり、いろいろできます



神機能のハッピーセットですね



現在、Stable Diffusionや画像生成AIに関する記事は、以下のものがありますので参考にしてね
【StableDiffusion webUI基本設定】
- StableDiffusion WebUIをローカル環境で使う設定のやり方♪
- 【画像生成AIイラスト】VAEインストール方法と便利な使い方
- 「VAE」かんたんに切り替えするインターフェイス
- 【日本語化】StableDiffusionWebUI インターフェイス設定方法。
- 大きく、キレイな画像を出力する方法Hires.fix使い方。解像度アップ!
- 操作画面の5つのボタン解説
【ControlNet】
- 【ControlNet】使い方とインストール方法。画像生成AIイラストに便利な神機能。
- 【ControlNet-V1.1206】最新バージョンアップデート&モデル更新方法。
- 骨(棒人間)を使い、思い通りの姿勢をとらせた方法。
- 原画の絵と同じ姿勢(ポーズ)のAIイラスト生成のやり方♪
- AIイラストから線画を抽出する方法♪
- AIイラストを手描きで修正し、生成するやり方♪
- 自作の線画イラストをAIイラストに色塗り(ペイント)させる方法♪
【プロンプト】
【その他 拡張機能について】
- 【EasyNegative v2】導入&使い方♪設定方法
- 【EasyNegative V2】反映されないときには?原因と対処方法
- 【Dynamic Prompts】ダウンロードとインストールの設定方法と特殊構文の使い方
【その他 AI情報】
【ControlNet】インストール方法とダウンロード
まずはダウンロードからインストールするまでを解説しますね



Stable Diffusion WebUIのお話をするときに度々お世話になる、gitのサイトからインストールすることが出来ます
gitのサイト内の、ミクビルさんという方のコントロールネットのページをみてね
https://github.com/Mikubill/sd-webui-controlnet


Stable Diffusion WebUIに【ControlNet】インストールします
そうしましたら、Stable Diffusion WebUIを起動してください
Stable Diffusion WebUIのExtensions というタブがあるので開きます





そのなかに、install from URLというタブがありますので開きます
この画面が、表示できましたか?





はい、出来ました



ここの上の空欄のところに、URL for extension’s git repositoryという欄があります


ここに、先ほどのミクビルさんのコントロールネットがダウできるページのURLをかきこみます
まずは、URLをコピーしましょう
https://github.com/Mikubill/sd-webui-controlnet
そして、ペーストですね



できましたら、の【install】ボタンを押してください





1分以内で、ダウンロードが終わると思います



なにか、表示されましたよ
インストールが終わったみたいです


この表示以外は、特に音やポップアップする訳ではないので、チョット分かりにくいですが、これで大丈夫です
確認してみましょうか



フォルダの方を実際に見て見ますと、この様にフォルダやファイルが出来ていますね





Stable Diffusion WebUIの画面の方でも確認することが出来ます
こちらの、インストールドのタブを開いてください


コチラの欄に、さきほどのURLが記載されていればインストールされていると言うことになります





良かった
そうしましたら、【apply and restart UI】をクリックしてください





そうしますと、こちらにコントロールネットの表示がされるようになりました。





これだけでいいの?



いいえ、まだ表示されているだけで、一部の機能がない状態なので、機能をもたらすファイルをダウンロードします


【ControlNet】モデルファイルを設定していきます
こちらもおなじみの、たびたびお世話なる、Hugging Faceのページに行きます
【ControlNet】モデルファイルをインストール


そして、Hugging Faceにある検索窓にControlNetと入れます
そうしますと、ControlNet-v1-1がありますので、コチラを開いてください



似たような、文字列があるので間違わないようにしないと
ControlNet-v1-1のページが開きましたら、Files and versionsのタブを開いてください


この中に、コントロールまるまるで始まるモデルファイルが14種類あるんですが、それぞれが1つ1つの機能になります



ドライブ容量に余裕があれば、14個をダウンロードしてください





最後がpthになってる方をダウンロードすればいいのかな?
それぞれの最後がpthになってる、モデルファイルの下にある、最後がyamlになっている方のファイルもセットでダウンロードしておいてね
14個づつ、合計28個になります



1つ1つが1ギガバイトくらいありますね
全部で20GBバイト近いので、容量的がめちゃくちゃ大きいですね



もし、ドライブ容量に余裕がなければ、cannyと、openposeだけでもいいかもしれません


機能については後ほど解説します
ファイルが大きいのでダウンロードには少し時間がかかりますが、ダウンロードし終わったら、ファイルを移動します
【ControlNet】用のモデルファイルを移動しよう



移動先は、先ほど、コントロールネットをインストールしたフォルダ内です
似ているフォルダ名が多く繰り返されているので、間違わないようにしてくださいね
先ほど、コントロールネットをインストールしたフォルダ内のモデルズの中に移動しましょう





注意です


そして、StableDiffusionを再起動します



そして、コントロールネットを開きます。


コントロールネットの中の、真ん中の右側辺りにモデルという所があるので開いてみてください



ここに、先ほどダウンロードしたファイルが表示され、StableDiffusion WebUI内で使える様になります





これで、機能も使えるんだね
あれ?私のには表示されてない、なんで?
ControlNetが表示されない 事が起こることも?


私にも起こった事ですが、Modelsの中にこれらのファイルが表示されない事があります



原因はいくつか考えられます
1つは、読み込みに時間がかかっているケースです
まずは、モデルのドロップダウンメニューの隣にある更新マークをクリックしてみてください
変わらない時には、少し時間をおいて更新マークを押してみてね



私も時間を置いたら表示がされました
それでもだめそうな時には、StableDiffusion WebUIと、WebUIバッチの両方を、もう1度再起動してみてください
もしくは、表示されないのは、モデルファイルの置く場所を間違えたカモ
先ほどもお話しましたが、似たような名前のフォルダがたくさんあり、置く場所を間違えているケースです
それでも表示されない時には、モデルファイルの置く場所を間違えてるカモしれません
これまで、コメント欄に頂いた質問でやり取りさせて頂いた、さまざまな機能がStableDiffusion WebUIに反映されないケースは、置く場所を間違えているか?バージョンを間違えているか?に集約されるので、ファイルの置く場所を確認し、再起動すれば問題はだいたい解決している様です
似たような名前のフォルダがたくさんあり、置く場所を間違えていいませんか?





modelsというフォルダは、StableDiffusion WebUIの方のファイルにもありますので、こちらにいれてしまってませんか?
extensions の中の、controlnetの中の modelsの方です
【ControlNet】の機能説明と使い方
それでは、コントロールネットのモデルの、それぞれの機能で、何が出来るのか説明しますね
まずは、先ほど良く使う機能と紹介した、cannyとopenposeを紹介します
この2つを使って、コントロールネットに慣れるのが良いと思います
canny
cannyは、輪郭を検出してくれる機能です。



この機能を使えば、イラストから線画抽出や、AIイラストの手書きで修正が出来ます
また自分で描いた手書きのイラストに、色塗りだけをさせることも出来ます
詳しくは、コチラの記事や動画を見てもらえたら嬉しいです






openpose
オープンポーズは、ポーズを検出してくれる機能です。



この機能を使うと、他のイラストと同じポーズをとらせたり、線や棒人間からポーズの支持をAIに伝えることが出来ます
詳しくは、コチラの記事や動画を見てもらえたら嬉しいです




hed
hedは、キャニーに近い機能になります。キャニーよりもアウトラインがクッキリします。



線画を抽出して、色の変更など試す場合に向いている様です


mlsd
mlsdは、直線的な輪郭の検出に使う機能です。
cannyの直線専用版という感じです。cannyは人物など曲線のあるアウトラインがあるものに対して、MLSDは建物などの風景や背景作りに使えます


depth
depthは、画像の深度情報を元に画像生成を行うことが出来ます



深度情報?



奥行きのことだね
分かりやすい様に、カメラで例えますね
カメラからの距離によって生じる物体の大きさや位置の違いは、画像中で視覚的に認識できますが、奥行きの違いはわかりません。
深度情報を得ることで、画像中の物体の奥行きの違いを計算することができます。
一般的には、あまり使わないかもです


normal
normalは、法線を抽出できる機能です



法線って何かな?
深度情報と法線は、どちらも3Dグラフィックス分野でよく使われている言葉で、一般的には分かりにくいですが、対象までの距離情報が深度情報で、ここでいう法線は凹凸の事を指しています
ノーマルは、凹凸を検出できるモデルということですね


法線マップを使用することで、ポリゴン表面の凹凸を表現することができます



ぽ、ポリゴン?
2Dで、3Dモデルを作りたい時の設計図とか、イメージ図など描くときのアレです
昔あった3Dテレビとか、立体映像って、覚えていますか?
あれは、深度情報は3Dでしたが、法線情報が足りなかったので、距離感は3Dになりましたが被写体は平面的で、奥行きのある紙芝居みたいでした
近年のARや、メタバースで話題のVRは、深度情報も法線情報も再現できるので、立体的なモデルも距離感も出せるようになったんですね
ですが、いまのところコチラのnormalも、Stable Diffusion webUIでは一般的には、あまり使わない機能カモですね~
scribble
scribbleは、落書きを元に画像生成を行える機能です



落書きから?



面白そうですよね



落書き程度の線画から、AIがイラスト作ってくれるようです
さきほど紹介した、AIイラストを修正できる機能は、自分の手作業で細かに修正を行うと言うより、ある程度この様な雑な線画でも、コントロールネットを通じて指示することで、AIがそれっぽく修正してくれるんですよね





私もまだ、ほとんどscribbleを使ってないので、いろいろ試してみたいです
seg
segは、セマンティック セグメンテーションを使用した画像生成を行える機能です
写真や映像などの視覚情報から、そのコンテンツの主要な要素の位置や関係性を把握して、最適な構図を推定することが出来ます
イメージのアウトラインを伝えると、そこにAIが判断してくれて何かのデザインを埋めてくれる感じです


おまけ:



本格的にやりたい人は、デジタルイラスト/アイコンお絵描きする必要なおすすめ道具をまとめましたので参考にしてね



YouTubeでもweb2 web3 に関する情報を発信しています。興味ありましたら、チャンネル登録してね
StableDiffusion webUI基本設定
- StableDiffusion WebUIをローカル環境で使う設定のやり方
- 【画像生成AIイラスト】VAEインストール方法と便利な使い方
- 「VAE」かんたんに切り替えするインターフェイス
- 【日本語化】StableDiffusionWebUI インターフェイス設定方法。
- 大きく、キレイな画像を出力する方法Hires.fix使い方。解像度アップ!
- 操作画面の5つのボタン解説
【ControlNet】
- 【ControlNet】使い方とインストール方法。画像生成AIイラストに便利な神機能。
- 【ControlNet-V1.1206】最新バージョンアップデート&モデル更新方法。
- 【ControlNet】不具合?表示されない…反映されない時には?
- 骨(棒人間)を使い、思い通りの姿勢をとらせた方法。
- 原画の絵と同じ姿勢(ポーズ)のAIイラスト生成のやり方♪
- AIイラストから線画を抽出する方法♪
- AIイラストを手描きで修正し、生成するやり方♪
- 自作の線画イラストをAIイラストに色塗り(ペイント)させる方法♪
プロンプト
【学習モデル・checkpoint】
- 【実写系学習モデル・3選】写真の様なリアルな美少女が作れるモデルまとめ
- 【BracingEvoMix】日本人風の顔に特化した最新学習モデル
- 【BeautifulRealisticAsiansV5通称BRAV5】
【その他 拡張機能について】
- 【EasyNegative v2】導入&使い方♪設定方法
- 【EasyNegative V2】反映されないときには?原因と対処方法
- 【Dynamic Prompts】ダウンロードとインストールの設定方法と特殊構文の使い方