図解＆動画つき【ControlNet】使い方とインストール方法。モデルファイルのダウンロード。StableDiffusionWebUI画像生成AIイラストに便利なコントロールネットの神機能を紹介

【ControlNet】使い方とインストール方法AIイラストに便利な神機能を紹介StableDiffusionWebUIAUTOMATIC1111サムネイルp1280

話題の画像生成AIイラストツールStable Diffusionを使いやすくした　Stable Diffusion　WebUIに拡張機能を加えることが出来るControlNetをインストールする手順と、使い方について解説していくよ

Stable Diffusion　WebUIをローカル環境で使う設定方法は解説してもらったけど、ControlNetって何かな？

ControlNetは、Stable Diffusion　WebUIに機能を拡張してくれるモジュールだよ

ControlNetを使えば、さまざまな機能をStable Diffusion　WebUIで使うことが出来ます

例えば、AIイラストって素敵な絵は簡単に生成できるものの…なかなか思い通りのイラストを生成するのは難しいですよね

ControlNetを使うことで、イラストに思い通りのポーズをさせたり、線画だけを抽出したり、手書きの線画でAIに指示をしたり、手書きの線画だけのイラストに色付けをしたり、いろいろできます

神機能のハッピーセットですね

現在、Stable Diffusionや画像生成AIに関する記事は、以下のものがありますので参考にしてね

画像生成AIリンク一覧

この記事に、特に関連する記事はコチラ

【ControlNet】インストール方法とダウンロード

まずはダウンロードからインストールするまでを解説しますね

Stable Diffusion　WebUIのお話をするときに度々お世話になる、gitのサイトからインストールすることが出来ます

gitのサイト内の、ミクビルさんという方のコントロールネットのページをみてね

https://github.com/Mikubill/sd-webui-controlnet

Stable Diffusion　WebUIに【ControlNet】インストールします

そうしましたら、Stable Diffusion　WebUIを起動してください

Stable Diffusion　WebUIのExtensions というタブがあるので開きます

そのなかに、install from URLというタブがありますので開きます

この画面が、表示できましたか？

はい、出来ました

ここの上の空欄のところに、URL for extension’s git repositoryという欄があります

ここに、先ほどのミクビルさんのコントロールネットがダウンロードできるページのURLをかきこみます

まずは、URLをコピーしましょう

https://github.com/Mikubill/sd-webui-controlnet

そして、ペーストですね

できましたら、の【install】ボタンを押してください

1分以内で、ダウンロードが終わると思います

なにか、表示されましたよ

インストールが終わったみたいです

この表示以外は、特に音やポップアップする訳ではないので、チョット分かりにくいですが、これで大丈夫です

確認してみましょうか

フォルダの方を実際に見て見ますと、この様にフォルダやファイルが出来ていますね

C:StableDiffusionLocal（webUIを作った時のフォルダ）> Stable Diffusion WebUI> extensions > sd-webui-controlnet > models

Stable Diffusion　WebUIの画面の方でも確認することが出来ます

こちらの、インストールドのタブを開いてください

コチラの欄に、さきほどのURLが記載されていればインストールされていると言うことになります

良かった

そうしましたら、【apply and restart UI】をクリックしてください

そうしますと、こちらにコントロールネットの表示がされるようになりました。

これだけでいいの？

いいえ、まだ表示されているだけで、一部の機能がない状態なので、機能をもたらすファイルをダウンロードします

現在は、ControlNetはバージョン1.1台のモノがインストールされるので、ControlNetのみで使える機能もあります

【ControlNet】モデルファイルを設定していきます

こちらもおなじみの、たびたびお世話なる、Hugging Faceのページに行きます

【ControlNet】モデルファイルをインストール

https://huggingface.co/

そして、Hugging Faceにある検索窓にControlNetと入れます

そうしますと、ControlNet-v1-1がありますので、コチラを開いてください

似たような、文字列があるので間違わないようにしないと

ControlNet-v1-1のページが開きましたら、Files and versionsのタブを開いてください

この中に、コントロールまるまるで始まるモデルファイルが14種類あるんですが、それぞれが１つ１つの機能になります

ドライブ容量に余裕があれば、14個をダウンロードしてください

最後がpthになってる方をダウンロードすればいいのかな？

それぞれの最後がpthになってる、モデルファイルの下にある、最後がyamlになっている方のファイルもセットでダウンロードしておいてね

14個づつ、合計28個になります

１つ１つが１ギガバイトくらいありますね

全部で20GBバイト近いので、容量的がめちゃくちゃ大きいですね

もし、ドライブ容量に余裕がなければ、cannyと、openposeだけでもいいかもしれません

機能については後ほど解説します

ファイルが大きいのでダウンロードには少し時間がかかりますが、ダウンロードし終わったら、ファイルを移動します

【ControlNet】用のモデルファイルを移動しよう

移動先は、先ほど、コントロールネットをインストールしたフォルダ内です

似ているフォルダ名が多く繰り返されているので、間違わないようにしてくださいね

先ほど、コントロールネットをインストールしたフォルダ内のモデルズの中に移動しましょう

C:StableDiffusionLocal（webUIを作った時のフォルダ）> Stable Diffusion WebUI> extensions > sd-webui-controlnet > models

注意です

そして、StableDiffusionを再起動します

そして、コントロールネットを開きます。

コントロールネットの中の、真ん中の右側辺りにモデルという所があるので開いてみてください

ここに、先ほどダウンロードしたファイルが表示され、StableDiffusion WebUI内で使える様になります

これで、機能も使えるんだね
あれ？私のには表示されてない、なんで？

ControlNetが表示されない　事が起こることも？

私にも起こった事ですが、Modelsの中にこれらのファイルが表示されない事があります

原因はいくつか考えられます

1つは、読み込みに時間がかかっているケースです

まずは、モデルのドロップダウンメニューの隣にある更新マークをクリックしてみてください

変わらない時には、少し時間をおいて更新マークを押してみてね

私も時間を置いたら表示がされました

それでもだめそうな時には、StableDiffusion WebUIと、WebUIバッチの両方を、もう1度再起動してみてください

もしくは、表示されないのは、モデルファイルの置く場所を間違えたカモ

先ほどもお話しましたが、似たような名前のフォルダがたくさんあり、置く場所を間違えているケースです

それでも表示されない時には、モデルファイルの置く場所を間違えてるカモしれません

これまで、コメント欄に頂いた質問でやり取りさせて頂いた、さまざまな機能がStableDiffusion WebUIに反映されないケースは、置く場所を間違えているか？バージョンを間違えているか？に集約されるので、ファイルの置く場所を確認し、再起動すれば問題はだいたい解決している様です

似たような名前のフォルダがたくさんあり、置く場所を間違えていいませんか？

modelsというフォルダは、StableDiffusion WebUIの方のファイルにもありますので、こちらにいれてしまってませんか？　

extensions の中の、controlnetの中の　modelsの方です

【ControlNet】の機能説明と使い方

それでは、コントロールネットのモデルの、それぞれの機能で、何が出来るのか説明しますね

まずは、先ほど良く使う機能と紹介した、cannyとopenposeを紹介します

この2つを使って、コントロールネットに慣れるのが良いと思います

canny

cannyは、輪郭を検出してくれる機能です。

この機能を使えば、イラストから線画抽出や、AIイラストの手書きで修正が出来ます

また自分で描いた手書きのイラストに、色塗りだけをさせることも出来ます

詳しくは、コチラの記事や動画を見てもらえたら嬉しいです

なぎのブログとYouTubeAI＆web3.0

図解＆動画【ControlNet】画像生成AIイラストから線画を抽出する方法♪Stable Diffusion webUI❝automatic111… AIイラストから線画を取り出す便利な機能について解説します。Stable Diffusion web ui❝automatic1111❞でControl-Netを使うことで簡単に線画を抽出できます♪この機能を使え…

なぎのブログとYouTubeAI＆web3.0

【ControlNet】画像生成AIイラストを手描きで加筆修正し、生成するやり方♪Stable Diffusion webUI❝automati… AIイラストは苦手な描写や変形することもありますので、手描きで修正し生成しなおしたい時がありますよね。Control-Netを使えば、手描きで修正することが出来ます。Stable …

なぎのブログとYouTubeAI＆web3.0

【ControlNet】自作の線画イラストを画像生成AIイラストに色塗り(ペイント)させる方法♪Stable Diffusion we… AIイラストを思い通りの姿勢で生成したいですよね。Control-Netを使い、原画の絵と同じ姿勢(ポーズ)のから思い通りのAIイラスト生成することが出来ます♪Stable Diffusion w…

openpose

オープンポーズは、ポーズを検出してくれる機能です。

この機能を使うと、他のイラストと同じポーズをとらせたり、線や棒人間からポーズの支持をAIに伝えることが出来ます

詳しくは、コチラの記事や動画を見てもらえたら嬉しいです

なぎのブログとYouTubeAI＆web3.0

【ControlNet】元絵から,写真から同じ姿勢(ポーズ)の画像生成AIイラスト生成のやり方♪Stable Diffusion web… AIイラストを思い通りの姿勢で生成したいですよね。ControlNetを使い、原画の絵と同じ姿勢(ポーズ)のから思い通りのAIイラスト生成することが出来ます♪Stable Diffusion we…

なぎのブログとYouTubeAI＆web3.0

【ControlNet】骨(棒人間)から希望の姿勢(ポーズ)の画像生成AIイラスト生成♪StableDiffusion webUI❝automat… AIイラストを思い通りの姿勢で生成したいですよね。Stable Diffusion web ui (automatic1111)に、Control-Netを追加することで、通称ボーン・骨(棒人間)を使い思い通りの姿…