【ControlNet-V1.12】バージョンアップデート＆モデル更新方法。画像生成AIイラストに革新的なコントロールネットの新機能が続々StableDiffusion WebUI/AUTOMATIC1111

最新バージョンへのアップデートはコチラの記事に書いてありますが、2023年9月時点の最新バージョン1.1.4の内容については、別記事にて書かせて頂いています

コントロールネットの新しいバージョンのインストール方法と、モデルファイルの更新の方法を解説していきますね。

Stable Diffusion　WebUIをいつから使っているかで、インストール方法や、更新方法が変わるので、目次から、皆さんの状況に合わせて必要な場所に飛べるようになっています

【ControlNet-V1.12】最新バージョンで出来ること

超軽めに、コントロールネットについて説明しますと、ControlNetは、Stable Diffusion　WebUIに機能を拡張してくれるモジュールです

ControlNetを使えば、さまざまな機能をStable Diffusion　WebUIで使うことができます。

• イラストに思い通りのポーズを取らせる
• 線画だけを抽出する
• 洋服など、一部分だけを変える
• 手書きの線画でAIに指示をする
• 手書きの線画だけのイラストに色付けをする
• 表情をかえたり
• 顔を固定したり
• 指をきれいに生成

ControlNetを使うことで、これらのことが出来る様になります

【ControlNetV1.1】最新バージョンへの更新方法

それでは、ControlNetの最新バージョンへの更新方法を解説していきます

ControlNetのバージョンが、1からの更新と、1.1からの更新で工程が変わりますが、1.1からの更新の方は、以下の最初の行程だけで最新バージョンに更新できます。

また、モデルファイルがStable Diffusionバージョン1台の時と、Stable Diffusion　SDXLの時ではモデルファイルが変わるので注意ですね

ControlNet V1.1からのバージョンの更新

そうしましたら、Stable Diffusion　WebUIが起動して無かったら、起動してください

Extensionsタブのなかにある、Check for updatesのボタンをクリックしましょう。

コントロールネットだけに限らず、バージョンが古い拡張機能があればbehindと表示されます。

更新するためには、このチェックをつけた状態のままで、Apply and restart UIのボタンを押してくださいね

この動画を作っている時に、ControlNetはバージョン1.1206ですが、バージョン1.1か台らの更新の方はこれで更新完了です。

バージョン1.1206では、モデルデータファイルなしでも使える機能が増えてまして、reference onlyは話題になってますね

ControlNet V1からのバージョンアップ＆モデルファイルの更新

ControlNet バージョン１からの更新の方は、ControlNetのバージョンアップのほかに、ver1.1用のモデルのデータファイルを入れる必要があります。

バージョン１では8つのデータファイル（バージョン1用）を入れたと思いますが、バージョン1.1ではさらに6つの機能が加わり、14個のデータファイル（バージョン1.1～1.13用）があります。

さらに、ControlNet v1.14では、SDXL対応したため新たなモデルになります

ControlNetのバージョンに合わせた、ControlNetのモデルファイル（バージョン1.14以降用）が必要になります

ControlNet v1.14の詳細については公式サイトでご確認ください

【ControlNet v1.1】用のモデルファイルを更新

それでは、コントロールネットのモデルファイルをダウンロードと、インストールするする方法を解説します

【ControlNet v1.1】用のモデルファイルのダウンロード

おなじみの、たびたびお世話なる、Hugging Faceのページに行きます

https://huggingface.co/

そして、Hugging Faceにある検索窓にControlNetと入れます

そうしますと、ControlNet-v1-1がありますので、コチラを開いてください

SDXL対応モデル（ControlNetバージョン1.14以降用）はコチラ

ControlNet-v1-1のページが開きましたら、Files and versionsのタブを開いてください

（SDXL対応モデルの時も同様に、lllyasviel/sd_control_collectionページの、Files and versionsのタブを開いてください）

この中に、コントロールまるまるで始まるモデルファイルが14種類あるんですが、それぞれが１つ１つの機能になります（SDXL対応モデルの方では、30種類以上あります）

それぞれの最後がpthになってる、モデルファイルの下にある、最後がyamlになっている方のファイルもセットでダウンロードしておいてね

14個づつ、合計28個になります

（SDXL対応モデルの方では、これらの区別がなくなっている様です。もし動作しない時には、ControlNet-v1-1のページに行って最後がyamlになっている方のファイルをダウンロードしてみてください）

全部で20GBバイト近いので、容量的がめちゃくちゃ大きいですね

機能については後ほど解説します

ファイルが大きいのでダウンロードには少し時間がかかりますが、ダウンロードし終わったら、ファイルを移動します

【ControlNet】のモデルファイルを移動しよう

似ているフォルダ名が多く繰り返されているので、間違わないようにしてくださいね

先ほど、コントロールネットをインストールしたフォルダ内のモデルズの中に移動しましょう

C:StableDiffusionLocal（webUIを作った時のフォルダ）> Stable Diffusion WebUI> extensions > sd-webui-controlnet > models

そして、コントロールネットを開きます。

コントロールネットの中の、真ん中の右側辺りにモデルという所があるので開いてみてください

【ControlNet】の機能説明と使い方

それでは、コントロールネットのモデルの、それぞれの機能で、何が出来るのか説明しますね

まずは、先ほど良く使う機能と紹介した、cannyとopenposeを紹介します

この2つを使って、コントロールネットに慣れるのが良いと思います

canny

cannyは、輪郭を検出してくれる機能です。

また自分で描いた手書きのイラストに、色塗りだけをさせることも出来ます

詳しくは、コチラの記事や動画を見てもらえたら嬉しいです

openpose

オープンポーズは、ポーズを検出してくれる機能です。

詳しくは、コチラの記事や動画を見てもらえたら嬉しいです

hed

hedは、キャニーに近い機能になります。キャニーよりもアウトラインがクッキリします。

以下の写真は公式サイトからの引用です。https://github.com/lllyasviel/ControlNet

mlsd

mlsdは、直線的な輪郭の検出に使う機能です。

cannyの直線専用版という感じです。cannyは人物など曲線のあるアウトラインがあるものに対して、MLSDは建物などの風景や背景作りに使えます

depth

depthは、画像の深度情報を元に画像生成を行うことが出来ます

分かりやすい様に、カメラで例えますね

カメラからの距離によって生じる物体の大きさや位置の違いは、画像中で視覚的に認識できますが、奥行きの違いはわかりません。

深度情報を得ることで、画像中の物体の奥行きの違いを計算することができます。

一般的には、あまり使わないかもです

normal

normalは、法線を抽出できる機能です

深度情報と法線は、どちらも3Dグラフィックス分野でよく使われている言葉で、一般的には分かりにくいですが、対象までの距離情報が深度情報で、ここでいう法線は凹凸の事を指しています

ノーマルは、凹凸を検出できるモデルということですね

法線マップを使用することで、ポリゴン表面の凹凸を表現することができます

2Dで、3Dモデルを作りたい時の設計図とか、イメージ図など描くときのアレです

昔あった3Dテレビとか、立体映像って、覚えていますか？

あれは、深度情報は3Dでしたが、法線情報が足りなかったので、距離感は3Dになりましたが被写体は平面的で、奥行きのある紙芝居みたいでした

近年のARや、メタバースで話題のVRは、深度情報も法線情報も再現できるので、立体的なモデルも距離感も出せるようになったんですね

ですが、いまのところコチラのnormalも、Stable Diffusion webUIでは一般的には、あまり使わない機能カモですね～

scribble

scribbleは、落書きを元に画像生成を行える機能です

さきほど紹介した、AIイラストを修正できる機能は、自分の手作業で細かに修正を行うと言うより、ある程度この様な雑な線画でも、コントロールネットを通じて指示することで、AIがそれっぽく修正してくれるんですよね

seg

segは、セマンティック セグメンテーションを使用した画像生成を行える機能です

写真や映像などの視覚情報から、そのコンテンツの主要な要素の位置や関係性を把握して、最適な構図を推定することが出来ます

イメージのアウトラインを伝えると、そこにAIが判断してくれて何かのデザインを埋めてくれる感じです

まとめ：動画版【ControlNet-V1.12】最新バージョンアップデート＆モデル更新方法

StableDiffusion WebUI v1.6.0(随時更新リサーチ中)

• StableDiffusion WebUIバージョン1.6.0リリース速報まとめ
• 【SDXL1.0のVAE】StableDiffusion WebUI v1.6.0 導入＆設定方法
• StableDiffusion WebUI ver1.6.0「VAE」切り替えを便利なインターフェイス
• SDXL1.0環境のEasyNegative【negativeXL 】ネガティブプロンプト省略embeddings

StableDiffusion webUI基本設定

• StableDiffusion WebUIをローカル環境で使う設定のやり方♪
• StableDiffusion WebUIバージョンアップ方法。更新手順や注意点
• StableDiffusion WebUIバージョンの確認方法
• 【操作画面の解説・txt2img】分かりやすくパラメータの使い方を説明
• 【画像生成AIイラスト】VAEインストール方法と便利な使い方
• 「VAE」かんたんに切り替えするインターフェイス
• 【日本語化】StableDiffusionWebUI インターフェイス設定方法。
• 大きく、キレイな画像を出力する方法Hires.fix使い方。解像度アップ！
• 操作画面の5つのボタン解説
• 【X/Y/Z plot】使い方。プロンプトや設定を調整し比較してみよう！
• 【img2imgインペイント】画像生成AIイラストを修正/inpaintのパラメータ
• 【学習モデルの追加と変更】かんたん切り替え
• StableDiffusion WebUIバージョン1.3。LoRAを使う方法
• 【まとめ】画質が悪いを改善する７つの機能の使い方！

【学習モデル・checkpoint】

• 【実写系学習モデル・3選】写真の様なリアルな美少女が作れるモデルまとめ
• 【BracingEvoMix】日本人風の顔に特化した最新学習モデル
• 【BeautifulRealisticAsiansV5通称BRAV5】

プロンプト

• Stable Diffusionプロンプト（呪文）に関しての書き方。
• 【画質を上げる・画質に美しく芸術性を持たすプロンプト】呪文の書き方
• 【Tag complete】プロンプトのコツを掴める入力補助機能。

【ControlNet】

• 【ControlNet】使い方とインストール方法。画像生成AIイラストに便利な神機能。
• 【ControlNet-V1.1206】最新バージョンアップデート＆モデル更新方法。
• 【ControlNet】不具合？表示されない…反映されない時には？
• 骨(棒人間)を使い、思い通りの姿勢をとらせた方法。
• 原画の絵と同じ姿勢(ポーズ)のAIイラスト生成のやり方♪
• AIイラストから線画を抽出する方法♪
• AIイラストを手描きで修正し、生成するやり方♪
• 【ControlNet】自作の線画イラストを画像生成AIに色塗り(ペイント)させる方法
• 自作の線画イラストをAIイラストに色塗り(ペイント)させる方法♪

【その他　拡張機能について】

• 【Eagle-pnginfo】画像やプロンプトを自動で一括管理できる拡張機能
• 【eagle】画像管理おすすめアプリ使い方
• 【eagle】公式サイト
• 【EasyNegative v2】導入&使い方♪設定方法
• 【EasyNegative V2】反映されないときには？原因と対処方法
• 【EasyNegative V2】【LoRA】にサムネイルを付ける方法
• 【LoRA】画像生成AIの追加学習データの使い方。
• 【Dynamic Prompts】ダウンロードとインストールの設定方法と特殊構文の使い方

画像生成で収益化方法

• AIイラストを生成して販売する方法（わどさん・外部リンク）♪

【その他AI最新情報】

• 公式LINE 最新AIまとめサイト【あいえもん】AIのニュース情報サイト
• 画像生成AIイラストが投稿できるサイトまとめ

AIをとりまく社会問題

• 二次創作と画像生成AIの違いと比較【手描きイラストとAIイラスト】
• 生成AIが学歴を不問にし、仕事やリサーチの効率化
• 【ベーシックインカムの実現へ】WorldCoin(WLD)リリース。OpenAIのCEOサムアルトマンら