本日は、ControlNet verも1.14バージョンアップし、SDXLに対応したと言うことなので、使ってみましたので速報版的に、感想を書かせて頂きます
また、不具合や、VERAMのメモリ不足などの対処方法についてもまとめました
結論を先に言いますが、Stable Diffusion WebUI ver1.6.0もControlNet verも1.14も最新バージョンが出ていますが、アップデートは少し待ってみてもいいかもしれません
理由は、本編に書いてあります
現在、Stable Diffusionや画像生成AIに関する記事は、以下のものがありますので参考にしてね
この記事に、特に関連する記事はコチラ
ControlNetがSDXLに対応
コントロールネットもバージョン1.1.4にアップデートしましたね
SDXLに対応したようです
ただし、Stable Diffusion WebUI ver1.6以降である必要があります
コントロールネット用のモデルファイルも増えていますね
https://huggingface.co/lllyasviel/sd_control_collection/tree/main
今回のバージョンアップでは、コントロールのネットのバージョン更新だけでなく、モデルファイルのダウンロードも行ってくださいね
やり方が分からない場合には、コチラの記事を参考にしてください。SD1.6でも前のバージョンでも導入や更新方法は同じです
コントロールネット1.12くらいで、ファイルが倍くらいに増えましたが、1.14では、さらに倍の32種類のモデルを確認できます
増えた多くのモデルはsdxl用のモデルとなっています
SD1.6用のモデルも増えています
モデルが多くなったので、新しいモデルが判別しにくい状況になっていますね
若干、ファイル表記も.112とは違う気がしますが…ちょっと判断付かなかったので、全部ダウンロードしてみました
1つ1つのモデルファイルのサイズが大きく、量もありますので、そろそろみなさんも、ストレージの空き容量がきつくなってきますよね
私も、増設しました…
推奨VRAM と VRAM不足で動かない際には…
公式サイトによりますと「すべてのメソッドは 8GB VRAM および 6GB VRAM でテストされています」とのことなので、VERAMが8GBあれば、動く様です
ただし、VRAM16GB以下の場合には、webui-user.batを以下の様に編集する必要があります
@echo off
set PYTHON=
set GIT=
set VENV_DIR=
set COMMANDLINE_ARGS=
call webui.bat –medvram-sdxl –xformers
StableDiffusion WebUI ver1.6.0では、新しいメモリー最適化オプションが追加されています
最適化オプション（–medvramや–xformers）を使うと画像を生成する速度落ちます。
メモリーをたくさん使うSDXLの時だけメモリの使い方を変えるようです
8GB 未満の vramの場合は、webui-user.batを以下の様に編集する必要があります
@echo off
set PYTHON=
set GIT=
set VENV_DIR=
set COMMANDLINE_ARGS=
call webui.bat –lowvram –xformers
今回は、–medvramの時には、後ろに-sdxl が付いてるけど、–lowvramには後ろに-sdxl が付いていないのはなぜですか？
ミドルスペックのVRAMを持つグラフィックカードの場合は、–medvram-sdxl オプションで特定の最適化が有効になります。
つまり「SDXLを使う際には–medvramを適用して」という命令を出しています。結果、SDXLの使用時に最適化されます
一方で、低VRAMのグラフィックカードを使用する場合は、–lowvram オプションを使って最適化を常に有効にする必要があります。
つまり、6GB以下ののVRAMでは、常時–lowvramを使って最適化してあげないと、動作しなくなってしまうため、常時–lowvramでの最適化をさせていると言うことになります
ただし、–lowvram オプションを使用すると、かなり制限されたモードで動作はするものの、生成速度が大幅に低下します。
ControlNet ver1.14の使用感と不具合について
公式サイトにも書かれていますが一部の機能で、制限があるようです
一部の Control LoRAなどの様です
私的には、cannyなど境界がある処理ができないように感じます
ControlNetの機能を複数使うMultiCNなどが使えない状況を確認しています
個人的な感想ですが、SDXL、StableDiffusion WebUI ver1.6.0、ControlNet ver1.14は、紹介されている機能は素晴らしいものがあります。
しかし、扱いが難しく、制限もあり、要求スペックも高いので…バージョン1.4または、1.5からはアップデートは少し待ってみてもいいですね
意外と「旧バージョンの方が良かった」と評価されることは、StableDiffusionだけではなく他の事にも該当しますからね
StableDiffusionに関する以下のコンテンツとコラボさせて頂いてますので、ご興味ありましたら覗いてもらえたら嬉しいです
最後に、お知らせをさせてください
おまけ
StableDiffusion WebUI v1.6.0(随時更新リサーチ中)
- StableDiffusion WebUIバージョン1.6.0リリース速報まとめ
- 【SDXL1.0のVAE】StableDiffusion WebUI v1.6.0 導入＆設定方法
- StableDiffusion WebUI ver1.6.0「VAE」切り替えを便利なインターフェイス
- ControlNet ver1.14バージョンアップSDXLに対応…しかし
StableDiffusion webUI基本設定
- StableDiffusion WebUIをローカル環境で使う設定のやり方♪
- StableDiffusion WebUIバージョンアップ方法。更新手順や注意点
- StableDiffusion WebUIバージョンの確認方法
- 【操作画面の解説・txt2img】分かりやすくパラメータの使い方を説明
- 【画像生成AIイラスト】VAEインストール方法と便利な使い方
- 「VAE」かんたんに切り替えするインターフェイス
- 【日本語化】StableDiffusionWebUI インターフェイス設定方法。
- 大きく、キレイな画像を出力する方法Hires.fix使い方。解像度アップ！
- 操作画面の5つのボタン解説
- 【X/Y/Z plot】使い方。プロンプトや設定を調整し比較してみよう！
- 【img2imgインペイント】画像生成AIイラストを修正/inpaintのパラメータ
- 【学習モデルの追加と変更】かんたん切り替え
- StableDiffusion WebUIバージョン1.3。LoRAを使う方法
- 【まとめ】画質が悪いを改善する７つの機能の使い方！
【学習モデル・checkpoint】
- 【実写系学習モデル・3選】写真の様なリアルな美少女が作れるモデルまとめ
- 【BracingEvoMix】日本人風の顔に特化した最新学習モデル
- 【BeautifulRealisticAsiansV5通称BRAV5】
プロンプト
- Stable Diffusionプロンプト（呪文）に関しての書き方。
- 【画質を上げる・画質に美しく芸術性を持たすプロンプト】呪文の書き方
- 【Tag complete】プロンプトのコツを掴める入力補助機能。
【ControlNet】
- 【ControlNet】使い方とインストール方法。画像生成AIイラストに便利な神機能。
- 【ControlNet-V1.1206】最新バージョンアップデート＆モデル更新方法。
- 【ControlNet】不具合？表示されない…反映されない時には？
- 骨(棒人間)を使い、思い通りの姿勢をとらせた方法。
- 原画の絵と同じ姿勢(ポーズ)のAIイラスト生成のやり方♪
- AIイラストから線画を抽出する方法♪
- AIイラストを手描きで修正し、生成するやり方♪
- 【ControlNet】自作の線画イラストを画像生成AIに色塗り(ペイント)させる方法
- 自作の線画イラストをAIイラストに色塗り(ペイント)させる方法♪
【その他 拡張機能について】
- 【Eagle-pnginfo】画像やプロンプトを自動で一括管理できる拡張機能
- 【eagle】画像管理おすすめアプリ使い方
- 【eagle】公式サイト
- 【EasyNegative v2】導入&使い方♪設定方法
- 【EasyNegative V2】反映されないときには？原因と対処方法
- 【EasyNegative V2】【LoRA】にサムネイルを付ける方法
- 【LoRA】画像生成AIの追加学習データの使い方。
- 【Dynamic Prompts】ダウンロードとインストールの設定方法と特殊構文の使い方
