人の静止画からアバターが話す動画を生成するAIツール、Creative Reality Studio(クリエイティブリアリティースタジオ)の紹介をしていきます
イスラエルのAI関連企業Studio D-IDが開発した「Creative Reality Studio」。
ここでは、この新しいサービスの詳細と、具体的な使い方を簡単に紹介したいと思います。
【Creative Reality StudioI】技術で人の静止画からアバターが話す
まず、「Creative Reality Studio」が一体何なのかをサクッと説明します。
Studio D-IDが2022年12月13日にリリースしたこのサービスは、テキスト入力だけでアバターやアニメーションを作成できるプラットフォームです。
具体的には、ユーザーが入力したテキストをもとに、Studio D-ID独自のAI技術とOpenAIの「GPT-3」、さらにStability AI社の画像生成AI「Stable Diffusion」を使ってアバターや文章を合成します。
また、使える画像は人物の写真のほか,AIによって生成された画像を自分でアップロードしても大丈夫です
自分でアップロードした音声ファイルを喋らせたり日本語対応のAI音声に喋らせたりできます
テキストと静止画さえあれば、AIで作られたアバターが話す動画を簡単に作れるのです。
Creative Reality Studioの簡単な使い方
次にこのサービスの使い方について説明します。
初めて使う場合はD-IDのトップページの、右上にある、START FREE TRIALをクリックします
そうしますと、デモ画面へと遷移します
ログインしていないと、ほとんどの機能が使えませんので、画面左下にあるGuestをクリックしてください
ログイン/サインアップという項目があるので、ここをクリックするとGmailやメールアドレスを使ってアカウントを作ることが出来ます
クリエイティブリアリティースタジオの無料版での使い方ですが、サービスの画面上で「Create Video」をクリックします
新たに表示された、画面下部の「Choose a presenter」のなかにある、話させたいキャラクターを選ぶか、「ADD」ボタンをクリックして、写真やイラストの画像をアップロードして選択します
次に、右側のプルダウンメニューから、言語・声・しゃべり方を選択します。
テキスト入力欄の下の方にある拡声器のアイコンをクリックするとボイスを再生できます
自分で録音した声を喋らせたい場合はUpload Voice Audioを選択して音声ファイルをアップロードします
そして最後に、しゃべらせたいテキストを入力したら、右上の「Generate Video」ボタンをクリックするだけです。
はじめて試してみたときの感想は、すごいと思いました。
私はこれをやるために、イラストレーターさんに立ち絵を書いてもらって、Live2Dでモデリングしてもらい、音声を別なソフトで作り、動画編集ソフトで編集していました。
費用も、うん十万円でしたよね…
やや日本語の発音が少し難しく、抑揚のコントロールが出来なかったり、顔の動きがチョット違和感あったり、背景とのバランスの問題もありましたが、それらを踏まえても十分に実用的だと感じました。
不気味の谷を越えたか超えないか?、判断は分かれると思いますが、そこそこ超えられてきた感じがしますね
使用料金・商用利用可能なのはプロプランから
新規でアカウントを生成した際には、20クレジット付与され無料で使うことが出来ます
このクレジットはCreative Reality Studioで動画を作る際に必要となるポイントです動画の長さによって
消費するクレジット数も異なってきます
Creative Reality Studioの利用料金は、5段階のプランから選ぶことができます。
最初は14日間の無料トライアルも提供されています。
(月払い・1月あたり)
(年払い・1月あたり)
注意が必要なのは、商用利用が可能なのはプロプラン以上からということ。
つまり、YouTubeなどで使いたい場合は、月額49ドル(約7,000円)からの料金が必要です。
現時点では、無料プランでは月間5分までしか動画を作ることはできません。
Creative Reality Studioの無料プランだけで使うなら、動画のイントロ部分でアバターが話すような形の動画にしたり、月に1本くらいならAIアバターが話す動画を作るという使い方はできますね
使い方はかんたんで、静止画からアバターが読み上げ動画も生成
Creative Reality Studioは、静止画に動きを加えて、視覚的に魅力的な動画コンテンツを簡単に作ることができるというメリットがあります。
また、英語の発音が非常にナチュラルなので、英語圏の視聴者に向けたコンテンツを作りたい人にとっても非常に役立ちますね
日本語も、もう少し上手に話せたら嬉しいですね
でもこれは本当にすごいですね、わたしは、この作業をするのにたくさんのツールを使って、手間をかけているんですが、それに近いモノがCreative Reality Studioだけで作れます
私の運営しているYouTubeチャンネルの様なVtuber用のアバターの様に、リアルタイムのモーションキャプチャーはできませんが、キャラクターを使って合成音声に合わせて話す動画では、作業を圧倒的に簡単にしてくれますね
ChatGPTの発表以来、ものすごいAI技術が搭載されたツールが、続々登場していますね
新しい技術の可能性は、まだ始まったばかりですよ
これからの進化に期待しましょう。
ほかのAIツールもまとめているのだ
- StableDiffusion WebUIをローカル環境で使う設定のやり方
- iPhoneにAppleGPT搭載?ChatGPTのような大規模言語モデル開発
- 【FreeWilly】Stability AIが独自LLM
- 【ChatGPTが開く世界】生成AIが学歴を不問にし
- 【Creative Reality Studio】 AI技術で人の静止画からアバターが話す動画を生成
- 【HeyGen】写真や、画像生成AIが作ったイラストが話す動画を生成
リンク
StableDiffusion WebUI v1.6.0(随時更新リサーチ中)
- StableDiffusion WebUIバージョン1.6.0リリース速報まとめ
- 【SDXL1.0のVAE】StableDiffusion WebUI v1.6.0 導入&設定方法
- StableDiffusion WebUI ver1.6.0「VAE」切り替えを便利なインターフェイス
StableDiffusion webUI基本設定
- StableDiffusion WebUIをローカル環境で使う設定のやり方♪
- StableDiffusion WebUIバージョンアップ方法。更新手順や注意点
- StableDiffusion WebUIバージョンの確認方法
- 【操作画面の解説・txt2img】分かりやすくパラメータの使い方を説明
- 【画像生成AIイラスト】VAEインストール方法と便利な使い方
- 「VAE」かんたんに切り替えするインターフェイス
- 【日本語化】StableDiffusionWebUI インターフェイス設定方法。
- 大きく、キレイな画像を出力する方法Hires.fix使い方。解像度アップ!
- 操作画面の5つのボタン解説
- 【X/Y/Z plot】使い方。プロンプトや設定を調整し比較してみよう!
- 【img2imgインペイント】画像生成AIイラストを修正/inpaintのパラメータ
- 【学習モデルの追加と変更】かんたん切り替え
- StableDiffusion WebUIバージョン1.3。LoRAを使う方法
- 【まとめ】画質が悪いを改善する7つの機能の使い方!
【学習モデル・checkpoint】
- 【実写系学習モデル・3選】写真の様なリアルな美少女が作れるモデルまとめ
- 【BracingEvoMix】日本人風の顔に特化した最新学習モデル
- 【BeautifulRealisticAsiansV5通称BRAV5】
プロンプト
- Stable Diffusionプロンプト(呪文)に関しての書き方。
- 【画質を上げる・画質に美しく芸術性を持たすプロンプト】呪文の書き方
- 【Tag complete】プロンプトのコツを掴める入力補助機能。
【ControlNet】
- 【ControlNet】使い方とインストール方法。画像生成AIイラストに便利な神機能。
- 【ControlNet-V1.1206】最新バージョンアップデート&モデル更新方法。
- 【ControlNet】不具合?表示されない…反映されない時には?
- 骨(棒人間)を使い、思い通りの姿勢をとらせた方法。
- 原画の絵と同じ姿勢(ポーズ)のAIイラスト生成のやり方♪
- AIイラストから線画を抽出する方法♪
- AIイラストを手描きで修正し、生成するやり方♪
- 【ControlNet】自作の線画イラストを画像生成AIに色塗り(ペイント)させる方法
- 自作の線画イラストをAIイラストに色塗り(ペイント)させる方法♪
【その他 拡張機能について】
- 【Eagle-pnginfo】画像やプロンプトを自動で一括管理できる拡張機能
- 【eagle】画像管理おすすめアプリ使い方
- 【eagle】公式サイト
- 【EasyNegative v2】導入&使い方♪設定方法
- 【EasyNegative V2】反映されないときには?原因と対処方法
- 【EasyNegative V2】【LoRA】にサムネイルを付ける方法
- 【LoRA】画像生成AIの追加学習データの使い方。
- 【Dynamic Prompts】ダウンロードとインストールの設定方法と特殊構文の使い方