NVIDIA社のディープラーニングAI「GauGAN(ゴーギャン)2」を搭載した画像生成ツール「NVIDIA Canvas」は、ブラシツールで描いたイラストをリアルな風景画像へと変換するフリーツールです。ここでは操作方法や使い方を中心に解説します。
NVIDIA Canvasができることを動画で確認
「NVIDIA Canvas」(以下Canvas)は、ブラシツールで落書きのように書き込むと即座に風景画像が生成されるツールです。例えば、岩や水場の配置を自由に行えるので、自らが望む構図に近い画像を生成できます。
Canvasはユニークなツールです。まずは、このツールの特徴がつかみやすいように、筆者が検証しながら実際に風景画像を生成した過程を、動画としてまとめました。以下の動画をご覧ください。
もともとCanvasに搭載されているNVIDIA社のディープラーニングAI「GauGAN 2」は、短いテキストに対応した画像を生成できます。例えば「岩のある波打ち際雨の日」と打ち込むと、私たちが想像するような画像が即座に表示されます。この驚異的な機能を、もっとクリエイターに使いやすいように提供されたのがCanvasです。
インストール方法
Canvasは、ベータ版(バージョン1.2)の利用が可能で、誰でもフリーで使えます(2022年5月末現在)。ただしシステム要件として、RTXシリーズのTensorコアを使用するため、NVIDIA GeForce RTXシリーズやNVIDIA RTXシリーズ等のGPU(グラフィックスカード)が必要です。システムドライブもSSDが必要要件ですので、利用前にNVIDIAのWebサイトで確認してください。
それではNVIDIAのWebサイトにアクセスしましょう。
“NVIDIA Canvas: 筆で簡単に描いた線や形をリアリティのある風景画に変える”.NVIDIA.2022.
https://www.nvidia.com/ja-jp/studio/canvas/
「ベータ版をダウンロード」ボタンからすぐにダウンロード可能です。ページ下部には「システム要件」が示されています。
「ベータ版をダウンロード」ボタンをクリックしてダウンロードしたら、インストーラーを起動しましょう。
解凍先の選択ダイアログが出てくるので、通常は(支障がなければ)このまま「OK」をクリックします。
使用許諾の同意ダイアログで「同意して続行する」をクリックします。
インストールが終了したら、右下の「閉じる」をクリック。この際、「Launch NVIDIA Canvas」にチェックが入っているとCanvasが起動します。
Canvasのインターフェイスについて
Canvasのシンプルでわかりやすいインターフェイスが立ち上がります。UI左側の「ツールバー」からツールを選び、右側の「マテリアル」パネルで素材を選び、「セグメンテーションマップ」にイメージを描き込みましょう。
「ツールバー」にはブラシ、ライン、消しゴム、塗りつぶし、スポイト、パンの各ツールがあります。下の「ブラシサイズ」のスライダーでは、ブラシと消しゴムのサイズを調整。
「トップメニュー」には「新規ファイル」「ファイルを開く」「保存」「書き出し」「取り消し」「やり直し」に加え、表示サイズと描画部分のレイアウトが選択可能です。
UI右には描き込む素材を選択する「マテリアル」、シーン全体のスタイルを選択する「スタイル」、加えて「レイヤー」の各パネルがあります。
各パネルについて
UI右に配置された「マテリアル」パネルから、20種類の素材が利用可能です。
マテリアルパネルの下にある「スタイル」パネルには、モノクロや夕焼け、夜景など9種類の風景イメージがあります。セグメンテーションマップに描き込んだイラストに対して、全体的なスタイルの変更可能です。描かれる各マテリアルにも、ここの選択が反映されます。
例えば、同じ「石」でも選んだスタイルによって変化します。また、「Variation」スライダーを調整すると(1から10パターン)、適用したスタイルのバリエーション(スタイルが反映される度合い)が変更可能です。
あらかじめ用意されたスタイルのほかに、「NEW STYLE」ボタンを押すと、手持ちの風景写真が選択できます。選んだ写真からCanvasが自動でスタイルを計算して、イメージに適用します。
実際に描いてみよう
任意にマテリアルやスタイルを選び、イラストを描いてみましょう。
UI右下の「レイヤー」パネルは、画像を各層に分けて描き込む時に活用できます。「+ ADD LAYER」ボタンで新規レイヤーを追加可能です。例えば、レイヤーを「遠景」「近景」と分けて、各レイヤーで描き分けると変更が楽でしょう。
ここでは、雲を「雲」のマテリアルを選んで描いたことで、「アウトプットイメージ」には(狙い通り)雲が描かれています。そのほかの部分も含めて、全体がリアルな自然風景として出力されています。
Photoshop形式で書き出した場合、レイヤー情報が保持されます。実際にPhotoshop形式で書き出したファイルをAdobe Photoshopで開いてみると、「セグメンテーションマップ」に描いたイラストは、マテリアルごとでレイヤー分けされていました。「アウトプットイメージ」は、1つの画像を「背景」として書き出されています。
各マテリアルがなじむように描画されるため、厳密にそれぞれのパーツごとでレイヤー分けすることは難しいでしょう。今後のバージョンアップで、よりレイヤー分けの精度が高まれば、もっと表現の幅が広がりそうです。
できあがった風景画像はこの世に存在しないイメージ、とも言えます。できたイメージをベースに編集をさらに加えれば、コラージュ作品や、映像作品もしくはゲームなどの背景にも活用できます。Canvasは、オリジナルのシーン作りの可能性を拡げてくれるツールです。
某Webデザイン誌、某Mac誌でのライターを経て映像制作を中心に各種デザイン、3D設計などで活動中。楽しみはゲームとドローン写真からの3次元点群データ作成。