JPWO2018203374A1 - 線画自動着色プログラム、線画自動着色装置及びグラフィカルユーザインターフェース用プログラム - Google Patents

Abstract

コンピュータに、着色対象の線画データを取得する線画データ取得機能と、取得した線画データに対して所定の縮小サイズとなるように縮小処理を行って縮小線画データを得る縮小処理機能と、サンプルデータを用いて縮小サイズの線画データに対する着色処理について予め学習させた第１学習済モデルに基づいて、縮小線画データに対して着色処理を行う第１着色処理機能と、サンプルデータとこのサンプルデータに対して第１着色処理機能において着色を行った着色済縮小サンプルデータを入力としてサンプルデータに対する着色処理について予め学習させた第２学習済モデルに基づいて、第１着色処理機能によって前記縮小線画データに着色を行った着色済縮小データと元の線画データとを入力として、元の線画データに対して着色処理を行う第２着色処理機能とを実現させる。

Description

本発明は、線画画像に対して自動で着色を施すための線画自動着色プログラム、線画自動着色装置及びグラフィカルユーザインターフェース用プログラムに関するものである。

近年、ディープラーニングと呼ばれる多層構造のニューラルネットワークを用いた機械学習が様々な分野において適用されている。画像認識や画像生成といった画像処理の分野においても活用が目立ち、目覚ましい成果を上げている。

例えば、非特許文献１は、白黒写真の自動色付けの処理をディープネットワークによって実現したものであり、白黒写真の着色処理を機械学習によって実現している。

ディープネットワークを用いた大域特徴と局所特徴の学習による白黒写真の自動色付け 飯塚里志、シモセラ エドガー、石川博（http://hi.cs.waseda.ac.jp/~iizuka/projects/colorization/ja/）

ところで、線画画像に対して自動で着色を施したいというニーズがある。従来、画像の閉じた領域に対して選択した色で着色を行う機能を備えたソフトウェアは存在したが、手書きの線画画像などは領域が閉じていない場合が多く、従来のソフトウェアでは簡単には着色できない対象であった。

また、前記非特許文献１の白黒写真の場合、各ドットが輝度情報を備えており、輝度情報をヒントとして各ドットの色を決定する処理であると思われるが、線画画像は輝度情報を含まない画像であるといえるため、より着色が難しい対象であった。

本発明は、上記問題点に鑑みなされたものであり、線画画像に対して自動で着色が可能な線画自動着色プログラム、線画自動着色装置及びグラフィカルユーザインターフェース用プログラムを提供することを目的とする。

本発明に係る線画自動着色プログラムは、線画データに対して自動で着色を行うための処理をコンピュータに実現させるための線画自動着色プログラムであって、前記コンピュータに、着色対象の線画データを取得する線画データ取得機能と、取得した線画データに対して所定の縮小サイズとなるように縮小処理を行って縮小線画データを得る縮小処理機能と、サンプルデータを用いて前記縮小サイズの線画データに対する着色処理について予め学習させた第１学習済モデルに基づいて、前記縮小線画データに対して着色処理を行う第１着色処理機能と、サンプルデータと、このサンプルデータに対して第１着色処理機能において着色処理を行った着色済縮小サンプルデータとを入力として、サンプルデータに対する着色処理について予め学習させた第２学習済モデルに基づいて、前記第１着色処理機能によって前記縮小線画データに着色処理を行った着色済縮小データと元の線画データとを入力として元の線画データに対して着色処理を行う第２着色処理機能とを実現させることを特徴とする。

また、本発明に係る線画自動着色プログラムは、前記コンピュータに、前記線画データに対する少なくとも１色の着色のヒント情報を取得するヒント情報取得機能を実現させ、前記第１着色処理機能では、前記縮小線画データとヒント情報を入力として着色処理を行う機能を実現させることを特徴とする。

また、本発明に係る線画自動着色プログラムは、前記第１学習済モデルは、線画データのみからなるヒントなしサンプルデータと、線画データとこの線画データに対する少なくとも１色の着色のヒント情報とからなるヒントありサンプルデータの両方に基づいて学習を行ったものであることを特徴とする。

また、本発明に係る線画自動着色プログラムは、前記第１学習済モデルは、線画データに対する着色を学習するジェネレータと、予め着色が施されたテストデータと前記ジェネレータの生成した着色済縮小データを区別することを学習するディスクリミネータとを交互に学習する敵対的生成モデルによって学習されたものであることを特徴とする。

本発明に係る線画自動着色装置は、着色対象の線画データを取得する線画データ取得部と、取得した線画データに対して所定の縮小サイズとなるように縮小処理を行って縮小線画データを得る縮小処理部と、サンプルデータを用いて前記縮小サイズの線画データに対する着色処理について予め学習させた第１学習済モデルに基づいて、前記縮小線画データに対して着色処理を行う第１着色処理部と、サンプルデータと、このサンプルデータに対して第１着色処理部において着色処理を行った着色済縮小サンプルデータとを入力として、サンプルデータに対する着色処理について予め学習させた第２学習済モデルに基づいて、前記第１着色処理部によって前記縮小線画データに着色処理を行った着色済縮小データと元の線画データとを入力として元の線画データに対して着色処理を行う第２着色処理部とを具備したことを特徴とする。

本発明に係るグラフィカルユーザインターフェース用プログラムは、前記線画自動着色プログラムを格納したサーバ装置から通信ネットワークを介して接続されるクライアント端末に対して提供される線画自動着色ツールのためのグラフィカルユーザインターフェース用プログラムであって、前記サーバ装置に、前記クライアント端末を操作するユーザが線画データを入力するためのフォーム領域を表示画面に表示する線画データ入力フォーム表示機能と、入力された線画データが示す線画を表示画面に設けられた線画画像表示領域に表示する線画画像表示機能と、前記線画データに対して前記線画自動着色プログラムによって着色処理を行って得た着色済画像データが示す着色済画像を表示画面に設けられた着色済画像表示領域に表示する着色済画像表示機能とを実現させることで前記クライアント端末のディスプレイに対してグラフィカルユーザインターフェースを提供することを特徴とする。

また、本発明に係るグラフィカルユーザインターフェース用プログラムは、前記サーバ装置に、前記線画画像表示領域に表示された線画データに対して選択した色で着色すべき箇所を指定するためのヒント情報入力ツールを表示画面に表示してヒント情報の入力を受け付けるヒント情報入力ツール表示機能と、前記ヒント情報入力ツール表示機能によってヒント情報の入力を受け付けた状態において、ヒント情報を含んだ状態で着色処理を実行させるための着色実行ボタンを表示画面に表示する着色実行ボタン表示機能とを実現させることを特徴とする。

本発明によれば、取得した元のサイズの線画データを縮小した縮小線画データについて先ず着色処理を行い、得られた着色済縮小データと元のサイズの線画データとを用いて２段階目の着色処理を行って、着色済画像を得るようにしたので、サイズの大きな線画データに対する着色処理を適切に行うことが可能となる。着色に用いる第１学習済モデルの学習過程で着色のヒント情報を含む形で学習を進めることにより、線画データへの着色処理に対して着色のヒント情報を付加して着色処理を実施させることが可能となる。また、サーバ装置からクライアント端末のディスプレイの表示画面に対してＧＵＩを提供して、ＧＵＩによって線画自動着色ツールをユーザに提供するようにし、ＧＵＩの機能として線画画像表示領域と着色済画像表示領域とを同一表示画面内に設けるようにしたので、ユーザは元の線画データと着色済画像を並べて観察できるため、着色の前後で変化する作品の雰囲気を直接対比することができる。また、線画画像表示領域に表示された線画データに対して選択した色で着色すべき箇所を指定するためのヒント情報を入力可能とし、ヒント情報を付した状態で再着色処理を実行できるようにしたので、線画データに対してユーザが自由に着色のヒントを与えて自動着色を実行することができる。

本発明に係る線画自動着色装置１０の構成を表したブロック図である。 第１学習済モデルの学習方法の一例を示したブロック図である。 本例の線画自動着色装置１０における処理の流れを表したフローチャート図である。 本例のグラフィカルユーザインターフェース用プログラムによって表示される表示画面の一例を表した説明図であり、（ａ）は線画データ入力時の表示画面であり、（ｂ）は線画データに対する着色処理後の表示画面である。 第２の実施の形態に係るＧＵＩに基づいて線画自動着色ツールを提供する場合の処理の流れを表したフローチャート図である。

［第１の実施の形態］
以下、図面を参照しながら、第１の実施の形態に係る線画自動着色装置の例について説明する。図１は、本発明に係る線画自動着色装置１０の構成を表したブロック図である。なお、線画自動着色装置１０は、専用マシンとして設計した装置であってもよいが、一般的なコンピュータによって実現可能なものであるものとする。この場合に、線画自動着色装置１０は、一般的なコンピュータが通常備えているであろうＣＰＵ（Central Processing Unit：中央演算処理装置）、ＧＰＵ（Graphics Processing Unit：画像処理装置）、メモリ、ハードディスクドライブ等のストレージを具備しているものとする（図示省略）。また、これらの一般的なコンピュータを本例の線画自動着色装置１０として機能させるためにプログラムよって各種処理が実行されることは言うまでもない。

図１に示すように、線画自動着色装置１０は、線画データ取得部１１と、縮小処理部１２と、第１着色処理部１３と、第２着色処理部１４と、記憶部１５とを少なくとも備えている。

線画データ取得部１１は、着色対象の線画データを取得する機能を有する。本発明において着色対象とする線画について特に制限はないが、対象としたい線画については、後述する学習モデルの学習過程においてサンプルデータに組み込んで予め学習させておくことが望ましい。線の太さやタッチの種類など様々な線画が存在するが、様々な線画データに基づいて学習を行うことで、着色可能な線画の種類が増える。

縮小処理部１２は、取得した線画データに対して所定の縮小サイズとなるように縮小処理を行って縮小線画データを得る機能を有する。本例の線画自動着色装置１０では、縮小サイズの線画の着色を第１着色処理部１３で行い、それに基づいて元の線画データのサイズの着色を第２着色処理部１４で行うという２段階で着色処理を行う構成となっているため、先ず、取得した線画データを第１着色処理部１３に入力する所定の縮小サイズに縮小する必要がある。

第１着色処理部１３は、縮小線画データに対して着色処理を行う機能を有する。着色処理は、線画データで構成されたサンプルデータを用いて縮小サイズの線画データに対する着色処理について予め学習させた第１学習済モデルに基づいて行われる。

第２着色処理部１４は、第１着色処理部１３によって縮小線画データに着色処理を行った着色済縮小データと元の線画データとを入力として、元の線画データに対して着色処理を行う機能を有する。着色処理は、線画データで構成されたサンプルデータと、このサンプルデータに対して第１着色処理部１３において着色処理を行った着色済縮小サンプルデータとを入力として、サンプルデータに対する着色処理について予め学習させた第２学習済モデルに基づいて行われる。

記憶部１５は、線画データ取得部１１、縮小処理部１２、第１着色処理部１３、第２着色処理部１４などを含む線画自動着色装置１０において行われる様々な処理で必要なデータ及び処理の結果として得られたデータを記憶させる機能を有する。

次に、第１着色処理部１３で用いられる第１学習済モデルの学習方法について説明する。図２は、第１学習済モデルの学習方法の一例を示したブロック図である。第１学習済モデルを学習するためのモデルはどのようなものであってもよいが、例えば、敵対的生成モデルを採用することが好ましい。この敵対的生成モデルは、図２に示すように、線画データであるサンプルデータから着色画像を生成することを学習するジェネレータと、ジェネレータが生成した着色済縮小データと予め用意された着色済のテストデータとを区別することを学習するディスクリミネータとで構成され、ジェネレータはディスクリミネータを騙すように着色を学習し、ディスクリミネータは騙されないように区別することを学習し、これら両方の学習を進めていく。

また、ジェネレータの学習に利用する線画データで構成されたサンプルデータは、着色に関するヒント情報のないサンプルデータと、着色に関するヒント情報を含むサンプルデータの両方によって学習が行われるものとする。ヒント情報なしのサンプルデータとヒント情報ありのサンプルデータとの比率については様々なパターンが考えられるが、例えば、ヒント情報なしのサンプルデータを４０％とし、ヒント情報ありのサンプルデータを６０％とすることが考えられる。また、ヒント情報ありのサンプルデータは、ヒント情報としての彩色の色指定の数を１〜１２８の間で設定したものであるものとする。また、ヒント情報の与え方としては、彩色指定を１ドットで与えるものや、線分で彩色指定を行うものや、所定範囲を指定の色で塗り潰して指定するものなど、様々なヒント情報の与え方を学習段階で予め行っておくことで、ユーザの様々なヒント情報の与え方に対応できるようにすることが好ましい。
このように、ヒント情報なしのサンプルデータと幅広いヒント情報の数に設定されたヒント情報ありのサンプルデータとの両方で学習を行うことで、ヒント情報の有無の何れにおいても着色処理を行うことが可能な第１学習済モデルを得ることができる。なお、この第１学習済モデルの学習に利用されるサンプルデータは、縮小処理部１２において縮小されたことを前提とした所定の縮小サイズのサンプルデータが用いられている。

第２着色処理部１３で用いられる第２学習済モデルの学習方法については、第１学習済モデルの場合と同様に、学習するためのモデルはどのようなものであってもよいが、例えば、敵対的生成モデルを採用することができる。第２学習済モデルの学習に利用するサンプルデータは、第１学習済モデルによって生成された着色済縮小データとこの着色済縮小データの元となった線画データ（所定の縮小サイズよりも大きな画像サイズの線画データ）である。これら２つをジェネレータに対する入力とし、ジェネレータにおいて元となった線画データに対して着色処理を行うことを学習する。また、ジェネレータが生成した着色済データと予め用意された着色済のテストデータとを区別することをディスクリミネータにおいて学習する。ジェネレータはディスクリミネータを騙すように着色処理を学習し、ディスクリミネータは騙されないように区別することを学習し、これら両方の学習を進めていくことで、第２学習済モデルを得ることができる。なお、第２学習済モデルの学習に利用する着色済み縮小データについては、元の線画データのサイズと一致するように拡大処理を行ってからジェネレータに入力して学習をさせるようにしてもよい。

なお、上記の第１学習済モデル及び第２学習済モデルの学習においては、線画データのサンプルデータと着色済のテストデータの両方を必要とする。そして、これらが全く別々の画像であるよりも、線画データとその線画データに着色処理が施された着色済テストデータとがセットで準備できることが好ましい。そこで、着色済みの画像からエッジ抽出処理等の画像処理を用いて線画を生成して、線画データと着色済画像データをセットで準備するようにしてもよい。そのとき、ヒント情報として利用するために、元の着色済みの画像における着色情報をヒント情報として抽出するようにすることで、ヒント情報ありのサンプルデータの生成も行うことが可能となる。

サイズの大きい線画データについて直接着色処理を行うことを学習させようと思うと、学習の収束が上手くいかなかったり学習処理に要する演算時間が膨大になったりなど、問題が生じてしまう可能性がある。しかし、本例のように、所定の縮小サイズに縮小してから第１の着色処理を行い、第１の着色処理の結果を用いて元のサイズの線画データの着色処理を行うというように、２段階で学習を行うことで、サイズの大きな線画データに対する着色処理の学習を上手く行うことができ、学習処理に要する時間も短縮することが可能となる。

次に、本例の線画自動着色装置１０における着色処理の流れについて説明する。図３は、本例の線画自動着色装置１０における着色処理の流れを表したフローチャート図である。本例の線画自動着色装置１０における着色処理は、先ず、線画データを取得することで開始される（ステップＳ０１）。例えば、着色処理対象の線画データをユーザが選択することで取得が行われる。このとき、線画データの取得とともに、線画データに対する着色のヒント情報を併せて取得するようにしてもよい。取得した線画データについて、所定の縮小サイズとなるように縮小処理を行う（ステップＳ０２）。このとき、元のサイズの線画データについても別途保持しておく。

次に、縮小線画データに対する第１着色処理を行う（ステップＳ０３）。第１着色処理は、縮小サイズの着色処理について予め学習を行った第１学習済モデルに基づいて行われる。このとき、ヒント情報を含む場合には、ヒント情報が付された状態で第１学習済モデルに基づいて着色が行われる。この第１着色処理の結果として、着色済縮小データが得られる。

次に、ステップＳ０１で取得した元のサイズの線画データに対する第２着色処理を行う（ステップＳ０４）。第２着色処理は、元のサイズの線画データの着色処理について着色済み縮小データを利用して予め学習を行った第２学習済モデルに基づいて行われる。このとき、着色済み縮小データについて元の線画データのサイズと一致するように拡大処理を行ってから入力するようにしてもよい。得られた着色済データを着色済画像として出力し（ステップＳ０５）、着色処理を終了する。

以上のように、第１の実施の形態に係る線画自動着色装置１０によれば、取得した元のサイズの線画データを縮小した縮小線画データについて先ず着色処理を行い、得られた着色済縮小データと元のサイズの線画データとを用いて２段階目の着色処理を行って、着色済画像を得るようにしたので、サイズの大きな線画データに対する着色処理を適切に行うことが可能となる。着色処理に用いる第１学習済モデルの学習過程で着色のヒント情報を含む形で学習を進めることにより、線画データの着色処理に対して着色のヒント情報を付加して着色処理を実施させることが可能となる。

［第２の実施の形態］
以下、図面を参照しながら、第２の実施の形態に係る線画自動着色ツールを提供するためのグラフィカルユーザインターフェース用プログラムの例について説明する。第１の実施の形態においては線画自動着色装置１０として説明を行ったが、線画自動着色プログラムをサーバ装置に備えさせ、クライアント端末から通信ネットワークを介して当該サーバ装置にアクセスしてきたユーザに対して線画自動着色ツールを提供するという手法が考えられる。そのような場合には、パッケージのソフトウェアによってクライアント端末に対してツールを提供する場合に限らず、クライアント端末のディスプレイに表示させるブラウザ等においてグラフィカルユーザインターフェース（ＧＵＩ）を機能させて線画自動着色ツールを提供することも可能である。

以下の説明においては、サーバ装置に線画自動着色プログラムと線画自動着色プログラムにおいて利用する第１学習済モデル及び第２学習済モデルが格納されており、クライアント端末から通信ネットワークを介してサーバ装置にアクセスして線画自動着色ツールを利用する場合を例として説明を行うが、これらが全て格納されたクライアント端末の場合であっても同様のＧＵＩを利用可能であるため、何れもが本例の対象となるものであることはいうまでもない。

図４は、本例のグラフィカルユーザインターフェース用プログラムによって表示される表示画面の一例を表した説明図であり、（ａ）は線画データ入力時の表示画面であり、（ｂ）は線画データに対する着色処理後の表示画面である。サーバ装置からクライアント端末に対して線画自動着色ツールを提供する場合、先ず、図４（ａ）に示すように、ユーザが線画データを入力するためのフォーム領域である線画データ入力フォームをクライアント端末のディスプレイに対して、例えば、Ｗｅｂブラウザ等を介して表示させる。この線画データ入力フォームは、図４（ａ）ではファイルのパスを指定する方法で線画データを入力するものとしているが、これに限定されるものではなく、例えば、ドラッグ＆ドロップで線画データを選択するような手法であってもよい。なお、本例において表示画面とは、グラフィカルユーザインターフェース用プログラムやＷｅｂブラウザなどによってＧＵＩを提供する際にユーザに対して表示される画面のことをいうものとし、サーバ装置で生成された表示画面と、クライアント端末で生成された表示画面のいずれの場合も含むものとする。

線画データが指定されると、自動的に着色処理が開始される。選択された線画データはサーバ装置に送信され、サーバ装置において線画自動着色プログラムによって着色処理が行われ、結果として得られた着色済画像データがクライアント端末に送信される。図４（ｂ）に示すように、線画画像表示領域にユーザが選択した線画データが示す線画が表示され、着色済画像表示領域に着色済画像データが示す着色済画像が表示される。選択された線画画像と着色済画像が同一画面に並べて表示されるため、ユーザは着色の前後の画像を同時に観察して確認することができる。

また、図４（ｂ）に示すように、線画画像と着色済画像を表示する画面内には、線画画像表示領域に表示された線画データに対して選択した色で着色すべき箇所を指定するためのヒント情報入力ツールが表示される。ヒント情報入力ツールは、図４（ｂ）に示した例では、「作業を１つ戻す」「作業を１つ進める」「ヒント情報を入力するペンの選択」「入力したヒント情報の削除（消しゴム）」「着色する色の選択」となっているが、これに限られるものではない。例えばマウス操作によって、着色する色を選択して、選択した色で線画画像表示領域内の線画画像の着色すべき箇所に対して、実際にポインタでドットの追加、線分の記入、領域の塗り潰し等の手法によって着色行うことでヒント情報を与える。そして、同一画面内に表示された着色実行ボタンをマウス操作等によってクリックすると、ヒント情報を含んだ状態で着色処理が実行され、ヒント情報が反映された着色済画像が着色済画像表示領域に表示される。

図５は、第２の実施の形態に係るＧＵＩに基づいて線画自動着色ツールを提供する場合の処理の流れを表したフローチャート図である。線画自動着色ツールの提供の処理の流れは、図５に示すように、サーバ装置からクライアント端末のディスプレイの表示画面に対して、線画データ入力フォームを表示させて線画データの入力を受付けることによって開始される（ステップＳ２１）。ユーザによって線画データの入力が行われると、線画データがサーバ装置に送信され、線画データを取得したサーバ装置において線画データに対する着色処理を実行する（ステップＳ２２）。このステップＳ２２における着色処理の実行は、図３のフローチャートを用いて説明した第１の実施の形態における着色処理の流れと同様であり、図３のステップＳ０１〜Ｓ０５のステップと同様の処理がこのステップＳ２２において実行される。

着色処理によって得られた着色済画像データはクライアント端末に送信され、クライアント端末では、表示画面に設けられた線画画像表示領域に線画データが示す線画画像を表示させ、着色済画像表示領域に着色済画像データが示す着色済画像を表示させる（ステップＳ２３）。また、表示画面に対してヒント情報入力ツールを表示させ、ヒント情報入力ツールによるヒント情報の入力を受付ける（ステップＳ２４）。着色のヒントを与えて再着色を行いたいユーザは、線画画像表示領域に表示された線画画像に対して着色のヒント情報を与える。そして、着色実行ボタンをクリックして再着色が指示された場合（ステップＳ２５−Ｙ）には、ヒント情報と線画データがサーバ装置に送信され、ヒント情報が付された状態で再着色処理が実行される（ステップＳ２２）。再着色処理によって得られたヒント情報が与えられた着色済画像データがクライアント端末に送信され、着色済画像表示領域にヒント情報が与えられた着色済画像データが示す着色済画像が表示される（ステップＳ２３）。このようにして、ユーザが望む着色済画像データが得られて再着色の必要がなくなった段階（ステップＳ２５−Ｎ）で、線画自動着色ツールが終了される。

以上のように、サーバ装置からクライアント端末のディスプレイの表示画面に対してＧＵＩを提供して、ＧＵＩによって線画自動着色ツールをユーザに提供するようにし、ＧＵＩの機能として線画画像表示領域と着色済画像表示領域とを同一表示画面内に設けるようにしたので、ユーザは元の線画画像と着色済画像を並べて観察できるため、着色の前後で変化する作品の雰囲気を直接対比することができる。また、線画画像表示領域に表示された線画データが示す線画画像に対して選択した色で着色すべき箇所を指定するためのヒント情報を入力可能とし、ヒント情報を付した状態で再着色処理を実行できるようにしたので、線画画像に対してユーザが自由に着色のヒントを与えて自動着色を実行することができる。なお、このヒント情報の付加は、その場所を指定した色で塗ることを指定するものではなく、ヒント情報が含まれた状態で学習済モデルに着色を実行させるものであるため、必ずしも指定した色で着色されるとは限らないものであるといえる。線画自動着色プログラムが利用する第１学習済モデル及び第２学習済モデルの学習過程でヒント情報を含ませて学習しているため、学習に利用したサンプルデータ及びヒント情報の傾向によって指定したヒント情報がどのように採用されるかが決まるといえる。この点は、指定した色で着色を行う従来の画像編集ソフト等における着色処理とは全く異なる機能であり、本発明の特徴的部分であるといえる。

前記第２の実施の形態において、ＧＵＩ上で線画データ入力フォームによって線画データを入力すると自動で着色処理が行われるようにしていたが、これは一例であり、線画データを入力した段階で線画画像表示領域に線画データが示す線画画像を表示して、ヒント情報の入力を行えるようにしてもよい。このように処理の順序を変更したとしても本発明の効果が失われることはない。

前記第１及び第２の実施の形態においては、線画データを所定の縮小サイズに縮小して１段階目の着色処理を第１着色処理部で実行し、結果として得られた着色済縮小データと元のサイズの線画データとを利用して２段階目の着色処理を第２着色処理部で実行する構成としていた。これは、サイズの大きな線画データに対する着色処理を適切に行うために行っているものであり、本例では２段階に分けて処理を行ったが、これに限定されるものではなく、３段階以上に処理を分けて着色を行うものであってもよい。

１０ 線画自動着色装置
１１ 線画データ取得部
１２ 縮小処理部
１３ 第１着色処理部
１４ 第２着色処理部
１５ 記憶部

Claims (7)

1. 線画データに対して自動で着色を行うための処理をコンピュータに実現させるための線画自動着色プログラムであって、
   前記コンピュータに、
   着色対象の線画データを取得する線画データ取得機能と、
   取得した線画データに対して所定の縮小サイズとなるように縮小処理を行って縮小線画データを得る縮小処理機能と、
   サンプルデータを用いて前記縮小サイズの線画データに対する着色処理について予め学習させた第１学習済モデルに基づいて、前記縮小線画データに対して着色処理を行う第１着色処理機能と、
   サンプルデータと、このサンプルデータに対して第１着色処理機能において着色処理を行った着色済縮小サンプルデータとを入力として、サンプルデータに対する着色処理について予め学習させた第２学習済モデルに基づいて、前記第１着色処理機能によって前記縮小線画データに着色処理を行った着色済縮小データと元の線画データとを入力として元の線画データに対して着色処理を行う第２着色処理機能と
   を実現させるための線画自動着色プログラム。
2. 前記コンピュータに、
   前記線画データに対する少なくとも１色の着色のヒント情報を取得するヒント情報取得機能を実現させ、
   前記第１着色処理機能では、前記縮小線画データとヒント情報を入力として着色処理を行う機能を実現させる
   請求項１記載の線画自動着色プログラム。
3. 前記第１学習済モデルは、線画データのみからなるヒントなしサンプルデータと、線画データとこの線画データに対する少なくとも１色の着色のヒント情報とからなるヒントありサンプルデータの両方に基づいて学習を行ったものである
   請求項１又は請求項２に記載の線画自動着色プログラム。
4. 前記第１学習済モデルは、線画データに対する着色を学習するジェネレータと、予め着色が施されたテストデータと前記ジェネレータの生成した着色済縮小データを区別することを学習するディスクリミネータとを交互に学習する敵対的生成モデルによって学習されたものである
   請求項１から請求項３の何れかに記載の線画自動着色プログラム。
5. 着色対象の線画データを取得する線画データ取得部と、
   取得した線画データに対して所定の縮小サイズとなるように縮小処理を行って縮小線画データを得る縮小処理部と、
   サンプルデータを用いて前記縮小サイズの線画データに対する着色処理について予め学習させた第１学習済モデルに基づいて、前記縮小線画データに対して着色処理を行う第１着色処理部と、
   サンプルデータと、このサンプルデータに対して第１着色処理部において着色処理を行った着色済縮小サンプルデータとを入力として、サンプルデータに対する着色処理について予め学習させた第２学習済モデルに基づいて、前記第１着色処理部によって前記縮小線画データに着色処理を行った着色済縮小データと元の線画データとを入力として元の線画データに対して着色処理を行う第２着色処理部と
   を具備した線画自動着色装置。
6. 前記請求項１から請求項４の何れかに記載の線画自動着色プログラムを格納したサーバ装置から通信ネットワークを介して接続されるクライアント端末に対して提供される線画自動着色ツールのためのグラフィカルユーザインターフェース用プログラムであって、
   前記サーバ装置に、
   前記クライアント端末を操作するユーザが線画データを入力するためのフォーム領域を表示画面に表示する線画データ入力フォーム表示機能と、
   入力された線画データが示す線画を表示画面に設けられた線画画像表示領域に表示する線画画像表示機能と、
   前記線画データに対して前記線画自動着色プログラムによって着色処理を行って得た着色済画像データが示す着色済画像を表示画面に設けられた着色済画像表示領域に表示する着色済画像表示機能と
   を実現させることで前記クライアント端末のディスプレイに対してグラフィカルユーザインターフェースを提供するグラフィカルユーザインターフェース用プログラム。
7. 前記サーバ装置に、
   前記線画画像表示領域に表示された線画データが示す線画に対して選択した色で着色すべき箇所を指定するためのヒント情報入力ツールを表示画面に表示してヒント情報の入力を受け付けるヒント情報入力ツール表示機能と、
   前記ヒント情報入力ツール表示機能によってヒント情報の入力を受け付けた状態において、ヒント情報を含んだ状態で着色処理を実行させるための着色実行ボタンを表示画面に表示する着色実行ボタン表示機能と
   を実現させる請求項６に記載のグラフィカルユーザインターフェース用プログラム。
   

Images