JP7252701B2 - システム、プログラム、および方法 - Google Patents

Description

特許法第３０条第２項適用 ［刊行物１］平成２８年１２月２５日掲載、掲載アドレスｈｔｔｐ：／／ｊｐ．ｆｉｎａｌｆａｎｔａｓｙｘｉｖ．ｃｏｍ／ｐｒ／ｂｌｏｇ／００１５９６．ｈｔｍｌ ［刊行物２］平成２９年１月２７日掲載、掲載アドレスｈｔｔｐ：／／ｑｉｉｔａ．ｃｏｍ／ｔａｉｚａｎ／ｉｔｅｍｓ／７１１９ｅ１６０６４ｃｃ１１５００ｆ３２ ［刊行物３］配布日 平成２９年１月２７日、配布方法 ウェブサイトにてダウンロード配信、配布アドレスｈｔｔｐ：／／ｐａｉｎｔｓｃｈａｉｎｅｒ．ｐｒｅｆｅｒｒｅｄ．ｔｅｃｈ／ ［刊行物４］配布日 平成２９年１月２７日、配布方法 ウェブサイトにてダウンロード配信、配布アドレスｈｔｔｐｓ：／／ｇｉｔｈｕｂ．ｃｏｍ／ｐｆｎｅｔ／ＰａｉｎｔｓＣｈａｉｎｅｒ ［刊行物５］平成２９年２月２３日掲載、掲載アドレスｈｔｔｐｓ：／／ｗｗｗ．ｙｏｕｔｕｂｅ．ｃｏｍ／ｗａｔｃｈ？ｖ＝Ｆｑ５ＺＱ１ｃｃＧ３８ ［刊行物６］平成２９年３月２２日掲載、掲載アドレスｈｔｔｐｓ：／／ｗｗｗ．ｓｌｉｄｅｓｈａｒｅ．ｎｅｔ／ｔａｉｚａｎｙｏｎｅｔｕｊｉ／ｃｈａｉｎｅｒ－ｍｅｅｔｕｐ－７３４５７４４８ ［刊行物７］平成２９年２月５日掲載、掲載アドレスｈｔｔｐｓ：／／ｗｗｗ．ｂｕｚｚｆｅｅｄ．ｃｏｍ／ｊｐ／ｓａｋｉｍｉｚｏｒｏｋｉ／ｐａｉｎｔｓｃｈａｉｎｅｒ？ｕｔｍ＿ｔｅｒｍ＝．ｋｌＺｂＢｗＹＷｍ＃．ｃｈ７Ａｖｐ０２８ ［刊行物８］平成２９年３月３日掲載、掲載アドレスｈｔｔｐｓ：／／ｂｉｔａ．ｊｐ／ｄｍｌ／ｐａｉｎｔｓ＿ｃｈａｉｎｅｒ

本発明は、線画画像に対して自動で着色を施すための線画自動着色プログラム、線画自動着色装置及びグラフィカルユーザインターフェース用プログラムに関するものである。

近年、ディープラーニングと呼ばれる多層構造のニューラルネットワークを用いた機械学習が様々な分野において適用されている。画像認識や画像生成といった画像処理の分野においても活用が目立ち、目覚ましい成果を上げている。

例えば、非特許文献１は、白黒写真の自動色付けの処理をディープネットワークによって実現したものであり、白黒写真の着色処理を機械学習によって実現している。

ディープネットワークを用いた大域特徴と局所特徴の学習による白黒写真の自動色付け 飯塚里志、シモセラ エドガー、石川博（http://hi.cs.waseda.ac.jp/~iizuka/projects/colorization/ja/）

ところで、線画画像に対して自動で着色を施したいというニーズがある。従来、画像の閉じた領域に対して選択した色で着色を行う機能を備えたソフトウェアは存在したが、手書きの線画画像などは領域が閉じていない場合が多く、従来のソフトウェアでは簡単には着色できない対象であった。

また、前記非特許文献１の白黒写真の場合、各ドットが輝度情報を備えており、輝度情報をヒントとして各ドットの色を決定する処理であると思われるが、線画画像は輝度情報を含まない画像であるといえるため、より着色が難しい対象であった。

本発明は、上記問題点に鑑みなされたものであり、線画画像に対して自動で着色が可能な線画自動着色プログラム、線画自動着色装置及びグラフィカルユーザインターフェース用プログラムを提供することを目的とする。

本発明に係る線画自動着色プログラムは、線画データに対して自動で着色を行うための処理をコンピュータに実現させるための線画自動着色プログラムであって、線画データからなる複数のサンプルデータによってそれぞれが構成された複数のサンプルデータ群であって含まれるサンプルデータの少なくとも一部が相互に異なる複数のサンプルデータ群のそれぞれに基づいて、所定の縮小サイズの線画データに対する着色処理について予め学習させることで得られた複数の第１学習済モデルと、前記複数のサンプルデータ群と、この複数のサンプルデータ群を構成するそれぞれのサンプルデータに対して前記複数の第１学習済モデルの何れかにおいて着色処理を行って得られた複数の着色済縮小サンプルデータによってそれぞれが構成される複数の着色済縮小サンプルデータ群とを入力として、サンプルデータに対する着色処理について予め学習させることで得られた複数の第２学習済モデルとを記憶させる記憶手段を備えた前記コンピュータに、着色対象の線画データを取得する線画データ取得機能と、取得した線画データに対して所定の縮小サイズとなるように縮小処理を行って縮小線画データを得る縮小処理機能と、前記複数の第１学習済モデルのうちの何れか１つの第１学習済モデルに基づいて、前記縮小線画データに対して着色処理を行う第１着色処理機能と、前記複数の第２学習済モデルのうちの何れか１つの第２学習済モデルに基づいて、前記第１着色処理機能によって前記縮小線画データに着色処理を行った着色済縮小データと元の線画データとを入力として元の線画データに対して着色処理を行う第２着色処理機能とを実現させることを特徴とする。

また、本発明に係る線画自動着色プログラムは、前記第１着色処理機能において用いる第１学習済モデルと前記第２着色処理機能において用いる第２学習済モデルは、所定の割合以上が共通のサンプルデータで構成されたサンプルデータ群に基づいてそれぞれ学習されたものであることを特徴とする。

また、本発明に係る線画自動着色プログラムは、前記第１着色処理機能において用いる第１学習済モデル及び／又は前記第２着色処理機能において用いる第２学習済モデルは、前記複数の第１学習済モデル及び／又は前記複数の第２学習済モデルの中からユーザの選択によって決定されたものであることを特徴とする。

また、本発明に係る線画自動着色プログラムは、前記第１着色処理機能及び前記第２着色処理機能に基づいて元の線画データに対して着色処理を行って得られた一方の着色済データと、前記一方の着色済データの着色処理に用いられたものと異なる第１学習済モデル及び／又は前記一方の着色済データの着色処理に用いられたものと異なる第２学習済モデルを用いて前記第１着色処理機能及び前記第２着色処理機能に基づいて元の線画データに対して着色処理を行って得られた少なくとも１以上の他方の着色済データとを取得し、前記一方の着色済データと前記他方の着色済データとを合成して合成着色済データを出力する合成機能を前記コンピュータに実現させることを特徴とする。

また、本発明に係る線画自動着色プログラムは、前記合成機能は、前記一方の着色済データと前記他方の着色済データとの合成比率をユーザが選択可能であることを特徴とする。

また、本発明に係る線画自動着色プログラムは、前記コンピュータに、前記線画データに対する少なくとも１色の着色のヒント情報を取得するヒント情報取得機能を実現させ、前記第１着色処理機能では、前記縮小線画データとヒント情報を入力として着色処理を行う機能を実現させることを特徴とする。

また、本発明に係る線画自動着色プログラムは、前記第１学習済モデルは、線画データのみからなるヒントなしサンプルデータと、線画データとこの線画データに対する少なくとも１色の着色のヒント情報とからなるヒントありサンプルデータの両方を含むサンプルデータ群に基づいて学習を行ったものであることを特徴とする。

本発明に係る線画自動着色装置は、線画データからなる複数のサンプルデータによってそれぞれが構成された複数のサンプルデータ群であって含まれるサンプルデータの少なくとも一部が相互に異なる複数のサンプルデータ群のそれぞれに基づいて、所定の縮小サイズの線画データに対する着色処理について予め学習させることで得られた複数の第１学習済モデルと、前記複数のサンプルデータ群と、この複数のサンプルデータ群を構成するそれぞれのサンプルデータに対して前記複数の第１学習済モデルの何れかにおいて着色処理を行って得られた複数の着色済縮小サンプルデータによってそれぞれが構成される複数の着色済縮小サンプルデータ群とを入力として、サンプルデータに対する着色処理について予め学習させることで得られた複数の第２学習済モデルとを記憶させる記憶手段を備え、着色対象の線画データを取得する線画データ取得部と、取得した線画データに対して所定の縮小サイズとなるように縮小処理を行って縮小線画データを得る縮小処理部と、前記複数の第１学習済モデルのうちの何れか１つの第１学習済モデルに基づいて、前記縮小線画データに対して着色処理を行う第１着色処理部と、前記複数の第２学習済モデルのうちの何れか１つの第２学習済モデルに基づいて、前記第１着色処理部によって前記縮小線画データに着色処理を行った着色済縮小データと元の線画データとを入力として元の線画データに対して着色処理を行う第２着色処理部とを具備したことを特徴とする。

本発明に係るグラフィカルユーザインターフェース用プログラムは、前記線画自動着色プログラムを格納したサーバ装置から通信ネットワークを介して接続されるクライアント端末に対して提供される線画自動着色ツールのためのグラフィカルユーザインターフェース用プログラムであって、前記サーバ装置に、前記クライアント端末を操作するユーザが線画データを入力するためのフォーム領域を表示画面に表示する線画データ入力フォーム表示機能と、入力された線画データが示す線画を表示画面に設けられた線画画像表示領域に表示する線画画像表示機能と、前記線画データに対して前記線画自動着色プログラムによって着色処理を行って得た着色済画像データが示す着色済画像を表示画面に設けられた着色済画像表示領域に表示する着色済画像表示機能とを実現させることで前記クライアント端末のディスプレイに対してグラフィカルユーザインターフェースを提供することを特徴とする。

また、本発明に係るグラフィカルユーザインターフェース用プログラムは、前記サーバ装置に、前記線画画像表示領域に表示された線画データに対して選択した色で着色すべき箇所を指定するためのヒント情報入力ツールを表示画面に表示してヒント情報の入力を受け付けるヒント情報入力ツール表示機能と、前記ヒント情報入力ツール表示機能によってヒント情報の入力を受け付けた状態において、ヒント情報を含んだ状態で着色処理を実行させるための着色実行ボタンを表示画面に表示する着色実行ボタン表示機能とを実現させることを特徴とする。

本発明によれば、取得した元のサイズの線画データを縮小した縮小線画データについて先ず着色処理を行い、得られた着色済縮小データと元のサイズの線画データとを用いて２段階目の着色処理を行って、着色済画像を得るようにしたので、サイズの大きな線画データに対する着色処理を適切に行うことが可能となる。また、含まれるサンプルデータの少なくとも一部が相互に異なる複数のサンプルデータ群のそれぞれに基づいて、第１着色処理における着色処理に用いる複数の第１学習済モデルと、第２着色処理における着色処理に用いる複数の第２学習済モデルとを予め学習させて記憶させておき、複数の第１学習済モデルのうちの１つと複数の第２学習済モデルのうちの１つとで着色処理を実行するようにしたので、様々な着色傾向の着色処理を実行することが可能となる。また、複数の学習済モデルのうち何れの学習済モデルを利用して着色処理を実行させるかについてユーザが選択できるようにすることで、ユーザは自分の好みの着色傾向の第１学習済モデル及び／又は第２学習済モデルを選択することが可能となる。

また、着色に用いる第１学習済モデルの学習過程で着色のヒント情報を含む形で学習を進めることにより、線画データへの着色処理に対して着色のヒント情報を付加して着色処理を実施させることが可能となる。

また、サーバ装置からクライアント端末のディスプレイの表示画面に対してＧＵＩを提供して、ＧＵＩによって線画自動着色ツールをユーザに提供するようにし、ＧＵＩの機能として線画画像表示領域と着色済画像表示領域とを同一表示画面内に設けるようにしたので、ユーザは元の線画データと着色済画像を並べて観察できるため、着色の前後で変化する作品の雰囲気を直接対比することができる。また、線画画像表示領域に表示された線画データに対して選択した色で着色すべき箇所を指定するためのヒント情報を入力可能とし、ヒント情報を付した状態で再着色処理を実行できるようにしたので、線画データに対してユーザが自由に着色のヒントを与えて自動着色を実行することができる。

本発明に係る線画自動着色装置１０の構成を表したブロック図である。 第１学習済モデルの学習方法の一例を示したブロック図である。 本例の線画自動着色装置１０における処理の流れを表したフローチャート図である。 本例のグラフィカルユーザインターフェース用プログラムによって表示される表示画面の一例を表した説明図であり、（ａ）は線画データ入力時の表示画面であり、（ｂ）は線画データに対する着色処理後の表示画面である。 第２の実施の形態に係るＧＵＩに基づいて線画自動着色ツールを提供する場合の処理の流れを表したフローチャート図である。

［第１の実施の形態］
以下、図面を参照しながら、第１の実施の形態に係る線画自動着色装置の例について説明する。図１は、本発明に係る線画自動着色装置１０の構成を表したブロック図である。なお、線画自動着色装置１０は、専用マシンとして設計した装置であってもよいが、一般的なコンピュータによって実現可能なものであるものとする。この場合に、線画自動着色装置１０は、一般的なコンピュータが通常備えているであろうＣＰＵ（Central Processing Unit：中央演算処理装置）、ＧＰＵ（Graphics Processing Unit：画像処理装置）、メモリ、ハードディスクドライブ等のストレージを具備しているものとする（図示省略）。また、これらの一般的なコンピュータを本例の線画自動着色装置１０として機能させるためにプログラムよって各種処理が実行されることは言うまでもない。

図１に示すように、線画自動着色装置１０は、線画データ取得部１１と、縮小処理部１２と、第１着色処理部１３と、第２着色処理部１４と、記憶部１５とを少なくとも備えている。

線画データ取得部１１は、着色対象の線画データを取得する機能を有する。本発明において着色対象とする線画について特に制限はないが、対象としたい線画については、後述する学習モデルの学習過程においてサンプルデータに組み込んで予め学習させておくことが望ましい。線の太さやタッチの種類など様々な線画が存在するが、様々な線画データに基づいて学習を行うことで、着色可能な線画の種類が増える。

縮小処理部１２は、取得した線画データに対して所定の縮小サイズとなるように縮小処理を行って縮小線画データを得る機能を有する。本例の線画自動着色装置１０では、縮小サイズの線画の着色を第１着色処理部１３で行い、それに基づいて元の線画データのサイズの着色を第２着色処理部１４で行うという2段階で着色処理を行う構成となっているため、先ず、取得した線画データを第１着色処理部１３に入力する所定の縮小サイズに縮小する必要がある。

第１着色処理部１３は、縮小線画データに対して着色処理を行う機能を有する。着色処理は、線画データで構成されたサンプルデータを用いて縮小サイズの線画データに対する着色処理について予め学習させた第１学習済モデルに基づいて行われる。

第２着色処理部１４は、第１着色処理部１３によって縮小線画データに着色処理を行った着色済縮小データと元の線画データとを入力として、元の線画データに対して着色処理を行う機能を有する。着色処理は、線画データで構成されたサンプルデータと、このサンプルデータに対して第１着色処理部１３において着色処理を行った着色済縮小サンプルデータとを入力として、サンプルデータに対する着色処理について予め学習させた第２学習済モデルに基づいて行われる。

記憶部１５は、線画データ取得部１１、縮小処理部１２、第１着色処理部１３、第２着色処理部１４などを含む線画自動着色装置１０において行われる様々な処理で必要なデータ及び処理の結果として得られたデータを記憶させる機能を有する。

次に、第１着色処理部１３で用いられる第１学習済モデルの学習方法について説明する。図２は、第１学習済モデルの学習方法の一例を示したブロック図である。第１学習済モデルを学習するためのモデルはどのようなものであってもよいが、例えば、敵対的生成モデルを採用することが好ましい。この敵対的生成モデルは、図２に示すように、線画データであるサンプルデータから着色画像を生成することを学習するジェネレータと、ジェネレータが生成した着色済縮小データと予め用意された着色済のテストデータとを区別することを学習するディスクリミネータとで構成され、ジェネレータはディスクリミネータを騙すように着色を学習し、ディスクリミネータは騙されないように区別することを学習し、これら両方の学習を進めていく。

また、ジェネレータの学習に利用する線画データで構成されたサンプルデータは、着色に関するヒント情報のないサンプルデータと、着色に関するヒント情報を含むサンプルデータの両方によって学習が行われるものとする。ヒント情報なしのサンプルデータとヒント情報ありのサンプルデータとの比率については様々なパターンが考えられるが、例えば、ヒント情報なしのサンプルデータを４０％とし、ヒント情報ありのサンプルデータを６０％とすることが考えられる。また、ヒント情報ありのサンプルデータは、ヒント情報としての彩色の色指定の数を１～１２８の間で設定したものであるものとする。また、ヒント情報の与え方としては、彩色指定を１ドットで与えるものや、線分で彩色指定を行うものや、所定範囲を指定の色で塗り潰して指定するものなど、様々なヒント情報の与え方を学習段階で予め行っておくことで、ユーザの様々なヒント情報の与え方に対応できるようにすることが好ましい。
このように、ヒント情報なしのサンプルデータと幅広いヒント情報の数に設定されたヒント情報ありのサンプルデータとの両方で学習を行うことで、ヒント情報の有無の何れにおいても着色処理を行うことが可能な第１学習済モデルを得ることができる。なお、この第１学習済モデルの学習に利用されるサンプルデータは、縮小処理部１２において縮小されたことを前提とした所定の縮小サイズのサンプルデータが用いられている。

第２着色処理部１３で用いられる第２学習済モデルの学習方法については、第１学習済モデルの場合と同様に、学習するためのモデルはどのようなものであってもよいが、例えば、敵対的生成モデルを採用することができる。第２学習済モデルの学習に利用するサンプルデータは、第１学習済モデルによって生成された着色済縮小データとこの着色済縮小データの元となった線画データ（所定の縮小サイズよりも大きな画像サイズの線画データ）である。これら２つをジェネレータに対する入力とし、ジェネレータにおいて元となった線画データに対して着色処理を行うことを学習する。また、ジェネレータが生成した着色済データと予め用意された着色済のテストデータとを区別することをディスクリミネータにおいて学習する。ジェネレータはディスクリミネータを騙すように着色処理を学習し、ディスクリミネータは騙されないように区別することを学習し、これら両方の学習を進めていくことで、第２学習済モデルを得ることができる。なお、第２学習済モデルの学習に利用する着色済み縮小データについては、元の線画データのサイズと一致するように拡大処理を行ってからジェネレータに入力して学習をさせるようにしてもよい。

なお、上記の第１学習済モデル及び第２学習済モデルの学習においては、線画データのサンプルデータと着色済のテストデータの両方を必要とする。そして、これらが全く別々の画像であるよりも、線画データとその線画データに着色処理が施された着色済テストデータとがセットで準備できることが好ましい。そこで、着色済みの画像からエッジ抽出処理等の画像処理を用いて線画を生成して、線画データと着色済画像データをセットで準備するようにしてもよい。そのとき、ヒント情報として利用するために、元の着色済みの画像における着色情報をヒント情報として抽出するようにすることで、ヒント情報ありのサンプルデータの生成も行うことが可能となる。

サイズの大きい線画データについて直接着色処理を行うことを学習させようと思うと、学習の収束が上手くいかなかったり学習処理に要する演算時間が膨大になったりなど、問題が生じてしまう可能性がある。しかし、本例のように、所定の縮小サイズに縮小してから第１の着色処理を行い、第１の着色処理の結果を用いて元のサイズの線画データの着色処理を行うというように、２段階で学習を行うことで、サイズの大きな線画データに対する着色処理の学習を上手く行うことができ、学習処理に要する時間も短縮することが可能となる。

次に、本例の線画自動着色装置１０における着色処理の流れについて説明する。図３は、本例の線画自動着色装置１０における着色処理の流れを表したフローチャート図である。本例の線画自動着色装置１０における着色処理は、先ず、線画データを取得することで開始される（ステップＳ０１）。例えば、着色処理対象の線画データをユーザが選択することで取得が行われる。このとき、線画データの取得とともに、線画データに対する着色のヒント情報を併せて取得するようにしてもよい。取得した線画データについて、所定の縮小サイズとなるように縮小処理を行う（ステップＳ０２）。このとき、元のサイズの線画データについても別途保持しておく。

次に、縮小線画データに対する第１着色処理を行う（ステップＳ０３）。第１着色処理は、縮小サイズの着色処理について予め学習を行った第１学習済モデルに基づいて行われる。このとき、ヒント情報を含む場合には、ヒント情報が付された状態で第１学習済モデルに基づいて着色が行われる。この第１着色処理の結果として、着色済縮小データが得られる。

次に、ステップＳ０１で取得した元のサイズの線画データに対する第２着色処理を行う（ステップＳ０４）。第２着色処理は、元のサイズの線画データの着色処理について着色済み縮小データを利用して予め学習を行った第２学習済モデルに基づいて行われる。このとき、着色済み縮小データについて元の線画データのサイズと一致するように拡大処理を行ってから入力するようにしてもよい。得られた着色済データを着色済画像として出力し（ステップＳ０５）、着色処理を終了する。

以上のように、第１の実施の形態に係る線画自動着色装置１０によれば、取得した元のサイズの線画データを縮小した縮小線画データについて先ず着色処理を行い、得られた着色済縮小データと元のサイズの線画データとを用いて２段階目の着色処理を行って、着色済画像を得るようにしたので、サイズの大きな線画データに対する着色処理を適切に行うことが可能となる。着色処理に用いる第１学習済モデルの学習過程で着色のヒント情報を含む形で学習を進めることにより、線画データの着色処理に対して着色のヒント情報を付加して着色処理を実施させることが可能となる。

［第２の実施の形態］
以下、図面を参照しながら、第２の実施の形態に係る線画自動着色ツールを提供するためのグラフィカルユーザインターフェース用プログラムの例について説明する。第１の実施の形態においては線画自動着色装置１０として説明を行ったが、線画自動着色プログラムをサーバ装置に備えさせ、クライアント端末から通信ネットワークを介して当該サーバ装置にアクセスしてきたユーザに対して線画自動着色ツールを提供するという手法が考えられる。そのような場合には、パッケージのソフトウェアによってクライアント端末に対してツールを提供する場合に限らず、クライアント端末のディスプレイに表示させるブラウザ等においてグラフィカルユーザインターフェース（ＧＵＩ）を機能させて線画自動着色ツールを提供することも可能である。

以下の説明においては、サーバ装置に線画自動着色プログラムと線画自動着色プログラムにおいて利用する第１学習済モデル及び第２学習済モデルが格納されており、クライアント端末から通信ネットワークを介してサーバ装置にアクセスして線画自動着色ツールを利用する場合を例として説明を行うが、これらが全て格納されたクライアント端末の場合であっても同様のＧＵＩを利用可能であるため、何れもが本例の対象となるものであることはいうまでもない。

図４は、本例のグラフィカルユーザインターフェース用プログラムによって表示される表示画面の一例を表した説明図であり、（ａ）は線画データ入力時の表示画面であり、（ｂ）は線画データに対する着色処理後の表示画面である。サーバ装置からクライアント端末に対して線画自動着色ツールを提供する場合、先ず、図４（ａ）に示すように、ユーザが線画データを入力するためのフォーム領域である線画データ入力フォームをクライアント端末のディスプレイに対して、例えば、Ｗｅｂブラウザ等を介して表示させる。この線画データ入力フォームは、図４（ａ）ではファイルのパスを指定する方法で線画データを入力するものとしているが、これに限定されるものではなく、例えば、ドラッグ＆ドロップで線画データを選択するような手法であってもよい。なお、本例において表示画面とは、グラフィカルユーザインターフェース用プログラムやＷｅｂブラウザなどによってＧＵＩを提供する際にユーザに対して表示される画面のことをいうものとし、サーバ装置で生成された表示画面と、クライアント端末で生成された表示画面のいずれの場合も含むものとする。

線画データが指定されると、自動的に着色処理が開始される。選択された線画データはサーバ装置に送信され、サーバ装置において線画自動着色プログラムによって着色処理が行われ、結果として得られた着色済画像データがクライアント端末に送信される。図４（ｂ）に示すように、線画画像表示領域にユーザが選択した線画データが示す線画が表示され、着色済画像表示領域に着色済画像データが示す着色済画像が表示される。選択された線画画像と着色済画像が同一画面に並べて表示されるため、ユーザは着色の前後の画像を同時に観察して確認することができる。

また、図４（ｂ）に示すように、線画画像と着色済画像を表示する画面内には、線画画像表示領域に表示された線画データに対して選択した色で着色すべき箇所を指定するためのヒント情報入力ツールが表示される。ヒント情報入力ツールは、図４（ｂ）に示した例では、「作業を１つ戻す」「作業を１つ進める」「ヒント情報を入力するペンの選択」「入力したヒント情報の削除（消しゴム）」「着色する色の選択」となっているが、これに限られるものではない。例えばマウス操作によって、着色する色を選択して、選択した色で線画画像表示領域内の線画画像の着色すべき箇所に対して、実際にポインタでドットの追加、線分の記入、領域の塗り潰し等の手法によって着色行うことでヒント情報を与える。そして、同一画面内に表示された着色実行ボタンをマウス操作等によってクリックすると、ヒント情報を含んだ状態で着色処理が実行され、ヒント情報が反映された着色済画像が着色済画像表示領域に表示される。

図５は、第２の実施の形態に係るＧＵＩに基づいて線画自動着色ツールを提供する場合の処理の流れを表したフローチャート図である。線画自動着色ツールの提供の処理の流れは、図５に示すように、サーバ装置からクライアント端末のディスプレイの表示画面に対して、線画データ入力フォームを表示させて線画データの入力を受付けることによって開始される（ステップＳ２１）。ユーザによって線画データの入力が行われると、線画データがサーバ装置に送信され、線画データを取得したサーバ装置において線画データに対する着色処理を実行する（ステップＳ２２）。このステップＳ２２における着色処理の実行は、図３のフローチャートを用いて説明した第１の実施の形態における着色処理の流れと同様であり、図３のステップＳ０１～Ｓ０５のステップと同様の処理がこのステップＳ２２において実行される。

着色処理によって得られた着色済画像データはクライアント端末に送信され、クライアント端末では、表示画面に設けられた線画画像表示領域に線画データが示す線画画像を表示させ、着色済画像表示領域に着色済画像データが示す着色済画像を表示させる（ステップＳ２３）。また、表示画面に対してヒント情報入力ツールを表示させ、ヒント情報入力ツールによるヒント情報の入力を受付ける（ステップＳ２４）。着色のヒントを与えて再着色を行いたいユーザは、線画画像表示領域に表示された線画画像に対して着色のヒント情報を与える。そして、着色実行ボタンをクリックして再着色が指示された場合（ステップＳ２５－Ｙ）には、ヒント情報と線画データがサーバ装置に送信され、ヒント情報が付された状態で再着色処理が実行される（ステップＳ２２）。再着色処理によって得られたヒント情報が与えられた着色済画像データがクライアント端末に送信され、着色済画像表示領域にヒント情報が与えられた着色済画像データが示す着色済画像が表示される（ステップＳ２３）。このようにして、ユーザが望む着色済画像データが得られて再着色の必要がなくなった段階（ステップＳ２５－Ｎ）で、線画自動着色ツールが終了される。

以上のように、サーバ装置からクライアント端末のディスプレイの表示画面に対してＧＵＩを提供して、ＧＵＩによって線画自動着色ツールをユーザに提供するようにし、ＧＵＩの機能として線画画像表示領域と着色済画像表示領域とを同一表示画面内に設けるようにしたので、ユーザは元の線画画像と着色済画像を並べて観察できるため、着色の前後で変化する作品の雰囲気を直接対比することができる。また、線画画像表示領域に表示された線画データが示す線画画像に対して選択した色で着色すべき箇所を指定するためのヒント情報を入力可能とし、ヒント情報を付した状態で再着色処理を実行できるようにしたので、線画画像に対してユーザが自由に着色のヒントを与えて自動着色を実行することができる。なお、このヒント情報の付加は、その場所を指定した色で塗ることを指定するものではなく、ヒント情報が含まれた状態で学習済モデルに着色を実行させるものであるため、必ずしも指定した色で着色されるとは限らないものであるといえる。線画自動着色プログラムが利用する第１学習済モデル及び第２学習済モデルの学習過程でヒント情報を含ませて学習しているため、学習に利用したサンプルデータ及びヒント情報の傾向によって指定したヒント情報がどのように採用されるかが決まるといえる。この点は、指定した色で着色を行う従来の画像編集ソフト等における着色処理とは全く異なる機能であり、本発明の特徴的部分であるといえる。

前記第２の実施の形態において、ＧＵＩ上で線画データ入力フォームによって線画データを入力すると自動で着色処理が行われるようにしていたが、これは一例であり、線画データを入力した段階で線画画像表示領域に線画データが示す線画画像を表示して、ヒント情報の入力を行えるようにしてもよい。このように処理の順序を変更したとしても本発明の効果が失われることはない。

［第３の実施の形態］
前記第１及び第２の実施の形態においては、一組の第１学習済モデル及び第２学習済モデルによって着色処理を実行させるものとして説明を行ったが、これに限定されるものではなく、第１学習済モデル及び第２学習済モデルを複数組備えるようにしてもよい。

第１の実施の形態における線画自動着色装置１０においては、記憶部１５に一組の第１学習済モデル及び第２学習済モデルを記憶させるものとして説明を行ったが、本例では、学習に用いたサンプルデータ群の内容がそれぞれ異なる複数の第１学習済モデル及び複数の第２学習済モデルを予め学習させて記憶部１５に記憶させる。

すなわち、線画データからなる複数のサンプルデータによってそれぞれが構成された複数のサンプルデータ群であって含まれるサンプルデータの少なくとも一部が相互に異なる複数のサンプルデータ群のそれぞれに基づいて、所定の縮小サイズの線画データに対する着色処理について予め学習させることで複数の第１学習済モデルを得て、記憶部１５に記憶させる。また、複数のサンプルデータ群と、この複数のサンプルデータ群を構成するそれぞれのサンプルデータに対して複数の第１学習済モデルの何れかにおいて着色処理を行って得られた複数の着色済縮小サンプルデータによってそれぞれが構成される複数の着色済縮小サンプルデータ群とを入力として、サンプルデータに対する着色処理について予め学習させることで複数の第２学習済モデルを得て、記憶部１５に記憶させる。

好ましくは、所定の割合以上が共通のサンプルデータで構成されたサンプルデータ群に基づいて学習された第１学習済モデルと第２学習済モデルとを１つの学習済モデルセットとしてその対応関係が分かるように記憶させるようにする。また、１つの着色済データを得るための第１着色処理部１３における着色処理と第２着色処理部１４における着色処理は、１つの学習済モデルセットとして対で記憶させた第１学習済モデルと第２学習済モデルを用いるようにすることが好ましい。このように、所定割合以上のサンプルデータが重複しているサンプルデータ群に基づいて第１学習済モデルと第２学習済モデルをそれぞれ学習させることで、第１着色処理部１３における着色処理と第２着色処理部１４における着色処理が、傾向の共通した着色処理となるため、得られる着色済データのクオリティが向上する。

そして、１対の第１学習済モデルと第２学習済モデルからなる学習済モデルセットについて、着色傾向が異なるように複数の学習済モデルセットを学習させて記憶部１５に記憶させる。着色傾向の異なる複数の学習済モデルセットが存在することで、様々な着色傾向の着色済データが得られるという効果がある。また、複数の学習済モデルセットのうち何れの学習済モデルセットを利用して着色処理を実行させるかについてユーザが選択できるようにすることで、ユーザは自分の好みの着色傾向の第１学習済モデル及び第２学習済モデルを選択することが可能となる。なお、第１の実施の形態乃至第３の実施の形態において記憶部１５として記載したものは、線画自動着色装置１０が内部に備える記憶部１５であってもよいし、記憶部１５を内部に備える代わりに、通信ネットワークを介して接続可能なサーバ装置に記憶させる記憶手段であってもよいことはいうまでもない。

また、着色傾向の異なる２以上の学習済モデルセットを用いてそれぞれの学習済モデルセットから２以上の着色済データを得た場合に、それらの２以上の着色済データを合成して１つの合成着色済データをえるための合成部を設けるようにしてもよい。すなわち、合成部は、第１着色処理部１３及び第２着色処理部１４に基づいて元の線画データに対して着色処理を行って得られた一方の着色済データと、一方の着色済データの着色処理に用いられたものと異なる第１学習済モデル及び／又は一方の着色済データの着色処理に用いられたものと異なる第２学習済モデルを用いて、第１着色処理部１３及び第２着色処理部１４に基づいて元の線画データに対して着色処理を行って得られた少なくとも１以上の他方の着色済データとを取得し、一方の着色済データと他方の着色済データとを合成して合成着色済データを出力する機能を有する。

この合成部における合成処理は、２以上の画像を合成することができればどのような合成処理であってもよいが、例えば、一般的に行われている加減乗除の画像合成手法をそのまま採用することができる。また、このときに、２以上の着色済データを合成する際の各データの合成比率についてユーザが指定可能としてもよい。例えば、２つの着色済データを合成する場合には、一方の着色済データの合成比率をシークバーによって０％～１００％の間で調整可能とし、調整中の各比率における合成着色済データに基づく表示画像をディスプレイに表示させて、ユーザが合成比率の変化による合成着色済データに基づく表示画像の変化を視認できるように構成してもよい。

以上のように、この第３の実施の形態に係る線画自動着色装置１０によれば、複数の学習済モデルセットを学習させて記憶部１５に記憶させることで、着色傾向の異なる複数の学習済モデルセットに基づいて、様々な着色傾向の着色済データが得られるという効果がある。また、複数の学習済モデルセットのうち何れの学習済モデルセットを利用して着色処理を実行させるかについてユーザが選択できるようにすることで、ユーザは自分の好みの着色傾向の第１学習済モデル及び第２学習済モデルを選択することが可能となる。また、得られた２以上の着色済データを合成する合成部を備えることで、着色傾向の異なる着色済データを合成した合成着色済データを得ることができるため、単独の着色済データでは得られない着色傾向の着色済画像を得ることが可能となる。

なお、この第３の実施の形態における説明では、所定の割合以上が共通のサンプルデータで構成されたサンプルデータ群に基づいて学習された第１学習済モデルと第２学習済モデルからなる学習済モデルセットを１対で使用することが好ましいとして説明を行ったが、これに限定されるものではない。すなわち、第１着色処理部１３において使用する第１学習済モデルと、第２着色処理部１４おいてに使用する第２学習済モデルを、それぞれユーザが独立して選択可能としてもよい。学習に用いたサンプルデータ群が全く異なる第１学習済モデルと第２学習済モデルを選択することも可能となる。このような選択を可能とした場合、必ずしもクオリティの高い着色処理が行えるとは限らないが、ユーザが様々に組み合わせて自動着色処理を楽しむことができるという効果を有し、また、共通するサンプルデータ群を用いた場合には得られない着色結果を得ることができる可能性があるという効果を有するといえる。

［第４の実施の形態］
前記第２の実施の形態においては、ＷＥＢサービスとして提供する場合のグラフィカルユーザインターフェース用プログラムとして説明を行ったが、本発明に係る自動着色プログラムは、図面作成ソフト、画像編集ソフト及びこれらのソフトウェアと同等の機能をサーバ装置からクライアント端末に提供するＷＥＢサービス（以下、編集ソフトウェアともいう）などに対しても組み込むことが可能である。

図面作成ソフトや画像編集ソフトを含む編集ソフトウェアは、線画データを作成する機能や、線画データを貼り付ける機能を有する場合がある。そして、それらの線画データの作成や線画データ貼り付けは、複数のレイヤーによって管理して、特定のレイヤーにおいて線画データを作成したり張り付けたりするような構成を有することが一般的に行われているといえる。また、編集ソフトウェアにおいては、レイヤー内に閉じた領域を形成して、その領域内に対してのみ特定の処理を行う機能、例えば、塗り潰し機能やハッチング処理機能などが存在する。このような構成及び機能を有する編集ソフトウェアに対して、本発明に係る自動着色プログラムを組み込むことで、より多機能な編集ソフトウェアを提供することが可能となる。

例えば、編集ソフトウェアの機能に基づいて作成した線画データや貼り付けられた線画データに対して自動着色プログラムによる着色処理を実行可能とすることが考えられる。このような構成とすることで、編集ソフトウェアで作画した線画データや編集ソフトウェアに取り込んだ線画データに対して着色処理を実行することができ、さらに、編集ソフトウェアの各種機能に基づいて得られた着色済データに対して更なる編集を加えることが可能となる。

また、編集ソフトウェアにおける複数のレイヤーによって管理する機能を用いて、特定のレイヤーにのみ自動着色プログラムによる着色処理を実行可能とすることが考えられる。このような機能を用いることで、パーツごとに異なるレイヤーに線画データを書き分けて、パーツ単位で着色処理を実行して、最終的には全レイヤーを重ね合わせた編集画像データを得るといった使い方が可能となる。例えば、人物の線画データに関するレイヤーと、背景の線画データに関するレイヤーを設けて、それぞれ着色処理してから重ね合わせることで、最終的に一枚の画像データを得るといった使い方ができる。このとき、第３の実施の形態のように、人物の着色に特化した学習済モデルセットを選択して人物の線画データに関するレイヤーを着色し、背景の着色に特化した学習済モデルセットを選択して背景の線画データに関するレイヤーを着色させて、最終的に一枚の画像データを得るようにすれば、最初から人物と背景を含む線画データ全体に着色処理を施す場合に比較してクオリティの高い着色済データを得られる可能性がある。

また、レイヤー内に閉じた領域を形成して、その領域内に対してのみ特定の処理を行う機能を用いて、レイヤー内に閉じた領域にのみ自動着色プログラムによる着色処理を実行可能とすることが考えられる。閉じた領域内に描かれた画像を１つの線画データと捉えれば、特に技術的な困難性を伴うことなく適用することができる。このような機能により、ユーザが選択した領域のみに着色処理を実行することが可能となる。

以上のように、既存の編集ソフトウェアに対して本発明に係る自動着色プログラムを適用することで、自動着色を行った着色済データが示す着色済画像に対してさらに編集ソフトウェアに基づいて編集を行うことが可能となったり、レイヤー単位、或いはレイヤー内の閉じた領域単位で自動着色を実行可能となったりすることで、よりユーザの利便性を向上させた自動着色機能付の編集ソフトウェアを提供することが可能となる。このような自動着色機能付の編集ソフトウェアは、コンピュータグラフィックやアニメーションの制作現場において、一部の着色作業を自動着色プログラムに基づいて実行させることで、全体としての作業の効率化に寄与する可能性があるといえる。

前記第１乃至第４の実施の形態においては、線画データを所定の縮小サイズに縮小して１段階目の着色処理を第１着色処理部で実行し、結果として得られた着色済縮小データと元のサイズの線画データとを利用して２段階目の着色処理を第２着色処理部で実行する構成としていた。これは、サイズの大きな線画データに対する着色処理を適切に行うために行っているものであり、本例では２段階に分けて処理を行ったが、これに限定されるものではなく、３段階以上に処理を分けて着色を行うものであってもよい。

また、複数段階に分けて処理する場合に限らず、サイズの大きな線画データに対する着色処理を適切に実行可能であれば、１段階で線画データに着色処理を完了させる構成であってもよい。この場合には、線画データを縮小することなく元のサイズに直接着色処理を施すことをサンプルデータ群に基づいて学習させた学習済モデルに基づいて、１段階で着色済データを出力する構成となる。このような１段階の着色処理部による構成と、前記前記第１乃至第４の実施の形態の構成とを組み合わせたものについても、本発明による効果が得られるといえる。

前記第１乃至第４の実施の形態において説明した内容は、必ずしもそれぞれの実施形態毎で機能させるものである必要はなく、本明細書に記載された様々な構成を組み合わせたものについても、本発明の範囲に含まれるものであることはいうまでもない。

１０ 線画自動着色装置
１１ 線画データ取得部
１２ 縮小処理部
１３ 第１着色処理部
１４ 第２着色処理部
１５ 記憶部

Claims (24)

1. 着色対象データを着色するための着色モデルを、選択される候補として複数、記憶する記憶部と、
   選択される候補として前記記憶部に記憶されている前記複数の着色モデルから、取得部によって取得される着色対象データを着色するために着色処理部に用いられる着色モデルを選択する選択部と
   を備えるシステム。
2. 前記選択部は、前記着色対象データを着色するために用いられる着色モデルをユーザの選択にしたがって選択する、請求項１に記載のシステム。
3. 前記着色対象データに対して、前記選択部によって前記複数の着色モデルから選択された着色モデルに基づく着色処理を行う前記着色処理部
   を備える請求項１または請求項２に記載のシステム。
4. 前記着色処理部において前記着色対象データに対して前記選択部によって選択された第１の着色モデルに基づく着色処理を行って得られた一方の着色済データと、
   前記着色処理部において前記着色対象データに対して前記第１の着色モデルと異なる前記選択部によって選択された第２の着色モデルに基づく着色処理を行って得られた他方の着色済データと
   を取得し、
   前記一方の着色済データと前記他方の着色済データとを合成して合成着色済データを出力する合成部
   を備える、請求項３に記載のシステム。
5. 前記合成部において、前記一方の着色済データと前記他方の着色済データとの合成比率
   をユーザが選択可能である、請求項４に記載のシステム。
6. 前記着色対象データが複数のレイヤーによって構成されている場合のレイヤー情報を取得するレイヤー情報取得部を備え、
   前記着色処理部は、前記着色対象データの何れかのレイヤーを指定して当該レイヤーに対して、前記選択部によって前記複数の着色モデルから選択された着色モデルに基づく着色処理を行う、請求項３に記載のシステム。
7. 前記着色処理部は、前記選択部によって前記着色対象データのレイヤー毎に選択された何れかの着色モデルに基づく着色処理を実行可能である、請求項６に記載のシステム。
8. 前記着色対象データに対する少なくとも１色の着色のヒント情報を取得するヒント情報取得部を備え、
   前記着色処理部では、前記着色対象データと前記ヒント情報を入力として着色処理を行うようにした
   請求項３から請求項７の何れかに記載のシステム。
9. 前記記憶部に記憶されている前記複数の着色モデルはそれぞれ着色傾向が異なる、請求項１から請求項８の何れかに記載のシステム。
10. 前記記憶部に記憶されている前記複数の着色モデルのそれぞれは、入力されたデータから着色画像を生成する学習に基づいて得られる、請求項１から請求項９の何れかに記載のシステム。
11. 前記記憶部に記憶されている前記複数の着色モデルのそれぞれは、サンプルデータ群を用いて予め学習されたものであり、それぞれのサンプルデータ群は、少なくとも一部が相互に異なる、請求項１０に記載のシステム。
12. 前記複数の着色モデルは、それぞれ異なる敵対的生成モデルのジェネレータである、請求項１から請求項１１の何れかに記載のシステム。
13. 着色対象データに対して着色を行うための処理をコンピュータに実現させるためのプログラムであって、
    前記コンピュータに、
    選択される候補として記憶部に記憶されている複数の着色モデルから、着色対象データを着色するために着色処理部に用いられる着色モデルを選択する選択機能
    を実現させるプログラム。
14. 着色対象データを着色するための着色モデルを、選択される候補として複数、記憶する記憶部を備えたシステムが実行する方法であって、
    選択される候補として前記記憶部に記憶されている前記複数の着色モデルから、着色対象データを着色するために着色処理部に用いられる着色モデルを選択する選択手順
    を含む方法。
15. ユーザが着色対象データを入力するためのフォーム領域を表示画面に表示する着色対象データ入力フォーム表示部と、
    入力された前記着色対象データが示す画像を、前記表示画面に表示する着色対象画像表示部と、
    選択される候補として記憶部に予め記憶されている複数の着色モデルの何れを前記着色対象データを着色するために着色処理部に用いられる着色モデルとするかを、ユーザに選択させる選択部と、
    前記着色対象データに対して前記ユーザに選択された着色モデルに基づく着色処理によって得られた着色済画像データが示す着色済画像を、前記表示画面に表示する着色済画像表示部と
    を備えるシステム。
16. 前記表示された前記着色対象データが示す画像に対して、選択した色で着色すべき箇所を指定するためのヒント情報入力ツールを前記表示画面に表示してヒント情報の入力を受け付ける
    ヒント情報入力ツール表示部を備える請求項１５に記載のシステム。
17. 着色対象データを着色するために用いられる着色モデルの前記選択は、当該着色対象データを着色する機能を有する編集ソフトウェアを介して行われる、
    請求項１から請求項１２、請求項１５、請求項１６の何れかに記載のシステム、または、請求項１３に記載のプログラム、または、請求項１４に記載の方法。
18. 前記着色対象データを取得する取得部と、
    前記着色対象データのレイヤー情報を取得するレイヤー情報取得部と、を備え、
    前記着色処理部は、前記着色対象データの互いに重なる複数のレイヤーについて、レイヤー毎に、着色モデルに基づく着色処理を行う、請求項１に記載のシステム。
19. 前記着色処理部は、着色モデルに基づく着色処理後の前記複数のレイヤーに基づいて、着色済データを取得する、請求項１８に記載のシステム。
20. 前記着色処理部は、互いに重なる前記複数のレイヤーの第１レイヤーに対して第１の着色モデルに基づく着色処理を行い、互いに重なる前記複数のレイヤーの第２レイヤーに対して第２の着色モデルに基づく着色処理を行う、請求項１８または請求項１９に記載のシステム。
21. 前記第１レイヤーは、人物に関するレイヤーであり、
    前記第２レイヤーは、背景に関するレイヤーである、
    請求項２０に記載のシステム。
22. 前記第１の着色モデルは、前記第２の着色モデルよりも人物の着色に特化した着色モデルであり、
    前記第２の着色モデルは、前記第１の着色モデルよりも背景の着色に特化した着色モデルである、
    請求項２１に記載のシステム。
23. 前記コンピュータに、
    前記着色対象データを取得するデータ取得機能と、
    前記着色対象データのレイヤー情報を取得するレイヤー情報取得機能と、
    前記着色対象データの互いに重なる複数のレイヤーについて、レイヤー毎に、着色モデルに基づく着色処理を行う着色処理機能と
    を実現させる請求項１３に記載のプログラム。
24. 前記着色対象データを取得するデータ取得手順と、
    前記着色対象データのレイヤー情報を取得するレイヤー情報取得手順と、
    前記着色対象データの互いに重なる複数のレイヤーについて、レイヤー毎に、着色モデルに基づく着色処理を行う着色処理手順と
    を含む請求項１４に記載の方法。

Images