JP7477260B2

JP7477260B2 - 情報処理装置、情報処理プログラム及び情報処理方法

Info

Publication number: JP7477260B2
Application number: JP2018013489A
Authority: JP
Inventors: 泰山米辻
Original assignee: Preferred Networks Inc
Current assignee: Preferred Networks Inc
Priority date: 2018-01-30
Filing date: 2018-01-30
Publication date: 2024-05-01
Anticipated expiration: 2038-01-30
Also published as: US20190236813A1; US11288845B2; JP2019133303A

Description

本発明は、画像データの指定領域に対する参照情報を利用した着色処理を自動で行うことが可能な情報処理装置、情報処理プログラム及び情報処理方法に関するものである。

近年、ディープラーニングと呼ばれる多層構造のニューラルネットワークを用いた機械学習が様々な分野において適用されている。画像認識や画像生成といった画像処理の分野においても活用が目立ち、目覚ましい成果を上げている。

例えば、非特許文献１は、白黒写真の自動色付けの処理をディープネットワークによって実現したものであり、白黒写真の着色処理を機械学習によって実現している。

この非特許文献１のように、画像データに対して着色処理を施したいというニーズについては、特定の画像等の参照情報を利用して参照情報と同様の着色処理を行う仕組みが求められている。例えば、カラー漫画やアニメーションの制作現場において、あるキャラクターについては参照情報Ａに基づいて着色を行いたいが他のキャラクターについては参照情報Ｂに基づいて着色を行いたいといったように、１つの画像データの中においても異なる参照情報に基づいて着色を行いたいというニーズが存在する。従来、キャラクター毎の着色処理などについては人が参照情報を確認しながら人手によって行われてきたが、人の手による作業の場合には枚数をこなせないという問題があった。このため、指定領域に対する参照情報を利用した着色処理を自動で行うことが可能な仕組みが求められていた。

ディープネットワークを用いた大域特徴と局所特徴の学習による白黒写真の自動色付け飯塚里志、シモセラエドガー、石川博（http://hi.cs.waseda.ac.jp/~iizuka/projects/colorization/ja/）

本発明は、上記問題点に鑑みなされたものであり、指定領域に対する参照情報を利用した着色処理を行うことが可能な情報処理装置、情報処理プログラム及び情報処理方法を提供することを目的とする。

本発明に係る情報処理装置は、着色を行う対象である対象画像データを取得する対象画像データ取得部と、前記対象画像データにおいて参照情報を利用した着色を行う領域を指定する領域指定部と、前記領域指定部で指定された領域（以下、指定領域）に利用する参照情報を選択する参照情報選択部と、参照情報を用いた着色処理について予め学習させた着色用学習済モデルに基づいて、前記指定領域に対して前記参照情報選択部で選択された参照情報を利用した着色処理を行う着色処理部とを備えることを特徴とする。

また、本発明に係る情報処理装置は、前記領域指定部は、画像認識処理によって前記対象画像データに所定の対象物が含まれるか否かを判別し、対象物が含まれる場合に当該対象物を含む領域を前記指定領域として抽出することを特徴とする。

また、本発明に係る情報処理装置は、前記参照情報選択部は、前記指定領域について画像認識処理を行うことによって当該指定領域に含まれる対象物を判別して、判別結果に基づいて当該指定領域に適した参照情報を抽出することを特徴とする。

本発明に係る情報処理プログラムは、コンピュータに、着色を行う対象である対象画像データを取得する対象画像データ取得機能と、前記対象画像データにおいて参照情報を利用した着色を行う領域を指定する領域指定機能と、前記領域指定機能で指定された領域（以下、指定領域）に利用する参照情報を選択する参照情報選択機能と、参照情報を用いた着色処理について予め学習させた着色用学習済モデルに基づいて、前記指定領域に対して前記参照情報選択機能で選択された参照情報を利用した着色処理を行う着色処理機能とを実現させることを特徴とする。

本発明に係る情報処理方法は、着色を行う対象である対象画像データを取得する対象画像データ取得手順と、前記対象画像データにおいて参照情報を利用した着色を行う領域を指定する領域指定手順と、前記領域指定手順で指定された領域（以下、指定領域）に利用する参照情報を選択する参照情報選択手順と、参照情報を用いた着色処理について予め学習させた着色用学習済モデルに基づいて、前記指定領域に対して前記参照情報選択手順で選択された参照情報を利用した着色処理を行う着色処理手順とを含むことを特徴とする。

本発明に係る情報処理装置は、ユーザが対象画像データを入力するためのフォーム領域を、表示画面に表示する対象画像データ入力フォーム表示部と、入力された前記対象画像データが示す画像を、前記表示画面に設けられた対象画像表示領域に表示する対象画像表示部と、前記対象画像データにおいて参照情報を利用した着色を行う領域である指定領域の指定を受付け、前記対象画像表示領域に表示された前記対象画像データが示す画像に前記指定領域を示す線を重ねて表示する指定領域表示部と、前記指定領域に対する参照情報の選択を受付け、予め学習させた着色用学習済モデルに基づいて前記指定領域に含まれる画像データに対して前記参照情報を利用した着色処理を行うことにより得られた着色済画像データが示す画像を、前記表示画面に設けられた指定領域着色済画像表示領域に表示する指定領域着色済画像表示部とを備えることを特徴とする。

また、本発明に係る情報処理装置は、前記参照情報の選択の際、前記指定領域に含まれる画像データについて画像認識処理を行うことによって当該指定領域に含まれる対象物を判別して判別結果に基づいて当該指定領域に適した参照情報を抽出させた場合、抽出した少なくとも１以上の参照情報を前記表示画面に設けられた参照情報候補表示領域に表示する参照情報候補表示部を備え、前記参照情報候補表示領域に表示された前記少なくとも１以上の参照情報の候補の中からユーザに１つの参照情報を選択させるようにしたことを特徴とする。

本発明に係る自動着色処理装置１０の構成を表したブロック図である。自動着色処理装置１０を実現するために必要とされるハードウェア構成を表したブロック図である。自動着色処理装置１０についてのシステム構成の一例を表したブロック図である。対象画像データの一例と、その対象画像データに対して領域指定を行った例を表した説明図である。指定領域着色用学習済モデルの概念を表した説明図である。全体着色用学習済モデルの概念を表した説明図である。本例の自動着色処理装置１０における着色処理の流れを表したフローチャート図である。本例の自動着色処理ツールとしてのグラフィカルユーザインターフェースによって表示される表示画面の一例を表した説明図であり、（ａ）は対象画像データ入力時の表示画面であり、（ｂ）は対象画像データに対する領域指定後の表示画面である。本例の自動着色処理ツールとしてのグラフィカルユーザインターフェースによって表示される表示画面の一例を表した説明図であり、（ａ）は指定領域に対する着色処理後の表示画面であり、（ｂ）は全体に対する着色処理後の表示画面である。

［第１の実施の形態］
以下、図面を参照しながら、本発明の情報処理装置に関する第１の実施の形態に係る自動着色処理装置の例について説明する。図１は、本発明に係る自動着色処理装置１０の構成を表したブロック図である。図１に示すように、自動着色処理装置１０は、対象画像データ取得部１１と、領域指定部１２と、領域自動抽出部１３と、参照情報選択部１４と、参照情報自動抽出部１５と、指定領域着色処理部１６と、全体着色処理部１７と、記憶部１８とを少なくとも備えている。

なお、自動着色処理装置１０は、専用マシンとして設計した装置であってもよいが、一般的なコンピュータによって実現可能なものであるものとする。図２は、自動着色処理装置１０を実現するために必要とされるハードウェア構成を表したブロック図である。この図２に示すように、自動着色処理装置１０は、一般的なコンピュータが通常備えているであろうＣＰＵ（Central Processing Unit：中央演算処理装置）５１と、ＧＰＵ（Graphics Processing Unit：画像処理装置）５２と、メモリ５３と、ハードディスクドライブ、ＳＳＤ（solid state drive）等のストレージ５４とを備えており、また、マウス、キーボード等の入力装置５５と、ディスプレイ、プリンタ等の出力装置５６と、通信ネットワークと接続するための通信装置５７とを備えており、これらがバス５８を介して接続されているものとする。なお、本発明に係る自動着色処理装置１０は、少なくとも１以上の演算処理装置又は演算処理回路によって実現される場合を含むものとし、演算装置又は演算回路は、図２に示すＣＰＵを含む各種ハードウェアと同等の構成によって上記自動着色処理装置１０の各部の構成における処理を実現するものとする。

図３は、自動着色処理装置１０についてのシステム構成の一例を表したブロック図である。図３において、サーバ装置６０と複数の端末装置７０１～７０ｎは、通信ネットワーク８０を介して相互に接続可能に構成されている。例えば、この図３におけるサーバ装置６０を自動着色処理装置１０として機能させ、複数の端末装置７０１～７０ｎの何れかから自動着色処理装置１０として機能するサーバ装置６０に対して通信ネットワークを介して接続して利用するものであってもよい。その際、端末装置７０に自動着色処理装置１０を利用するためのグラフィカルユーザインターフェースプログラムをインストールする構成であってもよいし、サーバ上のグラフィカルユーザインターフェースプログラムをブラウザを介して利用する構成であってもよいし、グラフィカルユーザインターフェースとしての各種表示を表示する機能を備えた情報処理装置であってもよい。

また、以下に説明する自動着色処理装置１０の構成要素を全て同一の装置が備えている必要はなく、一部構成を他の装置に備えさせる、例えば、通信ネットワークを介して接続可能なサーバ装置６０と複数の端末装置７０１～７０ｎの何れかにそれぞれ一部の構成を備えさせるようにして、自動着色処理装置１０が通信を行いながら他の装置に備えられた構成を利用するものであってもよい。また、サーバ装置６０は１台である場合に限らず、複数のサーバ装置を利用する構成であってもよい。また、後述する学習済モデルは、自動着色処理装置１０としての装置に格納する場合の他、他の装置としてのサーバ装置６０、複数の端末装置７０１～７０ｎなどに分散させて備えさせるようにし、利用する学習済モデルを備えた装置にその都度通信ネットワークを介して接続して利用する構成であってもよい。すなわち、何らかの学習済モデル記憶手段によって記憶された学習済モデルを利用可能であれば、学習済モデル記憶手段を自動着色処理装置１０自身で備えているのか他の装置において備えているのかについては問わない。

対象画像データ取得部１１は、着色処理を行う対象としての対象画像データを取得する機能を有する。ここで、対象画像データとは、白黒の２値或いはグレースケールによって線分を表現して描画された線画データ、白黒写真のようにグレースケールによって陰影が表現された画像データ、トーンが貼り付けられたトーン貼付済画像、一部に着色が行われた一部着色済画像、全体に着色済みの画像（色の塗り替えを想定）など、着色の余地を残した全ての画像データをいう。また、着色処理とは、対象画像データのうちの着色を行い得る箇所に対して着色を行う処理をいう。また、着色処理という場合には、未着色の箇所にのみ着色を行う処理であってもよいし、未着色の箇所に着色を行いつつ既に着色が行われている箇所についても色彩を変更する処理であってもよい。

領域指定部１２は、対象画像データに対して参照情報を利用した着色を行いたい領域を指定する機能を有する。領域を指定する方法は、例えば、表示画面に表示された対象画像データに対してマウス、タッチパネルなどの入力装置を用いてユーザが領域指定を行うことが考えられる。図４は、対象画像データの一例と、その対象画像データに対して領域指定を行った例を表した説明図である。図４（ａ）は、対象画像データを表している。図４（ｂ）は、（ａ）に示した対象画像データに対して領域Ａ、領域Ｂ、領域Ｃの３つの領域を指定した状態を表している。この図４（ｂ）のように、長方形によって領域を指定する場合に限らず、閉じた領域を指定するものであればどのような領域指定であっても採用し得る。

なお、領域指定部１２における領域の指定は、ユーザによるアバウトな指定を含むようにしてもよい。すなわち、必ずしも長方形のバウンディングボックスのように閉じた領域を指定するものである必要はなく、グラフィカルユーザインターフェース（ＧＵＩ）上に表示された対象画像データに対してユーザが大まかにこの辺りという指定を行う方法であってよいし、領域の中心点となる箇所のみを指定する方法であってもよいし、閉じていない手書きの丸の記入による指定の方法であってもよい。このような大まかな領域指定をユーザが行った場合に、指定箇所を中心とした所定範囲を長方形の閉じた領域によって抽出して内部的には閉じた領域で指定がなされたものとして処理を行うようにしてもよいし、大まかな領域指定をそのまま採用して、大まかな領域指定であっても着色処理が行われるように学習済モデルを構築するようにしてもよい。

また、領域指定部１２における領域の指定が大まかな領域指定である場合に、参照情報を利用した着色処理の影響が、正規分布のように、指定されたポイントから離れるほど参照情報の影響が少なくなるような構成としてもよい。このような構成とするために、参照情報を利用した着色処理を内部的に所定の閉領域に対して施した後に中心点から離れるにつれて当該着色内容を反映させる影響量を減らして対象画像データに反映させる処理であってもよい。また、上記構成とするために、指定されたポイントから離れるほど参照情報の影響が少なくなるような着色処理を行うことを学習させた学習済モデルに基づいて行うものであってもよい。

領域自動抽出部１３は、画像認識処理によって対象画像データに所定の対象物が含まれるか否かを判別して対象物が含まれる場合に当該対象物を含む領域を自動で指定領域として抽出する機能を有する。ここで、画像認識処理とは、対象画像データに含まれる対象物を特定するための処理をいう。画像認識処理は、対象画像データに含まれる対象物を特定可能であればどのような手法であってもよいが、例えば、ニューラルネットワークを用いて対象物を特定することについて予め学習を行った画像認識用学習済モデルによって画像認識処理を行う手法が考えられる。また、画像認識用学習済モデルは、様々な対象物の特定に使用可能となるように１つのモデルに対して学習を行うものであってもよいし、特定したい対象物の判別処理に特化したモデルとして学習を行った画像認識用学習済モデルを対象物ごとに複数用意して、判別したい対象物をユーザが指定した際に指定された対象物に対応した画像認識用学習済モデルを用いるようにしてもよい。画像認識用学習済モデルによって対象物を判別した場合には、その対象物を含む領域を指定領域として抽出する。指定領域の範囲は様々に決定可能であるが、例えば、対象物を包含する最小の長方形領域（バウンディングボックス）を指定領域として抽出する手法が考えられる。また、対象物の輪郭を指定領域として抽出する手法であってもよい。

また、領域自動抽出部１３において抽出する指定領域は、指定領域部分を１、指定領域以外の部分を０というように２値で区別して指定する手法に限られるものではなく、０～１の連続値のマスクで指定可能に構成してもよい。例えば、画像認識処理によって対象画像データに含まれる対象物を特定する場合、「キャラクターＡの期待値が高い部分」というような領域を指定する事が考えられ、そういった領域は２値ではなく連続値の方がより正確に表現が出来ると考えられる。キャラクターＡの可能性の高い部分は例えば０．９や０．８などの１に近い値となり、可能性の高い部分から離れるにつれてキャラクターＡである可能性が下がって例えば０．４や０．３といった０に近い値となるように、０～１の連続値を用いて指定領域を表現するようにしてもよい。また、キャラクターＡである確率が０．５、キャラクターＢである確率が０．６といったように、異なる対象物を特定する指定領域がオーバーラップして指定される可能性も考えられる。なお、この０～１の連続値のマスクで指定領域を表現する手法は、領域指定部１２において大まかな領域指定を受付ける場合においても適用可能である。

なお、領域指定部１２と領域自動抽出部１３は、何れか一方の構成を有していれば指定領域を抽出可能である。ただし、ユーザが領域を指定する構成である領域指定部１２と、自動で指定領域を抽出可能な領域自動抽出部１３との両方を備えていることが好ましいといえる。

参照情報選択部１４は、領域指定部１２又は領域自動抽出部１３で指定された指定領域毎に利用する参照情報を選択する機能を有する。指定領域に含まれる対象物に対して希望する着色を実現するために、指定領域に含まれる対象物の着色に利用したい参照情報を選択して適用する。ここで、参照情報とは、指定領域に含まれる対象物の着色に利用したい着色の情報からなる着色済画像データ、又は、当該着色済画像データから抽出された特徴量のことをいう。参照情報はユーザが指定領域内の対象物に対して希望する着色がなされた着色済画像データ等を選択することで利用される。この参照情報選択部１４における参照情報の選択は、複数の指定領域が存在する場合には、指定領域毎に異なる参照情報を選択可能なものである。例えば、図４（ｂ）に示すように、対象画像データに対して領域Ａ、領域Ｂ、領域Ｃの３つの領域を指定した状態において、領域Ａについては特定のキャラクターの参照情報を選択し、領域Ｂについては特定の犬種の参照情報を選択し、領域Ｃについては特定の樹木種類の参照情報を選択するといったように、それぞれの指定領域に適した参照情報を選択することができる構成とする。

参照情報自動抽出部１５は、指定領域について画像認識処理を行うことによって当該指定領域に含まれる対象物を判別して、判別結果に基づいて当該指定領域に適した参照情報を自動で抽出する機能を有する。ここで、画像認識処理とは、指定領域に含まれる対象物を特定するための処理をいう。画像認識処理は、指定領域に含まれる対象物を特定可能であればどのような手法であってもよいが、例えば、ニューラルネットワークを用いて対象物を特定することについて予め学習を行った画像認識用学習済モデルによって画像認識処理を行う手法が考えられる。また、画像認識用学習済モデルは、様々な対象物の特定に使用可能となるように１つのモデルに対して学習を行うものであってもよいし、特定したい対象物の判別処理に特化したモデルとして学習を行った画像認識用学習済モデルを対象物ごとに複数用意して、判別したい対象物をユーザが指定した際に指定された対象物に対応した画像認識用学習済モデルを用いるようにしてもよい。なお、領域自動抽出部１３における画像認識処理に用いる画像認識用学習済モデルと、この参照情報自動抽出部１５における画像認識処理に用いた画像認識用学習済モデルとは、同じモデルを用いてもよいが、前者は対象画像データ全体から対象物を判別する処理であり、後者は指定領域内の対象物を判別する処理であることから、それぞれに画像認識用学習済モデルを設けるようにしてもよい。

画像認識処理によって対象物が特定された場合には、その対象物の着色に適した参照情報を抽出する。この参照情報の抽出は、どのような範囲から抽出するものであってもよいが、例えば、予め記憶させた参照情報データベースから最適な参照情報を抽出する手法が考えられる。なお、参照情報の抽出は通信ネットワークを介して接続可能な他の装置、サーバ装置などから検索して抽出可能としてもよい。具体的な参照情報の抽出については、例えば、指定領域に含まれる対象物に対してタグを設定して、共通するタグを有する参照情報をタグに基づいて抽出するという手法が考えられる。タグには「犬」といった上位概念のタグと、「柴犬」「ゴールデンレトリーバー」といった下位概念のタグといったように、同じ対象物に対して複数のタグを設定することが可能であり、何れのタグに基づいて参照情報の抽出を行うかについてユーザが選択可能としてもよい。

参照情報を自動で抽出した際には、画像認識用学習済モデルが抽出した参照情報の１つを自動的に選択するようにしてもよいが、画像認識用学習済モデルが抽出した参照情報をユーザに１以上提示してユーザに参照情報を決定させるようにしてもよい。例えば、ユーザが操作する装置のディスプレイに表示させるグラフィカルユーザインターフェース（ＧＵＩ）において、指定領域に対する参照情報の自動抽出を、例えば、自動抽出実行ボタンを押すことで実行させた場合に、画像認識用学習済モデルで自動的に抽出し、抽出した少なくとも１以上の参照情報を表示する参照情報候補表示領域を設けるようにすることで、候補となる参照情報をユーザに提示した上で選択させることが可能となる。参照情報候補表示領域に対する表示は、一覧としてサムネイルを表示する手法であってもよいし、ページ切替によって１つずつ表示させる手法であってもよい。

なお、参照情報選択部１４と参照情報自動抽出部１５は、何れか一方の構成を有していれば指定領域に対する着色処理を実現可能である。ただし、ユーザが参照情報を選択する構成である参照情報選択部１４と、自動で参照情報を抽出可能な参照情報自動抽出部１５との両方を備えていることが好ましいといえる。

指定領域着色処理部１６は、指定領域に対する参照情報を用いた着色処理について予め学習させた指定領域着色用学習済モデルに基づいて、対象画像データのうちの指定領域に対して参照情報を利用した着色処理を行う機能を有する。ここで、参照情報を用いた着色処理とは、参照情報としての着色済画像データの着色傾向を指定領域の着色に反映させた着色処理のことをいう。参照情報と指定領域への着色処理の一致度をどの程度まで求めるかについては、着色処理に用いる指定領域着色用学習済モデルとしてのニューラルネットワークの構成と学習過程に依存する。図５は、指定領域着色用学習済モデルの概念を表した説明図である。この図５に示すように、ニューラルネットワークによって構成されたモデルの入力層に対して対象画像データのうち着色対象の指定領域のデータが入力され、出力層から指定領域に対する着色済画像データを出力することを学習するが、一例として、このモデルの隠れ層に対して、参照情報としての参照画像データから抽出した特徴量を加算して、参照情報と同様の着色が実現されるようにモデルの学習を行う。また、参照情報の特徴量を加算する際の係数についても学習の対象としてもよい。また、参照画像データから特徴量を抽出するためのニューラルネットワークによって構成された特徴量抽出用学習済モデルについても学習を行う。なお、特徴量抽出用学習済モデルについては、他の用途に用いられた特徴量抽出用の学習済みのモデルを採用するようにしてもよい。また、参照情報として抽出済みの特徴量を利用する場合には、特徴量抽出用学習済モデルを用いずに、指定領域着色用学習済モデルの隠れ層に対して直接抽出済みの特徴量を加算するようにする。適切に学習が行われた指定領域着色用学習済モデルによれば、参照情報としての参照画像データの着色と同様の着色処理を指定領域の画像データに対して行うことが可能となる。上記の例では、モデルの隠れ層に対して参照情報の特徴量を加算して学習を行う指定領域着色用学習済モデルとしたが、モデルの入力層に対して参照情報自体又は参照情報の特徴量を加算して学習を行う指定領域着色用学習済モデルであってもよい。参照情報としての着色済画像データの着色傾向を指定領域の着色に反映させた着色処理を実現できれば、指定領域着色用学習済モデルに対する参照情報の入力位置は何れであってもよい。なお、モデルの隠れ層に対して特徴量を入力する場合のメリットとして、沢山の特徴量を入れる時は隠れ層に入力する方が計算量を低減できるという効果がある。他方、モデルの入力層に対して入力する手法は、確実に参照情報を着色処理に利用したい場合に効果がある。クオリティ重視の場合は隠れ層にも入力層にも情報を入力する手法であってもよい。

全体着色処理部１７は、予め学習させた全体着色用学習済モデルに基づいて、指定領域着色処理部１６において指定領域に対する着色処理が済んだ対象画像データ全体に対して着色処理を行う機能を有する。図６は、全体着色用学習済モデルの概念を表した説明図である。この図６に示すように、ニューラルネットワークによって構成されたモデルの入力層に対して指定領域に対する着色処理が済んだ対象画像データが入力され、対象画像データ全体に対する着色処理を実行して出力層から着色済画像データを出力することを学習する。すなわち、この全体着色用学習済モデルの学習には、一部の領域に着色が施され他の領域は未着色のテストデータと、そのテストデータの一部の領域の着色はそのままに他の領域に着色が施された正解画像データとを一組とした訓練データを複数組用意して学習に用いる。

記憶部１８は、対象画像データ取得部１１、領域指定部１２、領域自動抽出部１３、参照情報選択部１４、参照情報自動抽出部１５、指定領域着色処理部１６、全体着色処理部１７などで行われる処理を含む自動着色処理装置１０において行われる様々な処理で必要なデータ及び処理の結果として得られたデータを記憶させる機能を有する。また、予め学習を行って得た種々の学習済モデルをこの記憶部１８に格納するようにしてもよい。

次に、本例の自動着色処理装置１０における着色処理の流れについて説明する。図７は、本例の自動着色処理装置１０における着色処理の流れを表したフローチャート図である。本例の自動着色処理装置１０における着色処理は、先ず、対象画像データを取得することで開始される（ステップＳ１０１）。例えば、対象画像データをユーザが選択することで取得が行われる。次に、参照情報を利用した着色を行いたい領域の指定を受付ける（ステップＳ１０２）。この領域の指定は、ユーザが指定領域の範囲を決定するものであってもよいし、指定領域を自動抽出するものであってもよい。そして、指定領域毎に参照情報の選択を受付ける（ステップＳ１０３）。参照情報の選択は、ユーザが指定領域に対する参照情報を決定する物であってもよいし、参照情報を自動抽出するものであってもよい。

参照情報の選択を受付けた後に、その参照情報を用いて指定領域内の画像データに対して着色処理を実行する（ステップＳ１０４）。この指定領域に対する着色は、予め学習させた指定領域着色用学習済モデルに基づいて実行される。最後に、指定領域に対する着色処理の済んだ対象画像データ全体に対して着色処理を実行する（ステップＳ１０５）。この対象画像データ全体に対する着色は、予め学習させた全体着色用学習済モデルに基づいて実行される。そして、対象画像データ全体に対して着色処理の済んだ着色済画像データを出力して（ステップＳ１０６）、処理を終了する。

以上のように、第１の実施の形態に係る自動着色処理装置１０によれば、対象画像データに対する参照情報を利用した着色を行う領域の指定を受付け、その指定領域に対する参照情報の選択を受付け、指定領域内の画像データに対する参照情報を利用した着色処理を実行することが可能となるので、例えば、漫画やアニメーションの着色作業において頻出するキャラクターに対して参照情報として当該キャラクターの着色済画像データを利用すれば、同じ着色処理を人手で繰り返し行う必要がなくなるため、漫画やアニメーションの制作効率が向上するという効果がある。

［第２の実施の形態］
以下、図面を参照しながら、第２の実施の形態に係る情報処理装置について説明を行う。第１の実施の形態においては自動着色処理装置１０として説明を行ったが、この第２の実施の形態においては、第１の実施の形態における自動着色処理装置１０を利用する際に用いられるグラフィカルユーザインターフェースを提供するための情報処理装置について説明する。この第２の実施の形態における情報処理装置は、自動着色処理ツールとしてのグラフィカルユーザインターフェースを提供するものとして説明する。例えば、第１の実施の形態における自動着色処理装置１０として機能するサーバ装置を設け、端末装置から通信ネットワークを介して当該サーバ装置にアクセスしてきたユーザに対して自動着色処理ツールを提供するという手法が考えられる。そのような場合には、パッケージのソフトウェアによって端末装置に対して自動着色処理ツールを提供する場合に限らず、サーバ上に格納されているグラフィカルユーザインターフェース（ＧＵＩ）を端末装置のディスプレイに表示させるブラウザ等によって読み込んで機能させることで自動着色処理ツールを提供することも可能である。なお、自動着色処理ツールとは、第１の実施の形態における自動着色処理装置１０をユーザが利用する際に用いられるツールをいい、独立したプログラムである場合、Ｗｅｂブラウザとして提供される場合、画像編集ソフトウェアなどのパッケージのソフトウェアの一部機能として含まれる場合など、様々な自動着色処理ツールの提供パターンが考えられる。

第１の実施の形態に係る自動着色処理装置１０を利用するための自動着色処理ツールは、ユーザが理対象画像データを入力するためのフォーム領域を表示画面に表示する画像データ入力フォーム表示部と、入力された対象画像データが示す画像を表示画面に設けられた対象画像表示領域に表示する対象画像表示部と、対象画像データに対する参照情報を利用した着色を行う領域である指定領域の指定を受付け対象画像表示領域に表示された前記対象画像データが示す画像に指定領域を示す枠線を重ねて表示する指定領域表示部と、指定領域に対する参照情報の選択を受付け予め学習させた指定領域着色用学習済モデルに基づいて対象画像データのうち指定領域に含まれる画像データに対して参照情報を利用した着色処理を行うことにより得られた着色済画像データが示す画像を表示画面に設けられた指定領域着色済画像表示領域に表示する指定領域着色済画像表示部と、予め学習させた全体着色用学習済モデルに基づいて指定領域に対する着色処理が済んだ対象画像データ全体に対して着色処理を行うことにより得られた着色済画像データが示す画像を、前記表示画面に設けられた全体着色済画像表示領域に表示する全体着色済画像表示部とを備えていることが好ましい。

また、自動着色処理ツールは、参照情報の選択の際、指定領域に含まれる画像データについて画像認識処理を行うことによって当該指定領域に含まれる対象物を判別して判別結果に基づいて当該指定領域に適した参照情報を自動で抽出させた場合に、自動で抽出した少なくとも１以上の参照情報を表示画面に設けられた参照情報候補表示領域に表示する参照情報候補表示部を備え、参照情報候補表示領域に表示された少なくとも１以上の参照情報の候補の中からユーザに１つの参照情報を選択させるようにすることが好ましい。

図８は、本例の自動着色処理ツールとしてのグラフィカルユーザインターフェースによって表示される表示画面の一例を表した説明図であり、（ａ）は対象画像データ入力時の表示画面であり、（ｂ）は対象画像データに対する領域指定後の表示画面である。サーバ装置から端末装置に対して自動着色処理ツールを提供する場合、先ず、図８（ａ）に示すように、ユーザが対象画像データを入力するためのフォーム領域である対象画像データ入力フォームを端末装置のディスプレイに対して、例えば、Ｗｅｂブラウザ等を介して表示させる。この対象画像データ入力フォームは、図８（ａ）ではファイルのパスを指定する方法で対象画像データを入力するものとしているが、これに限定されるものではなく、例えば、ドラッグ＆ドロップで対象画像データを選択するような手法であってもよい。なお、本例において表示画面とは、グラフィカルユーザインターフェース用プログラムやＷｅｂブラウザなどによってＧＵＩを提供する際にユーザに対して表示される画面のことをいうものとし、サーバ装置で生成された表示画面と、端末装置で生成された表示画面のいずれの場合も含むものとする。

対象画像データタ入力フォームを用いて対象画像データが入力されると、入力された対象画像データが示す画像を表示画面に設けられた対象画像表示領域に表示する。次に、対象画像データに対する参照情報を利用した着色を行う領域である指定領域の指定を受け付ける。領域の指定は、例えば、領域指定用アイコンをクリックした後で、対象画像表示領域に表示された対象画像データが示す画像に対して領域指定用のバウンディングボックスのサイズを調整することで指定領域の位置と範囲を調整して指定する手法が考えられる。指定領域の指定箇所は複数個所であってもよい。指定した指定領域の表示は、例えば、対象画像表示領域に表示された対象画像データが示す画像に当該指定領域を示す枠線を重ねて表示するようにしてもよい。図８（ｂ）は、対象画像データが示す画像に指定領域Ｄ及び指定領域Ｅを示す枠線を重ねて表示した状態を表している。

図９は、本例の自動着色処理ツールとしてのグラフィカルユーザインターフェースによって表示される表示画面の一例を表した説明図であり、（ａ）は指定領域に対する着色処理後の表示画面であり、（ｂ）は全体に対する着色処理後の表示画面である。図８（ｂ）に示すようにして指定領域Ｄと指定領域Ｅが指定された後、それぞれの指定領域に対して、着色処理に利用する参照情報を選択する。参照情報の選択は、例えば、参照情報選択用アイコンをクリックした後で、参照情報の選択と参照情報の適用先としての指定領域の選択を行うことで実行される。複数の指定領域が存在する場合には、指定領域毎に参照情報の選択が行われる。また、参照情報の選択は、指定領域内の画像データに対して画像認識用学習済モデルによって画像認識処理を行うことで当該指定領域に含まれる対象物を特定し、特定した対象物に適した参照情報を予め記憶させた参照情報データベースから抽出するようにしてもよい。このとき、図示は省略するが、参照情報データベースから参照情報としての複数の候補の画像データを抽出して、複数の複数の候補の画像データを表示画面に表示させて、ユーザに適用する参照画像を選択させるようにしてもよい。

指定領域に対する参照情報が選択された状態において、例えば、表示画面上に設けられた「指定領域着色実行」のボタンがマウス操作等により選択された場合、指定領域着色用学習済モデルを用いて指定領域に含まれる画像データに対する着色処理を行い、指定領域に対する着色処理の結果を、表示画面に設けられた着色済画像表示領域に表示する。図９（ａ）は、指定領域Ｄと指定領域Ｅに対してそれぞれ着色処理が行われた状態の対象画像データが示す画像を着色済画像表示領域に表示した状態を表している。なお、図９に示す例では、着色済画像表示領域は、指定領域着色済画像表示領域と全体着色済画像表示領域とを兼ねる表示領域としているが、指定領域着色済画像表示領域と全体着色済画像表示領域とを別々に表示画面に設けるようにしてもよい。

指定領域に対する着色処理が完了した状態において、例えば、表示画面上に設けられた「指定領域着色実行」のボタンがマウス操作等により選択された場合、全体着色用学習済モデルに基づいて指定領域に対する着色処理が済んだ対象画像データ全体に対して着色処理を行い、得られた全体に対する着色の済んだ着色済画像データが示す画像を表示画面に設けられた着色済画像表示領域に表示する。図９（ｂ）は、指定領域Ｄと指定領域Ｅに対してそれぞれ着色処理が行われた状態の対象画像データに対して、さらに全体着色処理を実行した後の着色済画像データが示す画像を着色済画像表示領域に表示した状態を表している。

以上のような自動着色処理ツールにより、対象画像データが示す画像の表示、指定領域の枠線の表示、指定領域に対する着色処理結果の表示、全体に対する着色処理結果の表示などを行うことができるので、ユーザは元の対象画像データと指定領域についての着色済画像データや全体についての着色済画像データを並べて観察できるため、着色処理の前後で変化する画像の雰囲気を直接対比することができる。また、参照情報候補を自動抽出する場合の複数の候補の表示を行うことで、自動で抽出した参照情報候補の中からユーザが望む参照情報を確認して選択することが可能となる。

前記第１及び第２の実施の形態においては、参照情報から得た特徴量を指定領域着色用学習済モデルの隠れ層に加算することで参照情報を利用した指定領域に対する着色処理を実現していたが、必ずしも特徴量である必要はなく、参照情報を区別するためのタグ情報を指定領域着色用学習済モデルの隠れ層に加算するようにしてもよい。タグ情報を表すコード（所定桁数の数字）を隠れ層に入力して指定領域着色用学習済モデルの学習を行っておけば、参照情報のタグ情報を隠れ層に入力するだけで、参照情報を利用した指定領域に対する着色処理が可能となる。

前記第１及び第２の実施の形態においては、対象画像データに対する指定領域について着色処理を行い、その後に対象画像データ全体に着色処理を行う２段階の着色処理として説明を行ったが、対象画像データと指定領域に対する参照情報とを入力として、指定領域に対する着色と全体に対する着色を１段階の着色処理によって実現する構成としてもよい。その場合には、１段階での着色処理について予め学習させた着色用学習済モデルを用いることで対応することが可能となる。１段階で着色処理を行う場合、着色に用いるニューラルネットワークの学習時に、学習に用いる対象画像データと正解画像データ（教師データ）とからなる訓練データのうち、対象画像データに対して複数の領域をランダムに作って、その領域に対応する正解画像データの画像若しくはその領域の正解画像データの画像から抽出された特徴量をヒントとして学習を行う事が一つの方法である。また、もう一つの方法としては、前記第１及び第２の実施の形態のように２段階で着色処理を行う際の２段階目のニューラルネットワークの出力層を正解画像データとして用いるようにして、対象画像データに対して１段階で着色処理を実現させることをニューラルネットワークに学習させる手法が考えられる。

すなわち、着色用学習済モデルという表現を行う場合には、前記第１及び第２の実施の形態のように、指定領域着色用学習済モデルと全体着色用学習済モデルとを用いて２段階で着色処理を実行する際の２つのモデルを指し示す場合と、１つの着色用学習済モデルによって指定領域に対する着色と全体に対する着色を１段階の着色処理を実行する際の１つのモデルを指し示す場合との両方を含むものとする。

前記第１及び第２の実施の形態においては、学習済モデルを用いた着色処理について説明を行ったが、この他に、アルファブレンディングの技術を適用して、着色済みの画像データとのブレンディングを行うようにしてもよい。アルファブレンディングとは、２つの画像を所定比率に基づいてブレンドして目的の画像を得る技術である。例えば、対象画像データの指定領域に対する着色処理を済ませた画像データと、指定領域の区別をせずに対象画像データ全体に対する着色処理を済ませた画像データとをブレンドすることで、最終的な着色済画像データを得るようにしてもよい。また、対象画像データが着色済みの画像データである場合における指定領域に対する参照情報を利用した再着色処理については、対象画像データの指定領域に対する着色処理を済ませた指定領域部分の画像データと、元の対象画像データとしての着色済画像データとをブレンドすることで、最終的な着色済画像データを得るようにしてもよい。

１０自動着色処理装置
１１対象画像データ取得部
１２領域指定部
１３領域自動抽出部
１４参照情報選択部
１５参照情報自動抽出部
１６指定領域着色処理部
１７全体着色処理部
１８記憶部
５１ＣＰＵ
５２ＧＰＵ
５３メモリ
５４ストレージ
５５入力装置
５６出力装置
５７通信装置
５８バス
６０サーバ装置
７０、７０１～７０ｎ端末装置
８０通信ネットワーク

Claims

複数の対象物を含む画像を取得する取得手段と、
第１の着色用学習済ニューラルネットワークを利用して別個に処理される１つの対象物を含む部分画像を、前記取得手段によって取得された前記画像から抽出する抽出手段と、
色の情報を含む参照情報を取得する手段と、
前記第１の着色用学習済ニューラルネットワークを利用して、前記抽出手段によって抽出された前記部分画像に対して前記参照情報に含まれる色の情報に対応する着色処理を行う第１の処理手段と、
前記抽出手段によって抽出された前記部分画像に対して前記着色処理が行われたことで部分的に着色された前記画像を出力する手段と、
を備え、
前記第１の着色用学習済ニューラルネットワークは、色の情報を含む参照情報が入力されて当該参照情報に基づく着色処理を行うように学習されており、
前記第１の処理手段は、前記部分画像に対して前記取得される参照情報に含まれる色の情報に対応する前記着色処理を行うために、前記第１の着色用学習済ニューラルネットワークに前記取得される参照情報を、前記画像から抽出された前記部分画像とともに入力する情報処理装置。
前記出力する手段は、前記抽出手段によって抽出された前記部分画像に対して前記着色処理が行われた前記画像を表示する、請求項１記載の情報処理装置。
前記部分的に着色された前記画像は、前記着色処理が行われていない部分を含む画像である、請求項１又は２記載の情報処理装置。
前記第１の着色用学習済ニューラルネットワークは、入力された画像に着色処理を行うよう学習したニューラルネットワークであり、
前記第１の処理手段は、前記第１の着色用学習済ニューラルネットワークに、前記抽出手段によって抽出された前記部分画像を入力して、当該部分画像に対する処理を行う、請求項１乃至３の何れか１項記載の情報処理装置。
前記抽出手段は、前記第１の着色用学習済ニューラルネットワークを利用して別個に処理される前記１つの対象物を、前記取得手段によって取得された前記画像から特定し、当該取得された画像から、当該特定された１つの対象物を含む部分を、前記部分画像として抽出する、請求項１乃至４の何れか１項記載の情報処理装置。
前記特定された対象物に応じて、前記着色処理に用いられる前記参照情報を選択する選択手段を備える、請求項５記載の情報処理装置。
前記参照情報は、色の情報を含む参照画像をエンコーダネットワークによって変換して得られる、当該参照画像の特徴量である、請求項６記載の情報処理装置。
前記第１の着色用学習済ニューラルネットワークは、エンコーダおよびデコーダを構成するニューラルネットワークである、請求項１乃至７の何れか１項記載の情報処理装置。
前記部分画像は、前記取得手段によって取得された前記画像の一部である、請求項１乃至８の何れか１項記載の情報処理装置。
表示画面を備えるグラフィカルユーザインターフェースを介して画像を取得する取得手段と、
着色用学習済ニューラルネットワークを利用した着色処理の対象となる部分画像を、前記取得手段によって取得された前記画像から指定する手段と、
カラーの参照画像を指定する手段と、
処理手段によって前記部分画像に対して前記参照画像の着色に対応した着色処理が行われたことで部分的に着色され、且つ、当該部分的に着色された部分以外は着色されずに元のままの前記画像を、前記グラフィカルユーザインターフェースの前記表示画面に表示させる手段と、
を備え、
前記処理手段は、前記部分画像と、前記参照画像又は当該参照画像の特徴量と、を前記着色用学習済ニューラルネットワークに入力して、前記部分画像に対して前記参照画像の着色に対応した前記着色処理を行う、情報処理装置。
前記部分画像は、キャラクターの画像であり、
前記参照画像は、カラーの前記キャラクターの画像である、
請求項１０記載の情報処理装置。
前記部分画像を指定する前記手段は、前記取得された前記画像においてユーザによって指定された指定領域の画像を前記部分画像として指定する、請求項１０又は１１に記載の情報処理装置。
前記参照画像を指定する手段は、ユーザによって選択された画像を前記参照画像として指定する、請求項１０乃至１２の何れか１項記載の情報処理装置。
複数の対象物を含む画像を取得する取得手段と、
第１の着色用学習済ニューラルネットワークを利用して別個に処理される１つの対象物を含む部分画像を、前記取得手段によって取得された前記画像から抽出する抽出手段と、
前記抽出手段によって前記画像から抽出された前記部分画像を前記第１の着色用学習済ニューラルネットワークに入力して、当該部分画像に対する着色処理を行う第１の処理手段と、
前記取得手段によって取得された前記画像の全体を着色するための第２の着色用学習済ニューラルネットワークに、
前記第１の処理手段による前記第１の着色用学習済ニューラルネットワークを用いた前記部分画像に対する処理から得られるデータと、
前記取得手段によって取得された前記画像内の、前記部分画像以外の部分を含む画像と、
を入力して、前記部分画像に含まれる前記対象物に対する前記第１の着色用学習済ニューラルネットワークを利用した別個の着色が反映された、前記取得手段によって取得された前記画像の全体に対する着色処理を行う第２の処理手段と、
を備える情報処理装置。
複数の対象物を含む画像を取得する取得手段と、
第１の着色用学習済ニューラルネットワークを利用して別個に処理される１つの対象物を含む部分画像を、前記取得手段によって取得された前記画像から抽出する抽出手段と、
前記抽出手段によって前記画像から抽出された前記部分画像を前記第１の着色用学習済ニューラルネットワークに入力して、当該部分画像に対する着色処理を行う第１の処理手段と、
前記部分画像を含む前記取得手段によって取得された前記画像の全体を第２の着色用学習済ニューラルネットワークに入力して、当該部分画像を含む当該画像の全体に対する着色処理を行う第２の処理手段と、
を備える情報処理装置。
前記第２の処理手段は、前記第１の着色用学習済ニューラルネットワークに前記部分画像が入力されて当該第１の着色用学習済ニューラルネットワークから得られるデータを用いて、当該部分画像を含む前記画像の全体に対する着色処理を行うことで、前記部分画像に含まれる前記対象物に対する前記第１の着色用学習済ニューラルネットワークを利用した別個の着色が反映された、前記画像の全体に対する着色処理を行う、請求項１５記載の情報処理装置。
前記データは、画像である、請求項１４又は１６記載の情報処理装置。
前記第２の着色用学習済ニューラルネットワークは、エンコーダおよびデコーダを構成するニューラルネットワークである、請求項１４乃至１７の何れか１項記載の情報処理装置。
１以上のプロセッサに、
複数の対象物を含む画像を取得する取得工程と、
第１の着色用学習済ニューラルネットワークを利用して別個に処理される１つの対象物を含む部分画像を、前記取得工程によって取得された前記画像から抽出する抽出工程と、
色の情報を含む参照情報を取得する取得工程と、
前記第１の着色用学習済ニューラルネットワークを利用して、前記抽出工程によって抽出された前記部分画像に対して前記参照情報に含まれる色の情報に対応する着色処理を行う第１の処理工程と、
前記抽出工程によって抽出された前記部分画像に対して前記着色処理が行われたことで部分的に着色された前記画像を出力する出力工程と、
を実行させ、
前記第１の着色用学習済ニューラルネットワークは、色の情報を含む参照情報が入力されて当該参照情報に基づく着色処理を行うように学習されており、
前記第１の処理工程は、前記部分画像に対して前記取得される参照情報に含まれる色の情報に対応する前記着色処理を行うために、前記第１の着色用学習済ニューラルネットワークに前記取得される参照情報を、前記画像から抽出された前記部分画像とともに入力するプログラム。
１以上のプロセッサに、
表示画面を備えるグラフィカルユーザインターフェースを介して画像を取得する取得工程と、
着色用学習済ニューラルネットワークを利用した着色処理の対象となる部分画像を、前記取得工程によって取得された前記画像から指定する工程と、
カラーの参照画像を指定する工程と、
処理工程によって前記部分画像に対して前記参照画像の着色に対応した着色処理が行われたことで部分的に着色され、且つ、当該部分的に着色された部分以外は着色されずに元のままの前記画像を、前記グラフィカルユーザインターフェースの前記表示画面に表示させる工程と、
を実行させ、
前記処理工程は、前記部分画像と、前記参照画像又は当該参照画像の特徴量と、を前記着色用学習済ニューラルネットワークに入力して、前記部分画像に対して前記参照画像の着色に対応した前記着色処理を行う、プログラム。
１以上のプロセッサに、
複数の対象物を含む画像を取得する取得工程と、
第１の着色用学習済ニューラルネットワークを利用して別個に処理される１つの対象物を含む部分画像を、前記取得工程によって取得された前記画像から抽出する抽出工程と、
前記抽出工程によって前記画像から抽出された前記部分画像を前記第１の着色用学習済ニューラルネットワークに入力して、当該部分画像に対する着色処理を行う第１の処理工程と、
前記取得工程によって取得された前記画像の全体を着色するための第２の着色用学習済ニューラルネットワークに、
前記第１の処理工程による前記第１の着色用学習済ニューラルネットワークを用いた前記部分画像に対する処理から得られるデータと、
前記取得工程によって取得された前記画像内の、前記部分画像以外の部分を含む画像と、
を入力して、前記部分画像に含まれる前記対象物に対する前記第１の着色用学習済ニューラルネットワークを利用した別個の着色が反映された、前記取得工程によって取得された前記画像の全体に対する着色処理を行う第２の処理工程と、
を実行させるプログラム。
１以上のプロセッサに、
複数の対象物を含む画像を取得する取得工程と、
第１の着色用学習済ニューラルネットワークを利用して別個に処理される１つの対象物を含む部分画像を、前記取得工程によって取得された前記画像から抽出する抽出工程と、
前記抽出工程によって前記画像から抽出された前記部分画像を前記第１の着色用学習済ニューラルネットワークに入力して、当該部分画像に対する着色処理を行う第１の処理工程と、
前記部分画像を含む前記取得工程によって取得された前記画像の全体を第２の着色用学習済ニューラルネットワークに入力して、当該部分画像を含む当該画像の全体に対する着色処理を行う第２の処理工程と、
を実行させるプログラム。
１以上のプロセッサが実行する画像の着色方法であって、
複数の対象物を含む画像を取得する取得工程と、
第１の着色用学習済ニューラルネットワークを利用して別個に処理される１つの対象物を含む部分画像を、前記取得工程によって取得された前記画像から抽出する抽出工程と、
色の情報を含む参照情報を取得する取得工程と、
前記第１の着色用学習済ニューラルネットワークを利用して、前記抽出工程によって抽出された前記部分画像に対して前記参照情報に含まれる色の情報に対応する着色処理を行う第１の処理工程と、
前記抽出工程によって抽出された前記部分画像に対して前記着色処理が行われたことで部分的に着色された前記画像を出力する工程と、
を有し、
前記第１の着色用学習済ニューラルネットワークは、色の情報を含む参照情報が入力されて当該参照情報に基づく着色処理を行うように学習されており、
前記第１の処理工程は、前記部分画像に対して前記取得される参照情報に含まれる色の情報に対応する前記着色処理を行うために、前記第１の着色用学習済ニューラルネットワークに前記取得される参照情報を、前記画像から抽出された前記部分画像とともに入力する画像の着色方法。
１以上のプロセッサが実行する画像の着色方法であって、
表示画面を備えるグラフィカルユーザインターフェースを介して画像を取得する取得工程と、
着色用学習済ニューラルネットワークを利用した着色処理の対象となる部分画像を、前記取得工程によって取得された前記画像から指定する工程と、
カラーの参照画像を指定する工程と、
処理工程によって前記部分画像に対して前記参照画像の着色に対応した着色処理が行われたことで部分的に着色され、且つ、当該部分的に着色された部分以外は着色されずに元のままの前記画像を、前記グラフィカルユーザインターフェースの前記表示画面に表示させる工程と、
を有し、
前記処理工程は、前記部分画像と、前記参照画像又は当該参照画像の特徴量と、を前記着色用学習済ニューラルネットワークに入力して、前記部分画像に対して前記参照画像の着色に対応した前記着色処理を行う、画像の着色方法。
１以上のプロセッサが実行する画像の着色方法であって、
複数の対象物を含む画像を取得する取得工程と、
第１の着色用学習済ニューラルネットワークを利用して別個に処理される１つの対象物を含む部分画像を、前記取得工程によって取得された前記画像から抽出する抽出工程と、
前記抽出工程によって前記画像から抽出された前記部分画像を前記第１の着色用学習済ニューラルネットワークに入力して、当該部分画像に対する着色処理を行う第１の処理工程と、
前記取得工程によって取得された前記画像の全体を着色するための第２の着色用学習済ニューラルネットワークに、
前記第１の処理工程による前記第１の着色用学習済ニューラルネットワークを用いた前記部分画像に対する処理から得られるデータと、
前記取得工程によって取得された前記画像内の、前記部分画像以外の部分を含む画像と、
を入力して、前記部分画像に含まれる前記対象物に対する前記第１の着色用学習済ニューラルネットワークを利用した別個の着色が反映された、前記取得工程によって取得された前記画像の全体に対する着色処理を行う第２の処理工程と、
を有する画像の着色方法。
１以上のプロセッサが実行する画像の着色方法であって、
複数の対象物を含む画像を取得する取得工程と、
第１の着色用学習済ニューラルネットワークを利用して別個に処理される１つの対象物を含む部分画像を、前記取得工程によって取得された前記画像から抽出する抽出工程と、
前記抽出工程によって前記画像から抽出された前記部分画像を前記第１の着色用学習済ニューラルネットワークに入力して、当該部分画像に対する着色処理を行う第１の処理工程と、
前記部分画像を含む前記取得工程によって取得された前記画像の全体を第２の着色用学習済ニューラルネットワークに入力して、当該部分画像を含む当該画像の全体に対する着色処理を行う第２の処理工程と、
を有する画像の着色方法。