JP7351358B2

JP7351358B2 - 画像処理システム、画像処理方法および画像処理プログラム

Info

Publication number: JP7351358B2
Application number: JP2021577792A
Authority: JP
Inventors: 貴裕戸泉; 正人塚田; 知里舟山
Original assignee: NEC Corp
Current assignee: NEC Corp
Priority date: 2020-02-13
Filing date: 2020-02-13
Publication date: 2023-09-27
Anticipated expiration: 2040-02-13
Also published as: JPWO2021161453A1; WO2021161453A1; US20230059407A1

Description

本開示は、モノクロ画像をカラー化する画像処理システム、画像処理方法および非一時的なコンピュータ可読媒体に関する。

ユーザが汎用のカラーパレットを用いて指定した色（色ヒント）に基づいて、学習済の予測モデルによりモノクロ画像をカラー化画像に変換する画像処理システムが知られている（非特許文献１参照）。また特許文献１には、モノクロ画像に含まれる被写体の分類項目と被写体の好ましい色とを色データベースに予め関連付けて記憶しておき、ユーザが分類項目を入力したことに応じて配色する色を決定する方法が開示されている。

特開平４－２４８６８４号公報

Richard Zhang, Jun-Yan Zhu, "Real-Time User-Guided Image Colorization with Learned Deep Priors.", ACM Transactions on Graphics, ２０１７年５月８日提出

しかし上述した画像処理システムにおいては、ユーザが汎用のカラーパレットから被写体に合った好ましい色ヒントを選択するために、指定および確認操作を何度も行う必要が生じ、時間と手間がかかるという問題点がある。
また上述した特許文献１に記載の方法においては、被写体の分類項目に対して予め定められた色を配色する色として決定するだけであるため、ユーザの指定した色に応じた色の調整を行うことができない。したがって、当該色を色ヒントとして用いてモノクロ画像をカラー化しても、色の再現精度が十分でないという問題点がある。

本開示の目的は、上述した課題を鑑み、モノクロ画像のカラー化における色の再現精度をより容易に向上させることができる画像処理システム、画像処理方法および非一時的なコンピュータ可読媒体を提供することにある。

本開示の一態様における画像処理システムは、対象部分を含むモノクロ画像を取得する画像取得部を備える。また画像処理システムは、前記対象部分の分類項目と前記対象部分の色を示唆する第１の色ヒントとを取得するヒント取得部を備える。また画像処理システムは、取得した前記分類項目に基づいて、前記第１の色ヒントを、前記対象部分の色を示唆する第２の色ヒントに変換するヒント変換部を備える。また画像処理システムは、機械学習により学習した予測モデルを用いて、前記モノクロ画像および前記対象部分の前記第２の色ヒントから、前記モノクロ画像に対応するカラー化画像を生成するカラー化生成部を備える。

本開示の一態様における画像処理方法は、対象部分を含むモノクロ画像を取得する段階を備える。また画像処理方法は、前記対象部分の分類項目と前記対象部分の色を示唆する第１の色ヒントとを取得する段階を備える。また画像処理方法は、取得した前記分類項目に基づいて、前記第１の色ヒントを、前記対象部分の色を示唆する第２の色ヒントに変換する段階を備える。また画像処理方法は、機械学習により学習した予測モデルを用いて、前記モノクロ画像および前記対象部分の前記第２の色ヒントから、前記モノクロ画像に対応するカラー化画像を生成する段階を備える。

本開示の一態様における非一時的なコンピュータ可読媒体は、対象部分を含むモノクロ画像を取得する画像取得機能と、前記対象部分の分類項目と前記対象部分の色を示唆する第１の色ヒントとを取得するヒント取得機能と、取得した前記分類項目に基づいて、前記第１の色ヒントを、前記対象部分の色を示唆する第２の色ヒントに変換するヒント変換機能と、機械学習により学習した予測モデルを用いて、前記モノクロ画像および前記対象部分の前記第２の色ヒントから、前記モノクロ画像に対応するカラー化画像を生成するカラー化生成機能とをコンピュータに実現させるための画像処理プログラムが格納されたものである。

本開示により、モノクロ画像のカラー化における色の再現精度をより容易に向上させることができる画像処理システム、画像処理方法および非一時的なコンピュータ可読媒体を提供することができる。

実施形態の概要にかかる装置の構成を示すブロック図である。実施形態１にかかる装置の処理の概要である。実施形態１にかかる装置の概略構成図である。実施形態１にかかる装置のユーザインターフェイスの一例を示す図である。実施形態１にかかる装置の処理を示すフローチャートである。実施形態１にかかるカラー化生成部のカラー化画像生成処理の一例を説明するための図である。実施形態１にかかる第１の変換テーブルのデータ構造の一例を示す図である。実施形態１にかかる第１の変換テーブルを用いた色ヒント変換処理を示すフローチャートである。実施形態１にかかる第２の変換テーブルのデータ構造の一例を示す図である。実施形態１にかかる第２の変換テーブルを用いた色ヒント変換処理を示すフローチャートである。実施形態１にかかる第３の変換テーブルのデータ構造の一例を示す図である。実施形態１にかかる第３の変換テーブルを用いた色ヒント変換処理を示すフローチャートである。実施形態２にかかる装置の概略構成図である。実施形態２にかかる装置の処理を示すフローチャートである。実施形態２にかかる色ヒント調整処理を説明するための概念図である。実施形態３にかかる装置の概略構成図である。実施形態３にかかる装置の処理を示すフローチャートである。実施形態３にかかる装置のユーザインターフェイスの一例を示す図である。

以下では、具体的な実施形態について、図面を参照しながら詳細に説明する。各図面において、同一又は対応する要素には同一の符号が付されており、説明の明確化のため、必要に応じて重複説明は省略される。なお、本明細書で色は、具体的には１９７６年に国際照明委員会（ＣＩＥ）によって規格化されたＣＩＥＬ^＊ａ^＊ｂ^＊色空間を用いて定義される。しかしこれに限らず、ＲＧＢ、ＨＳＶおよびＹＣｒＣｂ等の他の任意の色空間を用いて定義されてもよい。以下Ｌ^＊、ａ^＊、およびｂ^＊を、単にＬ、ａおよびｂと表記する。

まず実施形態を詳細に説明する前に、その概要について簡単に説明する。図１は、実施形態の概要にかかる画像処理システム（ここでは、単に装置１０と呼ぶ）の構成を示すブロック図である。装置１０は、画像取得部１０２と、ヒント取得部１０５と、ヒント変換部１０６と、カラー化生成部１２０とを備える。

画像取得部１０２は、対象部分を含む被写体を有するモノクロ画像を取得する。
ヒント取得部１０５は、対象部分の分類項目と対象部分の色を示唆する第１の色ヒントとを取得する。
ヒント変換部１０６は、取得した分類項目に基づいて、第１の色ヒントを、対象部分の色を示唆する第２の色ヒントに変換する。
カラー化生成部１２０は、機械学習により学習した予測モデルを用いて、モノクロ画像および対象部分の第２の色ヒントから、モノクロ画像に対応するカラー化画像を生成する。

このような構成により、対象部分の分類項目に基づいて、指定された色ヒントの色調整を行い、調整後の色ヒントを用いてカラー化を行うことができる。したがってモノクロ画像のカラー化における色の再現精度をより容易に向上させることができる。

（実施形態１）
次に図２～９を用いて、本開示の実施形態１について説明する。図２は、実施形態１にかかる装置２０の処理の概要である。装置２０は、モノクロ画像Ｍおよびモノクロ画像Ｍに対応する色ヒントＨから、予測モデルを用いてモノクロ画像Ｍを着色し、カラー化画像Ｃを生成するコンピュータ等である。

モノクロ画像Ｍは、背景色および背景色以外の単一色を用いて描画される画像である。モノクロ画像Ｍは、画素数に応じた数の画素を有する。モノクロ画像Ｍの各画素は、背景色と単一色との間の濃淡の段階を示す画素値を含む。モノクロ画像Ｍの画素値は、色空間の任意の次元の値を含む。本実施形態１でモノクロ画像Ｍの画素値は、モノクロ画像Ｍの輝度値、たとえばＬ値を含む。
モノクロ画像Ｍは、１または複数の被写体を含む写真画像である。被写体は、一例として人物、空、夕日、木および草等である。ここで被写体は、１または複数の対象部分を含む。対象部分は、被写体のうち色が類似する部分である。対象部分は、画素値の差が所定範囲内の複数の隣接する画素を含む画素領域であってよい。対象部分は一例として、人物の肌、人物の目、人物の服、空、夕日、木の幹、木の葉および草等である。本実施形態１でモノクロ画像Ｍは、背景色として白色と、単一色として黒色とを用いたグレースケール画像であってよい。しかしこれに限らず、モノクロ画像Ｍは、単一色として黒以外の色を用いた画像であってもよい。また、モノクロ画像Ｍは、単一色の網点画像に、ガウシアンフィルタおよびメディアンフィルタ等を用いたぼかし処理が施されたものであってもよい。

カラー化画像Ｃは、モノクロ画像Ｍに対応する、画素数に応じた数の画素を有する。カラー化画像Ｃの各画素は、画素値に加えて補色次元の値を含む。補色次元の値は、たとえばａ値およびｂ値であってよい。

予測モデルは、機械学習により学習した、モノクロ画像Ｍの画素の色を予測する予測モデルである。予測モデルは、たとえば入力層、中間層および出力層を含むニューラルネットワークを有する。一例としてニューラルネットワークは、畳み込みニューラルネットワーク（Convolutional neural network,CNN）を含む。なおニューラルネットワークは、入力層の次元を圧縮するオートエンコーダ、特に条件付きオートエンコーダを含んでよい。本実施形態１では予測モデルはエンドツーエンドの深層学習により学習したモデルであるが、これに限らない。

色ヒントＨは、対象部分の色を示唆する色の指標である。本実施形態１で色ヒントＨは、色空間を用いて定義される色である。色ヒントＨは、予測モデルに付加される条件である。色ヒントＨは、特にニューラルネットワークに含まれるオートエンコーダに付加される条件であってよい。色ヒントＨは、モノクロ画像Ｍの画素の色の予測精度を向上させる。

ここで色ヒントＨは、写真画像として「好ましい色」、特に人間の知覚に合った色であることが好ましい。たとえば「好ましい色」は、太陽光および白色光源等の所定の光源下での反射率特性を有するものであってよい。また「好ましい色」は、人間の知覚に基づいて経験的に定められた色であってもよい。
また「好ましい色」は、所定の光源下での物体の色と、所定の表示装置に表示される物体の色との間の色差が小さい（好ましくは、最小の）場合の、後者の色であってもよい。たとえば「好ましい色」は、以下のように求めることもできる。まず物体の色を、第１のイメージセンサで検出し、当該検出した色を所定の表示装置に表示させ、表示された色をさらに第２のイメージセンサで検出する。このとき、第１のイメージセンサの検出色と、第２のイメージセンサの検出色との間の色差が小さくなる（好ましくは、最小となる）場合に、第２のイメージセンサの検出色を、その物体の「好ましい色」とすることができる。
色ヒントＨをこのような「好ましい色」とすることにより、モノクロ画像のカラー化における色の再現精度を向上させることができる。

図３は、実施形態１にかかる装置２０の概略構成図である。装置２０は、取得部２００と、記憶部２１０と、カラー化生成部２２０と、出力部２４０と、モデル生成部２６０とを備える。

取得部２００は、予測モデルの入力データに関連する各種データを取得する。取得部２００は、取得したデータをカラー化生成部２２０に出力する。これに加えて取得部２００は、取得したデータを記憶部２１０に格納してもよい。ここで取得部２００は、画像取得部２０２と、ヒント決定部２０４とを有する。

画像取得部２０２は、予測モデルの入力データの１つであるモノクロ画像Ｍを取得する。画像取得部２０２は、学習データとしてモノクロ画像Ｍおよびこれに対応するカラー化画像Ｃを取得してもよい。

ヒント決定部２０４は、モノクロ画像Ｍの被写体の対象部分の第１の色ヒントを取得し、第２の色ヒントを決定する。ここで第１の色ヒントは、ユーザが被写体の対象部分の色を示唆する色として指定した色ヒントである。そして第２の色ヒントは、第１の色ヒントに応じた「好ましい色」であり、予測モデルに条件として入力される色ヒントである。ヒント決定部２０４は、決定した第２の色ヒントをカラー化生成部２２０に出力する。ここでヒント決定部２０４は、ヒント取得部２０５と、ヒント変換部２０６とを含む。

ヒント取得部２０５は、モノクロ画像Ｍの対象位置情報Ｐと、対象部分の分類項目と、第１の色ヒントとを取得する。ここで分類項目とは、対象部分の種別を示す情報であり、一例として、「人物の肌」、「人物の目」、「空」、「夕日」、「木の幹」、「木の葉」および「草」等である。また対象位置情報Ｐとは、対象部分を構成する画素のうち少なくとも一部の画素の位置情報であってよい。

ヒント変換部２０６は、ヒント取得部２０５が取得した分類項目に基づいて、第１の色ヒントを第２の色ヒントに変換する。ヒント変換部２０６は、記憶部２１０に格納される変換テーブルを用いて第１の色ヒントを第２の色ヒントに変換してよい。

記憶部２１０は、色ヒント変換処理および予測モデルの学習処理に関連する各種データ等を記憶する記憶媒体である。記憶部２１０は、変換テーブルと、学習データベース２１６とを有する。
変換テーブルは、対象部分の分類項目と、色ヒント変換処理に関連するパラメータ等とを関連付けて記憶するテーブルである。詳細は後述する。
学習データベース２１６は、予測モデルの学習データ等を記憶する。

カラー化生成部２２０は、予測モデルを用いて、モノクロ画像Ｍおよび対象部分の色ヒントＨ（特に、第２の色ヒント）から、モノクロ画像Ｍに対応するカラー化画像Ｃを生成する。なおカラー化生成部２２０は、後述するモデル生成部２６０のモデル最適化部２６４から出力される予測モデルを用いる。そしてカラー化生成部２２０は、カラー化画像Ｃを出力部２４０に出力する。

出力部２４０は、カラー化生成部２２０によって生成されたカラー化画像Ｃを所定の出力形式により出力する。

モデル生成部２６０は、学習データを用いた機械学習によって、予測モデルを生成する。モデル生成部２６０は、学習処理部２６２と、モデル最適化部２６４とを有する。
学習処理部２６２は、予測モデルの学習データを管理する。学習処理部２６２は、学習用のモノクロ画像Ｍ、カラー化画像Ｃおよび色ヒントＨを含むデータセット、すなわち学習データを取得し、学習データベース２１６に格納する。なお学習データベース２１６に格納される学習データは、学習処理部２６２が取得部２００から取得したデータであってもよく、学習処理部２６２が任意の通信手段（不図示）を介して他の装置から受信したデータであってもよい。そして学習処理部２６２は、学習データベース２１６に格納された学習データをモデル最適化部２６４に出力する。
モデル最適化部２６４は、学習データを用いて機械学習により予測モデルを最適化する。予測モデル最適化部１８４は、最適化した予測モデルをカラー化生成部２２０に出力する。

図４は、実施形態１にかかる装置２０のユーザインターフェイスの一例を示す図である。たとえばユーザインターフェイスは、モノクロ画像表示部１と、カラー化画像表示部２と、カラーパレット３と、分類項目入力部４と、色空間表示部５と、ヒント表示部６と、画像入力部７と、画像出力部８とを備える。

モノクロ画像表示部１は、取得したモノクロ画像Ｍを表示するとともに、当該モノクロ画像Ｍの対象部分の対象位置情報Ｐに対応する画素に第１の色ヒントまたは第２の色ヒントが示す色を重畳的に表示する。なおモノクロ画像表示部１は、ポインティングデバイス等を介してユーザから対象位置情報Ｐの入力を受け付ける。モノクロ画像表示部１は、ヒント決定部２０４に含まれ、ヒント取得部２０５に接続されてよい。

カラー化画像表示部２は、生成されたカラー化画像Ｃの表示を行う。カラー化画像表示部２は、出力部２４０に含まれる。

カラーパレット３は、複数の色を保持する汎用のカラーパレットであり、ユーザから色の指定を受け付ける。指定された色は、第１の色ヒントである。カラーパレット３は、ヒント決定部２０４のヒント取得部２０５に含まれる。
分類項目入力部４は、対象部分の分類項目のリストを表示し、ユーザから分類項目の入力を受け付ける。分類項目入力部４は、ヒント決定部２０４に含まれ、ヒント取得部２０５に接続されてよい。

色空間表示部５は、現時点で選択されている色ヒント（ユーザから指定を受け付けた第１の色ヒントまたは変換後の第２の色ヒント）を色空間で表示する。色空間表示部５は、ポインティングデバイス等を介してユーザから色の指定（つまり、第１の色ヒントの入力）を受け付けてもよい。
ヒント表示部６は、現時点で選択されている色ヒントを色で表示する。

画像入力部７は、画像取得部２０２に含まれ、ユーザからのモノクロ画像Ｍの入力を受け付ける。
画像出力部８は、出力部２４０に含まれ、カラー化画像Ｃを所定のデータ形式で外部に出力する。

次に実施形態１にかかる装置２０の処理について、図４を参照しながら図５を用いて説明する。図５は、実施形態１にかかる装置２０の処理を示すフローチャートである。
まずＳ１０において、取得部２００の画像取得部２０２は、カラー化に係るモノクロ画像Ｍを取得する。たとえば画像取得部２０２は、ユーザが図４に示す画像入力部７を選択し、所定のモノクロ画像Ｍを転送することに応じて、上記処理を行う。そして画像取得部２０２は、取得したモノクロ画像Ｍをカラー化生成部２２０に出力する。

次にＳ１１において、ヒント取得部２０５は、対象部分の対象位置情報Ｐを取得したか否かを判定する。たとえばヒント取得部２０５は、ユーザが図４に示すモノクロ画像表示部１上の少なくとも一部の画素をポインティングデバイス等により指定したか否かを判定する。ヒント取得部２０５は、取得（指定）していれば（Ｓ１１でＹ）、処理をＳ１２に進め、そうでなければ（Ｓ１１でＮ）、処理をＳ１８に進める。

Ｓ１２において、ヒント取得部２０５は、対象部分の第１の色ヒントを取得したか否かを判定する。たとえばヒント取得部２０５は、ユーザが図４に示すカラーパレット３に含まれる色または色空間表示部５に表示される色を指定したか否かを判定する。ヒント取得部２０５は、取得（指定）していれば（Ｓ１２でＹ）、図４に示すようにモノクロ画像表示部１のモノクロ画像Ｍ上の、対象位置情報Ｐに対応する画素に第１の色ヒントが示す色を重畳的に表示させ、処理をＳ１３に進める。ヒント取得部２０５は、そうでなければ（Ｓ１２でＮ）、処理をＳ１８に進める。

Ｓ１３において、ヒント取得部２０５は、対象部分の分類項目を取得したか否かを判定する。たとえばヒント取得部２０５は、ユーザが分類項目入力部４に表示された分類項目を指定したか否かを判定する。ヒント取得部２０５は、取得（指定）していれば（Ｓ１３でＹ）、処理をＳ１４に進め、そうでなければ（Ｓ１３でＮ）、第１の色ヒントをカラー化生成部２２０に出力し、処理をＳ１５に進める。

Ｓ１４において、ヒント変換部２０６は、記憶部２１０の変換テーブルを参照し、取得した分類項目に応じて、第１の色ヒントを第２の色ヒントに変換する。この色ヒント変換処理についての詳細は、後述する。ヒント変換部２０６は、カラー化生成部２２０に第２の色ヒントを出力する。またヒント変換部２０６は、図４に示すように、モノクロ画像表示部１のモノクロ画像Ｍ上の、対象位置情報Ｐに対応する画素に第１の色ヒントに代えて第２の色ヒントが示す色を重畳的に表示させる。

次にＳ１５において、カラー化生成部２２０は、モデル最適化部２６４から予測モデルを取得する。
次にＳ１６において、カラー化生成部２２０は、取得したモノクロ画像Ｍを入力データとし、色ヒントＨ（第１の色ヒントまたは第２の色ヒント）を条件として、予測モデルを用いてモノクロ画像Ｍに対応したカラー化画像Ｃを生成する。カラー化生成部２２０は、出力部２４０にカラー化画像Ｃを出力する。

Ｓ１７において、出力部２４０はカラー化画像Ｃを出力する。たとえば出力部２４０は、図４に示すカラー化画像表示部２にカラー化画像Ｃを表示させる。また出力部２４０は、ユーザが図４に示す画像出力部８を選択したことに応じてカラー化画像Ｃを所定のデータ形式で出力する。そして出力部２４０は、処理を終了する。

Ｓ１８において、ヒント取得部２０５は、Ｓ１１において対象位置情報Ｐを取得していないことに応じて、またはＳ１２において対象部分の第１の色ヒントを取得していないことに応じて、エラーを示す信号を出力する。そしてヒント取得部２０５は、処理を終了する。

このように本実施形態１によれば、ヒント変換部２０６が分類項目に基づいて第１の色ヒントを第２の色ヒントに変換するため、指定された色ヒントの色調整を分類項目に基づいて行い、当該色調整後の色ヒントを用いてカラー化を行うことができる。これにより、モノクロ画像のカラー化における色の再現精度をより容易に向上させることができる。

図６は、実施形態１にかかるカラー化生成部２２０のカラー化画像生成処理（つまり、図５のＳ１６に示す処理）の一例を説明するための図である。
まずカラー化生成部２２０は、モノクロ画像Ｍ、つまりモノクロ画像Ｍの輝度次元（L）に対応するマトリクス図Ｍ（Ｌ）と色ヒントＨの輝度および補色次元（ａ，ｂ）のそれぞれに対応するマトリクス図Ｈ（Ｌ），Ｈ（ａ），Ｈ（ｂ）とを取得する。カラー化生成部２２０は、これらを予測モデルの入力層および条件に入力する。そして予測モデルは、出力層においてカラー化画像Ｃの補色次元に対応するマトリクス図Ｃ（ａ），Ｃ（ｂ）を出力する。カラー化生成部２２０は、出力されたＣ（ａ），Ｃ（ｂ）と、Ｍ（Ｌ）とを合成し、カラー化画像Ｃを生成する。
このようにしてカラー化生成部２２０は、モノクロ画像Ｍおよび色ヒントＨからカラー化画像Ｃを生成することができる。

次に、ヒント変換部２０６による変換テーブルを用いた色ヒント変換処理（つまり、図５のＳ１４に示す処理）について説明する。変換テーブルは、第１の変換テーブル、第２の変換テーブルおよび第３の変換テーブルのうち少なくとも１つを含んでよく、ヒント変換部２０６は、記憶部２１０に格納される変換テーブルの種類に応じた変換処理を行ってよい。

図７Ａは、実施形態１にかかる第１の変換テーブルのデータ構造の一例を示す図であり、図７Ｂは、第１の変換テーブルを用いた色ヒント変換処理を示すフローチャートである。
第１の変換テーブルは、対象部分の分類項目と、複数の第２の色ヒントの候補とを関連付けて記憶する。図７Ａに示すように、第１の変換テーブルは、対象部分の分類項目と、分類項目に対応する複数の第２の色ヒントの候補の色空間座標とを含んでよい。色空間座標は、色空間の次元に対応した成分（つまり画素値）を含み、本図では輝度次元（Ｌ）および補色次元にそれぞれ対応する３つの成分Ｌ，ａ，ｂを含む。ここで第２の色ヒントの候補は、分類項目に応じて、上述の「好ましい色」として予め定められた色であってよい。

図７Ｂに示すように、まずＳ２０においてヒント変換部２０６は、第１の変換テーブルを用いて、取得した分類項目に応じた複数の第２の色ヒントの候補の色空間座標を取得する。
次にＳ２２において、ヒント変換部２０６は、第２の色ヒントの候補の各々と第１の色ヒントとの間の色差、すなわち第２の色ヒントの候補の各々の色空間座標と、第１の色ヒントの色空間座標との間の距離を算出する。ここで距離は、ユークリッド距離、マンハッタン距離，チェビシェフ距離またはその他の任意の距離であってよい。
次にＳ２４において、ヒント変換部２０６は、第２の色ヒントの候補のうち、第１の色ヒントとの間の色差が最も小さいものを選択し、第２の色ヒントを決定する。

このようにヒント変換部２０６は、第１の変換テーブルを用いることで、分類項目ごとに予め定められた好ましい色のうち、ユーザが指定した色（第１の色ヒント）に最も近い色を第２の色ヒントとして容易に決定することができる。

図８Ａは、実施形態１にかかる第２の変換テーブルのデータ構造の一例を示す図であり、図８Ｂは、第２の変換テーブルを用いた色ヒント変換処理を示すフローチャートである。
第２の変換テーブルは、第１の色ヒントと、対象部分の分類項目と、第２の色ヒントとを関連付けて記憶する。図８Ａに示すように、第２の変換テーブルは、分類項目ごとに、第１の色ヒントの色空間座標の範囲に応じて割り当てられた色空間座標を第２の色ヒントとして記憶する。ここで第２の色ヒントは、分類項目ごとに、第１の色ヒントの色空間に対応して上述の「好ましい色」として予め定められた色であってよい。

図８Ｂに示すように、まずＳ３０においてヒント変換部２０６は、第２の変換テーブルを参照する。
次にＳ３２において、ヒント変換部２０６は、取得した前記分類項目および第１の色ヒントの色空間座標の成分に対応する範囲に関連付けられた第２の色ヒントを取得する。
このようにヒント変換部２０６は、第２の変換テーブルを用いることで、分類項目ごとに、ユーザが指定した色に対応して予め定められた「好ましい色」を第２の色ヒントとして容易に決定することができる。

図９Ａは、実施形態１にかかる第３の変換テーブルのデータ構造の一例を示す図であり、図９Ｂは、第３の変換テーブルを用いた色ヒント変換処理を示すフローチャートである。
図９Ａに示すように、第３の変換テーブルは、対象部分の分類項目に応じた、第１の色ヒントから第２の色ヒントに変換する変換パラメータを記憶する。

図９Ｂに示すように、まずＳ４０においてヒント変換部２０６は、第３の変換テーブルに記憶される、取得した分類項目に応じた変換パラメータを取得する。
次にＳ４２に示すように、ヒント変換部２０６は、変換パラメータを用いて第１の色ヒントから第２の色ヒントを算出する。

このようにヒント変換部２０６は、第３の変換テーブルを用いることで、分類項目ごとに予め定められた変換パラメータに基づいた演算処理をユーザが指定した色に対して行い、出力結果を第２の色ヒントとして容易に決定することができる。

なお、本実施形態１では学習データベース２１６は、装置２０の記憶部２１０に含まれるが、これに代えて、通信可能に接続された他の装置（不図示）等に含まれていてもよい。このとき学習処理部２６２は、任意の通信手段（不図示）を介して当該他の装置から学習データを取得し、モデル最適化部２６４に出力してよい。

（実施形態２）
次に図１０～１２を用いて、本開示の実施形態２について説明する。実施形態２は、変換後の第２の色ヒントをさらに調整することに特徴を有する。
図１０は、実施形態２にかかる装置３０の概略構成図である。装置３０は、実施形態１の装置２０とほぼ同様の構成および機能を有する。ただし装置３０は、取得部２００に代えて、取得部３００を備える点で装置２０と相違する。

取得部３００は、取得部２００とほぼ同様の構成および機能を有するが、ヒント決定部２０４に代えてヒント決定部３０４を有する。
ヒント決定部３０４は、ヒント決定部２０４の構成に加えて、ヒント調整部３０７を含む。
ヒント調整部３０７は、ヒント変換部２０６から出力された、変換された第２の色ヒントの色空間座標を、第１の色ヒントの色空間座標との間の距離に基づいて調整する。

図１１は、実施形態２にかかる装置３０の処理を示すフローチャートである。図１１に示すステップは、実施形態１の図５に示すステップに加えて、Ｓ５０を有する。なお図５に示すステップと同様のステップについては、同一の記号を付して説明を省略する。
Ｓ５０において、ヒント決定部３０４のヒント調整部３０７は、Ｓ１４においてヒント変換部２０６から第２の色ヒントが出力されたことに応じて、色ヒント調整処理を行う。そしてヒント調整部３０７は、カラー化生成部２２０に第２の色ヒントを出力し、処理をＳ１５に進める。
なお、Ｓ１６においてカラー化生成部２２０は、調整された第２の色ヒントに基づいてモノクロ画像に対応するカラー化画像を生成する。

図１２は、実施形態２にかかる色ヒント調整処理（つまり、図１１のＳ５０に示す処理）を説明するための概念図である。本図に示す点ｖは、Ｓ１２においてヒント取得部２０５が取得した（つまり、ユーザが指定した）第１の色ヒントの色空間座標である。また点ｐは、Ｓ１４においてヒント変換部２０６が変換した第２の色ヒント（すなわち、「好ましい色」）の色空間座標である。また点Ｘは、Ｓ５０においてヒント調整部３０７が調整した第２の色ヒントの色空間座標である。

ヒント調整部３０７は、点ｐと点ｖとを結ぶ直線上に点Ｘを設定することで、変換後の第２の色ヒントの色を調整する。これによりヒント調整部３０７は結果的に、第２の色ヒントを、第１の色ヒントから「好ましい色」に所定量近づける、または遠ざける加工処理を行うことが可能となる。

たとえば本図は、ヒント調整部３０７が色空間で点ｖと点ｐとの間に点Ｘを設定する場合、すなわち第２の色ヒントを「好ましい色」に所定量近づける場合の一例を示す。たとえば点ｖと点ｐとの間の距離をｌとし、点ｖ、ｐおよびＸの色空間座標を、位置ベクトルを用いてそれぞれｖ、ｐ、Ｘとする。そして「好ましい色」にどの程度近づけるかを示すパラメータをｔ（－１≦ｔ≦１）とする。本図では、ｔ＞０であり、Ｘ＝ｌ・ｔ・ｖ＋ｌ・（１－ｔ）・ｐが得られる。

またヒント調整部３０７は、ｔ＜０とすれば、色空間で点ｖと点ｐとを結ぶ直線上の、点ｖに対して点ｐと反対側の位置に点Ｘを設定することも可能である。すなわちヒント調整部３０７は、第２の色ヒントを「好ましい色」に所定量遠ざけることが可能である。

このように本実施形態２によれば、装置３０は予め定められた「好ましい色」を基準としてユーザの好みのテイストでカラー化を実行することができる。

（実施形態３）
次に図１３～１５を用いて、本開示の実施形態３について説明する。実施形態３は、モノクロ画像Ｍの対象位置情報Ｐを自動取得することに特徴を有する。
図１３は、実施形態３にかかる装置４０の概略構成図である。装置４０は、実施形態１の装置２０とほぼ同様の構成および機能を有する。ただし装置４０は、取得部２００に代えて、取得部４００を備える。

取得部４００は、取得部２００とほぼ同様の構成および機能を有するが、ヒント決定部２０４に代えてヒント決定部４０４を有する。
ヒント決定部４０４は、ヒント決定部２０４の構成に加えて、対象検出部４０６と、検出表示部４０８とを含む。

対象検出部４０６は、モノクロ画像Ｍから対象部分を自動で検出し、対象位置情報Ｐを取得する。たとえば対象検出部４０６は、被写体を検出し、被写体のうち色が類似すると推定される画素領域を対象部分として検出してよい。なお対象検出部４０６は、被写体に含まれる画素同士の画素値の差および画素の位置に基づいて、色が類似すると推定される画素領域を検出してよい。
そして対象検出部４０６は、検出された対象部分に基づいて対象部分の分類項目を推定する。対象検出部４０６は、推定した分類項目をヒント変換部２０６に出力する。

検出表示部４０８は、検出された対象部分を選択し、表示する。したがってユーザは、対象部分の対象位置情報Ｐを指定することなく、第１の色ヒントを指定することができる。なお検出表示部４０８は、対象部分に加えて、検出された被写体も表示してよい。
なお、ヒント取得部２０５は、表示された対象部分に対応するユーザからの第１の色ヒントの入力を受け付けてよい。

本実施形態３によれば、対象検出部４０６が対象位置情報Ｐを自動で検出するため、ユーザの対象位置情報Ｐの指定操作が省略され、利便性が向上する。また当該対象位置情報Ｐの自動検出に応じて、対象検出部４０６が対象部分の分類項目を推定するため、対象部分の分類項目を自動で取得することができる。これにより、ユーザの分類項目の指定操作が省略され、利便性がさらに向上する。

次に実施形態３にかかる装置４０の処理について、図１５を参照しながら図１４を用いて説明する。図１４は、実施形態３にかかる装置４０の処理を示すフローチャートである。また図１５は、実施形態３にかかる装置４０のユーザインターフェイスの一例を示す図である。

図１４に示すステップは、実施形態１の図５に示すステップのＳ１１に代えて、Ｓ６０～Ｓ６４に示すステップを有する。なお図５に示すステップと同様のステップについては、同一の記号を付して説明を省略する。
Ｓ６０において、対象検出部４０６は、Ｓ１０において画像取得部２０２がカラー化に係るモノクロ画像Ｍを取得したことに応じて、モノクロ画像Ｍから被写体および被写体の対象部分を自動で検出することにより、対象位置情報Ｐを取得したか否かを判定する。
対象検出部４０６は、対象位置情報Ｐを取得していれば（Ｓ６０でＹ）、処理をＳ６２に進め、そうでなければ（Ｓ６０でＮ）、処理をＳ６１に進める。

Ｓ６１において、ヒント取得部２０５は、図５のＳ１１に示すステップと同様の処理を行い、対象位置情報Ｐを取得していれば（Ｓ１１でＹ）、処理をＳ１２に進め、そうでなければ（Ｓ１１でＮ）、処理をＳ１８に進める。

Ｓ６２において、対象検出部４０６は、Ｓ６０で対象位置情報Ｐを取得したことに応じて、検出した対象部分の分類項目を推定する。そして図１５に示すように、分類項目入力部４上に推定した分類項目を表示する。

なお、Ｓ６０およびＳ６２に示すステップは、並行して実行されてよい。ここで対象検出部４０６は、機械学習により学習済の所定の物体認識モデルを用いて、被写体および対象部分を検出し、対象位置情報Ｐを取得し、当該対象部分の分類項目を推定してよい。所定の物体認識モデルは、画像から物体を検出し認識するニューラルネットワーク、特にＣＮＮを含んでよい。
また被写体が人物等である場合は、対象検出部４０６は、当該所定の物体認識モデルを用いて被写体を検出し、骨格推定技術等を用いて、顔、腕および脚等の位置を推定してもよい。そして対象検出部４０６は、推定したこれらの位置を対象部分の対象位置情報Ｐとし、対象部分の分類項目を「人物の肌」と推定してもよい。これにより同一の分類項目の対象部分が互いに分離された状態で存在する場合にも、後続のＳ１２においてユーザが第１のヒントを複数回指定することを回避でき、利便性が向上する。

なお本実施形態３で対象検出部４０６は、モノクロ画像Ｍから対象部分を、矩形枠を用いて認識し、対象位置情報Ｐおよび分類項目を取得する。しかしこれに代えて、対象検出部４０６は、領域分割（Semantic Segmentation）により、モノクロ画像Ｍの各領域部分がどの分類項目に属するかを推定することで対象位置情報Ｐの取得を行ってもよい。

Ｓ６４において、検出表示部４０８は、モノクロ画像表示部１上に検出被写体Ｆおよび対象部分の対象位置情報Ｐに対応する画素を表示する。たとえば図１５に示すように、モノクロ画像表示部１は、取得したモノクロ画像Ｍに、検出被写体Ｆを示す矩形枠および対象位置情報Ｐに対応する画素を重畳的に表示してよい。
なお、対象検出部４０６が領域分割を用いる場合は、検出した領域部分の輪郭を囲む枠等を検出被写体Ｆとしてモノクロ画像Ｍに対して重畳的に表示させてよい。そして検出表示部４０８は、処理をＳ１２に進める。

なお検出表示部４０８は、モノクロ画像Ｍが複数の検出対象部分を含む場合、順番に検出対象部分の表示を行い、ヒント取得部２０５に対してユーザへ第１の色ヒントの入力を促すように要求してよい。

また図１５に示すように、モノクロ画像Ｍが同一の分類項目を有する対象部分を複数含む場合には、検出表示部４０８は一度に当該複数の対象部分を選択し、モノクロ画像表示部１に表示させてよい。これにより、後続のＳ１２においてユーザが第１の色ヒントを複数回指定することを回避することができ、利便性が向上する。

上述の実施形態ではコンピュータは、パーソナルコンピュータやワードプロセッサ等を含むコンピュータシステムで構成される。しかしこれに限らず、コンピュータは、ＬＡＮ（ローカル・エリア・ネットワーク）のサーバ、コンピュータ（パソコン）通信のホスト、インターネット上に接続されたコンピュータシステム等によって構成されることも可能である。また、ネットワーク上の各機器に機能分散させ、ネットワーク全体でコンピュータを構成することも可能である。

なお上述の実施形態では、本発明をハードウェアの構成として説明したが、本発明は、これに限定されるものではない。本発明は、任意の機能（処理）、特に図２、７～９、１１および１４に示す処理を、ＣＰＵ（Central Processing Unit）にコンピュータプログラムを実行させることにより実現することも可能である。

プログラムは、様々なタイプの非一時的なコンピュータ可読媒体（non-transitory computer readable medium）を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体（tangible storage medium）を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体（例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば光磁気ディスク）、ＣＤ－ＲＯＭ（Read Only Memory）、ＣＤ－Ｒ、ＣＤ－Ｒ／Ｗ、半導体メモリ（例えば、マスクＲＯＭ、ＰＲＯＭ（Programmable ROM）、ＥＰＲＯＭ（Erasable PROM）、フラッシュＲＯＭ、ＲＡＭ（random access memory））を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体（transitory computer readable medium）によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。

請求の範囲、明細書、および図面中において示した装置および方法における各処理の実行順序は、特段「より前に」、「先立って」等と明示しておらず、また、前の処理の出力を後の処理で用いるのではない限り、任意の順序で実現しうる。請求の範囲、明細書および図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順序で実施することが必須であることを意味するものではない。

以上、実施形態を参照して本開示を説明したが、本開示は上記実施形態に限定されるものではない。本開示の構成や詳細には、本開示のスコープ内で当業者が理解し得る様々な変更をすることができる。

１モノクロ画像表示部、２カラー化画像表示部、３カラーパレット、４分類項目入力部、５色空間表示部、６ヒント表示部、７画像入力部、８画像出力部、１０，２０，３０，４０装置、１０２画像取得部、１０５，２０５ヒント取得部、１０６，２０６ヒント変換部、１２０，２２０カラー化生成部、２００，３００，４００取得部、２０２画像取得部、２０４ヒント決定部、２１０記憶部、２１６学習データベース、２４０出力部、２６０モデル生成部、２６２学習処理部、２６４モデル最適化部、３０４，４０４ヒント決定部、３０７ヒント調整部、４０６対象検出部、４０８検出表示部、Ｍモノクロ画像、Ｃカラー化画像、Ｈ色ヒント、Ｐ対象位置情報、Ｆ検出被写体

Claims

対象部分を含むモノクロ画像を取得する画像取得部と、
前記対象部分の分類項目と前記対象部分の色を示唆する第１の色ヒントとを取得するヒント取得部と、
取得した前記分類項目に基づいて、前記第１の色ヒントを、前記対象部分の色を示唆する第２の色ヒントに変換するヒント変換部と、
機械学習により学習した予測モデルを用いて、前記モノクロ画像および前記対象部分の前記第２の色ヒントから、前記モノクロ画像に対応するカラー化画像を生成するカラー化生成部と
を備える画像処理システム。
分類項目と、複数の第２の色ヒントとを関連付けて記憶する第１の変換テーブルをさらに備え、
前記ヒント変換部は、前記第１の変換テーブルを用いて、取得した前記分類項目に関連付けられた複数の第２の色ヒントのうち、前記第１の色ヒントとの間の色差が最も小さい第２の色ヒントを選択する、請求項１に記載の画像処理システム。
第１の色ヒントと、分類項目と、第２の色ヒントとを関連付けて記憶する第２の変換テーブルをさらに備え、
前記ヒント変換部は、前記第２の変換テーブルを用いて、取得した前記分類項目および前記第１の色ヒントに関連付けられた前記第２の色ヒントを取得する、請求項１に記載の画像処理システム。
分類項目に応じた変換パラメータを記憶する第３の変換テーブルをさらに備え、
前記ヒント変換部は、前記第３の変換テーブルに記憶される、取得した前記分類項目に応じた変換パラメータを用いて、前記第１の色ヒントを前記第２の色ヒントに変換する、請求項１に記載の画像処理システム。
変換された前記第２の色ヒントの色空間座標を、前記第１の色ヒントの色空間座標との間の距離に基づいて調整するヒント調整部をさらに備え、
前記カラー化生成部は、調整された前記第２の色ヒントに基づいて前記モノクロ画像に対応するカラー化画像を生成する、請求項１から４のいずれか一項に記載の画像処理システム。
前記モノクロ画像から前記対象部分を検出する対象検出部と、
検出された前記対象部分を表示する検出表示部と
をさらに備え、
前記ヒント取得部は、表示された前記対象部分の前記第１の色ヒントの入力をユーザから受け付ける、請求項１から５のいずれか一項に記載の画像処理システム。
前記対象検出部は、検出された前記対象部分に基づいて前記対象部分の分類項目を推定する，請求項６に記載の画像処理システム。
対象部分を含むモノクロ画像を取得する段階と、
前記対象部分の分類項目と前記対象部分の色を示唆する第１の色ヒントとを取得する段階と、
取得した前記分類項目に基づいて、前記第１の色ヒントを、前記対象部分の色を示唆する第２の色ヒントに変換する段階と、
機械学習により学習した予測モデルを用いて、前記モノクロ画像および前記対象部分の前記第２の色ヒントから、前記モノクロ画像に対応するカラー化画像を生成する段階と
を備える画像処理方法。
対象部分を含むモノクロ画像を取得する画像取得機能と、
前記対象部分の分類項目と前記対象部分の色を示唆する第１の色ヒントとを取得するヒント取得機能と、
取得した前記分類項目に基づいて、前記第１の色ヒントを、前記対象部分の色を示唆する第２の色ヒントに変換するヒント変換機能と、
機械学習により学習した予測モデルを用いて、前記モノクロ画像および前記対象部分の前記第２の色ヒントから、前記モノクロ画像に対応するカラー化画像を生成するカラー化生成機能と
をコンピュータに実現させるための画像処理プログラム。