JP6361500B2 - 画像処理装置、画像処理方法及びプログラム - Google Patents

Description

本開示は、画像処理装置、画像処理方法及びプログラムに関する。

近年、セキュリティ及びその他の目的で、被写体を撮像する赤外線カメラが利用されている。また、赤外線カメラにより得られた赤外線画像などの非カラー画像からカラー画像を生成する方法が提案されている。

例えば、特許文献１には、互いに異なる波長を有する赤外線を利用した撮像により得られた複数の赤外線画像から、可視領域と赤外領域との間の反射特性の相関に基づいてカラー画像を生成する技術が開示されている。

特開２０１１−５００４９号公報

しかしながら、非カラー画像からカラー画像を生成する既存の技術において、生成されたカラー画像の色が、ユーザの視覚を通じて見た場合に不自然であることが少なくなかった。例えば、特許文献１に開示されている技術では、赤外線画像をカラー画像へ変換するための相関モデルが限られた条件下でしか成立しないため、生成されたカラー画像の色が不自然となりうる。

そこで、本開示では、より自然な色を有するカラー画像を提供することが可能な、新規かつ改良された画像処理装置、画像処理方法及びプログラムを提案する。

本開示によれば、赤外線画像を取得する取得部と、前記取得部により取得された前記赤外線画像に基づいてカラー画像を生成する生成部と、前記生成部により生成された前記カラー画像の色をユーザにより入力される色調整情報に従って調整する調整部と、を備える画像処理装置が提供される。

また、本開示によれば、画像処理装置により赤外線画像を取得することと、取得された前記赤外線画像に基づいてカラー画像を生成することと、生成された前記カラー画像の色をユーザにより入力される色調整情報に従って調整することと、を含む画像処理方法が提供される。

また、本開示によれば、画像処理装置を制御するコンピュータを、赤外線画像を取得する取得部と、前記取得部により取得された前記赤外線画像に基づいてカラー画像を生成する生成部と、前記生成部により生成された前記カラー画像の色をユーザにより入力される色調整情報に従って調整する調整部と、として機能させるためのプログラムが提供される。

以上説明したように本開示によれば、より自然な色を有するカラー画像を提供することが可能である。

なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、又は上記の効果に代えて、本明細書に示されたいずれかの効果、又は本明細書から把握され得る他の効果が奏されてもよい。

波長に依存する赤外線（ＩＲ）画像の多様な用途について説明するための説明図である。 本開示の第１の実施形態に係る画像処理装置のハードウェア構成の具体例を示す説明図である。 本開示の第１の実施形態に係る画像処理装置の論理的機能の構成の具体例を示す説明図である。 生成されたカラー画像の画面上での表示の具体例を示す説明図である。 生成されたカラー画像の画面上での表示の具体例を示す説明図である。 １つ以上の候補色の画面上での表示の具体例を示す説明図である。 １つ以上の候補色の画面上での表示の具体例を示す説明図である。 色が調整された後のカラー画像の具体例を示す説明図である。 本開示の第１の実施形態に係る画像処理装置が行う処理の流れの具体例を示すフローチャートである。 本開示の第１の実施形態に係る画像処理装置が行うカラー画像生成処理の流れの具体例を示すフローチャートである。 ユーザに予測色の信頼度の閾値を選択させるためのユーザインタフェースの具体例を示す説明図である。 応用例に係る画像処理装置が行うカラー画像生成処理の流れの具体例を示すフローチャートである。 生成されたカラー画像が表示された画面の具体例を示す説明図である。 応用例に係る画像処理装置が行うカラー画像生成処理の流れの具体例を示すフローチャートである。 本開示の第２の実施形態に係る画像処理装置の論理的機能の構成の具体例を示す説明図である。 生成されたカラー画像のセグメント分割の具体例を示す説明図である。 本開示の第２の実施形態に係る画像処理装置が行う処理の流れの具体例を示すフローチャートである。 色が調整された後のカラー画像が表示された画面の具体例を示す説明図である。

以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

なお、説明は以下の順序で行うものとする。
１．導入
２．第１の実施形態に係る画像処理装置
２−１．ハードウェア構成
２−２．機能構成
２−３．動作
２−４．応用例
３．第２の実施形態に係る画像処理装置
３−１．機能構成
３−２．動作
３−３．応用例
４．むすび

＜１．導入＞
図１は、波長に依存する赤外線（ＩＲ）画像の多様な用途について説明するための説明図である。図１の水平方向は赤外線の波長に対応し、左から右へと波長は長くなる。０．７μｍ以下の波長を有する光線は可視光線であり、人間の視覚はこの可視光線を感知する。０．７μｍから１．０μｍまでの範囲内の波長を有する赤外線は、近赤外線（ＮＩＲ）に分類される。近赤外線は、例えば、暗視（night vision）、透視、光通信及び測距のために利用され得る。１．０μｍから２．５μｍまでの範囲内の波長を有する赤外線は、短波長赤外線（ＳＷＩＲ）に分類される。短波長赤外線もまた、暗視及び透視のために利用可能である。近赤外線又は短波長赤外線を用いた暗視装置は、まず近傍に赤外線を照射し、その反射光を捕捉することにより赤外線画像を得る。２．５μｍから４．０μｍまでの範囲内の波長を有する赤外線は、中波長赤外線（ＭＷＩＲ）に分類される。中波長赤外線の波長範囲では物質固有の吸収スペクトルが現れることから、中波長赤外線は、物質の同定のために利用され得る。また、中波長赤外線は、サーモグラフィのためにも利用可能である。４．０μｍ以上の波長を有する赤外線は、遠赤外線（ＦＩＲ）に分類される。遠赤外線は、暗視、サーモグラフィ及び加熱のために利用され得る。物体からの黒体放射によって発せられる赤外線は、遠赤外線に相当する。そのため、遠赤外線を用いた暗視装置は、赤外線を照射せずとも、物体からの黒体放射を捕捉することにより赤外線画像を得ることができる。なお、図１に示した波長の範囲の境界値は例に過ぎない。赤外線の分類の境界値には様々な定義が存在しており、本開示に係る技術の後述する利点は、いかなる定義の下でも享受され得る。

以上説明したように、赤外線を利用した撮像は、多様な用途を有する。赤外線を利用した撮像により得られる画像は、通常は、グレースケールの画像、即ち非カラー画像である。例えば、サーモグラフィーでは、被写体の温度を表現するように画像が着色されるが、この場合の赤外線画像の色は被写体そのものの色とは全く異なる。

例えば監視カメラ、車載カメラ、暗視カメラ又は医療用内視鏡といった、ユーザが画像に映る被写体を見ることが前提とされる用途では、ユーザが画像を通じて被写体そのものの色をも認識したいという要求が存在する。そこで、特許文献１は、複数の赤外線画像から可視領域と赤外領域との間の反射特性の相関に基づいてカラー画像を生成する技術を提案している。しかしながら、赤外線画像などの非カラー画像からカラー画像を生成する既存の技術はいずれも、特定の条件下でしか良好な（被写体そのものの色に近い）色を得ることができず、生成されたカラー画像の色がユーザの視覚を通じて見た場合に不自然であることが少なくなかった。そこで、本明細書では、より自然な色を有するカラー画像を提供することができる仕組みを提案する。

＜２．第１の実施形態に係る画像処理装置＞
まず、本開示の第１の実施形態に係る画像処理装置１について説明する。

[２−１．ハードウェア構成]
図２は、本開示の第１の実施形態に係る画像処理装置１のハードウェア構成の具体例を示す説明図である。図２に示したように、画像処理装置１は、赤外線カメラ１０２と、可視光線カメラ１０４と、入力インタフェース１０６と、メモリ１０８と、ディスプレイ１１０と、通信インタフェース１１２と、ストレージ１１４と、プロセッサ１１６と、バス１１８と、を備える。

（赤外線カメラ）
赤外線カメラ１０２は、赤外線を利用した撮像を行い、非カラー画像である赤外線画像を得る撮像モジュールである。赤外線カメラ１０２は、赤外線を感知する撮像素子の配列を有する。赤外線カメラ１０２がＮＩＲ画像又はＳＷＩＲ画像を撮像する場合には、赤外線カメラ１０２は、対応する波長を有する赤外線を装置の近傍に照射する発光素子をも有する。例えば、赤外線カメラ１０２は、ユーザ入力などのトリガに応じて又は周期的に発光素子から赤外線を照射し、被写体又はその背景において反射した赤外線を捕捉することにより、赤外線画像を得る。また、赤外線カメラ１０２により得られる一連の赤外線画像は、映像を構成してもよい。

（可視光線カメラ）
可視光線カメラ１０４は、可視光線を利用した撮像を行い、可視光画像を得る撮像モジュールである。可視光線カメラ１０４は、互いに異なる波長の可視光線を感知する撮像素子の配列を有する。例えば、可視光線カメラ１０４は、赤色域、緑色域及び青色域にそれぞれ感度域を持つ撮像素子の配列を有してもよい。なお、可視光線カメラ１０４は、画像処理装置１の構成から省略されてもよい。また、赤外線を感知する撮像素子及び可視光線を感知する撮像素子の双方を含む配列を有する一体型のカメラが使用されてもよい。

（入力インタフェース）
入力インタフェース１０６は、ユーザが画像処理装置１を操作し又は画像処理装置１へ情報を入力するために使用される。例えば、入力インタフェース１０６は、タッチセンサ、キーボード、キーパッド、ボタン又はスイッチなどの入力デバイスを含んでもよい。また、入力インタフェース１０６は、音声入力用のマイクロフォン及び音声認識モジュールを含んでもよい。また、入力インタフェース１０６は、ユーザにより選択される命令をリモートデバイスから受信する遠隔制御モジュールを含んでもよい。

（メモリ）
メモリ１０８は、ＲＡＭ（Random Access Memory）及びＲＯＭ（Read Only Memory）を含み得る記憶媒体である。メモリ１０８は、プロセッサ１１６に連結され、プロセッサ１１６により実行される処理のためのプログラム及びデータを記憶する。

（ディスプレイ）
ディスプレイ１１０は、画像を表示する画面を有する表示モジュールである。例えば、ディスプレイ１１０は、ＬＣＤ（Liquid Crystal Display）、ＯＬＥＤ（Organic light-Emitting Diode）又はＣＲＴ（Cathode Ray Tube）などであってもよい。

（通信インタフェース）
通信インタフェース１１２は、画像処理装置１と他の装置との間の通信を仲介するモジュールである。通信インタフェース１１２は、任意の無線通信プロトコル又は有線通信プロトコルに従って、通信接続を確立する。

（ストレージ）
ストレージ１１４は、赤外線画像及び可視光画像を含み得る画像データを蓄積し又は赤外線画像処理において利用されるデータベースを記憶する記憶デバイスである。ストレージ１１４は、半導体メモリ又はハードディスクなどの記憶媒体を内蔵する。なお、本明細書で説明するプログラム及びデータは、画像処理装置１の外部のデータソース（例えば、データサーバ、ネットワークストレージ又は外付けメモリなど）から取得されてもよい。

（プロセッサ）
プロセッサ１１６は、ＣＰＵ（Central Processing Unit）又はＤＳＰ（Digital Signal Processor）などの処理モジュールである。プロセッサ１１６は、メモリ１０８又は他の記憶媒体に記憶されるプログラムを実行することにより、より自然な色を有するカラー画像を提供するための機能を動作させる。

（バス）
バス１１８は、赤外線カメラ１０２、可視光線カメラ１０４、入力インタフェース１０６、メモリ１０８、ディスプレイ１１０、通信インタフェース１１２、ストレージ１１４及びプロセッサ１１６を相互に接続する。

[２−２．機能構成]
前節では、本開示の第１の実施形態に係る画像処理装置１のハードウェア構成を説明した。続いて、図３を参照して、本開示の第１の実施形態に係る画像処理装置１の論理的機能の構成を説明する。

図３は、図２に示した画像処理装置１の構成要素が互いに連係することにより実現される論理的機能の構成の一例を示すブロック図である。図３に示したように、画像処理装置１は、取得部１５２と、生成部１５４と、記憶部１５６と、制御部１５８と、調整部１６０と、を備える。

（取得部）
取得部１５２は、赤外線画像を取得し、取得した赤外線画像を生成部１５４へ出力する。例えば、取得部１５２は、赤外線カメラ１０２により得られた赤外線画像を取得してもよい。また、取得部１５２は、ストレージ１１４により記憶されている赤外線画像を取得してもよい。また、取得部１５２は、通信インタフェース１１２を介して他の装置から赤外線画像を取得してもよい。取得部１５２により取得される赤外線画像は、信号の増幅及びノイズ除去などの予備的な処理を経た画像であってもよい。また、取得部１５２は、圧縮符号化された符号化ストリームから赤外線画像を復号してもよい。

また、ある実施例において、取得部１５２は、可視光画像を取得し、取得した可視光画像を生成部１５４へ出力してもよい。例えば、取得部１５２は、可視光線カメラ１０４により得られ、ストレージ１１４により記憶され又は通信インタフェース１１２を介して受信される可視光画像を取得してもよい。可視光画像の画角は、取得部１５２により取得される可視光画像の画角と重なる（理想的には一致する）ように校正されているものとする。

（生成部）
生成部１５４は、取得部１５２により取得された赤外線画像に基づいてカラー画像を生成し、生成されたカラー画像を制御部１５８及び調整部１６０へ出力する。本実施形態において、生成部１５４は、赤外線画像の画素値から被写体の色を予測することによりカラー画像を生成する。例えば、生成部１５４は、事前に学習される予測モデルを用いて赤外線画像の画素値から被写体の色を予測し得る。事前の学習処理では、同じ被写体を映した赤外線画像と可視光画像とのペアが多数用意される。ここで用意される赤外線画像及び可視光画像は、教師あり学習における生徒画像及び教師画像にそれぞれ相当する。そして、例えばブースティング又はサポートベクタマシンといった既存のアルゴリズムに従って、赤外線画像の画素値から被写体の色を予測するための予測モデルが構築される。ここでの予測モデルは、典型的には、赤外線画像の画素値から仮説としての様々な色の信頼度（その色が被写体の色である尤もらしさ、即ち尤度ともいう）を計算するための計算式のセットであり得る。生成部１５４は、このように事前に学習される予測モデルを例えば記憶部１５６から取得し、取得した予測モデルを用いて被写体の色を予測する。具体的には、生成部１５４は、赤外線画像の各画素について、複数の色の信頼度を予測モデルにより計算し、信頼度をそれぞれ伴う複数の色のうちで信頼度の最も高い色を予測色として決定する。上述したように信頼度とはその色が被写体の色である尤もらしさを示す指標であり、予測色の信頼度は、その値が大きいほど予測精度が高いことを意味する。生成部１５４は、各画素について計算された複数の色の信頼度を制御部１５８へ出力する。

以上、生成部１５４は事前に学習される予測モデルを用いて赤外線画像の画素値から被写体の色を予測する例を説明した。上述した手法は、赤外線画像に基づくカラー画像の予測のみならず、他の種類の非カラー画像に基づくカラー画像の予測にも適用可能である。また、生成部１５４は、他の方法を用いて被写体の色を予測してもよい。例えば、生成部１５４は、特許文献１により提案された手法に従い、互いに異なる波長を有する赤外線を利用した撮像により得られた複数の赤外線画像から、可視領域と赤外領域との間の反射特性の相関に基づいてカラー画像を生成してもよい。なお、この反射特性の相関に基づく色予測では予測処理の中で信頼度が計算されないため、生成部１５４は、被写体の色を予測した後に、予測された色の信頼度を追加的に計算してもよい。例えば、反射特性の相関の度合いは被写体の材質に依存することが知られているため、生成部１５４は、マルチスペクトルの赤外線画像のスペクトル分解などの手段を用いて被写体の材質を判別し、判別された被写体の材質に基づいて上記信頼度を計算してもよい。また、生成部１５４は、取得部１５２から入力される可視光画像のＲＧＢ値と色予測の結果とを比較し、その比較結果に基づいて上記信頼度を計算してもよい（暗視等の用途では可視光画像のＲＧＢ値は極めて小さくなるが、完全な暗闇ではない限りこの手法も有効である）。

（記憶部）
記憶部１５６は、生成部１５４におけるカラー画像の生成、調整部１６０におけるカラー画像の色の調整、及び制御部１５８によるそれら処理の制御のために参照されるデータを記憶する。例えば、記憶部１５６は、多数の既知の赤外線画像及び可視光画像を用いて事前に学習される予測モデルを予め記憶する。また、記憶部１５６は、生成部１５４により生成されたカラー画像又は調整部１６０により色の調整されたカラー画像を記憶する。

（制御部）
制御部１５８は、各種情報を画面に表示させる機能、候補色を決定する機能、予測モデルを更新する機能及びユーザ入力を取得する機能を有する。

生成部１５４によりカラー画像が生成されると、制御部１５８は、生成されたカラー画像をディスプレイ１１０の画面に表示させる。図４及び図５は、生成部１５４により生成されたカラー画像の画面上での表示の具体例を示す説明図である。図４において、ウィンドウ１０は、生成部１５４により生成されたカラー画像を表示する。ウィンドウ１０に表示されているカラー画像は、テクスチャＴ１、テクスチャＴ２及びテクスチャＴ３を含む。テクスチャＴ１、テクスチャＴ２及びテクスチャＴ３の各々は、何らかの被写体の全体又は一部分に相当し得る。制御部１５８は、このようなウィンドウ上で、色を調整すべき対象領域をユーザに指定させるためのユーザインタフェースをユーザに提供する。一例として、制御部１５８は、ドラッグ、スワイプ又はマルチタップなどのユーザ入力を通じて、画面上でユーザに領域を指定させてもよい。また、制御部１５８は、画面上でユーザにより指定された領域を示すオブジェクトを画面に表示させてもよい。例えば、図５に示したウィンドウ１２において、ユーザにより指定された領域Ｆを示す矩形の枠が表示されている。制御部１５８は、入力インタフェース１０６を介してユーザにより指定された領域を識別し、識別された領域を示す領域指定情報を調整部１６０へ出力する。なお、色を調整すべき対象領域をユーザに指定させるための他の手法について、後にさらに説明する。

色を調整すべき対象領域が決定されると、制御部１５８は、さらに１つ以上の候補色を決定する。例えば、本実施形態において、制御部１５８は、生成部１５４による色予測に関連する色ごとの信頼度に基づいて、１つ以上の候補色を決定する。ここでの候補色は、被写体の適切な色をユーザが選択する際の選択肢を意味する。対象領域は、ある特定の予測色を有する１つ以上の画素を含む。候補色は、それら画素について予測色としては選択されなかったものの、被写体の色である尤度が相対的に高い色（例えば、予め定義される候補色閾値を上回る信頼度を有する色）から決定され得る。そして、制御部１５８は、決定した１つ以上の候補色を画面に表示させる。

一例として、制御部１５８は、色平面を画面に表示させ、色平面上の１つ以上の候補色をディスプレイ１１０の画面上で強調させてもよい。図６は、１つ以上の候補色の画面上での表示の具体例を示す説明図である。例えば、図６に示したウィンドウ１４は色平面に相当するＵＶ平面を表示しており、さらに、対象領域についての調整後の色の選択肢である候補色がＵＶ平面上で強調されている。例えば、ＵＶ平面上で楕円で囲まれている位置にある色Ａ１、Ａ２、Ａ３及びＡ４は、それぞれ候補色である。ウィンドウ１４において、ＵＶ平面上のハッチングされている区域は候補色以外の色を示し、実際にはこの区域は画面上でグレーアウトされてもよい。即ち、候補色は、限定ではないものの、ＵＶ平面上で、楕円形のオブジェクトにより、又は他の部分のグレーアウトにより強調され得る。図６の例における複数の楕円形の破線は、色の信頼度の等高線である。信頼度の最も高い位置Ａ０は予測色に対応し、候補色の信頼度は候補色Ａ１、Ａ２、Ａ３及びＡ４の順に高い。図６に例示したような候補色の強調表示によって、ユーザは、例えば候補色Ａ１、Ａ２、Ａ３及びＡ４が調整後の色の有力な候補であることを理解することができる。また、ユーザは、信頼度情報（ここでは等高線）を考慮して、対象領域に映る被写体の適切な色を容易に選択することができる。なお、信頼度の等高線は、必ずしも図６に示したような楕円形の軌跡を描くわけではなく、任意の軌跡を描き得る。また、候補色閾値を上回る信頼度を示す色の区域が、色平面上で２つ以上存在することもあり得る。

ユーザは、例えばウィンドウ１４において、被写体の色として適切であると考えられる色を、ＵＶ平面上でその色をタップすることにより指定する。制御部１５８は、入力インタフェース１０６を介してユーザにより選択された色（以下、選択色という）を識別し、識別した選択色を示す選択色情報を調整部１６０へ出力する。

以上、制御部１５８は、色平面を画面に表示させ、色平面上の１つ以上の候補色を画面上で強調させる例を説明したが、本開示は係る例に限定されない。例えば、制御部１５８は、色平面を表示させることなく、１つ以上の候補色のみを選択肢として画面に表示させてもよい。それら候補色は、例えば、予測色を除いて信頼度の高い順に決定され得る。図７は、１つ以上の候補色の画面上での表示の具体例を示す説明図である。例えば、図７に示したウィンドウ１６に含まれる候補色Ａ１〜Ａ４は、離散的な複数の色の中から、予測色を除いて信頼度の高い順に決定された色である。ユーザは、このようなウィンドウ１６において、被写体の色として適切であると考えられる色を（例えばタップ等のユーザ入力を通じて）指定してもよい。この場合にも、制御部１５８は、ユーザにより選択された選択色を示す選択色情報を調整部１６０へ出力する。なお、制御部１５８は、複数のウィンドウにわたって１つ以上の候補色を順次表示させてもよい。例えば、ウィンドウ１６において、候補色Ａ１〜Ａ４は互いに異なるタイミングで表示されてもよい。

制御部１５８は、このように対象領域と選択色とをユーザインタフェースを通じてユーザに入力させ、入力された情報（以下、色調整情報という）に従ってカラー画像の色を調整部１６０に調整させる。制御部１５８は、調整部１６０によるカラー画像の色の調整が終了すると、調整後のカラー画像をディスプレイ１１０の画面に表示させる。

さらに、制御部１５８は、取得部１５２により取得された赤外線画像とその赤外線画像に対応する調整後のカラー画像とを用いて、記憶部１５６により記憶されている予測モデルを更新してもよい。例えば、制御部１５８は、赤外線画像及び対応する調整後のカラー画像を学習処理にフィードバックし、これら画像を追加的な生徒画像及び教師画像のペアとして学習処理を反復することにより、予測モデルを更新し得る。このように調整後のカラー画像を用いて予測モデルを更新することで、ユーザによる判断をも加味して予測モデルを鍛え、色予測の精度を向上させることができる。

（調整部）
調整部１６０は、生成部１５４により生成されたカラー画像の色をユーザにより入力される色調整情報に従って調整し、調整後のカラー画像を制御部１５８へ出力する。

例えば、色調整情報は、上述したように、カラー画像内の色を調整すべき対象領域を指定する領域指定情報を含み得る。調整部１６０は、領域指定情報に基づいて対象領域を決定し、決定された対象領域内の色を調整する。例えば、領域指定情報は、画面上でユーザにより指定される領域を示す。具体的には、図５に示したウィンドウ１２においてユーザにより領域Ｆが指定された場合、調整部１６０は、領域Ｆを示す領域指定情報に基づいて対象領域を決定する。例えば、調整部１６０は画面上でユーザにより指定される領域そのものを対象領域として決定してもよい。また、例えば、調整部１６０は、画面上でユーザにより指定される領域内で同一の（又は類似する）色を有する１つ以上の部分領域のうち面積の最も大きい部分領域を対象領域として決定してもよい。このように対象領域が決定される前に、認識された対象領域が正しいか否かをユーザに確認するためのメッセージが画面上に表示されてもよい。

また、色調整情報は、上述したように、画面に表示される１つ以上の候補色からユーザにより選択される選択色を示す選択色情報を含み得る。調整部１６０は、選択色情報に従ってカラー画像の色を調整する。具体的には、図６に示したウィンドウ１４又は図７に示したウィンドウ１６においてユーザにより候補色Ａ３が選択された場合、調整部１６０はユーザにより選択された候補色Ａ３を示す選択色情報に従ってカラー画像の色を調整する。より具体的には、対象領域Ｌ１が指定されユーザにより候補色Ａ３が選択された場合、調整部１６０は、対象領域Ｌ１内の色を候補色Ａ３へ置換することにより、カラー画像の色を調整する。そして、調整部１６０は、対象領域内の色の調整後のカラー画像を制御部１５８へ出力する。図８は、色が調整された後のカラー画像の具体例を示している。なお、制御部１５８は、調整部１６０から入力される調整後のカラー画像を記憶部１５６へ出力し、記憶部１５６に当該調整後のカラー画像を記憶させてもよい。

[２−３．動作]
続いて、図９及び図１０を参照して、本開示の第１の実施形態に係る画像処理装置１が行う処理の流れを説明する。

図９は、本開示の第１の実施形態に係る画像処理装置１が行う処理の流れの具体例を示すフローチャートである。図９に示したように、まず、取得部１５２は、赤外線画像を取得すると（ステップＳ１０２）、取得された赤外線画像を生成部１５４へ出力する。次に、生成部１５４は、取得部１５２により取得された赤外線画像に基づいてカラー画像を生成する（ステップＳ１０４）。ここで、図１０に示したように、生成部１５４によるカラー画像生成処理において、まず、生成部１５４は、赤外線画像内の１つの画素を注目画素として選択し（ステップＳ１５０）、注目画素について複数の色の信頼度を予測モデルにより計算する（ステップＳ１５２）。ここで計算された信頼度は、制御部１５８へ出力される。次に、生成部１５４は、信頼度をそれぞれ伴う複数の色のうちで信頼度の最も高い色を注目画素の予測色として決定し（ステップＳ１５４）、決定された予測色へと注目画素をカラー化する（ステップＳ１５６）。次に、全ての画素についてカラー化が終了していない場合（ステップＳ１５８／ＮＯ）、生成部１５４はカラー化されていない次の画素を注目画素としてステップＳ１５０〜ステップＳ１５６の処理を行う。一方、全ての画素についてカラー化が終了している場合（ステップＳ１５８／ＹＥＳ）、カラー画像生成処理は終了する。そして、生成部１５４は、生成されたカラー画像を制御部１５８及び調整部１６０へ出力する。

次に、制御部１５８は、生成されたカラー画像をディスプレイ１１０の画面に表示する（ステップＳ１０６）。例えば、制御部１５８は、図４に示されたウィンドウ１０をディスプレイ１１０の画面に表示する。ここで、制御部１５８は、ユーザにカラー画像の色の調整の終了又は継続を指示させることができる。カラー画像の色の調整の終了を示す指示が入力された場合（ステップＳ１０８／ＹＥＳ）、図９に示した処理は終了する。

一方、カラー画像の色の調整の継続を示す指示が入力された場合（ステップＳ１０８／ＮＯ）、制御部１５８は、ユーザにより入力される領域指定情報を取得し（ステップＳ１１０）、取得された領域指定情報を調整部１６０へ出力する。次に、調整部１６０は、領域指定情報に基づいて対象領域を決定する（ステップＳ１１２）。次に、制御部１５８は、決定された対象領域のための１つ以上の候補色を決定する（ステップＳ１１４）。例えば、制御部１５８は、生成部１５４による被写体の色の予測に関連する色ごとの信頼度に基づいて、１つ以上の候補色を決定し得る。次に、制御部１５８は、１つ以上の候補色をディスプレイ１１０の画面に表示させる（ステップＳ１１６）。例えば、制御部１５８は、図６に示したウィンドウ１４又は図７に示したウィンドウ１６をディスプレイ１１０の画面に表示させる。ここでも、制御部１５８は、ユーザにカラー画像の色の調整の終了または継続を指示させることができる。カラー画像の色の調整の終了を示す指示が入力された場合（ステップＳ１１８／ＹＥＳ）、図９に示した処理は終了する。

一方、カラー画像の色の調整が継続される場合、画面上でいずれかの候補色が選択される（ステップＳ１１８／ＮＯ）。すると、制御部１５８は、ユーザにより入力される選択色情報を取得し（ステップＳ１２０）、取得された選択色情報を調整部１６０へ出力する。次に、調整部１６０は、決定された対象領域内の色を、選択色情報に基づいて調整する（ステップＳ１２２）。例えば、調整部１６０は、対象領域内の画素の色を選択色へ置換する。そして、調整部１６０は、色の調整後のカラー画像を制御部１５８へ出力し、制御部１５８は、調整後のカラー画像をディスプレイ１１０の画面に表示させる。次に、制御部１５８は、赤外線画像と調整後のカラー画像とを用いて、予測モデルを更新する（ステップＳ１２４）。次に、処理はステップＳ１０８へ戻る。

以上説明したように、本開示の第１の実施形態によれば、調整部１６０は、生成部１５４によって生成されたカラー画像の色を、ユーザにより入力される色調整情報に従って調整する。このような色の調整のためのユーザインタフェースが提供されることで、非カラー画像をカラー化するための何らかのモデルが完全には自然なカラー画像を生成できないとしても、ユーザによる支援に基づいてその不自然さを解消し、より自然な色を有するカラー画像を提供することが可能となる。

また、本開示の第１の実施形態によれば、制御部１５８は、１つ以上の候補色を画面に表示させ、表示された候補色の中からユーザにより調整後の色が選択される。即ち、多種多様なあらゆる色から適切な色を探し求めるという負担はユーザには課されず、色を選択する作業は候補色が絞り込まれることで容易となる。また、ある実施例によれば、制御部１５８は、色平面を画面に表示させ、色平面上の１つ以上の候補色を画面上で強調させる。それにより、ユーザは、色平面上のどの位置の色が調整後の色の有力な候補であるのかを容易に把握し、適切な色を選択することができる。

また、ある実施例によれば、生成部１５４は複数の色の信頼度を予測モデルにより計算し、制御部１５８は生成部１５４による被写体の色の予測に関連する色ごとの信頼度に基づいて１つ以上の候補色を決定する。そのため、調整後の色の候補として尤もらしい選択肢をユーザに提供し、色の選択を的確かつ迅速にユーザが行うことを可能とすることができる。

また、ある実施例によれば、制御部１５８は赤外線画像と調整部１６０による調整後のカラー画像とを用いて予測モデルを更新する。そのため、予測モデルを用いた赤外線画像の画素値からの被写体の色の予測の精度を、徐々に向上させていくことが可能である。

[２−４．応用例]
続いて、赤外線画像から生成されるカラー画像の色の部分的な不自然さを回避するための応用例を説明する。

応用例に係る画像処理装置１おいて、予測色の信頼度がカラー化閾値を下回る画素については、その画素のカラー化がスキップされ、又は予測色の彩度が引き下げられる。例えば、制御部１５８は、予測色の信頼度のカラー化閾値をユーザに設定させるためのユーザインタフェースを画面に表示させてもよい。図１１は、ユーザに予測色の信頼度のカラー化閾値を設定させるためのユーザインタフェースの具体例を示す説明図である。例えば、図１１に示したウィンドウ２０は、設定され得るカラー化閾値を示すスライダＭを含む。ユーザは、スライダＭの矢印をスライドさせることにより、予測色の信頼度のカラー化閾値を設定することができる。カラー化閾値はいかなる粒度（例えば、１％単位、１０％単位又は２５％単位など）で設定可能であってもよい。制御部１５８は、このようなユーザインタフェースを介して取得される（又は予め定義される既定のカラー化閾値を示す）カラー化閾値情報を、生成部１５４へ出力する。

以下、応用例に係る画像処理装置１が行う処理の流れを説明する。なお、応用例に係る画像処理装置１が行う処理の流れにおいて、図９を参照して説明した処理の流れと比較し、カラー画像生成処理（ステップＳ１０４）が異なる。以下、応用例に係る画像処理装置１が行うカラー画像生成処理を説明する。

まず、生成部１５４が予測色の信頼度がカラー化閾値を下回る画素についてカラー化をスキップする例を説明する。

図１２は、応用例に係る画像処理装置１が行うカラー画像生成処理の流れの第１の例を示すフローチャートである。図１２に示したように、生成部１５４によるカラー画像生成処理において、注目画素の予測色の決定（ステップＳ１５４）の後、予測色の信頼度がカラー化閾値を下回らない場合（ステップＳ１７０／ＮＯ）、生成部１５４は、決定された予測色へと注目画素をカラー化する（ステップＳ１５６）。一方、予測色の信頼度がカラー化閾値を下回る場合（ステップＳ１７０／ＹＥＳ）、生成部１５４は、注目画素のカラー化（ステップＳ１５６）をスキップし、カラー画像生成処理はステップＳ１５８へと進む。生成部１５４は、カラー化がスキップされた画素のカラー画像の画素値として、赤外線画像のグレースケールの画素値を採用し得る。

例えば、図４におけるテクスチャＴ２を示す画素についてカラー化がスキップされた場合、カラー画像の表示処理（ステップＳ１０６）において、図１３に示したウィンドウ２２が制御部１５８によりディスプレイ１１０の画面に表示される。図１３に示したウィンドウ２２において、テクスチャＴ２はグレースケールで表示されている。

次に、生成部１５４が予測色の信頼度がカラー化閾値を下回る画素について予測色の彩度を引き下げる例を説明する。

図１４は、応用例に係る画像処理装置１が行うカラー画像生成処理の流れの第２の例を示すフローチャートである。図１４に示したように、生成部１５４によるカラー画像生成処理において、注目画素の予測色の決定（ステップＳ１５４）の後、予測色の信頼度がカラー化閾値を下回らない場合（ステップＳ１７０／ＮＯ）、生成部１５４は、決定された予測色へと注目画素をカラー化する（ステップＳ１５６）。一方、予測色の信頼度がカラー化閾値を下回る場合（ステップＳ１７０／ＹＥＳ）、生成部１５４、注目画素の予測色の彩度を引き下げ（ステップＳ１７２）、引き下げられた彩度に基づいて注目画素をカラー化する（ステップＳ１５６）。

なお、画像処理装置１は、カラー画像生成処理ごとにユーザに予測色の信頼度のカラー化閾値の設定を要求してもよい。また、予測色の信頼度のカラー化閾値は予め設定されていてもよい。

以上説明したように、応用例に係る画像処理装置１は、生成部１５４は予測色の信頼度がカラー化閾値を下回る画素についてカラー化をスキップし又は予測色の彩度を引き下げる。したがって、応用例に係る画像処理装置１は、取得された赤外線画像から生成されるカラー画像が部分的に不自然な色を有することを適応的に回避することができる。

なお、応用例に係る画像処理装置１において、必ずしも調整部１６０によるカラー画像の色の調整が行われなくてもよい。

＜３．第２の実施形態に係る画像処理装置＞
続いて、カラー画像内の色を調整すべき対象領域の選択を一層容易化する、本開示の第２の実施形態に係る画像処理装置２を説明する。

[３−１．機能構成]
第２の実施形態に係る画像処理装置２のハードウェア構成は、図２を参照して説明した画像処理装置１のハードウェア構成と同様であってよい。図１５は、第２の実施形態に係る画像処理装置２の論理的機能の構成の具体例を示す説明図である。図１５に示したように、画像処理装置２は、取得部１５２と、生成部１５４と、記憶部１５６と、制御部１５８と、調整部２６０と、分割部２８０と、を備える。

第２の実施形態において、生成部１５４により生成されたカラー画像は制御部１５８及び分割部２８０へ出力される。

分割部２８０は、画像のテクスチャに基づいてカラー画像を１つ以上のセグメントに分割する。図１６は、生成部１５４により生成されたカラー画像のセグメント分割の具体例を示す説明図である。図１６において、ウィンドウ２６は、生成部１５４により生成されたカラー画像を表示する。例えば、分割部２８０は、画像に映る被写体のテクスチャに基づいて、カラー画像をセグメントＳ１〜Ｓ４に分割する。そして、分割部２８０は、これらセグメントを識別するセグメント情報をカラー画像と共に調整部２６０へ出力する。

本実施形態において、調整部２６０は、例えば、ユーザにより入力される領域指定情報に基づいて１つ以上のセグメントのうちの少なくとも１つのセグメントを対象領域として決定する。一例として、領域指定情報は、画面上でユーザにより指定される画素位置を示し、調整部２６０は、指定される当該画素位置を含むセグメントを対象領域として決定する。より具体的には、図１６に示したウィンドウ２６においてユーザにより画素位置Ｐが指定された場合、調整部２６０は、画素位置Ｐを含むセグメントＳ３を対象領域Ｌ２として決定する。その後、調整部２６０は、第１の実施形態に係る調整部１６０と同様に、選択色情報に従ってカラー画像の対象領域内の画素の色を調整し、調整後のカラー画像を制御部１５８へ出力する。

[３−２．動作]
続いて、図１７を参照して、本開示の第２の実施形態に係る画像処理装置２が行う処理の流れを説明する。

図１７は、本開示の第２の実施形態に係る画像処理装置２が行う処理の流れの具体例を示すフローチャートである。図１７に示したように、本開示の第２の実施形態に係る画像処理装置２が行う処理の流れにおいて、本開示の第１の実施形態に係る画像処理装置１が行う処理の流れと比較し、カラー画像の分割（ステップＳ２５０）が追加されており、領域指定情報の取得（ステップＳ２１０）及び対象領域の決定（ステップＳ２１２）の処理内容が異なる。

生成部１５４によりカラー画像が生成されると（ステップＳ１０４）、生成部１５４は生成されたカラー画像を制御部１５８及び分割部２８０へ出力する。次に、分割部２８０は、生成部１５４により生成されたカラー画像のテクスチャに基づいてカラー画像を１つ以上のセグメントに分割し（ステップＳ２５０）、分割部２８０は、セグメント情報をカラー画像と共に調整部２６０へ出力する。セグメント情報は、制御部１５８にも出力され、個々のセグメントがユーザにより認識されるような表示が画面上で行われてもよい。

ここで、制御部１５８は、ユーザにカラー画像の色の調整の終了又は継続を指示させることができる。カラー画像の色の調整の終了を示す指示が入力された場合（ステップＳ１０８／ＹＥＳ）、図１７に示した処理は終了する。

一方、カラー画像の色の調整の継続を示す指示が入力された場合（ステップＳ１０８／ＮＯ）、制御部１５８は、ユーザにより入力される領域指定情報を取得し（ステップＳ２１０）、取得された領域指定情報を調整部２６０へ出力する。例えば、ここでの領域指定情報は、図１６に示されたウィンドウ２６における画素位置Ｐの座標を含み得る。次に、調整部２６０は、領域指定情報に基づいて対象領域を決定する（ステップＳ２１２）。例えば、調整部２６０は、図１６に示されたウィンドウ２６における画素位置Ｐを含むセグメントＳ３を対象領域Ｌ２として決定する。

以上説明したように、本開示の第２の実施形態に係る画像処理装置２において、調整部２６０は、画面上でユーザにより指定される画素位置を含むセグメントを対象領域として決定する。ゆえに、ユーザは、クリック又はタップなどの簡単な動作で所望のテクスチャを指定することにより、カラー画像内の色を調整すべき対象領域を容易に選択することが可能である。

[３−３．応用例]
ここまでに説明した技術の利点は、取得される赤外線画像が静止画であるか動画を構成するフレームの各々であるかを問わず享受され得る。ここでは、取得される赤外線画像が動画を構成する一連のフレームに含まれる場合のさらなる応用例を説明する。本応用例では、フレームごとに色調整情報をユーザに入力させる手間が省かれる。

応用例に係る画像処理装置２おいて、取得部１５２は、動画を構成する一連のフレームに含まれる赤外線画像を取得する。

分割部２８０は、複数のフレームにわたって同じ被写体を映すセグメントを追跡する。例えば、分割部２８０は、分割により形成されるセグメントの各々の特徴量（形状、サイズ、ヒストグラムなど）のフレーム間での比較に基づいて被写体の同一性を判定することにより、同じ被写体を映すセグメントを時間を追って追跡することができる。ここで、図１８に示したウィンドウ３０により表示されるカラー画像は、図１６に示したカラー画像に後続する、同じ動画の中の一フレームであるものとする。例えば、セグメントＳ１〜Ｓ３の画像内の位置は時間の経過と共に移動しているが、分割部２８０は、これらセグメントのフレーム間での同一性を、セグメントの追跡によって認識し得る。

調整部２６０は、過去のフレームの対象領域が映す被写体と同じ被写体を映す現在のフレーム内のセグメントを、現在のフレームの対象領域として決定する。ここで、図１６においてウィンドウ２６により表示されるカラー画像は過去のフレームであり、図１８においてウィンドウ３０により表示されるカラー画像は現在のフレームである。そして、図１６の時点では、セグメントＳ３が対象領域Ｌ２として決定されている。ゆえに、調整部２６０は、図１８の時点で、現在のフレーム内のセグメントＳ３を引き続き対象領域Ｌ２として決定する。選択色情報もまた、同じセグメントについては再入力を要することなく維持される。それにより、一度のユーザ入力だけで、過去のフレームにおいて調整部２６０により調整されたセグメントＳ３内の色が、その後に生成される一連のカラー画像において（同じ被写体が映っている限り）維持される。

以上説明したように、応用例に係る画像処理装置２によれば、過去のフレームにおいて調整部２６０により調整されたセグメント内の色が後続するフレームにおいて維持される。そのため、一連のフレームにより構成される動画についてユーザが一度色調整情報を入力すれば、ユーザは、その後同じ被写体について繰り返し色調整情報を入力しなくてよい。従って、フレームごとに色調整情報をユーザに入力させる手間を省くことが可能である。

＜４．むすび＞
以上説明したように、本開示の実施形態によれば、調整部は生成部によって生成されたカラー画像の色をユーザにより入力される色調整情報に従って調整する。このような色の調整のためのユーザインタフェースが提供されることで、非カラー画像をカラー化するための何らかのモデルが完全には自然なカラー画像を生成できないとしても、ユーザによる支援に基づいてその不自然さを解消し、より自然な色を有するカラー画像を提供することが可能となる。また、ユーザは、自動的にカラー化される画像のうちの所望の部分の色のみを調整すればよいため、上述したユーザインタフェースの導入に伴って過剰な負荷がユーザに課せられることもない。

また、ある実施形態によれば、１つ以上の候補色が画面に表示され、表示された候補色の中からユーザにより調整後の色が選択される。即ち、多種多様なあらゆる色から適切な色を探し求めるという負担はユーザには課されず、色を選択する作業は候補色が絞り込まれることで容易となる。また、ある実施例によれば、色平面が画面に表示され、色平面上の１つ以上の候補色が画面上で強調される。それにより、ユーザは、色平面上のどの位置の色が調整後の色の有力な候補であるのかを容易に把握し、適切な色を選択することができる。

また、ある実施形態によれば、複数の色の信頼度が予測モデルにより計算され、被写体の色の予測に関連する色ごとの信頼度に基づいて１つ以上の候補色が決定される。そのため、調整後の色の候補として尤もらしい選択肢をユーザに提供し、色の選択を的確かつ迅速にユーザが行うことを可能とすることができる。

また、ある実施形態によれば、赤外線画像と対応する調整後のカラー画像とを用いて予測モデルが動的に更新され得る。そのため、予測モデルを用いた赤外線画像の画素値からの被写体の色の予測の精度を徐々に向上させ、カラー画像の色をより一層自然なものとすることが可能である。

また、ある応用例によれば、予測色の信頼度が閾値を下回る画素については、カラー化がスキップされ又は予測色の彩度が引き下げられる。したがって、取得された赤外線画像から生成されるカラー画像が部分的に不自然な色を有することを、適応的に回避することができる。

また、ある実施形態によれば、画面上でユーザにより指定される画素位置を含むセグメントが対象領域として決定される。ゆえに、ユーザは、クリック又はタップなどの簡単な動作で所望のテクスチャを指定することにより、カラー画像内の色を調整すべき対象領域を容易に選択することが可能である。

また、ある応用例によれば、過去のフレームにおいて調整されたセグメント内の色は、後続するフレームにおいて維持される。そのため、一連のフレームにより構成される動画についてユーザが一度色調整情報を入力すれば、ユーザは、その後同じ被写体について繰り返し色調整情報を入力しなくてよい。従って、フレームごとに色調整情報をユーザに入力させる手間を省くことが可能である。

また、本開示の各実施形態に係る画像処理装置は、赤外線画像に基づいて生成されるカラー画像の色の調整に限定されない。例えば、本開示の各実施形態に係る画像処理装置は、赤外線画像以外の非カラー画像に基づいて生成されるカラー画像の色を、ユーザにより入力される色調整情報に従って調整してもよい。例えば、医療用の内視鏡又は顕微鏡における蛍光観察の画像は、蛍光物質の励起光を撮像した非カラー画像である。こうした蛍光画像がカラー化される場合にも、本開示に係る技術に従ってその画像の色が調整されてよい。

なお、本明細書において説明した各装置による一連の制御処理は、ソフトウェア、ハードウェア、及びソフトウェアとハードウェアとの組合せのいずれを用いて実現されてもよい。ソフトウェアを構成するプログラムは、例えば、各装置の内部又は外部に設けられる記憶媒体（非一時的な媒体：non-transitory media）に予め格納される。そして、各プログラムは、例えば、実行時にＲＡＭに読み込まれ、ＣＰＵなどのプロセッサにより実行される。

また、本明細書においてフローチャートを用いて説明した処理は、必ずしもフローチャートに示された順序で実行されなくてもよい。いくつかの処理ステップは、並列的に実行されてもよい。また、追加的な処理ステップが採用されてもよく、一部の処理ステップが省略されてもよい。

以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例又は修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。

また、本明細書に記載された効果は、あくまで説明的又は例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、又は上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。

なお、以下のような構成も本開示の技術的範囲に属する。
（１）
赤外線画像を取得する取得部と、
前記取得部により取得された前記赤外線画像に基づいてカラー画像を生成する生成部と、
前記生成部により生成された前記カラー画像の色をユーザにより入力される色調整情報に従って調整する調整部と、
を備える画像処理装置。
（２）
１つ以上の候補色を画面に表示させる制御部を備え、
前記色調整情報は、前記画面に表示される前記１つ以上の候補色から前記ユーザにより選択される選択色を示す選択色情報を含む、
前記（１）に記載の画像処理装置。
（３）
前記制御部は、色平面を前記画面に表示させ、前記色平面上の前記１つ以上の候補色を前記画面上で強調させる、前記（２）に記載の画像処理装置。
（４）
前記生成部は、前記赤外線画像の画素値から被写体の色を予測することにより前記カラー画像を生成し、
前記制御部は、前記生成部による前記予測に関連する色ごとの信頼度に基づいて、前記１つ以上の候補色を決定する、
前記（２）又は（３）に記載の画像処理装置。
（５）
前記色調整情報は、前記カラー画像内の色を調整すべき対象領域を指定する領域指定情報を含み、
前記調整部は、前記領域指定情報に基づいて前記対象領域を決定し、決定された前記対象領域内の色を調整する、
前記（１）から（４）のいずれか１項に記載の画像処理装置。
（６）
画像のテクスチャに基づいて、前記カラー画像を１つ以上のセグメントに分割する分割部、をさらに備え、
前記調整部は、前記領域指定情報に基づいて、前記１つ以上のセグメントのうちの少なくとも１つのセグメントを、前記対象領域として決定する、
前記（５）に記載の画像処理装置。
（７）
前記領域指定情報は、画面上で前記ユーザにより指定される画素位置を示し、
前記調整部は、前記領域指定情報により示される前記画素位置を含むセグメントを、前記対象領域として決定する、
前記（６）に記載の画像処理装置。
（８）
前記赤外線画像は、動画を構成する一連のフレームに含まれ、
前記分割部は、複数のフレームにわたって同じ被写体を映すセグメントを追跡し、
前記調整部は、過去のフレームの前記対象領域が映す被写体と同じ被写体を映す現在のフレーム内のセグメントを、前記現在のフレームの前記対象領域として決定する、
前記（７）に記載の画像処理装置。
（９）
前記領域指定情報は、画面上で前記ユーザにより指定される領域を示す、前記（５）又は（６）に記載の画像処理装置。
（１０）
前記生成部は、事前に学習される予測モデルを用いて前記赤外線画像の画素値から被写体の色を予測し、
前記信頼度は、前記予測モデルにより計算される、
前記（４）に記載の画像処理装置。
（１１）
前記制御部は、前記赤外線画像と前記調整部による調整後の前記カラー画像とを用いて、前記予測モデルを更新する、前記（１０）に記載の画像処理装置。
（１２）
前記生成部は、前記信頼度をそれぞれ伴う複数の色のうちで、前記信頼度の最も高い色を予測色として決定し、
前記制御部は、前記予測色を除いて前記信頼度の高い順に決定される前記１つ以上の候補色を前記画面に表示させる、
前記（１０）又は（１１）に記載の画像処理装置。
（１３）
前記生成部は、前記予測色の前記信頼度が閾値を下回る画素について、カラー化をスキップし又は前記予測色の彩度を引き下げる、前記（１２）に記載の画像処理装置。
（１４）
前記制御部は前記閾値を前記ユーザに設定させるためのユーザインタフェースを前記画面に表示させる、前記（１３）に記載の画像処理装置。
（１５）
画像処理装置により赤外線画像を取得することと、
取得された前記赤外線画像に基づいてカラー画像を生成することと、
生成された前記カラー画像の色をユーザにより入力される色調整情報に従って調整することと、
を含む画像処理方法。
（１６）
画像処理装置を制御するコンピュータを、
赤外線画像を取得する取得部と、
前記取得部により取得された前記赤外線画像に基づいてカラー画像を生成する生成部と、
前記生成部により生成された前記カラー画像の色をユーザにより入力される色調整情報に従って調整する調整部と、
として機能させるためのプログラム。

１、２ 画像処理装置
１０２ 赤外線カメラ
１０４ 可視光線カメラ
１０６ 入力インタフェース
１０８ メモリ
１１０ ディスプレイ
１１２ 通信インタフェース
１１４ ストレージ
１１６ プロセッサ
１１８ バス
１５２ 取得部
１５４ 生成部
１５６ 記憶部
１５８ 制御部
１６０、２６０ 調整部
２８０ 分割部

Claims (14)

1. 赤外線画像を取得する取得部と、
   前記取得部により取得された前記赤外線画像に基づいてカラー画像を生成する生成部と、
   前記生成部により生成された前記カラー画像の色をユーザにより入力される色調整情報に従って調整する調整部と、
   １つ以上の候補色を画面に表示させる制御部と、を備え、
   前記色調整情報は、前記画面に表示される前記１つ以上の候補色から前記ユーザにより選択される選択色を示す選択色情報を含み、
   前記生成部は、前記赤外線画像の画素値から被写体の色を予測することにより前記カラー画像を生成し、
   前記制御部は、前記生成部による前記予測に関連する色ごとの信頼度に基づいて、前記１つ以上の候補色を決定する、
   画像処理装置。
2. 前記制御部は、色平面を前記画面に表示させ、前記色平面上の前記１つ以上の候補色を前記画面上で強調させる、請求項１に記載の画像処理装置。
3. 前記色調整情報は、前記カラー画像内の色を調整すべき対象領域を指定する領域指定情報を含み、
   前記調整部は、前記領域指定情報に基づいて前記対象領域を決定し、決定された前記対象領域内の色を調整する、
   請求項１又は２に記載の画像処理装置。
4. 画像のテクスチャに基づいて、前記カラー画像を１つ以上のセグメントに分割する分割部、をさらに備え、
   前記調整部は、前記領域指定情報に基づいて、前記１つ以上のセグメントのうちの少なくとも１つのセグメントを、前記対象領域として決定する、
   請求項３に記載の画像処理装置。
5. 前記領域指定情報は、画面上で前記ユーザにより指定される画素位置を示し、
   前記調整部は、前記領域指定情報により示される前記画素位置を含むセグメントを、前記対象領域として決定する、
   請求項４に記載の画像処理装置。
6. 前記赤外線画像は、動画を構成する一連のフレームに含まれ、
   前記分割部は、複数のフレームにわたって同じ被写体を映すセグメントを追跡し、
   前記調整部は、過去のフレームの前記対象領域が映す被写体と同じ被写体を映す現在のフレーム内のセグメントを、前記現在のフレームの前記対象領域として決定する、
   請求項５に記載の画像処理装置。
7. 前記領域指定情報は、画面上で前記ユーザにより指定される領域を示す、請求項３又は４に記載の画像処理装置。
8. 前記生成部は、事前に学習される予測モデルを用いて前記赤外線画像の画素値から被写体の色を予測し、
   前記信頼度は、前記予測モデルにより計算される、
   請求項１から７のいずれか一項に記載の画像処理装置。
9. 前記制御部は、前記赤外線画像と前記調整部による調整後の前記カラー画像とを用いて、前記予測モデルを更新する、請求項８に記載の画像処理装置。
10. 前記生成部は、前記信頼度をそれぞれ伴う複数の色のうちで、前記信頼度の最も高い色を予測色として決定し、
    前記制御部は、前記予測色を除いて前記信頼度の高い順に決定される前記１つ以上の候補色を前記画面に表示させる、
    請求項８又は９に記載の画像処理装置。
11. 前記生成部は、前記予測色の前記信頼度が閾値を下回る画素について、カラー化をスキップし又は前記予測色の彩度を引き下げる、請求項１０に記載の画像処理装置。
12. 前記制御部は前記閾値を前記ユーザに設定させるためのユーザインタフェースを前記画面に表示させる、請求項１１に記載の画像処理装置。
13. 画像処理装置により赤外線画像を取得することと、
    取得された前記赤外線画像に基づいてカラー画像を生成することと、
    生成された前記カラー画像の色をユーザにより入力される色調整情報に従って調整することと、
    １つ以上の候補色を画面に表示させることと、
    を含み、
    前記色調整情報は、前記画面に表示される前記１つ以上の候補色から前記ユーザにより選択される選択色を示す選択色情報を含み、
    前記赤外線画像の画素値から被写体の色を予測することにより前記カラー画像を生成し、
    前記予測に関連する色ごとの信頼度に基づいて、前記１つ以上の候補色を決定する、
    画像処理方法。
14. 画像処理装置を制御するコンピュータを、
    赤外線画像を取得する取得部と、
    前記取得部により取得された前記赤外線画像に基づいてカラー画像を生成する生成部と、
    前記生成部により生成された前記カラー画像の色をユーザにより入力される色調整情報に従って調整する調整部と、
    １つ以上の候補色を画面に表示させる制御部と、
    として機能させるためのプログラムであって、
    前記色調整情報は、前記画面に表示される前記１つ以上の候補色から前記ユーザにより選択される選択色を示す選択色情報を含み、
    前記生成部は、前記赤外線画像の画素値から被写体の色を予測することにより前記カラー画像を生成し、
    前記制御部は、前記生成部による前記予測に関連する色ごとの信頼度に基づいて、前記１つ以上の候補色を決定する、
    プログラム。

Images