JP6368593B2 - 画像処理プログラム、情報処理システム、画像処理方法 - Google Patents

Description

本発明は、赤外線画像を処理可能な画像処理プログラム、情報処理システム、および画像処理方法に関する。

特開２０１３−０８０４１３号公報（特許文献１）は、ユーザのジェスチャ等による操作入力を検知する入力装置において簡易な処理で精度の高い入力認識を行なうようにする構成を開示する。

特開２０１３−０８０４１３号公報

上記先行技術文献に示される構成は、赤外線カメラで順次撮像されるそれぞれの温度分布画像について、肌温度画像部を検出し、これらの検出された肌温度画像部に基づいて、操作入力を認識する。この構成では、温度分布画像のみに依存するため、温度分布画像に誤差要因が含まれていた場合に、それらを除外する処理が煩雑化する。

上記の課題は、例えば、以下のような構成により達成される。
ある実施の形態の画像処理プログラムは、コンピュータを、被写体からの赤外線の情報を主として含む赤外線画像と、被写体からの赤外線とは異なる波長の光の情報を主として含む非赤外線画像とを取得する画像取得手段と、非赤外線画像の特徴量に基づいて、赤外線画像を補正する補正手段として機能させる。

好ましくは、非赤外線画像の特徴量は、赤外線画像からは得られない特徴量である。
好ましくは、非赤外線画像は、ＲＧＢ画像を含む。

さらに好ましくは、補正手段は、ＲＧＢ画像から被写体の肌色領域を特定し、当該肌色領域に基づいて、赤外線画像を補正する。

好ましくは、画像取得手段は、ＩＲフィルタを含むベイヤー配列の撮像素子から赤外線画像および非赤外線画像を取得する。

好ましくは、補正手段は、赤外線画像に含まれる被写体を示す有効な情報を選択的に用いる。

さらに好ましくは、補正手段は、赤外線画像の被写体が存在する領域以外を無視する。
あるいはさらに好ましくは、補正手段は、赤外線画像の被写体が存在する領域だけを抽出する。

好ましくは、補正手段は、非赤外線画像に含まれる被写体の形状を特定する形状特定手段を含み、特定された形状における特徴量に基づいて、赤外線画像を補正する。

好ましくは、補正手段は、非赤外線画像を２値化することにより特徴量を得る。
好ましくは、補正手段は、２値化された非赤外線画像の各画素値を赤外線画像の各画素値に乗じる。

好ましくは、画像処理プログラムは、コンピュータをさらに、補正手段により補正された赤外線画像の情報を、補正前の赤外線画像または非赤外線画像に反映する反映手段として機能させる。

ある実施の形態の情報処理システムは、被写体の赤外光と、被写体からの赤外線とは異なる波長の光とを撮像する撮像部と、撮像部の撮像により得られる非赤外線画像の特徴量に基づいて、撮像部の撮像により得られる赤外線画像を補正する処理部とを含む。

ある実施の形態の情報処理システムは、被写体からの赤外線の情報を主として含む赤外線画像と、被写体からの赤外線とは異なる波長の光の情報を主として含む非赤外線画像とを取得する画像取得手段と、非赤外線画像の特徴量に基づいて、赤外線画像を補正する補正手段とを含む。

ある実施の形態の画像処理方法は、被写体からの赤外線の情報を主として含む赤外線画像と、被写体からの赤外線とは異なる波長の光の情報を主として含む非赤外線画像とを取得するステップと、非赤外線画像の特徴量に基づいて、赤外線画像を補正するステップとを含む。

本実施の形態によれば、赤外線画像を非赤外線画像の特徴量に基づいて補正するため、赤外線画像のみの情報を用いる場合に比較して、ノイズ耐性などを高めることができる。

本実施の形態の画像処理プログラムの適用例を示す模式図である。 本実施の形態の情報処理装置の構成例を示す模式図である。 本実施の形態の画像処理プログラムにより実行される位置決定処理の概要を説明するための図である。 本実施の形態の画像処理プログラムにより実行される位置決定処理の概要を説明するための図である。 本実施の形態の画像処理プログラムにより提供される位置決定処理の処理手順を示すフローチャートである。 本実施の形態の情報処理装置の撮像部のいくつかの構成例を示す模式図である。 本実施の形態の情報処理装置の赤外線の投光機能を搭載した撮像部の構成例を示す模式図である。 撮像条件を一定とした場合の撮像部からオブジェクトまでの距離と撮像部で検出される赤外線の明るさとの関係を示す図である。 所定領域の明るさと所定領域の大きさとの関係を示す図である。 本実施の形態の情報処理装置が提供するキャリブレーションのためのユーザインターフェイスの一例を示す図である。 本実施の形態の絶対位置の算出処理の一例を説明するための図である。 本実施の形態の赤外線画像の補正処理の一例を説明するための図である。 肌色領域の特定処理の一例を説明するための図である。 本実施の形態の画像処理プログラムにより提供される赤外線画像の補正処理の処理手順を示すフローチャートである。

本実施の形態について、図面を参照しながら詳細に説明する。なお、図中の同一または相当部分については、同一符号を付してその説明は繰返さない。

＜Ａ．適用例＞
まず、本実施の形態の画像処理プログラムの適用例について説明する。図１は、本実施の形態の画像処理プログラムの適用例を示す模式図である。図１を参照して、本実施の形態の画像処理プログラムは、情報処理装置１において実行され、被写体を撮像して得られた画像に対して後述するような処理を実行することで、当該被写体の位置を決定する。本実施の形態においては、被写体からの赤外線の情報を主として含む赤外線画像（以下、「ＩＲ（Infrared）画像」と記す場合がある。）が取得され、その赤外線画像に対して処理が実行される。本明細書において、赤外線画像は、被写体で反射されて生じる赤外線、および被写体自体が発生する赤外線の少なくともいずれかの情報を含む。さらに、主として赤外線の情報を含むものであればよく、赤外線の情報とともに可視光線の情報を含む画像を排除するものではない。

適用例の一つとして、図１に示すように、被写体としてユーザの体の一部（例えば、手や指）を撮像するとともに、そのユーザの体の一部について、その位置を所定周期またはイベント毎に決定する。決定される位置としては、予め定められた位置を基準とした被写体の相対位置であってもよいし、情報処理装置１（厳密には、撮像部４）からの絶対位置であってもよい。

情報処理装置１の典型例としては、携帯型の情報処理装置（図１には、スマートフォンの例を示す）に加えて、据置型の情報処理装置（例えば、パーソナルコンピュータやテレビジョン装置）、カメラなどが挙げられる。情報処理装置１は、被写体の赤外光を撮像する撮像部４を含む。撮像部４は、赤外線画像に加えて、非赤外線画像を取得可能であってもよい。さらに、後述するような各種処理を実行する処理部と撮像部４とを独立した筐体として構成し、両者を組み合わせることで情報処理システムとして実装することもできる。

非赤外線画像とは、被写体からの赤外線とは異なる波長の光の情報を主として含む画像を意味し、典型的には、被写体からの可視光線の情報を主として含む可視光画像が挙げられる。可視光画像は、ＲＧＢ画像、グレイスケール画像、２値化（モノクロ）画像として出力されてもよい。非赤外線画像として、被写体からの紫外線の情報を主として含む紫外線画像が用いられてもよい。

図１に示す情報処理装置１は、ディスプレイ２が実装されており、決定された被写体の位置の情報や、当該決定された位置を用いたアプリケーションの実行状態が表示される。決定された位置は、ユーザのジェスチャを示す情報として入力されてもよいし、決定された位置をそのまま入力値としてゲーム処理などに用いられてもよい。

＜Ｂ．構成例＞
次に、情報処理装置１の構成例について説明する。図２は、本実施の形態の情報処理装置１の構成例を示す模式図である。図２を参照して、情報処理装置１は、典型的なコンポーネントとして、ディスプレイ２と、撮像部４と、入力部６と、通信部８と、ＣＰＵ（Central Processing Unit）１０と、ＤＲＡＭ（Dynamic Random Access Memory）１２と、フラッシュメモリ１４とを含む。

撮像部４は、被写体からの光を受光して、当該被写体を示す画像を出力する。本実施の形態においては、撮像部４は、被写体の赤外線画像を出力する。赤外線画像は、被写体からの赤外線の情報を主として含む。加えて、撮像部４は、被写体からの赤外線とは異なる波長の光の情報を主として含む非赤外線画像を出力するようにしてもよい。すなわち、被写体の赤外光と、当該被写体からの赤外線とは異なる波長の光とを撮像する撮像部４を採用してもよい。

ディスプレイ２は、各種情報をユーザに通知するデバイスであり、ＬＣＤ（Liquid Crystal Display）や有機ＥＬ（ElectroLuminescence）ディスプレイなどを用いて実装される。

入力部６は、ユーザなどからの指示や操作を受付けるデバイスであり、情報処理装置１の筐体に設けられる各種ボタンやスイッチとして実装されてもよいし、ディスプレイ２と一体的に配置されるタッチパネルとして実装されてもよい。

通信部８は、他の装置との通信を仲介するデバイスであり、ＬＴＥ（Long Term Evolution）や３Ｇ（third generation）といったモバイル通信コンポーネントや、ＩＥＥＥ８０２．１１ｎの規格に準拠した無線ＬＡＮ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＩＲＤＡ（Infrared Data Association）などの近距離通信コンポーネントなどを用いて実装される。

ＣＰＵ１０は、各種プログラムを実行するプロセッサの一例であり、処理部の主たる部分を構成する。ＤＲＡＭ１２は、ＣＰＵ１０が各種プログラムを実行するために必要なデータを一次的に保持するワーキングメモリとして機能する。フラッシュメモリ１４は、各種データを不揮発的に保持する記憶デバイスであり、典型的には、画像処理プログラム１６および各種のアプリケーションプログラム１８を格納する。これらのプログラムは、読み出されてＤＲＡＭ１２に展開された上で、ＣＰＵ１０により実行される。

情報処理装置１を構成するハードウェアおよびソフトウェアは、図２に示すものに限定されない。例えば、情報処理装置１の機能の全部または一部を、外部サーバ装置が有していてもよい。すなわち、単一の情報処理装置１に代えて、端末と１つ以上のサーバとからなる情報処理システムが用いられてもよい。この場合、情報処理システムの各手段は、端末のプロセッサによる処理、外部サーバ装置のプロセッサによる処理、または、端末のプロセッサと外部サーバ装置のプロセッサとによる協働処理により実現される。処理の分担は当業者の技術常識により適宜設計することができる。

情報処理装置１において実行される画像処理プログラム１６は、記憶媒体により提供されるものに限定されず、インターネット等のネットワークを介したダウンロードにより提供されてもよい。

＜Ｃ．位置決定処理の概要＞
次に、本実施の形態の画像処理プログラムにより実行される位置決定処理の概要について説明する。本実施の形態の位置決定処理は、取得された赤外線画像に含まれる被写体を示す画像（representation）の情報から、当該被写体（の注目する部分）の位置を決定する。位置を決定する対象となる被写体のする部分（現実の物体）を、以下では「オブジェクト」と称し、赤外線画像内の「オブジェクト」に対応する領域を「オブジェクト領域」と称す。

撮像部４でオブジェクトを撮像して得られる赤外線画像内のオブジェクト領域の明るさ（照度）および大きさは、以下のようなファクターとの間に相関関係を有する。より具体的には、オブジェクト領域の明るさは、以下のファクターに比例する。

・被写体に照射される赤外線の明るさ（照度／強度）
・撮像部の露光時間
・オブジェクトの表面反射率
・（撮像部４からオブジェクトまでの距離）^−２
また、オブジェクト領域の大きさ（サイズ）は、撮像部４からオブジェクトまでの距離に反比例する。

本実施の形態の位置決定処理は、このような物理的関係性を利用して、赤外線画像内における被写体の所定領域の明るさおよび大きさに基づいて、赤外線画像に含まれるオブジェクト（被写体）の位置を決定する。所定領域は、オブジェクトを表現する領域（すなわち、オブジェクト領域）の少なくとも一部を含む領域に相当し、被写体（オブジェクト）が固有に有する形状の少なくとも一部に基づいて特定することができる。

本実施の形態においては、被写体からの赤外線の情報を主として含む赤外線画像を用いることで、被写体からの可視光線の情報を主として含む可視光画像を用いる場合に比較して、より高い精度で位置を決定することができる。

図３および図４は、本実施の形態の画像処理プログラムにより実行される位置決定処理の概要を説明するための図である。図３および図４には、一例として、ユーザの手をオブジェクトとした場合に取得される赤外線画像の例を示す。図３に示すように、撮像部４からオブジェクトまでの距離が相対的に近い場合には、赤外線画像内のオブジェクト領域は相対的に明るくなり（照度が高くなり）、かつその範囲は相対的に大きく（広く）なる。これに対して、撮像部４からオブジェクトまでの距離が相対的に遠い場合には、赤外線画像内のオブジェクト領域は相対的に暗くなり（照度が低くなり）、かつその範囲は相対的に小さく（狭く）なる。

このような赤外線画像に現れるオブジェクト領域の明るさ（照度／強度）と大きさ（サイズ）とに基づいて、オブジェクトが予め定められた位置を基準として、近付いたか、あるいは遠くなったかを判断する。以下では、典型例として、基準状態において位置決めされたオブジェクト（被写体）の位置（基準位置）を基準として、撮像部４とオブジェクトとの間の距離（相対距離）を算出する方法について説明する。

図４には、オブジェクトが基準状態にあるときに撮像された赤外線画像の一例を示す図である。図４を参照して、ユーザにその手を通常の操作で使用するであろう位置に配置してもらうとともに、何らかのトリガーを受けて、赤外線画像を取得する。このトリガーとしては、ユーザが直接入力するようにしてもよいし、赤外線画像を繰返し取得するとともに、何らかの画像処理を行なって、その結果が予め定められた条件を満たしたことをトリガーとしてもよい。

基準状態における赤外線画像が取得されると、その赤外線画像からオブジェクト領域（図４の例では、手の輪郭）が特定される。当該特定されたオブジェクト領域に応じて所定領域３０が設定される。所定領域３０に含まれるそれぞれの画素の照度から、基準位置における照度の代表値（初期値）が決定される。所定領域３０に含まれる全画素の照度の平均値を、代表値（初期値）として算出することができる。代表値の算出において、所定領域３０に含まれる照度の異常値を除外してもよい。

図４に示すような処理を含む、基準位置およびそれに関連する初期情報（例えば、代表値）を取得する手順を、以下では「キャリブレーション」とも称す。

例えば、図４に示す赤外線画像３２内の所定領域３０について、撮像部４からオブジェクトまでの距離を「１」と設定する。このとき、算出された明るさの平均値が「１００」であり、所定領域３０の大きさ（サイズ）が「１００×１００」画素であるとする。

図３に示す赤外線画像３４（近い場合）は、赤外線画像３２（図４）の撮像時における撮像部４からオブジェクトまでの距離に対して「０．７」倍の距離にある位置に手を配置した場合に得られた赤外線画像であり、このとき、所定領域３０の大きさ（サイズ）は「１６０×１６０」画素と算出され、明るさの平均値は「２０４」と算出された。

一方、図３に示す赤外線画像３６（遠い場合）は、赤外線画像３２（図４）の撮像時における撮像部４からオブジェクトまでの距離に対して「２．０」倍の距離にある位置に手を配置した場合に得られた赤外線画像であり、このとき、所定領域３０の大きさ（サイズ）は「６０×６０」画素と算出され、明るさの平均値は「２５」と算出された。

図５は、本実施の形態の画像処理プログラムにより提供される位置決定処理の処理手順を示すフローチャートである。図５に示す各ステップは、典型的には、ＣＰＵ１０が画像処理プログラム１６（図２）を実行することで実現される。

図５を参照して、まず、ステップＳ２〜Ｓ１０に示されるキャリブレーションが実行される。具体的には、ＣＰＵ１０は、被写体の赤外線画像を取得する（ステップＳ２）。このとき、位置決定の対象となるオブジェクト（被写体）は、基準状態にあるとする。赤外線画像の取得は、ＣＰＵ１０が撮像部４（図２）に指令を与えることで実現される。

続いて、ＣＰＵ１０は、赤外線画像からオブジェクト領域（被写体の領域）を特定し（ステップＳ４）、当該特定したオブジェクト領域に応じて所定領域を設定する（ステップＳ６）。ＣＰＵ１０は、特定した所定領域に含まれる各画素の照度から、照度の代表値を算出する（ステップＳ８）。この照度の代表値が基準位置における照度の初期値として格納される。そして、ＣＰＵ１０は、算出した照度の代表値（所定領域の明るさ）および所定領域の大きさをキャリブレーションの結果として格納する（ステップＳ１０）。

キャリブレーションでは、オブジェクト（被写体）の基準状態における位置（基準位置）に対応する所定領域の明るさおよび大きさが決定され、この基準状態における位置を基準として、オブジェクトの相対位置が順次決定される。すなわち、以下のような手順に従って、ＣＰＵ１０は、赤外線画像内の所定領域の明るさおよび大きさに基づいて、赤外線画像に含まれる被写体の位置を決定する。

具体的には、ＣＰＵ１０は、新たな赤外線画像を取得する（ステップＳ１２）。そして、ＣＰＵ１０は、新たに赤外線画像からオブジェクト領域（被写体の領域）を特定し（ステップＳ１４）、当該特定したオブジェクト領域に応じて所定領域を設定する（ステップＳ１６）。続いて、ＣＰＵ１０は、ステップＳ１６において特定した所定領域に含まれる各画素の照度から、所定領域の照度の代表値（所定領域の明るさ）を算出し（ステップＳ１８）、算出された所定領域の明るさおよび大きさが所定の条件を満たしているか否かを判断する（ステップＳ２０）。

所定領域の明るさおよび大きさが所定の条件を満たしている場合（ステップＳ２０においてＹＥＳの場合）には、ＣＰＵ１０は、キャリブレーションにおいて取得された所定領域の明るさに基づいて、算出された所定領域の明るさからオブジェクトの位置を決定する（ステップＳ２２）。続いて、ＣＰＵ１０は、決定されたオブジェクトの位置に応じて、予め定められた後処理を実行する（ステップＳ２４）。すなわち、情報処理装置１の位置決定機能は、所定領域の明るさと所定領域の大きさとが所定の関係を満たしているときに、オブジェクト（被写体）の位置を決定する。

これに対して、所定領域の明るさおよび大きさが所定の条件を満たしていない場合（ステップＳ２０においてＮＯの場合）には、ＣＰＵ１０は、エラー処理を実行する（ステップＳ２６）。

ＣＰＵ１０は、位置決定処理の終了が指示されているか否かを判断する（ステップＳ２８）。位置決定処理の終了が指示されていない場合（ステップＳ２８においてＮＯの場合）には、ステップＳ１２以下の処理が繰返される。これに対して、位置決定処理の終了が指示されている場合（ステップＳ２８においてＹＥＳの場合）には、位置決定処理は終了する。

＜Ｄ．赤外線画像の取得処理および取得機構＞
次に、赤外線画像を取得する処理およびそれに用いられる機構について説明する。

（ｄ１：撮像素子）
図６は、本実施の形態の情報処理装置１の撮像部４のいくつかの構成例を示す模式図である。図６（ａ）には、ＩＲフィルタを含むベイヤー配列の撮像素子を用いた構成例を示し、図６（ｂ）には、赤外線画像（ＩＲ画像）および非赤外線画像（ＲＧＢ画像）をそれぞれ生成する撮像素子を個別に設けた構成例を示す図である。

図６（ａ）に示す撮像素子は、一般的なベイヤー配列の撮像素子において、４つのカラーフィルター（Ｒ＋Ｇ×２＋Ｂ）のうち、１つのＧフィルタをＩＲフィルタに置換したものである。ＩＲフィルタは、赤外線に対して透過特性を有しており、被写体からの赤外線は、ＩＲフィルタに関連付けられた検出素子に入射し、その照度が検出される。また、Ｒ，Ｇ，Ｂの各フィルタに関連付けられたそれぞれの検出素子は、被写体からの可視光線の照度を検出する。ＩＲフィルタに関連付けられたそれぞれの検出素子からの情報に基づいてＩＲ画像が生成され、Ｒ，Ｇ，Ｂの各フィルタに関連付けられたそれぞれの検出素子からの情報に基づいてＲＧＢ画像が生成される。

すなわち、図６（ａ）に示す構成例においては、情報処理装置１は、ＩＲフィルタを含むベイヤー配列の撮像素子から赤外線画像および非赤外線画像を取得する。

一方、図６（ｂ）に示す構成例では、複眼式の光学系が用いられる。すなわち、被写体からの反射光は、レンズ４１および４２を通じて、それぞれ撮像素子４３および４４へ導かれる。撮像素子４３には、図示しないＩＲフィルタが関連付けられており、撮像素子４４には、図示しないカラー（ＲＧＢ）フィルタが関連付けられているとする。これによって、撮像素子４３は、赤外線画像（ＩＲ画像）を生成し、撮像素子４４は、非赤外線画像（ＲＧＢ画像）を生成する。

別の構成例として、Ｒ，Ｇ，Ｂ毎に独立した撮像素子を配置する構成を採用してもよい。この場合には、Ｒ，Ｇ，Ｂ，ＩＲの合計４つの撮像素子が配置される。なお、レンズを共通化して、複数の撮像素子が配置してもよい。

上述したいずれかの構成を採用することで、同一の被写体から赤外線画像および非赤外線画像（典型的には、ＲＧＢ画像）を同時に取得できる。

（ｄ２：赤外線の投光機能）
次に、赤外線の投光機能について説明する。赤外線画像は、主として、被写体からの赤外線の情報から生成されるが、一般的な使用環境において、被写体に入射する赤外線の量が十分でないことも多い。そのため、撮像部４の機能として、赤外線の投光機能を搭載することが好ましい。すなわち、情報処理装置１の画像取得機能としては、被写体に赤外線を照射しつつ撮像される赤外線画像を取得することが好ましい。

図７は、本実施の形態の情報処理装置１の赤外線の投光機能を搭載した撮像部４の構成例を示す模式図である。図７を参照して、被写体からの光を撮像素子４３へ導くレンズ４１に加えて、被写体に対して赤外線を照射する照射部４５が設けられている。照射部４５は、赤外線ＬＥＤや赤外線ランプなどの赤外線の発生部を有しており、発生した赤外線を被写体に向けて照射する。撮像素子４３による露光タイミングと、照射部４５による発光タイミングとは、同期されている。

このような投光機能を搭載すること撮像条件を安定化できるので、オブジェクトの位置の決定精度を高めることができる。

なお、照射部４５は、赤外線だけではなく、一般的なフラッシュと同様の機能が付加されていてもよい。つまり、照射部４５は、赤外線および可視光線を同時に被写体に照射するように構成されていてもよい。

（ｄ３：撮像部からオブジェクトまでの距離に依存した制御）
図８は、撮像条件を一定とした場合の撮像部４からオブジェクトまでの距離と撮像部４で検出される赤外線の明るさとの関係を示す図である。なお、距離および明るさの単位は任意単位である。上述したように、赤外線画像内のオブジェクト領域の明るさは、（撮像部４からオブジェクトまでの距離）の二乗に反比例するので、図８に示すように、オブジェクトが撮像部４から離れるに従って、撮像部４で検出される赤外線の明るさは漸減する。また、検出される明るさの単位当たりの変化に相当する距離変化は、距離が大きくなるほど大きくなる。これは、オブジェクトが撮像部４から離れるに従って、距離の算出感度（すなわち、分解能）が低下することを意味する。図８に示す特性例においては、距離が２０未満である場合には、０．５程度の分解能があり、距離が２０〜４０である場合には、１程度の分解能があるが、距離が４０以上である場合には、２．５程度の分解能しか得られない。

また、撮像部４での赤外線の明るさの検出可能範囲は、有限の階調値（典型的には、０〜２５５階調）に制限されるので、撮像部４での露光時間（シャタースピード）、ならびに、照射部４５から照射する赤外線の明るさおよび／または時間を、撮像部４からオブジェクトまでの距離に依存して変化させることが好ましい。例えば、公知の自動露光（ＡＥ：Auto Exposure）機能を用いることができる。

より具体的には、情報処理装置１の画像取得機能（ＣＰＵ１０）は、被写体までの距離が遠くなるほど、より強い赤外線を照射するように照射部４５に制御指令を与える。つまり、撮像部４からオブジェクトまでの距離が相対的に遠い場合には、撮像部４に入射する赤外線の明るさが相対的に小さくなるので、より強い赤外線を照射する。

また、情報処理装置１の画像取得機能（ＣＰＵ１０）は、被写体までの距離が長くなるほど、赤外線画像を取得するための撮像部の露光時間が長くなるように制御指令を与える。つまり、撮像部４からオブジェクトまでの距離が相対的に遠い場合には、撮像部４に入射する赤外線の明るさが相対的に小さくなるので、より長い時間にわたって赤外線が入射するように撮像部４での露光時間を制御する。

なお、撮像部４からオブジェクトまでの距離は、過去のオブジェクトの距離の決定結果を用いて判断することができる。典型的には、１つ前の演算周期において決定された距離を用いて、撮像条件（赤外線の照射時間／照射強度および露光時間）を決定してもよい。

（ｄ４：撮像部４の露光方法）
撮像部４の露光方法としては、ローリングシャッター方式およびグローバルシャッター方式のいずれを用いてもよい。ローリングシャッター方式は、順次走査であるため、消費電力が相対的に少なく、携帯型の情報処理装置に好適である。一方、グローバルシャッター方式は、露光時間が相対的に短いので、動きの激しい被写体をより適切に撮像することができる。

＜Ｅ．位置決定処理の詳細＞
（ｅ１：オブジェクト領域（被写体の領域）の特定（ステップＳ４，Ｓ１４））
オブジェクト領域の特定方法としては、例えば、赤外線画像内の照度分布の特徴点（例えば、照度が大きく変化するエッジ点）などから外形を抽出する方法、赤外線画像に含まれる他の特徴量に基づいて領域または外形を抽出する方法、および被写体（オブジェクト）が固有に有する形状の少なくとも一部に基づいて抽出する方法などを用いることができる。

上述の図３および図４に示す例では、手（手のひら）をオブジェクトとしているので、手が有する固有の形状（例えば、５本の指をそれぞれ示す部分など）を探索することで、オブジェクト領域を特定することができる。すなわち、赤外線画像内の特徴量から手の輪郭（または、外形）を特定することができる。

（ｅ２：オブジェクト領域に応じた所定領域の設定（ステップＳ６，Ｓ１６））
特定された手に対応するオブジェクト領域に応じて、所定領域が設定される。所定領域としては、矩形に限られることなく、特徴量を示す外形（オブジェクト領域）をそのまま用いてもよいし、オブジェクトの形状が既知である場合には、その既知の形状に相似な形状を用いてもよい。さらに、オブジェクト領域外の領域を含むように所定領域を設定してもよい。

図３および図４に示す例では、ユーザの手のひらに相当する領域を所定領域３０として設定することが好ましい。すなわち、ユーザの手の指を所定領域３０から除外することが好ましい。手の指は、時間的な動きが比較的大きく、算出される照度が安定しないため、これらを除外することが好ましい。また、被写体から反射される赤外線の明るさは、被写体表面の反射率に依存することになるが、手の指は、動くため反射率が比較的大きく変化することも、位置決定に用いるには不適である。そのため、位置決定の精度を高めるためには、このような動きの激しい部分を除外することが好ましい。

（ｅ３：所定領域の明るさおよび所定領域の大きさの妥当性（ステップＳ２０））
本実施の形態の位置決定処理においては、基本的には、所定領域に含まれる画素の照度から算出される代表値に基づいて、オブジェクトの位置が決定される。この際、赤外線画像に注目するオブジェクト以外の物体が写っているような場合もあり、このような物体により生じる部分画像によって位置を誤って決定する可能性もある。そのため、以下のような条件を用いて、このような誤った位置の決定を回避する。なお、以下の条件のすべてを用いてもよいし、一部のみを用いてもよい。

（１）所定領域の明るさと所定領域の大きさとが所定の関係を満たすこと
一つの条件として、所定領域の明るさと所定領域の大きさとが所定の関係を満たしているか否かを判断し、所定の関係を満たしているときに、所定領域の明るさに基づいて、被写体の位置を決定するようにしてもよい。

上述したように、オブジェクト領域の明るさは、撮像部４からオブジェクトまでの距離の二乗に反比例し、オブジェクト領域の大きさは、撮像部４からオブジェクトまでの距離に反比例する。そのため、本来的に、オブジェクト領域に応じて設定される所定領域の明るさと所定領域の大きさとは、所定の関係を維持する。

図９は、所定領域の明るさと所定領域の大きさとの関係を示す図である。図９（ａ）には、撮像部４からオブジェクトが離れる状態を適切に検出できた場合の結果を概念的に示し、図９（ｂ）には、撮像部４からオブジェクトが離れる状態を適切に検出できなかった場合の結果を概念的に示す。

図９（ａ）に示すように、撮像部４からオブジェクトが離れる場合には、所定領域の明るさおよび所定領域の大きさは、いずれも減少することになる。一方、オブジェクトが撮像部４に近付く場合には、所定領域の明るさおよび所定領域の大きさは、いずれも増加することになる。一方で、赤外線画像に何らかの誤差要因が生じると、図９（ｂ）に示すように、本来の変化とは異なる変化が検出される。

このような所定領域の明るさと所定領域の大きさとの関係を利用して、適切な検出ができているか否かを判断することが好ましい。

より具体的には、所定領域の明るさの時間的変化と、所定領域の大きさの時間的変化とが所定の関係が維持されているか否かを判断して、所定の関係が維持されているときに、オブジェクトの位置を決定してもよい。すなわち、所定領域の明るさの変化方向（増加／減少）と、所定領域の大きさの時間的変化（増加／減少）とが互いに一致しているか否かを判断し、一致していれば、適切に検出されているとして、オブジェクトの位置を算出する。言い換えれば、所定領域の明るさの時間的変化と、所定領域の大きさの時間的変化との間の符号（変化方向）の一致／不一致に基づいて、適切な検出ができているか否かを判断することができる。

あるいは、所定領域の輝度の時間的変化の大きさと、所定領域の大きさの時間的変化の大きさとが所定の関係を維持されているか否かを判断して、所定の関係が維持されているときに、オブジェクトの位置を決定してもよい。すなわち、所定領域の明るさの単位時間当たりの変化量（増加分／減少分）と、所定領域の大きさの単位時間当たりの変化量（増加分／減少分）との比が所定の範囲内にあるか否かを判断し、所定の範囲内にあれば、適切に検出されているとして、オブジェクトの位置を算出する。つまり、所定領域の明るさの単位時間当たりの変化量と、所定領域の大きさの単位時間当たりの変化量との間の値の乖離状態に基づいて、適切な検出ができているか否かを判断することができる。

（２）所定領域の大きさが所定条件を満たすこと
上述のような所定領域の明るさと所定領域の大きさとの相対的な関係に着目する方法に代えて／加えて、所定領域の大きさそのものが所定の条件を満たしているか否かを判断し、所定の条件を満たしているときに、所定領域の明るさに基づいて、被写体の位置を決定するようにしてもよい。

より具体的には、キャリブレーションにおいて取得された所定領域の大きさ（基準値）に比較して、検出された所定領域の大きさが大きすぎたり、小さすぎたりしていないかを判断することで、適切な検出ができているか否かを判断できる。すなわち、キャリブレーションにおいて取得された所定領域の大きさ（基準値）に対して、検出された所定領域の大きさの比または差が所定の範囲内にあるか否かを判断し、所定の範囲内にある場合に限って、適切に検出されているとして、オブジェクトの位置を算出してもよい。

（ｅ４：距離算出および平面上の位置（ステップＳ２２））
所定領域の明るさは、撮像部４からオブジェクトまでの距離の二乗に反比例するので、ある時点で所定領域の明るさがＢであると算出されると、そのときの撮像部４とオブジェクトとの間の距離Ｌは、以下のように示すことができる。

Ｌ＝Ｌ０×√（Ｂ０／Ｂ）
但し、Ｌ０は、キャリブレーションによって取得された撮像部４とオブジェクトとの間の距離であり、Ｂ０は、キャリブレーションによって取得された所定領域の明るさである。

ここで、Ｌ０＝１とすれば、キャリブレーションによって取得された所定領域の明るさＢ０を用いて、撮像部４とオブジェクトとの間の相対距離を算出できる。この相対距離は、撮像部４の撮像方向（カメラ方向：ｚ方向）における奥行位置を示す。また、赤外線画像内の所定領域が存在する位置は、撮像部４の撮像方向と直交する面上の位置（ｘ座標およびｙ座標）を示す。このように、本実施の形態においては、所定領域の明るさおよび大きさに基づいて、赤外線画像の取得先である撮像部４の撮像方向におけるオブジェクトの奥行位置を決定する。すなわち、奥行位置を決定するとともに、赤外線画像内の所定領域の位置に基づいて、オブジェクトの撮像方向と直交する面上の位置を決定する。

最終的に、撮像部４の視点を基準とした座標系で定義される、オブジェクトのｘ座標，ｙ座標，ｚ座標が演算周期毎に出力される。

（ｅ５：連続出力（ステップＳ２４））
上述したように、情報処理装置１は、演算周期毎にオブジェクトの３次元座標を算出し、これらの時系列で出力される３次元座標からオブジェクトの時間的な挙動を取得する。すなわち、情報処理装置１は、オブジェクトの位置の時間的変化を出力する。このような位置の時間的変化を用いて、ユーザの行なうジェスチャを判断したり、各種のゲーム処理などを進行することができる。

＜Ｆ．キャリブレーション＞
オブジェクト（被写体）を基準状態にしてキャリブレーションを行なう必要がある。基準状態は、どのような状態であってもよいが、オブジェクトが撮像部４に近すぎる場合、または撮像部４から遠すぎる場合には、位置決定の精度が低下するので、オブジェクトが動き得る範囲の中間地点でキャリブレーションすることが好ましい。そのため、このようなキャリブレーションを支援するようなユーザインターフェイスを提供するようにしてもよい。

図１０は、本実施の形態の情報処理装置１が提供するキャリブレーションのためのユーザインターフェイスの一例を示す図である。図１０を参照して、情報処理装置１のディスプレイ２上には、被写体を基準状態に位置決めするためのガイド７０が表示されており、ユーザは、撮像された手がガイド７０に収まるように、ユーザ自身および／または自身の手と撮像部４との位置関係を調整する。ユーザの手がガイド７０に収まれば、ユーザは、ディスプレイ２上に表示されるＯＫボタン７２を他方の手で操作することで、キャリブレーション用の赤外線画像が取得され、キャリブレーションが実行される。

このようなガイドを表示することで、キャリブレーションをより適切かつ簡単に実行することができる。

＜Ｇ．絶対位置の算出処理＞
上述の説明では、基準状態における位置を基準として、オブジェクトの相対位置を順次決定する処理例について説明した。基準状態における絶対位置（絶対距離）を取得できれば、相対位置ではなく、絶対位置を疑似的に算出できる。

基準状態における絶対位置（絶対距離）を取得する手法の一つとして、情報処理装置１の撮像部４を用いて、赤外線画像に現れるオブジェクト領域の大きさと絶対位置との関係を予め取得しておき、この関係を用いる方法がある。具体的には、撮像部４を用いて、予め既知の大きさを有するサンプルを複数の位置に配置して撮像することで得られる赤外線画像から、オブジェクト領域の大きさと撮像部４からの絶対距離との関係を定義できる。キャリブレーションにおいて、大きさが既知のサンプル（例えば、情報処理装置１に装着されているスタイラスなど）を撮像し、その撮像されたサンプルの赤外線画像内での大きさを評価することで、撮像時の絶対距離を決定できる。

ユーザの手などをオブジェクトとする場合には、平均的な大きさが予め判っているので、その平均値を用いてキャリブレーション時の絶対距離を疑似的に決定してもよい。

図１１は、本実施の形態の絶対位置の算出処理の一例を説明するための図である。図１１を参照して、赤外線画像内の特徴量から手の輪郭を特定して、手の大きさを算出することで、予め取得しておいた赤外線画像に現れるオブジェクト領域の大きさと絶対位置との関係を参照し、当該手の存在する位置（奥行位置）を算出するようにしてもよい。

＜Ｈ．赤外線画像の補正＞
上述したオブジェクトの位置を決定する処理においては、赤外線画像内のオブジェクト領域を特定し、所定領域を設定する（図５のステップＳ４，Ｓ６，Ｓ１４，Ｓ１６）。このような処理において、オブジェクトのみが写った赤外線画像を取得することが好ましい。しかしながら、オブジェクトの撮像時に当該オブジェクトの背景に赤外線を放射する物体があったような場合には、そのような物体からの赤外線がノイズとして赤外線画像内に入り込む。このような場合には、赤外線画像に何らかの補正（前処理）を行なった上で、オブジェクト領域を特定することが好ましい。

以下では、このような赤外線画像の補正処理として、非赤外線画像を用いる場合の処理について説明する。すなわち、本実施の形態の情報処理装置１は、オブジェクト（被写体）からの赤外線の情報を主として含む赤外線画像と、オブジェクト（被写体）からの赤外線とは異なる波長の光の情報を主として含む非赤外線画像とを取得する画像取得機能と、非赤外線画像の特徴量に基づいて、赤外線画像を補正する補正機能とを有している。

図１２は、本実施の形態の赤外線画像の補正処理の一例を説明するための図である。図１２を参照して、オブジェクトを撮像して赤外線画像６０を取得する際に、非赤外線画像の一例であるＲＧＢ画像５０を取得する。後述するように、ＲＧＢ画像５０と赤外線画像６０との間で、画像を重ね合わせるような処理が必要になるので、上述の図６（ａ）に示すような、ＩＲフィルタを含むベイヤー配列の撮像素子を用いて、これら２つの画像を取得することが好ましい。図６（ｂ）に示すような複眼式の構成を採用してもよいが、この場合には、光学系間に存在する視差に応じた補正が必要になる。

非赤外線画像としては、ＲＧＢ画像に限られることなく、紫外線画像を用いてもよいし、Ｒ，Ｇ，Ｂのいずれかの色のみに着目したグレイ画像（単色画像）を用いてもよい。

図１２のＲＧＢ画像５０および赤外線画像６０に示されるように、検出する波長の相違によって、取得できるオブジェクトの輝度情報は互いに異なったものになっている。このような取得される輝度情報の違いを利用して、オブジェクトの情報のみを抽出できるような補正を実行する。

まず、非赤外線画像からオブジェクトを反映した特徴量が算出される。非赤外線画像がＲＧＢ画像５０であり、オブジェクトがユーザの手であれば、例えば、肌色検出処理を用いることができる。すなわち、ＲＧＢ画像５０に含まれる肌色の領域を特定する。結果画像５２は、ＲＧＢ画像５０に対して肌色検出が実行された後の結果を示す。結果画像５２は、肌色であると判断された画素を「１」（白）に変換し、それ以外の画素を「０」（黒）に変換したものである。すなわち、赤外線画像の補正処理では、非赤外線画像を２値化することにより特徴量を得る。

図１３は、肌色領域の特定処理の一例を説明するための図である。図１３を参照して、肌色領域を特定するために、ＲＧＢ画像の色座標系をＲＧＢ座標系からＹＵＶ座標系に変換する。そして、ＹＵＶ座標系に変換されたＹＵＶ画像から、予め定義された「肌色」とみなすことのできる色座標系上の領域（空間）に存在している画像を抽出する。ＹＵＶ座標系を用いる方が「肌色」をより正確に判断できる。

このように、情報処理装置１の補正処理は、ＲＧＢ画像からオブジェクト（被写体）の肌色領域を特定し、当該肌色領域に基づいて、赤外線画像６０を補正する処理を含む。

再度図１２を参照して、赤外線画像６０についても、所定の明るさをしきい値として用いて２値化処理を行なうことで、２値化された赤外線画像６２を生成する。最終的に、結果画像５２と２値化された赤外線画像６２との間で、対応する画素毎に積を計算することで、補正後の赤外線画像６４を生成する。すなわち、補正処理として、２値化された非赤外線画像（結果画像５２）の各画素値を赤外線画像の各画素値に乗じる処理が実行される。この処理は、２値化された赤外線画像６２を構成する画素のうち、結果画像５２内の対応する画素が「１」（肌色領域）である画素のみを有効な画素として出力することを意味する。

なお、赤外線画像６０については、必ずしも２値化する必要なく、結果画像５２を一種のマスク画像として用いて、赤外線画像６０の各画素値に乗じることで、赤外線画像６０を補正することができる。

上述したように、情報処理装置１は、非赤外線画像（ＲＧＢ画像５０）の特徴量（図１２に示す例では、肌色領域）に基づいて、赤外線画像６０を補正する。非赤外線画像の特徴量は、基本的には、赤外線画像からは得られない特徴量である。

赤外線画像６０に対する補正処理は、赤外線画像６０のオブジェクト（被写体）が存在する領域以外を無視する処理を含む。言い換えれば、赤外線画像６０に対する補正手段は、赤外線画像６０のオブジェクト（被写体）が存在する領域だけを抽出する処理を含む。一連の補正処理は、非赤外線画像（ＲＧＢ画像５０）から画像内においてオブジェクトが存在する領域を特定し、その特定した領域に応じて、赤外線画像６０に含まれるオブジェクト（被写体）を示す有効な情報を選択的に用いることを意味する。このように、赤外線画像６０に含まれるオブジェクト（被写体）を示す有効な情報を選択的に用いることで、赤外線画像内のオブジェクト領域をより正確に特定できる。

さらに、図１２に示すＲＧＢ画像５０および／または結果画像５２を用いて、オブジェクトが有する固有の形状を探索することで、オブジェクト領域を特定する処理をさらに実行してもよい。すなわち、上述したような画像内の特徴量から手の輪郭（または、外形）や指の位置を特定してもよい。このような、非赤外線画像（ＲＧＢ画像５０および／または結果画像５２）に含まれるオブジェクト（被写体）の形状を特定する形状特定処理をさらに実行することで、非赤外線画像に移り込んでいるノイズとなり得る成分（図１２のＲＧＢ画像５０では、背景にある照明からの明かり）を除去することができる。

このような形状特定処理をさらに付加することで、赤外線画像６０に含まれるオブジェクト（被写体）を示す有効な情報をより正確に選択し、赤外線画像内のオブジェクト領域をより正確に特定できる。すなわち、情報処理装置１の補正処理は、非赤外線画像（ＲＧＢ画像５０および／または結果画像５２）に含まれる被写体の形状を特定する形状特定処理を含み、特定された形状における特徴量に基づいて、赤外線画像６０を補正する。

補正後の赤外線画像６４を用いて、補正前の赤外線画像６０および／またはＲＧＢ画像５０に別の補正を行なった上で、各種処理を実行してもよい。例えば、補正後の赤外線画像６４からオブジェクト領域を特定し、当該特定したオブジェクト領域に対応する赤外線画像６０またはＲＧＢ画像５０内の領域の画像（情報）を用いて、オブジェクトに関する情報のみを抽出するようにしてもよい。このように、補正処理により補正された赤外線画像の情報を、補正前の赤外線画像または非赤外線画像に反映するような機能を情報処理装置１に実装することもできる。

図１４は、本実施の形態の画像処理プログラムにより提供される赤外線画像の補正処理の処理手順を示すフローチャートである。図１４に示す各ステップは、典型的には、ＣＰＵ１０が画像処理プログラム１６（図２）を実行することで実現される。

図１４を参照して、まず、ＣＰＵ１０は、被写体の赤外線画像および非赤外線画像を取得する（ステップＳ１００）。このとき、図６（ａ）に示すようなベイヤー配列の撮像素子を用いた撮像部４を用いる場合には、撮像部４に対して撮像指令を与えることで、赤外線画像および非赤外線画像を同時に取得できる。これに対して、図６（ｂ）に示すような撮像素子を個別に設けた撮像部４を用いる場合には、それぞれの撮像素子に対して撮像指令を与えることで、赤外線画像および非赤外線画像を取得する。

続いて、ＣＰＵ１０は、非赤外線画像からオブジェクトを反映した特徴量を算出する（ステップＳ１０２）。典型的には、ＣＰＵ１０は、非赤外線画像の一例であるＲＧＢ画像５０に対して、肌色検出処理をして実行して肌色領域を特定する。ＣＰＵ１０は、ステップＳ１０２の処理と並行して、赤外線画像６０に対して２値化処理を行なうことで、２値化された赤外線画像６２を生成する（ステップＳ１０４）。

そして、ＣＰＵ１０２は、ステップＳ１０２において算出された特徴量を２値化された赤外線画像６２の各画素に乗じることで、補正後の赤外線画像６４を生成する（ステップＳ１０６）。ステップＳ１０６において生成された補正後の赤外線画像６４を用いて、図５に示す位置決定処理が実行されてもよい。

＜Ｉ．利点＞
本実施の形態では、赤外線画像内のオブジェクトを表現するオブジェクト領域を特定し、オブジェクト領域に応じて所定領域を設定する。この設定された所定領域の明るさおよび大きさに基づいて、赤外線画像に含まれるオブジェクトの位置を決定するので、１つの撮像部があれば十分であり、実装コストを低減できる。また、フレーム毎に取得される赤外線画像内の所定領域の明るさおよび大きさを利用するので、距離算出に要する演算量を低減でき、より高速な処理を実現できる。

本実施の形態では、非赤外線画像を用いて、赤外線画像の中からオブジェクト以外の物体に係る情報を除去／低減して、オブジェクトの位置や動きを検出する。これにより、オブジェクト以外の物体の情報によりオブジェクトの位置などが誤って決定されてしまうことを抑制できる。

今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は、上記した説明ではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。

１ 情報処理装置、２ ディスプレイ、４ 撮像部、６ 入力部、８ 通信部、１０ ＣＰＵ、１２ ＤＲＡＭ、１４ フラッシュメモリ、１６ 画像処理プログラム、１８ アプリケーションプログラム、４１，４２ レンズ、４３，４４ 撮像素子、４５ 照射部。

Claims (14)

1. 画像処理プログラムであって、コンピュータを
   被写体からの赤外線の情報を主として含む赤外線画像と、前記被写体からの赤外線とは異なる波長の光の情報を主として含む非赤外線画像とを取得する画像取得手段と、
   前記非赤外線画像の特徴量に基づいて、前記赤外線画像を補正する補正手段と、
   前記補正手段により補正された赤外線画像の情報を、補正前の赤外線画像または前記非赤外線画像に反映する反映手段として機能させる、画像処理プログラム。
2. 前記非赤外線画像の特徴量は、前記赤外線画像からは得られない特徴量である、請求項１に記載の画像処理プログラム。
3. 前記非赤外線画像は、ＲＧＢ画像を含む、請求項１または２に記載の画像処理プログラム。
4. 前記補正手段は、前記ＲＧＢ画像から前記被写体の肌色領域を特定し、当該肌色領域に基づいて、前記赤外線画像を補正する、請求項３に記載の画像処理プログラム。
5. 前記画像取得手段は、ＩＲフィルタを含むベイヤー配列の撮像素子から前記赤外線画像および前記非赤外線画像を取得する、請求項１〜４のいずれか１項に記載の画像処理プログラム。
6. 前記補正手段は、赤外線画像に含まれる前記被写体を示す有効な情報を選択的に用いる、請求項１〜５のいずれか１項に記載の画像処理プログラム。
7. 前記補正手段は、赤外線画像の前記被写体が存在する領域以外を無視する、請求項６に記載の画像処理プログラム。
8. 前記補正手段は、赤外線画像の前記被写体が存在する領域だけを抽出する、請求項６に記載の画像処理プログラム。
9. 前記補正手段は、前記非赤外線画像に含まれる被写体の形状を特定する形状特定手段を含み、特定された形状における特徴量に基づいて、前記赤外線画像を補正する、請求項１〜８のいずれか１項に記載の画像処理プログラム。
10. 前記補正手段は、前記非赤外線画像を２値化することにより前記特徴量を得る、請求項１〜９のいずれか１項に記載の画像処理プログラム。
11. 前記補正手段は、２値化された非赤外線画像の各画素値を前記赤外線画像の各画素値に乗じる、請求項１０に記載の画像処理プログラム。
12. 被写体の赤外光と、前記被写体からの赤外線とは異なる波長の光とを撮像する撮像部と、
    前記撮像部の撮像により得られる、前記被写体からの赤外線とは異なる波長の光の情報を主として含む非赤外線画像の特徴量に基づいて、前記撮像部の撮像により得られる前記被写体からの赤外線の情報を主として含む赤外線画像を補正する処理部とを備え、
    前記処理部は、当該補正された赤外線画像の情報を、補正前の赤外線画像または前記非赤外線画像に反映する、情報処理システム。
13. 被写体からの赤外線の情報を主として含む赤外線画像と、前記被写体からの赤外線とは異なる波長の光の情報を主として含む非赤外線画像とを取得する画像取得手段と、
    前記非赤外線画像の特徴量に基づいて、前記赤外線画像を補正する補正手段と、
    前記補正手段により補正された赤外線画像の情報を、補正前の赤外線画像または前記非赤外線画像に反映する反映手段とを備える、情報処理システム。
14. 被写体からの赤外線の情報を主として含む赤外線画像と、前記被写体からの赤外線とは異なる波長の光の情報を主として含む非赤外線画像とを取得するステップと、
    前記非赤外線画像の特徴量に基づいて、前記赤外線画像を補正するステップと、
    当該補正された赤外線画像の情報を、補正前の赤外線画像または前記非赤外線画像に反映するステップとを備える画像処理方法。