JPWO2020129138A1 - 画像処理装置、画像処理方法及びプログラム - Google Patents

Abstract

瞳孔を検出するためのコストを低減する画像処理装置を提供する。本開示の一態様に係る画像処理装置１０３は、顔の可視画像を受け取る第１入力部１１０と、前記顔の近赤外画像を受け取る第２入力部１２０と、前記可視画像の画素値の頻度分布と、前記近赤外画像の画素値の頻度分布とに基づいて、前記可視画像の明るさを調整する調整部１３０と、前記可視画像と前記近赤外画像とが対応する相対位置を特定する位置合わせ部１６０と、調整された前記可視画像の明るさを反転する反転部１７０と、明るさが反転された前記可視画像と前記近赤外画像とを、前記相対位置に基づいて足し合わせた合成画像から、瞳孔の領域を検出する瞳孔検出部１８０と、検出した前記瞳孔の情報を出力する出力部１９０と、を備える。

Description

本開示は、画像を処理する技術に関し、特に、画像からの瞳孔の検出に関連する技術に関する。

例えばカメラが設置されているウォークスルーゲートにおいて、被認証者が立ち止まることなく、カメラによって撮影された、被認証者の身体の部位（例えば虹彩や顔）の画像を使用して認証を行う場合、画像におけるその部位の位置を素早く特定する必要がある。認証の対象の部位として、虹彩や顔を使用する場合、瞳孔の位置を素早く検出できれば、瞳孔の位置に基づいて虹彩や顔の位置を素早く特定できる。人間の瞳孔は、近赤外線（例えば、８５０ｎｍ（ｎａｎｏｍｅｔｅｒ）付近の波長の電磁波）に対する、再帰反射特性を持つ。特許文献１には、９００ｎｍを間に含む異なる２つの波長（例えば、８５０ｎｍ及び９５０ｎｍ）の光が照射された被験者の２枚の画像の差分画像から、瞳孔の明るさの差に基づいて、瞳孔を検出する瞳孔検出装置が開示されている。

特許4528980号公報

特許文献１の技術では、照射される光の波長が異なる２つの光源の光軸と、それらの波長の光をそれぞれ選択的に受光する２つの撮影装置の光軸とが、共通である必要がある。そのため、これらの光源及び撮影装置の光軸が共通であるように、２つの光源、２つの撮影装置、及び、光路を変更する例えばハーフミラーなどの装置の、各々の設置位置を調整する必要がある。さらに、光源が発光している間に、発光している光源によって照射される波長の光を受光する撮影装置が撮影を行うように、光源の発光のタイミングと撮影のタイミングとを、正確に調整する必要がある。また、２つの光源を同時に発光させ、２つの波長の光がそれぞれ照射された２つの画像を同時に得るためには、光を、約９００ｎｍよりも長い波長の光と、約９００ｎｍよりも短い波長の光とに分離する装置が必要である。そのような装置は、光を約９００ｎｍよりも長い波長の光と約９００ｎｍよりも短い波長の光とに分離するダイクロイックミラーであってもよい。そのような装置は、遮断波長がそれぞれ約９００ｎｍである低域通過フィルタ及び高域通過フィルタの組み合わせであってもよい。

従って、特許文献１の技術では、画像から瞳孔を検出するために、画像を撮影する装置に加えて、２つの光源や、近赤外線を特定の波長において分離する装置等が必要である。さらに、２つの撮影装置に加えて、２つの光源やハーフミラーなどの装置を、正確に配置する必要がある。すなわち、特許文献１の技術では、それらの装置のコストと、それらの装置を正確に設置するコストとが必要である。

本開示の目的の１つは、瞳孔を検出するためのコストを低減する画像処理装置を提供することにある。

本開示の一態様に係る画像処理装置は、顔の可視画像を受け取る第１入力手段と、前記顔の近赤外画像を受け取る第２入力手段と、前記可視画像の画素値の頻度分布と、前記近赤外画像の画素値の頻度分布とに基づいて、前記可視画像の明るさを調整する調整手段と、前記可視画像と前記近赤外画像とが対応する相対位置を特定する位置合わせ手段と、調整された前記可視画像の明るさを反転する反転手段と、明るさが反転された前記可視画像と前記近赤外画像とを、前記相対位置に基づいて足し合わせた合成画像から、瞳孔の領域を検出する瞳孔検出手段と、検出した前記瞳孔の情報を出力する出力手段と、を備える。

本開示の一態様に係る画像処理方法は、顔の可視画像を受け取り、前記顔の近赤外画像を受け取り、前記可視画像の画素値の頻度分布と、前記近赤外画像の画素値の頻度分布とに基づいて、前記可視画像の明るさを調整し、前記可視画像と前記近赤外画像とが対応する相対位置を特定する位置合わせ手段と、調整された前記可視画像の明るさを反転し、明るさが反転された前記可視画像と前記近赤外画像とを、前記相対位置に基づいて足し合わせた合成画像から、瞳孔の領域を検出し、検出した前記瞳孔の情報を出力する。

本開示の一態様に係る記憶媒体は、顔の可視画像を受け取る第１入力処理と、前記顔の近赤外画像を受け取る第２入力処理と、前記可視画像の画素値の頻度分布と、前記近赤外画像の画素値の頻度分布とに基づいて、前記可視画像の明るさを調整する調整処理と、前記可視画像と前記近赤外画像とが対応する相対位置を特定する位置合わせ処理と、調整された前記可視画像の明るさを反転する反転処理と、明るさが反転された前記可視画像と前記近赤外画像とを、前記相対位置に基づいて足し合わせた合成画像から、瞳孔の領域を検出する瞳孔検出処理と、検出した前記瞳孔の情報を出力する出力処理と、をコンピュータに実行させるプログラムを記憶する。

本開示の一態様は、上述のプログラムが格納されているきおく媒体によっても実現される。

本開示には、瞳孔を検出するためのコストを低減することができるという効果がある。

図１は、本開示の第１の実施形態に係る画像処理システムの構成の例を表すブロック図である。 図２は、本開示の第１の実施形態の画像処理装置の動作の例を表すフローチャートである。 図３は、本開示の第１の実施形態の画像処理装置の動作の例を表すフローチャートである。 図４は、本開示の第１の実施形態の第１及び第２の変形例の認証システムの構成の例を表すブロック図である。 図５は、本開示の第１の実施形態の第１及び第２の変形例の認証システムの動作の例の全体を表すフローチャートである。 図６は、本開示の第１の実施形態の第１から第４の変形例の画像処理装置１００の瞳孔検出処理の動作の例を表すフローチャートである。 図７は、本開示の第１の実施形態の第１及び第４の変形例の認証装置の認証処理の動作の例を表すフローチャートである。 図８は、本開示の第１の実施形態の第２の変形例の認証装置の認証処理の動作の例を表すフローチャートである。 図９は、本開示の第１の実施形態の第３の変形例の画像処理システムの構成の例を表すブロック図である。 図１０は、本開示の第１の実施形態の第３の変形例の画像処理システムの動作の例の全体を表すフローチャートである。 図１０は、本開示の第１の実施形態の第３の変形例の画像処理システムの、サングラス判定処理の動作の例の全体を表すフローチャートである。 図１２は、本開示の第１の実施形態の第４の変形例の認証システムの構成の例を表すブロック図である。 図１３は、本開示の第１の実施形態の第４の変形例の認証システムの動作の例の全体を表すフローチャートである。 図１４は、本開示の第１の実施形態の第４の変形例の認証システムの、光源制御処理の動作の例を表すフローチャートである。 図１５は、本開示の第２の実施形態の画像処理装置の構成の例を表すブロック図である。 図１５は、本開示の第２の実施形態の画像処理装置の動作の例を表すフローチャートである。 図１７は、本開示の実施形態に係る画像処理装置及び認証装置を実現できるコンピュータの構成の例を表すブロック図である。

次に、本開示の実施形態について、図面を参照して詳細に説明する。

＜第１の実施形態＞
まず、第１の実施形態に係る画像処理装置の構成を説明し、次に、第１の実施携帯に係る画像処理装置の動作を説明する。

＜構成＞
図１は、第１の実施形態に係る画像処理システム１の構成の例を表すブロック図である。画像処理システム１は、画像処理装置１００と、可視撮像装置２００と、近赤外撮像装置３００とを含む。

図１に示す画像処理装置１００は、第１入力部１１０と、第２入力部１２０と、調整部１３０と、第１検出部１４０と、第２検出部１５０と、位置合わせ部１６０と、反転部１７０と、第３検出部１８０と、出力部１９０とを含む。画像処理装置１００は、可視撮像装置２００と、近赤外撮像装置３００とが接続されている。

可視撮像装置２００は、可視光の波長域で撮影を行う撮像装置である。可視撮像装置２００は、例えば、ビデオカメラやデジタルカメラによって実現される。可視撮像装置２００は、撮影した画像を出力する。可視撮像装置２００が出力する画像は、カラー画像であってもよい。可視撮像装置２００が出力する画像は、グレースケールの画像であってもよい。画像のフォーマットは、画像処理装置１００がデコードできるフォーマットのいずれかである。

近赤外撮像装置３００は、人間の網膜が再帰反射特性を持つ、近赤外の波長域で撮影を行う撮像装置である。近赤外撮像装置３００は、人間の網膜が再帰反射特性を持つ波長域（例えば、８５０ｎｍの波長を含む波長域）の近赤外光を撮影できる赤外線カメラによって実現される。近赤外撮像装置３００は、撮影した画像を出力する。近赤外撮像装置３００が出力する画像は、例えば、グレースケールの画像である。画像のフォーマットは、画像処理装置１００がデコードできるフォーマットのいずれかでよい。

可視撮像装置２００及び近赤外撮像装置３００は、同一の対象を撮影できるように設置されている。可視撮像装置２００及び近赤外撮像装置３００は、例えば、隣接して設置されていてもよい。可視撮像装置２００及び近赤外撮像装置３００は、光軸が同様の方向を向くよう設置されていてもよい。可視撮像装置２００の光軸は、近赤外撮像装置３００の光軸と、同一でなくてもよい。可視撮像装置２００及び近赤外撮像装置３００は、例えば、ウォークスルーゲートなどのゲートや、ドアの横などに設置されていてよい。可視撮像装置２００及び近赤外撮像装置３００は、例えば、可視撮像装置２００及び近赤外撮像装置３００が設置されているゲート等を通過する人物（例えば、人物の顔）を同様のタイミングで撮影するように構成されていてよい。可視撮像装置２００及び近赤外撮像装置３００の画角及び画素数は、同一でなくてもよい。

以下では、可視撮像装置２００及び近赤外撮像装置３００は、同じ人物の顔を、同じタイミングで撮影する場合について説明する。

画像処理装置１００は、可視撮像装置２００が撮影した画像を画像処理装置１００が受け取り可能であるように、可視撮像装置２００と、無線、有線、又は、それらの組み合わせによって接続されている。同様に、画像処理装置１００は、近赤外撮像装置３００が撮影した画像を画像処理装置１００が受け取り可能であるように、近赤外撮像装置３００と、無線、有線、又は、それらの組み合わせによって接続されている。

第１入力部１１０は、可視撮像装置２００から、可視撮像装置２００が撮影した画像を受け取る。可視撮像装置２００がカラー画像を出力する場合、第１入力部１１０は、受け取ったカラー画像をグレースケールの画像に変換する。カラー画像をグレースケールの画像に変換する方法は、各画素の画素値の色空間に応じた既存の方法のいずれかでよい。例えば、１つの画素の画素値が赤、緑、青の３色のそれぞれの濃淡値によって表されている場合、変換する方法は、カラー画像の画素毎に、画素値の３色の濃淡値のそれぞれに予め定められている重みをかけて足し合わせることにより得られる値を、グレースケールの画像の画素値にすることであってよい。カラー画像の画素値に明度が成分として含まれる場合、明度をグレースケールの画像の画素値にしてもよい。以下の説明では、可視撮像装置２００が出力し第１入力部１１０が受け取ったグレースケールの画像、及び、可視撮像装置２００が出力し第１入力部１１０が受け取ったカラー画像から変換されたグレースケールの画像を、可視入力画像と表記する。可視入力画像は、可視画像とも表記されることがある。第１入力部１１０は、可視入力画像を、調整部１３０に送出する。第１入力部１１０は、可視入力画像を、第１検出部１４０に送出してもよい。

第２入力部１２０は、近赤外撮像装置３００から、近赤外撮像装置３００が撮影した画像を受け取る。以下の説明では、近赤外撮像装置３００が出力し第２入力部１２０が受け取った画像を、近赤外入力画像と表記する。近赤外入力画像は、近赤外画像と表記されることもある。第２入力部１２０は、受け取った近赤外入力画像を、調整部１３０と、第２検出部１５０とに送出する。第２入力部１２０は、受け取った近赤外入力画像を、第３検出部１８０に送出してもよい。

調整部１３０は、第１入力部から可視入力画像を受け取る。調整部１３０は、さらに、第２入力部１２０から、近赤外入力画像を受け取る。調整部１３０は、可視入力画像の画素値（すなわち、明るさ）の頻度分布（すなわちヒストグラム）と、近赤外入力画像の画素値の頻度分布とに基づいて、可視入力画像の明るさのレベルと近赤外入力画像の明るさのレベルとを合わせる。調整部１３０は、例えば以下のように、可視入力画像のヒストグラムが、近赤外入力画像のヒストグラムに近づくように、可視入力画像の画素値を調整する。

具体的には、調整部１３０は、まず、可視入力画像のヒストグラムと、近赤外入力画像のヒストグラムとを生成する。ヒストグラムのビンの個数及び幅は、適宜定められていてよい。さらに、調整部１３０は、可視入力画像のヒストグラムと、近赤外入力画像のヒストグラムとにおいて、暗部のピークを検出する。暗部のピークは、例えば、頻度が、大きさにおいて所定の基準を満たし、ヒストグラムのピーク（すなわち、頻度の極大値）であるビンのうち、最も暗い画素値の頻度を表すビンであってよい。上述の所定の基準は、例えば、最頻値の、適宜定められた１未満の定数倍を超えることであってよい。暗部のピークは、この例に限られない。例えば、最も暗い画素値に対応するビンから所定の範囲におけるピークのうち、頻度が最も大きいビンが示す画素値であってもよい。なお、ビンが示す画素値は、そのビンに対応する画素値の範囲の代表値（例えば、平均、最大値、又は、最小値等）であってもよい。以下の説明では、ヒストグラムの暗部のピークを示す画素値（すなわち、ヒストグラムの暗部のピークのビンが示す画素値）を、暗部ピーク画素値と表記する。

調整部１３０は、まず、可視入力画像の暗部ピーク画素値を近赤外入力画像の暗部ピーク画素値から引いた値（以下、暗部オフセット値と表記する）を算出する。可視入力画像のヒストグラムの暗部のピークが、近赤外入力画像のヒストグラムの暗部のピークに一致するように、算出した暗部オフセット値を、可視入力画像の各画素の画素値に加える。

調整部１３０は、さらに、例えば、暗部のピークを含む範囲を除く範囲の、可視入力画像の画素値のヒストグラムが、近赤外入力画像の画素値のヒストグラムに最も近くなるように、可視入力画像の画素値を調整してもよい。上述の、暗部のピークを含む範囲は、例えば、暗部のピークのビンを含み、暗部のピークの頻度に所定の定数を掛けた値よりも頻度が大きいビンが連続する範囲であってよい。この所定の定数は、適宜定められてよい。以下の説明では、ヒストグラムによって頻度の分布が表されるビンの範囲のうち、暗部のピークを含む範囲として除かれなかった範囲を、対象範囲と表記する。

調整部１３０は、例えば、暗部オフセット値が各画素の画素値に加えられた状態の、可視入力画像の各画素の画素値と暗部ピーク画素値との差に、調整倍率を掛けることによって、可視入力画像の画素値の調整を行ってよい。この場合の可視入力画像の画素値の調整は、言い換えると、可視入力画像の各画素の画素値を、暗部ピーク画素値と、画素値から暗部ピーク画素値を引いた値に調整倍率を掛けた値と、の和に変更することである。調整部１３０は、例えば、可視入力画像の画素値の調整を行った場合の可視入力画像のヒストグラムが、近赤外入力画像のヒストグラムに最も一致する調整値を算出してよい。

調整部１３０は、調整を行った場合の可視入力画像のヒストグラムのうち、対象範囲の頻度の分布が、近赤外入力画像のヒストグラムのうち、対象範囲の分布に最も近くなる、調整倍率を算出してよい。具体的には、調整部１３０は、例えば、調整された可視入力画像のヒストグラムの対象範囲と、近赤外入力画像のヒストグラムの対象範囲との間の共通の範囲における、対応するビンの頻度の差の絶対値の平均を、分布の近さを表す値として算出してよい。そして、調整部１３０は、分布の近さを表す値が最小になる調整倍率を特定してよい。調整部１３０は、調整倍率が特定した調整倍率である場合における、調整された可視入力画像を、ヒストグラムが近赤外入力画像のヒストグラムに近づくよう画素値が調整された可視入力画像（以下では、調整可視画像と表記）にする。

調整可視画像の画素の画素値が、画素値として可能な最小値より小さくなる場合、調整部１３０は、その画素の画素値を、画素値として可能な最小値に変更する。調整可視画像の画素の画素値が、画素値として可能な最大値より大きくなる場合、調整部１３０は、その画素の画素値を、画素値として可能な最大値に変更する。画素値として可能な最小値は、例えば、可視入力画像の画素値の値域における、画素値の最小値（すなわち、下限）であってもよい。画素値として可能な最大値は、例えば、可視入力画像の画素値の値域における、画素値の最大値（すなわち、上限）であってもよい。調整部１３０は、調整可視画像の画素の画素値が、可視入力画像の画素値の値域に含まれなくなる場合であっても、その画素の画素値を、画素値の値域の上限又は下限に変更しなくてもよい。

調整部１３０は、さらに、近赤外入力画像のヒストグラムの、明部のピークを検出してもよい。明部のピークは、例えば、例えば、頻度が、大きさにおいて所定の基準を満たし、ヒストグラムのピーク（すなわち、頻度の極大値）であるビンのうち、最も明るい画素値の頻度を表すビンであってよい。明部のピークは、例えば、頻度が、大きさにおいて所定の基準を満たし、ヒストグラムのピーク（すなわち、頻度の極大値）であるビンのうち、最も明るい画素値の頻度を表すビンであってよい。上述の所定の基準は、例えば、最頻値の、適宜定められた１未満の定数倍を超えることであってよい。明部のピークは、この例に限られない。例えば、最も明るい画素値に対応するビンから所定の範囲におけるピークのうち、頻度が最も大きいビンが示す画素値であってもよい。なお、ビンが示す画素値は、そのビンに対応する画素値の範囲の代表値（例えば、平均、最大値、又は、最小値等）であってもよい。

そして、調整部１３０は、近赤外入力画像の対象範囲から、明部のピークを含む範囲を除いてもよい。対象範囲から除かれる、明部のピークを含む範囲は、例えば、明部のピークのビンを含み、明部のピークの頻度に所定の定数を掛けた値よりも頻度が大きいビンが連続する範囲であってよい。この所定の定数は、適宜定められてよい。

調整部１３０は、近赤外入力画像のヒストグラムの明部のピークを検出する場合と同様の方法で、さらに、可視入力画像のヒストグラムの、明部のピークを検出してもよい。可視入力画像のヒストグラムの明部のピークを検出する場合の、所定の基準は、近赤外入力画像のヒストグラムの明部のピークを検出する場合の所定の基準と異なっていてもよい。

可視入力画像のヒストグラムの、明部のピークが検出された場合、可視入力画像の対象範囲から、明部のピークを含む範囲を除いてもよい。可視入力画像の明部のピークを含む範囲は、近赤外入力画像の明部のピークを含む範囲と同様に定義されていてよい。可視入力画像のヒストグラムの明部のピークが検出されない場合、調整部１３０は、対象範囲から、可視入力画像の明部のピークを含む範囲を除く処理を行わない。

近赤外入力画像又は可視入力画像の少なくとも一方において、明部のピークを含む範囲を対象範囲から除く場合、調整部１３０は、明部のピークを含む範囲が除かれた対象範囲に基づいて、可視入力画像の調整を行う。

第１検出部１４０は、第１入力部１１０から可視入力画像を受け取る。第１検出部１４０は、受け取った可視画像から、顔を検出する。第１検出部１４０が可視入力画像から顔を検出する方法は、既存の様々な方法のいずれかであってよい。可視入力画像から顔が検出されない場合、画像処理装置１００は、その可視入力画像に対する処理を終了してよい。調整部１３０は、第１検出部１４０が、可視入力画像から顔を検出した場合に、可視入力画像に対して、上述の調整を行ってよい。

第２検出部１５０は、第２入力部１２０から、近赤外画像を受け取る。第２検出部１５０は、受け取った近赤外画像から顔を検出する。第２検出部１５０が、近赤外画像から顔を検出する方法は、既存の様々な方法のいずれかであってよい。

位置合わせ部１６０は、第１検出部１４０が可視入力画像から顔を検出し、さらに、第２検出部１５０が近赤外画像から顔を検出した場合、例えば以下のように、調整可視画像と近赤外入力画像との間の位置合わせを行う。位置合わせ部１６０は、例えば、調整可視画像と近赤外入力画像とを重ねた場合の、重なっている部分の差（例えば、後述の差の大きさを表す指標）が最も小さくなる、調整可視画像と近赤外入力画像との相対位置を特定する。相対位置は、例えば、平行移動を表すベクトルによって表されていてもよい。相対位置は、例えば、平行移動と回転（例えば、回転の角度）とによって表されていてもよい。相対位置を特定する方法として、既存の様々な方法が使用できる。

具体的には、位置合わせ部１６０は、例えば、調整可視画像と近赤外入力画像とが重なっている部分の、重なっている画素毎の画素値の差の絶対値の平均が最も小さい、調整可視画像と近赤外入力画像との相対位置を特定してもよい。この場合、調整可視画像と近赤外入力画像との間の、重なっている部分の差の大きさを表す指標は、素毎の画素値の差の絶対値の平均である。指標は、画像間の差の大きさを表す他の指標であってもよい。

また、位置合わせ部１６０は、調整可視画像のヒストグラムの、暗部のピークを含むビンの範囲に含まれる画素値を持つ画素と、明部のピークを含むビンの範囲に含まれる画素値を持つ画素とを、調整可視画像と近赤外入力画像との差の算出に使用しなくてよい。同様に、位置合わせ部１６０は、近赤外入力画像のヒストグラムの、暗部のピークを含むビンの範囲に含まれる画素値を持つ画素と、明部のピークを含むビンの範囲に含まれる画素値を持つ画素とを、調整可視画像と近赤外入力画像との差の算出に使用しなくてよい。位置合わせ部１６０は、重なっている、調整可視画像の画素と近赤外入力画像の画素とのうち、少なくとも一方の画素の画素値が、明部のピークを含む範囲及び暗部のピークを含む範囲のいずれかに含まれる場合、それらの画素を画素値の差の計算から除外してよい。位置合わせ部１６０は、例えば、画素値の差の計算から除外されていない画素のみから、画像間の差の大きさを表す指標を算出してよい。

なお、第１検出部１４０は、可視入力画像から顔の特徴点を検出し、検出した顔の特徴点の情報を、位置合わせ部１６０に送信してもよい。特徴点の情報は、例えば、特徴点が抽出された画像における特徴点の位置、及び、特徴点の種類などである。特徴点の情報は、以上の例に限られない。第２検出部１５０は、近赤外入力画像から顔の特徴点を検出し、検出した顔の特徴点を、位置合わせ部１６０に送信してもよい。顔の特徴点は、例えば、目尻、目頭、瞳孔、口角、鼻の頭など、予め定められている特徴点であってよい。

位置合わせ部１６０は、第１検出部１４０から、可視入力画像における顔の特徴点の情報を受け取り、第２検出部１５０から、近赤外入力画像における顔の特徴点を受け取ってもよい。そして、位置合わせ部１６０は、対応する顔の特徴点の位置の差が最も近くなるように、可視入力画像と近赤外入力画像とを重ねた場合の、可視入力画像と近赤外入力画像との相対位置を算出する。具体的には、位置合わせ部１６０は、可視入力画像において検出された顔の特徴点の座標が、近赤外入力画像において検出された、可視入力画像の顔の特徴点に対応する、顔の特徴点の座標になるような、座標の変換を算出してよい。座標の変換の算出方法として、既存の様々な方法が適用可能である。

反転部１７０は、調整部１３０から、調整可視画像を受け取る。反転部１７０は、調整可視画像の画素値を反転させ、調整可視画像の画素値が反転した反転可視画像を生成する。画素値の反転は、例えば、画像の画素値の値域における画素値の最大値から、画素値を引くことであってもよい。画素値の反転は、例えば、画素値の符号をプラスからマイナスに変更することであってもよい。

第３検出部１８０は、反転部１７０から反転可視画像を受け取り、例えば第２入力部１２０から、入力近赤外画像を受け取る。第３検出部１８０は、さらに、位置合わせ部１６０から、調整可視画像と近赤外入力画像とを重ねた場合の、重なっている部分の差が最も小さい、調整可視画像と近赤外入力画像との相対位置を受け取る。第３検出部１８０は、受け取った相対位置における、調整可視画像と近赤外入力画像とが重複する領域において、調整可視画像と近赤外入力画像とを重ねた合成画像を生成する。具体的には、第３検出部１８０は、調整可視画像と近赤外入力画像とが重複する領域において、重複する各画素の位置において、調整可視画像画素値と近赤外入力画像の画素値との和を算出し、算出した和が、その位置の画素の画素値である、合成画像を生成する。重複する画素は、２つの画像を重ねた場合に、同じ位置に存在する画素を表す。

上述のように、人間の瞳孔は、近赤外の電磁波に対する再帰反射特性を持つ。従って、近赤外入力画像において、瞳孔の領域は明るくなる。しかし、人間の瞳孔は可視光に対する再帰反射特性を持たないので、可視入力画像において、瞳孔の領域は暗くなる。反転可視画像では、瞳孔の領域は、比較的明るくなる。従って、反転可視画像の画素値と近赤外入力画像の画素値とが、対応する画素毎に加算された合成画像では、瞳孔の領域は非常に明るくなることが見込まれる。

第３検出部１８０は、合成画像において、瞳孔を検出する。具体的には、まず、第３検出部１８０は、例えば、合成画像を二値化する。第３検出部１８０は、例えば、合成画像の、明度のピークのビンに含まれる画素値を持つ画素及びそれらの画素値より明るい画素値を持つ画素の画素値を、例えば１にし、他の画素の画素値を例えば０にしてもよい。第３検出部１８０は、明度のピークの頻度に基づいて頻度の閾値（例えばピークの頻度すなわち最頻値の、１未満の定数倍）を決定してもよい。第３検出部１８０は、最頻値のビンを含み、頻度が閾値を超える連続するビンの範囲の画素値又はそれらのビンが表す画素値よりも明るいことを表す画素値を持つ、合成画像の画素の画素値を１にし、それ以外の画素の画素値を０にしてもよい。第３検出部１８０は、他の方法で合成画像の二値化を行ってもよい。第３検出部１８０は、二値化によって、２つの画素値のうち明るい方の画素値が設定された画素の、所定の面積以上の連結領域を、瞳孔の領域として検出してもよい。第３検出部１８０は、上述の連結領域のうち、面積が、例えば予め実験的に定められた所定の範囲に含まれる連結領域を、瞳孔の領域として検出してもよい。第３検出部１８０は、上述の連結領域のうち、長径に対する短径の比が、所定値より小さい連結領域を、瞳孔の領域として検出してもよい。以下の説明において、第３検出部１８０は、瞳孔検出部１８０と表記されることもある。

出力部１９０は、第３検出部１８０によって検出された瞳孔の情報を出力する。具体的には、出力部１９０は、近赤外入力画像における、瞳孔の領域を表す情報を、出力してもよい。瞳孔の領域を表す情報は、瞳孔の領域として検出された領域に含まれる画素を特定できる情報（例えば、瞳孔の領域として検出された領域に含まれる画素の座標のリスト）であってよい。瞳孔の情報は、例えば、瞳孔の位置を表す情報（例えば、瞳孔を表す領域の重心等の座標）であってもよい。瞳孔の位置を表す情報は、たとえば、近赤外入力画像における瞳孔の位置を表す情報であってもよい。瞳孔の位置を表す情報は、例えば、可視入力画像における瞳孔の位置を表す情報であってもよい。瞳孔を表す情報は、瞳孔の位置を表す情報に加えて、相対位置を含んでいてよい。瞳孔の位置を表す情報は、近赤外入力画像における瞳孔の位置を表す情報と、可視入力画像における瞳孔の位置を表す情報とを含んでいてもよい。瞳孔の情報は、他の情報であってもよい。

＜＜動作＞＞
次に、本実施形態の画像処理装置１００の動作について、図面を参照して詳細に説明する。

図２及び図３は、本実施形態の画像処理装置１００の動作の例を表すフローチャートである。

図２に示す動作では、まず、第１入力部１１０が、例えば可視撮像装置２００から、可視画像を取得し、第２入力部１２０が、例えば近赤外撮像装置３００から、近赤外画像を取得する（ステップＳ１０１）。ステップＳ１０１において取得される可視画像は、上述の可視入力画像である。ステップＳ１０１において取得される近赤外画像が、上述の近赤外入力画像である。

次に、第１検出部１４０が、第１入力部１１０によって取得された可視画像において、顔の検出を行う。そして、第２検出部１５０が、第２入力部１２０によって取得された近赤外画像において、顔の検出を行う（ステップＳ１０２）。顔が検出されない画像が存在する場合、すなわち、可視画像及び近赤外画像のいずれかから顔が検出されなかった場合（ステップＳ１０３においてＹＥＳ）、画像処理装置１００は、図２及び図３に示す動作を終了する。可視画像及び近赤外画像の両方から顔が検出された場合、画像処理装置１００は、次に、ステップＳ１０４の動作を行う。

調整部１３０は、可視画像及び近赤外画像のそれぞれの、画素の明るさのヒストグラムを生成する（ステップＳ１０４）。調整部１３０は、生成したヒストグラムに基づいて、可視画像の明るさのレベルと近赤外画像の明るさのレベルとを合わせる（ステップＳ１０５）。ステップＳ１０５において、調整部１３０は、上述のように、例えば暗部のピークを含む範囲と明部のピークを含む範囲とを除く範囲のヒストグラムが、近赤外入力画像のヒストグラムに近づくように、可視画像（ここでは、可視入力画像）の画素値を調整する。そして、調整部１３０は、そのように画素値が調整された、調整可視画像を生成する。

次に、位置合わせ部１６０が、可視画像と近赤外画像との間の位置合わせを行う（ステップＳ１０６）。ステップＳ１０６における可視画像は、調整部１３０によって生成された調整可視画像である。ステップＳ１０６における近赤外画像は、近赤外入力画像である。ステップＳ１０６の位置合わせにおいて、位置合わせ部１６０は、調整可視画像と近赤外入力画像の重なり部分における差が最も小さくなる、調整可視画像と近赤外入力画像との相対位置を導出する。ステップＳ１０６の動作の後、画像処理装置１００は、図３に示すステップＳ１０７の動作を行う。

図３に示す動作では、次に、反転部１７０が、可視画像の画素値を反転させる（ステップＳ１０７）。ステップＳ１０７における可視画像は、ステップＳ１０５において明るさのレベルを合わせることにより生成された、調整可視画像である。

次に、第３検出部１８０が、ステップＳ１０６の位置合わせによって得られた、相対位置における、調整可視画像と近赤外入力画像の重なり部分において、重なっている画素の画素値を画素毎に加算することによって、合成画像を生成する（ステップＳ１０８）。第３検出部１８０は、合成画像から、瞳孔を検出する（ステップＳ１０９）。

そして、出力部１９０が、検出した瞳孔の情報を出力する（ステップＳ１１０）。

＜＜効果＞＞
以上で説明した本実施形態には、瞳孔を検出するためのコストを低減することができるという効果がある。その理由は、調整部１３０が可視画像の明るさのレベルと近赤外画像の明るさのレベルとを合わせる調整を行い、位置合わせ部１６０が可視画像と近赤外画像の位置合わせを行うからである。従って、２つの光源及び２つの撮像装置の４つの装置の光軸が同一になるように調整する必要がない。従って、光軸を屈曲させるハーフミラー等の装置は必要ない。また、２つの光源、２つの撮像装置、及び、複数のハーフミーらなどを、正確に配置する必要がない。よって、瞳孔を検出するためのコストを低減できる。

また、本実施形態には、瞳孔の検出の性能を向上できると言う効果がある。その理由は、調整部１３０が、暗部のピークを含む範囲及び明部のピークを含む範囲以外の範囲のヒストグラムに基づいて画素値の調整を行うからである。また、位置合わせ部１６０も、ヒストグラムの暗部のピークを含む画素値の範囲及び明部のピークを含む画素値の範囲に含まれる画素値を持つ画素以外の画素を使用して、位置合わせを行うからである。

瞳孔には近赤外線において再帰反射特性があるので、近赤外入力画像における瞳孔の領域は明るい。言い換えると、近赤外入力画像の瞳孔の領域に含まれる画素の画素値は、明るいことを表す値をとる。瞳孔は可視光に対する再帰反射特性を持たない。従って、可視入力画像において、瞳孔の領域は暗い。言い換えると、瞳孔の領域に含まれる画素の画素値は、暗いことを表す値をとる。瞳孔以外の領域では、可視入力画像及び調整可視画像では暗く、近赤外入力画像では明るい領域は、通常は無いとみなせる。調整部１３０によって調整が行われた調整可視画像と、近赤外入力画像では、ヒストグラムの暗部のピークとして現れる画素値と、明部のピークとして現れる画素値とを除く画素値を持つ画素において、画素値の分布は近くなる。

可視画像（可視入力画像及び調整可視画像）において、明部のピークは、例えば影の領域の画素値に対応し、暗部のピークは、例えば、眼鏡による反射や涙による反射の領域の画素値に対応する。また、近赤外入力画像において、明部のピークは、例えば瞳孔の領域は眼鏡による反射の画素値に対応し、暗部のピークは、例えば、温度が低い部分の画素値に対応する。眼鏡による反射の角度は、波長によって異なる。従って、可視画像における眼鏡による反射の領域は、近赤外画像における眼鏡による反射の領域と異なる。

本実施形態では、眼鏡による反射の領域など、可視画像と近赤外画像とで明るさが大きく異なる領域の、画素値の調整や位置合わせへの影響を抑制できるので、画素値の調整の精度や位置合わせの精度を向上できる。従って、本実施形態では、瞳孔の検出の精度を向上できる。

＜第１の実施形態の第１の変形例＞
次に、本開示の第１の実施形態の第１の変形例について、図面を参照して詳細に説明する。まず、本変形例の構成について説明し、次に、本変形例の動作について説明する。

＜＜構成＞＞
図４は、本変形例の認証システム１０の構成の例を表すブロック図である。

図４に示す認証システム１０は、瞳孔検出装置である画像処理装置１００と、可視撮像装置２００と、近赤外撮像装置３００と、認証装置４００とを含む。画像処理装置１００、可視撮像装置２００及び近赤外撮像装置３００は、第１の実施形態の画像処理装置１００、可視撮像装置２００及び近赤外撮像装置３００と同じである。認証装置４００は、画像処理装置１００と通信可能に接続されている。認証装置４００は、画像処理装置１００に含まれていてもよい。言い換えると、画像処理装置１００が、さらに認証装置４００として動作してもよい。

本変形例の出力部１９０は、検出された瞳孔の情報と、顔画像とを出力する。本変形例の出力部１９０は、瞳孔の情報として、瞳孔の位置の情報を出力してよい。顔画像は、可視撮像装置２００によって取得され出力された、可視入力画像であってもよい。その場合、可視入力画像は、例えば、第１入力部１１０と、第１検出部１４０と、位置合わせ部１６０と、第３検出部１８０とを介して、出力部１９０に送られてもよい。可視入力画像は、第１入力部１１０から、簡単のため図４では省略されている経路を介して、出力部１９０に送られてもよい。顔画像は、調整部１３０によって調整された、調整可視画像であってもよい。その場合、調整可視画像は、例えば、位置合わせ部１６０と、第３検出部１８０とを介して、出力部１９０に送られてもよい。調整可視画像は、調整部１３０から、簡単のため図４では省略されている経路を介して、出力部１９０に送られてもよい。顔画像は、近赤外撮像装置３００によって取得され出力された、近赤外入力画像であってもよい。その場合、近赤外入力画像は、第２入力部１２０から、位置合わせ部１６０と、第３検出部１８０とを介して、出力部１９０に送られてもよい。赤外入力画像は、第２入力部１２０から、第３検出部１８０を介して、出力部１９０に送られてもよい。近赤外入力画像は、第２入力部１２０から、簡単のため図４では省略されている経路を介して、出力部１９０に送られてもよい。顔画像として送られる画像の種類は、予め決められていてよい。

認証装置４００は、認証部４１０と第２出力部４２０とを含む。

認証部４１０は、画像処理装置１００の出力部１９０から、検出された瞳孔の情報（例えば、検出された瞳孔の位置の情報）と、顔画像とを受け取る。認証部４１０は、例えば、受け取った瞳孔の情報に基づいて、顔画像において認証部位の位置を特定する。認証部４１０は、位置を特定した認証部位の画像に基づいて、認証を行う。認証部位は、認証に使用する顔の少なくとも一部である。認証部位は、例えば、虹彩であってもよい。認証部位は、例えば、顔であってもよい。認証部位は、予め定められていてよい。認証部４１０は、認証部位の画像を使用した、既存の認証方法のいずれかによって、認証を行う。具体的には、認証部４１０は、例えば、顔画像から、認証方法に応じた認証部位の領域の画像を抽出し、抽出された領域から、認証方法に応じた特徴量を抽出する。そして、認証部４１０は、抽出した特徴量を使用して、認証を行う。以下、さらに具体的に説明する。

認証部位が虹彩である場合、認証部４１０は、瞳孔の領域の周囲から、虹彩の領域を抽出してよい。認証部位が顔である場合、検出された瞳孔の位置に基づいて、顔の領域が存在しうる領域を推定し、推定された領域から顔の領域を抽出してもよい。認証部位が顔である場合、検出された瞳孔の位置に基づいて、他の、顔の特徴点を抽出してもよい。認証部４１０による認証の方法として、認証部位に応じた既存の様々な方法が適用可能である。
認証部４１０は、認証部位の領域の画像から、認証の方法に応じた特徴量を抽出する。認証部４１０は、抽出した特徴量と、例えば、認証部４１０に予め登録されている特徴量とを比較する。認証部４１０は、比較の結果に基づいて、抽出した特徴量が抽出された顔画像の人物が、予め登録されている特徴量が抽出された顔画像の人物と同一であるか判定する。

第２出力部４２０は、認証部４１０による認証の結果を出力する。

＜＜動作＞＞
図５は、本変形例の認証システム１０の動作の例の全体を表すフローチャートである。

図５に示す動作では、まず、画像処理装置１００が瞳孔検出処理を行う（ステップＳ１００）。瞳孔検出処理については、後で説明する。瞳孔検出処理によって、上述の瞳孔の情報が得られる。出力部１９０は、検出した瞳孔の情報（例えば、検出した瞳孔の位置の情報）と、顔画像とを、認証装置４００に出力する（ステップＳ１１０）。そして、認証装置４００は、認証処理を行う（ステップＳ１２０）。認証処理については、後で説明する。

図６は、本変形例の画像処理装置１００の瞳孔検出処理の動作の例を表すフローチャートである。図６に示す、ステップＳ１０１からステップＳ１０９までの動作は、図２及び図３に示す、第１の実施形態の画像処理装置１００の、ステップＳ１０１からステップＳ１０９までの動作と同じである。ステップＳ１０９の動作の後、画像処理装置１００は、図６に示す瞳孔検出処理を終了する。

図７は、本変形例の認証装置４００の認証処理の動作の例を表すフローチャートである。図７に示す動作では、まず、認証部４１０が、瞳孔の位置の情報と顔画像とを受け取る（ステップＳ１２１）。次に、認証部４１０は、瞳孔の位置に基づいて、顔画像から認証部位の領域を抽出する（ステップＳ１２２）。認証部４１０は、抽出した認証部位の領域から、特徴量を抽出する（ステップＳ１２３）。認証部４１０は、抽出した特徴量に基づいて、認証を行う（ステップＳ１２４）。第２出力部４２０は、認証の結果を出力する（ステップＳ１２５）。

＜第１の実施形態の第２の変形例＞
次に、第１の実施形態の第２の変形例について説明する。

＜＜構成＞＞
図４は、本変形例の認証システム１０の構成を表すブロック図である。本変形例の認証システム１０の構成は、第１の実施形態の第１の変形例の認証システム１０の構成と同じである。本変形例は、以下で説明する差異を除いて、第１の実施形態の第１の変形例と同じである。

画像処理装置１００の出力部１９０は、顔画像として、近赤外入力画像を出力する。

認証装置４００の認証部４１０は、認証部位として、虹彩を抽出する。また、認証部４１０は、近赤外入力画像の瞳孔の領域の画素値を、他の値に変更する。他の値は、例えば、虹彩の領域の画素の画素値の平均が示す明るさよりも暗い明るさを示す画素値であってよい。他の値は、近赤外入力画像の瞳孔の領域の画素値が示す明るさよりも暗い明るさを示す画素値であってもよい。他の値は、予め実験的に定められていてもよい。瞳孔の領域の画素値を、画素値が示す明るさが暗くなるように変更することによって、瞳孔の領域が明るいことによる、認証制度の低下などの悪影響を軽減できる。認証部４１０は、認証として、虹彩認証を行う。

＜＜動作＞＞
図５は、本変形例の認証システム１０の動作を表すフローチャートである。本変形例の認証システム１０の全体的な動作は、第１の実施形態の第１の変形例の認証システム１０の全体的な動作と同じである。本変形例の認証システム１０の、ステップＳ１００及びステップＳ１１０の動作は、第１の実施形態の第１の変形例の認証システム１０の、ステップＳ１００及びステップＳ１１０の動作と同じである。ただし、ステップＳ１１０において出力される顔画像は、近赤外入力画像である。本変形例の認証システム１０の、ステップＳ１２０の認証処理の動作は、第１の実施形態の第１の変形例の認証システム１０のステップＳ１２０の認証処理の動作と異なる。

図８は、本変形例の認証システム１０の認証処理の動作の例を表すフローチャートである。図８に示す動作では、認証部４１０が、瞳孔の位置の情報と顔画像とを受け取る（ステップＳ２２１）。ステップＳ２２１において受け取る顔画像は、近赤外入力画像である。次に、認証部４１０は、瞳孔の位置の情報に基づいて、顔画像から虹彩の領域を抽出する（ステップＳ２２２）。認証部４１０は、瞳孔の領域の画素値を、他の値（例えば、所定値）に設定する（ステップＳ２２３）。認証部４１０は、虹彩の領域から特徴量を抽出する（ステップＳ２２４）。認証部４１０は、抽出した特徴量に基づいて、認証を行う（ステップＳ２２５）。第２出力部４２０は、認証の結果を出力する（ステップＳ２２６）。

＜第１の実施形態の第３の変形例＞
次に、第１の実施形態の第３の変形例について説明する。

＜＜構成＞＞
図９は、本変形例の画像処理システム２の構成の例を表すブロック図である。画像処理システム２は、画像処理装置１０１と、可視撮像装置２００と、近赤外撮像装置３００とを含む。画像処理装置１０１は、可視撮像装置２００によって得られた可視画像を取得できるように、可視撮像装置２００と接続されている。画像処理装置１０１は、近赤外撮像装置３００によって得られた近赤外画像を取得できるように、近赤外撮像装置３００と接続されている。本変形例の画像処理装置１０１は、第１の実施形態の画像処理装置１００の構成要素と同じ構成要素と、判定部１８１とを含む。

第３検出部１８０は、可視画像と、検出した瞳孔の情報とを、判定部１８１に送出する。第３検出部１８０は、可視画像として、反転可視画像を判定部１８１に送出してもよい。第３検出部１８０は、可視画像として、調整可視画像を判定部１８１に送出してもよい。第３検出部１８０は、可視画像として、可視入力画像を判定部１８１に送出してもよい。第３検出部１８０が送出する可視画像の種類は、予め定められていてよい。瞳孔の情報は、可視画像において瞳孔の位置を特定する情報を含む。瞳孔の情報は、例えば、可視画像における瞳孔の位置を表す情報を含んでいてもよい。瞳孔の情報は、例えば、相対位置と、近赤外入力画像における瞳孔の位置を表す情報を含んでいてもよい。相対位置は、上述の相対位置である。具体的には、相対位置は、調整可視画像と近赤外入力画像との重なり部分の差が最も小さくなる、調整可視画像と近赤外入力画像と相対位置である。

判定部１８１は、可視画像と、検出した瞳孔の情報とを受け取る。判定部１８１は、可視画像の、瞳孔の情報によって特定される、瞳孔の位置において、瞳孔を検出する。言い換えると、可視画像の、検出された瞳孔の位置に、瞳孔があるか否かを判定する。

例えば、顔画像を撮影された被撮像者がサングラスをかけている場合、可視画像では、目の領域が、可視光を吸収するサングラスによって遮蔽されるため、虹彩と瞳孔の明るさの差が小さくなる。サングラスが、濃い色のサングラスである場合、虹彩と瞳孔の明るさに明確な差がなくなる場合がある。サングラスが、さらに濃い色のサングラスである場合、サングラスによって遮蔽されている部分の明るさの差を確認できなくなる場合がある。しかし、一般に、サングラスは、近赤外線を透過する場合が多い。言い換えると、サングラスの近赤外の波長の電磁波に対する透過率は、可視光に対する透過率よりも高い場合が多い。そのような場合、近赤外入力画像に、瞳孔の再帰反射による明るい領域が存在すれば、合成画像から瞳孔を検出することは可能である。

判定部１８１は、例えば、可視画像における、検出された瞳孔の領域の明るさと、例えば、瞳孔の領域の周辺の領域（すなわち、虹彩の領域に相当する領域）の明るさとの差に基づいて、瞳孔を検出してよい。具体的には、判定部１８１は、例えば、可視画像における、瞳孔の領域の画素の画素値の平均と、瞳孔の領域の周辺の領域の画素の画素値の平均との差が、予め定められた閾値よりも小さい場合、瞳孔が検出されないと判定してよい。すなわち、この場合、判定部１８１は、サングラスが存在すると判定してよい。言い換えると、この場合、判定部１８１は、サングラスを検出してよい。判定部１８１は、例えば、可視画像における、瞳孔の領域の画素の画素値の平均と、瞳孔の領域の周辺の領域の画素の画素値の平均との差が、前述の閾値以上である場合、瞳孔が検出されると判定してよい。すなわち、この場合、判定部１８１は、サングラスが存在しないと判定してよい。言い換えると、この場合、判定部１８１は、サングラスが検出されないと判定してよい。

出力部１９０は、サングラスの検出の結果を出力する。画像処理装置１０１に上述の第１又は第２の変形例の認証装置４００が接続されている場合、出力部１９０は、認証装置４００が認証を行うために必要な情報を出力してもよい。

＜＜動作＞＞
次に、本変形例の画像処理装置１０１の動作について説明する。

図１０は、本変形例の画像処理装置１０１の動作の全体の例を表すフローチャートである。図１０に示す動作では、画像処理装置１０１は、瞳孔検出処理を行う（ステップＳ１００）。ステップＳ１００における瞳孔検出処理は、図５に示すステップＳ１００における、第１の実施形態の第１の変形例及び第２の変形例の画像処理装置１００の瞳孔検出処理と同じである。次に、画像処理装置１０１は、サングラス判定処理を行う（ステップＳ１３０）。サングラス判定処理については、後で詳細に説明する。画像処理装置１０１は、さらに、検出した瞳孔の情報と顔画像とを出力してもよい（ステップＳ１１０）。本変形例の画像処理装置１０１のステップＳ１１０の動作は、第１の実施形態の第１の変形例及び第２の変形例の画像処理装置１００の、図５に示すステップＳ１１０における動作と同じである。

図１１は、本変形例の画像処理装置１００の、サングラス判定処理の動作の例を表すフローチャートである。図１１に示す動作では、判定部１８１は、まず、瞳孔の位置の情報と、顔の可視画像を取得する（ステップＳ１３１）。顔の可視画像は、上述の、可視入力画像、調整可視画像、又は、反転可視画像である。瞳孔の位置の情報は、可視画像における、検出された瞳孔に位置を特定できる情報である。判定部１８１は、可視画像の瞳孔の位置において、瞳孔が検出されるか否かを判定する（ステップＳ１３２）。瞳孔が検出される場合（ステップＳ１３３においてＹＥＳ）、判定部１８１は、サングラスが存在しないと判定する（ステップＳ１３４）。瞳孔が検出されない場合（ステップＳ１３３においてＮＯ）、判定部１８１は、サングラスが存在すると判定する（ステップＳ１３５）。出力部１９０は、サングラスが存在するか否かの判定の結果を出力する（ステップＳ１３６）。

＜第１の実施形態の第４の変形例＞
次に、第１の実施形態の第４の変形例について説明する。

＜＜構成＞＞
図１２は、本変形例の認証システム１１の構成を表すブロック図である。図１２に示す認証システム１１は、画像処理装置１０２と、可視撮像装置２００と、近赤外撮像装置３００と、認証装置４００と、光源５００とを含む。本変形例の可視撮像装置２００及び近赤外撮像装置３００は、第１の実施形態の可視撮像装置２００及び近赤外撮像装置と同じである。本変形例の認証装置４００は、第１の実施形態の第１の変形例の認証装置４００と同じである。本変形例の認証装置４００は、第１の実施形態の第２の変形例の認証装置４００と同じであってもよい。光源５００は、近赤外線を照射する光源である。光源５００は、照射する近赤外線の強度を、外部から制御可能であるように構成されている。

画像処理装置１０２は、第１の実施形態の画像処理装置１００の構成要素と同じ構成要素と、光源制御部１８２とを含む。

本変形例の第３検出部１８０は、第１の実施形態の第３検出部１８０と同様に動作する。本変形例の第３検出部１８０は、さらに、可視画像の、検出された瞳孔の位置に、瞳孔が検出されるか否かを判定する。可視画像は、可視入力画像、調整可視画像、及び、反転可視画像のいずれか１つであってよい。第３検出部１８０によって瞳孔が検出されるか判定される可視画像は、予め決められていてよい。本変形例の第３検出部１８０の、可視画像から瞳孔が検出されるか判定する方法は、第３の変形例の判定部１８１の、可視画像から瞳孔が検出されるか判定する方法と同じであってよい。可視画像から瞳孔が検出されないと判定した場合、第３検出部１８０は、光源制御部１８２に、光源５００が照射する近赤外線の強度を増加するように制御する指示を送信する。

光源制御部１８２は、例えば、第３検出部１８０からの指示に従って、光源５００を制御する。具体的には、光源制御部１８２は、光源５００が照射する光（すなわち、近赤外線）の強度を制御する。光源制御部１８２は、第３検出部１８０からの指示を受信すると、例えば、光源５００が照射する光の強度を、所定量増加させるよう構成されていてもよい。光源制御部１８２が、光源５００によって照射される光の強度を増加させた後、画像処理装置１０２は、再び、可視入力画像及び近赤外入力画像を取得し、取得した可視入力画像及び近赤外入力画像に基づいて、瞳孔の検出を行う。その際、光源制御部１８２が、簡単のため図１２に示されていない経路を介して、第１入力部１１０に可視入力画像の取得を指示し、第２入力部１２０に近赤外入力画像の取得を指示してもよい。第１入力部１１０及び第２入力部１２０は、定期的に、それぞれの画像を取得するよう構成されていてもよい。

＜＜動作＞＞
次に、本変形例の認証システム１１の動作について説明する。

図１３は、本変形例の認証システム１１の動作の例を表すフローチャートである。図１３に示す動作の例では、画像処理装置１０２は、瞳孔検出処理を行う（ステップＳ１００）。ステップＳ１００の瞳孔検出処理は、第１の実施形態の第１の変形例の瞳孔検出処理と同じである。次に、画像処理装置１０２は、光源制御処理を行う（ステップＳ１４０）。後で詳細に説明するように、可視画像から瞳孔が検出されない場合、画像処理装置１０２は、光源制御処理によって、光源５００が照射する近赤外線の強度を増加させる。そして、画像処理装置１０２は、近赤外線の強度が増加した状態で、再度、瞳孔検出処理を行う。出力部１９０は、瞳孔検出処理によって得られた、検出した瞳孔の情報と顔画像とを出力する（ステップＳ１１０）。ステップＳ１１０の動作は、第１の実施形態の第１の変形例のステップＳ１１０の動作と同様である。ただし、瞳孔検出処理が再度行われた場合、ステップＳ１１０において送信される瞳孔の情報と顔画像は、再度行われた瞳孔検出処理において得られた、瞳孔の情報と顔画像である。そして、認証装置４００が、認証処理を行う（ステップＳ１２０）。ステップＳ１２０の認証処理は、第１の実施形態の第１の変形例のステップＳ１２０の認証処理の動作と同じである。

図１４は、本変形例の認証システム１１の、光源制御処理の動作の例を表すフローチャートである。図１４の動作の例では、まず、第３検出部１８０が、可視画像の瞳孔の位置において、瞳孔が検出されるか判定する（ステップＳ１４１）。第３検出部１８０は、ステップＳ１４１において、第１の実施形態の第３の変形例の判定部１８１の、ステップＳ１３２における動作と同様に、可視画像から瞳孔が検出されるか判定してよい。可視画像から瞳孔が検出された場合（ステップＳ１４２においてＹＥＳ）、画像処理装置１０２は、光源制御処理を終了する。可視画像から瞳孔が検出されない場合（ステップＳ１４２においてＮＯ）、光源制御部１８２は、光源５００の照射光を強める（ステップＳ１４３）。そして、画像処理装置１０２は、瞳孔検出処理を行う（ステップＳ１４４）。ステップＳ１４４における瞳孔検出処理は、ステップＳ１００における瞳孔検出処理と同じでよい。

例えば、認証部位が虹彩であり、被撮像者がサングラスをかけており、そのサングラスによる近赤外線の吸収がゼロでない場合、近赤外入力画像における虹彩の領域の明るさは低下する。本変形例の光源制御部１８２が、光源５００が照射する近赤外線の強度を増加させることによって、近赤外入力画像における虹彩の領域の明るさを向上させることができる。虹彩の領域の明るさが向上し、鮮明な虹彩の画像が得られれば、認証の精度が向上する。

なお、画像処理装置１０２は、光源制御部１８２が、光源５００によって照射される近赤外線の強度を増加させた後、第１入力部１１０は可視入力画像を取得せず、第２入力部１２０は近赤外入力画像を取得するよう構成されていてもよい。この場合、出力部１９０は、最初に取得された可視入力画像及び近赤外入力画像に基づいて検出された瞳孔の情報と、照射される近赤外線の強度が増加した後に取得された近赤外入力画像とを出力するよう構成されていてもよい。

以上で説明した第１の実施形態の変形例は、可能な範囲でどのように組み合わせられていてもよい。

＜第２の実施形態＞
次に、本開示の第２の実施形態について、図面を参照して詳細に説明する。

＜＜構成＞＞
図１５は、本実施形態の画像処理装置１０３の構成の例を表すブロック図である。図１５に構成の一例を示す、画像処理装置１０３は、第１入力部１１０と、第２入力部１２０と、調整部１３０と、位置合わせ部１６０と、反転部１７０と、瞳孔検出部１８０と、出力部１９０と、を備える。

第１入力部１１０は、顔の可視画像を受け取る。第２入力部１２０は、前記顔の近赤外画像を受け取る。調整部１３０は、前記可視画像の画素値の頻度分布と、前記近赤外画像の画素値の頻度分布とに基づいて、前記可視画像の明るさを調整する。位置合わせ部１６０は、前記可視画像と前記近赤外画像とが対応する相対位置を特定する。反転部１７０は、調整された前記可視画像の明るさを反転する。瞳孔検出部１８０は、明るさが反転された前記可視画像と前記近赤外画像とを、前記相対位置に基づいて足し合わせた合成画像から、瞳孔の領域を検出する。出力部１９０は、検出した前記瞳孔の情報を出力する。瞳孔検出部１８０は、第１の実施形態の第３検出部１８０に相当する。

＜＜動作＞＞
次に、本実施形態の画像処理装置１０３の動作について、図面を参照して詳細に説明する。

図１６は、本実施形態の画像処理装置１０３の動作の例を表すフローチャートである。図１６に示す動作の例では、まず、第１入力部１１０が、可視画像を取得し、第２入力部１２０が、近赤外画像を取得する（ステップＳ２０１）。この可視画像は、第１の実施形態の可視入力画像に相当する。近赤外画像は、第１の実施形態の近赤外入力画像に相当する。次に、調整部１３０が、可視画像の画素値の頻度分布と近赤外画像の画素値の頻度分布とに基づいて、可視画像の明るさを調整する（ステップＳ２０２）。ステップＳ２０２の可視画像は、第１の実施形態の可視入力画像に相当する。可視画像の明るさの調整の方法は、第１の実施形態の調整部１３０による、可視入力画像の明るさの調整の方法と同じでよい。調整部１３０は、明るさが調整された調整可視画像を生成してよい。次に、位置合わせ部１６０が、可視画像と近赤外画像とが対応する相対位置を特定する位置合わせを行う（ステップＳ２０３）。ステップＳ２０３における可視画像は、ステップＳ２０２において明るさが調整された可視画像（第１の実施形態の調整可視画像に相当する）であってよい。次に、反転部１７０が、調整された可視画像の画素値を反転させる。反転部１７０が調整された可視画像の画素値を反転する方法は、第１の実施形態の反転部１７０が調整可視画像の画素値を反転する方法と同じであってよい。そして、瞳孔検出部１８０が、可視画像の画素値と近赤外の画素値とが、相対位置に基づいて足し合わされた合成画像から、瞳孔の領域を検出する（ステップＳ２０５）。ステップＳ２０５の可視画像は、調整された可視画像である。そして、出力部１９０が、検出した瞳孔の情報を出力する（ステップＳ２０６）。瞳孔の情報は、第１の実施形態の出力部１９０が出力する瞳孔の情報と同じであってよい。

＜＜効果＞＞
本実施形態には、瞳孔を検出するためのコストを低減することができるという効果がある。その理由は、第１の実施形態において、瞳孔を検出するためのコストを低減することができるという効果が生じる理由と同じである。

＜他の実施形態＞
本開示の上述の実施形態に係る画像処理装置及び認証装置は、それぞれ、記憶媒体から読み出されたプログラムがロードされたメモリと、そのプログラムを実行するプロセッサとを含むコンピュータによって実現することができる。コンピュータは、通信可能に接続された、複数のコンピュータによって実現されていてもよい。上述の実施形態に係る画像処理装置及び認証装置は、それぞれ、例えば回路等の、専用のハードウェアによって実現することもできる。上述の実施形態に係る画像処理装置及び認証装置は、それぞれ、前述のコンピュータと専用のハードウェアとの組み合わせによって実現することもできる。

図１７は、上述の実施形態に係る画像処理装置及び認証装置を実現できる、コンピュータ１０００のハードウェア構成の一例を表す図である。図１７に示す例では、コンピュータ１０００は、プロセッサ１００１と、メモリ１００２と、記憶装置１００３と、Ｉ／Ｏ（Ｉｎｐｕｔ／Ｏｕｔｐｕｔ）インタフェース１００４とを含む。また、コンピュータ１０００は、記憶媒体１００５にアクセスすることができる。メモリ１００２と記憶装置１００３は、例えば、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ハードディスクなどの記憶装置である。記憶媒体１００５は、例えば、ＲＡＭ、ハードディスクなどの記憶装置、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、可搬記憶媒体である。記憶装置１００３が記憶媒体１００５であってもよい。プロセッサ１００１は、メモリ１００２と、記憶装置１００３に対して、データやプログラムの読み出しと書き込みを行うことができる。プロセッサ１００１は、Ｉ／Ｏインタフェース１００４を介して、例えば、他の装置にアクセスすることができる。プロセッサ１００１は、記憶媒体１００５にアクセスすることができる。記憶媒体１００５には、コンピュータ１０００を、上述の実施形態に係る画像処理装置及び認証装置としてそれぞれ動作させるプログラムのいずれかが格納されている。

プロセッサ１００１は、記憶媒体１００５に格納されている、コンピュータ１０００を、上述の実施形態に係る装置（すなわち、画像処理装置及び認証装置のいずれか）として動作させるプログラムを、メモリ１００２にロードする。そして、プロセッサ１００１が、メモリ１００２にロードされたプログラムを実行することにより、コンピュータ１０００は、上述の装置として動作する。

第１入力部１１０、第２入力部１２０、調整部１３０、第１検出部１４０、第２検出部１５０、位置合わせ部１６０、反転部１７０、第３検出部１８０、出力部１９０は、メモリ１００２にロードされたプログラムを実行するプロセッサ１００１により実現できる。判定部１８１、光源制御部１８２も、メモリ１００２にロードされたプログラムを実行するプロセッサ１００１により実現できる。瞳孔検出部１８０も、メモリ１００２にロードされたプログラムを実行するプロセッサ１００１により実現できる。

第１入力部１１０、第２入力部１２０、調整部１３０、第１検出部１４０、第２検出部１５０、位置合わせ部１６０、反転部１７０、第３検出部１８０、出力部１９０の一部または全部は、専用の回路によって実現できる。判定部１８１、光源制御部１８２、瞳孔検出部１８０の一部または全部も、専用の回路によって実現できる。

また、上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。

（付記１）
顔の可視画像を受け取る第１入力手段と、
前記顔の近赤外画像を受け取る第２入力手段と、
前記可視画像の画素値の頻度分布と、前記近赤外画像の画素値の頻度分布とに基づいて、前記可視画像の明るさを調整する調整手段と、
前記可視画像と前記近赤外画像とが対応する相対位置を特定する位置合わせ手段と、
調整された前記可視画像の明るさを反転する反転手段と、
明るさが反転された前記可視画像と前記近赤外画像とを、前記相対位置に基づいて足し合わせた合成画像から、瞳孔の領域を検出する瞳孔検出手段と、
検出した前記瞳孔の情報を出力する出力手段と、
を備える画像処理装置。

（付記２）
前記可視画像から顔を検出する第１検出手段と、
前記近赤外画像から顔を検出する第２検出手段と、
を備え、
前記瞳孔検出手段は、前記可視画像及び前記近赤外画像の双方から顔が検出された場合、前記瞳孔の領域を検出する
付記１に記載の画像処理装置。

（付記３）
前記調整手段は、前記可視画像の画素値の分布を、前記近赤外画像の画素値の分布に近づけるように、前記可視画像の画素値の調整を行う
付記１または２に記載の画像処理装置。

（付記４）
前記調整手段は、前記近赤外画像の、最も暗い画素値を含む第１の範囲と最も明るい画素値を含む第２の範囲とを除く、画素値の範囲において、前記近赤外画像の前記頻度分布の形状に、前記可視画像の前記頻度分布の形状の少なくとも一部が近づくよう、前記可視画像の画素値の調整を行う
付記１乃至３のいずれか１項に記載の画像処理装置。

（付記５）
前記調整手段は、前記可視画像の前記頻度分布の、最も暗い画素値から第１の範囲における、頻度ピークが示す画素値が、前記近赤外画像の前記頻度分布の、最も暗い画素値から第２の範囲における、頻度のピークを示す画素値に一致するように、前記可視画像の画素値の調整を行う
付記４に記載の画像処理装置。

（付記６）
前記可視画像の、前記瞳孔の領域を含む領域における画素の画素値に基づいて、サングラスの装着を判定する判定手段
を備える付記１乃至５のいずれか１項に記載の画像処理装置。

（付記７）
前記瞳孔の領域を含む領域における画素の画素値に基づく、前記顔に光を照射する光源の光の強さの制御を行う光源制御手段
を備える付記１乃至６のいずれか１項に記載の画像処理装置。

（付記８）
前記可視画像を撮像する可視撮像装置と、
前記近赤外画像を撮像する近赤外撮像装置と、
付記１乃至７のいずれか１項に記載の画像処理装置と、
を含む画像処理システム。

（付記９）
顔の可視画像を受け取り、
前記顔の近赤外画像を受け取り、
前記可視画像の画素値の頻度分布と、前記近赤外画像の画素値の頻度分布とに基づいて、前記可視画像の明るさを調整し、
前記可視画像と前記近赤外画像とが対応する相対位置を特定する位置合わせ手段と、
調整された前記可視画像の明るさを反転し、
明るさが反転された前記可視画像と前記近赤外画像とを、前記相対位置に基づいて足し合わせた合成画像から、瞳孔の領域を検出し、
検出した前記瞳孔の情報を出力する、
画像処理方法。

（付記１０）
前記可視画像から顔を検出し、
前記近赤外画像から顔を検出し、
前記可視画像及び前記近赤外画像の双方から顔が検出された場合、前記瞳孔の領域を検出する
付記９に記載の画像処理方法。

（付記１１）
前記可視画像の画素値の分布を、前記近赤外画像の画素値の分布に近づけるように、前記可視画像の画素値の調整を行う
付記９または１０に記載の画像処理方法。

（付記１２）
前記近赤外画像の、最も暗い画素値を含む第１の範囲と最も明るい画素値を含む第２の範囲とを除く、画素値の範囲において、前記近赤外画像の前記頻度分布の形状に、前記可視画像の前記頻度分布の形状の少なくとも一部が近づくよう、前記可視画像の画素値の調整を行う
付記９乃至１１のいずれか１項に記載の画像処理方法。

（付記１３）
前記可視画像の前記頻度分布の、最も暗い画素値から第１の範囲における、頻度ピークが示す画素値が、前記近赤外画像の前記頻度分布の、最も暗い画素値から第２の範囲における、頻度のピークを示す画素値に一致するように、前記可視画像の画素値の調整を行う
付記１２に記載の画像処理方法。

（付記１４）
前記可視画像の、前記瞳孔の領域を含む領域における画素の画素値に基づいて、サングラスの装着を判定する
付記９乃至１３のいずれか１項に記載の画像処理方法。

（付記１５）
前記瞳孔の領域を含む領域における画素の画素値に基づく、前記顔に光を照射する光源の光の強さの制御を行う
付記９乃至１４のいずれか１項に記載の画像処理方法。

（付記１６）
顔の可視画像を受け取る第１入力処理と、
前記顔の近赤外画像を受け取る第２入力処理と、
前記可視画像の画素値の頻度分布と、前記近赤外画像の画素値の頻度分布とに基づいて、前記可視画像の明るさを調整する調整処理と、
前記可視画像と前記近赤外画像とが対応する相対位置を特定する位置合わせ処理と、
調整された前記可視画像の明るさを反転する反転処理と、
明るさが反転された前記可視画像と前記近赤外画像とを、前記相対位置に基づいて足し合わせた合成画像から、瞳孔の領域を検出する瞳孔検出処理と、
検出した前記瞳孔の情報を出力する出力処理と、
をコンピュータに実行させるプログラムを記憶する記憶媒体。

（付記１７）
前記プログラムは、
前記可視画像から顔を検出する第１検出処理と、
前記近赤外画像から顔を検出する第２検出処理と、
をコンピュータにさらに実行させ、
前記瞳孔検出処理は、前記可視画像及び前記近赤外画像の双方から顔が検出された場合、前記瞳孔の領域を検出する
付記１６に記載の記憶媒体。

（付記１８）
前記調整処理は、前記可視画像の画素値の分布を、前記近赤外画像の画素値の分布に近づけるように、前記可視画像の画素値の調整を行う
付記１６または１７に記載の記憶媒体。

（付記１９）
前記調整処理は、前記近赤外画像の、最も暗い画素値を含む第１の範囲と最も明るい画素値を含む第２の範囲とを除く、画素値の範囲において、前記近赤外画像の前記頻度分布の形状に、前記可視画像の前記頻度分布の形状の少なくとも一部が近づくよう、前記可視画像の画素値の調整を行う
付記１６乃至１８のいずれか１項に記載の記憶媒体。

（付記２０）
前記調整処理は、前記可視画像の前記頻度分布の、最も暗い画素値から第１の範囲における、頻度ピークが示す画素値が、前記近赤外画像の前記頻度分布の、最も暗い画素値から第２の範囲における、頻度のピークを示す画素値に一致するように、前記可視画像の画素値の調整を行う
付記１９に記載の記憶媒体。

（付記２１）
前記プログラムは、
前記可視画像の、前記瞳孔の領域を含む領域における画素の画素値に基づいて、サングラスの装着を判定する判定処理
をさらにコンピュータに実行させる付記１６乃至２０のいずれか１項に記載の記憶媒体。

（付記２２）
前記プログラムは、
前記瞳孔の領域を含む領域における画素の画素値に基づく、前記顔に光を照射する光源の光の強さの制御を行う光源制御処理
をさらにコンピュータに実行させる付記１６乃至２１のいずれか１項に記載の記憶媒体。

以上、実施形態を参照して本発明を説明したが、本発明は上記実施形態に限定されるものではない。本発明の構成や詳細には、本発明のスコープ内で当業者が理解し得る様々な変更をすることができる。

１ 画像処理システム
２ 画像処理システム
１０ 認証システム
１１ 認証システム
１００ 画像処理装置
１０１ 画像処理装置
１０２ 画像処理装置
１０３ 画像処理装置
１１０ 第１入力部
１２０ 第２入力部
１３０ 調整部
１４０ 第１検出部
１５０ 第２検出部
１６０ 位置合わせ部
１７０ 反転部
１８０ 第３検出部
１８０ 瞳孔検出部
１８１ 判定部
１８２ 光源制御部
１９０ 出力部
２００ 可視撮像装置
３００ 近赤外撮像装置
４００ 認証装置
４１０ 認証部
４２０ 第２出力部
５００ 光源
１０００ コンピュータ
１００１ プロセッサ
１００２ メモリ
１００３ 記憶装置
１００４ Ｉ／Ｏインタフェース
１００５ 記憶媒体

Claims (22)

1. 顔の可視画像を受け取る第１入力手段と、
   前記顔の近赤外画像を受け取る第２入力手段と、
   前記可視画像の画素値の頻度分布と、前記近赤外画像の画素値の頻度分布とに基づいて、前記可視画像の明るさを調整する調整手段と、
   前記可視画像と前記近赤外画像とが対応する相対位置を特定する位置合わせ手段と、
   調整された前記可視画像の明るさを反転する反転手段と、
   明るさが反転された前記可視画像と前記近赤外画像とを、前記相対位置に基づいて足し合わせた合成画像から、瞳孔の領域を検出する瞳孔検出手段と、
   検出した前記瞳孔の情報を出力する出力手段と、
   を備える画像処理装置。
2. 前記可視画像から顔を検出する第１検出手段と、
   前記近赤外画像から顔を検出する第２検出手段と、
   を備え、
   前記瞳孔検出手段は、前記可視画像及び前記近赤外画像の双方から顔が検出された場合、前記瞳孔の領域を検出する
   請求項１に記載の画像処理装置。
3. 前記調整手段は、前記可視画像の画素値の分布を、前記近赤外画像の画素値の分布に近づけるように、前記可視画像の画素値の調整を行う
   請求項１または２に記載の画像処理装置。
4. 前記調整手段は、前記近赤外画像の、最も暗い画素値を含む第１の範囲と最も明るい画素値を含む第２の範囲とを除く、画素値の範囲において、前記近赤外画像の前記頻度分布の形状に、前記可視画像の前記頻度分布の形状の少なくとも一部が近づくよう、前記可視画像の画素値の調整を行う
   請求項１乃至３のいずれか１項に記載の画像処理装置。
5. 前記調整手段は、前記可視画像の前記頻度分布の、最も暗い画素値から第１の範囲における、頻度ピークが示す画素値が、前記近赤外画像の前記頻度分布の、最も暗い画素値から第２の範囲における、頻度のピークを示す画素値に一致するように、前記可視画像の画素値の調整を行う
   請求項４に記載の画像処理装置。
6. 前記可視画像の、前記瞳孔の領域を含む領域における画素の画素値に基づいて、サングラスの装着を判定する判定手段
   を備える請求項１乃至５のいずれか１項に記載の画像処理装置。
7. 前記瞳孔の領域を含む領域における画素の画素値に基づく、前記顔に光を照射する光源の光の強さの制御を行う光源制御手段
   を備える請求項１乃至６のいずれか１項に記載の画像処理装置。
8. 前記可視画像を撮像する可視撮像装置と、
   前記近赤外画像を撮像する近赤外撮像装置と、
   請求項１乃至７のいずれか１項に記載の画像処理装置と、
   を含む画像処理システム。
9. 顔の可視画像を受け取り、
   前記顔の近赤外画像を受け取り、
   前記可視画像の画素値の頻度分布と、前記近赤外画像の画素値の頻度分布とに基づいて、前記可視画像の明るさを調整し、
   前記可視画像と前記近赤外画像とが対応する相対位置を特定する位置合わせ手段と、
   調整された前記可視画像の明るさを反転し、
   明るさが反転された前記可視画像と前記近赤外画像とを、前記相対位置に基づいて足し合わせた合成画像から、瞳孔の領域を検出し、
   検出した前記瞳孔の情報を出力する、
   画像処理方法。
10. 前記可視画像から顔を検出し、
    前記近赤外画像から顔を検出し、
    前記可視画像及び前記近赤外画像の双方から顔が検出された場合、前記瞳孔の領域を検出する
    請求項９に記載の画像処理方法。
11. 前記可視画像の画素値の分布を、前記近赤外画像の画素値の分布に近づけるように、前記可視画像の画素値の調整を行う
    請求項９または１０に記載の画像処理方法。
12. 前記近赤外画像の、最も暗い画素値を含む第１の範囲と最も明るい画素値を含む第２の範囲とを除く、画素値の範囲において、前記近赤外画像の前記頻度分布の形状に、前記可視画像の前記頻度分布の形状の少なくとも一部が近づくよう、前記可視画像の画素値の調整を行う
    請求項９乃至１１のいずれか１項に記載の画像処理方法。
13. 前記可視画像の前記頻度分布の、最も暗い画素値から第１の範囲における、頻度ピークが示す画素値が、前記近赤外画像の前記頻度分布の、最も暗い画素値から第２の範囲における、頻度のピークを示す画素値に一致するように、前記可視画像の画素値の調整を行う
    請求項１２に記載の画像処理方法。
14. 前記可視画像の、前記瞳孔の領域を含む領域における画素の画素値に基づいて、サングラスの装着を判定する
    請求項９乃至１３のいずれか１項に記載の画像処理方法。
15. 前記瞳孔の領域を含む領域における画素の画素値に基づく、前記顔に光を照射する光源の光の強さの制御を行う
    請求項９乃至１４のいずれか１項に記載の画像処理方法。
16. 顔の可視画像を受け取る第１入力処理と、
    前記顔の近赤外画像を受け取る第２入力処理と、
    前記可視画像の画素値の頻度分布と、前記近赤外画像の画素値の頻度分布とに基づいて、前記可視画像の明るさを調整する調整処理と、
    前記可視画像と前記近赤外画像とが対応する相対位置を特定する位置合わせ処理と、
    調整された前記可視画像の明るさを反転する反転処理と、
    明るさが反転された前記可視画像と前記近赤外画像とを、前記相対位置に基づいて足し合わせた合成画像から、瞳孔の領域を検出する瞳孔検出処理と、
    検出した前記瞳孔の情報を出力する出力処理と、
    をコンピュータに実行させるプログラムを記憶する記憶媒体。
17. 前記プログラムは、
    前記可視画像から顔を検出する第１検出処理と、
    前記近赤外画像から顔を検出する第２検出処理と、
    をコンピュータにさらに実行させ、
    前記瞳孔検出処理は、前記可視画像及び前記近赤外画像の双方から顔が検出された場合、前記瞳孔の領域を検出する
    請求項１６に記載の記憶媒体。
18. 前記調整処理は、前記可視画像の画素値の分布を、前記近赤外画像の画素値の分布に近づけるように、前記可視画像の画素値の調整を行う
    請求項１６または１７に記載の記憶媒体。
19. 前記調整処理は、前記近赤外画像の、最も暗い画素値を含む第１の範囲と最も明るい画素値を含む第２の範囲とを除く、画素値の範囲において、前記近赤外画像の前記頻度分布の形状に、前記可視画像の前記頻度分布の形状の少なくとも一部が近づくよう、前記可視画像の画素値の調整を行う
    請求項１６乃至１８のいずれか１項に記載の記憶媒体。
20. 前記調整処理は、前記可視画像の前記頻度分布の、最も暗い画素値から第１の範囲における、頻度ピークが示す画素値が、前記近赤外画像の前記頻度分布の、最も暗い画素値から第２の範囲における、頻度のピークを示す画素値に一致するように、前記可視画像の画素値の調整を行う
    請求項１９に記載の記憶媒体。
21. 前記プログラムは、
    前記可視画像の、前記瞳孔の領域を含む領域における画素の画素値に基づいて、サングラスの装着を判定する判定処理
    をさらにコンピュータに実行させる請求項１６乃至２０のいずれか１項に記載の記憶媒体。
22. 前記プログラムは、
    前記瞳孔の領域を含む領域における画素の画素値に基づく、前記顔に光を照射する光源の光の強さの制御を行う光源制御処理
    をさらにコンピュータに実行させる請求項１６乃至２１のいずれか１項に記載の記憶媒体。

Images