JP4469476B2

JP4469476B2 - 眼位置検出方法および眼位置検出装置

Info

Publication number: JP4469476B2
Application number: JP2000240678A
Authority: JP
Inventors: 堅司近藤; 謙也魚森
Original assignee: Panasonic Corp; Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Corp; Panasonic Holdings Corp
Priority date: 2000-08-09
Filing date: 2000-08-09
Publication date: 2010-05-26
Anticipated expiration: 2020-08-09
Also published as: US20030118217A1; CN1422596A; US7130453B2; CN1261905C; JP2002056394A; EP1324259A1

Description

【０００１】
【発明の属する技術分野】
本発明は、入退室管理等の用途に用いられる虹彩認証等のために、人の顔画像から眼の位置を検出する画像処理技術に関するものである。
【０００２】
【従来の技術】
近年、虹彩認識を用いた個人認証の技術が、入退室管理やＡＴＭなどの用途に実用化され始めている。実用的には例えば、撮影した人の顔画像から眼の位置を検出し、検出した眼の位置について拡大した画像から虹彩認識を行うようなシステムが、想定される。
【０００３】
画像から眼を検出する技術としては、（１）「形状抽出とパターン照合の組み合わせによる顔特徴点抽出」（電子情報通信学会論文誌，D-II,Vol.J80-D-II,No.8,pp.2170-2177 ）、（２）特許第２９７３６７６号、（３）特開平１０−６３８５０号公報、（４）特開平１２−１２３１４８号公報、（５）特開平８−１８５５０３号公報、（６）特開平１０−１５４２２０号公報などに記載されたものがある。
【０００４】
この中で、（１），（２）は可視光下で撮影した画像から眼を検出する技術である。（１）は分離度フィルタという，中央部の輝度値が小さく周辺部の輝度値が大きい部分を見つけるフィルタを用いて、顔の濃淡画像から眼その他の特徴点を抽出している。（２）は顔の濃淡画像にエッジ抽出フィルタをかけ、エッジ画像とエッジでできた顔部品のテンプレートとのマッチングによって、眼その他の特徴点を抽出している。
【０００５】
また、（３）〜（６）は近赤外光撮影の画像から眼を検出する技術である。（３），（４）では、眼の上下方向（上瞼→虹彩→下瞼）の輝度変化に着目して眼を見つけている。（５），（６）は照明光の反射を利用して眼位置を検出するものであり、（５）は同軸落射照明（照明とカメラの光軸が一致）の場合に、網膜による反射と角膜表面、眼鏡の縁やレンズなどによる反射の輝度が異なることを利用して、２種類の二値化閾値を適切に設定することによって、網膜反射の位置によって眼位置を決定するものである。（６）は眼の角膜反射を含む複数の反射に注目し、時間的に輝度変化の大きいものを瞬きによる角膜反射の消失と捉え、眼の位置を決定するものである。
【０００６】
【発明が解決しようとする課題】
上述したような虹彩認識システムの場合、利用する照明は、可視光よりも近赤外光の方が好ましい。すなわち、近赤外光照明の場合には、照射しても被写体の人からは見えず、まぶしくないので、撮影されているという心理的抵抗感を低減することができる、という利点がある。
【０００７】
ところが、近赤外光下で撮影した眼画像は、可視光下で撮影した眼画像と異なり、黒目において、虹彩は反射率が高くなり、瞳孔だけが暗くなる。したがって、瞳孔、虹彩、強膜（白目）、皮膚の順に輝度が大きくなる。すなわち、虹彩と強膜との輝度差が、可視光撮影の画像よりも、少ない。このため、（１）のような濃淡値を使う方法や（２）のような濃淡値から得られるエッジ情報を用いる方法を、近赤外光下で撮影した眼画像についてそのまま用いても、眼の検出がうまくできない。この点については、本願発明者が実験によってすでに確認している。
【０００８】
一方、（３），（４）は、赤外光撮影の画像は眼の横方向の輝度変化が少ないために、上下方向に着目したものであるが、上下方向に明→暗→明となる輝度変化が起こる場所としては、眼の他にも眉、鼻穴、ほくろなどがあり、眼以外の場所を誤って検出してしまう可能性が大きい。
【０００９】
また、（５）は同軸落射照明という特殊な照明装置がいることに加え、レンズなどによる反射の位置と、網膜反射の位置が重なってしまった場合にうまく動作しない。また、（６）では、瞬きするまで待つ必要があり、時間変化をみるので、眼位置を検出するのに多少時間がかかるという問題があり、さらに、その間に人が動いてしまうとうまく眼を見つけられない、という問題もある。
【００１０】
前記の問題に鑑み、本発明は、顔画像から眼の位置を検出する方法として、同軸落射照明のような特殊な装置を用いないで、近赤外光下で撮影したような虹彩部と強膜部とのコントラストが低い画像から、短時間で、眼の位置を高精度に検出可能にすることを課題とする。
【００１１】
【課題を解決するための手段】
前記の課題を解決するために、請求項１の発明が講じた解決手段は、赤外光照明下において撮影された少なくとも眼の領域を含む顔画像から眼の位置を検出する方法として、前記顔画像の一部または全部に対し、眼の強膜部と虹彩部とのコントラストが高くなるように輝度補正を行うステップと、輝度補正後の顔画像について、輝度勾配ベクトルを算出し、算出した輝度勾配ベクトルを用いて生成した輝度勾配画像と眼テンプレートとのマッチングを行うステップとを備え、前記マッチングの結果を基に眼の位置を検出するものであり、前記輝度補正ステップは、前記顔画像の一部において、各画素の輝度勾配を計算するステップと、ヒストグラム平滑化のための変換式を、前記一部における、輝度勾配強度が上位Ａ％（Ａは所定値）にある画素を用いて、生成するステップと、生成した変換式を用いて、前記一部における全画素についてヒストグラム平滑化を実行するステップとを備えたものである。
【００１２】
請求項１の発明によると、少なくとも眼の領域を含む顔画像の一部または全部に対し、眼の強膜部と虹彩部とのコントラストが高くなるように、輝度補正が行われる。そして、この輝度補正後の顔画像について、輝度勾配ベクトルが算出され、輝度勾配ベクトルを用いて生成した輝度勾配画像と、眼テンプレートとのマッチングが行われる。すなわち、眼の位置を検出するためのマッチングの前に、眼の強膜部と虹彩部とのコントラストが強調され、強膜部と虹彩部と間のエッジ強度が高くなる。したがって、輝度勾配画像と眼テンプレートとのマッチングによって、眼の位置を精度よく検出することができる。
【００１３】
請求項２の発明では、前記請求項１の眼位置検出方法は、眼の強膜部と虹彩部とのエッジが強く出るような画像サイズとフィルタサイズとの相対関係を予め求めておき、前記輝度補正ステップにおける輝度勾配の算出を、前記相対関係からみて前記顔画像のサイズに適したサイズのフィルタを用いて行うものとする。
【００１４】
請求項３の発明では、前記請求項１の眼位置検出方法は、眼の強膜部と虹彩部とのエッジが強く出るような画像サイズとフィルタサイズとの相対関係を予め求めておき、前記輝度補正ステップにおける輝度勾配の算出を、所定サイズのフィルタを用い、かつ、前記顔画像のサイズを前記相対関係からみてフィルタサイズに合うように変更して行うものとする。
【００１５】
請求項４の発明では、前記請求項１の眼位置検出方法における輝度補正ステップは、前記顔画像の一部または全部の平均輝度を計算し、計算した平均輝度が、所定値よりも小さいときは、輝度補正を行う一方、前記所定値以上のときは、輝度補正を行わないものとする。
【００１６】
請求項５の発明では、前記請求項１の眼位置検出方法における輝度補正ステップは、前記顔画像の輝度補正を行う領域を複数の部分領域に分割し、前記各部分領域毎に輝度補正を行うものとする。
【００１７】
請求項６の発明では、前記請求項５の眼位置検出方法における領域分割は、輝度補正領域を左右に分割するものとする。
【００１８】
請求項７の発明では、前記請求項６の眼位置検出方法における領域分割は、輝度補正領域から鼻の位置を検出し、検出した鼻の位置を基準にして輝度補正領域を左右に分割するものとする。
【００１９】
また、請求項８の発明では、前記請求項１の眼位置検出方法における眼テンプレートは、輝度勾配ベクトルをそれぞれ有する複数の点が、まぶたと眼球の境界に相当する曲線上と、黒目の周囲とに配置されてなり、かつ、黒目周囲の点はｎ重（ｎは２以上の整数）同心円上に配置されているものである。
【００２０】
請求項８の発明は、顔画像中の眼のサイズの多少の変動をも吸収可能な眼テンプレートの形状を提案するものである。従来のテンプレートを用いた眼の検出方法では、顔領域の検出誤差や眼の大きさ・形状の個体差などのために、大きさなどが異なる複数のテンプレートを用いる必要があった。このため、マッチングにかかる時間が増大するという問題が生じていた。
【００２１】
そこで、請求項８の発明によると、眼テンプレートにおいて、黒目周囲の点がｎ重同心円上に配置されているので、眼のサイズに多少の変動があっても、これに対応することができ、精度の高いマッチングを行うことができる。
【００２２】
また、請求項９の発明では、前記請求項１の眼位置検出方法におけるマッチングは、所定値よりも大きい輝度値を有する前記顔画像の画素に対応する，輝度勾配画像上の点を、マッチングのための相関値計算の対象から省くものである。
【００２３】
請求項９の発明は、眼鏡などの反射が多少眼にかかっても、テンプレートマッチングが効率的に行える方法を提案するものである。従来のテンプレートを用いた眼の検出方法では、眼鏡などの反射が眼にかかった場合、マッチングがうまくできないという問題があった。
【００２４】
そこで、請求項９の発明によると、所定値よりも大きい輝度値を有する前記画像の画素に対応する，輝度勾配画像上の点が、マッチングのための相関値計算の対象から省かれるため、眼鏡の反射が眼にかかったとしても、その部分が相関値計算に含まれないので、眼の位置をより精度良く検出することができる。
【００２５】
また、請求項１０の発明が講じた解決手段は、赤外光照明下において撮影された少なくとも眼の領域を含む顔画像から眼の位置を検出する装置として、前記顔画像の一部または全部に対し、眼の強膜部と虹彩部とのコントラストが高くなるように輝度補正を行い、輝度補正後の顔画像について輝度勾配ベクトルを算出し、算出した輝度勾配ベクトルを用いて生成した輝度勾配画像と眼テンプレートとのマッチングを行い、前記マッチングの結果を基に眼の位置を検出するものであり、前記輝度補正において、前記顔画像の一部において、各画素の輝度勾配を計算するステップと、ヒストグラム平滑化のための変換式を、前記一部における、輝度勾配強度が上位Ａ％（Ａは所定値）にある画素を用いて、生成するステップと、生成した変換式を用いて、前記一部における全画素についてヒストグラム平滑化を実行するステップとを実行するものである。
【００２６】
また、請求項１１の発明では、前記請求項１０の眼位置検出装置における眼テンプレートは、輝度勾配ベクトルをそれぞれ有する複数の点が、まぶたと眼球の境界に相当する曲線上と黒目の周囲とに配置されてなり、かつ、黒目周囲の点はｎ重（ｎは２以上の整数）同心円上に配置されているものである。
【００２７】
また、請求項１２の発明では、前記請求項１０の眼位置検出装置におけるマッチングは、所定値よりも大きい輝度値を有する前記顔画像の画素に対応する輝度勾配画像上の点を、マッチングのための相関値計算の対象から省くものである。
【００２８】
【発明の実施の形態】
以下、本発明の実施の形態について、図面を参照して説明する。
【００２９】
図１は本発明に係る眼位置検出を利用した虹彩認識システムの概略構成を示す図である。図１はシステムを上方から見た図である。図１に示す虹彩認識システムは、Ｗ（Ｗｉｄｅ）カメラ１とＮ（Ｎａｒｒｏｗ）カメラ３とを備えた２カメラ構成になっている。Ｗカメラ１は少なくとも眼を含む画像を撮影するためのものであり、距離センタ５は眼までの距離を測距するためのものであり、Ｎカメラ３はＷカメラ１の撮影画像から決定された眼の位置と距離センサ５で測距された眼までの距離を受けて虹彩の拡大画像を撮影するためのものである。
【００３０】
図２は図１に示すような虹彩認識システムを有するシステムの例としての入退室管理システムの構成を示すブロック図である。図２に示すように、Ｗカメラ１およびＷカメラ用照明部２はＷカメラ用照明・Ｗカメラ制御部６によって制御され、Ｎカメラ３およびＮカメラ用照明部４はＮカメラ用照明・Ｎカメラ制御部１１によって制御される。そして、Ｗカメラ用照明・Ｗカメラ制御部６およびＮカメラ用照明・Ｎカメラ制御部１１はＣＰＵ７によって制御される。ＣＰＵ７はプログラムメモリ１０に格納された各処理プログラムを実行する。
【００３１】
図３は図２の入退室管理システムの動作を示すフローチャートである。以下、図３にしたがって、図２の入退室管理システムの動作について説明する。
【００３２】
入退室管理システムの前に誰か人が立つと、センサ５ａがその人を検知し、検知信号をＷカメラ用照明・Ｗカメラ制御部６に送信する（Ａ１）。Ｗカメラ用照明・Ｗカメラ制御部６はＷカメラ１およびＷカメラ用照明部２にそれぞれ、互いに同期した照明開始信号および撮影信号を送信する。すると、Ｗカメラ１が、少なくとも眼を含む人の画像を撮影する。本実施形態では、人の上半身画像が撮影されるものとする（Ａ２）。Ｗカメラ１によって撮影された画像はフレームメモリ８に蓄えられる。
【００３３】
次に、プログラムメモリ１０に蓄えられた眼探索領域決定プログラムが作動し、ＣＰＵ７によって眼探索領域が決定される（Ａ３）。
【００３４】
まず図４に示すように、Ｗカメラ１によって撮影された上半身画像ＷＣＡから人の顔領域ＦＤＡを抽出する。ここでの抽出は、顔領域ＦＤＡを安定して抽出可能であればどのような手法を用いてもかまわない。例えば、予め準備した顔テンプレートと上半身画像とのマッチングによって、顔領域ＦＤＡを抽出する。顔テンプレートは例えば、近赤外光で撮影した多数の人の顔を、大きさで正規化した後に平均化することによって、作成することができる。この場合、大きさが異なる複数の顔テンプレートを準備しておくのが好ましい。顔領域ＦＤＡを抽出した後は、顔領域ＦＤＡに対して予め定められた範囲を眼探索領域ＥＳＡとして特定する。
【００３５】
次に、プログラムメモリ１０に蓄えられた眼位置検出プログラムが作動し、ＣＰＵ７によって、眼探索領域ＥＳＡから眼の位置が検出される（Ａ４）。本実施形態はこの眼位置検出を特徴とするものであり、処理の詳細については後述する。ここでは、Ｗカメラ１の撮影画像から両目の位置が検出され、距離センサ５によって眼までの距離が検出される。これらから両眼の３次元位置が決定され、Ｎカメラ用照明・Ｎカメラ制御部１１に送信される。
【００３６】
Ｎカメラ用照明・Ｎカメラ制御部１１は、虹彩認識のために予め設定された方の目の位置に合わせて、Ｎカメラ用照明部４のパンおよびチルトとＮカメラ３のパン、チルトおよびズームとを制御し、眼画像のアップを撮影する（Ａ５）。Ｎカメラ３によって撮影された眼画像は虹彩認識部１２に送られ、虹彩認識部１２は送られた眼画像の虹彩と予め登録された虹彩データとの認証を行う（Ａ６）。虹彩認識部１２によって本人と確認されたとき、開錠部１３がドアロックを電気的に解除する（Ａ７）。
【００３７】
以下、本実施形態に係る眼位置検出動作Ａ４の詳細について、説明する。図５は眼位置検出の概略フローを示す図、図６〜図８は図５の各処理の詳細を示すフローチャートである。
【００３８】
＜前処理Ｓ００＞
前処理Ｓ００では、顔画像としての眼探索領域ＥＳＡの画像を、眼の強膜部と虹彩部とのエッジが強く出るように予め求めた，画像サイズとフィルタサイズとの相対関係に基づいて、所定サイズのフィルタに合うように、縮小する。
【００３９】
いま、眼探索領域ＥＳＡの画像のサイズが幅Ｍ、高さＮであり、輝度勾配算出（エッジ抽出）のために、図１０に示すような（３ｘ３）のＳｏｂｅｌフィルタを用いるものとする。そして、眼のエッジ強度が大きくなるような画像サイズとフィルタサイズとの比がＲであるとすると、まず、（３ｘ３）のＳｏｂｅｌフィルタに適する画像の幅Ｗ＝Ｒｘ３を計算する。そして、眼探索領域ＥＳＡの原画像を、その幅が算出された画像幅Ｗと最も近くなるように、１／ｎ（ただしｎは自然数）に縮小する。また、算出された画像幅ＷがＭよりも大きい場合は、原画像を、拡大せずにそのまま用いる。
【００４０】
ここでは計算量の削減のために、１／ｎの画像縮小を、モザイク化、すなわち原画像における（ｎｘｎ）の画素の平均値を縮小画像の画素値とすることによって行う。なお、他の手法、例えばガウシアンフィルタ等のローパスフィルタを掛けた後にサンプリングすることによって、縮小画像を生成してもよい。
【００４１】
＜コントラスト補正Ｓ１０＞
次に、縮小した眼探索領域の画像について、眼の強膜部と虹彩部とのコントラストが高くなるように、輝度補正を行う。
【００４２】
図９は眼を撮影したときの画像の例を模式的に示す図であり、（ａ）は可視光下で撮影したもの、（ｂ）は近赤外光下で撮影したものである。図９に示すように、黄色人種の場合、可視光下で撮影したときは虹彩および瞳孔がともに濃い色になり、白目／黒目のコントラストは大きい。ところが、近赤外光下で撮影したときは、瞳孔、虹彩、強膜の順に徐々に明るくなり、可視光下ほどには白目／黒目のコントラストがつかない。
【００４３】
すなわち、本実施形態においてコントラスト補正を行う理由は、赤外光下で撮影した画像は強膜（白目）部と虹彩（黒目）部とのコントラストが低いので、テンプレートとマッチングされる虹彩周囲のエッジに相当する輝度勾配の強度が、より高くなるようにするためである。本実施形態では、眼（上瞼＋虹彩周囲）のエッジに相当する輝度勾配の強度が高くなるようなコントラスト補正を行う。
【００４４】
ここでは、コントラスト補正のために、ヒストグラム平滑化を用いる。「ヒストグラム平滑化」とは、画素の濃度値が特定の値域に集中する場合、その部分のコントラストを上げ、頻度が小さい値域のコントラストを下げる処理である（詳しくは「画像解析ハンドブック」（東京大学出版会、高木幹雄・下田陽久監修）ｐ．４８０を参照）。
【００４５】
以下、コントラスト補正Ｓ１０の詳細について、図６のフローチャートに従って説明する。
【００４６】
まず、前処理Ｓ００で生成した縮小画像について、輝度勾配ベクトルを計算する（Ｓ１１）。ここでは図１０に示すような２個の（３ｘ３）サイズのＳｏｂｅｌフィルタを適用して、ｘ方向，ｙ方向の輝度勾配ベクトルＤｓｘ（ｉ，ｊ），Ｄｓｙ（ｉ，ｊ）を算出する。そして次式に示すように、算出した輝度勾配ベクトルＤｓｘ（ｉ，ｊ），Ｄｓｙ（ｉ，ｊ）の自乗和の平方根を計算することによって輝度勾配強度Ｖ（ｉ，ｊ）を算出し、輝度勾配画像を生成する（Ｓ１２）。
Ｖ（ｉ，ｊ）＝sqrt（Ｄｓｘ（ｉ，ｊ）^２＋Ｄｓｙ（ｉ，ｊ）^２）
【００４７】
次に、縮小画像を左右に二分割する（Ｓ１３）。そして、分割した各部分領域についてそれぞれ、以下の処理を行う（Ｓ１４〜Ｓ１７）。
【００４８】
まず、当該部分領域内の平均輝度を計算する（Ｓ１４）。そして、平均輝度と予め求めた閾値との比較を行う（Ｓ１５）。平均輝度が閾値よりも大きいときは、コントラスト補正を行わない。一方、平均輝度が閾値以下であるときは、輝度勾配画像における輝度勾配強度が高い部分に相当する，縮小画像の画素のみを用いて、ヒストグラム平滑化を行う（Ｓ１６）。ここでは、輝度勾配画像において輝度勾配強度が上位Ａ％にある画素の部分を、輝度勾配強度が高い部分と認識する。この際、ヒストグラム平滑化を行うときの画素値の変換式は、輝度勾配強度の上位Ａ％の画素のみを用いて算出するが、画素値の変換は全ての画素に対して行う。
【００４９】
ここで、部分領域の平均輝度が閾値よりも大きいときにはコントラスト補正を行わないようにしたのは、次のような理由からである。すなわち、部分領域内の平均輝度が閾値よりも大きい場合としては、図１１（ａ）に示すように、ほとんどの肌の部分と強膜の部分が白く飛んだような，輝度値が飽和気味の場合が考えられる。このように輝度値が飽和気味になる原因としては、照明が明る過ぎ、カメラの絞りが開き過ぎ、などが考えられる。そして、輝度値が飽和気味の画像の場合、通常の場合に比べて、虹彩部と強膜部とのコントラストが大きいので、改めてコントラスト補正を行わないでも済むといえる。
【００５０】
逆に、図１１（ａ）のような場合にコントラスト補正を行ったときは、輝度値が高い画素を多く含む領域についてコントラスト補正がなされるので、図１１（ｂ）に示すように、肌のような輝度の高い部分のコントラストがさらに高まる一方で、より暗い画素からなる眼付近の画像のコントラストが逆に圧縮されてしまうことになる。このような現象は、たとえ輝度勾配強度が高い部分の画素のみをコントラスト補正に用いた場合であっても、起こり得る。したがって、コントラスト補正を行わない方がむしろ望ましい、といえる。
【００５１】
また、ヒストグラム平滑化を、輝度勾配強度が高い部分に相当する画素のみを用いて行うことによって、眼のエッジ部分に相当する輝度値の画素が多く含まれた画素を用いたヒストグラム平滑化を行うことができるので、これにより、眼のエッジ部分のコントラストを効率良く向上させることができる。なお、輝度勾配強度が上位Ａ％にある画素の代わりに、例えば、輝度勾配強度が閾値以上の画素の部分を、輝度勾配強度が高い部分と認識してもかまわない。
【００５２】
また、ここで、縮小画像を左右に二分割して処理を行うようにしたのは、次のような理由からである。図１に示す虹彩認識システムでは、Ｗカメラ１の横にＷカメラ用照明２が配置されているので、Ｗカメラ１の近くに人が立ったとき、その人には側方から照明が当たることになる。このような場合、顔の左右で明るさが異なり画像の輝度が不均一になりやすく、画像全体でヒストグラム平滑化を行っても、十分な効果が得られない。よって、画像を複数の部分領域に分割し、各部分領域毎にヒストグラム平滑化を行うことによって、その部分領域の輝度に応じたコントラスト補正がなされることになる。
【００５３】
なお、縮小画像の分割は、例えば左右に二等分してもよいし、画像認識によって鼻を検出し、その鼻の位置を基準として左右に分割してもかまわない。また、ここでは、画像を左右に分割するものとしたが、例えば照明をカメラの上に設置したために画像の上下で輝度の不均一が生じる場合には、画像を上下に分割すればよいことはいうまでもない。
【００５４】
なお、図１の虹彩認識システムにおいて、照明をカメラの横に配置した理由について補足説明する。
【００５５】
照明とカメラの光軸がなす角度が小さい場合、眼鏡をかけた人を撮影すると、眼鏡の反射が眼の虹彩にかかってしまう可能性が高くなる。眼鏡の反射が虹彩にかかった場合、眼の位置検出が困難になるとともに、虹彩認識自体も困難になる。そこで、図１のシステムでは、照明とカメラとを横方向に離して配置し、照明とカメラの光軸のなす角度をある程度確保するようにしている。
【００５６】
また、図１２に示すように、カメラの両側に照明を設けるようなシステム構成も有効である。このようなシステムでは、例えば、最初の撮影ではいずれか一方の照明を照射させ、眼の位置検出がうまく行かない場合には、他方の照明を照射させて再度撮影を行うように動作させることもできる。
【００５７】
＜眼中心位置候補の決定Ｓ２０＞
次に、コントラスト補正がなされた画像から、眼の位置の候補をいくつか決定する。この処理Ｓ２０は、眼テンプレートマッチングＳ２１、瞳孔テンプレートマッチングＳ２２および眼中心位置の修正Ｓ２３の３つのステップに分かれて実行される。
【００５８】
（眼テンプレートマッチング）
まず、コントラスト補正後の縮小画像に対して、輝度勾配ベクトルを計算する（Ｓ２１ａ）。ここでは、コントラスト補正の場合と同様に、図１０に示すような２個の（３ｘ３）サイズのＳｏｂｅｌフィルタを適用して、ｘ方向，ｙ方向の輝度勾配ベクトルＤｓｘ２（ｉ，ｊ），Ｄｓｙ２（ｉ，ｊ）を算出する。そして、次式に示すように、算出した輝度勾配ベクトルＤｓｘ２（ｉ，ｊ），Ｄｓｙ２（ｉ，ｊ）の自乗和の平方根を計算することによって、輝度勾配強度Ｖ２（ｉ，ｊ）を算出する（Ｓ２１ｂ）。
Ｖ２（ｉ，ｊ）＝sqrt（Ｄｓｘ２（ｉ，ｊ）^２＋Ｄｓｙ２（ｉ，ｊ）^２）
さらに、輝度勾配ベクトル（Ｄｓｘ２（ｉ，ｊ），Ｄｓｙ２（ｉ，ｊ））の大きさを、その向きを保ったまま、二値化する（Ｓ２１ｃ）。例えば、輝度勾配強度Ｖ２（ｉ，ｊ）が上位Ｂ％に含まれる輝度勾配ベクトルについては、大きさが「１」になり、それ以外の輝度勾配ベクトルについては大きさが「０」になるようにする。
【００５９】
次に、マッチングに用いる眼テンプレートを生成する（Ｓ２１ｄ）。ここでは、眼テンプレートのサイズを、コントラスト補正後の縮小画像のサイズに応じて決めるものとする。例えば、予め収集した眼探索領域の画像から、画像サイズと虹彩の直径との相関関係を前もって求めておく。そして、この相関関係に基づいて、縮小画像の大きさに合った虹彩の直径Ｄを求め、この直径Ｄに応じたサイズの眼テンプレートを生成する。
【００６０】
図１３は本実施形態において用いる眼テンプレートの一例を示す図である。本実施形態に係る眼テンプレートは、図１３（ａ）に示すように、複数の点からなり、上瞼の輪郭点、すなわちまぶたと眼球の境界に相当する曲線上に配置された点と、虹彩の輪郭点、すなわち黒目の周囲に配置された点とを含んでいる。また、虹彩の輪郭点は、半径の異なるｎ重円（ｎは２以上の整数）上に配置されている。ここでは、ｎ＝２とし、外側の円ＣＯの直径は１．１ｘＤ，内側の円ＣＩの直径は０．９ｘＤと定めている。
【００６１】
図１３（ａ）の例では、上瞼の輪郭点数は左右３個ずつの計６個であり、虹彩部の輪郭点数は外側の円８個、内側の円８個の計１６個である。なお、外側の円ＣＯ上の点と内側の円ＣＩ上の点は互いに位相をずらして配置する。図１３（ａ）の例では、外側の円ＣＯでは、各点は時計の１２時の位置から４５度おきに配置されるが、内側の円ＣＩでは、各点が時計の１２時の位置から２２．５度動いた位置から４５度おきに配置される。
【００６２】
また、図１３（ｂ）に示すように、眼テンプレートの各点は、向きを持った２次元ベクトルから構成されている。各ベクトルの大きさは１であり、向きは、虹彩部については円の中心向き、上瞼部については、上瞼部の各点を結ぶ線と直交する方向でかつ下向きである。マッチングの際には、各点の２次元ベクトルと縮小画像の輝度勾配ベクトルとのマッチングスコアが計算される。
【００６３】
次に、眼テンプレートと輝度勾配画像とのマッチングを行い（Ｓ２１ｅ）、マッチングスコアｓ＿ｅｙｅが高い順に、眼位置候補を選択する（Ｓ２１ｆ）。
【００６４】
【数１】

【００６５】
マッチングスコアｓ＿ｅｙｅの算出式を上に示す。上式は、輝度勾配画像の勾配ベクトル（Ｉｘ，Ｉｙ）（Ｉｘ＝Ｄｓｘ２（ｉ，ｊ），Ｉｙ＝Ｄｓｙ２（ｉ，ｊ））と、眼テンプレートの各点のベクトル（Ｔｘ，Ｔｙ）との内積の平均値を求めたものである。ただし、ここでは、眼テンプレートの各点に対応する画像上の点の輝度値が所定の閾値以下のもののみについて内積を求めるものとする。すなわち、輝度値が閾値よりも大きい点については、マッチングのスコア計算には含めない。Ｎはマッチングスコア計算に含まれた眼テンプレートの有効点数である。
【００６６】
輝度値が所定の閾値よりも大きい点は、眼鏡の反射などに起因して輝度値が飽和した部分と考えられる。このような部分は輝度勾配がないか、または極めて少ない。このため、このような部分をマッチングのスコア計算に含めたとすると、眼鏡の反射が眼のエッジ部分にかかった場合には、その分、その部分のマッチングスコアが低下することになる。したがって、眼位置をうまく検出することができない。よって、本実施形態のように、輝度値が所定の閾値よりも大きい点をマッチングのスコア計算から除外することによって、眼鏡の反射が多少眼にかかっていても、眼位置を安定して検出することができる。
【００６７】
また、図１３に示すようなｎ重円構造を有する眼テンプレートをマッチングに用いることによって、次のような効果が得られる。すなわち、画像サイズから虹彩径を推定する場合、顔領域の推定誤差や個人間の虹彩サイズの相違などに起因して、推定された虹彩径と実際の虹彩径との間にずれがある場合がある。このような場合、単に一重円のテンプレートを用いたとすると、画像とのマッチングにおいて眼位置をうまく見つけられない可能性がある。そこで、従来は複数のサイズの一重円のテンプレートを用いてテンプレートマッチングを行い、虹彩径のずれを吸収していた。この場合、テンプレートマッチングにかかる時間が増大してしまうという問題があった。ところが本実施形態のように、虹彩部のテンプレートをｎ重円構造にすると、画像から推定した虹彩径に多少の誤差があっても、単一のテンプレートでうまくマッチングをとることができ、高速かつ確実に眼位置を検出することができる。
【００６８】
また、赤外光撮影の画像では、強膜（白目）部と虹彩（黒目）部とで輝度がなだらかに変化するため、輝度勾配が画像の一定の範囲で持続する。よって、可視光下で撮影した画像に比べて、テンプレートをｎ重円構造にしたことによる副作用は、少ない。
【００６９】
図１４は可視光撮影での画像と本実施形態に係る眼テンプレートとの関係を示す図であり、図１５は近赤外光撮影での画像と本実施形態に係る眼テンプレートとの関係を示す図である。図１４および図１５中、（ａ）は眼画像を模式的に示した図、（ｂ）は（ａ）の眼画像の点線上における横方向の輝度の分布、（ｃ）は（ｂ）の輝度分布から求めた輝度勾配強度の分布である。
【００７０】
図１４に示すように、可視光下で撮影した眼画像では、虹彩と強膜との間の輝度差が大きく、輝度は急激に変化する。このため、本実施形態に係る眼テンプレートのｎ重円構造の各点において、相関が高くなるものと相関が低くなるものとの両方が存在する可能性がある。すなわち、眼テンプレートをｎ重円構造にしたことによって、マッチングがかえってうまくいかなくなるおそれがある。これに対して図１５に示すように、赤外光下で撮影した眼画像では、虹彩と強膜との間の輝度差は小さく、輝度はなだらかに変化する。このため、輝度勾配強度がある範囲で高くなる。このため、本実施形態に係る眼テンプレートのｎ重円構造のいずれの点でも、高い相関が得られ、これにより、画像から推定した虹彩径に多少の誤差があっても、確実に眼位置を検出することができる。
【００７１】
なお、赤外光以外の照明下で撮影された場合であっても、輝度がなだらかに変化する眼画像が得られる場合には、本実施形態に係る眼テンプレートは、有効である。例えば、可視光下での撮影であっても、ピントを意図的にぼかした場合には、輝度はなだらかに変化すると考えられるので、本実施形態に係る眼テンプレートは有効である。また、虹彩の色が薄く、虹彩と強膜との輝度差が低い人を撮影した場合にも、有効であると考えられる。
【００７２】
なお、図１３の例では、ｎ＝２（二重円）、上瞼部の点数を６、虹彩部の点数を１６としたが、これは他の値であってもよい。
【００７３】
なお、本実施形態では、テンプレートの形状を虹彩の輪郭点のみｎ重円（ｎ＝２）としたが、これとともに、上瞼の輪郭点をｍ重の曲線上の点としてもよい。この場合、ｍ個の曲線は必ずしも等間隔でなくてもよく、例えば、眼の端に行くほど広がるようなｍ個の曲線であってもよい。このように眼と眼球の境界に相当する曲線もｍ重とすることによって、個人間の瞼の形状の変動や二重瞼などに対応することができる。
【００７４】
また、マッチングを行う際、輝度勾配ベクトルの大きさを二値化したことによって、次のような効果が得られる。すなわち、マッチングを行う画素が少なくなるので、計算時間が短縮される。また、輝度勾配の大きさに左右されず、輝度勾配の向きのみによるマッチングが可能になるので、輝度勾配が大きい部分に誤ってマッチングされることを防ぐことができる。
【００７５】
輝度勾配の大きさが「０」のとき、マッチングの相関は常に０であり、輝度勾配の大きさが「１」のときは、その大きさに関係なく輝度勾配の向きのみがマッチングに貢献することになる。そして、コントラスト補正をかけて眼のエッジ強度を強くすることによって、眼のエッジ部分がマッチングに貢献する画素に確実に含まれる。したがって、マッチング精度を低下させることなく、処理量を削減することができる。
【００７６】
（瞳孔テンプレートマッチング）
次に、眼テンプレートマッチングＳ２１によって選択した眼位置候補について、瞳孔テンプレートとのマッチングを行う。
【００７７】
まず、元の眼探索領域の画像サイズに応じた輝度勾配算出フィルタを生成する（Ｓ２２ａ）。前処理Ｓ００において入力画像から縮小画像を生成する際に、予め算出しておいた、眼のエッジに強く反応するような画像サイズとエッジ検出フィルタサイズとの相対関係を用いたが、ここでもその関係を用いて、最適な輝度勾配算出フィルタのサイズを求める。なお、サイズは奇数であり、最小は３とする。サイズが３のときは、輝度勾配算出フィルタは通常のＳｏｂｅｌフィルタとなる。サイズが決まったら、予め作成しておいたそのサイズのフィルタを、ここでの輝度勾配算出フィルタとする。
【００７８】
次に、生成した輝度勾配算出フィルタを適用して、眼探索領域の入力画像Ｉｏ（ｍ，ｎ）について輝度勾配ベクトルＤｘ（ｍ，ｎ），Ｄｙ（ｍ，ｎ）を算出する（Ｓ２２ｂ）。そして、次式に示すように、算出した輝度勾配ベクトルＤｘ（ｍ，ｎ），Ｄｙ（ｍ，ｎ）の自乗和の平方根を計算することによって、輝度勾配強度Ｖ３（ｍ，ｎ）を算出する（Ｓ２２ｃ）。
Ｖ３（ｍ，ｎ）＝sqrt（Ｄｘ（ｍ，ｎ）^２＋Ｄｙ（ｍ，ｎ）^２）
さらに、輝度勾配ベクトル（Ｄｘ（ｍ，ｎ）、Ｄｙ（ｍ，ｎ））の大きさを、その向きを保ったまま、二値化する（Ｓ２２ｄ）。例えば、輝度勾配強度Ｖ３（ｍ，ｎ）が上位Ｃ％に含まれる輝度勾配ベクトルについては、大きさが「１」になり、それ以外の輝度勾配ベクトルについては大きさが「０」になるようにする。
【００７９】
次に、マッチングに用いる瞳孔テンプレートを生成する（Ｓ２２ｅ）。ここでは、瞳孔テンプレートのサイズを、この眼位置候補を算出した眼テンプレートの虹彩部分の直径と画像の縮小率に応じて決めるものとする。
【００８０】
図１６は本実施形態において用いる瞳孔テンプレートの一例を示す図である。ここでは、マッチングに用いた眼テンプレートの虹彩部分の直径と、眼テンプレートのマッチング時の画像の縮小率に応じて、取り得る瞳孔径の値を数種類用意する。このように複数の瞳孔径のテンプレートを用意する理由は、瞳孔径の個人間の変動だけでなく、周囲の明るさによって瞳孔径が変化するので、それらに対応するためである。そして、各瞳孔径に対してそれぞれ、図１６（ａ）に示すような、個数Ｔｐ（図１６ではＴｐ＝８）の点が円上に等間隔に配置されたテンプレートを作成する。また、図１６（ｂ）に示すように、瞳孔テンプレートの各点は、向きを持った２次元ベクトルから構成されている。各ベクトルの大きさは１であり、向きは円の中心向きである。マッチングの際には、各点の２次元ベクトルと入力画像の輝度勾配ベクトルとのマッチングスコアが計算される。
【００８１】
次に、選択した眼位置候補に対し、瞳孔テンプレートと輝度勾配画像とのマッチングを行う（Ｓ２２ｆ）。ここでは、マッチングを行う範囲は、各眼位置候補の虹彩部に相当する部分の外接矩形内とする。そして、次式に従って、マッチングスコアｓ＿ｐｕｐｉｌを計算する。ここで、複数のサイズの瞳孔テンプレートを用いているが、スコアｓ＿ｐｕｐｉｌが最も大きくなる瞳孔テンプレートのサイズ、位置でのスコアｓ＿ｐｕｐｉｌを最終的なスコアとして選ぶことにする。
【００８２】
【数２】

【００８３】
すなわち、輝度勾配画像の勾配ベクトル（Ｉｘ，Ｉｙ）（Ｉｘ＝Ｄｘ（ｍ，ｎ），Ｉｙ＝Ｄｙ（ｍ，ｎ））と、瞳孔テンプレートの各点のベクトル（Ｔｘ，Ｔｙ）との内積の平均値が、マッチングスコアｓ＿ｐｕｐｉｌとして求められる。ただしここでは、瞳孔テンプレートの各点に対応する画像上の点の輝度値が所定の閾値以下のもののみについて、内積を求めるものとする。すなわち、輝度値が閾値よりも大きい点については、マッチングのスコア計算には含めない。Ｍはマッチングスコア計算に含まれた瞳孔テンプレートの有効点数である。
【００８４】
（眼中心位置の修正）
次に、瞳孔テンプレートによるマッチングスコアｓ＿ｐｕｐｉｌと眼テンプレートによるマッチングスコアｓ＿ｅｙｅとを大小比較する（Ｓ２３ａ）。そして、瞳孔テンプレートによるマッチングスコアｓ＿ｐｕｐｉｌの方が、眼テンプレートによるマッチングスコアｓ＿ｅｙｅよりも大きいときは、次式に従ってマッチングスコアｓ＿ｅｙｅを更新し（Ｓ２３ｂ）、眼の中心位置を瞳孔テンプレートがマッチした位置の中心に設定する（Ｓ２３ｃ）。
【００８５】
【数３】

【００８６】
ここで、Ｎは眼テンプレートの有効点数、Ｍは瞳孔テンプレートの有効点数である。一方、瞳孔テンプレートによるマッチングスコアｓ＿ｐｕｐｉｌが眼テンプレートによるマッチングスコアｓ＿ｅｙｅ以下であるときは、眼の中心位置を、眼テンプレートがマッチした位置の虹彩部の中心に設定する（Ｓ２３ｄ）。
【００８７】
なお、ステップＳ２３ａにおけるマッチングスコア更新の要否を、瞳孔テンプレートによるマッチングスコアｓ＿ｐｕｐｉｌが予め定めた閾値よりも大きいか否かによって判断してもかまわない。
【００８８】
本実施形態のように、眼の位置を、眼テンプレートによるマッチングによって探した後、瞳孔テンプレートによるマッチングによって再び探すことによって、次のような効果が得られる。
【００８９】
図９（ｂ）に示すように、赤外光撮影の眼画像では、虹彩部と強膜部との間に輝度差がつく他に、虹彩部と瞳孔部との間でも輝度差がつく。特に、眼を高解像で撮影した場合には、輝度勾配を算出すると、虹彩部と瞳孔部とのエッジがはっきりと得られる。本実施形態では、この瞳孔部のエッジを利用している。
【００９０】
ただし、瞳孔径は周囲の明るさに応じて変動する。また、低解像で撮影した画像の場合、虹彩の中央部が暗く周囲に近づくほど徐徐に明るくなるため、瞳孔のエッジのみで眼を見つけることのは難しい。加えて、瞳孔のエッジは円形であり、中央部が暗いために輝度勾配は外向きから内向きになるため、最初から瞳孔テンプレートを用いた探索を行うと、鼻の穴やほくろなどを誤って検出してしまうおそれがある。
【００９１】
そこで、本実施形態では、最初は眼のテンプレートによって眼の位置の候補を探し、次いで、瞳孔テンプレートを用いて眼位置候補の虹彩部から瞳孔を探索し、眼の中心位置候補を決定している。これは、眼の中心位置の検出精度の面で極めて有効である。例えば、本実施形態のシステムのように２カメラ構成の場合は、Ｎカメラの機械的走査の誤差の影響を考えると、眼の中心位置はできる限り厳密に算出しておくことが望ましい。瞳孔テンプレートを用いて眼の中心位置を更新することによって、Ｎカメラに多少の機械的誤差が生じても、眼をズームしたときに虹彩を撮影し損なう可能性が減ることになる。
【００９２】
また、瞳孔テンプレートによるマッチングスコアを用いて、眼テンプレートによるマッチングスコアを更新することによって、眼以外のものが、眼位置として検出されることを防ぐことができる。例えば、眼テンプレートを用いたマッチングにおいて、実際の眼の位置と眼以外のもの位置とが、同程度のマッチングスコアを有していたとする。このような状況において、眼の瞳孔が高解像で撮影され、はっきりと映っていた場合、実際の眼の位置の方では、瞳孔テンプレートによるマッチングスコアが高くなるはずである。したがって、瞳孔テンプレートによるマッチングスコアを元の眼テンプレートによるマッチングスコアに反映させることによって、実際の眼と眼以外のものとを区別することができる。
【００９３】
＜眼位置の決定Ｓ３０＞
ここまでの処理によって、眼の中心位置候補が決定されたので、最終的に、眼位置を決定する。
【００９４】
まず、決定された眼中心位置候補について、任意の２個の組み合わせを、両眼位置候補として作成する（Ｓ３１）。このとき、各両眼位置候補のスコアとして、これを構成する２個の眼中心位置候補のスコアｓ＿ｅｙｅの平均値を与える。
【００９５】
次に、各両眼位置候補から、２個の眼中心位置候補の互いの高低差が所定値以上のものを除外する（Ｓ３２）。ここでの所定値は、眼探索領域の大きさから算出するものとする。さらに、残りの各両眼位置候補から、２個の眼中心位置候補同士の距離が所定の範囲内に含まれていないものを除外する（Ｓ３３）。ここでの所定範囲は、眼探索領域の大きさから算出された最小距離および最大距離によって定められる。ステップＳ３２，Ｓ３３は、両眼位置候補のうち、両眼の位置関係からみて不適当なものを除外する処理である。
【００９６】
そして、残った両眼位置候補のうちスコアが最大のものを、両眼位置として最終的に決定する（Ｓ３４）。
【００９７】
＜画像サイズとフィルタサイズの相対関係＞
すでに説明したように、本実施形態では、予め算出しておいた、眼のエッジに強く反応するような画像サイズとフィルタサイズとの相対関係を利用している。そして、入力画像を予め準備したフィルタのサイズに応じて縮小し、この縮小画像に対してフィルタをかけることによって、眼のエッジ強度が比較的強くなるような輝度勾配画像を生成することができる。
【００９８】
近赤外光下で撮影した眼画像は、可視光下で撮影した眼画像と比べて、次の点が大きく異なる。黄色人種は白色人種に比べて、虹彩部が濃い黒色に近い色をしているが、近赤外光下で撮影した画像では、虹彩部の輝度は高くなり、強膜（白目）との輝度差は可視光下で撮影した画像ほどはつかない。そして、虹彩部から強膜部への輝度変化はなだらかなものになる。このため、虹彩／強膜間のエッジを抽出する場合、画像サイズに合ったエッジ検出フィルタのサイズがあると考えられる。
【００９９】
画像サイズとフィルタサイズとの相対関係の算出方法は、以下の通りである。
【０１００】
まず、図１７に示すような，（３×３）よりも大きい様々なサイズ（ｋ×ｋ）（ｋは奇数）の輝度勾配算出フィルタを作成する。これは、図１０に示すＳｏｂｅｌフィルタの係数値を滑らかに補間することによって、作成することができる。各係数値の算出は、例えば次のように行えばよい。
【０１０１】
ｘ方向のエッジを検出するフィルタの場合、点（ｉ，ｊ）＝（１，（ｋ＋１）／２）を中心とし、距離（ｋ−１）／２だけ離れたところで値がピーク時の半分になる２次元ガウス関数ｆ１（ｉ，ｊ）
（ただし、ｆ１（１，（ｋ＋１）／２）＝−２，
ｆ１（１，１）＝ｆ（１，ｋ）＝−１）
と、点（ｉ，ｊ）＝（ｋ，（ｋ＋１）／２）を中心とし、距離（ｋ−１）／２だけ離れたところで値がピークの半分になる２次元ガウス関数ｆ２（ｉ，ｊ）
（ただし、ｆ２（ｋ，（ｋ＋１）／２）＝２，
ｆ２（ｋ，１）＝ｆ（ｋ，ｋ）＝１）
を準備する。
【０１０２】
そして、次式のように計算することによって、各係数ｇ（ｉ，ｊ）を求める。
【０１０３】
【数４】

【０１０４】
このようにして得られた（５ｘ５）サイズのフィルタ係数は、図１８のようになる。
【０１０５】
その一方で、近赤外光下で撮影した様々なサイズの眼画像を収集する。そして、収集した眼の画像に、図１９（ａ）に示すようなエッジ強度計測ポイントを人手によって設定し、フィルタをかけたときのエッジ強度（ｘ方向輝度勾配とｙ方向輝度勾配の自乗和）を求める。この際、画像サイズはオリジナルのままで、フィルタサイズを変えたときのエッジ強度の変化や、フィルタサイズは（３ｘ３）のままで、画像の縮尺を変えたときのエッジ強度の変化を、収集した各眼画像の各計測ポイントにおいて、測定する。
【０１０６】
図１９（ｂ）は測定されたエッジ強度の変化を示すグラフである。カメラのピントが常に合っているという条件の下では、図１９（ｂ）に示すように、エッジ強度は、個人間の差異や虹彩の周りの計測ポイントの位置、または、フィルタサイズを変えるか、画像を縮小するかの違いに依らず、画像サイズとフィルタサイズの比が所定の値となるところで大きくなる。このことは、本願発明者による実験によって、確認されている。そこで、本実施形態では、エッジ強度が大きくなるような画像サイズとフィルタサイズの比を、前もって保存しておき、輝度勾配算出に利用している。
【０１０７】
（変形例）
なお、本実施形態では、コントラスト補正や眼テンプレートとのマッチングの際に、予め求めた画像サイズとフィルタサイズとの相関関係に基づいて、入力画像を、フィルタサイズに応じて縮小するものとしたが、画像サイズは変えないで、フィルタサイズを変更（拡大）するようにしてもよい。
【０１０８】
画像サイズを縮小させる場合は、眼位置の検出精度が多少は低下してしまうが、処理速度は高速になる。一方、フィルタサイズを拡大させる場合は、大きい顔画像に対しては大きなフィルタを用いることになるので、計算時間の増大を招いてしまうが、精度は低下しない。
【０１０９】
本実施形態では、縮小画像を用いて眼テンプレートによるマッチングを行い、おおまかに眼位置候補を選択してから、原画像に対して瞳孔テンプレートによるマッチングを行い、眼の中心を算出している。さらに、原画像に対する瞳孔テンプレートによるマッチングを行うのは、眼テンプレートがマッチした箇所の瞳孔部に該当する部分のみとしている。これにより、検出精度を低下させることなく、処理時間を低減することができる。
【０１１０】
なお、本実施形態に係るコントラスト補正は、本実施形態で示した手法以外の手法による眼位置の決定についても、有効である。例えば、眼テンプレートのマッチングのみによって眼位置候補を決定し、最終的な眼位置を決定する場合でも、本実施形態に係るコントラスト補正を行うことによって、顕著な効果が得られる。
【０１１１】
また、本実施形態において、コントラスト補正を省いてもかまわない。
【０１１２】
また、本実施形態に係る眼テンプレートやマッチング手法は、瞳孔テンプレートのマッチングと併せて行わない場合でも、有効である。
【０１１３】
（他のアプリケーションの例）
なお、本発明は、本実施形態で説明した入退室管理システム以外の用途にも利用することができる。例えば、カメラとＣＰＵを有する機器に、本発明に係る眼位置検出アルゴリズムと虹彩認識アルゴリズムとをソフトウェアモジュールとして組み込むことによって、個人認証機器として利用できるようになる。
【０１１４】
例えば、図２０に示すようなカメラ付きドアホン（インターホン）がＣＰＵとプログラムメモリとを備えている場合には、有線・無線によるプログラムダウンロードやメモリーカードによるプログラムセットによって、個人認証機能を持ったインターホンを実現することができる。これにより、虹彩認識によって、ドアの開錠をしたり、その人のために用意された応答メッセージを聞くことができるようになる。
【０１１５】
また、他の例として、図２１に示すようなカメラ付き携帯電話への応用が考えられる。最近の携帯電話は、インターネット接続などのためにＣＰＵやメモリを備えているため、データ通信によってプログラムをダウンロードしたり、プログラムを格納したメモリカードをメモリカードスロットにセットすることによって、個人認証機能を持った携帯電話を実現することができる。これにより、虹彩認識によって、携帯電話の他人の不正利用を排除したり、信頼性の高い電子商取引を行うことができるようになる。
【０１１６】
【発明の効果】
以上のように本発明によると、眼の位置を検出するためのマッチングの前に、眼の強膜部と虹彩部とのコントラストが強調され、強膜部と虹彩部と間のエッジ強度が高くなる。したがって、輝度勾配画像と眼テンプレートとのマッチングによって、眼の位置を精度よく検出することができる。
【０１１７】
また、眼テンプレートにおいて黒目周囲の点がｎ重同心円上に配置されているので、眼のサイズに多少の変動があってもこれに対応することができ、精度の高いマッチングを行うことができる。
【０１１８】
さらには、所定値よりも大きい輝度値を有する画素に対応する輝度勾配画像上の点が、マッチングのための相関値計算の対象から省かれるため、眼鏡の反射部分が相関値計算に含まれず、これにより、眼の位置をより精度良く検出することができる。
【０１１９】
また、眼のテンプレートによるマッチングを行うとともに、瞳孔テンプレートによるマッチングを行い、両方のマッチングスコアに基づいて、眼の位置を検出するので、眼の中心位置の位置決め精度が、従来よりも向上する。
【図面の簡単な説明】
【図１】本発明に係る眼位置検出を利用した虹彩認識システムの概略構成を示す図である。
【図２】図１に示す虹彩認識システムを有する入退室管理システムの構成を示すブロック図である。
【図３】図２の入退室管理システムの動作を示すフローチャートである。
【図４】撮影画像と顔領域および眼探索領域との関係を示す図である。
【図５】本発明の一実施形態に係る眼位置検出の概略フローを示す図である。
【図６】図５のコントラスト補正の処理の詳細を示すフローチャートである。
【図７】図５の眼位置候補決定の処理の詳細を示すフローチャートである。
【図８】図５の眼位置決定の処理の詳細を示すフローチャートである。
【図９】眼を撮影したときの画像の例を模式的に示す図であり、（ａ）は可視光下で撮影したもの、（ｂ）は近赤外光下で撮影したものである。
【図１０】（３×３）サイズのＳｏｂｅｌフィルタを示す図である。
【図１１】部分領域の輝度とコントラスト補正の効果との関係を説明するための図である。
【図１２】本発明に係る眼位置検出を利用した虹彩認識システムの他の構成を示す図である。
【図１３】本実施形態に係る眼テンプレートの一例を示す図である。
【図１４】可視光撮影での眼画像と本実施形態に係る眼テンプレートとの関係を示す図である。
【図１５】近赤外光撮影での眼画像と本実施形態に係る眼テンプレートとの関係を示す図である。
【図１６】本実施形態に係る瞳孔テンプレートを示す図である。
【図１７】（ｋ×ｋ）サイズの輝度勾配算出フィルタを示す図である。
【図１８】（５×５）サイズのフィルタ係数を示す図である。
【図１９】（ａ）は設定するエッジ強度計測ポイント、（ｂ）は画像サイズとフィルタサイズの比とエッジ強度との関係を示すグラフである。
【図２０】本発明の他の適用例としてのカメラ付きドアホンを示す図である。
【図２１】本発明の他の適用例としてのカメラ付き携帯電話を示す図である。
【符号の説明】
１Ｗカメラ
２，２ａ，２ｂＷカメラ用照明

Claims

赤外光照明下において撮影された少なくとも眼の領域を含む顔画像から、眼の位置を検出する方法であって、
前記顔画像の一部または全部に対し、眼の強膜部と虹彩部とのコントラストが高くなるように、輝度補正を行うステップと、
輝度補正後の顔画像について、輝度勾配ベクトルを算出し、算出した輝度勾配ベクトルを用いて生成した輝度勾配画像と、眼テンプレートとのマッチングを行うステップとを備え、
前記マッチングの結果を基に、眼の位置を検出するものであり、
前記輝度補正ステップは、
前記顔画像の一部において、各画素の輝度勾配を計算するステップと、
ヒストグラム平滑化のための変換式を、前記一部における、輝度勾配強度が上位Ａ％（Ａは所定値）にある画素を用いて、生成するステップと、
生成した変換式を用いて、前記一部における全画素についてヒストグラム平滑化を実行するステップとを備えたものである
ことを特徴とする眼位置検出方法。
請求項１記載の眼位置検出方法において、
眼の強膜部と虹彩部とのエッジが強く出るような画像サイズとフィルタサイズとの相対関係を予め求めておき、
前記輝度補正ステップにおける輝度勾配の算出を、前記相対関係からみて前記顔画像のサイズに適したサイズのフィルタを用いて、行うものである
ことを特徴とする眼位置検出方法。
請求項１記載の眼位置検出方法において、
眼の強膜部と虹彩部とのエッジが強く出るような画像サイズとフィルタサイズとの相対関係を予め求めておき、
前記輝度補正ステップにおける輝度勾配の算出を、所定サイズのフィルタを用い、かつ、前記顔画像のサイズを前記相対関係からみてフィルタサイズに合うように変更して、行うものである
ことを特徴とする眼位置検出方法。
請求項１記載の眼位置検出方法において、
前記輝度補正ステップは、
前記顔画像の一部または全部の平均輝度を計算し、
計算した平均輝度が、所定値よりも小さいときは、輝度補正を行う一方、前記所定値以上のときは、輝度補正を行わないものである
ことを特徴とする眼位置検出方法。
請求項１記載の眼位置検出方法において、
前記輝度補正ステップは、
前記顔画像の輝度補正を行う領域を、複数の部分領域に分割し、
前記各部分領域毎に、輝度補正を行うものである
ことを特徴とする眼位置検出方法。
請求項５記載の眼位置検出方法において、
前記領域分割は、
輝度補正領域を、左右に分割するものである
ことを特徴とする眼位置検出方法。
請求項６記載の眼位置検出方法において、
前記領域分割は、
輝度補正領域から、鼻の位置を検出し、
検出した鼻の位置を基準にして、輝度補正領域を左右に分割するものである
ことを特徴とする眼位置検出方法。
請求項１記載の眼位置検出方法において、
前記眼テンプレートは、
輝度勾配ベクトルをそれぞれ有する複数の点が、まぶたと眼球の境界に相当する曲線上と、黒目の周囲とに、配置されてなり、かつ、
黒目周囲の点は、ｎ重（ｎは２以上の整数）同心円上に配置されている
ことを特徴とする眼位置検出方法。
請求項１記載の眼位置検出方法において、
前記マッチングは、
所定値よりも大きい輝度値を有する前記顔画像の画素に対応する，輝度勾配画像上の点を、マッチングのための相関値計算の対象から、省くものである
ことを特徴とする眼位置検出方法。
赤外光照明下において撮影された少なくとも眼の領域を含む顔画像から、眼の位置を検出する装置であって、
前記顔画像の一部または全部に対し、眼の強膜部と虹彩部とのコントラストが高くなるように、輝度補正を行い、
輝度補正後の顔画像について、輝度勾配ベクトルを算出し、算出した輝度勾配ベクトルを用いて生成した輝度勾配画像と、眼テンプレートとのマッチングを行い、
前記マッチングの結果を基に、眼の位置を検出するものであり、
前記輝度補正において、
前記顔画像の一部において、各画素の輝度勾配を計算するステップと、
ヒストグラム平滑化のための変換式を、前記一部における、輝度勾配強度が上位Ａ％（Ａは所定値）にある画素を用いて、生成するステップと、
生成した変換式を用いて、前記一部における全画素についてヒストグラム平滑化を実行するステップとを実行するものである
ことを特徴とする眼位置検出装置。
請求項１０記載の眼位置検出装置において、
前記眼テンプレートは、
輝度勾配ベクトルをそれぞれ有する複数の点が、まぶたと眼球の境界に相当する曲線上と、黒目の周囲とに、配置されてなり、かつ、
黒目周囲の点は、ｎ重（ｎは２以上の整数）同心円上に配置されている
ことを特徴とする眼位置検出装置。
請求項１０記載の眼位置検出装置において、
前記マッチングは、
所定値よりも大きい輝度値を有する前記顔画像の画素に対応する，輝度勾配画像上の点を、マッチングのための相関値計算の対象から、省くものである
ことを特徴とする眼位置検出装置。