JP6322986B2 - 画像処理装置、画像処理方法および画像処理プログラム - Google Patents

Description

本発明は、画像処理装置、画像処理方法および画像処理プログラムに関する。

人物の顔を撮影した画像の目の領域から角膜による反射を示すプルキンエ像と瞳孔または虹彩とを検出し、検出したプルキンエ像と瞳孔または虹彩の中心との位置関係に基づいて、人物の視線の方向を検出する技術が提案されている。

例えば、人物の眼球に対して位置が固定された投光素子と撮像素子とを有する眼鏡型の視線検出装置で人物の視線を検出する際に、プルキンエ像を検出できない場合に、予め検出したプルキンエ像を利用して視線を検出する手法がある(例えば、特許文献1参照)。

一方、コンピュータなどの利用者の視線の方向を検出する視線検出装置では、例えば、コンピュータに接続されたディスプレイ装置やスマートフォンやタブレット型端末などの表示部に撮像素子と照明素子とが設けられる。この種の視線検出装置では、撮像素子および照明素子と人物の眼球との位置関係は変動する可能性がある。また、この種の視線検出装置では、人物が装着している眼鏡に外光やディスプレイ装置からの放射光などが映り込んだ場合に、瞳孔の位置の検出が困難になることがある。そして、眼鏡への外光などの映り込みがある状態で検出された瞳孔の位置とプルキンエ像の位置とを人物の視線の向きを算出する処理に用いると、算出される人物の視線の向きに誤差が生じる。

そこで、眼鏡への外光などの映り込みの発生を検出した場合に、視線を検出する処理を停止し、外光などの映り込みがない場合に視線の方向を算出する処理を行うことで、視線方向の算出誤差を低減する視線検出装置が提案されている(例えば、特許文献２参照)。

特開２０００−０７０２２５号公報 再公表２０１１／１５８４６３号公報

ところで、撮像素子および照明素子をコンピュータ装置に接続されたディスプレイ装置に設けた視線検出装置では、撮像素子および照明素子と人物の眼球との位置関係が変動するため、予め検出したプルキンエ像の位置を用いる手法を用いることは困難である。

また、この種の視線検出装置において、外光などが眼鏡に映り込んだ場合に視線を検出する処理を停止すると、コンピュータなどの利用者が眼鏡を掛けている場合に視線の検出が困難になる可能性がある。

本件開示の画像処理装置、画像処理方法および画像処理プログラムは、眼球の前に位置する反射部材による反射がある場合にも視線の検出に用いる目の特徴部位の検出を可能にする技術を提供することを目的とする。

一つの観点によれば、画像処理装置は、目を撮影した画像において目の領域である目領域が、反射光による影響を受けているか否かを判定する判定部と、目の特徴部位の画像に表れる反射光の影響の強さ毎に、特徴部位の画像の特徴が蓄積された蓄積部と、目領域が反射光の影響を受けていると判定された場合に、目領域のうち、蓄積部に蓄積された特徴部位の特徴と類似する特徴を有する画素を含む領域を、特徴部位として検出する検出部と、を有する。

また、別の観点によれば、画像処理方法は、目を撮影した画像において目の領域である目領域が、反射光による影響を受けているか否かを判定し、目領域が反射光の影響を受けていると判定された場合に、目領域のうち、目の特徴部位の画像に表れる反射光の影響の強さ毎に蓄積部に蓄積された特徴部位の特徴と類似する特徴を有する画素を含む領域を、特徴部位として検出する。

また、別の観点によれば、画像処理プログラムは、目を撮影した画像において目の領域である目領域が、反射光による影響を受けているか否かを判定し、目領域が反射光の影響を受けていると判定された場合に、目領域のうち、目の特徴部位の画像に表れる反射光の影響の強さ毎に蓄積部に蓄積された特徴部位の特徴と類似する特徴を有する画素を含む領域を、特徴部位として検出する、処理をコンピュータに実行させる。

本件開示の画像処理装置、画像処理方法および画像処理プログラムは、眼球の前に位置する反射部材による反射がある場合にも視線の検出に用いる目の特徴部位を検出することができる。

画像処理装置の一実施形態を示す図である。 図１に示した画像に含まれる目領域の例を示す図である。 図１に示した蓄積部の例を示す図である。 図２に示した目領域から抽出された瞳孔に含まれる画素の候補の例を示す図である。 図１に示した画像処理装置の動作を示す図である。 画像処理装置の別実施形態を示す図である。 目領域の一方のみが反射光の影響を受けている画像の例を示す図である。 図６に示した画像処理装置の動作を示す図である。 画像処理装置の別実施形態を示す図である。 図２に示した目領域の別例を示す図である。 登録部によって蓄積部に蓄積される特徴の別例を示す図である。 図９に示した抽出部によって抽出された瞳孔の輪郭を示す画素の候補の例を示す図である。 画像処理装置の別実施形態を示す図である。 図１３に示した収集部の例を示す図である。 図１３に示した画像処理装置の動作を示す図である。 画像処理装置の別実施形態を示す図である。 図１６に示した蓄積部の例を示す図である。 図１６に示した特定部の動作を示す図である。 画像処理装置のハードウェア構成の一例を示す図である。

以下、図面に基づいて、実施形態を説明する。

図１は、画像処理装置の一実施形態を示す。図１に示した画像処理装置１０は、判定部１１と、蓄積部１２と、検出部１３とを含む。画像処理装置１０に含まれる判定部１１と蓄積部１２と検出部１３との機能および動作については、図２から図４を用いて説明する。

図１に示したディスプレイ装置ＤＳＰは、コンピュータ装置ＣＯＭに接続されている。また、撮影装置ＣＡＭおよび光源ＬＵＭは、ディスプレイ装置ＤＳＰに固定されている。光源ＬＵＭは、例えば、近赤外線を放出するＬＥＤ(Light Emitting Diode)などであり、ディスプレイ装置ＤＳＰに対向する位置にいる人物Ｑ１の顔を照明する向きに固定される。また、撮影装置ＣＡＭは、光源ＬＵＭが放出する波長帯の光に対する感度を持つカメラであり、人物Ｑ１の顔をおおよそ正面から撮影する向きに配置され、人物Ｑ１の顔を含む所定の範囲を撮影する。

なお、撮影装置ＣＡＭおよび光源ＬＵＭは、デスクトップ型のコンピュータ装置ＣＯＭに接続されたディスプレイ装置ＤＳＰに内蔵されていてもよい。また、撮影装置ＣＡＭおよび光源ＬＵＭは、ノート型のコンピュータ装置に搭載された表示部に固定されてもよいし、スマートフォンやタブレット型端末などの携帯端末装置に搭載された表示部に固定されてもよい。また、撮影装置ＣＡＭおよび光源ＬＵＭは、車両のダッシュボードなどに取り付けられるカーナビゲーションシステムなどの車載端末装置の表示部に固定されてもよいし、表示部に限らず運転者の前方に固定されてもよい。同様に、撮影装置ＣＡＭおよび光源ＬＵＭは、ノート型のコンピュータ装置に搭載された表示部に内蔵されてもよいし、スマートフォンやタブレット型端末などの携帯端末装置あるいは車載端末装置に搭載された表示部に内蔵されてもよい。

図１の例において、撮影装置ＣＡＭは、矩形状のディスプレイ装置ＤＳＰの上側の辺の中央部に配置されており、光源ＬＵＭは、ディスプレイ装置ＤＳＰの下側の辺の中央部に配置されている。なお、撮影装置ＣＡＭおよび光源ＬＵＭは、被写体となる人物Ｑ１の前方方向など、撮影装置ＣＡＭによって被写体の目が撮影可能な位置に設置されてもよい。

顔認識装置ＲＣＮは、撮影装置ＣＡＭによって撮影された人物Ｑ１の顔を含む画像ＩＭＧを受け、受けた画像ＩＭＧに対して顔認識処理を行うことで、人物Ｑ１の両目を含む人物Ｑ１の顔の特徴部位を検出する。また、顔認識装置ＲＣＮは、人物Ｑ１の両目のそれぞれを含む領域である２つの目領域を画像ＩＭＧから抽出し、抽出した目領域の画像を画像処理装置１０と特徴検出装置ＣＤＴとに渡す。なお、人物Ｑ１の両目を含む顔の特徴部位を検出する方法は、顔認識処理を用いる場合に限らず、画像ＩＭＧから両目を含む顔の特徴部位を直接検出する方法を用いてもよい。

特徴検出装置ＣＤＴは、従来と同様の技術を用いて、２つの目領域のそれぞれから人物Ｑ１の眼の特徴部位として瞳孔または虹彩を検出し、検出した特徴部位の位置を視線検出装置ＤＥＴに渡す。例えば、特徴検出装置ＣＤＴは、目領域のそれぞれに眼鏡ＧＬＳなどの反射部材によって反射された外光などの影響がない状態での瞳孔と虹彩との輝度差を示すエッジを検出し、検出したエッジが円形に分布する箇所を瞳孔として検出する。特徴検出装置ＣＤＴは、２つの目領域の少なくとも一方から瞳孔を検出した場合に、検出した瞳孔の位置を示す情報として、例えば、瞳孔を示す円形の中心の位置を示す情報を視線検出装置ＤＥＴに渡す。また、特徴検出装置ＣＤＴは、例えば、２つの目領域のそれぞれにおいて、人物Ｑ１の眼球の一部である角膜の表面によって光源ＬＵＭからの光が反射されることで生じるプルキンエ像を検出し、検出したプルキンエ像の中心の位置を示す情報を視線検出装置ＤＥＴに渡す。ここで、２つの目領域のそれぞれにおいて、プルキンエ像は、他の領域よりも輝度の高い円形の領域として現れる。このため、特徴検出装置ＣＤＴは、各目領域が、眼鏡ＧＬＳなどの反射部材によって反射された外光などの影響を受けているか否かにかかわらず、各目領域からプルキンエ像を検出することが可能である。

一方、２つの目領域の双方において特徴検出装置ＣＤＴによる瞳孔の検出ができない場合に、画像処理装置１０は、図２から図５を用いて説明する処理を行うことで、２つの目領域の少なくとも一方における瞳孔の位置を特定する。そして、画像処理装置１０は、特定した位置を示す情報を視線検出装置ＤＥＴに渡す。

視線検出装置ＤＥＴは、特徴検出装置ＣＤＴまたは画像処理装置１０から受けた特徴部位の位置と、特徴検出装置ＣＤＴから受けたプルキンエ像の位置とに基づいて、人物Ｑ１の視線方向を検出する処理を行う。視線検出装置ＤＥＴは、ディスプレイ装置ＤＳＰに含まれる光源ＬＵＭと撮影装置ＣＡＭとの位置関係を示す情報を予め取得しており、取得した情報を用いて、視線方向を検出する処理を行う。視線検出装置ＤＥＴによって求められた視線方向は、例えば、ディスプレイ装置ＤＳＰの表示画面において人物Ｑ１が注視している位置の特定などに用いられる。

なお、顔認識装置ＲＣＮおよび特徴検出装置ＣＤＴは、画像処理装置１０に含まれてもよいし、また、画像処理装置１０は、視線検出装置ＤＥＴに含まれてもよい。更に、顔認識装置ＲＣＮ，特徴検出装置ＣＤＴ，画像処理装置１０および視線検出装置ＤＥＴは、コンピュータ装置ＣＯＭに含まれてもよい。

ところで、図１に示した人物Ｑ１の眼球の前に眼鏡ＧＬＳなどの反射部材がある場合に、撮影装置ＣＡＭによって撮影された画像ＩＭＧに含まれる目領域の画素の輝度値などの特徴値が、眼鏡ＧＬＳによって反射された外光などの影響を受ける場合がある。ここで、外光とは、人物Ｑ１の周囲にある光源ＬＵＭ以外の光源からの光であり、例えば、室内の照明器具やディスプレイ装置ＤＳＰによって放射される光や太陽光線などである。また、目領域の画素の特徴値は、眼球の前に位置する眼鏡ＧＬＳなどの反射部材によって散乱された光源ＬＵＭからの光の強度を示す成分を含む場合があり、この場合にも、目領域の画像は人物Ｑ１の両目のそれぞれの特徴を忠実に示さなくなる。以下の説明では、眼鏡ＧＬＳなどの反射部材によって反射された外光の成分あるいは散乱された光源ＬＵＭからの光の成分が目領域のそれぞれの画素の特徴値に含まれる場合に、目領域が反射光の影響を受けていると称する。

図２は、図１に示した画像ＩＭＧに含まれる目領域の例を示す。図２において一点鎖線で囲んだ矩形の領域ＥＬ，ＥＲは、顔認識装置ＲＣＮによる顔認識処理によって画像ＩＭＧから抽出された目領域を示す。

なお、図２の例では、目領域ＥＬは、人物Ｑ１の左目および眼鏡ＧＬＳの左側のレンズを含み、目領域ＥＲは、人物Ｑ１の右目および眼鏡ＧＬＳの右側のレンズを含んでいる。また、図２に示した目領域ＥＬにおいて、円形のパターンＰＬは、人物Ｑ１の左の瞳孔を示し、瞳孔ＰＬを取り囲む領域ＳＬは、人物Ｑ１の左の虹彩を示す。また、図２に示した目領域ＥＬにおいて、円形のパターンＰｒＬは、人物Ｑ１の左の眼球に含まれる角膜の表面により、図１に示した光源ＬＵＭからの光が反射されることで現れるプルキンエ像を示す。同様に、図２に示した目領域ＥＲにおいて、円形のパターンＰＲは、人物Ｑ１の右の瞳孔を示し、瞳孔ＰＲを取り囲む領域ＳＲは、人物Ｑ１の右の虹彩を示す。また、図２に示した目領域ＥＲにおいて、円形のパターンＰｒＲは、人物Ｑ１の右の眼球に含まれる角膜の表面で光源ＬＵＭからの光が反射されることで現れるプルキンエ像を示す。一方、図２において、目領域ＥＬ，ＥＲを示す一点鎖線は、説明のために示したものであり、画像ＩＭＧには含まれない。

図２に示した目領域ＥＲ，ＥＬのそれぞれにおいて、破線で囲んで示した矩形ＲＥＡ１，ＲＥＡ２のそれぞれは、眼鏡ＧＬＳなどの反射部材による反射光の影響を受けている領域の例を示す。即ち、図２の例は、目領域ＥＬ，ＥＲの双方が、反射光の影響を受けている例を示す。なお、図２の例では、領域ＲＥＡ１と領域ＲＥＡ２とのそれぞれにおける反射光の影響の強さの違いを、瞳孔ＰＲ，ＰＬおよび虹彩ＳＲ，ＳＬのそれぞれを示す図形に付した網掛けの濃度の違いによって示している。また、図２に示した目領域ＥＬ，ＥＲにおいて、反射光の影響を受けた領域ＲＥＡ１，ＲＥＡ２を示す破線は、説明のために示したものであり、画像ＩＭＧには含まれない。

領域ＲＥＡ１および領域ＲＥＡ２の形状は、図２に示した矩形に限らず、不定形である場合もあり、また、領域ＲＥＡ１および領域ＲＥＡ２内の各画素の輝度値に含まれる反射光による成分の大きさは、画素毎に異なる場合もある。なぜなら、図１に示したディスプレイ装置ＤＳＰの表示画面からの放射光や太陽光線などの外光が眼鏡ＧＬＳなどの反射部材で反射されて生じる反射光の強度は、外光の明るさや外光が入射する角度などによって様々に変化するからである。

図２に示した領域ＲＥＡ１および領域ＲＥＡ２のそれぞれに含まれる画素の輝度値は、人物Ｑ１の眼球の表面からの反射光の強度と眼鏡ＧＬＳのレンズなどの反射部材による反射光の強度との和で示される強度に対応する値となる。このため、領域ＲＥＡの内部の画像は、眼鏡ＧＬＳのレンズによる反射光の影響を受けていない場合に比べて、全体的に輝度が高くなっている。また、図２に示した左目の瞳孔ＰＬが領域ＲＥＡに含まれている場合に、瞳孔ＰＬの内部の画素の輝度値と瞳孔ＰＬの外側の画素の輝度値との差は、レンズによる反射光の影響を受けていない場合に比べて小さくなる場合が多い。

このため、図２に示したように、目領域ＥＬ，ＥＲのそれぞれが、眼球よりも前に位置する反射部材による反射光の影響を受けている場合に、図１に示した特徴検出装置ＣＤＴにより目領域ＥＬ，ＥＲのそれぞれから瞳孔あるいは虹彩を検出することが困難になる。

そこで、図１に示した画像処理装置１０は、判定部１１により目領域の双方に反射光の影響があると判定した場合に、予め蓄積部１２に蓄積された情報に基づいて、検出部１３により、例えば、図２に示した目領域ＥＬ，ＥＲ内の瞳孔ＰＬ，ＰＲを検出する。なお、瞳孔ＰＬ，ＰＲは、人物Ｑ１の目の特徴部位の一例であり、画像処理装置１０は、人物Ｑ１の目の特徴部位として、瞳孔ＰＬ，ＰＲの代わりに虹彩ＳＬ，ＳＲの位置を特定してもよいし、瞳孔と虹彩との双方を目の特徴部位として検出してもよい。目の特徴部位として虹彩を検出する画像処理装置については、図１６〜図１７を用いて後述する。

画像処理装置１０に含まれる判定部１１と検出部１３とは、顔認識装置ＲＣＮから目領域の画像を受ける。判定部１１の出力は、検出部１３に接続される。また、蓄積部１２と検出部１３とは互いに接続されており、検出部１３は、蓄積部１２に蓄積された情報を参照可能である。

図１に示した判定部１１は、例えば、図２に示した目領域ＥＬ，ＥＲのそれぞれについて、目領域ＥＬ，ＥＲに含まれる画素の輝度値のヒストグラムを求め、求めたヒストグラムに基づいて、各目領域ＥＬ，ＥＲが反射光の影響を受けているか否かを判定する。例えば、判定部１１は、反射光の影響がある場合に対応する第１のヒストグラムと反射光の影響がない場合に対応する第２のヒストグラムとを内蔵のメモリなどに予め保持しておく。そして、判定部１１は、目領域ＥＬ，ＥＲのそれぞれについて求めたヒストグラムと保持した第１のヒストグラムおよび第２のヒストグラムのそれぞれとを比較する。求めたヒストグラムが第２のヒストグラムよりも第１のヒストグラムに類似する場合に、判定部１１は、対応する目領域は反射光の影響を受けていると判定する。一方、求めたヒストグラムが第２のヒストグラムよりも第１のヒストグラムに類似する場合に、判定部１１は、対応する目領域は反射光の影響を受けていないと判定する。

例えば、図２に示した目領域ＥＬについて求めたヒストグラムと第１のヒストグラムとの類似度は、目領域ＥＬついて求めたヒストグラムと第２のヒストグラムとの類似度よりも高くなるため、判定部１１は、目領域ＥＬは反射光の影響を受けていると判定する。同様に、図２に示した目領域ＥＲについて求めたヒストグラムと第１のヒストグラムとの類似度は、目領域ＥＲついて求めたヒストグラムと第２のヒストグラムとの類似度よりも高くなるため、判定部１１は、目領域ＥＲは反射光の影響を受けていると判定する。

なお、判定部１１において、各目領域ＥＬ，ＥＲが反射光の影響を受けているか否かを判定する手法は、ヒストグラムの比較を用いる方法に限らず、反射光の影響の有無による画像の特徴の違いを検出する方法であればよい。例えば、判定部１１は、各目領域ＥＬ，ＥＲから検出したエッジのそれぞれの勾配を求め、求めた勾配の平均値と、反射光の影響を受けていない目領域から検出したエッジについて求めた勾配の平均値との比較に基づいて、反射光の影響の有無を判定してもよい。

また、図１に示した眼鏡ＧＬＳのレンズは、人物Ｑ１の眼球の前に位置する反射部材の一例であり、判定部１１によって判定される反射光の影響は、図１に示した眼鏡ＧＬＳのレンズによる反射光の影響に限られない。即ち、判定部１１によって影響の有無が判定される反射光は、例えば、人物Ｑ１の眼球の前に位置する反射部材による反射光であればよく、例えば、ブルーライトの入射を軽減する目的などで眼鏡ＧＬＳに装着されるフィルム部材による反射光も含まれる。また、判定部１１は、人物Ｑ１の眼球の前に複数種類の反射部材があり、複数種類の反射部材のそれぞれによる反射光の成分が複合している場合にも、以上に説明した処理と同様の処理により、目領域の画素の特徴値への影響の有無を判定することができる。

図１に示した蓄積部１２は、２つの目のそれぞれに含まれる特徴部位の画像に表れる反射光の影響の強さ毎に、特徴部位の画像の特徴を予め蓄積している。例えば、蓄積部１２は、強さの異なる複数種類の反射光の影響がある状態のそれぞれに対応して、目領域に含まれる特徴部位の画像の特徴として、瞳孔の内部にある画素の輝度値と瞳孔の周囲にある虹彩に含まれる画素の輝度値との組を蓄積している。

図３は、図１に示した蓄積部１２の例を示す。図３に示した蓄積部１２に含まれる各行は、互いに異なる強さを持つ反射光の影響がある状態に対応しており、瞳孔の輝度値を示す列の要素と虹彩の輝度値を示す列の要素とを含んでいる。

図３の例では、蓄積部１２は、図２に示した領域ＲＥＡ１における反射光の影響の強さに相当する強さの影響を受けている状態での瞳孔の輝度Ｂｐ１および虹彩の輝度Ｂｓ１を示す情報を、瞳孔の特徴の一つとして蓄積している。同様に、図３に示した蓄積部１２は、図２に示した領域ＲＥＡ２における反射光の影響の強さに相当する強さの影響を受けている状態での瞳孔の輝度Ｂｐ２および虹彩の輝度Ｂｓ２を示す情報を、瞳孔の特徴の一つとして蓄積している。なお、図３の例では、領域ＲＥＡ１、ＲＥＡ２のそれぞれにおける反射光の影響の強さとは異なる反射光の影響の強さに対応して蓄積された特徴部位の画像の特徴の図示は省略されている。また、様々な強さの反射光の影響がある状態における特徴部位の画像の特徴を蓄積部１２に蓄積する手法については、図６〜図８を用いて後述する。

そして、図１に示した検出部１３は、目領域の双方が反射光の影響を受けていると判定された場合に、目領域のそれぞれに含まれる画素のうち、蓄積部１２に蓄積された特徴部位の特徴と類似する特徴を有する画素を含む領域を、特徴部位として検出する。

検出部１３は、例えば、図２に示した目領域ＥＬに含まれる画素ＰｘＬ１の輝度値に類似する瞳孔の輝度値と画素ＰｘＬ１から距離ｄの位置にある画素ＰｘＬ２の輝度値に類似する虹彩の輝度値との組を、蓄積部１２に蓄積された瞳孔の特徴から探す。そして、画素ＰｘＬ１の輝度値に類似する瞳孔の輝度値と画素ＰｘＬ２の輝度値に類似する虹彩の輝度値との組が蓄積部１２に含まれている場合に、検出部１３は、瞳孔ＰＬに含まれる画素の候補として画素ＰｘＬ１を抽出する。

同様に、検出部１３は、目領域ＥＲに含まれる画素ＰｘＲ１の輝度値に類似する瞳孔の輝度値と画素ＰｘＲ１から距離ｄの位置にある画素ＰｘＲ２の輝度値に類似する虹彩の輝度値との組を、蓄積部１２に蓄積された瞳孔の特徴から探す。そして、画素ＰｘＲ１の輝度値に類似する瞳孔の輝度値と画素ＰｘＲ２の輝度値に類似する虹彩の輝度値との組が蓄積部１２に含まれている場合に、検出部１３は、瞳孔ＰＲに含まれる画素の候補として画素ＰｘＬ１を抽出する。

ここで、画素ＰｘＬ１，ＰｘＬ２の間および画素ＰｘＲ１，ＰｘＲ２の間の距離ｄは、例えば、画像ＩＭＧに瞳孔ＰＬ、ＰＲの画像として含まれる円形のパターンの半径よりも大きく、円形のパターンの直径よりも小さい値に設定されることが望ましい。

図４は、図２に示した目領域ＥＲから抽出された瞳孔ＰＲに含まれる画素の候補の例を示す。なお、図４に示す要素のうち、図２に示した要素と同等のものは、同一の符号で示すとともに要素の説明を省略する場合がある。また、図４において、破線で示した図形は、まぶたおよび虹彩の輪郭と図１に示した検出部１３の処理で抽出された画素の候補との位置関係を示すための図形であり、目領域ＥＲから抽出された瞳孔ＰＲに含まれる画素の候補を示す画像には含まれない。

図４において実線で示した矩形のそれぞれは、蓄積部１２に蓄積された瞳孔の特徴に基づいて、検出部１３により、瞳孔ＰＲに含まれる画素の候補として、目領域ＥＲから抽出された画素の例を示す。また、図４に示した領域Ｐｃ１および領域Ｐｃ２のそれぞれは、検出部１３によって抽出された画素の候補を含む領域の例を示す。

図１に示した検出部１３は、例えば、抽出した画素の候補を含む領域（例えば、図４に示した領域Ｐｃ１，Ｐｃ２）の中から、他の領域よりも、円形に近い形状を有する領域を見つけ、見つけた領域を瞳孔ＰＲの領域として検出する。

図４の例では、領域Ｐｃ１の輪郭と点線で示した瞳孔ＰＲの輪郭を示す円形との類似度が、例えば、別の領域Ｐｃ２の輪郭と瞳孔ＰＲの輪郭を示す円形との類似度に比べて高くなっている。この場合に、検出部１３は、領域Ｐｃ１を瞳孔ＰＲとして検出する。

同様にして検出部１３は、図２に示した目領域ＥＬから瞳孔ＰＬに含まれる画素の候補として抽出した画素を含む領域から、他の領域よりも円形に近い形状を持つ領域を見つけることで、瞳孔ＰＬを検出することができる。

図５は、図１に示した画像処理装置１０の動作を示す。図５に示したステップＳ３０１〜ステップＳ３０３の処理は、図１に示した画像処理装置１０の動作を示すとともに、反射光の影響が両方の目領域にある場合に人物Ｑ１の目の特徴部位を検出するための画像処理方法および画像処理プログラムの例を示す。例えば、図５に示す処理は、画像処理装置１０に搭載されたプロセッサが画像処理プログラムを実行することで実現される。なお、図５に示す処理は、画像処理装置１０に搭載されるハードウェアによって実行されてもよい。また、図５に示したステップＳ３０１〜ステップＳ３０３の処理は、例えば、図１に示した画像処理装置１０が、顔認識装置ＲＣＮから図２に示した目領域ＥＲ，ＥＬの画像を受ける毎に実行されてもよい。すなわち、図５に示したステップＳ３０１〜ステップＳ３０３の処理は、撮影装置ＣＡＭによって人物Ｑ１が撮影される毎に実行されてもよい。

ステップＳ３０１において、図１に示した判定部１１は、図２を用いて説明したようにして、顔認識装置ＲＣＮから受けた目領域ＥＲ，ＥＬのそれぞれが眼球の表面以外の反射部材による反射光の影響を受けているか否かを判定する。

ステップＳ３０２において、画像処置装置１０に搭載されたプロセッサは、ステップＳ３０１の処理で、目領域ＥＲ，ＥＬの双方が反射光による影響を受けているとされたか否かを判定する。

図２の例のように、目領域ＥＬ、ＥＲの双方が眼鏡ＧＬＳのレンズなどの反射部材による反射光の影響を受けているとされた場合に(ステップＳ３０２の肯定判定(ＹＥＳ))、処理は、ステップＳ３０３に進む。

ステップＳ３０３において、検出部１３は、図２および図４を用いて説明したようにして、目領域ＥＬ，ＥＲのそれぞれから、蓄積部１２に蓄積された特徴部位の特徴と類似する特徴を有する画素を抽出し、抽出した画素含む領域を特徴部位として検出する。

目領域ＥＲ，ＥＬの双方が反射光による影響を受けているとされた場合に、ステップＳ３０３の処理で検出された特徴部位の位置を示す情報は、特徴検出装置ＣＤＴによる検出結果の代わりに視線検出装置ＤＥＴに渡される。つまり、視線検出装置ＤＥＴは、目領域ＥＲ，ＥＬの双方が反射光による影響を受けているとされた場合に、画像処理装置１０から渡された特徴部位の位置に基づいて、人物Ｑ１の視線の向きを求める。

一方、目領域ＥＬ，ＥＲの少なくとも一方が眼鏡ＧＬＳのレンズなどの反射部材による反射光の影響を受けていないとされた場合に(ステップＳ３０２の否定判定(ＮＯ))、画像処理装置１０は、特徴部位の位置を特定せずに処理を終了する。

そして、この場合に、視線検出装置ＤＥＴは、特徴検出装置ＣＤＴによって目領域ＥＬ，ＥＲのそれぞれから検出された特徴部位の位置を用いて、人物Ｑ１の視線の向きを求める。

以上に説明したように、図１に示した画像処理装置１０は、目領域の双方が反射光の影響を受けている場合に、蓄積部１２に蓄積された特徴情報に基づいて、目領域のそれぞれにおいて瞳孔を表す画素の候補を抽出することで、左右の目の瞳孔の位置を特定する。

即ち、図１に示した画像処理装置１０は、眼球の前に位置する反射部材による反射がある場合にも、人物Ｑ１の視線の検出に用いる目の特徴部位として、左右の瞳孔ＰＬ，ＰＲの位置を特定することが可能である。

画像処理装置１０により検出する目の特徴部位は、図２などに示した瞳孔ＰＬ，ＰＲに限らず、図２に示した左右の虹彩ＳＬ，ＳＲでもよいし、瞳孔ＰＬ，ＰＲと虹彩ＳＬ，ＳＲとの双方を検出してもよい。なお、特徴部位として虹彩ＳＬ，ＳＲを検出する画像処理装置１０については、図１６、図１７を用いて後述する。

次に、図１に示した撮影装置ＣＡＭで撮影された画像ＩＭＧに基づいて、特徴部位の画像の特徴を蓄積部１２に蓄積する手法について説明する。

図６は、画像処理装置１０の別実施形態を示す。なお、図６に示す構成要素のうち、図１に示した構成要素と同等のものは、同一の符号で示すとともに構成要素の説明を省略する場合がある。

図６に示した画像処理装置１０は、図１に示した判定部１１と蓄積部１２と検出部１３とに加えて、特定部１４と登録部１５とを含んでいる。特定部１４は、判定部１１の出力と、特徴検出装置ＣＤＴの出力とを受ける。また、登録部１５は、顔認識装置ＲＣＮによって抽出された目領域を受けるとともに、特定部１４の出力を受ける。そして、登録部１５の出力は、蓄積部１２に渡される。

ここで、撮影装置ＣＡＭによって例えば時間間隔を空けて人物Ｑ１を繰り返し撮影する場合に、撮影された複数の画像ＩＭＧの中には、両目のそれぞれに対応する目領域ＥＬ，ＥＲの一方のみが反射光の影響を受けている画像ＩＭＧが含まれる可能性がある。

図７は、目領域ＥＬ，ＥＲの一方のみが反射光の影響を受けている画像ＩＭＧの例を示す。なお、図７に示す要素のうち、図２または図４に示した要素と同等のものは、同一の符号で示すとともに要素の説明を省略する場合がある。

図７は、人物Ｑ１の左目に対応する目領域ＥＬが眼鏡ＧＬＳのレンズなどによる反射光の影響を受け、人物Ｑ１の右目に対応する目領域ＥＲは眼鏡ＧＬＳのレンズなどによる反射光の影響を受けない例を示している。つまり、図７は、人物Ｑ１の両目のそれぞれに対応する２つの目領域ＥＬ，ＥＲの一方が、眼球の前に位置する反射部材による反射光の影響を受けている例を示す。

図７において、破線で示した矩形ＲＥＡは、目領域ＥＬの中で、眼鏡ＧＬＳの左側のレンズによる反射光により輝度値が影響を受けている領域の例を示す。なお、図７において、反射光による影響を受けている領域ＲＥＡを示す破線は、説明のために示したものであり、画像ＩＭＧには含まれない。

ところで、人物Ｑ１の顔を含む領域を撮影した画像ＩＭＧにおいて、一方の目領域ＥＲに含まれる瞳孔ＰＲとプルキンエ像ＰｒＲとの相対位置と、他方の目領域ＥＬに含まれる瞳孔ＰＬとプルキンエ像ＰｒＬの相対位置との間には相関関係がある。また、プルキンエ像ＰｒＲ，ＰｒＬは、いずれも、目領域ＥＲ，ＥＬに含まれる他の画像に比べて輝度の高い円形のパターンである。したがって、特徴検出装置ＣＤＴは、図７に示したように、領域ＲＥＡにプルキンエ像ＰｒＬが含まれている場合でも、例えば、輝度値が所定値以上である画素が円形のパターンで分布している箇所を検出することで、プルキンエ像ＰｒＬの位置を検出可能である。そして、特徴検出装置ＣＤＴは、図７に示した目領域ＥＲから特徴部位として検出した瞳孔ＰＲの位置とともに、目領域ＥＲ，ＥＬのそれぞれから検出したプルキンエ像ＰｒＲ，ＰｒＬのそれぞれの位置を示す情報を特定部１４に渡す。

そこで、図６に示した特定部１４は、反射光の影響を受けていない目領域から検出された瞳孔とプルキンエ像の相対位置と、反射光の影響を受けている目領域から検出されたプルキンエ像の位置とから、反射光の影響を受けている目領域の瞳孔の位置を特定する。

例えば、特定部１４は、特徴検出装置ＣＤＴによって図７に示した目領域ＥＲから検出された瞳孔ＰＲおよびプルキンエ像ＰｒＲの位置に基づいて、瞳孔ＰＲとプルキンエ像ＰｒＲとの相対位置を求める。そして、特定部１４は、目領域ＥＬから特徴検出装置ＣＤＴによって検出されたプルキンエ像ＰｒＬの位置を基準として、求めた相対位置で示される位置を、瞳孔ＰＬの位置として登録部１５に渡す。

なお、特定部１４は、反射光の影響を受けている目領域(例えば、図７の目領域ＥＬ)について特定した特徴部位(例えば、瞳孔ＰＬ)の位置を、視線検出装置ＤＥＴに渡してもよい。また、特定部１４は、例えば、瞳孔ＰＲとプルキンエ像ＰｒＲの相対位置で示される目領域ＥＬ内の位置を含む所定の領域から、目領域ＥＲから検出された瞳孔ＰＲの輪郭と類似した輪郭を持つパターンを検出することで、瞳孔ＰＬの位置を特定してもよい。なお、反射光の影響を受けた目領域に含まれる瞳孔の位置の特定に、パターンマッチング処理を用いる特定部１４については、図７、図８を用いて後述する。

図６に示した登録部１５は、反射光の影響を受けているとされた目領域（例えば、図７の目領域ＥＬ）を受け、受けた目領域から、特定部１４で特定された特徴部位の位置で示される領域の画像の特徴を抽出し、抽出した特徴を蓄積部１２に蓄積させる。

登録部１５は、例えば、図７に示した目領域ＥＬにおいて、特定部１４により特定された瞳孔ＰＬの位置の画素ＰｘＬ１の輝度値と、画素ＰｘＬ１から所定の距離ｄの位置の画素ＰｘＬ２の輝度値との組を、瞳孔の特徴の一つとして蓄積部１２に登録する。ここで、特定部１４によって特定された位置の画素ＰｘＬ１と画素ＰｘＬ1から所定の距離ｄの位置にある別の画素ＰｘＬ２とは、特定された特徴部位の位置で示される領域の一例である。

図７に示した画素ＰｘＬ１と画素ＰｘＬ２との間の距離ｄは、例えば、反射光の影響を受けていない目領域ＥＲから検出された瞳孔ＰＲを示す円形の半径よりも大きく、瞳孔ＰＲを示す円形の直径よりも小さい値に設定されることが望ましい。この場合に、画素ＰｘＬ１の輝度値と画素ＰｘＬ２の輝度値との組は、反射光の影響を受けた状態での瞳孔ＰＬの輝度と同じ反射光の影響を受けた状態での虹彩ＳＬの輝度を示す。即ち、登録部１５によって蓄積部１２に登録される２つの輝度値の組は、人物Ｑ１の両目のそれぞれに対応する目領域の画像が眼鏡ＧＬＳなどの反射部材による反射光の影響を受けている場合に、瞳孔および虹彩の画像が示す特徴を示す。なお、図２において、画素ＰｘＬ１および画素ＰｘＬ２のそれぞれを示す矩形は、説明のために示した図形であり、画像ＩＭＧには含まれない。

図８は、図６に示した画像処理装置１０の動作を示す。なお、図８に示すステップのうち、図５に示したステップと同等のものは、同一の符号で示すとともにステップの説明を省略する場合がある。図８に示すステップＳ３０１〜ステップＳ３０６の処理は、例えば、画像処理装置１０に搭載されたプロセッサが画像処理プログラムを実行することで実現される。なお、図８に示す処理は、画像処理装置１０に搭載されるハードウェアによって実行されてもよい。

図６に示した画像処理装置１０は、図８に示したステップＳ３０２の否定判定(ＮＯ)ルートにおいて、次に述べるステップＳ３０４，Ｓ３０５，Ｓ３０６の処理を実行する。

ステップＳ３０４において、画像処理装置１０に搭載されたプロセッサは、眼鏡ＧＬＳなどの反射部材による反射光の影響を受けている目領域が２つの目領域ＥＬ，ＥＲの一方のみであるか否かを判定する。

図７に示した例のように、目領域ＥＬのみが眼鏡ＧＬＳなどの反射部材による反射光の影響を受けているとされた場合に(ステップＳ３０４の肯定判定(ＹＥＳ))、処理は、ステップＳ３０５に進む。

一方、目領域ＥＬ，ＥＲの双方ともに眼鏡ＧＬＳなどの反射部材による反射光の影響を受けていないとされた場合に(ステップＳ３０４の否定判定(ＮＯ))、図６に示した画像処理装置１０は、特徴部位の位置を特定せずに処理を終了する。

ステップＳ３０５において、図６に示した特定部１４は、図７を用いて説明したようにして、反射光の影響を受けているとされた目領域(例えば、目領域ＥＬ)に含まれる特徴部位の位置として、例えば瞳孔ＰＬの位置を特定する。

ステップＳ３０６において、図６に示した登録部１５は、反射光の影響を受けているとされた目領域の中で、ステップＳ３０５の処理で特定された位置で示される画素の特徴値を、反射光の影響を受けた特徴部位の画像の特徴として蓄積部１２に蓄積させる。

以上に説明したように、図６に示した画像処理装置１０は、目領域ＥＬ，ＥＲの一方にのみ反射光の影響があると判定される毎に、ステップＳ３０５，Ｓ３０６の処理を実行することで、反射光の影響を受けた特徴部位の画像の特徴を蓄積部１２に蓄積させる。

したがって、図６に示した撮影装置ＣＡＭにより多数の画像ＩＭＧが撮影される過程で、目領域ＥＲ，ＥＬが受ける反射光の強さが様々に変化すれば、登録部１５により、様々な強さの反射光の影響を受けた瞳孔の画像の特徴が蓄積部１２に集積される。即ち、図６に示した画像処理装置１０によれば、撮影装置ＣＡＭによって時系列的に撮影される画像ＩＭＧに基づいて、蓄積部１２に、反射光の影響の強さ毎に、反射光の影響を受けた特徴部位の画像の特徴を蓄積させることができる。つまり、図６に示した画像処理装置１０は、視線検出装置ＤＥＴによる人物Ｑ１の視線の向きの検出を行う過程と並行して、両方の目領域に反射光の影響がある場合の特徴部位の検出に用いる情報を生成し、蓄積部１２に蓄積させることができる。

なお、登録部１５により、図３に示した蓄積部１２の列「虹彩の輝度値」に輝度値を蓄積させる画素は、図２および図８に示した位置関係で示される画素に限らず、特定部１４によって特定された位置を中心とする半径ｄの円周上にある画素であればよい。また、登録部１５は、特定された位置を中心とし、反射光の影響を受けていない目領域で検出された瞳孔と同等の半径を持つ円形の内側にある複数の画素のそれぞれの輝度値と、当該画素と輪郭を挟んで対向する画素の輝度値との組を蓄積部１２に蓄積させてもよい。反射光の影響を受けた瞳孔の画像の特徴の一つとして、蓄積部１２に登録部１５が輝度値を蓄積させる画素の組の別例については、図１１を用いて後述する。

以上に説明したように、図６に示した画像処理装置１０は、目領域の一方が眼鏡ＧＬＳのレンズによる反射光の影響を受けている場合に、反射光の影響を受けた瞳孔の画像の特徴を蓄積部１２に蓄積する。そして、目領域の双方が反射光の影響を受けている場合に、蓄積部１２に蓄積された特徴に基づいて、目領域に含まれる画素の中から、検出部１３により瞳孔を表す画素の候補を抽出することで、左右の目の瞳孔を検出する。

即ち、図６に示した画像処理装置１０は、人物Ｑ１に装着された眼鏡ＧＬＳのレンズなどによる反射光の影響のために特徴検出装置ＣＤＴでの特徴部位の検出が困難な場合にも、目領域ＥＬ，ＥＲのそれぞれでの瞳孔ＰＬ，ＰＲの位置を特定することが可能である。

なお、画像処理装置１０により検出する人物Ｑ１の目の特徴部位は、図２、図７に示した瞳孔ＰＬ，ＰＲに限らず、同じく図２、図７に示した左右の虹彩ＳＬ，ＳＲでもよいし、瞳孔ＰＬ，ＰＲと虹彩ＳＬ，ＳＲとの双方を検出してもよい。なお、特徴部位として虹彩ＳＬ，ＳＲを検出する画像処理装置１０については、図１６、図１７を用いて後述する。

図９は、画像処理装置１０の別実施形態を示す。なお、図９に示す構成要素のうち、図６に示した構成要素と同等のものは、同一の符号で示すとともに構成要素の説明を省略する場合がある。

図９に示した検出部１３ａは、抽出部１３１と位置特定部１３２とを含んでいる。抽出部１３１は、判定部１１により、目領域ＥＬ，ＥＲの一方が眼鏡ＧＬＳなどの反射部材による反射光の影響を受けているとされた場合に、反射光の影響を受けているとされた目領域の画像を受ける。また、抽出部１３１と蓄積部１２とは互いに接続されており、抽出部１３１は、蓄積部１２に蓄積された情報を参照可能である。抽出部１３１の出力は、位置特定部１３２に渡され、位置特定部１３２によって行われる特徴部位の位置を特定する処理に用いられる。そして、位置特定部１３２の出力は、視線検出装置ＤＥＴに渡される。なお、検出部１３ａに含まれる抽出部１３１および位置特定部１３２の機能および動作については、図１１および図１２を用いて後述する。

図９に示した特定部１４ａは、予測部１４１と、探索部１４２とを含んでいる。予測部１４１は、目領域ＥＬ，ＥＲの一方が眼鏡ＧＬＳなどの反射部材による反射光の影響を受けているとされた場合に、反射光の影響を受けていないとされた目領域から特徴検出装置ＣＤＴにより検出された特徴部位およびプルキンエ像の位置を示す情報を受ける。また、予測部１４１は、目領域ＥＬ，ＥＲの一方が眼鏡ＧＬＳなどの反射部材による反射光の影響を受けているとされた場合に、反射光の影響を受けているとされた目領域から特徴検出装置ＣＤＴによって検出されたプルキンエ像の位置を示す情報を受ける。予測部１４１の出力は、探索部１４２に渡され、探索部１４２による探索処理において、特徴部位を探索する範囲の設定に用いられる。また、探索部１４２による探索で得られた特徴部位の位置を示す情報は、登録部１５に渡され、特徴部位の画像の特徴として蓄積部１２に輝度値を蓄積させる画素の特定に用いられる。

検出部１３ａに含まれる抽出部１３１および位置特定部１３２の説明に先立って特定部１４ａに含まれる予測部１４１および探索部１４２の機能および動作を説明する。

予測部１４１は、図６に示した特定部１４と同様に、反射光の影響を受けていないとされた目領域のプルキンエ像と瞳孔との相対位置と、反射光の影響を受けている目領域のプルキンエ像の位置とから、後者の目領域に含まれる瞳孔の位置を予測する。

ところで、反射光の影響を受けている目領域からプルキンエ像として検出される領域は、反射光の影響を受けていない目領域から検出されるプルキンエ像に比べて、真円度が低い場合がある。

図１０は、図２に示した目領域ＥＬの別例を示す。なお、図１０に示す要素のうち、図２に示した要素と同等のものは、同一の符号で示すとともに構成要素の説明を省略する場合がある。図１０において、破線で示した矩形の領域ＲＥＡ３は、目領域ＥＬにおいて、眼鏡ＧＬＳなどの反射部材による反射光の成分により、輝度値が影響を受けている領域を示す。ここで、図１０において領域ＲＥＡ３を示す破線は、説明のために示したものであり、目領域ＥＬの画像には含まれない。

図１０に示した楕円形の領域ＰｒＬ１は、図９に示した特徴検出装置ＣＤＴにより、反射光の影響を受けた領域ＲＥＡ３を含む目領域ＥＬからプルキンエ像として抽出された領域を示し、点ＰｒＬｃは、領域ＰｒＬ１の形状から求めたプルキンエ像の中心位置を示す。

図１０に示したように、反射光の影響とプルキンエ像とが重なり合う場合には、特徴検出装置ＣＤＴでプルキンエ像の検出に用いる閾値以上の輝度を有する画素を含む領域として、領域ＰｒＬ１のように円形とは異なる形状を持つ領域が検出される場合がある。

この場合に、領域ＰｒＬ１の形状から求めた中心位置ＰｒＬｃは、撮影装置ＣＡＭによって撮影された人物Ｑ１の左の眼球に対応する本来のプルキンエ像の位置からずれている可能性がある。そして、点ＰｒＬｃの位置に基づいて予測された人物Ｑ１の左の瞳孔の中心位置ＰＬｃは、目領域ＥＬに含まれる本来の瞳孔ＰＬの中心と一致しない可能性がある。

そこで、図９に示した探索部１４２は、予測部１４１によって予測された瞳孔の中心位置ＰＬｃを含む所定の範囲ＡＳにおいて、反射光の影響がないとされた目領域から検出された瞳孔と同等の形状を持つパターンを探索することで、瞳孔ＰＬを検出する。また、探索部１４２は、検出した瞳孔ＰＬの外形に基づいて、瞳孔ＰＬの中心の位置として、図１０において白色の円形で示した点ＰＬｃ１の位置を求める。そして、探索部１４２は、第１の目領域(例えば、図８の目領域ＥＬ)に含まれる特徴部位の位置として、求めた瞳孔ＰＬの中心ＰＬｃ１の位置を示す情報を図９に示した蓄積部１２に渡すとともに、視線検出装置ＤＥＴに渡す。

なお、図１０に示した点ＰｒＬｃおよび点ＰＬｃを示す黒色の円形および点ＰＬｃ１を示す白色の円形は、説明のためのものであり、目領域ＥＬの画像には含まれない。同様に、図１０において、探索部１４２による探索の範囲ＡＳを示す二点鎖線は、説明のためのものであり、目領域ＥＬの画像には含まれない。

以上に説明したように、図９に示した特定部１４ａは、反射光の影響を受けた目領域に含まれる瞳孔の位置の検出に、左右の瞳孔の形状が互いに類似していることを利用する。これにより、反射光の影響によってプルキンエ像が変形している場合などに、変形したプルキンエ像の位置をそのまま用いた場合に比べて、反射光の影響を受けた目領域に含まれる瞳孔の位置を高い精度で検出することができる。

次に、登録部１５ａによって蓄積部１２に蓄積される特徴部位の画像の特徴の別例について説明する。

登録部１５ａは、探索部１４２による探索で特定された瞳孔(例えば、図８の瞳孔ＰＬ)の中心位置で示される瞳孔の輪郭と所定の位置関係を持つ複数の画素の輝度値を、それぞれ異なる強さの反射光の影響を受けた瞳孔の画像の特徴として蓄積部１２に蓄積させる。また、登録部１５ａは、例えば、顔認識装置ＲＣＮから、人物Ｑ１の上まぶたの輪郭および下まぶたの輪郭を示す情報を受け、反射光の影響を受けた瞳孔の画像の特徴を蓄積部１２に蓄積させる際に、受けた情報を用いる。

図１１は、登録部１５によって蓄積部１２に蓄積される特徴の別例を示す。なお、図１１に示す要素のうち、図２または図１０に示した要素と同等のものは、同一の符号で示すとともに構成要素の説明を省略する場合がある。

図１１に示した黒色の矩形ＰｘＬ１は、探索部１４２による探索で特定された瞳孔の中心位置にある画素を示す。また、図１１に実線で示した矩形Ｐｕ１，Ｐｕ２，Ｐｕ３，Ｐｕ４のそれぞれは、画素ＰｘＬ１を中心とし、所定の半径Ｄ１を持つ円Ｃ１の周上に位置する画素の例を示す。また、図１１に破線で示した矩形Ｐｓ１，Ｐｓ２，Ｐｓ３，Ｐｓ４のそれぞれは、画素ＰｘＬ１を中心とし、所定の半径Ｄ２を持つ円Ｃ２の周上に位置する画素の例を示す。ここで、図１１に示した円Ｃ１の半径Ｄ１は、例えば、反射光の影響を受けていないとされた目領域(例えば、図８に示した目領域ＥＲ)から検出された瞳孔（例えば、瞳孔ＰＲ）の半径よりも小さい値に設定される。また、図１１に示した円Ｃ２の半径Ｄ２は、例えば、反射光の影響を受けていないとされた目領域から検出された瞳孔の半径よりも大きく、反射光の影響を受けていないとされた目領域から検出された虹彩の半径よりも小さい値に設定される。

また、図１１に示した曲線Ｌｕは、顔認識装置ＲＣＮによる顔認識結果で示される人物Ｑ１の上まぶたの輪郭を示し、曲線Ｌｄは、同じく、人物Ｑ１の下まぶたの輪郭を示す。

図９に示した登録部１５ａは、探索部１４２から受けた情報で示される瞳孔の中心位置に基づいて、図１１に示した円Ｃ１上の画素Ｐｕ１，Ｐｕ２，Ｐｕ３，Ｐｕ４のそれぞれと円Ｃ２上の画素Ｐｓ１，Ｐｓ２，Ｐｓ３，Ｐｓ４のそれぞれを特定する。ここで、登録部１５ａは、円Ｃ２の周上の画素Ｐｓ１，Ｐｓ２，Ｐｓ３，Ｐｓ４のそれぞれを、円Ｃ１と円Ｃ２との中間の大きさを持つ円の輪郭を挟んで、円Ｃ１の周上の画素Ｐｕ１，Ｐｕ２，Ｐｕ３，Ｐｕ４のそれぞれに対向する位置に設定することが望ましい。この場合に、画素Ｐｕ１と画素Ｐｓ１とは、瞳孔ＰＬの輪郭を挟んで、瞳孔ＰＬの内部と瞳孔ＰＬを取り巻く虹彩ＳＬの内部とに位置することになる。同様に、画素Ｐｕ２と画素Ｐｓ２との組、画素Ｐｕ３と画素Ｐｓ３との組および画素Ｐｕ４と画素Ｐｓ４との組のそれぞれは、瞳孔ＰＬの輪郭を挟んで、瞳孔ＰＬの内部と虹彩ＳＬの内部とに位置する。

そして、登録部１５ａは、画素Ｐｕ１の輝度値と画素Ｐｓ１の輝度値との組と、画素Ｐｕ２の輝度値と画素Ｐｓ２の輝度値との組とのそれぞれを、反射光の影響を受けた瞳孔の画像の特徴の一つとして蓄積部１２に登録する。同様に、登録部１５ａは、画素Ｐｕ３の輝度値と画素Ｐｓ３の輝度値との組と、画素Ｐｕ４の輝度値と画素Ｐｓ４の輝度値との組とのそれぞれを、反射光の影響を受けた瞳孔の画像の特徴の一つとして蓄積部１２に登録する。

ここで、図１１の例では、画素Ｐｓ４は、上まぶたの輪郭Ｌｕよりも上まぶた側に位置しているため、画素Ｐｓ４の輝度値は、虹彩ＳＬの輝度ではなく上まぶたの輝度を示す。このように、円Ｃ１又は円Ｃ２に基づいて抽出した画素が上まぶたあるいは下まぶたを示す領域に含まれる場合に、登録部１５ａは、上まぶたあるいは下まぶたを示す領域に含まれる画素の輝度値を含む輝度値の組を蓄積部１２に登録しないことが望ましい。

なお、図１１に示した画素Ｐｕ１〜Ｐｕ４のそれぞれは、反射光の影響を受けているとされた目領域に含まれる特徴部位(例えば、瞳孔ＰＬ)の内側に位置する複数の画素の例である。そして、図１１に示した画素Ｐｓ１〜Ｐｓ４のそれぞれは、反射光の影響を受けているとされた目領域において、特徴部位の周囲に位置する画素の例である。

また、登録部１５ａにより蓄積部１２に輝度値が蓄積される円Ｃ１の周上の画素の数は、図１１に示した４つに限らず、１以上であればいくつでもよい。例えば、登録部１５ａは、例えば、図１１に示した画素Ｐｕ１，Ｐｕ２，Ｐｕ３，Ｐｕ４のそれぞれの輝度値を含む特徴とともに、画素Ｐｕ１，Ｐｕ２，Ｐｕ３，Ｐｕ４のそれぞれの中間に位置する４つの画素の輝度値を含む特徴を蓄積部１２に登録してもよい。

以上に説明したように、図９に示した登録部１５ａは、特定部１４ａによって特定された瞳孔の中心位置で示される瞳孔の輪郭を挟んで対向する複数組の画素の輝度値を、反射光の影響を受けた瞳孔の画像の特徴として蓄積部１２に蓄積させる。これにより、例えば、図１１に示した領域ＲＥＡ３の内部に反射光の影響の強さが異なる複数の領域が混在している場合に、各領域での強さを持つ反射光の影響を受けた瞳孔と虹彩との境界付近の特徴を一括して蓄積部１２に蓄積させることができる。

次に、図９に示した検出部１３ａに含まれる抽出部１３１および位置特定部１３２の機能および動作を、図１１および図１２を用いて説明する。

抽出部１３１は、反射光の影響を受けているとされた目領域の各画素に順次に注目し、蓄積部１２に蓄積された情報を用いて、次のようにして、特徴部位の輪郭を示す画素の候補を抽出する。例えば、抽出部１３１は、注目した第１画素の輝度値と、第１画素から所定の距離の位置にある第２画素の輝度値との組が、蓄積部１２に蓄積されている場合に、第１画素および第２画素を瞳孔の輪郭を示す画素の候補として抽出する。ここで、抽出部１３１は、第１画素と第２画素との間の距離を、図１１に示した円Ｃ１の半径Ｄ１と円Ｃ２の半径Ｄ２との差と同等に設定することが望ましい。この場合に、第２画素は、第１画素を中心とし、半径Ｄ１とＤ２との差で示される所定の半径を持つ円の周上に位置する複数の画素のいずれかである。

例えば、抽出部１３１は、第１画素の輝度値と蓄積部１２に蓄積された特徴の一つに瞳孔の内部の輝度値として含まれる場合に、第１画素を中心とする所定の半径の円の周上にある各画素の輝度値を、対応して蓄積された虹彩の輝度値と比較する。そして、第１画素を中心とする所定の半径の円の周上にある画素のいずれかの輝度値が、第１画素の輝度値に対応して蓄積された虹彩の輝度値に類似する場合に、抽出部１３１は、第１画素を瞳孔の輪郭の内側に位置する画素の候補として抽出する。即ち、第１画素が、瞳孔の内部のうち、瞳孔の中心よりも瞳孔の輪郭に近い位置にある画素であるとし、第２画素が、虹彩のうち、瞳孔の輪郭に近い位置の特徴を示す場合に、抽出部１３１は、第１画素を瞳孔の輪郭を示す画素の候補として抽出する。

また、抽出部１３１は、瞳孔の輪郭の内側に位置する画素の候補を抽出する代わりに、次に述べるようにして、瞳孔の輪郭の外側に位置する画素の候補を抽出してもよい。例えば、第１画素の輝度値が、虹彩の輝度値として蓄積部１２に蓄積されている場合に、抽出部１３１は、第１画素を中心とする所定の半径の円の周上にある各画素の輝度値を、対応して蓄積された瞳孔の輝度値と比較する。そして、第１画素を中心とする所定の半径の円の周上にある画素のいずれかの輝度値が、第１画素の輝度値に対応して蓄積された瞳孔の輝度値に類似する場合に、抽出部１３１は、第１画素を瞳孔の輪郭の外側に位置する画素の候補として抽出する。即ち、第１画素が、虹彩のうち、瞳孔の輪郭に近い位置にある画素であるとし、第２画素が、瞳孔の輪郭に近い位置の特徴を示す場合に、抽出部１３１は、第１画素を瞳孔の輪郭を示す画素の候補として抽出する。

また、抽出部１３１は、瞳孔の輪郭の内側に位置する画素の候補とともに、瞳孔の輪郭の外側に位置する画素の候補を、反射光の影響を受けているとされた目領域から抽出してもよい。

図１２は、図９に示した抽出部１３１によって抽出された瞳孔の輪郭を示す画素の候補の例を示す。なお、図１２に示す要素のうち、図１１に示した要素と同等のものは、同一の符号で示すとともに構成要素の説明を省略する場合がある。また、図１２において、破線で示した図形は、図９に示した抽出部１３１によって目領域ＥＬから抽出された画素とまぶたおよび虹彩の輪郭との位置関係を示すための図形であり、画素の候補を示す画像には含まれない。

図１２の例において、網掛けを付した矩形Ｃｐのそれぞれは、瞳孔の輪郭を示す画素の候補のうち、瞳孔の輪郭の内側に含まれる画素の候補として、抽出部１３１により抽出された画素を示す。また、図１２の例において、白色で示した矩形Ｃｓのそれぞれは、瞳孔の輪郭を示す画素の候補のうち、瞳孔の輪郭の外側に含まれる画素の候補として、抽出部１３１により抽出された画素を示す。

図１２から分かるように、抽出部１３１によって瞳孔の輪郭を示す画素の候補として抽出される画素Ｃｐおよび画素Ｃｓは、目領域ＥＬにおいて、瞳孔の輪郭に類似した形状である円形に分布する。

そこで、図９に示した位置特定部１３２は、抽出部１３１によって抽出された画素の候補のうち、特徴部位の形状と共通する形状を持つ画素の候補の集合を検出し、検出した画素の候補の集合に含まれる各画素の位置を特徴部位の位置として特定する。

例えば、位置特定部１３２は、図１２に示した画素の候補Ｃｐが円形に分布している箇所を検出し、検出した箇所と検出した箇所の外側との境界にフィットする円として瞳孔の輪郭を求め、求めた円の中心を瞳孔の中心として特定する。

また、位置特定部１３２は、図１２に示した画素の候補Ｃｓが円形に分布している箇所を検出し、検出した箇所と検出した箇所の内側との境界にフィットする円として瞳孔の輪郭を求め、求めた円の中心を瞳孔の中心として特定してもよい。

また、位置特定部１３２は、画素の候補Ｃｐと画素の候補Ｃｓとが同心円状のパターンを描いて分布する箇所を検出し、検出した箇所にて、画素の候補Ｃｐに対応する領域と画素の候補Ｃｓに対応する領域との境界にフィットする円を瞳孔の輪郭としてもよい。

以上に説明したように、図９に示した抽出部１３１は、蓄積部１２に蓄積された様々な強さの反射光の影響を受けた瞳孔の画像の特徴を用いて、瞳孔の輪郭を示す画素の候補を抽出する。そして、位置特定部１３２により、抽出部１３１によって抽出された画素の候補のうち、瞳孔の輪郭と類似した形状を持つ画素の候補の集合を検出することで、反射光の影響を受けているとされた目領域において瞳孔の位置を特定することができる。

ここで、抽出部１３１は、目領域内の各画素である第１画素の輝度と、第１画素と所定の位置関係を持つ第２画素の輝度とが、反射光の影響を受けた瞳孔の輪郭付近の画像の特徴を示す場合に、第１画素および第２画素を瞳孔の輪郭を示す画素の候補として抽出する。これにより、反射光の影響の強さが目領域において不均一である場合にも、抽出部１３１は、瞳孔の輪郭を内側から示す画素の候補Ｃｐあるいは瞳孔の輪郭を外側から示す画素の候補Ｃｓを漏れなく抽出することができる。そして、抽出部１３１によって漏れなく抽出された画素の候補の目領域における分布を調べることにより、位置特定部１３２は、確からしい瞳孔の輪郭を検出することができる。

ところで、反射光の影響を受けているとされた目領域での瞳孔の位置の特定に、過去に、目領域の双方から検出された瞳孔の位置を用いることも可能である。以下に、過去に特徴検出装置ＣＤＴによって検出された瞳孔およびプルキンエ像の位置に基づいて、反射光の影響を受けているとされた目領域での瞳孔の位置を特定する方法について説明する。

図１３は、画像処理装置１０の別実施形態を示す。なお、図１３に示す構成要素のうち、図１または図９に示した構成要素と同等のものは、同一の符号で示すとともに構成要素の説明を省略する場合がある。

図１３に示した特定部１４ｂは、収集部１４３と、検索部１４４と、選択部１４５とを含んでいる。収集部１４３および検索部１４４は、判定部１１による判定結果と、特徴検出装置ＣＤＴによって検出された特徴部位およびプルキンエ像のそれぞれの位置を示す情報を受ける。また、収集部１４３と検索部１４４とは互いに接続されており、検索部１４４は、収集部１４３に保持された情報を参照可能である。また、選択部１４５は、検索部１４４の出力と視線検出装置ＣＤＴによって検出されたプルキンエ像の位置を示す情報を受ける。

収集部１４３は、判定部１１により、目領域ＥＬ，ＥＲの双方が反射光の影響を受けていないとされる毎に、特徴検出装置ＣＤＴにより、目領域ＥＬ，ＥＲのそれぞれから検出された特徴部位の位置とプルキンエ像の位置との対応付けを保持する。

図１４は、図１３に示した収集部１４３の例を示す。図１４に示した収集部１４３は、特徴検出装置ＣＤＴにより、目領域ＥＲから特徴部位として検出された右の瞳孔の位置を示す列と、右のプルキンエ像の位置を示す列とを含んでいる。また、図１４に示した収集部１４３は、目領域ＥＬから特徴部位として検出された左の瞳孔の位置を示す列と、左のプルキンエ像の位置を示す列とを含んでいる。

なお、図１４の例で、列「右の瞳孔の位置」に示した座標(ＸＲｐ１、ＹＲｐ１)は、例えば、図２に示した目領域ＥＲ，ＥＬの双方に反射の影響がないとされた場合に、目領域ＥＲから検出された瞳孔ＰＲの中心位置の例を示す。同様に、列「右のプルキンエ像の位置」に示した座標(ＸＲｒ１、ＹＲｒ１)は、図２に示した目領域ＥＲ，ＥＬの双方に反射の影響がないとされた場合に、目領域ＥＲから検出されたプルキンエ像ＰｒＲの中心位置の例を示す。また、列「左の瞳孔の位置」に示した座標(ＸＬｐ１、ＹＬｐ１)は、図２に示した目領域ＥＲ，ＥＬの双方に反射の影響がないとされた場合に、目領域ＥＬから検出された瞳孔ＰＬの中心位置の例を示す。そして、列「左のプルキンエ像の位置」に示した座標(ＸＬｒ１、ＹＬｒ１)は、図２に示した目領域ＥＲ，ＥＬの双方に反射の影響がないとされた場合に、目領域ＥＬから検出されたプルキンエ像ＰｒＬの中心位置の例を示す。なお、図１４の例では、座標(ＸＲｐ１、ＹＲｐ１)と座標(ＸＲｒ１、ＹＲｒ１)と座標(ＸＬｐ１、ＹＬｐ１)と座標(ＸＬｒ１、ＹＬｒ１)とについての対応付け以外の対応付けの図示を省略している。

図１３に示した収集部１４３は、撮影装置ＣＡＭによって撮影された画像ＩＭＧに含まれる目領域ＥＲ，ＥＬの両方が反射光の影響を受けていないと判定される毎に、特徴検出装置ＣＤＴで検出された特徴部位およびプルキンエ像の位置の対応付けを保持する。

したがって、撮影装置ＣＡＭが例えば毎秒数枚の画像ＩＭＧを数十秒にわたって撮影する間に、収集部１４３は、図１に示した人物Ｑ１とディスプレイ装置ＤＳＰとの相対位置および人物Ｑ１の視線方向で示される様々な状況での対応付けを保持することができる。

検索部１４４は、目領域のいずれか一方が反射光の影響を受けていると判定された場合に、反射光の影響を受けていないとされた目領域から特徴検出装置ＣＤＴによって検出された瞳孔およびプルキンエ像のそれぞれの位置を示す座標を含む情報を受ける。例えば、図７に示したように、目領域ＥＬが反射光の影響を受けており、目領域ＥＲは反射光の影響を受けていないとされた場合に、検索部１４４は、特徴検出装置ＣＤＴによって目領域ＥＲから検出された瞳孔およびプルキンエ像の位置を示す情報を受ける。

そして、検索部１４４は、収集部１４３に保持された対応付けの中から、反射光の影響を受けていないとされた目領域から検出された瞳孔およびプルキンエ像のそれぞれの位置を含む対応付けを検索する。

ここで、収集部１４３に様々な状況での対応付けが既に保持されていれば、図２に示した画像ＩＭＧが撮影されたときと類似した状況で、かつ、両方の目領域ＥＲ，ＥＬに反射の影響がない状態で収集された対応付けが収集部１４３に保持されているとみなせる。したがって、目領域ＥＲから検出された瞳孔ＰＲおよびプルキンエ像ＰｒＲに基づいて収集部１４３から検索される対応付けの中から、反射光の影響を受けた目領域ＥＬにおける瞳孔の位置を示す情報を含む対応付けを見つけ出すことができる。例えば、収集部１４３からの検索で得られた対応付けから、反射光の影響を受けた目領域ＥＬから検出されたプルキンエ像の位置を示す座標を含む対応付けを検出すれば、検出した対応付けに含まれる左の瞳孔の位置は目領域ＥＬ内の瞳孔ＰＬの位置とみなせる。

そこで、図１３に示した選択部１４５は、目領域のいずれか一方が反射光の影響を受けていると判定された場合に、反射光の影響を受けているとされた目領域から特徴検出装置ＣＤＴによって検出されたプルキンエ像の位置を示す座標を含む情報を受ける。次いで、選択部１４５は、検索部１４４によって収集部１４３から検索された対応付けの中から、特徴検出装置ＣＤＴから受けたプルキンエ像の位置を示す座標を含む対応付けを検出する。そして、検出した対応付けを用いて、選択部１４５は、反射光の影響を受けているとされた目領域の瞳孔の位置を特定し、特定した位置を特定部１４ｂで得られた瞳孔の位置として出力する。

図１５は、図１３に示した画像処理装置１０の動作を示す。なお、図１５に示すステップのうち、図８に示したステップと同等のものは、同一の符号で示すとともにステップの説明を省略する場合がある。図１５に示す処理は、例えば、画像処理装置１０に搭載されたプロセッサが画像処理プログラムを実行することで実現される。なお、図１５に示す処理は、画像処理装置１０に搭載されるハードウェアによって実行されてもよい。

図１３に示した画像処理装置１０は、図１５に示したステップＳ３０４の否定判定（ＮＯ）ルートの処理として、ステップＳ３１１の処理を実行する。

ステップＳ３１１において、図１３に示した収集部１４３は、特徴検出装置ＣＤＴにより、目領域ＥＬ，ＥＲのそれぞれから検出された特徴部位の位置とプルキンエ像の位置との対応付けを収集し、図１４に示したように、収集した対応付けを保持する。

また、図１３に示した画像処理装置１０は、図１５に示したステップＳ３０４の肯定判定(ＹＥＳ)ルートの処理において、図８に示したステップＳ３０５の処理に代えて、ステップＳ３１２およびステップＳ３１３の処理を実行する。

ステップＳ３１２において、図１３に示した検索部１４４は、収集部１４３に保持された対応付けの中から、反射光の影響を受けていない目領域から検出された特徴部位の位置を含む対応付けを検索する。

ステップＳ３１３において、図１３に示した選択部１４５は、ステップＳ３１２の処理で検索した対応付けの中から、反射光の影響があるとされた目領域から検出されたプルキンエ像の位置を含む対応付けを選択する。そして、選択部１４５は、選択した対応付けに含まれる特徴部位の位置を登録部１５に渡す。

以上に説明したように、図１３に示した特定部１４ｂは、目領域ＥＲ，ＥＬの両方が反射光の影響を受けていないと判定される毎に収集した対応付けを用いて、片方の目領域に反射光の影響がある場合に、反射光の影響受けた目領域の瞳孔の位置を特定できる。

また、選択部１４５によって選択した対応付けに含まれる特徴部位の位置を含む領域について、図９に示した探索部１４２により、円形のパターンを探索する処理を行うことで、反射光の影響受けた目領域における瞳孔の位置の特定精度を向上させてもよい。

更に、選択部１４５は、収集部１４３に保持された対応付けを用いて、特徴検出装置ＣＤＴによって反射光の影響を受けた目領域から検出されたプルキンエ像の位置の確からしさを評価することもできる。

ここで、反射光の影響を受けた目領域においては、特徴検出装置ＣＤＴにおいてプルキンエ像の検出に用いる閾値以上の輝度値を持つ画素が複数の箇所で検出される場合がある。そして、この場合に、特徴検出装置ＣＤＴは、プルキンエ像を示す領域として、閾値以上の輝度値を持つ画素をそれぞれ含む複数の領域を検出し、検出した領域のそれぞれの中心位置をプルキンエ像の位置として出力する。

この場合に、選択部１４５は、特徴検出装置ＣＤＴからプルキンエ像の位置として受けた複数の位置のそれぞれと、収集部１４３に保持された対応付けに含まれるプルキンエ像の位置とを照合することで、確からしいプルキンエ像の位置を選択することができる。例えば、選択部１４５は、特徴検出装置ＣＤＴからプルキンエ像の位置として受けた複数の位置の中で、検索部１４４によって収集部１４３から検索された対応付けにプルキンエ像の位置として含まれるものを、確からしいプルキンエ像の位置として選択する。更に、選択部１４５は、特徴検出装置ＣＤＴによりプルキンエ像として検出された複数の領域のそれぞれが持つ形状と、プルキンエ像を特徴付ける形状との類似性に基づいて、特徴検出装置ＣＤＴで検出された各プルキンエ像の確からしさを評価してもよい。

そして、選択部１４５により、確からしいプルキンエ像を選択することで、反射光の影響により特徴検出装置ＣＤＴで複数のプルキンエ像が検出された場合にも、確からしいプルキンエ像の位置を視線検出装置ＤＥＴに渡すことができる。

また、反射光の影響を受けた目領域に含まれる特徴部位の位置の特定に、蓄積部１２に蓄積された情報を用いることもできる。

次に、目の特徴部位として虹彩を検出する画像処理装置を例として、反射光の影響を受けた目領域に含まれる特徴部位の位置の特定に、蓄積部１２に蓄積された情報を用いる方法について説明する。

図１６は、画像処理装置１０の別実施形態を示す。なお、図１６に示す構成要素のうち、図９に示した構成要素と同等のものは、同一の符号で示すとともに構成要素の説明を省略する場合がある。

図１６に示した撮影装置ＣＡＭ１は、例えば、スマートフォンやタブレット型端末などの携帯端末装置ＵＥあるいは車載端末装置に内蔵されたカメラである。撮影装置ＣＡＭ１は、人物Ｑ１の顔を含む所定の領域を所定の時間間隔で撮影し、撮影したカラー画像を画像ＩＭＧとして顔認識装置ＲＣＮに渡す。撮影装置ＣＡＭ１は、可視光線に対する感度を有するカメラであればよく、携帯端末装置に搭載されたカメラに限らず、ノート型のコンピュータ装置の表示部に内蔵されたカメラでも、車載端末装置に内蔵されたカメラでもよい。なお、可視光線に対する感度を有するカメラを撮影装置ＣＡＭ１として用いる場合に、図１に示した光源ＬＵＭは省略されてもよい。

図１６に示した特定部１４ｃは、図９に示した特定部１４ａに相当する構成要素であり、予測部１４１ａと、探索部１４２ａと、特定制御部１４６とを含み、以下に説明するようにして、反射光の影響を受けているとされた目領域に含まれる虹彩の位置を特定する。

図１６に示した画像処理装置１０において、顔認識装置ＲＣＮによって画像ＩＭＧから抽出された目領域の画像は、判定部１１と、登録部１５ｂと、検出部１３ｂと、探索部１４２ａとに渡される。また、判定部１１の出力は、検出部１３ｂと特定制御部１４６とに接続される。また、予測部１４１ａは、特徴検出装置ＣＤＴから、反射光の影響を受けていないとされた目領域から検出された虹彩とプルキンエ像との位置と、反射光の影響を受けているとされた目領域から検出されたプルキンエ像の位置とを受ける。

蓄積部１２ｂは、図９に示した蓄積部１２に相当する構成要素であり、人物Ｑ１の２つの目のそれぞれに含まれる虹彩の画像に表れる反射光の影響の強さ毎に、反射光の影響を受けた特徴部位の画像の特徴として、虹彩および白目の画像の特徴を蓄積している。

図１７は、図１６に示した蓄積部１２ｂの例を示す。図１７に示した蓄積部１２ｂは、虹彩の特徴を示す輝度値と色度値を格納する２つの列と、白目の特徴を示す輝度値と色度値とを格納する２つの列とを含んでいる。

図１７に示した蓄積部１２ｂは、反射光の影響を受けた虹彩の画像の特徴の一つとして、例えば、図２に示した目領域ＥＬに含まれる虹彩ＳＬの内部にある画素の輝度値Ｂｓ１および色度値Ｃｒｓ１，Ｃｂｓ１を含む情報を蓄積している。また、図１７に示した蓄積部１２ｂは、反射光の影響を受けた虹彩の画像の特徴の一つとして、例えば、図２に示した目領域ＥＬにおいて虹彩ＳＬを囲む白目に含まれる画素の輝度値Ｂｗ１および色度値Ｃｒｗ１，Ｃｂｗ１を含む情報を蓄積している。

なお、図１７においては、輝度値Ｂｓ１および色度値Ｃｒｓ１，Ｃｂｓ１と輝度値Ｂｗ１および色度値Ｃｒｗ１，Ｃｂｗ１との組で示される虹彩の画像の特徴とは異なる強さの反射光の影響を受けた虹彩の画像の特徴の図示は省略されている。

検出部１３ｂは、図９に示した検出部１３ａに相当する構成要素であり、反射光の影響を受けたとされた目領域に含まれる画素のうち、蓄積部１２ｂに蓄積された虹彩の特徴と類似する特徴を有する画素を含む領域を、虹彩として検出する。

登録部１５ｂは、図９に示した登録部１５ａに相当する構成要素であり、特定部１４ｃで特定された虹彩の位置で示される領域の画像の特徴を抽出し、抽出した特徴を蓄積部１２ｂに蓄積させる。例えば、登録部１５ｂは、特定部１４ｃから渡された情報で示される虹彩の中心の位置に基づいて、反射光の影響を受けた目領域の虹彩に含まれる画素および白目に含まれる画素とを特定する。そして、登録部１５ｂは、特定した画素のそれぞれの輝度値と色度値とを、反射光の反射光の影響を受けた虹彩の特徴として蓄積部１２ｂに蓄積させる。例えば、登録部１５ｂは、特定部１４ｃで特定された虹彩の中心から瞳孔の半径よりも大きく虹彩の半径よりも小さい距離が離れた画素の輝度値および色度値を、反射光の影響を受けた目領域の画像から抽出する。そして、登録部１５ｂは、抽出した輝度値および色度値を、反射光の影響を受けた虹彩の特徴の一つとして蓄積部１２ｂに蓄積させる。また、登録部１５ｂは、特定部１４ｃで特定された虹彩の中心から虹彩の半径よりも大きい距離が離れた画素の輝度値および色度値を、反射光の影響を受けた目領域の画像から抽出する。そして、登録部１５ｂは、抽出した輝度値および色度値を、反射光の影響を受けた白目の特徴の一つとして蓄積部１２ｂに蓄積させる。

また、予測部１４１ａは、図９に示した予測部１４１に相当する構成要素であり、特定制御部１４６からの指示に従って、特徴検出装置ＣＤＴから渡される情報に基づいて、反射光の影響を受けているとされた目領域に含まれる虹彩の位置を予測する。

探索部１４２ａは、図９に示した探索部１４２に相当する構成要素であり、予測部１４１ａによって予測された位置を含む所定の領域において円形のパターンを探索することで、反射光の影響を受けているとされた目領域に含まれる虹彩の位置を求める。探索部１４２ａの出力は、特定部１４ｃの出力として、登録部１５ｂおよび視線検出装置ＤＥＴに渡される。

特定制御部１４６と蓄積部１２ｂとは互いに接続されており、特定制御部１４６は、蓄積部１２ｂに蓄積された情報量が所定の閾値以下である場合に、予測部１４１ａに対して、目領域に含まれる虹彩の位置を予測する処理の実行を指示する。一方、蓄積部１２ｂに蓄積された情報量が所定の閾値を超えている場合に、特定制御部１４６は、検出部１３ｂを用いて虹彩を検出し、検出した虹彩の位置を示す情報を登録部１５ｂに渡す。図１６の例では、検出部１３ｂは、目領域ＥＬ，ＥＲの双方が反射光の影響を受けるとされた場合に、目領域ＥＬ，ＥＲに含まれる特徴部位を検出するとともに、特定部１４ｃに含まれる構成要素として、特定制御部１４６からの指示に応じて動作する。

図１６に示した登録部１５ｂは、目領域ＥＲ，ＥＬの一方が反射光の影響を受けていると判定される毎に、反射光の影響を受けている目領域の虹彩および白目のそれぞれに含まれる画素の輝度値および色度値を虹彩の特徴として蓄積部１２ｂに蓄積させる。

したがって、多数の画像ＩＭＧが撮影される過程で、目領域ＥＲ，ＥＬが受ける反射光の強さが様々に変化すれば、蓄積部１２ｂには、様々な強さの反射光の影響を受けた虹彩の特徴が集積されることになる。なお、登録部１５ｂは、図１１を用いて説明したようにして、虹彩の輪郭付近の複数の箇所において、虹彩および白目のそれぞれに含まれる複数の画素の輝度値および色度値を対応付けて蓄積部１２ｂに蓄積させてもよい。

そして、様々な強さの反射光の影響を受けた虹彩および白目の特徴が蓄積部１２ｂに集積された後には、反射光の影響を受けていると判定された目領域における虹彩の位置の特定に蓄積部１２ｂに集積された虹彩の特徴を用いることができる。

図１８は、図１６に示した特定部１４ｃの動作を示す。図１８に示したステップＳ３２１〜ステップＳ３２７の各処理は、図８においてステップＳ３０５で示した特徴部位の位置を特定する処理の例を示す。図１８に示す処理は、例えば、画像処理装置１０に搭載されたプロセッサが画像処理プログラムを実行することで実現される。なお、図１８に示す処理は、画像処理装置１０に搭載されるハードウェアによって実行されてもよい。

ステップＳ３２１において、図１６に示した特定制御部１４６は、蓄積部１２ｂを参照し、蓄積部１２ｂに蓄積された特徴の数を計数する。例えば、特定制御部１４６は、虹彩の輝度値として互いに異なる値を含む特徴の数を計数し、計数によって得られた数値を蓄積部１２ｂに蓄積された特徴の数としてもよい。

ステップＳ３２２において、特定制御部１４６は、ステップＳ３２１の処理で得られた計数結果と所定値とを比較することで、蓄積部１２ｂに蓄積された特徴の数が所定値以上である否かを判定する。なお、ステップＳ３２１において、計数結果と比較される所定値は、例えば、反射光の影響を受けた虹彩の輝度値として想定される互いに異なる輝度値の数に相当する値が設定されることが望ましい。

蓄積部１２ｂに蓄積された特徴の数が所定値以上である場合に（ステップＳ３１２の肯定判定(ＹＥＳ)）、特定制御部１４６は、受けた目領域に含まれる虹彩と同等の反射光の影響を受けた虹彩の特徴が蓄積部１２ｂに蓄積されていると判断する。そして、この場合に、特定制御部１４６は、ステップＳ３２３において、図１６に示した検出部１３ｂを用いて虹彩を検出する処理を実行する。

ステップＳ３２３において、検出部１３ｂは、例えば、図１１、図１２を用いて説明した瞳孔の輪郭を検出する処理と同様にして、蓄積部１２ｂに蓄積された虹彩の特徴で示される虹彩の輪郭を検出する。

ステップＳ３２４において、特定制御部１４６は、ステップＳ３２３の処理で検出された虹彩の輪郭を示す情報を検出部１３ｂから受け、受けた情報を特定部１４ｃで得られた特徴部位の位置として出力する。

一方、蓄積部１２ｂ内の特徴の数が所定値未満である場合に（ステップＳ３２２の否定判定(ＮＯ)）、特定制御部１４６は、受けた目領域に含まれる虹彩と同等の反射光の影響を受けた虹彩の特徴が蓄積部１２ｂに蓄積されていないと判断する。そして、この場合に、特定制御部１４６は、ステップＳ３２５に進み、図１６に示した予測部１４１ａおよび探索部１４２ａを用いて虹彩の位置を特定する処理を実行する。

ステップＳ３２５において、特定制御部１４６は、図６および図７を用いて説明した瞳孔の位置の予測と同様にして、反射光の影響を受けているとされた目領域に含まれる虹彩の位置を予測する処理を予測部１４１ａに実行させる。例えば、予測部１４１ａは、反射光の影響を受けていないとされた目領域から検出された虹彩とプルキンエ像との相対位置と、反射光の影響を受けているとされた目領域から検出されたプルキンエ像の位置とに基づいて、虹彩の位置を予測する。

ステップＳ３２６において、探索部１４２ａは、図１０を用いて説明した瞳孔を示すパターンの探索と同様にして、ステップＳ３２５の処理で予測された位置を含む所定の領域内において、特徴部位を示すパターンとして、虹彩を示す円形のパターンを探索する。

ステップＳ３２７において、探索部１４２ａは、ステップＳ３２６の探索処理で得られた円形のパターンの中心位置を求め、求めた位置を、特定部１４ｃで得られた特徴部位の位置として出力する。

以上に説明したように、図１４に示した特定部１４ｃは、蓄積部１２ｂに十分な量の特徴が蓄積されている場合に、蓄積部１２ｂに蓄積された特徴情報を用いた処理により、反射光の影響があるとされた目領域における特徴部位の位置を特定することができる。これにより、反射光の影響があるとされた目領域の画像に基づいて、虹彩の位置を精密に特定することができる。

なお、以上に説明した虹彩の位置の特定と同様に、蓄積部１２に反射光の影響の強さ毎に蓄積された瞳孔の特徴を用いて、反射光の影響があるとされた目領域の画像に基づいて、瞳孔の位置を特定することも可能である。

以上に説明した本件開示の画像処置装置１０は、例えば、コンピュータ装置を用いて実現することができる。

図１９は、画像処理装置１０のハードウェア構成の一例を示す。なお、図１９に示した構成要素のうち、図１に示した構成要素と同等のものは、同一の符号で示すとともに構成要素の説明を省略する場合がある。

コンピュータ装置ＣＯＭは、プロセッサ２１と、メモリ２２と、ハードディスク装置２３と、汎用インタフェース２４と、入出力制御部２５と、光学ドライブ装置２６と、ネットワークインタフェース２８とを含んでいる。図１９に例示したプロセッサ２１と、メモリ２２と、ハードディスク装置２３と、汎用インタフェース２４と、入出力制御部２５と、光学ドライブ装置２６と、ネットワークインタフェース２８とは、バスを介して互いに接続されている。また、プロセッサ２１とメモリ２２とハードディスク装置２３と汎用インタフェース２４とは、画像処理装置１０に含まれる。コンピュータ装置ＣＯＭは、図１９に示したデスクトップ型のコンピュータに限らず、ノート型のコンピュータでもよいし、スマートフォンやタブレット型端末などの携帯端末装置でもよい。また、コンピュータ装置ＣＯＭは、カーナビゲーションシステムなどの車載端末装置でもよい。

コンピュータ装置ＣＯＭとディスプレイ装置ＤＳＰとは、入出力制御部２５を介して接続されている。また、ディスプレイ装置ＤＳＰに固定された撮影装置ＣＡＭおよび光源ＬＵＭは、汎用インタフェース２４に接続されている。また、コンピュータ装置ＣＯＭは、入出力制御部２５を介してキーボードＫＢＤなどの入力装置に接続されており、人物Ｑ１は、例えば、キーボードＫＢＤを操作することで、コンピュータ装置ＣＯＭに所望の指示を入力することができる。

また、図１９に示した光学ドライブ装置２６は、光ディスクなどのリムーバブルディスク２７を装着可能であり、装着したリムーバブルディスク２７に記録された情報の読出および記録を行う。

コンピュータ装置ＣＯＭは、ネットワークインタフェース２８を介して、インターネットなどのネットワークＮＷに接続されており、ネットワークＮＷに接続されたサーバ装置ＳＶとの間で情報を授受することができる。

図１９に示したメモリ２２は、コンピュータ装置ＣＯＭのオペレーティングシステムとともに、プロセッサ２１が図５または図９に示した処理および顔認識処理を実行するためのアプリケーションプログラムを格納している。また、メモリ２２は、図１に示した特徴検出装置ＣＤＴによる特徴検出処理をプロセッサ２１に実行させるためのアプリケーションプログラムを格納していることが望ましい。更に、メモリ２２は、図５または図９に示した処理で特定された特徴部位の位置と特徴検出処理で検出されたプルキンエ像の位置とに基づいて、人物Ｑ１の視線方向を検出する処理のためのアプリケーションプログラムを格納していてもよい。なお、図５または図９に示した処理、顔認識処理、特徴検出処理および視線方向を検出する処理を実行するためのアプリケーションプログラムは、例えば、光ディスクなどのリムーバブルディスク２７に記録して頒布することができる。そして、リムーバブルディスク２７を光学ドライブ装置２６に装着して読み込み処理を行うことにより、以上に述べた各処理を実行するためのアプリケーションプログラムを、メモリ２２およびハードディスク装置２３に格納させてもよい。また、以上に述べた各処理を実行するためのアプリケーションプログラムは、図１９に示したネットワークインタフェース２８を介して、サーバ装置ＳＶから、メモリ２２およびハードディスク装置２３にダウンロードされてもよい。

そして、プロセッサ２１は、メモリ２２に格納されたアプリケーションプログラムを実行することで、図６に示した判定部１１、検出部１３、特定部１４および登録部１５とともに、顔認識装置ＲＣＮ、特徴検出装置ＣＤＴおよび視線検出装置ＤＥＴの機能を果たす。また、図１に示した蓄積部１２の機能は、メモリ２２あるいはハードディスク装置２３の記憶領域の一部を用いて実現される。

つまり、本件開示の画像処理装置１０は、例えば、図１９に示したコンピュータ装置ＣＯＭに含まれるプロセッサ２１と、メモリ２２と、ハードディスク装置２３と、汎用インタフェース２４との協働によって実現することができる。

プロセッサ２１は、例えば、汎用インタフェース２４を介して画像ＩＭＧを受ける毎に、顔認識処理のためのアプリケーションプログラムを実行し、画像ＩＭＧに含まれる人物Ｑ１の両目のそれぞれに対応する目領域ＥＬ，ＥＲを抽出する。そして、目領域ＥＬ，ＥＲが抽出される毎に、プロセッサ２１は、特徴検出処理および図９に示した処理のためのアプリケーションプログラムを実行し、各目領域に人間の目の特徴部位として含まれる瞳孔または虹彩の位置およびプルキンエ像の位置を特定する。更に、プロセッサ２１は、視線方向を検出する処理のためのアプリケーションプログラムを実行し、特定された特徴部位およびプルキンエ像の位置に基づいて、人物Ｑ１の視線方向を検出する。

以上に説明したように、図１９に示したコンピュータ装置ＣＯＭに含まれる画像処理装置１０は、人物Ｑ１を撮影装置ＣＡＭによって撮影する毎に、撮影された画像ＩＭＧに基づいて、人物Ｑ１の視線方向を検出することができる。したがって、例えば、撮影装置ＣＡＭにより、数ミリ秒から数十ミリ秒おきに人物Ｑ１を撮影する場合に、図１９に示した画像処理装置１０により、ほぼリアルタイムで人物Ｑ１の視線方向を検出することができる。これにより、画像処理装置１０によって得られる人物Ｑ１の視線方向に基づいて、例えば、ディスプレイ装置ＤＳＰの表示画面において、人物Ｑ１が注視している位置をほぼリアルタイムで特定することが可能となる。つまり、以上に本件開示の画像処理装置１０は、視線方向の検出を用いたユーザインタフェースを実現する上で有用である。

以上の詳細な説明により、実施形態の特徴点及び利点は明らかになるであろう。これは、特許請求の範囲が、その精神および権利範囲を逸脱しない範囲で、前述のような実施形態の特徴点および利点にまで及ぶことを意図するものである。また、当該技術分野において通常の知識を有する者であれば、あらゆる改良および変更を容易に想到できるはずである。したがって、発明性を有する実施形態の範囲を前述したものに限定する意図はなく、実施形態に開示された範囲に含まれる適当な改良物および均等物に拠ることも可能である。

以上の説明に関して、更に、以下の各項を開示する。
(付記１) 目を撮影した画像において前記目の領域である目領域のが、前記反射光による影響を受けているか否かを判定する判定部と、
前記目の特徴部位の画像に表れる前記反射光の影響の強さ毎に、前記特徴部位の画像の特徴が蓄積された蓄積部と、
前記目領域が前記反射光の影響を受けていると判定された場合に、前記目領域のうち、前記蓄積部に蓄積された前記特徴部位の特徴と類似する特徴を有する画素を含む領域を、前記特徴部位として検出する検出部と、
を有することを特徴とする画像処理装置。
(付記２) 付記１に記載の画像処理装置において、
更に、
前記目領域が２つの目のそれぞれの領域であり、一方の目の領域である第１の目領域が前記反射光の影響を受けていると判定され、前記目領域の他方である第２の目領域が前記反射光の影響を受けていないと判定された場合に、前記反射光の影響を受けていないと判定された第２の目領域に含まれる前記特徴部位とプルキンエ像との間の位置関係と、前記第１の目領域に含まれるプルキンエ像の位置とに基づいて、前記第１の目領域に含まれる前記特徴部位の位置を特定する特定部と、
前記特定部で特定された前記特徴部位の位置で示される領域の画像の特徴を抽出し、抽出した特徴を前記蓄積部に蓄積させる登録部と、
を有することを特徴とする画像処理装置。
(付記３) 付記２に記載の画像処理装置において、
前記登録部は、前記第１の目領域に含まれる前記特徴部位の内側に位置する複数の画素の特徴値と、前記特徴部位の周囲の画素の特徴値との組を、前記特徴部位の画像の特徴として前記蓄積部に蓄積させ、
前記検出部は、
前記第１の目領域および前記第２の目領域のそれぞれに含まれる画素の一つである第１画素の特徴値と前記第１画素から所定の距離の位置にある第２画素の特徴値との組が、前記蓄積部に蓄積されている場合に、前記第１画素および前記第２画素を前記特徴部位の輪郭を示す画素の候補として抽出する抽出部と、
前記第１の目領域および前記第２の目領域のそれぞれから抽出された輪郭を示す画素の候補のうち、前記特徴部位の形状と共通する形状を持つ前記画素の候補の集合を検出し、検出した前記画素の候補の集合に含まれる各画素の位置を前記特徴部位の位置として特定する位置特定部とを有する
ことを特徴とする画像処理装置。
(付記４) 付記２に記載の画像処理装置において、
前記特定部は、
前記第２の目領域から検出されたプルキンエ像と前記特徴部位との相対位置に基づいて、前記第１の目領域から検出されたプルキンエ像に対応する前記特徴部位があることが予測される位置を求める予測部と、
前記第１の目領域内の前記予測部で予測された位置を含む所定の領域において、前記第２の目領域から検出された前記特徴部位に類似した形状を持つパターンを探索する探索部とを有し、
前記探索部による探索によって検出されたパターンの位置を、前記第１の目領域に含まれる前記特徴部位の位置とする
ことを特徴とする画像処理装置。
(付記５) 付記２に記載の画像処理装置において、
前記特定部は、
前記判定部により、前記第１の目領域および前記第２の目領域の両方が前記反射光の影響を受けていないと判定された場合に、前記第１の目領域および前記第２の目領域のそれぞれから検出されたプルキンエ像および特徴部位のそれぞれの位置を互いに対応付けて保持する収集部と、
前記収集部に保持された対応付けの中から、前記第２の目領域から検出されたプルキンエ像および特徴部位のそれぞれの位置を含む対応付けを検索する検索部と、
前記検索部による検索で得られた対応付けの中から、前記第１の目領域から検出されたプルキンエ像の位置を示す情報を含む対応付けを選択し、選択した対応付けに含まれる前記第１の目領域内の前記特徴部位の位置を示す情報を、前記第１の目領域において特定される前記特徴部位の位置として出力する選択部とを有する
ことを特徴とする画像処理装置。
(付記６) 付記２に記載の画像処理装置において、
前記特定部は、
前記第１の目領域に含まれる画素のうち、前記蓄積部に蓄積された前記特徴部位の特徴と類似する特徴を有する画素を含む領域を、前記第１の目領域における特徴部位の位置とする
ことを特徴とする画像処理装置。
(付記７) 目を撮影した画像において前記目の領域である目領域が、前記反射光による影響を受けているか否かを判定し、
前記目領域が前記反射光の影響を受けていると判定された場合に、前記目領域のうち、前記目の特徴部位の画像に表れる前記反射光の影響の強さ毎に蓄積部に蓄積された前記特徴部位の画像の特徴と類似する特徴を有する画素を含む領域を、前記特徴部位として検出する、
ことを特徴とする画像処理方法。
(付記８) 目を撮影した画像において前記目の領域である目領域が、前記反射光による影響を受けているか否かを判定し、
前記目領域が前記反射光の影響を受けていると判定された場合に、前記目領域のうち、前記目の特徴部位の画像に表れる前記反射光の影響の強さ毎に蓄積部に蓄積された前記特徴部位の画像の特徴と類似する特徴を有する画素を含む領域を、前記特徴部位として検出する、
処理をコンピュータに実行させることを特徴とする画像処理プログラム。

１０…画像処理装置；１１…判定部；１２，１２ｂ…蓄積部；１３，１３ａ，１３ｂ…検出部；１４，１４ａ，１４ｂ，１４ｃ…特定部；１５，１５ａ，１５ｂ…登録部；１３１…抽出部；１３２…位置特定部；１４１，１４１ａ…予測部；１４２，１４２ａ…探索部；１４３…収集部；１４４…検索部；１４５…選択部；１４６…特定制御部；２１…プロセッサ；２２…メモリ；２３…ハードディスク装置；２４…汎用インタフェース；２５…入出力制御部；２６…光学ドライブ装置；２７…リムーバブルディスク；２８…ネットワークインタフェース；ＮＷ…ネットワーク；ＳＶ…サーバ装置；ＫＢＤ…キーボード；ＣＯＭ…コンピュータ装置；ＣＡＭ、ＣＡＭ１…撮影装置；ＲＣＮ…顔認識装置；ＣＤＴ…特徴検出装置；ＤＥＴ…視線検出装置；ＤＳＰ…ディスプレイ装置；ＬＵＭ…光源；ＩＭＧ…画像；ＧＬＳ…眼鏡

Claims (5)

1. 目を撮影した画像において前記目の領域である目領域が、反射光による影響を受けているか否かを判定する判定部と、
   前記目の特徴部位の画像に表れる前記反射光の影響の強さ毎に、前記特徴部位の画像の画素値が蓄積された蓄積部と、
   前記目領域が前記反射光の影響を受けていると判定された場合に、前記目領域のうち、前記蓄積部に蓄積された前記特徴部位の画素値との類似度が前記目領域の他の画素の画素値より高い画素を含む領域であって、他の領域よりも前記特徴部位の形状に近い領域を、前記特徴部位として検出する検出部と、
   を備えたことを特徴とする画像処理装置。
2. 請求項１に記載の画像処理装置において、
   更に、
   前記目領域が２つの目のそれぞれの領域であり、一方の目の領域である第１の目領域が前記反射光の影響を受けていると判定され、前記目領域の他方である第２の目領域が前記反射光の影響を受けていないと判定された場合に、前記反射光の影響を受けていないと判定された第２の目領域に含まれる前記特徴部位とプルキンエ像との間の位置関係と、前記第１の目領域に含まれるプルキンエ像の位置とに基づいて、前記第１の目領域に含まれる前記特徴部位の位置を特定する特定部と、
   前記特定部で特定された前記特徴部位の位置で示される領域の画像の画素値を抽出し、抽出した画素値を前記蓄積部に蓄積させる登録部と、
   を備えたことを特徴とする画像処理装置。
3. 請求項２に記載の画像処理装置において、
   前記登録部は、前記第１の目領域に含まれる前記特徴部位の内側に位置する複数の画素の画素値と、前記特徴部位の周囲の画素の画素値との組を、前記特徴部位の画像の画素値として前記蓄積部に蓄積させ、
   前記検出部は、
   前記第１の目領域および前記第２の目領域のそれぞれに含まれる画素の一つである第１画素の画素値と前記第１画素から所定の距離の位置にある第２画素の画素値との組が、前記蓄積部に蓄積されている場合に、前記第１画素および前記第２画素を前記特徴部位の輪郭を示す画素の候補として抽出する抽出部と、
   前記第１の目領域および前記第２の目領域のそれぞれから抽出された輪郭を示す画素の候補のうち、前記特徴部位の形状と共通する形状を持つ前記画素の候補の集合を検出し、
   検出した前記画素の候補の集合に含まれる各画素の位置を前記特徴部位の位置として特定する位置特定部とを有する
   ことを特徴とする画像処理装置。
4. 目を撮影した画像において前記目の領域である目領域が、反射光による影響を受けているか否かを判定し、
   前記目領域が前記反射光の影響を受けていると判定された場合に、前記目領域のうち、前記目の特徴部位の画像に表れる前記反射光の影響の強さ毎に蓄積部に蓄積された前記特徴部位の画像の画素値との類似度が前記目領域の他の画素の画素値より高い画素を含む領域であって、他の領域よりも前記特徴部位の形状に近い領域を、前記特徴部位として検出する、
   ことを特徴とする画像処理方法。
5. 目を撮影した画像において前記目の領域である目領域が、反射光による影響を受けているか否かを判定し、
   前記目領域が前記反射光の影響を受けていると判定された場合に、前記目領域のうち、前記目の特徴部位の画像に表れる前記反射光の影響の強さ毎に蓄積部に蓄積された前記特徴部位の画像の画素値との類似度が前記目領域の他の画素の画素値より高い画素を含む領域であって、他の領域よりも前記特徴部位の形状に近い領域を、前記特徴部位として検出する、
   処理をコンピュータに実行させることを特徴とする画像処理プログラム。

Images