JP4696571B2 - 眼位置検出装置 - Google Patents

Description

本発明は、被検出者の顔を撮像した画像において、眼の位置を検出する眼位置検出装置に関する。

近年、自動車など車両の運転者の居眠り運転状態や脇見運転状態を判定する装置が知られている。この類の装置では、運転者の眼の動きや、眼の開閉状態に基づいて、運転状態を判定する。そのため、運転者の眼の動きを捕らえるために、運転者の顔を撮影し、この画像において運転者の眼の位置を検出している。

例えば、特許文献１には、画像から鼻の穴を検出し、この鼻の穴の位置に基づいて、眼の存在する領域を特定し、その領域を探索領域として眼の位置を検出する手法が開示されている。この手法によれば、検出が容易な鼻の穴を基準として探索領域を設定することで、眼の存在する可能性の高い領域を特定し、その上で眼の位置を検出する。特に運転者が眼鏡を着用している場合は、レンズ面に前方風景などが映り込むことがあり、眼のエッジラインのコントラストが裸眼の人に比べて弱くなる。また、運転者が眼鏡を着用している場合は、眼の周囲に検出のノイズとなる眼鏡のフレームがある。そのため、鼻の穴をベースに探索領域を設定することにより、眼鏡の有無に拘わらず、眼の位置の検出精度の向上を図ることができる。
特開平１０−６３８５０号公報

しかしながら、特許文献１に開示された手法では、車室内レイアウトの関係でカメラ位置を運転者の正面よりオフセットさせた場合に、検出精度が低下する可能性がある。なぜならば、カメラをオフセットさせた場合、角度的な問題で鼻の穴を二つの丸いオブジェクトとして認識できなくなり、探索領域を設定する上で基準となる鼻の穴が検出できなくなるからである。

本発明は、このような事情に鑑みてなされたものであり、その目的は、例えば、運転者が眼鏡を着用している場合であっても、眼の位置を検出する上で基準となるオブジェクトを顔内で有効に検出することにより、眼の位置の検出精度を向上することが可能な眼位置検出装置を提供することである。

かかる課題を解決するために、本発明によれば、眼位置検出装置は、撮像手段と、蔓部データ検出手段と、眼位置検出手段とを有する。撮像手段は、被検出者の顔を撮像する。蔓部データ検出部は、撮像手段によって撮像された画像において、眼鏡の蔓部を蔓部データとして検出する。第１の探索領域設定部は、データ検出手段によって検出された蔓部データの位置を基準として、第１の探索領域を画像に設定する。眼位置検出手段は、第１の探索領域設定手段により設定された第１の探索領域において、被検出者の眼の位置を検出する。

本発明によれば、眼位置検出装置は、撮像手段によって撮像された画像において、眼鏡の蔓部を蔓部データとして検出する。そして、この検出された蔓部データの位置に基づいて、第１の探索領域を設定し、この第１の探索領域において、運転者の眼の位置を検出する。このように、被検出者の眼の位置を検出するための第１の探索領域の設定基準に眼鏡の蔓部を用いているため、眼鏡を着用した被検出者であっても、眼の位置の検出精度の向上を図ることができる。また、この眼位置検出装置によれば、撮像方向に拘わらず常に容易に検出できる眼鏡の蔓部を基準として用いているため、撮像手段のレイアウトに自由度を持たせることが可能となる。

以下、本発明の好適な実施形態を図面に基づいて説明する。なお、各図において、同一または同様の要素には同一の符号を付して説明を省略するものとする。

図１は、本発明の第１の実施形態に係る眼位置検出装置の全体構成図である。眼位置検出装置１は、車両を運転する運転者（被検出者）の眼の位置を検出する装置であり、特に、運転者の眼鏡の着用に係わらず、左右の眼の位置を精度よく検出するものである。また、本実施形態において、眼位置検出装置１は、検出された眼の位置に基づいて運転者の眼の位置を追跡する追跡機能を備えている。この眼位置検出装置１は、撮像部１０と、処理装置２０と、報知装置４０とを有する。

撮像手段としての撮像部１０は、運転者の顔を撮像し、この画像を処理装置２０に対して出力する。撮像部１０としては、例えば、可視光を撮像するためのＣＣＤカメラ等を用いることができる。図２は、撮像部１０の設置位置の説明図である。撮像部１０は、運転者の顔を撮像する関係上、運転者の前方に設置される必要があるが、車室内のレイアウト等に起因して、運転者の顔の正面からオフセットした位置に配置されている。すなわち、撮像部１０は、通常、運手者の顔の前方に相当するメータパネル付近の領域５０には設置されていない。また、ステアリングホイール等が運転者の顔を遮らないようにといった観点から、撮像部１０は、左右方向において、ステアリングホイールよりも外側位置となる領域５１に設置されている。なお、本実施形態では、撮像部１０を進行方向に対して左側にオフセットさせた状態で説明を行うが、撮像部１０の設置位置は、右側にオフセットさせてもよい。

処理装置２０は、後述するように、撮像部１０から出力された画像に基づいて、運転者の左右の眼の位置を検出する。

報知装置４０は、処理装置２０による眼の位置の検出結果に基づいて、運転者の眼を追跡しながら開閉状態を判定することにより、居眠り運転を警報したり、眼の移動状態を判定することによる脇見運転を警報したりする。報知装置４０としては、例えば、スピーカーやモニタのように、運転者（あるいは同乗者）に注意喚起を促すことができる種々の装置を用いることができる。

図３は、処理装置２０を示すブロック図である。この処理装置２０は、データ検出部２１と、第１の探索領域設定部２２と、第２の探索領域設定部２３と、眼位置検出部２４と、追跡部２６と、眼鏡判定部２５と、記憶部２７と、確認部２８と、眼の再検出判定部２９とを有する。

データ検出部（蔓部データ検出手段および眼データ検出手段）２１は、撮像部１０からの画像に基づいて、眼鏡の蔓部を蔓部データとして検出する。また、データ検出部２１は、撮像部１０からの画像に基づいて、顔内の眼を眼データとして検出する。ここで、図４〜６は、運転者が眼鏡を着用しているケースでのデータ検出処理の説明図であり、図７〜９は、運転者が眼鏡を着用してないケースでのデータ検出処理の説明図である。なお、画像（複数のデータ群（画素群）によって規定される画像平面）は、Ｘ−Ｙ座標系で表現され、画像の左上隅を原点として、横方向（左右方向）をＸ座標軸、縦方向（上下方向）をＹ座標軸とする。

図４に示すように、データ検出部２１は、縦方向に延在する走査ライン６０のそれぞれを処理対象として、この走査ライン６０上に存在するデータ（画素）の画像濃度（濃度値）を順次読み出す。そして、データ検出部２１は、走査ライン６０において、上下方向にかけて濃度値が変化するデータを特徴点６１として抽出する。具体的には、この特徴点６１は、濃度的に暗いこと、その上下に相当するデータとの濃度変化率が所定値以上であることを条件として抽出される。運転者が眼鏡を着用しているケースでは、抽出されたそれぞれの特徴点６１は、同図に示すように、運転者の眉、眼鏡、眼、鼻、口、顎および耳の窪みのいずれかに対応するデータとなっている。

特徴点６１の抽出処理がすべての走査ライン６０に対して実行されると、データ検出部２１は、図５に示すように、抽出したそれぞれの特徴点６１を処理対象として、グルーピング処理を行う。具体的には、データ検出部２１は、ある特徴点６１と、それに隣接する走査ライン６０上に存在する特徴点６１との上下方向の接近度合いを判定し、近接している特徴点６１同士をグループ化する。データ検出部２１は、グルーピングされた特徴点群のうち、横方向に関する長さが所定値以上となる特徴点群を連続データ６２として抽出する。抽出された連続データ６２は、例えば、運転者の眉、眼鏡のレンズのフレーム、眼鏡の蔓部、眼、鼻、口、顎および耳の窪みのいずれか形状に対応している。

データ検出部２１は、図６に示すように、連続データ６２の形状に応じて、蔓部データ６３と、眼データ６４とを検出する。具体的には、撮像部１０の設置位置が左側にオフセットしている場合、データ検出部２１は、画像において、左上がりに傾斜しているという条件を具備する連続データ６２を蔓部データ６３として検出する。なお、撮像部１０の設置位置を右側にオフセットさせた場合には、画像において、右上がりに傾斜しているという条件を具備する連続データ６２が蔓部データ６３として検出される。１フレームの画像において、蔓部データ６３に該当する連続データ６２が複数存在する場合には、データ検出部２１は、予め定められた順番にしたがって（例えば、画像の下部から順番に）蔓部データ６３を順次検出する。これに対して、データ検出部２１は、上に凸となる屈曲形状を有するという条件を具備する連続データ６２を眼データ６４として検出する。１フレームの画像において、眼データ６４に該当する連続データ６２が複数存在する場合には、データ検出部２１は、予め定められた順番にしたがって（例えば、画像の下部から順番に）眼データ６４を順次検出する。

一方、運転者が眼鏡を着用していないケースでは、図７に示すように、データ検出部２１によって検出されたそれぞれの特徴点６１は、運転者の眉、眼鏡、眼、鼻、口、顎および耳の窪みのいずれかに対応するデータとなる。そして、上述したように、特徴点６１の抽出およびグルーピング処理が行われると、図８に示すように、データ検出部２１は、例えば、運転者の眉、眼、鼻、口、顎および耳の窪みのいずれか形状に対応した連続データ６２を抽出する。そして、図９に示すように、データ検出部２１は、所定の条件を具備している連続データ６２を蔓部データ６３として検出し、そして、所定の条件を具備している連続データ６２を眼データ６４として検出する。

第１の探索領域設定部（第１の探索領域設定手段）２２は、データ検出部２１によって検出された蔓部データ６３の位置を基準として、第１の探索領域を設定する。この第１の探索領域は、後述する眼位置検出部２４によって運転者の眼が探索される領域であり、両眼が入る程度の必要最小限の大きさを有しており、例えば、矩形状に設定されている（それ故に、眼位置検出部２４は、画像全体ではなく、限定された領域内で左右の眼を探索する）。

図１０および図１１は、第１の探索領域の設定処理の説明図である。例えば、図１０に示すように、１フレームの画像に複数の蔓部データ６３（同図には、３つの蔓部データ６３ａ〜６３ｃ）が存在する場合には、第１の探索領域設定部２２は、データ検出部２１によって検出される順番にしたがって、各蔓部データ６３ａ〜６３ｃに対して第１の探索領域６５を設定する。処理対象となる蔓部データ６３ａ〜６３ｃに第１の探索領域６５を設定する場合、第１の探索領域設定部２２は、まず、眼鏡の蔓部とレンズフレームとの取り付け部の座標位置から、左方向に距離ｄ１、上方向に距離ｄ２の座標位置に基準点を置く。そして、第１の探索領域設定部２２は、この基準点に基づいて、第１の探索領域６５の左上隅が基準点と位置的に対応するように第１の探索領域６５を設定する。

ここで、基準点を設定する際に必要となる取り付け部の座標位置は、カメラ設置位置を左側にオフセットされた場合、蔓部データ６３ａ〜６３ｃを構成する特徴点６１のうち、最も左端の特徴点６１として、一義的に特定することができる。（カメラ設置位置を右側にオフセットさせた場合は、取り付け部の座標位置は、蔓部データ６３ａ〜６３ｃを構成する特徴点６１のうち、最も右端の特徴点６１となる）。また、基準点を設定する際に必要となる距離ｄ１，ｄ２は、運転者が眼鏡を着用している場合に、設定された第１の探索領域６５が運転者の左右の眼を含むような距離として、その最適値が各々予め設定されている。

運転者が眼鏡を着用している場合には、図１０に示すように、眼鏡の蔓部に対応する蔓部データ６３ｃ（真の蔓部データ６３）が存在するため、第１の探索領域６５は、運転者の左右の眼を含む位置に設定される。一方、運転者が眼鏡を着用していない場合には、図１１に示すように、蔓部データ６３ｄ，６３ｅが存在したとしても、眼鏡の蔓部に対応する真の蔓部データ６３は存在しない。そのため、第１の探索領域６５は、運転者の左右の眼を含む位置には設定されない。

第２の探索領域設定部（第２の探索領域設定手段）２３は、データ検出部２１によって検出された眼データ６４の位置を基準として、第２の探索領域を設定する。この第２の探索領域は、眼位置検出部２４によって運転者の眼が探索される領域であり、第１の探索領域６５と同様、両眼が入る程度の必要最小限の大きさを有しており、例えば、矩形状に設定されている。ただし、第２の探索領域は、検出された眼データ６４が左右のどちらか一方の眼であっても、その領域が他方の眼を含むような大きさを有しており、横方向の幅が上述した第１の探索領域６５よりも大きな値に設定されている。

図１２〜１４は、第２の探索領域の設定処理の説明図であり、説明の便宜上、運転者の眼鏡の着用の有無にかかわらず、眼データ６４のみを示している。例えば、図１２に示すように、１フレームの画像において、複数の蔓部データ６３（同図には、６つの眼データ６４ａ〜６４ｆ）が存在する場合、第２の探索領域設定部２３は、データ検出部２１によって検出される順番にしたがって、各眼データ６４ａ〜６４ｆに対して第２の探索領域６６を設定する。処理対象となる眼データ６４ａ〜６４ｆに第２の探索領域６６を設定する場合、第２の探索領域設定部２３は、まず、眼データ６４の中心となる座標位置に基準点を置く。そして、第２の探索領域設定部２３は、この基準点に基づいて、第２の探索領域６６の略中心位置が基準点と位置的に対応するように第２の探索領域６６を設定する。

眼データ６４が左右の一方の眼に対応していない場合（例えば、図１２，１３に示す眼データ６４ａ，６４ｂ）、第２の探索領域６６は、運転者の左右の眼を含む位置には設定されない。一方、眼データ６４が左右の一方の眼に対応している場合（例えば、図１４に示す眼データ６４ｃ）、第２の探索領域６６は、運転者の左右の眼を含む位置に設定される。

眼位置検出部（眼位置検出手段）２４は、第１の探索領域設定部２２により設定された第１の探索領域６５において運転者の左右の眼を探索することにより、左右の眼の位置（座標位置）をそれぞれ検出する。図１５は、運転者が眼鏡を着用しているケースでの眼の位置の検出処理の説明図である。具体的には、眼位置検出部２４は、眼の形状として予め定義されているデータ群が存在し、その眼の形状が二つあること（一対の眼）、かつ、その一対の眼の相対位置関係に基づいて、左右の眼ＥＬ，ＥＲを探索する。そして、眼位置検出部２４は、左右の眼ＥＬ，ＥＲが探索されると、画像における個々の座標位置を左右の眼ＥＬ，ＥＲの位置として検出する。

また、眼位置検出部２４は、データ検出部２１によって蔓部データ６３が検出されなかった場合、または、第１の探索領域６５において被検出者の左右の眼ＥＬ，ＥＲが探索できなかった場合には、第２の探索領域６６において運転者の左右の眼ＥＬ，ＥＲを探索することにより、左右の眼ＥＬ，ＥＲの位置をそれぞれ検出する。図１６は、運転者が眼鏡を着用していないケースでの眼の位置の検出処理の説明図である。具体的には、眼位置検出部２４は、眼の形状のデータ群が二つあること、かつ、その一対の眼の相対位置関係に基づいて、左右の眼ＥＬ，ＥＲを探索する。そして、眼位置検出部２４は、左右の眼ＥＬ，ＥＲが探索されると、画像における個々の座標位置を左右の眼ＥＬ，ＥＲの位置として検出する。

眼鏡判定部（眼鏡判定手段）２５は、第１の探索領域６５において左右の眼ＥＬ，ＥＲの位置が検出された場合に、運転者が眼鏡を着用していると判定する。また、眼鏡判定部２５は、運転者が眼鏡を着用していると判断した場合には、左右の眼ＥＬ，ＥＲの位置が検出された第１の探索領域６５の設定基準となる蔓部データ６３を、眼鏡の蔓部として特定する。一方、眼鏡判定部２５は、第１の探索領域６５において左右の眼ＥＬ，ＥＲの位置が検出されなかった場合に、運転者が眼鏡を着用していないと判定する。

追跡部（追跡手段）２６は、眼位置検出部２４によって検出された左右の眼ＥＬ，ＥＲの位置のうち、一方の眼の位置を基準として追跡領域６７を画像に設定する。この追跡領域６７は、時系列的に出力される画像において、運転者の眼の位置の追跡を行うための領域であり、フレーム間の眼の位置の動きに対応できるように、少なくとも一方の眼を含むような大きさを有している。なお、撮像部１０の設置位置を左側にオフセットさせている場合では、運転者の左眼ＥＬの方が角度的に認識精度が高いため、基準として用いる眼は左眼ＥＬであることが好ましい（以下、左眼を「基準眼」という）。追跡部２６は、一旦追跡領域６７が設定されると、それ以降は設定された追跡領域６７の設定位置に基づき、この追跡領域６７の設定基準となる画像よりも時系列的に後に撮像される後画像において、基準眼ＥＲを追跡する。

図１７は、運転者が眼鏡を着用しているケースでの追跡領域６７の説明図である。眼鏡判定部２５によって運転者が眼鏡を着用していると判定された場合、追跡部２６は、まず、眼鏡の蔓部として特定された蔓部データ６３の位置に基づいて、眼鏡の蔓部の有無を確認するための確認領域６８の基準点６８ａを設定する。確認領域６８は、眼鏡の蔓部を含むような大きさに設定されており、基準点６８ａは、この確認領域６８が眼鏡の蔓部を含むような位置、例えば、眼鏡の蔓部とレンズフレームとの取り付け部（本実施形態では、蔓部データ６３の左端）近傍に設定される。そして、追跡部２６は、この確認領域６８の基準点６８ａと、基準眼ＥＬ（例えば、中心座標）との相対的な位置関係（以下「第１の位置関係」という）を記憶部（記憶手段）２７に格納する。そして、追跡部２６は、この基準点６８ａと、確認領域６８の基準位置（本実施形態では、左上隅）とを対応させた上で、確認領域６８を設定する。また、追跡部２６は、基準眼ＥＬの位置（例えば、中心位置）を基準に、追跡領域６７を画像に設定する。

一方、図１８は、運転者が眼鏡を着用していないケースでの追跡領域６７の説明図である。眼鏡判定部２５によって運転者が眼鏡を着用していないと判定された場合、追跡部２６は、まず、基準眼ＥＬとは異なる他方の眼（本実施形態では、右眼）ＥＲに基づいて、右眼ＥＲの有無を確認するための確認領域６９の基準点６９ａを設定する。確認領域６９は、右眼ＥＲを含むような大きさに設定されており、基準点６９ａは、この確認領域６９が右眼を含むような位置に設定される。そして、追跡部２６は、この確認領域６９の基準点６９ａと、基準眼ＥＬ（例えば、中心座標）との相対的な位置関係（以下「第２の位置関係」という）を記憶部２７に格納する。そして、追跡部２６は、この基準点６９ａと、確認領域６９の基準位置（本実施形態では、左上隅）とを対応させた上で、確認領域６９を設定する。また、追跡部２６は、基準眼ＥＬの位置（例えば、中心位置）を基準に、追跡領域６７を画像に設定する。

図１９は、基準眼ＥＬの追跡処理の説明図である。なお、同図には、便宜上、眼鏡を着用している運転者が描かれているが、追跡処理では、運転者の眼鏡の着用の有無に係わらず同一の処理が実行される。具体的には、追跡部２６は、図１９に示すように、従前のサイクルにおける画像（以下必要に応じて「前画像」という）において設定した追跡領域６７に基づいて、後画像の位置的に対応する領域６７’において基準眼ＥＬの位置検出を行う（追跡処理）。

運転者の顔に動きがある場合は、追跡領域６７における前後画像間の眼の相対位置は異なる場合がある。そこで、確認部２８は、先に設定された確認領域６８，６９に基づいて、基準眼ＥＬの追跡が正しく行われているか否かを確認する。以下、運転者が眼鏡を着用しているケースと、運転者が眼鏡を着用していないケースとに場合分けし、確認部２８によって行われる確認処理を説明する。

運転者が眼鏡を着用している場合には、確認部２８は、追跡部２６によって追跡された基準眼ＥＬの位置に基づいて、記憶部２７に格納された第１の位置関係を参照し、後画像に眼鏡の蔓部が存在するか否かを確認する。図２０は、眼鏡を着用した運転者が車両前方から右方向に視線（顔の向き）を移動させて行く際の時系列的な様子の説明図である。追跡領域６７は、画像間で、（ａ）、（ｂ）、（ｃ）、（ｄ）、（ｅ）の順に更新される。また、図２１は、眼鏡を着用した運転者が車両前方から左方向に視線（顔の向き）を移動させて行く際の時系列的な様子の説明図である。追跡領域６７は、図２０と同様に、画像間で、（ａ）、（ｂ）、（ｃ）、（ｄ）、（ｅ）の順に更新される。この際、追跡部２６は、記憶部２７に格納された第１の位置関係に基づいて、追跡された基準眼ＥＬと位置的な対応関係を維持しつつ、確認領域６８も更新する。

そして、確認部２８は、確認領域６８に出現する眼鏡蔓部の形状の有無を判定することで、眼の追跡が正しく行えているか否かを判定する。運転者が車両前方を見ている場合、蔓部データ６３の出現状態は、例えば、図２０の（ａ）または図２１の（ａ）に示すように、確認領域６８内を対角線上に延在する直線データとして確認される。一方、運転者が右方向を見た場合は、例えば、図２０の（ｅ）に示すように、確認領域６８の上方に浅い角度で出現する。これに対して、運転者が左方向を見た場合は、例えば、図２１の（ｅ）に示すように、確認領域６８の左方に深い角度で出現する。そのため、確認部２８は、この確認領域６８における眼鏡蔓部の角度と、出現位置とを判定することにより、眼の追跡が正しく行えているかどうかを判定することができる。

これに対して、運転者が眼鏡を着用していない場合には、確認部２８は、追跡部２６によって追跡された基準眼ＥＲの位置に基づいて、記憶部２７に格納された第２の位置関係を参照し、後画像において他方の眼（右眼）ＥＲが存在するか否かを確認する。図２２は、眼鏡を着用していない運転者が車両前方から右方向に視線（顔の向き）を移動させて行く際の時系列的な様子の説明図である。追跡領域６７は、図１９で説明したように、画像間で、（ａ）、（ｂ）、（ｃ）、（ｄ）、（ｅ）の順に更新される。また、図２３は、眼鏡を着用した運転者が車両前方から左方向に視線（顔の向き）を移動させて行く際の時系列的な様子の説明図である。追跡領域６７は、図２３と同様に、画像間で、（ａ）、（ｂ）、（ｃ）、（ｄ）、（ｅ）の順に更新される。この際、追跡部２６は、記憶部２７に格納された第２の位置関係に基づいて、追跡された基準眼ＥＬと位置的な対応関係を維持しつつ、確認領域６９も更新する。

そして、確認部２８は、確認領域６９に出現する眼の形状のデータの有無を判定することで、眼の追跡が正しく行えているか否かを判定する。すなわち、確認部２８は、この確認領域６９における眼のデータの有無を判定することにより、眼の追跡が正しく行えているかどうかを判定することができる。

眼の再検出判定部（眼の再検出判定手段）２９は、確認部２８の確認結果に応じて、眼の再検出を判定する。具体的には、眼の再検出判定部２９は、確認部２８によって眼の追跡が正しく行われていないと判定された場合には、追跡部２６によって更新された追跡領域６７をクリアし、眼の位置の検出処理を再度実行させる。一方、眼の再検出判定部２９は、確認部２８によって眼の追跡が正しく行われていると判定された場合には、追跡部２６によって追跡された基準眼ＥＬの位置を基準として、追跡領域６７を更新する。

次に、第１の実施形態に係る眼位置検出装置１の動作を説明する。まず、眼位置検出装置１の撮像部１０は、運転者の顔を含む領域を撮像し、画像のデータを処理装置２０に出力する。そして、処理装置２０は、図２４に従う処理を実行する。図２４は、処理装置２０の詳細動作を示すフローチャートである。同図は、処理装置２０によって実行される全ての詳細動作を示しているが、処理装置２０の処理は、以下の２パターンに大別される。第１のパターンは、運転者が眼鏡を着用しているケースでの処理である。この処理では、処理装置２０は、蔓部データ６３の検出（後述するステップ１０〜１３）、第１の探索領域６５の設定（後述するステップ１４）、目の位置の検出（後述するステップ１５）を行う。また、処理装置２０は、検出された眼の位置に基づいて、眼の追跡処理（後述するステップ１９〜２１，２５，２６〜２９）を行う。これに対して、第２のパターンは、運転者が眼鏡を着用していないケースでの処理である。この処理では、処理装置２０は、眼データ６４の検出（後述するステップ１０〜１３，１６）、第２の探索領域６６の設定（後述するステップ１７）、目の位置の検出（後述するステップ１８）を行う。また、処理装置２０は、検出された眼の位置に基づいて、眼の追跡処理（後述するステップ２２〜２５，２６〜２９）を行う。

図２４に示すよう、まず、ステップ１０において、データ検出部２１は、画像のデータを入力する。ステップ１１において、データ検出部２１は、追跡領域６７が設定されているか否かを判定する。本処理を初めて実行する場合には、追跡領域６７は未設定であるため、このステップ１１では否定判定され、ステップ１２に進む。一方、本処理が既に実行され、追跡領域６７がすでに設定されている場合には、このステップ１１において肯定判定され、後述するように、ステップ２６に進む。

ステップ１２において、データ検出部２１は、データの抽出を行う。このデータ抽出処理では、データ検出部２１は、図４および図７を参照して説明したように、特徴点６１の抽出を行う。そして、データ検出部２１は、図５および図８を参照して説明したように、連続データ６２を抽出する。

ステップ１３において、データ検出部２１は、第１の探索領域６５の設定対象となる蔓部データ６３が存在するか否かを判定する。このステップ１３において肯定判定された場合、すなわち、蔓部データ６３（右上がりに傾斜している連続データ６２）が存在する場合には、ステップ１４に進む。ステップ１４において、第１の探索領域設定部２２は、データ検出部２１によって検出された蔓部データ６３を処理対象として、図１０および図１１を参照して説明したように、第１の探索領域６５を設定する。

ステップ１５において、眼位置検出部２４は、設定された第１の探索領域６５において、左右の眼ＥＬ，ＥＲの位置の検出に成功したか否かを判定する。このステップ１５において否定判定された場合、すなわち、第１の探索領域６５において、所定の相対位置関係を具備する眼の形状のデータ群が二つ存在しない場合には、ステップ１３に戻る。蔓部データ６３が未だ存在する場合には、ステップ１３において肯定判定されるため、新たな蔓部データ６３を処理対象として、ステップ１４，１５の処理を繰り返す。一方、ステップ１５において肯定判定された場合、すなわち、第１の探索領域６５において、一対の眼の相対位置関係を具備する眼の形状のデータ群が二つ存在する場合には、それらのデータ群をそれぞれ左右の眼ＥＬ，ＥＲとした上で、その位置をそれぞれ検出し、後述するステップ１９に進む。

一方、ステップ１３において否定判定された場合、ステップ１６に進む。このステップ１６に進むケースとしては、以下の２つのパターンが挙げられる。第１のパターンは、データ検出部２１によって蔓部データ６３が検出されない場合である。第２のパターンは、データ検出部２１によって蔓部データ６３が検出されるものの、この蔓部データ６３をベースに設定される第１の探索領域６５において左右の眼ＥＬ，ＥＲが検出されない場合である。

ステップ１６において、データ検出部２１は、第２の探索領域６６の設定対象となる眼データ６４が存在するか否かを判定する。このステップ１６において肯定判定された場合、すなわち、眼データ６４（上に凸となる屈曲形状を有する連続データ６２）が存在する場合には、ステップ１７に進む。ステップ１７において、第２の探索領域設定部２３は、データ検出部２１によって検出された眼データ６４を処理対象として、第２の探索領域６６を設定する。

ステップ１８において、眼位置検出部２４は、設定された第２の探索領域６６において、左右の眼ＥＬ，ＥＲの位置の検出に成功したか否かを判定する。このステップ１８において否定判定された場合、すなわち、第２の探索領域６６において、所定の相対位置関係を具備する眼の形状のデータ群が二つ存在しない場合には、ステップ１６に戻る。眼データ６４が未だ存在する場合には、ステップ１６において肯定判定されるため、再度、新たな眼データ６４を処理対象として、ステップ１６，１７の処理を繰り返す。一方、ステップ１８において肯定判定された場合、すなわち、第２の探索領域６６において、所定の相対位置関係を具備する眼の形状のデータ群が二つ存在する場合には、それらのデータ群をそれぞれ左右の眼ＥＬ，ＥＲとした上で、その位置をそれぞれ検出し、後述するステップ２２に進む。

ステップ１９では、ステップ１５の肯定判定に従い、すなわち、第１の探索領域６５において左右の眼ＥＬ，ＥＲの位置検出が行われたことに従い、眼鏡判定部２５は、運転者が眼鏡を着用していると判定する。これとともに、眼鏡判定部２５は、第１の探索領域６５の設定基準となる蔓部データ６３を眼鏡の蔓部として特定する。ステップ２０において、追跡部２６は、図１７を参照して説明したように、確認領域６８の基準点６８ａと、基準眼ＥＬとの相対位置関係（第１の位置関係）をメモリする。そして、追跡部２６は、確認領域６８を設定するとともに（ステップ２１）、追跡領域６７を設定し（ステップ２５）、本ルーチンを抜ける。

一方、ステップ２２では、ステップ１８の肯定判定に従い、すなわち、第２の探索領域６６において左右の眼ＥＬ，ＥＲの位置検出が行われたことに従い、眼鏡判定部２５は、運転者が眼鏡を着用していると判定する。続くステップ２３において、追跡部２６は、図１８を参照して説明したように、確認領域６９の基準点６９ａと、基準眼ＥＬとの相対位置関係（第２の位置関係）をメモリする。そして、追跡部２６は、確認領域６９を設定するとともに（ステップ２４）、追跡領域６７を設定し（ステップ２５）、本ルーチンを抜ける。

ステップ１１の肯定判定に続くステップ２６において、追跡部２６は、前画像において設定した追跡領域６７に基づいて、新たに入力された後画像において眼の位置検出を行う（追跡処理）。そして、ステップ２７において、確認部２８は、眼（基準眼ＥＬ）の追跡が正しく行われているか否かを判定する。このステップ２７において、確認部２８は、眼鏡判定部２５によって運転者が眼鏡をしていると判定されている場合、記憶部２７に格納された第１の位置関係（すなわち、確認領域６８の基準点６８ａと、基準眼ＥＬ（例えば、中心座標）との相対位置）を読み込む。そして、確認部２８は、図２０および図２１を参照して説明したように、追跡部２６によって追跡された基準眼ＥＬの位置に基づいて基準点６８ａを設定し、この基準点６８ａをベースに確認領域６８を設定する。そして、確認部２８は、確認領域６８における眼鏡蔓部の角度と、出現位置とを判定することにより、眼鏡の蔓部が存在するか否かを判定する。確認部２８は、確認領域６８に眼鏡の蔓部が存在する場合には、眼の追跡が正しく行われていると判定し、確認領域６８に眼鏡の蔓部が存在しない場合には、眼の追跡が正しく行われていないと判定する。確認部２８によって眼の追跡が正しく行われていると判定された場合には、ステップ２７において肯定判定され、ステップ２８に進む。一方、確認部２８によって眼の追跡が正しく行われていないと判定された場合には、ステップ２７において否定判定され、ステップ２９に進む。

一方、確認部２８は、眼鏡判定部２５によって運転者が眼鏡をしていないと判定されている場合、記憶部２７に格納された第２の位置関係（すなわち、確認領域６９の基準点６９ａと、基準眼ＥＬ（例えば、中心座標）との相対位置）を読み込む。そして、確認部２８は、図２２および図２３を参照して説明したように、追跡部２６によって追跡された基準眼ＥＬの位置に基づいて基準点６９ａを設定し、この基準点６９ａをベースに確認領域６９を設定する。そして、確認部２８は、確認領域６９における眼の形状に対応するデータの有無を判定することにより、右眼ＥＲが存在するか否かを判定する。確認部２８は、確認領域６９に右眼ＥＲが存在する場合には、眼の追跡が正しく行われていると判定し、確認領域６９に右眼ＥＲが存在しない場合には、眼の追跡が正しく行われていないと判定する。確認部２８によって眼の追跡が正しく行われていると判定された場合には、ステップ２７において肯定判定され、ステップ２８に進む。一方、確認部２８によって眼の追跡が正しく行われていないと判定された場合には、ステップ２７において否定判定され、ステップ２９に進む。

ステップ２８において、眼の再検出判定部２９は、図１９（ｂ）に示すように、領域６７'において検出された基準眼ＥＬの位置（例えば、中心位置）を基準に基準点６７ａを設定した上で、この基準点６７ａをベースに追跡領域６７を更新し、本ルーチンを抜ける。そして、次回のサイクルの処理では、この更新された追跡領域６７にともない、図２４に示すステップ１１において肯定判定され、新たな後画像を対象として追跡処理が行われる。

一方、ステップ２９において、眼の再検出判定部２９は、追跡部２６によって設定された追跡領域６７をクリアし、本ルーチンを抜ける。そのため、このステップ２９以降の処理では、追跡領域６７のクリアにともない、図２４に示すステップ１１において否定判定され、新たな画像を対象として眼の位置検出処理が行われる。

このように、第１の実施形態に係る眼位置検出装置１によれば、撮像部１０によって撮像された画像において、眼鏡の蔓部を蔓部データ６３として検出する。そして、この眼位置検出装置１は、この蔓部データ６３の位置に基づいて、眼鏡の蔓部と顔内の眼との位置的な対応関係を考慮した上で、第１の探索領域６５を設定し、この第１の探索領域６５において運転者の眼ＥＬ，ＥＲの位置を検出する。眼鏡を着用したドライバーは、レンズ面への風景の映り込み等が懸念されるため、眼の位置を安定的に検出できる基準が必要となる。そこで、本実施形態では、眼鏡の蔓部をこの基準として用いているため、このような不都合を解消することができる。また、このような基準としては、鼻の穴を用いることも考えられるが、カメラを左右にオフセットさせた場合には、鼻の穴を二つの穴として検出することが困難となり、検出精度といった点で問題となる。しかしながら、本実施形態では、カメラの配置位置に拘わらず常に容易に検出できる眼鏡の蔓部を用いることにより、このような不都合を解消することができる。これにより、眼位置検出装置１は、運転者が眼鏡を着用している場合であっても、眼の位置の検出精度の向上を図ることができる。また、この眼位置検出装置１によれば、車室内での撮像部１０のレイアウトに自由度を持たせることが可能となる。

また、この眼位置検出装置１は、眼鏡を着用していない運転者の場合には、撮像部１０によって撮像された画像において、連続データ６２のうち、上に凸の屈曲形状を有することを条件として顔内の眼を検出する。そして、この眼位置検出装置１は、この眼鏡の蔓部の検出位置をベースに、運転者の左右の眼ＥＬ，ＥＲの位置を検出する。そのため、この眼位置検出装置１は、運転者の眼鏡の着用の有無に拘わらず、眼の位置の検出を行うことが可能となる。

また、眼位置検出装置１は、追跡部２６によって、位置検出が行われた左右の眼ＥＬ，ＥＲのうちの一方の眼（基準眼）ＥＬに追跡領域６７を設定する。そして、追跡部２６は、設定された追跡領域６７の設定位置に基づき、後画像において一方の眼を追跡する。すなわち、追跡部２６は、予め前画像において検出された眼の位置をベースに眼を追跡することにより、追跡精度の向上を図ることができる。また、この眼位置検出装置１は、確認領域６８，６９を設定し、眼の追跡が正しく行えている否かを判定することにより、追跡精度の向上を更に図ることができる。

第１の実施形態において、撮像部１０は、左右方向において、ステアリングホイールよりも外側位置に配置されている。そのため、ステアリングホイールのスポーク部によって撮像が妨げられることがないので、常に運転者の顔全体を撮像することが可能となり、この眼位置検出装置１は、眼の位置の検出精度および眼の追跡精度の向上を図ることができる。

第１の実施形態において、眼位置検出装置１は、蔓部データ６３をベースとした第１の探索領域６５と、眼データ６４をベースとした第２の探索領域６６と設定する場合に、第１の探索領域６５の設定を優先して行っている。これにより、運転者の眼鏡着用、非着用別に適切な処理を実行することができるので、短時間で精度の高い眼の位置検出を行うことができる。

第１の実施形態において、データ検出部２１は、上下方向にかけて画像濃度が変化する特徴点６１をそれぞれ抽出し、抽出された特徴点６１のそれぞれのうち、左右方向にかけて連続性があり、かつ、傾斜しているという条件を具備する特徴点群（連続データ６２）を蔓部データ６３として検出している。そのため、簡便に、かつ、的確に蔓部データ６３を検出することができるので、眼位置検出装置１は、眼鏡を着用している運転者であってもより速やかに眼の位置を検出することができる。また、データ検出部２１は、上下方向にかけて画像濃度が変化する特徴点６１をそれぞれ抽出し、抽出された特徴点６１のそれぞれのうち、左右方向にかけて連続性があり、かつ、上に凸となる屈曲形状を有するという条件を具備する連続データ６２を眼データ６４として検出している。そのため、簡便に、かつ、的確に眼データ６４を検出することができるので、眼位置検出装置１は、眼鏡を着用している運転者であってもより速やかに眼の位置を検出することができる。

第１の実施形態において、第１の探索領域設定部２２は、データ検出部２１によって検出された蔓部データ６３を処理対象として第１の探索領域６５を設定する。そして、第１の探索領域設定部２２は、この処理対象となる第１の探索領域６５において運転者の眼の位置が検出されなかった場合には、データ検出部２１によって新たに検出された蔓部データ６３を処理対象として第１の探索領域６５を設定する。

また、第２の探索領域設定部２３は、データ検出部２１によって検出された眼データ６４を処理対象として第２の探索領域６６を設定する。そして、第２の探索領域設定部２３は、この処理対象となる第２の探索領域６６において運転者の眼の位置が検出されなかった場合には、データ検出部２１によって新たに検出された眼データ６４を処理対象として第２の探索領域６６を設定する。第１の探索領域設定部２２または第２の探索領域設定部２３が同様の処理を繰り返すようにしたことで、運転者の違い、眼鏡の違いなどに対するロバスト性を向上させることができる。

第１の実施形態において、第１の探索領域設定部２２は、蔓部データ６３の左右の端部位置と、撮像部１０による撮像方向とに基づいて、蔓部データ６３の一方の端部を基準点に左右の眼が含まれる領域を第１の探索領域６５として設定する。これにより、第１の探索領域６５は、両眼が存在する可能性が高い領域に、必要最小限の大きさで設定される。そのため、眼位置検出装置１は、眼鏡を着用している運転者において、迅速かつ精度よく眼の位置を検出することができる。また、第２の探索領域設定部２３は、検出された眼データ６４の位置に基づいて基準点を設定し、この基準点を基準に左右の眼が含まれる領域を第２の探索領域６６として設定する。これにより、第１の探索領域６５は、両眼が存在する可能性が高い領域に、必要最小限の大きさで設定される。そのため、眼位置検出装置１は、眼鏡を着用していない運転者において、迅速かつ高精度に眼の位置を検出することができる。

さらに、第１の実施形態において、眼位置検出部２４は、データの形状、一対の眼の存在、および、一対の眼の相対位置関係に基づいて、運転者の左右の眼を探索している。条件を複合的に用いることにより、眼位置検出装置１は、更に高精度に眼の位置を検出することができる。

なお、第１の実施形態において、第１および第２の探索領域６５，６１の大きさは、基本的に、運転者の体格差による顔の前後位置や、顔の作りの違いを考慮して両眼が入る必要最小限の大きさとして設定されている。図２５は、第１および第２の探索領域６５，６１の横方向の大きさの説明図である。ただし、カメラのオフセット量が小さい場合（図２５（ａ）参照）と、大きい場合（図２５（ｂ）参照）とでは、両眼の間隔に角度差による違いが一定比で発生する。そのため、第１の探索領域設定部２２および第２の探索領域設定部２３は、運転者の顔の正面からの撮像部１０のオフセット量が大きい程（図２５（ｂ）のケース）、左右方向の幅が小さくなるように（Ｄ１＞Ｄ２）、その探索領域６５，６６を設定してもよい。これにより、第１の探索領域６５および第２の探索領域６６は、両眼が存在する可能性が高い領域の大きさに最適化される。そのため、眼位置検出装置１は、更に迅速かつ高精度に眼の位置を検出ができる。

また、第１の実施形態は、髪が長く耳が隠れてしまう運転者であっても適用可能である。なぜならば、眼鏡レンズ面は、基本的に、運転者の顔面の前に離れて存在しているため、運転者が顔を下に向けることがなければ、眼鏡の蔓部の一部を傾斜した特徴点群として認識できるからである。それ故に、データ検出部２１は、連続データ６２を抽出する際の連続性の条件を、髪の長い運転者のことも考慮して設定することにより、眼の位置検出を行うことが可能となる。

図２６は、第２の実施形態に係る処理装置２０ａを示すブロック図である。上述した第１の実施形態において、処理装置２０は、眼の追跡が正しく行われていない場合には、追跡領域６７をクリアし、再度、眼位置検出部２４が画像全体において左右の眼の検出を行う。しかしながら、運転者が代わらない限り、車両前方を見ている時の眼の位置は、画像においてその範囲がある程度限定される。そのため、一旦左右の眼を検出し、正常に追跡していたという実績がある場合には、処理速度の向上といった観点から、過去に検出された眼の位置を基準に再検出領域を設定する。そして、処理装置２０は、この限定された再検出領域内において、運転者の眼の位置を検出すればよい。そこで、第２の実施形態に係る処理装置２０ａは、図２６に示すように、眼の再検出領域設定部（眼の再検出領域設定手段）３０と、眼の再検出部（眼の再検出手段）３１とを追加的に備えている。ここで、
眼の再検出領域設定部３０は、従前のサイクルにおいて検出された左右の眼ＥＬ，ＥＲの位置をメモリしておく。眼の再検出領域設定部３０は、眼鏡判定部２５によって運転者が眼鏡を着用していると判定されている場合には、入力された画像において、基準眼ＥＬの位置を基準に、基準眼ＥＬを含むような大きさを有する再検出領域を設定する。また、眼の再検出判定部２９は、この基準眼ＥＬの位置を基準に、眼鏡の蔓部を含むような大きさを有する再検出領域を設定する。一方、眼の再検出領域設定部３０は、眼鏡判定部２５によって運転者が眼鏡を着用していると判定されている場合には、入力された画像において、基準眼ＥＬの位置を基準に、左右の眼を含むような大きさを有する再検出領域を設定する。

眼の再検出部３１は、眼鏡判定部２５によって運転者が眼鏡を着用していると判定されている場合には、再検索領域に、基準眼ＥＬと眼鏡の蔓部とが存在することを条件に、眼の位置を再検出する。一方、眼の再検出部３１は、眼鏡判定部２５によって運転者が眼鏡を着用していない判定されている場合には、再検索領域に、左右の眼が存在することを条件に、眼の位置を再検出する。

このような追加的な構成を備える処理装置２０ａは、画像全体から眼の位置検出を行う場合と比較して、高速に眼の検出を行うことができる。

図２８は、第３の実施形態に係る処理装置２０ｂを示すブロック図である。同図に示す処理装置２０ｂが、上述した第１の実施形態に係る処理装置２０と相違する点は、眼の追跡機能を備えていない点である。すなわち、この処理装置２０ｂは、第１の実施形態における、データ検出部２１、第１の探索領域設定部２２，第２の探索領域設定部２３、眼位置検出部２４を備える。かかる構成であっても、画像から運転者の左右の眼の位置を検出することができ、本発明の一部として機能する。すなわち、この処理装置２０ｂを有する位置検出装置１は、運転者の眼鏡の着用の有無に拘わらず、眼の位置の検出精度の向上を図ることができる。また、この眼位置検出装置１によれば、車室内での撮像部１０のレイアウトに自由度を持たせることが可能となる。

なお、上述した各実施形態では、眼位置検出装置１が運転者の眼鏡の有無に拘わらず処理を実行できるような構成としたが、本発明はこれに限定されるものではない。眼位置検出装置１は、蔓部データ６３を基準として運転者の眼の位置を検出するのみでもよい。この場合、眼位置検出装置１の処理装置２０は、少なくともデータ検出部２１と、第１の探索領域設定部２２と、眼位置検出部２４とを備えていれば足りる。

本発明の第１の施形態に係る眼位置検出装置の全体構成図である。 撮像部１０の設置位置の説明図である。 第１の実施形態に係る処理装置２０を示すブロック図である。 運転者が眼鏡を着用しているケースでのデータ検出処理の説明図である。 運転者が眼鏡を着用しているケースでのデータ検出処理の説明図である。 運転者が眼鏡を着用しているケースでのデータ検出処理の説明図である。 運転者が眼鏡を着用してないケースでのデータ検出処理の説明図である。 運転者が眼鏡を着用してないケースでのデータ検出処理の説明図である。 運転者が眼鏡を着用してないケースでのデータ検出処理の説明図である。 第１の探索領域の設定処理の説明図である。 第１の探索領域の設定処理の説明図である。 第２の探索領域の設定処理の説明図である。 第２の探索領域の設定処理の説明図である。 第２の探索領域の設定処理の説明図である。 運転者が眼鏡を着用しているケースでの眼の位置の検出処理の説明図である。 運転者が眼鏡を着用していないケースでの眼の位置の検出処理の説明図である。 運転者が眼鏡を着用しているケースでの追跡領域６７の説明図である。 運転者が眼鏡を着用していないケースでの追跡領域６７の説明図である。 基準眼ＥＬの追跡処理の説明図である。 眼鏡を着用した運転者が車両前方から右方向に視線（顔の向き）を移動させて行く際の時系列的な様子の説明図である。 眼鏡を着用した運転者が車両前方から左方向に視線（顔の向き）を移動させて行く際の時系列的な様子の説明図である。 眼鏡を着用していない運転者が車両前方から右方向に視線（顔の向き）を移動させて行く際の時系列的な様子の説明図である。 図２３は、眼鏡を着用した運転者が車両前方から左方向に視線（顔の向き）を移動させて行く際の時系列的な様子の説明図である。 処理装置２０の詳細動作を示すフローチャートである。 第１および第２の探索領域６５，６１の横方向の大きさの説明図である。 第２の実施形態に係る処理装置２０ａ構成要素を示すブロック図である。 第３の実施形態に係る処理装置２０ｂを示すブロック図である。

符号の説明

１ 眼位置検出装置
１０ 撮像部
２０ 処理装置
２１ データ検出部
２２ 第１の探索領域設定部
２３ 第２の探索領域設定部
２４ 眼位置検出部
２５ 眼鏡判定部
２６ 追跡部
２７ 記憶部
２８ 確認部
２９ 眼の再検出判定部
３０ 眼の再検出領域設定部
３１ 眼の再検出部
６０ 走査ライン
６１ 特徴点
６２ 連続データ
６３ 蔓部データ
６４ 眼データ
６５ 第１の探索領域
６６ 第２の探索領域
６７ 追跡領域
６８ 確認領域
６９ 確認領域

Claims (17)

1. 被検出者の顔を撮像する撮像手段と、
   前記撮像手段によって撮像された画像において、眼鏡の蔓部を蔓部データとして検出する蔓部データ検出手段と、
   前記蔓部データ検出手段によって検出された前記蔓部データの位置を基準として、第１の探索領域を前記画像に設定する第１の探索領域設定手段と、
   前記第１の探索領域設定手段によって設定された前記第１の探索領域において、前記被検出者の眼の位置を検出する眼位置検出手段とを有し、
   前記撮像手段は、前記被検出者の顔の正面からオフセットした位置に配置されており、
   前記蔓部データ検出手段は、前記被検出者の顔を横側から撮像した画像において、前記蔓部データを検出することを特徴とする眼位置検出装置。
2. 被検出者の顔を撮像する撮像手段と、
   前記撮像手段によって撮像された画像において、眼鏡の蔓部を蔓部データとして検出する蔓部データ検出手段と、
   前記蔓部データ検出手段によって検出された前記蔓部データの位置を基準として、第１の探索領域を前記画像に設定する第１の探索領域設定手段と、
   前記第１の探索領域設定手段によって設定された前記第１の探索領域において、前記被検出者の眼の位置を検出する眼位置検出手段とを有し、
   前記蔓部データ検出手段は、前記画像において、上下方向にかけて画像濃度が変化する特徴点をそれぞれ抽出し、当該抽出された抽出点のそれぞれのうち、左右方向にかけて連続性があり、かつ、傾斜しているという条件を具備する抽出点群を前記蔓部データとして検出することを特徴とする眼位置検出装置。
3. 被検出者の顔を撮像する撮像手段と、
   前記撮像手段によって撮像された画像において、眼鏡の蔓部を蔓部データとして検出する蔓部データ検出手段と、
   前記蔓部データ検出手段によって検出された前記蔓部データの位置を基準として、第１の探索領域を前記画像に設定する第１の探索領域設定手段と、
   前記第１の探索領域設定手段によって設定された前記第１の探索領域において、前記被検出者の眼の位置を検出する眼位置検出手段とを有し、
   前記第１の探索領域設定手段は、前記蔓部データ検出手段によって検出された前記蔓部データを処理対象として前記第１の探索領域を設定するとともに、前記設定された前記第１の探索領域において前記眼位置検出手段によって前記被検出者の眼の位置が検出されなかった場合には、前記蔓部データ検出手段によって新たに検出された前記蔓部データを処理対象として前記第１の探索領域を設定することを特徴とする眼位置検出装置。
4. 前記撮像手段によって撮像された画像において、顔内の眼を眼データとして検出する眼データ検出手段と、
   前記眼データ検出手段によって検出された前記眼データの位置を基準として、第２の探索領域を前記画像に設定する第２の探索領域設定手段とをさらに有し、
   前記眼位置検出手段は、前記蔓部データ検出手段によって前記蔓部データが検出されない場合、または、前記第１の探索領域設定手段によって設定された前記第１の探索領域において前記被検出者の眼が検出されない場合には、前記第２の探索領域設定手段によって設定された前記第２の探索領域において、前記被検出者の眼の位置を検出することを特徴とする請求項３に記載された眼位置検出装置。
5. 前記眼位置検出手段によって検出された前記被検出者の眼の位置のうち、左右一方の眼の位置を基準として、少なくとも前記一方の眼を含むような大きさを有する追跡領域を前記画像に設定するとともに、当該設定された追跡領域の設定位置に基づき、前記追跡領域の設定基準となる前記画像よりも時系列的に後に撮像された後画像において、前記一方の眼の位置を追跡する追跡手段をさらに有することを特徴とする請求項３または４に記載された眼位置検出装置。
6. 前記第１の探索領域において前記被検出者の眼の位置が検出された場合に、前記被検出者が前記眼鏡を着用していると判定し、前記第１の探索領域において前記被検出者の眼の位置が検出されなかった場合に、前記被検出者が眼鏡を着用していないと判定する眼鏡判定手段をさらに有することを特徴とする請求項５に記載された眼位置検出装置。
7. 前記眼鏡判定手段は、前記被検出者が前記眼鏡を着用していると判定した場合、前記被検出者の眼の位置が検出された前記第１の探索領域の設定基準となる前記蔓部データを、前記眼鏡の蔓部として特定することを特徴とする請求項６に記載された眼位置検出装置。
8. 前記眼鏡判定手段によって前記眼鏡の蔓部と特定された前記蔓部データと、前記眼位置検出手段によって検出された前記一方の眼との相対的な位置関係が、第１の位置関係として格納される記憶手段と、
   前記追跡手段によって追跡された前記一方の眼の位置を基準に、前記記憶手段に格納された前記第１の位置関係を参照し、前記後画像において前記蔓部データが存在するか否かを確認する確認手段と、
   前記確認手段によって前記蔓部データが存在しないと確認された場合に、前記眼の位置の再検出を判定する再検出判定手段と
   をさらに有することを特徴とする請求項７に記載された眼位置検出装置。
9. 前記眼鏡判定手段によって前記被検出者が前記眼鏡を着用していないと判定された場合に、前記眼位置検出手段によって検出された前記一方の眼と他方の眼との相対的な位置関係が、第２の位置関係として格納される記憶手段と、
   前記追跡手段によって追跡された前記一方の眼の位置を基準に、前記記憶手段に格納された前記第２の位置関係を参照し、前記後画像において前記他方の眼が存在するか否かを確認する確認手段と、
   前記確認手段によって前記他方の眼が存在しないと確認された場合に、前記被検出者の眼の位置の再検出を判定する再検出判定手段と
   をさらに有することを特徴とする請求項６に記載された眼位置検出装置。
10. 前記再検出判定手段によって前記被検出者の眼の位置の再検出が判定された場合に、従前の処理において検出されている前記一方の眼の位置を基準に、当該一方の眼を含むような再検出領域と、前記眼鏡の蔓部を含むような再検出領域とを設定する眼の再検出領域設定手段と、
    前記眼の再検出領域設定手段によって設定された前記再検索領域のそれぞれに、前記一方の眼と前記眼鏡の蔓部とがそれぞれ存在することを条件として前記被検出者の眼の位置を再検出する眼の再検出手段と
    をさらに有することを特徴とする請求項８に記載された眼位置検出装置。
11. 前記再検出判定手段によって前記被検出者の眼の位置の再検出が判定された場合に、従前の処理において検出されている前記一方の眼の位置を基準に、左右の眼を含むような再検出領域を設定する眼の再検出領域設定手段と、
    前記眼の再検出領域設定手段によって設定された前記再検索領域に、前記左右の眼が存在することを条件に前記被検出者の眼の位置を再検出する眼の再検出手段と
    をさらに有することを特徴とする請求項９に記載された眼位置検出装置。
12. 前記被検出者は、車両を運転する運転者であり、
    前記撮像手段は、左右方向において、前記車両のステアリングホイールよりも外側位置に配置されることを特徴とする請求項１に記載された眼位置検出装置。
13. 前記眼データ検出手段は、前記画像において、上下方向にかけて画像濃度が変化する特徴点をそれぞれ抽出し、当該抽出された抽出点のそれぞれのうち、左右方向にかけて連続性があり、かつ、上に凸となる屈曲形状を有するという条件を具備する抽出点群を前記眼データとして検出することを特徴とする請求項４に記載された眼位置検出装置。
14. 前記第２の探索領域設定手段は、前記眼データ検出手段によって検出された前記眼データを処理対象として前記第２の探索領域を設定するとともに、前記設定された第２の探索領域において前記眼位置検出手段によって前記被検出者の眼の位置が検出されなかった場合には、前記眼データ検出手段によって新たに検出された前記眼データを処理対象として前記第２の探索領域を設定することを特徴とする請求項４に記載された眼位置検出装置。
15. 前記第１の探索領域設定手段は、前記蔓部データ検出手段によって検出された前記蔓部データの左右の端部位置と、前記被検出者に対する前記撮像手段の撮像方向とに基づいて、前記蔓部データの一方の端部を基準点に設定するとともに、当該設定された基準点を基準として、前記被検出者の左右の眼を含む領域を前記第１の探索領域として設定することを特徴とする請求項１に記載された眼位置検出装置。
16. 前記第２の探索領域設定手段は、前記眼データ検出手段によって検出された前記眼データの位置に基づいて基準点を設定するとともに、当該設定された基準点を基準として、前記被検出者の左右の眼を含む領域を前記第２の探索領域として設定することを特徴とする請求項４に記載された眼位置検出装置。
17. 前記第１の探索領域および前記第２の探索領域は、前記被検出者の顔の正面を基準とした前記撮像手段のオフセット量が大きい程、左右方向の幅が小さく設定されることを特徴とする請求項４に記載された眼位置検出装置。