JP4826506B2 - 視線推定装置 - Google Patents

Description

本発明は、車両運転者の顔画像から視線を推定する視線推定装置に関する。

近年、カメラで撮影された車両運転者の顔画像から視線を推定する技術の研究開発が盛んに行われており、車両運転者の視線の方向から脇見や安全確認不履行などを検出して警報を行う安全装置、車両運転者の視線の方向から次の行動や意図を予測して車両動作を制御する車両運動制御装置、さらには、車両運転者の視線の方向により所定の入力操作を行う入力装置などへの応用が期待されている。

車両運転者の顔画像から視線を推定する装置としては、例えば、特許文献１に開示されているように、カメラで撮影された顔画像のデータをマイクロコンピュータで画像処理して車両運転者の顔の向きと目の向き（眼球の回転角）とを求め、これら顔の向きと目の向きとを合成して車両運転者の視線の方向を推定するものが知られている。また、車両運転者の顔画像から顔の向きを推定する技術としては、例えば、特許文献２に開示されているように、顔画像から検出される複数の特徴部位の位置関係から顔の向きを推定するという手法や、特許文献３に開示されているように、顔の輪郭線と中心線との位置関係から顔の向きを推定するという手法が知られている。
特開２００３−２７１９３２号公報 特開２００５−１９６５６７号公報 特開２００５−１５７６４８号公報

しかしながら、上述した特許文献１〜３に開示されている技術をはじめ、車両運転者の顔画像から視線や顔向きを推定する従来の技術では、顔画像から検出される顔部位の左右対称性などから正面方向を認識して、この正面方向を基準とした車両運転者の視線の方向や顔の向きを求めるようにしているため、正面方向が正確に捉えられていない場合があり、結果として視線の方向や顔向きを十分な精度で推定できない場合がある。

すなわち、人の顔は正確に左右対称ではなく、頭部や眼球の回転の軸や視野、視力にも個人差がある。また、顔を横向け気味の癖のある人もいるし、車両運転中の姿勢も人によって異なったものとなる。さらに、同一の人であっても、時間や環境、気分などで車両運転中の姿勢が変化することもある。このように車両運転者ごとの個人差や運転環境などに応じて車両運転者が正面と認識している方向は変化するものであり、このような正面方向を顔画像から抽出される顔部位の左右対称性などから一律に求めて、これを基準に視線の方向や顔向きを推定したのでは、十分な推定精度が得られない場合がある。

本発明は、以上のような従来の実情に鑑みて創案されたものであって、車両運転者の視線を精度良く推定することができる視線推定装置を提供することを目的としている。

本発明に係る視線推定装置は、上記目的を達成するために、車両運転者の顔を被写体として時系列に映像を撮影するカメラからの映像信号をフレーム単位の顔画像として取得する顔画像取得手段と、顔画像取得手段で取得された顔画像を画像処理して、車両運転者の顔の複数の特徴部位を検出する顔特徴検出手段と、顔特徴検出手段で検出された複数の特徴部位の位置関係に基づいて、車両運転者の顔向きを推定する顔向き推定手段と、顔画像取得手段で取得された顔画像の中の目の周囲画像を切り出して画像処理を行い、少なくとも瞳の位置を含む目の特徴点を検出する瞳検出手段と、顔向き推定手段の推定結果と瞳検出手段の検出結果とに基づいて、カメラを基準とした車両運転者の視線方向を推定する視線方向推定手段と、視線方向推定手段による推定結果の時系列変化に基づいて、車両運転者が正面として認識していると仮定される基準正面を推定する基準正面推定手段と、基準正面推定手段による推定結果を用いて視線方向推定手段の推定結果を補正する視線方向補正手段とを備える構成としている。

本発明に係る視線推定装置によれば、カメラを基準とした視線方向の推定結果の時系列変化から車両運転者が正面と認識していると仮定される基準正面が推定され、この基準正面の推定結果を用いてカメラを基準とした視線方向が補正されるので、車両運転者ごとの個人差や運転環境などに拘わらず、常に車両運転者の視線を精度良く推定することができる。

以下、本発明の具体的な実施形態について、図面を参照しながら詳細に説明する。

［視線推定装置を利用した車載システムの構成］
本発明を適用した視線推定装置１は、例えば図１に示すような車載システムで利用される。

この図１に示す車載システムは、車内に設置されたカメラ２で車両運転者Ｄの顔を被写体として時系列に映像を撮影し、このカメラ２からの映像信号を視線推定装置１に入力して、視線推定装置１において車両運転者Ｄの視線を推定し、視線信号として随時出力するものである。視線推定装置１には、視線推定精度向上のために、カメラ２からの映像信号のほかに、例えば舵角センサで検出される操舵信号やジャイロにより得られる車両進行方向を示す信号などの車両信号、車載ナビゲーションシステムから供給される車両周辺の道路環境を示す車両周辺情報も入力される。また、視線推定装置１は、車両運転者Ｄの視線から注視状態を推定し、その注視方向を注視方向信号として出力する機能も有している。また、カメラ２による撮影時には、必要に応じて、近赤外照明装置３により被写体となる車両運転者Ｄの顔への照明を行う。

［視線推定装置の構成］
図２は、本発明を適用した視線推定装置１内部の機能構成及び各構成要素間でのデータの流れを示すデータフロー図である。

視線推定装置１は、図２に示すように、顔画像取得部１１と、顔特徴検出部１２と、顔向き推定部１３と、瞳検出部１４と、視線方向推定部１５と、基準正面推定部１６と、視線方向補正部１７と、注視方向推定部１８と、車両走行状態判定／予測部１９とを備える。

顔画像取得部１１は、車両運転者Ｄの顔を被写体として時系列に映像を撮影するカメラ２からの映像信号を、フレーム単位の顔画像として取得する。

顔特徴検出部１２は、顔画像取得部１１で取得された顔画像に対して画像処理を行い、車両運転者Ｄの顔の複数の特徴部位を検出し、各特徴部位の座標データを出力する。

顔向き推定部１３は、顔特徴検出部１２から出力された複数の特徴部位の座標データから車両運転者Ｄの顔の位置を検出するとともに、複数の特徴部位の位置関係に基づいて車両運転者Ｄの顔向きを推定して、顔向き・位置データを出力する。

瞳検出部１４は、顔画像取得部１１で取得された顔画像のうちで目の周囲の画像を切り出して、この切り出した画像に対して画像処理を行い、少なくとも瞳の位置を含む目の特徴点を検出して、各特徴点の座標データを出力する。

視線方向推定部１５は、顔向き推定部１３から出力された顔向き・位置データと、瞳検出部１４から出力された目特徴点座標データとに基づいて、カメラ２を基準とした車両運転者Ｄの視線方向を推定して、カメラ基準の視線データを出力する。

基準正面推定部１６は、視線方向推定部１５から出力されたカメラ基準の視線データの時系列変化に基づいて、車両運転者Ｄが正面として認識していると仮定される基準正面を推定し、基準正面データを出力する。具体的には、基準正面推定部１６は、視線方向推定部１５から出力されたカメラ基準の視線データを所定回数分蓄積して各視線データの集中度を表す度数分布を作成する。そして、作成した度数分布に基づいて最も視線が集中している方向を特定してその方向を基準正面として推定し、基準正面データとして出力する。また、基準正面判定部１６は、基準正面の推定に用いた度数分布のデータを、注視方向推定部１８で注視方向を推定するためのデータとして出力する。

また、基準正面推定部１６は、走行状態判定／予測部１９から現在の車両の走行状態が旋回走行であることが判定され、或いは今後の車両の走行状態が旋回走行となることが予測され、且つ、視線方向推定部１５により推定された視線方向が変化したときには、その視線方向の変化量、又は、過去の同様の走行状態のときの視線方向の変化量に基づいて、視線データの度数分布から推定した基準正面を補正して、補正後の基準正面データを出力する。

視線方向補正部１７は、基準正面推定部１６から出力された基準正面データを用いて視線方向推定部１５から出力される視線データを補正し、視線信号として出力する。

注視方向推定部１８は、車両運転者Ｄが注視している方向を推定して、注視方向信号として出力する。具体的には、注視方向推定部１８は、基準正面推定部１６から出力された度数分布データを用いて、基準正面推定部１６で基準正面として推定された方向以外に視線が集中している方向を注視対象が存在する方向と推定する。そして、視線方向推定部１５から出力された視線データが、注視対象が存在すると推定される方向に集中したときに、その方向を車両運転者Ｄの注視方向と推定し、注視方向信号として出力する。

また、注視方向推定部１８は、簡易的には、基準正面推定部１６から出力された基準正面データをもとに、この基準正面を中心とした所定の範囲を正面方向として設定し、視線方向推定部１５から出力された視線データがこの正面方向として設定した範囲内か否かを識別して、その結果を注視方向信号として出力することもできる。

車両走行状態判定／予測部１９は、例えば、操舵信号、ジャイロの信号などの車両信号や、車載ナビゲーションシステムから供給される車両周辺情報を入力し、これら車両信号や車両周辺情報に基づいて現在の車両の走行状態を判定、もしくは、今後の車両の走行状態を予測して、その結果を走行状態データとして出力する。この車両走行状態判定／予測部１９から出力された走行状態データは、上述したように基準正面推定部１６において基準正面を補正する際に利用される。

［視線推定装置による処理の概要］
図３は、本発明を適用した視線推定装置１における処理の概要を説明するフローチャートである。本発明を適用した視線推定装置１は、図３のフローチャートで示す処理を所定周期で繰り返し行って、視線信号や注視方向信号を随時出力する。

まず、処理が開始されると、ステップＳ１において、車両運転者Ｄの顔画像が取得される（顔画像取得部１１）。次に、ステップＳ２において、ステップＳ１で取得された顔画像に対して画像処理が行われ、車両運転者Ｄの顔の複数の特徴部位が検出される（顔特徴検出部１２）。次に、ステップＳ３において、ステップＳ２で検出された複数の特徴部位の位置関係に基づいて、車両運転者Ｄの顔向きが推定される（顔向き推定部１３）。

また、ステップＳ３の顔向き推定と並行して、ステップＳ４において、車両運転者Ｄの目の周囲の画像に対する画像処理が行われ、瞳位置を含む目の特徴点が検出される（瞳検出部１４）。そして、ステップＳ５において、ステップＳ３で推定された車両運転者Ｄの顔向きとステップＳ４で検出された目の特徴点とに基づいて、カメラ２を基準とした車両運転者Ｄの視線方向が推定される（視線方向推定部１５）。このステップＳ５の視線方向推定処理は、画像上の見かけの視線方向を推定する処理（ステップＳ５−１）と、見かけの視線方向に対してカメラパラメータを用いた補正を行う処理（ステップＳ５−２）とを含むものである。

次に、ステップＳ６において、過去の所定回数におけるステップＳ５の処理結果の時系列変化が分析されて、車両運転者Ｄが正面と認識していると仮定される基準正面が推定される（基準正面推定部１６）。次に、ステップＳ７において、ステップＳ５で推定されたカメラ基準の視線方向がステップＳ６で推定された基準正面に基づいて補正される（視線方向補正部１７）。そして、ステップＳ８において、ステップＳ７で補正された視線方向が視線信号として出力される。

また、ステップＳ９では、ステップＳ６において視線方向の時系列変化を分析した結果から注視対象が存在する方向が推定され、ステップＳ５の処理結果と比較される。そして、ステップＳ５で推定された視線方向が注視対象が存在する方向に集中するときに、その方向が注視方向と推定され（注視方向推定部１８）、ステップＳ８において、ステップＳ９で推定された注視方向が注視方向信号として出力される。

［顔特徴部位の検出］
車両運転者Ｄの顔画像から特徴部位を検出するには、例えば、顔画像データに対してエッジ検出処理やグラフマッチング処理などの画像処理を行い、顔画像上で濃度変化が大きく現われる点、例えば、左右の目（上瞼や下瞼、目頭、目じりなど）、左右の眉、左右の輪郭、鼻孔、口裂などを特徴部位として検出すればよい。

ここで、画像処理の対象となる顔画像データは、フレームごとに連続性のあるデータであるので、前フレームの顔画像で特徴部位が検出できていれば、その特徴部位を追跡することによってそれ以降のフレームの顔画像から特徴部位を容易に検出できる。特徴部位の追跡は、例えば、前フレームの顔画像から検出した１つの特徴部位の座標をもとに、現フレームの顔画像の中で探索エリアを設定し、その限定された探索エリア内で該当する特徴部位を探索する。そして、現フレームの顔画像の中から１つの特徴部位を検出できたら、前フレームの顔画像から検出した１つの特徴部位とその他の特徴部位との位置関係をもとに、現フレームの顔画像から残りの特徴部位を検出する。

なお、車両運転者Ｄの顔画像から顔の特徴部位を検出する手法としては、例えば、特許文献１（特開２００３−２７１９３２号公報）に記載されている手法や、特許文献２（特開２００５−１９６５６７号公報）に記載されている手法など、従来公知の手法が何れも適用可能である。

［顔向きの推定］
車両運転者Ｄの顔向きを推定は、例えば、顔画像に対する画像処理で検出した複数の特徴部位の位置関係をもとに、顔の左右の対称性を評価することによって推定できる。すなわち、人の顔は一般的に左右対称に近い形状をしており、顔が回転することによって顔の特徴部位の見かけの位置がずれて対称性に歪が生じる。したがって、これを評価することで顔向きを推定することが可能である。

なお、車両運転者Ｄの顔向きを推定する手法としては、例えば、特許文献１（特開２００３−２７１９３２号公報）に記載されている手法や、特許文献２（特開２００５−１９６５６７号公報）に記載されている手法など、従来公知の手法が何れも適用可能である。

［目の特徴点（瞳）の検出］
本発明を適用した視線推定装置１では、図４に示す手法により、車両運転者Ｄの瞳の位置を検出する。

瞳の検出は、水平方向のエッジライン（上瞼）下に位置する暗く丸い（低輝度円形）領域を検出する問題と考えることができる。そこで、まず、顔画像から切り出した目の周囲画像を適応２値化することで、上瞼の影と瞳（虹彩）といった画像中の低輝度の領域を抽出する。この処理は、目の周囲画像を平滑化処理によりぼかした画像を仮想背景画像として、この仮想背景画像と原画である目の周囲画像との差を求めることで得られる。

次に、目の周囲領域に対して、円形形状の評価関数C（cx，cy，pr）および低輝度領域の評価関数D（cx，cy，pr）を適用し、瞳の評価関数P（cx，cy，pr）はこれらの積で表されると仮定して、水平方向のエッジライン（上瞼候補）下で、Pが最大となる点を瞳とする。
P（cx，cy，pr）＝C（cx，cy，pr）×D（cx，cy，pr）

以下、この瞳位置を検出する手法について、さらに詳しく説明する。

＜目の周囲画像の低輝度領域を抽出＞
まず、顔画像から特徴部位として検出された目の座標データをもとに、顔画像から目の周囲の領域を切り出して目の周囲元画像Goとして使用する。切り出す範囲（横sw, 縦sh）は、目の座標データに目頭、目じりの位置が含まれている場合は、この座標を元に算出することが望ましいが、カメラ２の設置位置と画角によって、運転者の顔の位置と撮像される顔のサイズはある程度の予測が可能であるので、固定値としてもかまわない。

画像切り出しの一例を図５に示す。図５では、目頭・目じりの距離をlとしたとき、切り出す画像の大きさをsw＝l×１．５，sh＝sw／２とし、目頭・目じりの中点を縦方向上側に縦幅shの２０％だけ平行移動した位置と中心として、目の周囲元画像Goを切り出した例を示している。また、瞳の半径prは、目頭、目じり間の距離lの１５％〜２０％と仮置きする。この画像Goをノイズ除去のため、２×２近傍で平滑化した画像Gsを目の周囲画像とする。

次に、目の周囲画像Gsを１０×１０近傍で平滑化した画像Gbを得る。１０×１０近傍と比較的広範囲で平滑化した画像Gbは目の周囲画像Gsをぼかした効果があり、仮想的な背景画像とみなすことができる。

次に、仮想背景画像Gbと目の周囲画像Gsとの差分を得ることにより、低輝度領域のみの画像Gdを得る。この差分画像Gdをあらかじめ設定した閾値により２値化して、２値画像G2を得ることにより、低輝度領域を抽出する。

図６は、低輝度領域を抽出する処理を具体的に説明する図である。低輝度領域を抽出するにあたり、原画像をぼかした仮想背景画像Gbを利用することによって、図６の下段の例に示すように、目の右半分と左半分で明るさの異なる画像においても、抽出対象である目の低輝度領域が得られていることが確認できる。また、仮想背景画像Gbと目の周囲画像Gsとの差分から低輝度画像Gdを求めているため、２値化の閾値は画像に依存せず固定値とすることができる。

＜上瞼候補ラインの抽出＞
次に、２値画像G2に対して、低輝度領域として抽出される領域ごとにラベリングを行う。そして、画像の中央付近にあるラベルを探索する。このラベルの探索は、図７に示すように、画像の中央から放射状に行うものとする。これにより画像中央付近のラベルの付いた領域（図７中の（ｃ）の領域）が探索される。そして、図８に示すように、この画像中央付近のラベルの付いた領域の上端のエッジラインを抽出することで上瞼の候補ラインとする。なお、上述した顔の特徴部位の検出処理において、目頭・目じりが検出対象として含まれていない場合は、このラインの両端を目頭、目じりと仮定し、目の特徴点として検出する。これらの情報は、瞳は上瞼より下に存在するため、瞳の検出範囲を上瞼の候補ラインの下に限定するために用いることができる。

＜円形フィッティング＞
次に、目の周囲画像から瞳の位置を検出するための方法として、画像中の任意の座標（cx，cy）に瞳の候補である円の中心があると仮定し、この座標（cx，cy）を中心とする円形領域に対し評価関数を適応する。図９に示すように、画像中全ての点を円の中心であると仮定して評価を行い、画像中で評価結果の高い位置を瞳の可能性の高い位置として特定する。

ここでは、円形領域に適用する評価関数として、暗さを評価する関数と、円形状を評価する関数とを用いる。以下、これらの評価関数について説明する。

（低輝度領域の評価関数D−暗さの評価）
低輝度領域を表す２値画像G2および仮想背景画像Gbを用いて、円形フィッティングを行う。

まず、図１０（ａ）に示すように、瞳の大きさに相当する半径r1（＝pr）の円内の領域を２つの画像の画素値を加算する領域、瞳の大きさ＋αの領域（半径r1〜r2）を何もしない領域、それよりも外側（r2より大きい）の領域を画素値を減算する領域とする。そして、２値画像G2および仮想背景画像Gbの評価領域内の任意点の画素値p, qについて、評価領域中心（円中心）から対象点までの距離dによって、以下の条件式により加減算した結果sを得る。
if d < r1 : s＝s＋p×（１−q／２５５)
else if d > r2 : s＝s−p×（１−q／２５５）

評価結果のサンプルを図１０（ｂ）に示す。目の形状が理想的に２値化できている場合（図１０（ｂ）上段の画像参照）にはp値のみで十分であるが、目の形状が理想的に2値化できていない場合（図１０（ｂ）下段の画像参照）においても低輝度の位置で評価値が高くなるようにq値を用いる。

評価領域内の加減算結果sを理想値である瞳の面積π（pr）^２で割り、０．０〜１．０の実数への正規化した値を評価関数Dの結果とする。
D（cx，cy）＝s／（π（pr）^２）

（円形形状の評価関数Cの適用−円形の評価）
低輝度領域の抽出結果である２値画像G2のエッジ部分の円形状へのフィッティングを行い、これを評価する。

まず、２値画像G2からエッジ法線を得る。円形を示す部分では、円の中心から放射状にエッジに法線ベクトルが存在する。ただし、目の画像に関しては、図１１に示すように、上瞼部分の法線ベクトルは上瞼のラインに沿うので、円の中心から放射状の法線ベクトルとはならない。よって、円形の評価のため法線ベクトルが放射状に存在することを用いる場合、円の主に下半分を評価対象とする。

図１２に示すように、瞳の半径prに対して、少し小さめの円と、少し大きめの円を想定し、これら２つの円に挟まれる領域に存在するエッジ法線v1を求める。エッジ法線が円の下半分の領域に属する場合は、円の中心（cx，cy）と対象点を結ぶベクトル（円周上の点の法線ベクトル）v2のなす角θをベクトルの内積を用いて次式で得て、領域内全体での合計値tを得る。
cosθ＝v1・v2／（|v1||v2|）
t＝t＋cosθ

このとき、ベクトルv2のなす角θが設定範囲外の場合は合計値の計算に用いないようにし、領域内での合計値tを理想値（π（r2）^２−π（r1）^２）で割り、０．０〜１．０に正規化した値を評価関数Cの結果とする。
C（cx，cy）＝t／（π（r2）^２−π（r1）^２）
実際にエッジ情報から求められる法線ベクトルおよび評価結果の一例を図１３に示す。

＜低輝度円形領域の特定＞
以上のように求めた暗さを評価する評価関数Dの結果と円形状を評価する評価関数Cの結果とを用い、図１４に示すように、これら評価関数Dおよび評価関数Cの結果の積算値Pを得ることで、低輝度でかつ円形の領域、つまり瞳の可能性の高い位置を特定することができる。ここで、瞳は上瞼の下に位置するので、図１５に示すように、２値画像G2から抽出した上端エッジ（上瞼候補ライン）の下にある積算値Pが最大の位置を瞳の位置として決定する。

以上のように、暗さを評価する評価関数Dの結果と円形状を評価する評価関数Cの結果とを用いて瞳の位置を検出することで、黒い瞳以外で瞳の領域が低輝度にならない場合や、目に輝点が入り正確な円形とならない場合においても、瞳の位置を高い精度で正確に検出することができる。

［視線方向の推定］
図１６は、カメラ２を基準とした車両運転者Ｄの視線方向を推定する視線方向推定部１５の詳細を示すデータフロー図である。視線方向推定部１５は、図１６に示すように、顔向き・位置データおよび目特徴点の座標データ（少なくとも目頭、目じり、瞳の中心を含む）を入力とし、画像上の見かけの視線方向を示す目向きデータを出力する見かけの視線推定部１５ａと、顔向き・位置データ、目特徴座標データ、カメラパラメータ（少なくともカメラ２の画角と車両進行方向に対する向きを含む）および目向きデータを入力とし、カメラ基準の視線データを出力するカメラ補正部１５ｂとからなる。

以下、これら見かけの視線推定部１５ａおよびカメラ補正部１５ｂによる処理内容について、詳細に説明する。

＜見かけの視線方向の推定＞
図１７は、目頭、目じり、瞳の中心の３点の見かけの座標と、眼球の断面を上から見た場合の各点の位置との関係、眼球の断面を横から見た場合の各点の位置との関係を示す図である。

（左右方向の推定）
まず、目の特徴点として検出された目頭、目じり、瞳の中心の３点から、左右方向の眼球回転角ψyを推定する方法を以下に説明する。

眼球を表すパラメータとして、仮想眼球中心O、眼球半径r、眼裂角2ωを用いる。また、目頭、目じり、瞳の中心の３点をそれぞれA，B，P、左右方向の顔向き角をθyとする。このときの眼球回転角ψyを求める。

仮想眼球中心Oから目頭Aと目じりBまでの距離a，bは、次式で表される。
a＝Ax−Ox＝r sin（θy＋ω）
Ox＝Ax−r sin（θy＋ω） ・・・（１）
b＝Bx−Ox＝r sin（θy−ω）
Ox＝Bx−r sin（θy−ω） ・・・（２）
（１）＝（２）より、
Ax−Bx＝r{sin（θy＋ω）−sin（θy−ω）}
r＝（Ax−Bx）／{sin（θy＋ω）−sin（θy−ω）} ・・・（３）

一方、仮想眼球中心Oから瞳の中心Pまでの距離pは、次式で表される。
p＝Px−Ox＝r sin（θy＋ψy）
（１）より、
Px−Ax−r sin（θy＋ω）＝r sin（θy＋ψy）
sin（θy＋ψy）＝（Px−Ax）／r＋sin（θy＋ω）
（３）より、
sin（θy＋ψy）＝sin（θy＋ω）−{sin（θy＋ω）−sin（θy−ω）}（Px−Ax）／（Bx−Ax）

これにより、仮想眼球中心O、眼球半径r は必要なく、眼裂角2ωのみを外部パラメータとして与えることで、目頭、目じり、瞳の中心の３点の座標A，B，Pから、左右方向の視線角θy＋ψyを得ることができる。また、θyは顔向きを示す値であるため、顔向き推定の結果を用いて左右方向の眼球回転角ψyのみが得られる。

（上下方向の推定）
次に、上下方向の眼球回転角ψxを推定する方法について説明する。

横方向の眼裂角2ωは、目の横方向では個人を特定すればほぼ常に一定であるため、左右方向の眼球の回転を得るためには有効なパラメータである。しかし、目の上下方向においては、瞼の開閉による変化が大きいため縦方向の眼裂角を用いることはできない。

上下方向の眼球回転角ψxの推定には、眼球を表すパラメータとして、仮想眼球中心O, 眼球半径rを用いる。また、目頭、目じり、瞳の中心の３点をそれぞれA，B，P、A，Bの中点をC、上下方向の顔向き角をθxとする。このとき眼球回転角ψxを求める。

仮想眼球中心OからA，Bの中点（目の中心）Cまでの距離cは、次式で表される。
c＝Cy−Oy＝r sinθx
Oy＝Cy−r sinθx ・・・（４）

また、仮想眼球中心Oから、瞳の中心Pまでの距離pは、次式で表される。
p＝Py−Oy＝r sin（θx＋ψx）
（４）より、
Py−Cy＋r sinθx＝r sin（θx＋ψx）
sin（θx＋ψx）＝（Py−Cy）／r＋sinθx
眼球半径rは式（３）にて算出済みであるから、
sin（θx＋ψx）＝sinθx−{sin（θy＋ω）−sin（θy−ω）} （Py−Cy）／（Bx−Ax）

これにより、仮想眼球中心O、眼球半径r は必要なく、横方向の眼裂角2ωのみを外部パラメータとして与えることで、目頭、目じり、瞳の中心の３点の座標A，B，Pから、上下方向の視線角θx＋ψxを得ることができる。また、θxは顔向きを示す値であるため、顔向き推定の結果を用いて上下方向の眼球回転角ψxのみが得られる。

＜カメラ補正＞
視線方向は、顔向き（θy，θx）と目向き（ψy，ψx）とを合成した方向として捉えられる。ここで、前項までに求めた顔向き（θy，θx）や目向き（ψy，ψx）は、画像上の見かけの回転角であるため、視線方向が同じ方向であっても、カメラ２の撮像位置によっては実際の向きは異なっている。このため、カメラ２の撮像位置に応じた画像上の見かけの角度を補正する必要がある。

カメラ２により物体を撮像した場合には、カメラ２のレンズにより生じる見かけの回転成分を含んでいる。見かけの回転成分とは、図１８に示すように、同じ方向を向いていても、カメラの向きや画角、撮像位置によって視線が変化しているように見える現象である。この見かけの回転成分は、ピンホールレンズであると仮定した場合、カメラ２の画角と画角内のどこに顔が撮像されているかによって変化するため、これらのパラメータにより補正することができる。

図１９に示すように、カメラ２の画像解像度を幅w，高さhとして、カメラ２の画角を（φy，φx）とする。また、顔の重心座標F（例えば右目、左目、鼻の中点）を（Fx，Fy）とすると、補正角（θyd，θxd）は次の式で表される。
θyd＝arctan（2 Fx tan（φy／2）／w）−σy
θxd＝arctan（2 Fy tan（φx／2）／h）−σx

目の重心座標E（例えば目頭、目じりの中点）を（Ex，Ey）とすると、補正角（ψyd，ψxd）は次の式で表される。
ψyd＝arctan（2 Ex tan（φy／2）／w）−σy
ψxd＝arctan（2 Ey tan（φx／2）／h）−σx

ここで、角度成分（σy，σx）の項は、カメラ２の設置に関するパラメータであり、例えば車両進行方向を０度とした場合、それに対するカメラ２の向きを表す。

これにより、求めた補正角を、前項までに求めた顔の回転角（θy，θx）および目の回転角（ψy，ψx）から引くことにより、補正後の顔の回転角（θ'y，θ'x）、目の回転角（ψ'y，ψ'x）が得られる。そして、これら補正後の顔の回転角（θ'y，θ'x）と目の回転角（ψ'y，ψ'x）とを合成した方向（θy’＋ψy’，θx’＋ψx’）が、カメラ基準の視線方向として算出される。

［基準正面の推定］
以上の処理で得られる視線データ（θy’＋ψy’，θx’＋ψx’）は、顔の左右対称性や平均的な運転姿勢などを前提とし、カメラを基準として一般的に正面と捉えられる方向を視線方向の基準となる正面方向とした視線データである。このため、この視線データ（θy’＋ψy’，θx’＋ψx’）は、車両運転者Ｄごとの個人差や運転環境に応じた姿勢変化などは考慮されておらず、実際の車両運転者Ｄの視線方向とは必ずしも一致していない。そこで、本発明を適用した視線推定装置１では、基準正面推定部１６で車両運転者Ｄが正面と認識していると仮定される基準正面を推定し、この基準正面の推定結果を用いてカメラ基準の視線方向（θy’＋ψy’，θx’＋ψx’）を補正するようにしている。

図２０は、基準正面を推定する方法（図３のステップＳ６の処理）の一例を示すフローチャートである。基準正面の推定処理では、まず、ステップＳ６−１において、カメラ基準の視線方向の時系列変化を見るため、所定回数分の視線データ（例えば３０秒間に亘り得られる視線データ）を逐次記憶する。記憶した所定回数分の視線データを２次元にプロットすると図２１のようになる。

次に、ステップＳ６−２において、ステップＳ６−１で記憶した所定回数分の視線データを基に、横方向への視線成分θ'y＋ψ'xおよび縦方向への視線成分θ'x＋ψ'yそれぞれについて、度数分布を作成する。図２２に横方向の視線成分について作成した度数分布を示す。

次に、ステップＳ６−３において、ステップＳ６−２で作成した度数分布で最大値をとる位置（ξy，ξx）を特定する。車両の運転行動においては、車両運転者Ｄは全運転時間の９０％以上、正面方向を向いている。したがって、ステップＳ６−２で作成した度数分布で最大値をとる位置（ξy，ξx）は、車両運転者Ｄが正面として認識している方向であると考えられ、この方向を基準正面と推定することができる。

ステップＳ６−４では、ステップＳ６−３で特定された位置（ξy，ξx）の方向を基準正面として更新し、最新の基準正面を表す基準正面データを出力する。以上の処理を繰り返し行うことで、車両運転者Ｄごとの個人差や運転姿勢の変化などにも対応して、車両運転者Ｄが正面として認識している基準正面を正確に把握することができる。

＜車両走行状態に応じた基準正面の補正＞
ところで、車両運転中の運転者Ｄの基準正面は、車両の走行状態によって変化する。例えば、車両運転者Ｄが将来（ｎ秒後）に到達する位置を推定して視線を送っていると仮定すると、直進時、右旋回時、左旋回時によって、図２３に示すように、基準正面が変化することがわかる。

ここで、上述した基準正面の推定方法は、過去の一定時間（例えば３０秒間）の視線データの度数分布に基づいて基準正面を推定するものであり、例えば図２４（ａ）および（ｂ）のイメージ図で示すように、車両の操舵角の変化や進行方向の変化から把握される車両の旋回走行といった場面においては、図２４（ｃ）および（ｄ）のイメージ図に示すように、推定される基準正面は視線変化に対して遅れて追従することになる。

そこで、図２５に示すように、車両信号である操舵角情報、車載ナビゲーションシステムの位置情報やその時系列変化、ジャイロにより得られる車両進行方向などにより車両の旋回走行区間の開始を検出し、直前に生じた視線変化の変化量、もしくは、過去に同等の操舵角や進行方向変化のときに生じた基準正面の補正角に基づいて、基準正面を補正することが望ましい。また、旋回走行区間の終了は操舵の戻りから判定できるので、旋回走行区間が終了したときも、その直前に生じた視線変化の変化量に基づいて基準正面を補正するか、過去の旋回走行終了時と同様に基準正面を補正することが望ましい。これにより、推定される基準正面が視線変化に対して遅延することの影響を抑制し、視線推定精度をより向上させることができる。

また、車両周辺情報として車載ナビゲーションシステムの経路情報と、車両進行方向、車速を併用することで、図２６に示すように、時刻ｔの位置において、時刻ｔ＋Δｔの位置で旋回走行区間に到達することを予測することも可能である。したがって、車両運転者Ｄの視線変化が検知された場合に、その位置がこれから旋回走行区間に到達しようとしている位置（時刻ｔの位置）であれば、直前に生じた視線変化の変化量、もしくは、過去に同等の旋回走行を行った際の基準正面の補正角に基づいて、基準正面を補正することが望ましい。同様に、車両信号や車両周辺情報などから旋回走行区間を終了して直進走行区間に到達しようとしている状態も検出可能であるため、旋回走行区間の終了が予測されるときにも、その直前に生じた視線変化の変化量、もしくは、過去の旋回走行終了時と同様に基準正面を補正することが望ましい。これにより、例えば山道などの連続して旋回走行区間が変化するような場面においても、基準正面を適切に補正して、視線変化に対する遅延の影響を有効に抑制することができる。

［視線方向の補正］
本発明を適用した視線推定装置１では、上述したように、車両運転者Ｄの顔画像を画像処理することで顔の回転角と目の回転角とを合成したカメラ基準の視線方向を求め、このカメラ基準の視線方向を、車両運転者Ｄが正面と認識していると仮定される基準正面を用いて補正することにより、車両運転者Ｄごとの個人差や運転環境に応じた姿勢変化なども考慮した正確な視線方向を求めるようにしている。具体的には、視線方向補正部１７において、視線方向推定部１５より出力された視線データ（θ'y＋ψ'x，θ'x＋ψ'y）から、基準正面推定部１６で推定された基準正面（ξy，ξx）を減じることで視線方向を補正し、その結果を視線信号として視線推定装置１の出力としている。

［注視方向の推定］
本発明を適用した視線推定装置１は、以上のような視線信号を出力する機能のほか、注視方向推定部１８において車両運転者Ｄの注視状態を推定し、その注視方向を注視方向信号として出力する機能も有している。注視方向推定部１８は、簡易的には正面および左右の識別結果を注視方向信号として出力するが、注視方向が特定の注視対象の方向と推定できる場合には、その注視方向と注視時間とを出力する。

＜正面、左右の識別方法＞
正面および左右の識別は、まず、基準正面推定部１６で推定された基準正面を中心とした所定の範囲を設定し、視線方向推定部１５で推定された視線方向がこの設定した範囲内であるか否かを識別するといった手法で行う。すなわち、注視方向推定部１８は、図２７に示すように、基準正面（度数分布の最大値）を中心とした横方向の所定角度の幅を、正面方向とする幅として設定する。そして、視線方向推定部１５で推定された視線方向が、この正面方向として設定した範囲内であれば視線方向が正面であると判定し、この範囲よりも右側であれば視線が右に変化したと判定し、この範囲よりも左側であれば視線が左に変化したと判定して、その結果を注視方向信号として出力する。なお、正面方向として設定する幅は、例えば、基準正面を示す度数分布の最大値の半値をとる位置（角度）を基準として設定するようにしてもよいし、また、予め定めた規定値を用いて設定してもよい。

＜注視対象の特定＞
注視対象の特定には、基準正面推定部１６で基準正面を推定する際に用いた度数分布データを利用する。例えば、車両運転者Ｄが正面以外に右ドアミラー、左ドアミラー、ルームミラー、ナビゲーション画面、ナビゲーション操作部をそれぞれ３秒程度注視した場合の視線データを２次元にプロットすると、図２８のような視線分布が得られる。このときの視線データの横方向の視線成分を度数分布として表すと図２９のようになる。

この図２９の度数分布から分かるように、車両運転者Ｄが特定の注視対象を注視した場合には、度数分布上で基準正面以外に極大値を持つようになる。したがって、基準正面以外に極大値を持つ度数分布が得られたときには、その方向を注視対象が存在する方向であると推定することができ、視線方向推定部１５で推定された視線方向がその方向に集中していれば、特定の注視対象を注視している状態にあると推定できる。

注視方向推定部１８は、基準正面推定部１６から出力される度数分布データを用いて注視対象の方向を推定し、視線方向推定部１５から出力された視線データが、この度数分布データから推定される注視対象の方向に集中していれば、その方向を注視方向と推定する。また、図３０に示すように、このときの度数分布に現われる極大値の値や当該極大値を中心とする一定幅の領域の面積を注視時間とする。そして、これら注視方向と注視時間とを注視方向信号として出力する。これにより、車両運転者Ｄの注視状態をより詳細に判定することが可能となる。

［視線推定に用いる目の切り替え］
以上説明したように、本発明を適用した視線推定装置１では、車両運転者Ｄの顔特徴部位の位置関係から把握される顔の回転角（顔向き）と、瞳位置を含む目の特徴点の位置関係から把握される目の回転角（目向き）とからカメラ基準の視線方向を推定し、これを基準正面で補正して出力している。ここで、視線方向の推定に用いる目向きは、車両運転者Ｄの右目と左目のどちらでもよいが、車両運転者Ｄの顔の位置の移動、光の影響により、一方の目が他の顔部位により隠蔽されたり、顔が撮像範囲外に出たり、影の影響により撮像できないといった場面が存在する。このため、視線方向の推定に用いる目は、顔向きや位置の移動、顔特徴部位の検出の状態などに応じて、適宜切り替えられるようにすることが望ましい。以下、この視線方向の推定に用いる目を切り替える基準の一例について説明する。

＜利き目を選択＞
まず、予め登録した車両運転者Ｄの個人情報などから車両運転者Ｄの利き目が分かっている場合には、車両運転者Ｄの右目と左目の双方の目の瞳位置が検出可能であれば、利き目を対象とした瞳位置の検出結果を用いて視線方向を推定することが望ましい。車両運転者Ｄの利き目は、物を見るときに主となる目であるので、この利き目を対象とした瞳位置の検出結果を用いて視線方向を推定することで、視線推定の精度を向上させることができる。

＜瞳の検出率の高い方を選択＞
また、車両運転者Ｄの右目と左目の直近の一定期間の間における瞳位置の検出結果を記憶しておいて、検出率が高い方の目を対象とした瞳位置の検出結果を用いて視線方向を推定するようにしてもよい。このように、瞳位置の検出率が高い方の目を対象とした検出結果を用いて視線方向を推定することで、例えば、強い斜光により片方の瞳しか検出できないような場面においても、視線方向を安定して推定できる。また、現在、瞳位置が検出できている方の目を対象とした検出結果を用いて視線方向を推定するようにしても、同様の効果が期待できる。

＜視線方向の安定度合いの高い方を選択＞
また、車両運転者Ｄの右目と左目の双方の目の瞳位置が検出できている場合には、右目の瞳位置の検出結果を用いた視線方向の推定と、左目の瞳位置の検出結果を用いた視線方向の推定との双方を行うようにしてもよい。この場合、視線方向の推定結果として２つの結果が得られるが、これらの視線方向の推定結果の安定度合いをそれぞれ評価して、安定度合いの評価値に差があれば評価値の高い方の視線方向を選択して推定結果として出力し、安定度合いの評価値が同程度であれば双方の視線方向の平均値を推定結果として出力すればよい。視線方向推定結果の安定度合いを評価する手法としては、例えば、上述した度数分布により求めた基準正面の存在するピークの尖度を比較して、より尖った方が安定度合いが高いと評価するといった手法が考えられる。このように、視線方向推定結果の安定度合いを考慮することで、突発的なノイズの影響などを有効に抑制することが可能となる。

＜隠蔽度合いが低い方を選択＞
また、車両運転者Ｄの顔向きの推定結果に基づいて右目と左目の隠蔽度合いを評価し、隠蔽の可能性が低い方の目を優先して瞳位置の検出を行い、その検出結果を用いて視線方向の推定を行うようにしてもよい。すなわち、顔が右を向くもしくは顔の位置が右へ動くと右目が隠蔽される可能性が高く、逆に、顔が左を向くもしくは顔の位置が左へ動くと左目が隠蔽される可能性が高くなる。このため、顔の向き、顔の位置に閾値を設けて、右目、左目のいずれか一方の目を利用するように切り替えを行う。このように、顔の位置、向き、移動方向によって、隠蔽の可能性の少ない方の瞳の検出を優先して行って、その結果を視線方向の推定に用いるようにすれば、瞳位置の検出をより確実に行うことができ、視線推定の精度を向上させることができる。

＜左右両目で瞳位置が検出できない場合＞
車両運転者Ｄが眼鏡やサングラスを着用している場合には、眼鏡の映り込みなどにより両目ともに瞳の位置が検出できない場合がある。このような場合には、目の向きを推定できないので、顔の向きの情報のみから視線方向を推定する。このときの視線方向の推定結果は精度が劣るが、視線方向の推定処理を中断させることなく、眼鏡の映り込みなどが解消されて精度のよい推定が行われるまで、処理を継続させることが可能となる。

［効果］
以上、具体的な例を挙げながら詳細に説明したように、本発明を適用した視線推定装置１によれば、車両運転者Ｄの顔画像から顔向きと目向きを検出してカメラ２を基準とした視線方向を推定するとともに、このカメラ２を基準とした視線方向の時系列変化から車両運転者Ｄが正面と認識していると仮定される基準正面、つまり個々の車両運転者Ｄにとって視線の基準となる基準正面を推定し、この基準正面を用いてカメラ２を基準とした視線方向を補正した上で視線信号として出力するようにしているので、車両運転者Ｄごとの個人差や運転環境に応じた運転姿勢の変化などに拘わらず、車両運転者Ｄの視線を常に精度良く推定することができる。

以上、本発明の実施形態について具体例を挙げながら詳細に説明したが、本発明の技術的範囲は、以上の実施形態の説明で開示した内容に限定されるものではなく、これらの開示から容易に導き得る様々な代替技術も含まれることは勿論である。

本発明の視線推定装置を利用した車載システムの構成を示す図である。 本発明を適用した視線推定装置内部の機能構成及び各構成要素間でのデータの流れを示すデータフロー図である。 本発明を適用した視線推定装置における処理の概要を説明するフローチャートである。 車両運転者の瞳の位置を検出する処理の概要を説明する図である。 顔画像から目の周囲の領域の画像を切り出す方法の一例を説明する図である。 低輝度領域を抽出する処理を具体的に説明する図である。 低輝度領域のラベリング結果から瞳の候補となる領域を抽出する様子を示す図である。 上瞼の候補ラインを抽出する様子を示す図である。 目の周囲画像に対して円形フィッティングを行う様子を示す図である。 低輝度円形領域の評価を説明する図であり、（ａ）は評価の手法を説明する図、（ｂ）は評価結果のサンプルを示す図である。 低輝度領域の抽出結果である２値画像からエッジ法線を求める様子を示す図である。 円形形状の評価の手法を説明する図である。 エッジ情報から求められる法線ベクトルおよび評価結果の一例を示す図である。 低輝度円形領域の評価結果のサンプルを示す図である。 上瞼候補ラインの下の領域から瞳の位置を検出する様子を示す図である。 カメラを基準とした車両運転者の視線方向を推定する視線方向推定部の詳細を示すデータフロー図である。 目頭、目じり、瞳の中心の３点の見かけの座標と、眼球の断面を上から見た場合の各点の位置との関係、眼球の断面を横から見た場合の各点の位置との関係を示す図である。 カメラのレンズにより生じる見かけの回転成分を説明する図であり、（ａ）は左右方向の見かけの回転成分を説明する図、（ｂ）は上下方向の見かけの回転成分を説明する図である。 カメラの画角、撮像面、撮像位置（座標）を説明する図である。 基準正面を推定する方法の一例を示すフローチャートである。 所定回数分の視線データを２次元にプロットした結果を示す図である。 図２１の横方向の視線成分について作成した度数分布を示す図である。 車両の走行状態によって基準正面が変化する様子を示す図である。 旋回走行状態のときの操舵角、進行方向、視線方向、基準正面の時間変化の関係を説明する図であり、（ａ）は操舵角の時間変化を示すイメージ図、（ｂ）は進行方向の時間変化を示すイメージ図、（ｃ）は視線方向の時間変化を示すイメージ図、（ｄ）は基準正面の時間変化を示すイメージ図である。 基準正面を補正する方法を説明する図である。 車両が旋回走行区間に到達することを事前に予測する例を説明する図である。 正面方向の範囲と左右の視線移動を識別する方法を説明する図である。 車両運転者が正面以外に右ドアミラー、左ドアミラー、ルームミラー、ナビゲーション画面、ナビゲーション操作部をそれぞれ３秒程度注視した場合の視線データを２次元にプロットした結果を示す図である。 図２８の横方向の視線成分について作成した度数分布を示す図である。 注視方向と注視時間とを求める手法を説明する図である。

符号の説明

１ 視線推定装置
２ カメラ
１１ 顔画像取得部
１２ 顔特徴検出部
１３ 顔向き推定部
１４ 瞳検出部
１５ 視線方向推定部
１６ 基準正面推定部
１７ 視線方向補正部
１８ 注視方向推定部

Claims (17)

1. 車両運転者の顔を被写体として時系列に映像を撮影するカメラからの映像信号をフレーム単位の顔画像として取得する顔画像取得手段と、
   前記顔画像取得手段で取得された顔画像を画像処理して、車両運転者の顔の複数の特徴部位を検出する顔特徴検出手段と、
   前記顔特徴検出手段で検出された複数の特徴部位の位置関係に基づいて、車両運転者の顔向きを推定する顔向き推定手段と、
   前記顔画像取得手段で取得された顔画像の中の目の周囲の画像を切り出して画像処理を行い、少なくとも瞳の位置を含む目の特徴点を検出する瞳検出手段と、
   前記顔向き推定手段の推定結果と前記瞳検出手段の検出結果とに基づいて、前記カメラを基準とした車両運転者の視線方向を推定する視線方向推定手段と、
   前記視線方向推定手段による推定結果を所定回数分蓄積して度数分布を作成し、前記度数分布に基づいて最も視線が集中している方向を、車両運転者が正面として認識していると仮定される基準正面として推定する基準正面推定手段と、
   前記基準正面推定手段による推定結果を用いて前記視線方向推定手段の推定結果を補正する視線方向補正手段とを備えることを特徴とする視線推定装置。
2. 前記瞳検出手段は、前記顔画像から切り出した目の周囲の画像に対して低輝度部分の評価と円形部分の評価の少なくとも一方を行い、最も評価が高くなる位置を瞳の位置として検出することを特徴とする請求項１に記載の視線推定装置。
3. 前記瞳検出手段は、前記顔画像から切り出した目の周囲の画像において輝度値が所定値以下の低輝度部分を抽出して、抽出した低輝度部分から瞳の位置を検出することを特徴とする請求項２に記載の視線推定装置。
4. 前記瞳検出手段は、前記低輝度部分のうちで画像中央付近に位置する低輝度部分の上端エッジを上瞼の候補ラインとし、当該上瞼の候補ラインの下方の領域を対象として瞳の位置を検出することを特徴とする請求項３に記載の視線推定装置。
5. 前記瞳検出手段は、前記上瞼の候補ラインの一端を目頭、他端を目じりとして検出することを特徴とする請求項４に記載の視線推定装置。
6. 前記視線方向推定手段は、前記顔向き推定手段の推定結果と、前記瞳検出手段により検出された目の特徴点の位置関係とに基づいて見かけの視線方向を推定し、当該見かけの視線方向に対してカメラパラメータを用いた補正を行って前記カメラを基準とした車両運転者の視線方向を推定することを特徴とする請求項１に記載の視線推定装置。
7. 前記視線方向推定手段は、さらに、目のパラメータとして目の横方向の眼裂角を用いて見かけの視線方向を推定することを特徴とする請求項６に記載の視線推定装置。
8. 前記視線方向推定手段は、前記カメラの設置位置に起因する見かけの視線方向と、前記カメラのレンズの画角内のどの位置で車両運転者の顔又は特徴部位が撮影されるかに起因する見かけの視線方向との双方を、少なくとも車両運転者の顔の位置及びその向きと、目の位置及びその向きと、前記カメラのレンズの画角と、前記カメラの基準面に対する向きとに基づいて補正することを特徴とする請求項６に記載の視線推定装置。
9. 前記基準正面推定手段が作成した前記度数分布を用いて、前記基準正面以外に視線が集中している方向を注視対象が存在する方向と推定するとともに、前記視線方向推定手段で推定された視線方向が前記注視対象が存在する方向に集中したときに、その方向を車両運転者の注視方向と推定する第１の注視方向推定手段をさらに備えることを特徴とする請求項１に記載の視線推定装置。
10. 前記基準正面推定手段で推定された基準正面を中心とした所定の範囲を設定し、前記視線方向推定手段で推定された視線方向が前記基準正面を中心とした所定の範囲内であるか否かを識別する第２の注視方向推定手段をさらに備えることを特徴とする請求項１に記載の視線推定装置。
11. 前記視線方向推定手段は、前記瞳検出手段が瞳の位置を検出できない場合に、前記顔向き推定手段の推定結果に基づいて前記カメラを基準とした車両運転者の視線方向を推定することを特徴とする請求項１に記載の視線推定装置。
12. 前記視線方向推定手段は、車両運転者の左右の目のうち、直近の一定期間の間で前記瞳検出手段による瞳の位置の検出率が高い方の目、又は、現在、前記瞳検出手段により瞳の位置が検出できている方の目を対象とした前記瞳検出手段の検出結果を用いて、前記カメラを基準とした車両運転者の視線方向を推定することを特徴とする請求項１に記載の視線推定装置。
13. 前記視線方向推定手段は、前記瞳検出手段により車両運転者の左右双方の目の瞳の位置が検出されている場合に、右目の瞳の位置を用いた視線方向と左目の瞳の位置を用いた視線方向とをそれぞれ推定して双方の視線方向の安定度合いを評価し、安定度合いの評価値に差があれば評価値の高い方の視線方向を選択して推定結果として出力し、安定度合いの評価値が同程度であれば双方の視線方向の平均値を推定結果として出力することを特徴とする請求項１に記載の視線推定装置。
14. 前記視線方向推定手段は、前記瞳検出手段により車両運転者の左右双方の目の瞳の位置が検出可能な場合に、車両運転者の利き目を対象とした前記瞳検出手段の検出結果を用いて、前記カメラを基準とした車両運転者の視線方向を推定することを特徴とする請求項１に記載の視線推定装置。
15. 前記瞳検出手段は、前記顔向き推定手段の推定結果に基づいて車両運転者の左右の目の隠蔽度合いを評価し、隠蔽の可能性が低い方の目を優先して瞳の位置を検出することを特徴とする請求項１に記載の視線推定装置。
16. 車両信号及び／又は車両周辺情報から現在の車両の走行状態を判定する走行状態判定手段をさらに備え、
    前記基準正面推定手段は、前記走行状態判定手段により現在の車両の走行状態が旋回走行であると判定され、且つ、前記視線方向推定手段により推定された視線方向が変化したときに、現在の視線方向の変化量、又は、過去の同様の旋回走行状態のときの視線方向の変化量に基づいて、前記視線方向推定手段による推定結果の時系列変化に基づいて推定した基準正面を補正することを特徴とする請求項１に記載の視線推定装置。
17. 車両信号及び／又は車両周辺情報から今後の車両の走行状態を予測する走行状態予測手段をさらに備え、
    前記基準正面推定手段は、前記走行状態予測手段により今後の車両の走行状態が旋回走行となることが予測され、且つ、前記視線方向推定手段により推定された視線方向が変化したときに、現在の視線方向の変化量、又は、過去の同様の旋回走行状態のときの視線方向の変化量に基づいて、前記視線方向推定手段による推定結果の時系列変化に基づいて推定した基準正面を補正することを特徴とする請求項１に記載の視線推定装置。