JP7570513B2

JP7570513B2 - 視線検出装置

Info

Publication number: JP7570513B2
Application number: JP2023526789A
Authority: JP
Inventors: 亮介虎間; 雄大中村; 大智常道
Original assignee: Mitsubishi Electric Corp
Current assignee: Mitsubishi Electric Corp
Priority date: 2021-06-11
Filing date: 2021-06-11
Publication date: 2024-10-21
Anticipated expiration: 2041-06-11
Also published as: US12124626B2; JPWO2022259499A1; DE112021007811T5; WO2022259499A1; US20240281059A1

Description

本開示技術は、視線検出装置に関する。

１台のカメラにより撮影された画像情報に基づいて、リアルタイムに視線を追跡する視線方向の推定装置が開示されている（例えば特許文献１）。特許文献１に係る視線方向の推定装置は、特定された顔の位置・姿勢の相対的な変化に基づいて人間の眼球中心位置を推定し、画像領域内において虹彩を抽出し虹彩中心位置を抽出し、抽出された前記虹彩中心位置と推定された前記眼球中心位置とに基づいて視線方向を推定している。

特許文献１に係る視線方向の推定装置は、初期校正において、ユーザがカメラを注視しながら顔の向きを変えることによって得られる２枚以上の画像フレーム列を用いる。特許文献１に例示される従来の視線方向の推定装置は、当該画像フレーム列から顔特徴点と虹彩中心を抽出して追跡し、顔特徴点と眼球中心との相対関係をモデル化している。

特開２００８－１０２９０２号公報

初期校正時のみとはいえ、ユーザがカメラを注視しながら顔の向きを変える画像フレーム準備動作は、ユーザに負担を強いる。本技術分野において、ユーザへの負担をできる限りかけない装置が求められている。本開示技術は上記課題を解決し、画像フレーム準備動作を必要としない視線検出装置の提供を目的とする。

本開示技術に係る視線検出装置は、対象者の画像を取得する画像取得部と、画像処理を行う演算処理部と、画像処理の結果に基づいて視線方向ベクトルを算出する視線角度算出部と、を備え、演算処理部は、画像空間における実画像に対する演算処理を行う実画像演算処理部と３次元顔モデルを用いて画像空間に重合せ処理を行う３次元モデル重合せ処理部とで構成され、３次元モデル重合せ処理部は、鼻点Ｎから瞳孔までの距離に基づいて瞳孔の向きを推定する眼球位置補正部を有し、眼球位置補正部は、３次元顔モデルにおいて予め定義された複数の参照点を画像座標系へ座標変換し、参照点のうちの一つである点Ａの位置を補正し点Ａ’としてあらたに定義し、鼻点Ｎと点Ａ’とを結ぶベクトルＮＡ’をＸ軸方向とＹ軸方向とに分解し、ベクトルＮＡ’のＹ軸方向成分に基づいて鼻点Ｎから瞳孔までの距離を算出する。ここで、画像座標系におけるX軸方向は概ね水平方向であり、画像座標系におけるY軸方向は概ね鉛直方向である。

本開示技術に係る視線検出装置は上記構成を備えるため、画像フレーム準備動作を必要とせずに視線方向を検出することができる。

図１は、実施の形態１に係る視線検出装置の機能構成を示したブロック図である。図２は、実施の形態１に係る視線検出装置の処理フローを示したフローチャートである。図３は、実施の形態２に係る視線検出装置の機能構成を示したブロック図である。図４は、実施の形態２に係る視線検出装置の処理ステップを図解した参考図その１である。図５は、実施の形態２に係る視線検出装置の処理ステップを図解した参考図その２である。図６は、実施の形態２に係る視線検出装置の処理ステップを図解した参考図その３である。図７は、実施の形態２に係る視線検出装置の処理ステップを図解した参考図その４である。図８は、実施の形態２に係る視線検出装置の処理ステップを図解した参考図その５である。図９は、実施の形態２に係る視線検出装置の処理ステップを図解した参考図その６である。図１０は、実施の形態２に係る視線検出装置の効果を示した参考図である。

本開示技術に係る視線検出装置１は、以下の実施の形態ごとの図にそった説明により明らかになる。

実施の形態１．
図１は、実施の形態１に係る視線検出装置１の機能構成を示したブロック図である。図１が示すとおり、実施の形態１に係る視線検出装置１は、画像取得部１０と、演算処理部１００と、を含む。演算処理部１００は、画像処理を行う。また演算処理部１００は、実画像演算処理部２０と、３次元モデル重合せ処理部３０と、視線角度算出部４０と、を含む。さらに実画像演算処理部２０は、顔パーツ点抽出部２１と、瞳孔位置検出部２２と、を含む。また３次元モデル重合せ処理部３０は、３次元位置姿勢推定部３１と、３次元モデル補正部３２と、３次元眼球位置推定部３３と、を含む。

図２は、実施の形態１に係る視線検出装置１の処理フローを示したフローチャートである。図２が示すとおり視線検出装置１の処理フローは、画像取得部１０が行う画像を取得するステップ（ＳＴ１０）と、演算処理部１００が行う演算処理ステップ（ＳＴ１００）と、視線角度算出部４０が行う結果を出力するステップ（ＳＴ４０）と、を有する。演算処理ステップ（ＳＴ１００）は、実画像演算処理部２０が行う実画像に対する演算処理ステップ（ＳＴ２０）と、３次元モデル重合せ処理部３０が行う３次元モデルを重ね合わせて行う処理ステップ（ＳＴ３０）と、に分けられる。

画像取得部１０は、視線検出装置１と接続されたカメラ２により撮像された画像データを取得する（図２のＳＴ１０で示されるステップ）。取得された画像データは、実画像演算処理部２０へ出力される。

実画像演算処理部２０は、出力された画像データに対して演算処理を行う。より具体的に実画像演算処理部２０は、画像空間における実画像に対する演算処理を行う（図２のＳＴ２０で示されるステップ）。実施の形態１に係る実画像演算処理部２０は、入力側から順に、顔パーツ点抽出部２１と、瞳孔位置検出部２２と、から構成されている。

顔パーツ点抽出部２１は、出力された画像データから、まず顔検出を行う。顔検出は、既存の機械学習による手法を用いてよい。本開示技術に係る視線検出装置１における顔検出は、例えばＨａａｒ－Ｌｉｋｅ特徴とＡｄａＢｏｏｓｔを用いた手法を用いてよい。

顔パーツ点抽出部２１は、次に顔パーツ抽出を行う。ここで顔パーツとは、目尻、目頭、鼻先、及び口角、等の顔の特徴となるパーツ点のことをいう。顔パーツ抽出は、既存の機械学習による手法を用いてよい。本開示技術に係る視線検出装置１における顔パーツ抽出は、例えばＨＯＧ特徴量を用いたランダムフォレストを利用した方法を用いてよい。

瞳孔位置検出部２２は、顔パーツ点抽出部２１が抽出した顔パーツのうち目尻及び目頭の情報を用いて目領域を確定し、確定した目領域内をスポット的に画像認識して行ってよい。瞳孔中心検出は、瞳孔の輪郭情報から行えばよく、例えばＨｕｆｆ変換を用いて瞳孔の円の中心を求めるようにして行ってもよい。

本開示技術に係る視線検出装置１は、演算処理部１００の３次元モデル重合せ処理部３０に３次元顔モデルを有している。すなわち３次元モデル重合せ処理部３０は、３次元顔モデルを用いて３次元モデルを重ね合わせて行う処理ステップ（ＳＴ３０）を実施する。３次元モデル重合せ処理部３０は、実画像演算処理部２０からの実画像情報に基づいて、もっともらしい３次元情報の構築を試みる。実施の形態１に係る３次元モデル重合せ処理部３０は、入力側から順に、３次元位置姿勢推定部３１と、３次元モデル補正部３２と、３次元眼球位置推定部３３と、から構成されている。

３次元位置姿勢推定部３１は、実画像演算処理部２０の顔パーツ点抽出部２１からの顔パーツ抽出結果に基づいて、顔向き算出を行う。３次元位置姿勢推定部３１は、抽出された顔パーツ点が３次元顔モデル上での顔パーツ点に一致するように、仮想的な３次元空間内で３次元顔モデルを回転並進させる。仮想的な３次元空間とは、現実の３次元空間を模した計算機上の空間である。現実の３次元空間がカメラ２により２次元の画像平面へと変換されるのと同様に、仮想的な３次元空間も２次元の画像平面へと変換可能である。

３次元顔モデル上での顔パーツ点を一致させる作業は、例えば、抽出された顔パーツ点と３次元顔モデル上での顔パーツ点との画像平面での位置の二乗誤差の総和が最小となるものを解としてよい。

解として求めた３次元顔モデルの位置と向きは、顔向きの推定結果として出力される。顔向きの推定結果として出力されるものは、具体的には架空の３次元空間における３次元顔モデルの位置座標と姿勢行列である。３次元顔モデルの位置座標は、例えば３次元顔モデルの右目の眼球中心と左目の眼球中心との中点を代表点としてこの座標として定義してもよい。また、３次元顔モデルの姿勢行列は、３次元顔モデルを作成したときに事前に定義したものであれば何でもよい。ここでは簡単のため、人間が正面を見たときの視線方向と同様に、３次元顔モデルについての姿勢行列を定める。具体的には３次元顔モデルの視線方向、左右方向、上下方向の基底ベクトルが、３次元空間内でどちらを向いているかを表した３つのベクトルからなる行列となる。

本開示技術における視線検出装置１の３次元モデル重合せ処理部３０は、性別、年代、国籍、等のクラス分類を行い、それぞれのクラスごとに３次元顔モデルを準備していてもよい。視線検出装置１は、どのクラスの３次元顔モデルを使用するか選択できるような構成としてよい。また、顔向き算出ステップにおいて複数の３次元顔モデルを使用し、その複数の中から上記の位置の二乗誤差の総和が最小となる３次元顔モデルが選択されるような構成としてもよい。

本開示技術に係る視線検出装置１は、３次元位置姿勢推定部３１による位置姿勢の推定の処理工程の後、上記の画像平面での一致作業で生じた誤差を無くすよう、３次元顔モデルの修正を行う。３次元顔モデルの補正は、３次元モデル補正部３２において実施される。ここで３次元顔モデルの補正とは３次元顔モデルの変形であり、例えば３次元顔モデルにおける眼球そのものの位置を、誤差が少なくなるように移動することである。本開示技術に係る視線検出装置１は、この処理工程を備えることにより初期校正が不要となり、従来技術が必要としていた画像フレーム準備動作を要さない。

３次元眼球位置推定部３３は、３次元位置姿勢推定部３１により求めた顔向きの推定結果と補正された３次元顔モデルの情報とを用いて、３次元空間内での眼球中心位置の座標を算出する。ここで、本開示技術で用いる３次元顔モデルは、あらかじめ眼球中心の相対的な位置が定義されている。また、カメラ２が撮影する人間の眼球中心位置は、視線方向を変えるように眼球だけを動かしても変わらない、と仮定する。これにより本開示技術に係る視線検出装置１は、３次元顔モデルの定義情報と３次元位置姿勢推定部３１により求めた顔向きの推定結果すなわち位置姿勢情報とから、簡単に３次元空間内での眼球中心位置の座標（以下、「眼球中心座標」という）を算出できる。

本開示技術における視線検出装置１は、瞳孔が眼球という球の表面上にあるものと仮定する（仮定その１）。また、ここで考える眼球の大きさは平均的なものとし（仮定その２）、３次元顔モデルの眼球を定義する。また右目と左目とのそれぞれにおいて、眼球中心と瞳孔中心とは常に一定の距離にあると仮定する（仮定その３）。この一定の距離は、すなわち眼球半径ｒである。仮定その１から仮定その３は、３次元モデル重合せ処理部３０が有する３次元顔モデルに関する仮定である。演算処理部１００の３次元モデル重合せ処理部３０は、３次元顔モデルに関する仮定のもと、３次元眼球位置推定部３３で求めた眼球中心位置から３次元空間内での瞳孔中心位置の座標（以下、「瞳孔中心座標」という）を算出する。

３次元空間内での瞳孔中心座標を算出することは、３次元空間内において直線と球との交点を求める問題に帰着する。一般に直線と球とが交わる場合、交点は最大で２点存在する。瞳孔はカメラ２からみて見える側のものであるから、求めた２つの交点のうちカメラ２に近い点を瞳孔中心と認定すればよい。

視線角度算出部４０は、３次元モデル重合せ処理部３０で算出した眼球中心位置と瞳孔中心位置とに基づいて、視線方向ベクトルを算出する。具体的に視線角度算出部４０は、３次元空間内で眼球中心位置から瞳孔中心位置へ結んだベクトルを視線方向ベクトルとして算出する。視線方向ベクトルは、右目と左目とそれぞれ算出される。本開示技術に係る視線検出装置１は、あらかじめ右目又は左目を「利き目」として登録しておき、利き目についての視線方向ベクトルを出力する構成としてもよい。あるいは本開示技術に係る視線検出装置１は、右目の視線と左目の視線との交点を算出し、右目の眼球中心位置と左目の眼球中心位置との中点を起点として、前記交点を終点としたベクトルを、視線方向ベクトルとして出力する構成としてもよい。右目の視線と左目の視線とが交わらない場合も、利き目についての視線方向ベクトルを出力する構成としてよい。

以上のように実施の形態１に係る視線検出装置１は上記の構成を備えるため初期校正が不要となり、ユーザの画像フレーム準備動作を必要とせずに視線方向を検出することができる。

実施の形態２．
図３は、実施の形態２に係る視線検出装置１の機能構成を示したブロック図である。図３が示すとおり実施の形態２に係る視線検出装置１は、実施の形態１の３次元モデル補正部３２に代えて、眼球位置補正部３２Ｂを備える。ここでは特に明示する場合を除き、実施の形態１で用いたものと同じ符号が用いられる。また、実施の形態１と重複する説明は、適宜省略される。

眼球位置補正部３２Ｂにて実施される処理ステップは、具体的には３Ｄモデル座標系での眼球中心位置を補正する処理ステップである。この補正に用いる補正量は、例えば画像上の鼻に関する特定点から瞳孔に関する特定点までの距離に基づいて算出してもよい。鼻に関する特定点（以降、「鼻点」と称する）は、例えば小鼻の中点、又は鼻下としてもよい。鼻点は顔の中でも特定しやすい場所であるため、実施の形態２に係る視線検出装置１では鼻点が基準点の一つとして用いられている。

実施の形態２に係る視線検出装置１が採用する前提は、実際のヒトの顔の寸法はそれほど個体差がない、というものである。したがって鼻点から瞳孔までの距離のＹ軸成分がわかれば、瞳孔の向きがわかる、というものである。具体的には、鼻点から瞳孔までの距離のＹ軸成分が３次元顔モデルのものよりも大きければ、画像に写っている対象者は瞳孔を上に向けている、と考える。鼻点から瞳孔までの距離のＹ軸成分が３次元顔モデルのものよりも小さければ、画像に写っている対象者は瞳孔を下に向けている、と考える。

図４は、実施の形態２に係る視線検出装置１の処理ステップを図解した参考図その１である。３Ｄモデル座標系での眼球中心位置を補正する処理で用いる補正量の算出は、図４に示す一例により明らかになる。

眼球中心位置を補正する処理の一例は、さらに細かい処理ステップに分けることができる。眼球中心位置を補正する処理の一例は、３Ｄモデル上に定義された複数の参照点を画像座標系へ座標変換するステップ（処理Ａ）と、参照点の一つ点Ａの位置を補正し点Ａ’を定義するステップ（処理Ｂ）と、鼻点と定義した点Ａ’を結ぶベクトル（ＮＡ’）をＸ軸方向とＹ軸方向とに分解するステップ（処理Ｃ）と、分解されたベクトル（ＮＡ’）のＹ軸方向成分に基づいて鼻点位置から瞳孔位置までの距離を算出するステップ（処理Ｄ）と、を含む。

３Ｄモデル上に定義された複数の参照点は、具体的には図４の３Ｄモデル座標系に示される鼻点、点Ｍ、点Ａ、点Ｐ、が考えられる。

図５は、実施の形態２に係る視線検出装置１の処理ステップを図解した参考図その２である。より具体的に図５は、３Ｄモデル上に定義された複数の参照点を画像座標系へ座標変換するステップ（処理Ａ）を図解した参考図である。

３Ｄモデル座標系は、図５に示すようにＸ軸、Ｙ軸、及びＺ軸が定義されてよい。具体的に図５で例示する３Ｄモデル座標系は、体の右から左をＸ軸方向、体の上から下をＹ軸方向、体の前から後ろをＺ軸方向、としている右ネジ系の座標系である。また３Ｄモデル座標系は、３Ｄモデルに固定された座標系とする。すなわち、３Ｄモデル座標系は、重力の方向には依らず、３Ｄモデルの位置姿勢により一意に決まる。３Ｄモデル座標系はモデル座標系の一つであり、物体ごとの座標系であるからローカル座標系とも呼ばれる。

図５が示すとおり３Ｄモデル上に定義された複数の参照点は、例えば以下のように定義されてよい。
参照点の一つである点Ｐは、例えば眼球中心から眼球の半径だけマイナスＺ方向に移動した点として定義されてよい。眼球の半径は統計的に求めた値が用いられてよい。眼球の半径は、ここでは例えば１０．００［ｍｍ］とする。
参照点の一つである点Ａ_０は、点ＰをマイナスＺ方向にのみ移動した点であって、鼻点と同じＺ座標を有する点、として定義されてよい。
参照点の一つである点Ａは、点Ｐを起点とし、ベクトルＰＡ_０を１．２倍にした方向ベクトルの終点にある点、として定義されてよい。点Ａは、点Ｐとも点Ａ_０とも同じＸＹ座標を有する。なお、ここでベクトルＰＡ_０を１．２倍にする例が示されているが、本開示技術をこれに限定する意図ではない。
参照点の一つである点Ｍは、点Ａ_０をＸ方向にのみ移動した点であって、鼻点と同じＸ座標を有する点、として定義されてよい。なお図６は左目での例示であり、点Ｍは点Ａ_０よりもマイナスＸ方向に位置する。逆に右目の場合に点Ｍは、点Ａ_０よりもプラスＸ方向に位置する。

図６は、実施の形態２に係る視線検出装置１の処理ステップを図解した参考図その３である。より具体的に図７は、３Ｄモデル上に定義された複数の参照点を画像座標系へ座標変換するステップ（処理Ａ）を図解した参考図その２である。

３Ｄモデル座標系から画像座標系への変換は、カメラ座標系を経由して行う方法がわかりやすい。カメラ座標系は、ビュー座標系とも呼ばれる。モデル座標系（Ｎ、Ｘ、Ｙ、Ｚ）からカメラ座標系（Ｎ’、Ｘ’、Ｙ’、Ｚ’）への変換は、４×４の行列を掛けることで実現される。カメラ座標系から画像座標系への変換も、行列の掛け算に帰着する。

図７は、実施の形態２に係る視線検出装置１の処理ステップを図解した参考図その４である。より具体的に図７は、参照点の一つ点Ａの位置を補正し点Ａ’を定義するステップ（処理Ｂ）を図解した参考図である。点Ａ’とは、カメラ２により撮像された画像データ情報に基づいて、特に瞳孔がどの位置に写っているかの情報に基づいて、点Ａの位置を補正した点である。眼球位置補正部３２Ｂにて実施される点Ａの位置を補正する処理は、画像座標系の平面内で行われる。この画像座標系の平面には、カメラ２により撮像された画像と座標変換により画像座標系に変換された複数の参照点とが、重ね合わせられて存在していると考えてよい。

図７が示すとおり点Ａの位置を補正する処理は、まずベクトルＰＡを考える。点Ｐとは、眼球中心から眼球の半径だけマイナスＺ方向に移動した点であることに留意する。瞳孔の位置が点Ｐにあれば、視線の起点を点Ｐとして視線の方向はベクトルＰＡの方向としてよい。しかし、カメラ２により撮像された画像に写っている瞳孔の位置が点Ｐと異なっている場合、視線の起点を点Ｐとする方法では誤差が生じる。

画像座標系に重ね合わせられた画像の瞳孔と点Ｐとが一致しない現象は、３Ｄモデルが実際にカメラ２が撮像した対象と一致しないときに生じる。特に、生身の人間は、顔の向きはそのままで、眼球を動かし、視線を上下左右に移動させることができる。しかし、この眼球の状態までを３Ｄモデルに反映することは、容易ではない。

眼球位置補正部３２Ｂは、画像座標系の平面において、ベクトルＰＡを平行移動させる。具体的に眼球位置補正部３２Ｂは、起点が画像に写っている瞳孔の位置となるように、ベクトルＰＡを平行移動させる。点Ａ’は、並行移動後のベクトルの終点である。

図８は、実施の形態２に係る視線検出装置１の処理ステップを図解した参考図その５である。より具体的に図８は、鼻点と定義した点Ａ’を結ぶベクトル（ＮＡ’）をＸ軸方向とＹ軸方向とに分解するステップ（処理Ｃ）を図解した参考図である。実施の形態２に係る視線検出装置１は、図８に示す「判断基準長さ」を求め、画像に写っている対象者の瞳孔がどこを向いているかを推定する。判断基準長さは、鼻点と定義した点Ａ’を結ぶベクトル（ＮＡ’）のＹ軸方向成分の長さである。

判断基準長さは、線形代数の知識を用いれば容易に求まる。具体的に判断基準長さを求める計算は、ベクトルと行列との演算でよい。この問題は、以下のように一般化できる。２次元で表された画像空間内（ｘｙ座標系）において、ベクトルＮＰと、方向が異なるＸベクトルとＹベクトルと、が与えられている（図８の右列）。ベクトルＮＰは、ＸＹ座標系によって、以下のように表せると仮定する。

ここで、画像座標系（ｘｙ座標系）からＸＹ座標系の変換行列をＴとすると、以下の式が成り立つ。

ベクトルＮＰのＸ座標成分（ｓ）とＹ座標成分（ｔ）とは、以下の式で与えられる。

図９は、実施の形態２に係る視線検出装置１の処理ステップを図解した参考図その６である。より具体的に図８は、分解されたベクトル（ＮＡ’）のＹ軸方向成分に基づいて鼻点位置から瞳孔位置までの距離を算出するステップ（処理Ｄ）を図解した参考図である。この処理Ｄでは、参照点の一つである点Ｍが用いられる。点Ｍは、点Ａ_０をＸ方向にのみ移動した点であって、鼻点と同じＸ座標を有する点である。言い換えれば点Ｍは、３次元顔モデルの眼球中心と同じ高さ（Ｙ座標）を持つ点である。

実施の形態２に係る視線検出装置１は、最終的に、鼻点を起点として、点Ａ’の高さ（Ｙ座標）を点Ｍの高さ（Ｙ座標）とを比較する。ベクトル（ＮＡ’）のＹ軸方向成分がベクトル（ＮＭ）のＹ軸方向成分よりも大きければ、瞳孔は上を向いている、と推定する。逆にベクトル（ＮＡ’）のＹ軸方向成分がベクトル（ＮＭ）のＹ軸方向成分よりも小さければ、瞳孔は下を向いている、と推定する。

図１０は、実施の形態２に係る視線検出装置１の効果を示した参考図である。本開示技術が属する技術分野において、目の虹彩を用いて視線を検出しようとする試みも考えられる。しかし、実際に虹彩の変化だけでは、視線を上下させたときの変化を捉えることは難しい。実施の形態２に係る視線検出装置１は、眼球中心に対する瞳孔の相対的な位置を求めているため、対象者の瞳孔の向きを検知することができる。

以上のように実施の形態２に係る視線検出装置１は上記の構成を備えるため、対象者の瞳孔の向きを検知でき、初期校正を不要とすることができる。この構成により実施の形態２に係る視線検出装置１は、ユーザの画像フレーム準備動作を必要とせずに視線方向を検出することができる。

本開示技術に係る視線検出装置１は、車載器、ＤＭＳ（ＤｒｉｖｅｒＭｏｎｉｔｏｒｉｎｇＳｙｓｔｅｍ）、その他電気機器に応用でき、産業上の利用可能性を有する。

１視線検出装置、２カメラ、１０画像取得部、２０実画像演算処理部、２１顔パーツ点抽出部、２２瞳孔位置検出部、３０３次元モデル重合せ処理部、３１３次元位置姿勢推定部、３２３次元モデル補正部、３２Ｂ眼球位置補正部、３３３次元眼球位置推定部、４０視線角度算出部、１００演算処理部。

Claims

対象者の画像を取得する画像取得部と、
画像処理を行う演算処理部と、
前記画像処理の結果に基づいて視線方向ベクトルを算出する視線角度算出部と、を備え、
前記演算処理部は、画像空間における実画像に対する演算処理を行う実画像演算処理部と３次元顔モデルを用いて前記画像空間に重合せ処理を行う３次元モデル重合せ処理部とで構成され、
前記３次元モデル重合せ処理部は、鼻点Ｎから瞳孔までの距離に基づいて前記瞳孔の向きを推定する眼球位置補正部を有し、
前記眼球位置補正部は、
前記３次元顔モデルにおいて予め定義された複数の参照点を画像座標系へ座標変換し、
前記参照点のうちの一つである点Ａの位置を補正し点Ａ’としてあらたに定義し、
前記鼻点Ｎと前記点Ａ’とを結ぶベクトルＮＡ’をＸ軸方向とＹ軸方向とに分解し、
前記ベクトルＮＡ’のＹ軸方向成分に基づいて前記鼻点Ｎから前記瞳孔までの距離を算出する、
ここで、画像座標系におけるX軸方向は概ね水平方向であり、画像座標系におけるY軸方向は概ね鉛直方向である、
視線検出装置。