JP4829141B2

JP4829141B2 - 視線検出装置及びその方法

Info

Publication number: JP4829141B2
Application number: JP2007030670A
Authority: JP
Inventors: 達夫小坂谷
Original assignee: Toshiba Corp
Current assignee: Toshiba Corp
Priority date: 2007-02-09
Filing date: 2007-02-09
Publication date: 2011-12-07
Anticipated expiration: 2027-02-09
Also published as: US20080192990A1; JP2008194146A; US8107688B2

Description

本発明は、画像上の顔の視線方向を推定する視線検出装置及びその方法に関する。

画像からの人物の視線検出は、特別な装置を装着させずに対象者の注視領域を推定することができるため非常に有用であるが、視線方向は眼球運動だけでなく、対象者の頭部姿勢にも依存し、さらに虹彩付近の画像パターンは頭部姿勢や眼球方向だけでなく個人の顔貌によっても多様に変化するため、困難な課題であった。

特許文献１が開示する視線検出方法は、対象者の虹彩の形状を楕円で近似し、その楕円のパラメータに基づいて視線方向を検出するものである。しかし、頭部姿勢による虹彩の見え変化と、実際の眼球運動による虹彩の見えの変化を区別することができないため、任意の頭部姿勢に対して視線方向を検出することができなかった。

特許文献２が開示する視線検出方法は、瞳の方向別パターン辞書を予め用意しておき、それら辞書と入力画像の瞳パターンとのマッチングによって視線方向を検出するものである。しかし、高精度に視線方向を検出するためには、予め多様な視線方向パターンを学習する必要があった。

特許文献３が開示する視線検出方法は、ステレオカメラから眼球形状を推定し、虹彩中心における眼球との接平面を推定し、その接平面の法線として視線方向を検出するものである。しかし、ステレオカメラのキャリブレーションが必要で、システムが大掛かりになるという問題点があった。
特開２００５−１３７５２公報特許第３７９０６８０号公報特開２００４−２５５０７４公報

上述したように、従来技術では、任意の頭部姿勢において単眼カメラから、事前にキャリブレーションや瞳の方向別パターンを学習することなく視線方向を推定することができないという問題点があった。

そこで本発明は、上記従来技術の問題点を解決するためになされたものであって、任意の頭部姿勢において単眼カメラから、事前にキャリブレーションや瞳の方向別パターンを学習することなく視線方向を推定する視線検出装置及びその方法を提供することを目的とする。

本発明は、入力された１枚の画像中の顔から瞳を含む同一平面上に存在しない４点以上の画像特徴点を抽出する特徴点検出部と、少なくとも一つの３次元顔モデル、前記３次元顔モデル上で前記画像特徴点にそれぞれ対応する基準特徴点の座標及び前記３次元顔モデル上の眼球に関する３次元眼球モデルを記憶する３次元顔モデル保持部と、前記画像特徴点と前記基準特徴点の間の対応関係に基づいて、前記画像特徴点の一つである瞳座標を３次元顔モデルの表面へ変換する変換部と、前記３次元眼球モデルと、前記変換した瞳座標に基づいて３次元的な視線方向を推定する視線推定部と、を有し、前記３次元眼球モデルは、前記３次元顔モデルにおける眼球の中心座標を含み、前記視線推定部は、前記３次元眼球モデルの中心座標と、前記変換した瞳座標に基づいて前記視線方向を推定し、前記変換部は、前記画像特徴点と前記基準特徴点との間の射影行列を計算し、前記射影行列を用いて前記画像上の瞳座標を前記３次元顔モデルの表面上へ変換する、ことを特徴とする視線検出装置である。
また、本発明は、入力された１枚の画像中の顔から瞳を含む同一平面上に存在しない４点以上の画像特徴点を抽出する特徴点検出部と、少なくとも一つの３次元顔モデル、前記３次元顔モデル上で前記画像特徴点にそれぞれ対応する基準特徴点の座標及び前記３次元顔モデル上の眼球に関する３次元眼球モデルを記憶する３次元顔モデル保持部と、前記画像特徴点と前記基準特徴点の間の対応関係に基づいて、前記画像特徴点の一つである瞳座標を３次元顔モデルの表面へ変換する変換部と、前記３次元眼球モデルと、前記変換した瞳座標に基づいて３次元的な視線方向を推定する視線推定部と、を有し、前記３次元顔モデル保持部は、複数の３次元顔モデルを保持しており、前記変換部は、前記変換された画像特徴点と前記基準特徴点との誤差を計算し、前記画像上の顔と前記各３次元顔モデルのそれぞれの対応関係の信頼度を計算し、前記視線推定部は、前記信頼度が最も高い３次元顔モデルを選択し、前記選択した３次元顔モデルに基づいて前記視線方向を検出する、ことを特徴とする視線検出装置である。

本発明によれば、１枚の画像のみから事前のキャリブレーションを行うことなく撮影された顔の向きを考慮した３次元的な視線方向を推定することができる。

以下、本発明の実施形態の視線検出装置１０について図面に基づいて説明する。

（第１の実施形態）
以下、本発明に係わる第１の実施形態の視線検出装置１０について図１から図３に基づいて述べる。

（１）視線検出装置１０の構成
図１は、本実施形態の視線検出装置１０の構成を表す。

図１に示すように、視線検出装置１０は、対象となる人物の顔を入力する画像入力部１２と、入力された画像内から瞳を含む特徴点を抽出する特徴点検出部１４と、３次元顔モデルと３次元眼球モデルを記憶しておく３次元顔モデル保持部１６と、抽出された特徴点と３次元顔モデル上の特徴点との対応付けを行い、画像上の瞳座標を３次元顔モデル上へ変換する変換部１８と、変換された３次元顔モデル上の瞳点と３次元眼球モデルから視線方向を推定する視線推定部２０とを備えている。

（２）視線検出装置１０の動作
次に、視線検出装置１０の動作を図１を用いて説明する。

（２−１）画像入力部１２
まず、画像入力部１２は、処理対象となる瞳を含む顔画像を１枚入力する。画像入力部１２より得られた１枚の画像は逐次、特徴点検出部１４に送られる。

画像入力部１２を構成する装置の一つの例として、ＵＳＢカメラやデジタルカメラ等が挙げられる。また、予め撮影、保存された顔画像データを保持している記録装置やビデオテープ、ＤＶＤ等を用いても良いし、顔写真をスキャンするスキャナでも良い。ネットワーク等を経由して画像を入力しても構わない。

（２−２）特徴点検出部１４
特徴点検出部１４では、瞳を含む画像中の顔部位の座標が検出される。特徴点の検出はどのような方法を用いても構わないが、例えば、文献（福井、山口、「形状抽出とパターン照合の組合せによる特徴点抽出」，信学論(D-II) vol.J80-D-II，No.9，p.2170-2177，1997.）で述べられている方法を用いて検出することができる。

検出する特徴点は、瞳を含み、同一平面状に存在しない４点以上であれば、任意の組合せでよい。例えば、瞳、口端、鼻頂点などが挙げられる。なお、両瞳が必ずしも検出される必要はないが、片方のみ検出できた場合には、検出された瞳に関する視線方向が推定される。そのため横顔が入力された場合など、片方の瞳が隠れている状態でも本実施形態は適用可能である。

（２−３）３次元顔モデル保持部１６
３次元顔モデル保持部１６では、顔の３次元空間的な情報である３次元顔モデルと３次元眼球モデルが保持されている。

３次元顔モデルは、コンピュータグラフィクスで利用されているポリゴンメッシュにより構成されていても良いし、顔表面の奥行き情報を表すデプスマップにより構成されていても良い。

この３次元顔モデルには、特徴点検出部１４により抽出される特徴点の種類を含む座標、すなわち、基準特徴点座標が保持されていることとする。例えば、物体検出部１４で瞳、口端、鼻頂点が抽出された場合には、基準特徴点にも少なくとも瞳、口端、鼻頂点が含まれる。

図２に抽出された特徴点と基準特徴点との関係を示す。図２の左側が入力された顔画像及びｘ印で特徴点を示しており、図２の右側が３次元顔モデル及び丸印で基準特徴点を示している。図２のように、画像から検出された特徴点に対応する基準特徴点は必ず定義され、各特徴点部位に対して１対１に対応付けられている。なお、抽出された特徴点の種類と基準特徴点の種類は必ずしも一致している必要はない。

また、３次元眼球モデルとして、眼球中心座標、正面を向いたときの顔モデル上での瞳位置（瞳の基準特徴点座標と同じでも良いし、別個に定義しても良い）、半径などを保持している。３次元眼球モデルを楕円とし、長軸、短軸の情報を含めても構わない。

３次元顔モデルとして、必要な基準特徴点座標や眼球中心などの座標に限って情報を保持しておくことで、ステレオ法などの密な３次元モデル情報が必要な方法と比較してメモリなどを節約することも可能である。

また、これらの顔の３次元情報は複数人の顔の形状から作成する平均モデルや、一般的な顔を表現するような一般モデルでも良いし、個人毎の顔モデルが得られている場合には、それを用いることによりさらなる高精度化が可能である。

（２−４）変換部１８
変換部１８では、抽出された特徴点と３次元顔モデル上の基準特徴点を利用して、入力された顔と３次元顔モデルの対応付けを行い、画像上の瞳座標を顔モデル上へ変換する。

まず、特徴点検出部１４から得られた特徴点（ｘ_ｉ，ｙ_ｉ）と、対応する３次元形状上の基準特徴点（ｘ_ｉ’，ｙ_ｉ’，ｚ_ｉ’）を用いて、入力された顔との対応関係を表す射影行列Ｍは（１）式、（２）式及び（３）式により定義される。

なお、射影行列Ｍの求め方は上述した方法に限らない。例えば、上述した方法では、簡単のため平行投影モデルを用いて射影行列Ｍを計算したが、より現実世界に近い透視投影モデルに基づいて特徴点を定義し、射影行列Ｍを計算することで、より高精度に姿勢推定を行うこともできる。

また、以後の説明では射影行列Ｍを用いて説明を行っているが、３次元顔モデルと入力された顔との対応付けがなされるようなものであれば、何を用いても構わない。例えば、３次元顔モデルと入力された顔の対応付けを表すテーブルが得られたとしても、以後に説明する方法が容易に適用可能である。

次に、射影行列Ｍを用いて瞳座標を顔モデル上へ変換する。画像上の瞳座標（Ｘ，Ｙ）と対応する３次元顔モデル上の瞳座標（ｘ，ｙ，ｚ）は射影行列Ｍによって、以下の（６）式が成り立つ。なお、厳密には、顔モデルと実際の顔形状との相違や、平行投影による誤差があるため等号は成り立たないが、ここではその誤差は無視可能であるとする。

さらに、顔モデル上の瞳座標（ｘ，ｙ，ｚ）は３次元眼球モデル上に存在しなければならないので、３次元眼球モデルが中心（ａ，ｂ，ｃ）、半径ｒで表されているとすると、以下の（７）式が成り立つ。

（ｘ−ａ）^２＋（ｙ−ｂ）^２＋（ｚ−ｃ）^２＝ｒ^２（７）

この（６）式、（７）式を解くことにより、顔モデル上の瞳座標（ｘ，ｙ，ｚ）を求めることができる。

（２−５）視線推定部２０
視線推定部２０では、変換部１８で求めた顔モデル上の瞳座標（ｘ，ｙ，ｚ）に基づいて、視線方向を計算する。

３次元顔モデルを基準とする３次元空間内での視線方向は、眼球中心（ａ，ｂ，ｃ）から瞳座標（ｘ，ｙ，ｚ）へのベクトル（ｘ−ａ，ｙ−ｂ，ｚ−ｃ）として表現できる。この視線ベクトルが、３次元顔モデルに対する視線方向となる。

図３に視線ベクトルの計算に関する概念図を示す。図３の顔は３次元顔モデルであり、点線で描かれた球が３次元眼球モデルであり、ｘ印が眼球中心、丸印が変換された瞳点である。視線方向は図の矢印で書かれた眼球中心と瞳点を結ぶベクトルとなる。図では右目について図示したが、左目についても全く同様である。

このとき、３次元顔モデルが正面向きで定義されていれば、入力された顔の姿勢によらず、正面向きとした場合の視線方向が決定される。

しかし、画像上（実世界）における視線方向を求める場合には、射影行列Ｍから、入力された顔と３次元顔モデルとの間の回転行列Ｒを求め、視線ベクトルをＲによって画像上の視線ベクトルへ変換する必要がある。回転行列Ｒは、例えば以下のような方法で求めることができる。

（２−５−１）第１の方法
第１の方法について説明する。射影行列Ｍは、実際には、入力された顔を固定しカメラ向きが変化したとみなした場合のカメラの座標軸運動を表す運動行列とみなすことができる。すなわち、射影行列Ｍの各行ベクトルをノルム１に正規化したベクトルの転置がカメラ座標の３つの基底ベクトルのうち２つの基底ベクトルｉ，ｊになっており、ｉ，ｊの外積から残りの基底ベクトルｋが求まる。これらの基底ベクトルから成る行列が回転行列Ｒとなる。

（２−５−２）第２の方法
第２の方法によっても回転行列Ｒを求めることができる。（４）式を解いて得られる射影行列Ｍは、回転・拡大による変形だけでなく３次元アフィン変換による変形が表現可能なため、上記基底ベクトルｉ，ｊが直交しない（回転行列としての性質を満たさない）場合がある。そのような場合には、（３）式を極力満たしながら、射影行列Ｍの行ベクトル同士が直交するという拘束条件を加えることにより、回転・拡大成分のみを持つような射影行列Ｍを求めることができる。この射影行列Ｍの基底ベクトルから上記方法により回転行列Ｒを求める。これにより、より高精度な回転行列Ｒを求めることが可能となる。

(３）効果
このように第１の実施形態に係る視線検出装置１０によれば、瞳を含む複数の特徴点と、３次元顔モデル、３次元眼球モデルを用いて、事前にキャリブレーションを行わずに任意の頭部姿勢に対して単眼カメラの画像１枚のみから視線を推定することができる。

（第２の実施形態）
次に、第２の実施形態の視線検出装置１０について図４と図５に基づいて説明する。

（１）視線検出装置１０の構成
図４は、本実施形態の視線検出装置１０の構成を表す。

図４に示すように、視線検出装置１０は、対象となる人物の顔を入力する画像入力部１２と、入力された画像内から瞳を含む特徴点を抽出する特徴点検出部１４と、３次元顔モデルと３次元眼球モデルを記憶しておく３次元顔モデル保持部１６と、抽出された特徴点と３次元顔モデル上の特徴点との対応付けを行い、画像上の瞳座標を３次元顔モデル上へ変換する変換部１８と、変換された３次元顔モデル上の瞳点と３次元眼球モデルから視線方向を推定する視線推定部２０と、得られた視線方向に対してユーザの注視領域を選択する注視領域選択部２０とを備えている。

なお、画像入力部１２、特徴点検出部１４、変換部１８、視線推定部２０は、第１の実施形態に記載してあるものと同じであるので説明は省略する。

（２）視線検出装置１０の動作
次に、図４を用いて本実施形態に係わる視線検出装置１０の動作について説明する。

注視領域選択部２０では、視線推定部２０から得られた視線方向に対して、ユーザが注視している領域を予め決められた候補内から選択する。

図５に注視領域選択に関する概念図を示す。

図５のようにユーザがカメラの前に立ち、ｘ印の部分について注視していたとする。視線推定部２０から、ユーザの頭部姿勢を考慮に入れた視線方向が得られているため、そのままカメラに対する視線方向として利用することができる。

また、カメラの位置や画角等が事前に判明している場合には、画像内のユーザの位置などにより、３次元空間内の立ち位置を推定することができる。

なお、単眼カメラのみでは奥行き方向の特定が完全にはできないが、例えば、頭部や瞳のサイズを利用することで奥行き位置も推定することが可能である。

これらから、ユーザの頭部位置及び視線方向が計算できるため、実際の３次元空間内でユーザがカメラに対してどの方向を注視しているかが計算可能である。そして、予めカメラに対する注視候補領域を３次元空間内に定義しておき、ユーザの３次元空間内の視線ベクトルと注視候補領域の重なり度合いや距離を算出することで、最も適切な注視領域を選択することができる。

得られた視線方向に対して適切な注視候補領域が存在しない場合は、予め決められた注視候補領域以外を見ていると出力することもできる。

注視候補領域は、どのようなものに対して定義しても構わないが、例えば、パソコンのインターフェースに応用する場合には操作ボタンやアイコンなど、マーケティングにおける消費者行動解析に応用する場合には棚に陳列されている商品などに対して注視候補領域を設定することが考えられる。

また、両瞳に対する視線ベクトルが得られている場合には、２つの視線ベクトルの平均を用いて注視領域を選択しても良いし、例えば、２つの視線ベクトルから両眼の輻輳角を求め、輻輳角が大きすぎる場合には視線検出誤りとしてリジェクトすることで、より高精度に注視領域を選択することも可能である。

さらに、２つの視線ベクトルの３次元空間上の交点（または２直線の最接近点）を求め、この点を３次元空間上の注視点とすることで、ユーザが目の焦点を合わせている注視領域を推定することも可能である。

（変更例）
本発明は、上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。

（１）変更例１
変更例１について説明する。

第１の実施形態においては、変換部１８において画像上の瞳座標を３次元顔モデル上の座標へ変換したが、瞳以外の任意の特徴点も３次元顔モデル上へと変換し、それらと対応する基準特徴点座標との誤差を求めることで、入力された顔と３次元顔モデルとの対応付け誤差を求めることができ、それを推定された視線方向の信頼度として出力することも可能である。

瞳以外の一般の特徴点の変換に関しては、３次元眼球モデルを用いた（７）式のような拘束条件が存在しないため、例えば変換後の奥行き（ｚ座標）は対応する基準特徴点座標と不変であるなどの条件を新たに加える。

３次元顔モデル上へ変換された座標と、対応する基準特徴点座標との誤差は、入力された顔と３次元顔モデルの射影行列Ｍによる対応付けの妥当性を表していると考えられる。仮に、入力された顔と３次元顔モデルとが大きく異なっている場合、すなわち、入力された実世界上の特徴点と３次元顔モデル特徴点の配置が３次元的な相似関係から大きく逸脱している場合には、いかなる射影行列Ｍを用いても変換後の特徴点には大きな誤差が発生する。このように実世界上の特徴点配置と３次元顔モデルとの相違が大きい場合には、結果として推定された視線方向にも誤差が生じている可能性がある。

したがって、推定した視線方向とともに、この変換後の特徴点誤差を３次元顔モデルの対応付けに対する信頼度とすることで、視線方向の検出間違いを減らすことが可能となる。なお、変換後の特徴点誤差から信頼度を求める方法としては、複数の特徴点を変換した結果の誤差の和や、最大値、最小値など、その他いかなる方法でも構わない。

また、３次元顔モデルを複数用意しておき、最も信頼度の高い（変換誤差の小さい）３次元顔モデルを選択し、その３次元顔モデルを用いて視線方向を推定することも可能である。

（２）変更例２
変更例２について説明する。

第１の実施形態において、変換部１８で射影行列Ｍを求める際に、瞳座標を除いて計算することにより、顔の非剛体な変形による誤差を抑制することも可能である。眼球運動による瞳座標の移動は、３次元顔モデル及び射影行列Ｍで表現することのできない非剛体な変形であるため、射影行列Ｍを求める際にはノイズとなる。したがって、（１）式、（２）式における行列Ｓ及び行列Ｗを計算する際に、瞳座標を除くことで対応付けにおけるノイズを抑制することができる。

また、結果として得られる視線方向が正面、つまり変換後の瞳座標と対応する基準特徴点座標が十分近い場合には、再度瞳を加えて射影行列Ｍを計算することで、数値安定性を向上させることも可能である。

また、瞳に限らず、非剛体運動をすると考えられるような特徴点（例えば口端など）を除いて射影行列Ｍを計算しても構わないし、例えば両口端点をそのまま使う代わりに、より変形に対して安定な口端点の重心などに変換した後に射影行列Ｍを計算しても構わない。なお、非剛体運動をすると考えられるような特徴点とは、対応付け処理において３次元顔モデルを拡大、縮小、回転させるだけでは表現できない、または大きな誤差が生じる可能性のある特徴点をいう。

これにより、３次元顔モデルで表現できない非剛体な変形誤差を抑制し、より安定に視線方向を推定することが可能となる。

（３）変更例３
変更例３について説明する。

第１の実施形態では、視線方向は、視線推定部２０において変換部１８で求めた顔モデル上の瞳座標（ｘ，ｙ，ｚ）と眼球中心（ａ，ｂ，ｃ）を結ぶ直線により計算していたが、それ以外の方法によっても視線方向を推定することは可能である。

例えば、顔モデル（３次元眼球モデル）上の任意の座標における法線ベクトルは３次元形状から簡単に計算することができるため、瞳座標（ｘ，ｙ，ｚ）における法線ベクトルも計算可能である。この瞳座標における法線ベクトルの向きを視線方向とすることもできる。また、顔モデル上の法線ベクトルを予め計算しておき、テーブルなどに保存しておくことで、高速に視線方向を推定することも可能である。

また、顔モデル上の瞳座標（ｘ，ｙ，ｚ）と正視状態の瞳座標の距離によって視線方向を推定することも可能である。検出された瞳座標と、正視状態における瞳座標との距離が大きければ大きいほど視線方向の角度は大きくなり、逆に距離が小さくなれば正視状態に近くなり視線方向の角度は小さくなる。

また、顔モデル上の瞳座標と正視状態の瞳座標の２点を結ぶ直線の角度から、視線の向きを求めることができる。この向きと上述の角度の大きさを組み合わせることで、３次元的な視線方向を求めることが可能である。これらの視線方向推定方法は、３次元眼球モデルの中心座標を用いなくても計算可能である。そのため、顔・３次元眼球モデルの持つ情報量や、要求される処理速度に応じて好適な視線方向推定方法を選択することも可能であるし、複数の方法により得られた視線方向推定結果を組み合わせることにより、より高精度に視線方向を推定することも可能である。

本発明の第１の実施形態に係わる視線検出装置の構成を示すブロック図である。抽出された特徴点と基準特徴点の関係図である。視線ベクトルの計算に関する概念図である。本発明の第２の実施形態に係わるの視線検出装置の構成を示すブロック図である。視線方向による注視候補選択の図である。

符号の説明

１０視線検出装置
１２画像入力部
１４特徴点検出部
１６３次元顔モデル保持部
１８変換部
２０視線推定部

Claims

入力された１枚の画像中の顔から瞳を含む同一平面上に存在しない４点以上の画像特徴点を抽出する特徴点検出部と、
少なくとも一つの３次元顔モデル、前記３次元顔モデル上で前記画像特徴点にそれぞれ対応する基準特徴点の座標及び前記３次元顔モデル上の眼球に関する３次元眼球モデルを記憶する３次元顔モデル保持部と、
前記画像特徴点と前記基準特徴点の間の対応関係に基づいて、前記画像特徴点の一つである瞳座標を３次元顔モデルの表面へ変換する変換部と、
前記３次元眼球モデルと、前記変換した瞳座標に基づいて３次元的な視線方向を推定する視線推定部と、
を有し、
前記３次元眼球モデルは、前記３次元顔モデルにおける眼球の中心座標を含み、
前記視線推定部は、前記３次元眼球モデルの中心座標と、前記変換した瞳座標に基づいて前記視線方向を推定し、
前記変換部は、前記画像特徴点と前記基準特徴点との間の射影行列を計算し、前記射影行列を用いて前記画像上の瞳座標を前記３次元顔モデルの表面上へ変換する、
ことを特徴とする視線検出装置。
前記視線推定部は、前記眼球の中心座標と、前記変換した瞳座標を結ぶ直線により前記視線方向を推定する、
請求項１記載の視線検出装置。
前記３次元眼球モデルは、前記３次元顔モデルの正視状態における瞳座標を含み、
前記視線推定部は、前記正視状態における瞳座標と、前記変換した瞳座標に基づいて前記視線方向を推定する、
請求項１記載の視線検出装置。
前記３次元的な視線方向に基づいて、３次元空間内に予め定義された注視候補領域から注視領域を選択する注視領域選択部を有する、
請求項１記載の視線検出装置。
前記変換部は、前記瞳の画像特徴点以外の前記画像特徴点と前記基準特徴点に基づいて前記対応関係を計算する、
請求項１記載の視線検出装置。
前記変換部は、前記瞳以外の前記画像特徴点と対応する前記基準特徴点、及び、前記瞳の画像特徴点の間の重心に基づいて前記対応関係を計算する、
請求項１記載の視線検出装置。
入力された１枚の画像中の顔から瞳を含む同一平面上に存在しない４点以上の画像特徴点を抽出する特徴点検出部と、
少なくとも一つの３次元顔モデル、前記３次元顔モデル上で前記画像特徴点にそれぞれ対応する基準特徴点の座標及び前記３次元顔モデル上の眼球に関する３次元眼球モデルを記憶する３次元顔モデル保持部と、
前記画像特徴点と前記基準特徴点の間の対応関係に基づいて、前記画像特徴点の一つである瞳座標を３次元顔モデルの表面へ変換する変換部と、
前記３次元眼球モデルと、前記変換した瞳座標に基づいて３次元的な視線方向を推定する視線推定部と、
を有し、
前記３次元顔モデル保持部は、複数の３次元顔モデルを保持しており、
前記変換部は、前記変換された画像特徴点と前記基準特徴点との誤差を計算し、前記画像上の顔と前記各３次元顔モデルのそれぞれの対応関係の信頼度を計算し、
前記視線推定部は、前記信頼度が最も高い３次元顔モデルを選択し、前記選択した３次元顔モデルに基づいて前記視線方向を検出する、
ことを特徴とする視線検出装置。
入力された１枚の画像中の顔から瞳を含む同一平面上に存在しない４点以上の画像特徴点を抽出する特徴点検出ステップと、
少なくとも一つの３次元顔モデル、前記３次元顔モデル上で前記画像特徴点にそれぞれ対応する基準特徴点の座標及び前記３次元顔モデル上の眼球に関する３次元眼球モデルを記憶する３次元顔モデル保持ステップと、
前記画像特徴点と前記基準特徴点の間の対応関係に基づいて、前記画像特徴点の一つである瞳座標を３次元顔モデルの表面へ変換する変換ステップと、
前記３次元眼球モデルと、前記変換した瞳座標に基づいて３次元的な視線方向を推定する視線推定ステップと、
を有し、
前記３次元眼球モデルは、前記３次元顔モデルにおける眼球の中心座標を含み、
前記視線推定ステップにおいて、前記３次元眼球モデルの中心座標と、前記変換した瞳座標に基づいて前記視線方向を推定し、
前記変換ステップにおいて、前記画像特徴点と前記基準特徴点との間の射影行列を計算し、前記射影行列を用いて前記画像上の瞳座標を前記３次元顔モデルの表面上へ変換する、
ことを特徴とする視線検出方法。
前記視線推定ステップにおいて、前記眼球の中心座標と、前記変換した瞳座標を結ぶ直線により前記視線方向を推定する、
請求項８記載の視線検出方法。
前記３次元眼球モデルは、前記３次元顔モデルの正視状態における瞳座標を含み、
前記視線推定ステップにおいて、前記正視状態における瞳座標と、前記変換した瞳座標に基づいて前記視線方向を推定する、
請求項８記載の視線検出方法。
前記３次元的な視線方向に基づいて、３次元空間内に予め定義された注視候補領域から注視領域を選択する注視領域選択部を有する、
請求項８記載の視線検出方法。
前記変換ステップにおいて、前記瞳の画像特徴点以外の前記画像特徴点と前記基準特徴点に基づいて前記対応関係を計算する、
請求項８記載の視線検出方法。
前記変換ステップにおいて、前記瞳以外の前記画像特徴点と対応する前記基準特徴点、及び、前記瞳の画像特徴点の間の重心に基づいて前記対応関係を計算する、
請求項８記載の視線検出方法。
入力された１枚の画像中の顔から瞳を含む同一平面上に存在しない４点以上の画像特徴点を抽出する特徴点検出ステップと、
少なくとも一つの３次元顔モデル、前記３次元顔モデル上で前記画像特徴点にそれぞれ対応する基準特徴点の座標及び前記３次元顔モデル上の眼球に関する３次元眼球モデルを記憶する３次元顔モデル保持ステップと、
前記画像特徴点と前記基準特徴点の間の対応関係に基づいて、前記画像特徴点の一つである瞳座標を３次元顔モデルの表面へ変換する変換ステップと、
前記３次元眼球モデルと、前記変換した瞳座標に基づいて３次元的な視線方向を推定する視線推定ステップと、
を有し、
前記３次元顔モデル保持ステップにおいて、複数の３次元顔モデルを保持しており、
前記変換ステップにおいて、前記変換された画像特徴点と前記基準特徴点との誤差を計算し、前記画像上の顔と前記各３次元顔モデルのそれぞれの対応関係の信頼度を計算し、
前記視線推定ステップにおいて、前記信頼度が最も高い３次元顔モデルを選択し、前記選択した３次元顔モデルに基づいて前記視線方向を検出する、
ことを特徴とする視線検出方法。