JP5858433B2 - 注視点検出方法及び注視点検出装置 - Google Patents

Description

本発明は、対象者の画像に基づいて所定平面上の対象者の注視点を検出する注視点検出方法及び注視点検出装置に関するものである。

従来から、非接触で被験者の視線もしくは注視点を検出する装置が、ヒューマンインタラクションの分野で重要視されている。高精度の視線検出技術が実用化されれば、例えば、ドライバーの監視、商品の興味の度合いの調査、重度身体障害者のパーソナルコンピュータへのデータ入力などの様々な用途に適用できる。

下記特許文献１，２に開示された視線検出方法では、位置が既知であるカメラと、位置が既知であるディスプレイ画面上の１点との合計２点を被験者に注視させることによって、瞳孔の中心と角膜反射点との間の距離｜ｒ｜から被験者の視線方向を計算するための関数を補正して、その補正した関数を用いて視線方向を検出する。このような視線検出方法によれば、被験者の頭部が移動しても高精度の視線検出が可能である。また、下記特許文献３に開示された視線検出方法は、２台のカメラを用いて両眼の視線を同時に検出するための方法である。この方法においても、視線検出結果を較正するために被験者にカメラを見させる必要がある。

このように視線計算時の補正のために被験者にカメラを見させなければならない理由は、カメラを見ているときには、眼球の光軸周りの対称性により理想的には光源の角膜反射像が瞳孔の中央に位置するものではあるが、実際には角膜反射像は瞳孔の中央からずれているからである。そのため、距離｜ｒ｜から関数を用いて被験者の視線方向を計算する方式においては、いわゆる原点補正をしなければ関数に含まれるゲイン値を正確に求めることができない。そこで、上述した従来技術では、被験者にカメラの位置を含む規定点を見させることによって関数を補正している。

特開２００５−１８５４３１号公報 特開２００５−２３００４９号公報 特開２００５−１９８７４３号公報

しかしながら、被験者にカメラを見させるということはカメラの開口部の中心部（レンズの中心）を見させることになり、見るべき対象が明確でないため視点が定まりにくい。これに対して、レンズの中心に明確な目標物（マーカー）を取り付ければ視点が定まりやすくなるが、カメラ画像に障害物として写ってしまい正確な視線検出が難しくなる。また、設置場所の確保の関係でカメラを被験者の正面よりも下方に設置した場合、カメラを見させた際に近見反射などにより瞳孔が小さくなることがあり、しかもその上に角膜反射が重畳するため、カメラ画像から瞳孔位置を正確に検出することが難しくなる場合がある。そして、カメラを見させているときに計算される距離｜ｒ｜の誤差は較正によって求められるゲイン値に強く影響し、ディスプレイ画面全体において視点または視線検出結果に大きな誤差となって現れる。

また、一般には、位置が既知の多くの指標を画面上に順に提示して被験者にその指標を見させるようにすることによって、視線検出の較正精度はある程度向上することが予想される。しかし、このような較正処理にはどうしても時間がかかるし、時間がかかればその分被験者の負担が増加し、その結果、被験者の集中力が低下して較正精度が低下してしまう。上記特許文献３に記載された視線検出方法でも、ディスプレイ上の座標が既知の２点もしくは移動する点（各時刻での一が既知の点）を追跡する較正が実現されている。しかし、この較正法においても、被験者はある特定の指標を２点以上見なければならなかった。しかも、これによって求められるカメラの開口部の中心部を見たときに相当する瞳孔中心と角膜反射との相対位置には誤差が生じやすい。これにより、較正によって求めるゲイン値も正確に求めることができなくなるため、ディスプレイ画面上の注視点誤差は、規則的ではあるが、注視位置によって誤差量が変化することになり、その誤差の補正も困難となっていた。

そこで、本発明は、かかる課題に鑑みて為されたものであり、被験者に対する負担を低減しつつ高速かつ高精度の注視点検出を実現できる注視点検出方法及び注視点検出装置を提供することを目的とする。

上記課題を解決するため、本発明の一側面にかかる注視点検出方法は、Ｎ台（Ｎは２以上の自然数）のカメラ及び複数の光源を用いて、対象者の顔画像を生成する顔画像生成ステップと、Ｎ台のカメラによるそれぞれの顔画像に基づいて、光源からの光の対象者の角膜上の反射点である角膜反射点から瞳孔中心までの実距離を表すベクトルｒを計算するベクトル計算ステップと、Ｎ台のカメラに対応するそれぞれのベクトルｒを基に、Ｎ台のカメラと瞳孔中心とを結ぶ基準線それぞれに対する対象者の視線の角度θを、関数ｆを用いて、少なくともベクトルｒのオフセットベクトルであるベクトルｒ_０を含むＭ個の未定定数（Ｍは３以上の自然数）を含む下記式（１）；
θ＝ｆ（｜ｒ−ｒ_０｜） …（１）
によって計算する視線方向計算ステップと、Ｎ台のカメラに対応して計算された角度θを少なくとも基にして導かれた複数の関係式を用いて、関数ｆに含まれるＭ個の未定定数を決定する未定定数決定ステップと、未定定数決定ステップによって決定されたＭ個の未定定数を用いて視線方向計算ステップによって計算された視線の方向に基づき、対象者の注視点を検出する注視点検出ステップと、を備え、カメラの台数Ｎは、Ｍ×１／２個以上に設定されている、ことを特徴とする。

或いは、本発明の一側面にかかる注視点検出装置は、対象者の顔画像に基づいて、該対象者の注視点を検出する注視点検出装置であって、対象者の顔画像を取得するＮ台のカメラと、複数の光源と、カメラ及び光源を制御する制御回路と、Ｎ台のカメラから出力された画像信号を処理する画像処理部とを備え、画像処理部は、Ｎ台のカメラによるそれぞれの顔画像に基づいて、光源からの光の対象者の角膜上の反射点である角膜反射点から瞳孔中心までの実距離を表すベクトルｒを計算し、Ｎ台のカメラに対応するそれぞれのベクトルｒを基に、Ｎ台のカメラと瞳孔中心とを結ぶ基準線それぞれに対する対象者の視線の角度θを、関数ｆを用いて、少なくともベクトルｒのオフセットベクトルであるベクトルｒ_０を含むＭ個の未定定数（Ｍは３以上の自然数）を含む下記式（１）；
θ＝ｆ（｜ｒ−ｒ_０｜） …（１）
によって計算し、Ｎ台のカメラに対応して計算された角度θを少なくとも基にして導かれた複数の関係式を用いて、関数ｆに含まれるＭ個の未定定数を決定し、当該決定されたＭ個の未定定数を用いて上記式（１）によって計算された視線の方向に基づき、対象者の注視点を検出し、カメラの台数Ｎは、Ｍ×１／２個以上に設定されている、ことを特徴とする。

このような注視点検出方法或いは注視点検出装置によれば、Ｎ台のカメラ及び複数の光源によって対象者の顔画像が生成され、それぞれの顔画像を基に対象者の角膜反射点から瞳孔中心までのベクトルｒがＮ台のカメラごとに対応して計算され、それぞれのベクトルｒをオフセットベクトルｒ_０を含むＭ個の未定定数を含む関数ｆに適用することによって、対象者の視線の基準線に対する角度θがＮ台のカメラごとに対応して計算される。さらに、このようにして計算されたそれぞれの角度θを基に複数の関係式が導かれ、カメラがＭ×１／２台以上に設定されていることにより、それらの関係式を用いて関数ｆに含まれるＭ個の未定定数が決定される。そして、決定された関数ｆを用いて対象者の顔画像から視線の方向及び注視点が検出される。これにより、対象者に複数の規定点を注視させることなく、また、対象者にカメラの開口部を注視させることもなく、視線方向を算出するための関数に関する自動補正が高精度に実行される。その結果、対象者の負担が軽減されるとともに、高速かつ高精度の注視点検出が可能になる。

本発明による注視点検出方法及び注視点検出装置によれば、被験者に対する負担を低減しつつ高速かつ高精度の注視点検出を実現できる。

本発明の好適な一実施形態にかかる注視点検出装置１を示す斜視図である。 図１のカメラの開口に取り付けられた光源の平面図である。 図１の注視点検出装置で設定される座標系の位置関係を示す図である。 図１の注視点検出装置による注視点検出手順を説明するための図である。 図１の注視点検出装置による注視点検出手順を説明するための図である。 （ａ），（ｂ）は、カメラ画像上で観察されるベクトルｒを示す図であり、（ｃ）は、仮想視点平面上の注視点Ｔを示す図である。 図１のカメラで取得された画像上で観察されるベクトルｒを示す図である。 図５に示す仮想視点球面Ｓ上に投影された点Ｏ_１，Ｏ_２，Ｇ_Ｓを平面上にさらに投影した図である。 図５に示す仮想視点球面Ｓ上に投影された点Ｏ_１，Ｏ_２，Ｏ_３，Ｇ_Ｓを平面上にさらに投影した図である。 図８に示した仮想視点球面Ｓの平面上への投影図上で角度θ_ｉをベクトルとして示す図である。 図１のカメラのカメラ画像上で検出されたベクトルｒ_ｉ，ｒ_ｉ’を示す図である。 対象者Ａの左右の瞳孔とディスプレイ装置８の画面上の注視点Ｑとの位置関係を示す図である。

以下、図面を参照しつつ本発明に係る注視点検出方法及び注視点検出装置の好適な実施形態について詳細に説明する。なお、図面の説明においては同一又は相当部分には同一符号を付し、重複する説明を省略する。

（注視点検出装置の構成）
まず、本発明にかかる注視点検出装置を実施するための注視点検出装置の構成について、図面を参照しながら説明する。本発明の注視点検出装置は、対象者の顔画像を基にパーソナルコンピュータ等の情報処理端末のモニター画面上の注視点を検出する装置である。

図１は、本発明の好適な一実施形態にかかる注視点検出装置１を示す斜視図である。同図に示すように、注視点検出装置１は、対象者Ａの顔画像を撮像する４台のカメラ２ａ，２ｂ，２ｃ，２ｄと、それぞれのカメラ２ａ，２ｂ，２ｃ，２ｄの開口部の撮像レンズの外側に設けられた光源３ａ，３ｂ，３ｃ，３ｄと、光源３ａ，３ｂ，３ｃ，３ｄの給電用の発光回路（制御回路）４と、カメラ２ａ，２ｂ，２ｃ，２ｄに入力する同期信号を生成する同期信号発生器（制御回路）５と、同期信号を遅延させるための遅延回路（制御回路）６と、カメラ２ａ，２ｂ，２ｃ，２ｄの生成した画像信号を処理するパーソナルコンピュータ等の画像処理装置（画像処理部）７と、カメラ２ａ，２ｂの上方およびカメラ２ｃ，２ｄの間において対象者Ａに対向するように配置され、画像処理装置７に接続されたディスプレイ装置８とを備えている。これらの発光回路４、同期信号発生器５、及び遅延回路６は、カメラ２ａ，２ｂ，２ｃ，２ｄ及び光源３ａ，３ｂ，３ｃ，３ｄの動作を制御するための制御回路を構成する。

カメラ２ａ，２ｂ，２ｃ，２ｄは、対象者Ａの顔面を撮像することによって画像データを生成する。このカメラ２ａ，２ｂ，２ｃ，２ｄとしては、インターレーススキャン方式の１つであるＮＴＳＣ方式のカメラを用いる。ＮＴＳＣ方式では、１秒間に３０枚得られる１フレームの画像データは、奇数番目の水平画素ラインで構成される奇数フィールドと奇数フィールドを除く偶数番目の水平画素ラインで構成される偶数フィールドから構成され、奇数フィールドの画像と偶数フィールドの画像とが１／６０秒の間隔で交互に撮影されて生成される。具体的には、１フレーム内では、奇数フィールドの画素ラインと偶数フィールドの画素ラインとが交互に並ぶように生成される。

これらのカメラ２ａ，２ｃ，２ｄには、それぞれ、同期信号発生器５から遅延回路６を経由して遅延された垂直同期信号（ＶＤ信号）が入力されることにより、４つのカメラ２ａ，２ｂ，２ｃ，２ｄの撮影タイミングが互いにずらされる。

また、このカメラ２ａ，２ｂ，２ｃ，２ｄの対物レンズが収容された円形状の開口部９ａ，９ｂ，９ｃ，９ｄの外側には、それぞれ、光源３ａ，３ｂ，３ｃ，３ｄが固定されている。図２には、光源３ａ，３ｂ，３ｃ，３ｄの平面図を示している。光源３ａ，３ｂ，３ｃ，３ｄは、対象者Ａの顔に向けて照明光を照射するためのものであり、リング状の台座部１０に２種類の発光素子１１，１２が複数埋め込まれた構造を有している。この発光素子１１は、出力光の中心波長が850nmの半導体発光素子（ＬＥＤ）であり、台座部１０上において開口部９ａ，９ｂ，９ｃ，９ｄの縁に沿って等間隔でリング状に配設されている。また、発光素子１２は、出力光の中心波長が950nmの半導体発光素子であり、台座部１０上において発光素子１１の外側に隣接して等間隔にリング状に配設されている。すなわち、発光素子１２のカメラ２ａ，２ｂ，２ｃ，２ｄの光軸からの距離は、発光素子１１の光軸からの距離よりも大きくなるように設定されている。このとき、それぞれの発光素子１１，１２は、カメラ２ａ，２ｂ，２ｃ，２ｄの光軸に沿って照明光を出射するように台座部１０上に設けられている。なお、光源の配置は上記構成に限定されるものではなく、カメラをピンホールモデルとみなせるような配置であれば他の配置構成を採る事も可能である。

これらの発光素子１１，１２は、発光回路４によって、それぞれ独立に発光タイミングを制御可能にされる。具体的には、同期信号発生器５から出力されるＶＤ信号に同期したカメラ２ａ，２ｂ，２ｃ，２ｄのシャッタタイミングに合わせて、発光素子１１，１２が交互に発光するように、発光タイミングが制御される。

このような制御回路の動作により、発光素子１１から対象者Ａの左右の眼球Ｂに照明光が照射されると、眼球Ｂにおいて明瞳孔像が生成され、発光素子１２から眼球Ｂに照明光が照射されると、眼球Ｂにおいて暗瞳孔像が生成される。これは、波長が900nmより短い照明光を受ける場合は、波長が900nmより長い照明光を受ける場合に比較して瞳孔が明るく映る、眼球Ｂへの照明光がカメラの光軸からより離れた位置から入射した場合は瞳孔がより暗く映るという性質によるものである。ここで、４組の発光素子１１及び４組の発光素子１２は、それぞれ、カメラ２ａ，２ｂ，２ｃ，２ｄの奇数フィールド及び偶数フィールドの撮影タイミングに同期させるように、交互に点灯される。その結果、カメラ２ａ，２ｂ，２ｃ，２ｄの生成する奇数フィールド及び偶数フィールドには、それぞれ、眼球Ｂの明瞳孔画像及び暗瞳孔画像が反映される。

画像処理装置７は、４台のカメラ２ａ，２ｂ，２ｃ，２ｄから出力された画像データを処理する。具体的には、画像処理装置７は、カメラ２ａ，２ｂ，２ｃ，２ｄから出力された１フレームの画像データを、奇数フィールドと偶数フィールドとに分離する。例えば、この奇数フィールドの画像データ（奇数画像データ）は明瞳孔画像となっており、偶数フィールドの画像データ（偶数画像データ）は暗瞳孔画像となっている。これらの画像データは、奇数フィールド又は偶数フィールドのみに有効画素を有しているため、画像処理装置７は、隣接する有効画素の画素ラインの輝度平均をそのライン間の画素値に埋め込むことによって、明瞳孔画像データ及び暗瞳孔画像データを生成する。

さらに、画像処理装置７は、明瞳孔画像データ及び暗瞳孔画像データを用いて、対象者Ａの左右の瞳孔の検出を繰り返し行う。すなわち、明瞳孔画像データと暗瞳孔画像データの差分画像を生成し、前回の瞳孔検出処理で検出された瞳孔の位置を基にウィンドウを設定し、そのウィンドウの範囲内で瞳孔の探索を行う。具体的には、画像処理装置７は、差分画像に対してＰタイル法によって決定された閾値で２値化を行った後、孤立点除去及びラベリングを行い、ラベルづけされた画素の連結成分の中から、瞳孔らしい面積、サイズ、面積比、正方形度、及び瞳孔特徴量等の形状パラメータから瞳孔候補を選択する。さらに、選択された瞳孔候補の連結成分の中から、２つの瞳孔候補の関係が所定の関係にあるものを左右の瞳孔として決定し、画像データにおける左右の瞳孔の中心座標を算出する。

また、画像処理装置７は、明瞳孔画像データ及び暗瞳孔画像データを対象にして、対象者Ａの左右の目における光源からの光の角膜上の反射点である角膜反射点の位置も検出する。すなわち、検出した瞳孔を中心としたウィンドウを設定し、そのウィンドウ範囲のみを高分解像度化した画像データを作成し、その画像データから角膜反射を検出する。具体的には、Ｐタイル法によって２値化の閾値を決定し、その画像から２値化画像を作成し、ラベリングを行い、面積が一定以下である部分を選択する。ここで、画像処理装置７は、選択した部分の中心座標に対し、分離度フィルタを与え、分離度と輝度とを掛けた特徴量を求め、その値が一定値以下であれば角膜反射ではないと判断する。さらに、画像処理装置７は、明瞳孔画像データと暗瞳孔画像データにおいて、角膜反射の移動量を計算し、その移動量を差分位置補正量とする。そして、画像処理装置７は、明瞳孔画像データ及び暗瞳孔画像データの角膜反射位置が一致するように差分位置補正量分だけずらし、画像データの輝度を足し算し、輝度重心座標を角膜反射の座標と決定する。

さらに、画像処理装置７は、２台のカメラ２ａ，２ｂから出力された画像データを元に検出した瞳孔中心座標から、対象者Ａの左右の瞳孔の３次元位置を計算する。この際、画像処理装置７は、ステレオ法によって左右の瞳孔の３次元座標を計測する。ステレオ法とは、カメラのレンズの焦点距離、画像中心、画素サイズなどの内部パラメータと、カメラの位置や姿勢等の外部パラメータを予め計測しておき、複数台のステレオカメラで対象物を撮影したときに画像中の点の座標を基に、内部パラメータ及び外部パラメータを用いてその点の空間上の位置を決定する方法である。

なお、画像処理装置７がステレオ法を用いて瞳孔の３次元座標を計算する際には、図３に示すような座標系を用いる。同図に示す世界座標系（Ｘ_Ｗ，Ｙ_Ｗ，Ｚ_Ｗ）は、２台のカメラ２ａ，２ｂで共有する原点Ｏ_Ｗが例えばディスプレイ装置８の画面中央に位置する座標系であり、カメラ座標系（Ｘ，Ｙ，Ｚ）は、その原点Ｃがカメラ２ａ，２ｂの光学中心とされ、Ｚ軸が光学中心から画像面に垂直に引いた光軸と平行とされた座標系であり、画像座標系（Ｘ_Ｇ，Ｙ_Ｇ）は、撮像素子が置かれる画像面に沿ってＸＹ平面と平行にされ、光軸と画像面の交点（画像中心）を原点Ｃｉとする座標系である。点Ｐが目標点の座標とすると、カメラ２ａ，２ｂを用いた際の画像座標系への投影点（Ｘ_ｄ，Ｙ_ｄ）は、画像のゆがみにより理想的な投影点（Ｘ_ｕ，Ｙ_ｕ）からずれることになる。従って、ステレオ法を用いた３次元位置計測を精度良く行うためには、目標点Ｐの世界座標とその画像座標の対応づけを記録したキャリブレーションデータを予め取得する必要がある。例えば、このようなキャリブレーションデータとしては、外部パラメータとしての世界座標に対するカメラ座標系の平行移動ベクトル及び世界座標系に対するカメラ座標系の回転行列や、内部パラメータとしての焦点距離、画像中心座標、スケール係数、レンズひずみ係数、撮像素子間隔等が予め取得されて、画像処理装置７に記憶される。

そして、画像処理装置７は、２台のカメラ２ａ，２ｂからの出力データを元に検出した画像座標系における瞳孔中心座標と、世界座標系における瞳孔中心座標との関係式を、キャリブレーションデータを参照しながら取得する。次に、画像処理装置７は、２つの関係式から対象者Ａの瞳孔の世界座標系における３次元位置座標を求める。同様にして、画像処理装置７は、対象者Ａの左右の瞳孔の３次元位置を求めることができる。

また、画像処理装置７は、検出した対象者Ａの左右のいずれかの角膜反射点の位置及び瞳孔中心の位置とを用いて、ディスプレイ装置８上の対象者の注視点Ｑを検出する。以下に、図４及び図５を参照しながら、画像処理装置７による注視点Ｑの検出手順について説明する。ここでは、説明を簡略化するためにカメラ２ａ，２ｂのカメラ画像のみを用いた注視点検出手順を述べる。

（注視点検出手順）
ここでは、図４に示すように、検出した瞳孔の３次元位置Ｐを元に、カメラ２ａ，２ｂの開口部９ａ，９ｂの中心を原点Ｏとし、その原点Ｏと瞳孔Ｐを結ぶ基準線ＯＰを法線とする仮想視点平面Ｘ’−Ｙ’を設定する。ここで、Ｘ’軸は、世界座標系のＸ_Ｗ−Ｙ_Ｗ平面と仮想視点平面Ｘ’−Ｙ’との交線に相当する。

まず、画像処理装置７は、画像面Ｓ_Ｇにおける角膜反射点Ｇから瞳孔中心Ｐまでのベクトルｒ_Ｇを算出する。そして、ベクトルｒ_Ｇを、距離ＯＰから求められたカメラの拡大率を用いて実寸に換算したベクトルｒに変換する（ベクトル計算ステップ）。このとき、各カメラ２ａ，２ｂをピンホールモデルと考え、角膜反射点Ｇと瞳孔中心Ｐとが、仮想視点平面Ｘ’−Ｙ’と平行な平面上にあると仮定している。つまり、画像処理装置７は、仮想視点平面と平行であって瞳孔Ｐの３次元座標を含む平面上において、瞳孔中心Ｐと角膜反射点Ｇの相対座標をベクトルｒとして算出しており、このベクトルｒは角膜反射点Ｇから瞳孔中心Ｐまでの実距離を表す。

その後、画像処理装置７は、対象者Ａの仮想視点平面上の注視点Ｔに関して、直線ＯＴの水平軸Ｘ’に対する傾きφを、ベクトルｒの画像面上の水平軸Ｘ_Ｇに対する傾きφ’と等しいとして求める。さらに、画像処理装置７は、対象者Ａの視線ベクトル、すなわち、瞳孔中心Ｐと注視点Ｔを結ぶベクトルＰＴと、基準線ＯＰとの成す角θを、ゲイン値ｋ及び原点補正ベクトル（オフセットベクトル）ｒ_０を含むパラメータを使った関数ｆ_１を用いて、下記式（３）；
θ＝ｆ_１（ｒ）＝ｋ×｜ｒ−ｒ_０｜ …（３）
によって計算する（視線方向計算ステップ）。

このような角度φ，θの計算は、瞳孔中心Ｐの存在する平面上のベクトルｒを仮想視点平面上で拡大したものがそのまま対象者Ａの注視点に対応するとみなすことにより行われている。より詳しくは、対象者Ａの視線ＰＴの基準線ＯＰに対する角度θは、瞳孔中心と角膜反射の距離の修正値｜ｒ−ｒ_０｜との間で線形関係を有すると仮定している。なお、関数ｆ_１に含まれる原点補正ベクトルｒ_０には、対象者Ａがカメラを見たとき（θ＝０）の実寸の角膜反射−瞳孔中心ベクトルｒ_０が零ではないためにそのベクトルｒ_０が設定される。ここで、上記ゲイン値ｋ及び原点補正ベクトルｒ_０は、各対象者Ａや左右の眼球によって異なるため較正を行う必要がある。そこで、ゲイン値ｋ及び原点補正ベクトルｒ_０は予め設定された初期値に対して後述するパラメータ補正処理によって補正された値が使用される。

さらに、画像処理装置７は、２台のカメラ２ａ，２ｂのカメラ画像に対応して計算された角度φ，θであるφ_１，φ_２，θ_１，θ_２を参照して、対象者Ａのディスプレイ装置８の画面上の注視点を検出する（注視点検出ステップ）。ここで、注視点検出のメカニズムを説明するために図５に示すような座標系を定義する。２つのカメラ２ｂ，２ａの位置に対応した原点Ｏ_１’，Ｏ_２’を有する２つの仮想視点平面Ｈ_１，Ｈ_２と、瞳孔中心Ｐを中心とした半径を任意とした仮想視点球面Ｓを定義する。２つの仮想視点平面Ｈ_１，Ｈ_２は、それぞれ、直線ＰＯ_１’，ＰＯ_２’に対して垂直な平面である。そして、瞳孔中心Ｐとディスプレイ画面上の注視点Ｑを通る直線（視線）と仮想視点球面Ｓとの交点をＧ_Ｓ、瞳孔中心Ｐと原点Ｏ_１’を通る直線と仮想視点球面Ｓとの交点をＯ_１、瞳孔中心Ｐと原点Ｏ_２’を通る直線と仮想視点球面Ｓとの交点をＯ_２とする。なお、視線ＰＱと仮想視点平面Ｈ_１との交点をＧ_１とすると、直線Ｏ_１’Ｇ_１と仮想視点平面Ｈ_１との水平軸の成す角がφ_１となる。同様に、視線ＰＱと仮想視点平面Ｈ_２との交点をＧ_２とすると、直線Ｏ_２’Ｇ_２と仮想視点平面Ｈ_２との水平軸の成す角がφ_２となる。さらに、仮想視点球面Ｓ上において、点Ｏ_１における点Ｏ_１を通る水平面と球面Ｓとの交線（曲線）と曲線Ｏ_１Ｇ_Ｓの成す角は、上記角度φ_１と等しくなる。同様に、仮想視点球面Ｓ上において、点Ｏ_２における点Ｏ_２を通る水平面と球面Ｓとの交線（曲線）と曲線Ｏ_２Ｇ_Ｓの成す角は、上記角度φ_２と等しくなる。また、上述したように、点Ｐ，Ｏ_１，Ｏ_１’は同じ直線Ｌ_１上に存在し、点Ｐ，Ｏ_２，Ｏ_２’は同じ直線Ｌ_２上に存在するので、直線Ｌ_１と視線の成す角がθ_１となり、直線Ｌ_２と視線の成す角がθ_２となる。

画像処理装置７は、上記のような関係を用いることにより、予め既知である原点Ｏ_１’，Ｏ_２’の位置座標、及びディスプレイ装置８の位置及び向きのデータを参照しながら、画面上の注視点を算出することができる。すなわち、２台のカメラ２ａ，２ｂのカメラ画像によって計算された角度φ_１，φ_２，θ_１，θ_２から、仮想視点球面Ｓ上の点Ｇ_Ｓ，Ｏ_１，Ｏ_２の相対的位置関係を取得することができる。従って、画像処理装置７は、既知である原点Ｏ_１’，Ｏ_２’の座標と、既に計算された瞳孔中心Ｐの座標から、一意に視線ＰＧ_Ｓを求めることができ、その視線ＰＧ_Ｓとディスプレイ装置８の画面との交点を計算することにより注視点Ｑを検出することができる。なお、角度φ_１，θ_１から求められる視線ＰＧ_Ｓと、角度φ_２，θ_２から求められる視線ＰＧ_Ｓがずれている場合にはそれらを平均したものを最終的な視線ベクトルとして計算することもできる。

ここで、画像処理装置７が視線方向計算ステップで用いる関数ｆ_１には、パラメータとしてゲイン値ｋ及び原点補正ベクトルｒ_０が含まれている。このゲイン値ｋは、上記式（３）を見ても分かるように、角膜反射−瞳孔中心ベクトルｒを調整後のベクトル（ｒ−ｒ_０）の大きさと視線方向を示す角度θが線形関係にあると仮定して、そのベクトルｒから角度θを求める時に使用する倍率である。理想的には、角度θとベクトル｜ｒ｜とが線形関係にあれば、ゲイン値ｋさえ求まれば角度θが計算できるはずである。言い換えれば角度θ＝０のとき、つまり対象者Ａがカメラを注視したときはベクトル｜ｒ｜＝０になるはずである。しかしながら、実際には眼球の視軸（視線）と光学軸とは一致せず、角度θ＝０のときベクトル｜ｒ｜≠０となる。さらに、対象者Ａが変われば角度θ＝０のときのベクトル｜ｒ｜は異なる。

この現象を、図６及び図７を用いて説明する。図６（ｃ）にはカメラの位置Ｏ’を含む仮想視点平面上の注視点Ｔを示しており、図６（ａ），（ｂ）、及び図７（ａ），（ｂ）は、カメラで取得された画像上で観察されるベクトルｒを示している。仮想視点平面上で線分Ｏ’Ｔの長さは、｜Ｏ’Ｔ｜＝｜ＰＯ’｜ｔａｎθで計算できる。対象者Ａがカメラを見ているときは、理想的にはカメラに写る瞳孔中心Ｐと角膜反射Ｇの位置は一致する（図６（ｂ））。一方で、注視点Ｔを見ているときは、角膜反射Ｇから瞳孔中心Ｐの位置がずれることになる（図６（ａ））。このとき、カメラ画像上の角度φ’と仮想視点平面上の角度φとはφ’＝φが成立する。しかしながら、現実には、対象者Ａがカメラを見ているときは、カメラ画像中の瞳孔中心Ｐと角膜反射点Ｇとは一致しない。例えば、図７（ｂ）に示すように、角膜反射点Ｇが瞳孔中心Ｐに対して右下寄りになってしまう。これに対して、図７（ａ）に示すように、注視点Ｔを見ているときは、角膜反射Ｇから瞳孔中心Ｐの位置がさらにずれることになる。図７（ａ），（ｂ）には、対象者Ａがカメラを見ているときの瞳孔中心Ｐを原点とする座標系を点線で示している。この座標系において瞳孔中心Ｐの位置ベクトルｒ’を計算すれば、このｒ’に関しては、図６に示すような理想的な瞳孔中心Ｐと角膜反射Ｇとの関係が同様に成立すると考えられる。言い換えれば、対象者Ａがカメラを見ているときの角膜反射Ｇを原点としたときの瞳孔中心Ｐの位置ベクトルｒ_０を求める。そして、この位置ベクトルｒ_０と、対象者Ａが注視点Ｔを見たときのベクトルｒとから、下記式（４）；
ｒ’＝ｒ−ｒ_０ …（４）
を用いてベクトルｒ’が求まる（図７（ａ））。さらに、求められたベクトルｒ’を対象にゲイン値ｋを適用すれば角度θを正しく求めることができ、さらにベクトルｒ’から角度φも求めることができる。このベクトルｒ_０が原点補正ベクトルである。

上述したパラメータｋ，ｒ_０は、対象者Ａによって異なるために予めパラメータ較正を行って求めておく必要がある。つまり、パラメータｋ，ｒ_０は、装置起動後の初期の段階では未定定数であり、正確な視線検出のためには予めパラメータ較正によって適切な値に決定しておく必要がある。以下、画像処理装置７によって注視点検出処理の前に実行されるパラメータ補正の手順について説明する。

（パラメータ補正手順、未定定数決定ステップ）
図８は、図５に示す仮想視点球面Ｓ上に投影された点Ｏ_１，Ｏ_２，Ｇ_Ｓを平面上にさらに投影した図である。同図でベクトルとして示されたθ_１，θ_２は、それぞれ視線の角度を示している。ここで、ベクトルｒ_１，ｒ_２は対象者が仮想視点球面Ｓ上の点Ｇ_Ｓの方向を見たときのそれぞれのカメラ２ａ，２ｂで撮影した画像から算出した実寸の角膜反射−瞳孔中心ベクトルであり、対象者Ａがカメラ方向の点Ｏ_１，Ｏ_２，Ｏ_１’，Ｏ_２’を見たときの角膜反射−瞳孔中心ベクトルをｒ_０＝（ｘ_０，ｙ_０）とすると、ベクトルｒ_１，ｒ_２の原点補正後のベクトルｒ_１’，ｒ_２’は、下記式（５）；
ｒ_１’＝ｒ_１−ｒ_０
ｒ_２’＝ｒ_２−ｒ_０ …（５）
によって表される。さらに式（３）から、下記式（６）；
θ_１＝ｋ｜ｒ_１−ｒ_０｜
θ_２＝ｋ｜ｒ_２−ｒ_０｜ …（６）
の関係も得られる。

ここで、画像処理装置７は、ディスプレイ装置８の画面上の座標が既知である１点の規定点を対象者Ａに注視させると同時に、それに応じてベクトルｒ_１＝（ｘ_１，ｙ_１）、及びベクトルｒ_２＝（ｘ_２，ｙ_２）を検出する。視線の角度θ_１，θ_２は規定点から計算でき、これをベクトルｒ_１，ｒ_２とともに２つの関係式を含む上記式（６）に適用すれば、３つの未知パラメータｋ，ｘ_０，ｙ_０が２つの関係式に含まれることになる。従って、これらの未知パラメータを求めるには３式以上の関係式を立てられれば良いことになる。そこで、画像処理装置７は、対象者Ａに１点の規定点を注視させた際の残りのカメラ２ｃ，２ｄのいずれかのカメラの画像を用いて、角膜反射−瞳孔中心ベクトルｒ_３＝（ｘ_３，ｙ_３）をさらに検出し（図９）、このベクトルｒ_３と角度θ_３を下記式（７）；
θ_３＝ｋ｜ｒ_３−ｒ_０｜ …（７）
に代入して３つ目の関係式を導く。そして、画像処理装置７は、３式の関係式で連立方程式を立てることにより、パラメータｋ，ｘ_０，ｙ_０を計算して補正値として記憶させることができる。なお、図１に示すように、注視点検出装置１には４組のカメラ２ａ，２ｂ，２ｃ，２ｄ及び光源３ａ，３ｂ，３ｃ，３ｄが設けられているが、パラメータ補正処理を実現するためには、少なくとも３組が設けられていればよい。

上述したようなパラメータ補正処理は、１秒程度の期間内におけるカメラ画像の３０フレームを対象に実行され、それぞれのフレームに対して計算されたパラメータを平均した値が補正値として記憶される。

また、画像処理装置７は、視線方向計算ステップにおいて、式（３）に代わりに、下記式（８）；
θ＝ｆ_２（ｒ）＝ｋ｜ｒ’｜＋ｈ｜ｒ’｜^４ …（８）
のように、ベクトル｜ｒ’｜と角度θとの関係が非線形な関数ｆ_２を用いても良い。視線の角度θが２０度程度までは式（３）のような線形性が成立するが、３０度程度になると多くの対象者Ａに関して非線形性が強くなる。この場合、画像処理装置７は、未知のパラメータとして４つのパラメータｋ，ｈ，ｘ_０，ｙ_０を持つことになるので、パラメータ補正処理を実現するために、４式以上の関係式が必要となる。そこで、画像処理装置７は、対象者Ａに１点の規定点を注視させた際の４台のカメラ２ａ，２ｂ，２ｃ，２ｄのカメラの画像を用いて、ベクトルｒ_ｉ＝（ｘ_ｉ，ｙ_ｉ）（ｉ＝１〜４）を検出し、このベクトルｒ_ｉと角度θ_ｉを上記式（８）に代入して４つの関係式を導く。そして、画像処理装置７は、４式の関係式で連立方程式を立てることにより、４つのパラメータｋ，ｈ，ｘ_０，ｙ_０を計算して補正値として記憶させることができる。すなわち、この場合にパラメータ補正を行うためには、カメラと光源の組み合わせが少なくとも４組必要ということになる。

さらに、画像処理装置７は、視線方向計算ステップにおいて、下記式（８）に代わりに、｜ｒ’｜の２乗、３乗等の他の複数の非線形項を含む式を用いても良いし、非線形項の乗数自体を未定パラメータとして設定してもよい。このような場合も、補正が必要なパラメータ数以上の関係式が導かれるように、注視点検出装置１のカメラの台数が所定数以上に設定される。

なお、パラメータ補正の際に対象者Ａに注視させる規定点に関しては、非線形な関数に対応するためには、各カメラから均等な距離の位置では無く、各カメラからの距離が互いにずれた位置を注視させるようにすることが好ましい。この場合、例えば、ディスプレイ画面の右端等を注視させると、各カメラからの距離が互いにずれるように異なることになり、非線形式のパラメータが正確に求められ、較正精度がより高まる。

（他のパラメータ補正手順）
また、上記のパラメータ補正手順では、角度θ_ｉをスカラー量としてパラメータ補正に用いていたが、下記のように角度θ_ｉをベクトルとして扱ってもよい。図１０では、図８に示した仮想視点球面Ｓの平面上への投影図において、角度θ_ｉがベクトルとして図示されている。また、図１１（ａ），（ｂ）には、２台のカメラ２ｂ，２ａのカメラ画像上で検出されたベクトルｒ_ｉ，ｒ_ｉ’（ｉ＝１，２）を図示している。このように、画像処理装置７によってカメラ画像から直接検出されるのはベクトルｒ_１，ｒ_２であり、ベクトルｒ_１０，ｒ_２０は、それぞれのカメラ画像に対応する原点補正ベクトルである。

図１０及び図１１に示す２次元空間のｘ軸及びｙ軸を複素平面上の実数軸及び虚数軸に対応させ、虚数単位を「ｊ」で表すとする。原点補正後のベクトルｒ_１’，ｒ_２’の傾きφ_１’，φ_２’と、仮想視点平面上の角度φ_１，φ_２との間の関係は、φ_１＝φ_１’，φ_２＝φ_２’であり、ベクトルθ_１とベクトルｒ_１’は平行であり、ベクトルθ_２とベクトルｒ_２’は平行であるので、下記式（９）及び下記式（１０）；

が成り立つ。さらに、原点補正ベクトルｒ_１０，ｒ_２０は、下記式（１１）及び下記式（１２）；

と表される。ここで、原点補正ベクトルｒ_１０，ｒ_２０は、２つのカメラでの検出結果において等しいと考えられるので、ｒ_１０＝ｒ_２０＝ｒ_０の関係より、以下の２つの関係式（１３），（１４）が導かれる。これらの式（１３），（１４）中における未知パラメータはパラメータｓのみであるので、画像処理装置７は、両方の式からパラメータｓを求めてその平均値を補正値とすることができる。さらに、画像処理装置７は、決定されたパラメータｓを式（１１）に代入することで、原点補正ベクトルｒ_０を決定することができる。

すなわち、上記式（１１），（１２）に含まれる実数成分及び虚数成分を考慮した４式の関係式に対して、未知のパラメータは原点補正ベクトルｒ_０の２成分とゲイン値ｋの逆数であるパラメータｓの３つである。従って、画像処理装置７は、対象者Ａに１点の規定点を注視させた際の少なくとも２台のカメラによって得られたカメラ画像を基に、３つのパラメータを計算して補正値として決定することができる。

ここでも、画像処理装置７は、視線方向計算ステップにおいて、ベクトル｜ｒ_ｉ’｜と角度θ_ｉとの関係が非線形な関数を用いても良い。具体的には、式（９）に代わりに、下記式（１５）；
｜ｒ_ｉ’｜＝ｓ｜θ_ｉ｜−ｔ｜θ_ｉ｜^４ …（１５）
を用いる。このような非線形関数に基づいて、原点補正ベクトルｒ_１０，ｒ_２０は、下記式（１６）及び下記式（１７）のように計算される。

上記式（１６），（１７）に含まれる実数成分及び虚数成分を考慮した４式の関係式に対して、未知のパラメータは原点補正ベクトルｒ_０の２成分とパラメータｓ，ｔの４つである。従って、画像処理装置７は、対象者Ａに１点の規定点を注視させた際の少なくとも２台のカメラによって得られたカメラ画像を基に、非線形要素も考慮した４つのパラメータを計算して補正値として決定することができる。

また、画像処理装置７は、上記式（１１），（１２）を利用した方法に代えて、次のようにしてパラメータを補正することもできる。すなわち、原点補正ベクトルｒ_１０＝ｒ_２０＝ｒ_０の関係を用いて、ベクトルθ_ｉは下記式（１８）で与えられる。

さらに、図１０を参照すると、下記式（１９）；

が得られる。上記式（１９）の右辺は角Ｏ_１ＰＯ_２をベクトル化して表現したものである。上記式（１８）に含まれる実数成分及び虚数成分を考慮した４式の関係式に対して、未知のパラメータは原点補正ベクトルｒ_０の２成分とパラメータｋの３つである。従って、画像処理装置７は、対象者Ａに１点の規定点を注視させた際の少なくとも２台のカメラによって得られたカメラ画像を基に、３つのパラメータを計算して補正値として決定することができる。

上記のように、様々なパラメータ補正手順により未定定数を正確に決定するためには、未定定数の数をＭとしたときに、カメラの台数を少なくともＭ×１／２（端数は切り上げ）以上であることが必要であることがわかる。

以上説明した注視点検出装置１及び注視点検出装置１を用いた注視点検出方法によれば、４台のカメラ２ａ，２ｂ，２ｃ，２ｄ及びその開口部外側の光源３ａ，３ｂ，３ｃ，３ｄによって対象者Ａの顔画像が生成され、それぞれの顔画像を基に対象者の角膜反射点から瞳孔中心までのベクトルｒ_ｉ（ｉ＝１〜４）が４台のカメラ２ａ，２ｂ，２ｃ，２ｄごとに対応して計算され、それぞれのベクトルｒ_ｉを関数に適用することによって、対象者Ａの視線の基準線に対する角度θ_ｉが４台のカメラごとに対応して計算される。さらに、このようにして計算されたそれぞれの角度θ_ｉを基に未知パラメータの個数以上の関係式が導かれ、それらの関係式を用いて上記関数に含まれるパラメータが補正される。そして、補正された関数を用いて対象者Ａの顔画像から視線の方向及び注視点Ｑが検出される。これにより、対象者Ａに複数の規定点を注視させることなく、また、対象者にカメラの開口部を注視させることもなく、視線方向を算出するための関数に関する自動補正が高精度に実行される。その結果、対象者の負担が軽減されるとともに、高速かつ高精度の注視点検出が可能になる。
また、上記関数が原点補正ベクトルｒ_０も含めて補正されるので、その結果ゲイン値ｋも正確に求められ、視点を検出するディスプレイ画面の全体にわたって視線の角度θ_ｉをより正確に計算することができる。

例えば、関数ｆ_１に含まれるパラメータｋ，ｒ_０を、対象者Ａにカメラの開口部を含む複数の規定点を注視させることによって補正することも考えられる。しかしながら、その場合は対象者Ａが２点以上を注意深く固視する必要があるため対象者Ａにとって負担となる。また、複数の規定点を順番に見させる必要があるため、対象者Ａに対する指示が困難であったり、実際に対象者がどの規定点を見ているか判断しにくかったりするため、パラメータ較正が不正確になる。また、カメラの開口部を見させることは実際上困難であり、その結果パラメータｒ_０の補正値が正確に得られないことが考えられる。そうすると、ゲイン値ｋの補正値の誤差も大きくなり、実際に対象者Ａが注視している点と検出される注視点位置とのずれ（注視点検出誤差）が指標位置によって変化してくるため、その後の再補正も困難となる。これに対して、本実施形態では、１点の規定点のみを見させれば足るため、対象者Ａの負担が軽くなるとともに、規定点としてカメラの開口部を見させる必要も無いため、注視点検出誤差もディスプレイ画面全体にわたって小さくなる。

また、本実施形態の注視点検出装置１及び注視点検出方法は、被験者が相対する人の眼やディスプレイ等に映った人の眼を見ている時間と他所を見ている時間の比率の差を判断することにより被験者の自閉症診断を支援するシステムにも適用できる。

なお、本発明は、前述した実施形態に限定されるものではない。例えば、本発明の注視点検出方法においては、パラメータ補正手順として他の様々な変形態様を採用することができる。例えば、画像処理装置７は、以下のようなパラメータ較正手順によって、対象者Ａに予め指定された規定点を見させることなく、対象者が適当な位置を見ている間にパラメータ較正を完了させることもできる。

図１２には、このときのパラメータ較正手順を説明するための対象者Ａの左右の瞳孔とディスプレイ装置８の画面上の注視点Ｑとの位置関係を示す図である。同図において、Ｐ_ＬとＰ_Ｒは、それぞれ、左瞳孔と右瞳孔の中心座標を表し、注視点Ｑは、対象者Ａの両目が共通に見ている点であるとする。つまり、直線Ｐ_ＬＱと直線Ｐ_ＲＱは、左右それぞれの目の視軸を表している。また、それぞれの直線Ｐ_ＬＱ，Ｐ_ＲＱ上の点Ｇ_１’^Ｌ，Ｇ_２’^ＬとＧ_１’^Ｒ，Ｇ_２’^Ｒは、カメラ２ｂ，２ａの位置Ｏ_１’，Ｏ_２’を含む２つの仮想視点平面とその直線との交点を表している。対象者Ａの左右の眼球に対応して検出された視線の角度θをそれぞれθ_１ ^Ｌ，θ_１ ^Ｒ，θ_２ ^Ｌ，θ_２ ^Ｒとし、左右の眼球に対応するゲイン値ｋおよび原点補正ベクトルｒ_０を、ｋ_Ｌ，ｋ_Ｒおよびｒ_０ ^Ｌ，ｒ_０ ^Ｒとする。

この場合、画像処理装置７は、下記式（２０）；

を用いて角度θ_１ ^Ｒを計算することができる。また、角度θ_１ ^ＲはベクトルＰ_ＲＱとベクトルＰ_ＲＯ_１’の内積を用いて、下記式（２１）；

の関係も導かれ、これらの式（２０），（２１）から、下記式（２２）；

の関係も導くことができる。同様にして、角度θ_１ ^Ｌ，θ_２ ^Ｒ，θ_２ ^Ｌに関しても、下記式（２３）〜（２５）が導かれる。

そこで、２台のカメラによって得られたカメラ画像を基に、４つの関係式を導くことができ、それらにはｋ_Ｌ，ｋ_Ｒ，ｒ_０ ^Ｌ＝（ｘ_０ ^Ｌ，ｙ_０ ^Ｌ），ｒ_０ ^Ｒ＝（ｘ_０ ^Ｒ，ｙ_０ ^Ｒ）、及び注視点Ｑの２次元座標の８つの未知パラメータが含まれることになる。従って、画像処理装置７は、対象者Ａの左右の目の視線のディスプレイ画面上の交点Ｑが一致するという拘束条件を用いて、４台のカメラ２ａ，２ｂ，２ｃ，２ｄによって得られたカメラ画像を基に８つの関係式を導き、これらを基にパラメータを計算して補正値として決定することができる。この場合も、パラメータ補正手順により未定定数を正確に決定するために、カメラの台数が８個×１／２＝４台以上に設定されている。

また、画像処理装置７は、角度θ_ｉ ^Ｌ，θ_ｉ ^Ｒをベクトルとして扱うことによって導かれる関係式を用いて、パラメータ補正を実行することも可能である。詳細には、ｒ_１’^Ｒとθ_１ ^Ｒとの関係に関しては、ｓ_Ｒ＝１／ｋ_Ｒ，ｓ_Ｌ＝１／ｋ_Ｌとおくと、下記式（２６）；

が導かれ、同様に下記式（２７）も導かれる。

さらに、原点補正ベクトルに関して下記式（２８）；

も成立する。上記式（２８）に含まれる実数成分及び虚数成分を考慮した８式の関係式に対して、未知のパラメータは２つの原点補正ベクトルｒ_０ ^Ｒ，ｒ_０ ^Ｌの４成分とゲイン値ｋの逆数であるパラメータｓ_Ｒ，ｓ_Ｌ、及び注視点Ｑの２次元座標の合計８つである。従って、画像処理装置７は、少なくとも２台のカメラによって得られたカメラ画像を基に、８つのパラメータを計算して補正値として決定することができる。また、画像処理装置７は、ベクトル｜ｒ_ｉ’｜と角度θ_ｉとの関係が非線形な関数を用いても良く、その場合は式（１５）〜（１７）と同様な関係式を使用すれば、未定のパラメータを２つ増やしてもカメラを３台使用すればパラメータ補正を行うことができる。

また、カメラ２ａ，２ｂ，２ｃ，２ｄとしては、ＣＣＤカメラ、ＣＭＯＳカメラ等のデジタルカメラを用いてもよい。

上記の側面に係る発明では、視線方向計算ステップでは、未定定数として係数ｋ及びベクトルｒ_０を含む下記式（２）；
θ＝ｋ｜ｒ−ｒ_０｜ …（２）
を用いて角度θを計算し、未定定数決定ステップでは、係数ｋ及びベクトルｒ_０を決定する、ことができる。この場合、関数ｆが原点補正も含めて決定されるので、その結果係数ｋも正確に求められ、視点を検出する面全体にわたって視線の角度θをより正確に計算することができる。

また、視線方向計算ステップでは、Ｎ台のカメラの顔画像上におけるベクトルｒ_０による補正後のベクトルｒの傾きφをさらに計算し、未定定数決定ステップでは、傾きφ及び角度θを少なくとも基にして導かれた複数の関係式を用いて、Ｍ個の未定定数を決定する、こともできる。この場合、関数ｆが視線のカメラの画像面に沿った角度を基に補正されるので、補正後の視線の方向の計算の精度が維持されるとともに、カメラの台数を削減しつつ視線計算の較正が実現される。

また、視線方向計算ステップでは、対象者に所定面上の規定点を注視させた際のＮ台のカメラに対応する角度θを計算し、未定定数決定ステップでは、規定点の位置及び角度θを基に、Ｍ個の未定定数を決定する、こともできる。こうすれば、所定画面上の１点の規定点を注視させることでＭ個の未定定数が決定可能にされるので、較正処理時の対象者に対する負担を軽減することができるとともに、即座に注視点検出が実行される。

さらに、ベクトル計算ステップでは、Ｎ台のカメラによるそれぞれの顔画像に基づいて、対象者の左右の目それぞれの角膜反射点から瞳孔までのベクトルｒ_Ｒ，ｒ_Ｌを計算し、視線方向計算ステップでは、Ｎ台のカメラに対応するそれぞれのベクトルｒ_Ｒ，ｒ_Ｌを基に、Ｎ台のカメラに関する基準線それぞれに対する対象者の左右の目それぞれの視線の角度θ_Ｒ，θ_Ｌを、関数ｆを用いて計算し、未定定数決定ステップでは、Ｎ台のカメラに対応する角度θ_Ｒ，θ_Ｌを基に、左右の目の視線と所定面との交点が一致するという条件を用いて、Ｍ個の未定定数を決定する、こともできる。このような構成を採れば、対象者に規定点を注視させることなく自動的に関数ｆの補正処理が実施可能にされ、較正処理時の対象者に対する負担をより一層軽減することができる。

本発明は、対象者の画像に基づいて所定平面上の対象者の注視点を検出する注視点検出方法及び注視点検出装置を使用用途とし、被験者に対する負担を低減しつつ高速かつ高精度の注視点検出を実現できるものである。

１…注視点検出装置、２ａ，２ｂ，２ｃ，２ｄ…カメラ、３ａ，３ｂ，３ｃ，３ｄ…光源、４…発光回路（制御回路）、５…同期信号発生器（制御回路）、６…遅延回路（制御回路）、７…画像処理装置（画像処理部）８…ディスプレイ装置、９ａ，９ｂ，９ｃ，９ｄ…開口部、Ａ…対象者、Ｇ…角膜反射点、Ｐ…瞳孔中心、Ｑ…注視点、ｒ，ｒ_１，ｒ_２…ベクトル、ｒ_０，ｒ_１０，ｒ_２０…原点補正ベクトル。

Claims (6)

1. Ｎ台（Ｎは２以上の自然数）のカメラ及び複数の光源を用いて、対象者の顔画像を生成する顔画像生成ステップと、
   前記Ｎ台のカメラによるそれぞれの顔画像に基づいて、前記光源からの光の前記対象者の角膜上の反射点である角膜反射点から瞳孔中心までの実距離を表すベクトルｒを計算するベクトル計算ステップと、
   前記Ｎ台のカメラに対応するそれぞれの前記ベクトルｒを基に、前記Ｎ台のカメラと前記瞳孔中心とを結ぶ基準線それぞれに対する前記対象者の視線の角度θを、関数ｆを用いて、少なくとも前記ベクトルｒのオフセットベクトルであるベクトルｒ_０を含むＭ個の未定定数（Ｍは３以上の自然数）を含む下記式（１）；
   θ＝ｆ（｜ｒ−ｒ_０｜） …（１）
   によって計算する視線方向計算ステップと、
   前記Ｎ台のカメラに対応して計算された前記角度θを少なくとも基にして導かれた複数の関係式を用いて、前記関数ｆに含まれる前記Ｍ個の未定定数を決定する未定定数決定ステップと、
   前記未定定数決定ステップによって決定された前記Ｍ個の未定定数を用いて前記視線方向計算ステップによって計算された前記視線の方向に基づき、前記対象者の注視点を検出する注視点検出ステップと、
   を備え、
   前記カメラの台数Ｎは、Ｍ×１／２個以上に設定されている、
   ことを特徴とする注視点検出方法。
2. 前記視線方向計算ステップでは、前記未定定数として係数ｋ及び前記ベクトルｒ_０を含む下記式（２）；
   θ＝ｋ｜ｒ−ｒ_０｜ …（２）
   を用いて前記角度θを計算し、
   前記未定定数決定ステップでは、前記係数ｋ及び前記ベクトルｒ_０を決定する、
   ことを特徴とする請求項１記載の注視点検出方法。
3. 前記視線方向計算ステップでは、前記Ｎ台のカメラの前記顔画像上における前記ベクトルｒ_０による補正後の前記ベクトルｒの傾きφをさらに計算し、
   前記未定定数決定ステップでは、前記傾きφ及び前記角度θを少なくとも基にして導かれた複数の関係式を用いて、前記Ｍ個の未定定数を決定する、
   ことを特徴とする請求項１又は２記載の注視点検出方法。
4. 前記視線方向計算ステップでは、前記対象者に所定面上の規定点を注視させた際の前記Ｎ台のカメラに対応する前記角度θを計算し、
   前記未定定数決定ステップでは、前記規定点の位置及び前記角度θを基に、前記Ｍ個の未定定数を決定する、
   ことを特徴とする請求項１〜３のいずれか１項に記載の注視点検出方法。
5. 前記ベクトル計算ステップでは、前記Ｎ台のカメラによるそれぞれの顔画像に基づいて、前記対象者の左右の目それぞれの前記角膜反射点から前記瞳孔中心までのベクトルｒ_Ｒ，ｒ_Ｌを計算し、
   前記視線方向計算ステップでは、前記Ｎ台のカメラに対応するそれぞれの前記ベクトルｒ_Ｒ，ｒ_Ｌを基に、前記Ｎ台のカメラに関する前記基準線それぞれに対する前記対象者の左右の目それぞれの視線の角度θ_Ｒ，θ_Ｌを、前記関数ｆを用いて計算し、
   前記未定定数決定ステップでは、前記Ｎ台のカメラに対応する前記角度θ_Ｒ，θ_Ｌを基に、前記左右の目の視線と所定面との交点が一致するという条件を用いて、前記Ｍ個の未定定数を決定する、
   ことを特徴とする請求項１〜３のいずれか１項に記載の注視点検出方法。
6. 対象者の顔画像に基づいて、該対象者の注視点を検出する注視点検出装置であって、
   前記対象者の顔画像を取得するＮ台のカメラと、
   複数の光源と、
   前記カメラ及び光源を制御する制御回路と、
   前記Ｎ台のカメラから出力された画像信号を処理する画像処理部とを備え、
   前記画像処理部は、
   前記Ｎ台のカメラによるそれぞれの顔画像に基づいて、前記光源からの光の前記対象者の角膜上の反射点である角膜反射点から瞳孔中心までの実距離を表すベクトルｒを計算し、前記Ｎ台のカメラに対応するそれぞれの前記ベクトルｒを基に、前記Ｎ台のカメラと前記瞳孔中心とを結ぶ基準線それぞれに対する前記対象者の視線の角度θを、関数ｆを用いて、少なくとも前記ベクトルｒのオフセットベクトルであるベクトルｒ_０を含むＭ個の未定定数（Ｍは３以上の自然数）を含む下記式（１）；
   θ＝ｆ（｜ｒ−ｒ_０｜） …（１）
   によって計算し、
   前記Ｎ台のカメラに対応して計算された前記角度θを少なくとも基にして導かれた複数の関係式を用いて、前記関数ｆに含まれる前記Ｍ個の未定定数を決定し、
   当該決定された前記Ｍ個の未定定数を用いて上記式（１）によって計算された前記視線の方向に基づき、前記対象者の注視点を検出し、
   前記カメラの台数Ｎは、Ｍ×１／２個以上に設定されている、
   ことを特徴とする注視点検出装置。

Images