JP5915981B2 - 注視点検出方法及び注視点検出装置 - Google Patents

Description

本発明は、対象者の画像に基づいて所定平面上の対象者の注視点を検出する注視点検出方法及び注視点検出装置に関するものである。

従来から、非接触で被験者の視線もしくは注視点を検出する装置が、ヒューマンインタラクションの分野で重要視されている。高精度の視線検出技術が実用化されれば、例えば、ドライバーの監視、商品の興味の度合いの調査、重度身体障害者のパーソナルコンピュータへのデータ入力などの様々な用途に適用できる。

下記特許文献１，２に開示された視線検出方法では、位置が既知であるカメラと、位置が既知であるディスプレイ画面上の１点とを被験者に注視させることによって、瞳孔の中心と角膜反射点との間の距離｜ｒ｜から被験者の視線方向を計算するための関数を補正して、その補正した関数を用いて視線方向を検出する。このような視線検出方法によれば、被験者の頭部が移動しても高精度の視線検出が可能である。また、下記特許文献３に開示された視線検出方法は、２台のカメラを用いて両眼の視線を同時に検出するための方法である。この方法においても、視線検出結果を較正するために被験者に規定点を見させる必要がある。

特開２００５−１８５４３１号公報 特開２００５−２３００４９号公報 特開２００５−１９８７４３号公報

しかしながら、規定点を被験者に見させることによって視線検出結果を補正する場合には、被験者に対する負担が増大する。また、幼児、障害者や自閉症患者等を対象とした場合には集中力が維持できないことも想定され、人によっては視線較正の精度が低下してしまう場合もあった。

そこで、本発明は、かかる課題に鑑みて為されたものであり、万人を対象にした場合であっても、被験者に対する負担を低減しつつ高精度の注視点検出を実現できる注視点検出方法及び注視点検出装置を提供することを目的とする。

本発明の一側面に係る注視点検出方法は、２台以上のカメラ及び２台以上のカメラの開口部外側に設けられた光源を用いて、対象者の顔画像を明瞳孔画像及び暗瞳孔画像として生成する顔画像生成ステップと、２台以上のカメラによるそれぞれの顔画像に基づいて、カメラと瞳孔とを結ぶ基準線に垂直な平面上における対象者の角膜反射点から瞳孔までのベクトルｒを計算するベクトル計算ステップと、２台以上のカメラに対応するそれぞれのベクトルｒを基に、２台以上のカメラの基準線それぞれに対する対象者の視線の角度θを、関数ｆを用いて下記式（１）；
θ＝ｆ（｜ｒ｜） …（１）
によって計算する視線方向計算ステップと、２台以上のカメラに対応して計算された視線の方向が近くなるように、関数ｆを補正するパラメータ補正ステップと、パラメータ補正ステップによって補正された関数ｆを用いて、上記式（１）を用いて視線の方向を計算し、視線の所定平面上の交点を求めることによって対象者の所定平面上の注視点を検出する注視点検出ステップと、を備える。

或いは、本発明の別の側面に係る注視点検出装置は、対象者の顔画像に基づいて、該対象者の所定平面上の注視点を検出する注視点検出装置であって、対象者の顔画像を取得する２台以上のカメラと、２台以上のカメラの開口部外側に設けられた光源と、カメラ及び光源を制御する制御回路と、２台以上のカメラから出力された画像信号を処理する画像処理部とを備え、制御回路は、対象者の顔画像を明瞳孔画像及び暗瞳孔画像として生成するように制御し、画像処理部は、２台以上のカメラによるそれぞれの顔画像に基づいて、カメラと瞳孔とを結ぶ基準線に垂直な平面上における対象者の角膜反射点から瞳孔までのベクトルｒを計算し、２台以上のカメラに対応するそれぞれのベクトルｒを基に、２台以上のカメラの基準線それぞれに対する対象者の視線の角度θを、関数ｆを用いて下記式（１）；
θ＝ｆ（｜ｒ｜） …（１）
によって計算し、２台以上のカメラに対応して計算された視線の方向が近くなるように、関数ｆを補正し、補正した関数ｆを用いて、上記式（１）を用いて視線の方向を計算し、視線の所定平面上の交点を求めることによって対象者の所定平面上の注視点を検出する。

このような注視点検出方法及び注視点検出装置によれば、２台以上のカメラ及びその開口部外側の光源によって対象者の顔画像が明瞳孔画像及び暗瞳孔画像として生成され、それぞれの顔画像を基に対象者の角膜反射点から瞳孔までのベクトルｒが計算され、それぞれのベクトルｒを関数ｆに適用することによって、対象者の視線の基準線に対する角度θが計算される。さらに、このようにして計算されたそれぞれの視線の方向が互いに近くなるように、関数ｆが補正され、その関数ｆを用いて視線の方向が計算された後に、その視線の方向を基に所定平面上の注視点が検出される。これにより、対象者が意識することなく視線方向を算出するための関数に関する自動補正が実行されるので、対象者の負担が軽減されるとともに、高精度の注視点検出が可能になる。

本発明の一側面に係る注視点検出方法及び注視点検出装置によれば、万人を対象にした場合であっても、被験者に対する負担を低減しつつ高精度の注視点検出を実現できる。

本発明の好適な一実施形態である注視点検出装置を示す斜視図である。 図１のステレオカメラの開口に取り付けられた光源の平面図である。 図１の注視点検出装置で設定される座標系の位置関係を示す図である。 図１の注視点検出装置による注視点検出手順を説明するための図である。 図１の左右のステレオカメラによって検出された注視点を示す図である。 図１の画像処理装置に設定される視線ベクトルの角度を算出するための関数ｆ_２を示すグラフである。

以下、図面を参照しつつ本発明に係る注視点検出方法及び注視点検出装置の好適な実施形態について詳細に説明する。なお、図面の説明においては同一又は相当部分には同一符号を付し、重複する説明を省略する。

（注視点検出装置の構成）
まず、本発明にかかる注視点検出装置を実施するための注視点検出装置の構成について、図面を参照しながら説明する。本発明の注視点検出装置は、対象者の顔画像を基にパーソナルコンピュータ等の情報処理端末のモニター画面上の注視点を検出する装置である。

図１は、本発明の好適な一実施形態である注視点検出装置１を示す斜視図である。同図に示すように、注視点検出装置１は、対象者Ａの顔画像を撮像する２台のステレオカメラ２ａ，２ｂと、それぞれのステレオカメラ２ａ，２ｂの開口部の撮像レンズの外側に設けられた光源３ａ，３ｂと、光源３ａ，３ｂの給電用の発光回路（制御回路）４と、ステレオカメラ２ａ，２ｂに入力する同期信号を生成する同期信号発生器（制御回路）５と、同期信号を遅延させるための遅延回路（制御回路）６と、ステレオカメラ２ａ，２ｂの生成した画像信号を処理するパーソナルコンピュータ等の画像処理装置（画像処理部）７と、ステレオカメラ２ａ，２ｂの上方において対象者Ａに対向するように配置され、画像処理装置７に接続されたディスプレイ装置８とを備えている。これらの発光回路４、同期信号発生器５、及び遅延回路６は、ステレオカメラ２ａ，２ｂ及び光源３ａ，３ｂの動作を制御するための制御回路を構成する。

ステレオカメラ２ａ，２ｂは、対象者Ａの顔面を撮像することによって画像データを生成する。このステレオカメラ２ａ，２ｂとしては、インターレーススキャン方式の１つであるＮＴＳＣ方式のカメラを用いる。ＮＴＳＣ方式では、１秒間に３０枚得られる１フレームの画像データは、奇数番目の水平画素ラインで構成される奇数フィールドと奇数フィールドを除く偶数番目の水平画素ラインで構成される偶数フィールドから構成され、奇数フィールドの画像と偶数フィールドの画像とが１／６０秒の間隔で交互に撮影されて生成される。具体的には、１フレーム内では、奇数フィールドの画素ラインと偶数フィールドの画素ラインとが交互に並ぶように生成される。

この一方のステレオカメラ２ａには、同期信号発生器５から垂直同期信号（ＶＤ信号）が入力され、他方のステレオカメラ２ｂには、同期信号発生器５から遅延回路６を経由して遅延された垂直同期信号（ＶＤ信号）が入力されることにより、２つのステレオカメラ２ａ，２ｂの撮影タイミングが互いにずらされる。

また、このステレオカメラ２ａ，２ｂの対物レンズが収容された円形状の開口部９ａ，９ｂの外側には、それぞれ、光源３ａ，３ｂが固定されている。図２には、光源３ａ，３ｂの平面図を示している。光源３ａ，３ｂは、対象者Ａの顔に向けて照明光を照射するためのものであり、リング状の台座部１０に２種類の発光素子１１，１２が複数埋め込まれた構造を有している。この発光素子１１は、出力光の中心波長が850nmの半導体発光素子（ＬＥＤ）であり、台座部１０上において開口部９ａ，９ｂの縁に沿って等間隔でリング状に配設されている。また、発光素子１２は、出力光の中心波長が950nmの半導体発光素子であり、台座部１０上において発光素子１１の外側に隣接して等間隔にリング状に配設されている。すなわち、発光素子１２のカメラ２ａ，２ｂの光軸からの距離は、発光素子１１の光軸からの距離よりも大きくなるように設定されている。このとき、それぞれの発光素子１１，１２は、カメラ２ａ，２ｂの光軸に沿って照明光を出射するように台座部１０上に設けられている。

これらの発光素子１１，１２は、発光回路４によって、それぞれ独立に発光タイミングを制御可能にされる。具体的には、同期信号発生器５から出力されるＶＤ信号に同期したカメラ２ａ，２ｂのシャッタタイミングに合わせて、発光素子１１，１２が交互に発光するように、発光タイミングが制御される。

このような制御回路の動作により、光源３ａの発光素子１１から対象者Ａの左右の眼球Ｂに照明光が照射されると、眼球Ｂにおいて明瞳孔像が生成され、発光素子１２から眼球Ｂに照明光が照射されると、眼球Ｂにおいて暗瞳孔像が生成される。これは、波長が900nmより短い照明光を受ける場合は、波長が900nmより長い照明光を受ける場合に比較して瞳孔が明るく映る、眼球Ｂへの照明光がカメラの光軸からより離れた位置から入射した場合は瞳孔がより暗く映るという性質によるものである。その結果、ステレオカメラ２ａ，２ｂの生成する奇数フィールド及び偶数フィールドには、それぞれ、眼球Ｂの明瞳孔画像及び暗瞳孔画像が反映される。

画像処理装置７は、２台のステレオカメラ２ａ，２ｂから出力された画像データを処理する。具体的には、画像処理装置７は、ステレオカメラ２ａ，２ｂから出力された１フレームの画像データを、奇数フィールドと偶数フィールドとに分離する。例えば、この奇数フィールドの画像データ（奇数画像データ）は明瞳孔画像となっており、偶数フィールドの画像データ（偶数画像データ）は暗瞳孔画像となっている。これらの画像データは、奇数フィールド又は偶数フィールドのみに有効画素を有しているため、画像処理装置７は、隣接する有効画素の画素ラインの輝度平均をそのライン間の画素値に埋め込むことによって、明瞳孔画像データ及び暗瞳孔画像データを生成する。

さらに、画像処理装置７は、明瞳孔画像データ及び暗瞳孔画像データを用いて、対象者Ａの左右の瞳孔の検出を繰り返し行う。すなわち、明瞳孔画像データと暗瞳孔画像データの差分画像を生成し、前回の瞳孔検出処理で検出された瞳孔の位置を基にウィンドウを設定し、そのウィンドウの範囲内で瞳孔の探索を行う。具体的には、画像処理装置７は、差分画像に対してＰタイル法によって決定された閾値で２値化を行った後、孤立点除去及びラベリングを行い、ラベルづけされた画素の連結成分の中から、瞳孔らしい面積、サイズ、面積比、正方形度、及び瞳孔特徴量等の形状パラメータから瞳孔候補を選択する。さらに、選択された瞳孔候補の連結成分の中から、２つの瞳孔候補の関係が所定の関係にあるものを左右の瞳孔として決定し、画像データにおける左右の瞳孔の中心座標を算出する。

また、画像処理装置７は、明瞳孔画像データ及び暗瞳孔画像データを対象にして、対象者Ａの左右の角膜反射点の位置も検出する。すなわち、検出した瞳孔を中心としたウィンドウを設定し、そのウィンドウ範囲のみを高分解像度化した画像データを作成し、その画像データから角膜反射を検出する。具体的には、Ｐタイル法によって２値化の閾値を決定し、その画像から２値化画像を作成し、ラベリングを行い、面積が一定以下である部分を選択する。ここで、画像処理装置７は、選択した部分の中心座標に対し、分離度フィルタを与え、分離度と輝度とを掛けた特徴量を求め、その値が一定値以下であれば角膜反射ではないと判断する。さらに、画像処理装置７は、明瞳孔画像データと暗瞳孔画像データにおいて、角膜反射の移動量を計算し、その移動量を差分位置補正量とする。そして、画像処理装置７は、明瞳孔画像データ及び暗瞳孔画像データの角膜反射位置が一致するように差分位置補正量分だけずらし、画像データの輝度を足し算し、輝度重心座標を角膜反射の座標と決定する。

さらに、画像処理装置７は、２台のステレオカメラ２ａ，２ｂから出力された画像データを元に検出した瞳孔中心座標から、対象者Ａの左右の瞳孔の３次元位置を計算する。この際、画像処理装置７は、ステレオ法によって左右の瞳孔の３次元座標を計測する。ステレオ法とは、カメラのレンズの焦点距離、画像中心、画素サイズなどの内部パラメータと、カメラの位置や姿勢等の外部パラメータを予め計測しておき、複数台のステレオカメラで対象物を撮影したときに画像中の点の座標を基に、内部パラメータ及び外部パラメータを用いてその点の空間上の位置を決定する方法である。

なお、画像処理装置７がステレオ法を用いて瞳孔の３次元座標を計算する際には、図３に示すような座標系を用いる。同図に示す世界座標系（Ｘ_Ｗ，Ｙ_Ｗ，Ｚ_Ｗ）は、２台のステレオカメラ２ａ，２ｂで共有する原点Ｏ_Ｗが例えばディスプレイ装置８の画面中央に位置する座標系であり、カメラ座標系（Ｘ，Ｙ，Ｚ）は、その原点Ｃがカメラ２ａ，２ｂの光学中心とされ、Ｚ軸が光学中心から画像面に垂直に引いた光軸と平行とされた座標系であり、画像座標系（Ｘ_Ｇ，Ｙ_Ｇ）は、撮像素子が置かれる画像面に沿ってＸＹ平面と平行にされ、光軸と画像面の交点（画像中心）を原点Ｃｉとする座標系である。点Ｐが目標点の座標とすると、カメラ２ａ，２ｂを用いた際の画像座標系への投影点（Ｘ_ｄ，Ｙ_ｄ）は、画像のゆがみにより理想的な投影点（Ｘ_ｕ，Ｙ_ｕ）からずれることになる。従って、ステレオ法を用いた３次元位置計測を精度良く行うためには、目標点Ｐの世界座標とその画像座標の対応づけを記録したキャリブレーションデータを予め取得する必要がある。例えば、このようなキャリブレーションデータとしては、外部パラメータとしての世界座標に対するカメラ座標系の平行移動ベクトル及び世界座標系に対するカメラ座標系の回転行列や、内部パラメータとしての焦点距離、画像中心座標、スケール係数、レンズひずみ係数、撮像素子間隔等が予め取得されて、画像処理装置７に記憶される。

そして、画像処理装置７は、２台のステレオカメラ２ａ，２ｂからの出力データを元に検出した画像座標系における瞳孔中心座標と、世界座標系における瞳孔中心座標との関係式を、キャリブレーションデータを参照しながら取得する。次に、画像処理装置７は、２つの関係式から対象者Ａの瞳孔の世界座標系における３次元位置座標を求める。同様にして、画像処理装置７は、対象者Ａの左右の瞳孔の３次元位置を求めることができる。

また、画像処理装置７は、検出した対象者Ａの左右の角膜反射点の位置、及び左右の瞳孔中心の位置とを用いて、ディスプレイ装置８上の対象者の注視点を検出する。以下に、図４及び図５を参照しながら、画像処理装置７による注視点の検出手順について説明する。

（自動較正法による注視点検出手順）
ここでは、図４に示すように、検出した瞳孔の３次元位置Ｐを元に、カメラ２ａ，２ｂの開口部９ａ，９ｂの中心を原点Ｏとし、その原点Ｏと瞳孔Ｐを結ぶ基準線ＯＰを法線とする仮想視点平面Ｘ’−Ｙ’を設定する。

まず、画像処理装置７は、画像面Ｓ_Ｇにおける角膜反射点Ｇから瞳孔中心Ｐまでのベクトルｒ_０を算出する。そして、ベクトルｒ_０を、距離ＯＰから求められたカメラの拡大率を用いて実寸に換算したベクトルｒに変換する（ベクトル計算ステップ）。このとき、各カメラ２ａ，２ｂをピンホールモデルと考え、角膜反射点Ｇと瞳孔中心Ｐとが、仮想視点平面Ｘ’−Ｙ’と平行な平面上にあると仮定している。つまり、画像処理装置７は、仮想視点平面と平行であって瞳孔Ｐの３次元座標を含む平面上において、瞳孔中心Ｐと角膜反射点Ｇの相対座標をベクトルｒとして算出している。

その後、画像処理装置７は、対象者Ａの仮想視点平面上の注視点Ｔに関して、直線ＯＴの水平軸Ｘ’に対する傾きφを、ベクトルｒの画像面上の水平軸Ｘ_Ｇに対する傾きφ’と等しいとして求める。さらに、画像処理装置７は、対象者Ａの視線ベクトル、すなわち、瞳孔中心Ｐと注視点Ｔを結ぶベクトルＰＴと、基準線ＯＰとの成す角θを、係数ｋを使った関数ｆ_１を用いて、下記式（３）；
θ＝ｆ_１（｜ｒ｜）＝ｋ×｜ｒ｜ …（３）
によって計算する（視線方向計算ステップ）。

ここで、係数ｋは予め設定された初期値が使用される。このような角度φ，θの計算は、瞳孔中心Ｐの存在する平面上のベクトルｒを仮想視点平面上で拡大したものがそのまま対象者Ａの注視点に対応するとみなすことにより行われている。より詳しくは、対象者Ａの視線ＰＴの基準線ＯＰに対する角度θは、瞳孔中心と角膜反射の距離｜ｒ｜との間で線形関係を有すると仮定している。ただし、上記係数ｋは、各対象者Ａや左右の眼球によって異なるため較正を行う必要がある。

そこで、画像処理装置７は、次のようにして係数ｋを補正する（パラメータ補正ステップ）。係数ｋの補正は、連続する１００フレームの画像データを基に、１フレーム毎に係数ｋを求めて、それらの平均を最終的な係数ｋとすることにより行われる。

具体的には、図５に示すように、画像処理装置７は、左右のステレオカメラ２ａ，２ｂを用いて、それぞれの仮想視点平面Ｘ_Ｌ−Ｙ_Ｌ，Ｘ_Ｒ−Ｙ_Ｒ上の１つの瞳孔Ｐ_Ｖからの注視点Ｔ_ＶＬ，Ｔ_ＶＲを求める。そして、画像処理装置７は、２つの注視点Ｔ_ＶＬ，Ｔ_ＶＲと、仮想視点平面の原点Ｏ_ＶＬ，Ｏ_ＶＲとを、それぞれ、投影仮想視点平面Ｘ’−Ｙ’上の点Ｔ’_ＶＬ，Ｔ’_ＶＲ，Ｏ’_ＶＬ，Ｏ’_ＶＲに投影する。そして、画像処理装置７は、投影仮想視点平面上の２つの注視点間の距離｜Ｔ’_ＶＬＴ’_ＶＲ｜を計算する。ここで、投影仮想視点平面Ｘ’−Ｙ’とは、２つの仮想視点平面の原点Ｏ_ＶＬ，Ｏ_ＶＲと瞳孔Ｐ_Ｖとを結ぶ線によって形成される角Ｏ_ＶＬＰ_ＶＯ_ＶＲの２等分線に垂直な平面であって、瞳孔Ｐ_Ｖからの距離が瞳孔Ｐ_Ｖから２つの仮想視点平面までの距離の和に設定された平面である。なお、投影仮想視点平面Ｘ’−Ｙ’は、２つの仮想視点平面Ｘ_Ｌ−Ｙ_Ｌ，Ｘ_Ｒ−Ｙ_Ｒの傾きに対して平均的な傾きを有し、両平面との間の交差角が同時に小さくなる平面であれば角Ｏ_ＶＬＰ_ＶＯ_ＶＲの２等分線に垂直な平面に限られるものではなく、瞳孔Ｐ_Ｖからの距離は任意の距離に設定されてよい。

次に、画像処理装置７は、係数ｋを初期値ｋ_０から二分探索を行うことにより補正する。詳細には、係数ｋを初期値ｋ_０に加算値を加算することにより変化させ、その都度投影仮想視点平面上の２つの注視点間の距離｜Ｔ’_ＶＬＴ’_ＶＲ｜を計算し、距離｜Ｔ’_ＶＬＴ’_ＶＲ｜が最小となる係数ｋを探索する。これによって、２台のカメラ２ａ，２ｂによって求められた２つの注視点が所定平面上で近くなるように係数ｋが補正される結果、２台のカメラ２ａ，２ｂを使用して計算される視線ベクトルの方向も近くなる。

このように求めた係数ｋを用いて、画像処理装置７は、所望のタイミングにおいて、対象者Ａの視線ベクトルを決定し、その視線ベクトルとディスプレイ装置８の表示画面との交点を求めることによって、最終的な対象者Ａの注視点Ｑを検出する（注視点検出ステップ）。具体的には、画像処理装置７は、較正した係数ｋを用いて求めた２つの注視点Ｔ’_ＶＬ，Ｔ’_ＶＲの中点Ｔ’を、投影仮想視点平面上の注視点とし、瞳孔中心Ｐと視点Ｔ’を結ぶベクトルＰＴ’を視線ベクトルとする。次に、画像処理装置７は、視線ベクトルＰＴ’と表示画面に沿った平面との交点を注視点Ｑとして算出する。ただし、このような注視点Ｑは、表示画面以外の予め定められた所定平面上で検出されてもよい。その後、画像処理装置７は、算出した注視点Ｑを表示画面上にマーカで表示させる。

以上が画像処理装置７による注視点検出手順であるが、画像処理装置７は、検出する注視点の精度を上げるために、次のような較正手順を追加することもできる。

（１点較正手順）
上記式（３）を用いて対象者Ａの視線ベクトルＰＴの成す角θを求める際には、対象者Ａがカメラ２ａ，２ｂの開口部９ａ，９ｂを注視したときに瞳孔中心と角膜反射との距離｜ｒ｜が零になると想定している。しかしながら、人間の眼球の構造上、対象者Ａがカメラ２ａ，２ｂを見たときには角膜反射点と瞳孔中心は一致しない場合も多い。そこで、画像処理装置７は、この現象に起因する注視点のずれの補正を行う。

すなわち、画像処理装置７は、自動較正法による係数ｋの二分探索と同時に、注視点の原点補正量の算出を行う。まず、画像処理装置７は、表示画面上の任意の位置に１点の指標（規定点）を表示させて対象者Ａにその指標を注視させた状態で、投影仮想視点平面上の注視点Ｔ’を検出する。次に、検出した注視点Ｔ’と指標の座標を投影仮想視点平面上に投影した点との差分が補正量ΔＱとして算出される。画像処理装置７は、この補正量ΔＱを用いて、その都度検出する注視点Ｔ’を補正することによって、検出する注視点Ｑを誤差分だけシフトして補正することができる。

なお、画像処理装置７は、対象者Ａに１点の指標を注視させた状態で注視点を検出した後に、その注視点と指標の位置とに基づいて、上記式（３）を用いた係数ｋの値の決定と、補正量ΔＱの算出の両方を行ってもよい。

（２点較正手順）
また、画像処理装置７は、２つの指標を用いた２点較正手順によって、注視点の原点補正に加えて、瞳孔中心と角膜反射との距離｜ｒ｜と視線ベクトルＰＴの成す角θとの関係が非線形関係になることによる注視点検出誤差も補正することができる。

詳細には、画像処理装置７は、まず、１つ目の指標を表示画面上の中央に表示させて対象者Ａに注視させながら、二分探索による係数ｋ_１の決定（自動較正）、及び１点較正手順による原点補正量ΔＱの算出を行う。このとき、画像処理装置７は、上記式（３）に代えて下記式（４）；

を用いて、視線ベクトルＰＴの成す角θを算出する。上記式（４）中、｜ｒ_Ｂ｜，θ_Ｂは、１点目の指標を表示させたときに検出されたベクトルの大きさ｜ｒ｜及び角度θであり、点（｜ｒ_Ｂ｜，θ_Ｂ）を基点として、ベクトルの大きさ｜ｒ｜の変化に対する角度θの変化が異なるような関係が設定され、角度θが大きいときの両者の関係における非線形成分が考慮されている（図６）。

次に、画像処理装置７は、２つ目の指標を表示画面上の中央上端に表示させて対象者Ａに注視させながら、画像データを基にこのときのベクトルｒの大きさ｜ｒ_Ｓ｜を検出し、既定の指標点から求まる視線ベクトルＰＴの成す角θ_Ｓを用いて、下記式（５）；

により、係数ｋ_２を算出する。以降、画像処理装置７は、決定した係数ｋ_１，ｋ_２を基に関数ｆ_２を補正し、その関数ｆ_２を用いてベクトルｒから視線ベクトルＰＴの成す角θを導くようにする。

以上説明した注視点検出装置１及び注視点検出装置１を用いた注視点検出方法によれば、２台のステレオカメラ２ａ，２ｂ及びその開口部９ａ，９ｂの外側の光源３ａ，３ｂによって対象者Ａの顔画像が明瞳孔画像及び暗瞳孔画像として生成され、それぞれの顔画像を基に対象者の角膜反射点から瞳孔までのベクトルｒが計算され、それぞれのベクトルｒを関数ｆ_１，ｆ_２に適用することによって、対象者Ａの視線の基準線に対する角度θが計算される。さらに、２台のステレオカメラ２ａ，２ｂを用いて計算されたそれぞれの視線の方向が互いに近くなるように、関数ｆ_１，ｆ_２が補正され、その関数ｆ_１，ｆ_２を用いて視線の方向が計算された後に、その視線の方向を基に表示画面上の注視点Ｑが検出される。これにより、対象者Ａが意識することなく視線方向を算出するための関数ｆ_１，ｆ_２に関する自動補正が実行されるので、対象者Ａの負担が軽減されるとともに、高精度の注視点検出が可能になる。

また、注視点検出装置１では、２台のステレオカメラ２ａ，２ｂによるそれぞれの顔画像に基づいて、瞳孔の３次元座標を含みステレオカメラ２ａ，２ｂの基準線に垂直な平面上におけるベクトルｒが計算されるので、対象者Ａの瞳孔位置及び角膜反射点を基に、視線の角度θをより正確に計算することができる。

また、注視点検出装置１では、２台のステレオカメラ２ａ，２ｂに対応する仮想視点平面上における視線との交点を求め、２つの交点を所定の投影仮想視点平面上に投影した後、２つの交点が投影仮想視点平面上で近くなるように関数ｆ_１，ｆ_２が補正される。こうすれば、２台のステレオカメラ２ａ，２ｂによって検出される視線の方向が近くなるように、２つの投影点間の距離を評価して関数ｆ_１，ｆ_２を補正することができる。

さらに、注視点検出装置１では、ベクトルｒから視線方向を検出するために関数ｆ_１を使用しているので、関数ｆ_１の補正処理が単純化され、即座に高精度の注視点検出が可能になる。

またさらに、注視点検出装置１では、１点較正手順が追加可能にされているので、自動較正のみによって生じる人間の眼球の構造に起因した注視点の検出ずれをさらに補正することができる。

また、注視点検出装置１では、２点較正手順も追加可能にされているので、ベクトルｒと視線の角度θとの関係が非線形性を示す場合も考慮して関数ｆ_１を関数ｆ_２を用いて補正することができ、視線の角度がカメラの基準線に対して大きくなった場合でも高精度な注視点検出が実現される。

なお、本発明は、前述した実施形態に限定されるものではない。例えば、本発明の注視点検出方法においては、角膜反射点と瞳孔中心を結ぶベクトルｒから視線の角度θを検出する為に使用する関数ｆは、様々な関数で代用することもできる。

例えば、本発明の変形例にかかる注視点検出方法においては、次のようにして関数ｆを決定しても良い。

すなわち、画像処理装置７は、上述した自動較正手順を用いて左右のステレオカメラ２ａ，２ｂによって検出された２つの注視点Ｔ’_ＶＬ，Ｔ’_ＶＲから中点Ｔ’を求める。そして、画像処理装置７は、投影仮想視点平面上の投影点Ｏ’_ＶＬ，Ｏ’_ＶＲ（図５）から中点Ｔ’に向かうベクトルＴ_１，Ｔ_２を求める。

次に、画像処理装置７は、下記式（６）；
ｋ＝ｇ_１ ^−１（｜Ｔ_１｜）／｜ｒ_１｜ …（６）
及び、下記式（７）；
ｋ＝ｇ_１ ^−１（｜Ｔ_２｜）／｜ｒ_２｜ …（７）
を用いて、それぞれの係数ｋの値を求める。ここで、｜ｒ_１｜，｜ｒ_２｜は、それぞれのカメラ２ａ，２ｂによって検出されたベクトルｒの大きさであり、ｇ_１は、各カメラの仮想視点平面から投影仮想視点平面への写像関数であり、ｇ_１ ^−１は、その逆写像関数である。このようにして、画像処理装置７は、１点の注視点の検出時に２つのｋの値を取得する。中点Ｔ’が実際の注視点位置に近いと考えられるので、このような処理を繰り返すことで、対象者Ａの注視点を変化させることにより画像処理装置７は、｜ｒ｜の大きさが様々に変化した状態での係数ｋの値を得ることができる。

その後、画像処理装置７は、角膜反射点から瞳孔中心までのベクトルｒから視線の角度θを計算するための関数が、係数ｋをベクトルｒの大きさ｜ｒ｜に応じて変化する未知関数として、下記式（８）；
θ＝ｆ_３（｜ｒ｜）＝ｋ（｜ｒ｜）×｜ｒ｜ …（８）
で与えられるものと仮定する。そして、画像処理装置７は、前述した方法で様々な｜ｒ｜の値に対して得られた係数ｋの値を用いて、非線形関数で回帰することによって、関数ｋ（｜ｒ｜）を｜ｒ｜を変数とした多項式もしくは他の適切な非線形式として求める。さらに、画像処理装置７は、式（８）を用いて、左右のステレオカメラ２ａ，２ｂを用いて２つの注視点Ｔ’_ＶＬ，Ｔ’_ＶＲを検出する。これにより、画像処理装置７は、ベクトルｒと角度θとの間の非線形関係をも考慮した状態で、表示画面上の注視点Ｑを精度良く算出することができる。

また、画像処理装置７はステレオカメラ２ａ，２ｂによって得られた画像データを基に、対象者Ａの瞳孔の３次元座標をステレオ法を用いて計測していたが、特開２００５−２３００４９号公報に記載されたように、光飛行時間型距離イメージセンサをカメラとして用いて、そのカメラから出力される距離情報を用いて瞳孔の３次元座標を算出してもよい。

また、ステレオカメラ２ａ，２ｂとしては、ＣＣＤカメラ、ＣＭＯＳカメラ等のデジタルカメラを用いてもよい。

また、注視点検出装置１には、２台のステレオカメラ２ａ，２ｂが備えられているが、３台以上のカメラと、それぞれのカメラに対応する光源とが設けられていてもよい。この場合、注視点検出装置１は、それぞれのカメラを用いて計算された視線の方向が互いに近くなるように、それぞれのカメラに対応する視線方向検出用の関数を補正するように動作してもよい。

上記の側面に係る発明では、２台以上のカメラによるそれぞれの顔画像に基づいて、対象者の瞳孔の３次元座標を検出する瞳孔座標検出ステップをさらに備え、ベクトル計算ステップでは、瞳孔の３次元座標を含みカメラの基準線に垂直な平面上におけるベクトルｒを計算する、ことが好ましい。この場合、対象者の瞳孔位置及び角膜反射点を基に、視線の角度θをより正確に計算することができる。

また、パラメータ補正ステップでは、２台以上のカメラの位置を含み基準線に垂直なそれぞれの仮想視点平面上における視線との交点を求め、交点を所定の投影仮想視点平面上に投影した後、交点が投影仮想視点平面上で近くなるように関数ｆを補正する、ことも好ましい。こうすれば、２台以上のカメラによって検出される視線の方向が近くなるように、２つの投影点間の距離を評価して関数ｆを補正することができる。

さらに、視線方向計算ステップでは、対象者の視線の角度θを、パラメータｋを用いて下記式（２）；
θ＝ｋ×｜ｒ｜ …（２）
によって計算し、パラメータ補正ステップでは、パラメータｋを補正する、ことも好ましい。このような構成を採れば、関数ｆの補正処理が単純化され、即座に高精度の注視点検出が可能になる。

またさらに、パラメータ補正ステップでは、対象者の注視点を変化させることにより、それぞれのベクトルｒを様々変化させたときのパラメータｋを算出することによって、パラメータｋをベクトルｒの大きさ｜ｒ｜の関数として求め、注視点検出ステップでは、当該関数及び式（２）を用いて視線の方向を計算する、ことも好ましい。このようにすれば、視線方向がカメラの光軸から大きくずれた場合であっても、視線方向を高精度に検出することができる。

さらにまた、注視点検出ステップでは、所定平面上の１点の規定点を対象者に注視させた際の注視点を検出し、規定点と注視点とのずれに基づいて、視線の所定平面上の交点を補正する、ことも好ましい。この場合、自動較正のみによって生じる注視点の検出ずれをさらに補正することができる。

また、注視点検出ステップでは、所定平面上の２点以上の規定点を対象者に注視させた際の注視点をそれぞれ検出し、パラメータ補正ステップでは、規定点と注視点とのずれに基づいて、関数ｆをさらに補正する、ことも好ましい。こうすれば、ベクトルｒと視線の角度θとの関係が非線形性を示す場合も考慮して関数ｆを補正することができ、より高精度な注視点検出が実現される。

さらに、ベクトル計算ステップでは、明瞳孔画像及び暗瞳孔画像の差分を取ることによって、対象者の瞳孔位置を検出する、ことも好ましい。かかる構成を採れば、対象者の瞳孔位置が容易に検出される。

本発明は、注視点検出方法及び注視点検出装置を使用用途とし、万人を対象にした場合であっても、被験者に対する負担を低減しつつ高精度の注視点検出を実現できるものである。

１…注視点検出装置、２ａ，２ｂ…ステレオカメラ、３ａ，３ｂ…光源、４…発光回路（制御回路）、５…同期信号発生器（制御回路）、６…遅延回路（制御回路）、７…画像処理装置（画像処理部）、８…ディスプレイ装置（所定平面）、９ａ，９ｂ…開口部、Ａ…対象者、Ｇ…角膜反射点、Ｐ…瞳孔中心、ＯＰ…基準線、ＰＴ…視線、Ｑ…注視点、θ…視線の角度。

Claims (8)

1. ２台以上のカメラ及び前記２台以上のカメラの開口部外側に設けられた光源を用いて、対象者の顔画像を明瞳孔画像及び暗瞳孔画像として生成する顔画像生成ステップと、
   前記２台以上のカメラによるそれぞれの顔画像に基づいて、前記カメラと瞳孔とを結ぶ基準線に垂直な平面上における前記対象者の角膜反射点から前記瞳孔までのベクトルｒを計算するベクトル計算ステップと、
   前記２台以上のカメラに対応するそれぞれの前記ベクトルｒを基に、前記２台以上のカメラの基準線それぞれに対する前記対象者の視線の角度θを、前記角度θを前記ベクトルｒと係数とを使って表現する関数ｆを用いて下記式（１）；
   θ＝ｆ（｜ｒ｜） …（１）
   によって計算する視線方向計算ステップと、
   前記２台以上のカメラに対応して計算された視線の方向が近くなるように、前記関数ｆの前記係数を補正するパラメータ補正ステップと、
   前記パラメータ補正ステップによって補正された前記関数ｆを用いて、上記式（１）を用いて前記視線の方向を計算し、注視点の検出面として予め設定された所定平面上の前記視線の方向の交点を求めることによって前記対象者の前記所定平面上の注視点を検出する注視点検出ステップと、
   を備え、
   前記パラメータ補正ステップでは、前記２台以上のカメラに対応した前記基準線に垂直なそれぞれの仮想視点平面上の前記視線の方向の交点を前記２台以上のカメラごとに求め、前記交点を所定の投影仮想視点平面上に投影した後、前記２台以上のカメラごとに求められた前記交点が投影仮想視点平面上で近くなるように前記関数ｆの前記係数を補正する、
   ことを特徴とする注視点検出方法。
2. 前記２台以上のカメラによるそれぞれの顔画像に基づいて、前記対象者の瞳孔の３次元座標を検出する瞳孔座標検出ステップをさらに備え、
   前記ベクトル計算ステップでは、前記瞳孔の３次元座標を含み前記カメラの基準線に垂直な平面上における前記ベクトルｒを計算する、
   ことを特徴とする請求項１記載の注視点検出方法。
3. 前記視線方向計算ステップでは、前記対象者の視線の角度θを、パラメータｋを用いて下記式（２）；
   θ＝ｋ×｜ｒ｜ …（２）
   によって計算し、
   前記パラメータ補正ステップでは、前記パラメータｋを補正する
   ことを特徴とする請求項１又は２に記載の注視点検出方法。
4. 前記パラメータ補正ステップでは、前記対象者の注視点を変化させることにより、それぞれの前記ベクトルｒを様々変化させたときのパラメータｋを算出することによって、パラメータｋをベクトルｒの大きさ｜ｒ｜の関数として求め、
   前記注視点検出ステップでは、当該関数及び前記式（２）を用いて前記視線の方向を計算する、
   ことを特徴とする請求項３に記載の注視点検出方法。
5. 前記注視点検出ステップでは、前記所定平面上の１点の規定点を前記対象者に注視させた際の前記注視点を検出し、前記規定点と前記注視点とのずれに基づいて、前記視線の方向の前記所定平面上の交点を補正する、
   ことを特徴とする請求項１〜４のいずれか１項に記載の注視点検出方法。
6. 前記注視点検出ステップでは、前記所定平面上の２点以上の規定点を前記対象者に注視させた際の前記注視点をそれぞれ検出し、
   前記パラメータ補正ステップでは、前記規定点と前記注視点とのずれに基づいて、前記関数ｆをさらに補正する、
   ことを特徴とする請求項１〜５のいずれか１項に記載の注視点検出方法。
7. 前記ベクトル計算ステップでは、明瞳孔画像及び暗瞳孔画像の差分を取ることによって、前記対象者の瞳孔位置を検出する、
   ことを特徴とする請求項１〜６のいずれか１項に記載の注視点検出方法。
8. 対象者の顔画像に基づいて、注視点の検出面として予め設定された所定平面上の該対象者の注視点を検出する注視点検出装置であって、
   前記対象者の顔画像を取得する２台以上のカメラと、
   前記２台以上のカメラの開口部外側に設けられた光源と、
   前記カメラ及び光源を制御する制御回路と、
   前記２台以上のカメラから出力された画像信号を処理する画像処理部とを備え、
   前記制御回路は、前記対象者の顔画像を明瞳孔画像及び暗瞳孔画像として生成するように制御し、
   前記画像処理部は、
   前記２台以上のカメラによるそれぞれの前記顔画像に基づいて、前記カメラと瞳孔とを結ぶ基準線に垂直な平面上における前記対象者の角膜反射点から前記瞳孔までのベクトルｒを計算し、
   前記２台以上のカメラに対応するそれぞれの前記ベクトルｒを基に、前記２台以上のカメラの基準線それぞれに対する前記対象者の視線の角度θを、前記角度θを前記ベクトルｒと係数とを使って表現する関数ｆを用いて下記式（１）；
   θ＝ｆ（｜ｒ｜） …（１）
   によって計算し、
   前記２台以上のカメラに対応して計算された視線の方向が近くなるように、前記関数ｆの前記係数を補正し、
   補正した前記関数ｆを用いて、上記式（１）を用いて前記視線の方向を計算し、前記視線の方向の前記所定平面上の交点を求めることによって前記対象者の前記所定平面上の注視点を検出し、
   前記画像処理部は、前記２台以上のカメラに対応した前記基準線に垂直なそれぞれの仮想視点平面上の前記視線の方向の交点を前記２台以上のカメラごとに求め、前記交点を所定の投影仮想視点平面上に投影した後、前記２台以上のカメラごとに求められた前記交点が投影仮想視点平面上で近くなるように前記関数ｆの前記係数を補正する、
   ことを特徴とする注視点検出装置。

Images