JP4654434B2

JP4654434B2 - 視線方向特定システム

Info

Publication number: JP4654434B2
Application number: JP2004338939A
Authority: JP
Inventors: 康平新井
Original assignee: NATIONAL UNIVERSITY CORPORATION SAGA UNIVERSITY
Current assignee: NATIONAL UNIVERSITY CORPORATION SAGA UNIVERSITY
Priority date: 2004-11-24
Filing date: 2004-11-24
Publication date: 2011-03-23
Anticipated expiration: 2024-11-24
Also published as: JP2006141862A

Description

本発明は、使用者が視線を向けている視線対象物における視線方向先の座標を求める視線方向特定システムに関する。

背景技術となる視線方向特定システムに類似する技術としては、特開２００３−２７１９３２号公報に開示される視線方向検出装置がある。この視線方向検出装置は、顔画像撮像手段によって撮像された顔画像から目の位置を特定し、この眼位置特定手段により特定された画像から眼球の回転角を検出するとともに、顔画像位置特定手段によって撮像された顔画像から顔の向きを検出し、これら眼球回転角と顔の向きから視線方向を検出する構成である。この視線方向検出装置によれば、視線方向検出の精度をある程度向上させることができる。
特開２００３−２７１９３２号公報

しかしながら、前記背景技術は以上のように構成され、視線方向検出の精度をある程度改善することができるものの、主に車両用の視線方向検出であってより精度が求められる分野、例えば、視線方向の検出によってキータイピングを行う分野等においては不十分であるという課題を有する。

また、前記公報を精査すると、眼球の回転角、及び、顔の向きに基づいて、視線方向のうち横座標を検出することはできるものの、縦座標を検出する手段は開示されておらず、視線の縦座標も検出できないという課題を有する。

本発明は、前記課題を解決するためになされたものであり、視線方向検出の精度をより向上させると共に、視線の横座標だけでなく縦座標を把握し、視線対象物における視線方向先の座標を求める視線方向特定システムを提供することを目的とする。

本発明は係る視線特定システムは、任意に設定可能な基準面に対して使用者が正面を向いた状態で、当該基準面で設定される複数の注視点を注しする毎に基準画像を撮像すると共に、前記使用者の視線を検出するための画像を撮像する撮像装置と、前記基準画像及び視線を検出するための画像に基づいて各撮像した画像内の両眼の目尻を各々検出する目尻検出手段と、前記基準画像及び視線を検出するための画像に基づいて各画像内の両口元（口角）を各々検出する口元検出手段と、前記基準画像及び視線を検出するための画像における黒目の輪郭である真円に近い形を極座標変換で直線に変換し、当該変換された直線成分に基づいて各画像内の黒目中心を各々検出する黒目中心検出手段と、前記目尻検出手段で検出した目尻及び前記口元検出手段で検出した口元から顔の位置及び方向を特定する顔位置方向特定手段と、前記黒目中心検出手段で検出した黒目中心から黒目方向を特定する黒目方向特定手段と、前記顔位置方向特定手段で特定した顔の位置及び方向並びに前記黒目方向特定手段で特定した黒目方向から視線方向を特定する視線方向特定手段とを備えるものである。このように本発明においては、任意に設定可能な基準面に対して使用者が正面を向いた状態で、当該基準面で設定される複数の注視点を注しする毎に基準画像を撮像すると共に、前記使用者の視線を検出するための画像を撮像する撮像装置と、前記基準画像及び視線を検出するための画像に基づいて各撮像した画像内の両眼の目尻を各々検出する目尻検出手段と、前記基準画像及び視線を検出するための画像に基づいて各画像内の両口元（口角）を各々検出する口元検出手段と、前記基準画像及び視線を検出するための画像における黒目の輪郭である真円に近い形を極座標変換で直線に変換し、当該変換された直線成分に基づいて各画像内の黒目中心を各々検出する黒目中心検出手段と、前記目尻検出手段で検出した目尻及び前記口元検出手段で検出した口元から顔の位置及び方向を特定する顔位置方向特定手段と、前記黒目中心検出手段で検出した黒目中心から黒目方向を特定する黒目方向特定手段と、前記顔位置方向特定手段で特定した顔の位置及び方向並びに前記黒目方向特定手段で特定した黒目方向から視線方向を特定する視線方向特定手段とを備えるので、最初に基準となる画像を撮像してかかる基準画像から目尻、口元及び黒目を検出し、次に基準視線方向を求める画像を撮像してかかる基準画像から目尻、口元及び黒目を検出し、両画像で検出された目尻及び口元から頭の位置及び回転を求め、黒目中心から黒目方向を求めており、すなわち、特徴点から精度高く頭の位置及び回転並びに黒目方向を取得し、これらの精度の高い頭の位置及び回転並びに黒目方向から正確な視線方向を特定することができる。
また、使用者が前記基準面に正面に向いた状態で、指定する複数の注視点を注視する毎に前記撮像装置により撮像し、撮像した画像を基準画像として用いるので、複数の基準画像から目尻検出、口元検出及び黒目中心検出を行うことができ精度が向上すると共に、黒目方向特定手段が異なる注視点の基準画像を比較することで容易に黒目方向の特定を行うことができる。
さらに、前記黒目中心検出手段は、極座標変換を用いて黒目中心を検出するので、従来のまぶたのラインを検出し黒目をさらに検出し、検出した黒目の中心を求める方法と比して、迅速且つ正確に黒目中心を求めることができる。

また、本発明に係る視線方向特定システムは必要に応じて、表示装置を備え、前記基準面が表示装置の表示面であるものである。このように本発明においては、前記基準面が表示装置の表示面であるので、使用者が表示面に表示したシンボル等を注視することで、基準となる目尻、口元及び黒目中心の位置をより正確に求めることができ、結果的に、精度高く視線方向を特定することができる。

また、本発明に係る視線方向特定システムは必要に応じて、前記表示装置にキーボードを表示し、表示したキーボードへの使用者の視線方向を検出し、視線方向先のキーを特定するものである。このように本発明においては、前記表示装置にキーボードを表示し、表示したキーボードへの使用者の視線方向を検出し、視線方向先のキーを特定するので、使用者は表示面に表示されているキーボード上のキーを注視するだけでキー入力することができ、体に障害を有する方々でも1人で入力することができる。

また、本発明に係る視線方向特定システムは必要に応じて、使用者の視線方向を検出し、前記表示装置の表示面と視線方向が交わる場合に、交点部分にカーソルを表示させるものである。このように本発明においては、使用者の視線方向を検出し、前記表示装置の表示面と視線方向が交わる場合に、交点部分にカーソルを表示させるので、継続的に使用者は自分が注視している部分と、システムが特定している注視部分とを比較することができる。

また、本発明に係る視線方向特定システムは必要に応じて、表示装置を備え、前記基準画像を表示し、さらに、基準画像から検出した目尻及び口元、基準画像から検出した黒目中心を表示した基準画像内で明示するものである。このように本発明においては、表示装置を備え、前記基準画像を表示し、さらに、基準画像から検出した目尻及び口元、基準画像から検出した黒目中心を表示した基準画像内で明示するので、間違った検出を前提として視線方向の特定を行うことを防止することができる。

また、本発明に係る視線方向特定システムは必要に応じて、前記基準画像が、可視波長の画像であるものである。このように本発明は、前記基準画像が、可視波長の画像であるので、前記撮像装置も一般的なCCDカメラを適用でき安価に構成できると共に、基準画像の情報量をおさえることができ、目尻検出手段、口元検出手段及び黒目中心検出手段が処理する情報量も少なくなるため処理の迅速化を実現することができる。従来方式においては、誤差が大きいため、他の処理要素として近赤外線画像を用いて眼球内部及び網膜の結像を使用して視線方向特定の精度を高めていた。しかしながら、本発明によれば、近赤外線画像を用いることなく、精度高い視線方向を特定することができる。

（本発明の第１の実施形態）
本発明の第１の実施形態に係る視線方向特定システムについて、図１ないし図５に基づき説明する。図１は本実施形態に係る視線方向特定システムの構成ブロック図、図２は本実施形態に係る視線方向特定システムの前に使用者が対面した概観図、図３は本実施形態に係る視線方向特定システムのディスプレイに表示されたシンボル、図４は本実施形態に係る視線方向特定システムの動作フローチャート、図５は本実施形態に係る視線方向特定システムのディスプレイに表示されたキーボードである。なお、図５のキーボードでは、各キーの数字、アルファベット等のラベルの印字は省略している（図６も同様である）。

本実施形態に係る視線方向特定システムは、撮像装置１０と、この撮像装置１０により撮像した画像内の両眼の目尻を検出する目尻検出手段２１と、同撮像した画像内の両口元（口角）を検出する口元検出手段２２と、同撮像した画像内の黒目中心を検出する黒目中心検出手段２３と、前記目尻検出手段２１で検出した目尻及び前記口元検出手段２２で検出した口元から顔の位置及び方向を特定する顔位置方向特定手段２４と、前記黒目中心検出手段２３で検出した黒目中心から黒目方向を特定する黒目方向特定手段２５と、前記顔位置方向特定手段２４で特定した顔の位置及び方向並びに前記黒目方向特定手段２５で特定した黒目方向から視線方向を特定する視線方向特定手段２６とを備え、任意に設定可能な基準面に対して使用者が正面を向いた状態で前記撮像装置１０により撮像し、この撮像した基準画像から前記目尻検出手段２１が目尻を検出し、基準画像から前記口元検出手段２２が口元を検出し、基準画像から前記黒目中心検出手段２３が黒目中心を検出し、使用者の視線を検出するための撮像を撮像装置１０が行い、この撮像した視線検出するための画像から前記目尻検出手段２１が目尻を検出し、視線検出するための画像から前記口元検出手段２２が口元を検出し、視線検出するための画像から前記黒目中心検出手段２３が黒目中心を検出し、前記顔位置方向特定手段２４が、基準画像から検出した目尻及び口元と、視線検出するための画像から検出した目尻及び口元とから、顔の位置及び方向を特定し、前記黒目方向特定手段２５が、基準画像から検出した黒目中心と、視線検出するための画像から検出した黒目中心とから、黒目方向を特定し、前記視線方向特定手段２６が、前記顔の位置及び方向並びに黒目方向から視線方向を特定する構成である。また、使用者が前記基準面に正面に向いた状態で、指定する複数の注視点を注視する毎に前記撮像装置１０により撮像し、撮像した画像を基準画像として用いる構成である。また、前記顔位置方向特定手段２４が顔の位置及び方向を特定する場合にアフィン変換を用いた構成である。また、前記黒目中心検出手段２３は、極座標変換を用いて黒目中心を検出する構成である。また、表示装置となるディスプレイ３０を備え、前記基準面がディスプレイ３０の表示面である構成である。また、前記ディスプレイ３０にキーボードを表示し、表示したキーボードへの使用者の視線方向を検出し、視線方向先のキーを特定する構成である。

前記視線方向特定システムは、図２に示すように、ハードウェアの構成が撮像装置１０であるCCDカメラ１１と、目尻検出手段２１、口元検出手段２２、黒目中心検出手段２３、顔位置方向特定手段２４、黒目方向特定手段２５及び視線方向特定手段２６が実装されたコンピュータ４０と、ディスプレイ３０からなる。視線方向のみを検出する場合には、基準画像を取得することができれば、必ずしもディスプレイ３０は必要はない。ただし、本システムからの使用者への指示等を考えれば、ディスプレイ３０の存在価値が大きい。
前記指定する注視点としては、前記ディスプレイ３０の中心（図３のa）、ディスプレイ３０の四隅（図３のb、c、d、e）とする。ここで、注視点としては、ディスプレイ３０の他の部分であってもよい。

前記黒目中心検出手段２３は、黒目中心の座標検出を行うために、まず、取得画像の輪郭画像を得るべく、縦、横方向の差分を計算して画像化する。差分が１５未満の画素は無視し、差分の８倍を画素として用いて輪郭画像を得る。８倍したときに画素の範囲を超えた画素は補正する。さらに、目の付近でラスタ走査しながら、ある点Ａを中心にして周りの画素Ｂを極座標に変換する。ただし、極座標に変換するのはＡからＢの距離（半径）が黒目の半径に近いＢだけとする。黒目中心Ｃを中心として周りの画像を極座標に変換すると、黒目の輪郭である真円に近い形が直線となる。即ち、極座標の定義より円の形に応じて直線に変換させることから、この直線成分は、直交座標における円の形の半径に応じて求められる。このことを利用して、同半径の点にある画素の和を計算し、画素の和がすべての画素の和の最大値となるなら、その中心の点Ｃを黒目の中心座標とする。

前記目尻検出手段２１は、前記同様に輪郭画像にし、目付近の緩やかな曲線を検出し、目尻の座標を求める。なお、目尻は、黒目中心検出の後に行うこともでき、黒目中心の座標が分かれば、容易にまぶたの曲線を検出することができる。また、目頭も同様に求めて目尻と同様に用いることもできる。
前記口元検出手段２２は、前記同様に輪郭画像にし、鼻付近の横方向の直線を検出し、口元の座標を求める。

前記顔位置方向特定手段２４は、基準画像から検出した目尻及び口元と、視線検出するための画像から検出した目尻及び口元とから、アフィン変換を用いて顔の位置及び方向を特定する。アフィン変換式は以下の通りとなる。なお、0x、0yは上下、左右の顔の移動、また、A、B、C、Dは拡大縮小（顔の前後の動き）、回転（ロール）、スキュー（ヨー、ピッチ）、アスペクト（縦横）比（ヨー、ピッチ）である。
すなわち、（１）式及び基準画像の両目尻、両口元の４座標（x,y）を参照し、これ等の位置が変わったときの座標（x',y'）から、顔のロール、ピッチ、ヨー角度と上下、左右、前後の位置の移動を推定することができる。なお、ある程度の許容範囲を前提に頭の大きさを仮定（黒目の位置と頭中心の相対関係）して、顔位置方向を特定することもできる。また、基準画像から仮定する頭の大きさをある程度特定することができる。

前記黒目方向特定手段２５は、基準画像から検出した黒目中心と、視線検出するための画像から検出した黒目中心とから、黒目方向を特定する。基準画像は、注視点が前記ディスプレイの中心、ディスプレイの四隅の５点であるため、５枚ある。５枚は、使用者が体位移動（体自体の移動、首の各種回転等を含む）をしていないため、目尻、口元の座標は変わっていないが、異なる注視点を注視しているため、黒目中心の位置が異なる。これらの基準画像から、どの位置に黒目があればどの方向を向いているかを特定することができる。

前記視線方向特定手段２６は、前記顔の位置及び方向並びに黒目方向から視線方向を特定する。前記黒目方向特定手段２５により黒目方向は特定をすることはでき、使用者が体位移動しなければ、基準面のどの部分を注視しているかは、黒目中心の位置で容易に分かる。しかしながら、使用者は無意識のうちに微妙に体が動いており、この動きが誤差となって、視線方向を正確に特定することができなかった。そこで、この視線方向特定手段２６は、顔位置方向特定手段２４により求められた顔位置及び方向を、黒目方向に合成して視線方向を特定している。

次に、本実施形態に係る視線方向特定システムの使用動作について図４に基づき説明する。まず、ディスプレイ３０表示制御を行う表示手段２７が、ディスプレイ３０の中央にシンボルaを表示する（ステップ１１）。表示手段２７は、かかるシンボルaを表示したまま、「ディスプレイに対して正面を向き、中央のシンボルを注視して下さい。」とのテキスト表示を行い、さらに、「今から５秒後に撮像を行います。」とのテキスト表示を行う（ステップ１２）。使用者は、基準面となるディスプレイ３０に対して正面を向く。CCDカメラ１１は、前記５秒後に撮像を行う（ステップ１３）。

次に、目尻検出手段２１がシンボルaについての基準画像から目尻の座標を検出する（ステップ２１）。同基準画像から口元検出手段が口元の座標を検出する（ステップ２２）。前記黒目中心検出手段２３が、基準画像について黒目中心を検出する（ステップ２３）。

次に、表示手段２７は、シンボルaの表示を止め、シンボルbのみの表示を行う。表示手段２７は、かかるシンボルbを表示したまま、「ディスプレイに対して正面を向き、シンボルを注視して下さい。」とのテキスト表示を行い、さらに、「今から５秒後に撮像を行います。」とのテキスト表示を行う。カメラは、前記５秒後に撮像を行う。他のシンボルc、シンボルd及びシンボルeについてもシンボルbと同様に、表示を行い、撮像を行う（ステップ３１）。これらの撮像による基準画像が５つ得られることとなる。前記黒目中心検出手段２３が、シンボルb、シンボルc、シンボルd及びシンボルeに係る画像について黒目中心を検出する（ステップ３２）。

前記表示手段２７は、シンボルeの表示を止め、キーボードを表示する。続けて、表示手段２７は、「表示しているキーボードの任意のキーを選択して注視して下さい。」とのテキスト表示を行う（ステップ４１）。さらに、「今から２秒後に撮像を行います。」とのテキスト表示を行う。カメラは、前記２秒後に撮像を行う（ステップ４２）。

次に、目尻検出手段２１がシンボルaについての基準画像から目尻の座標を検出する（ステップ５１）。同基準画像から口元検出手段２２が口元の座標を検出する（ステップ５２）。前記黒目中心検出手段１２が、基準画像について黒目中心を検出する（ステップ５３）。

顔位置方向特定手段２４がアフィン変換により顔位置（相対位置）、顔方向（ロール、ピッチ、ヨー）を求める（ステップ６１）。黒目方向特定手段２５が、標準黒目中心座標と検出黒目中心座標とから黒目方向を求める（ステップ６２）。視線方向特定手段２６が、顔位置（相対位置）、顔方向（ロール、ピッチ、ヨー）及び、黒目方向の合成により視線方向を決定する（ステップ６３）。

選択キー特定手段２８が、前記求めた視線方向のディスプレイ平面における交点を求め、かかる交点に対応するビットを決定し、かかる決定されたビットが表示しているキーを特定する（ステップ７１）。表示手段は、「このキーでいいですね？」「次に、キー入力に移行します」とのテキスト表示を行う（ステップ７２）。
ここで、確定、キー入力の終了、停止、一時停止等の操作は、手を振る、頭を振る等の身振り手振りでシステムに認識して行う。

このように本実施形態に係る視線方向特定システムによれば、撮像装置１０と、この撮像装置１０により撮像した画像内の両眼の目尻を検出する目尻検出手段２１と、同撮像した画像内の両口元（口角）を検出する口元検出手段２２と、同撮像した画像内の黒目中心を検出する黒目中心検出手段２３と、前記目尻検出手段２１で検出した目尻及び前記口元検出手段２２で検出した口元から顔の位置及び方向を特定する顔位置方向特定手段２４と、前記黒目中心検出手段２３で検出した黒目中心から黒目方向を特定する黒目方向特定手段２５と、前記顔位置方向特定手段２４で特定した顔の位置及び方向並びに前記黒目方向特定手段２５で特定した黒目方向から視線方向を特定する視線方向特定手段２６とを備えるので、使用者が撮像装置により顔を撮像することで視線方向を検出することができる。また、任意に設定可能な基準面に対して使用者が正面を向いた状態で前記撮像装置１０により撮像し、この撮像した基準画像から前記目尻検出手段２１が目尻を検出し、基準画像から前記口元検出手段２２が口元を検出し、基準画像から前記黒目中心検出手段２３が黒目中心を検出し、使用者の視線を検出するための撮像を撮像装置１０が行い、この撮像した視線検出するための画像から前記目尻検出手段２１が目尻を検出し、視線検出するための画像から前記口元検出手段２２が口元を検出し、視線検出するための画像から前記黒目中心検出手段２３が黒目中心を検出し、前記顔位置方向特定手段２４が、基準画像から検出した目尻及び口元と、視線検出するための画像から検出した目尻及び口元とから、顔の位置及び方向を特定し、前記黒目方向特定手段２５が、基準画像から検出した黒目中心と、視線検出するための画像から検出した黒目中心とから、黒目方向を特定し、前記視線方向特定手段２６が、前記顔の位置及び方向並びに黒目方向から視線方向を特定するので、最初に基準となる画像を撮像してかかる基準画像から目尻、口元及び黒目を検出し、次に基準視線方向を求める画像を撮像してかかる基準画像から目尻、口元及び黒目を検出し、両画像で検出された目尻及び口元から頭の位置及び回転を求め、黒目中心から黒目方向を求めており、すなわち、特徴点から精度高く頭の位置及び回転並びに黒目方向を取得し、これらの精度の高い頭の位置及び回転並びに黒目方向から正確な視線方向を特定することができる。また、前記顔位置方向特定手段２４が顔の位置及び方向を特定する場合にアフィン変換を用いたので、Z軸まわりの回転であるロール、Y軸まわりの回転であるピッチ、新しいZ軸まわりの回転であるヨーの回転を正確に求めることができ、すなわち、頭の微小な動きによる回転であっても検出し、黒目方向と共に視線方向を特定するので、精度高く視線方向を特定することができる。また、前記黒目中心検出手段２３は、極座標変換を用いて黒目中心を検出するので、従来のまぶたのラインを検出し黒目をさらに検出し検出した黒目の中心を求める方法と比して、迅速且つ正確に黒目中心をもとめることができる。また、このように本発明においては、前記基準面が表示装置の表示面であるので、使用者が表示面に表示したシンボル等を注視することで、基準となる目尻、口元及び黒目中心の位置をより正確に求めることができ、結果的に、精度高く視線方向を特定することができる。また、前記ディスプレイ３０にキーボードを表示し、表示したキーボードへの使用者の視線方向を検出し、視線方向先のキーを特定するので、使用者は表示面に表示されているキーボード上のキーを注視するだけでキー入力することができ、体に障害を有する方々でも1人で入力することができる。

なお、本実施形態に係る視線方向特定システムの黒目中心検出手段２３は以上のような動作を行うが、かかる動作によってうまくいかない画像があり、これを原因究明すると前記画像には多くの睫毛が撮像されていることが分かった。このような睫毛の影響を抑え、黒目中心検出の精度を向上させるために、次のことを行う。第１に目の付近の画像に上下左右４[dot]単位で平滑化を行う。この平滑化により、ノイズの影響を抑えることができる。第２に、画像の輪郭画像を得るために、縦、横方向の差分を計算して画像化し、差分が１５未満の画素は無視し、横方向の差分の８倍、縦方向の差分の４倍を足したものを画素として用いて輪郭画像を得、画素の範囲を超えた画素は補正するようにした。これにより、瞼と目との輪郭と睫毛の輪郭が中心検出に与える影響を抑えることができる。第３に、目の付近でラスタ走査しながら、前記と同様に以下のことを行う。すなわち、目の付近でラスタ走査しながら、ある点Ａを中心にして周りの画素Ｂを極座標に変換する。ただし、極座標に変換するのはＡからＢの距離（半径）が黒目の半径に近いＢだけとする。黒目中心Ｃを中心として周りの画像を極座標に変換すると、黒目の輪郭である真円に近い形が直線となる。即ち、極座標の定義より円の形に応じて直線に変換させることから、この直線成分は、直交座標における円の形の半径に応じて求められる。このことを利用して、同半径の点にある画素の和を計算し、画素の和がすべての画素の和の最大値となるなら、その中心の点Ｃを黒目の中心座標とする。

また、本実施形態に係る視線方向特定システムの黒目中心検出手段２３は差分するときの閾値を１５画素と決めていたが、これを眼の付近のコントラスト平均値の１５分の１にすることもでき、コントラスト変化により耐え得ることができる。

また、本実施形態に係る視線方向特定システムにおいては、各ステップにおいて目尻、口元、黒目中心、黒目方向、顔位置、顔方向及び視線方向を検出することができなかったことについて説明していないが、一般的な例外処理と同様に、エラー表示を行って終了処理を行うこともできる。また、エラー表示を行った場合に、通常の使用者であればエラーの意味が理解できない場合もあるため、例えば、エラーとなった画像を表示するようにすることもできる。
また、本実施形態に係る視線方向特定システムにおいては、目尻と口元を対象としているが、容易に検出できる特徴点であれば顔の他の部位であってもよい。

（本発明の第２の実施形態）
本発明の第２の実施形態に係る視線方向特定システムについて、図６に基づき説明する。図６は本実施形態に係る視線方向特定システムのディスプレイに表示されたキーボードである。
本実施形態に係る視線方向特定システムは、前記第１の実施形態に係る視線方向特定システムと同様に構成され、使用者の視線方向を検出し、前記ディスプレイの表示面と視線方向が交わる場合に、交点部分にカーソルを表示させることを異にする構成である。

本実施形態に係る視線方向特定システムは、前記第１の実施形態に係る視線方向特定システムの動作と略同じであるが、前記ステップ７１でシステムが特定したキーをステップ７２で注視したものと同一であるかを使用者に問うことなく、図６に示すように、特定したキーのみブラシングし、さらに、カーソルで指す。また、ステップ４２でカメラが所定時間後に撮像をしているが、所定間隔毎に撮像し、ステップ５１ないしステップ７１の処理を行いキーを特定することで、より迅速にキー入力を行うことができる。また、特定したキーが前記ブラシングし、そのまま注視することで確定となって次のキー入力に移行することもできる。すなわち、ブラシングした状態で注視を止めることで確定を停止し、次のキー入力に移行することができる。確定を停止する状態としては、システム側がキーの特定を誤った場合もあるが、使用者側の入力ミスを考えることができる。この実施形態では、CCDカメラ１１が所定間隔毎に撮像していることで、使用者が慣れれば、所定間隔を短くし、高速のキー入力を実現することができる。特に、人間の視点移動はトレーニングにより著しく向上することが知られている。

このように本実施形態に係る視線方向特定システムによれば、使用者の視線方向を検出し、前記表示装置の表示面と視線方向が交わる場合に、交点部分にカーソルを表示させるので、継続的に使用者は自分が注視している部分と、システムが特定している注視部分とを比較することができる。
なお、本実施形態に係る視線方向特定システムにおいては、前記カーソルをそのままGUIのカーソル操作に用いることもできる。

（本発明の第３の実施形態）
本発明の第３の実施形態に係る視線方向特定システムについて、図７に基づき説明する。図７は本実施形態に係る視線方向特定システムのディスプレイに表示された輪郭画像である。
本実施形態に係る視線方向特定システムは、前記第１の実施形態に係る視線方向特定システムと同様に構成され、ディスプレイ３０に前記基準画像を表示し、さらに、基準画像から検出した目尻及び口元、基準画像から検出した黒目中心を表示した基準画像内で明示することを異にする構成である。具体的には、図に示すように検出した目尻、口元及び黒目中心を明示する。

本実施形態に係る視線方向特定システムは、前記第１の実施形態に係る視線方向特定システムの動作と略同じであり、ステップ２３の後に、前記図に示すように検出した目尻、口元及び黒目中心を明示するフローである。

このように本実施形態に係る視線方向特定システムによれば、ディスプレイ３０を備え、前記基準画像を表示し、さらに、基準画像から検出した目尻及び口元、基準画像から検出した黒目中心を表示した基準画像内で明示するので、間違った検出を前提として視線方向の特定を行うことを防止することができる。

（本発明のその他の実施形態）
前記各実施形態に係る視線方向特定システムにおいては、黒目方向特定手段２５がより具体的には、シンボルaについての基準画像のときの眼が図８（ａ）のように目頭、黒目中心、目尻の３点で構成される三角形の各辺、角度が形成され、シンボルdについて画像のときの眼が図８（ｂ）のように目頭、黒目中心、目尻の３点で構成される三角形の各辺、角度が形成され、他のシンボルのときも形成される三角形が異なり、この三角形の各辺、角度（一部であってもよい）の比率により黒目方向を特定することができる。また、一方の目の目尻及び黒目中心と、他方の目の目頭とでできる三角形であってもよい。

前記各実施形態に係る視線方向特定システムにおいては、システムの動作は前記ステップ１１ないしステップ７２までのステップがなされるが、ステップ１１ないしステップ３２のステップ（すなわち、基準画像の取得、目尻、口元及び黒目中心の検出。）はそれぞれの使用者が初回に１回のみ行い、かかる初回の処理で得られる情報を保存し、再び同じ使用者が使用する場合には保存した情報を読み出すようにすることもでき、２回目以降の使用は使用者がステップ１１ないしステップ３２までのステップを省略することができ、実際のキー入力をすぐに行うことができる。さらに、顔認識システムを本システムとあわせて用いることにより、顔認識システムにより使用者を特定し、本システムで特定された使用者の情報を読出し、ステップ３２以降のステップに移行することで、より利便性の高いシステムを構築することができる。ここで、顔認識システムを挙げたのは、本システムでCCDカメラ１１を用いてるからであり、機器の追加がないからである。よって、顔認識システムに限らず、指紋認証システム等の他の個人特定システムを適用してもよいが、できればCCDカメラ１１を用いて撮像装置を流用することが望ましい。

また、図９に前記各実施形態に関する各種実験結果の図を示す。図９（ａ）は目周辺の輪郭画像を曲座標にしたものであり、図９（ｂ）は黒目中心を求めて実際の撮像画像に重畳させて表示したものであり、図９（ｃ）は黒目中心を求める過程で導出される画素値である。

本発明の第１の実施形態に係る視線方向特定システムの構成ブロック図である。本発明の第１の実施形態に係る視線方向特定システムの前に使用者が対面した概観図である。本発明の第１の実施形態に係る視線方向特定システムのディスプレイに表示されたシンボルである。本発明の第１の実施形態に係る実施形態に係る視線方向特定システムの動作フローチャートである。本発明の第１の実施形態に係る視線方向特定システムのディスプレイに表示されたキーボードである。本発明の第２の実施形態に係る視線方向特定システムのディスプレイに表示されたキーボードである。本発明の第３の実施形態に係る視線方向特定システムのディスプレイに表示された輪郭画像である。本発明のその他の実施形態に係る視線方向特定システムの黒目方向特定の説明図である。各実施形態に関する各種実験結果の図である。

符号の説明

１０撮像装置
１１ CCDカメラ
２１目尻検出手段
２２口元検出手段
２３黒目中心検出手段
２４顔位置方向特定手段
２５黒目方向特定手段
２６視線方向特定手段
２７表示手段
２８選択キー特定手段
３０ディスプレイ
４０コンピュータ

Claims

任意に設定可能な基準面に対して使用者が正面を向いた状態で、当該基準面で指定される複数の注視点を注視する毎に基準画像を撮像すると共に、前記使用者の視線を検出するための画像を撮像する撮像装置と、前記基準画像及び視線を検出するための画像に基づいて各撮像した画像内の両眼の目尻を各々検出する目尻検出手段と、前記基準画像及び視線を検出するための画像に基づいて各画像内の両口元（口角）を各々検出する口元検出手段と、前記基準画像及び視線を検出するための画像における前記使用者の黒目の輪郭である真円に近い形を極座標変換で直線に変換し、当該変換された直線成分に基づいて各画像内の黒目中心を各々検出する黒目中心検出手段と、前記目尻検出手段で検出した目尻及び前記口元検出手段で検出した口元から顔の位置及び方向を特定する顔位置方向特定手段と、前記黒目中心検出手段で検出した黒目中心から黒目方向を特定する黒目方向特定手段と、前記顔位置方向特定手段で特定した顔の位置及び方向並びに前記黒目方向特定手段で特定した黒目方向から視線方向を特定する視線方向特定手段とを備えることを
特徴とする視線方向特定システム。
前記請求項１の視線方向特定システムにおいて、
表示装置を備え、
前記基準面が表示装置の表示面であることを
特徴とする視線方向特定システム。
前記請求項２に記載の視線方向特定システムにおいて、
前記表示装置にキーボードを表示し、表示したキーボードへの使用者の視線方向を検出し、視線方向先のキーを特定することを
特徴とする視線方向特定システム。
前記請求項２又は３に記載の視線方向特定システムにおいて、
使用者の視線方向を検出し、前記表示装置の表示面と視線方向が交わる場合に、交点部分にカーソルを表示させることを
特徴とする視線方向特定システム。
前記請求項２なしい４のいずれか記載の視線方向特定システムにおいて、
前記基準画像を表示し、さらに、基準画像から検出した目尻及び口元、基準画像から検出した黒目中心を表示した基準画像内で明示することを
特徴とする視線方向特定システム。
前記請求項１ないし５のいずれかに記載の視線方向特定システムにおいて、
前記基準画像が、可視波長の画像であることを
特徴とする視線方向特定システム。