JP4181037B2 - 視標追跡システム - Google Patents

Description

本発明は、全景におけるユーザの注視点を監視するための視標追跡システムに関する。

知られているように、ユーザの眼窩内における眼の位置を監視して、ユーザの注視線を決定し、たとえばユーザが眼球運動によって武器などの装置を制御することができるようにし、またはユーザがテレビの画面など所定の位置を注目しているかどうかを判定し、あるいは単にユーザが目覚めた状態であるかどうかを判定することができる。

さらに、ユーザの眼の位置を監視するための多様な方法が提案されており、それには、点光源を使用して、角膜の前面上に明るい画像を生成し、追跡システムがその画像の位置を監視する、いわゆる角膜反射（ＣＲ）法が含まれる。しかし、こうした方法は、センサの動きに誘発される誤差の影響を非常に受けやすいことが分かっている。

別法として、いわゆる差動式ＣＲ／瞳孔追跡方法が開発された。この方法では、瞳孔の相対的位置および角膜反射を適したカメラで監視し、波長感応性ビームスプリッタを使用して、ユーザの視界が光源およびカメラによって妨害されないことが保証されている。こうした方法では、センサの動作の影響をあまり受けない。通常、眼は、近赤外源（または複数の源）で照明され、固体ビデオカメラがその眼の画像を取り込む。いわゆる明瞳孔撮像では、光源がカメラ軸と同軸の光ビームを生成し、瞳孔をつくる網膜から反射された光が、明るい円になって現れ、外見上の輝度はおおむね瞳孔径の四乗で増加する。いわゆる暗瞳孔撮像では、光源は、カメラ軸に対して軸線を外した光ビームを生成し、暗い瞳孔画像が生成される。実時間の画像解析を用いて、瞳孔および角膜反射を同定し、その中心を見つける。

既存の視標追跡システムでは、たいてい、カメラからビデオ出力信号に直接適用された閾値が使用されている。これによって、２値画像を生成し、その２値画像から要求された特徴を引き出す。この技法は、コンピュータの計算により迅速になされるが、画像の品質が低下し、または瞳孔のサイズが、たとえば周囲輝度に応じて変化する場合に著しい制限を受ける。また、高度な正確さをもたらすため、こうしたシステムは、複雑で時間を要する校正手順を使用する傾向がある。そのため、こうしたシステムは敏感で、使用するのが難しくなっている。

本発明の目的は、ユーザの眼の動きを監視して、全景におけるユーザの注視点を決定するための用途の広い即効性のある視標追跡システムを提供することである。

本発明の一態様により、ユーザの眼の動きを監視するための視標追跡システムを提供する。このシステムは、
（ａ）ユーザの眼を監視する眼撮像手段によって生成されたビデオデータを受信するビデオデータ入力手段、
（ｂ）閾値よりも高い輝度を有する眼撮像手段によって生成された眼画像の一部の表示を提供する適応閾値手段、および画像の前記部分を所定の妥当性基準と比較することによって有効な基準スポットを選択するスポット同定手段を含む、点光源でユーザの眼を照明することによって、ユーザの眼上に形成される基準スポットの位置を前記ビデオデータから決定するスポット位置指定手段、
（ｃ）前記ビデオデータから前記基準スポットに対するユーザの眼の瞳孔の中心位置を決定して、ユーザの注視線を決定する瞳孔位置指定手段であって、前記瞳孔位置指定手段が、前記有効基準スポット位置に対する瞳孔を含む眼撮像手段によって生成された画像の一部を含む瞳孔追跡ウィンドウを選択する選択手段、および閾値よりも高い勾配を有する前記瞳孔追跡ウィンドウ内の前記画像の部分の勾配の前記部分の選択によって瞳孔の縁部を決定する縁部決定手段を含む、瞳孔位置指定手段、および、
（ｄ）前記瞳孔およびスポット位置指定手段によって決定された前記ユーザの注視線から前記ユーザの注視点を表示する表示手段を備えている。

こうした視標追跡システムは、任意のビデオベースの視標追跡装置に適合することができる。このシステムは、暗瞳孔撮像または明瞳孔眼撮像に適しており、赤外発光ダイオード（ＩＲ ＬＥＤ）など、１つまたは複数の照明器を有する視標追跡光学系と共に使用することができる。このシステムは、インターリーブされた眼／全景画像、インターリーブされた左目／右目画像、および非インターリーブされた画像に適応することができ、不利な照明状態で画像の特徴を見つけるのに有効である。さらに、好ましい実施は、確実で使用が簡単である。

本発明の他の態様により、ユーザの眼の動きを監視するための視標追跡システムを提供する。このシステムは、
（ａ）ユーザの眼を監視する眼撮像手段、および前記ユーザの眼で観察された全景を監視する全景撮像手段によって生成されたビデオデータを受信するビデオデータ入力手段と、
（ｂ）前記ユーザの眼を点光源で照明することによって、前記ユーザの眼上に形成される少なくとも１つの基準スポットの位置を前記ビデオデータから決定するスポット位置指定手段と、
（ｃ）基準スポットに対するユーザの眼の瞳孔の位置を決定して、ユーザの注視線を決定する瞳孔位置指定手段と、
（ｄ）ビデオデータから得た全景に対する瞳孔およびスポット位置指定手段によって決定された前記ユーザの注視線から、全景における前記ユーザの注視点を表示する全景オーバーレイ手段とを備えている。

次に、本発明をさらに完全に理解するために、例としての添付の図面を参照する。

図１で、本発明による完全な視標追跡システムの通常のレイアウトを示す。このシステムには、２つのカメラ、すなわちユーザの眼の画像を取り込むためのアイカメラ２、およびユーザの眼が観察した全景の画像を取り込むための全景カメラ４が組み込まれている。このカメラ２および４からの出力信号は、同期化され、インターリービング電子モジュール６に供給され、このインターリービング電子モジュール６は、これらの出力信号から交互フィールドを選択して、標準ビデオ信号を生成し、次いで、この標準ビデオ信号をフレームグラッバーモジュール８によってフレーム毎にデジタル化し、２つの処理チャネル、すなわち１つは眼画像用、１つは全景画像用に分ける。全景画像を示すフレームグラッバーモジュール８からの出力信号は、全景オーバーレイモジュール１０に直接渡されるが、眼画像を示す出力信号は、以下のように一連の画像処理操作を受ける。

スポット位置指定モジュール１２で、点光源でユーザの眼を照明することによって、ユーザの眼上に形成される基準スポットの眼画像内の位置が決定され、瞳孔位置指定モジュール１４で、同じ画像内のユーザの眼の瞳孔の位置が決定される。非校正化モジュール１６で信号を非校正化した後、得られた画像信号を全景オーバーレイモジュール１０に供給して、全景画像内のユーザの注視点を校正する。次いで、注視点、および瞳孔とスポット位置を示す出力信号が、全景オーバーレイモジュール１０によって、眼球運動のログファイルを維持するログファイルモジュール１８に供給される。

図８で、本発明の視標追跡システムの動作の理解に役立つ一連の図を示す。図８の図表１で、眼の瞳孔の周囲の領域の画像２２を具体的に示す肉眼のディスプレイ２０を示す。この画像上に、長方形のスポット探索領域２４、瞳孔追跡領域２６、瞳孔２８、点光源による照明によって形成された基準スポット３０、および追加の点光源の反射から派生した娘スポット３２がオーバーレイされたところが図示されている。重要なことは、基準スポットは１つだけであり、娘スポットは他の光源によって生じたものであることを理解することである。この例では、基準スポットは、ビデオ信号に娘スポットより早く発生するため、娘スポットと区別される。

図２は、スポット位置指定モジュール内での眼画像信号の処理を示すブロック図である。このモジュールでは、信号は、適応閾値サブモジュール３４に供給され、適応閾値モジュール３４は、画像データ内の最高輝度のＸ画素を白に設定し、残りの画素をすべて黒に設定することによって２値画像を生成して、２値画像に一連のブロッブ（ｂｌｏｂ）を生成する。得られた画像データをブロッブ分類サブモジュール３６に供給し、そこで、ブロッブすべてを１組の基準と比較して、それらが有効なスポットであるかどうかを決定する。図８の図表２で、２値スポット表示装置４２上のスポット探索ボックス４０に対する一連のブロッブ３８を示す。このプロセスでは、各ブロッブの位置を探索し、各ブロッブの周りにボックスを画定し、各ボックスおよびボックス内のブロッブの特性および寸法を使用して、そのブロッブが有効なスポットである可能性が高いかどうかを決定する。一連のパラメータが、各ブロッブに割り当てられる。これらのパラメータは、各ブロッブのサイズ、縦横比（すなわち、比較的短い軸の比較的長い軸に対する比）、充填比（すなわちブロッブサイズのボックスサイズに対する比）、およびブロッブの位置を規定するものである。

各ブロッブの位置および幾何形状を示す出力データは、ブロッブ分類モジュール３６からスポット同定モジュール４４に渡され、そこで、以下のように各ブロッブのパラメータが１組の基準と比較される。
（ｉ）ブロッブの位置は、スポット探索領域２４内でなければならない。
（ｉｉ）ブロッブのサイズは、最大および最小サイズの限度内でなければならない。
（ｉｉｉ）ブロッブの縦横比は、この制約を満たさなければならない。
（ｉｖ）ブロッブの充填比は、この制約を満たさなければならない。

こうした基準が満たされた場合、ブロッブは、スポット同定モジュール４４によって有効スポットとして分類される。システムが２つ以上のスポットを探索するように設定された場合、複数スポット同定モジュール４６は、有効スポットのリストを示す入力をスポット同定モジュール４４から受信し、各スポットが基準スポットであると考えて、関連する娘スポットの探索を行う。娘スポットの探索では、図８の図表２で示したように、基準スポットに対して画定された一連の複数スポット探索領域４０が使用される。スポットが複数スポット探索領域内にあることが分かった場合、そのスポットは、娘スポットとみなされる。１つまたは複数の娘スポットが存在することが分かった場合は、それによって探索のシーケンスが終了する。複数スポット同定モジュール４６は、基準および娘スポットの位置およびサイズを示す出力信号を提供し、これらは、図１の瞳孔位置指定モジュール１４に渡される。各有効スポットを査定して、適切な娘スポットを有するか否かを判定する。少なくとも１つの正しい娘スポットを有することが分かった基準スポットは、正しい基準スポットとして定義される。

こうすると、有効スポットによるブロッブを、光学系および眼からの太陽光線の反射、眼／まぶたの境界での水分からの反射、および強膜（角膜ほど滑らかでなく、多くの明るいパッチを生じることが多い眼の白い領域）からの反射など、外来の光源によって生じたブロッブから区別することができる。

図３で、眼の画像、および基準と娘スポットのサイズと位置を示す入力信号を受信する瞳孔位置指定モジュール１４内のサブモジュールを示す。サブモジュール５０では、瞳孔２２および小さい周囲の縁部を含む副画像を生成することによって、瞳孔追跡領域２６を計算し、瞳孔追跡領域２６の位置を、水平および垂直のゲインおよびオフセットにより、基準スポット３０を参照して画定する。次いで、瞳孔追跡領域を示す出力信号をさらなるサブモジュール５１に提供し、そこでエッジオペレータで瞳孔の副画像の重畳を実施して、適応閾値サブモジュール５２に提供する勾配画像出力信号を生成する。適応閾値サブモジュール５２では、勾配画像内の最高輝度Ｘ画素を白に設定し、その画像内の残りの画素をすべて黒に設定して、図８の図表３で示したように、瞳孔追跡領域内に閾値勾配画像５４を生成する。理解されるように、重畳は、標準の画像処理機能である。この場合、重畳により、画像のエッジ（高輝度勾配の領域）が強調表示される。さらに具体的には、２つの画像、すなわち瞳孔追跡領域およびエッジオペレータが含まれる。このエッジオペレータは、実際は２つの小さい画像であり、１つは、水平エッジを強調し、もう１つは垂直エッジを強調するように設計されている。この２つの重畳の結果を組み合わせて、勾配画像（元の瞳孔追跡領域の高勾配のエッジ領域だけが示される画像）を生成する。

次いで、スポットのサイズおよび位置を使用して、図８の図表３の５６で示したように、複数スポットマスクサブモジュール５８で、閾値勾配画像５４からのスポットをマスクし、スポットが除去された２値勾配画像を示す出力信号を、トライアド（３つ組）選択サブモジュール６０に提供し、そこで画像内の残りの白画素のうちの３つを無作為に選択する。次いで、選択した画素を使用して、３つの画素すべてを通過する円の中心を決定し、計算サブモジュール６２で、こうした円の中心および半径を計算する。アキュムレータサブモジュール６４で、この円の中心および半径のｘおよびｙ座標をそれぞれ別のアキュムレータに加える。次いで、こうしたプロセスを、所定数のトライアド（３つ組）が処理されるまで繰り返す。次いで、各アキュムレータのピークを別のアキュムレータサブモジュール６６で計算し、これらの値を使用して瞳孔の中心および瞳孔の半径のｘおよびｙ座標を決定する。

次いで、各スポットの位置とサイズ、および瞳孔の半径と位置を示す情報を、非校正化後に、全景オーバーレイモジュール１０に供給して、図８の図表４で示したように、注視点６８の前景画像７０上へのオーバーレイを提供する。注視点、および瞳孔とスポットの位置を示す出力信号を提供するため、このデータをログファイルモジュール１８に提供する。このオーバーレイプロセスでは、全景オーバーレイモジュールは、カーソルを生成し、このカーソルは、ゲインおよびオフセット係数によって調整した眼画像内の基準スポットの位置と中心、および瞳孔の中心の、水平と垂直の位置の差によって決定した位置にある全景画像上に重畳される。こうしたゲインおよびオフセット係数は、前の校正プロセスによって決定され、そのプロセスでは、ユーザが、全景画像内の指定の物体を注視して、全景画像における注視方向が、眼画像内の基準スポットおよび瞳孔の中心の水平および垂直の位置の差に関連するようになされる。

上記の記載は、カメラ２および４から得たインターリーブされた眼および全景画像が、実際の動作中に、すなわち画像がカメラに取り込まれると同時に処理される、視標追跡システムを参照して提供したものであるが、理解されるように、本発明によるこうした追跡システムは、図４ａおよび４ｂで概略的に示したように、後処理を用いて実施することもできる。図４ａで示したように、インターフェース電子モジュール６によって出力したインターリーブされた眼／全景ビデオ信号は、後の解析のためにビデオレコーダ７０によってビデオテープ上に記録される。その後、記録された眼／全景ビデオ信号は、ビデオプレーヤ７２によって再生することができ、ビデオプレーヤ７２は、図４ｂで示したように、その出力信号を処理システムのフレームグラッバーモジュール８に提供する。

図５で作業端末インターフェースツールとして使用するための本発明による視標追跡システムを示す。この実施形態では、全景画像を示す出力信号は、全景のマーカ、たとえば画像内の赤外発光ダイオードの位置を突き止めるために、フレームグラッバーモジュール８によってモジュール７４に供給される。次いで、全景のマーカの位置を非校正化プロセスで使用して、作業端末モニタ７６上で注視点を計算する。作業端末からの出力信号を、こうした注視点を記憶するログファイル７８に供給し、フィードバック８０を作業端末に提供することができる。このプロセスでは、全景カメラの視野およびマーカの幾何形状に依存する係数を使用する１組の変換方程式を解くことによって、全景画像を解析して、マーカスポットを見つけ、全景カメラの位置および方向を計算する。この係数は、全景カメラが知られた位置および方向で保持され、スポットの位置が全景カメラの画像内で決定される、前の校正によって決定される。作業端末モニタ上の眼の注視点は、全景カメラに対する視線方向に関するデータと、作業端末に対する全景カメラに関するデータの組合せによって決定される。この情報は、フィードバック８０を作業端末に提供して、作業端末が、被験者がモニタのどこを見ているか、たとえばマウスポインタおよび／またはアイコン選択などの眼の制御をどれが可能にするかを知っているようにする。

図６で、上記に記載の本発明による視標追跡システムの変形形態を示す。この図では、ランダムアクセスアイカメラ８２を使用して、眼の画像を示す信号をフレームグラッバーモジュール８に供給し、ウィンドウコントローラモジュール８４を使用して、スポットおよび瞳孔位置指定モジュール１２および１４によって提供された瞳孔およびスポットの位置を示す信号に依存するカメラ８２を制御する。ＣＭＯＳランダムアクセスセンサを使用する動的ウィンドウ操作を含むこの制御方法は、システムの正確さ、信頼性、および更新レートを向上させるものである。ＣＭＯＳランダムアクセスセンサの使用は、画像全体の各フレームの読み出しを要求せずに、選択した画素をセンサによって読み出すことができる点で有利である。したがって、画像内に小さい解析対象領域しか存在しない場合は、この領域だけを読み出し、これによって、処理すべき画素の数を大幅に減少し、画像の他の領域からのアーティファクトを取り除くことができる。また、こうしたセンサは、非常に大きいダイナミックレンジを有し、明るい太陽光線によって生じるフレアおよび彩度効果を最小限にするものであるが、これは戸外での確実な視標追跡に特に重要である。

図７で、すでに記載した視標追跡システムのさらなる変形形態を示す。この図では、システムは、ヘルメットマウントディスプレイ（ＨＭＤ）など、ヘッドマウントディスプレイと一体型である。非校正モジュール１６からの出力信号は、ディスプレイ制御システムにフィードバックされて、測定した視線方向を示すカーソルをユーザに表示し、視線方向データを独立したヘルメット追跡システムからの測定値と組み合わせる。こうしたデータは、ディスプレイに接続された他のサブシステム、たとえば戦闘機のミサイルシーカーヘッドの照準方向の制御を行う入力情報として使用される。

ＨＭＤの場合、アイカメラは通常、ヘルメットマウント型であり、関連する電子装置の一部がヘルメットに搭載され、残りの電子装置は、飛行機に搭載される。こうしたシステムは、全景カメラを必要としないが、全景カメラを使用する場合は、ヘルメットに搭載される。こうしたシステムでは、全景カメラを不要にすることができ、代わりに、ヘッドの位置と方向、および飛行機の位置の知識に基づいてＨＭＤに対してアイカメラを校正して、攻撃目標指示が可能になる。それによって、ユーザは、システムがユーザが見ているとみなした位置の表示をＨＭＤで見、かつ／またはユーザの眼で指示した目標を強調することができるようになる。単純にユーザの頭部に対してではなく、全景自体に対して指示を与えるべきところでは、理解されるように、システムはユーザの頭部の動きの追跡を提供しなければならない。

上記に記載の本発明による視標追跡システムは、多くの独特の利益を提供する。具体的には、このアルゴリズムは、不利な照明状態で画像の特徴を見つける際に特に有効である。さらに、このシステムは、迅速かつ簡単な設定および校正を可能にし、約６０ＨＺのフレーム率を有する。また、このシステムは、実際どのビデオベースの視標追跡構成にも適合可能である。

こうした視標追跡システムは、軍事的攻撃目標指示、軍事および民事訓練、記号的設計、および、たとえば注視点による画面上の項目の選択など人間／コンピュータインターフェースを含む、広範囲の適用分野に適用可能であることが企図されている。他の可能な適用分野は、（広告が視聴者の視線を捉えているかどうかを判定するための）広告、（瞳孔のサイズおよび眼球運動のタイプによってストレスレベルを判定するための）ユーザの状態の監視、および障害者によるコミュニケーションの助けなどである。

本発明による視標追跡システムを示すブロック図である。 図１の視標追跡システムで使用するための、好ましいスポットおよび瞳孔位置指定構成を示すブロック図である。 図１の視標追跡システムで使用するための、好ましいスポットおよび瞳孔位置指定構成を示すブロック図である。 追跡された画像が、画像の実際の追跡のしばらく後に実行されるさらなる操作で処理されるように構成された、図１の視標追跡システムの実施を示すブロック図である。 追跡された画像が、画像の実際の追跡のしばらく後に実行されるさらなる操作で処理されるように構成された、図１の視標追跡システムの実施を示すブロック図である。 作業端末インターフェースツールとしての、図１の視標追跡の使用を示すブロック図である。 ランダムアクセス撮像を使用した、図１の視標追跡の変更形態を示すブロック図である。 ヘルメットマウントディスプレイ（ＨＭＤ）を備えた、図１の視標追跡の使用を示すブロック図である。 一連の説明図である。

Claims (17)

1. （ａ）ユーザの眼を監視する眼撮像手段によって生成されたビデオデータを受信するビデオデータ入力手段と、
   （ｂ）閾値よりも高い輝度を有する前記眼撮像手段によって生成された画像の部分の表示を提供する適応閾値手段、および前記画像の前記部分を所定の妥当性基準と比較することによって有効な基準スポットを選択するスポット同定手段を含む、点光源で前記ユーザの眼を照明することによって、前記ユーザの眼上に形成される基準スポットの位置を前記ビデオデータから決定するスポット位置指定手段と、
   （ｃ）前記ビデオデータから、前記基準スポットに対する前記ユーザの眼の瞳孔の中心位置を決定して、前記ユーザの注視線を決定する瞳孔位置指定手段であって、前記瞳孔位置指定手段が、前記有効基準スポットの位置に対する前記瞳孔を含む前記眼撮像手段によって生成された前記画像の一部を含む瞳孔追跡ウィンドウを選択する選択手段、閾値よりも大きい勾配を有する前記瞳孔追跡ウィンドウ内の前記画像部分の勾配の前記部分の選択によって瞳孔の縁部を決定する縁部決定手段、および瞳孔の縁部について選択された点を参照することにより瞳孔の中心の位置を決定する中心決定手段を含み、前記該中心決定手段が、瞳孔画像データの複数の画素の中から、３つの閾値を超える画素を実質的に無作為に選択して、さらなる処理のための３つ組を形成する３つ組選択手段、および前記選択した画素の各々を通過する仮想円の中心および半径を決定する３つ組処理手段を含む、瞳孔位置指定手段と、
   （ｄ）前記瞳孔およびスポット位置指定手段によって決定した前記ユーザの注視線から前記ユーザの注視点を表示する表示手段とを備えるユーザの眼運動を監視するための視標追跡システム。
2. 前記ビデオデータ入力手段が、前記ユーザの眼で観察された全景を監視する全景撮像手段によって生成されるビデオデータを追加として受信するように構成され、前記表示手段が、前記ビデオデータから得た前記全景の画像に対する前記ユーザの注視点を表示するように構成された請求項１に記載の追跡システム。
3. 前記適応閾値手段が、眼画像データの複数の画素を設定して、前記閾値よりも高い輝度を有する画素を所定の高レベルに設定し、前記閾値よりも低い輝度を有する画素を所定の低レベルに設定するように構成された請求項１または２に記載の追跡システム。
4. 前記スポット位置指定手段が、前記適応閾値手段によって示された前記画像の部分の位置および幾何形状を決定するブロッブ分類手段を含む請求項１、２または３に記載の追跡システム。
5. 前記スポット同定手段が、前記ブロッブ分類手段の出力を所定の妥当性基準と比較することによって、有効スポットを選択するように構成された請求項４に記載の追跡システム。
6. 前記スポット位置指定手段が、前記スポット同定手段によって表示された各基準スポットに対して画定された場所にある探索領域内でさらなる有効スポットの存在を探索することによって、基準スポットを同定する複数スポット分類手段を含む請求項１から５のいずれかに記載の追跡システム。
7. 前記縁部決定手段が、エッジオペレータで前記瞳孔追跡ウィンドウ内の前記画像部分を重畳することによって瞳孔の縁部の勾配画像を提供する請求項１から６のいずれかに記載の追跡システム。
8. 前記適応閾値手段が、閾値よりも高い輝度を有する前記眼撮像手段によって生成された前記瞳孔の副画像の前記部分の表示を提供するように構成された請求項１から７のいずれかに記載の追跡システム。
9. 前記瞳孔位置指定手段が、前記閾値よりも高い輝度を有する前記瞳孔追跡ウィンドウ内の前記画像部分の勾配の前記部分を選択する前に、前記基準スポットおよび関連するスポットすべての影響を取り除いた出力を提供するマスク手段を含む請求項１から８のいずれかに記載の追跡システム。
10. 前記中心決定手段がさらに、前記３つ組選択手段によって連続して選択された複数の３つ組のための前記３つ組処理手段によって決定された前記中心および半径の複数組の値を累算する累算手段を含む請求項１に記載の追跡システム。
11. 前記中心決定手段がさらに、前記累算手段によって累算された複数組の値から、前記瞳孔の前記中心および半径の値を決定するピーク決定手段を含む請求項１０に記載の追跡システム。
12. 前記全景における前記ユーザの注視点の連続値のログファイルを維持するログファイル手段をさらに含む請求項１から１１のいずれかに記載の追跡システム。
13. 前記ユーザの眼を監視する眼撮像手段をさらに含む請求項１から１２のいずれかに記載の追跡システム。
14. 前記ユーザの眼によって観察された前記全景を監視する全景撮像手段をさらに含む請求項１から１３のいずれかに記載の追跡システム。
15. 前記眼撮像手段および全景撮像手段によって生成されたビデオデータを記録するビデオデータ記録手段をさらに含む請求項１から１４のいずれかに記載の追跡システム。
16. 前記眼撮像手段および全景撮像手段によって生成されたビデオデータを再生するビデオデータ再生手段をさらに含む請求項１から１５のいずれかに記載の追跡システム。
17. （ａ）ユーザの眼によって観察される全景を監視するように配置された全景撮像手段と、
    （ｂ）ビデオデータから得られた全景の画像に対する前記瞳孔およびスポット位置指定手段によって決定された前記ユーザの注視線から、前記全景における前記ユーザの注視点を表示する全景オーバーレイ手段とを備える請求項１に記載の追跡システム。

Images