JP5689850B2 - 映像解析装置、映像解析方法、および注視点表示システム - Google Patents
映像解析装置、映像解析方法、および注視点表示システム Download PDFInfo
- Publication number
- JP5689850B2 JP5689850B2 JP2012120124A JP2012120124A JP5689850B2 JP 5689850 B2 JP5689850 B2 JP 5689850B2 JP 2012120124 A JP2012120124 A JP 2012120124A JP 2012120124 A JP2012120124 A JP 2012120124A JP 5689850 B2 JP5689850 B2 JP 5689850B2
- Authority
- JP
- Japan
- Prior art keywords
- user
- movement
- head
- light source
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
- G06F1/26—Power supply means, e.g. regulation thereof
- G06F1/32—Means for saving power
- G06F1/3203—Power management, i.e. event-based initiation of a power-saving mode
- G06F1/3206—Monitoring of events, devices or parameters that trigger a change in power modality
- G06F1/3209—Monitoring remote activity, e.g. over telephone lines or network connections
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/012—Head tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
- A63F2300/10—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
- A63F2300/1087—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals comprising photodetecting means, e.g. a camera
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
- A63F2300/60—Methods for processing data by generating or executing the game program
- A63F2300/6045—Methods for processing data by generating or executing the game program for mapping control signals received from the input arrangement into game commands
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10048—Infrared image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30241—Trajectory
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Ophthalmology & Optometry (AREA)
- Health & Medical Sciences (AREA)
- Eye Examination Apparatus (AREA)
- Position Input By Displaying (AREA)
Description
I.はじめに
注視点の推定技術は長く研究されており、コンピュータへの情報入力や、ウェブブラウザ上での人の注目対象の観察など、コンピュータとの対話に関わる多くの分野に応用されている。ほとんどすべての状況において、最も重大な関心事の1つが高精度な注視点推定である。この目的を達成するため、角膜の湾曲中心と瞳孔中心とを光屈折を考慮して正確に計測することが行わることもある。この方法は非常に精度が高いが、比較的高い計算能力を必要とするため遅延が生じる。ゲームにおいては、入力データの遅延を最小限にすることが最も重要な要件の1つとなるため、このような複雑な画像処理は可能な限り避けるべきである。
注視点の推定においては、角膜表面の光源反射を利用するのが一般的である。図1は、角膜反射を用いた視線追跡システムの系統図である。この図では、2つの赤外線光源が示されており、1つは画面上にあり、もう1つは頭部に搭載されている。多くの研究では、これらのいずれか1つが注視点推定に使用される。図1の画像に見られるように、画面上の光源の光力が比較的強く(3つの光源が2列に並んだ構成)、非常に出力の低い光源が鼻の先端のすぐ近くに置かれている。前者の選択の理由は、2種類の光源の反射を効果的に区別するためで、後者の選択の理由は目への悪影響を考慮しているからである。さらに、より高い解像度で目の画像を得るために、カメラを頭部に搭載している。標準的なUSB2.0カメラを用い、赤外線遮断シートを取り除くことで、効率的に赤外線反射を検出できるように構成されている。
Pgaze=M・Pcor (1)
視線推定で最もシンプルな手法の1つはPcorをPgazeにマッピングすることであるが、これは頭の動きがマッピングに敏感に影響することがよく知られている。
Pgaze=Mscr・Pcor_scr (2)
Pgaze=Mhm・Pcor_hm (3)
Pcorと瞳孔中心の相対位置の検出とPgazeへのマッピングは、頭の動きに比較的左右されにくいことが知られている。図2には、手法B−1およびB−2における、画面上の各Pgazeに対応するPcorと瞳孔中心の相対位置の座標を示す。ここで、手法B−1は画面上の光源のPcorを用いたケースを示している。ここで、マッピング変換は以下の式(4)で表すことがでる。
Pgaze=Mscr_pup・(Pcor_scr−Cpup) (4)
Pgaze=Mhm_pup・(Pcor_hm−Cpup) (5)
提案技術は、Pcor_scrとPcor_hmとの間の相対位置が頭の動きを反映するという特性を利用する。さらに、手法Aと組み合わせることで、頭が動く状況での新たな視線推定技術を提示する。重要なポイントは、すべての手順で瞳孔中心の検出が不要だということであり、これにより、必要となる計算能力を比較的低く抑えることができる。
図3は、手法Cにおける、Pcor_scrとPcor_hmの相対位置の座標を示している。ここで、マッピング変換は以下の式(6)で表すことがでる。
式(6)において、Mscr_hmはキャリブレーション済みのマッピング変換行列を表す。これらの結果が示すのは、Pcor_scr−Pcor_hmは純粋に頭の動きを反映し、視線の動きの影響はほぼ排除されるということである。シミュレーションおよび実験結果によると、頭部搭載カメラ位置と頭部搭載光源位置の関係が若干結果に影響するため、それらの配置に多少の調整を要する。
手法Aは、注視点を推定する最もシンプルな技術であるが、頭の動きの影響は著しく大きくなる。一方で、手法Cは純粋に頭の動きを反映し、視線の動きの影響はほぼ排除される。提案技術は、手法Cを用いることで手法Aにおける頭の動きの影響を排除するという考えに基づく。手法A−2を用いると、手法Dは以下の式(7)で表される。
Pgaze=Mhm・Pcor_hm+Mscr_hm・(Pcor_scr−Pcor_hm) (7)
A.実験システム
図4は、上述した各手法の性能を比較するための実験システムを示す。図4に示す例は初期の試作型であるため、外見は手作りであるが、十分に動作する。図4に示す例では、2台のカメラが左右それぞれの目の前に置かれるが、そのうちの1台だけを評価で使用する。カメラで撮影した画像のサイズはVGA(Video Graphics Array)で、撮影速度はおよそ10fpsである。
キャリブレーションプロセスは2つのフェーズで構成される。1つ目は手法A−2向けであり、2つ目が手法C向けのものである。図5は、各フェーズのキャリブレーションプロセスとキャリブレーション結果を示す。手法A−2のキャリブレーションプロセスでは、図5の「手法A−2向けプロセス」に示すように、被験者は9つのマーカを連続して注視する。この手順では、被験者は頭を動かさずに視線だけを動かすことが重要なポイントである。測定されたPcor_hmの結果の例を、図5の「手法A−2の結果」に示す。この図において、撮影される原寸カメラ画像が640×480ピクセルという条件で、各軸の単位がカメラのピクセルになる。このステップの後、手法C向けのキャリブレーションプロセスを開始する。マーカの動きは前回の順序と同様であり、さらに中心マーカと手法A−2の推定注視点が手順全体を通じて示される。被験者は、9つのマーカを1つずつ注視し、推定注視点のマーカが中心マーカにそれぞれ重なるよう頭を動かす。測定されたPcor_scr−Pcor_hmの結果の例を、図5の「手法Cの結果」に示す。この結果は、頭の動きが比較的正確に測定できることを示している。さらに、手法Cのキャリブレーションプロセス全体を通じてMhm・Pcor_hm=0が維持されるため、式(7)で表されるように、手法A−2と手法Cの線形結合によって手法Dが実現できる。
ここで提示している評価は、注視点推定の正確性に焦点を当てるのではなく、ターゲットに容易に到達できることを重視しているため、本実施の形態に係るアルゴリズムは正確な視線推定法を実行するよう調整されてはいない。マッピングアルゴリズムはシンプルな線形変換で、最初のプロセスにおけるガウスフィルタ以外に高度なフィルタは使用しない。このような状況において、図6は被験者が画面上の9つのマーカを追跡する場合の推定注視点を示している。この実験では、被験者は頭を動かすことを制限されていないため、頭の動きの影響が直接観察される。この図において、パネルの原寸が1920×1080で、実験アプリケーションのウィンドウサイズが1300×940(幅20cm高さ14cmのサイズに相当)という条件で、各軸の単位がカメラのピクセルとなる。結果、手法B−2および手法Dでは、頭が動いた場合でも推定注視点は9つのマーカの点の周りに集まっている。
注視点推定が正確にできるとカーソル移動が素早く行えるようになるが、ターゲットに到達する能力も重要である。図7は、被験者が10個の固定されたマーカにカーソルを1つずつ重ねる場合の軌跡を示している。手法A−2のケースでは、まずカーソルが素早く動き、その後、頭の動きによってカーソルを置く手順が見られる。マーカを通り過ぎてしまうこともあるが、カーソルは確実にマーカに到達する。実際、手法A−2では頭の動きの影響が明確であるため、被験者にかかるストレスは大きくない。手法B−2のケースでは、カーソルが非常に迅速に動き、ほとんどの場合でカーソルを置く手順を必要としない。しかし、カーソルがマーカを外れた場合、被験者はカーソルをマーカに向けて少しも動かすことができないストレスを感じることになる。手法Cのケースでは、状況はかなり異なる。カーソルは頭の動きによってのみ制御されるため、カーソルは比較的ゆっくり近づく。しかし、確実にマーカに到達する。手法Dのケースでは、カーソルが完璧に動き、マーカに重ねられる。実際、手法Dでは頭の動きの影響が明確で直感的であるため、被験者は操作しやすい。
各手法の、ゲームの使用事例における性能を評価するため、図8に示すゲームのようなアプリケーションを用いる。アプリケーションAでは、10個のマーカが連続的に表示され、これらは動かない。被験者は推定注視点を表すカーソルを制御して、マーカに重ねる。重なるまでの時間がカウントされ、2秒が経過するとマーカは消え、別のマーカが現れる。同時に複数のマーカを表示することはしないため、被験者は1つのマーカに集中し、これを逐次処理する。マーカは、半径40ピクセル(6mm)の円で示され、推定注視点を表すカーソルは半径20ピクセル(3mm)の円で示される。それぞれの円の端が接触する、つまりこれらの中心間の距離が60ピクセル(9mm)未満になると、重なったと認識する。アプリケーションBでは、マーカの外見条件はアプリケーションAと同様であるが、さらにマーカは秒速約200ピクセル(30mm/秒)で動く。マーカの位置と方向はランダムに決められ、図8はその一例を示す。10個すべてのマーカが消えるまでにかかった時間を測定、評価する。
手法A−2では、被験者は頭を固定して目だけを動かすようにする。さらに、手法Aではカーソルが頭の動きと反対の方向に移動するという特性があるため、カーソルを右に動かすには、被験者は頭を左に動かす。カーソルがマーカから外れると、被験者はマーカと反対の方向に頭を動かすことになるが、動くマーカを追跡する際に被験者は混乱しがちである。
以上、視線推定のゲームへの応用について考察し、ゲームのようなアプリケーションを用いることで2つの従来手法と2つの提案手法の性能比較を記載した。そして、カーソルを確実にターゲットに移動させることに焦点を当て、注視点制御の性能を提示した。この結果、提案手法は、瞳孔中心を計算することなく従来手法と同様の性能を実現でき、計算コストをかけず、ストレスのない直感的操作で注視点制御が得られた。
実施の形態
図11は、実施の形態に係る注視点表示システム100の全体構成を模式的に示す図である。実施の形態に係る注視点表示システム100は、ヘッドセット200、映像解析装置300、映像提示部500、および映像提示部500に取り付けられた第2光源400を含む。
上記では、第2光源400は映像提示部500に取り付けられていることを前提に説明したが、第2光源400は必ずしも映像提示部500の近くに設置する必要はない。第2光源400はユーザの頭部の動きとは独立して、ユーザの眼球に赤外光線を照射可能な位置に設置されていればよい。一方で、映像提示部500はユーザの観察対象である。したがって第2光源400の照射光をユーザの目に照射しやすくなるために、第2光源400と映像提示部500との距離は近いほど好ましい。
瞳孔中心Cpupを求めるための計算コストを許容する場合、上述の前提技術における手法B−2と手法Cとを組み合わせて注視点Pgazeを推定してもよい。この場合、マッピング変換は以下の式(8)で表すことがでる。
Pgaze=Mhm_pup・(Pcor_hm−Cpup)+Mscr_mh・(Pcor_scr−Pcor_hm) (8)
上述した手法をさらに一般化して、第1光源220の反射光の位置Pcor_hmと、第2光源400の反射光の位置Pcor_scrと、瞳孔中心Cpupとの3点から注視点Pgazeを推定する問題に帰着することもできる。この場合、マッピング変換は以下の式(9)で表すことがでる。
Pgaze=M1・Pcor_hm+M2・Pcor_scr+M3・Cpup (9)
ここでM1,M2,M3は、それぞれ一般化された変換行列である。M1,M2,M3のうちいずれか1つあるいは2つがゼロ行列となる場合もある。
Claims (9)
- ユーザの頭部の動きと連動して移動する第1光源と、ユーザが観察対象とする映像提示部に対して相対位置が不変な第2光源とのふたつの光源から、ユーザのいずれか一方の眼球に対して照射された光のそれぞれの反射光を含む領域を、ユーザの頭部の動きと連動して移動する撮像素子が撮像した映像を取得する映像取得部と、
前記映像取得部が取得した映像中における前記第1光源の反射光に対する前記第2光源の反射光の相対位置をもとに、ユーザの頭部の動きを推定する頭部移動推定部とを含むことを特徴とする映像解析装置。 - 前記撮像素子が撮像する映像中における前記第1光源の反射光の絶対位置をもとに、前記撮像素子が撮像する眼球の動きを推定する眼球移動推定部と、
推定したユーザの頭部の動きと眼球の動きとをもとに、ユーザの注視位置を取得する注視位置取得部とをさらに含むことを特徴とする請求項1に記載の映像解析装置。 - 前記眼球移動推定部は、
前記撮像素子が撮像する映像中における前記第1光源の反射光の位置座標を取得する第1位置座標取得部と、
前記第1位置座標取得部が取得した位置座標に所定の第1変換行列を積算してユーザが観察対象とする映像提示部の表示領域における位置座標に変換する第1変換部とを含み、
前記第1変換部が用いる第1変換行列は、ユーザが頭部の動きを固定して眼球を動かすことによって映像提示部の表示領域中の注視位置を移動させたときの、前記第1光源の反射光の位置座標と当該注視位置の表示領域における絶対位置座標とをもとに予め算出された行列であることを特徴とする請求項2に記載の映像解析装置。 - 前記頭部移動推定部は、
前記撮像素子が撮像する映像中における前記第2光源の反射光の位置座標を取得する第2位置座標取得部と、
前記第1位置座標取得部が取得した位置座標を始点とし、前記第2位置座標取得部が取得した位置座標を終点とする位置ベクトルを取得する位置ベクトル取得部と、
前記位置ベクトル取得部が取得した位置ベクトルを、ユーザが観察対象とする映像提示部の表示領域における位置座標に変換する第2変換部とを含み、
前記第2変換部は、ユーザが眼球の動きを固定して頭部を動かすことによって映像提示部の表示領域中の注視位置を移動させたときの前記位置ベクトル取得部が取得した位置ベクトルと、当該注視位置の表示領域における絶対位置座標とをもとに予め算出された第2変換行列を用いて前記位置ベクトルを映像提示部の表示領域における位置座標に変換することを特徴とする請求項3に記載の映像解析装置。 - 前記注視位置取得部は、前記第1変換部が変換した位置座標と前記第2変換部が変換した位置座標とを加算して、ユーザの注視位置を取得することを特徴とする請求項4に記載の映像解析装置。
- 前記第2光源は、ユーザが観察対象とする映像提示部に取り付けられていることを特徴とする請求項1から5のいずれかに記載の映像解析装置。
- ユーザの頭部の動きと連動して移動する第1光源と、ユーザが観察対象とする映像提示部に対して相対位置が不変な第2光源とのふたつの光源から、ユーザのいずれか一方の眼球に対して照射された光のそれぞれの反射光を含む領域を、ユーザの頭部の動きと連動して移動する撮像素子が撮像した映像を取得し、当該映像中におけるふたつの反射光の相対位置をもとにユーザの頭部の動きを推定することをプロセッサに実行させることを特徴とする映像解析方法。
- ユーザの頭部の動きと連動して移動する第1光源とユーザが観察対象とする映像提示部に対して相対位置が不変な第2光源とのふたつの光源から、ユーザのいずれか一方の眼球に対して照射された光のそれぞれの反射光を含む領域を、ユーザの頭部の動きと連動して移動する撮像素子が撮像した映像を取得する機能と、
取得した映像中におけるふたつの反射光の相対位置を、ユーザの頭部の動きベクトルの推定値に変換する機能とをコンピュータに実現させることを特徴とするプログラム。 - ユーザのいずれか一方の眼球を撮像する撮像素子であって、ユーザの頭部の動きと連動して移動する頭部装着型撮像素子と、
前記撮像素子が撮像する眼球に光を照射する光源であって、前記撮像素子の動きと連動して移動する第1光源と、
ユーザが観察対象とする映像提示部と、
前記撮像素子が撮像する眼球に光を照射する光源であって、前記映像提示部に取り付けられた第2光源と、
前記撮像素子が撮像する映像中における前記第1光源の反射光に対する前記第2光源の反射光の相対位置をもとに、ユーザの頭部の動きを推定する頭部移動推定部と、
前記撮像素子が撮像する映像中における前記第1光源の反射光の絶対位置をもとに、前記撮像素子が撮像する眼球の動きを推定する眼球移動推定部と、
推定したユーザの頭部の動きと眼球の動きとをもとに、ユーザの注視位置を取得する注視位置取得部と、
前記注視位置取得部が取得した注視位置と対応する前記映像提示部の表示領域における位置に表示させるカーソル画像を生成するカーソル生成部とを含むことを特徴とする注視点表示システム。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012120124A JP5689850B2 (ja) | 2012-05-25 | 2012-05-25 | 映像解析装置、映像解析方法、および注視点表示システム |
US14/400,979 US9727130B2 (en) | 2012-05-25 | 2013-04-11 | Video analysis device, video analysis method, and point-of-gaze display system |
PCT/JP2013/002483 WO2013175701A1 (ja) | 2012-05-25 | 2013-04-11 | 映像解析装置、映像解析方法、および注視点表示システム |
CN201380025947.1A CN104302226B (zh) | 2012-05-25 | 2013-04-11 | 视频分析设备、视频分析方法和注视点显示系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012120124A JP5689850B2 (ja) | 2012-05-25 | 2012-05-25 | 映像解析装置、映像解析方法、および注視点表示システム |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2013244212A JP2013244212A (ja) | 2013-12-09 |
JP2013244212A5 JP2013244212A5 (ja) | 2014-07-03 |
JP5689850B2 true JP5689850B2 (ja) | 2015-03-25 |
Family
ID=49623416
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012120124A Active JP5689850B2 (ja) | 2012-05-25 | 2012-05-25 | 映像解析装置、映像解析方法、および注視点表示システム |
Country Status (4)
Country | Link |
---|---|
US (1) | US9727130B2 (ja) |
JP (1) | JP5689850B2 (ja) |
CN (1) | CN104302226B (ja) |
WO (1) | WO2013175701A1 (ja) |
Families Citing this family (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP2924540B1 (de) * | 2014-03-27 | 2019-04-24 | SensoMotoric Instruments Gesellschaft für innovative Sensorik mbH | Verfahren und System zum Betreiben einer Anzeigevorrichtung |
KR102284821B1 (ko) * | 2014-12-18 | 2021-08-03 | 페이스북, 인크. | 가상 현실 환경에서의 내비게이션을 위한 방법, 시스템 및 장치 |
US10354136B2 (en) | 2015-03-03 | 2019-07-16 | Apple Inc. | Head mounted eye tracking device and method for providing drift free eye tracking through a lens system |
US10565446B2 (en) | 2015-09-24 | 2020-02-18 | Tobii Ab | Eye-tracking enabled wearable devices |
CN108604116A (zh) * | 2015-09-24 | 2018-09-28 | 托比股份公司 | 能够进行眼睛追踪的可穿戴设备 |
US10956544B1 (en) | 2016-04-01 | 2021-03-23 | Massachusetts Mutual Life Insurance Company | Access control through head imaging and biometric authentication |
US10733275B1 (en) * | 2016-04-01 | 2020-08-04 | Massachusetts Mutual Life Insurance Company | Access control through head imaging and biometric authentication |
JP2017211891A (ja) | 2016-05-27 | 2017-11-30 | ソニー株式会社 | 情報処理装置、情報処理方法および記録媒体 |
CN107357429B (zh) * | 2017-07-10 | 2020-04-07 | 京东方科技集团股份有限公司 | 用于确定视线的方法、设备和计算机可读存储介质 |
TWI704501B (zh) * | 2018-08-09 | 2020-09-11 | 宏碁股份有限公司 | 可由頭部操控的電子裝置與其操作方法 |
US11353952B2 (en) | 2018-11-26 | 2022-06-07 | Tobii Ab | Controlling illuminators for optimal glints |
CN110051319A (zh) * | 2019-04-23 | 2019-07-26 | 七鑫易维(深圳)科技有限公司 | 眼球追踪传感器的调节方法、装置、设备及存储介质 |
JP2023108559A (ja) * | 2022-01-25 | 2023-08-04 | キヤノン株式会社 | 光学装置、撮像装置、光学装置の制御方法、およびプログラム |
Family Cites Families (20)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
GB1540992A (en) * | 1975-04-22 | 1979-02-21 | Smiths Industries Ltd | Display or other systems and equipment for use in such systems |
US5016282A (en) * | 1988-07-14 | 1991-05-14 | Atr Communication Systems Research Laboratories | Eye tracking image pickup apparatus for separating noise from feature portions |
US4852988A (en) * | 1988-09-12 | 1989-08-01 | Applied Science Laboratories | Visor and camera providing a parallax-free field-of-view image for a head-mounted eye movement measurement system |
JPH04288122A (ja) * | 1991-03-18 | 1992-10-13 | A T R Shichiyoukaku Kiko Kenkyusho:Kk | 視線表示装置 |
JP2988178B2 (ja) * | 1993-03-11 | 1999-12-06 | 日産自動車株式会社 | 視線方向計測装置 |
JP3185522B2 (ja) * | 1994-02-15 | 2001-07-11 | 日産自動車株式会社 | 車両用視線方向計測装置 |
FR2731896B1 (fr) * | 1995-03-24 | 1997-08-29 | Commissariat Energie Atomique | Dispositif de mesure de la position du point de fixation d'un oeil sur une cible, procede d'eclairage de l'oeil et application a l'affichage d'images dont les images changent en fonction des mouvements de l'oeil |
JPH09179062A (ja) * | 1995-12-25 | 1997-07-11 | Canon Inc | コンピュータシステム |
JP2000316811A (ja) * | 1999-05-14 | 2000-11-21 | Sumitomo Osaka Cement Co Ltd | 眼球運動測定装置 |
DE19953835C1 (de) * | 1999-10-30 | 2001-05-23 | Hertz Inst Heinrich | Rechnerunterstütztes Verfahren zur berührungslosen, videobasierten Blickrichtungsbestimmung eines Anwenderauges für die augengeführte Mensch-Computer-Interaktion und Vorrichtung zur Durchführung des Verfahrens |
JP2002143094A (ja) * | 2000-11-07 | 2002-05-21 | Nac Image Technology Inc | 視線検出装置 |
US7963652B2 (en) * | 2003-11-14 | 2011-06-21 | Queen's University At Kingston | Method and apparatus for calibration-free eye tracking |
US8077914B1 (en) * | 2006-08-07 | 2011-12-13 | Arkady Kaplan | Optical tracking apparatus using six degrees of freedom |
WO2010003410A1 (en) * | 2008-07-08 | 2010-01-14 | It-University Of Copenhagen | Eye gaze tracking |
CN101872237B (zh) | 2009-04-23 | 2012-04-18 | 由田新技股份有限公司 | 瞳孔追踪方法与系统及用于瞳孔追踪的校正方法与模组 |
EP2309307B1 (en) * | 2009-10-08 | 2020-12-09 | Tobii Technology AB | Eye tracking using a GPU |
CN101901485B (zh) * | 2010-08-11 | 2014-12-03 | 华中科技大学 | 3d自由头动式视线跟踪系统 |
FR2970576B1 (fr) * | 2011-01-19 | 2013-02-08 | Matchic Labs | Procede de determination de la direction du regard et dispositif pour sa mise en oeuvre |
US8929589B2 (en) * | 2011-11-07 | 2015-01-06 | Eyefluence, Inc. | Systems and methods for high-resolution gaze tracking |
US8942419B1 (en) * | 2012-01-06 | 2015-01-27 | Google Inc. | Position estimation using predetermined patterns of light sources |
-
2012
- 2012-05-25 JP JP2012120124A patent/JP5689850B2/ja active Active
-
2013
- 2013-04-11 US US14/400,979 patent/US9727130B2/en active Active
- 2013-04-11 WO PCT/JP2013/002483 patent/WO2013175701A1/ja active Application Filing
- 2013-04-11 CN CN201380025947.1A patent/CN104302226B/zh active Active
Also Published As
Publication number | Publication date |
---|---|
US20150130714A1 (en) | 2015-05-14 |
WO2013175701A1 (ja) | 2013-11-28 |
US9727130B2 (en) | 2017-08-08 |
CN104302226B (zh) | 2016-07-06 |
JP2013244212A (ja) | 2013-12-09 |
CN104302226A (zh) | 2015-01-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5689850B2 (ja) | 映像解析装置、映像解析方法、および注視点表示システム | |
JP6902075B2 (ja) | 構造化光を用いた視線追跡 | |
US11861062B2 (en) | Blink-based calibration of an optical see-through head-mounted display | |
JP6340503B2 (ja) | 目追跡システム及び利き目を検出する方法 | |
US10025384B1 (en) | Eye tracking architecture for common structured light and time-of-flight framework | |
US20180342066A1 (en) | Apparatus and method for hybrid eye tracking | |
US6659611B2 (en) | System and method for eye gaze tracking using corneal image mapping | |
US9398848B2 (en) | Eye gaze tracking | |
JP6515086B2 (ja) | 経時的な確率的オブジェクト追跡のためのシステムおよび方法 | |
EP3353632A1 (en) | Eye-tracking enabled wearable devices | |
CN104089606B (zh) | 一种自由空间视线跟踪测量方法 | |
US10433725B2 (en) | System and method for capturing spatially and temporally coherent eye gaze and hand data during performance of a manual task | |
CN107991775A (zh) | 能够进行人眼追踪的头戴式可视设备及人眼追踪方法 | |
JP2019097675A (ja) | 視線検出校正方法、システム、及びコンピュータプログラム | |
Tatler et al. | Eye movement recordings in natural settings | |
JP2019021049A (ja) | 情報処理装置、情報処理方法、及びプログラム | |
JP2015123262A (ja) | 角膜表面反射画像を利用した視線計測方法及びその装置 | |
JP2019024608A (ja) | 視線検出校正方法、システム、及びコンピュータプログラム | |
US20240265574A1 (en) | Method and system for determining direction of gaze | |
US10963046B1 (en) | Drift corrected eye tracking | |
Fornaser et al. | Eye tracker uncertainty analysis and modelling in real time | |
WO2024166116A1 (en) | Retina image references for gaze tracking | |
Ibrahim et al. | A Study towards Improving Eye Tracking Calibration Technique Using Support Vector Regression |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140519 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20140519 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20150120 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20150129 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5689850 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |