JP7186906B2 - スペックルパターンを使用した眼追跡のための方法およびシステム - Google Patents

Description

（関連出願の引用）
本願は、米国仮特許出願第６２／４２０，２９２号（２０１６年１１月１０日出願）の利益を主張し、上記出願の内容は、その全体が参照により引用される。

（発明の背景）
視線追跡技術は、多くの分野に適用されることができる。例えば、視線追跡は、正確な３ディメンジョンレンダリングをユーザに提供するための仮想現実（ＶＲ）または拡張現実（ＡＲ）ヘッドセットを構築するために有用であり得る。他の用途は、障害のある人々を補助するためのヒューマンコンピュータインターフェース、アクティビティ認識、画像およびビデオ圧縮、コンピュータビジョン、医療調査における認知研究、レーザ屈折外科手術、車載調査のための車両シミュレータ、スポーツ訓練シミュレータを含む、訓練シミュレータ、疲労検出等を含み得る。視線追跡技術の開発においてなされた進歩にもかかわらず、当技術分野において、改良された視線追跡方法に対する必要性がある。

（発明の要約）
本発明は、概して、視線追跡のための方法およびシステムに関する。より具体的には、本発明は、スペックルパターンを使用した視線追跡のための方法およびシステムに関する。

本発明のある実施形態によると、ユーザの眼の移動を追跡する方法は、光ビームを眼に向かわせることを含む。眼は、光ビームの一部を反射し得る。方法は、眼によって反射された光ビームの一部によって検出器において形成された複数のスペックルパターンを検出することをさらに含む。複数のスペックルパターンは、所定のフレームレートで検出され得る。方法は、フレーム毎に複数のスペックルパターンを追跡することによって、眼の移動を追跡することをさらに含む。

本発明の別の実施形態によると、ユーザの眼の視線を追跡する方法は、眼の第１の複数の画像をカメラを使用して第１のフレームレートで記録することと、眼の第１の複数の画像に基づいて、眼の開始位置を決定することとを含む。方法は、光ビームを眼に向かわせることをさらに含む。眼は、光ビームの一部を反射し得る。方法は、眼によって反射された光ビームの一部によって検出器において形成された第１の複数のスペックルパターンを検出することをさらに含む。複数のスペックルパターンは、第１のフレームレートより大きい第２のフレームレートで検出され得る。方法は、フレーム毎に第１の複数のスペックルパターンを追跡することによって、開始位置に対する眼の移動を追跡することをさらに含む。

本発明のさらに別の実施形態によると、ユーザの眼の視線を追跡する方法は、ユーザの眼の事前に較正されたスペックルマップを取得することと、事前に較正されたスペックルマップを使用して、眼の開始位置を決定することと、開始位置に対する眼の移動を追跡することとを含む。一実施形態では、ユーザの眼の事前に較正されたスペックルマップを取得することは、第１の光ビームを眼に向かわせることと、眼によって反射された第１の光ビームの一部によって検出器において形成された複数の第１のスペックルパターンを検出することであって、複数の第１のスペックルパターンの各々は、眼のそれぞれの第１の位置に対応する、ことと、カメラを使用して、眼の複数の画像を記録することであって、眼の複数の画像の各々は、それぞれの第１のスペックルパターンが検出されると記録される、ことと、眼のそれぞれの画像に基づいて、各それぞれの第１のスペックルパターンに対応する眼のそれぞれの第１の位置を決定することと、複数の第１のスペックルパターンおよび眼の対応する第１の位置を記憶することとによって実施される。一実施形態では、事前に較正されたスペックルマップを使用して眼の開始位置を決定することは、第２の光ビームを眼に向かわせることであって、眼は、第２の光ビームの一部を反射する、ことと、眼によって反射された第２の光ビームの一部によって検出器において形成された複数の第２のスペックルパターンを検出することと、複数の第２のスペックルパターンと記憶された複数の第１のスペックルパターンおよび眼の記憶された対応する第１の位置との間の比較に基づいて、眼の開始位置を決定することとによって実施される。一実施形態では、開始位置に対する眼の移動を追跡することは、第３の光ビームを眼に向かわせることであって、眼は、第３の光ビームの一部を反射する、ことと、眼によって反射された第３の光ビームの一部によって検出器において形成された複数の第３のスペックルパターンを検出することであって、複数の第３のスペックルパターンは、所定のフレームレートで検出される、ことと、フレーム毎に第３の複数のスペックルパターンを追跡することによって、開始位置に対する眼の移動を追跡することとによって実施される。

本発明のさらなる実施形態では、ユーザの識別の方法は、第１の光ビームを第１の眼に向かわせることであって、第１の眼は、第１の光ビームの一部を反射することと、第１の眼によって反射された第１の光ビームの一部によって検出器において形成された複数の第１のスペックルパターンを検出することであって、複数の第１のスペックルパターンの各々は、第１の眼のそれぞれの第１の位置に対応する、ことと、第１の眼の複数の画像をカメラを使用して記録することであって、第１の眼の複数の画像の各々は、それぞれの第１のスペックルパターンが検出されると記録される、ことと、第１の眼のそれぞれの画像に基づいて、各それぞれの第１のスペックルパターンに対応する第１の眼のそれぞれの第１の位置を決定することと、複数の第１のスペックルパターンおよび第１の眼の対応する第１の位置を記憶することとによって、第１のユーザの第１の眼の事前に較正されたスペックルマップを取得することを含む。方法は、第２の光ビームをユーザの眼に向かわせることであって、眼は、第２の光ビームの一部を反射する、ことと、眼によって反射された第２の光ビームの一部によって検出器において形成された複数の第２のスペックルパターンを検出することであって、複数の第２のスペックルパターンの各々は、眼のそれぞれの第２の位置に対応する、ことと、複数の第２のスペックルパターンを複数の第１のスペックルパターンと比較することによって、ユーザが第１のユーザであることを決定することとをさらに含む。いくつかの実施形態では、眼によって反射された第１の光ビームの一部および眼によって反射され第２の光ビームの一部の各々は、眼によって拡散反射または鏡面反射される。

従来の技法に優る多数の利点が、本発明の方法によって達成される。例えば、本発明の実施形態は、スペックルパターンの移動を追跡することによって、例えば、ミクロンスケール以下における、わずかな視線移動の正確な検出のための方法およびシステムを提供することができる。スペックルを使用した視線追跡は、非常にロバストであり得、追跡品質は、眼に対するセンサ場所に対して比較的に鈍感であり得る。本発明の実施形態による視線追跡の方法は、より少ない量の算出およびより少ない数の光源が要求される（例えば、１つのみの光が、カメラベースの眼追跡において典型的に必要とされる４つのＬＥＤと比較して要求される）ので、従来の方法と比較して、より低い電力消費をもたらし得る。方法は、それらが１つの光源および１つの検出器のみを要求し、カメラレンズを要求しないので、より低いコストももたらし得る。
本発明は、例えば、以下を提供する。
（項目１）
ユーザの眼の移動を追跡する方法であって、前記方法は、
光ビームを前記眼に向かわせることであって、前記眼は、前記光ビームの一部を反射する、ことと、
前記眼によって反射された前記光ビームの一部によって検出器において形成された複数のスペックルパターンを検出することであって、前記複数のスペックルパターンは、所定のフレームレートで検出される、ことと、
フレーム毎に前記複数のスペックルパターンを追跡することによって、前記眼の移動を追跡することと
を含む、方法。
（項目２）
前記眼によって反射された前記光ビームの一部は、前記眼によって拡散反射または鏡面反射される、項目１に記載の方法。
（項目３）
前記所定のフレームレートは、約５，０００フレーム／秒より大きく、約１５，０００フレーム／秒より小さい、項目１に記載の方法。
（項目４）
前記所定のフレームレートは、約１０，０００フレーム／秒である、項目３に記載の方法。
（項目５）
前記所定のフレームレートは、約５０フレーム／秒より大きく、約１５，０００フレーム／秒より小さい、項目１に記載の方法。
（項目６）
前記複数のスペックルパターンを追跡することは、オプティカルフローアルゴリズムを使用して実施される、項目１に記載の方法。
（項目７）
前記オプティカルフローアルゴリズムは、位相相関アルゴリズムを備えている、項目６に記載の方法。
（項目８）
前記光ビームは、赤外線放射を備えている、項目１に記載の方法。
（項目９）
ユーザの眼の視線を追跡する方法であって、前記方法は、
前記眼の第１の複数の画像をカメラを使用して第１のフレームレートで記録することと、
前記眼の前記第１の複数の画像に基づいて、前記眼の開始位置を決定することと、
光ビームを前記眼に向かわせることであって、前記眼は、前記光ビームの一部を反射する、ことと、
前記眼によって反射された前記光ビームの一部によって検出器において形成された第１の複数のスペックルパターンを検出することであって、前記複数のスペックルパターンは、前記第１のフレームレートより大きい第２のフレームレートで検出される、ことと、
フレーム毎に前記第１の複数のスペックルパターンを追跡することによって、前記開始位置に対する前記眼の移動を追跡することと
を含む、方法。
（項目１０）
前記眼によって反射された前記光ビームの一部は、前記眼によって拡散反射または鏡面反射される、項目９に記載の方法。
（項目１１）
前記複数のスペックルパターンを追跡することは、オプティカルフローアルゴリズムを使用して実施される、項目９に記載の方法。
（項目１２）
前記オプティカルフローアルゴリズムは、位相相関アルゴリズムを備えている、項目１１に記載の方法。
（項目１３）
前記第１のフレームレートは、約１０フレーム／秒より小さく、前記第２のフレームレートは、約５０フレーム／秒より大きく、約１５，０００フレーム／秒より小さい、項目９に記載の方法。
（項目１４）
前記眼が瞬目したことを決定することと、
新しい開始位置を決定することであって、前記決定することは、
前記眼の第２の複数の画像を前記カメラを使用して記録することと、
前記眼の前記第２の複数の画像に基づいて、前記新しい開始位置を決定することと
による、ことと、
前記新しい開始位置に対する前記眼の移動を追跡することであって、前記追跡することは、
前記検出器において形成された第２の複数のスペックルパターンを前記第２のフレームレートで検出することと、
フレーム毎に前記第２の複数のスペックルパターンを追跡することと
による、ことと
をさらに含む、項目９に記載の方法。
（項目１５）
ユーザの眼の視線を追跡する方法であって、前記方法は、
前記ユーザの眼の事前に較正されたスペックルマップを取得することであって、前記取得することは、
第１の光ビームを前記眼に向かわせることであって、前記眼は、前記第１の光ビームの一部を反射する、ことと、
前記眼によって反射された前記第１の光ビームの一部によって検出器において形成された複数の第１のスペックルパターンを検出することであって、前記複数の第１のスペックルパターンの各々は、前記眼のそれぞれの第１の位置に対応する、ことと、
カメラを使用して、前記眼の複数の画像を記録することであって、前記眼の複数の画像の各々は、それぞれの第１のスペックルパターンが検出されると記録される、ことと、
前記眼の前記それぞれの画像に基づいて、各それぞれの第１のスペックルパターンに対応する前記眼の前記それぞれの第１の位置を決定することと、
前記複数の第１のスペックルパターンおよび前記眼の前記対応する第１の位置を記憶することと
による、ことと、
前記事前に較正されたスペックルマップを使用して前記眼の開始位置を決定することであって、前記決定することは、
第２の光ビームを前記眼に向かわせることであって、前記眼は、前記第２の光ビームの一部を反射する、ことと、
前記眼によって反射された前記第２の光ビームの一部によって前記検出器において形成された複数の第２のスペックルパターンを検出することと、
前記複数の第２のスペックルパターンと前記記憶された複数の第１のスペックルパターンおよび前記眼の前記記憶された対応する第１の位置との間の比較に基づいて、前記眼の前記開始位置を決定することと
による、ことと、
前記開始位置に対する前記眼の移動を追跡することであって、前記追跡することは、
第３の光ビームを前記眼に向かわせることであって、前記眼は、前記第３の光ビームの一部を反射する、ことと、
前記眼によって反射された前記第３の光ビームの一部によって前記検出器において形成された複数の第３のスペックルパターンを検出することであって、前記複数の第３のスペックルパターンは、所定のフレームレートで検出される、ことと、
フレーム毎に前記第３の複数のスペックルパターンを追跡することによって、前記開始位置に対する前記眼の移動を追跡することと
による、ことと
を含む、方法。
（項目１６）
前記眼によって反射された前記第１の光ビームの一部、前記眼によって反射された前記第２の光ビームの一部、および前記眼によって反射された前記第３の光ビームの一部の各々は、前記眼によって拡散反射または鏡面反射される、項目１５に記載の方法。
（項目１７）
前記第３の複数のスペックルパターンを追跡することは、オプティカルフローアルゴリズムを使用して実施される、項目１５に記載の方法。
（項目１８）
前記オプティカルフローアルゴリズムは、位相相関アルゴリズムを備えている、項目１７に記載の方法。
（項目１９）
前記所定のフレームレートは、約５０フレーム／秒より大きく、約１５，０００フレーム／秒より小さい、項目１５に記載の方法。
（項目２０）
前記眼が瞬目したことを決定することと、
前記眼の新しい開始位置を決定することであって、前記決定することは、
第４の光ビームを前記眼に向かわせることであって、前記眼は、前記第４の光ビームの一部を反射する、ことと、
前記眼によって反射された前記第４の光ビームの一部によって前記検出器において形成された複数の第４のスペックルパターンを検出することと、
前記複数の第４のスペックルパターンと前記記憶された複数の第１のスペックルパターンおよび前記眼の前記記憶された対応する第１の位置との間の比較に基づいて、前記眼の前記新しい開始位置を決定することと
による、ことと、
前記新しい開始位置に対する前記眼の移動を追跡することであって、前記追跡することは、
第５の光ビームを前記眼に向かわせることであって、前記眼は、前記第５の光ビームの一部を反射する、ことと、
前記眼によって反射された前記第５の光ビームの一部によって前記検出器において形成された複数の第５のスペックルパターンを検出することであって、前記複数の第５のスペックルパターンは、前記所定のフレームレートで検出される、ことと、
フレーム毎に前記第５の複数のスペックルパターンを追跡することによって、前記新しい開始位置に対する前記眼の移動を追跡することと
による、ことと
をさらに含む、項目１５に記載の方法。

本発明のこれらおよび他の実施形態は、その利点および特徴の多くとともに、下記の文章および添付の図と併せてより詳細に説明される。

図１は、眼が種々の位置を注視するときに捕捉された眼の４つの画像（ａ）－（ｄ）を示す。 図２は、３つの独立軸に沿った眼移動を図式的に図示する。 図３は、レーザポインタから生成された例示的スペックルパターンを図示する。 図４は、スペックルパターンが画像センサ上に形成され得る方法を図式的に図示する。 図５Ａおよび５Ｂは、互いに対して短時間間隔で撮影されたスペックルパターンの２つのスナップショットを示す。 図６は、本発明のある実施形態による、視線追跡のための例示的設定を図式的に図示する。 図７Ａは、本発明のある実施形態による、カメラによって捕捉された眼の正面図を示す。図７Ｂは、本発明のある実施形態による、検出器によって捕捉されたスペックルパターンを示す。 図８は、本発明のある実施形態による、光源、検出器、および随意の眼カメラがユーザによって装着され得る一対の眼鏡上に搭載され得る方法を図示する概略図を示す。 図９Ａ－９Ｆは、眼が片側から別の側に移動するにつれて検出器によって１０ｍｓ（すなわち、０．０１秒）時間間隔で捕捉された眼のスペックルパターンの６つの連続的なフレームを示す。 図１０Ａ－１０Ｃは、スペックルパターンが検出器上に形成され得る様子を図示する１０ｍｓ間隔で捕捉された検出器の３つの連続フレームを示す。 図１１Ａは、本発明のある実施形態による、眼カメラによって捕捉された眼の正面図のスナップショットを示す。 図１１Ｂは、本発明のある実施形態による、図１０Ａに示される眼の正面図のスナップショットが捕捉された同じ時に検出器によって捕捉された眼の生成されたスペックルパターンのスナップショットを示す。 図１１Ｃは、本発明のある実施形態による、開始位置から終了位置までの眼移動の軌道を示す。 図１２Ａは、本発明のある実施形態による、２つの異なる検出器におけるスペックルパターンのスナップショット（２つの左パネル）と、２つの異なるカメラによって捕捉された眼の正面図および側面図のスナップショット（２つの右パネル）とを示す。 図１２Ｂおよび１２Ｃは、それぞれ、本発明のある実施形態による、２つの検出器によって検出された眼の軌道を示す。 図１２Ｂおよび１２Ｃは、それぞれ、本発明のある実施形態による、２つの検出器によって検出された眼の軌道を示す。 図１３Ａは、本発明のある実施形態による、瞬目されたときの眼の正面図のスナップショットを示す。図１３Ｂは、本発明のある実施形態による、眼が瞬目されたときの検出器における画像を示す。 図１４Ａは、本発明のある実施形態による、（ｉ）２つの右パネルに、２つの異なる眼カメラによって同時に捕捉された眼の正面図および側面図のスナップショットを示し、（ｉｉ）２つの左パネルに、２つの異なる検出器によって捕捉されたスペックルパターンのスナップショットとを示す。図１４Ｂは、本発明のある実施形態による、眼移動の軌道の一部を示す。図１４Ｃは、本発明のある実施形態による、時間の関数として追跡品質スコアを示す。 図１５Ａ－１５Ｃは、本発明のある実施形態による、図１４Ａ－１４Ｃに類似するが、異なる時間のスナップショットである。 図１６は、本発明のある実施形態による、視線追跡の方法を図示する簡略化されたフローチャートを図示する。 図１７は、本発明の別の実施形態による、視線追跡の方法を図示する簡略化されたフローチャートを図示する。 図１８は、本発明のある実施形態による、ユーザの眼の移動を追跡する方法を図示する簡略化されたフローチャートである。 図１９は、本発明のある実施形態による、ユーザの眼の視線を追跡する方法を図示する簡略化されたフローチャートである。 図２０は、本発明の別の実施形態による、ユーザの眼の視線を追跡する方法を図示する簡略化されたフローチャートである。 図２１は、本発明のある実施形態による、ユーザの眼の事前に較正されたスペックルマップを取得する方法を図示する簡略化されたフローチャートである。 図２２は、本発明のある実施形態による、事前に較正されたスペックルマップを使用して眼の開始位置を決定する方法を図示する簡略化されたフローチャートである。 図２３は、本発明のある実施形態による、開始位置に対する眼の移動を追跡する方法を図示する簡略化されたフローチャートである。 図２４は、本発明のある実施形態による、ユーザの識別の方法を図示する簡略化されたフローチャートである。

本発明は、概して、視線追跡のための方法およびシステムに関する。より具体的には、本発明は、スペックルパターンを使用した視線追跡のための方法およびシステムに関する。最も広く使用されている現在の設計は、ビデオベースの眼トラッカであり、それは、受動追跡とも称される。カメラは、片眼または両眼上に焦点を合わせ、視認者がある種類の刺激を見ると、それらの移動を記録する。図１は、眼が種々の位置を注視しているときに捕捉された眼の４つの画像（ａ）－（ｄ）を示す。瞳孔の中心の（ｘ、ｙ）座標を追跡することによって、視線が、監視され得る。

大部分の現代の眼トラッカは、瞳孔の中心と、近赤外線非コリメート光等の赤外線とを使用して、角膜反射（ＣＲ）を作成する。瞳孔中心と角膜反射との間のベクトルは、表面上の注視点または視線方向を算出するために使用されることができる。２つの一般的タイプの赤外線または近赤外線（活性光としても知られる）眼追跡技法が使用される：明瞳孔および暗瞳孔。それらの差異は、光学に対する照明源の場所に基づく。照明が、光学経路と同軸である場合、眼は、網膜から反射する光が赤色眼に類似する明瞳孔効果を作成するように、逆反射体としての機能を果たす。照明源が、光学経路からオフセットされる場合、瞳孔は、網膜からの反射がカメラから離れるように向かわせられるので、暗く現れる。

図２は、３つの独立軸に沿った可能な眼移動を図式的に図示する：水平変位（第１のディメンジョン）、垂直変位（第２のディメンジョン）、水平回転（第３のディメンジョン）、垂直回転（第４のディメンジョン）、視軸回転（ｃｙｃｌｏｔｏｒｓｉｏｎ）（第５のディメンジョン）、および軸方向変位（第６のディメンジョン）。

本発明の実施形態は、スペックルパターンを使用して視線を追跡する方法およびシステムを提供する。スペックルパターンは、波面の組の相互干渉によって生成される強度パターンである。スペックルパターンは、典型的には、レーザ光等のモノクロ光の拡散反射において生じる。スペックル効果は、異なる位相および振幅を有する同一周波数の多くの波の干渉の結果であり、それらは、一緒になり、その振幅、したがって、強度が、ランダムに変動する結果として生じる波を与える。図３は、緑色レーザポインタから生成された例示的スペックルパターンを図示する。

図４は、スペックルパターンが画像センサ４３０上に形成され得る方法を図式的に図示する。表面４２０が、回折理論に従って、レーザ等のコヒーレント光源４１０によって照明されると、照明された表面上の各点は、二次球状波源としての機能を果たす。散乱させられた明視野内の任意の点における光は、照明された表面４２０上の各点から散乱させられた波から成る。表面４２０が、１波長を超える経路長差を作成するために十分に粗面であり、２πより大きい位相変化を引き起こす場合、結果として生じる光の振幅、故に、強度は、ランダムに変動する。例えば、図４に図示されるように、散乱させられた光波は、互いに対して位相がずれて干渉し、暗スペックル４４２を画像センサ４３０上のある位置（例えば、点Ａ）にもたらし得る。同様に、散乱させられた光波は、互いに対して同相で干渉し、明スペックル４４４を画像センサ４３０上のある位置（例えば、点Ｂ）にもたらし得る。したがって、スペックルパターンは、粗面表面によって生成されたホログラムと見なされ得る。

コヒーレント光（例えば、レーザビーム）によって照明される、粗面表面が、結像されると、スペックルパターンが、結像面に観察される。これは、「主観的スペックルパターン」と呼ばれる。スペックルパターンの詳細な構造が視認システムパラメータに依存するので、「主観的」と呼ばれる。例えば、レンズ開口のサイズが変化する場合、スペックルのサイズも変化する。粗面表面から散乱させられるコヒーレント光が、別の表面上に当たると、「客観的スペックルパターン」を形成する。写真乾板または別の２－Ｄ光学センサが、レンズを伴わずに、散乱させられた明視野内に位置する場合、客観的スペックルパターンが、取得され、その特性は、システムの幾何学形状およびコヒーレント光源の波長に依存する。

本発明の実施形態は、光ビームを眼に向かわせ、眼による光ビームの拡散および鏡面反射によって形成されるスペックルパターンの移動を追跡することによって、眼の移動を追跡する方法およびシステムを含む。スペックルパターンを使用して、視線を追跡することは、いくつかの利点をもたらし得る。眼球の表面のテクスチャは、他の手段によって検出されるために平滑すぎるが、それは、観察可能なスペックルパターンを生成することができる。スペックルパターンは、スペックルパターンが眼球によって生成され、したがって、眼球に固定されているので、眼球が移動させられると、センサに対して移動するであろう。スペックルパターンの移動を追跡することによって、例えば、ミクロンスケール以下における、眼球のわずかな移動を正確に検出することが可能であり得る。

図５Ａおよび５Ｂは、互いに対して短時間間隔において捕捉された検出器上のスペックルパターンの２つのスナップショットを示し、標的は、その時間間隔中、短距離だけ移動させられている。図から分かるように、スペックルパターンは、検出器に対して移動している。例えば、図５Ａ内の位置Ａにおける明スポットは、図５Ｂにおける検出器の縁の近傍の位置Ａ’に左に向かって移動させられている。同様に、図５Ａ内の位置ＢおよびＣにおける明スポットも、それぞれ、図５Ｂにおける位置Ｂ’およびＣ’に左に向かって移動させられている。スペックルパターンの移動を追跡するために、フレーム間の標的上のビームスポット移動がビームスポットサイズをはるかに下回ること、フレーム間の検出器上のスペックル移動が検出器サイズをはるかに下回ることが所望され得る。例えば、いくつかの実施形態では、約５ｍｍ～約１０ｍｍに及ぶビームスポットサイズが、利用され得る。眼がフレーム間で移動するにつれて、眼上のビームスポットの位置は、適宜、移動する。例えば、１０００フレーム／秒（ｆｐｓ）のフレームレートに対して、ビームスポットサイズ５ｍｍを所与として、約５，０００ｍｍ／秒のレートにおける眼の移動は、ビームスポットサイズ内であろう。同様に、検出器上のスペックルパターンも、眼がフレーム間で移動するにつれて、適宜、移動する。したがって、上記要件が満たされるように、高速検出器、例えば、１０００ｆｐｓまたはより高速のレートで動作する検出器を使用することが有利であり得る。

図６は、本発明のある実施形態による、視線追跡のための例示的設定を図式的に図示する。光源６１０は、ある傾斜角度において、光ビーム６２０を眼に照らし得る。眼は、光ビーム６２０の一部を反射し得る。検出器６３０が、眼に隣接して位置付けられ、眼によって反射された光ビームの一部によって形成されるスペックルパターンを検出し得る。図７Ａは、カメラによって捕捉されるような眼の正面図を示す。明スポット７０２は、眼上のビームスポットである。図７Ｂは、検出器６２０によって捕捉されるようなスペックルパターンを示す。図７Ｂから分かるように、鏡面反射によって作成された干渉縞がスペックルパターン内に明確に見える。いくつかの実施形態では、光源６１０は、赤外線波長範囲内の光ビームを放出するように構成され得る。いくつかの実施形態では、光源６１０は、近赤外線波長範囲、例えば、０．７５～２μｍ内の光ビームを放出するように構成され得る。いくつかの実施形態では、光源６１０は、スペックルパターンが検出され得るように、レーザソース等のコヒーレント光源または発光ダイオード（ＬＥＤ）等の部分的にコヒーレントな光源を備え得る。

図８は、本発明のある実施形態による、光源８１０、検出器８３０、および随意の眼カメラ８４０が、ユーザによって装着され得る一対の眼鏡８５０上に搭載され得る方法を図示する概略図を示す。光源８１０は、光ビーム８２０をユーザの眼に照らし得る。眼による光ビーム８２０の拡散および鏡面反射は、検出器８３０におけるスペックルパターンを形成し得る。いくつかの実施形態では、光源８１０は、レーザ等のコヒーレント光源を備え得る。眼カメラ８４０は、眼の画像を捕捉し得、眼の画像から、初期視線位置が、下でより詳細に議論されるように決定され得る。

図９Ａ－９Ｆは、眼が片側から他の側に移動するにつれて、検出器によって１０ｍｓ（すなわち、０．０１秒）時間間隔で捕捉された眼による光ビームの反射によって生成されたスペックルパターンの６つの連続的なフレームを示す。図から分かるように、スペックルパターンは、図９Ａから図９Ｆに左に向かって検出器エリアを横断して移動している。例えば、図９Ａにおける明領域Ａは、図９Ｂおよび９Ｃでは、左に向かって徐々に移動し、次いで、図９Ｄ－９Ｆでは、検出器エリアから外に移動している。同様に、図９Ｂにおける暗領域Ｂは、図９Ｂでは、ちょうど現れ始め、図９Ｃ－９Ｅでは、左に向かって徐々に移動し、次いで、図９Ｆでは、検出器エリアから外に移動している。

図１０Ａ－１０Ｃは、１０ｍｓ間隔で捕捉された検出器の３つの連続フレームを示し、スペックルパターンが画像センサ上に形成され得る様子を図示する。ここでは、干渉縞は、見えないが、眼の拡散反射によって作成されたスペックルパターンは、見えている。

スペックルパターンの移動を追跡することによって、眼の移動は、追跡され得る。本発明のいくつかの実施形態によると、スペックルパターンの移動は、オプティカルフローアルゴリズムを使用して追跡され得る。オプティカルフローまたはオプティックフローは、観察者（眼またはカメラ）と場面との間の相対的運動によって生じる視覚的場面内のオブジェクト、表面、および縁の見掛け運動のパターンである。順序付けられた画像のシーケンスは、瞬間画像速度または離散画像変位のいずれかとしての運動の推定を可能にし得る。オプティカルフローを決定する方法は、位相相関法、ブロックベースの方法、差動法、Ｈｏｒｎ－Ｓｃｈｕｎｃｋ法、Ｂｕｘｔｏｎ－Ｂｕｘｔｏｎ法、Ｂｌａｃｋ－Ｊｅｐｓｏｎ法、および一般的変分法、離散最適化法等を含み得る。本発明のある実施形態によると、眼の移動は、オプティカルフローの位相相関アルゴリズムを眼のスペックルパターンの連続的なフレームに適用することによって追跡される。

図１１Ａ－１１Ｃは、本発明のある実施形態による、視線追跡のいくつかの例示的結果を図示する。図１１Ａは、眼カメラによって捕捉された眼の正面図のビデオのスナップショットを示す。図１１Ｂは、眼の正面図のスナップショットが捕捉された同じ時に検出器によって捕捉された眼のスペックルパターンのスナップショットを示す。図１１Ｃは、開始点から終了点までの眼移動の軌道を示し、そこで、図１１Ａおよび１１Ｂのスナップショットが取得された。図１１Ｃにおける水平軸および垂直軸は、それぞれ、任意単位（例えば、検出器のピクセルの観点から）における眼の水平位置および垂直位置である。較正後、視線位置は、視線角度に変換され得る。スペックルパターンを検出するためのフレームレートは、約１００フレーム／秒である。追跡の持続時間は、約２０秒である。図１１Ｃから分かるように、眼の移動は、眼が左右および上下に往復して移動させられるにつれて持続的に追跡されている。

スペックルパターンを使用した視線追跡のロバスト性を示すために、２つの検出器が、眼の近傍に位置付けられ、眼の移動を追跡し得る。図１２Ａは、２つの異なる検出器によって捕捉されたスペックルパターンのスナップショット（２つの左パネル）と、２つの異なるカメラによって捕捉された眼の正面図および側面図のスナップショット（２つの右パネル）とを示す。図１２Ｂおよび１２Ｃは、それぞれ、２つの検出器によって検出された眼の軌道を示す。図１２Ｂおよび１２Ｃにおける水平軸および垂直軸は、それぞれ、任意単位における眼の水平位置および垂直位置である。スペックルパターンを検出するためのフレームレートは、２つの検出器の各々に対して約１００フレーム／秒である。追跡の持続時間は、約２０秒である。図から分かるように、２つの軌道は、互いに一致し、視線追跡の方法が非常にロバストであることを実証する。

本発明の実施形態によると、眼の移動は、眼が瞬目しない限り、眼のスペックルパターンの移動を追跡することによって、持続的に追跡され得る。眼が瞬目すると、スペックルパターンは、消失し得、その結果、１つのフレームと次のフレームとの間の相関は、失われ得る。図１３Ａは、眼が瞬目したときの眼の正面図のスナップショットを示す。図１３Ｂは、眼が瞬目した時と同時に捕捉された検出器における画像を示す。図１３Ｂから分かるように、スペックルパターンは、眼が瞬目されたときに失われる。瞬目が十分に長く、例えば、数十ミリ秒続いた場合、瞬目前後に捕捉されたスペックルパターンは、もはや互いに位相相関を有していないこともある。その結果、視線追跡は、いくつかの実施形態による視線追跡のために使用されるオプティカルフローアルゴリズム等のいくつかのアルゴリズムが、連続的なフレーム間の位相相関を要求し得るので、中断され得る。

いくつかの実施形態によると、追跡品質スコアが、視線追跡の品質の指示として使用され得る。例えば、追跡品質スコアは、スペックルパターンの連続的なフレーム間の相関の程度の尺度であり得る。いくつかの実施形態では、追跡品質スコアは、相関ピークの値から計算され得る。連続的なフレーム間の相関が、完璧である場合、相関ピークの値は、１に近くあり得る。連続的なフレーム間の相関が、おそらく、瞬目に起因して、不良である場合、相関ピークの値は、１を有意に下回り得る。

図１４Ａ－１４Ｃおよび１５Ａ－１５Ｃは、本発明のある実施形態による、視線追跡のいくつかの例示的結果を図示する。図１４Ａにおける２つの右パネルは、それぞれ、２つの異なる眼カメラによって捕捉された眼の側面図および正面図のスナップショットを示す。図１４Ａの２つの左パネルは、眼の側面図および正面図のスナップショットが捕捉された同じ時に２つの異なる検出器によって捕捉されたスペックルパターンのスナップショットを示す。図１４Ｂは、眼移動の部分的軌道を示す。図１４Ｂにおける水平軸および垂直軸は、それぞれ、任意単位における眼の水平位置および垂直位置である。図１４Ｃは、時間の関数として追跡品質スコアを示す。垂直軸は、任意単位における追跡品質スコアである。水平軸は、（１００フレーム／秒に対応する１０ｍｓ間隔における）フレーム番号である。図示されるように、追跡品質スコアは、示される期間にわたって比較的に高い。図１５Ａ－１５Ｃは、図１４Ａ－１４Ｃに類似するが、異なる期間のスナップショットである。図１５Ａに示されるように、スペックルパターンは、眼の瞬目に起因して失われている。図１５Ｃは、追跡品質スコアが眼が瞬目を開始した瞬間の約１０６０ｍｓにおいて急降下したことを示す。

上で例証されるように、眼の相対的運動の正確な追跡は、スペックルパターンを追跡することによって達成されることができる。しかし、スペックルパターンは、眼の絶対視線位置を提供しない。本発明のある実施形態によると、眼の初期絶対視線位置は、カメラベースの方法等の別の方法によって決定され得る。初期視線位置が決定された後、スペックル追跡が、初期視線位置に対する眼移動のより正確な追跡のために使用される。同様に、相関が、眼が瞬目されたときに失われると、新しい初期絶対視線位置が、カメラベースの方法によって決定され得る。新しい初期視線位置が確立された後、スペックル追跡は、再開され得る。

図１６は、本発明のいくつかの実施形態による、視線追跡の方法１６００を図示する簡略化されたフローチャートを図示する。方法１６００は、カメラを使用して視線追跡を実施すること（１６０２）と、開始視線位置が取得されたかどうかを決定すること（１６０４）とを含む。カメラを使用した視線追跡は、カメラを使用して眼の複数の画像を記録することによって実施され得る。複数の画像のうちの１つは、開始視線位置を決定するために選択され得る。例えば、いくつかの画像は、おそらく眼が瞬目することにより、比較的に不良品質を有し得る。選択された画像に基づいて、開始視線位置が、事前に較正された座標系を使用して決定され得る。例えば、図１に図示されるように、瞳孔の中心の（ｘ、ｙ）座標が、事前に較正された原点に対して決定され得る。

開始視線位置が取得されなかった場合、方法１６００は、開始視線位置が取得されるまで、カメラを使用して視線追跡を継続し得る（１６０２）。開始視線位置が取得されると、方法１６００は、スペックルパターンを使用して視線追跡を実施することを開始し得る（１６０６）。上で議論されるように、スペックルパターンを使用して視線追跡することは、光ビームを眼に向かわせることと、眼から反射された光ビームの一部によって検出器において形成されたスペックルパターンを検出することとによって実施され得る。光ビームは、スペックルパターンが検出され得るように、レーザ等のコヒーレント光源または発光ダイオード（ＬＥＤ）等の部分的にコヒーレントな光源によって生成され得る。眼の移動は、オプティカルフロー方法の位相相関アルゴリズム等のアルゴリズムを使用して、フレーム毎にスペックルパターンを追跡することによって追跡され得る。

ユーザが瞬目する場合、スペックルパターンを使用して眼移動を追跡する能力は、連続的なフレーム間の相関の喪失に起因して失われ得る。故に、方法１６００は、瞬目が生じたかどうかと、相関が瞬目の結果として失われたかどうかとを決定すること（１６０８）をさらに含む。いくつかの実施形態では、相関が失われたかどうかを決定することは、相関ピークの値を計算すること（上で議論されるように）と、相関ピークの値と所定の閾値を比較することとを含み得る。相関ピークの値が、所定の閾値と等しい場合またはより高い場合、相関が失われていないことが決定され得る。逆に言えば、相関ピークの値が、所定の閾値より低い場合、相関が失われたことが決定され得る。

相関が失われていないことが決定される場合、方法１６００は、スペックルパターンを追跡することによって、視線追跡を継続し得る（１６０６）。相関が失われたことが決定される場合、方法１６００は、カメラを使用して視線追跡に戻り得る（１６０２）。カメラ追跡を使用することによって、新しい開始視線位置が取得されると（１６０４）、方法１６００は、スペックルパターンを追跡することによって、視線追跡を再開し得る（１６０６）。

上で議論されるように、スペックルパターンを使用した視線追跡は、カメラを使用した視線追跡より正確であり得る。いくつかの実施形態では、方法１６００は、開始視線位置を決定するための最良カメラフレームを選定し、より良好な正確度のために、カメラフレーム間のスペックル追跡を実施し得る。いくつかの実施形態では、方法１６００は、非常に高フレームレート、例えば、１０，０００ｆｐｓでスペックル追跡を実施し、はるかに低いフレームレート、例えば、３ｆｐｓでカメラ追跡を実施し得る。

本発明の別の実施形態によると、初期絶対視線位置は、事前に較正されたスペックルパターンを使用することによって取得され得る。眼スペックルパターンは、各個人に固有であり得る。ユーザの視線を追跡する前に、較正プロシージャが、ユーザのために実施され得る。較正プロシージャでは、ユーザの種々の視線位置に対応するスペックルパターンの数が、取得され得る。種々の視線位置は、カメラベースの方法または他の好適な視線追跡方法によって決定され得る。したがって、ユーザに固有のスペックルマップが、取得され、システム内に記憶され得る。スペックルマップは、複数の事前に較正されたスペックルパターンと、その対応する視線位置とを含み得る。

図１７は、本発明のある実施形態による、視線追跡の方法１７００を図示する簡略化されたフローチャートを図示する。方法１７００は、ユーザのための事前に較正されたスペックルマップを使用して、視線追跡を実施すること（１７０２）と、開始視線位置が取得されたかどうかを決定すること（１７０４）とを含む。上で議論されるように、スペックルマップは、複数の事前に較正されたスペックルパターンと、それらの対応する視線位置とを含み得る。複数の初期スペックルパターンは、光ビームを眼に向かわせることと、眼に隣接して位置付けられた検出器における複数の初期スペックルパターンを検出することとによって取得され得る。光ビームは、スペックルパターンが検出され得るように、レーザ等のコヒーレント光源または発光ダイオード（ＬＥＤ）等の部分的にコヒーレントな光源によって生成され得る。複数の初期スペックルパターンは、スペックルマップ内の事前に較正されたスペックルパターンと比較され、初期視線位置を決定し得る。例えば、複数の初期スペックルパターンのうちの１つが、ユーザのためのスペックルマップ内に記憶されるスペックルパターンに合致することが決定され得る。次いで、合致するスペックルパターンに対する対応する視線位置が、開始視線位置として使用され得る。

開始位置が取得された場合、方法１７００は、スペックルマップを使用して、視線追跡を継続し得る（１７０２）。開始位置が取得されると、システムは、スペックルパターンを追跡することによって、開始視線位置に対して視線を追跡することを開始し得る（１７０６）。眼の移動は、オプティカルフロー方法の位相相関アルゴリズム等のアルゴリズムを使用して、フレーム毎にスペックルパターンを追跡することによって追跡され得る。

方法１７００は、図１６に関連して上で議論される方法１６００と同様に、瞬目が生じたかどうか（１７０８）と、相関が瞬目の結果として失われたかどうか（１７０８）とを決定することをさらに含む。相関が失われていないことが決定される場合、方法１７００は、スペックル追跡を継続し得る（１７０６）。相関が失われたことが決定される場合、方法１７００は、ステップ１７０２に戻り、スペックルマップを使用して視線追跡を実施し得る（１７０２）。新しい開始位置が取得されると（１７０４）、方法１７００は、スペックル追跡を再開し得る（１７０６）。いくつかの実施形態では、方法１７００は、非常に高フレームレート、例えば、１０，０００ｆｐｓでスペックル追跡を実施し、はるかに低いフレームレート、例えば、３ｆｐｓでスペックルマップを使用して追跡を実施し得る。

図１８は、本発明のある実施形態による、ユーザの眼の移動を追跡する方法１８００を図示する簡略化されたフローチャートである。方法１８００は、光ビームを眼に向かわせること（１８０２）を含む。光ビームは、スペックルパターンが検出され得るように、レーザ等のコヒーレント光源または発光ダイオード（ＬＥＤ）等の部分的にコヒーレントな光源によって生成され得る。眼は、光ビームの一部を反射し得る。眼によって反射された光ビームの一部は、眼によって拡散または鏡面反射され得る。方法１８００は、眼によって反射された光ビームの一部によって検出器において形成された複数のスペックルパターンを検出すること（１８０４）をさらに含む。複数のスペックルパターンは、所定のフレームレートで検出される。方法１８００は、フレーム毎に複数のスペックルパターンを追跡することによって、眼の移動を追跡すること（１８０６）をさらに含む。いくつかの実施形態では、所定のフレームレートは、約５，０００フレーム／秒より大きく、約１５，０００フレーム／秒より小さい。一実施形態では、所定のフレームレートは、約１０，０００フレーム／秒である。いくつかの他の実施形態では、所定のフレームレートは、約５０フレーム／秒より大きく、約１５，０００フレーム／秒より小さい。いくつかの実施形態では、複数のスペックルパターンを追跡することは、オプティカルフローアルゴリズムを使用して実施される。一実施形態では、オプティカルフローアルゴリズムは、位相相関法を使用する。

図１９は、本発明のある実施形態による、ユーザの眼の視線を追跡する方法１９００を図示する簡略化されたフローチャートである。方法１９００は、眼の第１の複数の画像をカメラを使用して第１のフレームレートで記録すること（１９０２）と、眼の第１の複数の画像に基づいて、眼の開始位置を決定すること（１９０４）とを含む。いくつかの実施形態では、第１の複数の画像のうちの１つが、眼の開始位置を決定するために選択され得る。選択された画像に基づいて、眼の開始位置が、事前に較正された座標系を使用して決定され得る。例えば、図１に図示されるように、瞳孔の中心の（ｘ、ｙ）座標が、事前に較正された原点に対して決定され得る。

方法１９００は、光ビームを眼に向かわせること（１９０６）をさらに含み得る。光ビームは、レーザ等のコヒーレント光源または発光ダイオード（ＬＥＤ）等の部分的にコヒーレントな光源によって生成され得る。眼は、光ビームの一部を反射し得る。眼によって反射された光ビームの一部は、眼によって拡散または鏡面反射され得る。方法１９００は、眼によって反射された光ビームの一部によって検出器において形成された第１の複数のスペックルパターンを検出すること（１９０８）と、フレーム毎に第１の複数のスペックルパターンを追跡することによって、開始位置に対する眼の移動を追跡すること（１９１０）とをさらに含み得る。いくつかの実施形態では、複数のスペックルパターンは、第１のフレームレートより大きい第２のフレームレートで検出される。いくつかの実施形態では、第１のフレームレートは、約１０ｆｐｓより小さく、第２のフレームレートは、約５０ｆｐｓより大きく、約１５，０００ｆｐｓより小さい。一実施形態では、第１のフレームレートは、約３フレーム／秒であり、第２のフレームレートは、約１０，０００フレーム／秒である。

いくつかの実施形態では、方法１９００は、眼が瞬目したことを決定すること（１９２０）をさらに含み得る。例えば、図１６および１７に関連して上で議論されるように、追跡品質スコアに基づいて、眼が瞬目したかどうかが決定され得る。方法１９００は、ステップ１９０２に戻り、眼が瞬目したことの決定に応答して、新しい開始位置を決定し得る。例えば、方法１９００は、眼の第２の複数の画像をカメラを使用して記録することと、眼の第２の複数の画像に基づいて、新しい開始位置を決定することとによって、新しい開始位置を決定することと、検出器において形成された第２の複数のスペックルパターンを第２のフレームレートで検出することと、フレーム毎に第２の複数のスペックルパターンを追跡することとによって、新しい開始位置に対する眼の移動を追跡することとを含み得る。眼が瞬目されていないことが決定される場合、方法１９００は、ステップ１９０８および１９１０を継続し得る。

図２０は、本発明のいくつかの実施形態による、ユーザの眼の視線を追跡する方法２０００を図示する簡略化されたフローチャートである。方法２０００は、下記の図２１－２３にさらに関連して説明されるように、ユーザの眼の事前に較正されたスペックルマップを取得すること（２０１０）と、事前に較正されたスペックルマップを使用して眼の開始位置を決定すること（２０２０）と、開始位置に対する眼の移動を追跡すること（２０３０）とを含み得る。

図２１は、本発明のある実施形態による、ユーザの眼の事前に較正されたスペックルマップを取得する方法２０１０を図示する簡略化されたフローチャートである。方法２０１０は、第１の光ビームを眼に向かわせること（２０１１）を含む。第１の光ビームは、レーザ等のコヒーレント光源または発光ダイオード（ＬＥＤ）等の部分的にコヒーレントな光源によって生成され得る。眼は、第１の光ビームの一部を反射し得る。方法２０１０は、眼によって反射された第１の光ビームの一部によって検出器において形成された複数の第１のスペックルパターンを検出すること（２０１２）をさらに含む。複数の第１のスペックルパターンの各々は、眼のそれぞれの第１の位置に対応する。方法２０１０は、カメラを使用して眼の複数の画像を記録すること（２０１３）をさらに含む。眼の複数の画像の各々は、それぞれの第１のスペックルパターンが検出されると記録される。方法２０１０は、眼のそれぞれの画像に基づいて、各それぞれの第１のスペックルパターンに対応する眼のそれぞれの第１の位置を決定すること（２０１４）と、複数の第１のスペックルパターンおよび眼の対応する第１の位置を記憶すること（２０１５）とをさらに含む。

図２２は、本発明のある実施形態による、事前に較正されたスペックルマップを使用して眼の開始位置を決定する方法２０２０を図示する簡略化されたフローチャートである。方法２０２０は、第２の光ビームを眼に向かわせること（２０２１）を含む。第２の光ビームは、レーザ等のコヒーレント光源または発光ダイオード（ＬＥＤ）等の部分的にコヒーレントな光源によって生成され得る。眼は、第２の光ビームの一部を反射し得る。方法２０２０は、眼によって反射された第２の光ビームの一部によって検出器において形成された複数の第２のスペックルパターンを検出すること（２０２２）と、複数の第２のスペックルパターンと記憶された複数の第１のスペックルパターンおよび眼の記憶された対応する第１の位置との間の比較に基づいて、眼の開始位置を決定すること（２０２３）とをさらに含む。

図２３は、本発明のある実施形態による、開始位置に対する眼の移動を追跡する方法２０３０を図示する簡略化されたフローチャートである。方法２０３０は、第３の光ビームを眼に向かわせること（２０３１）を含む。第３の光ビームは、レーザ等のコヒーレント光源または発光ダイオード（ＬＥＤ）等の部分的にコヒーレントな光源によって生成され得る。眼は、第３の光ビームの一部を反射し得る。方法２０３０は、眼によって反射された第３の光ビームの一部によって検出器において形成された複数の第３のスペックルパターンを検出すること（２０３２）をさらに含む。複数の第３のスペックルパターンは、所定のフレームレートで検出される。方法２０３０は、フレーム毎に第３の複数のスペックルパターンを追跡することによって、開始位置に対する眼の移動を追跡することをさらに含む。

上で議論されるように、眼スペックルパターンは、各個人に固有であり得る。したがって、眼スペックルパターンは、ユーザ識別のために使用されることができる。図２４は、本発明のある実施形態による、ユーザの識別の方法２４００を図示する簡略化されたフローチャートである。方法２４００は、第１の光ビームを第１の眼に向かわせること（２４０２）を含む。第１の光ビームは、レーザ等のコヒーレント光源または発光ダイオード（ＬＥＤ）等の部分的にコヒーレントな光源によって生成され得る。第１の眼は、第１の光ビームの一部を反射し得る。方法２４００は、第１の眼によって反射された第１の光ビームの一部によって検出器において形成された複数の第１のスペックルパターンを検出すること（２４０４）をさらに含む。複数の第１のスペックルパターンの各々は、第１の眼のそれぞれの第１の位置に対応する。方法２４００は、カメラを使用して第１の眼の複数の画像を記録すること（２４０６）をさらに含む。第１の眼の複数の画像の各々は、それぞれの第１のスペックルパターンが検出されると記録される。方法２４００は、第１の眼のそれぞれの画像に基づいて、各それぞれの第１のスペックルパターンに対応する第１の眼のそれぞれの第１の位置を決定すること（２４０８）と、複数の第１のスペックルパターンおよび第１の眼の対応する第１の位置を記憶すること（２４１０）とをさらに含む。方法２４００は、第２の光ビームをユーザの眼に向かわせること（２４１２）をさらに含む。第２の光ビームは、レーザ等のコヒーレント光源または発光ダイオード（ＬＥＤ）等の部分的にコヒーレントな光源によって生成され得る。眼は、第２の光ビームの一部を反射し得る。方法２４００は、眼によって反射された第２の光ビームの一部によって検出器において形成された複数の第２のスペックルパターンを検出すること（２４１４）をさらに含む。複数の第２のスペックルパターンの各々は、眼のそれぞれの第２の位置に対応する。方法２４００は、複数の第２のスペックルパターンを複数の第１のスペックルパターンと比較することによって、ユーザが第１のユーザであることを決定すること（２４１６）をさらに含む。

図１６－２４の各々に図示される具体的ステップは、本発明のある実施形態による特定の方法を提供することを理解されたい。ステップの他のシーケンスも、代替実施形態に従って実施され得る。例えば、本発明の代替実施形態は、異なる順序で上で概略されたステップを実施し得る。さらに、図１６－２４に図示される個々のステップは、個々のステップの必要に応じて種々のシーケンスで実施され得る複数のサブステップを含み得る。さらに、追加のステップが、特定の用途に応じて追加または除去され得る。当業者は、多くの変形例、修正、および代替を認識するであろう。

本明細書に説明される実施例および実施形態が、例証的目的のためだけのものであり、種々の修正または変更が、それに照らして、当業者に示唆され、本願の精神および範疇ならびに添付の請求項の範囲内に含まれるべきであることも理解されたい。

Claims (7)

1. ユーザの眼の視線を追跡する方法であって、前記方法は、
   前記ユーザの前記眼の事前に較正されたスペックルマップを取得することであって、前記ユーザの前記眼の事前に較正されたスペックルマップを取得することは、
   第１の光ビームを前記眼に向かわせることであって、前記眼は、前記第１の光ビームの一部を反射する、ことと、
   前記眼によって反射された前記第１の光ビームの前記一部によって検出器において形成された複数の第１のスペックルパターンを検出することであって、前記複数の第１のスペックルパターンのそれぞれは、前記眼のそれぞれの第１の位置に対応する、ことと、
   カメラを使用して、前記眼の複数の画像を記録することであって、前記眼の前記複数の画像のそれぞれは、それぞれの第１のスペックルパターンが検出されるときに記録される、ことと、
   前記眼の前記それぞれの画像に基づいて、各それぞれの第１のスペックルパターンに対応する前記眼の前記それぞれの第１の位置を決定することと、
   前記複数の第１のスペックルパターンと、前記眼の複数の対応する第１の位置とを記憶することと
   によって行われる、ことと、
   前記事前に較正されたスペックルマップを使用して前記眼の開始位置を決定することであって、前記事前に較正されたスペックルマップを使用して前記眼の開始位置を決定することは、
   第２の光ビームを前記眼に向かわせることであって、前記眼は、前記第２の光ビームの一部を反射する、ことと、
   前記眼によって反射された前記第２の光ビームの前記一部によって前記検出器において形成された複数の第２のスペックルパターンを検出することと、
   前記複数の第２のスペックルパターンと、前記記憶された複数の第１のスペックルパターンおよび前記眼の前記記憶された複数の対応する第１の位置との間の比較に基づいて、前記眼の前記開始位置を決定することと
   によって行われる、ことと、
   前記開始位置に対する前記眼の移動を追跡することであって、前記開始位置に対する前記眼の移動を追跡することは、
   第３の光ビームを前記眼に向かわせることであって、前記眼は、前記第３の光ビームの一部を反射する、ことと、
   前記眼によって反射された前記第３の光ビームの前記一部によって前記検出器において形成された複数の第３のスペックルパターンを検出することであって、前記複数の第３のスペックルパターンは、所定のフレームレートで検出される、ことと、
   前記複数の第３のスペックルパターンをフレームごとに追跡することによって、前記開始位置に対する前記眼の移動を追跡することと
   によって行われる、ことと
   を含む、方法。
2. 前記眼によって反射された前記第１の光ビームの前記一部および前記眼によって反射された前記第２の光ビームの前記一部および前記眼によって反射された前記第３の光ビームの前記一部のそれぞれは、前記眼によって拡散反射または鏡面反射される、請求項１に記載の方法。
3. 前記複数の第３のスペックルパターンを追跡することは、オプティカルフローアルゴリズムを使用して実施される、請求項１に記載の方法。
4. 前記オプティカルフローアルゴリズムは、位相相関アルゴリズムを含む、請求項３に記載の方法。
5. 前記所定のフレームレートは、５０フレーム／秒より大きく、１５，０００フレーム／秒より小さい、請求項１に記載の方法。
6. 前記方法は、
   前記眼が瞬目したことを決定することと、
   前記眼の新しい開始位置を決定することであって、前記眼の新しい開始位置を決定することは、
   第４の光ビームを前記眼に向かわせることであって、前記眼は、前記第４の光ビームの一部を反射する、ことと、
   前記眼によって反射された前記第４の光ビームの前記一部によって前記検出器において形成された複数の第４のスペックルパターンを検出することと、
   前記複数の第４のスペックルパターンと、前記記憶された複数の第１のスペックルパターンおよび前記眼の前記記憶された複数の対応する第１の位置との間の比較に基づいて、前記眼の前記新しい開始位置を決定することと
   によって行われる、ことと、
   前記新しい開始位置に対する前記眼の移動を追跡することであって、前記新しい開始位置に対する前記眼の移動を追跡することは、
   第５の光ビームを前記眼に向かわせることであって、前記眼は、前記第５の光ビームの一部を反射する、ことと、
   前記眼によって反射された前記第５の光ビームの前記一部によって前記検出器において形成された複数の第５のスペックルパターンを検出することであって、前記複数の第５のスペックルパターンは、前記所定のフレームレートで検出される、ことと、
   前記複数の第５のスペックルパターンをフレームごとに追跡することによって、前記新しい開始位置に対する前記眼の移動を追跡することと
   によって行われる、ことと
   をさらに含む、請求項１に記載の方法。
7. 前記第１の光ビームおよび前記第２の光ビームおよび前記第３の光ビームのそれぞれは、赤外線放射を含む、請求項１に記載の方法。

Images