JP6577454B2 - 軸上視線追跡システム及び方法 - Google Patents

Description

本発明は、軸上視線追跡（on-axis eye gaze tracking）システム及び方法に関する。

人間と機械の対話に関する一般的な技術には、キーボード、ボタン、ジョイスティック、及び、ポインティングデバイス（例えば、マウス、スタイラス）等の手動のユーザインタフェース装置が含まれる。視線追跡システムの最近の発展により、個人の眼の視線（line of sight／ＬＯＳ）ベクトルを決定することができる。このＬＯＳ情報は、人間と機械の対話のための制御ツールとして用いることができる。

空間内の位置（例えば、画面）へのユーザの視線推定（gaze estimation）手順は大きく分けて２種類、知られている。すなわち、関数マッピングと３Ｄモデルである。関数マッピングにおいては、画面上の点と特徴ベクトルの対が、（通常、較正手順を介して）取得される。各対は、ユーザが、画面上に与えられた点を注視していた時、ユーザから取得された特徴ベクトルを含む。次に、これら２つのデータセットを用いて、特徴ベクトルから画面上の位置への視線マッピング関数を近似する。

３Ｄモデルベースのアプローチにおいては、抽出された眼の特徴を、選択した眼のモデルと共に用いて、眼の光軸を推定する。この軸は、空間における眼の角度位置を決定し、この軸をユーザの視軸の既知の発散と共に用いて、ユーザが空間のどこを見ているかを推定することができる。

視線追跡情報を制御ツールとして用いると多くの利点がある。例えば、このような利点の例を幾つか挙げると、眼の視覚系と結果として脳で得られる画像との間の直観的リンク、手動の対話装置に対する眼球運動の速度（すなわち、ユーザは、一般的に、手動の装置を動かす前に、その装置の所望の目標箇所を見る）、及び、重度障害者が視線追跡技術を使用する可能性などが含まれる。

視線追跡システムの多くの他の適応は、幾つか例を挙げると、眼球運動と、知覚過程及び／または認知過程と、の間のつながりに関する心理学的及び生理学的研究、運転者の認識の分析、広告レイアウト及びウエブサイトレイアウトの有効性の研究、及び、視線依存表示（ｇａｚｅ ｃｏｎｔｉｎｇｅｎｔ ｄｉｓｐｌａｙｓ）を含み得る。

一般的に、多くの既存の視線追跡技術は、以下のように動作するシステムを採用することが知られている。すなわち、眼を発見するために、与えられた画像データを分析し、発見された眼の特定の特徴を抽出し、その特徴を用いて、画面上の注視点（point of gaze／ＰＯＧ）を推定する。しかしながら、これらのシステムは、ユーザのＰＯＧを決定するために、一般的に、複数の照明光源と、１つまたは複数の撮像システムとを採用する。これらのシステムは、軸上及び軸外の両方の照明光源を含む傾向があり、画像差分法を用いてシーンで眼を検出、追跡する。これから、瞳孔中央と、照明光源からの複数の角膜反射（プルキニエの像としても知られる）とを、眼の特徴として抽出し、それらを用いて、画面上のユーザのＰＯＧを決定する。

一態様において、視線追跡を行う方法を提供する。その方法は、単一の軸上撮像装置のためにシーンの照明を最適化することと、最適化された照明の下で、単一の軸上撮像装置を用いて画像を撮影することと、撮影した画像を処理して視線推定を行うことと、を含む。

他の態様においては、その方法を行うように構成されたコンピュータ可読媒体及びシステムを提供する。

添付の図面を参照しながら、ほんの一例として実施形態を記載する。

図１は、ユーザの視線を追跡するために、視線追跡システムが電子装置に組み込まれた環境を示す概略図である。 図２は、軸上に搭載した電子装置の例である。 図３は、軸上及び軸外に搭載した電子装置の例である。 図４は、視線追跡システムの構成の例である。 図５は、画像の眼の概略図である。 図６は、視線追跡システムの構成の例を示すブロック図である。 図７Ａは、動的照明手順の適用を示す状態図である。 図７Ｂは、シーンに複数のユーザを含む動的照明の適用を示す状態図である。 図８は、第２の瞳孔を発見するための手順を示す概略図である。 図９は、瞳孔を理想的にするための手順を示す概略図である。 図１０は、瞳孔を理想的にするための別の手順を示す概略図である。 図１１は、動的照明手順で行い得るコンピュータで実行可能な操作の例を示すフローチャートである。 図１２は、軸上眼候補検出プロセスの例を示すフローチャートである。 図１３は、理想的な照明パラメータを用いて、軸上の眼候補検出プロセスで適用された軸上閾値区分の効果を示す図である。 図１４は、軸上の眼候補検出プロセスの別の例を示すフローチャートである。 図１５は、軸上画像の例を示す図である。 図１６は、図１５の軸上画像に画像勾配の大きさを適用したものを示す。 図１７は、図１５の軸上画像への閾値による区分の適用を示す図である。 図１８は、眼候補フィルタリング手順で行い得るコンピュータで実行可能な操作の例を示すフローチャートである。 図１９は、瞳孔‐グリントベクトルを用いた視線追跡システムによって照らされた眼と、示されたベクトルの正規化に用いられた距離メトリックを示す図である。 図２０は、瞳孔‐グリントベクトルを用いた視線追跡システムによって照らされた眼と、示されたベクトルの正規化に用いられた角膜距離メトリックを示す図である。 図２１は、視線決定手順で行われ得るコンピュータで実行可能な操作の例を示すフローチャートである。 図２２は、実装例において視線追跡システムによって行い得るコンピュータで実行可能な操作例を示すフローチャートである。

図を簡単で明瞭にするために、適切であると思われる箇所では、対応する要素、または、類似の要素を示すために図中、参照番号を繰り返してよいことは理解されよう。さらに、本明細書に記載の例を十分に理解するために、多数の具体的詳細を記載する。しかしながら、これらの具体的詳細以外で、本明細書に記載の例を実践してよいことを当業者は理解されよう。他の点では、本明細書に記載の例を不明瞭にしないために、周知の方法、手順、及び、コンポーネントについては詳細に記載していない。また、記載は、本明細書に記載の例の範囲に限定するためのものではない。

本明細書で使用する例及び対応する図は、例示のみを目的としていることは、理解されよう。本明細書に記載の原理を逸脱することなく、異なる構成及び用語を用いることができる。例えば、これらの原理を逸脱することなく、コンポーネント及びモジュールを追加、削除、変更、または、異なる接続で配置することができる。

大抵の既存の赤外線ベースの眼追跡システムは、ユーザの瞳孔を確実に追跡するために、軸上及び軸外の両方の照明光源を必要とすることが分かった。以下で説明する方法及びアルゴリズムは、軸上照明光源（単数または複数）と共に、単一の軸上センサを有する視線追跡装置のためのシステムを記載する。単一のセンサのみを有する眼追跡システムを提供できることによって、広範な電子装置、特に、ハンドヘルドまたはパーソナル電子装置内に収容可能なサイズにできる視線追跡システムモジュールの作成が可能になることが認められた。例えば、本明細書に記載のシステムは、標準的なラップトップウェブカムまたは携帯デバイスカメラと類似のフォームファクタで収納されるよう構成することができ、直観的な追加の人間と機械とのインタフェースとして、ラップトップまたはマルチメディア装置で便利にインタフェースされることができる。本明細書に記載の例は、軸上のみの構成で示されているが、記載されている原理は、軸上及び軸外視線追跡装置に同様に適用することができ、その装置の信頼性を向上させ、誤検出率を低減することは、理解できる。

視線特性を検知、追跡するために構成され、そこから得られた情報を用いて、注視点を推定するように構成されたシステムを提供する。このようなシステムは、単一の軸上センサを用いて視線データを捕捉する構成において、特に有利である。

対象の眼の動的照明、軸上候補検出技術、軸上候補フィルタリングプロセス、及び、軸上視線決定技術を行うためのシステムと、そのようなシステムによって実装されるコンピュータで実行可能な命令及び操作と、について以下に詳細に記載する。以下に詳細に記載するように、軸上眼候補フィルタリング技術及び軸上眼候補検出技術は、通常、本明細書では、眼検出及び眼追跡と呼んでよい。軸上視線決定技術も、本明細書では、画像から抽出した特徴を用いて画面上の視線を推定する方法と呼んでよい。動的照明は、眼追跡を行うのに用いられている装置のパラメータを修正して、視線追跡のために許容可能な画質を達成する並行プロセスまたは技術とみなしてよい。本明細書に記載の技術が任意の適切な視線追跡システムに組み込まれてよいことは理解できる。特に、動的照明及び眼候補フィルタリングアルゴリズムは、独立してモジュール化でき、任意の視線追跡システムで使用できて、信頼性を向上させ、視線追跡を実現可能及び／または視線追跡が機能するユーザの範囲を広げる可能性がある。

本明細書に記載のシステム及び方法は、様々な利点を提供する。例えば、本明細書に記載のシステム及び方法を採用して、サイズを低減し、モジュール化を進め、かつ、視線追跡を実行可能なユーザのパーセンテージを増加させることができる。

信頼できる眼追跡装置が単一の同軸照明光源を有する単一のカメラ上で機能できるようにすることによって、ハードウェア装置のサイズ制約がカメラ自体のサイズ制約に抑えられることが分かった。これは、同軸照明光源を含むことは、軸外照明のサイズ要件と比較して最小限であることが多いためである。軸外照明は、機能的に同軸でない照明光源に必要な距離によって物理的な制約を受ける。

さらに、深度（depth）の計算方法は、使用される個々の配置から独立しているので、モジュール性（すなわち、モジュール化する能力）の著しい増加を達成できることが分かった。例えば、設計において、カメラモジュールを選択すると、本明細書に記載のシステムは、標準的なウェブカムとインタフェースを取るのと同様に、カメラモジュールとインタフェースを取ることができる。これは、例えば、同期等のために、より複雑な配置やインタフェースを照明光源とカメラモジュールとの間で使用する必要がある軸外の構成と比較すると、特に有利である。例えば、距離メトリック（metric）は、三角測量を介して達成されるので、軸外照明光源の距離によって、視線追跡装置が機能できる範囲が制限されることが多い。２つのカメラシステムは、カメラ間の距離を用いてユーザのシステムからの距離を三角法で測るので、この問題は、２つのカメラを用いた眼追跡システムに関して発見されたことに留意してよい。

以下の技術によって、眼のパラメータの変化量を有利に増加させることができ、従って、より大きいユーザ基盤に適用することができる。本明細書に記載の動的照明技術によって、視線システムは、ユーザを発見するために、許容照明設定のより全面的な範囲をスキャンすることができる。一方、以前のシステムは、一定の範囲を有するので、ユーザの潜在的基盤を制限することが分かった。本明細書に記載のシステムは、眼候補フィルタリングアルゴリズムを適用して、瞳孔のようなオブジェクトを正確に拒絶することによって、ユーザが眼鏡をかけている場合などの他の使用例を取り扱うように適合可能なことも、分かった。

図面を参照する。図１は、軸上視線追跡システム１０が電子装置１２に組み込まれている視線追跡環境８（すなわち、視線追跡を行う任意の環境）を示す。図１に示す例においては、視線追跡システム１０は、電子装置１２の少なくともコンポーネント（例えば、表示画面）に向けられるユーザ１８の片方または両方の眼１６の視線１４を追跡する。視線追跡システム１０は、ユーザ１８の片方または両方の眼１６の撮影を可能にする視野（ＦＯＶ）２０を有する１つまたは複数の撮像コンポーネント（例えば、以下に記載する）を含む。

図２は、図２に示す軸上に搭載した電子装置１２の外観の正面図である。図３に示す軸上及び軸外に搭載した電子装置１２´と比較して、複雑さが軽減されていることは明らかである。図２に示すように、軸上視線追跡システム１０は、ＦＯＶ２０内の画像を撮影するための照明及び少なくとも１つのレンズ要素（図示せず）を備える撮像装置２２を含む。図３に示す軸上及び軸外に搭載した電子装置１２´は、（図３に示す撮像装置２２を有する）本明細書に記載の軸上視線追跡システム１０を含んでよく、また、追加の軸外撮像装置２４（図３においては、軸上装置２２の両側にある２つの装置２４ａ，２４ｂ）と、撮像装置２２と２４との間にある同期コンポーネント２６とを含む。軸上視線追跡システム１０は、軸外のコンポーネントのためにさらなる分離を必要としないので、より小さい装置に組み込むことができることは、理解できる。さらに、コンポーネント間の同期の必要性は、取り除かれないにしても、大きく軽減される。

軸上視線追跡システム１０の構成例を図４に示す。この構成は、軸上撮像装置２２と、処理モジュール３０とを含む。処理モジュール３０は、通常、本明細書に記載の様々な技術、プロセス、方法、及び、アルゴリズム（交換可能に使用される用語）を行うための任意の１つまたは複数のコンポーネント、モジュール、プログラム命令セット等を表してよい。処理モジュール３０は、撮像装置２２に結合されて、撮影された画像を受信し、以下に詳細に記載した撮像装置２２の使用を制御するための命令及び／またはデータを提供する。軸上撮像装置２２は、撮像モジュール３４（例えば、カメラ）と、１つまたは複数の照明光源３２（例えば、カメラを取り巻く一連の赤外線ＬＥＤ）と、を含む。軸上視線追跡システム１０は、電子装置１２等とインタフェースを取るための通信バスまたは他の接続４０を含んで、例えば、電子装置１２上のアプリケーションまたはプロセスへの入力として、視線を提供する。

撮像装置２２、２４は、ユーザの眼の検出を可能にする画像を撮影する。図５は、同軸または軸上の照明の下で撮像可能な眼の例である。図５においては、眼は、瞳孔５０、虹彩５２、グリント（glint）５４、強膜５６、及び、眼の周りの皮膚６０を含む。

図６は、視線追跡システム１０の構成例を示す。図６に示す構成においては、処理モジュール３０の様々な機能ブロックが、撮像装置２２に結合されて示されている。撮像装置２２は、軸上画像を撮影し、軸上画像は、画像処理技術を施されるために画像前処理ブロック７２に送られる。画像処理技術は、眼の検出及び追跡、または、眼の特徴抽出を容易にするために、元の画像を修正する任意の方法を含むことができる。例を挙げると、画像の、ノイズ除去、ぼやけ修正、コントラスト強化、エッジ強調が挙げられる。前処理によって、修正された画像を生成し、その画像は眼の検出、追跡段階に送られ、そこで、視候補検出７４を修正された画像に対して行って眼候補を決定し、眼候補フィルタリング７６を眼候補に行って、「発見された」眼を決定する。発見された眼は、眼の特徴抽出ブロック７８に提供されて、眼の特徴を決定し、決定された特徴は、視線推定ブロック８０に提供されて、例えば、注視点出力を生成して、電子装置１２のアプリケーションまたはプロセスに提供される。図６に示すように、並行して、動的照明コントローラ７０を用いて、撮像装置２２から動的照明パラメータを取得し、眼の特徴抽出ブロック７８から眼の特徴の強度（intensity）特性を取得することができて、（例えば、最適化された、または、理想的な照明を達成するために）継続的に照明手順を改良するために新しい動的照明パラメータを生成する。

以下の記載及び例において、用語「ブロブ（blob）」は、別個のオブジェクトとみなされるような共通の特性を有するデジタル画像領域を指して用いてよい。デジタル画像は、所定のメトリックによって分析、フィルタリングされて、２値画像（すなわち、２つの値の範囲を有する画素の画像）に変換されてよい。これらの場合、バイナリ（２値）ブロブが抽出される。以下の記載において、軸上装置について述べる時、撮像システムと単一の同軸照明光源の任意の組み合わせを適用することができ、図４に示す例は、例示目的のためだけであることは、理解できる。例えば、単一の照明光源は、ＬＥＤ等のより小さい照明光源を任意に組み合わせて１つにまとめられた照明光源を含んでもよく、単一の大きい光源を含んでもよい。

動的照明
動的照明コントローラ７０が行い得る動的照明プロセスの例を図７Ａ及び７Ｂを参照して記載する。動的照明プロセスは、システム１０のフィードバック制御ループを介して、信号が、許容可能な照明範囲内になるように、自動ゲイン制御システムと同様に機能してよい。この例においては、動的照明プロセスは、入力として、時間ステップｔで１つまたは複数の信号振幅インジケータと、１つまたは複数の照明変動パラメータとを取り、時間ステップ（ｔ＋１）で信号振幅を改良するために、更新した照明パラメータを決定する。この例においては、動的照明プロセスの信号振幅インジケータは、ユーザの眼の強度特性であり、従って、眼の特徴の強度パラメータとみなすことができる。一人または複数のユーザが必ずしもシーンに含まれるわけではないので、多状態システムは、また、図７Ｂに示す状況を可能にするように構成することができる。

動的照明コントローラ７０の目的は、ユーザの眼が、最適化された、または、「理想的な」照明の下にあるように、有効なシーン照明を修正することである。ユーザの瞳孔の再帰反射性の変動量は大きく、カメラパラメータは一定なので、通常、他の視線追跡システムは、人間集団の一部に対して正確に機能しないという結果になるので、動的照明コントローラ７０は、シーン照明を最適化することによって、視線追跡システム１０が、より広い範囲のユーザに対して、正確に機能することを可能にする。

以下の記載のために、次の用語の意味を説明する。

信号振幅インジケータ：これは、画像の小区分の平均強度等、信号の任意の強度インジケータを示すことができる。記載している動的照明システムのために、抽出された眼の特徴の強度分布が、振幅インジケータとして用いられる。システムは、所望の理想的な照明と、所与の信号振幅インジケータの値との関係を、仮定する。一例として、動的照明システムは、ユーザの発見された瞳孔の平均強度を信号振幅インジケータとして用いることができ、それらを、強度範囲の半分にできるだけ近づくように努める。

照明変動パラメータ：これは、所与の時間ステップｔの間、カメラが記憶する光の量の修正を可能にする、軸上装置が利用できる任意のパラメータを示すことができる。従って、照明変動パラメータは、所与の時間ステップｔの間、軸上の照明光源が出力する照明量を制御するパラメータ、または、カメラセンサが記憶する照明量を制御するパラメータを含むことができる。前者の例は、ＬＥＤ照明光源に送られた電流の量であってよい。後者の例は、撮像システムのシャッター速度であってよい。

眼の特徴の輝度／強度：個々の眼の特徴を指す時に、撮像システムによって測定された眼の特徴の強度を示すために、輝度及び強度と言う用語を交換可能に使用する。一例として、軸上装置から取得された軸上画像は、（８ビットの符号なしグレースケール画像として記憶される）平均強度２００のユーザの瞳孔を含んでよい。従って、この画像においては、そのユーザの眼の平均の瞳孔の輝度、または、平均の瞳孔の強度は、２００となる。平均強度とは、ユーザの瞳孔に属するとして区切られた画素値の平均を示すことに留意されたい。

軸上／同軸照明：同軸照明光源は、撮像システムの光軸からの距離が、システムに戻る反射光が光学系の軸とほぼ平行になるほど十分に小さい照明光源を指す。

理想的な照明：本明細書の定義では、ユーザの眼の特徴が容易に区別可能な照明の状態を指す。詳細には、理想的な照明は、所望の眼の特徴がコンピュータビジョンシステムによって抽出でき、シーンの他の誤検出から容易に区別可能なように、所望の眼の特徴を照らす照明設定とみなすことができる。明瞭にするために、以下の記載は、軸上のみの視線追跡システム１０に関するが、動的照明の原理は、異なる構成及び異なる照明基準に同様に適用することができる。

理想的な軸上照明：ユーザの瞳孔をユーザの虹彩と角膜グリントから容易に区別可能な照明の状態を指す。これによって、シーンの他のオブジェクトから瞳孔を容易に区分することができ、視線追跡に用いられる他の眼の特徴（角膜グリント、角膜縁など）の抽出を容易にする。理想的な照明の概念は、ユーザの強膜、皮膚、瞳孔、瞳孔のグリント、及び、虹彩の反射特性の相違から得られる。軸上照明の下で全てのユーザに関して、最低から最高までの反射率の順は、一般的に、虹彩５２＜強膜５６〜皮膚６０〜瞳孔５０＜角膜グリント５４である（ここで、〜は、近似値を表し、＜は、より小さい、を表す。図５も参照）。各ユーザの瞳孔の反射率特性は、全く異なるかもしれないが、瞳孔の反射率と虹彩の反射率との相違は、全ての場合ではないにしても大抵の場合に、大きいのが一般的なので、本明細書に記載の反射率の関係が当てはまることに留意してよい。

概して、ユーザの瞳孔を理想的な軸上照明で得る方法は次のようになる。ユーザの瞳孔がカメラセンサの範囲の中間点に対応する値になるように、装置の照明特性を設定する。例えば、８ビットデジタル画像（０〜２５５）を供給するカメラセンサに関しては、瞳孔が常に１２８の値になるようにシステムの照明設定を修正することができる。この例においては、そうすることによって、システム１０は、下記の達成を目指すことができる。
ａ）瞳孔が露出オーバーにならず、従って、（画像の中で過飽和のブロブになる）角膜グリントやメガネのグレア等の障害物から容易に区別可能であること。
ｂ）瞳孔が露出アンダーにならず、従って、視線追跡の対象となっている眼の特徴（角膜グリント、角膜縁等）がシーンから区別可能なほど十分に照らされること。
ｃ）最も反射しない顔特性である虹彩が、画像の範囲の下部１／４内にほぼおさまるので、容易に区別可能であること。

一例においては、本明細書に記載の動的照明プロセスの実装は、信号振幅パラメータとしてのシーンの平均瞳孔強度と、現在のカメラパラメータを入力として取ることができ、カメラパラメータは、記載しているプロトタイプにおいては、シャッター速度とゲインを用いる。本明細書に記載のプロセスは、照明光源を修正することや、シーンの照明を修正する他の方法とは違って、カメラパラメータを照明変動パラメータとして使用してよいことに、留意してよい。よって、このプロセスの目的は、「理想的な」状態に近づくように有効なシーン照明を修正することであってよく、従って、カメラ強度パラメータと照明光源の任意の組み合わせを介して、実装することができる。明瞭、簡潔なように、使用する照明変動パラメータがカメラゲインとカメラのシャッター時間である動的照明プロセスを記載する。上記のように、動的照明システムは、任意の１〜ｎ個の照明変動パラメータからなってよい。従って、カメラのシャッター時間またはゲインのうちの１つからなると定義されたシステムを考えると簡単である。

本明細書に記載の動的照明アルゴリズムは、システム１０の信号インジケータパラメータとして、ユーザの瞳孔の強度特性を使用してよいことにも留意してよい。眼の異なる特徴の既知の反射率特性を所与として、このシステム１０のインジケータパラメータとして、任意の数の他の特徴を使用してよい。しかしながら、提案されたシステムの性質、該パラメータ（瞳孔の強度特性）の抽出の容易さ、及び、記載している「理想的な」照明状態のために、この特徴を記載している実施形態では使用する。

図７Ａは、３つの状態を有する状態図９０を用いた動的照明プロセスを示す。各状態は、分析のために瞳孔を取り上げ、カメラ強度パラメータを修正するか否かを決定する。この例では、システム１０が、所与の時点で、シーンの一人のユーザのみを追跡することを求めると、仮定している。従って、図７Ｂで示すように、複数のユーザがシーンにいる場合、状態図９０は、特定のユーザを追跡する構成に修正することができる。

瞳孔探索
動的照明プロセスの初期状態においては、瞳孔が発見されていないと仮定することができる。９４で瞳孔の位置を突き止めるために、動的照明コントローラ７０は、瞳孔を発見するまで、様々なカメラパラメータ設定を周期的に繰り返す。一例において、動的照明コントローラ７０は、カメラシャッター時間の全範囲を、各周期で、その範囲の３３％と６６％との間でカメラゲインを切り替えて、２周期繰り返す。多くの異なるシャッター時間とゲインとの組み合わせは、循環バッファに記憶して、周期的に繰り返すことができる。発見された瞳孔の強度のキューも作成することができる。瞳孔が発見された各繰り返しで、瞳孔の輝度がキューに追加される。動的照明プロセスは、キューが循環バッファのサイズになるまで、または、瞳孔が発見されず、キューが空で無い状態、すなわち、瞳孔（単数または複数）がその前に試したシャッター時間で見つけられた状態まで、毎回、カメラのシャッター時間を変更しながら、循環バッファを周期的に繰り返す。この時点で、プロセスは、理想的な瞳孔の輝度に最も近い瞳孔の輝度を探して、キューを調べ、それに従って、シャッター時間を設定し、図７Ａに示す「他の瞳孔を発見」状態９２に移動する。

上記の操作を行うことによって、動的照明プロセスは、そのシーンに最適のシャッター時間を選択することを目指す。

他の瞳孔を発見
他の瞳孔を発見状態９２においては、目的は、現在の瞳孔を見失うことなく、ユーザの他の瞳孔の位置を突き止めることである。そうするために、動的照明プロセスは、図８に示すように、第２の瞳孔が発見されるまで、カメラの線形ゲイン範囲を段階的に上昇、下降することができる。図８の点（ａ）及び（ｂ）は、瞳孔が所望の瞳孔強度範囲の端で発見される場合を表している、従って、瞳孔を見失わないように他の方向への探索の切り替えを行う。点（ｃ）において、第２の瞳孔が発見され、従って、状態が変更される。

プリセットのゲインステップサイズを決定して、動的照明プロセスは、カメラのミッドゲイン値で始まり、上限に達するまで、ゲイン範囲を段階的に上昇してよく、その後、ミッドゲイン値に戻って、下限に達するまで、ゲイン範囲を段階的に下降してよい。動的照明コントローラ７０は、第２の瞳孔が発見されるまで、そのように進み、第２の瞳孔が発見された時点で、プロセスは、図７Ａに示すように、「瞳孔の理想化」状態９６に移る。

動的照明コントローラ７０が、いずれかの時点で最初の瞳孔を見失った場合、プロセスは、瞳孔探索状態９４に戻ってよいことに留意してよい。シーンがかなり変動的な場合、（範囲の最上または最低に到達した後、範囲の中間点にすぐに戻るのではなく）鋸歯状関数を実装することができることにも、留意してよい。さらに、動的照明プロセスは、発見された瞳孔の許容された照明の全範囲を周期的に繰り返すことを確実にするために、一旦、ゲイン範囲の限界に到達すると、シャッター時間を増加または減少させるように構成することができる。

第１の瞳孔が探索により見失われていないことを判断するために、瞳孔の輝度が設定した限界の外になると、段階的上昇または段階的下降の動きを停止することができる。例えば、使用する限界は、以下に記載の瞳孔候補フィルタリングプロセスによって使用される「瞳孔中央輝度」基準の部分的範囲を含んでよい。従って、動的照明プロセスは、段階的に上昇及び下降することによって、フィルタリングプロセスが、実際の瞳孔を誤検出とみなして拒絶することがないようにすることができる。そうすることによって、システム１０は、シーンで１つの瞳孔のみで正確に機能するので、よりロバストであることが、確認される。

瞳孔の理想化
瞳孔の理想化状態８６においては、両方の瞳孔が発見されている。この状態での目的は、両方の瞳孔を「視野内に」維持して、常に追跡しながら、理想的な瞳孔の輝度にできるだけ近く、瞳孔の強度値を維持または移動させて、理想的な状態にシステムを維持することである。

本明細書で用いられるプロセスは、各瞳孔の輝度を比較して、理想的な瞳孔輝度からどの瞳孔が最も離れているかを決定することができる。動的照明コントローラ７０は、次に、その瞳孔を理想（ideal）に近づけるために、カメラゲイン及び／またはシャッターを移動させることが必要な方向を決定してよい。他の瞳孔を見失わないために、動的照明コントローラは、他の瞳孔が、例えば、上記の他の瞳孔を発見状態９２で記載したのと同じ範囲などの、決定した許容可能な瞳孔範囲内にあることを確認するように構成することができる。その場合、動的照明コントローラ７０は、ゲインステップサイズずつ、カメラゲインをインクリメントまたはデクリメントする。そうでない場合、動的照明コントローラ７０は、現在のカメラ強度パラメータを維持する。

瞳孔理想化状態９６を、図９及び図１０に示す。図９においては、瞳孔２は、瞳孔１よりも理想的な瞳孔の輝度から遠い。従って、瞳孔１を理想的な輝度に近づけるために配置全体を移動させる必要のある方向を決定する。瞳孔１は、まだ、許容可能な瞳孔の輝度の範囲内にあるので、移動させてよい。同様に、図１０において、瞳孔１の輝度は、理想から最も遠いので、方向は、その輝度に基づいて決定される。しかしながら、瞳孔２は、許容可能な瞳孔の輝度の範囲外なので、カメラ強度の変更を行う必要はない。

上記のように、図７Ａに記載の単一ユーザの状態図は、シーンの複数のユーザを説明できるように修正することができる。図７Ｂは、同様の状態図を示すが、「瞳孔探索」状態は、「瞳孔を連続的にスキャン」状態に置き換えられている。単一ユーザの場合の初期状態と同様に、発見された瞳孔は、記憶され、そのシーンの瞳孔の強度と位置も同様の記憶コンテナに含まれる。しかしながら、この状態は、元の状態から区別可能で、所望のユーザの位置を追跡するための外部信号を受信するまで、「他の瞳孔を発見」状態に切り替える必要はない。外部信号は、所望のユーザの位置に対応する画面の座標を含んでよく、その座標は外部のユーザ位置測定システムから取得される。一旦、信号を受信すると、その画面上の点に最も近い瞳孔が決定され、許容された距離閾値内にあると、システムは「他の瞳孔を発見」状態に切り替わる。さらに、どの時点でも、システムは、追跡するユーザを切り替えるための外部信号を受信してよい。そのような場合、システムは、初期状態に戻る。

記載している複数のユーザの状態図は、一度に一人のユーザのみを追跡するが、外部信号を介してどのユーザを追跡するかを選択することができることに、留意されたい。この理由は、ユーザの反射性特性が類似していない限り、１つの修正可能な照明光源を有する動的照明システム１０は、一人のユーザしか一度に追跡できないからであることが分かった。しかしながら、視線追跡装置によって、シーンの複数の小区分（例えば、照明光源の複雑なセット、または、対象領域のカメラパラメータの切り替えを介して）の個別の有効な照明の切り替えが可能になる場合、これは、複数のユーザを追跡するように容易に拡張できる。このような状況においては、システムは、シーンのｎ個の小区分を含み、各小区分は、１〜ｍ個の照明変動パラメータを有する。従って、記載している単一ユーザの状態図は、各小区分で実装することができ、シーンの各小区分内で単一ユーザの追跡を可能にする。あるいは、図７Ｂに記載の状態図は、各小区分に関して実装することもできる。このようなシステムは、ｎ個の外部制御信号を含むことになり、シーンの小区分毎に複数のユーザが可能になる。

図１１を参照すると、動的照明コントローラ７０が行う動的照明プロセスは、次のように記載することができる。２００において、動的照明コントローラ７０は、眼が発見されない間、動的照明パラメータ範囲を周期的に繰り返し、２０２で、眼が発見されたか否かを決定する。眼が発見された場合、動的照明コントローラ７０は、（図１１において点線で示されるように）２０４で動的照明パラメータ範囲を任意で１回パスして、入手可能な各眼に関して眼の特徴強度を記憶してよい。動的照明コントローラ７０は、次に、２０６で、シーンにいるユーザが単一であるか複数であるかを決定する。単一ユーザがシーンに存在する場合、動的照明コントローラ７０は、２０８で入手可能なユーザの眼を理想的な照明に最も近づける動的照明パラメータを選択する。または、ステップ２０４が省略される場合、ステップ２１２に直接、進む。複数のユーザがシーンにいることが予測される場合、動的照明コントローラ７０は、２１０で対象のユーザに関して外部インジケータからの発見された眼の距離メトリックに基づいて、使用する眼を決定する。

ユーザの眼を追跡していると、動的照明コントローラ７０は、ユーザの眼が理想的な照明にできるだけ近い状態のままであるように、２１２で照明パラメータを動的に修正する。理想的な照明に近く眼を維持するために使用されるメトリックは、この例においては眼の特徴である強度である。

本明細書に記載のフローグラフ例は、少なくとも一部の例で提供されるように、１つまたは複数の見失った眼を発見または再発見することに関連するステップを含まないことに、留意してよい。見失った眼の発見または再発見は、両方の眼を追跡することが求められる時に、よりロバストな追跡体験が得られるが、システムによって必要とされないことが分かった。例えば、両方の眼ではなく片方の目を追跡することに焦点を当てた視線追跡システムは、両方の眼を揃えることに関心がなくてよい。

軸上眼検出技術
ユーザの眼を検出するために赤外線ベースの視線追跡装置よって用いられる一般的な技術は、軸上の（明るい）画像と軸外の（暗い）画像とを最初に区別することによって、シーンの残りから瞳孔５０を閾値によって分けることを伴う。瞳孔５０は、軸上画像において角膜の再帰反射性のために明るく、他は暗いので、結果として得られる差分画像は、理想的には、瞳孔だけを含むはずである。この画像は、次に、信頼できるレベルで、閾値によって分けられ、瞳孔を含む２値画像となる。しかしながら、実際には、ユーザが動いている時に区別することによって起こるノイズや、瞳孔と同じ特性を示すオブジェクト等のさらなる問題が、かなりの量の誤検出となり得るものを、シーンに加える傾向があり、シーンはフィルタリングが必要であることが分かった。軸外の照明のみを使用する他のシステムは、テンプレート照合または複数のハールカスケード分類器などの、シーンから眼を抽出、決定する、計算的にかなり高価な外観ベースの方法を行う傾向がある。

これらの問題を取り扱うために、図６に示す眼候補検出７４は、理想的な軸上照明条件下では、ユーザの虹彩５２の反射特性は、軸上の場合、ユーザの顔の残りの部分及びユーザの瞳孔５０の反射特性より著しく低いという定理を利用するように構成することができる。その研究は、信頼できるテストセットであることが分かった。人間の皮膚、人間の虹彩、及び、人間の瞳孔の網膜の反射特性に関する研究は、これらの仮定をサポートすることも分かった。

理想的な照明の下で、ユーザの瞳孔５０は、画像から容易に抽出することができることを、上記定理は、意味している。すなわち、ユーザの眼の瞳孔と虹彩５２との間のコントラストは、シーンで最も大きいコントラストの１つであるという知識を用いて、画像を２値化し、これらのオブジェクトの抽出を容易にすることができる。このような画像中のブロブを、次に、（例えば、下記の軸上の眼候補フィルタリング技術を介して）、分析、フィルタリングするだけで、実際の瞳孔５０のみが残る。使用する決定した閾値は、理想的な照明の下で、それに従って、任意のユーザを閾値によって分けることができる閾値とすべきである。この例においては、技術は、上記観点、すなわち、ａ）入力画像は、理想的な軸上照明条件下にあるということ。ｂ）バイナリブロブは、正確にフィルタリングできて、その結果、実際の瞳孔を選択することができる、ということに依存している、ことに留意してよい。２値画像は、大量のノイズ、中でも、ユーザの顔の表情や、シーンの潜在的な他のノイズなど、を含み得るので、これは、特に重要になり得る。

画像を２値化してバイナリブロブを抽出することは、元の画像、または、元の画像の修正表現を閾値によって分けることを伴う。記載のシステムを用いて、このような手順を実装する利点は、対象となるオブジェクトである眼が、瞳孔５０と虹彩５２との強いコントラストによって、シーン内の他のオブジェクトから容易に区別できることである。この予備知識を所与のものとして、多くの異なるアプローチを採用することができるが、２値画像を作成する２つの例を以下に記載する。これらの例は、例示の目的で、与えられた予備知識の有益な効果を示すためだけに提供されており、本明細書に記載の原理内で包括的であるとみなすべきではないことに留意してよい。

図１２は、眼候補検出７４の一例を示す。３００において、前処理された画像が取得され、３０２で、その画像を閾値で分けて２値画像を生成する。次に、３０４で、２値画像を処理して、バイナリブロブを抽出し、３０６で、これらのバイナリブロブは、瞳孔候補としてランク付けされる。図１２に示すアプローチは、画像シーンが、主に、ユーザの顔に対応し、照明の制約が特に懸案事項でない時、適用することができる。このような場合、システム１０は、虹彩５２の強度値に近似する強度値で画像を閾値によって分けるように試みてよい。そうすることによって、皮膚６０及び瞳孔５０は、虹彩５２から分割され、その後、皮膚６０と瞳孔５０が分けられる。そのような分割が強膜５４を含むか否かは、重要でないと思われる。このような事情で、カメラセンサの照明範囲の下部１／４で、閾値によって分けることは、瞳孔５０を抽出する信頼できる方法であり得ることが分かった。

図１３は、図１２で示すプロセスの適用例である。理想的な照明下で、眼候補検出において軸上閾値区分を伴い、例示の２値画像は、両方とも、強膜５６を顔とリンク付けてもリンク付けなくても、閾値による区分の可能な結果である。この例における最終的な結果は、実際の瞳孔５０と、後に、フィルタリングされて取り除かれる顔の全体または部分と、に対応するバイナリブロブを取得することである。

図１４を参照すると、眼候補検出７４のプロセスの別の例が示されている。前処理された画像（例えば、図１５に示す画像３５０）が３２０で取得され、この画像を用いて、３２２で勾配の大きさ、３２４で勾配の向きを計算する。勾配の大きさの計算によって、図１６に示す勾配の大きさの画像である画像３６０を生成する。画像３６０は、３２６で勾配の閾値によって分けられて、例えば、図１７に示す２値画像である画像３７０を得る。次に、２値画像は、３２８で処理されて、バイナリブロブを抽出し、バイナリブロブは、勾配の向きと共に用いられて、３３０で瞳孔候補をランク付けする。

図１４に示すプロセスは、入力画像の画像勾配を分析することと、そのための適切な閾値を決定することと、を含む。このプロセスでは、不完全な照明事情を考慮する。その場合、シーンの追加の照明光源によって、上記の簡単な閾値による区分の適用が難しくなる場合がある。このような事情で、ユーザの瞳孔が、シーンの記載している理想的な照明に到達できることが確実でない場合がある。また、ユーザの虹彩は、部分照明によって予測より明るくなり、予測される強度範囲にない場合がある。しかしながら、人間の網膜の高い再帰反射性特性を考えると、瞳孔は、シーンで最も明るいオブジェクトの１つになるはずであるということは、シーンの予備知識から推測することができる。さらに、虹彩５２が局所的に最小強度を有することを、推測することができる。従って、勾配の大きさは、瞳孔と虹彩の境界で、シーン内で最も大きい勾配となることが予測できる。

システムの照明光源が、シーンの他の照明光源に比べて、ごくわずかである場合には、上記の仮定はあてはまらないことに留意してよい。一例として、軸上装置２２が、白昼に使われる場合、装置２２にあたる有効な日光照明が、装置の照明光源３２の照明より著しく強いので、上記仮定は、あてはまらないと思われる。

３２６において勾配の大きさの画像を確実に２値化するために、システム１０は、勾配の大きさのヒストグラムを分析して、画像の最高パーセンテージを２値化する閾値Ｐ＿ｔｈｒｅｓｈｏｌｄを探すことができる。

Ｐ＿ｔｈｒｅｓｈｏｌｄ＝パーセンテージ（眼）＋パーセンテージ（予測されるコントラストの強いオブジェクト）

従って、シーンの端部の最高Ｐ＿ｔｈｒｅｓｈｏｌｄパーセンテージに対応する勾配の大きさのバイナリブロブを含む２値化された画像を作成することができる。眼に対応する勾配信号の比率と、他の予期されたコントラストの強いオブジェクトに対応する勾配信号の比率は両方とも、記載している適用に関して、これら両方の可能な最大のサイズ及び質を使用するはずである。

一例としては、所与の深度範囲で一人のユーザの眼のみを追跡しており、シーンが、そのユーザの顔のみを含むアプリケーションに関しては、システム１０は、（人間の瞳孔サイズの統計的変動と、ユーザが存在すると思われる動作範囲を所与として）瞳孔の予測される最大サイズを計算することができる。理想的な２値化に関しては、他の予測されるコントラストの強いオブジェクト（メガネのグレア等）に対応する設定比率と、それに応じた閾値を付け加えることができる。

軸上眼候補フィルタリングアルゴリズム
眼が正確に追跡されることを確実にするために、システム１０は、大量のノイズがあり得ると思われる中で、２値画像で目を選択するように構成される。図１８を参照すると、２ステップのプロセスを採用して、２値画像から眼をフィルタリングしてよい。４００において、全ての眼候補は、眼の類型化に最適であると決定された基準のセットに基づいてフィルタリングされ、４１０において、「最も合う」（best fit）眼の対を求めて、残った眼候補を分析する。

眼候補フィルタリング
大抵の眼候補のフィルタリングに用いられる方法は、例えば、多数の簡単な特徴メトリックは、組み合わされて、信頼できるロバストな特徴を提供する傾向があることを考慮して、信頼できる特徴を作成する機械学習法に基づいてよい。記載している各特徴は、実際の瞳孔が、許容可能に、理想化された軸上照明条件下にあるとみなされる所与の範囲で設定される。各眼候補は、次に、全ての特徴に関して分析される。眼候補は、その特徴の一つの範囲内に当てはまらない場合、候補リストから取り除かれる。あるいは、重み付きの特徴セットを実装することができる。この場合、適切な瞳孔候補は、特徴の重みの合計が、ある閾値を超える瞳孔候補である。

記載しているシステムにおいて、以下の特徴を瞳孔候補のフィルタリングに用いてよい。

瞳孔の丸さ／真円度：眼の中の瞳孔の位置に関わらず、瞳孔の丸さは、ある範囲内で一定であり、他のオブジェクトは一般的に、その範囲外になる。

瞳孔強度分布：理想的な照明下では、瞳孔の輝度値は、ある一定の範囲内にあると確実に予測できる。そうすることによって、非常に高い輝度値を有する傾向がある眼鏡のグレア等のよくある誤検出から、瞳孔を容易に区別することができる。この例においては、システム１０は、平均瞳孔強度、瞳孔中央強度（瞳孔の中央断面）、及び、瞳孔強度変動を考慮するように構成される。

瞳孔面積：このメトリックによって、簡単なノイズのような小さいオブジェクトや、ユーザの顔のような大きなオブジェクトを容易にフィルタリングして取り除くことができる。

虹彩強度分布：最低の反射特性を有する外側の眼の部分として、この特徴は、低い方の境界領域内にあると予測される。

勾配の大きさ：瞳孔及び虹彩の輝度メトリックに関連して、瞳孔と虹彩の境界の勾配の大きさは、ある範囲内になると予測される。

勾配の向き：真円度及び丸さは、価値あるメトリックであるが、システム１０は、内向きの勾配の向きを有する候補を受け入れることによって、信頼できる瞳孔候補をさらに保証することができる。すなわち、信号が虹彩から瞳孔に向かうにつれて信号強度が増加する候補を受け入れる。

フィルタリングされた楕円パラメータ：発見されたバイナリブロブは、オブジェクトの大まかな推定にのみ対応することを考えると、与えられたデータを分析して、瞳孔及び／または虹彩の楕円に対応する楕円に適合させることができる。これは、画像平面の軸から離れてある程度回転させた円形のオブジェクトであるという我々の予測と一致する。従って、センサで撮像された瞳孔及び虹彩オブジェクトは、何らかの楕円形に対応する。結果として、丸さ、真円度、及び、強度分布は、オブジェクトの楕円推定に基づいて、分析することもできる。

この例は、例示の目的のために、ユーザの眼の瞳孔及び虹彩に関する特徴のみを分析していることに留意してよい。ユーザの強膜、角膜グリントの存在、及び、瞳孔候補を顔にリンク付ける他の顔を特徴等の多くの他の特徴を分析することができる。さらに、これらの特徴の全ては、テンプレート照合やハール特徴追跡などの一般的な外観ベースのマッチングアプローチに組み込むことができる。虹彩に対する瞳孔のサイズの変動、シーン中の位置による眼のサイズ、瞳孔の反射率、及び、眼鏡の使用によって、このような分類器の訓練及びテストは、比較的難しくなり、計算的に高価になる。従って、本例等の状況においては、与えられた範囲内で各特徴を独立して分析するのが望ましいと思われる。
最も合う眼の対のマッチング

ブロブの大半を取り除くと、眼であると見なされる最適の対のための瞳孔候補を考える。１つの瞳孔のみが残っている場合、最高ランクの瞳孔を選択する。この例において、最適の瞳孔の対を発見することは、各対に関して、記載している瞳孔の特徴を比較することと、最も良く似た眼候補の対を発見しようと試みることを含む。これは、瞳孔候補のヒストグラムマッチングによってさらに強化することができる。このような例においては、瞳孔の対に成功するためには、相関ヒストグラムと、類似した楕円推定寸法及び瞳孔強度分布と、を必要とする。さらに、瞳孔と瞳孔の間の瞳孔間距離の範囲を知ること、及び、瞳孔と瞳孔の間の潜在的なサイズのばらつきを知ることによって、誤検出をさらにフィルタリングすることができる。

軸上視線推定技術
上述のように、発見された眼の特徴抽出７８を行った後、システム１０は、特定の眼の特徴を用いて視線推定８０を行う。

軸上正規化ＰＣＣＲマッピング
典型的な瞳孔中央角膜反射（ＰＣＣＲ）マッピング視線推定システムは、瞳孔中央ｐ_cと角膜グリントｇ_iとの間のベクトルとして定義された１つまたは複数のベクトル

を取り上げ、その１つまたは複数のベクトルを、対応する画面の座標ｓ_iと共に用いて、視線推定マッピングを作成する。これは、特徴Ｆと画面上の点ｓ_iとの既知の対を取る較正手順を介して行われ、数値適合プロセスを行って、特徴Ｆと画面上の点ｓ_iとの間の関数マッピングの係数を決定する。このようにして、関数マッピングｆ（Ｆ）が作成される。ここで、Ｆは、特徴のセットであり、ｆは、画面上の点に戻るマッピング関数である。ユーザがシーンの中で静止している時は、正確であるが、これらの視線マッピングは、ユーザがその３次元の位置を変える時、正確な注視点から大きくずれることが多いことが分かった。

これを修正するために、２つの角膜グリント５４が取得可能な時の一方法は、図１９に示すように、２つの角膜グリント間の距離メトリックｄ_gを用いて、与えられたベクトル

を正規化することである。従って、

は、

である。これによって、眼追跡装置２２の方に向かう、または、眼追跡装置２２から離れるユーザの動きを訂正する。ここで、ユーザが、画面上の同じ点ｓ_iを見ていた時、瞳孔とグリント間ベクトルの大きさは変動する。図１９は、記載しているベクトル及び距離メトリックと共に、このようなシステムの下で照らされた眼を示す。本明細書に記載及び図２１に示す例において、軸上装置２２は、各眼に単一の角膜グリントのみを生成するので、この標準的な正規化されたベクトルは使用しない。代わりに、図２０に示すように、正規化されたベクトル

を用いる。ここで、ｄ_mは、深度の変位を訂正することができる距離メトリックである。図２１に示すように、瞳孔中央と角膜グリントとの間のベクトルが５００で決定され、距離メトリックは５０２で決定され、５００と５０２で得られた値を用いて、正規化されたベクトルが５０４で生成される。この正規化されたベクトルは、次に、５０６の関数マッピングｆ（Ｆ）に送られ、５０６は、画面上の推定された注視点を出力する。

下記を含む様々な距離メトリックを用いて、ベクトルを正規化することができる。

角膜縁距離メトリック：このメトリックでは、瞳孔の中央と、虹彩と強膜の境界（角膜縁）との間の距離を用いる。例えば、虹彩認証を介したバイオメトリック分析を行うのに用いられるアプローチ等、角膜縁を抽出するための様々なアプローチを用いてよい。これは、瞳孔の楕円形及び角膜グリントｇ_iを所与として、角膜縁ｐ_limbusの１点を抽出することによって、さらに簡単にすることができる。瞳孔の楕円形及び角膜縁の楕円形は、それらが撮像された画像平面からオフセット角にある共通の平面上の同心円であると仮定することができる。従って、画像上に形成された楕円のそれぞれの主軸は、各円半径の合理的に近似したものである。結果として、その２つの半径の関係は（それぞれ、瞳孔の楕円形、角膜縁の楕円形から）瞳孔中央ｐ_cと交差する任意の線上の２つの交点ｉ_pupilとｉ_limbusの関係を計算することによって得ることができる。よって、ｐ_limbusと瞳孔の楕円形を所与として、対応する交点ｉ_pupilを抽出し、その虹彩半径ｒ_irisは、瞳孔半径ｒ_pupilより大きいというスカラー関係を決定することができる。最後に、虹彩の直径に対応する距離メトリックｄ_mは、（回転しない楕円の方程式

から）瞳孔の楕円形の主軸ａ_pupilを取得し、ａ_pupilに上記のスカラー関係ｃを掛けることによって計算される（ｄ_m＝ｃ＊ａ_pupil）。

瞳孔間距離メトリック：人間集団の瞳孔間距離の分散に関しては十分な知識があるので、瞳孔間距離メトリックは、適切なメトリックであることが分かった。このメトリックは、ユーザの頭部姿勢が、ヨー運動により、カメラと平行でない場合を修正することができるモデルを仮定し、この例においては、ユーザの瞳孔間の距離を測定して、カメラからの距離を決定する。頭部姿勢の修正は、ユーザの鼻等の検出可能な信頼できる他の顔特徴を用いて、解決することができる。

画面焦点ベースの距離メトリック：ここでは、距離メトリックｄ_mは、シーン内の特定のオブジェクトのぼやけの変化に基づいて推定される。この場合、瞳孔と虹彩の境界が選択されるが、画像内の他の境界（例えば、眼の他の境界、または、顔の特徴の境界）を選択してよい。このメトリックは、焦点からの距離または、焦点のぼけからの距離を介して取得することができる。焦点からの距離においては、オブジェクトが完全な焦点に近づいた時を決定するために用いられる焦点基準を用いて、選択されたオブジェクトと、オブジェクトの境界が、焦点が合っているとみなされるように、絶えず、焦点パラメータが切り替えられる。焦点のぼけからの深度においては、オブジェクトのぼやけは、いずれの時点でも直接、分析される。両方の場合において、戻された基準を用いて、オブジェクトの撮像システムからの深度を推定する。この深度は、上記の正規化したベクトルに関する距離メトリックとして容易に使用することができる。

並列システムからの距離：範囲撮像システム等、上記のシステムと共に用いている並列システムから容易に深度推定が可能である。このような状況においては、深度推定の複雑さは除かれる。

よって、システム１０は、少なくとも１つの例において、図２２に示すように構成してよい。６００において、軸上画像を取得し、６０２において閾値画像を生成する。次に、６０４で、その閾値画像から輪郭及びブロブを抽出し、６０６で瞳孔候補を探してそのブロブをフィルタリングする。並行して、動的強度プロセスを６１０で適用して、上述の理想的な照明を達成するために、継続的にカメラ強度パラメータ６１２を更新、利用する。６０８で瞳孔を追跡し、並行して、動的強度プロセスを６１０で適用して、上述の理想的な照明を達成するために、継続的にカメラ強度パラメータ６１２を更新、利用する。角膜グリントと角膜縁半径を６１３で抽出し、上述の正規化された特徴ベクトルを、６１４で画面上の位置にマッピングし、画面６１６上の視線を決定する。

本明細書で例示した、命令を実行する任意のモジュールまたはコンポーネントは、記憶媒体等のコンピュータ可読媒体、コンピュータ記憶媒体、または、例えば、磁気ディスク、光ディスク、もしくは、テープ等のデータ記憶装置（取り外しできる、及び／または、取り外しできない）を含んでよい、または、それらにアクセスしてよいことは、理解されよう。コンピュータ記憶媒体は、コンピュータ可読命令、データ構造、プログラムモジュール、または、他のデータ等の、揮発性及び不揮発性、取り外しできる、及び、取り外しできない、情報を記憶するための任意の方法または技術で実装される媒体を含んでよい。コンピュータ記憶媒体の例は、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ、フラッシュメモリ、もしくは、他のメモリ技術、ＣＤ−ＲＯＭ、デジタル多用途ディスク（ＤＶＤ）もしくは他の光記憶装置、磁気カセット、磁気テープ、磁気ディスク装置、もしくは、他の磁気記憶装置、または、所望の情報の記憶に使用することができ、かつ、アプリケーション、モジュール、もしくは、その両方によってアクセス可能な任意の他の媒体を含む。任意のこのようなコンピュータ記憶媒体は、システム１０の一部、システム１０の任意のコンポーネント、もしくは、システム１０に関連するコンポーネント等であってもよく、または、システム１０にアクセス可能もしくは接続されていてもよい。本明細書に任意のアプリケーションまたはモジュールは、このようなコンピュータ可読媒体に記憶または保持され得るコンピュータ可読／実行可能命令を用いて実装してよい。

本明細書に記載のフローチャート及び図のステップまたは操作は、一例に過ぎない。上記の原理を逸脱しなければ、これらのステップまたは操作には多くの変形があってよい。例えば、ステップは、異なる順番で行われてもよく、追加、削除、もしくは、変更されてもよい。

上記原理は、一定の具体例に関して記載したが、その具体例の様々な変更は、請求項で概要を述べるように、当業者には明らかであろう。

Claims (17)

1. １つの明るい瞳孔を効果的に撮像する装置から受信される配信画像について、眼追跡、視線追跡、または眼・視線追跡を実行するために用いられる方法であって、前記方法は、
   前記撮像する装置に入力される照明の輝度を制御するための１つまたは複数の照明制御パラメータを設定するステップと、
   前記撮像する装置により、設定された前記１つまたは複数の照明制御パラメータを用いて、ユーザの画像を撮影するステップと、
   前記撮像する装置により撮影された前記画像を処理し、前記ユーザの少なくとも１つの眼を検出して視線推定を実行するステップと、
   前記ユーザの前記少なくとも１つの眼の少なくとも１つの瞳孔についての平均輝度が、前記撮像する装置における撮像センサの階調範囲の中間点に近くなるように前記１つまたは複数の照明制御パラメータを修正するステップと、
   を備えたことを特徴とする方法。
2. 注視点についての情報をアプリケーションに提供するステップをさらに備えた
   ことを特徴とする請求項１に記載の方法。
3. 前記撮像する装置に入力される前記照明の輝度を制御するための１つまたは複数の照明制御パラメータを設定するステップは、
   ある照明光源を用いた際に撮像センサによって検出される照度の調整を行うことと、
   前記撮像センサによって受信される光の量を調節するように前記撮像センサの調整を行うことと、
   前記画像を撮影する際に前記撮像センサによって受信される信号に調整を加えることと、のうちの少なくとも１つを含む
   ことを特徴とする請求項１または２に記載の方法。
4. 前記修正するステップは、
   照明コントローラにより、前記撮像する装置から前記照明制御パラメータを取得し、および前記ユーザの現在の眼の特徴強度のパラメータとして前記瞳孔の前記平均輝度を取得することと、
   前記現在の眼の特徴強度のパラメータに基づいて新規の照明制御パラメータを生成することと、
   前記撮像する装置に前記新規の照明制御パラメータを提供することと、を含む
   ことを特徴とする請求項１乃至３のいずれか１項に記載の方法。
5. 前記検出することは、前記照明制御パラメータを所定範囲内で変化させる操作を繰り返し実行する中で前記瞳孔を検出することと、を含み、
   少なくとも１つの瞳孔が見つかった場合に前記修正するステップが実行される、
   ことを特徴とする請求項４に記載の方法。
6. 複数の前記ユーザがいるとき、眼の距離に基づいて対象ユーザの眼を決定することと、
   前記照明制御パラメータを前記所定範囲内で変化させる操作の繰り返しの中で１回分の操作を行わず、前記１回分の操作に対応する時間を用いて前記ユーザの眼の特徴強度を記憶することと、の少なくとも１つのことを実行するステップをさらに備えた
   ことを特徴とする請求項５に記載の方法。
7. 前記処理することは、眼の検出を実行することを含み、
   前記眼の検出は、眼の候補検出を実行し、検出された１つまたは複数の眼の候補のセットを用いて眼の候補のフィルタリングを実行することを含む
   ことを特徴とする請求項６に記載の方法。
8. １つまたは複数の検出された眼のセットを用いて眼の特徴抽出を実行する
   ことを特徴とする請求項７に記載の方法。
9. １つまたは複数の眼の特徴のセットは、前記視線推定を実行するために用いられる
   ことを特徴とする請求項８に記載の方法。
10. 前記眼の検出は、
    共通の特性を有する１つまたは複数の領域をバイナリ画像から抽出することと、
    前記領域を用いて瞳孔の候補をランク付けすることと、
    １つまたは複数のランク付けされた瞳孔の候補のセットを提供することと、
    予期される眼の特徴強度に基づいて、前記バイナリ画像を取得するために、前記撮影された画像を閾値化することと、
    前記撮影された画像から、勾配の向き画像および勾配の大きさ画像を計算することと、
    眼の特徴強度間の予期されるコントラストに基づいて前記バイナリ画像を取得するために、前記勾配の大きさ画像に閾値化を適用することと、の少なくとも１つのことを含む
    ことを特徴とする請求項７乃至９のいずれか１項に記載の方法。
11. 前記眼の候補のフィルタリングは、
    眼を類型化する少なくとも１つの特徴に基づいて眼の候補をフィルタリングすることと、
    最も特徴が合う眼の対に対して残った候補を分析することと、を含む
    ことを特徴とする請求項７乃至１０のいずれか１項に記載の方法。
12. 前記視線推定は、
    検出された眼に対する瞳孔中央と角膜グリントとの間のベクトルを決定することと、
    眼についての距離メトリックを決定することと、
    前記距離メトリック、および前記瞳孔中央と前記角膜グリントとの間の前記ベクトルを用いて、正規化されたベクトルを生成することと、
    前記正規化されたベクトルの関数マッピングから注視点を決定することと、を含む
    ことを特徴とする請求項１乃至１１のいずれか１項に記載の方法。
13. 前記距離メトリックは、縁直径または縁半径、姿勢修正瞳孔間距離、少なくとも１つの予め定められた眼または顔の特徴関係、焦点または被焦点についてのメトリックの深度、および少なくとも１つの外部から提供された予め定められた距離メトリックのいずれか１つまたは複数を用いる
    ことを特徴とする請求項１２に記載の方法。
14. 前記撮像する装置は、少なくとも１つの操作において視線追跡を利用するように構成された電子デバイスと接続される
    ことを特徴とする請求項１乃至１３のいずれか１項に記載の方法。
15. 請求項１乃至１４のいずれか１項に記載の方法を実行するためのコンピュータ実行可能命令を備えたことを特徴とするコンピュータ可読記憶媒体。
16. 請求項１乃至１４のいずれか１項に記載の方法を実行するように構成された処理モジュールを備えたことを特徴とする視線追跡システム。
17. 前記視線追跡システムは、前記撮像する装置を含むことと、
    前記視線追跡システムは、電子デバイスと接続されることと、
    前記視線追跡システムは、前記電子デバイスに不可欠であることと、
    前記撮像する装置は、少なくとも１つの照明光源および撮像センサを含むことと、
    前記少なくとも１つの照明光源は、前記撮像センサを囲む照明光源の配列であることと、
    前記処理モジュールは、前記撮像する装置と接続された照明コントローラを含むことと、のいずれか１つまたは複数のことをさらに備えた
    ことを特徴とする請求項１６に記載の視線追跡システム。