JP6074122B1 - 目追跡装置動作方法及び能動的電力管理を行う目追跡装置 - Google Patents

Abstract

本発明は、構成部として、撮像装置(20)と、照明ユニット(30)と、処理ユニット(40)とを具え、更にこれら構成部(20;30;40)を調整する少なくとも２つの調整パラメータ(PＡ)を有している目追跡装置(10)を動作させる方法に関するものである。目追跡装置(10)は調整パラメータ(PＡ)を制御する制御ユニット(42)を具えている。この方法によれば、目の画像(60)を捕捉し、目の追跡に関する品質又は構成部(20;30;40)の電力消費量に対する条件(44)を設定し、調整パラメータ(PＡ)を品質及び電力消費量に相関づける予め規定した相関関係(42ａ)提供し、制御ユニット(42)が予め規定した相関関係(42ａ)に応じて調整パラメータ(PＡ)を制御し、条件(44)が設定された要素が条件(44)を満足するようにする。【選択図】図１

Description

本発明は、予め決定した捕捉（記録）領域を有する目（眼球）追跡装置（アイトラッキング装置）を動作させる方法に関するものであり、この目追跡装置は、構成部（コンポーネント）として、目追跡装置の捕捉領域内でユーザの少なくとも一方の目の画像を捕捉しうる少なくとも１つの撮像装置と、捕捉領域内でユーザのこの少なくとも一方の目を照らす（照明する）ことのできる少なくとも１つの光源を有する少なくとも１つの照明ユニットと、撮像装置により捕捉された画像を処理しうる処理ユニットとを具えるものである。更に、目追跡装置は構成部の少なくとも１つを調整しうる少なくとも２つの調整パラメータを有し、この目追跡装置は更に、これら少なくとも２つの調整パラメータを設定することにより構成部の少なくとも１つを制御しうる少なくとも１つの制御ユニットを具える。更に、ユーザの少なくとも一方の目の少なくとも１つの画像が捕捉される。本発明は更に、目追跡装置に関するものである。

本発明は、ユーザの目の位置、目の向き及びその他の特性、例えば、瞳孔拡張、眼内距離等を検出及び追跡する装置である目追跡装置との関連で適用されるものである。

目追跡装置がますます確立された技術となり、目追跡機能が組込まれたタブレット、スマートフォン、ヘッドマウントディスプレイ等のようなますますポータブルとなる装置の有効性が増大するのと並行して、目追跡装置の電力消費量を低くすることが適切なこととなる。米国特許ＵＳ７，９８０，６９８Ｂ２には、目を照らすための光源と、目から反射される光をセンサに指向させるマイクロレンズアレイとを有する電力調整式収差計が開示されている。この収差計によれば、センサが複数の光点を検出し、これら光点は最善の状態でこれらの光点の画像から適切な目の特性を捕捉しうる許容域に入る光レベルを有するようにする必要がある。このことを達成させるために、信号品質が悪すぎる場合に光源の光度が自動的に増大されるようになっている。この場合、可能な最良の画像品質（画質）を達成させることのみを対処しているが、電力消費量は考慮されていない。

特開２００２‐２８２２０９には、ユーザの目を照らすための照明ユニットと、ユーザの目の画像を捕捉する捕捉ユニットとを有する視線検出器が開示されている。この場合、視線検出を実行するための画像情報を捕捉する前に、目の幾つかの予備画像を取得し、次いで目に対する視線検出器の距離を計算し、この距離に基づく照明光量を決定する。これにより、ユーザの目を照らす光度をユーザの距離に適合させて画像品質を高めるようにしうる。この場合も、目追跡装置の電力消費量は考慮されていない。

米国特許ＵＳ８，０２５，４０５Ｂ２には、被検者の少なくとも一方の目のそれぞれの個所を自動的に登録及び追跡する目追跡装置が開示されている。照明ユニットの電力消費量を低減させた、電力効率の良い目追跡装置を得るために、目の位置を推定するとともに、照明ユニットにより行う照明をこの推定した位置に向けて指向させ、目があると予期される領域のみを照らす必要があり、従って、光力を節約しうるようにすることが提案されている。この目追跡装置の欠点は、目の位置を推定する必要があり、このことが完全なる間違いの元となることである。推定位置が目の実際の位置に合致しないと、有用な画像を得ることができず、このことが追跡品質に著しい悪影響を及ぼす。更に、推定された目の位置に向かうこの照明方向が大型のＬＥＤアレイにより、又は可動ミラー及び光源により達成される場合には、目追跡装置はモバイル装置に組込むのにあまり適していない。

米国特許出願公開ＵＳ２０１３／０１０６６８１Ａ１には、パーソナルコンピュータシステムのエネルギー性能に悪影響を及ぼすことなくこのコンピュータシステム内に組込むことのできる目追跡システムにおける電力管理方法が開示されている。この目的のために、この目追跡システムはアクティブ（能動的）モードと、レディ（準備完了）モードと、アイドルモードとの間で切換えうるようになっており、アクティブモードでは目追跡データに目の位置及び目の向きが含まれ、電力節約目的のレディモードでは目追跡データに目の位置のみが含まれており目の向きは含まれていない。この方法の大きな欠点は、電力節約のために目追跡システムにより与えられる機能範囲を低減させる必要があるということである。

米国特許ＵＳ７，９８０，６９８Ｂ２ 特開２００２‐２８２２０９ 米国特許ＵＳ８，０２５，４０５Ｂ２ 米国特許出願公開ＵＳ２０１３／０１０６６８１Ａ１

本発明の目的は、本発明の特許請求の範囲の独立請求項の序文に開示するように、電力消費量の観点と追跡品質又は機能範囲の観点とをより良好に同時にもたらしうる目追跡装置動作方法及び目追跡装置を提供することである。

この目的は、本発明の独立請求項の特徴事項を有する目追跡装置動作方法及び目追跡装置により解決するものである。

本発明の第１の態様によれば、目の追跡に関する品質と、撮像装置、照明ユニット及び処理ユニットである構成部の少なくとも１つの電力消費量との群の要素に対する少なくとも１つの第１条件を設定する。更に、構成部の少なくとも１つを調整しうる少なくとも２つの調整パラメータを品質及び電力消費量に相関づける予め規定した相関関係を提供し、制御ユニットによりこの予め規定した相関関係に応じて前記少なくとも２つの調整パラメータを制御し、第１条件が設定された要素がこの第１条件を満足するようにする。

本発明によれば、種々の状態の要件を考慮しうる大きな利点が得られる。このことは、少なくとも１つの第１条件を品質又は電力消費量の何れかに対して設定することにより可能としうる。この場合、状態に応じて優先度を設定しうる。例えば、ある状態では、電力消費量を制限することを重要とすることができ、他の状態では、追跡品質を高くすることを重要としうる。従って、本発明によれば、目追跡装置の動作を種々の状態の要件に適合させる融通性を提供することにより、品質と電力消費量との間の矛盾を調和させる。更に、このことは、調整パラメータを品質及び電力消費量に相関づける相関関係を提供することにより可能となる。本発明は、電力消費量に対する影響を有するようにする目追跡装置の調整が同時に追跡品質に対する影響を有することを見いだしたことに基づいているものである。従って、調整パラメータに依存する品質及び電力消費量間の相互作用を予め規定した相関関係により考慮でき、従って、この相関関係により種々の状態に適合する品質及び電力消費量間の適切な調和を見いだしうるようになる。更に、構成部の少なくとも１つを調整しうる少なくとも２つの調整パラメータが提供される為、品質又は電力消費量の何れかを最適にするとともにこれらの２つの要素の他方が第１条件を満足するある度合又は自由度が提供される。特に、本発明は、以下に詳細に説明するように、電力消費量及び品質に影響を与える２つよりも多くの調整パラメータを提供しうることを見いだしたことに基づいている為、この複数の調整パラメータを用いて電力消費量を低減させるとともに、同時に品質を最適にすることができる。

本発明の有利な例では、第１条件が目の追跡に関連する品質に対して設定された場合に、この第１条件は、品質が超える必要がある予め決定した最小の品質値とする。又、例えば、ユーザにより設定しうる又は特定のアプリケーション等の要件に依存して設定しうる複数の予め決定した最小の品質値が存在するようにもできる。第１条件が品質に対して設定された場合には、ある最小の品質が達成されるとともに、例えば、電力消費量が低減されることを確実行うことができるようにするのが有利である。

更に、第１条件は予め決定した最小品質値及び予め決定した最大品質値とし、この第１条件が目の追跡に関連する品質に対して設定された場合に、品質が最小品質値及び最大品質値間に存在する必要があるようにすることもできる。本発明のこの例は、特に有利である。その理由は、一方では、ある最小の品質が達成することが確実に行われ、他方では、経験的に追跡品質を高くすればするほど電力消費量が高くなるので、最大の品質値を設定することにより、電力消費量をも同時に制限される為である。

他の例では、電力消費量に対して第１条件を設定した場合には、この第１条件を予め決定した最大電力消費量の値とし、電力消費量がこの値よりも低くなるようにする必要がある。従って、電力消費量を制限しうるようにするのが有利である。この場合、複数の異なる最大電力消費量の値をも提供でき、この場合これらを特定の状態の要件に応じて選択しうるようになる。例えば、ユーザは電力消費量に対し制限値を、又は目追跡装置の電力節約モードを入力することができ、或いはこの最大電力消費量の値を、目追跡装置の又は目追跡装置が組込まれたシステムの電力利用可能性に応じて設定しうる。

本発明の更なる例によれば、電力消費量に対して第１条件を設定した場合には、この第１条件は予め決定した最大電力消費量の値及び予め決定した最小電力消費量の値とし、電力消費量がこれらの最大電力消費量の値及び最小電力消費量の値間にあるようにする。前述したように、電力消費量は追跡品質に関連している為、最大電力消費量の値及び最小電力消費量の値を提供することにより、電力消費量を制限でき、同時に、電力消費量を制限することにより品質は必要以上とならないようにすることを確実に達成しうる。

電力の節約を達成するためにこれらの種々の段階の適応性を導入することにより、電力節約を制約した可能な最良の品質か、又は品質を制約した最小の電力節約の何れかを達成することができる。更に、品質の制約又は電力消費量の制約を入力において受けることができる為、目追跡装置の動作を最も有効に種々の状態に適合させることができる。

群のどの要素に条件を設定するかを決定するために、目追跡装置は、この要素を、結局は条件自体をも特定する入力信号を受信ようにするのが好ましく、この場合、この目追跡装置は、受信した入力信号に基づいて要素に関する条件を設定する。

更に、最適化を実現するために、各調整パラメータの値の複数の組合せが、第１条件が設定された要素に関連し、この第１条件が満足される場合には、制御ユニットが予め規定した相関関係に応じて前記少なくとも２つの調整パラメータを制御して前記複数の組合せのうち第１の組合せが設定されるようにし、第１条件が設定されていない要素に対して第１条件が設定された群の要素の値が、前記複数の組合せの他の組合せと比較して極値化されるようにするのが本発明の好適例である。例えば、第１条件が品質に対して設定された場合には、品質がこの条件を満足し、同時に電力消費量ができる限り低減されるように調整パラメータを制御する。一方、この条件が電力消費量に対して設定された場合には、この電力消費量がこの条件を満足し、同時に品質ができる限り高められるように調整パラメータを制御する。このことは、前記少なくとも２つの調整パラメータにより、特にこの最適化に対する必要な自由度を提供する多数の調整パラメータにより可能となる。換言すれば、例えば、必要とする最小品質を達成するのにこれらの調整パラメータを如何に設定しうるかの異なる可能な組合せがある。従って、最低の電力消費量となりうるパラメータのこの組合せが選択される。又、電力消費量が予め決定した値よりも低く低下するように、調整パラメータを設定する異なる可能性がある。従って、調整パラメータの値のこの組合せは、品質が最大となるように設定しうる。このようにして、ユーザが電力を節約する必要がある制限を最小に低減させるのが有利である。

この最適化を提供しうるようにするためには、どの調整パラメータが電力消費量及び品質に如何にして影響を及ぼすかを知ることが有効である。例えば、目追跡装置は固定の又は可変の周波数で動作させることができる。撮像装置は、周囲から光を収集する露出時間窓と称するそのシャッタ開放期間と、シャッタ閉成期間とを変える。例えば、目追跡装置が５０Hzで動作するように設定され、露出時間窓が３ms（ミリ秒）に設定されている場合、１秒の間に、撮像装置はそのシャッタが開放している５０回の３msの期間とそのシャッタが閉成している５０回の１７msの期間とを交互に繰返す。照明ユニットは永続的にオン状態にするか、又は撮像装置の露出時間窓と同期しているとともに撮像装置の露出時間窓を同じにした又は異ならせたパルスを有するパルス照明を放出するようにしうる。撮像装置又は照明ユニットを１つよりも多くする場合には、これらの全てはこの構成において同期して動作する。照明ユニットは、パルスの持続時間（パルス長）及びパルス振幅（パルス強度）の双方を制御しうる。これらの２つの値の積、特にパルス強度の時間に亘る積分は、各パルス当り照明ユニットにより放出された光量及び消費された電力量に直接関連する。撮像装置がローリングシャッタを有する場合には、同期及び時間窓に関する更なる考慮が必要である。

従って、照明源のエネルギー消費量は電力曲線形状に依存する。これに加えて、一般的に、撮像装置が収集しうる光が多くなればなるほど、追跡品質がより良好となる。照明ユニットにより消費される電力が著しく多いが、目追跡装置の構成部の他の構成部もエネルギーを消費する。処理ユニットは通常、目の追跡以外の他の作業を実行するが、目追跡アルゴリズムにとって必要とする追加の計算を行う為に、この処理ユニットの電力消費量は増大する。従って、例えば、簡単化したアルゴリズムを用いることを選択することにより、処理ユニットの電力消費量を低減させることができる。更に、撮像装置は、１つよりも多いカメラを、例えば、１つは可視光用で他の１つは赤外線用の２つのカメラを具えることができ、従って、カメラの個数も電力消費量及び追跡品質に影響を及ぼす。

従って、前記少なくとも２つの調整パラメータが、照明ユニットの光度、特に照明ユニットの少なくとも１つの光源であって画像を捕捉している間に目を照明するこの光源の光度と、画像を捕捉している間の照明持続時間と、照明周波数と、照明ユニットの幾つかの起動光源と、前記少なくとも一方の目の少なくとも１つの特性を決定するための少なくとも２つの異なる目追跡アルゴリズムから１つの目追跡アルゴリズムを選択する調整パラメータと、画像を捕捉する撮像装置の少なくとも２つの異なるカメラから少なくとも１つのカメラを選択する調整パラメータと、撮像装置の電気利得と、更新周波数と、撮像装置の絞りの大きさと、撮像装置のシャッタの調整と、撮像装置のサンプリングレートと、処理ユニットのクロック周波数と、起動状態にある処理ユニットの幾つかの計算ユニットとの何れか又はこれらの任意の組合せを参照するようにするのが本発明の極めて有利な例である。これらの調整パラメータは全て、電力消費量や品質に影響を及ぼす。従って、有利なことに、電力消費量及び品質状態に具体的に適合する多くの可能性がある。

種々の状態を扱うためには、これらの種々の状態を特徴づけるのが極めて有利である。従って、周囲の光度と、ユーザの行動と、ユーザの特性、特に目の色及び皮膚の色の双方又は何れか一方とのうちの少なくとも１つを特徴づける少なくとも１つの状態パラメータを決定し、予め規定した相関関係を少なくとも、前記少なくとも１つの状態パラメータにより予め規定するようにするのが好ましい。換言すれば、制御ユニットにより、調整パラメータを、決定した前記少なくとも１つの状態パラメータに依存して制御しうる。例えば、周囲に多くの光が存在する場合には、照明ユニットの光度又は照明持続時間を減少させて、周囲にほんの僅かな光しか存在しない場合と比較して同じ品質を達成するようにしうる。調整パラメータを設定するにはユーザの行動も関連性がある。例えば、露出時間窓中に動き動作が生じた場合には、捕捉された画像が不所望なモーションブラー（動きのぶれ）を呈するようになる。このモーションブラーは動きの速度及び時間窓の持続時間に比例する。動きは、ユーザ及びユーザの目の双方と、装置自体とに関連させることができる。動きの速度が速い場合には、露出時間窓を長くしすぎて許容しうる品質を達成することができないようにしてはならない。動きの速度が遅い場合には、調整パラメータを設定するための多くの自由度があり、例えば、露出時間窓を長く設定し、小さい光度をこの露出時間窓中に放出されるように選択することができるか、又は露出時間窓を短く設定し、これに対応して照明ユニットの光度を高く設定することができる。ユーザの行動も目追跡装置の更新レートの周波数の要件に影響を及ぼす。例えば、目の激しい動きがない場合には、非常に小さい更新レートでも良好な品質を達成でき、一方、目の激しい動きがある場合には、同じ品質を達成するために更新レートを大きくする必要がある。ユーザの目の色及びユーザの皮膚の色の双方又は何れか一方も品質に、従って、調整パラメータの対応する設定に影響を及ぼす。例えば、茶色の目の人は、可視領域とは相違して赤外線領域において瞳及び虹彩間の高いコントラストを呈する。最良の目の特徴を抽出するには、目の色に関する情報を用いて、可視光又は赤外光或いはこれらの双方の何れのカメラを使用する必要があるかを決定することができる。又、ユーザが眼鏡を装着しているか否かのような他のユーザの特性も品質に影響を及ぼす。その理由は、ユーザが眼鏡を装着している場合には、画像から目の特徴を抽出するのが一層困難となる為である。従って、例えば、ユーザが眼鏡を装着していない場合には、目追跡装置は所望の最小の品質を得るために放出させる光量を低減させることができる。更に、皮膚の色はユーザの顔又は目を検出するのに用いることができ、照明条件を調整することにより色の見え方（カラーアピアランス）を最適にすることができる。従って、上述した状態パラメータの少なくとも１つが決定されると、これにより、異なる状態へのより良好な適合を、特に品質の最適化及び電力消費量の低減化をできる限り許容するようになる。

これらの状態パラメータは１つ以上の捕捉画像から取出しうるようにするのが有利であり、特に捕捉画像によれば、周囲の光の状態を特定できるとともに、ユーザの目の色又は皮膚の色或いはその他のユーザの特性や、ユーザ又はユーザの目の動きの延長のようなユーザの行動も捕捉しうる。従って、処理ユニットが捕捉画像を解析し、制御ユニットがこの解析結果に応じて調整パラメータを制御するようにするのが好ましい。

本発明の他の例では、処理ユニットにより前記少なくとも１つの画像を解析することにより撮像装置により捕捉されたこの少なくとも１つの画像から、目の追跡に関連する品質を取出すようにする。従って、品質を画像から取出すことにより条件をこの品質に対して設定すれば、品質がこの条件を満足しているかを確認することができる。満足されていない場合には、例えば、閉ループ制御で調整パラメータを制御して品質が最終的にこの条件を満足するようにする。

目の追跡に関連する品質は、画像品質又は推定した目追跡品質とすることができる。画像品質は捕捉した画像から直接取出すことができ、更に画像品質を目追跡品質に関連させて、決定した画像品質から目追跡品質も推定しうるようにする。

画像品質は、前記少なくとも１つの画像から抽出された少なくとも１つの品質特徴、特にこの少なくとも１つの画像における特にユーザの目の検出された目の部分間のコントラストと、前記画像の信号対雑音比と、前記少なくとも１つの画像における検出された反射の大きさと、前記少なくとも１つの画像における検出された反射の飽和度と、前記少なくとも１つの画像における検出された反射の輝度との何れか又はこれらの任意の組合せにより決定することができる。目の追跡を実行するためには、虹彩又は瞳のようなある目の部分を、同様に目から反射された反射光、特にグリントを画像において識別されるようにする必要がある。従って、瞳及び虹彩間又は虹彩及び強膜間のような目の部分間のコントラストが高い場合には、これらの部分をより良好に識別しうる。更に、信号対雑音比が高い場合、このことによっても関連の目の部分や関連の反射光の識別を高める。関連の反射光の大きさ及び関連の反射光の輝度も目追跡品質に、従って、画像品質を特徴づける関連の品質特徴に影響を及ぼす。従って、これらの特徴が捕捉された画像から抽出される場合、画像品質を決定しうる。抽出されたこれらの品質特徴は、設定する又はある画像品質を得る必要がある調整パラメータを決定する予め規定した相関関係に取入れることができる。

この画像品質も目追跡品質に関連する為、特に
‐画像を処理し、これによりこの画像から少なくとも１つの品質特徴を抽出するステップと、
‐前記少なくとも１つの品質特徴を画像品質に相関づけるとともにこの画像品質を推定した追跡品質に相関づける予め規定した相関関係を提供するステップと、
‐抽出された前記少なくとも１つの品質特徴を、前記予め規定した相関関係に応じて、前記画像品質及び前記推定した追跡品質に割当てることにより、この推定した追跡品質を決定し、この推定した追跡品質が前記目の実際の特性からの前記目のこの決定した追跡特性のずれに対する目安となるようにするステップと
により、目追跡品質を、推定した目追跡品質として画像品質から取出すのが本発明の極めて有利な例である。

これにより、追跡品質を、目の再構成された特性、例えば、再構成された視線が目の実際の特性、例えば、ユーザの実際の監視方向に如何に厳密に一致しているに対する目安である追跡正確度（accuracy）とすることができる。

追跡品質は、再現性に対する目安、すなわち同じ又は類似の入力条件を与えた場合に出力結果が如何に一致しているかに対する目安、又は一定の入力に対して出力に如何に多くの雑音が存在するかの目安である追跡精密度（precision ）とすることもできる。

再構成された目及び視線の品質は取得した目の画像の品質に著しく関連している為、画像品質を予期した目追跡品質にマッピング（対応付け）させることができる。このマッピングが一旦規定されると、目の追跡を行っている間に、この目の追跡装置により目の追跡品質を計算することができる。“画像品質を目追跡品質に”のマッピングは、例えば装置の校正時に一旦記録及び蓄積することができる。例えば、位置が目追跡装置にとって分かっている幾つかの個所を、目追跡装置に関連しているスクリーン上に固定することをユーザに要求することができる。システムは、利得値、光度、シャッタ速度等のようなカメラ及び光源の種々の特性を数秒に亘って調整する。これにより、捕捉された画像の品質を解析し、目及び視線方向の双方又は何れか一方を再構成し、例えばスクリーン上の注視点を計算し、再構成の正確度又は精密度におけるエラーを測定する。従って、これらの値はデータ構造中に保存（セーブ）し、これにより画像品質と目追跡品質との間の相関関係を規定するようにすることができる。

例えば、所望の目追跡品質を、例えば、対応する条件を設定することにより要求する場合には、画像品質を目追跡品質に関連させるこのマッピングを用いてこの所望の目追跡品質を所望の画像品質に変換することができ、且つ目の追跡を行っている際に目追跡装置により調整パラメータを調整して、前述したように捕捉された各画像から取出しうる所定の画像品質を達成するようにすることができる。更に、３Ｄ（三次元）環境の又は装置のスクリーン上の種々の領域に対する推定した目追跡品質を得ることもできる。例えば、視線結果はスクリーンの中央領域に対してはより良好となり、スクリーンの周囲部分に対してはより低くなるように推定しうる。視線品質に関するこの情報は、例えば、スクリーン上にボタンのような大きい又は小さい或いは多かれ少なかれ互いに離間した選択区域を存在させるか、又はこれらの選択区域を、システムにより視線出力がより良好となるであろうことを推定するスクリーンの領域内に存在させることにより、ユーザと結びづける方法を適用するアプリケーションにより用いることができる。

従って、推定した目追跡品質を、ユーザの視野内に位置する容積（volume）又は表面（surface ）の三次元座標の関数、特に三次元ワールド座標の関数で計算するか、又はユーザの視野内に位置する表面の２Ｄ（二次元）座標の関数、特に前記目追跡装置に接続されたディスプレイデバイスの２Ｄ座標の関数で計算するのが本発明の極めて有利な例である。これにより、ユーザの視野の種々の領域に対して、例えば、ユーザの視野におけるディスプレイの種々の領域に対して、推定した追跡品質を計算することができる。ディスプレイデバイスは、コンピュータ、タブレット、モバイル装置、ヘッドマウントディスプレイ等のような、目追跡装置が一部分となっているか、一体化されているか又は少なくとも接続されているデバイスの一部とし、目追跡装置の撮像装置とこのデバイスのディスプレイデバイスとの間の相対位置が目追跡装置にとって分かっているようにする。更に、撮像装置に対するユーザの位置は画像を捕捉することにより決定することができる為、推定した目追跡品質をユーザの視野内の幾つかの異なる領域に対し決定することができ、この場合特に、異なる領域の個数を目追跡装置により予め設定することができる。従って、例えば、推定した目追跡品質の種々の品質値は、仮想表面をも含むコンピュータスクリーン又はその他の表面の種々の領域に属するものとしうる。

更に、上述した座標の関数で推定した追跡品質は目追跡装置の出力信号として提供することができ、従って、例えば、この出力信号は、目追跡装置に接続されたデバイスを動作させるアプリケーションに供給することができるとともに、上述したようにユーザと結びづける方法を適用するアプリケーションにより用いることができる。

又、一般に、目の追跡に関連する品質、すなわち画像品質及び追跡品質の双方又は何れか一方は、目追跡装置により計算して、例えば、アプリケーション又は他の装置により更に使用させるために、この目追跡装置の出力端に出力信号として出力させるか又は生ぜしめることができる。

本発明の他の例によれば、適応パラメータを品質及び電力消費量に相関づける予め規定する相関関係を、少なくとも目追跡装置に伝達される外部アプリケーションの要件により予め規定するようにする。このことは、如何なる種類のユーザの目の動きが予測されるかに関する情報が、アプリケーションの種類にも含まれていることを見いだすことに基づいている。例えば、ユーザが画像又は映像を見ている場合、ユーザが３Ｄシューターゲームをする場合よりも少ない目の動きが予期される。従って、調整パラメータを目追跡装置により決定しうる他の状態パラメータとして調整するために、アプリケーションの種類も相関関係内に取入れることができる。

予め規定した相関関係は、前記少なくとも２つの調整パラメータの設定可能な値の組合せの複数の組を、特にルックアップテーブル及び特性曲線族の双方又は何れか一方の形態で、前記品質の品質値及び前記電力消費量の電力消費値に割当てることにより与えるか、又は前記少なくとも２つの調整パラメータと電力消費量及び品質とを相関づける数学式と数学モデルと関数との何れか又はこれらの任意の組合せにより与えることができる。例えば、捕捉しうる状態パラメータの組合せ又は種々の状態の各々に対して、対応する制御ユニットによりルックアップテーブル及び特性曲線を制御ユニットにより設定でき、この場合ルックアップテーブル及び特性曲線は特定の状態に対し設定する必要があり、従って、品質か又は電力消費量の１つの要素が予め決定した条件を満足し、他の要素は随意ではあるが最適化されるようにできる。状態パラメータは上述した式、モデル及び関数に対する入力パラメータとし、制御ユニットが、予め規定した相関関係に基づいて、状態パラメータにより特定された状態に依存する調整パラメータを設定するようにすることもできる。

更に、制御ユニットによれば、開ループ制御において又は閉ループ制御においても予め規定した相関関係に応じて前記少なくとも２つの調整パラメータを制御しうる。従って、例えば、状態を品質に対して設定した場合には、画像品質のような現在の品質を現在の画像から決定するとともに相関関係に帰還させ、この相関関係により、品質が状態を満足することを達成する調整ストラテジー（戦略）を提供するようにしうる。状態パラメータを現在の画像から、又は現在捕捉された各画像からも決定したり、前記状態パラメータに対する特性曲線のルックアップテーブルに応じて調整パラメータを設定したりすることも開ループ制御として行うこともできる。

更に、前記少なくとも１つの第１条件は、ユーザの入力に応じて、又は所定の外部のアプリケーション又は所定の電源モードにより設定することができる。例えば、ユーザは、電力消費量又は品質を制限したいか、又は何を延長したいか、又はこれらの双方を望んでいるかを入力することができる。又、種々のアプリケーションは追跡品質に関する種々の要件をも有する。従って、必要とする追跡品質はアプリケーションから目追跡装置に伝達して、目追跡装置が品質に対してそれぞれの条件を、例えば、最小値を設定するようにすることもできる。更に、目追跡装置は電源モードを、すなわちこの目追跡装置がプラグ接続されるか又はバッテリにより給電されるかを決定しうるようにもできる。従って、目追跡装置がプラグ接続されている場合には、電力消費量はそれほど関係がなくなり、品質に対する条件を最大に設定することができる。目追跡装置がバッテリにより附勢される場合には、目追跡装置は自動的に電力消費量に対する条件を設定するようにしうる。

本発明の第１の態様による目追跡装置は、予め決定した捕捉領域を有するとともに、構成部として、捕捉領域内でユーザの少なくとも一方の目の画像を捕捉しうる少なくとも１つの撮像装置と、捕捉領域内でユーザのこの少なくとも一方の目を照らすことのできる少なくとも１つの光源を有する少なくとも１つの照明ユニットと、撮像装置により捕捉された画像を処理しうる処理ユニットとを具える。更に、この目追跡装置は、構成部の少なくとも１つを調整しうる少なくとも２つの調整パラメータを有し、この目追跡装置は更に、これらの少なくとも２つの調整パラメータを設定することにより前記構成部の少なくとも１つを制御しうる少なくとも１つの制御ユニットを具える。この制御ユニットは、目の追跡に関連する品質と前記構成部の前記少なくとも１つの電力消費量との群の要素に対して少なくとも１つの第１条件を設定しうる。更に、目追跡装置は、前記少なくとも２つの調整パラメータを品質及び電力消費量に相関づける予め規定した相関関係を有する。更に、制御ユニットは予め規定した相関関係に応じて前記少なくとも２つの調整パラメータを制御し、従って、前記少なくとも１つの第１条件を設定した要素がこの少なくとも１つの第１条件を満足するようにしうる。

本発明の第１の態様による目追跡装置を動作させる方法に関して説明した好適例及びその利点は、この本発明の第１の態様による目追跡装置にも同様に適用される。特に、目追跡装置を動作させる方法及び本発明の第１の態様によるその例の上述したステップは本発明の第１の態様による目追跡装置の更なる例を構成する。

本発明の第２の態様によれば、目追跡装置の捕捉領域内でユーザの少なくとも一方の目の少なくとも１つの特性を捕捉する目追跡装置動作方法であって、前記目追跡装置は構成部として、ユーザの前記少なくとも一方の目の画像を捕捉しうる少なくとも１つの撮像装置と、ユーザのこの少なくとも一方の目を照らすことのできる少なくとも１つの光源を有する少なくとも１つの照明ユニットと、前記撮像装置により捕捉された画像を処理しうる処理ユニットとを具えているようにした当該目追跡装置動作方法が、
ａ）前記ユーザの目の画像を捕捉するステップと、
ｂ）画像を処理し、これにより画像から少なくとも１つの品質特徴を抽出するステップと、
ｃ）前記少なくとも１つの品質特徴を画像品質に相関づけるとともにこの画像品質を推定した追跡品質に相関づける予め規定した相関関係を提供するステップと、
ｄ）前記予め規定した相関関係に応じて、抽出された前記少なくとも１つの品質特徴を画像品質及び推定された追跡品質に割当てることによりこの推定された追跡品質を決定し、この推定された追跡品質が目の実際の特性からの目の決定された特性のずれの目安となるようにするステップと
を有するようにする目追跡装置動作方法。

本発明の第１の態様による例に関して前述したように、本発明の第２の態様による方法には、再構成された目及び視線の品質が取得した目の画像の品質に著しく関連していることを見いだすことに基づいて、画像品質を予期された目追跡品質にマッピングでき、この場合特にこのマッピングが予め規定された相関関係により与えられるという大きな利点がある。例えば、所望の目追跡品質が、例えば対応する条件を設定することにより要求される場合には、画像品質を目追跡品質に関連させるこの相関関係を用いてこの所望の目追跡品質を所望の画像品質に変換させることができ、且つ目の追跡を行っている間に目追跡装置により調整パラメータを調整して、前述したように各捕捉画像から取出すことのできる所定の画像品質を達成するようにしうる。更に、３Ｄ環境又は装置のスクリーン上の種々の領域に対して推定した目追跡品質を提供することもできる。例えば、視線結果はスクリーンの中央領域に対してはより良好となり、スクリーンの周囲部分に対してはより低くなるように推定しうる。視線品質に関するこの情報は、例えば、スクリーン上にボタンのような大きい又は小さい或いは多かれ少なかれ互いに離間した選択区域を存在させるか、又はこれらの選択区域を、システムにより視線出力がより良好となることを推定するスクリーンの領域内に存在させることにより、ユーザと結びづける方法を適用するアプリケーションにより用いることができる。従って、目追跡品質を知ること又は目追跡品質を推定しうるようにすることは、特に電力節約の目的にとって適切なことである。その理由は、この場合、目追跡品質を制限する必要があるか、又はある条件を満足する必要があるか、又は電力節約にも拘らずある最小の目追跡品質を保証する必要がある為である。従って、捕捉した画像の画像品質に基づいて目追跡品質を推定するのを容易にする本発明の第２の態様によるこの方法は、電力節約の観点に対しても特に有利である。

目追跡装置の捕捉領域内でユーザの少なくとも一方の目の少なくとも１つの特性を捕捉するための本発明の第２の態様による目追跡装置は、構成部として、ユーザの前記少なくとも一方の目の画像を捕捉しうる少なくとも１つの撮像装置と、捕捉領域内でユーザのこの少なくとも一方の目を照らすことのできる少なくとも１つの光源を有する少なくとも１つの照明ユニットと、前記撮像装置により捕捉された画像を処理しうる処理ユニットとを具えるものである。更に処理ユニットは、撮像装置により捕捉された画像を処理することができ、これにより少なくとも１つの品質特徴を画像から抽出しうるものである。目追跡装置は、前記少なくとも１つの品質特徴を画像品質に相関づけるとともに、この画像品質を推定した追跡品質に相関づける予め規定した相関関係を有し、処理ユニットは更に、抽出した前記少なくとも１つの品質特徴を、この予め規定した相関関係に応じて画像品質及び推定した追跡品質に割当てることにより、この推定した追跡品質を決定し、この推定した追跡品質が目の実際の特性からの目のこの決定した特性のずれに対する目安となるようにする。

本発明の第１の態様による目追跡装置動作方法及び目追跡装置の好適例及び特徴は、本発明の第２の態様による目追跡装置動作方法及び目追跡装置と組合せることもできる。本発明の第１の態様による目追跡装置動作方法及び目追跡装置に関して説明した好適例及びその利点は、本発明の第２の態様による目追跡装置動作方法及び目追跡装置に対応して適用される。特に、本発明の第１の態様による目追跡装置動作方法及びその例の上述したステップは、本発明の第２の態様による目追跡装置動作方法や本発明の第２の態様による目追跡装置の更なる例を構成する。

以下に、本発明の有利な実施例を、添付図面を参照してより詳細に説明する。

図１は、本発明の実施例による目追跡装置動作方法を可視化するために目追跡装置の構成部を示す線図である。 図２は、赤外線ＬＥＤに対する代表的な効率図表を示すグラフ線図である。

図１には目追跡装置１０及びその構成部の線図が示されている。この目追跡装置１０は、構成部として、この目追跡装置１０の捕捉領域内でユーザの目の画像を捕捉するための少なくとも１つのカメラ、すなわち赤外線カメラ及び可視光用カメラの一方又は双方を有する撮像装置２０を具えている。更に、この目追跡装置１０は、少なくとも１つの光源、特に１つ以上のカメラの付近に配置するのが好ましい２つ以上のＬＥＤを有する照明ユニット３０を具えている。更に、この目追跡装置１０は、他の構成部として、例えば、パーソナルコンピュータ（ＰＣ）、ラップトップコンピュータ、モバイル装置等により提供しうる処理ユニット４０を具えている。この処理ユニット４０は、カメラからの画像を処理するとともに、ユーザの目、通常、瞳及び虹彩の双方又は何れか一方の輪郭又は中心点を検出する。この処理ユニット４０は、目の角膜上の光源のグリントを検出するようにするのも好ましい。検出された特徴はその後、ユーザの目の３Ｄ位置及び向きの双方又は何れか一方や、対応する注視方向及び注視点の双方又は何れか一方や、又は目のその他の特性を計算するのに用いることができる。

更に、目追跡装置１０の構成部には、これらの構成部及びこれらの動作を調整しうるとともに、目追跡装置１０の電力消費量や目追跡品質に影響を及ぼす種々の調整パラメータＰ_Ａが含まれている。これらの調整パラメータＰ_Ａは以下で説明する。

撮像装置２０は、目追跡装置１０の動作中に、ある周波数でユーザの目の画像を捕捉する少なくとも１つのカメラを具えている。従って、カメラは、画像を捕捉するために開放するとともに画像を捕捉する中間の時間では閉じるシャッタを有している。撮像装置２０の動作中は、照明ユニット３０は絶えず発光させるようにしうるが、電力消費量に関しては、照明ユニット３０がパルス照明で動作し、この照明ユニット３０により得られる照明がカメラのシャッタと同期するようにするようにするのがより一層有効である。

このような設定構成の場合、照明ユニット３０をその光度（照明強度）３０ａにおいて調整しうる。これにより、随意ではあるが、照明ユニット３０の各照明源をその光度３０ａにおいて別々に調整しうる。更に、照明周波数３０ｂを同様にシャッタ周波数と同期させて調整させることができ、照明持続時間３０ｃも好ましくはシャッタの露出時間窓と同期させて調整させることができ、しかも画像を捕捉するのに起動している光源の個数３０ｄも調整することができる。

撮像装置２０は、そのシャッタパラメータ２０ａ、すなわち前述したシャッタ周波数及び露出時間窓に関して調整することができ、カメラセンサの感度を決定する電気利得２０ｂを調整でき、画像を捕捉するカメラの個数２０ｃやそれぞれのカメラの絞りの大きさ２０ｄも調整できる。

処理ユニット４０は、目の追跡に対し用いられるアルゴリズム４０ａ、そのクロック周波数４０ｂ、動作させる計算ユニットの個数４０ｃに関し及びサンプル却下４０ｄが許容されるか又は許容されないかに関し調整しうる。

更に、目追跡装置１０は前述した調整パラメータＰ_Ａを制御する制御ユニット４２を具えている。この制御ユニット４２は図１において独立して示しているが、この制御ユニット４２は必ずしも独立した構成部とせずに処理ユニット４０の一部とすることもできる。

目追跡装置１０を動作させる場合、最初に、目の追跡に関する電力消費量又は品質の何れかに関して条件４４を設定する。この条件４４は外部入力５０に依存して設定しうる。例えば、ユーザにより所望の最小の追跡品質又は所望の電力制限のような所望の条件を入力しうる。目追跡装置１０が組込まれているとともに目の追跡に用いられるシステムに向けられている外部アプリケーションにより、最小の追跡品質に対する要件のような条件４４を目追跡装置１０に伝達することができる。更に、目追跡装置１０により、この目追跡装置が電力供給網に接続されているか又はバッテリにより給電されているかを確認することもできる。この目追跡装置がバッテリにより給電されている場合には、自動的に電力消費量に関する制約を設定し、これをバッテリの充電状態に依存させることもできる。目追跡装置１０により、これが電力供給網により電力供給されていることを検出する場合には、品質に対する条件４４を最大に設定することができる。この条件４４は例えば、予め決定した優先順序において上述した外部入力５０の組合せにより設定することもでき、例えば、目追跡装置１０が品質に対する条件でプラグ接続されて、他のユーザ入力が受信されない場合のみ、最大に設定される。

更に、撮像装置２０は、目の追跡に対する動作中で画像６０を繰返し捕捉する。このような画像６０には調整パラメータＰ_Ａを調整するために用いることもできる情報が含まれている。画像品質６２は第一に、画像中のコントラスト６２ａ、グリントの大きさ６２ｂ、飽和度６２ｃ、信号対雑音比６２ｄ及びグリントの輝度６２ｅのような画像品質パラメータＰ_Ｑを構成する種々の画像特徴から取出すことができる。この情報は、処理ユニット４０により画像６０から抽出させるとともに、画像品質パラメータＰ_Ｑの形態で特に制御ユニット４２に与えることができる。

更に、処理ユニット４０により、捕捉画像６０から、特定の状態６４に関する情報をも抽出することができ、例えば、周囲の光度６４ａを決定することができ、更にユーザの目の色６４ｂ、ユーザの皮膚の色６４ｃ、ユーザ及びユーザの目の行動又は動き６４ｄ又はユーザが眼鏡６４ｅを装着しているか否か及び撮像装置２０に対するユーザの視線（凝視）角６４ｆのようなその他のユーザの特性を決定することができ、これらは後に説明するような３Ｄ環境の種々の領域に対する出力結果の品質の推定を決定するために用いることができる。その後、この情報を状態パラメータＰ_Ｓの形態で提供することができる。抽出された状態パラメータＰ_Ｓ及び画像品質パラメータＰ_Ｑを制御ユニット４２に供給して調整パラメータＰ_Ａを制御するようにしうる。照明ユニット３０と、撮像装置２０と、処理ユニット４０との電力メトリックを含むシステムの電力メトリック又は特性に関する情報も制御ユニット４２内に保存することができる。更に、制御ユニット４２は、目の追跡、電力消費量及び調整パラメータＰ_Ａに関連する品質を好ましくは状態パラメータＰ_Ｓに依存させて相互に関連付けられている、予め規定した相関関係４２ａを有する。この相関関係４２ａは、各々の所定の状態及び設定された条件４４に対する調整パラメータＰ_Ａの制御を規定するルックアップテーブル、数式、モデル、最適化アルゴリズム又は機能の形態で与えることができる。従って、調整パラメータＰ_Ａは、最初に、設定された条件４４が満足されるように制御される。条件４４が例えば電力消費量に対して設定された場合には、制御ユニット４２が相関関係４２ａに応じて調整パラメータＰ_Ａを制御し、条件４４が満足され且つこれと同時に、達成された品質ができるだけ良好となるようにする。これにより、制御ユニット４２は、調整パラメータＰ_Ａを相関関係４２ａに応じて、好ましくは取得した状態パラメータＰ_Ｓの少なくとも１つに依存させて制御する。これと同じことが、条件４４が画像品質に関して設定された場合にも適用される。

相関関係４２ａは、構成部の調整パラメータＰ_Ａが電力消費量と目の追跡に関連する品質とに如何に影響を及ぼすかと、種々の状態によっても品質に如何に影響を及ぼし且つ目追跡装置１０を種々の状態に適合させるのにこの影響を如何に用いうるかと、に関する検出事項に基づいて与え、従って、最小の品質を保証した状態で電力消費量を低減しうるか、又は所定の電力消費量の制約の下で品質を最大化しうることを可能にする。

目追跡装置１０の３つの主な構成部、すなわち、撮像装置２０と、照明ユニット３０と、処理ユニット４０との全てがエネルギーを消費する。照明源により消費される電力は他の構成部に比べて突出している。照明源により消費されるエネルギーは、この照明源から放出される光の光度３０ａを制御するこの照明源の入力電力（ワットで測定しうる強度）に依存する。

パルス照明の場合、時間窓に亘る、例えば１秒当り、照明源により消費されるエネルギーは、オフ期間及びオン期間（方形波）にも依存し、より一般的には電力曲線形状及びその時間に亘る積分値にも依存する。従って、パルス照明の場合、電力消費量は主として、パルスの強度を調整し、パルスの持続時間３０ｃを調整し、動作周波数３０ｂ、特に照明源の動作周波数及び目追跡装置１０全体の動作周波数を調整し、照明ユニット３０が１つよりも多い光源を有する場合に、起動する光源の個数３０ｄを調整することで制御することができる。

光源により消費される電力はその全てが光に変換されるものではないことに注意することが重要であり、このことを図２に示してある。この図２には、照明源により光に変換される入力電力の割合（効率η）が入力電力の種々の値に対し示されている。この図２から明らかなように、効率ηは入力電力に対して変化している。効率ηの値は１００mAの入力電流Ｉにおける効率ηに対して正規化されている。図２のグラフ線図は、電位を一定にして、入力電力に比例する入力電流の量を示している。従って、パルスの強度を、可能ならば最大効率ηで動作するように制御するのが好ましい。その理由は、この場合、大部分の入力電力が光エネルギーに変換される為である。このような電力メトリックは、調整パラメータＰ_Ａを品質及び電力消費量に相関づけている予め規定した相関関係４２ａ内に含めて、このような目追跡装置１０に対し効率ηの特定の特性を考慮するようにすることができる。

更に、簡略化したアルゴリズム４０ａを用いることを選択することにより、処理ユニット４０の電力消費量を低減させることができる。

次に、入力画像品質の主たる態様を、特に画像品質６２が調整パラメータＰ_Ａ及び状態パラメータＰ_Ｓにより如何に影響されるかを説明する。画像品質６２は幾つかの態様の下で測定でき、これらの幾つかは強い相関関係があり、これらは特に信号対雑音比６２ｄや、カメラによる光収集、モーションブラー及び目の追跡の特定の態様である。

信号対雑音比６２ｄに関して飽和効果を制御下に保つ場合、一般的な規則は、撮像装置２０が特に集束した光を多く収集すればするほど、その出力画像６０がより良好となるということである。このことに対する１つの手短な説明は、電気雑音の量がほぼ固定であるとすると、装置により収集される信号量を多くする、従って、その信号対雑音比６２ｄを高くすることである。例えば、信号対雑音比６２ｄが低くなることにより、画像６０におけるエッジ特徴が乱され、これにより目の特徴個所の推定を悪くし、従って、視線の推定を悪くする。雑音レベルが、瞳、虹彩、強膜等のような目の特徴間のコントラスト６２ａに相当するようになる場合には、これらの目の特徴を検出するのが不可能又は困難となるおそれがある。

更に、カメラにより収集される光の量は、露出時間窓の持続時間２０ａと、光学絞り２０ｄと、周囲に存在する光の量６４ａと、露出時間窓の持続時間２０ａ中に照明源により放出され、カメラの前方の光景、すなわち捕捉領域内で物体／人物により反射される光の量３０ａとに依存する。より具体的には、帯域通過フィルタ、例えば、赤外線フィルタ又はカラーフィルタが撮像装置２０に装着されているか又は内蔵されている場合には、その画像センサは異なる波長に応答する為、カメラに当る周囲の及び照明用の光源の全てが画像６０の作成に寄与するものではなく、特に特定の波長を有する光波が主として排除されるであろう。又、撮像装置２０により電気利得２０ｂを設定し、これにより電気雑音及びカメラの電力消費量が増大する犠牲の下でセンサの感度を増大させるようにすることもできる。

モーションブラーに関しては、提示された時間窓２０ａ中に動きが生じた場合に、画像６０は一般に不所望なモーションブラーを呈する。このモーションブラーは、動きの速度及び時間窓２０ａの持続時間に比例する。この動きはユーザ及びその目の双方及び装置自体に関する場合がある。

目の追跡の特定の態様に関しては、画像６０中のコントラスト６２ａが追跡品質に著しい影響を及ぼし、特に瞳及び虹彩間や、虹彩及び強膜間や、一般に目の全ての構成部とこれらの周囲との間のコントラスト６２ａが追跡品質に著しい影響を及ぼし、且つグリント、すなわち目への光源の反射光と周囲との間のコントラスト６２ａが追跡品質に著しい影響を及ぼし、グリントの飽和度６２ｃの量と、グリントの大きさ６２ｂと、ユーザ追跡に対する顔の特徴のような他の有用となる可能性のある情報のコントラスト６２ａ及び飽和度６２ｃの量が追跡品質に著しい影響を及ぼす。コントラスト６２ａが高くなればなるほど、これらの特徴をより一層確実に、正確に且つ精密に再構成できるとともに、追跡品質をより一層良好とする。

要するに、照明パルス形状３０ａ、３０ｂ、３０ｃを変更する以外に、撮像装置２０により収集される光の量を制御するのに利用しうる他の選択肢は、シャッタ時間２０ａ及び絞り２０ｄの双方又は何れか一方を大きくすることである。この場合の不都合な点は、カメラ特性が画像６０の品質６２に悪影響を及ぼすおそれのある他の副作用を有することである。シャッタ時間２０ａを増大させることによりモーションブラーを増大させ、絞り２０ｄを大きくすることにより画像６０の鮮明度に悪影響を及ぼすおそれがある。

本発明は、エネルギーを節約することと、所望の最小画像品質及び視線追跡品質の双方又は何れか一方を保証することとの間のバランスを保つことを容易とする。本発明の方法は、特に目の領域に関する画像品質６２を最適とする。このことを達成するために、以下のパイプライン（情報ルート）を実行しうる。最初に、カメラにより捕捉された画像６０を解析してユーザの目の概略位置を見いだす。次に、画像品質パラメータＰ_Ｑに関連するとともに、目が検出される画像領域に依存する画像品質特性、特に画像特徴を計算する。画像品質特性は例えば、画像のコントラスト６２ａとすることができる。その理由は、特に瞳及び虹彩間や、虹彩及び強膜間や、一般に全ての目の構成部及びこれらの周囲間の良好なコントラスト６２ａが目の検出の正確度及び精密度を高める為である。更なる画像品質特性は画像雑音、特に信号対雑音比６２ｄである。代表的には、カメラにより捕捉される光が多くなればなるほど、これに比例して画像雑音が低くなる。従って、光をより長時間又はより強く放出させることにより、すなわち照明ユニット３０からの照明持続時間３０ｃ及び光度３０ａを増大させることにより、すなわち電力消費量の増大、モーションブラーの増大又は焦点深度の低減化の不都合な点を伴うシャッタ時間２０ａ又は絞りの大きさ２０ｄを増大させることにより、画像データと雑音との間の比６２ｄを低減させるおそれがある。更なる特性は飽和度６２ｃとすることができる。画像６０が目の領域において過飽和度にある場合には、実際の目の形状に関する有益情報が失われる。他の品質特性は、可視光のＲＧＢカメラに対してのみ関連する色歪みに見ることができる。又、種々の光状態が画像中の色の種々の見え方に関連する。特に、顔又は目を検出するのに皮膚の色６４ｃを用いる場合には、照明条件を調整することにより色の見え方を最適にすることができる。

画像を解析するとともに上述した画像の特徴又は画像品質特性の１つ以上を抽出した後、目追跡装置１０により、画像品質が所望の目追跡品質にとって充分であるかどうかを決定し、これに応じて、制御ユニット４２に帰還を行ってその設定を調整するとともに次のフレームに対し用いるエネルギーを調整する。この決定には、例えば、画像６０における全てのグリントの輝度をそろえるために、複数の光源を別々に制御することをも含めることができる。

例えば、画像又は目追跡品質に対して例えば電力節約目的のために条件４４を設定し、目追跡品質が予め決定した最小値を超えるようにする必要があるが予め決定した最大品質値を越えないようにする必要があるようにする場合には、最小の所望品質を保証した状態で電力節約を達成することができる。この場合、特定の最小の画像品質又は視線品質が維持されるように、光源により消費される電力の量をできる限り減少させることにより、目の追跡を行う際の電力の節約を達成できる。画像品質６２は、上述した画像特徴の１つ以上から取出すことができる。従って、制御ユニット４２は、画像品質６２が捕捉画像６０から持続的に取出されて制御ループに帰還されるようにした閉ループ制御で調整パラメータＰ_Ａを制御でき、この制御ユニット４２が、予め規定した相関関係４２ａに基づいて調整パラメータＰ_Ａ、例えば光度３０ａを制御して、画像品質６２が設定条件４４を満足するようにしうる。

他の場合で、画像品質又は目追跡品質に対する条件４４が最大となるように設定されている場合には、例えば、目追跡装置１０が電力供給網に接続されており、従って電力消費量に対処することがないことをこの目追跡装置１０が検出する場合には、目の検出を正確にするための最良の品質は、消費される電力に拘らず、目が検出される領域において画像６０の品質を最適にすることにより達成させることができる。目的は、画像６０を最適にし、（３Ｄの）目の位置及び（３Ｄの）視線方向の再構成ができる限り正確となるようにすることである。このことには通常、瞳及び虹彩のコントラスト６２ａを最大にすることと、画像雑音６２ｄを最小にするように輝度６２ｅを調整することとが含まれる。

目追跡品質に影響を与える他の可能性は、グリントの輝度６２ｅを調整することである。ユーザの顔及び目は必ずしも均一に照明されているものではない。例えば、複数の光源が互いに異なる光量を放出するか、又は複数の光源が向けられている場合には、光円錐中の顔の位置及び更なる個々の特性に依存して画像６０内の光分布が不均一となるおそれがある。一方の目における幾つかのグリントが互いに異なる輝度レベル６２ｅを有するようになることが起きるおそれもある。目の検出及び再構成のためには、グリント又は画像６０中の光分布の輝度６２ｅを均一にすることが有効となりうる。この場合、光源の電力は各光源に対し個々に制御してこの均一化を達成するようにすることができる。これにより、多くの電力を消費する必要なしに品質を高めることができる。その理由は、光出力を増大させる必要がなく、再分布させるだけである為である。一方、これにより、例えば、条件４４を品質に対し設定すれば、電力を節約することもできる。この場合、光出力の再分布は光度３０ａを低減させることにより達成することができる。その理由は、光度３０ａを低減させることにより生ぜしめられる画像品質６２の減少を、グリントの輝度６２ｅの最適化により達成される画像品質６２の増大により補償させることができる為である。従って、この上述した処置は、調整パラメータＰ_Ａを調整するための制御ユニット４２の制御ストラテジーにおいて実施することもできる。

更に、視線出力品質又は追跡品質は画像品質６２とは異なる他のパラメータにも依存する。視線出力品質は幾つかの視点の下で測定しうる。一方では、正確度により、再構成された視線がユーザ（目）の実際の監視方向に如何に厳密に一致しているかを測定し、他方では、精密度により、再現性を測定するものであり、この再現性は、同じ又は類似する入力条件を与えた場合に、出力結果に如何に一貫性があるか、又はしかも入力を一定にした場合に出力にどの位の雑音があるかの目安を意味する。

追跡品質は、追跡出力、例えば、計算された目の位置又は視線方向が高周波数で更新される場合に、より良好であるとみなされる。正確度及び精密度が一定であると、視線の更新を６０Hzで行う目追跡装置１０は、３０又は２０Hzで動作する装置よりも良好に機能する。

幾つかの状況下では、移動標的に対し露出時間窓２０ａを超える場合に、例えばモーションブラーが生じた画像で起きるおそれのある散発的なサンプル却下４０ｄをともなうように動作することが許容されてしまうおそれもある。従って、捕捉された画像６０が予め決定した最小の画像品質基準を満足しない場合には、この画像６０は、目の位置又は視線方向のような目の特徴を計算するのに更に用いられないように却下することができる。

最後に、結果が得られるまでの遅延、すなわち目の位置又は視線方向のような目の特徴の変化が出力に伝達されるまでにどの位の時間がかかるかも出力品質の一部である。

正確度及び精密度は更に分けることができ、例えば、ユーザは精密度においてスクリーンのｘ（水平）及びｙ（垂直）座標に対し別々に考察する。正確度及び精密度は３Ｄ環境、特に装置のスクリーンの異なる領域に対して異ならせることができる。例えば、視線結果はスクリーンの中央領域に対してはより良好となり、その周囲部分に対してはより低くなるように推定することができる。この影響には幾つかの要因が拘っており、例えば、画像６０におけるある目の位置に対しグリントが瞳のエッジの一部と重なり、これにより眼球の位置及び向きを再構成する有効な情報を失うおそれがある。

本発明の他の実施例によれば、モバイルフォン、タブレット、コンピュータ、ヘッドマウントディスプレイのような、目追跡装置１０が一体化されたデバイスも、追跡品質に応じて、特に目の追跡を制御しうる間にこのデバイスを現在動作させているアプリケーションに応じて制御しうる。

あるアプリケーションを追跡品質に応じて制御するには、視線データを視線品質又は推定した追跡品質と一緒に出力させることができる。これにより、目追跡ソフトウェアが、捕捉された画像６０から、目及び視線方向の双方又は何れか一方を、再構成される目及び視線方向の双方又は何れか一方の推測品質スコアと一緒に再構成させるようにする。品質スコアは、スクリーン上の計算上の注視点の予期された正確度又は精密度とすることができる。上述したアプリケーションはこのスコアを、例えばその内容を適合させることにより用いるようにしうる。目追跡装置１０は予期された視線品質を、３Ｄ環境の種々の領域に対し、特にスクリーンの種々の領域に対し戻す又は出力することもできる。

例えば、スクリーン上のグラフィカルボタンのような選択区域の寸法を正確度のスコアに基づいて調整し、視線を介する選択を確実に容易に入力しうるようにすることができる。上述したアプリケーションは、その選択区域（ボタン）を、スクリーン領域毎に予期される正確度に基づいて、予期される視線品質がより高いスクリーンの領域に示すことを選択する。

更に、アプリケーションにより要求される視線品質を生じるように目追跡装置１０を制御することができる。このアプリケーションは再構成視線の最小品質を要求することができ、例えば、視線方向の正確度は１．５°又はそれよりも良好にする必要がある。目追跡装置１０はこの情報を用いて、その目的を達成するとともに電力をできるだけ多く節約するようにこの目追跡装置１０の構成部を制御することができる。

品質条件は、例えばアプリケーションに応じて設定することができる。３Ｄシューターゲームやアーティストソフトウェアのような幾つかのアプリケーションは高い正確度を必要とする。パズルゲームのような他のソフトウェア、又は視線に基づくスクローリングを支援するアプリケーションは、目追跡装置１０に関して低い正確度要件を有し、従って、低い電力モードで動作させるようにする。本発明は、正確度要件を設定しうるようにするとともに、これを用いて画像品質６２を、従って、最終的な視線品質を調整するようにする。

他の例は、アプリケーションがこれらの現在の状態又は外部事象に基づいて必要とする品質を調整することを望むことができる例である。この品質は、まさしく、スクリーン上の特定の領域を探したり、テキストを読んだり、画像又はビデオを見たり、ペインティング又はその他のために視線を用いたりするようなユーザの行動６４ｄに基づいて調整しうる。

又、エネルギーの利用可能性を用いて、品質又は電力消費量の何れの条件が設定されているかを決定することができる。例えば、装置をプラグ接続する場合、電力消費量の問題はそれほど関係がなくなり、目追跡装置１０の焦点は最良の出力品質を維持することにシフトさせることができる。しかし、目追跡装置１０がバッテリにより附勢される場合には、目追跡品質と電力消費量との間の妥協点を選択することにより、特に電力消費量を下げる必要がある最大消費値のような電力消費量の制約を設定することにより、少なくとも次の再充電までこの目追跡装置がバッテリ寿命を高める貢献を行うようにしうる。

所望の追跡品質を達成するか、又は現在の追跡品質を出力する必要がある場合には、上述した影響因子に基づいて行うことのできる追跡品質を推定する必要がある。前述したように、再構成された目及び視線の品質は得られた目の画像６０の品質６２に強く関連している。本発明の技術によれば、画像品質６２、例えば、コントラスト６２ａ、輝度６２ｅ等を、予期する目追跡品質にマッピングする必要がある。このマッピングが一旦規定されると、目追跡装置１０は目の追跡を行っている間に目追跡品質を計算することができる。

画像品質６２を目追跡品質にマッピングする相関関係は例えば、装置を較正する際に一旦記録及び保存しておくことができる。人々の組は、位置が目追跡装置１０にとって分かっている幾つかの個所をスクリーン上に固定することを要求される場合がある。目追跡装置１０は、電気利得２０ｂ、光度３０ａ、シャッタ速度２０ａ等のようなカメラ及びＬＥＤの特性を数秒に亘って調整する。これにより、捕捉された画像６０の品質６２を解析し、目及び視線方向を再構成し、スクリーン上の注視点を計算し、再構成の正確度又は精密度におけるエラーを測定する。これらの値はデータ構造中に保存し、これにより画像品質６２と目追跡品質との間の相関関係を規定するようにする。

更に、アプリケーションが所望の目追跡品質を与えている場合、上述したのと同様な方法を用いることができる。画像品質６２を目追跡品質に関連付ける上述したことから発生されたマッピングを用いて、所望の目追跡品質を所望の画像品質６２に変換することができる。目追跡装置１０は、目追跡を行っている間に調整パラメータＰ_Ａを調整して所定の画像品質６２を達成する。

この画像を視線品質にマッピングすることは、品質尺度をスクリーンの種々の領域に分けることにより更に拡張させることができる。

入力品質は通常、電力消費量を低減させる必要がある場合と相反する方向に進ませる必要がある。前述したように、可能な最短期間で、できるだけ多くの光量を集め（信号対雑音比６２ｄを高め）て、モーションブラーを阻止する場合に、最良の画像品質が収集される。理想的な画像品質条件の場合、照明源は可能な最短期間で光エネルギーを生じて画像６０を生ぜしめる。更に、サンプル品質が最大に維持されている間に目線更新周波数が目追跡装置１０により達成しうる最大値に設定されると、最良の出力品質が得られる。目追跡装置１０によれば、特に以下に説明するように、上述した制約を無くした場合に電力の節約を達成することができる。

前述したように、種々の状況が追跡品質に種々の影響を及ぼす。従って、これらの状況を特定することにより、追跡品質を高めることができるか、又は他方では追跡品質を同じにした場合には、電力消費量を低減させることができる。特に、適合可能性、すなわち周囲光への適合、環境のダイナミシティへの適合、アプリケーションの必要性への適合、ユーザの特性への適合や、低電力の固定追跡に対する可変の目追跡装置モードを以下に例示として詳細に説明する。

“周囲光”とは、フィルタ（これは随意である）を含む撮像装置２０が感応し、特に各波長における感度割合に対し考慮される、周囲の環境に存在する光の部分（波長スペクトル）を表すことを銘記すべきである。

周囲光は、入力画像６０を生ぜしめるのに寄与し、特に目の特徴の中で良好なコントラスト６２ａを生ぜしめるのに必要な光を収集するために寄与する。何れにしろ、照明源は、３Ｄ位置の再構成を行うのに必要とするグリントを目内に形成するのに充分な光を生ぜしめる必要がある。周囲光の条件６４ａ及び目追跡装置１０のストラテジーを以下のようにおおまかに要約しうる。
‐強い周囲光：目追跡装置１０は画像の飽和度６２ｃを回避することを目標とする、従って、撮像装置２０の露出時間窓２０ａを減少させる必要がある。必要な目の特徴のコントラスト６２ａを生ぜしめるのに必要とする全ての光を周囲から収集することができる場合、照明源はユーザの可視状態の目の中にグリントを形成するのに必要な光電力を放出する必要があるだけである。照明パルスは露出時間窓２０ａ内に集中させる必要がある。
‐中間の周囲光：目追跡装置１０は露出時間２０ａをできるだけ長く延長させてできるだけ（又は必要とするだけ）多くの周囲光を収集するようにしうる。“できるだけ長く”とは、前述したようにモーションブラーの制約に対応させることを意図するものである。静的環境の場合と、より高いサンプル却下４０ｄに関する出力の品質をより低くすることを許容しうるものとみなす場合と、衝動的な目の動き６４ｄを却下する場合との何れか又はこれらの任意の組合せにおいては、露出時間窓２０ａを互いに異なる程度に延長させることができる。照明源は、露出時間窓２０ａ中にユーザの可視状態の目の中にグリントを形成するのに必要な光電力を放出する必要があるとともに、必要であれば、光の必要とする残りの部分を提供して必要とする目の品質のコントラスト６２ａを得るようにする必要がある。この光のエネルギーは、カメラの露出時間窓２０ａ中に放出させる必要があり、電力曲線形状である波形３０ａ、３０ｂ、３０ｃは、最大エネルギー変換効率ηで動作するのに最適となるようにしうる。
‐存在しない又は無視しうる周囲光：照明源は目の特徴の中で必要なコントラスト６２ａを生ぜしめるのに且つ好ましくは目の上にグリントを形成するのに必要な光を全て発生させる必要がある。前述したように、露出時間窓２０ａを延長させる場合には、照明源はその波形３０ａ、３０ｂ、３０ｃを、最大エネルギー変換効率で機能するように適合させる。

更に、目追跡装置１０は、少なくとも２つの異なるウェーブフィルタ／センサ感度設定を有する少なくとも２つの異なる撮像装置２０（カメラ）を用いて動作するようにしうる。特に、少なくとも１つのカメラは、広範囲の光の波長に感応するように設定するとともに、目の特徴の中で必要とするコントラスト６２ａを得るためにより多くの周囲光を収集するようにすることができ、少なくとも１つのカメラは、照明源が動作する光波帯域上に（ほぼ）中心が位置するようにしたより狭い光の波長範囲に感応するように設定するとともに、グリント情報を得るのに必要とする光を収集するようにすることができる。これらの少なくとも２つの異なるカメラは互いに接近させて配置し、情報のマッチングを容易にするか、又はこれらの少なくとも２つの異なるカメラは更に離間させて配置し、幾何学的変換機能を用いることにより特徴を２つの画像領域間でマッピングするようにしうる。

上述したところで予期したように、環境のダイナミシティへの適合に関して、目追跡装置１０によれば、露出時間窓２０ａを延長させるとともに、照明パルス形状３０ａ、３０ｂ、３０ｃを最適化することにより電力消費量を低減させることができる。これに関連して、目追跡装置１０が、特にユーザ又はユーザの目の動き６４ｄとこの目追跡装置１０自体の動き６４ｄとの双方又は何れか一方により与えられる環境のダイナミシティ６４に関する情報を検出又は受信し、照明源に入力される電力を低減させるように調整パラメータＰ_Ａを設定する。

アプリケーションの必要性への適合については、前述したように、目追跡装置の出力品質に関する要件を、使用中の現在のアプリケーションに依存させて変えることができる。これらの出力品質の要件は、正確度、精密度、遅延、更新周波数等のうちの１つ以上に関するものとしうる。目追跡装置１０は、明確な視線品質要求５０を受け、必要とする品質を丁度達成するように電力消費量を低減させることができる。目追跡装置１０への入力５０は、“自動スクロールを用いた読出し”のようなアプリケーションスコープに関するものとすることもでき、この目追跡装置１０は、作動中の動作を正しく実行するのに必要とする品質を丁度達成するようにその電力消費量を低くする。この特定の例の場合、ｙ座標（縦座標）における正確度をｘ座標（横座標）における正確度よりも重要とみなす必要があり、散発的なサンプル却下は重要でなく、更新周波数（目追跡装置１０の周波数）は低くすることができる。

ユーザの特性への適合に関しては、種々のユーザの特性により、光電力の放出が異なる同じ入力画像品質６２が得られるようにする。例えば、茶色の目の人は、可視領域とは相違して赤外線領域において瞳及び虹彩間の高いコントラスト６２ａを呈する。目追跡装置１０は、ユーザの目の反射率特性６４ｂを検出することにより、放出される光エネルギーの量を、目の特徴を表す所望の最小のコントラスト６２ａが得られるように適合させる。

同様に、眼鏡６４ｅのような干渉面が可視状態のユーザの目により反射される光の量を減少させるおそれがある。目追跡装置１０によりユーザが眼鏡６４ｅを装着していないことを検出すると、この目追跡装置１０は、目の特徴であるコントラスト６２ａを所望通りに最小にするのに放出される光エネルギーの量を低減させる。

少なくとも２つの異なるカメラを有する前述した目追跡装置１０を再び参照するに、この目追跡装置１０は、現場に居るユーザに対し最良の目の特徴を抽出するカメラを用いることを決定するか、又は２つのカメラから生じる画像６０中に含まれる情報の組合せを用いることを決定しうる。

低電力の固定追跡に対する可変の目追跡装置１０のモードに関しては、幾つかの目の動き行動６４ｄが存在し、その内で最も重要なのが固定（凝視）及びサッカードである。固定中では、ユーザの注意は一点に集中しており、生じる目の動きは少なくなるか又は無視しうるものとなる。サッカード中は、視線が一点から他の点に急速に移動する。大多数のアプリケーションの場合、古い固定から新たな固定への遷移を、新たな固定の開始を検出するキーピリオドとする固定点のみが重要である。目追跡装置１０は、その動作モードを連続的に変え、固定が検出された後及びその持続時間中に周波数３０ｂ及び放出光を低減させ従って電力を節約するとともに、遷移が検出されて少ない遅延で次の固定を検出しうるようになると再びこれらの周波数及び放出光を高めるようにすることができる。おおまかではあるが、殆どの時間、目は“固定モード”にあり（目がサッカードを実行している際には視覚的な取入れは生じることはなく、自身を短期間の間有効に盲目状態にされる）、従って、目追跡装置１０は、この技術を採用することにより、殆どの動作期間の間より低い周波数３０ｂで動作しうるようになる。完全にするには、上述したことはあらゆる状態に適用させず、例えば、ユーザが読取を行っている際には固定期間を目追跡装置１０の更新期間よりもさらに短くし、目追跡装置１０が連続的な動き状態にある目を検出しうるようにすることができる。しかし、前述したように、読取は、エネルギー消費量の点で異なる方法で扱うことのできるユーザの行動である。

以上要するに、上述した方法、すなわち本発明による目追跡装置動作方法及びその実施例によれば、有利なことに、目追跡を所望の品質で、しかも電力消費量を低減させるとともに多くの異なる状態に柔軟に適合させて行うことができる。

Claims (16)

1. 予め決定した捕捉領域を有する目追跡装置（１０）を動作させる目追跡装置動作方法であって、前記目追跡装置（１０）は構成部として、
   ‐この目追跡装置（１０）の捕捉領域内でユーザの少なくとも一方の目の画像（６０）を捕捉しうる少なくとも１つの撮像装置（２０）と、
   ‐前記捕捉領域内でユーザのこの少なくとも一方の目を照らすことのできる少なくとも１つの光源を有する少なくとも１つの照明ユニット（３０）と、
   ‐前記撮像装置（２０）により捕捉された画像（６０）を処理しうる処理ユニット（４０）と
   を具えており、
   前記目追跡装置（１０）は前記構成部（２０；３０；４０）の少なくとも１つを調整しうる少なくとも２つの調整パラメータ（Ｐ_Ａ）を有し、前記目追跡装置（１０）は更に、前記少なくとも２つの調整パラメータ（Ｐ_Ａ）を設定することにより前記構成部（２０；３０；４０）の少なくとも１つを制御しうる少なくとも１つの制御ユニット（４２）を具えているようにした当該目追跡装置動作方法が、
   ａ）前記ユーザの少なくとも一方の目の少なくとも１つの画像（６０）を捕捉するステップを有しており、この目追跡装置動作方法が、
   ｂ）目の追跡に関連する品質と、前記構成部（２０；３０；４０）の少なくとも１つの電力消費量との群の要素に対して少なくとも１つの第１条件（４４）を設定し、この第１条件（４４）が前記目の追跡に関連する品質に対して設定された場合には、この第１条件（４４）は、前記品質が超える必要がある予め決定した最小の品質値とし、前記第１条件（４４）が前記電力消費量に対して設定された場合には、この第１条件（４４）は、予め決定した最大の電力消費量の値とし、電力消費量がこの値よりも低くなるようにする必要があるようにし、前記目の追跡に関連する品質を、画像品質（６２）又は推定した目追跡品質とする特徴ステップと、
   ｃ）前記制御ユニット（４２）により、前記少なくとも２つの調整パラメータ（Ｐ_Ａ）を前記品質及び前記電力消費量に相関づける第１の予め規定した相関関係（４２ａ）に応じて前記少なくとも２つの調整パラメータ（Ｐ_Ａ）を制御して、前記第１条件（４４）が設定された前記要素が前記第１条件（４４）を満足するようにし、前記第１の予め規定した相関関係（４２ａ）は、前記少なくとも２つの調整パラメータ（Ｐ_Ａ）に依存して前記品質及び前記電力消費量間の相互作用を表しているとともに、設定された前記第１条件（４４）に対する前記少なくとも２つの調整パラメータ（Ｐ_Ａ）の制御を表しているようにする特徴ステップと
   を有している目追跡装置動作方法。
2. 請求項１に記載の目追跡装置動作方法において、
   前記予め規定した相関関係（４２ａ）は、前記少なくとも２つの調整パラメータ（Ｐ_Ａ）の設定可能な値の複数の組合せを前記品質の品質値及び前記電力消費量の電力消費値に割当てることにより与えるか、又は前記少なくとも２つの調整パラメータの制御に対する調整ストラテジーを提供するか、これらの双方を達成するようにすることを特徴とする目追跡装置動作方法。
3. 請求項１又は２に記載の目追跡装置動作方法において、
   前記ステップｂ）において、前記第１条件（４４）が目の追跡に関連する品質に対して設定された場合に、この第１条件（４４）は、前記予め決定した最小の品質値及び予め決定した最大の品質値とし、品質がこれら最小の品質値及び最大の品質値間となるようにする必要があるようにすることを特徴とする目追跡装置動作方法。
4. 請求項１〜３の何れか一項に記載の目追跡装置動作方法において、
   前記ステップｂ）において、前記第１条件（４４）が電力消費量に対して設定された場合に、この第１条件（４４）は、前記予め決定した最大の電力消費量の値及び予め決定した最小の電力消費量の値とし、電力消費量がこれらの最大の電力消費量の値及び最小の電力消費量の値間にあるようにすることを特徴とする目追跡装置動作方法。
5. 請求項１〜４の何れか一項に記載の目追跡装置動作方法において、
   各調整パラメータ（Ｐ_Ａ）の値の複数の組合せが、前記第１条件（４４）が設定された前記要素に関連し、この要素が前記第１条件（４４）を満足している場合には、前記制御ユニット（４２）が前記第１の予め規定した相関関係（４２ａ）に応じて前記少なくとも２つの調整パラメータ（Ｐ_Ａ）を制御して、前記複数の組合せのうちの第１の組合せを設定し、前記第１条件（４４）が設定されていない前記群の前記要素の値が前記複数の組合せのうちの他の組合せと比較して極値化されるようにすることを特徴とする目追跡装置動作方法。
6. 請求項１〜５の何れか一項に記載の目追跡装置動作方法において、
   前記少なくとも２つの調整パラメータ（Ｐ_Ａ）が、前記照明ユニット（３０）の光度（３０ａ）、特に前記照明ユニット（３０）の少なくとも１つの光源であって目を照明するこの光源の光度（３０ａ）と、照明持続時間（３０ｃ）と、照明周波数（３０ｂ）と、照明ユニット（３０）の幾つかの起動光源（３０ｄ）と、前記少なくとも一方の目の少なくとも１つの特性を決定するための少なくとも２つの異なる目追跡アルゴリズムから目追跡アルゴリズム（４０ａ）を選択する調整パラメータと、画像を捕捉する前記撮像装置（２０）の少なくとも２つの異なるカメラから少なくとも１つのカメラ（２０ｃ）を選択する調整パラメータと、前記撮像装置（２０）の電気利得（２０ｂ）と、更新周波数と、前記撮像装置（２０）の絞りの大きさ（２０ｄ）と、前記撮像装置（２０）のシャッタ（２０ａ）の調整と、前記撮像装置（２０）のサンプリングレートと、前記処理ユニット（４０）のクロック周波数（４０ｂ）と、起動状態にある前記処理ユニット（４０）の幾つかの計算ユニット（４０ｃ）との何れか又はこれらの任意の組合せを参照するようにすることを特徴とする目追跡装置動作方法。
7. 請求項１〜６の何れか一項に記載の目追跡装置動作方法において、
   周囲の光度（６４ａ）と、ユーザの行動（６４ｄ）と、目の色（６４ｂ）と、皮膚の色（６４ｃ）と、前記目追跡装置（１０）に伝達された外部アプリケーションの要件との少なくとも１つを特徴づける少なくとも１つの状態パラメータ（Ｐ_Ｓ）を決定し、前記第１の予め規定した相関関係（４２ａ）を少なくとも、前記少なくとも１つの状態パラメータ（Ｐ_Ｓ）により予め規定するようにすることを特徴とする目追跡装置動作方法。
8. 請求項１〜７の何れか一項に記載の目追跡装置動作方法において、
   前記目の追跡に関連する品質を、前記処理ユニット（４０）により前記少なくとも１つの画像（６０）を解析することにより撮像装置により捕捉されたこの少なくとも１つの画像（６０）から取出すようにすることを特徴とする目追跡装置動作方法。
9. 請求項１〜８の何れか一項に記載の目追跡装置動作方法において、
   前記画像品質（６２）は、前記少なくとも１つの画像（６０）から抽出された少なくとも１つの品質特徴、特にこの少なくとも１つの画像（６０）における特にユーザの目の検出された目の部分間のコントラスト（６２ａ）と、前記画像（６０）の信号対雑音比（６２ｄ）と、前記少なくとも１つの画像（６０）における検出された反射の大きさ（６２ｂ）と、前記少なくとも１つの画像（６０）における検出された反射の飽和度（６２ｃ）と、前記少なくとも１つの画像（６０）における検出された反射の輝度（６２ｅ）との何れか又はこれらの任意の組合せにより決定することを特徴とする目追跡装置動作方法。
10. 請求項１〜９の何れか一項に記載の目追跡装置動作方法において、
    前記推定した目追跡品質を、
    ｄ）前記画像（６０）を処理し、これにより前記画像（６０）から少なくとも１つの品質特徴（６２ａ；６２ｂ；６２ｃ；６２ｄ；６２ｅ）を抽出するステップと、
    ｅ）前記少なくとも１つの品質特徴（６２ａ；６２ｂ；６２ｃ；６２ｄ；６２ｅ）を画像品質（６２）に相関づけるとともに、この画像品質（６２）を推定した目追跡品質に相関づける第２の予め規定した相関関係を提供するステップと、
    ｆ）この第２の予め規定した相関関係に応じて、抽出された前記少なくとも１つの特徴を前記画像品質（６２）及び前記推定した目追跡品質に割当てることによりこの推定した目追跡品質を決定し、この推定した目追跡品質を、前記目の実際の特性からの、この目の決定した特性のずれに対する目安とするステップと
    により決定することを特徴とする目追跡装置動作方法。
11. 請求項１〜１０の何れか一項に記載の目追跡装置動作方法において、
    前記推定した目追跡品質を、ユーザの視野内に位置する容積又は表面の三次元座標の関数、特に三次元ワールド座標の関数で計算するか、又はユーザの視野内に位置する表面の二次元座標の関数、特に前記目追跡装置（１０）に接続されたディスプレイ装置の二次元座標の関数で計算することを特徴とする目追跡装置動作方法。
12. 請求項１〜１１の何れか一項に記載の目追跡装置動作方法において、
    前記第１の予め規定した相関関係（４２ａ）は、ルックアップテーブル及び特性曲線族の双方又は何れか一方の形態で、又は前記少なくとも２つの調整パラメータ（Ｐ_Ａ）と前記電力消費量及び前記品質とを相関づける数学式及び関数の双方又は何れか一方により与えることを特徴とする目追跡装置動作方法。
13. 請求項１〜１２の何れか一項に記載の目追跡装置動作方法において、
    前記制御ユニット（４２）により、開ループにおいて前記第１の予め規定した相関関係（４２ａ）に応じて前記少なくとも２つの調整パラメータ（Ｐ_Ａ）を制御することを特徴とする目追跡装置動作方法。
14. 請求項１〜１３の何れか一項に記載の目追跡装置動作方法において、
    前記制御ユニット（４２）により、閉ループにおいて前記第１の予め規定した相関関係（４２ａ）に応じて前記少なくとも２つの調整パラメータ（Ｐ_Ａ）を制御することを特徴とする目追跡装置動作方法。
15. 請求項１〜１４の何れか一項に記載の目追跡装置動作方法において、
    前記少なくとも１つの第１条件（４４）を、ユーザ入力に応じて、又は所定の外部アプリケーション或いは所定の電源モードにより設定することを特徴とする目追跡装置動作方法。
16. 予め決定した捕捉領域を有する目追跡装置（１０）であって、この目追跡装置が構成部として、
    ‐捕捉領域内でユーザの少なくとも一方の目の画像（６０）を捕捉しうる少なくとも１つの撮像装置（２０）と、
    ‐前記捕捉領域内でユーザのこの少なくとも一方の目を照らすことのできる少なくとも１つの光源を有する少なくとも１つの照明ユニット（３０）と、
    ‐前記撮像装置（２０）により捕捉された画像（６０）を処理しうる処理ユニット（４０）と
    を具えており、
    前記目追跡装置（１０）は前記構成部（２０；３０；４０）の少なくとも１つを調整しうる少なくとも２つの調整パラメータ（Ｐ_Ａ）を有し、前記目追跡装置（１０）は更に、前記少なくとも２つの調整パラメータ（Ｐ_Ａ）を設定することにより前記構成部（２０；３０；４０）の少なくとも１つを制御しうる少なくとも１つの制御ユニット（４２）を具えているようにした当該目追跡装置において、
    ａ）前記制御ユニット（４２）は、目の追跡に関連する品質又は前記構成部の少なくとも１つの電力消費量に対して少なくとも１つの第１条件（４４）を設定しうるようになっており、目の追跡に関連する前記品質に対する前記第１条件（４４）は前記品質が超える必要がある予め決定した最小の品質値とし、前記電力消費量に対する前記第１条件（４４）は、予め決定した最大の電力消費量の値とし、電力消費量がこの値よりも低くなるようにする必要があるようにし、目の追跡に関連する前記品質は、画像品質（６２）又は推定した目追跡品質とし、
    ｂ）前記目追跡装置（１０）は、前記少なくとも２つの調整パラメータ（Ｐ_Ａ）と前記品質及び前記電力消費量とを相関づける第１の予め規定した相関関係（４２ａ）を有しており、
    ｃ）前記制御ユニット（４２）は、前記第１の予め規定した相関関係（４２ａ）に応じて前記少なくとも２つの調整パラメータ（Ｐ_Ａ）を制御でき、前記少なくとも１つの第１条件（４４）が設定された前記要素が前記少なくとも１つの第１条件（４４）を満足するようになっており、前記第１の予め規定した相関関係（４２ａ）は、前記少なくとも２つの調整パラメータ（Ｐ_Ａ）に依存して前記品質及び前記電力消費量間の相互作用を表しているとともに、設定された前記第１条件（４４）に対する前記少なくとも２つの調整パラメータ（Ｐ_Ａ）の制御を表しているようになっていることを特徴とする目追跡装置。

Images