JP6208901B2 - 目追跡装置動作方法及び能動的電力管理を行う目追跡装置 - Google Patents

目追跡装置動作方法及び能動的電力管理を行う目追跡装置 Download PDF

Info

Publication number
JP6208901B2
JP6208901B2 JP2017000295A JP2017000295A JP6208901B2 JP 6208901 B2 JP6208901 B2 JP 6208901B2 JP 2017000295 A JP2017000295 A JP 2017000295A JP 2017000295 A JP2017000295 A JP 2017000295A JP 6208901 B2 JP6208901 B2 JP 6208901B2
Authority
JP
Japan
Prior art keywords
quality
eye
eye tracking
image
tracking device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017000295A
Other languages
English (en)
Other versions
JP2017097901A (ja
Inventor
カラフェ クラウディオ
カラフェ クラウディオ
ネッサー マティーアス
ネッサー マティーアス
ワーナー フェビアン
ワーナー フェビアン
ニスティコ ヴァルター
ニスティコ ヴァルター
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SensoMotoric Instruments Gesellschaft fuer Innovative Sensorik mbH
Original Assignee
SensoMotoric Instruments Gesellschaft fuer Innovative Sensorik mbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SensoMotoric Instruments Gesellschaft fuer Innovative Sensorik mbH filed Critical SensoMotoric Instruments Gesellschaft fuer Innovative Sensorik mbH
Publication of JP2017097901A publication Critical patent/JP2017097901A/ja
Application granted granted Critical
Publication of JP6208901B2 publication Critical patent/JP6208901B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013Eye tracking input arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26Power supply means, e.g. regulation thereof
    • G06F1/32Means for saving power
    • G06F1/3203Power management, i.e. event-based initiation of a power-saving mode
    • G06F1/3206Monitoring of events, devices or parameters that trigger a change in power modality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26Power supply means, e.g. regulation thereof
    • G06F1/32Means for saving power
    • G06F1/3203Power management, i.e. event-based initiation of a power-saving mode
    • G06F1/3234Power saving characterised by the action undertaken
    • G06F1/325Power saving in peripheral device
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18Eye characteristics, e.g. of the iris
    • G06V40/19Sensors therefor
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/65Control of camera operation in relation to power supply
    • H04N23/651Control of camera operation in relation to power supply for reducing power consumption by affecting camera operations, e.g. sleep mode, hibernation mode or power off of selective parts of the camera
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Ophthalmology & Optometry (AREA)
  • Studio Devices (AREA)
  • Image Input (AREA)
  • Eye Examination Apparatus (AREA)

Description

本発明は、予め決定した捕捉(記録)領域を有する目(眼球)追跡装置(アイトラッキ
ング装置)を動作させる方法に関するものであり、この目追跡装置は、構成部(コンポー
ネント)として、目追跡装置の捕捉領域内でユーザの少なくとも一方の目の画像を捕捉し
うる少なくとも1つの撮像装置と、捕捉領域内でユーザのこの少なくとも一方の目を照ら
す(照明する)ことのできる少なくとも1つの光源を有する少なくとも1つの照明ユニッ
トと、撮像装置により捕捉された画像を処理しうる処理ユニットとを具えるものである。
更に、目追跡装置は構成部の少なくとも1つを調整しうる少なくとも2つの調整パラメー
タを有し、この目追跡装置は更に、これら少なくとも2つの調整パラメータを設定するこ
とにより構成部の少なくとも1つを制御しうる少なくとも1つの制御ユニットを具える。
更に、ユーザの少なくとも一方の目の少なくとも1つの画像が捕捉される。本発明は更に
、目追跡装置に関するものである。
本発明は、ユーザの目の位置、目の向き及びその他の特性、例えば、瞳孔拡張、眼内距
離等を検出及び追跡する装置である目追跡装置との関連で適用されるものである。
目追跡装置がますます確立された技術となり、目追跡機能が組込まれたタブレット、ス
マートフォン、ヘッドマウントディスプレイ等のようなますますポータブルとなる装置の
有効性が増大するのと並行して、目追跡装置の電力消費量を低くすることが適切なことと
なる。米国特許US7,980,698B2には、目を照らすための光源と、目から反射
される光をセンサに指向させるマイクロレンズアレイとを有する電力調整式収差計が開示
されている。この収差計によれば、センサが複数の光点を検出し、これら光点は最善の状
態でこれらの光点の画像から適切な目の特性を捕捉しうる許容域に入る光レベルを有する
ようにする必要がある。このことを達成させるために、信号品質が悪すぎる場合に光源の
光度が自動的に増大されるようになっている。この場合、可能な最良の画像品質(画質)
を達成させることのみを対処しているが、電力消費量は考慮されていない。
特開2002‐282209には、ユーザの目を照らすための照明ユニットと、ユーザ
の目の画像を捕捉する捕捉ユニットとを有する視線検出器が開示されている。この場合、
視線検出を実行するための画像情報を捕捉する前に、目の幾つかの予備画像を取得し、次
いで目に対する視線検出器の距離を計算し、この距離に基づく照明光量を決定する。これ
により、ユーザの目を照らす光度をユーザの距離に適合させて画像品質を高めるようにし
うる。この場合も、目追跡装置の電力消費量は考慮されていない。
米国特許US8,025,405B2には、被検者の少なくとも一方の目のそれぞれの
個所を自動的に登録及び追跡する目追跡装置が開示されている。照明ユニットの電力消費
量を低減させた、電力効率の良い目追跡装置を得るために、目の位置を推定するとともに
、照明ユニットにより行う照明をこの推定した位置に向けて指向させ、目があると予期さ
れる領域のみを照らす必要があり、従って、光力を節約しうるようにすることが提案され
ている。この目追跡装置の欠点は、目の位置を推定する必要があり、このことが完全なる
間違いの元となることである。推定位置が目の実際の位置に合致しないと、有用な画像を
得ることができず、このことが追跡品質に著しい悪影響を及ぼす。更に、推定された目の
位置に向かうこの照明方向が大型のLEDアレイにより、又は可動ミラー及び光源により
達成される場合には、目追跡装置はモバイル装置に組込むのにあまり適していない。
米国特許出願公開US2013/0106681A1には、パーソナルコンピュータシ
ステムのエネルギー性能に悪影響を及ぼすことなくこのコンピュータシステム内に組込む
ことのできる目追跡システムにおける電力管理方法が開示されている。この目的のために
、この目追跡システムはアクティブ(能動的)モードと、レディ(準備完了)モードと、
アイドルモードとの間で切換えうるようになっており、アクティブモードでは目追跡デー
タに目の位置及び目の向きが含まれ、電力節約目的のレディモードでは目追跡データに目
の位置のみが含まれており目の向きは含まれていない。この方法の大きな欠点は、電力節
約のために目追跡システムにより与えられる機能範囲を低減させる必要があるということ
である。
米国特許US7,980,698B2 特開2002‐282209 米国特許US8,025,405B2 米国特許出願公開US2013/0106681A1
本発明の目的は、本発明の特許請求の範囲の独立請求項の序文に開示するように、電力
消費量の観点と追跡品質又は機能範囲の観点とをより良好に同時にもたらしうる目追跡装
置動作方法及び目追跡装置を提供することである。
この目的は、本発明の独立請求項の特徴事項を有する目追跡装置動作方法及び目追跡装
置により解決するものである。
本発明の第1の態様によれば、目の追跡に関する品質と、撮像装置、照明ユニット及び
処理ユニットである構成部の少なくとも1つの電力消費量との群の要素に対する少なくと
も1つの第1条件を設定する。更に、構成部の少なくとも1つを調整しうる少なくとも2
つの調整パラメータを品質及び電力消費量に相関づける予め規定した相関関係を提供し、
制御ユニットによりこの予め規定した相関関係に応じて前記少なくとも2つの調整パラメ
ータを制御し、第1条件が設定された要素がこの第1条件を満足するようにする。
本発明によれば、種々の状態の要件を考慮しうる大きな利点が得られる。このことは、
少なくとも1つの第1条件を品質又は電力消費量の何れかに対して設定することにより可
能としうる。この場合、状態に応じて優先度を設定しうる。例えば、ある状態では、電力
消費量を制限することを重要とすることができ、他の状態では、追跡品質を高くすること
を重要としうる。従って、本発明によれば、目追跡装置の動作を種々の状態の要件に適合
させる融通性を提供することにより、品質と電力消費量との間の矛盾を調和させる。更に
、このことは、調整パラメータを品質及び電力消費量に相関づける相関関係を提供するこ
とにより可能となる。本発明は、電力消費量に対する影響を有するようにする目追跡装置
の調整が同時に追跡品質に対する影響を有することを見いだしたことに基づいているもの
である。従って、調整パラメータに依存する品質及び電力消費量間の相互作用を予め規定
した相関関係により考慮でき、従って、この相関関係により種々の状態に適合する品質及
び電力消費量間の適切な調和を見いだしうるようになる。更に、構成部の少なくとも1つ
を調整しうる少なくとも2つの調整パラメータが提供される為、品質又は電力消費量の何
れかを最適にするとともにこれらの2つの要素の他方が第1条件を満足するある度合又は
自由度が提供される。特に、本発明は、以下に詳細に説明するように、電力消費量及び品
質に影響を与える2つよりも多くの調整パラメータを提供しうることを見いだしたことに
基づいている為、この複数の調整パラメータを用いて電力消費量を低減させるとともに、
同時に品質を最適にすることができる。
本発明の有利な例では、第1条件が目の追跡に関連する品質に対して設定された場合に
、この第1条件は、品質が超える必要がある予め決定した最小の品質値とする。又、例え
ば、ユーザにより設定しうる又は特定のアプリケーション等の要件に依存して設定しうる
複数の予め決定した最小の品質値が存在するようにもできる。第1条件が品質に対して設
定された場合には、ある最小の品質が達成されるとともに、例えば、電力消費量が低減さ
れることを確実行うことができるようにするのが有利である。
更に、第1条件は予め決定した最小品質値及び予め決定した最大品質値とし、この第1
条件が目の追跡に関連する品質に対して設定された場合に、品質が最小品質値及び最大品
質値間に存在する必要があるようにすることもできる。本発明のこの例は、特に有利であ
る。その理由は、一方では、ある最小の品質が達成することが確実に行われ、他方では、
経験的に追跡品質を高くすればするほど電力消費量が高くなるので、最大の品質値を設定
することにより、電力消費量をも同時に制限される為である。
他の例では、電力消費量に対して第1条件を設定した場合には、この第1条件を予め決
定した最大電力消費量の値とし、電力消費量がこの値よりも低くなるようにする必要があ
る。従って、電力消費量を制限しうるようにするのが有利である。この場合、複数の異な
る最大電力消費量の値をも提供でき、この場合これらを特定の状態の要件に応じて選択し
うるようになる。例えば、ユーザは電力消費量に対し制限値を、又は目追跡装置の電力節
約モードを入力することができ、或いはこの最大電力消費量の値を、目追跡装置の又は目
追跡装置が組込まれたシステムの電力利用可能性に応じて設定しうる。
本発明の更なる例によれば、電力消費量に対して第1条件を設定した場合には、この第
1条件は予め決定した最大電力消費量の値及び予め決定した最小電力消費量の値とし、電
力消費量がこれらの最大電力消費量の値及び最小電力消費量の値間にあるようにする。前
述したように、電力消費量は追跡品質に関連している為、最大電力消費量の値及び最小電
力消費量の値を提供することにより、電力消費量を制限でき、同時に、電力消費量を制限
することにより品質は必要以上とならないようにすることを確実に達成しうる。
電力の節約を達成するためにこれらの種々の段階の適応性を導入することにより、電力
節約を制約した可能な最良の品質か、又は品質を制約した最小の電力節約の何れかを達成
することができる。更に、品質の制約又は電力消費量の制約を入力において受けることが
できる為、目追跡装置の動作を最も有効に種々の状態に適合させることができる。
群のどの要素に条件を設定するかを決定するために、目追跡装置は、この要素を、結局
は条件自体をも特定する入力信号を受信ようにするのが好ましく、この場合、この目追跡
装置は、受信した入力信号に基づいて要素に関する条件を設定する。
更に、最適化を実現するために、各調整パラメータの値の複数の組合せが、第1条件が
設定された要素に関連し、この第1条件が満足される場合には、制御ユニットが予め規定
した相関関係に応じて前記少なくとも2つの調整パラメータを制御して前記複数の組合せ
のうち第1の組合せが設定されるようにし、第1条件が設定されていない要素に対して第
1条件が設定された群の要素の値が、前記複数の組合せの他の組合せと比較して極値化さ
れるようにするのが本発明の好適例である。例えば、第1条件が品質に対して設定された
場合には、品質がこの条件を満足し、同時に電力消費量ができる限り低減されるように調
整パラメータを制御する。一方、この条件が電力消費量に対して設定された場合には、こ
の電力消費量がこの条件を満足し、同時に品質ができる限り高められるように調整パラメ
ータを制御する。このことは、前記少なくとも2つの調整パラメータにより、特にこの最
適化に対する必要な自由度を提供する多数の調整パラメータにより可能となる。換言すれ
ば、例えば、必要とする最小品質を達成するのにこれらの調整パラメータを如何に設定し
うるかの異なる可能な組合せがある。従って、最低の電力消費量となりうるパラメータの
この組合せが選択される。又、電力消費量が予め決定した値よりも低く低下するように、
調整パラメータを設定する異なる可能性がある。従って、調整パラメータの値のこの組合
せは、品質が最大となるように設定しうる。このようにして、ユーザが電力を節約する必
要がある制限を最小に低減させるのが有利である。
この最適化を提供しうるようにするためには、どの調整パラメータが電力消費量及び品
質に如何にして影響を及ぼすかを知ることが有効である。例えば、目追跡装置は固定の又
は可変の周波数で動作させることができる。撮像装置は、周囲から光を収集する露出時間
窓と称するそのシャッタ開放期間と、シャッタ閉成期間とを変える。例えば、目追跡装置
が50Hzで動作するように設定され、露出時間窓が3ms(ミリ秒)に設定されている場合
、1秒の間に、撮像装置はそのシャッタが開放している50回の3msの期間とそのシャッ
タが閉成している50回の17msの期間とを交互に繰返す。照明ユニットは永続的にオン
状態にするか、又は撮像装置の露出時間窓と同期しているとともに撮像装置の露出時間窓
を同じにした又は異ならせたパルスを有するパルス照明を放出するようにしうる。撮像装
置又は照明ユニットを1つよりも多くする場合には、これらの全てはこの構成において同
期して動作する。照明ユニットは、パルスの持続時間(パルス長)及びパルス振幅(パル
ス強度)の双方を制御しうる。これらの2つの値の積、特にパルス強度の時間に亘る積分
は、各パルス当り照明ユニットにより放出された光量及び消費された電力量に直接関連す
る。撮像装置がローリングシャッタを有する場合には、同期及び時間窓に関する更なる考
慮が必要である。
従って、照明源のエネルギー消費量は電力曲線形状に依存する。これに加えて、一般的
に、撮像装置が収集しうる光が多くなればなるほど、追跡品質がより良好となる。照明ユ
ニットにより消費される電力が著しく多いが、目追跡装置の構成部の他の構成部もエネル
ギーを消費する。処理ユニットは通常、目の追跡以外の他の作業を実行するが、目追跡ア
ルゴリズムにとって必要とする追加の計算を行う為に、この処理ユニットの電力消費量は
増大する。従って、例えば、簡単化したアルゴリズムを用いることを選択することにより
、処理ユニットの電力消費量を低減させることができる。更に、撮像装置は、1つよりも
多いカメラを、例えば、1つは可視光用で他の1つは赤外線用の2つのカメラを具えるこ
とができ、従って、カメラの個数も電力消費量及び追跡品質に影響を及ぼす。
従って、前記少なくとも2つの調整パラメータが、照明ユニットの光度、特に照明ユニ
ットの少なくとも1つの光源であって画像を捕捉している間に目を照明するこの光源の光
度と、画像を捕捉している間の照明持続時間と、照明周波数と、照明ユニットの幾つかの
起動光源と、前記少なくとも一方の目の少なくとも1つの特性を決定するための少なくと
も2つの異なる目追跡アルゴリズムから1つの目追跡アルゴリズムを選択する調整パラメ
ータと、画像を捕捉する撮像装置の少なくとも2つの異なるカメラから少なくとも1つの
カメラを選択する調整パラメータと、撮像装置の電気利得と、更新周波数と、撮像装置の
絞りの大きさと、撮像装置のシャッタの調整と、撮像装置のサンプリングレートと、処理
ユニットのクロック周波数と、起動状態にある処理ユニットの幾つかの計算ユニットとの
何れか又はこれらの任意の組合せを参照するようにするのが本発明の極めて有利な例であ
る。これらの調整パラメータは全て、電力消費量や品質に影響を及ぼす。従って、有利な
ことに、電力消費量及び品質状態に具体的に適合する多くの可能性がある。
種々の状態を扱うためには、これらの種々の状態を特徴づけるのが極めて有利である。
従って、周囲の光度と、ユーザの行動と、ユーザの特性、特に目の色及び皮膚の色の双方
又は何れか一方とのうちの少なくとも1つを特徴づける少なくとも1つの状態パラメータ
を決定し、予め規定した相関関係を少なくとも、前記少なくとも1つの状態パラメータに
より予め規定するようにするのが好ましい。換言すれば、制御ユニットにより、調整パラ
メータを、決定した前記少なくとも1つの状態パラメータに依存して制御しうる。例えば
、周囲に多くの光が存在する場合には、照明ユニットの光度又は照明持続時間を減少させ
て、周囲にほんの僅かな光しか存在しない場合と比較して同じ品質を達成するようにしう
る。調整パラメータを設定するにはユーザの行動も関連性がある。例えば、露出時間窓中
に動き動作が生じた場合には、捕捉された画像が不所望なモーションブラー(動きのぶれ
)を呈するようになる。このモーションブラーは動きの速度及び時間窓の持続時間に比例
する。動きは、ユーザ及びユーザの目の双方と、装置自体とに関連させることができる。
動きの速度が速い場合には、露出時間窓を長くしすぎて許容しうる品質を達成することが
できないようにしてはならない。動きの速度が遅い場合には、調整パラメータを設定する
ための多くの自由度があり、例えば、露出時間窓を長く設定し、小さい光度をこの露出時
間窓中に放出されるように選択することができるか、又は露出時間窓を短く設定し、これ
に対応して照明ユニットの光度を高く設定することができる。ユーザの行動も目追跡装置
の更新レートの周波数の要件に影響を及ぼす。例えば、目の激しい動きがない場合には、
非常に小さい更新レートでも良好な品質を達成でき、一方、目の激しい動きがある場合に
は、同じ品質を達成するために更新レートを大きくする必要がある。ユーザの目の色及び
ユーザの皮膚の色の双方又は何れか一方も品質に、従って、調整パラメータの対応する設
定に影響を及ぼす。例えば、茶色の目の人は、可視領域とは相違して赤外線領域において
瞳及び虹彩間の高いコントラストを呈する。最良の目の特徴を抽出するには、目の色に関
する情報を用いて、可視光又は赤外光或いはこれらの双方の何れのカメラを使用する必要
があるかを決定することができる。又、ユーザが眼鏡を装着しているか否かのような他の
ユーザの特性も品質に影響を及ぼす。その理由は、ユーザが眼鏡を装着している場合には
、画像から目の特徴を抽出するのが一層困難となる為である。従って、例えば、ユーザが
眼鏡を装着していない場合には、目追跡装置は所望の最小の品質を得るために放出させる
光量を低減させることができる。更に、皮膚の色はユーザの顔又は目を検出するのに用い
ることができ、照明条件を調整することにより色の見え方(カラーアピアランス)を最適
にすることができる。従って、上述した状態パラメータの少なくとも1つが決定されると
、これにより、異なる状態へのより良好な適合を、特に品質の最適化及び電力消費量の低
減化をできる限り許容するようになる。
これらの状態パラメータは1つ以上の捕捉画像から取出しうるようにするのが有利であ
り、特に捕捉画像によれば、周囲の光の状態を特定できるとともに、ユーザの目の色又は
皮膚の色或いはその他のユーザの特性や、ユーザ又はユーザの目の動きの延長のようなユ
ーザの行動も捕捉しうる。従って、処理ユニットが捕捉画像を解析し、制御ユニットがこ
の解析結果に応じて調整パラメータを制御するようにするのが好ましい。
本発明の他の例では、処理ユニットにより前記少なくとも1つの画像を解析することに
より撮像装置により捕捉されたこの少なくとも1つの画像から、目の追跡に関連する品質
を取出すようにする。従って、品質を画像から取出すことにより条件をこの品質に対して
設定すれば、品質がこの条件を満足しているかを確認することができる。満足されていな
い場合には、例えば、閉ループ制御で調整パラメータを制御して品質が最終的にこの条件
を満足するようにする。
目の追跡に関連する品質は、画像品質又は推定した目追跡品質とすることができる。画
像品質は捕捉した画像から直接取出すことができ、更に画像品質を目追跡品質に関連させ
て、決定した画像品質から目追跡品質も推定しうるようにする。
画像品質は、前記少なくとも1つの画像から抽出された少なくとも1つの品質特徴、特
にこの少なくとも1つの画像における特にユーザの目の検出された目の部分間のコントラ
ストと、前記画像の信号対雑音比と、前記少なくとも1つの画像における検出された反射
の大きさと、前記少なくとも1つの画像における検出された反射の飽和度と、前記少なく
とも1つの画像における検出された反射の輝度との何れか又はこれらの任意の組合せによ
り決定することができる。目の追跡を実行するためには、虹彩又は瞳のようなある目の部
分を、同様に目から反射された反射光、特にグリントを画像において識別されるようにす
る必要がある。従って、瞳及び虹彩間又は虹彩及び強膜間のような目の部分間のコントラ
ストが高い場合には、これらの部分をより良好に識別しうる。更に、信号対雑音比が高い
場合、このことによっても関連の目の部分や関連の反射光の識別を高める。関連の反射光
の大きさ及び関連の反射光の輝度も目追跡品質に、従って、画像品質を特徴づける関連の
品質特徴に影響を及ぼす。従って、これらの特徴が捕捉された画像から抽出される場合、
画像品質を決定しうる。抽出されたこれらの品質特徴は、設定する又はある画像品質を得
る必要がある調整パラメータを決定する予め規定した相関関係に取入れることができる。
この画像品質も目追跡品質に関連する為、特に
‐画像を処理し、これによりこの画像から少なくとも1つの品質特徴を抽出するステップ
と、
‐前記少なくとも1つの品質特徴を画像品質に相関づけるとともにこの画像品質を推定し
た追跡品質に相関づける予め規定した相関関係を提供するステップと、
‐抽出された前記少なくとも1つの品質特徴を、前記予め規定した相関関係に応じて、前
記画像品質及び前記推定した追跡品質に割当てることにより、この推定した追跡品質を決
定し、この推定した追跡品質が前記目の実際の特性からの前記目のこの決定した追跡特性
のずれに対する目安となるようにするステップと
により、目追跡品質を、推定した目追跡品質として画像品質から取出すのが本発明の極め
て有利な例である。
これにより、追跡品質を、目の再構成された特性、例えば、再構成された視線が目の実
際の特性、例えば、ユーザの実際の監視方向に如何に厳密に一致しているに対する目安で
ある追跡正確度(accuracy)とすることができる。
追跡品質は、再現性に対する目安、すなわち同じ又は類似の入力条件を与えた場合に出
力結果が如何に一致しているかに対する目安、又は一定の入力に対して出力に如何に多く
の雑音が存在するかの目安である追跡精密度(precision )とすることもできる。
再構成された目及び視線の品質は取得した目の画像の品質に著しく関連している為、画
像品質を予期した目追跡品質にマッピング(対応付け)させることができる。このマッピ
ングが一旦規定されると、目の追跡を行っている間に、この目の追跡装置により目の追跡
品質を計算することができる。“画像品質を目追跡品質に”のマッピングは、例えば装置
の校正時に一旦記録及び蓄積することができる。例えば、位置が目追跡装置にとって分か
っている幾つかの個所を、目追跡装置に関連しているスクリーン上に固定することをユー
ザに要求することができる。システムは、利得値、光度、シャッタ速度等のようなカメラ
及び光源の種々の特性を数秒に亘って調整する。これにより、捕捉された画像の品質を解
析し、目及び視線方向の双方又は何れか一方を再構成し、例えばスクリーン上の注視点を
計算し、再構成の正確度又は精密度におけるエラーを測定する。従って、これらの値はデ
ータ構造中に保存(セーブ)し、これにより画像品質と目追跡品質との間の相関関係を規
定するようにすることができる。
例えば、所望の目追跡品質を、例えば、対応する条件を設定することにより要求する場
合には、画像品質を目追跡品質に関連させるこのマッピングを用いてこの所望の目追跡品
質を所望の画像品質に変換することができ、且つ目の追跡を行っている際に目追跡装置に
より調整パラメータを調整して、前述したように捕捉された各画像から取出しうる所定の
画像品質を達成するようにすることができる。更に、3D(三次元)環境の又は装置のス
クリーン上の種々の領域に対する推定した目追跡品質を得ることもできる。例えば、視線
結果はスクリーンの中央領域に対してはより良好となり、スクリーンの周囲部分に対して
はより低くなるように推定しうる。視線品質に関するこの情報は、例えば、スクリーン上
にボタンのような大きい又は小さい或いは多かれ少なかれ互いに離間した選択区域を存在
させるか、又はこれらの選択区域を、システムにより視線出力がより良好となるであろう
ことを推定するスクリーンの領域内に存在させることにより、ユーザと結びづける方法を
適用するアプリケーションにより用いることができる。
従って、推定した目追跡品質を、ユーザの視野内に位置する容積(volume)又は表面(
surface )の三次元座標の関数、特に三次元ワールド座標の関数で計算するか、又はユー
ザの視野内に位置する表面の2D(二次元)座標の関数、特に前記目追跡装置に接続され
たディスプレイデバイスの2D座標の関数で計算するのが本発明の極めて有利な例である
。これにより、ユーザの視野の種々の領域に対して、例えば、ユーザの視野におけるディ
スプレイの種々の領域に対して、推定した追跡品質を計算することができる。ディスプレ
イデバイスは、コンピュータ、タブレット、モバイル装置、ヘッドマウントディスプレイ
等のような、目追跡装置が一部分となっているか、一体化されているか又は少なくとも接
続されているデバイスの一部とし、目追跡装置の撮像装置とこのデバイスのディスプレイ
デバイスとの間の相対位置が目追跡装置にとって分かっているようにする。更に、撮像装
置に対するユーザの位置は画像を捕捉することにより決定することができる為、推定した
目追跡品質をユーザの視野内の幾つかの異なる領域に対し決定することができ、この場合
特に、異なる領域の個数を目追跡装置により予め設定することができる。従って、例えば
、推定した目追跡品質の種々の品質値は、仮想表面をも含むコンピュータスクリーン又は
その他の表面の種々の領域に属するものとしうる。
更に、上述した座標の関数で推定した追跡品質は目追跡装置の出力信号として提供する
ことができ、従って、例えば、この出力信号は、目追跡装置に接続されたデバイスを動作
させるアプリケーションに供給することができるとともに、上述したようにユーザと結び
づける方法を適用するアプリケーションにより用いることができる。
又、一般に、目の追跡に関連する品質、すなわち画像品質及び追跡品質の双方又は何れ
か一方は、目追跡装置により計算して、例えば、アプリケーション又は他の装置により更
に使用させるために、この目追跡装置の出力端に出力信号として出力させるか又は生ぜし
めることができる。
本発明の他の例によれば、適応パラメータを品質及び電力消費量に相関づける予め規定
する相関関係を、少なくとも目追跡装置に伝達される外部アプリケーションの要件により
予め規定するようにする。このことは、如何なる種類のユーザの目の動きが予測されるか
に関する情報が、アプリケーションの種類にも含まれていることを見いだすことに基づい
ている。例えば、ユーザが画像又は映像を見ている場合、ユーザが3Dシューターゲーム
をする場合よりも少ない目の動きが予期される。従って、調整パラメータを目追跡装置に
より決定しうる他の状態パラメータとして調整するために、アプリケーションの種類も相
関関係内に取入れることができる。
予め規定した相関関係は、前記少なくとも2つの調整パラメータの設定可能な値の組合
せの複数の組を、特にルックアップテーブル及び特性曲線族の双方又は何れか一方の形態
で、前記品質の品質値及び前記電力消費量の電力消費値に割当てることにより与えるか、
又は前記少なくとも2つの調整パラメータと電力消費量及び品質とを相関づける数学式と
数学モデルと関数との何れか又はこれらの任意の組合せにより与えることができる。例え
ば、捕捉しうる状態パラメータの組合せ又は種々の状態の各々に対して、対応する制御ユ
ニットによりルックアップテーブル及び特性曲線を制御ユニットにより設定でき、この場
合ルックアップテーブル及び特性曲線は特定の状態に対し設定する必要があり、従って、
品質か又は電力消費量の1つの要素が予め決定した条件を満足し、他の要素は随意ではあ
るが最適化されるようにできる。状態パラメータは上述した式、モデル及び関数に対する
入力パラメータとし、制御ユニットが、予め規定した相関関係に基づいて、状態パラメー
タにより特定された状態に依存する調整パラメータを設定するようにすることもできる。
更に、制御ユニットによれば、開ループ制御において又は閉ループ制御においても予め
規定した相関関係に応じて前記少なくとも2つの調整パラメータを制御しうる。従って、
例えば、状態を品質に対して設定した場合には、画像品質のような現在の品質を現在の画
像から決定するとともに相関関係に帰還させ、この相関関係により、品質が状態を満足す
ることを達成する調整ストラテジー(戦略)を提供するようにしうる。状態パラメータを
現在の画像から、又は現在捕捉された各画像からも決定したり、前記状態パラメータに対
する特性曲線のルックアップテーブルに応じて調整パラメータを設定したりすることも開
ループ制御として行うこともできる。
更に、前記少なくとも1つの第1条件は、ユーザの入力に応じて、又は所定の外部のア
プリケーション又は所定の電源モードにより設定することができる。例えば、ユーザは、
電力消費量又は品質を制限したいか、又は何を延長したいか、又はこれらの双方を望んで
いるかを入力することができる。又、種々のアプリケーションは追跡品質に関する種々の
要件をも有する。従って、必要とする追跡品質はアプリケーションから目追跡装置に伝達
して、目追跡装置が品質に対してそれぞれの条件を、例えば、最小値を設定するようにす
ることもできる。更に、目追跡装置は電源モードを、すなわちこの目追跡装置がプラグ接
続されるか又はバッテリにより給電されるかを決定しうるようにもできる。従って、目追
跡装置がプラグ接続されている場合には、電力消費量はそれほど関係がなくなり、品質に
対する条件を最大に設定することができる。目追跡装置がバッテリにより附勢される場合
には、目追跡装置は自動的に電力消費量に対する条件を設定するようにしうる。
本発明の第1の態様による目追跡装置は、予め決定した捕捉領域を有するとともに、構
成部として、捕捉領域内でユーザの少なくとも一方の目の画像を捕捉しうる少なくとも1
つの撮像装置と、捕捉領域内でユーザのこの少なくとも一方の目を照らすことのできる少
なくとも1つの光源を有する少なくとも1つの照明ユニットと、撮像装置により捕捉され
た画像を処理しうる処理ユニットとを具える。更に、この目追跡装置は、構成部の少なく
とも1つを調整しうる少なくとも2つの調整パラメータを有し、この目追跡装置は更に、
これらの少なくとも2つの調整パラメータを設定することにより前記構成部の少なくとも
1つを制御しうる少なくとも1つの制御ユニットを具える。この制御ユニットは、目の追
跡に関連する品質と前記構成部の前記少なくとも1つの電力消費量との群の要素に対して
少なくとも1つの第1条件を設定しうる。更に、目追跡装置は、前記少なくとも2つの調
整パラメータを品質及び電力消費量に相関づける予め規定した相関関係を有する。更に、
制御ユニットは予め規定した相関関係に応じて前記少なくとも2つの調整パラメータを制
御し、従って、前記少なくとも1つの第1条件を設定した要素がこの少なくとも1つの第
1条件を満足するようにしうる。
本発明の第1の態様による目追跡装置を動作させる方法に関して説明した好適例及びそ
の利点は、この本発明の第1の態様による目追跡装置にも同様に適用される。特に、目追
跡装置を動作させる方法及び本発明の第1の態様によるその例の上述したステップは本発
明の第1の態様による目追跡装置の更なる例を構成する。
本発明の第2の態様によれば、目追跡装置の捕捉領域内でユーザの少なくとも一方の目
の少なくとも1つの特性を捕捉する目追跡装置動作方法であって、前記目追跡装置は構成
部として、ユーザの前記少なくとも一方の目の画像を捕捉しうる少なくとも1つの撮像装
置と、ユーザのこの少なくとも一方の目を照らすことのできる少なくとも1つの光源を有
する少なくとも1つの照明ユニットと、前記撮像装置により捕捉された画像を処理しうる
処理ユニットとを具えているようにした当該目追跡装置動作方法が、
a)前記ユーザの目の画像を捕捉するステップと、
b)画像を処理し、これにより画像から少なくとも1つの品質特徴を抽出するステップと

c)前記少なくとも1つの品質特徴を画像品質に相関づけるとともにこの画像品質を推定
した追跡品質に相関づける予め規定した相関関係を提供するステップと、
d)前記予め規定した相関関係に応じて、抽出された前記少なくとも1つの品質特徴を画
像品質及び推定された追跡品質に割当てることによりこの推定された追跡品質を決定し、
この推定された追跡品質が目の実際の特性からの目の決定された特性のずれの目安となる
ようにするステップと
を有するようにする目追跡装置動作方法。
本発明の第1の態様による例に関して前述したように、本発明の第2の態様による方法
には、再構成された目及び視線の品質が取得した目の画像の品質に著しく関連しているこ
とを見いだすことに基づいて、画像品質を予期された目追跡品質にマッピングでき、この
場合特にこのマッピングが予め規定された相関関係により与えられるという大きな利点が
ある。例えば、所望の目追跡品質が、例えば対応する条件を設定することにより要求され
る場合には、画像品質を目追跡品質に関連させるこの相関関係を用いてこの所望の目追跡
品質を所望の画像品質に変換させることができ、且つ目の追跡を行っている間に目追跡装
置により調整パラメータを調整して、前述したように各捕捉画像から取出すことのできる
所定の画像品質を達成するようにしうる。更に、3D環境又は装置のスクリーン上の種々
の領域に対して推定した目追跡品質を提供することもできる。例えば、視線結果はスクリ
ーンの中央領域に対してはより良好となり、スクリーンの周囲部分に対してはより低くな
るように推定しうる。視線品質に関するこの情報は、例えば、スクリーン上にボタンのよ
うな大きい又は小さい或いは多かれ少なかれ互いに離間した選択区域を存在させるか、又
はこれらの選択区域を、システムにより視線出力がより良好となることを推定するスクリ
ーンの領域内に存在させることにより、ユーザと結びづける方法を適用するアプリケーシ
ョンにより用いることができる。従って、目追跡品質を知ること又は目追跡品質を推定し
うるようにすることは、特に電力節約の目的にとって適切なことである。その理由は、こ
の場合、目追跡品質を制限する必要があるか、又はある条件を満足する必要があるか、又
は電力節約にも拘らずある最小の目追跡品質を保証する必要がある為である。従って、捕
捉した画像の画像品質に基づいて目追跡品質を推定するのを容易にする本発明の第2の態
様によるこの方法は、電力節約の観点に対しても特に有利である。
目追跡装置の捕捉領域内でユーザの少なくとも一方の目の少なくとも1つの特性を捕捉
するための本発明の第2の態様による目追跡装置は、構成部として、ユーザの前記少なく
とも一方の目の画像を捕捉しうる少なくとも1つの撮像装置と、捕捉領域内でユーザのこ
の少なくとも一方の目を照らすことのできる少なくとも1つの光源を有する少なくとも1
つの照明ユニットと、前記撮像装置により捕捉された画像を処理しうる処理ユニットとを
具えるものである。更に処理ユニットは、撮像装置により捕捉された画像を処理すること
ができ、これにより少なくとも1つの品質特徴を画像から抽出しうるものである。目追跡
装置は、前記少なくとも1つの品質特徴を画像品質に相関づけるとともに、この画像品質
を推定した追跡品質に相関づける予め規定した相関関係を有し、処理ユニットは更に、抽
出した前記少なくとも1つの品質特徴を、この予め規定した相関関係に応じて画像品質及
び推定した追跡品質に割当てることにより、この推定した追跡品質を決定し、この推定し
た追跡品質が目の実際の特性からの目のこの決定した特性のずれに対する目安となるよう
にする。
本発明の第1の態様による目追跡装置動作方法及び目追跡装置の好適例及び特徴は、本
発明の第2の態様による目追跡装置動作方法及び目追跡装置と組合せることもできる。本
発明の第1の態様による目追跡装置動作方法及び目追跡装置に関して説明した好適例及び
その利点は、本発明の第2の態様による目追跡装置動作方法及び目追跡装置に対応して適
用される。特に、本発明の第1の態様による目追跡装置動作方法及びその例の上述したス
テップは、本発明の第2の態様による目追跡装置動作方法や本発明の第2の態様による目
追跡装置の更なる例を構成する。
以下に、本発明の有利な実施例を、添付図面を参照してより詳細に説明する。
図1は、本発明の実施例による目追跡装置動作方法を可視化するために目追跡装置の構成部を示す線図である。 図2は、赤外線LEDに対する代表的な効率図表を示すグラフ線図である。
図1には目追跡装置10及びその構成部の線図が示されている。この目追跡装置10は
、構成部として、この目追跡装置10の捕捉領域内でユーザの目の画像を捕捉するための
少なくとも1つのカメラ、すなわち赤外線カメラ及び可視光用カメラの一方又は双方を有
する撮像装置20を具えている。更に、この目追跡装置10は、少なくとも1つの光源、
特に1つ以上のカメラの付近に配置するのが好ましい2つ以上のLEDを有する照明ユニ
ット30を具えている。更に、この目追跡装置10は、他の構成部として、例えば、パー
ソナルコンピュータ(PC)、ラップトップコンピュータ、モバイル装置等により提供し
うる処理ユニット40を具えている。この処理ユニット40は、カメラからの画像を処理
するとともに、ユーザの目、通常、瞳及び虹彩の双方又は何れか一方の輪郭又は中心点を
検出する。この処理ユニット40は、目の角膜上の光源のグリントを検出するようにする
のも好ましい。検出された特徴はその後、ユーザの目の3D位置及び向きの双方又は何れ
か一方や、対応する注視方向及び注視点の双方又は何れか一方や、又は目のその他の特性
を計算するのに用いることができる。
更に、目追跡装置10の構成部には、これらの構成部及びこれらの動作を調整しうると
ともに、目追跡装置10の電力消費量や目追跡品質に影響を及ぼす種々の調整パラメータ
が含まれている。これらの調整パラメータPは以下で説明する。
撮像装置20は、目追跡装置10の動作中に、ある周波数でユーザの目の画像を捕捉す
る少なくとも1つのカメラを具えている。従って、カメラは、画像を捕捉するために開放
するとともに画像を捕捉する中間の時間では閉じるシャッタを有している。撮像装置20
の動作中は、照明ユニット30は絶えず発光させるようにしうるが、電力消費量に関して
は、照明ユニット30がパルス照明で動作し、この照明ユニット30により得られる照明
がカメラのシャッタと同期するようにするようにするのがより一層有効である。
このような設定構成の場合、照明ユニット30をその光度(照明強度)30aにおいて
調整しうる。これにより、随意ではあるが、照明ユニット30の各照明源をその光度30
aにおいて別々に調整しうる。更に、照明周波数30bを同様にシャッタ周波数と同期さ
せて調整させることができ、照明持続時間30cも好ましくはシャッタの露出時間窓と同
期させて調整させることができ、しかも画像を捕捉するのに起動している光源の個数30
dも調整することができる。
撮像装置20は、そのシャッタパラメータ20a、すなわち前述したシャッタ周波数及
び露出時間窓に関して調整することができ、カメラセンサの感度を決定する電気利得20
bを調整でき、画像を捕捉するカメラの個数20cやそれぞれのカメラの絞りの大きさ2
0dも調整できる。
処理ユニット40は、目の追跡に対し用いられるアルゴリズム40a、そのクロック周
波数40b、動作させる計算ユニットの個数40cに関し及びサンプル却下40dが許容
されるか又は許容されないかに関し調整しうる。
更に、目追跡装置10は前述した調整パラメータPを制御する制御ユニット42を具
えている。この制御ユニット42は図1において独立して示しているが、この制御ユニッ
ト42は必ずしも独立した構成部とせずに処理ユニット40の一部とすることもできる。
目追跡装置10を動作させる場合、最初に、目の追跡に関する電力消費量又は品質の何
れかに関して条件44を設定する。この条件44は外部入力50に依存して設定しうる。
例えば、ユーザにより所望の最小の追跡品質又は所望の電力制限のような所望の条件を入
力しうる。目追跡装置10が組込まれているとともに目の追跡に用いられるシステムに向
けられている外部アプリケーションにより、最小の追跡品質に対する要件のような条件4
4を目追跡装置10に伝達することができる。更に、目追跡装置10により、この目追跡
装置が電力供給網に接続されているか又はバッテリにより給電されているかを確認するこ
ともできる。この目追跡装置がバッテリにより給電されている場合には、自動的に電力消
費量に関する制約を設定し、これをバッテリの充電状態に依存させることもできる。目追
跡装置10により、これが電力供給網により電力供給されていることを検出する場合には
、品質に対する条件44を最大に設定することができる。この条件44は例えば、予め決
定した優先順序において上述した外部入力50の組合せにより設定することもでき、例え
ば、目追跡装置10が品質に対する条件でプラグ接続されて、他のユーザ入力が受信され
ない場合のみ、最大に設定される。
更に、撮像装置20は、目の追跡に対する動作中で画像60を繰返し捕捉する。このよ
うな画像60には調整パラメータPを調整するために用いることもできる情報が含まれ
ている。画像品質62は第一に、画像中のコントラスト62a、グリントの大きさ62b
、飽和度62c、信号対雑音比62d及びグリントの輝度62eのような画像品質パラメ
ータPを構成する種々の画像特徴から取出すことができる。この情報は、処理ユニット
40により画像60から抽出させるとともに、画像品質パラメータPの形態で特に制御
ユニット42に与えることができる。
更に、処理ユニット40により、捕捉画像60から、特定の状態64に関する情報をも
抽出することができ、例えば、周囲の光度64aを決定することができ、更にユーザの目
の色64b、ユーザの皮膚の色64c、ユーザ及びユーザの目の行動又は動き64d又は
ユーザが眼鏡64eを装着しているか否か及び撮像装置20に対するユーザの視線(凝視
)角64fのようなその他のユーザの特性を決定することができ、これらは後に説明する
ような3D環境の種々の領域に対する出力結果の品質の推定を決定するために用いること
ができる。その後、この情報を状態パラメータPの形態で提供することができる。抽出
された状態パラメータP及び画像品質パラメータPを制御ユニット42に供給して調
整パラメータPを制御するようにしうる。照明ユニット30と、撮像装置20と、処理
ユニット40との電力メトリックを含むシステムの電力メトリック又は特性に関する情報
も制御ユニット42内に保存することができる。更に、制御ユニット42は、目の追跡、
電力消費量及び調整パラメータPに関連する品質を好ましくは状態パラメータPに依
存させて相互に関連付けられている、予め規定した相関関係42aを有する。この相関関
係42aは、各々の所定の状態及び設定された条件44に対する調整パラメータPの制
御を規定するルックアップテーブル、数式、モデル、最適化アルゴリズム又は機能の形態
で与えることができる。従って、調整パラメータPは、最初に、設定された条件44が
満足されるように制御される。条件44が例えば電力消費量に対して設定された場合には
、制御ユニット42が相関関係42aに応じて調整パラメータPを制御し、条件44が
満足され且つこれと同時に、達成された品質ができるだけ良好となるようにする。これに
より、制御ユニット42は、調整パラメータPを相関関係42aに応じて、好ましくは
取得した状態パラメータPの少なくとも1つに依存させて制御する。これと同じことが
、条件44が画像品質に関して設定された場合にも適用される。
相関関係42aは、構成部の調整パラメータPが電力消費量と目の追跡に関連する品
質とに如何に影響を及ぼすかと、種々の状態によっても品質に如何に影響を及ぼし且つ目
追跡装置10を種々の状態に適合させるのにこの影響を如何に用いうるかと、に関する検
出事項に基づいて与え、従って、最小の品質を保証した状態で電力消費量を低減しうるか
、又は所定の電力消費量の制約の下で品質を最大化しうることを可能にする。
目追跡装置10の3つの主な構成部、すなわち、撮像装置20と、照明ユニット30と
、処理ユニット40との全てがエネルギーを消費する。照明源により消費される電力は他
の構成部に比べて突出している。照明源により消費されるエネルギーは、この照明源から
放出される光の光度30aを制御するこの照明源の入力電力(ワットで測定しうる強度)
に依存する。
パルス照明の場合、時間窓に亘る、例えば1秒当り、照明源により消費されるエネルギ
ーは、オフ期間及びオン期間(方形波)にも依存し、より一般的には電力曲線形状及びそ
の時間に亘る積分値にも依存する。従って、パルス照明の場合、電力消費量は主として、
パルスの強度を調整し、パルスの持続時間30cを調整し、動作周波数30b、特に照明
源の動作周波数及び目追跡装置10全体の動作周波数を調整し、照明ユニット30が1つ
よりも多い光源を有する場合に、起動する光源の個数30dを調整することで制御するこ
とができる。
光源により消費される電力はその全てが光に変換されるものではないことに注意するこ
とが重要であり、このことを図2に示してある。この図2には、照明源により光に変換さ
れる入力電力の割合(効率η)が入力電力の種々の値に対し示されている。この図2から
明らかなように、効率ηは入力電力に対して変化している。効率ηの値は100mAの入力
電流Iにおける効率ηに対して正規化されている。図2のグラフ線図は、電位を一定にし
て、入力電力に比例する入力電流の量を示している。従って、パルスの強度を、可能なら
ば最大効率ηで動作するように制御するのが好ましい。その理由は、この場合、大部分の
入力電力が光エネルギーに変換される為である。このような電力メトリックは、調整パラ
メータPを品質及び電力消費量に相関づけている予め規定した相関関係42a内に含め
て、このような目追跡装置10に対し効率ηの特定の特性を考慮するようにすることがで
きる。
更に、簡略化したアルゴリズム40aを用いることを選択することにより、処理ユニッ
ト40の電力消費量を低減させることができる。
次に、入力画像品質の主たる態様を、特に画像品質62が調整パラメータP及び状態
パラメータPにより如何に影響されるかを説明する。画像品質62は幾つかの態様の下
で測定でき、これらの幾つかは強い相関関係があり、これらは特に信号対雑音比62dや
、カメラによる光収集、モーションブラー及び目の追跡の特定の態様である。
信号対雑音比62dに関して飽和効果を制御下に保つ場合、一般的な規則は、撮像装置
20が特に集束した光を多く収集すればするほど、その出力画像60がより良好となると
いうことである。このことに対する1つの手短な説明は、電気雑音の量がほぼ固定である
とすると、装置により収集される信号量を多くする、従って、その信号対雑音比62dを
高くすることである。例えば、信号対雑音比62dが低くなることにより、画像60にお
けるエッジ特徴が乱され、これにより目の特徴個所の推定を悪くし、従って、視線の推定
を悪くする。雑音レベルが、瞳、虹彩、強膜等のような目の特徴間のコントラスト62a
に相当するようになる場合には、これらの目の特徴を検出するのが不可能又は困難となる
おそれがある。
更に、カメラにより収集される光の量は、露出時間窓の持続時間20aと、光学絞り2
0dと、周囲に存在する光の量64aと、露出時間窓の持続時間20a中に照明源により
放出され、カメラの前方の光景、すなわち捕捉領域内で物体/人物により反射される光の
量30aとに依存する。より具体的には、帯域通過フィルタ、例えば、赤外線フィルタ又
はカラーフィルタが撮像装置20に装着されているか又は内蔵されている場合には、その
画像センサは異なる波長に応答する為、カメラに当る周囲の及び照明用の光源の全てが画
像60の作成に寄与するものではなく、特に特定の波長を有する光波が主として排除され
るであろう。又、撮像装置20により電気利得20bを設定し、これにより電気雑音及び
カメラの電力消費量が増大する犠牲の下でセンサの感度を増大させるようにすることもで
きる。
モーションブラーに関しては、提示された時間窓20a中に動きが生じた場合に、画像
60は一般に不所望なモーションブラーを呈する。このモーションブラーは、動きの速度
及び時間窓20aの持続時間に比例する。この動きはユーザ及びその目の双方及び装置自
体に関する場合がある。
目の追跡の特定の態様に関しては、画像60中のコントラスト62aが追跡品質に著し
い影響を及ぼし、特に瞳及び虹彩間や、虹彩及び強膜間や、一般に目の全ての構成部とこ
れらの周囲との間のコントラスト62aが追跡品質に著しい影響を及ぼし、且つグリント
、すなわち目への光源の反射光と周囲との間のコントラスト62aが追跡品質に著しい影
響を及ぼし、グリントの飽和度62cの量と、グリントの大きさ62bと、ユーザ追跡に
対する顔の特徴のような他の有用となる可能性のある情報のコントラスト62a及び飽和
度62cの量が追跡品質に著しい影響を及ぼす。コントラスト62aが高くなればなるほ
ど、これらの特徴をより一層確実に、正確に且つ精密に再構成できるとともに、追跡品質
をより一層良好とする。
要するに、照明パルス形状30a、30b、30cを変更する以外に、撮像装置20に
より収集される光の量を制御するのに利用しうる他の選択肢は、シャッタ時間20a及び
絞り20dの双方又は何れか一方を大きくすることである。この場合の不都合な点は、カ
メラ特性が画像60の品質62に悪影響を及ぼすおそれのある他の副作用を有することで
ある。シャッタ時間20aを増大させることによりモーションブラーを増大させ、絞り2
0dを大きくすることにより画像60の鮮明度に悪影響を及ぼすおそれがある。
本発明は、エネルギーを節約することと、所望の最小画像品質及び視線追跡品質の双方
又は何れか一方を保証することとの間のバランスを保つことを容易とする。本発明の方法
は、特に目の領域に関する画像品質62を最適とする。このことを達成するために、以下
のパイプライン(情報ルート)を実行しうる。最初に、カメラにより捕捉された画像60
を解析してユーザの目の概略位置を見いだす。次に、画像品質パラメータPに関連する
とともに、目が検出される画像領域に依存する画像品質特性、特に画像特徴を計算する。
画像品質特性は例えば、画像のコントラスト62aとすることができる。その理由は、特
に瞳及び虹彩間や、虹彩及び強膜間や、一般に全ての目の構成部及びこれらの周囲間の良
好なコントラスト62aが目の検出の正確度及び精密度を高める為である。更なる画像品
質特性は画像雑音、特に信号対雑音比62dである。代表的には、カメラにより捕捉され
る光が多くなればなるほど、これに比例して画像雑音が低くなる。従って、光をより長時
間又はより強く放出させることにより、すなわち照明ユニット30からの照明持続時間3
0c及び光度30aを増大させることにより、すなわち電力消費量の増大、モーションブ
ラーの増大又は焦点深度の低減化の不都合な点を伴うシャッタ時間20a又は絞りの大き
さ20dを増大させることにより、画像データと雑音との間の比62dを低減させるおそ
れがある。更なる特性は飽和度62cとすることができる。画像60が目の領域において
過飽和度にある場合には、実際の目の形状に関する有益情報が失われる。他の品質特性は
、可視光のRGBカメラに対してのみ関連する色歪みに見ることができる。又、種々の光
状態が画像中の色の種々の見え方に関連する。特に、顔又は目を検出するのに皮膚の色6
4cを用いる場合には、照明条件を調整することにより色の見え方を最適にすることがで
きる。
画像を解析するとともに上述した画像の特徴又は画像品質特性の1つ以上を抽出した後
、目追跡装置10により、画像品質が所望の目追跡品質にとって充分であるかどうかを決
定し、これに応じて、制御ユニット42に帰還を行ってその設定を調整するとともに次の
フレームに対し用いるエネルギーを調整する。この決定には、例えば、画像60における
全てのグリントの輝度をそろえるために、複数の光源を別々に制御することをも含めるこ
とができる。
例えば、画像又は目追跡品質に対して例えば電力節約目的のために条件44を設定し、
目追跡品質が予め決定した最小値を超えるようにする必要があるが予め決定した最大品質
値を越えないようにする必要があるようにする場合には、最小の所望品質を保証した状態
で電力節約を達成することができる。この場合、特定の最小の画像品質又は視線品質が維
持されるように、光源により消費される電力の量をできる限り減少させることにより、目
の追跡を行う際の電力の節約を達成できる。画像品質62は、上述した画像特徴の1つ以
上から取出すことができる。従って、制御ユニット42は、画像品質62が捕捉画像60
から持続的に取出されて制御ループに帰還されるようにした閉ループ制御で調整パラメー
タPを制御でき、この制御ユニット42が、予め規定した相関関係42aに基づいて調
整パラメータP、例えば光度30aを制御して、画像品質62が設定条件44を満足す
るようにしうる。
他の場合で、画像品質又は目追跡品質に対する条件44が最大となるように設定されて
いる場合には、例えば、目追跡装置10が電力供給網に接続されており、従って電力消費
量に対処することがないことをこの目追跡装置10が検出する場合には、目の検出を正確
にするための最良の品質は、消費される電力に拘らず、目が検出される領域において画像
60の品質を最適にすることにより達成させることができる。目的は、画像60を最適に
し、(3Dの)目の位置及び(3Dの)視線方向の再構成ができる限り正確となるように
することである。このことには通常、瞳及び虹彩のコントラスト62aを最大にすること
と、画像雑音62dを最小にするように輝度62eを調整することとが含まれる。
目追跡品質に影響を与える他の可能性は、グリントの輝度62eを調整することである
。ユーザの顔及び目は必ずしも均一に照明されているものではない。例えば、複数の光源
が互いに異なる光量を放出するか、又は複数の光源が向けられている場合には、光円錐中
の顔の位置及び更なる個々の特性に依存して画像60内の光分布が不均一となるおそれが
ある。一方の目における幾つかのグリントが互いに異なる輝度レベル62eを有するよう
になることが起きるおそれもある。目の検出及び再構成のためには、グリント又は画像6
0中の光分布の輝度62eを均一にすることが有効となりうる。この場合、光源の電力は
各光源に対し個々に制御してこの均一化を達成するようにすることができる。これにより
、多くの電力を消費する必要なしに品質を高めることができる。その理由は、光出力を増
大させる必要がなく、再分布させるだけである為である。一方、これにより、例えば、条
件44を品質に対し設定すれば、電力を節約することもできる。この場合、光出力の再分
布は光度30aを低減させることにより達成することができる。その理由は、光度30a
を低減させることにより生ぜしめられる画像品質62の減少を、グリントの輝度62eの
最適化により達成される画像品質62の増大により補償させることができる為である。従
って、この上述した処置は、調整パラメータPを調整するための制御ユニット42の制
御ストラテジーにおいて実施することもできる。
更に、視線出力品質又は追跡品質は画像品質62とは異なる他のパラメータにも依存す
る。視線出力品質は幾つかの視点の下で測定しうる。一方では、正確度により、再構成さ
れた視線がユーザ(目)の実際の監視方向に如何に厳密に一致しているかを測定し、他方
では、精密度により、再現性を測定するものであり、この再現性は、同じ又は類似する入
力条件を与えた場合に、出力結果に如何に一貫性があるか、又はしかも入力を一定にした
場合に出力にどの位の雑音があるかの目安を意味する。
追跡品質は、追跡出力、例えば、計算された目の位置又は視線方向が高周波数で更新さ
れる場合に、より良好であるとみなされる。正確度及び精密度が一定であると、視線の更
新を60Hzで行う目追跡装置10は、30又は20Hzで動作する装置よりも良好に機能す
る。
幾つかの状況下では、移動標的に対し露出時間窓20aを超える場合に、例えばモーシ
ョンブラーが生じた画像で起きるおそれのある散発的なサンプル却下40dをともなうよ
うに動作することが許容されてしまうおそれもある。従って、捕捉された画像60が予め
決定した最小の画像品質基準を満足しない場合には、この画像60は、目の位置又は視線
方向のような目の特徴を計算するのに更に用いられないように却下することができる。
最後に、結果が得られるまでの遅延、すなわち目の位置又は視線方向のような目の特徴
の変化が出力に伝達されるまでにどの位の時間がかかるかも出力品質の一部である。
正確度及び精密度は更に分けることができ、例えば、ユーザは精密度においてスクリー
ンのx(水平)及びy(垂直)座標に対し別々に考察する。正確度及び精密度は3D環境
、特に装置のスクリーンの異なる領域に対して異ならせることができる。例えば、視線結
果はスクリーンの中央領域に対してはより良好となり、その周囲部分に対してはより低く
なるように推定することができる。この影響には幾つかの要因が拘っており、例えば、画
像60におけるある目の位置に対しグリントが瞳のエッジの一部と重なり、これにより眼
球の位置及び向きを再構成する有効な情報を失うおそれがある。
本発明の他の実施例によれば、モバイルフォン、タブレット、コンピュータ、ヘッドマ
ウントディスプレイのような、目追跡装置10が一体化されたデバイスも、追跡品質に応
じて、特に目の追跡を制御しうる間にこのデバイスを現在動作させているアプリケーショ
ンに応じて制御しうる。
あるアプリケーションを追跡品質に応じて制御するには、視線データを視線品質又は推
定した追跡品質と一緒に出力させることができる。これにより、目追跡ソフトウェアが、
捕捉された画像60から、目及び視線方向の双方又は何れか一方を、再構成される目及び
視線方向の双方又は何れか一方の推測品質スコアと一緒に再構成させるようにする。品質
スコアは、スクリーン上の計算上の注視点の予期された正確度又は精密度とすることがで
きる。上述したアプリケーションはこのスコアを、例えばその内容を適合させることによ
り用いるようにしうる。目追跡装置10は予期された視線品質を、3D環境の種々の領域
に対し、特にスクリーンの種々の領域に対し戻す又は出力することもできる。
例えば、スクリーン上のグラフィカルボタンのような選択区域の寸法を正確度のスコア
に基づいて調整し、視線を介する選択を確実に容易に入力しうるようにすることができる
。上述したアプリケーションは、その選択区域(ボタン)を、スクリーン領域毎に予期さ
れる正確度に基づいて、予期される視線品質がより高いスクリーンの領域に示すことを選
択する。
更に、アプリケーションにより要求される視線品質を生じるように目追跡装置10を制
御することができる。このアプリケーションは再構成視線の最小品質を要求することがで
き、例えば、視線方向の正確度は1.5°又はそれよりも良好にする必要がある。目追跡
装置10はこの情報を用いて、その目的を達成するとともに電力をできるだけ多く節約す
るようにこの目追跡装置10の構成部を制御することができる。
品質条件は、例えばアプリケーションに応じて設定することができる。3Dシューター
ゲームやアーティストソフトウェアのような幾つかのアプリケーションは高い正確度を必
要とする。パズルゲームのような他のソフトウェア、又は視線に基づくスクローリングを
支援するアプリケーションは、目追跡装置10に関して低い正確度要件を有し、従って、
低い電力モードで動作させるようにする。本発明は、正確度要件を設定しうるようにする
とともに、これを用いて画像品質62を、従って、最終的な視線品質を調整するようにす
る。
他の例は、アプリケーションがこれらの現在の状態又は外部事象に基づいて必要とする
品質を調整することを望むことができる例である。この品質は、まさしく、スクリーン上
の特定の領域を探したり、テキストを読んだり、画像又はビデオを見たり、ペインティン
グ又はその他のために視線を用いたりするようなユーザの行動64dに基づいて調整しう
る。
又、エネルギーの利用可能性を用いて、品質又は電力消費量の何れの条件が設定されて
いるかを決定することができる。例えば、装置をプラグ接続する場合、電力消費量の問題
はそれほど関係がなくなり、目追跡装置10の焦点は最良の出力品質を維持することにシ
フトさせることができる。しかし、目追跡装置10がバッテリにより附勢される場合には
、目追跡品質と電力消費量との間の妥協点を選択することにより、特に電力消費量を下げ
る必要がある最大消費値のような電力消費量の制約を設定することにより、少なくとも次
の再充電までこの目追跡装置がバッテリ寿命を高める貢献を行うようにしうる。
所望の追跡品質を達成するか、又は現在の追跡品質を出力する必要がある場合には、上
述した影響因子に基づいて行うことのできる追跡品質を推定する必要がある。前述したよ
うに、再構成された目及び視線の品質は得られた目の画像60の品質62に強く関連して
いる。本発明の技術によれば、画像品質62、例えば、コントラスト62a、輝度62e
等を、予期する目追跡品質にマッピングする必要がある。このマッピングが一旦規定され
ると、目追跡装置10は目の追跡を行っている間に目追跡品質を計算することができる。
画像品質62を目追跡品質にマッピングする相関関係は例えば、装置を較正する際に一
旦記録及び保存しておくことができる。人々の組は、位置が目追跡装置10にとって分か
っている幾つかの個所をスクリーン上に固定することを要求される場合がある。目追跡装
置10は、電気利得20b、光度30a、シャッタ速度20a等のようなカメラ及びLE
Dの特性を数秒に亘って調整する。これにより、捕捉された画像60の品質62を解析し
、目及び視線方向を再構成し、スクリーン上の注視点を計算し、再構成の正確度又は精密
度におけるエラーを測定する。これらの値はデータ構造中に保存し、これにより画像品質
62と目追跡品質との間の相関関係を規定するようにする。
更に、アプリケーションが所望の目追跡品質を与えている場合、上述したのと同様な方
法を用いることができる。画像品質62を目追跡品質に関連付ける上述したことから発生
されたマッピングを用いて、所望の目追跡品質を所望の画像品質62に変換することがで
きる。目追跡装置10は、目追跡を行っている間に調整パラメータPを調整して所定の
画像品質62を達成する。
この画像を視線品質にマッピングすることは、品質尺度をスクリーンの種々の領域に分
けることにより更に拡張させることができる。
入力品質は通常、電力消費量を低減させる必要がある場合と相反する方向に進ませる必
要がある。前述したように、可能な最短期間で、できるだけ多くの光量を集め(信号対雑
音比62dを高め)て、モーションブラーを阻止する場合に、最良の画像品質が収集され
る。理想的な画像品質条件の場合、照明源は可能な最短期間で光エネルギーを生じて画像
60を生ぜしめる。更に、サンプル品質が最大に維持されている間に目線更新周波数が目
追跡装置10により達成しうる最大値に設定されると、最良の出力品質が得られる。目追
跡装置10によれば、特に以下に説明するように、上述した制約を無くした場合に電力の
節約を達成することができる。
前述したように、種々の状況が追跡品質に種々の影響を及ぼす。従って、これらの状況
を特定することにより、追跡品質を高めることができるか、又は他方では追跡品質を同じ
にした場合には、電力消費量を低減させることができる。特に、適合可能性、すなわち周
囲光への適合、環境のダイナミシティへの適合、アプリケーションの必要性への適合、ユ
ーザの特性への適合や、低電力の固定追跡に対する可変の目追跡装置モードを以下に例示
として詳細に説明する。
“周囲光”とは、フィルタ(これは随意である)を含む撮像装置20が感応し、特に各
波長における感度割合に対し考慮される、周囲の環境に存在する光の部分(波長スペクト
ル)を表すことを銘記すべきである。
周囲光は、入力画像60を生ぜしめるのに寄与し、特に目の特徴の中で良好なコントラ
スト62aを生ぜしめるのに必要な光を収集するために寄与する。何れにしろ、照明源は
、3D位置の再構成を行うのに必要とするグリントを目内に形成するのに充分な光を生ぜ
しめる必要がある。周囲光の条件64a及び目追跡装置10のストラテジーを以下のよう
におおまかに要約しうる。
‐強い周囲光:目追跡装置10は画像の飽和度62cを回避することを目標とする、従っ
て、撮像装置20の露出時間窓20aを減少させる必要がある。必要な目の特徴のコント
ラスト62aを生ぜしめるのに必要とする全ての光を周囲から収集することができる場合
、照明源はユーザの可視状態の目の中にグリントを形成するのに必要な光電力を放出する
必要があるだけである。照明パルスは露出時間窓20a内に集中させる必要がある。
‐中間の周囲光:目追跡装置10は露出時間20aをできるだけ長く延長させてできるだ
け(又は必要とするだけ)多くの周囲光を収集するようにしうる。“できるだけ長く”と
は、前述したようにモーションブラーの制約に対応させることを意図するものである。静
的環境の場合と、より高いサンプル却下40dに関する出力の品質をより低くすることを
許容しうるものとみなす場合と、衝動的な目の動き64dを却下する場合との何れか又は
これらの任意の組合せにおいては、露出時間窓20aを互いに異なる程度に延長させるこ
とができる。照明源は、露出時間窓20a中にユーザの可視状態の目の中にグリントを形
成するのに必要な光電力を放出する必要があるとともに、必要であれば、光の必要とする
残りの部分を提供して必要とする目の品質のコントラスト62aを得るようにする必要が
ある。この光のエネルギーは、カメラの露出時間窓20a中に放出させる必要があり、電
力曲線形状である波形30a、30b、30cは、最大エネルギー変換効率ηで動作する
のに最適となるようにしうる。
‐存在しない又は無視しうる周囲光:照明源は目の特徴の中で必要なコントラスト62a
を生ぜしめるのに且つ好ましくは目の上にグリントを形成するのに必要な光を全て発生さ
せる必要がある。前述したように、露出時間窓20aを延長させる場合には、照明源はそ
の波形30a、30b、30cを、最大エネルギー変換効率で機能するように適合させる
更に、目追跡装置10は、少なくとも2つの異なるウェーブフィルタ/センサ感度設定
を有する少なくとも2つの異なる撮像装置20(カメラ)を用いて動作するようにしうる
。特に、少なくとも1つのカメラは、広範囲の光の波長に感応するように設定するととも
に、目の特徴の中で必要とするコントラスト62aを得るためにより多くの周囲光を収集
するようにすることができ、少なくとも1つのカメラは、照明源が動作する光波帯域上に
(ほぼ)中心が位置するようにしたより狭い光の波長範囲に感応するように設定するとと
もに、グリント情報を得るのに必要とする光を収集するようにすることができる。これら
の少なくとも2つの異なるカメラは互いに接近させて配置し、情報のマッチングを容易に
するか、又はこれらの少なくとも2つの異なるカメラは更に離間させて配置し、幾何学的
変換機能を用いることにより特徴を2つの画像領域間でマッピングするようにしうる。
上述したところで予期したように、環境のダイナミシティへの適合に関して、目追跡装
置10によれば、露出時間窓20aを延長させるとともに、照明パルス形状30a、30
b、30cを最適化することにより電力消費量を低減させることができる。これに関連し
て、目追跡装置10が、特にユーザ又はユーザの目の動き64dとこの目追跡装置10自
体の動き64dとの双方又は何れか一方により与えられる環境のダイナミシティ64に関
する情報を検出又は受信し、照明源に入力される電力を低減させるように調整パラメータ
を設定する。
アプリケーションの必要性への適合については、前述したように、目追跡装置の出力品
質に関する要件を、使用中の現在のアプリケーションに依存させて変えることができる。
これらの出力品質の要件は、正確度、精密度、遅延、更新周波数等のうちの1つ以上に関
するものとしうる。目追跡装置10は、明確な視線品質要求50を受け、必要とする品質
を丁度達成するように電力消費量を低減させることができる。目追跡装置10への入力5
0は、“自動スクロールを用いた読出し”のようなアプリケーションスコープに関するも
のとすることもでき、この目追跡装置10は、作動中の動作を正しく実行するのに必要と
する品質を丁度達成するようにその電力消費量を低くする。この特定の例の場合、y座標
(縦座標)における正確度をx座標(横座標)における正確度よりも重要とみなす必要が
あり、散発的なサンプル却下は重要でなく、更新周波数(目追跡装置10の周波数)は低
くすることができる。
ユーザの特性への適合に関しては、種々のユーザの特性により、光電力の放出が異なる
同じ入力画像品質62が得られるようにする。例えば、茶色の目の人は、可視領域とは相
違して赤外線領域において瞳及び虹彩間の高いコントラスト62aを呈する。目追跡装置
10は、ユーザの目の反射率特性64bを検出することにより、放出される光エネルギー
の量を、目の特徴を表す所望の最小のコントラスト62aが得られるように適合させる。
同様に、眼鏡64eのような干渉面が可視状態のユーザの目により反射される光の量を
減少させるおそれがある。目追跡装置10によりユーザが眼鏡64eを装着していないこ
とを検出すると、この目追跡装置10は、目の特徴であるコントラスト62aを所望通り
に最小にするのに放出される光エネルギーの量を低減させる。
少なくとも2つの異なるカメラを有する前述した目追跡装置10を再び参照するに、こ
の目追跡装置10は、現場に居るユーザに対し最良の目の特徴を抽出するカメラを用いる
ことを決定するか、又は2つのカメラから生じる画像60中に含まれる情報の組合せを用
いることを決定しうる。
低電力の固定追跡に対する可変の目追跡装置10のモードに関しては、幾つかの目の動
き行動64dが存在し、その内で最も重要なのが固定(凝視)及びサッカードである。固
定中では、ユーザの注意は一点に集中しており、生じる目の動きは少なくなるか又は無視
しうるものとなる。サッカード中は、視線が一点から他の点に急速に移動する。大多数の
アプリケーションの場合、古い固定から新たな固定への遷移を、新たな固定の開始を検出
するキーピリオドとする固定点のみが重要である。目追跡装置10は、その動作モードを
連続的に変え、固定が検出された後及びその持続時間中に周波数30b及び放出光を低減
させ従って電力を節約するとともに、遷移が検出されて少ない遅延で次の固定を検出しう
るようになると再びこれらの周波数及び放出光を高めるようにすることができる。おおま
かではあるが、殆どの時間、目は“固定モード”にあり(目がサッカードを実行している
際には視覚的な取入れは生じることはなく、自身を短期間の間有効に盲目状態にされる)
、従って、目追跡装置10は、この技術を採用することにより、殆どの動作期間の間より
低い周波数30bで動作しうるようになる。完全にするには、上述したことはあらゆる状
態に適用させず、例えば、ユーザが読取を行っている際には固定期間を目追跡装置10の
更新期間よりもさらに短くし、目追跡装置10が連続的な動き状態にある目を検出しうる
ようにすることができる。しかし、前述したように、読取は、エネルギー消費量の点で異
なる方法で扱うことのできるユーザの行動である。
以上要するに、上述した方法、すなわち本発明による目追跡装置動作方法及びその実施
例によれば、有利なことに、目追跡を所望の品質で、しかも電力消費量を低減させるとと
もに多くの異なる状態に柔軟に適合させて行うことができる。

Claims (2)

  1. 目追跡装置(10)の捕捉領域内でユーザの少なくとも一方の目の少なくとも1つの特性を捕捉するこの目追跡装置(10)を動作させる目追跡装置動作方法であって、前記目追跡装置(10)は構成部として、
    ‐前記ユーザの少なくとも一方の目の画像(60)を捕捉しうる少なくとも1つの撮像装置(20)と、
    ‐前記ユーザのこの少なくとも一方の目を照らすことのできる少なくとも1つの光源を有する少なくとも1つの照明ユニット(30)と、
    ‐前記撮像装置(20)により捕捉された画像(60)を処理しうる処理ユニット(40)と
    を具えているようにした目追跡装置動作方法が、
    a)前記ユーザの目の画像(60)を捕捉するステップを有しており、この目追跡装置動作方法が、
    b)前記画像を処理し、これによりこの画像から少なくとも1つの品質特徴(62a;62b;62c;62d;62e)を抽出するとともに前記目の前記特性を決定するステップと、
    c)前記少なくとも1つの品質特徴(62a;62b;62c;62d;62e)を画像品質(62)に相関づけるとともにこの画像品質(62)を推定した追跡品質に相関づける予め規定した相関関係を提供するステップと、
    d)抽出された前記少なくとも1つの品質特徴(62a;62b;62c;62d;62e)を、前記予め規定した相関関係に応じて、前記画像品質(62)及び前記推定した追跡品質に割当てることにより、この推定した追跡品質を決定し、この推定した追跡品質が前記目の実際の特性からの前記目のこの決定した特性のずれに対する目安となるようにするステップと、
    e)決定された前記推定した追跡品質に依存して前記構成部(20;30;40)の少なくとも1つを調整しうる少なくとも2つの調整パラメータ(P)を設定するか、又は前記目追跡装置(10)に接続されたデバイスを動作させるアプリケーションに、決定された前記推定した追跡品質を供給し、このアプリケーションが前記推定した追跡品質に依存してユーザと結びづける方法を適用するようにするか、或いはこれらの双方を達成するステップ
    を有していることを特徴とする目追跡装置動作方法。
  2. 目追跡装置(10)の捕捉領域内でユーザの少なくとも一方の目の少なくとも1つの特性を捕捉するこの目追跡装置(10)であって、この前記目追跡装置(10)が構成部として、
    ‐前記ユーザの少なくとも一方の目の画像(60)を捕捉しうる少なくとも1つの撮像装置(20)と、
    ‐前記ユーザのこの少なくとも一方の目を照らすことのできる少なくとも1つの光源を有する少なくとも1つの照明ユニット(30)と、
    ‐前記撮像装置(20)により捕捉された画像(60)を処理しうる処理ユニット(40)と
    を具えているようにした当該目追跡装置において、
    a)前記処理ユニット(40)は前記撮像装置(20)により捕捉された画像(60)を処理しうるとともに、これによりこの画像(60)から少なくとも1つの品質特徴(62a;62b;62c;62d;62e)を抽出するとともに前記目の前記特性を決定するようになっており、
    b)前記目追跡装置(10)は、前記少なくとも1つの品質特徴(62a;62b;62c;62d;62e)を画像品質(62)に相関づけるとともにこの画像品質(62)を推定した追跡品質に相関づける予め規定した相関関係を有しており、
    c)前記制御ユニット(42)は、前記予め規定した相関関係に応じて抽出された前記少なくとも1つの品質特徴(62a;62b;62c;62d;62e)を前記画像品質(62)及び前記推定した追跡品質に割当てることによりこの推定した追跡品質を決定し、この推定した追跡品質を、前記目の実際の特性からの、この目の決定した特性のずれに対する目安とするようになっており、
    d)前記目追跡装置(10)は、決定された前記推定した追跡品質に依存して前記構成部(20;30;40)の少なくとも1つを調整しうる少なくとも2つの調整パラメータ(P)を設定するか、又は前記目追跡装置(10)に接続されたデバイスを動作させるアプリケーションに、前記推定した追跡品質を供給し、このアプリケーションがユーザと結びづける方法を適用するようにするか、或いはこれらの双方を達成するように構成されている
    ことを特徴とする目追跡装置。
JP2017000295A 2013-12-09 2017-01-05 目追跡装置動作方法及び能動的電力管理を行う目追跡装置 Active JP6208901B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP13196282 2013-12-09
EP13196282.1 2013-12-09

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2016537437A Division JP6074122B1 (ja) 2013-12-09 2014-12-09 目追跡装置動作方法及び能動的電力管理を行う目追跡装置

Publications (2)

Publication Number Publication Date
JP2017097901A JP2017097901A (ja) 2017-06-01
JP6208901B2 true JP6208901B2 (ja) 2017-10-04

Family

ID=49725064

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2016537437A Active JP6074122B1 (ja) 2013-12-09 2014-12-09 目追跡装置動作方法及び能動的電力管理を行う目追跡装置
JP2017000295A Active JP6208901B2 (ja) 2013-12-09 2017-01-05 目追跡装置動作方法及び能動的電力管理を行う目追跡装置

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2016537437A Active JP6074122B1 (ja) 2013-12-09 2014-12-09 目追跡装置動作方法及び能動的電力管理を行う目追跡装置

Country Status (5)

Country Link
US (1) US10528127B2 (ja)
EP (1) EP3080751B1 (ja)
JP (2) JP6074122B1 (ja)
CN (1) CN105814584B (ja)
WO (1) WO2015086615A1 (ja)

Families Citing this family (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6123694B2 (ja) * 2014-02-10 2017-05-10 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
JP2016151798A (ja) * 2015-02-16 2016-08-22 ソニー株式会社 情報処理装置および方法、並びにプログラム
US10338677B2 (en) * 2015-10-28 2019-07-02 Microsoft Technology Licensing, Llc Adjusting image frames based on tracking motion of eyes
WO2017153355A1 (de) * 2016-03-07 2017-09-14 SensoMotoric Instruments Gesellschaft für innovative Sensorik mbH Verfahren und vorrichtung zum durchführen einer blickabbildung
JP2017204685A (ja) * 2016-05-10 2017-11-16 ソニー株式会社 情報処理装置、情報処理方法
JP2017211891A (ja) * 2016-05-27 2017-11-30 ソニー株式会社 情報処理装置、情報処理方法および記録媒体
US10373592B2 (en) * 2016-08-01 2019-08-06 Facebook Technologies, Llc Adaptive parameters in image regions based on eye tracking information
US10552961B2 (en) 2016-12-19 2020-02-04 Htc Corporation Method, device, and non-transitory computer readable storage medium for object tracking
CN107358175B (zh) * 2017-06-26 2020-11-24 Oppo广东移动通信有限公司 虹膜采集方法及电子装置
CN107454339B (zh) * 2017-07-17 2019-08-09 Oppo广东移动通信有限公司 图像处理方法及相关产品
US10474231B2 (en) * 2017-08-16 2019-11-12 Industrial Technology Research Institute Eye tracking apparatus and method thereof
KR102416282B1 (ko) 2017-09-28 2022-07-01 애플 인크. 이벤트 카메라 데이터를 사용한 눈 추적을 위한 방법 및 디바이스
US11237628B1 (en) 2017-10-16 2022-02-01 Facebook Technologies, Llc Efficient eye illumination using reflection of structured light pattern for eye tracking
US11073903B1 (en) 2017-10-16 2021-07-27 Facebook Technologies, Llc Immersed hot mirrors for imaging in eye tracking
FI20175960A1 (en) 2017-10-30 2019-05-01 Univ Of Eastern Finland Procedure and apparatus for gaze detection
US10838132B1 (en) 2018-08-21 2020-11-17 Facebook Technologies, Llc Diffractive gratings for eye-tracking illumination through a light-guide
US10852817B1 (en) * 2018-11-02 2020-12-01 Facebook Technologies, Llc Eye tracking combiner having multiple perspectives
US10725302B1 (en) 2018-11-02 2020-07-28 Facebook Technologies, Llc Stereo imaging with Fresnel facets and Fresnel reflections
NL2022329B1 (en) * 2018-12-31 2020-07-23 Zhangjiagang Kangde Xin Optronics Mat Co Ltd System for illuminating a viewer of a display device
CN113614783A (zh) * 2019-01-25 2021-11-05 奇跃公司 使用具有不同曝光时间的图像的眼睛跟踪
TWI781404B (zh) * 2019-05-28 2022-10-21 見臻科技股份有限公司 可依據使用情境切換運作模式的眼動追蹤模組
US11003936B2 (en) * 2019-06-14 2021-05-11 Tobii Ab Method and system for controlling an eye tracking system
CN113253831A (zh) * 2020-02-12 2021-08-13 北京七鑫易维信息技术有限公司 针对旋屏终端设备的眼球追踪方法及装置
SE545387C2 (en) 2021-06-30 2023-07-25 Tobii Ab Method, computer program product, control unit and head-mounted display for conserving energy in an eye tracking system
US11881143B2 (en) * 2021-10-12 2024-01-23 Meta Platforms Technologies, Llc Display peak power management for artificial reality systems
US20240267632A1 (en) * 2023-02-06 2024-08-08 Qualcomm Incorporated Adaptive algorithm for power efficient eye tracking

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6496187B1 (en) 1998-02-17 2002-12-17 Sun Microsystems, Inc. Graphics system configured to perform parallel sample to pixel calculation
US7317439B2 (en) * 2000-10-30 2008-01-08 Matsushita Electric Industrial Co., Ltd. Electronic apparatus and recording medium therefor
JP4148700B2 (ja) * 2002-05-30 2008-09-10 松下電器産業株式会社 目画像撮像装置
US7091471B2 (en) * 2004-03-15 2006-08-15 Agilent Technologies, Inc. Using eye detection for providing control and power management of electronic devices
CN1892676B (zh) * 2005-06-03 2010-05-12 沈洪泉 面部/虹膜组合光学成像的装置及方法
WO2007085682A1 (en) 2006-01-26 2007-08-02 Nokia Corporation Eye tracker device
JP4254873B2 (ja) 2007-02-16 2009-04-15 ソニー株式会社 画像処理装置及び画像処理方法、撮像装置、並びにコンピュータ・プログラム
US7972266B2 (en) 2007-05-22 2011-07-05 Eastman Kodak Company Image data normalization for a monitoring system
JP5004309B2 (ja) 2009-02-18 2012-08-22 ソニーモバイルコミュニケーションズ, エービー 動画出力方法および動画出力装置
US20130278631A1 (en) * 2010-02-28 2013-10-24 Osterhout Group, Inc. 3d positioning of augmented reality information
TWI444816B (zh) * 2011-07-25 2014-07-11 Pegatron Corp 可拆卸更換接口模組
EP3200046A1 (en) 2011-10-27 2017-08-02 Tobii Technology AB Power management in an eye-tracking system
US8976110B2 (en) * 2011-10-27 2015-03-10 Tobii Technology Ab Power management in an eye-tracking system
JP5529103B2 (ja) * 2011-11-18 2014-06-25 レノボ・シンガポール・プライベート・リミテッド 顔方向の検出方法および情報処理機器
US8483450B1 (en) * 2012-08-10 2013-07-09 EyeVerify LLC Quality metrics for biometric authentication
US9104467B2 (en) * 2012-10-14 2015-08-11 Ari M Frank Utilizing eye tracking to reduce power consumption involved in measuring affective response
US9557553B2 (en) * 2013-10-10 2017-01-31 Raytheon Canada Limited Electronic eyebox
WO2015060869A1 (en) * 2013-10-25 2015-04-30 Intel Corporation Dynamic optimization of light source power

Also Published As

Publication number Publication date
CN105814584B (zh) 2019-03-08
JP6074122B1 (ja) 2017-02-01
JP2017097901A (ja) 2017-06-01
WO2015086615A1 (en) 2015-06-18
US10528127B2 (en) 2020-01-07
US20160274659A1 (en) 2016-09-22
CN105814584A (zh) 2016-07-27
JP2017505156A (ja) 2017-02-16
EP3080751B1 (en) 2019-08-14
EP3080751A1 (en) 2016-10-19

Similar Documents

Publication Publication Date Title
JP6208901B2 (ja) 目追跡装置動作方法及び能動的電力管理を行う目追跡装置
US11543883B2 (en) Event camera system for pupil detection and eye tracking
US10635169B2 (en) Eye-tracking enabled wearable devices
WO2018177311A1 (zh) 视线追踪装置及头戴式显示设备
US9961258B2 (en) Illumination system synchronized with image sensor
US9836639B2 (en) Systems and methods of light modulation in eye tracking devices
CN106714663B (zh) 带眼镜不适减轻的显示器
US20170316264A1 (en) Eye-tracking enabled wearable devices
US20170172406A1 (en) Methods and Apparatus for Optical Controller
US11307656B2 (en) View-through sensors and apparatuses for tracking eye movement, and methods and software therefor
JP2016532396A (ja) 低電力眼追跡システムおよび眼追跡方法
US11521575B2 (en) Electronic device, electronic device control method, and medium
US11353952B2 (en) Controlling illuminators for optimal glints
JP6957048B2 (ja) 眼部画像処理装置
US20220087547A1 (en) Electronic device, control method for electronic device, and recording medium
US20190158717A1 (en) Information processing apparatus and information processing method
EP3481261B1 (en) An apparatus for providing semantic information and a method of operating the same
US12124624B2 (en) Eye tracking system with off-axis light sources

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170808

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170907

R150 Certificate of patent or registration of utility model

Ref document number: 6208901

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: R3D02

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250