JP5894711B2 - 眼および視線追跡のためのタイル画像ベースの頭位置の走査 - Google Patents

Description

本発明は、眼視線追跡に関し、特に、ＲＯＩベースの画像取得を用い、眼追跡のための初期ＲＯＩ位置を決定する、カメラベースの遠隔眼追跡システムのフレームレートの増加に関する。

現行の眼追跡システムでは、カメラ画像を処理して片眼または両眼の位置および/または視線方向を判断する。これは、画像中の特徴を検出することによって行われる。ここで、画像中の特徴としては、例えば次のようなものがある。
・瞳孔
・角膜反射
各特徴としては、典型的なサイズ、輪郭、位置が抽出される。その後の処理によって、これら特徴から視線ベクトルおよび視線ポイントを算出する。

カメラベースの遠隔眼追跡装置は、頭の動きに対して大きな作業範囲を与える。カメラレンズの焦点距離が固定され、カメラの向きを変更する継手がないと、作業範囲はカメラセンサによって完全にカバーする必要がある。

カメラバスの帯域が限られているため、システムのフレームレートは捕捉した画像のサイズと空間解像度に依存する。フル空間解像度で単一画像内のフル作業範囲をカバーすると、フル空間解像度のデータが大量になるため、フレームレートは最小になってしまう。
しかしながら、様々な眼追跡アプリケーションは高いサンプリングレートを必要とするが、これは永久フル空間解像度画像取得を用いて提供することができない。

この問題は、フル空間解像度画像取得に比べて高いフレームレートが可能なＲＯＩ（関心領域）ベース画像取得で対処する。ＲＯＩはセンサのわずかな部分のみカバーするからである。ＲＯＩのサイズは、次のように設定する。
・ＲＯＩ画像が眼追跡に必要な全ての特徴をカバーし、
・ＲＯＩ画像取得中のサンプリングレートが時間解像度に関するシステム要件を満たす。

欧州特許第１５６２４６９（Ｂ１）は、カメラセンサにおける片眼または両眼の位置を最初に検出するためにフルフレームベースの画像取得を用いる解決法を記載する。そして片眼又は両眼周囲にＲＯＩを作成し、この領域内の眼のみ追跡する。これにより帯域要件が減少するため、カメラ読取フレームレートを増やすことができる。しかしながら、このスピードアップはフルフレームの初期読取には適用されない。従って、眼を見つけるために必要な最小時間は、主にフルフレームの読取にかかる時間によって決まる。

初期ＲＯＩ位置を見つけるため、システムは頭位置検索モードで起動し、ここでは一般にフル空間解像度ベースの画像取得が用いられる。「頭位置検索モード」とは、眼を表すか、頭の位置または眼の位置を示す１つ以上の特徴について取得画像を検索するモードを意味する。頭または眼が検出されるとすぐ、システムは片眼または両眼周囲のＲＯＩのＲＯＩ画像取得を継続する。ＲＯＩは検出された片眼または両眼をカバーする位置に位置決めされる。

そしてシステムはＲＯＩ画像から特徴を抽出し、これをさらなる処理に用いる追跡モードで継続する。ＲＯＩ位置は、特徴の位置により、頭の移動に応じて動く。眼に見える眼の特徴の追跡に失敗すると、システムは頭位置検索モードに戻る。

しかしながら、様々な問題が引き続き存在する。頭位置検索にフル空間解像度ベースの画像取得を利用することで、システムは一時的に、システムが必要なフレームレートより低いレートで動作せざるを得なくなる。一方、このようなカメラの低いフルフレーム速度によって、システムの前方にある被写体（追跡可能）と実際の追跡開始との間の時間を決定する。このピックアップ速度を上げ、システム待ち時間を短縮することが非常に望ましい。

さらに、フル空間解像度ベースの画像取得とＲＯＩベースの画像取得との間の切換えによって、多くの共通カメラモデルのカメラ動作が遅延し、データレートが減少することになる。

最後の問題は、フレームレートに依存するパラメータのためにデータフレームレートの変化がその後のデータ解析を複雑化させることである。

従って、本発明の目的は、フル空間解像度ベース画像取得に関連するこれら問題を回避し、特に初期ＲＯＩ位置を見つける時間を短縮することである。

実施形態をまとめるが、初期頭位置または眼位置検索モードがあり、ここではその後の追跡モードで用いるＲＯＩを決定する。この頭または眼位置検索モードでは当初、画像センサの一部のみ読み取り、眼または頭位置を検出する１つ以上の特徴を検索する。検索が成功した場合、前記特徴その他画像解析またはモデリング手段に基づき追跡ＲＯＩを決定する。追跡ＲＯＩが決定されない場合には、センサの別の部分が読み出される。これは、画像センサの１つあるいは複数の読取領域をシフトすることによって可能である。そして新たに読み取った領域が別個に検索され、かつ解析される。また、この２つの部分をスティッチして結合し、組み合わせたタイル画像か、スティッチされたタイル画像を検索するようにしてもよい。これら、別部分の読取のためのステップおよび特徴検索のステップは、追跡モードに用いるＲＯＩが決定されるまで繰り返される。どのステップでもフルフレームは読み取らず、常にフルセンサ領域の一部のみが読み取られる。

ある実施形態によれば、以下の工程よりなる眼追跡方法が提供される。
画像センサによって画像データを取り込むこと、
読み出された画像データに基づいて眼追跡を実行するために、センサから読み取られる該センサの１つのサブ領域または複数の非連結サブ領域として、関心領域を決定すること、
該関心領域の決定は、
ａ）前記センサの領域の一部のみを当初読み取ること、
ｂ）追跡被写体の眼位置および/または頭位置を表す１つ以上の特徴を求めて、前記初期読取部分の画像データを検索すること、
ｃ）１つ以上の特徴を求める前記検索が成功した場合、検索に成功した１つ以上の特徴の位置に基づいて、関心領域を決定すること、および、
ｄ）１つ以上の特徴を求める前記検索が成功しなかった場合、前記センサの別の部分を読み取り、前記別の部分に基づき眼位置および/または頭位置を表す１つ以上の特徴を求めて検索を行うこと。

これにより、従来技術によるとフルフレームを読み取るのに対し、当初はセンサ領域の一部のみ読み取るため、実際の眼または視線追跡のための関心領域（ＲＯＩ）の決定をより早く行うことができる。そのため、システムは低いフレームレートで動作する必要がない。むしろ、システムは一定のフレームレートで動作可能で、ピックアップ速度が増加する。

ある実施形態によると、１つ以上の特徴を検索し、見つかった特徴の位置に基づき関心領域を決定するか、さらにデータを読み取るステップは、１つ以上の特徴の位置検索が成功し、関心領域が決定できるまで何度も繰り返される。

画像の小部分中の眼位置および/または頭位置を表す特徴のこのような反復検索は、フルフレーム画像の対応する検索よりはるかに効率的である。

ある実施形態によると、センサデータの読取部分はタイル状に表示されて合成画像が形成され、これに基づき１つ以上の特徴の検索が行われる。

画像の読取部分をタイル状に表示して合成画像を形成ことで、以前の合成画像や画像の一部で検出できなかった特徴を検出する可能性が高まる。

ある実施形態によると、この方法は、さらに、検索に成功した１つ以上の特徴を、特徴アキュムレータに保存し、特徴アキュムレータに保存した特徴を解析し、解析した特徴に基づき関心領域を決定することからなる。

特徴アキュムレータにより、誤って肯定的に検出された特徴を除くために、制約や知識を適用して、蓄積した特徴の解析を可能とする。

ある実施形態によると、特徴アキュムレータに保存された特徴の解析は、特徴の検出の時間を含む。

特徴の検出時間は、頭の移動の追跡を可能とし、同一領域の古い特徴と比べてより新しい特徴に特権を与えるために、幾つかの特徴のそれぞれに信頼値を割り当てることを可能とする。

ある実施形態によると、この方法は、さらに、センサから決定した関心領域を繰り返し読み取ることと、その中の１つ以上の特徴を決定することに基づく眼追跡を行うことからなり、前記関心領域の位置は、決定した特徴の位置に基づいて適合することが望ましい。

眼位置および/または頭位置を表す特徴が見つかると、関心領域が決定され、眼および/または頭の追跡に最も有望な起点を提供する。

ある実施形態によると、センサの一部のみの初期読取は、追跡に用いられた最後の関心領域に基づく。

これは、画像の歪みや移動した被写体の頭のないブリンキングのため等により、追跡ができなくなっている場合は特に、初期サブ領域の「良好な推測」となる。そして、初期読取サブ領域は、検索された特徴が位置する領域を含むか、これに近い位置にある可能性が比較的高くなる。

ある実施形態によると、追跡される被写体の眼位置および/頭位置を表す１つ以上の特徴に関する情報がない時（あるいは、それにも拘わらず）前記センサの領域の一部のみの前記初期読取が実行される。

画像の一部のみの初期読取により、（追跡準備のできた）システム前方にいる被写体と追跡の実際の開始との間の時間を大幅に短縮することができる。このアプローチは、画像の特徴に関する情報が入手可能でない時に画像全体を読み取り、あらゆる可能性のある特徴位置を取り込むため画像全体を読み取る必要のある従来技術のパラダイムに基づく従来技術とは対照的である。

ある実施形態によると、センサの領域の一部のみの前記初期読取は、以前に有効な頭位置、頭位置に関する情報を提供する外部入力、または、推測的に供給されるか現在の単数または複数の被写体追跡中に作成される頭位置の可能性を記述する確率密度関数に基づく。

ある実施形態によると、センサの別部分の前記読取は、ユーザの頭をカバーする確率が最も高い別部分を決定する統計に依存して、別部分を選択することからなる。

このように、純粋にランダムな別部分の選択より特徴を検出することに、より可能性が高くなる。

ある実施形態によると、センサの別部分の前記読取は、行毎、列毎、または中心周囲螺旋で別部分を選択することを含む。

ある実施形態によると、画像データ検索は、複数の追跡被写体の眼位置および/または頭位置を表す１つ以上の特徴部分の初期読取の画像データを検索することを含む。

ある実施形態によると、センサの別部分の読取は、以前に読み取った部分に対して、別部分の大きさを変更することを含む。

ある実施形態によると、画像データ検索は、検索を加速するため初期読取部分の画像データの、水平または垂直あるいは水平および垂直ビニング、スキッピングまたはサブサンプリングを用いることを含む。

ある実施形態によると、眼追跡システムは、以下の構成を含む。
画像データを取り込むための画像センサ、
センサから読み取られるセンサの１つのサブ領域として関心領域を決定し、該読取画像データに基づき眼追跡を行うためのモジュール。
そして、この関心領域を決定するための前記モジュールは、以下のモジュールを含む。
ａ）センサの領域の一部のみを当初読み取るためのモジュールと、
ｂ）追跡被写体の眼位置および/または頭位置を表す１つ以上の特徴を求めて、前記初期読取部分の画像データを検索するためのモジュール、
ｃ）１つ以上の特徴を求める前記検索が成功した場合、検索に成功した１つ以上の特徴の位置に基づき関心領域を決定するためのモジュール、
ｄ）１つ以上の特徴を求める前記検索が成功しなかった場合、前記センサの別の部分を読み取り、前記別の部分に基づき眼位置および/または頭位置を表す１つ以上の特徴を求めて検索を行うモジュール。

ある実施形態によると、眼追跡システムは、本発明の以前に定義した実施形態の１つによる方法を実行するための１つ以上のモジュールを含む。

ある実施形態によると、コンピュータ上で実行される場合、前記コンピュータが本発明の実施形態の１つによる方法を実行できるコンピュータプログラムが提供される。

複数のタイルに分割されたセンサ領域を模式的に示す。 頭位置検索モードおよび追跡モードを模式的に示す タイルの繋ぎ合わせを用いて頭位置を走査する方法を模式的に示す。 専用タイルを用いて頭位置を走査する方法を模式的に示す。 異なるタイルサイズを模式的に示す。 列方向タイル経路を模式的に示す。 図６と反対方向の列方向タイル経路を模式的に示す。 螺旋タイル経路を模式的に示す。 放射状タイル経路を模式的に示す。 タイルエッジ、整列、重合、または隙間ありを模式的に示す。

以下に、本発明の実施形態をより詳しく説明する。以下に説明する眼または視線追跡の実施形態は、眼の位置または視線自体の決定および追跡の目的にのみ利用することができ、市場調査、心理学、外科手術を含む医療用、制御用、シミュレータ等、一般にヒューマン・マシン・インターフェイスの一部として各種分野で応用してよい。

このシステムは「頭位置検索モード」から始まる。このモードの目標は、次の「追跡モード」で用いることのできる初期ＲＯＩ位置を決定することである。この移行は、システムが頭または眼の位置を決定でき、頭または眼の位置から追跡モードのために初期ＲＯＩ位置を引き出せるだけの特徴が検出され次第、実現可能である。

＜タイルスティッチングを用いた頭位置の走査＞
ある実施形態による眼または視線追跡システムは、「頭位置検索モード」から始まる。このモードの目標は、次の追跡モードで用いることのできる初期ＲＯＩ位置を見つけることである。「頭位置検索モード」では、システムは、眼や頭の位置を決定するために有用な、眼や瞳孔、角膜反射、あるいは眼や頭の他の特徴を検索し、それに基づいて次の追跡モードで用いる初期ＲＯＩの位置を特定または決定する。これに関連して、部分またはタイル１１に分割したセンサ領域１０を示す模式的図解である図１が参照される。

「頭位置検索モード」では、システムはＲＯＩベースの画像取得を用いるが、ここではセンサ領域１０の部分またはタイル１１が読み取られる。センサ領域の部分またはタイルは以下、「タイル」と呼ぶ。

画像領域のタイルのみの読取は、画像中の特徴において利用可能な情報がないとき、画像全体を読み取り、あらゆる可能性のある特徴位置を取り込むため画像全体を読み取る必要のある従来技術のパラダイムに基づく、従来技術とは対照的である。

タイル１１の位置は、ある取得ステップから次の取得ステップにかけて変化する。これを行う１つの方法は、互いに隣接する連続するタイル１１を設けることである。タイル１１の読み込みシーケンスの異なるオプションについては、以下に図６から図９に関連して説明する。タイル１１はスティッチされたタイル画像として一体化される。繋ぎ合わされたタイル画像も合成画像として参照してよい。各ステップ中、眼追跡または頭追跡に必要な特徴は、スティッチされたタイル画像から抽出される。特徴が、検索する特徴が瞳孔の場合、瞳孔の形状等の生理学的制約に一致するとすぐ、初期ＲＯＩ位置が見つかり、システムは追跡モードに切り替わる。

この点について、「頭位置検索モード」と「追跡モード」を示す図２をさらに参照する。「頭位置検索モード」では、新しいタイルを読み込み、現在のスティッチされたタイル画像に一体化してから、特徴を解析する。特徴検索が成功した場合、現在のスティッチされたタイル画像から初期ＲＯＩ画像が決定され、追跡モードに入るか、そうでない場合、方法は初期ステップに戻る。

追跡モードのＲＯＩの決定は、例えば追跡のためのＲＯＩとしてタイル画像を用いることからのみ構成できる。あるいは、見つかった眼位置を表す特徴の位置を用いて、例えば、特徴によって決定される眼の位置周囲の所定の大きさの四角形または矩形を選択することにより、眼位置周囲のあるスキームに従ってＲＯＩを決定してよい。

追跡モードでは、必要な特徴についてＲＯＩ画像が解析される。必要な特徴が見つかっていたら、ＲＯＩ画像は再位置決めがなされ、そうでない場合、再度頭位置検索モードに入る。

タイルスティッチングを用いた頭位置の走査を示す図３をさらに参照する。頭位置検索モードの第１ステップでは、タイル位置が初期化される。そしてタイルが取得され、現在のスティッチタイル画像に統合されて、画像処理が実行される。必要な特徴が見つかった場合には、スティッチされたタイル画像から決定されるＲＯＩ画像で、追跡モードに入る。そうでない場合、画像パラメータが適合される（ゲイン制御等）。画像全体が処理されたならば、スティッチされたタイル画像がリセットされ、手順が再開されるか、そうでない場合はタイルが再位置決めされ、タイルを取得する第２ステップに再度入る。

あるいは、センサ領域全体に対応するスティッチされたタイル画像全体をリセットする代わりに、スティッチされたタイル画像をリセットせず、新しいタイルを画像センサから反復して読み取り、スティッチされたタイル画像中の対応するタイルと置き換える。

追跡モードでは、ＲＯＩ画像（スティッチされたタイル画像から初期決定された）が取得され、処理される。見つかった特徴が生理学的な制約に一致する場合、追跡を継続し、ＲＯＩの再位置決めを行うが、そうでない場合、頭位置検索モードに再度入る。最終的に、視線ベクトルおよび視線ポイントのような視線パラメータを決定する。

＜専用タイルを用いた頭位置の走査＞
図３を参照して説明した前記タイルスティッチングを用いる頭位置の走査に代えて、図４は専用タイルを用いる頭位置の走査を示す。

「頭位置検索モード」では、システムは、センサ領域１０（図１参照）の部分またはタイル１１を読み取ったタイルスティッチングを用いる頭位置の走査時のように、ＲＯＩベースの画像取得を用いる。タイル位置は各取得ステップに対して変更される。

タイル配置は、頭および/または片眼または両眼に対応する全ての特徴を1つのタイルが包含するには小さすぎる場合がある。従って、タイルから特徴が抽出され、特徴候補として特徴アキュムレータに保存される。特徴アキュムレータについては以下に説明する。従って、スティッチされたタイル画像に前にアクセスしたタイルを保持する必要はない。そのため、画像処理はより小さい画像領域で行うため、処理努力が縮小する。

特徴アキュムレータに特徴を追加した後、蓄積した特徴候補すべてが生理学的な制約と一致することがチェックされる。このような生理学的な制約は、例えば、特徴として表される、見つかった２つの眼の間の距離、瞳孔の大きさおよび形状、特徴の位置、または１つのタイルに瞳孔の半分が見つかり、隣接するタイルにもう半分が見つかる等、隣接するタイルで見つかったその一部でよい。特徴が制約と一致したら、初期ＲＯＩが決定され、システムは追跡モードに切り替わる。追跡は、図３のタイルスティッチングを用いて頭位置の走査に関して説明した通りに行う。

他の実施形態（図示せず）では、頭位置の走査は図３のようなタイルスティッチングと図４のような専用タイルの両方を用いて実行される。このアプローチでは、専用タイルアプローチの処理努力縮小の利点と、拡張タイル画像で見つからない特徴を再度検索する可能性を組み合わせることができる。

＜特徴アキュムレータ＞
ある実施形態による特徴アキュムレータは、各専用タイルについて画像処理から抽出した特徴の大きさおよび位置等の幾何学的特性を含むデータベースである。露出の時間、信頼度、タイル特性等の追加情報が各特徴データセットに添付される。
特徴アキュムレータの目標は、例えば次のものである。
・蓄積した特徴を最後まで解析して追跡モードに切り替え、「追跡モード」の初期ＲＯＩ位置を決定する
・「頭位置検索モード」に続く、それ以降のタイルの選択

頭位置を検出するため、蓄積された特徴について、例えば次のうち１つ以上を用いて、幾何学的および生理学的な制約がチェックされる。
・眼の生理学的モデルとカメラおよび照明ダイオードの幾何学的セットアップから照明の光線経路が算出される。そこから、角膜反射や瞳孔の位置に関する制約が導き出され、蓄積した特徴に適用される。
・頭移動速度に関する知識は、空間的および時間的距離からその特徴の最後に知った位置までに依存する、誤った肯定的な検出特徴を除外することに用いられる。
・双眼鏡の眼の距離は、左右の眼の特徴の間の距離の範囲に依存する誤った肯定的検出特徴を除外するために用いられる。

システムが妥当な特徴を検出するとすぐに、システムは追跡モードに切り替わる。追跡モードの初期ＲＯＩは、受け入れた特徴を含むように定義される。

特徴アキュムレータは、タイルスティッチングを用いた頭位置の走査と、専用タイルを用いた頭位置の走査の両方に適用可能である。

＜タイルの大きさ＞
図５は、専用タイル（図４）に適用するのが望ましいが、タイルスティッチング（図３）にも用いることができる異なるタイルサイズを示す。図５に示すように、タイルサイズは、
・一定でも
・一定でなくともよい（連続して捉えるであろう２つの隣接するタイルを合併することでより大きな水平または垂直の領域をカバーする等）

＜初期タイル位置決め＞
実施形態によると、タイルスティッチング（図３）と専用タイル（図４）の両方に適用可能な「頭位置検索モード」には検索の具体化には異なる方法がある。
・静的：途中から開始、または頭位置を見つける可能性が高い場合に直ちに開始
・最後の追跡位置に基づく
・眼位置の近似に用いることができる外部情報（ウェブキャム顔検出結果に基づく等）に基づく

＜タイル経路＞
図６から図９は、タイルスティッチング（図３）と専用タイル（図４）の両方に適用可能な頭位置検索モード中、実施形態により連続的に読み込んだタイルの異なる経路を示す。
その後捉えるタイルの順番は、頭位置を見つけるまでの時間に影響する。その後のタイルを捉える順番は次のようにするか、他の好適なパターンでよい。
・最も容易：行毎、列毎
・中心周囲の螺旋
・最後に追跡した位置周囲の螺旋
・中心周囲の放射状
・最後に追跡した位置周囲の放射状
・確率密度関数に基づくサンプリング
・ランダムまたは偽ランダム

＜タイルエッジ＞
タイルスティッチング（図３）と専用タイル（図４）の両方に適用可能な「頭位置検索モード」において、タイルは次のようなその境界の接し方によって定義される
・重合または
・整列または
・タイル間に隙間あり。
重合するエッジを用いることで、ＲＯＩ境界線に近い特徴の検出が簡易化する。そのため、ＲＯＩ境界線によって細分化された特徴がカバーする領域の複雑化が回避される。図９は、（下から上の）タイルエッジの、整列、重合、または隙間ありを示す。

＜追跡モード＞
頭位置検索が成功して、追跡用ＲＯＩが決定するとすぐに、システムは追跡モードに切り替わる。

ある実施形態によると、システムが「追跡モード」にある間、システムは、頭位置の探索に対して最も高い確率のタイルが「頭位置追跡モード」で最初に用いられるような方法で、タイルスティッチング（図３）または専用タイル（図４）の開始タイルの統計を作成する。
追跡ＲＯＩは頭位置移動に従って移動する。システムがＲＯＩ内に必要な特徴を検出できない場合、システムは「頭位置検索モード」に戻る。

＜複数ユーザの追跡に複数ＲＯＩを用いる＞
ある実施形態によると、「頭位置検索モード」は、複数のユーザの追跡量を走査するよう修正される。そのため、「頭位置検索モード」は、生理学的および幾何学的制約に一致する全ての特徴周囲の複数タイルを算出する。各被写体に対して１つの初期タイル位置が生成される。
追跡モードは、頭位置検索モードから通過した複数ＲＯＩを各被写体につき１つ取り扱うよう修正される。各ＲＯＩは被写体の頭の移動に従って移動する。
１つのＲＯＩで眼の特徴が入手可能でない場合、システムは特定の被写体の頭の移動の追跡を停止する。眼の特徴を含むＲＯＩが入手可能な限り、システムは頭位置検索モードに戻ることはない。
眼の特徴を含むＲＯＩがなくなった場合、システムは頭位置検索モードに切り替わる。
ある実施形態によると、追跡モードにある間、システムは追加ユーザについて永久的に追跡ＲＯＩ外の領域をスキャンする。これは、頭位置検索モードと同等に実現される。これは、複数ユーザ追跡では、システムは頭位置検索モードと追跡モードで同時に動作していることを意味する。

＜サンプリングレートを上げるために複数ＲＯＩを用いる＞
追跡モードでのサンプリング周波数の増加および/または帯域の減少には、ある実施形態によると、大きなＲＯＩの代わりに複数の小さなＲＯＩを用いることができ、タスクに必要な特徴の検出に適したＲＯＩを配置およびサイズ決めする。例えば、両眼に１つのＲＯＩの代わりに、片方の眼の中心に１つの小さなＲＯＩを置くことができる。２つのＲＯＩを合わせた領域は、大きなＲＯＩの領域より小さい。これは、鼻梁になると予想される領域を捉えないことによって実現される。捉えた領域サイズの減少によってサンプリングフレームレートを上げる。

＜解像度低下＞
ビニング、（行および/または列の）スキップ、またはサブサンプリングを用いて空間解像度を下げ、フレームレートを上げることができる。頭位置検索モードでこのような解像度低下手段を用いることにより（フル解像度センサ読取に比べて）次のことが可能になる
・同じサンプリング周波数でより大きなタイルを用いることにより、より大きなセンサ領域をカバーする。これによって特徴を見つける確率が高まる。
・より速いサンプリング周波数で同じタイルサイズを用いることにより、頭位置関連の特徴をより早く検出し、システムがより早く追跡モードに切り替わることができる。

＜ビニング＞
画像センサの隣接する画素の信号を加えることで、処理画素数が減少するため、画像処理努力が減少する。隣接は水平、垂直または両方でよく、あらゆる数の隣接画素の追加やその信号を組み合わせることが可能だが、典型的なモードとして、２×１（水平に隣接する２個の画素）、１×２（垂直に隣接する２個）、２×２（水平、垂直および斜めに隣接する４個の画素）、４×１、１×４、４×４等がある。
ビニングは各画素のアナログまたはデジタル出力に関して、センサレベルで行うことができ、あるいは、ソフトウェアまたは装置ドライバによってデジタルに行うことも可能である。

＜スキッピング＞
画素の出力が読まれず、送信されず、ある空間的再帰パターンに従って無視される部分的な読み取りをいうが、例えば、垂直、水平または両方で１個置きの画素がスキップされることには限定されない。
これはセンサレベル、ソフトウェアまたはその両方で実行可能である。

サブサンプリングはビニングに似ているが、信号は加えず、代わりにフィルタ機能に従って組み合わせる。最も単純なケースでは、このようなフィルタ機能は、サブサンプリング隣接パターン内に含まれるすべての画素の出力の平均化からなる。

より複雑なパターンには、バイキュービック補間、ランチョショ展開等が含まれる。

隣接パターンは、ビニングに用いたパターン、即ち、２×１、１×２、２×２、４×４等と類似である。

サブサンプリングは、センサレベルでデジタルまたはアナログ、ソフトウェアでデジタル、またはその両方で実行することができる。

以下にいくつかの実施形態を説明する。
１）以下、ａ）からｄ）を含むシステム。
ａ）撮像可能な１つ以上の画像センサまたは光感応要素のアレイ；光感応要素の前記アレイが取り込んだ画像を受信および処理する処理ユニットまたはＣＰＵと、
ｂ）１つ以上のユーザの眼の１つ以上のパラメータを、前記システムで取得した画像を処理し、瞳孔、角膜、虹彩、強膜、角膜輪部、網膜、血管、光源の反射を限定せずに含むユーザの眼の１つ以上の特徴を特定および検出することにより、決定する方法と、
ｃ）前記画像で検出された前記特徴を選択した基準座標系でユーザの眼の実際の位置、向き、寸法に相関させるために用いる、ユーザの眼のモデルと眼追跡システムと、
ｄ）あるサンプリング間隔で前記画像センサまたは光感応要素のアレイの部分読取のみ用いながら１つ以上のユーザの眼の位置を決定する検索方法で、部分読取は、光感応要素のサブセット、アレイ/画像センサの単数または複数のサブ領域（関心領域またはＲＯＩ）のみの出力を読み取ることか集めることからなるシステム
２）実施形態１）は、１つ以上の発光要素を含むか含まない。
３）送信または処理する画素の数を選択的に減らすため、ビニング、スキッピング、サブサンプリングなどの解像度低下の様態を、水平または垂直または水平および垂直パターンの組み合わせにより用いるか用いない実施形態１〜２。
４）検索方法は、光感応要素の（サブ）セットまたはあるサンプリング間隔内で発生した部分読取によって定義されるＲＯＩ内の少なくとも１つの前記特徴の少なくとも部分について実質的に位置を確認するか特定しようとする実施形態１〜３。
５）ＲＯＩの大きさと形状は一定の値に設定可能な実施形態１〜４。
６）ＲＯＩの大きさと形状は異なる期間でダイナミックに変更可能な実施形態１から５
７）検索方法は、処理ユニットのメモリ内で、異なるサンプリング間隔に取り込んだ前記１つ以上の部分読取をスティッチまたは組み合わせ、処理する画像センサの光感応要素のより大きな（サブ）セットを形成し、実施形態４のように前記少なくとも１つの特徴の少なくとも部分について実質的に位置を確認するか特定する実施形態１〜６。
８）ＲＯＩ内に位置する特徴またはその部分は、計算ユニット内の特徴アキュムレータまたは記憶スペース内に、前記特徴関連特性と共に保存可能で、その特性は、特徴の位置、大きさ、（部分的）形状、検出時間、ＲＯＩフレームの大きさおよび位置を含むことができる実施形態１〜６。
９）生理学的および幾何学的制約が特徴アキュムレータに保存された特徴に適用され、誤った肯定的検出を除外し、特徴の完全な形状を１つ以上の部分的フラグメントから再構築し、前記と前記モデルを共に用いて、ユーザの頭位置および/または向きおよび/または１つ以上の眼の位置および/または向きを実質的に決定する実施形態８。
１０）１つ以上の前記特徴の検出の時間を用いて、同一領域またはＲＯＩからの古い特徴に比べて新しい特徴を優先するのに用いてよい特徴の信頼値を決定することができる実施形態９。
１１）特徴の検出の時間を用いて、１つ以上の頭や１つ以上の眼の移動速度を決定し、前記速度を用いて将来の時間間隔で頭および眼の位置を追跡および/または予想し、前記予想は前記ＲＯＩの将来の位置の決定に用いることができる前記実施形態。
１２）１つ以上のＲＯＩの位置が下記ａ）〜ｃ）で静的に定義される前記実施形態。
ａ）センサの途中、
ｂ）センサの角
ｃ）頭位置を見つける可能性の高い位置。可能性は、オフラインで作成されている頭位置統計に依存する。
１３）１つ以上のＲＯＩの位置が下記ａ）〜ｃ）で動的に定義される前記実施形態。
ａ）最後に有効な頭位置に基づくか、
ｂ）頭位置に関する情報を与える外部入力に基づくか、
ｃ）現在の単数または複数の被写体の追跡中に作成した確率密度関数に基づくか。
１４）その後の時間間隔における１つ以上のＲＯＩの移動経路は、ユーザの頭、眼およびその特徴を見つける確率が最も高い専用位置を決定する統計に実質的に依存する前記実施形態。
１５）前記移動経路は実質的に螺旋経路をたどる、実施形態１４。
１６）前記移動経路は実質的に放射状経路をたどる、実施形態１４。
１７）前記移動経路は実質的に体系的な行毎または列毎経路をたどる、請求項１４の方法。
１８）前記移動経路は実質的にランダムまたは偽ランダム経路をたどる、実施形態１４。
１９）その後の時間間隔で想定するＲＯＩ位置は重合してもしなくてもよい、前記実施形態。
２０）その後の時間間隔で想定するＲＯＩ位置は、センサ読取領域全体を最小限にするよう配列されたエッジであってもなくてもよい前記実施形態。
２１）複数のＲＯＩは、1人以上のユーザの１つ以上の眼を同時に検出および追跡するよう特に作成され用いられる前記実施形態。
２２）ＲＯＩは、対応する被写体の頭の移動に従って移動する、前記実施形態。
２３）ＲＯＩは、その後のフレームで１つ以上のユーザの眼を特定するのに用いる１つ以上の特徴を検出できるよう、各ユーザの頭および眼の移動を予想および追跡するように移動する、前記実施形態。
２４）ＲＯＩは、潜在的新ユーザまたは一時的に失われたユーザを検索および検出するように位置決めまたは移動する前記実施形態。
２５）複数のＲＯＩを用いて、予想されるユーザの眼の位置に近く中心決めした単一ＲＯＩに比べて、センサ領域読取を実質的に減少させる前記実施形態。
２６）１つのＲＯＩをユーザの左眼の中心近くに位置決めし、１つのＲＯＩをユーザの右眼の中心近くに位置決めし、ユーザの鼻梁になると予想される領域は読み取らない、実施形態２５。

Claims (15)

1. 画像センサによって画像データを取り込むことと、
   前記センサから読み取られる前記センサの１つのサブ領域または複数の非連結サブ領域として関心領域を決定して、読取画像データに基づき眼追跡を行うことを含む眼追跡方法であって、
   前記関心領域の前記決定は、
   ａ）前記センサの領域の一部のみを当初読み取ることと、
   ｂ）追跡被写体の眼位置および/または頭位置を表す１つ以上の特徴を求めて、初期読取部分の画像データを検索することと、
   ｃ）１つ以上の特徴を求める前記検索が成功した場合、検索に成功した１つ以上の特徴の位置に基づき関心領域を決定することと、
   ｄ）１つ以上の特徴を求める前記検索が成功しなかった場合、前記センサの別の部分を読み取り、前記別の部分に基づき眼位置および/または頭位置を表す１つ以上の特徴を求めて検索を行うこと
   を含む眼追跡方法。
2. １つ以上の特徴を検索し、見つかった特徴の位置に基づき前記関心領域を決定するか、さらにデータを読み取るステップは、前記１つ以上の特徴の位置発見が成功して、関心領域が決定できるまで何度も繰り返す
   ことを特徴とする請求項１に記載の眼追跡方法。
3. 前記画像センサの前記読取部分をタイル状にして合成画像を形成し、これに基づき１つ以上の特徴の検索を行う
   ことを特徴とする請求項１または２に記載の眼追跡方法。
4. 検索に成功した１つ以上の特徴を特徴アキュムレータに保存し、
   特徴アキュムレータに保存した特徴を解析し、
   解析した特徴に基づき関心領域を決定することを
   さらに含む請求項１または２に記載の眼追跡方法。
5. 特徴アキュムレータに保存した特徴の前記解析には特徴の検出の時間が含まれることを特徴とする請求項４に記載の眼追跡方法。
6. 前記センサから決定した関心領域を繰り返し読み取ることと、その中の１つ以上の特徴を決定することとに基づく眼追跡を行うことをさらに含み、前記関心領域の位置は、決定した特徴の位置に基づき適合されることが望ましい、請求項１〜５のいずれか１項に記載の眼追跡方法。
7. 前記センサの一部のみの前記初期読取は、追跡に用いられた最後の関心領域に基づくことを特徴とする請求項１〜６のいずれか１項に記載の眼追跡方法。
8. 前記センサの領域の一部のみの前記初期読取は、追跡被写体の眼位置および/または頭
   位置を表す１つ以上の特徴に関する情報がない場合に行われることを特徴とする請求項１〜７のいずれか１項に記載の眼追跡方法。
9. 前記センサの領域の一部のみの前記初期読取は、以前に有効な頭位置、頭位置に関する情報を提供する外部入力、または経験的に供給されるか現在の単数または複数の被写体追跡中に作成される頭位置可能性を記載する確率密度関数に基づくことを特徴とする請求項１〜７のいずれか１項に記載の眼追跡方法。
10. 前記センサの別の部分の前記読取は、ユーザの頭をカバーする確率が最も高い別の部分を決定する統計に依存して、別の部分を選択することを特徴とする請求項１〜９のいずれか１項に記載の眼追跡方法。
11. 前記センサの別の部分の前記読取は、行毎、列毎、ランダムに、偽ランダムに、中心周囲放射状に、または中心周囲螺旋で別の部分を選択することを含む、請求項１〜１０のいずれか１項に記載の眼追跡方法。
12. 画像データ検索は、複数の追跡被写体の眼位置および/または頭位置を表す１つ以上の特徴を求めて、初期読取部分の画像データを検索することを含む、請求項１〜１１のいずれか１項に記載の眼追跡方法。
13. 前記センサの別の部分の前記読取は、以前に読み取った部分に比べて、別の部分の大きさを変更することを含む、請求項１〜１２のいずれか１項に記載の眼追跡方法。
14. 前記画像データ検索は、検索を加速するため前記初期読取部分の画像データの、水平または垂直あるいは水平および垂直を組み合わせたビニング、スキッピングまたはサブサンプリングを用いることを含む、請求項１〜１３のいずれか１項に記載の眼追跡方法。
15. 画像データを取り込むための画像センサと、
    関心領域を前記センサから読み取られる前記センサの１つのサブ領域または複数の非連結サブ領域として決定して、読取画像データに基づき眼追跡を行うためのモジュールとを含む眼追跡システムであって、
    前記関心領域を決定するための前記モジュールは、
    ａ）前記センサの領域の一部のみを当初読み取るためのモジュールと、
    ｂ）追跡被写体の眼位置および/または頭位置を表す１つ以上の特徴を求めて、初期読取部分の画像データを検索するためのモジュールと、
    ｃ）１つ以上の特徴を求める前記検索が成功した場合、検索に成功した１つ以上の特徴の位置に基づき関心領域を決定するためのモジュールと、
    ｄ）１つ以上の特徴を求める前記検索が成功しなかった場合、前記センサの別の部分を読み取り、前記別の部分に基づき眼位置および／または頭位置を表す１つ以上の特徴を求めて検索を行うモジュールと、を含む眼追跡システム。

Images