JP6515086B2 - 経時的な確率的オブジェクト追跡のためのシステムおよび方法 - Google Patents

Description

本出願は、２０１３年４月２９日に出願された米国仮出願第６１／８１７，１８９号明細書の優先権を主張するものであり、その内容は参照により本明細書に組み込まれる。

本発明は、オブジェクトの追跡のためのシステムおよび方法に関し、より詳細には、シーンにおける、ポイント・オブ・インタレスト（point of interest）データおよびオブジェクトの移動情報を用いた、オブジェクトの追跡に関する。

多くの分野において、信号、および参照するシーンとの間の関連性を決定することは、不可欠である。それにもかかわらず、提供された信号に、重大（significant）な固有のノイズが含まれることは稀ではなく、しばしば、不正確および誤りがちな決定をする。例えば、人間の視線は、コンピュータマウス、またはタッチスクリーンのような、入力デバイスを操作するよりも、より速く、より直観的で、ユーザからの少ない労力しか必要としない、特に良好なポインティングデバイスと考えられる。しかしながら、人間の視覚システムの特性および現在の視線追跡装置における固有のエラーの両方に起因して、提供される注視点に関する情報は、その所望する用途において、通常、あまりにも無関係な情報となっている。人間に関する、目の動きの重要性を考慮すると、現在のシステムは、この情報を確実に用いることができないことが、これらのシステムの欠点と考えられる。

本発明の一態様において、あるシーンにおける、経時的なオブジェクトの追跡方法が提供され、その方法は、追跡装置から追跡データを取得するステップであって、追跡データは追跡された少なくとも１つのポイント・オブ・インタレストに関連する情報を備える、ステップと、シーン情報プロバイダから位置データを取得するステップであって、そのシーンは複数のターゲットに関連し、その位置データはシーンにおけるターゲットに対応する、ステップと、追跡されたエンティティに関連する関心のあるターゲットを予測するために、確率的グラフィカルモデルを前記追跡データおよび前記ターゲットデータに適用するステップと、正確なポイント・オブ・インタレストを判定するために、関心のあるターゲットを使用するステップ、ならびに正確なポイント・オブ・インタレスト、および関心のあるターゲットの少なくとも１つを出力するステップの少なくとも１つを実行するステップとを備える。

別の態様において、上記の方法を実行するためのコンピュータ実行可能命令を含むコンピュータ可読媒体が提供される。

さらに別の態様において、上記の方法を実行するように構成されたシステムが提供される。

添付図面を参照して、例示として、実施形態を説明する。

追跡環境の概略図である。 追跡環境の概略図である。 追跡環境の概略図である。 ターゲットに関連するオブジェクト、および注視点（ＰＯＧｓ）に関するシーンが３次元（３Ｄ）で示されている。 注視−駆動オブジェクト追跡（ＧＤＯＴ）モジュールにより実行されるコンピュータ実行可能命令を例示したフローチャートである。 典型的な視線追跡システムにおけるＧＤＯＴモジュールに関する構成を例示した概略ブロック図である。 一実施形態において、ＧＤＯＴモジュールによる凝視に適用される隠れマルコフモデル（ＨＭＭ）のアプリケーション例の状態遷移図である。 ＧＤＯＴモジュールと接続される３Ｄレンダリングエンジンにより実行されるコンピュータ実行可能命令を例示したフローチャートである。 ＧＤＯＴモジュールと、視線追跡システムの他のコンポーネントとの１つまたは複数のインタフェースにより実行されるコンピュータ実行可能命令を例示したフローチャートである。 関心のあるターゲット（ＴＯＩ）を生成するときに、ＧＤＯＴモジュールにより実行されるコンピュータ実行可能命令を例示したフローチャートであり、これは、表示されたシーンと視線追跡データの情報を用いて、新たな注視点（ＰＯＧ）を決定するために用いられる。

適切と考えられる例示の簡易化および明確化のため、参照番号は、対応する要素または類似する要素を示すために図面間で繰り返される場合があることが理解されるであろう。また、多くの具体的な詳細は、本明細書に記載の実施例の完全な理解を提供するために説明される。しかしながら、本明細書に記載の実施例は、これらの具体的な詳細を用いることなく実施されることが当業者によって理解されるであろう。他の例では、本明細書に記載の実施例を不明瞭にしないように、周知の方法、手順および構成要素（コンポーネント）は詳細に説明していない。さらに、説明は、本明細書に記載の実施例の範囲を限定するものと見做されるものではない。

本明細書で用いられる例および対応する図は、例示の目的のみのためにあることが理解されるであろう。異なる構成および用語は、本明細書に示される原理から逸脱することなく用いられる。例えば、コンポーネントおよびモジュールは、これらの原理から逸脱することなく、追加、削除、変更、または異なる接続で配置することができる。

ユーザが観察しているものを、より正確に予測することにより、非常に効果的な選択装置が得られるだけではなく、関心に附随する（interest-contingent）機能を有するコンテンツの表示が向上されるかもしれないことがわかる。例えば、（遠近）調節関連の焦点キュー（focal cues）は、多焦点ディスプレイを必要とすることなく、視覚体験を強化するためにシミュレートすることができる。

上記の内容において入力として、注視追跡などの関心の追跡を用いることができる限定要因は、例えば、注視追跡におけるアイトラッカーなど、用いられる信号追跡装置の精度である。一般的に、ほとんどのアイトラッカーは、かすかな角膜反射に依存し、数例を挙げると、頭部の動き、瞳を隠す眼瞼、照明の変化、影、および赤外線（IR)光源に干渉する日光により影響を受けるので、この制限要因を克服することは困難である。しかしながら、目の位置および方向の最適な位置合わせが可能であっても、目の動きは視覚系の注視パターンに厳密には従っていないことがわかる。観察者が一点に注視している場合であっても、眼球の衝動性運動および震動のために、その点の周りをさまよう。

視線追跡のような信号追跡を効果的に展開（deploy）するために、本明細書に記載のシステムは、表示されたシーンにおいて、潜在的にノイズの多い信号追跡データからユーザの凝視パターンを予測するための確率論ベースのプロセスを採用している。視線追跡の例において、以下に記載されるシステムは、相互作用スキーム（interaction scheme）の注視付随的なコンポーネントの精度、ロバスト性、および安定性を改善するために、そのシーンについての、視線追跡データおよび所定の、または別の既知の情報の両方を利用するように構成される。事前に設定されたターゲットポイントのいずれかが注意して見られる尤度が割り当てられる、確率モデルが用いられる。

本明細書の目的において、用語「シーン」はオブジェクトの構成のことをいう。これは、レンダリングされたシーン（例えば、ビデオゲームにおける３次元環境）を包含する。シーンは、さらに視野にユーザの視線が含まれるカメラのビデオフィード、または、その他の任意の種類の可観測の視覚系、若しくはシーンに対応する。ここで、シーンは、ユーザに可視であり、すなわち、ユーザの視線は、ある時点において、シーン内のオブジェクトと交差する可能性がある。このように、任意のタイプのシーンは、特にシーン内のオブジェクトの直感的な情報が知られている場合、本明細書で説明される原理から便益を受ける。

以下でより詳細に説明するように、本説明において、単一の物理的オブジェクトは、そのオブジェクトに関連付けられた１つ以上のターゲットによって近似することができ、このターゲットは、オブジェクトの意味的特徴をまとめた（abstract）および／または、この意味的特徴に付する無次元のエンティティ（例えば、これは、空間上の点として想像することができる）とみなされてもよい。これらのターゲットは、通常動作時において、観察者に不可視であるが、以下で説明するＧＤＯＴモジュールに入力される。

視線追跡は、例えば、注視付随的な被写界深度のレンダリングを用いて焦点キューを誘導し、ビデオゲーム、またはコンピュータ環境に直感的な制御を追加し、信頼性の高い視覚的特性（saliency）モデルを生成することなどに用いられる。以下で記載される、計算された確率は、動いている、または静止しているターゲットの位置および速度に対する注視スキャンパスの整合性を利用する。凝視（fixation）の時間特性は、最も可能性の高い凝視パターンに関するソリューションを導く隠れマルコフモデル（ＨＭＭ）のような、確率的グラフィカルモデル（ＰＧＭ）によって与えられる。本明細書に記載された方法は、様々な視線追跡実験によって実証することができる。例えば、ある実験において、実際の視線追跡の記録（readings）および観察者が観察するように依頼されたターゲットの位置は、経時的なトラッキングエラーを計算するために用いられた。第２の実験において、丁度可知差異（ＪＮＤ）でスケールされた品質測定は、追跡アルゴリズムのエラーに起因して、品質の知覚損失を定量化し、導出された。品質の損失は、２つのタイプの不正確さ、すなわち、エラーの割合とエラーの頻度により生じるので、実験的に、それらと観察者の品質判断との知覚的関係を見つけることにより、追跡アルゴリズムの後の評価が可能とされた。この実験の顕著な結果は、追跡エラーの頻度が高いことは、エラーの割合が高いことよりも著しく煩わしいものとして、しばしば報告されているということだった。両方の実験からのデータは、本明細書に記載の実施例の適用性を確認するため、および方法の性能を評価するために用いられた。本明細書に記載された方法は、両方の実験の結果において、非常に低いエラーの頻度、および著しく低いエラーの割合を提供することにより、一般的に用いられる代替方法（すなわち、凝視アルゴリズム）を上回ることがわかっている。また、記載された方法において、視線追跡の名目上の誤差よりも小さいオブジェクトを追跡することが、可能であることが示された。

少なくとも１つの態様において、以下では、シーン、およびそのシーン内のアニメーションに関する情報を利用する追跡方法を提供する。シーンは、アルゴリズムに関する事前情報として機能し、上記の信号追跡エラーの精度を向上させる。この方法が、コンピュータゲームにおけるポインティングデバイス、および注意モデルとして、焦点深度キュー（focal depth cues）のシミュレーションに基づいて、有益な改善を提供することは知られている。このようなアプリケーションは、ユーザが凝視している正確な点、いわゆる「凝視点」に関する、極めて正確な情報を必要とする。高度な視線追跡では、瞳孔と角膜反射の赤外線画像を登録することにより、便利で、非侵襲的で、かつ潜在的に安価な方法で、瞬時に注視方向を判定することができる。現在のところ、角膜瞳孔視線追跡の重要な制約は、その精度であることが認識されている。高性能な装置であっても、典型的なデスクトップディスプレイ上の１００画素以上の注視点の拡がりに対応して、視度を１および１．５の範囲で変動させて、注視点測定の標準的なエラーを報告する。このような精度は、ほとんどのリアルタイムのアプリケーションにおいて十分ではない。以下のシステムは、視線追跡システムに関して高い精度を提供し、いくつかの実施例において、システムの出力は、キャリブレーション等のような操作を実行するために用いられる。

例示的な視線追跡環境８は、図１ａに示されている。この例において、視線追跡環境８では、ユーザ１６または被写体の目１４の視線１２の注視点（ＰＯＧ）を判定し、追跡するためのアイトラッカー１０を用いる。この例において、ＰＯＧは、３Ｄテレビ、またはその他の映像出力装置のようなディスプレイ１８を介して、図示されているシーンに向けられる。アイトラッカー１０は、レンダリングエンジン２０に結合される注視駆動対象追跡（ＧＤＯＴ）モジュール２２に結合されるか、または含まれる。レンダリングエンジン２０は、ディスプレイ１８と結合、または通信可能な状態にあり、ディスプレイ１８を用いてシーンを表示するのに用いられ、また、以下でより詳細に説明されるように、関心（interest）のターゲットを判定し、アイトラッカー１０に関する、正確なＰＯＧを任意に提供するＧＤＯＴモジュール２２を補助するための、シーンに関する情報を包含、またはその情報にアクセスする。

図１ｂは、シーン１８がレンダリングエンジン２０に結合されていない、わずかに異なる視線追跡環境８´を示している。ここで、ユーザ１６は、アイトラッカー１０、およびユーザ１６の目１４の視線１２をその視野（ＦＯＶ）内に含む、カメラモジュール２５を有する、ヘッドマウントデバイス２３を装着している。この状況において、シーン１８は、カメラモジュール２５のＦＯＶ内で可視であるものによって限定される。ここで、カメラモジュール２５は、シーン１８を分析し、オブジェクトを判定および追跡し、またＧＤＯＴモジュール２２に入力されるターゲットを抽出する、画像キャプチャおよび分析システム２１に結合され、または含まれる。ＧＤＯＴモジュール２２は、さらに、注視データを取得し、必要に応じて正確な注視データを提供するための、アイトラッカー１０と通信する。

図１ａおよび図１ｂは、ＧＤＯＴモジュール２２がシーンの異なるタイプを含む、種々の用途に用いられることを示している一方で、図１ｃは、これらの原理が、同様に、追跡信号がシーン内のポイント・オブ・インタレスト（ＰＯＩ）に向けられ、このＰＯＩが監視されるアプリケーション、例えば、視線追跡の域を超える（beyond）環境に適用されることを示している。ここで、図１ｃを参照すると、この例において、ＧＤＯＴモジュール２２は、図１ａおよび図１ｂの例においてアイトラッカーおよびシーン１８を注視する目である、追跡信号プロバイダ１４´からの追跡信号１２´を観察する追跡信号レコーダ１０´に結合される。また、ＧＤＯＴモジュール２２は、図１ａおよび図１ｂの例において、レンダリングエンジン２０、フロントカメラ、および画像認識システムの各々に結合され、シーンからターゲットを抽出する役割を果たす、シーン情報プロバイダ２０´に結合される。ＧＤＯＴモジュール２２は、さらに、シーン１８にリンクされ、処理された追跡データ（例えば、ＴＯＩ／ＰＯＩ）を用いるデータ分析および解釈システム６に結合される。処理された追跡データは、データ分析および解釈モジュール６においてのみ用いられるか、または観察者に対する顕著で、迅速なフィードバックのために、シーン１８に転送し返される。視線追跡環境において、後者が、適応的に、追跡エラーを低減する精度向上アルゴリズム、注視に付随するディスプレイ機能、また注視駆動のユーザインタフェースの拡張を特徴とする一方で、前者は、異なる顕著性解析アプリケーションに対応することができる。ＧＤＯＴモジュールは、一般に、追跡信号レコーダ１０´より提供される信号が正確でなく、また精度が低いのに対して、シーン情報プロバイダ２０´より提供されるデータは正確であり、また精度が高いことを前提とすることに留意すべきである。

ここで、図２を参照すると、表示された３Ｄシーン３０は、標準の凝視アルゴリズムに用いられる、（図２において示される推定されたＰＯＧ３４のような）未処理の視線追跡の測定値よりも多くの情報を有することが示される。本明細書に記載された、このシステムの例では、３Ｄ表示は、シーン内のターゲット３６、それらの位置、および移動経路に関して、情報を提供する。上述したように、オブジェクト３２とターゲット３６とは、区別されることに留意されたい。上述したように、任意の単一の物理的オブジェクト３２は、１つ以上のターゲット３６を有することもできる。これらのターゲット３６は、人の頭部の目、鼻、または口などのように、オブジェクト３２の論理的に重要な部分に対応させることができる。オブジェクトに対する相対的なターゲットの決定は、一般的に、シーンおよびオブジェクトに依存し、特定のシーンに関してオフラインで実行される。ターゲットの割り当ては、また自動オンラインシステムを用いて実行することができ、オフラインの構成に限定されると考慮されるべきではない。上述したように、ＧＤＯＴモジュール２２は、アイトラッカー１０からのデータ、および表示されたシーンからの情報を結合し、実行される視線追跡の精度を向上させるために用いられる。

図１ａに示されるようなシステムにおいて、ＧＤＯＴモジュール２２は、キャリブレーションのような他のアプリケーションとの間で、動的で、高品質な被写界深度（ＤｏＦ）の効果をシミュレーションするために用いられる。リアルタイムのコンピュータグラフィックスに用いられる、注視追跡は、また、所定の時間に、おそらくより注意して見られているオブジェクトを見つけることにおいて有利である。

図３は、ＧＤＯＴモジュール２２を用いて、図１ａおよび図１ｂに示されるシステムによって実行される、たとえば、正確なＰＯＧまたはターゲット固有の情報を生成し、用いるなどの操作を図示している。４０において、注視データはアイトラッカー１０から取得され、また、４２において、ターゲットオブジェクトおよび位置データは、レンダリングエンジン２０、または画像キャプチャおよび分析システム２１から取得される。４０および４２において取得されたデータは、その後に、４４において、本明細書において関心のあるターゲット（ＴＯＩ）という、ターゲット固有の情報を予測するために、確率的グラフィカルモデル（ＰＧＭ）を適用するときに用いられる。このＴＯＩは、その後に、４９において、ユーザの注視しているターゲット（たとえば、オブジェクトの選択、ヴァーチャルキャラクタの対話、注視（attention）ベースの環境の変更）に基づいてシーンを修正するように、より粒度の細かいアプリケーションのために、システムにより用いられる。また、正確なＰＯＧ（または、図１ｃに示される例における正確なＰＯＩ）は、４６において、ＰＯＧの精度を高めるために（たとえば、ＰＯＧをＴＯＩの重心（centroid）に合わせることで）、ＴＯＩを用いて出力される。正確なＰＯＧは、４８において、例えば、アイトラッカー１０のキャリブレーションを実行することに用いられる。正確なＰＯＧの他の用途は、被写界深度のレンダリングおよび相互に影響するトーンマッピングを含む。

ここで、図４を参照すると、図１に示されるシステムのさらなる詳細が提供される。図４に示すように、第１のインタフェースモジュール５０は、アイトラッカー１０により提供される注視サンプル５２を取得、および格納またはキャッシュし、５４で注視データを再サンプリングする。アイトラッカーの測定周波数はディスプレイ１８の周波数よりも一般的に高いことから、注視位置は、ディスプレイのリフレッシュレートに適合させ、また、アイトラッカーの測定におけるノイズおよびサンプリングにおける不一致を低減するように、再サンプリングされる。注視データ５２を再サンプリングするために用いられるサンプリングレートは、レンダリングエンジン２０により供給されるクロック信号５８により制御されてもよい。

５４で測定された、再サンプリングされた注視データは、第２のインタフェースモジュール６２に供給され、注視位置データ６４として格納またはキャッシュされる。第２のインタフェースモジュール６２は、またレンダリングエンジン２０からターゲット位置６６を取得する。第１のインタフェースモジュール５０および第２のインタフェースモジュール６２は、アイトラッカー１０、ＧＤＯＴモジュール２２、レンダリングエンジン２０に含まれるか、または、分割、結合、および／または図示した機能を実行する、任意の適切な組み合わせにおいて、提供されてもよいことが理解される。

注視位置データ６４およびターゲット位置６６は、ＧＤＯＴモジュール２２における、ターゲットおよび注視選択ステージ６８に供給される。このデータは、ユーザが特定のターゲットを注視している尤度を推定するために用いられる。より具体的には、この尤度は、ターゲットの位置に対するユーザの注視位置、およびターゲットの速度に対する、注視速度のようなユーザの移動導出（derived）情報の類似性に関連してモデル化される。ターゲットおよび注視のデータストリームは、速度計算ステージ７０において速度を計算するために用いられ、したがって、ターゲットおよびユーザの注視の両方の速度７２を生成する。７８において、ターゲットおよび注視データはターゲット位置の確率を計算するために用いられ、７６において、上記速度およびフィルタ処理された注視速度７４は、領域速度の確率を計算するために用いられる。８０において、２つの確率は加算され、８２において、確率的グラフィカルモデルは、ＴＯＩを予測するために用いられる。このＴＯＩは正確なＰＯＧ（図３における４６）を提供するために任意で用いられ、６０において、シーンを表示する上で入力としてレンダリングエンジン２０に提供され、また、５６において、オブジェクトおよび領域の位置は、ＧＤＯＴモジュール２２により実行される次の反復（iteration）処理に関する新しい位置データを提供するために、アップデートされる。前の時間ステップ（ｔ０）から次の時間ステップ（ｔ１）までで、画面に表示されるアニメーションは時間内でさらに進むことから、オブジェクトおよび領域の位置は、その後にアップデートされる。次に、ＧＤＯＴは、ｔ１におけるターゲット位置の新しいサンプル（sample）を受信する。同時に、アイトラッカーは、再サンプリングした後、次の反復処理を開始するために、ＧＤＯＴモジュール２２に提供される、新しい注視サンプルを収集する。

ターゲット３６は、通常、ユーザの注意を引き付ける可能性の高いスポットである。複数のターゲット３６は、より大きなオブジェクト３２上に分配されてもよく、また、単一のターゲット３６は、通常、各々より小さいオブジェクト３２に割り当てられる。ＧＤＯＴモジュール２２のタスクは、現在の時間ステップに関する、最も注意を引く可能性の高いターゲットを選択することである。これは、これまでのアニメーションフレームの情報のみが利用可能なオンラインシステムにおいて実行される。例えば、注視されたターゲットの識別子（ＩＤ）は、レンダリングエンジン２０に渡され、この情報は、フィールドシミュレーションの深度のような、所望の用途に用いられてもよい。

注視されるターゲット３２に関して、それは、注視点の近くにあるはずであり、また、視線のスキャンパスと同様の速度で動くはずである。したがって、ターゲットを注視する確率ｉは、以下で示される。

ここで、Ｐ（ｐ_i）は、注視点が（位置が一致している）ターゲットｏ_iに向けられる尤度であり、Ｐ（ｖ_i） は、視線のスキャンパスが（速度が一致している）ターゲット３６を追尾する尤度である。確率の合計（∪）は、ターゲット３６が注視されていても、位置または速度のいずれかが不整合である可能性があることから、位置および速度の整合性のために用いられる。位置の不整合は、注視点がターゲット位置に近いが、めったにターゲット位置に当たらないような、不完全なアイトラッカーのキャリブレーションによって、よく引き起こされる。速度の整合性は、アイトラッカーの測定値が目の一定の動きを示している間、速度がゼロである静止したターゲットに関して、通常、非常に低い。しかしながら、整合性は、ターゲット３６が移動し、円滑追跡眼球運動がアイトラッカー１０により登録されたときに、非常に高くなり始める。ターゲットの確率の記述は、単に位置および速度のみを含む必要はなく、任意の移動導出（derived）データ（例えば、加速度）が、ターゲットを注視する確率を推定するために用いられることに留意すべきである。

アイトラッカーの注視点およびターゲット３６との間の近接する距離は、オブジェクトが注視されていることの最も信頼性の高い指標として、観測される。しかしながら、特定の距離が、オブジェクトが注視されていることを示す尤度を適切にモデリングするには、注意が必要である。なぜならば、距離は、ターゲットポイントを中心とする円上のすべての点を指定し、円の円周は、その距離と、また、結果として、そのような距離、観測する確率Ｐ（ｄ_i）に比例して、増大するからである。この確率は、距離の幾何学的性質によるもので、注視したオブジェクトの選択に関して重要ではない。離散点において、ターゲットに対する距離を観測するヒストグラムは、ヒストグラムの特定のビンに属するすべてのピクセルをカバーするアニュラス（annulus）の領域によって正規化される必要がある。このような正規化は、ベイズルールの結果である。

ここで、ｄ_iは注視点およびオブジェクトｏ_iのユークリッド距離であり、画面の座標で表される。Ｐ（ｄ_i｜ｏ_i）は、オブジェクトが追跡されるときに、注視点とオブジェクトとの距離ｄ_iを観測する確率である。このような確率は、視線追跡のエラーの大きさを示すパラメータσ_sを用いて、半正規分布で十分に近似される。ω_pは速度の整合性（０から１まで）に関連する位置の整合性の重要度である。

位置の整合性の信頼性が低くなった場合において、その速度が円滑追跡眼球運動と一致しているならば、ターゲットはなお追跡される。スキャンパスから直接、計算される速度は、多くの場合、視線追跡のノイズ、眼球の衝動性運動および震動によって影響が及ぼされるように信頼できない指標と考えられる。都合の良いことに、円滑追跡運動はより長い期間にわたって動作し、そのため、この例では、おおよそ２秒に等しい時定数で、ローパスフィルタを用いて、ノイズの多いデータから抽出される。人間の視覚システムは、通常、動作する条件に対応していなければならないので、この定数は、例示の値であるが、大きく変更してはならない。

速度の整合性Ｐ（ｖ_i）は、ローパスフィルタでフィルタ処理された注視パスの速度ベクトルｕ_tとターゲットの速度ベクトルｖ_t,iとの間の角度で定義される場合、最も安定し、これらの速度の大きさとは無関係であることがわかる。そのような角度の相関は、以下で示される。

ここで、〇は内積であり、また、εは、ターゲット、または注視点のいずれかが静止しているときに、０で除算することを防止する、小さな定数（０．００１）である。実験データに基づくと、この相関関係の逆余弦（arc cos）は、指数分布に従う。そのため、速度が整合する尤度は、次のように示される。

ここで、σ_vは、角度誤差の許容される大きさを示す。ω_ν は、ω_ρに類似し、位置の整合性に関連する速度の整合性の重要度である。

パラメータo_s ，σ_ν，ω_ν，およびω_pは、シーンに依存する変動性を包含し、したがって、理想的に、最適なターゲットを追跡するために、シーンごとに適合することに留意すべきである。

ターゲット追跡アルゴリズムは、時間（または、フレーム）内の指定された時点で、各々のターゲットの確率を計算すると同時に、最も確率の高いオブジェクトを選択する。しかしながら、これは、あるターゲットから別のターゲットに追跡を頻繁にシフトすることになる。本明細書に記載の方法では、例えば、ＨＭＭなどのＰＧＭは、過度な時間遅延なしで、データのもっともらしくない解釈を無効にする効果的な方法であり、ターゲット間の注視点のシフトをモデル化するために用いられる。使用される方法はＨＭＭに限定されることなく、他の可能性のある方法の例として、条件付き確率場およびカルマンフィルタがあることに留意すべきである。図５に示される状態図で説明されるように、このようなプロセスにおける各々の状態は、特定のターゲット３２の追跡に対応している。凝視が短すぎてはいけないので、特定の状態に留まる確率は、通常、別の状態に遷移する確率よりもはるかに高い（このケースでは、９５％対５％）。このように、目は、あるターゲットから別のターゲットにすぐに動く（jump）よりも、同じターゲットの追跡を維持する可能性が高い。

ＨＭＭのソリューションは、特定の時点での状態（追跡ターゲット）の最も可能性の高いシーケンスを提供する。このアプローチの強みは、最も良いシーケンスが時間的に前の時点における最も良いシーケンスとは無関係に選択されることであり、そのため、新しいデータを着信すると、時間の前のステップにおいて、特定のターゲット３２を選択する決定は、より可能性の高いシーケンスを選択するように修正される。そのため、そのモデルに新しい確率値を加算し、結果の状態を読み出す間に、少しの遅延を導入するのに好都合である。本方法のこの実施例で用いられた、一次のＨＭＭに関して、最も良いシーケンスは、ビタビアルゴリズムと呼ばれる動的なプログラミングアルゴリズムを用いて、効果的に計算される。

提案されたＧＤＯＴモジュール２２は、様々な用途（アプリケーション）を有し、そのいくつかは、具体的には、グラフィック指向のアプリケーション、すなわち、注視依存の深度のフィールドシミュレーション、コンピュータゲームにおける注視付随的な制御、およびアイトラッカーがサポートされた注視モデルにおいて、適合性のためにテストされる。

ユーザは、時間的な注視方向により能動的に制御される被写界深度のシミュレーションを好むことがわかっている。なぜなら、それは、ヴァーチャルな環境において集中を高めるからである。そのような焦点キューの注視付随的な導入は、多焦点面ディスプレイの代替として見られ、それは構築する上で大きな技術的課題を提起する。注視付随的な被写界深度シミュレーションを実現するために、色漏れを減少させた逆写像技術に基づいて、被写界深度レンダリングアルゴリズムは実装された。同様のレンダリングの他の実装と比較して、ＧＤＯＴモジュール２２の使用は、物体が高速に移動しても、意図された焦点面の識別の精度と安定性を向上させることができる。

本明細書に記載の追跡技術の別の用途は、アイトラッカー１０をゲームコントローラとして用いることにある。例えば、ゲームプレイ中に、それを見るだけで、相手の衛星（spacecraft）に関する情報を表示することができる。また、カメラは、プレイヤの武器のねらいを定めるための、より魅力的な方法を生成するために、注視したターゲットを追尾することを開始する。ＧＤＯＴモジュール２２は、円滑追跡眼球運動により追尾されるターゲットを正しく識別することができる。提案される方法はまた、アイトラッカーの誤差の半径よりも小さいオブジェクトを識別することができる。

この方法は、注視したオブジェクトのシーケンスを予測するので、未処理の視線追跡データを解釈する注視モデルとして用いることができる。注視のモデリングは、イメージを解釈し、視線追跡データに依存しない計算モデルに通常、関連付けられる。しかしながら、これらは、視覚的注意のタスク駆動型で、トップダウン型の特質のために、信頼できない可能性がある。視線追跡はグランドトゥルースの注意パターンを生成すると考えられるが、実際に、そのようなデータは、比較的大きなオブジェクトと地域に限定され、非常にノイズが多く、シーンがアニメーション化された場合であっても信頼性が低い。提案されたアルゴリズムは、未処理の視線追跡データをフィルタリングし、実際の注視パターンを抽出するため、そのようなデータの分析を大幅に簡素化することができる。

さらに、本明細書に記載される追跡技術の別の用途は、既存のキャリブレーション方法を強化するために、アイトラッカー１０のサブシステムとして用いることである（たとえば、これらは、ＰＣＴ国際特許出願番号ＰＣＴ／ＣＡ２０１２／０５０７６１に、十分に記載されている）。視線追跡の標準的なキャリブレーション動作の間に、追跡アルゴリズムは、注視点の精度を高めるために、また適切なキャリブレーション補正係数を計算するために用いられる。その係数は、現在のキャリブレーション係数を調整すること、または注視データの座標に関して追加のマッピングステージを提供することのいずれかにより、適用される。既存のキャリブレーション方法に関して、典型的な不正確さが予定されるにもかかわらず、そのようなアプリケーションにおいて、ＧＤＯＴモジュール２２は、円滑追跡眼球運動により追尾される、移動するターゲットを、ある程度の信頼性を保持して識別することが可能であり、そのため、必要な補正を計算することができる。同様のアプローチは、人の特定の機能に対して、一般的なキャリブレーションマッピングを適応的に調整するために、固有のキャリブレーションを実行するために用いられる。そのような手順において、観察者は、複雑なシーンを見ている間に、更新されているキャリブレーションの補正係数を意識する必要がない。しかしながら、未処理（natural）の注視パターンは継続的に収集され、精度を向上させる目的で用いられる。両方の方法の組み合わせも可能であり、ユーザは、（潜在的に、ＧＤＯＴモジュールにより提供される円滑追跡情報を用いて）一度（one time）キャリブレーションを実行し、キャリブレーションは、固有のキャリブレーション補正を用いて、デバイスの動作の期間中に定期的または連続的に補正されることが考慮されるべきである。

ここで、図６から図８を参照すると、例えば、上記で示され、説明されたコンポーネントにより実行された、コンピュータにおいて実行可能な操作が示される。

図６において、レンダリングモジュール２０は、１００で、シーンを表示し、例えば、第１のインタフェースモジュール５０を用いて、ターゲットの位置データをＧＤＯＴモジュール２２に提供する。図４において説明されたように、オブジェクトおよび領域の位置は、１０４で、ＴＯＩと共にアップデートされ、また、１０６で、正確なＰＯＧが、ＧＤＯＴモジュールから任意に受信され、それは、１０８で、例えば、ビデオゲームの出力の表示などに用いられる。

図７は、第１のインタフェースモジュール５０および第２のインタフェースモジュールにより実行される操作を示す。注視サンプルは、１２０で、アイトラッカー１０から取得され、上述したように、１２２で、再サンプリングされる。ターゲット位置はまた、１２６で、レンダリングエンジン２０から受信され、注視データおよびターゲット位置データは、１２４および１２８の各々で、提供され、１３０で、ＧＤＯＴモジュール２２にデータを通信する。

図８において、ＧＤＯＴモジュール２２は、２００で、インタフェース５０、６２からデータを受信し、２０２で注視速度を、また、２０４でターゲットの速度を計算する。速度は、次に、２０８で、任意にフィルタリング処理され、結果として得られたデータは、２１２で、領域速度の確率を計算するために用いられる。２０６で、任意のフィルタリング処理と同様の処理が位置データに対して適用され、結果として得られたデータは、２１０で、ターゲット位置の確率を計算するために用いられる。次に、ＴＯＩおよび任意の正確なＰＯＧは、２１６で計算され、２１８で出力される。処理は、これまでに、レンダリングされたシーンに基づいて、特定の用途に関する、正確なＰＯＧデータを提供するために、連続的または定期的に繰り返される。

本明細書において例示された、命令を実行する任意のモジュールまたはコンポーネントは、例えば、磁気ディスク、光ディスク、もしくはテープなどの、記憶媒体、コンピュータ記憶媒体、または（取り外し可能および／または取り外し不可能な）データ記憶装置のような、コンピュータ可読媒体を含むか、または、そうでなければ、コンピュータ可読媒体にアクセスできることが理解されるであろう。コンピュータ記憶媒体は、揮発性および不揮発性を含み、取り外し可能および取り外し不可能な媒体は、コンピュータ可読命令、データストラクチャ、プログラムモジュール、またはその他のデータのような情報を記憶するために任意の方法または技術で実装される。コンピュータ記憶媒体の例は、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ、フラッシュメモリ、もしくはその他のメモリ技術、ＣＤ−ＲＯＭ、デジタルヴァーサタイルディスク（ＤＶＤ）、もしくはその他の光学式ストレージ、磁気カセット、磁気テープ、磁気ディスクストレージ、もしくはその他の磁気ストレージデバイス、または所望の情報を記憶するのに用いられ、アプリケーション、モジュール、もしくはその両方によってアクセスされる、その他の媒体を含む。そのような任意のコンピュータ記憶媒体は、アイトラッカー１０、ＧＤＯＴモジュール２２、レンダリングエンジン２０、ディスプレイ、そのようなコンポーネントの、またはそのようなコンポーネントに関連する任意のコンポーネントなど、または、これにアクセス可能、もしくは接続可能なコンポーネントの一部である。本明細書に記載された、任意のアプリケーション、またはモジュールは、コンピュータ可読媒体により格納、さもなければ保持されたコンピュータ可読／実行可能な命令を用いて実装される。

本明細書に記載されたフローチャートおよび概略図における手順または動作は、例示のためのものである。上記で説明された原理から逸脱することなく、これらの手順または操作に対して、多くのバリエーションがあってもよい。例えば、手順は異なる順序で実行することができ、また手順を追加、削除、または修正することができる。

上記の原理は、ある特定の実施例を参照して説明したが、添付の特許請求の範囲に概説されるように、様々な変形が当業者には明らかであろう。

Claims (21)

1. シーンにおける、経時的な追跡データに関連付けられた関心のあるターゲットを選択する方法であって、
   追跡装置から追跡データを取得するステップであって、前記追跡データは前記追跡装置により計算された少なくとも１つのポイント・オブ・インタレストを含む、ステップと、
   シーン情報プロバイダからターゲットデータを取得するステップであって、前記シーンは複数のターゲットを含み、前記ターゲットデータは前記シーンにおけるターゲットに対応し、各々のターゲットは前記シーンにおける１つまたは複数の点により示される、ステップと、
   追跡される各々のポイント・オブ・インタレストに関して、関連する関心のあるターゲットを予測するために、確率的グラフィカルモデルを前記追跡データおよび前記ターゲットデータに適用するステップであって、
   前記確率的グラフィカルモデルは、前記モデルの状態が前記ターゲットデータからのターゲットを示すように前記ターゲットデータから構築され、エッジによって各々のターゲットをそれ自身に接続し、かつターゲットを適用可能な他のターゲットに接続し、
   前記確率的グラフィカルモデルは、前記追跡データからの前記少なくとも１つのポイント・オブ・インタレストを考慮し、前記追跡データからの各々のポイント・オブ・インタレストに関して予測された関心のあるターゲットを出力する、ステップと、
   前記予測された関心のあるターゲットを、前記追跡データに関連付けられた前記選択された関心のあるターゲットとして出力するステップと
   を備える方法。
2. 追跡精度を高めるために、前記選択された関心のあるターゲットを使用するステップをさらに備えることを特徴とする請求項１に記載の方法。
3. 前記使用するステップは、
   前記選択された関心のあるターゲットを、追跡された信号データを受信するシステムへの入力として使用するステップ、および
   正確な追跡信号の判定を補助するために、前記選択された関心のあるターゲットを前記追跡装置に送信するステップ
   の１つまたは複数を備えることを特徴とする請求項２に記載の方法。
4. 後続の処理のために、前記選択された関心のあるターゲットを提供するステップをさらに備えることを特徴とする請求項１から請求項３のいずれか１項に記載の方法。
5. 追跡サンプルは、前記追跡データを提供するために、再サンプリングされることを特徴とする請求項１から請求項４のいずれか１項に記載の方法。
6. 前記再サンプリングは、前記シーン情報プロバイダにより提供されるクロック信号に従って実行されることを特徴とする請求項５に記載の方法。
7. 前記シーン情報プロバイダは、
   前記シーンをレンダリングするために用いられるレンダリングエンジン、
   記録されたポイント・オブ・インタレストデータから判定される、１つまたは複数の顕著性マッピング、
   機械学習または画像処理により判定される、１つまたは複数の顕著性マッピング、
   および
   画像処理システムを用いて追跡されたビデオ映像
   のいずれか１つまたは複数を含むことを特徴とする請求項１から６のいずれか１項に記載の方法。
8. 前記追跡データを用いて、移動に依存する情報を計算するステップと、
   前記ターゲットデータを用いて、移動に依存する情報を計算するステップと、
   前記計算された情報を用いて、前記予測された関心のあるターゲットを生成することを備える、前記確率的グラフィカルモデルを適用するステップと
   をさらに備えることを特徴とする請求項１から７のいずれか１項に記載の方法。
9. 前記追跡データを用いて、追跡速度を計算するステップと、
   位置データを用いて、ターゲットの速度を計算するステップと、
   前記追跡速度および前記ターゲットの速度を使用して、前記予測された関心のあるターゲットを生成することを備える、前記確率的グラフィカルモデルを適用するステップと
   をさらに備えることを特徴とする請求項８に記載の方法。
10. 前記移動に依存する情報および前記ターゲットデータを用いて、移動に依存する確率を計算するステップと、
    各々のターゲットに関する関心の確率を取得するために前記計算された確率で計算を実行するステップと、
    前記計算された確率を用いて、前記予測された関心のあるターゲットを生成することを備える、前記確率的グラフィカルモデルを適用するステップと
    をさらに備えることを特徴とする請求項８または請求項９に記載の方法。
11. 前記追跡速度およびターゲット速度を用いて領域速度の確率を計算するステップと、
    前記追跡データおよび前記ターゲットデータを用いてターゲット位置の確率を計算するステップと、
    各々のターゲットに関する関心の確率を取得するために、前記領域速度の確率および前記ターゲット位置の確率を加算するステップと、
    前記計算された確率を用いて、前記予測された関心のあるターゲットを生成することを備える、前記確率的グラフィカルモデルを適用するステップと
    をさらに含むことを特徴とする請求項１０に記載の方法。
12. 前記確率モデルは、隠れマルコフモデルに基づくことを特徴とする請求項１から請求項１１のいずれか１項に記載の方法。
13. 前記追跡データは、アイトラッカーにより取得される注視データに対応し、前記ポイント・オブ・インタレストは注視点であることを特徴とする請求項１から１２のいずれか１項に記載の方法。
14. 注視点、計算された関心のあるターゲット、およびアイトラッカーのキャリブレーションの実行における正確な注視点を取得するために、初期のキャリブレーションプロファイルを使用するステップをさらに備えることを特徴とする請求項１から１３のいずれか１項に記載の方法。
15. 前記アイトラッカーのキャリブレーションは、円滑な追跡の間、グランドトゥルースの注視点の判定において、前記正確なポイント・オブ・インタレストを使用するステップを備えることを特徴とする請求項１４に記載の方法。
16. 前記アイトラッカーのキャリブレーションは、前記関連する関心のあるターゲット、および正確な注視点を使用して、複雑なシーンにおいて、固有のキャリブレーションを可能にするステップを備えることを特徴とする請求項１４または請求項１５に記載の方法。
17. 前記アイトラッカーのキャリブレーションは、前記エンティティが前記シーンを注視するとき、新しいグランドトゥルースの注視点として、正確な注視点を使用して、少なくとも１つの追加のキャリブレーションを実行するために、前記関連する関心のあるターゲットおよび正確な注視点を使用することを備えることを特徴とする請求項１４から請求項１６のいずれか１つまたは複数の方法。
18. シーンにおける、経時的な追跡データに関連付けられた関心のあるターゲットを選択することを実行するコンピュータ実行可能命令を備えたコンピュータ可読媒体であって、
    追跡装置から追跡データを取得し、前記追跡データは前記追跡装置により計算された少なくとも１つのポイント・オブ・インタレストを含み、
    シーン情報プロバイダからターゲットデータを取得し、前記シーンは複数のターゲットを含み、前記ターゲットデータは前記シーンにおけるターゲットに対応し、各々のターゲットは前記シーンにおける１つまたは複数の点により示され、
    追跡される各々のポイント・オブ・インタレストに関して、関連する関心のあるターゲットを予測するために、確率的グラフィカルモデルを前記追跡データおよび前記ターゲットデータに適用し、
    前記確率的グラフィカルモデルは、前記モデルの状態が前記ターゲットデータからのターゲットを示すように前記ターゲットデータから構築され、エッジによって各々のターゲットをそれ自身に接続し、かつターゲットを適用可能な他のターゲットに接続し、
    前記確率的グラフィカルモデルは、前記追跡データからの前記少なくとも１つのポイント・オブ・インタレストを考慮し、前記追跡データからの各々のポイント・オブ・インタレストに関して予測された関心のあるターゲットを出力し、
    前記予測された関心のあるターゲットを、前記追跡データに関連付けられた前記選択された関心のあるターゲットとして出力する
    命令を備えたコンピュータ可読媒体。
19. オブジェクト追跡のための装置であって、プロセッサおよびメモリを備え、少なくとも追跡装置と結合しており、前記メモリは、
    追跡装置から追跡データを取得し、前記追跡データは前記追跡装置により計算された少なくとも１つのポイント・オブ・インタレストを含み、
    シーン情報プロバイダからターゲットデータを取得し、シーンは複数のターゲットを含み、前記ターゲットデータは前記シーンにおけるターゲットに対応し、各々のターゲットは前記シーンにおける１つまたは複数の点により示され、
    追跡される各々のポイント・オブ・インタレストに関して、関連する関心のあるターゲットを予測するために、確率的グラフィカルモデルを前記追跡データおよび前記ターゲットデータに適用し、
    前記確率的グラフィカルモデルは、前記モデルの状態が前記ターゲットデータからのターゲットを示すように前記ターゲットデータから構築され、エッジによって各々のターゲットをそれ自身に接続し、かつターゲットを適用可能な他のターゲットに接続し、
    前記確率的グラフィカルモデルは、前記追跡データからの前記少なくとも１つのポイント・オブ・インタレストを考慮し、前記追跡データからの各々のポイント・オブ・インタレストに関して予測された関心のあるターゲットを出力し、
    前記予測された関心のあるターゲットを、前記追跡データに関連付けられた選択された関心のあるターゲットとして出力する
    ことによって、前記シーンにおける、経時的な追跡データに関連付けられた関心のあるターゲットを選択するコンピュータ実行可能命令を格納している、装置。
20. 前記装置は、前記シーンを生成するように構成されたシーン情報プロバイダ装置に、さらに結合されることを特徴とする請求項１９に記載の装置。
21. 前記装置は、前記追跡装置に組み込まれることを特徴とする請求項１９または請求項２０に記載の装置。