JP6308940B2 - 視線追跡シーン参照位置を識別するシステム及び方法 - Google Patents

Description

本発明は、視線追跡及び他の用途のために装置装着者の環境内の参照位置を邪魔にならずに識別する装置、システム、及び方法に関する。

本明細書での装置、システム、及び方法は、観測者によって見られている位置及び物体を追跡するのにマシンビジョン技術を使用する。視線追跡アルゴリズムは、正確な追跡結果をもたらすために、２つの連続したデータストリーム、すなわち、１）目のピボット角度及び視野方向を計算するために瞳の縁又は目の内側の他の識別可能な参照点を検出する視標追跡方法、及び２）我々の三次元世界での頭部の位置及び姿勢を突き止めるためにヘッドトラッキング方法を必要とするものとして考えることができる。

一般に、ヘッドトラッキングは、頭部に（頭部自体とは反対に）取り付けられた剛性の物体の位置を識別することに関係することがある。この場合、頭部に取り付けられる帽子類又はメガネ類は、既知の幾何学的形状、及び計算できうる頭部又は頭部上の参照点に対する変位を有する。より具体的には、正確な視線追跡のために、ヘッドトラッキング装置は、観測者の一方又は両方の眼球のピボット点からの既知の変位を有するべきである。さらに、ほとんどの用途のために、視線追跡位置は、ディスプレイモニタ、モバイルコンピューティング装置、スイッチ、光源、ウィンドウなどの角部のような装置装着者の環境内の参照位置又は参照物体に対して判定される。

マシンビジョンに関係する用途は、益々一般化してきつつある。ある程度は、これはエレクトロニクス及びソフトウェア開発産業での技術的進歩と、カメラ、情報処理ユニット、及び他の電子部品の費用の減少の結果として生じた。特に視線追跡は、多数の診断用途、ヒューマンパフォーマンス用途、及び制御用途に益々用いられている。ほんのいくつかの例は、個人の疲労度を監視すること、ドライバ又はパイロットの意識を評価すること、薬剤又はアルコールの影響を評価すること、心的外傷後ストレス障害を診断すること、年齢に伴うヒューマンパフォーマンスを追跡すること、トレーニング又はエクササイズの効果を判定すること、眼の滞留時間を測定することで広告及びウェブページデザインの効果を評価すること、観測下の特定の物体又はイメージ（言葉を含む）の輝度を高める又は変化させること、ゲームの種々の態様を制御すること、神経疾患又は認知障害を評価するために基礎的な臨床データを収集すること、目の変性状態を診断し及び監視すること、及び首から下の可動性が限られた又は首から下が不随の人が１つ又は複数の目及び眼瞼を使ってコンピュータカーソルを制御することで意思疎通できるようにすることを含む。視線追跡を使用する産業部門及び産業は、軍事、医療、セキュリティ、ヒューマンパフォーマンス、スポーツ医療、リハビリテーション工学、警察、研究所、及び玩具を含む。

ほとんどすべての場合、視線追跡精度の増加は、ほとんどの用途での性能及び利便性の増加につながる。例えば、精度が増加すると、より小さい物体又は物体の構成部品上の凝視時間を定量化するのに眼の滞留時間をより精度よく測定することができる。視線追跡は、移動電話及びハンドヘルドディスプレイを含むより小さい画面を使用するポータブル装置と共により効果的に採用することができる。視線追跡が画面内の多数の仮想物体又はアイコンからの選択に関係するカーソルを制御するのに用いられるときに、より小さい仮想物体又はアイコンを用いることができるため、より多くの選択可能な物体を同時に表示することができる。選択プロセスの各レベル内の物体の数の増加は、仮想物体及び関連するアクションが選ばれる効率に対する劇的な効果（すなわち、選択レベルの数の減少及び／又は時間の減少）を有する。同様に、観測下の物体及び言葉の輝度レベルの増大又は増加は、視覚障害者の認識速度及び読取速度を著しく増加させることができる。

多くの視線追跡システムは、目からかなりの距離（例えば、１０センチメートル（１０ｃｍ）を越える）に配置されるカメラ及び目照明器（ｅｙｅ ｉｌｌｕｍｉｎａｔｏｒｓ）を用いる。目から離れる距離が増加するのに伴い、視標追跡装置は一般にあまり目障りではなくなるが、カメラによってより高い空間分解能が必要とされるため及び広範囲にわたる頭部の動きが目を追跡する能力の完全な喪失につながることがあるため、目の位置を正確に測定するのが益々難しくなっていく。多くの視線追跡システムはまた、目の表面上にグリント又は輝点を生じさせるために、頭部から或る距離に配置される、輝（可視又は不可視）「点」光源を用いる。これらのグリントは、目の表面上のグリントの位置から環境（すなわち、光源）における既知の位置への参照ベクトルを生成するのに用いることができる。ここで再び、頭部の広範囲にわたる動きは、グリントを追跡する能力及び／又はグリントを特定の光源と関連付ける能力の喪失につながることがある。

今日のマイクロエレクトロニクス及び微小光学系の出現により、視線追跡用の構成部品を、米国特許第６，１６３，２８１号、第６，５４２，０８１号、第７，４８８，２９４号、又は第７，５１５，０５４号で開示された装置を含むメガネ類（例えば、眼鏡類のフレーム）又は帽子類（例えば、ヘルメット、マスク、ゴーグル、バーチャルリアリティディスプレイ）上に邪魔にならずに設置することが可能である。眼鏡類又は帽子類内で高精度の微小光学系を用いることで、目及び近くの領域内の構造体及び反射、並びに装置装着者によって見られるシーンをよりはっきりと解像することが可能である。低電力の小型カメラ及びエレクトロニクスの使用は、随意的に、頭部に設置されたシステムをバッテリ電源の使用を通じて繋がれなくてもよくする。さらに、無線電気通信における近年の進歩は、視線追跡結果がリアルタイムで他のコンピューティング装置、データストレージ装置、又は制御装置に伝送されることを可能にする。多くの分野でのこれらの技術的進歩の結果として、メガネ類又は帽子類に基づく視線追跡システムは、邪魔にならず、軽量で、持ち運び可能で、且つ使用に便利なものとすることができる。

視線追跡は、観測者によって見られている位置及び／又は物体を実質的に連続的に識別することに関係する。正確な視線追跡は、我々の３次元世界内の識別された参照位置に対する視標追跡及びヘッドトラッキングの組合せから得られる。本明細書での装置、システム、及び方法は、装着者の環境における自然発生の又は意図的に置かれる参照位置を識別するために、眼鏡類又は帽子類上に設置される邪魔にならないシーンカメラを使用する。

より具体的には、本明細書での装置、システム、及び方法は、視線追跡及び他の用途のために装置装着者の環境内の参照位置を邪魔にならずに識別するのを容易にする可能性がある。一実施形態では、シーン参照位置を判定するシステム及び方法は、人の頭部上に装着されるように構成された装置と、装置に接続され、装着者の環境のイメージを取り込むように位置決めされるシーンカメラと、シーンカメライメージ内のシーン参照位置を判定するためにシーンカメラに作動的に接続されるシーンプロセッサと、装置に接続され、装着者の目のうちの少なくとも１つの視標追跡位置を取り込むように位置決めされる視標追跡カメラと、装着者によって見られている位置を判定するのにシーン参照位置及び視標追跡位置を用いるプロセッサと、を含んでいてもよい。

シーン内の参照位置は、物体の形状、サイズ、又は色を含む物体の１つ又は複数の特徴を用いて識別されてもよい。一次元及び二次元バーコード、ＱＲ（すなわち、クイックレスポンス）コード、マトリクス（すなわち二次元）コードなど上で見られる幾何学的形状のような種々の幾何学的形状間の空間関係もまた位置識別及び方向付けのために用いられてもよい。着色された紙又はプラスチック片、顔料（例えば、塗料又はインク）着色スポット、ディスプレイ画面内の着色された（又は白黒）領域、光源、及び／又は反射面のような参照位置を画定する物体が、装着者の環境内に意図的に位置づけられてもよい。代替的に、参照位置は、ディスプレイ画面の角部、移動電話又はリーダ（例えば、ｉＰａｄ（登録商標）又はＫｉｎｄｌｅ（登録商標）装置）の角部、より大きい物体の中心位置、ディスプレイモニタ上の色のアイコン又はパッチ、ボタン、物体上のマーキング、着色されたパターンの縁などのような装着者の不変の環境から物体認識技術を用いて抽出されてもよい。参照位置は、可視光又は不可視光によって識別されてもよい。それらは、角部、空隙、点、又は縁のような物体全体又は物体のサブセットの位置に基づいていてもよい。参照位置からの光は、周辺光、眼鏡類又は帽子類から投射される光、参照位置自体によって生成される光、及び／又は他の光源からの光を使用してもよい。両方の一般的手法の組み合わせ（すなわち、自然発生の物体と意図的に置かれる物体との両方を認識すること）も可能である。

上記の背景に照らして、本明細書での装置、システム、及び方法は、種々の用途のための改善された視線追跡方法及びシステムを提供する可能性がある。

例示的な実施形態では、方法は、眼鏡類又は帽子類を装着している個人に対して外方に見る、眼鏡類又は帽子類に取り付けられる「シーンカメラ」の使用に関係する。シーンカメラは、シーンカメライメージ内の複数の参照位置を識別するようにプログラムされたプロセッサにイメージを伝送する。随意的に、プロセッサは、参照位置を識別するために「テンプレート」（すなわち、既知の物体のイメージ、参照位置の構成など）のデータベースに結合されてもよく、これと通信してもよく、又はこれに他の方法でアクセスしてもよい。

一実施形態によれば、既知の幾何学的形状及び色をもつ物体又は物体の構成部品を識別するためにイメージ認識技術を用いて参照位置を識別するシステム及び方法が提供される。この方法を用いる通常の構成は、コンピュータディスプレイモニタ又はモバイルコンピューティング／電話装置又は他の電子物体の４つの角部を識別することである。これは、バックグラウンドシーンに対して装置フレームの縁を、ディスプレイのフレームに対してディスプレイ画面（すなわち、ＬＣＤベースの装置又は物体の場合のバックライト領域）の縁、又はこの両方を認識することによって行われてもよい。角部及び／又は縁は、色、テクスチャ、鋭い幾何学的形状に対する丸みのある幾何学的形状、他の識別可能な構成部品に対するサイズ、マーキングなどに基づいて識別されてもよい。

別の実施形態によれば、識別可能な物体又は表面が既知の位置でシーンに追加されている参照位置をもたらすシステム及び方法が提供される。例えば、システム及び方法は、色及び／又は形状に基づいて識別される場合がある物体に（例えば、接着剤、ねじ、クリップ、又は他のファスナなどを用いて）便利に取り付けられる紙又はプラスチック片を用いてもよい。同様に、識別可能な色又は形状をもつ参照位置を生成するために、物体にインク、塗料、又は他の顔料着色物質が塗布されてもよい。塗布された参照面の色及び／又は形状は、可視又は不可視のいずれかの場合がある反射光、蛍光、燐光、又は発光の測定に基づいていてもよい。

さらに別の実施形態によれば、（例えば、接着剤、ファスナなどを用いて）あらゆる表面に取り付けられる場合がある反射パッチ（例えば、塗料、布、プラスチック、紙などから構成される）を用いて輝く参照点をもたらすシステム及び方法が提供される。これらの反射面は、プリズム又は平面反射鏡面に基づいていてもよい。それらは、周辺光及び／又は他の光源によって、眼鏡類又は帽子類上に配置される１つ又は複数の光源を用いて照らされてもよい。光源の一例は、眼鏡類又は帽子類上のシーンカメラに隣接して又は離れて配置される単一の又は複数の発光ダイオード（ＬＥＤ）である。光源は、装着者及び／又は他者の正常な活動への干渉を避けるために、可視又は不可視の電磁放射波長、例えば、赤外線又は可視スペクトル外の他の光を用いてもよい。この構成では、照明のタイミングは、眼鏡類又は帽子類によって制御されてもよく、眼鏡類又は帽子類の外部から電力を与える照明源は必要とされない場合がある。

またさらに別の実施形態によれば、眼鏡類又は帽子類によって照らされる輝く参照位置を提供するだけでなく、参照点から眼球上に反射した光によって参照グリントも生じるシステム及び方法が提供される。照明のタイミングをビデオ画像収集のタイミングに対して制御することで、反射性参照点の照明及びグリントを伴って又は伴わずにイメージを収集することが可能である。照明がオンにされたイメージを照明がオフにされたイメージから差し引くことは、シーンカメラによって収集されるイメージ内の参照点の位置並びに視標追跡カメラ（単数又は複数）によって集められるイメージ内の対応するグリントの位置を含む反射源の位置の分離能力に役立つ可能性がある。

コントローラは、カメラ（単数又は複数）を用いて光源のそれぞれの反射された参照位置における輝度をサンプリングし、且つカメライメージ内の所望の輝度レベルを提供するためにサンプリングされた輝度に基づいて光源（単数又は複数）を変調するように構成されるカメラ（単数又は複数）及び／又は光源に結合されてもよい。

シーンカメラに作動的に結合される処理ユニットは、例えば、シーンの特徴を監視し及び／又はさらに解析するために装置装着者の環境のイメージを収集してもよい。シーン処理ユニット及び視標追跡処理ユニットは、１つ又は複数の別個のプロセッサであってもよく、又は単一のプロセッサであってもよく、及び／又は、装置装着者への環境の照明の強度を調整するために照明コントローラを含んでいてもよい。

一実施形態では、照明コントローラは、シーンカメライメージのそれぞれの領域における所望の輝度レベルを提供するために、光源への電流及び／又は電圧のうちの少なくとも１つを振幅変調するように構成されてもよい。加えて又は代替的に、コントローラは、所望の輝度レベルを提供するために光源への電流及び／又は電圧をパルス幅変調するように構成されてもよい。

これらの例のいずれかでは、照明、参照位置追跡、視標追跡、及び視線追跡は、実質的に連続的に又は間欠的に作動されてもよい。例えば、シーン光源は、シーンカメラが動作しないときに非アクティブにされてもよい。これは、カメライメージを収集する間の時間を含む。プロセッサ、カメラ、及び照明はまた、例えば電力を節約するために、使用されないときに非アクティブにされてもよい。照明源及び他のエレクトロニクスはまた、装置装着者の安全性を高めるために電力が低下され又はオフにされてもよい。

例示的な実施形態では、システムは、眼鏡類又は帽子類のフレーム、装置装着者の周りの環境を見る方に方向付けられるシーンカメラ、装着者の１つの目に方向付けられる少なくとも１つのカメラ、装着者の少なくとも１つの目の方に向けられる１つ又は複数の照明源、及び１つ又は複数のプロセッサ、例えば、シーンカメライメージ内の参照位置を識別するためにシーンカメラに結合されるシーン処理ユニット、及び視標追跡のための処理ユニットを含む。システムはまた、例えば、反射性参照位置が用いられるときにシーン照明を提供するために、装着者から離れる方に向けられるフレーム上の１つ又は複数の光源を含む。参照位置を判定するために処理ユニット（単数又は複数）内でマシンビジョン技術が用いられる。シーン処理ユニット及び視標追跡処理ユニット内で識別される参照位置は、次いで、視線追跡計算に用いられてもよい。

本発明の他の態様及び特徴は、付属の図面と併せてとられる以下の説明の考慮事項からさらに明らかとなるであろう。

図面は、本発明の例示的な実施形態を図示する。

図１は、参照位置追跡及び視標追跡のために眼鏡類のフレーム上に設置されるシステムの一例の斜視図である。 図２は、シーンカメラと視標追跡カメラとの間の空間関係と、処理ユニット、シーンカメラ、視標追跡カメラ、及び他の構成部品の間の接続を示す、図１のシステムの部分切取側面図である。 図３は、モバイルコンピューティング／電話装置を含む不変のシーン内の物体認識を用いて参照位置を検出する例示的な方法を示す図である。 図４は、ディスプレイモニタの４つの角部上に参照物体、例えば、４つの識別可能な着色された丸い紙片を提供することを含む、参照位置を検出する別の例示的な方法を示す図である。 図５は、「仮想」の識別可能な参照物体、例えば、ディスプレイモニタの４つの角部に表示される４つの着色された領域を提供することを含む、参照位置を検出するさらに別の例示的な方法を示す図である。 図６は、シーンカメラによって参照位置として検出されてもよい反射面と、視標追跡カメラによって検出されてもよい目の表面上のグリントとを示す照明経路の例を示す図である。

図面に移ると、図１は、シーンカメラ１２、２つの視標追跡カメラ１３ａ、１３ｂ、及び処理ユニット１４を伴う眼鏡類のフレーム１１を含むシステム１０の例示的な実施形態を示す。シーンカメラ１２は、装置装着者の環境内の１つ又は複数の参照位置１６ａ、１６ｂを追跡するために、フレーム１１上で装置装着者の頭部１５から離れた領域を見る方に向けられる。視標追跡カメラ１３ａ及び１３ｂは、装着者の瞳、グリント、及び／又は装着者の一方又は両方の目の上の他の参照点の位置を追跡するために、フレーム１１上で頭部１５の方に向けられる。

この実施形態では、例えば、シーンカメラ１２並びに視標追跡カメラ１３ａ、１３ｂからイメージを収集するために、フレーム１１によって単一の処理ユニット１４が支持されてもよいが、フレーム１１上に又はフレーム１１と通信する遠隔位置（図示せず）に別個のプロセッサ（図示せず）が設けられてもよいことが理解されるであろう。電源（例えば、バッテリ）１７は、処理ユニット１４を含むのとは反対側のフレーム１１によって支持されてもよい、例えば、フレーム１１のステムの中に入れられてもよい。シーン照明光源１８ａ、１８ｂは、随意的にシーンカメラ１２の近く又はシーンカメラ１２からより遠隔に配置されてもよい。

例示的な実施形態では、シーンカメラ１２は、イメージを取り込み、イメージを表わすビデオ信号を生成するために、例えば、長方形又は他のピクセルアレイを有する活性領域を含むＣＣＤ又はＣＭＯＳ又は他の検出器を含んでいてもよい。カメラ１２の活性領域は、任意の所望の形状、例えば、四角形又は長方形の形状などを有していてもよい。加えて、カメラ１２は、所望の場合に、例えば、活性領域上にイメージを合焦する、不要の強度及び／又は波長の光をフィルタするなどのために、１つ又は複数のフィルタ、レンズなど（例えば、図６に図示される場合のフィルタ６７及び／又はレンズ６６）を含んでいてもよい。

図１に図示される実施形態では、シーンカメラ１２は、フレーム１１のノーズブリッジ２５（図２）上に邪魔にならずに配置され、これにより、装着者の正常な視野との干渉を最小にする。シーンカメラ（単数又は複数）の他の位置はまた、フレーム１１の外縁の近くを含むことが可能である。代替的に、帽子類の場合、１つ又は複数のシーンカメラが、例えば、頭頂（図示せず）に配置されてもよい。例えば、環境の異なる領域からの光をシーンカメラ（単数又は複数）の方に向けるために、反射性及び／又は屈折性光学部品が組み込まれていてもよい。

加えて又は代替的に、例えば別個の又は重なる視野を提供する、互いから間隔をおいて配置され及び／又は複数の参照位置１６ａ、１６ｂの方に向けられる、複数のシーンカメラ１９ａ、１９ｂが設けられてもよい。複数のシーンカメラ１６ａ、１６ｂは、例えばシーンカメラ１２に加えて又はこの代わりに、より高い分解能、異なる照明条件下での増加した感応度、及び／又はより広い視野を提供してもよい。複数のシーンカメラを用いることの別の可能性のある利点は、例えば、色が異なる又は異なる波長の電磁放射を用いて優先的に照らされる参照源を分離するために、各カメラに異なる光学フィルタ（例えば、図６のフィルタ６７参照）を使用できることである。

２つのシーンカメラが用いられる場合、それらは、例えば、フレーム１１の外側角部のそれぞれの近く（例えば、図１の１９ａ及び１９ｂとして示される位置の近く）に又はヘッドギア（図示せず）の横側に便利に配置されてもよい。参照位置及び対応するシーンカメラの向きは、装着者の正常な視野内であってもよく、若しくは頭部の傍又は後ろ向きを含むこの範囲外であってもよい。視野（単数又は複数）は、随意的に、反射面及び屈折レンズによるサイズ及び／又は位置に制御されてもよい。

図２は、切取図を示し、図１に図示されるシステム１０の後ろ側を示す。眼鏡類のフレーム１１内に設置されるシーンカメラ１２と視標追跡カメラ１３ｂとの間のＸ、Ｙ、及びＺ方向の固定の空間変位が、この斜視図から分かる可能性がある。図２はまた、参照位置追跡及び視標追跡のための単一の処理ユニット１４がフレーム１１のステム内に組み込まれてもよい位置の例を示す。この例示的な実施形態では、処理ユニット１４はフィールド・プログラマブル・ゲート・アレイ（ＦＰＧＡ）である。

処理ユニット１４は、１つ又は複数のコントローラ又はプロセッサ、例えば、システム１０の種々の構成部品を動作させるための１つ又は複数のハードウェア構成部品及び／又はソフトウェアモジュールを含んでいてもよい。例えば、処理ユニット１４は、光源又はカメラを制御するため、カメラ１２、１３ｂから信号を受信する及び／又は処理するなどのために、別個の（図示せず）又は一体のコントローラを含んでいてもよい。随意的に、処理ユニット１４の構成部品のうちの１つ又は複数は、耳支持部２４上、フレーム１１のレンズ支持部、ノーズブリッジ２５、及び／又は本明細書のどこかで識別される引用文献に記載の実施形態と同様の眼鏡類又は帽子類内の他の位置上で支持されてもよい。図１及び図２に示される例示的な実施形態では、参照位置追跡機能と視標追跡機能との両方のためのイメージ収集及び処理のために単一の処理ユニット１４が用いられる。

ケーブル（単数又は複数）２６は、カメラ１２、１３ｂ、バッテリ１７（図１）、光源１８ａ、１８ｂ（図１）、及び／又はフレーム１１上の他の構成部品に、及び／又は処理ユニット１４に結合される個々のケーブル又はワイヤの組を含んでいてもよい。例えば、個々のケーブル又はワイヤの組（図示せず）は、例えば、所望に応じてフレーム１１の全体プロフィールを減らすために及び／又は眼鏡類又は帽子類内のあらゆるヒンジ付き領域又は角部２７の周りに信号を誘導するために、例えば、カメラ１２、１３ｂなどからリムに沿ってケーブル２６内に取り込まれるまでフレーム１１の中に組み込まれていてもよい。

処理ユニット１４はまた、カメラ（単数又は複数）１２、１３ｂからのイメージ信号を格納するためのメモリ（図示せず）、イメージ信号を編集する及び／又は処理するためのフィルタ、測定計算のための要素（同じく図示せず）などを含む。随意的に、フレーム１１及び／又は処理ユニット１４は、データを伝送する、命令を受信するなどのために１つ又は複数の送信器及び／又はレシーバ（図示せず）を含んでいてもよい。加えて又は代替的に、少なくともいくつかの処理は、本明細書のどこかで識別される引用文献で開示された実施形態と同様のフレーム１１から遠隔の構成部品及び／又は搭載処理ユニット１４によって行われてもよい。例えば、データ収集システムは、例えば、同じ室内で、近くの監視ステーションで、又はより遠隔の位置で、処理ユニット１４及び／又はフレーム１１から１つ又は複数の遠隔位置に１つ又は複数のレシーバ、プロセッサ、及び／又はディスプレイ（図示せず）を含んでいてもよい。こうしたディスプレイは、シーンカメラ（単数又は複数）１２及び／又は視標追跡カメラ（単数又は複数）１３ｂ、並びに視線追跡測定及び関係する計算によって生成されるビューを含んでいてもよい。

図３は、「不変のシーン」（すなわち、装着者／観測者又は観測に関わる他の誰かによって参照位置を確立する目的で意図的に変更されないシーン）内の既知の幾何学的形状及び／又は色をもつ物体を突き止めるのに物体識別に関係するマシンビジョン技術が用いられる、参照位置追跡の例である。この例では、シーンカメラ３１を用いて、従来の移動電話又はハンドヘルドコンピューティング装置３０のサイズ、姿勢、及び／又は位置が追跡されてもよい。イメージは、例えば、シーンカメラ（単数又は複数）３１（図示せず）によって支持され又は他の方法でこれに結合されてもよい１つ又は複数のレンズ３３を用いて、シーンカメラ３１（図１及び図２に示されるシーンカメラ１２に類似している場合がある）上に焦点が合わされてもよい。

シーンカメラ３１によって収集されるイメージ内で、処理ユニット（図示せず）は、モバイルコンピューティング装置のための物体テンプレートと形状及び色が類似した物体に関するシーンカメラ３１からのイメージの視野３２を走査してもよい。例えば、処理ユニットは、既知のテンプレートのデータベース、例えば、既知の物体をそれらの形状及び／又は色を識別するデータと関連付けるテーブルを含んでいてもよく、又は他の方法でこれにアクセスしてもよい。データベースは、既知の物体の垂直参照点３６及び水平参照点３７、特定の物理的物体とマッピングされる参照物体上の詳細な色及び／又は形状情報などを含んでいてもよく、これにより、直面した物体を識別するのに十分な情報を処理ユニットに提供する。適切な属性をもつ物体が見つかる場合、シーンカメラ３１からのイメージ内の装置の境界を画定するために（この矩形セル電話の例では）四角形３４が用いられてもよい。モバイルコンピューティング装置３０内の参照点に対するシーンカメラ３１の位置の姿勢を計算するために、四角形３４の側部の寸法が用いられてもよい。シーンカメラ３１からのイメージ内の四角形３４の全体サイズが、シーンカメラ３１（すなわち、眼鏡類又は帽子類１１に取り付けられる）とモバイルコンピューティング装置３０内の参照点との間の距離の計算に用いられてもよい。

参照物体内の参照位置の例は、モバイルコンピューティング装置３０の４つの角部３５ａ、３５ｂ、３５ｃ、３５ｄに対応する四角形３４の４つの角部を含む。参照物体の垂直方向３６の及び水平方向３７の実世界寸法は、シーンカメラ処理ユニットでは既知であり、シーンカメライメージでなされる測定と共に、シーンカメラ３１からのイメージ内の測定された距離を実世界の寸法に変換するのに用いられてもよい。

図４は、参照物体が装着者の環境内に意図的に置かれる、参照位置追跡の例である。シーンカメライメージ内の既知の幾何学的形状及び／又は色をもつこれらの物体を突き止めるために、物体識別に関係するマシンビジョン技術が用いられる。この場合、既知のサイズ（単数又は複数）及び色（単数又は複数）の４つのディスク４５ａ、４５ｂ、４５ｃ、４５ｄが、例えば、接着剤で結合することによってディスプレイモニタ４０の４つの角部に取り付けられている。代替的に、モニタ４０又は他の装置は、所望の位置で装置に恒久的に取り付けられる又は他の方法で組み込まれる参照物体を含んでいてもよい。

所望の場合に、例えば２又は３、又は４つよりも多い（図示せず）任意の数の参照物体が装着者の環境に追加されてもよい。参照物体は、任意のサイズ、形状、又は色であってもよい。参照物体はすべて、実質的に同じサイズ、形状、及び／又は色であってもよく、又は１つ又は複数の参照物体は、サイズ、形状、及び／又は色が異なっていてもよい。後者の例では、サイズ、形状、又は色の差異は、例えば、モバイルコンピューティング装置３０の各角部を一意に識別するために、参照位置及び関連する物体の正確な姿勢を明白に判定するのに有用な場合がある。

図４をさらに参照すると、イメージは、例えば、レンズ４３を用いてシーンカメラ４１（シーンカメラ１２に類似している場合がある）上に焦点が合わされてもよい。シーンカメラ４１によって収集されるイメージを採用して、処理ユニット（図示せず）は、例えば、本明細書のどこかに記載のテンプレートのデータベースにアクセスする、意図的に置かれる参照物体に関する物体識別テンプレートと形状及び／又は色が類似した物体に関するシーンカメラ４１の視野４２を走査してもよい。適切な属性をもつ物体が見つかるときに、参照物体４５ａ、４５ｂ、４５ｃ、４５ｄの角部又は縁間の距離が、垂直方向４６及び水平方向４７に測定されてもよい。これらの距離は、次いで、シーン内の参照点４５ａ、４５ｂ、４５ｃ、４５ｄに対するシーンカメラ３１の位置の姿勢を計算するのに用いられてもよい。参照物体４５ａ、４５ｂ、４５ｃ、４５ｄの４つの角部によって画定される四角形の全体サイズはまた、シーンカメラ４１とシーン内の位置との間の距離の計算に用いられてもよい。シーンカメラ４１からのイメージ内の測定された距離を実世界の寸法に変換するために、垂直方向４６の参照点と水平方向４７の参照点との間の既知の実世界距離が用いられてもよい。

これらの技術を用いるヘッドトラッキング及び視線追跡の１つの用途は、モニタ４０上に表示されるコンピュータカーソル４４の位置を制御することである。視線追跡を用いるカーソルの正確な制御は、結果的に、インターネットをサーフィンする、ゲームを制御する、テキスト音声変換（ｔｅｘｔ−ｔｏ−ｓｐｅｅｃｈ）を生成する、照明若しくは家庭又は産業設定での他の環境制御をオン／オフするなどのためにコンピュータを用いることを含む広範囲の用途をもたらす可能性がある。観測者がカーソル４４のような物体をぴったりと追うように指示される間の頭部及び目の動きの追跡はまた、例えば、ほとんどのレンズ４３によって生じる空間収差のような視野４２内の空間収差を考慮に入れるのに用いられる場合がある校正手順中に用いられてもよい。

図５は、「仮想」参照物体が、シーンカメラ５１の視野５２内にあるモニタ又は画面５０上に意図的に表示される、参照位置追跡の別の例を示す。「仮想」参照物体は、例えば、画面のバックグラウンドとは別個の色、アイコン、ＱＲコード、及び／又は他の視覚パターンのパッチであってもよい。例えば、モニタ５０のドライバは、モニタ５０上に他の方法で表示される任意のイメージ上に仮想物体が重ね合わされるように修正され又は交換されてもよい。したがって、イメージを表示する及び／又は他の方法で種々のプログラムを動作させるためにモニタが用いられるときでさえも、仮想物体が存在していてもよい。仮想物体は、モニタ５０上に提示されるイメージにおいて実質的に静止したままであってもよいし、又は例えば、本明細書のどこかに記載のように、その間動かされてもよい。

シーン内の既知の幾何学的形状、空間的関係、及び／又は色をもつこれらの「仮想」物体を突き止めるのにマシンビジョン技術が用いられてもよい。図５に図示される例では、ディスプレイモニタ５０の４つの角部に４つの「仮想」物体５５ａ、５５ｂ、５５ｃ、５５ｄが表示される。任意の数の「仮想」参照物体がシーンカメラ５１の視野５２に追加されてもよい。「仮想」参照物体は、任意のサイズ、形状、又は色であってもよい。「仮想」参照物体はすべて、実質的に同じ幾何学的形態のサイズ、形状、空間分布、及び／又は色を有していてもよく、又は１つ又は複数の「仮想」参照物体は、サイズ、形状、及び／又は色が異なっていてもよい。後者の例では、幾何学的形態のサイズ、形状、空間分布及び／又は色の差異は、本明細書の他の実施形態と同様に参照位置の回転姿勢を明白に判定するのに有用な場合がある。

例えばシーンカメラ５１からのイメージを解析する処理ユニットによって適切な属性をもつ仮想物体が見つかるときに、物体５５ａ、５５ｂ、５５ｃ、５５ｄの角部間の距離が垂直方向５６及び水平方向５７に測定されてもよい。これらの距離は、装置装着者の環境内の参照点５５ａ、５５ｂ、５５ｃ、５５ｄに対するシーンカメラ５１の位置の姿勢を計算するのに用いられてもよい。ディスプレイ画面の４つの角部における参照物体５５ａ、５５ｂ、５５ｃ、５５ｄによって画定される四角形の全体サイズが、シーンカメラ５１とシーン内の位置との間の距離の計算に用いられてもよい。シーンカメラ５１からのイメージ内の測定された距離を実世界の寸法に変換するために、垂直方向５６の参照点と水平方向５７の参照点との間の既知の実世界距離が用いられてもよい。例えば、処理ユニットは、本明細書の他の実施形態と同様に実際に直面した物体を識別するのに十分な情報を含むテンプレートのデータベースを含んでいてもよく又はこれにアクセスしてもよい。これらの技術を用いるヘッドトラッキング及び視線追跡測定は、例えば、コンピュータモニタ５０上に表示されるカーソル５４の位置を制御する、及び／又は直面した物体及び／又は他の近くの物体と他の方法で相互作用するのに用いられてもよい。

図５に描かれる場合の「仮想」参照物体を用いる利点は、実世界の物体のいかなる（ハードウェア）修正もなしに識別可能な参照物体を生成できることである。例えば、コンピュータ（図示せず）が図１のシステム１０の装着者によって用いられることになる場合、例えば、モニタドライバ（単数又は複数）を修正する又は交換する及び／又はシステム１０の使用中にコンピュータのモニタ５０上に表示されるイメージに他の方法で仮想参照物体を含めるソフトウェアが、コンピュータ上にロードされてもよい。逆に、例えば、図４に描かれる場合のコンピュータモニタ４０の縁上に置かれる物理的参照物体の使用は、モニタ４０の表示可能な領域内のあらゆる重ね合わされる表示（及び関連するソフトウェア修正）の必要性をなくす。

図４及び図５をさらに参照すると、任意の数の実際の参照物体をシーン内の任意の数の「仮想」参照物体と組み合わせることが可能である。任意の数のこうした物体を追跡するために、１つ又は複数のシーンカメラからのイメージを用いるマシンビジョン技術が用いられてもよい。例えば、図１のシステム１０のようなシステムによって作動される又はこれと通信する画面又は装置を識別するために、或る姿勢及び方向に参照物体を見ているときに物理的物体の追跡が最初に用いられてもよい。「仮想」物体の識別は、次いで、適切な画面視野角が存在するときに、例えば、モニタ又は画面を識別するのに物理的物体が用いられた後で用いられてもよい。画面上の局所的領域内の非常に正確な視線追跡をもたらすために、例えば、装着者が見ているモニタ又は画面上での視線追跡が判定されると、例えば、「仮想」参照物体の位置又は他の追跡特徴を動的に変化させることが望ましい場合がある。例えば、モニタ又は画面の特定のサブセット又は領域に注意が引きよせられるように、より密に間隔をおいて配置されるより小さい「仮想」参照物体が用いられてもよい。処理ユニットは、次いで、例えば、視線追跡の精度を向上させ、格納される及び／又は処理されるイメージデータサイズを減らすなどのために、モニタ又は画面上の仮想物体のフィールド外のイメージデータを廃棄してもよい。

図６は、反射性参照パッチ及び関連する位置を利用する照明及び光学経路の例を示す。この例では、照明源（例えば、１つ又は複数のＬＥＤ）６０は、眼鏡類又は帽子類（図示せず、例えば図１及び図２のフレーム１１）内に含められ又は他の方法で支持される。この照明源６０からの電磁放射は、既知の位置でシーン内の１つ又は複数の物体に付加され又はこの内部に組み込まれている１つ又は複数の反射パッチ又は反射面６１から反射する。この例示的な実施形態では、光は、ディスプレイモニタ又はモバイルコンピューティング装置６２の角部に取り付けられたディスク６１から反射される。シーンにおけるこの反射面及び他の参照面の位置は、シーンカメラ（図６には図示せず、例えば、図１及び図２のシーンカメラ１２参照）を用いて集められたイメージから判定されてもよい。

図６をさらに参照すると、反射性参照面から反射した光が、目６４の表面上にグリント６３を生じる可能性がある。グリントは、視標追跡カメラ（単数又は複数）６５を用いて集められたイメージ内の高強度の輝点として検出されてもよい。眼鏡類又は帽子類内で、目６４からのイメージを視標追跡カメラ６５上に合焦するのに短い作動距離のレンズ６６が一般に必要とされ、反射性（蛍光性、燐光性、又は発光性）参照位置表面によって生じた光学波長を分離するために、光路内にフィルタ６７が随意的に含められてもよい。

グリント６３の中心と対応する参照位置６１の中心との間の線セグメントは、視線追跡計算への入力として用いられてもよいベクトル６８を生じる。この参照ベクトル６８は、瞳６９の中心の位置と共に、参照ベクトル６８に対して視線追跡ベクトル７０を計算するのに用いられてもよい。視線追跡ベクトル７０を計算する際の付加的な考慮事項は、測定される瞳６９の中心に対して僅かにオフセットした窩の中心（すなわち、網膜のイメージ感知領域）の位置と、角膜（図示せず）を通る光路内の屈折を含む。視線追跡ベクトル７０は、観測者（すなわち、眼鏡類又は帽子類の装着者）によって見られている位置７１を指す。

図１及び図６に戻ると、眼鏡類又は帽子類、例えば、フレーム１１上に照明源（単数又は複数）を有する利点は、シーンカメラ１２及び視標追跡１３ａ、１３ｂカメラによるイメージの収集と比較して、照明のタイミング及び／又は強度を便利に制御できることである。照明がオンにされた状態のシーン・イメージ及び／又は視標追跡カメライメージを照明がオフにされた状態のイメージから差し引くことで、参照位置１６ａ、１６ｂからの反射が、シーンカメライメージにおいてより容易に分離されてもよく、グリント６３からの反射が、視標追跡カメライメージにおいてより容易に分離されてもよい。さらに、この方式は、あらゆる光源又は他の電力を与えられる構成部品が眼鏡類又は帽子類内の電源１７又はコントローラから離れて配置される又はこれに繋がれる必要性をなくす。したがって、参照物体が装置のモニタ又は画面に取り付けられる又は組み込まれる場合、こうした参照物体は、光を発生させるために電源及び／又はコントローラを備える必要はないが、照明源（単数又は複数）６０からの光を単に反射させてもよい。

任意の数の反射面６１が、参照位置、及び／又はグリント６３の生成源として用いられてもよい。任意の数の電磁放射源が可視光又は不可視光を生じる可能性がある。この方式は（潜在的に輝く反射光の存在に起因して）装置装着者の一部上に生じる分散が小さいか又は分散を生じないので、参照位置及び目の上のグリントで反射をもたらすために不可視光を用いるのが特に便利である。ＣＭＯＳカメラは、特に、ヒトの目には見えない近赤外線スペクトルにおける電磁放射を検出することができる。ＣＭＯＳカメラはまた、低電力及び／又は小型化が望まれる用途に特に良く適する。

本明細書のどこかにさらに記載されるように、図６を参照すると、照明源（単数又は複数）６０の強度を制御するために、視標追跡カメラ６５を用いて測定されるグリント６３の輝度レベル、及びシーンカメラ（単数又は複数）１２（図示せず、図１参照）を用いて測定される参照位置６１からの反射が、フィードバックモードで用いられてもよい。参照位置を照らすために、１つ又は複数の照明源６０、例えば、眼鏡類又は帽子類の全体を通して複数の位置に設置される複数の照明源６０（図示せず）が用いられてもよい。異なる角度から装置装着者の環境を照らす複数の照明源６０の使用は、異なる視野角でのカメライメージにおける高強度反射を維持する一助となる可能性がある。

一実施形態では、光の強度を制御するために、各照明源６０を駆動する電圧又は電流のいずれかの振幅が用いられてもよい。これは、一般に「振幅変調」と呼ばれる。別の実施形態では、光の強度を制御するために、制御する電圧又は電流の持続時間又は「滞留時間」が変調されてもよい。これは、一般に「パルス幅変調」と呼ばれる。随意的に、両方の方式を同時に用いることも可能である。

例示的な実施形態では、各照明源６０は、比較的狭い又は広い帯域幅の光、例えば、約６４０から約７００ナノメートルまでの間の１つ又は複数の波長の近赤外光、広帯域可視光、白色光などを放出するように構成されたＬＥＤ（発光ダイオード）を含んでいてもよい。随意的に、照明源６０のうちの１つ又は複数は、例えば、装置装着者の環境の照明の一様性を容易にする及び／又は制御するために、レンズ、フィルタ、ディフューザ、リフレクタ、又は他の特徴（図示せず）を含んでいてもよい。照明源（単数又は複数）６０は、例えば、ソース（単数又は複数）６０によって所望のシーン・イメージが照らされ、次いで、本明細書のどこかに記載のシステム及び方法を用いてイメージが処理されてもよいように、実質的に連続的に、周期的に、又は他の方法で間欠的に作動されてもよい。

例示的な実施形態の上記の開示は、例証及び説明の目的で提示されている。網羅的となること又は本発明を開示された正確な形態に限定することは意図されない。上記の開示に照らせば、当業者には本明細書に記載の実施形態の多くの変形及び修正が明らかであろう。

さらに、代表的な実施形態を説明するにあたり、本明細書は、提示された方法及び／又はプロセスを特定の一連のステップとして有していてもよい。しかしながら、方法又はプロセスが本明細書に記載されたステップ、方法又はプロセスの特定の順序によらない限り、方法又はプロセスは、記載された特定の一連のステップに限定されるべきではない。当業者には明らかであろうように、他の一連のステップが可能である場合がある。したがって、本明細書に記載のステップの特定の順序は、請求項に対する限定として解釈されるべきではない。

本発明は、種々の修正及び変形形態が可能であるが、それらの特定の例が図面に示されており、本明細書で詳細に説明される。しかしながら、本発明は、開示された特定の形態又は方法に限定されないが、それと反対に、本発明は、添付の請求項の範囲内に入るすべての修正、均等物、及び変形を包含することが理解されるべきである。

Claims (18)

1. 参照位置を判定するシステムであって、
   装着者の頭部上に装着されるように構成された装置と、
   前記装着者の環境のシーンカメライメージを取り込むために前記装着者から離れる方向に向けて前記装置上に設置されるシーンカメラと、
   前記装着者の目のうちの少なくとも１つの視標追跡位置を取り込むために前記装着者の１つの目の方に向けて前記装置上に設置される視標追跡カメラと、
   前記シーンカメライメージ内のシーン参照位置を判定するために前記シーンカメラに結合され、及び前記視標追跡カメラに結合される、１つ又は複数のプロセッサと、
   を備え、前記１つ又は複数のプロセッサが、前記装着者によって見られている位置を判定するのに前記シーン参照位置及び前記視標追跡位置を用いるものであり、
   既知の物体をそれぞれの前記既知の物体に関連付けられるシーン参照位置とマッピングするテンプレートのデータベースを備え、前記データベースは前記既知の物体を当該既知の物体の形状および色を識別するデータに関連付けるテーブルを含み、前記データベースは前記既知の物体の垂直方向の参照点と水平方向の参照点を含み、前記１つ又は複数のプロセッサが、前記シーンカメライメージから収集される前記シーン参照位置に関連付けられる物体を識別するために前記データベースに結合されており、前記１つ又は複数のプロセッサが、前記既知の物体の前記垂直方向の参照点と前記水平方向の参照点との間の既知の実世界距離を用いて、前記シーンカメラからのイメージ内の測定された距離を実世界の寸法に変換する、
   システム。
2. 前記シーンカメラの視野内のシーン参照位置を識別するために前記１つ又は複数のプロセッサによって物体認識アルゴリズムが用いられる、請求項１に記載のシステム。
3. 物体認識が、少なくとも部分的に物体の形状、物体の色、及び物体の少なくとも１つの縁に基づいている、請求項２に記載のシステム。
4. 前記シーン参照位置が前記物体の複数の参照点を含み、前記１つ又は複数のプロセッサが、前記シーンカメラに対する前記物体の方向を決定しかつ前記物体までの距離を計算するために、前記データベースを用いて前記物体の参照点を識別するように構成されている、請求項２または請求項３に記載のシステム。
5. 前記１つ又は複数のプロセッサが、ディスプレイ装置の角部のうちの少なくとも１つの位置を識別するために物体認識を使用する、請求項１〜請求項４のいずれか１項に記載のシステム。
6. 前記シーンカメラの視野内の物体及び前記物体に取り付けられる付加的な参照物体をさらに備え、これらの付加的な参照物体が前記１つ又は複数のプロセッサによって認識されるように前記物体が前記シーンカメライメージ内に配置される、請求項１〜請求項５のいずれか１項に記載のシステム。
7. 前記装着者の環境を照らすために前記装着者から離れる方に向けられた、前記装置上の１つ又は複数の光源をさらに備える、請求項１〜請求項６のいずれか１項に記載のシステム。
8. 前記システムが、前記装着者の環境内の付加的な反射性参照物体をさらに備え、前記光源が、前記シーンカメライメージ内で前記付加的な反射性参照物体が認識可能であるように前記付加的な反射性参照物体を照らすように構成される、請求項７に記載のシステム。
9. 視線追跡のためのシステムであって、
   ディスプレイ及び前記ディスプレイの周りに配置される複数の反射性参照物体を備える電子物体と、
   装着者の頭部上に装着されるように構成された装置と、
   を備え、前記装置が、
   ａ）前記装着者の環境のシーンカメライメージを取り込むために前記装着者から離れる方向に向けて前記装置上に設置されるシーンカメラと、
   ｂ）前記装着者の目のうちの少なくとも１つの視標追跡位置を取り込むために前記装着者の１つの目の方に向けて前記装置上に設置される視標追跡カメラと、
   ｃ）前記シーンカメライメージ内の前記参照物体を識別するために前記シーンカメラに結合され、及び前記視標追跡カメラに結合される、１つ又は複数のプロセッサと、
   を備え、前記１つ又は複数のプロセッサが、前記装着者によって見られている前記ディスプレイ上の位置を判定するのに前記シーンカメライメージにおける前記参照物体の前記位置及び前記視標追跡位置を用いるものであり、
   ｄ）既知の物体をそれぞれの前記既知の物体に関連付けられるシーン参照位置とマッピングするテンプレートのデータベースをさらに備え、前記データベースは前記既知の物体を当該既知の物体の形状および色を識別するデータに関連付けるテーブルを含み、前記データベースは前記既知の物体の垂直方向の参照点と水平方向の参照点を含み、前記１つ又は複数のプロセッサが、前記シーンカメライメージから収集される前記シーン参照位置に関連付けられる物体を識別するために前記データベースに結合されており、前記１つ又は複数のプロセッサが、前記既知の物体の前記垂直方向の参照点と前記水平方向の参照点との間の既知の実世界距離を用いて、前記シーンカメラからのイメージ内の測定された距離を実世界の寸法に変換する、
   システム。
10. 前記装置が、前記シーンカメライメージにおける前記参照物体の識別を強化するために参照物体を照らすのに前記装着者から離れる方に向けられた、前記装置上の１つ又は複数の光源をさらに備える、請求項９に記載のシステム。
11. 前記参照物体のうちの１つ又は複数が接着剤によって前記電子物体に取り付けられる、又は前記電子物体のケーシングの中に一体化される、請求項９または請求項１０に記載のシステム。
12. 視線追跡のためのシステムであって、
    ディスプレイを備える電子物体であり、前記ディスプレイ上に提示されるイメージの中に複数の仮想参照物体を含むように構成される電子物体と、
    装着者の頭部上に装着されるように構成された装置と、
    を備え、前記装置が、
    ａ）前記装着者の環境のシーンカメライメージを取り込むために前記装着者から離れる方向に向けて前記装置上に設置されるシーンカメラと、
    ｂ）前記装着者の目のうちの少なくとも１つの視標追跡位置を取り込むために前記装着者の１つの目の方に向けて前記装置上に設置される視標追跡カメラと、
    ｃ）前記シーンカメライメージ内の前記仮想参照物体を識別するために前記シーンカメラに結合され、及び視標追跡カメラに結合される、１つ又は複数のプロセッサと、
    を備え、前記１つ又は複数のプロセッサが、前記シーンカメライメージにおける前記仮想参照物体の位置及び前記視標追跡位置を用いて、前記装着者によって見られている前記ディスプレイ上の位置を判定するものであり、
    ｄ）既知の物体をそれぞれの前記既知の物体に関連付けられるシーン参照物体とマッピングするテンプレートのデータベースとを備え、前記データベースは前記既知の物体を当該既知の物体の形状および色を識別するデータに関連付けるテーブルを含み、前記データベースは前記既知の物体の垂直方向の参照点と水平方向の参照点を含み、前記１つ又は複数のプロセッサが、前記シーンカメライメージにおいて識別される前記シーン参照物体に基づいて前記電子物体を識別するために前記データベースに結合されており、前記１つ又は複数のプロセッサが、前記既知の物体の前記垂直方向の参照点と前記水平方向の参照点との間の既知の実世界距離を用いて、前記シーンカメラからのイメージ内の測定された距離を実世界の寸法に変換する、
    システム。
13. 物体を識別するシステムであって、
    装着者の頭部上に装着されるように構成された装置と、
    前記装着者の環境のシーンカメライメージを取り込むために前記装着者から離れる方向に向けて前記装置上に設置されるシーンカメラと、
    前記装着者の目のうちの少なくとも１つの視標追跡位置を取り込むために前記装着者の１つの目の方に向けて前記装置上に設置される視標追跡カメラと、
    前記シーンカメライメージ内のシーン参照位置を判定するために前記シーンカメラに結合され、及び視標追跡カメラに結合される、１つ又は複数のプロセッサと、
    既知の物体をそれぞれの前記既知の物体に関連付けられるシーン参照位置とマッピングするテンプレートのデータベースと、
    を備え、前記データベースは前記既知の物体を当該既知の物体の形状および色を識別するデータに関連付けるテーブルを含み、前記データベースは前記既知の物体の垂直方向の参照点と水平方向の参照点を含み、前記１つ又は複数のプロセッサが、前記既知の物体の前記垂直方向の参照点と前記水平方向の参照点との間の既知の実世界距離を用いて、前記シーンカメラからのイメージ内の測定された距離を実世界の寸法に変換する、
    システム。
14. 参照位置を判定する方法であって、
    装置を装着者の頭部上に置くこと、
    前記装着者の環境のイメージを取り込むように位置決めされる前記装置上に、シーンカメラであり、前記シーンカメラから収集されたシーンカメライメージ内のシーン参照位置を判定するためにシーンプロセッサに結合される、シーンカメラを提供すること、
    前記装着者の目のうちの少なくとも１つの視標追跡位置を取り込むように位置決めされる前記装置上に視標追跡カメラを提供すること、
    を含み、前記視標追跡カメラ及び前記シーンカメラが、前記シーン参照位置及び前記視標追跡位置を用いて前記装着者によって見られている位置を判定するためにプロセッサに結合されており、
    既知の物体をそれぞれの前記既知の物体に関連付けられるシーン参照位置とマッピングするテンプレートのデータベースであり、前記シーンカメライメージから収集される前記シーン参照位置に関連付けられる物体を識別するために前記プロセッサに結合されるデータベースを提供すること、を含み、前記データベースは前記既知の物体を当該既知の物体の形状および色を識別するデータに関連付けるテーブルを含み、前記データベースは前記既知の物体の垂直方向の参照点と水平方向の参照点を含み、
    前記既知の物体の前記垂直方向の参照点と前記水平方向の参照点との間の既知の実世界距離を用いて、前記シーンカメラからのイメージ内の測定された距離を実世界の寸法に変換すること、をさらに含む、
    方法。
15. 前記プロセッサが、前記シーンカメラの視野内のシーン参照位置を識別するために物体認識アルゴリズムを使用する、請求項１４に記載の方法。
16. 前記物体認識アルゴリズムが、少なくとも部分的に物体の形状、又は物体の色に基づいている、若しくは、前記物体認識アルゴリズムが、物体の少なくとも１つの縁の位置を識別するために用いられる、又はディスプレイの角部のうちの少なくとも１つの位置を識別するために用いられる、請求項１５に記載の方法。
17. 付加的な参照物体を、これらの付加的な参照物体が前記シーンカメラによって認識されるように前記装着者の環境内に位置決めすることをさらに含む、請求項１５または請求項１６に記載の方法。
18. 参照位置を判定する方法であって、
    装着者から離れる方に向けられたシーンカメラ及び装着者の目のうちの少なくとも１つの方に向けられた視標追跡カメラを備える装置を、装着者の頭部上に置くこと、
    前記シーンカメラで前記装着者の周りの環境のシーンカメライメージを収集すること、
    既知の物体をそれぞれの前記既知の物体に関連付けられるシーン参照位置とマッピングするテンプレートのデータベースから前記環境内のシーン参照位置に関連付けられる物体を識別するために前記シーンカメライメージ内のシーン参照位置を識別すること、
    を含み、前記データベースは前記既知の物体を当該既知の物体の形状および色を識別するデータに関連付けるテーブルを含み、前記データベースは前記既知の物体の垂直方向の参照点と水平方向の参照点を含み、
    前記物体に対して前記装着者によって見られている位置を判定するために前記シーンカメライメージ及び視標追跡イメージを解析することと、
    前記既知の物体の前記垂直方向の参照点と前記水平方向の参照点との間の既知の実世界距離を用いて、前記シーンカメラからのイメージ内の測定された距離を実世界の寸法に変換すること、
    をさらに含む方法。

Images