JP2023543046A - ウェアラブル光学デバイスを使用する大空間追跡 - Google Patents

Abstract

ユーザの頭部姿勢を決定するためのシステム及び方法を説明する。ユーザによって装着されたヘッドマウントカメラによってキャプチャされた画像が受信され、画像はキャプチャされたマーカを含み、各キャプチャされたマーカは、ヘッドマウントカメラのＦＯＶ内にある表面上の複数のマーカのうちの１つである。予め定められた向きを有し、各キャプチャされたマーカに対応する記憶されたマーカは、データベースから識別され、記憶されたマーカは、その対応する表面マーカの座標を含む。その対応する記憶されたマーカに対するキャプチャされたマーカの向きが計算され、記憶されたマーカが取得される。記憶されたマーカ及び向きに基づいて、各マーカの絶対姿勢が決定される。各マーカの絶対姿勢に基づいて、表面に対するユーザの頭部姿勢が計算される。【選択図】図４

Description

[0001]本発明は、ウェアラブル光学デバイスを使用する大空間追跡に関する。

[0002]ウェアラブル光学デバイスは、多くの職業において一般的である。これらには、自動車用途、航空、軍事用途、工学、医学、ゲーム、及びメディアを見るための任意の一般的用途などが含まれる。ウェアラブル光学デバイスは、ヘッドマウントディスプレイ又は頭部装着型ディスプレイと呼ばれることが多く、「ＨＷＤ」という表現は、本明細書では、ヘッドマウントディスプレイ、頭部装着型ディスプレイ、及び、例えば、ゴーグル、眼鏡、及び視認能力を伴うハンドヘルドデバイス等の任意の他のウェアラブル光学デバイスを表すために使用される。ほとんどのＨＷＤは、各眼に１つずつ、２つの接眼レンズを含む。

[0003]例示的なＨＷＤ１００が図１に図示される。ＨＷＤ１００などのＨＷＤは、適切な支持体１０２によってユーザによって装着可能である。支持体は、ユーザの片方又は両方の眼によって見ることができる１つ以上の光学素子１０４を含む。詳細には示されていないが、光学素子１０４は、実質的に透明な表示媒体を含む。ユーザは、光学素子１０４を通して外部環境を見ることができる。ユーザはまた、使用時にＨＷＤを介してユーザの眼に中継される画像を見ることができる。

[0004]従来のシステムでは、画像は、レンズ列又は折り畳み光学設計を使用して、使用中のユーザの眼に中継される。レンズ列又は折り返し光学設計がＨＷＤ１００に組み込まれる。従来、レンズ列又は折り返し光学設計は、ＨＷＤ１００の支持体１０２内に組み込まれる。

[0005]ＨＷＤは、上記で示したように多くの用途に使用されるが、それらの使用において遭遇する継続的な問題がある。従来の頭部装着型ディスプレイは、制限された視野を有する。ユーザが表面上に頭部装着型ディスプレイを装着しているとき、頭部装着型ディスプレイの視野内の対応する位置において、現実世界空間からの情報又は特徴を正確に提供することは困難である。これは、頭部の動きの待ち時間によって悪化する。表面が動いているとき、表面の動きの結果としての追加の待ち時間に起因して、さらなる課題が生じる。頭部装着型ディスプレイを表面上に装着しているときにユーザの頭部の姿勢を正確に決定するための改善された追跡ソリューションを提供する必要がある。

[0006]ウェアラブル光学デバイスの多くの使用において遭遇するさらなる問題は、ディスプレイにシンボロジーを追加する必要性に関係する。シンボロジーは、デバイスを装着しているユーザが追加情報を提供するのを助けるためのシンボルの使用である。例えば、飛行機を飛行しているパイロットに地平線を示すシンボルを提供する。ユーザの頭部位置が正確に識別されない場合、地平線は不正確に位置付けられるかもしれず、破局的なパイロットエラーをもたらすかもしれない。

[0007]したがって、本発明の１つの目的は、頭部装着型ディスプレイを介して世界安定情報（world-stabilised information）をユーザに提供することである。

[0008]本発明の好ましい態様及び実施形態の例は、添付の独立請求項及び従属請求項に記載される通りである。

[0009]この概要は、詳細な説明において以下にさらに説明される、簡易化した形式で概念の選択を紹介するために提供される。この発明の概要は、請求項に記載されているような主題事項の重要な特徴又は本質的な特徴を識別するように意図されておらず、請求項に記載されているような主題事項の範囲を限定するために使用されるようにも意図されていない。

[0010]開示されるテクノロジーの第１の態様によれば、ユーザの頭部姿勢を決定するための方法が提供される。方法は、ユーザによって装着されたヘッドマウントカメラによってキャプチャされた１つ以上の画像を受信することと、画像は、１つ以上のキャプチャされたマーカを含み、各キャプチャされたマーカは、ヘッドマウントカメラのＦＯＶ内にある表面上の複数のマーカのうちの１つであり、１つ以上の画像内のキャプチャされたマーカのそれぞれについて、データベースから、複数の記憶されたマーカのうちの１つを識別することと、各記憶されたマーカは、予め定められた向き及び表面上の対応するマーカを有し、各記憶されたマーカは、表面上のその対応するマーカについての座標を含み、その対応する記憶されたマーカに対するキャプチャされたマーカの向きを計算することと、データベースから、１つ以上の画像内の各キャプチャされたマーカについて、対応する記憶されたマーカを取得することと、記憶されたマーカ及び計算された向きに基づいて、１つ以上の画像内の各キャプチャされたマーカの絶対姿勢を決定することと、各キャプチャされたマーカの絶対姿勢に基づいて、表面に対するユーザの頭部姿勢を計算することとを含む。

[0011]いくつかの例示的な実施形態では、表面上の各マーカは、関係付けられた座標のセットを有する複数の点を含む。

[0012]いくつかの例示的な実施形態では、各記憶されたマーカは、複数の記憶された点を含み、各記憶された点は、表面上のその対応するマーカの点のうちの１つに対応する。

[0013]いくつかの例示的な実施形態では、方法は、データベースに記憶するためのデータを収集することを含み、データを収集することは、ヘッドマウントカメラを使用して、表面上のすべてのマーカの画像をキャプチャすることと、キャプチャされたマーカのそれぞれにおける複数の点を、モデルマーカのセットにおける複数のモデル点と比較することと、モデル点のセットは、関係付けられた理論座標のセットを有し、比較に基づいて、表面上のマーカのそれぞれの位置及び向きを推測することと、表面上のマーカのそれぞれの推測された位置及び向きに基づいて、表面上の他のマーカに対する表面上のマーカのそれぞれの相対的な位置及び向きを推定することと、表面上のマーカのそれぞれの推定された相対位置及び向きに基づいて、基準マーカに対する表面上のマーカのそれぞれの絶対位置及び絶対向きを計算することと、基準マーカは表面上の既知の位置及び向きを有し、データベースから、表面上の各マーカについて、対応する記憶されたマーカを識別することと、表面上の各マーカについて、対応する記憶されたマーカを、絶対位置及び絶対向きを含むように更新することとを含む。

[0014]いくつかの例示的な実施形態では、表面上の各マーカについて対応する記憶されたマーカを更新することは、表面上のその対応するマーカの推測された位置及び向きと、表面上の他のマーカに対する表面上のその対応するマーカの相対位置及び向きとのうちの少なくとも１つを含むように、対応する記憶されたマーカを更新することを含む。

[0015]いくつかの例示的な実施形態では、複数の記憶されたマーカのうちの１つを識別することは、各キャプチャされたマーカについて、キャプチャされたマーカ内の複数の点をデータベース内の記憶されたマーカ内の複数の記憶された点と比較することを含む。

[0016]いくつかの例示的な実施形態では、データベースから、複数の記憶されたマーカのうちの１つを識別することは、各キャプチャされたマーカについて、キャプチャされたマーカをデータベース内の記憶されたマーカと相互参照することを含み、各キャプチャされたマーカは予め定められたパターンを有し、その対応する記憶されたマーカは同じパターンを有する。

[0017]いくつかの例示的な実施形態では、表面上のマーカは長方形の基準である。

[0018]いくつかの例示的な実施形態では、表面上のマーカ内の複数の点は、長方形の基準の角を形成する。

[0019]いくつかの例示的な実施形態では、各キャプチャされたマーカの絶対姿勢に基づいて計算することは、６自由度で表面に対するユーザの頭部姿勢を決定することを含む。

[0020]いくつかの例示的な実施形態では、各キャプチャされたマーカの絶対姿勢を決定することは、各キャプチャされたマーカについて、表面上の既知の位置及び向きを有する基準マーカに対するキャプチャされたマーカの絶対位置及び絶対向きを決定することを含む。

[0021]いくつかの例示的な実施形態では、基準マーカの既知の位置及び向きは、ヘッドマウントカメラの原点を表す。

[0022]いくつかの例示的な実施形態では、ヘッドマウントカメラは、頭部装着型ディスプレイ上に搭載されるか、又は頭部装着型ディスプレイと一体である。

[0023]いくつかの例示的な実施形態では、１つ以上の画像をキャプチャするためのヘッドマウントカメラは、ステレオカメラ及び深度カメラのうちの少なくとも１つである。

[0024]開示されるテクノロジーの別の態様によれば、複数のマーカが位置付けられるシーンの１つ以上の画像をキャプチャするように適合された少なくとも１つのカメラを備える頭部装着型ディスプレイと、プロセッサとを備えるシステムが提供され、プロセッサは、キャプチャされたマーカを識別するために１つ以上の画像を処理し、データベースから、複数の記憶されたマーカのうちの１つを識別し、各記憶されたマーカは、予め定められた向き及び表面上の対応するマーカを有し、各記憶されたマーカは、表面上のその対応するマーカに対する座標を含み、その対応する記憶されたマーカに対するキャプチャされたマーカの向きを計算し、データベースから、対応する記憶されたマーカを取得し、対応する記憶されたマーカ及び計算された向きに基づいて、マーカの絶対姿勢を決定し、各キャプチャされたマーカの絶対姿勢に基づいて、表面に対するユーザの頭部姿勢を計算する命令を実行するように構成される。

[0025]いくつかの例示的な実施形態において、頭部装着型ディスプレイは、表面上のすべてのマーカの画像をキャプチャするようにさらに構成され、プロセッサは、キャプチャされたマーカのそれぞれにおける複数の点を、モデルマーカのセットにおける複数のモデル点と比較し、複数の点のそれぞれは、関係付けられた座標のセットを有し、複数のモデル点のそれぞれは、関係付けられた理論座標のセットを有し、比較に基づいて、表面上のマーカのそれぞれの位置及び向きを推測し、表面上のマーカのそれぞれの推測された位置及び向きに基づいて、表面上の他のマーカに対する表面上のマーカのそれぞれの相対的な位置及び向きを推定し、表面上のマーカのそれぞれの推定された相対位置及び向きに基づいて、基準マーカに対する表面上のマーカのそれぞれの絶対位置及び絶対向きを計算し、基準マーカは表面上の既知の位置及び向きを有し、データベースから、表面上の各マーカについて、対応する記憶されたマーカを識別し、表面上の各マーカについて、対応する記憶されたマーカを、絶対位置及び絶対向きを含むように更新するように構成される。

[0026]いくつかの例示的な実施形態では、プロセッサは、表面上の各マーカについて、表面上のその対応するマーカの推測された位置及び向きと、表面上の他のマーカに対する表面上のその対応するマーカの相対位置及び向きとのうちの少なくとも１つを含めるように対応する記憶されたマーカを更新するように構成される。

[0027]いくつかの例示的な実施形態では、プロセッサは、キャプチャされたマーカ内の複数の点を、対応する記憶されたマーカ内の複数の記憶された点と比較するように構成され、各記憶された点は、対応するキャプチャされたマーカ内の点のうちの１つに対応する。

[0028]いくつかの例示的な実施形態では、プロセッサは、キャプチャされたマーカをデータベース内の記憶されたマーカと相互参照するように構成され、各キャプチャされたマーカは予め定められたパターンを有し、その対応する記憶されたマーカは同じパターンを有する。

[0029]いくつかの例示的な実施形態では、プロセッサは、６自由度で表面に対するユーザの頭部姿勢を決定するように構成される。

[0030]いくつかの例示的な実施形態では、プロセッサは、各キャプチャされたマーカについて、表面上の既知の位置及び向きを有する基準マーカに対する絶対位置及び絶対向きを決定するように構成される。

[0031]いくつかの例示的な実施形態では、少なくとも１つのカメラは、ステレオカメラ及び深度カメラのうちの少なくとも１つである。

[0032]いくつかの例示的な実施形態では、頭部装着型ディスプレイは、フレーム、ゴーグル又は眼鏡のためのサイドアーム及び支持体、ヘルメット又はバイザー、ヘッドバンド、首又は肩に装着される支持体、並びにヘッドセットのうちの少なくとも１つを備える。

[0033]開示されたテクノロジーの別の態様によれば、請求項に記載のシステムにおいて使用するための頭部装着型ディスプレイが提供される。

[0034]開示されるテクノロジーの別の態様によれば、請求項に記載のシステムで使用するためのマーカが提供され、マーカは、表面上に配置され、データベースに記憶された対応する記憶されたマーカを有し、記憶されたマーカは、表面上のその対応するマーカの座標を含む。

[0035]上記の特徴は、当業者に明らかであるように、適宜組み合わされてもよく、本明細書で説明される例の態様のいずれかと組み合わされてもよい。

[0036] 図１は、頭部装着型ディスプレイの説明を示すダイヤグラムである。 [0037] 図２は、本発明のいくつかの実施形態による、例示的なシステムを図示している。 [0038] 図３は、すべての利用可能なマーカの位置及び向きをマッピングするための例示的な方法の簡略化されたフローダイヤグラムである。 [0039] 図４は、本発明のいくつかの実施形態による、光学追跡中に観察された光学データの簡略化された表現である。 [0040] 図５は、ユーザの頭部姿勢を決定するための例示的な方法の簡略化されたフローダイヤグラムである。 [0041] 図６は、本発明のいくつかの実施形態による、例示的なシステムの簡略化されたブロックダイヤグラムである。 [0042] 図７は、ユーザが移動面上にいる間に現実世界に対する頭部位置を検出するための例示的な方法の簡略化されたフローダイヤグラムである。 [0043] 図８は、大きな体積空間にわたって頭部の動きを追跡するための例示的な方法の簡略化されたフローダイヤグラムである。

[0044]一般に、本発明は、表面に対するユーザの頭部姿勢を決定するための光慣性頭部装着型ディスプレイ追跡ソリューションに関する。

[0045]本発明は、大きな体積空間にわたる頭部の動きの追跡を可能にする新規の技術に関する。頭部装着型ディスプレイ（以下、ＨＷＤと呼ぶ）を装着したユーザの頭部位置の正確な追跡は有益である。ユーザの頭部の位置を正確に追跡することは、ＨＷＤを通して観察者によって見られるような現実世界の印が、現実世界における印の位置に正確に対応するＨＷＤの視野内の位置に提示されることを可能にしてもよい。

[0046]現実世界に対する頭部の正確な位置は、ヘッドマウントカメラを用いて表面上のマーカをキャプチャし、各キャプチャされたマーカの絶対位置及び絶対向きを計算することによって、表面に対するユーザの頭部の空間ロケーションを決定するための光学階層追跡方式によって決定されてもよい。各マーカの計算された位置及び向きに基づいて、表面に対するユーザの頭部姿勢が計算される。

[0047]上記で説明した技術は、光学追跡の絶対性及び正確さの利益を提供する。

[0048]理解されるように、本発明は、表面に対するユーザの頭部姿勢を正確に決定するための光慣性頭部装着型ディスプレイ追跡ソリューションに関する。

[0049]本発明の少なくとも１つの実施形態が詳細に説明される前に、本発明は、その適用において、以下の説明に記載される、並びに／又は図面及び／若しくは例に例示される、構成要素の構造及び配置並びに方法の詳細に限定されないことを理解されたい。
本発明は、他の実施形態が可能であり、また、様々な方法で実施又は行われることが可能である。

[0050]ＨＷＤ１００の表現を図示する図１に戻って参照すると、頭部装着型ディスプレイ１００は、ゴーグル、眼鏡、ヘルメット若しくはヘルメットバイザーを含む任意の適切なタイプのもの、又は眼の前に持ってくることができるハンドヘルドデバイスの形態のものであることがある。理想的には、デバイスは携帯可能であるか、又は支持体によって携帯可能であるように適合される。詳細には示されていないが、支持体は、眼の前で光学素子を支持するように適合された支持体を含むことができる。支持体は、フレーム；ゴーグル及び眼鏡のためのサイドアーム及び支持体；ヘルメット又はバイザー；ヘッドバンド；首又は肩に着用される支持体；ゲーム用ヘッドセット；又は光学素子を所望の位置に保持するために装着させることができる任意の他の支持体を含んでいてもよい。いくつかの実施形態では、システムは、ヘッドアップディスプレイ（ＨＵＤ）又は任意の他のタイプのディスプレイにおいて実装されることができる。

[0051]いくつかの実施形態では、光学デバイスは、ヘルメット上に搭載されてもよい。代替実施形態では、光学素子１００は、フレーム１０２と、２つの接眼レンズ１０４とを含み、ブリッジ要素によって一緒に保持される。フレーム１０２は、ユーザの頭部上で光学デバイスを支持する２つのアームに接続される。接眼レンズはそれぞれ、使用時に画像をユーザの眼に中継する表示要素を含む。表示要素は、例えば、コリメート要素、導波路、レンズ系、プリズム、又は他の光学部品を含む。デバイスは、図１では両眼用として示されているが、デバイスを単眼用とし、表示媒体の１つをブランク要素に置き換えることも可能である。光学素子は、非光学領域での使用に適合されてもよい。したがって、光は、本明細書では可視光周波数を意味することに限定されず、非可視周波数を含んでいてもよいことが理解されよう。

[0052]２つの接眼レンズ１０４は、ブリッジ要素によって分離される。ブリッジ要素は、異なる曲率及び異なる長さの組み合わせを有するバンドであってもよい。ブリッジ要素は、接眼レンズ１０４を予め定められた位置に位置付ける又は向けるための特定の形状を有してもよい。

[0053]ＨＷＤ１００のＦＯＶ内の位置の印をユーザに提供することができる。現実世界の印は、任意のタイプのシンボロジー又は現実世界の表現を含んでいてもよい。その現実世界の位置に対応するＦＯＶ内の位置に印を提供することが望ましいかもしれない。不正確な位置にこのような印を表示することは、ユーザにとって潜在的に混乱させ、いらいらさせ、危険である。これを補償するために、本発明は、ユーザの頭部姿勢を正確に決定するための機構を含む。

[0054]いくつかの実施形態では、頭部運動及び表面運動を正確に追跡するための機構が提供される。表面運動の追跡は、表面運動に起因して感知される検出された頭部運動を補償する。ユーザの頭部の現在の動きを記述する情報と、表面の現在の動きと、表面に対するユーザの決定された頭部姿勢とを組み合わせることは、現実世界に対する正確な待ち時間のない頭部姿勢が決定されることを可能にし、頭部姿勢は、現実世界に対する頭部の空間位置を記述する。

[0055]まず図２を参照すると、本発明のいくつかの実施形態による例示的なシステムが図示されている。本発明のいくつかの実施形態によれば、システム２００は、カメラ２０２及びプロセッサ２０４を含む頭部装着型ディスプレイ２１４を備える。

[0056]プラットフォームと互換的に呼ばれてもよい表面２０６は、ユーザ２０８が位置する任意の所定の表面であってもよい。表面２０６は、限定はしないが、車両又は飛行シミュレーションデバイスを含んでいてもよい。表面２０６上に位置するユーザ２０８は、ＨＷＤ２１４を装着する。カメラ２０２は、ＨＷＤ２１４の本体に一体化されてもよく、又はＨＷＤ２１４上の任意の適切な位置に搭載されてもよく、それにより、１つ以上の予め定められた位置で表面２０６上に配置されたマーカ２１０ａ、２１０ｂ、２１０ｃ、２１０ｄの画像を観察することができる。図２では、マーカ２１０ａ、２１０ｂ、２１０ｃ、２１０ｄは、表面の上部２１２上に配置されるものとして図示されているが、マーカ２１０ａ、２１０ｂ、２１０ｃ、２１０ｄは、表面２０６上の任意の適切な位置に配置することができることを理解されたい。

[0057]カメラ２０２は、ＨＷＤ２１４に一体化されてもよい。カメラ２０２は、複数のカメラを含んでいてもよい。カメラは、ステレオカメラ又は深度カメラを含んでいてもよいが、これらに限定されない。図２では、カメラが上向きであることが示されているが、カメラ２０２は、マーカの画像をキャプチャするように構成可能であるように、ＨＷＤ２１４上の任意の好適な位置に配置又は位置付けられることができることを理解されたい。複数のカメラがＨＷＤ２１４に適切に搭載又は一体化されることができる場合、複数のカメラがあってもよいことを理解されたい。

[0058]図３は、データベースに記憶するためにデータを収集する例示的な方法を描いている。マッピングプロセスは、マーカが所定の視点から表面上に現れるときに、マーカの絶対位置及び向きをマッピングするために使用され、位置及び向きは、基準マーカに関連する。基準マーカは、表面上で既知の位置及び向きを有する。以下、表面上に配置された複数のマーカを表面マーカと呼ぶ。いくつかの実施形態では、表面マーカは、表面の上部に配置されてもよい。加えて、又は代替として、表面マーカは、表面の下部に配置されてもよい。加えて、又は代替として、表面マーカは、表面の側部のうちの１つ以上に配置されてもよい。

[0059]各表面マーカは、予め定められたサイズであり、予め定められた一意的なパターンを有する。表面マーカは、マーカのＨＷＤカメラの視野を最適化し、表面上の重要な物理的特徴の不明瞭化を回避するように設計されたパターン構成で配置される。各表面マーカは、複数の表面点を含む。複数の表面点のそれぞれは、関係付けられた座標のセットを含む。図４を参照すると、いくつかの実施形態では、表面マーカは、長方形の基準４００ａ、４００ｂ、４００ｃであってもよく、表面点のそれぞれは、長方形の基準の角である。

[0060]すべての表面マーカの画像がキャプチャされる（ブロック３１０）。

[0061]表面点を含む第１のリストが照合される（ブロック３２０）。前述のように、表面点のそれぞれは、関係付けられた座標のセットを含む。

[0062]モデルマーカのセットのモデル点のセットを含む第２のリストが照合される（ブロック３３０）。モデル点のセットは、理論座標のセットを定義する。

[0063]表面点の第１のリストとモデル点の第２のリストとが比較される。この比較に基づいて、表面点のそれぞれの向き及び位置が推定される。表面点の推定された位置及び向きに基づいて、表面点の所定のセットに関係付けられた表面マーカの位置及び向きが推測される（ブロック３４０）。

[0064]推測された表面マーカの位置及び向きに基づいて、表面マーカのそれぞれの間の相対位置及び向きが推定される（ブロック３５０）。任意選択で、追加の画像をキャプチャすることができ、上述の方法を繰り返すことができ、それによって、表面マーカ間の相対的な位置及び向きの改善された推定を行うことができる。

[0065]表面マーカのそれぞれの間の推定された相対位置及び向きに基づいて、基準マーカに対する各表面マーカの絶対位置及び絶対向きが計算される（ブロック３６０）。上述したように、基準マーカは、表面上の既知の位置及び向きを有するマーカを含む。いくつかの実施形態では、基準マーカはトラッカ起点を表すことができる。

[0066]各表面マーカは、マーカ定義データベース（ＭＤＤ）（図示せず）に記憶されたマーカに対応する。以下、ＭＤＤに記憶されたマーカを記憶されたマーカと称する。各表面マーカについて、対応する記憶されたマーカがＭＤＤにおいて識別される（ブロック３７０）。各記憶されたマーカは、予め定められたサイズであり、予め定められた一意的なパターンを有し、サイズ及びパターンは、表面マーカのうちの１つのサイズ及びパターンに対応する。各記憶されたマーカは、その関係付けられた表面マーカの複数の表面点に対応する複数の記憶された点を有する。各記憶されたマーカは、表面マーカに対するその類似性に従って識別される。いくつかの実施形態では、記憶されたマーカは、各表面マーカのパターンを記憶されたマーカと相互参照することによって識別される。各表面マーカは、予め定められたサイズ及び予め定められた一意的なパターンを有するので、表面マーカに最もよく似ている記憶されたマーカが、正確に対応する記憶されたマーカであると仮定される。加えて、又は代替として、記憶されたマーカは、複数の表面点を複数の記憶された点と相互参照することによって識別されてもよい。

[0067]表面上の各マーカについて、その対応する記憶されたマーカは、表面マーカが記憶されたマーカの向きと同じ向きを有するとき、基準マーカに対するその表面マーカの少なくとも絶対位置及び絶対向きを含むように更新される（ブロック３８０）。いくつかの実施形態では、記憶されたマーカは、表面マーカの推測された位置及び向き、並びに／又は表面マーカのそれぞれの間の推定された相対位置及び向きをさらに含むように更新されてもよい。

[0068]図５は、頭部姿勢を決定するための例示的な方法５００の簡略化されたフローダイヤグラムを図示する。図３に関連して上述したように、表面上に配置された複数のマーカは、表面マーカと呼ばれる。いくつかの実施形態では、表面マーカは、表面の上部に配置されてもよい。加えて、又は代替として、表面マーカは、表面の下部に配置されてもよい。加えて、又は代替として、表面マーカは、表面の側部のうちの１つ以上に配置されてもよい。

[0069]各表面マーカは、予め定められたサイズであり、予め定められた一意的なパターンを有する。表面マーカは、マーカのＨＷＤカメラの視野を最適化し、表面上の重要な物理的特徴の不明瞭化を回避するように設計されたパターン構成で配置される。各表面マーカは、複数の表面点を含む。複数の表面点のそれぞれは、関係付けられた座標のセットを含む。図４を参照すると、いくつかの実施形態では、表面マーカは、長方形の基準４００ａ、４００ｂ、４００ｃであってもよく、表面点のそれぞれは、長方形の基準の角である。

[0070]ユーザによって装着されたヘッドマウントカメラによってキャプチャされた１つ以上の画像が受信される（ブロック５１０）。１つ以上の画像は、カメラのＦＯＶ内の１つ以上の表面マーカの表現を含む。この説明のために、カメラによってキャプチャされた表面マーカ及び関係付けられた表面点は、それぞれキャプチャされたマーカ及びキャプチャされた点と呼ばれる。

[0071]ＭＤＤがアクセスされる。ＭＤＤは、複数の記憶されたマーカを含む。各記憶されたマーカは、予め定められた向きを有し、複数の表面マーカのうちの１つに対応する。各記憶されたマーカは、予め定められたサイズであり、予め定められた一意的なパターンを有し、サイズ及びパターンは、表面マーカのうちの１つのサイズ及びパターンに対応する。各記憶されたマーカは、その表面マーカの表面点に対応する複数の記憶された点を有する。各記憶されたマーカは、図３のマッピング方法からの出力として、その対応する表面マーカの少なくとも絶対位置及び絶対方位を含む。各記憶されたマーカは、表面マーカの推測された位置及び向き、並びに／又は表面マーカのそれぞれの間の推定された相対位置及び向きをさらに含むことができる。

[0072]各キャプチャされたマーカについて、対応する記憶されたマーカがＭＤＤにおいて識別される（ブロック５２０）。いくつかの実施形態では、各記憶されたマーカは、各キャプチャされたマーカのパターンを記憶されたマーカと相互参照することによって、キャプチャされたマーカに対するその類似性に従って識別される。各キャプチャされたマーカは、予め定められたサイズ及び予め定められた一意的なパターンを有するので、キャプチャされたマーカに最もよく似ている記憶されたマーカが、正しく対応する記憶されたマーカであると仮定される。加えて、又は代替として、記憶されたマーカは、複数の表面点を複数の記憶された点と相互参照することによって識別されてもよい。

[0073]各キャプチャされたマーカについて、その対応する記憶されたマーカに対するキャプチャされたマーカの向きが計算される（ブロック５３０）。上述したように、各記憶されたマーカは、予め定められた向きを有する。各表面マーカは、記憶されたマーカのうちの１つに対応するが、画像内にキャプチャされた表面マーカは、その対応する記憶されたマーカの向きとは異なる向きを有してもよい。言い換えれば、キャプチャされたマーカは、それらの対応する記憶されたマーカとは異なるように向けられてもよい。いくつかの実施形態では、各キャプチャされたマーカは、キャプチャされたマーカがその対応する記憶されたマーカに対してどのように向けられるかを決定するために、その対応する記憶されたマーカと比較される。

[0074]各キャプチャされたマーカについて、既知の位置及び向きを有する基準マーカに対するキャプチャされたマーカの絶対位置及び向きを含む記憶されたデータがＭＤＤから取得される（ブロック５４０）。

[0075]基準マーカに対するキャプチャされたマーカの絶対位置及び向きを定義する座標のセットが決定される（ブロック５５０）。上述したように、各記憶されたマーカに関する記憶されたデータは、基準マーカに対するその対応するキャプチャされたマーカの絶対位置及び向きを含む。キャプチャされたマーカの、その対応する記憶されたマーカに対する決定された向きを使用して、基準マーカに対するキャプチャされたマーカの絶対位置及び向きを決定することができる。

[0076]表面に対するユーザの頭部姿勢が計算される（ブロック５６０）。キャプチャされたマーカはヘッドマウントカメラのＦＯＶ内にあるので、キャプチャされたマーカに対するカメラの位置及び向きを推測することができる。表面上の既知の位置及び向きを有する基準マーカに対するキャプチャされたマーカの絶対位置及び向きは、基準マーカに対するカメラの位置及び向きが決定できるように計算されている。このようにして、基準マーカに対するキャプチャされたマーカの絶対位置及び向きに基づいて、表面上のキャプチャされたマーカの絶対位置及び向きをその後決定することができる。上述の方法は、表面に対するＨＷＤの向き及び位置が６自由度で正確に計算されることを可能にすることができる。

[0077]上述したように、いくつかの実施形態では、表面上のマーカは、図４に描くような長方形の基準である。本明細書で説明されるようなマルチマーカ又はマルチ基準スタイルの追跡は、単一の（典型的にはより小さい）マーカトラッカよりも改善された追跡精度を有する追跡能力を提供する。カメラの視野にわたって複数のマーカからの複数の点を組み合わせる能力は、追跡姿勢を推定するために使用される点の空間的広がりの点を最大化し、したがって、より安定した、より雑音の少ない追跡ソリューションをもたらす。

[0078] 図６は、本発明のいくつかの実施形態による例示的なシステムの簡略化されたブロックダイヤグラムである。いくつかの実施形態において、表面は動いていてもよい。光学追跡方式の出力は、決定された頭部位置の精度をさらに改善するために慣性データと組み合わされてもよい。現実世界に対して移動する表面の向きを示す位置データと、表面に対するユーザの頭部の空間位置に関する光学データとを組み合わせる。慣性データの第１のセットは、表面の動きに関連してもよい。慣性データの第２のセットは、ユーザの頭部の動きに関連してもよい。慣性データのセットに基づいて、表面の動きに起因するユーザの頭部の動きを計算し、相殺することができる。

[0079]加えて、光学追跡ソリューションの待ち時間は、頭部運動を前方予測することによって低減されてもよい。これは、ＨＷＤ上の慣性センサの出力に基づいて現実世界における最終的な頭部位置の推定値を提供し、それによって、実際の頭部位置を決定するのに必要な時間を短縮する。

[0080]これらの上述の技術は、光学追跡の絶対性及び正確さの利益を提供する。慣性追跡によって達成される速度及び低減された待ち時間が結合される。システムは、頭部運動の待ち時間及び移動表面の運動を補償することができ、それによって、不確実性が低減されたシステムを提供する。

[0081]図２に関して説明したものに加えて、図６は、表面ベースの慣性センサ６０２を含む。表面ベースの慣性センサ６０２は、慣性測定ユニットを備えていてもよい。慣性測定ユニットは、そのセンサの任意の好適な組み合わせを備えていてもよい。表面ベースの慣性センサ６０２は、加速度計、ジャイロスコープ及び磁力計を含んでいてもよいが、これらに限定されない。表面ベースの慣性センサ６０２は、運動中に表面２０６が受ける力（例えば、重力）、表面２０６の角速度、並びに表面２０６の速度、加速度、減速度及び／又は向きを検出することができる。

[0082]ＨＷＤ２１４はまた、少なくとも１つのＨＷＤ慣性センサ６０４又はその適切なセンサの任意の組合せを含むことができる。そのようなセンサは、加速度計及びジャイロスコープを含んでいてもよいが、これらに限定されない。ＨＷＤ慣性センサ６０４は、ＨＷＤ２１４の空間位置の変化を決定することができる。ユーザ２０８の頭部の動きは、ＨＷＤの空間位置の検出された変化に基づいて決定することができる。加えて、ＨＷＤ慣性センサ６０４は、ユーザの頭部の動きを前方予測して、現実世界に対するユーザの頭部の予測位置を決定することができる。前方予測は、全体的な追跡ソリューションの観測される待ち時間を低減するために使用されてもよい。

[0083]少なくとも１つのＨＷＤ慣性センサ６０４は、ＨＷＤ２１４に一体化されてもよい。代替的に、センサは、ＨＷＤ慣性センサ６０４がＨＷＤ２１４を装着しているユーザ２０８の現在の頭部の動きを検出するように構成可能であるように、任意の適切な位置でＨＷＤ２１４に搭載することができる取り外し可能な要素を有してもよい。ＨＷＤ慣性センサ６０４は、力、角速度、速度、線形加速及び減速、並びに／又はユーザ２０８の頭部によって経験される向きの任意の変化を検出するように構成可能であってもよい。

[0084]代替実施形態は、頭部姿勢を決定するために、ＨＷＤ慣性センサ６０４及び表面ベースの慣性センサ６０２の出力を使用することを説明する。この代替実施形態では、カメラ２０２からの光学追跡データは、例えば、カメラ２０２が閉塞を経験する場合、又は基準マーカの画像がシャドーイングなどの何らかの理由で歪められる場合、利用不可能又は無効であるかもしれない。この代替実施形態では、表面２０６には、全体的な追跡機構に周期的な姿勢を提供する追加のセンサが搭載される。

[0085]ＨＷＤ慣性センサ６０４は、上記の実施形態で説明したように、ユーザの頭部の現在の動きを決定することができる。

[0086]表面ベースの慣性センサ６０２は、上記の実施形態で説明したように、現実世界に対する表面２０６の動きを検出してもよい。

[0087]表面２０６の動き及びユーザの頭部の現在の動きに関するデータは、カメラ２０２から取得される光学追跡データを必要とせずにシステムが惰力運転することを可能にするために組み合わされてもよい。光学追跡が再開すると、光学追跡データ、表面運動データ、及び頭部運動データは、上述のように、実世界に対する正確な頭部姿勢を計算するために組み合わせられることができる。

[0088]図７は、ユーザが移動面上にいる間に現実世界に対する頭部位置を検出するための例示的な方法７００の簡略化されたフローダイヤグラムである。

[0089]現実世界に対して移動する表面の向きを備える座標の第１のセットが、表面ベースの慣性センサからの第１の出力に基づいて決定されてもよい（ブロック７１０）。移動表面に対する頭部装着型ディスプレイの空間位置を含む座標の第２のセットが決定されてもよい（ブロック７２０）。予測された動きに基づく座標オフセットを生成するように、慣性測定値に基づくユーザの頭部の予測された動きを決定することができる（ブロック７３０）。座標の第１のセット、座標の第２のセット、及び座標オフセットに基づいて、現実世界基準に対するヘッド頭部装着型ディスプレイの空間位置を示す座標の第３のセットが決定されてもよい（ブロック７４０）。

[0090]現実世界に対する頭部位置の検出のための方法は、追加の慣性データを含めることによってさらに改善されてもよい。座標の第３のセットの変化は、表面ベースの慣性センサからの第２の出力に基づいて、現実世界に対する表面の位置の変化を決定するように検出されてもよい。座標の第４のセットの変化は、ＨＷＤベースの慣性センサの出力に基づいてユーザの頭部の空間位置の変化を決定するために検出されてもよい。表面の動きに起因するユーザの頭部の動きの相対変化は、座標の第４のセットの相対変化として計算される。座標の第４のセットにおける相対変化は相殺される。

[0091]追跡ソリューションの待ち時間は、ＨＷＤベースの慣性センサの出力に基づいてトラッカの向きを前方予測することによって低減されてもよい。

[0092]次に図８を参照すると、図８は、順方向予測を使用して大きな体積空間にわたる頭部運動の追跡を改善するための例示的な方法８００の簡略化されたフローダイヤグラムを図示する。現実世界に対して移動する表面の向きを備える座標の第１のセットが、表面ベースの慣性センサからの第１の出力に基づいて決定されてもよい（ブロック８１０）。

[0093]表面に対する頭部装着型ディスプレイの空間位置を備える座標の第２のセットが決定されてもよい。本発明のいくつかの実施形態によれば、座標の第２のセットを決定することは、カメラを使用して光学追跡データを取得することをさらに含むことができ、光学追跡データは、現実世界に対して移動する表面上に配置された既知の空間位置を有するマーカの画像を含む（ブロック８２０）。

[0094]慣性測定値に基づくユーザの頭部の予測された動きが、予測された動きに基づいて座標オフセットを生成するために決定されてもよい（ブロック８３０）。

[0095]座標の第１のセット、座標の第２のセット、及び座標オフセットに基づいて、現実世界基準に対する頭部装着型ディスプレイの空間位置を示す座標の第３のセットが決定されてもよい（ブロック８４０）。

[0096]本発明はいくつかの実施形態に関連して説明されたが、本明細書に記載された特定の形態に限定されることは意図されていない。むしろ、本発明の範囲は、付随する特許請求の範囲のみによって限定される。さらに、ある特徴が特定の実施形態に関連して説明されるようにみえるかもしれないが、当業者であれば、説明される実施形態の様々な特徴が本発明にしたがって組み合わされてもよいことを認識するであろう。特許請求の範囲において、「備える」という用語は、他の要素又はステップの存在を除外するものではない。

[0097]さらに、特許請求の範囲における特徴の順序は、特徴が実行されなければならない特定の順序を暗示するものではなく、特に方法の請求項における個々のステップの順序は、ステップがこの順序で実行されなければならないことを暗示するものではない。むしろ、ステップは任意の好適な順序で実行されてもよい。さらに、単数形の言及は複数を除外するものではない。よって、「a」、「an」、「第１（first）」、「第２（second）」等の言及は複数を排除しない。特許請求の範囲において、「備える」又は「含む」という用語は、他の要素の存在を除外するものではない。

Claims (25)

1. ユーザの頭部姿勢を決定するコンピュータ実装方法であって、
   前記ユーザによって装着されたヘッドマウントカメラによってキャプチャされた１つ以上の画像を受信することと、前記画像は、１つ以上のキャプチャされたマーカを含み、各キャプチャされたマーカは、前記ヘッドマウントカメラのＦＯＶ内にある表面上の複数のマーカのうちの１つであり、
   前記１つ以上の画像内の前記キャプチャされたマーカのそれぞれについて、
   データベースから、複数の記憶されたマーカのうちの１つを識別することと、各記憶されたマーカは、予め定められた向き及び前記表面上の対応するマーカを有し、各記憶されたマーカは、前記表面上のその対応するマーカについての座標を含み、
   その対応する記憶されたマーカに対する前記キャプチャされたマーカの向きを計算することと、
   前記データベースから、前記対応する記憶されたマーカを取得することと、
   前記対応する記憶されたマーカ及び前記計算された向きに基づいて、前記マーカの絶対姿勢を決定することと、
   各キャプチャされたマーカの前記絶対姿勢に基づいて、前記表面に対する前記ユーザの前記頭部姿勢を計算することとを含む、方法。
2. 前記表面上の各マーカは、関係付けられた座標のセットを有する複数の点を含む、請求項１に記載の方法。
3. 各記憶されたマーカは複数の記憶された点を含み、各記憶された点は、前記表面上のその対応するマーカの点のうちの１つに対応する、請求項２に記載の方法。
4. 前記データベースに記憶するためのデータを収集することをさらに含み、前記データを収集することは、
   前記ヘッドマウントカメラを使用して、前記表面上の全てのマーカの画像をキャプチャすることと、
   前記キャプチャされたマーカのそれぞれにおける前記複数の点を、モデルマーカのセットにおける複数のモデル点と比較することと、前記モデル点のセットは、関係付けられた理論座標のセットを有し、
   前記比較に基づいて、前記表面上の前記マーカのそれぞれの位置及び向きを推測することと、
   前記表面上の前記マーカのそれぞれの前記推測された位置及び向きに基づいて、前記表面上の他のマーカに対する前記表面上の前記マーカのそれぞれの相対的な位置及び向きを推定することと、
   前記表面上の前記マーカのそれぞれの前記推定された相対位置及び向きに基づいて、基準マーカに対する前記表面上の前記マーカのそれぞれの絶対位置及び絶対向きを計算することと、前記基準マーカは前記表面上の既知の位置及び向きを有し、
   前記データベースから、前記表面上の各マーカについて、前記対応する記憶されたマーカを識別することと、
   前記表面上の各マーカについて、前記対応する記憶されたマーカを、前記絶対位置及び前記絶対向きを含むように更新することとを含む、請求項２又は３に記載の方法。
5. 前記表面上の各マーカについて前記対応する記憶されたマーカを更新することは、前記表面上のその対応するマーカの前記推測された位置及び向き、並びに前記表面上の他のマーカに対する前記表面上のその対応するマーカの相対的な位置及び向きのうちの少なくとも１つを含むように前記対応する記憶されたマーカを更新することをさらに含む、請求項４に記載の方法。
6. 前記複数の記憶されたマーカのうちの１つを識別することは、各キャプチャされたマーカについて、前記キャプチャされたマーカ内の前記複数の点を前記データベース内の前記記憶されたマーカ内の前記複数の記憶された点と比較することをさらに含む、請求項３から５のいずれか一項に記載の方法。
7. 前記データベースから、複数の記憶されたマーカのうちの１つを識別することは、各キャプチャされたマーカについて、前記キャプチャされたマーカを前記データベース内の前記記憶されたマーカと相互参照することをさらに含み、各キャプチャされたマーカは予め定められたパターンを有し、その対応する記憶されたマーカは同じパターンを有する、請求項１から５のいずれか一項に記載の方法。
8. 前記表面上の前記マーカは、長方形の基準である、請求項１から７のいずれか一項に記載の方法。
9. 前記表面上の前記マーカ内の前記複数の点は、前記長方形の基準の角を形成する、請求項８に記載の方法。
10. 各キャプチャされたマーカの前記絶対姿勢に基づいて計算することは、６自由度で前記表面に対する前記ユーザの前記頭部姿勢を決定することをさらに含む、請求項１から９のいずれか一項に記載の方法。
11. 各キャプチャされたマーカの前記絶対姿勢を決定することは、各キャプチャされたマーカについて、前記表面上の既知の位置及び向きを有する基準マーカに対する前記キャプチャされたマーカの絶対位置及び絶対向きを決定することをさらに含む、請求項１から１０のいずれか一項に記載の方法。
12. 前記基準マーカの前記既知の位置及び向きは、前記ヘッドマウントカメラの原点を表す、請求項１１に記載の方法。
13. 前記ヘッドマウントカメラは、頭部装着型ディスプレイ上に搭載されるか、又は頭部装着型ディスプレイと一体である、請求項１から１２のいずれか一項に記載の方法。
14. 前記１つ以上の画像をキャプチャするための前記ヘッドマウントカメラは、ステレオカメラ及び深度カメラのうちの少なくとも１つである、請求項１から１３のいずれか一項に記載の方法。
15. システムであって、
    複数のマーカが位置付けられるシーンの１つ以上の画像をキャプチャするように適合された少なくとも１つのカメラを備える頭部装着型ディスプレイと、
    プロセッサとを備え、前記プロセッサは、
    キャプチャされたマーカを識別するために前記１つ以上の画像を処理し、
    データベースから、複数の記憶されたマーカのうちの１つを識別し、各記憶されたマーカは、予め定められた向き及び表面上の対応するマーカを有し、各記憶されたマーカは、前記表面上のその対応するマーカの座標を含み、
    その対応する記憶されたマーカに対する前記キャプチャされたマーカの向きを計算し、
    前記データベースから、前記対応する記憶されたマーカを取得し、
    前記対応する記憶されたマーカ及び前記計算された向きに基づいて、前記マーカの絶対姿勢を決定し、
    各キャプチャされたマーカの前記絶対姿勢に基づいて、前記表面に対するユーザの頭部姿勢を計算する命令を実行するように構成される、システム。
16. 前記頭部装着型ディスプレイは、前記表面上のすべてのマーカの画像をキャプチャするようにさらに構成され、前記プロセッサは、
    前記キャプチャされたマーカのそれぞれにおける複数の点を、モデルマーカのセットにおける複数のモデル点と比較し、前記複数の点のそれぞれは、関係付けられた座標のセットを有し、前記複数のモデル点のそれぞれは、関係付けられた理論座標のセットを有し、
    前記比較に基づいて、前記表面上の前記マーカのそれぞれの位置及び向きを推測し、
    前記表面上の前記マーカのそれぞれの前記推測された位置及び向きに基づいて、前記表面上の他のマーカに対する前記表面上の前記マーカのそれぞれの相対的な位置及び向きを推定し、
    前記表面上の前記マーカのそれぞれの前記推定された相対位置及び向きに基づいて、基準マーカに対する前記表面上の前記マーカのそれぞれの絶対位置及び絶対向きを計算し、前記基準マーカは前記表面上の既知の位置及び向きを有し、
    前記データベースから、前記表面上の各マーカについて、前記対応する記憶されたマーカを識別し、
    前記表面上の各マーカについて、前記対応する記憶されたマーカを、前記絶対位置及び前記絶対向きを含むように更新するようにさらに構成される、請求項１５に記載のシステム。
17. 前記プロセッサは、前記表面上の各マーカについて、前記表面上のその対応するマーカの前記推測された位置及び向きと、前記表面上の他のマーカに対する前記表面上のその対応するマーカの前記相対位置及び向きとのうちの少なくとも１つを含めるように前記対応する記憶されたマーカを更新するようにさらに構成される、請求項１６に記載のシステム。
18. 前記プロセッサは、前記キャプチャされたマーカ内の前記複数の点を、前記対応する記憶されたマーカ内の複数の記憶された点と比較するようにさらに構成され、各記憶された点は、対応するキャプチャされたマーカ内の前記点のうちの１つに対応する、請求項１６又は１７に記載のシステム。
19. 前記プロセッサは、前記キャプチャされたマーカを前記データベース内の前記記憶されたマーカと相互参照するようにさらに構成され、各キャプチャされたマーカは予め定められたパターンを有し、その対応する記憶されたマーカは同じパターンを有する、請求項１５から１７のいずれか一項に記載のシステム。
20. 前記プロセッサは、前記表面に対する前記ユーザの前記頭部姿勢を６自由度で決定するようにさらに構成される、請求項１５から１９のいずれか一項に記載のシステム。
21. 前記プロセッサは、各キャプチャされたマーカについて、前記表面上の既知の位置及び向きを有する基準マーカに対する絶対位置及び絶対向きを決定するようにさらに構成される、請求項１５から１９のいずれか一項に記載のシステム。
22. 前記少なくとも１つのカメラは、ステレオカメラ及び深度カメラのうちの少なくとも１つである、請求項１５から２１のいずれか一項に記載のシステム。
23. 前記頭部装着型ディスプレイは、フレーム、ゴーグル又は眼鏡のためのサイドアーム及び支持体、ヘルメット又はバイザー、ヘッドバンド、首又は肩に装着される支持体、並びにヘッドセットのうちの少なくとも１つをさらに備える、請求項１５から２２のいずれか一項に記載のシステム。
24. 請求項１５から２３のいずれか一項に記載のシステムにおいて使用するための頭部装着型ディスプレイ。
25. 前記マーカは、表面上に配置され、データベースに記憶された対応する記憶されたマーカを有し、前記記憶されたマーカは、前記表面上のその対応するマーカの座標を含む、請求項１５から２３のいずれか一項に記載のシステムにおいて使用するためのマーカ。

Images