JP5346128B2

JP5346128B2 - 拡張現実における物体の位置合わせ

Info

Publication number: JP5346128B2
Application number: JP2012548243A
Authority: JP
Inventors: レオン，ヘンリー
Original assignee: エンパイアテクノロジーディベロップメントエルエルシー
Priority date: 2010-03-08
Filing date: 2011-02-16
Publication date: 2013-11-20
Anticipated expiration: 2031-02-16
Also published as: KR101355286B1; CN102667811A; JP2013516718A; CN104077587B; KR20120085858A; WO2011112328A3; CN104077587A; US8416263B2; US20130177259A1; US20110216089A1; CN102667811B; US8797356B2; WO2011112328A2

Description

本明細書において別途指示されない限り、本節で説明される題材は本願の特許請求の範囲に対する従来技術ではなく、本節に含まれることによって従来技術であると認められる訳ではない。

拡張現実システムにおいては、ユーザの現実世界の眺めが、コンピューティングデバイスによって生成された追加的な情報で増強または拡張される。ユーザに提供されたディスプレイを通じて、ユーザは、関心のあるシーン内の現実の物体上に配置された仮想的な幾何学的物体を見ることができる。さらに、非幾何学的な仮想の情報が、現実の物体の周りに追加され、ディスプレイ上に表示される可能性がある。

本開示の上述のおよびその他の特徴は、以下の説明および添付の特許請求の範囲を添付の図面と併せて理解することによってより完全に明らかになるであろう。これらの図面は本開示によるほんのいくつかの実施形態を示すに過ぎず、したがって、本開示の範囲を限定するとみなされるべきでないことを理解したうえで、本開示が、添付の図面を使用してより具体的かつ詳細に説明される。

拡張現実における物体の位置合わせを実装するために利用され得る一部の例示的なシステムを示す図である。拡張現実における物体の位置合わせを実装するために利用され得る一部の例示的なシステムを示す図である。拡張現実における物体の位置合わせのための例示的なプロセスに関するフローチャートである。拡張現実における物体の位置合わせのための例示的なプロセスに関するフローチャートである。拡張現実における物体の位置合わせのための例示的なコンピュータプログラム製品を示す図である。拡張現実において物体の位置合わせを実行するように適合される一部の例示的なコンピューティングデバイスを示すブロック図である。

すべての図は、本明細書において示される少なくとも一部の実施形態にしたがって構成されている。

以下の詳細な説明において、本明細書の一部をなす添付の図面に対する参照がなされる。図面において、概して、同様の符号は、文脈がそうでないことを示さない限り、同様のコンポーネントを特定する。詳細な説明、図面、および特許請求の範囲に記載の例示的実施形態は、限定することを意図されていない。本明細書で示される主題の精神または範囲を逸脱することなしに、その他の実施形態が利用される可能性があり、その他の変更がなされる可能性がある。本明細書において全体的に説明され、図面に図示される本開示の態様は、多種多様な異なる構成で配置され、置き換えられ、組み合わされ、分けられ、設計される可能性があり、それらの構成のすべては本明細書においてはっきりと考慮されていることが容易に理解されるであろう。

概して、本開示は、とりわけ、拡張現実における物体の位置合わせに関連する方法、装置、システム、デバイス、およびコンピュータプログラム製品を対象とする。

簡潔に言えば、拡張現実において物体を位置合わせするための技術が、全体的に説明される。一部の例において、プロセッサが、検出された画像データおよび仮想的な物体のデータを受信するように適合され得る。一部の例において、プロセッサは、仮想的な物体のデータおよび検出された画像データに基づいて強度（ｉｎｔｅｎｓｉｔｙ）および特徴のレベルの対数尤度関数を生成し、それらの対数尤度関数に重みを適用するようにさらに適合され得る。一部の例において、プロセッサは、強度のレベルの重みづけされた対数尤度関数を特徴のレベルの重みづけされた対数尤度関数に加えてコスト関数を生成するようにさらに適合され得る。一部の例において、プロセッサは、検出された画像データを仮想的な物体のデータと位置合わせするために使用され得る変換パラメータをコスト関数に基づいて決定するようにさらに適合され得る。

図１は、本明細書で示される少なくとも一部の実施形態による、拡張現実における物体の位置合わせを実装するために利用され得る一部の例示的なシステムを示す。システム１００は、１つまたは複数のセンサー１０２、メモリ１０４、およびディスプレイ１１０を含む可能性があり、これらすべてはプロセッサ１０８と通信するように構成される。プロセッサ１０８は、たとえば、ネットワーク１０６を介してセンサー１０２およびメモリ１０４と通信するように構成され得る。以下でより詳細に検討されるように、センサー１０２は、関心のあるシーン１１８内の現実の物体１１６に関する検出された画像データを検出するように適合され得る。センサー１０２は、検出された画像データをプロセッサ１０８に送信するようにさらに適合され得る。プロセッサ１０８は、現実の物体１１６と位置合わせされるべき１つの仮想的な物体または複数の仮想的な物体に関する仮想的な物体のデータをメモリ１０４から取り出すように適合され得る。プロセッサ１０８は、位置合わせアルゴリズムをメモリ１０４から取り出すようにさらに適合され得る。位置合わせアルゴリズムを使用して、プロセッサ１０８は、仮想的な物体のデータを検出された画像データと位置合わせして物体１１６の増強された画像を生成するように適合され得る。プロセッサ１０８は、ユーザ１１２のために、ディスプレイ１１０上の関心のあるシーン１１８の画像１１４内に増強された画像を表示するように適合され得る。システム１００のコンポーネントは、関心のあるシーン１１８の中または外の任意の場所に配置され得る。

図２は、本明細書で示される少なくとも一部の実施形態による、拡張現実における物体の位置合わせを実装するために利用され得るある例示的なシステムを示す。図２のシステムは、図１のシステム１００と実質的に同様であり、さらに詳細である。図１のコンポーネントと同一の符号を振られている図２のコンポーネントは、明瞭にするために、再度説明されない。

メモリ１０４は、位置合わせアルゴリズム１２８および仮想的な物体のデータ１２６を記憶するように適合され得る。プロセッサ１０８は、物体１１６に関する検出された画像データ１３０をセンサー１０２から受信するように適合され得る。一部の例において、検出された画像データ１３０は、雑音と、画素および特徴点の形式の画像データとを含み得る。特徴点は、たとえば、現実の画像を仮想的な画像と位置合わせするために使用されることができる画像内の特徴を含み得る。たとえば、検出された画像データ１３０が顔に関する場合、特徴は、鼻、目などである可能性がある。上で検討されたように、プロセッサ１０８は、仮想的な物体のデータ１２６を受信するように適合され得る。プロセッサ１０８は、位置合わせアルゴリズム１２８を用いて仮想的な物体のデータ１２６を検出された画像データ１３０と位置合わせして増強された画像１３２を生成するように適合され得る。プロセッサ１０８は、ディスプレイ１１０に増強された画像１３２を表示するように適合され得る。

一部の例示的な拡張現実アプリケーションは、説明される正確な位置合わせの恩恵を受けることができる。仮想的な物体のデータが物体に関する情報を追加する場合、仮想的な物体のデータは、現実のデータの画像と正確に位置が合っていなければならず、さもなければ、拡張現実の幻覚が損なわれる可能性がある。医療分野の一例において、現実の画像は臓器のものであり、仮想的な物体のデータが、腫瘍がどこに存在するかを示すことができる。そのような場合には、仮想的なデータと現実のデータとの位置合わせが重要である。

図３は、本開示の少なくとも一部の実施形態による、拡張現実における物体の位置合わせのための例示的なプロセスに関するフローチャートを示す。図３のプロセスは、たとえば、上で検討されたシステム１００を用いて実装され得る。例示的なプロセスは、ブロックＳ２、Ｓ４、Ｓ６、Ｓ８、および／またはＳ１０のうちの１つまたは複数によって示される１つまたは複数のオペレーション、動作、または機能を含み得る。別個のブロックとして示されているが、さまざまなブロックが、所望の実装形態に応じてさらなるブロックに分割されるか、より少ないブロックへと組み合わされるか、または削除される可能性がある。処理は、ブロックＳ２で始まる可能性がある。

ブロックＳ２において、プロセッサが、現実の物体に関する検出された画像データをセンサーから受信するように適合され得る。処理は、ブロックＳ２からブロックＳ４に続く可能性がある。

ブロックＳ４において、プロセッサが、現実の物体に関する仮想的な物体のデータを受信するように適合され得る。処理は、ブロックＳ４からブロックＳ６に続く可能性がある。

ブロックＳ６において、プロセッサが、変換パラメータを決定するように適合され得る。変換パラメータは、現実の検出された画像データを仮想的な物体のデータにマッピングするために、アフィン変換などの変換で使用され得る。代替的に、その他の例において、変換パラメータは、仮想的な物体のデータを検出された画像データにマッピングするために使用され得る。その他の例において、変換パラメータは、検出された画像データと仮想的な物体のデータの両方を既存の画像にマッピングするために使用され得る。処理は、ブロックＳ６からブロックＳ８に続く可能性がある。

ブロックＳ８において、プロセッサが、変換パラメータを用いて仮想的な物体のデータを検出された画像データと位置合わせして、増強された画像を生成するように適合され得る。処理は、ブロックＳ８からブロックＳ１０に続く可能性がある。

ブロックＳ１０において、プロセッサが、ディスプレイに増強された画像を表示するように適合され得る。

図４は、本開示の少なくとも一部の実施形態による、拡張現実における物体の位置合わせのための例示的なプロセスに関するフローチャートを示す。図４のプロセスは、たとえば、上で検討されたシステム１００を用いて実装されることができ、図３のＳ６の例示的なオペレーションをより詳細に説明する。例示的なプロセスは、ブロックＳ２２、Ｓ２４、Ｓ３０、Ｓ３２、Ｓ３４、Ｓ３６、Ｓ３８、Ｓ４０、Ｓ４２、Ｓ４４、Ｓ４６、および／またはＳ４８のうちの１つまたは複数によって示される１つまたは複数のオペレーション、動作、または機能を含み得る。別個のブロックとして示されているが、さまざまなブロックが、所望の実装形態に応じてさらなるブロックに分割されるか、より少ないブロックへと組み合わされるか、または削除される可能性がある。処理は、ブロックＳ２２で始まる可能性がある。

ブロックＳ２２において、センサーが、現実の物体に関する検出された画像データを検出するように適合され得る。処理は、ブロックＳ２２からブロックＳ２４に続く可能性がある。

ブロックＳ２４において、プロセッサが、検出された画像データおよび仮想的な物体のデータを受信するように適合され得る。たとえば、検出された画像データは、現実の物体に基づく可能性があり、画像データと雑音データの両方を含む可能性がある。一部の例において、仮想的な物体のデータは、ディスプレイ上で物体の画像に追加されるべき追加的な仮想の情報である可能性がある。処理は、ブロックＳ２４からブロックＳ３０およびＳ３２に続く可能性がある。

ブロックＳ３０において、プロセッサが、仮想的な物体のデータおよび検出された画像データに基づいて強度のレベルの対数尤度関数を生成するように適合され得る。たとえば、検出された画像データおよび仮想的な物体のデータの強度のレベルは、同じモダリティ（ｍｏｄａｌｉｔｙ）に関する比較された強度に基づく可能性がある。モダリティの例は、可視画像（ｖｉｓｕａｌｉｍａｇｅ）または赤外線画像である可能性がある。対数尤度関数を生成する際、画像変換モデルおよび雑音変換モデルが、使用され得る。一部の例において、画像変換モデルは、アフィン変換モデル、剛体変換モデル、区分的アフィン変換（ｐｉｅｃｅｗｉｓｅａｆｆｉｎｅｔｒａｎｓｆｏｒｍａｔｉｏｎ）モデル、非剛体または弾性変換（ｅｌａｓｔｉｃｔｒａｎｓｆｏｒｍａｔｉｏｎ）モデルなどを含み得る。一部の例において、雑音変換モデルは、ガウスモデル、混合ガウスモデルなどのように雑音の統計的性質に基づく可能性がある。処理は、ブロックＳ３０からブロックＳ３４に続く可能性がある。

ブロックＳ３２において、プロセッサが、仮想的な物体のデータおよび検出された画像データに基づいて特徴のレベルの対数尤度関数を生成するように適合され得る。たとえば、検出された画像データおよび仮想的な物体のデータ内の選択された制御点の特徴が、使用され得る。制御点は、たとえば、エッジ検出アルゴリズムを使用して選択され得る。制御点のその他の例は、ランドマーク（ｌａｎｄｍａｒｋ）または交差である可能性がある。上述の例のうちの１つを用いて続けると、エッジ検出アルゴリズムが、画像内の顔の鼻を検出するために使用され得る。そのとき、鼻が、特徴のレベルの対数尤度関数のための制御点として使用され得る。処理は、ブロックＳ３２からブロックＳ３６に続く可能性がある。

ブロックＳ３４において、プロセッサが、強度のレベルの対数尤度関数に第１の重みｗ１を適用して強度のレベルの重みづけされた対数尤度関数を生成するように適合され得る。処理は、ブロックＳ３４からブロックＳ３８に続く可能性がある。

ブロックＳ３６において、プロセッサが、特徴のレベルの対数尤度関数に第２の重みｗ２を適用して特徴のレベルの重みづけされた対数尤度関数を生成するように適合され得る。重みｗ１およびｗ２は、検出された画像データ内の利用可能な画素および特徴点の数に基づいて、および検出された画像データ内の雑音パワー（ｎｏｉｓｅｐｏｗｅｒ）に基づいて割り当てられ得る。たとえば、検出された画像データにおいて、利用可能な画素の数が利用可能な特徴点の数よりも多い場合、強度のレベルに関する重みｗ１は、特徴のレベルのデータに関する重みｗ２よりも大きな値を割り当てられ得る。同様に、特徴のレベルの大きな雑音パワーは、特徴のレベルのデータに適用される重みｗ２を重みｗ１よりも小さくする可能性がある。このように、重みｗ１およびｗ２は、利用可能な画素など、どれだけ多くの情報が利用できるのかということと、雑音パワーのレベルとに比例する可能性がある。一部の例において、利用可能な画素および特徴の数が０であるか、または雑音パワーが非常に大きい場合、対応する重みｗ１、ｗ２は、０に設定され得る。処理は、ブロックＳ３６からブロックＳ３８に続く可能性がある。

ブロックＳ３８において、プロセッサは、強度のレベルの重みづけされた対数尤度関数を特徴のレベルのデータの重みづけされた対数尤度関数に加えてコスト関数を生成するように適合され得る。パラメータの中でもとりわけ、コスト関数は、１）アフィン変換などの変換パラメータ、２）特徴の座標、および３）雑音パワーの関数である可能性がある。上で検討されたように、変換パラメータは、仮想的な物体のデータ１２６（図２）を検出された画像データ１３０に位置合わせするために使用され得る。代替的に、検出された画像データ１３０が、仮想的な物体のデータ１２６と位置合わせされ得るか、または検出された画像データと仮想的な物体のデータの両方が、第３の画像に位置合わせされ得る。特徴の座標は、検出された画像データ１３０内の特徴の位置である可能性がある。雑音パワーは、検出された画像データにおける雑音のパワーレベルである可能性がある。処理は、ブロックＳ３８からブロックＳ４０に続く可能性がある。

ブロックＳ４０において、プロセッサが、コスト関数を最小化することによって、仮想的な物体のデータを検出された画像データにマッピングするためのアフィン変換パラメータを推定するように適合され得る。たとえば、パラメータのすべては、コスト関数を最小化してアフィン変換パラメータの第１の推定値を得るために調整され得る。処理は、ブロックＳ４０からブロックＳ４２に続く可能性がある。

ブロックＳ４２において、プロセッサが、コスト関数が収束するまで次の３つのオペレーションを実行するように適合され得るように、ループが定義されることができる。処理は、ブロックＳ４２からブロックＳ４４に続く可能性がある。

ブロックＳ４４において、プロセッサが、コスト関数の特徴の座標を推定するように適合され得る。オペレーションＳ４２は、コスト関数のアフィン変換パラメータおよび雑音パワーパラメータが固定されている間に実行され得る。処理は、ブロックＳ４４からブロックＳ４６に続く可能性がある。

ブロックＳ４６において、プロセッサが、特徴の座標の最新の推定値を用いてアフィン変換パラメータを推定するように適合され得る。処理は、ブロックＳ４６からブロックＳ４８に続く可能性がある。

ブロックＳ４８において、プロセッサが、特徴パラメータおよびアフィン変換パラメータの最新の推定値を用いてコスト関数の雑音パワーを推定するように適合され得る。

更新されたコスト関数が、ブロックＳ４４、Ｓ４６、および／またはＳ４８のうちの１つまたは複数によって定義され得る。ブロックＳ４２によって定義されるループは、更新されるコスト関数が収束するまで継続し得る。たとえば、ブロックＳ４２で定義されるループは、オペレーションＳ４４、Ｓ４６、およびＳ４８においてコスト関数で起こる変化が閾値未満になるまで継続し得る。別の例において、ブロックＳ４２によって定義されるループは、コスト関数の尤度関数のうちの１つが閾値を超えて変化しなくなるまで継続し得る。

ガウス分布にしたがう雑音モデルおよびアフィン変換モデルが例示のために示される、コスト関数を決定するための例示的なプロセスが、以下に示される。

この例において、システム１００は、２つの画像、すなわち、基準画像１２６（たとえば、仮想的な画像）および変形される画像（たとえば、検出された画像データ）１３０を受信することができる。特徴のレベルで、Ｘ_１（ｋ）＝［ｘ_１（ｋ），ｙ_１（ｋ）］^ＴおよびＸ_０（ｋ）＝［ｘ_０（ｋ），ｙ_０（ｋ）］^Ｔが、それぞれ、基準画像および変形される画像内のｋ番目の対応する特徴の真の座標を表し、ｋ＝１，２，・・・，Ｎ_１であるものとし、ここで、Ｎ_１は特徴の総数である。これらの特徴は、
Ｘ_１（ｋ）＝ｔ＋ＲＸ_０（ｋ）
によって与えられるアフィン変換によって結び付けられることができ、ここで、ｔ＝［ｔｘ，ｔｙ］^Ｔは、ｘ軸方向およびｙ軸方向の平行移動を示し、Ｒは、基準画像と変形される画像の間のアフィン変換行列であり、

によって与えられ、ここで、Ｒの４つの要素は、基準画像と変形される画像の間の回転、傾斜（ｓｋｅｗｉｎｇ）、せん断、および拡大縮小の組み合わせを包含する。Ｘ_Ａ（ｋ）＝［ｘ_Ａ（ｋ），ｙ_Ａ（ｋ）］^ＴおよびＸ_Ｂ（ｋ）＝［ｘ_Ｂ（ｋ），ｙ_Ｂ（ｋ）］^Ｔが、それぞれ、基準画像および変形される画像内の対応する特徴の測定された座標を表すものとする。特徴測定モデルは、
ｘ_Ａ（ｋ）＝ｘ_０（ｋ）＋ｎ_１（ｋ）
ｙ_Ａ（ｋ）＝ｙ_０（ｋ）＋ｎ_２（ｋ）
ｘ_Ｂ（ｋ）＝（１＋ｒ_１１）ｘ_０（ｋ）＋ｒ_１２ｙ_０（ｋ）＋ｔｘ＋ｎ_３（ｋ）
ｙ_Ｂ（ｋ）＝ｒ_２１ｘ_０（ｋ）＋（１＋ｒ_２２）ｙ_０（ｋ）＋ｔｙ＋ｎ_４（ｋ）
と表されることができ、ここで、ｎ_ｉ（ｉ＝１，２，３，４）は、平均が０で、分散がδ_１ ^２の白色ガウス雑音であると仮定される。上式は、行列の形式で、
ｘ（ｋ）＝Ａ（ｋ）η＋ｂ（ｋ）＋ｎ（ｋ）
と書き直されることができ、ここで、

であり、ここで、ｘ（ｋ）、ｎ（ｋ）、およびηは、それぞれ、測定値、雑音、および位置合わせパラメータのベクトルを示す。ｎ（ｋ）の共分散行列はδ_１ ^２Ｉに等しく、ここで、Ｉは単位行列である。

強度測定のレベルで、この例において、基準画像のサイズは、Ｍ_１×Ｍ_２である可能性がある。Ωが、基準画像と変形される画像の重なり合う領域を表すものとし、Ω内にＮ_２個の画素が存在する。基準画像内の画素の座標ｕ_０（ｉ，ｊ）＝［ｕ_０（ｉ），ｖ_０（ｊ）］^Ｔが与えられると、変形される画像内の対応する画素の座標ｕ_１（ｉ，ｊ）＝［ｕ_１（ｉ），ｖ_１（ｊ）］^Ｔは、
ｕ_１（ｉ，ｊ）＝ｔ＋Ｒｕ_０（ｉ，ｊ）
によって関連付けられることができ、ここで、やはり、ｔ＝［ｔｘ，ｔｙ］^Ｔは、ｘ軸方向およびｙ軸方向の平行移動を示し、Ｒは、基準画像と変形される画像の間のアフィン変換行列である。画素ｕ_０（ｉ，ｊ）およびｕ_１（ｉ，ｊ）の真の値がｆ_０（ｕ_０（ｉ，ｊ））およびｆ_１（ｕ_１（ｉ，ｊ））であるものとすると、それに対応して、画素ｕ_１（ｉ，ｊ）の測定グレー値（ｇｒａｙｖａｌｕｅ）は、
ｆ_Ａ（ｕ_１（ｉ，ｊ））＝ｆ_１（ｕ_１（ｉ，ｊ））＋ｎ_５（ｉ，ｊ）
と表されることができ、ここで、ｎ_５は、平均が０で、分散がδ_２ ^２の白色ガウス雑音である。

特徴のレベルと強度のレベルの両方の上記の測定モデルに基づいて、尤度関数は、

と書かれることができ、ここで、

である。

したがって、対数尤度関数は、利用可能な特徴／画素点の数に比例する重みをつけた２つの対数尤度関数ｌｏｇ（Ｌ_１）およびｌｏｇ（Ｌ_２）の和である可能性がある。

そのとき、コスト関数は、２つの対数尤度関数ｌｏｇ（Ｌ_１）およびｌｏｇ（Ｌ_２）の和である可能性があり、最小化され得る。コスト関数は、アフィン変換パラメータη、ならびに雑音パラメータδ_１ ^２およびδ_２ ^２の関数である。コスト関数の最小化は、それらのパラメータη、δ_１ ^２、およびδ_２ ^２の推定値をもたらす。パラメータη、δ_１ ^２、およびδ_２ ^２は、上で検討されたように、コスト関数を最小化するように変えられる。

利点の中でもとりわけ、本開示にしたがって構成されたシステムは、現実の画像データと仮想的な画像データの位置合わせを実行するための情報のレベルを自動的に選択することができる。強度のレベルの情報または特徴のレベルの情報が利用できないかまたは質が悪すぎる場合、本開示にしたがって構成されたシステムは、雑音がより少ないレベルを選択するように適合されることができる。強度のレベルのデータが利用できない場合、本開示にしたがって構成されたシステムは、特徴のレベルの位置合わせのために最大尤度の手法を使用するように適合されることができる。

図５は、本開示の少なくとも一部の例による、拡張現実における物体の位置合わせのための例示的なコンピュータプログラム製品３００を示す。プログラム製品３００は、信号を運ぶ媒体３０２を含み得る。信号を運ぶ媒体３０２は、たとえばプロセッサによって実行されるときに図１〜４に関して上で説明された機能の少なくとも一部を提供することができる１つまたは複数の命令３０４を含み得る。したがって、たとえば、システム１００を参照すると、プロセッサ１０８が、媒体３０２によってシステム１００に伝達された命令３０４に応答して、図４に示されたブロックのうちの１つまたは複数を開始することができる。

一部の実装形態において、信号を運ぶ媒体３０２は、それらに限定されないが、ハードディスクドライブ、コンパクトディスク（ＣＤ）、デジタルビデオディスク（ＤＶＤ）、デジタルテープ、メモリなどのコンピュータ可読媒体３０６を包含し得る。一部の実装形態において、信号を運ぶ媒体３０２は、それらに限定されないが、メモリ、読み出し／書き込み（Ｒ／Ｗ）ＣＤ、Ｒ／ＷＤＶＤなどの記録可能な媒体３０８を包含し得る。一部の実装形態において、信号を運ぶ媒体３０２は、それらに限定されないが、デジタルおよび／またはアナログ通信媒体（たとえば、光ファイバケーブル、導波管、有線通信リンク、無線通信リンクなど）などの通信媒体３１０を包含し得る。したがって、たとえば、プログラム製品３００は、ＲＦ信号を運ぶ媒体３０２によってシステム１００の１つまたは複数のモジュールに伝達される可能性があり、信号を運ぶ媒体３０２は、無線通信媒体３１０（たとえば、ＩＥＥＥ８０２．１１規格に準拠する無線通信媒体）によって伝達される。

図６は、本開示の少なくとも一部の実施形態による、拡張現実において物体の位置合わせを実行するように構成される一部の例示的なコンピューティングデバイス４００を示すブロック図である。ごく基本的な構成４０２において、概して、コンピューティングデバイス４００は、１つまたは複数のプロセッサ４０４およびシステムメモリ４０６を含む。メモリバス４０８が、プロセッサ４０４とシステムメモリ４０６の間の通信のために使用され得る。

所望の構成に応じて、プロセッサ４０４は、マイクロプロセッサ（μＰ）、マイクロコントローラ（μＣ）、デジタル信号プロセッサ（ＤＳＰ）、またはそれらの任意の組み合わせを含むがそれらに限定されない任意の種類であってよい。プロセッサ４０４は、１次キャッシュ４１０および２次キャッシュ４１２などの１つまたは複数のレベルのキャッシュ、プロセッサコア４１４、ならびにレジスタ４１６を含み得る。例示的なプロセッサコア４１４は、算術論理演算ユニット（ＡＬＵ）、浮動小数点演算ユニット（ＦＰＵ）、デジタル信号処理コア（ＤＳＰコア）、またはそれらの任意の組み合わせを含み得る。例示的なメモリコントローラ４１８が、プロセッサ４０４とともに使用されてもよく、または一部の実装形態においては、メモリコントローラ４１８は、プロセッサ４０４の内部部分である可能性がある。

所望の構成に応じて、システムメモリ４０６は、揮発性メモリ（ＲＡＭなど）、不揮発性メモリ（ＲＯＭ、フラッシュメモリなど）、またはそれらの任意の組み合わせを含むがそれらに限定されない任意の種類であってよい。システムメモリ４０６は、オペレーティングシステム４２０、１つまたは複数のアプリケーション４２２、およびプログラムデータ４２４を含み得る。アプリケーション４２２は、図１〜５に関して説明された機能を含む、本明細書において説明された機能のうちの１つまたは複数を実行するように構成され得る拡張現実における物体の位置合わせアルゴリズム４２６を含み得る。プログラムデータ４２４は、本明細書において説明された拡張現実における物体の位置合わせに有用である可能性がある位置合わせデータ４２８を含み得る。一部の実施形態において、アプリケーション４２２は、拡張現実における物体の位置合わせが行われ得るようにオペレーティングシステム４２０上でプログラムデータ４２４を用いて動作するように構成され得る。この説明された基本構成４０２は、図１１において内側の破線内のコンポーネントによって示される。

コンピューティングデバイス４００は、追加的な特徴または機能、ならびに基本構成４０２と任意の必要とされるデバイスおよびインターフェースとの間の通信を容易にするための追加的なインターフェースを含み得る。たとえば、バス／インターフェースコントローラ４３０が、ストレージインターフェースバス４３４を介した基本構成４０２と１つまたは複数のデータストレージデバイス４３２との間の通信を容易にするために使用され得る。データストレージデバイス４３２は、取り外し可能なストレージデバイス４３６、取り外し不可能なストレージデバイス４３８、またはそれらの組み合わせであってよい。取り外し可能なストレージデバイスおよび取り外し不可能なストレージデバイスの例は、いくつか例を挙げるとすれば、フレキシブルディスクドライブおよびハードディスクドライブ（ＨＤＤ）などの磁気ディスクデバイス、コンパクトディスク（ＣＤ）ドライブまたはデジタルバーサタイルディスク（ＤＶＤ）ドライブなどの光ディスクドライブ、ソリッドステートドライブ（ＳＳＤ）、ならびにテープドライブを含む。例示的なコンピュータストレージ媒体は、コンピュータ可読命令、データ構造、プログラムモジュール、またはその他のデータなどの情報を記憶するための任意の方法または技術で実装された揮発性および不揮発性の取り外し可能なおよび取り外し不可能な媒体を含み得る。

システムメモリ４０６、取り外し可能なストレージデバイス４３６、および取り外し不可能なストレージデバイス４３８は、コンピュータストレージ媒体の例である。コンピュータストレージ媒体は、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ、フラッシュメモリ、もしくはその他のメモリ技術、ＣＤ−ＲＯＭ、デジタルバーサタイルディスク（ＤＶＤ）、もしくはその他の光学式ストレージ、磁気カセット、磁気テープ、磁気ディスクストレージ、もしくはその他の磁気式ストレージデバイス、または所望の情報を記憶するために使用されることができ、コンピューティングデバイス４００によってアクセスされ得る任意のその他の媒体を含むがそれらに限定されない。任意のそのようなコンピュータストレージ媒体は、コンピューティングデバイス４００の一部である可能性がある。

コンピューティングデバイス４００は、バス／インターフェースコントローラ４３０を介したさまざまなインターフェースデバイス（たとえば、出力デバイス４４２、周辺インターフェース４４４、および通信デバイス４４６）から基本構成４０２への通信を容易にするためのインターフェースバス４４０も含み得る。例示的な出力デバイス４４２は、１つもしくは複数のＡ／Ｖポート４５２を介してディスプレイまたはスピーカなどのさまざまな外部デバイスと通信するように構成され得るグラフィックス処理ユニット４４８および音声処理ユニット４５０を含む。例示的な周辺インターフェース４４４は、１つまたは複数のＩ／Ｏポート４５８を介して入力デバイス（たとえば、キーボード、マウス、ペン、音声入力デバイス、タッチ入力デバイスなど）またはその他の周辺デバイス（たとえば、プリンタ、スキャナなど）などの外部デバイスと通信するように構成され得るシリアルインターフェースコントローラ４５４またはパラレルインターフェースコントローラ４５６を含む。例示的な通信デバイス４４６は、１つまたは複数の通信ポート４６４を介したネットワーク通信リンク上の１つまたは複数のその他のコンピューティングデバイス４６２との通信を容易にするように構成され得るネットワークコントローラ４６０を含む。

ネットワーク通信リンクは、通信媒体の一例である可能性がある。概して、通信媒体は、搬送波またはその他の搬送メカニズムなどの変調されたデータ信号内のコンピュータ可読命令、データ構造、プログラムモジュール、またはその他のデータによって具現化されることができ、任意の情報配信媒体を含み得る。「変調されたデータ信号」は、その信号の特徴のうちの１つまたは複数を、信号中に情報を符号化するような方法で設定または変更させる信号である可能性がある。限定ではなく例として、通信媒体は、有線ネットワークまたは直接有線接続などの有線媒体、ならびに音響、無線周波数（ＲＦ）、マイクロ波、赤外線（ＩＲ）、およびその他の無線媒体などの無線媒体を含み得る。本明細書において使用されるとき、用語「コンピュータ可読媒体」は、ストレージ媒体および通信媒体の両方を含み得る。

コンピューティングデバイス４００は、セル電話、携帯情報端末（ＰＤＡ）、パーソナルメディアプレイヤーデバイス、無線ウェブ閲覧デバイス、パーソナルハンドセットデバイス、特定用途向けデバイス、または上述の機能のうちの任意のものを含む複合デバイスなどの小型フォームファクタ携帯型（またはモバイル）電子デバイスの一部として実装され得る。また、コンピューティングデバイス４００は、ラップトップコンピュータ構成および非ラップトップコンピュータ構成の両方を含むパーソナルコンピュータとして実装され得る。

本開示は、さまざまな態様の例示として意図されている、本願に記載の特定の実施形態によって限定されてはならない。当業者に明らかであろうように、多くの修正および変更が、本開示の精神および範囲を逸脱することなしになされ得る。本明細書に列挙された方法および装置に加えて、本開示の範囲内の機能的に均等な方法および装置が、上述の説明から当業者に明らかであろう。そのような修正および変更は、添付の特許請求の範囲の範囲内に入るように意図される。本開示は、添付の特許請求の範囲に与えられた均等物の全範囲と併せた、そのような特許請求の範囲の請求項によってのみ限定されるべきである。本開示は、特定の方法、試薬、化合組成物、または生体システムに限定されず、これらはもちろん変わり得ることを理解されたい。本明細書において使用された用語は、特定の実施形態を説明することのみを目的としており、限定するように意図されていないことも理解されたい。

本明細書における実質的にすべての複数形および／または単数形の用語の使用に対して、当業者は、状況および／または用途に適切なように、複数形から単数形に、および／または単数形から複数形に変換することができる。さまざまな単数形／複数形の置き換えは、理解しやすいように、本明細書で明確に説明することができる。

通常、本明細書において、特に添付の特許請求の範囲（たとえば、添付の特許請求の範囲の本体部）において使用される用語は、全体を通じて「オープンな（ｏｐｅｎ）」用語として意図されていることが、当業者には理解されよう（たとえば、用語「含む（ｉｎｃｌｕｄｉｎｇ）」は、「含むがそれに限定されない（ｉｎｃｌｕｄｉｎｇｂｕｔｎｏｔｌｉｍｉｔｅｄｔｏ）」と解釈されるべきであり、用語「有する（ｈａｖｉｎｇ）」は、「少なくとも有する（ｈａｖｉｎｇａｔｌｅａｓｔ）」と解釈されるべきであり、用語「含む（ｉｎｃｌｕｄｅｓ）」は、「含むがそれに限定されない（ｉｎｃｌｕｄｅｓｂｕｔｉｓｎｏｔｌｉｍｉｔｅｄｔｏ）」と解釈されるべきである、など）。導入される請求項で具体的な数の記載が意図される場合、そのような意図は、当該請求項において明示的に記載されることになり、そのような記載がない場合、そのような意図は存在しないことが、当業者にはさらに理解されよう。たとえば、理解の一助として、添付の特許請求の範囲は、導入句「少なくとも１つの（ａｔｌｅａｓｔｏｎｅ）」および「１つまたは複数の（ｏｎｅｏｒｍｏｒｅ）」を使用して請求項の記載を導くことを含む場合がある。しかし、そのような句の使用は、同一の請求項が、導入句「１つまたは複数の」または「少なくとも１つの」および「ａ」または「ａｎ」などの不定冠詞を含む場合であっても、不定冠詞「ａ」または「ａｎ」による請求項の記載の導入が、そのように導入される請求項の記載を含む任意の特定の請求項を、単に１つのそのような記載を含む実施形態に限定する、ということを示唆していると解釈されるべきではない（たとえば、「ａ」および／または「ａｎ」は、「少なくとも１つの」または「１つまたは複数の」を意味すると解釈されるべきである）。同じことが、請求項の記載を導入するのに使用される定冠詞の使用にも当てはまる。また、導入される請求項の記載で具体的な数が明示的に記載されている場合でも、そのような記載は、少なくとも記載された数を意味すると解釈されるべきであることが、当業者には理解されよう（たとえば、他の修飾語なしでの「２つの記載（ｔｗｏｒｅｃｉｔａｔｉｏｎｓ）」の単なる記載は、少なくとも２つの記載、または２つ以上の記載を意味する）。さらに、「Ａ、ＢおよびＣ、などの少なくとも１つ」に類似の慣例表現が使用されている事例では、通常、そのような構文は、当業者がその慣例表現を理解するであろう意味で意図されている（たとえば、「Ａ、Ｂ、およびＣの少なくとも１つを有するシステム」は、Ａのみ、Ｂのみ、Ｃのみ、ＡおよびＢを共に、ＡおよびＣを共に、ＢおよびＣを共に、ならびに／またはＡ、Ｂ、およびＣを共に、などを有するシステムを含むが、それに限定されない）。「Ａ、Ｂ、またはＣ、などの少なくとも１つ」に類似の慣例表現が使用されている事例では、通常、そのような構文は、当業者がその慣例表現を理解するであろう意味で意図されている（たとえば、「Ａ、Ｂ、またはＣの少なくとも１つを有するシステム」は、Ａのみ、Ｂのみ、Ｃのみ、ＡおよびＢを共に、ＡおよびＣを共に、ＢおよびＣを共に、ならびに／またはＡ、Ｂ、およびＣを共に、などを有するシステムを含むが、それに限定されない）。２つ以上の代替用語を提示する事実上いかなる離接する語および／または句も、明細書、特許請求の範囲、または図面のどこにあっても、当該用語の一方（ｏｎｅｏｆｔｈｅｔｅｒｍｓ）、当該用語のいずれか（ｅｉｔｈｅｒｏｆｔｈｅｔｅｒｍｓ）、または両方の用語（ｂｏｔｈｔｅｒｍｓ）を含む可能性を企図すると理解されるべきであることが、当業者にはさらに理解されよう。たとえば、句「ＡまたはＢ」は、「Ａ」または「Ｂ」あるいは「ＡおよびＢ」の可能性を含むことが理解されよう。

さらに、本開示の特徴または態様がマーカッシュグループ（Ｍａｒｋｕｓｈｇｒｏｕｐ）によって説明される場合、当業者は、本開示が、それによって、マーカッシュグループの任意の個々の構成要素または構成要素の部分グループによっても説明されることを認めるであろう。

当業者に理解されるであろうように、書面で説明するという観点など、任意のおよびすべての趣旨で、本明細書で開示されたすべての範囲は、それらの範囲の任意のおよびすべてのあり得る部分的な範囲および部分的な範囲の組み合わせも包含する。どの記載された範囲も、同じ範囲が少なくとも２等分、３等分、４等分、５等分、１０等分などに分割されることを十分に説明し、そのように分割されることを可能にすると容易に認識され得る。非限定的な例として、本明細書において検討された各範囲は、下３分の１、真ん中３分の１、および上３分の１などに容易に分割され得る。当業者にやはり理解されるであろうように、「最大で〜まで」、「少なくとも〜」、「〜よりも大きい」、「〜よりも小さい」などのすべての言い回しは、記載された数を含み、上で検討されたように部分的な範囲に続けて分割され得る範囲を指す。最後に、当業者に理解されるであろうように、範囲は、それぞれの個々の構成要素を含む。したがって、たとえば、１〜３個のセル（ｃｅｌｌ）を有する群は、１個、２個、または３個のセルを有する群を指す。同様に、１〜５個のセルを有する群は、１個、２個、３個、４個、または５個のセルを有する群を指し、以下同様である。

さまざまな態様および実施形態が本明細書において開示されたが、その他の態様および実施形態が、当業者には明らかになるであろう。本明細書において開示されたさまざまな態様および実施形態は、例示を目的としており、限定するように意図されておらず、その真の範囲および精神は、以下の特許請求の範囲によって示される。

Claims

拡張現実システムにおいて現実の物体に関するデータと仮想的な物体に関するデータを位置合わせするための方法であって、
前記現実の物体に関する検出された画像データをプロセッサで受信することと、
前記拡張現実システムにおける前記仮想的な物体を示す仮想的な物体のデータを前記プロセッサで受信することと、
前記プロセッサによって、前記仮想的な物体のデータおよび前記検出された画像データに基づいて強度のレベルの対数尤度関数を生成することと、
前記プロセッサによって、前記仮想的な物体のデータおよび前記検出された画像データに基づいて特徴のレベルの対数尤度関数を生成することと、
前記プロセッサによって、前記強度のレベルの対数尤度関数に第１の重みを適用して強度のレベルの重みづけされた対数尤度関数を生成することと、
前記プロセッサによって、前記特徴のレベルの対数尤度関数に第２の重みを適用して特徴のレベルの重みづけされた対数尤度関数を生成することと、
前記プロセッサによって、前記強度のレベルの重みづけされた対数尤度関数を前記特徴のレベルの重みづけされた対数尤度関数に加えてコスト関数を生成することと、
前記プロセッサによって、前記検出された画像データを前記仮想的な物体のデータと位置合わせするのに使用される、前記検出された画像データに対する変換パラメータを、前記コスト関数に基づいて決定することとを含む、方法。
前記プロセッサによって、前記変換パラメータを用いて前記検出された画像データを前記仮想的な物体のデータと位置合わせして、増強された画像を生成することをさらに含む請求項１に記載の方法。
ディスプレイに前記増強された画像を表示することをさらに含み、前記ディスプレイ上の前記増強された画像は、前記拡張現実システムにおける前記仮想的な物体を示す、請求項２に記載の方法。
前記プロセッサによって、前記検出された画像データに対する変換パラメータを決定することは、前記コスト関数を最小化することを含む請求項１に記載の方法。
前記プロセッサによって、前記検出された画像データに対する位置合わせパラメータを決定することは、前記プロセッサによって、前記コスト関数の前記変換パラメータおよび雑音パワーパラメータが固定されている間に前記コスト関数の特徴の座標を推定することをさらに含む請求項１に記載の方法。
前記プロセッサによって、前記検出された画像データに対する位置合わせパラメータを決定することは、前記プロセッサによって、前記コスト関数の前記特徴の座標の最新の推定値を用いて前記コスト関数の前記変換パラメータを推定することをさらに含む請求項１に記載の方法。
前記プロセッサによって、前記検出された画像データに対する位置合わせパラメータを決定することは、前記プロセッサによって、前記コスト関数の雑音パワーパラメータの推定値を更新することと、前記雑音パワーパラメータの前記推定値を前記コスト関数に代入することとをさらに含む請求項１に記載の方法。
前記プロセッサによって、前記検出された画像データに対する位置合わせパラメータを決定することは、
前記コスト関数を最小化することと、
前記コスト関数が収束すると判定されるまで、以下、すなわち、
前記プロセッサによって、前記コスト関数の前記変換パラメータおよび雑音パワーパラメータが固定されている間に前記コスト関数の特徴の座標を推定すること、
前記プロセッサによって、前記コスト関数の前記特徴の座標の最新の推定値を用いて前記コスト関数の前記変換パラメータを推定すること、ならびに
前記プロセッサによって、前記コスト関数の前記雑音パワーパラメータの推定値を更新すること、および前記雑音パワーパラメータの前記推定値を前記コスト関数に代入することを繰り返すこととを含む請求項１に記載の方法。
前記第１の重みおよび前記第２の重みが、前記検出された画像データ内の画素の数に基づく請求項１に記載の方法。
前記第１の重みおよび前記第２の重みが、前記検出された画像データ内の雑音パワーに基づく請求項１に記載の方法。
前記強度のレベルの対数尤度関数を生成すること、および前記特徴のレベルの対数尤度関数を生成することは、ガウス雑音モデルを使用することを含む請求項１に記載の方法。
前記強度のレベルの対数尤度関数を生成すること、および前記特徴のレベルの対数尤度関数を生成することは、アフィン変換モデル、剛体変換モデル、または弾性変換モデルのうちの少なくとも１つである画像変換モデルを使用することを含む請求項１に記載の方法。
前記特徴のレベルの対数尤度関数は、前記検出された画像データ内のエッジに基づく請求項１に記載の方法。
請求項１に記載の方法を実装するためのデバイスであって、
プロセッサと、
前記プロセッサと通信するように構成されたメモリとを含み、
前記プロセッサは、
前記現実の物体に関する検出された画像データを受信し、
前記拡張現実システムにおける前記仮想的な物体に関連する仮想的な物体のデータを受信し、
前記仮想的な物体のデータおよび前記検出された画像データに基づいて強度のレベルの対数尤度関数を生成し、
前記仮想的な物体のデータおよび前記検出された画像データに基づいて特徴のレベルの対数尤度関数を生成し、
前記強度のレベルの対数尤度関数に第１の重みを適用して強度のレベルの重みづけされた対数尤度関数を生成し、
前記特徴のレベルの対数尤度関数に第２の重みを適用して特徴のレベルの重みづけされた対数尤度関数を生成し、
前記強度のレベルのデータの重みづけされた対数尤度関数を前記特徴のレベルの重みづけされた対数尤度関数に加えてコスト関数を生成し、
前記検出された画像データを前記仮想的な物体のデータと位置合わせするのに使用される、前記検出された画像データに対する変換パラメータを、前記コスト関数に基づいて決定し、
前記変換パラメータを前記メモリに記憶することに使用される、デバイス。
前記プロセッサが、さらに、前記変換パラメータを用いて前記検出された画像データを前記仮想的な物体のデータと位置合わせして、増強された画像データを生成することに使用される請求項１４に記載のデバイス。
前記プロセッサと通信するように構成されたディスプレイをさらに含み、前記ディスプレイは、前記増強された画像データを表示することに使用され、前記増強された画像データは、前記拡張現実システムにおける前記仮想的な物体を示す請求項１５に記載のデバイス。
前記プロセッサが、さらに、
前記コスト関数を最小化し、
前記コスト関数が収束すると判定されるまで、以下、すなわち、
前記コスト関数の前記変換パラメータおよび雑音パワーパラメータが固定されている間に前記コスト関数の特徴の座標を推定すること、
前記コスト関数の前記特徴の座標の最新の推定値を用いて前記コスト関数の前記変換パラメータを推定すること、ならびに
前記コスト関数の前記雑音パワーパラメータの推定値を更新すること、および前記雑音パワーパラメータの前記推定値を前記コスト関数に代入することを繰り返すのに使用される請求項１４に記載のデバイス。
前記第１の重みおよび前記第２の重みが、前記検出された画像データ内の画素の数に基づく請求項１４に記載のデバイス。
前記第１の重みおよび前記第２の重みが、前記検出された画像データ内の雑音パワーに基づく請求項１４に記載のデバイス。
請求項１に記載の方法を実行するのに使用されるシステムであって、
プロセッサと、
前記プロセッサと通信するように構成されたセンサーであって、前記現実の物体に関する検出された画像データを検出し、前記検出された画像データをセンサーから前記プロセッサに送信するのに使用される、センサーと、
前記プロセッサと通信するように構成されたメモリと、
前記プロセッサと通信するように構成されたディスプレイとを含み、
前記プロセッサは、
前記検出された画像データを受信し、
前記拡張現実における前記仮想的な物体に関連する仮想的な物体のデータを受信し、
前記仮想的な物体のデータおよび前記検出された画像データに基づいて強度のレベルの対数尤度関数を生成し、
前記仮想的な物体のデータおよび前記検出された画像データに基づいて特徴のレベルの対数尤度関数を生成し、
前記強度のレベルの対数尤度関数に第１の重みを適用して強度のレベルの重みづけされた対数尤度関数を生成し、
前記特徴のレベルの対数尤度関数に第２の重みを適用して特徴のレベルの重みづけされた対数尤度関数を生成し、
前記強度のレベルの重みづけされた対数尤度関数を前記特徴のレベルの重みづけされた対数尤度関数に加えてコスト関数を生成し、
前記検出された画像データを前記仮想的な物体のデータと位置合わせするのに使用される、前記検出された画像データに対する変換パラメータを、前記コスト関数に基づいて決定し、
前記変換パラメータを前記メモリに記憶し、
前記変換パラメータを用いて前記検出された画像データを前記仮想的な物体のデータと位置合わせして、増強された画像データを生成するのに使用され、
前記ディスプレイは、前記増強された画像データを表示するのに使用される、システム。
前記プロセッサが、さらに、
前記コスト関数を最小化し、
前記コスト関数が収束すると判定されるまで、以下、すなわち、
前記コスト関数の前記変換パラメータおよび雑音パワーパラメータが固定されている間に前記コスト関数の特徴の座標を推定すること、
前記コスト関数の前記特徴の座標の最新の推定値を用いて前記コスト関数の前記変換パラメータを推定すること、ならびに
前記コスト関数の前記雑音パワーパラメータの推定値を更新すること、および前記雑音パワーパラメータの前記推定値を前記コスト関数に代入することを繰り返すのに使用される請求項２０に記載のシステム。
前記第１の重みおよび前記第２の重みが、前記検出された画像データ内の画素の数に基づく請求項２０に記載のシステム。
前記第１の重みおよび前記第２の重みが、前記検出された画像データ内の雑音パワーに基づく請求項２０に記載のシステム。
請求項２０のシステムを実装するための方法であって、
前記現実の物体に関する検出された画像データをセンサーによって検出することと、
前記検出された画像データを前記センサーからプロセッサに送信することと、
前記プロセッサによって前記検出された画像データを受信することと、
前記拡張現実システムにおける前記仮想的な物体を示す仮想的な物体のデータを前記プロセッサで受信することと、
前記プロセッサによって、前記仮想的な物体のデータおよび前記検出された画像データに基づいて強度のレベルの対数尤度関数を生成することと、
前記プロセッサによって、前記仮想的な物体のデータおよび前記検出された画像データに基づいて特徴のレベルの対数尤度関数を生成することと、
前記プロセッサによって、前記強度のレベルの対数尤度関数に第１の重みを適用して強度のレベルの重みづけされた対数尤度関数を生成することと、
前記プロセッサによって、前記特徴のレベルの対数尤度関数に第２の重みを適用して特徴のレベルの重みづけされた対数尤度関数を生成することと、
前記プロセッサによって、前記強度のレベルの重みづけされた対数尤度関数を前記特徴のレベルの重みづけされた対数尤度関数に加えてコスト関数を生成することと、
前記プロセッサによって、前記検出された画像データを前記仮想的な物体のデータと位置合わせするのに使用される、前記検出された画像データに対する変換パラメータを、前記コスト関数に基づいて決定することと、
前記プロセッサによって、前記変換パラメータを用いて前記検出された画像データを前記仮想的な物体のデータと位置合わせして、増強された画像データを生成することと、
ディスプレイに前記増強された画像データを表示することであって、前記増強された画像データは、前記拡張現実システムにおける前記仮想的な物体を示す、表示することとを含む、方法。
前記プロセッサによって、前記検出された画像データに対する変換パラメータを決定することは、
前記コスト関数を最小化することと、
前記コスト関数が収束すると判定されるまで、以下、すなわち、
前記プロセッサによって、前記コスト関数の前記変換パラメータおよび雑音パワーパラメータが固定されている間に前記コスト関数の特徴の座標を推定すること、
前記プロセッサによって、前記コスト関数の前記特徴の座標の最新の推定値を用いて前記コスト関数の前記変換パラメータを推定すること、ならびに
前記プロセッサによって、前記コスト関数の前記雑音パワーパラメータの推定値を更新すること、および前記雑音パワーパラメータの前記推定値を前記コスト関数に代入することを繰り返すこととを含む請求項２４に記載の方法。
前記第１の重みおよび前記第２の重みが、前記検出された画像データ内の画素の数に基づく請求項２４に記載の方法。
前記第１の重みおよび前記第２の重みが、検出された画像データ内の雑音パワーに基づく請求項２４に記載の方法。
コンピューティングデバイスによって実行されるときに、前記コンピューティングデバイスを請求項１に記載の方法を実行するように適合させるコンピュータが実行可能な命令を記憶するコンピュータストレージ媒体であって、前記方法は、
前記現実の物体に関する検出された画像データをプロセッサで受信することと、
前記拡張現実システムにおける前記仮想的な物体を示す仮想的な物体のデータを前記プロセッサで受信することと、
前記プロセッサによって、前記仮想的な物体のデータおよび前記検出された画像データに基づいて強度のレベルの対数尤度関数を生成することと、
前記プロセッサによって、前記仮想的な物体のデータおよび前記検出された画像データに基づいて特徴のレベルの対数尤度関数を生成することと、
前記プロセッサによって、前記強度のレベルの対数尤度関数に第１の重みを適用して強度のレベルの重みづけされた対数尤度関数を生成することと、
前記プロセッサによって、前記特徴のレベルの対数尤度関数に第２の重みを適用して特徴のレベルの重みづけされた対数尤度関数を生成することと、
前記プロセッサによって、前記強度のレベルの重みづけされた対数尤度関数を前記特徴のレベルの重みづけされた対数尤度関数に加えてコスト関数を生成することと、
前記プロセッサによって、前記検出された画像データを前記仮想的な物体のデータと位置合わせするのに使用される、前記検出された画像データに対する変換パラメータを、前記コスト関数に基づいて決定することとを含む、コンピュータストレージ媒体。
前記方法は、
前記コスト関数を最小化することと、
前記コスト関数が収束すると判定されるまで、以下、すなわち、
前記プロセッサによって、前記コスト関数の前記変換パラメータおよび雑音パワーパラメータが固定されている間に前記コスト関数の特徴の座標を推定すること、
前記プロセッサによって、前記コスト関数の前記特徴の座標の最新の推定値を用いて前記コスト関数の前記変換パラメータを推定すること、ならびに
前記プロセッサによって、前記コスト関数の前記雑音パワーパラメータの推定値を更新すること、および前記雑音パワーパラメータの前記推定値を前記コスト関数に代入することを繰り返すこととをさらに含む請求項２８に記載のコンピュータ可読ストレージ媒体。