JP4484863B2 - 拡張現実感システムにおける不正確情報を決定する方法及びシステム - Google Patents

Description

本発明は、拡張現実感システム（ａｕｇｍｅｎｔｅｄ ｒｅａｌｉｔｙ ｓｙｓｔｅｍ）において、仮想情報のデータモデルを適当な位置に位置決めする際に、不正確情報を決定する方法に関連している。これを実行する際に、データモデルはディスプレイ装置の像として、現実の環境における視覚的な印象を加味して投影される。さらに、本発明は、拡張感現実システムにおいて、仮想情報のデータモデルを適当な位置に位置決めする際に、不正確情報を決定するシステムに関連している。

先行技術によって、いわゆる拡張現実感システムが開示されている。これらのシステムによって、コンピュータによって生成された仮想情報を、現実の環境の視覚的な情報と重ね合わせることが可能になる。この目的のために、現実の世界の視覚的な印象は、例えばユーザの頭に着用された半伝播的なデータ眼鏡（ｄａｔａ ｇｌａｓｓｅｓ）によって、仮想の情報と混合される。仮想情報或いは対象物の混合は、状況に依存した方式、すなわちそれぞれの現実の環境に合わせた或いはそれぞれの現実の環境から得られた方式によって果たされる。仮想情報としては、基本的には任意の形式のデータ（テキスト、画像等）を用いることができる。現実の環境は、例えばユーザの頭に携さえられたカメラを用いることよって検知される。生産環境における拡張現実感システムに可能な応用例は、ドイツ特許公開公報ＤＥ １０１ ２８ ０１５ Ａ１（特許文献１）に示されている。後者は、生産産業の分野において、生産環境を改めるための計画を立てるための拡張現実感システムを記述している。

さらに、拡張現実感システムにおける測定方法として知られているものがある。これに関するものとして、例えば、仮想対象物の絶対的な位置についての記述は、カメラビューにおいて生成される。これに加えて、仮想対象物の相対的な位置、例えば現実の対象物に関する相対的な位置についての記述も、カメラビューによって生成されると考えられる。記述がなされる構造は、好ましくは点又は平面で、手動で選択される。これは、例えばユーザがカメラビューから望みの構造を選択することによって、都合の良い場合は画像の対応する位置をマウスでクリックすることによって、対応する3次元の座標を示すことによって或いは仮想平面の定義によって果たされる。現実の対象物の場合、この選択への基準は、画像中の同じ物の２次元投影で、仮想対象物の場合、その上に重ね合わされた現実の環境を持った同じ物の３次元表現である。

測定の記述の正確さは、カメラビューにおける仮想対象物の実際の位置と基準位置或いは理想の位置との間のずれによって決まる。基準位置とは、完全に計算された仮想の世界における仮想対象物の位置、即ち現実の世界の正確な像に対応している。従って、仮想対象物の基準位置は、カメラ画像の中の現実の対応する物の位置そのものである。実際の位置のずれは、不正確さによる因子によって生じる。

さらに、先行技術によって、測定結果の不正確さを示し又決定する方法が明らかにされている。特に、ドイツ産業標準（“ＤＩＮ”）ＥＮＶ １３００５，“Ｌｅｉｔｆａｄｅｎ ｚｕｒ Ａｎｇａｂｅ ｄｅｒ Ｕｎｓｉｃｈｅｒｈｅｉｔ ｂｅｉｍ Ｍｅｓｓｅｎ”（“Ｇｕｉｄｌｉｎｅ ｆｏｒ ｉｎｄｉｃａｔｉｎｇ ｕｎｃｅｒｔａｉｎｔｙ ｉｎ ｍｅａｓｕｒｉｎｇ”），ドイツ版ＥＮＶ１３００５：１９９９には、測定の不正確さを示し又決定する国際的に一律な手順を推奨する目的の指針が示されている。このＤＩＮ標準は、一般の技術分野における測定の不正確さの指示と決定に関連している。そこでは不正確さは、測定結果に関連したパラメータと理解される。このパラメータは、測定量に適度に関連した値の変動を定義する。パラメータは一定の信頼レベルを保持した範囲内の標準的なずれである。この点についての詳細は、前述のＤＩＮ標準に記載されている。

拡張現実感システムにおける前述の不正確さの為、一般的に仮想対象物の位置決めは不正確になる。仮想対象物の実際の位置は基準位置からずれるということが知られているため、測定の記述は概算と言う形でのみ可能である。しかしこれは、ＤＩＮ標準の要求を不十分な形でしか満たさない。この点で、先行技術において知られているシステムは、測定結果の不確実性を記述することができないと言う不利益を伴っている。測定結果が単に実際の値の見積もりであるなら、測定結果の表示は、ＤＩＮ標準に明記されているように、見積もり値の不確実性の表示が行なわれている場合においてのみ完全になる。

“ア サーベイ オブ オーグメンティッド リアリティ（Ａ Ｓｕｒｖｅｙ ｏｆ Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）”（ロナルド ティー．アズマ，ハッジズ リサーチ ラボラトリーズ（Ｒｏｎａｌｄ Ｔ． Ａｚｕｍａ，Ｈｕｄｇｅｓ Ｒｅｓｅａｒｃｈ Ｌａｂｏｒａｔｏｒｉｅｓ）（１９９５），１〜４０頁）（非特許文献１）には、拡張現実感システムと同様に、拡張現実感（ａｕｇｍｅｎｔｅｄ ｒｅａｌｉｔｙ）を主題とする調査が示され、仮想情報のデータモデルが投影される際のトラッキングと登録についても議論されている。さらに、前記文献は、拡張現実感システムにおける登録誤差となる静的又は動的な誤差源についても触れている。

“ローバスト ヴィジュアル トラッキング フォー ノン−インスツルメンティド（Ｒｏｂｕｓｔ Ｖｉｓｕａｌ Ｔｒａｃｋｉｎｇ ｆｏｒ Ｎｏｎ−Ｉｎｓｔｒｕｍｅｎｔｅｄ Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）”（ジョージ クライン，トム ドラモンド（Ｇｅｏｒｇ Ｋｌｅｉｎ，Ｔｏｍ Ｄｒｕｍｍｏｎｄ），アイエスエムエイイアール（ＩＳＭＡＲ）‘０３，２００３，１〜１０頁，１１３〜１２２頁）（非特許文献２）にも、拡張現実感システムにおける登録誤差に関する記述がある。この文献では、特に動的モデルにおけるモーションブラー（ｍｏｔｉｏｎ ｂｌｕｒ）によって引き起こされる誤差の補償を扱っている。前記文書に記述されている誤差の訂正は、特に対象物の（仮想の）再投影と映像表示画面上の実際の対象物との重ね合わせに関する物である。ここでの訂正は、２次元の登録誤差を低く保ち、重ね合わせを光学的に最適化することを目標としている。
ＤＥ １０１ ２８ ０１５ Ａ１ "ア サーベイ オブ オーグメンティッド リアリティ（Ａ Ｓｕｒｖｅｙ ｏｆ Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）"（ロナルド ティー．アズマ，ハッジズ リサーチ ラボラトリーズ（Ｒｏｎａｌｄ Ｔ． Ａｚｕｍａ，Ｈｕｄｇｅｓ Ｒｅｓｅａｒｃｈ Ｌａｂｏｒａｔｏｒｉｅｓ）（１９９５），１〜４０頁） "ローバスト ヴィジュアル トラッキング フォー ノン−インスツルメンティド（Ｒｏｂｕｓｔ Ｖｉｓｕａｌ Ｔｒａｃｋｉｎｇ ｆｏｒ Ｎｏｎ−Ｉｎｓｔｒｕｍｅｎｔｅｄ Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）"（ジョージ クライン，トム ドラモンド（Ｇｅｏｒｇ Ｋｌｅｉｎ，Ｔｏｍ Ｄｒｕｍｍｏｎｄ），アイエスエムエイイアール（ＩＳＭＡＲ）‘０３，２００３，１〜１０頁，１１３〜１２２頁）

上述より、拡張現実感システムにおいて、仮想情報のデータモデルの位置決めに関し相対的に厳密な不正確な情報を決定する方法を提供することが、本発明の目的である。更に、不正確な情報を決定するためのシステムを提供することが、本発明の目的である。

本発明による、拡張現実感システムにおける仮想情報のデータモデルの位置決めに関する不正確情報を決定する方法において、不正確情報は、データモデルを映像表示画面に投影する際の写像計算過程におけるパラメータを基本として計算される。拡張現実感システムによって、データモデルは現実環境の視覚的な印象と混合するために、ディスプレイ装置の映像表示画面に投影される。

従って、本発明によって、拡張現実感システムにおけるデータモデルの位置決めに関する相対的に厳密な不正確情報を決定する方法を提供することができる。不正確情報はその状況に適合され、その状況についての不正確な記述に影響を持ったパラメータに依存すると考えられる。このような不正確情報によって、反対に対応する正確さについての記述を決定することができる。本発明によると、これらパラメータは、データモデルがディスプレイ装置の映像表示画面に投影される際の写像計算過程で用いられ、決定的であると認識され、特に仮想データモデルを位置決めするのに役立つ仮想座標系の定義からの写像計算過程におけるものである。例えば、２つの構造の間の相対的なずれが確認されると、これらのパラメータはずれが存在する２つの構造（望ましいものとして点や領域）をもたらす写像計算過程から与えられる。この点で、基準位置は映像表示画面上の現実の３次元構造と、それによるゆがみのカメラ画像である。実際の位置は、位置決めされた仮想３次元構造の２次元の投影である。これらの測定は、デジタル画像上で実行されるという事実の為、本発明の実施形態によると、基準位置と実際の位置の両方の構造はピクセル精度で記述されるように変換される。

ある実施形態によると、例えば、現実の環境の少なくとも一部の画像は、仮想データモデルと混合する為に、カメラによって撮られる。別の実施形態では、いわゆる透過型拡張現実感システムが用いられる。ここでは、特に透過型拡張現実感システムの２つの変動の間で区別がなされる。ビデオ透過型拡張現実感の場合、ビデオスクリーンがユーザの目の前に置かれ、現実と仮想の視覚的印象が混合される。光学的な透過の場合、このような混合は、いわゆる光学ミキサによってなされる。光学ミキサとは、ユーザの目の前に置かれる半透明のディスプレイ装置で、現実の世界はデバイスの透明性によって見ることができ、仮想情報との重ね合わせはディスプレイ装置の透明性によって果たされる。

本発明による方法は、例えば生産産業に応用することができる。例えば、存在する生産物に対して、これまで仮想モデルの形でしか利用できなかった新しい操作手段や、生産物が利用可能であるかどうかを確認することができる。多くの生産環境に対して、利用可能な完全で正しいモデルは存在しないので、このような視覚情報の拡張に基づく拡張現実感システムを、そのような調査に対して上手く適応させることができる。生産環境の現実の状況を操作手段や生産物の仮想モデルと重ね合わせる際に、例えばマーカが、現実の対象物が後から挿入される場所に適応される。それから仮想データモデルが、このように定義された仮想世界座標系に関して位置決めされると考えられる。本実施形態によると、このような仮想データモデルは、一般的にそれ自身のモデル座標系を保持している。車体に対する応用には、例えばこのようなモデル座標系の原点は、モデルの前方車軸の車輪間に位置する。データモデルの位置決めは、仮想世界座標系とモデル座標系の間の変換によって付加的に果たされる。

現実の生産或いは設備環境における使用の試験に対して、測定は生産環境内の関心のある場所において行なわれる。このために、カメラによって現実の環境の少なくとも一部の写真或いは画像が撮られ、ユーザは、例えば、特に関心のある配置や機能を持った仮想データモデル上の点を選択する。仮想データモデルの厳密な位置決めによって、データモデルの実際の位置の基準（理想の）位置からのずれが確認されると思われる。

不正確情報を厳密に決定するために、特に次の影響を及ぼす因子が本発明に従って確認される：まず第一に仮想世界の座標系の決定に関する不確実性、同様にカメラパラメータの決定に関する不確実性と仮想世界座標系に関して、仮想データモデルを相対的に位置決めする際に生じる不確実性である。

一般的に仮想世界座標系の決定は、トラッキングシステムのデータに基づいて実行される。ここで、先行技術によって拡張現実感システムに関連して用いられる種々のトラッキングシステムが明らかにされる。これらのトラッキングシステムは、例えば光学センサ、磁気センサ、慣性センサ或いはそれらの組み合わせに基づいている。拡張現実感システムにおいて行なわれる事は、現実の世界についてのユーザの視野と、指示された全体座標系及び仮想世界座標系の間の変換の決定とについての記述を生成することである。例えばマーカに基づく光学トラッキングの場合、全体座標系は特にカメラ座標系に対応し、決定された変換は全体座標系をマーカによって定義された仮想世界座標系に変換する。そのため、視覚的な情報拡張項目は、定義された仮想世界座標系に基づいてカメラビューに位置決めされる。

本発明の実施形態によると、写像計算過程は、前述の特定の位置にあるデータモデルを表示するのに役立つトラッキング情報を得るためのトラッキングシステムを用いることによって実行される。本発明による方法は以下の工程から構成される。即ち、トラッキングシステムのデータを処理する工程、カメラパラメータに関する情報を与えるカメラキャリブレーションのデータを処理する工程、仮想座標系、特に仮想世界座標系或いはモデル座標系に関してデータモデルの表現に関する情報を与える情況特定データを処理する工程である。

カメラキャリブレーションのデータの処理に関するこれらの工程は、透過型キャリブレーションのデータが同様に所有されていて、透過型ディスプレイ装置のパラメータに関する情報を与える透過型ディスプレイ装置に関しても同様に実行される。このようなキャリブレーションによって、パラメータは既知の方式で確認され、これらに基づいて、データモデルは透過型ディスプレイ装置内で混合される。このようなパラメータは、特に現実の環境の画像がどのような方式で透過型ディスプレイ装置、例えば半透明のデータ眼鏡に表示されるかを特定する。

カメラキャリブレーションとカメラパラメータに関して前述及び後述の記述は、カメラとカメラキャリブレーションの代わりに利用される透過型ディスプレイ装置にも同様な方式で適用できる。

特に、トラッキングシステムのデータはトラッキングシステムの測定の不正確さに関する情報を含み、カメラキャリブレーションのデータはカメラキャリブレーションの測定の不正確さに関する情報を含み、状況特定データは仮想座標系に関してデータモデルの表現の不正確さに関する情報を含んでいる。

更に本発明の実施形態によると、変動を定義する不確実性に関する情報は、不正確情報として生成される。それに加えて、誤差値を含んだ不正確情報が生成されると考えられる。従って、測定結果の完全な表示に対して、測定結果の関連する不確実性が表示されると考えられる。本発明によるシステムと方法によると、測定結果に対応する不確実性と誤差を計算することにより、測定結果の完全な表示が可能となる。

更に本発明の実施形態によると、本発明による方法とシステムによって決定される不正確情報は、データモデルの点、外形、或いは領域の絶対位置に関する記述を含むと考えられる。それに加えて或いはその代わりに、不正確情報はデータモデルの点、外形、或いは領域の他の構造に関する相対的な位置に関する記述を含んでいると考えられる。

本発明の更なる実施形態と効果については、請求項の従属項において示されている。

本発明は、拡張現実感システムにおける、仮想情報のデータモデルを位置決めする不正確情報を決定するための方法及びシステムを提供する。不正確情報はその状況に適合され、その状況についての不正確さの記述に影響を持ったパラメータに依存すると考えられる。このような不正確情報によって、反対に対応する正確さについての記述を決定することができる。本発明によると、これらのパラメータは、データモデルがディスプレイ装置の映像表示画面に投影される際の写像計算過程で用いられ、決定的であると認識され、特に仮想データモデルを位置決めするのに役立つ仮想座標系の定義からの写像計算過程におけるものである。例えば、２つの構造の間の相対的なずれが確認されると、これらのパラメータはずれが存在する２つの構造（望ましくは点や領域）をもたらす写像計算過程から与えられる。この点で、基準位置は映像表示画面上の現実の３次元構造とそれによるゆがみのカメラ画像である。実際の位置は、位置決めされた仮想３次元構造の２次元の投影である。これらの測定はデジタル画像上で実行されるという事実の為、本発明の実施形態によると、基準位置と実際の位置の両方の構造は、ピクセル精度で記述されるように変換される。本発明による拡張現実感システムにおける不正確な情報を決定する方法及びシステムによって、拡張現実感システムにおけるデータモデルの位置決めに関する相対的に厳密な不正確情報を決定する方法を提供することができる。

図１は、実施形態に従って、拡張現実感システムにおける仮想情報のデータモデルを位置決めする過程のアウトラインを模式的に表す図である。カメラによって、現実の環境における興味の対象となる部分の写真や画像が撮られ、画像は例えば重ね合わされた仮想情報を保持するためのディスプレイ装置上に表示される。ディスプレイ装置の代わりに、前述の透過型ディスプレイを利用することも可能である。このような透過型ディスプレイ装置を用いると、データモデルは現実環境の少なくとも一部と混合される。従って、カメラに関する以下の記述では、カメラの代わりに透過型ディスプレイ装置を採用する。この明細書では、透過キャリブレーションという用語は、ユーザは透過を通してキャリブレーションを実行するので、一般的に光学的な透過のみに用いられている。ビデオ透過の場合、重ね合わせはカメラ画像中で行なわれるので、カメラキャリブレーションという用語はこの重ね合わせが行なわれる中で用いられる。

符号１０は全体座標を示しており、全体座標は前述の標識に基づく光学トラッキングの場合、カメラ座標系に対応する。全体座標系１０に関して変換１０−０（３次元並進と回転成分から成る）を決定することによって、仮想世界の座標系２０が定義される。それから仮想データモデルは、この定義された仮想世界の座標系２０を基本として、カメラビュー中に位置決めされると考えられる。しかしながら、この実施形態においては、モデル座標系３０は、仮想世界座標系２０からこのモデル座標系３０へ変換２０−０を付加することにより定義される。従って、データモデルの配置は、変換２０−０を付加することにより果たされる。関心ある測定の不正確な情報に対して、ユーザは、例えば点４０（関心のある点（ｐｏｉｎｔ ｏｆ ｉｎｔｅｒｅｓｔ）：ＰＯＩ）のような、仮想データモデル内の点や外形を選択する。このようなポイント４０は、変換３０−０を通してモデル座標系３０に関連して決定される。

図２は、実際の位置におけるデータモデルと基準位置との間の模式的な比較を示している。測定記述の正確さは、カメラビュー内の仮想データモデル１の実際の位置と基準位置との間のずれに基づいている。基準位置は完全に計算された仮想世界内のデータモデル１によって占められた位置に対応し、厳密な像になる。従って、仮想データモデル１の基準位置は、カメラビュー内の対応する物によって本当に占められる位置である。実際の位置のずれは、実際の対象物を位置決めする過程で与えられた不確実性による因子によって発生する。本発明によれば、そのような効果を持った以下に挙げる因子が認められる。即ち、

（１） 仮想世界の座標系を決定する不確実性、
（２） カメラパラメータを決定する不確実性、
（３） 仮想世界の座標系に関する仮想対象物の相対的な位置決めに関する不確実性、

である。

図１に関連して、仮想データモデルの相対的な位置決めは、一連の２つの変換によって有利に実行される。仮想世界の座標系２０に関連したモデル座標系３０の定義によって、座標系の原点と軸の傾きが有利な方式で決定される。仮想データモデルの位置決めは、モデル座標系３０の支援を用いてなされる。変換３０−０によって、任意の点４０が、測定を実行するために決定されると考えられる。

仮想世界の座標系２０を決定する不確実性は、変換１０−０の誤差１０−１と不確実性１０−２によって特徴付けられる。さらに、変換２０−０は、誤差２０−１と不確実性２０−２を含んでいる。さらに、モデル座標系３０から関心のある点４０への変換３０−０における変換は、誤差３０−１と不確実性３０−２を含み、これによって不正確さが生じる。

図３には、例えばスクリーンや半透明のデータ眼鏡のようなディスプレイ装置４の映像表示画面上の仮想データモデルを配置する過程を、模式的に表現するもう一つの図が示されている。点４０のデータモデルの選択された構造が、点４０をディスプレイ装置４の映像表示画面内の対応する点５０に配置した状態で示されている。対応する拡張現実感システムは、ディスプレイ装置４の映像表示画面上のデータモデルを位置決めして投影する手段で成り、図３では１つの均一な機能ブロックとして示されているカメラ２の形式及びデータ処理手段３の形式で存在する実施形態に従った手段を伴っている。この実施形態におけるデータ処理手段３は、不正確な情報を図４と図５に従ったモジュール４００の出力として計算する手段として、カメラ２と協動する。図４と図５に示されたモジュールは、データ処理装置３において対応する方法で実行される。同じ事が同様に、透過型ディスプレイ装置をデータ処理装置３と共同で利用する場合にも保たれる。

図３において、符号５０−０は、ＰＯＩ ２Ｄ ５０のミリメートルからピクセルへの変換を示している。この変換５０−０の為、ＰＯＩ ２Ｄはピクセル表現の形式で与えられる。この変換５０−０は、カメラキャリブレーションの誤差成分に基づく誤差５０−１と共に順番に与えられると考えられる。変換５０−０と誤差５０−１は、それぞれ同様に、カメラキャリブレーションの不確実性成分に基づいた不確実性５０−２と共に与えられる。同様な方式で、ＰＯＩ ３Ｄ ４０をＰＯＩ ２Ｄ ５０に投影する変換４０−０は、それぞれ誤差と不確実性と共に与えられる。投影変換４０−０は、カメラキャリブレーションの成分に基づいている。投影変換４０−０の誤差４０−１は、カメラキャリブレーションの誤差成分に基づいており、一方で不確実性４０−２はカメラキャリブレーションの不確実性の成分に基づいている。符号４１、５１及び６１は、ＰＯＩの対応する基準位置を示している。本発明の方法における不正確な測定の計算から近似されるずれは、ピクセル平面で表現され、図３の７０（Δｘ，Δｙ）で例示される。

図４は、発明の実施形態に従った拡張現実感システムにおけるデータモデルを位置決めする不正確情報を決定するフローチャートである。本発明による方法は、トラッキングシステムのデータ１００をカメラキャリブレーションのデータ２００及び状況特定データ３００と連結する測定の不確実性モジュール４００を介して実行され、その結果状況の不確実性を決定する。

以下のデータがモジュール１００、２００、３００から測定の不確実性モジュール４００へ供給される。

外部トラッキングシステム１００は、世界の現在ビューに関する情報を配信する：

− 全体座標系１０から仮想世界座標系２０に変換する変換１０−０が決定される。

− 記述は、選択的に変換誤差１０−１に関連している。

− 記述は、変換１０−０又は誤差１０−１の不確実性１０−２にそれぞれ関連している。

ここで不確実性は、測定量に関連した値の変動を特徴付ける測定結果に関連するパラメータであると理解される。パラメータは、前記DIN標準で決定されたように、一定の信頼レベルを保持した標準的なずれ又は範囲である。例えばパラメータは、外部トラッキングシステムの系統的な誤差の結果である誤差として基準される。例えば、外部トラッキングシステムが実際の値から特定の量だけずれている値を配信することが、確認される。この量が常にある大きさの範囲内にあるとき、この量は変換誤差として処理される。

カメラキャリブレーションモジュール２００は、使用されたカメラの情報を配信する：

− カメラ固有のパラメータ（例えば焦点距離）が確認される。

− 選択的にパラメータの誤差についての記述。

− これらのパラメータ又は誤差の不確実性についての記述。

モジュールの状況特定データ３００は、不確実な状況を決定する現在の配置の厳密な決定のために役立つ。これらのデータは、以下のものから成る：

− 仮想世界の座標系２０をモデル座標系３０に変換する変換２０−０。

− 不確実な記述が、モデル座標系３０で計算される選択点４０も記述している変換
３０−０
− 変換２０−０の誤差２０−１と変換３０−０の誤差３０−１についての選択的記述。

− この変換２０−０或いは前記誤差２０−１の不確実性２０−２と、この変換３０
０或いは前記誤差３０−１の不確実性３０−２についての記述。

モジュールの状況特定データ３００は、例えばユーザによって特定される。

モジュールのパラメータ化１００、２００、３００によって、状況の詳細な記述が可能となり、記述された配置に対する測定の不正確さについて、厳密な記述をすることが可能となる。基本的に測定の不確実性モジュール４００によって、２つの配置間の区別をすることができる。

最初の配置では、測定の不確実性は選択された点に対して（一般的には選択された構造に対して）決定される。この配置に対して、前述のリストに従ってパラメータが示される。本実施形態におけるモジュール４００の出力は、モジュール３００の記述に記載された点４０における測定誤差と、これに関連した測定の不確実性から成る。この結果に基づいて、選択された点が、ある確率で配置される信頼の持てる範囲が決定される。従って、点４１の絶対的な位置、即ち点４０の基準位置についての記述が生成される。

第２の配置では、測定の不確実性の決定が（例えば２点間で）なされる。その際、モジュール３００の入力が、２点のそれぞれに対して実行されなければならない。モジュール４００の出力は、２つの定義された点の間の測定誤差と関連する測定の不確実性に対応している。従って、点の間の相対的な位置（距離）の誤差及び不確実性についての記述が得られる。第１の配置と同様に、ここでも与えられたデータを基に信頼の持てる間隔が定義される。

図５は、発明の実施形態に従って、拡張現実感システムにおけるデータモデルの位置決めに関する不正確情報を決定するための詳細なフローチャートを示している。不正確情報は、測定の不確実性についての計算に対するモジュール４００の不確実性の記述６００の形式で出力される。ここで、不確実性の記述６００は、以下の伝播ステップを通して本質的に決定される。即ち、最初に３次元空間におけるデータモデルの選択された構造が決定される。この伝播ステップは、選択された構造に関する３次元空間中の伝播として参照される。この工程は、モジュール４００−１で行なわれる。その後、映像表示画面内のデータモデルの選択された構造の位置の不正確情報の投影が行なわれる。この工程は、モジュール４００−２で実行される。

特に３次元空間における位置の不正確さの決定に対して、不確実性１０−２及びトラッキングシステム１００の誤差１０−１のようなデータが処理される。これらのデータは、トラッキングシステムの測定の不正確情報を含んでいる。さらに、仮想座標システム２０、３０に関して、データモデルの表現の不正確さについての状況特定データが処理される。

これらの操作のより詳細な記述のために、測定の不正確さの計算モジュール４００の有効な実施形態を以下に説明する。トラッキングシステム１００の初期の誤差とその変動が、計算過程のいくつかのステップ間で伝播される。各ケースは同じ原則（誤差と不確実性の伝播についての原則）を利用する。

最初の点は、写像関数ｆを基本とする現在の伝播工程の写像である。それぞれの伝播工程において、この関数はｐ´上に構造ｐを写像する。不確実性の影響の無い完全な場合、この関数或いは写像は、

と与えられる。ここで

は付加的な変数（変数ベクトル）で、特定の伝播に影響を持っている。しかし、それぞれの変数には誤差ｅが有る為、この場合の写像は、

と与えられる。従って、それぞれの全体の伝播工程に対する誤差は、下記数４のように示される。

この点で、２つのケースには差異が存在する。

第１のケースにおいて誤差が存在する場合、不確実性ｊ０−２は誤差ｊ０−１の不確実性であり（ｊ＝１，．．．，５は実施形態を表す）、下記数５となる。

３次元空間における誤差の共変性の伝播は、下記数６の和で表される。

ここで、

は変数ベクトル

の共変行列であり、

は対応するヤコビアン行列である。

前述の誤差を含む式から想像されるように、誤差の共変性が計算される。

第２のケースにおいて誤差が存在しない場合、不確実性ｊ０−２は変換ｊ０−０の不確実性であり（ｊ＝１，．．．，５は実施形態を表す）、下記数１０となる。

３次元空間における誤差の共変性の伝播は、下記数１１の和で表される。

ここで、

は変数ベクトル

の共変行列であり、

は対応するヤコビアン行列である。

従って、前述のように各不確実性ｊ０−２は、関連する誤差ｊ０−１が示されるか処理されない限り、常に各変換ｊ０−０の不確実性を示している。しかし、関連する誤差ｊ０−１が示される場合、それぞれの不確実性はそれぞれの誤差ｊ０−１と関連している。

これらの２つの可能性は、図６に関連付けるとより良く理解できる。測定に対する実際の値、（即座のケースでは仮想世界の座標系の構図（ｐｏｓｅ）が分かるときのみ、誤差を決定することができる。この実際の値が分かる場合、ずれはそれぞれの測定に対して決定され、誤差平均と誤差変動（１０−１及び１０−２）を基本として決定される。

以下に、期待値（誤差平均）εと共変行列Ｃを決定する式が与えられる（例えば前述のＤＩＮ標準から）。即ち、期待値εは、

である。ここで、

は、現在の又は実際の構図エントリ（ｐｏｓｅ ｅｎｔｒｙ）を示し、

は、トラッキングシステムによって決定される構図エントリを示し、ｎは測定の数を示している。共変行列は

である。ここで、

であり、数１９において、

であり、更に

である。数２０及び数２１は、並進（１）、（２）、（３）と回転（４）、（５）、（６）に対する構図エントリで表される（４次元の場合は（７）が有る）。

しかし、現在の構図エントリが分からない場合、構図に対する平均と変動しか直接決定することはできない。

全体座標系は、例えばカメラの原点に対応する。マーカによって、ユーザは“本物の”仮想世界座標系を定義する。トラッキングシステムはマーカを認識するが、完全には正しくない変換１０−０を戻す。この変換によって、さらなる計算に対して用いられる仮想世界座標系２０を記述する。仮想世界座標系２０と実際の仮想世界座標系との間のずれを記述する誤差１０−１を決定するのは、常に可能と言うわけではない（前述の記述を参照）。

ここでは、変数ベクトルは、それぞれ１組の相関パラメータから成っている。相関パラメータは互いに確率的に依存しており、共通の共変行列を持っている。これに関するより詳細な情報は、前述のＤＩＮ標準にあり、“Ａｎａｌｙｓｉｓ ｏｆ Ｈｅａｄ Ｐｏｓｅ Ａｃｃｕｒａｃｙ ｉｎ Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ”（Ｗｉｌｌｉａｍ Ｈｏｆｆ，Ｔｙｒｏｎ Ｖｉｎｃｅｎｔ，ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎ ｏｎ Ｖｉｓｕａｌｌｉｚａｔｉｏｎ ａｎｄ Ｃｏｍｐｕｔｅｒ Ｇｒａｐｈｉｃｓ，Ｖｏｌ．６，Ｎｏ．４，２０００年）がトラッキングシステム内の計算過程についての唯一の参考文献である。

本発明によると、拡張現実感システムにおいて、仮想のデータモデルを位置決めする不正確情報を決定する個々の伝播ステップは以下のようになる。即ち、

− ３次元空間での選択された構造（点、外形、領域）、
− 二次元への投影、
− ゆがみ、
− ピクセルへの変換、

である。

３次元空間における伝播に対して、トラッキングシステムのモジュール１００からの同一物の初期の誤差と初期の不確実性は、仮想座標系２０、３０内の関心のある３次元構造の相対的な位置についてユーザが特定した不確実性に結びついている（例えば図３の点４０）。ここで、仮想座標系は、前述の一般的な原則に従ってモジュール３００から作り出される。このように、望まれる３次元構造、即ち望まれる３次元上の点４０に対するインスタントケースにおいて、位置の誤差と関連する不確実性が決定される。

本実施形態において、点４０についての３次元空間上の誤差と関連する誤差は、全体座標系１０からＰＯＩ４０への変換から生じる。その結果として、伝播ステップは、下記数２２のようになる。

数２２において、写像関数ｆ_１からｆ_３は特定の伝播ステップとは異なっている。点４０はユーザによって、例えば対応する位置のクリックによって選択される。

誤差の共変行列は、個々の誤差の共変に重みを付けた和をとることによって、下記数２３のように計算される。

ここで、

である。

次の伝播ステップでは、一般に位置決めに関する不正確情報として参照される３次元上の点の誤差や不確実性は、カメラに本来備わった不確実性と共に与えられたパラメータを考慮した映像表示画面に投影される。これに関連して、このような投影と、次に示すゆがみ過程の両方による伝播に、下記数２５のような不確実性が導入される。

ここで、

である。

最後の伝播ステップでは、不確実性を持ったピクセルへの変換がカメラパラメータを考慮に入れて実行される。

ここで、

である。

このステップは、測定記述に対して、手動で選択された構造がピクセルの精度でのみ位置決めされるように、ピクセル平面上での測定を反映している。従って、選択された点に対する伝播された誤差とその不確実性のために生じるずれは、完全なピクセルに丸められる。

最終的な不確実性の表示は、伝播された誤差ｅ_５０と標準のずれの形式で関連された不確実性Ｃ^６０とから構成される。

モジュール５００（図４）の測定の不確実性の表示モジュールは、本発明によるシステムと方法に有益な付加的な機能を果たす。ユーザに適した測定記述を与える為に、不確実性の計算の最終的な結果は、このモジュールでピクセルを基本とする表示からミリメートルを基本とする表示に変換される。ピクセルを基準として計算されるずれと不確実性を基に、３次元空間への再投影が元来選択された３次元構造の記述を、例えば現実の３次元空間に対応する測定によって生成するために用いられる。この過程のステップは、もはや実際の不確実性の伝播とは関係がないが、ユーザにより良く理解できる形式で計算されたデータを提供するために、システムと方法を拡張したものである。

本実施形態による拡張現実感システムにおける仮想情報のデータモデルを位置決めする過程の概観模式的な表現を、実行されるそれぞれの変換を指示して示す図である。 実際の位置とデータモデルを位置決めする理想状態に対応する基準或いは理想位置における仮想情報のデータモデルの模式的な比較を、それらの位置のずれと共に示す図である。 仮想データモデルのディスプレイ装置の映像表示画面への模式的な表現と、データモデル中の選択した構造の実際の位置と基準位置との比較と、それらに対応するずれを示す図である。 拡張現実感システムにおける仮想データモデルを位置決めする不正確情報を決定するための本発明の実施形態に従ったフローチャートである。 発明の実施形態に従った拡張現実感システムにおける仮想データの位置決めに関する正確情報を決定するための、より詳細なフローチャートである。 “不確実性”と“誤差”という用語を説明するための図１に類似させた図である。

Claims (18)

1. 拡張現実感システムにおいて、仮想情報のデータモデルを位置決めする測定記述を作成するための不正確情報を決定する方法であって、前記不正確情報を決定する方法は
   （ａ）現実の環境の少なくとも一部の画像をカメラによって撮る工程と、
   （ｂ）前記現実の環境の視覚的な印象と混合するためのディスプレイ装置の映像表示画面に前記データモデルを位置決めして投影するための手段によって、前記データモデルを前記ディスプレイ装置の映像表示画面に投影する工程と、
   （ｃ）トラッキングシステムを用い、前記データモデルは前記ディスプレイ装置の映像表示画面に投影される仮想座標系を定義するための、且つ前記画像の特定の位置において前記データモデルを写像するために役立つトラッキング情報を得る工程と、
   （ｄ）前記トラッキングシステムのデータを処理する工程と、
   （ｅ）前記カメラのカメラパラメータに関する情報を作成するカメラキャリブレーションのデータを処理する工程と、
   （ｆ）前記仮想座標系に関して、前記データモデルの表現に関する情報を作成する状況特定データを処理する工程、
   （ｇ）前記仮想座標系の決定に関する不確実性と、前記カメラパラメータの決定に関する不確実性と、前記仮想座標系に関して前記データモデルの相対位置決めの際に生じる不確実性とからデータ処理装置により前記不正確情報を計算する工程と、
   から成ることを特徴とする拡張現実感システムにおける不正確情報を決定する方法。
2. 拡張現実感システムにおいて、仮想情報のデータモデルを位置決めする測定記述を作成するための不正確情報を決定する方法であって、前記不正確情報を決定する方法は
   （ａ）現実の環境の視覚的な印象と混合するための透過型ディスプレイ装置の映像表示画面に前記データモデルを位置決めして投影するための手段によって、前記データモデルを前記透過型ディスプレイ装置の映像表示画面に投影する工程と、
   （ｂ）トラッキングシステムを用い、前記データモデルは、前記透過型ディスプレイ装置の映像表示画面に投影される仮想座標系を定義するための、且つ前記透過型ディスプレイ装置の特定の位置において前記データモデルを写像するために役立つトラッキング情報を得る工程と、
   （ｃ）前記トラッキングシステムのデータを処理する工程と、
   （ｄ）前記透過型ディスプレイ装置のパラメータに関する情報を作成する透過型キャリブレーションのデータを処理する工程と、
   （ｅ）前記仮想座標系に関して、前記データモデルの表現に関する情報を作成する状況特定データを処理する工程と、
   （ｆ）前記仮想座標系の決定に関する不確実性と、前記透過型ディスプレイ装置のパラメータの決定に関する不確実性と、前記仮想座標系に関して前記データモデルの相対位置決めの際に生じる不確実性とからデータ処理装置により前記不正確情報を計算する工程と、
   から成ることを特徴とする拡張現実感システムにおける不正確情報を決定する方法。
3. 前記不正確情報が変動を定義する不確実性についての情報を含むことを特徴とする請求項１又は２に記載の拡張現実感システムにおける不正確情報を決定する方法。
4. 前記不正確情報が誤差値を含むことを特徴とする請求項１乃至３のいずれかに記載の拡張現実感システムにおける不正確情報を決定する方法。
5. 前記不正確情報が、
   （ａ）３次元空間において、前記データモデルの少なくとも１つの選択された構造の位置決めのための不正確情報を決定する工程、
   （ｂ）映像表示画面上の前記データモデルの選択された構造の位置決めのための不正確情報を投影する工程、
   によって決定されることを特徴とする請求項１乃至４のいずれかに記載の拡張現実感システムにおける不正確情報を決定する方法。
6. ３次元空間における位置決めのための不正確情報を決定するために、前記仮想座標系に関する前記データモデルの表現の不正確さに関する情報を含む前記状況特定データと共に、前記トラッキングシステムの測定の不正確さに関する情報を含んでいるトラッキングシステムのデータが処理されることを特徴とする請求項５に記載の拡張現実感システムにおける不正確情報を決定する方法。
7. 前記データモデルの前記選択された構造の前記位置決めのための不正確情報の前記映像表示画面への前記投影は、カメラに本来備わったパラメータを考慮して、或いは透過型ディスプレイ装置のパラメータを考慮して実行されることを特徴とする請求項５又は６に記載の拡張現実感システムにおける不正確情報を決定する方法。
8. 前記位置決めのための不正確情報の映像表示画面への前記投影に続いて、伝播ステップは位置決めのための不正確情報を投影する際に、ゆがみ過程を考慮に入れるように実行されることを特徴とする請求項５乃至７のいずれかに記載の拡張現実感システムにおける不正確情報を決定する方法。
9. 伝播工程において、投影された位置決めのための不正確情報のピクセル表現への変換が実行されることを特徴とする請求項５乃至８のいずれかに記載の拡張現実感システムにおける不正確情報を決定する方法。
10. （ａ）トラッキング情報は、前記トラッキング情報の不確実性に関するデータを含んで処理されること、
    （ｂ）カメラキャリブレーション或いは透過型キャリブレーションのキャリブレーションデータは、カメラパラメータ或いは透過型ディスプレイのパラメータの不確実性に関するデータを含んで処理されること、
    （ｃ）状況特定データは、前記仮想座標系に関するデータモデルの表現の不確実性に関するデータを含んで処理されること、
    を具備することを特徴とする請求項５乃至９のいずれかに記載の拡張現実感システムにおける不正確情報を決定する方法。
11. 前記位置決めのための不正確情報は、変動を定義する測定の不確実性に関する情報を含むことを特徴とする請求項５乃至１０のいずれかに記載の拡張現実感システムにおける不正確情報を決定する方法。
12. 前記位置決めのための不正確情報は、位置決めのための誤差を含むことを特徴とする請求項５乃至１１のいずれかに記載の拡張現実感システムにおける不正確情報を決定する方法。
13. 処理された不正確情報は、前記不正確情報の３次元空間への再投影によって生成されることを特徴とする請求項１乃至１２のいずれかに記載の拡張現実感システムにおける不正確情報を決定する方法。
14. 前記不正確情報は、前記データモデルの点、外形、領域の絶対位置に関する記述を含むことを特徴とする請求項１乃至１３のいずれかに記載の拡張現実感システムにおける不正確情報を決定する方法。
15. 前記不正確情報は、前記データモデルの点、外形、領域の相対位置に関する記述を含むことを特徴とする請求項１乃至１４のいずれかに記載の拡張現実感システムにおける不正確情報を決定する方法。
16. 前記不正確情報を決定する方法は、
    （ａ）前記データモデルは、前記ディスプレイ装置の映像表示画面に投影される仮想座標系を定義するトラッキング情報を作成し、前記仮想座標系は、トラッキングセンサの全体基準座標系に関して変換によって決定される工程と、
    （ｂ）カメラのカメラ固有パラメータ或いは透過型ディスプレイ装置のパラメータを作成するためのキャリブレーションデータを作成する工程と、
    （ｃ）前記データモデルの選択された情報を記述する並進情報を作成する前記仮想座標系に関して、前記データモデルの表現に関する情報を作成する状況特定データを作成し、前記状況特定データに対して不正確情報が前記仮想座標系で生成される工程と、
    から成ることを特徴とする請求項１乃至１５のいずれかに記載の拡張現実感システムにおける不正確情報を決定する方法。
17. （ａ）前記トラッキング情報が前記変換の誤差に関するデータを含むこと、
    （ｂ）前記キャリブレーションデータがカメラ固有パラメータ、或いは透過型ディスプレイ装置のパラメータの誤差に関するデータを含むこと、
    （ｃ）前記状況特定データが前記並進情報の誤差に関するデータを含むこと、
    の少なくとも１つの条件を具備することを特徴とする請求項１６に記載の拡張現実感システムにおける不正確情報を決定する方法。
18. （ａ）前記トラッキング情報が変換の不確実性、或いは関連する誤差の不確実性に関するデータを含むこと、
    （ｂ）前記キャリブレーションデータが前記カメラ固有パラメータの不確実性、或いは前記透過型ディスプレイ装置のパラメータの不確実性、或いは関連する誤差の不確実性に関するデータを含むこと、
    （ｃ）前記状況特定データが並進情報の不確実性、或いは関連する誤差の不確実性に関するデータを含むこと、
    の条件を具備することを特徴とする請求項１６又は１７に記載の拡張現実感システムにおける不正確情報を決定する方法。

Images