JP5118152B2 - プロファイリングシステムのためのヘッドマウントディスプレイ装置 - Google Patents

Description

本発明は、表面下に位置する媒体の非侵入型検査の分野に関するものである。より詳しくは、表面下の媒体の特性を表示することに関係する。

例えば地球物理学調査の分野では、非破壊であるために非浸入型技術が望まれ、ボーリング技術を用いる従来の現場試験技術の補完又は代替技術として開発されてきた。例えば粒状土など、ボーリングが不可能な幾つかのケースでは、このような非侵入型技術が地下を調査する唯一の方法である。また、非侵入型技術は、通常、費用対効果がより優れている。

例えば、道、橋、建物の鉄筋結合、コンクリート壁、などの構造状況を評価するために、あるいは、鉱業または軍事用では、表面下の特徴（例えば空隙、隠れた基礎構造、または許容支持荷重）を検出するためなど、種々の他分野で表面下に位置する媒体を調査するために非侵入型技術が用いられる。

一般的に、特性媒体の一部分の２次元または３次元プロファイルまたは特性媒体の分析データがコンピューターモニターに表示される。この表示データは、非専門家のユーザがこのデータを特性の実用のために解釈し使用するには不便である。

したがって、当該分野での努力にも拘わらず、表面下の媒体のプロファイリングと特性データの使い易い表示を可能にするシステムの必要性が依然として存在する。

米国特許７０７３４０５号明細書（２００６年７月１１日発行）

道、橋、建物の鉄筋結合、コンクリート壁、などの構造状況を評価する際に、または、鉱業または軍事用において表面下の特徴を検出する際に、表面下の媒体を３次元で視覚化するのは便利である。現実の表面を重ね合わせて表面下の媒体を、まるでユーザが表面を透かして見えるように視覚化して、ユーザが現実環境で表面下の特徴の位置を見ることができるようにするとさらに便利である。本発明の態様によれば、ユーザは、現実環境に関連づけられた表面下の媒体のイメージを立体的に表示する仮想現実ゴーグルと同様のヘッドマウントディスプレイを装着する。イメージはユーザの現実環境と重ね合わされるため、ユーザは表面の周囲を歩き回って、３次元内で表面下の媒体をまるで表面を透かして見るように見ることができる。

したがって、本発明は、プロファイリングシステムによって提供される、ユーザの現実環境に関連づけられた表面下の媒体の特性のイメージを表示することによって、表面を透かして媒体を可視化するヘッドマウントディスプレイを提供する。表面下の媒体のイメージは、ユーザの現実環境と重ね合わせて、ヘッドマウントディスプレイを装着している人の片方または両方の眼前に投影される。ヘッドマウントディスプレイは、現実環境におけるその位置と方位を決定するために、例えば慣性ポジショニングセンサなどの、ポジショニングセンサを備える。ユーザが媒体の周囲を移動するにつれて、媒体のイメージ表示がまるで媒体が表面を透して見えるかのように更新される。本発明の１つの実施例では、表面下の媒体のイメージは立体的に示され、それによってユーザが媒体を３次元で視覚化できる。

例えば、このようなヘッドマウントディスプレイは、掘削プロジェクトにてバックホウ（掘削機）などの重機のオペレータが用いるのに都合がよい。本発明のヘッドマウントディスプレイを用いることにより、オペレータは、表面を半透明の材料とみなして、表面下のパイプラインまたは障害を見ることができ、その結果として運転を調節することが可能である。もう一つの例は、基礎構造検査におけるヘッドマウントディスプレイの利用である。本発明のヘッドマウントディスプレイは、表面下にある異なる密度の区域の視覚化を可能にする。それゆえ、検査官は表面を透して基礎構造を検査することができる。さらに、坑井掘削アプリケーションでは、地下構造と穿孔シャフトを視覚化することによって、爆薬の数と配置を最適化することもできる。

発明の一態様は、ユーザが表面下の媒体の特性を視覚化するために使用するヘッドマウントディスプレイ装置を提供する。このディスプレイ装置は、入力段とポジショニングセンサと演算装置と第１のディスプレイシステムとを備える。入力段は、基準系における３次元表現の表面下の媒体の特性化モデルを受信するためのものである。このモデルは、プロファイリングシステムを用いて提供される。ポジショニングセンサは、基準系におけるユーザの第１の眼の位置および方向を感知するためのものである。演算装置は、第１の位置および方向の第１の眼の前方に位置する第１の表面に前記モデルを透視投影して、表面下の媒体の第１の特性化イメージを提供するためのものである。第１のディスプレイシステムは、表面下の媒体の第１の特性化イメージを、第１の眼の前方の現実環境の第１のイメージと重ね合わせて第１の表面に表示するためのものである。

発明の別態様は、ユーザが表面下の媒体の特性を視覚化するために使用するシステムを提供する。このシステムは、表面下の媒体の特性化を提供するプロファイリングシステムと、表面下の媒体の特性化を処理して基準系における３次元グラフィック表現の表面下の媒体の特性化モデルを提供する３次元モデル処理装置と、ヘッドマウントディスプレイ装置とを備える。ヘッドマウントディスプレイは、基準系におけるユーザの第１の目の位置および方向を感知するポジショニングセンサと、表面下の媒体の第１の特性化イメージを提供するために、当該位置および方向の第１の眼の前方に位置する第１の表面に前記モデルを透視投影する演算装置と、表面下の媒体の第１の特性化イメージを第１の眼の前方の現実環境と重ね合わせて第１の表面に表示する第１のディスプレイシステムとを有する。

発明の別態様は、ユーザのために表面下の媒体の特性を視覚化する方法を提供する。この方法は、表面下の媒体の特性化を提供するステップと、表面下の媒体の特性化を処理して、基準系における３次元図形表現の表面下の媒体の特性化モデルを提供するステップと、基準系におけるユーザの第１の眼の第１の位置および方向を感知するステップと、第１の眼の前方に位置する第１の表面を定めるステップと、第１の眼の前に位置する第１の表面に前記モデルを透視投影して、表面下の媒体の第１の特性化イメージを提供するステップと、第１の眼の前に現実環境のイメージを提供するステップと、第１の眼の前の現実環境のイメージと重ね合わせて、表面下の媒体の第１の特性化イメージを第１の表面に表示するステップとを備える。

本発明の別態様は、ユーザが表面下の媒体の特性を視覚化するために使用するヘッドマウントディスプレイ装置を提供する。このディスプレイ装置は、入力段とポジショニングセンサと演算装置と第１のディスプレイシステムとを備える。入力段は、基準系における３次元表現の表面下の媒体の特性化モデルを受信する。ポジショニングセンサは、ユーザの第１の眼の基準系における位置および方向を感知する。演算装置は、第１の位置および方向の第１の眼の前方に位置する第１の表面に前記モデルを透視投影し、表面下の媒体の第１の特性化イメージを提供する。第１のディスプレイシステムは、表面下の媒体の第１の特性化イメージを第１の眼の前方の現実環境のイメージと重ね合わせて第１の表面に表示する。

発明の別の態様は、ユーザが表面下の媒体の特性を視覚化するために使用するヘッドマウントディスプレイ装置を提供する。このディスプレイ装置は、入力段とメモリとポジショニングセンサと演算装置と一対のディスプレイシステムとを備える。入力段は、基準系における３次元グラフィック表現の表面下の媒体の特性化モデルをモデル処理装置から受信する。メモリはこのモデルを保存し、このモデルの保存後に、入力段を上述のモデル処理装置から切り離せるようにする。ポジショニングセンサは、基準系におけるヘッドマウントディスプレイ装置の位置および方向を感知する。演算装置は、前記モデルと前記位置および方向とから、表面下の媒体の一対の立体特性化イメージを提供する。立体表示システムは、一対の現実環境のイメージと重ね合わせて表面下の媒体の一対の立体特性化イメージをユーザの眼の前方に表示する。

本発明の実施例による、各々の眼の前方にシースルーのディスプレイスクリーンを有し、表面を透して媒体を視覚化する表示デバイスに使われるヘッドマウントディスプレイの正面図である。 発明の別実施例による、各々の眼の前方にカメラを有し、表面を透して媒体を視覚化する表示デバイスに使われるヘッドマウントディスプレイの斜視図である。 １つの表面上への３次元モデルの投影を説明する概略図である。 ２つ（両眼に対して各１つ）の表面上への３次元モデルの投影を説明する概略図である。 本発明の実施例に従った表示デバイスを説明するブロック図である。 基準系にヘッドマウントディスプレイを関連付ける方法を説明する概略図である。 基準系にヘッドマウントディスプレイを関連付ける方法を説明するフローチャートである。

本発明の更なる特徴および効果は、添付図面と組み合わせた以下の詳細な説明から明らかになる。なお、添付の全図面を通して、同様の構成要素は同様の参照番号で示されている点に注意されたい。

図面を参照するに、図１は、表面を透して媒体を視覚化するために用いるヘッドマウントディスプレイ１００の例を示す。ヘッドマウントディスプレイ１００は、ユーザの眼の前方に装着するように構成され、光を透過する２つのシースルーの画面１１０ａ，１１０ｂを有し、ユーザがシースルーの画面１１０ａ，１１０ｂを通して眼の前の現実環境を直接見ることができるようになっている。表面下の媒体のイメージは、各々のシースルーの画面１１０ａ，１１０ｂの上に投影される。媒体の特性がユーザに３次元で見えるように、右眼および左眼に提供されるイメージは媒体の特性化モデルの立体的なグラフィック表示に対応する。まるでユーザが表面を透かして見ることができるかのように媒体の特性を視覚化するために、特性媒体の周りをユーザが動くにつれて、イメージはリアルタイムに更新される。シースルーの画面１１０ａ，１１０ｂはシースルーの有機発光ダイオードデバイスを使うことができる（Ｌｉｔｅｙｅ Ｓｙｓｔｅｍｓ ＩｎｃのＬｅ−７５０ａシリーズを参照）。

図２は、表面を通して媒体を視覚化するために使われるヘッドマウントディスプレイ２００の別の例を示す。図１のヘッドマウントディスプレイ１００のように、図２のヘッドマウントディスプレイはユーザの眼の前方に着用するように構成されるが、ヘッドマウントディスプレイ２００を装着しなければ見ることができるユーザ前方の現実環境のイメージを得るために、各々の眼の前に配置されるカメラ２１０ａ，２１０ｂを有する。カメラ２１０ａ，２１０ｂによって捉えられたイメージは、２つのディスプレイシステムを用いてユーザの眼の前にリアルタイムに表示される。例えば、各々のディスプレイシステムとしては、液晶ダイオードデバイスまたは有機発光ダイオードデバイスを使うことができる。ヘッドマウントディスプレイ２００を装着しなければ見ることができる世界をユーザが立体的に見ることができるように、現実環境のイメージはリアルタイムに更新される。しかし、表面下の媒体の特性化イメージが現実環境のイメージと立体的に重ねあわされる。通常、図２のヘッドマウントディスプレイの結果は、図１のヘッドマウントディスプレイの結果に同様である。図２のヘッドマウントディスプレイ２００は赤外線に感受性があるカメラ２１０ａ，２１０ｂを使うことができ、赤外線はディスプレイシステムを用いて表示イメージに変換される。このようなヘッドマウントディスプレイ２００は、暗視または暗い環境で使用するために特に役に立つ。

他のヘッドマウントディスプレイも考えられる。単眼ヘッドマウントディスプレイは、１つの眼のみに表面下の媒体のイメージを表示する１つのディスプレイシステムだけを使用する。単眼構成は第２の眼の視覚に何の変更も与えなくてよいので有利であるが、媒体が２次元でのみ示される。

図３は、表面下の媒体の特性化イメージを提供するために、表面下の媒体の３次元（３Ｄ）特性化モデル３１２を１つの表面３１４（この事例では平面）の上に透視投影することを説明する。表面下の媒体の３次元特性化モデル３１２は基準系３１０に関連して提供される。図示の例は、媒体の特性化イメージがユーザの一方の眼の前にだけ提供されるヘッドマウントディスプレイに対応する（単眼構成）、あるいは、同じイメージが両眼にモノラルビジョン（立体視でない）で提供されるヘッドマウントディスプレイに対応する。例えば、モノラルビジョンでは、現実環境のイメージを提供するためにヘッドマウントディスプレイの上に１つのカメラを設けるだけでよく、同じイメージを両眼に表示する。

イメージが投影されるスクリーンが湾曲している場合には、湾曲面上に投影することができる点に注意されたい。

表面下の媒体を特性化するトモグラフィは、特許文献１に記載されているプロファイリングシステムから得られる。プロファイリングシステムは、表面上に配置されたセンサを用い、インパルス発生器で発生された刺激によって検査する表面下の媒体で誘発されるねじれ波の加速度を検出して表面下の媒体の特性化を提供する。センサは、検査する表面の全部を覆うように配置することができる、あるいは、より大きな表面を覆うまたは特性化のより良い解像力を提供するために特性化手順の間にそれらの位置を動かすことができる。ユーザ計算インターフェースは、センサから受信する加速度信号を処理して媒体の特性化断層撮影像を提供する。断層撮影像は、媒体の物理的特性および機械的特性あるいは他の分析データを含む。

３次元の特性化モデル３１２を提供するために、トモグラフィは、３次元分析と地質学ベースのアルゴリズムとを用いて断層撮影像の並置および補間を実行する３次元モデルプロセッサに提供される。提供される３次元特性化モデル３１２は、３次元の媒体の特性のグラフィック表示である。１つの実施例では、３次元モデルプロセッサは、特に地質工学的なアプリケーションのために設計されたソフトウェア（例えばミラ地球科学社によって提供される、ＧＯＣＡＤソフトウェアの上で実行する３ＤＧＩＳモジュール）を使用する。提供される３次元特性化モデル３１２は、例えば摩擦速度、密度、ポアソンの比率、機械的インピーダンス、ずれ弾性率、ヤング率、その他の特性を有する。この処理は、さらに例えば液化係数、岩の深さ、基層の深さ、その他の種々のデータを提供することができる。

提供される三次元の特性化モデル３１２は、基準系３１０に関連して提供される。以下に考察されるように、媒体の異なる領域を見るために、ユーザが移動するにつれて、あるいは、頭を回すにつれて、ヘッドマウントディスプレイ１００，２００と基準系との間の相対位置および方向がリアルタイムに感知され、かつ更新される。これは、ヘッドマウントディスプレイにあるポジショニングセンサを用いてなされる。ユーザが媒体の周りを移動するにつれて、ユーザの眼の前方に表示されるイメージが更新されて、まるで表面を透して見ることができるように媒体の特性のグラフィック表示が提供される。したがって、ユーザの片方の眼の前の（ヘッドマウントディスプレイの）表面３１４は基準系で定められ、現実環境のイメージが表示されるスクリーンの位置に一致する。それゆえ図３で示すように、３次元の特性化モデルは、感知された眼の位置と方向に従って演算装置で投影面３１４の上に透視投影され、媒体の特性化イメージを提供する。このイメージは、ユーザの眼の前に表示される。この表示されるイメージは媒体の関連する特性のグラフィック表示であり、表示される特徴はまるで表面が透明であるかのようにイメージ上に位置してユーザが表面を透して特徴のグラフィック表示を見ることが可能にある。媒体特性化イメージは、ユーザがヘッドマウントディスプレイを装着しなかった場合に見るイメージに一致する、ユーザの眼の前の現実環境のイメージに重ね合わされ表示される。現実環境のイメージは、シースルーのスクリーン（図１参照）の利用（単にスクリーンを通して透過するイメージ）によっても提供される、あるいは、眼の前方に配置したカメラ（図２参照）の利用によっても提供される（画像処理アルゴリズムを使用して、カメラからのイメージを、媒体特性化イメージに数値的に重ね合わせる）。図３の投影方式は、表面下の媒体のイメージを一方の眼のみに表示する単一ディスプレイシステムを有するヘッドマウントディスプレイで用いられる。また、２つのディスプレイシステム（各々の眼に対して１つ）を有する、モノラルビジョンの（立体視ではない）ヘッドマウントディスプレイデバイスでも用いられる。

図４は、３次元モデル３１２を２つ（各々の眼に対して１つ）の表面３１４ａ，３１４ｂの上へ透視投影して立体的な媒体の視覚化を提供する方法を説明する。図3の説明図との唯一の違いは、図４では、三次元知覚を提供するように、ヘッドマウントディスプレイが各々の眼に対し異なる媒体特性化イメージをユーザに提供する場合を示している点にある。右眼および左眼の前に表示されるイメージは、図３についての上記説明に従って提供される。しかし、２つの投影面（すなわち右の表面の３１４ａと左の表面の３１４ｂ）は、基準系にて感知されたヘッドマウントディスプレイの位置および方向に従って左右の眼の前に定められる。そして、それぞれの位置および方向に従って各々の眼に対して異なる３次元の特性化モデルの投影が実行される。この方法により、表面下の媒体のグラフィック表示の三次元透視が提供される。

図５は、表面下の媒体の特性を視覚化するためにユーザが装着するヘッドマウントディスプレイ２００と、ユーザが表面と相対的に移動する際にユーザに所持され、データを処理してユーザに表示するイメージを生成する制御ユニット５１２とを備えている。表示デバイス５００の種々の機能ブロックを説明する。先に説明したように、制御ユニット５１２は３次元モデルプロセッサ５６２から３次元特性化モデルを受信する。３次元特性化モデルは、特許文献１に記載されているようなプロファイリングシステム５６０によって提供される表面下の媒体の特性化断層撮影像を３次元モデルプロセッサ５６２で処理することによって提供される。

ヘッドマウントディスプレイ２００と制御ユニット５１２は、任意の有線プロトコル（例えばＵＳＢプロトコルまたはＦｉｒｅｗｉｒｅプロトコルなど）を使用して、または任意の無線リンクプロトコル（例えば無線周波数または赤外線リンクなど）を使用して通信できる。説明する実施例では、ヘッドマウントディスプレイ２００と制御ユニット５１２は有線接続されるが、ひとつの変形例では、両方のユニットが互いに通信するために無線通信インターフェースを有し、各々のユニットが自身の電源を有する。

ビデオカメラ５２０ａ，５２０ｂは、右眼および左眼の前で現実の環境のイメージを得るために、それぞれ右眼および左眼の前に配置される。ユーザが表面と相対的に動くにつれて現実環境のイメージが連続的に更新されるように、ビデオカメラは連続的に映像信号を提供する。映像信号は、制御ユニット５１２に提供される前にＡ／Ｄコンバータ５２６ａ，５２６ｂを用いてデジタル信号に変換される。

ヘッドマウントディスプレイ２００は、表面下の媒体を立体的に視覚化するために、各々の眼のためにディスプレイシステム５２２ａ，５２２ｂを有する。ディスプレイシステム５２２ａ，５２２ｂは、それぞれビデオコントローラ５２８ａ，５２８ｂによって制御される。映像信号は、制御ユニット５１２によってビデオコントローラ５２８ａ，５２８ｂに提供される。

ポジショニングセンサ５２４（すなわち加速度計ベースの慣性ポジショニングセンサ）は、現実環境におけるヘッドマウントディスプレイの位置および方向を決定するために、ヘッドマウントディスプレイ２００に設けられる。ユーザが媒体周辺を移動するにつれて、ヘッドマウントディスプレイの位置および方向が感知されて、信号コンディショナー５３０を用いて信号増幅および信号調節の後に制御ユニット５１２に提供される。信号コンディショナー５３０は、自動利得アナログアンプとアンチエイリアスフィルタとを備える。ポジショニングセンサ５２４は、ヘッドマウン・ディスプレイの位置および方向を提供するために、平行移動三軸加速度計のポジショニングセンサと回転三軸加速度計のポジショニングセンサを備える。本説明は、ヘッドマウントディスプレイ２００がすでに３次元特性化モデルの基準系に関連付けられていると仮定する。基準系にヘッドマウントディスプレイを関連付ける方法を以下に説明する。制御ユニット５１２は、基準系におけるヘッドマウントディスプレイの位置と方向を用いて、各々の眼の位置および方向をキャリブレーションパラメータで決定する。アナログポジショニング信号は、ポジショニング信号をデジタル変換するＡ／Ｄコンバータ５４８を有する制御ユニット５１２に提供される。

デジタルポジショニング信号およびデジタルビデオ画像は演算装置５４０に提供される。また、演算装置は通信インターフェース５４２から３次元特性化モデルを受信し、これをメモリ５４６に保存する。したがって、表面下の媒体の特性化がプロファイリングシステム５６０によって達成され、得られた特性化は３次元モデルプロセッサ５６２によって３次元特性化モデルに変換された後に、３次元モデルがヘッドマウントディスプレイによる使用のためにディスプレイ装置５００に伝送されて保存される。伝送が完了すると、３次元モデルプロセッサ５６２は接続を断つことができ、ユーザはディスプレイ装置５００を所持しながら媒体と相対的に自由に移動することができる。ヘッドマウントディスプレイの表示等を制御するために、演算装置は関連付け手順の間に使用すべきユーザ入力５４４からのコマンドも受信する。ユーザ入力５４４は、コマンドを入力するためのボタン、スクロールホイールまたは他の手段を備える。さらにまた、制御ユニット５１２は、電源５５２と、制御装置５１２が障害状態から立ち直るためのウォッチドッグタイマー５５０とを有する。

演算装置５４０は、三次元特性化モデルと、感知されたヘッドマウントディスプレイ２００の位置および方向とを受信する。演算装置は、所定のキャリブレーション（センサと関連する両眼の位置と方向）と、ヘッドマウントディスプレイ２００の参照パラメータ（基準系のセンサの位置と方向）とを用いて、適切な計算と画像処理を実行して、立体表示システム５２２ａ，５２２ｂの上に表示される媒体特性化イメージを提供する。

さらにまた、ユーザ入力５４４を用いて、特定用途にふさわしいグラフィック表示パラメータを選ぶことができる。複数のグラフィック表示プロファイルを登録し、ユーザが単に自分の用途にふさわしい表現プロファイルを読み込むとしてもよい。コントロールすることができるパラメータの例は、表面下の媒体及び現実の環境面のグラフィック表示の不透明度/透明度、カラーパレット、グラフィック表示すべき媒体の奥行、グラフィック表示から取り除かれる媒体の奥行、機械構造物に関する特定のデータの表示、媒体の内部と外部に関する有益なデータの表示、媒体の所定の特性の存在／不存在の表示である。例えば、特定の鉱石に相当する媒体の領域だけを視覚的に表現することができる。鉱石の存在は、密度とせん断波速度を用いて識別する。地下水もしくは他の特性に相当する領域を視覚的に表示するよう選ぶこともできる。

演算装置５４０は、要求に反応して、３次元モデルの基準系におけるヘッドマウントディスプレイ２００の関連付けを実行し、ディスプレイシステム５２２ａ，５２２ｂに種々の有益な表示を提供し、表示をユーザによって選ばれる立体視またはモノラルビジョンに適応させる、他のユーティリティプログラムを有する。

説明した実施例では、ヘッドマウントディスプレイ２００は現実環境のイメージを提供するためにカメラ５２０ａ，５２０ｂを用いる。しかしある変形例では、図１に示されるようなヘッドマウントディスプレイ１００が用いられ、カメラ５２０ａ，５２０ｂを必要とはしない。したがって、Ａ／Ｄコンバータ５２６ａ，５２６ｂも取り除く。一つのディスプレイシステム５２２ａを単眼ヘッドマウントディスプレイで用いることもできる。

あるいは、例えばジャイロスコープベースのシステムなどの他の慣性ガイダンスシステム、全地球位置測定システム（ＧＰＳ）、またはこれら技術の組合せを、慣性ポジショニングセンサ５２４の代わりに用いることができる。

図６と図７につき、ヘッドマウントディスプレイを関係付ける方法、およびその結果としての、三次元モデルの基準系(Xref, Yref, Zref)における各々の眼の位置(Xo, Yo, Zo)および方向(θx, θy, θz)が以下に説明される。この方法は、立体視のヘッドマウントディスプレイの使用を仮定する。関連付け方法は、媒体の表面に配置される3つの目標点((X1, Y1, Z1); (X2, Y2, Z2); (X3, Y3, Z3))を提供することによって開始される（ステップ７１０）。3つの目標点は目標平面を定め、3つの目標点間の距離d_1,2, d_2,3, d_3,1は既知である。したがって、３次元モデルは、基準系に3つの目標点の位置を有する。一般に目標点は、媒体の特性化のためにプロファイリングシステムによって用いられるプロファイリングセンサのうちの3台の位置である。３次元モデルがセンサの位置に対して定められるので、基準系（Xref、Yref、Zref）はこれらの位置から推量することができる。したがって、他のプロファイリングセンサは除去することができるが、少なくとも３台の基準センサは、関連付けプロセスにプロファイリングプロセスを用いた後に所定の位置に残さなければならない。

ステップ７１２において、レチクル（すなわち十字線）がヘッドマウントディスプレイの両方のディスプレイシステム上に（すなわち両眼の前に）表示される。７１４にて、両十字線が１つのものとしてユーザによって見られるように、ユーザはユーザ入力を用いて、両眼からの十字線を揃える。７１６にて、ユーザは第１の目標点（X1、Y1、Z1）に、十字線を揃える。通常は、ユーザのセンサ識別のために、目標点として用いられなければならないセンサは、異なる色または特有の要素を有するものとする。７１８にて、ユーザはユーザボタンを押すか、他の入力手段（ユーザ入力５４４）を用いて、目標を整列したことを制御ユニットに入力をする。その結果として、制御ユニットは、位置検出器によって提供されるヘッドマウントディスプレイの位置および方向（図示せず）を読みとる。読みとられた位置および方向は、ヘッドマウントディスプレイの基準系に対して与えられる（ヘッドマウントディスプレイの初期化プロセスの間に定められる）。読みとられた位置および方向は、更なる計算のために保持される。

その次に、ステップ７２０にて、ユーザは十字線を第２の目標点（X2、Y2、Z2）に揃える。ステップ７２２にて、ユーザが目標を整列したことを制御ユニットへ入力すると、その結果として、制御ユニットは、ポジションセンサによって提供されるヘッドマウントディスプレイの位置および方向（不図示）を読み取る。これらの読み取られた位置および方向も更なる計算のために保持される。

ステップ７２４にて、ユーザは、十字線を第３の目標点（X3、Y3、Z3）に揃える。ステップ７２２にて、ユーザが目標を整列したことを制御ユニットへ入力すると、その結果として、制御ユニットは、ポジションセンサによって提供されるヘッドマウントディスプレイの位置および方向（不図示）を読み取る。これらの読み取られた位置および方向も更なる計算のために保持される。

ステップ７２８にて、制御ユニットは、読み取られた位置と方向を用いて、基準系(Xref, Yref, Zref)とヘッドマウントディスプレイの基準系との間の変換マトリックスを計算する。その結果として、ヘッドマウントディスプレイの位置（Xo、Yo、Zo）が基準系（Xref，Yref，Zref）に対して関連付けられる。

関連付け手順の間、ユーザへの指示は、制御ユニットによってディスプレイシステムを用いて表示することができることに留意したい。

ヘッドマウントディスプレイの方向に関する不確定さはまだ残り、方向の関連付けを行う必要がある。ステップ７３０にて、3つの目標点((X1, Y1, Z1); (X2, Y2, Z2); (X3, Y3, Z3))によって規定される目標平面に対応する仮想平面を計算された変換マトリックスに従いヘッドマウントディスプレイに立体的に表示させる。ステップ７３２にて、ユーザは、ユーザ入力を用いて、仮想平面を目標平面と重ね合わせて整列させ、その整列を確認するためにユーザボタンを押す。このステップは、最高の結果のために、最高の精度でなされるべきである。ステップ７３４にて、制御ユニットは、ポジションセンサによって提供されるヘッドマウントディスプレイの位置および方向（図示せず）を読み取る。ステップ７３６にて、制御ユニットは、目標平面に対する適切な整列のためのヘッドマウントディスプレイの位置および方向と既知の変換マトリックスとを用いて、基準系（Xref、Yref、Zref）とヘッドマウントディスプレイの基準系の間の回転マトリクスを計算する。その結果として、ヘッドマウントディスプレイの方向(θx, θy, θz)が基準系（Xref、Yref、Zref）に対して関連付けられる。変換マトリックスも有効化される。ステップ７３８にて、計算された変換マトリックスと回転マトリックスはヘッドマウントディスプレイにより表面下の媒体を視覚化するのに使用するために保存される。したがって、空間をヘッドマウントディスプレイが移動するにつれて、基準系(Xref, Yref, Zref)におけるその位置(Xob, Yob, Zob)と方向(θxb, θyb, θzb)をリアルタイムに計算することができる。

同様の関連付け方法を、モノラルビジョンのヘッドマウントディスプレイを関連付けるために用いることができる点に留意されたい。また、カメラを用いる立体視ヘッドマウントディスプレイ２００の関連付けも画像認識方法を用いることによって実行することができる。同じ３つの目標点（（X1、Y1、Z1）;（X2、Y2、Z2）;（X3、Y3、Z3））をカメラにより提供される２つのイメージ上で認識することができる。そして、基準系でのヘッドマウントディスプレイの位置および方向を、カメラの既知の相対的な位置と両方のイメージ上の目標点の位置とを用いて計算することができる。

また、特に表面を掘削することになっているか、さもなければ破壊することになっているならば、媒体のすぐ間近の環境に配置される目標点をセンサの代わりに用いることができる。

さらに、すでに特性化された表面下の媒体に戻るとき、関連付け方法が繰り返されることを要するとしてもよい、そして、目標点センサが取り外されることを必要としてもよい。目標点は、表面の環境に再配置されることを要するとしてもよい。したがって、３つの新しい目標点は壁や他の任意の構造上に配置される。新しい目標点は基準系に関係付けられる。これは、すでに関連付けられたヘッドマウントディスプレイを用いて実行される。ユーザは、上記の関連付け方法と同様に、十字線を各々の新しい目標に整列させ、新しい目標平面を整列させる。新しい目標点の位置を、次にヘッドマウントディスプレイのその後の関連付けのためにモデルに保存する。そして、古い目標点を表面から物理的に削除することができる。

説明された実施例では、トモグラフィは、プロファイリングシステムを用いて表面下の媒体を特性化することによって得られる。３次元の特性化を利用できるならば、この特性化を３次元モデルプロセッサに用いて、媒体の三次元グラフィック表現モデルを提供することができることを理解できるだろう。さらに、ユーザに表示されるイメージは、完全な３次元モデルの代わりに、ユーザが空間を移動する断層撮影像を表示する。つまり、３次元モデルプロセッサは、プロファイリングシステムによって提供される媒体特性化断層撮影像を、断層撮影の適当な３次元グラフィック表現に変換するのみである。

個別のデータ信号接続を通して互に通信する個別のコンポーネントの組み合わせとしてブロック図に示されているが、当業者であれば、これらの好適実施例は、ハードウェアおよびソフトウェアコンポーネントの組み合わせ、いくつかのコンポーネントをハードウェアまたはソフトウェアシステムの所定の機能または演算によって実現するとともに、図に示されるデータパスの多くをコンピュータアプリケーションまたはオペレーティングシステム内のデータ通信によって実現することによって、提供することができることが理解されよう。したがって、図示の構造は本発明の好ましい実施例の効率的な教授のために与えられている。

上で説明される発明の実施例は、単に例示を意図とする。したがって、発明の範囲は添付の請求項の範囲によってのみ制限されることを意図とする。

Claims (22)

1. ユーザが表面下の媒体の特性を可視化するために使用するヘッドマウントディスプレイ装置であって、
   摩擦速度、密度、ポアソンの比率、機械的インピーダンス、ずれ弾性率、ヤング率のうち少なくとも１つを含む、前記媒体の物理的および機械的特性を提供するプロファイリングシステムを用いて供給され、基準系において３次元表現された前記表面下の媒体の特性化モデルを受信する入力段と、
   前記基準系における前記ユーザの第１の眼の位置および方向を感知するポジショニングセンサと、
   前記第１の位置および方向の第１の眼の前方に位置する第１の表面上に前記特性化モデルを透視投影し、前記表面下の媒体の第１の特性化イメージを供給するための演算装置と、
   前記表面下の媒体の第１の特性化イメージを、前記第１の眼の前方の現実環境のイメージに重ね合わせて前記第１の表面の上に表示するための第１のディスプレイシステムと、を備え、
   前記プロファイリングシステムは、表面上に配置されたセンサを用い、インパルス発生器で発生された刺激によって検査する表面下の媒体で誘発されるねじれ波の加速度を検出して前記特性を提供するヘッドマウントディスプレイ装置。
2. 表面下の媒体の第２の特性化イメージを、前記ユーザの第２の眼の前方の現実環境のイメージに重ね合わせて第２の眼の前方に位置する第２の表面上に表示するための第２のディスプレイシステムをさらに備え、
   前記演算装置は、前記特性化モデルを前記第２の表面に透視射影して、前記表面下の媒体の第２の特性化イメージを提供し、その結果、前記特性が立体的に可視化される、請求項１に記載のヘッドマウントディスプレイ装置。
3. 前記第１および第２の眼の前方の現実環境のイメージを提供するために前記第１および第２の表面のそれぞれの前方に配置される第１および第２のカメラを更に備え、
   前記演算装置は更に、前記表面下の媒体の特性化イメージを前記第１および第２の眼の前方の現実環境のイメージと重ね合わせる、請求項２に記載のヘッドマウントディスプレイ装置。
4. 前記第１のディスプレイシステムは、前記現実環境のイメージを透過するシースルーのスクリーンを備え、
   前記表面下の媒体の第１の特性化イメージが前記シースルーのスクリーン上に表示される、請求項１に記載のヘッドマウントディスプレイ装置。
5. 前記表面下の媒体の特性は断層撮影像を含む、請求項１から請求項４の何れかに記載のヘッドマウントディスプレイ装置。
6. 前記ポジショニングセンサは、前記基準系に前記第１の眼の位置を関連付けるための三軸加速度計の平行移動センサと、前記基準系に前記第１の眼の方向を関連付けるための三軸加速度計の回転センサとを備える、請求項１から請求項４の何れかに記載のヘッドマウントディスプレイ装置。
7. ユーザが表面下の媒体の特性を可視化するために使用するためのシステムであって、
   摩擦速度、密度、ポアソンの比率、機械的インピーダンス、ずれ弾性率、ヤング率のうち少なくとも１つを含む、前記表面下の媒体の物理的および機械的特性を提供するためのプロファイリングシステムと、
   前記表面下の媒体の特性化を処理し、基準系における３次元グラフィック表現の表面下の媒体の特性化モデルを提供する３次元モデル処理装置と、
   ヘッドマウントディスプレイ装置とを備え、
   前記ヘッドマウントディスプレイ装置は、
   前記特性化モデルを受信する入力段と、
   前記基準系における前記ユーザの第１の眼の位置および方向を感知するポジショニングセンサと、
   前記位置および方向の前記第１の眼の前方に位置する第１の表面の上に前記特性化モデルを透視投影し、前記表面下の媒体の第１の特性化イメージを提供する演算装置と、
   前記表面下の媒体の第１の特性化イメージを、前記第１の眼の前方の現実環境のイメージに重ね合わせて前記第１の表面の上に表示するための第１のディスプレイシステムと、を有し、
   前記プロファイリングシステムは、表面上に配置されたセンサを用い、インパルス発生器で発生された刺激によって検査する表面下の媒体で誘発されるねじれ波の加速度を検出して前記特性を提供するシステム。
8. 前記ヘッドマウントディスプレイ装置は、表面下の媒体の第２の特性化イメージを、前記ユーザの第２の眼の前方の現実環境のイメージに重ね合わせて第２の眼の前方に位置する第２の表面の上に表示するための第２のディスプレイシステムをさらに有し、
   前記演算装置は、前記第２の表面に前記特性化モデルを透視射影し、前記表面下の媒体の前記第２の特性化イメージを提供し、その結果、前記特性化が立体的に可視化される、請求項７に記載のシステム。
9. 前記第１および第２の眼の前方の現実環境のイメージを提供するために、前記第１および第２の表面のそれぞれの前方に配置される第１および第２のカメラを更に備え、
   前記演算装置は更に、前記表面下の媒体の特性化イメージを前記第１および第２の眼の前方の現実環境の前記イメージと重ね合わせる、請求項８に記載のシステム。
10. 前記第１のディスプレイシステムは、前記現実環境のイメージを透過するシースルーのスクリーンを備え、
    前記表面下の媒体の第１の特性化イメージが、前記シースルーのスクリーン上に表示される、請求項７に記載のシステム。
11. 前記表面下の媒体の特性は断層撮影像を含む、請求項７から請求項１０の何れかに記載のシステム。
12. 前記３次元モデル処理装置は、地質工学ベースの３次元モデリングソフトウェアを備える、請求項７から請求項１１の何れかに記載のシステム。
13. 前記ポジショニングセンサは、前記基準系に前記第１の眼の位置を関連付けるための三軸加速度計の平行移動センサと、前記基準系に前記第１の眼の方向を関連付けるための三軸加速度計の回転センサとを備える、請求項７から請求項１２の何れかに記載のシステム。
14. プロファイリングシステム、３次元モデル処理装置、及びヘッドマウントディスプレイ装置を有するシステムにより、ユーザのために表面下の媒体の特性を可視化するための方法であって、
    前記プロファイリングシステムにより、摩擦速度、密度、ポアソンの比率、機械的インピーダンス、ずれ弾性率、ヤング率のうち少なくとも１つを含む、前記表面下の媒体の物理的および機械的特性を提供するステップと、
    前記３次元モデル処理装置により、前記表面下の媒体の前記物理的および機械的特性を処理し、基準系における３次元グラフィック表現で前記表面下の媒体の特性化モデルを提供するステップと、
    前記ヘッドマウントディスプレイ装置により、
    前記基準系における前記ユーザの第１の眼の第１の位置および方向を感知するステップと、
    前記第１の眼の前方に位置する第１の表面を規定するステップと、
    前記第１の眼の前方に位置する第１の表面の上に前記特性化モデルを透視投影し、前記表面下の媒体の第１の特性化イメージを提供するステップと、
    前記第１の眼の前方の現実環境のイメージを提供するステップと、
    前記第１の眼の前方の前記現実環境のイメージに重ね合わせて、前記表面下の媒体の第１の特性化イメージを前記第１の表面に表示するステップと、を含み、
    前記プロファイリングシステムは、表面上に配置されたセンサを用い、インパルス発生器で発生された刺激によって検査する表面下の媒体で誘発されるねじれ波の加速度を検出して前記特性を提供する方法。
15. 前記ヘッドマウントディスプレイ装置により、
    感知した前記第１の位置および方向とともに、前記基準系における前記ユーザの前記第２の眼の第２の位置および方向を決定するステップと、
    前記第２の位置および方向を有する前記第２の眼の前方に位置する第２の表面を規定するステップと、
    前記第２の表面に前記特性化モデルを透視投影し、前記表面下の媒体の第２の特性化イメージを提供するステップと、
    前記第２の眼の前方の現実環境のイメージを提供するステップと、
    前記第２の眼の前方の現実環境のイメージに重ね合わせて、前記表面下の媒体の第２の特性化イメージを前記第２の表面の上に表示し、その結果、前記特性を立体的に可視化するステップと、
    を更に含む、請求項１４に記載の方法。
16. 前記ヘッドマウントディスプレイ装置により、
    前記第１の眼の前方の現実環境のイメージを取得するステップと、
    前記第２の眼の前方の現実環境のイメージを取得するステップと、
    を更に含む、請求項１５に記載の方法。
17. 前記ヘッドマウントディスプレイ装置により、シースルースクリーンを透して前記現実環境のイメージを透過するステップを更に含み、
    前記表示するステップは、前記シースルースクリーン上に前記表面下の媒体の第１の特性化イメージを表示するステップを含む、請求項１４に記載の方法。
18. 前記表面下の媒体の特性は断層撮影像を含む、請求項１４から請求項１７の何れかに記載の方法。
19. 前記３次元モデル処理装置により、前記提供するステップは、地質工学ベースの３次元モデリングソフトウェアにより、前記表面下の媒体の前記物理的および機械的特性を処理し、前記表面下の媒体の特性化モデルを提供する、請求項１４から請求項１７の何れかに記載の方法。
20. 前記ヘッドマウントディスプレイ装置により、前記第１の特性化イメージを提供するステップは、
    所定の特性を有する前記表面下の媒体の領域を選択するステップと、
    前記領域を、３次元グラフィック表示を提供するようにグラフィック表示するステップと、
    前記グラフィック表示を前記第１の表面上に透視射影して、前記表面下の媒体の第１の特性化イメージを提供するステップと、
    を含む、請求項１４から請求項１９の何れかに記載の方法。
21. ユーザが表面下の媒体の特性を可視化するのに用いるためのヘッドマウントディスプレイ装置であって、
    摩擦速度、密度、ポアソンの比率、機械的インピーダンス、ずれ弾性率、ヤング率のうち少なくとも１つを含む、前記表面下の媒体の物理的および機械的特性を有する、基準系において３次元表現された特性化モデルを受信する入力段と、
    前記基準系における前記ユーザの第１の眼の位置および方向を感知するポジショニングセンサと、
    前記表面下の媒体の第１の特性化イメージを供給し、前記第１の位置および方向の第１の眼の前方に位置する第１の表面上に前記特性化モデルを透視投影するための演算装置と、
    前記第１の眼の前方の現実環境の第１のイメージに重ね合わせて前記表面下の媒体の第１の特性化イメージを前記第１の表面の上に表示するための第１のディスプレイシステムと、を備え、
    前記特性は、表面上に配置されたセンサを用い、インパルス発生器で発生された刺激によって検査する表面下の媒体で誘発されるねじれ波の加速度を検出して得られるヘッドマウントディスプレイ装置。
22. ユーザが表面下の媒体の特性を可視化するのに用いるためのポータブルヘッドマウントディスプレイ装置であって、
    摩擦速度、密度、ポアソンの比率、機械的インピーダンス、ずれ弾性率、ヤング率のうち少なくとも１つを含む、前記表面下の媒体の物理的および機械的特性を有する、基準系において３次元表現された特性化モデルを、モデルプロセッサから受信する入力段と、
    前記特性化モデルを保存するためのメモリと、
    前記基準系における前記ヘッドマウントディスプレイ装置の位置および方向を感知するためのポジショニングセンサと、
    前記特性化モデルと前記位置および方向とを用いて、前記表面下の媒体の一組の立体特性化イメージを決定するための演算装置と、
    一組の現実環境のイメージに重ね合わせて、前記表面下の媒体の一組の立体特性化イメージを、前記ユーザの眼の前方に表示するための立体視表示システムと、を備え、
    前記特性は、表面上に配置されたセンサを用い、インパルス発生器で発生された刺激によって検査する表面下の媒体で誘発されるねじれ波の加速度を検出して得られ、
    前記入力段は、前記メモリが前記特性化モデルを保存した後に前記モデルプロセッサから切り離されるヘッドマウントディスプレイ装置。

Images