JP3805231B2 - 画像表示装置及びその方法並びに記憶媒体 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、姿勢センサの出力値に基づいて実空間に融合した仮想空間の画像を表示させる画像表示装置及び方法に関する。更に詳しくは、撮像装置によって撮像された実画像に仮想空間の画像を重畳した重畳画像を生成し、これを表示画面に表示する画像表示装置、あるいは、表示画面に現実空間を光学的に透過させつつ当該表示画面に仮想空間の画像を表示する画像表示装置、及びそれらの方法並びに記憶媒体に関するものである。
【０００２】
【従来の技術】
近年、現実空間と仮想空間の繋ぎ目のない結合を目的とした、複合現実感（以下、“ＭＲ”（Mixed Reality）と称す）に関する研究が盛んに行われている。ＭＲには、ビデオカメラなどの撮影装置で撮影された現実空間の画像に仮想空間（たとえばコンピュータグラフィックス（以下、ＣＧと称す）により描画された仮想物体や文字情報など）の画像を重畳して表示するビデオシースルー方式と、表示装置の表示画面に現実空間を光学的に透過させつつ、その表示画面に仮想空間の画像を重畳表示する光学シースルー方式がある。
【０００３】
このようなＭＲの応用としては、現実の街中において建物等にその名称や案内を重畳表示するナビゲーションや、ビルの建設予定地に建設予定のビルのＣＧ映像を重畳表示する景観シミュレーションなど、今までのバーチャルリアリティとは質的に全く異なった新たな分野が期待されている。これらの応用に対して共通に要求されるのは、現実空間と仮想空間の間の位置合わせをいかにして正確に行うかということであり、従来から多くの取り組みが行われてきた。
【０００４】
ビデオシースルー方式のＭＲにおける位置合わせの問題は、現実空間に設定した世界座標系（以後、単に世界座標系と呼ぶ）における、撮影装置の視点の３次元位置姿勢を求める問題に帰結される。また光学シースルー方式のＭＲにおける位置合わせの問題は、同様に世界座標系におけるユーザの視点の３次元位置姿勢を求める問題といえる。
【０００５】
これらの問題を解決する方法として、磁気センサや超音波センサなどの３次元位置姿勢センサを利用して、世界座標系における撮影装置やユーザの視点（以下、単に視点と呼ぶ）の３次元位置姿勢を取得することが一般的に行われている。
【０００６】
また、屋外において対象までの距離が十分離れている場合のように、視点の位置については固定値を用いても差し支えのない状況下では、ジャイロセンサや加速度計の組み合わせによって構成される３次元姿勢センサを用いて視点の３次元姿勢を得て、それを元に視点の３次元位置姿勢を取得することが一般的に行われている。
【０００７】
３次元姿勢センサが出力する出力値は、例えば（株）トキメック製の姿勢センサTISS-5-40を例にとると、重力の逆方向をＹ軸、このＹ軸によって定められるＸ−Ｚ平面上でのセンサ起動時のセンサの正面方向を−Ｚ軸として定義される座標系であるところのセンサ座標系におけるセンサ自身の３次元姿勢である。このように、３次元姿勢センサが出力する出力値は、計測対象である世界座標系における視点の３次元姿勢ではないのが一般的である。すなわち、センサ出力値をそのまま世界座標系における視点の３次元姿勢として用いることはできず、何らかの座標変換を行う必要がある。具体的には、センサ自身の姿勢を視点の姿勢に変換する座標変換と、センサ座標系における姿勢を世界座標系における姿勢に変換する座標変換が必要となる。なお、本明細書において、センサ出力値と世界座標系における視点の３次元姿勢との間の座標変換を行うためのデータを補正情報と呼ぶこととする。
【０００８】
図１は、光学シースルー方式の複合現実感の提示を行う一般的な画像表示装置の構成を示す図である。
【０００９】
表示画面１１０はシースルー型であり、姿勢センサ１２０と共に頭部装着部１００に固定されている。不図示のユーザが、表示画面１１０が眼前に位置するように頭部装着部１００を装着すると、表示画面１１０の光学系（図１には不図示）を通して表示画面の前方の現実空間を観察することができる。姿勢センサ１２０は、センサ座標系におけるセンサ自身の姿勢を計測し、３自由度の姿勢計測値を出力する。なお、姿勢センサ１２０は地球の重力方向を計測可能な傾斜計（不図示）を内部に有しており、上述したように、センサ座標系の１つの軸（本例ではＹ軸とする）は重力の逆方向に設定される。
【００１０】
姿勢情報出力部１３０は、メモリ１４０が保持する補正情報に従って、姿勢センサ１２０より入力した計測値に変換を加え、世界座標系におけるユーザの視点の姿勢を算出しこれを姿勢情報として出力する。画像生成部１５０は、姿勢情報出力部１３０より入力した姿勢情報に従ってユーザの視点の姿勢に対応した仮想画像を生成し、これを出力する。表示画面１１０は、画像生成部１５０より仮想画像を入力しこれを表示する。以上の構成により、不図示のユーザは、表示画面１１０を通した現実空間の像に重ねて、表示画面１１０に表示された仮想画像を見ることとなる。
【００１１】
次に、図２を用いて、姿勢情報出力部１３０において、世界座標系におけるユーザの視点の姿勢を算出する方法を説明する。
【００１２】
同図において、世界座標系２００におけるセンサ座標系２１０の姿勢をＲ_TW、センサ座標系２１０における姿勢センサ１２０の姿勢をＲ_ST、姿勢センサ１２０からみたユーザの視点２２０の相対的な姿勢をＲ_VS、世界座標系２００におけるユーザの視点２２０の姿勢をＲ_VWとする。
【００１３】
ここで、Ｒは４×４の行列であって、Ｒ_BAはある座標系Ａにおける対象Ｂの姿勢を記述する。これは言い換えれば、座標系Ａから対象Ｂが定義する座標系Ｂへの座標変換行列であり、座標系Ａにおける座標Ｐ_A＝（Ｘ_A，Ｙ_A，Ｚ_A，１）^Tを座標系Ｂにおける座標Ｐ_B＝（Ｘ_B，Ｙ_B，Ｚ_B，１）^Tに変換する変換式、Ｐ_B＝Ｒ_BAＰ_Aを定義するものである。すなわち、世界座標系２００におけるユーザの視点２２０の姿勢Ｒ_VWは、世界座標系２００における座標Ｐ_W＝（Ｘ_W，Ｙ_W，Ｚ_W，１）^Tをユーザの視点座標系２３０における座標Ｐ_V＝（Ｘ_V，Ｙ_V，Ｚ_V，１）^Tに変換するための座標変換行列（Ｐ_V＝Ｒ_VWＰ_W）と言い換えることもできる。
【００１４】
また行列Ｒは、Ｘ軸まわりの回転角θによって定義される回転行列Ｒｘ、Ｙ軸まわりの回転角（方位角）φによって定義される回転行列Ｒｙ、Ｚ軸まわりの回転角ψによって定義される回転行列Ｒｚの積により構成されており、Ｒ＝ＲｚＲｘＲｙの関係が成立している。これらの行列はそれぞれ次のように表される。
【００１５】
【数１】

【００１６】
このときＲ_VWは、
Ｒ_VW＝Ｒ_VS・Ｒ_ST・Ｒ_TW … （式Ａ）
によって示すことができる。
【００１７】
ここで、センサ座標系２１０のＹ軸は重力の逆方向に設定されているので、世界座標系２００のＹ軸を地表面と垂直に定義することにより、世界座標系２００とセンサ座標系２１０のＹ軸の方向を一致させることができる。このとき、Ｒ_TWのＸ軸およびＺ軸まわりの成分であるＲｘ_TWおよびＲｚ_TWはそれぞれ単位行列となり、Ｒ_TWは、Ｙ軸まわりの回転角φ_TWによって定義される回転行列Ｒｙ_TWと等価となる。したがって、上記の（式Ａ）は、
Ｒ_VW＝Ｒ_VS・Ｒ_ST・Ｒｙ_TW … （式Ｂ）
に変形される。
【００１８】
このうち、Ｒ_STが姿勢センサ１２０から姿勢情報出力部１３０への入力、Ｒ_VWが姿勢情報出力部１３０から画像生成部１５０への出力であり、Ｒ_VS及びＲｙ_TW（言い換えると、Ｒ_VSを定義する３軸まわりの回転角θ_VS，φ_VS，ψ_VS及びＲｙ_TWを定義する回転角φ_TW）が、Ｒ_STをＲ_VWに変換するために必要な補正情報に相当する。姿勢情報出力部１３０は、姿勢センサ１２０から入力されるＲ_STと、メモリ１４０に保持されているＲ_VS及びＲｙ_TWとを用いて、（式Ｂ）に基づいてＲ_VWを算出し、これを画像生成部１５０へと出力する。
【００１９】
現実空間と仮想空間の正確な位置合わせを行うためには、何らかの手段によってメモリ１４０に正確な補正情報が設定される必要がある。正確な補正情報が与えられてはじめて、現実空間に正確に位置合わせのなされた仮想画像の表示が実現される。
【００２０】
補正情報を設定する公知の方法の一つとして、ユーザあるいはオペレータが、不図示の入力手段を介してメモリ１４０に格納されたθ_VS，φ_VS，ψ_VS及びφ_TWの各値を対話的に増減し、正確な位置合わせが達成されるまで各値の調整を試行錯誤的に行うという方法がある。
【００２１】
しかしこの方法では、４つのパラメータを同時に調整する必要があるため、作業が煩雑であり調整に時間がかかるという問題点があった。
【００２２】
【発明が解決しようとする課題】
この煩雑さを軽減する一つの方法として、特願２００１−０５０９９０号により提案された方法がある。以下では、この補正情報設定手法について説明する。
【００２３】
図３は、図１の画像表示装置にこの補正情報設定方法を組込んだ際の画像表示装置の構成を示すブロック図である。同図に示したように、本構成は、図１の構成に、補正情報算出部３１０、指示情報入力部３２０及び切替え部３３０が追加された構成となる。また、本画像表示装置における図１の姿勢情報出力部１３０及びメモリ１４０に相当する構成要素はその機能が図１の画像表示装置とは異なるため、図３の画像表示装置ではこれを姿勢情報出力部１３０’及びメモリ１４０’と表記する。
【００２４】
補正情報の算出は、ユーザの視点２２０の姿勢を、世界座標系におけるある予め定めた姿勢であって、地平面と水平な視軸を持つ姿勢Ｒｙ⁰ _VWに移動させて、その時点での姿勢センサ１２０の出力Ｒ⁰ _STを取得することで行われる。メモリ１４０’は、補正情報の他に、上記の予め定めた視点の姿勢Ｒｙ⁰ _VW（あるいはそれを定義するＹ軸まわりの回転角φ⁰ _VW）を保持している。
【００２５】
切替え部３３０は、ユーザあるいはオペレータ（いずれも図３には不図示）からの入力を受け、姿勢情報出力部１３０’のモードを通常モードあるいは補正情報算出モードに設定する。
【００２６】
姿勢情報出力部１３０’は、モードが通常モードの場合には、図１で説明した姿勢情報出力部１３０と同様に、姿勢センサ１２０から入力されるＲ_STから補正情報を用いてＲ_VWを算出し、これを姿勢情報として画像生成部１５０へと出力する。
【００２７】
一方、モードが補正情報算出モードの場合には、メモリ１４０’からＲｙ⁰ _VWを入力し、これを姿勢情報として画像生成部１５０へと出力する。指示情報入力部３２０は、ユーザあるいはオペレータからの入力を受け、補正情報算出処理実行の指示を補正情報算出部３１０へと送信する。より具体的には、ユーザあるいはオペレータは、補正情報算出モードにおいて、表示画面１１０に表示された仮想画像と、表示画面１１０を光学的に透過して観察される現実空間の像が正しい位置関係になるように視点２２０の姿勢を調整する。そして、両画像が十分に重なり合っていると判断した時点（すなわち、視点２２０が姿勢Ｒｙ⁰ _VWに位置していると判断された時点）で、例えば特定のキーを押すことにより指示情報入力部３２０への入力を行う。
【００２８】
補正情報算出部３１０は、補正情報算出処理実行の指示を指示情報入力部３２０から入力し、その時点（すなわち、視点２２０が姿勢Ｒｙ⁰ _VWに位置しているとユーザあるいはオペレータが判断した時点）における姿勢センサ１２０の出力Ｒ⁰ _STを入力し、姿勢Ｒｙ⁰ _VWと姿勢Ｒ⁰ _STに基づいて補正情報の算出を行う。
【００２９】
上記の方法では、補正情報の１つである姿勢Ｒ_VSのうち、その逆行列Ｒ_SV（ユーザの視点から見た姿勢センサの相対的な姿勢を表わす）のｙ軸まわりの回転成分Ｒｙ_SV（あるいはそれを定義するＹ軸まわりの回転角φ_SV）が何らかの方法によって既知であり、すでにメモリ１４０’に記憶されている必要がある。
【００３０】
このとき、補正情報算出部３１０で処理されるデータの間には、（式Ｂ）より、
Ｒｙ⁰ _VW＝Ｒ_VS・Ｒ⁰ _ST・Ｒｙ_TW … （式Ｃ）
の関係が成立する。ここで、（式Ｃ）を変形すると、
Ｒｙ⁰ _VW＝（Ｒｚ_SVＲｘ_SVＲｙ_SV）^{- １}Ｒ⁰ _STＲｙ_TW … （式Ｄ）
となる。
【００３１】
補正情報算出部３１０は、メモリ１４０’よりＲｙ⁰ _VWおよびＲｙ_SVを、センサ１２０よりＲ⁰ _STを入力し、（式Ｄ）に基づいて未知の補正情報Ｒｚ_SV，Ｒｘ_SV，Ｒｙ_TWを算出する。以下にその手順を示す。
【００３２】
（式Ｄ）をさらに変形すると、
Ｒｚ_SVＲｘ_SVＲｙ_SVＲｙ⁰ _VW＝Ｒｚ⁰ _STＲｘ⁰ _STＲｙ⁰ _STＲｙ_TW … （式Ｅ）
となる。ここで、（式Ｅ）の左辺および右辺のそれぞれがＺ、Ｘ、Ｙ軸周りの回転成分の積となっているので、Ｚ、Ｘ、Ｙ軸周りの回転成分毎に恒等式が成立する。
【００３３】
まず、Ｚ、Ｘ軸周りの回転成分の恒等式は以下の通りとなる。すなわち、
Ｒｚ_SV＝Ｒｚ⁰ _ST … （式Ｆ）
Ｒｘ_SV＝Ｒｘ⁰ _ST … （式Ｇ）
これより、Ｒｚ_SVおよびＲｘ_SVを求めることができる。
【００３４】
一方、Ｙ軸周りの回転成分の恒等式は以下の通りとなる。すなわち、
Ｒｙ_SVＲｙ⁰ _VW＝Ｒｙ⁰ _STＲｙ_TW
これより、
Ｒｙ_TW＝Ｒｙ_SVＲｙ⁰ _VWＲｙ⁰ _ST ^-1 … （式Ｈ）
となり、Ｒｙ_TWを求めることができる。
【００３５】
補正情報算出部３１０は、上記の処理によって補正情報Ｒｚ_SV，Ｒｘ_SV，Ｒｙ_TWの算出を行い、これらの値からさらにＲ_VS（＝（Ｒｚ_SVＲ×_SVＲｙ_SV）^-1）を算出して、Ｒ_VSおよびＲｙ_TW（あるいはそれらを定義する回転角θ_SV，ψ_SV及びφ_TW）をメモリ１４０’へと出力する。
【００３６】
なお、Ｒｙ_SVの導出は分度器等の計測値を手掛りに試行錯誤的に行ってもよいし、他のいずれの計測手段を用いて行ってもよい。
【００３７】
以上によって、視点の姿勢の３自由度全てを予め定められた姿勢に固定しさえすれば、未知な補正情報を容易に導出することができ、正確な位置合わせを実現することが可能となる。
【００３８】
表示画面１１０と姿勢センサ１２０との位置関係が固定されている限りにおいては補正情報のうちのＲ_VS（あるいは回転角θ_SVおよびψ_SV）は不変であり、ひとたび補正情報が導出されれば（すなわちＲ_VSが既知となれば）システムの使用ごとに変化する補正情報はＲｙ_TW（あるいは回転角φ_TW）のみである。しかしながら、上記の方法においては、システムの使用ごとに全ての補正情報を導出するのと同様な作業（すなわち視点の姿勢の３自由度全てを予め定められた姿勢に固定するという作業）を行わなくてはならなかった。
【００３９】
しかし、視点の姿勢の３自由度全てを予め定められた姿勢に固定することは容易ではなく、予め定められた姿勢と指示情報を入力した際の実際の姿勢とのずれが、導出する補正情報の誤差として現れてきてしまうという問題があった。そのため、十分な位置合わせが達成できるまで、上記の補正値算出処理を繰り返し行わなくてはならないという問題があった。
【００４０】
本発明は以上の問題に鑑みてなされたものであり、センサ計測値を世界座標系における視点の姿勢に変換するための補正情報を、より簡便に取得することを目的とする。
【００４１】
【課題を解決するための手段】
本発明の目的を解決する為に、例えば本発明の画像表示装置は以下の構成を備える。すなわち、
表示画面を観察するユーザの視点の姿勢に応じた仮想画像を現実画像と合成してユーザに提示する画像表示装置であって、
方位角及び傾斜角を含む姿勢計測値を出力する姿勢センサと、
前記姿勢センサからの姿勢計測値を補正情報を用いて世界座標系で表された視点の姿勢に変換する変換手段と、
前記補正情報の較正のために、メモリに予め格納された所定方位角と、該姿勢センサからの傾斜角とに基づいて世界座標系における前記視点の姿勢を算出する算出手段と、
前記算出手段で算出された前記視点の姿勢を用いて仮想画像を生成し、前記表示画面に表示する表示手段と、
前記表示手段による前記仮想画像の表示中において予め定められた指示入力があったとき、前記姿勢センサからの方位角と前記所定方位角とに基づいて、前記補正情報を較正する較正手段とを備える。
【００４２】
また、上記の目的を達成するための本発明による情報処理方法は、
ユーザの視点の姿勢に応じた仮想画像を現実画像と合成してユーザに提示する情報処理方法であって、
姿勢センサから方位角及び傾斜角を含む姿勢計測値を取得する取得工程と、
前記姿勢センサからの姿勢計測値を補正情報を用いて世界座標系で表された視点の姿勢に変換する変換工程と、
前記補正情報の較正のために、メモリに予め格納された所定方位角と、該姿勢センサからの傾斜角とに基づいて世界座標系における前記視点の姿勢を算出する算出工程と、
前記算出工程で算出された前記視点の姿勢を用いて仮想画像を生成し、表示画面に表示させる表示工程と、
前記表示工程による前記仮想画像の表示中において予め定められた指示入力があったとき、前記姿勢センサからの方位角と前記所定方位角とに基づいて、前記補正情報を較正する較正工程とを備える。
【００４３】
【発明の実施の形態】
以下、添付図面を参照して、本発明の好適な実施形態について詳細に説明する。
【００４４】
以下、本発明の画像表示装置及びその方法を、建設予定のビルの景観シミュレーションを行うシミュレーション装置及びその方法に適用する場合の詳細を説明する。
【００４５】
図４は、本実施形態のシミュレーション装置によってユーザに提示される像の一例を示している。すなわち、本実施形態のシミュレーション装置は、不図示のユーザがビルの建設予定地５１０を含む現実の風景５００を観察している際に、建設予定ビルのＣＧ画像５２０をユーザの視点の姿勢にしたがって生成し、これを表示することにより、建設予定地５１０に建設予定ビルが建っているがごとき像５３０をユーザに観察させる。
【００４６】
本実施形態のシミュレーション装置は、図３において示した補正情報Ｒ_VSおよびＲｙ_TW（あるいはそれらを定義する回転角θ_SV，ψ_SV及びφ_TW）を求める補正情報算出方法に加え、補正情報Ｒ_VS（あるいはそれを定義する回転角θ_SV及びψ_SV）が算出済みである場合に、補正情報Ｒｙ_TW（あるいはそれを定義する回転角φ_TW）のみを効率的に算出する補正情報算出機能を有している。
【００４７】
図５は、本実施形態のシミュレーション装置の装置構成を示している。同図に示したように、本実施形態のシミュレーション装置は、図３に示した画像表示装置における姿勢情報出力部１３０’，補正情報算出部３１０，切替え部３３０，及びメモリ１４０’に相当する構成要素として、姿勢情報出力部１３０”，補正情報算出部３１０’，切替え部３３０’，及びメモリ１４０”を構成要素として有した構成となる。また、画像生成部１５０’は、仮想画像として建設予定のビルのＣＧ画像を生成する機能を有しているものとする。
【００４８】
尚、頭部装着部１００、表示画面１１０、姿勢センサ１２０、及び指示情報入力部３２０の動作は図３に示した画像表示装置と同様であるので説明を省略する。
【００４９】
また、本実施形態においては、メモリ１４０”は、図３に示した画像表示装置における補正情報、予め定めた視点の姿勢Ｒｙ⁰ _VW（あるいは回転角φ⁰ _VW）に加え、世界座標系における姿勢センサ１２０の予め定められた方位角φ⁰ _SW（あるいはそれによって定義される回転行列Ｒｙ⁰ _SW）を保持している。
【００５０】
切替え部３３０’は、ユーザあるいはオペレータ（いずれも図５には不図示）からの入力を受け、姿勢情報出力部１３０”のモードを、図３に示した画像表示装置における通常モード，補正情報算出モード（本実施形態ではこれを第一の補正情報算出モードと呼ぶ）あるいは、補正情報Ｒｙ_TWを算出するための第二の補正情報算出モードに設定する。また、同様に、切替え部３３０’は、補正情報算出部３１０’のモードを、上記第一の補正情報算出モードあるいは第二の補正情報算出モードのいずれかに設定する。
【００５１】
姿勢情報出力部１３０”は、モードが通常モードあるいは第一の補正情報算出モードの場合には、姿勢情報出力部１３０’と同様な姿勢情報を画像生成部１５０’へと出力する。すなわち、モードが通常モードの場合には、図１で説明した姿勢情報出力部１３０と同様に、姿勢センサ１２０から入力されるＲ_STから補正情報を用いてＲ_VWを算出し、これを姿勢情報として画像生成部１５０へと出力する。また、モードが第一の補正情報算出モードの場合には、メモリ１４０’からＲｙ⁰ _VWを入力し、これを姿勢情報として画像生成部１５０へと出力する。
【００５２】
一方、モードが第二の補正情報算出モードの場合には、姿勢情報出力部１３０”は、姿勢センサ１２０から計測値Ｒ_ST（あるいはこれを定義する回転角）を入力し、さらに、メモリ１４０”より補正情報Ｒ_VS及び予め定められた回転行列Ｒｙ⁰ _SW（あるいはこれらを定義する回転角）を入力し、次式
Ｒ’_VW＝Ｒ_VS・Ｒｚ_ST・Ｒｘ_ST・Ｒｙ⁰ _SW …（式Ｉ）
によって算出される姿勢Ｒ’_VW（あるいはこれを定義する回転角）を、姿勢情報として画像生成部１５０’へと出力する。
【００５３】
なお、（式Ｉ）において、Ｒｙ⁰ _SWは、Ｒｙ⁰ _ST・Ｒｙ⁰ _TWに相当する（（式Ｂ）参照）。すなわち、（式Ｂ）において姿勢センサ１２０の計測値Ｒ_STを、傾斜角成分（Ｒｚ_STとＲｘ_ST）と方位角成分（Ｒｙ_ST）に分け、姿勢センサ１２０の世界座標系に対する方位角成分を固定値（Ｒｙ⁰ _ST・Ｒｙ⁰ _TW＝Ｒｙ⁰ _SW）としたものである。
【００５４】
また、補正情報算出部３１０’は、モードが第一の補正情報算出モードの場合には、補正情報算出部３１０と同様な補正情報の算出を行う。すなわち、補正情報算出部３１０は、補正情報算出処理実行の指示を指示情報入力部３２０から入力し、視点２２０が姿勢Ｒｙ⁰ _VWに位置しているとユーザあるいはオペレータが判断した時点における姿勢センサ１２０の出力Ｒ⁰ _STを入力し、姿勢Ｒｙ⁰ _VWと姿勢Ｒ⁰ _STに基づいて補正情報の算出を行う。
【００５５】
一方、モードが第二の補正情報算出モードの場合には、補正情報算出部３１０’は、補正情報算出処理実行の指示を指示情報入力部３２０から入力すると、その時点における姿勢センサ１２０の出力のうちの方位角φ⁰ _ST（あるいはそれによって定義される回転行列Ｒｙ⁰ _ST）を入力し、さらに、メモリ１４０”より方位角φ⁰ _SW（あるいはそれによって定義される回転行列Ｒｙ⁰ _SW）を入力し、次式
φ_TW＝ φ⁰ _SW−φ⁰ _ST …（式Ｊ）
によって算出される補正情報φ_TW（あるいはそれによって定義される回転行列Ｒｙ_TW）をメモリ１４０”へと出力する。
【００５６】
つぎに、図６を用いて、本実施形態のシミュレーション装置の、第二の補正情報算出モードにおける動作の原理を説明する。
【００５７】
第二の補正情報算出モードを実行する時点において、補正情報Ｒ_VSは既に得られている。第二の補正値算出モードにおいては、不図示のユーザが現実空間を観察し、その結果、表示画面１１０を通して現実の風景６００が観察されているものとする。このとき、画像生成部１５０’は、姿勢情報出力部１３０”が（式Ｉ）に基づいて出力する姿勢情報を入力して、建設予定ビルのＣＧ画像６２０を生成し、これを表示画面１１０へと出力する。（式Ｉ）は、姿勢センサ１２０の姿勢に関して、傾斜角（Ｒｚ_STとＲｘ_ST）については姿勢センサ１２０の計測値を、方位角については固定値を使用したものであるので、傾斜角方向については視点の姿勢に連動していて方位角方向については姿勢の固定されたＣＧ画像が生成される。したがって、ユーザが観測する観察像６３０は、傾斜角方向に関しては位置合わせが正しく行われており、方位角方向のみに位置ずれが生じた像となる。
【００５８】
ユーザあるいはオペレータ（いずれも不図示）は、観察像において現実の風景と仮想の映像（建設予定ビルのＣＧ映像）が正しい位置関係となるように視点の方位方向を調整し（６４０，６５０，６６０）、正しい位置関係の観察像が観察された時点（６６０）で、補正情報算出処理実行の指示を指示情報入力部３２０へと入力する。このとき、視点の傾斜角に関しては固定する必要がないため、一般的な手法と比べて姿勢の調整を容易に行うことができる。
【００５９】
ここで、現実空間の像と仮想空間の像の位置関係が正しいとされた時点（６６０）におけるに姿勢センサ１２０の出力を（式Ｂ）に基づいて正しい補正情報によって補正することによって得られる姿勢情報は、（式Ｉ）で算出される姿勢情報と等しくなるはずである。よって（式Ｂ）および（式Ｉ）から、
Ｒ_VS・Ｒ⁰ _ST・Ｒｙ_ＴＷ ＝Ｒ_VS・Ｒ⁰ｚ_ST・Ｒ⁰ｘ_ST・Ｒｙ⁰ _SW …（式Ｋ）なる関係が成立する。
【００６０】
したがって、
Ｒｙ⁰ _ST・Ｒｙ_TW＝Ｒｙ⁰ _SW …（式Ｌ）
となり、これより（式Ｊ）が導出さる。したがって、補正情報算出部３１０’において、（式Ｊ）に基づいて補正情報φ_TWを算出することが可能となる。
【００６１】
図７は本実施形態のシミュレーション装置による処理の手順を示すフローチャートである。なお、同フローチャートに従ったプログラムコードは本実施形態の装置内の不図示のＲＡＭやＲＯＭなどのメモリ内に格納され、不図示のＣＰＵにより読み出され、実行される。
【００６２】
ステップＳ１０１０において、切替え部３３０’における現在の設定モードが通常モード、第一の補正情報算出モード及び第二の補正情報算出モードの何れであるかの判定を行う。姿勢センサ１２０及び／または表示画面１１０が頭部装着部１００にはじめて固定されたときや、姿勢センサ１２０と表示画面１１０の相対的な姿勢の関係が変化した場合には、全ての補正情報を導出する必要がある。このような場合、ユーザあるいはオペレータは、切替え部３３０’によってモードを第一の補正情報算出モードに切替え、補正情報の算出処理を実行する。
【００６３】
モードが第一の補正情報算出モードの場合、処理はステップＳ１１００に進み、指示情報入力部３２０から指示情報が入力されているかどうかの判定が行われる。
【００６４】
指示情報が入力されていない場合、処理はステップＳ１１００からステップＳ１１５０へ進み、姿勢情報出力部１３０”はメモリ１４０”から予め定めた姿勢情報を入力する。そして、ステップＳ１０５０においてこれを視点の姿勢情報として画像生成部１５０’へと出力する。
【００６５】
画像生成部１５０’は、ステップＳ１０６０において姿勢情報出力部１３０”から視点の姿勢情報を入力し、これを仮想物体の描画パラメータとして設定する。そして、ステップＳ１０７０において、ステップＳ１０６０で設定された描画パラメータを用いて仮想物体のＣＧ画像を生成し、ステップＳ１０８０において生成したＣＧ画像を表示画面１１０へと出力する。これにより、予め定めた姿勢にしたがった仮想物体の像が表示画面１１０上へと表示される。この処理は、第一の補正情報算出モードの間繰り返し行われる。
【００６６】
以上のようにして仮想物体の像を表示画面１１０上に表示している間に、ユーザあるいはオペレータは、表示画面１１０に表示された仮想物体が現実空間と正しい位置関係になるように頭部の３次元的な姿勢を調整する。そして、正しい位置関係となった時点で指示情報入力部３２０により指示情報の入力を行う。
【００６７】
第一の補正情報算出モードで指示情報が入力された場合、補正情報算出部３１０’は、ステップＳ１１１０において姿勢センサ１２０から計測値を入力し、ステップＳ１１２０において予め定めた姿勢および補正情報Ｒｙ_SV（あるいはそれを定義する回転角φ_SV）をメモリ１４０”から入力する。さらに、ステップＳ１１３０において、（式Ｆ），（式Ｇ）および（式Ｈ）に従って未知の補正情報を算出し、ステップＳ１１４０において、算出した補正情報をメモリ１４０”へと出力する。
【００６８】
一方、第一の補正情報算出モードにおいて補正情報を算出した後であって、姿勢センサ１２０と表示画面１１０の相対的な姿勢の関係が変化していない状況において、本実施形態のシミュレーション装置を再度使用する場合には、ユーザあるいはオペレータは、切替え部３３０’によってモードを第二の補正値算出モードに切替え、補正情報の算出処理を実行すればよい。
【００６９】
切替え部３３０’において第二の補正情報算出モードが設定されている場合、処理はステップＳ１１６０に進み、指示情報入力部３２０から指示情報が入力されているかどうかの判定が行われる。
【００７０】
指示情報が入力されていない場合、姿勢情報出力部１３０”は、ステップＳ１２１０において姿勢センサ１２０から計測値を入力し、ステップＳ１２２０においてメモリ１４０”より補正情報Ｒ_VS及び予め定められた回転行列Ｒｙ⁰ _SW（あるいはこれらを定義する回転角）を入力する。そして、ステップＳ１２３０において（式Ｉ）に基づき視点の姿勢を算出し、ステップＳ１０５０においてこれを視点の姿勢情報として画像生成部１５０’へと出力する。
【００７１】
画像生成部１５０’は、ステップＳ１０６０において姿勢情報出力部１３０”から視点の姿勢情報を入力し、これを仮想物体の描画パラメータとして設定する。さらに、ステップＳ１０７０において仮想物体の描画を行い、ステップＳ１０８０において生成したＣＧ画像を表示画面１１０へと出力する。これにより、方位角のみが一定方向に固定された仮想物体が表示画面１１０上へと表示される。以上の処理は、第二の補正情報算出モードの間繰り返し行われる。
【００７２】
以上のようにして仮想物体の像を表示画面１１０上に表示している間に、ユーザあるいはオペレータは、表示画面１１０に表示された仮想物体が現実空間と正しい位置関係になるように頭部の方位角方向を調整する（図６の６３０〜６６０）。そして、正しい位置関係となった時点で指示情報入力部３２０により指示情報の入力を行う。
【００７３】
指示情報が入力された場合、補正情報算出部３１０’は、ステップＳ１１７０において、姿勢センサ１２０から計測値を入力し、ステップＳ１１８０において、予め定められた方位角φ⁰ _SW（あるいはこれによって定義される回転行列Ｒｙ⁰ _SW）をメモリ１４０”から入力する。さらに、ステップＳ１１９０において（式Ｊ）に従って未知の補正情報φ_TWを算出し、ステップＳ１２００において、上記算出された補正情報をメモリ１４０”へと出力する。こうして、最終的な補正情報がメモリ１４０”に格納される。
【００７４】
切替え部３３０’によって設定されたモードが通常モードの場合、姿勢情報出力部１３０”は、ステップＳ１０２０において、姿勢センサ１２０から計測値を入力し、ステップＳ１０３０において、メモリ１４０”から補正情報を入力する。さらに、ステップＳ１０４０において、計測値と補正情報から視点の姿勢を算出し、ステップＳ１０５０においてこれを視点の姿勢情報として画像生成部１５０’へと出力する。
【００７５】
画像生成部１５０’は、ステップＳ１０６０において、姿勢情報出力部１３０”から視点の姿勢情報を入力し、ステップＳ１０７０において、その姿勢情報に基づいて仮想物体のＣＧ画像を生成する。次に、ステップＳ１０８０において、生成したＣＧ画像を表示画面１１０へと出力する。これにより、視点の姿勢にしたがった仮想物体の像が表示画面１１０上へと表示される。この処理は、通常モードの間繰り返し行われる。
【００７６】
尚、姿勢情報出力部１３０”，メモリ１４０”，画像生成部１５０’，補正情報算出部３１０’，指示情報入力部３２０，および切替え部３３０’は、例えば１台の汎用コンピュータ（ノート型コンピュータ等）により構成することが可能である。また、本実施形態では、姿勢センサ１２０は例えばトキメック（株）の姿勢センサTISS-5-40を含んで構成したが、他の姿勢センサでももちろんかまわない。
【００７７】
尚、切替え部３３０’および指示情報入力部３２０への入力は、同一のユーザインターフェイスを介して行われることが望ましく、例えば、キーボードや、コントロールパッドを用いることができる。
【００７８】
また、上記実施形態は光学シースルー方式のＭＲを実現するためのものであったが、光学シースルー方式に限定されるものではなく、ビデオシースルー方式のＭＲにも適用可能である。その場合、上述の実施形態ではユーザの視点２２０であった姿勢の計測対象が、撮像装置（例えばビデオカメラ）の視点となる。また、ビデオシースルー方式の場合、画像生成部１５０’は、撮像装置が撮影した現実空間の画像にＣＧ画像を重畳描画し、これを表示画面１１０へと表示する。
【００７９】
＜変形例１＞
上記実施形態は、位置合わせの手掛りとして表示対象である仮想物体のＣＧ画像を用いたが、仮想空間と現実空間の位置合わせがなされていることを確認するための視覚的なキューとなる幾何情報であれば、いずれの幾何情報を用いてもよい。例えば地形や現実のビルの形状のモデリングを行い、現実空間の同位置にそのワイヤーフレームモデルを重畳描画するようにして位置合わせを行なってもよい。なお、現実物体のワイヤーフレームモデルと表示対象である仮想物体とを組み合わせて表示することが可能あることは言うまでもない。
【００８０】
＜変形例２＞
また、上記実施形態は、本発明の画像表示装置及びその方法を、景観シミュレーションに適用したものであったが、言うまでもなく景観シミュレーション以外のＭＲシステムにも適応可能である。また、ＭＲシステムに限らず、姿勢センサを用いて視点の位置姿勢を計測する種々の用途に用いることも可能である。
【００８１】
＜変形例３＞
上記実施形態では、姿勢センサとしてトキメック（株）の姿勢センサTISS-5-40を使用しているが、このセンサの適用に限られるものではない。センサ座標系の１つの軸が世界座標系に関連づけて設定される姿勢センサであれば、いずれのセンサに対しても適用可能である。
【００８２】
＜変形例４＞
上記実施形態では、補正情報算出部３１０は、指示情報が入力された時点における姿勢センサ１２０の出力をＲ⁰ _STとして入力し、これを補正情報の算出に用いた（ステップＳ１１７０）が、必ずしも指示情報が入力された時点の姿勢センサ１２０の出力をＲ⁰ _STとしなくてもよい。例えば、該指示情報が入力された時点の前後における姿勢センサ１２０の計測値（例えばそれらの平均値）を用いるようにしてもよい。或は、視点２２０を姿勢Ｒｙ⁰ _VWに一定時間静止させておき、その間の姿勢センサ１２０の出力の平均値を元にＲ⁰ _STを求めても良いし、視点２２０が姿勢Ｒｙ⁰ _VWに位置している際の姿勢センサ１２０の出力を得ることが出来れば、いずれの方法でＲ⁰ _STを取得してもよい。
【００８３】
＜変形例５＞
上記実施形態では、補正情報Ｒ_VSを求めるために第一の補正情報算出モードを設けていたが、補正情報Ｒ_VSの取得方法はこれに限定されるものではなく、他のいかなる方法によって取得しても良い。例えば、従来例で述べたような試行錯誤的な方法によって補正情報Ｒ_VSの算出を行ってもよい。この場合、上記実施形態における第一の補正情報算出モードに関連する機能は不用となる。また、切替え部３３０’は通常モードと第二の補正情報算出モードの切替えを行い、姿勢情報出力部１３０”は通常モードまたは第二の補正値算出モードにおける処理を行い、補正情報算出部３１０’は第二の補正値算出モードにおける処理を行えばよい。
【００８４】
＜変形例６＞
上記実施形態では、通常モードにおいて、算出された補正情報を利用して視点の姿勢の変化に応じたＣＧ画像の重畳表示を行っているが、算出した補正情報を例えば他の画像表示装置で利用することを目的として、本発明の画像表示装置を補正情報の算出のみのために用いることも可能である。この場合には、上記実施形態における通常モードが不用となるので、切替え部３３０’を省略し、姿勢情報出力部１３０”は常に第二の補正値算出モードにおける処理のみを行う構成とすることができる。
【００８５】
＜変形例７＞
更に、上記実施形態では、第二の補正値算出モードから通常モードへの切替えは、切替え部３３０’によって行ったが、この切替えは別の方法を用いて行っても良い。例えば、第二の補正値算出モードにおいて指示情報入力部３２０によって指示情報が入力され、それにより補正情報算出部３１０’が補正情報を算出したタイミングで、通常モードへ移行するようにしてもよい。
【００８６】
［他の実施形態］
本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体（または記録媒体）を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはCPUやMPU）が記憶媒体に格納されたプログラムコードを読み出し実行することによっても、達成されることは言うまでもない。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム(OS)などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【００８７】
さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるCPUなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【００８８】
本発明を上記記憶媒体に適用する場合、その記憶媒体には先に説明した（図７に示す）フローチャートに対応するプログラムコードが格納されることになる。
【００８９】
【発明の効果】
以上説明したように、本発明によれば、姿勢センサの計測値の傾斜角と、メモリに予め格納された所定方位角とを用いて仮想画像を生成、表示し、この表示を用いて補正情報の較正を行うので、視点の傾斜角は気にせずに、方位角を表示画像に基づいて調整するだけで、姿勢センサからの姿勢計測値を世界座標系で表された視点の姿勢に変換するための補正情報を較正することができる。従って、極めて簡便に補正情報を較正することができる。
【図面の簡単な説明】
【図１】光学シースルー方式の複合現実感の提示を行う一般的な画像表示装置の構成を示す図である。
【図２】姿勢情報出力部１３０において、世界座標系２００におけるユーザの視点２２０の姿勢を算出する方法を説明する図である。
【図３】補正情報算出部を備えた画像表示装置の構成を示す図である。
【図４】本発明の第１の実施形態における景観シミュレーションが提示する像の例を示した図である。
【図５】本発明の第１の実施形態における景観シミュレーション装置の構成を示した図である。
【図６】本発明の第１の実施形態における景観シミュレーション装置の、第二の補正情報算出モードにおける動作の原理を説明した図である。
【図７】本発明の第１の実施形態の景観シミュレーション装置の処理手順を示すフローチャートである。

Claims (10)

1. 表示画面を観察するユーザの視点の姿勢に応じた仮想画像を現実画像と合成してユーザに提示する画像表示装置であって、
   方位角及び傾斜角を含む姿勢計測値を出力する姿勢センサと、
   前記姿勢センサからの姿勢計測値を補正情報を用いて世界座標系で表された視点の姿勢に変換する変換手段と、
   前記補正情報の較正のために、メモリに予め格納された所定方位角と、該姿勢センサからの傾斜角とに基づいて世界座標系における前記視点の姿勢を算出する算出手段と、
   前記算出手段で算出された前記視点の姿勢を用いて仮想画像を生成し、前記表示画面に表示する表示手段と、
   前記表示手段による前記仮想画像の表示中において予め定められた指示入力があったとき、前記姿勢センサからの方位角と前記所定方位角とに基づいて、前記補正情報を較正する較正手段とを備えることを特徴とする画像表示装置。
2. 前記表示手段は、光学シースルー方式を採用していることを特徴とする請求項１に記載の画像表示装置。
3. 前記表示手段は、ビデオシースルー方式を採用していることを特徴とする請求項１に記載の画像表示装置。
4. 前記算出手段で算出された前記視点の姿勢を用いて生成される仮想画像は、ワイヤーフレームモデルであることを特徴とする請求項１乃至３のいずれかに記載の画像表示装置。
5. 通常モードと補正値算出モードとの切替えを行う切替え手段をさらに有し、
   前記通常モードにおいては、前記変換手段で得られた視点の姿勢に応じた仮想画像を前記表示画面に表示し、
   前記補正値算出モードでは、前記算出手段、前記表示手段、前記較正手段を機能させることを特徴とする請求項１乃至４のいずれかに記載の画像表示装置。
6. 前記較正手段は、センサ座標系と世界座標系の間の方位角のオフセット値を補正することを特徴とする請求項１乃至５のいずれかに記載の画像表示装置。
7. 前記姿勢センサは、地球の重力方向を計測可能な傾斜計を有し、センサ座標系の１つの軸が重力方向に応じて設定されていることを特徴とする請求項１乃至６のいずれかに記載の画像表示装置。
8. ユーザの視点の姿勢に応じた仮想画像を現実画像と合成してユーザに提示する情報処理方法であって、
   姿勢センサから方位角及び傾斜角を含む姿勢計測値を取得する取得工程と、
   前記姿勢センサからの姿勢計測値を補正情報を用いて世界座標系で表された視点の姿勢に変換する変換工程と、
   前記補正情報の較正のために、メモリに予め格納された所定方位角と、該姿勢センサからの傾斜角とに基づいて世界座標系における前記視点の姿勢を算出する算出工程と、
   前記算出工程で算出された前記視点の姿勢を用いて仮想画像を生成し、表示画面に表示させる表示工程と、
   前記表示工程による前記仮想画像の表示中において予め定められた指示入力があったとき、前記姿勢センサからの方位角と前記所定方位角とに基づいて、前記補正情報を較正する較正工程とを備えることを特徴とする情報処理方法。
9. ユーザの視点の姿勢に応じた仮想画像を現実画像と合成してユーザに提示する情報処理をコンピュータに実行させるための制御プログラムを格納したコンピュータ可読メモリであって、
   前記情報処理が、
   姿勢センサから方位角及び傾斜角を含む姿勢計測値を取得する取得工程と、
   前記姿勢センサからの姿勢計測値を補正情報を用いて世界座標系で表された視点の姿勢に変換する変換工程と、
   前記補正情報の較正のために、メモリに予め格納された所定方位角と、該姿勢センサからの傾斜角とに基づいて世界座標系における前記視点の姿勢を算出する算出工程と、
   前記算出工程で算出された前記視点の姿勢を用いて仮想画像を生成し、表示画面に表示させる表示工程と、
   前記表示工程による前記仮想画像の表示中において予め定められた指示入力があったとき、前記姿勢センサからの方位角と前記所定方位角とに基づいて、前記補正情報を較正する較正工程とを備えることを特徴とするコンピュータ可読メモリ。
10. ユーザの視点の姿勢に応じた仮想画像を現実画像と合成してユーザに提示する情報処理をコンピュータに実行させるための制御プログラムであって、
    前記情報処理が、
    姿勢センサから方位角及び傾斜角を含む姿勢計測値を取得する取得工程と、
    前記姿勢センサからの姿勢計測値を補正情報を用いて世界座標系で表された視点の姿勢に変換する変換工程と、
    前記補正情報の較正のために、メモリに予め格納された所定方位角と、該姿勢センサからの傾斜角とに基づいて世界座標系における前記視点の姿勢を算出する算出工程と、
    前記算出工程で算出された前記視点の姿勢を用いて仮想画像を生成し、表示画面に表示させる表示工程と、
    前記表示工程による前記仮想画像の表示中において予め定められた指示入力があったとき、前記姿勢センサからの方位角と前記所定方位角とに基づいて、前記補正情報を較正する較正工程とを備えることを特徴とする制御プログラム。

Images