JPWO2006134778A1

JPWO2006134778A1 - 位置検出装置、位置検出方法、位置検出プログラム及び複合現実提供システム

Info

Publication number: JPWO2006134778A1
Application number: JP2007521241A
Authority: JP
Inventors: 麻樹杉本; 享大中村; 新居　英明; 英明新居; 稲見　昌彦; 昌彦稲見
Original assignee: THE UNIVERSITY OF ELECTRO-COMUNICATINS; University of Electro-Communications
Current assignee: THE UNIVERSITY OF ELECTRO-COMUNICATINS; University of Electro-Communications
Priority date: 2005-06-14
Filing date: 2006-05-25
Publication date: 2009-01-08
Also published as: KR20080024476A; US20080267450A1; WO2006134778A1

Abstract

本発明は、従来に比して簡易な構成で現実世界の対象物の画面上における位置を高精度に検出できるようにする。本発明は、輝度レベルがＸ軸方向及びＹ軸方向へ次第に変化するようにグラデーション化された複数の領域からなる特殊マーカー画像ＭＫＺを生成し、液晶ディスプレイ２の画面上における自動車形状ロボット３と対向した位置に当該特殊マーカー画像ＭＫＺを表示し、当該特殊マーカー画像ＭＫＺの位置検出領域ＰＤ１Ａ、ＰＤ２Ａ、ＰＤ３及びＰＤ４におけるＸ軸方向及びＹ軸方向の輝度レベル変化をそれぞれ検出するため自動車形状ロボット３に設けられたセンサＳＲ１〜ＳＲ４により輝度レベル変化を検出し、その輝度レベル変化に基づいて特殊マーカー画像ＭＫＺと自動車形状ロボット３との相対的位置関係の変化を算出することにより液晶ディスプレイ２の画面上での位置を検出することができる。

Description

本発明は、位置検出装置、位置検出方法、位置検出プログラム及び複合現実提供システムに関し、例えばディスプレイの提示映像上に対して物理的に載置された現実世界の対象物体に対する位置を検出する用途及びこれを利用したゲーム装置等の用途に適用して好適なものである。

従来、位置検出装置としては、光学系、磁気センサ系、超音波センサ系等により位置検出を行うものがあり、特に光学系では理論的な計測精度がカメラの画素分解能と当該カメラの光軸間角度により決まってしまう。
そこで光学系の位置検出装置では、輝度情報やマーカーの形状情報を併せて用いることにより検出精度を向上させるようになされている（例えば、特許文献１参照）。
特開２００３−１０３０４５公報。

ところでかかる構成でなる光学系の位置検出装置では、カメラを用いるために計測対象空間よりも更に大きな空間を必要とすること、カメラから隠れる部位の計測が出来ないので、計測範囲が限られてしまうという不都合があり、更なる改善の余地がある。
また磁気センサ系の位置検出装置では、計測空間に傾斜した静磁場を発生させ、その静磁場中に置かれたセンサユニットの位置と姿勢の６自由度を計測するものである。この位置検出装置では、１つのセンサで６自由度の計測ができ、演算処理をほとんど必要しないためリアルタイムな計測が可能である。
従って磁気センサ系の位置検出装置は、光学系の位置検出装置に比べると、光に対する遮蔽物があっても計測することが可能であるが、同時に計測可能なセンサ数を増やすことが困難であり、また計測対象空間の磁性体や誘電体の影響を受け易く、更には計測対象空間内に金属が多い場合は検出精度が大きく劣化するという種々の問題がある。
さらに超音波センサ系の位置検出装置は、超音波発信器を計測物体に取り付け、空間に固定した受信機との距離関係に基づいて計測物体の位置を検出するようになされているが、ジャイロセンサや加速度計を併用して計測物体の姿勢を検出するものもある。
この超音波センサ系の位置検出装置では、超音波を用いているため、カメラよりは遮蔽物に強いが、その遮蔽物が発信機と受信機の間に存在するときは計測が困難な場合もある。

本発明は以上の点を考慮してなされたもので、従来に比して簡易な構成で現実世界の対象物の画面上又は表示対象上における位置を高精度に検出し得る位置検出装置、位置検出方法、位置検出プログラム及び当該位置検出方法を利用した複合現実提供システムを提案しようとするものである。
かかる課題を解決するため本発明の位置検出装置、位置検出方法及び位置検出プログラムにおいては、表示部上の第１の方向（Ｘ軸方向）及び第２の方向（Ｙ軸方向、Ｘ軸とは直交関係にあるがこの関係に限るものではない）へ輝度レベルが次第に変化するようにグラデーション化された複数の領域からなる指標画像を生成し、表示部上の移動体と対向した位置に当該指標画像を表示し、当該指標画像の複数の領域におけるＸ軸方向及びＹ軸方向の輝度レベル変化をそれぞれ検出するため移動体に設けられた輝度レベル検出手段により輝度レベル変化を検出し、その輝度レベル変化に基づいて指標画像と移動体との相対的位置関係の変化を算出することにより表示部上での位置を検出するようにする。
これにより、指標画像のグラデーション化された複数の領域の輝度レベル変化に基づいて、表示部上に載置された移動体の移動に伴う指標画像と当該移動体との相対的位置関係の変化を算出することができるので、その算出結果を基に移動体の表示部上における移動に伴う位置を正確に検出することができる。
また本発明の位置検出装置においては、表示対象上で移動する移動体の位置を検出する位置検出装置であって、表示対象上のＸ軸方向及びＹ軸方向へ輝度レベルが次第に変化するようにグラデーション化された複数の領域からなる指標画像を生成し、表示対象上を移動する移動体の上面に対して表示する指標画像生成手段と、指標画像の複数の領域におけるＸ軸方向及びＹ軸方向の輝度レベル変化をそれぞれ検出するため移動体の上面に設けられた輝度レベル検出手段と、輝度レベル検出手段によって検出した検出結果に基づいて指標画像と移動体との相対的位置関係の変化を算出することにより表示対象上での位置を検出する位置検出手段とを設けるようにする。
これにより、表示対象上を移動する移動体の上面に対して表示される指標画像のグラデーション化された複数の領域の輝度レベル変化に基づいて、移動体の移動に伴う指標画像と当該移動体との相対的位置関係の変化を算出することができるので、その算出結果を基に移動体の移動に伴う表示対象上における位置を正確に検出することができる。
また本発明においては、情報処理装置によって表示部の画面上に表示される映像と、当該画面上に載置された移動体とを対応させながら当該移動体の動きを制御することにより、映像と移動体とが融合された複合現実感を提供する複合現実提供システムであって、情報処理装置は、画面上のＸ軸方向及びＹ軸方向へ輝度レベルが次第に変化するようにグラデーション化された複数の領域からなる指標画像を生成し、表示部上の移動体と対向した位置に映像の一部として指標画像を表示する指標画像生成手段と、予め定められた移動命令又は所定の入力手段を介して入力された移動命令に従って指標画像を画面上で移動させる指標画像移動手段とを具え、移動体は、指標画像の複数の領域におけるＸ軸方向及びＹ軸方向の輝度レベル変化をそれぞれ検出するため移動体に設けられた輝度レベル検出手段と、指標画像移動手段によって移動された指標画像に対し、輝度レベル検出手段によって検出した輝度レベル変化に基づいて指標画像と移動体との相対的位置関係の変化を算出することにより表示部上における移動体の現在位置を検出する位置検出手段と、移動体の現在位置と移動後の指標画像の位置との差分を無くすように追従させることにより、指標画像に合わせて移動体を移動させる移動制御手段とを設けるようにする。
これにより複合現実提供システムでは、情報処理装置が表示部の画面上に表示した指標画像を当該画面上で動かしたときに、その指標画像に表示部の画面上に載置された移動体を追従させることができるので、指標画像を介して移動体を間接的に移動制御することができる。
さらに本発明においては、情報処理装置によって表示対象上に表示される映像と、当該表示対象上に載置された移動体とを対応させながら当該移動体の動きを制御することにより、映像と移動体とが融合された複合現実感を提供する複合現実提供システムであって、情報処理装置は、表示対象上のＸ軸方向及びＹ軸方向へ輝度レベルが次第に変化するようにグラデーション化された複数の領域からなる指標画像を生成し、表示対象上を移動する移動体の上面に対して表示する指標画像生成手段と、予め定められた移動命令又は所定の入力手段を介して入力された移動命令に従って指標画像を表示対象上で移動させる指標画像移動手段とを具え、移動体は、指標画像の複数の領域におけるＸ軸方向及びＹ軸方向の輝度レベル変化をそれぞれ検出するため移動体の上面に設けられた輝度レベル検出手段と、指標画像移動手段によって移動された指標画像に対し、輝度レベル検出手段によって検出した輝度レベル変化に基づいて指標画像と移動体との相対的位置関係の変化を算出することにより表示対象上における移動体の現在位置を検出する位置検出手段と、移動体の現在位置と移動後の指標画像の位置との差分を無くすように追従させることにより、指標画像に合わせて移動体を移動させる移動制御手段とを設けるようにする。
これにより複合現実提供システムでは、情報処理装置が移動体の上面に表示した指標画像を動かしたときに、その指標画像に移動体を追従させることができるので、移動体の載置場所を選ぶことなく、表示対象を選ぶことなく何れの場所であっても指標画像を介して移動体を間接的に移動制御することができる。
本発明によれば、指標画像のグラデーション化された複数の領域の輝度レベル変化に基づいて移動体の移動に伴う指標画像と当該移動体との相対的位置関係の変化を算出することができるので、移動体の表示部上における移動に伴う位置を正確に検出することができ、かくして従来に比して簡易な構成で対象物の画面上における位置を高精度に検出し得る位置検出装置、位置検出方法及び位置検出プログラムを実現することができる。
また本発明によれば、表示対象上を移動する移動体の上面に対して表示される指標画像のグラデーション化された複数の領域の輝度レベル変化に基づいて、移動体の移動に伴う指標画像と当該移動体との相対的位置関係の変化を算出することができるので、その算出結果を基に移動体の移動に伴う表示対象上における位置を正確に検出し得る位置検出装置、位置検出方法及び位置検出プログラムを実現することができる。
さらに本発明によれば、情報処理装置が表示部の画面上に表示した指標画像を当該画面上で動かしたときに、その指標画像に表示部の画面上に載置された移動体を追従させることができるので、指標画像を介して移動体を間接的に移動制御し得る複合現実提供システムを実現することができる。
さらに本発明によれば、情報処理装置が移動体の上面に表示した指標画像を動かしたときに、その指標画像に移動体を追従させることができるので、移動体の載置場所を選ぶことなく、表示対象を選ぶことなく何れの場所であっても指標画像を介して移動体を間接的に移動制御し得る複合現実提供システムを実現することができる。

図１は、位置検出装置による位置検出原理の説明に供する略線図である。
図２は、自動車形状ロボットの構成（１）を示す略線的斜視図である。
図３は、基本マーカー画像を示す略線図である。
図４は、基本マーカー画像を用いた位置検出方法及び姿勢検出方法の説明に供する略線図である。
図５は、センサのサンプリングレートの説明に供する略線図である。
図６は、特殊マーカー画像を示す略線図である。
図７は、特殊マーカー画像の輝度レベル分布を示す略線図である。
図８は、特殊マーカー画像を用いた位置検出方法及び姿勢検出方法の説明に供する略線図である。
図９は、対象物体主導型の複合現実表現システムを示す略線図である。
図１０は、コンピュータ装置の構成を示す略線的ブロック図である。
図１１は、対象物体主導型の複合現実表現処理シーケンスの説明に供するシーケンスチャートである。
図１２は、現実世界の対象物体と仮想世界のＣＧ映像とが融合した擬似３次元空間を示す略線図である。
図１３は、仮想物体モデル主導型の複合現実表現システムを示す略線図である。
図１４は、仮想物体モデル主導型の複合現実表現処理シーケンスを示すシーケンスチャートである。
図１５は、変形例としての複合現実表現システムを示す略線図である。
図１６は、変形例としてのハーフミラーを用いた複合現実表現システムを示す略線図である。
図１７は、変形例としての現実世界の対象物体に対する移動制御の説明に供する略線図である。
図１８は、上面照射型の複合現実提供装置を示す略線図である。
図１９は、特殊マーカー画像付きＣＧ映像を示す略線図である。
図２０は、自動車形状ロボットの構成（２）を示す略線図である。
図２１は、ノートＰＣの回路構成を示す略線的ブロック図である。
図２２は、自動車形状ロボットの構成を示す略線的ブロック図である。
図２３は、光通信時の特殊マーカー画像を示す略線図である。
図２４は、アーム部の動作の説明に供する略線図である。
図２５は、上面照射型の複合現実提供装置を示す略線図である。
図２６は、応用例の説明に供する略線的斜視図である。
図２７は、他の実施の形態におけるマーカー画像を示す略線図である。

符号の説明

１、３０２……ノートＰＣ、２……液晶ディスプレイ、３、３０４、４５０……自動車形状ロボット、ＭＫ……基本マーカー画像、ＭＫＺ……特殊マーカー画像、１００……複合現実表現システム、１０２……コンピュータ装置、１０３……プロジェクタ、１０４、３０１……スクリーン、１０５……現実世界の対象物体、１０６……ユーザ、１０７……ラジコン、１０８……計測装置、１０９……仮想空間構築部、１１０……対象物体モデル生成部、１１１……仮想物体モデル生成部、１１２……背景画像生成部、１１３……物理計算部、１１４……映像信号生成部、１２１、３１０……ＣＰＵ、１２２……ＲＯＭ、１２３……ＲＡＭ、１２４……ハードディスクドライブ、１２５……ディスプレイ、１２６……インタフェース、１２７……入力部、１２９……バス、１３０……計測カメラ、１５１……ハーフミラー、Ｖ１、Ｖ２、Ｖ１０……仮想世界のＣＧ映像、３００……上面照射型の複合現実提供装置、３１１……ノースブリッジ、３１２……メモリ、３１３……コントローラ、３１４……ＧＰＵ、３１５……ＬＣＤ、３１６……ＬＡＮカード、３２１……ＭＣＵ、３２２……Ａ／Ｄ変換回路、３２３、３２４……モータドライバ、３２５〜３２８……車輪用モータ、３３０、３３１……サーボモータ、３２９……ワイヤレスＬＡＮユニット、４００……下面照射型の複合現実提供装置、４０１……大型ＬＣＤ

以下、図面について、本発明の一実施の形態を詳述する。
（１）位置検出原理
（１−１）位置検出装置
本実施の形態では、本発明における位置検出装置の基本となる位置検出原理について最初に説明する。図１に示すように、位置検出装置として用いられるノートブック型パーソナルコンピュータ（以下、これをノートＰＣと呼ぶ）１では、その液晶ディスプレイ２の画面上に載置された自動車形状ロボット３の当該画面上における位置変化を検出するため、当該自動車形状ロボット３と対向する画面上に対して基本マーカー画像ＭＫ（後述する）を表示するようになされている。
自動車形状ロボット３は、図２（Ａ）に示すように、略直方体形状でなる本体部３Ａの左右両側に４個の車輪が設けられていると共に、前面部には物を掴むためのアーム部３Ｂが設けられた構造を有しており、外部のリモートコントローラ（図示せず）による無線操作に応じて液晶ディスプレイ２の画面上を移動し得るようになされている。
また自動車形状ロボット３は、図２（Ｂ）に示すように、その底面の所定位置に、液晶ディスプレイ２の画面上に映し出される基本マーカー画像ＭＫ（図１）と対応すべき５個のフォトトランジスタでなるセンサＳＲ１〜ＳＲ５が設けられており、センサＳＲ１及びＳＲ２が本体部３Ａの先端側及び後端側に配置されると共に、センサＳＲ３及びＳＲ４が本体部３Ａの左右両側に配置され、センサＳＲ５が本体部３Ａのほぼ中心に配置されている。
ノートＰＣ１（図１）は、所定の位置検出プログラムに従い、自動車形状ロボット３のセンサＳＲ１〜ＳＲ５によって受光した基本マーカー画像ＭＫの輝度レベルデータを無線又は有線により当該自動車形状ロボット３から受け取り、それに基づいて自動車形状ロボット３の画面上における位置変化を算出し、現在位置や自動車形状ロボット３の向き（姿勢）を検出し得るようになされている。
（１−２）基本マーカー画像を用いた位置検出方法
ここで、図３に示すように基本マーカー画像ＭＫは、水平方向及び垂直方向から４５度ずれた位置に設けられた境界線を介して９０度の範囲により区分けされた扇形状でなる位置検出領域ＰＤ１〜ＰＤ４及び、当該基本マーカー画像ＭＫの中心に設けられた円形状でなるリファレンス領域ＲＦによって構成されている。
位置検出領域ＰＤ１〜ＰＤ４は、その領域内で輝度レベルが０％〜１００％まで線形的（リニア）に変化するようにグラデーション化されており、この場合、位置検出領域ＰＤ１〜ＰＤ４の全てにおいて反時計回り方向へ輝度レベルが０％〜１００％まで次第に変化するようになされている。但し、位置検出領域ＰＤ１〜ＰＤ４においては、これに限るものではなく、時計回り方向へ輝度レベルが０％〜１００％まで次第に変化するようになされていても良い。
因みに、基本マーカー画像ＭＫにおける位置検出領域ＰＤ１〜ＰＤ４の各輝度レベルは全て０％〜１００％まで線形的（リニア）に変化するようにグラデーション化されている必要は必ずしもなく、例えばＳ字状カーブを描くように非線形的に変化するようにグラデーション化されていても良い。
リファレンス領域ＲＦは、その輝度レベルが位置検出領域ＰＤ１〜ＰＤ４とは異なった５０％に固定されており、ノートＰＣ１による自動車形状ロボット３に対する位置検出計算の際に環境光や外乱光の影響を取り除くために輝度レベルの参照領域として設けられている。
実際上、図４（Ａ）真中に示すように、自動車形状ロボット３の底面に設けられたセンサＳＲ１〜ＳＲ５と、基本マーカー画像ＭＫの位置検出領域ＰＤ１〜ＰＤ４及びリファレンス領域ＲＦのほぼ中央とがそれぞれ対向するように当該基本マーカー画像ＭＫが液晶ディスプレイ２に表示されたニュートラル状態（各輝度レベルが５０％の「中」状態）を基本として、当該自動車形状ロボット３がＸ軸に沿って右方向へ並進した場合、図４（Ａ）右に示すようにセンサＳＲ１の輝度レベルａ１が「中」状態から「暗」状態へ変化すると共に、センサＳＲ２の輝度レベルａ２が「中」状態から「明」状態へ変化する。
また、自動車形状ロボット３がＸ軸に沿って左方向へ並進した場合も同様に、図４（Ａ）左に示すようにセンサＳＲ１の輝度レベルａ１が「中」状態から「明」状態へ変化すると共に、センサＳＲ２の輝度レベルａ２が「中」状態から「暗」状態へ変化する。但し、センサＳＲ３の輝度レベルａ３、センサＳＲ４の輝度レベルａ４及びセンサＳＲ５の輝度レベルａ５については一切変化しない。
従ってノートＰＣ１は、自動車形状ロボット３から供給されるセンサＳＲ１の輝度レベルａ１及びセンサＳＲ２の輝度レベルａ２を参照することによりｘ方向のずれｄｘを、次式
ｄｘ＝ｐ１（ａ２−ａ１） ……（１）
によって求めることが出来る。ここで、ｐ１は比例係数であり、位置検出空間における環境光やキャリブレーションに応じてダイナミックに変化させることが可能な値である。因みに、図４（Ａ）真中に示すように、ｘ方向に一切ずれのない状態では、（１）式の（ａ２−ａ１）が「０」になるので、ずれｄｘの値も当然「０」となる。
同様にノートＰＣ１は、自動車形状ロボット３から供給されるセンサＳＲ３の輝度レベルａ３及びセンサＳＲ４の輝度レベルａ４を参照することによりｙ方向のずれｄｙを、次式
ｄｙ＝ｐ２（ａ４−ａ３） ……（２）
によって求めることが出来る。ここで、ｐ２もＰ１と同様に比例係数であり、位置検出空間における環境光やキャリブレーションに応じてダイナミックに変化させることが可能な値である。因みに、ｙ方向に一切ずれのない状態では、（２）式の（ａ４−ａ３）が「０」になるので、ずれｄｙの値も当然「０」となる。
一方、図４（Ｂ）真中に示すように、自動車形状ロボット３の底面に設けられたセンサＳＲ１〜ＳＲ５と、基本マーカー画像ＭＫの位置検出領域ＰＤ１〜ＰＤ４及びリファレンス領域ＲＦのほぼ中央とがそれぞれ対向するように当該基本マーカー画像ＭＫが液晶ディスプレイ２に表示されたニュートラル状態（各輝度レベルが５０％の「中」状態）を基本として、自動車形状ロボット３が基本マーカー画像ＭＫに対して中心軸を動かすことなく右旋回した場合、図４（Ｂ）右に示すようにセンサＳＲ１の輝度レベルａ１、センサＳＲ２の輝度レベルａ２、センサＳＲ３の輝度レベルａ３、センサＳＲ４の輝度レベルａ４が全て「中」状態から「暗」状態へ変化する。但し、センサＳＲ５の輝度レベルａ５については一切変化していない。
同様に、自動車形状ロボット３が基本マーカー画像ＭＫに対して中心軸を動かすことなく左旋回した場合、図４（Ｂ）左に示すようにセンサＳＲ１の輝度レベルａ１、センサＳＲ２の輝度レベルａ２、センサＳＲ３の輝度レベルａ３、センサＳＲ４の輝度レベルａ４が全て「中」状態から「明」状態へ変化する。但し、この場合もセンサＳＲ５の輝度レベルａ５については一切変化していない。
従ってノートＰＣ１は、自動車形状ロボット３から供給されるセンサＳＲ１〜ＳＲ４の輝度レベルａ１〜ａ４及びリファレンス領域ＲＦに対応したセンサＳＲ５の輝度レベルａ５をそれぞれ参照することにより自動車形状ロボット３の旋回角度θを、次式
ｓｉｎθ＝ｐ３（（ａ１＋ａ２＋ａ３＋ａ４）−４×（ａ５））…（３）
によって求めることが出来る。ここで（３）式では、リファレンス領域ＲＦの輝度レベルａ５を４倍して減算していることにより、基本マーカー画像ＭＫ以外の環境光による影響を排除して、正確な旋回角度θを求めることができるように配慮されている。
この場合も、ｐ３は比例係数であり、位置検出空間における環境光やキャリブレーションに応じてダイナミックに変化させることが可能な値である。因みに、自動車形状ロボット３が左右いずれにも旋回していない状態では、（３）式の（（ａ１＋ａ２＋ａ３＋ａ４）−４×（ａ５））が「０」になるため、自動車形状ロボット３の旋回角度θは０度になる。
なおノートＰＣ１では、自動車形状ロボット３のずれｄｘ、ｄｙ及び旋回角度θについては、それぞれ同時に独立して計算することができるので、例えば自動車形状ロボット３が右方向へ並進しながら左方向へ旋回した場合であっても、当該自動車形状ロボット３の現在位置及び自動車形状ロボット３の向き（姿勢）を算出し得るようになされている。
更にノートＰＣ１は、液晶ディスプレイ２の画面上に載置された自動車形状ロボット３の本体部３Ａが上下にその高さを変化させるための機構が搭載されている場合、その高さＺについても検出し得るようになされており、次式
Ｚ＝ｐ４×√（ａ１＋ａ２＋ａ３＋ａ４） ……（４）
によって求めることができる。この場合も、ｐ４は比例係数であり、位置検出空間における環境光やキャリブレーションに応じてダイナミックに変化させることが出来る。
すなわち、自動車形状ロボット３の高さＺが変化すると、センサＳＲ１〜ＳＲ４の輝度レベルａ１〜ａ４が全て変化するので、（４）式によって自動車形状ロボット３の高さＺを求めることができるのである。因みに、（４）式では、点光源の場合に距離の２乗で輝度レベルが減衰することから平方根が用いられている。
このようにノートＰＣ１は、自動車形状ロボット３が液晶ディスプレイ２の画面上で移動したときのずれｄｘ、ｄｙ及び旋回角度θに基づいて現在位置及び姿勢を検出し、移動前後における現在位置の差分に応じて基本マーカー画像ＭＫを自動車形状ロボット３の底面と対向するように移動させることにより、液晶ディスプレイ２の画面上であれば自動車形状ロボット３を終始追従しながら現在位置及び姿勢を検出し得るようになされている。
ところでノートＰＣ１では、図５に示すように基本マーカー画像ＭＫを液晶ディスプレイ２の画面上に表示するフレーム周波数又はフィールド周波数よりも、センサＳＲ１〜ＳＲ５による輝度レベルａ１〜ａ５のサンプリング周波数の方が高いため、当該フレーム周波数又はフィールド周波数には依存することなく自動車形状ロボット３の現在位置及び姿勢を高速に検出し得るようになされている。
実際上、ノートＰＣ１は、例えばフレーム周波数がＸ（＝３０）［Ｈｚ］の場合、画面が更新される１／Ｘ秒の間であっても自動車形状ロボット３は液晶ディスプレイ２の画面上を移動しているが、そのときであってもセンサＳＲ１〜ＳＲ５によるサンプリング周波数ΔＤがフレーム周波数Ｘ［Ｈｚ］よりも高いので、位置検出を行う際の追従可能速度Ｖとしては、次式
Ｖ＝Ｘ＋ΔＤ ……（５）
によって表され、自動車形状ロボット３が高速移動中であってもフレーム周波数又はフィールド周波数に依存することなく高精度に現在位置を検出し得るようになされている。
（１−３）特殊マーカー画像を用いた位置検出方法
上述のような基本マーカー画像ＭＫを用いた位置検出方法では、上述したニュートラル状態から左右方向へ自動車形状ロボット３が高速に旋回し、センサＳＲ１、センサＳＲ２、センサＳＲ３及びセンサＳＲ４が位置検出領域ＰＤ１〜ＰＤ４を乗り越えてしまった場合、例えば旋回角度θ＝＋４６度を旋回角度θ＝−４４度と誤検出してしまい、自動車形状ロボット３に対して基本マーカー画像ＭＫをニュートラル状態に戻す際に逆方向へ補正してしまうことが起こりえる。
また基本マーカー画像ＭＫでは、位置検出領域ＰＤ１〜ＰＤ４との境界部分で輝度レベルが０％から１００％又は１００％から０％へ急激に変化するため、輝度レベル１００％の部分の光が輝度レベル０％の部分に漏れ込んで誤検出の要因にもなる。
そこでノートＰＣ１では、図６に示すように基本マーカー画像ＭＫをもう一段階発展させた特殊マーカー画像ＭＫＺを用いるようになされている。この特殊マーカー画像ＭＫＺは、図７に示すように基本マーカー画像ＭＫ（図６）の位置検出領域ＰＤ３及びＰＤ４をそのままにして、基本マーカー画像ＭＫの位置検出領域ＰＤ１及びＰＤ２の輝度レベルを逆時計回り方向ではなく、時計回り方向へ０％〜１００％まで線形的（リニア）に変化するようにグラデーション化させた位置検出領域ＰＤ１Ａ及びＰＤ２Ａを用いたものである。
従って特殊マーカー画像ＭＫＺは、基本マーカー画像ＭＫとは異なり、輝度レベルが０％から１００％へ急激に変化する部分が一切ないように全体的にグレデーション化されており、基本マーカー画像ＭＫのように輝度レベル１００％の部分の光が輝度レベル０％の部分に漏れ込むといった事態を予め回避するようになされている。
また特殊マーカー画像ＭＫＺは、自動車形状ロボット３の動きに応じて、位置検出領域ＰＤ１Ａ、ＰＤ２Ａ、ＰＤ３及びＰＤ４の範囲内でセンサＳＲ１、センサＳＲ２、センサＳＲ３及びセンサＳＲ４が移動するｘ軸方向及びｙ軸方向に対してその輝度レベルａ１、ａ２、ａ３、ａ４が０％〜１００％の間を線形的に変化するようになされている。
更に特殊マーカー画像ＭＫＺは、自動車形状ロボット３の旋回に応じて、位置検出領域ＰＤ１Ａ、ＰＤ２Ａ、ＰＤ３及びＰＤ４の範囲内でセンサＳＲ１、センサＳＲ２、センサＳＲ３及びセンサＳＲ４が移動する円周方向に対してその輝度レベルａ１、ａ２、ａ３、ａ４が０％〜１００％〜０％〜１００％〜０％へ３６０度の範囲で線形的に変化するようになされている。
因みに、特殊マーカー画像ＭＫＺにおける位置検出領域ＰＤ１Ａ、ＰＤ２Ａ、ＰＤ３、ＰＤ４の各輝度レベルは全て０％〜１００％まで線形的に変化するようにグラデーション化されている必要は必ずしもなく、例えばＳ字状カーブを描くように非線形的に変化するようにグラデーション化されていても良い。
また特殊マーカー画像ＭＫＺは、自動車形状ロボット３がニュートラル状態から旋回し、センサＳＲ１、センサＳＲ２、センサＳＲ３及びセンサＳＲ４が位置検出領域ＰＤ１Ａ、ＰＤ２Ａ、ＰＤ３及びＰＤ４の範囲から乗り越えてしまったときであっても、例えば旋回角度θ＝＋４６度を、旋回角度θ＝＋４４度として検出する程度の誤差で済み、基本マーカー画像ＭＫに比べて検出誤差を低減することが出来ると共に、自動車形状ロボット３に対する追従性能をも向上させ得るようになされている。
従ってノートＰＣ１では、移動した自動車形状ロボット３に対して移動分のずれが生じた特殊マーカー画像ＭＫＺを当該自動車形状ロボット３の底面に設けられたセンサＳＲ１〜ＳＲ５と対向させるようにニュートラル状態へ戻す際、基本マーカー画像ＭＫのときのような符号誤りにより逆方向へ動かしてしまうような事態を回避し得るようになされている。
実際上、自動車形状ロボット３がニュートラル状態から右方向へ並進した場合、図８（Ａ）右に示すようにセンサＳＲ１の輝度レベルａ１が「中」状態から「明」状態へ変化すると共に、センサＳＲ２の輝度レベルａ２が「中」状態から「暗」状態へ変化する。
また、自動車形状ロボット３がニュートラル状態から左方向へ並進した場合も同様に、図８（Ａ）左に示すように「センサＳＲ１の輝度レベルａ１が「中」状態から「暗」状態へ変化すると共に、センサＳＲ２の輝度レベルａ２が「中」状態から「明」状態へ変化する。但し、この場合もセンサＳＲ３の輝度レベルａ３、センサＳＲ４の輝度レベルａ４及びセンサＳＲ５の輝度レベルａ５については一切変化しない。
従ってノートＰＣ１は、自動車形状ロボット３から供給されるセンサＳＲ１の輝度レベルａ１及びセンサＳＲ２の輝度レベルａ２を参照することにより、上述した（１）式に従って、ｘ方向のずれｄｘを求めることが出来る。
同様にノートＰＣ１は、自動車形状ロボット３から供給されるセンサＳＲ３の輝度レベルａ３及びセンサＳＲ４の輝度レベルａ４を参照することにより、ｙ方向のずれｄｙを上述した（２）式に従って求めることが出来る。
一方、図８（Ｂ）真中に示すように、自動車形状ロボット３の底面に設けられたセンサＳＲ１〜ＳＲ４と、特殊マーカー画像ＭＫＺの位置検出領域ＰＤ１Ａ、ＰＤ２Ａ、ＰＤ３、ＰＤ４のほぼ中央とが対向するように当該特殊マーカー画像ＭＫＺが液晶ディスプレイ２に表示されたニュートラル状態（各輝度レベルが５０％の「中」状態）を基本として、自動車形状ロボット３が特殊マーカー画像ＭＫＺに対して中心軸をそのままにニュートラル状態から右旋回した場合、図８（Ｂ）右に示すようにセンサＳＲ１の輝度レベルａ１、センサＳＲ２の輝度レベルａ２が「中」状態から「明」状態へ変化するものの、センサＳＲ３の輝度レベルａ３、センサＳＲ４の輝度レベルａ４については「中」状態から「暗」状態へ変化する。
同様に、自動車形状ロボット３が特殊マーカー画像ＭＫＺに対して中心軸をそのままにニュートラル状態から左旋回した場合、図８（Ｂ）左に示すようにセンサＳＲ１の輝度レベルａ１、センサＳＲ２の輝度レベルａ２が「中」状態から「暗」状態へ変化するものの、センサＳＲ３の輝度レベルａ３、センサＳＲ４の輝度レベルａ４が「中」状態から「明」状態へ変化する。
従ってノートＰＣ１は、自動車形状ロボット３から供給されるセンサＳＲ１〜センサＳＲ４の輝度レベルａ１〜輝度レベルａ４をそれぞれ参照することにより、旋回角度ｄθを次式
ｓｉｎｄθ＝ｐ６（（ａ３＋ａ４）−（ａ１＋ａ２）） ……（６）
によって求めることが出来る。この場合も、ｐ６は比例係数であり、位置検出空間における環境光やキャリブレーションに応じてダイナミックに変化させることが出来る。すなわち、旋回していない状態では、（６）式の（（ａ３＋ａ４）−（ａ１＋ａ２））が「０」になるため旋回角度ｄθは０度になる。ここで、（６）式では（（ａ３＋ａ４）−（ａ１＋ａ２））の符号によって右旋回であるか左旋回であるかを判別し得るようになされている。
この場合、基本マーカー画像ＭＫのときの（３）式と比較すると、特殊マーカー画像ＭＫＺのときの（６）式では、（（ａ３＋ａ４）−（ａ１＋ａ２））のように減算処理を行っていることから、基本マーカー画像ＭＫのリファレンス領域ＲＦに対する輝度レベルａ５を用いる必要がない。従って基本マーカー画像ＭＫでは、仮に輝度レベルａ５にセンサＳＲ５固有の誤差が生じていた場合には、その誤差も４倍されてしまうが、特殊マーカー画像ＭＫＺの場合はそのようなことがない。
またノートＰＣ１は、特殊マーカー画像ＭＫＺのときの（６）式を用いた場合、基本マーカー画像ＭＫのときの（３）式のように輝度レベルａ１、ａ２、ａ３、ａ４を全て加算するのではなく、（６）式の（（ａ３＋ａ４）−（ａ１＋ａ２））のように減算することにより、輝度レベルａ１、ａ２、ａ３、ａ４の全てに対して外乱光等による均一な誤差が生じていても、それを減算により相殺することができる分だけ、簡易な計算式により旋回角度ｄθを高精度に検出することが出来るようになされている。
なおノートＰＣ１では、自動車形状ロボット３のずれｄｘ、ｄｙ及び旋回角度ｄθについては、それぞれ同時に独立して計算することができるので、例えば自動車形状ロボット３が右方向へ並進しながら左方向へ旋回した場合であっても、当該自動車形状ロボット３の現在位置及び自動車形状ロボット３の向き（姿勢）を算出することが可能である。
更にノートＰＣ１は、液晶ディスプレイ２の画面上に載置された自動車形状ロボット３の本体部３Ａが上下にその高さを変化させるための機構が搭載されている場合、基本マーカー画像ＭＫのときと同様に特殊マーカー画像ＭＫＺを用いた場合にも、その高さＺについて検出し得るようになされており、上述の（４）式に従って求めることができる。
このようにノートＰＣ１は、自動車形状ロボット３が液晶ディスプレイ２の画面上で移動したときのずれｄｘ、ｄｙ及び旋回角度ｄθに基づいて現在位置及び姿勢を検出し、移動前後における現在位置の差分に応じて特殊マーカー画像ＭＫＺを自動車形状ロボット３の底面と対向するように移動させることにより、液晶ディスプレイ２の画面上であれば自動車形状ロボット３の現在位置を追従させながらリアルタイムに終始検出し得るようになされている。
ところで、この場合もノートＰＣ１では、特殊マーカー画像ＭＫＺを液晶ディスプレイ２の画面に表示するフレーム周波数又はフィールド周波数よりも、センサＳＲ１〜ＳＲ４による輝度レベルのサンプリング周波数の方が高いため、当該フレーム周波数又はフィールド周波数には依存することなく自動車形状ロボット３の現在位置及び姿勢を高速に検出し得るようになされている。
上述したような位置検出原理を基本的な考え方として応用した具体的な複合現実提供システムを次に説明するが、その前に、液晶ディスプレイ２の画面上に載置した自動車形状ロボット３を物理的な現実世界の対象物体とし、その対象物体を画面上で動かしたとき、その実際の動きに連動させて画面上の背景画像を動かしたり、対象物体の動きに合わせて仮想物体モデルの付加画像を生成して画面上に表示する複合現実表現システムの基本概念について最初に説明する。
（２）複合現実表現システムの基本概念
この複合現実表現システムでは、基本的に２通りの考え方がある。第１には、液晶ディスプレイやスクリーン等でなる種々の表示手段に表示された映像に重ねるように配置されている現実世界の対象物体をユーザが動かしたとき、その実際の動きに連動させて背景画像を動かしたり、その動きに合わせて付加すべき仮想物体モデルの付加画像を生成して表示する対象物体主導型の複合現実表現システムである。
また第２には、液晶ディスプレイ等の表示手段に表示された映像に重ねるように配置されている現実世界の対象物体に対して、その現実世界の対象物体に対応した仮想世界の対象物体モデルをコンピュータ上で動かしたとき、その仮想世界の対象物体モデルの動きに連動させて現実世界の対象物体を実際に動かしたり、その仮想世界の対象物体モデルの動きに合わせて付加すべき仮想物体モデルの付加画像を生成して表示する仮想物体モデル主導型の複合現実表現システムである。
これら２通り存在する対象物体主導型の複合現実表現システムと、仮想物体モデル主導型の複合現実表現システムについて以下具体的に説明する。
（２−１）対象物体主導型の複合現実表現システムにおける全体構成
図９において、１００は全体として対象物体主導型の複合現実表現システムを示し、コンピュータ装置１０２から供給される仮想世界のコンピュータグラフィクス（ＣＧ）映像Ｖ１をプロジェクタ１０３からスクリーン１０４上に投影する。
仮想世界のＣＧ映像Ｖ１が投影されたスクリーン１０４上には、ユーザ１０６がラジオコントローラ（以下、これを単にラジコンと呼ぶ）１０７を介して遠隔操作するための例えば戦車の模型等でなる現実世界の対象物体１０５が載置され、スクリーン１０４上のＣＧ映像Ｖ１に対して現実世界の対象物体１０５が重ねられるように位置付けられる。
現実世界の対象物体１０５は、ユーザ１０６のラジコン１０７に対する操作に応じてスクリーン１０４上を自在に動くことができるようになされており、そのとき複合現実表現システム１００ではスクリーン１０４上における現実世界の対象物体１０５の２次元的な位置や３次元的な姿勢（この場合は、動き）を磁気式又は光学式の計測装置１０８により動き情報Ｓ１として取得し、その動き情報Ｓ１をコンピュータ装置１０２の仮想空間構築部１０９へ送出する。
また、ユーザ１０６のラジコン１０７に対する操作に応じて例えば現実世界の対象物体１０５から仮想世界のＣＧ映像Ｖ１を通してミサイルやレーザを発射するとか、バリアーを展開するとか、或いは機雷を設置する等を行わせるための命令が出されると、当該ラジコン１０７からその命令に応じた制御信号Ｓ２がコンピュータ装置１０２の仮想空間構築部１０９へ送出される。
仮想空間構築部１０９は、スクリーン１０４上を動き回る現実世界の対象物体１０５に対応した仮想世界の対象物体モデルをコンピュータ装置１０２上で生成する対象物体モデル生成部１１０、ラジコン１０７からの制御信号Ｓ２に応じて現実世界の対象物体１０５に仮想世界のＣＧ映像Ｖ１を介して付与すべき仮想物体モデル（例えばミサイル、レーザ、バリアー及び機雷等）を生成する仮想物体モデル生成部１１１、スクリーン１０４に表示する背景画像を生成する背景画像生成部１１２、ユーザ１０６のラジコン操作に応じて動かす対象物体１０５に合わせて背景画像を変化させたり、対象物体１０５の動きに合わせて仮想物体モデルを付与する等の種々の物理計算を行う物理計算部１１３によって構成されている。
従って仮想空間構築部１０９は、物理計算部１１３により、現実世界の対象物体１０５から直接取得した動き情報Ｓ１に基づいて仮想世界の対象物体モデルをコンピュータ装置１０２が作る情報世界の中で仮想的に動かし、その動きに応じて変化させた背景画像や、対象物体モデルに付与する仮想物体モデル等のデータＤ１を映像信号生成部１１４へ送出する。
ここで背景画像の表示内容としては、現実世界の対象物体１０５の進行方向に合わせて矢印マークを表示したり、現実世界の対象物体１０５における画面上の動きに応じて周りの景色を変化させて表示することが考えられる。
映像信号生成部１１４は、背景画像及び仮想物体モデル等のデータＤ１を基に現実世界の対象物体１０５に対して背景画像を連動させ、かつ仮想物体モデルを付与するためのＣＧ映像信号Ｓ３を生成し、そのＣＧ映像信号Ｓ３に応じた仮想世界のＣＧ映像Ｖ１をプロジェクタ１０３からスクリーン１０４上に投影することにより、当該仮想世界のＣＧ映像Ｖ１と現実世界の対象物体１０５とをスクリーン１０４上で融合した擬似３次元空間からなる複合現実感をユーザに体感させ得るようになされている。
因みに、映像信号生成部１１４では、仮想世界のＣＧ映像Ｖ１をスクリーン１０４上に投影する際、現実世界の対象物体１０５における表面部分に対してＣＧ映像Ｖ１の一部が投影されてしまうことを回避するために、現実世界の対象物体１０５に対応する対象物体モデルの位置及び大きさに基づいて当該対象物体１０５に相当する箇所の映像だけを抜き取り、かつ対象物体１０５の周囲に影が付与されるようなＣＧ映像信号Ｓ３を生成するようになされている。
なお複合現実表現システム１００では、プロジェクタ１０３からスクリーン１０４上に投影した仮想世界のＣＧ映像Ｖ１と現実世界の対象物体１０５とが重ねられることにより形成される擬似３次元空間を、スクリーン１０４を肉眼で目視確認することが可能な全てのユーザ１０６に対して提供し得るようになされている。
その意味では対象物体主導型の複合現実表現システム１００は、いわゆるビデオシースルータイプというよりは、外界の光が直接ユーザ１０６に届く光学シースルータイプと呼ばれる範疇に属するものといえる。
（２−１−１）コンピュータ装置の構成
このような対象物体主導型の複合現実表現システム１００を実現するためのコンピュータ装置１０２としては、図１０に示すように、全体を統括制御するＣＰＵ（ＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）１２１に対し、バス１２９を介してＲＯＭ（ＲｅａｄＯｎｌｙＭｅｍｏｒｙ）１２２、ＲＡＭ（ＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ）１２３、ハードディスクドライブ１２４、映像信号生成部１１４、ＬＣＤ（ＬｉｑｕｉｄＣｒｙｓｔａｌＤｉｓｐｌａｙ）でなるディスプレイ１２５、動き情報Ｓ１や制御信号Ｓ２を受け取ったり、現実世界の対象物体１０５を動かすための動作命令を与えるインタフェース１２６及びキーボード等の入力部１２７が接続された構成を有し、ハードディスクドライブ１２４から読み出してＲＡＭ１２３上に展開した基本プログラム及び複合現実表現プログラムに従ってＣＰＵ１２１が所定の処理を実行することにより仮想空間構築部１０９をソフトウェア的に実現するようになされている。
（２−１−２）対象物体主導型の複合現実表現処理シーケンス
次に、対象物体主導型の複合現実表現システム１００において現実世界の対象物体１０５の動きに連動させて仮想世界のＣＧ映像Ｖ１を変化させる対象物体主導型の複合現実表現処理シーケンスについて説明する。
図１１に示すように、対象物体主導型の複合現実表現処理シーケンスでは、現実世界における処理の流れと、コンピュータ装置１０２が行う仮想世界の処理の流れに大きく分けることができ、それぞれの処理結果をスクリーン１０４上で融合するようになされている。
具体的に、ユーザ１０６はステップＳＰ１においてラジコン１０７に対する操作を行い、次のステップＳＰ２へ移る。この場合、スクリーン１０４上に載置された現実世界の対象物体１０５を移動させるための命令を与えたり、現実世界の対象物体１０５に仮想物体モデルとしてのミサイルやレーザーを付加するための命令を与える等の種々の操作が考えられる。
現実世界の対象物体１０５は、ステップＳＰ２においてラジコン１０７からの命令を受けてユーザのラジコン１０７に対する操作に応じた動作をスクリーン１０４上で実際に実行する。このとき計測装置１０８は、ステップＳＰ３において、スクリーン１０４上を実際に動いた現実世界の対象物体１０５の当該スクリーン１０４上における２次元的な位置や３次元的な姿勢を計測し、その動き情報Ｓ１を計測結果として仮想空間構築部１０９へ送出する。
一方、仮想空間構築部１０９では、ステップＳＰ４において、ユーザ１０６のラジコン操作に応じてラジコン１０７から供給された制御信号Ｓ２（図９）がスクリーン１０４上の２次元的な位置を示すものであった場合、当該制御信号Ｓ２に応じて仮想物体モデル生成部１１１により仮想世界の対象物体モデルを生成し、それを仮想空間上で２次元的に移動させる。
また仮想空間構築部１０９では、ステップＳＰ４において、ラジコン操作により供給された制御信号Ｓ２が３次元的な姿勢（動き）を示すものであった場合、当該制御信号Ｓ２に応じて仮想物体モデル生成部１１１により仮想世界の対象物体モデルを生成し、それを仮想空間上で３次元的に動かす。
続いて仮想空間構築部１０９は、ステップＳＰ５において、計測装置１０８から供給された動き情報Ｓ１を物理計算部１１３で読み込み、ステップＳＰ６において、動き情報Ｓ１を基に仮想世界上の対象物体モデルを動かすときの背景画像や、対象物体モデルに付与する仮想物体モデル等のデータＤ１を算出する。
そして仮想空間構築部１０９は、ステップＳＰ７において、物理計算部１１３における算出結果であるデータＤ１を仮想世界のＣＧ映像Ｖ１に反映させるように信号処理する。コンピュータ装置１０２の映像信号生成部１１４は、ステップＳＰ８において、ステップＳＰ７の反映結果として現実世界の対象物体１０５に連動させるようにしたＣＧ映像信号Ｓ３を生成し、当該ＣＧ映像信号Ｓ３をプロジェクタ１０３へ出力する。
プロジェクタ１０３は、ステップＳＰ９において、そのＣＧ映像信号Ｓ３に応じた図１２に示すような仮想世界のＣＧ映像Ｖ１をプロジェクタ１０３からスクリーン１０４上に投影する。この仮想世界のＣＧ映像Ｖ１は、森、ビルディング等の背景画像に現実世界の対象物体１０５を見かけ上融合させ、ユーザ１０６の遠隔操作による現実世界の対象物体１０５の動きを契機として当該現実世界の対象物体１０５（右側）から他のユーザが遠隔操作する現実世界の対象物体１０５（左側）へレーザビーム等の仮想物体モデルＶＭ１が付与された瞬間である。
従ってプロジェクタ１０３は、ユーザ１０６が遠隔操作する現実世界の対象物体１０５の動きに背景画像や仮想物体モデルを連動させた状態の仮想世界のＣＧ映像Ｖ１をスクリーン１０４上で現実世界の対象物体１０５にオーバーラップさせることにより、現実世界の対象物体１０５と仮想世界のＣＧ映像Ｖ１とをスクリーン１０４上でユーザに違相感を生じさせることがないように融合させ得るようになされている。
このとき現実世界の対象物体１０５は、スクリーン１０４上に仮想世界のＣＧ映像Ｖ１が投影された場合、当該現実世界の対象物体１０５における表面部分に対して仮想世界のＣＧ映像Ｖ１の一部が投影されてしまうことがなく、かつ現実世界の対象物体１０５の周囲に対して影１０５Ａが画像として付与されることになるため、現実世界の対象物体１０５と仮想世界のＣＧ映像Ｖ１とが融合することによって一段と臨場感に溢れた擬似３次元空間が構築される。
これによりユーザ１０６は、ステップＳＰ１０（図１１）において、スクリーン１０４上に表示された仮想世界のＣＧ映像Ｖ１と現実世界の対象物体１０５とが融合された擬似３次元空間を目視確認することにより、従来に比して一段と機能拡張された臨場感に溢れた複合現実感を体感することができるようになされている。
（２−１−３）対象物体主導型の複合現実表現システムにおける動作及び効果
以上の構成において、対象物体主導型の複合現実表現システム１００では、ユーザ１０６により実際に動かされた現実世界の対象物体１０５と連動した仮想世界のＣＧ映像Ｖ１をスクリーン１０４に投影することにより、当該現実世界の対象物体１０５と仮想世界のＣＧ映像Ｖ１とをスクリーン１０４上でオーバーラップさせる。
このように対象物体主導型の複合現実表現システム１００では、現実世界の対象物体１０５における動きに合わせた仮想世界のＣＧ映像Ｖ１をスクリーン１０４に投影することにより、現実世界の対象物体１０５における２次元的な位置の変化に合わせて動く背景画像や、また現実世界の対象物体１０５における３次元的な姿勢（動き）等に合わせて付与されたレーザ等の仮想物体モデルを介して、現実世界の対象物体１０５と仮想世界のＣＧ映像Ｖ１とを同一空間上で融合した擬似３次元空間を提供することができる。
これによりユーザ１０６は、現実世界の対象物体１０５をスクリーン１０４上でラジコン操作しながら動かしたときに、現実世界の対象物体１０５に連動した背景画像の変化や、付与される仮想物体モデルを目視確認することにより、従来のような２次元的な映像だけを用いたＭＲ（ＭｉｘｅｄＲｅａｌｉｔｙ）技術による複合現実感よりも一段と臨場感に溢れた３次元的な複合現実感を体感することができる。
また対象物体主導型の複合現実表現システム１００では、現実世界の対象物体１０５における実際の動きに背景画像や仮想物体モデルを追従させた仮想世界のＣＧ映像Ｖ１を当該現実世界の対象物体１０５に対して重畳させることにより、現実世界と仮想世界との対話を具現化させることができ、従来よりもエンターテインメント性を一段と向上させることができる。
以上の構成によれば、対象物体主導型の複合現実表現システム１００では現実世界の対象物体１０５と、当該現実世界の対象物体１０５における実際の動きと連動した仮想世界のＣＧ映像Ｖ１とをスクリーン１０４上で混合させることにより、現実世界と仮想世界とを融合した擬似３次元空間を当該スクリーン１０４上で表現し、当該擬似３次元空間を介して従来よりも一段と臨場感に優れた複合現実空間をユーザ１０６に対して体感させることができる。
（２−２）仮想物体モデル主導型の複合現実表現システムにおける全体構成
図９との対応部分に同一符号を付して示す図１３において、２００は全体として仮想物体モデル主導型の複合現実表現システムを示し、コンピュータ装置１０２から供給される仮想世界のＣＧ映像Ｖ２をプロジェクタ１０３からスクリーン１０４上に投影する。
仮想世界のＣＧ映像Ｖ２が投影されたスクリーン１０４上には、ユーザ１０６が入力部１２７を介して間接的に遠隔操作するための現実世界の対象物体１０５が載置され、スクリーン１０４上のＣＧ映像Ｖ２に対して現実世界の対象物体１０５が重ねられるように位置付けられる。
この仮想物体モデル主導型の複合現実表現システム２００においても、コンピュータ装置１０２の具体的構成については、対象物体主導型の複合現実表現システム１００におけるコンピュータ装置１０２（図１０）と同一であるため、ここではその構成について説明を省略する。なお、基本プログラム及び複合現実表現プログラムに従ってＣＰＵ１２１が所定の処理を実行することにより仮想空間構築部１０９をソフトウェア的に実現する点についても対象物体主導型の複合現実表現システム１００におけるコンピュータ装置１０２と同様である。
仮想物体モデル主導型の複合現実表現システム２００では、対象物体主導型の複合現実表現システム１００とは異なり、ユーザ１０６が現実世界の対象物体１０５を直接動かすのではなく、当該現実世界の対象物体１０５に相当する仮想世界の対象物体モデルを介して間接的に現実世界の対象物体１０５を動かすようになされている。
すなわち仮想物体モデル主導型の複合現実表現システム２００では、入力部１２７に対するユーザ１０６の操作に応じて現実世界の対象物体１０５に相当する仮想世界の対象物体モデルをコンピュータ装置１０２上で仮想的に動かすことが可能であり、その対象物体モデルを動かすときの指令信号Ｓ１２を当該対象物体モデルにおける変化情報として仮想空間構築部１０９へ送出するようになされている。
すなわちコンピュータ装置１０２は、仮想空間構築部１０９の物理計算部１１３によりユーザ１０６からの指令信号Ｓ１２に応じて仮想世界の対象物体モデルを当該仮想的に動かし、その場合の仮想世界の対象物体モデルの動きに連動して背景画像を動かしたり、付与すべき仮想物体モデルを生成し、仮想世界の対象物体モデルの動きに連動して変化させた背景画像や、仮想世界の対象物体モデルに付与すべき仮想物体モデル等のデータＤ１を映像信号生成部１１４へ送出する。
このとき同時に仮想空間構築部１０９の物理計算部１１３では、仮想世界の中で動かした対象物体モデルの位置や動きに応じて生成した制御信号Ｓ１４を現実世界の対象物体１０５へ供給することによって、仮想世界の対象物体モデルの動きに現実世界の対象物体１０５を連動させながら動かし得るようになされている。
また、このとき映像信号生成部１１４は、背景画像及び仮想物体モデル等のデータＤ１を基にＣＧ映像信号Ｓ１３を生成し、そのＣＧ映像信号Ｓ１３に応じた仮想世界のＣＧ映像Ｖ２をプロジェクタ１０３からスクリーン１０４上に投影することにより、仮想世界の対象物体モデルに連動した動きを有する現実世界の対象物体１０５に合わせて背景画像を変化させかつ仮想物体モデルを付与することができるので、当該仮想世界のＣＧ映像Ｖ２と現実世界の対象物体１０５とを融合した擬似３次元空間からなる複合現実感をユーザに体感させ得るようになされている。
因みに、この場合の映像信号生成部１１４においても、仮想世界のＣＧ映像Ｖ２をスクリーン１０４上に投影する際、現実世界の対象物体１０５における表面部分に対して仮想世界のＣＧ映像Ｖ２の一部が投影されてしまうことを回避し得るために、現実世界の対象物体１０５に対応する仮想世界の対象物体モデルの位置及び大きさに基づいて当該対象物体モデルに相当する箇所の映像だけを抜き取り、かつ対象物体モデルの周囲に影が付与されたＣＧ映像信号Ｓ１３を生成するようになされている。
なお仮想物体モデル主導型の複合現実表現システム２００では、プロジェクタ１０３からスクリーン１０４上に投影した仮想世界のＣＧ映像Ｖ２と現実世界の対象物体１０５とが重ねられるようにして形成される擬似３次元空間を、スクリーン１０４を肉眼で目視確認することが可能な全てのユーザ１０６に対して提供し得るようになされており、対象物体主導型の複合現実表現システム１００と同様に外界の光が直接ユーザ１０６に届く光学シースルータイプと呼ばれる範疇に属するものである。
（２−２−１）仮想物体モデル主導型の複合現実表現処理シーケンス
次に、仮想物体モデル主導型の複合現実表現システム２００において仮想世界の対象物体モデルの動きに連動させて現実世界の対象物体１０５を実際に動かす仮想物体モデル主導型の複合現実表現処理シーケンスについて説明する。
図１４に示すように、仮想物体モデル主導型の複合現実表現処理シーケンスにおいても、現実世界における処理の流れと、コンピュータ装置１０２が行う仮想世界の処理の流れに大きく分けることができ、それぞれの処理結果をスクリーン１０４上で融合するようになされている。
具体的に、ユーザ１０６はステップＳＰ２１においてコンピュータ装置１０２の入力部１２７に対する操作を行い、次のステップＳＰ２２へ移る。この場合、現実世界の対象物体１０５ではなく、コンピュータ装置１０２が作り出す仮想世界に存在する対象物体モデルを移動又は動作させるための命令を与える種々の操作が考えられる。
仮想空間構築部１０９では、ステップＳＰ２２において、コンピュータ装置１０２の入力部１２７に対する入力操作に応じて仮想物体モデル生成部１１１により生成した仮想世界の対象物体モデルを動かす。
仮想空間構築部１０９は、ステップＳＰ２３において、物理計算部１１３により仮想世界の対象物体モデルの動きに合わせて変化させる背景画像や、当該対象物体モデルに付与する仮想物体モデル等のデータＤ１を算出し、かつ仮想世界の対象物体モデルの動きに合わせて現実世界の対象物体１０５をスクリーン１０４上で実際に動かすための制御信号Ｓ１４（図１３）を生成する。
そして仮想空間構築部１０９は、ステップＳＰ２４において、物理計算部１１３における算出結果であるデータＤ１及び制御信号Ｓ１４を仮想世界のＣＧ映像Ｖ１に反映させるように信号処理する。
そして映像信号生成部１１４は、ステップＳＰ２５において、その反映結果として仮想世界の対象物体モデルの動きに合わせたＣＧ映像信号Ｓ１３を生成し、当該ＣＧ映像信号Ｓ１３をプロジェクタ１０３へ出力する。
プロジェクタ１０３は、ステップＳＰ２６において、そのＣＧ映像信号Ｓ１３に基づいて、図１２に示したようなＣＧ映像Ｖ１と同様のＣＧ映像Ｖ２をプロジェクタ１０３からスクリーン１０４上に投影する。
仮想空間構築部１０９は、ステップＳＰ２７において、ステップＳＰ２３の物理計算部１１３により算出した制御信号Ｓ１４を現実世界の対象物体１０５へ供給する。現実世界の対象物体１０５は、ステップＳＰ２８において、仮想空間構築部１０９から供給された制御信号Ｓ１４に従ってスクリーン１０４上を移動したり、その姿勢（動き）を変化させることにより、ユーザ１０６の意図に従った動きを表現する。
従って仮想物体モデル主導型の複合現実表現システム２００においても、当該物理計算部１１３により仮想世界の対象物体モデルの位置や動きに応じて生成した制御信号Ｓ１４を現実世界の対象物体１０５へ供給することによって、仮想世界の対象物体モデルの動きに現実世界の対象物体１０５を連動させて動かし、かつ仮想世界の対象物体モデルの動きに連動して変化する仮想世界のＣＧ映像Ｖ２を現実世界の対象物体１０５にオーバーラップさせることができるので、対象物体主導型の複合現実表現システム１００と同様に、図１２に示したような擬似３次元空間を構築し得るようになされている。
このとき現実世界の対象物体１０５は、スクリーン１０４上に仮想世界のＣＧ映像Ｖ２が投影された場合に、当該現実世界の対象物体１０５における表面部分に対して仮想世界のＣＧ映像Ｖ２の一部が投影されてしまうことがなく、かつ現実世界の対象物体１０５の周囲に対して影が画像として付与されることになるため、現実世界の対象物体１０５と仮想世界のＣＧ映像Ｖ２とが融合することによって一段と臨場感の溢れた擬似３次元空間が構築される。
これによりユーザ１０６は、ステップＳＰ２９において、スクリーン１０４上に表示された仮想空間のＣＧ映像Ｖ２と現実世界の対象物体１０５とが融合された擬似３次元空間を目視確認することにより、従来に比して一段と機能拡張された臨場感に溢れた複合現実感を体感することができるようになされている。
（２−２−２）仮想物体モデル主導型の複合現実表現システムにおける動作及び効果
以上の構成において、仮想物体モデル主導型の複合現実表現システム２００では、ユーザ１０６により動かされた仮想世界の対象物体モデルに連動した仮想世界のＣＧ映像Ｖ２をスクリーン１０４上に投影すると共に、仮想世界の対象物体モデルにおける動きに合わせて現実世界の対象物体１０５を実際に動かすことができる。
このように仮想物体モデル主導型の複合現実表現システム２００では、現実世界の対象物体１０５に相当する仮想世界の対象物体モデルをユーザが動かしたことに連動して、現実世界の対象物体１０５及び仮想世界のＣＧ映像Ｖ２を変化させることにより、当該現実世界の対象物体１０５と仮想世界のＣＧ映像Ｖ２とを同一空間上で融合した擬似３次元空間を構築することができる。
これによりユーザ１０６は、現実世界の対象物体１０５を直接操作しなくても、仮想世界の対象物体モデルを入力部１２７により操作して動かしたことに連動させて現実世界の対象物体１０５を動かすと同時に、仮想世界の対象物体モデルの動きに連動したＣＧ映像Ｖ２を目視確認することができるので、従来のような２次元的な映像だけを用いたＭＲ技術による複合現実感よりも一段と臨場感に溢れた３次元的な複合現実感を体感することができる。
また仮想物体モデル主導型の複合現実表現システム２００では、仮想世界の対象物体モデルにおける動きに合わせて現実世界の対象物体１０５を実際に動かし、かつ仮想世界の対象物体モデルにおける動きに合わせて背景画像や仮想物体モデルを追従させた仮想世界のＣＧ映像Ｖ２を当該現実世界の対象物体１０５に対して重畳させることにより、現実世界と仮想世界との対話を具現化させることができ、従来よりもエンターテインメント性を一段と向上させることができる。
以上の構成によれば、仮想物体モデル主導型の複合現実表現システム２００では仮想世界の対象物体モデルを介して現実世界の対象物体１０５を間接的に動かし、その動きに連動した仮想世界のＣＧ映像Ｖ２と現実世界の対象物体１０５とをスクリーン１０４上で混合させることにより、現実世界と仮想世界とを融合した擬似３次元空間をスクリーン１０４上で表現し、当該擬似３次元空間を介して従来よりも一段と臨場感に優れた複合現実感をユーザ１０６に対して体感させることができる。
（２−３）適用対象
ところで対象物体主導型の複合現実表現システム１００及び仮想物体モデル主導型の複合現実表現システム２００においては、その適用対象として上述した現実世界の対象物体１０５を戦車等の模型に割り当てたゲーム装置に用いるようにした場合を一例として説明したが、それだけではなく種々の適用対象が考えられる。
（２−３−１）都市災害シミュレータへの適用例
具体的には、対象物体主導型の複合現実表現システム１００及び仮想物体モデル主導型の複合現実表現システム２００において、例えば現実世界の対象物体１０５に都市を構築するビルディング等の建築模型を割り当て、仮想空間構築部１０９の背景画像生成部１１２によって都市の背景画像を生成し、仮想物体モデル生成部１１１によって災害時に発生する火事の炎等を仮想物体モデルとして付与することによる仮想世界のＣＧ映像Ｖ１又はＶ２をスクリーン１０４上に投影することにより、都市災害シミュレータに適用することができる。
特に、この場合の対象物体主導型の複合現実表現システム１００及び仮想物体モデル主導型の複合現実表現システム２００では、現実世界の対象物体１０５である建築模型に計測装置１０８を埋め込み、ラジコン１０７の操作により建築模型に埋め込まれた偏心モータを介して揺れさせたり、動かしたり、ときには倒壊させることによって例えば地震を表現した場合、その現実世界の対象物体１０５の動きに合わせて変化する仮想世界のＣＧ映像Ｖ１又はＶ２を投影することにより地震の揺れ、火災、建物の倒壊といった状態変化を提示する。
このシミュレートした結果を基にコンピュータ装置１０２が、揺れの大きさに応じた破壊力の算出や、建物の強度計算、火災の広がりを予測し、その結果を仮想世界のＣＧ映像Ｖ１として投影しながら、現実世界の対象物体１０５である建築模型に対しても制御信号Ｓ１４によりフィードバックして現実世界の対象物体１０５を再度動かすことにより、ユーザ１０６に対して現実世界と仮想世界とにより融合される擬似３次元空間を視覚的に提示することができる。
（２−３−２）音楽ダンスゲームへの適用例
また対象物体主導型の複合現実表現システム１００及び仮想物体モデル主導型の複合現実表現システム２００においては、例えば現実世界の対象物体１０５に人間を割り当て、仮想世界のＣＧ映像Ｖ１又はＶ２を表示する対象としてディスコ或いはクラブ等のホールの床に敷き詰められた大型のディスプレイを用い、その大型のディスプレイの上を人間が踊るときの動きを、ディスプレイ表面に貼り付けられた透明電極を利用したタッチパネル等の感圧デバイスによりリアルタイムに取得し、その動き情報Ｓ１をコンピュータ装置１０２の仮想空間構築部１０９へ送出し、人間が踊る動きに対してリアルタイムに反応して変化する仮想世界のＣＧ映像Ｖ１又はＶ２を表示することにより、人間が実際に踊って楽しむことができる音楽ダンスゲーム装置に適用することができる。
これによりユーザ１０６は、人間が踊る動きに連動して変化する仮想世界のＣＧ映像Ｖ１又はＶ２を介して提供される擬似３次元空間を介して、一段と臨場感に溢れかつ仮想世界のＣＧ映像Ｖ１又はＶ２の中で実際に踊っているかのような感覚を体感することができる。
なお、このときユーザ１０６の好みの色やキャラクターを決めてもらい、ユーザ１０６が踊っている最中にその動きに連動してキャラクターがユーザ１０６の影のようになって一緒に踊るような仮想世界のＣＧ映像Ｖ１又はＶ２を仮想空間構築部１０９により生成して表示することや、ユーザ１０６の血液型や年齢、星座等のユーザ１０６の好みによって選択される項目に合わせて仮想世界のＣＧ映像Ｖ１又はＶ２の具体的内容を決定することも可能であり、種々のバリエーションを展開することができる。
（２−４）変形例
なお上述の対象物体主導型の複合現実表現システム１００及び仮想物体モデル主導型の複合現実表現システム２００においては、現実世界の対象物体１０５として戦車の模型を用いるようにした場合について述べたが、本発明はこれに限らず、現実世界の対象物体１０５として人間や動物を用いて、その人間や動物における実際の動きに合わせてスクリーン１０４上の仮想世界のＣＧ映像Ｖ１、Ｖ２を変化させることにより擬似３次元空間からなる複合現実感を提供するようにしても良い。
また上述の対象物体主導型の複合現実表現システム１００及び仮想物体モデル主導型の複合現実表現システム２００においては、現実世界の対象物体１０５の２次元的な位置や３次元的な姿勢（動き）を磁気式又は光学式の計測装置１０８により動き情報Ｓ１として取得し、その動き情報Ｓ１をコンピュータ装置１０２の仮想空間構築部１０９へ送出するようにした場合について述べてが、本発明はこれに限らず、図９との対応部分に同一符号を付した図１５に示すように、磁気式又は光学式の計測装置１０８を用いるのではなく、スクリーン１０４上に位置する現実世界の対象物体１０５を計測カメラ１３０によって一定時間間隔毎に順次撮像することにより、連続する２枚の画像を比較して現実世界の対象物体１０５におけるスクリーン１０４上の２次元的な位置や姿勢（動き）等の動き情報Ｓ１を判知するようにしても良い。
さらに上述の対象物体主導型の複合現実表現システム１００及び仮想物体モデル主導型の複合現実表現システム２００においては、現実世界の対象物体１０５の２次元的な位置や３次元的な姿勢（動き）を磁気式又は光学式の計測装置１０８によって動き情報Ｓ１として取得し、その動き情報Ｓ１をコンピュータ装置１０２の仮想空間構築部１０９へ送出するようにした場合について述べたが、本発明はこれに限らず、スクリーン１０４の代わりのディスプレイにＣＧ映像信号Ｓ３及びＳ１３に基づく仮想世界のＣＧ映像Ｖ１及びＶ２を表示し、その上に重ねるように現実世界の対象物体１０５を載置させると共に、ディスプレイの表面に貼り付けられた透明電極を利用したタッチパネル等の感圧デバイスにより現実世界の対象物体１０５に関する動きの変化を動き情報Ｓ１としてリアルタイムに取得し、その動き情報Ｓ１をコンピュータ装置１０２の仮想空間構築部１０９へ送出するようにしても良い。
さらに上述の対象物体主導型の複合現実表現システム１００及び仮想物体モデル主導型の複合現実表現システム２００においては、スクリーン１０４を用いるようにした場合について述べたが、本発明はこれに限らず、ＣＲＴ（ＣａｔｈｏｄｅＲａｙＴｕｂｅＤｉｓｐｌａｙ）、ＬＣＤ（ＬｉｑｕｉｄＣｒｙｓｔａｌＤｉｓｐｌａｙ）、複数の表示素子の集合体であるジャンボトロン（登録商標）のような大型スクリーンディスプレイ等の種々の表示手段を用いるようにしても良い。
さらに上述の対象物体主導型の複合現実表現システム１００及び仮想物体モデル主導型の複合現実表現システム２００においては、スクリーン１０４に上方向からプロジェクタ１０３によって仮想世界のＣＧ映像Ｖ１及びＶ２を投影するようにした場合について述べたが、本発明はこれに限らず、下方向からプロジェクタ１０３によって仮想世界のＣＧ映像Ｖ１及びＶ２をスクリーン１０４に投影したり、又はプロジェクタ１０３から投影される仮想世界のＣＧ映像Ｖ１及びＶ２をハーフミラーを介して現実世界の対象物体１０５の前面側もしくは背面側に虚像として投影するようにしても良い。
具体的には図９との対応部分に同一符号を付した図１６に示すように、対象物体主導型の複合現実表現システム１５０ではコンピュータ装置１０２の映像信号生成部１１４から出力されるＣＧ映像信号Ｓ３に基づく仮想世界のＣＧ映像Ｖ１をハーフミラー１５１を介して現実世界の対象物体１０５の前面又は背面（図示せず）に虚像として投影し、当該現実世界の対象物体１０５の動きをハーフミラー１５１を介して計測カメラ１３０で取り込むことにより取得した動き情報Ｓ１をコンピュータ装置１０２の仮想空間構築部１０９へ送出する。
これにより対象物体主導型の複合現実表現システム１５０は、現実世界の対象物体１０５における実際の動きに連動したＣＧ映像信号Ｓ３を仮想空間構築部１０９にて生成し、そのＣＧ映像信号Ｓ３に応じた仮想世界のＣＧ映像Ｖ１をプロジェクタ１０３及びハーフミラー１５１を介して現実世界の対象物体１０５に重ねて投影することができるので、この場合にも現実世界の対象物体１０５と仮想世界のＣＧ映像Ｖ１とを同一空間上で融合した擬似３次元空間を構築し、当該擬似３次元空間を介して一段と臨場感に溢れた複合現実感をユーザ１０６に体感させることができる。
さらに上述した仮想物体モデル主導型の複合現実表現システム２００においては、ユーザ１０６が入力部１２７を操作することにより仮想世界の対象物体モデルを介して現実世界の対象物体１０５を間接的に動かすようにした場合について述べたが、本発明はこれに限らず、仮想世界の対象物体モデルを介して現実世界の対象物体１０５を動かすのではなく、例えばディスプレイ１２５上に現実世界の対象物体１０５が載置され、入力部１２７を操作することにより当該現実世界の対象物体１０５を移動させるための指示情報をディスプレイ１２５上に表示させ、その指示情報を現実世界の対象物体１０５に追従させることにより動かすようにしても良い。
具体的には図１７に示すように、ディスプレイ１２５上に載置された現実世界の対象物体１０５の真下に、コンピュータ装置１０２が表示する仮想世界のＣＧ映像Ｖ２の絵柄とは無関係の例えば市松模様でなる４画素構成の指示情報Ｓ１０を入力部１２７からの命令に合わせて所定時間間隔毎に矢印方向へ順次動かして表示する。
現実世界の対象物体１０５には、ディスプレイ１２５上で所定時間間隔毎に順次動きながら表示される指示情報Ｓ１０を検出可能なセンサが対象物体１０５の下面に設けられており、そのセンサによってディスプレイ１２５上の指示情報Ｓ１０を変化情報として検出し、その指示情報Ｓ１０を追従させるようにする。
これにより、コンピュータ装置１０２は、仮想世界の対象物体モデルを動かすことにより現実世界の対象物体１０５を間接的に動かすのではなく、ディスプレイ１２５上の指示情報Ｓ１０を指定することにより現実世界の対象物体１０５を動かすことができる。
さらに上述した仮想物体モデル主導型の複合現実表現システム２００においては、入力部１２７を操作することにより得られた指令信号Ｓ１２を仮想空間構築部１０９へ出力することにより仮想世界の対象物体モデルを介して現実世界の対象物体１０５を間接的に動かすようにした場合について述べたが、本発明はこれに限らず、カメラを介してスクリーン１０４上に投影された仮想世界のＣＧ映像Ｖ２を撮像し、その撮像結果に基づいて現実世界の対象物体１０５に制御信号Ｓ１４を供給することにより、当該現実世界の対象物体１０５を動かして仮想世界のＣＧ映像Ｖ２と連動させるようにしても良い。
さらに上述の対象物体主導型の複合現実表現システム１００及び仮想物体モデル主導型の複合現実表現システム２００においては、現実世界の対象物体１０５の状況を判知した結果の状況判知として、現実世界の対象物体１０５の２次元的な位置や３次元的な姿勢（動き）を示す動き情報Ｓ１を取得するようにした場合について述べたが、本発明はこれに限らず、例えば現実世界の対象物体１０５がロボットであるときには当該ロボットの表情の変化についても状況判知として取得し、表情の変化に仮想世界のＣＧ映像Ｖ１を連動させて変化させるようにしても良い。
さらに上述の対象物体主導型の複合現実表現システム１００及び仮想物体モデル主導型の複合現実表現システム２００においては、現実世界の対象物体１０５に対する実際の動きに連動して背景画像を変化させたり、仮想物体モデルを付与した仮想世界のＣＧ映像Ｖ１及びＶ２を生成するようにした場合について述べたが、本発明はこれに限らず、現実世界の対象物体１０５に対する実際の動きに連動して背景画像だけを変化させたり、或いは仮想物体モデルだけを付与するようにした仮想世界のＣＧ映像Ｖ１及びＶ２を生成するようにしても良い。
さらに上述の対象物体主導型の複合現実表現システム１００及び仮想物体モデル主導型の複合現実表現システム２００においては、ユーザ１０６が遠隔操作する現実世界の対象物体１０５と仮想世界のＣＧ映像Ｖ１及びＶ２との関係について述べたが、本発明はこれに限らず、ユーザ１０６が有する現実世界の対象物体１０５と他人が有する現実世界の対象物体１０５との関係において、両者が衝突したようなときに衝突したことを検出できるようにセンサを搭載しておき、衝突判定の結果として衝突したことを認識したときには、そのことをトリガーとして現実世界の対象物体１０５に制御信号Ｓ１４を出力して振動させたり、仮想世界のＣＧ映像Ｖ１及びＶ２を変化させるようにしても良い。
さらに上述の対象物体主導型の複合現実表現システム１００においては、現実世界の対象物体１０５における動き情報Ｓ１に連動させて仮想世界のＣＧ映像Ｖ１を変化させるようにした場合について述べたが、本発明はこれに限らず、現実世界の対象物体１０５に取り付け又は取り外し可能なパーツの装着状態又は非装着状態を検出し、その検出結果に連動させて仮想世界のＣＧ映像Ｖ１を変化させるようにしても良い。
（３）位置検出原理を応用した具体的な複合現実提供システム
上述したように、ここまでの説明では、対象物体主導型の複合現実表現システム１００及び仮想物体モデル主導型の複合現実表現システム２００を通して、現実世界の対象物体１０５と、仮想世界のＣＧ映像Ｖ１、Ｖ２とを同一空間上で融合した擬似３次元空間を構築し、３次元的な複合現実感を表現するための基本概念について詳述したが、（１）の位置検出原理を基本的な考え方として応用した一層具体的な複合現実提供システムについて、２通り説明する。
（３−１）上面照射型の複合現実提供システム
図１８に示すように上面照射型の複合現実提供システム３００では、スクリーン３０１に対して自動車形状ロボット３０４が載置された状態で、ノートＰＣ３０２によって生成された特殊マーカー画像付きＣＧ映像Ｖ１０をプロジェクタ３０３経由で当該スクリーン３０１に対して投影させるようになされている。
この特殊マーカー画像付きＣＧ映像Ｖ１０は、図１９に示すように、そのほぼ中央部分に上述した特殊マーカー画像ＭＫＺ（図７）が配置され、周囲にはビル等の背景画像が配置されており、スクリーン３０１のほぼ中央に自動車形状ロボット３０４が載置された場合、当該自動車形状ロボット３０４の上面に相当する背中部分に特殊マーカー画像ＭＫＺが投影されるようになされている。
図２０に示すように自動車形状ロボット３０４は、自動車形状ロボット３（図２）と同様に、略直方体形状でなる本体部３０４Ａの左右両側に４個の車輪が設けられていると共に、前面部には物を掴むためのアーム部３０４Ｂが設けられた構造を有しており、その背中部分に投影される特殊マーカー画像ＭＫＺに追従してスクリーン３０１上を移動し得るようになされている。
また自動車形状ロボット３０４は、その背中部分の所定位置に、特殊マーカー画像付きＣＧ映像Ｖ１０の特殊マーカー画像ＭＫＺと対応付けられた５個のフォトトランジスタでなるセンサＳＲ１〜ＳＲ５が設けられており、センサＳＲ１及びＳＲ２が本体部３０４Ａの先端側及び後端側に配置されると共に、センサＳＲ３及びＳＲ４が本体部３０４Ａの左右両側に配置され、センサＳＲ５が本体部３０４Ａのほぼ中心に配置されている。
従って自動車形状ロボット３０４は、その背中部分のセンサＳＲ１〜ＳＲ５が、図７に示したように、特殊マーカー画像ＭＫＺにおける位置検出領域ＰＤ１Ａ、ＰＤ２Ａ、ＰＤ３及びＰＤ４の中心に位置しているニュートラル状態を基本として、特殊マーカー画像付きＣＧ映像Ｖ１０のフレーム又はフィールドが更新される度に特殊マーカー画像ＭＫＺの位置が動いていくと、図８（Ａ）及び（Ｂ）に示したように、センサＳＲ１〜センサＳＲ４の輝度レベルが変化し、その輝度レベル変化に基づいて特殊マーカー画像ＭＫＺと当該自動車形状ロボット３０４との相対的位置変化を算出するようになされている。
そして自動車形状ロボット３０４は、特殊マーカー画像ＭＫＺと当該自動車形状ロボット３０４との相対的位置変化を「０」にするように当該自動車形状ロボット３０４が進行すべき方向及び座標を算出し、その算出結果に従ってスクリーン３０１上を移動するようになされている。
ここでノートＰＣ３０２は、図２１に示すように、ＣＰＵ（ＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）３１０が全体を統括制御し、ノースブリッジ３１１経由でメモリ３１２から読み出した基本プログラム及び複合現実提供プログラム等のアプリケーションプログラムに従って上述した特殊マーカー画像付きＣＧ映像Ｖ１０をＧＰＵ（ＧｒａｐｈｉｃａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）３１４によって生成させ得るようになされている。
またノートＰＣ３０２のＣＰＵ３１０は、コントローラ３１３を介してユーザの入力操作をノースブリッジ３１１経由で受け付け、それが例えば特殊マーカー画像ＭＫＺを動かすための方向及び量を意味するものであった場合、その入力操作に応じて特殊マーカー画像ＭＫＺを画面中央から所定方向へ所定量だけ動かした特殊マーカー画像付きＣＧ映像Ｖ１０を生成するための命令をＧＰＵ３１４へ供給する。
なおノートＰＣ３０２のＣＰＵ３１０は、コントローラ３１３を介してユーザの入力操作を受け付けたとき以外で、一連のシーケンスのなかで特殊マーカー画像ＭＫＺを動かすための方向及び量を意味するプログラムを読み出したときにも、当該特殊マーカー画像ＭＫＺを画面中央から所定方向へ所定量だけ動かした特殊マーカー画像付きＣＧ映像Ｖ１０を生成するための命令をＧＰＵ３１４へ供給する。
ＧＰＵ３１４は、ＣＰＵ３１０から供給された命令に従って特殊マーカー画像ＭＫＺを画面中央から所定方向へ所定量だけ動かした特殊マーカー画像付きＣＧ映像Ｖ１０を生成し、これをプロジェクタ３０３経由でスクリーン３０１上に投影するようになされている。
一方、自動車形状ロボット３０４は、図２２に示すように、その背中部分に設けられたセンサＳＲ１〜ＳＲ５によって特殊マーカー画像ＭＫＺの輝度レベルを当該センサＳＲ１〜ＳＲ５のサンプリング周波数に従って常時検出しており、その輝度レベル情報をアナログディジタル変換回路３２２へ送出する。
アナログディジタル変換回路３２２は、センサＳＲ１〜ＳＲ５からそれぞれ供給されるアナログの輝度レベル情報をディジタルの輝度レベルデータに変換し、これをＭＣＵ（ＭｉｃｒｏｃｏｍｐｕｔｅｒＵｎｉｔ）３２１へ供給する。
ＭＣＵ３２１は、上述した（１）式に従ってｘ方向のずれｄｘ、（２）式に従ってｙ方向のずれｄｙ、（６）式に従って旋回角度ｄθを求めることが出来るので、ずれｄｘ、ｄｙ及び旋回角度ｄθを「０」にするための駆動信号を生成し、それをモータドライバ３２３及び３２４経由で車輪用モータ３２５〜３２８へ送出することにより、本体部３０４Ａの左右両側に設けられた４個の車輪を所定方向へ所定量だけ回転させるようになされている。
因みに自動車形状ロボット３０４は、ワイヤレスＬＡＮ（ＬｏｃａｌＡｒｅａＮｅｔ−ｗｏｒｋ）ユニット３２９を搭載しており、ノートＰＣ３０２のＬＡＮカード３１６（図２１）との間で無線通信することができるようになされている。従って自動車形状ロボット３０４は、ＭＣＵ３２１によって算出したｘ方向のずれｄｘ、ｙ方向のずれｄｙ、旋回角度ｄθに基づく現在位置及び向き（姿勢）をワイヤレスＬＡＮユニット３２９によりノートＰＣ３０２へ無線送信することが可能である。
ノートＰＣ３０２（図２１）では、自動車形状ロボット３０４から無線送信されてきた現在位置を２次元座標値としてＬＣＤ３１５に数値表示し、自動車形状ロボット３０４の向き（姿勢）を表すベクトルをＬＣＤ３１５にアイコン表示することにより、ユーザのコントローラ３１３に対する入力操作に応じて移動させた特殊マーカー画像ＭＫＺに自動車形状ロボット３０４が正確に追従してきているか否かを視覚的に目視確認させ得るようになされている。
またノートＰＣ３０２は、図２３に示すように特殊マーカー画像ＭＫＺの中心部分に所定径でなる点滅領域Ｑ１を設けた特殊マーカー画像付きＣＧ映像Ｖ１０をスクリーン３０１上に投影し得るようになされており、この点滅領域Ｑ１を所定周波数で点滅させることによりコントローラ３１３を介してユーザによって入力された命令を光変調信号として自動車形状ロボット３０４へ光通信するようになされている。
このとき自動車形状ロボット３０４のＭＣＵ３２１は、特殊マーカー画像付きＣＧ映像Ｖ１０の特殊マーカー画像ＭＫＺにおける点滅領域Ｑ１の輝度レベル変化を当該自動車形状ロボット３０４の背中部分に設けられたセンサＳＲ５によって検出し得るようになされており、その輝度レベル変化に基づいてノートＰＣ３０２からの命令を認識し得るようになされている。
例えば、ノートＰＣ３０２からの命令が自動車形状ロボット３０４のアーム部３０４Ｂを動作させることを意味するものであった場合、当該自動車形状ロボット３０４のＭＣＵ３２１は、その命令に応じたモータ制御信号を生成してサーボモータ３３０及び３３１（図２２）を駆動することによりアーム部３０４Ｂを動作させるようになされている。
実際上、自動車形状ロボット３０４はノートＰＣ３０２からの命令に従ってアーム部３０４Ｂを動作させることにより、図２４に示すように、例えばその目前にある缶をアーム部３０４Ｂによって保持することが可能となる。
すなわちノートＰＣ３０２は、特殊マーカー画像付きＣＧ映像Ｖ１０における特殊マーカー画像ＭＫＺを介してスクリーン３０１上の自動車形状ロボット３０４を間接的に移動制御し得ると共に、当該特殊マーカー画像ＭＫＺの点滅領域Ｑ１を介して自動車形状ロボット３０４の動作をも間接的に制御し得るようになされている。
因みにノートＰＣ３０２のＣＰＵ３１０は、ＬＡＮカード３１６を介して自動車形状ロボット３０４へ無線通信することにより、特殊マーカー画像ＭＫＺを介することなく、当該自動車形状ロボット３０４の移動及び動作を直接コントロールすることも可能であり、また上述の位置検出原理を用いて自動車形状ロボット３０４のスクリーン３０１上の現在位置を検出することも可能である。
さらにノートＰＣ３０２では、自動車形状ロボット３０４から無線送信されてきた現在位置を認識し、かつ特殊マーカー画像付きＣＧ映像Ｖ１０の表示内容についても認識しているため、例えば特殊マーカー画像付きＣＧ映像Ｖ１０の表示内容として映し出されているビル等の障害物と、自動車形状ロボット３０４とがスクリーン３０１の座標上で衝突したと判断した場合、特殊マーカー画像ＭＫＺの動きを停止すると共に、当該特殊マーカー画像ＭＫＺの点滅領域Ｑ１を介して自動車形状ロボット３０４に振動を生じさせる命令を供給し得るようになされている。
これにより自動車形状ロボット３０４のＭＣＵ３２１は、特殊マーカー画像ＭＫＺの動きの停止に併せて移動を停止すると共に、特殊マーカー画像ＭＫＺの点滅領域Ｑ１を介して供給された命令に応じて内部モータを動作させることにより、本体部３０４Ａに振動を生じさせ、あたかも特殊マーカー画像付きＣＧ映像Ｖ１０に映し出されたビル等の障害物に自動車形状ロボット３０４が衝突して衝撃を受けたかのような印象をユーザに与え、現実世界の自動車形状ロボット３０４と仮想世界の特殊マーカー画像付きＣＧ映像Ｖ１０とを同一空間上で融合した擬似３次元空間を構築することができる。
その結果ユーザは、現実世界の自動車形状ロボット３０４を直接操作しなくても、仮想世界の特殊マーカー画像付きＣＧ映像Ｖ１０における特殊マーカー画像ＭＫＺを介して自動車形状ロボット３０４を間接的に移動制御することができると同時に、特殊マーカー画像付きＣＧ映像Ｖ１０の表示内容と自動車形状ロボット３０４とを擬似的に融合した一段と臨場感に溢れた３次元的な複合現実感を体感することができる。
なお上面照射型の複合現実提供システム３００では、プロジェクタ３０３により特殊マーカー画像付きＣＧ映像Ｖ１０の特殊マーカー画像ＭＫＺを自動車形状ロボット３０４の背中部分に投射するようになされているため、プロジェクタ３０３により特殊マーカー画像ＭＫＺを自動車形状ロボット３０４の背中部分に投影することが出来れば、特殊マーカー画像ＭＫＺの動きに伴って自動車形状ロボット３０４を移動させる際の場所を選ばず、床や道路の上で自動車形状ロボット３０４を移動制御することもできる。
例えば、上面照射型の複合現実提供システム３００では、仮に壁掛け式のスクリーン３０１を用いた場合、壁掛け式スクリーン３０１の背後に設けられた金属板と、自動車形状ロボット３０４の底面に設けられた磁石とを介して、壁掛け式スクリーン３０１上に自動車形状ロボット３０４を載置させ、特殊マーカー画像付きＣＧ映像Ｖ１０の特殊マーカー画像ＭＫＺを介して当該自動車形状ロボット３０４を間接的に移動制御することも可能である。
（３−２）下面照射型の複合現実提供システム
上述の上面照射型の複合現実提供システム３００（図１８）とは逆に、図１及び図１８との対応部分に同一符号を付した図２５に示すように、下面照射型の複合現実提供システム４００では、大型ＬＣＤ４０１の画面上に自動車形状ロボット３が載置された状態で、ノートＰＣ３０２によって生成された特殊マーカー画像付きＣＧ映像Ｖ１０を当該大型ＬＣＤ４０１に自動車形状ロボット３の下方から表示させるようになされている。
この特殊マーカー画像付きＣＧ映像Ｖ１０は、図１９に示したように、そのほぼ中央部分に上述した特殊マーカー画像ＭＫＺが配置され、周囲にはビル等の背景画像が配置されており、大型ＬＣＤ４０１のほぼ中央に自動車形状ロボット３０４が載置された場合、当該自動車形状ロボット３の底面部分と特殊マーカー画像ＭＫＺとが対向するようになされている。
ここで自動車形状ロボット３の構造としては、上述した図２に示した通りであるため、その説明については省略するが、大型ＬＣＤ４０１に表示された特殊マーカー画像付きＣＧ映像Ｖ１０の特殊マーカー画像ＭＫＺ（図７）における位置検出領域ＰＤ１Ａ、ＰＤ２Ａ、ＰＤ３及びＰＤ４の中心にセンサＳＲ１〜ＳＲ４が位置しているニュートラル状態を基本として、持殊マーカー画像付きＣＧ映像Ｖ１０のフレーム又はフィールドが更新される度に特殊マーカー画像ＭＫＺの位置が少しずつ動いていくと、図８（Ａ）及び（Ｂ）に示したように、センサＳＲ１〜センサＳＲ４の輝度レベルが変化し、その輝度レベル変化に基づいて特殊マーカー画像ＭＫＺと当該自動車形状ロボット３との相対的位置変化を算出する。
そして自動車形状ロボット３は、特殊マーカー画像ＭＫＺと当該自動車形状ロボット３との相対的位置変化を「０」にするように当該自動車形状ロボット３が進行すべき方向及び座標を算出し、その算出結果に従って大型ＬＣＤ４０１上を移動するようになされている。
ここでノートＰＣ３０２（図２１）のＣＰＵ３１０は、コントローラ３１３及びノースブリッジ３１１経由で受け付けたユーザの入力操作が特殊マーカー画像ＭＫＺを動かすための方向及び量を意味するものであった場合、その入力操作に応じて特殊マーカー画像ＭＫＺを画面中央から所定方向へ所定量だけ動かした特殊マーカー画像付きＣＧ映像Ｖ１０を生成するための命令をＧＰＵ３１４へ供給する。
この場合もノートＰＣ３０２のＣＰＵ３１０は、コントローラ３１３を介してユーザの入力操作を受け付けたとき以外で、一連のシーケンスのなかで特殊マーカー画像ＭＫＺを動かすための方向及び量を意味するプログラムを読み出したときにも、当該特殊マーカー画像ＭＫＺを画面中央から所定方向へ所定量だけ動かした特殊マーカー画像付きＣＧ映像Ｖ１０を生成するための命令をＧＰＵ３１４へ供給する。
ＧＰＵ３１４は、ＣＰＵ３１０から供給された命令に従って特殊マーカー画像ＭＫＺを画面中央から所定方向へ所定量だけ動かした特殊マーカー画像付きＣＧ映像Ｖ１０を生成し、これを大型ＬＣＤ４０１に表示するようになされている。
一方、自動車形状ロボット３は、底面部分に設けられたセンサＳＲ１〜ＳＲ５によって特殊マーカー画像ＭＫＺの輝度レベルを所定のサンプリング周波数に従って常時検出しており、その輝度レベル情報をアナログディジタル変換回路３２２へ送出する。
アナログディジタル変換回路３２２は、センサＳＲ１〜ＳＲ５からそれぞれ供給されるアナログの輝度レベル情報をディジタルの輝度レベルデータに変換し、これをＭＣＵ３２１へ供給する。
ＭＣＵ３２１は、上述した（１）式に従ってｘ方向のずれｄｘ、（２）式に従ってｙ方向のずれｄｙ、（６）式に従って旋回角度ｄθを求めることが出来るので、ずれｄｘ、ｄｙ及び旋回角度ｄθを「０」にするための駆動信号を生成し、それをモータドライバ３２３及び３２４経由で車輪用モータ３２５〜３２８へ送出することにより、本体部３Ａの左右両側に設けられた４個の車輪を所定方向へ所定量だけ回転させるようになされている。
この自動車形状ロボット３の場合も、ワイヤレスＬＡＮユニット３２９を搭載しており、ノートＰＣ３０２との間で無線通信し得、ＭＣＵ３２１によって算出したｘ方向のずれｄｘ、ｙ方向のずれｄｙ、旋回角度ｄθに基づく現在位置及び向き（姿勢）をノートＰＣ３０２へ無線送信し得るようになされている。
これによりノートＰＣ３０２（図２１）では、自動車形状ロボット３から無線送信されてきた現在位置を２次元座標値としてＬＣＤ３１５に数値表示し、自動車形状ロボット３の向き（姿勢）を表したベクトルをＬＣＤ３１５にアイコン表示することにより、ユーザのコントローラ３１３に対する入力操作に応じて移動させた特殊マーカー画像ＭＫＺに自動車形状ロボット３が正確に追従してきているか否かを視覚的に目視確認させ得るようになされている。
またノートＰＣ３０２は、図２３に示したように特殊マーカー画像ＭＫＺの中心部分に所定径でなる点滅領域Ｑ１を設けた特殊マーカー画像付きＣＧ映像Ｖ１０を大型ＬＣＤ４０１に表示し得るようになされており、この点滅領域Ｑ１を所定周波数で点滅させることによりコントローラ３１３を介してユーザによって入力された命令を光変調信号として自動車形状ロボット３へ光通信するようになされている。
このとき自動車形状ロボット３のＭＣＵ３２１は、特殊マーカー画像付きＣＧ映像Ｖ１０の特殊マーカー画像ＭＫＺにおける点滅領域Ｑ１の輝度レベル変化を当該自動車形状ロボット３の底面に設けられたセンサＳＲ５によって検出し得るようになされており、その輝度レベル変化に基づいてノートＰＣ３０２からの命令を認識し得るようになされている。
例えば、ノートＰＣ３０２からの命令が自動車形状ロボット３のアーム部３Ｂを動作させることを意味するものであった場合、当該自動車形状ロボット３のＭＣＵ３２１は、その命令に応じたモータ制御信号を生成してサーボモータ３３０及び３３１を駆動することによりアーム部３Ｂを動作させるようになされている。
実際上、自動車形状ロボット３はノートＰＣ３０２からの命令に従ってアーム部３Ｂを動作させることにより、例えばその目前にある缶をアーム部３Ｂにより保持することができる。
すなわちノートＰＣ３０２は、自動車形状ロボット３を特殊マーカー画像付きＣＧ映像Ｖ１０の特殊マーカー画像ＭＫＺを介して大型ＬＣＤ４０１上を間接的に移動制御し得ると共に、特殊マーカー画像ＭＫＺの点滅領域Ｑ１を介して自動車形状ロボット３の動作をも間接的に制御し得るようになされている。
さらにノートＰＣ３０２では、自動車形状ロボット３から無線送信されてきた現在位置を認識し、かつ特殊マーカー画像付きＣＧ映像Ｖ１０の表示内容についても認識しているため、例えば特殊マーカー画像付きＣＧ映像Ｖ１０の表示内容として映し出されているビル等の障害物と、自動車形状ロボット３とが大型ＬＣＤ４０１の画面の座標上で衝突したと判断した場合、特殊マーカー画像ＭＫＺの動きを停止すると共に、当該特殊マーカー画像ＭＫＺの点滅領域Ｑ１を介して自動車形状ロボット３に振動を生じさせる命令を供給するようになされている。
これにより自動車形状ロボット３のＭＣＵ３２１は、特殊マーカー画像ＭＫＺの動きの停止に併せて移動を停止すると共に、特殊マーカー画像ＭＫＺの点滅領域Ｑ１を介して供給された命令に応じて内部モータを動作させることにより、本体部３Ａに振動を生じさせ、あたかも特殊マーカー画像付きＣＧ映像Ｖ１０に映し出されたビル等の障害物に自動車形状ロボット３が衝突して衝撃を受けたかのような印象をユーザに与え、現実世界の自動車形状ロボット３と仮想世界の特殊マーカー画像付きＣＧ映像Ｖ１０とを同一空間上で融合した擬似３次元空間を構築することができる。
その結果ユーザは、現実世界の自動車形状ロボット３を直接操作しなくても、仮想世界の特殊マーカー画像付きＣＧ映像Ｖ１０における特殊マーカー画像ＭＫＺを介して自動車形状ロボット３を間接的に移動制御することができると同時に、特殊マーカー画像付きＣＧ映像Ｖ１０の表示内容と自動車形状ロボット３とを擬似的に融合した一段と臨場感に溢れた３次元的な複合現実感を体感することができる。
なお下面照射型の複合現実提供システム４００では、上面照射型の複合現実提供システム３００とは異なり、大型ＬＣＤ４０１に対して特殊マーカー画像付きＣＧ映像Ｖ１０を直接表示し、特殊マーカー画像ＭＫＺと自動車形状ロボット３の底面とを対向させるように載置していることにより、特殊マーカー画像ＭＫＺが自動車形状ロボット３の本体部３Ａによって遮られて環境光による影響を受けずに済み、高精度に自動車形状ロボット３を特殊マーカー画像ＭＫＺに追従させ得るようになされている。
（４）本実施の形態における動作及び効果
以上の構成において、上述した位置検出原理を用いた位置検出装置としてのノートＰＣ１（図１）では、液晶ディスプレイ２の画面上に載置された自動車形状ロボット３と対向するように基本マーカー画像ＭＫ又は特殊マーカー画像ＭＫＺを表示し、移動中の自動車形状ロボット３のセンサＳＲ１〜ＳＲ５によって検出された基本マーカー画像ＭＫ又は特殊マーカー画像ＭＫＺに対する輝度レベル変化に基づいて自動車形状ロボット３の現在位置を算出することができる。
そのときノートＰＣ１は、移動後の自動車形状ロボット３の現在位置と基本マーカー画像ＭＫ又は特殊マーカー画像ＭＫＺとの相対的位置関係の変化が生じる前のニュートラル状態に戻すように基本マーカー画像ＭＫ又は特殊マーカー画像ＭＫＺを移動表示させることにより、移動中の自動車形状ロボット３に基本マーカー画像ＭＫ又は特殊マーカー画像ＭＫＺを追従させながら液晶ディスプレイ２の画面上を移動する自動車形状ロボット３の現在位置をリアルタイムに検出することができる。
特にノートＰＣ１は、輝度レベルが０％〜１００％まで線形的に変化する基本マーカー画像ＭＫ又は特殊マーカー画像ＭＫＺを自動車形状ロボット３の位置検出に用いるようにしたことにより、高精度に自動車形状ロボット３の現在位置を算出することができる。
またノートＰＣ１は、特殊マーカー画像ＭＫＺ（図７）を用いた場合、位置検出領域ＰＤ１Ａ、ＰＤ２Ａ、ＰＤ３及びＰＤ４の境界部分における輝度レベル変化が基本マーカー画像ＭＫのように急激ではなくグラデーション化されているため、基本マーカー画像ＭＫ（図３）のときのように位置検出領域ＰＤ１〜ＰＤ４間で輝度レベル０％の部分に対して輝度レベル１００％の部分の光が漏れ込むことがなく、一段と高精度に自動車形状ロボット３の現在位置及び姿勢を検出することができる。
このような位置検出原理を利用した上面照射型の複合現実提供システム３００及び下面照射型の複合現実提供システム４００では、当該位置検出原理による計算を自動車形状ロボット３０４及び自動車形状ロボット３に実行させることにより、特殊マーカー画像付きＣＧ映像Ｖ１０の特殊マーカー画像ＭＫＺの動きに当該自動車形状ロボット３０４及び自動車形状ロボット３を正確に追従させることが出来る。
従って上面照射型の複合現実提供システム３００及び下面照射型の複合現実提供システム４００では、ユーザが自動車形状ロボット３０４及び自動車形状ロボット３を直接コントロールする必要がなく、ノートＰＣ３０２のコントローラ３１３を介して特殊マーカー画像ＭＫＺを動かすだけで自動車形状ロボット３０４及び自動車形状ロボット３を間接的に移動制御することができる。
その際、ノートＰＣ３０２のＣＰＵ３１０は、特殊マーカー画像ＭＫＺの点滅領域Ｑ１を介して自動車形状ロボット３０４、自動車形状ロボット３と光通信することができるので、特殊マーカー画像ＭＫＺを介して自動車形状ロボット３０４、自動車形状ロボット３を移動制御するだけでなく、点滅領域Ｑ１を介して自動車形状ロボット３０４、自動車形状ロボット３に対してアーム部３Ｂを動かす等の具体的な動作についても制御することができる。
特に、ノートＰＣ３０２では、自動車形状ロボット３０４、自動車形状ロボット３から無線送信されてきた現在位置と、特殊マーカー画像付きＣＧ映像Ｖ１０の表示内容の双方について認識しているため、特殊マーカー画像付きＣＧ映像Ｖ１０の表示内容として映し出されている障害物と、自動車形状ロボット３０４、自動車形状ロボット３とが衝突したと座標計算により判断し得た場合、特殊マーカー画像ＭＫＺの動きを停止して自動車形状ロボット３０４、自動車形状ロボット３の移動を停止させると共に、当該特殊マーカー画像ＭＫＺの点滅領域Ｑ１を介して自動車形状ロボット３０４、自動車形状ロボット３に振動を生じさせることができるので、現実世界の自動車形状ロボット３０４、自動車形状ロボット３と仮想世界の特殊マーカー画像付きＣＧ映像Ｖ１０とを同一空間上で融合した臨場感のある複合現実感をユーザに提供することができる。
実際上、下面照射型の複合現実提供システム４００では、図２６に示すように大型ＬＣＤ４０１の画面上にユーザＲＵ１が所有する自動車形状ロボット３を載置し、ユーザＲＵ２が所有する自動車形状ロボット４５０を載置した場合、ユーザＲＵ１及びユーザＲＵ２はノートＰＣ３０２をそれぞれ操作して特殊マーカー画像付きＣＧ映像Ｖ１０の特殊マーカー画像ＭＫＺをそれぞれ動かすことにより、自動車形状ロボット３及び自動車形状ロボット４５０をそれぞれ移動制御しながら対戦させることができる。
このとき大型ＬＣＤ４０１の画面上に表示された特殊マーカー画像付きＣＧ映像Ｖ１０には、例えばインターネット接続された遠隔地のリモートユーザＶＵ１及びＶＵ２によってその動きが制御された自動車形状ロボット画像ＶＶ１及びＶＶ２が表示されており、現実世界の自動車形状ロボット３及び４５０と仮想世界の自動車形状ロボット画像ＶＶ１及びＶＶ２とを特殊マーカー画像付きＣＧ映像Ｖ１０を介して擬似的に対戦させ、例えば画面上で自動車形状ロボット３と自動車形状ロボット画像ＶＶ１とが衝突したときには、当該自動車形状ロボット３に振動を生じさせて臨場感を醸し出させることが可能となる。
（５）他の実施の形態
なお上述の実施の形態においては、基本マーカー画像ＭＫや特殊マーカー画像ＭＫＺを用いてスクリーン３０１上を移動する自動車形状ロボット３０４や、液晶ディスプレイ２や大型ＬＣＤ４０１の画面上を移動する自動車形状ロボット３の現在位置や姿勢を検出するようにした場合について述べたが、本発明はこれに限らず、例えば図２７に示すように、輝度レベルが０％から１００％まで線形的に変化する縦縞を複数並べた位置検出領域ＰＤ１１からなるマーカー画像を自動車形状ロボット３のセンサＳＲ１及びＳＲ２と対向するように表示すると共に、輝度レベルが０％から１００％まで線形的に変化する横縞を複数並べた位置検出領域ＰＤ１２からなるマーカー画像を自動車形状ロボット３のセンサＳＲ３及びＳＲ４と対向するように表示し、当該センサＳＲ１〜ＳＲ４による輝度レベル変化と縦縞や横縞を横切った数の変化とに基づいて画面上での現在位置や姿勢を検出するようにしても良い。
また上述の実施の形態においては、輝度レベルが０％〜１００％まで線形的に変化するようにグラデーション化された基本マーカー画像ＭＫや特殊マーカー画像ＭＫＺを用いてスクリーン３０１上を移動する自動車形状ロボット３０４や、液晶ディスプレイ２及び大型ＬＣＤ４０１の画面上を移動する自動車形状ロボット３の現在位置や姿勢を検出するようにした場合について述べたが、本発明はこれに限らず、輝度レベルを一定にしたまま、色相環上で反対色にある２色（例えば青色と黄色）を用いてグラデーション化させたマーカー画像に対する色相の変化に基づいて自動車形状ロボット３の現在位置や姿勢を検出するようにしても良い。
さらに上述の実施の形態においては、液晶ディスプレイ２の画面上に載置された自動車形状ロボット３の底面に設けられたセンサＳＲ１〜ＳＲ５によって検出した基本マーカー画像ＭＫ又は特殊マーカー画像ＭＫＺの輝度レベル変化に基づいて自動車形状ロボット３の現在位置や姿勢を算出するようにした場合について述べたが、本発明はこれに限らず、自動車形状ロボット３０４の上面に対してプロジェクタ３０３により基本マーカー画像ＭＫ又は特殊マーカー画像ＭＫＺを投影し、その自動車形状ロボット３０４のセンサＳＲ１〜ＳＲ５によって検出した輝度レベル変化に基づいて自動車形状ロボット３０４の現在位置や姿勢を算出するようにしても良い。
さらに上述の実施の形態においては、液晶ディスプレイ２の画面上に載置された自動車形状ロボット３の移動に基本マーカー画像ＭＫ又は特殊マーカー画像ＭＫＺを追従させながら現在位置を検出するようにした場合について述べたが、本発明はこれに限らず、例えばペン型デバイスの先端を画面上の特殊マーカー画像ＭＫＺに当接させた状態のまま、ユーザによって画面をなぞられるように動かされたときの輝度レベル変化を当該ペン型デバイスの先端に埋め込まれた複数のセンサによって検出し、それをノートＰＣ１に無線送信することにより、当該ノートＰＣ１によってペン型デバイスの現在位置を検出するようにしても良い。これによりノートＰＣ１は、ペン型デバイスによって文字がなぞられたときには、その軌跡に従って忠実にその文字を再現することが可能になる。
さらに上述の実施の形態においては、ノートＰＣ１が位置検出プログラムに従って自動車形状ロボット３の現在位置を検出し、ノートＰＣ３０２が複合現実提供プログラムに従って自動車形状ロボット３０４や自動車形状ロボット３を間接的に移動制御するようにした場合について述べたが、本発明はこれに限らず、当該位置検出プログラムや複合現実提供プログラムが格納されたＣＤ−ＲＯＭ（ＣｏｍｐａｃｔＤｉｓｃ−ＲｅａｄＯｎｌｙＭｅｍｏｒｙ）、ＤＶＤ−ＲＯＭ（ＤｉｇｉｔａｌＶｅｒｓａｔｉｌｅＤｉｓｃ−ＲｅａｄＯｎｌｙＭｅｍｏｒｙ）、半導体メモリ等の種々の記憶媒体を介してノートＰＣ１及びノートＰＣ３０２にインストールすることにより上述の現在位置検出処理や自動車形状ロボット３０４や自動車形状ロボット３に対する間接的な移動制御処理を実行するようにしても良い。
さらに上述の実施の形態においては、位置検出装置を構成するノートＰＣ１、ノートＰＣ３０２及び自動車形状ロボット３、自動車形状ロボット３０４を、指標画像としての基本マーカー画像ＭＫや特殊マーカー画像ＭＫＺを生成する指標画像生成手段としてのＣＰＵ３１０及びＧＰＵ３１４と、輝度レベル検出手段としてのセンサＳＲ１〜ＳＲ５及び位置検出手段としてのＣＰＵ３１０とによって構成するようにした場合について述べたが、本発明はこれに限らず、その他種々の回路構成又はソフトウェア構成でなる指標画像生成手段、輝度レベル検出手段及び位置検出手段によって上述の位置検出装置を構成するようにしても良い。
さらに上述の実施の形態においては、複合現実提供システムを構築する情報処理装置としてのノートＰＣ３０２を、指標画像生成手段及び指標画像移動手段としてのＣＰＵ３１０及びＧＰＵ３１４によって構成し、移動体としての自動車形状ロボット３及び３０４は、輝度レベル検出手段としてのセンサＳＲ１〜ＳＲ５、位置検出手段としてのＭＣＵ３２１と、移動制御手段としてのＭＣＵ３２１、モータドライバ３２３、３２４及び車輪用モータ３２５〜３２８によって構成するようにした場合について述べたが、本発明はこれに限らず、その他種々の回路構成又はソフトウェア構成でなる指標画像生成手段及び指標画像移動手段からなる情報処理装置、輝度レベル検出手段、位置検出手段及び移動制御手段からなる移動体によって上述の複合現実提供システムを構成するようにしても良い。

本発明の位置検出装置、位置検出方法、位置検出プログラム及び複合現実提供システムは、例えば据置型及びポータブル型のゲーム装置、携帯電話機、ＰＤＡ（ＰｅｒｓｏｎａｌＤｉｇｉｔａｌＡｓｓｉｓｔａｎｔ）、ＤＶＤ（ＤｉｇｉｔａｌＶｅｒｓａｔｉｌｅＤｉｓｃ）プレーヤ等の現実世界の対象物体と仮想世界のＣＧ映像とを融合することが可能な種々の電子機器に適用することができる。

従来、位置検出装置としては、光学系、磁気センサ系、超音波センサ系等により位置検出を行うものがあり、特に光学系では理論的な計測精度がカメラの画素分解能と当該カメラの光軸間角度により決まってしまう。

そこで光学系の位置検出装置では、輝度情報やマーカーの形状情報を併せて用いることにより検出精度を向上させるようになされている（例えば、特許文献１参照）。
特開2003-103045公報

ところでかかる構成でなる光学系の位置検出装置では、カメラを用いるために計測対象空間よりも更に大きな空間を必要とすること、カメラから隠れる部位の計測が出来ないので、計測範囲が限られてしまうという不都合があり、更なる改善の余地がある。

また磁気センサ系の位置検出装置では、計測空間に傾斜した静磁場を発生させ、その静磁場中に置かれたセンサユニットの位置と姿勢の６自由度を計測するものである。この位置検出装置では、１つのセンサで６自由度の計測ができ、演算処理をほとんど必要しないためリアルタイムな計測が可能である。

従って磁気センサ系の位置検出装置は、光学系の位置検出装置に比べると、光に対する遮蔽物があっても計測することが可能であるが、同時に計測可能なセンサ数を増やすことが困難であり、また計測対象空間の磁性体や誘電体の影響を受け易く、更には計測対象空間内に金属が多い場合は検出精度が大きく劣化するという種々の問題がある。

さらに超音波センサ系の位置検出装置は、超音波発信器を計測物体に取り付け、空間に固定した受信機との距離関係に基づいて計測物体の位置を検出するようになされているが、ジャイロセンサや加速度計を併用して計測物体の姿勢を検出するものもある。

この超音波センサ系の位置検出装置では、超音波を用いているため、カメラよりは遮蔽物に強いが、その遮蔽物が発信機と受信機の間に存在するときは計測が困難な場合もある。

本発明は以上の点を考慮してなされたもので、従来に比して簡易な構成で現実世界の対象物の画面上又は表示対象上における位置を高精度に検出し得る位置検出装置、位置検出方法、位置検出プログラム及び当該位置検出方法を利用した複合現実提供システムを提案しようとするものである。

かかる課題を解決するため本発明の位置検出装置、位置検出方法及び位置検出プログラムにおいては、表示部上の第１の方向（Ｘ軸方向）及び第２の方向（Ｙ軸方向、Ｘ軸とは直交関係にあるがこの関係に限るものではない）へ輝度レベルが次第に変化するようにグラデーション化された複数の領域からなる指標画像を生成し、表示部上の移動体と対向した位置に当該指標画像を表示し、当該指標画像の複数の領域におけるＸ軸方向及びＹ軸方向の輝度レベル変化をそれぞれ検出するため移動体に設けられた輝度レベル検出手段により輝度レベル変化を検出し、その輝度レベル変化に基づいて指標画像と移動体との相対的位置関係の変化を算出することにより表示部上での位置を検出するようにする。

これにより、指標画像のグラデーション化された複数の領域の輝度レベル変化に基づいて、表示部上に載置された移動体の移動に伴う指標画像と当該移動体との相対的位置関係の変化を算出することができるので、その算出結果を基に移動体の表示部上における移動に伴う位置を正確に検出することができる。

また本発明の位置検出装置においては、表示対象上で移動する移動体の位置を検出する位置検出装置であって、表示対象上のＸ軸方向及びＹ軸方向へ輝度レベルが次第に変化するようにグラデーション化された複数の領域からなる指標画像を生成し、表示対象上を移動する移動体の上面に対して表示する指標画像生成手段と、指標画像の複数の領域におけるＸ軸方向及びＹ軸方向の輝度レベル変化をそれぞれ検出するため移動体の上面に設けられた輝度レベル検出手段と、輝度レベル検出手段によって検出した検出結果に基づいて指標画像と移動体との相対的位置関係の変化を算出することにより表示対象上での位置を検出する位置検出手段とを設けるようにする。

これにより、表示対象上を移動する移動体の上面に対して表示される指標画像のグラデーション化された複数の領域の輝度レベル変化に基づいて、移動体の移動に伴う指標画像と当該移動体との相対的位置関係の変化を算出することができるので、その算出結果を基に移動体の移動に伴う表示対象上における位置を正確に検出することができる。

また本発明においては、情報処理装置によって表示部の画面上に表示される映像と、当該画面上に載置された移動体とを対応させながら当該移動体の動きを制御することにより、映像と移動体とが融合された複合現実感を提供する複合現実提供システムであって、情報処理装置は、画面上のＸ軸方向及びＹ軸方向へ輝度レベルが次第に変化するようにグラデーション化された複数の領域からなる指標画像を生成し、表示部上の移動体と対向した位置に映像の一部として指標画像を表示する指標画像生成手段と、予め定められた移動命令又は所定の入力手段を介して入力された移動命令に従って指標画像を画面上で移動させる指標画像移動手段とを具え、移動体は、指標画像の複数の領域におけるＸ軸方向及びＹ軸方向の輝度レベル変化をそれぞれ検出するため移動体に設けられた輝度レベル検出手段と、指標画像移動手段によって移動された指標画像に対し、輝度レベル検出手段によって検出した輝度レベル変化に基づいて指標画像と移動体との相対的位置関係の変化を算出することにより表示部上における移動体の現在位置を検出する位置検出手段と、移動体の現在位置と移動後の指標画像の位置との差分を無くすように追従させることにより、指標画像に合わせて移動体を移動させる移動制御手段とを設けるようにする。

これにより複合現実提供システムでは、情報処理装置が表示部の画面上に表示した指標画像を当該画面上で動かしたときに、その指標画像に表示部の画面上に載置された移動体を追従させることができるので、指標画像を介して移動体を間接的に移動制御することができる。

さらに本発明においては、情報処理装置によって表示対象上に表示される映像と、当該表示対象上に載置された移動体とを対応させながら当該移動体の動きを制御することにより、映像と移動体とが融合された複合現実感を提供する複合現実提供システムであって、情報処理装置は、表示対象上のＸ軸方向及びＹ軸方向へ輝度レベルが次第に変化するようにグラデーション化された複数の領域からなる指標画像を生成し、表示対象上を移動する移動体の上面に対して表示する指標画像生成手段と、予め定められた移動命令又は所定の入力手段を介して入力された移動命令に従って指標画像を表示対象上で移動させる指標画像移動手段とを具え、移動体は、指標画像の複数の領域におけるＸ軸方向及びＹ軸方向の輝度レベル変化をそれぞれ検出するため移動体の上面に設けられた輝度レベル検出手段と、指標画像移動手段によって移動された指標画像に対し、輝度レベル検出手段によって検出した輝度レベル変化に基づいて指標画像と移動体との相対的位置関係の変化を算出することにより表示対象上における移動体の現在位置を検出する位置検出手段と、移動体の現在位置と移動後の指標画像の位置との差分を無くすように追従させることにより、指標画像に合わせて移動体を移動させる移動制御手段とを設けるようにする。

これにより複合現実提供システムでは、情報処理装置が移動体の上面に表示した指標画像を動かしたときに、その指標画像に移動体を追従させることができるので、移動体の載置場所を選ぶことなく、表示対象を選ぶことなく何れの場所であっても指標画像を介して移動体を間接的に移動制御することができる。

本発明によれば、指標画像のグラデーション化された複数の領域の輝度レベル変化に基づいて移動体の移動に伴う指標画像と当該移動体との相対的位置関係の変化を算出することができるので、移動体の表示部上における移動に伴う位置を正確に検出することができ、かくして従来に比して簡易な構成で対象物の画面上における位置を高精度に検出し得る位置検出装置、位置検出方法及び位置検出プログラムを実現することができる。

また本発明によれば、表示対象上を移動する移動体の上面に対して表示される指標画像のグラデーション化された複数の領域の輝度レベル変化に基づいて、移動体の移動に伴う指標画像と当該移動体との相対的位置関係の変化を算出することができるので、その算出結果を基に移動体の移動に伴う表示対象上における位置を正確に検出し得る位置検出装置、位置検出方法及び位置検出プログラムを実現することができる。

さらに本発明によれば、情報処理装置が表示部の画面上に表示した指標画像を当該画面上で動かしたときに、その指標画像に表示部の画面上に載置された移動体を追従させることができるので、指標画像を介して移動体を間接的に移動制御し得る複合現実提供システムを実現することができる。

さらに本発明によれば、情報処理装置が移動体の上面に表示した指標画像を動かしたときに、その指標画像に移動体を追従させることができるので、移動体の載置場所を選ぶことなく、表示対象を選ぶことなく何れの場所であっても指標画像を介して移動体を間接的に移動制御し得る複合現実提供システムを実現することができる。

以下、図面について、本発明の一実施の形態を詳述する。

（１）位置検出原理
（１−１）位置検出装置
本実施の形態では、本発明における位置検出装置の基本となる位置検出原理について最初に説明する。図１に示すように、位置検出装置として用いられるノートブック型パーソナルコンピュータ（以下、これをノートＰＣと呼ぶ）１では、その液晶ディスプレイ２の画面上に載置された自動車形状ロボット３の当該画面上における位置変化を検出するため、当該自動車形状ロボット３と対向する画面上に対して基本マーカー画像ＭＫ（後述する）を表示するようになされている。

自動車形状ロボット３は、図２（Ａ）に示すように、略直方体形状でなる本体部３Ａの左右両側に４個の車輪が設けられていると共に、前面部には物を掴むためのアーム部３Ｂが設けられた構造を有しており、外部のリモートコントローラ（図示せず）による無線操作に応じて液晶ディスプレイ２の画面上を移動し得るようになされている。

また自動車形状ロボット３は、図２（Ｂ）に示すように、その底面の所定位置に、液晶ディスプレイ２の画面上に映し出される基本マーカー画像ＭＫ（図１）と対応すべき５個のフォトトランジスタでなるセンサＳＲ１〜ＳＲ５が設けられており、センサＳＲ１及びＳＲ２が本体部３Ａの先端側及び後端側に配置されると共に、センサＳＲ３及びＳＲ４が本体部３Ａの左右両側に配置され、センサＳＲ５が本体部３Ａのほぼ中心に配置されている。

ノートＰＣ１（図１）は、所定の位置検出プログラムに従い、自動車形状ロボット３のセンサＳＲ１〜ＳＲ５によって受光した基本マーカー画像ＭＫの輝度レベルデータを無線又は有線により当該自動車形状ロボット３から受け取り、それに基づいて自動車形状ロボット３の画面上における位置変化を算出し、現在位置や自動車形状ロボット３の向き（姿勢）を検出し得るようになされている。

（１−２）基本マーカー画像を用いた位置検出方法
ここで、図３に示すように基本マーカー画像ＭＫは、水平方向及び垂直方向から４５度ずれた位置に設けられた境界線を介して９０度の範囲により区分けされた扇形状でなる位置検出領域ＰＤ１〜ＰＤ４及び、当該基本マーカー画像ＭＫの中心に設けられた円形状でなるリファレンス領域ＲＦによって構成されている。

位置検出領域ＰＤ１〜ＰＤ４は、その領域内で輝度レベルが０％〜１００％まで線形的（リニア）に変化するようにグラデーション化されており、この場合、位置検出領域ＰＤ１〜ＰＤ４の全てにおいて反時計回り方向へ輝度レベルが０％〜１００％まで次第に変化するようになされている。但し、位置検出領域ＰＤ１〜ＰＤ４においては、これに限るものではなく、時計回り方向へ輝度レベルが０％〜１００％まで次第に変化するようになされていても良い。

因みに、基本マーカー画像ＭＫにおける位置検出領域ＰＤ１〜ＰＤ４の各輝度レベルは全て０％〜１００％まで線形的（リニア）に変化するようにグラデーション化されている必要は必ずしもなく、例えばＳ字状カーブを描くように非線形的に変化するようにグラデーション化されていても良い。

リファレンス領域ＲＦは、その輝度レベルが位置検出領域ＰＤ１〜ＰＤ４とは異なった５０％に固定されており、ノートＰＣ１による自動車形状ロボット３に対する位置検出計算の際に環境光や外乱光の影響を取り除くために輝度レベルの参照領域として設けられている。

実際上、図４（Ａ）真中に示すように、自動車形状ロボット３の底面に設けられたセンサＳＲ１〜ＳＲ５と、基本マーカー画像ＭＫの位置検出領域ＰＤ１〜ＰＤ４及びリファレンス領域ＲＦのほぼ中央とがそれぞれ対向するように当該基本マーカー画像ＭＫが液晶ディスプレイ２に表示されたニュートラル状態（各輝度レベルが５０％の「中」状態）を基本として、当該自動車形状ロボット３がＸ軸に沿って右方向へ並進した場合、図４（Ａ）右に示すようにセンサＳＲ１の輝度レベルａ１が「中」状態から「暗」状態へ変化すると共に、センサＳＲ２の輝度レベルａ２が「中」状態から「明」状態へ変化する。

また、自動車形状ロボット３がＸ軸に沿って左方向へ並進した場合も同様に、図４（Ａ）左に示すようにセンサＳＲ１の輝度レベルａ１が「中」状態から「明」状態へ変化すると共に、センサＳＲ２の輝度レベルａ２が「中」状態から「暗」状態へ変化する。但し、センサＳＲ３の輝度レベルａ３、センサＳＲ４の輝度レベルａ４及びセンサＳＲ５の輝度レベルａ５については一切変化しない。

従ってノートＰＣ１は、自動車形状ロボット３から供給されるセンサＳＲ１の輝度レベルａ１及びセンサＳＲ２の輝度レベルａ２を参照することによりｘ方向のずれｄｘを、次式

ｄｘ＝ｐ１（ａ２−ａ１） ……（１）

によって求めることが出来る。ここで、ｐ１は比例係数であり、位置検出空間における環境光やキャリブレーションに応じてダイナミックに変化させることが可能な値である。因みに、図４（Ａ）真中に示すように、ｘ方向に一切ずれのない状態では、（１）式の（ａ２−ａ１）が「０」になるので、ずれｄｘの値も当然「０」となる。

同様にノートＰＣ１は、自動車形状ロボット３から供給されるセンサＳＲ３の輝度レベルａ３及びセンサＳＲ４の輝度レベルａ４を参照することによりｙ方向のずれｄｙを、次式

ｄｙ＝ｐ２（ａ４−ａ３） ……（２）

によって求めることが出来る。ここで、ｐ２もｐ１と同様に比例係数であり、位置検出空間における環境光やキャリブレーションに応じてダイナミックに変化させることが可能な値である。因みに、ｙ方向に一切ずれのない状態では、（２）式の（ａ４−ａ３）が「０」になるので、ずれｄｙの値も当然「０」となる。

一方、図４（Ｂ）真中に示すように、自動車形状ロボット３の底面に設けられたセンサＳＲ１〜ＳＲ５と、基本マーカー画像ＭＫの位置検出領域ＰＤ１〜ＰＤ４及びリファレンス領域ＲＦのほぼ中央とがそれぞれ対向するように当該基本マーカー画像ＭＫが液晶ディスプレイ２に表示されたニュートラル状態（各輝度レベルが５０％の「中」状態）を基本として、自動車形状ロボット３が基本マーカー画像ＭＫに対して中心軸を動かすことなく右旋回した場合、図４（Ｂ）右に示すようにセンサＳＲ１の輝度レベルａ１、センサＳＲ２の輝度レベルａ２、センサＳＲ３の輝度レベルａ３、センサＳＲ４の輝度レベルａ４が全て「中」状態から「暗」状態へ変化する。但し、センサＳＲ５の輝度レベルａ５については一切変化していない。

同様に、自動車形状ロボット３が基本マーカー画像ＭＫに対して中心軸を動かすことなく左旋回した場合、図４（Ｂ）左に示すようにセンサＳＲ１の輝度レベルａ１、センサＳＲ２の輝度レベルａ２、センサＳＲ３の輝度レベルａ３、センサＳＲ４の輝度レベルａ４が全て「中」状態から「明」状態へ変化する。但し、この場合もセンサＳＲ５の輝度レベルａ５については一切変化していない。

従ってノートＰＣ１は、自動車形状ロボット３から供給されるセンサＳＲ１〜ＳＲ４の輝度レベルａ１〜ａ４及びリファレンス領域ＲＦに対応したセンサＳＲ５の輝度レベルａ５をそれぞれ参照することにより自動車形状ロボット３の旋回角度θを、次式

ｓｉｎθ＝ｐ３（（ａ１＋ａ２＋ａ３＋ａ４）−４×（ａ５））…（３）

によって求めることが出来る。ここで（３）式では、リファレンス領域ＲＦの輝度レベルａ５を４倍して減算していることにより、基本マーカー画像ＭＫ以外の環境光による影響を排除して、正確な旋回角度θを求めることができるように配慮されている。

この場合も、ｐ３は比例係数であり、位置検出空間における環境光やキャリブレーションに応じてダイナミックに変化させることが可能な値である。因みに、自動車形状ロボット３が左右いずれにも旋回していない状態では、（３）式の（（ａ１＋ａ２＋ａ３＋ａ４）−４×（ａ５））が「０」になるため、自動車形状ロボット３の旋回角度θは０度になる。

なおノートＰＣ１では、自動車形状ロボット３のずれｄｘ、ｄｙ及び旋回角度θについては、それぞれ同時に独立して計算することができるので、例えば自動車形状ロボット３が右方向へ並進しながら左方向へ旋回した場合であっても、当該自動車形状ロボット３の現在位置及び自動車形状ロボット３の向き（姿勢）を算出し得るようになされている。

更にノートＰＣ１は、液晶ディスプレイ２の画面上に載置された自動車形状ロボット３の本体部３Ａが上下にその高さを変化させるための機構が搭載されている場合、その高さＺについても検出し得るようになされており、次式

Ｚ＝ｐ４×√（ａ１＋ａ２＋ａ３＋ａ４） ……（４）

によって求めることができる。この場合も、ｐ４は比例係数であり、位置検出空間における環境光やキャリブレーションに応じてダイナミックに変化させることが出来る。

すなわち、自動車形状ロボット３の高さＺが変化すると、センサＳＲ１〜ＳＲ４の輝度レベルａ１〜ａ４が全て変化するので、（４）式によって自動車形状ロボット３の高さＺを求めることができるのである。因みに、（４）式では、点光源の場合に距離の２乗で輝度レベルが減衰することから平方根が用いられている。

このようにノートＰＣ１は、自動車形状ロボット３が液晶ディスプレイ２の画面上で移動したときのずれｄｘ、ｄｙ及び旋回角度θに基づいて現在位置及び姿勢を検出し、移動前後における現在位置の差分に応じて基本マーカー画像ＭＫを自動車形状ロボット３の底面と対向するように移動させることにより、液晶ディスプレイ２の画面上であれば自動車形状ロボット３を終始追従しながら現在位置及び姿勢を検出し得るようになされている。

ところでノートＰＣ１では、図５に示すように基本マーカー画像ＭＫを液晶ディスプレイ２の画面上に表示するフレーム周波数又はフィールド周波数よりも、センサＳＲ１〜ＳＲ５による輝度レベルａ１〜ａ５のサンプリング周波数の方が高いため、当該フレーム周波数又はフィールド周波数には依存することなく自動車形状ロボット３の現在位置及び姿勢を高速に検出し得るようになされている。

実際上、ノートＰＣ１は、例えばフレーム周波数がＸ（＝３０）[Hz]の場合、画面が更新される１／Ｘ秒の間であっても自動車形状ロボット３は液晶ディスプレイ２の画面上を移動しているが、そのときであってもセンサＳＲ１〜ＳＲ５によるサンプリング周波数ΔＤがフレーム周波数Ｘ[Hz]よりも高いので、位置検出を行う際の追従可能速度Ｖとしては、次式

Ｖ＝Ｘ＋ΔＤ ……（５）

によって表され、自動車形状ロボット３が高速移動中であってもフレーム周波数又はフィールド周波数に依存することなく高精度に現在位置を検出し得るようになされている。

（１−３）特殊マーカー画像を用いた位置検出方法
上述のような基本マーカー画像ＭＫを用いた位置検出方法では、上述したニュートラル状態から左右方向へ自動車形状ロボット３が高速に旋回し、センサＳＲ１、センサＳＲ２、センサＳＲ３及びセンサＳＲ４が位置検出領域ＰＤ１〜ＰＤ４を乗り越えてしまった場合、例えば旋回角度θ＝＋４６度を旋回角度θ＝−４４度と誤検出してしまい、自動車形状ロボット３に対して基本マーカー画像ＭＫをニュートラル状態に戻す際に逆方向へ補正してしまうことが起こりえる。

また基本マーカー画像ＭＫでは、位置検出領域ＰＤ１〜ＰＤ４との境界部分で輝度レベルが０％から１００％又は１００％から０％へ急激に変化するため、輝度レベル１００％の部分の光が輝度レベル０％の部分に漏れ込んで誤検出の要因にもなる。

そこでノートＰＣ１では、図６に示すように基本マーカー画像ＭＫをもう一段階発展させた特殊マーカー画像ＭＫＺを用いるようになされている。この特殊マーカー画像ＭＫＺは、図７に示すように基本マーカー画像ＭＫ（図６）の位置検出領域ＰＤ３及びＰＤ４をそのままにして、基本マーカー画像ＭＫの位置検出領域ＰＤ１及びＰＤ２の輝度レベルを逆時計回り方向ではなく、時計回り方向へ０％〜１００％まで線形的（リニア）に変化するようにグラデーション化させた位置検出領域ＰＤ１Ａ及びＰＤ２Ａを用いたものである。

従って特殊マーカー画像ＭＫＺは、基本マーカー画像ＭＫとは異なり、輝度レベルが０％から１００％へ急激に変化する部分が一切ないように全体的にグレデーション化されており、基本マーカー画像ＭＫのように輝度レベル１００％の部分の光が輝度レベル０％の部分に漏れ込むといった事態を予め回避するようになされている。

また特殊マーカー画像ＭＫＺは、自動車形状ロボット３の動きに応じて、位置検出領域ＰＤ１Ａ、ＰＤ２Ａ、ＰＤ３及びＰＤ４の範囲内でセンサＳＲ１、センサＳＲ２、センサＳＲ３及びセンサＳＲ４が移動するｘ軸方向及びｙ軸方向に対してその輝度レベルａ１、ａ２、ａ３、ａ４が０％〜１００％の間を線形的に変化するようになされている。

更に特殊マーカー画像ＭＫＺは、自動車形状ロボット３の旋回に応じて、位置検出領域ＰＤ１Ａ、ＰＤ２Ａ、ＰＤ３及びＰＤ４の範囲内でセンサＳＲ１、センサＳＲ２、センサＳＲ３及びセンサＳＲ４が移動する円周方向に対してその輝度レベルａ１、ａ２、ａ３、ａ４が０％〜１００％〜０％〜１００％〜０％へ３６０度の範囲で線形的に変化するようになされている。

因みに、特殊マーカー画像ＭＫＺにおける位置検出領域ＰＤ１Ａ、ＰＤ２Ａ、ＰＤ３、ＰＤ４の各輝度レベルは全て０％〜１００％まで線形的に変化するようにグラデーション化されている必要は必ずしもなく、例えばＳ字状カーブを描くように非線形的に変化するようにグラデーション化されていても良い。

また特殊マーカー画像ＭＫＺは、自動車形状ロボット３がニュートラル状態から旋回し、センサＳＲ１、センサＳＲ２、センサＳＲ３及びセンサＳＲ４が位置検出領域ＰＤ１Ａ、ＰＤ２Ａ、ＰＤ３及びＰＤ４の範囲から乗り越えてしまったときであっても、例えば旋回角度θ＝＋４６度を、旋回角度θ＝＋４４度として検出する程度の誤差で済み、基本マーカー画像ＭＫに比べて検出誤差を低減することが出来ると共に、自動車形状ロボット３に対する追従性能をも向上させ得るようになされている。

従ってノートＰＣ１では、移動した自動車形状ロボット３に対して移動分のずれが生じた特殊マーカー画像ＭＫＺを当該自動車形状ロボット３の底面に設けられたセンサＳＲ１〜ＳＲ５と対向させるようにニュートラル状態へ戻す際、基本マーカー画像ＭＫのときのような符号誤りにより逆方向へ動かしてしまうような事態を回避し得るようになされている。

実際上、自動車形状ロボット３がニュートラル状態から右方向へ並進した場合、図８（Ａ）右に示すようにセンサＳＲ１の輝度レベルａ１が「中」状態から「明」状態へ変化すると共に、センサＳＲ２の輝度レベルａ２が「中」状態から「暗」状態へ変化する。

また、自動車形状ロボット３がニュートラル状態から左方向へ並進した場合も同様に、図８（Ａ）左に示すようにセンサＳＲ１の輝度レベルａ１が「中」状態から「暗」状態へ変化すると共に、センサＳＲ２の輝度レベルａ２が「中」状態から「明」状態へ変化する。但し、この場合もセンサＳＲ３の輝度レベルａ３、センサＳＲ４の輝度レベルａ４及びセンサＳＲ５の輝度レベルａ５については一切変化しない。

従ってノートＰＣ１は、自動車形状ロボット３から供給されるセンサＳＲ１の輝度レベルａ１及びセンサＳＲ２の輝度レベルａ２を参照することにより、上述した（１）式に従って、ｘ方向のずれｄｘを求めることが出来る。

同様にノートＰＣ１は、自動車形状ロボット３から供給されるセンサＳＲ３の輝度レベルａ３及びセンサＳＲ４の輝度レベルａ４を参照することにより、ｙ方向のずれｄｙを上述した（２）式に従って求めることが出来る。

一方、図８（Ｂ）真中に示すように、自動車形状ロボット３の底面に設けられたセンサＳＲ１〜ＳＲ４と、特殊マーカー画像ＭＫＺの位置検出領域ＰＤ１Ａ、ＰＤ２Ａ、ＰＤ３、ＰＤ４のほぼ中央とが対向するように当該特殊マーカー画像ＭＫＺが液晶ディスプレイ２に表示されたニュートラル状態（各輝度レベルが５０％の「中」状態）を基本として、自動車形状ロボット３が特殊マーカー画像ＭＫＺに対して中心軸をそのままにニュートラル状態から右旋回した場合、図８（Ｂ）右に示すようにセンサＳＲ１の輝度レベルａ１、センサＳＲ２の輝度レベルａ２が「中」状態から「明」状態へ変化するものの、センサＳＲ３の輝度レベルａ３、センサＳＲ４の輝度レベルａ４については「中」状態から「暗」状態へ変化する。

同様に、自動車形状ロボット３が特殊マーカー画像ＭＫＺに対して中心軸をそのままにニュートラル状態から左旋回した場合、図８（Ｂ）左に示すようにセンサＳＲ１の輝度レベルａ１、センサＳＲ２の輝度レベルａ２が「中」状態から「暗」状態へ変化するものの、センサＳＲ３の輝度レベルａ３、センサＳＲ４の輝度レベルａ４が「中」状態から「明」状態へ変化する。

従ってノートＰＣ１は、自動車形状ロボット３から供給されるセンサＳＲ１〜センサＳＲ４の輝度レベルａ１〜輝度レベルａ４をそれぞれ参照することにより、旋回角度ｄθを次式

ｓｉｎｄθ＝ｐ６（（ａ３＋ａ４）−（ａ１＋ａ２）） ……（６）

によって求めることが出来る。この場合も、ｐ６は比例係数であり、位置検出空間における環境光やキャリブレーションに応じてダイナミックに変化させることが出来る。すなわち、旋回していない状態では、（６）式の（（ａ３＋ａ４）−（ａ１＋ａ２））が「０」になるため旋回角度ｄθは０度になる。ここで、（６）式では（（ａ３＋ａ４）−（ａ１＋ａ２））の符号によって右旋回であるか左旋回であるかを判別し得るようになされている。

この場合、基本マーカー画像ＭＫのときの（３）式と比較すると、特殊マーカー画像ＭＫＺのときの（６）式では、（（ａ３＋ａ４）−（ａ１＋ａ２））のように減算処理を行っていることから、基本マーカー画像ＭＫのリファレンス領域ＲＦに対する輝度レベルａ５を用いる必要がない。従って基本マーカー画像ＭＫでは、仮に輝度レベルａ５にセンサＳＲ５固有の誤差が生じていた場合には、その誤差も４倍されてしまうが、特殊マーカー画像ＭＫＺの場合はそのようなことがない。

またノートＰＣ１は、特殊マーカー画像ＭＫＺのときの（６）式を用いた場合、基本マーカー画像ＭＫのときの（３）式のように輝度レベルａ１、ａ２、ａ３、ａ４を全て加算するのではなく、（６）式の（（ａ３＋ａ４）−（ａ１＋ａ２））のように減算することにより、輝度レベルａ１、ａ２、ａ３、ａ４の全てに対して外乱光等による均一な誤差が生じていても、それを減算により相殺することができる分だけ、簡易な計算式により旋回角度ｄθを高精度に検出することが出来るようになされている。

なおノートＰＣ１では、自動車形状ロボット３のずれｄｘ、ｄｙ及び旋回角度ｄθについては、それぞれ同時に独立して計算することができるので、例えば自動車形状ロボット３が右方向へ並進しながら左方向へ旋回した場合であっても、当該自動車形状ロボット３の現在位置及び自動車形状ロボット３の向き（姿勢）を算出することが可能である。

更にノートＰＣ１は、液晶ディスプレイ２の画面上に載置された自動車形状ロボット３の本体部３Ａが上下にその高さを変化させるための機構が搭載されている場合、基本マーカー画像ＭＫのときと同様に特殊マーカー画像ＭＫＺを用いた場合にも、その高さＺについて検出し得るようになされており、上述の（４）式に従って求めることができる。

このようにノートＰＣ１は、自動車形状ロボット３が液晶ディスプレイ２の画面上で移動したときのずれｄｘ、ｄｙ及び旋回角度ｄθに基づいて現在位置及び姿勢を検出し、移動前後における現在位置の差分に応じて特殊マーカー画像ＭＫＺを自動車形状ロボット３の底面と対向するように移動させることにより、液晶ディスプレイ２の画面上であれば自動車形状ロボット３の現在位置を追従させながらリアルタイムに終始検出し得るようになされている。

ところで、この場合もノートＰＣ１では、特殊マーカー画像ＭＫＺを液晶ディスプレイ２の画面に表示するフレーム周波数又はフィールド周波数よりも、センサＳＲ１〜ＳＲ４による輝度レベルのサンプリング周波数の方が高いため、当該フレーム周波数又はフィールド周波数には依存することなく自動車形状ロボット３の現在位置及び姿勢を高速に検出し得るようになされている。

上述したような位置検出原理を基本的な考え方として応用した具体的な複合現実提供システムを次に説明するが、その前に、液晶ディスプレイ２の画面上に載置した自動車形状ロボット３を物理的な現実世界の対象物体とし、その対象物体を画面上で動かしたとき、その実際の動きに連動させて画面上の背景画像を動かしたり、対象物体の動きに合わせて仮想物体モデルの付加画像を生成して画面上に表示する複合現実表現システムの基本概念について最初に説明する。

（２）複合現実表現システムの基本概念
この複合現実表現システムでは、基本的に２通りの考え方がある。第１には、液晶ディスプレイやスクリーン等でなる種々の表示手段に表示された映像に重ねるように配置されている現実世界の対象物体をユーザが動かしたとき、その実際の動きに連動させて背景画像を動かしたり、その動きに合わせて付加すべき仮想物体モデルの付加画像を生成して表示する対象物体主導型の複合現実表現システムである。

また第２には、液晶ディスプレイ等の表示手段に表示された映像に重ねるように配置されている現実世界の対象物体に対して、その現実世界の対象物体に対応した仮想世界の対象物体モデルをコンピュータ上で動かしたとき、その仮想世界の対象物体モデルの動きに連動させて現実世界の対象物体を実際に動かしたり、その仮想世界の対象物体モデルの動きに合わせて付加すべき仮想物体モデルの付加画像を生成して表示する仮想物体モデル主導型の複合現実表現システムである。

これら２通り存在する対象物体主導型の複合現実表現システムと、仮想物体モデル主導型の複合現実表現システムについて以下具体的に説明する。

（２−１）対象物体主導型の複合現実表現システムにおける全体構成
図９において、１００は全体として対象物体主導型の複合現実表現システムを示し、コンピュータ装置１０２から供給される仮想世界のコンピュータグラフィクス（ＣＧ）映像Ｖ１をプロジェクタ１０３からスクリーン１０４上に投影する。

仮想世界のＣＧ映像Ｖ１が投影されたスクリーン１０４上には、ユーザ１０６がラジオコントローラ（以下、これを単にラジコンと呼ぶ）１０７を介して遠隔操作するための例えば戦車の模型等でなる現実世界の対象物体１０５が載置され、スクリーン１０４上のＣＧ映像Ｖ１に対して現実世界の対象物体１０５が重ねられるように位置付けられる。

現実世界の対象物体１０５は、ユーザ１０６のラジコン１０７に対する操作に応じてスクリーン１０４上を自在に動くことができるようになされており、そのとき複合現実表現システム１００ではスクリーン１０４上における現実世界の対象物体１０５の２次元的な位置や３次元的な姿勢（この場合は、動き）を磁気式又は光学式の計測装置１０８により動き情報Ｓ１として取得し、その動き情報Ｓ１をコンピュータ装置１０２の仮想空間構築部１０９へ送出する。

また、ユーザ１０６のラジコン１０７に対する操作に応じて例えば現実世界の対象物体１０５から仮想世界のＣＧ映像Ｖ１を通してミサイルやレーザを発射するとか、バリアーを展開するとか、或いは機雷を設置する等を行わせるための命令が出されると、当該ラジコン１０７からその命令に応じた制御信号Ｓ２がコンピュータ装置１０２の仮想空間構築部１０９へ送出される。

仮想空間構築部１０９は、スクリーン１０４上を動き回る現実世界の対象物体１０５に対応した仮想世界の対象物体モデルをコンピュータ装置１０２上で生成する対象物体モデル生成部１１０、ラジコン１０７からの制御信号Ｓ２に応じて現実世界の対象物体１０５に仮想世界のＣＧ映像Ｖ１を介して付与すべき仮想物体モデル（例えばミサイル、レーザ、バリアー及び機雷等）を生成する仮想物体モデル生成部１１１、スクリーン１０４に表示する背景画像を生成する背景画像生成部１１２、ユーザ１０６のラジコン操作に応じて動かす対象物体１０５に合わせて背景画像を変化させたり、対象物体１０５の動きに合わせて仮想物体モデルを付与する等の種々の物理計算を行う物理計算部１１３によって構成されている。

従って仮想空間構築部１０９は、物理計算部１１３により、現実世界の対象物体１０５から直接取得した動き情報Ｓ１に基づいて仮想世界の対象物体モデルをコンピュータ装置１０２が作る情報世界の中で仮想的に動かし、その動きに応じて変化させた背景画像や、対象物体モデルに付与する仮想物体モデル等のデータＤ１を映像信号生成部１１４へ送出する。

ここで背景画像の表示内容としては、現実世界の対象物体１０５の進行方向に合わせて矢印マークを表示したり、現実世界の対象物体１０５における画面上の動きに応じて周りの景色を変化させて表示することが考えられる。

映像信号生成部１１４は、背景画像及び仮想物体モデル等のデータＤ１を基に現実世界の対象物体１０５に対して背景画像を連動させ、かつ仮想物体モデルを付与するためのＣＧ映像信号Ｓ３を生成し、そのＣＧ映像信号Ｓ３に応じた仮想世界のＣＧ映像Ｖ１をプロジェクタ１０３からスクリーン１０４上に投影することにより、当該仮想世界のＣＧ映像Ｖ１と現実世界の対象物体１０５とをスクリーン１０４上で融合した擬似３次元空間からなる複合現実感をユーザに体感させ得るようになされている。

因みに、映像信号生成部１１４では、仮想世界のＣＧ映像Ｖ１をスクリーン１０４上に投影する際、現実世界の対象物体１０５における表面部分に対してＣＧ映像Ｖ１の一部が投影されてしまうことを回避するために、現実世界の対象物体１０５に対応する対象物体モデルの位置及び大きさに基づいて当該対象物体１０５に相当する箇所の映像だけを抜き取り、かつ対象物体１０５の周囲に影が付与されるようなＣＧ映像信号Ｓ３を生成するようになされている。

なお複合現実表現システム１００では、プロジェクタ１０３からスクリーン１０４上に投影した仮想世界のＣＧ映像Ｖ１と現実世界の対象物体１０５とが重ねられることにより形成される擬似３次元空間を、スクリーン１０４を肉眼で目視確認することが可能な全てのユーザ１０６に対して提供し得るようになされている。

その意味では対象物体主導型の複合現実表現システム１００は、いわゆるビデオシースルータイプというよりは、外界の光が直接ユーザ１０６に届く光学シースルータイプと呼ばれる範疇に属するものといえる。

（２−１−１）コンピュータ装置の構成
このような対象物体主導型の複合現実表現システム１００を実現するためのコンピュータ装置１０２としては、図１０に示すように、全体を統括制御するＣＰＵ(Central Processing Unit)１２１に対し、バス１２９を介してＲＯＭ(Read Only Memory)１２２、ＲＡＭ(Random Access Memory)１２３、ハードディスクドライブ１２４、映像信号生成部１１４、ＬＣＤ(Liquid Crystal Display)でなるディスプレイ１２５、動き情報Ｓ１や制御信号Ｓ２を受け取ったり、現実世界の対象物体１０５を動かすための動作命令を与えるインタフェース１２６及びキーボード等の入力部１２７が接続された構成を有し、ハードディスクドライブ１２４から読み出してＲＡＭ１２３上に展開した基本プログラム及び複合現実表現プログラムに従ってＣＰＵ１２１が所定の処理を実行することにより仮想空間構築部１０９をソフトウェア的に実現するようになされている。

（２−１−２）対象物体主導型の複合現実表現処理シーケンス
次に、対象物体主導型の複合現実表現システム１００において現実世界の対象物体１０５の動きに連動させて仮想世界のＣＧ映像Ｖ１を変化させる対象物体主導型の複合現実表現処理シーケンスについて説明する。

図１１に示すように、対象物体主導型の複合現実表現処理シーケンスでは、現実世界における処理の流れと、コンピュータ装置１０２が行う仮想世界の処理の流れに大きく分けることができ、それぞれの処理結果をスクリーン１０４上で融合するようになされている。

具体的に、ユーザ１０６はステップＳＰ１においてラジコン１０７に対する操作を行い、次のステップＳＰ２へ移る。この場合、スクリーン１０４上に載置された現実世界の対象物体１０５を移動させるための命令を与えたり、現実世界の対象物体１０５に仮想物体モデルとしてのミサイルやレーザーを付加するための命令を与える等の種々の操作が考えられる。

現実世界の対象物体１０５は、ステップＳＰ２においてラジコン１０７からの命令を受けてユーザのラジコン１０７に対する操作に応じた動作をスクリーン１０４上で実際に実行する。このとき計測装置１０８は、ステップＳＰ３において、スクリーン１０４上を実際に動いた現実世界の対象物体１０５の当該スクリーン１０４上における２次元的な位置や３次元的な姿勢を計測し、その動き情報Ｓ１を計測結果として仮想空間構築部１０９へ送出する。

一方、仮想空間構築部１０９では、ステップＳＰ４において、ユーザ１０６のラジコン操作に応じてラジコン１０７から供給された制御信号Ｓ２（図９）がスクリーン１０４上の２次元的な位置を示すものであった場合、当該制御信号Ｓ２に応じて仮想物体モデル生成部１１１により仮想世界の対象物体モデルを生成し、それを仮想空間上で２次元的に移動させる。

また仮想空間構築部１０９では、ステップＳＰ４において、ラジコン操作により供給された制御信号Ｓ２が３次元的な姿勢（動き）を示すものであった場合、当該制御信号Ｓ２に応じて仮想物体モデル生成部１１１により仮想世界の対象物体モデルを生成し、それを仮想空間上で３次元的に動かす。

続いて仮想空間構築部１０９は、ステップＳＰ５において、計測装置１０８から供給された動き情報Ｓ１を物理計算部１１３で読み込み、ステップＳＰ６において、動き情報Ｓ１を基に仮想世界上の対象物体モデルを動かすときの背景画像や、対象物体モデルに付与する仮想物体モデル等のデータＤ１を算出する。

そして仮想空間構築部１０９は、ステップＳＰ７において、物理計算部１１３における算出結果であるデータＤ１を仮想世界のＣＧ映像Ｖ１に反映させるように信号処理する。コンピュータ装置１０２の映像信号生成部１１４は、ステップＳＰ８において、ステップＳＰ７の反映結果として現実世界の対象物体１０５に連動させるようにしたＣＧ映像信号Ｓ３を生成し、当該ＣＧ映像信号Ｓ３をプロジェクタ１０３へ出力する。

プロジェクタ１０３は、ステップＳＰ９において、そのＣＧ映像信号Ｓ３に応じた図１２に示すような仮想世界のＣＧ映像Ｖ１をプロジェクタ１０３からスクリーン１０４上に投影する。この仮想世界のＣＧ映像Ｖ１は、森、ビルディング等の背景画像に現実世界の対象物体１０５を見かけ上融合させ、ユーザ１０６の遠隔操作による現実世界の対象物体１０５の動きを契機として当該現実世界の対象物体１０５（右側）から他のユーザが遠隔操作する現実世界の対象物体１０５（左側）へレーザビーム等の仮想物体モデルＶＭ１が付与された瞬間である。

従ってプロジェクタ１０３は、ユーザ１０６が遠隔操作する現実世界の対象物体１０５の動きに背景画像や仮想物体モデルを連動させた状態の仮想世界のＣＧ映像Ｖ１をスクリーン１０４上で現実世界の対象物体１０５にオーバーラップさせることにより、現実世界の対象物体１０５と仮想世界のＣＧ映像Ｖ１とをスクリーン１０４上でユーザに違和感を生じさせることがないように融合させ得るようになされている。

このとき現実世界の対象物体１０５は、スクリーン１０４上に仮想世界のＣＧ映像Ｖ１が投影された場合、当該現実世界の対象物体１０５における表面部分に対して仮想世界のＣＧ映像Ｖ１の一部が投影されてしまうことがなく、かつ現実世界の対象物体１０５の周囲に対して影１０５Ａが画像として付与されることになるため、現実世界の対象物体１０５と仮想世界のＣＧ映像Ｖ１とが融合することによって一段と臨場感に溢れた擬似３次元空間が構築される。

これによりユーザ１０６は、ステップＳＰ１０（図１１）において、スクリーン１０４上に表示された仮想世界のＣＧ映像Ｖ１と現実世界の対象物体１０５とが融合された擬似３次元空間を目視確認することにより、従来に比して一段と機能拡張された臨場感に溢れた複合現実感を体感することができるようになされている。

（２−１−３）対象物体主導型の複合現実表現システムにおける動作及び効果
以上の構成において、対象物体主導型の複合現実表現システム１００では、ユーザ１０６により実際に動かされた現実世界の対象物体１０５と連動した仮想世界のＣＧ映像Ｖ１をスクリーン１０４に投影することにより、当該現実世界の対象物体１０５と仮想世界のＣＧ映像Ｖ１とをスクリーン１０４上でオーバーラップさせる。

このように対象物体主導型の複合現実表現システム１００では、現実世界の対象物体１０５における動きに合わせた仮想世界のＣＧ映像Ｖ１をスクリーン１０４に投影することにより、現実世界の対象物体１０５における２次元的な位置の変化に合わせて動く背景画像や、また現実世界の対象物体１０５における３次元的な姿勢（動き）等に合わせて付与されたレーザ等の仮想物体モデルを介して、現実世界の対象物体１０５と仮想世界のＣＧ映像Ｖ１とを同一空間上で融合した擬似３次元空間を提供することができる。

これによりユーザ１０６は、現実世界の対象物体１０５をスクリーン１０４上でラジコン操作しながら動かしたときに、現実世界の対象物体１０５に連動した背景画像の変化や、付与される仮想物体モデルを目視確認することにより、従来のような２次元的な映像だけを用いたＭＲ(Mixed
Reality)技術による複合現実感よりも一段と臨場感に溢れた３次元的な複合現実感を体感することができる。

また対象物体主導型の複合現実表現システム１００では、現実世界の対象物体１０５における実際の動きに背景画像や仮想物体モデルを追従させた仮想世界のＣＧ映像Ｖ１を当該現実世界の対象物体１０５に対して重畳させることにより、現実世界と仮想世界との対話を具現化させることができ、従来よりもエンターテインメント性を一段と向上させることができる。

以上の構成によれば、対象物体主導型の複合現実表現システム１００では現実世界の対象物体１０５と、当該現実世界の対象物体１０５における実際の動きと連動した仮想世界のＣＧ映像Ｖ１とをスクリーン１０４上で混合させることにより、現実世界と仮想世界とを融合した擬似３次元空間を当該スクリーン１０４上で表現し、当該擬似３次元空間を介して従来よりも一段と臨場感に優れた複合現実空間をユーザ１０６に対して体感させることができる。

（２−２）仮想物体モデル主導型の複合現実表現システムにおける全体構成
図９との対応部分に同一符号を付して示す図１３において、２００は全体として仮想物体モデル主導型の複合現実表現システムを示し、コンピュータ装置１０２から供給される仮想世界のＣＧ映像Ｖ２をプロジェクタ１０３からスクリーン１０４上に投影する。

仮想世界のＣＧ映像Ｖ２が投影されたスクリーン１０４上には、ユーザ１０６が入力部１２７を介して間接的に遠隔操作するための現実世界の対象物体１０５が載置され、スクリーン１０４上のＣＧ映像Ｖ２に対して現実世界の対象物体１０５が重ねられるように位置付けられる。

この仮想物体モデル主導型の複合現実表現システム２００においても、コンピュータ装置１０２の具体的構成については、対象物体主導型の複合現実表現システム１００におけるコンピュータ装置１０２（図１０）と同一であるため、ここではその構成について説明を省略する。なお、基本プログラム及び複合現実表現プログラムに従ってＣＰＵ１２１が所定の処理を実行することにより仮想空間構築部１０９をソフトウェア的に実現する点についても対象物体主導型の複合現実表現システム１００におけるコンピュータ装置１０２と同様である。

仮想物体モデル主導型の複合現実表現システム２００では、対象物体主導型の複合現実表現システム１００とは異なり、ユーザ１０６が現実世界の対象物体１０５を直接動かすのではなく、当該現実世界の対象物体１０５に相当する仮想世界の対象物体モデルを介して間接的に現実世界の対象物体１０５を動かすようになされている。

すなわち仮想物体モデル主導型の複合現実表現システム２００では、入力部１２７に対するユーザ１０６の操作に応じて現実世界の対象物体１０５に相当する仮想世界の対象物体モデルをコンピュータ装置１０２上で仮想的に動かすことが可能であり、その対象物体モデルを動かすときの指令信号Ｓ１２を当該対象物体モデルにおける変化情報として仮想空間構築部１０９へ送出するようになされている。

すなわちコンピュータ装置１０２は、仮想空間構築部１０９の物理計算部１１３によりユーザ１０６からの指令信号Ｓ１２に応じて仮想世界の対象物体モデルを当該仮想的に動かし、その場合の仮想世界の対象物体モデルの動きに連動して背景画像を動かしたり、付与すべき仮想物体モデルを生成し、仮想世界の対象物体モデルの動きに連動して変化させた背景画像や、仮想世界の対象物体モデルに付与すべき仮想物体モデル等のデータＤ１を映像信号生成部１１４へ送出する。

このとき同時に仮想空間構築部１０９の物理計算部１１３では、仮想世界の中で動かした対象物体モデルの位置や動きに応じて生成した制御信号Ｓ１４を現実世界の対象物体１０５へ供給することによって、仮想世界の対象物体モデルの動きに現実世界の対象物体１０５を連動させながら動かし得るようになされている。

また、このとき映像信号生成部１１４は、背景画像及び仮想物体モデル等のデータＤ１を基にＣＧ映像信号Ｓ１３を生成し、そのＣＧ映像信号Ｓ１３に応じた仮想世界のＣＧ映像Ｖ２をプロジェクタ１０３からスクリーン１０４上に投影することにより、仮想世界の対象物体モデルに連動した動きを有する現実世界の対象物体１０５に合わせて背景画像を変化させかつ仮想物体モデルを付与することができるので、当該仮想世界のＣＧ映像Ｖ２と現実世界の対象物体１０５とを融合した擬似３次元空間からなる複合現実感をユーザに体感させ得るようになされている。

因みに、この場合の映像信号生成部１１４においても、仮想世界のＣＧ映像Ｖ２をスクリーン１０４上に投影する際、現実世界の対象物体１０５における表面部分に対して仮想世界のＣＧ映像Ｖ２の一部が投影されてしまうことを回避し得るために、現実世界の対象物体１０５に対応する仮想世界の対象物体モデルの位置及び大きさに基づいて当該対象物体モデルに相当する箇所の映像だけを抜き取り、かつ対象物体モデルの周囲に影が付与されたＣＧ映像信号Ｓ１３を生成するようになされている。

なお仮想物体モデル主導型の複合現実表現システム２００では、プロジェクタ１０３からスクリーン１０４上に投影した仮想世界のＣＧ映像Ｖ２と現実世界の対象物体１０５とが重ねられるようにして形成される擬似３次元空間を、スクリーン１０４を肉眼で目視確認することが可能な全てのユーザ１０６に対して提供し得るようになされており、対象物体主導型の複合現実表現システム１００と同様に外界の光が直接ユーザ１０６に届く光学シースルータイプと呼ばれる範疇に属するものである。

（２−２−１）仮想物体モデル主導型の複合現実表現処理シーケンス
次に、仮想物体モデル主導型の複合現実表現システム２００において仮想世界の対象物体モデルの動きに連動させて現実世界の対象物体１０５を実際に動かす仮想物体モデル主導型の複合現実表現処理シーケンスについて説明する。

図１４に示すように、仮想物体モデル主導型の複合現実表現処理シーケンスにおいても、現実世界における処理の流れと、コンピュータ装置１０２が行う仮想世界の処理の流れに大きく分けることができ、それぞれの処理結果をスクリーン１０４上で融合するようになされている。

具体的に、ユーザ１０６はステップＳＰ２１においてコンピュータ装置１０２の入力部１２７に対する操作を行い、次のステップＳＰ２２へ移る。この場合、現実世界の対象物体１０５ではなく、コンピュータ装置１０２が作り出す仮想世界に存在する対象物体モデルを移動又は動作させるための命令を与える種々の操作が考えられる。

仮想空間構築部１０９では、ステップＳＰ２２において、コンピュータ装置１０２の入力部１２７に対する入力操作に応じて仮想物体モデル生成部１１１により生成した仮想世界の対象物体モデルを動かす。

仮想空間構築部１０９は、ステップＳＰ２３において、物理計算部１１３により仮想世界の対象物体モデルの動きに合わせて変化させる背景画像や、当該対象物体モデルに付与する仮想物体モデル等のデータＤ１を算出し、かつ仮想世界の対象物体モデルの動きに合わせて現実世界の対象物体１０５をスクリーン１０４上で実際に動かすための制御信号Ｓ１４（図１３）を生成する。

そして仮想空間構築部１０９は、ステップＳＰ２４において、物理計算部１１３における算出結果であるデータＤ１及び制御信号Ｓ１４を仮想世界のＣＧ映像Ｖ２に反映させるように信号処理する。

そして映像信号生成部１１４は、ステップＳＰ２５において、その反映結果として仮想世界の対象物体モデルの動きに合わせたＣＧ映像信号Ｓ１３を生成し、当該ＣＧ映像信号Ｓ１３をプロジェクタ１０３へ出力する。

プロジェクタ１０３は、ステップＳＰ２６において、そのＣＧ映像信号Ｓ１３に基づいて、図１２に示したようなＣＧ映像Ｖ１と同様のＣＧ映像Ｖ２をプロジェクタ１０３からスクリーン１０４上に投影する。

仮想空間構築部１０９は、ステップＳＰ２７において、ステップＳＰ２３の物理計算部１１３により算出した制御信号Ｓ１４を現実世界の対象物体１０５へ供給する。現実世界の対象物体１０５は、ステップＳＰ２８において、仮想空間構築部１０９から供給された制御信号Ｓ１４に従ってスクリーン１０４上を移動したり、その姿勢（動き）を変化させることにより、ユーザ１０６の意図に従った動きを表現する。

従って仮想物体モデル主導型の複合現実表現システム２００においても、当該物理計算部１１３により仮想世界の対象物体モデルの位置や動きに応じて生成した制御信号Ｓ１４を現実世界の対象物体１０５へ供給することによって、仮想世界の対象物体モデルの動きに現実世界の対象物体１０５を連動させて動かし、かつ仮想世界の対象物体モデルの動きに連動して変化する仮想世界のＣＧ映像Ｖ２を現実世界の対象物体１０５にオーバーラップさせることができるので、対象物体主導型の複合現実表現システム１００と同様に、図１２に示したような擬似３次元空間を構築し得るようになされている。

このとき現実世界の対象物体１０５は、スクリーン１０４上に仮想世界のＣＧ映像Ｖ２が投影された場合に、当該現実世界の対象物体１０５における表面部分に対して仮想世界のＣＧ映像Ｖ２の一部が投影されてしまうことがなく、かつ現実世界の対象物体１０５の周囲に対して影が画像として付与されることになるため、現実世界の対象物体１０５と仮想世界のＣＧ映像Ｖ２とが融合することによって一段と臨場感の溢れた擬似３次元空間が構築される。

これによりユーザ１０６は、ステップＳＰ２９において、スクリーン１０４上に表示された仮想空間のＣＧ映像Ｖ２と現実世界の対象物体１０５とが融合された擬似３次元空間を目視確認することにより、従来に比して一段と機能拡張された臨場感に溢れた複合現実感を体感することができるようになされている。

（２−２−２）仮想物体モデル主導型の複合現実表現システムにおける動作及び効果
以上の構成において、仮想物体モデル主導型の複合現実表現システム２００では、ユーザ１０６により動かされた仮想世界の対象物体モデルに連動した仮想世界のＣＧ映像Ｖ２をスクリーン１０４上に投影すると共に、仮想世界の対象物体モデルにおける動きに合わせて現実世界の対象物体１０５を実際に動かすことができる。

このように仮想物体モデル主導型の複合現実表現システム２００では、現実世界の対象物体１０５に相当する仮想世界の対象物体モデルをユーザが動かしたことに連動して、現実世界の対象物体１０５及び仮想世界のＣＧ映像Ｖ２を変化させることにより、当該現実世界の対象物体１０５と仮想世界のＣＧ映像Ｖ２とを同一空間上で融合した擬似３次元空間を構築することができる。

これによりユーザ１０６は、現実世界の対象物体１０５を直接操作しなくても、仮想世界の対象物体モデルを入力部１２７により操作して動かしたことに連動させて現実世界の対象物体１０５を動かすと同時に、仮想世界の対象物体モデルの動きに連動したＣＧ映像Ｖ２を目視確認することができるので、従来のような２次元的な映像だけを用いたＭＲ技術による複合現実感よりも一段と臨場感に溢れた３次元的な複合現実感を体感することができる。

また仮想物体モデル主導型の複合現実表現システム２００では、仮想世界の対象物体モデルにおける動きに合わせて現実世界の対象物体１０５を実際に動かし、かつ仮想世界の対象物体モデルにおける動きに合わせて背景画像や仮想物体モデルを追従させた仮想世界のＣＧ映像Ｖ２を当該現実世界の対象物体１０５に対して重畳させることにより、現実世界と仮想世界との対話を具現化させることができ、従来よりもエンターテインメント性を一段と向上させることができる。

以上の構成によれば、仮想物体モデル主導型の複合現実表現システム２００では仮想世界の対象物体モデルを介して現実世界の対象物体１０５を間接的に動かし、その動きに連動した仮想世界のＣＧ映像Ｖ２と現実世界の対象物体１０５とをスクリーン１０４上で混合させることにより、現実世界と仮想世界とを融合した擬似３次元空間をスクリーン１０４上で表現し、当該擬似３次元空間を介して従来よりも一段と臨場感に優れた複合現実感をユーザ１０６に対して体感させることができる。

（２−３）適用対象
ところで対象物体主導型の複合現実表現システム１００及び仮想物体モデル主導型の複合現実表現システム２００においては、その適用対象として上述した現実世界の対象物体１０５を戦車等の模型に割り当てたゲーム装置に用いるようにした場合を一例として説明したが、それだけではなく種々の適用対象が考えられる。

（２−３−１）都市災害シミュレータへの適用例
具体的には、対象物体主導型の複合現実表現システム１００及び仮想物体モデル主導型の複合現実表現システム２００において、例えば現実世界の対象物体１０５に都市を構築するビルディング等の建築模型を割り当て、仮想空間構築部１０９の背景画像生成部１１２によって都市の背景画像を生成し、仮想物体モデル生成部１１１によって災害時に発生する火事の炎等を仮想物体モデルとして付与することによる仮想世界のＣＧ映像Ｖ１又はＶ２をスクリーン１０４上に投影することにより、都市災害シミュレータに適用することができる。

特に、この場合の対象物体主導型の複合現実表現システム１００及び仮想物体モデル主導型の複合現実表現システム２００では、現実世界の対象物体１０５である建築模型に計測装置１０８を埋め込み、ラジコン１０７の操作により建築模型に埋め込まれた偏心モータを介して揺れさせたり、動かしたり、ときには倒壊させることによって例えば地震を表現した場合、その現実世界の対象物体１０５の動きに合わせて変化する仮想世界のＣＧ映像Ｖ１又はＶ２を投影することにより地震の揺れ、火災、建物の倒壊といった状態変化を提示する。

このシミュレートした結果を基にコンピュータ装置１０２が、揺れの大きさに応じた破壊力の算出や、建物の強度計算、火災の広がりを予測し、その結果を仮想世界のＣＧ映像Ｖ１として投影しながら、現実世界の対象物体１０５である建築模型に対しても制御信号Ｓ１４によりフィードバックして現実世界の対象物体１０５を再度動かすことにより、ユーザ１０６に対して現実世界と仮想世界とにより融合される擬似３次元空間を視覚的に提示することができる。

（２−３−２）音楽ダンスゲームへの適用例
また対象物体主導型の複合現実表現システム１００及び仮想物体モデル主導型の複合現実表現システム２００においては、例えば現実世界の対象物体１０５に人間を割り当て、仮想世界のＣＧ映像Ｖ１又はＶ２を表示する対象としてディスコ或いはクラブ等のホールの床に敷き詰められた大型のディスプレイを用い、その大型のディスプレイの上を人間が踊るときの動きを、ディスプレイ表面に貼り付けられた透明電極を利用したタッチパネル等の感圧デバイスによりリアルタイムに取得し、その動き情報Ｓ１をコンピュータ装置１０２の仮想空間構築部１０９へ送出し、人間が踊る動きに対してリアルタイムに反応して変化する仮想世界のＣＧ映像Ｖ１又はＶ２を表示することにより、人間が実際に踊って楽しむことができる音楽ダンスゲーム装置に適用することができる。

これによりユーザ１０６は、人間が踊る動きに連動して変化する仮想世界のＣＧ映像Ｖ１又はＶ２を介して提供される擬似３次元空間を介して、一段と臨場感に溢れかつ仮想世界のＣＧ映像Ｖ１又はＶ２の中で実際に踊っているかのような感覚を体感することができる。

なお、このときユーザ１０６の好みの色やキャラクターを決めてもらい、ユーザ１０６が踊っている最中にその動きに連動してキャラクターがユーザ１０６の影のようになって一緒に踊るような仮想世界のＣＧ映像Ｖ１又はＶ２を仮想空間構築部１０９により生成して表示することや、ユーザ１０６の血液型や年齢、星座等のユーザ１０６の好みによって選択される項目に合わせて仮想世界のＣＧ映像Ｖ１又はＶ２の具体的内容を決定することも可能であり、種々のバリエーションを展開することができる。

（２−４）変形例
なお上述の対象物体主導型の複合現実表現システム１００及び仮想物体モデル主導型の複合現実表現システム２００においては、現実世界の対象物体１０５として戦車の模型を用いるようにした場合について述べたが、本発明はこれに限らず、現実世界の対象物体１０５として人間や動物を用いて、その人間や動物における実際の動きに合わせてスクリーン１０４上の仮想世界のＣＧ映像Ｖ１、Ｖ２を変化させることにより擬似３次元空間からなる複合現実感を提供するようにしても良い。

また上述の対象物体主導型の複合現実表現システム１００及び仮想物体モデル主導型の複合現実表現システム２００においては、現実世界の対象物体１０５の２次元的な位置や３次元的な姿勢（動き）を磁気式又は光学式の計測装置１０８により動き情報Ｓ１として取得し、その動き情報Ｓ１をコンピュータ装置１０２の仮想空間構築部１０９へ送出するようにした場合について述べてが、本発明はこれに限らず、図９との対応部分に同一符号を付した図１５に示すように、磁気式又は光学式の計測装置１０８を用いるのではなく、スクリーン１０４上に位置する現実世界の対象物体１０５を計測カメラ１３０によって一定時間間隔毎に順次撮像することにより、連続する２枚の画像を比較して現実世界の対象物体１０５におけるスクリーン１０４上の２次元的な位置や姿勢（動き）等の動き情報Ｓ１を判知するようにしても良い。

さらに上述の対象物体主導型の複合現実表現システム１００及び仮想物体モデル主導型の複合現実表現システム２００においては、現実世界の対象物体１０５の２次元的な位置や３次元的な姿勢（動き）を磁気式又は光学式の計測装置１０８によって動き情報Ｓ１として取得し、その動き情報Ｓ１をコンピュータ装置１０２の仮想空間構築部１０９へ送出するようにした場合について述べたが、本発明はこれに限らず、スクリーン１０４の代わりのディスプレイにＣＧ映像信号Ｓ３及びＳ１３に基づく仮想世界のＣＧ映像Ｖ１及びＶ２を表示し、その上に重ねるように現実世界の対象物体１０５を載置させると共に、ディスプレイの表面に貼り付けられた透明電極を利用したタッチパネル等の感圧デバイスにより現実世界の対象物体１０５に関する動きの変化を動き情報Ｓ１としてリアルタイムに取得し、その動き情報Ｓ１をコンピュータ装置１０２の仮想空間構築部１０９へ送出するようにしても良い。

さらに上述の対象物体主導型の複合現実表現システム１００及び仮想物体モデル主導型の複合現実表現システム２００においては、スクリーン１０４を用いるようにした場合について述べたが、本発明はこれに限らず、ＣＲＴ(Cathode Ray Tube Display)、ＬＣＤ(Liquid Crystal Display)、複数の表示素子の集合体であるジャンボトロン（登録商標）のような大型スクリーンディスプレイ等の種々の表示手段を用いるようにしても良い。

さらに上述の対象物体主導型の複合現実表現システム１００及び仮想物体モデル主導型の複合現実表現システム２００においては、スクリーン１０４に上方向からプロジェクタ１０３によって仮想世界のＣＧ映像Ｖ１及びＶ２を投影するようにした場合について述べたが、本発明はこれに限らず、下方向からプロジェクタ１０３によって仮想世界のＣＧ映像Ｖ１及びＶ２をスクリーン１０４に投影したり、又はプロジェクタ１０３から投影される仮想世界のＣＧ映像Ｖ１及びＶ２をハーフミラーを介して現実世界の対象物体１０５の前面側もしくは背面側に虚像として投影するようにしても良い。

具体的には図９との対応部分に同一符号を付した図１６に示すように、対象物体主導型の複合現実表現システム１５０ではコンピュータ装置１０２の映像信号生成部１１４から出力されるＣＧ映像信号Ｓ３に基づく仮想世界のＣＧ映像Ｖ１をハーフミラー１５１を介して現実世界の対象物体１０５の前面又は背面（図示せず）に虚像として投影し、当該現実世界の対象物体１０５の動きをハーフミラー１５１を介して計測カメラ１３０で取り込むことにより取得した動き情報Ｓ１をコンピュータ装置１０２の仮想空間構築部１０９へ送出する。

これにより対象物体主導型の複合現実表現システム１５０は、現実世界の対象物体１０５における実際の動きに連動したＣＧ映像信号Ｓ３を仮想空間構築部１０９にて生成し、そのＣＧ映像信号Ｓ３に応じた仮想世界のＣＧ映像Ｖ１をプロジェクタ１０３及びハーフミラー１５１を介して現実世界の対象物体１０５に重ねて投影することができるので、この場合にも現実世界の対象物体１０５と仮想世界のＣＧ映像Ｖ１とを同一空間上で融合した擬似３次元空間を構築し、当該擬似３次元空間を介して一段と臨場感に溢れた複合現実感をユーザ１０６に体感させることができる。

さらに上述した仮想物体モデル主導型の複合現実表現システム２００においては、ユーザ１０６が入力部１２７を操作することにより仮想世界の対象物体モデルを介して現実世界の対象物体１０５を間接的に動かすようにした場合について述べたが、本発明はこれに限らず、仮想世界の対象物体モデルを介して現実世界の対象物体１０５を動かすのではなく、例えばディスプレイ１２５上に現実世界の対象物体１０５が載置され、入力部１２７を操作することにより当該現実世界の対象物体１０５を移動させるための指示情報をディスプレイ１２５上に表示させ、その指示情報を現実世界の対象物体１０５に追従させることにより動かすようにしても良い。

具体的には図１７に示すように、ディスプレイ１２５上に載置された現実世界の対象物体１０５の真下に、コンピュータ装置１０２が表示する仮想世界のＣＧ映像Ｖ２の絵柄とは無関係の例えば市松模様でなる４画素構成の指示情報Ｓ１０を入力部１２７からの命令に合わせて所定時間間隔毎に矢印方向へ順次動かして表示する。

現実世界の対象物体１０５には、ディスプレイ１２５上で所定時間間隔毎に順次動きながら表示される指示情報Ｓ１０を検出可能なセンサが対象物体１０５の下面に設けられており、そのセンサによってディスプレイ１２５上の指示情報Ｓ１０を変化情報として検出し、その指示情報Ｓ１０を追従させるようにする。

これにより、コンピュータ装置１０２は、仮想世界の対象物体モデルを動かすことにより現実世界の対象物体１０５を間接的に動かすのではなく、ディスプレイ１２５上の指示情報Ｓ１０を指定することにより現実世界の対象物体１０５を動かすことができる。

さらに上述した仮想物体モデル主導型の複合現実表現システム２００においては、入力部１２７を操作することにより得られた指令信号Ｓ１２を仮想空間構築部１０９へ出力することにより仮想世界の対象物体モデルを介して現実世界の対象物体１０５を間接的に動かすようにした場合について述べたが、本発明はこれに限らず、カメラを介してスクリーン１０４上に投影された仮想世界のＣＧ映像Ｖ２を撮像し、その撮像結果に基づいて現実世界の対象物体１０５に制御信号Ｓ１４を供給することにより、当該現実世界の対象物体１０５を動かして仮想世界のＣＧ映像Ｖ２と連動させるようにしても良い。

さらに上述の対象物体主導型の複合現実表現システム１００及び仮想物体モデル主導型の複合現実表現システム２００においては、現実世界の対象物体１０５の状況を判知した結果の状況判知として、現実世界の対象物体１０５の２次元的な位置や３次元的な姿勢（動き）を示す動き情報Ｓ１を取得するようにした場合について述べたが、本発明はこれに限らず、例えば現実世界の対象物体１０５がロボットであるときには当該ロボットの表情の変化についても状況判知として取得し、表情の変化に仮想世界のＣＧ映像Ｖ１を連動させて変化させるようにしても良い。

さらに上述の対象物体主導型の複合現実表現システム１００及び仮想物体モデル主導型の複合現実表現システム２００においては、現実世界の対象物体１０５に対する実際の動きに連動して背景画像を変化させたり、仮想物体モデルを付与した仮想世界のＣＧ映像Ｖ１及びＶ２を生成するようにした場合について述べたが、本発明はこれに限らず、現実世界の対象物体１０５に対する実際の動きに連動して背景画像だけを変化させたり、或いは仮想物体モデルだけを付与するようにした仮想世界のＣＧ映像Ｖ１及びＶ２を生成するようにしても良い。

さらに上述の対象物体主導型の複合現実表現システム１００及び仮想物体モデル主導型の複合現実表現システム２００においては、ユーザ１０６が遠隔操作する現実世界の対象物体１０５と仮想世界のＣＧ映像Ｖ１及びＶ２との関係について述べたが、本発明はこれに限らず、ユーザ１０６が有する現実世界の対象物体１０５と他人が有する現実世界の対象物体１０５との関係において、両者が衝突したようなときに衝突したことを検出できるようにセンサを搭載しておき、衝突判定の結果として衝突したことを認識したときには、そのことをトリガーとして現実世界の対象物体１０５に制御信号Ｓ１４を出力して振動させたり、仮想世界のＣＧ映像Ｖ１及びＶ２を変化させるようにしても良い。

さらに上述の対象物体主導型の複合現実表現システム１００においては、現実世界の対象物体１０５における動き情報Ｓ１に連動させて仮想世界のＣＧ映像Ｖ１を変化させるようにした場合について述べたが、本発明はこれに限らず、現実世界の対象物体１０５に取り付け又は取り外し可能なパーツの装着状態又は非装着状態を検出し、その検出結果に連動させて仮想世界のＣＧ映像Ｖ１を変化させるようにしても良い。

（３）位置検出原理を応用した具体的な複合現実提供システム
上述したように、ここまでの説明では、対象物体主導型の複合現実表現システム１００及び仮想物体モデル主導型の複合現実表現システム２００を通して、現実世界の対象物体１０５と、仮想世界のＣＧ映像Ｖ１、Ｖ２とを同一空間上で融合した擬似３次元空間を構築し、３次元的な複合現実感を表現するための基本概念について詳述したが、（１）の位置検出原理を基本的な考え方として応用した一層具体的な複合現実提供システムについて、２通り説明する。

（３−１）上面照射型の複合現実提供システム
図１８に示すように上面照射型の複合現実提供システム３００では、スクリーン３０１に対して自動車形状ロボット３０４が載置された状態で、ノートＰＣ３０２によって生成された特殊マーカー画像付きＣＧ映像Ｖ１０をプロジェクタ３０３経由で当該スクリーン３０１に対して投影させるようになされている。

この特殊マーカー画像付きＣＧ映像Ｖ１０は、図１９に示すように、そのほぼ中央部分に上述した特殊マーカー画像ＭＫＺ（図７）が配置され、周囲にはビル等の背景画像が配置されており、スクリーン３０１のほぼ中央に自動車形状ロボット３０４が載置された場合、当該自動車形状ロボット３０４の上面に相当する背中部分に特殊マーカー画像ＭＫＺが投影されるようになされている。

図２０に示すように自動車形状ロボット３０４は、自動車形状ロボット３（図２）と同様に、略直方体形状でなる本体部３０４Ａの左右両側に４個の車輪が設けられていると共に、前面部には物を掴むためのアーム部３０４Ｂが設けられた構造を有しており、その背中部分に投影される特殊マーカー画像ＭＫＺに追従してスクリーン３０１上を移動し得るようになされている。

また自動車形状ロボット３０４は、その背中部分の所定位置に、特殊マーカー画像付きＣＧ映像Ｖ１０の特殊マーカー画像ＭＫＺと対応付けられた５個のフォトトランジスタでなるセンサＳＲ１〜ＳＲ５が設けられており、センサＳＲ１及びＳＲ２が本体部３０４Ａの先端側及び後端側に配置されると共に、センサＳＲ３及びＳＲ４が本体部３０４Ａの左右両側に配置され、センサＳＲ５が本体部３０４Ａのほぼ中心に配置されている。

従って自動車形状ロボット３０４は、その背中部分のセンサＳＲ１〜ＳＲ５が、図７に示したように、特殊マーカー画像ＭＫＺにおける位置検出領域ＰＤ１Ａ、ＰＤ２Ａ、ＰＤ３及びＰＤ４の中心に位置しているニュートラル状態を基本として、特殊マーカー画像付きＣＧ映像Ｖ１０のフレーム又はフィールドが更新される度に特殊マーカー画像ＭＫＺの位置が動いていくと、図８（Ａ）及び（Ｂ）に示したように、センサＳＲ１〜センサＳＲ４の輝度レベルが変化し、その輝度レベル変化に基づいて特殊マーカー画像ＭＫＺと当該自動車形状ロボット３０４との相対的位置変化を算出するようになされている。

そして自動車形状ロボット３０４は、特殊マーカー画像ＭＫＺと当該自動車形状ロボット３０４との相対的位置変化を「０」にするように当該自動車形状ロボット３０４が進行すべき方向及び座標を算出し、その算出結果に従ってスクリーン３０１上を移動するようになされている。

ここでノートＰＣ３０２は、図２１に示すように、ＣＰＵ(Central Processing Unit)３１０が全体を統括制御し、ノースブリッジ３１１経由でメモリ３１２から読み出した基本プログラム及び複合現実提供プログラム等のアプリケーションプログラムに従って上述した特殊マーカー画像付きＣＧ映像Ｖ１０をＧＰＵ(Graphical Processing Unit)３１４によって生成させ得るようになされている。

またノートＰＣ３０２のＣＰＵ３１０は、コントローラ３１３を介してユーザの入力操作をノースブリッジ３１１経由で受け付け、それが例えば特殊マーカー画像ＭＫＺを動かすための方向及び量を意味するものであった場合、その入力操作に応じて特殊マーカー画像ＭＫＺを画面中央から所定方向へ所定量だけ動かした特殊マーカー画像付きＣＧ映像Ｖ１０を生成するための命令をＧＰＵ３１４へ供給する。

なおノートＰＣ３０２のＣＰＵ３１０は、コントローラ３１３を介してユーザの入力操作を受け付けたとき以外で、一連のシーケンスのなかで特殊マーカー画像ＭＫＺを動かすための方向及び量を意味するプログラムを読み出したときにも、当該特殊マーカー画像ＭＫＺを画面中央から所定方向へ所定量だけ動かした特殊マーカー画像付きＣＧ映像Ｖ１０を生成するための命令をＧＰＵ３１４へ供給する。

ＧＰＵ３１４は、ＣＰＵ３１０から供給された命令に従って特殊マーカー画像ＭＫＺを画面中央から所定方向へ所定量だけ動かした特殊マーカー画像付きＣＧ映像Ｖ１０を生成し、これをプロジェクタ３０３経由でスクリーン３０１上に投影するようになされている。

一方、自動車形状ロボット３０４は、図２２に示すように、その背中部分に設けられたセンサＳＲ１〜ＳＲ５によって特殊マーカー画像ＭＫＺの輝度レベルを当該センサＳＲ１〜ＳＲ５のサンプリング周波数に従って常時検出しており、その輝度レベル情報をアナログディジタル変換回路３２２へ送出する。

アナログディジタル変換回路３２２は、センサＳＲ１〜ＳＲ５からそれぞれ供給されるアナログの輝度レベル情報をディジタルの輝度レベルデータに変換し、これをＭＣＵ(Micro computer Unit)３２１へ供給する。

ＭＣＵ３２１は、上述した（１）式に従ってｘ方向のずれｄｘ、（２）式に従ってｙ方向のずれｄｙ、（６）式に従って旋回角度ｄθを求めることが出来るので、ずれｄｘ、ｄｙ及び旋回角度ｄθを「０」にするための駆動信号を生成し、それをモータドライバ３２３及び３２４経由で車輪用モータ３２５〜３２８へ送出することにより、本体部３０４Ａの左右両側に設けられた４個の車輪を所定方向へ所定量だけ回転させるようになされている。

因みに自動車形状ロボット３０４は、ワイヤレスＬＡＮ(Local Area Net-work)ユニット３２９を搭載しており、ノートＰＣ３０２のＬＡＮカード３１６（図２１）との間で無線通信することができるようになされている。従って自動車形状ロボット３０４は、ＭＣＵ３２１によって算出したｘ方向のずれｄｘ、ｙ方向のずれｄｙ、旋回角度ｄθに基づく現在位置及び向き（姿勢）をワイヤレスＬＡＮユニット３２９によりノートＰＣ３０２へ無線送信することが可能である。

ノートＰＣ３０２（図２１）では、自動車形状ロボット３０４から無線送信されてきた現在位置を２次元座標値としてＬＣＤ３１５に数値表示し、自動車形状ロボット３０４の向き（姿勢）を表すベクトルをＬＣＤ３１５にアイコン表示することにより、ユーザのコントローラ３１３に対する入力操作に応じて移動させた特殊マーカー画像ＭＫＺに自動車形状ロボット３０４が正確に追従してきているか否かを視覚的に目視確認させ得るようになされている。

またノートＰＣ３０２は、図２３に示すように特殊マーカー画像ＭＫＺの中心部分に所定径でなる点滅領域Ｑ１を設けた特殊マーカー画像付きＣＧ映像Ｖ１０をスクリーン３０１上に投影し得るようになされており、この点滅領域Ｑ１を所定周波数で点滅させることによりコントローラ３１３を介してユーザによって入力された命令を光変調信号として自動車形状ロボット３０４へ光通信するようになされている。

このとき自動車形状ロボット３０４のＭＣＵ３２１は、特殊マーカー画像付きＣＧ映像Ｖ１０の特殊マーカー画像ＭＫＺにおける点滅領域Ｑ１の輝度レベル変化を当該自動車形状ロボット３０４の背中部分に設けられたセンサＳＲ５によって検出し得るようになされており、その輝度レベル変化に基づいてノートＰＣ３０２からの命令を認識し得るようになされている。

例えば、ノートＰＣ３０２からの命令が自動車形状ロボット３０４のアーム部３０４Ｂを動作させることを意味するものであった場合、当該自動車形状ロボット３０４のＭＣＵ３２１は、その命令に応じたモータ制御信号を生成してサーボモータ３３０及び３３１（図２２）を駆動することによりアーム部３０４Ｂを動作させるようになされている。

実際上、自動車形状ロボット３０４はノートＰＣ３０２からの命令に従ってアーム部３０４Ｂを動作させることにより、図２４に示すように、例えばその目前にある缶をアーム部３０４Ｂによって保持することが可能となる。

すなわちノートＰＣ３０２は、特殊マーカー画像付きＣＧ映像Ｖ１０における特殊マーカー画像ＭＫＺを介してスクリーン３０１上の自動車形状ロボット３０４を間接的に移動制御し得ると共に、当該特殊マーカー画像ＭＫＺの点滅領域Ｑ１を介して自動車形状ロボット３０４の動作をも間接的に制御し得るようになされている。

因みにノートＰＣ３０２のＣＰＵ３１０は、ＬＡＮカード３１６を介して自動車形状ロボット３０４へ無線通信することにより、特殊マーカー画像ＭＫＺを介することなく、当該自動車形状ロボット３０４の移動及び動作を直接コントロールすることも可能であり、また上述の位置検出原理を用いて自動車形状ロボット３０４のスクリーン３０１上の現在位置を検出することも可能である。

さらにノートＰＣ３０２では、自動車形状ロボット３０４から無線送信されてきた現在位置を認識し、かつ特殊マーカー画像付きＣＧ映像Ｖ１０の表示内容についても認識しているため、例えば特殊マーカー画像付きＣＧ映像Ｖ１０の表示内容として映し出されているビル等の障害物と、自動車形状ロボット３０４とがスクリーン３０１の座標上で衝突したと判断した場合、特殊マーカー画像ＭＫＺの動きを停止すると共に、当該特殊マーカー画像ＭＫＺの点滅領域Ｑ１を介して自動車形状ロボット３０４に振動を生じさせる命令を供給し得るようになされている。

これにより自動車形状ロボット３０４のＭＣＵ３２１は、特殊マーカー画像ＭＫＺの動きの停止に併せて移動を停止すると共に、特殊マーカー画像ＭＫＺの点滅領域Ｑ１を介して供給された命令に応じて内部モータを動作させることにより、本体部３０４Ａに振動を生じさせ、あたかも特殊マーカー画像付きＣＧ映像Ｖ１０に映し出されたビル等の障害物に自動車形状ロボット３０４が衝突して衝撃を受けたかのような印象をユーザに与え、現実世界の自動車形状ロボット３０４と仮想世界の特殊マーカー画像付きＣＧ映像Ｖ１０とを同一空間上で融合した擬似３次元空間を構築することができる。

その結果ユーザは、現実世界の自動車形状ロボット３０４を直接操作しなくても、仮想世界の特殊マーカー画像付きＣＧ映像Ｖ１０における特殊マーカー画像ＭＫＺを介して自動車形状ロボット３０４を間接的に移動制御することができると同時に、特殊マーカー画像付きＣＧ映像Ｖ１０の表示内容と自動車形状ロボット３０４とを擬似的に融合した一段と臨場感に溢れた３次元的な複合現実感を体感することができる。

なお上面照射型の複合現実提供システム３００では、プロジェクタ３０３により特殊マーカー画像付きＣＧ映像Ｖ１０の特殊マーカー画像ＭＫＺを自動車形状ロボット３０４の背中部分に投射するようになされているため、プロジェクタ３０３により特殊マーカー画像ＭＫＺを自動車形状ロボット３０４の背中部分に投影することが出来れば、特殊マーカー画像ＭＫＺの動きに伴って自動車形状ロボット３０４を移動させる際の場所を選ばず、床や道路の上で自動車形状ロボット３０４を移動制御することもできる。

例えば、上面照射型の複合現実提供システム３００では、仮に壁掛け式のスクリーン３０１を用いた場合、壁掛け式スクリーン３０１の背後に設けられた金属板と、自動車形状ロボット３０４の底面に設けられた磁石とを介して、壁掛け式スクリーン３０１上に自動車形状ロボット３０４を載置させ、特殊マーカー画像付きＣＧ映像Ｖ１０の特殊マーカー画像ＭＫＺを介して当該自動車形状ロボット３０４を間接的に移動制御することも可能である。

（３−２）下面照射型の複合現実提供システム
上述の上面照射型の複合現実提供システム３００（図１８）とは逆に、図１及び図１８との対応部分に同一符号を付した図２５に示すように、下面照射型の複合現実提供システム４００では、大型ＬＣＤ４０１の画面上に自動車形状ロボット３が載置された状態で、ノートＰＣ３０２によって生成された特殊マーカー画像付きＣＧ映像Ｖ１０を当該大型ＬＣＤ４０１に自動車形状ロボット３の下方から表示させるようになされている。

この特殊マーカー画像付きＣＧ映像Ｖ１０は、図１９に示したように、そのほぼ中央部分に上述した特殊マーカー画像ＭＫＺが配置され、周囲にはビル等の背景画像が配置されており、大型ＬＣＤ４０１のほぼ中央に自動車形状ロボット３が載置された場合、当該自動車形状ロボット３の底面部分と特殊マーカー画像ＭＫＺとが対向するようになされている。

ここで自動車形状ロボット３の構造としては、上述した図２に示した通りであるため、その説明については省略するが、大型ＬＣＤ４０１に表示された特殊マーカー画像付きＣＧ映像Ｖ１０の特殊マーカー画像ＭＫＺ（図７）における位置検出領域ＰＤ１Ａ、ＰＤ２Ａ、ＰＤ３及びＰＤ４の中心にセンサＳＲ１〜ＳＲ４が位置しているニュートラル状態を基本として、特殊マーカー画像付きＣＧ映像Ｖ１０のフレーム又はフィールドが更新される度に特殊マーカー画像ＭＫＺの位置が少しずつ動いていくと、図８（Ａ）及び（Ｂ）に示したように、センサＳＲ１〜センサＳＲ４の輝度レベルが変化し、その輝度レベル変化に基づいて特殊マーカー画像ＭＫＺと当該自動車形状ロボット３との相対的位置変化を算出する。

そして自動車形状ロボット３は、特殊マーカー画像ＭＫＺと当該自動車形状ロボット３との相対的位置変化を「０」にするように当該自動車形状ロボット３が進行すべき方向及び座標を算出し、その算出結果に従って大型ＬＣＤ４０１上を移動するようになされている。

ここでノートＰＣ３０２（図２１）のＣＰＵ３１０は、コントローラ３１３及びノースブリッジ３１１経由で受け付けたユーザの入力操作が特殊マーカー画像ＭＫＺを動かすための方向及び量を意味するものであった場合、その入力操作に応じて特殊マーカー画像ＭＫＺを画面中央から所定方向へ所定量だけ動かした特殊マーカー画像付きＣＧ映像Ｖ１０を生成するための命令をＧＰＵ３１４へ供給する。

この場合もノートＰＣ３０２のＣＰＵ３１０は、コントローラ３１３を介してユーザの入力操作を受け付けたとき以外で、一連のシーケンスのなかで特殊マーカー画像ＭＫＺを動かすための方向及び量を意味するプログラムを読み出したときにも、当該特殊マーカー画像ＭＫＺを画面中央から所定方向へ所定量だけ動かした特殊マーカー画像付きＣＧ映像Ｖ１０を生成するための命令をＧＰＵ３１４へ供給する。

ＧＰＵ３１４は、ＣＰＵ３１０から供給された命令に従って特殊マーカー画像ＭＫＺを画面中央から所定方向へ所定量だけ動かした特殊マーカー画像付きＣＧ映像Ｖ１０を生成し、これを大型ＬＣＤ４０１に表示するようになされている。

一方、自動車形状ロボット３は、底面部分に設けられたセンサＳＲ１〜ＳＲ５によって特殊マーカー画像ＭＫＺの輝度レベルを所定のサンプリング周波数に従って常時検出しており、その輝度レベル情報をアナログディジタル変換回路３２２へ送出する。

アナログディジタル変換回路３２２は、センサＳＲ１〜ＳＲ５からそれぞれ供給されるアナログの輝度レベル情報をディジタルの輝度レベルデータに変換し、これをＭＣＵ３２１へ供給する。

ＭＣＵ３２１は、上述した（１）式に従ってｘ方向のずれｄｘ、（２）式に従ってｙ方向のずれｄｙ、（６）式に従って旋回角度ｄθを求めることが出来るので、ずれｄｘ、ｄｙ及び旋回角度ｄθを「０」にするための駆動信号を生成し、それをモータドライバ３２３及び３２４経由で車輪用モータ３２５〜３２８へ送出することにより、本体部３Ａの左右両側に設けられた４個の車輪を所定方向へ所定量だけ回転させるようになされている。

この自動車形状ロボット３の場合も、ワイヤレスＬＡＮユニット３２９を搭載しており、ノートＰＣ３０２との間で無線通信し得、ＭＣＵ３２１によって算出したｘ方向のずれｄｘ、ｙ方向のずれｄｙ、旋回角度ｄθに基づく現在位置及び向き（姿勢）をノートＰＣ３０２へ無線送信し得るようになされている。

これによりノートＰＣ３０２（図２１）では、自動車形状ロボット３から無線送信されてきた現在位置を２次元座標値としてＬＣＤ３１５に数値表示し、自動車形状ロボット３の向き（姿勢）を表したベクトルをＬＣＤ３１５にアイコン表示することにより、ユーザのコントローラ３１３に対する入力操作に応じて移動させた特殊マーカー画像ＭＫＺに自動車形状ロボット３が正確に追従してきているか否かを視覚的に目視確認させ得るようになされている。

またノートＰＣ３０２は、図２３に示したように特殊マーカー画像ＭＫＺの中心部分に所定径でなる点滅領域Ｑ１を設けた特殊マーカー画像付きＣＧ映像Ｖ１０を大型ＬＣＤ４０１に表示し得るようになされており、この点滅領域Ｑ１を所定周波数で点滅させることによりコントローラ３１３を介してユーザによって入力された命令を光変調信号として自動車形状ロボット３へ光通信するようになされている。

このとき自動車形状ロボット３のＭＣＵ３２１は、特殊マーカー画像付きＣＧ映像Ｖ１０の特殊マーカー画像ＭＫＺにおける点滅領域Ｑ１の輝度レベル変化を当該自動車形状ロボット３の底面に設けられたセンサＳＲ５によって検出し得るようになされており、その輝度レベル変化に基づいてノートＰＣ３０２からの命令を認識し得るようになされている。

例えば、ノートＰＣ３０２からの命令が自動車形状ロボット３のアーム部３Ｂを動作させることを意味するものであった場合、当該自動車形状ロボット３のＭＣＵ３２１は、その命令に応じたモータ制御信号を生成してサーボモータ３３０及び３３１を駆動することによりアーム部３Ｂを動作させるようになされている。

実際上、自動車形状ロボット３はノートＰＣ３０２からの命令に従ってアーム部３Ｂを動作させることにより、例えばその目前にある缶をアーム部３Ｂにより保持することができる。

すなわちノートＰＣ３０２は、自動車形状ロボット３を特殊マーカー画像付きＣＧ映像Ｖ１０の特殊マーカー画像ＭＫＺを介して大型ＬＣＤ４０１上を間接的に移動制御し得ると共に、特殊マーカー画像ＭＫＺの点滅領域Ｑ１を介して自動車形状ロボット３の動作をも間接的に制御し得るようになされている。

さらにノートＰＣ３０２では、自動車形状ロボット３から無線送信されてきた現在位置を認識し、かつ特殊マーカー画像付きＣＧ映像Ｖ１０の表示内容についても認識しているため、例えば特殊マーカー画像付きＣＧ映像Ｖ１０の表示内容として映し出されているビル等の障害物と、自動車形状ロボット３とが大型ＬＣＤ４０１の画面の座標上で衝突したと判断した場合、特殊マーカー画像ＭＫＺの動きを停止すると共に、当該特殊マーカー画像ＭＫＺの点滅領域Ｑ１を介して自動車形状ロボット３に振動を生じさせる命令を供給するようになされている。

これにより自動車形状ロボット３のＭＣＵ３２１は、特殊マーカー画像ＭＫＺの動きの停止に併せて移動を停止すると共に、特殊マーカー画像ＭＫＺの点滅領域Ｑ１を介して供給された命令に応じて内部モータを動作させることにより、本体部３Ａに振動を生じさせ、あたかも特殊マーカー画像付きＣＧ映像Ｖ１０に映し出されたビル等の障害物に自動車形状ロボット３が衝突して衝撃を受けたかのような印象をユーザに与え、現実世界の自動車形状ロボット３と仮想世界の特殊マーカー画像付きＣＧ映像Ｖ１０とを同一空間上で融合した擬似３次元空間を構築することができる。

その結果ユーザは、現実世界の自動車形状ロボット３を直接操作しなくても、仮想世界の特殊マーカー画像付きＣＧ映像Ｖ１０における特殊マーカー画像ＭＫＺを介して自動車形状ロボット３を間接的に移動制御することができると同時に、特殊マーカー画像付きＣＧ映像Ｖ１０の表示内容と自動車形状ロボット３とを擬似的に融合した一段と臨場感に溢れた３次元的な複合現実感を体感することができる。

なお下面照射型の複合現実提供システム４００では、上面照射型の複合現実提供システム３００とは異なり、大型ＬＣＤ４０１に対して特殊マーカー画像付きＣＧ映像Ｖ１０を直接表示し、特殊マーカー画像ＭＫＺと自動車形状ロボット３の底面とを対向させるように載置していることにより、特殊マーカー画像ＭＫＺが自動車形状ロボット３の本体部３Ａによって遮られて環境光による影響を受けずに済み、高精度に自動車形状ロボット３を特殊マーカー画像ＭＫＺに追従させ得るようになされている。

（４）本実施の形態における動作及び効果
以上の構成において、上述した位置検出原理を用いた位置検出装置としてのノートＰＣ１（図１）では、液晶ディスプレイ２の画面上に載置された自動車形状ロボット３と対向するように基本マーカー画像ＭＫ又は特殊マーカー画像ＭＫＺを表示し、移動中の自動車形状ロボット３のセンサＳＲ１〜ＳＲ５によって検出された基本マーカー画像ＭＫ又は特殊マーカー画像ＭＫＺに対する輝度レベル変化に基づいて自動車形状ロボット３の現在位置を算出することができる。

そのときノートＰＣ１は、移動後の自動車形状ロボット３の現在位置と基本マーカー画像ＭＫ又は特殊マーカー画像ＭＫＺとの相対的位置関係の変化が生じる前のニュートラル状態に戻すように基本マーカー画像ＭＫ又は特殊マーカー画像ＭＫＺを移動表示させることにより、移動中の自動車形状ロボット３に基本マーカー画像ＭＫ又は特殊マーカー画像ＭＫＺを追従させながら液晶ディスプレイ２の画面上を移動する自動車形状ロボット３の現在位置をリアルタイムに検出することができる。

特にノートＰＣ１は、輝度レベルが０％〜１００％まで線形的に変化する基本マーカー画像ＭＫ又は特殊マーカー画像ＭＫＺを自動車形状ロボット３の位置検出に用いるようにしたことにより、高精度に自動車形状ロボット３の現在位置を算出することができる。

またノートＰＣ１は、特殊マーカー画像ＭＫＺ（図７）を用いた場合、位置検出領域ＰＤ１Ａ、ＰＤ２Ａ、ＰＤ３及びＰＤ４の境界部分における輝度レベル変化が基本マーカー画像ＭＫのように急激ではなくグラデーション化されているため、基本マーカー画像ＭＫ（図３）のときのように位置検出領域ＰＤ１〜ＰＤ４間で輝度レベル０％の部分に対して輝度レベル１００％の部分の光が漏れ込むことがなく、一段と高精度に自動車形状ロボット３の現在位置及び姿勢を検出することができる。

このような位置検出原理を利用した上面照射型の複合現実提供システム３００及び下面照射型の複合現実提供システム４００では、当該位置検出原理による計算を自動車形状ロボット３０４及び自動車形状ロボット３に実行させることにより、特殊マーカー画像付きＣＧ映像Ｖ１０の特殊マーカー画像ＭＫＺの動きに当該自動車形状ロボット３０４及び自動車形状ロボット３を正確に追従させることが出来る。

従って上面照射型の複合現実提供システム３００及び下面照射型の複合現実提供システム４００では、ユーザが自動車形状ロボット３０４及び自動車形状ロボット３を直接コントロールする必要がなく、ノートＰＣ３０２のコントローラ３１３を介して特殊マーカー画像ＭＫＺを動かすだけで自動車形状ロボット３０４及び自動車形状ロボット３を間接的に移動制御することができる。

その際、ノートＰＣ３０２のＣＰＵ３１０は、特殊マーカー画像ＭＫＺの点滅領域Ｑ１を介して自動車形状ロボット３０４、自動車形状ロボット３と光通信することができるので、特殊マーカー画像ＭＫＺを介して自動車形状ロボット３０４、自動車形状ロボット３を移動制御するだけでなく、点滅領域Ｑ１を介して自動車形状ロボット３０４、自動車形状ロボット３に対してアーム部３Ｂを動かす等の具体的な動作についても制御することができる。

特に、ノートＰＣ３０２では、自動車形状ロボット３０４、自動車形状ロボット３から無線送信されてきた現在位置と、特殊マーカー画像付きＣＧ映像Ｖ１０の表示内容の双方について認識しているため、特殊マーカー画像付きＣＧ映像Ｖ１０の表示内容として映し出されている障害物と、自動車形状ロボット３０４、自動車形状ロボット３とが衝突したと座標計算により判断し得た場合、特殊マーカー画像ＭＫＺの動きを停止して自動車形状ロボット３０４、自動車形状ロボット３の移動を停止させると共に、当該特殊マーカー画像ＭＫＺの点滅領域Ｑ１を介して自動車形状ロボット３０４、自動車形状ロボット３に振動を生じさせることができるので、現実世界の自動車形状ロボット３０４、自動車形状ロボット３と仮想世界の特殊マーカー画像付きＣＧ映像Ｖ１０とを同一空間上で融合した臨場感のある複合現実感をユーザに提供することができる。

実際上、下面照射型の複合現実提供システム４００では、図２６に示すように大型ＬＣＤ４０１の画面上にユーザＲＵ１が所有する自動車形状ロボット３を載置し、ユーザＲＵ２が所有する自動車形状ロボット４５０を載置した場合、ユーザＲＵ１及びユーザＲＵ２はノートＰＣ３０２をそれぞれ操作して特殊マーカー画像付きＣＧ映像Ｖ１０の特殊マーカー画像ＭＫＺをそれぞれ動かすことにより、自動車形状ロボット３及び自動車形状ロボット４５０をそれぞれ移動制御しながら対戦させることができる。

このとき大型ＬＣＤ４０１の画面上に表示された特殊マーカー画像付きＣＧ映像Ｖ１０には、例えばインターネット接続された遠隔地のリモートユーザＶＵ１及びＶＵ２によってその動きが制御された自動車形状ロボット画像ＶＶ１及びＶＶ２が表示されており、現実世界の自動車形状ロボット３及び４５０と仮想世界の自動車形状ロボット画像ＶＶ１及びＶＶ２とを特殊マーカー画像付きＣＧ映像Ｖ１０を介して擬似的に対戦させ、例えば画面上で自動車形状ロボット３と自動車形状ロボット画像ＶＶ１とが衝突したときには、当該自動車形状ロボット３に振動を生じさせて臨場感を醸し出させることが可能となる。

（５）他の実施の形態
なお上述の実施の形態においては、基本マーカー画像ＭＫや特殊マーカー画像ＭＫＺを用いてスクリーン３０１上を移動する自動車形状ロボット３０４や、液晶ディスプレイ２や大型ＬＣＤ４０１の画面上を移動する自動車形状ロボット３の現在位置や姿勢を検出するようにした場合について述べたが、本発明はこれに限らず、例えば図２７に示すように、輝度レベルが０％から１００％まで線形的に変化する縦縞を複数並べた位置検出領域ＰＤ１１からなるマーカー画像を自動車形状ロボット３のセンサＳＲ１及びＳＲ２と対向するように表示すると共に、輝度レベルが０％から１００％まで線形的に変化する横縞を複数並べた位置検出領域ＰＤ１２からなるマーカー画像を自動車形状ロボット３のセンサＳＲ３及びＳＲ４と対向するように表示し、当該センサＳＲ１〜ＳＲ４による輝度レベル変化と縦縞や横縞を横切った数の変化とに基づいて画面上での現在位置や姿勢を検出するようにしても良い。

また上述の実施の形態においては、輝度レベルが０％〜１００％まで線形的に変化するようにグラデーション化された基本マーカー画像ＭＫや特殊マーカー画像ＭＫＺを用いてスクリーン３０１上を移動する自動車形状ロボット３０４や、液晶ディスプレイ２及び大型ＬＣＤ４０１の画面上を移動する自動車形状ロボット３の現在位置や姿勢を検出するようにした場合について述べたが、本発明はこれに限らず、輝度レベルを一定にしたまま、色相環上で反対色にある２色（例えば青色と黄色）を用いてグラデーション化させたマーカー画像に対する色相の変化に基づいて自動車形状ロボット３の現在位置や姿勢を検出するようにしても良い。

さらに上述の実施の形態においては、液晶ディスプレイ２の画面上に載置された自動車形状ロボット３の底面に設けられたセンサＳＲ１〜ＳＲ５によって検出した基本マーカー画像ＭＫ又は特殊マーカー画像ＭＫＺの輝度レベル変化に基づいて自動車形状ロボット３の現在位置や姿勢を算出するようにした場合について述べたが、本発明はこれに限らず、自動車形状ロボット３０４の上面に対してプロジェクタ３０３により基本マーカー画像ＭＫ又は特殊マーカー画像ＭＫＺを投影し、その自動車形状ロボット３０４のセンサＳＲ１〜ＳＲ５によって検出した輝度レベル変化に基づいて自動車形状ロボット３０４の現在位置や姿勢を算出するようにしても良い。

さらに上述の実施の形態においては、液晶ディスプレイ２の画面上に載置された自動車形状ロボット３の移動に基本マーカー画像ＭＫ又は特殊マーカー画像ＭＫＺを追従させながら現在位置を検出するようにした場合について述べたが、本発明はこれに限らず、例えばペン型デバイスの先端を画面上の特殊マーカー画像ＭＫＺに当接させた状態のまま、ユーザによって画面をなぞられるように動かされたときの輝度レベル変化を当該ペン型デバイスの先端に埋め込まれた複数のセンサによって検出し、それをノートＰＣ１に無線送信することにより、当該ノートＰＣ１によってペン型デバイスの現在位置を検出するようにしても良い。これによりノートＰＣ１は、ペン型デバイスによって文字がなぞられたときには、その軌跡に従って忠実にその文字を再現することが可能になる。

さらに上述の実施の形態においては、ノートＰＣ１が位置検出プログラムに従って自動車形状ロボット３の現在位置を検出し、ノートＰＣ３０２が複合現実提供プログラムに従って自動車形状ロボット３０４や自動車形状ロボット３を間接的に移動制御するようにした場合について述べたが、本発明はこれに限らず、当該位置検出プログラムや複合現実提供プログラムが格納されたＣＤ−ＲＯＭ(Compact Disc-Read Only Memory)、ＤＶＤ−ＲＯＭ Digital Versatile Disc-Read Only Memory)、半導体メモリ等の種々の記憶媒体を介してノートＰＣ１及びノートＰＣ３０２にインストールすることにより上述の現在位置検出処理や自動車形状ロボット３０４や自動車形状ロボット３に対する間接的な移動制御処理を実行するようにしても良い。

さらに上述の実施の形態においては、位置検出装置を構成するノートＰＣ１、ノートＰＣ３０２及び自動車形状ロボット３、自動車形状ロボット３０４を、指標画像としての基本マーカー画像ＭＫや特殊マーカー画像ＭＫＺを生成する指標画像生成手段としてのＣＰＵ３１０及びＧＰＵ３１４と、輝度レベル検出手段としてのセンサＳＲ１〜ＳＲ５及び位置検出手段としてのＣＰＵ３１０とによって構成するようにした場合について述べたが、本発明はこれに限らず、その他種々の回路構成又はソフトウェア構成でなる指標画像生成手段、輝度レベル検出手段及び位置検出手段によって上述の位置検出装置を構成するようにしても良い。

さらに上述の実施の形態においては、複合現実提供システムを構築する情報処理装置としてのノートＰＣ３０２を、指標画像生成手段及び指標画像移動手段としてのＣＰＵ３１０及びＧＰＵ３１４によって構成し、移動体としての自動車形状ロボット３及び３０４は、輝度レベル検出手段としてのセンサＳＲ１〜ＳＲ５、位置検出手段としてのＭＣＵ３２１と、移動制御手段としてのＭＣＵ３２１、モータドライバ３２３、３２４及び車輪用モータ３２５〜３２８によって構成するようにした場合について述べたが、本発明はこれに限らず、その他種々の回路構成又はソフトウェア構成でなる指標画像生成手段及び指標画像移動手段からなる情報処理装置、輝度レベル検出手段、位置検出手段及び移動制御手段からなる移動体によって上述の複合現実提供システムを構成するようにしても良い。

本発明の位置検出装置、位置検出方法、位置検出プログラム及び複合現実提供システムは、例えば据置型及びポータブル型のゲーム装置、携帯電話機、ＰＤＡ(Personal Digital Assistant)、ＤＶＤ(Digital Versatile Disc)プレーヤ等の現実世界の対象物体と仮想世界のＣＧ映像とを融合することが可能な種々の電子機器に適用することができる。

位置検出装置による位置検出原理の説明に供する略線図である。自動車形状ロボットの構成（１）を示す略線的斜視図である。基本マーカー画像を示す略線図である。基本マーカー画像を用いた位置検出方法及び姿勢検出方法の説明に供する略線図である。センサのサンプリングレートの説明に供する略線図である。特殊マーカー画像を示す略線図である。特殊マーカー画像の輝度レベル分布を示す略線図である。特殊マーカー画像を用いた位置検出方法及び姿勢検出方法の説明に供する略線図である。対象物体主導型の複合現実表現システムを示す略線図である。コンピュータ装置の構成を示す略線的ブロック図である。対象物体主導型の複合現実表現処理シーケンスの説明に供するシーケンスチャートである。現実世界の対象物体と仮想世界のＣＧ映像とが融合した擬似３次元空間を示す略線図である。仮想物体モデル主導型の複合現実表現システムを示す略線図である。仮想物体モデル主導型の複合現実表現処理シーケンスを示すシーケンスチャートである。変形例としての複合現実表現システムを示す略線図である。変形例としてのハーフミラーを用いた複合現実表現システムを示す略線図である。変形例としての現実世界の対象物体に対する移動制御の説明に供する略線図である。上面照射型の複合現実提供システムを示す略線図である。特殊マーカー画像付きＣＧ映像を示す略線図である。自動車形状ロボットの構成（２）を示す略線図である。ノートＰＣの回路構成を示す略線的ブロック図である。自動車形状ロボットの構成を示す略線的ブロック図である。光通信時の特殊マーカー画像を示す略線図である。アーム部の動作の説明に供する略線図である。下面照射型の複合現実提供システムを示す略線図である。応用例の説明に供する略線的斜視図である。他の実施の形態におけるマーカー画像を示す略線図である。

符号の説明

１、３０２……ノートＰＣ、２……液晶ディスプレイ、３、３０４、４５０……自動車形状ロボット、ＭＫ……基本マーカー画像、ＭＫＺ……特殊マーカー画像、１００……複合現実表現システム、１０２……コンピュータ装置、１０３……プロジェクタ、１０４、３０１……スクリーン、１０５……現実世界の対象物体、１０６……ユーザ、１０７……ラジコン、１０８……計測装置、１０９……仮想空間構築部、１１０……対象物体モデル生成部、１１１……仮想物体モデル生成部、１１２……背景画像生成部、１１３……物理計算部、１１４……映像信号生成部、１２１、３１０……ＣＰＵ、１２２……ＲＯＭ、１２３……ＲＡＭ、１２４……ハードディスクドライブ、１２５……ディスプレイ、１２６……インタフェース、１２７……入力部、１２９……バス、１３０……計測カメラ、１５１……ハーフミラー、Ｖ１、Ｖ２、Ｖ１０……仮想世界のＣＧ映像、３００……上面照射型の複合現実提供装置、３１１……ノースブリッジ、３１２……メモリ、３１３……コントローラ、３１４……ＧＰＵ、３１５……ＬＣＤ、３１６……ＬＡＮカード、３２１……ＭＣＵ、３２２……Ａ／Ｄ変換回路、３２３、３２４……モータドライバ、３２５〜３２８……車輪用モータ、３３０、３３１……サーボモータ、３２９……ワイヤレスＬＡＮユニット、４００……下面照射型の複合現実提供装置、４０１……大型ＬＣＤ。

Claims

表示部上を移動する移動体の位置を検出する位置検出装置であって、
第１の方向及び第２の方向へ輝度レベルが次第に変化するようにグラデーション化された複数の領域からなる指標画像を生成し、上記表示部上の上記移動体と対向した位置に表示するための指標画像生成手段と、
上記指標画像の複数の領域における上記第１の方向及び上記第２の方向の輝度レベル変化を検出するため上記移動体に設けられた輝度レベル検出手段と、
上記輝度レベル検出手段によって検出した検出結果に基づいて上記指標画像と上記移動体との相対的位置関係の変化を算出することにより上記表示部上における位置を検出する位置検出手段と
を具えることを特徴とする位置検出装置。
上記位置検出手段は、上記移動体が上記表示部上を移動することに対応して上記輝度レベル検出手段によって検出された上記指標画像における複数の領域の輝度レベルに基づいて位置検出を行う
ことを特徴とする請求項１に記載の位置検出装置。
上記指標画像には輝度レベルの参照領域が設けられており、上記位置検出手段は、上記移動体が上記表示部上を移動することに対応して上記輝度レベル検出手段によって検出された上記指標画像における複数の領域の輝度レベルと上記参照領域の輝度レベルとに基づいて上記移動体が旋回したときの上記表示部上における位置検出を行う
ことを特徴とする請求項１に記載の位置検出装置。
上記指標画像生成手段は、上記第１の方向と上記第１の方向と直交する第２の方向へ輝度レベルが次第に変化するようにグラデーション化された複数の領域からなる指標画像を生成し、上記表示部上の上記移動体と対向した位置に表示する
ことを特徴とする請求項１に記載の位置検出装置。
上記位置検出手段は、上記移動体が上記記表示部上を移動することに対応して上記輝度レベル検出手段によって検出された上記指標画像における複数の領域の輝度レベルの加算値の変化によって上記移動体の上記表示部における高さを検出するようにした
ことを特徴とする請求項１に記載の位置検出装置。
上記指標画像生成手段は、上記輝度レベルが線形的に変化するようにグラデーション化する
ことを特徴とする請求項１に記載の位置検出装置。
上記指標画像生成手段は、上記指標画像の輝度レベルが非線形的に変化するようにグラデーション化する
ことを特徴とする請求項１に記載の位置検出装置。
表示対象上で移動する移動体の位置を検出する位置検出装置であって、
上記表示対象上の第１の方向及び第２の方向へ輝度レベルが次第に変化するようにグラデーション化された複数の領域からなる指標画像を生成し、上記表示対象上を移動する上記移動体の上面に対して表示する指標画像生成手段と、
上記指標画像の上記複数の領域における上記第１の方向及び上記第２の方向の輝度レベル変化を検出するため上記移動体の上記上面に設けられた輝度レベル検出手段と、
上記輝度レベル検出手段によって検出した検出結果に基づいて上記指標画像と上記移動体との相対的位置関係の変化を算出することにより上記表示対象上における位置を検出する位置検出手段と
を具えることを特徴とする位置検出装置。
表示部上で移動する移動体の位置を検出する位置検出方法であって、
上記表示部上の第１の方向及び第２の方向へ輝度レベルが次第に変化するようにグラデーション化された複数の領域からなる指標画像を生成する指標画像生成ステップと、
上記表示部上の上記移動体と対向した位置に上記指標画像を表示する指標画像表示ステップと、
上記指標画像の上記複数の領域における上記第１の方向及び上記第２の方向の輝度レベル変化をそれぞれ検出するため上記移動体に設けられた輝度レベル検出手段により上記輝度レベル変化を検出する輝度レベル変化検出ステップと、
上記輝度レベル変化に基づいて上記指標画像と上記移動体との相対的位置関係の変化を算出することにより上記表示部上における位置を検出する位置検出ステップと
を具えることを特徴とする位置検出方法。
表示部上で移動する移動体の位置を検出するための情報処理装置に対して、
表示部上の第１の方向及び第２の方向へ輝度レベルが次第に変化するようにグラデーション化された複数の領域からなる指標画像を生成する指標画像生成ステップと、
上記表示部上の上記移動体と対向した位置に上記指標画像を表示する指標画像表示ステップと、
上記指標画像の上記複数の領域における上記第１の方向及び上記第２の方向の輝度レベル変化をそれぞれ検出するため上記移動体に設けられた輝度レベル検出手段により上記輝度レベル変化を検出する輝度レベル変化検出ステップと、
上記輝度レベル変化に基づいて上記指標画像と上記移動体との相対的位置関係の変化を算出することにより上記表示部上における位置を検出する位置検出ステップと
を実行させることを特徴とする位置検出プログラム。
情報処理装置によって表示部の画面上に表示される映像と、当該画面上に載置された移動体とを対応させながら当該移動体の動きを制御することにより、上記映像と上記移動体とが融合された複合現実感を提供する複合現実提供システムであって、
上記情報処理装置は、
上記画面上の第１の方向及び第２の方向へ輝度レベルが次第に変化するようにグラデーション化された複数の領域からなる指標画像を生成し、上記表示部上の上記移動体と対向した位置に上記映像の位置部として上記指標画像を表示する指標画像生成手段と、
予め定められた移動命令又は所定の入力手段を介して入力された移動命令に従って上記指標画像を上記画面上で移動させる指標画像移動手段と
を具え、
上記移動体は、
上記指標画像の上記複数の領域における上記第１の方向及び上記第２の方向の輝度レベル変化をそれぞれ検出するため上記移動体に設けられた輝度レベル検出手段と、
上記指標画像移動手段によって移動された上記指標画像に対し、上記輝度レベル検出手段によって検出した上記輝度レベル変化に基づいて上記指標画像と上記移動体との相対的位置関係の変化を算出することにより上記表示部上における上記移動体の現在位置を検出する位置検出手段と、
上記移動体の現在位置と移動後の上記指標画像の位置との差分を無くすように追従させることにより、上記指標画像に合わせて上記移動体を移動させる移動制御手段と
を具えることを特徴とする複合現実提供システム。
上記情報処理装置の上記指標画像生成手段は、上記指標画像の一部分を点滅させることにより上記移動体に対して所定の動作を実行させるための動作命令を光通信により供給し、
上記移動体の上記移動制御手段は、上記輝度レベル検出手段により検出した上記指標画像の一部分に対する上記点滅による輝度レベル変化に基づいて上記動作命令を認識し、当該動作命令に対応した上記所定の動作を実行させる
ことを特徴とする請求項１１に記載の複合現実提供システム。
情報処理装置によって表示対象上に表示される映像と、当該表示対象上に載置された移動体とを対応させながら当該移動体の動きを制御することにより、上記映像と上記移動体とが融合された複合現実感を提供する複合現実提供システムであって、
上記情報処理装置は、
上記表示対象上の第１の方向及び第２の方向へ輝度レベルが次第に変化するようにグラデーション化された複数の領域からなる指標画像を生成し、上記表示対象上を移動する上記移動体の上面に対して表示する指標画像生成手段と、
予め定められた移動命令又は所定の入力手段を介して入力された移動命令に従って上記指標画像を上記表示対象上で移動させる指標画像移動手段と
を具え、
上記移動体は、
上記指標画像の上記複数の領域における上記第１の方向及び上記第２の方向の輝度レベル変化をそれぞれ検出するため上記移動体の上記上面に設けられた輝度レベル検出手段と、
上記指標画像移動手段によって移動された上記指標画像に対し、上記輝度レベル検出手段によって検出した上記輝度レベル変化に基づいて上記指標画像と上記移動体との相対的位置関係の変化を算出することにより上記表示対象上における上記移動体の現在位置を検出する位置検出手段と、
上記移動体の現在位置と移動後の上記指標画像の位置との差分を無くすように追従させることにより、上記指標画像に合わせて上記移動体を移動させる移動制御手段と
を具えることを特徴とする複合現実提供システム。
上記情報処理装置の上記指標画像生成手段は、上記指標画像の一部分を点滅させることにより上記移動体に対して所定の動作を実行させるための動作命令を光通信により供給し、
上記移動体の上記移動制御は、上記輝度レベル検出手段により検出した上記指標画像の一部分に対する上記点滅により輝度レベル変化に基づいて上記動作命令を認識し、当該動作命令に対応した上記所定の動作を実行させる
ことを特徴とする請求項１３に記載の複合現実提供システム。