JPH10277261A - 画像合成装置及びこれを用いた仮想体験装置 - Google Patents

Abstract

(57)【要約】 【課題】 実空間映像と仮想空間画像とを合成表示する
こと等により、仮想世界をより現実世界に近づけること
ができる画像合成装置及びこれを用いた仮想体験装置を
提供すること。 【解決手段】 プレーヤ５０には、プレーヤ５０から見
える実空間映像１００を撮影する映像カメラ１０も装着
されている。更に、プレーヤ５０の３次元情報はプレー
ヤ用の空間センサ１２により検出される。仮想視界画像
演算装置７０では、操作部３８からの操作信号及びプレ
ーヤ用の空間センサ１２からの検出信号に基づいて、サ
イドミラー４１上にプレーヤ５０から見える仮想視界画
像１０２を画像演算している。そして、この仮想視界画
像１０２は、表示画像合成装置８０により、映像カメラ
１０で撮影されたサイドミラー４１の実空間映像１００
と画像合成され、表示画像１０４として画像表示装置２
０に出力される。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、実空間映像と仮想
空間画像とを合成表示する画像合成装置及びこれを用い
た仮想体験装置に関する。

【０００２】

【背景技術】近年、ドライブシュミレータ、フライトシ
ュミレータ、ゲーム装置、システムキッチンの疑似体験
システム等の分野で、いわゆる仮想現実と呼ばれるシス
テムを用いた各種の仮想体験装置が提案されている。そ
して、この種の仮想体験装置いおいては、いかにして仮
想世界を現実の世界に近づけるかが、最も大きな技術的
課題となっている。

【０００３】ところで、この仮想現実と呼ばれる世界を
体験させるための画像表示装置として、例えば頭部装着
型ディスプレーと称される装置が知られている。この頭
部装着型ディスプレーと呼ばれる装置は、液晶ディスプ
レー等の表示装置を操作者、例えばゲームにおけるプレ
ーヤの視野を覆うようにプレーヤの目の前に取り付ける
ことで構成される。そして、この頭部装着型ディスプレ
ーには、空間センサと呼ばれる装置が取り付けられ、こ
れによりプレーヤの３次元情報を検出させる。そして、
この空間センサからの検出信号に応じた映像を生成し、
これを頭部装着型ディスプレーの表示装置に表示してや
ることで、例えば普段何気なく行っている見回すという
ような動作を、仮想空間において、現実空間と同じよう
な臨場感で体験することができることとなる。

【０００４】しかし、この頭部装着型ディスプレーと呼
ばれる装置を、例えばドライビングゲームに使用したと
すると、以下のような問題が生じることが判明した。

【０００５】即ち、この頭部装着型ディスプレーでは、
プレーヤの視界範囲は全て液晶ディスプレー等で覆われ
てしまう。従って、プレーヤが実際に操作をしている現
実の世界におけるハンドル、ギア、操作パネル、プレー
ヤ自身の手足、周りの人の様子などを実際に見ることが
できない。この結果、ハンドル、ギア等の操作ミスを起
こし、操作感覚がいまいちであるという問題が判明し
た。更に、操作パネルに表示されるスピード計、タコメ
ータなどを見ることができず、臨場感に欠けるといった
問題も判明した。

【０００６】これを、防止する手法として、例えば、ハ
ンドル、ギア、操作パネルなどを全てコンピュータグラ
フィックにして、プレーヤに見せるという手法も考えら
れる。しかし、コンピュータグラフィックにより再現さ
れる映像は、あくまで仮想的なものにすぎず、現実の世
界において見えるハンドル、ギア等を完全に再現するこ
とはできない。特に、近年は、この種のドライビングゲ
ームにおいては、例えば実際のフォーミュラーレースな
どで使用されるレーシングカーの車体を、ゲーム施設内
に設置して、プレーヤに実際のレーシングカーに乗って
いるように感じさせ、臨場感、現実感を高めるという傾
向にある。ところが、前記したコンピュータグラフィッ
クによって車体を再現する手法によっては、このような
実際の車体を設置することにより得られる臨場感、現実
感を演出することができない。

【０００７】以上のように、従来の頭部装着型ディスプ
レーと呼ばれる画像表示装置では、実際には現実の空間
において見えるべき実映像を使用した方のが好ましい場
合においては、仮想世界を現実世界に近づけるといった
技術的課題の達成が不十分であった。

【０００８】また、この頭部装着型ディスプレーと呼ば
れる装置を、例えばロールプレイングゲームに使用した
とすると、以下のような問題が生じることが判明した。

【０００９】即ち、この頭部装着型ディスプレーでは、
空間センサはプレーヤの位置、向いている方向のみを検
出するものであった。従って、例えば対戦型のロールプ
レイングゲームにこれを使用した場合、プレーヤが持っ
ている対戦用武器がどのような位置にあり、どのような
方向を向いているかを正確に認識することができず、あ
る特定のプレーヤが敵のキャラクターを倒したかどうか
を正確かつ完全に判定することが困難であった。この結
果、例えば対戦用武器がいわゆる戦闘用の剣であった場
合、また、対戦用武器がいわゆる戦闘用の銃であり、こ
れにより狙う標的がかなり小さいものである場合など、
正確に戦闘結果を判定することが困難であるといった問
題が生じた。

【００１０】この結果、従来の頭部装着型ディスプレー
と呼ばれる画像表示装置を、例えば対戦型のロールプレ
イングゲームに使用した場合、その戦闘結果を正確に判
定することができず、前記した仮想世界を現実世界に近
づけるといった技術的課題の達成が不十分であった。

【００１１】本発明は、以上のような課題に鑑みてなさ
れたものであり、実空間映像と仮想空間画像とを合成表
示すること等により、仮想世界をより現実世界に近づけ
ることができる画像合成装置及びこれを用いた仮想体験
装置を提供することにある。

【００１２】

【課題を解決するための手段】本発明の画像合成装置
は、操作者の実３次元空間における３次元情報を検出す
る操作者用空間センサと、前記操作者用空間センサから
の検出信号に基づいて、前記実３次元空間に配置された
ミラー部材に表示される仮想視界画像を画像演算する仮
想視界画像演算手段と、前記仮想視界画像を前記ミラー
部材上に表示する手段と、を含むことを特徴とする。

【００１３】ここにおいて、前記仮想視界画像演算手段
は、仮想３次元空間における操作者から前記ミラー部材
上に仮想的に見える仮想視界画像を画像演算することが
好ましい。

【００１４】また、本発明の仮想体験装置は、本発明の
画像合成装置を含むことを特徴とする。

【００１５】

【発明の実施の形態】本実施の形態に係る画像合成装置
は、操作者の視野を覆うように装着される画像表示手段
と、操作者に装着され、操作者から見える実空間映像を
撮像する撮像手段と、操作者の実３次元空間における３
次元情報を検出する操作者用空間センサと、前記操作者
用空間センサからの検出信号に基づいて、前記実３次元
空間と重ね合わせて設定される仮想３次元空間を演算
し、仮想３次元空間における操作者から見える仮想視界
画像を画像演算する仮想視界画像演算手段と、前記仮想
視界画像と前記撮像手段で撮像される実空間映像とを表
示画像として画像合成する表示画像合成手段と、を含
み、前記画像表示手段に前記表示画像を画像表示するこ
とを特徴とする。

【００１６】また、本実施の形態に係る仮想体験装置
は、操作者が搭乗する搭乗体と、前記搭乗体に設けられ
操作者が操作信号を入力する操作部と、操作者の視野を
覆うように装着される画像表示手段と、操作者に装着さ
れ、操作者から見える実空間映像を撮像する撮像手段
と、操作者の実３次元空間における３次元情報を検出す
る操作者用空間センサと、前記操作部からの操作信号と
前記操作者用空間センサからの検出信号とに基づいて、
前記実３次元空間と重ね合わせて設定される仮想３次元
空間を演算し、仮想３次元空間における操作者から見え
る仮想視界画像を画像演算する仮想視界画像演算手段
と、前記仮想視界画像と前記撮像手段で撮像される実空
間映像とを表示画像として画像合成する表示画像合成手
段と、を含み、前記画像表示手段に前記表示画像を画像
表示し、操作部による搭乗体の操作感覚を仮想的に体験
できることを特徴とする。

【００１７】更に、本実施の形態に係る仮想体験装置
は、プレーヤがゲーム用キャラクターとの対戦用に用い
る対戦用武器と、プレーヤの視野を覆うように装着され
る画像表示手段と、プレーヤに装着され、プレーヤから
見える実空間映像を撮像する撮像手段と、プレーヤの実
３次元空間における３次元情報を検出するプレーヤ用空
間センサと、対戦用武器の実３次元空間における３次元
情報を検出する対戦武器用空間センサと、前記対戦武器
用空間センサ及び前記プレーヤ用空間センサからの検出
信号に基づいて、前記実３次元空間と重ね合わせて設定
されるゲーム空間を表す仮想３次元空間を演算し、仮想
３次元空間におけるプレーヤから見える仮想視界画像を
画像演算する仮想視界画像演算手段と、前記仮想視界画
像と前記撮像手段で撮像される実空間映像とを表示画像
として画像合成する表示画像合成手段と、を含み、前記
画像表示手段に前記表示画像を画像表示し、対戦用武器
によるゲーム用キャラクターとの対戦を仮想的に体験で
きることを特徴とする。

【００１８】この場合、前記仮想視界画像演算手段は、
所定のゲームプログラムと前記対戦武器用空間センサか
らの検出信号に基づき前記実３次元空間と重ね合わせて
設定されるゲーム空間を表す仮想３次元空間を演算する
仮想３次元空間演算部と、前記プレーヤ用空間センサか
らの検出信号に基づいて、プレーヤから見える仮想視界
画像を画像演算する視界画像演算部と、を含むことが望
ましい。

【００１９】本実施の形態に係る画像合成装置によれ
ば、操作者用空間センサに基づいて演算された仮想３次
元空間における仮想視界画像に、操作者に装着された撮
像手段により撮像された実空間映像を、表示画像合成手
段により画像合成することができる。この結果、操作者
は、プログラム等で任意に設定される仮想３次元空間に
おける仮想視界画像に、実空間における実際の物体の画
像を組み込んで見ることができるため、より現実世界に
近いた仮想世界を体験することができることとなる。

【００２０】また、本実施の形態に係る仮想体験装置に
よれば、前記した画像合成装置により、搭乗体や、搭乗
体の操作部等の実空間における画像を見ることができ
る。

【００２１】従って、これを例えばドライビングゲーム
に利用した場合には、自分自身の乗った本物の車を仮想
空間の中で自由に走らせることができるため、臨場感を
大幅に向上させることができることとなる。更に、従来
のドライビングゲームでは見ることができなかった例え
ば３６０度の全方向の映像を見ることができ、且つ、従
来の仮想体験装置では見ることができなかったハンド
ル、計器類等を見ながら運転できるため操作性が大幅に
向上することとなる。

【００２２】また、本実施の形態に係る仮想体験装置に
よれば、ゲーム用キャラクターとの対戦用に用いる対戦
用武器の３次元情報も空間センサにより検出することが
できる。従って、特定のプレーヤが敵のキャラクターを
倒したか否かの判定を、正確に判定することができるこ
ととなる。この結果、例えば複数のプレーヤで競い合っ
て行うゲームにおいて、各プレーヤの腕前を正確に判定
することができることとなり、ゲームの臨場感を大幅に
向上させることができることとなる。

【００２３】この場合、例えば、各プレーヤごとにゲー
ム成績を演算し、このゲーム成績に基づいてゲーム空間
を表す仮想次３元空間の設定を各プレーヤごとに変化さ
せれば、各プレーヤの腕前に応じたゲーム空間を提供で
き、繰り返しプレイしても飽きることのない仮想体験装
置を提供できることとなる。

【００２４】次に、本実施の形態の具体例について図面
を用いて詳細に説明する。

【００２５】１．第１の実施の形態 図１には、本実施の形態を用いた第１の実施の形態につ
いてのブロック図が示される。また、図２には、これを
ドライビングゲームに適用した仮想体験装置の一例が示
される。

【００２６】図２（ａ）において、ゲーム用の本物のレ
ーシングカー３０は、内側が全てブルーの色に塗られた
ドーム１の中のフロア４の上に設置されている。ここ
で、このフロア４もドーム１の内側と同様に全てブルー
の色に塗られている。そして、このレーシングカー３０
には、操作者例えばゲームにおけるプレーヤ５０が搭乗
している。なお、操作者という場合には、ゲームにおけ
るプレーヤのみならず、例えばフライトシュミレータを
操作するパイロット、スポーツを行うプレーヤなど仮想
体験装置を利用する全ての者が含まれるとする。

【００２７】レーシングカー３０は、例えば、車両本体
３６、タイヤ３２、リアウイング３４、ハンドル４０、
サイドミラー４１、計器盤４４、シフトギア、アクセ
ル、ブレーキ（図示せず）等を含んで構成されている。
そして、例えばフロントタイヤ３２はプレーヤ５０のハ
ンドル４０の操作により自在に操舵されるように形成さ
れており、また、リアウイング３４も、プレーヤの操作
又はレーシングカー３０のスピードの変化等により上下
に動くように形成されている。そして、後述するよう
に、プレーヤ５０は映像カメラ１０によりこれらの動き
の変化を見ることができることとなる。

【００２８】計器盤４４は、例えばスピードメータ、タ
コメータ、燃料計、警告計（図示せず）を含んでおり、
プレーヤ５０の運転状態により変化するように構成され
ている。即ち、プレーヤ５０のアクセル操作、ブレーキ
操作、シフトギア操作に応じて、スピードメータ、タコ
メータが変化し、また、ゲーム終番になり燃料が尽きて
くると燃料計がこれを示すように構成される。更に、レ
ーシングカー３０のエンジン等にトラブルが生じると警
告計が点滅し、プレーヤ５０は映像カメラ１０によりこ
れを知ることができる。

【００２９】また、レーシングカー３０の下部には、姿
勢制御部２４が設けられ、ゲーム状況（路面変化、道路
の変化等）、プレーヤ５０のハンドル操作、アクセル操
作、ブレーキ操作に応じて、レーシングカー３０の姿勢
変化、加速変化が制御される。プレーヤ５０は、これに
より、姿勢変化、加速Ｇの変化を体感することができ、
より現実世界に近づいた仮想世界を体験することができ
ることとなる。

【００３０】プレーヤ５０には、頭部装着体９がプレー
ヤ５０の視界を覆うように装着されている。この頭部装
着体９は、映像カメラ１０、プレーヤ用の空間センサ１
２、画像表示装置２０、スピーカー２２を含んで構成さ
れている。

【００３１】図４（ａ）、（ｂ）には、この頭部装着体
９の形状の一例が示される。図４（ａ）は、映像カメラ
１０、プレーヤ用の空間センサ１２、画像表示装置２
０、スピーカ２２を、ヘルメット１４に設けて構成され
る装着体９が示される。このタイプの装着体によれば、
ヘルメット１４をプレーヤ５０が装着することにより外
部と完全に隔離した世界を作ることができるため、より
臨場感溢れる仮想現実を楽しむことができる。これに対
して図４（ｂ）に示す装着体９は、映像カメラ１０、プ
レーヤ用の空間センサ１２、画像表示装置２０、スピー
カ２２が、装着バンド１６に一体的に取り付けて構成さ
れているため、より軽快感溢れる装着感を実現すること
ができる。なお、本実施の形態に使用される装着体とし
ては、図４（ａ）、（ｂ）に示す形状のものに限らず種
々の形状のものを使用することが可能である。

【００３２】画像表示装置２０は、プレーヤ５０の視界
を覆うようにプレーヤ５０の目の前に取り付けられ、車
両本体３６に内蔵された画像合成装置から接続線１８を
通じて送られてくる画像信号を画像表示するものであ
る。この場合の画像表示方法としては、頭部装着体９を
小型化し装着感を向上させるべく、例えばカラー液晶デ
ィスプレー、小型ブラウン管等の小型のディスプレーを
用いることが望ましい。また、映像に目の焦点を合わせ
るべく、更に、視野角を広げて臨場感を向上させるべく
光学系により補正することが望ましい。

【００３３】ここで、小型ディスプレーの形状として
は、プレーヤ５０の顔の形状に沿ってプレーヤの視界を
覆うように形成し、パノラマ映像効果を得るような形状
としてもよいし、２つの小型ディスプレーをそれぞれプ
レーヤ５０の両眼の前に形成するような形状としてもよ
い。後者の場合は、両眼に与えられた平面的な２次元画
像に視差のある画像を与えること等により、３次元的な
立体感を与えるような形成することが望ましい。このよ
うに構成すれば、物体の大きさや、物体までの距離を把
握することができるようになるため、より現実世界に近
づいた仮想世界を作り出すことが可能となるからであ
る。

【００３４】映像カメラ１０は、プレーヤ５０が現実世
界を見るために使用するものであり、例えば図４に示す
ように、プレーヤ５０の視点位置（目の位置）に近い位
置に設定し、そのアングルもプレーヤ５０の視界方向と
一致するように設定することが望ましい。このように設
定すれば実際にプレーヤ５０から見える現実世界の映像
を、より違和感なく見ることができるからである。これ
により、例えば後ろから追いかけてくる他のプレーヤの
レーシングカーを、プレーヤ５０が実際に振り返るとい
う動作により確認することができ、より現実感があり、
緊張感のあるゲーム世界を作り出すことが可能となる。

【００３５】但し、この場合、頭部装着体９の例えば後
部にもう一台の映像カメラを取り付けて、プレーヤ５０
の操作によりこれを切り替えて見ることができるように
構成してもよい。更に、例えばレーシングカー５０にサ
イドミラー４１、バックミラー等を設けて、これに例え
ばテクスチャーマッピング等の手法を用いて、実際に後
ろに見えるべき映像を映し出すような構成としてもよ
い。

【００３６】映像カメラ１０として使用する撮像手段と
しては、例えば高解像でより小型なカメラ、例えば高解
像度ＣＣＤカメラ等を用いることが望まく、自動焦点合
わせ等の機能を持つものを用いることが望ましい。

【００３７】プレーヤ用の空間センサ１２、１２は、プ
レーヤ５０の３次元情報を検出するセンサであり、例え
ば一方側はドーム１の天井部に、他方側はプレーヤ５０
の頭部装着体９に取り付けられる。

【００３８】なお、ここでいうプレーヤ５０の３次元情
報とは、例えばプレーヤ５０の位置情報、視界方向情報
をいい、空間センサ１２、１２の３次元空間における方
向をも含めた相対位置関係を求めることにより検出され
る。但し、プレーヤ５０の位置が、ゲームの設定上、動
かないか、もしくは動いたとしても許容範囲内である場
合、この３次元情報には、必ずしもプレーヤ５０の位置
情報を含める必要はない。また、逆にプレーヤ５０の視
界方向が、ゲームの設定上、変更されることがないよう
な場合は、この３次元情報には、必ずしもプレーヤ５０
の視界情報を含める必要はない。これらの場合は、ゲー
ム上で設定される位置もしくは視界情報によりその後の
画像演算処理を行えばよい。

【００３９】空間センサ１２、１２による３次元情報の
検出手法としては、例えば以下の手法が考えられる。即
ち、それぞれの空間センサ１２、１２を互いに直交した
３つのコイルで構成する。そして、どちらか一方の空間
センサ１２のコイルに電流を流し、この時に他方の空間
センサ１２のコイルに誘起される電流値から、これらの
空間センサ１２、１２の方向を含めた位置関係を検出す
る。これによりプレーヤ５０の空間情報が検出されるこ
ととなる。

【００４０】なお、空間センサ１２、１２による３次元
情報の検出方法としては、上記の動磁界を利用したもの
に限らず、例えば、静磁界を利用したもの、超音波を利
用したものを用いてもよい。

【００４１】次に、本実施の形態による画像合成の手法
について以下に説明する。

【００４２】本実施の形態では、図２（ｂ）に示すよう
に、映像カメラ１０で撮影した実３次元空間における実
空間映像１００と、仮想３次元空間における仮想視界画
像１０２とを画像合成して、表示画像１０４を形成して
いる。そして、この表示画像１０４は、接続線１８を通
じて画像表示装置２０に出力され、実際にプレーヤ５０
が見る視界画像となる。

【００４３】この画像合成を、本実施の形態ではブルー
マット合成により行っている。つまり、レーシングカー
３０及びその付属物、自分自身であるプレーヤ５０等、
以外のもの、即ちドーム１の内側及びフロア４を全てブ
ルーの色にしておく。このようにすると、実空間映像１
００において、レーシングカー３０、ハンドル４０、プ
レーヤの手５４以外は全てブルーの背景となる。そし
て、この実空間映像１００のうちブルーの色の部分の画
素を全て空きドットに設定し、これに仮想視界画像１０
２に重ね合わることにより表示画像１０４を得ることが
できることとなる。この場合、例えばドーム１には主に
プレーヤ５０から見えるサーキットの背景が、フロア４
には、レーシングカー３０が走っている道路の路面状況
が映し出される。

【００４４】この場合の画像合成装置の一例を示すブロ
ック図が、図１に示される。

【００４５】図１において仮想視界画像演算装置７０
は、仮想３次元空間においてプレーヤ５０が見ることが
できる仮想画像を演算するものであり、仮想３次元空間
演算部７２及び視界画像演算部７６とを含む。そして、
仮想３次元空間演算部７２は、実３次元空間と重ね合わ
せて設定されるゲーム空間を表す仮想３次元空間を演算
するものであり、視界画像演算部７６は、この演算され
た仮想３次元空間より、プレーヤ５０から見える方向に
おける仮想視界画像を演算するものである。

【００４６】プログラム部７４には、ゲーム用の演算プ
ログラムが格納されている。例えば、本実施の形態のド
ライビングゲームを例にとれば、ドライビングゲーム空
間を構成するサーキット上のあらゆる物体（レーシング
カー、道路、他のレーシングカー、道路から見える背景
等）が多面体の組合せで表現され、この多面体の各頂点
の３次元情報及び付随データが画像情報として格納され
ている。なお、プログラム部７４には、これらのデータ
以外にもゲームの進行等を制御するプログラムも格納さ
れ、また、複数のサーキット走行を楽しめるものであれ
ば、これら全てのサーキット情報が格納されている。

【００４７】プレーヤ５０が、ハンドル４０、アクセ
ル、ブレーキ、シフトギアにより入力した操作信号は、
操作部３８を介して仮想３次元空間演算部７２に入力さ
れる。そして、この操作信号と前記したプログラム部７
４からの情報により、仮想３次元空間でのレーシングカ
ー３０の位置、方向がリアルタイムに演算される。そし
て、この演算結果に基づき、仮想３次元空間におけるレ
ーシングカー３０及びその周りのサーキット上のあらゆ
る物体の画像情報が、視界画像演算部７６に出力され
る。

【００４８】視界画像演算部７６では、プレーヤ用の空
間センサ１２より検出された３次元情報に基づき、以下
のような座標変換がなされる。即ち、図１２に示すよう
に、仮想３次元空間演算部７２により演算された画像情
報（例えば背景画面を構成する看板、ビル等の物体１７
０、１７２を表す画像情報）が、仮想３次元空間におけ
るワールド座標系（ＸW 、ＹW 、ＺW ）から、プレーヤ
５０の視点座標系（ＸV、ＹV 、ＺV ）に座標変換され
る。そして、プレーヤ５０の視野外、例えば視野から外
れて後ろに通り過ぎて行く看板等の物体１７２の画像情
報はクリッピングされて除去され、視野内にある物体１
７０の画像情報はスクリーン座標系（ＸS 、ＹS ）、即
ち実際にプレーヤ５０から見える座標系に透視変換され
る。この場合、この透視変換された画像情報は、前記物
体を構成する多面体に対応するポリゴン１７４、１７
５、１７６（裏側のポリゴンは省略）の組合せとして表
現されている。次に、このポリゴン１７４、１７５、１
７６内の全てのドットの画像情報が、ポリゴン毎にもし
くはポリゴンの各頂点毎に与えられた色、輝度等の付随
情報を基に演算され、これが仮想視界画像情報として、
表示画像合成装置８０に出力されることとなる。

【００４９】表示画像合成装置８０では、視界画像演算
部７６からの仮想視界画像１０２と映像カメラ１０から
の実空間映像１００との画像合成が行われる。この画像
合成の手法としては種々の手法が考えられるが、本実施
の形態では前述したようにブルーマット合成による手法
によって行っている。図１３には、この場合に表示画像
合成装置８０の詳細が示されている。

【００５０】即ち、図１３において、映像カメラ１０か
ら入力された実空間映像１００を表す画像信号は、表示
画像合成装置８０内においてまずフィルター２００に通
されＲＧＢの３原色の成分に分けられる。そして、これ
らの成分のそれぞれが例えば８ビットのデジタルデータ
に、Ａ／Ｄ変換回路２０２にてＡ／Ｄ変換され、これに
より各画素毎に２４ビットのＲＧＢデジタルデータが求
められる。そして、この実空間映像１００における各画
素の２４ビットのＲＧＢデジタルデータが、ドーム１の
裏側及びフロア４に塗られたブルーの色の２４ビットの
ＲＧＢデジタルデータと一致するか否かが、空きドット
判定回路２０４にて各画素毎に演算され、判断される。
そして、この判断結果は、空きドットメモリ２０６に書
き込まれる。空きドットメモリ２０６は、表示画像の全
ての画素に対応した１ビットメモリの構成となってお
り、各画素毎に空きドットか否かの空きドット判定デー
タが１ビットデータとして書き込まれる。

【００５１】表示画像合成装置８０には、表示画像の各
画素に対応したフィールドバッファ２１０が内蔵されて
いる。そして、データ制御部２０８により、空きドット
メモリ２０６に書き込まれている空きドット判定データ
が参照され、フィールドバッファ２１０の各画素位置に
実空間映像が書き込まれる。即ち、空きドット判定デー
タにより、その画素が空きドットであると判断された場
合は、フィールドバッファ２１０のその画素位置には、
実空間映像は書き込まれない。逆に、空きドット判定デ
ータにより、その画素が空きドットではないと判断され
た場合には、実空間映像の２４ビットのＲＧＢデジタル
データがそのまま書き込まれることとなる。

【００５２】次に、データ制御部２０８により、空きド
ットメモリ２０６に書き込まれている空きドット判定デ
ータが参照され、フィールドバッファ２１０の各画素位
置に、視界画像演算部７６により演算された仮想視界画
像情報が重ね書きされる。即ち、空きドット判定データ
により、その画素が空きドットであると判断された場合
は、仮想視界画像情報がそのまま書き込まれる。逆に、
空きドット判定データにより、その画素が空きドットで
はないと判断された場合には、なにも書き込まれず、こ
の画素位置には実空間映像が表示されることとなる。

【００５３】以上の書き込みを行なった後、データ制御
部２０８によりフィールドバッファ２１０から各画素位
置の画像情報データが読み出される。そして、この画像
情報データは接続線１８を通して画像表示装置２０に画
像出力され、プレーヤ５０は、実空間映像１００に仮想
視界画像１０２が組み込まれた表示画像１０４をリアル
タイムに見ることができることとなる。

【００５４】なお、以上の画像情報の書き込みと、読み
出しは、例えばフィールドバッファ２１０を２画面分の
構成とすることにより、同時に行うように構成すること
がより望ましい。

【００５５】また、仮想３次元空間演算部７２において
は、画像情報の演算のみならず、例えば、音声合成部７
８を通じてスピーカ２２より出力される音声信号、及
び、レーシングカー３０の姿勢を制御する姿勢制御信号
の生成も行っている。即ち、プログラム７４からのゲー
ムプログラム及び操作部３８からの操作信号により演算
された、ゲーム空間におけるゲーム進行状況に応じて、
より効果的な音声信号及び姿勢制御信号の生成を行い、
ゲームの臨場感をより一層高めている。

【００５６】また、本実施の形態では、仮想視界画像演
算装置７０を、仮想３次元空間演算部７２と視界画像演
算部７６とに分けたが、これは便宜的なものであり、例
えば３次元空間演算を行う機能と視界画像を演算する機
能とを一体となって行う手法によりこれを構成しても構
わない。即ち、結果として、仮想３次元空間において、
プレーヤ５０から見える方向における仮想視界画像を得
ることができれば、演算順序、演算手法等は、図１に示
す手法に限らずあらゆる手法を用いることができる。

【００５７】また、表示画像合成装置８０における画像
合成の方法としては、上記したものに限らず、例えばブ
ルーではなくレッドを用いて画像合成したり、複数の色
を用いて画像合成したり、種々の手法を用いることがで
きる。

【００５８】また、視界画像演算部７６において、演算
されたポリゴン内の全てのドットの画像情報を求める手
法としては、前記したものに限らず、例えばテクスチャ
マッピングと呼ばれる手法を用いてもよい。即ち、仮想
３次元空間における物体の各頂点に、あらかじめはり付
けたいテクスチャ情報を指定するテクスチャ座標を与え
ておく。そして、前記した視点座標系への演算等を行っ
た後に、このテクスチャ座標をアドレスとして、テクス
チャ情報メモリよりテクスチャ情報を読みだし、これを
ポリゴンにはり付けることにより、ポリゴン内の全ての
ドットの画像情報を演算する。

【００５９】このようなテクスチャマッピングと呼ばれ
る手法を用いて画像情報を演算することにより、まず、
演算処理部分の負担を大幅に減らすことができるという
メリットが生じる。また、この他にも、この手法を用い
れば種々の今までにない画像効果を得ることもできる。
その例として例えば以下に挙げるものがある。

【００６０】即ち、レーシングカー３０に設けられたサ
イドミラー４１に映像カメラ４３を取り付ける。そし
て、図１４に示すように、この映像カメラ４３により撮
影される後方の実空間映像１０５と、後方の仮想視界画
像１０６とを画像合成してサイドミラー表示画像１０８
を形成し、このサイドミラー表示画像１０８を、プレー
ヤ５０から見える表示画像１０４のサイドミラー４１の
部分にテクスチャマッピング手法を用いてはり付ける。
このような構成とすれば、サイドミラー４１には、図２
（ｂ）に示す表示画像１０４と同様に、後方の実空間映
像１０５と後方の仮想視界画像１０６とが合成された画
像が表示されることとなる。これにより、例えば後ろか
ら追いかけてくる相手のプレーヤのレーシングカー３１
及び後方における背景画像と自分のレーシングカー３０
の実映像との合成画像を、サイドミラー４１により見る
ことができ、より現実世界に近づいた仮想世界を作り出
すことが可能となる。

【００６１】図１５には、テクスチャマッピング手法を
用いた映像効果のもう一つの例が示される。この例で
は、図１５（ａ）に示すように、それぞれ独立のドーム
内に、プレーヤ５０のレーシングカー３０及び相手プレ
ーヤ５２のレーシングカー３１が設置される。ドーム内
には映像カメラ２６が設置されており、これによりプレ
ーヤ５０、５２の頭部２８が四方から撮影される。そし
て、このプレーヤの頭部２８の撮影データを図１５
（ｂ）に示すように、仮想視界画像１０２上の相手プレ
ーヤ５２の頭部の部分に、テクスチャマッピング手法を
用いてはり付ける。このようにすれば、プレーヤ５０が
後ろを振り返って見た場合に、相手プレーヤの頭部の実
写映像を見ることができ、ゲームの臨場感を非常に高め
ることができる。特に、相手プレーヤ５２のレーシング
カー３１が自分のレーシングカー３０に追いつき横に並
んだときに、相手プレーヤ５２の勝利に誇った顔なども
見ることができ、各プレーヤの競争意識を刺激し、より
現実感、緊張感のあるゲームを提供できることとなる。

【００６２】なお、図１５では、４方向から映像カメラ
２６で各プレーヤの頭部２８を撮影する構成としたが、
少なくともプレーヤの頭部２８の正面からの映像情報が
あればよく、他の方向からの映像情報は、仮想３次元空
間演算部７０において作り出したものを用いてもよい。
また、各プレーヤの頭部２８の撮影手段は、映像カメラ
２６に限られるものではなく、例えばゲームプレイを始
める前に、静止画カメラにより撮影し、これを登録して
用いる構成としてもよい。

【００６３】図１６には、以上に述べたテクスチャマッ
ピング手法により、画像を合成するための簡単なブロッ
ク図の一例が示される。

【００６４】即ち、テクスチャマッピング手法により画
像を合成する場合には、視界画像演算部７６を、例えば
図１６に示すような構成にする。

【００６５】仮想３次元空間演算部７２より出力された
各物体の画像情報は、各物体を構成するポリゴンの頂点
座標ＶX 、ＶY 、ＶZ と、そのポリゴンの各頂点に与え
られたテクスチャ頂点座標ＶＴX 、ＶＴY 等とで表現さ
れている。ここで、テクスチャ座標ＴX 、ＴY は、各ポ
リゴンにはり付けるべきテクスチャ情報を指定するもの
で、このテクスチャ情報は、テクスチャ座標ＴX 、ＴY
をアドレスとしてテクスチャ記憶部３０８に格納されて
いる。そして、テクスチャ頂点座標ＶＴX 、ＶＴY は、
このテクスチャ座標ＴX 、ＴY のうち、各ポリゴンの頂
点位置におけるテクスチャ座標を表すものである。

【００６６】この頂点座標ＶX 、ＶY 、ＶZ 、及びテク
スチャ頂点座標ＶＴX 、ＶＴY 等は、頂点座標変換部３
００に入力される。そして、頂点座標変換部３００にお
いて、透視変換等の座標変換が行われ、その結果はソー
ティング回路３０２に出力される。ソーティング回路３
０２では、各ポリゴンの処理の優先度が設定される。優
先度は、例えばプレーヤの視点に近いポリゴンが優先的
に処理されるように設定され、以降の処理はこの優先度
にしたがって処理されることとなる。

【００６７】プロセッサ部３０４では、各ポリゴンの座
標変換後の頂点座標及びテクスチャ頂点座標から、ポリ
ゴン内の全てのドットの表示座標及びテクスチャ座標Ｔ
X 、ＴY が求められる。そして、この求められたテクス
チャ座標ＴX 、ＴY は前記した表示座標をアドレスとし
てフィールドバッファ部３０６に書き込まれる。

【００６８】画像表示する際には、このフィルードバッ
ファ部３０６からテクスチャ座標ＴX 、ＴY が読み出さ
れ、これをアドレスとしてテクスチャ記憶部３０８から
テクスチャ情報が読み出され、仮想視界画像が形成され
る。その後、表示画像合成装置８０にて、実空間映像と
の画像合成が行われる。

【００６９】以上の構成により、例えば以下に示す演算
処理により、サイドミラー４１にサイドミラー表示画像
１０８が映し出される。ここで、サイドミラー４１は、
例えばブルーの色に塗られており、この位置には画像合
成装置により演算された画像が映し出されるように設定
されている。

【００７０】この場合、まず図１４に示すサイドミラー
表示画像１０８の画像合成が行われる。即ち、図１６に
おいて、後方の仮想視界画像１０６の演算が仮想３次元
空間演算部７２及び視界画像演算部７６により演算され
る。また、後方の実空間映像１０５は映像カメラ４３に
より撮影される。そして、この後方の仮想視界画像１０
６と、後方の実空間映像１０５の画像合成が表示画像合
成装置８０により行われ、サイドミラー表示画像１０８
が画像合成されることとなる。

【００７１】次に、このサイドミラー表示画像１０８
は、図１６に示すようにテクスチャ記憶部３０８に戻さ
れる。そして、テクスチャ記憶部３０８の記憶エリアの
内、サイドミラー４１に対応するテクスチャ座標の位置
に、このサイドミラー表示画像１０８の画像情報が書き
込まれる。その後、このようにしてサイドミラー表示画
像１０８が表示された仮想視界画像１０２と、映像カメ
ラ１０により撮影された実空間映像１００との画像合成
が、表示画像合成装置８０により行われる。これによ
り、表示画像１０４のサイドミラー４１に、サイドミラ
ー表示画像１０８が表示された画像を形成することがで
きることとなる。

【００７２】また、図１６に示す構成により、相手プレ
ーヤの頭部の実映像を映し出す場合には、図１６に示す
ように映像カメラ２６により撮影された映像が、直接テ
クスチャ記憶部３０８に書き込まれる。即ち、テクスチ
ャ記憶部３０８の記憶エリアの内、相手プレーヤの頭部
に対応するテクスチャ座標の位置に、映像カメラ２６に
より撮影された映像データがリアルタイムに書き込まれ
る。これにより、プレーヤ５０から見える仮想視界画像
１０２に、相手プレーヤ５２の頭部の実映像が映し出さ
れた表示画像を得ることができることとなる。

【００７３】なお、静止画カメラにより撮影する構成と
する場合は、ゲーム開始前に登録する際に、このテクス
チャ記憶部３０８に相手プレーヤの写真が画像データと
して記憶されることとなる。

【００７４】また、本実施の形態におけるテクスチャマ
ッピング手法は図１６に示す構成のものに限られるもの
ではなく、あらゆる手法のテクスチャマッピングを用い
ることができる。

【００７５】以上の構成の本実施の形態により、これま
でのドライビングゲームでは体験できなかった、臨場感
溢れるゲームを提供することができることとなった。

【００７６】即ち、まず、従来のドライビングゲームで
は、サーキット等を映し出すゲーム画面がプレーヤ５０
の前面にしか設定されていなかったため、いまひとつ臨
場感に欠けるところがあった。これに対して、本実施の
形態では、プレーヤ５０は例えば３６０度全方向を見る
ことができるため、ゲームの臨場感が大幅に向上する。
特に、例えば本実施の形態を複数プレーヤによるドライ
ビングゲームに適用した場合、プレーヤ５０は、実際に
振り返えることにより、もしくは、前記した構成のサイ
ドミラー４１、バックミラーを使用することにより、追
いかけてくる相手のプレーヤを確認できることとなり臨
場感をより増すことができる。この場合、前記したよう
にテクスチャーマッピングで相手のプレーヤの実空間映
像をはり付ければ、更にゲームの現実感、緊張感を増す
ことが可能となる。

【００７７】また、本実施の形態では、プレーヤ５０
は、実３次元空間における本物のレーシングカー３０に
搭乗することができ、しかも、その本物のレーシングカ
ー３０を、ゲーム用の仮想３次元空間で自由に走らせる
ことが可能となり、より現実世界に近づいた仮想世界を
体験できることになる。即ち、プレーヤ５０は、実３次
元空間におけるレーシングカー３０、タイヤ３２、リア
ウイング３４の動き、サイドミラー４１に写る相手プレ
ーヤなどを、映像カメラ１０を通じて実際に自分の目で
確認しながらレーシングカー３０を操作することができ
る。更に、このプレーヤ５０が操作する操作部、即ちハ
ンドル４０、計器盤４４、アクセル、ブレーキ、シフト
ギアなども、上記と同様に映像カメラ１０を通じて実際
に自分の目で確認しながら操作することができるため、
操作性が大幅に向上し、ゲームの現実感も大幅に向上す
ることとなる。また、この場合に、ゲーム状況に応じ
て、姿勢制御部２４の制御、スピーカ２２に出力する音
声を変化されば、より、臨場感溢れるゲームを提供でき
ることとなる。

【００７８】図３には、本第１の実施の形態をフライト
シュミレータに適用した場合の仮想体験装置の一例が示
される。

【００７９】図３（ａ）で、コックピット４５の中の右
側窓２、左側窓３には、ブルーの色をしたマット（以
下、ブルーマットと呼ぶ）が張り付けられ、このブルー
マットに前述した手法と同様の手法により、表示画像１
０４がはめ込まれる。この様子が図３（ｂ）に示され
る。ここで図３（ｂ）には、左側窓３方向の実空間映像
１００に仮想視界画像１０２をはめ込み、表示画像１０
４が合成される場合が示されている。

【００８０】この場合、表示画像１０４に映し出される
画像は、パイロット４６と教官４８とで異なったように
見えることになる。これは、仮想視界画像１０２は、プ
レーヤ用の空間センサ１２を用いて、パイロット４６、
教官４８のそれぞれの視界方向を検出して演算されてい
るからである。従って、教官４８には見えるがパイロッ
ト４６には見えないといった映像、即ち視界方向によっ
て異なるといった映像効果を作り出すことができ、より
現実感の増した仮想世界を実現できる。この点、従来の
方式、即ち、窓に単にＣＲＴディスプレーを設ける方
式、もしくは、ハーフミラーによりＣＲＴ画像を窓に映
し出す方式によっては、このような映像効果を作り出す
ことはできない。

【００８１】更に、本実施の形態では、パイロット４６
は、映像カメラ１０によりコックピット４５の中にある
操作盤４７、操縦桿４２、教官４８の顔などを見ながら
飛行機の操縦をシュミレートすることができる。従っ
て、一般に、複雑で操作しにくいといわれる飛行機の操
作盤４７を、映像カメラ１０により実際に自分の目で見
ながら操作できるため、操作ミスを劇的に減少させるこ
とができる。

【００８２】即ち、例えば、これらの操作盤４７、操縦
桿４２等をも全て画像合成により作り出す方式による
と、パイロット４６にとっての操作感はいまいち現実感
に欠けるものとなる。しかも、この方式によると、パイ
ロット４６にデータグローブを装着させ、このデータグ
ローブからの操作信号に基づいて、操作盤４７、操縦桿
４２にパイロット４６がどのような操作を行ったかを検
出させる必要が生じ、システムの規模が膨大なものとな
ってしまう。そして、このようにシステムでは、その規
模が膨大であるにもかかわらず、パイロット４６の操作
感はいまいちであり、パイロット４６の操作ミスが多い
という欠点がある。

【００８３】この点、本実施の形態では、コックピット
４５は本物の飛行機のコックピットと同様の構造になっ
ているため、このような不都合は生じない。更に、本実
施の形態では、隣にいる教官４８を見ることもできるた
め、教官４８の指示なども的確に把握することができ、
また、操作ミスをした場合の教官４８の怒った顔なども
見ることができ、より現実感の溢れるフライトシュミレ
ーターを実現できることとなる。

【００８４】２．第２の実施の形態 図５には、本第２の実施の形態についてのブロック図が
示される。また、図６には、これをロールプレイングゲ
ームに適用した仮想体験装置の一例が示される。

【００８５】図５に示すように、本第２の実施の形態
は、本第１の実施の形態のうち操作部３８を、敵キャラ
クターとの対戦用武器５８に変更し、また、この対戦用
武器５８に対戦武器用空間センサ６４を取り付け、更
に、仮想３次元空間演算部７２にゲーム成績演算部６８
を内蔵させたものである。

【００８６】本第２の実施の形態を適用したロールプレ
イングゲームは、図６（ａ）に示すように示すような設
定、即ち、対戦用武器５８、例えば剣６０を所持した複
数のプレーヤ５０、５２等がチームを組んで敵キャラク
ター６６を倒すという設定となっている。そして、それ
ぞれのプレーヤは、本第１の実施の形態と同様の構成の
頭部装着体９を装着しており、画像表示部２０に映し出
された表示画像１０４を見ながら、ゲームプレイを行っ
ている。

【００８７】アトラクションルーム１１０は、その内側
が全てブルーの色に塗られており、これにより前述した
ようなブルーマット合成が可能となる。また、アトラク
ションルーム１１０の天井部には、プレーヤ５０等の３
次元情報を検出する空間センサ１２及び対戦用武器であ
る剣６０の３次元情報を検出する空間センサ６４が取り
付けられている。このアトラクションルーム１１０は、
プレーヤが実際にゲームプレイをするゲーム空間とほぼ
同面積の空間となっており、プレーヤ５０、５２等をこ
のアトラクションルーム１１０を自分自身で歩きなが
ら、敵キャラクター６６を倒してゆくこととなる。

【００８８】図６（ｂ）において、実空間映像１００
は、プレーヤ５０に取り付けられた映像カメラ１０から
の映像であり、同図に示すように、この実空間映像１０
０には、ブルーのアトラクションルーム１１０を背景と
して、自分自身の手５４、目の前にいる第２のプレーヤ
５２等が映し出される。この画像に、前記本第１の実施
の形態と同様の手法により作り出された仮想視界画像１
０２を画像合成し、表示画像１０４を作り出している。
この場合、仮想視界画像１０２には、敵キャラクタ６６
の他に、ゲーム空間を構成する迷路、ドア、床等も共に
表示される。

【００８９】このような構成とすることにより、プレー
ヤ５０は、表示画像１０４を見ながら、第２のプレーヤ
５２と組みながら敵キャラクター６６を倒すことが可能
となる。この場合、第２のプレーヤ５２との連絡は、例
えばスピーカ２２を通じて行う。また、敵キャラクタ６
６を倒したか否かの判定は、剣６０に取り付けられた対
戦武器用空間センサ６４により行う。

【００９０】即ち、対戦武器用空間センサ６４、６４に
より、３次元情報、例えば剣６０の位置及び方向を検出
する。そして、この剣６０の３次元情報を基に、図５に
示す仮想３次元空間演算部７２により、剣６０による敵
キャラクター６６への攻撃が成功したか否かが正確に演
算される。そして、成功した場合には、ゲーム空間おけ
る敵キャラクター６６を消滅させる等して、これをリア
ルタイムにプレーヤ５０、５２等の画像表示装置２０に
表示する。この結果、各プレーヤは、敵キャラクタ６６
が倒れたか否かを確認でき、倒れた場合には、新たな敵
キャラクタ６６を倒すべく次の迷路へと進むこととな
る。このように、本実施の形態では、プレーヤ５０、５
２等の腕前によって、形成されるゲーム空間のゲーム進
行を変えることが可能となり、繰り返しプレイしても飽
きることのない仮想体験装置を提供できることとなる。

【００９１】なお、本実施の形態では、各プレーヤのゲ
ーム成績、即ち敵キャラクター６６を倒した数などが、
前記した対戦用空間センサ６４からの３次元情報を基
に、ゲーム成績演算部６８を用いて演算され、この成績
も各プレーヤの画像表示装置２０等に出力される。これ
により、ゲーム終了後、もしくはゲーム中にリアルタイ
ムで、各プレーヤのゲーム成績、チーム毎のゲーム成績
などを確認することができることになる。この結果、各
プレーヤは、それぞれのプレーヤの腕前をリアルタイム
に競い合うことができるため、ゲームとしての面白さを
飛躍的に増大させることができることとなる。

【００９２】また、本実施の形態では、プレーヤ５０か
ら見える第２のプレーヤ５２の映像情報として、映像カ
メラ１０により撮影される実空間映像を用いたが、本実
施の形態はこれに限られるものではない。即ち、例えば
第２のプレーヤ５２については実空間映像を用いず、仮
想３次元空間演算部７２により合成したキャラクタを用
いて表示してもよい。このようにすれば、ゲームが進行
して敵キャラクター６６を倒すにつれて第２のプレーヤ
を進化させてゆく等の映像効果を得ることができ、より
ゲームの面白さを増すことができる。

【００９３】このように、他のプレーヤの実空間映像を
画像合成したキャラクター画像に変更させる手法として
は以下の手法を用いることができる。例えば、プレーヤ
毎に違う色の戦闘スーツ、つまりアトラクションルーム
１１０の内側と違う色の戦闘スーツを装着させ、本第１
の実施の形態で説明したブルーマット方式と同様の手法
により画像合成を行う。即ち、第２のプレーヤにはレッ
ドの色の戦闘スーツを装着させ、映像カメラ１０から、
このレッドの色の部分のみを前述した手法と同様の手法
により抜き出し、これを空きドットとして設定する。次
に、これに他のプレーヤに重ねて表示させたいキャラク
ター画像を重ね書きすれば、実空間映像１００に、第２
のプレーヤ５２のキャラクター画像が重ね書きされた画
像を得ることができる。その後、この重ね書きした画像
から、今度は、ブルーの色の部分のみを抜き出し、これ
を空きドットに設定し、これに敵キャラクター６６、迷
路等が表示された仮想視界画像１０２を重ね書きする。
この結果、第２のプレーヤ５２がキャラクター画像に変
更した表示画像１０４を得ることが可能となる。なお、
このように第２のプレーヤ５２の画像を変更する手法と
しては、例えば前記したテクスチャマッピング手法を用
いてもよい。

【００９４】また、本実施の形態では、対戦用武器５８
として剣６０を使用しているが、本実施の形態はこれに
限られるものではなく、例えば光線銃等あらゆる対戦武
器を用いることができる。そして、例えば光線銃等を用
いた場合には、プレーヤが光線銃を撃った否かの情報が
必要となるため、この場合は、図５に示すように仮想３
次元空間演算部７２にこの情報が入力され、ゲーム空間
の演算に使用されることとなる。

【００９５】図７（ａ）には、本実施の形態をライド方
式のアトラクション施設に適用した場合の仮想体験装置
が示される。

【００９６】このアトラクションでは、プレーヤ５０、
５２は搬器１１６に搭乗し、この搬器１１６は、アトラ
クションルーム１１０内に敷かれたレール１１８上を移
動してゆく。アトラクションルーム１１０内には、種々
のジオラマ１１４が設けられ、また、アトラクションル
ーム１１０の内側にはブルーの色に塗られた背景マット
１１２が設けられている。そして、プレーヤ５０、５２
は、光線銃６２により敵キャラクタ６６を撃ち落とし
て、ゲームを競い合う。図７（ｂ）には、この場合の画
像合成の様子が示されるが、この画像合成の方式は、本
第１の実施の形態と同様である。

【００９７】本実施の形態を、アトラクション施設に利
用した場合は、主に次のような利点がある。

【００９８】まず、これまでの通常のアトラクション施
設では、一度、アトラクション施設を建設してしまう
と、施設が大がかりで高価なため、そのアトラクション
の内容を変更することは大変困難であった。このため、
プレーヤが何度か同じゲームを繰り返しても飽きられる
ことがないような対策を講ずることが必要とされる。こ
の点、本実施の形態では、ジオラマ１１４を共通としな
がらも、背景マット１１２に映し出されるゲーム空間の
仮想映像を変更させることで、容易にこれに対処するこ
とができる。また、前述したように、仮想３次元空間演
算部７２にゲーム成績演算部６８を設けることにより、
更に、効果的にこれに対処できる。

【００９９】即ち、各プレーヤが撃ち落とした敵キャラ
クター６６の数をリアルタイムにゲーム成績演算部６８
で演算し、この撃ち落とした敵キャラクター６６の数に
応じて、つまりプレーヤの腕前に応じて各プレーヤの画
像表示装置２０に表示させる仮想画像１０２を変化させ
る。例えば、腕前の高いプレーヤに対しては、仮想視界
画像１０２に映し出される敵キャラクター６６の数を増
やし、また、表示する敵キャラクタ−６６を強力なもの
とする。更に、仮想視界画像１０２上に表示させるゲー
ム空間のコースを、あらかじめ幾種類か設けておき、ゲ
ーム成績に応じて、いずれかのコースが選択されるよう
な構成としてもよい。これにより、このアトラクション
施設に乗るプレーヤは、何度乗っても違うゲームの仮想
体験をすることができ、繰り返しプレーしても飽きるこ
とのないアトラクション施設を提供できることとなる。

【０１００】本実施の形態の、もう一つの利点は、この
ように飽きのこないアトラクション施設を実現できるに
も関わらず、アトラクションルーム内のジオラマ１１４
等については実空間画像を用いることができるため、よ
り現実感溢れるアトラクションを実現できることにあ
る。

【０１０１】例えば、搬器１１６がいわゆるジェットコ
ースタータイプのものであった場合、プレーヤから見え
るジオラマ１１４が実空間映像である方のが、プレーヤ
にとってよりスリリングで、スピード感溢れるアトラク
ションを実現できる。即ち、ユーザーから見える視界映
像が全て画像合成により作り出したものであると、ジェ
ットコースターが本来もつスピード、緊張感、迫力を十
分に再現できないからである。この点、本実施の形態で
は、隣にいる他のプレーヤの顔も実空間映像として見る
ことができ、よりジエットコースターが本来もつ機能を
発揮させることができる。

【０１０２】また、ジオラマ１１４が、プレーヤの手に
触れるものである場合も、その映像は実空間映像である
場合の方が、より臨場感溢れるアトラクションを提供で
きる。この点については、例えば、図８に示すような本
実施の形態を適用したアトラクションに示される。。

【０１０３】図８に示すアトラクションは、宇宙船１３
４による飛行及び戦闘を疑似的に体験できるアトラクシ
ョンである。

【０１０４】このアトラクションでは、図８（ａ）に示
すように、複数のプレーヤが、宇宙船１３４の宇宙船キ
ャビン１２０内に乗り込む。宇宙船キャビン１２０内
は、本物の宇宙船内に極めて似せて作られており、例え
ば操縦席、戦闘席等が設けられている。この場合、特に
プレーヤが直接に触る操縦桿１３２、操作盤１３０は、
戦闘砲１４４は、極めて本物に似せて精巧に作られてい
る。

【０１０５】宇宙船キャビン１２０内に乗り込んだプレ
ーヤは、それぞれの役割に従って、操縦士、副操縦士、
射撃手として操縦席、戦闘席等に配置される。そして、
操縦席に配置された操縦士１４６、副操縦士１４７は、
操縦席用窓１２２に前述したブルーマット方式により映
し出された隕石１４０等を避けながら操縦桿１３２、操
作盤１３０等により宇宙船１３４の操縦を行う。この場
合、本実施の形態では、前述したように各プレーヤに空
間センサ１２を取り付け、各プレーヤ毎に視界方向を演
算し、この演算により得られた視界画像を画像表示装置
２０に表示している。この結果、宇宙船１３４に近づい
てくる隕石１４０の見え方が、操縦士１４６、副操縦士
１４７、射撃手１４８とで異なって見えるように設定で
きるため、より臨場感、現実感溢れるアトラクションを
提供できることとなる。更に、操縦士１４６、副操縦士
１４７は、本物に極めて似せて作られた操縦桿１３２、
操作盤１３０を操作しながら宇宙船を操縦できるため、
本物の宇宙船を操縦しているかのような感覚でプレイで
きることとなる。

【０１０６】戦闘席に配置された射撃手１４８、１４９
は、対戦用武器である戦闘砲１４４により、左側窓１２
４、右側窓１２５にブルーマット方式により映し出され
る宇宙船１４２を撃ち落とす。この場合のゲーム成績
は、ゲーム成績演算部６８により演算されて、ゲーム中
にリアルタイムに、もしくはゲーム終了後に全員の乗組
員のゲーム結果として表示されることになる。

【０１０７】なお、図８（ｂ）に示すように、プレーヤ
が乗り込む宇宙船１３４は、油圧等を用いた姿勢制御部
１３８により、ゲーム進行及びプレーヤの操作信号に応
じて姿勢、加速Ｇが制御され、より現実感が増すような
構成となっている。

【０１０８】このように、本実施の形態では、それぞれ
のプレーヤが異なる役割について、極めて本物に近い宇
宙船内で一体となってプレーできるため、飽きのこない
臨場感溢れるアトラクションを提供できることとなる。

【０１０９】なお、以上に説明した実施の形態では画像
表示部２０と画像合成部（図５における仮想視界画像演
算装置７０、表示画像合成装置８０等）が別々の場所に
配置され、接続線１８によりこれを接続する構成として
いたが、本実施の形態はこれに限らず、画像合成部も含
めて全て画像表示部２０に内蔵させる構成としても良い
し、図９に示すように、双方向無線機１６０を用いてこ
れを接続する構成としてもよい。

【０１１０】この歩行型アトラクションは、図９
（ａ）、（ｂ）に示すように頭部装着体９、双方向無線
機１６０、光線銃６２を装備したプレーヤ５０が、迷路
１５０内を自分で進みながら敵キャラクター６６を倒す
という設定のアトラクションである。このように迷路１
５０内を自ら進んで行くようなアトラクションでは、プ
レーヤの動きに、より自由度をもたせることが望まし
い。従って、本実施の形態では、画像合成部との接続
を、双方向無線機１６０により行なっている。なお、こ
の場合の双方向無線の方法としては、例えば赤外線等を
用いても構わない。

【０１１１】ここで、迷路１５０には、窓１５２、絵１
５４、エレベータ１５６、ドア１５８などが設けられて
いる。そして、窓１５２には全面にブルーマットが敷か
れ、絵１５４には、敵キャラクタ−６６が現れる部分の
みにブルーマットが敷かれている。

【０１１２】また、エレベータ１５６、ドア１５８は、
その内部がブルーに塗られている。これにより、プレー
ヤ５０がエレベータボタンを押してエレベータを開けた
際に、もしくは、ドアのノブを回してドアを開けた際
に、その中から敵キャラクター６６が飛び出してくるよ
うな構成とすることが可能となり、おばけ屋敷のような
ゲームのアトラクションに最適なものとなる。なお、こ
の場合も本実施の形態では、エレベータのボタン、ドア
のノブ等は本物のものを用いており、プレーヤ５０もそ
の実映像を見ながら操作できるため、より現実感溢れる
仮想世界を楽しむことができることとなる。

【０１１３】３．第３の実施の形態 図１０には、本第３の実施の形態についてのブロック図
が示される。また、図１１には、これをゴルフに適用し
た仮想体験装置の一例が示される。なお、ここでは仮に
ゴルフに適用した場合について示したが、本実施の形態
はこれに限定されず種々のスポーツに適用できる。

【０１１４】図１０に示すように、本第３の実施の形態
は、本第１の実施の形態のうち操作部３８を、ボール映
像カメラ８４、８６及び移動体検出装置８８、９０に変
更したものであり、主にボールを用いた球技に好適な実
施の形態である。

【０１１５】図１１（ａ）には、本第２の実施の形態を
適用したインドアゴルフの一例が示される。この実施の
形態は、プレーヤ５０が、プレイルーム１６２内におい
て、本物のゴルフとほぼ同様の感覚で仮想世界を体験す
ることができる仮想体験装置に関するものである。

【０１１６】図１１（ａ）において、プレイルーム１６
２内は全てブルーの色に塗られており、プレーヤ５０
は、第１の実施の形態と同様の構成の頭部装着体９を装
着している。そして、プレーヤ５０は、本物のゴルフコ
ースにいるような感覚で、本物のゴルフクラブ１６４を
用いて、本物のゴルフボール１６６のショットを行う。

【０１１７】この場合、プレイルーム１６２内には、仮
想３次元空間演算部７２により作り出されたゴルフコー
スの画像が画像表示装置２０を介して映し出され、プレ
ーヤ５０は、あたかも本物のゴルフコースにいるような
感覚を持つことができる。そして、プレーヤ５０が前を
向くと、その視線方向には、図１１（ｂ）に示すよう
に、ゴルフコースのグリーン１６２を示した仮想視界画
像１０２が映し出されている。

【０１１８】そして、プレーヤ５０がゴルフボール１６
６のショットを行うと、ショットされたゴルフボール１
６６は、ボール映像カメラ８４、８６により撮影され
る。そしてこの撮影映像に基づいて移動体検出装置８
８、９０によりゴルフボール１６６の重心座標が演算さ
れ、このデータに基づき、その後のゴルフボール１６６
の軌道を推定して演算する。次に、仮想３次元空間演算
部７２にて、この推定されたゴルフボール１６６の軌道
データに基づき、仮想世界に設定されたゴルフコース上
にゴルフボールの軌道を描き、これを実空間映像１００
と画像合成して画像表示装置２０に画像表示する。これ
によりプレーヤ５０は、自分のショットしたゴルフボー
ル１６６がグリーン１６２に向かって飛んでゆく様子
が、表示画像１０４により見ることができることとな
る。

【０１１９】次に、ゴルフボール１６６の移動体検出の
手法について説明する。

【０１２０】ボール映像カメラ８６、８９は、ゴルフボ
ール１６６を連続撮影するものであり、図１１（ａ）に
示すように、プレイルーム１６２内の、異なる位置、異
なる撮影アングルにて設定される。そしてこの撮影デー
タは、移動体座標検出部８８、９０内のデータ抽出部９
２、９４にコマ送りフレームデータとして入力される。
データ抽出部９２、９４では、背景処理によりボールの
撮影データのみが抽出される。即ち、ゴルフボール１６
６の映っていないフレームデータと映っているフレーム
データとの差分を求め、これをフレームバッファと呼ば
れる画像メモリに重ね書きしてゆく。これにより、結果
としてゴルフボール１６６の映像のみが映し出された画
像データを得ることができる。

【０１２１】次に、得られたこの画像データから、座標
検出部９６、９８において、ゴルフボール１６６の位
置、例えば重心位置の２次元座標を求められ、仮想３次
元空間演算部７２に出力される。

【０１２２】仮想３次元空間演算部７２では、移動体検
出装置８８、９０で検出された、ゴルフボール１６６の
２つの２次元座標から、仮想３次元空間内での３次元座
標を求める。即ち、仮想３次元空間演算部７２には、ボ
ール映像カメラ８４、８６の仮想３次元空間内での設定
位置、設定アングルがあらかじめ記憶されており、この
記憶データと、検出された２つの２次元座標から、仮想
３次元空間内での３次元座標を求めることが可能とな
る。そして、この求められた３次元座標から、仮想３次
元空間でのゴルフボール１６６の軌道を、例えばスプラ
イン補間等を用いて演算し、ゴルフコースの背景データ
と共に、視界画像演算部７６に出力する。

【０１２３】なお、ゴルフボール１６６の軌道の推定の
手法としては、上記したものに限らず種々の手法を用い
ることができる。例えば、打った方向と、インパクトの
時の初速からこれを推定してもよいし、打った瞬間の音
等のよりこれを推定してもよい。

【０１２４】また、例えばプレーヤ５０の切り替え信号
により、プレーヤ５０から見た映像のみならず、例えば
グリーン１６２から見た映像を画像表示装置２０に表示
することも可能である。即ち、これを行うには、視界画
像演算部７６で視点変換を行う際に、視点位置をグリー
ン１６２上に設定すればよい。このようにすれば、プレ
ーヤ５０は、実際にゴルフボール１６６がグリーン１６
２に飛んで行く様子と、ゴルフボール１６６がグリーン
１６２に飛んで来る様子を同時に見ることができ、現実
のゴルフプレイでは得られないプレイ感覚を楽しむこと
ができることとなる。

【０１２５】以上の構成の本実施の形態によれば、プレ
ーヤ５０は、プレイルーム１６２内にて、実際にゴルフ
コースにいるような感覚でゴルフを楽しむことができ
る。特に、この種のボールを用いた競技、例えばゴルフ
においては、クラブ１６４によりゴルフボール１６６を
ショットした瞬間をプレーヤ５０が正確に認識する必要
がある。即ち、このショットした瞬間のクラブ１６４、
ゴルフボール１６６を、例えば画像合成により作り出し
たのでは、プレイ感覚が著しく悪化し、現実感も減退し
てしまい、更に、正確なスポーツプレーを再現すること
ができない。

【０１２６】これに対して、本実施の形態では、ゴルフ
クラブ１６４、ゴルフボール１６６、自分のスイング等
を、映像カメラ１０を通じて得られた実空間映像により
見ることができるため、このような問題が生じず、より
正確で、現実感溢れるゴルフプレーを楽しむことができ
ることとなる。従って、例えば、球技練習用の仮想体験
装置として最適なものとなる。

【０１２７】なお、本実施の形態は上記実施の形態に限
定されるものではなく、本発明の要旨の範囲内において
種々の変形実施が可能である。

【０１２８】例えば、本実施の形態においては、仮想視
界画像と実空間映像とを画像合成する手法としてブルー
マット方式を用いたが、本発明における画像合成はこれ
に限られるものではない。例えばブルー以外の色を用い
たもの、多数の色を用いてこれを複合させて画像合成す
るもの、テクスチャマッピングを用いたもの等、種々の
手法を使用することができる。

【０１２９】また、本発明が適用される仮想体験装置
も、本実施の形態に示したものに限らず種々の体験装置
に適用することができる。例えば、ヘリコプターのフラ
イトシュミレータ、仮想的な人体手術体験装置、仮想ス
タジオ、仮想動物園、仮想設計システム、仮想電話、仮
想通信会議、仮想野球体験装置、仮想スキー、仮想サッ
カー等、種々の体験装置に適用することが可能である。

【０１３０】

【図面の簡単な説明】

【図１】本発明の第１の実施の形態の構成を示すブロッ
ク図である。

【図２】第１の実施の形態をドライビングゲームに適用
した場合について示す概略説明図である。

【図３】第１の実施の形態をフライトシュミレータに適
用した場合について示す概略説明図である。

【図４】頭部装着体の形状について示す概略説明図であ
る。

【図５】本発明の第２の実施の形態の構成を示すブロッ
ク図である。

【図６】第２の実施の形態をロールプレイングゲームに
適用した場合について示す概略説明図である。

【図７】第２の実施の形態をライド方式のアトラクショ
ンに適用した場合について示す概略説明図である。

【図８】第２の実施の形態を宇宙船体験のアトラクショ
ンに適用した場合について示す概略説明図である。

【図９】第２の実施の形態を歩行型アトラクションに適
用した場合について示す概略説明図である。

【図１０】本発明の第３の実施の形態の構成を示すブロ
ック図である。

【図１１】第３の実施の形態をゴルフ体験装置に適用し
た場合について示す概略説明図である。

【図１２】本実施の形態における座標変換について説明
するための概略説明図である。

【図１３】表示画像合成装置の構成の一例を示す概略ブ
ロック図である。

【図１４】サイドミラーに画像を表示する手法について
説明するための概略説明図である。

【図１５】テクスチャマッピング手法により、相手プレ
ーヤの顔に実空間映像をはりつける手法について説明す
る概略説明図である。

【図１６】テクスチャマッピング手法を実現するための
構成の一例を示す概略ブロック図である。

【符号の説明】

９ 頭部装着体 １０ 映像カメラ １２ 空間センサ ２０ 画像表示装置 ３８ 操作部 ５０ プレーヤ ５８ 対戦用武器 ６４ 対戦武器用センサ ６８ ゲーム成績演算部 ７０ 仮想視界画像演算装置 ７２ 仮想３次元空間演算部 ７６ 視界画像演算部 ８０ 表示画像合成装置 ８４、８６ ボール映像カメラ ８８、９０ 移動体検出装置 １００ 実空間映像 １０２ 仮想視界画像 １０４ 表示画像

フロントページの続き (51)Int.Cl.⁶ 識別記号 ＦＩ Ｆ４１Ｊ 9/14 Ｆ４１Ｊ 9/14 Ｇ０９Ｂ 9/30 Ｇ０９Ｂ 9/30 // Ｇ０６Ｔ 15/00 Ｇ０６Ｆ 15/62 ３６０

Claims (3)

【特許請求の範囲】
1. 【請求項１】 操作者の実３次元空間における３次元情
   報を検出する操作者用空間センサと、 前記操作者用空間センサからの検出信号に基づいて、前
   記実３次元空間に配置されたミラー部材に表示される仮
   想視界画像を画像演算する仮想視界画像演算手段と、 前記仮想視界画像を前記ミラー部材上に表示する手段
   と、 を含むことを特徴とする画像合成装置。
2. 【請求項２】 請求項１において、 前記仮想視界画像演算手段は、 仮想３次元空間における操作者から前記ミラー部材上に
   仮想的に見える仮想視界画像を画像演算することを特徴
   とする画像合成装置。
3. 【請求項３】 請求項１、２のいずれかの画像合成装置
   を含むことを特徴とする仮想体験装置。