JP3847634B2 - 仮想空間シミュレーション装置 - Google Patents
仮想空間シミュレーション装置 Download PDFInfo
- Publication number
- JP3847634B2 JP3847634B2 JP2002037609A JP2002037609A JP3847634B2 JP 3847634 B2 JP3847634 B2 JP 3847634B2 JP 2002037609 A JP2002037609 A JP 2002037609A JP 2002037609 A JP2002037609 A JP 2002037609A JP 3847634 B2 JP3847634 B2 JP 3847634B2
- Authority
- JP
- Japan
- Prior art keywords
- person
- experience person
- trackball
- virtual space
- housing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Processing Or Creating Images (AREA)
- Position Input By Displaying (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、体験者が仮想空間内を自由に動き回れるように構成された仮想空間シミュレーション装置に関し、特に、体験者がほぼ自然な感覚で行動できるようにするためのインターフェイスを備えた仮想空間シミュレーション装置に関する。
【０００２】
【従来の技術】
従来、ドライブシミュレータ、フライトシミュレータ、各種ゲーム装置、システムキッチンなどに応用されている仮想空間シミュレーション装置は、体験者の動作に応じて映像及び音声・衝撃を表現することにより、体験者が仮想空間内に実際に存在し行動しているかのように錯覚させるものである。このような映像を体験者に表示するためのディスプレイ装置としては、特開平4-204842号公報に開示されているような、体験者の全方位（前後左右上下）に配置したディスプレイ装置が典型的である。また、頭部に装着可能なヘッド・マウンテッド・ディスプレイ（Head Mounted Display、以下「HMD」と呼ぶ）をディスプレイ装置として用いることも一般的である。これらのディスプレイ装置によって映像と音声を同期させて出力することにより、体験者に臨場感溢れる仮想空間を体験させることが可能である。
【０００３】
このような仮想空間シミュレーション装置において、例えば、体験者が手元のコントローラ等を操作して前進、後進及び転回等の動作を命令するのに応じて、コンピュータがこれらの動作に対応する映像及び音声をディスプレイ装置に表現するようにすれば、体験者を仮想空間内で現実に行動しているように感じさせることができる。しかしながら、この方法では、体験者が知覚する映像及び音声が変化するのみであり、体験者自身が行動しているという感覚は得られない。
【０００４】
そこで、装置上で体験者自らが歩行や転回などの動作したとき、これらの動作及び移動量等を検知して、これに応じた映像をディスプレイ装置に表現することができるような歩行インターフェイスを備えることにより、体験者により自然な行動感覚を与える仮想空間シミュレーション装置が提案されている。
【０００５】
特開平7-110650号及び特開平7-129789号に開示されたシミュレーション装置は、ディスプレイ装置を含む円柱状筐体の内部で体験者が歩行すると、円柱状筐体が回転するとともにその動作に応じた映像が体験者に表示されるような歩行インターフェイスを有する。しかしながら、このシミュレーション装置では、体験者は前方に向かっては自然な感覚で歩行することができるが、他の方向への移動及び転回は自由に行うことができず、無理にそのような動作を取ろうとすると筐体に体がぶつかってしまう危険がある。
【０００６】
特開平7-200162号に開示されたシミュレーション装置は、体験者が一定箇所で足踏みするのを検出し、移動量を計算し、これに応じてディスプレイ装置の表示を制御するインターフェイスを備えている。しかしながら、このような一定箇所での足踏み動作は足で床を蹴り前方に推進力を得るという歩行の動作とは異なるものであるから、体験者が仮想空間を歩行しているという感覚は十分には得られない。
【０００７】
特開平 8-280843 号に開示されたシミュレーション装置は、特殊構造のベルト上を体験者が歩行でき、また前後左右自在に移動することができるように構成された歩行インターフェイスを有する。しかしながら、この歩行インターフェイスでは、ベルトの摩擦が大きい等の理由により、体験者が歩行によって得る推進力を十分に相殺することは困難であるため、体験者は自然な歩行感覚を得ることができないばかりか、無意識のうちに筐体から足を踏み外してしまう危険さえもある。また、このように構造が複雑な歩行インターフェイスでは、体験者が歩行の際にベルトを蹴る力などから移動量を計算することが困難である。
【０００８】
特開平10-55132号に開示されたシミュレーション装置は、左右一対の歩行板に体験者の足をそれぞれ固定し、左右の足を交互に前後移動させることができるように構成された歩行インターフェイスを有する。しかしながら、この歩行インターフェイス自体は不動であり、体験者の位置を一定に保つために、接地している方の足を後方に引き戻すようになっている。このため、地面を蹴って前方に推進力を得るような歩行動作を行うことはできず、また、歩行板が制動されることにより足を動かす際に負荷が生じてしまう。したがって、この装置でも体験者は十分に自然な歩行感覚を得ることはできない。
【０００９】
【発明が解決しようとする課題】
上に述べた従来の仮想空間シミュレーション装置では、体験者の歩行等の動作を仮想空間内にフィードバックするための歩行インターフェイスが設けられているが、地面を蹴って前方に推進力を得るという自然な感覚の歩行動作を行うことができるようにはなっていない。また、体験者の動作は歩行及び走行に限定されており、その他の動作、例えば、転回、ジャンプ、しゃがむ動作などについては全く考慮されていない。さらに、これらの装置では、歩行及び走行時の体験者の安定性が十分に確保されていないという問題もある。したがって、本発明の目的は、体験者が、前後左右の自由な方向に自然な感覚で安定して歩行及び走行、さらにはジャンプやしゃがむなどの動作を行うことができる仮想空間シミュレーション装置を提供することである。また、大規模な装置や複雑な構造を必要とせずに、体験者の様々な動きを的確に検出し、これをディスプレイ装置の映像にフィードバックすることができる仮想空間シミュレーション装置を提供することである。
【００１０】
【課題を解決するための手段】
上記目的を達成するため、本発明は、ディスプレイ上に表示される仮想空間において、体験者が自由に行動することが可能なシミュレーション・システムであって、前記仮想空間を表示するためのディスプレイ手段と、体験者が掴まるための固定された筐体と、体験者の位置を検出する手段と、体験者の移動量及び移動方向を検出する手段と、検出された体験者の位置、移動量及び移動方向に基づいて、前記ディスプレイ手段の表示を制御する手段と、を備えることを特徴とするシミュレーション・システムを提供する。
【００１１】
本発明の第1の実施形態は、ディスプレイ装置に表示される仮想空間において、体験者が自由に行動することが可能なシミュレーション装置であって、前記仮想空間を表示するためのディスプレイ装置と、体験者が前記仮想空間で行動する際に掴まる把手を有し、体験者が実際に行動する床面上に固定配置される柱状の筐体と、該筐体に取り付けられ、該筐体又は前記床面に対する体験者の位置状態を検出するためのセンサ装置と、体験者が前記仮想空間で行動するに際して体験者に装着され、底面から一部周面を前記床面に対し当接可能に臨ませたトラックボール、並びに当該トラックボールの回転量を検出する回転量検出器が備えられている左右１対のシューズと、該シューズに設けられ、当該シューズの方向を検出する方向検出器と、前記ディスプレイ装置、前記センサ装置、前記回転量検出器、及び前記方向検出器と通信接続され、前記センサ装置の検出情報から前記筐体又は前記床面に対する体験者の位置状態を決定し、前記回転量検出器の検出情報から体験者の移動量を決定し、前記方向検出器の検出情報から体験者の移動方向を決定し、当該決定した体験者の位置状態、移動量、及び移動方向に基づいて前記ディスプレイ装置の表示を制御する制御装置とを備えていることを特徴とする。
【００１２】
前記ディスプレイ装置には、体験者の前後左右、天井及び床面に設置したスクリーンを用いることができる。また、前記ディスプレイ装置は、体験者が頭部に装着可能なヘッド・マウンテッド・ディスプレイ（HMD）であってもよい。
前記センサ装置は、前記筐体上部に取り付けられた上部センサと、前記筐体下部に取り付けられた下部センサとを含んでいるのが好ましい。上部センサは体験者の上半身を検出し、下部センサは体験者の足元を検出するためのものである。
【００１３】
前記トラックボールは駆動可能であり、前記制御装置からの信号により駆動されるようになっているのが好ましい。さらに、前記制御装置には、前記トラックボールの回転量に基づく所定の擦動相殺回転量をあらかじめ記憶させておき、体験者の歩行中は常に、擦動相殺回転量分、前記トラックボールを現在の回転方向に駆動する。すなわち、前記トラックボールと床面との擦動による体験者のわずかな移動をほぼ相殺するようにトラックボールを駆動して、体験者が歩行中でもほぼ同じ位置に留まるようにすることができる。
【００１４】
前記筐体は体験者が掴まるための把手を有し、前記センサ装置は前記把手にかかる荷重を検出する感圧スイッチを備えることにより、体験者が把手に掴まっているかどうかを検出できるようになっているのが好ましい。
本発明のシミュレーション装置は、さらに、前記制御手段と通信可能な操作スイッチを備え、体験者が前記操作スイッチにより前記シミュレーション装置を操作できるようになっているのが好ましい。
【００１５】
本発明の第2の実施形態は、ディスプレイ装置に表示される仮想空間において、体験者が自由に行動することが可能なシミュレーション装置であって、前記仮想空間を表示するためのディスプレイ装置と、複数の回転自在なトラックボールが一部周面を表面に臨ませて整列して配置されているとともに、該トラックボールの回転量及び回転方向を検出する回転量検出器を有する、体験者が実際に行動する床面と、体験者が前記仮想空間で行動する際に掴まる把手を有し、該床面上に固定配置された柱状の筐体と、該筐体に取り付けられ、該筐体又は前記床面上に対する体験者の位置状態を検出するためのセンサ装置と、前記ディスプレイ装置、前記センサ装置、及び前記回転量検出器と通信接続され、前記センサ装置の検出情報から前記筐体又は前記床面に対する体験者の位置状態を決定し、前記回転量検出器の検出情報から体験者の移動量及び移動方向を決定し、当該決定した体験者の位置状態、移動量、及び移動方向に基づいて前記ディスプレイ装置の表示を制御する制御装置とを備えていることを特徴とする。
前記回転量検出器は、前記トラックボールにかかる荷重を検出する感圧スイッチを備えることにより、体験者の足が設置しているかどうかを検出できるようになっているのが好ましい。
【００１６】
本発明の第3の実施形態は、ディスプレイ装置に表示される仮想空間において、体験者が自由に行動することが可能なシミュレーション装置であって、前記仮想空間を表示するためのディスプレイ装置と、体験者が実際に行動する床面に設けられた感圧パッドと、体験者が前記仮想空間で行動する際に掴まる把手を有し、該感圧パッドを表面に備えた前記床面上に固定配置された柱状の筐体と、該筐体に取り付けられ、該筐体又は前記床面上に対する体験者の位置状態を検出するためのセンサ装置と、体験者が前記仮想空間で行動するに際して体験者に装着され、底面から一部周面を前記床面に対し当接可能に臨ませたトラックボールが備えられている左右１対のシューズと、前記ディスプレイ装置、前記感圧パッド、及び前記センサ装置と通信接続され、前記センサ装置の検出情報から前記筐体又は前記床面に対する体験者の位置状態を決定し、前記感圧パッドの検出情報から体験者の移動量及び移動方向を決定し、当該決定した体験者の位置状態、移動量、及び移動方向に基づいて前記ディスプレイ装置の表示を制御する制御装置とを備えていることを特徴とする。
【００１７】
本発明の第4の実施形態は、ディスプレイ装置に表示される仮想空間において、体験者が自由に行動することが可能なシミュレーション装置であって、前記仮想空間を表示するためのディスプレイ装置と、前記シミュレーション装置に固定された筐体と、左右1対のシューズであって、それぞれ底面に1個以上の回転自在なトラックボール又はローラ部材と1個以上の認識用部材とを有するシューズと、前記シミュレーション装置に固定され、前記認識用部材を認識可能なカメラ部材と、前記ディスプレイ装置及び前記カメラ部材と通信可能な制御装置と、を備え、前記制御装置は、前記カメラ部材の検出情報から体験者の位置を決定し、前記カメラ部材の検出情報から体験者の移動量及び移動方向を決定し、前記体験者の位置、移動量及び移動方向に基づいて前記ディスプレイ装置の表示を制御することを特徴とする。
【００１８】
なお、第2、第3及び第4実施形態においても、第1実施形態と同様に、筐体に取り付けたセンサ装置により体験者を検出し、このセンサ装置の検出情報、及び前記回転量検出器／感圧パッド／カメラ部材の検出情報のいずれか一方又は両方に基づいて、体験者の位置を決定するようにしてもよい。
【００１９】
【発明の実施の形態】
以下、添付図面を参照しながら本発明の実施の形態を詳細に説明する。なお、本文中、同一の符号は同一又は類似の部材を表す。
まず、本発明のシミュレーション装置の第1実施形態の構成を図１〜５に示す。図１は、本実施形態の全体構成を概略的に示す。本実施形態のシミュレーション装置は、床面に固定されたほぼ円柱状の筐体1、体験者100の頭部に装着可能なHMD21又は筐体1の周囲に設置されたスクリーン22、及び体験者100の足に装着可能なシューズ31からなる。以下に、各構成部分を詳細に説明する。
【００２０】
筐体1は、体験者100が掴まって体勢を保持するための把手2、体験者100の位置を検出するための上部センサ3及び下部センサ4、把手2にかかる荷重を検出するための感圧スイッチ5、並びに体験者100がシミュレーション装置を操作するための操作部6を備えている。
【００２１】
図１に示すように、リング状の把手2は、体験者100が掴まりやすい高さ、例えば胸から腰までの間の高さで筐体1の周囲に取り付けられており、体験者100が筐体1に対してどのような方向にいても、把手2に片手又は両手で掴まることができるようになっている。また、把手2は筐体1に固定されているので、体験者100はこれに掴まることにより、常に体勢の安定を保つことができる。
【００２２】
上部センサ3及び下部センサ4は、それぞれ筐体1の円周面上に、一定間隔で帯状に配置された複数のセンサからなり、体験者100が筐体1に対してどのような方向にいても検出できるようになっている。また、上部センサ3は、体験者100が通常に直立、歩行等しているときには検出するが、しゃがみ込んだときには検出しないような高さ、例えば頭部から胸部までの間の高さに設置され、また下部センサ4は、体験者100が通常に直立、歩行等しているときには検出するが、足を上げたりジャンプしたときには検出しないような高さ、例えば足首付近の高さに設置されている。
【００２３】
本発明のシミュレーション装置に用いるこれらのセンサ3及び4は、例えば、自動ドア、家電製品のリモコン、産業用機器等に広く用いられている、赤外線センサ、光電センサ及びCCDカメラセンサ等を用いることができる。また、体験者が胸部付近及び足元に特定波長の発光素子等を含む装着具を装着すれば、これらのセンサによる検出精度を向上することができる。さらに、赤外線センサ又はCCDカメラセンサを測距センサとして用いることにより、体験者の位置をより正確に把握することが可能となる。このような測距センサは、カメラのオートフォーカス機能などに広く応用されている。
【００２４】
筐体1の感圧スイッチ5は、体験者100が把手2を掴んでいるかどうかを検出する。平均的な体験者100の手の重みに基づいた所定の検出荷重をあらかじめ設定しておくことにより、体験者100が把手2に掴まると、感圧スイッチ5がこれを検出するようにすることができる。
【００２５】
操作部6は、筐体1の頂部など体験者100が操作しやすい位置に設置されており、ボタンやスイッチ等により本シミュレーション装置の作動、停止、各種設定その他の操作を行うことができるようになっている。ここで、操作部6は筐体1に付属している例を示しているが、操作部6を独立したリモートコントローラとし、これを体験者100が手に持って、又は体に装着して操作を行うようにすることもできる。例えば、体験者100が独立した操作部6を備えた杖を持つようにしてもよい。
【００２６】
本発明では、体験者100に仮想空間を表示するためのディスプレイ装置として、図１に示すように、HMD21又は筐体1の周囲に設置したスクリーン22を用いる。また、図には示していないが、スピーカを設置して映像に同期した音声を再生することにより、さらにシミュレーション効果を高めることができる。
HMD21は、本発明シミュレーション装置から映像信号を受信し、これを体験者100の視野をほぼカバーしている映像表示部に表示することにより、体験者100はHMD21に表示される仮想空間内に存在しているような感覚を得ることができる。
【００２７】
一方、本実施例のスクリーン22は、複数の平面型スクリーンからなるマルチスクリーンである。図１には2面の平面型スクリーンしか示してはいないが、本実施例のスクリーン22は、さらに2面の平面型スクリーン22を有し、前後左右4面からなる。これらの各平面型スクリーンには、例えば、後方のプロジェクタから映像を投影するリア・プロジェクション・タイプの投影スクリーンを用いることができる。しかしながら、本シミュレーション装置のスクリーン22はこれに限定されるわけではなく、例えば円筒状スクリーンを用いることもできる。また、天井面にもスクリーンを設置してもよい。
【００２８】
図２は、本発明のシミュレーション装置内で体験者100が装着するシューズ31の拡大図である。シューズ31は、トラックボールにかかる荷重を検出するための感圧スイッチ32、シューズ31の方向を検出するための方向検出器33及びトラックボール・ユニット41を備えている。
【００２９】
シューズ31の感圧スイッチ32は、筐体1の感圧スイッチ5と同様な構造であり、トラックボール・ユニット41のトラックボールに一定以上の荷重がかかっているのを検出する。シューズ31を装着した体験者100の足が床面に接地しているときには、体験者100の体重がトラックボールを介して感圧スイッチ5に荷重を与えるので、平均的な体験者100の体重を基準に所定の検出荷重をあらかじめ設定しておけば、体験者100が足を床面に接地しているかどうかを検知することができる。
【００３０】
方向検出器33には、例えば、振動ジャイロ、圧電素子及び方位磁針からなるジャイロセンサを用いることができる。このジャイロセンサにおいて、振動ジャイロがシューズ31の角速度の変化を検出すると、圧電素子に電流が流れ、これがシューズ31の方向変化の信号に変換されるようになっている。また、方位磁針は随時シューズ31の方向を信号に変換して発するようになっている。これらの信号は、後述するように、トラックボール・ユニット41の回転量検出器44又は48を介して制御装置に送信される。
図３及び４はトラックボール・ユニット41の例を示す透過斜視図である。これらは、基本的にはパーソナル・コンピュータのマウス等に広く用いられているトラックボールと同じ構造である。
【００３１】
図３は、機械式トラックボール・ユニット41を示す。トラックボール42は、2つのゴムローラ43及び支持ローラ47の3点に接しながら回転する。トラックボール42の回転方向を検出するためには、まず、x軸及びy軸からなるシューズ31底面と平行な平面直行座標軸をシューズ31に与えておく。例えば、シューズ31のつま先方向にx軸を取り、このx軸と直行しかつシューズ31底面に平行な方向にy軸を取ればよい。次に、2つのゴムローラ43を、それぞれがx軸及びy軸方向の回転を検出するような位置に配置する。このように構成されたトラックボール・ユニット41において、トラックボール42が回転すると、この回転はx軸及びy軸方向に分解され、それぞれゴムローラ43の回転に変換される。さらにトラックボール・ユニット41は、各ゴムローラ43の回転量を検出するための回転量検出器44を備えており、これらによりトラックボール42のx軸及びy軸方向の回転量を検出することができるようになっている。また、各ゴムローラ43はモータ45及びギア46を備えており、モータ45を駆動することによりギア46を介してゴムローラ43を回転させることができるようになっている。2つのモータ45を用いてx軸及びy軸方向のゴムローラをそれぞれ任意の回転量で回転させることにより、トラックボール42をあらゆる方向に回転させることができる。
【００３２】
図４は、光学式トラックボール・ユニット41を示す。トラックボール42、ゴムローラ43、モータ45、ギア46及び支持ローラ47は、図３に示した機械式トラックボール・ユニットと同様に構成されており、シューズ31にはx軸及びy軸からなるシューズ31底面と平行な平面直行座標系が与えられている。この光学式トラックボール・ユニット41の回転量検出器48は光学式センサであり、LED等により赤外線を発光し、その反射光を感知することができるようになっている。トラックボール42には赤外線感光素子がドット状に配置されており、これらにより反射される反射光の動きを光学式センサが読み取ることにより、トラックボール42の回転量及び回転方向を検出することができる。トラックボール42の回転量及び回転方向は、上記の機械式トラックボール・ユニットと同様、シューズ31に与えられたx軸及びy軸からなる座標系によって表される。
【００３３】
本発明のシミュレーション装置は、筐体1のセンサ装置3及び4、感圧スイッチ5及び操作部6、HMD21又はスクリーン22、シューズ31のトラックボール・ユニット41と通信可能であり、これらの装置類から検出信号を受信するとともに、これらの装置類に制御信号を送信して制御する制御装置を備えている。図５に示すブロック図を用いて、この制御装置が各装置類を制御する方法を説明する。ここで制御装置には、CPU、メインメモリ及び主記憶装置からなるコンピュータを用いる。図５において、検出情報処理装置、中央演算処理装置、映像出力系演算処理装置及び音声出力系演算処理装置、制御装置のCPUに含まれる。主記憶装置には、HMD21又はスクリーン22に表示するための映像及び音声データ、各装置類を一定条件に従って制御するためのプログラム等が記憶されている。
【００３４】
本シミュレーション装置の作動にともない、制御装置の検出情報処理装置は、シューズ31のトラックボール・ユニット41から、シューズ31に設けられた無線システム31aを介して、シューズ31の感圧スイッチ32、方向検出器33、及び回転量検出器44又は48からの検出情報を受信し、筐体1のセンサ装置3及び4からの検出情報を受信し、筐体1の感圧スイッチ5からの検出情報を受信する。これらの検出情報は演算処理のためのデータとして処理されて、中央演算装置に送信される。次に、中央演算装置は、主記憶装置にあらかじめ記憶されたプログラムを作動させて、この受信データを処理・演算し、ディスプレイ装置（スピーカ装置を含む）の制御に関するデータを映像出力系演算処理装置及び音声出力系演算処理装置に送信する。映像出力系演算処理装置及び音声出力系演算処理装置は、上記データに基づいた信号をHMD21又はスクリーン22及びスピーカに送信する。また、中央演算装置は、必要に応じて、シューズ31のトラックボール・ユニット41のモータ45を制御するための信号を無線システム41aを介してトラックボール・ユニット41に送信することができるようになっている。
また、図１に示すように、本発明のシミュレーション装置の床面には、トラックボール42の回転を円滑にするために、摩擦係数の高い物質、例えばゴムなどでできたパッド7を敷き詰めてあるのが好ましい。
【００３５】
次に、本実施例のシミュレーション装置において、体験者100が様々な動作をしたときの、各部位の働きについて説明する。本発明のシミュレーション装置の床面には、あらかじめX軸及びY軸からなる平面直交座標系を定めておき、体験者100の位置、方向及び移動速度（単位時間あたりの移動量）をこの座標系を用いて表すことができるようにする。
【００３６】
体験者100は、足にシューズ31を装着した後、筐体1の操作部6を操作することにより、本発明の仮想空間シミュレーション装置を稼動させることができる。装置が稼動されると、HMD21又はスクリーン22には、コンピュータの主記憶装置にあらかじめ記憶された仮想空間の1シーンの映像が表示される。このとき、体験者100は体勢を保つために把手2に掴まるのが好ましい。体験者100の安全を確保するため、体験者100が把手2に掴まっていない限り、すなわち、筐体1の感圧スイッチ5が一定以上の荷重を検出しない限り、仮想空間シミュレーション装置が作動しないように、コンピュータに制御させてもよい。
【００３７】
仮想空間シミュレーション装置が稼動すると、体験者100は片手で把手2を掴みながら歩行するなど、自由に行動することができる。体験者100が歩行すると、シューズ31底面のトラックボール42が回転するので、体験者100の体の移動はトラックボール42の回転に相殺されて、体験者自身はほとんど移動しない。
【００３８】
体験者100の歩行中、回転量検出器44又は48は、トラックボール42の回転量及び回転方向を検出し、これを検出信号としてコンピュータに送信する。この検出された回転量及び回転方向は、シューズ31に与えられたx-y座標系で表されるが、コンピュータは、他方で、シミュレーション装置のX-Y座標系におけるシューズ31の方向の検出信号を方向検出器33から受信しており、これに基づいてトラックボール42の回転量及び回転方向をX-Y座標系に換算する。こうして、体験者100のX-Y座標系における移動量及び移動方向が得られる。
【００３９】
また、体験者100の歩行中、センサ装置3及び／又は4は体験者100の位置を検出する。例えば、図１において、筐体1の周囲に帯状に配置された複数のセンサのうち、体験者100と対面している1個又は連続した複数個のセンサが検出信号を発するので、筐体1から見た体験者100の方位は特定される。また、上述したように、センサ装置3及び4は、好ましくは赤外線センサ又はCCDカメラセンサ等からなる測距センサであり、体験者100との距離も検出することができる。しかしながら、本発明のシミュレーション装置では、体験者100が専ら把手2を掴みながら歩行や移動をするようになっているので、装置稼動中、体験者100とセンサ装置3及び4との距離は大きくは変化しない。したがって、体験者100とセンサ装置3及び4との距離はあらかじめ一定値としておき、測距機能を持たないセンサを用いることにより、装置を簡略化することも可能である。
【００４０】
以上のようにして、体験者100が歩行したときのX-Y座標系における位置、移動量及び移動方向が算出されたので、コンピュータはこれに基づいてHMD21又はスクリーン22の映像を変化させる。こうして、体験者100の動作が仮想空間内にフィードバックされるので、体験者100はあたかも仮想空間内に存在し行動しているように感じることができる。
【００４１】
上述したように、体験者100が歩行しても、体の移動は回転により大部分が相殺されるが、トラックボール42と各ローラ及び床面との間のわずかな摩擦などにより、体験者100はわずかに移動してしまう。例えば、体験者100が前方に歩行している場合には、この摩擦により徐々に前方に体が移動してしまう。そこで、コンピュータは、トラックボール・ユニット41のモータ45を駆動して、体験者100の移動をちょうど相殺できるような回転速度でトラックボール42を現在の回転方向に駆動する。例えば、上記のように体験者100が徐々に前方に移動するときは、体験者100がこれとほぼ同じ速度で後方に移動するようにトラックボール42を回転させる。これを行うためには、平均的な体験者100が歩行したときのトラックボール42の単位時間回転量と体験者100の移動速度の相関関係をあらかじめ調べておく。この相関関係は、例えば、体験者100の移動速度をトラックボール42の単位時間回転量の関数として算出しておき、このデータをコンピュータに記憶させておく。体験者100が歩行中、コンピュータは検出されるトラックボール42の回転量に応じて、上記相関関係のデータから体験者100の移動速度を計算し、これをほぼ相殺するような回転量分（以下、擦動相殺回転量とする）、トラックボール42を現在の回転方向に駆動する。こうして、任意の速度で歩行する体験者100をほぼ一定位置に留めることができる。
本発明のシミュレーション装置では、体験者100は、仮想空間において、歩行の他に様々な動作をすることができる。ここでは、しゃがみ込み、ジャンプ及び走行の動作について説明する。
【００４２】
図６に示すように、体験者100がしゃがみ込んで、体験者100の頭部が上部センサ3よりも低くなると、上部センサ3は体験者100を検出しなくなる。このように、下部センサ4のみが体験者を検出している状態のとき、コンピュータは体験者100がしゃがんだと判定し、これに応じた映像をHMD21又はスクリーン22表示するようになっている。
【００４３】
また、体験者100がジャンプして、体験者100の足が下部センサ4よりも高くなると、下部センサ4は体験者100を検出しなくなり、またシューズ31の感圧スイッチ32も荷重を検出しなくなる。このように、上部センサ3は体験者を検出しているが、下部センサ4が体験者100を検出せず及び／又は感圧スイッチ32が体験者100の荷重を検出しないとき、コンピュータは体験者100がジャンプしたと判定し、これに応じた映像をHMD21又はスクリーン22表示するようになっている。さらに、図７に示すように、体験者100は把手2に乗りかかるようにしてジャンプすることもできる。そこで、筐体1の感圧スイッチ5が平均的な体験者の体重より大きい荷重を検出するようにしておけば、体験者100が把手2に乗りかかってジャンプしたときに、これを通常のジャンプよりも高いジャンプとして判定し、これに応じた映像をHMD21又はスクリーン22表示することにより、実際には体験し得ないような高いジャンプを仮想的に体験させることができる。
【００４４】
図８〜１０を参照しながら、走る動作について説明する。走行中は他の動作よりも体勢が不安定になりやすく、また速度が大きいため、トラックボール42を駆動しても体験者の移動を相殺することはできない。そこで、図８に示すように、体験者100は筐体1に対面し、両手で把手2に掴まりながら走行することにより、体勢を崩すことなく一定位置で安定して走行することができる。
【００４５】
体験者100の安全のため、仮想空間内では、このような方法でしか走行ができないように、コンピュータが各装置類を制御するのが好ましい。図９及び１０に示すように、センサ装置3又は4が検出する体験者100の位置と筐体1の位置を結ぶ線51と、シューズ31の方向検出器33が検出するシューズ31の方向、すなわち体験者100の進行方向52とを比較することにより、体験者100が筐体1に対面しているかどうかが判定できる。具体的には、例えば、X-Y座標系において、体験者100の位置と筐体1の位置を結ぶベクトルと、体験者100の進行方向の単位ベクトルとの内積を計算し、この値が一定値以上かどうかを判定すればよい。
体験者100が筐体1の操作部6を操作するなどして、仮想空間のシミュレーションが終了したとき、モータ45を駆動してシューズ31のトラックボール42の回転を停止させることにより、体験者100の安全を確保するのが好ましい。
【００４６】
本発明のシミュレーション装置の第2実施形態を図１１に示す。本発明実施形態では、体験者100が装着するシューズは、トラックボール・ユニットなどを有しておらず、ゴム等でできた摩擦係数の高い靴底を有する普通のシューズである。シミュレーション装置の床面には、複数のトラックボール42が整列して埋設されている。ここでは図示しないが、この床面のトラックボール42は、第1実施形態同様、図３または４に示すようなトラックボール・ユニットとともに設置されており、トラックボール42の回転量及び回転方向を検出することができるようになっている。このトラックボール・ユニットは、図５に示すように、制御装置と通信可能であり、検出信号及び制御信号を送受信する。その他の部材の構成は第1実施例のものと同様である。
【００４７】
本実施例において、体験者100の位置、移動量及び移動方向を検出する方法を説明する。シミュレーション装置には、あらかじめX軸及びY軸からなる平面直交座標系を定めておく。トラックボール42はこのX-Y座標系に沿って配置されている。ここで、各トラックボール42の位置は(X,Y)という座標により表すことができる。
【００４８】
体験者100の位置は、第1実施例同様に、センサ3及び4により検出することもできるが、トラックボール42からも検出することができる。体験者100が歩行又は走行すると、シューズが接しているトラックボール42のみが回転するので、回転しているトラックボール42の座標が体験者100の位置を表していることになる。
【００４９】
体験者100の移動量及び移動方向は、トラックボール42の回転量及び回転方向から求めることができる。本実施例では、トラックボール・ユニットにもシミュレーション装置と同じくX-Y座標系を与えておくと、検出されるトラックボール42の回転量及び回転方向は、そのままX-Y座標系における体験者100の移動量及び移動方向となる。
【００５０】
トラックボール42は抵抗が少ないため、一度回転すると、体験者100が回転させ続けなくともしばらく回転し続ける。このため、体験者100が、歩行や走行をしながら、シミュレーション装置内を自由に移動したときに、体験者100がいなくなった場所のトラックボール42の回転までが検出されてしまい、体験者100の位置や行動が正確に検出されないおそれがある。そこで、トラックボール・ユニットのゴムローラ部分に感圧スイッチを備えて、感圧スイッチが一定以上の荷重を検出しているトラックボール42のみを検出対象とするのが好ましい。
【００５１】
本発明のシミュレーション装置の第3実施形態を図１２に示す。本発明実施形態では、体験者100が装着するシューズ61は、トラックボール・ユニットを有するが、これらの回転を検出する装置類は備えていない。あるいは、底面にローラ部材を有するローラスケート靴のようなシューズを用いてもよい。シミュレーション装置の床面には、感圧パッド62が敷き詰められている。感圧パッド62内部には圧電センサが含まれており、床面上の各位置での荷重を検出することができるようになっている。また、感圧パッド62は、図５に示すように、制御装置と通信可能であり、制御装置に検出信号を送信する。その他の部材の構成は第1実施例のものと同様である。
【００５２】
本実施例において、体験者100の位置、移動量及び移動方向を検出する方法を説明する。シミュレーション装置には、あらかじめX軸及びY軸からなる直交平面座標系を定めておく。感圧パッド62上の位置は、このX-Y座標系において (X,Y)という座標により表すことができる。
【００５３】
体験者100の位置は、第1実施例同様に、センサ3及び4により検出することもできるが、感圧パッド62からも検出することができる。上述の通り、感圧パッド62内部の圧電センサによって、床面上の各位置での荷重を検出することができるので、荷重がかかっている位置が、体験者100の現在の位置あり、この位置を上記で定められた(X,Y)で表すことができる。
【００５４】
体験者100が歩行するときの動作は次のとおりである。まず、体験者100は前方に一方の足を踏み出して着地し、この足で床面を後方に蹴る動作をする。このとき、シューズ61底面のトラックボール又はローラ部材が回転するとともにこの足は後方に移動する。次に、他方の足を上記同様前方に踏み出し、この足に体重を移すとともに後方の足を床面から持ち上げる。これらの動作が両足で交互に繰り返される。このとき、感圧パッド62は、左右の足の荷重が交互に、体験者100の体のやや前方からやや後方まで移動するのを検出する。また、走行の動作においても、これと同様な足の動きが検出される。ここで、感圧パッド62が検出結果する左右の足の荷重の移動方向は、互いに平行であり、体験者100のほぼ真後ろの方向となるので、これより、体験者100の移動方向を決定することができる。
【００５５】
さらに、この足の荷重の移動は連続的なものであるから、シューズ61底面のトラックボール又はローラ部材が着地してから再び床面を離れるまでの間に、感圧パッド62上で移動した距離を、荷重検出結果から算出することができる。ここで、この移動距離は、足が着地している間に、トラックボール又はローラ部材が回転した量ともほぼ等しいので、したがって、これを体験者100のそれぞれの足よる移動量とみなすことができる。なお、歩行又は走行速度が高いほど、各着地ごとの移動量が大きくなり、同時に移動回数も増えるので、単位時間の移動量は体験者100の移動速度をほぼ正確に表していることになる。
【００５６】
本発明のシミュレーション装置の第4実施形態を図１３に示す。本発明実施形態では、体験者100が装着するシューズ71は、トラックボール・ユニットを有するが、これらの回転を検出する装置類は備えていない。あるいは、底面にローラ部材を有するローラスケート靴のようなシューズを用いてもよい。各シューズ71のつま先付近及びかかと付近には、カメラにより認識可能な認識用部材72が取り付けられている。スクリーン22の4隅の上方には、それぞれ、この認識用部材72認識することができるカメラ部材73が取り付けられている。HMDを用いる場合には、カメラ部材73は筐体1に取り付けることができる。カメラ部材73は、例えば赤外線カメラ又はCCDカメラであり、認識用部材72は発光ダイオード等の発光素子とすることができる。これら合計4個の認識用部材72は、それぞれ異なる波長を発光するようにし、それぞれを別個に認識することができるようにしておく。シミュレーション装置には、あらかじめX軸、Y軸及びZ軸からなる直交立体座標系を定めておく。カメラ部材73は、光学式モーションキャプチャーシステムにより、撮像野内の認識部材72を随時検出し、その位置(X,Y,Z)を算出するようになっている。また、カメラ部材73は、図５に示すように、制御装置と通信可能であり、制御装置に検出信号を送信する。その他の部材の構成は第1実施例のものと同様である。
【００５７】
体験者100の位置は、第1実施例同様に、センサ3及び4により検出することもできるが、カメラ部材73によっても検出することができる。カメラ部材73は、シューズ72に取り付けられた4つの認識部材72を検出するので、これより体験者100の両足の位置を算出し、体験者100の位置(X,Y,Z)を決定することができる。
【００５８】
体験者100の移動方向及び移動量は、カメラ73によって検出される。カメラ73は、左右それぞれのシューズ71のつま先及びかかとに取り付けられた認識部材72の位置を検出するので、これにより左右の足の方向が分かる。通常、足の向いている方向がそのまま体験者100の進行方向となるので、これを体験者100の移動方向とすることができる。また、体験者100の移動量については、上記の第3実施例と同様な方法で算出することができる。すなわち、体験者100の左右それぞれのシューズ71が床面に着地している間に認識部材72が移動した距離を各足の移動量とすることができる。本実施例において、カメラ73は認識部材72の立体的位置(X,Y,Z)を検出するので、認識部材72の垂直位置からシューズ71が着地しているかどうかを判断すればよい。こうして、上記の第3実施例と同様に、体験者100のそれぞれの足が着地している間に移動する移動距離を、体験者100の移動量とみなすことができる。
【００５９】
【発明の効果】
以上に説明したように、本発明は、大規模な装置や複雑な構造を必要することなく、体験者が仮想空間において歩行、走行、しゃがみ込み、ジャンプ等の動作を自然な感覚でかつ安全に行うことができる仮想空間シミュレーション装置を提供する。また、これらの動作を的確に検出して、ディスプレイ装置の映像にフィードバックすることにより、体験者は仮想空間内に存在し行動しているかのような臨場感溢れるシミュレーション体験を得ることができる。
【図面の簡単な説明】
【図１】本発明のシミュレーション装置の第1実施形態の全体構成を概略的に示す斜視図である。
【図２】本発明のシミュレーション装置において体験者が装着するシューズの拡大図である。
【図３】本発明に用いる機械式トラックボール・ユニットの透過斜視図である。
【図４】本発明に用いる光学式トラックボール・ユニットの透過斜視図である。
【図５】本発明の制御装置と各装置類との通信方法を示すブロック図である。
【図６】本発明のシミュレーション装置において、体験者がしゃがみ込んだ状態を示す図である。
【図７】本発明のシミュレーション装置において、体験者が筐体に寄りかかってジャンプした状態を示す図である。
【図８】本発明のシミュレーション装置において、体験者が走行している状態を示す図である。
【図９】体験者と筐体の位置関係を示す平面図である。
【図１０】体験者と筐体の位置関係を示す平面図である。
【図１１】本発明のシミュレーション装置の第2実施形態の全体構成を概略的に示す斜視図である。
【図１２】本発明のシミュレーション装置の第3実施形態の全体構成を概略的に示す斜視図である。
【図１３】本発明のシミュレーション装置の第4実施形態の全体構成を概略的に示す斜視図である。
【符号の説明】
1 筐体
2 把手
3 上部センサ
4 下部センサ
5 感圧スイッチ
6 操作部
7 パッド
22 スクリーン
31 シューズ
32 感圧スイッチ
33 方向検出器
41 トラックボール・ユニット
42 トラックボール
43 ゴムローラ
44 回転量検出器
45 モータ
46 ギア
47 支持ローラ
48 回転量検出器
61 シューズ
62 感圧パッド
71 シューズ
72 認識用部材
73 カメラ部材
100 体験者
【発明の属する技術分野】
本発明は、体験者が仮想空間内を自由に動き回れるように構成された仮想空間シミュレーション装置に関し、特に、体験者がほぼ自然な感覚で行動できるようにするためのインターフェイスを備えた仮想空間シミュレーション装置に関する。
【０００２】
【従来の技術】
従来、ドライブシミュレータ、フライトシミュレータ、各種ゲーム装置、システムキッチンなどに応用されている仮想空間シミュレーション装置は、体験者の動作に応じて映像及び音声・衝撃を表現することにより、体験者が仮想空間内に実際に存在し行動しているかのように錯覚させるものである。このような映像を体験者に表示するためのディスプレイ装置としては、特開平4-204842号公報に開示されているような、体験者の全方位（前後左右上下）に配置したディスプレイ装置が典型的である。また、頭部に装着可能なヘッド・マウンテッド・ディスプレイ（Head Mounted Display、以下「HMD」と呼ぶ）をディスプレイ装置として用いることも一般的である。これらのディスプレイ装置によって映像と音声を同期させて出力することにより、体験者に臨場感溢れる仮想空間を体験させることが可能である。
【０００３】
このような仮想空間シミュレーション装置において、例えば、体験者が手元のコントローラ等を操作して前進、後進及び転回等の動作を命令するのに応じて、コンピュータがこれらの動作に対応する映像及び音声をディスプレイ装置に表現するようにすれば、体験者を仮想空間内で現実に行動しているように感じさせることができる。しかしながら、この方法では、体験者が知覚する映像及び音声が変化するのみであり、体験者自身が行動しているという感覚は得られない。
【０００４】
そこで、装置上で体験者自らが歩行や転回などの動作したとき、これらの動作及び移動量等を検知して、これに応じた映像をディスプレイ装置に表現することができるような歩行インターフェイスを備えることにより、体験者により自然な行動感覚を与える仮想空間シミュレーション装置が提案されている。
【０００５】
特開平7-110650号及び特開平7-129789号に開示されたシミュレーション装置は、ディスプレイ装置を含む円柱状筐体の内部で体験者が歩行すると、円柱状筐体が回転するとともにその動作に応じた映像が体験者に表示されるような歩行インターフェイスを有する。しかしながら、このシミュレーション装置では、体験者は前方に向かっては自然な感覚で歩行することができるが、他の方向への移動及び転回は自由に行うことができず、無理にそのような動作を取ろうとすると筐体に体がぶつかってしまう危険がある。
【０００６】
特開平7-200162号に開示されたシミュレーション装置は、体験者が一定箇所で足踏みするのを検出し、移動量を計算し、これに応じてディスプレイ装置の表示を制御するインターフェイスを備えている。しかしながら、このような一定箇所での足踏み動作は足で床を蹴り前方に推進力を得るという歩行の動作とは異なるものであるから、体験者が仮想空間を歩行しているという感覚は十分には得られない。
【０００７】
特開平 8-280843 号に開示されたシミュレーション装置は、特殊構造のベルト上を体験者が歩行でき、また前後左右自在に移動することができるように構成された歩行インターフェイスを有する。しかしながら、この歩行インターフェイスでは、ベルトの摩擦が大きい等の理由により、体験者が歩行によって得る推進力を十分に相殺することは困難であるため、体験者は自然な歩行感覚を得ることができないばかりか、無意識のうちに筐体から足を踏み外してしまう危険さえもある。また、このように構造が複雑な歩行インターフェイスでは、体験者が歩行の際にベルトを蹴る力などから移動量を計算することが困難である。
【０００８】
特開平10-55132号に開示されたシミュレーション装置は、左右一対の歩行板に体験者の足をそれぞれ固定し、左右の足を交互に前後移動させることができるように構成された歩行インターフェイスを有する。しかしながら、この歩行インターフェイス自体は不動であり、体験者の位置を一定に保つために、接地している方の足を後方に引き戻すようになっている。このため、地面を蹴って前方に推進力を得るような歩行動作を行うことはできず、また、歩行板が制動されることにより足を動かす際に負荷が生じてしまう。したがって、この装置でも体験者は十分に自然な歩行感覚を得ることはできない。
【０００９】
【発明が解決しようとする課題】
上に述べた従来の仮想空間シミュレーション装置では、体験者の歩行等の動作を仮想空間内にフィードバックするための歩行インターフェイスが設けられているが、地面を蹴って前方に推進力を得るという自然な感覚の歩行動作を行うことができるようにはなっていない。また、体験者の動作は歩行及び走行に限定されており、その他の動作、例えば、転回、ジャンプ、しゃがむ動作などについては全く考慮されていない。さらに、これらの装置では、歩行及び走行時の体験者の安定性が十分に確保されていないという問題もある。したがって、本発明の目的は、体験者が、前後左右の自由な方向に自然な感覚で安定して歩行及び走行、さらにはジャンプやしゃがむなどの動作を行うことができる仮想空間シミュレーション装置を提供することである。また、大規模な装置や複雑な構造を必要とせずに、体験者の様々な動きを的確に検出し、これをディスプレイ装置の映像にフィードバックすることができる仮想空間シミュレーション装置を提供することである。
【００１０】
【課題を解決するための手段】
上記目的を達成するため、本発明は、ディスプレイ上に表示される仮想空間において、体験者が自由に行動することが可能なシミュレーション・システムであって、前記仮想空間を表示するためのディスプレイ手段と、体験者が掴まるための固定された筐体と、体験者の位置を検出する手段と、体験者の移動量及び移動方向を検出する手段と、検出された体験者の位置、移動量及び移動方向に基づいて、前記ディスプレイ手段の表示を制御する手段と、を備えることを特徴とするシミュレーション・システムを提供する。
【００１１】
本発明の第1の実施形態は、ディスプレイ装置に表示される仮想空間において、体験者が自由に行動することが可能なシミュレーション装置であって、前記仮想空間を表示するためのディスプレイ装置と、体験者が前記仮想空間で行動する際に掴まる把手を有し、体験者が実際に行動する床面上に固定配置される柱状の筐体と、該筐体に取り付けられ、該筐体又は前記床面に対する体験者の位置状態を検出するためのセンサ装置と、体験者が前記仮想空間で行動するに際して体験者に装着され、底面から一部周面を前記床面に対し当接可能に臨ませたトラックボール、並びに当該トラックボールの回転量を検出する回転量検出器が備えられている左右１対のシューズと、該シューズに設けられ、当該シューズの方向を検出する方向検出器と、前記ディスプレイ装置、前記センサ装置、前記回転量検出器、及び前記方向検出器と通信接続され、前記センサ装置の検出情報から前記筐体又は前記床面に対する体験者の位置状態を決定し、前記回転量検出器の検出情報から体験者の移動量を決定し、前記方向検出器の検出情報から体験者の移動方向を決定し、当該決定した体験者の位置状態、移動量、及び移動方向に基づいて前記ディスプレイ装置の表示を制御する制御装置とを備えていることを特徴とする。
【００１２】
前記ディスプレイ装置には、体験者の前後左右、天井及び床面に設置したスクリーンを用いることができる。また、前記ディスプレイ装置は、体験者が頭部に装着可能なヘッド・マウンテッド・ディスプレイ（HMD）であってもよい。
前記センサ装置は、前記筐体上部に取り付けられた上部センサと、前記筐体下部に取り付けられた下部センサとを含んでいるのが好ましい。上部センサは体験者の上半身を検出し、下部センサは体験者の足元を検出するためのものである。
【００１３】
前記トラックボールは駆動可能であり、前記制御装置からの信号により駆動されるようになっているのが好ましい。さらに、前記制御装置には、前記トラックボールの回転量に基づく所定の擦動相殺回転量をあらかじめ記憶させておき、体験者の歩行中は常に、擦動相殺回転量分、前記トラックボールを現在の回転方向に駆動する。すなわち、前記トラックボールと床面との擦動による体験者のわずかな移動をほぼ相殺するようにトラックボールを駆動して、体験者が歩行中でもほぼ同じ位置に留まるようにすることができる。
【００１４】
前記筐体は体験者が掴まるための把手を有し、前記センサ装置は前記把手にかかる荷重を検出する感圧スイッチを備えることにより、体験者が把手に掴まっているかどうかを検出できるようになっているのが好ましい。
本発明のシミュレーション装置は、さらに、前記制御手段と通信可能な操作スイッチを備え、体験者が前記操作スイッチにより前記シミュレーション装置を操作できるようになっているのが好ましい。
【００１５】
本発明の第2の実施形態は、ディスプレイ装置に表示される仮想空間において、体験者が自由に行動することが可能なシミュレーション装置であって、前記仮想空間を表示するためのディスプレイ装置と、複数の回転自在なトラックボールが一部周面を表面に臨ませて整列して配置されているとともに、該トラックボールの回転量及び回転方向を検出する回転量検出器を有する、体験者が実際に行動する床面と、体験者が前記仮想空間で行動する際に掴まる把手を有し、該床面上に固定配置された柱状の筐体と、該筐体に取り付けられ、該筐体又は前記床面上に対する体験者の位置状態を検出するためのセンサ装置と、前記ディスプレイ装置、前記センサ装置、及び前記回転量検出器と通信接続され、前記センサ装置の検出情報から前記筐体又は前記床面に対する体験者の位置状態を決定し、前記回転量検出器の検出情報から体験者の移動量及び移動方向を決定し、当該決定した体験者の位置状態、移動量、及び移動方向に基づいて前記ディスプレイ装置の表示を制御する制御装置とを備えていることを特徴とする。
前記回転量検出器は、前記トラックボールにかかる荷重を検出する感圧スイッチを備えることにより、体験者の足が設置しているかどうかを検出できるようになっているのが好ましい。
【００１６】
本発明の第3の実施形態は、ディスプレイ装置に表示される仮想空間において、体験者が自由に行動することが可能なシミュレーション装置であって、前記仮想空間を表示するためのディスプレイ装置と、体験者が実際に行動する床面に設けられた感圧パッドと、体験者が前記仮想空間で行動する際に掴まる把手を有し、該感圧パッドを表面に備えた前記床面上に固定配置された柱状の筐体と、該筐体に取り付けられ、該筐体又は前記床面上に対する体験者の位置状態を検出するためのセンサ装置と、体験者が前記仮想空間で行動するに際して体験者に装着され、底面から一部周面を前記床面に対し当接可能に臨ませたトラックボールが備えられている左右１対のシューズと、前記ディスプレイ装置、前記感圧パッド、及び前記センサ装置と通信接続され、前記センサ装置の検出情報から前記筐体又は前記床面に対する体験者の位置状態を決定し、前記感圧パッドの検出情報から体験者の移動量及び移動方向を決定し、当該決定した体験者の位置状態、移動量、及び移動方向に基づいて前記ディスプレイ装置の表示を制御する制御装置とを備えていることを特徴とする。
【００１７】
本発明の第4の実施形態は、ディスプレイ装置に表示される仮想空間において、体験者が自由に行動することが可能なシミュレーション装置であって、前記仮想空間を表示するためのディスプレイ装置と、前記シミュレーション装置に固定された筐体と、左右1対のシューズであって、それぞれ底面に1個以上の回転自在なトラックボール又はローラ部材と1個以上の認識用部材とを有するシューズと、前記シミュレーション装置に固定され、前記認識用部材を認識可能なカメラ部材と、前記ディスプレイ装置及び前記カメラ部材と通信可能な制御装置と、を備え、前記制御装置は、前記カメラ部材の検出情報から体験者の位置を決定し、前記カメラ部材の検出情報から体験者の移動量及び移動方向を決定し、前記体験者の位置、移動量及び移動方向に基づいて前記ディスプレイ装置の表示を制御することを特徴とする。
【００１８】
なお、第2、第3及び第4実施形態においても、第1実施形態と同様に、筐体に取り付けたセンサ装置により体験者を検出し、このセンサ装置の検出情報、及び前記回転量検出器／感圧パッド／カメラ部材の検出情報のいずれか一方又は両方に基づいて、体験者の位置を決定するようにしてもよい。
【００１９】
【発明の実施の形態】
以下、添付図面を参照しながら本発明の実施の形態を詳細に説明する。なお、本文中、同一の符号は同一又は類似の部材を表す。
まず、本発明のシミュレーション装置の第1実施形態の構成を図１〜５に示す。図１は、本実施形態の全体構成を概略的に示す。本実施形態のシミュレーション装置は、床面に固定されたほぼ円柱状の筐体1、体験者100の頭部に装着可能なHMD21又は筐体1の周囲に設置されたスクリーン22、及び体験者100の足に装着可能なシューズ31からなる。以下に、各構成部分を詳細に説明する。
【００２０】
筐体1は、体験者100が掴まって体勢を保持するための把手2、体験者100の位置を検出するための上部センサ3及び下部センサ4、把手2にかかる荷重を検出するための感圧スイッチ5、並びに体験者100がシミュレーション装置を操作するための操作部6を備えている。
【００２１】
図１に示すように、リング状の把手2は、体験者100が掴まりやすい高さ、例えば胸から腰までの間の高さで筐体1の周囲に取り付けられており、体験者100が筐体1に対してどのような方向にいても、把手2に片手又は両手で掴まることができるようになっている。また、把手2は筐体1に固定されているので、体験者100はこれに掴まることにより、常に体勢の安定を保つことができる。
【００２２】
上部センサ3及び下部センサ4は、それぞれ筐体1の円周面上に、一定間隔で帯状に配置された複数のセンサからなり、体験者100が筐体1に対してどのような方向にいても検出できるようになっている。また、上部センサ3は、体験者100が通常に直立、歩行等しているときには検出するが、しゃがみ込んだときには検出しないような高さ、例えば頭部から胸部までの間の高さに設置され、また下部センサ4は、体験者100が通常に直立、歩行等しているときには検出するが、足を上げたりジャンプしたときには検出しないような高さ、例えば足首付近の高さに設置されている。
【００２３】
本発明のシミュレーション装置に用いるこれらのセンサ3及び4は、例えば、自動ドア、家電製品のリモコン、産業用機器等に広く用いられている、赤外線センサ、光電センサ及びCCDカメラセンサ等を用いることができる。また、体験者が胸部付近及び足元に特定波長の発光素子等を含む装着具を装着すれば、これらのセンサによる検出精度を向上することができる。さらに、赤外線センサ又はCCDカメラセンサを測距センサとして用いることにより、体験者の位置をより正確に把握することが可能となる。このような測距センサは、カメラのオートフォーカス機能などに広く応用されている。
【００２４】
筐体1の感圧スイッチ5は、体験者100が把手2を掴んでいるかどうかを検出する。平均的な体験者100の手の重みに基づいた所定の検出荷重をあらかじめ設定しておくことにより、体験者100が把手2に掴まると、感圧スイッチ5がこれを検出するようにすることができる。
【００２５】
操作部6は、筐体1の頂部など体験者100が操作しやすい位置に設置されており、ボタンやスイッチ等により本シミュレーション装置の作動、停止、各種設定その他の操作を行うことができるようになっている。ここで、操作部6は筐体1に付属している例を示しているが、操作部6を独立したリモートコントローラとし、これを体験者100が手に持って、又は体に装着して操作を行うようにすることもできる。例えば、体験者100が独立した操作部6を備えた杖を持つようにしてもよい。
【００２６】
本発明では、体験者100に仮想空間を表示するためのディスプレイ装置として、図１に示すように、HMD21又は筐体1の周囲に設置したスクリーン22を用いる。また、図には示していないが、スピーカを設置して映像に同期した音声を再生することにより、さらにシミュレーション効果を高めることができる。
HMD21は、本発明シミュレーション装置から映像信号を受信し、これを体験者100の視野をほぼカバーしている映像表示部に表示することにより、体験者100はHMD21に表示される仮想空間内に存在しているような感覚を得ることができる。
【００２７】
一方、本実施例のスクリーン22は、複数の平面型スクリーンからなるマルチスクリーンである。図１には2面の平面型スクリーンしか示してはいないが、本実施例のスクリーン22は、さらに2面の平面型スクリーン22を有し、前後左右4面からなる。これらの各平面型スクリーンには、例えば、後方のプロジェクタから映像を投影するリア・プロジェクション・タイプの投影スクリーンを用いることができる。しかしながら、本シミュレーション装置のスクリーン22はこれに限定されるわけではなく、例えば円筒状スクリーンを用いることもできる。また、天井面にもスクリーンを設置してもよい。
【００２８】
図２は、本発明のシミュレーション装置内で体験者100が装着するシューズ31の拡大図である。シューズ31は、トラックボールにかかる荷重を検出するための感圧スイッチ32、シューズ31の方向を検出するための方向検出器33及びトラックボール・ユニット41を備えている。
【００２９】
シューズ31の感圧スイッチ32は、筐体1の感圧スイッチ5と同様な構造であり、トラックボール・ユニット41のトラックボールに一定以上の荷重がかかっているのを検出する。シューズ31を装着した体験者100の足が床面に接地しているときには、体験者100の体重がトラックボールを介して感圧スイッチ5に荷重を与えるので、平均的な体験者100の体重を基準に所定の検出荷重をあらかじめ設定しておけば、体験者100が足を床面に接地しているかどうかを検知することができる。
【００３０】
方向検出器33には、例えば、振動ジャイロ、圧電素子及び方位磁針からなるジャイロセンサを用いることができる。このジャイロセンサにおいて、振動ジャイロがシューズ31の角速度の変化を検出すると、圧電素子に電流が流れ、これがシューズ31の方向変化の信号に変換されるようになっている。また、方位磁針は随時シューズ31の方向を信号に変換して発するようになっている。これらの信号は、後述するように、トラックボール・ユニット41の回転量検出器44又は48を介して制御装置に送信される。
図３及び４はトラックボール・ユニット41の例を示す透過斜視図である。これらは、基本的にはパーソナル・コンピュータのマウス等に広く用いられているトラックボールと同じ構造である。
【００３１】
図３は、機械式トラックボール・ユニット41を示す。トラックボール42は、2つのゴムローラ43及び支持ローラ47の3点に接しながら回転する。トラックボール42の回転方向を検出するためには、まず、x軸及びy軸からなるシューズ31底面と平行な平面直行座標軸をシューズ31に与えておく。例えば、シューズ31のつま先方向にx軸を取り、このx軸と直行しかつシューズ31底面に平行な方向にy軸を取ればよい。次に、2つのゴムローラ43を、それぞれがx軸及びy軸方向の回転を検出するような位置に配置する。このように構成されたトラックボール・ユニット41において、トラックボール42が回転すると、この回転はx軸及びy軸方向に分解され、それぞれゴムローラ43の回転に変換される。さらにトラックボール・ユニット41は、各ゴムローラ43の回転量を検出するための回転量検出器44を備えており、これらによりトラックボール42のx軸及びy軸方向の回転量を検出することができるようになっている。また、各ゴムローラ43はモータ45及びギア46を備えており、モータ45を駆動することによりギア46を介してゴムローラ43を回転させることができるようになっている。2つのモータ45を用いてx軸及びy軸方向のゴムローラをそれぞれ任意の回転量で回転させることにより、トラックボール42をあらゆる方向に回転させることができる。
【００３２】
図４は、光学式トラックボール・ユニット41を示す。トラックボール42、ゴムローラ43、モータ45、ギア46及び支持ローラ47は、図３に示した機械式トラックボール・ユニットと同様に構成されており、シューズ31にはx軸及びy軸からなるシューズ31底面と平行な平面直行座標系が与えられている。この光学式トラックボール・ユニット41の回転量検出器48は光学式センサであり、LED等により赤外線を発光し、その反射光を感知することができるようになっている。トラックボール42には赤外線感光素子がドット状に配置されており、これらにより反射される反射光の動きを光学式センサが読み取ることにより、トラックボール42の回転量及び回転方向を検出することができる。トラックボール42の回転量及び回転方向は、上記の機械式トラックボール・ユニットと同様、シューズ31に与えられたx軸及びy軸からなる座標系によって表される。
【００３３】
本発明のシミュレーション装置は、筐体1のセンサ装置3及び4、感圧スイッチ5及び操作部6、HMD21又はスクリーン22、シューズ31のトラックボール・ユニット41と通信可能であり、これらの装置類から検出信号を受信するとともに、これらの装置類に制御信号を送信して制御する制御装置を備えている。図５に示すブロック図を用いて、この制御装置が各装置類を制御する方法を説明する。ここで制御装置には、CPU、メインメモリ及び主記憶装置からなるコンピュータを用いる。図５において、検出情報処理装置、中央演算処理装置、映像出力系演算処理装置及び音声出力系演算処理装置、制御装置のCPUに含まれる。主記憶装置には、HMD21又はスクリーン22に表示するための映像及び音声データ、各装置類を一定条件に従って制御するためのプログラム等が記憶されている。
【００３４】
本シミュレーション装置の作動にともない、制御装置の検出情報処理装置は、シューズ31のトラックボール・ユニット41から、シューズ31に設けられた無線システム31aを介して、シューズ31の感圧スイッチ32、方向検出器33、及び回転量検出器44又は48からの検出情報を受信し、筐体1のセンサ装置3及び4からの検出情報を受信し、筐体1の感圧スイッチ5からの検出情報を受信する。これらの検出情報は演算処理のためのデータとして処理されて、中央演算装置に送信される。次に、中央演算装置は、主記憶装置にあらかじめ記憶されたプログラムを作動させて、この受信データを処理・演算し、ディスプレイ装置（スピーカ装置を含む）の制御に関するデータを映像出力系演算処理装置及び音声出力系演算処理装置に送信する。映像出力系演算処理装置及び音声出力系演算処理装置は、上記データに基づいた信号をHMD21又はスクリーン22及びスピーカに送信する。また、中央演算装置は、必要に応じて、シューズ31のトラックボール・ユニット41のモータ45を制御するための信号を無線システム41aを介してトラックボール・ユニット41に送信することができるようになっている。
また、図１に示すように、本発明のシミュレーション装置の床面には、トラックボール42の回転を円滑にするために、摩擦係数の高い物質、例えばゴムなどでできたパッド7を敷き詰めてあるのが好ましい。
【００３５】
次に、本実施例のシミュレーション装置において、体験者100が様々な動作をしたときの、各部位の働きについて説明する。本発明のシミュレーション装置の床面には、あらかじめX軸及びY軸からなる平面直交座標系を定めておき、体験者100の位置、方向及び移動速度（単位時間あたりの移動量）をこの座標系を用いて表すことができるようにする。
【００３６】
体験者100は、足にシューズ31を装着した後、筐体1の操作部6を操作することにより、本発明の仮想空間シミュレーション装置を稼動させることができる。装置が稼動されると、HMD21又はスクリーン22には、コンピュータの主記憶装置にあらかじめ記憶された仮想空間の1シーンの映像が表示される。このとき、体験者100は体勢を保つために把手2に掴まるのが好ましい。体験者100の安全を確保するため、体験者100が把手2に掴まっていない限り、すなわち、筐体1の感圧スイッチ5が一定以上の荷重を検出しない限り、仮想空間シミュレーション装置が作動しないように、コンピュータに制御させてもよい。
【００３７】
仮想空間シミュレーション装置が稼動すると、体験者100は片手で把手2を掴みながら歩行するなど、自由に行動することができる。体験者100が歩行すると、シューズ31底面のトラックボール42が回転するので、体験者100の体の移動はトラックボール42の回転に相殺されて、体験者自身はほとんど移動しない。
【００３８】
体験者100の歩行中、回転量検出器44又は48は、トラックボール42の回転量及び回転方向を検出し、これを検出信号としてコンピュータに送信する。この検出された回転量及び回転方向は、シューズ31に与えられたx-y座標系で表されるが、コンピュータは、他方で、シミュレーション装置のX-Y座標系におけるシューズ31の方向の検出信号を方向検出器33から受信しており、これに基づいてトラックボール42の回転量及び回転方向をX-Y座標系に換算する。こうして、体験者100のX-Y座標系における移動量及び移動方向が得られる。
【００３９】
また、体験者100の歩行中、センサ装置3及び／又は4は体験者100の位置を検出する。例えば、図１において、筐体1の周囲に帯状に配置された複数のセンサのうち、体験者100と対面している1個又は連続した複数個のセンサが検出信号を発するので、筐体1から見た体験者100の方位は特定される。また、上述したように、センサ装置3及び4は、好ましくは赤外線センサ又はCCDカメラセンサ等からなる測距センサであり、体験者100との距離も検出することができる。しかしながら、本発明のシミュレーション装置では、体験者100が専ら把手2を掴みながら歩行や移動をするようになっているので、装置稼動中、体験者100とセンサ装置3及び4との距離は大きくは変化しない。したがって、体験者100とセンサ装置3及び4との距離はあらかじめ一定値としておき、測距機能を持たないセンサを用いることにより、装置を簡略化することも可能である。
【００４０】
以上のようにして、体験者100が歩行したときのX-Y座標系における位置、移動量及び移動方向が算出されたので、コンピュータはこれに基づいてHMD21又はスクリーン22の映像を変化させる。こうして、体験者100の動作が仮想空間内にフィードバックされるので、体験者100はあたかも仮想空間内に存在し行動しているように感じることができる。
【００４１】
上述したように、体験者100が歩行しても、体の移動は回転により大部分が相殺されるが、トラックボール42と各ローラ及び床面との間のわずかな摩擦などにより、体験者100はわずかに移動してしまう。例えば、体験者100が前方に歩行している場合には、この摩擦により徐々に前方に体が移動してしまう。そこで、コンピュータは、トラックボール・ユニット41のモータ45を駆動して、体験者100の移動をちょうど相殺できるような回転速度でトラックボール42を現在の回転方向に駆動する。例えば、上記のように体験者100が徐々に前方に移動するときは、体験者100がこれとほぼ同じ速度で後方に移動するようにトラックボール42を回転させる。これを行うためには、平均的な体験者100が歩行したときのトラックボール42の単位時間回転量と体験者100の移動速度の相関関係をあらかじめ調べておく。この相関関係は、例えば、体験者100の移動速度をトラックボール42の単位時間回転量の関数として算出しておき、このデータをコンピュータに記憶させておく。体験者100が歩行中、コンピュータは検出されるトラックボール42の回転量に応じて、上記相関関係のデータから体験者100の移動速度を計算し、これをほぼ相殺するような回転量分（以下、擦動相殺回転量とする）、トラックボール42を現在の回転方向に駆動する。こうして、任意の速度で歩行する体験者100をほぼ一定位置に留めることができる。
本発明のシミュレーション装置では、体験者100は、仮想空間において、歩行の他に様々な動作をすることができる。ここでは、しゃがみ込み、ジャンプ及び走行の動作について説明する。
【００４２】
図６に示すように、体験者100がしゃがみ込んで、体験者100の頭部が上部センサ3よりも低くなると、上部センサ3は体験者100を検出しなくなる。このように、下部センサ4のみが体験者を検出している状態のとき、コンピュータは体験者100がしゃがんだと判定し、これに応じた映像をHMD21又はスクリーン22表示するようになっている。
【００４３】
また、体験者100がジャンプして、体験者100の足が下部センサ4よりも高くなると、下部センサ4は体験者100を検出しなくなり、またシューズ31の感圧スイッチ32も荷重を検出しなくなる。このように、上部センサ3は体験者を検出しているが、下部センサ4が体験者100を検出せず及び／又は感圧スイッチ32が体験者100の荷重を検出しないとき、コンピュータは体験者100がジャンプしたと判定し、これに応じた映像をHMD21又はスクリーン22表示するようになっている。さらに、図７に示すように、体験者100は把手2に乗りかかるようにしてジャンプすることもできる。そこで、筐体1の感圧スイッチ5が平均的な体験者の体重より大きい荷重を検出するようにしておけば、体験者100が把手2に乗りかかってジャンプしたときに、これを通常のジャンプよりも高いジャンプとして判定し、これに応じた映像をHMD21又はスクリーン22表示することにより、実際には体験し得ないような高いジャンプを仮想的に体験させることができる。
【００４４】
図８〜１０を参照しながら、走る動作について説明する。走行中は他の動作よりも体勢が不安定になりやすく、また速度が大きいため、トラックボール42を駆動しても体験者の移動を相殺することはできない。そこで、図８に示すように、体験者100は筐体1に対面し、両手で把手2に掴まりながら走行することにより、体勢を崩すことなく一定位置で安定して走行することができる。
【００４５】
体験者100の安全のため、仮想空間内では、このような方法でしか走行ができないように、コンピュータが各装置類を制御するのが好ましい。図９及び１０に示すように、センサ装置3又は4が検出する体験者100の位置と筐体1の位置を結ぶ線51と、シューズ31の方向検出器33が検出するシューズ31の方向、すなわち体験者100の進行方向52とを比較することにより、体験者100が筐体1に対面しているかどうかが判定できる。具体的には、例えば、X-Y座標系において、体験者100の位置と筐体1の位置を結ぶベクトルと、体験者100の進行方向の単位ベクトルとの内積を計算し、この値が一定値以上かどうかを判定すればよい。
体験者100が筐体1の操作部6を操作するなどして、仮想空間のシミュレーションが終了したとき、モータ45を駆動してシューズ31のトラックボール42の回転を停止させることにより、体験者100の安全を確保するのが好ましい。
【００４６】
本発明のシミュレーション装置の第2実施形態を図１１に示す。本発明実施形態では、体験者100が装着するシューズは、トラックボール・ユニットなどを有しておらず、ゴム等でできた摩擦係数の高い靴底を有する普通のシューズである。シミュレーション装置の床面には、複数のトラックボール42が整列して埋設されている。ここでは図示しないが、この床面のトラックボール42は、第1実施形態同様、図３または４に示すようなトラックボール・ユニットとともに設置されており、トラックボール42の回転量及び回転方向を検出することができるようになっている。このトラックボール・ユニットは、図５に示すように、制御装置と通信可能であり、検出信号及び制御信号を送受信する。その他の部材の構成は第1実施例のものと同様である。
【００４７】
本実施例において、体験者100の位置、移動量及び移動方向を検出する方法を説明する。シミュレーション装置には、あらかじめX軸及びY軸からなる平面直交座標系を定めておく。トラックボール42はこのX-Y座標系に沿って配置されている。ここで、各トラックボール42の位置は(X,Y)という座標により表すことができる。
【００４８】
体験者100の位置は、第1実施例同様に、センサ3及び4により検出することもできるが、トラックボール42からも検出することができる。体験者100が歩行又は走行すると、シューズが接しているトラックボール42のみが回転するので、回転しているトラックボール42の座標が体験者100の位置を表していることになる。
【００４９】
体験者100の移動量及び移動方向は、トラックボール42の回転量及び回転方向から求めることができる。本実施例では、トラックボール・ユニットにもシミュレーション装置と同じくX-Y座標系を与えておくと、検出されるトラックボール42の回転量及び回転方向は、そのままX-Y座標系における体験者100の移動量及び移動方向となる。
【００５０】
トラックボール42は抵抗が少ないため、一度回転すると、体験者100が回転させ続けなくともしばらく回転し続ける。このため、体験者100が、歩行や走行をしながら、シミュレーション装置内を自由に移動したときに、体験者100がいなくなった場所のトラックボール42の回転までが検出されてしまい、体験者100の位置や行動が正確に検出されないおそれがある。そこで、トラックボール・ユニットのゴムローラ部分に感圧スイッチを備えて、感圧スイッチが一定以上の荷重を検出しているトラックボール42のみを検出対象とするのが好ましい。
【００５１】
本発明のシミュレーション装置の第3実施形態を図１２に示す。本発明実施形態では、体験者100が装着するシューズ61は、トラックボール・ユニットを有するが、これらの回転を検出する装置類は備えていない。あるいは、底面にローラ部材を有するローラスケート靴のようなシューズを用いてもよい。シミュレーション装置の床面には、感圧パッド62が敷き詰められている。感圧パッド62内部には圧電センサが含まれており、床面上の各位置での荷重を検出することができるようになっている。また、感圧パッド62は、図５に示すように、制御装置と通信可能であり、制御装置に検出信号を送信する。その他の部材の構成は第1実施例のものと同様である。
【００５２】
本実施例において、体験者100の位置、移動量及び移動方向を検出する方法を説明する。シミュレーション装置には、あらかじめX軸及びY軸からなる直交平面座標系を定めておく。感圧パッド62上の位置は、このX-Y座標系において (X,Y)という座標により表すことができる。
【００５３】
体験者100の位置は、第1実施例同様に、センサ3及び4により検出することもできるが、感圧パッド62からも検出することができる。上述の通り、感圧パッド62内部の圧電センサによって、床面上の各位置での荷重を検出することができるので、荷重がかかっている位置が、体験者100の現在の位置あり、この位置を上記で定められた(X,Y)で表すことができる。
【００５４】
体験者100が歩行するときの動作は次のとおりである。まず、体験者100は前方に一方の足を踏み出して着地し、この足で床面を後方に蹴る動作をする。このとき、シューズ61底面のトラックボール又はローラ部材が回転するとともにこの足は後方に移動する。次に、他方の足を上記同様前方に踏み出し、この足に体重を移すとともに後方の足を床面から持ち上げる。これらの動作が両足で交互に繰り返される。このとき、感圧パッド62は、左右の足の荷重が交互に、体験者100の体のやや前方からやや後方まで移動するのを検出する。また、走行の動作においても、これと同様な足の動きが検出される。ここで、感圧パッド62が検出結果する左右の足の荷重の移動方向は、互いに平行であり、体験者100のほぼ真後ろの方向となるので、これより、体験者100の移動方向を決定することができる。
【００５５】
さらに、この足の荷重の移動は連続的なものであるから、シューズ61底面のトラックボール又はローラ部材が着地してから再び床面を離れるまでの間に、感圧パッド62上で移動した距離を、荷重検出結果から算出することができる。ここで、この移動距離は、足が着地している間に、トラックボール又はローラ部材が回転した量ともほぼ等しいので、したがって、これを体験者100のそれぞれの足よる移動量とみなすことができる。なお、歩行又は走行速度が高いほど、各着地ごとの移動量が大きくなり、同時に移動回数も増えるので、単位時間の移動量は体験者100の移動速度をほぼ正確に表していることになる。
【００５６】
本発明のシミュレーション装置の第4実施形態を図１３に示す。本発明実施形態では、体験者100が装着するシューズ71は、トラックボール・ユニットを有するが、これらの回転を検出する装置類は備えていない。あるいは、底面にローラ部材を有するローラスケート靴のようなシューズを用いてもよい。各シューズ71のつま先付近及びかかと付近には、カメラにより認識可能な認識用部材72が取り付けられている。スクリーン22の4隅の上方には、それぞれ、この認識用部材72認識することができるカメラ部材73が取り付けられている。HMDを用いる場合には、カメラ部材73は筐体1に取り付けることができる。カメラ部材73は、例えば赤外線カメラ又はCCDカメラであり、認識用部材72は発光ダイオード等の発光素子とすることができる。これら合計4個の認識用部材72は、それぞれ異なる波長を発光するようにし、それぞれを別個に認識することができるようにしておく。シミュレーション装置には、あらかじめX軸、Y軸及びZ軸からなる直交立体座標系を定めておく。カメラ部材73は、光学式モーションキャプチャーシステムにより、撮像野内の認識部材72を随時検出し、その位置(X,Y,Z)を算出するようになっている。また、カメラ部材73は、図５に示すように、制御装置と通信可能であり、制御装置に検出信号を送信する。その他の部材の構成は第1実施例のものと同様である。
【００５７】
体験者100の位置は、第1実施例同様に、センサ3及び4により検出することもできるが、カメラ部材73によっても検出することができる。カメラ部材73は、シューズ72に取り付けられた4つの認識部材72を検出するので、これより体験者100の両足の位置を算出し、体験者100の位置(X,Y,Z)を決定することができる。
【００５８】
体験者100の移動方向及び移動量は、カメラ73によって検出される。カメラ73は、左右それぞれのシューズ71のつま先及びかかとに取り付けられた認識部材72の位置を検出するので、これにより左右の足の方向が分かる。通常、足の向いている方向がそのまま体験者100の進行方向となるので、これを体験者100の移動方向とすることができる。また、体験者100の移動量については、上記の第3実施例と同様な方法で算出することができる。すなわち、体験者100の左右それぞれのシューズ71が床面に着地している間に認識部材72が移動した距離を各足の移動量とすることができる。本実施例において、カメラ73は認識部材72の立体的位置(X,Y,Z)を検出するので、認識部材72の垂直位置からシューズ71が着地しているかどうかを判断すればよい。こうして、上記の第3実施例と同様に、体験者100のそれぞれの足が着地している間に移動する移動距離を、体験者100の移動量とみなすことができる。
【００５９】
【発明の効果】
以上に説明したように、本発明は、大規模な装置や複雑な構造を必要することなく、体験者が仮想空間において歩行、走行、しゃがみ込み、ジャンプ等の動作を自然な感覚でかつ安全に行うことができる仮想空間シミュレーション装置を提供する。また、これらの動作を的確に検出して、ディスプレイ装置の映像にフィードバックすることにより、体験者は仮想空間内に存在し行動しているかのような臨場感溢れるシミュレーション体験を得ることができる。
【図面の簡単な説明】
【図１】本発明のシミュレーション装置の第1実施形態の全体構成を概略的に示す斜視図である。
【図２】本発明のシミュレーション装置において体験者が装着するシューズの拡大図である。
【図３】本発明に用いる機械式トラックボール・ユニットの透過斜視図である。
【図４】本発明に用いる光学式トラックボール・ユニットの透過斜視図である。
【図５】本発明の制御装置と各装置類との通信方法を示すブロック図である。
【図６】本発明のシミュレーション装置において、体験者がしゃがみ込んだ状態を示す図である。
【図７】本発明のシミュレーション装置において、体験者が筐体に寄りかかってジャンプした状態を示す図である。
【図８】本発明のシミュレーション装置において、体験者が走行している状態を示す図である。
【図９】体験者と筐体の位置関係を示す平面図である。
【図１０】体験者と筐体の位置関係を示す平面図である。
【図１１】本発明のシミュレーション装置の第2実施形態の全体構成を概略的に示す斜視図である。
【図１２】本発明のシミュレーション装置の第3実施形態の全体構成を概略的に示す斜視図である。
【図１３】本発明のシミュレーション装置の第4実施形態の全体構成を概略的に示す斜視図である。
【符号の説明】
1 筐体
2 把手
3 上部センサ
4 下部センサ
5 感圧スイッチ
6 操作部
7 パッド
22 スクリーン
31 シューズ
32 感圧スイッチ
33 方向検出器
41 トラックボール・ユニット
42 トラックボール
43 ゴムローラ
44 回転量検出器
45 モータ
46 ギア
47 支持ローラ
48 回転量検出器
61 シューズ
62 感圧パッド
71 シューズ
72 認識用部材
73 カメラ部材
100 体験者
Claims (9)
- ディスプレイ装置に表示される仮想空間において、体験者が自由に行動することが可能なシミュレーション装置であって、
前記仮想空間を表示するためのディスプレイ装置と、
体験者が前記仮想空間で行動する際に掴まる把手を有し、体験者が実際に行動する床面上に固定配置される柱状の筐体と、
該筐体に取り付けられ、該筐体又は前記床面に対する体験者の位置状態を検出するためのセンサ装置と、
体験者が前記仮想空間で行動するに際して体験者に装着され、底面から一部周面を前記床面に対し当接可能に臨ませたトラックボール、並びに当該トラックボールの回転量を検出する回転量検出器が備えられている左右１対のシューズと、
該シューズに設けられ、当該シューズの方向を検出する方向検出器と、
前記ディスプレイ装置、前記センサ装置、前記回転量検出器、及び前記方向検出器と通信接続され、前記センサ装置の検出情報から前記筐体又は前記床面に対する体験者の位置状態を決定し、前記回転量検出器の検出情報から体験者の移動量を決定し、前記方向検出器の検出情報から体験者の移動方向を決定し、当該決定した体験者の位置状態、移動量、及び移動方向に基づいて前記ディスプレイ装置の表示を制御する制御装置と
を備えていることを特徴とするシミュレーション装置。 - ディスプレイ装置に表示される仮想空間において、体験者が自由に行動することが可能なシミュレーション装置であって、
前記仮想空間を表示するためのディスプレイ装置と、
複数の回転自在なトラックボールが一部周面を表面に臨ませて整列して配置されているとともに、該トラックボールの回転量及び回転方向を検出する回転量検出器を有する、体験者が実際に行動する床面と、
体験者が前記仮想空間で行動する際に掴まる把手を有し、該床面上に固定配置された柱状の筐体と、
該筐体に取り付けられ、該筐体又は前記床面上に対する体験者の位置状態を検出するためのセンサ装置と、
前記ディスプレイ装置、前記センサ装置、及び前記回転量検出器と通信接続され、前記センサ装置の検出情報から前記筐体又は前記床面に対する体験者の位置状態を決定し、前記回転量検出器の検出情報から体験者の移動量及び移動方向を決定し、当該決定した体験者の位置状態、移動量、及び移動方向に基づいて前記ディスプレイ装置の表示を制御する制御装置と
を備えていることを特徴とするシミュレーション装置。 - 請求項１又は２に記載のシミュレーション装置において、
前記回転量検出器には、当該回転量検出器に対応する前記トラックボールにかかる荷重を検出する感圧スイッチを備え、
前記制御装置は、さらに該感圧スイッチの検出情報から体験者の足が前記床面に接地しているか否かも決定し、当該決定した体験者の位置状態、前記床面に対する足の接地状態、移動量、及び移動方向に基づいて前記ディスプレイ装置の表示を制御する
ことを特徴とするシミュレーション装置。 - 請求項１乃至３のいずれかに記載のシミュレーション装置において、
前記トラックボールには、前記制御装置によって計算される体験者の移動速度を相殺する擦動相殺回転量で当該トラックボールを回転駆動する付勢手段が設けられている
ことを特徴とするシミュレーション装置。 - ディスプレイ装置に表示される仮想空間において、体験者が自由に行動することが可能なシミュレーション装置であって、
前記仮想空間を表示するためのディスプレイ装置と、
体験者が実際に行動する床面に設けられた感圧パッドと、
体験者が前記仮想空間で行動する際に掴まる把手を有し、該感圧パッドを表面に備えた前記床面上に固定配置された柱状の筐体と、
該筐体に取り付けられ、該筐体又は前記床面上に対する体験者の位置状態を検出するためのセンサ装置と、
体験者が前記仮想空間で行動するに際して体験者に装着され、底面から一部周面を前記床面に対し当接可能に臨ませたトラックボールが備えられている左右１対のシューズと、
前記ディスプレイ装置、前記感圧パッド、及び前記センサ装置と通信接続され、前記センサ装置の検出情報から前記筐体又は前記床面に対する体験者の位置状態を決定し、前記感圧パッドの検出情報から体験者の移動量及び移動方向を決定し、当該決定した体験者の位置状態、移動量、及び移動方向に基づいて前記ディスプレイ装置の表示を制御する制御装置と
を備えていることを特徴とするシミュレーション装置。 - 請求項１乃至５のいずれかに記載のシミュレーション装置において、
前記センサ装置は、前記筐体上部に取り付けられた上部センサと、前記筐体下部に取り付けられた下部センサとからなる
ことを特徴とするシミュレーション装置。 - 請求項６に記載のシミュレーション装置において、
前記センサ装置は、前記把手にかかる荷重を検出する感圧スイッチをさらに備える
ことを特徴とするシミュレーション装置。 - 請求項１乃至７のいずれかに記載のシミュレーション装置において、
前記ディスプレイ装置は、前記筐体の周囲に設置したスクリーン又は体験者の頭部に装着可能なヘッド・マウンテッド・ディスプレイ（HMD）である
ことを特徴とするシミュレーション装置。 - 前記制御手段と通信可能な操作部を備え、体験者が前記操作部により前記シミュレーション装置を操作できるようになっている
ことを特徴とする請求項１乃至８のいずれかに記載のシミュレーション装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002037609A JP3847634B2 (ja) | 2002-02-15 | 2002-02-15 | 仮想空間シミュレーション装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002037609A JP3847634B2 (ja) | 2002-02-15 | 2002-02-15 | 仮想空間シミュレーション装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2003241639A JP2003241639A (ja) | 2003-08-29 |
| JP3847634B2 true JP3847634B2 (ja) | 2006-11-22 |
Family
ID=27779141
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002037609A Expired - Fee Related JP3847634B2 (ja) | 2002-02-15 | 2002-02-15 | 仮想空間シミュレーション装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3847634B2 (ja) |
Families Citing this family (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006113474A (ja) * | 2004-10-18 | 2006-04-27 | Matsushita Electric Works Ltd | 映像体験支援システム |
| JP2007102099A (ja) * | 2005-10-07 | 2007-04-19 | Sony Corp | 電子機器、画像処理方法及びプログラム |
| US9032336B2 (en) | 2006-09-07 | 2015-05-12 | Osaka Electro-Communication University | Gesture input system, method and program |
| KR101128713B1 (ko) * | 2010-03-16 | 2012-03-23 | 동신대학교산학협력단 | 스킨스쿠버 체감을 위한 시뮬레이터 시스템 |
| CN104025157A (zh) * | 2010-11-05 | 2014-09-03 | 后藤雅江 | 图像生成方法、图像生成程序以及图像投影装置 |
| JP2014072576A (ja) * | 2012-09-27 | 2014-04-21 | Kyocera Corp | 表示装置および制御方法 |
| CN106020620B (zh) | 2012-09-27 | 2019-07-26 | 京瓷株式会社 | 显示装置、控制方法和控制程序 |
| JP5949477B2 (ja) * | 2012-11-13 | 2016-07-06 | トヨタ自動車株式会社 | 移動体の遠隔操作方法および遠隔操作装置 |
| KR101492372B1 (ko) * | 2014-04-23 | 2015-02-12 | (주)스페이스링크 | 모션제어유닛을 포함하는 가상현실 시뮬레이션장치 |
| KR101972472B1 (ko) * | 2015-10-23 | 2019-04-25 | 세종대학교산학협력단 | 가상 피트니스 체험을 위한 시스템 및 방법 |
| JP6122194B1 (ja) * | 2016-08-08 | 2017-04-26 | 株式会社コロプラ | 情報処理方法及び当該情報処理方法をコンピュータに実行させるためのプログラム |
| KR101821592B1 (ko) * | 2016-11-16 | 2018-01-25 | 그리드스페이스(주) | 가상 현실을 이용한 보행 시뮬레이터 시스템 및 그 보행자 위치 산출 방법 |
| JP6643583B2 (ja) * | 2017-06-27 | 2020-02-12 | 株式会社コナミアミューズメント | ゲーム機、及びコンピュータプログラム |
| CN108376490A (zh) * | 2018-01-03 | 2018-08-07 | 佛山杰致信息科技有限公司 | 一种基于大型设备的仿真教学软设备实现方法 |
| CN113299137B (zh) * | 2021-05-14 | 2024-05-31 | 国网吉林省电力有限公司长春供电公司 | 一种多维度安全帽打击体感实训装置 |
-
2002
- 2002-02-15 JP JP2002037609A patent/JP3847634B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2003241639A (ja) | 2003-08-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3847634B2 (ja) | 仮想空間シミュレーション装置 | |
| CA3010980C (en) | Exercise treadmill | |
| US9901816B2 (en) | Interactive game system with an HMD and a ground pad | |
| US7542040B2 (en) | Simulated locomotion method and apparatus | |
| US20060262120A1 (en) | Ambulatory based human-computer interface | |
| US9526983B2 (en) | Virtual reality avatar traveling control system and virtual reality avatar traveling control method | |
| Nilsson et al. | Tapping-in-place: Increasing the naturalness of immersive walking-in-place locomotion through novel gestural input | |
| US6646643B2 (en) | User control of simulated locomotion | |
| KR101624787B1 (ko) | 보행 모사 신발 및 이를 포함하는 가상 현실 체험 장치 | |
| US20100035688A1 (en) | Electronic Game That Detects and Incorporates a User's Foot Movement | |
| KR101151054B1 (ko) | 가상 현실 세계에서의 이동 체험 서비스 시스템 및 방법 | |
| US20190204909A1 (en) | Apparatus and Method of for natural, anti-motion-sickness interaction towards synchronized Visual Vestibular Proprioception interaction including navigation (movement control) as well as target selection in immersive environments such as VR/AR/simulation/game, and modular multi-use sensing/processing system to satisfy different usage scenarios with different form of combination | |
| CN110841275A (zh) | 图像显示系统、图像显示方法以及计算机可读介质 | |
| KR20160084672A (ko) | 운동 기구 및 그 제어 방법 | |
| US20210275098A1 (en) | Methods and devices for information acquisition, detection, and application of foot gestures | |
| CN111831104A (zh) | 头戴式显示系统、相关方法及相关计算机可读取记录媒体 | |
| WO2018122600A2 (en) | Apparatus and method of for natural, anti-motion-sickness interaction towards synchronized visual vestibular proprioception interaction including navigation (movement control) as well as target selection in immersive environments such as vr/ar/simulation/game, and modular multi-use sensing/processing system to satisfy different usage scenarios with different form of combination | |
| WO2018053055A1 (en) | Methods and devices for information acquisition, detection, and application of foot gestures | |
| CN110476140B (zh) | 信息处理系统、信息处理方法、信息处理程序 | |
| RU2662399C1 (ru) | Система и способ для захвата движений и положения тела человека и частей тела человека | |
| KR20120132283A (ko) | 사용자의 움직임과 모션 플랫폼 사이의 양방향 상호 작용을 기반으로 한 실감형 스노보드 장치 및 그 제어방법. | |
| WO2019165501A1 (en) | Virtual locomotion device | |
| TW201141582A (en) | Somatosensory foot equipment and system thereof | |
| KR101587263B1 (ko) | 센싱장치 및 이를 구비한 스크린 사격 시뮬레이션 시스템 | |
| WO1997042620A1 (en) | Virtual motion controller |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040728 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20060403 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060509 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060710 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20060801 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20060823 |
|
| R150 | Certificate of patent (=grant) or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090901 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100901 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110901 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120901 Year of fee payment: 6 |
|
| LAPS | Cancellation because of no payment of annual fees |