JPH11316646A - 仮想臨場体感方法及びシステム装置 - Google Patents

Abstract

(57)【要約】 【課題】仮想現実とのインタラクションにおける視覚と
触覚に対する力覚のフィードバックのようなインタラク
ションを完備して仮想体験における仮想現実の臨場的実
体感を増大する仮想臨場体感方法及びシステム装置の提
供。 【解決手段】仮想体験を行う仮想環境を提示する仮想環
境提示手段１と、人体の特定部分α１に装着して手αの
触覚を刺激する作動力を発生する作動力発生手段２と、
作動力発生手段２への当該作動力の発生を制御する作動
力発生制御手段３と、仮想環境モデル１２を生成して仮
想環境提示手段１に提供するとともに提示された仮想環
境に呼応して生成した作動信号を発生するタイミングを
演算し、作動力発生手段２に当該作動信号を転送して前
記タイミングを見張って作動力発生制御手段３に当該作
動信号を変換発生する仮想環境制御手段４と、を備える
特徴。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、ＶＲ（Virtual Re
ality ）環境を利用する分野において、現実空間におけ
る人間の特定部分の位置・姿勢をリアルタイムで計測す
る技術と仮想空間とのインタラクションとして少なくと
も視覚と触覚に対する作用力をフィードバックさせる刺
激技術を組み合わせることによって、仮想世界との臨場
感を増大させることのできる仮想臨場体感方法及びその
実施に直接使用するシステム装置に関するものである。

【０００２】

【従来の技術】従来、ＶＲ技術では映像表示用のヘッド
マウントディスプレイ（ＨＭＤ）、操作用として３次元
位置センサを装着したデータグローブを用いて仮想空間
との対話を実行することが主流である。

【０００３】例えば、この適用例として、仮想ラケット
ボールがある（トッパン，シリコン・ミラージュ仮想現
実の科学と芸術，P221−222 ，1994）。これは、ヘッド
マウントディスプレイＨＭＤとデータグローブの組み合
わせにより、コンピュータ合成の３次元のラケットボー
ルのコートと、ポヒマス磁気位置検出システム付の実際
のラケットにより仮想空間を体験するシステムである。

【０００４】具体的には、このラケットを振ると仮想空
間のなかでのコンピュータ合成ラケットが同一の動きを
し、仮想的なラケットでボールを打ち返すものである。
さらに、市販装置としてファントム（PHANToM ^TM：Sens
Able Technologies ，Inc ．）のような操作機器として
ジョイスティックを用い、操作範囲は限定されるが反力
を操作者の手に感じさせる機器もある。

【０００５】

【発明が解決しようとする課題】上記のような従来技術
では、仮想現実とのインタラクションは視覚が主であ
り、触覚に対する力覚のフィードバックのようなインタ
ラクションが不備であるため、また操作者が機器に拘束
され自由な動きを制約されるという欠点があるため、仮
想現実の臨場感を高めるためには不十分であった。

【０００６】ここにおいて、本発明の解決すべき主要な
目的は、次の通りである。即ち、本発明の第１の目的
は、仮想体験における仮想現実の臨場的実体感を増大し
て高めるための仮想臨場体感方法及びシステム装置を提
供せんとするものである。

【０００７】本発明の第２の目的は、仮想現実とのイン
タラクションにおける視覚と触覚に対する力覚のフィー
ドバックのようなインタラクションを完備させた仮想臨
場体感方法及びシステム装置を提供せんとするものであ
る。

【０００８】本発明の第３の目的は、操作者が機器の操
作に拘束されず自由な動きを制約されない仮想臨場体感
方法及びシステム装置を提供せんとするものである。

【０００９】本発明のその他の目的は、明細書、図面、
特に特許請求の範囲の各請求項の記載から自ずと明らか
となろう。

【００１０】

【課題を解決するための手段】本発明の方法は、前記課
題の解決に当り、人体の特定部分に装着可能な小型の触
覚刺激手段を用い、この触覚刺激手段に触覚刺激の作用
力を発生させるとともに、これを装着した人体の特定部
分の位置・姿勢を実時間でトラックできる３次元トラッ
カの情報を組み合わせることにより仮想世界とのインタ
ラクションとして違和感のない力フィードバックを作用
させる手法を講じる。

【００１１】本発明の装置は、任意の触覚刺激の作用力
を発生できる小型触覚刺激手段たる作動力発生手段と実
時間３次元トラッカの３次元位置・姿勢検出手段により
仮想現実の臨場感を向上させるシステム手段を講じる。

【００１２】更に、具体的に述べると、当該課題の解決
では本発明が次に列挙するそれぞれの新規な特徴的構成
手法又は手段を採用することにより、前記目的を達成す
るようなされる。

【００１３】即ち、本発明方法の第１の特徴は、提示さ
れた仮想環境中での仮想体験を現実環境において五感の
内少なくとも視覚と触覚を刺激して実体感を通して臨場
感を味わうに当り、触覚刺激手段に対する気体の衝撃力
により起生する当該触覚刺激手段に付与される衝撃振動
を力覚として体感してなる仮想臨場体感方法の構成採用
にある。

【００１４】本発明方法の第２の特徴は、提示された仮
想環境中での仮想体験を現実環境において五感の内少な
くとも視覚、聴覚、触覚を刺激して実体感を通して臨場
感を味わうに当り、触覚刺激手段に対する気体の衝撃力
により起生する当該触覚刺激手段に付与される衝撃振動
を力覚として体感してなる仮想臨場体感方法の構成採用
にある。

【００１５】本発明方法の第３の特徴は、提示された仮
想環境中での仮想体験に現実環境の挙動を反映して提示
した仮想体験を現実環境における五感の内少なくとも視
覚、触覚を刺激して実体感を通して仮想行動と現実行動
を融合した臨場感を味わうに当り、触覚刺激手段に対す
る気体の衝撃力により起生する当該触覚刺激手段に付与
される衝撃振動を力覚として体感してなる仮想臨場体感
方法の構成採用にある。

【００１６】本発明方法の第４の特徴は、提示された仮
想環境中での仮想体感に現実環境中の挙動を反映して提
示した仮想体験を現実環境における五感の内少なくとも
視覚、聴覚、触覚を刺激して実体感を通して仮想行動と
現実行動を融合した臨場感を味わうに当り、触覚刺激手
段に対する気体の衝撃力により起生する触覚刺激手段に
付与される衝撃振動を力覚として体感してなる仮想臨場
体感方法の構成採用にある。

【００１７】本発明方法の第５の特徴は、上記本発明方
法の第１、第２、第３又は第４の特徴における前記仮想
体験を実体感を通して臨場感を味わうのが、コンピュー
タを介して実現されてなる仮想臨場体感方法の構成採用
にある。

【００１８】本発明方法の第６の特徴は、上記本発明方
法の第１、第２、第３、第４又は第５の特徴における前
記仮想環境の提示が、五感の内の視覚を刺激する画面表
示である仮想臨場体感方法の構成採用にある。

【００１９】本発明方法の第７の特徴は、上記本発明方
法の第５又は第６の特徴における前記仮想環境の提示
が、コンピュータモデルあるいは当該コンピュータモデ
ルとある仮想物体の位置・姿勢データとの関係に基づい
て行われてなる仮想臨場体感方法の構成採用にある。

【００２０】本発明方法の第８の特徴は、上記本発明方
法の第５、第６又は第７の特徴における前記触覚の刺激
が、少なくとも一つ以上の前記触覚刺激手段を人体の特
定部分に装着した上で、コンピュータモデルあるいは、
当該コンピュータモデルとある仮想物体の位置・姿勢デ
ータとの関係に基づいて作動信号を発生させることによ
り与えられてなる仮想臨場体感方法の構成採用にある。

【００２１】本発明方法の第９の特徴は、上記本発明方
法の第１、第２、第３、第４、第５、第６、第７又は第
８の特徴における前記衝撃振動が、前記仮想環境モデル
における動く仮想物体と現実環境における人体部分又は
前記触覚刺激手段との相対的な動きに応じて変化させて
なる仮想臨場体感方法の構成採用にある。

【００２２】本発明方法の第１０の特徴は、上記本発明
方法の第１、第２、第３、第４、第５、第６、第７、第
８又は第９の特徴における前記触覚の刺激が、少なくと
も１つ以上の前記触覚刺激手段を操作者の特定部分に装
着した上で、当該操作者の位置・姿勢データに基づいて
作動信号を発生させることにより与えられてなる仮想臨
場体感方法の構成採用にある。

【００２３】本発明方法の第１１の特徴は、上記本発明
方法の第７又は第８の特徴における前記コンピュータモ
デルが、動きをステレオ映像として画面表示されてなる
仮想臨場体感方法の構成採用にある。

【００２４】本発明方法の第１２の特徴は、上記本発明
方法の第１０の特徴における前記触覚刺激手段の操作者
の特定部分への装着が、当該触覚刺激手段を手首部近傍
の下腕に装着して手にて把持してなる仮想臨場体感方法
の構成採用にある。

【００２５】本発明方法の第１３の特徴は、上記本発明
方法の第６、第７、第８、第９、第１０、第１１又は第
１２の特徴における前記画面表示が、ＣＲＴディスププ
レイ、液晶ディスプレイ、プラズマディスプレイ等の大
型プロジェクタやヘッドマウントディスプレイのいずれ
かを用いてなる仮想臨場体感方法の構成採用にある。

【００２６】本発明方法の第１４の特徴は、上記本発明
方法の第８又は第１０の特徴における前記作動信号が、
発生と同時並行して音響に変換出力されてなる仮想臨場
体感方法の構成採用にある。

【００２７】本発明方法の第１５の特徴は、上記本発明
方法の第１４の特徴における前記音響が、前記作動信号
の情報に応じて可変変換出力されてなる仮想臨場体感方
法の構成採用にある。

【００２８】本発明方法の第１６の特徴は、上記本発明
方法の第１２の特徴における前記触覚の刺激が、前記触
覚刺激手段を装着把持する手腕の触覚に対して与えられ
てなる仮想臨場体感方法の構成採用にある。

【００２９】本発明方法の第１７の特徴は、上記本発明
方法の第３、第４、第５、第６、第７、第９、第１０、
第１１、第１２、第１３、第１４、第１５又は第１６の
特徴における前記現実環境の挙動の反映が、当該挙動対
象の撮影を通して行われてなる仮想臨場体感方法の構成
採用にある。

【００３０】本発明方法の第１８の特徴は、上記本発明
方法の第１７の特徴における前記挙動対象の撮影が、装
着する前記触覚刺激手段又は把持する手の動きの撮影で
ある仮想臨場体感方法の構成採用にある。

【００３１】本発明方法の第１９の特徴は、上記本発明
方法の第１７又は第１８の特徴における前記挙動対象の
撮影が、当該挙動対象の３次元位置・姿勢の検出に資し
てなる仮想臨場体感方法の構成採用にある。

【００３２】本発明方法の第２０の特徴は、上記本発明
方法の第１７、第１８又は第１９の特徴における前記挙
動対象の撮影が、前記提示された仮想環境に対応する当
該挙動対象の３次元位置・姿勢の解析演算に供されてな
る仮想臨場体感方法の構成採用にある。

【００３３】本発明システム装置の第１の特徴は、仮想
体験を行う仮想環境を提示する仮想環境提示手段と、人
体の特定部分に装着して触覚を刺激する作動力を発生す
る作動力発生手段と、当該作動力発生力手段へ当該作動
力の発生を制御する作動力発生制御手段と、仮想環境モ
デルを生成して前記仮想環境提示手段に提供するととも
に提示された前記仮想環境に呼応して生成した作動信号
を発生するタイミングを演算し、前記作動力発生制御手
段に当該作動信号を変換発生する仮想環境制御手段と、
を備えてなる仮想臨場体感システム装置の構成採用にあ
る。

【００３４】本発明システム装置の第２の特徴は、上記
本発明システム装置の第１の特徴における前記仮想環境
制御手段が、前記仮想環境モデルを生成する仮想環境モ
デル生成手段と、当該仮想環境モデルの提供に呼応して
生成した作動信号を発生するタイミングを演算する作動
信号発生タイミング演算手段と、当該演算されたタイミ
ングを計って作動信号を変換発生する作動信号発生手段
と、を有してなる仮想臨場体感システム装置の構成採用
にある。

【００３５】本発明システム装置の第３の特徴は、上記
本発明システム装置の第１又は第２の特徴における前記
仮想環境制御手段が、前記仮想環境モデル生成時の動き
に反映させるため、前記作動力発生手段又は人体特定部
分の３次元位置・姿勢を検出出力する３次元位置・姿勢
検出手段を付帯接続してなる仮想臨場体感システム装置
の構成採用にある。

【００３６】本発明システム装置の第４の特徴は、上記
本発明システム装置の第１、第２又は第３の特徴におけ
る前記仮想環境制御手段が、作動信号発生と同時に当該
作動信号を音響変換出力する音響発生手段を付帯接続し
てなる仮想臨場体感システム装置の構成採用にある。

【００３７】本発明システム装置の第５の特徴は、上記
本発明システム装置の第１、第２、第３又は第４の特徴
における前記作動力発生制御手段が、前記作動信号の情
報に応じ作動力を可変自在な作動力可変制御手段と置き
換えてなる仮想臨場体感システム装置の構成採用にあ
る。

【００３８】本発明システム装置の第６の特徴は、上記
本発明システム装置の第１、第２、第３、第４又は第５
の特徴における前記仮想環境制御手段が、コンピュータ
で構成してなる仮想臨場体感システム装置の構成採用に
ある。

【００３９】本発明システム装置の第７の特徴は、上記
本発明システム装置の第４、第５又は第６の特徴におけ
る前記音響発生手段が、前記作動信号の情報に応じ発生
音響を可変自在としてなる仮想臨場体感システム装置の
構成採用にある。

【００４０】本発明システム装置の第８の特徴は、上記
本発明システム装置の第１、第２、第３、第４、第５、
第６又は第７の特徴における前記仮想環境提示手段が、
ＣＲＴディスプレイ、液晶ディスプレイ、プラズマディ
スプレイ等の大型プロジェクタやヘッドマウントディス
プレイのいずれかである仮想臨場体感システム装置の構
成採用にある。

【００４１】本発明システム装置の第９の特徴は、上記
本発明システム装置の第４、第５、第６、第７又は第８
の特徴における前記音響発生手段が、ステレオスピーカ
ーである仮想臨場体感システム装置の構成採用にある。

【００４２】本発明システム装置の第１０の特徴は、上
記本発明システム装置の第３、第４、第５、第６、第
７、第８又は第９の特徴における前記３次元位置・姿勢
検出手段が、ＣＣＤステレオカメラ、ステレオ撮像管等
である仮想臨場体感システム装置の構成採用にある。

【００４３】本発明システム装置の第１１の特徴は、上
記本発明システム装置の第１、第２、第３、第４、第
５、第６、第７、第８、第９又は第１０の特徴における
前記作動力発生制御手段が、コンプレッサーと直結する
制御ボックスである仮想臨場体感システム装置の構成採
用にある。

【００４４】本発明システム装置の第１２の特徴は、上
記本発明システム装置の第１、第２、第３、第４、第
５、第６、第７、第８、第９、第１０又は第１１の特徴
における前記作動力発生手段が、手にて把持し、衝撃振
動を触覚に伝えるグリッパと、一端を前記制御ボックス
に接続し、他端を当該グリッパ先端一側に放出口を開口
する気体放出管と、基部を手首部近傍の下腕に装着する
とともに、先部を当該放出口に臨ませて気体放出を受け
た際の衝撃力を前記グリッパに対し反力として前記衝撃
振動を起生する気体反射板と、を有するアクチュエータ
である仮想臨場体感システム装置の構成採用にある。

【００４５】本発明システム装置の第１３の特徴は、上
記本発明システム装置の第１２の特徴における前記アク
チュエータが、前記グリッパのそれぞれ所要箇所にジャ
イロ等の姿勢センサと赤外線ＬＥＤを取り付けてなる仮
想臨場体感システム装置の構成採用にある。

【００４６】本発明システム装置の第１４の特徴は、上
記本発明システム装置の第５、第６、第７、第８、第
９、第１０、第１１、第１２又は第１３の特徴における
前記作動力可変制御手段が、仮想環境モデルにおける動
く仮想物体と現実環境におけるアクチュエータ又は人体
の部位との相対的動きに応じて衝撃振動を変化させるた
め気体放出圧を可変制御自在としてなる仮想臨場体感シ
ステム装置の構成採用にある。

【００４７】本発明システム装置の第１５の特徴は、上
記本発明システム装置の第６、第７、第８、第９、第１
０、第１１、第１２、第１３又は第１４の特徴における
前記仮想環境制御手段が、相互の作動力と仮想環境モデ
ルを共有して遠隔地での相互利用自在にネットワークに
接続する機能を有してなる仮想臨場体感システム装置の
構成採用にある。

【００４８】

【発明の実施の形態】以下、添付図面を参照して、本発
明の実施形態をその装置例、方法例及び実施例に基づい
て説明する。なお、本実施形態例では触覚刺激手段であ
る作動力発生手段の人体装着を手首部近傍の下腕として
手にて把持するアクチュエータを想定して専ら説明する
がこれに限定されない。

【００４９】（装置例１）図１は本装置例のシステム構
成ブロック図である。本装置例の仮想臨場体感システム
装置Ａは、仮想体験を行う仮想環境を提示する仮想環境
提示手段１と、人体の特定部分に装着して触覚を刺激す
る作動力を発生する作動力発生手段２と、作動力発生手
段２へ前記作動力の発生を制御する作動力発生制御手段
３と、仮想環境モデルを生成して仮想環境提示手段１に
提供するとともに、提示された前記仮想環境に呼応して
生成した作動信号を発生するタイミングを演算し、作動
力発生制御手段３に当該作動信号を変換発生する仮想環
境制御手段４とでシステム構成される。

【００５０】前記仮想環境制御手段４は、仮想環境モデ
ルを生成する仮想環境モデル生成手段４ａと、仮想環境
モデルの提供に呼応して生成した作動信号を発生するタ
イミングを演算する作動信号発生タイミング演算手段４
ｂと、当該演算されたタイミングを計って発生した作動
信号を変換発生する作動信号発信手段４ｃとを機能とし
て有する。前記仮想環境提示手段１は、ＣＴＲディスプ
レイ、ＬＣＤディスプレイ、ＰＤＰディスプレイ等の大
型プロジェクタやヘッドマウントディスプレイを採用す
ることができる。

【００５１】（方法例１）当該装置例１に適用した本実
施形態の方法例１の処理手順を図１につき説明する。ま
ず、仮想環境制御手段４では、仮想環境モデル生成手段
４ａにおいて、２次元あるいは３次元の仮想環境モデル
を生成しこれを仮想環境提示手段１により提示する。さ
らに、仮想環境制御手段４では作動信号発生タイミング
演算手段４ｂにより仮想環境モデルの動作と呼応連携し
て作動信号発生手段４ｃに転送する必要な作動信号の発
生タイミングを演算する。これを用い、作動信号発生手
段４ｃは、作動力制御手段３を制御するために変換した
作動信号を生成する。この変換作動信号により作動力発
生制御手段３を介して作動力発生手段２は瞬間的な作動
力を発生させる。

【００５２】（実施例１）前記装置例１及び前記方法例
１を応用した本実施形態の具体的実施例１を図面につい
て詳説する。図２は、仮想体験としてスカッシュ競技を
例にとり前記装置例１の実施例である。作動力発生手段
２に対応して作動力を発生するアクチュエータ２′は気
体反射板５、気体放出管６、グリップ７、作動力発生制
御手段３に対応する制御ボックス８及びコンプレッサ９
から構成されている。

【００５３】仮想環境制御手段４に対応するパーソナル
コンピュータ１０はアクチュエータ２′制御用の作動信
号を発生するとともに仮想環境モデルを仮想環境提示手
段１に対応する大型プロジェクタ１１に提示する。ま
ず、パーソナルコンピュータ１０においてスカッシュの
コート及びボールの仮想環境モデル１２を生成する。こ
の仮想環境モデル１２内でボール１３が壁から打ち出さ
れる。このモデルを生成しているパーソナルコンピュー
タ１０では、モデル内の移動するボール１３の位置情報
をモニタリングする。

【００５４】一方、アクチュエータ２′は人間の手αに
て把持する作動力発生手段２として作動力に気体である
エアーを用いる。エアーはコンプレッサ９から常時供給
されており、制御ボックス８内のエアー開閉用のソレノ
イドバルブのオン・オフにより放出される。放出された
エアーは気体放出管６を通り、エアーが瞬時に放出口６
ａから基部を手首部近傍の下腕α１に装着した気体反射
板５の閉鎖ブロック５ａに放出されることにより、グリ
ップ７を把持している手αに瞬間的な反力として衝撃振
動が加わる。

【００５５】パーソナルコンピュータ１０では、仮想環
境モデル１２内のボール１３の中心位置がライン１４と
一致したときに制御ボックス８にソレノイドバルブのオ
ン・オフ信号を発生させる。これにより、グリップ７を
握った手αには反力が加わるとともにボール１３は仮想
的な力で打ち返される。

【００５６】ボール１３は壁に向かって打ち返され、壁
で跳ね返って再び戻り同じ動作が繰り返される。この一
連の仮想体験動作によりグリップ７をもつ人間は大型プ
ロジェクタ１１に写しだされた仮想環境モデル１２のグ
ラフィックスとともにフォースフィードバックを実感し
ながら仮想環境でのスカッシュを体験することができ
る。

【００５７】（装置例２）図３は、本装置例のシステム
構成ブロック図である。本装置例の仮想臨場体感システ
ム装置Ｂは、前記装置例１の仮想臨場体感システム装置
Ａを示す図１中の仮想環境制御手段４と同一に構成さ
れ、同一符号を付して説明の重複を避けた。

【００５８】本装置例は、仮想環境提示手段１５と作動
力発生手段１６と作動力可変制御手段１７と、仮想環境
制御手段４と３次元位置・姿勢検出手段１８と音響発生
手段１９とでシステム構成される。前記仮想環境提示手
段１５は、前記大型プロジェクタやヘッドマウントディ
スプレイを採用できる。

【００５９】前記仮想環境制御手段４は、仮想環境モデ
ルの生成時の動きに反映させるため、作動力発生手段１
６又は人体特定部分の３次元位置・姿勢を検出出力する
３次元位置・姿勢検出手段１８と、作動信号変換発生と
同時に当該作動信号の情報に応じ音響変換出力を可変す
る音響発生手段１９をそれぞれ付帯接続する。

【００６０】前記作動力可変制御手段１７は、仮想環境
制御手段４からの作動信号の情報に応じ作動力を可変自
在な機能を有している。前記作動力発生手段１６は、所
要部位に姿勢センサを有する。

【００６１】（方法例２）当該装置例２に適用する本実
施形態の方法例２の処理手順を図３について説明する。
まず、仮想環境モデル生成手段４ａでは、例えば、右目
用と左目用の各３次元モデルを作成し、例えばヘッドマ
ウントディスプレイで立体視を表示する。３次元位置・
姿勢検出手段１８では利用者の手αの位置姿勢を逐次検
出し、この情報を作動信号発生タイミング演算手段４ｂ
に送信する。

【００６２】この位置姿勢情報に基づいて作動信号発生
タイミング演算手段４ｂでは作動信号発生タイミングを
演算し、これを作動信号発生手段４ｃに転送するととも
に、音響発生手段１４に信号を送り適切な音を発生させ
る。また、作動信号発生手段４ｃから作動力可変制御手
段１７に制御のために変換した作動信号が送られ、この
制御により作動力発生手段１６から作動力が発生する。
なお、作動力可変制御手段１７では作動力の大きさを数
段階に変化させることができる。

【００６３】（実施例２）前記装置例２及び方法例２を
応用した本実施形態の具体的実施例２を図面について説
明する。図４は、仮想環境体験の例としてテニス競技に
利用した場合の実施例について説明する。

【００６４】仮想環境制御手段４に対応するパーソナル
コンピュータ１０では、テニス用仮想環境モデル２０の
右目用モデル及び左目用モデルを生成し、仮想環境提示
手段１５に対応するヘッドマウントディスプレイ（ＨＭ
Ｄ）２１に表示する。

【００６５】また、手αに握られたグリップ７の位置・
姿勢を求めるために例えば、特願平９−２３７３７０号
にあるようにグリップ７に赤外線ＬＥＤ２２と姿勢セン
サの小型ジャイロ２３をつけ、３次元位置を赤外線透過
フィルターをレンズにつけたＣＣＤカメラ２４、２５や
一対の撮像管でのステレオ処理によって、また３自由度
の姿勢情報をジャイロ２３で計測する。

【００６６】仮想テニスプレイを開始すると、ＨＭＤ２
１をかけた利用者はＨＭＤ２１に表示されたテニス環境
モデル２０内を移動するボール２６に合わせてグリップ
７を振る。このとき、ＣＣＤカメラ２４、２５でステレ
オ処理した位置情報及びジャイロからの姿勢情報がパー
ソナルコンピュータ１０に取得される。

【００６７】仮想環境モデル２０内のボール２６の位置
と手αの位置が一致したときに、制御ボックス２７にエ
アーの制御信号を送る。これによりソレノイドバルブが
開閉し、エアーが気体放出管６に供給され、エアーが瞬
時に送出されて手αに反力が発生する。また、同時に、
パーソナルコンピュータ１０から、音響発生手段１９に
対応するステレオスピーカー２８、２９に適切な効果音
を発生するような信号が送られる。

【００６８】あるいは、ＨＭＤ２１のヘッドホーンに効
果音を送ることにより仮想体験をリアルなものにするこ
とができる。さらに、あらかじめグリップ７の回転角度
に応じた作動力を設定しておく。パーソナルコンピュー
タ１０はジャイロ２３から計測される姿勢情報と一致す
る作動力を発生するように制御ボックス２７に作動信号
を送る。制御ボックス２７では、この作動信号の各情報
に応じてソレノイドバルブの開の割合つまり流量を制御
することにより、手αに伝わる反力の衝撃振動を変化さ
せることもできる。

【００６９】なお、この実施例にネットワークに接続す
る機能をもたせれば、ネットワークを介した相互の作動
力と仮想環境モデル２０を共有することにより遠隔地で
の相互利用が可能である。

【００７０】

【発明の効果】本発明により、従来仮想環境とのインタ
ラクション手段として視覚を主に用いていたが、これに
力覚のフィードバックを付加したことにより仮想現実の
臨場感を高める効果が期待される。

【図面の簡単な説明】

【図１】本発明の実施の形態を示す装置例１のシステム
構成ブロック図である。

【図２】同上実施例のシステム模式図である。

【図３】本発明の実施の形態を示す装置例２のシステム
構成ブロック図である。

【図４】同上、実施例のシステム模式図である。

【符号の説明】

Ａ，Ｂ…仮想臨場体感システム装置 １，１５…仮想環境提示手段 ２，１６…作動力発生手段 ２′，１６′…アクチュエータ ３…作動力発生制御手段 ４…仮想環境制御手段 ４ａ…仮想環境モデル生成手段 ４ｂ…作動信号発生タイミング演算手段 ４ｃ…作動信号発生手段 ５…気体反射板 ５ａ…閉鎖ブロック ６…気体放出管 ６ａ…気体放出口 ７…グリップ ８，２７…制御ボックス ９…コンプレッサ １０…パーソナルコンピュータ １１…大型プロジェクタ １２，２０…仮想環境モデル １３，２６…ボール １４…ライン １７…作動力可変制御手段 １８…３次元位置・姿勢検出手段 １９…音響発生手段 ２１…ヘッドマウントディスプレイ（ＨＭＤ） ２２…赤外線ＬＥＤ ２３…小型ジャイロ ２４，２５…ＣＣＤカメラ ２８，２９…ステレオスピーカー α…手 α１…下腕

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁶ 識別記号 ＦＩ Ｇ０９Ｂ 9/00 Ｇ０９Ｂ 9/00 Ｚ

Claims (35)

【特許請求の範囲】
1. 【請求項１】提示された仮想環境中での仮想体験を現実
   環境において五感の内少なくとも視覚と触覚を刺激して
   実体感を通して臨場感を味わうに当り、 触覚刺激手段に対する気体の衝撃力により起生する当該
   触覚刺激手段に付与される衝撃振動を力覚として体感す
   る、 ことを特徴とする仮想臨場体感方法。
2. 【請求項２】提示された仮想環境中での仮想体験を現実
   環境において五感の内少なくとも視覚、聴覚、触覚を刺
   激して実体感を通して臨場感を味わうに当り、 触覚刺激手段に対する気体の衝撃力により起生する当該
   触覚刺激手段に付与される衝撃振動を力覚として体感す
   る、 ことを特徴とする仮想臨場体感方法。
3. 【請求項３】提示された仮想環境中での仮想体験に現実
   環境の挙動を反映して提示した仮想体験を現実環境にお
   ける五感の内少なくとも視覚、触覚を刺激して実体感を
   通して仮想行動と現実行動を融合した臨場感を味わうに
   当り、 触覚刺激手段に対する気体の衝撃力により起生する当該
   触覚刺激手段に付与される衝撃振動を力覚として体感す
   る、 ことを特徴とする仮想臨場体感方法。
4. 【請求項４】提示された仮想環境中での仮想体感に現実
   環境中の挙動を反映して提示した仮想体験を現実環境に
   おける五感の内少なくとも視覚、聴覚、触覚を刺激して
   実体感を通して仮想行動と現実行動を融合した臨場感を
   味わうに当り、 触覚刺激手段に対する気体の衝撃力により起生する触覚
   刺激手段に付与される衝撃振動を力覚として体感する、 ことを特徴とする仮想臨場体感方法。
5. 【請求項５】前記仮想体験を実体感を通して臨場感を味
   わうのは、 コンピュータを介して実現される、 ことを特徴とする請求項１、２、３又は４に記載の仮想
   臨場体感方法。
6. 【請求項６】前記仮想環境の提示は、 五感の内の視覚を刺激する画面表示である、 ことを特徴とする請求項１、２、３、４又は５に記載の
   仮想臨場体感方法。
7. 【請求項７】前記仮想環境の提示は、 コンピュータモデルあるいは当該コンピュータモデルと
   ある仮想物体の位置・姿勢データとの関係に基づいて行
   われる、 ことを特徴とする請求項５又は６に記載の仮想臨場体感
   方法。
8. 【請求項８】前記触覚の刺激は、 少なくとも一つ以上の前記触覚刺激手段を人体の特定部
   分に装着した上で、 コンピュータモデルあるいは、当該コンピュータモデル
   とある仮想物体の位置・姿勢データとの関係に基づいて
   作動信号を発生させることにより与えられる、 ことを特徴とする請求項５、６又は７に記載の仮想臨場
   体感方法。
9. 【請求項９】前記衝撃振動は、 前記仮想環境モデルにおける動く仮想物体と現実環境に
   おける人体部分又は前記触覚刺激手段との相対的な動き
   に応じて変化させる、 ことを特徴とする請求項１、２、３、４、５、６、７又
   は８に記載の仮想臨場体感方法。
10. 【請求項１０】前記触覚の刺激は、 少なくとも１つ以上の前記触覚刺激手段を操作者の特定
    部分に装着した上で、 当該操作者の位置・姿勢データに基づいて作動信号を発
    生させることにより与えられる、 ことを特徴とする請求項１、２、３、４、５、６、７、
    ８又は９に記載の仮想臨場体感方法。
11. 【請求項１１】前記コンピュータモデルは、 動きをステレオ映像として画面表示される、 ことを特徴とする請求項７又は８に記載の仮想臨場体感
    方法。
12. 【請求項１２】前記触覚刺激手段の操作者の特定部分へ
    の装着は、 当該触覚刺激手段を手首部近傍の下腕に装着して手にて
    把持する、 ことを特徴とする請求項１０に記載の仮想臨場体感方
    法。
13. 【請求項１３】前記画面表示は、 ＣＲＴディスププレイ、液晶ディスプレイ、プラズマデ
    ィスプレイ等の大型プロジェクタやヘッドマウントディ
    スプレイのいずれかを用いる、 ことを特徴とする請求項６、７、８、９、１０、１１又
    は１２に記載の仮想臨場体感方法。
14. 【請求項１４】前記作動信号は、 発生と同時並行して音響に変換出力される、 ことを特徴とする請求項８又は１０に記載の仮想臨場体
    感方法。
15. 【請求項１５】前記音響は、 前記作動信号の情報に応じて可変変換出力される、 ことを特徴とする請求項１４の仮想臨場体感方法。
16. 【請求項１６】前記触覚の刺激は、 前記触覚刺激手段を装着把持する手腕の触覚に対して与
    えられる、 ことを特徴とする請求項１２に記載の仮想臨場体感方
    法。
17. 【請求項１７】前記現実環境の挙動の反映は、 当該挙動対象の撮影を通して行われる、 ことを特徴とする請求項３、４、５、６、７、９、１
    ０、１１、１２、１３、１４、１５又は１６に記載の仮
    想臨場体感方法。
18. 【請求項１８】前記挙動対象の撮影は、 装着する前記触覚刺激手段又は把持する手の動きの撮影
    である、 ことを特徴とする請求項１７に記載の仮想臨場体感方
    法。
19. 【請求項１９】前記挙動対象の撮影は、 当該挙動対象の３次元位置・姿勢の検出に資する、 ことを特徴とする請求項１７又は１８に記載の仮想臨場
    体感方法。
20. 【請求項２０】前記挙動対象の撮影は、 前記提示された仮想環境に対応する当該挙動対象の３次
    元位置・姿勢の解析演算に供される、 ことを特徴とする請求項１７、１８又は１９に記載の仮
    想臨場体感方法。
21. 【請求項２１】仮想体験を行う仮想環境を提示する仮想
    環境提示手段と、 人体の特定部分に装着して触覚を刺激する作動力を発生
    する作動力発生手段と、 当該作動力発生力手段へ当該作動力の発生を制御する作
    動力発生制御手段と、 仮想環境モデルを生成して前記仮想環境提示手段に提供
    するとともに提示された前記仮想環境に呼応して生成し
    た作動信号を発生するタイミングを演算し、前記作動力
    発生制御手段に当該作動信号を変換発生する仮想環境制
    御手段と、を備える、 ことを特徴とする仮想臨場体感システム装置。
22. 【請求項２２】前記仮想環境制御手段は、 前記仮想環境モデルを生成する仮想環境モデル生成手段
    と、 当該仮想環境モデルの提供に呼応して生成した作動信号
    を発生するタイミングを演算する作動信号発生タイミン
    グ演算手段と、 当該演算されたタイミングを計って作動信号を変換発生
    する作動信号発生手段と、を有する、 ことを特徴とする請求項２１に記載の仮想臨場体感シス
    テム装置。
23. 【請求項２３】前記仮想環境制御手段は、 前記仮想環境モデル生成時の動きに反映させるため、前
    記作動力発生手段又は人体特定部分の３次元位置・姿勢
    を検出出力する３次元位置・姿勢検出手段を付帯接続す
    る、 ことを特徴とする請求項２１又は２２に記載の仮想臨場
    体感システム装置。
24. 【請求項２４】前記仮想環境制御手段は、 作動信号発生と同時に当該作動信号を音響変換出力する
    音響発生手段を付帯接続する、 ことを特徴とする請求項２１、２２又は２３に記載の仮
    想臨場体感システム装置。
25. 【請求項２５】前記作動力発生制御手段は、 前記作動信号の情報に応じ作動力を可変自在な作動力可
    変制御手段と置き換える、 ことを特徴とする請求項２１、２２、２３又は２４に記
    載の仮想臨場体感システム装置。
26. 【請求項２６】前記仮想環境制御手段は、 コンピュータで構成する、 ことを特徴とする請求項２１、２２、２３、２４又は２
    ５に記載の仮想臨場体感システム装置。
27. 【請求項２７】前記音響発生手段は、 前記作動信号の情報に応じ発生音響を可変自在とする、 ことを特徴とする請求項２４、２５又は２６に記載の仮
    想臨場体感システム装置。
28. 【請求項２８】前記仮想環境提示手段は、 ＣＲＴディスプレイ、液晶ディスプレイ、プラズマディ
    スプレイ等の大型プロジェクタやヘッドマウントディス
    プレイのいずれかである、 ことを特徴とする請求項２１、２２、２３、２４、２
    ５、２６又は２７に記載の仮想臨場体感システム装置。
29. 【請求項２９】前記音響発生手段は、 ステレオスピーカーである、 ことを特徴とする請求項２４、２５、２６、２７又は２
    ８に記載の仮想臨場体感システム装置。
30. 【請求項３０】前記３次元位置・姿勢検出手段は、 ＣＣＤステレオカメラ、ステレオ撮像管等である、 ことを特徴とする請求項２３、２４、２５、２６、２
    ７、２８又は２９に記載の仮想臨場体感システム装置。
31. 【請求項３１】前記作動力発生制御手段は、 コンプレッサーと直結する制御ボックスである、 ことを特徴とする請求項２１、２２、２３、２４、２
    ５、２６、２７、２８、２９又は３０に記載の仮想臨場
    体感システム装置。
32. 【請求項３２】前記作動力発生手段は、 手にて把持し、衝撃振動を触覚に伝えるグリッパと、 一端を前記制御ボックスに接続し、他端を当該グリッパ
    先端一側に放出口を開口する気体放出管と、 基部を手首部近傍の下腕に装着するとともに、先部を当
    該放出口に臨ませて気体放出を受けた際の衝撃力を前記
    グリッパに対し反力として前記衝撃振動を起生する気体
    反射板と、を有するアクチュエータである、 ことを特徴とする請求項２１、２２、２３、２４、２
    ５、２６、２７、２８、２９、３０又は３１に記載の仮
    想臨場体感システム装置。
33. 【請求項３３】前記アクチュエータは、 前記グリッパのそれぞれ所要箇所にジャイロ等の姿勢セ
    ンサと赤外線ＬＥＤを取り付けてなる、 ことを特徴とする請求項３２に記載の仮想臨場体感シス
    テム装置。
34. 【請求項３４】前記作動力可変制御手段は、 仮想環境モデルにおける動く仮想物体と現実環境におけ
    るアクチュエータ又は人体の部位との相対的動きに応じ
    て衝撃振動を変化させるため気体放出圧を可変制御自在
    とする、 ことを特徴とする請求項２５、２６、２７、２８、２
    ９、３０、３１、３２又は３３に記載の仮想臨場体感シ
    ステム装置。
35. 【請求項３５】前記仮想環境制御手段は、 相互の作動力と仮想環境モデルを共有して遠隔地での相
    互利用自在にネットワークに接続する機能を有する、 ことを特徴とする請求項２６、２７、２８、２９、３
    ０、３１、３２、３３又は３４に記載の仮想臨場体感シ
    ステム装置。