JPH0546587A

JPH0546587A - 仮想環境データ提示装置

Info

Publication number: JPH0546587A
Application number: JP23239191A
Authority: JP
Inventors: Kenichi Kamijo; 憲一上條
Original assignee: NEC Corp
Current assignee: NEC Corp
Priority date: 1991-08-20
Filing date: 1991-08-20
Publication date: 1993-02-26

Abstract

(57)【要約】【目的】使用者が仮想環境の中で作業等を行なう場合
に、使用者の位置形状の計測とともに、生理・心理状態
を反映する生体情報を計測し、それらの情報を仮想世界
にフィードバックしたり、あらかじめ決められたモデル
や望ましいデータと比較することによって、使用者に対
して教師となるような信号を与えることができる仮想環
境データ提示装置を提供することにある。【構成】使用者の生理・心理状態を反映する生体情報
計測部１４１１〜１４ｍ１を使用して、生体情報を考慮
した仮想環境データ１７０１を作成する。さらに、専門
家がある作業を行なう場合の位置形状データや生体情報
を蓄えるモデル・データ部１９と位置形状教師信号生成
部１６、生体情報教師信号生成部１５１〜１５ｍによ
り、使用者の作業を専門家と比較し、その差に応じて使
用者に教示を与える。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、仮想環境データ提示装
置に関し、特に、提示された情報に対する使用者の生体
情報を計測し、その情報を利用して仮想環境データを作
成したり、モデルやあらかじめ蓄えられたデータに従っ
た望ましい位置形状データや生体情報を使用者が発生す
るような教師信号の生成と提示を行なう仮想環境データ
提示装置に関する。

【０００２】

【従来の技術】医療・アミューズメント・シミュレーシ
ョン・教育などの分野でのヒューマンインタフェースと
して、使用者の周囲に仮想的な空間を提供し、その空間
に存在する対象を直接的に操作したり、使用者の動きに
合わせて仮想的な空間の環境を変えるような仮想現実感
に関するシステムは有効である。このようなシステムを
用いることにより、離れた場所にあたかも居るような感
覚の体験やエンターテイメント性をもった新たな疑似感
覚の体験、膨大な量のデータを効率的に様々な視点から
観測することなどを期待することができる。

【０００３】このような仮想環境データ提示装置とし
て、テレビジョン学会誌、平成２年、第４４巻、第８
号、９８１〜９８５頁に竹村氏、岸野氏が「人口現実感
によるヒューマンインタフェース」と題して発表した論
文に記載されているような装置が知られている。これら
の装置は、図９に示すような基本構成である。位置形状
データ計測部９７は、使用者の頭の向きや手の形などを
知るために、関節の曲げ角度や身体の空間的な位置を測
定し、位置形状データ９７１を出力する。仮想世界モデ
ル部９８は、位置形状データ９７１を入力して、それに
対応する仮想世界の環境や仮想対象に関する仮想世界デ
ータ９８１を出力する。視覚データ提示部９１は、視覚
データ生成部９４からの映像信号９４１を用いて、疑似
立体感を与えるような左右眼に対応した映像を使用者に
投影する。聴覚データ提示部９２は、聴覚データ生成部
９５からの音響信号９５１を用いて、使用者に立体的な
音像を与える。力学的データ提示部９３は、力学的デー
タ生成部９６からの力学制御信号９６１を用いて、使用
者の動きを制約したり、促進させたりするような力を使
用者に加える。視覚データ生成部９４は、仮想世界デー
タ９８１を入力し、使用者の視点を考慮した仮想世界を
視覚化し、コンピュータグラフィックスなどの映像信号
９４１を生成する。聴覚データ生成部９５は、仮想世界
データ９８１を入力し、使用者の耳の位置を考慮した音
場を再現するための音響信号９５１を生成する。力学的
データ生成部９６は、仮想世界データ９８１を入力し、
使用者の位置や形状、動きに応じて、その動きを制約し
たり促進させたりするような力に関する力学制御信号９
６１を生成する。この仮想環境データ提示装置は、使用
者の状態として、空間的な位置や動き、使用者の手足・
身体の形状を測定するに留まっていた。さらに、使用者
に提示される情報として、定義された仮想的な空間や対
象物と使用者との幾何学的データに基づいたデータのみ
が仮想環境データとして提示されているに過ぎなかっ
た。

【０００４】

【発明が解決しようとする課題】上述した従来の仮想環
境データ提示装置では、使用者の空間的な位置や動き、
身体の形状のみを測定しているため、使用者の形状や動
き以外の状態である生理状態および心理状態を反映した
生体情報に基づいて、提示する仮想環境データを変更す
ることは不可能であった。さらに、提示された仮想環境
データに対する使用者の状態の変化が望ましいものであ
るかを判断することができず、また、使用者に対して教
師となるような信号を提示することも不可能であった。

【０００５】本発明の目的は、使用者が仮想環境の中で
作業等を行なう場合に、使用者の位置形状の計測ととも
に、使用者の生理・心理的状態を表す生体情報を計測
し、それらの情報を仮想世界にフィードバックしたり、
あらかじめ決められたモデルや望ましいデータと比較す
ることによって、使用者に対して教師となるような信号
を与えることができる仮想環境データ提示装置を提供す
ることにある。

【０００６】

【課題を解決するための手段】本発明に係わる第１の仮
想環境データ提示装置は、使用者の身体の形状や位置を
計測して、疑似的な感覚を引き起こすための仮想環境デ
ータを提示するシステムにおいて、身体の形や動きや位
置を計測する位置形状データ計測部と、使用者の生理状
態または心理状態のうちの少なくとも一方を反映する生
体情報を計測する少なくとも１つの生体情報計測部と、
仮想的な空間のデータである仮想世界データを蓄積する
仮想世界モデル部と、前記仮想世界モデル部から出力さ
れる仮想世界データと前記位置形状データ計測部から出
力される位置形状データと前記生体情報計測部から出力
される生体情報とを入力し、前記仮想世界モデル部が出
力すべき仮想世界データの種類を示す制御データと前記
位置や形状や生体情報に対応した仮想環境データとを生
成する仮想環境データ生成部と、前記仮想環境データ生
成部から出力された仮想環境データを入力し、該仮想環
境データに応じた感覚データを生成する少なくとも１つ
の感覚データ生成部と、前記感覚データ生成部から出力
された感覚データを入力し、該感覚データに応じた感覚
を提示する少なくとも１つの感覚データ提示部とを備え
て成ることを特徴とする。

【０００７】本発明に係わる第２の仮想環境データ提示
装置は、第１の仮想環境データ提示装置に加えて、位置
や形状に関しモデルとなるデータをモデルデータとして
蓄積し、入力される仮想環境データに対応したモデルデ
ータを出力するモデル・データ蓄積部と、位置形状デー
タ計測部から出力された位置形状データと前記モデル・
データ蓄積部から出力されたモデルデータとを入力し、
両データを比較し、前記身体の形や動きや位置を修正さ
せ、前記位置形状データを前記モデルデータに合わさせ
る教師信号を生成し、該教師信号を仮想環境データ生成
部に出力する位置形状教師信号生成部とを備えて成るこ
とを特徴とする。

【０００８】本発明に係わる第３の仮想環境データ提示
装置は、第１の仮想環境データ提示装置に加えて、生体
情報に関しモデルとなるデータを生成モデルデータとし
て蓄積し、入力される仮想環境データに対応した生体モ
デルデータを出力するモデル・データ蓄積部と、生体情
報計測部から出力された生体情報と前記モデル・データ
蓄積部から出力された生体モデルデータとを入力し、両
データを比較し、使用者の生理状態または心理状態を修
正させ、前記生体情報を前記生体モデルデータに合わさ
せる教師信号を仮想環境データ生成部に出力する生体情
報教師信号生成部とを備えて成ることを特徴とする。

【０００９】本発明に係わる第４の仮想環境データ提示
装置は、第１の仮想環境データ提示装置に加えて、位置
や形状に関する位置形状モデルデータや、生体情報に関
するあらかじめ定義された生体モデルデータを蓄積し、
入力される仮想環境データに対応したモデルデータを出
力するモデル・データ蓄積部と、位置形状データ計測部
から出力された位置形状データと前記モデル・データ蓄
積部から出力された位置形状モデルデータとを入力し、
両データを比較し、前記位置形状データを前記モデルデ
ータに合わさせる位置形状教師信号を生成し、該位置形
状教師信号を仮想環境データ生成部に出力する位置形状
教師信号生成部と、生体情報計測部から出力された生体
情報と前記モデル・データ蓄積部から出力された生体モ
デルデータとを入力し、両データを比較し、前記生体情
報を前記生体モデルデータに合わさせる生体情報教師信
号を生成し、該生体情報教師信号を仮想環境データ生成
部に出力する生体情報教師信号生成部とを備えて成るこ
とを特徴とする。

【００１０】

【作用】本発明には、使用者の生理状態および心理状態
を反映する生体情報を計測する生体情報計測部が存在す
る。このため、生理・心理状態を考慮して仮想環境デー
タを生成することができる。

【００１１】本発明に係わる第２の仮想環境データ提示
装置は、第１の仮想環境データ提示装置に加えて、位置
や形状に関するモデル・データを蓄積し入力される仮想
環境データに対応したデータを出力するモデル・データ
蓄積部と、位置形状データ計測部から出力された位置形
状データとモデル・データ蓄積部から出力されたデータ
を入力し、入力された位置や形状とあらかじめ定義され
たモデルや蓄積された正しいデータとの比較を行い、モ
デルや正しいデータに合わせるような教師信号を仮想環
境データ生成部に出力する位置形状教師信号生成部が存
在する。このため、提示された仮想環境に対する使用者
の身体の形状や位置の評価を行なうことができ、さら
に、その評価結果を教師信号として使用者にフィードバ
ックすることができる。

【００１２】本発明に係わる第３の仮想環境データ提示
装置は、第１の仮想環境データ提示装置に加えて、生体
情報処理に関するモデル・生体情報を蓄積し、入力され
る仮想環境データに対応したデータを出力するモデル・
データ蓄積部と、生体情報計測部から出力された生体情
報と前記モデル・データ蓄積部から出力されたデータを
入力し、入力された生体情報とあらかじめ定義されたモ
デルや蓄積された正しいデータとの比較を行い、モデル
や正しいデータに合わせるような教師信号を仮想環境デ
ータ生成部に出力する生体情報教師信号生成部が存在す
る。このため、提示された仮想環境に対する使用者の生
理・心理的状態の評価を行なうことができ、さらに、そ
の評価結果を教師信号として使用者にフィードバックす
ることができる。

【００１３】本発明に係わる第４の仮想環境データ提示
装置は、第１の仮想環境データ提示装置に加えて、位置
や形状に関するモデル・データや、生体情報処理に係わ
るモデル・生体情報を蓄積し、入力される仮想環境デー
タに対応したデータを出力するモデル・データ蓄積部
と、位置形状データ計測部から出力された位置形状デー
タと前記モデル・データ蓄積部から出力されたデータを
入力し、入力された位置や形状とあらかじめ定義された
モデルや蓄積された正しいデータとの比較を行い、モデ
ルや正しいデータに合わせるような教師信号を仮想環境
データ生成部に出力する位置形状教師信号生成部と生体
情報計測部から出力された生体情報と前記モデル・デー
タ蓄積部から出力されたデータを入力し、入力された生
体情報とあらかじめ定義されたモデルや蓄積された正し
いデータとの比較を行い、モデルや正しいデータに合わ
せるような教師信号を仮想環境データ生成部に出力する
生体情報教師信号生成部が存在する。このため、提示さ
れた仮想環境に対する使用者の身体の形状や位置の評価
や、生理・心理的状態の評価を行なうことができ、さら
に、それら評価結果を教師信号として使用者にフィード
バックすることができる。

【００１４】

【実施例】本発明の仮想環境データ提示装置の第１の実
施例の構成を図１に示す。位置形状データ計測部１３
は、使用者の身体の形状を各関節の曲がり角度と実空間
内での主要な身体の部分の位置を検出して、身体の形状
と位置を定量化し、位置形状データ１３０１を出力す
る。生体情報計測部１４１〜１４ｍは、使用者の生理・
心理的状態を反映している生体情報を計測して定量化
し、生体情報１４１１〜１４ｍ１を出力する。仮想世界
モデル部１８は、使用者に提供する仮想世界の全てのモ
デル・データが蓄積されており、仮想世界モデル制御デ
ータ１７０２で指定された仮想世界データ１８０１を出
力する。仮想環境データ生成部１７は、位置形状データ
１３０１と生体情報１４１１〜１４ｍ１を入力し、使用
者の位置・形状と生理・心理状態を推定し、状態モデル
を作成する。さらに、仮想世界モデル部１８に仮想世界
モデル制御データ１７０２を出力して対応する仮想世界
データ１８０１を入力して、作成された状態モデルに従
って、使用者に与える仮想環境データ１７０１を出力す
る。感覚データ生成部１２１〜１２ｎは、入力された仮
想環境データ１７０１に基づいて使用者の感覚に対応し
た感覚データ１２１１〜１２ｎ１を生成し、出力する。
感覚データ提示部１１１〜１１ｎは、感覚データ１２１
１〜１２ｎ１を入力し、使用者に感覚刺激を与える。

【００１５】さらに、本発明の第２の実施例の構成を図
２に示す。モデルデータ蓄積部１９には、目的に応じた
使用者のモデルや正しい位置形状データが蓄積されてい
る。モデルデータ蓄積部１９は、入力される仮想環境デ
ータ１７０１に応じた正しい位置形状データとして、位
置形状モデルデータ１９０２を出力する。位置形状教師
信号生成部１６は、位置形状データ１３０１と位置形状
モデルデータ１９０２を入力し、入力されたデータ間の
比較を行い、その差に応じた位置形状教師信号１６０１
を出力する。

【００１６】さらに、本発明の第３の実施例の構成を図
３に示す。モデルデータ蓄積部１９は、目的に応じた使
用者のモデルや正しい生体情報データが蓄積されてお
り、入力される仮想環境データ１７０１に応じた正しい
生体情報として、生体情報モデルデータ１９１１〜１９
ｍ１を出力する。生体情報教師信号生成部１５１〜１５
ｍは、生体情報１４１１〜１４ｍ１と生体情報モデルデ
ータ１９１１〜１９ｍ１を入力し、入力されたデータ間
の比較を行い、その差に応じた生体情報教師信号１５１
１〜１５ｍ１を出力する。

【００１７】さらに、図４に示すように、本発明の第２
と第３の実施例を組み合わせることも可能である。第２
〜第４の実施例については第１の実施例との相違点だけ
を説明した。

【００１８】次に本発明を用いて、仮想環境内でスキー
やゴルフなどのスポーツの訓練を行なう具体例を説明す
る。ここでは、スキーやゴルフについての説明を行なう
が、それ以外のスポーツの訓練や体験型のゲームなどに
用いることも可能である。

【００１９】位置形状データ計測部１３として、身体の
形状を測るために、例えば、米国ＶＰＬ社が開発したデ
ータグローブ（ＤａｔａＧｌｏｖｅ）やデータスーツ
（ＤａｔａＳｕｉｔ）、米国Ｅｘｏｓ社が開発したデク
ストラウド・ハンド・マスター（Ｄｅｘｔｅｒｏｕｄ
ＨａｎｄＭａｓｔｅｒ）等を用いることができる。ま
た、身体の主要部分に米国ＰｏｌｈｅｍｕｓＮａｖｉ
ｇａｔｉｏｎＳｃｉｅｎｃｅ社が開発した３スペース
トラッカー（３ｓｐａｃｅｔｒａｃｋｅｒ）のセン
サーを取り付けることによって、実空間内の位置や向き
を測定することができる。また、身体の主要部分にマー
クを付け、カメラによってその部分を撮像し、位置を推
定することも可能である。身体の主要部分に赤外線もし
くは超音波のレシーバもしくはトランスミッタを付け、
３カ所以上の地点にそれらのトランスミッタもしくはレ
シーバを置くことにより、三角測量のアルゴリズムによ
りそれらの位置を計算することもできる。

【００２０】感覚データ提示部１１１〜１１ｎとして、
例えば、視覚提示装置を用い、訓練者に対して、スキー
場のゲレンデの風景や滑走面の指示、滑り方の指示、ゴ
ルフ場の風景、打球の軌跡、クラブの打ち方の指示など
の表示を行なう。視覚提示装置として、例えば、ＣＲＴ
ディスプレイや液晶ディスプレイ、投影スクリーン、米
国ＶＰＬ社が開発したアイフォン（Ｅｙｅｐｈｏｎｅ）
と呼ばれる頭部搭載型のディスプレイや、計測制御学会
ヒューマンインタフェース部会ヒューマンインタフェー
スシンポジウム論文集、平成２年、１〜８頁に廣瀬氏ら
が「シースルー型ＨＭＤを用いた仮想空間による実空間
の修飾の研究」と題して発表した論文に記載されている
オープン型ＨＭＤ等を用いることができる。このときの
感覚データ生成部１２１〜１２ｎとして、視覚データ生
成装置を用い、例えば、高速にグラフィックス画像を生
成するグラフィクスワークステーションやビデオテープ
プレーヤ、ビデオディスクプレーヤ等を用いることがで
きる。

【００２１】また、感覚データ提示部１１１〜１１ｎと
して、例えば、聴覚提示装置を用い、スキーの滑走音や
ゴルフの打球音、効果音、滑り方や打ち方の指示などの
提示を行なう。聴覚提示装置として、例えば、ヘッドホ
ンや一つもしくは複数のスピーカ等を用いることができ
る。このときの感覚データ生成部１２１〜１２ｎとし
て、聴覚データ生成装置を用い、例えば、デジタルシグ
ナルプロセッサを用いて高速に伝達係数を計算して音源
に対応した音場データを生成する米国Ｃｒｙｓｔａｌ
ＲｉｖｅｒＥｎｇｉｎｅｅｒｉｎｇ社のＣｏｎｖｏｌ
ｖｏｒａｔｒｏｎシステムや、テープレコーダ、ＤＡＴ
プレーヤ、光ディスクプレーヤ、光磁気ディスクプレー
ヤ等を用いることができる。

【００２２】また、感覚データ提示部１１１〜１１ｎと
して、例えば、触覚提示装置を用い、ストックの握り感
覚、ゴルフクラブの触り感覚、触り方の指示などの提示
を行なう。触覚提示装置として、例えば、ホールアース
レビュー（ＷｈｏｌｅＥａｒｔｈＲｅｖｉｅｗ）、
夏号、平成２年、８０〜８７頁にＲｈｅｉｎｇｏｌｄ氏
が「トラベルスインバーチャルリアリティ（Ｔｒ
ａｖｅｌｓｉｎＶｉｒｔｕａｌＲｅａｌｉｔ
ｙ）」と題した論文の中で紹介されている米国ＴｉＮｉ
Ｃｏｍｐａｎｙ社が開発した触覚フイードバックプロ
トタイプや、ＡＣＭコンピュータグラフィックス（Ｃｏ
ｍｐｕｔｅｒＧｒａｐｈｉｃｓ）、第２４巻、第２
号、平成２年にＭ．Ｍｉｎｓｋｙ氏が「フィーリング
アンドシーイング：イシューズインフォースデ
ィスプレイ（ＦｅｅｌｉｎｇａｎｄＳｅｅｉｎｇ：Ｉ
ｓｓｕｅｓｉｎＦｏｒｃｅＤｉｓｐｌａｙ）」と
題した論文に記載されている振動を与えるシステム等を
用いることができる。このときの感覚データ生成部１２
１〜１２１ｎとして、例えば、Ｄ／Ａコンバータ付きの
パーソナルコンピュータを用い、入力される仮想環境デ
ータ１７０１を監視して、使用者が決められた仮想環境
の部分を触るような状況だった場合、振動を生じさせる
ような信号をＤ／Ａコンバータを介して出力する。

【００２３】また、感覚データ提示部１１１〜１１ｎと
して、例えば、力学的データ提示装置を用い、スキー場
のゲレンデやゴルフ場の凹凸や、姿勢の指示、握り方の
指示などを提示する。力学的データ提示装置として、例
えば、計測制御学会ヒューマンインタフェース部会ヒュ
ーマンインタフェースシンポジウム論文集、５〜８頁、
平成元年に岩田氏が「力感覚に対応した人工現実感−多
次元力感覚帰還装置の開発」と題した論文に記載されて
いるハンドマニピュレータや、図５に示すような傾斜面
を提示するシステム、図６に示すような姿勢の指示を与
えるシステムなどを用いることができる。このときの感
覚データ生成部１２１〜１２１ｎとして、例えば、Ｄ／
Ａコンバータ付きのパーソナルコンピュータを用い、入
力される仮想環境データ１７０１を監視して、それが凸
凹面に対応する場合、各モータ２２に凸凹に応じた値を
Ｄ／Ａコンバータを介して出力する。

【００２４】また、感覚データ提示部１１１〜１１ｎと
して、例えば、嗅覚データ提示装置を用い、スキー場や
ゴルフ場における草木や花の香りなどを提示する。嗅覚
データ提示装置として、例えば、図７に示すように、対
応する化学物質を揮発させるようなシステムなどを用い
ることができる。このときの感覚データ生成部１２１〜
１２１ｎとして、例えば、パーソナルコンピュータを用
い、入力される仮想環境データ１７０１を監視して、そ
れがスキー場やゴルフ場における対応する場面であると
き、状況に応じた匂いを出すためのヒータ４２に電気を
通すような信号を出力する。

【００２５】生体情報計測部１４１〜１４ｎとして、例
えば、重心移動測定装置を用い、使用者の体重移動の状
態や各手足の加圧減圧の状態などを計測する。重心移動
測定装置として、例えば、特願平２−００８７８９、
「重心移動測定装置」に記載されているシステムや、平
衡機能計、圧力を加えると起電力を発生する圧電ゴムや
歪み計などを用いることができる。

【００２６】また、生体情報計測部１４１〜１４ｎとし
て、例えば、筋電位測定装置を用い、スキーやゴルフの
訓練を行なう場合に緊張している筋肉とその程度などを
測定する。筋電位測定装置として、例えば、筋肉に取り
付けられた電極から電位を測定し、増幅するシステムや
それとシグナルプロセッサを組み合わせたシステムなど
を用いることができる。

【００２７】また、生体情報計測部１４１〜１４ｎとし
て、例えば、皮膚抵抗測定装置を用い、その抵抗値など
を計測する。皮膚抵抗測定装置として、例えば、小指球
と前腕内側部に電極を付け、電極間に微量の電流を流し
て電圧を測るシステムなどを用いることができる。

【００２８】また、生体情報計測部１４１〜１４ｎとし
て、例えば、眼球運動測定装置を用い、スキーやゴルフ
の訓練中の視線などを測定する。眼球運動測定装置とし
て、例えば、竹井機器社製のトークアイなどを用いるこ
とができる。

【００２９】また、生体情報計測部１４１〜１４ｎとし
て、例えば、脳電位測定装置を用い、スキーやゴルフの
訓練中の脳電位を計測し、スペクトル分析を行なう。脳
電位測定装置として、例えば、脳波計とシグナルプロセ
ッサなどを用いることができる。

【００３０】また、生体情報計測部１４１〜１４ｎとし
て、例えば、脈波測定装置を用い、信号のピーク間隔や
その変化量、振幅等を計測する。脈波測定装置として、
例えば、指先に発行素子と受光素子をつけて血流量を測
定するシステムとシグナルプロセッサなどを用いること
ができる。

【００３１】また、生体情報計測部１４１〜１４ｎとし
て、例えば、心電位測定装置を用い、心電位、ピーク値
の間隔とその変化量、振幅等を計測する。心電位測定装
置として、例えば、心電計やそれとシグナルプロセッサ
を組み合わせたシステムなどを用いることができる。

【００３２】また、生体情報計測部１４１〜１４ｎとし
て、例えば、呼吸運動測定装置を用い、呼吸頻度などを
測定する。呼吸運動測定装置として、例えば、図８に示
すようなシステムなどを用いることができる。

【００３３】また、生体情報計測部１４１〜１４ｎとし
て、例えば、瞳孔面積測定装置を用い、瞳孔面積を測定
する。瞳孔面積測定装置として、例えば、竹井機器社製
ピューロアナライザーなどを用いることができる。

【００３４】モデル・データ部１９として、例えば、パ
ーソナルコンピュータと磁気ディスク装置を用いること
ができる。磁気ディスク装置には、スキーやゴルフの専
門家がゲレンデ滑走やゴルフクラブのスイングなどを行
なう場合の位置形状データや生体情報が記録されてい
る。パーソナルコンピュータは、入力された仮想環境デ
ータ１７０１を用いて、そのデータに対応する専門家の
位置形状データや生体情報を検索し、出力する。また、
必ずしも専門家のデータを必要とせず、数式を定義する
ことによって、パーソナルコンピュータは仮想環境デー
タ１７０１から、理想とする位置形状データと生体情報
を算出することもできる。

【００３５】位置形状教師信号生成部１６として、例え
ば、パーソナルコンピュータを用いることができる。パ
ーソナルコンピュータは、位置形状データ１３０１と位
置形状モデルデータ１９０２を入力してその差を求め、
例えば、差がある閾値を越えたならば、その差が少なく
なるような教師信号を出力し、そうでなければ何も出力
しない。また、位置形状データ１３０１があらかじめ決
められた値であるならば、その旨を知らせる教師信号を
出力することもできる。

【００３６】生体情報教師信号生成部１５１〜１５ｍと
して、例えば、パーソナルコンピュータを用いることが
できる。パーソナルコンピュータは、生体情報１４１１
〜１４ｍ１と生体情報モデルデータ１９１１〜１９ｍ１
を入力してその差を求め、例えば、差がある閾値を越え
たならば、その差が少なくなるような教師信号を出力
し、そうでなければ何も出力しない。また、生体情報１
４１１〜１４ｍ１があらかじめ決められた値であるなら
ば、その旨を知らせる教師信号を出力することもでき
る。

【００３７】仮想世界モデル部１８として、例えば、パ
ーソナルコンピュータと磁気ディスク装置を用いること
ができる。磁気ディスク装置には、スキー場のゲレンデ
やゴルフ場のコースの風景や地形、自然環境などのデー
タが記録されている。パーソナルコンピュータは、入力
された仮想世界モデル制御データ１７０２を用いて、そ
のデータに対応する仮想世界の環境データを磁気ディス
クから検索し仮想世界データ１８０１として出力する。

【００３８】仮想環境データ生成部１７として、例え
ば、パーソナルコンピュータやワークステーションを用
いることができる。ワークステーションは、位置形状デ
ータ１３０１を入力して、使用者の状態と位置を推定
し、その情報を仮想世界モデル制御データ１７０２とし
て仮想世界モデル部１８に出力し、その時の使用者の周
りにあるべき仮想環境のデータを仮想世界データ１８０
１として入力する。さらに、ワークステーションは、生
体情報１４１１〜１４ｍ１を入力し、例えば、使用者の
加重・加圧情報からスキーの回転速度・滑降速度を求め
ること、ゴルフ訓練者の重心情報からスイングの速度を
求めること、筋電位情報から緊張している筋肉とその程
度を求めスキーの運動やスイングの動作の影響度を計算
すること、皮膚抵抗値から緊張度を求めリラックスさせ
るような仮想環境データを作ること、視線情報から詳細
な視覚提示情報を作ること、脳波スペクトル情報からリ
ラックス度を計算しゲレンデ状態のデータを変化させる
こと、脈波情報や心電情報、呼吸運動情報から緊張度を
計算しゲレンデ状態のデータを変化させること、瞳孔面
積情報から使用者の興味度を計算しゲレンデ状態のデー
タを変化させることなどを行なう。さらに、ワークステ
ーションは、位置形状教師信号１６０１と生体情報教師
信号１５１１〜１５ｍ１を入力し、使用者に提示するよ
うにその信号を適切な仮想環境データに変換する。最後
に、ワークステーションは、以上のデータを考慮して、
使用者に提示すべき仮想環境データ１７０１を出力す
る。仮想環境データ１７０１は、仮想物体の形状・座
標、提示感覚データの種類、教示の内容・座標などを表
す。

【００３９】ここでは、スポーツの訓練を行なうために
本発明を用いているが、生体情報によってストレスマネ
ージメントを行なうことや、アミューズメントにおいて
ゲーム等の熱中度を生体情報によって計測しゲーム内容
を変更することや、仮想空間内でのデータマネージメン
トやプログラミング作業中において、疲れの程度を生体
情報によって計測し警告信号を発生することなども可能
である。

【００４０】

【発明の効果】本発明を用いることにより、使用者の生
理・心理状態を反映した生体情報を計測し生体情報に基
づいて使用者に提示する仮想環境データを変更すること
が可能となり、使用者の快適性が著しく向上する。さら
に、専門家のモデル・データを蓄え、使用者のデータと
比較をすることが可能となり、使用者がリアルタイムで
直接的な指導や使用者の生理・心理状態に適合した指導
を受けることができるといった効果がある。

【図面の簡単な説明】

【図１】本発明に係わる第１の実施例を示す基本構成図
である。

【図２】本発明に係わる第２の実施例を示す基本構成図
である。

【図３】本発明に係わる第３の実施例を示す基本構成図
である。

【図４】本発明に係わる第４の実施例を示す基本構成図
である。

【図５】力学的データ提示装置の具体例を示す説明図で
ある。

【図６】力学的データ提示装置の具体例を示す説明図で
ある。

【図７】嗅覚データ提示装置の具体例を示す説明図であ
る。

【図８】呼吸運動測定装置の具体例を示す説明図であ
る。

【図９】従来の仮想環境データ提示装置を示す構成図で
ある。

【符号の説明】

１１１〜１１ｎ感覚データ提示部１２１〜１２ｎ感覚データ生成部１３位置形状データ計測部１４１〜１４ｍ生体情報計測部１５１〜１５ｍ生体情報教師信号生成部１６位置形状教師信号生成部１７仮想環境データ生成部１８仮想世界モデル部１９モデル・データ蓄積部１２１１〜１２ｎ１感覚データ１３０１位置形状データ１４１１〜１４ｍ１生体情報１５１１〜１５ｍ１生体情報教師信号１６０１位置形状教師信号１７０１仮想環境データ１７０２仮想世界モデル制御データ１８０１仮想世界データ１９１１〜１９ｍ１生体情報モデルデータ１９０２位置形状モデルデータ２１コントローラ２２モータ２３ナット２４ネジ２５支持具２６平板３１コントローラ３２ロボットアーム３３支持具３４使用者の足４１セレクタ４２ヒータ４３容器４４芳香剤５１アンプ５２歪みゲージ５３支持ベルト５４使用者の上半身９１視覚データ提示部９２聴覚データ提示部９３力学的データ提示部９４視覚データ生成部９５聴覚データ生成部９６力学的データ生成部９７位置形状データ計測部９８仮想世界モデル部９４１映像信号９５１音響信号９６１力学制御信号９７１位置形状データ９８１仮想世界データ

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁵ 識別記号庁内整理番号ＦＩ技術表示箇所Ａ６１Ｂ 5/08 8932−4Ｃ 5/11 Ｇ０９Ｂ 9/00 8603−2Ｃ // Ａ６１Ｍ 21/02 8932−4ＣＡ６１Ｂ 5/10 ３１０Ｂ 7831−4ＣＡ６１Ｍ 21/00 ３３０Ｃ

Claims

【特許請求の範囲】

【請求項１】使用者の身体の形状や位置を計測して、
疑似的な感覚を引き起こすための仮想環境データを提示
するシステムにおいて、身体の形や動きや位置を計測する位置形状データ計測部
と、使用者の生理状態または心理状態のうちの少なくとも一
方を反映する生体情報を計測する少なくとも１つの生体
情報計測部と、仮想的な空間のデータである仮想世界データを蓄積する
仮想世界モデル部と、前記仮想世界モデル部から出力される仮想世界データと
前記位置形状データ計測部から出力される位置形状デー
タと前記生体情報計測部から出力される生体情報とを入
力し、前記仮想世界モデル部が出力すべき仮想世界デー
タの種類を示す制御データと前記位置や形状や生体情報
に対応した仮想環境データとを生成する仮想環境データ
生成部と、前記仮想環境データ生成部から出力された仮想環境デー
タを入力し、該仮想環境データに応じた感覚データを生
成する少なくとも１つの感覚データ生成部と、前記感覚データ生成部から出力された感覚データを入力
し、該感覚データに応じた感覚を提示する少なくとも１
つの感覚データ提示部とを備えて成ることを特徴とする
仮想環境データ提示装置。
【請求項２】位置や形状に関しモデルとなるデータを
モデルデータとして蓄積し、入力される仮想環境データ
に対応したモデルデータを出力するモデル・データ蓄積
部と、位置形状データ計測部から出力された位置形状データと
前記モデル・データ蓄積部から出力されたモデルデータ
とを入力し、両データを比較し、前記身体の形や動きや
位置を修正させ、前記位置形状データを前記モデルデー
タに合わさせる教師信号を生成し、該教師信号を仮想環
境データ生成部に出力する位置形状教師信号生成部とを
備えて成ることを特徴とする請求項１に記載の仮想環境
データ提示装置。
【請求項３】生体情報に関しモデルとなるデータを生
成モデルデータとして蓄積し、入力される仮想環境デー
タに対応した生体モデルデータを出力するモデル・デー
タ蓄積部と、生体情報計測部から出力された生体情報と前記モデル・
データ蓄積部から出力された生体モデルデータとを入力
し、両データを比較し、使用者の生理状態または心理状
態を修正させ、前記生体情報を前記生体モデルデータに
合わさせる教師信号を仮想環境データ生成部に出力する
生体情報教師信号生成部とを備えて成ることを特徴とす
る請求項１に記載の仮想環境データ提示装置。
【請求項４】位置や形状に関する位置形状モデルデー
タや、生体情報に関するあらかじめ定義された生体モデ
ルデータを蓄積し、入力される仮想環境データに対応し
たモデルデータを出力するモデル・データ蓄積部と、位置形状データ計測部から出力された位置形状データと
前記モデル・データ蓄積部から出力された位置形状モデ
ルデータとを入力し、両データを比較し、前記位置形状
データを前記モデルデータに合わさせる位置形状教師信
号を生成し、該位置形状教師信号を仮想環境データ生成
部に出力する位置形状教師信号生成部と、生体情報計測部から出力された生体情報と前記モデル・
データ蓄積部から出力された生体モデルデータとを入力
し、両データを比較し、前記生体情報を前記生体モデル
データに合わさせる生体情報教師信号を生成し、該生体
情報教師信号を仮想環境データ生成部に出力する生体情
報教師信号生成部とを備えて成ることを特徴とする請求
項１に記載の仮想環境データ提示装置。
【請求項５】感覚データ提示部として視覚データ提示
装置を用い、感覚データ生成部として視覚データ生成装
置を用いることを特徴とする請求項１から４のいずれか
一項に記載の仮想環境データ提示装置。
【請求項６】感覚データ提示部として聴覚データ提示
装置を用い、感覚データ生成部として聴覚データ生成装
置を用いることを特徴とする請求項１から４のいずれか
一項に記載の仮想環境データ提示装置。
【請求項７】感覚データ提示部として触覚データ提示
装置を用い、感覚データ生成部として触覚データ生成装
置を用いることを特徴とする請求項１から４のいずれか
一項に記載の仮想環境データ提示装置。
【請求項８】感覚データ提示部として力学的データ提
示装置を用い、感覚的データ生成部として力学的データ
生成装置を用いることを特徴とする請求項１から４のい
ずれか一項に記載の仮想環境データ提示装置。
【請求項９】感覚データ提示部として嗅覚データ提示
装置を用い、感覚的データ生成部として嗅覚データ生成
装置を用いることを特徴とする請求項１から４のいずれ
か一項に記載の仮想環境データ提示装置。
【請求項１０】生体情報計測部として、重心移動測定
装置、筋電位測定装置、皮膚抵抗測定装置、眼球運動測
定装置、脳電位測定装置、脈波測定装置、心電位測定装
置、呼吸運動測定装置または瞳孔面積測定装置のうちの
少なくとも１つを用いることを特徴とする請求項１から
４のいずれか一項に記載の仮想環境データ提示装置。