JP3575868B2

JP3575868B2 - Simulated experience device

Info

Publication number: JP3575868B2
Application number: JP11989795A
Authority: JP
Inventors: 常子岡田; 麻友美酒井; 左千男長光; 久児玉
Original assignee: Panasonic Corp; Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Corp; Panasonic Holdings Corp
Priority date: 1995-05-18
Filing date: 1995-05-18
Publication date: 2004-10-13
Anticipated expiration: 2019-10-13
Also published as: JPH08315175A

Description

【０００１】
【産業上の利用分野】
本発明は、擬似体験装置に関する。
【０００２】
【従来の技術】
最近、いわゆるバ−チャルリアリティ技術による擬似体験装置が脚光を浴びてきており、住宅設計や住宅設備販売等に利用されている。
例えば、住宅設計においては、設計した住宅を仮想空間内に実現し、あたかもその空間に入り込んだような感覚、いわゆる没入感を得ながら、設計住宅の評価をしたり、また、住宅設備販売、たとえばシステムキッチンの販売であれば、購入予定者に、複数のシステムキッチンを仮想空間内で体験してもらい、その中から希望のものを選択してもらったりといった具合である。
【０００３】
従来の擬似体験装置では、体験者の頭部に取り付けられたゴ−グル型の立体表示装置に、立体表示装置に一体的に取り付けられたセンサ−によって検出される体験者の視線に応じた、周囲の仮想的な空間を描画していた。
【０００４】
【発明が解決しようとする課題】
しかし、上述した従来の擬似体験装置では、体験者が自分の足元に視線を向けた場合、視線に応じた周囲の情景は描画されるものの、そこに見えるはずの自分の足は描画されないので、体験者は空中に浮いたような感覚を持ち、そのため、没入感が損なわれるといった問題点があった。
【０００５】
本発明は、上記の問題点に鑑み、視覚的により高い没入感を得ることができる擬似体験装置を提供することを第１の目的とする。
本発明の第２の目的は、聴覚的により高い没入感を得ることができる擬似体験装置を提供することにある。
【０００６】
【課題を解決するための手段】
上記第１の目的を達成するため、本発明の第１の擬似体験装置は、体験者の頭部に取り付けられて使用される立体表示装置と、立体表示装置の表示対象となる仮想空間の３次元デ−タを格納する空間デ−タ格納手段と、体験者の頭部の位置及び向きを検出する第１検出手段と、検出結果から定まる体験者の視点位置をもとに所定の空間デ−タを選択し表示装置に表示させる第１表示制御手段と、体験者の身体形状を模した仮想主体の形状デ−タを格納する主体形状デ−タ格納手段と、検出手段の検出結果に従い、体験者の視線が仮想主体の身体方向に向けられると、主体形状デ−タを主体形状デ−タ格納手段から読み出し、空間デ−タと重畳して立体表示装置にて表示する第２表示制御手段とを備え、前記主体形状デ−タ格納手段は形状デ−タ種別毎に、移動動作に伴って変化する一連の移動動作デ−タを格納しており、当該擬似体験装置は、さらに、体験者の前記空間内での移動速度を検出する速度検出手段と、前記検出手段の検出結果に従い体験者の視線が仮想主体の身体方向に向けられると前記速度検出手段で検出された体験者の移動速度に応じて前記移動動作デ−タを順次前記空間デ−タと重畳して立体表示装置にて表示する第３表示制御手段とを備えることを特徴とする。
【００１１】
また、上記第２の目的を達成するため、本発明の第２の擬似体験装置は、本発明の第１の擬似体験装置にさらに、体験者の頭部に取り付けられて使用される音場再生装置と、表示対象空間の背景に存する仮想物体の表面における所定位置を音源位置とし任意の位置を受音点としたときの再生音データを生成する生成手段と、体験者の体の一部の位置を検出する第２検出手段とを備え、体験者が仮想空間内を移動することにより、第２検出手段によって検出される位置デ−タと前記仮想物体の位置デ−タとが一致した際に、前記第１検出手段の検出結果から定まる体験者の頭部の位置に対応した再生音デ−タを生成し、当該再生音デ−タを音声に変換して前記音場再生装置に出力することを特徴とする。
また、上記第２の目的を達成するため、本発明の第３の擬似体験装置は、本発明の第１の擬似体験装置にさらに、体験者の頭部に取り付けられて使用される音場再生装置と、表示対象空間の背景に存する仮想物体の表面における所定位置を音源位置とし任意の位置を受音点としたときの各周波数帯毎のエコ−タイムパターンに各周波数帯毎のバンドパスフィルタを畳み込むことによって得られる各周波数帯毎の応答を格納した帯域応答格納手段と、頭部伝達関数を格納する頭部伝達関数格納手段と、無響音の音響デ−タであり前記仮想物体に対応したドライソ−スを複数格納するドライソ−ス格納手段と、体験者の体の一部の位置を検出する第２検出手段とを備え、体験者が仮想空間内を移動することにより第２検出手段によって検出される位置デ−タと前記仮想物体の位置デ−タとが一致した際に前記第１検出手段の検出結果から定まる体験者の頭部の位置に対応した前記帯域応答に位置デ−タが一致した仮想物体に対応したドライソ−スと頭部伝達関数とを畳み込むことにより各周波数帯毎の応答を算出し、各周波数帯毎の応答を全周波数帯にわたって合成することによって再生音デ−タを生成し、前記再生音デ−タを音声に変換して前記音場再生装置に出力することを特徴とする。
【００１２】
また、上記第２の目的を達成するため、本発明の第４の擬似体験装置は、本発明の第１の擬似体験装置にさらに、体験者の頭部に取り付けられて使用される音場再生装置と、体験者の口元近くでの音声を入力する音声入力手段と、前記空間内において、体験者の口元を音源位置とし体験者の両耳の近傍を受音点としたときの再生音データを生成する生成手段とを備え、前記第１検出手段の検出結果から定まる体験者の頭部の位置に対応した再生音デ−タを生成し、当該再生音デ−タを音声に変換して前記音場再生装置に出力することを特徴とする。
また、上記第２の目的を達成するため、本発明の第５の擬似体験装置は、本発明の第１の擬似体験装置にさらに、体験者の頭部に取り付けられて使用される音場再生装置と、体験者の口元近くでの音声を入力する音声入力手段と、前記空間内において体験者の口元を音源位置とし体験者の両耳の近傍を受音点とした時の各周波数帯毎のエコ−タイムパターンに各周波数帯毎のバンドパスフィルタを畳み込むことによって得られる各周波数帯毎の応答を格納した帯域応答格納手段と、頭部伝達関数を格納する頭部伝達関数格納手段とを備え、前記第１検出手段の検出結果から定まる体験者の頭部の位置に対応した前記帯域応答に前記音声入力手段から入力された音声と頭部伝達関数を畳み込むことにより各周波数帯毎の応答を算出し、各周波数帯毎の応答を全周波数帯にわたって合成することによって再生音デ−タを生成し、前記再生音デ−タを音声に変換して前記音場再生装置に出力することを特徴とする。
【００１４】
【作用】
上記第１の擬似体験装置の構成によれば、立体表示装置に空間デ−タが表示された状態で、体験者の視線が仮想主体の身体方向に向けられると、体験者の身体形状を模した仮想主体の形状デ−タを空間デ−タと重畳して立体表示装置に表示し、また、立体表示装置に空間デ−タが表示された状態で、移動中に体験者の視線が仮想主体の身体方向に向けられると、移動速度に応じて順次、一連の移動動作デ−タを空間デ−タと重畳して立体表示装置に表示することができる。ここで、本明細書中「空間」とは、物体が存在しない、相当に広がりのある文字通りの空間のみならず、その背景として見える壁、床、及びそれらに設けられた装置、機器等をも含む概念で用いる。
【００１７】
上記第２及び第３の擬似体験装置の構成によれば、体験者の体の一部の位置と仮想物体の表面の位置とが一致すると、一致した仮想物体に対応したドライソ−スと頭部伝達係数とを体験者の頭部位置に対応した音源毎の帯域応答にそれぞれ畳み込んで各周波数毎の応答を算出し、各周波数毎の応答を全周波数帯にわたって合成して再生音デ−タを生成し、再生音デ−タを音声に変換して音場再生装置に出力することができる。
【００１８】
上記第４及び第５の擬似体験装置の構成によれば、音声入力手段から入力された音声と頭部伝達係数とを体験者の頭部位置に対応した帯域応答にそれぞれ畳み込んで各周波数毎の応答を算出し、各周波数毎の応答を全周波数帯にわたって合成して再生音デ−タを生成し、再生音デ−タを音声に変換して音場再生装置に出力することができる。
【００２０】
【実施例】
本発明の実施例を図面を参照しながら説明する。
（第１実施例）
図１は、本発明の第１実施例にかかる擬似体験装置の全体構成図である。図に示すように、本擬似体験装置は、ゴ−グル型立体表示装置１０１、磁場発生装置１０２、頭部磁気センサ−１０３、主体選択メニュ−格納部１０４、手元入力装置１０５、磁気センサ−ユニット１０６、空間デ−タ格納部１０７、主体静止形状デ−タ格納部１０８、主体動作形状デ−タ格納部１０９、主体形状一時記憶部１１０、表示制御部１１１、プログラム格納部１１２、ＣＰＵ１１３から構成されている。
【００２１】
ゴ−グル型立体表示装置１０１は、体験者Ｍの頭部に装着され、頭部磁気センサ−１０３がたえず検出する頭の位置および方向、つまり、体験者Ｍの視線に応じた仮想的な室内の情景等を、左右両眼の視差を利用し、立体的に表示するものであり、左右両眼用として、２つの液晶カラ−ディスプレイを内蔵している。
磁場発生装置１０２は、体験者が動き回る空間に磁場を発生させる装置であり、直交コイル等を内蔵している。
【００２２】
頭部磁気センサ−１０３は、ゴ−グル型立体表示装置１０１に一体的に取り付けられ、体験者Ｍの前記磁場内での頭部の位置および方向を検出するものであり、直交コイル等を内蔵している。
主体選択メニュ−格納部１０４は、その表示態様を図２に示すようなメニュ−を格納している。主体選択メニュ−は、仮想空間に表示させる主体の種類を選択するのに使用する。
【００２３】
手元入力装置１０５は、図３に示す形状で、体験者Ｍが片手に持って操作する装置であり、右ボタン５００、中央ボタン５１０、左ボタン５２０等を有している。右ボタン５００は、前記主体選択メニュ−の前記ゴ−グル型立体表示装置１０１への表示をおこなうものであり、当該右ボタンを押下すると主体選択メニュ−が表示される。中央ボタン５１０は、前記主体選択メニュ−のポインタ４００を移動させるためのものであり、当該中央ボタン５１０を押下する度に、ポインタ４００が主体種類を示した項目４２０、４３０…と順次移動する。左ボタン５２０は、前記主体選択メニュ−上のメニュ−項目を選択するためのものであり、ポインタ４００が選択したいメニュ−項目（主体種類）上にあるときに押下することによってその項目を選択するのに使用される。また、左ボタン５３０の押下に伴って、メニュ−が表示消去される。
【００２４】
磁気センサ−ユニット１０６は、前記磁場発生装置１０２によって発生する磁場内に置かれた前記頭部磁気センサ−１０３中に誘起される電流の大きさを処理することにより、体験者Ｍの頭の位置、方向および体験者Ｍの移動速度を測定し、測定結果をＣＰＵに出力するための装置である。
空間デ−タ格納部１０８は、表示対象である室内壁、天井、床、窓、テ−ブル等からなる空間の３次元形状デ−タを格納している。
【００２５】
主体静止形状デ−タ格納部１０８は、仮想空間に表示する主体形状を、図４に示すように、体験者、大人・男性、大人・女性、等の主体種類およびその表示状態（立っている状態、座っている状態）毎に、アドレスによって特定される場所に格納している。
主体動作形状デ−タ格納部１０９は、体験者Ｍの仮想空間内の移動に伴って変化する歩行状態を示す一連の形状デ−タを、図５に示すように、主体種類毎にアドレスによって特定される場所に格納している。一連の動作は、各アドレスの末尾番号１〜１２を１サイクルとして完結し、各形状デ−タは、体験者Ｍの移動速度に応じて順次表示される。なお、本実施例では、一連の動作の１サイクルを１２パタ−ンの形状デ−タで表現しているが、このパタ−ン数に限定されるものではなく、適宜増減してもよい。
【００２６】
主体形状一時記憶部１１０は、図６に示すように、主体静止形状デ−タ記憶領域８００と主体動作形状デ−タ記憶領域９００とポインタ位置管理領域３００を有し、ＲＡＭなどから構成される。主体静止形状デ−タ記憶領域８００と主体動作形状デ−タ記憶領域９００は、前記主体選択メニュ−で選択された主体種類に対応した主体形状デ−タであり、前記主体静止形状デ−タ格納部１０８および前記主体動作形状デ−タ格納部１０９から呼び出された形状デ−タを、それぞれアドレスで特定される場所に記憶するところである。ポインタ位置管理領域３００は、選択的に行う主体形状デ−タの表示管理をする場所であり、前記頭部磁気センサ−１０３が検出する体験者Ｍの頭部高さ、視線、移動速度によって、ポインタ３１０が切り換わり、ポインタの位置する形状デ−タを表示する。図６の３２０は、どの主体形状デ−タも表示しない時の、ポインタ待機領域である。
【００２７】
表示制御部１１１は、前記空間デ−タ格納部１０７が格納しているデ−タを基に、体験者Ｍの視線に応じた描画デ−タを作成し、描画デ−タから映像信号を生成し、映像信号を前記ゴ−グル型立体表示装置１０１に出力したり、前記主体形状一時記憶部１１０が格納している形状デ−タから同様に映像信号を生成し、前記空間デ−タからの映像信号に重畳して出力したりするところである。
【００２８】
プログラム格納部１１２は、図７に示すフローチャートに相当するプログラムを格納しており、ＲＯＭなどから構成される。
ＣＰＵ１１３は、プログラム格納部１１２が格納しているプログラムに従って処理を行うところであり、マイクロプロセッサ等から構成される。
以下、図７に示すフローチャートに基づいて、本装置の制御内容について説明する。
【００２９】
空間デ−タを表示した状態で（ステップＳ１００）、体験者が視線を移動させると（ステップＳ１１０）、そのときの視線に応じた空間デ−タを表示し（ステップＳ１１１）、一方、視線を移動しなければ同じ空間デ−タの表示を続ける。そして、ステップＳ１２０で体験者のメニュ−表示指示があると処理はステップＳ１２１に進み、図２に示すのと同様な主体選択メニュ−の表示を行う。
【００３０】
表示画面を見て、体験者は手元入力スイッチ１０５を操作し、仮想空間でなりたい主体を一つ選択する（ステップＳ１２２）。ここでは、「大人・男性」を選択したとすると、処理はステップＳ１２３に進み、選択された主体種類「大人・男性」に対応した形状デ−タを主体静止形状デ−タ格納部１０８および主体動作形状デ−タ格納部１０９から読み出し、主体形状一時記憶部１１０に格納する。格納結果を図８に示す。続いて、処理はステップＳ１２４に進み、体験者の仮想空間内における視点の高さを、選択された主体種類に応じた視点の高さに変更する。こうすることによって、例えば、体験者が大人で、ステップＳ１２２で選択した主体が子どもの場合では、体験者は子どもの視点（高さ）で擬似体験することができる。つづいて、処理はステップＳ１２５に進み、主体選択メニュ−表示の消去をおこない、ステップＳ１３０に進む。
【００３１】
ステップＳ１３０では、頭部磁気センサ−１０３の検出する頭部高さから、体験者が立っている状態か、座っている状態かを判断する。ここで、体験者が座っている場合は、処理はステップＳ１４０に進み、体験者が視線を仮想主体の身体方向に向けると、処理はステップＳ１４１に進み、選択されている主体種類「大人・男性」の座った状態の主体静止形状デ−タを主体形状一時記憶部１１０から読み出して、空間デ−タに重畳して表示する。表示結果の一例を図９に示す。
【００３２】
一方、ステップＳ１３０で、体験者は立っている状態であると判断した場合は、処理はステップＳ１３１に進み、体験者の視線が仮想主体の身体方向に向いているかどうかを判断し、向いている場合は処理はステップＳ１３２に進み、さらに体験者が移動中であるか静止中であるかを判断する。判断は、磁気センサ−ユニット１０６が出力する体験者の移動速度の値Ｖによって行い、Ｖがあらかじめ設定しておいた値Ｖ１以下の場合は、体験者は静止していると判断し、一方ＶがＶ１を越えている場合は、体験者は移動中であると判断する。そして、静止中であると判断した場合は、処理はステップＳ１３３に進み、選択されている主体種類「大人・男性」の立った状態の主体静止形状デ−タを主体形状一時記憶部１１０から読み出して、空間デ−タに重畳して表示する。表示結果の一例を図１０に示す。一方、移動中であると判断した場合は、処理はステップＳ１３４に進み、図６に示す、主体形状一時記憶部に記憶されている主体動作形状デ−タを、移動速度Ｖに応じて、ＡＭ１、ＡＭ２、…、ＡＭ１２、ＡＭ１、………と順次読み出して、空間デ−タに重畳して表示する。
【００３３】
また、ステップＳ１２２で、別の主体として「ねこ」を選択し、立った状態で（ステップＳ１３０）、体験者がふり向くことにより仮想主体「ねこ」の身体方向に視線を転じ（ステップＳ１３３）、その時体験者は静止中であったとすると（ステップＳ１３２）、ステップＳ１３３の処理をおこない、主体種別「ねこ」の立った状態の主体静止形状デ−タを空間デ−タに重畳して表示する。表示結果の一例を、図１１に示す。
【００３４】
以上、第１実施例の擬似体験装置によれば、体験者が仮想主体の身体方向に視線を向けると、その時の体験者の頭部高さおよび移動速度に応じた仮想主体の形状デ−タが空間デ−タに重畳して表示されるので、視覚的により高い没入感を得ることができる。
（第２実施例）
図１２は、本発明の第２実施例にかかる擬似体験装置の全体構成図である。図に示すように、本擬似体験装置は、ゴ−グル型立体表示装置２０１、磁場発生装置２０２、頭部磁気センサ−２０３、ヘッドフォン２０４、音源選択メニュ−格納部２０５、手元入力装置２０６、磁気センサ−ユニット２０７、空間デ−タ格納部２０８、右手形状デ−タ格納部２０９、接触部領域格納部２１０、連続音ドライソ−ス格納部２１１、衝撃音ドライソ−ス格納部２１２、マイク２１３、帯域応答格納部２１４、頭部伝達関数格納部２１５、音声制御部２１６、表示制御部２１７、プログラム格納部２１８、ＣＰＵ２１９から構成されている。
【００３５】
ゴ−グル型立体表示装置２０１は、体験者Ｍの頭部に装着され、頭部磁気センサ−２０３がたえず検出する頭の位置および方向、つまり、体験者Ｍの視線に応じた仮想的な室内の情景等を、左右両眼の視差を利用し、立体的に表示するものであり、左右両眼用として、２つの液晶カラ−ディスプレイを内蔵している。
磁場発生装置２０２は、体験者が動き回る空間に磁場を発生させる装置であり、直交コイル等を内蔵している。
【００３６】
頭部磁気センサ−２０３は、ゴ−グル型立体表示装置２０１に一体的に取り付けられ、体験者Ｍの前記磁場内での頭部の位置および方向を検出するものであり、直交コイル等を内蔵している。
ヘッドフォン２０４は、体験者Ｍの頭部に装着され、頭部磁気センサ−２０３によりたえず検出される頭の位置および方向、つまり、体験者Ｍの両耳の位置と方向に応じた３次元音場の音を再生するためのものである。
【００３７】
音源選択メニュ−格納部２０５は、その表示態様を図１３に示すようなメニュ−を格納している。音源選択メニュ−は、仮想空間に存在する連続して聞こえる音の音源の内、聞きたい音源の種類を選択するのに使用する。
手元入力装置２０６は、その外観が、図３に示すように、第１実施例の手元入力装置１０５と同様な形状をしており、体験者Ｍが普通は右手にもって操作する装置であり、右ボタン６００、中央ボタン６１０、左ボタン６２０等を有し、手元磁気センサ−（図示せず）を内蔵している。右ボタン６００は、前記音源メニュ−の前記ゴ−グル型立体表示装置２０１への表示・非表示の切り換えを行うものであり、当該右ボタン６００を押下する度に表示・非表示を繰り返す。中央ボタン６１０は、前記音源選択メニュ−のポインタ５０を移動させるためのものであり、当該中央ボタン６１０を押下する度に、ポインタ５０が音源種類を示した項目上を５１、５２、５３、５１、…と順次移動する。左ボタン６２０は、前記音源選択メニュ−上のメニュ−項目の選択または取消をするためのものであり、ポインタ５０が、選択または取消をしたいメニュ−項目（音源種類）上にあるときに押下することによって、その項目を選択または取り消すのに使用される。手元磁気センサ−は、前記磁場発生装置２０２が発生させる磁場内における位置を検出するものであり、直交コイル等から構成される。体験者Ｍが手元入力装置２０６を右手にもった場合は、手元磁気センサ−によって、仮想空間内での体験者Ｍの右手の位置が検出されることになる。
【００３８】
磁気センサ−ユニット２０７は、前記磁場発生装置２０２によって発生する磁場内に置かれた前記頭部磁気センサ−２０３および前記手元磁気センサ−中に誘起される電流の大きさを処理することにより、体験者Ｍの頭と右手の位置および方向を測定し、測定結果をＣＰＵ２１９に出力するための装置である。
空間デ−タ格納部２０８は、表示対象である室内壁、天井、床、窓、テ−ブル等からなる空間の３次元形状デ−タを格納している。
【００３９】
右手形状デ−タ格納部２０９は、体験者の右手形状を模した形状デ−タを格納しており、当該右手形状デ−タは、体験者Ｍの視線に前記手元入力装置２０６が入ると、前記手元磁気センサ−が検出する位置に、前記空間デ−タに重畳して表示される。
接触部領域格納部２１０は、図１４に示すように、仮想空間として表示される仮想物体種別毎に、その物体を構成する表面の位置情報からなる接触部領域とドライソ−スＮＯ．とを格納している。
【００４０】
連続音音源装置２１１は、連続音である、ステレオ等のオ−ディオ装置の出力音、ピアノ等の楽器の演奏音、自動車の走行音等の壁面等からの反射の影響の無い音声信号（ドライソ−ス）をＣＰＵ２１９に出力するための装置であり、複数のＣＤ（コンパクトディスク）プレ−ヤ等から構成される。各ＣＤプレ−ヤには、それぞれ一種類の連続音ドライソ−スを記録したＣＤが装着されており、各ＣＤプレ−ヤは格納している連続音の種類によって、前記音源選択メニュ−のメニュ−項目と対応づけられている。そして、前記手元入力装置２０６による、前記音源選択メニュ−のメニュ−項目の選択または取消にともなって、対応するＣＤプレ−ヤの起動（音声信号の出力）または停止が行われる。
【００４１】
衝撃音ドライソ−ス格納部２１２は、図１５に示すように、前記接触部領域格納部２１０が格納しているドライソ−スＮＯ．に対応づけて、人間の手と仮想物体種別名に対応した現実の物体とが接触した際に発生する衝撃音のドライソ−スを格納しており、ＲＯＭ等から構成される。
マイク２１３は、体験者Ｍの声を音声信号に変換し、ＣＰＵ２１９に出力する装置であり、さらに出力・非出力を切り換えるスイッチ（図示せず）を備えている。マイク２１３は、その出力信号をドライソ−スとするため、背景音および体験者Ｍの声の反射音をできるだけ検出しないような指向性の高いものが好ましい。
【００４２】
帯域応答格納部２１４は、仮想空間内で２点を設定し、その内の一方の点を音源位置とし他方の点を受音点とした時の、各周波数帯毎のエコ−タイムパタ−ンに各周波数帯毎のバンドパスフィルタを畳み込むことによって得られる各周波数帯毎の応答である帯域応答を格納するところであり、音源の種類によって連続音用帯域応答格納領域２１４ａ、衝撃音用帯域応答格納領域２１４ｂ、体験者音声用帯域応答格納領域２１４ｃを有している。連続音用帯域応答格納領域２１４ａは、図１６に示すように、仮想空間内である決まった一点を音源位置とする音源の種類毎にそれぞれの音源位置と受音点位置とから特定される帯域応答を格納している。また、図１６中の連続音受音点領域とは、受音点の位置を中心とする、ある広がりを有した空間の位置情報である。衝撃音用帯域応答格納領域２１４ｂは、図１７に示すように、衝撃音の音源の種類毎に、音源位置と受音点位置で特定される帯域応答を格納している。図１７中、衝撃音音源領域とは、音源位置を中心とする、ある広がりを有した空間の位置情報であり、衝撃音受音点領域とは、受音点の位置を中心とする、ある広がりを有した空間の位置情報である。体験者音声用帯域応答格納領域２１４ｃは、図１８に示すように、仮想空間内での前記マイク２１３の位置である音源位置と体験者の両耳間の中点である受音点位置とで特定される帯域応答を格納している。図１８中の体験者音声受音点領域とは、受音点の位置を中心とする、ある広がりを有した空間の位置情報である。
【００４３】
頭部伝達関数格納部２１５は、周囲から頭部に向かって入射する音が、人間の頭部の形状および耳の位置等の条件によって変化する状態を表す関数であり、予め算出されたものを格納している。
音声制御部２１６は、ＣＰＵ２１９から出力される再生音デ−タを音声信号に変換して、前記ヘッドフォン２０４へ臨場感のある３次元音場を出力するところである。
【００４４】
表示制御部２１７は、前記空間デ−タ格納部２０８が格納しているデ−タを基に、体験者Ｍの視線に応じた描画デ−タを作成し、描画デ−タから映像信号を生成し、映像信号を前記ゴ−グル型立体表示装置２０１に出力したり、前記右手形状デ−タ格納部２０９が格納している形状デ−タから同様に映像信号を生成し、前記空間デ−タからの映像信号に重畳して出力したりするところである。
【００４５】
プログラム格納部２１８は、図１９〜図２２に示すフローチャートに相当するプログラムを格納しており、ＲＯＭなどから構成される。
ＣＰＵ２１９は、プログラム格納部２１８が格納しているプログラムに従って処理を行うところであり、マイクロプロセッサ等から構成される。
以下、図１９〜図２２に示すフローチャートに基づいて、本装置の制御内容について説明する。
【００４６】
図１９は、処理手順の概略を示したフローチャートである。
空間デ−タを表示した状態で（ステップＳ２００）、メニュ−表示指示があると（ステップＳ２１０）、図１３に示すのと同様な音源選択メニュ−を表示する（ステップＳ２１１）。
ステップＳ２１１で、表示画面を見て、体験者が音源の選択指示をしたとすると、選択された音源に対応したＣＤプレ−ヤを起動する（ステップＳ２１３）。一方、体験者が音源の消去指示をしたとすると、消去指示された音源に対応したＣＤプレ−ヤを停止する（ステップＳ２１４）。また、体験者が、メニュ−表示の消去指示をしたとすると、メニュ−表示の消去を行う（ステップＳ２１５）。
【００４７】
上記音源選択メニュ−表示状態での処理が終了するか、または、ステップＳ２１０でメニュ−表示指示がなかった時は、処理はステップＳ２２０に進み、連続音の選択がされていない場合は、ステップＳ２３０に進み、体験者の視線の移動があった場合は、その時の視線に応じた空間デ−タを表示し（ステップＳ２３１）、視線の移動が無ければ同じ空間デ−タの表示を続ける。一方、ステップＳ２２０で、連続音の選択有と判断した場合は、処理はステップＳ２２１に進み、連続音の再生を行い、つづいて、処理はステップＳ２２２に進み、体験者の視線の移動があった場合は、そのときの視線（頭の位置と向き）に応じた連続音の再生をし（ステップＳ２２３）、空間デ−タの表示を行う（ステップＳ２２４）。
【００４８】
ステップＳ２３１またはステップＳ２２４の処理が終了するかまたはステップＳ２３０またはステップＳ２２２で視線の移動無しと判断した場合は、処理はステップＳ２４０に進み、手元磁気センサ−が検出する位置デ−タと接触部格納領域２１０に格納している接触部領域を示す位置デ−タとが一致したかどうかを判断し、一致有りの場合（接触した場合）は、該当する接触部領域に対応する衝撃音を再生する（ステップＳ２４１）。
【００４９】
一方、ステップＳ２４０で一致無し（接触無し）の場合は、処理はステップＳ２５０に進み、マイク２１３からの音声入力がある場合は、入力音声を再生し、音声入力が無い場合は、ステップＳ２１０に戻る。
次に、連続音再生ステップＳ２２１、連続音再生の更新ステップＳ２２３、衝撃音再生ステップＳ２４１、音声再生ステップＳ２５１における処理手順の詳細について説明する。
【００５０】
図２０は、連続音再生ステップＳ２２１、連続音再生の更新ステップＳ２２３の処理手順の詳細を示すフローチャートである。
まず、頭部位置磁気センサ−２０３が検出する頭部位置を含む連続音受音点領域に対応した帯域応答（図１６参照）を、選択されている音源種類毎に、読み込むと（ステップＳ２２１０）、処理はステップＳ２２１１に進み、音源毎に、帯域応答にドライソ−スと頭部伝達関数を畳み込み、つづいて、処理はステップＳ２２１２に進み、前ステップで各音源毎に求められた各周波数帯毎の応答を、同一周波数帯毎に合成し、つづいて、同一周波数帯毎に合成された応答を全周波数帯にわたって合成し、再生音デ−タを生成する（ステップＳ２２１３）。つづいて、処理はステップＳ２２１４に進み、前ステップで生成された再生音デ−タを音声に変換し、ヘッドフォンへ出力する（ステップＳ２２１５）。
【００５１】
図２１は、衝撃音再生ステップＳ２４１の処理手順の詳細を示すフローチャートである。
まず、前ステップＳ２４０で検出した一致位置を含む衝撃音音源領域とその時の頭部位置磁気センサ−２０３が検出する頭部位置を含む衝撃音受音点領域とから対応する帯域応答（図１７参照）を読み込むと（ステップＳ２４１１）、処理はステップＳ２４１２に進み、読み込まれた帯域応答に、接触した仮想物体に対応したドライソ−ス（図１４、１５参照）と頭部伝達関数を畳み込み、つづいて、処理はステップＳ２４１３に進み、前ステップで求められた各周波数帯毎の応答を全周波数帯にわたって合成し、再生音デ−タを生成する。つづいて、処理はステップＳ２４１４に進み、前ステップで生成された再生音デ−タを音声に変換し、ヘッドフォンへ出力する（ステップＳ２４１５）。
【００５２】
図２２は、音声再生ステップＳ２５１の処理手順の詳細を示すフローチャートである。
まず、頭部位置磁気センサ−２０３が検出する頭部位置を含む体験者音声受音点領域から対応する帯域応答（図１８参照）を読み込むと（ステップＳ２５１１）、処理はステップＳ２５１２に進み、読み込まれた帯域応答に、マイク２１３からの音声信号と頭部伝達関数を畳み込み、つづいて、処理はステップＳ２５１３に進み、前ステップで求められた各周波数帯毎の応答を全周波数帯にわたって合成し、再生音デ−タを生成する。つづいて、処理はステップＳ２５１４に進み、前ステップで生成された再生音デ−タを音声に変換し、ヘッドフォンへ出力する（ステップＳ２５１５）。
【００５３】
なお、本実施例では、手元磁気センサ−を内蔵した手元入力装置を体験者が右手にもって、仮想空間内を移動することによって、体験者の右手と仮想物体とが接触した時の衝撃音を再生したが、磁気センサ−を体験者の体の別の部分に装着し、衝撃音ドライソ−ス格納部の内容を適宜変更した構成としてもよい。こうすることによって、体験者の体の別の部分が仮想物体に接触した時の衝撃音を再生することが可能となる。また、体験者の体に複数の磁気センサ−を装着する構成としてもよいことは言うまでもない。
【００５４】
以上、第２実施例の擬似体験装置によれば、現実の空間では聞こえる、複数の音源からの音や、物体に体の一部が接触したときの衝撃音や、自分が発する声が、仮想空間における音として擬似体験者は聞くことができるので、聴覚的により高い没入感を得ることができる。
（第３実施例）
図２３は、本発明の第３実施例にかかる擬似体験装置の全体構成図である。
【００５５】
第３実施例は、第１実施例とは異なり、体験者は移動することなく、音声で指示することにより、ゴ−グル型立体表示装置に表示させる空間デ−タを変化させることができるよう工夫されている。
そのため、第３実施例は、第１実施例に対し、さらにマイク３０１、Ａ／Ｄコンバ−タ３０２、入力音声パタ−ン一時記憶部３０３、基準音声パタ−ン格納部３０４、指示コ−ド一時記憶部３０５、指示量格納部３０６を備えており、第１実施例からは、磁気発生装置１０２、頭部磁気センサ−１０３、磁気センサ−ユニット１０６が省略された構成となっている。なお、第３実施例の説明に使用する図面等において、第１実施例と同様な構成のものについては同符号を付し、それらの説明については省略する。
【００５６】
マイク３０１は、体験者Ｍの声を音声信号に変換し、Ａ／Ｄコンバ−タ３０２へ出力する装置である。
Ａ／Ｄコンバ−タ３０２は、マイク３０１からのアナログの音声信号をデジタル信号に変換しＣＰＵ１１３へ出力する装置である。
入力音声パタ−ン一時記憶部３０３は、マイク３０１から入力された１語分の音声波形を記憶するところであり、ＲＡＭ等から構成される。
【００５７】
基準音声パタ−ン格納部３０４は、図２４に示すように、音声指示に使用される音声の波形を格納する基準音声パタ−ン記憶領域２４２と、その各々の音声波形に対応した指示コ−ドを格納する指示コ−ド格納領域２４３とを有している。例えば、２４２ａには「まえ」と発音される音声の波形が格納されており、２４３ａにはそれに対応した指示コ−ド「Ｄ１」が格納されているといった具合である。
【００５８】
指示コ−ド一時記憶部３０５は、図２５に示すように、前記入力音声パタ−ン一時記憶部３０３に記憶された音声波形に該当する指示コ−ドを各納するところであり、指示種類によって格納領域が定まっている。
指示量格納部３０６は、図２６は、指示コ−ドまたはその組み合わせに対応した指示量を格納している。例えば、指示コ−ドＶ１（速く）に対しては速度ｖ１が、指示コ−ドＴ１（少し）・Ａ１（移動）に対しては距離ｍ１が、指示コ−ドＴ２（たくさん）・Ａ２（向く）に対しては角度ａ２が格納されているといった具合である。なお、指示種類「方向」に関する指示コ−ドＤ１〜Ｄ６については量とは無関係なので、本格納部には対応するデ−タは格納されていない。
【００５９】
以下、図２７に示すフローチャートに基づいて、本装置の制御内容について説明する。
まず、ゴ−グル型立体表示装置１０１に空間デ−タが表示された状態で（ステップＳ３００）、体験者Ｍが音声入力すると（ステップＳ３１０）、処理はステップＳ３２０に進み、入力された音声の波形を入力音声パタ−ン一時記憶部３０３に記憶し、つづいて処理はステップＳ３３０に進み、記憶された波形に該当する波形を基準音声パタ−ン格納部３０４から検索する。
【００６０】
ここで、該当する波形パタ−ンがなかった場合は（ステップＳ３４０）、処理は、ステップＳ３１０の手前へ戻り、音声入力待ち状態となる。一方、該当する波形があった場合は、処理はステップＳ３５０に進み、その波形の指示コ−ドを、指示コ−ド一時記憶部３０５の対応する指示種類の格納場所に格納する。
つづいて、処理はステップＳ３６０に進み、指示コ−ド一時記憶部３０５に、指示種類に対応した指示コ−ドが全て格納されたかどうかを判断し、されていない場合は、ステップＳ３１０の手前へ戻り、再び音声入力待ち状態となる。一方、すべてのコ−ドが格納されている場合は、処理はステップＳ３７０に進み、格納された指示コ−ドと指示量格納部３０６で対応する指示量とに応じた空間デ−タの表示の更新をおこなう。
【００６１】
たとえば、体験者Ｍが、「まえ」、「ゆっくり」、「すこし」、「いどう」と音声入力したとすると、ステップＳ３１０〜ステップＳ３６０が繰り返され、指示コ−ド一時記憶部３０５には、図２８に示すように、指示コ−ドが格納され、この状態で全てのコ−ドが格納されたことになるので、ゴ−グル型立体表示装置１０１には、「前に、速度ｖ１で、距離ｍ１」移動するときの空間デ−タが表示される。
【００６２】
以上、第３実施例の擬似体験装置によれば、体験者は動き回ることなく、例えば椅子に腰掛けたままで、擬似体験をすることが可能となる。
【００６３】
【発明の効果】
以上、本発明に係る上記第１の擬似体験装置によれば、体験者の視線が仮想主体の身体方向に向けられると、体験者の身体形状を模した仮想主体の形状デ−タが空間デ−タと重畳して立体表示装置に表示され、また、移動中に体験者の視線が仮想主体の身体方向に向けられると、一連の移動動作デ−タが空間デ−タと重畳して立体表示装置に表示されるので、視覚的により高い没入感を得られる。
【００６５】
また、本発明に係る上記第２及び第３の擬似体験装置によれば、体験者の体の一部の位置と仮想物体の表面の位置とが一致すると、一致した仮想物体に対応したドライソ−スから生成した再生音デ−タが音声に変換され音場再生装置に出力されるので、聴覚的により高い没入感が得られる。
【００６６】
また、本発明に係る上記第４及び第５の擬似体験装置によれば、音声入力手段から入力された音声から生成した再生音デ−タが音声に変換され音場再生装置に出力されるので、聴覚的により高い没入感が得られる。
【図面の簡単な説明】
【図１】第１実施例の擬似体験装置の全体構成を示す図である。
【図２】第１実施例における、主体選択メニュ−を示す図である。
【図３】第１、２実施例における、手元入力装置の外観形状を示す図である。
【図４】第１実施例における、主体静止形状デ−タ格納部の内容を示す図である。
【図５】第１実施例における、主体動作形状デ−タ格納部の内容を示す図である。
【図６】第１実施例における、主体形状一時記憶部の内容を示す図である。
【図７】第１実施例における、本装置の処理手順を示すフローチャートである。
【図８】第１実施例における、主体形状一時記憶部の記憶状態の内容を示す図である。
【図９】第１実施例における、ゴ−グル型立体表示装置の画面表示の一例を示す図である。
【図１０】第１実施例における、ゴ−グル型立体表示装置の画面表示の一例を示す図である。
【図１１】第１実施例における、ゴ−グル型立体表示装置の画面表示の一例を示す図である。
【図１２】第２実施例の擬似体験装置の全体構成を示す図である。
【図１３】第２実施例における、音源選択メニュ−を示す図である。
【図１４】第２実施例における、接触部領域格納部の内容を示す図である。
【図１５】第２実施例における、衝撃音ドライソ−ス格納部の内容を示す図である。
【図１６】第２実施例における、連続音用帯域応答格納領域の内容を示す図である。
【図１７】第２実施例における、衝撃音用帯域応答格納領域の内容を示す図である。
【図１８】第２実施例における、体験者音声用帯域応答格納領域の内容を示す図である。
【図１９】第２実施例における、本装置の処理手順を示すフローチャートである。
【図２０】第２実施例における、本装置の処理手順を示すフローチャートである。
【図２１】第２実施例における、本装置の処理手順を示すフローチャートである。
【図２２】第２実施例における、本装置の処理手順を示すフローチャートである。
【図２３】第３実施例の擬似体験装置の全体構成を示す図である。
【図２４】第３実施例における、基準音声パタ−ン格納部３０４の内容を示す図である。
【図２５】第３実施例における、指示コ−ド一時記憶部３０５の内容を示す図である。
【図２６】第３実施例における、指示量格納部３０６の内容を示す図である。
【図２７】第３実施例における、本装置の処理手順を示すフローチャートである。
【図２８】第３実施例における、指示コ−ド一時記憶部３０５の記憶状態の一例を示す図である。
【符号の説明】
１０７空間デ−タ格納部
１０８主体静止形状デ−タ格納部
１０９主体動作形状デ−タ格納部
１１０主体形状一時記憶部
２１０接触部領域格納部
２１１連続音音源装置
２１２衝撃音ドライソ−ス格納部
２１４帯域応答格納部
２１５頭部伝達関数格納部
３０３入力音声パタ−ン一時記憶部
３０４基準音声パタ−ン格納部[0001]
[Industrial applications]
The present invention relates to a virtual experience device.
[0002]
[Prior art]
In recent years, pseudo-experience devices based on so-called virtual reality technology have been spotlighted, and are used for housing design and sales of housing equipment.
For example, in a house design, a designed house is realized in a virtual space, and a design house is evaluated while obtaining a feeling of entering the space, so-called immersive feeling. In the case of selling system kitchens, the purchaser is asked to experience a plurality of system kitchens in a virtual space, and to select a desired one from among them.
[0003]
In a conventional simulated experience device, a goggle-type stereoscopic display device attached to the head of the experienced person responds to the gaze of the experienced person detected by a sensor integrally attached to the three-dimensional display device. I was drawing the surrounding virtual space.
[0004]
[Problems to be solved by the invention]
However, in the above-described conventional pseudo-experience device, when the user turns his or her gaze to his / her feet, the surrounding scene corresponding to the gaze is drawn, but his / her feet that should be visible there are not drawn. The experienced person has a feeling that he or she floats in the air, and therefore, there is a problem that an immersive feeling is impaired.
[0005]
SUMMARY OF THE INVENTION It is a first object of the present invention to provide a simulated experience device that can provide a visually higher immersion sensation in view of the above problems.
A second object of the present invention is to provide a pseudo-experience device capable of obtaining a higher auditory immersion sensation.
[0006]
[Means for Solving the Problems]
To achieve the first object,First of the present inventionIs a three-dimensional display device used by being attached to the head of the experienced person, space data storage means for storing three-dimensional data of a virtual space to be displayed by the three-dimensional display device, Detect the position and orientation of the head of the userFirstA second step of selecting predetermined spatial data based on the detecting means and the viewpoint position of the user determined from the detection result and displaying the selected spatial data on the display device;1 tableIndication control means, main body shape data storage means for storing shape data of the virtual subject imitating the body shape of the user, and the gaze of the user in the body direction of the virtual subject in accordance with the detection result of the detection means. When turned, the main shape data is read out from the main shape data storage means and superimposed on the spatial data and displayed on the stereoscopic display device.Table 2Indicating control meansThe main shape data storage means stores a series of moving operation data that changes with the moving operation for each type of shape data. Speed detecting means for detecting a moving speed in a space, and according to the moving speed of the user detected by the speed detecting means when the line of sight of the user is directed toward the body of the virtual subject according to the detection result of the detecting means. And third display control means for sequentially superimposing the movement data on the spatial data and displaying the data on the stereoscopic display device.It is characterized byYouYou.
[0011]
Also, in order to achieve the second object,Second embodiment of the present inventionSimulated experience deviceIn addition to the first pseudo experience device of the present invention,A sound field playback device attached to the head of the user and used in the background of the display target spaceTentativeA predetermined position on the surface of a virtual object is a sound source position, and an arbitrary position is a sound receiving point.WhenofGenerating means for generating reproduced sound data;No. to detect the position of a part of the body of the user2Detection means, and when the user moves in the virtual space,2When the position data detected by the detection means matches the position data of the virtual object,One testCorresponding to the position of the user's head determined from the detection resultReGenerates raw sound data,TheConverting reproduced sound data into sound and outputting the converted sound to the sound field reproducing device;I do.
Further, in order to achieve the second object, the third pseudo experience device of the present invention further comprises a sound field reproduction device used by being attached to the head of the experienced person in addition to the first pseudo experience device of the present invention. Apparatus and a band-pass filter for each frequency band in an eco-time pattern for each frequency band when a predetermined position on the surface of a virtual object existing in the background of the display target space is set as a sound source position and an arbitrary position is set as a sound receiving point Band response storage means for storing a response for each frequency band obtained by convolving the frequency domain, head-related transfer function storage means for storing a head-related transfer function, and anechoic acoustic data, which are stored in the virtual object. A second storage means for storing a plurality of corresponding dry sources; and a second detection means for detecting a position of a part of the body of the user, wherein the second detection is performed by the user moving in the virtual space. Detected by means When the placement data and the position data of the virtual object match, the position data matches the band response corresponding to the position of the head of the user determined from the detection result of the first detection means. The response for each frequency band is calculated by convolving the dry source corresponding to the virtual object and the head-related transfer function, and the reproduced sound data is generated by synthesizing the response for each frequency band over the entire frequency band. The reproduced sound data is converted into sound and output to the sound field reproducing device.
[0012]
Also, in order to achieve the second object,Fourth Embodiment of the Present InventionSimulated experience deviceIn addition to the first pseudo experience device of the present invention,A sound field reproducing device used by being attached to the head of the user, voice input means for inputting a voice near the mouth of the user, and a sound source position of the mouth of the user in the space, The points near both ears were set as sound receiving pointsWhenofGenerating means for generating reproduced sound data;Comprising the aboveFirstIt corresponds to the position of the user's head determined from the detection result of the detection means.ReGenerates raw sound data,TheConverting reproduced sound data into sound and outputting the converted sound to the sound field reproducing device;I do.
Further, in order to achieve the second object, the fifth pseudo experience device of the present invention further includes a sound field reproduction device used by being attached to the head of the user to be used in addition to the first pseudo experience device of the present invention. A device, voice input means for inputting voice near the mouth of the user, and each frequency band when the mouth of the user is a sound source position and the vicinity of both ears of the user is a sound receiving point in the space. Band response storage means for storing a response for each frequency band obtained by convolving the band-pass filter for each frequency band with the eco-time pattern, and head-related transfer function storage means for storing a head-related transfer function. A response for each frequency band by convolving the voice input from the voice input means and the head-related transfer function with the band response corresponding to the position of the head of the user determined from the detection result of the first detection means. And calculate each frequency Generate data, the reproduced sound de - - reproduced sound de by combining the response of each over the entire frequency band and outputs the convert the data into voice sound field reproducing apparatus.
[0014]
[Action]
The firstAccording to the configuration of the simulated experience device, when the gaze of the user is turned in the body direction of the virtual subject while the spatial data is displayed on the stereoscopic display device, the virtual subject imitating the body shape of the user is Shape data is superimposed on spatial data and displayed on a three-dimensional display deviceIn addition, when the user's line of sight is directed toward the body of the virtual subject while moving while the spatial data is displayed on the stereoscopic display device, a series of moving operation data is sequentially generated according to the moving speed. The data can be superimposed on the spatial data and displayed on the stereoscopic display device.Here, the “space” in the present specification includes not only a literally spacious space in which an object does not exist but a considerably wide space, but also a wall, a floor, and devices, devices, and the like provided in the background thereof. Used in the concept including.
[0017]
The second and third aboveAccording to the configuration of the simulated experience apparatus, when the position of a part of the body of the user and the position of the surface of the virtual object match, the dry source and the head transfer coefficient corresponding to the matched virtual object are determined by the user. The response for each frequency is calculated by convolving the band response for each sound source corresponding to the head position of, and the response for each frequency is synthesized over the entire frequency band to generate reproduced sound data. Converts data to sound and outputs it to sound field playback devicebe able to.
[0018]
The above fourth and fifthAccording to the configuration of the simulated experience device, the voice input from the voice input means and the head transfer coefficient are convolved with the band response corresponding to the head position of the user to calculate the response for each frequency, The reproduced sound data is generated by synthesizing the response for each frequency over the entire frequency band, and the reproduced sound data is converted into sound and output to the sound field reproducing device.be able to.
[0020]
【Example】
Embodiments of the present invention will be described with reference to the drawings.
(First embodiment)
FIG. 1 is an overall configuration diagram of the simulation experience apparatus according to the first embodiment of the present invention. As shown in the figure, the virtual experience device includes a goggle type stereoscopic display device 101, a magnetic field generator 102, a head magnetic sensor 103, a main body selection menu storage unit 104, a hand input device 105, a magnetic sensor unit. 106, a spatial data storage unit 107, a main static shape data storage unit 108, a main operation shape data storage unit 109, a main shape temporary storage unit 110, a display control unit 111, a program storage unit 112, and a CPU 113. Have been.
[0021]
The goggle type stereoscopic display device 101 is mounted on the head of the user M, and the position and direction of the head constantly detected by the head magnetic sensor 103, that is, a virtual room according to the line of sight of the user M. Is displayed stereoscopically using the parallax of the left and right eyes, and has two built-in liquid crystal color displays for the left and right eyes.
The magnetic field generator 102 is a device that generates a magnetic field in a space where the user moves around, and has a built-in orthogonal coil and the like.
[0022]
The head magnetic sensor 103 is integrally attached to the goggle type stereoscopic display device 101, detects the position and direction of the head of the user M in the magnetic field, and incorporates a quadrature coil and the like. are doing.
The main body selection menu storage unit 104 stores a menu as shown in FIG. The subject selection menu is used to select the type of subject to be displayed in the virtual space.
[0023]
The hand input device 105 has a shape shown in FIG. 3 and is a device that is held and operated by the user M with one hand, and has a right button 500, a center button 510, a left button 520, and the like. The right button 500 is for displaying the main body selection menu on the goggle type stereoscopic display device 101. When the right button is pressed, the main body selection menu is displayed. The center button 510 is used to move the pointer 400 of the main body selection menu. Each time the center button 510 is pressed, the pointer 400 sequentially moves to items 420, 430,... The left button 520 is used to select a menu item on the subject selection menu. When the pointer 400 is pressed on a menu item (subject type) to be selected, the item is selected. Used for Further, when the left button 530 is pressed, the menu is displayed and erased.
[0024]
The magnetic sensor unit 106 processes the magnitude of the current induced in the head magnetic sensor 103 placed in the magnetic field generated by the magnetic field generating device 102 to thereby position the head of the user M. This is a device for measuring the direction, the moving speed of the experienced person M, and outputting the measurement result to the CPU.
The space data storage unit 108 stores three-dimensional shape data of a space including a room wall, a ceiling, a floor, a window, a table, and the like to be displayed.
[0025]
As shown in FIG. 4, the main body static shape data storage unit 108 stores main body types to be displayed in the virtual space, such as a subject type, an adult / male, an adult / female, and the display state (standing). State, sitting state) is stored in a location specified by the address.
The subject movement shape data storage unit 109 stores a series of shape data indicating a walking state that changes as the experience person M moves in the virtual space, as shown in FIG. Stored in the specified location. A series of operations is completed with the end numbers 1 to 12 of each address as one cycle, and each shape data is sequentially displayed according to the moving speed of the user M. In this embodiment, one cycle of a series of operations is represented by 12 patterns of shape data. However, the present invention is not limited to this number of patterns, and may be appropriately increased or decreased.
[0026]
As shown in FIG. 6, the main shape temporary storage section 110 has a main still shape data storage area 800, a main operation shape data storage area 900, and a pointer position management area 300, and is composed of a RAM or the like. . The main body static shape data storage area 800 and the main body operation shape data storage area 900 are main body shape data corresponding to the main body type selected in the main body selection menu. The shape data called from the storage unit 108 and the subject motion shape data storage unit 109 are stored in the locations specified by the respective addresses. The pointer position management area 300 is a place where the main body shape data is selectively displayed and managed, and is determined by the head height, the line of sight, and the moving speed of the experienced person M detected by the head magnetic sensor 103. The pointer 310 switches to display the shape data where the pointer is located. Reference numeral 320 in FIG. 6 denotes a pointer waiting area when no main body shape data is displayed.
[0027]
The display control unit 111 creates drawing data according to the line of sight of the user M based on the data stored in the space data storage unit 107, and outputs a video signal from the drawing data. And outputs a video signal to the goggle type stereoscopic display device 101, or generates a video signal in the same manner from the shape data stored in the main shape temporary storage unit 110, and outputs the spatial data. Or the video signal is superimposed on and output from the video signal.
[0028]
The program storage unit 112 stores a program corresponding to the flowchart shown in FIG. 7, and is configured from a ROM or the like.
The CPU 113 performs processing according to the program stored in the program storage unit 112, and includes a microprocessor and the like.
Hereinafter, the control contents of the present apparatus will be described based on the flowchart shown in FIG.
[0029]
With the spatial data displayed (step S100), when the user moves his / her gaze (step S110), the spatial data corresponding to the gaze at that time is displayed (step S111). If it does not move, the display of the same spatial data is continued. Then, if there is a menu display instruction from the user in step S120, the process proceeds to step S121, in which a subject selection menu similar to that shown in FIG. 2 is displayed.
[0030]
While looking at the display screen, the user operates the input switch 105 at hand to select one subject to be a virtual space (step S122). Here, assuming that “adult / male” is selected, the process proceeds to step S123, where the shape data corresponding to the selected subject type “adult / male” is stored in the subject stationary shape data storage unit 108 and the subject. The data is read from the operation shape data storage unit 109 and stored in the main shape temporary storage unit 110. FIG. 8 shows the storage result. Subsequently, the process proceeds to step S124, and changes the height of the viewpoint of the user in the virtual space to the height of the viewpoint according to the selected subject type. By doing so, for example, when the experienced person is an adult and the subject selected in step S122 is a child, the experienced person can perform a simulated experience from the viewpoint (height) of the child. Subsequently, the process proceeds to step S125, where the subject selection menu display is deleted, and then proceeds to step S130.
[0031]
In step S130, it is determined from the head height detected by the head magnetic sensor 103 whether the experienced person is standing or sitting. Here, if the user is sitting, the process proceeds to step S140. If the user turns his / her gaze toward the body direction of the virtual subject, the process proceeds to step S141, where the selected subject type "adult / male" Is read from the temporary body shape storage unit 110 and superimposed on the spatial data and displayed. FIG. 9 shows an example of the display result.
[0032]
On the other hand, if it is determined in step S130 that the user is standing, the process proceeds to step S131, in which it is determined whether or not the line of sight of the user is in the body direction of the virtual subject. In this case, the process proceeds to step S132, and it is further determined whether the user is moving or stationary. The determination is made based on the value V of the moving speed of the user output from the magnetic sensor unit 106. If V is equal to or less than a preset value V1, the user is determined to be stationary, while V Is greater than V1, it is determined that the experiencer is moving. If it is determined that the subject is stationary, the process proceeds to step S133, in which the subject's stationary shape data in a state where the selected subject type "adult / male" is standing is read from the subject shape temporary storage unit 110. And superimposed on the spatial data for display. FIG. 10 shows an example of the display result. On the other hand, if it is determined that the subject is moving, the process proceeds to step S134, and the main operation shape data stored in the temporary main shape storage unit shown in FIG. , AM2,..., AM12, AM1,..., Are sequentially read out and superimposed on the spatial data and displayed.
[0033]
Further, in step S122, "cat" is selected as another subject, and in a standing state (step S130), the look turns to the body direction of the virtual subject "cat" by turning around (step S133). Assuming that the user is stationary (step S132), the process of step S133 is performed, and the subject's static shape data in a state where the subject type "cat" stands is superimposed on the spatial data and displayed. FIG. 11 shows an example of the display result.
[0034]
As described above, according to the virtual experience apparatus of the first embodiment, when the user turns his or her gaze toward the body direction of the virtual subject, the shape data of the virtual subject according to the head height and the moving speed of the user at that time. Is displayed so as to be superimposed on the spatial data, so that a visually higher immersion feeling can be obtained.
(Second embodiment)
FIG. 12 is an overall configuration diagram of the simulation experience apparatus according to the second embodiment of the present invention. As shown in the figure, the pseudo experience device includes a goggle type stereoscopic display device 201, a magnetic field generator 202, a head magnetic sensor 203, headphones 204, a sound source selection menu storage unit 205, a hand input device 206, A sensor unit 207, a spatial data storage unit 208, a right-hand shape data storage unit 209, a contact area storage unit 210, a continuous sound dry source storage unit 211, an impact sound dry source storage unit 212, a microphone 213, It comprises a band response storage unit 214, a head-related transfer function storage unit 215, a voice control unit 216, a display control unit 217, a program storage unit 218, and a CPU 219.
[0035]
The goggle type stereoscopic display device 201 is mounted on the head of the user M, and the position and direction of the head constantly detected by the head magnetic sensor 203, that is, a virtual room according to the line of sight of the user M. Is displayed stereoscopically using the parallax of the left and right eyes, and has two built-in liquid crystal color displays for the left and right eyes.
The magnetic field generation device 202 is a device that generates a magnetic field in a space where the user moves around and has a built-in orthogonal coil and the like.
[0036]
The head magnetic sensor 203 is integrally attached to the goggle type stereoscopic display device 201, detects the position and direction of the head of the user M in the magnetic field, and incorporates a quadrature coil and the like. are doing.
The headphone 204 is mounted on the head of the user M, and the position and direction of the head constantly detected by the head magnetic sensor 203, that is, the three-dimensional sound field according to the position and direction of both ears of the user M To reproduce the sound of
[0037]
The sound source selection menu storage unit 205 stores a menu as shown in FIG. The sound source selection menu is used to select the type of sound source desired to be heard from the sound sources of continuously audible sounds existing in the virtual space.
As shown in FIG. 3, the hand input device 206 has the same shape as the hand input device 105 of the first embodiment, as shown in FIG. 3. It has a right button 600, a center button 610, a left button 620, and the like, and has a built-in magnetic sensor (not shown). The right button 600 switches display / non-display of the sound source menu on the goggle type stereoscopic display device 201, and repeats display / non-display every time the right button 600 is pressed. The center button 610 is used to move the pointer 50 of the sound source selection menu. Each time the center button 610 is pressed, the pointer 50 moves over the item indicating the sound source type by 51, 52, 53, 51. , ... sequentially move. The left button 620 is used to select or cancel a menu item on the sound source selection menu, and is pressed when the pointer 50 is on a menu item (sound source type) to be selected or canceled. Used to select or cancel the item. The hand magnetic sensor detects a position in a magnetic field generated by the magnetic field generating device 202, and includes a quadrature coil and the like. When the user M holds the hand input device 206 in the right hand, the position of the user's right hand in the virtual space is detected by the magnetic sensor at hand.
[0038]
The magnetic sensor unit 207 processes the magnitude of the current induced in the head magnetic sensor 203 and the hand magnetic sensor placed in the magnetic field generated by the magnetic field generator 202, thereby providing an experience. This is a device for measuring the position and direction of the head and right hand of the person M and outputting the measurement result to the CPU 219.
The space data storage unit 208 stores three-dimensional shape data of a space including a room wall, a ceiling, a floor, a window, a table, and the like to be displayed.
[0039]
The right hand shape data storage unit 209 stores shape data imitating the right hand shape of the experienced person, and the right hand shape data is stored when the hand input device 206 enters the line of sight of the experienced person M. Are superimposed on the spatial data and displayed at positions detected by the magnetic sensor at hand.
As shown in FIG. 14, for each virtual object type displayed as a virtual space, the contact area storage section 210 stores a contact area including position information of a surface constituting the object and a dry source NO. And are stored.
[0040]
The continuous sound source device 211 is a sound signal that is not affected by reflection from a wall or the like, such as a sound output from an audio device such as a stereo, a performance sound of a musical instrument such as a piano, or a running sound of a car, which is a continuous sound. ) To the CPU 219, and comprises a plurality of CD (compact disk) players and the like. Each CD player is equipped with a CD recording one type of continuous sound dry source. Each CD player has a menu of the sound source selection menu according to the type of continuous sound stored. -Associated with the item. When the hand-held input device 206 selects or cancels a menu item in the sound source selection menu, the corresponding CD player is activated (outputs an audio signal) or stopped.
[0041]
As shown in FIG. 15, the impact noise dry source storage section 212 stores the dry source number stored in the contact area storage section 210. And stores a dry source of an impact sound generated when a human hand and a real object corresponding to the virtual object type name come into contact with each other.
The microphone 213 is a device that converts the voice of the experienced person M into an audio signal and outputs it to the CPU 219, and further includes a switch (not shown) for switching between output and non-output. Since the output signal of the microphone 213 is a dry source, it is preferable that the microphone 213 has a high directivity such that the background sound and the reflected sound of the voice of the user M are not detected as much as possible.
[0042]
The band response storage unit 214 sets an eco-time pattern for each frequency band when two points are set in the virtual space and one of the points is set as a sound source position and the other is set as a sound receiving point. A band response, which is a response for each frequency band obtained by convolving a band-pass filter for each frequency band, is to be stored. 214b, and has a band response storage area 214c for the user voice. As shown in FIG. 16, the continuous-tone band response storage area 214a includes, for each type of sound source having a fixed point in the virtual space as a sound source position, a band specified from each sound source position and sound receiving point position. Contains the response. In addition, the continuous sound receiving point area in FIG. 16 is position information of a space having a certain area around the position of the sound receiving point. As shown in FIG. 17, the band response storage area for impact sound 214b stores the band response specified by the sound source position and the sound receiving point position for each type of the sound source of the impact sound. In FIG. 17, the impulsive sound source area is position information of a space having a certain area around the sound source position, and the impulsive sound receiving point area is centered on the position of the sound receiving point. This is position information of a space having an expanse. As shown in FIG. 18, the user response band response storage area 214 c includes a sound source position, which is the position of the microphone 213 in the virtual space, and a sound receiving point position, which is a middle point between both ears of the user. Stores the specified band response. The user sound receiving point area in FIG. 18 is position information of a space having a certain extent around the position of the sound receiving point.
[0043]
The head-related transfer function storage unit 215 is a function that represents a state in which the sound incident from the surroundings toward the head changes according to conditions such as the shape of the human head and the position of the ears. Stored.
The sound control unit 216 converts the reproduced sound data output from the CPU 219 into a sound signal and outputs a realistic three-dimensional sound field to the headphone 204.
[0044]
The display control unit 217 creates drawing data according to the line of sight of the user M based on the data stored in the space data storage unit 208, and outputs a video signal from the drawing data. And outputs the video signal to the goggle type stereoscopic display device 201 or generates a video signal from the shape data stored in the right-hand shape data storage unit 209 in the same manner, And superimpose it on the video signal from the output terminal.
[0045]
The program storage unit 218 stores a program corresponding to the flowcharts shown in FIGS. 19 to 22, and is configured from a ROM or the like.
The CPU 219 performs processing according to the program stored in the program storage unit 218, and is configured by a microprocessor or the like.
Hereinafter, the control contents of the present apparatus will be described based on the flowcharts shown in FIGS.
[0046]
FIG. 19 is a flowchart showing an outline of the processing procedure.
When there is a menu display instruction in a state where the spatial data is displayed (step S200), a sound source selection menu similar to that shown in FIG. 13 is displayed (step S211).
In step S211, assuming that the user gives an instruction to select a sound source while looking at the display screen, a CD player corresponding to the selected sound source is activated (step S213). On the other hand, if the user instructs the deletion of the sound source, the CD player corresponding to the sound source instructed to delete is stopped (step S214). If the user gives an instruction to delete the menu display, the menu display is deleted (step S215).
[0047]
If the processing in the sound source selection menu display state is completed, or if no menu display instruction is given in step S210, the process proceeds to step S220. If a continuous sound is not selected, step S230 is performed. If there is a movement of the line of sight of the experienced person, space data corresponding to the line of sight at that time is displayed (step S231). If there is no movement of the line of sight, the display of the same space data is continued. On the other hand, if it is determined in step S220 that a continuous sound has been selected, the process proceeds to step S221, where a continuous sound is reproduced. Then, the process proceeds to step S222, and the user's line of sight has moved. In this case, a continuous sound is reproduced according to the line of sight (head position and direction) at that time (step S223), and spatial data is displayed (step S224).
[0048]
If the processing in step S231 or step S224 is completed, or if it is determined in step S230 or step S222 that there is no movement of the line of sight, the processing proceeds to step S240, where the position data detected by the magnetic sensor at hand and the contact portion are stored. It is determined whether or not the position data indicating the contact area stored in the area 210 matches, and if there is a match (in the case of contact), an impact sound corresponding to the corresponding contact area is reproduced. (Step S241).
[0049]
On the other hand, if there is no match (no contact) in step S240, the process proceeds to step S250. If there is a voice input from microphone 213, the input voice is reproduced. If there is no voice input, the process returns to step S210. .
Next, details of the processing procedure in the continuous sound reproduction step S221, the continuous sound reproduction update step S223, the shock sound reproduction step S241, and the sound reproduction step S251 will be described.
[0050]
FIG. 20 is a flowchart showing details of the processing procedure of the continuous sound reproduction step S221 and the continuous sound reproduction update step S223.
First, the band response (see FIG. 16) corresponding to the continuous sound receiving point area including the head position detected by the head position magnetic sensor 203 is read for each selected sound source type (step S2210). , The process proceeds to step S2211, and convolves the dry source and the head-related transfer function with the band response for each sound source. Then, the process proceeds to step S2212, for each frequency band determined for each sound source in the previous step. Are synthesized for the same frequency band, and then the synthesized responses for the same frequency band are synthesized over the entire frequency band to generate reproduced sound data (step S2213). Subsequently, the process proceeds to step S2214, where the reproduced sound data generated in the previous step is converted into sound and output to the headphones (step S2215).
[0051]
FIG. 21 is a flowchart illustrating details of the processing procedure of the impact sound reproduction step S241.
First, a band response corresponding to the shock sound source area including the coincidence position detected in the previous step S240 and the shock sound receiving point area including the head position detected by the head position magnetic sensor 203 at that time (see FIG. 17) ) Is read (step S2411), the process proceeds to step S2412, in which the read source (see FIGS. 14 and 15) and the head-related transfer function corresponding to the contacted virtual object are convolved with the read band response. The process proceeds to step S2413, where the response for each frequency band obtained in the previous step is synthesized over all frequency bands to generate reproduced sound data. Subsequently, the process proceeds to step S2414, where the reproduced sound data generated in the previous step is converted into sound and output to the headphones (step S2415).
[0052]
FIG. 22 is a flowchart showing details of the processing procedure of the audio reproduction step S251.
First, when a corresponding band response (see FIG. 18) is read from the experience-speaker sound receiving point area including the head position detected by the head position magnetic sensor 203 (step S2511), the process proceeds to step S2512, and the reading is performed. The speech signal from the microphone 213 and the head related transfer function are convolved with the obtained band response, and then the process proceeds to step S2513, where the response for each frequency band obtained in the previous step is synthesized over all frequency bands, Generate reproduced sound data. Subsequently, the process proceeds to step S2514, in which the reproduced sound data generated in the previous step is converted into sound and output to the headphones (step S2515).
[0053]
In this embodiment, by moving the hand-held input device incorporating the hand-held magnetic sensor in the virtual space with the right hand of the user in the virtual space, the impulsive sound generated when the right hand of the user comes into contact with the virtual object is generated. Although the playback is performed, the magnetic sensor may be attached to another part of the body of the experienced person, and the content of the impact sound dry source storage unit may be appropriately changed. By doing so, it is possible to reproduce an impact sound when another part of the body of the user touches the virtual object. Needless to say, a configuration in which a plurality of magnetic sensors are attached to the body of the user is also possible.
[0054]
As described above, according to the simulated experience device of the second embodiment, sounds from a plurality of sound sources, impact sounds when a part of a body comes into contact with an object, and voices uttered by oneself are heard in a real space. Since the pseudo-experienced person can hear the sound in the space, a higher auditory immersion can be obtained.
(Third embodiment)
FIG. 23 is an overall configuration diagram of the simulation experience apparatus according to the third embodiment of the present invention.
[0055]
In the third embodiment, unlike the first embodiment, the user can change the spatial data displayed on the goggle type stereoscopic display device by giving an instruction by voice without moving. It is devised.
Therefore, the third embodiment is different from the first embodiment in that a microphone 301, an A / D converter 302, an input voice pattern temporary storage unit 303, a reference voice pattern storage unit 304, and an instruction code are provided. A temporary storage unit 305 and an indicated amount storage unit 306 are provided, and the configuration is such that the magnetic generator 102, the head magnetic sensor-103, and the magnetic sensor unit 106 are omitted from the first embodiment. In the drawings and the like used in the description of the third embodiment, the same components as those in the first embodiment are denoted by the same reference numerals, and description thereof will be omitted.
[0056]
The microphone 301 is a device that converts the voice of the user M into an audio signal and outputs the audio signal to the A / D converter 302.
The A / D converter 302 is a device that converts an analog audio signal from the microphone 301 into a digital signal and outputs the digital signal to the CPU 113.
The input voice pattern temporary storage unit 303 stores a voice waveform of one word input from the microphone 301, and includes a RAM and the like.
[0057]
As shown in FIG. 24, the reference voice pattern storage unit 304 stores a reference voice pattern storage area 242 for storing a voice waveform used for voice instructions, and an instruction command corresponding to each voice waveform. And an instruction code storage area 243 for storing a code. For example, 242a stores a waveform of a sound pronounced "before", and 243a stores a corresponding instruction code "D1".
[0058]
As shown in FIG. 25, the instruction code temporary storage section 305 stores instruction codes corresponding to the audio waveforms stored in the input audio pattern temporary storage section 303, depending on the instruction type. The storage area is fixed.
In FIG. 26, the instruction amount storage unit 306 stores an instruction amount corresponding to an instruction code or a combination thereof. For example, the speed v1 for the instruction code V1 (fast), the distance m1 for the instruction code T1 (slightly) and A1 (movement), and the instruction code T2 (many) and A2 ( For example, the angle a2 is stored with respect to (facing). Since the instruction codes D1 to D6 relating to the instruction type "direction" are not related to the quantity, the corresponding data is not stored in this storage unit.
[0059]
Hereinafter, the control contents of the present apparatus will be described based on the flowchart shown in FIG.
First, in a state where the spatial data is displayed on the goggle type stereoscopic display device 101 (step S300), when the user M inputs voice (step S310), the process proceeds to step S320, and the process proceeds to step S320. The waveform is stored in the input voice pattern temporary storage unit 303, and then the process proceeds to step S330, where a waveform corresponding to the stored waveform is retrieved from the reference voice pattern storage unit 304.
[0060]
Here, if there is no corresponding waveform pattern (step S340), the process returns to before step S310 to be in a state of waiting for voice input. On the other hand, if there is a corresponding waveform, the process proceeds to step S350, and the instruction code of the waveform is stored in the instruction code temporary storage unit 305 in the storage location of the corresponding instruction type.
Subsequently, the process proceeds to step S360, in which it is determined whether or not all the instruction codes corresponding to the instruction types are stored in the instruction code temporary storage unit 305. If not, the process proceeds to step S310. It returns to the voice input waiting state again. On the other hand, if all the codes have been stored, the process proceeds to step S370, where the display of the spatial data corresponding to the stored instruction code and the instruction amount corresponding to the instruction amount storage unit 306 is performed. Update of.
[0061]
For example, assuming that the experience person M inputs voices of “before”, “slowly”, “slightly”, and “do”, steps S310 to S360 are repeated, and the instruction code temporary storage unit 305 stores As shown in FIG. 28, the instruction code is stored, and all the codes are stored in this state. Therefore, the goggle type stereoscopic display device 101 displays "before the speed v1. , Distance m1 "is displayed.
[0062]
As described above, according to the simulated experience apparatus of the third embodiment, the experienced person can perform the simulated experience without moving around, for example, while sitting on a chair.
[0063]
【The invention's effect】
that's all,BookAccording to the inventionThe firstAccording to the simulated experience device, when the line of sight of the user is directed in the body direction of the virtual subject, the shape data of the virtual subject simulating the body shape of the user is superimposed on the spatial data to be displayed on the stereoscopic display device. DisplayedAlso, when the user's line of sight is directed to the body direction of the virtual subject while moving, a series of moving operation data is displayed on the stereoscopic display device so as to be superimposed on the spatial data.So you can get a higher visual immersionYou.
[0065]
Also,BookAccording to the inventionThe second and thirdAccording to the simulated experience device, when the position of a part of the body of the user and the position of the surface of the virtual object match, the reproduced sound data generated from the dry source corresponding to the matched virtual object is converted into sound. And output to the sound field reproducing device, so that a higher auditory immersion can be obtained.
[0066]
Also,BookAccording to the inventionThe fourth and fifth aboveAccording to the simulated experience device, the reproduced sound data generated from the sound input from the sound input means is converted into sound and output to the sound field reproducing device, so that a higher auditory immersive feeling can be obtained.You.
[Brief description of the drawings]
FIG. 1 is a diagram illustrating an overall configuration of a simulation experience apparatus according to a first embodiment.
FIG. 2 is a diagram showing a subject selection menu in the first embodiment.
FIG. 3 is a diagram showing an external shape of a hand-held input device in the first and second embodiments.
FIG. 4 is a diagram showing the contents of a main body static shape data storage unit in the first embodiment.
FIG. 5 is a diagram showing the contents of a main motion shape data storage unit in the first embodiment.
FIG. 6 is a diagram showing the contents of a main shape temporary storage unit in the first embodiment.
FIG. 7 is a flowchart illustrating a processing procedure of the present apparatus in the first embodiment.
FIG. 8 is a diagram illustrating the contents of a storage state of a temporary shape storage unit according to the first embodiment.
FIG. 9 is a diagram showing an example of a screen display of the goggle type stereoscopic display device in the first embodiment.
FIG. 10 is a diagram showing an example of a screen display of the goggle type stereoscopic display device in the first embodiment.
FIG. 11 is a diagram showing an example of a screen display of the goggle type stereoscopic display device in the first embodiment.
FIG. 12 is a diagram illustrating an overall configuration of a simulation experience apparatus according to a second embodiment.
FIG. 13 is a diagram showing a sound source selection menu in the second embodiment.
FIG. 14 is a diagram showing the contents of a contact area storage unit in the second embodiment.
FIG. 15 is a diagram showing the contents of an impact sound dry source storage unit in the second embodiment.
FIG. 16 is a diagram showing contents of a continuous sound band response storage area in the second embodiment.
FIG. 17 is a diagram showing the contents of an impact sound band response storage area in the second embodiment.
FIG. 18 is a diagram showing the contents of a band response storage area for a user's voice in the second embodiment.
FIG. 19 is a flowchart showing a processing procedure of the present apparatus in the second embodiment.
FIG. 20 is a flowchart illustrating a processing procedure of the present apparatus in the second embodiment.
FIG. 21 is a flowchart illustrating a processing procedure of the present apparatus in the second embodiment.
FIG. 22 is a flowchart illustrating a processing procedure of the present apparatus in the second embodiment.
FIG. 23 is a diagram illustrating an overall configuration of a simulation experience apparatus according to a third embodiment.
FIG. 24 is a diagram showing the contents of a reference voice pattern storage section 304 in the third embodiment.
FIG. 25 is a diagram showing the contents of an instruction code temporary storage unit 305 in the third embodiment.
FIG. 26 is a diagram showing the contents of an indicated amount storage unit 306 in the third embodiment.
FIG. 27 is a flowchart showing a processing procedure of the present apparatus in the third embodiment.
FIG. 28 is a diagram illustrating an example of a storage state of an instruction code temporary storage unit 305 according to the third embodiment.
[Explanation of symbols]
107 Spatial data storage
108 Main static shape data storage unit
109 Main operation shape data storage unit
110 Temporary shape storage unit
210 Contact area storage
211 Continuous sound source device
212 Impact sound dry source storage unit
214 Band response storage
215 Head related transfer function storage
303 Input voice pattern temporary storage unit
304 Reference voice pattern storage unit

Claims

A three-dimensional display device attached to the head of the experience person and used,
Space data storage means for storing three-dimensional data of a virtual space to be displayed by the three-dimensional display device;
First detection means for detecting the position and orientation of the experience person's head;
Experience's viewpoint position predetermined space de on the basis of the determined from the detection result - a first table示制control means for displaying on the select data display device,
Main body shape data storage means for storing virtual main body shape data imitating the body shape of the experienced person;
When the line of sight of the user is directed in the body direction of the virtual subject in accordance with the detection result of the detecting means, the subject shape data is read out from the subject shape data storage means, and is superimposed on the spatial data to be superimposed on the spatial display device. and a second table示制control means for displaying Te,
The main shape data storage means stores a series of moving operation data that changes with the moving operation for each type of shape data.
The simulated experience device further includes:
Speed detecting means for detecting a moving speed of the experience person in the space;
According to the detection result of the detecting means, when the gaze of the user is directed toward the body of the virtual subject, the moving operation data is sequentially transmitted to the space according to the moving speed of the user detected by the speed detecting means. Third display control means for superimposing the data and displaying the data on the stereoscopic display device;
Pseudo experience apparatus comprising: a.

The simulated experience device further includes:
A sound field playback device attached to the head of the experience person and used,
Generating means for generating reproduced sound data when an arbitrary position and sound source position a predetermined position on the surface of the virtual object that Sons behind the display target space was sound receiving point,
Second detection means for detecting the position of a part of the body of the user,
By viewer moves in the virtual space, a position de detected by the second detecting means - data and position data of the virtual object - when the data and matches, from the detection result of the first detecting means determined viewer of playback sound de corresponding to the position of the head - to generate data, the reproduced sound de - the data to claim 1, characterized in that for converting the voice into the sound field reproducing apparatus The simulated experience device described.

  The simulated experience device further includes:
  A sound field playback device attached to the head of the experience person and used,
  Convolving a band-pass filter for each frequency band with the eco-time pattern for each frequency band when a predetermined position on the surface of the virtual object in the background of the display target space is a sound source position and an arbitrary position is a sound receiving point. Band response storage means for storing a response for each frequency band obtained by
  Head-related transfer function storage means for storing a head-related transfer function,
  Dry source storage means for storing a plurality of dry sources corresponding to the virtual object, the sound data being anechoic sound data;
  Second detection means for detecting the position of a part of the body of the user,
  When the position data detected by the second detecting means coincides with the position data of the virtual object by moving the user in the virtual space, the position data is determined from the detection result of the first detecting means. By convolving the dry source corresponding to the virtual object whose position data coincides with the band response corresponding to the position of the head of the user and the head-related transfer function, the response for each frequency band is calculated. Generating reproduced sound data by synthesizing the response for each frequency band over the entire frequency band, converting the reproduced sound data into sound, and outputting the sound to the sound field reproducing device;
  The simulated experience device according to claim 1, wherein:

The simulated experience device further includes:
A sound field playback device attached to the head of the experience person and used,
Voice input means for inputting voice near the mouth of the user,
In the space, generating means for generating reproduction sound data when the mouth of the user is a sound source position and the vicinity of both ears of the user is a sound receiving point,
The first playback sound de corresponding to the position of the viewer's head determined from the detection result of the detecting means - to generate data, the reproduced sound de - converts the data into voice to the sound field reproduction apparatus The simulated experience device according to claim 1, wherein:

  The simulated experience device further includes:
  A sound field playback device attached to the head of the experience person and used,
  Voice input means for inputting voice near the mouth of the user,
  By convolving the band-pass filter for each frequency band with the eco-time pattern for each frequency band when the mouth of the user is a sound source position and the vicinity of both ears of the user is a sound receiving point in the space, A band response storage unit that stores the obtained response for each frequency band, and a head-related transfer function storage unit that stores a head-related transfer function,
  Calculate the response for each frequency band by convolving the voice input from the voice input means and the head-related transfer function with the band response corresponding to the position of the head of the user determined from the detection result of the first detection means. Generating reproduced sound data by synthesizing the response for each frequency band over the entire frequency band, converting the reproduced sound data into sound, and outputting the sound to the sound field reproducing device.
  The simulated experience device according to claim 1, wherein: