JP2550832C - - Google Patents
Info
- Publication number
- JP2550832C JP2550832C JP2550832C JP 2550832 C JP2550832 C JP 2550832C JP 2550832 C JP2550832 C JP 2550832C
- Authority
- JP
- Japan
- Prior art keywords
- viewer
- image
- sound image
- virtual space
- sound
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
- 238000003702 image correction Methods 0.000 claims description 19
- 238000001514 detection method Methods 0.000 claims description 17
- 230000000007 visual effect Effects 0.000 claims description 2
- 238000007689 inspection Methods 0.000 claims 1
- 230000005236 sound signal Effects 0.000 description 16
- 210000000613 Ear Canal Anatomy 0.000 description 13
- 238000006073 displacement reaction Methods 0.000 description 8
- 239000011521 glass Substances 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 238000005259 measurement Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 230000002708 enhancing Effects 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000006011 modification reaction Methods 0.000 description 1
Description
【発明の詳細な説明】
【０００１】
【産業上の利用分野】
本発明は、生成した画像と音像を与えることにより視聴者に対して仮想空間に
おける現実感を与える仮想現実感生成装置に関する。 【０００２】 【従来の技術】 近年、ゲーム装置の分野において遊戯者に対して仮想的な現実感を与える試み
が盛んに行われている。ゲームの画像表示についてはコンピュータグラフィック
ス技術の発達によりあらゆる方向からの画像表示が可能になってきているが、ゲ
ームの効果音については単に効果音をモノラル音声で発するものが多く、現実感
を高めようとしても、せいぜいステレオ音声を用いるものしかなかった。ステレ
オ音声を用いた場合でも両スピーカの中央で聞くことを前提としており、任意の
位置に音像を定位させることができなかった。 【０００３】 【発明が解決しようとする課題】 このため、従来は、現実感ある効果音を発することができず、遊戯者に対して
仮想的な現実感を十分に与えることができなかった。特に遊戯者が動いた場合に
はその動きに応じて画像や音像の位置がずれてしまい、仮想的な現実感を得るこ
とができなかった。 【０００４】 本発明の目的は、遊戯者が動いた場合でも遊戯者に対して仮想的な現実感を与
えることができる仮想現実感生成装置を提供することにある。 【０００５】 【課題を解決するための手段】 上記目的は、視聴者の視覚に対して仮想空間における画像を生成する画像生成
手段と、前記視聴者の聴覚に対して前記仮想空間における音像を生成する音像生
成手段とを有し、前記画像生成手段からの画像と前記音像生成手段からの音像に
より前記視聴者に対して前記仮想空間における現実感を与える仮想現実感生成装
置において、前記視聴者に設けられ地磁気を検出する磁気方位センサを有し、前
記視聴者の向いている方向を検出する方位検出手段と、前記視聴者に設けられ光
を出射する光出射手段と、前記光出射手段から出射された光を検出する光検出手
段とを有し、前記視聴者の位置を検出する位置検出手段と、前記方位検出手段か
らの方位角信号と前記位置検出手段からの位置信号により前記視聴者の動きを検
出する視聴者検出手段と、前記仮想空間における画像の位置を変化させないよう
に、前記視聴者検出手段により検出された前記視聴者の動きに基づいて前記画像
生成手段により生成された画像を補正する画像補正手段と、前記仮想空間におけ
る音像の位置を変化させないように、前記視聴者検出手段により検出された前記
視聴者の動きに基づいて前記音像生成手段により生成された音像を補正する音像
補正手段とを有し、前記視聴者が動いても、前記仮想空間における画像及び音像
の位置が変化しないように定位させることを特徴とする仮想現実感生成装置によ
って達成される。 また、上述した仮想現実感生成装置において、前記音像生成手段は、前記音像
補正手段により補正された前記仮想空間における音像を前記視聴者の聴覚に対し
て２チャンネルで与えることが望ましい。 また、上述した仮想現実感生成装置において、前記音像生成手段は、前記視聴
者に装着され、前記音像補正手段により補正された前記仮想空間における音像を
前記視聴者の聴覚に対して与えるヘッドフォンであることが望ましい。 また、上述した仮想現実感生成装置において、前記音像生成手段は、前記視聴
者の前方に配置され、前記音像補正手段により補正された前記仮想空間における
音像を前記視聴者の聴覚に対して与えるスピーカであることが望ましい。 【０００６】 【作用】 本発明によれば、視聴者の視覚に対して仮想空間における画像を生成する画像
生成手段と、前記視聴者の聴覚に対して前記仮想空間における音像を生成する音
像生成手段とを有し、前記画像生成手段からの画像と前記音像生成手段からの音
像により前記視聴者に対して前記仮想空間における現実感を与える仮想現実感生
成装置において、前記視聴者に設けられ地磁気を検出する磁気方位センサを有し
、前記視聴者の向いている方向を検出する方位検出手段と、前記視聴者に設けら
れ光を出射する光出射手段と、前記光出射手段から出射された光を検出する光検
出手段とを有し、前記視聴者の位置を検出する位置検出手段と、前記方位検出手
段からの方位角信号と前記位置検出手段からの位置信号により前記視聴者の動き
を検出する視聴者検出手段と、前記仮想空間における画像の位置を変化させない
ように、前記視聴者検出手段により検出された前記視聴者の動きに基づいて前記
画像生成手段により生成された画像を補正する画像補正手段と、前記仮想空間に
おける音像の位置を変化させないように、前記視聴者検出手段により検出された
前記視聴者の動きに基づいて前記音像生成手段により生成された音像を補正する
音像補正手段とを有するので、方位検出手段の磁気方位センサからの方位角信号
と位置検出手段の光検出手段から位置信号に基づき、視聴者検出手段により視聴
者の動きを検出し、仮想空間における画像の位置を変化させないように、画像補
正手段により視聴者の動きに基づいて画像を補正すると共に、仮想空間における
音像の位置を変化させないように、音像補正手段により視聴者の動きに基づいて
音像を補正することにより、視聴者が動いても、仮想空間における画像及び音像
の位置が変化しないように定位させる。 また、上述した仮想現実感生成装置において、前記音像生成手段は、前記音像
補正手段により補正された前記仮想空間における音像を前記視聴者の聴覚に対し
て２チャンネルで与えるようにすれば、簡単な構成により仮想空間における補正
された正確な音像を視聴者に与えることができる。 また、上述した仮想現実感生成装置において、前記音像生成手段が、前記視聴
者に装着され、前記音像補正手段により補正された前記仮想空間における音像を
前記視聴者の聴覚に対して与えるヘッドフォンであれば、ヘッドフォンにより仮 想空間における補正された正確な音像を視聴者に与えることができる。 また、上述した仮想現実感生成装置において、前記音像生成手段が、前記視聴
者の前方に配置され、前記音像補正手段により補正された前記仮想空間における
音像を前記視聴者の聴覚に対して与えるスピーカであれば、スピーカにより仮想
空間における補正された正確な音像を視聴者に与えることができる。 【０００７】 【実施例】 本発明の第１の実施例による仮想現実感生成装置を図１乃至図３を用いて説明
する。 本実施例の仮想現実感生成装置では遊戯者がヘッドマウントディスプレイを装
着する。遊戯者がヘッドマウントディスプレイを装着した状態の側面図を図１に
示し、上面図を図２に示す。 【０００８】 図１に示すように、ゲーム装置の遊戯者である視聴者はヘッドマウントディス
プレイ１０を装着する。ヘッドマウントディスプレイ１０の前面には、遊戯者の
視覚に対して画像情報を与えるための画像表示用メガネ１２が設けられている。
また、ヘッドマウントディスプレイ１０の左右両側面には、遊戯者の聴覚に対し
て音像情報を与えるためのヘッドフォン１４が設けられている。 【０００９】 ヘッドマウントディスプレイ１０の天面には、遊戯者の向いている方向を検出
するために磁気方位センサ１６（例えば、ＴＭＣ−２０００（株式会社トーキン
））が設けられている。この磁気方位センサ１６は、地磁気を検出することによ
り方位角を求めるものである。 また、ヘッドマウントディスプレイ１０の上面には、遊戯者の位置を検出する
ために赤外ＬＥＤ１８が設けられている。赤外ＬＥＤ１８からの赤外光はレンズ
２０を介して位置センサ２２（例えば、ＰＳＤ（浜松ホトニクス株式会社製））
により検出される。位置センサ２２はレンズ２０を介して入力された赤外ＬＥＤ
１８のスポット光の位置から、ヘッドマウントディスプレイ１０を装着した遊戯
者の位置を検出する。 【００１０】 本実施例の仮想現実感生成装置のブロック図を図３に示す。 磁気方位センサ１６と位置センサ２２は位置ずれ算出部３０に接続されている
。位置ずれ算出部３０は磁気方位センサ１６からの方位角信号と位置センサ２２
からの位置信号により、遊戯者の基準位置からの位置ずれと基準方位からのずれ
角を算出する。 【００１１】 画像生成部３２は、画像データメモリ３４に格納された画像データから選択さ
れた画像データに基づいて、図２に示すように、遊戯者が基準位置に位置し、基
準方向を向いている状態で遊戯者に対して与えるべき基準画像を生成する。画像
生成部３２により生成された基準画像は、画像補正部３６に出力される。 画像補正部３６は、画像生成部３２により生成された基準画像を、位置ずれ算
出部３０により算出された位置ずれ信号とずれ角信号に基づいて、仮想空間にお
ける画像の位置を変化させないように補正する。 【００１２】 画像補正部３６により補正された画像は、ヘッドマウントディスプレイ１０に
設けられた画像表示用メガネ１２により遊戯者の視覚に対して与えられる。 音像生成部３８は、音像データメモリ４０に格納された音像データから選択さ
れた音像データに基づいて、図２に示すように、遊戯者が基準位置に位置し、基
準方向を向いている状態で遊戯者に対して与えるべき基準音像を生成する。音像
生成部３８により生成された基準音像は、ＨL補正部４２とＨR補正部４４に出力
される。 【００１３】 図２に示すように、伝達関数ＨLは音源Ｏから遊戯者の左耳外耳道入口近傍ま
での伝達関数であり、伝達関数ＨRは音源Ｏから遊戯者の右耳外耳道入口近傍ま
での伝達関数である。なお、伝達関数ＨL、ＨRは実験的に測定することにより求
めたものである。 遊戯者の左耳外耳道入口近傍での音声信号をＥL、右耳外耳道入口近傍での音
声信号をＥRとすると、音声信号ＥL、ＥRは次式 ＥL＝Ｏ・ＨL ＥR＝Ｏ・ＨR のようになる。 【００１４】 ＨL補正部４２は、音像生成部３８により生成された基準音像を、位置ずれ算
出部３０により算出された位置ずれ信号とずれ角信号に基づいて、仮想空間にお
ける音像の位置を変化させないように伝達関数ＨLを補正する。 同様に、ＨR補正部４４は、音像生成部３８により生成された基準音像を、位
置ずれ算出部３０により算出された位置ずれ信号とずれ角信号に基づいて、仮想
空間における音像の位置を変化させないように伝達関数ＨRを補正する。 【００１５】 なお、どの程度の位置ずれに対して伝達関数ＨL、ＨRをどの程度補正するかは
実験的に測定することにより求めた。 ＨL補正部４２及びＨR補正部４４により補正された音像は、ヘッドマウントデ
ィスプレイ１０に設けられたヘッドフォン１４により遊戯者の聴覚に対して与え
られる。 【００１６】 このように本実施例によれば、遊戯者が位置や方位を変えても、その変化に応
じて画像信号や音像信号を変化させ、仮想空間における画像及び音像の位置が変
化しないように定位させることができる。 本発明の第２の実施例による仮想現実感生成装置を図４乃至図６を用いて説明
する。図１乃至図３に示す仮想現実感生成装置と同一の構成要素には同一の符号
を付して説明を省略又は簡略にする。 【００１７】 本実施例の仮想現実感生成装置において遊戯者が装着するヘッドマウントディ
スプレイ１０は、図４に示すように、前面に画像表示用メガネ１２が設けられて
いるが、左右両側面には第１の実施例のようなヘッドフォン１４が設けられてい
ない。音像情報は、図５に示すように、遊戯者の前方に設けられた２つのスピー
カ５０、５２により与えられる。 【００１８】 本実施例の仮想現実感生成装置のブロック図を図６に示す。 第１の実施例と同様に、磁気方位センサ１６からの方位角信号と位置センサ２
２からの位置信号により位置ずれ算出部３０は遊戯者の基準位置からの位置ずれ
と基準方位からのずれ角を算出する。 第１の実施例と同様に、画像生成部３２は、画像データメモリ３４に格納され
た画像データから基準画像を生成し、画像補正部３６は、画像生成部３２により
生成された基準画像を、位置ずれ算出部３０により算出された位置ずれ信号とず
れ角信号に基づいて、仮想空間における画像の位置を変化させないように補正す
る。画像補正部３６により補正された画像は、ヘッドマウントディスプレイ１０
に設けられた画像表示用メガネ１２により遊戯者の視覚に対して与えられる。 【００１９】 音像生成部３８は、音像データメモリ４０に格納された音像データから選択さ
れた音像データに基づいて、図５に示すように、遊戯者が基準位置に位置し、基
準方向を向いている状態で遊戯者に対して与えるべき基準音像を生成する。音像
生成部３８により生成された基準音像は、ＨL補正部４２とＨR補正部４４に出力
される。 【００２０】 本実施例ではスピーカ５０、５２からの音声信号により、遊戯者の左右外耳道
入口近傍において適切な音声信号が生ずるようにする。したがって、スピーカ５
０、５２からの遊戯者の左右外耳道入口近傍までの伝達関数を考慮する必要があ
る。 遊戯者の左耳外耳道入口近傍での音声信号をＥL、右耳外耳道入口近傍での音
声信号をＥRとすると、音声信号ＥL、ＥRは次式 ＥL＝Ｏ・ＨL ＥR＝Ｏ・ＨR のようになる。 【００２１】 左右のスピーカ５０、５２の音声信号をＳL、ＳRとし、左側のスピーカ５０ から遊戯者の左耳外耳道入口近傍までの伝達関数をＨLL、右側のスピーカ５２か
ら遊戯者の左耳外耳道入口近傍までの伝達関数をＨRL、左側のスピーカ５０から
遊戯者の右耳外耳道入口近傍までの伝達関数をＨLR、右側のスピーカ５２から遊
戯者の右耳外耳道入口近傍までの伝達関数をＨRRとすると、左右外耳道入口近傍
での音声信号ＥL、ＥRは次式 ＥL＝ＳL・ＨLL＋ＳR・ＨRL ＥR＝ＳL・ＨLR＋ＳR・ＨRR のようになる。 【００２２】 これらの式から、左右のスピーカ５０、５２の音声信号ＳL、ＳRを求めると、 ＳL＝（ＯＨLＨRR−ＯＨRＨRL）／（ＨLLＨRR−ＨLRＨRL） ＳR＝（ＯＨRＨLL−ＯＨLＨLR）／（ＨLLＨRR−ＨLRＨRL） となる。これらの式に基づいて、スピーカ音声信号演算部５４は音声信号ＳL、
ＳRを演算し、左右のスピーカ５０、５２から音声を発生させる。なお、伝達関
数ＨLL、ＨRL、ＨLR、ＨRRは実験的に測定することにより求めたものである。 【００２３】 ＨL補正部４２は、音像生成部３８により生成された基準音像を、位置ずれ算
出部３０により算出された位置ずれ信号とずれ角信号に基づいて、仮想空間にお
ける音像の位置を変化させないように伝達関数ＨLを補正する。同様に、ＨR補正
部４４は、音像生成部３８により生成された基準音像を、位置ずれ算出部３０に
より算出された位置ずれ信号とずれ角信号に基づいて、仮想空間における音像の
位置を変化させないように伝達関数ＨRを補正する。 【００２４】 本実施例では更に伝達関数ＨLL、ＨRL、ＨLR、ＨRRを、位置ずれ算出部３０に
より算出された位置ずれ信号とずれ角信号に基づいて補正する。 すなわち、ＨLL補正部５６は、位置ずれ算出部３０により算出された位置ずれ
信号とずれ角信号に基づいて、仮想空間における音像の位置を変化させないよう
に伝達関数ＨLLを補正する。 【００２５】 ＨLR補正部５８は、位置ずれ算出部３０により算出された位置ずれ信号とずれ
角信号に基づいて、仮想空間における音像の位置を変化させないように伝達関数
ＨLRを補正する。 ＨRL補正部６０は、位置ずれ算出部３０により算出された位置ずれ信号とずれ
角信号に基づいて、仮想空間における音像の位置を変化させないように伝達関数
ＨRLを補正する。 【００２６】 ＨRR補正部６０は、位置ずれ算出部３０により算出された位置ずれ信号とずれ
角信号に基づいて、仮想空間における音像の位置を変化させないように伝達関数
ＨRRを補正する。 なお、どの程度の位置ずれに対して伝達関数ＨL、ＨRをどの程度補正するかは
実験的に測定することにより求めた。 【００２７】 スピーカ音声信号演算部５４は、補正された伝達関数ＨL、ＨR、ＨLLＨRL、Ｈ
LR、ＨRRに基づいて、音声信号ＳL、ＳRを演算し、左右のスピーカ５０、５２か
ら音声を発生させる。 このように本実施例によれば、遊戯者が位置や方位を変えても、その変化に応
じて画像信号や音像信号を変化させ、仮想空間における画像及び音像の位置が変
化しないように定位させることができる。 【００２８】 本発明は上記実施例に限らず種々の変形が可能である。 例えば、上記実施例では磁気方位センサと位置センサにより遊戯者の向いてい
る方向と位置を検出するようにしたが、他の方法により遊戯者の動きを検出する
ようにしてもよい。 【００２９】 【発明の効果】 以上の通り、本発明によれば、視聴者の視覚に対して仮想空間における画像を
生成する画像生成手段と、前記視聴者の聴覚に対して前記仮想空間における音像
を生成する音像生成手段とを有し、前記画像生成手段からの画像と前記音像生成 手段からの音像により前記視聴者に対して前記仮想空間における現実感を与える
仮想現実感生成装置において、前記視聴者に設けられ地磁気を検出する磁気方位
センサを有し、前記視聴者の向いている方向を検出する方位検出手段と、前記視
聴者に設けられ光を出射する光出射手段と、前記光出射手段から出射された光を
検出する光検出手段とを有し、前記視聴者の位置を検出する位置検出手段と、前
記方位検出手段からの方位角信号と前記位置検出手段からの位置信号により前記
視聴者の動きを検出する視聴者検出手段と、前記仮想空間における画像の位置を
変化させないように、前記視聴者検出手段により検出された前記視聴者の動きに
基づいて前記画像生成手段により生成された画像を補正する画像補正手段と、前
記仮想空間における音像の位置を変化させないように、前記視聴者検出手段によ
り検出された前記視聴者の動きに基づいて前記音像生成手段により生成された音
像を補正する音像補正手段とを有するので、方位検出手段の磁気方位センサから
の方位角信号と位置検出手段の光検出手段から位置信号に基づき、視聴者検出手
段により視聴者の動きを検出し、仮想空間における画像の位置を変化させないよ
うに、画像補正手段により視聴者の動きに基づいて画像を補正すると共に、仮想
空間における音像の位置を変化させないように、音像補正手段により視聴者の動
きに基づいて音像を補正することにより、視聴者が動いても、仮想空間における
画像及び音像の位置が変化しないように定位させる。 また、上述した仮想現実感生成装置において、前記音像生成手段は、前記音像
補正手段により補正された前記仮想空間における音像を前記視聴者の聴覚に対し
て２チャンネルで与えるようにすれば、簡単な構成により仮想空間における補正
された正確な音像を視聴者に与えることができる。 また、上述した仮想現実感生成装置において、前記音像生成手段が、前記視聴
者に装着され、前記音像補正手段により補正された前記仮想空間における音像を
前記視聴者の聴覚に対して与えるヘッドフォンであれば、ヘッドフォンにより仮
想空間における補正された正確な音像を視聴者に与えることができる。 また、上述した仮想現実感生成装置において、前記音像生成手段が、前記視聴
者の前方に配置され、前記音像補正手段により補正された前記仮想空間における
音像を前記視聴者の聴覚に対して与えるスピーカであれば、スピーカにより仮想 空間における補正された正確な音像を視聴者に与えることができる。
おける現実感を与える仮想現実感生成装置に関する。 【０００２】 【従来の技術】 近年、ゲーム装置の分野において遊戯者に対して仮想的な現実感を与える試み
が盛んに行われている。ゲームの画像表示についてはコンピュータグラフィック
ス技術の発達によりあらゆる方向からの画像表示が可能になってきているが、ゲ
ームの効果音については単に効果音をモノラル音声で発するものが多く、現実感
を高めようとしても、せいぜいステレオ音声を用いるものしかなかった。ステレ
オ音声を用いた場合でも両スピーカの中央で聞くことを前提としており、任意の
位置に音像を定位させることができなかった。 【０００３】 【発明が解決しようとする課題】 このため、従来は、現実感ある効果音を発することができず、遊戯者に対して
仮想的な現実感を十分に与えることができなかった。特に遊戯者が動いた場合に
はその動きに応じて画像や音像の位置がずれてしまい、仮想的な現実感を得るこ
とができなかった。 【０００４】 本発明の目的は、遊戯者が動いた場合でも遊戯者に対して仮想的な現実感を与
えることができる仮想現実感生成装置を提供することにある。 【０００５】 【課題を解決するための手段】 上記目的は、視聴者の視覚に対して仮想空間における画像を生成する画像生成
手段と、前記視聴者の聴覚に対して前記仮想空間における音像を生成する音像生
成手段とを有し、前記画像生成手段からの画像と前記音像生成手段からの音像に
より前記視聴者に対して前記仮想空間における現実感を与える仮想現実感生成装
置において、前記視聴者に設けられ地磁気を検出する磁気方位センサを有し、前
記視聴者の向いている方向を検出する方位検出手段と、前記視聴者に設けられ光
を出射する光出射手段と、前記光出射手段から出射された光を検出する光検出手
段とを有し、前記視聴者の位置を検出する位置検出手段と、前記方位検出手段か
らの方位角信号と前記位置検出手段からの位置信号により前記視聴者の動きを検
出する視聴者検出手段と、前記仮想空間における画像の位置を変化させないよう
に、前記視聴者検出手段により検出された前記視聴者の動きに基づいて前記画像
生成手段により生成された画像を補正する画像補正手段と、前記仮想空間におけ
る音像の位置を変化させないように、前記視聴者検出手段により検出された前記
視聴者の動きに基づいて前記音像生成手段により生成された音像を補正する音像
補正手段とを有し、前記視聴者が動いても、前記仮想空間における画像及び音像
の位置が変化しないように定位させることを特徴とする仮想現実感生成装置によ
って達成される。 また、上述した仮想現実感生成装置において、前記音像生成手段は、前記音像
補正手段により補正された前記仮想空間における音像を前記視聴者の聴覚に対し
て２チャンネルで与えることが望ましい。 また、上述した仮想現実感生成装置において、前記音像生成手段は、前記視聴
者に装着され、前記音像補正手段により補正された前記仮想空間における音像を
前記視聴者の聴覚に対して与えるヘッドフォンであることが望ましい。 また、上述した仮想現実感生成装置において、前記音像生成手段は、前記視聴
者の前方に配置され、前記音像補正手段により補正された前記仮想空間における
音像を前記視聴者の聴覚に対して与えるスピーカであることが望ましい。 【０００６】 【作用】 本発明によれば、視聴者の視覚に対して仮想空間における画像を生成する画像
生成手段と、前記視聴者の聴覚に対して前記仮想空間における音像を生成する音
像生成手段とを有し、前記画像生成手段からの画像と前記音像生成手段からの音
像により前記視聴者に対して前記仮想空間における現実感を与える仮想現実感生
成装置において、前記視聴者に設けられ地磁気を検出する磁気方位センサを有し
、前記視聴者の向いている方向を検出する方位検出手段と、前記視聴者に設けら
れ光を出射する光出射手段と、前記光出射手段から出射された光を検出する光検
出手段とを有し、前記視聴者の位置を検出する位置検出手段と、前記方位検出手
段からの方位角信号と前記位置検出手段からの位置信号により前記視聴者の動き
を検出する視聴者検出手段と、前記仮想空間における画像の位置を変化させない
ように、前記視聴者検出手段により検出された前記視聴者の動きに基づいて前記
画像生成手段により生成された画像を補正する画像補正手段と、前記仮想空間に
おける音像の位置を変化させないように、前記視聴者検出手段により検出された
前記視聴者の動きに基づいて前記音像生成手段により生成された音像を補正する
音像補正手段とを有するので、方位検出手段の磁気方位センサからの方位角信号
と位置検出手段の光検出手段から位置信号に基づき、視聴者検出手段により視聴
者の動きを検出し、仮想空間における画像の位置を変化させないように、画像補
正手段により視聴者の動きに基づいて画像を補正すると共に、仮想空間における
音像の位置を変化させないように、音像補正手段により視聴者の動きに基づいて
音像を補正することにより、視聴者が動いても、仮想空間における画像及び音像
の位置が変化しないように定位させる。 また、上述した仮想現実感生成装置において、前記音像生成手段は、前記音像
補正手段により補正された前記仮想空間における音像を前記視聴者の聴覚に対し
て２チャンネルで与えるようにすれば、簡単な構成により仮想空間における補正
された正確な音像を視聴者に与えることができる。 また、上述した仮想現実感生成装置において、前記音像生成手段が、前記視聴
者に装着され、前記音像補正手段により補正された前記仮想空間における音像を
前記視聴者の聴覚に対して与えるヘッドフォンであれば、ヘッドフォンにより仮 想空間における補正された正確な音像を視聴者に与えることができる。 また、上述した仮想現実感生成装置において、前記音像生成手段が、前記視聴
者の前方に配置され、前記音像補正手段により補正された前記仮想空間における
音像を前記視聴者の聴覚に対して与えるスピーカであれば、スピーカにより仮想
空間における補正された正確な音像を視聴者に与えることができる。 【０００７】 【実施例】 本発明の第１の実施例による仮想現実感生成装置を図１乃至図３を用いて説明
する。 本実施例の仮想現実感生成装置では遊戯者がヘッドマウントディスプレイを装
着する。遊戯者がヘッドマウントディスプレイを装着した状態の側面図を図１に
示し、上面図を図２に示す。 【０００８】 図１に示すように、ゲーム装置の遊戯者である視聴者はヘッドマウントディス
プレイ１０を装着する。ヘッドマウントディスプレイ１０の前面には、遊戯者の
視覚に対して画像情報を与えるための画像表示用メガネ１２が設けられている。
また、ヘッドマウントディスプレイ１０の左右両側面には、遊戯者の聴覚に対し
て音像情報を与えるためのヘッドフォン１４が設けられている。 【０００９】 ヘッドマウントディスプレイ１０の天面には、遊戯者の向いている方向を検出
するために磁気方位センサ１６（例えば、ＴＭＣ−２０００（株式会社トーキン
））が設けられている。この磁気方位センサ１６は、地磁気を検出することによ
り方位角を求めるものである。 また、ヘッドマウントディスプレイ１０の上面には、遊戯者の位置を検出する
ために赤外ＬＥＤ１８が設けられている。赤外ＬＥＤ１８からの赤外光はレンズ
２０を介して位置センサ２２（例えば、ＰＳＤ（浜松ホトニクス株式会社製））
により検出される。位置センサ２２はレンズ２０を介して入力された赤外ＬＥＤ
１８のスポット光の位置から、ヘッドマウントディスプレイ１０を装着した遊戯
者の位置を検出する。 【００１０】 本実施例の仮想現実感生成装置のブロック図を図３に示す。 磁気方位センサ１６と位置センサ２２は位置ずれ算出部３０に接続されている
。位置ずれ算出部３０は磁気方位センサ１６からの方位角信号と位置センサ２２
からの位置信号により、遊戯者の基準位置からの位置ずれと基準方位からのずれ
角を算出する。 【００１１】 画像生成部３２は、画像データメモリ３４に格納された画像データから選択さ
れた画像データに基づいて、図２に示すように、遊戯者が基準位置に位置し、基
準方向を向いている状態で遊戯者に対して与えるべき基準画像を生成する。画像
生成部３２により生成された基準画像は、画像補正部３６に出力される。 画像補正部３６は、画像生成部３２により生成された基準画像を、位置ずれ算
出部３０により算出された位置ずれ信号とずれ角信号に基づいて、仮想空間にお
ける画像の位置を変化させないように補正する。 【００１２】 画像補正部３６により補正された画像は、ヘッドマウントディスプレイ１０に
設けられた画像表示用メガネ１２により遊戯者の視覚に対して与えられる。 音像生成部３８は、音像データメモリ４０に格納された音像データから選択さ
れた音像データに基づいて、図２に示すように、遊戯者が基準位置に位置し、基
準方向を向いている状態で遊戯者に対して与えるべき基準音像を生成する。音像
生成部３８により生成された基準音像は、ＨL補正部４２とＨR補正部４４に出力
される。 【００１３】 図２に示すように、伝達関数ＨLは音源Ｏから遊戯者の左耳外耳道入口近傍ま
での伝達関数であり、伝達関数ＨRは音源Ｏから遊戯者の右耳外耳道入口近傍ま
での伝達関数である。なお、伝達関数ＨL、ＨRは実験的に測定することにより求
めたものである。 遊戯者の左耳外耳道入口近傍での音声信号をＥL、右耳外耳道入口近傍での音
声信号をＥRとすると、音声信号ＥL、ＥRは次式 ＥL＝Ｏ・ＨL ＥR＝Ｏ・ＨR のようになる。 【００１４】 ＨL補正部４２は、音像生成部３８により生成された基準音像を、位置ずれ算
出部３０により算出された位置ずれ信号とずれ角信号に基づいて、仮想空間にお
ける音像の位置を変化させないように伝達関数ＨLを補正する。 同様に、ＨR補正部４４は、音像生成部３８により生成された基準音像を、位
置ずれ算出部３０により算出された位置ずれ信号とずれ角信号に基づいて、仮想
空間における音像の位置を変化させないように伝達関数ＨRを補正する。 【００１５】 なお、どの程度の位置ずれに対して伝達関数ＨL、ＨRをどの程度補正するかは
実験的に測定することにより求めた。 ＨL補正部４２及びＨR補正部４４により補正された音像は、ヘッドマウントデ
ィスプレイ１０に設けられたヘッドフォン１４により遊戯者の聴覚に対して与え
られる。 【００１６】 このように本実施例によれば、遊戯者が位置や方位を変えても、その変化に応
じて画像信号や音像信号を変化させ、仮想空間における画像及び音像の位置が変
化しないように定位させることができる。 本発明の第２の実施例による仮想現実感生成装置を図４乃至図６を用いて説明
する。図１乃至図３に示す仮想現実感生成装置と同一の構成要素には同一の符号
を付して説明を省略又は簡略にする。 【００１７】 本実施例の仮想現実感生成装置において遊戯者が装着するヘッドマウントディ
スプレイ１０は、図４に示すように、前面に画像表示用メガネ１２が設けられて
いるが、左右両側面には第１の実施例のようなヘッドフォン１４が設けられてい
ない。音像情報は、図５に示すように、遊戯者の前方に設けられた２つのスピー
カ５０、５２により与えられる。 【００１８】 本実施例の仮想現実感生成装置のブロック図を図６に示す。 第１の実施例と同様に、磁気方位センサ１６からの方位角信号と位置センサ２
２からの位置信号により位置ずれ算出部３０は遊戯者の基準位置からの位置ずれ
と基準方位からのずれ角を算出する。 第１の実施例と同様に、画像生成部３２は、画像データメモリ３４に格納され
た画像データから基準画像を生成し、画像補正部３６は、画像生成部３２により
生成された基準画像を、位置ずれ算出部３０により算出された位置ずれ信号とず
れ角信号に基づいて、仮想空間における画像の位置を変化させないように補正す
る。画像補正部３６により補正された画像は、ヘッドマウントディスプレイ１０
に設けられた画像表示用メガネ１２により遊戯者の視覚に対して与えられる。 【００１９】 音像生成部３８は、音像データメモリ４０に格納された音像データから選択さ
れた音像データに基づいて、図５に示すように、遊戯者が基準位置に位置し、基
準方向を向いている状態で遊戯者に対して与えるべき基準音像を生成する。音像
生成部３８により生成された基準音像は、ＨL補正部４２とＨR補正部４４に出力
される。 【００２０】 本実施例ではスピーカ５０、５２からの音声信号により、遊戯者の左右外耳道
入口近傍において適切な音声信号が生ずるようにする。したがって、スピーカ５
０、５２からの遊戯者の左右外耳道入口近傍までの伝達関数を考慮する必要があ
る。 遊戯者の左耳外耳道入口近傍での音声信号をＥL、右耳外耳道入口近傍での音
声信号をＥRとすると、音声信号ＥL、ＥRは次式 ＥL＝Ｏ・ＨL ＥR＝Ｏ・ＨR のようになる。 【００２１】 左右のスピーカ５０、５２の音声信号をＳL、ＳRとし、左側のスピーカ５０ から遊戯者の左耳外耳道入口近傍までの伝達関数をＨLL、右側のスピーカ５２か
ら遊戯者の左耳外耳道入口近傍までの伝達関数をＨRL、左側のスピーカ５０から
遊戯者の右耳外耳道入口近傍までの伝達関数をＨLR、右側のスピーカ５２から遊
戯者の右耳外耳道入口近傍までの伝達関数をＨRRとすると、左右外耳道入口近傍
での音声信号ＥL、ＥRは次式 ＥL＝ＳL・ＨLL＋ＳR・ＨRL ＥR＝ＳL・ＨLR＋ＳR・ＨRR のようになる。 【００２２】 これらの式から、左右のスピーカ５０、５２の音声信号ＳL、ＳRを求めると、 ＳL＝（ＯＨLＨRR−ＯＨRＨRL）／（ＨLLＨRR−ＨLRＨRL） ＳR＝（ＯＨRＨLL−ＯＨLＨLR）／（ＨLLＨRR−ＨLRＨRL） となる。これらの式に基づいて、スピーカ音声信号演算部５４は音声信号ＳL、
ＳRを演算し、左右のスピーカ５０、５２から音声を発生させる。なお、伝達関
数ＨLL、ＨRL、ＨLR、ＨRRは実験的に測定することにより求めたものである。 【００２３】 ＨL補正部４２は、音像生成部３８により生成された基準音像を、位置ずれ算
出部３０により算出された位置ずれ信号とずれ角信号に基づいて、仮想空間にお
ける音像の位置を変化させないように伝達関数ＨLを補正する。同様に、ＨR補正
部４４は、音像生成部３８により生成された基準音像を、位置ずれ算出部３０に
より算出された位置ずれ信号とずれ角信号に基づいて、仮想空間における音像の
位置を変化させないように伝達関数ＨRを補正する。 【００２４】 本実施例では更に伝達関数ＨLL、ＨRL、ＨLR、ＨRRを、位置ずれ算出部３０に
より算出された位置ずれ信号とずれ角信号に基づいて補正する。 すなわち、ＨLL補正部５６は、位置ずれ算出部３０により算出された位置ずれ
信号とずれ角信号に基づいて、仮想空間における音像の位置を変化させないよう
に伝達関数ＨLLを補正する。 【００２５】 ＨLR補正部５８は、位置ずれ算出部３０により算出された位置ずれ信号とずれ
角信号に基づいて、仮想空間における音像の位置を変化させないように伝達関数
ＨLRを補正する。 ＨRL補正部６０は、位置ずれ算出部３０により算出された位置ずれ信号とずれ
角信号に基づいて、仮想空間における音像の位置を変化させないように伝達関数
ＨRLを補正する。 【００２６】 ＨRR補正部６０は、位置ずれ算出部３０により算出された位置ずれ信号とずれ
角信号に基づいて、仮想空間における音像の位置を変化させないように伝達関数
ＨRRを補正する。 なお、どの程度の位置ずれに対して伝達関数ＨL、ＨRをどの程度補正するかは
実験的に測定することにより求めた。 【００２７】 スピーカ音声信号演算部５４は、補正された伝達関数ＨL、ＨR、ＨLLＨRL、Ｈ
LR、ＨRRに基づいて、音声信号ＳL、ＳRを演算し、左右のスピーカ５０、５２か
ら音声を発生させる。 このように本実施例によれば、遊戯者が位置や方位を変えても、その変化に応
じて画像信号や音像信号を変化させ、仮想空間における画像及び音像の位置が変
化しないように定位させることができる。 【００２８】 本発明は上記実施例に限らず種々の変形が可能である。 例えば、上記実施例では磁気方位センサと位置センサにより遊戯者の向いてい
る方向と位置を検出するようにしたが、他の方法により遊戯者の動きを検出する
ようにしてもよい。 【００２９】 【発明の効果】 以上の通り、本発明によれば、視聴者の視覚に対して仮想空間における画像を
生成する画像生成手段と、前記視聴者の聴覚に対して前記仮想空間における音像
を生成する音像生成手段とを有し、前記画像生成手段からの画像と前記音像生成 手段からの音像により前記視聴者に対して前記仮想空間における現実感を与える
仮想現実感生成装置において、前記視聴者に設けられ地磁気を検出する磁気方位
センサを有し、前記視聴者の向いている方向を検出する方位検出手段と、前記視
聴者に設けられ光を出射する光出射手段と、前記光出射手段から出射された光を
検出する光検出手段とを有し、前記視聴者の位置を検出する位置検出手段と、前
記方位検出手段からの方位角信号と前記位置検出手段からの位置信号により前記
視聴者の動きを検出する視聴者検出手段と、前記仮想空間における画像の位置を
変化させないように、前記視聴者検出手段により検出された前記視聴者の動きに
基づいて前記画像生成手段により生成された画像を補正する画像補正手段と、前
記仮想空間における音像の位置を変化させないように、前記視聴者検出手段によ
り検出された前記視聴者の動きに基づいて前記音像生成手段により生成された音
像を補正する音像補正手段とを有するので、方位検出手段の磁気方位センサから
の方位角信号と位置検出手段の光検出手段から位置信号に基づき、視聴者検出手
段により視聴者の動きを検出し、仮想空間における画像の位置を変化させないよ
うに、画像補正手段により視聴者の動きに基づいて画像を補正すると共に、仮想
空間における音像の位置を変化させないように、音像補正手段により視聴者の動
きに基づいて音像を補正することにより、視聴者が動いても、仮想空間における
画像及び音像の位置が変化しないように定位させる。 また、上述した仮想現実感生成装置において、前記音像生成手段は、前記音像
補正手段により補正された前記仮想空間における音像を前記視聴者の聴覚に対し
て２チャンネルで与えるようにすれば、簡単な構成により仮想空間における補正
された正確な音像を視聴者に与えることができる。 また、上述した仮想現実感生成装置において、前記音像生成手段が、前記視聴
者に装着され、前記音像補正手段により補正された前記仮想空間における音像を
前記視聴者の聴覚に対して与えるヘッドフォンであれば、ヘッドフォンにより仮
想空間における補正された正確な音像を視聴者に与えることができる。 また、上述した仮想現実感生成装置において、前記音像生成手段が、前記視聴
者の前方に配置され、前記音像補正手段により補正された前記仮想空間における
音像を前記視聴者の聴覚に対して与えるスピーカであれば、スピーカにより仮想 空間における補正された正確な音像を視聴者に与えることができる。
【図面の簡単な説明】
【図１】
本発明の第１の実施例の仮想現実感生成装置におけるヘッドマウントディスプ
レイの装着状態の側面図である。 【図２】 本発明の第１の実施例の仮想現実感生成装置におけるヘッドマウントディスプ
レイの装着状態の上面図である。 【図３】 本発明の第１の実施例の仮想現実感生成装置のブロック図である。 【図４】 本発明の第２の実施例の仮想現実感生成装置におけるヘッドマウントディスプ
レイの装着状態の側面図である。 【図５】 本発明の第２の実施例の仮想現実感生成装置におけるヘッドマウントディスプ
レイの装着状態の上面図である。 【図６】 本発明の第２の実施例の仮想現実感生成装置のブロック図である。 【符号の説明】 １０…ヘッドマウントディスプレイ １２…画像表示用メガネ １４…ヘッドフォン １６…磁気方位センサ １８…赤外ＬＥＤ ２０…レンズ ２２…位置センサ ３０…位置ずれ算出部 ３２…画像生成部 ３４…画像データメモリ ３６…画像補正部 ３８…音像生成部 ４０…音像データメモリ ４２…ＨL補正部 ４４…ＨR補正部 ５０、５２…スピーカ ５４…スピーカ音声信号演算部 ５６…ＨLL補正部 ５８…ＨLR補正部 ６０…ＨRL補正部 ６２…ＨRR補正部
レイの装着状態の側面図である。 【図２】 本発明の第１の実施例の仮想現実感生成装置におけるヘッドマウントディスプ
レイの装着状態の上面図である。 【図３】 本発明の第１の実施例の仮想現実感生成装置のブロック図である。 【図４】 本発明の第２の実施例の仮想現実感生成装置におけるヘッドマウントディスプ
レイの装着状態の側面図である。 【図５】 本発明の第２の実施例の仮想現実感生成装置におけるヘッドマウントディスプ
レイの装着状態の上面図である。 【図６】 本発明の第２の実施例の仮想現実感生成装置のブロック図である。 【符号の説明】 １０…ヘッドマウントディスプレイ １２…画像表示用メガネ １４…ヘッドフォン １６…磁気方位センサ １８…赤外ＬＥＤ ２０…レンズ ２２…位置センサ ３０…位置ずれ算出部 ３２…画像生成部 ３４…画像データメモリ ３６…画像補正部 ３８…音像生成部 ４０…音像データメモリ ４２…ＨL補正部 ４４…ＨR補正部 ５０、５２…スピーカ ５４…スピーカ音声信号演算部 ５６…ＨLL補正部 ５８…ＨLR補正部 ６０…ＨRL補正部 ６２…ＨRR補正部
Claims (1)
- 【特許請求の範囲】 【請求項１】 視聴者の視覚に対して仮想空間における画像を生成する画像
生成手段と、前記視聴者の聴覚に対して前記仮想空間における音像を生成する音
像生成手段とを有し、前記画像生成手段からの画像と前記音像生成手段からの音
像により前記視聴者に対して前記仮想空間における現実感を与える仮想現実感生
成装置において、 前記視聴者に設けられ地磁気を検出する磁気方位センサを有し、前記視聴者の
向いている方向を検出する方位検出手段と、 前記視聴者に設けられ光を出射する光出射手段と、前記光出射手段から出射さ
れた光を検出する光検出手段とを有し、前記視聴者の位置を検出する位置検出手
段と、 前記方位検出手段からの方位角信号と前記位置検出手段からの位置信号により
前記視聴者の動きを検出する視聴者検出手段と、 前記仮想空間における画像の位置を変化させないように、前記視聴者検出手段
により検出された前記視聴者の動きに基づいて前記画像生成手段により生成され
た画像を補正する画像補正手段と、 前記仮想空間における音像の位置を変化させないように、前記視聴者検出手段
により検出された前記視聴者の動きに基づいて前記音像生成手段により生成され
た音像を補正する音像補正手段とを有し、 前記視聴者が動いても、前記仮想空間における画像及び音像の位置が変化しな
いように定位させることを特徴とする仮想現実感生成装置。 【請求項２】 請求項１記載の仮想現実感生成装置において、 前記音像生成手段は、前記音像補正手段により補正された前記仮想空間におけ
る音像を前記視聴者の聴覚に対して２チャンネルで与えることを特徴とする仮想
現実感生成装置。 【請求項３】 請求項２記載の仮想現実感生成装置において、 前記音像生成手段は、前記視聴者に装着され、前記音像補正手段により補正さ れた前記仮想空間における音像を前記視聴者の聴覚に対して与えるヘッドフォン
であることを特徴とする仮想現実感生成装置。 【請求項４】 請求項２記載の仮想現実感生成装置において、 前記音像生成手段は、前記視聴者の前方に配置され、前記音像補正手段により
補正された前記仮想空間における音像を前記視聴者の聴覚に対して与えるスピー
カであることを特徴とする仮想現実感生成装置。
Family
ID=
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10959037B1 (en) | Gaze-directed audio enhancement | |
| US10212517B1 (en) | Head-mounted display system with a surround sound system | |
| CN101662720B (zh) | 声音处理装置、声像定位位置调节方法及视频处理装置 | |
| US9811908B2 (en) | Head-mountable apparatus and systems | |
| US10397728B2 (en) | Differential headtracking apparatus | |
| US20150326963A1 (en) | Real-time Control Of An Acoustic Environment | |
| JP3687099B2 (ja) | 映像信号及び音響信号の再生装置 | |
| JP3796776B2 (ja) | 映像音声再生装置 | |
| KR102230645B1 (ko) | 공간화 오디오를 갖는 가상 현실, 증강 현실 및 혼합 현실 시스템들 | |
| US20120207308A1 (en) | Interactive sound playback device | |
| CN113170272B (zh) | 近场音频渲染 | |
| JP6845111B2 (ja) | 情報処理装置および画像表示方法 | |
| JP2021508426A (ja) | 双方向性拡張または仮想現実装置 | |
| KR20190027934A (ko) | 공간화 오디오를 가진 혼합 현실 시스템 | |
| US11026024B2 (en) | System and method for producing audio data to head mount display device | |
| GB2517057A (en) | Head-mountable apparatus and systems | |
| JP2021005822A (ja) | 音声処理装置および音声処理方法 | |
| CN111694156B (zh) | 眼镜及其音效的控制方法 | |
| US11363385B1 (en) | High-efficiency motor for audio actuation | |
| JP2550832B2 (ja) | 仮想現実感生成装置 | |
| WO2021187147A1 (ja) | 音響再生方法、プログラム、及び、音響再生システム | |
| JP2550832C (ja) | ||
| GB2558279A (en) | Head mountable display system | |
| JP2021114310A (ja) | 情報処理装置および警告提示方法 | |
| JP6957426B2 (ja) | 再生装置、再生方法、及びプログラム |