JPH06149275A - 三次元仮想空間情報を考慮した三次元仮想音像形成装置 - Google Patents

Abstract

(57)【要約】 【目的】 高度な仮想現実感を味わうことができるよう
にする。 【構成】 中央演算処理部３は、三次元的物体情報記憶
部２及び音源情報記憶部１に記憶されている壁等の物体
の情報及び戦車のエンジン音等の音源の情報やそのとき
のプレーの進行（発砲があれば発砲音）に基づいてプレ
ーヤーの位置に到達する音を演算算出する。波形演算処
理部５は、中央演算処理部３による演算結果により得ら
れた音が複数のスピーカ６に対してプレーヤーの位置に
おいて聴取し得るように、複数のスピーカ６に割り振っ
て聴取されるべき音情報の波形成型を行なう。複数のス
ピーカ６は、送られてきた音情報の信号を可聴音に変換
するので、プレーヤーにはそのときジョイスティック４
により指定された位置及び向きに自己が存在するかのご
とく、戦車のエンジン音等が聴取される。演算は単位時
間ごとに実時間で行なわれる。表示装置７には三次元仮
想空間映像表示が行なわれる。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】この発明は、三次元仮想空間情報
を考慮した三次元仮想音像形成装置に関し、特に、電子
遊戯機器に有効に採用される三次元仮想空間情報を考慮
した三次元仮想音像形成装置に関するものである。

【０００２】

【従来の技術】特開平２−２９８２００号公報には、三
次元空間内のある位置に２つの音声変換手段（スピー
カ）を位置付けすると共にそれに対して聴取者の位置を
特定したときに、２つのチャンネルの信号に対して位相
及び振幅を相互の関連において調整してそれぞれ前記音
声変換手段に供給することにより、聴取者にとって音声
変換手段の位置とは異なる三次元空間内の所定の位置か
ら見掛上音が聞こえてくるようにする技術が記載されて
いる。いわゆる３Ｄ（３−Ｄｉｍｅｎｓｉｏｎａｌ、三
次元）サウンドの生成である。

【０００３】また、上記技術をビデオゲーム機器に応用
したものが、米国特許公報Ｎｏ．４４７，０７１に記載
されている。すなわち、基本的には、全体の処理制御を
行なうビデオゲーム基本ユニットを本体としてプレーヤ
ーコントロールユニットと２つのスピーカが付随するビ
デオゲームモニターとが接続されて全体が構成されるビ
デオゲーム機器であり、プレーヤーはビデオゲーム基本
ユニットのスロットに任意のゲームカートリッジを挿入
してゲームを楽しむ。このとき、個々のゲームカートリ
ッジにゲームの内容に即した音源の種類やその位置情報
を含ませておき、プレーヤーによるゲームの進行に応じ
て、プレーヤーコントロールユニットはゲームカートリ
ッジに記憶された音源の種類やその位置情報を読み出し
て２つのスピーカに送る音声信号を生成する。したがっ
て、スピーカからは音源の種類やその位置情報に応じた
３Ｄサウンドが出力される。

【０００４】

【発明が解決しようとする課題】ところで、上述した米
国特許公報Ｎｏ．４４７，０７１に記載されているビデ
オゲーム機器においては、カートリッジに記憶される音
源の位置の情報はモニターに表示される対応する音源の
位置とは基本的に無関係である。例えばモニターの左側
上方に表示される音源はプレーヤーにとって左側上方か
ら聞こえてくるようにするという程度である。というの
は、モニターに表示される映像は二次元平面的な映像で
あり、映像内に音源が含まれていてもその三次元的な位
置や方向が定まっているわけではないからである。した
がって、適当に方向を決定するしかなく、映像と音響と
に十分な相関が図れないという問題点があった。

【０００５】また、現実に近似した３Ｄサウンドを実現
しようとすると、音源から発した音が三次元空間内に存
在する物体等から受ける影響、例えば遮蔽や反射等も考
慮しなければならないのであるが、表示対象を三次元的
な情報としては扱っていないので、そのようなことは不
可能であった。

【０００６】この発明は上述のような事情から成された
ものであり、この発明の目的は、高度な仮想現実感を味
わうことができる三次元仮想空間情報を考慮した三次元
仮想音像形成装置を提供することにある。

【０００７】

【課題を解決するための手段】この発明は、電子遊戯機
器に有効に採用される三次元仮想空間情報を考慮した三
次元仮想音像形成装置に関するものであり、この発明の
上記目的は、仮想的な三次元空間の物理的な情報が記憶
される三次元物理的空間情報記憶手段と、前記三次元空
間における音源の情報が記憶される音源情報記憶手段
と、音情報の信号を可聴音に変換する複数の音響変換手
段と、前記音源の情報と前記物理的な情報に基づいて前
記三次元空間内の任意の位置及び向きにおいて聴取され
るべき音情報の演算処理を行なう演算処理手段と、前記
演算処理手段による演算結果により得られた聴取される
べき音が前記複数の音響変換手段に対して所定の位置及
び向きにおいて聴取し得るように、前記複数の音響変換
手段に割り振って前記聴取されるべき音情報の波形成型
を行なう波形演算処理手段とを備えるによって達成され
る。

【０００８】

【作用】この発明にあっては、演算処理手段は、三次元
物理的空間情報記憶手段及び音源情報記憶手段に記憶さ
れている仮想的な三次元空間の物理的な情報及び音源の
情報に基づいて三次元空間内の任意の位置及び向きにお
いて聴取されるべき音情報の演算処理を行なう。波形演
算処理手段は、演算処理手段による演算結果により得ら
れた聴取されるべき音が複数の音響変換手段に対して所
定の位置及び向きにおいて聴取し得るように、複数の音
響変換手段に割り振って聴取されるべき音情報の波形成
型を行なう。複数の音響変換手段は、送られてきた音情
報の信号を可聴音に変換する。以上により、三次元空間
内の任意の位置及び向きにおいて聴取されるべき音が複
数の音響変換手段に対して所定の位置及び向きにおいて
聴取し得る。

【０００９】

【実施例】以下、図面に基づいてこの発明の実施例につ
いて詳細に説明する。図１は、この発明の三次元仮想空
間情報を考慮した三次元仮想音像形成装置における一実
施例の構成ブロック図である。この実施例はこの発明を
電子遊戯機器に適用したものである。すなわち、前提と
して、遊戯機器本体（カートリッジでもよい）は三次元
的な物体の情報が記憶される三次元的物体情報記憶部２
を有しており、中央演算処理部３がその情報を処理する
ことにより、表示装置７に例えばプレーヤーの視点を視
点とした三次元空間が表示される。その表示はゲームの
進行、特にプレーヤーによるジョイスティック４の操作
により、刻々と変化する。

【００１０】ところで、電子遊戯機器においては、視覚
的な映像と共に音響も重要な要素である。したがって、
音響も三次元的物体情報と相俟って三次元的に扱えるこ
とが望ましい。すなわち、音源の方向の情報のみにより
いわゆる３Ｄサウンドを生成するのではなく、三次元空
間の物理的情報の影響も考慮して音像を形成することに
より、いわゆる仮想現実感も高度なものとなる。

【００１１】そこで、映像情報を三次元的に扱う電子遊
戯機器において特にこの発明は有効となる。すなわち、
三次元的な音源情報を音源情報記憶部１に記憶してお
く。音源情報としては、音源の種類（波形情報），位
置，音の進行方向等の情報である。この音源情報のみで
いわゆる３Ｄサウンドを生成することは従来の技術であ
る。一方、この発明では、音源からの音が伝搬する三次
元空間内の物理的な情報の影響も考慮する。例えば、三
次元空間内の物体による遮蔽，反射の影響をも考慮して
３Ｄサウンドを生成することはその典型である。

【００１２】以下、遮蔽，反射の影響を考慮して３Ｄサ
ウンドを生成する場合について説明する。音源の情報と
しては〔音源の位置座標，音波形，絶対音量，拡散係
数〕であり、この場合、三次元的物体情報には物体の位
置情報と共に入射する音に対する〔反射方向，吸収係
数〕を記憶しておく。ここで、拡散係数とは音源の発す
る音がどの方向にどれだけの音量で放射されるかを示す
指標である。そして、直接耳に届く音と反射して間接的
に耳に届く音を別々に考慮し、いわゆる直接音の場合は
拡散係数，相対方向，相対距離に基づいてプレーヤーに
届くべき音を求め、いわゆる間接音の場合は拡散係数に
基づいて音が反射して耳に届く経路を求め、それに吸収
係数，相対方向，相対距離を与えて求める。

【００１３】図２（Ａ）及び（Ｂ）は、その処理の詳細
手順を示す図である。直接音の場合、先ず、聞こえるべ
き音を求めたい位置（最も典型的には、プレーヤーの視
点の位置）の音源からの距離及び方向を求める（ステッ
プＳ１１）。音源情報記憶部１に記憶されたその音源に
ついての拡散係数，絶対音量を読みだしてステップＳ１
１で求めた方向についての音波形を求める（ステップＳ
１２）。更に、ステップＳ１１で求めた距離と障害物に
関し三次元的物体情報記憶部２に記憶された吸収係数と
から減衰を計算し、プレーヤーの位置における音波形を
求める（ステップＳ１３）。最後に、プレーヤーの向き
と音の飛来方向とから左右の耳に届くべきであろう音を
求め、複数のスピーカ６のそれぞれに割り当てる（ステ
ップＳ１４）。

【００１４】一方、間接音の場合、先ず、三次元的物体
情報記憶部２に記憶された物体情報に基づいてその音源
からの音が物体に反射してプレーヤーの位置に到達する
場合の経路を求める（ステップＳ２１）。得られた経路
から、音源からの出力方向，経路長，プレーヤーへの飛
来方向を求める（ステップＳ２２）。その音源について
の拡散係数，絶対音量とステップＳ２２で求めた音源か
らの出力方向とからプレーヤーの位置へ向かう音波形を
求める（ステップＳ２３）。更に、ステップＳ２２で求
めた経路長と反射する障害物の吸収係数とから減衰を計
算し、プレーヤーの位置における音波形を求める（ステ
ップＳ２４）。最後に、プレーヤーの向きとステップＳ
２２で得られたプレーヤーへの飛来方向とから左右の耳
に届くべきであろう音を求め、複数のスピーカ６のそれ
ぞれに割り当てる（ステップＳ２５）。以上の処理を音
源ごとに行ないそれぞれを足し合わせる。

【００１５】尚、プレーヤーの位置は、ゲームの進行に
応じてジョイスティック４の操作により刻々と変化す
る。したがって、聞こえるべき音を求めたい位置がプレ
ーヤーの視点の位置の場合には、中央演算処理部３は以
上の処理をジョイスティック４から入力されるプレーヤ
ーの位置及び向きの情報に基づいて単位時間ごとに行な
う。

【００１６】このような装置構成及び処理により、プレ
ーヤーにとっては表示装置７に表示される従来の三次元
空間処理により視覚的に三次元空間内での疑似的な存在
感を感覚し得ることに併せて、三次元空間内の物理的な
影響を考慮したスピーカ６からの三次元的な音響によ
り、まさにその位置にあたかも存在しているかのごとき
感覚を受けることになる。

【００１７】具体例で説明する。図３は、あるゲームに
おける三次元空間の物体情報を示す図である。同図に示
した三次元空間の場合、三次元的物体情報記憶部２に記
憶されている情報は壁，岩，砲台及び戦車の位置，形
状，吸収係数，反射方向等の物理的情報である。尚、戦
車の位置はゲームの進行に応じて刻々と変化する。ま
た、音源情報記憶部１に記憶されている情報は、戦車及
び砲台に係る音源の位置，絶対音量，拡散係数の情報で
ある。戦車に係る音源としてはエンジン音，キャタピラ
音，発砲音，着弾音があり、このうちエンジン音，キャ
タピラ音，発砲音の位置は三次元的物体情報記憶部２に
記憶されている戦車の位置と同じと考えることができ、
着弾音の位置はゲームに進行に応じて任意の位置とな
る。また、砲台に係る音源としては発砲音，着弾音があ
り、このうち発砲音の位置は三次元的物体情報記憶部２
に記憶されている砲台の位置と同じと考えることがで
き、着弾音の位置はゲームに進行に応じて任意の位置と
なる。

【００１８】以下、図１及び図３を参照しつつ処理動作
を説明する。先ず、プレーヤーの位置及び向きはジョイ
スティック４の操作により三次元的に変化する。中央演
算処理部３は、三次元的物体情報記憶部２及び音源情報
記憶部１に記憶されている壁等の物体の情報及び戦車の
エンジン音等の音源の情報やそのときのプレーの進行
（発砲があれば発砲音）に基づいてプレーヤーの位置に
到達する音を演算算出する。

【００１９】音情報の演算は従来の技術として公知であ
る。すなわち、例えば、一般的には音の強さは音源から
の直接音と壁等により反射した反射音のそれぞれの強さ
を合成すればよい。例として、直接音の強さＥ_ｄ及び全
反射音の強さＥ_ｓは一般的にそれぞれ数１及び数２によ
り算出される。

【００２０】

【数１】

【００２１】

【数２】 ここで、Ｗ_ａ〔Ｗ〕は音源の音響出力、Ｑは音源の指向
定数、ｒ〔ｍ〕は音源からの距離、ｃ〔ｍ／ｓ〕は音
速、Ｓ〔ｍ^２〕は壁の全表面積、αは壁の平均吸音率で
ある。

【００２２】このようにして求められた音の強さの合成
はたたみこみにより算出できる。すなわち、入力変数を
ｘ（ｎ）、システムのインパルス応答をｈ（ｍ）、出力
変数をｙ（ｎ）とすると数３により算出する。

【００２３】

【数３】 尚、数３をフーリエ変換して周波数領域で算出するのが
容易で一般的である。

【００２４】次に、波形演算処理部５は、中央演算処理
部３による演算結果により得られた音が複数のスピーカ
６に対してプレーヤーの位置において聴取し得るよう
に、複数のスピーカ６に割り振って聴取されるべき音情
報の波形成型を行なう。複数のスピーカ６は、送られて
きた音情報の信号を可聴音に変換するので、プレーヤー
にはそのときジョイスティック４により指定された位置
及び向きに自己が存在するかのごとく、戦車のエンジン
音等が聴取される。また、ゲーム上のプレーヤーが岩に
隠れれば現実のプレーヤーにも岩に隠れたように聞こえ
るという具合である。前述のようにプレーヤーの位置及
び向きはジョイスティック４の操作により三次元的に変
化するので、このようなゲームの場合には単位時間ごと
に実時間で演算は行なわれる。一方、表示装置７には、
ジョイスティック４からの信号により特定される位置を
視点としてゲームの進行に応じて三次元的物体情報記憶
部２に記憶された情報に基づいて壁，戦車，岩等の三次
元仮想空間映像表示が行なわれる。

【００２５】尚、上述したゲームの実施例においては、
通常、音情報の演算処理を行なうべき位置はプレーヤー
の位置であるが、一般的にはこれに限られることはな
い。また、実施例においては、ジョイスティックにより
ゲーム上のプレーヤーの位置やそれに合わせた表示が変
化するが、それもジョイスティックに限られることはな
い。更に、音響変換手段としてスピーカの場合を説明し
ているが、他のあらゆる手段、例えばヘッドホンであっ
てもよい。

【００２６】また、上述した実施例においては、特に三
次元空間内の物体の情報を考慮するようにしているが、
この発明の趣旨はそれのみならず、例えば媒体の質，密
度，温度等のあらゆる物理的情報を考慮して高度な仮想
現実感を実現することにある。

【００２７】

【発明の効果】以上のようにこの発明の三次元仮想空間
情報を考慮した三次元仮想音像形成装置によれば、記憶
された三次元空間情報に即した音源の位置であり、かつ
三次元空間内の物理的情報、特に物体による反射や遮蔽
等の影響を考慮し、三次元空間内の任意の位置及び向き
において聴取されるべき音が複数の音響変換手段に対し
て所定の位置及び向きにおいて聴取し得る。特に、この
発明を電子遊戯機器に採用した場合には高度な臨場感を
実現できる。

【図面の簡単な説明】

【図１】この発明の三次元仮想空間情報を考慮した三次
元仮想音像形成装置における一実施例の構成ブロック図
である。

【図２】遮蔽，反射の影響を考慮して３Ｄサウンドを生
成する場合の処理の詳細手順を示す図である。

【図３】あるゲームにおける三次元空間の物体情報を示
す図である。

【符号の説明】

１ 音源情報記憶部 ２ 三次元的物体情報記憶部 ３ 中央演算処理部 ４ ジョイスティック ５ 波形演算処理部 ６ スピーカ ７ 表示装置

Claims (5)

【特許請求の範囲】
1. 【請求項１】 仮想的な三次元空間の物理的な情報が記
   憶される三次元物理的空間情報記憶手段と、前記三次元
   空間における音源の情報が記憶される音源情報記憶手段
   と、音情報の信号を可聴音に変換する複数の音響変換手
   段と、前記音源の情報と前記物理的な情報に基づいて前
   記三次元空間内の任意の位置及び向きにおいて聴取され
   るべき音情報の演算処理を行なう演算処理手段と、前記
   演算処理手段による演算結果により得られた聴取される
   べき音が前記複数の音響変換手段に対して所定の位置及
   び向きにおいて聴取し得るように、前記複数の音響変換
   手段に割り振って前記聴取されるべき音情報の波形成型
   を行なう波形演算処理手段とを備えることを特徴とする
   三次元仮想空間情報を考慮した三次元仮想音像形成装
   置。
2. 【請求項２】 前記任意の位置を外部より操作して指定
   するための操作手段を有し、前記演算処理手段は、単位
   時間ごとに、前記操作手段からの信号を入力して前記位
   置を特定して実時間で前記演算処理を行なうようにした
   請求項１に記載の三次元仮想空間情報を考慮した三次元
   仮想音像形成装置。
3. 【請求項３】 表示手段を有し、前記演算処理手段は、
   前記操作手段からの信号により特定される位置を視点と
   して前記三次元物理的空間情報記憶手段に記憶された情
   報に基づき前記表示手段に三次元仮想空間映像表示を行
   なうようにした請求項２に記載の三次元仮想空間情報を
   考慮した三次元仮想音像形成装置。
4. 【請求項４】 前記物理的な情報は、物体の位置情報と
   入射する音に対する反射方向及び吸収係数であり、前記
   音源の情報は、音源の位置座標，音波形，絶対音量，拡
   散係数である請求項１，請求項２又は請求項３に記載の
   三次元仮想空間情報を考慮した三次元仮想音像形成装
   置。
5. 【請求項５】 前記物理的な情報及び前記音源の情報は
   遊戯に係るものであり、前記操作手段は前記遊戯の進行
   に応じて遊戯者に操作される請求項３に記載の三次元仮
   想空間情報を考慮した三次元仮想音像形成装置。