JPH1083190A - 過渡応答信号生成と設定方法及びその装置 - Google Patents

Abstract

(57)【要約】 【課題】従来の映画等の音響を家庭内あるいは小規模の
部屋で再生する場合であっても、あたかも映画館等のホ
ールで聞いているかのような音響を提供する。 【課題を解決するための手段】（ａ）音源を有する所定
の仮想空間を設定するステップと、（ｂ）複数のスピー
カが配置された所定の実空間を設定するステップと、
（ｃ）前記実空間内の受聴点と前記仮想空間内の観測点
とを重ね合わせるステップと、（ｄ）前記仮想空間内の
音源から発生した過渡信号が前記仮想空間内に伝播して
夫々の遅延時間経過後に前記観測点に及ぼすポテンシャ
ルを求めるステップと、（ｅ）前記観測点に向かう前記
ポテンシャルを前記重ね合わされた前記実空間の前記複
数のスピーカの夫々に分割するステップと、（ｆ）前記
スピーカ毎に分割されたポテンシャルを前記遅延時間に
応じて加算して前記スピーカ毎に過渡応答信号を求める
ようにしたステップとからなる過渡応答信号生成方法。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、任意の空間の音を
実空間で体験するために使用する過渡応答信号の生成方
法と設定方法及び装置に関する。

【０００２】より具体的にいうと、本発明は、実際の映
画館等の多数のスピーカが配置されたホールで得られる
音響と同様な音響を、家庭や小規模の部屋で提供するこ
とができる過渡応答信号生成方法と設定方法及び装置に
関する。

【０００３】また、本発明は、映画用のビデオ映像やコ
ンピュータ・グラフィック等のシーンで使用される空間
で得られる音響と同様な音響を、家庭や小規模の部屋で
も提供することができる上記方法及び装置に関する。

【０００４】本発明はさらにまた、無線、有線放送、あ
るいは通信カラオケといった通信手段により得られる画
像と音声信号とともに、その空間での過渡応答信号を受
け、家庭等で３次元的なダイナミック・サウンドを提供
することができる該過渡応答信号の設定方法及び装置に
関する。

【０００５】

【従来の技術】実際の空間の音響特性を算出する手法に
ついてはいくつかの試み、研究が進められきた。たとえ
ば、精度は落ちるとしても簡易であるために一般的に使
用されている古典的な幾何音響学に基ずいた音線法や虚
像法などがある。また、多大の処理時間を要するために
実用的ではないが、実際の音響特性を精度よく求めるこ
とができる可能性のある手法として、有限要素法、境界
要素法などが提案されている。

【０００６】さらには、上記手法の欠点を除去し、短時
間でしかも精度よく算出でき、その音響再生においても
実用に十分耐え得る手法として、本発明者による、３次
元波動方程式の積分表示形式として知られるキルヒホッ
フ積分方程式を変形した基礎理論式とともに、波動性、
位相等の音響特性を再生する処理方法及び装置を特願平
７−７３６５８明細書及び図面で開示した。

【０００７】上記いくつかの手法は、音源から発生する
音が、３次元的に広がり、様々な空間を伝播し、反射し
た波動が複雑に重なりながら残響を持って受聴者に戻っ
てくる音の特性を求めるもとであり、基本的には、音源
としての音を、デルタ近似関数のような立ち上がりの鋭
い過渡信号として使用し、その過渡信号と、その過渡信
号が空間を伝播し受聴者に戻ってくる応答信号、すなわ
ち過渡応答信号との関係を示したものである。

【０００８】このように、過渡信号と過渡応答信号との
関連を算出する利点は、連続した、あるいは不連続な音
響発生を非常に短い時間間隔に分割したとき、それぞれ
の分割した信号はまさに過渡信号として捉えることがで
きるため、空間内で時間軸上に広がって観測点に及ぼす
応答信号、すなわち過度応答信号と過渡信号の関係が明
らかとなれば、それを一連の音に適用して音響再生が可
能となることにある。一方、ビデオ機器が普及し、映画
あるいは既存の映像をビデオを通して家庭内で、あるい
は小さな部屋で楽しむことが一般的となった今日におい
ては、その映像に伴う音響を家庭内で如何にダイナミッ
クに再現するかは、その映像を楽しむうえにおいては重
要である。この方法として、サラウンド用のスピーカ用
音声出力端子が設けられ、ドルビーサラウンド等の模擬
的な音響再生を可能とするテレビ等が製品化されてい
る。しかし、実際の映画館で上映する場合のスピーカ
は、観客が２次元的あるいは３次元的な音場を感ずるよ
うに映画館の側面の壁やあるいは前方スクリーンのそば
など、多数、たとえば１０個あるいはそれ以上配置され
ている。従って、家庭等で既存のサラウンド用スピーカ
端子でその映像の音声を再生する場合には、このような
映画館で体験できる立体的な音感を得ることはできな
い。

【０００９】また、最近、仮想映像、いわゆるバーチャ
ル・リアリティに対しての要求が富に盛んとなってきて
いる。このバーチャル・リアリティは仮想的な環境を実
体験と同様な感覚で人間が体験することを可能とするた
め、様々な応用分野が期待されている。しかしながら、
これまでは映像に関してのバーチャル・リアリティに注
目が集中し、その映像に見合った音響の再現が必ずしも
達成されていなかった。従って、バーチャル・リアリテ
ィの発展にともない、その仮想的な環境、つまり仮想空
間で得られる音を、あたかもその仮想空間に自分がいる
ように音響を生成する手法が望まれている。

【００１０】さらに、映像シーンは、その場面場面が時
間とともに刻々と変わるものであり、あるいはその場面
内においても、その状況に応じて音響の変化を必要とす
る場合がある。たとえば、あるシーンが一つの部屋の中
の場面であった後、次のシーンが広大な平原の場面あっ
たりもする。あるいは、その状況が次第に深刻となって
いく一つのシーンがあったりする。このような場合に、
従来では、その場面場面、あるいはその状況の変化に応
じて、残響を付加したり、あるいは、残響を取り除いた
りといった作業をそれぞれに人間の感覚で行っていた。
従って、実際に再現される音響が必ずしも現実に適合す
るとは限らず、違和感を視聴者に与えたり、あるいは仮
想実体験の効果を減じてしまう場合が少なくなかった。
そのため、より現実感を求めるようになった今日におい
ては、従来にないほど、その映画の場面の空間に適応
し、その映像に可能な限りの現実感を持たせる必要性が
生じている。このように、その場面で使われる空間に合
わせて、その音響を自動的に加工し、その空間で得られ
る音響を的確に再現できるようになれば、よりアミュー
ズメント性が高く、従来映画館で使用されてきたドルビ
ーサラウンド等とは異なる現実感の高い音場を体験する
ことが可能となるだろう。

【００１１】このように、ＣＧ（コンピュータ・グラフ
ィック）等による映像作成技術、家庭用コンピュータに
よる動画再生、将来のデジタル放送、コンピュータ通
信、有線放送の普及、あるいは通信カラオケなど、様々
なメディア技術の進展に伴って、効率的な、かつ現実に
即した音響生成をするための方法及び装置が望まれてい
る。

【００１２】

【発明が解決しようとする課題】よって、本発明の目的
は、従来の映画等を、家庭内あるいは小規模の部屋で再
生する場合、あたかも映画館等のホールで見ているかの
ように実体験できるための過渡応答信号生成方法、その
設定方法及び装置を提供することである。

【００１３】また、本発明の他の目的は、映画等の映像
のシーンの変化に合わせて、そのシーンの空間内にいる
かのように過渡応答信号を生成、設定する方法及び装置
を提供することである。

【００１４】さらに、本発明の目的は、画像通信手段の
発達に伴って、電気ケーブル、光ケーブルあるいは無線
通信で家庭や小規模の部屋に送られてくる画像に合わせ
て、そのシーンに適合した音響を生成するために該過渡
応答信号を設定する方法及び装置を提供することであ
る。

【００１５】

【課題を解決するための手段】従って、本願発明は、
（ａ）音源を有する所定の仮想空間を設定するステップ
と、（ｂ）複数のスピーカが配置された実空間を設定す
るステップと、（ｃ）前記実空間内の受聴点と前記仮想
空間内の観測点とを重ね合わせるステップと、（ｄ）前
記仮想空間内の音源から発生した過渡信号が前記仮想空
間内に伝播して夫々の遅延時間経過後に前記観測点に及
ぼすポテンシャルを求めるステップと、（ｅ）前記観測
点に向かう前記ポテンシャルを前記重ね合わされた前記
実空間の前記複数のスピーカの夫々に分割するステップ
と、（ｆ）前記スピーカ毎に分割されたポテンシャルを
前記遅延時間に応じて加算して前記スピーカ毎に過渡応
答信号を求めるようにしたステップとからなる過渡応答
信号生成方法である。

【００１６】また、前記音源は複数の音源からなり、前
記スピーカ毎の前記過渡応答信号を前記複数の音源の夫
々について求めるようにしてもよく、前記仮想空間を映
画館等のホールとして、前記音源位置を前記ホールに設
置されたスピーカ位置とすることで、実際のホールでの
音場を再現できようにしてもよい。

【００１７】更に、前記仮想空間の大きさが時間毎に変
化する空間として扱い、前記ポテンシャルを求めるステ
ップ（ｄ）を、前記時間のそれぞれについて、前記音源
から発生した過渡信号が、変化した前記仮想空間内に伝
播して夫々の遅延時間経過後に前記観測点に及ぼすポテ
ンシャルを求めるステップとし、前記過渡応答信号を生
成するステップ（ｆ）を、前記時間のそれぞれについ
て、前記スピーカ毎に分割されたポテンシャルを前記遅
延時間に応じて加算して前記スピーカ毎に過渡応答信号
を求めるようにしたステップである過渡応答信号生成方
法を提供する。

【００１８】同様に、前記音源は時間毎にその位置を変
える音源として扱い、前記ポテンシャルを求めるステッ
プ（ｄ）を、前記時間のそれぞれについて、位置を変え
た前記音源から発生した過渡信号が、前記仮想空間内に
伝播して夫々の遅延時間経過後に前記観測点に及ぼすポ
テンシャルを求めるステップとし、前記過渡応答信号を
生成するステップ（ｆ）を、前記時間のそれぞれについ
て、前記スピーカ毎に分割されたポテンシャルを前記遅
延時間に応じて加算して前記スピーカ毎に過渡応答信号
を求めるようにしたステップとした過渡応答信号生成方
法を提供する。

【００１９】更には、前記仮想空間の大きさが時間毎に
変化する空間であるとともに、前記音源が時間毎にその
位置を変える音源とし、前記ポテンシャルを求めるステ
ップ（ｄ）を、前記時間のそれぞれについて、位置を変
えた前記音源から発生した過渡信号が、変化した前記仮
想空間内に伝播して夫々の遅延時間経過後に前記観測点
に及ぼすポテンシャルを求めるステップとし、前記過渡
応答信号を生成するステップ（ｆ）を、前記時間のそれ
ぞれについて、前記スピーカ毎に分割されたポテンシャ
ルを前記遅延時間に応じて加算して前記スピーカ毎に過
渡応答信号を求めるようにしたステップとする過渡応答
信号生成方法を提供する。

【００２０】

【発明の実施の形態】本発明は、音声再生に使用するあ
らゆる過渡応答信号の生成過程においても適用できる
が、本願発明の理解を容易にするために、本発明者によ
る特願平７−７３６５８及び特願平８−４６１０９で開
示された過渡応答信号の生成過程を説明する。

【００２１】[過渡応答信号の生成過程]まず、図１４を
参照しながら、キルヒホッフ積分および近似境界積分法
について説明をする。キルヒホッフ積分方程式（式２）
とは、３次元波動方程式（式１）の解法により得られる
積分方程式（式２）であり、その変形した積分方程式
（式３）を近似境界積分方程式という。

【００２２】

【式１】３次元波動方程式 ここで、φは速度ポテンシャル、ｃは音速、ｔは時間、
Ｆは波源、ｘ，ｙ，ｚは３次元座標、図１４中のＳ2は
任意空間を作る表面、ＱはＳ2上の任意点、Ｐは過渡応
答を求める観測点、Ｖは観測点Ｐ近傍の領域Ｖ１を除い
た領域、ｄｓ₂はＳ2上の微分面ベクトルである。

【００２３】

【式２】キルヒホッフの３次元波動方程式の積分形であ
り、観測点Ｐにおける速度ポテンシャルを表す積分方程
式 ここで、φｐは観測点における速度ポテンシャル、［］
tdは遅延時間ｔ−ｒ／ｃ、Ｖは観測点Ｐを囲む任意空
間、Ｓ2はＶの表面、ＱはＳ2上の任意点、ｒはＱと観測
点Ｐの距離を示す。

【００２４】

【式３】キルヒホッフの積分方程式を変形した近似境界
積分方程式 ここで、φｐは観測点における速度ポテンシャル、［］
tdは遅延時間ｔ−ｒ／ｃ、Ｖは観測点Ｐを囲む任意空
間、Ｓ2はＶの表面、ＱはＳ2上の任意点、ｒはＱと観測
点Ｐの距離、ｒ₀は波源からＱまでの延べ伝播距離を示
す。又、ｆ（ｔ）とは、波源から発生する音の過渡信号
である。

【００２５】次に上記式３の近似境界積分方程式に基づ
き過渡応答信号を生成する手段について説明する。尚、
ここで説明する手段は、この近似境界積分方程式に限ら
ず、波動特性を求めるものであればいかなるものであっ
ても適用できる。

【００２６】図１、２、３および図４は過渡応答信号
（インパルス応答信号）を求めるための具体的なフロー
チャートを示したものである。

【００２７】図１は、処理全体の手順を示したものであ
り、図中に示したように処理Ａと処理Ｂとに大きく２つ
に分けることができる。図１中の「処理Ｃ（処理７）」
に対応する処理手順を図２に示し、図中の「処理Ｄ（処
理１０）」に対応する処理手順を図３に示した。また図
３に記された処理Ｅに対応する処理手順を図４に示し
た。

【００２８】図１の最初の処理である処理１［初期設
定］においては、処理を行うための前提条件である「計
算条件の設定」と「波源条件の設定」と「境界の設定」
および「波源放射ベクトルの設定」を行う。

【００２９】「計算条件の設定」とは、波源の３次元座
標、観測点数、それぞれの観測点の３次元座標、空間内
の空気の温度と湿度、解析周波数（算出する過渡応答に
含める最も高い周波数）、算出する過渡応答の継続時間
Ｔ等を設定する。設定は、入力装置からの直接入力、ま
たは外部記憶装置から読み込んで行われる。

【００３０】「波源条件の設定」では、波源からの音の
初期値である過渡信号としてインパルスに近いデルタ近
似関数とその導関数で与えるが、目的に合わせてこの初
期値を変更してもよい。

【００３１】さらに初期設定で示された空気温度と湿度
から伝播速度を算出する。解析周波数からは、シャノン
の標本化定理にしたがって解析周波数の２倍以上の周波
数に対応する離散時間間隔を設定する。処理Ｂにおいて
用いられる算出する過渡応答を格納するための記憶領域
の大きさは、過渡応答の継続時間と離散時間間隔から決
定される。

【００３２】「境界の設定」では、場を構成する境界に
関する情報の設定を行う。これは、波動伝播をシュミレ
ートする空間を数値で表すものであり、多数の多角形
（平面）により構築される。そしてここではこの多角形
１つ１つを境界と呼び、境界の数、各境界の法線ベクト
ル、境界の各頂点座標、境界の反射と吸収、などを設定
する。尚、以下の具体例での説明では、本発明の理解を
容易にするために、境界は全周波数帯域において全反射
か全吸収のみとする。

【００３３】「波源放射音線ベクトルの設定」では、波
源から放射する音線ベクトルの数Ｎを算出する。これ
は、波源から伝播する波動をシュミレートして、波動が
境界で反射する場所と時刻を算出し、式３の積分方程式
を利用して観測点の音響特性である速度ポテンシャルφ
_pを算出するためである。このときの波動伝播のシュミ
レートは、波源から空間に等立体角で放射する無数のベ
クトルで行う。これを音線ベクトルと定義する。放射す
る音線ベクトルの数Ｎは、波動伝播開始から継続時間Ｔ
を経過した時点において、隣合う音線ベクトルの距離
が、解析周波数の波長λの１／２以内、できれば１／４
以内となるように設定する。ただし、処理装置の能力ま
たは再生する近似の程度によっては、隣合う音線ベクト
ルの距離はλは１／２以上であってもよい。尚、空間を
進む波面を示すベクトルを総称して音線ベクトルという
が、特に波源から放射する音線ベクトルを放射音線ベク
トルという。

【００３４】処理３では、波源から伝播する波動を音線
ベクトルによりシュミレートする処理を行う。まず、Ｎ
個の放射するベクトルの方向が波源から等立体角になる
ように、ｎ番目の放射音線ベクトルの方向ベクトルＤｎ
を算出する。

【００３５】さらに処理４により、この波源から進む音
線ベクトルと交点を持つ境界Ｂを計算により選択する。
この時この音線ベクトルと交点を持つ境界が無い場合
は、次の放射音線ベクトルについて計算する（処理
５）。

【００３６】ある境界との交点がある場合には、音線ベ
クトルはその境界Ｂで反射するが、その境界が音線ベク
トルに対して表か裏かを判定しなければならない。

【００３７】表か裏かとの判断は、境界の法線ベクトル
と音線ベクトルとのベクトルの有す角度が０°〜１８０
°か否かで定められる。すなわち、仮に境界の法線ベク
トルを仮想した空間の外側方向に向くように定義した場
合は、音線ベクトルと放線ベクトルの相互の角度が０°
〜１８０°の場合（すなわち内積が正の場合）は境界は
表と定義され、１８０°〜３６０°の場合は境界が裏と
定義される。このようにするのは、音線ベクトルが境界
の内側（すなわち境界の表側）から向かっていて、音が
反射する境界なのか、それとも、音線ベクトルが境界の
外側（すなわち境界の裏側）から向かっていて、単に境
界が音線ベクトル方向に存在するだけで、音の反射に寄
与する境界とはならないかを計算機処理において判断で
きるようにするためである。

【００３８】以上の定義に従って、処理６において、境
界が音線ベクトルに対し裏である場合には、他の境界で
交点を持つものを選択する。境界Ｂが音線ベクトルに対
して表にある場合には、処理Ｃへと進められる。

【００３９】図２に示される処理Ｃでは、まず境界Ｂが
完全に波動を吸収するように初期設定において設定され
ている場合には処理Ｃは終了する（処理１１）。そうで
ない場合には、波源から境界Ｂの交点Ｑまでの伝播距離
ｄを算出する（処理１２）。伝播距離ｄを波動が伝わる
とき、継続時間Ｔを越える距離である場合には、処理１
は終了する。図２に示した処理１１と１２及び１３は、
その処理の順序を図２と異にしても一連の期待する処理
結果が得られるため、いかようの順序でも良いが、処理
時間上図２に示した順序が最も効率が良い。

【００４０】次に、処理１４で境界Ｂに入射する音線ベ
クトルの入射角度αを計算する。式３における境界平面
の放線と音線ベクトルの入射角度を求めるためである。
入射音線ベクトルとは、ｎ番目の放射音線ベクトルＤn
の境界Ｂに到来してきた音線ベクトルを指し、ｒ回目の
境界に入射する入射音線ベクトルをＥn,rとする。よっ
てＥn,1とは波源から境界Ｂに到達してきた放射音線ベ
クトルと等しい。

【００４１】次にこの入射音線ベクトルの交点Ｑにおけ
る反射音線ベクトルの方向ベクトルを算出する。反射音
線ベクトルとは、ｎ番目の放射音線ベクトルＤnが境界
Ｂで反射した境界Ｂにおける音線ベクトルを指し、ｒ回
目の境界で反射する反射音線ベクトルをＦn,rとする。
よってＦn,1とはｎ番目の音線ベクトルが初めて境界で
反射した音線ベクトルである。

【００４２】処理１６では、境界Ｂの整理番号Ｂ、波源
から交点Ｑへの延べ伝播距離ｄ，交点Ｑの３次元座標、
入射音線ベクトルの方向ベクトルＥn,r，反射音線ベク
トルの方向ベクトルＦn,rをメモリまたは外部記憶装置
などに記憶する。この放射音線ベクトルＤnが境界で反
転する度に計算されるデータの一連の記憶を、放射音線
ベクトルＤnの伝播履歴と呼ぶ。伝播履歴を記憶する理
由は、図３の処理Ｄにおいて、音線ベクトルが式３に示
すＳ₂上の任意点（ここでは各境界）で反射するごと
に、観測点Ｐに寄与する速度ポテンシャルを計算するた
めである。ここで延べ伝播距離ｄは式３でのｒ₀に相当
する。

【００４３】次に、方向Ｆn,rを持つ反射音線ベクトル
と交点を持つ他の境界Ｂを選択し、その時の交点を新し
くＱとする。もし交点を持つ境界Ｂが無い場合は終了す
る（処理１８）。また交点を持つが入射音線ベクトルが
境界Ｂに対して裏から入射している場合は、他の境界か
ら交点Ｑを持つものを探す。表面に入射している場合に
は処理を続ける（処理１９）。

【００４４】ｎ番目の放射音線ベクトルについて処理Ｃ
が終了すると、図１に示すように、次の放射音線ベクト
ルについて計算を繰り返し行うが、全ての放射音線ベク
トルについて処理が終了した場合には処理Ｂを行う。

【００４５】従って、図１の処理１から処理８までの一
連を示すの処理Ａは、各音線ベクトルの伝播履歴をすべ
て算出し記憶するために行われる。

【００４６】以上から、上記処理Ａを達成する装置は、
初期設定を記憶する手段と、伝播記録データを算出する
処理手段、および伝播記録データを記憶する手段を有す
ものである。

【００４７】処理Ｄは、図３に示すように、処理１で計
算されたｎ個の放射音線ベクトルの伝播履歴を基に計算
を行う。

【００４８】まず、処理２１で過渡応答を算出する最初
の観測点Ｐの座標をメモリなどから読み出す。そしてま
ず始めにｎ＝０の放射音線ベクトルの伝播履歴に関する
データを記憶から読み出す（処理２２）。読み出した伝
播履歴の始めの境界Ｂについて、観測点Ｐから見て境界
の裏側しか見えない場合は、連続する次の伝播履歴を読
み出し（処理３２）処理を続ける。反対に、観測点Ｐか
ら見て境界Ｂが表面であれば、観測点Ｐから伝播履歴に
記された交点Ｑに向かう方向ベクトルＲを算出し（処理
２５）、そして観測点Ｐと交点Ｑの距離ＲＤを算出する
（処理２６）。ここで観測点Ｐと交点Ｑを結ぶ直線が他
の境界と交わる場合は、交点Ｑからの速度ポテンシャル
は観測点Ｐに影響を及ぼさないと判断して、連続する次
の伝播履歴（処理３２）について処理を続ける。観測点
Ｐと交点Ｑを結ぶ直線が他の境界と交わらない場合は、
波動が時間Ｔ以内に観測点Ｐに到達するか否かを判断し
（処理２８）、到達する場合は境界Ｂ上の速度ポテンシ
ャルが観測点Ｐ上に影響を及ぼすとして処理Ｅを行う。
尚、波動が時間Ｔ以内に観測点Ｐに到達するかしないか
は、波動が、交点Ｑまでの延べ伝播距離ｄと距離ＲＤを
加算した距離を、初期設定した過渡応答の継続時間Ｔ以
内に伝播するか否かで判断される。

【００４９】処理Ｅは、図４に示すように、式３に基づ
き交点Ｑが代表する境界上の微小面素が観測点Ｐに作る
速度ポテンシャルを算出し、観測点Ｐに影響を及ぼす時
刻を基に、過渡応答が配列に格納され記憶される。この
とき、格納位置にすでに値が存在する場合には加算され
る。具体的につぎのごとくである。ここで、微小面素と
は、音線ベクトルを定義した際の立体角によって交点Ｑ
に作られる面をいう。図５（ａ）は複数の音線ベクトル
５０が境界５２に向かい、実線で示した１つの音線ベク
トルがつくる境界５２上の微小面素５４をあらわしたも
のであり、図５（ｂ）は境界を側面から見た境界上の微
小面素５４を示す。図から明らかなように、微小面素の
面積は、厳密には音線ベクトルと境界との角度によって
異なるが、処理においては、交点Ｑまでの延べ伝播距離
ｄと立体角によって作られる円錐の底面積５６でもよ
い。この場合は、近似値は幾分精度は悪くなるが、実用
には十分耐え得るし、かつ微小面積は距離と立体角のみ
で定まるため処理速度も向上する。尚、この微小面素５
４の面積が式３のｄｓ₂に相当する。

【００５０】図４に戻ると、処理４１は、式３の積分項
内の第１項を計算するものであり、処理４２では、式３
の積分項内の第２項を計算するものである。ここで関数
ｆ（ｔ）は、本実施例では、境界における音の反射、吸
収は全反射また全吸収としているため、初期設定で設定
した波源の過渡関数を使用することができる。もし、反
射、吸収が部分的反射、吸収であるならば、境界に反射
するごとに伝播履歴のＦn,rについて、境界の特性に応
じたｆ（ｔ）を定めればよい。

【００５１】処理４３は、積分近似値を求めるために前
述した微小面素の面積を求めるものである。

【００５２】処理４４で、前記処理４１で計算した結果
と、処理４３で求めた微小面素の面積の積を求め、波源
の初期値とを畳み込む。

【００５３】処理４５で、処理４２で計算した結果と、
処理４３で求めた微小面素の面積の積を求め、波源初期
値の微分値と畳む込む。

【００５４】処理４６から４８は、前記近似境界積分結
果から過渡応答を記憶する為の手法である。観測点Ｐで
の音響特性を再生するために、計算される過渡応答が格
納される数値配列が設けられる。この配列は処理Ａでの
初期設定で設けてもよい。配列は波動が観測点Ｐに到来
する時刻Ｄｔに対応して、過渡応答が記憶される配列位
置ｊが定められるため、観測点Ｐにおける時刻に応じた
過渡応答の結果が、対応した数値配列に加算し格納され
る。

【００５５】まず、処理４６において、音線ベクトルの
交点Ｑまでの延べ伝播距離ｄと距離ＲＤとの加算した距
離から、波動が観測点Ｐに到来する時間Ｄｔを求める。

【００５６】つぎに、処理４７において、前記到来時刻
Ｄｔに対応する数値配列の位置ｊを求める。以上から、
処理４８において、処理４４と４５で得られた時系列の
データを数値配列の対応した配列位置ｊに加算し格納す
る。加算し格納するとは、すでに配列位置ｊに値が格納
されていた場合は、その値に加算して格納することであ
り、これにより、近似積分したと同様の効果をうること
ができるのである。さらに、この時系列の配列化をする
ことにより、観測点Ｐにおける音場特性を、配列順位ご
とに読み出して音響再現をすることができるため、効率
の良い音響再現方法および手段を達成することができ
る。

【００５７】処理Ｅが終了すると、次の放射音線ベクト
ルの伝播履歴について処理を続け、ｎ番目の放射音線ベ
クトルについて、伝播履歴の全てのデータについて計算
が終わると、ｎ＋１番目の放射音線ベクトルについて同
様の処理を行う。そして全ての放射音線ベクトルについ
て計算が終わった場合には、図３に示すように次の観測
点について処理を行う。

【００５８】従って、処理Ｄは、各音線ベクトルの全て
の伝播履歴から、音線ベクトルが境界で反射し、観測点
Ｐに寄与する速度ポテンシャルを積分計算し、観測点Ｐ
への過渡応答を求め記憶するものである。

【００５９】以上から、処理Ｄを達成する手段は、記憶
された伝播履歴データを近似境界積分法に適用する手段
であればよく、ソフトウェアの一連のステップに応じて
演算していく演算処理装置や、コンピュータであっても
良く、あるいは、ハードウェアとしてあらかじめ近似境
界積分法の処理手順を構成した装置であっても可能であ
る。

【００６０】上記処理Ｄが終了したら、図１の処理４９
で示すように、音源の直接音が観測点Ｐに与える音響特
性を表すために、直接音の観測点Ｐに到達する時間に対
応する配列位置ｊの配列に過渡特性を加算し格納する。

【００６１】図６は処理Ｂを行った場合の各音線ベクト
ルが反射する境界毎に観測点Ｐに与えるポテンシャルを
算出し時間別に加算し格納し、全体として観測点Ｐでの
過渡応答を求める手順をグラフ化して示したものであ
り、上記処理Ｄおよび直接音の加算が明かであろう。

【００６２】図７（ａ）は、従来の手法の一つである虚
像法により得られた応答信号を示し、図７（ｂ）は、上
記処理によって実際に求められた過渡応答信号の振幅波
形である。図７（ｂ）の振幅波形は、従来の波形図７
（ａ）と比較すると、正の波形以外に負の波形も再現さ
れていることが明らかである。このように従来求めるこ
とが困難であり、あるいは求めるのに莫大な処理時間を
必要とした過渡応答振幅波形を再現することが可能とな
った。

【００６３】次に、この波形に従い実際の音響を再現す
る方法について説明する。図８は、ＣＤプレーヤーやレ
コード、あるいはカセット等の音響再生装置７０により
再生されたアナログ音響信号がライン７１より積和演算
装置（畳み込み装置ともいう）７２に入力され、加工さ
れた音響信号がライン７９へアナログ出力として出力さ
れ、増幅器８０を経てスピーカ８２から音響が再現され
る図を示したものである。畳み込み装置７２は、実際に
積和計算（畳み込み）を行う中央演算装置７６と、その
前後にそれぞれライン７５、７７で結ばれたＡ／Ｄコン
バータ７３、Ｄ／Ａコンバータ７７を含んでいる。ただ
し、音響再生装置７０がデジタル出力を有している場合
には当然ながらＡ／Ｄコンバータ７３は必要ない。この
ような積和演算装置は、例えばＬａｋｅ ＤＳＰ Ｐｔ
ｙ． Ｌｔｄで製品化されているDigital Audio Convol
ution Processor ＦＤＰ １ ｐｌｕｓがある。

【００６４】次に、図９を参照して、Ａ／Ｄコンバータ
７３からのデジタル信号が中央演算装置７６に入力さ
れ、加工されたデジタル信号がライン７７に出力される
一連の処理の概念を示す。

【００６５】図９の離散信号８０は、図８のライン７１
上に現れるアナログ信号を時間に対して離散的に示した
ものであり、実際には、この波形の時間及び振幅データ
はデジタル信号として中央演算装置７６に入力される。
中央演算装置７６は、上記した過渡応答信号生成処理に
より、あるいは他の手法で求められた過渡応答信号８３
が記憶されている。実際に求めるべき離散デジタル信号
８６を求めるには、リアルタイムに入力される離散信号
８０のそれぞれの分割された離散時間毎のデータ全てに
対して過渡応答信号７６に対応した応答信号を発生する
ように畳み込み部８４で処理される。過渡応答信号の遅
延して発生してくる音響を全て再現する必要があるた
め、この処理は、離散時間間隔毎に過渡応答信号の時間
分割数分足し合わせる作業である。例えば、２０ＫＨｚ
の周波数成分までを再生するために、一秒あたり４８，
０００の時間分割した１．３秒継続する過渡応答信号を
使用すると、６５，５３６個のタップを必要とするた
め、音響再生をするには、２０．８ｕｓ（１／４８，０
００）毎に６５，５３６タップのデータを足し合わせて
アナログ出力を行わなければならない。

【００６６】この処理は、上記したＬａｋｅ ＤＳＰ
Ｐｔｙ． ＬｔｄによるDigital Audio Convolution Pr
ocessor ＦＤＰ １ ｐｌｕｓにとって好適である
が、反面、より簡易で安い方法で音響を再現する必要も
ある。従って、以下にその方法及び装置の実施形態につ
いて説明する。

【００６７】図１０は、図７（ｂ）の過渡応答信号生成
の方法と同様の方法で生成された過渡応答信号の振幅
（図１０（ａ））及びエネルギーの対数表示（図１０
（ｂ））の時間変化を示している。過渡応答信号の使用
離散時間間隔を、４８ＫＨｚサンプリングに相当する２
０．８ｕｓとし、再生する継続時間を１．３秒間とする
ことで、過渡応答信号の時間軸上の全サンプリング数を
６５，５３６とした。ここでは、そのサンプリング数の
０から６５，５３６のそれぞれの番号をサンプリング番
号と定義する。

【００６８】図１０（ａ）は、音源としての過渡信号が
発生する時間をちょうどサンプリング番号０として、そ
の後に現れる過渡応答信号波形を示している。これから
明らかなように、主要なパルスは約４，０００サンプリ
ング番号までの前半部分に集中している。又、図１０
（ｂ）から、過渡応答の減衰は、サンプリング番号６
５，５３６の時点で約６０ｄＢの減衰を示しており、使
用する空間の大きさや、壁面材料などにもよるが、この
場合、継続時間を１．３秒に設定すれば十分であること
が分かる。

【００６９】次に、０から４，０９６サンプリング番号
までの図１０（ａ）の波形を拡大したものを図１１
（ａ）で示す。これによって、主要なパルスが存在する
約４，０００サンプリング番号までの間でも、特に大き
い振幅を有する部分はさらに限られていることが明らか
となった。この結果から、図１０（ａ）の特徴的なパル
スのみを抽出した別の新たな過渡応答信号（図１１
（ｂ））を作成した。更にこの抽出過渡応答信号を図９
の過渡応答信号８３として使用し、音響を再現したとこ
ろ、空間的な音の広がりを認識できることが明らかとな
った。

【００７０】以上のことから、時間を経て断続的に人間
の耳に到達する大きい振幅を有するパルスは、従来一般
的に空間残響を表すために使用されてきた単に指数的に
減衰するエコーのような残響と違って、人間の聴覚を刺
激し、３次元的な空間の特徴と固有の広がりを人間に認
識させることができるのである。従って、この特徴的な
部分を再現することによって、再現すべき空間で発生す
る音の空間内の所定の観測点（受聴点）で聞こえる主要
な特徴を再現することが可能となると考えられる。一
方、それ以外の部分のパルスは、人間の聴覚にとって、
先の特徴的なパルスの補完的な要素として捉えることが
できるため、特徴的なパルス部分ほど忠実に再現する必
要性が少ないと考えられる。

【００７１】更には、図１１（ｂ）で示された負のパル
スをその前に現れる正のパルスと共に含んだ過渡応答信
号を使用することで、空間の実像を認識することができ
ることが明らかとなった。負のパルスを取り入れること
による効果は、その過渡応答の周波数成分が取り出せる
ことを意味すると同時に、空間の３次元形状を、そして
特に空間の不連続な境界を人間に認識させることができ
る点にある。なぜならば、先の数学的な論理式である式
２あるいは式３から論理的に導き出すことができるよう
に、負のパルスは、空間が不連続となる部分によって現
れることを意味しているからである。すなわち、この負
のパルスは、３次元空間を形成する壁面（境界）どうし
が凸で交わった部分の辺や、材料が大きく変わった部分
等によって作られてたものであり、聴覚的には空間の実
像として現れたものと考えられる。従って、正のパルス
と共に、負のパルスを再生することは、３次元空間の音
響を再生するうえで重要なことである。

【００７２】このように、過渡応答信号の特徴的な部分
のパルスを抽出し、その抽出した過渡応答信号を使用し
て音響の特徴的な部分を再現すれば、基本的な空間内の
音響特性を認識できる。更には、非常に多くの過渡応答
信号データの中から新たな過渡応答信号となるべきデー
タを限定して抽出することによって、足し合わすべき過
渡応答信号データの数が飛躍的に減少し、その処理負担
を軽減することが可能となる。

【００７３】過渡応答信号のうちの特徴的な部分の取り
出し方法については、（１）パルスの振幅の最大値（絶
対値）順に取り出していく方法が簡易である。これは、
人間の耳に及ぼす聴覚的な刺激をパルス振幅の大きさと
して捉えたものである。このように抽出する場合には、
抽出するパルス数が無制限に増えることを避けるため
に、数的に限定しても良いし、あるいはある閾値を設定
し、それ以上のパルス振幅のみ抽出することも可能であ
る。（２）ある閾値を設定し、その閾値以上のパルス振
幅（絶対値）のみを時間軸上の原点（一般には、音源が
発生した時点）から時間経過順に選択する。これは、音
源発生の最初の方が特に重要な場合であって、その閾値
以下のパルスは特に有用でない場合に効果がある。
（３）上記２において、所定の選択数に至った場合にそ
の抽出を終了する。これは、足し合わすべき数等の計算
処理能力に制限がある場合に特に効果がある。（４）信
号の一群と考えられる信号群のそれぞれについて、その
群のうちの最も強いパルス振幅を有するパルス、あるい
は最初のパルスを選択する。図１２（ａ）を例とする
と、信号群９０は、他の信号と異なり、一群の信号のよ
うに捉えることができる。この過渡応答信号を時間的に
拡大した図１２（ｂ）を見る限りでは、約１０２４から
２０００サンプリング番号までの間に離散して点在した
ピークが見れるが、このようなパルスは、そのサンプリ
ング時間によっては、ピーク間の時間間隔が、人間の聴
覚の分解能力以下の短時間である場合もある。このよう
に、人間の聴覚分解能以下の時間間隔で点在するピーク
パルスは、全てを再現する（すなわち抽出する）必要が
なく、その一つを取り出すだけで、人間の聴覚に十分訴
えることが可能である。例えば、Ｈａａｓ効果として知
られるように、１０ｍｓなどの短い時間間隔で連続して
いる信号は区別できないとされる。この場合の選択され
る一つのパルスは、一群の最初のピークパルスあるい
は、その一群の中の最大ピークパルスである場合もある
だろう。図１２（ｃ）は、この手段に基づき、パルス群
９０のうちの最初のパルスのみを抽出した図である。
（５）前記それぞれの手段には、一定の期間を設定し、
その期間内についてのみ、前記手段を適用してもよい。
空間内の過渡応答信号は、様々な方向に広がる波源の直
接波あるいは反射波の重なりによって観測点に及ぼす音
波の振幅が決められるが、所定の時間以降は、波源のエ
ネルギーが減衰し、十分なピーク値をもたらすことがで
きない。例えば、図１０にも明らかなように、６５５３
０サンプリング数の時点においては、観測点のエネルギ
ー量は約６０ｄＢの減衰を示しており、その期間以上の
抽出をする必要性に乏しい。これは、エネルギーの減衰
量で期間を区切ったものだが、振幅値で区切ることも可
能である。図１０（ａ）及び図１１（ａ）を参照する
と、振幅値が０．００５以上存在する領域は、４０９６
サンプリング番号までであり、それ以降は存在しない。
従って、その期間までの間でピークパルスを選択しても
よい。（６）前記抽出するそれぞれの手段において、正
のピークパルスと対となってそのパルスに続く負のピー
クパルスをも共に抽出することも有効である。前述した
ように、負のピークパルスは、正のピークと合わさり、
その周波数成分を再現できるできるばかりでなく、空間
の実像をも３次元的に把握できるからである。

【００７４】以上のように、幾つかのパルス抽出の手段
を提示したが、高機能な積和演算装置を使用しないで、
簡易な方法で前記抽出後の過渡応答信号に基づいて音響
を再生する装置を図１３の概念図を参照しながら説明す
る。図１３は、図８の畳み込み装置７２の中央演算装置
７６の代わりとして簡易型の畳み込み装置１００を示し
たものである。簡易型畳み込み装置１００は、マルチタ
ップ・ディレイ１１０とリバーブ部１２０及びイコライ
ザー部１３０とからなっている。

【００７５】マルチタップ・ディレイ１１０は、ディレ
イ・ライン１１２、重み付け部１１４、そして加算部１
１８とからなっており、ディレイ・ライン１１２から重
み付け部１１４を介して加算部１１８に複数のタップ信
号用の出力ライン１１５を有している。

【００７６】マルチタップ・ディレイ１１０は、入力さ
れた音響信号に対して、前もって設定された遅延時間と
振幅に基づき処理を行い、信号出力をするものである。
図１１の過渡応答信号を抽出した過渡応答信号を使用し
てマルチタップ・ディレイ１１０の機能を説明する。抽
出すべき信号としては、図１１（ｂ）のＰ１からＰ３０
までの３０個のパルスである。

【００７７】まず複数のタップ出力１１５のうちの最初
のタップ出力用としてＰ１のパルス位置に相当する遅延
時間をディレイ・ライン１１２に設定する。Ｐ１は、こ
こでは観測点に到達した直接音を表しており、その時間
は、１６．５２ｍｓである（サンプリング番号として７
９３番目であり、その発生時間は１６．５２ｍｓ＝７９
３ｘ１／４８，０００））。この設定値を保持したディ
レイ・ライン１１２は、ライン７５から入力された信号
をこの設定値の遅延時間後に最初の重み付け部１１４に
出力することが可能となる。

【００７８】更に、再生すべき信号の大きさを重み付け
部１１４で調整するために設定する。この場合、再生す
べき過渡応答信号の各パルス振幅の大きさの各割合とし
て相対的に設定する。この例で言えば、最大振幅値を有
するパルスはＰ２９であり、それを１００％とするとＰ
１の設定値は約７０％（０．７）である。よって、７０
％と設定保持した最初の重み付け部１１４は、ディレイ
・ライン１１２から得られた信号の振幅を７０％の重み
付け（一般には設定値の割合である０．７を掛ける）を
して、最初のタップ出力１１５に出力することが可能と
なる。

【００７９】以上の設定により、ライン７５から入力さ
れた信号は、１６．５２ｍｓ経過した後、Ｐ１のパルス
用として、複数のタップ出力１１５の最初のタップ出力
から入力信号の振幅の７０％となるように出力されるこ
ととなり、音源が発生してから１６．５２ｍｓ経過後に
直接音として受聴者の耳に届くことができる。

【００８０】次に、Ｐ２用の設定を次のタップ出力１１
５について行う。設定すべきディレイ値は、２２．１６
ｍｓ（＝１０６４／４８，０００）であり、振幅設定値
は６３％である。この設定により、反射音のうちの最初
の特徴的な音が、音源が発生してから２２．１６ｍｓ後
に受聴者の耳に届くことができる。

【００８１】同様の手順でＰ３０まで設定するが、負の
パルスについては、振幅設定値を行う際に負のパルスで
あることを設定する。このように全ての設定が終了する
と、マルチタップ・ディレイ１１０は、各タップ出力１
１５用に設定したディレイ値にあわせて、信号が各タッ
プ出力１１５に順次出力されていくのである。

【００８２】ライン７５に入力される信号は、一般には
一連に継続した音響信号であり、過去に入力された音響
信号が所定の遅延時間後に所定のあるタップ出力１１５
から出力されると同時に、その後に入力された音響信号
が所定の遅延時間後に別の所定のタップ出力１１５から
出力されるため、それら同時刻に各タップ出力１１５に
出力される信号全てを足し合わす為に加算器１１８が設
けられている。従ってＰ１からＰ３０用の全ての同時刻
の信号は、加算部１１８で１サンプリング間隔毎（入力
信号のサンプリング周波数が４８ＫＨｚである場合は１
／４８，０００秒）に足し合わされて、出力１１６にそ
の結果が送出されていくのである。

【００８３】次に、上記ライン１１６に出力した信号を
使用して受聴者がより実際の音場を感ずるようにするた
めに、リバーブ部１２０により残響を付加することが望
ましい。リバーブ部は、市販されている残響装置で良
く、一般的には、マルチタップ・ディレイ１１０で発生
されたサンプリング周波数毎の信号が時間と共に指数的
に減衰するように音響を付加するものである。この場合
の残響時間、及び残響として減衰する特性はその使用す
る残響装置に応じて任意でよく、この残響付加によっ
て、新たに抽出された過渡応答信号のパルス間の隙間を
容易に埋めることが出来ると同時に、該抽出した特徴的
なパルスによる音像感も失われることがない。特に、こ
の残響の付加は前記抽出手段で示した（５）の一群の信
号群から一つのパルスを選択した場合に特に効果があ
る。

【００８４】残響を付加された信号はライン１１７を経
てイコライザー部１３０に入力される。ライン１１６、
１１７上に現れた信号は、上記本願発明による抽出方法
によって過渡応答信号のうちのパルス状の特徴的な信号
のみを取り出したものであるため、高域の周波数成分が
非常に多く含まれている。イコライザー部１３０は、こ
の高周波分を取り除く為に設けられ、ローパスフィルタ
ーとして働き、ライン７７への出力の周波数特性を変化
させる役割を有している。

【００８５】以上のように、多数のうちの過渡応答信号
のうち、特徴的なパルスのみを選択抽出し、新たな簡易
の過渡応答信号を生成することで、限定された数の過渡
応答信号のみを積和演算して３次元空間の音響再生を行
うことができるため、非常に簡易な積和演算装置、ある
いは一般に使用されているタップ数の限定されたタップ
・ディレイ装置を使用することが可能となり、仮想的に
構築された３次元空間内の音響を容易に再現することが
可能となった。

【００８６】［本願発明による音声再生のための過渡応
答信号生成方法］次に、本願発明による、実際に実空間
に配置されたスピーカによって実空間にいる受聴者がそ
の仮想した空間での音声を再現するための過渡応答信号
生成方法について説明する。

【００８７】図１５は、映画館における観客用座席およ
びドルビーサラウンドを再生するためのスピーカの配置
例を示した概略図である。スピーカは、全部で１４個か
らなり、中央のスクリーンのそばに置かれたＳＰ１から
順にＳＰ１４まで観客を取り巻くように配置されてい
る。各スピーカからの音は、直接音や、壁からの反射音
として観客に到達して、映画館特有の音を観客が体験す
ることができる。

【００８８】この観客の体験する音を実際の音として再
生するには、まず、観客に到達する過渡応答信号の要素
であるポテンシャルを生成する。この方法の一つとし
て、先で説明した過渡応答信号の生成方法があげられ
る。この方法によると、まず、映画館の観客を取り巻く
壁を境界として設定することにより、その境界により囲
まれた空間が仮想空間として扱われ、各スピーカは音源
となる。そのスピーカから音がこの仮想空間を伝達し、
観客に与える過渡応答信号を算出すれば、実際の映画館
における観客への過渡応答信号と同等の信号が得られる
のである。

【００８９】例えば、Ｄ₀はスピーカＳＰ１から観客Ｐ
への直接音の音線ベクトルであり、Ｄ₁は壁Ｗに相当す
る境界への音線ベクトルである。また、Ｄ₁の入射音線
ベクトルによる境界上の微小面（図５参照）から観客Ｐ
への速度ポテンシャルがφ（１、１）であり、全体の過
渡応答信号の要素となる。

【００９０】次に、実際の空間において、その映画館の
音を再生する場合について説明する。これは、映画館と
いう仮想空間の３次元の音場を実際の空間（以降、実空
間という）の音場に合成することで可能となる。尚、実
際の空間に合成された音場を以降、合成音場という。

【００９１】まず仮想空間と再現すべき実空間とを重ね
合わせる。重ね合わせは、実空間内の受聴者の位置と仮
想空間内の観客Ｐとの位置が合うように行われる。図１
６は、その実空間１４４を示し、受聴者１４２は図１５
の観客Ｐと重ね合わされている。実空間には４つのスピ
ーカ１４０ａ，１４０ｂ，１４０ｃ，１４０ｄが受聴者
１４２の周りに配置されている。この４つのスピーカに
よって、図１５の観客Ｐへのポテンシャルに基づいた音
響を再生できれば、仮想空間の音を実際に体験できるは
ずである。尚、実空間を設定するうえでは、実空間の受
聴者のと上記４つのスピーカ１４０ａ−ｄとの相対的な
位置が明らかであれば十分であり、その情報をもとに仮
想空間との音場合成を行うことができる。

【００９２】図１６では、一例として図１５で示したポ
テンシャルφ（１、１）が示されており、このポテンシ
ャルを各スピーカ用に分割する。ポテンシャルφ（１、
１）は、スピーカ１４０ａと１４０ｂとの間を通って受
聴者１４２に到達するために、このポテンシャルをスピ
ーカ１４０ａと１４０ｂに分割する。

【００９３】分割の方法を図１６（ｂ）を参照しつつ説
明する。ａ−ａ’は、スピーカ１４０ａ中心と受聴者１
４２の中心とで形成される線分であり、ｂーｂ’は、ス
ピーカ１４０ｂの中心と受聴者１４２の中心とで形成さ
れる線分である。線分ａ−ａ’とｂーｂ’の交点をポテ
ンシャルφ（１、１）の終点φeとし、そのポテンシャ
ルの始点φbに上記線分（ａ−ａ’、あるいはｂー
ｂ’）のいずれかの線分（ここではａ−ａ’）を平行移
動させる。その平行移動させた線分ｃーｃ’と平行移動
しなかった他の線分（ここではｂーｂ’）との交点をＧ
とする。ここで、φｂ−Ｇで作られたベクトルをａ−
ａ’の方向のポテンシャルであって、スピーカ１４０ａ
で使用すべきポテンシャルとし、Ｇーφeで作られたベ
クトルをｂーｂ’の方向のポテンシャルであって、スピ
ーカ１４０ｂで使用すべきポテンシャルとする。

【００９４】この分割をすべてのポテンシャルについて
行うことにより、図１５の観客Ｐへの過渡応答信号が、
図１６（ａ）の４つのスピーカ用に分割されるのであ
る。尚、ここで使用したポテンシャルは、近似音響積分
法により生成されたポテンシャルであるが、他の方法に
より生成されたポテンシャルであっても、同様に適用で
きることに注意すべきである。また、この分割方法は、
一般的な数学的なベクトルの分割である。従って、実空
間のスピーカが３次元に配置された場合であって、ポテ
ンシャルがその３次元に配置された３つのスピーカ間を
通る場合は、３次元の数学的なベクトル分割で各スピー
カ毎のポテンシャルを求めることができる。

【００９５】この各スピーカ毎に分割されたポテンシャ
ルを足し合わして生成された過渡応答信号により、実際
の音響を再生する方法について図１７で説明する。

【００９６】図１７は、図１５で示したドルビーサラウ
ンド１４チャネルを出力する音声出力装置１５０と、全
部で５６個の畳み込み機能を有する（Ａ／Ｄ、Ｄ／Ａコ
ンバータを含む）畳み込み装置１５２と、その出力をそ
れぞれのスピーカ用にミキシングするミキサー１５４
と、各スピーカ用の４つの増幅器１５６及び４つのスピ
ーカ１４０ａ−ｄからなる。尚、実空間１４４では、映
画の画像を再生するためのテレビも受聴者１４２の前に
配置されている。

【００９７】図１５のＳＰ１用のスピーカから発生する
音は、仮想空間内で様々に伝播してその速度ポテンシャ
ルとして観客Ｐに及ぼすが、各々のポテンシャルは、図
１６を参照して説明したように、４つの各スピーカに分
割される。従って、その４つのスピーカ用に分割された
各ポテンシャルが各スピーカ毎にそれぞれ足し合わさ
れ、４つの過渡応答信号が、各スピーカ用として畳み込
み装置１５２の１から４までのそれぞれに記憶される。
ＳＰ２からＳＰ１４についても同様に各スピーカ用とし
て畳み込み装置がそれぞれ４つ設けられる。従って、す
べての過渡応答信号を再生するには、１４（音源数：仮
想空間のスピーカ数）ｘ４（実際の再生スピーカ数）＝
５６個の畳み込み装置を必要とする。

【００９８】音声出力装置１５０からの出力は、図８お
よび図９を参照して示した方法によって畳み込み装置１
５２から仮想音響として出力され、それをミキサー１５
４によって各スピーカ用にミキシングし、増幅器１５６
によって増幅したのち、各スピーカ１４０から音が再生
される。

【００９９】以上から、受聴者１４２は、あたかも映画
館にいるような音で、ドルビーサウンドを体験すること
ができるのである。ここでは、実空間の再生用スピーカ
として４つのスピーカを使用したが、本願発明おいては
その数に限定されるものではなく、２つのスピーカによ
っても、あるいは８チャンネル又はそれ以上の数のスピ
ーカによっても適用できる。また、上記実施例では、ス
ピーカを２次元の平面配置としているが、より３次元的
な音響を体験するためには、複数のスピーカを３次元に
配置し、観測点に及ぼす速度ポテンシャルを３次元の各
スピーカに分割すればよい。その分割は、上記したよう
に周知な数学的なベクトルの分割で可能である。

【０１００】尚、畳み込み装置１５２の中の実際に畳み
込みをおこなう中央制御装置の代わりに、図１３で示し
たマルチタップ・ディレイを使用することにより、より
安価であるため、家庭に適した映画館用ドルビーサラウ
ンドの音を得ることができる。

【０１０１】以上のように、既存の映画等の音を実空間
のスピーカで再生する（以下、このスピーカを再生スピ
ーカという）には、体験したい映画館等を仮想した空間
として設定し、その映画館等に設置されたスピーカ（以
下、上記再生スピーカと区別するため設置スピーカとい
う）を音源として発生した過渡信号が受聴者に及ぼす過
渡応答信号を実空間の各再生スピーカ毎に求め、その各
過渡応答信号を使用して、各設置スピーカ毎に割り当て
られたステレオやドルビーサラウンド音を畳み込めばよ
い。以上は、既存の映画等の音源ソースを好きな映画館
等の音響空間で楽しむように実空間の再生用スピーカで
再生するものである。

【０１０２】一方、今後の新たな音源ソースを作成する
上でも、本発明による上記手段を使用することは有効で
ある。例えば、ある映画の場面において、その場面の人
や動物の声、あるいはその他の環境音が映画を鑑賞する
受聴者に及ぼす音響を再生するために、その場面の空間
を仮想空間として設定し、上記人や動物の声、あるいは
その他の環境音の位置を仮想空間の音源の位置として扱
い、上記と同様の仮想空間と実空間の合成手段を適用す
れば、それらの音を実空間で再生することが可能とな
る。図１８（ａ）は、これまで説明した映画館等の仮想
した空間に配置されたスピーカＳＰを音源として実空間
における再生用スピーカ１４０ａ−ｄ及び受聴者の位置
関係の概要を示したものであり、図１８（ｂ）は、映画
等の場面の空間を仮想空間として、人や動物や環境音を
音源として実空間における再生用スピーカ１４０ａ−ｄ
及び受聴者の位置関係を示したものである。

【０１０３】図１８（ａ）と図１８（ｂ）の違いは、仮
想空間の音源となるものが一方はスピーカであって位置
が固定したものであるが、他方は動物や人のため位置が
変動する点にある。しかし、共に音源である点について
は本願発明にとって共通することから、同様に本願発明
を適用することができる。ただし、移動音源について
は、各時間に応じて仮想空間内の音源の位置を計算し
て、その位置から発生した音の受聴者に及ぼす過渡応答
信号をその時間ごとに求める必要がある。従って、その
時間毎にポテンシャルを求め、そのポテンシャルに基づ
いて上記で説明した方法によってその時間毎の過渡応答
信号を生成する。ここで重要なことは、移動音源を本願
発明において適用することは、現在すでに注目されつつ
あるＣＧ画像においての現実的な音響を再生するため手
段となることであり、将来の映画制作過程における音声
制作、編集を自動的に作成することを可能とする点にあ
る。

【０１０４】［仮想空間の切り替えによるダイナミック
・サウンドの提供］次に、映画館の仮想空間に捕らわれ
ず、そのシーンに応じて新たな仮想空間を設定し、その
仮想空間内での音響を再生する手法について説明する。

【０１０５】図１９は、時間と共に変化する仮想音響空
間１５８とその中の実空間１４４との関係を示した概略
図である。すなわち、時間Ｔ１の時は、実空間１４４の
受聴者１４２が縦長の仮想空間のほぼ中央にいて、その
仮想空間１５８の周囲から到来する音を受聴者１４２の
実空間１４４の４つのスピーカ１４０で再生するよう
に、実空間を仮想空間に合成したものである。また、時
間Ｔ２の時は、実空間１４４を、壁をほぼ正四方形の仮
想空間の隅に合成したものであり、時間Ｔ３の時は、比
較的高さのある空間の上方に実空間を合成したものであ
る。ここで、上記変化する仮想空間は、実際の画面のシ
ーンに応じて設定されたものである。このように、時間
の変化に応じて仮想空間と実空間の場所を変えて合成で
きれば、実空間の受聴者は、その画面のシーンに応じ
て、そのシーンに最も適応した音響を得ることが可能と
なるだろう。従って、例えば、草原のような広い空間に
いる場面では、その広大な風景ととともに、再生される
音についてもその壮大な空間を感知できる。あるいは、
その シーンが次第に深刻となるに従って、仮想空間の
エリアを次第に大きくしてその残響等の効果を拡大し、
その深刻さを助長させるといった演出も可能である。

【０１０６】図２０には、シーンに応じて音を再生する
ための装置のブロック図を示したものである。まず、音
声信号とその音声信号との同期を示す同期信号のための
情報の両方を有する入力信号１７２が入力部１６０に入
力される。この同期信号情報は、再生すべき音声を画像
と同期させるために使用するものである。入力信号１７
２は、入力部１６０によって、入力信号を復調あるい
は、所定周波数領域に周波数でサンプリングして、音声
信号１８０と同期信号１７４を得てそれぞれに分割し、
Ｄ／Ａコンバータ１６８と制御部１６２に入力される。
ここでＤ／Ａコンバータ１６８が破線で示されているの
は、入力信号１７２そのものがデジタル・データの場合
はＤ／Ａコンバータ１６８を必要としないことを示すた
めである。一方、同期信号１７４が入力された制御部１
６２は、その同期信号１７４に応じて、制御信号１７６
を記憶部１６４及び中央演算部１６６に送出する。記憶
部１６４は、中央演算部１６６が使用するいくつかの過
渡応答信号をあらかじめ記憶している。記憶部１６４
は、制御信号１６２により指定された過渡応答信号が読
み出され、中央演算部１６６に画面のシーンに応じた所
定の過渡応答信号１７８をリアルタイムに送出する。
尚、ここでの所定の過渡応答信号の指定の方法について
は、例えば、同期信号の発生をトリガーにして順番に過
渡応答信号を読み出してもよく、あるいは同期信号に所
定の過渡応答信号をアドレシングする情報が含まれ、そ
の情報により所定の過渡応答信号が指定されるようにし
てもよい。中央演算部１６６は、制御部１６２からの制
御信号１７６の制御により、新たに送出された過渡応答
信号１７８をセットする。中央演算部１６６は、図８で
示した中央演算部７６と同等の畳込みの機能を有してい
るとともに、記憶部１６４からの過渡応答信号１７８を
制御信号１７６に応じて任意にセットできる機能を有し
ている。このセット機能及び畳み込み機能を達成するの
は、市販のＤＳＰ（デジタル・シグナル・プロセッサ）
によってその技術分野の者であれば比較的容易に達成で
きる。所定の過渡応答信号がセットされた中央演算部１
６６は、すでに図８及び図９を参照して説明した方法に
より、その過渡応答信号を基本にしてデジタル音声信号
１８２を畳み込み、その結果をＡ／Ｄコンバータに送出
する。従って、Ａ／Ｄコンバータによって送出された再
生信号１８６は、画面のシーンに応じて設定された空間
の音を表している。この再生信号１８６（仮想空間音と
もいう）を増幅器を介してスピーカで再生すれば、受聴
者はそのシーンに応じた音を体験することができるので
ある。ここでは、時間と共に変化する仮想空間に応じた
過渡応答信号を設定する場合を説明したが、仮想空間の
変化のみでなく、時間と共に過渡応答信号が変わるも
の、例えば、時間と共に音源が移動する場合など、でも
適用できることは容易に理解できるだろう。

【０１０７】尚、今日、一般に使用されている映画用ビ
デオテープＬＤ等では、同期用の信号が存在しない。し
たがって、このような画像の再生においては、動画再生
からの時間をカウントし、シーンの変化する時間に応じ
てすでに記憶されている過渡応答信号を記憶部１６４か
ら中央演算部１６６に送出するように制御部１６２で制
御すればよい。従って、この場合は、入力部１６０を必
要とせず、動画再生が始まったトリガー信号が制御部１
６２に入力され、そのトリガーに従って、制御部１６２
は時間をカウントアップし、あらかじめ決められた時間
となったとき、制御部１６２は、記憶部１６４及び中央
演算部１６６に制御信号を送出するようにすればよい。

【０１０８】また、記憶手段１６４に記憶される種々の
過渡応答信号は、例えば遠隔から通信により映像を再生
する場合にあっては、その通信手段により前もって記憶
部１６４に記憶するように送信されることも容易に考え
られるだろう。

【０１０９】入力部１６０は、将来のマルチメディアの
発展、デジタル放送の出現、あるいは、コンピュータ間
の圧縮・符号化映像／音声信号の送受信等に応じて、適
宜適応可能なように設計すればよい。例えば、ＩＳＯで
規格化されたＭＰＥＧ２規格についてその概要を示し
て、入力部１６０について説明する。ＭＰＥＧ２規格を
使用した信号の送信は図２２に示すことができる。映像
と音声信号は、それぞれ別個にエンコーダに送出され、
そのエンコード信号はパケット化されるとともに、ＭＰ
ＥＧ２のトランスポート・ストリーム（ＴＳ）多重化装
置及びＭＰＥＧ２のプログラム・ストリーム（ＰＳ）多
重化装置に送出され、実際のストリーム信号（ＴＳ及び
ＰＳ）として送出される。ＴＳのパケット構造は、パケ
ットヘッダのほかにアダプティーション・フィールド及
び／またはベイロード（データ部）を含んでいる。アダ
プティーション・フィールドは、ＰＣＲ（ＰＲＯＧＲＡ
ＭＣＬＯＣＫ ＲＥＦＥＲＥＮＣＥ）と呼ばれる番組の
基準となる時刻情報を含んでいる。またベイロードは各
種データを送出するのに使用される。従って、このアダ
プティーション・フィールドあるいはベイロード（デー
タ部）を使用することにより、同期用の信号を含ませ、
それにより、上記で説明した同期制御を可能とすること
ができる。尚、この場合には、入力信号１７２がパケッ
ト化されたストリーム信号であるため、当然ながら実際
の映像信号をデコードする機能や、同期用の信号を分離
することが必要であるが、使用する電送プロトコルに応
じて適宜復調・サンプリング制御を変更すればよい。す
なわち、本発明の特徴は、このブロック図に限定される
ものではなく、映像の各シーンに応じて再生すべき仮想
空間を自由に変え、よりダイナミックな音声情報を提供
することにある。

【０１１０】この本願発明の目的を達成するものである
ならば、図２１のようなブロック図であっても可能であ
る。このブロック図と、図２１との比較において異なる
ところは、記憶部がなく、直接に過渡応答信号１７８が
制御部から中央演算部１６６に送出されることにある。
これは、放送局、あるいはカラオケの発信局、もしく
は、画像用ＣＤ等からの画像と音声とともに、そのシー
ンの過渡応答信号をそのつど入力信号１９２によって受
けた場合であって、入力部１６０によって、音声信号１
８０と過渡応答信号を含んだ信号１９４に分割され、制
御部１６２を介して中央演算部１６６への制御信号１７
６により、過渡応答信号１７８が中央演算部１６６に入
力セットされる。

【０１１１】尚、図２１及び２１で示した中央演算部１
６６は、図１３で示した簡易化された機能を有する中央
演算部１００と同等の畳み込み機能を有するものであっ
てもよい。これにより、より簡易且つ安価に空間音響を
再生することが可能となるため、家庭等のコンシューマ
製品を提供することが可能となるだろう。特に、家庭用
ビデオ機器やコンピュータの動画出力に伴う音声出力は
２チャンネルであるため、それを４つのスピーカで再生
するには、８つの畳み込み装置の機能を有する中央演算
部１６６を有していればよく、図１７で示した畳み込み
装置の数５６よりもずっと少なく、より個人の使用に適
したものを提供できる。

【図面の簡単な説明】

【図１】 過渡応答信号を求めるためのフローチャート

【図２】 伝播履歴を求め、記憶する処理を示すフロー
チャート

【図３】 各音線ベクトルの伝播履歴から、近似境界積
分法により過渡応答を算出する処理のフローチャート

【図４】 近似境界積分法による過渡応答を算出し、加
算記憶する処理のフローチャート

【図５】 音線ベクトルが作る微小面素とその面積を示
す

【図６】 各音線ベクトルが反射する度に観測点にもた
らすポテンシャルを全音線ベクトルと直接音を時間軸に
沿って加算して得られる過渡応答

【図７】 図１の方法で得られた仮想空間のインパルス
応答と、従来からある古典的な計算手法である虚像法に
よる応答との比較

【図８】 過渡応答信号を使用して音響を再生する装置
のブロック図

【図９】 過渡応答信号を使用して音響を再生するため
の概念図

【図１０】 得られた過渡応答信号の振幅及びエネルギ
ー減衰を示すグラフ

【図１１】 得られた過渡応答信号と特徴的な過渡応答
信号を示す時間軸で拡大したグラフ

【図１２】 図１１と同様の他の過渡応答信号と特徴的
な過渡応答信号を示す時間軸で拡大したグラフ

【図１３】 抽出した過渡応答信号を使用して音響を再
生するための簡易な装置を示すブロック図

【図１４】 空間内で観測点に及ぼすポテンシャルを表
す図である。

【図１５】 映画館の中の１つの音線ベクトルと観客へ
のポテンシャルを示す上面図である。

【図１６】 実空間と図１５で示した仮想空間とを合成
した上面図及び仮想空間のポテンシャルを実空間の各ス
ピーカへ分割した上面図を示す。

【図１７】 図１５で示した映画館での音響を再生する
ためのブロック図である。

【図１８】 音源としてスピーカが配置された仮想空間
内に合成された実空間とその再生用スピーカ及び受聴者
を示す上面図と、人や動物等の移動音源を有する仮想空
間内に合成された実空間とその再生用スピーカ及び受聴
者を示す上面図である。

【図１９】 仮想空間を時間とともに変化させて実空間
と合成するための概略図である。

【図２０】 仮想空間を時間とともに変化させて実空間
で音を再生するための第１のブロック図である。

【図２１】 仮想空間を時間とともに変化させて実空間
で音を再生するための第２のブロック図である。

【図２２】 ＭＰＥＧ規格を使用した映像と音声の送信
のためのブロック図である。

【符号の説明】

５０．．．音線ベクトル、 ５２．．．境界、 ５
４．．．微小面素 ５６．．．微小面積、７０．．．音響再生装置、 ７
２．．．畳み込み装置 ７３．．．Ａ／Ｄコンバータ、７６．．．中央演算装置 ７８．．．Ｄ／Ａコンバータ、８０．．．増幅器 ８２．．．スピーカ ８３．．．過渡応答信号、 ８４．．．畳み込み部 ９０．．．パルス群 １００．．．簡易型畳み込み装置 １１０．．．マルチタップ・ディレイ、 １１２．．．
ディレイ・ライン １１４．．．重み付け部 １１５．．．タップ出力、 １１８．．．加算部 １２０．．．リバーブ部、 １３０．．．イコライザー
部 １４０，１４０ａ，ｂ，ｃ，ｄ．．．スピーカ １４４．．．実空間 １５０．．．音声出力装置 １５２．．．畳み込み装置 １５４．．．ミキサー １５６．．．増幅器 １６０．．．入力部 １６２．．．制御部 １６４．．．記憶部 １６６．．．中央演算部 １６８．．．Ｄ／Ａコンバータ １７０．．．Ａ／Ｄコンバータ １７２、１９２．．．入力信号 １７４．．．同期信号 １７６．．．制御信号 １７８．．．過渡応答信号 １８０．．．音声信号 １８２．．．デジタル音声信号 １８６．．．再生信号

Claims (10)

【特許請求の範囲】
1. 【請求項１】（ａ）音源を有する所定の仮想空間を設定
   するステップと、 （ｂ）複数のスピーカが配置された所定の実空間を設定
   するステップと、 （ｃ）前記実空間内の受聴点と前記仮想空間内の観測点
   とを重ね合わせるステップと、 （ｄ）前記仮想空間内の音源から発生した過渡信号が前
   記仮想空間内に伝播して夫々の遅延時間経過後に前記観
   測点に及ぼすポテンシャルを求めるステップと、 （ｅ）前記観測点に向かう前記ポテンシャルを前記重ね
   合わされた前記実空間の前記複数のスピーカの夫々に分
   割するステップと、 （ｆ）前記スピーカ毎に分割されたポテンシャルを前記
   遅延時間に応じて加算して前記スピーカ毎に過渡応答信
   号を求めるようにしたステップとからなる、過渡応答信
   号生成方法。
2. 【請求項２】前記音源が複数の音源からなり、 前記スピーカ毎の前記過渡応答信号を前記複数の音源の
   夫々について求めるようにした、請求項１記載の過渡応
   答信号生成方法。
3. 【請求項３】所定のホールを前記仮想空間として設定
   し、 前記音源位置を前記ホールに設置されたスピーカ位置と
   する、請求項２記載の過渡応答信号生成方法。
4. 【請求項４】前記仮想空間の大きさが時間毎に変化する
   空間であって、 前記ポテンシャルを求めるステップ（ｄ）は、前記時間
   のそれぞれについて、前記音源から発生した過渡信号が
   変化した前記仮想空間内に伝播して夫々の遅延時間経過
   後に前記観測点に及ぼすポテンシャルを求めるステップ
   であり、 前記過渡応答信号を求めるステップ（ｆ）は、前記時間
   のそれぞれについて、前記スピーカ毎に分割されたポテ
   ンシャルを前記遅延時間に応じて加算して前記スピーカ
   毎に過渡応答信号を求めるようにしたステップである、
   請求項１又は２記載の過渡応答信号生成方法。
5. 【請求項５】前記音源は時間毎にその位置を変える音源
   であって、 前記ポテンシャルを求めるステップ（ｄ）は、前記時間
   のそれぞれについて、位置を変えた前記音源から発生し
   た過渡信号が前記仮想空間内に伝播して夫々の遅延時間
   経過後に前記観測点に及ぼすポテンシャルを求めるステ
   ップであり、 前記過渡応答信号を求めるステップ（ｆ）は、前記時間
   のそれぞれについて、前記スピーカ毎に分割されたポテ
   ンシャルを前記遅延時間に応じて加算して前記スピーカ
   毎に過渡応答信号を求めるステップである、請求項１又
   は２記載の過渡応答信号生成方法。
6. 【請求項６】前記仮想空間の大きさが時間毎に変化する
   空間であるとともに、前記音源が時間毎にその位置を変
   える音源であって、 前記ポテンシャルを求めるステップ（ｄ）は、前記時間
   のそれぞれについて、位置を変えた前記音源から発生し
   た過渡信号が変化した前記仮想空間内に伝播して夫々の
   遅延時間経過後に前記観測点に及ぼすポテンシャルを求
   めるステップであり、 前記過渡応答信号を求めるステップ（ｆ）は、前記時間
   のそれぞれについて、前記スピーカ毎に分割されたポテ
   ンシャルを前記遅延時間に応じて加算して前記スピーカ
   毎に過渡応答信号を求めるようにしたステップである、
   請求項１又は２記載の過渡応答信号生成方法。
7. 【請求項７】音声を再生するための畳み込み装置に対し
   て過渡応答信号を設定する方法であって、 再生すべき音声に応じて異なった複数の過渡応答信号を
   生成するステップと、 前記複数の過渡応答信号を記憶するステップと、 前記音声を再生する際に該音声に対応し記憶された過渡
   応答信号を畳み込み装置に設定するステップと、 からなる過渡応答信号設定方法。
8. 【請求項８】音声を再生するための畳み込み装置に対し
   て過渡応答信号を設定する方法であって、 再生すべき音声に応じて異なった複数の過渡応答信号を
   生成するステップと、 前記複数の過渡応答信号を記憶するステップと、 前記再生すべき音声信号に同期信号を付帯させるステッ
   プと、 前記音声信号を再生する際に前記付帯された同期信号に
   基づき記憶された複数の過渡応答信号から所定の過渡応
   答信号を畳み込み装置に設定するステップと、 からなる過渡応答信号設定方法。
9. 【請求項９】音声を再生するための過渡応答信号の設定
   装置であって、 音声信号に伴って送信される同期信号を入力する入力部
   と、 複数の過渡応答信号を記憶するための記憶部と、 前記入力された同期信号に応じて所定の過渡応答信号を
   畳み込み装置に設定するための制御部と、を有する過渡
   応答信号設定装置。
10. 【請求項１０】音声を再生するための過渡応答信号の設
    定装置であって、 音声信号に伴って送信される過渡応答信号を入力する入
    力部と、 前記入力された過渡応答信号を畳み込み装置に設定する
    ための制御部と、を有する過渡応答信号設定装置。