JP6511775B2 - 残響音付加装置 - Google Patents

Description

この発明は、入力された音響信号に残響音を示す信号を付加する装置に関する。

所定の空間の音響特性をシミュレートして、入力された音響信号（入力信号）に当該空間の残響音を示す信号（残響信号）を付加する技術がある。この技術では、入力信号に残響信号を付加して得られた出力信号がスピーカに供給され、残響音を伴った音が当該スピーカから放音される。

残響音の聴感的な印象に影響を与える物理的な要素の１つとして、残響音を構成する音の時間的な密度（以下、音密度という）がある。この残響音の音密度に対応する聴感的な印象を、残響音の密度感と呼ぶこととする。例えば、残響音の音密度が高ければ密で詰まった感じがある残響音となり、残響音の音密度が低ければ疎でまばらな感じがある残響音となる。

特開２０００−０６９５９８号公報 特開２００４−２１２７９７号公報

残響音の音密度は、入力信号の種類や内容、空間の音響特性などによって異なる。このため、好まれる残響音の音密度は異なる。例えば、ドラムなどのアタックの強い短音を出す楽器の音に付加する残響音としては、音密度が比較的に高い残響音が好まれる一方、残響の長いコンサートホールでのクラシック演奏などの音に付加する残響音としては、音密度が比較的に低い残響音が好まれる。このため、残響音の音密度を、入力信号の種類や内容、空間の音響特性などに応じて適切な大きさに制御したい、という要求がある。

残響音の音密度を制御する技術の一例として、全域通過フィルタを用いて残響信号の発生密度を増大させる技術が特許文献１に開示されている（特許文献１の段落０００８参照）。特許文献１に開示される櫛形フィルタと全域通過フィルタからなる残響音付加回路では、残響音の音密度を増大させつつ、残響音を生成することはできるものの、インパルスレスポンス（所定の空間の音響特性である時間応答を表す物理量。以下、ＩＲと表記する。）を用いた畳み込み方式ではないために、所定の空間の音響特性を再現することができない。

この発明は以上のような事情に鑑みてなされたものであり、所定の空間の音響特性をシミュレートしつつ、残響音の音密度を制御することが可能な残響音付加装置を提供することを目的とする。

この発明は、所定のノイズを生成するノイズ生成手段と、ランダムな時間間隔を有するインパルス列からなるインパルスノイズを生成するインパルスノイズ生成手段と、前記ノイズと前記インパルスノイズとを加算して加算ノイズを生成する加算ノイズ生成手段と、前記加算ノイズと、空間の音響特性を表すインパルスレスポンスの振幅特性とを乗算して修正インパルスレスポンスを生成するインパルスレスポンス生成手段と、入力される音響信号に前記修正インパルスレスポンスを畳み込んで出力するインパルスレスポンス畳み込み手段と、を有することを特徴とする残響音付加装置を提供する。

この発明によれば、ランダムな時間間隔を有するインパルス列からなるインパルスノイズを加算した加算ノイズから修正インパルスレスポンスが生成され、この修正インパルスレスポンスが音響信号に畳み込まれる。これにより、畳み込まれた後の信号は、インパルスノイズに対応するランダムな時間間隔を有する。このため、畳み込まれた後の信号の音密度は変化する。従って、本残響音付加装置によれば、残響音の音密度を制御することができる。

この発明の一実施形態である残響音付加装置１の構成を示すブロック図である。 同残響音付加装置１のインパルスノイズ生成部６０のインパルスノイズ生成処理の概念を示す図である。 同残響音付加装置１の信号処理部３０の構成を示す図である。 同信号処理部３０の直接音計算部１０１、初期反射音計算部１０２および後部残響音計算部１０３の基本構成である音響計算部１００の構成を示す図である。 同信号処理部３０の無相関ＩＲ畳み込みフィルタ１０５の構成を示す図である。 同無相関ＩＲ畳み込みフィルタ１０５の無相関ＩＲ生成部３１０が行う処理の内容を示す概念図である。 同無相関ＩＲ生成部３１０が行う処理の内容を示すフローチャートである。 同無相関ＩＲ生成部３１０が帯域別時間伸縮処理部４５０により行う時間伸縮処理の例を示す図である。 同帯域別時間伸縮処理の例を示す図である。 この発明の変形例（１）を説明する図である。 この発明の変形例（３）を説明する図である。 この発明の変形例（５）を説明する図である。 この発明の変形例（６）の信号処理部３０Ｂの構成を示す図である。

以下、図面を参照し、この発明の実施形態について説明する。
＜実施形態＞
図１は、この発明の一実施形態による残響音付加装置１の構成を示すブロック図である。残響音付加装置１は、制御部１０、入出力インタフェース（以下、入出力Ｉ／Ｆと表記する）２０、信号処理部３０、記憶部４０、ノイズ生成部５０、インパルスノイズ生成部６０およびこれら構成要素間のデータ授受を仲介するバス７０を含んでいる。残響音付加装置１は、音響信号が入力される入力系統を一つ有し、出力信号が出力される出力系統を複数（本実施形態ではＮ個）有している。残響音付加装置１には、この出力系統の数だけスピーカ８０が接続されている。残響音付加装置１は、入力された音響信号（入力信号）に残響音を示す信号（残響信号）を付加してスピーカ８０に出力する装置である。残響音付加装置１は、例えば、劇場や映画館などに用いられる。残響音付加装置１に接続された複数のスピーカ８０は、例えば、劇場や映画館の壁などに設置される。

制御部１０は、例えば、ＣＰＵ（中央演算装置）である。制御部１０は、記憶部４０に記憶されているプログラム（図示略）を実行することにより、残響音付加装置１の制御中枢として機能する。記憶部４０は、フラッシュＲＯＭなどの不揮発性記憶部やＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）などの揮発性記憶部を含む記憶装置である。不揮発性記憶部には、制御装置１０によって実行されるプログラムが記憶されている。このプログラムは、例えば、入力信号を加工するための各種のパラメータを信号処理部３０に対して指示するプログラムなどである。また、不揮発性記憶部には、インパルスレスポンス（ＩＲ）が記憶されている。ＩＲは、例えば、所定の空間（例えば劇場や映画館など）において測定することによって得られたインパルスレスポンスである。また、ＩＲは、所定の空間について反射音の伝搬特性をシミュレート（計算）することによって得られたインパルスレスポンスでも良い。あるいは、実測または、シミュレート（計算）により得られたＩＲを適宜、組み合わせたり、編集、加工したりして得られたインパルスレスポンスでも良い。要は、所定の空間の音響特性を表すインパルスレスポンスであれば良い。本実施形態では、空間内の代表的な音源および受音点において測定されたＩＲが不揮発性記憶部に記憶されている。揮発性記憶部は、不揮発性記憶部内のプログラムを実行するためのワークエリアとして使用される。

入出力Ｉ／Ｆ２０は、マウスなどの操作子やディスプレイなどの表示装置を含んでいる。入出力Ｉ／Ｆ２０の操作子は、ユーザによる操作に応じた信号を制御部１０に送る。また、入出力Ｉ／Ｆ２０の表示装置は、制御部１０の制御に応じた情報を画面に表示する。ユーザは、入出力Ｉ／Ｆ２０によって空間の態様などを指定することができる。例えば、ユーザは、操作子を操作して空間の壁面の位置情報を指定する、という具合である。

ノイズ生成部５０は、所定のノイズを生成するノイズ生成手段である。所定のノイズとは定常雑音であり、例えば、ホワイトノイズのように、レベルが一定であって広帯域の周波数成分を有する雑音である。本実施形態のノイズ生成部５０は、出力系統毎に独立した異なる複数（Ｎ個）のノイズを生成する。より詳細には、ノイズ生成部５０は、互いに無相関な（あるいは、互いに相関が低い）複数（Ｎ個）のノイズを生成する。ノイズ生成部５０によって生成されるノイズは、ＩＲの時間長さと同程度の時間長さを有し、例えば、１０秒程度である。生成されたノイズは、信号処理部３０に引き渡される。

インパルスノイズ生成部６０は、ランダムな時間間隔で発生するインパルスの列で構成されるインパルスノイズを生成する手段である。本実施形態におけるランダムな時間間隔は、具体的には、所定の確率に応じた制御の下に決定される。すなわち、このインパルスノイズは、所定の確率の時間間隔を有するインパルス列からなるインパルスノイズである。図２は、インパルスノイズ生成部６０のインパルスノイズ生成処理の概念を示す図である。図２（Ａ）は、インパルス列における各インパルスが発生する時間間隔の確率密度を表す確率密度関数を示している。インパルスノイズ生成部６０は、図２（Ａ）に示す確率密度関数に従って各インパルスを発生してインパルス列を生成する。ここで、図２（Ａ）の横軸のインパルスの時間間隔は、次のインパルスが発生するまでの時間間隔であり、縦軸の確率密度は、その時間間隔のインパルスを発生する確率である。具体的には、一例として、５ミリ秒の時間間隔で次のインパルスを発生する確率は１／８、１０ミリ秒の時間間隔で次のインパルスを発生する確率は１／４、１５ミリ秒の時間間隔で次のインパルスを発生する確率は１／８、などと設定される。

図２（Ｂ）は、図２（Ａ）の確率密度関数を用いてインパルス列を生成する方法を例示する図である。図２（Ｂ）は、図２（Ａ）の確率密度関数を、時間間隔が０から所定値までの区間を積分した関数値を示している。図２（Ｂ）に例示するインパルス列生成方法では、インパルスノイズ生成部６０は、クロックなどに従って０から１までの間の乱数（具体的には疑似乱数）を一様に順次発生する乱数発生部を含んでいる。乱数発生部が発生する乱数の値は、図２（Ｂ）の確率密度の積分値に対応させる。インパルスノイズ生成部６０は、発生した乱数の値に対応する確率密度の積分値から、時間間隔の値を決定する。そして、決定した時間間隔に基づいて、インパルス列発生部でインパルスを生成する。これにより、当初設定した時間間隔の確率密度関数に対応したインパルスを、所定の確率の時間間隔で順次発生していくことができる。ここで、発生したインパルスの時間間隔は時々刻々と変化するが、前述の確率密度関数に支配されており、インパルスの平均時間間隔は所定の値（確率密度関数で決定される値）に保たれる。実際には、例えば０．１秒から２０秒程度の時間で１０００個程度のインパルスをインパルス列内に含むようにインパルスの発生処理が実行される。従って、インパルスの平均時間間隔は０．１ミリ秒から２０ミリ秒程度に設定される。生成されたインパルスノイズは、信号処理部３０に引き渡される。

図１に示す信号処理部３０は、例えば、ＤＳＰ（デジタルシグナルプロセッサ）である。信号処理部３０は、入力信号に残響信号を付加する処理を行う手段である。信号処理部３０は、複数（本実施例ではＮ個）の出力端を有している。信号処理部３０の複数の出力端の各々は、Ｎ個のスピーカ８０に接続されている。なお、スピーカ８０を駆動する電力増幅器は、図示を省略する。

図３は、信号処理部３０の全体の構成を示す図である。図３に示すように、信号処理部３０は、直接音計算部１０１と、初期反射音計算部１０２と、後部残響音計算部１０３と、音響特性近似フィルタ１０４と、無相関ＩＲ畳み込みフィルタ１０５と、乗算器１０６、１０７および１０８と、加算器１０９および１１０とを含んでいる。信号処理部３０には、入力端１１５を介して一の入力信号が入力され、Ｎ個の出力系統を介して異なるＮ個の信号が出力される。

一般に、ある空間において楽器などの音源から、受聴者が位置する受音点へ到達する音は、直接音と残響音とから構成される。また、残響音は、初期反射音と、後部残響音とから構成される。本明細書において、直接音とは、音源から受音点へ直接に到達する音のことを言う。残響音とは、直接音に続き、空間内の境界（壁面、天井等）で反射して受音点に到達する音のことをいう。初期反射音とは、空間内の境界で反射して受音点へ到達する音のうち、反射回数の少ない初期の反射音を言い、特に１次〜２次程度の反射音のことを言う。後部反射音とは、音響空間の壁面などで反射して受音点へ到達する音のうち、反射回数が初期反射音よりも多い反射音を言い、特に３次〜６次程度の反射音のことを言う。なお、ｎ次（ｎは１、２、３・・・）反射音とは、空間内の境界において、ｎ回反射した後に受音点へ到達する音のことを言う。また、上記で、２次、３次、６次などと示した次数は一例にすぎず、他の次数でも良い。

図３に示す音響特性近似フィルタ１０４は、シミュレートの対象とする空間の音色を付与する手段である。具体的には、音響特性近似フィルタ１０４は、初期反射音の伝搬経路の距離に応じた音の減衰特性を示すフィルタや、初期反射音が空間の壁面などで反射するときの壁面の音響特性に応じた減衰特性を示すフィルタなどである。

直接音計算部１０１、初期反射音計算部１０２および後部残響音計算部１０３は、各々、直接音、初期反射音および後部残響音に関する伝搬特性を計算する手段である。より詳細には、直接音計算部１０１は、入力端１１５から入力される入力信号に対して空間の直接音の伝搬経路に対応する伝搬特性をシミュレートした結果を施して、乗算器１０６の接続された複数の出力ラインに振り分ける手段である。初期反射音計算部１０２は、入力端１１５から音響特性近似フィルタ１０４を介して入力される入力信号に対して初期反射音の各伝搬経路に対応する伝搬特性をシミュレートした結果を施して、乗算器１０７の接続された複数の出力ラインに振り分ける手段である。後部残響音計算部１０３は、入力端１１５から入力される入力信号に対して後部残響音の各伝搬経路に対応する伝搬特性をシミュレートした結果を施して、無相関ＩＲ畳み込みフィルタ１０５の接続された複数の出力ラインに振り分ける手段である。直接音計算部１０１の出力ライン数と初期反射音計算部１０２の出力ライン数と後部残響音計算部１０３の出力ライン数は、同数である。なお、直接音計算部１０１、初期反射音計算部１０２および後部残響音計算部１０３の各々の出力ラインは、残響音付加装置１の出力系統に対応している。

直接音計算部１０１、初期反射音計算部１０２および後部残響音計算部１０３の基本的な構成は同じである。以下、これらの基本的な計算部を音響計算部１００と表記する。音響計算部１００は、例えば、鏡像法や音線法などの計算手法により、反射音の伝搬特性を計算する処理と、例えば、ＶＢＡＰ（Ｖｅｃｔｏｒ Ｂａｓｅ Ａｍｐｌｉｔｕｄｅ Ｐａｎｎｉｎｇ）法などの３次元パニング処理とを含んだ音場計算処理を行うものである。図４は、音響計算部１００の構成を示す図である。音響計算部１００は、ディレイライン２１０、フィルタ２２０、およびマトリクス部２３０を有する。これらの各部は、入力端２０１を介して入力された音響信号に対して制御部１０から指示されたパラメータに応じた補正を施すための手段である。

ディレイライン２１０は、いわゆるマルチタップディレイである。ディレイライン２１０は、入力端２０１を介して入力された音響信号を伝送し、それぞれ異なる時間だけ遅延された信号を途中の複数のタップＴｉ（ｉ＝１、２、３・・・）の各々から出力する手段であり、各タップから出力される信号は、それぞれ直接音および各反射音に対応する。このため、直接音計算部１０１、初期反射音計算部１０２および後部残響音計算部１０３の各々は、このタップＴｉの数が異なる。ディレイライン２１０における複数のタップＴｉ（ｉ＝１、２、３・・・）の位置（すなわち、各タップから出力される信号の遅延時間）は、制御部１０によって制御され、各遅延時間は、それぞれ直接音および各反射音の遅延時間に対応する。

複数のタップＴｉ（ｉ＝１、２、３・・・）の各々の後段には、乗算器２２０が設けられている。乗算器２２０は、ディレイライン２１０から出力された音信号に制御部１０によって指示された特定の係数を乗算する手段である。乗算器２２０は、音源から発せられた音の音圧レベルが伝搬経路の経路長に応じて減衰する特性を反映するための手段である。例えば、タップＴ１に接続されている乗算器２２０は、タップＴ１に対応付けられた伝搬経路をたどって受音点へ到達する音（この場合は直接音）の減衰特性を反映する乗算処理を実行する。具体的には、乗算器２２０は、当該乗算器２２０に対応付けられた伝搬経路の経路長が長ければ比較的小さい数値を乗算する一方、同経路長が短ければ比較的大きい数値を乗算する、という具合である。

マトリクス部２３０は、乗算器２２０から出力された音響信号を複数（本実施形態ではＮ個）の出力ライン２４２に振り分ける手段であり、入力する乗算器２２０の数（直接音計算部１０１は１、初期反射音計算部１０２は２、後部残響音計算部１０３は４）×出力ラインの数（Ｎ）の入出力数を有する。出力ライン２４２の数は、信号処理部３０の出力系統数（すなわち、スピーカ８０の数）と同じである。以下、マトリクス部２３０をより詳細に説明する。マトリクス部２３０は、乗算器２２０から出力された信号が接続される各入力ライン２４１と各出力ライン２４２とが交差する各位置に、乗算器２３１と加算器２３２を有している。乗算器２３１は、入力ライン２４１を介して入力された信号に対して、制御部１０によって指示された所定の係数を乗算して加算器２３２に出力する。乗算器２３１が実行する所定の係数を乗算する処理は、いわゆる３次元パニング処理である。すなわち、乗算器２３１には、各入力ライン２４１に入力される信号の示す音（直接音または反射音）が所定の位置に定位されるように出力系統毎に適切な係数が制御部１０によって与えられる。この乗算器２３１による処理により、直接音および各反射音は、音源から受音点への伝搬方向を適切にシミュレートされることとなる。加算器２３２は、乗算器２３１から出力された音信号を出力ライン２４２に供給する。

このように、音響計算部１００は、所定の空間における想定される伝搬経路ごとに音響信号への処理を行う構成となっている。以下では、ひとつの伝搬経路をシミュレートするために音響信号を処理する要素の集合を「特性制御系２５０」と表記する。図４の例では、ひとつの特性制御系２５０は、ひとつの入力ライン２４１に連なるディレイライン２１０（より詳細にはひとつのタップＴｉ部分）とひとつの乗算器２２０とＮ個の乗算器２３１とからなる。以上が、音響計算部１００の構成である。なお、この音響計算部１００に関しては特許文献２に開示されている。

従って、特性制御系２５０をひとつの処理単位とすると、本実施形態における直接音計算部１０１、初期反射音計算部１０２および後部残響音計算部１０３は、前述した基本的な音響計算部１００において、特性制御系２５０の数が異なるものといえる。すなわち、直接音計算部１０１は、直接音の伝搬経路の数だけ、すなわち、ひとつだけ特性制御系２５０を有している。初期反射音計算部１０２は、初期反射音のすべての伝搬経路の数だけ、すなわち、１次反射音のすべての伝搬経路の数と２次反射音のすべての伝搬経路の数を足し合わせた数だけ特性制御系２５０を有している。例えば、直方体の３次元空間では、１次反射音の伝搬経路の数は６個有り、２次反射音の伝搬経路の数は１８個有るため、初期反射音計算部１０２の特性制御系２５０の個数は２４個となる。後部残響音計算部１０３は、後部残響音のすべての伝搬経路の数だけ、すなわち、３次反射音のすべての伝搬経路の数と４次反射音のすべての伝搬経路の数と５次反射音のすべての伝搬経路の数と６次反射音のすべての伝搬経路の数とを足し合わせた数だけ特性制御系２５０を有している。

次に、無相関ＩＲ畳み込みフィルタ１０５について説明する。無相関ＩＲ畳み込みフィルタ１０５は、後部残響音計算部１０３（より正確には、後部残響音計算部１０３のマトリクス部２３０）の出力段に設けられている。図５は、無相関ＩＲ畳み込みフィルタ１０５の構成を示す図である。無相関ＩＲ畳み込みフィルタ１０５は、後部残響音計算部１０３の出力ライン２４２毎にリバーブ３００を有する。リバーブ３００は、無相関ＩＲ生成部３１０と畳み込み処理部３２０とを含んでいる。

無相関ＩＲ生成部３１０は、各リバーブ３００間で互いに無相関な無相関ＩＲを生成する手段である。無相関ＩＲ生成部３１０には、インパルスノイズ生成部６０からインパルスノイズが供給され、ノイズ生成部５０からノイズが供給され、記憶部４０からＩＲが供給される。無相関ＩＲ生成部３１０が実行する無相関ＩＲ生成処理については、後に詳述する。畳み込み処理部３２０は、後部残響音計算部１０３から出力される音響信号に無相関ＩＲ生成部３１０が生成した無相関ＩＲを畳み込む処理を行う手段である。畳み込み処理部３２０は、畳み込み処理により生成した音響信号を後部残響音を示す音響信号として出力する。

次に、図３に戻って説明する。直接音計算部１０１の出力段には、出力ライン２４２毎に乗算器１０６が設けられている。乗算器１０６は、直接音計算部１０１の出力端から出力される音響信号（直接音を示す音響信号）に制御部１０によって指示された特定の係数を乗算する手段である。初期反射音計算部１０２の出力段には、出力ライン２４２毎に乗算器１０７が設けられている。乗算器１０７は、初期反射音計算部１０２の出力端から出力される音響信号（初期反射音を示す音響信号）に制御部１０によって指示された特定の係数を乗算する手段である。無相関ＩＲ畳み込みフィルタ１０５の出力段には、後部残響音計算部１０３の出力ライン２４２毎に乗算器１０８が設けられている。乗算器１０８は、無相関ＩＲ畳み込みフィルタ１０５によるフィルタ処理のなされた音響信号（後部残響音を示す音響信号）に制御部１０によって指示された特定の係数を乗算する手段である。乗算器１０６、１０７および１０８は、制御部１０から指示される係数に応じて、直接音、初期反射音、後部残響音の各音量バランスを調整する役割を果たす。

加算器１０９は、乗算器１０６から出力される音響信号と乗算器１０７から出力される音響信号とを出力ライン２４２毎に加算する手段である。すなわち、加算器１０９は、出力系統毎に直接音と初期反射音とを加算する役割を果たす。加算器１１０は、加算器１０９から出力される音響信号と乗算器１０８から出力される音響信号とを出力ライン２４２毎に加算する手段である。すなわち、加算器１１０は、出力系統毎に直接音と初期反射音と後部残響音とを加算する役割を果たす。複数の加算器１１０の各々は、入力信号に残響信号を付加した出力信号を出力段のスピーカ８０に出力する。

次に、無相関ＩＲ畳み込みフィルタ１０５の無相関ＩＲ生成部３１０が実行する無相関ＩＲ生成処理について詳述する。図６は、無相関ＩＲ生成部３１０が実行する無相関ＩＲ生成処理の内容を示す概念図である。図７は、同無相関ＩＲ処理の内容を示すフローチャートである。まず、制御部１０は、インパルスノイズ生成部６０が生成したインパルスノイズを各リバーブ３００の無相関ＩＲ生成部３１０に各々送信する。並行して、制御部１０は、ノイズ生成部５０が生成した互いに無相関な複数（本実施例ではＮ個）のノイズを、各リバーブ３００の無相関ＩＲ生成部３１０にそれぞれ送信する。さらに並行して、制御部１０は、記憶部４０に記憶されているＩＲを読み出して各リバーブの無相関ＩＲ生成部３１０に各々送信する。以降、リバーブ３００毎の各無相関ＩＲ生成部３１０のうちの一の無相関ＩＲ生成部３１０を例に、図６および図７に基づいて説明する。

インパルスノイズが入力された無相関ＩＲ生成部３１０は、図６に示す乗算器４０１により当該インパルスノイズに係数ｇ１を乗算する乗算処理を行う（図７：ＳＡ１１０）。同様に、ノイズを受信した無相関ＩＲ生成部３１０は、当該ノイズに係数ｇ２を乗算する乗算処理を行う（ＳＡ１２０）。その後、各無相関ＩＲ生成部３１０は、係数ｇ１を乗算したインパルスノイズと係数ｇ２を乗算したノイズとを、加算器４０３により加算する加算処理を行う（ＳＡ１３０）。これにより、加算ノイズが生成される。すなわち、係数ｇ１およびｇ２の乗算処理を担う乗算器４０１および４０２と、それら乗算処理後の信号の加算処理を担う加算器４０３とは、複数のノイズの各々にインパルスノイズを加算して複数の加算ノイズを生成する加算ノイズ生成手段である。生成された加算ノイズは、インパルスノイズを含むものであるため、インパルスノイズのインパルス列に対応する信号密度を有している。また、加算ノイズは、無相関なノイズを含むものであるため、各リバーブ３００で生成された加算ノイズは、互いに無相関な信号となる。

係数ｇ１および係数ｇ２は、制御部１０の指示により、それぞれ任意の値に設定される。係数ｇ１および係数ｇ２の値により、インパルスノイズとノイズの大きさおよびその加算比率が決定される。例えば、係数ｇ１よりも係数ｇ２を大きくするとインパルスノイズよりもノイズの比率が高くなり、残響音の音密度が高くなる。この場合、スピーカ８０から放音される音は、残響音の密度感が高い音となる。一方、係数ｇ２よりも係数ｇ１を大きくするとノイズよりもインパルスノイズの比率が高くなり、残響音の音密度が低くなる。この場合、スピーカ８０から放音される音は、残響音の密度感が低い音となる。すなわち、本実施形態では、係数ｇ１と係数ｇ２の値をそれぞれ独立して、制御部１０が制御することで残響音の密度感を変えることができる。

次に、無相関ＩＲ生成部３１０は、区間分割部４１０により加算ノイズをその時間軸に沿って複数（図５では５個）の区間に分割する（ＳＡ１４０）。なお、図６では、ノイズとインパルスノイズの各々をそれらの時間軸に沿って複数の区間に分割しているように示しているが、これは直感的に分かり易くしているためであり、実際には、ノイズとインパルスノイズとを加算器４０３によって加算した後に複数の区間に分割される。

次に、無相関ＩＲ生成部３１０は、区間分割部４３０によりＩＲを複数の区間に分割する（ＳＡ１５０）。区間分割部４３０の処理は、区間分割部４１０と同様の処理である。具体的には、区間分割部４３０では、ＩＲをその時間軸に沿って複数の区間に分割する。ＩＲの区間数は、加算ノイズの区間数と同じである。

次に、無相関ＩＲ生成部３１０は、高速フーリエ変換（ＦＦＴ）部４２０により窓関数処理および高速フーリエ変換を行う（ＳＡ１６０）。より詳細に説明する。無相関ＩＲ生成部３１０は、区間分割部４１０により分割された加算ノイズにおける連続する２区間の加算ノイズを抽出する。この際、無相関ＩＲ生成部３１０は、加算ノイズの先頭から時間軸に沿った順に２区間ずつ抽出することとなる。無相関ＩＲ生成部３１０は、抽出した２区間の加算ノイズに窓関数を乗算する。窓関数は、例えば、ハニング窓関数である。無相関ＩＲ生成部３１０は、窓関数が乗算された加算ノイズに高速フーリエ変換を行う。これにより、当該抽出された２区間ごとの加算ノイズを周波数変換した信号Ｈｎｏｉｓｅが順次生成される。

次に、無相関ＩＲ生成部３１０は、高速フーリエ変換（ＦＦＴ）部４４０により窓関数処理および高速フーリエ変換を行う（ＳＡ１７０）。高速フーリエ変換部４４０の処理は、高速フーリエ変換部４２０と同様の処理である。より詳細には、無相関ＩＲ生成部３１０は、区間分割部４３０により分割されたＩＲにおける連続する２区間のＩＲを抽出する。この際、無相関ＩＲ生成部３１０は、ＩＲの先頭から時間軸に沿った順に２区間ずつ抽出することとなる。無相関ＩＲ生成部３１０は、抽出した２区間のＩＲに窓関数を乗算する。窓関数は、例えば、ハニング窓関数である。無相関ＩＲ生成部３１０は、窓関数が乗算されたＩＲに高速フーリエ変換を行う。これにより、当該抽出された２区間ごとのＩＲを周波数変換した信号が順次生成される。

次に、無相関ＩＲ生成部３１０は、高速フーリエ変換部４４０による高速フーリエ変換後の音響信号に、帯域別時間伸縮処理部４５０による帯域別時間伸縮処理を行う（ＳＡ１８０）。帯域別時間伸縮処理は、時間伸縮処理を周波数帯域別に行う処理である。この時間伸縮処理は、後部残響音の残響時間を伸長（あるいは圧縮）する処理である。図８は、帯域別時間伸縮処理部４５０における時間伸縮処理の例を示す図である。図８（Ａ）は、時間伸縮前を示している。図８（Ｂ）は、時間伸縮後を示しており、図８（Ａ）を時間軸に沿った方向に１．５倍に時間伸長したものである。図８（Ａ）および（Ｂ）の横軸は時間であり、縦軸は振幅である。例えば、１．５倍に時間伸長することにより、時間伸長前（図８（Ａ））の一番左の時間位置（基準位置（ｍ＝０））から２番目（ｍ＝２）の時間位置の振幅は、時間伸長後（図８（Ｂ））の基準位置（ｍ＝０）から３番目（ｍ＝３）の時間位置において対応し、時間伸長前（図８（Ａ））の基準位置（ｍ＝０）から４番目（ｍ＝４）の時間位置の振幅は、時間伸長後（図８（Ｂ））の基準位置（ｍ＝０）から６番目（ｍ＝６）の時間位置において対応する、という具合である。このような時間軸に沿った方向の伸縮は、例えば、単純な線形補間や多項式補間等によって実現することができる。このように、帯域別時間伸縮処理部４５０の時間伸縮処理は、高速フーリエ変換後の音響信号における周波数ビン毎の振幅の時間推移を時間軸に沿った方向に伸縮させる処理である。

図９は、時間伸縮処理を帯域別に行った例を示す図である。図９の横軸は周波数であり、縦軸は残響時間に対する時間伸縮の倍率である。図９の例では、周波数ｆ２〜ｆ３の帯域では、時間伸縮の倍率が１である。すなわち、周波数ｆ２〜ｆ３の帯域では、時間伸縮処理の前後で残響時間が変わらない。一方、周波数ｆ２よりも低い周波数（特に周波数ｆ１よりも低い周波数）では、時間伸縮の倍率が１よりも低くなっており、周波数ｆ３よりも高い周波数（特に周波数ｆ４よりも高い周波数）では、時間伸縮の倍率が１よりも高くなっている。すなわち、周波数ｆ２よりも低い周波数では、時間伸縮処理によって時間が圧縮されて残響時間が短くなっており、周波数ｆ３よりも高い周波数では、時間伸縮処理によって時間が伸長されて残響時間が長くなっている。従って、帯域別時間伸縮処理を行うことにより、例えば、中域の残響時間を変えずに低域と高域の残響時間を変える（ローダンプおよびハイダンプ）というように、帯域ごとに残響時間を個別に変更することができる。

次に、図６に示すように、無相関ＩＲ生成部３１０は、合成処理部４６０により、高速フーリエ変換部４２０により得られた信号Ｈｎｏｉｓｅに、帯域別時間伸縮処理部４５０により得られた信号Ｈｉｒの絶対値を乗算する合成処理を行い、合成処理の結果である信号Ｈを出力する（ＳＡ１９０）。なお、合成処理部４６０による乗算する合成処理は、区間分割部４１０および区間分割部４３０によって加算ノイズおよびＩＲの各々の前述の２区間が出力されるごとに行われる。上述の合成処理により、ＩＲの周波数応答の振幅（いわゆる周波数特性）に、加算ノイズの時間応答の特性を反映させることができる。ここで加算ノイズには、広帯域の定常ノイズとインパルス列で構成されるインパルスノイズとが加算されているため、合成処理により得られた信号Ｈを畳み込んだ残響音には、加算ノイズに応じた音密度が反映されている。また、合成処理により得られた信号Ｈには、加算ノイズの位相特性が保存されているので、各リバーブ３００の信号Ｈも互いに無相関な信号となる。

次に、無相関ＩＲ生成部３１０は、合成処理部４６０によって得られた信号Ｈに対して逆フーリエ変換（ＩＦＦＴ）部４７０により順次逆フーリエ変換（ＩＦＦＴ）を行う（ＳＡ２００）。次に、無相関ＩＲ生成部３１０は、ＩＲのすべての時間範囲について高速フーリエ変換を行ったか否かを判別する（ＳＡ２１０）。ステップＳＡ２１０の判別結果がＮｏの場合、無相関ＩＲ生成部３１０は、抽出する連続する２区間の範囲を１区間後方へシフトして（ＳＡ２２０）、ステップＳＡ１６０に戻る。そして、無相関ＩＲ生成部３１０は、ステップＳＡ１６０からＳＡ２１０の処理を繰り返す。この繰り返しの際、ステップＳＡ１６０では、１区間後方へシフトした加算ノイズを抽出して窓関数処理および高速フーリエ変換を行い、ステップＳＡ１７０では、１区間後方へシフトしたＩＲを抽出して窓関数処理および高速フーリエ変換を行う。このように、無相関ＩＲ生成部３１０は、ステップＳＡ１６０からＳＡ２１０の繰り返し毎に１区間を重複させつつＩＲおよび加算ノイズの全範囲に亙って短時間フーリエ変換を行う。

そして、ステップＳＡ２１０の判別結果がＹｅｓの場合、無相関ＩＲ生成部３１０は、ステップＳＡ１６０からＳＡ２１０までの繰り返しによって得られた複数の逆フーリエ変換結果を合成して終了する（ＳＡ２３０）。このようにして、無相関ＩＲ生成部３１０は、後部残響音計算部１０３の出力ライン２４２毎に互いに無相関な無相関ＩＲを生成する。以上のような無相関ＩＲ生成部３１０の処理内容を考慮すれば、無相関ＩＲは、空間の音響特性を表すＩＲを加算ノイズによって修正したインパルスレスポンスであり、無相関ＩＲ生成部３１０の合成処理部４６０は、加算ノイズと空間の音響特性を表すＩＲの振幅特性とを乗算して修正したインパルスレスポンスを生成する手段であるといえる。

以上のように、本実施形態の残響音付加装置１は、直接音を示す音響信号を生成する手段（具体的には直接音計算部１０１）と、初期反射音を示す音響信号を生成する手段（具体的には初期反射音計算部１０２および音響特性近似フィルタ１０４）と、後部反射音を示す音響信号を生成する手段（具体的には後部残響音計算部１０３および無相関ＩＲ畳み込みフィルタ１０５）と、を別個に有している。直接音を示す音響信号を生成する手段では、音響特性近似フィルタ１０４のようなフィルタ処理は行わない。これにより、音質劣化の少ない直接音が得られる。初期反射音を示す音響信号を生成する手段では、ディレイと３次元パニングに加え音響特性近似フィルタ１０４によるフィルタ処理を行う。これにより、方向感が保たれた初期反射音であり、空間の音色が再現された初期反射音が得られる。後部残響音を示す音響信号を生成する手段では、ディレイと３次元パニングに加え無相関ＩＲを畳み込むフィルタ処理を行う。このため、後部残響音を示す音響信号は、複数のスピーカの各々に接続される出力ライン毎に無相関となる。この無相関ＩＲは、ＩＲの周波数応答の振幅（いわゆる周波数特性）に加算ノイズの時間応答の特性が反映されて修正されたインパルスレスポンスである。加算ノイズは、所定の確率の時間間隔を有するインパルス列からなるインパルスノイズを加算することによって生成される。このため、後部残響音を示す音響信号は、加算ノイズの音密度に対応した音密度を有する。従って、残響音付加装置１では、加算ノイズの加算比率を変えて加算ノイズの音密度を制御することにより、後部残響音を示す音響信号の音密度を制御することができる。これらより、残響音付加装置１では、方向感およびＩＲの音色が保たれ、拡がり感があり、適切な残響音の密度感を有する後部残響音が得られる。従って、残響音付加装置１によれば、所定の空間の音響特性をシミュレートして当該空間の音響特性を再現しつつ、残響音の音密度を制御することができる。また、無相関ＩＲは一のＩＲから生成されるため、所定の空間の音響特性を反映する残響音を生成することができる。

＜他の実施形態＞
以上、この発明の一実施形態について説明したが、この発明には他にも実施形態が考えられる。例えば次の通りである。

（１）残響音付加装置は、無指向性の音源から放音されて受音した音に空間の音響特性をシミュレートした残響音を付加する態様に限られず、指向性を有する音源から放音されて受音した音に空間の音響特性をシミュレートした残響音を付加する態様であっても良い。例えば、図１０に示すように、音源の正面方向の軸と受音点とのなす角度θｄや鏡像法による仮想音源の正面方向の軸と受音点とのなす角度θｒに応じて各伝搬経路における減衰パラメータなどに重み係数を掛ける、という具合である。この態様では、音源の指向性（例えば、楽器の指向性）を考慮した残響音を付加することができる。

（２）残響音付加装置は、位置が固定された音源から放音されて受音した音に空間の音響特性をシミュレートした残響音を付加する態様に限られず、移動する音源から放音されて受音した音に空間の音響特性をシミュレートした残響音を付加する態様であっても良い。この態様では、制御部１０が、音源の位置と受音点の位置の情報を逐次取得し、音響計算部の各要素のパラメータを逐次決定することで実現することができる。この態様では、音源の位置がリアルタイムに変化しても残響音を付加することができる。

（３）残響音付加装置は、移動するとともに指向方向が変わる音源から放音されて受音した音に空間の音響特性をシミュレートした残響音を付加する態様であっても良い。例えば、図１１に示すように、指向性を有する音源が正面方向に向かって進行しつつ９０度左折する、という場合が挙げられる。この態様では、前述の音源の移動の態様と指向性を有する音源の態様を組み合わせることにより実現することができる。この態様では、例えば、正面方向に向かって歩行しつつ９０度左折しながら話をする人の話声に空間の残響音を付加することができる。

（４）残響音付加装置は、位置が固定された受音点に到達した音に空間の音響特性をシミュレートした残響音を付加する態様に限られず、移動する受音点に到達した音に空間の音響特性をシミュレートした残響音を付加する態様であっても良い。この態様においても、前述の音源の移動の態様と同様にして実現することができる。この態様では、受音点の位置がリアルタイムに変化しても残響音を付加することができる。また、音源と受音点の両方が移動する場合をシミュレートする態様であっても勿論良い。また、受音点が移動する態様の音源は、無指向性であっても良いし指向性を有していても良い。

（５）上記実施形態の残響音付加装置１では、音響特性近似フィルタ１０４を初期反射音計算部１０２の前段に設けていた。しかし、図１２に示すように、初期反射音計算部１０２の後段に音響特性近似フィルタ１０４Ａを設けても良い。この態様では、初期反射音計算部１０２の出力ライン２４２毎に音響特性近似フィルタ１０４Ａを設ける。このようにすると、制御部１０は、出力ライン２４２毎の各音響特性近似フィルタ１０４Ａに異なったパラメータを指示することができる。従って、この態様では、空間の音色がより詳細に再現された初期反射音が得られる。

（６）上記実施形態による信号処理部３０は、入力信号が入力される入力端を１つだけ有していた。しかし、信号処理部は、入力端を複数有し、その複数の入力端の各々に異なる入力信号が供給されても良い。図１３は、２個の入力端２０１ａおよび２０１ｂを有する信号処理部３０Ｂの構成例を示す図である。図１３の信号処理部３０Ｂは、入力端２０１ａに接続される初期反射音計算部１０２ａおよび後部残響音計算部１０３ａと、入力端２０１ｂに接続される初期反射音計算部１０２ｂおよび後部残響音計算部１０３ｂとを含んでいる。信号処理部３０Ｂは、初期反射音計算部１０２ａにおいて入力端２０１ａから供給される第１の入力信号に対して１次〜２次反射音（初期反射音）のシミュレーションを行い、初期反射音計算部１０２ｂにおいて入力端２０１ｂから供給される第２の入力信号に対して１次〜２次反射音（初期反射音）のシミュレーションを行う。次いで、信号処理部３０Ｂは、初期反射音計算部１０２ａから出力される音響信号と初期反射音計算部１０２ｂから出力される音響信号とを加え合わせた後に、音響特性近似フィルタ１０４Ｂのフィルタ処理を行う。また、これらの処理に並行して、信号処理部３０Ｂは、後部残響音計算部１０３ａにおいて入力端２０１ａから供給される第１の入力信号に対して３次〜６次反射音（後部残響音）のシミュレーションを行い、後部残響音計算部１０３ｂにおいて入力端２０１ｂから供給される第２の入力信号に対して３次〜６次反射音（後部残響音）のシミュレーションを行う。次いで、信号処理部３０Ｂは、後部残響音計算部１０３ａから出力される音響信号と後部残響音計算部１０３ｂから出力される音響信号とを加え合わせた後に、無相関ＩＲ畳み込みフィルタ１０５Ｂのフィルタ処理を行う。このような構成により、第１の入力信号と第２の入力信号の各々に残響信号を付加することができる。

（７）上記実施形態の残響音付加装置１では出力系統が複数あった。しかし、残響音付加装置は、出力系統がひとつであっても良い。この態様では、ノイズ生成部は、ノイズを一つだけ生成し、無相関ＩＲ生成部は、修正されたインパルスレスポンスを一つだけ生成することとなる。この態様においても、加算ノイズとＩＲとから修正されたインパルスレスポンスが生成される点において上記実施形態と同様であるため、上記実施形態と同様に、残響音の音密度を制御することができる。

（８）上記実施形態の残響音付加装置１では、インパルスノイズとノイズの加算比率を調整することで加算ノイズの音密度を変化させていた。しかし、残響音付加装置は、インパルスノイズ生成部６０におけるインパルス列の時間間隔を変えることで加算ノイズの音密度を変えても良い。例えば、制御部１０の指示に応じて確率密度関数を変えてインパルス列の時間間隔を変える、という具合である。この態様は、例えば、異なる空間を移動する場合など（具体例としては、トンネルの中から外に出る場合など）に適用可能である。また、残響音付加装置は、インパルス列の時間間隔の変化の態様を音源毎に異なるようにしても良い。また、残響音付加装置は、インパルスノイズとノイズの加算比率の態様を音源毎に異なるようにしても良い。これらの態様では、音源の種類に応じて適切な残響音を付加することができる。

（９）上記実施形態の残響音付加装置１では、制御部１０が加算ノイズの音密度を変化させていた。しかし、ユーザによって操作される加算ノイズの音密度を調整するノブのような操作子をインパルスノイズ生成部６０に有し、その操作子の操作に応じて加算ノイズの音密度が変化するようになっていても良い。この際、操作子の操作によって、インパルスノイズとノイズの加算比率を変化させても良いし、インパルス列の時間間隔を変化させても良いし、加算比率と時間間隔の両方を変化させても良い。

（１０）上記実施形態の無相関ＩＲ生成部３１０は、複数の加算ノイズの各々の振幅特性および位相特性と、ＩＲの振幅特性とを各々合成して互いに無相関な複数の無相関ＩＲを生成していた。しかし、無相関ＩＲ生成部は、複数の加算ノイズの各々の少なくとも位相特性と、ＩＲの振幅特性とを各々合成して互いに無相関な複数の無相関ＩＲを生成しても良い。加算ノイズの少なくとも位相特性を用いることで、生成される複数のインパルス応答が互いに無相関になるからである。

（１１）上記実施形態の無相関ＩＲ生成部３１０は、帯域別時間伸縮処理４５０を行っていたが、帯域別時間伸縮処理４５０を省略しても良い。

（１２）上記実施形態におけるノイズ生成部５０が生成するノイズ（定常雑音）は、ホワイトノイズ以外のノイズ、例えば、ガウシアンノイズやピンクノイズなどであっても良い。

（１３）上記実施形態の残響音付加装置１では、３次〜６次反射音をシミュレートして後部残響音を示す音響信号を生成していた。しかし、後部残響音についてのシミュレートは、３次〜６次反射音に限られない。例えば、３次〜５次反射音をシミュレートして後部残響音を示す音響信号を生成しても良いし、３次〜７次反射音をシミュレートして後部残響音を示す音響信号を生成しても良い。後部残響音を示す音響信号を生成するための反射音の次数は、シミュレートする所定の空間の音響特性や、制御する残響音の音密度を考慮して決定すれば良い。

（１４）上記実施形態では、加算ノイズ生成手段、インパルスレスポンス生成手段およびインパルスレスポンス畳み込み手段を電子回路（具体的には信号処理部３０）により実現していた。しかし、例えば、制御部に残響音付加プログラムを実行させることによりコンピュータを、加算ノイズ生成手段、インパルスレスポンス生成手段およびインパルスレスポンス畳み込み手段として機能させても良い。また、制御部に残響音付加プログラムを実行させることによりコンピュータを、ノイズ生成手段およびインパルスノイズ生成手段として機能させても良い。この場合、残響音付加プログラムは、残響音付加装置にインストールされた状態で取引されても良いし、コンピュータ読み取り可能な記憶媒体に記憶された状態で別個に取引されても良いし、ネットワークを介したダウンロードにより取引されても良い。

１…残響音付加装置、１０…制御部、２０…入出力Ｉ／Ｆ、３０…信号処理部、４０…記憶部、５０…ノイズ生成部、６０…インパルスノイズ生成部、７０…バス、８０…スピーカ、１００…音響計算部、１０１…直接音計算部、１０２…初期反射音計算部、１０３…後部残響音計算部、１０４…音響特性フィルタ、１０５…無相関ＩＲ畳み込みフィルタ、１０６，１０７，１０８…乗算器、１０９，１１０…加算器、１１５，２０１…入力端、１１６…出力端、２１０…ディレイライン、２２０…乗算器、２３０…マトリクス部、２３１…乗算器、２３２…加算器、２４１…入力ライン、２４２…出力ライン、２５０…特性制御系、Ｔ…タップ、３００…リバーブ、３１０…無相関ＩＲ生成部、３２０…畳み込み処理部、４０１，４０２…乗算器、４０３…加算器、４１０，４３０…区間分割部、４２０，４５０…高速フーリエ変換部、４５０…帯域別時間伸縮処理部、４６０…合成処理部、４７０…逆高速フーリエ変換部。

Claims (5)

1. 所定のノイズを生成するノイズ生成手段と、
   ランダムな時間間隔を有するインパルス列からなるインパルスノイズを生成するインパルスノイズ生成手段と、
   前記ノイズと前記インパルスノイズとを加算して加算ノイズを生成する加算ノイズ生成手段と、
   前記加算ノイズと、空間の音響特性を表すインパルスレスポンスの振幅特性とを乗算して修正インパルスレスポンスを生成するインパルスレスポンス生成手段と、
   入力される音響信号に前記修正インパルスレスポンスを畳み込んで出力するインパルスレスポンス畳み込み手段と、
   を有することを特徴とする残響音付加装置。
2. 前記加算ノイズ生成手段は、
   前記インパルスノイズに第１の係数を乗算する第１の乗算手段と、
   前記ノイズに第２の係数を乗算する第２の乗算手段と、
   前記第１の乗算手段の出力と前記第２の乗算手段の出力とを加算して前記加算ノイズを生成する加算手段と、
   を有することを特徴とする請求項１に記載の残響音付加装置。
3. 前記インパルスノイズ生成手段は、所定の確率密度関数に従った時間間隔でインパルスを発生して前記インパルス列を生成することを特徴とする請求項１または２に記載の残響音付加装置。
4. 前記ノイズ生成手段は、互いに無相関な複数のノイズを生成し、
   前記加算ノイズ生成手段は、前記複数のノイズの各々に前記インパルスノイズを加算して複数の加算ノイズを生成し、
   前記インパルスレスポンス生成手段は、前記複数の加算ノイズの各々と前記インパルスレスポンスの振幅特性とを乗算して、互いに無相関な複数の修正インパルスレスポンスを生成し、
   前記インパルスレスポンス畳み込み手段は、前記入力される音響信号に、前記インパルスレスポンス生成手段が生成する前記複数の修正インパルスレスポンスの各々を畳み込んで出力する
   ことを特徴とする請求項１〜３のいずれか１の請求項に記載の残響音付加装置。
5. コンピュータを、
   所定のノイズを生成するノイズ生成手段と、
   ランダムな時間間隔を有するインパルス列からなるインパルスノイズを生成するインパルスノイズ生成手段と、
   前記ノイズと前記インパルスノイズとを加算して加算ノイズを生成する加算ノイズ生成手段と、
   前記加算ノイズと、空間の音響特性を表すインパルスレスポンスの振幅特性とを乗算して修正インパルスレスポンスを生成するインパルスレスポンス生成手段と、
   入力される音響信号に前記修正インパルスレスポンスを畳み込んで出力するインパルスレスポンス畳み込み手段、
   として機能させることを特徴とする残響音付加プログラム。
   

Images