JP5169533B2 - インパルス応答加工装置、残響付与装置およびプログラム - Google Patents

Description

本発明は、音響信号に残響を付与するために使用されるインパルス応答を加工する技術に関する。

既存のインパルス応答（以下「初期インパルス応答」という）を音響的な特性が相違する新規なインパルス応答（以下「新規インパルス応答」という）に加工する技術が従来から提案されている。例えば特許文献１には、２種類の初期インパルス応答の各々に加重値を乗算してから加算（線形結合）することで新規インパルス応答を生成する技術が開示されている。
特開２００４−２９４７１２号公報

しかし、特許文献１の技術においては初期インパルス応答の波形の全体が変化するから、新規インパルス応答と初期インパルス応答とで残響音の音響的な特性が過度に相違する場合がある。以上の事情に鑑みて、本発明は、初期インパルス応答の残響音の特徴を維持しながら、受聴者の知覚する音場の空間的な広がり感を変化させた新規インパルス応答を生成することを目的とする。

以上の課題を解決するために、本発明に係るインパルス応答加工装置は、初期インパルス応答を、強度のピークを含む主要反射音ブロックと主要反射音ブロック以外の反射音間ブロックとに時間軸上で区分する波形区分手段と、反射音間ブロックを時間軸上で伸長または短縮して補間ブロックを生成する伸縮手段と、波形区分手段が区分した主要反射音ブロックと伸縮手段が生成した補間ブロックとを連結することで新規インパルス応答を生成する波形合成手段とを具備する。以上の構成においては、初期インパルス応答の主要反射音ブロックと反射音間ブロックの伸縮で生成された補間ブロックとを連結することで新規インパルス応答が生成されるから、初期インパルス応答の残響音の音響的な特徴（主要反射音ブロック）を維持しながら残響音の空間的な広がり感を制御することが可能である。伸縮手段は、反射音間ブロックの伸長および短縮の少なくとも一方を実行する。

残響音の聴感上の印象を特徴づける直接音や初期反射音の殆どは初期インパルス応答のうちの初期反射音区間に含まれる。そこで、本発明の好適な態様における波形区分手段は、初期インパルス応答の初期反射音区間のみを主要反射音ブロックと反射音間ブロックとに区分する。以上の構成においては、初期反射音区間の経過後の後部残響音区間については主要反射音ブロックと反射音間ブロックとに区分されないから、受聴者が知覚する音場の広がり感を有効に変化させながら、主要反射音ブロックと反射音間ブロックとの区分に必要な演算量が削減される。

波形区分手段が初期インパルス応答を主要反射音ブロックと反射音間ブロックとに区分する方法は任意である。例えば、本発明の具体的な態様において、波形区分手段は、初期インパルス応答の強度の時間的な変動を抑制した第１波形を生成する第１平滑手段と、初期インパルス応答の強度の時間的な変動を第１波形よりも抑制した第２波形を生成する第２平滑手段とを含み、第１波形の強度が第２波形の強度を上回る区間を主要反射音ブロックとして特定する。さらに具体的には、初期インパルス応答における第１個数のサンプルの移動平均の時系列を第１平滑手段が第１波形として算定し、初期インパルス応答における第１個数よりも多い第２個数のサンプルの移動平均の時系列を第２平滑手段が第２波形として算定する構成が好適である。以上の態様においては、第１平滑手段および第２平滑手段による簡素な処理で主要反射音ブロックと反射音間ブロックとを高精度に区別できるという利点がある。

本発明の好適な態様において、伸縮手段は、反射音間ブロックを伸張する場合に、反射音間ブロックの少なくとも一部（例えば図８のブロックＣ0）の波形を変形させた中間ブロックを生成する第１処理手段を含み、中間ブロックから補間ブロックを生成する。例えば、第１処理手段は、両端部に接近するほど関数値が減少する窓関数を反射音間ブロックの少なくとも一部に乗算して中間ブロックを生成する窓掛手段を含む。以上の態様においては、両端部に接近するほど関数値が減少する窓関数の乗算で中間ブロックが生成されるから、中間ブロックと前後のブロックとが滑らかに連続する自然な残響音の新規インパルス応答を生成できるという利点がある。

また、本発明の好適な態様において、第１処理手段は、反射音間ブロックの少なくとも一部について相異なる角度だけ位相を回転させた複数の中間ブロックを生成する移相手段を含み、伸縮手段は、移相手段が生成した複数の中間ブロックを時間軸上に配列することで補間ブロックを生成する。以上の態様においては、相異なる角度だけ位相を回転させることで複数の中間ブロックが生成されるから、複数の中間ブロックの波形が共通する構成と比較して、新規インパルス応答の残響音は聴感上で自然な音響となる。

本発明の好適な態様において、伸縮手段は、反射音間ブロックを伸張する場合に、当該反射音間ブロックのうち始点を含む区間を強度が経時的に減少するように加工した第１ブロック（例えば図８のブロックＤ1）と、当該反射音間ブロックのうち終点を含む区間を強度が経時的に増加するように加工した第２ブロック（例えば図８のブロックＤ2）とを生成する第２処理手段を含み、第１ブロックを先頭に配置するとともに第２ブロックを最後尾に配置することで補間ブロックを生成する。以上の態様においては、強度が経時的に減少する第１ブロックを先頭に配置するとともに強度が経時的に増加する第２ブロックを最後尾に配置することで補間ブロックが生成されるから、補間ブロックと前後の主要反射音ブロックとが滑らかに連続する自然な残響音の新規インパルス応答を生成することが可能である。

本発明の好適な態様において、伸縮手段は、反射音間ブロックを短縮する場合に、ブロックの始点を含む第１ブロック（例えば図７のブロックＡ1a）と反射音間ブロックの終点を含む第２ブロック（例えば図７のブロックＡ2a）との時間差を短縮することで補間ブロックを生成する短縮処理手段を含む。以上の構成においては、第１ブロックが反射音間ブロックの始点を含むとともに第２ブロックが反射音間ブロックの終点を含むから、補間ブロックと前後の主要反射音ブロックとが滑らかに連続する自然な残響音の新規インパルス応答を生成することが可能である。さらに好適な態様において、短縮処理手段は、第１ブロックと第２ブロックとをクロスフェードすることで補間ブロックを生成する。以上の構成においては、第１ブロックと第２ブロックとを滑らかに連続させることが可能である。

本発明に係る残響付与装置は、以上の各態様に係るインパルス応答加工装置と、インパルス応答加工装置が生成した新規インパルス応答と音響信号との畳込み演算を実行する残響付与手段とを具備する。本発明の残響付与装置によれば、以上の各態様に係るインパルス応答加工装置と同様の作用および効果が実現される。

また、以上の各態様に係るインパルス応答加工装置は、インパルス応答の加工に専用されるＤＳＰ（Digital Signal Processor）などのハードウェア（電子回路）によって実現されるほか、ＣＰＵ（Central Processing Unit）などの汎用の演算処理装置とプログラムとの協働によっても実現される。本発明に係るプログラムは、初期インパルス応答を、強度のピークを含む主要反射音ブロックと主要反射音ブロック以外の反射音間ブロックとに時間軸上で区分する波形区分処理と、反射音間ブロックを時間軸上で伸縮することで補間ブロックを生成する伸縮処理と、波形区分処理で区分した主要反射音ブロックと伸縮処理で生成した補間ブロックとを連結することで新規インパルス応答を生成する波形合成処理とをコンピュータに実行させる。本発明のプログラムによれば、以上の各態様に係るインパルス応答加工装置と同様の作用および効果が奏される。本発明のプログラムは、コンピュータが読取可能な記録媒体に格納された形態で利用者に提供されてコンピュータにインストールされるほか、通信網を介した配信の形態でサーバ装置から提供されてコンピュータにインストールされる。

図１は、本発明の実施の形態に係る残響付与装置のブロック図である。残響付与装置１００には、音響（楽音や音声）の波形を表す音響信号ＳINが供給される。音響信号ＳINの供給元（図示略）は、例えば、周囲の音響に応じた音響信号ＳINを生成する収音機器や、記録媒体から音響信号ＳINを取得して出力する再生装置である。残響付与装置１００は、音響信号ＳINに残響を付加した残響音信号ＳRを生成および出力する。残響音信号ＳRは、スピーカ装置やヘッドホンなどの放音装置（図示略）に供給されることで音波として再生される。

図１に示すように、残響付与装置１００は、演算処理装置１２と記憶装置１４と入力装置１６とで構成されるコンピュータシステムである。記憶装置１４は、演算処理装置１２が実行するプログラムや演算処理装置１２が使用するデータを記憶する。例えば初期インパルス応答Ｈ0の波形を表すサンプル系列（畳込み演算の係数列）が記憶装置１４に格納される。初期インパルス応答Ｈ0は、例えば特定の音響空間内でインパルス音を発生させたときの残響音を採取することで事前に生成される。半導体記憶装置や磁気記憶装置などの公知の記録媒体が記憶装置１４として任意に採用される。

演算処理装置１２は、記憶装置１４に格納されたプログラムを実行することで複数の要素（インパルス応答加工部２２，残響付与部２４）として機能する。なお、演算処理装置１２の各要素を複数の集積回路に分散的に搭載した構成や、音響信号ＳINの処理に専用される電子回路（ＤＳＰ）が各要素を実現する構成も採用される。

インパルス応答加工部２２は、記憶装置１４に格納された初期インパルス応答Ｈ0を加工することで、初期インパルス応答Ｈ0とは音響的な特性が相違する新規インパルス応答ＨNEWのサンプル系列を生成する。本形態の新規インパルス応答ＨNEWは、残響音の受聴者が知覚する音場の空間的な広がり感を初期インパルス応答Ｈ0から変化させた波形の信号である。残響付与部２４は、インパルス応答加工部２２が生成した新規インパルス応答ＨNEWを利用したフィルタ処理（畳込み演算）を音響信号ＳINに対して実行することで残響音信号ＳRを生成する。残響付与部２４による残響音信号ＳRの生成には公知の技術が任意に採用される。

入力装置１６は、残響付与装置１００に対する指示の入力のために利用者が操作する操作子で構成される。例えば、利用者は、入力装置１６に対する操作に応じて制御値Ｒを可変に指定する。制御値Ｒは、新規インパルス応答ＨNEWの残響音の受聴者が知覚する音場の空間的な広がり感の指標となる数値である。制御値Ｒが「１」を下回る場合、初期インパルス応答Ｈ0の残響音の受聴時に知覚される音場よりも狭い音場内の残響音として受聴者に知覚される新規インパルス応答ＨNEW（すなわち初期インパルス応答Ｈ0と比較して広がり感が弱い新規インパルス応答ＨNEW）が生成される。一方、制御値Ｒが「１」を上回る場合、初期インパルス応答Ｈ0の残響音の受聴時に知覚される音場よりも広い音場内の残響音として受聴者に知覚される新規インパルス応答ＨNEW（すなわち初期インパルス応答Ｈ0と比較して広がり感が強い新規インパルス応答ＨNEW）が生成される。

図２は、インパルス応答加工部２２のブロック図である。図２に示すように、インパルス応答加工部２２は、波形区分部３２と伸縮部３４と波形合成部３６とを含んで構成される。波形区分部３２は、記憶装置１４に格納された初期インパルス応答Ｈ0を、時間軸上で複数の主要反射音ブロックＢaと複数の反射音間ブロックＢbとに区分する。

図３の部分(A)は、初期インパルス応答Ｈ0における主要反射音ブロックＢaと反射音間ブロックＢbとの関係を示す概念図である。図３の部分(A)に示すように、初期インパルス応答Ｈ0は初期反射音区間Ｑ1と後部残響音区間Ｑ2とに大別される。初期反射音区間Ｑ1は、初期インパルス応答Ｈ0の始点から特定の時間長が経過するまでの区間であり、後部残響音区間Ｑ2は、初期反射音区間Ｑ1の終点から初期インパルス応答Ｈ0の終点までの区間である。初期反射音区間Ｑ1は、初期インパルス応答Ｈ0の収録時に音響空間内のインパルス音の発生点から収音点に直接的に到来する成分（直接音）や音響空間の壁面で１回だけ反射して初期的に収音点に到来する成分（初期反射音）を豊富に含む。

波形区分部３２は、初期インパルス応答Ｈ0を時間軸上で初期反射音区間Ｑ1と後部残響音区間Ｑ2とに区分したうえで、初期反射音区間Ｑ1のみを主要反射音ブロックＢaと反射音間ブロックＢbとに区分する。図３の部分(A)に示すように、主要反射音ブロックＢaは、初期インパルス応答Ｈ0の強度のピークを含む区間（図３にて便宜的に斜線を付加した区間）であり、初期インパルス応答Ｈ0の収録時における直接音や初期反射音など、残響音の聴感上の印象を特徴づける重要な成分を豊富に含む。反射音間ブロックＢbは、相前後する主要反射音ブロックＢaの間隙の区間である。すなわち、反射音間ブロックＢbは、音響空間内で複数回の反射や散乱を経て収音点に到達した成分で構成される。

なお、初期反射音区間Ｑ1と後部残響音区間Ｑ2との区分には公知の技術が任意に採用される。例えば、初期インパルス応答Ｈ0の包絡線の傾きが不連続に変化する時点や初期インパルス応答Ｈ0の始点から所定の時間が経過した時点が初期反射音区間Ｑ1と後部残響音区間Ｑ2との境界点として特定される。また、高域成分を抑制（ローパスフィルタ処理）した初期インパルス応答Ｈ0のピークを含む所定長の範囲を初期反射音区間Ｑ1とする構成も採用される。

図４は、波形区分部３２の具体的なブロック図である。図４に示すように、波形区分部３２は、第１平滑部４１と第２平滑部４２と比較部４４とを含んで構成される。第１平滑部４１は、初期インパルス応答Ｈ0の強度の時間的な変動（変動の高域成分）を抑制した波形Ｗ1を生成し、第２平滑部４２は、初期インパルス応答Ｈ0の強度の時間的な変動を抑制した波形Ｗ2を生成する。

図５に示すように、波形Ｗ2は、波形Ｗ1と比較して変動の抑制の度合が高い（つまり、波形Ｗ1と比較して平坦度が高い）。例えば、波形Ｗ1は、初期インパルス応答Ｈ0におけるｎ1個のサンプルの移動平均の時系列として第１平滑部４１で算定され、波形Ｗ2は、ｎ1個よりも多いｎ2個のサンプルの移動平均の時系列として第２平滑部４２で算定される。

図４の比較部４４は、波形Ｗ1の強度と波形Ｗ2の強度とを比較することで主要反射音ブロックＢaと反射音間ブロックＢbとを区別する。すなわち、図５に示すように、比較部４４は、波形Ｗ1の強度が波形Ｗ2の強度を上回る各区間を主要反射音ブロックＢaとして特定し、相前後する主要反射音ブロックＢaの間隙の各区間（すなわち波形Ｗ1の強度が波形Ｗ2の強度を下回る各区間）を反射音間ブロックＢbとして特定する。

図２の伸縮部３４は、初期インパルス応答Ｈ0のうち波形区分部３２が特定した各反射音間ブロックＢbを時間軸上で伸長または短縮することで複数の反射音間ブロックＢbの各々について補間ブロックＢcを生成する。図６に示すように、伸縮部３４は、伸長処理部３４２と短縮処理部３４４とを含んで構成される。伸長処理部３４２は、利用者から指示された制御値Ｒが「１」を上回る場合に、反射音間ブロックＢbを伸長することで補間ブロックＢcを生成する。一方、短縮処理部３４４は、利用者から指示された制御値Ｒが「１」を下回る場合に、反射音間ブロックＢbを短縮することで補間ブロックＢcを生成する。以上のように伸長処理部３４２と短縮処理部３４４とは制御値Ｒに応じて選択的に動作する。

図７は、短縮処理部３４４による処理の具体例を説明するための概念図である。波形区分部３２が特定した複数の反射音ブロックＢbの各々について図７の処理が順次に実行される。図７の部分(A)には、初期インパルス応答Ｈ0のうちＭ個のサンプルで構成される反射音間ブロックＢbが例示されている。

短縮処理部３４４は、反射音間ブロックＢbからブロックＡ1aとブロックＡ2aとを抽出する。ブロックＡ1aおよびブロックＡ2aの各々は、反射音間ブロックＢbのサンプルの個数Ｍと制御値Ｒ（Ｒ＜１）との乗算値に相当する個数（Ｍ・Ｒ）のサンプルで構成される。図７の部分(B1)に示すように、ブロックＡ1aは、反射音間ブロックＢbのうち先頭から計数してＭ・Ｒ個のサンプルの時系列である。一方、図７の部分(C1)に示すように、ブロックＡ2aは、反射音間ブロックＢbのうち最後尾から手前に計数してＭ・Ｒ個のサンプルの時系列である。

短縮処理部３４４は、ブロックＡ1aとブロックＡ2aとの時間差を短縮することで補間ブロックＢcを生成する。補間ブロックＢcの生成にはブロックＡ1aとブロックＡ2aとのクロスフェード処理が好適に利用される。さらに詳述すると、短縮処理部３４４は、図７の部分(B1)および部分(B2)に示すように、始点から終点にかけて強度（振幅）が経時的に減少するように先頭側のブロックＡ1aを加工する（例えば、時間長Ｍ・Ｒの始点から終点にかけて「１」から「０」に減少する係数をブロックＡ1aの各サンプルに乗算する）ことでブロックＡ1を生成する。同様に、短縮処理部３４４は、図７の部分(C1)および部分(C2)に示すように、始点から終点にかけて強度が経時的に増加するように後尾側のブロックＡ2aを加工する（例えば、時間長Ｍ・Ｒの始点から終点にかけて「０」から「１」に増加する係数をブロックＡ2aの各サンプルに乗算する）ことでブロックＡ2を生成する。

そして、短縮処理部３４４は、図７の部分(D)に示すように始点と終点とが合致するようにブロックＡ1とブロックＡ2とを重複させたうえで、時間軸上の同じ時点に対応する各サンプルの数値を加算することで補間ブロックＢcを算定する。したがって、補間ブロックＢcは、図７の部分(E)に示すようにＭ・Ｒ個のサンプルで構成される。すなわち、補間ブロックＢcは、Ｍ個のサンプルで構成される反射音間ブロックＢbを時間軸上でＲ倍に短縮した波形を表す。

次に、図８を参照して、伸長処理部３４２による処理の具体例を説明する。波形区分部３２が特定した複数の反射音間ブロックＢbの各々について図８の処理が順次に実行される。図８の部分(A)には、Ｍ個のサンプルで構成される反射音間ブロックＢbが例示されている。伸長処理部３４２が生成する補間ブロックＢcは、反射音間ブロックＢbのサンプルの個数Ｍと制御値Ｒ（Ｒ＞１）との乗算値に相当する個数（Ｍ・Ｒ）のサンプルで構成される。

図９に示すように、伸長処理部３４２は、第１処理部５１と第２処理部５２と合成部５３とを含んで構成される。第１処理部５１は、図８の部分(B1)から部分(B4)に示すように、反射音間ブロックＢbからＫ個（Ｋは自然数）の中間ブロックＣb（Ｃb[1]〜Ｃb[K]）を生成する。図８においては３個の中間ブロックＣb（Ｃb[1]〜Ｃb[3]）が生成される場合（Ｋ＝３）が例示されている。各中間ブロックＣb（Ｃb[1]〜Ｃb[K]）は、反射音間ブロックＢbを変形した波形を表すサンプルの時系列である。Ｋ個の中間ブロックＣb（Ｃb[1]〜Ｃb[K]）の生成には、図８の部分(A)および部分(B1)に示すように、反射音間ブロックＢbのＭ個のサンプルのうち先頭からＮ個（Ｎ＜Ｍ）のサンプルで構成されるブロックＣ0が使用される。個数Ｎは、離散フーリエ変換に必要な個数（２のべき乗）に設定される。なお、反射音間ブロックＢbの終点を含むＮ個のサンプルの集合や反射音間ブロックＢbの全部をブロックＣ0として利用してもよい。

一方、第２処理部５２は、図８の部分(C1)および部分(C2)に示すように、反射音間ブロックＢbからブロックＤ1とブロックＤ2とを生成する。ブロックＤ1およびブロックＤ2の各々は、反射音間ブロックＢbを変形した波形を表すＮ/２個のサンプルの時系列である。

図９の合成部５３は、図８の部分(D)および部分(E)に示すように、第１処理部５１が生成したＫ個の中間ブロックＣb[1]〜Ｃb[K]と第２処理部５２が生成したブロックＤ1およびブロックＤ2とを時間軸に沿って配列することで補間ブロックＢcを生成する。Ｋ個の中間ブロックＣb[1]〜Ｃb[K]は、第１番目の中間ブロックＣb[1]の始点が補間ブロックＢcの始点に合致し、かつ、相前後する各中間ブロックＣbがサンプルのＮ/２個分に相当する時間差で相互に重複するように時間軸上に配列される。一方、第２処理部５２が生成したブロックＤ1は補間ブロックＢcの先頭（第１番目の中間ブロックＣb[1]の始点）に配置され、ブロックＤ2は補間ブロックＢcの最後尾（第Ｋ番目の中間ブロックＣb[K]の終点）に配置される。

合成部５３は、以上のように時間軸上に配置された各中間ブロックＣbとブロックＤ1およびブロックＤ2とについて、時間軸上の同じ時点に対応する各サンプルの数値を加算することで補間ブロックＢcを算定する。すなわち、補間ブロックＢcは、各中間ブロックＣbとブロックＤ1およびブロックＤ2との各サンプルの加算値（Ｍ・Ｒ個）の時系列である。以上のように、補間ブロックＢcは、Ｍ個のサンプルで構成される反射音間ブロックＢbを時間軸上でＲ倍に伸長した波形を表す。

次に、第１処理部５１および第２処理部５２による処理の具体例を説明する。図９に示すように、第１処理部５１は、窓掛部５１２と移相部５１４と振幅調整部５１６とを含んで構成される。図８の部分(B1)および部分(B2)に示すように、窓掛部５１２は、反射音間ブロックＢbから抽出されたブロックＣ0に窓関数Ｆwを乗算することで中間ブロックＣa（Ｎ個のサンプルの時系列）を生成する。両端部に接近するほど関数値が減少する関数（理想的には両端部で関数値がゼロとなる関数）が窓関数Ｆwとして好適である。図８の部分(B2)においては、窓関数Ｆwの乗算後の中間ブロックＣaが、窓関数Ｆwの形状を表す図形で代替的に図示されている（以下でも同様）。本形態においては式(1)で定義されるハニング窓ｗ(n)を窓関数Ｆwとして採用する。ただし、窓関数Ｆw（または窓関数ＦwAや窓関数ＦwB）の内容は任意であり、公知の窓関数（例えばハミング窓や三角窓）が任意に採用される。
ｗ(n)＝０．５−０．５ｃｏｓ（ｎπ／Ｎ） ……(1)

図９の移相部５１４は、窓掛部５１２が生成した中間ブロックＣaの位相を相異なる角度だけ回転することでＫ個の中間ブロックＣb（Ｃb[1]〜Ｃb[K]）を生成する。さらに詳述すると、移相部５１４は、離散フーリエ変換で中間ブロックＣaを周波数領域に変換し、図８の部分(B3)に示すように、変換後の中間ブロックＣa（周波数スペクトル）の位相を角度θk（ｋ＝１〜Ｋ）だけ回転する処理を相異なるＫ種類の角度θ1〜θKについて反復したうえで各々に離散フーリエ逆変換を実行することで時間領域のＫ個の中間ブロックＣb[1]〜Ｃb[K]を生成する。

中間ブロックＣbの個数Ｋは制御値Ｒに応じて可変に設定される。例えば、図８の部分(B3)に示すように、中間ブロックＣbの個数Ｋは、各中間ブロックＣbを時間差Ｎ/２で配列した場合のＫ個の中間ブロックＣb（Ｃb[1]〜Ｃb[K]）の時間長の合計（(Ｋ＋１)・Ｎ/２））が補間ブロックＢcの時間長Ｍ・Ｒ以上となる最小の自然数に設定される。図８においては移相部５１４が３個の中間ブロックＣb（Ｃb[1]〜Ｃb[3]）を生成した場合（Ｋ＝３）が図示されている。

図８の部分(B4)に示すように、補間ブロックＢcの生成時には第１番目の中間ブロックＣb[1]から時間差Ｎ/２でＫ個の中間ブロックＣb[1]〜Ｃb[K]が配列されるから、移相部５１４が生成したＫ個の中間ブロックＣbの時間長の合計（(Ｋ＋１)・Ｎ/２））が補間ブロックＢcの時間長Ｍ・Ｒを上回る場合、最終段（第Ｋ番目）の中間ブロックＣb[K]とブロックＤ2との間隔はＮ/２を下回る。したがって、移相部５１４が生成した中間ブロックＣb[K]をそのまま補間ブロックＢcの生成に利用した場合、補間ブロックＢcのうち中間ブロックＣb[K]とブロックＤ2とが重複する区間の振幅が初期インパルス応答Ｈ0と比較して過大となる。

そこで、図８の振幅調整部５１６は、中間ブロックＣb[K]が表す波形の振幅（各サンプルの数値）を低減する。さらに詳述すると、振幅調整部５１６は、図８の部分(B4)に示すように、第(Ｋ−１)番目の中間ブロックＣb[K-1]の中点と補間ブロックＢcの終点（ブロックＤ2の終点）との時間差｛ＭＲ−(Ｋ−１)・Ｎ/２｝が小さいほど調整後の中間ブロックＣb[K]の振幅が減少するように中間ブロックＣb[K]を調整する。振幅調整部５１６による処理後の中間ブロックＣb[K]は、図８の部分(B4)に示すように、処理前の中間ブロックＣb[K]のうち中央の｛ＭＲ−(Ｋ−１)・Ｎ/２｝個以外のサンプルの数値をゼロに設定する（すなわち両端部を除去する）ことで生成された｛ＭＲ−(Ｋ−１)・Ｎ/２｝個のサンプルの系列である。したがって、振幅調整部５１６による処理後のＫ個の中間ブロックＣb[1]〜Ｃb[K]の時間長の合計は補間ブロックＢcの時間長Ｍ・Ｒに合致する。なお、移相部５１４が生成したＫ個の中間ブロックＣbの時間長の合計（(Ｋ＋１)・Ｎ/２））が補間ブロックＢcの時間長Ｍ・Ｒに合致するように制御値Ｒが設定された場合、振幅調整部５１６は中間ブロックＣb[K]の時間長および振幅の調整を実行しない。

図９の第２処理部５２は、図８の部分(C1)および部分(C2)に示すように、波形区分部３２が特定した複数の反射音間ブロックＢbの各々からブロックＤ1とブロックＤ2とを生成する。図９に示すように、第２処理部５２は、ブロックＤ1を生成する第１加工部５２１とブロックＤ2を生成する第２加工部５２３とで構成される。

第１加工部５２１は、ブロックＤ1aからブロックＤ1を生成する。図８の部分(C1)に示すように、ブロックＤ1aは、反射音間ブロックＢbを構成するＭ個のサンプルのうち先頭から計数してＮ/２個のサンプルの系列である。第１加工部５２１は、経時的に強度が減少するようにブロックＤ1aを加工することでブロックＤ1を生成する。例えば、ブロックＤ1は、窓関数ＦwAをブロックＤ1aに乗算したＮ/２個のサンプルの系列である。図８の部分(C2)に示すように、関数値が「１」となる左端部から右端部に接近するほど関数値がゼロに近づく関数（例えば、式(1)で定義されるハニング窓の右半分に相当する関数）が窓関数ＦwAとして使用される。

一方、第２加工部５２３は、ブロックＤ2aからブロックＤ2を生成する。ブロックＤ2aは、反射音間ブロックＢbを構成するＭ個のサンプルのうち最後尾から手前側に位置するＮ/２個のサンプルの系列である。第２加工部５２３は、経時的に強度が増加するようにブロックＤ2aを加工することでブロックＤ2を生成する。例えば、ブロックＤ2は、窓関数ＦwBをブロックＤ2aに乗算したＮ/２個のサンプルの系列である。窓関数ＦwAとは逆に、関数値が「１」となる右端部から左端部に接近するほど関数値がゼロに近づく関数（例えば、式(1)で定義されるハニング窓の左半分に相当する関数）が窓関数ＦwBとして使用される。

図９の合成部５３は、第１処理部５１が生成したＫ個の中間ブロックＣb（Ｃb[1]〜Ｃb[K]）を第２処理部５２が生成したブロックＤ1（先頭）とブロックＤ2（最後尾）との間に配置し、時間軸上の同じ時点に対応する各サンプルの数値を加算したＭ・Ｒ個のサンプルの時系列を補間ブロックＢcとして生成する。以上が図６の伸長処理部３４２による具体的な処理の内容である。

図２の波形合成部３６は、図７の部分(E)や図８の部分(E)に示すように、波形区分部３２が区分した複数の主要反射音ブロックＢaと伸縮部３４が生成した複数の補間ブロックＢcとを時間軸上で連結することで新規インパルス応答ＨNEWを生成する。各主要反射音ブロックＢaと各補間ブロックＢcとは、初期インパルス応答Ｈ0における各主要反射音ブロックＢaと各反射音間ブロックＢbとの配列に対応した順番で交互に配列する。初期インパルス応答Ｈ0の後部残響音区間Ｑ2は、主要反射音ブロックＢaと補間ブロックＢcとの配列に後続するように連結される。

図３の部分(B)に示すように制御値Ｒが「１」を下回る場合には、各反射音間ブロックＢbが短縮されたうえで各主要反射音ブロックＢaの間に介挿される（すなわち、各主要反射音ブロックＢaの間隔が短縮される）。したがって、新規インパルス応答ＨNEWから生成される残響音は、初期インパルス応答Ｈ0の残響音の受聴時に知覚される音場と比較して反射音が早く到来する狭い音場（広がり感が弱い音場）の音響として受聴者に知覚される。

一方、図３の部分(C)に示すように制御値Ｒが「１」を上回る場合には、各反射音間ブロックＢbが伸張されたうえで各主要反射音ブロックＢaの間に介挿される（すなわち、各主要反射音ブロックＢaの間隔が伸長される）。したがって、新規インパルス応答ＨNEWから生成される残響音は、初期インパルス応答Ｈ0の残響音の受聴時に知覚される音場と比較して反射音の到来が遅れる広い音場（広がり感が強い音場）の音響として受聴者に知覚される。以上のように本形態においては、残響音の受聴者が知覚する音場の空間的な広がり感を制御値Ｒに応じて可変に制御することが可能である。

以上の形態における新規インパルス応答ＨNEWは、各反射音間ブロックＢbの波形を変更することで生成され、初期インパルス応答Ｈ0の残響音の聴感上の印象を特徴づける各主要反射音ブロックＢaは初期インパルス応答Ｈ0の波形のまま維持される。したがって、残響音の空間的な広がり感を制御値Ｒに応じて随時に変化させながら、初期インパルス応答Ｈ0の残響音の音響的な特徴（例えば音場の壁面の音響特性）を適度に維持した新規インパルス応答ＨNEWを生成することが可能である。

なお、窓掛部５１２が生成した中間ブロックＣaをＫ個に複製したうえでブロックＤ1とブロックＤ2との間に配列することで伸長処理部３４２が補間ブロックＢcを生成する構成（すなわち、中間ブロックＣaを中間ブロックＣb[1]〜Ｃb[K]として代用する構成）も採用される。しかし、同じ波形の複数の中間ブロックＣaが反復的に補間ブロックＢc内に配置されると、新規インパルス応答ＨNEWの残響音の受聴者が聴感上の違和感（うねり感）を知覚する場合がある。一方、波形が全く相違するＫ個の中間ブロックＣb[1]〜Ｃb[K]の配列を補間ブロックＢcの生成に使用した場合にも聴感上の違和感が知覚される。本形態においては、中間ブロックＣaの位相を相異なる角度θ（θ1〜θK）だけ回転したＫ個の中間ブロックＣb[1]〜Ｃb[K]が補間ブロックＢcの生成に使用されるから、補間ブロックＢcにおいては適度に類似する波形が反復される。したがって、新規インパルス応答ＨNEWの残響音は聴感上において自然な音響となる。

＜変形例＞
以上に例示した形態には様々な変形が加えられる。具体的な変形の態様を例示すれば以下の通りである。なお、以下の例示から２以上の態様を任意に選択して組合せてもよい。

（１）変形例１
以上の形態においては初期反射音区間Ｑ1のみについて反射音間ブロックＢbを伸縮したが、初期反射音区間Ｑ1と後部残響音区間Ｑ2との区別は本発明において必須ではない。すなわち、後部残響音区間Ｑ2についても主要反射音ブロックＢaと反射音間ブロックＢbとに区分したうえで反射音間ブロックＢbを伸縮する構成が採用される。もっとも、残響音の聴感上の印象を特徴づける直接音や初期反射音の殆どは初期反射音区間Ｑ1に含まれるから、後部残響音区間Ｑ2について反射音間ブロックＢbを伸縮しても、残響音の受聴者が知覚する音場の広がり感には殆ど影響しない。したがって、初期反射音区間Ｑ1のみについて反射音間ブロックＢbを伸縮する形態によれば、後部残響音区間Ｑ2の伸縮させる構成と比較して、主要反射音ブロックＢaと反射音間ブロックＢbとの区分や各反射音間ブロックＢbの伸縮のための演算量を削減しながら、受聴者が知覚する音場の広がり感を有効に制御できるという利点がある。

（２）変形例２
以上の形態においては初期反射音区間Ｑ1内の総ての反射音間ブロックＢbを伸縮したが、所定の条件を満たす反射音間ブロックＢbのみを伸縮の対象とする構成も好適である。例えば、残響音の受聴者が知覚する音場の広がり感は、時間長が長い反射音間ブロックＢbを伸縮した場合に特に顕著に変化する（時間長が短い反射音間ブロックＢbを伸縮しても音場の広がり感には余り影響しない）という傾向を考慮すると、時間長（サンプルの個数）が所定の閾値を上回る反射音間ブロックＢbのみを伸縮部３４が伸縮する（閾値を下回る時間長の反射音間ブロックＢbについては伸縮を省略する）構成も好適である。以上の構成によれば、受聴者が知覚する音場の広がり感の変化量を極端に減少させることなく、反射音間ブロックＢbの伸縮のための演算量を削減することが可能である。

（３）変形例３
反射音間ブロックＢbの伸縮に適用される制御値Ｒを経時的に変化させる構成も好適である。例えば、図１０に示すように、初期反射音区間Ｑ1の始点（ｔ＝０）から終点ｔEにかけて制御値Ｒを経時的に減少させる構成が採用される。制御値Ｒは、例えば以下の式(1)で定義されるように初期値Ｒ0から「１」まで減少する。初期値Ｒ0は、利用者が入力装置１６から指示した数値である。
Ｒ＝１＋（Ｒ0−１）×｛ｃｏｓ（ｎπ／ｔE）｝ ……(2)
式(2)の変数ｎは、各反射音間ブロックＢbの先頭のサンプルの番号（初期反射音区間Ｑ1の始点から計数してｎ番目）を意味し、変数ｔEは、初期反射音区間Ｑ1の最後のサンプルの番号を意味する。式(2)から理解されるように、初期インパルス応答Ｈ0において後方に位置する反射音間ブロックＢbほど伸縮部３４による伸縮の度合（制御値Ｒ）が低下し、制御値Ｒが「１」となる終点ｔEの近傍の反射音間ブロックＢbについては殆ど伸縮されない。以上の構成によれば、総ての反射音間ブロックＢbについて共通の制御値Ｒが適用される構成と比較して、初期反射音区間Ｑ1と後部残響音区間Ｑ2との境界で残響音が聴感上において不連続と知覚される可能性が低減される。

（４）変形例４
伸長処理部３４２の構成は任意である。例えば第２処理部５２は省略される。すなわち、第１処理部５１が生成したＫ個の中間ブロックＣb[1]〜Ｃb[K]を時間軸上に配列することで合成部５３は補間ブロックＢcを生成する。また、反射音間ブロックＢbから抽出されたブロックＤ1aやブロックＤ2aが合成部５３に供給される構成（すなわち窓関数ＦwAや窓関数ＦwBの乗算を省略した構成）も採用される。第１処理部５１の窓掛部５１２や移相部５１４を省略してもよい。例えば、反射音間ブロックＢbから抽出されたブロックＣ0を複数個に複製したうえで時間軸上に配列することで補間ブロックＢcが生成される。

また、第１処理部５１は伸長処理部３４２から省略される。すなわち、第２処理部５２が生成したブロックＤ1を先頭に配置するとともにブロックＤ2を最後尾に配置することで合成部５３は補間ブロックＢcを生成する。ブロックＤ1とブロックＤ2との間隙の振幅は所定値（例えばゼロ）に設定される。

以上の例示のように窓関数Ｆw（ＦwA，ＦwB）の使用は本発明において必須ではない。ただし、ブロックＤ1aに窓関数ＦwAを乗算しない構成やブロックＤ2aに窓関数ＦwBを乗算しない構成においては、新規インパルス応答ＨNEWにおいて補間ブロックＢcと前後の主要反射音ブロックＢaとの境界で残響音が不連続となって音質が低下する場合がある。したがって、主要反射音ブロックＢaと補間ブロックＢcとを自然に連結するという観点からすれば、経時的に減少する窓関数ＦwAや経時的に増加する窓関数ＦwBを利用した構成が重要である。同様に、窓掛部５１２を省略した構成においては相前後するブロックＣ0の境界で残響音が不連続となって音質が低下する場合がある。したがって、ブロックＣ0に対する窓関数Ｆwの乗算に応じて生成された中間ブロックＣb（Ｃb[1]〜Ｃb[K]）を補間ブロックＢcの生成に使用する構成が本発明においては重要であり、両端部に接近するほど関数値が減少する窓関数は格別に好適である。

（５）変形例５
Ｋ個の中間ブロックＣb[1]〜Ｃb[K]の各々の周波数特性を相違させるための構成は、位相の回転角θkを中間ブロックＣb毎に変化させる方法に限定されない。例えば、窓掛部５１２が生成した中間ブロックＣaの波形の始点と終点とを時間軸の方向に逆転させた中間ブロックＣbと窓掛部５１２が生成した中間ブロックＣaとを交互に配列した集合がＫ個の中間ブロックＣb[1]〜Ｃb[K]として利用される。もっとも、Ｋ個の中間ブロックＣb[1]〜Ｃb[K]の波形（周波数特性）が共通する構成（すなわち移相部５１４を省略した構成）も採用される。

（６）変形例６
以上の形態においては初期インパルス応答Ｈ0の後部残響音区間Ｑ2をそのまま新規インパルス応答ＨNEWにおいても使用したが、初期インパルス応答Ｈ0の後部残響音区間Ｑ2を加工したうえで主要反射音ブロックＢaと補間ブロックＢcとの配列に後続させて新規インパルス応答ＨNEWを生成する構成も好適である。例えば、後部残響音区間Ｑ2は、制御値Ｒが「１」を上回る場合には伸長され、制御値Ｒが「１」を下回る場合には短縮される。後部残響音区間Ｑ2の伸長または短縮には公知の技術が任意に採用される。

（７）変形例７
以上の形態においては伸縮部３４が反射音間ブロックＢbの伸長および短縮の双方を実行する構成を例示したが、伸縮部３４が反射音間ブロックＢbの伸長および短縮の一方のみを実行する構成（すなわち伸長処理部３４２および短縮処理部３４４の一方を省略した構成）も採用される。

（８）変形例８
以上の形態においては利用者が制御値Ｒを指定したが、制御値Ｒを指定する方法は任意である。例えば、制御値Ｒを時系列に指定するデータを記憶装置１４から順次に取得して新規インパルス応答ＨNEWの生成に適用する構成も採用される。

（９）変形例９
以上の形態においてはインパルス応答加工部２２と残響付与部２４とを具備する残響付与装置１００を例示したが、図１の残響付与装置１００から残響付与部２４を省略したインパルス応答加工装置（インパルス応答加工部２２）としても本発明は成立する。インパルス応答加工装置が生成した新規インパルス応答ＨNEWは、例えば、可搬型の記録媒体や通信網を介して別個の残響付与装置１００（残響付与部２４）に提供されて残響音の生成に使用される。

本発明の実施形態に係る残響付与装置のブロック図である。 インパルス応答加工部のブロック図である。 初期インパルス応答における主要反射音ブロックと反射音間ブロックとの関係を示す概念図である。 波形区分部のブロック図である。 波形区分部の動作を説明するための概念図である。 伸縮部のブロック図である。 短縮処理部による処理を説明するための概念図である。 伸長処理部による処理を説明するための概念図である。 伸長処理部のブロック図である。 制御値の経時的な変化を示すグラフである。

符号の説明

１００……残響付与装置、１２……演算処理装置、１４……記憶装置、１６……入力装置、２２……インパルス応答加工部、２４……残響付与部、３２……波形区分部、３４……伸縮部、３６……波形合成部、４１……第１平滑部、４２……第２平滑部、４４……比較部、３４２……伸長処理部、３４４……短縮処理部、５１……第１処理部、５１２……窓掛部、５１４……移相部、５１６……振幅調整部、５２……第２処理部、５２１……第１加工部、５２３……第２加工部、５３……合成部、ＳIN……音響信号、ＳR……残響音信号、Ｈ0……初期インパルス応答、ＨNEW……新規インパルス応答、Ｒ……制御値。

Claims (12)

1. 初期インパルス応答を、強度のピークを含む主要反射音ブロックと前記主要反射音ブロック以外の反射音間ブロックとに時間軸上で区分する波形区分手段と、
   前記反射音間ブロックを時間軸上で伸長または短縮して補間ブロックを生成する伸縮手段と、
   前記波形区分手段が区分した前記主要反射音ブロックと前記伸縮手段が生成した前記補間ブロックとを連結することで新規インパルス応答を生成する波形合成手段と
   を具備するインパルス応答加工装置。
2. 前記波形区分手段は、前記初期インパルス応答の初期反射音区間のみを前記主要反射音ブロックと前記反射音間ブロックとに区分する
   請求項１のインパルス応答加工装置。
3. 前記波形区分手段は、
   前記初期インパルス応答の強度の時間的な変動を抑制した第１波形を生成する第１平滑手段と、
   前記初期インパルス応答の強度の時間的な変動を前記第１波形よりも抑制した第２波形を生成する第２平滑手段とを含み、
   前記第１波形の強度が前記第２波形の強度を上回る区間を前記主要反射音ブロックとして特定する
   請求項１または請求項２のインパルス応答加工装置。
4. 前記第１平滑手段は、前記初期インパルス応答における第１個数のサンプルの移動平均の時系列を前記第１波形として算定し、
   前記第２平滑手段は、前記初期インパルス応答における前記第１個数よりも多い第２個数のサンプルの移動平均の時系列を前記第２波形として算定する
   請求項３のインパルス応答加工装置。
5. 前記伸縮手段は、前記反射音間ブロックを伸張する場合に、前記反射音間ブロックの少なくとも一部の波形を変形させた中間ブロックを生成する第１処理手段を含み、前記中間ブロックから前記補間ブロックを生成する
   請求項１から請求項４の何れかのインパルス応答加工装置。
6. 前記第１処理手段は、両端部に接近するほど関数値が減少する窓関数を前記反射音間ブロックの少なくとも一部に乗算して中間ブロックを生成する窓掛手段を含む
   請求項５のインパルス応答加工装置。
7. 前記第１処理手段は、前記反射音間ブロックの少なくとも一部について相異なる角度だけ位相を回転させた複数の中間ブロックを生成する移相手段を含み、
   前記伸縮手段は、前記移相手段が生成した複数の中間ブロックを時間軸上に配列することで前記補間ブロックを生成する
   請求項５または請求項６のインパルス応答加工装置。
8. 前記伸縮手段は、前記反射音間ブロックを伸張する場合に、当該反射音間ブロックのうち始点を含む区間を強度が経時的に減少するように加工した第１ブロックと、当該反射音間ブロックのうち終点を含む区間を強度が経時的に増加するように加工した第２ブロックとを生成する第２処理手段を含み、前記第１ブロックを先頭に配置するとともに前記第２ブロックを最後尾に配置することで前記補間ブロックを生成する
   請求項１から請求項７の何れかのインパルス応答加工装置。
9. 前記伸縮手段は、前記反射音間ブロックを短縮する場合に、前記反射音間ブロックの始点を含む第１ブロックと前記反射音間ブロックの終点を含む第２ブロックとの時間差を短縮することで前記補間ブロックを生成する短縮処理手段を含む
   請求項１から請求項８の何れかのインパルス応答加工装置。
10. 前記短縮処理手段は、前記第１ブロックと前記第２ブロックとをクロスフェードすることで前記補間ブロックを生成する
    請求項９のインパルス応答加工装置。
11. 請求項１から請求項１０の何れかのインパルス応答加工装置と、
    前記インパルス応答加工装置が生成した新規インパルス応答と音響信号との畳込み演算を実行する残響付与手段と
    を具備する残響付与装置。
12. 初期インパルス応答を、強度のピークを含む主要反射音ブロックと前記主要反射音ブロック以外の反射音間ブロックとに時間軸上で区分する波形区分処理と、
    前記反射音間ブロックを時間軸上で伸縮することで補間ブロックを生成する伸縮処理と、
    前記波形区分処理で区分した前記主要反射音ブロックと前記伸縮処理で生成した前記補間ブロックとを連結することで新規インパルス応答を生成する波形合成処理と
    をコンピュータに実行させるプログラム。
    

Images