JP5713988B2 - 音場収音再生装置、方法、およびプログラム - Google Patents

Description

この発明は、ある音場に設置されたマイクロホンで音信号を収音し、その音信号を用いてスピーカでその音場を再現する波面合成法（Wave Field Synthesis）の技術に関する。

ある音場に設置されたマイクロホンアレーで信号を収音し、その信号を用いてスピーカアレーでその音場を再現する波面合成法（Wave Field Synthesis）の技術として、例えば非特許文献１に記載された技術が知られている。

小山翔一，外３名，「音場収音・再現のための時空間周波数領域信号変換法」，日本音響学会講演論文集，２０１１年９月，Ｐ．６３５−６３６

非特許文献１に記載された技術では、直線状アレーを用いた場合、収音音場が残響のある環境下にあると、再現音場の残響感が増す可能性があった。

この発明の目的は、従来よりも高精度に音場を再現することができる音場収音再生装置、方法及びプログラムを提供することである。

上記の課題を解決するために、この発明の一態様による音場収音再生装置は、半径R_mの仮想円筒の軸を中心とし仮想円筒の周面を円周とする２個以上の円のそれぞれに少なくとも２個のマイクロホンが配置されているとし、少なくとも２個のスピーカが直線状に配置されているとし、半径R_mの仮想円筒の軸方向をz軸方向とし、半径R_mの仮想円筒の周方向をφ方向とし、iをz軸方向のインデックスとし、jをφ方向のインデックスとし、ωを周波数として、マイクロホンで収音された信号に基づいて生成された周波数領域信号P_ij(ω)に対して、任意の指向性制御手法によりz軸方向のインデックスi毎に予め定めた一方向に指向性を形成し、指向性形成後信号P^MB _i(ω)を生成する指向性制御部と、指向性形成後信号P^MB _i(ω)を空間のフーリエ変換により時空間周波数領域信号P~_n(ω)に変換する空間周波数変換部と、時空間周波数領域信号P~_n(ω)に対して、一次元マイクロホンアレーにより収音された信号に基づいて生成された時空間周波数領域信号を一次元スピーカアレーにより出力するための時空間周波数領域信号に変換するフィルタF~_n(ω)を適用して、フィルタ処理後信号D~_n(ω)を生成する変換フィルタ部と、を含む。

この発明の他の態様による音場収音再生装置は、半径R_mの仮想円筒の軸を中心とし仮想円筒の周面を円周とする２個以上の円のそれぞれに少なくとも２個のマイクロホンが配置されているとし、少なくとも２個のスピーカが直線状に配置されているとし、半径R_mの仮想円筒の軸方向をz軸方向とし、半径R_mの仮想円筒の周方向をφ方向とし、iをz軸方向のインデックスとし、jをφ方向のインデックスとし、ωを周波数として、マイクロホンで収音された信号に基づいて生成された周波数領域信号P_ij(ω)に対して、任意の指向性制御手法によりz軸方向のインデックスi毎に予め定めた一方向に指向性を形成して生成した指向性形成後信号P^MB _i(ω)を空間のフーリエ変換により変換した時空間周波数領域信号P~_n(ω)に対して、一次元マイクロホンアレーにより収音された信号に基づいて生成された時空間周波数領域信号を一次元スピーカアレーにより出力するための時空間周波数領域信号に変換するフィルタF~_n(ω)を適用して、フィルタ処理後信号D~_n(ω)を生成する変換フィルタ部と、フィルタ処理後信号D~_n(ω)を空間の逆フーリエ変換により周波数領域信号D_i(ω)に変換する空間周波数逆変換部と、周波数領域信号D_i(ω)を逆フーリエ変換により時間領域信号に変換し、変換された時間領域信号を上記スピーカに出力する周波数逆変換部と、を含む。

直線状スピーカアレーを用いる場合であっても、マイクロホンアレーを円筒状として、目的音場の直接音を再現しつつ残響感も再現することができる。したがって、従来よりも高精度に音場を再現することができる。

第一実施形態の音場収音再生装置の例を示す機能ブロック図。 第一実施形態のマイクロホン及びスピーカの配置の例を説明するための図。 マイクロホンの配置の例を説明するための図。 音場収音再生方法の例を示す流れ図。 第二実施形態のマイクロホン及びスピーカの配置の例を説明するための図。 第二実施形態の音場収音再生装置の例を示す機能ブロック図。 第三実施形態の音場収音再生装置の例を示す機能ブロック図。 第四実施形態の音場収音再生装置の例を示す機能ブロック図。 第五実施形態の音場収音再生装置の例を示す機能ブロック図。

以下、図面を参照してこの発明の実施形態を説明する。

［第一実施形態］
第一実施形態の音場収音再生装置及び方法は、図２に示すように、第一の空間の半径R_mの仮想円筒の周面に配置されているN_z×N_φ個のマイクロホンＭ１−１，Ｍ２−１，…，ＭＮ_ｚ−Ｎ_φで構成されるマイクロホンアレーと、第二の空間に直線状に配置されたN_z個のスピーカＳ１，Ｓ２，…，ＳＮ_ｚで構成されるスピーカアレーとを用いて、第一の空間の音源Ｓで発生した音によって形成された第一の空間の音場を第二の空間で再現する。第一の空間及び第二の空間は互いに異なる空間である。図２では、第二の空間で再現された音源Ｓを音源Ｓ’と表現している。仮想円筒の軸方向をz軸方向とし、周方向をφ方向とする。第一の空間に配置されたマイクロホンアレーのz軸方向の数と第二の空間に配置されたスピーカの数は異なっていてもよい。マイクロホンアレーのz軸方向の数が、第二の空間に配置されたスピーカの数よりも多い場合には、再生信号を間引けばよい。一方、マイクロホンアレーのz軸方向の数が、第二の空間に配置されたスピーカの数よりも少ない場合には、再生信号の平均を取るなどして補間を行えばよい。補間を行う方法は、例えば、線形補間やsinc補間などを適用することができる。

図３に示すように、仮想円筒の軸を中心とし仮想円筒の周面を円周とするN_z個の円のそれぞれにおいて、N_φ個のマイクロホンが等間隔に配置される。N_z,N_φは予め定められた２以上の整数である。すなわち、仮想円筒の周面の２個の円のそれぞれにおいて２個のマイクロホンが配置されることにより、マイクロホンは仮想円筒の周面に少なくとも４個配置される。

仮想円筒の周面のN_z個の円は、例えばz_cを所定の距離として、z_c間隔で位置している。また、同一の円に配置されたN_φ個のマイクロホンは、φ_cを所定の角度として、φ_c度の間隔で位置している。

マイクロホンは、どのような間隔で配置されてもよい。すなわち、隣接するマイクロホンとの間隔であるz_c,φ_cのそれぞれは、任意の値を取ることができる。ただし、マイクロホンを等間隔に配置する、すなわち隣接するマイクロホンとの間隔であるz_c,φ_cのそれぞれを同じ値とすることで、高精度に音場を再現することができる。

スピーカアレーを構成するスピーカは等間隔に配置されている。マイクロホンアレーのz軸方向の長さと、スピーカアレーの長さはほぼ同じである。仮想円筒の周面のN_z個の円の位置は、その各円に対応するスピーカのスピーカアレーにおける位置と同じであることが望ましいが、異なっていても良い。この位置が同じであれば、より忠実に音場の再生を行うことができる。

マイクロホンが配置される仮想円筒の半径R_mは、例えば2cm程度とする。仮想円筒の半径R_mは、値が大きいほど鋭い指向性を形成することができるが、より多くのマイクロホンが必要となる。仮想円筒の半径R_mは、収音する信号の周波数を考慮して実験的に設定することが望ましい。また、マイクロホンは、仮想円筒の周面の外側に向けて配置される。

マイクロホンは、音響的に透明な状態で第一の空間の空中に配置される。音響的に透明な状態とは、マイクロホンが配置されていない第一の空間の伝達特性と同じ伝達特性を保った状態ということである。例えば、マイクロホンは、糸で吊るされるか、細い棒で固定されることにより、第一の空間の空中に配置される。

スピーカは、マイクロホンと同様に、音響的に透明な状態で第二の空間の空中に配置されてもよいし、音響的に透明でない状態で第二の空間に配置されてもよい。

第一の空間のマイクロホンＭｉ−ｊの位置を円筒座標系で(R_m,φ_m,j,z_m,i)[i=1,2,…,N_z、j=1,2,…,N_φ]と表現する。第二の空間のスピーカＳｉの位置を円筒座標系で(0,0,z_s,i)[i=1,2,…,N_z]と表現する。

第一実施形態の音場収音再生装置は、図１に示すように周波数変換部１、指向性制御部２、空間周波数変換部３、変換フィルタ部４、空間周波数逆変換部５、周波数逆変換部６及び窓関数部７を例えば含み、図４に例示された各ステップの処理を行う。

第一の空間に配置されたマイクロホンＭ１−１，Ｍ２−１，…，ＭＮ_ｚ−Ｎ_φは、第一の空間の音源Ｓで発せられた音を収音して時間領域の信号を生成する。生成された信号は、周波数変換部１に送られる。(R_m,φ_m,j,z_m,i)に位置するマイクロホンＭｉ−ｊで収音された時間領域の時刻ｔの信号をp_ij(t)と表記する。

周波数変換部１は、マイクロホンＭ１−１，Ｍ２−１，…，ＭＮ_ｚ−Ｎ_φで収音された信号p_ij(t)をフーリエ変換により周波数領域信号P_ij(ω)に変換する（ステップＳ１）。生成された周波数領域信号P_ij(ω)は、指向性制御部２に送られる。ωは周波数である。例えば、短時間離散フーリエ変換により周波数領域信号P_ij(ω)が生成される。もちろん、他の既存の方法により周波数領域信号P_ij(ω)を生成してもよい。また、オーバーラップアド等の方法を用いて周波数領域信号P_ij(ω)を生成してもよい。入力信号が長い場合や、リアルタイム処理のように連続して信号が入力される場合には、例えば10msごとといったフレームごとに処理を行う。周波数領域信号P_ij(ω)は、例えば式（１）のように定義される。関数expの引数の中のjは虚数単位である。

指向性制御部２は、円調和解析に基づく指向性形成を行うことで、周波数領域信号P_ij(ω)を指向性形成後信号P^MB _i(ω)に変換する（ステップＳ２）。変換された指向性形成後信号P^MB _i(ω)は、空間周波数変換部３に送られる。指向性制御部２は、周波数領域信号P_ij(ω)に対して、z軸方向のインデックスi毎に任意の指向性制御手法により所定の方向φ₀に指向性を形成する。所定の方向φ₀は指向性を形成する方向である。例えば、φ₀は話者のいる方向などにあらかじめ設定する。指向性制御手法はどのような手法を用いてもよい。例えば遅延和ビームフォーマや最小分散ビームフォーマなどの周知の指向性制御手法を適用することができる。

マイクロホンが音響的に透明な状態で第一の空間の空中に配置されている場合には、式（２）により定義されるP^MB _i(ω)を計算することで、より精度よく指向性を形成することができる。

N_φはφ方向のマイクロホンの数である。W_jはφ方向のインデックスjに基づいて例えば式（３）のように定まる重みである。

A(ω)は定数であり、周波数ωにより定まる複素数である。kは波数であり、cを音速としてk=ω/cで求めることができる。上述の通り、R_mは仮想円筒の半径であり、φ₀は指向性を形成する方向である。総和の次数Nは以下のように決定できるが、正の整数であればどのような値であってもよい。

J_n(・)はn次のベッセル関数である。n次のベッセル関数J_n(x)は、以下のように定義される。

空間周波数変換部３は、空間のフーリエ変換により指向性形成後信号P^MB _i(ω)を時空間周波数領域信号P~_n(ω)に変換する（ステップＳ３）。時空間周波数領域信号P~_n(ω)は、周波数ωごとに計算される。変換された時空間周波数領域信号P~_n(ω)は、変換フィルタ部４に送られる。空間周波数変換部３は、具体的には式（４）により定義されるP~_n(ω)を計算する。

k_z,nはz軸方向の波数であり、nは波数k_z,nのインデックスである。波数とは、いわゆる空間周波数又は角度スペクトルのことである。式（４）は、時空間周波数領域への変換の一例であり、他の方法により空間のフーリエ変換を行ってもよい。

変換フィルタ部４は、時空間周波数領域信号P~_n(ω)に対して以下の式（５）により所定のフィルタF~_n(ω)を適用してフィルタ処理後信号D~_n(ω)を生成する（ステップＳ４）。フィルタ処理後信号D~_n(ω)は、空間周波数逆変換部５に送信される。

式（５）において、フィルタF~_n(ω)は、一次元マイクロホンアレーにより収音された信号に基づいて生成された時空間周波数領域信号を一次元スピーカアレーにより出力するための時空間周波数領域信号に変換するものであれば、どのようなものでも適用することができる。

例えば、変換フィルタ部４は非特許文献１に記載されている式（６）で定義されるフィルタF~_n(ω)を適用することができる。

式（６）において、H₀ ⁽²⁾はn=0の場合の第二種ハンケル関数である。第二種ハンケル関数H_n ⁽²⁾は、第一種ベッセル関数J_n(x)及び第二種ベッセル関数Y_n(x)を用いて以下のように定義される。

R_refは、スピーカアレーから振幅を一致させる直線までの距離であり、この前後では振幅に誤差が生じる。具体的には、スピーカアレーＳ１，Ｓ２，…，ＳＮ_zと同じ高さであり、スピーカアレーＳ１，Ｓ２，…，ＳＮ_zからR_refだけ離れた位置にあり、スピーカアレーＳ１，Ｓ２，…，ＳＮ_zが配置されている直線と平行な直線上の位置で振幅が一致する。

式（６）で定義されるフィルタF~_n(ω)を適用することにより、第二の空間で再現される信号の振幅を所定の直線状で一致させることができるため、従来よりも広い範囲で再現される信号の振幅が一致する。

また、変換フィルタ部４は、例えば、「小山翔一，古家賢一，日和崎祐介，「時空間スペクトルの位相シフトによる音場再現位置の制御」，日本音響学会講演論文集，２０１１年９月，Ｐ．６３７−６３８（以下、参考文献１）」に記載されている式（７）で定義されるフィルタF~_n(ω)を適用することができる。

式（７）において、dは、マイクロホンアレーで収音した信号を再現する位置とスピーカアレーとの距離である。この距離dはスピーカアレーの正面方向を正とする。

また、変換フィルタ部４は、例えば、「小山翔一，古家賢一，日和崎祐介，「スピーカ指向性を考慮した時空間周波数領域での音場再現フィルタ設計手法」，日本音響学会講演論文集，２０１２年３月，Ｐ．９１３−９１４（以下、参考文献２）」に記載されている式（８）で定義されるフィルタF~_n(ω)を適用することができる。

式（８）において、G~_2Dは、理想的な伝達特性を表す２次元自由空間グリーン関数をz軸方向に空間のフーリエ変換をした関数である。G~_spは、音場が再現される空間のスピーカアレーの位置と、その位置からR_refだけ離れた位置との間の予め測定された伝達特性をz軸方向に空間のフーリエ変換をした関数である。

式（８）で定義されるフィルタF~_n(ω)は、予め測定された伝達特性を用いてフィルタを構成している。したがって、式（８）で定義されるフィルタF~_n(ω)を適用することにより、スピーカアレーを構成するスピーカの指向性が任意の指向性であっても音場の再現をすることができる。

また、変換フィルタ部４は、例えば、参考文献２に記載されている式（９）で定義されるフィルタF~_n(ω)を適用することができる。

式（９）において、p,qは予め設定された次数とし、d_p,qはスピーカアレーを構成する各スピーカの伝達特性を次数p,qで多重極展開した多重極係数である。例えばp,qの全てを１とする等、p,qのうち何れか１つ以上は０でない正の値である。k_ρは次式により定義される。

式（９）で定義されるフィルタF~_n(ω)は、予め測定された伝達特性を用いてフィルタを構成している。したがって、式（９）で定義されるフィルタF~_n(ω)を適用することにより、スピーカアレーを構成するスピーカの指向性が任意の指向性であっても音場の再現をすることができる。

空間周波数逆変換部５は、フィルタ処理後信号D~_n(ω)を空間の逆フーリエ変換により周波数領域信号D_i(ω)に変換する（ステップＳ５）。変換された周波数領域信号D_i(ω)は、周波数逆変換部６に送られる。空間周波数逆変換部５は、具体的には式（１０）により定義される周波数領域信号D_i(ω)を計算する。

周波数逆変換部６は、周波数領域信号D_i(ω)を逆フーリエ変換により時間領域信号P^d _i(t)に変換する（ステップＳ６）。逆フーリエ変換によりフレーム毎に得られた時間領域信号P^d _i(t)は適宜シフトされて線形和が取られて、連続した時間領域信号となる。逆フーリエ変換は短時間離散逆フーリエ変換等の既存の方法を用いればよい。時間領域信号P^d _i(t)は、窓関数部７に送られる。

窓関数部７は、時間領域信号P^d _i(t)に窓関数を乗じて窓関数後時間領域信号d_i(t)を生成する（ステップＳ７）。窓関数後時間領域信号d_i(t)は、スピーカアレーＳ１，Ｓ２，…，ＳＮ_zに送られる。

窓関数として、以下の式により定義されるいわゆるターキー（Tukey）窓関数w_iを例えば用いる。N_tpは、テーパーを適用する点数であり１以上N_z以下の整数である。もちろん、他の窓関数を用いてもよい。

スピーカアレーＳ１，Ｓ２，…，ＳＮ_ｚは、窓関数後時間領域信号d_i(t)に基づいて音を再生する。具体的には、ｉ＝１，…，Ｎ_ｚとして、(0,0,z_s,i)に位置するスピーカＳｉが窓関数後時間領域信号d_i(t)に基づいて音を再生する。これにより、第一の空間の音場を第二の空間に再現することができる。

マイクロホンアレーのz軸方向のチャネル数が、スピーカアレーを構成するスピーカの数よりも多い場合には、窓関数後時間領域信号d_i(t)を間引いてもよい。一方、マイクロホンアレーのz軸方向のチャネル数が、スピーカアレーを構成するスピーカの数よりも少ない場合には、窓関数後時間領域信号d_i(t)の平均を取るなどして補間を行ってもよい。補間を行う方法は、例えば、線形補間やsinc補間などを適用することができる。

このように、マイクロホンアレーを円筒状として、仮想円筒の周面のφ方向に配置されたN_φ個のマイクロホン毎に所定の方向へ指向性形成を行うことで、異なる方向から到来する反射音等を抑圧することができる。したがって、直線状スピーカアレーを用いる場合であっても、目的音場の直接音を再現しつつ残響感も再現することができる。したがって、従来よりも高精度に音場を再現することができる。

［第二実施形態］
第二実施形態の音場収音再生装置及び方法は、図５に示すように、第一の空間の半径R_mの仮想円筒の周面に配置されているN_z×N_φ個のマイクロホンＭ１−１，Ｍ２−１，…，ＭＮ_ｚ−Ｎ_φで構成されるマイクロホンアレーと、第二の空間に配置されたK×N_z個のスピーカＳ１−１，Ｓ２−１，…，ＳＫ−Ｎ_ｚで構成されるスピーカアレーとを用いて、第一の空間の音源Ｓで発生した音によって形成された第一の空間の音場を第二の空間で再現する。

第一の空間に配置されたマイクロホンの配置は第一実施形態と同様である。第二の空間に配置されたスピーカアレーは、直線状に配置されたN_z個のスピーカが相異なる高さにおいてＫ列に配置される。直線状に配置されたN_z個のスピーカの配置は、第一実施形態と同様である。スピーカの列はどのような間隔で配置されてもよい。

第二実施形態の音場収音再生装置は、図６に示すように周波数変換部１、指向性制御部２、Ｋ個の空間周波数変換部３−１，…，３−Ｋ、Ｋ個の変換フィルタ部４−１，…，４−Ｋ、Ｋ個の空間周波数逆変換部５−１，…，５−Ｋ、Ｋ個の周波数逆変換部６−１，…，６−Ｋ、Ｋ個の窓関数部７−１，…，７−Ｋを例えば含み、図４に例示された各ステップの処理を行う。

この実施形態の指向性制御部２は、周波数領域信号P_ij(ω)をＫ個に複製し、それぞれをＫ通りの相異なる方向φ_0-1,…,φ_0-Kに指向性を形成することで指向性形成後信号P^MB _1-i(ω),…,P^MB _K-i(ω)に変換する。例えば、指向性を形成する方向は、第一の方向φ_0-1を話者の口元の方向に設定し、第二の方向φ_0-2を話者の足元の方向に設定する。指向性制御手法は第一実施形態と同様にどのような手法を用いてもよい。変換された指向性形成後信号P^MB _1-i(ω),…,P^MB _K-i(ω)は、それぞれ対応する空間周波数変換部３−１，…，３−Ｋに送られる。

以降の処理は、第一実施形態と同様の処理を並列に実行すればよい。すなわち、指向性形成後信号P^MB _k-i(ω)（1≦k≦K）は、空間周波数変換部３−ｋで時空間周波数領域信号P~_k-n(ω)に変換され、変換フィルタ部４−ｋに送られる。時空間周波数領域信号P~_k-n(ω)は、変換フィルタ部４−ｋでフィルタ処理後信号D~_k-n(ω)に変換され、空間周波数逆変換部５−ｋに送られる。フィルタ処理後信号D~_k-n(ω)は、空間周波数逆変換部５−ｋで周波数領域信号D_k-i(ω)に変換され、周波数逆変換部６−ｋに送られる。周波数領域信号D_k-i(ω)は、周波数逆変換部６−ｋで時間領域信号P^d _k-i(t)に変換され、窓関数部７−ｋに送られる。時間領域信号P^d _k-i(t)は、窓関数部７−ｋで窓関数後時間領域信号d_k-i(t)に変換される。スピーカＳｋ−１，…，Ｓｋ−Ｎ_ｚは、窓関数後時間領域信号d_k-i(t)に基づいて音を再生する。

このように、円筒状のマイクロホンアレーで収音した信号を相異なるＫ通りの方向へ指向性を形成し、上下方向にＫ列に配置されたスピーカアレーから再生することで、上下方向の立体感をより高精度に再現することができる。ただし、第一実施形態と比較して、指向性が形成される範囲が広くなるため、反射音等の抑圧が十分でなくなる可能性もある。したがって、収音音場の環境を考慮して指向性を形成する方向を調整する必要がある。

［第三実施形態］
第三実施形態の音場収音再生装置及び方法は、第二実施形態と同様に、第一の空間の半径R_mの仮想円筒の周面に配置されているN_z×N_φ個のマイクロホンＭ１−１，Ｍ２−１，…，ＭＮ_ｚ−Ｎ_φで構成されるマイクロホンアレーと、第二の空間に配置されたK×N_z個のスピーカＳ１−１，Ｓ２−１，…，ＳＫ−Ｎ_ｚで構成されるスピーカアレーとを用いて、第一の空間の音源Ｓで発生した音によって形成された第一の空間の音場を第二の空間で再現する。

第三実施形態の音場収音再生装置は、図７に示すように周波数変換部１、指向性制御部２、空間周波数変換部３、変換フィルタ部４、空間周波数逆変換部５、周波数逆変換部６及び窓関数部７を第一実施形態と同様に含み、さらに出力切替部８を例えば含む。

この実施形態の指向性制御部２は、指向性を形成する方向φ₀を任意に設定可能とし、設定された方向φ₀に指向性を形成することで指向性形成後信号P^MB _i(ω)に変換する。変換された指向性形成後信号P^MB _i(ω)は、空間周波数変換部３に送られる。空間周波数変換部３から窓関数部７までの処理は第一実施形態と同様である。

窓関数部７で生成された窓関数後時間領域信号d_i(t)は出力切替部８に送られる。出力切替部８は、指向性制御部２に設定された指向性を形成する方向φ₀を参照し、再生するスピーカ列を切り替える。いずれのスピーカ列から再生するかは、指向性を形成する方向φ₀とあらかじめ対応付けておく。例えば、第二の空間に配置されたスピーカアレーが２列に配置されているとして、スピーカ列の中間よりも高い方向へ指向性を形成した場合には、高い位置に配置されたスピーカＳ１−１，…，Ｓ１−Ｎ_ｚから窓関数後時間領域信号d_i(t)を再生する。スピーカアレーの中間よりも低い方向へ指向性を形成した場合には、低い位置に配置されたスピーカＳ２−１，…，Ｓ２−Ｎ_ｚから窓関数後時間領域信号d_i(t)を再生する。

このように、指向性制御部２が指向性を形成する方向を任意に設定可能とし、指向性を形成する方向と再生するスピーカの高さとを対応付けておくことで、音源の高さを高精度に再現することができる。

［第四実施形態］
第四実施形態の音場収音再生装置及び方法は、第一実施形態と同様に、第一の空間の半径R_mの仮想円筒の周面に配置されているN_z×N_φ個のマイクロホンＭ１−１，Ｍ２−１，…，ＭＮ_ｚ−Ｎ_φで構成されるマイクロホンアレーと、第二の空間に直線状に配置されたN_z個のスピーカＳ１，Ｓ２，…，ＳＮ_ｚで構成されるスピーカアレーとを用いて、第一の空間の音源Ｓで発生した音によって形成された第一の空間の音場を第二の空間で再現する。

第四実施形態の音場収音再生装置は、図８に示すように周波数変換部１、指向性制御部２、空間周波数変換部３、変換フィルタ部４、空間周波数逆変換部５、周波数逆変換部６及び窓関数部７を第一実施形態と同様に含み、さらに重み付き加算部９を例えば含む。

この実施形態の指向性制御部２は、第二実施形態と同様に、周波数領域信号P_ij(ω)をＫ個に複製し、それぞれをＫ通りの相異なる方向φ_0-1,…,φ_0-Kに指向性を形成することで指向性形成後信号P^MB _1-i(ω),…,P^MB _K-i(ω)に変換する。変換された指向性形成後信号P^MB _1-i(ω),…,P^MB _K-i(ω)は、重み付き加算部９に送られる。

重み付き加算部９は、指向性形成後信号P^MB _1-i(ω),…,P^MB _K-i(ω)それぞれをあらかじめ定められた重み係数w₁,…,w_Kを用いて重み付き加算することで、重み付き指向性形成後信号P^w _i(ω)を生成する。生成した重み付き指向性形成後信号P^w _i(ω)は空間周波数変換部３に送られる。重み係数w₁,…,w_Kは、指向性を形成した方向φ_0-1,…,φ_0-Kに対応付けて定められる。空間周波数変換部３以降の処理は第一実施形態と同様である。

例えば、第一の方向φ_0-1を話者の口元の方向に設定し、第二の方向φ_0-2を話者の足元の方向に設定したとすると、第一の方向φ_0-1に指向性を形成した指向性形成後信号P^MB _1-i(ω)に掛かる重みw₁を大きく設定し、第二の方向φ_0-2に指向性を形成した指向性形成後信号P^MB _2-i(ω)に掛かる重みw₂を大きく設定することで、話者の発話を含む信号の成分を際立たせつつ、上下方向の立体感を高精度に再現することができる。

［第五実施形態］
第五実施形態の音場収音再生装置及び方法は、第二実施形態と同様に、第一の空間の半径R_mの仮想円筒の周面に配置されているN_z×N_φ個のマイクロホンＭ１−１，Ｍ２−１，…，ＭＮ_ｚ−Ｎ_φで構成されるマイクロホンアレーと、第二の空間に配置されたL×N_z個のスピーカＳ１−１，Ｓ２−１，…，ＳＬ−Ｎ_ｚで構成されるスピーカアレーとを用いて、第一の空間の音源Ｓで発生した音によって形成された第一の空間の音場を第二の空間で再現する。

第五実施形態の音場収音再生装置は、図９に示すように周波数変換部１、指向性制御部２、Ｌ個の空間周波数変換部３−１，…，３−Ｌ、Ｌ個の変換フィルタ部４−１，…，４−Ｌ、Ｌ個の空間周波数逆変換部５−１，…，５−Ｌ、Ｌ個の周波数逆変換部６−１，…，６−Ｌ、Ｌ個の窓関数部７−１，…，７−Ｌを第二実施形態と同様に含み、さらに重み付き加算部９を例えば含む。

この実施形態の指向性制御部２は、第二実施形態と同様に、周波数領域信号P_ij(ω)をＫ個に複製し、それぞれをＫ通りの相異なる方向φ_0-1,…,φ_0-Kに指向性を形成することで指向性形成後信号P^MB _1-i(ω),…,P^MB _K-i(ω)に変換する。変換された指向性形成後信号P^MB _1-i(ω),…,P^MB _K-i(ω)のうちＨ個の指向性形成後信号P^MB _h-i(ω)（1≦h≦H）は、重み付き加算部９に送られる。その他のＧ個の指向性形成後信号P^MB _g-i(ω)（1≦g≦G）は、対応する空間周波数変換部３−２，…，３−Ｌに送られる。ただし、Ｋ＞Ｌとし、Ｋ＝Ｈ＋Ｇとし、Ｌ＝Ｇ＋１とする。

この実施形態の重み付き加算部９は、入力されたＨ個の指向性形成後信号P^MB _1-i(ω),…,P^MB _H-i(ω)をあらかじめ定めたＨ個の重み係数w₁,…,w_Hで重み付けすることで、重み付き指向性形成後信号P^w _i(ω)を生成する。生成した重み付き指向性形成後信号P^w _i(ω)は空間周波数変換部３−１に送られる。空間周波数変換部３−１，…，３−Ｌ以降の処理は第二実施形態と同様である。

このように、円筒状のマイクロホンアレーで収音した信号を相異なるＫ通りの方向へ指向性を形成し、一部の信号を重み加算した上で、上下方向にＬ列に配置されたスピーカアレーから再生することで、上下方向の立体感を再現することができる。人間の聴覚による方向認識に大きく影響しない範囲で複数の方向に対応する信号を重み付き加算することで、少ない数のスピーカであっても上下方向の立体感を高精度に再現することができる。

［変形例等］
音場収音再生装置を構成する各部は、第一の空間に配置された収音装置と第二の空間に配置された再生装置の何れに備えられていてもよい。換言すれば、周波数変換部１、指向性制御部２、空間周波数変換部３、変換フィルタ部４、空間周波数逆変換部５、周波数逆変換部６、窓関数部７、出力切替部８、重み付き加算部９のそれぞれの処理は、第一の空間に配置された収音装置で実行されてもよいし、第二の空間に配置された再生装置で実行されてもよい。収音装置で生成された信号は、再生装置に送信される。

第一の空間と第二の空間の位置は、図２に示したものに限定されない。第一の空間と第二の空間は、隣接していても互いに離れた位置にあってもよい。また、第一の空間と第二の空間の向きもどのようなものであってもよい。

窓関数部７による窓関数の処理は、どの段階で行ってもよいし、多段で行ってもよい。すなわち、窓関数部７は、マイクロホンアレーと周波数変換部１との間、周波数変換部１と指向性制御部２との間、指向性制御部２と空間周波数変換部３との間、指向性制御部２と重み付き加算部９との間、重み付き加算部９と空間周波数変換部３との間、空間周波数変換部３と変換フィルタ部４との間、変換フィルタ部４と空間周波数逆変換部５との間、空間周波数逆変換部５と周波数逆変換部６との間、周波数逆変換部６と出力切替部８との間の少なくとも１つの間に備えられていてもよい。音場収音再生装置の各部は、その各部に入力される信号について窓関数の処理が行われた場合には、その入力される信号に代えて上記と同様にしてその窓関数の処理がされた後の信号に対して処理を行う。

また、窓関数部７はなくてもよい。この場合、ｉ＝１，…，Ｎ_ｚとして、スピーカＳｉが時間領域信号P^d _i(t)に基づいて音を再生する。

音場収音再生装置は、指向性制御部２を含みさえすれば、他の部を備えていなくてもよい。例えば、音場収音再生装置は、指向性制御部２、空間周波数逆変換部３、変換フィルタ部４、空間周波数逆変換部５及び周波数逆変換部６から構成されていてもよい。また、音場収音再生装置は、周波数変換部１、指向性制御部２及び空間周波数変換部３から構成されていてもよい。

周波数変換部１の処理と指向性制御部２の処理と空間周波数変換部３の処理とを同時に行ってもよい。同様に、空間周波数逆変換部５の処理と周波数逆変換部６の処理とを同時に行ってもよい。また、空間周波数変換部３と空間周波数逆変換部５とを入れ替えてもよい。

音場収音再生装置は、コンピュータによって実現することができる。この場合、この装置の各部の処理内容はプログラムによって記述される。そして、このプログラムをコンピュータで実行することにより、この装置における各部がコンピュータ上で実現される。

この処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。また、この形態では、コンピュータ上で所定のプログラムを実行させることにより、これらの装置を構成することとしたが、これらの処理内容の少なくとも一部をハードウェア的に実現することとしてもよい。

この発明は、上述の実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲で適宜変更が可能である。

１ 周波数変換部
２ 指向性制御部
３ 空間周波数変換部
４ 変換フィルタ部
５ 空間周波数逆変換部
６ 周波数逆変換部
７ 窓関数部
８ 出力切替部
９ 重み付き加算部

Claims (14)

1. 半径R_mの仮想円筒の軸を中心とし前記仮想円筒の周面を円周とする２個以上の円のそれぞれに少なくとも２個のマイクロホンが配置されているとし、少なくとも２個のスピーカが直線状に配置されているとし、上記仮想円筒の軸方向をz軸方向とし、上記仮想円筒の周方向をφ方向とし、iをz軸方向のインデックスとし、jをφ方向のインデックスとし、ωを周波数として、
   上記マイクロホンで収音された信号に基づいて生成された周波数領域信号P_ij(ω)に対して、任意の指向性制御手法によりz軸方向のインデックスi毎に予め定めた一方向に指向性を形成し、指向性形成後信号P^MB _i(ω)を生成する指向性制御部と、
   上記指向性形成後信号P^MB _i(ω)を空間のフーリエ変換により時空間周波数領域信号P~_n(ω)に変換する空間周波数変換部と、
   上記時空間周波数領域信号P~_n(ω)に対して、一次元マイクロホンアレーにより収音された信号に基づいて生成された時空間周波数領域信号を一次元スピーカアレーにより出力するための時空間周波数領域信号に変換するフィルタF~_n(ω)を適用して、フィルタ処理後信号D~_n(ω)を生成する変換フィルタ部と、
   を含む音場収音再生装置。
2. 請求項１に記載された音場収音再生装置において、
   cを音速とし、k=ω/cとし、J_n(・)をn次のベッセル関数とし、φ₀を指向性を形成する方向とし、Nを任意の正の整数とし、Aを周波数ωに基づいて定まる複素数として、
   上記指向性制御部は、上記周波数領域信号P_ij(ω)に対して、φ方向のインデックスjに基づいて次式により定義されるフィルタW_jを適用して指向性形成後信号P^MB _i(ω)を生成する、
   

   

   
   音場収音再生装置。
3. 請求項１又は２に記載された音場収音再生装置において、
   前記スピーカは、直線状に配置された少なくとも２個のスピーカがＫ列に配置されているとし、
   上記指向性制御部は、上記周波数領域信号P_ij(ω)をＫ個に複製して、それぞれを相異なるＫ通りの方向に指向性を形成する、
   音場収音再生装置。
4. 請求項１から３の何れかに記載された音場収音再生装置において、
   上記指向性形成後信号P^MB _i(ω)に対して、指向性を形成した方向に対応付けて定められた重み係数を用いて重み付き加算することで、重み付き指向性形成後信号P^w _i(ω)を生成する重み付き加算部、
   を含む音場収音再生装置。
5. 半径R_mの仮想円筒の軸を中心とし前記仮想円筒の周面を円周とする２個以上の円のそれぞれに少なくとも２個のマイクロホンが配置されているとし、少なくとも２個のスピーカが直線状に配置されているとし、上記仮想円筒の軸方向をz軸方向とし、上記仮想円筒の周方向をφ方向とし、iをz軸方向のインデックスとし、jをφ方向のインデックスとし、ωを周波数として、
   上記マイクロホンで収音された信号に基づいて生成された周波数領域信号P_ij(ω)に対して、任意の指向性制御手法によりz軸方向のインデックスi毎に予め定めた一方向に指向性を形成して生成した指向性形成後信号P^MB _i(ω)を空間のフーリエ変換により変換した時空間周波数領域信号P~_n(ω)に対して、一次元マイクロホンアレーにより収音された信号に基づいて生成された時空間周波数領域信号を一次元スピーカアレーにより出力するための時空間周波数領域信号に変換するフィルタF~_n(ω)を適用して、フィルタ処理後信号D~_n(ω)を生成する変換フィルタ部と、
   上記フィルタ処理後信号D~_n(ω)を空間の逆フーリエ変換により周波数領域信号D_i(ω)に変換する空間周波数逆変換部と、
   上記周波数領域信号D_i(ω)を逆フーリエ変換により時間領域信号に変換し、変換された時間領域信号を上記スピーカに出力する周波数逆変換部と、
   を含む音場収音再生装置。
6. 請求項５に記載された音場収音再生装置において、
   cを音速とし、k=ω/cとし、J_n(・)をn次のベッセル関数とし、φ₀を指向性を形成する方向とし、Nを任意の正の整数とし、Aを周波数ωに基づいて定まる複素数として、
   上記フィルタ変換部は、上記周波数領域信号P_ij(ω)に対して、φ方向のインデックスjに基づいて次式により定義されるフィルタW_jを適用して生成した指向性形成後信号P^MB _i(ω)を空間のフーリエ変換により変換した時空間周波数領域信号P~_n(ω)に対して、一次元マイクロホンアレーにより収音された信号に基づいて生成された時空間周波数領域信号を一次元スピーカアレーにより出力するための時空間周波数領域信号に変換するフィルタF~_n(ω)を適用して、フィルタ処理後信号D~_n(ω)を生成する、
   

   

   
   音場収音再生装置。
7. 請求項５又は６に記載された音場収音再生装置において、
   前記スピーカは、直線状に配置された少なくとも２個のスピーカがＫ列に配置されているとし、
   上記指向性形成後信号P^MB _i(ω)は、上記周波数領域信号P_ij(ω)をＫ個に複製して、それぞれを相異なるＫ通りの方向に指向性を形成して生成された信号である、
   音場収音再生装置。
8. 請求項５から７の何れかに記載された音場収音再生装置において、
   上記時空間周波数領域信号P~_n(ω)は、上記指向性形成後信号P^MB _i(ω)に対して、指向性を形成した方向に対応付けて定められた重み係数を用いて重み付き加算することで生成された重み付き指向性形成後信号P^w _i(ω)を空間のフーリエ変換により変換した信号である、
   を含む音場収音再生装置。
9. 請求項５又は６に記載された音場収音再生装置において、
   前記スピーカは、直線状に配置された少なくとも２個のスピーカがＫ列に配置されているとし、
   上記指向性形成後信号P^MB _i(ω)が指向性を形成された方向に基づいて、上記時間領域信号を出力するスピーカを切り替える出力切替部、
   を含む音場収音再生装置。
10. 請求項１から９の何れかに記載された音場収音再生装置において、
    上記周波数領域信号P_ij(ω)と、上記指向性形成後信号P^MB _i(ω)と、上記重み付き指向性形成後信号P^w _i(ω)と、上記時空間周波数領域信号P~_n(ω)と、上記フィルタ処理後信号D~_n(ω)と、上記周波数領域信号D_i(ω)と、上記時間領域信号との少なくともひとつは、所定の窓関数により窓関数処理が行われた信号である、
    音場収音再生装置。
11. 半径R_mの仮想円筒の軸を中心とし前記仮想円筒の周面を円周とする２個以上の円のそれぞれに少なくとも２個のマイクロホンが配置されているとし、少なくとも２個のスピーカが直線状に配置されているとし、上記仮想円筒の軸方向をz軸方向とし、上記仮想円筒の周方向をφ方向とし、iをz軸方向のインデックスとし、jをφ方向のインデックスとし、ωを周波数として、
    上記マイクロホンで収音された信号に基づいて生成された周波数領域信号P_ij(ω)に対して、任意の指向性制御手法によりz軸方向のインデックスi毎に予め定めた一方向に指向性を形成し、指向性形成後信号P^MB _i(ω)を生成する指向性制御部、
    を含む音場収音再生装置。
12. 半径R_mの仮想円筒の軸を中心とし前記仮想円筒の周面を円周とする２個以上の円のそれぞれに少なくとも２個のマイクロホンが配置されているとし、少なくとも２個のスピーカが直線状に配置されているとし、上記仮想円筒の軸方向をz軸方向とし、上記仮想円筒の周方向をφ方向とし、iをz軸方向のインデックスとし、jをφ方向のインデックスとし、ωを周波数として、
    指向性制御部が、上記マイクロホンで収音された信号に基づいて生成された周波数領域信号P_ij(ω)に対して、任意の指向性制御手法によりz軸方向のインデックスi毎に予め定めた一方向に指向性を形成し、指向性形成後信号P^MB _i(ω)を生成する指向性制御ステップと、
    空間周波数変換部が、上記指向性形成後信号P^MB _i(ω)を空間のフーリエ変換により時空間周波数領域信号P~_n(ω)に変換する空間周波数変換ステップと、
    変換フィルタ部が、上記時空間周波数領域信号P~_n(ω)に対して、一次元マイクロホンアレーにより収音された信号に基づいて生成された時空間周波数領域信号を一次元スピーカアレーにより出力するための時空間周波数領域信号に変換するフィルタF~_n(ω)を適用して、フィルタ処理後信号D~_n(ω)を生成する変換フィルタステップと、
    を含む音場収音再生方法。
13. 半径R_mの仮想円筒の軸を中心とし前記仮想円筒の周面を円周とする２個以上の円のそれぞれに少なくとも２個のマイクロホンが配置されているとし、少なくとも２個のスピーカが直線状に配置されているとし、上記仮想円筒の軸方向をz軸方向とし、上記仮想円筒の周方向をφ方向とし、iをz軸方向のインデックスとし、jをφ方向のインデックスとし、ωを周波数として、
    変換フィルタ部が、上記マイクロホンで収音された信号に基づいて生成された周波数領域信号P_ij(ω)に対して、任意の指向性制御手法によりz軸方向のインデックスi毎に予め定めた一方向に指向性を形成して生成した指向性形成後信号P^MB _i(ω)を空間のフーリエ変換により変換した時空間周波数領域信号P~_n(ω)に対して、一次元マイクロホンアレーにより収音された信号に基づいて生成された時空間周波数領域信号を一次元スピーカアレーにより出力するための時空間周波数領域信号に変換するフィルタF~_n(ω)を適用して、フィルタ処理後信号D~_n(ω)を生成する変換フィルタステップと、
    空間周波数逆変換部が、上記フィルタ処理後信号D~_n(ω)を空間の逆フーリエ変換により周波数領域信号D_i(ω)に変換する空間周波数逆変換ステップと、
    周波数逆変換部が、上記周波数領域信号D_i(ω)を逆フーリエ変換により時間領域信号に変換し、変換された時間領域信号を上記スピーカに出力する周波数逆変換ステップと、
    を含む音場収音再生方法。
14. 請求項１から１１の何れかに記載された音場収音再生装置の各部としてコンピュータを機能させるための音場収音再生プログラム。

Images