JP5749221B2 - 音場収音再生装置、方法及びプログラム - Google Patents

音場収音再生装置、方法及びプログラム Download PDF

Info

Publication number
JP5749221B2
JP5749221B2 JP2012141611A JP2012141611A JP5749221B2 JP 5749221 B2 JP5749221 B2 JP 5749221B2 JP 2012141611 A JP2012141611 A JP 2012141611A JP 2012141611 A JP2012141611 A JP 2012141611A JP 5749221 B2 JP5749221 B2 JP 5749221B2
Authority
JP
Japan
Prior art keywords
domain signal
frequency
frequency domain
axis direction
sound field
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2012141611A
Other languages
English (en)
Other versions
JP2014007544A (ja
Inventor
翔一 小山
翔一 小山
古家　賢一
賢一 古家
祐介 日和▲崎▼
祐介 日和▲崎▼
羽田　陽一
陽一 羽田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to JP2012141611A priority Critical patent/JP5749221B2/ja
Publication of JP2014007544A publication Critical patent/JP2014007544A/ja
Application granted granted Critical
Publication of JP5749221B2 publication Critical patent/JP5749221B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Obtaining Desirable Characteristics In Audible-Bandwidth Transducers (AREA)
  • Stereophonic System (AREA)
  • Circuit For Audible Band Transducer (AREA)

Description

この発明は、ある音場に設置されたマイクアレーで音信号を収音し、その音信号を用いてスピーカアレーでその音場を再現する波面合成法（Wave Field Synthesis）の技術に関する。
ある音場に設置されたマイクアレーで信号を収音し、その信号を用いてスピーカアレーでその音場を再現する波面合成法（Wave Field Synthesis）の技術として、例えば非特許文献１に記載された技術が知られている。
小山翔一，外３名，「時空間スペクトルの位相シフトによる音場再現位置の制御」，日本音響学会講演論文集，２０１１年９月，Ｐ．６３７−６３８
しかしながら、非特許文献１に記載された技術では、再現された音場における仮想音源の位置は固定されており、変更することができなかった。
この発明の目的は、仮想音源を任意の位置に設定することができる音場収音再生装置、方法及びプログラムを提供することである。
上記の課題を解決するために、この発明の一態様による音場収音再生装置は、マイクアレーはxz平面上に配置されており、jを虚数単位とし、ωを周波数とし、cを音速とし、k=ω/cとし、kx,nをx軸方向の波数とし、nをそのインデックスとし、kz,mをz軸方向の波数とし、mをそのインデックスとし、p,q,sを予め設定された次数とし、スピーカアレーを構成する各スピーカの伝達特性を前記次数p,q,sで多重極展開した多重極係数をγp,q,sとし、dx,dy,dzをそれぞれ再現音場をx,y,z軸方向にシフトする距離として、マイクアレーで収音された信号に基づいて生成された時空間周波数領域信号P~nm(ω)に対して次式により定義されるフィルタF~nm(ω)を適用してフィルタ処理後信号D~nm(ω)を生成する変換フィルタ部と、
Figure 0005749221
空間の逆フーリエ変換により、フィルタ処理後信号D~nm(ω)を周波数領域信号に変換する空間周波数逆変換部と、周波数領域信号を逆フーリエ変換により時間領域信号に変換する周波数逆変換部と、を含む。
この発明の一態様による音場収音再生装置は、マイクアレーはxz平面上に配置されており、jを虚数単位とし、ωを周波数とし、cを音速とし、k=ω/cとし、kx,nをx軸方向の波数とし、nをそのインデックスとし、kz,mをz軸方向の波数とし、mをそのインデックスとし、p,q,sを予め設定された次数とし、スピーカアレーを構成する各スピーカの伝達特性を前記次数p,q,sで多重極展開した多重極係数をγp,q,sとし、dx,dy,dzをそれぞれ再現音場をx,y,z軸方向にシフトする距離として、マイクアレーで収音された信号をフーリエ変換により周波数領域信号に変換する周波数変換部と、空間のフーリエ変換により、周波数領域信号を時空間周波数領域信号P~nm(ω)に変換する空間周波数変換部と、時空間周波数領域信号P~nm(ω)に対して次式により定義されるフィルタF~nm(ω)を適用してフィルタ処理後信号D~nm(ω)を生成する変換フィルタ部と、を含む。
Figure 0005749221
この発明の一態様による音場収音再生装置は、直線状に配置されたマイクアレーの配列方向をx軸方向とし、jを虚数単位とし、ωを周波数とし、cを音速とし、k=ω/cとし、kx,nをx軸方向の波数とし、nをそのインデックスとし、p,qを予め設定された次数とし、スピーカアレーを構成する各スピーカの伝達特性を前記次数p,qで多重極展開した多重極係数をγp,qとし、H0 (2)をn=0の第二種ハンケル関数とし、yrefを伝達特性を一致させる位置とし、dx,dyをそれぞれ再現音場をx,y軸方向にシフトする距離として、マイクアレーで収音された信号に基づいて生成された時空間周波数領域信号P~n(ω)に対して次式により定義されるフィルタF~n(ω)を適用してフィルタ処理後信号D~n(ω)を生成する変換フィルタ部と、
Figure 0005749221
空間の逆フーリエ変換により、フィルタ処理後信号D~n(ω)を周波数領域信号に変換する空間周波数逆変換部と、周波数領域信号を逆フーリエ変換により時間領域信号に変換する周波数逆変換部と、を含む。
この発明の一態様による音場収音再生装置は、直線状に配置されたマイクアレーの配列方向をx軸方向とし、jを虚数単位とし、ωを周波数とし、cを音速とし、k=ω/cとし、kx,nをx軸方向の波数とし、nをそのインデックスとし、p,qを予め設定された次数とし、スピーカアレーを構成する各スピーカの伝達特性を前記次数p,qで多重極展開した多重極係数をγp,qとし、H0 (2)をn=0の第二種ハンケル関数とし、yrefを伝達特性を一致させる位置とし、dx,dyをそれぞれ再現音場をx,y軸方向にシフトする距離として、マイクアレーで収音された信号をフーリエ変換により周波数領域信号に変換する周波数変換部と、空間のフーリエ変換により、周波数領域信号を時空間周波数領域信号P~n(ω)に変換する空間周波数変換部と、時空間周波数領域信号P~n(ω)に対して次式により定義されるフィルタF~n(ω)を適用してフィルタ処理後信号D~n(ω)を生成する変換フィルタ部と、を含む。
Figure 0005749221
仮想音源を任意の位置に設定することができる。
第一実施形態の音場収音再生装置の例を示す機能ブロック図。 第一実施形態の音場収音再生装置のマイクアレー及びスピーカアレーの配置の例を説明するための図。 第一実施形態及び第二実施形態の音場収音再生方法の例を示す流れ図。 次数p,q,s及び係数γp,q,sの測定方法を説明するための図。 第二実施形態の音場収音再生装置の例を示す機能ブロック図。 第二実施形態の音場収音再生装置のマイクアレー及びスピーカアレーの配置の例を説明するための図。
以下、図面を参照してこの発明の実施形態を説明する。
［第一実施形態］
第一実施形態の音場収音再生装置及び方法は、図２に示すように、第一の部屋のy=0の位置に配置されたNx×Nz個のマイクロホンで構成される二次元マイクアレーＭ１−１，Ｍ２−１，…，ＭＮｘ−Ｎｚと、第二の部屋に配置されたNx×Nz個のスピーカで構成される二次元スピーカアレーＳ１−１，Ｓ２−１，…，ＳＮｘ−Ｎｚとを用いて、音源Sで発生した音によって形成された第一の部屋の音場を第二の部屋で再現する。
Nx,Nzは任意の整数である。この実施形態では、マイクアレーＭ１−１，Ｍ２−１，…，ＭＮｘ−Ｎｚを構成するマイクの数とスピーカアレーＳ１−１，Ｓ２−１，…，ＳＮｘ−Ｎｚを構成するスピーカの数は同じである。マイクアレーＭ１−１，Ｍ２−１，…，ＭＮｘ−Ｎｚを構成するマイクＭｉ−ｊはy=0のxz平面に格子状に配置されている。スピーカアレーＳ１−１，Ｓ２−１，…，ＳＮｘ−Ｎｚを構成するスピーカもxz平面に格子状に配置されている。マイクアレーＭ１−１，Ｍ２−１，…，ＭＮｘ−Ｎｚの大きさと、スピーカアレーＳ１−１，Ｓ２−１，…，ＳＮｘ−Ｎｚの大きさはほぼ同じである。各マイクＭｉ−ｊのマイクアレーＭ１−１，Ｍ２−１，…，ＭＮｘ−Ｎｚにおける位置は、その各マイクＭｉ−ｊに対応するスピーカＳｉ−ｊのスピーカアレーＳ１−１，Ｓ２−１，…，ＳＮｘ−Ｎｚにおける位置と同じであることが望ましいが、異なっていても良い。この位置が同じであれば、より忠実に音場の再生を行うことができる。
第一の部屋のy=0の平面状に配置されたマイクアレーＭ１−１，Ｍ２−１，…，ＭＮｘ−Ｎｚを構成する各マイクの位置をrs=(xi,0,zj)と表わすことにする。
第一実施形態の音場収音再生装置は、図１に示すように周波数変換部１、空間周波数変換部２、変換フィルタ部３、空間周波数逆変換部４、周波数逆変換部５及び窓関数部６を例えば含み、図３に例示された各ステップの処理を行う。
第一の部屋のマイクアレーＭ１−１，Ｍ２−１，…，ＭＮｘ−Ｎｚは、第一の部屋の音源Sで発せられた音を収音して時間領域の信号を生成する。生成された信号は、周波数変換部１に送られる。rs=(xi,0,zj)のマイクＭｉ−ｊで収音された時間領域の時刻ｔの信号をpij(t)と表記する。
周波数変換部１は、マイクアレーＭ１−１，Ｍ２−１，…，ＭＮｘ−Ｎｚで収音された信号pij(t)をフーリエ変換により周波数領域信号Pij(ω)に変換する（ステップＳ１）。生成された周波数領域信号Pij(ω)は、空間周波数変換部２に送られる。ωは周波数である。例えば、短時間離散フーリエ変換により周波数領域信号Pij(ω)が生成される。もちろん、他の既存の方法により周波数領域信号Pij(ω)を生成してもよい。また、オーバーラップアド等の方法を用いて周波数領域信号Pij(ω)を生成してもよい。入力信号が長い場合や、リアルタイム処理のように連続して信号が入力される場合には、例えば１０ｍｓごとといったフレームごとに処理を行う。周波数領域信号Pij(ω)は、例えば以下のように定義される。関数expの引数の中のjは虚数単位である。
Figure 0005749221
空間周波数変換部２は、空間のフーリエ変換により周波数領域信号Pij(ω)を時空間周波数領域信号P~nm(ω)に変換する（ステップＳ２）。時空間周波数領域信号P~nm(ω)は、各ωごとに計算される。変換された時空間周波数領域信号P~nm(ω)は、変換フィルタ部３に送られる。空間周波数変換部２は、具体的には下記式（１）により定義されるP~nm(ω)を計算する。
Figure 0005749221
kx,nはx軸方向の波数であり、nは波数kx,nのインデックスであり、kz,mはz軸方向の波数であり、mは波数kz,mのインデックスである。波数とは、いわゆる空間周波数又は角度スペクトルのことである。上記式（１）は、時空間周波数領域への変換の一例であり、他の方法により空間のフーリエ変換を行ってもよい。
変換フィルタ部３は、時空間周波数領域信号P~nm(ω)に対して下式（２）により定義されるフィルタF~nm(ω)を適用してフィルタ処理後信号D~nm(ω)を生成する（ステップＳ３）。フィルタ処理後信号D~nm(ω)は、空間周波数逆変換部４に送信される。
Figure 0005749221
式（２）において、p,q,sは予め設定された次数であり、γp,q,sはスピーカアレーを構成する各スピーカの伝達特性を前記次数p,q,sで多重極展開した多重極係数である。例えばp,q,sの全てを１とする等、p,q,sのうち何れか１つ以上は０でない正値である。フィルタF~nm(ω)が式（２）により表される理由については後述する。
dx,dy,dzは、それぞれ再現音場をx,y,z軸方向にシフトする距離である。(dx,dy,dz)=0の場合、再現音場はシフトされない。この場合、マイクアレーＭ１−１，Ｍ２−１，…，ＭＮｘ−Ｎｚに対する音源Ｓと同じ位置関係を有する、スピーカアレーＳ１−１，Ｓ２−１，…，ＳＮｘ−Ｎｚに対する仮想音源Ｓ’の位置に音源があるように音場が再現される。dx,dy,dzは、(dx,dy,dz)=0の場合の仮想音源Ｓ’をそれぞれx,y,z軸方向にシフトする距離と考えてもよい。
空間周波数逆変換部４は、フィルタ処理後信号D~nm(ω)を空間の逆フーリエ変換により周波数領域信号Dij(ω)に変換する（ステップＳ４）。変換された周波数領域信号Dij(ω)は、周波数逆変換部５に送られる。空間周波数逆変換部４は、具体的には下記式（３）により定義される周波数領域信号Dij(ω)を計算する。
Figure 0005749221
周波数逆変換部５は、周波数領域信号Dij(ω)を逆フーリエ変換により時間領域信号Pd ij(t)に変換する（ステップＳ５）。逆フーリエ変換によりフレーム毎に得られた時間領域信号Pd ij(t)は適宜シフトされて線形和が取られて、連続した時間領域信号となる。逆フーリエ変換は短時間離散逆フーリエ変換等の既存の方法を用いればよい。時間領域信号Pd ij(t)は、窓関数部６に送られる。
窓関数部６は、時間領域信号Pd ij(t)に窓関数を乗じて窓関数後時間領域信号dij（t）を生成する（ステップＳ６）。窓関数後時間領域信号dij（t）は、スピーカアレーＳ１−１，Ｓ２−１，…，ＳＮｘ−Ｎｚに送られる。
窓関数として、以下の式より定義されるいわゆるターキー（Tukey）窓関数wijを例えば用いる。Ntprは、テーパーを適用する点数であり１以上Nx,Nz以下の整数である。もちろん、他の窓関数を用いてもよい。
Figure 0005749221
スピーカアレーＳ１−１，Ｓ２−１，…，ＳＮｘ−Ｎｚは、窓関数後時間領域信号dij（t）に基づいて音を再生する。具体的には、ｉ＝１，…，Ｎｘ，ｊ＝１，…，Ｎｚとして、スピーカＳｉ−ｊが窓関数後時間領域信号dij（t）に基づいて音を再生する。これにより、第一の部屋のy=0の位置の波面を第二の部屋のスピーカアレーＳ１−１，Ｓ２−１，…，ＳＮｘ−Ｎｚで再現して、第一の部屋の音場を第二の部屋に再現することができる。
マイクアレーを構成するマイクロホンの数が、スピーカアレーを構成するスピーカの数よりも多い場合には、窓関数後時間領域信号dij（t）を間引いてもよい。一方、マイクアレーを構成するマイクロホンの数が、スピーカアレーを構成するスピーカの数よりも少ない場合には、窓関数後時間領域信号dij（t）の平均を取るなどして補間を行ってもよい。
以下、フィルタF~nm(ω)が上記式（２）のように表される理由について説明する。
再現領域の位置ベクトルをr=(x,y,z)とし、二次音源平面の位置ベクトルをr0=(x0,0,z0)とする。再現領域における周波数ωの音圧分布をP(r,ω)とし、二次音源の駆動信号をD(r0,ω)とすると、以下の関係式が書ける。
Figure 0005749221
ここで、Gsp(r-r0,ω)は、rとr0との間の伝達関数である。式（４）をｘ軸方向及びｚ軸方向に空間のフーリエ変換をすると、以下のようになる。
Figure 0005749221
ここで、kx及びkzは、それぞれｘ軸方向の空間周波数及びｚ軸方向の空間周波数を表す。また、空間周波数領域を「〜」で示している。ここでは、空間のフーリエ変換を以下のように定義している。
Figure 0005749221
G〜 sp(r,ω)は、任意の指向特定を持つ伝達特性となるが、多重極展開を用いて以下のように表現できる。
Figure 0005749221
ここで、ｒを以下のようにした。
Figure 0005749221
また、
Figure 0005749221
 であり、
Figure 0005749221
 である。
次に、理想音場として第一種レイリー積分を導入する。
Figure 0005749221
ここで、G(r-r0,ω)は、３次元自由空間グリーン関数である。
Figure 0005749221
ここで、k=ω/cは波数であり、cは音速である。この式を空間のフーリエ変換をすると、以下の式が得られる。
Figure 0005749221
また、
Figure 0005749221
 である。
式（５）及び式（７）により、二次音源の駆動信号は以下のように得られる。
Figure 0005749221
このとき、多重極展開の次数p,q,sと係数γp,q,sは未知であるため、スピーカ特性を実測することにより取得する必要がある。
再現音場を距離(dx,dy,dz)だけシフトすることを考える。このとき、再現平面上の音圧分布の時空間スペクトルP~(kx,dy,kz)から、２次元音源平面上の音圧分布の時空間スペクトルP~(kx,0,kz)は、以下のように得られる。
Figure 0005749221
この式を式（７’）に代入すると以下の式が得られる。
Figure 0005749221
P~(kx,dy,kz,ω)として、マイクロホンアレーで取得された音圧分布の時空間スペクトルを与えることにより、再現平面を移動することが可能である。
スピーカ特性の測定では、図４のようにスピーカと等距離の球面上でインパルス応答を測定すればよい。得られたインパルス応答を用いて、多重極展開の係数を得るためには、各周波数で式（６）へ最小二乗法によるフィッティングを行えばよい。次数p,q,sについては適当な次数で打ち切る。また、球面調和スペクトルを求めて、多重極展開の次数へ変換しても構わない。この際、フィルタ式には一つの特性のみが必要なため、いくつかのスピーカ特性を測定し、それらの平均を取るようなことをしてもよい。
このように、予め測定された伝達特性を用いてフィルタを構成することにより、スピーカアレーを構成するスピーカの指向性が任意の指向性であっても音場の再現をすることができる。また、このようにして構成されたフィルタを用いることにより、再現音場を距離(dx,dy,dz)だけシフトすることができる。言い換えれば、仮想音源を任意の位置に設定することができる。
［第二実施形態］
第二実施形態の音場収音再生装置及び方法は、図６に示すように、第一の部屋のy=0,z=0の位置に直線状に配置されたNx個のマイクロホンで構成される一次元マイクアレーＭ１，Ｍ２，…，ＭＮｘと、第二の部屋に直線状に配置されたNx個のスピーカで構成される一次元スピーカアレーＳ１，Ｓ２，…，ＳＮｘとを用いて、音源Sで発生した音によって形成された第一の部屋の音場を第二の部屋で再現する。第一実施形態と比較すると、マイク数、スピーカ数及びチャネル数を少なくすることができるため、実装が比較的容易となる。
Nxは任意の整数である。この実施形態では、マイクアレーＭ１，Ｍ２，…，ＭＮｘを構成するマイクの数とスピーカアレーＳ１，Ｓ２，…，ＳＮｘを構成するスピーカの数は同じである。マイクアレーＭ１，Ｍ２，…，ＭＮｘを構成するマイクＭｉは等間隔に配置されている。また、スピーカアレーＳ１，Ｓ２，…，ＳＮｘを構成するスピーカも等間隔に配置されている。マイクアレーＭ１，Ｍ２，…，ＭＮｘの大きさと、スピーカアレーＳ１，Ｓ２，…，ＳＮｘの大きさはほぼ同じである。各マイクＭｉのマイクアレーＭ１，Ｍ２，…，ＭＮｘにおける位置は、その各マイクＭｉに対応するスピーカＳｉのスピーカアレーＳ１，Ｓ２，…，ＳＮｘにおける位置と同じであることが望ましいが、異なっていても良い。この位置が同じであれば、より忠実に音場の再生を行うことができる。
第一の部屋のy=0,z=0の位置に配置されたマイクアレーＭ１，Ｍ２，…，ＭＮｘを構成する各マイクの位置をrs=(xi,0,0)と表わすことにする。
第二実施形態の音場収音再生装置は、図５に示すように周波数変換部１、空間周波数変換部２、変換フィルタ部３、空間周波数逆変換部４、周波数逆変換部５及び窓関数部６を例えば含み、図３に例示された各ステップの処理を行う。
第一の部屋のy=0,z=0の位置に配置されたマイクアレーＭ１，Ｍ２，…，ＭＮｘは、第一の部屋の音源Sで発せられた音を収音して時間領域の信号を生成する。生成された信号は、周波数変換部１に送られる。rs=(xi,0,0)のマイクＭｉで収音された時間領域の時刻ｔの信号をpi(t)と表記する。
周波数変換部１は、マイクアレーＭ１，Ｍ２，…，ＭＮｘで収音された信号pi(t)をフーリエ変換により周波数領域信号Pi(ω)に変換する（ステップＳ１）。生成された周波数領域信号Pi(ω)は、空間周波数変換部２に送られる。ωは周波数である。例えば、短時間離散フーリエ変換により周波数領域信号Pi(ω)が生成される。もちろん、他の既存の方法により周波数領域信号Pi(ω)を生成してもよい。また、オーバーラップアド等の方法を用いて周波数領域信号Pij(ω)を生成してもよい。入力信号が長い場合や、リアルタイム処理のように連続して信号が入力される場合には、例えば１０ｍｓごとといったフレームごとに処理を行う。周波数領域信号Pi(ω)は、例えば以下のように定義される。関数expの引数の中のjは虚数単位である。
Figure 0005749221
空間周波数変換部２は、空間のフーリエ変換により周波数領域信号Pi(ω)を時空間周波数領域信号P~n(ω)に変換する（ステップＳ２）。時空間周波数領域信号P~n(ω)は、各ωごとに計算される。変換された時空間周波数領域信号P~n(ω)は、変換フィルタ部３に送られる。空間周波数変換部２は、具体的には下記式（７''）により定義されるP~n(ω)を計算する。
Figure 0005749221
kx,nはx軸方向の波数であり、nは波数kx,nのインデックスである。波数とは、いわゆる空間周波数又は角度スペクトルのことである。上記式（７''）は、時空間周波数領域への変換の一例であり、他の方法により空間のフーリエ変換を行ってもよい。
変換フィルタ部３は、時空間周波数領域信号P~n(ω)に対して次式により定義されるフィルタF~n(ω)を適用してフィルタ処理後信号D~n(ω)を生成する（ステップＳ３）。フィルタ処理後信号D~n(ω)は、空間周波数逆変換部４に送信される。フィルタF~nm(ω)が式（８）により表される理由については後述する。
Figure 0005749221
式（８）において、p,qは予め設定された次数とし、γp,qはスピーカアレーを構成する各スピーカの伝達特性を前記次数p,qで多重極展開した多重極係数である。例えばp,qの全てを１とする等、p,qのうち何れか１つ以上は０でない正値である。yrefは、伝達特性を一致させる位置である。より具体的には、yrefは、図６に示すように、スピーカアレーＳ１，Ｓ２，…，ＳＮｘと再現する信号の振幅を合わせる直線状の位置との距離を表す。H0 (2)はn=0の第二種ハンケル関数である。
dx,dyは、それぞれ再現音場をx,y軸方向にシフトする距離である。(dx,dy)=0の場合、再現音場はシフトされない。この場合、マイクアレーＭ１，Ｍ２，…，ＭＮｘに対する音源Ｓと同じ位置関係を有する、スピーカアレーＳ１，Ｓ２，…，ＳＮｘに対する仮想音源Ｓ’の位置に音源があるように音場が再現される。dx,dyは、(dx,dy)=0の場合の仮想音源Ｓ’をそれぞれx,y軸方向にシフトする距離と考えてもよい。
空間周波数逆変換部４は、フィルタ処理後信号D~n(ω)を空間の逆フーリエ変換により周波数領域信号Di(ω)に変換する（ステップＳ４）。変換された周波数領域信号Di(ω)は、周波数逆変換部５に送られる。空間周波数逆変換部４は、具体的には下記式（９）により定義される周波数領域信号Di(ω)を計算する。
Figure 0005749221
周波数逆変換部５は、周波数領域信号Di(ω)を逆フーリエ変換により時間領域信号Pd i(t)に変換する（ステップＳ５）。逆フーリエ変換によりフレーム毎に得られた時間領域信号Pd i(t)は適宜シフトされて線形和が取られて、連続した時間領域信号となる。逆フーリエ変換は短時間離散逆フーリエ変換等の既存の方法を用いればよい。時間領域信号Pd i(t)は、窓関数部６に送られる。
窓関数部６は、時間領域信号Pd i(t)に窓関数を乗じて窓関数後時間領域信号di（t）を生成する（ステップＳ６）。窓関数後時間領域信号di（t）は、スピーカアレーＳ１，Ｓ２，…，ＳＮｘに送られる。
窓関数として、以下の式より定義されるいわゆるターキー（Tukey）窓関数wiを例えば用いる。Ntprは、テーパーを適用する点数であり１以上Nx以下の整数である。もちろん、他の窓関数を用いてもよい。
Figure 0005749221
スピーカアレーＳ１，Ｓ２，…，ＳＮｘは、窓関数後時間領域信号di（t）に基づいて音を再生する。具体的には、ｉ＝１，…，Ｎｘとして、スピーカＳｉが窓関数後時間領域信号di（t）に基づいて音を再生する。
これにより、第一の部屋のy=0の位置の波面を第二の部屋のスピーカアレーＳ１，Ｓ２，…，ＳＮｘで再現して、第一の部屋の音場を第二の部屋に再現することができる。
この際、再現される信号の振幅は、yrefで表される直線上の位置で振幅が一致する。具体的には、図６に示すように、スピーカアレーＳ１，Ｓ２，…，ＳＮｘと同じ高さであり、スピーカアレーＳ１，Ｓ２，…，ＳＮｘからyrefだけ離れた位置にあり、スピーカアレーＳ１，Ｓ２，…，ＳＮｘが配置されている直線と平行な直線上の位置で振幅が一致する。
マイクアレーを構成するマイクロホンの数が、スピーカアレーを構成するスピーカの数よりも多い場合には、窓関数後時間領域信号di（t）を間引いてもよい。一方、マイクアレーを構成するマイクロホンの数が、スピーカアレーを構成するスピーカの数よりも少ない場合には、窓関数後時間領域信号di（t）の平均を取るなどして補間を行ってもよい。
以下、フィルタF~n(ω)が上記式（８）のように表される理由について説明する。
直線状アレーを用いて、xy平面上のみの再現をすることを考える。再現領域の位置ベクトルをr=(x,y,0)とし、二次音源平面の位置ベクトルをr0=(x0,0,0)とする。再現領域における周波数ωの音圧分布をP(r,ω)とし、二次音源の駆動信号をD(r0,ω)とすると、以下の関係式が書ける。
Figure 0005749221
ここで、Gsp(r-r0,ω)は、rとr0との間の伝達関数である。式（１０）をｘ軸方向に空間のフーリエ変換をすると、以下のようになる。
Figure 0005749221
ここで、kxは、ｘ軸方向の空間周波数を表す。また、空間周波数領域を「〜」で示している。ここでは、空間のフーリエ変換を以下のように定義している。
Figure 0005749221
G〜 sp(r,ω)は平面状アレーの場合と同じく、多重極展開を用いて以下のように表現できる。
Figure 0005749221
H0 (2)は、n=0の第二種ハンケル関数である。第二種ハンケル関数Hn (2)は、第一種ベッセル関数Jn(x)及び第二種ベッセル関数Yn(x)を用いて、以下のように定義される。
Figure 0005749221
次に、２次元の第一種レイリー積分を導入する。
Figure 0005749221
ここで、
Figure 0005749221
 である。k=ω/cは波数であり、cは音速である。
式（１３）を空間のフーリエ変換をすると、以下の式が得られる。
Figure 0005749221
ここで、
Figure 0005749221
 である。
また、
Figure 0005749221
 である。
したがって、二次音源の駆動信号は以下のように得られる。
Figure 0005749221
このとき、多重極展開の次数p,qと係数γp,qは未知であるため、平面状アレーの場合と同じく、スピーカ特性を実測することにより取得する必要がある。
再現音場を距離(dx,dy)だけシフトすることを考える。このとき、再現直線上の音圧分布の時空間スペクトルP~(kx,dy,0)から、２次元音源直線上の音圧分布の時空間スペクトルP~(kx,0,0)は、以下のように得られる。
Figure 0005749221
この式を式（１３’）に代入すると以下の式が得られる。
Figure 0005749221
P~(kx,dy,0,ω)として、マイクロホンアレーで取得された音圧分布の時空間スペクトルを与えることにより、再現音場を移動することが可能である。
スピーカ特性の測定では、平面状アレーの場合と同じように、図４のようにスピーカと等距離の球面上でインパルス応答を測定すればよい。得られたインパルス応答を用いて、多重極展開の係数を得るためには、各周波数で式（１２）へ最小二乗法によるフィッティングを行えばよい。次数p,qについては適当な次数で打ち切る。また、球面調和スペクトルを求めて、多重極展開の次数へ変換しても構わない。この際、フィルタ式には一つの特性のみが必要なため、いくつかのスピーカ特性を測定し、それらの平均を取るようなことをしてもよい。
このように、予め測定された伝達特性を用いてフィルタを構成することにより、スピーカアレーを構成するスピーカの指向性が任意の指向性であっても音場の再現をすることができる。また、このようにして構成されたフィルタを用いることにより、再現音場を距離(dx,dy)だけシフトすることができる。言い換えれば、仮想音源を任意の位置に設定することができる。
［変形例等］
第一実施形態において、マイクアレーＭ１−１，Ｍ２−１，…，ＭＮｘ−Ｎｚ及びスピーカアレーＳ１−１，Ｓ２−１，…，ＳＮｘ−Ｎｚは、一直線上に並ばない位置にあれば、平面上にある必要はない。
マイクアレーを構成するマイクロホンの数と、スピーカアレーを構成するスピーカの数とは、異なっていてもよい。マイクアレーを構成するマイクロホンの数がスピーカアレーを構成するスピーカの数よりも多い場合には、スピーカの出力信号を間引けばよい。一方、スピーカアレーを構成するスピーカの数がマイクアレーを構成するマイクロホンの数よりも多い場合には、スピーカの出力信号間の平均を取る等の補完を行えばよい。
音場収音再生装置を構成する各部は、第一の部屋に配置された収音装置と第二の部屋に配置された再生装置の何れに備えられていてもよい。換言すれば、周波数変換部１、空間周波数変換部２、変換フィルタ部３、空間周波数逆変換部４、周波数逆変換部５、窓関数部６のそれぞれの処理は、第一の部屋に配置された収音装置で実行されてもよいし、第二の部屋に配置された再生装置で実行されてもよい。収音装置で生成された信号は、再生装置に送信される。
第一の部屋と第二の部屋の位置は、図２及び図６に示したものに限定されない。第一の部屋と第二の部屋は、隣接していても互いに離れた位置にあってもよい。また、第一の部屋と第二の部屋の向きもどのようなものであってもよい。
窓関数部６による窓関数の処理は、どの段階で行ってもよいし、多段で行ってもよい。すなわち、窓関数部６は、マイクアレーと周波数変換部１との間、周波数変換部１と空間周波数変換部２との間、空間周波数変換部２と変換フィルタ部３との間、変換フィルタ部３と空間周波数逆変換部４との間、空間周波数逆変換部４と周波数逆変換部５との間の少なくとも１つの間に備えられていてもよい。音場収音再生装置の各部は、その各部に入力される信号について窓関数の処理が行われた場合には、その入力される信号に代えて上記と同様にしてその窓関数の処理がされた後の信号に対して処理を行う。
また、窓関数部６はなくてもよい。この場合、第一実施形態においてはｉ＝１，…，Ｎｘ，ｊ＝１，…，ＮｚとしてスピーカＳｉ−ｊが時間領域信号Pd ij(t)に基づいて音を再生し、第二実施形態においてはｉ＝１，…，ＮｘとしてスピーカＳｉが時間領域信号Pd i(t)に基づいて音を再生する。
音場収音再生装置は、変換フィルタ部３を含みさえすれば、他の部を備えていなくてもよい。例えば、音場収音再生装置は、変換フィルタ部３、空間周波数逆変換部４及び周波数逆変換部５から構成されていてもよい。また、音場収音再生装置は、周波数変換部１、空間周波数変換部２及び変換フィルタ部３から構成されていてもよい。
周波数変換部１の処理と空間周波数変換部２の処理とを同時に行ってもよい。同様に、空間周波数逆変換部４の処理と周波数逆変換部５の処理とを同時に行ってもよい。また、空間周波数変換部２と空間周波数逆変換部４とを入れ替えてもよい。
音場収音再生装置は、コンピュータによって実現することができる。この場合、この装置の各部の処理内容はプログラムによって記述される。そして、このプログラムをコンピュータで実行することにより、この装置における各部がコンピュータ上で実現される。
この処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。また、この形態では、コンピュータ上で所定のプログラムを実行させることにより、これらの装置を構成することとしたが、これらの処理内容の少なくとも一部をハードウェア的に実現することとしてもよい。
この発明は、上述の実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲で適宜変更が可能である。
１ 周波数変換部
２ 空間周波数変換部
３ 変換フィルタ部
４ 空間周波数逆変換部
５ 周波数逆変換部
６ 窓関数部

Claims (11)

  1. マイクアレーはxz平面上に配置されており、jを虚数単位とし、ωを周波数とし、cを音速とし、k=ω/cとし、kx,nをx軸方向の波数とし、nをそのインデックスとし、kz,mをz軸方向の波数とし、mをそのインデックスとし、p,q,sを予め設定された次数とし、スピーカアレーを構成する各スピーカの伝達特性を前記次数p,q,sで多重極展開した多重極係数をγp,q,sとし、dx,dy,dzをそれぞれ再現音場をx,y,z軸方向にシフトする距離として、
    上記マイクアレーで収音された信号に基づいて生成された時空間周波数領域信号P~nm(ω)に対して次式により定義されるフィルタF~nm(ω)を適用してフィルタ処理後信号D~nm(ω)を生成する変換フィルタ部と、
    Figure 0005749221
     空間の逆フーリエ変換により、上記フィルタ処理後信号D~nm(ω)を周波数領域信号に変換する空間周波数逆変換部と、
    上記周波数領域信号を逆フーリエ変換により時間領域信号に変換する周波数逆変換部と、
    を含む音場収音再生装置。
  2. マイクアレーはxz平面上に配置されており、jを虚数単位とし、ωを周波数とし、cを音速とし、k=ω/cとし、kx,nをx軸方向の波数とし、nをそのインデックスとし、kz,mをz軸方向の波数とし、mをそのインデックスとし、p,q,sを予め設定された次数とし、スピーカアレーを構成する各スピーカの伝達特性を前記次数p,q,sで多重極展開した多重極係数をγp,q,sとし、dx,dy,dzをそれぞれ再現音場をx,y,z軸方向にシフトする距離として、
    上記マイクアレーで収音された信号をフーリエ変換により周波数領域信号に変換する周波数変換部と、
    空間のフーリエ変換により、上記周波数領域信号を時空間周波数領域信号P~nm(ω)に変換する空間周波数変換部と、
    上記時空間周波数領域信号P~nm(ω)に対して次式により定義されるフィルタF~nm(ω)を適用してフィルタ処理後信号D~nm(ω)を生成する変換フィルタ部と、
    Figure 0005749221
     を含む音場収音再生装置。
  3. 直線状に配置されたマイクアレーの配列方向をx軸方向とし、jを虚数単位とし、ωを周波数とし、cを音速とし、k=ω/cとし、kx,nをx軸方向の波数とし、nをそのインデックスとし、p,qを予め設定された次数とし、スピーカアレーを構成する各スピーカの伝達特性を前記次数p,qで多重極展開した多重極係数をγp,qとし、H0 (2)をn=0の第二種ハンケル関数とし、yrefを伝達特性を一致させる位置とし、dx,dyをそれぞれ再現音場をx,y軸方向にシフトする距離として、
    上記マイクアレーで収音された信号に基づいて生成された時空間周波数領域信号P~n(ω)に対して次式により定義されるフィルタF~n(ω)を適用してフィルタ処理後信号D~n(ω)を生成する変換フィルタ部と、
    Figure 0005749221
     分母のkρは展開してください。
    空間の逆フーリエ変換により、上記フィルタ処理後信号D~n(ω)を周波数領域信号に変換する空間周波数逆変換部と、
    上記周波数領域信号を逆フーリエ変換により時間領域信号に変換する周波数逆変換部と、
    を含む音場収音再生装置。
  4. 直線状に配置されたマイクアレーの配列方向をx軸方向とし、jを虚数単位とし、ωを周波数とし、cを音速とし、k=ω/cとし、kx,nをx軸方向の波数とし、nをそのインデックスとし、p,qを予め設定された次数とし、スピーカアレーを構成する各スピーカの伝達特性を前記次数p,qで多重極展開した多重極係数をγp,qとし、H0 (2)をn=0の第二種ハンケル関数とし、yrefを伝達特性を一致させる位置とし、dx,dyをそれぞれ再現音場をx,y軸方向にシフトする距離として、
    上記マイクアレーで収音された信号をフーリエ変換により周波数領域信号に変換する周波数変換部と、
    空間のフーリエ変換により、上記周波数領域信号を時空間周波数領域信号P~n(ω)に変換する空間周波数変換部と、
    上記時空間周波数領域信号P~n(ω)に対して次式により定義されるフィルタF~n(ω)を適用してフィルタ処理後信号D~n(ω)を生成する変換フィルタ部と、
    Figure 0005749221
     を含む音場収音再生装置。
  5. 請求項１又は３に記載された音場収音再生装置において、
    上記時空間周波数領域信号P~nm(ω),P~n(ω)と、上記周波数領域信号と、周波数逆変換部により変換された時間領域信号との少なくともひとつは、所定の窓関数により窓関数処理が行われた信号である、
    音場収音再生装置。
  6. 請求項２又は４に記載された音場収音再生装置において、
    上記マイクアレーで収音された信号と、上記周波数領域信号と、上記時空間周波数領域信号P~nm(ω),P~n(ω)との少なくともひとつは、所定の窓関数により窓関数処理が行われた信号である、
    音場収音再生装置。
  7. マイクアレーはxz平面上に配置されており、jを虚数単位とし、ωを周波数とし、cを音速とし、k=ω/cとし、kx,nをx軸方向の波数とし、nをそのインデックスとし、kz,mをz軸方向の波数とし、mをそのインデックスとし、p,q,sを予め設定された次数とし、スピーカアレーを構成する各スピーカの伝達特性を前記次数p,q,sで多重極展開した多重極係数をγp,q,sとし、dx,dy,dzをそれぞれ再現音場をx,y,z軸方向にシフトする距離として、
    変換フィルタ部が、上記マイクアレーで収音された信号に基づいて生成された時空間周波数領域信号P~nm(ω)に対して次式により定義されるフィルタF~nm(ω)を適用してフィルタ処理後信号D~nm(ω)を生成する変換フィルタステップと、
    Figure 0005749221
     空間周波数逆変換部が、空間の逆フーリエ変換により、上記フィルタ処理後信号D~nm(ω)を周波数領域信号に変換する空間周波数逆変換ステップと、
    周波数逆変換部が、上記周波数領域信号を逆フーリエ変換により時間領域信号に変換する周波数逆変換ステップと、
    を含む音場収音再生方法。
  8. マイクアレーはxz平面上に配置されており、jを虚数単位とし、ωを周波数とし、cを音速とし、k=ω/cとし、kx,nをx軸方向の波数とし、nをそのインデックスとし、kz,mをz軸方向の波数とし、mをそのインデックスとし、p,q,sを予め設定された次数とし、スピーカアレーを構成する各スピーカの伝達特性を前記次数p,q,sで多重極展開した多重極係数をγp,q,sとし、dx,dy,dzをそれぞれ再現音場をx,y,z軸方向にシフトする距離として、
    周波数変換部が、上記マイクアレーで収音された信号をフーリエ変換により周波数領域信号に変換する周波数変換ステップと、
    空間周波数変換部が、空間のフーリエ変換により、上記周波数領域信号を時空間周波数領域信号P~nm(ω)に変換する空間周波数変換ステップと、
    変換フィルタ部が、上記時空間周波数領域信号P~nm(ω)に対して次式により定義されるフィルタF~nm(ω)を適用してフィルタ処理後信号D~nm(ω)を生成する変換フィルタステップと、
    Figure 0005749221
     を含む音場収音再生方法。
  9. 直線状に配置されたマイクアレーの配列方向をx軸方向とし、jを虚数単位とし、ωを周波数とし、cを音速とし、k=ω/cとし、kx,nをx軸方向の波数とし、nをそのインデックスとし、p,qを予め設定された次数とし、スピーカアレーを構成する各スピーカの伝達特性を前記次数p,qで多重極展開した多重極係数をγp,qとし、H0 (2)をn=0の第二種ハンケル関数とし、yrefを伝達特性を一致させる位置とし、dx,dyをそれぞれ再現音場をx,y軸方向にシフトする距離として、
    変換フィルタ部が、上記マイクアレーで収音された信号に基づいて生成された時空間周波数領域信号P~n(ω)に対して次式により定義されるフィルタF~n(ω)を適用してフィルタ処理後信号D~n(ω)を生成する変換フィルタステップと、
    Figure 0005749221
     空間周波数逆変換部が、空間の逆フーリエ変換により、上記フィルタ処理後信号D~n(ω)を周波数領域信号に変換する空間周波数逆変換ステップと、
    周波数逆変換部が、上記周波数領域信号を逆フーリエ変換により時間領域信号に変換する周波数逆変換ステップと、
    を含む音場収音再生方法。
  10. 直線状に配置されたマイクアレーの配列方向をx軸方向とし、jを虚数単位とし、ωを周波数とし、cを音速とし、k=ω/cとし、kx,nをx軸方向の波数とし、nをそのインデックスとし、p,qを予め設定された次数とし、スピーカアレーを構成する各スピーカの伝達特性を前記次数p,qで多重極展開した多重極係数をγp,qとし、H0 (2)をn=0の第二種ハンケル関数とし、yrefを伝達特性を一致させる位置とし、dx,dyをそれぞれ再現音場をx,y軸方向にシフトする距離として、
    周波数変換部が、上記マイクアレーで収音された信号をフーリエ変換により周波数領域信号に変換する周波数変換ステップと、
    空間周波数変換部が、空間のフーリエ変換により、上記周波数領域信号を時空間周波数領域信号P~n(ω)に変換する空間周波数変換ステップと、
    変換フィルタ部が、上記時空間周波数領域信号P~n(ω)に対して次式により定義されるフィルタF~n(ω)を適用してフィルタ処理後信号D~n(ω)を生成する変換フィルタステップと、
    Figure 0005749221
     を含む音場収音再生方法。
  11. 請求項１から６の何れかに記載された音場収音再生装置の各部としてコンピュータを機能させるための音場収音再生プログラム。
JP2012141611A 2012-06-25 2012-06-25 音場収音再生装置、方法及びプログラム Expired - Fee Related JP5749221B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2012141611A JP5749221B2 (ja) 2012-06-25 2012-06-25 音場収音再生装置、方法及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012141611A JP5749221B2 (ja) 2012-06-25 2012-06-25 音場収音再生装置、方法及びプログラム

Publications (2)

Publication Number Publication Date
JP2014007544A JP2014007544A (ja) 2014-01-16
JP5749221B2 true JP5749221B2 (ja) 2015-07-15

Family

ID=50104922

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012141611A Expired - Fee Related JP5749221B2 (ja) 2012-06-25 2012-06-25 音場収音再生装置、方法及びプログラム

Country Status (1)

Country Link
JP (1) JP5749221B2 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7152669B2 (ja) * 2019-04-04 2022-10-13 日本電信電話株式会社 音像定位装置、音像定位方法及びプログラム

Also Published As

Publication number Publication date
JP2014007544A (ja) 2014-01-16

Similar Documents

Publication Publication Date Title
JP6508539B2 (ja) 音場収音装置および方法、音場再生装置および方法、並びにプログラム
JP5346321B2 (ja) 音場収音再生装置、方法及びプログラム
JP5346322B2 (ja) 音場収音再生装置、方法及びプログラム
JP5010148B2 (ja) ３次元パンニング装置
JP5734329B2 (ja) 音場収音再生装置、方法及びプログラム
JP5583089B2 (ja) 音場収音再生装置、方法及びプログラム
JP5603307B2 (ja) 音場収音再生装置、方法及びプログラム
JP5986966B2 (ja) 音場収音再生装置、方法及びプログラム
JP5713964B2 (ja) 音場収音再生装置、方法及びプログラム
JP5628219B2 (ja) 音場収音再生装置、方法及びプログラム
JP5749221B2 (ja) 音場収音再生装置、方法及びプログラム
JP5698164B2 (ja) 音場収音再生装置、方法及びプログラム
JP6087760B2 (ja) 音場収音再生装置、方法及びプログラム
JP5741866B2 (ja) 音場収音再生装置、方法及びプログラム
JP5713988B2 (ja) 音場収音再生装置、方法、およびプログラム
JP5954713B2 (ja) 音場収音再生装置、方法及びプログラム
JP5698279B2 (ja) 音場収音再生装置、方法及びプログラム
JP5698278B2 (ja) 音場収音再生装置、方法及びプログラム
JP5831910B2 (ja) 音場収音再生装置、方法及びプログラム
JP5831909B2 (ja) 音場収音再生装置、方法及びプログラム
JP5826737B2 (ja) 音場収音再生装置、方法、およびプログラム
JP5513316B2 (ja) 音場収音再生装置、方法及びプログラム
JP5734267B2 (ja) 音場収音再生装置、方法、およびプログラム
JP5734327B2 (ja) 音場収音再生装置、方法及びプログラム
JP5442652B2 (ja) 音源信号抽出装置、方法及びプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20140710

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20150313

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150507

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20150513

R150 Certificate of patent or registration of utility model

Ref document number: 5749221

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees