JP6288808B2 - 収音装置及び再生装置 - Google Patents

Description

本発明は、複数のマイクロホンやスピーカで構成されたアレー装置を用いたビームフォーミング技術に関する。特に、マイクロホンと音源との間の伝達特性、スピーカと再生点との間の伝達特性の最適な性質を明らかにした拡散センシングに基づくビームフォーミング技術に関する。

非特許文献１及び２が、マイクロホンアレーを用いた拡散センシングに基づく音声強調技術の従来技術として知られている。非特許文献１及び２では、反射構造体により擬似的な拡散音場を生成し、その中にマイクロホンアレーを設置して、拡散センシングを実現している。

K. Niwa, S. Sakauchi, K. Furuya, M. Okamoto, and Y. Haneda, "Diffused sensing for sharp directivity microphone array", ICASSP 2012, 2012, pp. 225 - 228 K. Niwa, Y. Hioka, K. Furuya, and Y. Haneda, "Telescopic microphone array using reflector for segregating target source from noises in same direction", ICASSP 2012, 2012, pp. 5457-5460

しかしながら、従来技術において、反射構造体をマイクロホンアレーの近傍に設置することで疑似的な拡散音場を生成するためには、装置規模が大きくなる傾向がある。何故ならば、反射構造体の容積と残響時間の相関性は高くて、残響時間が長くなるほど、拡散音場に近づくためである。例えば、非特許文献２では、直径1メートルの球に収まる程度の大きさの反射構造体を構築している。ところが、適用するアプリケーションによって、装置規模はあらかじめ限定されることが多い。容積が限定されてしまうと、伝達特性の相関性が高くなり、指向性能が劣化してしまうことが課題である。

同様にスピーカアレーを用いた拡散センシングに基づく再生技術が考えられる（参考文献１参照）。
［参考文献１］特開２０１２−１４７４１３号公報
しかし、この場合にも、反射構造体をスピーカアレーの近傍に設置することで疑似的な拡散音場を生成する必要があり、同様の課題がある。

本発明は、所定の指向性能に対する装置規模が従来技術よりも小さい音響装置を提供することを目的とする。つまり、従来技術の音響装置と同じ装置規模であれば、より指向性能の高い音響装置を、従来技術の音響装置と同じ指向性能であれば、より装置規模の小さい音響装置を提供することを目的とする。なお、この明細書では、音響装置とは、音を収音する収音装置と音を再生する再生装置とを含み、「音」は、人の発する声に限定されるものではなく、人や動物の声はもとより楽音や環境雑音など音一般を指す。

上記の課題を解決するために、本発明の第一の態様によれば、収音装置は、複数個のマイクロホンと、音を反射可能な素材により作成され、開口部を有し、開口部以外は複数個のマイクロホンが配置された三次元空間を形成する構造の反射構造体と、マイクロホンより大きなサイズであり、音を反射可能な素材により作成され、三次元空間に配置されている拡散構造体とを含み、広帯域にわたって任意の指向制御を行うためマイクロホン間の伝達特性の相関が小さくなることを利用したフィルタリングを行うために前記複数個のマイクロホンと、前記反射構造体と、前記拡散構造体とを含む。

上記の課題を解決するために、本発明の他の態様によれば、再生装置は、複数個のスピーカと、音を反射可能な素材により作成され、開口部を有し、開口部以外は複数個のスピーカが配置された三次元空間を形成する構造の反射構造体と、スピーカより大きなサイズであり、音を反射可能な素材により作成され、三次元空間に配置されている拡散構造体とを含み、広帯域にわたって任意の指向制御を行うためスピーカ間の伝達特性の相関が小さくなることを利用したフィルタリングを行うために前記複数個のスピーカと、前記反射構造体と、前記拡散構造体とを含む。

本発明によれば、所定の指向性能に対する装置規模を従来技術よりも小さくできるという効果を奏する。

本発明の音響装置の条件を説明するための図。 反射構造体の開口部を塞ぐような拡散構造体の設置例を示す図。 図３Ａは拡散構造体が凹状の面を有する立体構造物である場合の例を示す図、図３Ｂは拡散構造体が凸状の面を有する立体構造物である場合の例を示す図。 図４Ａは制御点Ａから電気音響変換器までの伝達特性の性質について示す図、図４Ｂは制御点Ｂから電気音響変換器までの伝達特性の性質について示す図。 図５Ａは電気音響変換器の配置を移動させるような可動制御手段を説明するための図、図５Ｂは拡散構造体の配置を移動させるような可動制御手段を説明するための図。 第一実施形態に係る収音装置の斜視図。 第一実施形態に係る収音装置の正面図。 第一実施形態に係る収音装置の側面図。 図８のIX-IX断面を示す概念図。 図８のX-X断面を示す概念図。 第一実施形態に係る収音装置の機能構成を示す図。 第一実施形態に係る収音装置の処理フローを示す図。 第一実施形態の変形例に係る収音装置の斜視図。 第一実施形態の変形例に係る収音装置の正面図。 第一実施形態の変形例に係る収音装置の側面図。 図１４のXVI-XVI断面を示す概念図。 図１４のXVII-XVII断面を示す概念図。 第二実施形態に係る再生装置の機能構成を示す図。 第二実施形態に係る再生装置の処理フローを示す図。

以下、本発明の実施形態について説明する。なお、以下の説明に用いる図面では、同じ機能を持つ構成部や同じ処理を行うステップには同一の符号を記し、重複説明を省略する。以下の説明において、テキスト中で使用する記号「^→」等は、本来直前の文字の真上に記載されるべきものであるが、テキスト記法の制限により、当該文字の直後に記載する。式中においてはこれらの記号は本来の位置に記述している。また、ベクトルや行列の各要素単位で行われる処理は、特に断りが無い限り、そのベクトルやその行列の全ての要素に対して適用されるものとする。

＜第一実施形態＞
本実施形態は、拡散センシングを基にして、伝達特性を物理的に変調する収音装置に係るものである。

まず、非特許文献１で説明されているこれまでの拡散センシングに基づく収音処理について説明する。

[観測信号のモデル化]
M(≧2)本のマイクロホンを用いて一つのターゲット音とK(≧1)個の雑音を受音する状況を考える。多くの雑音が存在する中で任意の位置にあるターゲット音を強調する指向制御を目的にする。目的は、K個の雑音源を抑圧し、ターゲット音を強調することで達成される。m(m=1,2,…,M)番目のマイクロホンとターゲット音、k(k=1,2,…,K)番目の雑音との間のインパルス応答をそれぞれa_m(i)、b_k,m(i)とする。ただし、インパルス応答長をLとし、i=0,1,…,L-1とする。なお、インパルス応答長Lは、装置の規模や構造、設置された部屋の状況によって定まる残響時間により、実験的に定めればよい。ターゲット音、k番目の雑音の音源信号をそれぞれs(t)、n_k(t)とするとき、m番目のマイクロホンで観測した観測信号x_m(t)は、次式でモデル化される。

ここで、tは時間のインデックスを表わす。

x_m(t)を短時間フーリエ変換することで、式(1)の畳み込み混合は、次式のような周波数領域における瞬時混合として近似される。

ここで、ω、τはそれぞれ周波数、フレームのインデックスを表わす。例えば、48kHzでサンプリングを行い、タップ数を2048とする。また、X_m(ω,τ)、S(ω,τ)、N_k(ω,τ)は、それぞれ観測信号x_m(t)、ターゲット音の音源信号s(t)、k番目の雑音の音源信号n_k(t)の時間周波数表現を表わす。a_m(ω)、b_k,m(ω)は、それぞれターゲット音、k番目の雑音とm番目のマイクロホンとの間の周波数特性を表し、以後これらを伝達特性と呼ぶ。式(2)を行列形式で表記すると、次式のようになる。

であり、^Tは転置を表わす。

[ビームフォーミング]
ビームフォーミング後の出力信号y(t)は、次式のように観測信号x_m(t)と、ターゲット音を強調するように設計されたフィルタw_m(t)とを畳み込むことで得られる。

ここで、Jはフィルタ長を表わし、インパルス応答長Lと同程度とすればよい。y(t)の時間周波数表現であるY(ω,τ)は、次式で近似的に求められる。

ここで、^Hは共役転置を表し、W^→ _m(ω)の複素共役がw_m(j)の周波数応答に対応する。

出力信号Y(ω,τ)に含まれる雑音成分をY_N(ω,τ)と書くとき、次式のパワーp_N(ω)は雑音成分のパワーとして定義される。

ここで、E_Tは時間的な期待値演算を表わす。音源信号が互いに無相関であると仮定すると、パワーp_N(ω)は伝達特性b^→ _k(ω)とフィルタW^→(ω)だけで計算できる。

アレー信号処理の分野では、p_N(ω)を最小化するために、様々なフィルタ設計法が説明されてきた。代表例として、遅延和法と最尤法を説明する(参考文献２参照)。
[参考文献２]浅野太,「音のアレイ信号処理-音源の低位・追跡と分離」,コロナ社,2011年
遅延和法において、フィルタW^→ _DSは、次式により、ターゲット音の直接音を強調するように設計される。

は、ターゲット音の直接音のアレイ・マニフォールド・ベクトルを表わす。要素h_m(ω)は、ターゲット音からm番目のマイクロホンまでの直接音の経路の伝達係数を表し、ターゲット音とm番目のマイクロホン間の距離をd_m、音速をc、虚数単位をjとすると、例えば次式により計算できる。

また、最尤法において、フィルタW^→ _MLは、次式により、ターゲット音の直接音を強調し、パワーp_N(ω)を最小化するように設計される。

ここで、R(ω)は雑音の空間相関行列を表わす。例えば、音源信号間が無相関であると仮定すると、雑音の空間相関行列R(ω)は次式のように、伝達特性b^→ _k(ω)のみを用いて計算される。

参考文献２に載っているような古典的なアレー信号処理において、マイクロホン間の間隔をどのようにアレンジするのかといったことが考えられてきた。しかし、特定の周波数を除いてマイクロホン間の相関が高くなることが多かった。代表的な問題として知られているのは以下の二つである。一つ目は波長の長い低周波帯域では、伝達特性間の相関が高くなりやすいので、狭指向制御しづらいことである。二つ目は波長の短い高周波帯域では、波長の半波長以下の間隔でマイクロホンを並べない限り、特定のターゲット音以外の音を強調してしまう空間エリアジングが生じることである。以上の2点から、広帯域に渡ってパワーp_N(ω)を小さくすることは困難とされてきた。

[拡散センシング]
非特許文献１では、広帯域に渡ってパワーp_N(ω)を小さくするために、伝達特性の性質がどういう性質であるべきかが検討され、拡散センシングという基礎理論が纏められている。

拡散センシングのコンセプトは、“伝達特性の物理的変調”により、次式のように広帯域に渡って伝達特性を無相関化させることにある。

ここで、伝達特性の物理的変調とは、伝達特性の性質そのものを変えるためのあらゆる物理的手段のことを指し、例えばマイクロホンの近傍に設置された反射構造体が挙げられる。非特許文献１で提案されている方式は、多数回反射を繰り返し、等方位的に反射音が到来する音場(拡散音場)を生成し、その中にマイクロホンアレーを設置する方式である。例えば、マイクロホンアレーを包囲するような形状の反射構造体を作り、一面だけ開けておけば、反射構造体内に到来した音が自ずと反射を繰り返し、疑似的な拡散音場を生成することになる。

何故、拡散音場にマイクロホンアレーを設置すると、伝達特性間が無相関化されるのかを簡単に説明する。伝達特性間の相関をγ(ω)とすると、拡散音場における相関γ(ω)は次式により計算されることが知られている。

ここで、E_S,p^→はそれぞれ空間的な期待値演算、マイクロホン間の位置ベクトルを表わす。マイクロホン間の距離||p^→||が十分に広いとすると、拡散音場における伝達特性間の相関γ(ω)の期待値は0になる。

だから、従来技術において反射構造体により疑似的な拡散音場を物理的に生成し、その中にマイクロホンアレーを設置してきた（非特許文献１、２参照）。

また、パワーp_N(ω)を小さくするために、事前のシミュレーションや測定により用意した伝達特性を用いたフィルタ設計方式を検討してきた。簡単に言えば、ターゲット音のみを強調するようにしてきたが、拡散センシングに基づく制御では、伝達特性そのものを強調するように設計される。

遅延和法をベースとする場合、次式のように、アレイ・マニフォールド・ベクトルh^→(ω)をターゲット音の伝達特性a^→(ω)に置き換えることで、フィルタW^→ _DS1(ω)を設計できる。

この場合、a^→(ω)をシミュレーションや実測により事前に用意する必要がある。

また、最尤法をベースとする場合、次式によりフィルタW^→ _DS2(ω)を設計できる。

この場合も同様に、a^→(ω)やR(ω)をシミュレーションや実測により事前に用意する必要がある。先に挙げたような手段を用いて、疑似的な拡散音場を生成し、音を収音する場合、伝達特性が自ずと無相関化されていることが期待されるので、パワーp_N(ω)を広帯域に渡って小さくすることができた。

＜第一実施形態のポイント＞
しかし、従来技術では、前述の通り、装置規模が大きくなる傾向がある。

そこで、本実施形態では、広帯域に渡って伝達特性を無相関化させるために、“伝達特性の物理的変調”として、反射構造体の内部構造を複雑化することで、反射構造体の容積が限定された条件下で伝達特性の相関を小さくできる。

本実施形態の技術は、拡散センシングを基にして、伝達特性を物理的に変調するための再生装置についても適用することができるため、図１を用いて本発明で定義する音響装置の条件を説明する。

[必須条件]
(1)反射構造体を含むこと
音を反射・回折する素材で形成されており、開口部を有する電気音響変換器１１１を包囲するような形状（言い換えると三次元空間を形成する形状）の反射構造体１９０があること。なお、この明細書において「電気音響変換器」とは、マイクホロンとスピーカとを含む概念である。音響装置を、収音装置として機能させる場合には電気音響変換器はマイクロホンからなり、再生装置として機能させる場合には電気音響変換器はスピーカからなる。

(2)電気音響変換器及びフィルタリング部を含むこと
反射構造体１９０の壁面や内側に2つ以上の電気音響変換器１１１を有し、それぞれ独立なフィルタ処理できるようなフィルタリング部１６０を有していること。

(3)拡散構造体の設置
反射構造体１９０の壁面や内側に、制御点Ａと電気音響変換器１１１との間の反射経路数が多くなるような拡散構造体１８０が一つ以上設置されていること。なお、音響装置を収音装置として機能させる場合、制御点はターゲット音の存在する方向若しくは位置または雑音の存在する方向若しくは位置として想定されるものであり、音響装置を再生装置として機能させる場合、制御点は再生音の音圧を上げたい方向若しくは位置（再生制御点）、または、音圧を下げたい方向若しくは位置（抑圧制御点）である。反射構造体１９０だけで決まる反射経路（破線）も存在するが、拡散構造体１８０を設置することにより、反射経路（一点鎖線）が増える。従って、拡散構造体１８０は、拡散構造体１８０を有さない場合の伝達特性を変調するものである。反射経路が増えることによって、収音装置の容積が限定された状況でも、音場の拡散性が高まるので、伝達特性間の相関が小さくなることが期待できる。なお、拡散構造体１８０の形状や配置位置には限定はなく、凹凸の曲面を持ってもよい。ただし、図２のように、反射構造体１９０の開口部を塞ぐような板を拡散構造体１８０としてしまった場合、制御点Ａと電気音響変換器１１１と間の反射経路を減らしてしまうので、拡散構造体１８０の形状や配置として適さない。よって、拡散構造体１８０は、収音装置に入射された音、または、再生装置に含まれるスピーカから発せられた音の反射回数が、拡散構造体１８０を有さない場合よりも多くなるように配置されている。

図３は、拡散構造体１８０が、曲面を有する立体構造物である場合の形状例を示す断面図である。この例では、反射構造体１９０の開口部と有する面と対向する内壁面に、開口部方向に突出した拡散構造体１８０を備え、図３Ａでは断面凹状の面を有し、図３Ｂでは断面凸状の面を有する。なお、音響装置を収音装置として機能させる場合、反射構造体１９０の開口部から入射された音を収音装置の内部のマイクロホンに導く構造であることが望ましい。例えば、図３Ｂの場合、拡散構造体１８０の先端で音を収音装置の外部に反射してしまうため、図３Ａのほうがより望ましい形状と考えられる。また、音響装置を再生装置として機能させる場合、再生装置に含まれるスピーカから発せられた音を外部に導く構造であることが望ましい。

[必須ではないがあるとよい条件]
さらに、伝達特性を無相関化させるために以下のような条件を組合せる方式が考えられる。

(4)指向性の異なる電気音響変換器の使用
様々な指向性を持つ電気音響変換器を混ぜて使用することで、伝達特性間の相関を小さくし、無相関化を図る。例えば、電気音響変換器の指向性に限定はないが、無指向性、単一指向性、双指向性、ハイパーカーディオイドといった様々な指向性を持つ電気音響変換器を混ぜて使用する。仮に、同じ位置に指向性の異なる電気音響変換器を配置した場合、同じ制御点との間の伝達特性は異なるものとなる。例えば、同じ位置に無指向性のマイクロホンまたは単一指向性のマイクロホンを配置した場合、制御点Ａと無指向性のマイクロホンとの間の伝達特性と、制御点Ａと単一指向性のマイクロホンとの間の伝達特性とは、異なるものとなる。よって、この条件により、指向性の違いによる伝達特性の変化を利用して、さらに、伝達特性間の相関を小さくし、無相関化を図る。

(5)電気音響変換器の配置
反射構造体１９０の外側、内側に、それぞれ一つ以上の電気音響変換器１１２、１１１が設置されていること。

図４を用いて、反射構造体１９０の内側に設置した電気音響変換器１１１と、外側に設置した電気音響変換器１１２とでは明らかに伝達特性の性質が異なることを説明する。なお、この例では、音響装置を収音装置として機能させ、電気音響変換器はマイクロホンからなる。また、この例では、3つの電気音響変換器１１２−１、１１２−２、１１１と2つの制御点Ａ、Ｂを設けた。電気音響変換器は、反射構造体１９０の内側と外側とにそれぞれ一つ以上あればいいので、電気音響変換器１１２−１、１１２−２はどちらかが存在すればよい。

図４Ａは、制御点Ａから3つの電気音響変換器１１２−１、１１２−２、１１１までの伝達特性の性質について示す。反射構造体１９０の内側にある電気音響変換器１１１では、直接音、回折音及び反射音を観測する。なお、回折音とは反射構造体１９０で回折して到来する音であり、反射音とは反射構造体１９０の内壁で反射して到来する音である。一方で、反射構造体１９０の外側にある電気音響変換器１１２−１は、反射構造体１９０の上壁に取り付けられているので、バウンダリ型のマイクロホンと同様に反射構造体の上壁からの反射音を受音しづらい。そのため、強い振幅の直接音と反射構造体１９０の外壁で回折して到来する回折音を観測する。また、反射構造体１９０の後側にある電気音響変換器１１２−２は、反射構造体１９０の外壁で回折して到来する回折音を観測する。

図４Ｂでは、制御点Ｂと各電気音響変換器１１２−１、１１２−２、１１１の間の伝達特性の性質について示す。電気音響変換器１１２−１、１１２−２では、反射・回折の影響を受けにくく、強い振幅の直接音を受音する。一方、電気音響変換器１１１では、反射構造体の外壁で回折して到来した音、さらに内壁で反射して到来した音を受音する。

このように、制御点の位置が異なることで、各制御点と各電気音響変換器１１２−１、１１２−２、１１１との間の伝達特性の性質が大きく異なる。よって、反射構造体１９０の内側に設置した電気音響変換器１１１の伝達特性と、外側に設置した電気音響変換器１１２−１、１１２−２の伝達特性との間の相関が小さくなることが見込まれる。なお、反射音の影響により、制御点の位置や収音環境（例えば収音装置の外部に存在する反射物等）の変化に対して、制御点から電気音響変換器１１１への伝達特性は変調しやすく、制御点から電気音響変換器１１２−１、１１２−２への伝達特性は変調しづらい。例えば、図４Ａにおいて、制御点Ａが制御点Ｃに変化した場合、各制御点から電気音響変換器１１２−１、１１２−２への伝達特性はあまり変調しないのに対し、各制御点から電気音響変換器１１１への伝達特性は反射音の影響により（各制御点から電気音響変換器１１２−１、１１２−２への伝達特性に比べ）大きく変調する。

よって、この条件は、音響装置の外部にある音源からの伝達特性が変調されづらくなるように配置された電気音響変換器と、音源からの伝達特性が変調されやすくなるように配置された電気音響変換器とを含むことと言い換えてもよい。

また、この条件と必須条件(1)は、反射構造体が音響装置の外部にある音源から電気音響変換器への伝達特性に変調を与えず、音源から電気音響変換器への伝達特性に変調を与えるように配置されていることと言い換えてもよい。

(6)電気音響変換器または拡散構造体の向きまたは配置を変更
音響装置を収音装置として機能させる場合、以下の条件を加えてもよい。電気音響変換器（マイクロホン）１１１や（例えば板状の）拡散構造体１８０の向きまたは配置を変更するような可動制御手段２００を含む（図５Ａ及び図５Ｂ参照）。なお、電気音響変換器１１１及び拡散構造体１８０の少なくとも一つの向きまたは配置を、同時に、または、別々に変更するような可動制御手段２００を含む構成であってもよい。

例えば、可動制御手段２００はモータ等からなり、制御量Cに応じて、回転し、回転軸に対して垂直に設置された円板を回転させ、円板上に設置された電気音響変換器１１１の配置を変更する。また、回転軸に設置された拡散構造体１８０を回転させ、向きを変更する。利用に先立ち、予め各制御量εにおける伝達特性A^→(ω,ε)=[a^→(ω,ε),b^→ ₁(ω,ε),…,b^→ _M(ω,ε),]を測定し、図示しない記憶部に記憶しておく。さらに、図示しないセンサー間相関計算部において、伝達特性A^→(ω,ε)と観測信号X^→(ω,τ)=[X₁(ω,τ),…,X_M(ω,τ)]とから、センサー間相関を計算し、次式により、制御量Cを求め、これを可動制御手段２００に出力する。

電気音響変換器１１１や拡散構造体１８０の向きや配置により、伝達特性は変化するので、伝達特性間の相関が小さくなるように電気音響変換器１１１や拡散構造体１８０の向きまたは配置を変更する。なお、複数の電気音響変換器１１１や複数の拡散構造体１８０を用いる場合には、一部を固定し、残りを可動制御手段２００により変更する構成としてもよい。

＜第一実施形態に係る収音装置１０＞
図６は収音装置１０の斜視図、図７はその正面図、図８はその側面図を示す。図９は図７のIX-IX断面を示す概念図、図１０は図７のX-X断面を示す概念図を示す。

図１０に示すように、反射構造体１９０が形成する三次元空間の内部であって、拡散構造体１８０の下側に11本のマイクロホン２１１を直線的に配置している。さらに、図示していないが、拡散構造体１８０の上側に11本の第一マイクロホン２１１を直線的に配置している（図９参照）。反射構造体１９０の形状は、一つ以上の開口部が形成されていれば、その形状に制限はないが、この実施形態では横長の直方体がベースとなっており、前面を開口面としている。また、反射構造体１９０は、反射面が平面であって、適度な厚みと剛性を持つ平板の反射板（例えば、反射率αを0.8とする）からなる。反射構造体１９０反射面は、必ずしも平面でなくともよく、凹凸のある平板であってもよい。さらに、本実施形態では、音を反射構造体の中に取り入れやすくするため、開口面にホーン１９１を設けている。ホーン１９１は、反射構造体１９０の外側から見た開口面積が大きく、内側から見た開口面積が小さくなるような形状としている。音が反射構造体１９０内に入りやすく出にくい構造となっている。なお、一つ以上の開口面があればよく、開口面の形状や数に限定はない。ホーンをつけてもよいし、つけなくてもよい。本実施形態では、開口面に一つのホーン１９１を設けている。

反射構造体１９０が三次元空間を形成し、拡散構造体１８０がその三次元空間内に設置される。拡散構造体１８０は、凹状の曲面を持った形状とする。開口面から到来した音が拡散構造体１８０に反射して、反射構造体１９０内で多重に反射することを狙ってこの形状としている。拡散構造体１８０はＱ個（Ｑ≧１）設置されていればよく、本実施形態では、１０個の拡散構造体１８０が設置されている（図１０参照）。

マイクロホン２１１を反射構造体１９０の形成する三次元空間の内部に設置できるような構造になっている。

[収音装置１０の信号処理]
第一実施形態に係る収音装置１０の機能構成および処理フローを図１１と図１２に示す。この第一実施形態の収音装置１０は、Ｍ個のマイクロホン２１１−ｍ、ＡＤ変換部１２０、周波数領域変換部１３０、フィルタリング部１６０、時間領域変換部１７０、フィルタ計算部１５０、伝達特性記憶部１４０を含む。ｍ＝１，２，…，Ｍであり、Ｍ≧２である。

＜マイクロホン２１１−ｍ＞
Ｍ個のマイクロホン２１１−ｍを用いて収音し（ｓ１）、アナログ信号（収音信号）をＡＤ変換部１２０に出力する。Ｍ個のマイクロホン２１２−ｍは反射構造体１９０の内側に設置されている。

＜ＡＤ変換部１２０＞
ＡＤ変換部１２０が、Ｍ個のマイクロホン２１２−ｍで収音されたM個のアナログ信号をディジタル信号x^→(t)＝[x₁(t),…,x_M(t)]^Tへ変換し、（ｓ２）、周波数領域変換部に出力する。ｔは離散時間のインデックスを表す。

＜周波数領域変換部１３０は、＞
周波数領域変換部１３０は、まず、ＡＤ変換部１２０が出力したディジタル信号x^→(t)＝[x₁(t),…,x_M(t)]^Tを入力とし、チャネルごとにNサンプルをバッファに貯めてフレーム単位のディジタル信号x^→(τ)＝[x^→ ₁(τ),…,x^→ _M(τ)]^Tを生成する。τはフレーム番号のインデックスである。x^→ _m(τ)=[x_m((τ-1)N+1),…,x_m(τN)]（1≦m≦M）である。Nはサンプリング周波数にもよるが、48kHzサンプリングの場合には2048点あたりが妥当である。次に、周波数領域変換部１３０は、各フレームのディジタル信号x^→(τ)を周波数領域の信号X^→(ω,τ)＝[X₁(ω,τ),…,X_M(ω,τ)]^Tに変換し（ｓ３）、出力する。ωは離散周波数のインデックスである。時間領域信号を周波数領域信号に変換する方法の一つに高速離散フーリエ変換があるが、これに限定されず、周波数領域信号に変換する他の方法を用いてもよい。周波数領域信号X^→(ω,τ)は、各周波数ω、フレームτごとに出力される。

＜伝達特性記憶部１４０＞
伝達特性記憶部１４０は、予め収音装置１０を使って測定された伝達特性A^→(ω)=[a^→(ω),b^→ ₁(ω),…,b^→ _K(ω)]を記憶しておく。a^→(ω)＝[a₁(ω),…,a_M(ω)]^Tを、ターゲット音とM本のマイクロホンとの間の周波数ωでの伝達特性、換言すれば、a^→(ω)＝[a₁(ω),…,a_M(ω)]^Tは、マイクロホンアレーに含まれる各マイクロホンへのターゲット音の周波数ωでの伝達特性とする。k=1,2,…,Kであり、Kは雑音の個数であり、b_k ^→(ω)＝[b_k1(ω),…,b_kM(ω)]^Tを、雑音kとM本のマイクロホンとの間の周波数ωでの伝達特性、換言すれば、b_k ^→(ω)＝[b_k1(ω),…,b_kM(ω)]^Tは、マイクロホンアレーに含まれる各マイクロホンへの雑音kの周波数ωでの伝達特性とする。なお、伝達特性A^→(ω)は、事前測定によらず、理論式やシミュレーションにより事前に用意してもよい。

＜フィルタ計算部１５０＞
フィルタ計算部１５０は、伝達特性記憶部１４０から伝達特性A^→(ω)を取り出し、フィルタW^→(ω)を計算し、フィルタリング部１６０に出力する。例えば、特定の位置または方向からの音響信号を抑圧する信号処理に用いるフィルタW^→(ω)を計算する。

本発明のビームフォーミング技術の要点は、拡散構造体により反射構造体の内部構造を複雑化して、広帯域に渡って伝達特性を無相関化させることである。そのため、フィルタの設計コンセプト自体に影響を与えないので、従来技術と同様の方法により、フィルタW^→(ω)を設計することができる。例えば、参考文献３に記載されている<１>SN比最大化規準によるフィルタ設計法、<２>パワーインバージョン(Power Inversion)に基づくフィルタ設計法、<３>一つ以上の死角（雑音のゲインが抑圧される方向）を拘束条件に持つ最小分散無歪応答法によるフィルタ設計法、<４>遅延合成（Delay-and-Sum Beam Forming）法によるフィルタ設計法、<５>最尤法によるフィルタ設計法、<６>AMNOR（Adaptive Microphone-array for noise reduction）法等によって、フィルタW^→(ω)を設計することができる。
[参考文献３]国際公開第ＷＯ２０１２／０８６８３４号パンフレット
例えば、遅延和法をベースとする場合、式(16)により、フィルタW^→ _DS1(ω)を計算する。

また例えば、最尤法をベースとする場合、式(17)により、フィルタW^→ _DS2(ω)を計算する。

また例えば、一つ以上の死角を拘束条件に持つ最小分散無歪応答法によるフィルタ設計法の場合、次式により、フィルタW^→ _DS3(ω)を計算する。

ただし、ｆ_S(ω),f_k(ω)はそれぞれターゲット音、雑音k(k=1,2,…,K)に関する周波数ωでの通過特性を表す。例えば、式(18)において、伝達特性a^→(ω)が方向θに依存する伝達特性a^→(ω,θ)として事前に用意できる場合には、伝達特性a^→(ω,θ)を用いて、フィルタW^→(ω,θ)を計算し、フィルタリング部１６０において、特定の方向θ_sの信号処理が行える。また、伝達特性a^→(ω)が方向θ、距離Dに依存する伝達特性a^→(ω,θ,D)として事前に用意できる場合には、伝達特性a^→(ω,θ,D)を用いて、フィルタW^→(ω,θ,D)を計算し、フィルタリング部１６０において、特定の位置（特定の方向θ_sと距離D_Hにより特定される位置）の信号処理が行える。

＜フィルタリング部１６０＞
フィルタリング部１６０は、予めフィルタ計算部１５０からフィルタW^→(ω)を受け取っておき、周波数領域信号X^→(ω,τ)を受け取り、フレームτごとに、各周波数ω∈Ωについて、周波数領域信号X^→(ω,τ)=[X₁(ω,τ),…,X_M(ω,τ)]^Tに、フィルタW^→(ω)を適用して（式(5)参照、ｓ４）、出力信号Y(ω,τ)を出力する。

例えば、フィルタリング部はＭ個のマイクロホン２１１―ｍによる収音信号とに基づき、空間上の少なくとも複数の位置または方向から発せられた音響信号の収音特性を異ならせるものであればよい。「収音特性を異ならせる」とは、例えば、特定の位置で発せられた音響信号を局所収音して他の位置で発せられた音響信号を極力収音しないようにしたり、逆に特定の位置で発せられた音響信号を抑圧（消音）して他の位置で発せられた音響信号のみを収音したりすることを意味する。

＜時間領域変換部１７０＞
時間領域変換部１７０は、第τフレームの各周波数ω∈Ωの出力信号Y(ω,τ)を時間領域に変換して（ｓ５）、第τフレームのフレーム単位時間領域信号y(τ)を得て、さらに、得られたフレーム単位時間領域信号y(τ)をフレーム番号のインデックスの順番に連結して時間領域信号y(t)を出力する。周波数領域信号を時間領域信号に変換する方法は、ｓ３の処理で用いた変換方法に対応する逆変換であり、例えば高速離散逆フーリエ変換である。

＜効果＞
このような構成により、所定の指向性能に対する装置規模を従来技術よりも小さくできる。そのとき、ターゲット音と雑音を聞き分けるための手掛かりが観測信号に含まれることになるので、例えば、事前に用意した伝達特性を使ってフィルタを使って適切な信号処理をすることで、広帯域に渡って任意の指向制御が可能になる。なお、本実施形態では、予めフィルタW^→(ω)を計算しているが、収音装置１０の計算処理能力などに応じて、所定の指向性能が定まってからフィルタ計算部１５０が周波数ごとのフィルタW^→(ω)を計算する構成としてもよい。

＜変形例＞
主に第一実施形態と異なる部分について説明する。図１３は変形例に係る収音装置１０の斜視図、図１４はその正面図、図１５はその側面図を示す。図１６は図１４のXVI-XVI断面を示す概念図、図１７は図１４のXVII-XVII断面を示す概念図を示す。

本変形例では、要件(5)を満たすようにマイクロホンを配置している。つまり、反射構造体１９０の外側、内側に、それぞれ一つ以上の電気音響変換器１１２、１１１が設置されている。

図１７に示すように、反射構造体１９０が形成する三次元空間の内部に11本のマイクロホン２１１を直線的に配置している。さらに、図示していないが、反射構造体１９０が形成する三次元空間の外部（上壁の外壁面上）に11本のマイクロホン２１２を直線的に配置している。本変形例では、開口面に拡散構造体１８０毎にホーン１９１を設けている（図１６参照）。

反射構造体１９０は、マイクロホン２１１を反射構造体１９０の形成する三次元空間の内部に設置できるような構造になっている。また、反射構造体１９０の上壁の外壁面上にマイクロホン２１２を設置できるような構造になっている。

マイクロホン２１２は、音響的に透過な音響透過カバー１９２で覆われている。「音響的に透過」とは、反射・回折が生じない（または生じにくい）ことを意味し、例えば、音響透過カバー１９２はパンチングメタルからなる。音響透過カバー１９２は、マイクロホン２１２を衝撃等から防護するためのカバーであって、必ずしも設けなくともよい。

前述の通り、このような構成とすることで、反射構造体１９０の内側に設置したマイクロホン２１１の伝達特性と、外側に設置したマイクロホン２１２の伝達特性との間の相関がさらに小さくなることが見込まれる。

＜第二実施形態＞
本発明は、スピーカを用いた再生装置として扱ってもよい。

本実施形態は、拡散センシングを基にして、伝達特性を物理的に変調する収音装置に係るものである。複数のマイクロホンからなるマイクロホンアレーに代えて、複数のスピーカからなるスピーカアレーを用いる。よって、その外観図は、マイクロホン２１１をスピーカ３１１に変えたものとなり、反射構造体１９０、ホーン１９１、拡散構造体１８０等の形状について、第一実施形態と同様である（図６−図１０参照）。

スピーカ３１１及び拡散構造体１８０を反射構造体１９０の形成する三次元空間の内部に設置できるような構造になっている。

[再生装置３０の信号処理]
M(≧2)個のスピーカを用いて制御点Ｄで強調されるような指向制御を行うことを考える。

第二実施形態に係る再生装置３０の機能構成および処理フローを図１８と図１９に示す。この第二実施形態の再生装置３０は、Ｍ個のスピーカ３１１−ｍ、周波数領域変換部３００、フィルタリング部３３０、時間領域変換部３４０、フィルタ計算部３２０、伝達特性記憶部３１０を含む。ｍ＝１，２，…，Ｍであり、Ｍ≧２である。

信号源２００が音源信号s(t)を出力する。この実施形態では、信号源２００からの音源信号s(t)はディジタル信号であるとする。ただし、音源信号としてアナログ信号を用いる場合には、アナログ信号をディジタル信号s(t)へＡＤ変換するＡＤ変換部を設ければよい。

＜周波数領域変換部３００＞
まず、周波数領域変換部３００は、ディジタル信号s(t)を受け取り、Nサンプルをバッファに貯めてフレーム単位のディジタル信号s(τ)を出力する。次に、周波数領域変換部３００は、各フレームのディジタル信号s(τ)を周波数領域の信号S(ω,τ)に変換して（ｓ３１）出力する。

＜伝達特性記憶部３１０及びフィルタ計算部３２０＞
伝達特性記憶部３１０及びフィルタ計算部３２０の機能構成は、第一実施形態と同様である。例えば、フィルタ計算部３２０は、伝達特性記憶部３１０から伝達特性A^→(ω)を取り出し、参考文献４記載の方法により、フィルタW^→(ω)を計算し、フィルタリング部３３０に出力する。例えば、特定の位置または方向への音響信号を抑圧する信号処理に用いるフィルタW^→(ω)を計算する。
［参考文献４］羽田陽一、片岡章俊、「自由空間伝達関数を用いた多点制御に基づく小型スピーカアレーの実空間性能」、日本音響学会研究発表会講演論文集、2008、pp.631-632

＜フィルタリング部３３０＞
フィルタリング部３３０は、予めフィルタ計算部３２０からフィルタW^→(ω)を受け取っておき、周波数領域信号S(ω,τ)を受け取り、フレームτごとに、各周波数ω∈Ωについて、周波数領域信号S(ω,τ)に、フィルタW^→(ω)を適用して（次式参照、ｓ３２）、出力信号Z^→(ω,τ)＝[Z₁(ω,τ),…,Z_M(ω,τ)]を出力する。

例えば、フィルタリング部３３０は、空間上の少なくとも複数の位置へ、Ｍ個の第二スピーカ３１２−ｍから発する音響信号の再生特性を異ならせるものであればよい。「再生特性を異ならせる」とは、例えば、特定の位置で音響信号を局所再生して他の位置で音響信号を極力再生しないようにしたり、逆に特定の位置で音響信号を再生しないようにして他の位置でのみ音響信号を再生したりすることを意味する。

＜時間領域変換部３４０＞
時間領域変換部３４０は、第τフレームの各周波数ω∈Ωの再生信号Z^→(ω,τ)＝[Z₁(ω,τ),…,Z_M(ω,τ)]を時間領域に変換して（ｓ３３）、第τフレームのフレーム単位時間領域信号z^→(τ)＝[z₁(τ),…,z_M(τ)]を得て、さらに、得られたフレーム単位時間領域信号z^→(τ)＝[z₁(τ),…,z_M(τ)]をフレーム番号のインデックスの順番に連結して、時間領域信号z^→(t)＝[z₁(t),…,z_M(t)]を出力する。周波数領域信号を時間領域信号に変換する方法は、ｓ３１の処理で用いた変換方法に対応する逆変換であり、例えば高速離散逆フーリエ変換である。

＜スピーカ３１１−ｍ＞
Mチャネルの時間領域信号z₁(t),…,z_M(t)はそれぞれ、スピーカアレーを構成するM個のスピーカ３１１−ｍのうち、チャネルに対応するスピーカで再生される（ｓ３４）。Ｍ個のスピーカ３１１−ｍは反射構造体１９０の内側に設置されている。またQ（≧１）個の拡散構造体１８０が反射構造体１９０の内側に設置されている。

＜効果＞
このような構成により、所定の指向性能に対する装置規模を従来技術よりも小さくできる。なお、本実施形態では、予めフィルタW^→(ω)を計算しているが、再生装置３０の計算処理能力などに応じて、所定の指向性能が定まってからフィルタ計算部３２０が周波数ごとのフィルタW^→(ω)を計算する構成としてもよい。

＜その他の変形例＞
本発明は上記の実施形態及び変形例に限定されるものではない。例えば、上述の各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。その他、本発明の趣旨を逸脱しない範囲で適宜変更が可能である。

＜プログラム及び記録媒体＞
上述した収音装置及び再生装置は、コンピュータにより機能させることもできる。この場合、コンピュータを目的とする装置（各種実施形態で図に示した機能構成を持つ装置）として機能させるためのプログラム、またはコンピュータにその処理手順（各実施形態で示したもの）の各過程を実行させるためのプログラムを、そのコンピュータに実行させればよい。なお、そのプログラムは、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリ等のコンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータにプログラムを実行させる際には、そのプログラムを記録媒体から読み込んでもよいし、または、そのプログラムを記録したサーバ等から通信回線を介してダウンロードしてもよい。

本発明は、狭指向音声強調技術、音声スポット強調技術、狭指向音声再生技術、音声スポット再生技術に利用することができる。また、AGC(Auto Gain Control)技術やエリア収音及び再生技術に利用することもできる。

Claims (1)

1. 複数個のマイクロホンと、
   音を反射可能な素材により作成され、開口部を有し、開口部以外は前記複数個のマイクロホンが配置された三次元空間を形成する構造の反射構造体と、
   音を反射可能な素材により作成され、前記三次元空間に少なくとも１つ配置されている拡散構造体とを含み、
   広帯域にわたって任意の指向制御を行うためマイクロホン間の伝達特性の相関が小さくなることを利用したフィルタリングを行うために前記複数個のマイクロホンと、前記反射構造体と、前記拡散構造体とを含み、
   前記拡散構造体は、前記反射構造体の開口部から入射された音を前記マイクロホンに導く構造、かつ、前記入射された音の反射回数が前記拡散構造体を有さない場合よりも多くなる構造であることを特徴とする
   収音装置。

Images