JP6211890B2 - 収音装置 - Google Patents

Description

本発明は、複数のマイクロホンやスピーカで構成されたアレー装置を用いたビームフォーミング技術に関する。特に、マイクロホンと音源との間の伝達特性の最適な性質を明らかにした拡散センシングに基づくビームフォーミング技術に関する。

非特許文献１及び２が、マイクロホンアレーを用いた拡散センシングに基づく音声強調技術の従来技術として知られている。非特許文献１及び２では、反射構造体により擬似的な拡散音場を生成し、その中にマイクロホンアレーを設置して、拡散センシングを実現している。

K. Niwa, S. Sakauchi, K. Furuya, M. Okamoto, and Y. Haneda, "Diffused sensing for sharp directivity microphone array", ICASSP 2012, 2012, pp. 225 - 228 K. Niwa, Y. Hioka, K. Furuya, and Y. Haneda, "Telescopic microphone array using reflector for segregating target source from noises in same direction", ICASSP 2012, 2012, pp. 5457-5460

しかしながら、従来技術において、反射構造体をマイクロホンアレーの近傍に設置することで疑似的な拡散音場を生成するためには、装置規模が大きくなる傾向がある。何故ならば、反射構造体の容積と残響時間の相関性は高くて、残響時間が長くなるほど、拡散音場に近づくためである。例えば、非特許文献２では、直径1メートルの球に収まる程度の大きさの反射構造体を構築している。ところが、適用するアプリケーションによって、装置規模はあらかじめ限定されることが多い。容積が限定されてしまうと、伝達特性の相関性が高くなり、指向性能が劣化してしまうことが課題である。

本発明の第一の態様は、所定の指向性能に対する装置規模が従来技術よりも小さい収音装置を提供することを目的とする。つまり、従来技術の収音装置と同じ装置規模であれば、より指向性能の高い収音装置を、従来技術の収音装置と同じ指向性能であれば、より装置規模の小さい収音装置を提供することを目的とする。なお、この明細書では、「音」は、人の発する声に限定されるものではなく、人や動物の声はもとより楽音や環境雑音など音一般を指す。

さらに、限られた容積の中で、伝達特性の相関を低減させるためには、装置構成を工夫する必要がある。例えば、反射構造体の形状を工夫する、反射構造体の中に拡散を誘発するような機構を取り付ける、マイクロホンまたは反射構造体に可動部を取り付けて音場の状況に応じて動かす、指向性の異なるマイクロホンを組み合わせたアレーを用いるなどの手段で実現できると考えている。ただし、上記の実装で考えられる装置は相当多くのパターン数があると考えられるので、どの装置パターンが適切であるかを判断することが難しい。

本発明の他の態様は、各装置パターンにおける伝達特性の相関性を評価する量を導入し、それに基づいて装置構成を決める収音装置を提供することを目的とする。

上記の課題を解決するために、本発明の第一の態様によれば、収音装置は、複数のマイクロホンを含む。収音装置は、音を反射可能な素材により作成される反射部と、複数のマイクロホン間の相関性に応じて、複数のマイクロホンと音源との間の伝達特性を変化させるように、反射部の向きまたは配置を変更する可動制御部とをさらに含む。

上記の課題を解決するために、本発明の他の態様によれば、収音装置は、複数のマイクロホンを含む。収音装置は、複数のマイクロホン間の相関性に応じて、複数のマイクロホンと音源との間の伝達特性を変化させるように、複数のマイクロホンの少なくとも一つの向きまたは配置を変更する可動制御部とをさらに含む。

上記の課題を解決するために、本発明の他の態様によれば、収音装置は、Nを3以上の整数とし、N個のマイクロホンと、音を反射可能な素材により作成された反射部とを含む。収音装置は、マイクロホン間の相関を最小とする制御量Zを算出するセンサー間相関計算部と、Mを２以上かつN以下の整数とし、制御量Zに基づいて、N個のマイクロホンからM個のマイクロホンを選択する選択部をさらに含む。

上記の課題を解決するために、本発明の他の態様によれば、収音装置は、Qを2以上の整数とし、複数個のマイクロホンと、音を反射可能な素材により作成されたQ個の反射部とを含む。収音装置は、マイクロホン間の相関を最小とする制御量Zを算出するセンサー間相関計算部と、Pを１以上かつQ以下の整数とし、制御量Zに基づいて、Q個の反射部からP個の反射部を選択する選択部をさらに含む。

上記の課題を解決するために、本発明の他の態様によれば、収音装置は、Nを3以上の整数、Qを2以上の整数とし、N個のマイクロホンと、音を反射可能な素材により作成されたQ個の反射部とを含む。収音装置は、マイクロホン間の相関を最小とする制御量Zを算出するセンサー間相関計算部と、Mを２以上かつN以下の整数、Pを１以上かつQ以下の整数とし、制御量Zに基づいて、N個のマイクロホンからM個のマイクロホンを選択し、Q個の反射部からP個の反射部を選択する選択部をさらに含む。

上記の課題を解決するために、本発明の他の態様によれば、収音装置は、Sを2以上の整数とし、複数個のマイクロホンと、音を反射可能な素材により作成された反射部とを含むS個の収音部を含む。収音装置は、マイクロホン間の相関を最小とする制御量Zを算出するセンサー間相関計算部と、Rを1以上かつS以下の整数とし、制御量Zに基づいて、S個の収音部からR個の収音部を選択する選択部をさらに含む。

本発明の第一の態様によれば、所定の指向性能に対する装置規模を従来技術よりも小さくできるという効果を奏する。

また、本発明の他の態様によれば、伝達特性の相関を低減する装置構成を見極めることができる。

本発明の収音装置の条件を説明するための図。 本発明の収音装置の条件を説明するための図。 本発明の収音装置に反射構造体を組合せた場合を説明するための図。 本発明の収音装置に拡散構造体を組合せた場合を説明するための図。 制御点とマイクロホンとの間の伝達特性に含まれる反射音数を増大させるような拡散構造体の設置例を示す図。 反射構造体の開口部を塞ぐような拡散構造体の設置例を示す図。 拡散構造体が凸状の面を有する立体構造物である場合の例を示す図。 第一実施形態に係る収音装置の斜視図。 第一実施形態に係る収音装置の正面図。 第一実施形態に係る収音装置の側面図。 図９のXI-XI断面を示す概念図。 図９のXII-XII断面を示す概念図。 第一実施形態に係る収音装置の機能構成を示す図。 第一実施形態に係る収音装置の処理フローを示す図。 第二実施形態に係る収音装置の機能構成を示す図。 第二実施形態に係る収音装置の処理フローを示す図。 反射部の形状の例を示す図。 第三実施形態に係る収音装置の機能構成を示す図。 第三実施形態に係る収音装置の処理フローを示す図。 第四実施形態に係る収音装置の機能構成を示す図。 第四実施形態に係る収音装置の処理フローを示す図。

以下、本発明の実施形態について説明する。なお、以下の説明に用いる図面では、同じ機能を持つ構成部や同じ処理を行うステップには同一の符号を記し、重複説明を省略する。以下の説明において、テキスト中で使用する記号「^→」、「^」等は、本来直前の文字の真上に記載されるべきものであるが、テキスト記法の制限により、当該文字の直後に記載する。式中においてはこれらの記号は本来の位置に記述している。また、ベクトルや行列の各要素単位で行われる処理は、特に断りが無い限り、そのベクトルやその行列の全ての要素に対して適用されるものとする。

＜第一実施形態＞
本実施形態は、拡散センシングを基にして、伝達特性を物理的に変調する収音装置に係るものである。

まず、非特許文献１で説明されているこれまでの拡散センシングに基づく収音処理について説明する。

[観測信号のモデル化]
M(≧2)本のマイクロホンを用いて一つのターゲット音とK(≧1)個の雑音を受音する状況を考える。多くの雑音が存在する中で任意の位置にあるターゲット音を強調する指向制御を目的にする。目的は、K個の雑音源を抑圧し、ターゲット音を強調することで達成される。m(m=1,2,…,M)番目のマイクロホンとターゲット音、k(k=1,2,…,K)番目の雑音との間のインパルス応答をそれぞれa_m(i)、b_k,m(i)とする。ただし、インパルス応答長をLとし、i=0,1,…,L-1とする。なお、インパルス応答長Lは、装置の規模や構造、設置された部屋の状況によって定まる残響時間により、実験的に定めればよい。ターゲット音、k番目の雑音の音源信号をそれぞれs(t)、n_k(t)とするとき、m番目のマイクロホンで観測した観測信号x_m(t)は、次式でモデル化される。

ここで、tは時間のインデックスを表わす。

x_m(t)を短時間フーリエ変換することで、式(1)の畳み込み混合は、次式のような周波数領域における瞬時混合として近似される。

ここで、ω、τはそれぞれ周波数、フレームのインデックスを表わす。例えば、48kHzでサンプリングを行い、タップ数を2048とする。また、X_m(ω,τ)、S(ω,τ)、N_k(ω,τ)は、それぞれ観測信号x_m(t)、ターゲット音の音源信号s(t)、k番目の雑音の音源信号n_k(t)の時間周波数表現を表わす。a_m(ω)、b_k,m(ω)は、それぞれターゲット音、k番目の雑音とm番目のマイクロホンとの間の周波数特性を表し、以後これらを伝達特性と呼ぶ。式(2)を行列形式で表記すると、次式のようになる。

であり、^Tは転置を表わす。

[ビームフォーミング]
ビームフォーミング後の出力信号y(t)は、次式のように観測信号x_m(t)と、ターゲット音を強調するように設計されたフィルタw_m(t)とを畳み込むことで得られる。

ここで、Jはフィルタ長を表わし、インパルス応答長Lと同程度とすればよい。y(t)の時間周波数表現であるY(ω,τ)は、次式で近似的に求められる。

ここで、^Hは共役転置を表し、W^→ _m(ω)の複素共役がw_m(j)の周波数応答に対応する。

出力信号Y(ω,τ)に含まれる雑音成分をY_N(ω,τ)と書くとき、次式のパワーp_N(ω)は雑音成分のパワーとして定義される。

ここで、E_Tは時間的な期待値演算を表わす。音源信号が互いに無相関であると仮定すると、パワーp_N(ω)は伝達特性b^→ _k(ω)とフィルタW^→(ω)だけで計算できる。

アレー信号処理の分野では、p_N(ω)を最小化するために、様々なフィルタ設計法が説明されてきた。代表例として、遅延和法と最尤法を説明する(参考文献１参照)。
[参考文献１]浅野太,「音のアレイ信号処理-音源の低位・追跡と分離」,コロナ社,2011年

遅延和法において、フィルタW^→ _DSは、次式により、ターゲット音の直接音を強調するように設計される。

は、ターゲット音の直接音のアレイ・マニフォールド・ベクトルを表わす。要素h_m(ω)は、ターゲット音からm番目のマイクロホンまでの直接音の経路の伝達係数を表し、ターゲット音とm番目のマイクロホン間の距離をd_m、音速をc、虚数単位をjとすると、例えば次式により計算できる。

また、最尤法において、フィルタW^→ _MLは、次式により、ターゲット音の直接音を強調し、パワーp_N(ω)を最小化するように設計される。

ここで、R(ω)は雑音の空間相関行列を表わす。例えば、音源信号間が無相関であると仮定すると、雑音の空間相関行列R(ω)は次式のように、伝達特性b^→ _k(ω)のみを用いて計算される。

参考文献１に載っているような古典的なアレー信号処理において、マイクロホン間の間隔をどのようにアレンジするのかといったことが考えられてきた。しかし、特定の周波数を除いてマイクロホン間の相関が高くなることが多かった。代表的な問題として知られているのは以下の二つである。一つ目は波長の長い低周波帯域では、伝達特性間の相関が高くなりやすいので、狭指向制御しづらいことである。二つ目は波長の短い高周波帯域では、波長の半波長以下の間隔でマイクロホンを並べない限り、特定のターゲット音以外の音を強調してしまう空間エリアジングが生じることである。以上の2点から、広帯域に渡ってパワーp_N(ω)を小さくすることは困難とされてきた。

[拡散センシング]
非特許文献１では、広帯域に渡ってパワーp_N(ω)を小さくするために、伝達特性の性質がどういう性質であるべきかが検討され、拡散センシングという基礎理論が纏められている。

拡散センシングのコンセプトは、“伝達特性の物理的変調”により、次式のように広帯域に渡って伝達特性を無相関化させることにある。

ここで、伝達特性の物理的変調とは、伝達特性の性質そのものを変えるためのあらゆる物理的手段のことを指し、例えばマイクロホンの近傍に設置された反射構造体が挙げられる。非特許文献１で提案されている方式は、多数回反射を繰り返し、等方位的に反射音が到来する音場(拡散音場)を生成し、その中にマイクロホンアレーを設置する方式である。例えば、マイクロホンアレーを包囲するような形状の反射構造体を作り、一面だけ開けておけば、反射構造体内に到来した音が自ずと反射を繰り返し、疑似的な拡散音場を生成することになる。

何故、拡散音場にマイクロホンアレーを設置すると、伝達特性間が無相関化されるのかを簡単に説明する。伝達特性間の相関をγ(ω)とすると、拡散音場における相関γ(ω)は次式により計算されることが知られている。

ここで、E_S,p^→はそれぞれ空間的な期待値演算、マイクロホン間の位置ベクトルを表わす。マイクロホン間の距離||p^→||が十分に広いとすると、拡散音場における伝達特性間の相関γ(ω)の期待値は0になる。

だから、従来技術において反射構造体により疑似的な拡散音場を物理的に生成し、その中にマイクロホンアレーを設置してきた（非特許文献１、２参照）。

また、パワーp_N(ω)を小さくするために、事前のシミュレーションや測定により用意した伝達特性を用いたフィルタ設計方式を検討してきた。簡単に言えば、ターゲット音のみを強調するようにしてきたが、拡散センシングに基づく制御では、伝達特性そのものを強調するように設計される。

遅延和法をベースとする場合、次式のように、アレイ・マニフォールド・ベクトルh^→(ω)をターゲット音の伝達特性a^→(ω)に置き換えることで、フィルタW^→ _DS1(ω)を設計できる。

この場合、a^→(ω)をシミュレーションや実測により事前に用意する必要がある。

また、最尤法をベースとする場合、次式によりフィルタW^→ _DS2(ω)を設計できる。

この場合も同様に、a^→(ω)やR(ω)をシミュレーションや実測により事前に用意する必要がある。先に挙げたような手段を用いて、疑似的な拡散音場を生成し、音を収音する場合、伝達特性が自ずと無相関化されていることが期待されるので、パワーp_N(ω)を広帯域に渡って小さくすることができた。

＜第一実施形態のポイント＞
しかし、従来技術では、前述の通り、装置規模が大きくなる傾向がある。

そこで、本実施形態では、広帯域に渡って伝達特性を無相関化させるために、“伝達特性の物理的変調”として、観測信号の性質（マイクロホン間の相関）に応じて、反射部、または、マイクロホンの向きまたは位置を変更して、反射構造体の容積が限定された条件下で伝達特性の相関を小さくできる。言い換えると、反射部、または、マイクロホンを伝達特性の相関性を低減するように動かす。

以下、図１及び図２を用いて本実施形態で定義する収音装置の条件を説明する。

[必須条件]
(1)複数のマイクロホン及びフィルタリング部を含むこと
2つ以上のマイクロホン１１２を含み、それぞれ独立なフィルタ処理できるようなフィルタリング部１６０を含むこと。

(2)センサー間相関計算部を含むこと
マイクロホン間の相関性（例えば、観測信号間の相関）を計算し、後述する反射部１８０やマイクロホン１１２の可動を決定するセンサー間相関計算部２１０を含む。

(3-1)反射部の向きまたは配置を変更する可動制御部を含む
マイクロホン１１２の近傍に反射部１８０が一つ以上設置され、マイクロホン間の相関性に応じて、反射部１８０の向きまたは配置を変更するような一つ以上の可動制御部２００を含むこと（図１参照）。なお、反射部１８０は、音を反射可能な素材により作成される。その形状は一つ以上の反射音を生じさせる形状であればいい。例えば、図１のように板状であってもよい。

(3-2)マイクロホンの向きまたは配置を変更する可動制御部を含む
マイクロホン間の相関性に応じて、マイクロホン１１２の向きまたは配置を変更するような一つ以上の可動制御部２００を含む（図２参照）。

(3-1),(3-2)の条件は、どちらか一方存在すればよい条件である。なお、(3-1),(3-2)の構造を組合せて構わない。つまり、マイクロホン１１２及び反射部１８０の向きまたは配置を、同時に、または、別々に変更するような可動制御部２００を含む構成であってもよい。

例えば、可動制御部２００はモータ等からなり、センサー間相関計算部２１０において求めた制御量Zに応じて、回転し、回転軸に対して垂直に設置された円板を回転させ、円板上に設置されたマイクロホン１１２の配置を変更する（図２参照）。また、回転軸に設置された反射部１８０を回転させ、向きを変更する（図１参照）。利用に先立ち、予め各制御量εにおける、制御対象領域を密に分割したK'点と各マイクロホン間の伝達特性A^→(ω,ε)=[a^→ ₁(ω,ε),a^→ ₂(ω,ε),…,a^→ _K'(ω,ε)]を測定し、後述する伝達特性記憶部１４０に記憶しておく。さらに、後述するセンサー間相関計算部２１０において、伝達特性A^→(ω,ε)と観測信号X^→(ω,τ)=[X₁(ω,τ),…,X_M(ω,τ)]とから、マイクロホン間の相関性を計算し、次式により、伝達特性間の相関が最小となる制御量Zを求め、これを可動制御部２００に出力する。

マイクロホン１１２や反射部１８０の向きや配置により、伝達特性は変化するので、伝達特性間の相関が小さくなるようにマイクロホン１１２や反射部１８０の向きまたは配置を変更する。なお、複数のマイクロホン１１２や複数の反射部１８０を用いる場合には、一部を固定し、残りを可動制御部２００により変更する構成としてもよい（図２参照）。

[必須ではないがあるとよい条件]
さらに、伝達特性を無相関化させるために以下のような条件を組合せる方式が考えられる。

(4)反射構造体を含むこと
音を反射・回折する素材で形成されており、開口部を有するマイクロホン１１２を包囲するような形状（言い換えると三次元空間を形成する形状）の反射構造体１９０があること（図３参照）。

(5)拡散構造体の設置
制御点Ａとマイクロホン１１２との間の反射経路数が多くなるような拡散構造体１８１が一つ以上設置されていること。例えば、条件(4)と組合せて、反射構造体１９０の内壁面や内側に、拡散構造体１８１が一つ以上設置される（図４参照）。

制御点Ａとマイクロホン１１２との間の反射経路を図５に示す。反射構造体１９０だけで決まる反射経路（破線）も存在するが、拡散構造体１８１を設置することにより、反射経路（一点鎖線）が増える。従って、拡散構造体１８１は、拡散構造体１８１を有さない場合の伝達特性を変調するものである。反射経路が増えることによって、収音装置の容積が限定された状況でも、音場の拡散性が高まるので、伝達特性間の相関が小さくなることが期待できる。なお、拡散構造体１８１の形状や配置位置には限定はなく、凹凸の曲面を持ってもよい。ただし、図６のように、反射構造体１９０の開口部を塞ぐような板を拡散構造体１８１としてしまった場合、制御点Ａとマイクロホン１１２と間の反射経路を減らしてしまうので、拡散構造体１８１の形状や配置として適さない。よって、拡散構造体１８１は、収音装置に入射された音の反射回数が、拡散構造体１８１を有さない場合よりも多くなるように配置されている。

図４及び図７は、拡散構造体１８１が、曲面を有する立体構造物である場合の形状例を示す断面図である。この例では、反射構造体１９０の開口部と有する面と対向する内壁面に、開口部方向に突出した拡散構造体１８１を備え、図４では断面凹状の面を有し、図７では断面凸状の面を有する。拡散構造体１８１は、反射構造体１９０の開口部から入射された音を収音装置の内部のマイクロホンに導く構造であることが望ましい。例えば、図７の場合、拡散構造体１８１の先端で音を収音装置の外部に反射してしまうため、図４のほうがより望ましい形状と考えられる。

(6)指向性の異なるマイクロホンの使用
様々な指向性を持つマイクロホンを混ぜて使用することで、伝達特性間の相関を小さくし、無相関化を図る。例えば、マイクロホンの指向性に限定はないが、無指向性、単一指向性、双指向性、ハイパーカーディオイドといった様々な指向性を持つマイクロホンを混ぜて使用する。仮に、同じ位置に指向性の異なるマイクロホンを配置した場合、同じ制御点との間の伝達特性は異なるものとなる。例えば、同じ位置に無指向性のマイクロホンまたは単一指向性のマイクロホンを配置した場合、制御点Ａと無指向性のマイクロホンとの間の伝達特性と、制御点Ａと単一指向性のマイクロホンとの間の伝達特性とは、異なるものとなる。よって、この条件により、指向性の違いによる伝達特性の変化を利用して、さらに、伝達特性間の相関を小さくし、無相関化を図る。

＜第一実施形態に係る収音装置１０＞
図８は収音装置１０の斜視図、図９はその正面図、図１０はその側面図を示す。図１１は図９のXI-XI断面を示す概念図、図１２は図９のXII-XII断面を示す概念図を示す。

図１２に示すように、反射構造体１９０が形成する三次元空間の内部に11枚の円板２０１を直線的に配置し、さらに、円板２０１上に11本のマイクロホン２１２を配置している。さらに、図示していないが、反射構造体１９０が形成する三次元空間の外部（上壁の外壁面上）に11本のマイクロホン２１１を直線的に配置している（図１１参照）。反射構造体１９０の形状は、一つ以上の開口部が形成されていれば、その形状に制限はないが、この実施形態では横長の直方体がベースとなっており、前面を開口面としている。また、反射構造体１９０は、反射面が平面であって、適度な厚みと剛性を持つ平板の反射板（例えば、反射率αを0.8とする）からなる。反射構造体１９０反射面は、必ずしも平面でなくともよく、凹凸のある平板であってもよい。さらに、本実施形態では、音を反射構造体の中に取り入れやすくするため、開口面にホーン１９１を設けている。ホーン１９１は、反射構造体１９０の外側から見た開口面積が大きく、内側から見た開口面積が小さくなるような形状としている。音が反射構造体１９０内に入りやすく出にくい構造となっている。なお、一つ以上の開口面があればよく、開口面の形状や数に限定はない。ホーンをつけてもよいし、つけなくてもよい。本実施形態では、開口面に拡散構造体１８１毎にホーン１９１を設けている。

反射構造体１９０が三次元空間を形成し、拡散構造体１８１がその三次元空間内に設置される。拡散構造体１８１は、凹状の曲面を持った形状とする。開口面から到来した音が拡散構造体１８１に反射して、反射構造体１９０内で多重に反射することを狙ってこの形状としている。拡散構造体１８１はＱ個（Ｑ≧１）設置されていればよく、本実施形態では、１０個の拡散構造体１８１が設置されている（図１２参照）。

マイクロホン２１２を反射構造体１９０の形成する三次元空間の内部に設置できるような構造になっている。また、反射構造体１９０の上壁の外壁面上にマイクロホン２１１を設置できるような構造になっている。

マイクロホン２１１は、音響的に透過な音響透過カバー１９２で覆われている。「音響的に透過」とは、反射・回折が生じない（または生じにくい）ことを意味し、例えば、音響透過カバー１９２はパンチングメタルからなる。音響透過カバー１９２は、マイクロホン２１１を衝撃等から防護するためのカバーであって、必ずしも設けなくともよい。

外側に設置したマイクロホン２１１は、反射構造体１９０による反射・回折の影響を受けにくく、強い振幅の直接音を観測できる特徴がある。また、反射構造体１９０の内側にマイクロホン２１２を設置した。マイクロホン２１２は、反射構造体１９０によって、反射・回折の影響を大きく受けるので、外側に設置したマイクロホン２１１とは明らかに異なる伝達特性を取得できる。よって、反射構造体１９０の内側に設置したマイクロホン２１２の伝達特性と、外側に設置したマイクロホン２１１の伝達特性との間の相関が小さくなることが見込まれる。なお、反射音の影響により、制御点の位置や収音環境（例えば収音装置の外部に存在する反射物等）の変化に対して、制御点からマイクロホン２１２への伝達特性は変調しやすく、制御点からマイクロホン２１２への伝達特性は変調しづらい。

反射構造体の内側の底面に、可動制御部(モータ)２００を設置した。可動制御部２００に可動型の反射部１８０を取り付けるか、マイクロホン２１２を取り付ける。本実施形態では、マイクロホン２１２を取り付けている。可動制御部２００は、観測信号に応じて、伝達特性の相関を小さくするように、可動型の反射部やマイクロホンを動かす。

[収音装置１０の信号処理]
第一実施形態に係る収音装置１０の機能構成および処理フローを図１３と図１４に示す。この第一実施形態の収音装置１０は、Ｍ_１個のマイクロホン２１１−ｍ_１、Ｍ_２個のマイクロホン２１２−ｍ_２、ＡＤ変換部１２０、周波数領域変換部１３０、フィルタリング部１６０、時間領域変換部１７０、フィルタ計算部１５０、伝達特性記憶部１４０、可動制御部２００、センサー間相関計算部２１０を含む。ｍ_１＝１，２，…，Ｍ_１であり、ｍ_２＝１，２，…，Ｍ_２であり、Ｍ_１≧１、Ｍ_２≧１であり、Ｍ_１＋Ｍ_２＝Ｍである。

＜マイクロホン２１１−ｍ_１、マイクロホン２１２−ｍ_２＞
Ｍ_１個のマイクロホン２１１−ｍ_１、Ｍ_２個のマイクロホン２１２−ｍ_２を用いて収音し（ｓ１）、アナログ信号（収音信号）をＡＤ変換部１２０に出力する。Ｍ_１個のマイクロホン２１１−ｍ_１が反射構造体１９０の外側に設置され、Ｍ_２個のマイクロホン２１２−ｍ_２は反射構造体１９０の内側に設置されている。

＜ＡＤ変換部１２０＞
ＡＤ変換部１２０が、Ｍ_１個のマイクロホン２１１−ｍ_１とＭ_２個のマイクロホン２１２−ｍ_２とで収音された合計M個のアナログ信号をディジタル信号x^→(t)＝[x₁(t),…,x_M(t)]^Tへ変換し、（ｓ２）、周波数領域変換部１３０に出力する。ｔは離散時間のインデックスを表す。

＜周波数領域変換部１３０＞
周波数領域変換部１３０は、まず、ＡＤ変換部１２０が出力したディジタル信号x^→(t)＝[x₁(t),…,x_M(t)]^Tを入力とし、チャネルごとにNサンプルをバッファに貯めてフレーム単位のディジタル信号x^→(τ)＝[x^→ ₁(τ),…,x^→ _M(τ)]^Tを生成する。τはフレーム番号のインデックスである。x^→ _m(τ)=[x_m((τ-1)N+1),…,x_m(τN)]（1≦m≦M）である。Nはサンプリング周波数にもよるが、48kHzサンプリングの場合には2048点あたりが妥当である。次に、周波数領域変換部１３０は、各フレームのディジタル信号x^→(τ)を周波数領域の信号X^→(ω,τ)＝[X₁(ω,τ),…,X_M(ω,τ)]^Tに変換し（ｓ３）、出力する。ωは離散周波数のインデックスである。時間領域信号を周波数領域信号に変換する方法の一つに高速離散フーリエ変換があるが、これに限定されず、周波数領域信号に変換する他の方法を用いてもよい。周波数領域信号X^→(ω,τ)は、各周波数ω、フレームτごとに出力される。

＜伝達特性記憶部１４０＞
伝達特性記憶部１４０は、予め収音装置１０を使って測定された伝達特性A^→(ω,ε)=[a^→ ₁(ω,ε),…,a^→ _K'(ω,ε)]を記憶しておく。εは可動制御部２００の制御量を表わし、a^→ _k(ω,ε)＝[a₁(ω,ε),a₂(ω,ε),…,a_M(ω,ε)]^Tを（ただし、k=1,2,…,K'）、可動制御部２００をεだけ制御したときの、制御対象領域を密に分割したK'点に含まれるk点とM本のマイクロホンとの間の周波数ωでの伝達特性、換言すれば、a^→ _k(ω,ε)＝[a₁(ω,ε),…,a_M(ω,ε)]^Tは、可動制御部２００をεだけ制御したときのマイクロホンアレーに含まれる各マイクロホンへのk点における周波数ωでの伝達特性とする。なお、伝達特性A^→(ω,ε)は、事前測定によらず、理論式やシミュレーションにより事前に用意してもよい。

＜センサー間相関計算部２１０＞
センサー間相関計算部２１０は、伝達特性記憶部１４０から伝達特性A^→(ω,ε)を取り出し、所定の間隔毎（フレーム毎としてもよいが、後述する可動制御部２００の動作を考慮すると、例えば数分毎としてもよい）に（ｓ２０）、周波数領域信号X^→(ω,τ)を受け取り、各周波数ω∈Ωについて、センサー間相関を計算し（ｓ２１）、可動制御部２００の制御量Zを求め、出力する。

例えば、ターゲット音とK^個の雑音の方向または位置を周波数領域信号X^→(ω,τ)から予測して、次式の計算をすることで、予測したターゲット音とK^個の雑音の方向または位置におけるセンサー間相関を計算し、制御量Zを求める。

入力された伝達特性A^→(ω,ε)は、収音装置毎にパワーが正規化されていない可能性があるので、正規化してもよい。正規化の方法の実装例として、以下に2種類挙げる。

(i)収音装置毎に伝達特性のパワーを正規化する場合には、次式により正規化する。

(ii)方向毎に伝達特性のパワーを正規化する場合には、次式により正規化する。

センサー間相関の計算方法は様々あるが、(i)伝達特性の相関のパワー平均C₁(ω,ε)を用いる方法、(ii)通信路容量C₂(ω,ε)を用いる方法、(iii)条件数C₃(ω,ε)を用いる方法、(iv)行列式C₄(ω,ε)を用いる方法の4つを示す。

(i)まず、伝達特性の相関のパワー平均C₁(ω,ε)の計算方法を以下に示す。制御点の全ての組み合わせで伝達特性間の相関のパワーを次式により計算して平均化する。

伝達特性の直交性が高いほどC₁(ω,ε)の値は小さくなり、完全に伝達特性間が無相関である場合にC₁(ω,ε)=0になる。

(ii)次に、通信路容量を用いる方法を示す。無線におけるMIMO系ではよく用いられている尺度で、音源とマイクロホン間を伝送路として見立てたときの伝送路で送れる最大の情報量を通信路容量という（参考文献２参照）。
［参考文献２］G. J. Foschini et al., “On limits of wireless communications in a fading environment when using multi-element antennas” , Wireless Personal Communications, 1998, vol. 6, no. 3, pp.311-335

通信路容量C₂(ω,ε)は次式で計算できる。

ここで、P_SNR(ω,ε)は制御量εにおける音源信号とセンサノイズの平均的なSN比、Λ_m(ω,ε)は制御量εにおける空間相関行列R(ω,ε)のm番目の固有値で、Λ₁(ω,ε)≧…≧Λ_M(ω,ε)≧0のように整列されている。音源信号が互いに無相関と仮定すると空間相関行列、R(ω,ε)は伝達特性を用いて次式で近似計算することができる。

伝達特性の直交性が高いほどC₂(ω,ε)の値は大きくなる。完全に伝達特性間が無相関である場合、固有値がΛ₁(ω,ε)≒…≒Λ_M(ω,ε)のように平滑になるので、空間相関行列R_n(ω,ε)のトレース一定の条件下で通信路容量C₂(ω,ε)は最大になる。

(iii)次に、条件数C₃(ω,ε)を用いる方法を示す。n番目のマイクロホンにおける条件数は、次式のように空間相関行列R_n(ω,ε)の最大固有値と最小固有値の比で計算される。

伝達特性の直交性が高いほどC₃(ω,ε)の値は小さくなる。完全に伝達特性間が無相関である場合、C₃(ω,ε)=1になる。

(iv)最後に、行列式C₄(ω,ε)を用いる方法を示す。行列式は、固有値分布の平滑度合を評価するために用いられる一つの評価関数である。

伝達特性の直交性が高いほどC₄(ω,ε)の値は大きくなる。完全に伝達特性間が無相関である場合、C₄(ω,ε)=1になる。

センサー間相関計算部２１０は、何れかの尺度で伝達特性の相関を計算する。さらに、周波数毎に算出されたコストC_i(ω,ε)（ただし、ｉ＝１，２，３，４の何れか）を平均化する。

ここで、Ωは平均化する周波数インデックスの集合で、|Ω|はその総数を表わす。また、g(ω)は周波数毎の重みを表わす。音声が白色的であると仮定するのであれば、g(ω)=1としても問題ない。最後に、周波数平均化されたコストC^_i(ε)を基に、制御量Zを求める。制御量Zは、伝達特性間の相関が最小となる制御量εである。例えば、パワー平均C₁(ω,ε)や条件数C₃(ω,ε)を用いた場合には、最小のコストC^₁やC^₃に対応する制御量εを制御量Zとし、通信路容量C₂(ω,ε)や行列式C₄(ω,ε)を用いた場合には、最大のコストC^₂やC^₄に対応する制御量εを制御量Zとする。

ターゲット音とK^個の雑音の方向または位置を周波数領域信号X^→(ω,τ)から予測する際には既存の音源位置推定技術を用いればよい。例えば、音源位置推定技術として、a)GCC-PHAT法、b)MUSIC法、c)ビームフォーマ法等が知られている。

a)GCC-PHAT法（詳細は参考文献２参照）
[参考文献２]C. H. Knapp et al., ”The generalized correlation method for estimation of time delay”, IEEE Trans. ASSP, 1976, vol.24, no.4, pp. 320-327

GCC-PHAT法は、音声を観測した際に、2本のマイクロホン(マイクペア)間に生じる時間差を利用して、音源到来方向を求める方式である。この場合、センサー間相関計算部２１０では、周波数領域信号X^→(ω,τ)を用いて、一般化相互相関Q(ω,τ,ρ_{r→_j})=[Q₁(ω,τ,ρ_{r→_j}),…,Q_U(ω,τ,ρ_{r→_j})]を計算する。ただし、下付添え字_{r→_j}はｒ^→ _ｊを表す。また、Uはマイクペアの総数で、最大で_MC₂までの値を取りうる。u（u=1,2,…,U）番目のマイクペアがm_{u_1}番目のマイクロホンとm_{u_2}番目のマイクロホンとで構成されているとして（ただし、下付添え字u_1,u_2はそれぞれu₁,u₂を表す）、m_{u_2}番目のマイクロホンで収音した周波数領域信号X_{m_u_2}(ω,τ)の位相をm_{u_1}番目のマイクロホンで収音した周波数領域信号X_{m_u_1}(ω,τ)の位相に対して時間ρ_{r→_j}だけ遅らせた場合の相関値をQ_u(ω,τ,ρ_{r→_j})とする。ただし、下付添え字m_u_1,m_u_2はそれぞれm_{u_1},m_{u_2}を表し、ρ_{r→_j}は、位置r^→ _jから音が伝搬した際に生じる遅延を表わす。一般化相互相関Q_u(ω,τ,ρ_{r→_j})は次式で計算される。

*は複素共役を表わす。

さらに、センサー間相関計算部２１０では、一般化相互相関Q_u(ω,τ,ρ_{r→_j})を用いて、音源位置r^→(τ)=[r^→ _S(τ),r^→ ₁(τ),…,r^→ _K^(τ)]を算出する。一般化相互相関Q_u(ω,τ,ρ_{r→_j})の値が大きい位置r^→ _jほど、音源が存在している可能性が高い。だから、一般化相互相関Q_u(ω,τ,ρ_{r→_j})の値が大きな位置をK^+1個抽出すればよい。例えば以下のコストC_GCCが高い位置r^→ _jをK^+1個抽出すればよい。

b)MUSIC法（詳細は参考文献３参照）
[参考文献３] R. O. Schmidt, ”Multiple emitter location and signal parameter estimation”, IEEE Transactions on Antennas and Propagation, 1986, vol.34, no.3, pp.276-280

MUSIC法は、音場に存在する音源数(K^+1)以上のマイクロホンを用いて、観測信号中に含まれる音源位置r^→=[r^→ _S,r^→ ₁,…,r^→ _K^]を推定する。よって、M≧K^+1とする。雑音の総数K^はあらかじめ与えるか観測した信号から推定することとする。

センサー間相関計算部２１０では、観測信号X^→(ω,τ)を用いて、ターゲット音及び雑音の空間相関行列R^→ _N(ω,τ)を計算する。まず、観測信号X^→(ω,τ)を用いて、空間相関行列R^→(ω,τ)を計算する。

ここで、E[・]は期待値演算子を表し、例えば時間的な平均化処理で置き換えても問題ない。次に、雑音空間の空間相関行列を生成するために、R^→(ω,τ)を固有分解する。

ここで、V^→(ω,τ)=[v^→ ₁(ω,τ),…,v^→ _M(ω,τ)]は固有ベクトル行列で、v^→ _m(ω,τ)は、V^→(ω,τ)の第m固有ベクトルである。また、Λ^→(ω,τ)=diag([Λ₁(ω,τ),…,Λ_M(ω,τ)])は、M個の固有値で構成された固有値行列である。1番目からK^+1番目までの固有ベクトルには音源に起因する成分が含まれるので、K^+2番目からM番目までの固有ベクトルv^→ _K^+2(ω,τ),…,v^→ _M(ω,τ)で構成される空間には定常的な雑音しか存在しないことになる。その性質を利用して、ターゲット音及び（定常的でない）雑音の空間相関行列を生成する。

さらに、センサー間相関計算部２１０では、ターゲット音及び（定常的でない）雑音の空間相関行列R^→ _N(ω,τ)を用いて、ミュージックスペクトルP_MUSIC(ω,τ,r^→ _j)を計算する。

ここで、h^→(ω,r^→ _j)は、位置r^→ _jからM本のマイクロホン間の伝達特性であり、通常、直接音のみをモデル化して計算される。

最後に、センサー間相関計算部２１０では、P_MUSIC(ω,τ,r^→ _j)を用いて、音源位置r^→=[r^→ _S,r^→ ₁,…,r^→ _K^]を算出する。P_MUSIC(ω,τ,r^→ _j)の値が大きい位置r^→ _jほど、音源が存在している可能性が高い。だから、P_MUSIC(ω,τ,r^→ _j)の値が大きな位置をK^+1個抽出すればよい。例えば以下のコストC_MUSICが高い位置r^→ _jをK^+1個抽出すればよい。

c)ビームフォーマ法（詳細は参考文献４参照）
[参考文献４] D. H. Johnson et al., Array Signal Processing, Prentice-Hall, Englewodd Cliffs,NJ, USA, 1993

ビームフォーマ法は、多数のビームフォーマを用意して、空間を走査することにより、音源位置を推定する方式である。

センサー間相関計算部２１０では、空間を走査するためのフィルタw^→(ω,r^→ _j)=[W₁(ω,r^→ _j),…,W_M(ω,r^→ _j)]^Tを走査する位置毎に用意する。フィルタの設計法は様々あるが、ここでは、遅延和法と最小分散法について説明する。

遅延和法では、位置r^→ _jにあるターゲット音を強調するコストで設計されるので以下になる。

最小分散法では、ターゲット音を強調しつつ、雑音のエネルギーを最小化するコストで設計されるので、以下で計算できる。

他にも様々なフィルタ設計法があるが、任意の方式を用いてフィルタを設計して良い。

センサー間相関計算部２１０では、さらに、次式のように、フィルタw^→(ω,r^→ _j)と周波数領域信号X^→(ω,τ)を畳み込むことで、空間スペクトルP_BF(ω,τ,r^→ _j)を算出する。

最後に、センサー間相関計算部２１０では空間スペクトルP_BF(ω,τ,r^→ _j)を用いて音源位置r^→(τ)を算出する。空間スペクトルP_BF(ω,τ,r^→ _j)の値が大きい位置r^→ _jほど、音源が存在している可能性が高い。だから、空間スペクトルP_BF(ω,τ,r^→ _j)の値が大きな位置をK^+1個抽出すればよい。例えば以下のコストC_BFが高い位置r^→ _jをK^+1個抽出すればよい。

センサー間相関計算部２１０は、例えば上述の方法により、ターゲット音とK^個の雑音の方向または位置を周波数領域信号X^→(ω,τ)から予測する。予測した位置において可動制御部２００をεだけ制御したときの制御対象領域を密に分割したK'点と各マイクロホン間の伝達特性A^→(ω,ε)=[a^→ ₁(ω,ε),a^→ ₂(ω,ε),…,a^→ _K'(ω,ε)]は予め伝達特性記憶部１４０に記憶されているので、これらの値を取り出し、次式（より具体的には、式（２０）〜（２４）参照）により伝達特性間の相関が最小となる制御量Zを求め、可動制御部２００に出力する。

＜可動制御部２００＞
可動制御部２００は、制御量Zを受け取り、可動型の反射部１８０またはマイクロホン２１２−ｍ_２（本実施形態ではM₂個のマイクロホン２１２−ｍ_２）を可動させる（ｓ２２）。

受け取った制御量Zと前時刻のZの差分が予め定めた閾値を超えた場合にマイクロホンへの伝達特性が変化したとみなし、マイクロホンへの伝達特性の変化を検知したときにのみ、可動型の反射部１８０またはマイクロホン２１２−ｍ_２（本実施形態ではM₂個のマイクロホン２１２−ｍ_２）を動かしてもよい。

＜フィルタ計算部１５０＞
フィルタ計算部１５０は、伝達特性記憶部１４０から伝達特性A^→(ω,ε)を取り出し、フィルタW^→(ω,ε)を計算しておく。そして、制御量Zを受け取り、制御量Zが変更される毎に、その制御量Zに対応するフィルタW^→(ω,Z)をフィルタリング部１６０に出力する。例えば、特定の位置または方向からの音響信号を抑圧する信号処理に用いるフィルタW^→(ω,ε)を計算しておく。

本発明のビームフォーミング技術の要点は、観測信号の性質（マイクロホン間の相関）に応じて、拡散構造体、または、マイクロホンの向きまたは位置を変更して、広帯域に渡って伝達特性を無相関化させることである。そのため、フィルタの設計コンセプト自体に影響を与えないので、従来技術と同様の方法により、フィルタW^→(ω,ε)を設計することができる。例えば、参考文献５に記載されている<１>SN比最大化規準によるフィルタ設計法、<２>パワーインバージョン(Power Inversion)に基づくフィルタ設計法、<３>一つ以上の死角（雑音のゲインが抑圧される方向）を拘束条件に持つ最小分散無歪応答法によるフィルタ設計法、<４>遅延合成（Delay-and-Sum Beam Forming）法によるフィルタ設計法、<５>最尤法によるフィルタ設計法、<６>AMNOR（Adaptive Microphone-array for noise reduction）法等によって、フィルタW^→(ω,ε)を設計することができる。
[参考文献５]国際公開第ＷＯ２０１２／０８６８３４号パンフレット

例えば、遅延和法をベースとする場合、式(16)により、フィルタW^→ _DS1(ω,ε)を計算する。

また例えば、最尤法をベースとする場合、式(17)により、フィルタW^→ _DS2(ω,ε)を計算する。

また例えば、一つ以上の死角を拘束条件に持つ最小分散無歪応答法によるフィルタ設計法の場合、次式により、フィルタW^→ _DS3(ω,ε)を計算する。

ただし、ｆ_S(ω,ε),f_k(ω,ε)はそれぞれターゲット音、雑音k(k=1,2,…,K)に関する周波数ωでの通過特性を表す。例えば、式(26)において、伝達特性a^→(ω,ε)が方向θに依存する伝達特性a^→(ω,ε,θ)として事前に用意できる場合には、伝達特性a^→(ω,ε,θ)を用いて、フィルタW^→(ω,ε,θ)を計算し、フィルタリング部１６０において、特定の方向θ_sの信号処理が行える。また、伝達特性a^→(ω,ε)が方向θ、距離Dに依存する伝達特性a^→(ω,ε,θ,D)として事前に用意できる場合には、伝達特性a^→(ω,ε,θ,D)を用いて、フィルタW^→(ω,ε,θ,D)を計算し、フィルタリング部１６０において、特定の位置（特定の方向θ_sと距離D_Hにより特定される位置）の信号処理が行える。

＜フィルタリング部１６０＞
フィルタリング部１６０は、制御量Zが変更される毎に、フィルタ計算部１５０からフィルタW^→(ω,Z)を受け取り、フレーム毎に周波数領域信号X^→(ω,τ)を受け取り、フレームτごとに、各周波数ω∈Ωについて、周波数領域信号X^→(ω,τ)=[X₁(ω,τ),…,X_M(ω,τ)]^Tに、フィルタW^→(ω,Z)を適用して（式(5)参照、ｓ４）、出力信号Y(ω,τ)を出力する。

例えば、フィルタリング部はＭ_１個のマイクロホン２１１−ｍ_１による収音信号とＭ_２個のマイクロホン２１２−ｍ_２による収音信号とに基づき、空間上の少なくとも複数の位置または方向から発せられた音響信号の収音特性を異ならせるものであればよい。「収音特性を異ならせる」とは、例えば、特定の位置で発せられた音響信号を局所収音して他の位置で発せられた音響信号を極力収音しないようにしたり、逆に特定の位置で発せられた音響信号を抑圧（消音）して他の位置で発せられた音響信号のみを収音したりすることを意味する。

＜時間領域変換部１７０＞
時間領域変換部１７０は、第τフレームの各周波数ω∈Ωの出力信号Y(ω,τ)を時間領域に変換して（ｓ５）、第τフレームのフレーム単位時間領域信号y(τ)を得て、さらに、得られたフレーム単位時間領域信号y(τ)をフレーム番号のインデックスの順番に連結して時間領域信号y(t)を出力する。周波数領域信号を時間領域信号に変換する方法は、ｓ３の処理で用いた変換方法に対応する逆変換であり、例えば高速離散逆フーリエ変換である。

＜効果＞
このような構成により、所定の指向性能に対する装置規模を従来技術よりも小さくできる。そのとき、ターゲット音と雑音を聞き分けるための手掛かりが観測信号に含まれることになるので、例えば、事前に用意した伝達特性を使ってフィルタを使って適切な信号処理をすることで、広帯域に渡って任意の指向制御が可能になる。なお、本実施形態では、予めフィルタW^→(ω,ε)を計算しているが、収音装置１０の計算処理能力などに応じて、所定の指向性能が定まってからフィルタ計算部１５０が周波数ごとのフィルタW^→(ω,ε)を計算する構成としてもよい。

＜第二実施形態＞
第一実施形態と異なる部分を中心に説明する。

＜第二実施形態のポイント＞
本実施形態では、マイクロホンを伝達特性の相関性を低減するように選択する。
[必須条件]
(1)伝達特性の相関性を評価する部分を持つこと。
(2)評価値に基づいて、伝達特性の相関性を低減するために効果のあるマイクロホンを選択する。ここで、評価値とは、第一実施形態で求めた制御量Zに対応する。

＜第二実施形態に係る収音装置２０＞
(1)収音装置２０は、N個のマイクロホンを有する。ただし、Nは3以上の整数とする。
(2)N個のマイクロホンからM個のマイクロホンを選択する。ただし、N≧M＞1とする。
（パターン1）N個のマイクロホンは、複数の異なる既定の位置に設置されているものとし、制御量Zに基づいて伝達特性の相関性が小さくなる位置に配置されたマイクロホンを選択する。
（パターン2）N個のマイクロホンは、指向性が異なり、同じ位置に設置されているものとし、制御量Zに基づいて伝達特性の相関性が小さくなる指向性のマイクロホンを選択する。
（パターン3）パターン1と2の組み合わせ。つまり、N個のマイクロホンは、複数の異なる既定の位置に設置されているものもあれば、指向性が異なり、同じ位置に設置されているものもある。制御量Zに基づいて伝達特性の相関性が小さくなるマイクロホン（どのような組み合わせであっても、伝達特性の相関性が小さくなるものであればよい）を選択する。

[収音装置２０の信号処理]
第二実施形態に係る収音装置２０の機能構成および処理フローを図１５と図１６に示す。この第二実施形態の収音装置２０は、N個のマイクロホン２１１−ｎ、ＡＤ変換部１２０、周波数領域変換部１３０、フィルタリング部１６０、時間領域変換部１７０、フィルタ計算部１５０、伝達特性記憶部１４０、センサー間相関計算部２１０、選択部２２０を含む。n＝１，２，…，Nであり、N≧3である。

＜伝達特性記憶部１４０＞
伝達特性記憶部１４０は、予め収音装置２０を使って測定された伝達特性A^→ _n'(ω)=[a^→ _n',1(ω),…,a^→ _n',K'(ω)]を記憶しておく。a^→ _n',k(ω)=[a_n',1(ω）,a_n',2(ω）,…,a_n',M(ω）]^Tを（ただし、n'=1,2,…,_NC_M、k=1,2,…,K'）、N個のマイクロホン２１１−ｎからM個のマイクロホンを選択した場合における、制御対象領域を密に分割したK'点に含まれるk点と選択されたM本のマイクロホンとの間の周波数ωでの伝達特性、換言すれば、a^→ _n',k(ω)=[a_n',1(ω）,a_n',2(ω）,…,a_n',M(ω）]^Tは、N個のマイクロホン２１１−ｎからM個のマイクロホンを選択した場合の、選択されたM個のマイクロホンアレーに含まれる各マイクロホンへのk点における周波数ωでの伝達特性とする。ただし、Mは2以上でかつ、N以下の整数である。なお、伝達特性A^→ _n'(ω)は、事前測定によらず、理論式やシミュレーションにより事前に用意してもよい。n'は、上述のように、N個のマイクロホン２１１−ｎからM個のマイクロホンを選択する場合の全ての組み合わせに対応するインデックス（n'=1,2,…,_NC_M）としてもよいし、伝達特性の相関性が小さくなりそうな組み合わせのみに対応するインデックス（n'=1,2,…,N'、N'は適宜設定される伝達特性の相関性が小さくなりそうな組み合わせの総数）としてもよい。

＜センサー間相関計算部２１０＞
センサー間相関計算部２１０は、伝達特性A^→(ω,ε)に代えて、伝達特性A^→ _n'(ω)を用いる。

そのため、制御量Zは、以下のように求める。

伝達特性の相関のパワー平均C_n',1(ω)、通信路容量C_n',2(ω)、条件数C_n',3(ω)、行列式C_n',4(ω)をそれぞれ以下の式(20'),(21'),(23'),(24')で求めることができる。

ただし、Λ_m(ω）は制御量εにおける空間相関行列R(ω）のm番目の固有値であり、空間相関行列R(ω）は次式で近似計算することができる。

センサー間相関計算部２１０は、何れかの尺度で伝達特性の相関を計算する。さらに、周波数毎に算出されたコストC_n',i(ω）（ただし、ｉ＝１，２，３，４の何れか）を平均化する。

最後に、周波数平均化されたコストC^_n',iを基に、制御量Zを求める。

＜選択部２２０＞
選択部２２０は、制御量Zを受け取り、制御量Zに基づいて、N個のマイクロホンからM個のマイクロホンを選択する（ｓ２３）。つまり、制御量Zを与えるn'（N個のマイクロホン２１１−ｎからM個のマイクロホンを選択する場合の組み合わせに対応するインデックス）に対応するM個のマイクロホンを選択する。

選択部２２０は、制御量Zを与えるn'に対応するM個のマイクロホンに対して、収音信号をＡＤ変換部１２０に出力するように制御信号を出力する。他のマイクロホンに対して、収音信号をＡＤ変換部１２０に出力しないように制御信号を出力する。なお、ＡＤ変換部１２０に対して制御量Zを与えるn'に対応するM個のマイクロホンからの収音信号のみを処理するように制御信号を出力してもよい。

＜効果＞
このような構成とすることで、伝達特性の相関を低減する装置構成を見極めることができる。なお、第一実施形態と第二実施形態の構造を組合せて構わない。つまり、マイクロホンを選択する選択部２２０を含むとともに、マイクロホンまたは反射部を動かす可動制御部２００を含む構成であってもよい。Mは必ずしも定数である必要はなく、2以上N以下の整数を取る変数としてもよい。

＜第三実施形態＞
第二実施形態と異なる部分を中心に説明する。

＜第三実施形態のポイント＞
本実施形態では、反射部を伝達特性の相関性を低減するように選択する。
[必須条件]
(1)伝達特性の相関性を評価する部分を持つこと。
(2)評価値に基づいて、伝達特性の相関性を低減するために効果のある反射部を選択する。

＜第三実施形態に係る収音装置３０＞
(1)収音装置３０は、Q個の反射部を有する。ただし、Qは2以上の整数とする。
(2)Q個の反射部からP個の反射部を選択する。ただし、Q≧P≧1とする。
（パターン1）Q個の反射部は、複数の異なる既定の位置に設置されるものとし、制御量Zに基づいて伝達特性の相関性が小さくなる位置に配置される反射部を選択する。
（パターン2）Q個の反射部は、同じ位置に設置され、形状や材質が異なるものとし、制御量Zに基づいて伝達特性の相関性が小さくなる形状や材質の反射部を選択する。反射部は、音を反射可能な素材により作成される。その形状は一つ以上の反射音を生じさせる形状であればいい。例えば、図１のように板状であってもよいし、他の形状であってもよい。例えば、図４の拡散構造体１８１のような形状であってもよい。反射部の形状の例を図１７に示す。正面から見て、矩形、楕円形、角丸長方形、菱形、正八角形、三角形等の形状に形成することができる。また、側面からみて、凹状の面、凸状の面、第形、五角形、六角形、垂直三角形、二等辺三角形となるような形状に形成することができる。
（パターン3）パターン1と2の組み合わせ。つまり、Q個の反射部のうち、複数の異なる既定の位置に設置されるものもあれば、形状や材質が異なる同じ位置に設置されるものの中から選択されたものもある。制御量Zに基づいて伝達特性の相関性が小さくなる反射部（どのような組み合わせであっても、伝達特性の相関が小さくなるものであればよい）を選択する。

なお、選択された反射部は、モータ等からなる可動部により設置されてもよいし、人手により、設置されてもよい。

[収音装置３０の信号処理]
第三実施形態に係る収音装置３０の機能構成及び処理フローを図１８と図１９に示す。この第三実施形態の収音装置３０は、Q個の反射部１８０−ｑ、M個のマイクロホン２１１−ｍ、ＡＤ変換部１２０、周波数領域変換部１３０、フィルタリング部１６０、時間領域変換部１７０、フィルタ計算部１５０、伝達特性記憶部１４０、センサー間相関計算部２１０、選択部２２０、表示部２３０を含む。q=1,2,…,Q、Q≧２であり、m＝１，２，…，M、M≧2である。

＜伝達特性記憶部１４０＞
伝達特性記憶部１４０は、予め収音装置３０を使って測定された伝達特性A^→ _q'(ω)=[a^→ _q',1(ω),…,a^→ _q',K'(ω)]を記憶しておく。a^→ _q',k(ω)=[a_q',1(ω）,a_q',2(ω）,…,a_q',M(ω）]^Tを（ただし、q'=1,2,…,_QC_P、k=1,2,…,K'）、Q個の反射部１８０−qからP個の反射部を選択した場合における、制御対象領域を密に分割したK'点に含まれるk点とM本のマイクロホンとの間の周波数ωでの伝達特性、換言すれば、a^→ _q',k(ω)=[a_q',1(ω）,a_q',2(ω）,…,a_q',M(ω）]^Tは、Q個の反射部１８０−qからP個の反射部を選択した場合の、M個のマイクロホンアレーに含まれる各マイクロホンへのk点における周波数ωでの伝達特性とする。ただし、Pは1以上でかつ、Q以下の整数である。なお、伝達特性A^→ _q'(ω)は、事前測定によらず、理論式やシミュレーションにより事前に用意してもよい。q'は、上述のように、Q個の反射部１８０−qからP個の反射部を選択する場合の全ての組み合わせに対応するインデックス（q'=1,2,…,_QC_P）としてもよいし、伝達特性の相関性が小さくなりそうな組み合わせのみに対応するインデックス（q'=1,2,…,Q'、Q'は適宜設定される伝達特性の相関性が小さくなりそうな組み合わせの総数）としてもよい。

＜センサー間相関計算部２１０＞
センサー間相関計算部２１０は、伝達特性A^→ _n'(ω)に代えて、伝達特性A^→ _q'(ω)を用いて、制御量Zを求める。

＜選択部２２０＞
選択部２２０は、制御量Zを受け取り、制御量Zに基づいて、Q個の反射部１８０−ｑからP個の反射部を選択する（ｓ３３）。つまり、制御量Zを与えるq'（Q個の反射部１８０−ｑからP個の反射部を選択する場合の組み合わせに対応するインデックス）に対応するP個の反射部を選択する。本実施形態では、選択した反射部を表示部２３０に表示し、人手により、P個の反射部が設置されるものとする。ただし、モータ等からなる可動部により設置されてもよい。

＜効果＞
このような構成とすることで、伝達特性の相関を低減する装置構成を見極めることができる。なお、第一実施形態や第二実施形態と第三実施形態の構造を組合せて構わない。つまり、(1)マイクロホンを選択する選択部２２０と、(2)マイクロホンまたは反射部を動かす可動制御部２００との少なくとも何れか一方を含み、選択部２２０が反射部を選択する構成であってもよい。Pは必ずしも定数である必要はなく、1以上Q以下の整数を取る変数としてもよい。

＜第四実施形態＞
第三実施形態と異なる部分を中心に説明する。

＜第四実施形態のポイント＞
複数個のマイクロホンと、音を反射可能な素材により作成された反射部とを含むS個の収音部から、伝達特性の相関が低い収音部を選択する。ただし、Sは2以上の整数。
[必須条件]
(1)伝達特性の相関性を評価する部分を持つこと。
(2)評価値に基づいて、複数の収音部から伝達特性の相関性を低減するために効果のある収音部を選択する。ここで、評価値とは第一実施形態で求めた制御量Zに対応する。

＜第四実施形態に係る収音装置４０＞
(1)第四実施形態に係る収音装置４０は、S個の収音部を有する。ただし、Sは2以上の整数とする。
(2)S個の収音部からR個の収音部を選択する。ただし、S≧R≧1とする。

[収音装置４０の信号処理]
第四実施形態に係る収音装置４０の機能構成及び処理フローを図２０と図２１に示す。この第四実施形態の収音装置２０は、S個の収音部４１０−ｓ、ＡＤ変換部１２０、周波数領域変換部１３０、フィルタリング部１６０、時間領域変換部１７０、フィルタ計算部１５０、伝達特性記憶部１４０、センサー間相関計算部２１０、選択部２２０を含む。s=1,2,…,S、S≧2である。収音部４１０−ｓは、M_s個のマイクロホン２１１−ｓ−ｍ_ｓと、音を反射可能な素材により作成された反射部４９０−ｓとを含む。ｍ_ｓ=1,2,…,M_sである。なお、本実施形態では、反射部を図３の反射構造体１９０のような形状（開口部を有するマイクロホン１１２を包囲するような形状）としているが、図４の拡散構造体１８１や反射部１８０のような形状であってもよく、一つの収音部に対して複数個の反射部を備える構成としてもよい。反射部は、音を反射可能な素材により作成され、その形状は一つ以上の反射音を生じさせる形状であればいい。

＜伝達特性記憶部１４０＞
伝達特性記憶部１４０は、予め収音装置４０を使って測定された伝達特性A^→ _s(ω)=[a^→ _s,1(ω),…,a^→ _s,K'(ω)]を記憶しておく。a^→ _s,k(ω)=[a_s,1(ω）,a_s,2(ω）,…,a_s,Ms(ω）]^Tを（ただし、k=1,2,…,K'、下付添え字Msは、M_sを表す）、収音部４１０−ｓを選択した場合における、制御対象領域を密に分割したK'点に含まれるk点とM_s本のマイクロホンとの間の周波数ωでの伝達特性、換言すれば、a^→ _s,k(ω)=[a_s,1(ω）,a_s,2(ω）,…,a_s,Ms(ω）]^Tは、収音部４１０−ｓを選択した場合における、M_s個のマイクロホンアレーに含まれる各マイクロホンへのk点における周波数ωでの伝達特性とする。なお、伝達特性A^→ _s(ω)は、事前測定によらず、理論式やシミュレーションにより事前に用意してもよい。

＜センサー間相関計算部２１０＞
センサー間相関計算部２１０は、伝達特性A^→ _n'(ω)に代えて、伝達特性A^→ _s(ω)を用いて、制御量Zを求める。

＜選択部２２０＞
選択部２２０は、制御量Zを受け取り、制御量Zに基づいて、S個の収音部４１０−ｓからR個の反射部を選択する（ｓ４３）。つまり、制御量Zを与えるsに対応する収音部４１０−ｓを選択する。

選択部４２０は、制御量Zを与えるsに対応する収音部４１０−ｓに対して、収音信号をＡＤ変換部１２０に出力するように制御信号を出力する。他の収音部４１０−ｓ”（s≠s"）に対して、収音信号をＡＤ変換部１２０に出力しないように制御信号を出力する。なお、ＡＤ変換部１２０に対して制御量Zを与えるsに対応する収音部４１０−ｓからの収音信号のみを処理するように制御信号を出力してもよい。

＜効果＞
このような構成とすることで、伝達特性の相関を低減する構成を見極めることができる。なお、第一実施形態や第二実施形態、第三実施形態と第四実施形態の構造を組合せて構わない。

＜その他の変形例＞
本発明は上記の実施形態及び変形例に限定されるものではない。例えば、上述の各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。その他、本発明の趣旨を逸脱しない範囲で適宜変更が可能である。例えば、第一実施形態では、センサー間相関計算部２１０において、センサー間相関を計算し（ｓ２１）、可動制御部２００の制御量Zを求めているが、予め特定の位置や方向に対して、センサー間相関を計算しておき、さらに、可動制御部２００の制御量Zを求めておき、利用者によって、特定の位置や方向が入力されると、対応する制御量Zを出力する構成としてもよい。

＜プログラム及び記録媒体＞
上述した収音装置は、コンピュータにより機能させることもできる。この場合、コンピュータを目的とする装置（各種実施形態で図に示した機能構成を持つ装置）として機能させるためのプログラム、またはコンピュータにその処理手順（各実施形態で示したもの）の各過程を実行させるためのプログラムを、そのコンピュータに実行させればよい。なお、そのプログラムは、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリ等のコンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータにプログラムを実行させる際には、そのプログラムを記録媒体から読み込んでもよいし、または、そのプログラムを記録したサーバ等から通信回線を介してダウンロードしてもよい。

本発明は、狭指向音声強調技術、音声スポット強調技術に利用することができる。また、AGC(Auto Gain Control)技術やエリア収音及び再生技術に利用することもできる。

Claims (9)

1. 複数のマイクロホンを含む収音装置であって、
   音を反射可能な素材により作成される反射部と、
   前記複数のマイクロホン間の相関性に応じて、前記複数のマイクロホンと音源との間の伝達特性の相関が低減するように、前記反射部の音源に対する向きまたは配置を変更する可動制御部とをさらに含む、
   収音装置。
2. 請求項１に記載の収音装置であって、
   前記可動制御部は、前記可動制御部が可動する範囲内で、前記反射部の音源に対する向きまたは配置を変更することを特徴とする、
   収音装置。
3. 請求項１に記載の収音装置であって、
   前記複数のマイクロホン間の相関を最小とする制御量Zを算出する制御量計算部をさらに含み、
   前記可動制御部は、前記制御量Zに応じて、前記反射部の音源に対する向きまたは配置を変更することを特徴とする、
   収音装置。
4. 請求項３に記載の収音装置であって、
   前記制御量計算部は、前記複数のマイクロホンが観測する観測信号間の相関を取得し、得られた観測信号間の相関に基づき前記制御量Zを算出することを特徴とする、
   収音装置。
5. 請求項１に記載の収音装置であって、
   前記複数のマイクロホンが観測する観測信号間の相関を取得し、得られた観測信号間の相関に基づき制御量Zを算出する相関計算部をさらに含み、
   前記可動制御部は、前記制御量Zに応じて、前記反射部の音源に対する向きまたは配置を変更することを特徴とする、
   収音装置。
6. 請求項４に記載の収音装置であって、
   前記制御量計算部は、ωを周波数のインデックスとし、εを制御量とし、K'を制御対象領域の分割数とし、a ^→ ₁ (ω,ε),a ^→ ₂ (ω,ε),…,a ^→ _K' (ω,ε)を制御量εにおける各マイクロホン間の伝達特性とし、 ^H を共役転置とし、次式により前記制御量Zを算出することを特徴とする、
   

   

   
   収音装置。
7. 請求項１から６のいずれかに記載の収音装置であって、
   前記伝達特性の相関は、ある音源から第一のマイクロホンと第二のマイクロホンまでの伝達特性と上記ある音源とは異なる他の音源から上記第一のマイクロホンと上記第二のマイクロホンまでの伝達特性との相関であることを特徴とする、
   収音装置。
8. 請求項１から７のいずれかに記載の収音装置であって、
   前記可動制御部は、前記マイクロホンへの伝達特性の変化を検知したときに、
   前記反射部の向きまたは配置を変更することを特徴とする、
   収音装置。
9. 請求項１から８のいずれかに記載の収音装置であって、
   前記複数のマイクロホンによる収音信号に基づき、空間上の少なくとも複数の位置から発せられた音響信号の収音特性を異ならせるフィルタリング部をさらに含む、
   収音装置。

Images