JP6789690B2 - 信号処理装置、信号処理方法、及びプログラム - Google Patents

Description

本発明は、音響信号処理技術に関する。

複数のマイクロホン素子（マイクロホンアレイ）を用いて、フィルタリングにより目的音源の方向に指向性を形成し、収音した複数チャネルの音響信号から目的音源の音を分離する技術が知られている。指向性のビーム幅を狭くすることは難しいため、目的音源だけを高精度に分離することは難しい。

特許文献１では、２本の指向性マイクロホンそれぞれの指向性の重複領域を形成し、各指向性で取得した２つの方向音の共通成分を抽出することで、単一の指向性のビーム幅よりも狭い重複領域の音を取得している。

特開２００１−２０４０９２号公報

しかし、とりわけ目的音源と非目的音源の方向が近接しているような場合には、従来技術では依然として音源分離性能は十分ではなく、指向性制御の改良が望まれている。

本発明は、音源分離性能の点で有利な技術を提供することを目的とする。

本発明の一側面によれば、複数の収音部により取得された音響信号から複数の周波数帯域の成分を抽出する抽出手段と、目標方向に対応する方向音信号を生成するための少なくとも１つの指向性ビームを形成する処理を前記複数の周波数帯域それぞれについて行う処理手段であって、ビームの中心方向がそれぞれ異なる第１の指向性ビームと第２の指向性ビームとが第１の周波数帯域において形成され、ビームの中心方向がそれぞれ異なる第３の指向性ビームと第４の指向性ビームとが前記第１の周波数帯域より高い第２の周波数帯域において形成され、かつ、前記第１の指向性ビームと前記第２の指向性ビームとが重なる第１の重複範囲に前記目標方向が含まれ、前記第３の指向性ビームと前記第４の指向性ビームとが重なる第２の重複範囲に前記目標方向が含まれるように、前記処理を行う処理手段と、前記抽出手段により抽出された前記複数の周波数帯域の成分を、前記処理手段の処理により前記複数の周波数帯域それぞれについて形成された指向性ビームに基づいて処理することで、前記目標方向に対応する前記方向音信号を生成する生成手段とを有し、前記第１の指向性ビームの中心方向と前記第２の指向性ビームの中心方向との差が、前記第３の指向性ビームの中心方向と前記第４の指向性ビームの中心方向の差よりも大きい、ことを特徴とする信号処理装置が提供される。

本発明によれば、音源分離性能の点で有利な技術が提供される。

実施形態における信号処理システムの構成を示すブロック図。 実施形態における信号解析処理のフローチャート。 実施形態における指向方向制御の例を説明する図。 実施形態における指向方向制御の例を説明する図。 実施形態における指向方向制御の効果を説明する図。 実施形態における指向方向制御の他の例を説明する図。 実施形態における指向方向制御の他の例を説明する図。 実施形態における重複領域の他の例を説明する図。 実施形態における指向方向制御の他の例を説明する図。 実施形態における信号処理システムの機能ブロック図。

以下、図面を参照して本発明の実施形態について詳細に説明する。なお、本発明は以下の実施形態に限定されるものではなく、以下の実施形態は本発明の実施の具体例を示すにすぎない。また、以下の実施形態の中で説明されている特徴の組み合わせの全てが本発明の課題解決のために必須のものであるとは限らない。

図１は、本実施形態に係る信号処理システム１の概略システム構成を示すブロック図である。信号処理システム１は、信号処理装置１００と、複数の収音部１１１とを備える。複数の収音部１１１は、例えば、複数のマイクロホン素子が等方的に配置された円状等間隔マイクロホンアレイである。複数の収音部１１１により収音された複数チャネルの音響信号は、インタフェースであるＩ／Ｆ１１２を介して信号処理装置１００に伝送される。信号処理装置１００は、各種データを記憶しておく記憶部１０１、信号の解析処理を行う信号解析処理部１０２とを含む。記憶部１０１は、複数の収音部１１１により収音された音響信号を保持している。

図１０に、信号処理システム１の機能構成を示す。Ｉ／Ｆ１１２は例えば、複数の収音部１１１からの各チャネル信号をアナログ信号からデジタル信号に変換するＡ／Ｄコンバータ１１３を含む。したがって信号処理装置１００へは各チャネルの音響信号がデジタルの形式で入力される。あるいは、Ａ／Ｄコンバータ１１３からの各チャネルの音響信号は、記憶部１０１に記憶されてもよい。信号解析処理部１０２において、ＦＦＴ部１２１は、各チャネルの音響信号に対して例えばＦＦＴによりフーリエ変換を行い、複数の周波数帯域（サブバンド）に分割する。本発明は特定の分割数に限定されるものではないが、例えば、低周波数域、中周波数域、高周波数域の３つの帯域に分割することができる。サブバンド信号はそれぞれ指向性形成フィルタ１２２に入力されてそのスペクトルが操作される。指向性形成フィルタ１２２におけるフィルタ係数は処理部１２３より供給される。そして、指向性形成フィルタ１２２それぞれの出力は、加算部１２４にて総和がとられ、ＩＦＦＴ部１２５で例えばＩＦＦＴにより逆フーリエ変換が施されて、時間領域の音響信号が出力される。

本実施形態における信号処理システム１の構成は概ね以上のとおりである。以下、本実施形態における信号解析処理について、図２のフローチャートに沿って説明する。なお、図２のフローチャートの処理は、特に別記しない限り信号解析処理部１０２で行われる。また、図２のフローチャートは、所定の時間長を有する時間ブロックごとの処理を表すものとする。

Ｓ２０１では、まず、Ａ／Ｄコンバータ１１３から渡され、あるいは、記憶部１０１から読み出された、M個のマイクロホン素子（Mチャネルマイクロホンアレイ）で収音したMチャネル音響信号を取得する。取得したMチャネル音響信号は、チャネルごとにＦＦＴ部１２１に入力される。ＦＦＴ部１２１は、ＦＦＴを行うとともに所定数のサブバンド化処理（帯域分割処理）を行うことで、周波数領域のデータ（フーリエ係数）であるz(f)を得る。ここで、fはサブバンドのインデックス、z(f)はM個の要素を持つベクトルを表す。

Ｓ２０２では、後のステップで音響信号に含まれる音源の方向を検出するために、処理部１２３は、音源方向に感度のピークを形成する空間スペクトルP(f,θ)を算出する。算出には、音響信号の空間的性質を表す統計量である式（１）の空間相関行列R(f)と、各方向（方位角θ）の音源と各マイクロホン素子間の伝達関数であるアレイ・マニフォールド・ベクトル（ＡＭＶ）を用いる。

ここで、Eは期待値を、上付きのHは複素共役転置を表す。

例えば、最小分散法に基づく空間スペクトルP_MV(f,θ)は、式（２）で得られる。

ここで、a(f,θ)はＡＭＶである。a(f,θ)は周波数領域のデータ（フーリエ係数）であり、M個の要素を持つベクトルである。

また、空間相関行列R(f)のM個の固有ベクトルのうち、雑音部分空間に対応するものを並べた行列をE_nとし、信号部分空間に属するＡＭＶ a(f,θ)との直交性を考えれば、ＭＵＳＩＣ法の空間スペクトルP_MU(f,θ)が式（３）で得られる。

a(f,θ)のθを例えば−１８０°から１８０°まで１°刻みで変えながら、P(f,θ)=P_MV(f,θ)［式（２）］やP(f,θ)=P_MU(f,θ)［式（３）］のように計算することで、水平全方位の空間スペクトルが得られる。なお、音響信号の録音に用いたマイクロホンアレイの構造によっては、自由空間や剛球等の理論式により、任意の解像度でＡＭＶ a(f,θ)を算出できる。

なお、ＡＭＶは記憶部１０１があらかじめ保持しているものを取得して用いればよい。また、マイクロホンアレイの構成が異なるとＡＭＶも異なるため、収音に用いたマイクロホンアレイの種別ＩＤを音響信号の付加情報として収音時に記録しておき、そのマイクロホンアレイに対応するＡＭＶを用いるようにしてもよい。

Ｓ２０３では、処理部１２３は、Ｓ２０２で算出した空間スペクトルP(f,θ)に基づいて目的音源の方向を決定し、その方向を指向性の目標方向θ_s（指向方向）として決定する。また、非目的音源を含まず目的音源のみが含まれるような、目標方向θ_sを中心とする指向性ビームの広がりを表す角度幅を決定し、その幅を指向性の目標幅α_sとして決定する。

まず、P(f,θ)を周波数に亘って平均化した平均空間スペクトルP(θ)を求める。ここで、平均化に用いる周波数は全周波数でもよいし、音響信号で卓越している帯域の周波数などとしてもよい。そして、時間ブロックのインデックスtを用いて現時間ブロックの平均空間スペクトルをP(θ,t)と表すと、nブロック前の時間ブロックにおける平均空間スペクトルはP(θ,t-n)と表される。

このような複数（n個）の時間ブロックにおける平均空間スペクトルP(θ,t-n)〜P(θ,t)から、それぞれ大きなピークとなる方向を検出することで、主要な音源の方向を一通り検出することができる。そこで、その中から目的音源とするものを決定し、その方向を指向性の目標方向θ_sとして決定する。なお、音響信号の全時間ブロックの平均空間スペクトルから、目的音源の方向を決定してもよい。決定法としては、正面に最も近いピークの方向または最大ピークの方向などとすればよい。

目標幅α_sの決定法としては、例えば目標方向から最も近い非目的音源の方向までの角度幅とすればよい。また、目標方向から最も近い非目的音源の方向までの間で、n個の時間ブロックにおける平均空間スペクトルの最大値が最小となった方向を検出し、その方向から目標方向までの角度幅の倍などとしてもよい。

図３（ａ）は、目標方向θ_sが正面の場合の例を示しており、音源３０１が目的音源、音源３０２及び３０３が非目的音源を表している。ここで、目標方向θ_sを中心として目標幅α_sを定めているのは、後のステップにおける複数の指向性ビームの重複領域も、目標方向θ_sを中心に形成することを想定しているためである。

なお、記憶部１０１が、音響信号に加えて、不図示の撮影部で撮影された映像信号を保持している場合は、映像信号に基づいて目標方向および目標幅を決定してもよい。すなわち、映像信号に対して映像認識を行うことで音源になり得るオブジェクトを検出する。例えば、公知の機械学習や顔認識を適用することで、乗り物、動物、楽器、人といった音を発し得るオブジェクトを検出する。また、動きベクトルの反転から物体の衝突などを検出してもよい。映像認識により認識されたオブジェクトの中から目的音源を決定し、そのオブジェクト検出枠の中心を、指向性の目標方向θ_sとして決定することができる。目的音源の決定法としては、映像認識における検出枠（水平画素数）が最も大きいオブジェクト、または映像信号の中心に最も近いオブジェクトなどとすればよい。また、目標幅α_sの決定法としては、目的音源のオブジェクト検出枠に対応する角度幅などとすればよい。さらに、不図示のＧＵＩを介して、目標方向θ_sの選択や目標幅α_sの調整をユーザが行えるようにしてもよい。

Ｓ２０４〜Ｓ２１２はサブバンドごとに繰り返される処理である（周波数ループ）。Ｓ２０４では、処理部１２３は、指向性形成における指向方向を目標方向θ_sに初期化する。Ｓ２０５では、処理部１２３は、目標方向θ_sに指向性のメインローブを形成するためのフィルタ係数を取得する。ここでは、記憶部１０１があらかじめ保持している指向性形成フィルタのフィルタ係数から、目標方向θ_sに対応するw_s(f)を取得する。ここで、フィルタ係数（ベクトル）w_s(f)は周波数領域のデータ（フーリエ係数）であり、M個の要素で構成される。なお、マイクロホンアレイの構成が異なるとフィルタ係数も異なるため、録音に用いたマイクロホンアレイの種別ＩＤを音響信号の付加情報として録音時に記録しておき、そのマイクロホンアレイに対応するフィルタ係数を用いるようにしてもよい。

指向性形成フィルタのフィルタ係数の算出には、ＡＭＶが一般に用いられる。目標方向θ_sに指向性のメインローブを形成する方法として、例えば遅延和法であれば、θ_s方向のＡＭＶをa_s(f)として、w_s(f)=a_s(f)／(a_s ^H(f)a_s(f))のようにフィルタ係数が得られる。

Ｓ２０６では、処理部１２３は、Ｓ２０５で取得した指向性形成のフィルタ係数w_s(f)と、ＡＭＶであるa(f,θ)を用いて指向性のビームパターンを算出し、算出したビームパターンから単一の指向性ビームのビーム幅α_dを算出する。ビームパターンの方位角θ方向の値b(f,θ)は、式（４）により得られる。

a(f,θ)のθを、例えば−１８０°から１８０°まで１°刻みで変えながらb(f,θ)を計算することで、水平全方位のビームパターンが得られる。

本実施形態では、式（４）で算出したビームパターンについて、指向方向から減衰量が所定値（例えば３ｄＢ）となる方向までの角度幅の倍を指向性ビームのビーム幅α_d(f)と定義する。このビーム幅の範囲外の音は抑制される。ここで、ビーム幅α_d(f)は周波数に依存し、一般に低域ほど広くなる傾向がある。また、指向方向からの減衰量が所定値となる方向を指向性のビーム幅方向と呼ぶことにすると、図３においては指向性を模式的に表す二等辺三角形の２つの等辺がビーム幅方向に対応する。

Ｓ２０７では、処理部１２３は、Ｓ２０６で算出したビーム幅α_d(f)がＳ２０３で決定した目標幅α_s以下（α_d(f)≦α_s）であるかを判定する。Ｓ２０６で算出したビーム幅がＳ２０３で決定した目標幅以下である場合は処理はＳ２０８へ、そうでない場合は処理はＳ２０９へ進む。周波数ループにおいて高い周波数帯域から考えると、指向性のビーム幅が狭い高周波数域では、図３（ａ）のようにビーム幅α_d(f)は目標幅α_s以下となるため、このような場合はＳ２０８へ進む。

Ｓ２０８では、Ｓ２０１で取得したMチャネル音響信号のフーリエ係数z(f)に、Ｓ２０５で取得した指向性形成フィルタのフィルタ係数w_s(f)を適用することで、目標方向θ_sの方向音Y_s(f)を式（５）のように生成する。ここで、Y_s(f)は周波数領域のデータ（フーリエ係数）である。

指向性のビーム幅α_d(f)が目標幅α_s以下であれば、目標方向θ_sの指向性で取得した方向音Y_s(f)をそのまま分離音X(f)として用いれば、非目的音源の音を抑制して目的音源の音を分離できる。ここで、X(f)は周波数領域のデータ（フーリエ係数）である。

次の周波数ループでは例えば、指向性のビーム幅が中程度となる中周波数域が処理される。この場合、図３（ｂ）のようにビーム幅α_d(f)が目標幅α_sより広くなり、目標方向θ_sの指向性で方向音を取得しても非目的音源３０２〜３０３の音が混入してしまう。このような場合、処理はＳ２０９へ進む。Ｓ２０９〜Ｓ２１２では、複数の指向性ビームの重複領域の中心方向が目標方向を向き、かつ、該重複領域の重複幅が目標幅以下となるように、複数の指向性ビームを形成する処理を行う。重複領域の中心方向とは、例えば、複数の収音部１１１が構成するマイクロホンアレイの原点からみた中心方向をいう。例えば、複数の収音部１１１が円状あるいは球形に等間隔で配置されたマイクロホンアレイを構成している場合、当該円又は球の中心がマイクロホンアレイの原点となりうる。また、複数の収音部１１１が直線状に等間隔に配置されたマイクロホンアレイを構成している場合には、当該直線の中点がマイクロホンアレイの原点となりうる。本実施形態では、複数（例えば、指向数D=2）の指向性ビームの重複領域を形成し、この重複領域の音を抽出することで、単一の指向性では分離できない目的音源の音を取得する。Ｓ２０９では、図４（ａ）のように複数の指向性ビームの重複領域３０４を形成する場合に、重複領域の重複幅α_pが目標幅α_s以下となるような複数の指向方向θ_d(f)［d=1〜D］を決定する。ここで、図４（ａ）のように複数の指向性ビームのビーム幅の方向に囲まれた領域を重複領域としている。

図４（ａ）より、式（６）のように複数の指向方向θ_d(f)［d=1〜D］を決定することで、重複幅α_pを目標幅α_sとすることができる。

ここで、正面に対して左方向を方位角の正方向としている。

Ｓ２１０では、Ｓ２０５と同様に、処理部１２３は、Ｓ２０９で決定した複数の指向方向θ_d(f)［d=1〜D］に指向性のメインローブを形成するための、複数のフィルタ係数を取得する。ここでは、記憶部１０１があらかじめ保持している指向性形成フィルタのフィルタ係数から、複数の指向方向θ_d(f)［d=1〜D］に対応する複数のw_d(f)［d=1〜D］を取得する。

Ｓ２１１では、Ｓ２０８と同様に、Ｓ２０１で取得したMチャネル音響信号のフーリエ係数z(f)に、Ｓ２１０で取得した複数の指向性形成フィルタのフィルタ係数w_d(f)［d=1〜D］を適用する。これにより、複数の指向方向θ_d(f)［d=1〜D］に対応する複数の方向音Y_d(f)［d=1〜D］を式（７）のように生成する。ここで、Y_d(f)［d=1〜D］は周波数領域のデータ（フーリエ係数）である。

Ｓ２１２では、Ｓ２１１で生成した複数の方向音Y_d(f)［d=1〜D］から、それらの共通成分を例えば式（８）のように抽出して分離音X(f)とする。これは、図４（ａ）のようにビーム幅α_d(f)より狭い重複幅α_p（＝目標幅α_s）の重複領域３０４の音を抽出することに対応し、非目的音源３０２〜３０３の音を抑制して目的音源３０１の音を分離している。

ここで、絶対値記号とargはそれぞれフーリエ係数の振幅と位相を表しており、min関数により全方向音の振幅|Y_d(f)|［d=1〜D］の最小値を取得している。なお、共通成分の抽出において、振幅は全方向音の最小値に限らず、平均値や中央値を用いてもよい。また、位相については一番目の方向音Y₁(f)のものを用いているが、他の方向音Y_d(f)［d=2〜D］を用いたり、目標方向θ_sの方向音Y_s(f)を用いたりしてもよい。また、複数の方向音Y_d(f)［d=1〜D］のクロススペクトルを用いて共通成分を抽出してもよい。

次の周波数ループでは、低周波数域が処理される。低周波数域では、指向性のビーム幅が中周波数域よりさらに広くなる。ここで、低周波数域における複数の指向方向が図４（ａ）の中周波数域のときと同じにした場合を考える。この場合、図４（ｂ）のように、低周波数域では重複領域３０５の重複幅α_pが目標幅α_sより広くなってしまい、重複領域の音を抽出しても非目的音源３０２〜３０３の音が混入してしまう。

そこで本実施形態では、式（６）のように、ビーム幅α_d(f)の周波数依存性を考慮する。具体的には、各サブバンドで重複領域の重複幅α_pが略一定（＝目標幅α_s）となるよう、複数の指向方向θ_d(f)［d=1〜D］をサブバンドごとに決定する。これにより、低周波数域では図４（ｃ）のように複数の指向方向θ_d(f)［d=1〜D］のなす角を大きくし、目標幅α_sと同じ重複幅α_pの重複領域３０６の音を抽出する。これにより、各サブバンドで非目的音源３０２〜３０３の音が抑制されて目的音源３０１の音が分離される。

Ｓ２１３では、各周波数ループで得られた分離音が加算部１２４で加算され、ＩＦＦＴ部１２５で逆フーリエ変換（例えばＩＦＦＴ）が施されて時間領域の音響信号（分離音）が出力される。出力されたこの音響信号は例えば、窓掛けされて前時間ブロックまでの分離音とオーバーラップ加算され、その結果得られた分離音が記憶部１０１に逐次記録される。以上のようにして得られた分離音は、不図示のデータ入出力部を介して外部に出力されたり、イヤホン、ヘッドホン、スピーカといった不図示の再生部によって再生されうる。

以上の処理によれば、複数の指向性ビームの重複領域の中心方向が目標方向を向き、かつ、該重複領域の重複幅が目標幅以下となるように、前記複数の指向性ビームを形成する処理が、分割された周波数帯域ごとに行われる。これにより、複数の指向性ビームの重複領域が各サブバンドで略一定となるよう指向方向が制御され、目的音源の音を分離することができる。

また、Ｓ２０７の分岐処理により、指向性のビーム幅が目標幅以下である周波数では、単一の指向性で取得した方向音がそのまま分離音として用いられる（Ｓ２０８）。これにより、複数の指向性ビームの重複領域を用いた共通成分の抽出処理は必要最小限とされ、音質低下が抑制される。

図５は、この考え方を模式的に示す図である。図５において、縦軸の分離幅とは音源を分離できる角度幅を表し、単一の指向性ビームによるビーム幅、もしくは複数の指向性ビームの重複領域の重複幅である。破線５０１は単一の指向性ビームによるビーム幅を模式的に示している。一般にビーム幅は音響信号の周波数が高いほど狭く、周波数が低いほど広くなるため、高周波数域から考えてビーム幅が目標幅以下の周波数まで（f≧f_c）は、単一の指向性により方向音を取得する。そして、それより下の周波数（f＜f_c）では、複数の指向性ビームの重複幅が目標幅となるような重複領域を形成する。ビーム幅に対応する太い破線５０２および、重複幅に対応する太い実線５０３は、このような周波数ごとの制御を模式的に示している。

なお、上記実施形態において記憶部１０１があらかじめ保持しているとした各種データは、不図示のデータ入出力部を介して外部から入力するようにしてもよい。

（他の実施形態）
任意の指向方向に対応する指向性形成フィルタのフィルタ係数を記憶部１０１が保持しているとは限らないため、選択可能な指向方向の中から、重複領域の重複幅が目標幅に最も近くなる（もしくは目標幅以下となる）ものを選択するようにしてもよい。

複数の収音部１１１は、複数の指向性マイクロホンを並べた指向性マイクロホンアレイで構成されていてもよい。その場合、信号処理装置１００は、各指向性マイクロホンが収音した音響信号をそのまま各指向方向（軸方向）に対応する方向音とすることができる。例えば図６のように、指向性の中心軸が異なる方向を向くような角度で配置された一対の指向性マイクロホンを複数含み、該複数の一対の指向性マイクロホンにおいて、指向性の中心軸どうしのなす角度を互いに異ならせる。図６の例においては、６本の指向性マイクロホン６０１〜６０６によって３組の一対の指向性マイクロホンが実現される。図６のグラフの実線６１１，６１２，６１３はそれぞれ、３組の指向性マイクロホン６０１〜６０２，６０３〜６０４，６０５〜６０６の指向性で形成される重複領域の重複幅を模式的に示したものである。

ここで、各サブバンドで重複領域をなるべく一定にする考え方を適用すれば、重複領域の重複幅が目標幅に近くなるように、サブバンドごとに指向性マイクロホンの組（指向方向の組に対応）を選択するようにすればよい。すなわち、高周波数域（f≧f_H）では、軸方向のなす角が小さい指向性マイクロホン６０１〜６０２の組の音響信号を用いて、その共通成分を抽出する。また、中周波数域（f_L≦f＜f_H）では、軸方向のなす角が中程度の指向性マイクロホン６０３〜６０４の組の音響信号を用いて、その共通成分を抽出する。さらに、低周波数域（f＜f_L）では、軸方向のなす角が大きい指向性マイクロホン６０５〜６０６の音響信号を用いて、その共通成分を抽出する。３組の指向性マイクロホン６０１〜６０２，６０３〜６０４，６０５〜６０６のそれぞれに塗り潰し色を対応させた太線６２１，６２２，６２３は、このような周波数ごとの制御を模式的に示している。

なお、指向性のビーム幅が目標幅以下であるサブバンドで単一の指向性で取得した方向音をそのまま分離音として用いる考え方は、指向性マイクロホンアレイの場合にも適用することができる。例えば図７のように、１本の指向性マイクロホン７０１と、組となる２本の指向性マイクロホン７０２及び７０３をそれぞれの軸方向が角度をなすように配置した、３本の指向性マイクロホン７０１〜７０３による指向性マイクロホンアレイを考える。図７において、破線７１１は指向性マイクロホン７０１の指向性によるビーム幅を、実線７１２は組となる指向性マイクロホン７０２〜７０３の指向性による重複領域の重複幅を模式的に示したものである。

ここで、図５と同様に、高周波数域から考えてビーム幅が目標幅以下の周波数まで（f≧f_c）は、単一の指向性マイクロホン７０１の音響信号により方向音を取得する。そして、それより下の周波数（f＜f_c）では、重複領域の重複幅が目標幅以下となるような指向性マイクロホン７０２〜７０３の組の音響信号を用いて、その共通成分を抽出する。ビーム幅に対応する太い破線７２１および、重複幅に対応する白抜き線７２２は、このような周波数ごとの制御を模式的に示している。

なお、上記実施形態においては簡易的に、指向性のビームパターンについて指向方向からの減衰量が所定値となるビーム幅方向を考え、複数の指向性ビームのビーム幅方向から定まる重複幅を重複領域の大きさの目安とした。しかし、指向性のビームパターンは、より現実的には図８の指向性８０１，８０２のような形状となるため、重複領域としてより厳密に、塗り潰し部分８０３の大きさを直接的に算出するようにしてもよい。

なお、複数の指向性ビームの重複領域を各サブバンドで略一定にする考え方は、指向数D=3以上の場合へも拡張することができる。例えば図９（ａ）に示すように、３つの指向性ビーム９０１，９０２，９０３を利用して、目的音源の音を分離することができる。指向性ビーム９０１，９０２，９０３はそれぞれ円錐状に形成されたビームである。対象平面による円錐断面の中の点９１１，９１２，９１３はそれぞれ、指向性ビーム９０１，９０２，９０３のビーム方向の対象平面との交点を表している。上述の実施形態と同様に、これら３つの指向性ビーム９０１，９０２，９０３の重複領域９０４を利用して、目的音源の音を分離することができる。図９（ａ）より低い周波数においては、図９（ｂ）の指向性ビーム９２１，９２２，９２３のようにビーム幅が大きくなる。それぞれのビーム幅が大きくなれば重複領域が拡大する。そこで、上記実施形態と同様に、低周波数域では、交点９１１，９１２，９１３が交点９３１，９３２，９３３へと移動するように指向性ビーム９２１，９２２，９２３のビーム方向のなす角度を大きくする。これにより、重複領域９２４が図９（ａ）の重複領域９０４と同等になるようにする。

（他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１：信号処理システム、１００：信号処理装置、１０１：記憶部、１０２：信号解析処理部、１１１：収音部

Claims (11)

1. 複数の収音部により取得された音響信号から複数の周波数帯域の成分を抽出する抽出手段と、
   目標方向に対応する方向音信号を生成するための少なくとも１つの指向性ビームを形成する処理を前記複数の周波数帯域それぞれについて行う処理手段であって、ビームの中心方向がそれぞれ異なる第１の指向性ビームと第２の指向性ビームとが第１の周波数帯域において形成され、ビームの中心方向がそれぞれ異なる第３の指向性ビームと第４の指向性ビームとが前記第１の周波数帯域より高い第２の周波数帯域において形成され、かつ、前記第１の指向性ビームと前記第２の指向性ビームとが重なる第１の重複範囲に前記目標方向が含まれ、前記第３の指向性ビームと前記第４の指向性ビームとが重なる第２の重複範囲に前記目標方向が含まれるように、前記処理を行う処理手段と、
   前記抽出手段により抽出された前記複数の周波数帯域の成分を、前記処理手段の処理により前記複数の周波数帯域それぞれについて形成された指向性ビームに基づいて処理することで、前記目標方向に対応する前記方向音信号を生成する生成手段と、を有し、
   前記第１の指向性ビームの中心方向と前記第２の指向性ビームの中心方向との差が、前記第３の指向性ビームの中心方向と前記第４の指向性ビームの中心方向の差よりも大きい、ことを特徴とする信号処理装置。
2. 前記処理手段は、前記第１の重複範囲の中心方向が前記目標方向を向き、かつ、前記第１の重複範囲の幅が目標幅以下となるように、前記第１の指向性ビームおよび前記第２の指向性ビームを形成することを特徴とする請求項１に記載の信号処理装置。
3. 記憶部に記憶されている所定のパラメータに基づき形成された所定の周波数帯域の指向性ビームの幅に基づいて、前記所定の周波数帯域に対して１つの指向性ビームを生成するか前記所定の周波数帯域に対して複数の指向性ビームを生成するかを決定する決定手段を更に有し、
   前記決定手段は、前記指向性ビームの前記幅が目標幅より大きい場合、前記所定の周波数帯域に前記複数の指向性ビームを生成することを決定し、
   前記処理手段は、前記決定手段による決定の結果に応じて、前記複数の周波数帯域それぞれに対して前記少なくとも１つの指向性ビームを形成する
   ことを特徴とする請求項１または２に記載の信号処理装置。
4. 前記処理手段は、
   前記指向性ビームの前記幅が前記目標幅以下である場合、１つの指向性ビームを形成する指向性形成フィルタを適用することで前記目標方向に対応する前記方向音信号を生成し、
   前記指向性ビームの前記幅が前記目標幅より大きい場合、前記複数の指向性ビームを形成する複数の指向性形成フィルタを適用することで複数の音信号を取得し、該取得された複数の音信号の共通成分を抽出することで前記目標方向に対応する前記方向音信号を生成する
   ことを特徴とする請求項３に記載の信号処理装置。
5. 前記指向性ビームのビームパターンにおける減衰量が所定値となる方向に基づいて、指向性ビームの幅が決まることを特徴とする請求項１乃至４のいずれか１項に記載の信号処理装置。
6. 前記複数の収音部は、指向性の中心軸が異なる方向を向くような角度で配置された一対の指向性マイクロホンを複数含み、該複数の一対の指向性マイクロホンにおいて前記角度は互いに異なることを特徴とする請求項１乃至５のいずれか１項に記載の信号処理装置。
7. 前記複数の収音部は、単一の指向性マイクロホンと、該単一の指向性マイクロホンを挟んで、指向性の中心軸が異なる方向を向くような角度で配置された一対の指向性マイクロホンとを含むことを特徴とする請求項１乃至５のいずれか１項に記載の信号処理装置。
8. 前記音響信号に基づいて前記目標方向及び前記目標幅を決定する手段を有することを特徴とする請求項２に記載の信号処理装置。
9. 前記処理手段は、それぞれ異なる指向性を有する前記第１の指向性ビームと前記第２の指向性ビームと第５の指向性ビームとが前記複数の周波数帯域における周波数帯域において形成され、かつ、前記第１の指向性ビームと前記第２の指向性ビームと前記第５の指向性ビームとが重なる重複領域に前記目標方向が含まれるように、前記処理を行う、ことを特徴とする請求項１乃至７のいずれか１項に記載の信号処理装置。
10. 第１の指向性マイクロホンによって取得された音響信号から第１の周波数帯域の成分を抽出する第１抽出工程と、
    互いに異なる方向を向いた第２の指向性マイクロホンと第３の指向性マイクロホンとによって取得された音響信号から前記第１の周波数帯域よりも低い第２の周波数帯域の成分を抽出する第２抽出工程と、
    前記第１抽出工程で抽出された前記第１の周波数帯域の前記成分と前記第２抽出工程で抽出された前記第２の周波数帯域の前記成分とに基づいて、目標方向に対応する方向音信号を生成する生成工程と、を有し、
    前記目標方向は、前記第１の指向性マイクロホンが向く方向であって、前記第２の指向性マイクロホンが向く方向と前記第３の指向性マイクロホンが向く方向との間の中間方向である
    ことを特徴とする信号処理方法。
11. コンピュータを請求項１乃至９のいずれか１項に記載の信号処理装置が有する各手段として機能させるためのプログラム。

Images