JPWO2016167141A1 - 信号処理装置、信号処理方法、およびプログラム - Google Patents

Abstract

本開示は、ビームフォーミング処理において雑音の空間的性質を学習する際に、目的音が含まれる時間区間の観測信号を用いつつ、目的音の影響を抑える方法を提供することができるようにする信号処理装置、信号処理方法、およびプログラムに関する。共分散行列演算部は、目的音が含まれる時間区間の観測信号から、最小分散ビームフォーマで用いる共分散行列を算出する。ステアリングベクトル生成部は、目的音のステアリングベクトルまたは雑音のステアリングベクトルの少なくとも一方を算出する。射影行列生成部は、算出された目的音のステアリングベクトルまたは雑音のステアリングベクトルの少なくとも一方を用いて、共分散行列を加工する射影行列を算出する。フィルタ生成部は、射影行列により共分散行列を加工して得られた加工共分散行列を用いて、最小分散ビームフォーマのフィルタを算出する。本開示は、例えば、信号処理装置等に適用できる。

Description

本開示は、信号処理装置、信号処理方法、およびプログラムに関し、特に、ビームフォーミング処理において雑音の空間的性質を学習する際に、目的音が含まれる時間区間の観測信号を用いつつ、目的音の影響を抑える方法を提供することができるようにする信号処理装置、信号処理方法、およびプログラムに関する。

マイクロホンアレイの多チャンネル入力音声信号を用いて雑音を抑圧することで、ある方向から到来する目的音を強調するビームフォーミングと呼ばれる技術がある。ビームフォーミングには様々な目的・方針で設計・開発された手法が存在するが、使用環境における雑音の空間的性質を学習し適応的に処理を行う代表的な手法に最小分散ビームフォーマがある（例えば、非特許文献１参照）。

最小分散ビームフォーマは、雑音の空間的性質を学習することで、目的音の到来方向に対するゲインを１に保ちつつ、雑音（その他の方向から到来する音）を抑圧するように指向特性を形成する。しかし、雑音の学習を行う際に、目的音が含まれる時間区間の観測信号を用いると、雑音の学習が目的音自体に妨げられ、ビームフォーマの性能が低下する。そのための対処として、目的音が含まれない時間区間の入力信号を用いて雑音の空間的性質を学習する方式もある。

Harry L. Van Trees, "Optimum Array Processing", Wiley-Interscience, 2002.

しかし、目的音が含まれない時間区間の入力信号を用いて雑音の空間的性質を学習する方式では、学習に用いた時間区間には存在しなかった妨害音が目的音の鳴っている最中に鳴り始めた場合に、その妨害音を抑圧することができない。

本開示は、このような状況に鑑みてなされたものであり、ビームフォーミング処理において雑音の空間的性質を学習する際に、目的音が含まれる時間区間の観測信号を用いつつ、目的音の影響を抑える方法を提供することができるようにするものである。

本開示の一側面の信号処理装置は、目的音が含まれる時間区間の観測信号から、最小分散ビームフォーマで用いる共分散行列を算出する共分散行列演算部と、前記目的音のステアリングベクトルと雑音のステアリングベクトルを算出するステアリングベクトル生成部と、生成された前記目的音のステアリングベクトルと雑音のステアリングベクトルの少なくとも１つを用いて、前記共分散行列を加工する射影行列を算出する射影行列生成部と、前記射影行列により前記共分散行列を加工して得られた加工共分散行列を用いて、前記最小分散ビームフォーマのフィルタを算出するフィルタ生成部とを備える。

本開示の一側面の信号処理方法は、信号処理装置が、目的音が含まれる時間区間の観測信号から、最小分散ビームフォーマで用いる共分散行列を算出し、前記目的音のステアリングベクトルと雑音のステアリングベクトルを算出し、生成された前記目的音のステアリングベクトルと雑音のステアリングベクトルの少なくとも１つを用いて、前記共分散行列を加工する射影行列を算出し、前記射影行列により前記共分散行列を加工して得られた加工共分散行列を用いて、前記最小分散ビームフォーマのフィルタを算出するステップを含む。

本開示の一側面のプログラムは、コンピュータを、目的音が含まれる時間区間の観測信号から、最小分散ビームフォーマで用いる共分散行列を算出する共分散行列演算部と、前記目的音のステアリングベクトルと雑音のステアリングベクトルを算出するステアリングベクトル生成部と、生成された前記目的音のステアリングベクトルと雑音のステアリングベクトルの少なくとも１つを用いて、前記共分散行列を加工する射影行列を算出する射影行列生成部と、前記射影行列により前記共分散行列を加工して得られた加工共分散行列を用いて、前記最小分散ビームフォーマのフィルタを算出するフィルタ生成部として機能させるためのものである。

本開示の一側面においては、目的音が含まれる時間区間の観測信号から、最小分散ビームフォーマで用いる共分散行列が算出され、前記目的音のステアリングベクトルと雑音のステアリングベクトルが算出され、生成された前記目的音のステアリングベクトルと雑音のステアリングベクトルの少なくとも１つを用いて、前記共分散行列を加工する射影行列が算出され、前記射影行列により前記共分散行列を加工して得られた加工共分散行列を用いて、前記最小分散ビームフォーマのフィルタが算出される。

なお、プログラムは、伝送媒体を介して伝送することにより、又は、記録媒体に記録して、提供することができる。

信号処理装置は、独立した装置であっても良いし、１つの装置を構成している内部ブロックであっても良い。

本開示の一側面によれば、ビームフォーミング処理において雑音の空間的性質を学習する際に、目的音が含まれる時間区間の観測信号を用いつつ、目的音の影響を抑える方法を提供することができる。

なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。

本開示に係る信号処理装置の一実施の形態の構成例を示すブロック図である。 信号処理装置が行うビームフォーミング処理を説明するフローチャートである。 本ビームフォーミング処理の特徴を説明する図である。 本開示に係るコンピュータの一実施の形態の構成例を示すブロック図である。

以下、本技術を実施するための形態（以下、実施の形態という）について説明する。なお、説明は以下の順序で行う。
１．最小分散ビームフォーマの説明
２．本実施の形態に係る信号処理装置のブロック図
３．ビームフォーミング処理のフローチャート
４．本ビームフォーミング処理の特徴
５．その他の簡易射影方法１
６．その他の簡易射影方法２
７．コンピュータ構成例

＜１．最小分散ビームフォーマの説明＞
初めに、最小分散ビームフォーマについて説明する。

最小分散ビームフォーマは、雑音の空間的性質を学習することで、目的音の到来方向に対するゲインを１に保ちつつ、雑音（目的音の到来方向以外の方向から到来する音）を可能な限り抑えるように指向特性を形成するビームフォーミング手法である。最小分散ビームフォーマの空間的性質は、以下で説明する共分散行列R(ω)によって表現される。

まず、M個のマイクロホンで構成されるマイクロホンアレイのうちのｍ番目（０＜ｍ≦M）のマイクロホンで観測された音響信号をｘ_ｍ(n)とする。ｎは、時刻を表す。この音響信号ｘ_ｍ(n)に対して短時間フーリエ変換（Short time Fourier transform, STFT）を適用すると、時間周波数領域に変換された狭帯域の観測信号X_ｍ(ω,ｋ)が得られる。ここで、ωは周波数を表し、ｋは音響信号ｘ_ｍ(n)が複数のフレームで構成される場合の所定のフレームを特定するフレーム番号を表す。

M個の各マイクロホンの観測信号X_１(ω,ｋ),・・・,X_M(ω,ｋ)からなる列ベクトルX(ω,ｋ)は、次式（１）で表される。

各マイクロホンでは、配置と音波の到来方向に応じて、異なるゲイン・遅延で音響信号が観測される。このとき、共分散行列Ｒ（ω）は次式（２）で定義される。

ここで、X^H(ω,ｋ)は、X(ω,ｋ)のエルミート転置を、E[]は、期待値を表す。

さて、ビームフォーミングは、観測信号の列ベクトルX(ω,ｋ)のフィルタリング処理と考えることができる。フィルタをｗ（ω）で表し、ビームフォーミング処理後の出力信号をY(ω,ｋ)で表すと、観測信号X(ω,ｋ)と出力信号Y(ω,ｋ)との間には、次式（３）の関係が成り立つ。

式（３）のｗ（ω）は、M個の要素からなる列ベクトルである。

ビームフォーミング処理後の出力信号Y(ω,ｋ)は、例えば、重畳加算（Overlap-add）法等によって、時間波形に変換される。

ビームフォーミングには、フィルタｗ（ω）の設計方法の違いにより、様々な方式が存在する。その様々な方式のなかの一つである最小分散ビームフォーマは、次式（４）の最適化問題によってフィルタｗ（ω）を決定する方式である。

ここで、ａ(ω,θ)は、方向θから到来する音波の各マイクロホンへの伝達特性（位相差）を表現したベクトルで、ステアリングベクトルと呼ばれる。マイクロホンアレイに対してある方向から音波が到来した場合、各マイクロホンで観測される音響信号には音波の経路に応じた位相差が生じる。ステアリングベクトルはその位相差を表現する。

ｍ番目のマイクロホンで音波が観測されるまでの遅延時間をτ_ｍ（θ）とすると、ステアリングベクトルａ(ω,θ)は、次式（５）で表現される。

式（４)の制約条件ａ^Ｈ(ω,θ)ｗ（ω）＝１は、方向θから到来する音波のゲインを1に保つことを意味し、この制約条件により、目的音の全域通過特性を保証している。

式（４）の目的関数ｗ^Ｈ(ω)Ｒ（ω）ｗ（ω）は、式（３）で表される出力信号Y(ω,ｋ)の分散を表す。最小分散ビームフォーマという名前は、出力信号Y(ω,ｋ)の分散を最小化することに由来する。

さて、式（４）の最適化問題の最適解は、次式（６）の閉形式で表現することができる。

式（６）のＲ^−１（ω）は、Ｒ（ω）の逆行列を表す。

従って、式（６）によれば、最小分散ビームフォーマを実現するためには、ステアリングベクトルａ(ω,θ)と共分散行列Ｒ（ω）が分かれば良い。

ステアリングベクトルａ(ω,θ)については、各マイクロホンの配置や目的音の到来方向が決まれば理論値を算出することができる。あるいは、予めいくつかの到来方向について計測した実測値を用いたり、それらから補間等の演算処理で算出される値を用いたりすることもできる。

共分散行列Ｒ（ω）については、実用場面では観測信号から推定することとなる。例えば、フレームｋ_ｓからフレームｋ_ｅ（ｋ_ｓ＜ｋ_ｅ）までの時間区間の観測信号を用いて、最尤推定により共分散行列Ｒ（ω）を求める場合、次式（７）で算出することができる。

最小分散ビームフォーマは理論的には非常にシンプルであるが、実用場面では課題が存在する。共分散行列Ｒ（ω）の学習に用いる観測信号に目的音が含まれていると、目的音が歪んでしまうという問題がある。これは、ステアリングベクトルａ(ω,θ)に誤差が含まれていることが大きな要因の一つである。ステアリングベクトルａ(ω,θ)に誤差が含まれていると、目的音の真の到来方向に対する全域通過特性が保証されず、むしろ式（４）の目的関数を最小化するために目的音まで抑圧されてしまう。

この問題を回避するため、たとえば、共分散行列Ｒ（ω）を、目的音の鳴っていない時間区間（例えば、目的音の鳴り始める直前）の観測信号から推定する方法がある。この方法は、目的音以外の雑音が定常的であることを期待した方法である。共分散行列Ｒ（ω）には目的音に関する情報が含まれていないため、式（４）の最適化問題によって目的音が抑圧されてしまうことを防ぐことができる。

しかし、このような、目的音の鳴っていない時間区間の観測信号を用いるという方法を採用した場合、目的音が鳴っている間にのみ鳴った雑音が存在した際に、その雑音を抑圧することができない。

つまり、最小分散ビームフォーマにおいては、共分散行列Ｒ（ω）の推定に用いる観測信号に目的音が含まれていた場合には目的音が歪んでしまう一方で、推定に用いる観測信号に目的音が含まれないようにした場合には、目的音が鳴っている間にのみ鳴った雑音を抑圧することができない、という問題を抱えている。

そこで、本件発明者は、共分散行列Ｒ（ω）の推定に用いる観測信号として、目的音が含まれている信号を用いつつ、目的音の影響を抑える手法を考案した。以下では、その手法について説明する。

＜２．本実施の形態に係る信号処理装置のブロック図＞
図１は、最小分散ビームフォーマにおいて、観測信号として目的音が含まれている信号を用いつつ、目的音の影響を抑えるようにした信号処理装置の構成例を示すブロック図である。

信号処理装置１は、共分散行列演算部１１、ステアリングベクトル生成部１２、射影行列生成部１３、フィルタ生成部１４、及び、ビームフォーミング処理部１５を備える。

信号処理装置１には、入力信号として、M個のマイクロホンからなるマイクロホンアレイで観測された音響信号ｘ_１(n)乃至ｘ_Ｍ(n)に対して短時間フーリエ変換（STFT）が施された、時間周波数領域に変換された狭帯域の観測信号X_１(ω)乃至X_M(ω)が入力される。なお、観測信号X_１(ω)乃至X_M(ω)は、上述した観測信号X_１(ω,ｋ)乃至X_M(ω,ｋ)のフレーム番号を省略したものであり、信号処理装置１では、ビームフォーミング処理が、複数のフレームに対して順次行われる。

また、音響信号ｘ_１(n)乃至ｘ_Ｍ(n)に対して短時間フーリエ変換を施すことにより、複数の時間周波数領域ω_１, ω_２, ω_３, ・・・の狭帯域の観測信号X_１(ω_１)乃至X_M(ω_１), X_１(ω_２)乃至X_M(ω_２), X_１(ω_３)乃至X_M(ω_３) , ・・・が得られる。信号処理装置１は、説明を簡単にするため、所定の時間周波数領域ωの観測信号X_１(ω)乃至X_４(ω)に対する処理として説明を行うが、実際には、信号処理装置１は、各時間周波数領域ω_１, ω_２, ω_３, ・・・ごとに、以下に説明する処理を行う。

信号処理装置１に入力されたM個の観測信号X_１(ω)乃至X_M(ω)は、共分散行列演算部１１とビームフォーミング処理部１５に供給される。

共分散行列演算部１１は、上述した式（７）に従い、所望の目的音の鳴っている時間区間から得られた観測信号X_１(ω)乃至X_Ｍ(ω)から共分散行列Ｒ（ω）を算出し、フィルタ生成部１４に供給する。

なお、所望の目的音の鳴っている時間区間の観測信号X_１(ω)乃至X_Ｍ(ω)は、目的音の有無の両方を含む所定期間の観測信号X_１(ω)乃至X_Ｍ(ω)が入力されて、そのなかで目的音の鳴っている観測信号X_１(ω)乃至X_Ｍ(ω)が抽出されてもよいし、所望の目的音の鳴っている時間区間から得られた観測信号X_１(ω)乃至X_Ｍ(ω)のみが信号処理装置１に入力されるのでもよい。

ステアリングベクトル生成部１２には、例えば、音源方向推定技術等の所定の手法を用いて検出された、目的音の到来方向θ_ｓと雑音の到来方向θ_n1, θ_n2,・・,θ_nNが供給される。即ち、本技術では、目的音の到来方向θ_ｓと雑音の到来方向θ_n1, θ_n2,・・,θ_nNが、どのような手法で検出されるかは問わず、検出結果としての目的音の到来方向θ_ｓと雑音の到来方向θ_n1, θ_n2,・・,θ_nNが、ステアリングベクトル生成部１２に供給される。Nは既知の雑音源の数を表し、雑音源の数Nはマイクロホンの個数Mより少ないものとする（０＜N＜M）。また、目的音の到来方向θ_ｓは、雑音の到来方向θ_n1, θ_n2,・・,θ_nNとは異なる方向であるとする。

ステアリングベクトル生成部１２は、目的音の到来方向θ_ｓと雑音の到来方向θ_n1, θ_n2,・・,θ_nNの情報から、目的音と雑音それぞれのステアリングベクトルａ(ω,θ)を算出する。即ち、ステアリングベクトル生成部１２は、式（５）により、目的音のステアリングベクトルａ(ω,θ_ｓ)及び雑音のステアリングベクトルａ(ω,θ_n1) ,ａ(ω,θ_n2) ,・・,ａ(ω,θ_nN)を算出する。

ステアリングベクトル生成部１２は、生成した目的音のステアリングベクトルａ(ω,θ_ｓ)及び雑音のステアリングベクトルａ(ω,θ_n1) ,ａ(ω,θ_n2) ,・・,ａ(ω,θ_nN)を、射影行列生成部１３に供給する。また、ステアリングベクトル生成部１２は、目的音のステアリングベクトルａ(ω,θ_ｓ)については、フィルタ生成部１４にも供給する。

射影行列生成部１３は、目的音のステアリングベクトルａ(ω,θ_ｓ)を、N個の雑音のステアリングベクトルａ(ω,θ_n1),ａ(ω,θ_n2),・・,ａ(ω,θ_nN)が張る部分空間Ｗ上の成分ｑ_paraと、その直交補空間Ｗ^perp上の成分ｑ_perpに直交分解した場合の、直交補空間Ｗ^perp上の成分ｑ_perpを算出する。

さらに、射影行列生成部１３は、算出した直交補空間Ｗ^perp上の成分ｑ_perpから、射影方向を表現するベクトルｐを生成し、ベクトルｐを用いて射影行列Pを算出する。

具体的には、まず、直交補空間Ｗ^perp上の成分ｑ_perpを算出するため、射影行列生成部１３は、例えば、グラム・シュミット（Ｇｒａｍ−Ｓｃｈｍｉｄｔ）の正規直交化法により、部分空間Ｗの正規直交基底｛ｅ₁,ｅ₂,・・・,ｅ_N｝を算出する。

グラム・シュミット（Ｇｒａｍ−Ｓｃｈｍｉｄｔ）の正規直交化法による部分空間Ｗの正規直交基底｛ｅ₁,ｅ₂,・・・,ｅ_N｝は、次式（８）により算出することができる。

式（８）によれば、ｅ_ｌは、ｌ＝１のとき、ａ(ω,θ_n１)により算出され、２≦ｌ≦Nのとき、ａ(ω,θ_nｌ)とｅ₁,・・・,ｅ_ｌ−１を用いて算出される。

次に、射影行列生成部１３は、算出した部分空間Ｗの正規直交基底｛ｅ₁,ｅ₂,・・・,ｅ_N｝を用いて、直交補空間Ｗ^perp上の成分ｑ_perpを、次式（９）により計算する。

そして、射影行列生成部１３は、式（１０）により、成分ｑ_perpの大きさを１に正規化することにより、射影方向を表現するベクトルｐを算出する。

最後に、射影行列生成部１３は、式（１０）により得られたベクトルｐから、射影行列Pを式（１１）により算出する。

式（１１）のIは、単位行列を表す。

算出された射影行列Pは、フィルタ生成部１４に供給される。また、フィルタ生成部１４には、上述したように、共分散行列演算部１１から、共分散行列Ｒ（ω）も供給される。

フィルタ生成部１４は、射影行列生成部１３で生成された射影行列Pを用いて、共分散行列Ｒ（ω）を、次式（１２）により加工した加工共分散行列S（ω）を算出する。

式（１２）のλは、正の値を持つ正則化パラメータである。正則化パラメータは、物理的にはノイズレベルを意味し、その値は、マイクロホンアレイを含む電気回路で生じる雑音や演算誤差等のノイズフロアに基づいて決定される。

次に、フィルタ生成部１４は、共分散行列Ｒ（ω）を加工して得られた加工共分散行列S（ω）と、ステアリングベクトル生成部１２から供給された目的音のステアリングベクトルａ(ω,θ_ｓ)とを用いて、最小分散ビームフォーマのフィルタｗ（ω）を算出する。最小分散ビームフォーマのフィルタｗ（ω）は、式（６）の共分散行列Ｒ（ω）を、加工共分散行列S（ω）に置き換えた次式（１３）により計算される。

フィルタ生成部１４は、算出されたフィルタｗ（ω）をビームフォーミング処理部１５に供給する。

ビームフォーミング処理部１５は、フィルタ生成部１４から供給されたフィルタｗ（ω）を用いて、観測信号の列ベクトルX(ω)に対してビームフォーミング処理を行う。すなわち、ビームフォーミング処理部１５は、信号処理装置１に入力されたM個の観測信号X_１(ω)乃至X_M(ω)にフィルタｗ（ω）を乗算する式（３）を実行する。

式（３）の演算結果であるビームフォーミング処理後の信号Y(ω,ｋ)が、出力信号として、信号処理装置１から出力される。

＜３．ビームフォーミング処理のフローチャート＞
図２のフローチャートを参照して、信号処理装置１が実行するビームフォーミング処理について説明する。

信号処理装置１には、M個のマイクロホンで観測された音響信号ｘ_１(n)乃至ｘ_Ｍ(n)に対して短時間フーリエ変換（STFT）が施された観測信号X_１(ω)乃至X_Ｍ(ω)が入力される。

ステップＳ１において、共分散行列演算部１１は、所望の目的音の鳴っている時間区間の観測信号X_１(ω)乃至X_Ｍ(ω)から共分散行列Ｒ（ω）を算出する。より具体的には、共分散行列演算部１１は、所望の目的音の鳴っている時間区間の観測信号X_１(ω)乃至X_Ｍ(ω)の列ベクトルX(ω)を用いて、式（７）に従い、共分散行列Ｒ（ω）を算出し、フィルタ生成部１４に供給する。

ステップＳ２において、ステアリングベクトル生成部１２は、目的音の到来方向θ_ｓと雑音の到来方向θ_n1, θ_n2,・・,θ_nNの情報から、目的音と雑音それぞれのステアリングベクトルａ(ω,θ)を算出する。即ち、ステアリングベクトル生成部１２は、式（５）により、目的音のステアリングベクトルａ(ω,θ_ｓ)及び雑音のステアリングベクトルａ(ω,θ_n1),ａ(ω,θ_n2) ,・・,ａ(ω,θ_nN)を算出する。

目的音のステアリングベクトルａ(ω,θ_ｓ)は、射影行列生成部１３とフィルタ生成部１４に供給され、雑音のステアリングベクトルａ(ω,θ_n1),ａ(ω,θ_n2) ,・・,ａ(ω,θ_nN)は、射影行列生成部１３に供給される。

ステップＳ３において、射影行列生成部１３は、目的音のステアリングベクトルａ(ω,θ_ｓ)を、N個の雑音のステアリングベクトルａ(ω,θ_n1),ａ(ω,θ_n2),・・,ａ(ω,θ_nN)が張る部分空間Ｗ上の成分ｑ_paraと、その直交補空間Ｗ^perp上の成分ｑ_perpに直交分解した場合の、直交補空間Ｗ^perp上の成分ｑ_perpを算出する。

ステップＳ４において、射影行列生成部１３は、算出した直交補空間Ｗ^perp上の成分ｑ_perpから、射影方向を表現するベクトルｐを生成し、さらにベクトルｐを用いて、式（１１）により、射影行列Pを算出する。算出された射影行列Pは、フィルタ生成部１４に供給される。

ステップＳ５において、フィルタ生成部１４は、射影行列生成部１３で生成された射影行列Pを用いて、共分散行列Ｒ（ω）を、式（１２）により加工した加工共分散行列S（ω）を算出する。

ステップＳ６において、フィルタ生成部１４は、算出した加工共分散行列S（ω）と、ステアリングベクトル生成部１２から供給された目的音のステアリングベクトルａ(ω,θ_ｓ)とを用いて、最小分散ビームフォーマのフィルタｗ（ω）を算出する。算出されたフィルタｗ（ω）は、ビームフォーミング処理部１５に供給される。

ステップＳ７において、ビームフォーミング処理部１５は、フィルタ生成部１４から供給されたフィルタｗ（ω）を用いてビームフォーミング処理を行う。すなわち、ビームフォーミング処理部１５は、信号処理装置１に入力されたM個の観測信号X_１(ω)乃至X_M(ω)にフィルタｗ（ω）を乗算する式（３）を実行する。

ビームフォーミング処理後の信号Y(ω,ｋ)が、出力信号として、信号処理装置１から出力され、出力信号Y(ω,ｋ)は、信号処理装置１の後段において、例えば、重畳加算法等によって、時間波形に変換される。

図２のビームフォーミング処理は、短時間フーリエ変換後の複数の時間周波数領域ω_１, ω_２, ω_３, ・・・それぞれに対して実行される。時間方向については、所定のフレーム単位で、図２のビームフォーミング処理が繰り返し実行される。

なお、図２で説明したビームフォーミング処理では、各ステップの処理が順番に実行されるように説明したが、いくつかのステップの処理については処理の順番を逆にしたり、あるいは、並列に実行することも可能である。換言すれば、フィルタ生成部１４が、フィルタｗ（ω）の算出のために射影行列P、共分散行列Ｒ（ω）、目的音のステアリングベクトルａ(ω,θ_ｓ)を得ることができれば、それまでの射影行列P、共分散行列Ｒ（ω）、目的音のステアリングベクトルａ(ω,θ_ｓ)を算出する順番は限定されない。

＜４．本ビームフォーミング処理の特徴＞
図３は、マイクロホンの個数Mが３、かつ、雑音源の個数Nが２である場合の、信号処理装置１におけるベクトルｐの概念を説明する図である。

式（１０）で算出される、射影方向を表現するベクトルｐは、目的音のステアリングベクトルａ(ω,θ_ｓ)のうち、２個の雑音のステアリングベクトルａ(ω,θ_n1)及びａ(ω,θ_n2)が張る部分空間Ｗに直交する成分を表している。

上述した式（１２）のＰ＝（Ｉ−ｐｐ^Ｈ）を乗ずる演算は、ベクトルｐに直交する部分空間（後述する部分空間Ｖ）への射影を意味する。つまり、式（１２）の行列S（ω）は、ベクトルｐに直交する部分空間への射影を行うことで、共分散行列Ｒ（ω）の持つ空間的性質の情報のうち、雑音に関する情報を保存しつつ、目的音に関する情報のみを排除していることになる。

従って、信号処理装置１のビームフォーミング処理は、目的音の到来方向θ_ｓを用いて、共分散行列Ｒ（ω）から、目的音に起因する成分を取り除くことで、目的音の影響を抑えた加工共分散行列S（ω）を生成し、それを共分散行列としてビームフォーミングを実行する。これにより、目的音が含まれる時間区間の観測信号を用いた場合であっても、目的音に対する歪を抑制することができる。

即ち、ビームフォーミング処理において雑音の空間的性質を学習する際に、目的音が含まれる時間区間の観測信号を用いつつ、目的音の影響を抑える方法を提供することができる。

また、雑音源については、信号処理装置１のビームフォーミング処理では、雑音の到来方向θ_n1, θ_n2,・・,θ_nNを用いて、雑音に起因する成分は保持されるように処理を行うので、雑音の抑圧量は保たれる。

＜５．その他の簡易射影方法１＞
目的音の強調効果は、上述したように、目的音のステアリングベクトルａ(ω,θ_ｓ)のうち、N個の雑音のステアリングベクトルａ(ω,θ_n1),ａ(ω,θ_n2),・・,ａ(ω,θ_nN)が張る部分空間Ｗに直交する成分（ベクトルｐ）に直交する部分空間に射影する射影行列Pを生成する方法（以下、本射影手法という。）よりも劣るが、より簡易的な２つの射影方法について説明する。

第１の簡易射影方法は、N個の雑音のステアリングベクトルａ(ω,θ_n1),ａ(ω,θ_n2),・・,ａ(ω,θ_nN)が張る部分空間Ｗに射影する方法である。

具体的には、射影行列生成部１３は、式（８）により、N個の雑音のステアリングベクトルａ(ω,θ_n1),ａ(ω,θ_n2),・・,ａ(ω,θ_nN)が張る部分空間Ｗの正規直交基底｛ｅ₁,ｅ₂,・・・,ｅ_N｝を算出する。

次に、射影行列生成部１３は、得られた部分空間Ｗの正規直交基底｛ｅ₁,ｅ₂,・・・,ｅ_N｝を用いて、射影行列Ｐを、次式（１４）により計算する。

従って、第１の簡易射影方法は、ベクトルｐを計算せずに、N個の雑音のステアリングベクトルａ(ω,θ_n1),ａ(ω,θ_n2),・・,ａ(ω,θ_nN)が張る部分空間Ｗに射影することになる。

この方法によっても、雑音の到来方向に対して死角が形成され、到来方向の与えられた雑音を抑圧することは可能である。しかし、方向性のない拡散性雑音や残響等までは抑圧することはできない。

これに対して、本射影手法は、以下に説明するように、拡散性雑音や残響もある程度抑圧できるような仕組みとなっている。

本射影手法では、ベクトルｐに直交する部分空間に射影を行っているが、射影先の部分空間とN個の雑音のステアリングベクトルａ(ω,θ_n1),ａ(ω,θ_n2),・・,ａ(ω,θ_nN)が張る部分空間Ｗとは一致しない。即ち、ベクトルｐによる射影先の部分空間をＶとすると、次式（１５）を満たす部分空間Ｕが存在する。

式（１５）のプラスを丸で囲んだ記号は、直和を意味する。

部分空間Ｗには、主に方向が与えられている雑音の直接波成分の情報が含まれている一方で、部分空間Ｕには、方向が与えられていない主に拡散性雑音や残響成分などが含まれている。本射影手法では、部分空間Ｕを含む部分空間Ｖに射影し、その分散が最小になるようフィルタを最適化するため、到来方向の与えられた雑音のみでなく、拡散性雑音や残響成分もある程度抑圧することが可能である。

一方、第１の簡易射影方法には、部分空間Ｕが含まれていないため、方向性のない拡散性雑音や残響等までは抑圧することができない。

＜６．その他の簡易射影方法２＞
第２の簡易射影方法は、目的音のステアリングベクトルａ(ω,θ_ｓ)の方向に射影する方法である。

具体的には、射影行列生成部１３は、式（１６）により、目的音のステアリングベクトルａ(ω,θ_ｓ)の大きさを１に正規化したベクトルを、ベクトルｐとする。

次に、射影行列生成部１３は、このベクトルｐを用いて、式（１７）により、射影行列Pを算出する。

式（１７）のIは、単位行列を表す。

目的音のステアリングベクトルａ(ω,θ_ｓ)には、N個の雑音のステアリングベクトルａ(ω,θ_n1),ａ(ω,θ_n2),・・,ａ(ω,θ_nN)が張る部分空間Ｗ上の成分も含んでいるため、目的音のステアリングベクトルａ(ω,θ_ｓ)を用いた直交射影は、共分散行列Ｒ（ω）に含まれる雑音に関する情報を歪めてしまう。また、第２の簡易射影方法は、固定ビームフォーマで、最もベーシックな手法である遅延和ビームフォーマと等価になる。

以上より、目的音の強調効果は、本射影手法が最も大きく、次に、第１の簡易射影方法、第２の簡易射影方法の順となる。

信号処理装置１は、本射影手法、第１の簡易射影方法、及び、第２の簡易射影方法のいずれも実行可能として、ユーザ設定等により実行する射影方法を必要に応じて選択する構成とすることができる。あるいはまた、本射影手法、第１の簡易射影方法、または、第２の簡易射影方法のいずれか一つまたは二つを実行可能な構成としてもよい。

＜７．コンピュータ構成例＞
上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。

図４は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。

コンピュータにおいて、CPU（Central Processing Unit）１０１，ROM（Read Only Memory）１０２，RAM（Random Access Memory）１０３は、バス１０４により相互に接続されている。

バス１０４には、さらに、入出力インタフェース１０５が接続されている。入出力インタフェース１０５には、入力部１０６、出力部１０７、記憶部１０８、通信部１０９、及びドライブ１１０が接続されている。

入力部１０６は、キーボード、マウス、マイクロホンなどよりなる。出力部１０７は、ディスプレイ、スピーカなどよりなる。記憶部１０８は、ハードディスクや不揮発性のメモリなどよりなる。通信部１０９は、ネットワークインタフェースなどよりなる。ドライブ１１０は、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブル記録媒体１１１を駆動する。

以上のように構成されるコンピュータでは、CPU１０１が、例えば、記憶部１０８に記憶されているプログラムを、入出力インタフェース１０５及びバス１０４を介して、RAM１０３にロードして実行することにより、上述したビームフォーミング処理が行われる。

また、CPU１０１は、マイクロホンアレイで観測された音響信号ｘ_１(n)乃至ｘ_Ｍ(n)に対して短時間フーリエ変換を行う処理、及び、出力信号Y(ω,ｋ)を、重畳加算法等によって、時間波形に変換する処理も併せて実行することができる。

コンピュータでは、プログラムは、リムーバブル記録媒体１１１をドライブ１１０に装着することにより、入出力インタフェース１０５を介して、記憶部１０８にインストールすることができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して、通信部１０９で受信し、記憶部１０８にインストールすることができる。その他、プログラムは、ROM１０２や記憶部１０８に、あらかじめインストールしておくことができる。

なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。

本開示の実施の形態は、上述した実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。

例えば、信号処理装置１として、上述した複数の実施の形態の全てまたは一部を組み合わせた形態を採用することができる。

例えば、信号処理装置１が行う処理は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。

また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。

さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。

なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、本明細書に記載されたもの以外の効果があってもよい。

なお、本技術は以下のような構成も取ることができる。
（１）
目的音が含まれる時間区間の観測信号から、最小分散ビームフォーマで用いる共分散行列を算出する共分散行列演算部と、
前記目的音のステアリングベクトルまたは雑音のステアリングベクトルの少なくとも一方を算出するステアリングベクトル生成部と、
算出された前記目的音のステアリングベクトルまたは前記雑音のステアリングベクトルの少なくとも一方を用いて、前記共分散行列を加工する射影行列を算出する射影行列生成部と、
前記射影行列により前記共分散行列を加工して得られた加工共分散行列を用いて、前記最小分散ビームフォーマのフィルタを算出するフィルタ生成部と
を備える信号処理装置。
（２）
前記ステアリングベクトル生成部は、前記目的音のステアリングベクトルと前記雑音のステアリングベクトルの両方を算出し、
前記射影行列生成部は、前記目的音のステアリングベクトルのうち、前記雑音のステアリングベクトルが張る部分空間に直交する成分を求め、その成分に直交する部分空間に射影する前記射影行列を算出する
前記（１）に記載の信号処理装置。
（３）
前記ステアリングベクトル生成部は、前記目的音のステアリングベクトルと前記雑音のステアリングベクトルの両方を算出し、
前記射影行列生成部は、前記雑音のステアリングベクトルが張る部分空間を求め、その部分空間に射影する前記射影行列を算出する
前記（１）または（２）に記載の信号処理装置。
（４）
前記ステアリングベクトル生成部は、前記目的音のステアリングベクトルを算出し、
前記射影行列生成部は、前記目的音のステアリングベクトルの方向に射影する前記射影行列を算出する
前記（１）乃至（３）のいずれかに記載の信号処理装置。
（５）
前記フィルタ生成部により算出された前記フィルタを用いて、前記観測信号に対して前記最小分散ビームフォーマのビームフォーミング処理を実行するビームフォーミング処理部をさらに備える
前記（１）乃至（４）のいずれかに記載の信号処理装置。
（６）
前記射影行列生成部は、前記共分散行列の持つ空間的性質の情報のうち、前記雑音に関する情報を保存しつつ、前記目的音に関する情報のみを排除する前記射影行列を算出する
前記（１）乃至（５）のいずれかに記載の信号処理装置。
（７）
信号処理装置が、
目的音が含まれる時間区間の観測信号から、最小分散ビームフォーマで用いる共分散行列を算出し、
前記目的音のステアリングベクトルまたは雑音のステアリングベクトルの少なくとも一方を算出し、
算出された前記目的音のステアリングベクトルまたは前記雑音のステアリングベクトルの少なくとも一方を用いて、前記共分散行列を加工する射影行列を算出し、
前記射影行列により前記共分散行列を加工して得られた加工共分散行列を用いて、前記最小分散ビームフォーマのフィルタを算出する
ステップを含む信号処理方法。
（８）
コンピュータを、
目的音が含まれる時間区間の観測信号から、最小分散ビームフォーマで用いる共分散行列を算出する共分散行列演算部と、
前記目的音のステアリングベクトルまたは雑音のステアリングベクトルの少なくとも一方を算出するステアリングベクトル生成部と、
算出された前記目的音のステアリングベクトルまたは前記雑音のステアリングベクトルの少なくとも一方を用いて、前記共分散行列を加工する射影行列を算出する射影行列生成部と、
前記射影行列により前記共分散行列を加工して得られた加工共分散行列を用いて、前記最小分散ビームフォーマのフィルタを算出するフィルタ生成部
として機能させるためのプログラム。

１ 信号処理装置， １１ 共分散行列演算部， １２ ステアリングベクトル生成部， １３ 射影行列生成部， １４ フィルタ生成部， １５ ビームフォーミング処理部， １０１ CPU， １０２ ROM， １０３ RAM， １０６ 入力部， １０７ 出力部， １０８ 記憶部， １０９ 通信部， １１０ ドライブ

Claims (8)

1. 目的音が含まれる時間区間の観測信号から、最小分散ビームフォーマで用いる共分散行列を算出する共分散行列演算部と、
   前記目的音のステアリングベクトルまたは雑音のステアリングベクトルの少なくとも一方を算出するステアリングベクトル生成部と、
   算出された前記目的音のステアリングベクトルまたは前記雑音のステアリングベクトルの少なくとも一方を用いて、前記共分散行列を加工する射影行列を算出する射影行列生成部と、
   前記射影行列により前記共分散行列を加工して得られた加工共分散行列を用いて、前記最小分散ビームフォーマのフィルタを算出するフィルタ生成部と
   を備える信号処理装置。
2. 前記ステアリングベクトル生成部は、前記目的音のステアリングベクトルと前記雑音のステアリングベクトルの両方を算出し、
   前記射影行列生成部は、前記目的音のステアリングベクトルのうち、前記雑音のステアリングベクトルが張る部分空間に直交する成分を求め、その成分に直交する部分空間に射影する前記射影行列を算出する
   請求項１に記載の信号処理装置。
3. 前記ステアリングベクトル生成部は、前記目的音のステアリングベクトルと前記雑音のステアリングベクトルの両方を算出し、
   前記射影行列生成部は、前記雑音のステアリングベクトルが張る部分空間を求め、その部分空間に射影する前記射影行列を算出する
   請求項１に記載の信号処理装置。
4. 前記ステアリングベクトル生成部は、前記目的音のステアリングベクトルを算出し、
   前記射影行列生成部は、前記目的音のステアリングベクトルの方向に射影する前記射影行列を算出する
   請求項１に記載の信号処理装置。
5. 前記フィルタ生成部により算出された前記フィルタを用いて、前記観測信号に対して前記最小分散ビームフォーマのビームフォーミング処理を実行するビームフォーミング処理部をさらに備える
   請求項１に記載の信号処理装置。
6. 前記射影行列生成部は、前記共分散行列の持つ空間的性質の情報のうち、前記雑音に関する情報を保存しつつ、前記目的音に関する情報のみを排除する前記射影行列を算出する
   請求項１に記載の信号処理装置。
7. 信号処理装置が、
   目的音が含まれる時間区間の観測信号から、最小分散ビームフォーマで用いる共分散行列を算出し、
   前記目的音のステアリングベクトルまたは雑音のステアリングベクトルの少なくとも一方を算出し、
   算出された前記目的音のステアリングベクトルまたは前記雑音のステアリングベクトルの少なくとも一方を用いて、前記共分散行列を加工する射影行列を算出し、
   前記射影行列により前記共分散行列を加工して得られた加工共分散行列を用いて、前記最小分散ビームフォーマのフィルタを算出する
   ステップを含む信号処理方法。
8. コンピュータを、
   目的音が含まれる時間区間の観測信号から、最小分散ビームフォーマで用いる共分散行列を算出する共分散行列演算部と、
   前記目的音のステアリングベクトルまたは雑音のステアリングベクトルの少なくとも一方を算出するステアリングベクトル生成部と、
   算出された前記目的音のステアリングベクトルまたは前記雑音のステアリングベクトルの少なくとも一方を用いて、前記共分散行列を加工する射影行列を算出する射影行列生成部と、
   前記射影行列により前記共分散行列を加工して得られた加工共分散行列を用いて、前記最小分散ビームフォーマのフィルタを算出するフィルタ生成部
   として機能させるためのプログラム。

Images