JP6074263B2 - 雑音抑圧装置及びその制御方法 - Google Patents

Description

本発明は、音響信号に含まれる雑音を抑圧する雑音抑圧技術に関する。

音響信号から不要な雑音を除去する技術は、音響信号に含まれる目的音に対する聴感を改善し、また、音声認識においては認識率を高めるために重要な技術である。

音響信号の雑音を除去する技術として代表的なものにビームフォーマがある。これは、複数のマイクロホンで収音した複数のマイクロホン信号にそれぞれフィルタリングを施してから加算し、単一の出力信号を得るものである。上記のフィルタリングと加算の処理が、複数のマイクロホンで指向性、すなわち方向選別性を持つ空間的なビームパターンを形成することに対応するため、ビームフォーマと呼ばれる。

ビームパターンのゲインがピークとなる部分をメインローブといい、メインローブが目的音の方向を向くようにビームフォーマを構成すれば、目的音を強調し、同時に目的音と異なる方向に存在する雑音を抑制することができる。

しかしながら、ビームパターンのメインローブは、特にマイクロホン数が少ない場合に広い幅を持つ。また、屋外における風雑音のように方向性を持たない非方向性の音源は、空間的に全方位に分布した雑音源であると考えることができる。このため、ビームパターンのなだらかなメインローブを用いても、風雑音のような非方向性の雑音を十分に除去することはできない。

そこでメインローブではなく、ビームパターンのゲインがディップとなる部分である、ヌルを利用した雑音除去の方法が提案されている。

図２（ａ）は、マイクロホン数が２つの場合の、約３．３ｋＨｚにおける水平方向のビームパターンを極座標で示した例である。２つのマイクロホンは、−９０°と９０°を結ぶ線分上に間隔を持って配置されているものとする。なお、前記線分に対して０°方向の半円内と、１８０°方向の半円内のビームパターンは対称形となる。

図２（ａ）より、９０°方向のメインローブは非常に広い幅を持っているが、−３０°方向のヌルはゲインが鋭く落ち込んでおり、この方向の音だけはほとんど出力されないことになる。マイクロホン信号に含まれる代表的な目的音には音声があるが、人の発する音声はパワーが空間的に一点に集中した方向性音源である。そこで、ビームパターンのヌルを方向性の目的音に向けることで、まずは非方向性の雑音を抽出し、次に、抽出された雑音をマイクロホン信号から減算するという二段階処理による雑音除去が提案されている（例えば特許文献１）。

図２（ａ）には、風雑音といった非方向性の雑音源が、空間的に全方位に分布しているものとして「〜」のマークによって模式的に表されている。また、−３０°方向に位置する方向性の目的音である人の声が、顔のマークによって表されている。ここで、方向性の目的音である人の声に比べて、非方向性の雑音源の角度あたりのパワーは小さいため、出力パワーを最小化するようにビームフォーマを構成すれば、−３０°の目的音方向にヌルが自動的に形成される。このように、出力パワー最小化といった規範によって、ビームパターンのヌルが自動的に形成されるビームフォーマを「適応ビームフォーマ」と呼ぶ。適応ビームフォーマによれば、目的音の方向をあらかじめ知ることなく、図２（ａ）のように目的音方向にヌルの向いたビームパターンが自動的に得られるため、非方向性の雑音抽出に適している。

しかしながら、適応ビームフォーマには以下に示すような課題がある。

例えば風雑音の場合、非方向性とはいえ低域のパワーは非常に強いため、低域においては図２（ｂ）に模式的に示すように、角度あたりのパワーが方向性の目的音に匹敵する大きさとなる。同図のビームパターンは、風雑音下の人の声に対して形成された適応ビームフォーマのビームパターンのうち、比較的低域にあたる約４７０Ｈｚのものを示している。この周波数では、目的音方向のパワーが他の方向に比べて特別大きいわけではないため、中高域にあたる約３．３ｋＨｚの図２（ａ）と比べると、ヌルが非常になだらかになっている。このため、目的音を十分に除くことができず、抽出した雑音に目的音が混入してしまうため、その後の雑音減算において目的音が削られてしまうことになる。

ビームパターンのヌルが自動的に形成される適応ビームフォーマに対して、特定の方向に固定的にヌルを形成するビームフォーマを「固定ビームフォーマ」と呼ぶ。特許文献１には、マイクロホンアレイで収音したマイクロホン信号からビームフォーマによって雑音を抽出する際に、適応ビームフォーマと固定ビームフォーマを併用して周波数ごとに選択する方法が開示されている。

特開２００３−２７１１９１号公報

しかしながら、特許文献１の方法には以下に示すような課題があった。

はじめに適応ビームフォーマの手法については、Jim-Griffithの適応ビームフォーマを用いる方法が開示されている。これは、出力パワー最小化の規範に基づくもので、ビームパターンのヌルは自動的に形成されるが、ビームフォーマのフィルタ係数ベクトルを非零ベクトルとするための制約条件として、メインローブの方向を指定する必要がある。しかし、非方向性の雑音の抽出において、本来必要なのは方向性の目的音に向けるヌルだけであるため、メインローブの方向を明示的に指定すると、ビームパターンに影響を与えて目的音を除去する能力が低下する可能性がある。

また固定ビームフォーマについては、マイクロホン信号の単純なチャネル間の差分による方法が開示されている。しかしこの方法では、マイクロホンを結ぶ線分の垂直二等分線の方向にヌルが作られることになり、目的音の方向にヌルが向いているわけではないため、抽出した雑音に目的音が混入してしまう可能性が高い。

さらに適応ビームフォーマと固定ビームフォーマの選択法については、周波数帯域毎に出力パワーが小さい方を選択する方法が開示されている。しかし上記したように、固定ビームフォーマのヌルが目的音の方向を向いているとは限らず、また出力パワーしか見ていないため、目的音を除いて雑音のみ抽出するのに必ずしも好適な選択法であるとは言えない。

本発明は上述した問題を解決するためになされたものである。すなわち、本発明は、音響信号から非方向性雑音のみを方向性目的音を混入させずに抽出し、音響信号に含まれる雑音のみを高精度に抑圧することができる雑音抑圧装置を提供する。

本発明の一側面によれば、複数のマイクロホンで収音した複数のマイクロホン信号を得る取得手段と、前記複数のマイクロホン信号に含まれる雑音信号を抑圧するために使用するビームフォーマとして、方向性の目的音の方向にビームパターンのヌルが自動形成される適応ビームフォーマか、指定方向にビームパターンのヌルを形成する固定ビームフォーマかを、前記複数のマイクロホン信号の周波数に応じて選択する選択手段とを有し、前記指定方向は前記適応ビームフォーマで自動形成されるヌルの方向から決定されることを特徴とする雑音抑圧装置が提供される。

本発明によれば、音響信号から非方向性雑音のみを方向性目的音を混入させずに抽出し、音響信号に含まれる雑音のみを高精度に抑圧することができる。

実施形態に係る雑音除去装置のブロック図。 ビームパターンを説明する図。 実施形態１に係る雑音除去処理を示すフローチャート。 実施形態１に係るヌルの深さと方向を説明する図。 実施形態２に係る雑音除去処理を示すフローチャート。 実施形態２に係る複数のマイクロホン信号間の相関係数と切り替え周波数の関係例を示す図。 実施形態３に係る雑音除去処理を示すフローチャート。 実施形態３に係る雑音の振幅スペクトルと切り替え周波数の関係例を示す図。 実施形態４に係る雑音除去処理を示すフローチャート。 実施形態４に係る基本周波数と切り替え周波数の関係例を示す図。

以下、添付の図面を参照して、本発明をその好適な実施形態に基づいて詳細に説明する。なお、以下の実施形態において示す構成は一例に過ぎず、本発明は図示された構成に限定されるものではない。

上述のとおり、本発明は、音響信号から非方向性雑音のみを方向性目的音を混入させずに抽出し、音響信号から雑音のみを高精度に除去することができる雑音除去装置を提供する。実施形態における雑音除去装置は、適応ビームフォーマと固定ビームフォーマを周波数ごとに選択的に使用する。このとき、固定ビームフォーマのヌルの方向は適応ビームフォーマで自動形成されるヌルの方向から決定する。さらに、出力パワー最小化の規範に基づく適応ビームフォーマのフィルタ係数は、フィルタ係数のノルムを制約条件とする最小ノルム法で算出する。

＜実施形態１＞
図１は、本発明の実施形態を示すブロック図である。図１に示す雑音除去装置は、主たるシステムコントローラ１００の中に、全構成要素の統御を行うシステム制御部１０１、各種データを記憶しておく記憶部１０２、信号の解析処理を行う信号解析処理部１０３を備える。

収音系の機能を実現する要素としては、収音部１１１、音響信号入力部１１２を備える。本実施形態において収音部１１１は、２つのマイクロホン素子１１１ａ、１１１ｂが間隔を持って配置された、２ｃｈステレオマイクロホンで構成されるものとする。なお、各マイクロホン素子の配置座標は記憶部１０２があらかじめ保持しているものとする。もしくは、記憶部１０２と相互に結ばれた不図示のデータ入出力部を介して、外部から入力するようにしてもよい。音響信号入力部１１２は、収音部１１１の各マイクロホン素子からのアナログ音響信号に増幅およびＡＤ変換を施して、所定のサンプリングレートに対応する周期でデジタル音響信号である２ｃｈマイクロホン信号を生成する。なお、マイクロホン素子の数は複数であればよく、３個以上でも構わない。すなわち、本発明はマイクロホン素子の数が２個の場合に限定されるものではない。

本実施形態においては、方向性の目的音として−３０°方向の人の声と、非方向性の雑音として風雑音が、混合してステレオマイクロホンに入力されることを想定する。収音系で取得した２ｃｈマイクロホン信号は記憶部１０２へ逐次記録され、信号解析処理部１０３が中心となり、図３のフローチャートに沿って本実施形態の雑音除去処理が行われる。なお、音響サンプリングレートは４８ｋＨｚとして説明を行う。

ビームフォーマにおいてマイクロホン信号のフィルタリングを行う信号サンプル単位を時間ブロックと呼ぶものとし、本実施形態では時間ブロック長を１０２４サンプル（約２１ｍｓ）とする。また、時間ブロック長の半分である５１２サンプル（約１１ｍｓ）ずつ信号サンプル範囲をシフトしながら、時間ブロックループの中でマイクロホン信号のフィルタリングを行っていく。すなわち、第１時間ブロックではマイクロホン信号の第１サンプルから第１０２４サンプルを、第２時間ブロックでは第５１３サンプルから第１５３６サンプルをフィルタリングする。

図３のフローチャートは、時間ブロックループ内のひとつの時間ブロックにおける処理を表すものとする。

はじめにＳ３０１では、２ｃｈの各マイクロホン信号をフーリエ変換してフーリエ係数を取得する。ここで次のＳ３０２において、統計量である空間相関行列の算出には平均化処理が必要なため、現在の時間ブロックを基準として時間フレームという単位を導入する。時間フレーム長は時間ブロック長と同じ１０２４サンプルであり、現在の時間ブロックの信号サンプル範囲を基準として、所定の時間フレームシフト長ずつシフトした信号サンプル範囲を時間フレームとする。本実施形態では時間フレームシフト長を３２サンプルとし、上記平均化の回数に相当する時間フレーム数を１２８とする。すなわち第１時間ブロックにおいて、第１時間フレームは第１時間ブロックと同じくマイクロホン信号の第１サンプルから第１０２４サンプルを対象とし、第２時間フレームは第３３サンプルから第１０５６サンプルを対象とする。そして、第１２８時間フレームは第４０６５サンプルから第５０８８サンプルを対象とするため、第１時間ブロックの空間相関行列は、第１サンプルから第５０８８サンプルの１０６ｍｓのマイクロホン信号から算出されることになる。なお、時間フレームは現在の時間ブロックより前の信号サンプル範囲としてもよい。

以上を踏まえてＳ３０１では、第ｉチャネルのマイクロホン信号の現時間ブロックに関する、周波数f、時間フレームkにおけるフーリエ係数をZ_i(f,k)（i=1,2、k=1〜128）のように得る。なお、フーリエ変換の前にマイクロホン信号に対して窓掛けを行うのが好適であり、窓掛けは逆フーリエ変換によって再び時間信号に戻した後にも行う。このため、５０％ずつオーバーラップする時間ブロックに対し、２回の窓掛けにおける再構成条件を考慮して、窓関数にはサイン窓などを用いる。

Ｓ３０２からＳ３０７は周波数ごとの処理であり、周波数ループの中で行う。

Ｓ３０２では、マイクロホン信号の空間的性質を表す統計量である、空間相関行列を算出する。Ｓ３０１で得た各チャネルのフーリエ係数をまとめてベクトル化し、z(f,k)=[Z₁(f,k) Z₂(f,k)]^Tのように置く。z(f,k)を用いて、周波数ｆ、時間フレームｋにおける行列R_k(f)を式（１）のように定める。ここで、上付きのTは転置を、上付きのHは複素共役転置を表す。

空間相関行列R(f)は、R_k(f)を全ての時間フレームに関して平均化、すなわちR₁(f)からR₁₂₈(f)を足して１２８で割ることで得られる。

Ｓ３０３では、適応ビームフォーマのフィルタ係数を算出する。第ｉチャネルのマイクロホン信号をフィルタリングするフィルタ係数をW_i(f)（i=1,2）とし、ビームフォーマのフィルタ係数ベクトルをw(f)=[W₁(f) W₂(f)]^Tのように置く。

本実施形態では、適応ビームフォーマのフィルタ係数は最小ノルム法により算出する。これは、出力パワー最小化の規範に基づくものであり、w(f)を非零ベクトルとするための制約条件を、メインローブ方向の指定ではなく、フィルタ係数ノルムの指定によって記述する。これにより、非方向性雑音の抽出において本来不要である、メインローブ方向の指定をしなくて済むようになる。ビームフォーマの周波数fにおける平均出力パワーはw^H(f)R(f)w(f)で表されるため、最小ノルム法による適応ビームフォーマのフィルタ係数は、式（２）の制約付き最適化問題の解として得られる。

これは、エルミート行列であるR(f)を係数行列とする二次形式の最小化問題である。よって、R(f)の最小固有値に対応する固有ベクトルが、最小ノルム法で算出される適応ビームフォーマのフィルタ係数ベクトルw_adapt(f)となる。

Ｓ３０４では、適応ビームフォーマのビームパターンを算出する。Ｓ３０３で算出した適応ビームフォーマのフィルタ係数w_adapt(f)を用いて、ビームパターンの方位角θ方向の値Ψ(f,θ)は式（３）で得られる。

a(f,θ)は、式（４）で表されるアレイ・マニフォールド・ベクトルである。

ここで、jは虚数単位を表す。また、マイクロホン配置座標を記述した座標系の原点を中心とする単位球面上の方位角θの点から、各マイクロホン素子までの伝搬遅延時間τ_i(θ)（i=1,2）をまとめたベクトルをτ(θ)=[τ₁(θ) τ₂(θ)]^Tと置いている。

θを−１８０°から１８０°まで変えながらΨ(f,θ)を計算することで、水平方向のビームパターンが得られる。なお、ビームパターンの対称性に着目して、−９０°から０°を通って９０°までのビームパターンのみ算出してもよい。また、次のＳ３０５でチェックするビームパターンのヌルの深さを正確に把握するために、Ψが小さくなるヌル付近はθの間隔を密にしてΨを計算してもよい。さらに、方位角θだけでなく、仰角φについても０°以外に−９０°から９０°まで変えながらΨ(f,θ,φ)を計算することで、水平方向だけでなく垂直方向含む全方位のビームパターンを対象とすることもできる。

Ｓ３０５では、適応ビームフォーマが形成するビームパターンのヌルの深さをチェックする。

図４（ａ）は、Ｓ３０４で算出した或る周波数におけるビームパターンを直交座標で示した例であり、極座標で示した図２（ａ）の場合のビームパターンに対応する。図４（ａ）より、適応ビームフォーマによって目的音方向に深いヌルが自動形成されているため、この周波数では目的音を混入させずに風雑音のみを抽出できると考えられる。ここで、同図の双方向矢印で示すように、ビームパターンの最大値と最小値の差をヌルの深さと定義する。そして、ヌルの深さが所定値以上、例えば２０ｄＢ以上であればＳ３０６に進み、この周波数では適応ビームフォーマを選択するものとする。

一方、図４（ｂ）は、Ｓ３０４で算出した別の周波数におけるビームパターンを示した例であり、極座標で示した図２（ｂ）の場合のビームパターンに対応する。図４（ｂ）より、適応ビームフォーマで自動形成されるヌルが浅くなだらかなため、この周波数では風雑音の抽出において目的音が混入してしまうと考えられる。そこで、ヌルの深さが所定値未満、例えば２０ｄＢ未満であればＳ３０７に進み、この周波数では指定した方向に固定的にヌルを形成する固定ビームフォーマを選択するものとする。

Ｓ３０８では、固定ビームフォーマを用いる際に指定が必要となる、ヌルを形成するヌル方向（指定方向）を決定する。本発明において固定ビームフォーマのヌル方向は、Ｓ３０５でチェックした適応ビームフォーマのヌルが深く、Ｓ３０６で適応ビームフォーマが選択された周波数のビームパターンから決定する。

適応ビームフォーマで自動形成されたヌルが浅い場合、そのヌルの方向は図４（ｂ）に示すように目的音方向（−３０°）とずれている可能性がある。一方、適応ビームフォーマで深いヌルが自動形成された場合、そのヌルの方向は概ね図４（ａ）に示すように目的音方向を示していると考えられる。よって、Ｓ３０６で適応ビームフォーマが選択された周波数のビームパターンを平均化し、この平均ビームパターンが最小値となるヌルの方向を、固定ビームフォーマで指定するヌル方向θ_nullとする。すなわち、平均化によって各周波数でわずかに異なるヌルの方向を収束させ、固定ビームフォーマで用いるための代表値を得ている。なお、必ずしも適応ビームフォーマが選択された全周波数のビームパターンを使ってθ_nullを求める必要はなく、例えば目的音である音声の主要周波数帯の範囲内で、適応ビームフォーマが選択された周波数のみ用いてもよい。

図４（ｃ）は、本ステップにおけるビームパターンの平均化の例を示したものである。同図の細線が、適応ビームフォーマが選択された幾つかの周波数のビームパターンであり、それらを平均化した平均ビームパターンが太線で表されている。この平均ビームパターンのヌルの方向から、固定ビームフォーマで指定するヌル方向θ_nullが−３０°と求められる。

Ｓ３０９からＳ３１２は再び周波数ごとの処理であり、周波数ループの中で行う。

Ｓ３０９では、現ループの周波数において適応ビームフォーマが選択されていない場合は、固定ビームフォーマが選択されていることになるため、Ｓ３１０に進んで固定ビームフォーマのフィルタ係数を算出する必要がある。

Ｓ３１０では、Ｓ３０８で決定した固定ビームフォーマで指定するヌル方向θ_nullを用いて、固定ビームフォーマのフィルタ係数w_fix(f)を算出する。

まず、固定ビームフォーマのビームパターンにおいて、ヌル方向θ_nullにヌルを形成する条件は、アレイ・マニフォールド・ベクトルa(f,θ_null)を用いて式（５）のように表される。

ただし、式（５）だけでは解が零ベクトルとなってしまうため、メインローブ方向θmainにメインローブを形成する条件として式（６）を加える。ここで、メインローブ方向θ_mainはヌル方向θ_nullの反対方向などに定める。

式（５）及び式（６）をまとめて行列A(f)=[a(f,θ_null) a(f,θ_main)]を用いて表現すれば、式（７）のようになる。

よって、式（７）の両辺に左からA^H(f)の逆行列を掛けることで、固定ビームフォーマのフィルタ係数w_fix(f)が得られる。w_fix(f)のノルムは周波数ごとに異なるため、適応ビームフォーマと同様にノルムが1となるよう正規化するのが好適である。なお、フィルタ係数ベクトルw_fix(f)の要素数、すなわち収音部１１１のマイクロホン素子の数と、式（５）、式（６）のようなビームパターン上の制御点の数が異なる場合は、A(f)が正方行列ではないため一般化逆行列を用いる。

本ステップのように、本実施形態ではθ_null方向にヌルを形成する固定ビームフォーマを用いる。これにより、適応ビームフォーマでは図２（ｂ）のようなビームパターンとなった周波数でも、図２（ｃ）のように目的音方向に鋭いヌルが形成されたビームパターンが得られる。したがって、次のＳ３１１において目的音を混入させずに風雑音のみを抽出することができる。

Ｓ３１１では、式（８）のようにマイクロホン信号をフィルタリングすることで、雑音抽出信号のフーリエ係数Y(f)を取得する。ここで、z(f)=z(f,1)である。

ビームフォーマのフィルタ係数w(f)は、適応ビームフォーマが選択されている周波数ではw_adapt(f)を用い、固定ビームフォーマが選択されている周波数ではw_fix(f)を用いる。

Ｓ３１２では、Ｓ３１１で抽出した雑音を各マイクロホン信号から周波数領域で減算することで、雑音が除去された雑音除去マイクロホン信号のフーリエ係数X_i(f)（i=1,2）を取得する。雑音減算は、式（９）で表されるようなスペクトル減算などにより行う。

ここで、Z_i(f)=Z_i(f,1)（i=1,2）であり、絶対値記号により振幅スペクトルを、argにより位相スペクトルを表している。また、βは減算強度を調整する減算係数、ηは減算結果が正とならない場合に、微小な出力を確保するためのフロアリング係数である。

Ｓ３１１において、目的音を混入させずに風雑音のみを抽出できているため、本ステップの雑音減算において目的音を削ることなく、風雑音のみを高精度に除去することができる。

Ｓ３１３では、Ｓ３１２で取得した雑音除去マイクロホン信号のフーリエ係数を逆フーリエ変換し、現時間ブロックにおける雑音除去マイクロホン信号を取得する。これを窓掛けして前時間ブロックまでの雑音除去マイクロホン信号にオーバーラップ加算していき、得られる雑音除去マイクロホン信号を記憶部１０２へ逐次記録する。以上のようにして得られた雑音除去マイクロホン信号は、データ入出力部を介して外部に出力したり、イヤホンといった不図示の音響再生系によって再生したりすることができる。

＜実施形態２＞
上記実施形態においては、適応ビームフォーマを選択するか、固定ビームフォーマを選択するかの判断を、周波数ごとに行っていた。以下の実施形態においては、非方向性雑音の具体例として想定している風雑音が、低い周波数ほどパワーが強くなる傾向があることを踏まえ、ビームフォーマの切り替え周波数というものを導入する。

すなわち、切り替え周波数以上の周波数では、図２（ａ）のように目的音に比べて風雑音のパワーは小さく、適応ビームフォーマによって目的音方向に鋭いヌルが自動形成されると考え、適応ビームフォーマを選択する。一方、切り替え周波数未満の周波数では、図２（ｂ）のように風雑音のパワーが目的音に匹敵し、適応ビームフォーマで自動形成されるヌルはなだらかになると考え、固定ビームフォーマを選択する。

切り替え周波数は、例えば１ｋＨｚといった所定値を固定的に用いてもよいが、本実施形態においては各マイクロホン信号間の相関係数から決定するものとし、図５のフローチャートに沿って雑音除去処理を行う。

はじめにＳ５０１では、現時間ブロックの信号サンプル範囲の各マイクロホン信号から、マイクロホン信号間の相関係数を算出する。相関係数は、マイクロホン信号の２つのチャネルの組合せに対して算出されるため、マイクロホン素子の数をＭとすると_MＣ₂個の相関係数が得られる。ステレオマイクロホンの場合、相関係数はひとつである。

Ｓ５０２では、図６のグラフで表されるような関係を用いて、Ｓ５０１で算出した相関係数から切り替え周波数を決定する。なお、マイクロホン素子が３個以上で複数の相関係数が得られている場合は、その平均値を用いればよい。また、相関係数が負値となる場合は、絶対値を取るか０にするものとする。

図６のグラフの形状は、以下のような考え方で定められている。まず、方向性の目的音はマイクロホン間で相関が高くなるため、相関係数は１に近い値となる。一方、非方向性の風雑音はマイクロホン間で相関が低くなるため、相関係数は０に近い値となる。よって、相関係数が１から０に近づいて行くほど、目的音に対して風雑音が強いと考え、切り替え周波数を上げることで固定ビームフォーマを選択する周波数の割合を増やす。特に、相関係数が１に近い場合は切り替え周波数を０Ｈｚとし、適応ビームフォーマのみを用いるものとする。また、相関係数が０のときの切り替え周波数を、風雑音の主要周波数帯を考慮して１ｋＨｚと定めている。

Ｓ５０３の処理は、Ｓ３０１と同じであるため説明を省略する。

Ｓ５０４からＳ５０６は周波数ごとの処理であり、周波数ループの中で行うが、適応ビームフォーマに関する処理であるため、Ｓ５０２で決定した切り替え周波数以上の周波数でのみ行えばよい。なお、Ｓ５０４からＳ５０６の処理は、Ｓ３０２からＳ３０４と同じである。

Ｓ５０７の処理は、Ｓ３０８と同じであるため説明を省略する。

Ｓ５０８からＳ５１１は再び周波数ごとの処理であり、周波数ループの中で行う。Ｓ５０８では、現ループの周波数が切り替え周波数未満の場合は、固定ビームフォーマを選択することになるため、Ｓ５０９に進んで固定ビームフォーマのフィルタ係数を算出する必要がある。なお、Ｓ５０９からＳ５１１の処理は、Ｓ３１０からＳ３１２と同じである。

最後のＳ５１２の処理は、Ｓ３１３と同じであるため説明を省略する。

＜実施形態３＞
本実施形態においては、適応ビームフォーマで抽出した雑音から切り替え周波数を決定するものとし、図７のフローチャートに沿って雑音除去処理を行う。

Ｓ７０１の処理は、Ｓ３０１と同じであるため説明を省略する。

Ｓ７０２からＳ７０５は周波数ごとの処理であり、周波数ループの中で行う。Ｓ７０２からＳ７０４の処理は、Ｓ３０２からＳ３０４と同じである。

Ｓ７０５では、式（８）のようにマイクロホン信号をフィルタリングすることで、雑音抽出信号のフーリエ係数Y(f)を取得する。ただし、この時点で算出されているビームフォーマのフィルタ係数はw_adaptのみであるため、適応ビームフォーマのみによって雑音抽出を行う。

Ｓ７０６では、Ｓ７０５で取得した雑音抽出信号のフーリエ係数から切り替え周波数を決定する。

図８は、雑音抽出信号のフーリエ係数から得られる振幅スペクトルを、複数の時間ブロックに亘って表示したスペクトログラムを表している。デシベル表現された振幅スペクトルの値は、所定レベルの閾値によって二値化して表示されており、白がレベルの大きい方を、黒がレベルの小さい方を表す。同図より、風雑音の振幅スペクトル包絡が得られていることがわかる。

振幅スペクトル包絡より上の周波数では、目的音である音声の調波構造による縞模様は殆ど見えていないため、適応ビームフォーマによって風雑音のみを抽出できていると考えられる。しかしながら、振幅スペクトル包絡より下の周波数では風雑音がかなり強くなるため、風雑音の大きい振幅スペクトルによって見えてはいないが、音声が混入してしまっている可能性が高い。

そこで本実施形態においては、適応ビームフォーマで抽出した雑音の振幅スペクトル包絡からビームフォーマの切り替え周波数を決定し、切り替え周波数未満の周波数では固定ビームフォーマを用いるようにする。

本ステップの具体的な処理としては、例えば現在の時間ブロックが図８の点線で示されるとすると、雑音の振幅スペクトルのレベルが閾値以上となる最大の周波数を切り替え周波数とし、この場合は同図の矢印で示される約７１０Ｈｚとなる。

Ｓ７０７の処理は、Ｓ３０８と同じであるため説明を省略する。

Ｓ７０８からＳ７１１は再び周波数ごとの処理であり、周波数ループの中で行う。Ｓ７０８では、現ループの周波数が切り替え周波数未満の場合は、固定ビームフォーマを選択することになるため、Ｓ７０９に進んで固定ビームフォーマのフィルタ係数を算出する必要がある。なお、Ｓ７０９の処理はＳ３１０と同じである。

Ｓ７１０では、Ｓ７０５で適応ビームフォーマのフィルタ係数w_adapt(f)を用いて取得していた雑音抽出信号のフーリエ係数Y(f)を、固定ビームフォーマのフィルタ係数w_fix(f)を用いて取得したものに更新する。なお、Ｓ７１１の処理はＳ３１２と同じである。

最後のＳ７１２の処理は、Ｓ３１３と同じであるため説明を省略する。

＜実施形態４＞
本実施形態においては、マイクロホン信号から検出される基本周波数から切り替え周波数を決定するものとし、図９のフローチャートに沿って雑音除去処理を行う。

Ｓ９０１の処理は、Ｓ３０１と同じであるため説明を省略する。

Ｓ９０２では、Ｓ９０１で取得した各マイクロホン信号の現時間ブロックにおけるフーリエ係数Z_i(f,1)（i=1,2）から、目的音である音声の基本周波数を検出する。

図１０は、ｃｈ１のZ₁(f,1)から算出した実数ケプストラムを、複数の時間ブロックに亘って表示したものである。デシベル表現された実数ケプストラムの値は、所定レベルの閾値によって二値化して表示されており、白がレベルの大きい方を、黒がレベルの小さい方を表す。グラフの縦軸はケフレンシーの逆数で周波数の次元を持ち、振幅スペクトルが調波構造を持つ場合の基本周波数を表している。

同図の実線の丸で囲まれた横線（約２８５Ｈｚ）が、実数ケプストラムのレベルが閾値以上となった周波数であり、マイクロホン信号に含まれる音声の基本周波数を表していると考えられる。このように本ステップで基本周波数が検出された時間ブロックでは、Ｓ９０３に進んで基本周波数をビームフォーマの切り替え周波数とする。これは、音声に対して風雑音が強いほど基本周波数は検出しにくくなるが、所定レベル以上で基本周波数が検出できていれば、その周波数以上は適応ビームフォーマによって風雑音のみを抽出できるであろうという考え方に基づく。

なお、図１０において二値化するための閾値をもっと低くすると、同図の点線の丸で囲まれた横線（約１４２Ｈｚ）が現れる。このように、所定レベル以上で検出された基本周波数（約２８５Ｈｚ）より下の周波数でも、目的音である音声が含まれている場合があるため、固定ビームフォーマで目的音方向にヌルを形成する意味があると考えられる。

なお、ひとつの時間ブロックにおいて、ひとつのチャネルで複数の基本周波数が検出された場合は、最も低いものを基本周波数とするのが好適である。また、チャネルごとに基本周波数が異なる場合は、最も高いものを選択するのが好適である。

Ｓ９０２において所定レベル以上で基本周波数が検出できなかった場合は、風雑音のみが存在する無声区間であると考え、Ｓ９０４に進んで切り替え周波数を０Ｈｚとする。すなわち、適応ビームフォーマのみを用いて雑音を抽出することになる。方向性の目的音が存在せず、非方向性の風雑音のみが存在する場合は、雑音抽出においてビームフォーマにより指向性を持たせる必要はない。このように非方向性雑音のみが存在する場合、適応ビームフォーマは極座標で示すビームパターンがほぼ円形となるため好適である。

なお、所定数さかのぼった時間ブロックまでに基本周波数が検出された時間ブロックがあった場合は、現時間ブロックを無声区間ではなく調波構造が不明瞭な子音区間であると考え、前の基本周波数を切り替え周波数として用いるようにしてもよい。

以降のＳ９０５からＳ９１３の処理は、実施形態２のＳ５０４からＳ５１２と同じであるため説明を省略する。

実施形態３では、風雑音の振幅スペクトル包絡から切り替え周波数を決定していた。一方、本実施形態では、上記の振幅スペクトル包絡より下の周波数であっても、基本周波数が検出されれば切り替え周波数とするため、実施形態３に比べて適応ビームフォーマを選択する周波数の割合は増える傾向にある。

なお、マイクロホン信号の取得は必ずしも本発明の雑音除去装置で行わなくてもよく、外部からデータ入出力部を介して、マルチチャネルマイクロホン信号および対応する各マイクロホン素子の配置座標を取得するようにしてもよい。

以上説明した本発明によれば、適応ビームフォーマと固定ビームフォーマを周波数ごとに選択し、固定ビームフォーマのヌルの方向は適応ビームフォーマで自動形成されるヌルの方向から決定する。さらに、出力パワー最小化の規範に基づく適応ビームフォーマのフィルタ係数は、フィルタ係数のノルムを制約条件とする最小ノルム法で算出する。さらに、上記選択において適応ビームフォーマで自動形成されるヌルの深さをチェックする。これらの処理により、音響信号から非方向性雑音のみを方向性目的音を混入させずに抽出し、音響信号から雑音のみを高精度に除去することができる。

（他の実施形態）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。この場合、そのプログラム、及び該プログラムを記憶した記憶媒体は本発明を構成することになる。

Claims (14)

1. 複数のマイクロホンで収音した複数のマイクロホン信号を得る取得手段と、
   前記複数のマイクロホン信号に含まれる雑音信号を抑圧するために使用するビームフォーマとして、方向性の目的音の方向にビームパターンのヌルが自動形成される適応ビームフォーマか、指定方向にビームパターンのヌルを形成する固定ビームフォーマかを、前記複数のマイクロホン信号の周波数に応じて選択する選択手段と、
   を有し、
   前記指定方向は前記適応ビームフォーマで自動形成されるヌルの方向から決定される
   ことを特徴とする雑音抑圧装置。
2. 複数のマイクロホンで収音した複数のマイクロホン信号を得る取得手段と、
   前記複数のマイクロホン信号に含まれる雑音信号を抑圧するために使用するビームフォーマとして、方向性の目的音の方向にビームパターンのヌルが自動形成される適応ビームフォーマか、指定方向にビームパターンのヌルを形成する固定ビームフォーマかを、前記複数のマイクロホン信号の周波数に応じて選択する選択手段と、
   を有し、
   前記適応ビームフォーマのフィルタ係数は最小ノルム法により算出される
   ことを特徴とする雑音抑圧装置。
3. 複数のマイクロホンで収音した複数のマイクロホン信号を得る取得手段と、
   前記複数のマイクロホン信号に含まれる雑音信号を抑圧するために使用するビームフォーマとして、方向性の目的音の方向にビームパターンのヌルが自動形成される適応ビームフォーマか、指定方向にビームパターンのヌルを形成する固定ビームフォーマかを、前記複数のマイクロホン信号の周波数に応じて選択する選択手段と、
   を有し、
   前記適応ビームフォーマのフィルタ係数は最小ノルム法により算出され、前記指定方向は前記適応ビームフォーマで自動形成されるヌルの方向から決定される
   ことを特徴とする雑音抑圧装置。
4. 前記選択手段は、前記適応ビームフォーマのビームパターンにおいてヌルの深さに対応する最大値と最小値との差が所定値未満となる周波数では、前記固定ビームフォーマを選択することを特徴とする請求項１乃至３のいずれか１項に記載の雑音抑圧装置。
5. 前記選択手段は、所定の切り替え周波数以上の周波数では前記適応ビームフォーマを選択し、前記切り替え周波数未満の周波数では前記固定ビームフォーマを選択することを特徴とする請求項１乃至３のいずれか１項に記載の雑音抑圧装置。
6. 前記複数のマイクロホン信号間の相関係数が小さいほど、前記切り替え周波数を高くすることを特徴とする請求項５に記載の雑音抑圧装置。
7. 前記切り替え周波数は、前記適応ビームフォーマで得た前記雑音信号の振幅スペクトルが所定値以上である最大の周波数とすることを特徴とする請求項５に記載の雑音抑圧装置。
8. 前記切り替え周波数は、前記複数のマイクロホン信号から検出される基本周波数とすることを特徴とする請求項５に記載の雑音抑圧装置。
9. 前記複数のマイクロホン信号の各々から前記雑音信号を減算する手段を更に有することを特徴とする請求項１乃至８のいずれか１項に記載の雑音抑圧装置。
10. 前記選択手段は、前記複数のマイクロホン信号の周波数ごとに、使用するビームフォーマとして、前記適応ビームフォーマ又は前記固定ビームフォーマを選択することを特徴とする請求項１乃至９のいずれか１項に記載の雑音抑圧装置。
11. 複数のマイクロホンを有する雑音抑圧装置の制御方法であって、
    前記複数のマイクロホンで収音した複数のマイクロホン信号を取得するステップと、
    前記複数のマイクロホン信号に含まれる雑音信号を抑圧するために使用するビームフォーマとして、方向性の目的音の方向にビームパターンのヌルが自動形成される適応ビームフォーマか、指定方向にビームパターンのヌルを形成する固定ビームフォーマかを、前記複数のマイクロホン信号の周波数に応じて選択するステップと、
    を有し、
    前記指定方向は前記適応ビームフォーマで自動形成されるヌルの方向から決定される
    ことを特徴とする雑音抑圧装置の制御方法。
12. 複数のマイクロホンを有する雑音抑圧装置の制御方法であって、
    前記複数のマイクロホンで収音した複数のマイクロホン信号を取得するステップと、
    前記複数のマイクロホン信号に含まれる雑音信号を抑圧するために使用するビームフォーマとして、方向性の目的音の方向にビームパターンのヌルが自動形成される適応ビームフォーマか、指定方向にビームパターンのヌルを形成する固定ビームフォーマかを、前記複数のマイクロホン信号の周波数に応じて選択するステップと、
    を有し、
    前記適応ビームフォーマのフィルタ係数は最小ノルム法により算出される
    ことを特徴とする雑音抑圧装置の制御方法。
13. 複数のマイクロホンを有する雑音抑圧装置の制御方法であって、
    前記複数のマイクロホンで収音した複数のマイクロホン信号を取得するステップと、
    前記複数のマイクロホン信号に含まれる雑音信号を抑圧するために使用するビームフォーマとして、方向性の目的音の方向にビームパターンのヌルが自動形成される適応ビームフォーマか、指定方向にビームパターンのヌルを形成する固定ビームフォーマかを、前記複数のマイクロホン信号の周波数に応じて選択するステップと、
    を有し、
    前記適応ビームフォーマのフィルタ係数は最小ノルム法により算出され、前記指定方向は前記適応ビームフォーマで自動形成されるヌルの方向から決定される
    ことを特徴とする雑音抑圧装置の制御方法。
14. コンピュータに、請求項１１乃至１３のいずれか１項に記載の雑音抑圧装置の制御方法の各ステップを実行させるためのプログラム。

Images