JP5713933B2 - 音源距離測定装置、音響直間比推定装置、雑音除去装置、それらの方法、及びプログラム - Google Patents

Description

本発明は、例えば、音声入力によって機器を操作するハンズフリー方式等に応用可能な、マイクロホンアレーを用いてマイクロホンアレーから音源までの距離を推定する音源距離測定装置、雑音除去装置、それらに用いられる音響直間比推定装置、それらの方法、及びプログラムに関する。

特許文献１に示す従来技術では、直間比を求めるためにマイクロホンアレーの受音信号を周波数領域に変換し、その信号から求められる空間相関行列を用いて直接音と間接音のそれぞれのパワーを求めている（例えば、実施例１の段落［００２５］〜［００３９］参照）。

特開２０１１−５３０６２号公報

特許文献１に開示された方法では、直接音とそれと同じ方向から到来する間接音との区別がつかないため、直接音の方向から到来する音はすべて直接音と判断されてしまう。結果として直接音パワーを過大評価（または間接音パワーを過小評価）してしまい、最終的に求められる直間比が真の値よりも大きくなってしまう。
本発明はこのような点に鑑みてなされたものであり、音響信号の直間比推定値を精度よく求める技術を提供することを目的とする。

本発明では以下のように音響信号の直間比推定値を得る。
マイクロホンアレーに含まれる複数個のマイクロホンで受音された受音信号を周波数領域に変換して得られる周波数領域信号を用い、当該周波数領域信号のパワー推定値を得る。また、上記周波数領域信号に対して直接音源方向から到来した信号成分を抑圧する処理を行って得られた直接音抑圧信号のパワー推定値、又は、上記受音信号に対して直接音源方向から到来した信号成分を抑圧する処理を行って得られた信号を周波数領域に変換して得られた直接音抑圧信号のパワー推定値を得る。直接音源方向から到来した信号成分を抑圧する指向特性を表す関数から得られた指向性形状補正係数を用い、上記直接音抑圧信号のパワー推定値を補正し、間接音のパワー推定値を得、上記周波数領域信号のパワー推定値及び間接音のパワー推定値を用い、間接音のパワー推定値に対する直接音のパワー推定値の比率を表す直間比推定値を得る。

本発明では、直接音源方向から到来する間接音を直接音と区別して、間接音のパワーを推定する。従って従来手法に比べ音響信号の直間比推定値を精度よく求めることができる。

音源距離測定装置を利用する場面の一例を示す図。 屋内での音の伝搬経路を例示する図。 直間比推定値とマイクロホンから音源までの距離との関係を例示する図。 座標系を説明するための図。 指向性の形状を例示する概念図。 音源距離推定装置の機能構成を例示する図。 音源距離推定装置の動作フローを例示する図。 周波数領域変換部及び直間比計算部を例示する図。 直間比計算部の機能構成を例示する図。 雑音除去装置の機能構成を例示する図。 雑音除去装置の動作フローを例示する図。

以下、図面を参照して本発明の実施形態を説明する。複数の図面中同一のものには同じ参照符号を付し、説明は繰り返さない。また、以下の説明において、テキスト中で使用する記号「￣」や「＾」等は、本来直前の文字の真上に記載されるべきものであるが、テキスト記法の制限により、当該文字の直後に記載する。式中においてはこれらの記号は本来の位置に記述している。

実施例の説明の前にこの発明の考えについて説明する。
〔この発明の考え〕
この発明は、単一のマイクロホンアレーを用いて、マイクロホンアレーと音源との間の距離を推定するものである。図１にこの発明の音源距離推定装置４００を利用する場面を例示する。残響特性を持つ部屋１０の中に、マイクロホンアレー１１と、発話者１２が存在している。マイクロホンアレー１１と発話者１２は距離を置いて配置されている。
この状況において、発話者１２とマイクロホンアレー１１との間の距離Ｄを推定したい。そこで、この発明は、直間比推定値を用いて音源とマイクロホンアレー間の距離を推定する。

直間比とは、受信音に含まれる直接音と間接音（残響音）との比（例えば、パワーの比、パワースペクトルの比、パワースペクトル密度の比、振幅の単調増加関数値の比）である。間接音のパワー推定値に対する直接音のパワー推定値の比率を表す値を「直間比推定値」と呼ぶ。例えば、直接音のパワー推定値を間接音のパワー推定値で除した値を直間比推定値としてもよいし、間接音のパワー推定値を直接音のパワー推定値で除した値を直間比推定値としてもよいし、それら何れかの関数値を直間比推定値としてもよい。パワー推定値とは、パワーの増加に応じて増加する値を意味する。パワー推定値の例は、パワー、パワースペクトル、パワースペクトル密度、振幅の単調増加関数値、それらの推定値などである。

図２に屋内にマイクロホンを置いて音を収録した際の、音源２１からマイクロホン２２までの音の伝搬経路を示す。直接音とは、音源２１からマイクロホンまで直接到達する太い実線で示す音波である。一方の残響音とは、音源２１から発した音が壁や床や天井などで反射してからマイクロホン２２に到達する破線で示す音波である。

図３に直間比とマイクロホン間距離との関係を示す。図３の横軸はマイクロホンから音源までの距離、縦軸は直間比である。一般的に間接音はマイクロホンからの距離に依存しない一定の大きさを示す。その間接音に対して直接音は、マイクロホンからの距離の増加に伴って単調に減少する特性を示す。その直接音を間接音で除した直間比は、直接音と同様に距離の増加に伴って単調に減少する特性になる。

この発明の音源距離推定装置は、この直間比を用いることで、マイクロホンアレーで受音した受信音からマイクロホンアレーと音源との間の距離の推定を可能にする。この発明の音響直間比推定装置は、直間比推定値を出力する。また、この発明の雑音除去装置は、音響直間比推定装置が出力する直間比推定値に応じて受音信号の雑音を除去する。

直間比推定値を精度よく求めることができる原理を説明する。
＜間接音の等方到来モデル＞
提案方式では、間接音の等方性を考慮した信号モデルを導入する。ここでは、パワー推定値としてパワースペクトル密度又はその推定値を用いた例を説明するが、これは本発明を限定しない。
Ｍ（Ｍ≧２）個のマイクロホンからなるマイクロホンアレーのｍ番目のマイクロホンでの受音信号を短時間フーリエ変換等によって周波数領域に変換すると、以下の周波数領域信号Ｘ_ｍ（ω，ｔ）が得られる。
X_ｍ(ω,t)=(H_D ^(m)(ω)+H_R ^(m)(ω))S(ω,t) (1)
ただし、ωは周波数であり、Ｈ_Ｄ ^（ｍ）（ω）は直接音源からｍ番目のマイクロホンまでの直接音の伝達関数であり、Ｈ_Ｒ ^（ｍ）（ω）は直接音源からｍ番目のマイクロホンまでの間接音の伝達関数であり、Ｓ（ω，ｔ）は直接音源での音を周波数領域に変換して得られる信号である。ｔは所定の時間区間であるフレームのインデックスであり、インデックスｔに対応するフレームを「フレームｔ」と表現する。

ここで直接音はコヒーレント（coherent）である一方、間接音はその主な成分が残響であることから拡散音（diffuse）であると仮定する。すなわち、それぞれの到来方向に着目した場合、直接音は音源の方向からのみ到来するのに対し、間接音はあらゆる方向から一様なパワーで到来する性質（以下「等方性」という）を持つ。提案方式ではこれら空間的な到来特性の違いに着目して間接音パワーを推定して直間比推定値を求める。

前提条件として直接音の到来方向（以下「直接音源方向」という）は既知であり、直接音及び任意の方向から到来する間接音は平面波とみなせるとし、拡散音の定義より直接音と間接音は互いに無相関とする。このとき直接音源からｍ番目のマイクロホンまでの直接音，間接音の伝達関数Ｈ_Ｄ ^（ｍ）（ω），Ｈ_Ｒ ^（ｍ）（ω）は、それぞれ以下のように表現できる。

ただし、Ｈ_Ｄｒｅｆ（ω）は直接音源からマイクロホンアレーの基準点（「基準点」という）までの伝達関数の直接音成分であり、Ｈ_{Ｒｒｅｆ，θ}（ω）は基準点からみて方向θから到来する間接音成分である。基準点はマイクロホンアレーの内部に存在してもよいし、マイクロホンアレーの外部に存在してもよい。マイクロホンアレーの内部とは、例えば、マイクロホンアレーを構成する複数のマイクロホンを通る直線上、当該複数のマイクロホンを通る線分で囲まれた平面の内部、又は当該複数のマイクロホンを通る面で囲まれた立体の内部を意味する。マイクロホンアレーの外部とは、マイクロホンアレーの内部以外の位置を意味する。例えば、マイクロホンアレーを構成する複数のマイクロホンそれぞれと基準点との距離は、マイクロホンそれぞれと直接音源との距離よりも短い。基準点の例は、マイクロホンアレーの中心点、何れかマイクロホンの位置である。このとき方向θから到来する音の上記基準点からｍ番目のマイクロホンまでの間での伝搬遅延τ_θ ^（ｍ）は、次式のように表される。
τ_θ ^(m)=-(1/c)u^Tp_m
ここで第ｍ番目のマイクロホンの位置ｐ_ｍは、
p_m=[p_m,x, p_m,y, p_m,z]^T
であり、図４Ａ及び４Ｂに示すように直接音源方向を表す単位ベクトルｕは、
u=[sinθ, cosθ, 0]^T
であり、ｃは音波の伝搬速度である。またθ_Ｄは基準点からみた直接音源方向であり、ｊは虚数単位であり、ｅは自然対数である。また、θについての積分は０≦θ＜２πの範囲で行われる（以下の積分についても同様）。

すなわち直接音と間接音の伝達関数Ｈ_D ^（ｍ）（ω），Ｈ_Ｒ ^（ｍ）（ω）のそれぞれは、直接音源から基準点までの伝達関数成分と、基準点からｍ番目のマイクロホンまでの伝搬遅延による位相差成分とに分解して表すことができる。従って、周波数領域信号Ｘ_ｍ（ω，ｔ）（ｍ∈｛１，...，Ｍ｝）を要素とするマイクロホンアレー入力ベクトルＸ（ω，ｔ）＝［Ｘ_１（ω，ｔ），...，Ｘ_Ｍ（ω，ｔ）］^Ｔは次式で表される。

ただし、α^Ｔはαの転置を表し、Ｓ_Ｄ（ω，ｔ）＝Ｈ_Ｄｒｅｆ（ω）Ｓ（ω，ｔ），Ｓ_Ｒ，θ（ω，ｔ）＝Ｈ_{Ｒｒｅｆ，θ}（ω）Ｓ（ω，ｔ）である。また、Ａ_θ（ω）は、方向θからマイクロホンアレーに到来する周波数ωの音の基準点からｍ番目のマイクロホンまでの経路の伝達関数を要素とするＭ次元ベクトルである。Ａ_θ（ω）の具体例は、マイクロホンアレーの基準点からみた方向θのアレイ・マニフォールド・ベクトル（array manifold vector）である。以下にアレイ・マニフォールド・ベクトルをＡ_θ（ω）とした例を示す。

アレイ・マニフォールド・ベクトルの各要素は伝搬遅延τ_θ ^（ｍ）に依存する。直接音及び間接音が平面波とみなせる場合、伝搬遅延τ_θ ^（ｍ）はマイクロホンアレーの基準点に対する各マイクロホンの相対位置及び方向θに依存する。なお、アレイ・マニフォールド・ベクトルの詳細については、例えば、参考文献１「浅野太著，“音のアレイ信号処理−音源の定位・追跡と分離（日本音響学会編 音響テクノロジーシリーズ）”，株式会社コロナ社，２０１１年２月２５日，ＩＳＢＮ９７８−４−３３９−０１１１６−６」の第１章（Ｐ１〜２６）を参照されたい。

このマイクロホンアレー入力に任意のビームフォーマ（BF: beamformer）を適用すると、その出力のパワースペクトル密度（PSD: power spectral density）Ｐ_ＢＭ（ω）は以下のようになる。

ただし、Ｐ_Ｄ（ω）＝Ｅ［｜Ｓ_Ｄ（ω，ｔ）｜^２］_ｔ、Ｐ_Ｒ，θ（ω）＝Ｅ［｜Ｓ_Ｒ，θ（ω，ｔ）｜^２］_ｔである。Ｗ（ω）は、周波数領域のビームフォーマのフィルタ係数Ｗ_１（ω），...，Ｗ_Ｍ（ω）を要素とするベクトルＷ（ω）＝［Ｗ_１（ω），...，Ｗ_Ｍ（ω）］^Ｔである（参考文献１の第４．１章（Ｐ７０，７１）等参照）。Ｕ（ω）は、ｐｑ成分（ｐ，ｑ∈｛１，...，Ｍ｝）に要素Ｕ_ｐｑ（ω）＝Ｅ［Ｘ_ｐ（ω，ｔ）Ｘ_ｑ ^＊（ω，ｔ）］_ｔを持つＭ×Ｍ行列（マイクロホンアレーの入力信号空間相関行列）である。Ｅ［α（ｔ）］_ｔはα（ｔ）のｔについての期待値演算を表し、α^Ｈはαの複素共役転置を表し、α^＊はαの複素共役を表す。Ｄ（ω，θ）はビームフォーマによって形成される指向特性を表す関数（ω，θを定義域とする関数）である。すなわち、Ｄ（ω，θ）はビームフォーマによって形成される指向性の形状を表す。例えば、Ｄ（ω，θ）は以下のように表される。

＜ビームフォーマを用いた直間比推定＞
式（４）において間接音がマイクロホンアレーに等方的に到来すると仮定できる音場では、Ｐ_Ｒ，θ（ω）はθに依らない値Ｐ_Ｒ ⁻（ω）に置き換えることができる。この場合、式（４）は以下のように変形できる。

次に、直接音源方向θ_Ｄから到来した信号成分を抑圧するビームフォーマを想定する。言い換えると、直接音源方向θ_Ｄにヌル（指向性の感度の低い点）を向けた指向特性形状（例えば図５参照）が得られるビームフォーマを想定する。さらに言い換えると、直接音源方向θ_Ｄに空間的なノッチを持った指向特性を実現するビームフォーマを想定する。このようなビームフォーマは、直接音源方向θ_Ｄの情報から容易に設定できる。例えば、参考文献１の第４．６章（Ｐ９０〜９７）に記載された「ブロッキング行列」によって表されるフィルタをこのようなビームフォーマとして用いることができる。直接音源方向θ_Ｄから到来した信号成分を抑圧するビームフォーマは、理想的には直接音源方向θ_Ｄから到来した信号成分をゼロにする。すなわち理想的にはＤ（ω，θ_Ｄ）＝０となる。このような理想的なビームフォーマの出力パワースペクトル密度をＰ_ＮＤ（ω）とすると、式（６）から以下が成り立つ。

ここで、Ｄ（ω，θ）がすべてのθについて間接音成分を抑圧しない指向特性を表すといえるのであれば、Ｐ_ＮＤ（ω）は間接音のパワースペクトル密度Ｐ_Ｒ（ω）であるとみなせる。しかしながら、方向θ_Ｄから到来する音のみを抑圧し、方向θ≠θ_Ｄから到来する信号を全く抑圧しない指向特性を得ることは困難である。仮に方向θ≠θ_Ｄから到来する信号を全く抑圧しない指向特性を得ることができたとしても、ここで想定しているビームフォーマは直接音源方向θ_Ｄから到来した音（間接音成分も含む）を抑圧するものであるため、少なくともこの方向θ_Ｄから到来する間接音成分は抑圧される。したがって、Ｄ（ω，θ）がすべてのθについて間接音成分を抑制しない指向特性を表すとは言えない。

そこで提案方式では、Ｄ（ω，θ）を用いて指向性形状補正係数Ｒ（ω）を求め、指向性形状補正係数Ｒ（ω）を用いてＰ_ＮＤ（ω）を補正し、間接音のパワースペクトル密度Ｐ_Ｒ（ω）を推定する。
P_R(ω)=R(ω)P_ND(ω) (9)

例えば、周波数ωごとの｜Ｄ（ω，θ）｜^２の最大値をｍａｘ_θ’｜Ｄ（ω，θ’）｜^２とし、以下のように指向性形状補正係数Ｒ（ω）が設定されてもよい（指向性形状補正係数の具体例１）。

ただし、θ’は｜Ｄ（ω，θ）｜^２を最大化するθを意味する。

或いは、特定の角度領域Θでの｜Ｄ（ω，θ’’）｜^２（θ’’∈Θ）の平均値を分子とし、以下のように指向性形状補正係数Ｒ（ω）が設定されてもよい（指向性形状補正係数の具体例２）。

ただし、||Θ||は角度領域Θの大きさを表す０より大きな有理数である。例えば、||Θ||は以下を満たす。

角度領域Θの具体例は、直接音源方向θ_Ｄを除く何れかの角度領域、直接音源方向θ_Ｄの逆方向を含む角度領域、｜Ｄ（ω，θ）｜^２を最大化する方向θを含む角度領域、予め定められた角度領域の候補のうち｜Ｄ（ω，θ）｜^２の平均値を最大化する角度領域などである。

その他、式（１０）又は式（１１）に補正定数が乗じられたものが指向性形状補正係数Ｒ（ω）とされてもよい（指向性形状補正係数の具体例３）。この場合、音響特性を考慮した周波数依存の補正定数が乗じられてもよいし、周波数不依存の補正定数が乗じられてもよい。或いは、式（８）の分子が周波数依存又は不依存の定数であってもよい（指向性形状補正係数の具体例４）。

提案方式では、指向性形状補正係数Ｒ（ω）を用いてビームフォーマの出力パワースペクトル密度Ｐ_ＮＤ（ω）を補正し、間接音のパワースペクトル密度の推定値Ｐ_Ｒ（ω）を求める。これにより、直接音源方向θ_Ｄから到来し、ビームフォーマによって抑圧された間接音成分を補正でき、間接音のパワースペクトル密度の推定値Ｐ_Ｒ（ω）を精度よく求めることができる。

間接音のパワースペクトル密度の推定値Ｐ_Ｒ（ω）が得られれば、さらに周波数領域信号Ｘ_１（ω，ｔ），...，Ｘ_Ｍ（ω，ｔ）から得られるパワースペクトル密度の推定値Ｐ_Ｘ（ω）を用い、直間比推定値ＤＲＲを得ることができる。例えば、以下の直間比推定値ＤＲＲを得ることができる（直間比推定値ＤＲＲの具体例１）。

或いは、以下のようなデシベル表記の直間比推定値ＤＲＲであってもよい（直間比推定値ＤＲＲの具体例２）。

或いは、以下のように周波数ωごとに直間比推定値ＤＲＲ（ω）が得られてもよい（直間比推定値ＤＲＲの具体例３）。

或いは、式（１２）−（１５）の何れかに定数が乗じられたものが直間比推定値とされてもよいし（直間比推定値ＤＲＲの具体例４）、式（１２）−（１５）の何れかの逆数が直間比推定値とされてもよいし（直間比推定値ＤＲＲの具体例５）、式（１２）−（１５）の何れかの逆数に定数が乗じられたものが直間比推定値とされてもよい（直間比推定値ＤＲＲの具体例６）。その他、式（１２）−（１５）の単調増加関数値が直間比推定値とされてもよい（直間比推定値ＤＲＲの具体例７）。

或いは、Ｋ個のフレームｔ＝（Ｌ−１）＋１，...，（Ｌ−１）＋ＫからなるブロックＬに対応する受音信号のみを対象としてＰ_ＮＤ（ω），Ｐ_Ｘ（ω），Ｐ_Ｒ（ω）を求め、ブロックＬごとに直間比推定値ＤＲＲ又はＤＲＲ（ω）（直間比推定値ＤＲＲの具体例１〜７）を求め、それをブロックＬでの直間比推定値ＤＲＲ_Ｌ又はＤＲＲ_Ｌ（ω）としてもよい。ただし、Ｋは１以上の整数定数であり、Ｌはブロックに対応する１以上の整数インデックスである。（直間比推定値ＤＲＲの具体例８）。この場合、Ｋ＝１としたブロック、すなわちフレームごとに直間比推定値ＤＲＲ_Ｌ又はＤＲＲ_Ｌ（ω）が得られてもよい。以下においてＫ＝１のブロックはフレームと同義であるとする（直間比推定値ＤＲＲの具体例９）。その他、様々な直間比推定値が想定できる。以下では、このような直間比推定値を総称して「直間比推定値ＤＲＲ」と表現する。

その他、互いに位置の異なる直接音源が複数存在し、直接音源方向θ_Ｄが複数存在する場合も上記と同様に考えることができる。

図６にこの発明の音源距離推定装置４００の機能構成例を示す。その動作フローを図７に示す。音源距離推定装置４００は、マイクロホンアレー４１と、複数の周波数領域変換部４２₁〜４２_Mと、直間比計算部４３と、距離−直間比データベース（以降、距離−直間比ＤＢと称する）４４と、距離判定部４５と、を具備する。マイクロホンアレー４１を除く各機能構成部は、例えばＲＯＭ、ＲＡＭ、ＣＰＵ等で構成されるコンピュータに所定のプログラムが読み込まれて、ＣＰＵがそのプログラムを実行することで実現されるものである。

マイクロホンアレー４１は複数のマイクロホン1，…Mから成る。複数の周波数領域変換部４２₁，…，４２_Mは、複数のマイクロホン1，…Mで受音された受音信号ｘ_m（ｎ）がそれぞれ入力され、各受音信号を周波数領域信号に変換する（ステップＳ４２）。周波数領域変換部４２₁，…，４２_Mは、受音信号ｘ_m（ｎ）を、例えばサンプリング周波数１６ｋＨｚでサンプリングしてディジタル信号に変換し、例えば２５６個のサンプルを１フレームとして、それぞれのフレームにおいて離散フーリエ変換を行い、周波数成分Ｘ_m（ω，ｔ）を出力する（ステップＳ４２）。ωは周波数、ｔはフレーム番号である。なお、受音信号ｘ_m（ｎ）をディジタル信号に変換するＡ/Ｄ変換器は省略している。
直間比計算部４３は、複数の周波数領域変換部４２₁，…，４２_mが出力する周波数領域信号Ｘ_m（ω，ｔ）を入力として受音信号の直間比推定値ＤＲＲを生成する（ステップＳ４３）。

距離−直間比ＤＢ４４は、直間比推定値とマイクロホンアレーと音源との距離との関係を記録している。距離判定部４５は、直間比推定値ＤＲＲを入力として距離−直間比ＤＢ４４を参照してその直間比推定値ＤＲＲと対応する距離を推定する（ステップＳ４５）。ステップＳ４２〜ステップＳ４５までの動作は、全ての受音信号ｘ_m（ｎ）が終了するまで継続される。

以上の動作により、マイクロホンアレーによって、例えば、特定の距離範囲にある音だけを強調し、その範囲外の音は抑圧して雑音除去が行われる。以降、各部のより具体的な機能構成例を示して更に詳しくこの発明を説明する。

〔直間比計算部〕
以下ではパワースペクトル密度又はその推定値をパワー推定値とした例を示す。
図９に例示するように、直間比計算部４３は、受音パワー推定部４３１と、重み係数記憶部４３２と、指向性形成部４３３と、直接音抑圧パワー推定部４３４と、指向性形状分析部４３５と、間接音パワー推定部４３６と、直間比推定部４３７とを備える。

図８及び９に例示するように、周波数領域変換部４２_１，…，４２_Ｍから出力された周波数領域信号Ｘ_１（ω，ｔ），…，Ｘ_Ｍ（ω，ｔ）は、直間比計算部４３の受音パワー推定部４３１と指向性形成部４３３に入力される。受音パワー推定部４３１は、周波数領域信号Ｘ_１（ω，ｔ），…，Ｘ_Ｍ（ω，ｔ）を用い、受音信号に対応する周波数領域信号のパワー推定値を生成して出力する。このパワー推定値は、何れか１個のマイクロホンｍ（ｍ∈｛１，…，Ｍ｝）に対応する周波数領域信号Ｘ_ｍ（ω，ｔ）のパワー推定値であってもよいし、周波数領域信号Ｘ_１（ω，ｔ），…，Ｘ_Ｍ（ω，ｔ）それぞれのパワー推定値を重み付け平均したものであってもよい。実施例１では、受音信号に対応する周波数領域信号のパワー推定値としてパワースペクトル密度Ｐ_Ｘ（ω）を求める。ここでは、Ｋ個のフレーム（Ｌ−１）＋１，...，（Ｌ−１）＋ＫからなるブロックＬごとにパワースペクトル密度Ｐ_Ｘ（ω）が得られる例を示し、ブロックＬで得られるパワースペクトル密度Ｐ_Ｘ（ω）をＰ_Ｘ，Ｌ（ω）と表す。式（１６）は１個のマイクロホンｍのパワースペクトル密度をＰ_Ｘ，Ｌ（ω）とする例であり、式（１７）は周波数領域信号Ｘ_１（ω，ｔ），…，Ｘ_Ｍ（ω，ｔ）それぞれのパワースペクトル密度の重み付け平均値をＰ_Ｘ，Ｌ（ω）とする例である。

重み係数記憶部４３２には、前述した直接音源方向θ_Ｄから到来した信号成分を抑圧するビームフォーマのフィルタ係数Ｗ_１（ω），...，Ｗ_Ｍ（ω）が格納されている。指向性形成部４３３は、重み係数記憶部４３２から読み出したフィルタ係数Ｗ_１（ω），...，Ｗ_Ｍ（ω）を用い、入力された周波数領域信号Ｘ_１（ω，ｔ），…，Ｘ_Ｍ（ω，ｔ）に対して直接音源方向θ_Ｄから到来した信号成分を抑圧する処理を行い、それによって得られた直接音抑圧信号ＮＤ（ω，ｔ）を生成して出力する。例えば、指向性形成部４３３は、以下のように直接音抑圧信号ＮＤ（ω，ｔ）を生成する。

直接音抑圧パワー推定部４３４には、直接音抑圧信号ＮＤ（ω，ｔ）を入力とし、直接音抑圧信号ＮＤ（ω，ｔ）のパワー推定値を生成して出力する。実施例１では、直接音抑圧信号Ｘ（ω，ｔ）のパワー推定値としてパワースペクトル密度Ｐ_ＮＤ（ω）を求める。ここでは、ブロックＬごとにパワースペクトル密度Ｐ_ＮＤ（ω）が得られる例を示し、ブロックＬで得られるパワースペクトル密度Ｐ_ＮＤ（ω）をＰ_ＮＤ，Ｌ（ω）と表す。

指向性形状分析部４３５は、重み係数記憶部４３２から読み出したフィルタ係数Ｗ_１（ω），…，Ｗ_Ｍ（ω）を用い、前述した直接音源方向θ_Ｄから到来した信号成分を抑圧するビームフォーマによって形成される指向特性を表す関数Ｄ（ω，θ）、すなわち指向性の形状を生成して出力する。例えば、指向性形状分析部４３５は、マイクロホンアレー４１の基準点及びマイクロホン1，…，Mに対応するＡ_θ（ω）等の情報を事前に取得しており、これらとフィルタ係数Ｗ_１（ω），…，Ｗ_Ｍ（ω）とを用い、例えば式（５）に従ってＤ（ω，θ）を生成する。さらに指向性形状分析部４３５は、Ｄ（ω，θ）を用いて指向性形状補正係数Ｒ（ω）を生成して出力する。指向性形状補正係数Ｒ（ω）の例は、前述した指向性形状補正係数の具体例１〜４である。

間接音パワー推定部４３６には、直接音抑圧信号ＮＤ（ω，ｔ）のパワー推定値であるパワースペクトル密度をＰ_ＮＤ，Ｌ（ω）と、指向性形状補正係数Ｒ（ω）とが入力される。間接音パワー推定部４３６は、指向性形状補正係数Ｒ（ω）を用い、直接音抑圧信号ＮＤ（ω，ｔ）のパワー推定値であるパワースペクトル密度Ｐ_ＮＤ，Ｌ（ω）を補正し、間接音のパワー推定値を生成して出力する。実施例１では、以下のように間接音のパワースペクトル密度の推定値Ｐ_Ｒ（ω）をブロックＬごとに求める。なお、ブロックＬでのパワースペクトル密度の推定値Ｐ_Ｒ（ω）をＰ_Ｒ，Ｌ（ω）と表現する。
P_R,L(ω)=R(ω)P_ND,L(ω) (20)

直間比推定部４３７には、周波数領域信号のパワー推定値であるパワースペクトル密度Ｐ_Ｘ，Ｌ（ω）及び間接音のパワー推定値であるパワースペクトル密度の推定値Ｐ_Ｒ，Ｌ（ω）が入力される。直間比推定部４３７は、これらを用いて周波数領域信号Ｘ₁（ω，ｔ），…，Ｘ_M（ω，ｔ）の直間比推定値ＤＲＲを生成して出力する。直間比推定値ＤＲＲの例は、直間比推定値ＤＲＲの具体例１〜９である。実施例１では、直間比推定値ＤＲＲの具体例１又は２のＰ_Ｘ（ω）をＰ_Ｘ，Ｌ（ω）に、Ｐ_Ｒ（ω）をＰ_Ｒ，Ｌ（ω）に、それぞれ置換して得られる直間比推定値ＤＲＲ_Ｌが、ＤＲＲとして得られることにする。

以上説明した直間比計算部４３と、マイクロホンアレー４１と、複数の周波数領域変換部４２₁〜４２_Mの構成で、直間比推定値ＤＲＲを出力する音響直間比推定装置７１が構成できる。

距離−直間比ＤＢ４４には、距離と直間比推定値との関係に関する情報が予め記録されている。距離と直間比推定値との関係に関する情報とは、実際に実験により求めた距離と直間比とを対応付けた組（ｄ₁，Ｅ₁），（ｄ₂，Ｅ₂），…を線形補間して得られる関数や、（ｄ₁，Ｅ₁），（ｄ₂，Ｅ₂），…の組から求めた近似関数等の距離と直間比推定値との関係を示す関数式ｄ＝ｆ（ＤＲＲ）とする。関数ｆ（ＤＲＲ）は、例えば、参考文献「M.Tohyama et. al.”The Nature and Technology of Acoustic Space,”Academic Press,1995.」に記載されている。
距離判定部４５は、直間比計算部４３から入力される直間比推定値ＤＲＲと、距離−直間比ＤＢ４４に記録されている距離と直間比推定値との関係を参照して、直間比推定値ＤＲＲに対応する音源距離推定値ｄ＾を出力する。

距離と直間比とを対応付けた組（ｄ₁，Ｅ₁），（ｄ₂，Ｅ₂），…そのものが距離−直間比ＤＢ４４に格納されている場合は、次の三つのステップにより音源距離推定値ｄ＾を求めて出力する。
第一ステップ：距離−直間比ＤＢ４４に格納されたＥ₁，Ｅ₂，…の内、直間比計算部４３で求めた直間比推定値ＤＲＲに隣接する２つの直間比Ｅ_mとＥ_nを求める。
第二ステップ：直間比Ｅ_mとＥ_nのそれぞれに対応する距離ｄ_mとｄ_nを距離−直間比ＤＢ４４より求める。
第三ステップ：距離ｄ_mとｄ_nとから音源距離推定値ｄ＾を式（２１）に示すように線形補間して求める。

また、距離判定部４５は、関数式ｄ＝ｆ（ＤＲＲ）が距離−直間比ＤＢ４４に格納されている場合には、直間比計算部４３から入力される直間比推定値ＤＲＲから音源距離推定値ｄ＾を計算して出力する。

図１０に、この発明の雑音除去装置７００の機能構成例を示す。その動作フローを図１１に示す。雑音除去装置７００は、実施例１で述べた音響直間比推定装置７１と、処理対象信号生成部７２と、対象信号調整部７３と、逆周波数領域変換部７４と、を具備する。

処理対象信号生成部７２は、音響直間比推定装置７１内の複数の周波数領域変換部４２₁〜４２_Mが出力する周波数領域信号Ｘ_m（ω，ｔ）を入力として処理対象信号Ｘ（ω，ｔ）を出力する（ステップＳ７１，Ｓ７２）。処理対象信号Ｙ（ω，ｔ）は、周波数領域信号Ｘ_m（ω，ｔ）を例えば図示しない加算手段等で合成したものである。加算する前に、各周波数領域信号Ｘ_m（ω，ｔ）に、重みを乗じる様にしても良い。

対象信号調整部７３は、音響直間比推定装置７１が出力する直間比推定値ＤＲＲと、処理対象信号生成部７２が出力する処理対象信号Ｘ（ω，ｔ）を入力として、処理対象信号Ｘ（ω，ｔ）の振幅を調整した処理後信号Ｙ（ω，ｔ）を生成する（ステップＳ７３）。逆周波数領域変換部７４は、処理後信号Ｙ（ω，ｔ）を時間領域の信号ｙ（ｎ）に変換する（ステップＳ７４）。

対象信号調整部７３は、例えば、距離算出手段７２１、フィルタ形成手段７２２、乗算手段７２３、を備える。距離算出手段７２１は、マイクロホンアレー４１と音源との間の距離と、直間比推定値ＤＲＲとの関係を示す関数式ｄ＝ｆ（ＤＲＲ）を内蔵し、入力される直間比推定値ＤＲＲに応じた音源距離推定値ｄ＾を算出する（距離算出ステップＳ７２１）。

フィルタ形成手段７２２は、式（２２）に示すように、音源距離推定値ｄ＾が、２つの大きさが異なる閾値ｄ_fとｄ_nの間の値を取る時間周波数成分を強調するように設定し、２つの距離区間内の帯状の領域にある音源だけを強調するフィルタを形成する。

ここで、Ｇ（ω，ｔ）は、或る周波数領域Ωに含まれる全ての周波数について、同じＧ（ω，ｔ）が乗算される。周波数領域Ωは、例えば信号成分の集中する周波数帯域を選択するなどして決定される。例えば、任意のｍ番目のマイクロホンに接続された周波数領域変換部４２_mの出力Ｘ_m（ω,ｔ）のうち、式（２３）に示す様にＸ_m（ω,ｔ）の絶対値が予め設定された閾値Ｐ_thより大きい値を持つ周波数ωを選んだり、Ｘ_m（ω,ｔ）の絶対値が大きい方からκ番目までの周波数ωを選ぶことで決定される。

ここで、Ｐ_thは、例えば｜Ｘ_m（ω, ｔ）｜の全周波数の平均値などが用いられる。また、式（２２）においてＧ（ω，ｔ）の値は必ずしも１と０である必要は無く、例えば、０.９と０.１のように十分大きさが異なる値でも良い。

乗算手段７２３は、処理対象信号Ｘ（ω，ｔ）に、フィルタＧ（ω，ｔ）を乗じて処理後信号Ｙ（ω，ｔ）を生成する。したがって、処理後信号Ｙ（ω，ｔ）は、２つの距離区間内、つまり、マイクロホンアレー４１から特定の距離範囲に位置する音源の音声が、強調若しくは抑圧されたものとなる。この処理後信号Ｙ（ω，ｔ）は、逆周波数領域変換部７４で時間領域の信号ｙ（ｎ）に変換される。

なお、本発明は上述の実施形態に限定されるものではない。
例えば、周波数ω単位で求めたＤＲＲ（ω）を直間比推定値として実施例２が実行されてもよい。ＤＲＲ（ω）の具体例は、式（１４）若しくは式（１５）の直間比推定値、又は、式（１４）若しくは式（１５）のＰ_Ｘ（ω）をＰ_Ｘ，Ｌ（ω）に、Ｐ_Ｒ（ω）をＰ_Ｒ，Ｌ（ω）に、それぞれ置換して得られる直間比推定値である。この場合には、あらかじめ周波数ωごとに用意した関係式ｄ（ω）＝ｆ（ＤＲＲ（ω））に直間比推定値ＤＲＲ（ω）を代入してｄ＾（ω）を求め、式（２４）のようにフィルタを形成する。

ただし、ｄ_ｆ（ω）とｄ_ｎ（ω）は、あらかじめ用意された互いに大きさが異なる閾値である。

或いは例えば、上述の周波数領域で行われた処理の一部が時間領域で実行されてもよい。例えば、上述の実施形態では、指向性形成部４３３が、周波数領域のフィルタ係数Ｗ_１（ω），...，Ｗ_Ｍ（ω）を周波数領域信号Ｘ_１（ω，ｔ），…，Ｘ_Ｍ（ω，ｔ）に適用し、それによって直接音源方向θ_Ｄから到来した信号成分を抑圧した直接音抑圧信号ＮＤ（ω，ｔ）を生成した。しかしながら、時間領域で受音信号ｘ_１（ｎ），…，ｘ_Ｍ（ｎ）のディジタル信号に対して直接音源方向から到来した信号成分を抑圧する処理を行い、それによって得られた信号を周波数領域に変換して直接音抑圧信号ＮＤ（ω，ｔ）が生成されてもよい。すなわち、受音信号ｘ_１（ｎ），…，ｘ_Ｍ（ｎ）のディジタル信号に対し、フィルタ係数Ｗ_１（ω），...，Ｗ_Ｍ（ω）に対応する時間領域のフィルタ係数を畳み込み、その結果を周波数領域に変換して直接音抑圧信号ＮＤ（ω，ｔ）が生成されてもよい。

音源距離測定装置、音響直間比推定装置、又は雑音除去装置に含まれる機能構成が外部の装置によって実現されてもよい。例えば、音源距離測定装置４００や雑音除去装置７００が、マイクロホンアレーが含まず、外部のマイクロホンアレーに接続されて同様の機能が実現されてもよい。同様に、雑音除去装置７００が、周波数領域変換部や逆周波数領域変換部を含まず、外部の周波数領域変換部や逆周波数領域変換部を利用して同様の機能が実現されてもよい。

その他、上述の各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。その他、本発明の趣旨を逸脱しない範囲で適宜変更が可能であることはいうまでもない。

また、上述の構成をコンピュータによって実現する場合、各装置が有すべき機能の処理内容はプログラムによって記述される。そして、このプログラムをコンピュータで実行することにより、上記処理機能がコンピュータ上で実現される。

この処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体の例は、非一時的な（non-transitory）記録媒体である。このような記録媒体の例は、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリ等である。

このプログラムの流通は、例えば、そのプログラムを記録したＤＶＤ、ＣＤ−ＲＯＭ等の可搬型記録媒体を販売、譲渡、貸与等することによって行う。さらに、このプログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することにより、このプログラムを流通させる構成としてもよい。

このようなプログラムを実行するコンピュータは、例えば、まず、可搬型記録媒体に記録されたプログラムもしくはサーバコンピュータから転送されたプログラムを、一旦、自己の記憶装置に格納する。そして、処理の実行時、このコンピュータは、自己の記録装置に格納されたプログラムを読み取り、読み取ったプログラムに従った処理を実行する。また、このプログラムの別の実行形態として、コンピュータが可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することとしてもよく、さらに、このコンピュータにサーバコンピュータからプログラムが転送されるたびに、逐次、受け取ったプログラムに従った処理を実行することとしてもよい。

実施例では、コンピュータ上で所定のプログラムを実行させることにより、各装置を構成することとしたが、これらの処理内容の少なくとも一部がハードウェアで実現されてもよい。

７１ 音響直間比推定装置
４００ 音源距離測定装置
７００ 雑音除去装置

Claims (7)

1. マイクロホンアレーに含まれる複数個のマイクロホンで受音された受音信号を周波数領域に変換して得られる周波数領域信号を用い、前記周波数領域信号のパワー推定値を得る受音パワー推定部と、
   前記周波数領域信号に対して直接音源方向から到来した信号成分を抑圧する処理を行って得られた直接音抑圧信号のパワー推定値、又は、前記受音信号に対して直接音源方向から到来した信号成分を抑圧する処理を行って得られた信号を周波数領域に変換して得られた直接音抑圧信号のパワー推定値を得る直接音抑圧パワー推定部と、
   前記直接音源方向から到来した信号成分を抑圧する指向特性を表す関数から得られた指向性形状補正係数を用い、前記直接音抑圧信号のパワー推定値を補正し、間接音のパワー推定値を得る間接音パワー推定部と、
   前記周波数領域信号のパワー推定値及び前記間接音のパワー推定値を用い、前記間接音のパワー推定値に対する直接音のパワー推定値の比率を表す直間比推定値を得る直間比推定部と、
   前記直間比推定値と距離との関係を記録した距離−直間比データベースと、
   前記直間比推定値を入力として前記距離−直間比データベースを参照して当該直間比推定値と対応する音源距離推定値を推定する距離判定部と、
   を具備する音源距離測定装置。
2. マイクロホンアレーに含まれる複数個のマイクロホンで受音された受音信号を周波数領域に変換して得られる周波数領域信号を用い、前記周波数領域信号のパワー推定値を得る受音パワー推定部と、
   前記周波数領域信号に対して直接音源方向から到来した信号成分を抑圧する処理を行って得られた直接音抑圧信号のパワー推定値、又は、前記受音信号に対して直接音源方向から到来した信号成分を抑圧する処理を行って得られた信号を周波数領域に変換して得られた直接音抑圧信号のパワー推定値を得る直接音抑圧パワー推定部と、
   前記直接音源方向から到来した信号成分を抑圧する指向特性を表す関数から得られた指向性形状補正係数を用い、前記直接音抑圧信号のパワー推定値を補正し、間接音のパワー推定値を得る間接音パワー推定部と、
   前記周波数領域信号のパワー推定値及び前記間接音のパワー推定値を用い、前記間接音のパワー推定値に対する直接音のパワー推定値の比率を表す直間比推定値を得て出力する直間比推定部と、
   を具備する音響直間比推定装置。
3. 請求項２に記載した音響直間比推定装置と、
   前記受音信号を周波数領域に変換して得られる前記周波数領域信号を入力として処理対象信号を生成する処理対象信号生成部と、
   請求項２に記載した音響直間比推定装置が出力する直間比推定値と、前記処理対象信号とを入力として、前記処理対象信号の振幅を、当該直間比推定値に基づくマイクロホンアレーからの音源距離推定値が所望の距離区間内にある場合には大きく、そうでない場合は小さくなるように調整した処理後信号を生成する対象信号調整部と、
   を具備する雑音除去装置。
4. マイクロホンアレーに含まれる複数個のマイクロホンで受音された受音信号を周波数領域に変換して得られる周波数領域信号を用い、前記周波数領域信号のパワー推定値を得る受音パワー推定ステップと、
   前記周波数領域信号に対して直接音源方向から到来した信号成分を抑圧する処理を行って得られた直接音抑圧信号のパワー推定値、又は、前記受音信号に対して直接音源方向から到来した信号成分を抑圧する処理を行って得られた信号を周波数領域に変換して得られた直接音抑圧信号のパワー推定値を得る直接音抑圧パワー推定ステップと、
   前記直接音源方向から到来した信号成分を抑圧する指向特性を表す関数から得られた指向性形状補正係数を用い、前記直接音抑圧信号のパワー推定値を補正し、間接音のパワー推定値を得る間接音パワー推定ステップと、
   前記周波数領域信号のパワー推定値及び前記間接音のパワー推定値を用い、前記間接音のパワー推定値に対する直接音のパワー推定値の比率を表す直間比推定値を得る直間比推定ステップと、
   前記直間比推定値を入力として、前記直間比推定値と距離との関係を記録した距離−直間比データベースを参照して当該直間比推定値と対応する音源距離推定値を推定する距離判定ステップと、
   を具備する音源距離測定方法。
5. マイクロホンアレーに含まれる複数個のマイクロホンで受音された受音信号を周波数領域に変換して得られる周波数領域信号を用い、前記周波数領域信号のパワー推定値を得る受音パワー推定ステップと、
   前記周波数領域信号に対して直接音源方向から到来した信号成分を抑圧する処理を行って得られた直接音抑圧信号のパワー推定値、又は、前記受音信号に対して直接音源方向から到来した信号成分を抑圧する処理を行って得られた信号を周波数領域に変換して得られた直接音抑圧信号のパワー推定値を得る直接音抑圧パワー推定ステップと、
   前記直接音源方向から到来した信号成分を抑圧する指向特性を表す関数から得られた指向性形状補正係数を用い、前記直接音抑圧信号のパワー推定値を補正し、間接音のパワー推定値を得る間接音パワー推定ステップと、
   前記周波数領域信号のパワー推定値及び前記間接音のパワー推定値を用い、前記間接音のパワー推定値に対する直接音のパワー推定値の比率を表す直間比推定値を得て出力する直間比推定ステップと、
   を具備する音響直間比推定方法。
6. 請求項５に記載した音響直間比推定方法の各ステップと、
   前記受音信号を周波数領域に変換して得られる前記周波数領域信号を入力として処理対象信号を生成する処理対象信号生成ステップと、
   請求項５に記載した音響直間比推定方法の直間比推定ステップで出力される直間比推定値と、前記処理対象信号とを入力として、前記処理対象信号の振幅を、当該直間比推定値に基づくマイクロホンアレーからの音源距離推定値が所望の距離区間内にある場合には大きく、そうでない場合は小さくなるように調整した処理後信号を生成する対象信号調整ステップと、
   を具備する雑音除去方法。
7. 請求項１から３の何れかの装置としてコンピュータを機能させるためのプログラム。

Images