JP5143802B2 - 雑音除去装置、遠近判定装置と、各装置の方法と、装置プログラム - Google Patents

Description

この発明は、例えば、音声通話や、音声入力によって機器を操作するハンズフリー方式等に応用でき、マイクロホンから特定の距離範囲内に位置する音源の音だけを強調して収音する際に用いられる雑音除去装置、遠近判定装置、各装置の方法と各装置プログラムに関する。

図１６に、非特許文献１に開示された従来の雑音除去装置１６０の機能構成を示してその動作を簡単に説明する。雑音除去装置１６０は、Ｍ個のマイクロホンｍ₁〜ｍ_Mと、複数の遅延部１６１₁〜１６１_Mと、重み乗算部１６２₁〜１６２_Mと、加算部１６３とを備える。雑音除去装置１６０は、Ｍ個のマイクロホンｍ₁〜ｍ_Mを用いて、座標（ｐ,ｑ）の点にある音源から発せられる音を信号、それ以外の点から発せられる音を雑音としたときに、信号だけを強調した高い信号対雑音比（ＳＮＲ）で音声を収音する目的で利用される。

はじめに座標（ｐ_m,ｑ_m）に配置したマイクロホンで受音した受音信号ｘ_m（ｎ）（ｍ＝１…Ｍ）に対し、遅延部１６１₁〜１６１_Mと重み乗算部１６２₁〜１６２_Mとが遅延Ｄ_mとゲインｇ_mを付加することにより信号ｙ_m（ｎ）を得る（式（１））。

ここで、Ｄ_mは遅延量、ｇ_mはゲインであり、予め与えられた所望音源の位置（ｐ,ｑ）から、それぞれ式（２）と式（３）により導出される。

ここで、ｒ_m,ｒ_cはそれぞれ式（４）と式（５）で定義されるマイク−音源間距離及び臨界距離であり、ｃは音速、ＶとＴはそれぞれ室容積、屋内の残響時間である。

加算部１６３は、信号ｙ_m（ｎ）を加算して所望位置から発せられた音を強調した信号ｚ（ｎ）を求める（式（６））。

以上のように雑音除去装置１６０は、所望位置から発せられた音を強調して雑音を除去する。この従来の方法でより高いＳＮＲで音声を収音するためには、マイクロホンの数を増やすか、またはマイクロホンアレーを大型化する必要がある。

２個のマイクロホンアレーを用いることでマイクロホンアレーの大型化を回避した収音装置１７０が、特許文献１に開示されている。図１７に収音装置１７０の機能構成を示してその動作を簡単に説明する。

収音装置１７０は、２個の小規模マイクロホンアレー３Ｌ，３Ｒ（以降、小規模は省略する）、６個の収音部４-１〜４-６、周波数変換部５、加算部６、音源信号成分推定部７、利得係数算出部８、乗算部９、逆周波数領域変換部１０、を備える。

２個のマイクロホンアレー３Ｌと３Ｒは、収音対象である所望音源までの距離と同程度の間隔を空けて配置される。各収音部４-１〜４-６は、内部のフィルタによるディジタル信号処理により、マイクロホンアレー３Ｌ，３Ｒに指向特性を設定する。第１収音部４-１と第２収音部４-２は、所望音源位置を含む角度領域の音を収音する指向特性をマイクロホンアレー３Ｌと３Ｒにそれぞれ与える。第３収音部４-３と第４収音部４-４は、所望音源位置を含まない角度領域の音を収音する指向特性をマイクロホンアレー３Ｌと３Ｒにそれぞれ与える。第５収音部４-５は、マイクロホンアレー３Ｌと３Ｒのほぼ中間位置から所望音源の位置を含む角度領域の指向特性をマイクロホンアレー３Ｌと３Ｒに与える。第６収音部４-６は、マイクロホンアレー３Ｌと３Ｒのほぼ中間位置から所望音源の位置を含まない角度領域の指向特性をマイクロホンアレー３Ｌと３Ｒに与える。

このように収音装置１７０は、２個のマイクロホンアレーに指向特性を持たせることで、収音を希望する角度領域の区別を容易にする。その結果、マイクロホンアレーを小型化することができる。

野村博昭、金田豊、小島順治、"近接音場型マイクロホンアレー"日本音響学会誌、Vol.53,No.2,pp.110-116,1997.

特開２００７−２３５３５８号（図２）

非特許文献１に開示された従来の雑音除去装置は、その装置から見て同じ方向で距離が異なる点に配置された音源から発せられる音の内、どれか一つを選択強調して収音するために大規模なマイクロホンアレーを必要とする問題点があった。これは、１個の小規模なマイクロホンアレーを用いた場合、従来技術では原理上、方向に関する識別能力しか持たず、同じ方向で位置が異なる複数の音源が発する音のうち、どれか一つだけを選択して収音することが不可能であるためである。そのため、距離識別の精度を向上させるためにマイクロホンアレーの大型化が必要であった。マイクロホンアレーの大型化は、雑音除去装置の設置や運搬の制約となる。

マイクロホンアレーの大型化を回避する目的の従来の収音装置１７０は、小規模ではあるが２個のマイクロホンアレーを必須の構成要素とするものである。よって、コストの増大や配線が煩雑化するといった問題点があった。

この発明は、このような問題点に鑑みてなされたものであり、１個のマイクロホンアレーであっても、音源との距離を識別し、特定の距離範囲にある音源からの音だけを強調若しくは抑圧することで雑音を除去する雑音除去装置と、音源との距離の遠近を判定する遠近判定装置と、それらの方法とプログラムを提供することを目的とする。

この発明の雑音除去装置は、複数のマイクロホンから成る１個のマイクロホンアレーと、複数の周波数領域変換部と、処理対象信号生成部と、直間比推定部と、対象信号調整部と、逆周波数領域変換部と、を備える。複数の周波数領域変換部は、複数のマイクロホンで受音された受音信号がそれぞれ入力され、それぞれの受音信号を周波数領域の信号に変換する。処理対象信号生成部は、複数の周波数領域変換部の出力する周波数領域の信号を合成して処理対象信号を生成する。直間比推定部は、複数の周波数領域変換部の出力する周波数領域の信号を入力として受音信号の直間比、若しくは当該値に相当する直間比相当値を推定する。対象信号調整部は、処理対象信号と、直間比又は直間比相当値を入力としてその値に応じて処理対象信号の振幅を調整した処理後信号を生成する。逆周波数領域変換部は、処理後信号を時間領域の信号に変換する。

また、この発明の遠近判定装置は、この発明の雑音除去装置と同様の１個のマイクロホンアレーと、複数の周波数領域変換部と、直間比推定部とを備え、対象信号調整部と逆周波数領域変換部とに代えて遠近判定部を備える。遠近判定部は、周波数平均手段と、蓄積手段と、判定手段とを具備する。周波数平均手段は、直間比又は直間比相当値を周波数方向に平均して周波数平均直間比相当値を出力する。蓄積手段は、周波数平均直間比相当値を過去所定フレーム分の時間蓄積して、比較対象直間比相当値を出力する。判定手段は、周波数平均直間比相当値と、比較対象直間比相当値とを比較して遠近判定結果を出力する。

この発明の雑音除去装置は、直間比、若しくは直間比相当値を推定して、その値に応じて受音信号をフィルタリングする。直間比（直間比相当値）とは、受信音に含まれる直接音と間接音（残響音）との比であり、マイクロホンと音源間との距離に応じて単調に変化する値である。この値に応じて受信音をフィルタリングすることで一定の距離範囲内にあると判定された音源の成分だけを強調又は抑圧して収音することができる。その結果、１個のマイクロホンアレーで、且つ、マイクロホンアレーと雑音除去装置本体間の配線を煩雑にすることも無く、特定の距離にある音源の音だけを収音（雑音を除去）することが可能になる。

また、この発明の遠近判定装置は、周波数平均直間比相当値を比較対象直間比相当値とを比較することで、逐次入力される周波数平均直間比相当値、つまり、発音時刻が異なる音の音源の距離の遠近を判別することができる。

この発明の雑音除去装置１００を利用する場面の一例を示す図。 屋内での音の伝搬経路を示す図。 直間比とマイクロホン間距離との関係を示す図。 この発明の雑音除去装置４００の機能構成例を示す図 雑音除去装置４００の動作フローを示す図。 処理対象信号生成部４３の機能構成例を示す図。 直間比推定部４４の機能構成例を示す図。 この発明の雑音除去装置８００の機能構成例を示す図。 直間比推定部８４の機能構成例を示す図。 処理対象信号生成部８３の機能構成例を示す図。 直間比推定部１１０の機能構成例を示す図。 この発明の遠近判定装置１２０の機能構成例を示す図。 効果確認実験の実験条件を示す図。 効果確認実験の結果を示す図であり、（ａ）は所望信号、（ｂ）は入力信号、（ｃ）は出力信号である。 直間比の一例を示す図。 非特許文献１に開示された雑音除去装置１６０の機能構成を示す図。 特許文献１に開示された収音装置１７０の機能構成を示す図。

以下、この発明の実施の形態を図面を参照して説明する。複数の図面中同一のものには同じ参照符号を付し、説明は繰り返さない。また、以下の説明において、テキスト中で使用する記号「￣」や「＾」等は、本来直前の文字の真上に記載されるべきものであるが、テキスト記法の制限により、当該文字の直後に記載する。式中においてはこれらの記号は本来の位置に記述している。

実施例の説明の前にこの発明の考えについて説明する。

〔この発明の考え〕
この発明は、単一のマイクロホンアレーを用いて、マイクロホンアレーから特定の距離範囲にある音だけを強調若しくは抑圧して、所定の範囲内の音源の音を収音することを目的とするものである。または、受音信号の音源位置の遠近を判定するものである。

図１にこの発明の雑音除去装置１００を利用する場面を例示する。小型マイクロホンアレー１１を、例えば４人の発話者１２〜１４が取り囲んで会議をしている場面を想定する。その会議室内には、テレビ１６、電話１７、館内放送用のスピーカ１８が配置されているものとする。このような場面において、館内放送の音声や、電話の音等を収音せずに、小型マイクロホンアレー１１を中心として所定の距離範囲内（破線で示す円内）に位置する発話者１２〜１４の発話だけを収音したい。

この発明では、マイクロホンアレーから音源までの距離を見分けるために、受信音に含まれる直接音と間接音（残響音）との比（以降、直間比と称する）に着目する。図２に屋内にマイクロホンを置いて音を収録した際の、音源２１からマイクロホン２２までの音の伝搬経路を示す。直接音とは、音源２１からマイクロホンまで直接到達する太い実線で示す音波である。一方の残響音とは、音源２１から発した音が壁や床や天井などで反射してからマイクロホン２２に到達する破線で示す音波である。

図３に直間比とマイクロホン間距離との関係を示す。図３の横軸はマイクロホンから音源までの距離、縦軸は直間比である。一般的に間接音はマイクロホンからの距離に依存しない一定の大きさを示す。その間接音に対して直接音は、マイクロホンからの距離の増加に伴って単調に減少する特性を示す。その直接音を間接音で除した直間比は、直接音と同様に距離の増加に伴って単調に減少する特性になる。

この発明の雑音除去装置と遠近判定装置は、受信音からこの直間比を推定し、受信音に含まれる音源のマイクロホンアレーからの距離を推定する。よって、直間比から、１個の小型マイクロホンアレー１１を中心とした所定の距離範囲を推定することが可能である。

この発明の雑音除去装置は、その直間比に応じて処理対象信号の振幅を調整することで、所望の音源の音を収音することで雑音を除去する。また、遠近判定装置は、この直間比を用いて逐次入力される受音信号の音源の距離の遠近を判別する。

図４にこの発明の雑音除去装置４００の機能構成例を示す。その動作フローを図５に示す。雑音除去装置４００は、１個のマイクロホンアレー４１と、複数の周波数領域変換部４２₁〜４２_Mと、処理対象信号生成部４３と、直間比推定部４４と、対象信号調整部４５と、逆周波数領域変換部４６と、を具備する。マイクロホンアレー４１を除く各機能構成部は、例えばＲＯＭ、ＲＡＭ、ＣＰＵ等で構成されるコンピュータに所定のプログラムが読み込まれて、ＣＰＵがそのプログラムを実行することで実現されるものである。

マイクロホンアレー４１は複数のマイクロホンｍ₁，…ｍ_Mから成る。複数の周波数領域変換部４２₁，…，４２_Mは、複数のマイクロホンｍ₁，…ｍ_Mで受音された受音信号ｘ_m（ｎ）がそれぞれ入力され、各受音信号を周波数領域の信号に変換する（ステップＳ４２）。周波数領域変換部４２₁，…，４２_Mは、受音信号ｘ_m（ｎ）を、例えばサンプリング周波数１６ｋＨｚでサンプリングしてディジタル信号に変換し、例えば２５６個のサンプルを１フレームとして、それぞれのフレームにおいて離散フーリエ変換を行い周波数成分Ｘ_m（ω，ｌ）を出力する（ステップＳ４２）。ωは周波数、ｌはフレーム番号である。なお、受音信号ｘ_m（ｎ）をディジタル信号に変換するＡ/Ｄ変換器は省略している。

処理対象信号生成部４３は、複数の周波数領域変換部４２₁，…，４２_Mが出力する周波数領域の信号Ｘ_m（ω，ｌ）を合成して処理対象信号Ｙ（ω，ｌ）を生成する（ステップＳ４３）。

直間比推定部４４は、複数の周波数領域変換部４２₁，…，４２_mが出力する周波数領域の信号Ｘ_m（ω，ｌ）を入力として受音信号の直間比Ｅ_R（ω，ｌ）、若しくはその直間比に相当する直間比相当値Ｅ_F（ω，ｌ）を推定する（ステップＳ４４）。図４では、Ｅ_R（ω，ｌ）とＥ_F（ω，ｌ）の両者を意味するＥ（ω，ｌ）と表記している。

対象信号調整部４５は、処理対象信号Ｙ（ω，ｌ）と、直間比Ｅ_R（ω，ｌ）又は直間比相当値Ｅ_F（ω，ｌ）を入力としてその値に応じて処理対象信号Ｙ（ω，ｌ）の振幅を調整した処理後信号Ｚ（ω，ｌ）を生成する（ステップＳ４５）。

逆周波数領域変換部４６は、処理後信号Ｚ（ω，ｌ）を時間領域の信号ｚ（ｎ）に変換する（ステップＳ４６）。ステップＳ４１〜ステップＳ４６までの動作は、全ての受音信号ｘ_m（ｎ）が終了するまで継続される。

ここで、直間比Ｅ_R（ω，ｌ）又は直間比相当値Ｅ_F（ω，ｌ）の値に応じて調整とは、Ｅ_R（ω，ｌ）やＥ_F（ω，ｌ）の閾値処理や、その値が大きいほど処理後信号Ｚ（ω，ｌ）の振幅を大きくする処理や、その値が大きいほど処理後信号Ｚ（ω，ｌ）の振幅を小さくする等の処理を含む。詳しくは後述する。

以上の動作により、１個のマイクロホンアレーによって、例えば、特定の距離範囲にある音だけを強調し、その範囲外の音は抑圧して収音する雑音除去が行われる。以降、各部のより具体的な機能構成例を示して更に詳しくこの発明を説明する。

〔処理対象信号生成部〕
図６に処理対象信号生成部４３のより具体的な機能構成例を示す。処理対象信号生成部４３は、複数の重み乗算手段４３１₁〜４３１_Mと、加算手段４３２を備える。複数の重み乗算手段４３１₁〜４３１_Mは、Ｍ個のマイクロホンで受音した複数の受音信号ｘ_m（ｎ）の、それぞれの周波数成分Ｘ₁（ω，ｌ），…，Ｘ_M（ω，ｌ）に重み係数ｗ_m（ω）を乗ずる。

重み乗算手段４３１₁〜４３１_Mで使用する重みには、例えばＭ個のマイクロホンが無指向性の場合にはｗ_m＝１/Ｍとすることで全ての周波数成分Ｘ₁（ω，ｌ），…，Ｘ_M（ω，ｌ）の平均を取ることで、処理対象信号Ｙ（ω，ｌ）を安定化させる。また、Ｍ個のマイクロホンが指向性を持つ場合には、ｗ₁＝１，ｗ_m＝０（ｍ＝{２，…，Ｍ}）とすることで、特定のマイクロホンの信号だけを使用することができる。例えば、参考文献「大賀、山崎、金田著、“音響システムとディジタル信号処理”電子情報通信学会発行」に記載されているような方法を利用して、重みビームフォーミングのフィルタ係数を使用すれば、マイクロホンアレーで任意の指向性を形成することもできる。

加算手段４３２は、重みが乗ぜられた全ての周波数成分Ｘ₁（ω，ｌ），…，Ｘ_M（ω，ｌ）を加算して処理対象信号Ｙ（ω，ｌ）を出力する。

〔直間比推定部〕
図７に直間比推定部４４の機能構成例を示す。直間比推定部４４は、空間相関行列算出手段４４１と、固有値展開手段４４２と、固有値分布算出手段４４３と、を備える。空間相関行列算出手段４４１は、複数の周波数領域変換手段４２₁，…，４２_Mが出力する周波数領域の信号Ｘ₁（ω，ｌ），…，Ｘ_M（ω，ｌ）を入力として、周波数領域の信号Ｘ₁（ω，ｌ），…，Ｘ_M（ω，ｌ）をベクトル化し、その入力信号を用いて式（７）に示す空間相関行列Ｒ（ω，ｌ）を算出する。

ここでＴは行列の転置、Ｈは共役転置を、Ｌは平均を求めるフレームの数を表す。

空間相関行列Ｒ（ω，ｌ）は、固有値展開手段４４２に入力される。固有値展開手段４４２は、空間相関行列Ｒ（ω，ｌ）を固有値展開して固有値λm(ω，ｌ)と固有ベクトルｖ_m(ω，ｌ)に分解（式（９））し、固有値λ_m(ω，ｌ)を固有値分布算出手段４４３に出力する（固定値展開ステップ）。

ここでｖ^H _m（ω，ｌ)は、固有ベクトルｖ_m（ω，ｌ)のエルミート転置である。また、固有値λ_m(ω，ｌ)は、昇順（λ₁（ω，ｌ）＜λ₂（ω，ｌ）＜…＜λ_M（ω，ｌ））に並べられているものとする。

固有値分布算出手段４４３は、固有値λ_m(ω，ｌ)の分布の割合を数値化して、直間比相当値Ｅ_F（ω，ｌ）を出力する（固有値分布算出ステップ）。この数値化は、例えば式（１０）に示すように最大固有値λ_M(ω，ｌ)の全体（固有値の総和）に対する割合や式（１１）に示すエントロピー等が用いられる。

〔対象信号調整部〕
対象信号調整部４５は、例えば、フィルタ係数算出手段４５１と、乗算手段４５２とで構成できる（図４）。フィルタ係数算出部４５は、直間比相当値Ｅ（ω，ｌ）を入力としてフィルタ係数Ｇ（ω，ｌ）を算出して出力する。フィルタ係数Ｇ（ω，ｌ）の算出には、例えば式（１２）に示すように閾値を用いた２値のフィルタなどが用いられる。

なお、閾値Ｔｈは、直間比Ｅ（ω，ｌ）の最小値と最大値の間の任意の値が設定できる。閾値Ｔｈを最小値（０）に近づけると音質は向上する。逆に閾値Ｔｈを最大値に近づけると雑音抑圧効果は高めるが受音信号の歪みが大きくなり音質が劣化する。

このように閾値Ｔｈは、音質と雑音抑圧との関係でトレードオフの関係を持つ。よって、閾値Ｔｈは、このトレードオフの関係を考慮した上で、利用目的に応じて経験的に決定される。

また、フィルタ係数Ｇ（ω，ｌ）の算出に際して式（１３）に示すように、直間比相当値が閾値Ｔｈ₂を下回る時間周波数帯域を強調するようにすれば、特定の距離範囲より遠くの音源を強調することができる。

なお、フィルタ係数Ｇ（ω，ｌ）の例として０か１の２値のフィルタを挙げたが、フィルタ係数Ｇ（ω，ｌ）は必ずしも０と１である必要はなく、例えば、０.１と０.９のように十分異なる値であれば良い。

また、フィルタ係数Ｇ（ω，ｌ）には、１以上の実数を設定するようにしても良い。つまり、処理対象信号Ｙ（ω，ｌ）を増幅するようにしても良い。また、０.１以下の値に設定して処理対象信号Ｙ（ω，ｌ）を大きく抑圧するようにしても良い。

このようにして求めたフィルタ係数Ｇ（ω，ｌ）が、乗算部４６において、処理対象信号Ｙ（ω，ｌ）に乗じて処理後信号Ｚ（ω，ｌ）＝Ｇ（ω，ｌ）・Ｙ（ω，ｌ）が生成される。よって、処理後信号Ｚ（ω，ｌ）を、直間比相当値Ｅ_F（ω，ｌ）の大きな処理対象信号Ｙ（ω，ｌ）のみで構成することができる。つまり、直接音のみを抽出することができる。

図８にこの発明の雑音除去装置８００の機能構成例を示す。雑音除去装置８００は、上記した雑音除去装置４００に対して、処理対象信号生成部８３と、直間比推定部８４の動作が異なる。

図９に直間比推定部８４の機能構成例を示す。直間比推定部８４は、固有値展開手段８４２が、最大の固有値λ_M（ω，ｌ）に対応する固有ベクトルｖ_L（ω，ｌ）を出力する点が直間比推定部４４（図７）と異なる。その固有ベクトルｖ_L（ω，ｌ）は処理対象信号生成部８３に入力される。

図１０に処理対象信号生成部８３の機能構成例を示す。処理対象信号生成部８３は、固有ベクトルｖ_L（ω，ｌ）を重み乗算部８３１₁〜８３１_Mの重みとして用いる点で、処理対象信号生成部４３と異なる。

マイクロホンアレー４１を構成するマイクロホンの数、Ｍ個に対応する数の固有ベクトルが、それぞれ重み乗算部８３１₁〜８３１_Mの重みとして用いられる。つまり、ｍ番目のマイクロホンの重みｗ_m(ω)には、固有ベクトルｖ_L（ω，ｌ）のｍ番目の成分ｖ_L,m（ω，ｌ）が用いられる。

最大の固有値λ_M（ω，ｌ）に対応する固有ベクトルｖ_L（ω，ｌ）は、直接音を強調するビームフォーミングの重みとして機能することが知られている。従って、雑音除去装置８００は、雑音除去装置４００よりも雑音除去性能を向上させることが可能である。

実施例３として、真の直間比Ｅ_R（ω，ｌ）を求める方式の直間比推定部１１０を説明する。図１１に直間比推定部１１０機能構成例を示す。直間比推定部１１０は、空間相関行列算出手段４４１と、信号パワー推定手段１１２と、直間比算出手段１１３と、を備える。空間相関行列算出手段４４１は、実施例１，２と同じものである。

信号パワー推定部１１２は、空間相関行列算出手段４４１が出力する空間相関行列Ｒ（ω，ｌ）の各成分Ｒ_ij（ω，ｌ）と、予め与えられているマイクロホンアレーのマイクロホン配置と、音源の方向より与えられる行列Ｒ_d（ω）（式（１４））と、行列Ｒ_r（ω）（式（１５））の各成分ｄ_ij（ω）と、各成分ｒ_ij（ω）より、それぞれ構成される式（１６）に示す行列Ａ（ω）と、式（１７）に示すＢ（ω）を用いる。

ここで、Ｄ_mnはｍ番目のマイクロホンとｎ番目のマイクロホンの距離、θはマイクロホンアレーの正面から見た音源の方向である。ここでは、マイクロホンアレーの形状は直線配置とし、マイクロホンアレーの正面とはマイクロホンの並ぶ直線の法線方向を意味する。

そして、式（１８）に示す連立方程式を立て、これを解くことで直接音のパワーＰ_d（ω，ｌ）と残響音のパワーＰ_r（ω，ｌ）で構成されるベクトルＰ（ω，ｌ）（式（１９））を求め、直接音パワーＰ_d（ω，ｌ）と残響音パワーＰ_r（ω，ｌ）をそれぞれ出力する。

なお、マイクロホンアレーの配置が直線以外の配置の場合の行列Ｒ_d（ω）は、より一般的な式（２０）に示す形式で表せる。

ここでＤ_mn（θ）￣は、角度θ°方向から見たときのｍ番目のマイクロホンとｎ番目のマイクロホンの距離差を表す。また、式（１８）の連立方程式の解の導出は、例えば式（２２）に示すようにＡ（ω）の擬似逆行列Ａ^＋（ω）（式（２１））を、Ｂ（ω，ｌ）の左から掛ける方法で行われる。

直間比算出手段１１３は、直接音パワーＰ_d（ω，ｌ）と残響音パワーＰ_r（ω，ｌ）より、式（２３）によって直間比Ｅ_R（ω，ｌ）を算出して出力する。

この実施例３の方法は、実施例１と２の方法に比べて直接的に直間比を求めることが可能になるため、より正確な直間比の推定が可能である。また、実施例３の方法は固有値展開を用いないので計算量も削減する効果も奏する。

この発明の実施例４として、実施例１で述べた直間比相当値Ｅ_F（ω，ｌ）又は実施例３で述べた直間比Ｅ_R（ω，ｌ）を用いて音源の遠近を判定する遠近判定装置１２０を説明する。図１２に遠近判定装置１２０の機能構成例を示す。遠近判定装置１２０は、マイクロホンアレー４１と、複数の周波数領域変換部４１₁〜４１_mと、直間比推定部４４と、遠近判定部１２１と、を備える。マイクロホンアレー４１と、複数の周波数領域変換部４１₁〜４１_mと、直間比推定部４４とは、雑音除去装置４００のものと同じである。遠近判定装置１２０も、例えばＲＯＭ、ＲＡＭ、ＣＰＵ等で構成されるコンピュータに所定のプログラムが読み込まれて、ＣＰＵがそのプログラムを実行することで実現される。

遠近判定装置１２０は、複数の異なる距離にある音源が異なる時刻に発音するときに、ある時刻に受音された音の音源が遠くにあるのか近くにあるのかを判定するものである。遠近判定装置１２０を構成する遠近判定部１２１は、周波数平均手段１２１０と、蓄積手段１２１１と、判定手段１２１２と、を備える。なお、以降の説明は直間比相当値Ｅ_F（ω，ｌ）を用いた例で説明する。直間比相当値Ｅ_F（ω，ｌ）を直間比Ｅ_R（ω，ｌ）に置換えても遠近判定装置１２０の動作に変わりはない。

周波数平均手段１２１０は、直間比相当値Ｅ_F（ω，ｌ）を入力として、直間比相当値Ｅ_F（ω，ｌ）を周波数方向に平均して周波数平均直間比相当値Ｅ_l￣を出力する（式（２４））。

ここで、Ｋは周波数領域変換部４２₁〜４２_Mで行ったフーリエ変換の周波数ビンの総数である。

蓄積手段１２１１は、周波数平均直間比相当値Ｅ_l￣を過去Ｌ時間フレーム分蓄積して、比較対象直間比相当値Ｅ＾を出力する。比較対象直間比相当値Ｅ＾には、例えば蓄積された周波数平均直間比相当値Ｅ_l￣の平均値Ｅ＾＝１/ＬΣ_l ^LＥ_l￣や、最小値と最大値の平均値Ｅ＾＝１/２（maxＥ_l￣+minＥ_l￣）等が用いられる。

判定手段１２１２は、周波数平均直間比相当値Ｅ_l￣と、比較対象直間比相当値Ｅ＾を比較して、Ｅ_l￣＞Ｅ＾の時には遠近判定結果Ｙ_lに距離が近いことを表す例えば１を、Ｅ_l￣＜Ｅ＾の時には遠近判定結果Ｙ_lに距離が遠いことを表す例えば０を出力する。この遠近判定結果Ｙ_lは、直近の過去Ｌ時間分の受音信号が、比較的近い音源からの音であるか、又は、比較的遠い音源からの音であるかを表すものである。

この遠近判定結果Ｙ_lを用いることで、逐次入力される受音信号を、マイクロホンとその音源間との距離によって切り分けることが可能である。つまり、複数の音源の音を、マイクロホンからの距離に応じて選択することができる。

〔実験結果〕
この発明の効果を確認する目的で、マイクロホンアレーから見て同じ方向で異なる位置に、２つの音源をそれぞれ配置し、マイクロホンアレーから遠い方の音源の音を抑圧するコンピュータシミュレーションを行った。直間比は実施例３の方法で求めた。

図１３にシミュレーション条件を示す。平面サイズが４×６ｍで、高さが２.５ｍの部屋を想定した。３個のマイクロホンが直線状に４ｃｍの間隔を空けて並べられたマイクロホンアレーを用いた。マイクロホンアレーは、中央のマイクロホンを高さ１.５ｍで４ｍの壁から１ｍの位置に配置した。そして中央のマイクロホンの中心軸から角度１０°の方向で、マイクロホンアレーから０.５ｍと４.０ｍの距離にそれぞれ異なる音源を配置した。

図１４に２つの音源から異なる音声が再生された時の雑音除去装置の出力信号を示す。図１４の横軸は時間[秒]、縦軸は振幅である。マイクロホンアレーから０.５ｍの距離にあるスピーカは、約２秒間発音し、４.０ｍの距離にあるスピーカは約１.５秒〜約３.６秒の時間発音させた。以降、同じ関係で発音を繰り返すようにした。そして、４.０ｍの距離にあるスピーカの音を抑圧する実験を行った。

（ａ）は、所望信号を示す。（ｂ）はマイクロホンアレーで受音した受音信号そのものを示す。（ｃ）は、（ｂ）の受音信号をこの発明の雑音除去装置で雑音を除去した雑音除去装置の出力信号を示す。直間比Ｅ（ω，ｌ）は実施例３に示した方法で求めた。

（ｃ）と（ｂ）の２〜３秒間に注目すると、雑音除去装置の出力信号において、４.０ｍのスピーカの音が抑圧されていることが分かる。このように、この発明の雑音除去装置によれば、同じ方向で距離が異なる位置に存在する音源を雑音源として、その音だけを抑圧することが出来る。また、この結果を定量的に評価した結果、雑音の抑圧量を評価する値である信号対干渉音比（ＳＩＲ）の改善量が５.４ｄＢ向上し、所望音の音質を評価する値である信号対歪み比（ＳＤＲ）は１１.４ｄＢであった。このことからもこの発明の技術は所望音質とのトレードオフのバランスを取りつつ、雑音を抑圧する効果を奏することが分かる。

図１５に、実施例３による方法で直間比Ｅ（ω，ｌ）を求めた実験結果を示す。 図１５の、横軸はマイクロホンアレーと音源間との距離[ｃｍ]、縦軸は直間比[ｄＢ]である。この発明の方法で推定した直間比を○でプロットする。実際の直間比を□でプロットする。

実際の直間比は、予め測定された直接音成分と残響音成分に分けたインパルス応答より求めた。

図１５において、２０ｃｍ以下では実際の直間比の値と異なる傾向を示すが、３０ｃｍ以上の距離においては同じ傾向を示す。このことから、正しく直間比が求められていることが分かる。この直間比の値から距離が求められることも、図１５から良く理解することが出来る。

このように、この発明の雑音除去装置は、１個のマイクロホンアレーでも特定の距離にある音源の音だけを強調（雑音を除去）することが可能になる。

なお、上記方法及び装置において説明した処理は、記載の順に従って時系列に実行され
るのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されるとしてもよい。

また、上記装置における処理手段をコンピュータによって実現する場合、各装置が有すべき機能の処理内容はプログラムによって記述される。そして、このプログラムをコンピュータで実行することにより、各装置における処理手段がコンピュータ上で実現される。

この処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体としては、例えば、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリ等どのようなものでもよい。具体的には、例えば、磁気記録装置として、ハードディスク装置、フレキシブルディスク、磁気テープ等を、光ディスクとして、ＤＶＤ（Digital Versatile Disc）、ＤＶＤ−ＲＡＭ（Random Access Memory）、ＣＤ−ＲＯＭ（Compact Disc Read Only Memory）、ＣＤ−Ｒ（Recordable）/ＲＷ（ReWritable）等を、光磁気記録媒体として、ＭＯ（Magneto Optical disc）等を、半導体メモリとしてＥＥＰ−ＲＯＭ（Electronically Erasable and Programmable-Read Only Memory）等を用いることができる。

また、このプログラムの流通は、例えば、そのプログラムを記録したＤＶＤ、ＣＤ−ＲＯＭ等の可搬型記録媒体を販売、譲渡、貸与等することによって行う。さらに、このプログラムをサーバコンピュータの記録装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することにより、このプログラムを流通させる構成としてもよい。

また、各手段は、コンピュータ上で所定のプログラムを実行させることにより構成することにしてもよいし、これらの処理内容の少なくとも一部をハードウェア的に実現することとしてもよい。

Claims (11)

1. 複数のマイクロホンから成る１個のマイクロホンアレーと、
   上記複数のマイクロホンで受音された受音信号がそれぞれ入力され、上記受音信号を周波数領域の信号に変換する複数の周波数領域変換部と、
   上記複数の周波数領域変換部の出力する周波数領域の信号を合成して処理対象信号を生成する処理対象信号生成部と、
   上記複数の周波数領域変換部の出力する周波数領域の信号を入力として上記受音信号の直間比、若しくは当該値に相当する直間比相当値を推定する直間比推定部と、
   上記処理対象信号と、上記直間比又は直間比相当値を入力としてその値に応じて上記処理対象信号の振幅を調整した処理後信号を生成する対象信号調整部と、
   上記処理後信号を時間領域の信号に変換する逆周波数領域変換部と、
   を具備する雑音除去装置。
2. 請求項１に記載の雑音除去装置において、
   上記直間比推定部は、
   上記複数の周波数領域変換部の出力する周波数領域の信号を入力としてその周波数領域の信号をベクトル化して空間相関行列を算出する空間相関行列算出手段と、
   上記空間相関行列を入力としてその空間相関行列を固有値と固有ベクトルとに分解し、上記固有値を出力する固有値展開手段と、
   上記固有値を入力としてその固有値の分布の割合を数値化した上記直間比相当値を計算する固有値分布算出手段と、
   を備えることを特徴とする雑音除去装置。
3. 請求項１に記載の雑音除去装置において、
   上記直間比推定部は、
   上記複数の周波数領域変換部の出力する周波数領域の信号を入力としてその周波数領域の信号をベクトル化して空間相関行列を算出する空間相関行列算出手段と、
   予め与えられる上記マイクロホンの配置情報と、上記空間相関行列とから直接音のパワーと残響音のパワーで構成されるベクトルを求め、直接音パワーと残響音パワーを出力する信号パワー推定手段と、
   上記直接音パワーを上記残響音パワーで除した上記直間比を算出する直間比算出手段と、
   を備えることを特徴とする雑音除去装置。
4. 請求項１に記載の雑音除去装置において、
   上記直間比推定部は、
   上記複数の周波数領域変換部の出力する周波数領域の信号を入力としてその周波数領域の信号をベクトル化して空間相関行列を算出する空間相関行列算出手段と、
   上記空間相関行列を入力としてその空間相関行列を固有値と固有ベクトルとに分解し、上記固有値と、その固有値に対応する最大の固有ベクトルとを出力する固有値展開手段と、
   上記固有値を入力としてその固有値の分布の割合を数値化した上記直間比相当値を計算する固有値分布算出手段と、
   を備え、
   上記処理対象信号生成部は、
   上記複数の周波数領域変換部の出力する周波数領域の信号がそれぞれ入力され、上記最大の固有ベクトルの各成分で、上記各周波数領域の信号を重み付けする複数の重み乗算手段と、
   上記複数の重み乗算部の出力信号を加算する加算手段と、
   を備えることを特徴とする雑音除去装置。
5. 複数のマイクロホンから成る１個のマイクロホンアレーと、
   上記複数のマイクロホンで受音された受音信号がそれぞれ入力され、上記受音信号を周波数領域の信号に変換する複数の周波数領域変換部と、
   上記複数の周波数領域変換部の出力する周波数領域の信号を入力として上記受音信号の直間比、若しくは当該値に相当する直間比相当値を推定する直間比推定部と、
   上記直間比又は直間比相当値を入力として、その値の遠近判定を行い遠近判定結果を出力する遠近判定部と、を備えた遠近判定装置であって、
   上記遠近判定部は、
   上記直間比又は直間比相当値を、周波数方向に平均して周波数平均直間比相当値を出力する周波数平均手段と、
   上記周波数平均直間比相当値を過去所定のフレーム分の時間蓄積して、比較対象直間比相当値を出力する蓄積手段と、
   上記周波数平均直間比相当値と、上記比較対象直間比相当値とを比較して遠近判定結果を出力する判定手段と、
   を具備する遠近判定装置。
6. 複数の周波数領域変換部が、１個のマイクロホンアレーを構成する複数のマイクロホンで受音された受音信号を周波数領域の信号に変換する周波数領域変換過程と、
   処理対象信号生成部が、上記複数の周波数領域変換部の出力する周波数領域の信号を合成して処理対象信号を生成する処理対象信号生成過程と、
   直間比推定部が、上記複数の周波数領域変換部の出力する周波数領域の信号を入力として上記受音信号の直間比、若しくは当該値に相当する直間比相当値を推定する直間比推定過程と、
   対象信号調整部が、上記処理対象信号と、上記直間比又は直間比相当値を入力としてその値に応じて上記処理対象信号の振幅を調整した処理後信号を生成する対象信号調整過程と、
   逆周波数領域変換部が、上記処理後信号を時間領域の信号に変換する逆周波数領域変換過程と、
   を含む雑音除去方法。
7. 請求項６に記載の雑音除去方法において、
   上記直間比推定過程は、
   空間相関行列算出手段が、上記複数の周波数領域変換部の出力する周波数領域の信号を入力としてその周波数領域の信号をベクトル化して空間相関行列を算出する空間相関行列算出ステップと、
   固有値展開手段が、上記空間相関行列を入力としてその空間相関行列を固有値と固有ベクトルとに分解し、上記固有値を出力する固有値展開ステップと、
   固有値分布算出手段が、上記固有値を入力としてその固有値の分布の割合を数値化した上記直間比相当値を計算する固有値分布算出ステップと、
   を含むことを特徴とする雑音除去方法。
8. 請求項６に記載の雑音除去方法において、
   上記直間比推定過程は、
   空間相関行列算出手段が、上記複数の周波数領域変換部の出力する周波数領域の信号を入力としてその周波数領域の信号をベクトル化して空間相関行列を算出する空間相関行列算出ステップと、
   信号パワー推定手段が、予め与えられる上記マイクロホンの配置情報と、上記空間相関行列とから直接音のパワーと残響音のパワーで構成されるベクトルを求め、直接音パワーと残響音パワーを出力する信号パワー推定ステップと、
   直間比算出手段が、上記直接音パワーを上記残響音パワーで除した上記直間比を算出する直間比算出ステップと、
   を含むことを特徴とする雑音除去方法。
9. 請求項６に記載の雑音除去方法において、
   上記直間比推定過程は、
   空間相関行列算出手段が、上記複数の周波数領域変換部の出力する周波数領域の信号を入力としてその周波数領域の信号をベクトル化して空間相関行列を算出する空間相関行列算出ステップと、
   固有値展開手段が、上記空間相関行列を入力としてその空間相関行列を固有値と固有ベクトルとに分解し、上記固有値と、その固有値に対応する最大の固有ベクトルとを出力する固有値展開ステップと、
   固有値分布算出手段が、上記固有値を入力としてその固有値の分布の割合を数値化した上記直間比相当値を計算する固有値分布算出ステップと、
   を含み、
   上記処理対象信号調整過程は、
   乗算手段が、上記複数の周波数領域変換部の出力する周波数領域の信号がそれぞれ入力され、上記最大の固有ベクトルの各成分で、上記各周波数領域の信号を重み付けする複数の重み乗算ステップと、
   加算手段が、上記複数の重み乗算部の出力信号を加算する加算ステップと、
   を含むことを特徴とする雑音除去方法。
10. 複数の周波数領域変換部が、１個のマイクロホンアレーを構成する複数のマイクロホンで受音された受音信号を周波数領域の信号に変換する周波数領域変換過程と、
    直間比推定部が、上記複数の周波数領域変換部の出力する周波数領域の信号を入力として上記受音信号の直間比、若しくは当該値に相当する直間比相当値を推定する直間比推定過程と、
    遠近判定部が、上記直間比又は直間比相当値を入力として、その値の遠近判定を行い遠近判定結果を出力する遠近判定過程と、を含む遠近判定方法であって、
    上記遠近判定過程は、
    周波数平均手段が、上記直間比相当値を周波数方向に平均して周波数平均直間比相当値を出力する周波数平均ステップと、
    蓄積手段が、上記周波数平均直間比相当値を過去所定のフレーム分の時間蓄積して、比較対象直間比相当値を出力する蓄積ステップと、
    判定手段が、上記周波数平均直間比相当値と、上記比較対象直間比相当値とを比較して遠近判定結果を出力する判定ステップと、
    を含む遠近判定方法。
11. 請求項１乃至４の何れかに記載した雑音除去装置、または、請求項５に記載の遠近判定装置としてコンピュータを機能させるための装置プログラム。

Images