JP4734070B2 - ノイズ低減による多重チャンネル適応の音声信号処理 - Google Patents

Description

（発明の記載）
本発明は、ノイズ低減による音声信号処理に関する。詳細には、多重チャンネルの音声信号処理に関する。

音声信号処理は、ノイズが存在する環境において多く達成されている。顕著な例は、車中におけるハンズフリーの音声通信である。このようなハンズフリー通信においては、マイクロホン信号が相対的に低いＳＮ比（ＳＮＲ）の影響を受ける。その結果、この音声信号の質を改善するために、一定のノイズの低減が使用されなければならない。

音声を取得する距離において、この信号の質を改善するための一般的な方法では、多重チャンネルシステムを活用する（例えば、「Ｍｉｃｒｏｐｈｏｎｅ Ａｒｒａｙｓ： Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｔｅｃｈｎｉｑｕｅｓ ａｎｄ Ａｐｐｌｉｃａｔｉｏｎｓ」，ｅｄｓ． Ｂｒａｎｄｓｔｅｉｎ，Ｍ．およびＷａｒｄ，Ｄ．，Ｓｐｒｉｎｇｅｒ，Ｂｅｒｌｉｎ ２００１に記載のマイクロホンアレイ）。

現在の多重チャンネルシステムは主に、いわゆる「Ｇｅｎｅｒａｌ Ｓｉｄｅｌｏｂｅ Ｃａｎｃｅｌｌｅｒ」（ＧＳＣ）を使用する（参照、例えば、Ｇｒｉｆｆｉｔｈｓ，Ｌ．Ｊ．およびＪｉｍ，Ｃ．Ｗ．による「Ａｎ ａｌｔｅｒｎａｔｉｖｅ ａｐｐｒｏａｃｈ ｔｏ ｌｉｎｅａｒｌｙ ｃｏｎｓｔｒａｉｎｅｄ ａｄａｐｔｉｖｅ ｂｅａｍｆｏｒｍｉｎｇ」、アンテナおよび伝搬についてのＩＥＥＥ報告書，ｖｏｌ．３０．，ｐ２７，１９８２）。ＧＳＣは、２つの信号処理経路からなり、それは、ブロッキングマトリクスおよび適応するノイズキャンセリング手段を用いる第１の（または下側の）適応経路、および固定ビームフォーマーを用いる第２の（上側の）非適応経路である。

固定ビームフォーマーは、例えば、固定ビームパターンを使用する時間遅延補償によって、前処理された信号を改善する。適応処理方法は、例えばシステム操作中のフィルター係数のような、処理パラメータの永久適応により特徴付けられる。このＧＳＣの下側の信号処理経路では、固定ビームフォーマーの出力信号の残余ノイズを低減するために使用されるノイズ参照信号を生成するように最適化される。

下側の信号処理手段は、マイクロホン信号からノイズ参照信号を生成するために使用されるブロッキングマトリクスを備える（例えば、Ｈｅｒｂｏｒｄｔ，Ｗ．，およびＫｅｌｌｅｒｍａｎｎ．による「Ａｄａｐｔｉｖｅ ｂｅａｍｆｏｒｍｉｎｇ ｆｏｒ ａｕｄｉｏ ｓｉｇｎａｌ ａｃｑｕｉｓｉｔｉｏｎ」，「Ａｄａｐｔｉｖｅ ｓｉｇｎａｌ ｐｒｏｃｅｓｓｉｎｇ：ａｐｐｌｉｃａｔｉｏｎｓ ｔｏ ｒｅａｌ−ｗｏｒｌｄ ｐｒｏｂｌｅｍｓ」中のｐ１５５，Ｓｐｒｉｎｇｅｒ，Ｂｅｒｌｉｎ ２００３）。この妨害信号によって、固定ビームフォーマーの出力信号の残余ノイズは低減され得、適応フィルターを使用する一定の適応ノイズキャンセリング手段を与える。

現在のＧＳＣ設計における焦点は、固定ビームフォーマーの出力信号を歪ませることなく、下側の経路によってノイズを最適に抑制することにある。しかし、この固定ビームフォーマーに対する、いずれの最適化もこれまで決してなされてこなかった。むしろ、音声信号は一定の時間遅延の分だけ異なるのみで、音声信号およびノイズ信号はマイクロホンアレイの各マイクロホンにおいて同じエネルギーレベルを示すと考えられる。

多くの実用化に対しては、マイクロホンアレイの異なるマイクロホンのＳＮＲはお互いに異なり、ＧＳＣの性能を低下させる結果となる。低いＳＮＲをもつチャンネルにより、非最適化の固定ビームフォーマーの性能が悪化さえし得、改善し得ない。このようにして、実際のＧＳＣの実行は信頼できるほどに十分働かず、無指向性のマイクロホンまたは同じ方向にポインティングする同じ型の指向性のマイクロホンからなるマイクロホンアレイに対していくらか実際に使用するのみである。

それゆえ、本発明に存在する課題は、上述のようなドローバックを克服し、音声信号処理システムおよび方法および改善された音響特性、特に、良好なＳＮ比（ＳＮＲ）を示し、および経済的に実行できるハンズフリーシステムシステムを提供することである。

この課題は、請求項１に記載のノイズ低減による音声信号処理のためのシステム、および請求項１２に記載の方法によって解決される。本発明によるこのシステムは、
マイクロホン信号を検出するために少なくとも２つのマイクロホンを有するマイクロホンアレイと、
前処理信号を得るために該マイクロホン信号の時間遅延補償を達成するように構成される手段を有し、該マイクロホン信号を受信するために該マイクロホンアレイに接続される前処理手段と、
少なくとも１つのノイズ参照信号、特に、各マイクロホン信号に対して１つのノイズ参照信号）を生成するように構成される手段を有し、前処理信号を受信するために前処理手段に接続される第１の信号処理手段と、
ビームフォームされた信号を得るために適応するビームフォーマーを有し、前処理信号を受信するための前処理手段に接続される第２の信号処理手段と、
少なくとも１つのノイズ参照信号に基づいて、ビームフォームされた信号のノイズを低減するように構成される適応するノイズキャンセリング手段と
を備える。

音声信号処理のための本発明のシステム、特に、例えば、音声信号およびノイズ信号が、マイクロホンアレイの各マイクロホンにおいて同じレベルを示さない場合、第２の信号処理手段の最適化は、主に音声信号のＳＮＲを改善する。実際の適用においては、このような場合が一般的であり、それは、例えば、ａ）話し手とマイクロホンとの距離が会話中で異なり得るために、そのマイクロホンにおいて異なる音声レベルが生ずる、ｂ）ノイズ領域が不均一であり得、このため、異なるノイズレベルがそのマイクロホンにおいて生ずる、およびｃ）そのマイクロホンアレイが、空間において異なる方向にポインティングする指向性マイクロホンからなり得るために、異なるノイズおよび音声レベルを得る、ためである。

所望のターゲット信号にマイクロホン信号を同期するために、各信号の時間遅延が、その前処理手段によって計算および補償される必要がある。

第２の信号処理手段はビームフォーマーを備える。本発明によるビームフォーマーは、適応する重み付きの和で表されたビームフォーマーであり、これはＭ個のマイクロホンの前処理信号、詳細には時間遅延信号Ｘ_Ｔ，ｍを重ね合わせ、改善されたＳＮＲを有する１つの出力信号Ｙ_Ｗを得る。

重みＡ_ｍは、従来の遅延和（ｄｅｌａｙ−ａｎｄ−ｓｕｍ）ビームフォーマーにおけるように時間に関して独立ではないが、例えば、所望の方向における感度を維持し、およびノイズ源の方向において感度を最小化するために、必要数を繰り返して再計算される必要がある。
詳細には、第１の信号処理手段は、ノイズ参照信号をできるだけ正確に評価するように設計される。これらのノイズ参照信号は、当業者に周知の適応ノイズキャンセリング手段により、入力信号として使用される。

適応ノイズキャンセリング手段は、第２の信号処理手段により生成された出力信号からの低減されたノイズ信号を生成する。適応ノイズキャンセリング手段は、反復計算（例えば、正規化された最小二乗（ＮＬＭＳ）アルゴリズムにより）される適応するフィルターを備える。

有利には、少なくとも１つのノイズ参照信号を生成するように構成される手段は、非適応のブロッキングマトリクスまたは適応するブロッキングマトリクスを備え得る。

非適応のブロッキングマトリクスは使用するのに技術的に容易であり、製造するのに安価でもあるが、適応するブロッキングマトリクスの使用は主に、ノイズ参照信号における音声信号部分の低減を改善する。ブロッキングマトリクスは、隣のチャンネルを単に低減することによって働き得る。異なるチャンネルのうち１つを除く各チャンネルの場合には、参照信号が、時間遅延マイクロホン信号により生成される。

好ましくは、この前処理手段は、時間遅延補償された各マイクロホン信号の位相および振幅を一致させるように構成される適応するセルフキャリブレーション手段をさらに備え得る。適応するノイズキャンセリング手段の場合のように、適応するセルフキャリブレーション手段の適応するフィルターがＮＬＭＳアルゴリズムの手段により計算され得る。

時間遅延補償の後、このマイクロホン信号は正確には一致し得ない（例えば、話し手の動きおよび異なるマイクロホンの位相および振幅の不一致のため）。この適応するセルフキャリブレーションによって、位相および振幅の不一致は最小化される。したがって、各チャンネルにおける所望の信号が時間（位相）調整され、所望信号部分の振幅は各チャンネルにおいてほぼ等しく、この信号はほぼ同じ周波数特性を示すことが予測される。

結果的には、実際の適用により要求されるＳＮＲに依存して、第１の信号処理手段における非適応のブロッキングマトリクスを使用するのに十分であり得、この処理手段は少なくとも１つのノイズ参照信号を得る。しかし、適応するブロッキングマトリクスは、少なくとも１つのノイズ参照信号の正確性を改善するために使用され得る。

本発明のシステムの好ましい実施形態によれば、適応する処理手段の適応を制御するように構成される適応する制御手段が使用され得る。これらの適応する処理手段は、適応するビームフォーマー、適応するノイズキャンセリング手段および適応するものとして選択される場合にはブロッキングマトリクスを備え得る。

さらに、適応する制御手段は、瞬時のＳＮＲ、および／または音声が検出されるかどうか、および／または検出された音声信号のエネルギーが一定の規定値で同時に検出されたバックグラウンドノイズのエネルギーを超過するかどうか、および／または音響信号が到来する方向、に依存して適応を開始するように構成され得る。

適応する制御が、第２の適応処理手段に依存して第１の適応処理手段の適応を開始するように構成されることが望まれ得、ここで、第１の適応処理手段および第２の適応処理手段は、適応するビームフォーマー、適応するブロッキングマトリクスおよび適応するノイズキャンセリング手段のうちの１つである。

例えば、適応するビームフォーマーにより使用される重みが適応する場合、適応するブロッキングマトリクス、適応される場合には、および／または適応するノイズキャンセリング手段のフィルターを適応させることも望まれ得る。

さらに、前処理手段および／または第１の処理手段および／または第２の処理手段は、時間領域でまたは周波数領域でまたはサブバンド周波数領域で音声信号処理を達成するように構成され得る。

次の信号処理が周波数領域でなされる場合、前処理手段は高速フーリエ変換を達成するための手段を備え得る。フーリエ変換を避けるために、全時間領域における少なくとも一部分の処理がなされ得る。

本発明のシステムのマイクロホンアレイは、少なくとも１つの指向性マイクロホンを備え得る。詳細には、このマイクロホンアレイは１より多くの指向性マイクロホンを備え得、これらは異なる方向を向く（例えば、コンパクトマイクロホンアレイは、異なる方向を向く少なくとも２つの指向性マイクロホンを備える）。同じ方向を向かない複数のマイクロホンが与えられる場合には、固定ビームフォームを使用する従来の音声信号処理のシステムは相対的に低い性能を示すが、本発明はマイクロホンが異なる方向を向く場合でさえ、高いＳＮＲを補償する。

１つの有利な実施形態によれば、本発明のシステムは少なくとも２つのサブアレイを備え得る。この場合、各サブアレイは、改善された全体の指向性および感度を生ずる特定の周波数帯域に最適化され得る。

好ましくは、本発明のシステムはフレームを備え、このフレーム内外に所定の、さらに詳細には定位置にマイクロホンアレイの各マイクロホンが配列される。このことから、マイクロホンを有するフレームの製造後に、マイクロホンの相対位置が既知となることが保証される。

低減されたノイズにより改善された音声信号処理の本発明のシステムおよび方法は、特に、ハンズフリーシステムに有効であり、これは、ハンズフリー通信がノイズ環境で達成されるからである。

さらに、本発明は、車中における音声信号処理のための、およびハンズフリーシステムのための先述のシステムの使用に向ける。改善されたＳＮＲは、車両キャビン中の通信装置の音響的に興味深いコンテンツにおいて特に望まれる。上述した実施形態にしたがって、マイクロホンアレイがフレームにおいて配置される場合、マイクロホンアレイは容易に車両キャビン中に搭載され得る。

本発明により、音声信号処理およびハンズフリーシステムための、上述したシステムの１つを備える車両も提供される。

さらに、本発明は、ノイズ低減による音声信号処理のための方法を提供し、該方法は、
少なくとも２つのマイクロホンを備えるマイクロホンアレイによってマイクロホン信号を検出することと、マイクロホン信号を前処理することであって、前処理することが、前処理信号を得るためにマイクロホン信号の時間遅延補償を包含することと、第１信号処理のための、および第２の信号処理のための入力信号として前処理信号を使用することであって、該第１信号処理が少なくとも１つのノイズ参照信号生成することを含み、第２の信号処理がビームフォームされた信号を得るために、適応するビームフォーミングをすることを含む、ことと、適応ノイズキャンセリング手段を使用してノイズ参照信号に基づくビームフォームされた信号のノイズを低減することとを包含する。

非適応のブロッキングマトリクスまたは適応のブロッキングマトリクスを使用して、少なくとも１つのノイズ参照信号が生成され得る。

マイクロホン信号の前処理は、時間遅延補償された信号を、適応するセルフキャリブレーションすることを包含し得、これらの信号の位相および振幅を一致させる。

適応する処理ステップの適応、特に、適応するビームフォーミング、適応するブロッキングマトリクスの計算、適応するものであるように選択される場合には、および適応するノイズキャンセリングが、一定の適応する制御手段によって達成され得る。

さらに、適応ステップの制御は第１の適応処理手段に適応することを包含し得、この処理手段は、第２の適応処理手段の適応に依存し、ここで、第１の適応処理手段および第２の適応処理手段は、適応するビームフォーマー、適応するブロッキングマトリクス、および適応するノイズキャンセリング手段のうち１つである。

有利には、瞬時のＳＮＲ、および／または音声が検出されるかどうか、および／または検出された音声信号のエネルギーが一定の規定値で同時に検出されたバックグラウンドノイズのエネルギーを超過するかどうか、および／または音響信号が到来する方向、に依存して適応が制御され得る。

前処理手段および／または第１の処理手段および／または第２の処理手段が、時間領域または周波数領域またはサブバンド周波数領域で、処理を達成し得る。

本発明はコンピュータプログラム製品をさらに提供し、この製品は、上述のようなノイズ低減による音声信号処理のための本発明のステップを達成するためのコンピュータの実行可能な命令を有する１以上のコンピュータ読み取り可能な媒体を備える。

本発明は、さらに以下の手段を提供する。

（項目１）
ノイズ低減による音声信号処理のためのシステムであって、
マイクロホン信号を検出するために少なくとも２つのマイクロホンを有するマイクロホンアレイと、
前処理信号を得るために該マイクロホン信号の時間遅延補償を達成するように構成される手段を有し、マイクロホン信号を受信するために該マイクロホンアレイに接続される前処理手段と、
少なくとも１つのノイズ参照信号、特に、各マイクロホン信号に対して１つのノイズ参照信号を生成するように構成される手段を有し、該前処理信号を受信するために該前処理手段に接続される第１の信号処理手段と、
ビームフォームされた信号を得るために適応するビームフォーマーを有し、該前処理信号を受信するための該前処理手段に接続される第２の信号処理手段と、
該少なくとも１つのノイズ参照信号に基づいて、該ビームフォームされた信号のノイズを低減するように構成される適応するノイズキャンセリング手段と
を備える、システム。

（項目２）
上記少なくとも１つのノイズ参照信号を生成するように構成される手段が、非適応のブロッキングマトリクスまたは適応のブロッキングマトリクスを備える、項目１に記載のシステム。

（項目３）
上記前処理手段が、時間遅延補償されたマイクロホン信号の位相および振幅を一致するように構成される適応するセルフキャリブレーション手段をさらに備える、項目１から項目２のいずれか１項に記載のシステム。

（項目４）
上記適応処理手段、特に、上記適応ビームフォーマーおよび上記適応ノイズキャンセリング手段の適応を制御するように構成される適応する制御手段をさらに備える、項目１から項目３のいずれか１項に記載のシステム。

（項目５）
第２の適応処理手段の適応に依存する第１の適応処理手段の適応を開始するように上記適応制御手段が構成され、該第１の適応処理手段および該第２の適応処理手段が上記適応ビームフォーマー、上記適応ブロッキングマトリクスおよび上記適応ノイズキャンセリング手段のうちの１つである、項目４に記載のシステム。

（項目６）
上記適応制御手段が、瞬時のＳＮＲ、および／または音声が検出されるかどうか、および／または検出された音声信号のエネルギーが一定の規定値で同時に検出されたバックグラウンドノイズのエネルギーを超過するかどうか、および／または音響信号が到来する方向、に依存して適応を開始するように構成される、項目４または項目５に記載のシステム。

（項目７）
上記前処理手段および／または上記第の１処理手段および／または上記第２の処理手段が、時間領域または周波数領域またはサブバンド周波数領域で、処理を達成するように構成される、項目１から項目６のいずれか１項に記載のシステム。

（項目８）
上記マイクロホンアレイが、少なくとも１つの指向性マイクロホン、詳しくは、異なる方向を向く１より多い指向性マイクロホンを備える、項目１から項目７のいずれか１項に記載のシステム。

（項目９）
上記マイクロホンアレイが少なくとも２つのサブアレイを備える、項目１から項目８のいずれか１項に記載のシステム。

（項目１０）
フレームをさらに備え、上記マイクロホンアレイが、該フレーム中または該フレーム上に、所定の、特に、定位置に配置される、項目１から項目９のいずれか１項に記載のシステム。

（項目１１）
項目１から項目１０のいずれか１項に記載のノイズ低減による音声信号処理のためのシステムを備えるハンズフリーシステム。

（項目１２）
ノイズ低減による音声信号を処理するための方法であって、
少なくとも２つのマイクロホンを備えるマイクロホンアレイによってマイクロホン信号を検出することと、
該マイクロホン信号を前処理することであって、該前処理することが、前処理信号を得るために該マイクロホン信号の時間遅延補償を包含することと、
第１の信号処理のためのおよび第２の信号処理のための入力信号として該前処理信号を使用することであって、該第１の信号処理が少なくとも１つのノイズ参照信号を生成することを含み、該第２の信号処理がビームフォームされた信号を得るために、適応するビームフォーミングをすることを含む、ことと、
適応するノイズキャンセリング手段を使用して、該ノイズ参照信号に基づいてビームフォームされた信号のノイズを低減すること
を包含する、方法。

（項目１３）
上記少なくとも１つのノイズ参照信号が、非適応のブロッキングマトリクスまたは適応のブロッキングマトリクスを使用して生成される、項目１２に記載の方法。

（項目１４）
上記マイクロホン信号を前処理することが、これらの信号の位相および振幅を一致させるために、上記時間遅延補償された信号を適応セルフキャリブレーションすることをさらに包含する、項目１２または項目１３に記載の方法。

（項目１５）
適応処理ステップ、特に、上記適応ビームフォーミングおよび上記適応ノイズキャンセリングの適応を制御することをさらに包含する、項目１２から項目１４のいずれか１項に記載の方法。

（項目１６）
上記制御することが、第２の適応処理手段の適応に依存する第１の適応処理手段を適応することを包含し、該第１の適応処理手段および該第２の適応処理手段が、上記適応ビームフォーマー、上記適応ブロッキングマトリクス、および上記適応ノイズキャンセリング手段のうちの１つである、項目１５に記載の方法。

（項目１７）
上記適応が、瞬時のＳＮＲ、および／または音声が検出されるかどうか、および／または検出された音声信号のエネルギーが一定の規定値で同時に検出されたバックグラウンドノイズのエネルギーを超過するかどうか、および／または音響信号が到来する方向、に依存して制御される、項目１２から項目１６のいずれか１項に記載の方法。

（項目１８）
上記前処理手段および／または上記第１の処理手段および／または上記第２の処理手段が、時間領域または周波数領域またはサブバンド周波数領域において、処理を達成する、項目１２から項目１７のいずれか１項に記載のシステム。

（項目１９）
項目１２から項目１８のいずれか１項に記載の方法のステップを達成するためのコンピュータ実行可能な命令を有する１以上のコンピュータ読み取り可能な媒体を備える、コンピュータプログラム製品。

本発明のさらなる特徴および利点は図面を参照して記載される。この明細書では、本発明の好ましい実施形態を例示することを意味する添付図面を参照する。このような実施形態は本発明の全ての範囲を表現していないことが理解される。

本発明による音声信号処理の一実施形態の一般的な構成が図１に示される。例示目的のでは、記載されるサブバンド領域において、この処理がなされる。代替的には、このアルゴリズムが、全時間領域において適用され得る。

図１に示されるこの音声処理手段は、ＧＳＣの一般的な表現とみなされ得る。しかし、標準的なＧＳＣ法によると、２つの信号処理手段または経路がある。それは、１つの非適応経路（上側の経路、固定ビームフォーマー）および１つの適応する経路（下側の経路、適応するノイズキャンセリング手段）である。本発明においては、上側の経路においてビームフォーマーと適応することも提案される。

例えば、車両の内側に搭載されるマイクロホンアレイ（示されてない）は、音声信号を検出する。検出されるマイクロホン信号は、ノイズを低減する前に、前処理される。前処理は、高速フーリエ変換を包含し得る。サブバンド領域における複素数のマイクロホン信号Ｘ_１（ｎ，ｋ）〜Ｘ_Ｍ（ｎ，ｋ）は、時間遅延補償１１をされ、ここで、Ｍはマイクロホン数を示し、ならびにｎおよびｋは、周波数の引数（ｉｎｄｅｘ）、時間の引数それぞれを示す。各マイクロホン信号に対して、この時間遅延は、所望のターゲット信号に対応してマイクロホン信号を同期するために、例えば、マイクロホンの幾何形状に基づいて、計算および補償される必要がある。この遅延は、音速により音が伝播するための、および異なる方向および／または位置から伝播するための音響での時間遅延に対応する。

この時間遅延信号Ｘ_Ｔ，１〜Ｘ_Ｔ，Ｍは、２つの異なる信号処理手段によってさらに処理され、これらは例えば、２つの信号処理経路に入力される：この経路は、ブロッキングマトリクス１２を有する第１の（下側の）適応する経路および適応するノイズキャンセリング手段１３および適応する重み付き和のビームフォーマー１４を有する第２の（上側の）経路である。
各チャンネルにおける信号部分のノイズレベルは互いに異なることが多い。異なるチャンネルの単純平均をとる（遅延和ビームフォーマー）ことにより、まさに低いＳＮＲを有するチャンネルは、出力信号のＳＮＲを低減し得る。このように、異なるチャンネルには重み係数（重み）を導入することが望まれ得る。

平均をとる前に、各サブバンドｎにおける各チャンネルｍに実数の重みＡ_ｍ（ｎ）を適用することによって、出力信号Ｙ_ＷのＳＮＲは、原理的に最大化され得る。

次の手順により、重みＡ_ｍ（ｎ）を決定することが可能になる。入力信号Ｘ_Ｔ，Ｍはそれぞれ、信号部分Ｓ_ｍ（ｎ，ｋ）およびノイズ部分Ｎ_ｍ（ｎ，ｋ）からなる。

簡単のために、この信号部分は正の実数のスケーリングファクターα_ｍによってのみ変化することを仮定する。

ノイズ部分は、互いに完全な直交性を有し、異なるパワーεを有し得ると仮定される。

ここで、β_ｍはある正の実数値である。これらの仮定に対する最適な重みは、以下のように計算され得る（参照：Ｖａｎ Ｖｅｅｎ，Ｂ．Ｄ．およびＢｕｃｋｌｅｙ，Ｋ．Ｍ．による「Ｂｅａｍｆｏｒｍｉｎｇ：Ａ Ｖｅｒｓａｔｉｌｅ Ａｐｐｒｏａｃｈ ｔｏ Ｓｐａｔｉａｌ Ｆｉｌｔｅｒｉｎｇ」，ＩＥＥＥ ＡＳＳＰ Ｍａｇａｚｉｎｅ，ｖｏｌ．５，ｎｏ．２，ｐ．４，１９９９）。

この重みは、所望の信号部分に対する唯一の応答を得るために正規化され得る。

実際の適用では、α_ｍ（ｎ）およびβ_ｍ（ｎ）の数は時刻に依存し得る。このようにして、一時的な変化をトラックする（例えば、ε｛｜Ｎ_ｍ（ｎ，ｋ）｜^２｝ノイズのパワーおよび異なるチャンネルの音声振幅比を評価することによって）ことが必要である。その結果、最適な重みＡ_ｍ（ｎ，ｋ）はさらに、時刻の変化量でもあり、繰り返し計算される必要があり、これにより、ビームフォーマーが適応するものとなる。

適応する重み和ビームフォーマーＹ_Ｗ（ｎ，ｋ）の出力信号は中間値として示される。このＳＮＲが出来るだけ適切であり得るために、このビームフォーマーは適応する重みＡ_ｍ（ｎ，ｋ）の決定により達成される。

ブロッキングマトリクス１２は、ノイズ参照信号を得るために設計される。これらの信号の中には、所望の音声はできる限り存在し得ない。容易な理解のために、このブロッキングマトリクスは、隣のチャンネルとの減算を達成する。

好ましくは、このブロッキングマトリクス１２は適応するものである。入力信号Ｘ_Ｔ，１〜Ｘ_Ｔ，Ｍは、「ノイズプレーン（ｎｏｉｓｅ ｐｌａｎｅ）」上に作られる。Ｘ_Ｂ，１〜Ｘ_{Ｂ，Ｍ−１}は、このブロッキングマトリクスによって生じるノイズ参照信号出力であり、このブロッキングマトリクスは、この入力信号内で、所望のまたは有効な信号を理論的には完全にブロックし得る。Ｗａｌｓｈ−Ｈａｄａｍａｒｄ型のブロッキングマトリクスは、Ｇｒｉｆｆｉｔｈｓ−Ｊｉｍ型のブロッキングマトリクスよりも一般的に好まれるが、それは、Ｗａｌｓｈ−Ｈａｄａｍａｒｄ型のブロッキングマトリクスを用いると、多くのフィルターが省略され得るからである。他方、Ｗａｌｓｈ−Ｈａｄａｍａｒｄ型のブロッキングマトリクスは、Ｍ＝２^ｎのマイクロホンのみからなるアレイに成り立ち得る。

好ましくは、ノイズ参照信号Ｘ_Ｂ，１〜Ｘ_Ｂ，Ｍは、適応するノイズキャンセリング手段１３の入力信号として使用される。適応するノイズキャンセルはフィルターＨ_{ＧＳＣ，ｍ}（ｎ，ｋ）により行われる。これらのフィルターは、出力信号パワーε｛｜Ｙ_{ＧＳＣ，ｍ}（ｎ，ｋ）｜^２｝を最小化するように適応される。参照信号は理論的には信号部分を有しないので、この残余ノイズの信号Ｙ_Ｗ（ｎ，ｋ）が低減され、これにより、ＳＮＲが増加する。

フィルターの適応のために、ＮＬＭＳアルゴリズムは使用され得、このアルゴリズムは次のとおりである：

ここで、アスタリスクは、このノイズ参照信号の複素共役を示す。したがって、ノイズ参照信号およびフィルターＨ_{ＧＳＣ，ｍ}（ｎ，ｋ）は、ノイズ信号を生成するために使用され、該ノイズ信号は、適応するビームフォーマー１４によって、ビームフォームされた信号Ｙ_Ｗ出力から減算される。この減算によって得られた最終的な出力信号Ｙ_ＧＳＣは、当業者に周知のものよりも高品質な音声取得を可能にする、高品質の音声信号を示す。

第１の信号処理および第２の信号処理の適応するステップは、適応する制御１５によって制御される必要がある。上側の信号処理経路が適応されると、一般的に下側の信号処理経路の最適解の設定は変化する。それゆえ、下側の信号処理経路は、有利的に再適応される必要がある。

出力信号における結果を得るために、この適応ステップは注意深く制御される必要がある。好ましくは、ＳＮＲを最適化する重み和ビームフォーマー１４は瞬間にのみ適応され、ここで、（音声）信号は、バックグラウンドノイズ上で十分なエネルギーを有して存在する。有利なことに、適応するノイズキャンセリング手段１３は、ノイズが存在する場合、および音声信号が検出されないかまたはほとんど音声信号が検出されない場合にのみ適用され得る。

異なるユニットの適応のためのステップ数を制御するために、いくつかの情報のソースが考慮され得る。例えば、このステップ数は、ＳＮＲ、および／または音声が検出されるかどうか、および／または音声の伝播方向に依存し得る。

図２は、本発明のＧＳＣの他の実施形態を示す。ここで、図１に示される構成は、適応するセルフキャリブレーティングユニット２６により提供される。この実施形態による前処理手段は、時間遅延補償２１、およびマイクロホン入力を前処理するために適応するセルフキャリブレーティングユニット２６を備える。

実際の適用では、時間遅延補償後に、このマイクロホン信号は最適方法においてまだ一致していない。いくつかのマイクロホンは、異なるチャンネルにおける位相および振幅に関して一致し得ないが、それは、所望の方向から外れた話し手の動きおよびエコーがかかる部屋の音響（例えば、境界反射のような）が理想的でない条件を引き起こすからである。

適応するセルフキャリブレーションユニット２６によって、異なるチャンネルの不一致は最小化される。これは、位相および振幅に対してなされる。次いで、各チャンネルにおける所望の信号は時刻歴信号であり得、ほぼ同じ周波数特性を有し得る。

適応するセルフキャリブレーションのための１つの効果的な方法は次の通りである。このセルフキャリブレーションフィルターＨ_Ｃ，ｍ（ｎ，ｋ）は、以下に示す各チャンネルにおける信号の一致を達成する。

ここで、Ｅ_Ｃ，ｍ（ｎ，ｋ）は誤差信号を示す。（複素数の）フィルターＨ_Ｃ，ｍ（ｎ，ｋ）は、
誤差信号のパワーε｛｜Ｎ_Ｃ，ｍ（ｎ，ｋ）｜^２｝を最小化することを目的とするＮＬＭＳアルゴリズムにより再度適応され得る。

次いで、このフィルターは再計測されて、唯一の手段応答を得る。

図２に示される実施形態による前処理手段は、適応するようにセルフキャリブレートされた信号Ｘ_Ｃ，Ｍを出力し、この信号は、第１の処理手段（下側の処理経路）および第２の処理手段（上側の処理経路）によって、詳細には本発明の実施形態による、ブロッキングマトリクス２２および適応するビームフォーマー２４によって、さらに処理される。

ブロッキングマトリクス２２は、非適応または適応するものであり得る。この入力信号は前に、適応してセルフキャリブレートされるので、実際の適用に基づいて、非適応のマトリクスは、十分正確なノイズ参照信号を生成し得るとみなされ得る。

音声信号がバックグラウンドノイズ上で十分なエネルギーを有し、適応するセルフキャリブレーションユニット２６が適用される場合には、その適応のみ達成され得る。

図３は、ノイズ低減による音声信号処理のための本発明の方法に記載の選択されたステップの機能を示す。少なくとも２つのマイクロホンが口頭発声を検出する（３１）。ステップ３３において、マイクロホン出力が生成され、次いで、この出力は、例えば、高速フーリエ変換（例えば、毎秒１２８点の変換）によりマイクロホン出力３２を通すことにより周波数領域において処理される。次のステップにおいては、時間遅延補償が周波数領域３４において達成される。このステップは、マイクロホン信号を前処理する間においては最終ステップであり得る。

時間遅延補償後の多くの適用としては、マイクロホン信号は十分に一致しない。それゆえ、信号を適応的にセルフキャリブレートする（３５）ことによって、多重チャンネルの不一致を最小化することは有利な点であり、その後、キャリブレートされた信号を前処理するステップは、所望の信号に関して位相整列され、所望信号部分の振幅は、各多重チャンネルにおいて等しい。

ノイズ部分のレベルはまだ概して、他の各チャンネルとは異なる。キャリブレートされた信号はさらに、適応するビームフォーマーによって処理され、最大のＳＮＲを有するビームフォームされた信号を得る。このためには、重み付きの係数（重み）Ａ_ｍ（ｎ）が計算される必要があり（３６）、前処理された異なる入力信号の重み付きの和をとる。従来の遅延和ビームフォーマーと異なり、この計算は、本発明の方法に従って、時間依存で達成される。

計算された重み付きの係数Ａ_ｍ（ｎ）により、適応するビームフォーマー出力信号Ｙ_Ｗ（Ｎ，ｋ）が決定される（３７）。この信号は、適応するノイズキャンセリング手段によってノイズ部分を減算することによりさらに処理され得、このノイズキャンセリング手段は、異なるチャンネルに対するノイズ参照信号に基づいて働き、このノイズ参照信号はブロッキングマトリクス（示されてない）により得られる。結果的に、生じた信号は高速逆フーリエ変換により時間領域に戻るように変換される。

先に議論されたすべての実施形態は限定として意図されるのではなく、本発明の特徴および利点を示す例示として示される。上記されたいくつかまたはすべての特徴は異なる方法で結合されることが理解される。

本発明による音声信号処理手段の一実施形態を示し、この手段は、適応するビームフォーマー、時間遅延補償を達成するように構成される手段、ブロックマトリクスおよび適応するノイズキャンセリング手段を備える。 図１において示されるものと同様な音声信号処理手段の他の実施形態を示すが、さらに、適応するセルフキャリブレーション手段を備える。 ノイズ低減による音声信号処理のための本発明の方法の選択されたステップを示す。

符号の説明

１１、２１ 時間遅延補償
１２、２２ ブロッキングマトリクス
１３、２３ 適応ノイズキャンセラ
１４、２４ 重み付き和ビームフォーマー
１５、２５ 適応制御
２６ セルフキャリブレーティングユニット

Claims (19)

1. ノイズ低減による音声信号処理のためのシステムであって、
   複数のマイクロホン信号を検出するために少なくとも２つのマイクロホンを有するマイクロホンアレイであって、該複数のマイクロホン信号の数は、該少なくとも２つのマイクロホンの数に等しく、それぞれのマイクロホン信号は、該少なくとも２つのマイクロホンのうち対応する１つのマイクロホンによって検出される、マイクロホンアレイと、
   該複数のマイクロホン信号を受信するように該マイクロホンアレイに接続されている前処理手段であって、該複数のマイクロホン信号の時間遅延補償を行うことにより、前処理された信号を取得するように構成されている手段を有する前処理手段と、
   該前処理された信号を受信するように該前処理手段に接続されている第１の信号処理手段であって、それぞれのマイクロホン信号に対してそれぞれ１つのノイズ参照信号を生成するように構成されている手段を有する第１の信号処理手段と、
   該前処理された信号を受信するように該前処理手段に接続されている第２の信号処理手段であって、該第２の信号処理手段は、それぞれのマイクロホン信号に対して適応された重みを用いることにより、ビームフォームされた信号を取得する適応型のビームフォーマーを有し、該重みは、時間経過につれて適応される、第２の信号処理手段と、
   それぞれのマイクロホン信号に対するそれぞれ１つのノイズ参照信号に基づいて、該ビームフォームされた信号のノイズを低減するように構成されている適応型のノイズキャンセリング手段と
   を含む、システム。
2. それぞれのマイクロホン信号に対してそれぞれ１つのノイズ参照信号を生成するように構成されている手段は、非適応型のブロッキングマトリクスまたは適応型のブロッキングマトリクスを含む、請求項１に記載のシステム。
3. 前記前処理手段は、時間遅延補償された複数のマイクロホン信号の位相および振幅を適応的に互いに一致させる手段をさらに含む、請求項１から請求項２のいずれか１項に記載のシステム。
4. 適応処理手段の適応を制御するように構成されている適応制御をさらに含み、該適応処理手段は、前記適応型のビームフォーマーおよび前記適応型のノイズキャンセリング手段のうちの少なくとも１つを含む、請求項１から請求項３のいずれか１項に記載のシステム。
5. 前記適応制御は、第２の適応処理手段の適応が生じる場合に第１の適応処理手段の適応を開始するように構成されており、該第１の適応処理手段および該第２の適応処理手段は、前記適応型のビームフォーマー、前記適応型のブロッキングマトリクス、前記適応型のノイズキャンセリング手段のうちの１つである、請求項４に記載のシステム。
6. 前記適応制御は、瞬時のＳＮＲ、および／または、音声が検出されるかどうか、および／または、検出された音声信号のエネルギーが同時に検出されたバックグラウンドノイズのエネルギーよりも所定の値の分だけ超過するかどうか、および／または、音響信号が到来する方向に依存して、適応を開始するように構成されている、請求項４または請求項５に記載のシステム。
7. 前記前処理手段および／または前記第の１処理手段および／または前記第２の処理手段は、時間領域または周波数領域またはサブバンド周波数領域において、処理を実行するように構成されている、請求項１から請求項６のいずれか１項に記載のシステム。
8. 前記マイクロホンアレイは、複数の異なる方向を向く２つ以上の指向性マイクロホンを含む、請求項１から請求項７のいずれか１項に記載のシステム。
9. 前記マイクロホンアレイは、少なくとも２つのサブアレイを含み、各サブアレイは、前記前処理手段によって受信されるために特定の周波数帯域のマイクロホン信号を出力するように最適化されている、請求項１から請求項８のいずれか１項に記載のシステム。
10. フレームをさらに含み、前記マイクロホンアレイの各マイクロホンは、該フレーム中または該フレーム上の所定の位置に配置され、該所定の位置は、固定されている、請求項１から請求項９のいずれか１項に記載のシステム。
11. 請求項１から請求項１０のいずれか１項に記載のノイズ低減による音声信号処理のためのシステムを含むハンズフリーシステム。
12. ノイズ低減による音声信号処理のための方法であって、該方法は、
    少なくとも２つのマイクロホンを有するマイクロホンアレイによって複数のマイクロホン信号を検出することであって、該複数のマイクロホン信号の数は、該少なくとも２つのマイクロホンの数に等しく、それぞれのマイクロホン信号は、該少なくとも２つのマイクロホンのうち対応する１つのマイクロホンによって検出される、ことと、
    該複数のマイクロホン信号を前処理することであって、該前処理することは、該複数のマイクロホン信号の時間遅延補償を行うことにより、前処理された信号を取得することと、第１の信号処理のための入力信号および第２の信号処理のための入力信号として該前処理された信号を用いることとを含み、該第１の信号処理は、それぞれのマイクロホン信号に対してそれぞれ１つのノイズ参照信号を生成することを含み、該第２の信号処理は、それぞれのマイクロホン信号に対して適応された重みの適応を行うことにより、ビームフォームされた信号を取得することを含む適応型のビームフォーミングを含み、該重みは、時間経過につれて適応される、ことと、
    適応型のノイズキャンセリング手段を用いて、それぞれのマイクロホン信号に対するそれぞれ１つのノイズ参照信号に基づいてビームフォームされた信号のノイズを低減することと
    を含む、方法。
13. それぞれのマイクロホン信号に対するそれぞれ１つのノイズ参照信号は、非適応型のブロッキングマトリクスまたは適応型のブロッキングマトリクスを用いて生成される、請求項１２に記載の方法。
14. 前記複数のマイクロホン信号を前処理することは、時間遅延補償された信号の位相および振幅を適応的に互いに一致させることをさらに含む、請求項１２または請求項１３に記載の方法。
15. 適応処理ステップの適応を制御することをさらに含み、該適応処理ステップは、前記適応型のビームフォーミングおよび前記適応型のノイズキャンセリング手段を用いてビームフォームされた信号のノイズを低減することのうちの少なくとも１つを含む、請求項１２から請求項１４のいずれか１項に記載の方法。
16. 前記制御することは、第２の適応処理手段の適応が生じる場合に第１の適応処理手段を適応することを含み、該第１の適応処理手段および該第２の適応処理手段は、前記適応型のビームフォーミング、前記適応型のブロッキングマトリクス、前記適応型のノイズキャンセリング手段のうちの１つである、請求項１５に記載の方法。
17. 前記適応処理ステップの適応は、瞬時のＳＮＲ、および／または、音声が検出されるかどうか、および／または、検出された音声信号のエネルギーが同時に検出されたバックグラウンドノイズのエネルギーよりも所定の値の分だけ超過するかどうか、および／または、音響信号が到来する方向に依存して、制御される、請求項１５に記載の方法。
18. 前記前処理手段および／または前記第１の処理手段および／または前記第２の処理手段は、時間領域または周波数領域またはサブバンド周波数領域において、処理を実行する、請求項１２から請求項１７のいずれか１項に記載のシステム。
19. 請求項１２から請求項１８のいずれか１項に記載の方法のステップを実行するためのコンピュータ実行可能な命令を有する１以上のコンピュータ読み取り可能な媒体を含むコンピュータプログラム製品。

Images