JP6203643B2 - マイクロホンアレイのためのノイズ適応的ビームフォーミング - Google Patents

Description

本発明は、マイクロホンアレイにおけるビームフォーミングに関する。

マイクロホンアレイにより複数のセンサからの信号をキャプチャし、信号雑音比（signal-to-noise ratio）を改善するために信号を処理する。従来のビームフォーミングでは、一般的なアプローチとして、すべてのセンサ（チャネル）からの信号を合成（combine）している。ビームフォーミングの典型的な利用方法では、音声認識に用いるため、合成した信号を音声認識装置（speech recognizer）に送る。

しかし、実際には、このアプローチでは全体的な性能が悪くなることがあり、事実、単一のマイクロホンを用いた場合より悪くなることさえある。その理由は、一部では、複数のマイクロホン間のハードウェア的に違いがあり、マイクロホンごとにそれが拾うノイズの種類や量が異なることによるものである。他の一要因は、ノイズ源が動的に変化することにある。さらに、マイクロホンごとに劣化のしかたがことなり、性能が悪化することもある。

本欄では、発明の詳細な説明で詳しく説明する代表的コンセプトの一部を選んで、簡単に説明する。本欄は、特許を請求する主題の重要な特徴や本質的な特徴を特定するものではなく、特許を請求する主題の範囲を限定するものでもない。

端的に言うと、ここに説明する主題の様々な態様は、適応的ビームフォーマ／セレクタが、各チャネルに対して決定されたノイズフロアデータに基づき、マイクロホンアレイのどのチャネル／マイクロホンを用いるか選択する技術に関する。一実施形態では、実際の信号が無い（例えば、音声が無い）期間のエネルギーレベルを求め、実際の信号がある時には、チャネルセレクタがそのノイズフロアデータに基づいて信号処理にどのチャネルを用いるか選択する。ノイズフロアデータは繰り返し測定され、適応的ビームフォーマはノイズフロアデータの時間的な変化に動的に適応される。

一実施形態では、チャネルセレクタは、いつでも単一のチャネルを選択して信号処理（例えば、音声認識）に用い、他のチャネルの信号は破棄する。他の一実施形態では、チャネルセレクタは、一又は複数のチャネルを選択する。２以上のチャネルが選択された時には、選択された各チャネルからの信号は合成（combine）され、信号処理に用いられる。

一態様では、ノイズ測定フェーズにおいていつノイズフロアデータを取得するか、及び選択フェーズにおいていつ選択をするか、分類装置が判断する。分類装置は、検出されたエネルギーレベルの変化に基づくものである。

図面を参照して以下の詳細な説明を読めば、他の利点は明らかになるだろう。

本発明を、例を挙げて説明するが、添付した図面には限定されない。図面中、同じ参照符号は同じ要素を示す。
マイクロホンアレイのためのノイズ適応的ビームフォーマ／セレクタのコンポーネントの例を示すブロック図である。 ８チャネルマイクロホンアレイのマイクロホンのノイズ対音声信号を示すグラフである。 マイクロホンアレイの入力チャネルにおけるノイズエネルギーフロアを推定するメカニズムを示すブロック図である。 信号を音声認識装置に適応的に供給するため、ノイズ適応的ビームフォーマ／セレクタによりノイズベースのチャネル選択がいかに用いられるか示すブロック図である。 ノイズ測定フェーズとチャネル選択フェーズにおけるステップを示すフロー図である。 ここに説明する様々な実施形態を実施できる環境を計算システム又は動作環境の非限定的例を示すブロック図である。

ここに説明する技術の様々な態様は、概して、ノイズがのった信号を用いないことにより、性能を低下させるマイクロホン信号の破棄に関する。ここに説明するノイズ適応的ビームフォーミング技術は、初期に、及びハードウェアが劣化する時間経過とともに、ノイズ源となるマイクロホンの劣化及び／またはその他の要因を動的に変更することにより、マイクロホンのハードウェアの違いにより生じる悪い効果を最小化し、信号を音声認識に適したものにすることを試みるものである。

言うまでもなく、ここに挙げる例はどれも非限定的なものである。音声認識はここに説明する技術の有用なアプリケーションではあるが、どんなサウンド処理アプリケーション（例えば、指向性増幅及び／またはノイズ抑制）にも同様に役立つ。このように、本発明は、ここに説明する具体的な実施形態、態様、コンセプト、構造、機能又は実施例のどれにも限定されない。むしろ、ここに説明する実施形態、態様、コンセプト、構造、機能又は実施例のどれも非限定的であり、本発明は、サウンド処理及び／または音声認識全般において利益を提供する様々な方法で用いることができる。

図１は、ノイズ適応的ビームフォーミングの実施形態のコンポーネントを示す図である。複数のマイクロホンアレイチャネル１０２１−１０２Ｎに対応する複数のマイクロホンは、それぞれ選択及び／またはビームフォーミング用の信号を供給する。言うまでもなく、あるアレイ実施形態にあるマイクロホンの数は、少なくとも２つ、任意の現実的な数までであり得る。

また、アレイのマイクロホンは、対称的に配置される必要はなく、実際、一実施形態では、マイクロホンは様々な理由により非対照的に配置される。ここに説明する技術の一アプリケーションは、可動ロボットにおける利用である。この可動ロボットは、自律的に動き、人からの音声を待っている間に異なるノイズ源に動的にさらされるものである。

図１において、エネルギーディテクタ１０４１−１０４Ｎにより示したように、ここに説明するノイズ適応的ビームフォーミング技術は、実際の信号が無く、ノイズだけの時も含め、各マイクロホンにおけるノイズエネルギーレベルをモニタする。図２は、８チャネルマイクロホンアレイのエネルギーレベルを表す。ボックス２２１は、アレイの「ＭＩＣ１」の「実際の信号が無い」状態を示す。最初、入力信号は無く、マイクロホンの出力は検知したノイズのみである。図２のボックス２２１は（その他のボックスも）、厳密なサンプリングフレームまたはフレームセットを示すことを意図していない（典型的なサンプリングレートは、例えば１６Ｋフレーム／秒である）。

信号がある時、図２ではボックス２２２で示したが、エネルギーは大きくなり、エネルギーディテクタ１０４１−１０４Ｎは、チャネルごとの増加を示す推定を提供する。ノイズ／スピーチ分類器１０６１−１０６Ｎを用いて、（例えば、トレーニングしたデルタエネルギレベルや閾値エネルギーレベルに基づいて）信号がノイズか音声か判断し、かかる情報をチャネルセレクタ１０８に送る。留意点として、各分類器は、それ自体の規格化、フィルタリング、平滑化及び／またはその他の手法を含み、生じ得る短いノイズエネルギースパイクが音声と見なされないように削除するため、あるフレーム数の間にエネルギーを大きくしておく必要があるか、または音声とみなせる音声パターンと一致するか、判断する。また留意点として、すべてのチャネルに対して単一の「ノイズまたは音声」分類器を有し、例えば複数のチャネルのうちの１つのみを分類に用いてもよいし、（選択目的のため複数のオーディオチャネルを分けておきながら）分類を目的としてその複数のオーディオチャネルの一部または全部をミックスしてもよい。

ノイズレベルに基づき、音声を検出すると、チャネルセレクタ１０８は、マイクロホンの信号のうちどれ（一又は複数）をさらに処理、例えば音声処理するか、及びどの信号を破棄するか、動的に決定する。図１の例では、マイクロホンＭＩＣ１は、信号が無い時、比較的大きなノイズがあり、一方、マイクロホンＭＩＣ７は、信号が無い時、ノイズ量が最低である（ボックス２２７）。よって、音声が検出された時（各チャネルの、ボックス２２２にほぼ対応する時間）、マイクロホンＭＩＣ７からの信号が用いられ、マイクロホン１からの信号は破棄されるだろう。

ノイズ適応的ビームフォーミングの一実施形態では、ノイズが最小の信号に対応するチャネルのみが選択される。例えば、図２ではマイクロホンＭＩＣ７のみが選択される。そのノイズフロアが、信号が無い時には、他のマイクロホンのノイズフロアより低いからである。別の一実施形態では、チャネルセレクタ１０８は複数のチャネルからの複数の信号を選択し、その信号は合成されて（combined）合成信号になり出力される。例えば、ノイズが最も小さい２つのチャネルが選択され、合成される。次に小さいノイズが大きすぎるとき、または相対的に大きすぎるとき、ノイズが最小のチャネル以外を選択しないように、閾値エネルギーレベルデータや相対的エネルギーレベルデータを考慮してもよい。一代替策として、各チャネルに、そのチャネルのノイズに対して逆の関係を有する重みを（任意の好適な数学的方法で）与えて、重み付け合成を用いて合成してもよい。

このように、ノイズが大きいマイクロホンのノイズレベルは高く、その信号は使わないので、ノイズフロアトラッキングを用いて、ノイズが大きいマイクロホンの悪影響を自動的に除去（または大幅に低減）する。このアプローチにより、ある状況においてノイズ源に近い（例えば、テレビジョンのスピーカに近い）マイクロホンの効果も除去できる。同様に、マイクロホンのハードウェアが劣化しまたは故障した時（例えば、一部のマイクロホンが故障し、ノイズレベルが高くなった時）、ノイズ適応的ビームフォーマは自動的にそのマイクロホンの効果を除去する。

図３は、一チャネルのエネルギーディテクタで用いるような、ノイズエネルギーフロア推定メカニズム３３０を示すブロック図である。あるマイクロホンXの入来オーディオサンプル３３２は、フィルタされて（ブロック３３４）信号からＤＣ成分が除去され、知られているようにハミング窓関数３３６（またはその他の同様の関数）により処理（例えば平滑化）されてから、その結果が高速フーリエ変換（ＦＦＴ）３３８に入力される。ＦＦＴ出力に基づき、ノイズエネルギーフロア推定器３４０は、一般的に知られている方法で、ノイズエネルギーデータ３４２（例えば、代表値）を計算する。

図４に示したように、各チャネルのノイズエネルギーデータ４４２は、チャネルセレクタ１０８に入力される。各マイクロホンからのノイズエネルギーレベル推定値を示すデータ４４２に応じて、オーディオサンプル４４４１−４４４Ｎに対応する音声を検出した時、分類データ４４６により示されるように、チャネルセレクタ１０８は各マイクロホンからの信号を使うか否か決定する。チャネルセレクタ１０８は、選択された信号を選択オーディオチャネルデータ４４８として出力し、音声認識器４５０に送る。ブロック４５２により示したように、チャネルセレクタ１０８が２以上のチャネルを選択するように構成され、２以上のチャネルを選択した場合、様々な方法を用いて複数チャネルからの信号を合成できる。

図５は、チャネル選択及び利用に関する様々な動作例をまとめたものである。ステップ５０２で始まり、現在の入力がノイズか音声かに関する分類を行う。ノイズであれば、上記の通り、ステップ５０４においてチャネルを選択し、ステップ５０６においてそのチャネルのノイズエネルギーフロアを決定する。ステップ５０８において、このチャネルのノイズデータを計算し、例えば数フレームにわたる平均ノイズエネルギーレベルを計算し、チャネルセレクタが期待するノイズデータを提供するように、丸めや規格化などを行う。ステップ５１０において、ノイズデータをそのチャネルと、例えばそのチャネルの識別子と関連付ける。

ステップ５１２において、ステップ５０４−５１０のノイズ測定フェーズ処理を、他の各チャネルに対してくり返す。各チャネルのノイズデータがチャネル識別子と関連付けられると、上記の通り、プロセスはステップ５０２に戻る。

後で、音声が検出されると、ステップ５０２からステップ５１４に分岐し、さらに別の処理で用いる最低ノイズレベルフロアを示す関連データを有するチャネルを選択する選択フェーズに移行する。ステップ５１４において２つ以上のチャネルが選択された場合、ステップ５１６において、各チャネルからの信号を合成（combine）する。ステップ５０２に戻る前に、ステップ５１８において、さらに別の処理で、例えば音声認識で用いるため、選択したチャネルまたは合成したチャネルの信号を出力する。

図５には、ステップ５２０における任意的遅延が示されている。これは、音声が検出された後、ノイズ推定に戻る前に遅延をかけるために用いられる。音声認識器が音声とノイズの両方を含む入力を継続的に受信している間、短いポーズ中にマイクロホンを切り換えると認識精度が低下することがある。例えば、短いポーズ中の話者の吸入その他の自然なノイズが、それが無ければノイズ状態がよいマイクロホンによりノイズとして検出された場合、このマイクロホンから切り換えると、ノイズがより大きい他のマイクロホンからの音声入力が供給されることになる。よって、遅延をかけることにより、短いポーズ中にノイズ測定に切り替わる替わりに、話者は話しを再開する機会を与えられる。チャネル選択動作は、遅延の替わりとして（または遅延に加えて）、平滑化、平均化などを含み、急激なマイクロホンの変更などを除く。例えば、一マイクロホンが他のマイクロホンに対して低いノイズを有し、その信号が選択されている場合、瞬間的な以上などによる他のマイクロホンへの切り替えが起こらないように、そのノイズフロアエネルギーにおける急激な変化は無視され得る。

言うまでもなく、ノイズフロアレベルを用いてビームフォーミングにどのマイクロホンを使うか決定するノイズ適応的ビームフォーミング技術を説明した。変化する環境に動的に適応するため、（従来のビームフォーミングとは対照的に）ノイズ適応的ビームフォーミング技術はこの情報を動的に更新する。

計算装置の例
上述の通り、有利にも、ここに説明した方法はどんな装置にも適用可能である。それゆえ、言うまでもなく、ハンドヘルド、ポータブル、その他ロボットも含む全種類の計算装置及び計算オブジェクトを、様々な実施形態に関して用いることを想定できる。したがって、図６に示した下記の汎用リモートコンピュータは、計算装置の単なる一例である。

実施形態は、一部は、装置またはオブジェクトへのサービスの開発者により使われるオペレーティングシステムにより実施でき、及び／又はここに説明する様々な実施形態の一又は複数の機能的態様を実行するアプリケーションソフトウェア中に含まれてもよい。ソフトウェアは、クライアントワークステーション、サーバ又はその他の装置などの一又は複数のコンピュータにより実行されるプログラムモジュールなどのコンピュータ実行可能命令の一般的文脈で説明されうる。当業者には言うまでもないが、コンピュータシステムは、データを通信するのに用いられる様々な設定とプロトコルを有し、そのため特定の設定やプロトコルには限定されない。

図６は、ここに説明する実施形態の一又は複数の態様を実施できる好適な計算システム環境６００の一例を示すが、上記で明らかにしたように、計算システム環境６００は好適な計算環境の単なる一例であり、利用や機能の範囲に関して限定することを意図していない。また、計算システム環境６００は、例示したコンポーネントやその組合せに依存するものと解してはならない。

図６を参照するに、一又は複数の実施形態を実施するリモート装置の一例は、コンピュータ６１０の形式の汎用計算装置を含む。コンピュータ６１０のコンポーネントは、処理ユニット６２０、システムメモリ６３０、及びシステムメモリを含む様々なシステムコンポーネントを処理ユニット６２２に結合するシステムバス６２０を含むが、これに限定されない。

コンピュータ６１０は、一般的に、様々なコンピュータ読み取り可能媒体を含み、その媒体はコンピュータ６１０によりアクセスできる任意の媒体でよい。システムメモリ６３０は、ＲＯＭ（read only memory）及び／又はＲＡＭ（random access memory）などの揮発性及び／又は不揮発性メモリの形式のコンピュータ記憶媒体を含み得る。限定ではなく一例として、システムメモリ６３０は、オペレーティングシステム、アプリケーションプログラム、その他のプログラムモジュール及びプログラムデータを含んでいてもよい。

ユーザは入力装置６４０によりコンピュータ６１０にコマンドと情報を入力できる。モニタその他のタイプの表示装置も、出力インタフェース６５０などのインタフェースを介して、システムバス６２２に接続されている。モニタに加え、コンピュータは、スピーカやプリンタなどの他の周辺出力装置も含む。これらは出力インタフェース６５０を通じて接続できる。

コンピュータ６１０は、リモートコンピュータ６７０などの一又は複数のリモートコンピュータに論理的接続を用いて、ネットワークされた又は分散された環境で動作できる。リモートコンピュータ６７０は、パーソナルコンピュータ、サーバ、ルータ、ネットワークＰＣ、ピアデバイスその他の一般的ネットワークノード、又はその他のリモートメディア消費又は伝送装置であり、コンピュータ６１０に関して上記した要素を含み得る。図６に示した論理的接続は、ローカルエリアネットワーク（ＬＡＮ）やワイドエリアネットワーク（ＷＡＮ）などのネットワーク６７２を含むが、他のネットワーク／バスを含んでいてもよい。かかるネットワーキング環境は、家庭、オフィス、企業内コンピュータネットワーク、イントラネット及びインターネットでは普通である。

上記の通り、様々な計算装置とネットワークアーキテクチャに関して実施形態を説明したが、基礎にあるコンセプトは、リソースの利用効率を高めたいどんなネットワークシステムや計算装置又はシステムにも適用できる。

また、アプリケーションとサービスがここに提供する方法を利用できる、同一の又は同様の機能を実施する、適切なＡＰＩ、ツールキット、ドライバコード、オペレーティングシステム、コントロール、スタンドアロン又はダウンロード可能ソフトウェアオブジェクトなどの複数の方法がある。よって、ここに説明した実施形態は、ＡＰＩ（又はその他のソフトウェアオブジェクト）の観点から、又はここに説明した一又は複数の実施形態を実施するソフトウェア又はハードウェアオブジェクトからのものである。よって、ここに説明した様々な実施形態は、完全にハードウェアの、部分的にハードウェアで部分的にソフトウェアの、及びソフトウェアの態様を有し得る。

「exemplary」との語は、ここでは一例であることを意味する。疑義を生じさせないように、ここに開示した主題はかかる例には限定されない。また、「例」としてここに説明した態様や設計は、他の態様や設計に対して、好ましいとか有利であると解する必要はなく、当業者に知られた等価な構造や方法を除外することを意図したものでもない。さらに、「includes」、「has」、「contains」その他の同様の言葉を用いる限度において、疑義を生じないように、かかる言葉は「comprising」と同様のopen transition wordとして用いられており、請求項で用いられたとき、追加的その他の要素を排除するものではない。

上記の通り、ここに説明した様々な技術は、ハードウェアと又はソフトウェアと又は、適切であれば両者の組合せと共に実施されてもよい。ここで、「コンポーネント」、「モジュール」、「システム」などの用語は、コンピュータに関する実体であって、ハードウェア、ハードウェアとソフトウェアの組合せ、ソフトウェア、又は実行中のソフトウェアを意味する。例えば、コンポーネントは、プロセッサ上で実行されているプロセス、プロセッサ、オブジェクト、実行されたスレッド、プログラム、及び／又はコンピュータなどであるが、これらに限定されない。例として、コンピュータ上で実行されているアプリケーションとそのコンピュータとは両方ともコンポーネントである。プロセス及び／又は実行されたスレッド内に１つ以上のコンポーネントがあってもよく、一コンポーネントは一コンピュータ上にあっても、及び／又は２つ以上のコンピュータ間に分散していてもよい。

上記のシステムは、複数のコンポーネント間のインターラクションについて説明した。言うまでもなく、かかるシステムとコンポーネントは、それらのコンポーネント又は特定のサブコンポーネント、及び／又は追加的コンポーネント、及び上記の様々な置換及び組合せによるものを含む。サブコンポーネントも、親コンポーネント内に含まれるもの（階層的なもの）ではなく、他のコンポーネントと通信可能な状態で結合したコンポーネントとして、実施できる。また、留意点として、一又は複数のコンポーネントは、結合され一体の機能を提供する単一のコンポーネントにされてもよいし、複数の別々のサブコンポーネントに分割されてもよく、一又は複数の中間レイヤ（管理レイヤなど）を設けて、一体としての機能性を提供するために、かかるサブコンポーネントに通信可能な状態で結合してもよい。ここに説明したコンポーネントは、ここには具体的に説明はしていないが当業者には一般的に知られている一又は複数のコンポーネントとインターラクトしていてもよい。

ここに説明したシステム例を考慮して、説明した主題により実施できる方法は、様々な図のフローチャートを参照して理解することができる。説明を簡単にすることを目的として、上記方法を一連のブロックとして示し説明したが、言うまでもなく、様々な実施形態はブロックの順序により限定されない。一部のブロックは異なる順序で実行されても、及び／ここに示し説明したものとは異なる他のブロックと同時に実行されてもよい。順次的でない、すなわち分岐したフローをフローチャートに例示する場合、言うまでもなく、同じ又は同様の結果を実現する他の様々な分岐、フローパス、ブロックの順序を実施することができる。さらに、以下に説明する方法を実施するにおいて、例示した一部のブロックは任意的である。

結論
本発明は様々な実施形態や代替的構成を許すことができるが、例示した実施形態を図面に示し詳細に説明した。しかし、言うまでもなく、開示した具体的な形式に本発明を限定する意図ではなく、逆に、本発明はその精神と範囲に入るすべての修正、代替物、構成、及び等価物をカバーする。

ここに説明した様々な実施形態に加えて、言うまでもなく、他の同様な実施形態を用いて、又は説明した実施形態に対する修正や追加を用いて、それから逸脱することなく、対応する実施形態と同じ又は等価な機能を実行することができる。さらにまた、複数の処理チップや複数のデバイスがここに説明した一又は複数の機能の実行を共有することができ、同様に、複数のデバイスにわたり記憶をさせることができる。したがって、本発明はどの単一の実施形態にも限定されず、添付した特許請求の範囲の広さ、精神、及び範囲により解釈されるべきである。

Claims (9)

1. 少なくとも一プロセッサの少なくとも一部において実行されるコンピュータ実施の方法であって、
   （ａ）ノイズ測定フェーズ中に、マイクロホンアレイの複数のマイクロホンに対応する複数のチャネルの各チャネルのノイズデータを含むノイズデータを決定するステップであって、前記ノイズ測定フェーズは前記複数のチャネルに実際の信号が無い時間中にあるステップと、
   （ｂ）前記ノイズデータを用いて、前記ノイズ測定フェーズに続く信号処理にどのチャネルを使うか選択するステップと、
   （ｃ）遅延後、ステップ（ａ）に戻り、時間経過とともにノイズデータが変化するのにチャネル選択を動的に適応させるステップとを有する、方法。
2. ノイズデータを決定するステップは、各チャネルのエネルギーレベルに対応するデータを計算するステップを有する、
   請求項１に記載の方法。
3. ステップ（ａ）からステップ（ｂ）にいつ移行するか決定するのに使い、ステップ（ｂ）からステップ（ｃ）にいつ移行するか決定するのに使うため、信号処理のために、前記チャネルの一又は複数の入力信号に基づき、前記入力信号がノイズまたは信号に対応するか分類するステップをさらに有する、
   請求項１に記載の方法。
4. （ｄ）スピーチを検出して、前記ノイズデータを用いてスピーチ認識にどのチャネルを用いるか選択する選択フェーズに移行するステップと、
   （ｅ）スピーチ認識に用いるため、選択されたチャネルに対応する信号を出力するステップとをさらに有する、
   請求項１に記載の方法。
5. スピーチを検出するステップは、ノイズフロアエネルギーレベルからの変化を検出するステップを有する、
   請求項４に記載の方法。
6. ステップ（ｄ）において複数のチャネルが選択され、
   選択されたチャネルからの信号を合成して、ステップ（ｅ）で出力する合成信号を求めるステップをさらに有する、
   請求項４に記載の方法。
7. 処理ユニットに、請求項１乃至６いずれか一項に記載の方法を実行させるコンピュータプログラム。
8. 処理ユニットに、請求項１乃至６いずれか一項に記載の方法を実行させるコンピュータプログラムを格納した一以上のコンピュータ読み取り可能媒体。
9. 処理ユニットと、
   前記処理ユニットに、請求項１乃至６いずれか一項に記載の方法を実行させるコンピュータプログラムを格納した一以上のコンピュータ読み取り可能媒体とを有する、
   システム。

Images