JP6162220B2 - マイクロフォンアレイにおける音の相関に基づく雑音抑制 - Google Patents

Description

本発明は一般にマイクロフォンアレイに関し、より詳細にはマイクロフォンアレイにおける雑音抑制に関する。

マイクロフォンは音響エネルギーから電気エネルギーへの変換器、すなわち音を電気信号に変換するデバイスである。マイクロフォンの指向性または極性パターンは、マイクロフォンがマイクロフォンの中心軸に対して異なる角度で入射する音に対してどれほどの感度を有するか示す。雑音抑制は、特定の方向から、および／または特定の周波数範囲内で検出される音に及ぼす雑音の影響を低減するためにマイクロフォンに適用されうる。

一実装形態において、左マイクロフォンおよび右マイクロフォンを含むマイクロフォンアレイにおけるコンピュータ実装方法は、右マイクロフォンから右マイクロフォン信号を受信することと、左マイクロフォンから左マイクロフォン信号を受信することと、左マイクロフォン信号と右マイクロフォン信号との間のタイミング差を決定することと、タイミング差が時間閾値以内であるかどうかを決定することと、タイミング差が時間閾値以内である場合に、タイミング差に基づいて左マイクロフォン信号および右マイクロフォン信号の一方をタイムシフトすることと、シフトされたマイクロフォン信号および他方のマイクロフォン信号を合算して出力信号を形成することと含み得る。

加えて、左マイクロフォン信号および右マイクロフォン信号の各々についての予め決定されるタイムスロットの平均音圧レベルを特定することと、最低平均音圧レベルを有する左マイクロフォン信号および右マイクロフォン信号の一方を予め決定されるタイムスロットについての出力信号として選択すること。

加えて、先のタイムスロットについての出力信号が予め決定されるタイムスロットについての出力信号と同じマイクロフォン信号からのものであるかどうかを決定することと、先のタイムスロットについての出力信号が予め決定されるタイムスロットについての出力信号と同じマイクロフォン信号からのものではない場合に、先のタイムスロットと予め決定されるタイムスロットの境界に近いゼロ交差点を特定することと、ゼロ交差点に基づいて先のタイムスロットについての出力信号から予め決定されるタイムスロットについての出力信号へ遷移すること。

加えて、最低相対音圧レベルを有する左マイクロフォン信号および右マイクロフォン信号の一方への遷移を平滑化すること。

加えて、振幅応答、周波数応答、ならびに左マイクロフォン信号および右マイクロフォン信号の各々のタイミングのうちの少なくとも１つに基づいて、左マイクロフォン信号および右マイクロフォン信号がターゲット音の種類と一致しているかどうかを特定すること。

加えて、左マイクロフォンおよび右マイクロフォンの各々と関連付けられる音圧レベルを特定することと、タイミング差と、左マイクロフォンおよび右マイクロフォンの各々と関連付けられる音圧レベルとの間の相関を決定することと、相関が、左マイクロフォン信号および右マイクロフォン信号がターゲット音源からの発話に基づいていることを示すかどうかを決定すること。

加えてコンピュータ実装方法は、左マイクロフォン信号および右マイクロフォン信号を複数の周波数帯域へ分割することと、複数の周波数帯域のうちの少なくとも１つにおける雑音を特定することと、複数の周波数帯域のうちの少なくとも１つにおける雑音をフィルタリングすることとを含んでもよい。

加えてコンピュータ実装方法は、複数の周波数帯域のうちの少なくとも１つにおける雑音をフィルタリングすることが、複数の周波数帯域のうちの少なくとも１つの各々における信号対雑音比に基づいて複数の周波数帯域のうちの少なくとも１つにおける雑音をフィルタリングするための極性パターンを選択することを含みうることを含んでもよい。

加えてコンピュータ実装方法は、デュアルマイクロフォンアレイと関連付けられる無指向性極性パターンと高指向性極性パターンとの間の比較に基づいて左マイクロフォン信号および右マイクロフォン信号に雑音が存在するかどうかを決定することを含んでもよい。

加えてコンピュータ実装方法は、デュアルマイクロフォンアレイにおいて音を通過させるための遷移角を選択することと、選択された遷移角に基づいて時間閾値の値を決定することとを含んでもよい。

別の実装形態において、デュアルマイクロフォンアレイデバイスは、左マイクロフォンと、右マイクロフォンと、複数の命令を格納するためのメモリと、メモリ内の命令を実行することにより、右マイクロフォンから右マイクロフォン信号を受信し、左マイクロフォンから左マイクロフォン信号を受信し、左マイクロフォン信号と右マイクロフォン信号との間のタイミング差を決定し、タイミング差が時間閾値以内であるかどうかを決定し、タイミング差が時間閾値以内である場合に、タイミング差に基づいて左マイクロフォン信号および右マイクロフォン信号の少なくとも一方をタイムシフトし、シフトされたマイクロフォン信号および他方のマイクロフォン信号を合算して出力信号を形成するように構成されたプロセッサと、を含んでもよい。

加えてプロセッサは、左マイクロフォン信号および右マイクロフォン信号の各々についての予め決定されるタイムスロットの平均音圧レベルを特定し、最低平均音圧レベルを有する左マイクロフォン信号および右マイクロフォン信号の一方を予め決定されるタイムスロットについての出力信号として選択するようにさらに構成される。

加えてプロセッサは、左マイクロフォン信号および右マイクロフォン信号を複数の周波数帯域へ分割し、複数の周波数帯域のうちの少なくとも１つにおける雑音を特定し、複数の周波数帯域のうちの少なくとも１つにおける雑音をフィルタリングするようにさらに構成される。

加えてプロセッサは、先のタイムスロットについての出力信号が予め決定されるタイムスロットについての出力信号と同じマイクロフォン信号からのものであるかどうかを決定し、先のタイムスロットについての出力信号が予め決定されるタイムスロットについての出力信号と同じマイクロフォン信号からのものではない場合に、先のタイムスロットと予め決定されるタイムスロットの境界に近いゼロ交差点を特定し、ゼロ交差点に基づいて先のタイムスロットについての出力信号から予め決定されるタイムスロットについての出力信号へ遷移するようにさらに構成される。

加えてデュアルマイクロフォンアレイデバイスは、振動センサをさらに含んでいてよく、プロセッサはさらに、振動センサによって提供される入力に基づいてユーザ発話を識別し、現在のユーザ発話の発生に基づいて極性パターンを選択するものである。

加えてデュアルマイクロフォンアレイデバイスは、左マイクロフォンおよび右マイクロフォンの各々を、前向きの姿勢のユーザの口からほぼ等距離のところにあるユーザの胴体の上に保持するための位置決め要素をさらに含んでもよい。

加えてプロセッサは、振幅応答、周波数応答、ならびに左マイクロフォン信号および右マイクロフォン信号の各々のタイミングのうちの少なくとも１つに基づいて、左マイクロフォン信号および右マイクロフォン信号がターゲット音源からの発話と一致しているかどうかを特定するようにさらに構成される。

加えてプロセッサは、左マイクロフォンおよび右マイクロフォンの各々と関連付けられる音圧レベルを特定し、タイミング差と、左マイクロフォンおよび右マイクロフォンの各々と関連付けられる音圧レベルとの間の相関を決定し、相関が、左マイクロフォン信号および右マイクロフォン信号がターゲット音源からの発話に基づいていることを示すかどうかを決定するようにさらに構成される。

加えて、複数の周波数帯域のうちの少なくとも１つにおける雑音をフィルタリングする場合に、プロセッサは、複数の周波数帯域のうちの少なくとも１つの各々における信号対雑音比に基づいて複数の周波数帯域のうちの少なくとも１つにおける雑音をフィルタリングするための極性パターンを選択し、無指向性極性パターン、８の字形極性パターン、および周波数に依存しない極性パターンを含むグループの中から極性パターンを選択するようにさらに構成される。

さらに別の実装形態において、コンピュータ可読媒体は、左マイクロフォンおよび右マイクロフォンを含むマイクロフォンアレイと関連付けられたプロセッサによって実行されるべき命令を含み、命令は、プロセッサによって実行される場合にプロセッサに、右マイクロフォンから右マイクロフォン信号を受信させ、左マイクロフォンから左マイクロフォン信号を受信させ、左マイクロフォン信号と右マイクロフォン信号との間のタイミング差を決定させ、タイミング差が時間閾値以内であるかどうかを決定させ、タイミング差に基づいて、左マイクロフォン信号および右マイクロフォン信号の一方を左マイクロフォン信号および右マイクロフォン信号の他方の時間にタイムシフトさせ、シフトされたマイクロフォン信号および他方のマイクロフォン信号を合算して出力信号を形成させるための１または複数の命令を含む。

添付の図面は、本明細書に組み入れられ、本明細書の一部を構成するものであり、本明細書で記述する１または複数の実施形態を例示し、記述とあいまって実施形態を説明するものである。

本明細書で記述する実施形態による例示的なデュアルマイクロフォンアレイおよびユーザに対して位置決めされた例示的なデュアルマイクロフォンアレイをそれぞれ例示する図である。 本明細書で記述する実施形態による例示的なデュアルマイクロフォンアレイおよびユーザに対して位置決めされた例示的なデュアルマイクロフォンアレイをそれぞれ例示する図である。 図１Ａ、図１Ｂのデバイスの例示的な構成要素のブロック図である。 本明細書で記述する実施形態による、音源に対する左右のマイクロフォンの相対位置、および時間と音圧レベル（ＳＰＬ：ｓｏｕｎｄ ｐｒｅｓｓｕｒｅ ｌｅｖｅｌ）との間の付随する関係を例示する図である。 非対称に配置された音源についてのタイミング差および付随する非対象双極子極性パターンをそれぞれ例示する図である。 非対称に配置された音源についてのタイミング差および付随する非対象双極子極性パターンをそれぞれ例示する図である。 本明細書で記述する実施形態によるマイクロフォンアレイの周波数に依存しない実装形態についての双極子極性パターンを例示する図である。 本明細書で記述する実施形態による例示的な周波数帯域フィルタリングを例示する図である。 本明細書で記述する実施形態によるデュアルマイクロフォンアレイの右マイクロフォンまたは左マイクロフォンで検出された最低相対ＳＰＬに基づく雑音抑制を例示する図である。 本明細書で記述する実施形態によるデュアルマイクロフォンアレイの右マイクロフォンまたは左マイクロフォンで検出された最低相対ＳＰＬに基づく雑音抑制を例示する図である。 本明細書で記述する実施形態によるデュアルマイクロフォンアレイの右マイクロフォンまたは左マイクロフォンで検出された最低相対ＳＰＬに基づく雑音抑制を例示する図である。 本明細書で記述する実施形態によるデュアルマイクロフォンアレイの右マイクロフォンまたは左マイクロフォンで検出された最低相対ＳＰＬに基づく雑音抑制を例示する図である。 本明細書で記述する実装形態によるデュアルマイクロフォンアレイにおける雑音を抑制する例示的なプロセスのフロー図である。

以下の詳細な説明では添付の図面に言及する。異なる図面中の同じ参照番号は同じ要素または類似の要素を識別する場合がある。また以下の詳細な説明は例示と説明のためのものにすぎず、特許請求される発明を限定するものではない。

本明細書で記述する実施形態はデュアルマイクロフォンアレイにおける雑音を抑制するためのデバイス、方法、およびシステムに関するものである。ここに含まれる方法は、音声ベースのマイクロフォンアプリケーションにおいて、スクラッチノイズ、風雑音、周囲音声雑音といった雑音の抑制に２つの首装着式マイクロフォン間の相関を利用し得る。

本明細書で記述する実施形態によれば、デュアルマイクロフォンアレイにおける雑音抑制は、マイクロフォン間の相関に基づいて実装され得る。あるいは、本明細書で記述する実施形態によれば、デュアルマイクロフォンアレイにおける雑音抑制は、周波数帯域のフィルタリングを用いて達成され得る。

図１Ａに、本明細書で記述する実施形態による例示的なデュアルマイクロフォンアレイ１００を例示する。デュアルマイクロフォンアレイ１００は左マイクロフォン１００‐Ｌおよび右マイクロフォン１００‐Ｒを含み得る。左マイクロフォンおよび右マイクロフォン１００‐Ｒはワイヤ／支持体１０２によって連結されてもよい。またデュアルマイクロフォンアレイ１００は、マイクロフォン１００‐Ｌおよびマイクロフォン１００‐Ｒとのインターフェースとなるマイクロコントローラユニット（ＭＣＵ：ｍｉｃｒｏｃｏｎｔｒｏｌｌｅｒ ｕｎｉｔ）１０４を含んでもよい。図１に例示されるデュアルマイクロフォンアレイ１００の構成要素の構成は例示にすぎない。図示されていないが、デュアルマイクロフォンアレイ１００は図１に描写されている構成要素と比べて追加の構成要素、より少数の構成要素、または異なった構成要素を含んでもよい。またデュアルマイクロフォンアレイ１００はデュアルマイクロフォンアレイ１００の他の構成要素を含んでもよく、および／または他の構成が実装されてもよい。例えば、デュアルマイクロフォンアレイ１００は、他のデバイス、１または複数のプロセッサなどから情報を受信し、および／またはそれらへ情報を送信するためのインターフェースといった、１または複数のネットワークインターフェースを含んでもよい。

図１Ｂに、ユーザ１１０が装着して動作するように位置決めされたデュアルマイクロフォンアレイ１００を例示する。左マイクロフォン１００‐Ｌおよび右マイクロフォン１００‐Ｒは、ユーザ１１０の口１１２から発する音を受け取るように位置決めされている。例えば、左マイクロフォン１００‐Ｌは口１１２の左側に位置決めされてもよく、右マイクロフォン１００‐Ｒは口１１２の右側に位置決めされてもよい。左マイクロフォン１００‐Ｌおよび右マイクロフォン１００‐Ｒは、ユーザ１１０（の身体）の横断面の両端に相互に対してほぼ鏡像対称に位置決めされている。例えば、左マイクロフォン１００‐Ｌはユーザ１１０の左上胸（または鎖骨）に位置決めされてもよく、右マイクロフォン１００‐Ｒはユーザ１１０の右上胸に位置決めされてもよい。どちらのマイクロフォン１００‐Ｌ‐Ｒも、付随するピン止め機構（不図示）（例えばピン、ボタン、ベルクロなど）によって、または例えばユーザ１１０の首に掛けられたワイヤ／支持体１０２によって位置を維持し得る。

本明細書で記述する実装形態では、デュアルマイクロフォンアレイ１００は左マイクロフォン１００‐Ｌおよび右マイクロフォン１００‐Ｒで検出される音の間の相関を利用して、デュアルマイクロフォンアレイ１００によって受け取られる音における、スクラッチノイズ、風雑音、周囲音声雑音といった雑音の抑制を実装し得る。

図２はデバイス２００の例示的な構成要素のブロック図である。デバイス２００は、デュアルマイクロフォンアレイ１００および／またはＭＣＵ１０４といったマイクロフォンアレイの構成要素のいずれか１つを表し得る。図５に示されるように、デバイス２００は、プロセッサ２０２、メモリ２０４、ストレージ装置２０６、入力デバイス２０８、出力デバイス２１０、および通信路２１４を含んでもよい。

プロセッサ２０２は、プロセッサ、マイクロプロセッサ、特定用途向け集積回路（ＡＳＩＣ：Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ：Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、および／または情報を処理し、および／もしくはデバイス２００を制御し得る他の処理論理（例えばオーディオ／ビデオプロセッサ）を含んでもよい。

メモリ２０４は、データおよび機械可読命令を格納するための、読取専用メモリ（ＲＯＭ：ｒｅａｄ ｏｎｌｙ ｍｅｍｏｒｙ）といった静的メモリ、および／またはランダムアクセスメモリ（ＲＡＭ：ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ）もしくはオンボードキャッシュといった動的メモリを含んでもよい。ストレージ装置２０６は、磁気的および／または光学的記憶／記録媒体を含んでもよい。いくつかの実装形態では、ストレージ装置２０６は、ディレクトリツリーの下にマウントされてもよく、ドライブにマップされてもよい。

入力デバイス２０８および出力デバイス２１０は、表示画面、キーボード、マウス、スピーカ、マイクロフォン、ディジタルビデオディスク（ＤＶＤ：Ｄｉｇｉｔａｌ Ｖｉｄｅｏ Ｄｉｓｋ）書込デバイス、ＤＶＤ読取デバイス、ユニバーサルシリアルバス（ＵＳＢ：Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）ポート、および／または物理事象もしくは現象とデバイス２００に付随するディジタル信号との間の変換を行うための他の種類の構成要素を含んでもよい。通信路２１４は、デバイス２００の構成要素が相互に通信するためのインターフェースを提供し得る。

異なる実装形態では、装置２００は、図２に例示される構成要素と比べて追加の構成要素、より少数の構成要素、または異なった構成要素を含んでもよい。例えばデバイス２００は、他のデバイスから情報を受信し、および／または他のデバイスへ情報を送信するためのインターフェースといった、１または複数のネットワークインターフェースを含んでもよい。別の例ではデバイス２００は、オペレーティングシステム、アプリケーション、デバイスドライバ、グラフィカルユーザインターフェースコンポーネント、通信ソフトウェア、ディジタルサウンドプロセッサ（ＤＳＰ：ｄｉｇｉｔａｌ ｓｏｕｎｄ ｐｒｏｃｅｓｓｏｒ）コンポーネントなどを含んでもよい。

図３のＡ〜Ｃは、音源（口１１２）に対する左マイクロフォン１００‐Ｌおよび右マイクロフォン１００‐Ｒの相対位置、ならびに左マイクロフォン１００‐Ｌおよび右マイクロフォン１００‐Ｒで受け取られる音についての時間と音圧レベル（ＳＰＬ）との間の付随する関係を例示する。図３Ａには、口１１２から等距離に位置決めされた左マイクロフォン１００‐Ｌおよび右マイクロフォン１００‐Ｒが例示されている。図３のＢには、口１１２から異なった距離に位置決めされた左マイクロフォン１００‐Ｌおよび右マイクロフォン１００‐Ｒが例示されている。図３Ｃには、左マイクロフォン１００‐Ｌと右マイクロフォン１００‐Ｒとの間のタイミング差に基づく付随する相対ＳＰＬが示されている。

図３Ａに示されるように、左マイクロフォン１００‐Ｌおよび右マイクロフォン１００‐Ｒは口１１２から等距離に位置決めされてもよい。この例では、左マイクロフォン１００‐Ｌおよび右マイクロフォン１００‐Ｒに到達するターゲット音源からの音（すなわち口１１２から聞こえてくる発話）は、非常に類似したタイミング、振幅および周波数応答で、それぞれ左マイクロフォン１００‐Ｌと右マイクロフォン１００‐Ｒとで検出されることになる。ユーザ１１０が口１１２を真正面に位置決めすると、それぞれのマイクロフォン１００‐Ｌ‐Ｒまでの音の伝搬経路がどちらもほぼ等しいため、音は両方のマイクロフォン１００‐Ｌ‐Ｒに同時に、同様のＳＰＬで到達し得る。

図３のＢに示されるように、ユーザ１１０が頭の向きを変える、この例では右を向くと、右マイクロフォン１００‐Ｒまでの経路は左マイクロフォン１００‐Ｌまでの経路より短くなる。音が右マイクロフォン１００‐Ｒまで進むためのタイミング差から左マイクロフォン１００‐Ｌのためのタイミング差を引くと、音は最初に右マイクロフォン１００‐Ｒに到達するため、マイナスになる。音が移動する経路長はＳＰＬに比例する。ＳＰＬは球形の拡散パターンで音源からの半径の二乗に比例して減少することになる。言い換えると、音が右マイクロフォン１００‐Ｒに最初に到達する場合、音はさらに、右マイクロフォン１００‐Ｒにおいてより大きくなる（すなわちより高いＳＰＬになる）と予期される。

図３のＣに示されるように、音（縦軸上に示される、ＳＰＬで表された）は距離と、したがって、時間（横軸上に示されるように）とも線形関係を有する。口１１２は発声の大部分（例えば周波数帯域に基づく）についての球音源として分析され得る。したがって、頭部回転／位置およびマイクロフォンにおける受信信号の変動について、タイミング差とＳＰＬの差との間に強い相関が生じる。口１１２からの音に関して、口１１２から左マイクロフォン１００‐Ｌまでと口１１２から右マイクロフォン１００‐Ｒまでとの間の距離の差は、音が口１１２から左マイクロフォン１００‐Ｌまで進む時間および音が口１１２から右マイクロフォン１００‐Ｒまで進むという時間における差に対して線形関係を有する。

ユーザ１１０の側から聞こえてくる音について、左マイクロフォン１００‐Ｌおよび右マイクロフォン１００‐Ｒは異なるタイミング（すなわち、それぞれのマイクロフォン１００‐Ｌ‐Ｒで検出されるタイミング差）を有し、また多くの音について、異なる振幅応答および周波数応答も有する可能性がある。スクラッチノイズおよび風雑音は、本来、それぞれのマイクロフォン１００‐Ｌ‐Ｒにおいて無相関である。これらの差は、口１１２から発せられる音と比べて側方から来る音を抑制するために使用され得る。発声（口１１２からの）は、それぞれのマイクロフォン１００‐Ｌ‐Ｒにおける時間帯内に到達する音、およびそれぞれのマイクロフォン１００‐Ｌ‐Ｒで検出されるＳＰＬ間の対応する相関に基づいて識別され得る。

図４Ａおよび図４Ｂは、左マイクロフォン１００‐Ｌおよび右マイクロフォン１００‐Ｒから非対称に配置された音源、この例では口１１２までのタイミング差の間の関係（図４Ａの図４００に示される）、ならびに結果として得られる双極子極性パターン（図４Ｂの図４５０に示される）を例示する。

図４Ａに示されるように、口１１２は左マイクロフォン１００‐Ｌおよび右マイクロフォン１００‐Ｒから等しくない（すなわち非対称の）距離（それぞれ、４０２‐Ｌおよび４０２‐Ｒ）に位置決めされている。左マイクロフォン１００‐Ｌと右マイクロフォン１００‐Ｒとの間には、左マイクロフォン１００‐Ｌおよび右マイクロフォン１００‐Ｒと口１１２との間の距離の差（すなわち４０２‐Ｌから４０２‐Ｒを引いたもの）にほぼ比例する口１１２からの発声についてのタイミング差が生じることになる。

図４Ｂに関して、左マイクロフォン１００‐Ｌと右マイクロフォン１００‐Ｒとの間のタイミング差、すなわち時間調整双極子極性パターン４５２は、ユーザ１１０が頭を（したがって口１１２を）側方に向けた際に生じる。マイクロフォン極性パターンは、左マイクロフォン１００‐Ｌおよび右マイクロフォン１００‐Ｒの中心軸に対して異なる角度で入射する音に対するデュアルマイクロフォンアレイ１００の感度を示す。時間調整双極子極性パターン４５２は、左マイクロフォン１００‐Ｌと右マイクロフォン１００‐Ｒとの間の調整されたタイミング差に基づく非対称の双極子極性パターンであり得る。例えば、左マイクロフォン１００‐Ｌで受信される信号は、信号が口１１２から各マイクロフォン１００‐Ｌ‐Ｒで受信される時間のタイミング差に基づいて調整され、右マイクロフォン１００‐Ｒで受信される信号と組み合わされてもよい。

時間調整双極子極性パターン４５２は、ユーザ１１０の口１１２へ向けられた音に対する感度の空間的パターンであり得る。時間調整双極子極性パターン４５２の外側の音源といった口１１２以外の音源から発生する音は雑音とみなされてもよく、抑制される（雑音は時間調整双極子極性パターン４５２の外側に位置するため）。時間調整双極子極性パターン４５２は現在のタイミング差に基づいて絶えず更新されてもよい。例えば時間調整双極子極性パターン４５２は、ユーザ１１０がマイクロフォン１００‐Ｌ‐Ｒの一方を口１１２の近くに位置決めし、他方のマイクロフォンを口１１２からさらに離れた位置に維持している事例におけるタイミング差に基づいて調整されてよい。

一実施形態によれば、時間調整双極子極性パターン４５２は、デュアルマイクロフォンアレイ１００と関連付けられた振動センサ（不図示）（すなわち、骨導発話によって生成される振動を検出するセンサ）から受信される入力に基づいて調整されてもよい。デュアルマイクロフォンアレイ１００は、検出された振動を入力として使用し、ユーザ１１０が話している事例を識別し得る。時間調整双極子極性パターン４５２は、ユーザ１１０が現在話しているものとして識別されているかどうかに基づいてアクティブ化されてもよい（すなわち音を通過させ／許容し得る）。ユーザが話していない場合には、音を抑制／阻止し得る。

図５は、周波数に依存しない双極子極性パターン５００を例示する。双極子極性パターン５００は、左マイクロフォン１００‐Ｌおよび右マイクロフォン１００‐Ｒからの出力信号間のタイミング相関の閾値を調整し、調整された出力信号を合算することによって発生し得る。双極子極性パターン５００は、例として図４Ａおよび図４Ｂに関して記述されている。

左マイクロフォン１００‐Ｌおよび右マイクロフォン１００‐Ｒで受け取られる音の間のタイミング差は音の位相に依存しない（すなわち、口１１２からの音は位相にかかわらず一定の速度で進む）。したがって、左マイクロフォン１００‐Ｌおよび右マイクロフォン１００‐Ｒからの出力信号間のタイミング差を調整することによって、周波数に依存せずに双極子極性パターン５００が決定され得る。同相の音については全信号が、位相がずれた信号については低い信号が検出されうる周波数に依存する極性パターン（不図示）とは対照的に、双極子極性パターン５００は、位相にかかわらず、特定の方向の音を検出する。双極子極性パターン５００は、他の双極子極性パターンと比べて改善された指向性を提供し得る。

一実施形態によれば、双極子極性パターン５００はタイミング相関の所定の閾値に基づいて決定され得る。予め決定される閾値の単位は、図１Ｂに示されるような実装形態では数百マイクロ秒程度の時間である。例えば、左マイクロフォン１００‐Ｌと右マイクロフォン１００‐Ｒとの間のタイミング差はサンプルシーケンスから求められ得る。タイミング差が予め決定される閾値より小さい場合にはサンプルを出力信号に加算されてもよいが、タイミング差が予め決定される閾値より大きい場合にはこれらのサンプルは無視され、または破棄されてもよい。２つのマイクロフォンでのスクラッチノイズおよび風雑音は、スクラッチノイズおよび風雑音が無相関であるために抑制され得て、例えば、一方のマイクロフォン（例えば左マイクロフォン１００‐Ｌ）に大幅に遅く（すなわち予め決定される閾値外で）到達する音は、デュアルマイクロフォンアレイ１００によって抑制されうる。

予め決定される閾値のサイズは双極子極性パターン５００における（４３．１度と示されている）開角５０２を決定する。予め決定される閾値が大きい（すなわち、タイミング差が大きい）と開角５０２も大きくなり、予め決定される閾値が小さいと双極子極性パターン５００の開角５０２も小さくなる。例えば音が左マイクロフォン１００‐Ｌと右マイクロフォン１００‐Ｒの両方からのある限られたサンプルシーケンスであるとする（例えば、４４ｋＨｚのサンプル周波数の２２０個の連続サンプルは５ミリ秒の持続期間を有する音に対応する）。左マイクロフォン１００‐Ｌと右マイクロフォン１００‐Ｒとは７８ｍｍ離れているとする。４４ｋＨｚのサンプリングレートで、各サンプルは約長さ７．８ｍｍである。±５サンプルの閾値タイミング窓（±０．１ミリ秒に等しい）は双極子極性パターン５００における±３０度（すなわち合計６０度）の開角５０２に対応しうる。

別の実施形態によれば、タイミングと音の抑制との間で倍率が設定され得る。この倍率は、特定の要件に基づいて音の抑制と通過との間で選択可能な遷移角を提供するように選択されてもよい。さらに、例えば、図６および図７Ａ〜図７Ｄに関連して記述するように、左マイクロフォン１００‐Ｌおよび右マイクロフォン１００‐Ｒの合計出力と比べて性能を高めるようにフィルタリングが適用されてもよい。

図６は音のフィルタリングの図６００を例示する。音のフィルタリングの図６００は音声６０２および雑音６０４を含み、これらは音強度６０６の縦軸および周波数６０８の横軸上で測定される。周波数６０８は複数の周波数帯域６１０に分割されている。

図６に示されるように、左マイクロフォン１００‐Ｌおよび右マイクロフォン１００‐Ｒで受け取られる音は、個々の周波数帯域６１０で検出される信号対雑音比に基づいて適応極性パターンを選択することによってフィルタリングされ得る。周波数帯域６１０の各々における選択極性パターンに基づくビーム形成の後に、複数の周波数帯域６１０で相関された音から信号が抽出され得る。ビームは、その範囲内の音を通過させてよい領域である。各帯域の雑音レベルを推定し、それを使用してビーム形成のための値が設定され得る。雑音６０４が相対的に高い帯域ではより狭いビーム（例えば８の字形極性パターン６１２）が、雑音６０４が相対的に低い、または検出されない周波数帯域ではより広いビーム（例えば無指向性極性パターン６１４）を生成するように異なる極性パターンが選択され得る。

一実施形態によれば、特定の周波数が音をマイクロフォン信号に含めることを許容するビームを形成するために、８の字形極性パターン６１２（例えばマイクロフォン間の半波長）が選択され得る。８の字形極性パターン６１２は、平面では２、空間では４の指向指数を有する。言い換えると、全方向から発せられる周囲雑音のうち、それらの方向の特定の２５％から発する雑音だけが検出され／受け取られ（すなわち、雑音は可能な方向のうちの２５％からの双極８の字形だけしか通過できず）、他方、口１１２からの音は、８の字形極性パターン６１２内にあるため、影響を受けずにすむ。

図７Ａ〜図７Ｄは、デュアルマイクロフォンアレイ１００の右マイクロフォン１００‐Ｒまたは左マイクロフォン１００‐Ｌで検出された最低相対ＳＰＬに基づく雑音抑制を例示する。

ユーザ１１０が話している場合、音声信号は両方のマイクロフォン１００‐Ｌ‐Ｒに同時に存在する。図７Ａには右マイクロフォン１００‐Ｒで受け取られる音声信号が示されている。図７Ｂには左マイクロフォン１００‐Ｌで受け取られる音声信号が示されている。左マイクロフォン１００‐Ｌおよび右マイクロフォン１００‐Ｒにおける音声信号は相関している。しかしスクラッチおよび風からの雑音は無相関であり、特定の瞬間に、他方のマイクロフォン（例えば左マイクロフォン１００‐Ｌ）での存在とは無関係に一方のマイクロフォン（例えば右マイクロフォン１００‐Ｒ）に存在しうる。右マイクロフォン１００‐Ｒおよび左マイクロフォン１００‐Ｌからの音声信号は図７Ｃに示すように合算され得る。しかし、一方のマイクロフォンで音声と雑音が合算されると、ＳＰＬは、そのマイクロフォンに雑音が存在しない場合と比べて高くなる可能性がある。

２つのマイクロフォンからの信号のレベルは選択されたタイムスロットにわたって統合され得る。図７Ｄに示されるように、タイムスロットごとに、当該タイムスロットで最低レベルを有するマイクロフォンからの出力が選択される。各マイクロフォンでのレベルが大きく異なる場合、その差は最高レベルを有するマイクロフォンでの風雑音および／またはスクラッチノイズが原因とされ得る。最低信号を有するマイクロフォンはより低い雑音レベルに対応しうる。

一実装形態によれば、マイクロフォン信号間の遷移（すなわち、相対雑音が切り換わる場合の一方のマイクロフォン信号から他方のマイクロフォン信号への）は「ゼロ交差」において、すなわちレベルが低い場合に行われ得る。一方のマイクロフォンから他方への遷移において信号間に差がある場合には、平滑化が適用され得る。

図８は、デュアルマイクロフォンアレイにおいて各マイクロフォンで受け取られる音の間の相関を用いて、本明細書で記述する実装形態によるやり方で雑音を抑制するための例示的なプロセス８００のフロー図である。プロセス８００は、デュアルマイクロフォンアレイ１００に組み込まれ、または統合されたＭＣＵ１０４で実行され得る。図８に関して以下で論じるプロセスは一般化された例示を表すものであり、プロセス８００の範囲を逸脱することなく、他の要素が追加されてもよく、既存の要素が除去され、変更され、または再配置されてもよいことは明らかであろう。

ＭＣＵ１０４は右マイクロフォン１００‐Ｒから右マイクロフォン信号を受信する（ブロック８０２）。例えば右マイクロフォン１００‐Ｒは、口１１２、または風雑音、スクラッチノイズといった外部からの雑音の一方または両方を受け取り得る。ＭＣＵ１０４は右マイクロフォン信号を右マイクロフォンバッファ（不図示）に格納してもよい。

ＭＣＵ１０４は左マイクロフォン１００‐Ｌから左マイクロフォン信号を受信する（ブロック８０４）。ＭＣＵ１０４は左マイクロフォン信号を左マイクロフォンバッファ（不図示）に格納してもよい。

ＭＣＵ１０４は左マイクロフォン信号と右マイクロフォン信号との間のタイミング差を決定する（ブロック８０６）。例えばＭＣＵ１０４は、左マイクロフォン信号が、右マイクロフォン信号後の特定の音サンプル数内に（したがって特定の時間内に）受信された（すなわち、音が左マイクロフォン１００‐Ｒおよび右マイクロフォン１００‐Ｌの各々にほぼ同時に到達した）かどうかを決定し得る。ＭＣＵ１０４は、左マイクロフォン信号が受信された時間を対応する右マイクロフォン信号が受信された時間から差し引かれ得る。

ＭＣＵ１０４は、図５および周波数に依存しない双極子極性パターン５００に関して上述したように、タイミング差が時間閾値以内であるかどうかを決定する（ブロック８０８）。

ブロック８１０でＭＣＵ１０４は、タイミング差が時間閾値以内である（ブロック８０８＝はい）場合に、タイミング差に基づいて左マイクロフォン信号および右マイクロフォン信号の一方をタイムシフトする。ＭＣＵ１０４はシフトされたマイクロフォン信号および他方のマイクロフォン信号を合算して出力信号を形成する（ブロック８１２）。

またＭＣＵ１０４、例えば図７Ａ〜図７Ｄに関して記述したように、信号をフィルタリングしてもよい（ブロック８１４）。またＭＣＵ１０４は、図６に関して記述したように、異なる周波数帯域でフィルタリングを適用してもよい。

別の実装形態によれば、マイクロフォン信号は、雑音源を選別し、抑制するために、周波数および／または振幅相関を使用してフィルタリングされてよい。ＭＣＵ１０４は、通過すべき振幅および／または周波数において高い相関を有する音を通過（許容）させ得る（すなわち、ＭＣＵ１０４はこれらの基準を満たす音を口１１２からの音とみなし得る）。ＭＣＵ１０４は、異なる振幅を有する音（例えば、近くで話している人から発せられている可能性のある音）といった、必要とされる基準を満たさない音を抑制（または破棄）し得る。近くにいる人（例えばユーザ１１０の肩越しに話している人）からの音声の強度は距離と共に減少することになり、２つのマイクロフォンで異なる振幅をもたらしうる。

ブロック８１６でＭＣＵ１０４は、タイミング差が時間閾値以内ではない（ブロック８０８＝いいえ）場合に、デュアルマイクロフォンアレイ１００における雑音を抑制する。例えばＭＣＵ１０４は一方のマイクロフォン（例えば左マイクロフォン１００‐Ｌ）に、時間閾値より大きい時間に到達する無相関音を破棄し得る。

上述のように、プロセス８００は、右マイクロフォン１００‐Ｒおよび左マイクロフォン１００‐Ｌによって音が検出されるのに伴って連続的に実行されてもよい。

以上の実装形態の記述は例示を提供するものであり、網羅的であることも、これらの実装形態を開示通りの形態だけに限定することも意図するものではない。上記の教示に照らして改変および変形が可能であり、これらの教示の実施により改変および変形を得ることもできる。例えば上述の技法を、単一のマイクロフォンで使用される公知の雑音抑制法と適切に組み合わせることもできる。さらに、各例はデュアルマイクロフォンアレイに関して記述されているが、開示の原理は２より多いマイクロフォンを含むマイクロフォンアレイに拡大適用されてもよい。

上記では、例示的なプロセスに関して一連のブロックが記述されているが、他の実装形態では各ブロックの順序が変更されてもよい。加えて、非従属ブロックは、他のブロックと並列に実行されうる動作を表すこともできる。さらに、機能構成要素の実装に応じて、１もしくは複数のプロセスからブロックのうちの一部が省かれてもよい。

本明細書で記述する態様は、各図に例示する実装形態において多くの異なる形態のソフトウェア、ファームウェア、およびハードウェアとして実装されうることが明らかであろう。各態様を実装するのに使用される実際のソフトウェアコードまたは専用の制御ハードウェアは、本発明を限定するものではない。よって、各態様の動作および挙動は、特定のソフトウェアコードに言及せずに記述した。ソフトウェアおよび制御ハードウェアは、本明細書の記述に基づいて各態様を実装するように設計することができることが理解されるものである。

「ｃｏｍｐｒｉｓｅｓ／ｃｏｍｐｒｉｓｉｎｇ」という用語は、本明細書で使用する場合、記載される特徴、整数、ステップまたは構成要素の存在を指定するものと理解されるが、１または複数の他の特徴、整数、ステップ、構成要素、またはそれらのグループの存在または追加を排除するものではないことを強調しておく必要がある。

さらに、各実装形態のいくつかの部分は、１または複数の機能を果たす「論理」として記述されている。この論理は、プロセッサ、マイクロプロセッサ、特定用途向け集積回路、フィールドプログラマブルゲートアレイといったハードウェア、ソフトウェア、またはハードウェアとソフトウェアの組み合わせを含んでもよい。

本出願で使用するいかなる要素、動作、命令も、そのように明示しない限り、本明細書で記述する実装形態にとって重大であり、または不可欠であると解釈すべきではない。また、本明細書で使用する場合、冠詞の「ａ」は１または複数の項目を含むことを意図する。さらに、句「〜に基づく（ｂａｓｅｄ ｏｎ）」は、特に明示しない限り、「〜に少なくとも一部は基づく（ｂａｓｅｄ，ａｔ ｌｅａｓｔ ｉｎ ｐａｒｔ， ｏｎ）」を意味することを意図する。

Claims (12)

1. マイクロフォンアレイにおけるコンピュータ実装方法であって、前記マイクロフォンアレイは左マイクロフォンおよび右マイクロフォンを含み、
   前記右マイクロフォンから右マイクロフォン信号を受信することと、
   前記左マイクロフォンから左マイクロフォン信号を受信することと、
   前記左マイクロフォン信号と前記右マイクロフォン信号との間のタイミング差を決定することと、
   前記タイミング差が時間閾値以内であるかどうかを決定することと、
   前記タイミング差が前記時間閾値以内である場合に、前記タイミング差に基づいて前記左マイクロフォン信号および前記右マイクロフォン信号のうちの一方をタイムシフトすることと、
   前記タイムシフトされたマイクロフォン信号および他方のマイクロフォン信号を合算して出力信号を形成することと、
   前記タイミング差が前記時間閾値以内でない場合に、前記左マイクロフォン信号および前記右マイクロフォン信号の各々について予め決定されるタイムスロットについての平均音圧レベルを特定することと、
   最低平均音圧レベルを有する前記左マイクロフォン信号および前記右マイクロフォン信号のうちの一方を前記予め決定されるタイムスロットについての前記出力信号として選択することと、
   前記左マイクロフォン信号および前記右マイクロフォン信号を複数の周波数帯域へ分割することと、
   前記複数の周波数帯域のうちの少なくとも１つにおける雑音を特定することと、
   前記複数の周波数帯域のうちの前記少なくとも１つの各々における信号対雑音比に基づいて前記複数の周波数帯域のうちの前記少なくとも１つにおける前記雑音をフィルタリングするための極性パターンを選択すること、
   を含むコンピュータ実装方法。
2. 先のタイムスロットについての出力信号が前記予め決定されるタイムスロットについての前記出力信号と同じマイクロフォン信号からのものであるかどうかを決定することと、
   先のタイムスロットについての前記出力信号が前記予め決定されるタイムスロットについての前記出力信号と同じ前記マイクロフォン信号からのものではない場合に、前記先のタイムスロットおよび前記予め決定されるタイムスロットの境界に近いゼロ交差点を特定することと、
   前記ゼロ交差点に基づいて前記先のタイムスロットについての前記出力信号から前記予め決定されるタイムスロットについての前記出力信号へ遷移することと、
   をさらに含む、請求項１に記載のコンピュータ実装方法。
3. 前記最低平均音圧レベルを有する前記左マイクロフォン信号および前記右マイクロフォン信号のうちの前記一方への前記遷移を平滑化することをさらに含む、請求項２に記載のコンピュータ実装方法。
4. 振幅応答、周波数応答、または前記左マイクロフォン信号および前記右マイクロフォン信号の各々のタイミングのうちの少なくとも１つに基づいて、前記左マイクロフォン信号および前記右マイクロフォン信号がターゲット音の種類と一致しているかどうかを特定することをさらに含む、請求項１に記載のコンピュータ実装方法。
5. 前記マイクロフォンアレイと関連付けられる無指向性極性パターンと高指向性極性パターンとの間の比較に基づいて前記左マイクロフォン信号および前記右マイクロフォン信号に雑音が存在するかどうかを決定すること、
   をさらに含む、請求項１に記載のコンピュータ実装方法。
6. 前記マイクロフォンアレイにおいて音を通過させるための遷移角を選択することと、
   前記選択された遷移角に基づいて前記時間閾値についての値を決定することと、
   をさらに含む、請求項１に記載のコンピュータ実装方法。
7. 左マイクロフォンと、
   右マイクロフォンと、
   複数の命令を格納するメモリと、
   前記メモリ内の命令を実行することにより、
   前記右マイクロフォンから右マイクロフォン信号を受信し、
   前記左マイクロフォンから左マイクロフォン信号を受信し、
   前記左マイクロフォン信号と前記右マイクロフォン信号との間のタイミング差を決定し、
   前記タイミング差が時間閾値以内であるかどうかを決定し、
   前記タイミング差が前記時間閾値以内である場合に、前記タイミング差に基づいて前記左マイクロフォン信号および前記右マイクロフォン信号の少なくとも一方をタイムシフトし、
   前記タイムシフトされたマイクロフォン信号および他方のマイクロフォン信号を合算して出力信号を形成し、
   前記タイミング差が前記時間閾値以内でない場合に、前記左マイクロフォン信号および前記右マイクロフォン信号の各々について予め決定されるタイムスロットについての平均音圧レベルを特定し、
   最低平均音圧レベルを有する前記左マイクロフォン信号および前記右マイクロフォン信号のうちの一方を前記予め決定されるタイムスロットについての前記出力信号として選択し、
   複数の周波数帯域のうちの前記少なくとも１つにおける雑音をフィルタリングする場合に、前記複数の周波数帯域のうちの前記少なくとも１つの各々における信号対雑音比に基づいて前記複数の周波数帯域のうちの前記少なくとも１つにおける前記雑音をフィルタリングするための極性パターンを選択するように構成されるプロセッサと、
   を備えるデュアルマイクロフォンアレイ。
8. 振動センサをさらに備え、前記プロセッサは、
   前記振動センサによって提供される入力に基づいてユーザ発話を特定し、
   ユーザ発話の現在の発生に基づいて極性パターンを選択する、
   ようにさらに構成される、請求項７に記載のデュアルマイクロフォンアレイ。
9. 前記左マイクロフォンおよび前記右マイクロフォンの各々を、前向きの姿勢のユーザの口からほぼ等距離のところにある前記ユーザの胴体の上に保持するための位置決め要素
   をさらに備える、請求項７に記載のデュアルマイクロフォンアレイ。
10. 前記プロセッサは、
    前記左マイクロフォンおよび前記右マイクロフォンの各々と関連付けられる音圧レベルを特定し、
    前記タイミング差と、前記左マイクロフォンおよび前記右マイクロフォンの各々と関連付けられた前記音圧レベルとの間の相関を決定し、
    前記相関が、左マイクロフォン信号および前記右マイクロフォン信号がターゲット音源からの発話に基づいていることを示すかどうかを決定する、
    ようにさらに構成される、請求項７に記載のデュアルマイクロフォンアレイ。
11. 前記複数の周波数帯域のうちの前記少なくとも１つにおける雑音をフィルタリングする場合に、前記プロセッサは、無指向性極性パターン、８の字形極性パターン、および周波数に依存しない極性パターンを含むグループの中から極性パターンを選択するように構成される、請求項７に記載のデュアルマイクロフォンアレイ。
12. 左マイクロフォンおよび右マイクロフォンを含むマイクロフォンアレイと関連付けられたプロセッサによって実行されるべき命令を含むコンピュータ可読媒体であって、前記命令が前記プロセッサによって実行される場合に、前記プロセッサに、
    前記右マイクロフォンから右マイクロフォン信号を受信させ、
    前記左マイクロフォンから左マイクロフォン信号を受信させ、
    前記左マイクロフォン信号と前記右マイクロフォン信号との間のタイミング差を決定させ、
    前記タイミング差が時間閾値以内であるかどうかを決定させ、
    前記タイミング差が前記時間閾値以内である場合に、前記タイミング差に基づいて、前記左マイクロフォン信号および前記右マイクロフォン信号の一方を前記左マイクロフォン信号および前記右マイクロフォン信号の他方の時間にタイムシフトさせ、
    前記タイムシフトされたマイクロフォン信号および他方のマイクロフォン信号を合算して出力信号を形成させ、
    前記タイミング差が前記時間閾値以内でない場合に、前記左マイクロフォン信号および前記右マイクロフォン信号の各々について予め決定されるタイムスロットについての平均音圧レベルを特定させ、
    最低平均音圧レベルを有する前記左マイクロフォン信号および前記右マイクロフォン信号のうちの一方を前記予め決定されるタイムスロットについての前記出力信号として選択させ、
    複数の周波数帯域のうちの前記少なくとも１つにおける雑音をフィルタリングする場合に、前記複数の周波数帯域のうちの前記少なくとも１つの各々における信号対雑音比に基づいて前記複数の周波数帯域のうちの前記少なくとも１つにおける前記雑音をフィルタリングするための極性パターンを選択させる、
    ための１または複数の命令を含む、コンピュータ可読媒体。

Images