JP5021212B2 - 複数感知の音声強調の際に代替センサ信号によるノイズ破損を低減するための方法および装置 - Google Patents

Description

本発明は、ノイズリダクションに関する。より詳細には、本発明は、音声信号からノイズを除去することに関する。

音声認識および音声伝送における共通する問題は、付加ノイズによる音声信号の破損である。特に、別の話者の音声による破損は、検出および／または補正が困難であることが分かっている。

近年、骨導マイク（ｂｏｎｅ ｃｏｎｄｕｃｔｉｏｎ ｍｉｃｒｏｐｈｏｎｅ）および気導マイク（ａｉｒ ｃｏｎｄｕｃｔｉｏｎ ｍｉｃｒｏｐｈｏｎｅ）のような代替センサの組合せを使用することによって、ノイズを除去することを試みるシステムが開発された。このシステムは、骨導マイクを介して音声およびノイズの伝送に関連するチャネル応答を推定する。次いで、ノイズのある骨導マイク信号とノイズのある気導マイク信号に基づいてクリーン音声信号の推定値が識別されるために、これらのチャネル応答は、ダイレクトフィルタリング（ｄｉｒｅｃｔ ｆｉｌｔｅｒｉｎｇ）技術において使用される。

このシステムは、うまく機能するが、より高周波において音声信号内にヌル（ｎｕｌｌ）がもたらされる傾向があり、さらに、ユーザが発話中に歯のクラック音（ｃｌａｃｋ）を立てた場合、推定されるクリーン音声信号に不快なクリック音（ｃｌｉｃｋ）が含まれる傾向がある。

したがって、不快なクリック音を除去し、クリーン音声推定を改善するために、ダイレクトフィルタリング技術を改善するシステムが必要とされる。

１つの方法および装置は、代替センサ信号の一部分を、ノイズを含むまたはノイズを含まないものとして分類する。ノイズを含むと分類された代替センサ信号の部分は、クリーン音声信号の一部分、および、代替センサに関連するチャネル応答を推定するために使用されない。ノイズを含まないと分類された代替センサ信号の部分は、クリーン音声信号の一部分、および、代替センサに関連するチャネル応答を推定するために使用される。

図１は、本発明を実装することができる適切なコンピューティングシステム環境１００の例を示す。コンピューティングシステム環境１００は、適切なコンピューティング環境の一例に過ぎず、本発明の使用または機能の範囲についてどんな限定も示唆するものではない。コンピューティング環境１００は、例示的動作環境１００に示される任意のコンポーネントまたはそれらの組合せに関係するどのような依存性も要件も有していると解釈されるべきではない。

本発明は、他の多数の汎用または専用コンピューティングシステム環境または構成で動作可能である。本発明とともに使用するのに適切であり得る周知のコンピューティングシステム、環境、および／または構成の例には、以下に限定されないが、パーソナルコンピュータ、サーバコンピュータ、ハンドヘルドまたはラップトップ装置、マルチプロセッサシステム、マイクロプロセッサベースのシステム、セットトップボックス、プログラム可能な家庭用電化製品、ネットワークＰＣ、ミニコンピュータ、メインフレームコンピュータ、電話システム、および、上記のシステムまたは装置のいずれかを含む分散コンピューティング環境などが含まれる。

本発明は、コンピュータによって実行されるプログラムモジュールなどのコンピュータ実行可能命令の一般的コンテキストで記述される。一般に、プログラムモジュールには、特定のタスクを実行しまたは特定の抽象データ型を実装する、ルーチン、プログラム、オブジェクト、コンポーネント、およびデータ構造などが含まれる。本発明は、通信ネットワークを介してリンクされるリモート処理装置によってタスクが実行される分散コンピューティング環境において実施されるように設計される。分散コンピューティング環境では、プログラムモジュールは、メモリ記憶装置を含むローカルとリモートの両方のコンピュータ記憶媒体に配置される。

図１を参照すると、本発明を実装するための例示的なシステムは、汎用コンピューティングデバイスをコンピュータ１１０の形態で含む。コンピュータ１１０のコンポーネントには、処理装置１２０、システムメモリ１３０、および、システムメモリを含めて様々なシステムコンポーネントを処理装置１２０に結合するシステムバス１２１が含まれうるが、それに限定されない。システムバス１２１は、様々なバスアーキテクチャのいずれかを使用するメモリバスまたはメモリコントローラ、周辺バス、およびローカルバスなどを含めて、いくつかのタイプのバス構造のいずれでもよい。このようなアーキテクチャには、限定ではなく例として挙げれば、ＩＳＡ（業界標準アーキテクチャ）バス、ＭＣＡ（マイクロチャネルアーキテクチャ）バス、ＥＩＳＡ（拡張ＩＳＡ）バス、ＶＥＳＡ（ビデオ電子規格協会）ローカルバス、および、メザニン（Ｍｅｚｚａｎｉｎｅ）バスとしても知られるＰＣＩ（周辺コンポーネント相互接続）バスが含まれる。

コンピュータ１１０は、通常、様々なコンピュータ可読媒体を含む。コンピュータ可読媒体は、コンピュータ１１０によってアクセスすることができる任意の利用可能な媒体とすることができ、それには、揮発性と不揮発性の両方の媒体、およびリムーバルと固定の両方の媒体が含まれる。限定ではなく例として、コンピュータ可読媒体には、コンピュータ記憶媒体および通信媒体が含まれうる。コンピュータ記憶媒体には、コンピュータ可読命令、データ構造、プログラムモジュール、または他のデータなどの情報を格納するため任意の方法または技術で実装される、揮発性と不揮発性の両方の媒体、およびリムーバルと固定の両方の媒体が含まれる。コンピュータ記憶媒体には、以下に限定されないが、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ、フラッシュメモリ、または他のメモリ技術、ＣＤ−ＲＯＭ、ＤＶＤ（デジタル多用途ディスク）、または他の光ディスクストレージ、磁気カセット、磁気テープ、磁気ディスクストレージ、または他の磁気記憶装置、あるいは、所望の情報を格納するのに使用することができコンピュータ１１０によってアクセスすることができる他の任意の媒体が含まれる。通信媒体は、通常、搬送波や他の搬送メカニズムなどの変調されたデータ信号としてコンピュータ可読命令、データ構造、プログラムモジュール、または他のデータなどを具体化し、また、任意の情報伝達媒体を含む。「変調されたデータ信号」という用語は、信号として情報を符号化するようにセットまたは変更された１つまたは複数の信号特性を有する信号を意味する。限定ではなく例として挙げると、通信媒体には、有線ネットワークまたは直接配線接続などの有線媒体、ならびに、音響、ＲＦ、赤外線、および他の無線媒体などの無線媒体が含まれる。上記の媒体の任意の組合せも、コンピュータ可読媒体の範囲に含まれることになる。

システムメモリ１３０は、コンピュータ記憶媒体を、ＲＯＭ（読出し専用メモリ）１３１およびＲＡＭ（ランダムアクセスメモリ）１３２などの揮発性および／または不揮発性のメモリの形態で含む。始動時などにコンピュータ１１０内の要素間で情報を転送する助けとなる基本ルーチンを含むＢＩＯＳ（基本入出力システム）１３３は、通常、ＲＯＭ１３１に格納されている。ＲＡＭ１３２は、通常、処理装置１２０により、即座にアクセス可能および／または現在処理中である、データおよび／またはプログラムモジュールを含む。図１は、限定ではなく例として、オペレーティングシステム１３４、アプリケーションプログラム１３５、他のプログラムモジュール１３６、およびプログラムデータ１３７を示す。

コンピュータ１１０は、他のリムーバル／固定、および揮発性／不揮発性のコンピュータ記憶媒体を含むこともできる。単に例として示すが、図１では、固定で不揮発性の磁気媒体から読み取りまたはそれに書き込むハードディスクドライブ１４１、リムーバルで不揮発性の磁気ディスク１５２から読み取りまたはそれに書き込む磁気ディスクドライブ１５１、および、ＣＤ−ＲＯＭまたは他の光媒体などリムーバルで不揮発性の光ディスク１５６から読み取りまたはそれに書き込む光ディスクドライブ１５５を示している。例示的動作環境において使用することができる他のリムーバル／固定で揮発性／不揮発性のコンピュータ記憶媒体には、以下に限定されないが、磁気テープカセット、フラッシュメモリカード、ＤＶＤ、デジタルビデオテープ、半導体ＲＡＭ、および半導体ＲＯＭなどが含まれる。ハードディスクドライブ１４１は、通常、インターフェース１４０などの固定メモリインターフェースを介してシステムバス１２１に接続され、磁気ディスクドライブ１５１および光ディスクドライブ１５５は、通常、インターフェース１５０などのリムーバルメモリインターフェースによってシステムバス１２１に接続される。

図１に示される前述のドライブおよび関連するコンピュータ記憶媒体は、コンピュータ１１０のための、コンピュータ可読命令、データ構造、プログラムモジュール、および他のデータのストレージを提供する。例えば、図１では、ハードディスクドライブ１４１が、オペレーティングシステム１４４、アプリケーションプログラム１４５、他のプログラムモジュール１４６、およびプログラムデータ１４７を格納するものとして示されている。これらのコンポーネントは、オペレーティングシステム１３４、アプリケーションプログラム１３５、他のプログラムモジュール１３６、およびプログラムデータ１３７と同じにすることも異なるようにすることもできることに留意されたい。オペレーティングシステム１４４、アプリケーションプログラム１４５、他のプログラムモジュール１４６、およびプログラムデータ１４７には、これらが少なくとも互いに異なるコピーであることを示すために、ここでは異なる番号を与えている。

ユーザは、キーボード１６２、マイク１６３、および、マウス、トラックボール、またはタッチパッドなどのポインティングデバイス１６１などの入力装置を介して、コマンドおよび情報をコンピュータ１１０に入力することができる。他の入力装置（図示せず）には、ジョイスティック、ゲームパッド、パラボラアンテナ、スキャナなどが含まれうる。上記その他の入力装置は、多くの場合、システムバスに結合されたユーザ入力インターフェース１６０を介して処理装置１２０に接続されるが、パラレルポート、ゲームポート、またはＵＳＢ（ユニバーサルシリアルバス）など他のインターフェースおよびバス構造によって接続してもよい。モニタ１９１または他のタイプの表示装置も、ビデオインターフェース１９０などのインターフェースを介してシステムバス１２１に接続される。このコンピュータはまた、モニタに加え、スピーカ１９７およびプリンタ１９６など他の周辺出力装置を含むこともでき、これらは、出力周辺装置インターフェース１９５を介して接続することができる。

コンピュータ１１０は、リモートコンピュータ１８０など１つまたは複数のリモートコンピュータへの論理接続を使用してネットワーク化された環境で動作する。リモートコンピュータ１８０は、パーソナルコンピュータ、ハンドヘルドデバイス、サーバ、ルータ、ネットワークＰＣ、ピアデバイス、または他の共通ネットワークノードとすることができ、通常、コンピュータ１１０に関係する上述の要素の多くまたは全部を含む。図１に示す論理接続は、ＬＡＮ（ローカルエリアネットワーク）１７１、およびＷＡＮ（広域ネットワーク）１７３を含むが、他のネットワークを含むこともできる。このようなネットワーク環境は、オフィス、企業規模のコンピュータネットワーク、イントラネット、およびインターネットにおいて一般的である。

ＬＡＮネットワーク環境で使用する場合、コンピュータ１１０は、ネットワークインターフェースまたはアダプタ１７０を介してＬＡＮ１７１に接続される。ＷＡＮネットワーク環境で使用する場合、コンピュータ１１０は、通常、モデム１７２、または、インターネットなどのＷＡＮ１７３を介して接続を確立する他の手段を含む。モデム１７２は、内蔵モデムでも外部のモデムでもよく、ユーザ入力インターフェース１６０または他の適切なメカニズムを介してシステムバス１２１に接続することができる。ネットワーク環境では、コンピュータ１１０に関して示されたプログラムモジュールまたはその部分をリモートメモリ記憶装置に格納することができる。図１では、限定ではなく例として、リモートアプリケーションプログラム１８５がリモートコンピュータ１８０に存在するように示している。ここに示したネットワーク接続は例示であり、コンピュータ間で通信リンクを確立する他の手段を使用することもできることは認識されよう。

図２は、例示的コンピューティング環境であるモバイルデバイス２００を示すブロック図である。モバイルデバイス２００は、マイクロプロセッサ２０２、メモリ２０４、入出力（Ｉ／Ｏ）コンポーネント２０６、および、リモートコンピュータまたは他のモバイルデバイスと通信するための通信インターフェース２０８を含む。一実施形態では、上述のコンポーネントは、適切なバス２１０を介して互いに通信するために結合される。

メモリ２０４は、モバイルデバイス２００の全体の電源がシャットダウンされたときにメモリ２０４に格納された情報が失われないように、バッテリバックアップモジュール（図示せず）を有するＲＡＭ（ランダムアクセスメモリ）などのような不揮発性の電子メモリとして実装される。メモリ２０４の一部分は、プログラム実行のためにアドレス可能なメモリとして割り当てられることが好ましく、メモリ２０４の他の部分は、ディスクドライブ上の記憶をシミュレートするような記憶域に使用されることが好ましい。

メモリ２０４は、オペレーティングシステム２１２、アプリケーションプログラム２１４、ならびに、オブジェクトストア２１６を含む。動作中、オペレーティングシステム２１２は、好ましくは、メモリ２０４からプロセッサ２０２によって実行される。好ましい一実施形態では、オペレーティングシステム２１２は、マイクロソフト社から市販されているＷｉｎｄｏｗｓ（登録商標）ＣＥブランドのオペレーティングシステムである。オペレーティングシステム２１２は、好ましくは、モバイルデバイス用に設計されており、公開されている１組のアプリケーションプログラミングインターフェースおよびメソッドを介してアプリケーション２１４によって利用可能なデータベース機能を実装する。オブジェクトストア２１６内のオブジェクトは、公開されているアプリケーションプログラミングインターフェースおよびメソッドに対する呼出しに少なくとも部分的には応答して、アプリケーション２１４およびオペレーティングシステム２１２によって維持される。

通信インターフェース２０８は、モバイルデバイス２００が情報を送受信することを可能にする多数の装置および技術を表す。いくつか例を挙げると、これらの装置には、有線および無線のモデム、衛星放送受信機、ブロードキャストチューナが含まれている。モバイルデバイス２００は、コンピュータとデータを交換するためにそのコンピュータに直接接続されている。このような場合、通信インターフェース２０８は、赤外線トランシーバ、あるいはシリアルまたはパラレル通信接続とすることができ、これらはすべて、ストリーミング情報を送信することができる。

入出力コンポーネント２０６は、タッチスクリーン、ボタン、ローラ、およびマイクなどの様々な入力装置、ならびに、オーディオジェネレータ（ａｕｄｉｏ ｇｅｎｅｒａｔｏｒ）、振動装置、およびディスプレイなどの様々な出力装置を含む。上に列挙したデバイスは、例示であって、そのすべてがモバイルデバイス２００上に存在する必要はない。さらに、他の入出力デバイスが、本発明の範囲内で、モバイルデバイス２００に取り付けられても、モバイルデバイス２００とともに存在してもよい。

図３は、本発明の実施形態のための音声強調システムのブロック図を示す。図３では、ユーザ／話者３００が、音声信号３０２（Ｘ）を生成し、音声信号３０２（Ｘ）は、気導マイク３０４および代替センサ３０６によって検出される。代替センサの例には、ユーザの喉の振動を測定する咽喉マイク、および、ユーザの顔面骨または頭蓋骨の上またはその付近（例えば、顎骨）あるいはユーザの耳の中に配置され、ユーザによって生成された音声に対応する頭蓋および顎の振動を検知する骨伝導センサが含まれる。気導マイク３０４は、音波を電気信号に変換するために一般に使用されるタイプのマイクである。

気導マイク３０４はまた、１つまたは複数のノイズ源３１０によって生成される周辺ノイズ３０８（Ｖ）を受け取る。ノイズ３０８は、代替センサのタイプおよびノイズのレベルによっては、代替センサ３０６によっても検出されうる。しかし、本発明の実施形態においては、代替センサ３０６は、通常、気導マイク３０４よりも周辺ノイズに対して感度が低い。したがって、一般に、代替センサ３０６によって生成された代替センサ信号は、気導マイク３０４によって生成された気導マイク信号より少ないノイズを含む。代替センサ３０６は、周辺ノイズに対して感度がより低いが、いくらかのセンサノイズ３２０（Ｗ）を生成する。

話者３００から代替センサ信号３１６への経路は、チャネル応答Ｈを有するチャネルとしてモデル化することができる。周辺ノイズ源３１０から代替センサ信号３１６への経路は、チャネル応答Ｇを有するチャネルとしてモデル化することができる。

代替センサ３０６からの代替センサ信号、および気導マイク３０４からの気導マイク信号はそれぞれ、アナログ−デジタルコンバータ３２２および３２４に供給され、それぞれにより、一連のデジタル値が生成され、生成されたデジタル値はそれぞれ、フレームコンストラクタ（ｆｒａｍｅ ｃｏｎｓｔｒｕｃｔｏｒ）３２６および３２８によって、いくつかのフレームにグループ化される。一実施形態では、Ａ／Ｄコンバータ３２２および３２４は、１６ｋＨｚかつ１６ビット／サンプルでアナログ信号をサンプリングし、それにより、毎秒３２キロバイトの音声データを作成し、フレームコンストラクタ３２６および３２８は、新規のそれぞれのフレームを１０ミリ秒毎で作成し、新規フレームは、２０ミリ秒相当のデータを含む。

フレームコンストラクタ３２６および３２８によって提供される各フレームのデータはそれぞれ、高速フーリエ変換（ＦＦＴ）３３０および３３２を用いて周波数領域に変換される。これにより、代替センサ信号についての周波数領域の値３３４（Ｂ）、および気導マイク信号についての周波数領域の値３３６（Ｙ）がもたらされる。

代替センサ信号３３４についての周波数領域の値３３４、および気導マイク信号についての周波数領域の値３３６は、強調モデルトレーナ３３８、およびダイレクトフィルタリング強調ユニット３４０に送られる。強調モデルトレーナ３３８は、代替センサの値Ｂおよび気導マイクの値Ｙに基づいて、チャネル応答ＨおよびＧならびに周辺ノイズＶおよびセンサノイズＷを記述するモデルパラメータを訓練する。これらのモデルパラメータは、ダイレクトフィルタリング強調ユニット３４０に提供され、ダイレクトフィルタリンク強調ユニット３４０は、これらのパラメータと周波数領域値ＢおよびＹを使用して、クリーン音声信号３４２

を推定する。

クリーン音声推定値３４２は、１組の周波数領域値である。これらの値は、逆高速フーリエ変換（ＩＦＦＴ）３４４を用いて時間領域に変換される。時間領域値の各フレームは、重複加算（ｏｖｅｒｌａｐ−ａｎｄ−ａｄｄ）ユニット３４６によって、その近接フレームと重複されて加算される。これにより、連続的な時間領域値のセットが作成され、音声処理３４８に提供される。音声処理３４８には、音声符号化または音声認識が含まれうる。

本発明者は、図３に示されるクリーン信号推定値を識別するためのシステムは、気導マイク３０４よりも代替センサ３０６によって検出される、歯のクラック音などの過渡ノイズによって、悪影響を受けるおそれがあることを見い出した。本発明者は、このような過渡ノイズが、チャネル応答Ｈの推定値を破損し、クリーン信号推定値においてヌルを生じさせることを見い出した。さらに、代替センサ値Ｂが、このような過渡ノイズによって破損すると、代替センサ値から推定されるクリーン音声値にも破損を引き起こす。

本発明は、代替センサ信号における歯のクラック音などの過渡ノイズによって引き起こされるクリーン音声推定値の破損を回避する、クリーン音声信号３４２を推定するためのダイレクトフィルタリング技術を提供する。以下の議論では、この過渡ノイズを、システムに見られる他のタイプのノイズとの混同を避けるために、歯クラック（ｔｅｅｔｈ ｃｌａｃｋ）音と呼ぶ。しかし、本発明を、気導マイクよりも代替センサによってより検出される任意のタイプのノイズによってシステムが影響を受けるときに、クリーン信号値を識別するために使用することができることは当業者には理解されよう。

図４は、本発明の技術を用いる、ノイズのある音声信号からクリーン音声値を推定するために使用されるバッチ更新技術の流れ図を示す。

ステップ４００で、気導マイク値（Ｙ）および代替センサ値（Ｂ）が収集される。これらの値は、強調モデルトレーナ３３８に提供される。

図５は、トレーナ３３８のブロック図を示す。トレーナ３３８内で、代替センサ値（Ｂ）および気導マイク値（Ｙ）が、音声検出ユニット５００に提供される。

音声検出ユニット５００は、ステップ４０２で、どの代替センサ値および気導マイク値が、ユーザの発話に対応するかとどの値が、背景音声を含めた背景ノイズに対応するかを決定する。

一実施形態においては、音声検出ユニット５００は、代替センサ信号の低エネルギー部分を識別することにより、値がユーザの発話に対応するかどうかを決定する。というのは、代替センサのノイズのエネルギーは、代替センサ信号によって捕捉された音声信号よりはるかに小さいためである。

詳細には、音声検出ユニット５００は、各代替センサ値によって表される各フレームごとの代替センサ信号のエネルギーを識別する。次いで、音声検出ユニット５００は、エネルギーのピークを求めるために一連のフレームのエネルギー値を探索する。次いで、ピークの後の谷を求めて探索を行う。この谷のエネルギーは、エネルギーセパレータ（ｅｎｅｒｇｙ ｓｅｐａｒａｔｏｒ）、ｄと呼ばれる。フレームが音声を含むかどうかを決定するために、次いで、エネルギーセパレータｄに対するフレームのエネルギーｅの比率ｋが、ｋ＝ｅ／ｄとして決定される。次いで、フレームの音声の信頼性、ｑが以下のように決定される。

式中、αは、２つの状態の間の遷移を定義し、一実装形態では、２に設定される。最後に、（それ自体を含む）隣接する５つのフレームの平均の信頼値が、そのフレームの最終的な信頼値として用いられる。

一実施形態では、音声が存在するかどうかを決定するために、固定された閾値が使用され、信頼値が閾値を超えた場合は、フレームが音声を含むと見なし、信頼値が閾値を超えない場合は、フレームが音声を含んでいないと見なすようになされている。一実施形態では、０．１の閾値が使用される。

他の実施形態では、話者が発話をしているときを識別するために、周知の音声検出技術が、気導音声信号に適用される。通常、音声フレーム（ｓｐｅｅｃｈ ｆｒａｍｅ）は、非音声では存在しない高調波を含むため、このようなシステムでは、一般に、ピッチトラッカ（ｐｉｔｃｈ ｔｒａｃｋｅｒ）を使用して音声フレームを識別する。

音声に関連する代替センサ値および気導マイク値は、音声フレーム５０４に格納され、非音声に関連する値は、非音声フレーム５０２に格納される。

ステップ４０４で、非音声フレーム５０２内の値を使用して、背景ノイズ推定器５０６、代替センサノイズ推定器５０８、およびチャネル応答推定器５１０は、それぞれ、背景ノイズ、代替センサノイズ、およびチャネル応答Ｇを記述する推定モデルパラメータを推定する。

一実施形態では、背景ノイズＶの実部および虚部と、センサノイズＷの実部および虚部が、独立の平均０のガウス分布として下記のようにモデル化される。

式中、

は、背景ノイズＶの分散であり、

は、センサノイズＷの分散である。

背景ノイズの分散

は、非音声フレームにおける気導マイク値から推定される。詳細には、非音声フレームにおける気導マイク値Ｙは、背景ノイズＶと等しいと仮定される。したがって、Ｙの値が、非音声の期間の平均０のガウス分布としてモデル化されると仮定して、気導マイク値Ｙを、分散

を決定するために使用することができる。一実施形態では、この分散は、値Ｙの平方和を、値の個数で割ることによって求められる。

代替センサノイズ

の分散は、下記のように、非音声のフレームごとにセンサノイズＷ_tを推定することによって、非音声フレームから決定することができる。

Ｗ_t＝Ｂ_t−ＧＹ_t 式４

上式では、Ｇは、初期に０として推定されるが、

が反復の一ステップにおいて推定され、Ｇが反復の第２のステップにおいて推定される反復プロセスによって、更新される。次いで、Ｗの値は、Ｗについての平均０のガウスモデルを仮定して、分散

を推定するために使用される。

Ｇ推定器５１０は、次式のように反復の第２のステップにおいてチャネル応答Ｇを推定する。

式中、Ｄは、ユーザが発話していないフレームの個数である。式５では、Ｇは、発話のすべてのフレームにわたって一定であり、つまり、時間フレームｔに依存していない。

式４および５は、

およびＧが、安定した値に収束するまで反復される。

およびＧの最終値は、モデルパラメータ５１２に格納される。

ステップ４０６で、チャネル応答Ｈについてのモデルパラメータは、モデルパラメータ５１２に格納されたノイズについてのモデルパラメータ、および、音声フレーム５０４におけるＢおよびＹの値を使用して、Ｈおよび

推定器５１８によって最初に推定される。詳細には、Ｈは、次のように推定される。

上式において、Ｓは、音声フレームの個数であり、Ｇは、Ｈの計算の際に０であると仮定される。

さらに、ステップ４０６で、Ｈ、

の先行のモデルの分散が決定される。

の値は、

のように計算することができる。

いくつかの実施形態では、

は、代わりに、Ｈ²のパーセンテージとして推定される。例えば、

のようになる。

ステップ４０６で、Ｈおよび

が決定されると、これらの値は、ステップ４０８で、音声フレーム５０４ごとの判別関数の値を決定するために使用される。詳細には、音声フレームごとに、歯クラック音検出器５１４は、

の値を決定する。

上式において、Ｋは、Ｂ_tおよびＹ_tの周波数領域値における周波数成分の個数である。

本発明者は、Ｆ_tの大きい値は、音声フレームが歯クラック音を含むことを示し、Ｆ_tのより小さい値は、音声フレームが歯クラック音を含んでいないことを示すことを見出した。したがって、音声フレームは、単純な閾値を使用して、歯クラック音フレームとして分類されうる。これは、図４のステップ４１０に示されている。

一実施形態では、Ｆに対する閾値は、許容されるエラー率を有するカイ２乗分布としてＦをモデル化することによって決定される。式としては、

Ｐ（Ｆ_t＜ε｜Ψ）＝α 式１０

となる。上式において、Ｐ（Ｆ_t＜ε｜Ψ）は、このフレームが歯クラック音フレームではないという仮説Ｐを仮定する、Ｆ_tが閾値εより小さい確率であり、αは、許容されるエラーフリー率である。

一実施形態では、α＝．９９である。言い換えれば、このモデルは、実際に、フレームが、時間についてわずか１％も歯クラック音を含まないとき、歯クラック音として音声フレームを分類する。このエラー率を用いると、Ｆに対する閾値は、カイ２乗分布についての公表値に基づき、ε＝３６５．３６５０となる。本発明の範囲内で、他の閾値が導かれる他のエラーフリー率を使用することもできることに留意されたい。

ステップ４１０で、カイ２乗分布から決定された閾値を使用して、各フレームは、歯クラック音フレーム、または非歯クラック音フレームに分類される。Ｆは、背景ノイズの分散およびセンサノイズの分散に依存しているので、その分類は、これらの分散の値を決定する際の誤りに敏感である。分散での誤りにより、余分に多くのフレームが、歯クラック音を含むと分類されないようにするために、歯クラック音検出器５１４は、初期に歯クラック音として分類されるフレームのパーセンテージを決定する。ステップ４１２で、そのパーセンテージが、選択されたパーセンテージ、例えば５％より大きい場合、ステップ４１４で、閾値が増大され、ステップ４１６で、フレームが再分類されて、選択されたパーセンテージのフレームのみが、歯クラック音を含んでいると識別されるようになる。上記では、フレームのパーセンテージが使用されているが、代わりに、フレームの固定された個数を使用することもできる。

ステップ４１２またはステップ４１６で、選択されたパーセンテージより少ないフレームが、歯クラック音を含んでいると識別されると、非クラック音フレーム５１６として分類されたフレームが、Ｈおよび

推定器５１８に提供されて、Ｈおよび

の値が再計算される（ステップ４１８）。詳細には、非クラック音フレーム５１６において得られるＢ_tおよびＹ_tの値を使用して、式６が再計算される。

ステップ４２０で、ダイレクトフィルタリング強調ユニット３４０により、Ｈの更新された値を、Ｇの値、ならびにノイズの分散

および

の値とともに使用して、次のようにクリーン音声値を推定する。

式中、Ｈ^*は、Ｈの複素共役をあらわしている。歯クラック音を含むと分類されたフレームについては、Ｂ_tの値は、歯クラック音によって破損されており、クリーン音声信号を推定するために使用されるべきではない。このようなフレームに関しては、式１１において、Ｂ_tは、

として推定される。音声を含み歯クラック音を含むフレームの分類は、強調モデルトレーナ３３８によって、ダイレクトフィルタリング強調３４０に提供され、この置き換えが、式１０において行われる。

本発明は、歯クラック音を含まないフレームのみを使用してＨを推定することによって、Ｈのより適切な推定値を提供する。これは、従来技術のクリーン音声推定値の比較的高い周波数に存在していたヌルを減少させるために役立つ。さらに、本発明は、歯クラック音を含むフレームにおける代替センサ信号を使用しないことにより、これらのフレームについてのクリーン音声値のより適切な推定値を提供する。

図４の流れ図は、チャネル応答、および歯クラック音を含むフレームの分類のバッチ更新を表す。このバッチ更新は、発話全体にわたって行われる。図６は、チャネル応答値を更新し、クリーン音声信号を推定するための連続的または「オンライン」の方法の流れ図を示す。

図６のステップ６００で、フレームについて気導マイク値Ｙ_tおよび代替センサ値Ｂ_tが、収集される。ステップ６０２で、音声検出ユニット５００が、フレームが音声を含むかどうかを決定する。上述した同じ技術を使用して、この決定を行うことができる。フレームが音声を含まない場合、ステップ６０４で、背景ノイズの分散、代替センサノイズの分散、およびＧの推定値が更新される。詳細には、これらの分散は、以下のように更新される。

上式において、ｄは、処理される非音声フレームの個数であり、Ｇ_d-1は、現行フレームの前のＧの値である。

Ｇの値は、以下のように更新される。

ただし、

である。式中、ｃ≦１で、効果的なヒストリの長さ（ｈｉｓｔｏｒｙ ｌｅｎｇｔｈ）が提供される。

現行フレームが音声フレームの場合、ステップ６０６で、前述の式９を使用して、Ｆの値が計算される。このＦの値は、過去のフレームでのＦの値、および、クラック音フレームまたは非クラック音フレームとしてのこれらのフレームの分類を含むバッファに追加される。

ステップ６０８で、現行フレームでのＦの値と、歯クラック音についてのＦに対する閾値を使用して、現行フレームは、歯クラック音フレームまたは非クラック音フレームとして分類される。この閾値は、上述のカイ２乗分布モデルを使用して初期設定される。このフレームは、後で述べるように、新規のフレームごとに更新される。

ステップ６１０で、現行フレームがクラック音フレームとして分類された場合、ステップ６１２で、クラック音フレームとして分類されているバッファ内のフレームの個数がカウントされ、バッファ内のクラック音フレームのパーセンテージが、バッファ内のフレームの総数に対する選択されたパーセンテージを上回るかどうかが決定される。

クラック音フレームのパーセンテージが、図６では５％として示される選択されたパーセンテージを上回る場合、ステップ６１４で、選択されたパーセンテージのフレームがクラック音フレームとして分類されるように、Ｆに対する閾値が増加される。次いで、ステップ６１６で、バッファ内のフレームは、新しい閾値を使用して再分類される。

ステップ６１８で、現行フレームがクラック音フレームである場合、または、ステップ６１２で、クラック音フレームのパーセンテージが、フレームの総数に対する選択されたパーセンテージを上回らない場合、現行フレームは、Ｈチャネル応答モデルのパラメータを調整するために使用されるべきではなく、代替センサ値は、クリーン音声値を推定するために使用されるべきでない。したがって、ステップ６２０で、Ｈのチャネル応答パラメータは、現行フレームおよび代替センサ値Ｂ_tが、

として推定される前に、先行フレームから決定されたそれらの値と等しく設定される。これらのＨおよびＢ_tの値は、次いで、ステップ６２４で、前述の式１１を用いてクリーン音声値を推定するために使用される。

ステップ６１０またはステップ６１８で、現行フレームが、歯クラック音フレームでない場合、ステップ６２２で、チャネル応答Ｈのモデルパラメータは、現行フレームでのＢ_tおよびＹ_tの値に基づいて更新される。詳細には、それらの値は、以下のように更新される。

ただし、

である。上式において、Ｊ（ｔ−１）、およびＫ（ｔ−１）は、一連のフレームにおいて先行の非クラック音フレームについて計算された値に対応する。

次いで、Ｈの分散は、

のように更新される。

次いで、ステップ６２４で、

およびＨ_tの新規の値は、前述の式１１を用いてクリーン音声値を推定するために使用される。代替センサ値Ｂ_tは、歯クラック音によって破損していないため、代替センサから決定された値は、式１１で直接使用される。

ステップ６２４で、クリーン音声推定値が決定された後、ステップ６００に戻り、次の音声フレームが処理される。図６のプロセスは、それ以上の処理される音声フレームがなくなるまで継続される。

図６の方法では、チャネル応答またはクリーン音声値を推定する前に、歯クラック音によって破損した音声フレームを検出する。この検出システムを用いて、本発明は、歯クラック音によって破損したフレームを使用することなくチャネル応答を推定することができる。これは、チャネル応答モデルを改善するために役立ち、したがって、非歯クラック音フレームにおけるクリーン信号の推定値が改善される。さらに、本発明は、それらのフレームのクリーン音声値を推定するときに、歯クラック音フレームからの代替センサ値を使用しない。これにより、歯クラック音フレームのクリーン音声推定値が改善される。

本発明は、特定の実施形態を参照して説明されたが、本発明の趣旨および範囲から逸脱することなく、形態および細部の変更を行うことができることは当業者には理解されよう。

本発明を実施することができる一コンピューティング環境を示すブロック図である。 本発明を実施することができる他のコンピューティング環境を示すブロック図である。 本発明の音声強調システムを示すブロック図である。 本発明の一実施形態における音声強調を示す流れ図である。 本発明の一実施形態の強調モデルトレーニングシステムを示すブロック図である。 本発明の他の実施形態における音声強調を示す流れ図である。

符号の説明

１００ コンピューティングシステム環境
１１０ コンピュータ
１２０ 処理装置
１２１ システムバス
１３０ システムメモリ
１３４ オペレーティングシステム
１３５ アプリケーションプログラム
１３６ 他のプログラムモジュール
１３７ プログラムデータ
１４０ 固定不揮発性メモリインターフェース
１４１ ハードディスクドライブ
１４４ オペレーティングシステム
１４５ アプリケーションプログラム
１４６ 他のプログラムモジュール
１４７ プログラムデータ
１５０ リムーバル不揮発性メモリインターフェース
１５１ 磁気ディスクドライブ
１５２ 磁気ディスク
１５５ 光ディスクドライブ
１５６ 光ディスク
１６０ ユーザ入力インターフェース
１６１ ポインティングデバイス
１６２ キーボード
１６３ マイク
１７０ ネットワークインターフェース
１７１ ローカルエリアネットワーク
１７２ モデム
１７３ 広域ネットワーク
１８０ リモートコンピュータ
１８５ リモートアプリケーションプログラム
１９０ ビデオインターフェース
１９１ モニタ
１９５ 出力周辺装置インターフェース
１９６ プリンタ
１９７ スピーカ
２００ モバイルデバイス
２０２ プロセッサ
２０４ メモリ
２０６ Ｉ／Ｏ
２０８ 通信インターフェース
２１２ ＯＳ
２１４ ＡＰＰ（Ｓ）
２１６ オブジェクトストア
３００ 話者
３０２ Ｘ
３０４ 気導（ＡＩＲ ＣＯＮＤＵＣＴＩＯＮ）マイク
３０６ 代替センサ
３０８ Ｖ
３１０ 周辺ノイズ源
３２０ センサノイズＷ
３２２ Ａ／Ｄ
３２４ Ａ／Ｄ
３２６ フレーム
３２８ フレーム
３３０ ＦＦＴ
３３２ ＦＦＴ
３３４ Ｂ
３３６ Ｙ
３３８ 強調モデルトレーナ
３４０ ダイレクトフィルタイリング強調
３４２ クリーン音声信号
３４４ ＩＦＦＴ
３４６ 重複と加算
３４８ 音声処理
４００ 発話に対する気導マイクおよび代替センサの値を収集する
４０２ 音声／非音声フレームを識別する
４０４ 背景ノイズおよび代替センサノイズの分散を決定し、非音声フレームからＧを推定する
４０６ すべての音声フレームにわたりＨの推定値を決定する
４０８ 音声フレームごとにＦを計算する
４１０ Ｆに対する閾値に基づいて、フレームをクラック音フレームとして分類する
４１２ クラック音フレームの数＞５％
４１４ 閾値を変更する
４１６ 閾値に基づいて、フレームをクラック音フレームとして分類する
４１８ 非クラック音声フレームのみを使用してＨを再計算する
４２０ Ｈを使用して、音声フレームごとに別個のＸ_tを推定する
５００ 音声検出ユニット
５０２ 非音声フレーム
５０４ 音声フレーム
５０６ 背景ノイズ推定器
５０８ 代替センサノイズ推定器
５１０ Ｇ推定器
５１２ モデルパラメータ
５１４ 歯クラック音（ＴＥＥＴＨ ＣＬＡＣＫ）検出器
５１６ 非クラック音フレーム
５１８ Ｈおよびσ_H ²推定器
６００ フレームについて気導マイクおよび代替センサの値を収集する
６０２ 音声フレームか？
６０４ 背景ノイズおよび代替センサノイズの分散、ならびに推定値Ｇを更新する。
６０６ フレームについてＦを計算しバッファに追加する
６０８ Ｆに対する閾値に基づいて現行フレームを分類する
６１０ 現行フレーム＝クラック音フレームか？
６１２ クラック音フレームの数＞５％
６１４ 閾値を変更する
６１６ 新しい閾値に基づいてフレームを再分類する
６１８ 現行フレーム＝クラック音フレームか？
６２０ Ｈ_t＝Ｈ_t-1およびＢ_t＝Ｈ_tＹ_tに設定する
６２２ 現行フレームに基づいてＨ_tおよびσ_H ²を更新する
６２４ Ｈ_tおよびＢ_tを使用してＸ_tを推定する

Claims (5)

1. ユーザが歯をかみ合わせた音によって引き起こされる不快なカチッという音を除去した推定されるクリーンな音声信号を提供する方法であって、前記ユーザが歯をかみ合わせた音によって引き起こされる不快なカチッという音は、過渡ノイズの一つであり、
   代替センサは咽喉マイク又は骨伝導センサであり、代替センサを使用して代替センサ信号のフレームを生成するステップであって、気導マイクよりも前記代替センサに前記過渡ノイズをより検出させる、生成するステップと、
   前記気導マイク信号のフレームを生成するステップと、
   音声を含む前記代替センサ信号のフレームを識別するステップと、
   前記気導マイク信号のフレームに基づいて、音声を含む前記代替センサ信号のフレームが、前記過渡ノイズによって破損したかどうかを判定するステップであって、前記過渡ノイズは、値Ｆ_tを決定し該値Ｆ_tを閾値と比較することにより、前記気導マイクよりも前記代替センサによってより検出され、ここでＦ_tは、次式
   

   

   として求められ、ｋは前記代替センサ信号のフレームを表すＢ_tと前記気導マイク信号のフレームを表すＹ_tとの周波数領域値における周波数成分の個数であり、Ｈは話し手から前記代替センサへの経路のチャネル応答であり、
   

   

   は前記代替センサのセンサノイズの分散であり、
   

   

   は背景ノイズの分散であり、
   

   

   は前記チャネル応答Ｈの先行モデルの分散であって、前記閾値は前記関数の値に対するカイ２乗分布に基づく、判定するステップと、
   前記代替センサ信号のフレームが前記過渡ノイズによって破損されていないと判定された場合に、前記代替センサ信号のフレームに基づいて、前記過渡ノイズが低減された音声信号の値を推定するステップと
   を備えたことを特徴とする方法。
2. 前記過渡ノイズが低減された音声信号の値を推定するステップは、前記代替センサに関するチャネル応答の前記推定値Ｈを使用するステップを含むことを特徴とする請求項１に記載の方法。
3. 前記過渡ノイズによって破損していないと判定される前記代替センサ信号の部分のみに基づいて、前記チャネル応答の前記推定値Ｈを更新するステップをさらに備えたことを特徴とする請求項２に記載の方法。
4. 前記代替センサ信号の一定数より多くのフレームが、前記過渡ノイズによって破損したと判定された場合に、前記閾値を調整するステップを更に備えたことを特徴とする請求項１に記載の方法。
5. 請求項１乃至４の何れか１項に記載の方法を実行するプログラムを有することを特徴とするコンピュータ可読媒体。

Images