JP5649488B2 - 音声判別装置、音声判別方法および音声判別プログラム - Google Patents

Description

本発明の実施形態は、音声判別装置、音声判別方法および音声判別プログラムに関する。

カーナビゲーションなどに搭載される音声認識には、システム音（例えば、ビープ音やガイダンス音声）の再生中であっても利用者の音声を認識できるバージイン機能を有するものがある。これらの音声認識の前処理に用いられる音声判別には、システム音をスピーカから再生した再生音（エコー）を含む音響信号から利用者の音声を正確に検出することが求められる。例えば、システム音に対する頑健性を高めた音声判別として、システム音の主要なパワーが含まれる周波数帯域を特定し、音響信号から特徴量を抽出する際に当該周波数帯域における周波数スペクトルを除外する方法が提案されている。システム音の主要なパワーが含まれる周波数帯域の周波数スペクトルには、エコーの影響が含まれる蓋然性が高い。したがって、当該周波数帯域における周波数スペクトルを除外することにより、システム音によって生じるエコーの影響を除いた特徴量を抽出することができる。

しかしながら、上述した方法は、システム音が単一チャンネルの音響信号である場合を想定しており、システム音がステレオ音楽などの複数チャンネルの音響信号である場合は対応することができなかった。

特開２００５−８４２５３号公報

鈴木、「割り込み発話に頑健な音声認識エンジンの開発」、日本音響学会2010 年秋季研究報告会、日本、日本音響学会、2010年09月、2-9-2

発明が解決しようとする課題は、複数チャンネルのシステム音によって生じるエコーに対しても頑健に動作する音声判別装置を提供することである。

実施形態の音声判別装置は、複数チャンネルのシステム音を複数のスピーカから再生した再生音およびユーザの音声を含んだ第１の音響信号について音声／非音声を判別する音声判別装置であって、少なくとも前記複数チャンネルのシステム音に基づいて、周波数帯域別の重みを付与する重み付与手段と、前記重み付与手段で付与された周波数帯域別の重みを利用して、前記第１の音響信号に含まれる前記再生音を抑圧した第２の音響信号から特徴量を抽出する特徴抽出手段と、前記特徴抽出手段で抽出された特徴量に基づいて、前記第１の音響信号について音声／非音声を判別する音声／非音声判別手段とを備える。

第１の実施形態の音声認識システムを示すブロック図。 実施形態のエコーキャンセル部を示すブロック図。 実施形態の音声判別装置を示すブロック図。 実施形態の音声認識システムのフローチャート。 第２の実施形態の音声認識システムを示すブロック図。 実施形態のエコーキャンセル部を示すブロック図。 実施形態のエコーキャンセル部を示すブロック図。 実施形態の音声判別装置を示すブロック図。 実施形態の音声認識システムのフローチャート。

以下、本発明の実施形態について図面を参照しながら説明する。

（第１の実施形態）
第１の実施形態の音声判別装置は、バージイン機能を有する音声認識の前処理に利用されるものであり、スピーカから再生されたシステム音のエコーを含んだ音響信号に利用者の音声が含まれるか否かを判別する。本実施形態のシステム音はステレオや5.1chのような複数チャンネルの音響信号で構成されており、スピーカから再生されたシステム音がマイクロホンで取得した第１の音響信号にエコーとなって混入する。

音声判別装置は、エコーキャンセラにより第１の音響信号からエコーを抑圧した第２の音響信号について音声／非音声を判別する。まず、音声判別装置は、複数チャンネルのシステム音を利用して周波数帯域別の重みを付与する。具体的には、複数チャンネルで構成されたシステム音の主要な成分が含まれる周波数帯域には小さな値の重みを、それ以外の周波数帯域には大きな値の重みを付与する。重みが小さな周波数帯域における第２の音響信号の周波数スペクトルには、複数チャンネルで構成されたシステム音の残留エコーが含まれる蓋然性が高い。したがって、音声判別装置は、第２の音響信号から特徴量を抽出する際、小さな重みが付与された周波数帯域の周波数スペクトルが特徴量に寄与する度合を小さくする。

このように、複数チャンネルからなるシステム音を利用して周波数帯域別の重みを付与することにより、システム音が複数チャンネルの場合でも残留エコーが含まれる蓋然性が高い周波数帯域に小さな重みを付与することができる。その結果、複数チャンネルのシステム音に起因するエコーを除外した特徴量を抽出することができる。

（ブロック構成）
図１は、第１の実施形態に係る音声判別装置１００を備えた音声認識システムを示すブロック図である。この音声認識システムは、システム音再生中の利用者音声を認識するバージイン機能を備えている。音声認識システムは、複数チャンネルで構成されたシステム音を再生するｎ個のスピーカ１３０−１〜１３０−ｎと、認識対象となる第１の音響信号を取得するマイクロホン１４０と、第１の音響信号に含まれるエコーを抑圧して第２の音響信号を生成するエコーキャンセル部１２０と、第２の音響信号を取得して音声／非音声を判別する音声判別装置１００と、音声／非音声の判別結果情報を利用してエコーキャンセル部１２０が出力した第２の音響信号を認識する音声認識部１１０とを備える。

カーオーディオやテレビなどから供給されるｎチャンネルのシステム音ｘ_１（ｔ）〜ｘ_ｎ（ｔ）は（ｔは離散的な時刻を表すタイムインデックス）、チャンネル毎に用意されたスピーカ１３０−１〜１３０−ｎを通じて利用者に向けて再生される。スピーカから再生されたｎチャンネルのシステム音は、空間を伝わりエコーとなってマイクロホン１４０に受音される。この結果、マイクロホン１４０が取得した第１の音響信号ｄ（ｔ）には、利用者音声とシステム音のエコーが混在する。エコーキャンセル部１２０は、第１の音響信号からｎチャンネルのシステム音によって生じたエコーを抑えた第２の音響信号ｅ（ｔ）を生成する。音声判別装置１００は、第２の音響信号を所定区間長に分割し、各区間について利用者音声が含まれるか否かを判別する。音声認識部１１０は、音声判別装置１００が出力した所定区間ごとの音声／非音声判別情報から利用者の音声区間（始端から終端までの区間）を特定し、エコーキャンセル部１２０が出力した第２の音響信号の音声認識を実行する。

図２は、エコーキャンセル部１２０の構成を示すブロック図である。エコーキャンセル部１２０は、マイクロホン１４０で取得した第１の音響信号に含まれるシステム音のエコーを抑圧する。このために、エコーキャンセル部１２０は、スピーカ１３０−１〜１４０−ｎからマイクロホン１４０までのエコー経路の伝達特性をＦＩＲ型の適応フィルタ１２１で推定する。適応フィルタ１２１がエコー経路の伝達特性を正確に推定できれば、第１の音響信号に含まれるエコーは完全に抑圧される。ところが、実際には適応フィルタ係数の更新不足や伝達特性の急激な変動による推定誤差が生じるため、第２の音響信号にエコーが残留する。また、本実施形態のエコーキャンセル部１２０は、後述する音声判別装置１００のモノラル化部１０１で生成された第３の音響信号を参照信号として利用する。この第３の音響信号は、複数チャンネルのシステム音を単一チャンネルの音響信号に変換したものである。そのため、エコーキャンセル部１２０は、システム音の各チャンネル信号と第３の音響信号との差分信号に由来するエコーを抑圧することができない。

図３は、音声判別装置１００の構成を示すブロック図である。音声判別装置１００は、複数チャンネルの音響信号で構成されるシステム音を単一チャンネルの第３の音響信号に変換するモノラル化部１０１と、モノラル化部１０１で変換された第３の音響信号の周波数スペクトルの大きさを利用して、システム音の主要な成分が含まれる周波数帯域には小さな値の重みを、それ以外の周波数帯域は大きな値の重みを付与する重み付与部１０２と、重み付与部１０２で小さな重みが付与された周波数帯域における周波数スペクトルを除外して第２の音響信号から特徴量を抽出する特徴抽出部１０３と、特徴抽出部１０３で抽出された特徴量を利用して、所定区間ごとの音声／非音声判別情報を求める音声／非音声判別部１０４を備える。

モノラル化部１０１は、複数チャンネルで構成されるシステム音を複数チャンネルの特性を反映した単一チャンネルの第３の音響信号に変換する。重み付与部１０２は、当該第３の音響信号の周波数スペクトルを利用して周波数帯域別の重みを付与することにより、システム音が複数チャンネルの場合でも残留エコーが含まれる蓋然性の高い周波数帯域に小さな重みを付与することができる。

なお、音声判別装置１００は、特徴抽出部１０３によって抽出された特徴量や、音声／非音声判別部１０４の音声／非音声判別情報をエコーキャンセル部１２０に出力する。

（フローチャート）
図４は、本実施形態にかかる音声認識システムのフローチャートである。まず、ステップＳ４０１では、モノラル化部１０１が、ｎチャンネルのシステム音ｘ_１（ｔ）〜ｘ_ｎ（ｔ）を単一チャンネルの第３の音響信号ｘ（ｔ）に変換して、後段の重み付与部１０２とエコーキャンセル部１２０に出力する。

モノラル化部１０１による変換は、ｎチャンネルのシステム音ｘ_１（ｔ）〜ｘ_ｎ（ｔ）の主要な成分を漏れなく第３の音響信号に含めるために全ての信号の平均により行う。これは、ｘ_１（ｔ）〜ｘ_ｎ（ｔ）を１／ｎの重みで加重和することに相当する（以下、この方法をチャンネル加重和と記す）。各チャンネルのレベルが不均一なときには、加重和の重みを調節することでレベルを均一にすることもできる。

また、ｎチャンネルのシステム音ｘ_１（ｔ）〜ｘ_ｎ（ｔ）の相関が強い場合は、ｎチャンネルのうちいずれかの信号を選択して第３の音響信号にすることも可能である（以下、この方法をチャンネル選択と記す）。ｎチャンネルのシステム音の相関が強い場合、どれか１つのチャンネルに全チャンネル共通の主要な成分が含まれると期待されるからである。ステレオマイクロホンで収録された音声（ステレオ収録音声）などは、チャンネル間の相関が強いことから、チャンネル選択を適用できるシステム音だと言える。一方、例えば左チャンネルが英語、右チャンネルが日本語のような二ヶ国語のシステム音である場合は、チャンネル間の相関が弱いと考えられることからチャンネル加重和の方が適している。モノラル化部１０１は、システム音に関するステレオ収録音声や二ヶ国語音声など、使用される状況に応じてチャンネル加重和とチャンネル選択のいずれかの方法を切り替えるようにしてもよい。

ステップＳ４０２では、エコーキャンセル部１２０は、第１の音響信号ｄ（ｔ）に含まれるシステム音のエコーをキャンセルして、第２の音響信号ｅ（ｔ）を生成する。ここで、適応フィルタ１２１の参照信号には、モノラル化部１０１で生成された第３の音響信号ｘ（ｔ）を用いる。

適応フィルタ１２１がＬ個のフィルタ係数を持ち、時刻ｔにおけるi番目のフィルタ係数値をｗ_i（ｔ）とすると、エコーを抑圧した第２の音響信号ｅ（ｔ）は、（１）式で計算できる。

適応フィルタ１２１のフィルタ係数値ｗ_i（ｔ）は、例えば、ＮＬＭＳアルゴリズムを用いて、（２）式で更新できる。

ここで、αは更新速度を調整するステップサイズ、γは分母項が零になることを防ぐための小さな正の値である。αは０．１〜０．３程度に設定するとよい。

次に、ステップ４０３では、重み付与部１０２が、第３の音響信号ｘ（ｔ）の周波数スペクトルの大きさを利用して、特徴抽出部１０３で特徴量を抽出する際に利用する各周波数帯域ｆの重みＲ_ｆ（ｋ）を算出する（ｋは、フレーム番号）。

重み付与部１０２は、例えば、１６０００Ｈｚのサンプリングで取得された第３の音響信号ｘ（ｔ）を、フレーム長２５ｍｓ（４００サンプル）、間隔８ｍｓ（１２８サンプル）のフレームに分割する。フレーム分割にはハミング窓を使用する。次に、重み付与部１０２は、各フレームに対して１１２点の零詰めを行った後、５１２点の離散フーリエ変換を適用して第３の音響信号ｘ（ｔ）のパワースペクトルＸ_ｆ（ｋ）を求める。そして、得られたパワースペクトルＸ_ｆ（ｋ）を、（３）式の再帰式で時間方向に平滑化した平滑化パワースペクトルＸ’_ｆ（ｋ）を生成する。

ここで、Ｘ’_ｆ（ｋ）は周波数帯域ｆにおける平滑化パワースペクトル、μは平滑化の度合いを調整する忘却係数を表している。μは０．３〜０．５程度に設定する。システム音は、スピーカ１３０−１〜１３０−ｎからマイクロホン１４０までのエコー経路を音速で伝播するため、第１の音響信号中に含まれる残留エコーと第３の音響信号には時間的なずれが生じ得る。現フレームのパワースペクトルの成分が後続するフレームのパワースペクトルに混入する平滑化処理は、第１の音響信号に含まれる残留エコーと第３の音響信号との時間的なずれを補償する効果がある。

次に、重み付与部１０２は、第３の音響信号の平滑化パワースペクトルＸ’_ｆ（ｋ）を利用して、システム音の主要な成分を含む周波数帯域に重み０を、それ以外の周波数帯域に重み１を付与する。具体的には、第１の音響信号の平滑化パワースペクトルＸ’_ｆ（ｋ）と第１の閾値ＴＨ_Ｘ（ｋ）を比較して、（４）式により各周波数帯域ｆに重みＲ_ｆ（ｋ）を付与する。

ここで、第１の閾値ＴＨ_Ｘ（ｋ）は、システム音の主要な成分が含まれる周波数帯域の検出に適した大きさが必要である。例えば、第１の閾値ＴＨ_Ｘ（ｋ）を第３の音響信号の無音区間のパワーより大きな値に設定することができる。また、（５）式のように、各フレームにおける平均パワー値を第１の閾値とすることもできる。

ここで、Ｐは周波数帯域ｆの数である。この場合、第１の閾値はフレームごとに動的に変化する。

この他にも、各フレームにおける平滑化後のパワースペクトルＸ’_ｆ（ｋ）を周波数インデックスｆに対して昇順にソートし、ソートした結果、上位ａ％（例えば５０％）に入る周波数帯域に重み０を、それ以外の周波数帯域に重み１を付与することもできる。また、第１の閾値より大きく、かつ昇順にソートした結果、上位ａ％（例えば５０％）に該当する周波数帯域に重み０を、それ以外の周波数帯域に重み１を付与してもよい。

あるいは、上述したように重みの値を０または１のいずれかの値に限定せず、（６）式のようにパワーに応じて０と１の間を単調減少する値として与えることも可能である。

ここで、閾値ＴＨ_１とＴＨ_２は、前記第１の閾値ＴＨ_Ｘ（ｋ）を基準にして（７）式のように定めることができる。式中のαとβは実験的に求めることが可能であるが、例えば０．６に設定すると、ＴＨ_Ｘ（ｋ）が各フレームにおける平均パワー値を表している場合、これに対して４倍と１／４倍のパワー値を閾値ＴＨ_１とＴＨ_２にそれぞれ設定することに相当する。

第３の音響信号ｘ（ｔ）は、モノラル部１０１における変換により、複数チャンネルのシステム音の主要な成分を反映した音響信号となる。したがって、第３の音響信号の平滑化パワースペクトルＸ’_ｆ（ｋ）の大きさを利用することにより、複数チャンネルのシステム音の主要な成分を考慮した重みを各周波数帯域に付与することができる。

ステップＳ４０４では、特徴抽出部１０３は、重み付与部１０２で得られた周波数帯域別の重みＲ_ｆ（ｋ）を利用して、第２の音響信号ｅ（ｔ）から利用者の音声らしさを表す特徴量を抽出する。

本実施形態では、特徴量として（８）式で計算される周波数帯域別ＳＮＲの平均値ＳＮＲ_ａｖｒｇ（ｋ）（以下、平均ＳＮＲと記す）を用いる。

ここで、Ｍ（ｋ）はｋ番目のフレームでＲ_ｆ（ｋ）＝１となる周波数帯域ｆの数を表している。また、Ｎ_ｆ（ｋ）は第２の音響信号において利用者音声を含まない区間のパワースペクトルの推定値であり、例えば、第２の音響信号の先頭２０フレームにおけるパワースペクトルの平均値から求める。一般に、利用者音声が含まれる区間における第２の音響信号は、利用者音声が含まれない区間における第２の音響信号と比較して大きくなる。したがって、平均ＳＮＲが大きいほど、第２の音響信号に利用者音声が含まれている蓋然性が高いといえる。なお、特徴量としてはここで例示した平均ＳＮＲに限らず、例えば、非特許文献１に開示された正規化スペクトルエントロピーやスペクトル間余弦値を用いることもできる。

（８）式より、特徴抽出部１０３は、重み付与部１０２でＲ_ｆ（ｋ）＝０となった周波数帯域の周波数スペクトルを除外して特徴量を抽出している。重みが０となる（あるいは連続値の場合０に近い値となる）周波数帯域は、複数チャンネルのシステム音に起因するエコーが含まれる蓋然性の高い周波数帯域である。したがって、（８）式に示したように、重みＲ_ｆ（ｋ）を乗じた値として特徴量を計算することで、重みＲ_ｆ（ｋ）が０となる（あるいは０に近い値となる）周波数帯域における周波数スペクトルが特徴量に寄与する度合を下げることができ、結果として残留エコーの影響を取り除いた特徴量の抽出が可能になる。

ステップＳ４０５では、音声／非音声判別部１０３は、（９）式のように特徴抽出部１０３で抽出された特徴量と閾値ＴＨ_ＶＡ（ｋ）を比較することで、フレーム単位の音声／非音声を判別する。

ステップＳ４０６では、音声認識部１１０は、音声判別装置１００が出力するフレーム単位の音声／非音声判別情報を使って認識対象となる利用者の音声区間を特定する。また、音声認識部１１０は、エコーキャンセル部１２０が出力する第２の音響信号ｅ（ｔ）について音声認識処理を実行する。

以上の説明では、周波数スペクトルとしてパワースペクトルを用いたが、振幅スペクトルを用いてもよい。

（効果）
このように、本実施形態にかかる音声判別装置は、複数チャンネルのシステム音をモノラル化した第３の音響信号のパワースペクトルの大きさを利用して周波数帯域別の重みを付与している。これにより、複数チャンネルのシステム音の主要な成分を考慮した重みを付与することができる。

また、本実施形態にかかる音声判別装置は、複数チャンネルのシステム音の主要な成分を考慮した重みを利用して特徴量を抽出している。これにより、複数チャンネルのシステム音のエコーを低減した特徴量を抽出することができる。

（変形例１）
重み付与部１０２は、第３の音響信号の平滑化パワースペクトルＸ’_ｆ（ｋ）だけでなく第２の音響信号のパワースペクトルＥ_ｆ（ｋ）も用いて各周波数帯域の重みを付与することができる。例えば、（１０）式のように重みＲ_ｆ（ｋ）を付与することができる。

ここで、第２の閾値ＴＨ_Ｅ（ｋ）は、第２の音響信号の無音区間のパワーより大きな値に設定することができる。

このように、第３の音響信号だけでなく第２の音響信号も用いて重みを付与することにより、利用者音声の主要な成分を含む周波数帯域に小さな重みが付与されることを防止できる。

（変形例２）
適応フィルタ１２１は、（１１）式のように、特徴抽出部１３０で抽出された特徴量ＳＮＲ_ａｖｒｇ（ｋ）と閾値ＴＨ_ＤＴ（ｋ）を用いてフィルタ係数の更新を制御してもよい。すなわち、適応フィルタ１２１は、第１の音響信号に利用者音声が含まれないと判別されるときだけフィルタ係数を更新する。この結果、適応フィルタ１２１はエコー経路の伝達特性を精度良く推定できる。

また、適応フィルタ１２１が、音声／非音声判別部１０４での音声／非音声判別情報を入力して、非音声と判別されたときにフィルタ係数を更新し、音声と判別されたときにフィルタ係数を更新しないようにすることも可能である。あるいは、適応フィルタ１２１は、特徴量ＳＮＲ_ａｖｒｇ（ｋ）が大きくなる従って（２）式のステップサイズαが小さくなるよう制御することも可能である。

（変形例３）
本実施形態では、重み付与部１０２は、第１の音響信号の平滑化パワースペクトルＸ’_ｆ（ｋ）が第１の閾値ＴＨ_Ｘ（ｋ）より大きくなる周波数帯域には重み０を、それ以外の周波数帯域には重み１を付与している。付与する重みはこれに限定されず、例えば、Ｘ’_ｆ（ｋ）が第１の閾値ＴＨ_Ｘ（ｋ）より大きくなる周波数帯域には重み−１００を、それ以外の周波数帯域に重み１００を付与し、特徴抽出部１０３で特徴量を抽出する際に重み−１００が付与された周波数帯域における周波数スペクトルを除外するようにしてもよい。

（第２の実施形態）
（ブロック構成）
図５は、第２の実施形態にかかる音声判別装置を備えた音声認識システムを示すブロック図である。第１の実施形態と異なるのは、エコーキャンセル部２２０がモノラル化された第３の音響信号ではなく複数チャンネルのシステム音を取得している点である。

図６は、エコーキャンセル部２２０の１構成例を示すブロック図である。同図で示されるエコーキャンセル部２２０−ａは、複数チャンネルのシステム音をモノラル化するモノラル化部２２３を有しており、当該モノラル化部２２３で単一チャンネルに変換された第３の音響信号を適応フィルタ１２１で利用する参照信号としている。モノラル化部２２３における処理は、第１の実施形態のモノラル化部１０１と同様な方法で行うことができる。また、適応フィルタの更新およびエコー抑圧後の第２の音響信号の生成は、第１の実施形態と同様な方法で行うことができる。

また、図７は、エコーキャンセル部２２０の他の構成例を示すブロック図である。同図で示されるエコーキャンセル部２２０−ｂは、複数チャンネルのエコーキャンセラであり、システム音の各チャンネルに対応した適応フィルタ２２１−１〜２２１−ｎと減算器２２２−１〜２２２−ｎを有する。各適応フィルタの更新およびエコー抑圧後の第２の音響信号の生成は第１の実施形態と同様な方法で行う。

図８は、音声判別装置２００の構成を示すブロック図である。第１の実施形態の音声判別装置１００と異なるのは、モノラル化部１０１を有していない点である。音声判別装置２００では、重み付与部１０２が複数チャンネルのシステム音ｘ_１（ｔ）〜ｘ_ｎ（ｔ）の周波数スペクトルの大きさを利用して各周波数帯域に重みを付与する。

（フローチャート）
図９は、本実施形態にかかる音声認識システムのフローチャートである。まず、ステップＳ４１１では、エコーキャンセル部２２０は、第１の音響信号ｄ（ｔ）に含まれるシステム音のエコーを抑圧して第２の音響信号ｅ（ｔ）を生成する。

次に、ステップ４１２では、重み付与部１０２が、第２の音響信号ｅ（ｔ）および複数チャンネルのシステム音ｘ_１（ｔ）〜ｘ_ｎ（ｔ）の周波数スペクトルの大きさを利用して、特徴抽出部１０３で特徴量を抽出する際に利用する各周波数帯域ｆの重みＲ_ｆ（ｋ）を算出する。重みは、利用者音声が含まれず、かつ残留エコーが生じる蓋然性の高い周波数帯域には小さな値を、それ以外の周波数帯域には大きな値を付与する。

重み付与部１０２は、まず、１６０００Ｈｚのサンプリング周波数で取得した第２の音響信号ｅ（ｔ）および複数チャンネルのシステム音ｘ_１（ｔ）〜ｘ_ｎ（ｔ）を、フレーム長２５ｍｓ（４００サンプル）、間隔８ｍｓ（１２８サンプル）のフレームにそれぞれ分割する。フレーム分割にはハミング窓を使用できる。次に、各フレームに対して、１１２点の零詰めを行った後、５１２点の離散フーリエ変換を適用して第２の音響信号ｅ（ｔ）のパワースペクトルＥ_ｆ（ｋ）と複数チャンネルのシステム音ｘ_１（ｔ）〜ｘ_ｎ（ｔ）のパワースペクトルＸ_１ｆ（ｋ）〜をＸ_ｎｆ（ｋ）求める。そして、得られたパワースペクトルＥ_ｆ（ｋ）およびＸ_１ｆ（ｋ）〜Ｘ_ｎｆ（ｋ）を（３）式と同様な方法で平滑化した平滑化パワースペクトルＥ’_ｆ（ｋ）およびＸ’_１ｆ（ｋ）〜Ｘ’_ｎｆ（ｋ）を生成する。

次に、重み付与部１０２は、第２の音響信号の平滑化パワースペクトルＥ’_ｆ（ｋ）を利用して、利用者音声の主要成分を含まない周波数帯域に重み−１を、それ以外の周波数帯域に重み１を付与する。具体的には、第２の音響信号の平滑化パワースペクトルＥ’_ｆ（ｋ）と第２の閾値ＴＨ_Ｅ（ｋ）を比較して、（１２）式により重みを付与する。

第２の閾値ＴＨ_Ｅ（ｋ）は、利用者の音声が含まれる周波数帯域の検出に適した大きさが必要である。例えば、第２の閾値ＴＨ_Ｅ（ｋ）を第２の音響信号の無音区間（例えば、起動直後の100msec区間など）のパワーより大きな値に設定することができる。

次に、重み付与部１０２は、複数チャンネルのシステム音の平滑化パワースペクトルＸ_１ｆ（ｋ）〜Ｘ_ｎｆ（ｋ）を利用して、利用者音声の主要な成分が含まれていない周波数帯域のうちシステム音のエコーが混入している蓋然性が高い周波数帯域（妨害主要周波数帯域）を検出する。具体的には、平滑化パワースペクトルＸ_１ｆ（ｋ）〜Ｘ_ｎｆ（ｋ）をチャンネル順に解析して、パワーの大きな周波数帯域を妨害主要周波数帯域として検出し、重み０を付与する。妨害主要周波数帯域では、スピーカ１３０−１〜１３０−ｎから出力されたシステム音のパワーが大きくなる。したがって、この周波数帯域に残留エコーが含まれる蓋然性が高い。重み付与部１０２は、（１２）式での重み付与結果Ｒ_ｆ（ｋ）が−１となっている周波数帯域について、平滑化パワースペクトルＸ_１ｆ（ｋ）〜Ｘ_ｎｆ（ｋ）と第１の閾値ＴＨ_Ｘ（ｋ）を比較し、（１３）式により重みＲ_ｆ（ｋ）を更新する。

ここで、ｃはチャンネル番号ｃ（１≦ｃ≦ｎ）を表している。第１の閾値ＴＨ_Ｘ（ｋ）は、（１４）式のように、全チャンネルの各フレームにおける平均パワー値とすることができる。

重み付与部１０２は、（１５）式の処理をチャンネル番号の例えば昇順（ｃ＝１から初めてｃ＝ｎまで）に行うことで、既に妨害主要周波数として検出されている（Ｒ_ｆ（ｋ）＝０となっている）周波数帯域に対する閾値処理はスキップされる。

最後に、重み付与部１０２は、（１５）式によりＲ_ｆ（ｋ）＝−１となっている重みをＲ_ｆ（ｋ）＝１に置き換える。

Ｒ_ｆ（ｋ）は最終的に０か１の値を持つ。Ｒ_ｆ（ｋ）＝０となる周波数帯域が、利用者音声の主要な成分は含まれないが妨害音が含まれる蓋然性が高い妨害主要周波数帯域である。本実施形態の重み付与部１０２は、システム音を構成する各チャンネルの音響信号のパワースペクトルを利用して、周波数帯域別の重みを付与している。これにより、複数チャンネルのシステム音の主要な成分を考慮した重みを付与することができる。

次に、ステップＳ４１３では、第１の実施形態と同様に、重み付与部１０２で得られた周波数帯域別の重みＲ_ｆ（ｋ）が０となる周波数帯域における周波数スペクトルを除外して、第２の音響信号ｅ（ｔ）から利用者の音声らしさを表す特徴量を抽出する。ステップ４１３からステップＳ４１５までの処理は、第１の実施形態のステップＳ４０４からステップＳ４０６までの処理と同様であるため、説明を省略する。

（効果）
このように、本実施形態にかかる音声判別装置は、システム音を構成する各チャンネルの音響信号のパワースペクトルおよび利用者音声を含む音響信号のパワースペクトルを利用して、周波数帯域別の重みを付与している。これにより、複数チャンネルのシステム音および利用者音声の主要な成分を考慮した重みを付与することができる。

また、本実施形態にかかる音声判別装置は、複数チャンネルのシステム音および利用者音声の主要な成分を考慮した重みを利用して特徴量を抽出している。これにより、利用者音声が含まれず、かつ残留エコーが生じる蓋然性の高い周波数帯域における周波数スペクトルの影響を低減した特徴量を抽出することができる。

以上述べた少なくとも一つの実施形態の音声判別装置によれば、複数チャンネルのシステム音を利用して周波数帯域別の重みを付与している。これにより、複数チャンネルのシステム音の主要な成分を考慮した重みを付与することができる。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１００、２００ 音声判別装置
１０１、２２３ モノラル化部
１０２ 重み付与部
１０３ 特徴抽出部
１０４ 音声／非音声判別部
１１０ 音声認識部
１２０、２２０、２２０−ａ、２２０−ｂ エコーキャンセル部
１２２、２２２−１〜２２２−ｎ 減算部
１２１、２２１−１〜２２１−ｎ 適応フィルタ
１３０ マイクロホン
１４０−１〜１４０−ｎ スピーカ

Claims (9)

1. 複数チャンネルのシステム音を複数のスピーカから再生した再生音およびユーザの音声を含んだ第１の音響信号について音声／非音声を判別する音声判別装置であって、
   少なくとも前記複数チャンネルのシステム音に基づいて、周波数帯域別の重みを付与する重み付与手段と、
   前記重み付与手段で付与された周波数帯域別の重みを利用して、前記第１の音響信号に含まれる前記再生音を抑圧した第２の音響信号から特徴量を抽出する特徴抽出手段と、
   前記特徴抽出手段で抽出された特徴量に基づいて、前記第１の音響信号について音声／非音声を判別する音声／非音声判別手段と、
   を備え、
   前記複数チャンネルのシステム音をモノラル化した第３の音響信号を生成するモノラル化手段を更に備え、
   前記重み付与手段が、前記モノラル化手段で生成された第３の音響信号の周波数スペクトルの大きさに基づいて、周波数帯域別の重みを付与する音声判別装置。
2. 前記第１の音響信号に含まれる前記再生音を抑圧して第２の音響信号を生成するエコーキャンセル手段を更に備え、
   前記特徴抽出手段が、前記エコーキャンセル手段で生成された第２の音響信号から特徴量を抽出する請求項１記載の音声判別装置。
3. 前記重み付与手段が、前記第３の音響信号の周波数スペクトルの大きさが第１の閾値より大きくなるような周波数帯域に予め決められた所定の重みを付与し、
   前記特徴抽出手段が、前記重み付与手段で所定の重みが付与された周波数帯域における周波数スペクトルを除外して特徴量を抽出する請求項１記載の音声判別装置。
4. 前記重み付与手段が、前記第３の音響信号の周波数スペクトルの大きさが第１の閾値より大きく、かつ、前記第２の音響信号の周波数スペクトルの大きさが第２の閾値より小さくなるような周波数帯域に予め決められた所定の重みを付与し、
   前記特徴抽出手段が、前記重み付与手段で所定の重みが付与された周波数帯域における周波数スペクトルを除外して特徴量を抽出する請求項１記載の音声判別装置。
5. 前記重み付与手段が、前記第３の音響信号の周波数スペクトルの大きさが大きくなるに従って小さくなるような重みを周波数帯域に付与し、
   前記特徴抽出手段が、前記重み付与手段で付与された周波数帯域の重みが小さくなるに従って当該周波数帯域における周波数スペクトルが特徴量に寄与する度合を小さくする請求項１記載の音声判別装置。
6. 前記重み付与手段が、前記システム音を構成する各チャンネルにおける周波数スペクトルの大きさに基づいて、周波数帯域別の重みを付与する請求項１乃至請求項２に記載の音声判別装置。
7. 前記重み付与手段が、前記システム音を構成するいずれかのチャンネルの周波数帯域における周波数スペクトルが第１の閾値より大きく、かつ、前記第２の音響信号の当該周波数帯域における周波数スペクトルの大きさが第２の閾値より小さくなるような周波数帯域に予め決められた所定の重みを付与し、
   前記特徴抽出手段が、前記重み付与手段で所定の重みが付与された周波数帯域における周波数スペクトルを除外して特徴量を抽出する請求項６記載の音声判別装置。
8. 複数チャンネルのシステム音を複数のスピーカから再生した再生音およびユーザの音声を含んだ第１の音響信号について音声／非音声を判別する音声判別方法であって、
   少なくとも前記複数チャンネルのシステム音に基づいて、周波数帯域別の重みを付与する重み付与工程と、
   前記重み付与工程で付与された周波数帯域別の重みを利用して、前記第１の音響信号に含まれる前記再生音を抑圧した第２の音響信号から特徴量を抽出する特徴抽出工程と、
   前記特徴抽出工程で抽出された特徴量に基づいて、前記第１の音響信号について音声／非音声を判別する音声／非音声判別工程と、
   を備え、
   前記複数チャンネルのシステム音をモノラル化した第３の音響信号を生成するモノラル化工程を更に備え、
   前記重み付与工程が、前記モノラル化工程で生成された第３の音響信号の周波数スペクトルの大きさに基づいて、周波数帯域別の重みを付与する音声判別方法。
9. 複数チャンネルのシステム音を複数のスピーカから再生した再生音およびユーザの音声を含んだ第１の音響信号について音声／非音声を判別する音声判別装置に、
   少なくとも前記複数チャンネルのシステム音に基づいて、周波数帯域別の重みを付与する重み付与工程と、
   前記重み付与工程で付与された周波数帯域別の重みを利用して、前記第１の音響信号に含まれる前記再生音を抑圧した第２の音響信号から特徴量を抽出する特徴抽出工程と、
   前記特徴抽出工程で抽出された特徴量に基づいて、前記第１の音響信号について音声／非音声を判別する音声／非音声判別工程と、
   を実現させ、
   前記複数チャンネルのシステム音をモノラル化した第３の音響信号を生成するモノラル化工程を更に実現させ、
   前記重み付与工程が、前記モノラル化工程で生成された第３の音響信号の周波数スペクトルの大きさに基づいて、周波数帯域別の重みを付与するための音声判別プログラム。

Images