JP5874344B2 - 音声判定装置、音声判定方法、および音声判定プログラム - Google Patents

Description

本発明は、入力信号の音声区間を検出する音声判定装置、音声判定方法および、音声判定プログラムに関する。

音声を収音して生成した信号である入力信号には、音声が含まれる音声区間と、会話の合間や息継ぎ等により音声が含まれない非音声区間がある。例えば、音声認識装置では、音声区間と非音声区間とを特定することで、音声の認識率の向上、および、音声認識処理の効率化を図っている。また、携帯電話や無線機等を利用した移動体通信では、音声区間と非音声区間で、入力信号の符号化処理を切り替えることにより、音質を維持しつつ、圧縮率や転送効率を高めることができる。このような移動体通信では、リアルタイム性が要求されるため、音声区間の判定処理による音声の遅延を抑えることが望まれる。

上述した遅延を抑えた音声区間の判定処理として、例えば、入力信号のフレームの周波数分布の平坦度合いを示す数値が閾値以上であるか否かで、音声区間を検出したり（例えば、特許文献１）、入力信号のフレームにケプストラム法を用いて倍音成分を最も多く含む基本波を示す情報である調波情報を導出し、その調波情報と、そのフレームのエネルギーが閾値以上か否かを示すパワー情報とがそれぞれ音声の特徴を示すか否かで音声区間を検出したり（例えば、特許文献２）する技術が提案されている。

特開２００４−２７２０５２号公報 特開２００９−２９４５３７号公報

しかし、上述した特許文献１、２等の従来の音声区間の検出技術は、ノイズが比較的小さい環境では有効であるが、ノイズが大きくなると、入力信号のフレームの周波数分布の平坦さ（ピークの頻度）、ピッチ（音高）等の音声の性質が、ノイズに埋もれてしまい、音声区間の誤検出が生じ易くなる。

また、ケプストラム法は、フーリエ変換を２回も行う必要があり、周波数領域上の処理負荷が高いため電力消費が多くなる。そのため、特に、移動体通信のようにバッテリ駆動を前提とする場合、ケプストラム法を用いると、電力消費を賄うため、バッテリの容量を大きくする必要があり、高コスト化や大型化を招いてしまう。

そこで本発明は、このような課題に鑑み、ノイズレベルに拘らず、入力信号の音声区間を検出することが可能な、音声判定装置、音声判定方法、および音声判定プログラムを提供することを目的としている。

上記課題を解決するために、本発明の音声判定装置は、入力信号を予め定められた時間幅を有するフレーム単位で切り出し、フレーム化入力信号を生成するフレーム化部と、フレーム化入力信号を、時間領域から周波数領域に変換して、周波数毎のスペクトルを集めたスペクトルパターンを生成するスペクトル生成部と、スペクトルパターンの各スペクトルのエネルギーと、予め定められた帯域幅で分割された周波数帯域である複数の分割周波数帯域のうちスペクトルが含まれる分割周波数帯域における帯域別エネルギーとのエネルギー比が、予め定められた第１閾値を超えるか否かを判定するピーク検出部と、ピーク検出部の判定結果に基づいて、フレーム化入力信号が音声であるか否か判定する音声判定部と、音声判定部が音声でないと判定した場合には、スペクトルパターンの各分割周波数帯域におけるスペクトルの周波数方向の平均エネルギーを導出し、音声判定部が音声であると判定した場合には、スペクトルパターンの各分割周波数帯域におけるスペクトルから、エネルギー比が第１閾値を超えたスペクトル、または、エネルギー比が第１閾値を超えたスペクトルとスペクトルに隣接するスペクトルとを除外して、周波数方向の平均エネルギーを導出する周波数平均部と、分割周波数帯域毎に、平均エネルギーの時間方向の平均である帯域別エネルギーを導出する時間平均部と、を備えることを特徴とする。

音声判定部は、エネルギー比が第１閾値を超えるスペクトルが予め定められた数以上であると、フレーム化入力信号が音声であると判定してもよい。

スペクトル生成部は、少なくとも２００Ｈｚから７００Ｈｚのスペクトルパターンを生成してもよい。

予め定められた帯域幅は、１００Ｈｚから１５０Ｈｚまでの帯域幅であってもよい。

上記課題を解決するために、本発明の音声判定方法は、入力信号を予め定められた時間幅を有するフレーム単位で切り出し、フレーム化入力信号を生成するフレーム化ステップと、フレーム化入力信号を、時間領域から周波数領域に変換して、周波数毎のスペクトルを集めたスペクトルパターンを生成するスペクトル生成ステップと、スペクトルパターンの各スペクトルのエネルギーと、予め定められた帯域幅で分割された周波数帯域である複数の分割周波数帯域のうちスペクトルが含まれる分割周波数帯域における帯域別エネルギーとのエネルギー比が、予め定められた第１閾値を超えた場合、フレーム化入力信号が音声であると判定する音声判定ステップと、音声判定ステップで音声でないと判定した場合には、スペクトルパターンの各分割周波数帯域におけるスペクトルの周波数方向の平均エネルギーを導出し、音声判定ステップで音声であると判定した場合には、スペクトルパターンの各分割周波数帯域におけるスペクトルから、エネルギー比が第１閾値を超えたスペクトル、または、エネルギー比が第１閾値を超えたスペクトルとスペクトルに隣接するスペクトルとを除外して、周波数方向の平均エネルギーを導出する周波数平均ステップと、分割周波数帯域毎に、平均エネルギーの時間方向の平均である帯域別エネルギーを導出する時間平均ステップとを有することを特徴とする。
上記課題を解決するために、本発明の音声判定プログラムは、入力信号を予め定められた時間幅を有するフレーム単位で切り出し、フレーム化入力信号を生成するフレーム化ステップと、フレーム化入力信号を、時間領域から周波数領域に変換して、周波数毎のスペクトルを集めたスペクトルパターンを生成するスペクトル生成ステップと、スペクトルパターンの各スペクトルのエネルギーと、予め定められた帯域幅で分割された周波数帯域である複数の分割周波数帯域のうちスペクトルが含まれる分割周波数帯域における帯域別エネルギーとのエネルギー比が、予め定められた第１閾値を超えた場合、フレーム化入力信号が音声であると判定する音声判定ステップと、音声判定ステップで音声でないと判定した場合には、スペクトルパターンの各分割周波数帯域におけるスペクトルの周波数方向の平均エネルギーを導出し、音声判定ステップで音声であると判定した場合には、スペクトルパターンの各分割周波数帯域におけるスペクトルから、エネルギー比が第１閾値を超えたスペクトル、または、エネルギー比が第１閾値を超えたスペクトルとスペクトルに隣接するスペクトルとを除外して、周波数方向の平均エネルギーを導出する周波数平均ステップと、分割周波数帯域毎に、平均エネルギーの時間方向の平均である帯域別エネルギーを導出する時間平均ステップとをコンピュータに実行させることを特徴とする。

以上説明したように本発明では、ノイズレベルに拘らず、入力信号の音声区間を検出することが可能となる。

音声を示す時間波形図である。 音声のフォルマント表示図である。 ノイズが比較的多い環境における音声を示す時間波形図である。 ノイズが比較的多い環境における音声のフォルマント表示図である。 音声判定装置の概略的な機能を示した機能ブロック図である。 音声判定方法の処理の流れを示すフローチャートである。

以下に添付図面を参照しながら、本発明の好適な実施形態について詳細に説明する。かかる実施形態に示す寸法、材料、その他具体的な数値等は、発明の理解を容易とするための例示にすぎず、特に断る場合を除き、本発明を限定するものではない。なお、本明細書及び図面において、実質的に同一の機能、構成を有する要素については、同一の符号を付することにより重複説明を省略し、また本発明に直接関係のない要素は図示を省略する。

従来の音声区間の検出技術では、音声に対して、音声を収音する対象となる範囲におけるノイズである周囲ノイズ（雑音）が大きくなると、音声特性の検出が困難になり、音声区間の誤検出が生じてしまう場合がある。例えば、交通量の多い交差点、作業中の工事現場、および操業中の工場内等において、携帯電話や無線機等の移動体通信機器を用いて会話する場合、音声区間の判定が正しく行われないことがある。そのため、音声符号化処理において、音声区間を非音声区間と誤判定して、音声区間の入力信号の情報を圧縮し過ぎたり、非音声区間を音声区間と誤判定して効率的な符号化がなされなかったりして、音質の劣化を招き会話に支障をきたすことがあった。また、符号化回路を用いない場合であっても、ノイズキャンセル等の機能を有する移動体通信機器において、音声であるか否かの誤判定が生じると、正常にノイズをキャンセルできず、受話側が非常に聞き取り難い状況になっていた。

図１は、音声を示す時間波形図であり、図２は、図１に示す音声のフォルマント表示図である。また、図３は、ノイズが比較的多い環境における音声を示す時間波形図であり、図４は、図３に示す音声のフォルマント表示図である。図１、３における縦軸はエネルギー（ｄＢ）を、横軸は時間（ｓ）を示し、図２、４における縦軸は周波数（Ｈｚ）を、横軸は時間（ｓ）を示す。図１の時間軸は図２の時間軸に対応し、図３の時間軸は図４の時間軸に対応している。

図１に示す音声のみの時間波形を、図２のようにフォルマント表示図に表わすと、音声の特徴である縞模様を容易に観察することができる。しかし、図３に示すように、音声に周囲ノイズが加わった場合、その時間波形を図４のようにフォルマント表示すると、音声の特徴である縞模様の濃淡の規則性が崩れ、縞模様を識別し難くなる。このように周囲ノイズが大きい場合、ケプストラム法や単にスペクトルピークを検出する従来の音声区間の検出技術を用いても、音声の特徴が周囲ノイズに埋もれてしまい、音声区間を検出することができない場合があった。

また、移動体通信では、音声区間の判定処理による遅延を抑えることが望まれる。したがって、音声の特徴を検出し易くするための、周波数解析結果を数フレームに渡って加算する時間方向への重加算処理や、解析範囲の広い処理、例えば音節や文節に対するパターン認識を利用した処理、および時間領域のサンプルが長時間分必要な自己相関を用いた処理等は、遅延を招き適当ではない。

さらに、移動体通信のようにバッテリ駆動を前提とするシステムでは、低消費電力であることが望まれる。特に、デジタル無線では、遅延の少なさ、低処理負荷、エネルギーが高レベルなノイズの抑制が求められる。しかし、ケプストラム法は、比較的処理負荷が大きく電力消費が多くなってしまい、高コスト化や大型化を招く。

そこで、本実施形態では、ノイズレベルに拘らず、入力信号の音声区間を検出できる音声判定装置について詳述し、続いて、その音声判定装置を用いた音声判定方法について説明する。

（音声判定装置１００）
図５は、音声判定装置１００の概略的な構成を説明するための機能ブロック図である。音声判定装置１００は、フレーム化部１２０と、スペクトル生成部１２２と、帯域分割部１２４と、周波数平均部１２６と、保持部１２８と、時間平均部１３０と、ピーク検出部１３２と、音声判定部１３４と、を含んで構成される。

フレーム化部１２０は、収音装置２００が、音声を収音しデジタル信号に変換した入力信号を、予め定められた時間幅を有するフレーム単位（所定サンプル数長）で順次切り出し、フレーム単位の入力信号（以下、単に「フレーム化入力信号」と称す）を生成する。また、収音装置２００から入力される入力信号がアナログ信号である場合、フレーム化部１２０の前段にＡＤコンバーターを配置しデジタル信号に変換するとしてもよい。そして、フレーム化部１２０は、生成したフレーム化入力信号を順次、スペクトル生成部１２２に送信する。

スペクトル生成部１２２は、フレーム化部１２０から受信したフレーム化入力信号の周波数分析を行い、時間領域のフレーム化入力信号を周波数領域のフレーム化入力信号に変換して、スペクトルを集めたスペクトルパターンを生成する。スペクトルパターンは、所定の周波数帯域に渡って、周波数とその周波数におけるエネルギーとが対応付けられた周波数毎のスペクトルを集めたものである。ここで用いられる周波数変換法は、特定の手段に限定しないが、音声のスペクトルを認識するために必要な周波数分解能が必要であるため、比較的分解能が高いＦＦＴ（Fast Fourier Transform）やＤＣＴ（Discrete Cosine Transform）等の直交変換法を用いるとよい。

本実施形態において、スペクトル生成部１２２は、少なくとも２００Ｈｚから７００Ｈｚのスペクトルパターンを生成する。

後述する音声判定部１３４が音声区間を判定する際に検出する対象である、音声の特徴を示すスペクトル（以下、フォルマントと称す）には、通常、基音に相当する第１フォルマントから、その倍音部分である第ｎフォルマント（ｎは自然数）まで複数ある。このうち、第１フォルマントや第２フォルマントは２００Ｈｚ未満の周波数帯域に存在することが多い。しかし、この帯域には、低域ノイズ成分が比較的高いエネルギーで含まれているため、フォルマントが埋没し易い。また７００Ｈｚ以上のフォルマントは、フォルマント自体のエネルギーが低いため、やはりノイズ成分に埋没し易い。そのため、ノイズ成分に埋没し難い２００Ｈｚから７００Ｈｚのスペクトルパターンを音声区間の判定に用いることで、判定対象を絞り、効率的に音声区間の判定を行うことができる。

スペクトル生成部１２２によって生成されたスペクトルパターンは、帯域分割部１２４とピーク検出部１３２に送られる。

帯域分割部１２４は、適切な周波数帯域単位で音声に特徴的なスペクトルを検出するため、スペクトルパターンを、予め定められた帯域幅で分割された周波数帯域である複数の分割周波数帯域に分割する。

本実施形態において、予め定められた帯域幅は、１００Ｈｚから１５０Ｈｚまでの帯域幅とする。例えば、分割周波数帯域はスペクトル１０本前後の帯域幅となる。

音声の第１フォルマントは、およそ１００Ｈｚから１５０Ｈｚ程度の周波数で検出され、他のフォルマントはその倍音成分であるため、その倍数の周波数で検出される。そのため、分割周波数帯域を１００Ｈｚから１５０Ｈｚの帯域幅とすることで、音声区間において、それぞれの分割周波数帯域に大凡一つずつフォルマントを含むようになり、各分割周波数帯域で適切に音声区間の判定ができる。これよりも分割周波数帯域の帯域幅を大きくすると、１つの分割周波数帯域に音声のエネルギーのピークが複数含まれる可能性があり、音声の特徴としてピークが複数の帯域で検出されるべきところ、１つにまとめて検出されてしまい、音声区間の判定の精度の低下を招く。逆に、分割周波数帯域の帯域幅を小さくしても、音声区間の判定の精度は向上せず、処理負荷のみが大きくなってしまう。

周波数平均部１２６は、分割周波数帯域毎の平均エネルギーを求める。本実施形態では、周波数平均部１２６は、分割周波数帯域毎に、分割周波数帯域におけるすべてのスペクトルのエネルギーを平均するが、演算負荷軽減のためスペクトルのエネルギーの代わりにスペクトルの最大または平均振幅値（絶対値）を代用してもよい。

保持部１２８は、ＲＡＭ（Random Access Memory）、ＥＥＰＲＯＭ（Electrically Erasable and Programmable Read Only Memory）、フラッシュメモリ等の記憶媒体で構成され、帯域毎の平均エネルギーを過去の予め定められた数（本実施形態においてはＮとする）のフレーム分保持する。

時間平均部１３０は、分割周波数帯域毎に、周波数平均部１２６で導出された平均エネルギーの時間方向の複数のフレームに渡る平均である帯域別エネルギーを導出する。すなわち、帯域別エネルギーは、分割周波数帯域毎の平均エネルギーの時間方向の複数のフレームに渡る平均値である。本実施形態において、帯域別エネルギーは、帯域毎のノイズのエネルギーの水準であるノイズレベルとみなす。帯域別エネルギーを平均エネルギーの時間方向の平均とすることで急激な変動を抑え時間方向に平滑化できる。具体的に、時間平均部１３０は、以下の数式１に示す計算を行う。

…（数式１）
Ｅａｖｒ：平均エネルギーのＮフレーム間における平均値
Ｅ（ｉ）：フレーム毎の平均エネルギー

また、時間平均部１３０は、直前のフレームの分割周波数帯域毎の平均エネルギーに、重み付け係数と時定数を用いて平均化に準じる処理をして、帯域別エネルギーの代用値を求めてもよい。その場合、時間平均部１３０は、以下の数式２、３に示す計算を行う。

…（数式２）
Ｅａｖｒ２：帯域別エネルギーの代用値
Ｅ＿ｌａｓｔ：直前のフレームにおける帯域別エネルギー
Ｅ＿ｃｕｒ：該当フレームにおける平均エネルギー
ただし、音声区間の判定対象となっているフレームを該当フレームと称する。

α：Ｅ＿ｌａｓｔの重み付け係数
β：Ｅ＿ｃｕｒの重み付け係数
Ｔ：時定数
…（数式３）

帯域別エネルギー（帯域毎のノイズレベル）は定常的な値であるため、該当フレームに即座に反映しなくてもよい。また、後述する音声判定部１３４が音声であると判定したフレーム化入力信号について、時間平均部１３０はその音声のエネルギーを帯域別エネルギーに反映しない場合や、反映の度合いを調整する場合がある。そのため、帯域別エネルギーを即座に反映せずに、音声判定部１３０の判定結果を待って、反映することとする。したがって、時間平均部１３０が導出した帯域別エネルギーは、該当フレームの次のフレームの判定処理に用いることとなる。

ピーク検出部１３２は、スペクトルパターンの各スペクトルと、そのスペクトルが含まれる分割周波数帯域における帯域別エネルギーとのエネルギー比（ＳＮＲ：Signal to Noise Ratio）を導出する。

具体的に、ピーク検出部１３２は、該当フレームの直前のフレームの帯域別の平均エネルギーを反映した帯域別エネルギーを用いて、以下の数式４に示す計算を行い、スペクトル毎にＳＮＲを導出する。

…（数式４）
ＳＮＲ：信号対ノイズ比（スペクトルのエネルギー対帯域別エネルギー比）
Ｅ＿ｓｐｅｃ：スペクトルのエネルギー
Ｎｏｉｓｅ＿Ｌｅｖｅｌ：帯域別エネルギー（帯域毎のノイズレベル）

例えばＳＮＲが２となったスペクトルは、周囲の平均的なスペクトルに対して約６ｄＢ程度のゲインを有しているとわかる。

そして、ピーク検出部１３２は、スペクトル毎のＳＮＲと、予め定められた第１閾値とを比較し、第１閾値を超えるか否かを判定する。そして、ＳＮＲが第１閾値を超えるスペクトルがあると、このスペクトルをフォルマントとみなし、フォルマントが検出された旨を示す情報を、音声判定部１３４に出力する。

音声判定部１３４は、フォルマントが検出されたという情報をピーク検出部１３２から受け付けると、ピーク検出部１３２の判定結果に基づいて、該当フレームのフレーム化入力信号が音声であるか否か判定する。より詳しくは、音声判定部１３４は、ＳＮＲが第１閾値を超えるスペクトルが予め定められた数（以下、第１所定数と称す）以上であると、フレーム化入力信号が音声であると判定する。

スペクトルパターンの全周波数帯域について、一括りに導出され、かつ、時間方向に平均化された平均エネルギーをノイズレベルとすると、仮に、ノイズレベルが小さい帯域にスペクトルピークがあり、本来、音声と判定すべきスペクトルがあっても、そのスペクトルと平均化された高いノイズレベルと比較して音声ではないと判定してしまい、そのフレーム化入力信号を非音声区間であると誤判定してしまう場合がある。本実施形態の音声判定装置１００は、分割周波数帯域毎に、その分割周波数帯域の帯域別エネルギーを設定している。そのため、音声判定部１３４は、他の分割周波数帯域のノイズ成分の影響を受けずに、それぞれの分割周波数帯域毎にフォルマントの有無を精度よく判定することができる。

また、分割周波数帯域におけるスペクトルの周波数方向の平均エネルギーを用いて、次のフレームの処理で用いる帯域別エネルギーを更新するフィードバック構造をとることで、時間方向に平均化されたエネルギー、即ち、定常的なノイズのエネルギーを帯域別エネルギーとすることが可能となる。

上述したように、フォルマントには、第１フォルマントから、その倍音部分である第ｎフォルマントまで複数ある。したがって、任意の分割周波数帯域の帯域別エネルギー（ノイズレベル）が上昇し、フォルマントの一部がノイズに埋没しても、他の複数のフォルマントを検出できる場合がある。特に、周囲ノイズは低域に集中するため、基音に相当する第１フォルマントや２倍音に相当する第２フォルマントが低域のノイズに埋没していても、３倍音以上のフォルマントを検出できる可能性がある。そこで、音声判定部１３４は、ＳＮＲが第１閾値を超えるスペクトルが第１所定数以上であると、フレーム化入力信号が音声であると判定することで、よりノイズに強い音声区間の判定を行うことができる。

また、ピーク検出部１３２は、上述した第１閾値を、帯域別エネルギーや分割周波数帯域に応じて制御してもよい。具体的には、ピーク検出部１３２は、例えば、分割周波数帯域、帯域別エネルギーの範囲、および第１閾値を関連付けたテーブルを保持し、分析対象のスペクトルの分割周波数帯域と帯域別エネルギーに応じて、テーブルから取得した第１閾値を用いてもよい。こうすることで、分割周波数帯域や帯域別エネルギーの値に応じて適切に音声とみなせるスペクトルを判定することが可能となり、より確実な音声区間の判定を行うことができる。

また、ピーク検出部１３２は、ＳＮＲが第１閾値を超えるスペクトルが予め定められた数（第１所定数）以上に達した時点で、そのフレームの残りのスペクトルのＳＮＲの導出およびＳＮＲと第１閾値との比較処理を行わないこととしてもよい。こうすることで、ピーク検出部１３２の処理負荷を低減することが可能となる。

さらに、音声区間の判定の信頼性を上げるために、音声判定部１３４における処理の結果を時間平均部１３０に出力し、帯域別エネルギーへの音声による影響を回避してもよい。

すなわち、ＳＮＲが第１閾値を超えたスペクトルは、フォルマントの可能性が高い。また、音声は声帯の振動を伴うため中心周波数をピークとしながらそのエネルギー成分が隣接するスペクトルにも存在する。そのため、その前後のスペクトルにも、音声のエネルギー成分が含まれている可能性が高い。時間平均部１３０は、これらのスペクトルを一度に除外し、帯域別エネルギーを導出することで、音声の影響を排除できる。さらに、音声区間中において、突発的に生じた急激な変動を伴うノイズが含まれる場合、このノイズのスペクトルを帯域別エネルギーの導出に加味すると、ノイズレベルの推定に支障をきたす。したがって、時間平均部１３０は、このようなノイズも、ＳＮＲが第１閾値を超えたスペクトルやその前後のスペクトルとして検出し、除外することができる。

具体的に、音声判定部１３４は、ＳＮＲが第１閾値を超えたスペクトルを示す情報を時間平均部１３０に出力し、時間平均部１３０は、ＳＮＲが第１閾値を超えたスペクトルを含む分割周波数帯域の平均エネルギー、または、ＳＮＲが第１閾値を超えたスペクトルを含むフレーム化入力信号のすべての分割周波数帯域の平均エネルギーに、１以下の調整値を乗算したエネルギーに基づいて分割周波数帯域毎に帯域別エネルギーを導出してもよい。

音声はノイズに比べてエネルギーが比較的大きいため、音声のエネルギーを加味して帯域別エネルギーを導出すると、本来の帯域別エネルギーを適切に導出することができなくなってしまう。そこで、時間平均部１３０は、音声判定部１３４が第１閾値を超えたと判定した、即ち、音声と判定した分割周波数帯域またはフレーム化入力信号のすべての分割周波数帯域の平均エネルギーに、１以下の調整値を乗算した上で、帯域別エネルギーを導出することで、音声の影響を低減し、帯域別エネルギーを適切に導出することが可能となる。

この場合、音声判定部１３４は、１以下の調整値として所定の値を用いることもできるが、例えば、平均エネルギーの大きさの範囲と、１以下の調整値とを関連付けたテーブルを保持し、平均エネルギーの大きさに応じて、テーブルから取得した調整値を用いてもよい。かかる構成により、音声判定部１３４は、音声のエネルギーの大きさに応じて平均エネルギーを適切に低減できる。

また、音声区間中の周囲ノイズの大きさの変動に対応し、音声区間中のノイズ成分を帯域別エネルギーに反映するために、次のような手段を用いてもよい。

詳細に、周波数平均部１２６は、ＳＮＲが第１閾値を超えたスペクトル、または、ＳＮＲが第１閾値を超えたスペクトルとそのスペクトルに隣接するスペクトルとを除外して平均エネルギーを導出する。

具体的に、音声判定部１３４は、ＳＮＲが第１閾値を超えたスペクトルを示す情報を周波数平均部１２６に出力し、周波数平均部１２６は、ＳＮＲが第１閾値を超えたスペクトル、または、ＳＮＲが第１閾値を超えたスペクトルとそのスペクトルに隣接するスペクトルを除外した、残りのスペクトルについて、分割周波数帯域毎に平均エネルギーを導出して保持部１２８に保持させる。そして、時間平均部１３０は、保持部１２８に保持された平均エネルギーに基づいて帯域別エネルギーを導出する。

この実施例において、音声判定部１３４は、ＳＮＲが第１閾値を超えたスペクトルを示す情報を周波数平均部１２６に出力する。周波数平均部１２６は、音声判定部１３４からＳＮＲが第１閾値を超えたスペクトルを示す情報を受け取る。周波数平均部１２６は、ＳＮＲが第１閾値を超えたスペクトル、または、ＳＮＲが第１閾値を超えたスペクトルとそのスペクトルに隣接するスペクトルを除外した、残りのスペクトルについて、分割周波数帯域毎に平均エネルギーを導出し、保持部１２８に保持させるとともに、ＳＮＲが第１閾値を超えたスペクトルを示す情報を保持部に保持する。時間平均部１３０は、保持部１２８に保持された平均エネルギーとＳＮＲが第１閾値を超えたスペクトルを示す情報とを取得し、ＳＮＲが第１閾値を超えたスペクトルを含む分割周波数帯域の平均エネルギー、または、エネルギー比が第１閾値を超えたスペクトルを含むフレーム化入力信号のすべての分割周波数帯域の平均エネルギーを、時間方向の平均に反映しないようにして帯域別エネルギーを導出し、次のフレームまで保持する。

具体的に、時間平均部１３０は、上述した数式１を用いる場合、例えば、除外の対象となった分割周波数帯域、または除外の対象となった分割周波数帯域を含むフレーム化入力信号のすべての分割周波数帯域の平均エネルギーを含めず、以降の帯域別エネルギーを導出する。また、時間平均部１３０は、上述した数式２を用いる場合、例えば、除外の対象となった分割周波数帯域、または除外の対象となった分割周波数帯域を含むフレーム化入力信号のすべての分割周波数帯域の平均エネルギーについて、その平均エネルギーを数式２のＥ＿ｃｕｒとして代入する際、一時的にα＝Ｔ、β＝０とするとしてもよい。

上述したように、ＳＮＲが第１閾値を超えたスペクトルやその前後のスペクトルは、フォルマントの可能性が高い。ＳＮＲが第１閾値を超えたスペクトルを含む分割周波数帯域の他のスペクトルにも音声のエネルギーの影響がある場合がある。また、音声の影響は、基音や倍音として複数の分割周波数帯域に広がっているため、ＳＮＲが第１閾値を超えたスペクトルが１つでもあると、そのフレーム化入力信号の他の分割周波数帯域にも音声のエネルギー成分が含まれる場合がある。そこで、時間平均部１３０は、この分割周波数帯域を除外して、帯域別エネルギーを導出したり、フレーム化入力信号全体を除外して、このフレームでは帯域別エネルギーを更新しないこととしたりすることで、帯域別エネルギーへの音声の影響を排除できる。

さらに、平均エネルギーを時間方向の平均に反映するか否かを判定するための、第１閾値とは異なる第２閾値を設け、音声判定部１３４は、ＳＮＲが第２閾値を超えたスペクトルを示す情報を周波数平均部１２６に出力し、時間平均部１３０は、エネルギー比が第２閾値を超えたスペクトルを含む分割周波数帯域の平均エネルギー、または、エネルギー比が第２閾値を超えたスペクトルを含むフレーム化入力信号のすべての分割周波数帯域の平均エネルギーを、時間方向の平均に反映しなくてもよい。

このように、第１閾値とは異なる第２閾値を設け、音声判定部１３４は、音声の判定処理とは別に、平均エネルギーを時間方向の平均に反映するか否かを判定する。こうすることで、音声判定部１３４は、音声の判定処理と、平均エネルギーの時間方向の平均への反映処理とを独立して判定することが可能となる。

例えば、第１閾値より第２閾値を大きく設定し、分割周波数帯域毎に、音声の判定処理と平均エネルギーの時間方向の平均への反映処理とを独立して行う場合、音声判定部１３４は、エネルギー比が第１閾値より大きいスペクトルを含まない分割周波数帯域を音声でないと判定し、また、その平均エネルギーを、時間方向の平均に反映する。また、音声判定部１３４は、エネルギー比が第１閾値より大きく第２閾値以下のスペクトルを含む分割周波数帯域を音声と判定するが、その平均エネルギーは、時間方向の平均に反映する。さらに、音声判定部１３４は、エネルギー比が第２閾値より大きいスペクトルを含む分割周波数帯域を音声と判定し、その平均エネルギーを、時間方向の平均に反映しない。

また、例えば、第１閾値より第２閾値を小さく設定し、分割周波数帯域毎に、音声の判定処理と平均エネルギーの時間方向の平均への反映処理とを独立して行う場合、音声判定部１３４は、エネルギー比が第２閾値より大きいスペクトルを含まない分割周波数帯域を音声でないと判定し、また、その平均エネルギーを、時間方向の平均に反映する。また、音声判定部１３４は、エネルギー比が第２閾値より大きく第１閾値以下のスペクトルを含む分割周波数帯域を音声でないと判定するが、その平均エネルギーは、時間方向の平均に反映しない。さらに、音声判定部１３４は、エネルギー比が第１閾値より大きいスペクトルを含む分割周波数帯域を音声と判定し、その平均エネルギーを、時間方向の平均に反映しない。このように、第１閾値とは異なる第２閾値を設けることで、時間平均部１３０は、より適切に帯域別エネルギーを導出することができる。

図１に示す音声のみの時間波形図のように、音声が存在する時間帯はエネルギーが高いことがわかる。この音声のエネルギーが帯域別エネルギーに影響を与えると、実際のノイズレベルよりも高い帯域別エネルギーに基づいて音声の判定処理を行うことになり、正しい結果を得られないことがある。本実施形態の音声判定装置１００は、音声区間判定後に帯域別エネルギーへの影響度合いを制御することにより、正確な帯域別エネルギーを維持し、精度よくフォルマントを検出できる。

（音声判定方法）
次に、上述した音声判定装置１００を用いて入力信号を分析し、その分析結果を用いて入力信号が音声か否かを判定する音声判定方法を説明する。

図６は、音声判定方法の全体的な流れを示したフローチャートである。入力信号の入力がある場合（Ｓ３００におけるＹＥＳ）、フレーム化部１２０は、音声判定装置１００が取得したデジタル入力信号を、所定のフレーム単位で順次切り出し、フレーム化入力信号を生成する（Ｓ３０２）。そして、スペクトル生成部１２２は、フレーム化部１２０から受信したフレーム化入力信号の周波数分析を行い、時間領域のフレーム化入力信号を周波数領域のフレーム化入力信号に変換してスペクトルパターンを生成する（Ｓ３０４）。

帯域分割部１２４は、スペクトルパターンの各スペクトルを複数の分割周波数帯域に分割する（Ｓ３０６）。ピーク検出部１３２は、時間平均部１３０から、任意の分割周波数帯域の帯域別エネルギーを取得する（Ｓ３０８）。ここでは、例えば、分割周波数帯域の処理の順番は、周波数の小さい順とし、ピーク検出部１３２は、分割周波数帯域の処理の順番に従って、時間平均部１３０から分割周波数帯域の帯域別エネルギーを取得する。

このとき取得される帯域別エネルギーは、音声判定処理を開始後、直前のフレームについての処理において更新された帯域別エネルギーとする。この帯域別エネルギーは、音声であるか否かが判定されていないフレーム化入力信号のスペクトルのエネルギーを含むことなく、所定の時間幅で時間方向に平均化された帯域毎のノイズレベルとなっている。

直前のフレームを反映して導出した帯域別エネルギーをノイズレベルとすることで、スペクトルのエネルギーのノイズレベル比を正確に導出でき、判定対象のスペクトルが周囲のスペクトルに対しピーク特性を持つか否かを分析可能となる。

ピーク検出部１３２は、取得した帯域別エネルギーに対応する分割周波数帯域について、その分割周波数帯域の対象のスペクトルと、取得した帯域別エネルギーとのエネルギー比であるＳＮＲを導出する（Ｓ３１０）。ここで、対象のスペクトルは、まだＳＮＲを導出していないスペクトルのうち、最も周波数の小さいスペクトルとする。

そして、ピーク検出部１３２は、導出したＳＮＲと第１閾値とを比較する（Ｓ３１２）。第１閾値を超えるスペクトルがある、すなわちピーク特性を持つ場合（Ｓ３１２におけるＹＥＳ）、その旨を示す情報として、例えば、第１閾値を超えたスペクトルの周波数を示す情報をピーク検出部１３２のワークエリアに保持する（Ｓ３１４）。また、ピーク検出部１３２は、ピーク特性の大きさを数値化（モデル化）して内部のワークエリアに保持してもよい。例えば、ピーク検出部１３２は分割周波数帯域の対象のスペクトルのうちＳＮＲが高いと検出された数をカウントすることでピーク特性の大きさを数値化する。ワークエリアは一時的に検出された本数をカウント（保存）するバッファである。ピーク特性の大きさは、ＳＮＲの大きさから導出される。ピーク特性の大きさを音声区間の判定処理の基準にすると、すべてのフォルマントのうちノイズに埋没したフォルマントの占める割合が大きくとも、残された強いフォルマントを検出することで音声と判定することが可能となる。

本実施形態において、スペクトル生成部１２２が少なくとも２００Ｈｚから７００Ｈｚのスペクトルパターンを生成することとしている。しかし、例えば、スペクトル生成部１２２は２００Ｈｚから７００Ｈｚよりも広い周波数帯域のスペクトルパターンを生成し、ピーク検出部１３２の方が、スペクトルピーク分析（ＳＮＲの導出および第１閾値との比較処理）をスペクトルパターンの全帯域に渡り実行せずに、２００Ｈｚから７００Ｈｚに処理の対象となる帯域を絞って分析してもよい。

続いて、ピーク検出部１３２は、すべての分割周波数帯域についてスペクトルピーク分析が終了したか否かを判定する（Ｓ３１６）。すべての分割周波数帯域についてスペクトル分析が終了していない場合（Ｓ３１６におけるＮＯ）、ピーク検出部１３２は、次の対象のスペクトルが、直前までと同じ分割周波数帯域に含まれるか否かを判定する（Ｓ３１８）。同じ分割周波数帯域に含まれない場合（Ｓ３１８におけるＮＯ）、帯域別エネルギー取得ステップＳ３０８に戻る。同じ分割周波数帯域に含まれる場合（Ｓ３１８におけるＹＥＳ）、ＳＮＲ導出ステップＳ３１０に戻る。

すべての分割周波数帯域についてスペクトル分析が終了した場合（Ｓ３１６におけるＹＥＳ）、音声判定部１３４は、ピーク検出部１３２からスペクトルピーク分析の結果を取得し、ＳＮＲが第１閾値を超えるスペクトルが第１所定数以上であるか否かを判定する（Ｓ３２０）。

ＳＮＲが第１閾値を超えるスペクトルが第１所定数未満である場合（Ｓ３２０におけるＮＯ）、音声判定部１３４は、該当フレームのフレーム化入力信号が音声でないと判定する（Ｓ３２２）。

また、結果保持ステップＳ３１４において、ピーク検出部１３２がピーク特性の大きさを数値化して内部のワークエリアに保持している場合、音声判定部１３４は、その数値を予め定められた閾値と比較して、その閾値を超えていると該当フレームが音声であると判定してもよい。例えば、ピーク検出部１３２は分割周波数帯域の対象のスペクトルのうちＳＮＲが高いと検出された数をカウントすることでピーク特性の大きさを数値化する。ワークエリアは一時的に検出された本数をカウント（保存）するバッファである。

音声判定部１３４が、該当フレームのフレーム化入力信号は音声でないと判定した場合、周波数平均部１２６は、スペクトル生成部１２２で生成されたスペクトルパターンを用いて分割周波数帯域毎の平均エネルギーを求め（Ｓ３２４）、保持部１２８に保持させる（Ｓ３２６）。定常的なノイズといえども分析時間が短いとエネルギーの変動が現れる。そこで、帯域別エネルギーを実際のノイズレベルに近い値に保つために、分割された帯域毎に時間領域の過去の情報を用いてさらに平均化する。具体的に、時間平均部１３０は、保持部１２８に保持された平均エネルギーを取得し、分割周波数帯域毎に平均エネルギーの時間方向の複数のフレームに渡る平均である帯域別エネルギーを導出して次のフレームまで保持する（Ｓ３２８）。なお、この帯域別エネルギーは次のフレームでピーク検出部１３２が、取得する帯域別エネルギーとなる（上述したＳ３０８）。

ＳＮＲが第１閾値を超えるスペクトルが第１所定数以上である場合（Ｓ３２０におけるＹＥＳ）、音声判定部１３４は、該当フレームのフレーム化入力信号が音声であると判定する（Ｓ３３０）。そして、周波数平均部１２６は、ＳＮＲが第１閾値を超えたスペクトル、または、ＳＮＲが第１閾値を超えたスペクトルとそのスペクトルに隣接するスペクトルを除外した、残りのスペクトルについて、分割周波数帯域毎に平均エネルギーを導出し（Ｓ３３２）、保持部１２８に保持させる（Ｓ３３４）。

時間平均部１３０は、保持部１２８に保持された平均エネルギーを取得し、音声区間に対応した手段を用い帯域別エネルギーを導出して次のフレームまで保持する（Ｓ３３６）。なお、この帯域別エネルギーは次のフレームでピーク検出部１３２が、取得する帯域別エネルギーとなる（上述したＳ３０８）。

ここで、音声区間に対応した手段について詳述する。例えば、時間平均部１３０は、帯域別エネルギーに、該当フレームのエネルギーをまったく加味せず、直前のフレームの値を保持する。また、周囲ノイズの時間的な変動に追従させ、音声に重なって収録された周囲ノイズを反映させるために、時間平均部１３０は、音声と判定された分割周波数帯域またはフレーム化入力信号全体の平均エネルギーに１以下の調整値を乗算し重み付けを少なくした上で、帯域別エネルギーを導出してもよい。

さらに、時間平均部１３０は、エネルギー比が第２閾値を超えたスペクトルを含む分割周波数帯域の平均エネルギー、または、エネルギー比が第２閾値を超えたスペクトルを含むフレーム化入力信号のすべての分割周波数帯域の平均エネルギーを、時間方向の平均に反映しなくてもよい。

以上説明した音声判定方法によっても、ノイズレベルに拘らず、入力信号の音声区間を検出することが可能となる。

上述した音声判定装置１００や音声判定方法を用いて、入力信号の音声区間を検出した後、例えば、符号化処理やノイズキャンセル処理を行う場合、音声判定装置１００が音声区間を正確に判定できるため、符号化処理においては、音質の劣化を抑制しつつ圧縮率を高めることができ、ノイズキャンセル処理においては、ノイズを効率的に相殺することが可能となる。

以上、添付図面を参照しながら本発明の好適な実施形態について説明したが、本発明はかかる実施形態に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。

なお、本明細書の音声判定方法における各工程は、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はなく、並列的あるいはサブルーチンによる処理を含んでもよい。

本発明は、入力信号の音声区間を検出する音声判定装置、音声判定方法、および音声判定プログラムに利用することができる。

１００ …音声判定装置
１２０ …フレーム化部
１２２ …スペクトル生成部
１２４ …帯域分割部
１２６ …周波数平均部
１２８ …保持部
１３０ …時間平均部
１３２ …ピーク検出部
１３４ …音声判定部

Claims (6)

1. 入力信号を予め定められた時間幅を有するフレーム単位で切り出し、フレーム化入力信号を生成するフレーム化部と、
   前記フレーム化入力信号を、時間領域から周波数領域に変換して、周波数毎のスペクトルを集めたスペクトルパターンを生成するスペクトル生成部と、
   前記スペクトルパターンの各スペクトルのエネルギーと、予め定められた帯域幅で分割された周波数帯域である複数の分割周波数帯域のうち前記スペクトルが含まれる分割周波数帯域における帯域別エネルギーとのエネルギー比が、予め定められた第１閾値を超えるか否かを判定するピーク検出部と、
   前記ピーク検出部の判定結果に基づいて、前記フレーム化入力信号が音声であるか否か判定する音声判定部と、
   前記音声判定部が音声でないと判定した場合には、前記スペクトルパターンの各分割周波数帯域におけるスペクトルの周波数方向の平均エネルギーを導出し、前記音声判定部が音声であると判定した場合には、前記スペクトルパターンの各分割周波数帯域におけるスペクトルから、前記エネルギー比が前記第１閾値を超えたスペクトル、または、前記エネルギー比が前記第１閾値を超えたスペクトルと前記スペクトルに隣接するスペクトルとを除外して、周波数方向の平均エネルギーを導出する周波数平均部と、
   前記分割周波数帯域毎に、前記平均エネルギーの時間方向の平均である前記帯域別エネルギーを導出する時間平均部と、
   を備えることを特徴とする音声判定装置。
2. 前記音声判定部は、前記エネルギー比が前記第１閾値を超えるスペクトルが予め定められた数以上であると、前記フレーム化入力信号が音声であると判定することを特徴とする請求項１に記載の音声判定装置。
3. 前記スペクトル生成部は、少なくとも２００Ｈｚから７００Ｈｚのスペクトルパターンを生成することを特徴とする請求項１または２に記載の音声判定装置。
4. 前記予め定められた帯域幅は、１００Ｈｚから１５０Ｈｚまでの帯域幅であることを特徴とする請求項１から３のいずれか１項に記載の音声判定装置。
5. 入力信号を予め定められた時間幅を有するフレーム単位で切り出し、フレーム化入力信号を生成するフレーム化ステップと、
   前記フレーム化入力信号を、時間領域から周波数領域に変換して、周波数毎のスペクトルを集めたスペクトルパターンを生成するスペクトル生成ステップと、
   前記スペクトルパターンの各スペクトルのエネルギーと、予め定められた帯域幅で分割された周波数帯域である複数の分割周波数帯域のうち前記スペクトルが含まれる分割周波数帯域における帯域別エネルギーとのエネルギー比が、予め定められた第１閾値を超えた場合、前記フレーム化入力信号が音声であると判定する音声判定ステップと、
   前記音声判定ステップで音声でないと判定した場合には、前記スペクトルパターンの各分割周波数帯域におけるスペクトルの周波数方向の平均エネルギーを導出し、前記音声判定ステップで音声であると判定した場合には、前記スペクトルパターンの各分割周波数帯域におけるスペクトルから、前記エネルギー比が前記第１閾値を超えたスペクトル、または、前記エネルギー比が前記第１閾値を超えたスペクトルと前記スペクトルに隣接するスペクトルとを除外して、周波数方向の平均エネルギーを導出する周波数平均ステップと、
   前記分割周波数帯域毎に、前記平均エネルギーの時間方向の平均である前記帯域別エネルギーを導出する時間平均ステップとを有することを特徴とする音声判定方法。
6. 入力信号を予め定められた時間幅を有するフレーム単位で切り出し、フレーム化入力信号を生成するフレーム化ステップと、
   前記フレーム化入力信号を、時間領域から周波数領域に変換して、周波数毎のスペクトルを集めたスペクトルパターンを生成するスペクトル生成ステップと、
   前記スペクトルパターンの各スペクトルのエネルギーと、予め定められた帯域幅で分割された周波数帯域である複数の分割周波数帯域のうち前記スペクトルが含まれる分割周波数帯域における帯域別エネルギーとのエネルギー比が、予め定められた第１閾値を超えた場合、前記フレーム化入力信号が音声であると判定する音声判定ステップと、
   前記音声判定ステップで音声でないと判定した場合には、前記スペクトルパターンの各分割周波数帯域におけるスペクトルの周波数方向の平均エネルギーを導出し、前記音声判定ステップで音声であると判定した場合には、前記スペクトルパターンの各分割周波数帯域におけるスペクトルから、前記エネルギー比が前記第１閾値を超えたスペクトル、または、前記エネルギー比が前記第１閾値を超えたスペクトルと前記スペクトルに隣接するスペクトルとを除外して、周波数方向の平均エネルギーを導出する周波数平均ステップと、
   前記分割周波数帯域毎に、前記平均エネルギーの時間方向の平均である前記帯域別エネルギーを導出する時間平均ステップとをコンピュータに実行させることを特徴とする音声判定プログラム。

Images