JP4911034B2 - 音声判別システム、音声判別方法及び音声判別用プログラム - Google Patents

Description

本発明は音声判別システム、音声判別方法及び音声判別用プログラムに関し、特に音響信号中の音声と非音声判別に用いる音声判別システム、音声判別方法及び音声判別用プログラムに関する。

この種の従来の音声判別システムとして例えば特許文献１には、図８に示すような構成が開示されている。図８を参照すると、この従来の音声判別システムは、音響信号入力手段８１０と、特徴量抽出手段８２１と、音響スコア計算手段８２４と、尤度比計算手段８２２と、音声判別手段８２３と、音声モデル記憶手段８３１と、非音声モデル記憶手段８３２と、を備えて構成されている。図８の従来の音声判別システムの動作について概説する。

音響信号入力手段８１０によって入力された音響信号から、特徴量抽出手段８２１によって特徴量が分析される。特徴量としては、ＬＰＣ(Linear Predictive Coefficient:線形予測係数)分析に基づくケプストラムとその一次時間微分が用いられる。ケプストラムは、音響信号の周波数領域での性質、すなわち対数スペクトル包絡の形状を表現した特徴量である。特徴量の分析は、例えば３２ｍｓｅｃ毎にブロック化されたフレームに対して行われる。

音響スコア計算手段８２４は、特徴量抽出手段８２１で求められた特徴量に対して、
・音声モデル記憶手段８３１に記憶された音声モデルに対する尤度、及び、
・非音声モデル記憶手段８３２に記憶された非音声モデルに対する尤度、
をそれぞれ計算する。

なお、音声モデルは音声の信号を用いて、非音声モデルは非音声の信号を用いて、予め学習しておく。これらのモデルとしては、例えば、ＨＭＭ(Hidden Markov Model)を用いる。

尤度比計算手段８２２は、音響スコア計算手段８２４で得られた音声モデルの尤度と非音声モデルの尤度の比を計算する。

音声判別手段８２３は、尤度比計算手段８２２で計算された尤度の比が、所定のしきい値を超えた区間が、予め定められた時間継続した場合に、その区間を音声であると判別する。

この従来の音声判別システムでは、音響信号の周波数領域の性質を表現したケプストラムを特徴量とした音声と非音声のモデルを用意し、フレーム単位で両者の尤度を比較しているため、雑音にある程度頑健な音声判別が可能となる。

なお、特許文献２には、周期性のある定常信号と白色雑音的な定常雑音信号を区別して定常雑音信号区間を正確に検出する音声復号化装置として、サブフレーム内での音声信号の周期を分析して周期性が強い信号は定常母音等である（雑音ではない）可能性が高いので、定常雑音区間ではないと判断するようにした構成が開示されている。この特許文献２では、ピッチ履歴分析器は、適応符号帳から入力されたピッチ周期のサブフレーム間でのばらつきを分析し、信号の母音らしさを検知して音声であるかどうかを判定している。すなわち、特許文献２において、サブフレーム内での音声信号の周期は母音の音声波形の周期（３乃至１０ｍｓｅｃ）に対応している。また、特許文献３には、音声データから音響パラメータ（例えば１８次元のＬＰＣケプストラム、零交差数、パワー等）を抽出し、音響パラメータと、母音標準パターン格納部に格納されている母音標準パターンとに基づき母音の検出を行い、認識結果に基づいて母音、子音の順で辞書・文法格納部を探索しながら、仮説を生成し、各仮説毎に子音のスコア（尤度）を求め、各スコアに基づいて文字の選択を行い文字列データを生成する構成が開示されている。

特開平１０−２５４４７６号公報 特開２００２−２３６４９５号公報 特開平０６−２６６３８７号公報 古井貞熙著、「ディジタル音声処理」、東海大学出版会、1985年、第40頁 貴家仁志著、「ディジタル信号処理」、昭晃堂、1997年、第96-99頁

図８を参照して説明した上記従来の音声判別システムにおいては、例えば、時間的に局所的な分析で音声に近い特徴量が得られるような雑音、すなわち局所的には音声と同じような性質を示す雑音に対して、該雑音を音声であると誤判別してしまう、という問題点を有している。このような問題が生じる理由を以下に説明する。

従来の音声判別システムにおいて、音声モデルや非音声モデルの特徴量として用いられるケプストラムなどの特徴量は、一般に、音素や音節などの音声の構成単位より短い時間長で分析される。例えば、数十ｍｓｅｃ程度ごとにブロック化された短時間のフレームの分析によって特徴量が得られる。すなわち、ケプストラムなどの特徴量は、音響信号中の時間的に、局所的な性質を表しているといえる。

しかしながら、雑音の中には、局所的な分析の結果、音声から得られる特徴量に非常に近い特徴量が得られるような雑音も多数存在する。例えば、雑音を局所的に切り出して分析すると、音声である音素/a/や音素/s/などに近い特徴量が得られることはよくあることである。

その結果、フレーム単位で音声と非音声との尤度を比較する従来の音声判別システムでは、局所的な分析で音声に近い特徴量が得られる雑音が音声であると誤判別されてしまうことになる。

特許文献２には、母音が持つ信号波形レベルでの周期性を検出する構成が開示されているが、この方法も１つの母音が持っている局所的な特徴によって音声を判別しているため、局所的に音声に近い特徴を示す雑音が音声であると誤判別されてしまう問題があることに変わりはない。また、母音らしさを音響モデルから導出するという特許文献３には、音声と同じような性質を示す雑音に対して、該雑音を音声であると誤判別してしまうという課題の認識は記載されていない。

したがって、本発明は、上記課題に鑑みて創案されたものであって、その主たる目的は、時間的に局所的な分析では音声に近い特徴量が得られるような雑音でも正しく非音声であると判別することができる音声判別システム及び方法並びにコンピュータプログラムを提供することにある。

本願で開示される発明は、前記課題を解決するため、概略以下の通りの構成とされる。

本発明に係るシステム（装置）は、音声の音響モデルを記憶した音声モデル記憶手段と、前記音響モデルを参照することで、入力された音響信号の各時刻に対して母音らしさを表す母音スコアを計算する母音スコア計算手段と、前記母音スコアの時間的な規則性を分析する時間規則性分析手段と、前記母音スコアの時間的な規則性を用いて入力音響信号が音声であるか非音声であるかを判別する音声判別手段と、を備えている。

本発明に係るシステム（装置）は、音声の音響モデルを記憶した音声モデル記憶手段と、前記音響モデルを参照することで入力された音響信号の各時刻に対してサブワード境界らしさを表すサブワード境界スコアを計算するサブワード境界スコア計算手段と、前記サブワード境界スコアの時間的な規則性を分析する時間規則性分析手段と、前記サブワード境界スコアの時間的な規則性を用いて入力音響信号が音声であるか非音声であるかを判別する音声判別手段と、を備えている。

本発明に係る方法は、音声判別装置が、音声モデル記憶手段に記憶された音響モデルを参照し、入力された音響信号の各時刻に対して母音らしさを表す母音スコアを計算する工程と、
前記音声判別装置が、前記母音スコアの時間的な規則性を分析する工程と、
前記音声判別装置が、前記母音スコアの時間的な規則性を用いて入力音響信号が音声であるか非音声であるかを判別する工程と、
を含む。

本発明に係る方法は、音声判別装置が、音声モデル記憶手段に記憶された音響モデルを参照して、入力された音響信号の各時刻に対してサブワード境界らしさを表すサブワード境界スコアを計算する工程と、
前記音声判別装置が、前記サブワード境界スコアの時間的な規則性を分析する工程と、
前記音声判別装置が、前記サブワード境界スコアの時間的な規則性を用いて入力音響信号が音声であるか非音声であるかを判別する工程と、
を含む。

本発明に係るコンピュータプログラムは、音声モデル記憶手段に記憶された音響モデルを参照することで、入力された音響信号の各時刻に対して母音らしさを表す母音スコアを計算する母音スコア計算処理と、
前記母音スコアの時間的な規則性を分析する時間規則性分析処理と、
前記母音スコアの時間的な規則性を用いて入力音響信号が音声であるか非音声であるかを判別する音声判別処理と、
をコンピュータに実行させるプログラムよりなる。

本発明に係るコンピュータプログラムは、音声モデル記憶手段に記憶された音響モデルを参照することで、入力された音響信号の各時刻に対してサブワード境界らしさを表すサブワード境界スコアを計算するサブワード境界スコア計算処理と、
前記サブワード境界スコアの時間的な規則性を分析する時間規則性分析処理と、
前記サブワード境界スコアの時間的な規則性を用いて入力音響信号が音声であるか非音声であるかを判別する音声判別処理と、
をコンピュータに実行させるプログラムよりなる。

本発明によれば、音声の言語的な特徴に基づく周期性、すなわち音節構造の周期性を分析することで、時間的に局所的な分析では、音声に近い特徴量が得られるような雑音に対して、正しく非音声であると判別することを可能としている。

本発明の第１の実施例の構成を示す図である。 本発明の第１の実施例の動作を示す流れ図である。 本発明の第１の実施例において「こんにちは」という音声に対する母音スコアの時系列のグラフを模式的に示す図である。 本発明の第２の実施例の構成を示す図である。 本発明の第２の実施例の動作を示す流れ図である。 本発明の第２の実施例において「こんにちは」という音声に対する音節境界スコアの時系列のグラフを模式的に示す図である。 本発明の第３の実施例の構成を示すブロック図である。 従来の音声判別システムの構成を示す図である。

符号の説明

１１０ 音響信号入力手段
１２０ データ処理装置
１２１ 特徴量抽出手段
１２２ 時間規則性分析手段
１２３ 音声判別手段
１２４ 母音スコア計算手段
１３０ 記憶装置
１３１ 音声モデル記憶手段
４１０ 音響信号入力手段
４２０ データ処理装置
４２１ 特徴量抽出手段
４２２ 時間規則性分析手段
４２３ 音声判別手段
４２４ サブワード境界スコア計算手段
４３０ 記憶装置
４３１ 音声モデル記憶手段
７１０ 入力装置
７２０ データ処理装置
７３０ 記憶装置
７３１ 音声モデル記憶部
７４０ 出力装置
７５０ 音声判別用プログラム
８１０ 音響信号入力手段
８２１ 特徴量抽出手段
８２２ 尤度比計算手段
８２３ 音声判別手段
８２４ 音響スコア計算手段
８３１ 音声モデル記憶手段
８３２ 非音声モデル記憶手段

上記した本発明についてさらに詳細に説明すべく、添付図面を参照して説明する。なお、以下の説明で括弧内の参照番号は、あくまで発明の構成の把握を容易化するためのものであり、本発明を限定するためのものでないことは勿論である。

本発明の第１の音声判別システムは、母音や母音を含む音素などの音響モデルを記憶する音声モデル記憶手段(図１の１３１)と、音響モデルを参照することで入力音響信号の各時刻に対して、母音らしさを表す母音スコアを計算する母音スコア計算手段(図１の１２４)と、母音スコアの時系列データから時間的な規則性を分析する時間規則性分析手段(図１の１２２)と、母音スコアの時系列データの時間的な規則性の有無に基づいて入力音響信号が音声であるか非音声であるかを判別する音声判別手段(図１の１２３)と、を備えている。

音声判別手段(図１の１２３)では、母音スコアが時間的な規則性を有する場合には、入力音響信号が音声であると判別し、母音スコアが時間的な規則性を有しない場合には、非音声であると判別する。かかる構成により、時間的に局所的な分析では音声に近い特徴量が得られるような雑音でも正しく非音声であると判別することができる。

また、本発明の第２の音声判別システムは、前記した本発明の第１の音声判別システムの構成における音声モデル記憶手段(図１の１３１)に、音素や音節などサブワード単位の音響モデルを記憶しておき、前記本発明の第１の音声判別システムの構成における、母音スコア計算手段(図１の１２４)の代わりに、サブワード単位の音響モデルを参照することで、入力音響信号の各時刻に対して、サブワード境界らしさ（音素境界らしさ又は音節境界らしさ）を表すサブワード境界スコアを計算するサブワード境界スコア計算手段(図４の４２４)とを備えている。その他の構成は、前記本発明の第１の音声判別システムの構成と同様である。サブワード境界スコアの時系列が時間的な規則性を有する場合には、入力音響信号が音声であると判別し、サブワード境界スコアの時系列が時間的な規則性を有しない場合には、非音声であると判別する。かかる構成により、時間的に局所的な分析では音声に近い特徴量が得られるような雑音でも正しく非音声であると判別することができる。

上記したように、本発明においては、音声の音響モデルを用いることで、母音らしさを表す母音スコア、又は、サブワード境界らしさを表すサブワード境界スコアの時系列を求め、求められたスコアの時系列が時間的な規則性（周期性）を有する場合に、入力音響信号は音声であると判別し、時間的な規則性を有しない場合には、入力音響信号は非音声であると判別する。

一般に、音声信号では、音素や音節などのサブワードが時間的な規則性を伴って現れる、という性質がある。

すなわち、音声信号では、音素や音節などのサブワードが次々に変化しており、その変化の時間間隔は、数十ｍｓｅｃから数百ｍｓｅｃ程度の範囲におさまっているのが一般的である。

一方、雑音等の非音声信号では、時間的に局所的な分析によって音素や音節などに近い特徴量が得られることはあっても、数十ｍｓｅｃから数百ｍｓｅｃの時間間隔で様々なサブワードに近い信号が次々に現れるということはほとんどない。

従って、様々なサブワードが時間的な規則性を伴って次々に現れるという性質は、音声信号に特有の性質であるといえる。

本発明では、このような音声信号に特有の性質を捉えるために、音声の言語的な特徴に基づく周期性（規則性）を分析する。すなわち、母音らしさを表す母音スコア、又は、サブワード境界らしさを表すサブワード境界スコアの時系列データに、時間的な規則性が存在するか否か判定し、時間的な規則性を有する場合に音声であるものと判別している。

非音声信号では、母音スコアやサブワード境界スコアが時間的な規則性を有していることは少ないため、時間的に局所的な分析によって音声に近い特徴量が得られる雑音でも正しく非音声であると判別できる。

なお、様々なサブワードが時間的な規則性を伴って次々に現れるという音声信号特有の性質を正しく捉えるためには、母音スコアやサブワード境界スコアを精度よく求めることが必要とされる。本発明においては、音素や音節などの音声の音響モデルを用いているため、これらのスコアを精度よく計算することが可能である。以下、実施例に即して説明する。

図１は、本発明の第１の実施例を示すブロック図である。図１を参照すると、本発明の第１の実施例は、音響信号入力手段１１０と、データ処理装置１２０と、情報を記憶する記憶装置１３０とを備えている。

記憶装置１３０は、音声モデル記憶手段１３１を備えている。音声モデル記憶手段１３１には、母音や母音を含む音素などの音響モデルが記憶されている。

データ処理装置１２０は、特徴量抽出手段１２１と、母音スコア計算手段１２４と、時間規則性分析手段１２２と、音声判別手段１２３とを備えている。

特徴量抽出手段１２１は、音響信号入力手段１１０から入力された音響信号を分析し、特徴量の時系列を抽出する。

母音スコア計算手段１２４は、音声モデル記憶手段１３１に記憶された音響モデルを参照することで、特徴量抽出手段１２１により抽出された各時刻の特徴量に対して母音スコアを計算する。

時間規則性分析手段１２２は、母音スコア計算手段１２４によって得られた母音スコアの時間的な規則性を分析する。

音声判別手段１２３は、母音スコアの時間的な規則性の有無に基づいて入力音響信号が音声であるか非音声であるかを判別する。

なお、データ処理装置１２０における、各手段（特徴量抽出手段１２１と、母音スコア計算手段１２４と、時間規則性分析手段１２２と、音声判別手段１２３）は、データ処理装置１２０（コンピュータ）上で実行されるプログラムによりその機能・処理を実現するようにしてもよいことは勿論である（第３の実施例参照）。

図２は、本発明の第１の実施例の処理手順を説明するためのフローチャートである。図１及び図２のフローチャートを参照して、本実施例の全体の動作について詳細に説明する。

まず、音響信号入力手段１１０によって、システムに音響信号が入力される（図２のステップＡ１）。

音響信号入力手段１１０は、マイクなどによってリアルタイムに音声を入力しても良いし、予めハードディスクやテープ等の記憶媒体に記録しておいた音響信号を入力しても良い。

特徴量抽出手段１２１は、入力された音響信号を分析し、音響信号のスペクトル形状を表現するための特徴量の時系列を抽出する（図２のステップＡ２）。

特徴量は、「フレーム」と呼ばれる時間単位ごとに分析される。１つのフレームの長さは、例えば数十ｍｓｅｃ程度である。

また、特徴量としては、例えばＭＦＣＣ(Mel-scale Frequency Cepstral Coefficients)等を用いてもよい。ＭＦＣＣは、人間の聴覚特性を考慮した上で対数周波数スペクトルの包絡を表現した特徴量で、音声認識などでよく用いられている。

音声モデル記憶手段１３１には、母音や母音を含む音素などの音響モデルが記憶されている。音声モデル記憶手段１３１に記憶される音響モデルは、例えば、音声認識の分野でよく用いられているモデルであるＨＭＭ(Hidden Markov Model)やＧＭＭ(Gaussian Mixture Model)であり、予め音声信号によって母音や母音を含む音素を学習しておく。

母音スコア計算手段１２４は、音声モデル記憶手段１３１に記憶されている音響モデルを参照して、特徴量抽出手段１２１により抽出された各時刻の特徴量（特徴量の時系列）に対して母音スコアを計算する(図２のステップＡ３)。

ここで、母音スコアとは、入力音響信号の母音らしさを表した尺度である。この母音スコアは、母音や母音を含む音素の音響モデルを用いることで、以下のような方法で求めることができる。

すなわち、音声モデル記憶手段１３１に記憶されている音響モデルが母音のモデルであれば、特徴量に対する母音モデルの尤度をそのまま母音のスコアとすることができる。

また、音声モデル記憶手段１３１に記憶されている音響モデルが音素のモデルであれば、/a/, /i/, /u/, /e/, /o/といった母音に相当するモデルの尤度を足し合わせた値を母音のスコアとすることもできる。

音声モデル記憶手段１３１に記憶されている音響モデルが子音などの母音以外の音素を含んでいる場合には、次式（１）のように計算される母音の事後確率を母音のスコアとすることもできる。

…（１）

上式（１）において、
xは特徴量、
qは音素、
P(x|q)は音素qのモデルの尤度、
P(q|x)は音素qの事後確率
をそれぞれ表している。

また、
S_allは音声モデル記憶手段１３１に記憶されている全ての音素の集合を表し、
S_vowelはS_allの中に含まれる母音の集合を表す。

従って、上式（１）の右辺の分母は、全ての音素モデルの尤度の総和であり、右辺の分子は母音を表す音素モデルの尤度の総和である。

上式（１）にしたがって母音の事後確率を計算することで、正規化された母音のスコアを得ることができる。

以上のように計算された母音スコアの時系列は、入力音響信号の各時刻がどれだけ母音らしい信号であるかを表していると考えることができる。

図３は、「こんにちは」(/k/o/N/n/i/ch/i/w/a/)という音声に対して求められた母音スコアの時系列を示したグラフである。図３において、横軸は時間、縦軸は母音スコアである。図３の実線が母音スコアの時系列を表しており、破線で囲んだ矩形領域は母音の区間を表している。

一般的に、音声には、母音がほぼ一定の時間間隔で規則的に現れるという性質があるため、音声に対する母音スコアの時系列も、図３のように時間的な規則性を持った構造となる。

一方、非音声では、母音らしい区間が規則的に現れることはめったにないため、非音声に対する母音スコアの時系列が、図３のように時間的な規則性を持つことはほとんどない。

次に、時間規則性分析手段１２２は、母音スコア計算手段１２４によって求められた母音スコアの時間的な規則性を分析する(図２のステップＡ４)。この分析には、例えば、自己相関分析を用いることができる。すなわち、母音スコアの時系列を自己相関分析した結果得られる自己相関関数におけるピークの有無、及びピークの位置を調べることによって、母音スコアに時間的な周期性があるか否か、及び、周期性がある場合にはその周期の値を求めることができる。なお、自己相関分析の詳細については、非特許文献１が参照される。

また、母音スコアの時間的な規則性を分析する他の方法として、離散フーリエ変換（Discrete Fourier Transform）を利用しても良い。母音スコアの時系列を離散フーリエ変換することで、母音スコアに時間的な周期性があるか否か、及び、周期性がある場合にはその周期の値を求めることができる。なお、離散フーリエ変換の詳細については例えば非特許文献２が参照される。

これらの自己相関分析や離散フーリエ変換による分析を行うときの窓幅は、音声信号において母音が数回以上現れるような時間長に対して行う必要がある。

母音が数回以上現れるような長さで母音スコアの時間的な規則性を分析することで、母音がほぼ一定の時間間隔で規則的に現れるという音声に特有の性質を抽出することができるためである。

従って、好ましくは、自己相関分析や離散フーリエ変換を行うときの窓幅は、例えば１００ｍｓｅｃ以上程度とされる。

音声判別手段１２３は、母音スコアの時間的な規則性の有無に基づいて入力音響信号が音声であるか非音声であるかを判別する。

すなわち、母音スコアに時間的な周期性があるか否かを判定し(図２のステップＡ５)、 周期性がある場合には、入力音響信号が音声である可能性が高いと判別し、
周期性がない場合には、入力音響信号が非音声であると判別する(図２のステップＡ８)。

また、母音スコアに時間的な周期性が認められた場合には、さらに、その周期が所定の範囲内におさまっているか否かを判定する(図２のステップＡ６)。判定の結果、周期が所定の範囲内におさまっている場合には、入力音響信号が音声であると判別し(図２のステップＡ７)、周期が所定の範囲内におさまっていない場合には、入力音響信号が非音声であると判別する(図２のステップＡ８)。

なお、周期が所定の範囲内におさまっているか否かの判定(図２のステップＡ６)を省略して、母音スコアに時間的な周期性があるか否かの判定(図２のステップＡ５)のみで、音声と非音声とを判別することも可能である。

なお、図２のステップＡ６において、音声であると判別する母音スコアの時間周期の範囲は、音声における一般的な音節の周期に相当している。従って、音声であると判別する母音スコアの時間周期の範囲としては、例えば、５０ｍｓｅｃから３００ｍｓｅｃとする。

次に、本実施例の作用効果について説明する。

本実施例では、音響信号の母音らしさを表す母音スコアが時間的な規則性を有する場合に、入力音響信号が音声であると判別し、時間的な規則性を有しない場合には、非音声であると判別している。

このため、時間的に局所的な分析では音声に近い特徴量が得られるような雑音について、正しく非音声であると判別することができる。

一般に、音声信号には、母音がほぼ一定の時間間隔で規則的に現れるという性質があるが、非音声信号では、時間的に局所的な分析では音声に近い特徴量が得られるような雑音であっても、母音に近い特徴を持つ区間が音声信号のように時間的な規則性を伴って現れることはほとんどない。

本実施例では、母音スコアの時間的な規則性の有無を判定し、時間的な規則性を有する場合に、音声であると判別しているため、このような音声に特有の性質を捉えることができる。

従って、本実施例によって、局所的な分析では音声に近い特徴量が得られるような雑音でも正しく非音声であると判別することができる。

なお、前記特許文献２と、本実施例との相違点について説明しておく。前記特許文献２においては、サブフレーム内での信号の周期を分析することで定常雑音区間であるか判定し、周期性の強い信号は定常母音等である可能性が高く、定常雑音区間でないと判断しているが、このサブフレーム内での信号の周期は声帯振動に起因する３〜１０ｍｓｅｃ程度に対応している。特許文献２においては、母音のもつ信号波形レベルの周期性をとらえているだけであるため、母音らしい音であることはわかる。しかしながら、特許文献２では、局所的に音声に近い特徴量が得られるような雑音を正しく非音声であると判別することはできない。

これに対して、本発明の第１の実施例では、母音スコアの周期性（例えば、図３において母音ｏ、ｉ、ｉ、ａの周期は１００〜２００ｍｓｅｃ程度である）に基づき、入力音響信号が音声であるか非音声であるかを判別している。本発明によれば、意味のある音声が有している音節構造を周期としてとらえる。音声では子音と母音が繰り返し出現し、母音らしさを時系列で表すと、その時系列には、音節の変化に対応する周期性があらわれる。このように、本実施例においては、音声の言語的な特徴に基づく周期性を検出することで、信号レベルでは音声らしいが実際には音声ではないという場合であっても、精度よく、音声・非音声を判別することができる。

次に、本発明の第２の実施例について説明する。図４は、本発明の第２の実施例の構成を示す図である。図４を参照すると、本発明の第２の実施例は、音響信号入力手段４１０と、データ処理装置４２０と、情報を記憶する記憶装置４３０とを備えている。

記憶装置４３０は、音声モデル記憶手段４３１を備えている。

音声モデル記憶手段４３１には、音素や音節などのサブワード単位の音響モデルが記憶されている。

データ処理装置４２０は、特徴量抽出手段４２１と、サブワード境界スコア計算手段４２４と、時間規則性分析手段４２２と、音声判別手段４２３とを備えている。これらのうち、特徴量抽出手段４２１、時間規則性分析手段４２２、音声判別手段４２３は、それぞれ図１の特徴量抽出手段１２１、時間規則性分析手段１２２、音声判別手段１２３と同一である。

サブワード境界スコア計算手段４２４は、音声モデル記憶手段４３１に記憶された音響モデル、及び特徴量抽出手段４２１により抽出された特徴量を参照することで、各時刻に対してサブワード境界スコアを計算する。

なお、データ処理装置４２０における各手段（特徴量抽出手段４２１と、サブワード境界スコア計算手段４２４と、時間規則性分析手段４２２と、音声判別手段４２３）は、データ処理装置４２０上で実行されるプログラムによりその機能・処理を実現するようにしてもよいことは勿論である。

図５は、本発明の第２の実施例の動作を説明するためのフローチャートである。図４及び図５のフローチャートを参照して、本実施例の全体の動作について詳細に説明する。

前記第１の実施例では、母音スコア計算手段１２４によって入力音響信号に対して母音スコアの時系列を計算していた。

本実施例では、母音スコア計算手段１２４によって母音スコアの時系列を計算する代わりに、サブワード境界スコア計算手段４２４によって、入力音響信号に対するサブワード境界スコアの時系列を計算している点が、前記第１の実施例と相違している。

すなわち、図５のステップＢ１〜Ｂ２の処理内容は、図２のステップＡ１〜Ａ２の処理内容と同一であり、また、図５のステップＢ４〜Ｂ８の処理内容は、図２のステップＡ４〜Ａ８の処理内容と同一であるため、説明を省略する。

まず、前記第１の実施例と同様に、音響信号入力手段４１０によってシステムに音響信号が入力され、特徴量抽出手段４２１は入力音響信号を分析して特徴量の時系列を抽出する。

次に、サブワード境界スコア計算手段４２４は、抽出された特徴量と音声モデル記憶手段４３１に記憶されている音響モデルとを参照して、入力音響信号に対するサブワード境界スコアを求める(図５のステップＢ３)。

ここで、サブワード境界スコアとは、入力音響信号中において、音素又は音節などの音声を構成するサブワード単位の境界が存在するか否かを表した尺度である。

すなわち、ある時刻でサブワード境界スコアが高いということは、当該ある時刻よりも前の区間の音響信号がある音素や音節に近い信号であり、当該ある時刻よりも後の区間の音響信号が他の音素や音節に近い信号である、ということを表している。

このような性質を持つサブワード境界スコアは、音素や音節などのサブワード単位の音響モデルを用いることで、以下のような方法で求めることができる。

まず始めに、音声モデル記憶手段４３１に記憶されている音素や音節などのサブワード単位の音響モデルによって、各時刻tにおける特徴量x_tに対する各サブワードqのモデルの尤度P(x_t|q)を計算する。

次に、各時刻で、全てのサブワード音響モデルの尤度の時間差分の自乗和D(t)を、式（２）のように計算する。

…（２）

S_allは、音声モデル記憶手段４３１に記憶されている全ての音素の集合を表す。

式（２）から分かるように、D(t)は各時刻での各サブワードモデルの尤度の変化の大きさを表している量なので、サブワード境界スコアとして用いることができる。

すなわち、D(t)が大きいということは、その前後の音響信号があるサブワードから他のサブワードに変化したことを表しているためである。

ここでは、各サブワードの尤度P(x_t|q)の時間差分の和をサブワード境界スコアとしているが、各サブワードの事後確率P(q|x_t)を求めて事後確率の時間差分の和をサブワード境界スコアとしても良い。

各サブワードの事後確率は、上式（１）と同様の計算によって求めることができる。

事後確率の時間差分を用いることで、正規化されたサブワード境界スコアを得ることができる。

なお、音声モデル記憶手段４３１に記憶されている音響モデルの単位と、サブワード境界スコア計算手段４２４が計算するサブワード境界スコアの単位とは必ずしも同一である必要はない。すなわち、例えば、音声モデル記憶手段４３１に音素の音響モデルを記憶し、サブワード境界スコア計算手段４２４では母音からの遷移のみを考慮することで音節の境界スコアを計算してもよい。

以上のように計算されたサブワード境界スコアの時系列は、入力音響信号の各時刻がどれだけ音素又は音節などのサブワードの境界らしいかを表していると考えることができる。

図６は、「こんにちは」(/k/o/N/n/i/ch/i/w/a/)という音声に対して求められた音節境界スコア、すなわち音節境界らしさの時系列を示したグラフである。図６において、横軸は時間、縦軸は音節境界スコアである。図６の実線が音節境界スコアの時系列を表し、縦の破線（点線）は音節の境界を表している。

一般的に、音声には、音素や音節などのサブワードがほぼ一定の時間間隔で規則的に現れるという性質があるため、音声に対するサブワード境界スコアの時系列は図６のように時間的な規則性を持った構造となる。

一方、非音声では、音素や音節に近い信号が音声のように時間的な規則性を伴って次々と現れることはほとんどないため、非音声に対するサブワード境界スコアの時系列が時間的な規則性を持つことはほとんどない。

このようにして求められたサブワード境界スコアの時系列に対して、時間規則性分析手段４２２、及び音声判別手段４２３は、前記第１の実施例と同様に動作し、入力音響信号が音声であるか非音声であるかを判別する。

次に、本実施例の作用効果について説明する。

本実施例では、音素や音節の境界らしさを表すサブワード境界スコアが時間的な規則性を有する場合に入力音響信号が音声であると判別し、時間的な規則性を有しない場合に非音声であると判別しているため、時間的に局所的な分析では音声に近い特徴量が得られるような雑音でも正しく非音声であると判別することができる。

前述したように、一般に、音声信号には、音素や音節などのサブワードがほぼ一定の時間間隔で規則的に現れるという性質があるが、非音声信号では、時間的に局所的な分析では音声に近い特徴量が得られるような雑音であっても、音素や音節に近い信号が時間的に規則的に現れることはほとんどない。

本実施例では、サブワード境界スコアの時間的な規則性の有無を判定し、時間的な規則性を有する場合に音声であると判別しているため、このような音声に特有の性質を捉えることができる。

従って、本実施例によって、局所的な分析では音声に近い特徴量が得られるような雑音でも正しく非音声であると判別することができる。

次に、本発明の第３の実施例について説明する。図７は、本発明の第３の実施例の構成を示すブロック図である。図７を参照すると、本発明の第３の実施例は、プログラム制御により動作するデータ処理装置７２０と、入力装置７１０と、記憶装置７３０と、出力装置７４０とから構成されている。

音声判別用プログラム７５０は、記憶媒体又は伝送媒体を介したダウンロード等により、データ処理装置７２０に読み込まれ、データ処理装置７２０の動作を制御し、記憶装置７３０に音声モデル記憶部７３１を生成する。

データ処理装置７２０は、音声判別用プログラム７５０の制御により、前記第１の実施例におけるデータ処理装置１２０、又は、前記第２の実施例におけるデータ処理装置４２０による処理と同一の処理を実行する。

本発明によれば、様々な入力音響信号の中から音声を判別して音声認識を行う音声認識装置や、音声認識装置をコンピュータに実現するためのプログラム、といった用途に適用できる。

以上、本発明を上記実施例に即して説明したが、本発明は上記実施例の構成にのみに制限されるものでなく、本発明の範囲内で当業者であればなし得るであろう各種変形、修正を含むことは勿論である。

Claims (11)

1. 音声の音響モデルを記憶した音声モデル記憶手段と、
   前記音響モデルを参照することで、入力された音響信号の各時刻に対して、母音らしさを表す母音スコアを計算する母音スコア計算手段と、
   前記母音スコアの時間的な規則性を分析する時間規則性分析手段と、
   前記母音スコアの時間的な規則性を用いて入力音響信号が音声であるか非音声であるかを判別する音声判別手段と、
   を備えたことを特徴とする音声判別システム。
2. 音声の音響モデルを記憶した音声モデル記憶手段と、
   前記音響モデルを参照することで入力された音響信号の各時刻に対して、サブワード境界らしさを表すサブワード境界スコアを計算するサブワード境界スコア計算手段と、
   前記サブワード境界スコアの時間的な規則性を分析する時間規則性分析手段と、
   前記サブワード境界スコアの時間的な規則性を用いて入力音響信号が音声であるか非音声であるかを判別する音声判別手段と、
   を備えたことを特徴とする音声判別システム。
3. データ処理装置が、音声モデル記憶手段に記憶された音響モデルを参照し、入力された音響信号の各時刻に対して、母音らしさを表す母音スコアを計算する工程と、
   前記データ処理装置が、前記母音スコアの時間的な規則性を分析する工程と、
   前記データ処理装置が、前記母音スコアの時間的な規則性を用いて入力音響信号が音声であるか非音声であるかを判別する工程と、
   を含む、ことを特徴とする音声判別方法。
4. データ処理装置が、音声モデル記憶手段に記憶された音響モデルを参照して、入力された音響信号の各時刻に対して、サブワード境界らしさを表すサブワード境界スコアを計算する工程と、
   前記データ処理装置が、前記サブワード境界スコアの時間的な規則性を分析する工程と、
   前記データ処理装置が、前記サブワード境界スコアの時間的な規則性を用いて入力音響信号が音声であるか非音声であるかを判別する工程と、
   を含む、ことを特徴とする音声判別方法。
5. 音声モデル記憶手段に記憶された音響モデルを参照することで、入力された音響信号の各時刻に対して、母音らしさを表す母音スコアを計算する母音スコア計算処理と、
   前記母音スコアの時間的な規則性を分析する時間規則性分析処理と、
   前記母音スコアの時間的な規則性を用いて入力音響信号が音声であるか非音声であるかを判別する音声判別処理と、
   をコンピュータに実行させるプログラム。
6. 音声モデル記憶手段に記憶された音響モデルを参照することで、入力された音響信号の各時刻に対して、サブワード境界らしさを表すサブワード境界スコアを計算するサブワード境界スコア計算処理と、
   前記サブワード境界スコアの時間的な規則性を分析する時間規則性分析処理と、
   前記サブワード境界スコアの時間的な規則性を用いて入力音響信号が音声であるか非音声であるかを判別する音声判別処理と、
   をコンピュータに実行させるプログラム。
7. 音響信号を入力する手段と、
   入力音響信号に対して音声の言語的な特徴に基づく周期性を分析し、様々なサブワードが時間的な規則性を伴って次々に現れるという音声信号に特有の性質を有するか否かを判定し、前記入力音響信号が音声であるか非音声であるかを判別する手段と、
   を備えたことを特徴とする音声判別装置。
8. 前記入力音響信号が音声であるか非音声であるかを判別する手段は、前記入力音響信号より求めた、母音らしさを表す母音スコア、又は、サブワード境界らしさを表すサブワード境界スコアの時系列データに、時間的な規則性が存在するか否か判定し、時間的な規則性を有する場合に音声であるものと判別する、ことを特徴とする請求項７記載の音声判別装置。
9. 母音や母音を含む音素の音響モデルを少なくとも記憶した記憶手段と、
   音響信号を入力する音響信号入力手段と、
   前記音響信号入力手段からの入力音響信号を分析し、特徴量の時系列を抽出する特徴量抽出手段と、
   前記記憶手段に記憶された音響モデルを参照し、前記特徴量抽出手段により抽出された特徴量の時系列に対して、入力音響信号の母音らしさを表した尺度である母音スコアの時系列を計算する母音スコア計算手段と、
   前記母音スコア計算手段によって得られた母音スコアの時系列に対して時間的な規則性を分析する時間規則性分析手段と、
   前記母音スコアの時系列に時間的な規則性があるか否かを判定し、時間的な規則性がある場合には、前記入力音響信号が音声である可能性が高いと判別し、時間的な規則性がない場合には、入力音響信号が非音声であると判別する音声判別手段と、
   を備えている、ことを特徴とする音声判別装置。
10. 音声を構成するサブワード単位の音響モデルを記憶した記憶手段と、
    音響信号を入力する音響信号入力手段と、
    前記音響信号入力手段からの入力音響信号を分析し、特徴量の時系列を抽出する特徴量抽出手段と、
    前記記憶手段に記憶された音響モデルを参照し、前記特徴量抽出手段により抽出された特徴量の時系列に対して、入力音響信号中においてサブワード単位の境界らしさを表した尺度であるサブワード境界スコアの時系列を計算するサブワード境界スコア計算手段と、
    前記サブワード境界スコア計算手段によって得られたサブワード境界スコアの時系列に対して時間的な規則性を分析する時間規則性分析手段と、
    前記サブワード境界スコアの時系列に時間的な規則性があるか否かを判定し、時間的な規則性がある場合には、前記入力音響信号が音声である可能性が高いと判別し、時間的な規則性がない場合には、入力音響信号が非音声であると判別する音声判別手段と、
    を備えている、ことを特徴とする音声判別装置。
11. 前記音声判別手段は、前記スコアの時系列に時間的な規則性、すなわち周期性が認められた場合には、前記周期が予め定められた所定の範囲内におさまっているか否か判定し、前記周期が前記所定の範囲内におさまっている場合には、入力音響信号は音声であると判別し、前記周期が前記所定の範囲内におさまっていない場合には、入力音響信号は非音声であると判別する、ことを特徴とする請求項９又は１０記載の音声判別装置。

Images