JP3888727B2 - 音声区間検出方法、音声認識方法、音声区間検出装置及び音声認識装置 - Google Patents
音声区間検出方法、音声認識方法、音声区間検出装置及び音声認識装置 Download PDFInfo
- Publication number
- JP3888727B2 JP3888727B2 JP09687697A JP9687697A JP3888727B2 JP 3888727 B2 JP3888727 B2 JP 3888727B2 JP 09687697 A JP09687697 A JP 09687697A JP 9687697 A JP9687697 A JP 9687697A JP 3888727 B2 JP3888727 B2 JP 3888727B2
- Authority
- JP
- Japan
- Prior art keywords
- input signal
- power
- speech
- value
- candidate
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Description
【０００１】
【発明の属する技術分野】
この発明は、入力信号中に含まれる雑音のレベルを推定して推定された雑音レベルに基づき入力信号から音声区間を切り出す音声区間検出方法、切り出された音声区間に係る入力信号から音声を認識する音声認識方法、音声区間検出方法を実行する音声区間検出装置、及び音声認識方法を実行する音声認識装置に関するものである。
【０００２】
【従来の技術】
音声認識を正確に実行するためには、入力信号のうち音声が存すると見なせる区間即ち音声区間を、正確に切り出す必要がある。更に、入力信号における雑音レベルに基づき閾値を設定し、設定した閾値を用いた閾値判定により音声区間を切り出すという手法を用いるのであれば、雑音レベルを正確に推定する必要がある。雑音レベルのより正確な推定、これによる音声区間の正確な検出、ひいては正確な音声認識を実現するため、従来から、統計的な雑音レベル推定手法が各種提案されている。例えば特公平８―２３７５６号公報では、所定区間における入力信号のパワー分布の中で両端所定範囲に属するパワー情報を除外して入力信号の平均パワーを求め、求めた平均パワーを雑音レベルの推定値としている。また、特開昭５９―２１９７９７号公報では、過去所定期間の入力信号を用いて入力信号のパワー分布を求め、求めたパワー分布において最大頻度を呈している階級に係るパワー（最大頻度パワー）を、雑音レベルの推定値としている。
【０００３】
【発明が解決しようとする課題】
しかしながら、いずれの公報に記載の方法でも、雑音レベルの推定に用いる区間に非定常雑音が現れていると、雑音レベルの推定値が不正確になってしまい、正確な音声区間切り出しひいては音声認識を行い得なくなる。また、雑音レベルの推定に用いる区間を長くすると雑音レベルの変化に追従しにくくなる一方で逆にこの期間を短くすると非定常雑音の影響を強く受けやすくなるという問題もある。更に、マイクへの息の吹きかけ等、音声の前後に付帯した雑音が存する場合には、音声区間切り出しの段階でこの雑音を音声と区別すること即ち音声区間を正確に切り出すことができない。また、認識結果等に応じて入力信号への応答音声を返すシステムでは、スピーカ／マイクや電話回線での漏話等を介して応答音声が入力信号に漏れ込む現象が存するため、応答中には音声区間切りだしひいては音声認識を正確に行えない。
【０００４】
この発明は、上述のような問題点を解決することを課題としてなされたものであり、非定常雑音、雑音レベルの変動、付帯雑音、応答音声等の影響を低減・克服し、より正確な雑音レベル推定、音声区間切り出し及び音声認識を行えるようにすることを目的とする。
【０００５】
【課題を解決するための手段】
この発明に係る音声区間検出方法は、入力信号を所定速度でサンプリングして相連続する所定数のサンプルの集合であるフレーム毎に入力信号パワーを抽出し、入力信号から雑音にて生じるパワーが取り得る範囲から上記入力信号パワーが脱しているフレームを除外し、新たな入力信号のフレームの到来に応じて最古の入力信号のフレームを除外することにより保持される過去所定数分の入力信号のフレームに基づいて、フレーム毎の入力信号パワーにより表される階級と各階級に対応付けられた入力信号パワーの出現頻度を表すフレーム数とを対応付けたパワー分布を作成する分布作成ステップと、上記パワー分布にて最も出現頻度の高い入力信号パワーである最大頻度パワーを検出する最大頻度検出ステップと、上記最大頻度パワーの上下所定の入力信号パワーの範囲に属し、かつ最大頻度パワーの出現頻度のβ倍以上（βは０〜１の値を有する定数）の出現頻度の入力信号パワーに係る複数の階級と各階級に対応付けられた複数のフレーム数とを上記パワー分布から部分分布として取り出す部分分布抽出ステップと、上記部分分布における入力信号パワーの平均値Ｍと上記部分分布における入力信号パワーの分散値Ｓとを求め、入力信号パワーの平均値Ｍを上記入力信号における雑音レベルと推定する雑音レベル推定ステップと、上記分散値Ｓと定数αとを乗算した値α・Ｓが余裕Ｄの上限値Ｄｍａｘ以上のときはＤｍａｘを余裕Ｄと設定し、α・Ｓが余裕Ｄの上限値Ｄｍｉｎ以下のときはＤｍｉｎを余裕Ｄと設定し、α・ＳがＤｍｉｎを超えＤｍａｘ未満のときはα・Ｓを余裕Ｄと設定し、これによって設定された余裕Ｄと平均値Ｍとを加算した値を閾値Ｔｈｒとし、上記入力信号のパワーを当該閾値Ｔｈｒと比較することにより上記入力信号中で音声が現れていると見られる区間である音声区間を検出する音声区間検出ステップと、を有するものである。
【００１４】
この発明に係る音声区間検出方法は、好ましくは、上記音声区間検出ステップにて、上記入力信号に含まれる雑音のうちそのレベルを予め推定可能なレベル推定可能成分について当該レベルを予め推定し、上記閾値がこのレベルを下回っているときにはこのレベルを当該閾値に代えて使用するものである。
【００１５】
この発明に係る音声区間検出方法は、好ましくは、入力信号を検知した場合に何らかの応答信号を出力する音声認識装置により実行され、上記レベル推定可能成分が、上記入力信号に対して応答するために出力される応答信号が当該入力信号に漏れ込んだ成分又はこの成分のうち当該入力信号から当該応答信号をキャンセルする処理にてキャンセルされずに残された成分である。
【００１６】
この発明に係る音声区間検出方法は、好ましくは、上記音声区間検出ステップにて、上記音声区間の開始に応じて上記応答信号の出力を禁止し、当該音声区間の終了に応じて上記応答信号の出力を許可するものである。
【００１７】
この発明に係る音声区間検出方法は、好ましくは、上記音声区間検出ステップにて、上記音声区間の開始から所定時間経過した時点で上記入力信号のレベルが所定値を上回っているときに上記応答信号の出力を禁止し、当該音声区間の終了から所定時間経過した時点で次の音声区間が始まっていないときに上記応答信号の出力を許可するものである。
【００１８】
この発明に係る音声区間検出方法は、好ましくは、上記音声区間検出ステップにて、上記レベル推定可能成分のレベルを、事前に応答信号と入力信号中に漏れ込む応答信号とを対応付けて構築されているテーブル情報に基づき推定するものである。
【００１９】
この発明に係る音声区間検出方法は、好ましくは、上記音声区間検出ステップにて、上記入力信号のパワーが上記閾値を上回るに至った時点から所定の余裕時間前の時点を始端候補に、また当該入力信号のパワーが最後に当該閾値を下回るに至った時点から所定の余裕時間後の時点を終端候補に、それぞれ設定し、その終端候補から所定時間以上が経過している場合に、その始端候補及び終端候補にて規定される区間を、上記音声区間として検出するものである。
【００２１】
この発明に係る音声認識方法は、この発明に係る音声区間検出方法を実行するステップと、語彙を形成している複数の単語それぞれに対し上記音声区間における入力信号が有している尤度を求め比較判定することにより当該音声区間に係る単語を認識する認識ステップとを有するものである。
【００２２】
この発明に係る音声認識方法は、好ましくは、上記認識ステップにて、上記音声区間における入力信号の特徴量ベクトルに基づき当該入力信号から上記複数の単語各々までの認識距離を求め、当該音声区間に係る始端候補の直前に上記入力信号のパワーが上記閾値を上回るに至った時点から当該音声区間に係る終端候補の直後に当該入力信号のパワーが当該閾値を下回るに至った時点までの経過時間にて上記認識距離又はこれからＶＱ距離を減じた値を正規化し、正規化された距離情報に基づき上記比較判定を行うものである。
【００２３】
この発明に係る音声区間認識方法は、好ましくは、終端候補から所定の下限時間が経過しないうちに次の始端候補及び終端候補が到来するという状況が所定の上限回数以上繰り返されたときに、当該繰返しの過程で検出された複数の始端候補のうち最先の所定個数と各終端候補との組み合わせを上記音声区間に係る単語の認識に用いるものである。
【００２４】
この発明に係る音声区間認識方法は、好ましくは、終端候補から所定の下限時間が経過しないうちに次の始端候補及び終端候補が到来するという状況が所定の上限回数以上繰り返されしかる後終端候補から上記下限時間が経過しても次の始端候補が到来しないという状況が発生したときに、当該繰返しの過程で検出された各始端候補と複数の終端候補のうち最後の所定個数との組み合わせを上記音声区間に係る単語の認識に用いるものである。
【００２５】
この発明に係る音声区間検出装置は、入力信号を所定速度でサンプリングして相連続する所定数のサンプルの集合であるフレーム毎に入力信号パワーを抽出し、入力信号から雑音にて生じるパワーが取り得る範囲から上記入力信号パワーが脱しているフレームを除外し、新たな入力信号のフレームの到来に応じて最古の入力信号のフレームを除外することにより保持される過去所定数分の入力信号のフレームに基づいて、フレーム毎の入力信号パワーにより表される階級と各階級に対応付けられた入力信号パワーの出現頻度を表すフレーム数とを対応付けたパワー分布に関する情報を作成し逐次更新する頻度情報更新部と、上記パワー分布にて最も出現頻度の高い入力信号パワーである最大頻度パワーを検出し、上記最大頻度パワーの上下所定の入力信号パワーの範囲に属し、かつ最大頻度パワーの出現頻度のβ倍以上（βは０〜１の値を有する定数）の出現頻度の入力信号パワーに係る複数の階級と各階級に対応付けられた複数のフレーム数とを上記パワー分布から部分分布として取り出し、上記部分分布における入力信号パワーの平均値Ｍと上記部分分布における入力信号パワーの分散値Ｓとを求め、入力信号パワーの平均値Ｍを上記入力信号における雑音レベルと推定する雑音レベル判定部と、上記分散値Ｓと定数αとを乗算した値α・Ｓが余裕Ｄの上限値Ｄｍａｘ以上のときはＤｍａｘを余裕Ｄと設定し、α・Ｓが余裕Ｄの上限値Ｄｍｉｎ以下のときはＤｍｉｎを余裕Ｄと設定し、α・ＳがＤｍｉｎを超えＤｍａｘ未満のときはα・Ｓを余裕Ｄと設定し、これによって設定された余裕Ｄと平均値Ｍとを加算した値を閾値Ｔｈｒと設定する閾値設定部と、上記入力信号のパワーを当該閾値Ｔｈｒと比較することにより上記入力信号中で音声が現れていると見られる区間である音声区間の始端候補及び終端候補を当該入力信号における雑音レベルの推定値に基づき検出する始端・終端検出部とを備えるものである。
【００２６】
この発明に係る音声認識装置は、この発明に係る音声区間検出装置と、語彙を形成している複数の単語それぞれに対し上記音声区間における入力信号が有している尤度を求め比較判定することにより当該音声区間に係る単語を認識する認識部とを有するものである。
【００２７】
この発明に係る音声認識装置は、好ましくは、上記認識部が、上記音声区間における入力信号の特徴量ベクトルに基づき当該入力信号から上記複数の単語各々までの認識距離を求め、当該音声区間に係る入力信号のパワーが上記閾値を上回るに至った時点から当該閾値を下回るに至った時点までの経過時間にて上記認識距離又はこれからＶＱ距離を減じた値を正規化し、正規化された距離情報に基づき上記比較判定を行うものである。
【００２８】
【発明の実施の形態】
実施の形態１．
図１に、この発明の実施の形態１にかかる装置の機能構成を示す。この図においては、マイク、電話回線等から供給され話者の音声を含む入力信号が、分布作成部１００に入力される。分布作成部１００は、入力信号のパワー分布を求め、その後段に設けられている最大頻度検出部２００は、求められたパワー分布において最大頻度を呈する階級である最大頻度パワーを検出する。部分分布抽出部３００は、最大頻度パワーを含む複数の階級から構成される部分分布を、分布作成部１００にて作成されたパワー分布から取り出す。雑音レベル推定部４００は、部分分布抽出部３００にて取り出された部分分布に係るパワーに基づき、入力信号における雑音レベルを推定する。これら、分布作成部１００、最大頻度検出部２００、部分分布抽出部３００及び雑音レベル推定部４００は、雑音レベル推定装置を構成している。音声区間検出部５００は、この雑音レベル推定装置とともに、音声区間検出装置を構成する。音声区間検出部５００は、入力信号中で音声が現れていると見られる区間すなわち音声区間を、雑音レベル推定部４００にて推定された雑音レベルに基づき検出する。認識部６００は、語彙を形成している複数の単語それぞれに対し、音声区間検出部５００にて検出された音声区間における入力信号が有している尤度を求め、求めた尤度を互いに比較判定することにより、その音声区間に係る単語を認識する。
【００２９】
図２に、この実施の形態に係る装置のより具体的な機能構成を示す。図中、音声入力部１は、マイク、電話回線等から与えられる入力信号に関しゲイン調整、フィルタリング等の処理を施し、ディジタル信号としてエコーキャンセル部３に供給する。エコーキャンセル部３は、音声入力部１から与えられる入力信号に含まれている漏れ込み音声をキャンセルする。すなわち、入力信号に応答するため応答音声出力部２が応答音声をスピーカ、電話回線等に出力しており、この応答音声の一部がスピーカとマイクの結合あるいは電話回線を介して入力信号に漏れ込むことがあるため、エコーキャンセル部３は、応答音声出力部２によって生成される応答音声を近端信号、音声入力部１から与えられる信号を遠端信号としてエコーキャンセルを行う。エコーキャンセルが施され、その結果漏れ込み音声成分が減衰した入力信号は、音声分析部４に入力される。音声分析部４は、入力信号を所定速度でサンプリングし、相連続する所定数のサンプルの集合であるところのフレーム毎に、音響特徴ベクトル及び音響パワーを抽出する。音響特徴ベクトルは、入力信号における音響特徴量を表しており、後述の認識部７において音声認識の際に用いられる。
【００３０】
音声分析部４にて得られた音響パワーは、音声区間検出部６、特に更新判定部８に供給される。更新判定部８は、音声分析部４から与えられた音響パワーが、雑音として生じ得る範囲内にあるか否か、すなわち図３における「頻度作成に用いるパワーの範囲」内にあるか否かを判定し、あると判定した場合には頻度情報更新部９に対し、頻度情報の更新を指令する。頻度情報更新部９は、頻度情報を更新せよと指令されると、頻度情報記憶部１３上に記憶されている頻度情報を更新する。頻度情報記憶部１３上には、図３の右端に示されているように、「頻度作成に用いるパワーの範囲」に属するパワーを呈した過去所定数のフレームについて、頻度分布図が作成されている。頻度情報更新部９によって行われる処理は、新たに到来したフレームであって「頻度作成に用いるパワーの範囲」に属する音響パワーを有するフレームについて、この頻度分布図に反映させるとともに、それまで頻度分布図に反映されていた過去のフレームのうち最も古いものを頻度分布図から削除する処理である。従って、頻度情報記憶部１３上には、過去一定フレーム数分の入力信号についての頻度分布図（但し、「頻度作成に用いるパワーの範囲」内の音響パワーを有するものに限る）が常に保持されることになる。
【００３１】
雑音レベル判定部１０は、頻度情報記憶部１３上に作成されている頻度分布図から、最大頻度を有する階級を検出する。雑音レベル判定部１０は、更に、最大頻度を有する階級に係るパワーすなわち最大頻度パワーの上下所定範囲内にあり、かつ最大頻度パワーのβ倍以上（βは０〜１の値を有する定数）のパワーに係る複数の階級を選択する。この段階で選択される複数の階級は、図３においては「頻度分布において選択されたパワーの範囲」と記されている。雑音レベル判定部１０は、このようにして選択した複数の階級から構成される部分分布における音響パワーの平均値Ｍ及び分散値Ｓを求める。
【００３２】
閾値設定部１１は、雑音レベル判定部１０により求められた平均値Ｍ及び分散値Ｓに基づき、始端・終端検出部１２にて用いる閾値Ｔhrを設定する。ここに、閾値設定部１１における閾値Ｔhrの設定は、例えば次の式
【数１】
に従い余裕Ｄを求め、求めた余裕Ｄ及び雑音レベル判定部１０によって求められている平均値Ｍに基づき、次の式
【数２】
Ｔhr＝ｍａｘ（Ｍ＋Ｄ，Ｌｅａｋ）
により閾値ＨHRを求めるという処理である。上に記した２個の式にあらわれている定数及び変数のうち、αは予め定められている定数である。また、Ｄmax 及びＤmin は余裕Ｄの上限及び下限を規制するための定数である。さらに、Ｌｅａｋは、漏れ込み量判定部５によって求められる漏れ込み量である。漏れ込み量判定部５はエコーキャンセル後の入力信号に含まれている漏れ込み音声の成分を推定し、そのレベルＬｅａｋを求める部材である。漏れ込み量判定部５は、例えば、応答音声出力部２の出力に基づきテーブルを参照することにより漏れ込み音声のレベルＬｅａｋを求める。このテーブルは、応答音声出力部２の出力と、エコーキャンセル部３から音声分析部４に与えられる入力信号中の漏れ込み音声との対応関係を、予め行われる実験に求めておき、求めた対応関係をテーブル化することにより得られる。なお、応答音声出力部２が応答音声を出力していないときには、漏れ込み量判定部５はレベルＬｅａｋを０にする。従って、上の２式に従いＴhrを設定することにより、入力信号に含まれる雑音のレベルあるいは信号対雑音比（Ｓ／Ｎ比）に応じて閾値Ｔhrを追従変化させることができ、また漏れ込み音声のレベルＬｅａｋに対して同様に閾値Ｔhrを追従変化させることができる（図４参照）。
【００３３】
始端・終端検出部１２は、閾値設定部１１にて設定されたＴhrを用いて、音声区間を検出する。すなわち、音声分析部４から出力される信号の音響パワーが閾値Ｔhrよりも大きいフレームがＴepフレーム以上続いたとき、始端・終端検出部１２は、音響パワーが閾値Ｔhrを超え始めたフレームからＴpre フレーム前を始端候補として検出する。また、音響パワーが閾値Ｔhrを下回ったときは、下回る直前のフレームからＴpos フレーム後のフレームを終端候補として検出する。
【００３４】
音声分析部４にて抽出される音響パワーの波形が例えば図５に示されるような波形である場合には、終端候補が検出された後さほど時間をおかないうちに次の始端候補が検出されることになるため、始端候補、終端候補、始端候補、終端候補、・・・、終端候補というように始端候補と終端候補が連続的に複数個交互に現れることになる。始端・終端検出部１２は、最後に検出した終端候補に対応する閾値下回り開始時点から所定時間Ｔend が経過するまでに音響パワーが閾値Ｔhrを上回らなかった場合、最初の始端候補から始まった始端候補、終端候補、・・・、終端候補という一連の区間の連鎖をとらえたと見なし、最初の始端候補から最後の終端候補に至る区間に含まれる各始端候補と各終端候補の組み合わせについて、音声区間として切り出せるか否かを判定する。例えば、図５に示される例では、合計３個の始端候補及び合計３個の終端候補があるから、任意の始端候補とこの始端候補よりも後に発生する終端候補の組み合わせは合計６通り存在する。始端・終端検出部１２は、このようにして検出した始端候補及び終端候補に関する情報を認識部７に供給する。
【００３５】
また、始端・終端検出部１２は、応答音声出力部２の出力を適宜停止／再開させる制御も実行する。すなわち、ある始端候補に対応する音響パワー閾値上回り時点から所定時間Ｔwordが経過した時点で音響パワーが所定の条件値Ｐmax を超えている場合には、始端・終端検出部１２は単語検出信号を出力し、応答音声出力部２からの応答音声の出力を停止させる。また、ある終端候補に対応する音響パワー閾値下回り時点から所定時間Ｔend が経過した時点で、音響パワーが閾値Ｔhrを下回っていたときに、始端・終端検出部１２は単語終了信号を応答音声出力部２に供給し、応答音声出力部２からの応答音声の出力を再開させる。このような処理を実行することにより、入力信号中で音声が存在する可能性が高い期間について応答音声出力部２からの応答音声の出力を停止させることができ、従って漏れ込み音声が入力信号中の音声にかかる音声区間の切り出しや音声認識に与える影響を抑制することができる。
【００３６】
認識部７は、始端・終端検出部１２にて検出された始端候補及び終端候補と、音声分析部４にて抽出された特徴量ベクトルとに基づき音声認識処理を実行し、その結果を図示しない後段の装置に供給する。より具体的には、始端候補Ｆs(i)（ｉ＝１，２，・・・，ｎ：ｎは自然数）と終端候補Ｆe(j)（ｊ＝１，２，・・・，ｎ）のうち、Ｆs(i)＜Ｆe(j)となる始端候補Ｆs(i)から終端候補Ｆe(j)までのＶＱ距離値ＤVQ(i,j)を求めるとともに、これらの始端候補Ｆs(i)及び終端候補Ｆe(j)にて規定される音声区間に係る入力信号と、語彙を構成する単語ｗｏｒｄ（ｋ）の間の認識距離値Ｄrec(i,j)（ｗｏｒｄ（ｋ））を求め、これらの情報に基づき次の式
【数３】
に従い正規化された距離値Ｄn(i,j)（ｗｏｒｄ（ｋ））を求める。認識部７は、このようにして求めた距離値Ｄn(i,j)（ｗｏｒｄ（ｋ））が最小になるすなわち尤度が最も高くなる単語ｗｏｒｄ（ｋ）を選択し、これを始端候補Ｆs(i)及び端候補Ｆe(j)にて規定される音声区間に係る音声認識結果として出力する。
【００３７】
従って、この実施の形態によれば、最大頻度パワーに基づき取り出した部分分布におけるパワーの情報を基礎として、この部分分布における平均値Ｍの演算等により雑音レベルを推定しているため、入力信号に非定常雑音が重畳していたとしても、この非定常雑音の影響が雑音レベルの推定値に現れることが少なく、従って音声区間の切り出しや音声認識に係る処理に非定常雑音の影響が現れることを好適に防止することができる。また、頻度分布図を作成するのに先立って、音声分析部４にて抽出された音響パワーを上下限制限し所定範囲内に属するパワーを有するフレームのみを頻度分布図作成に使用するようにしているため、非定常雑音の影響を、この面でも好適に排除することができる。更に、頻度分布図の作成に際して最古のフレームに係る音響パワーに係る情報を逐次除外していくようにしているため、雑音レベルの推定値を逐次更新できる。更に、最大頻度パワーに応じて選んだ複数の階級に係るパワーから雑音レベルの推定を行っていることとの結合により、頻度分布図を作成するためのフレーム個数を少なくすることができるため、雑音レベルの変動に対してその推定値を好適に追従させることができる。更に、作成した頻度分布図から部分分布を比較的簡易な論理にて取り出しているため、非定常雑音の影響排除等の効果を、比較的容易に得ることができる。
【００３８】
更に、閾値Ｔhrを設定する際、余裕Ｄを加味しているため、平均値Ｍ近傍での雑音レベル変動を拾うことが少なくなる。このとき、分散値Ｓを用いているため、入力信号のＳ／Ｎ比に応じた閾値Ｔhrの設定が可能になる。また、漏れ込み音声のレベルＬｅａｋにより閾値Ｔhrを下限制限するようにしているため、漏れ込み音声が原因となった音声区間の切出し誤りや、音声認識の誤りを、より確実に防止することができる。更に、始端・終端検出部１２にて単語検出信号及び単語終了信号を発生させ、応答音声出力部２を停止／再開制御するようにしているため、漏れ込み音声を抑制することができる。更に、漏れ込み音声のレベルＬｅａｋの推定は、テーブルに基づき行っているため、複雑な演算を必要としない。更に、始端候補及び終端候補を検出する際に、音響パワーが閾値Ｔhrを上回る期間が、Ｔepより短いものについては始端候補及び終端候補として検出しないようにしたため、音声区間の切り出しをより正確なものとすることができる。
【００３９】
更に、認識部７において、正規化された距離Ｄn(i,j)（ｗｏｒｄ（ｋ））に基づき尤度判定を行っているため、入力信号に含まれる音声の前後に付帯する雑音源、例えばマイクへの息の吹きかけ等による雑音の影響を排除することができる。
【００４０】
実施の形態２．
この発明の実施の形態２は、実施の形態１と同様、図１及び図２に示される構成の装置にて実現することができる。この実施の形態２が実施の形態１と相違する点は、始端・終端検出部１２にて検出した始端候補及び終端候補の全てを認識部７に供給するのではなく、検出した始端候補のうち最先の所定個数と、検出した終端候補のうち最近の所定個数とを、認識部７に供給する点にある。すなわち、認識部７へ供給する始端候補の個数及び終端候補の個数をいずれも上限制限しているため、この実施の形態においては、認識部７における音声認識処理に係る情報量が低減されることになり、実施の形態１に比べ情報処理量の少ない効率的な音声認識装置を実現することが可能になる。
【００４１】
【発明の効果】
この発明に係る音声区間検出方法によれば、入力信号における雑音レベルを推定する際、入力信号のパワー分布における最大頻度パワーに応じてこのパワー分布から取り出した部分分布に係るパワーの情報を基礎としているため、入力信号に非定常雑音が重畳しているときでも、この非定常雑音を反映しているパワー情報が、雑音レベルの推定基礎に含まれることがなく又はその可能性が小さいため、雑音レベルの推定値に及ぼす非定常雑音の影響を好適に排除できる。
【００４２】
この発明に係る音声区間検出方法によれば、雑音にて生じるパワーが取り得る範囲から入力信号のパワーが脱している期間を除外してパワー分布を作成するようにしたため、更に好適に、非定常雑音の影響を好適に排除できる。
【００４３】
この発明に係る音声区間検出方法によれば、パワー分布の作成に使用できる新しい入力信号の到来に応じ、それまでパワー分布の作成に使用されていた入力信号の中で最古のものを除外し、これにより、パワー分布の作成に用いる期間を逐次移動させるようにしているため、雑音レベルの推定値を逐次更新できる。更に、上述のように部分分布に係るパワーから雑音レベルの推定を行っていること（即ち非定常雑音の影響の排除）と、パワー分布の作成に用いる期間を逐次移動させることとを結合させているため、パワー分布を作成するためのパワー情報を得る期間を短くすることができ、従って実際の雑音レベルの変動に対しその推定値を好適に追従させることができる。
【００４４】
この発明に係る音声区間検出方法によれば、最大頻度パワー上下の所定のパワー範囲に属する一連の階級を、雑音レベル推定の基礎たる部分分布として取り出すようにしたため、比較的簡易な演算にて、雑音レベルの推定値に及ぼす非定常雑音の影響を好適に排除できる。
【００４５】
この発明に係る音声区間検出方法によれば、最大頻度に対する比率が所定値以上の頻度を呈する一群の階級を、雑音レベル推定の基礎たる部分分布として取り出すようにしたため、比較的簡易な演算にて、雑音レベルの推定値に及ぼす非定常雑音の影響を好適に排除できる。
【００４６】
この発明に係る音声区間検出方法によれば、雑音レベル推定の基礎たる部分分布におけるパワーの平均値を、雑音レベルの推定値としているため、比較的簡易な処理にて、雑音レベルの推定値に及ぼす非定常雑音の影響を好適に排除できる。
【００４７】
この発明に係る音声区間検出方法によれば、この発明に係る雑音レベル推定方法にて得た雑音レベルの推定値にて、音声区間を検出するようにしたため、雑音レベルの推定誤差による音声区間の検出誤りを防止乃至低減できる。
【００４８】
この発明に係る音声区間検出方法によれば、雑音レベルの推定値に余裕を加えた値を閾値とし、入力信号のパワーをこの閾値と比較することにより音声区間を検出するようにしたため、定常雑音の影響を好適に排除できる。
【００４９】
この発明に係る音声区間検出方法によれば、雑音レベルの推定の基礎たる複数の階級に係るパワーの分散を求め、この分散に基づき、雑音レベルの推定値に対する閾値の余裕を設定するようにしたため、雑音の分散の変化を反映させながら、即ち入力信号のＳ／Ｎに応じて閾値を変えながら、定常雑音の影響を好適に排除できる。
【００５０】
この発明に係る音声区間検出方法によれば、入力信号に含まれる雑音のうちそのレベルを予め推定可能なレベル推定可能成分についてそのレベルを推定し、更に、閾値がこのレベルを下回っているときにはこのレベルを閾値に代えて使用するようにしたため、入力信号に含まれる雑音のうちそのレベルを推定できるものについては統計的処理によらずより確実に対処できる。
【００５１】
この発明に係る音声区間検出方法によれば、入力信号に対する応答が当該入力信号に漏れ込んだ成分又はこの成分のうち入力信号から応答をキャンセルする処理にてキャンセルされずに残された成分について、そのレベルの推定を行い、推定により得られたレベルを適宜閾値として用いるようにしたため、上掲の応答の漏れ込みに係る期間を誤って入力信号に係る音声区間として検出してしまうことを防ぐことができ、特に、入力信号に対する自動音声応答を行うシステムにおける正確な音声区間検出を実現できる。
【００５２】
この発明に係る音声区間検出方法によれば、音声区間の開始に応じて入力信号への応答を禁止し、音声区間の終了に応じて応答を許可するようにしたため、応答が入力信号に漏れ込むことをより確実に防ぐことができる。
【００５３】
この発明に係る音声区間検出方法によれば、音声区間の開始から所定時間経過した時点で入力信号のレベルが所定値を上回っているときに応答を禁止し、当該音声区間の終了から所定時間経過した時点で次の音声区間が始まっていないときに応答を許可するようにしたため、やはり、応答が入力信号に漏れ込むことをより確実に防ぐことができる。
【００５４】
この発明に係る音声区間検出方法によれば、レベル推定可能成分のレベルを、事前に構築されているテーブル情報に基づき推定するようにしたため、複雑な処理なしで比較的信頼に足るレベル情報を得ることができる。
【００５５】
この発明に係る音声区間検出方法によれば、閾値を用いて求めた始端候補及び終端候補にて規定される区間のうち、“始端候補から終端候補までの間に所定時間以上が経過している”という条件が成り立つ始端候補及び終端候補にて規定される区間を音声区間として検出するようにしたため、始端候補から終端候補までの時間が比較的短く音声認識等に供すべきでない区間を除外できる。
【００５６】
この発明に係る音声区間検出方法によれば、入力信号のパワーが閾値を上回るに至った時点から所定の余裕時間前の時点を始端候補とし、入力信号のパワーが閾値を下回るに至った時点から所定の余裕時間後の時点を終端候補としているため、入力信号のパワー時間変動曲線が閾値と交差する点の近傍に余裕を与えることができ、より正確に音声区間を検出できる。
【００５７】
この発明に係る音声認識方法によれば、この発明に係る音声区間検出方法にて検出した音声区間における入力信号が、語彙を形成している複数の単語それぞれに対し有している尤度を、求め、得られた尤度同士の比較判定を行うことによりこの音声区間に係る単語を認識するようにしたため、音声区間の正確な検出に伴う正確な音声認識結果が得られる。
【００５８】
この発明に係る音声認識方法によれば、音声区間における入力信号の特徴量ベクトルに基づき入力信号から複数の単語各々までの認識距離を求め、当該音声区間の始端候補の直前に入力信号のパワーが閾値を上回るに至った時点から当該音声区間に係る終端候補の直後に入力信号のパワーが閾値を下回るに至った時点までの経過時間にて認識距離又はこれからＶＱ距離を減じた値を正規化し、正規化された距離情報に基づき上記比較判定を行うようにしたため、入力信号に係る音声の前後に付帯する雑音例えばマイクへの息の吹きかけによる雑音の影響を排除できる。
【００５９】
この発明に係る音声認識方法によれば、終端候補から所定の下限時間が経過しないうちに次の始端候補が到来するという状況が所定の上限回数以上繰り返されたときに、当該繰返しの過程で検出された複数の始端候補のうち最先の所定個数を、音声区間の検出に供するようにしたため、音声認識に係る情報処理量を軽減できる。
【００６０】
この発明に係る音声認識方法によれば、終端候補から所定の下限時間が経過しないうちに次の始端候補が到来するという状況が所定の上限回数以上繰り返されしかる後終端候補から上記下限時間が経過しても次の始端候補が到来しないという状況が発生したときに、当該繰返しの過程で検出された複数の終端候補のうち最後の所定個数を、音声区間の検出に供するようにしたため、やはり、音声認識に係る情報処理量を軽減できる。
【００６１】
この発明に係る音声区間検出装置によれば、入力信号から音声分析により得られたパワー情報に基づき入力信号のパワー分布に関する情報を作成し逐次更新する頻度情報更新部と、パワー分布にて最大頻度を呈する階級である最大頻度パワーを含む複数の階級をパワー分布から取り出し取り出した複数の階級から構成される部分分布に係るパワーに基づき入力信号における雑音レベルを推定する雑音レベル判定部と、入力信号中で音声が現れていると見られる区間である音声区間の始端候補及び終端候補を入力信号における雑音レベルの推定値に基づき検出する始端・終端検出部とを設けるようにしたため、この発明に係る音声区間検出方法を好適に実現できる。
【００６２】
この発明に係る音声認識装置によれば、この発明に係る音声区間検出装置と、語彙を形成している複数の単語それぞれに対し音声区間における入力信号が有している尤度を求め比較判定することにより当該音声区間に係る単語を認識する認識部とを設けるようにしたため、この発明に係る音声認識方法を好適に実現できる。
【００６３】
この発明に係る音声認識装置によれば、認識部が、音声区間における入力信号の特徴量ベクトルに基づき当該入力信号から複数の単語各々までの認識距離を求め、この音声区間に係る入力信号のパワーが上記閾値を上回るに至った時点からその後当該閾値を下回るに至った時点までの経過時間にて認識距離又はこれからＶＱ距離を減じた値を正規化し、正規化された距離情報に基づき比較判定を行うようにしたため、この発明に係る音声認識方法を好適に実現できかつ付帯雑音の影響を受けにくい音声認識装置を実現できる。
【図面の簡単な説明】
【図１】 この発明の実施の形態１及び２に係る装置の構成を示すブロック図である。
【図２】 この発明の実施の形態１及び２に係る装置のより具体的な構成を示すブロック図である。
【図３】 この発明の実施の形態１及び２における入力信号パワー波形及びその頻度分布の一例を示す図である。
【図４】 この発明の実施の形態１及び２における応答音声出力、応答音声が漏れ込まない場合の入力信号、及び応答音声が漏れ込んだ入力信号のパワー波形を示すタイミングチャートである。
【図５】 この発明の実施の形態１及び２における始端候補及び終端候補の設定、音声区間の切り出し、単語検出信号及び単語終了信号の生成タイミング並びに音声認識の対象となる区間を示すタイミングチャートである。
【符号の説明】
１００ 分布作成部、２００ 最大頻度検出部、３００ 部分分布抽出部、４００ 雑音レベル推定部、５００ 音声区間検出部、６００ 認識部、１ 音声入力部、２ 応答音声出力部、３ エコーキャンセル部、４ 音声分析部、５ 漏れ込み量判定部、６ 音声区間検出部、７ 認識部、８ 更新判定部、９ 頻度情報更新部、１０ 雑音レベル判定部、１１ 閾値設定部、１２ 始端・終端検出部、１３ 頻度情報記憶部。
【発明の属する技術分野】
この発明は、入力信号中に含まれる雑音のレベルを推定して推定された雑音レベルに基づき入力信号から音声区間を切り出す音声区間検出方法、切り出された音声区間に係る入力信号から音声を認識する音声認識方法、音声区間検出方法を実行する音声区間検出装置、及び音声認識方法を実行する音声認識装置に関するものである。
【０００２】
【従来の技術】
音声認識を正確に実行するためには、入力信号のうち音声が存すると見なせる区間即ち音声区間を、正確に切り出す必要がある。更に、入力信号における雑音レベルに基づき閾値を設定し、設定した閾値を用いた閾値判定により音声区間を切り出すという手法を用いるのであれば、雑音レベルを正確に推定する必要がある。雑音レベルのより正確な推定、これによる音声区間の正確な検出、ひいては正確な音声認識を実現するため、従来から、統計的な雑音レベル推定手法が各種提案されている。例えば特公平８―２３７５６号公報では、所定区間における入力信号のパワー分布の中で両端所定範囲に属するパワー情報を除外して入力信号の平均パワーを求め、求めた平均パワーを雑音レベルの推定値としている。また、特開昭５９―２１９７９７号公報では、過去所定期間の入力信号を用いて入力信号のパワー分布を求め、求めたパワー分布において最大頻度を呈している階級に係るパワー（最大頻度パワー）を、雑音レベルの推定値としている。
【０００３】
【発明が解決しようとする課題】
しかしながら、いずれの公報に記載の方法でも、雑音レベルの推定に用いる区間に非定常雑音が現れていると、雑音レベルの推定値が不正確になってしまい、正確な音声区間切り出しひいては音声認識を行い得なくなる。また、雑音レベルの推定に用いる区間を長くすると雑音レベルの変化に追従しにくくなる一方で逆にこの期間を短くすると非定常雑音の影響を強く受けやすくなるという問題もある。更に、マイクへの息の吹きかけ等、音声の前後に付帯した雑音が存する場合には、音声区間切り出しの段階でこの雑音を音声と区別すること即ち音声区間を正確に切り出すことができない。また、認識結果等に応じて入力信号への応答音声を返すシステムでは、スピーカ／マイクや電話回線での漏話等を介して応答音声が入力信号に漏れ込む現象が存するため、応答中には音声区間切りだしひいては音声認識を正確に行えない。
【０００４】
この発明は、上述のような問題点を解決することを課題としてなされたものであり、非定常雑音、雑音レベルの変動、付帯雑音、応答音声等の影響を低減・克服し、より正確な雑音レベル推定、音声区間切り出し及び音声認識を行えるようにすることを目的とする。
【０００５】
【課題を解決するための手段】
この発明に係る音声区間検出方法は、入力信号を所定速度でサンプリングして相連続する所定数のサンプルの集合であるフレーム毎に入力信号パワーを抽出し、入力信号から雑音にて生じるパワーが取り得る範囲から上記入力信号パワーが脱しているフレームを除外し、新たな入力信号のフレームの到来に応じて最古の入力信号のフレームを除外することにより保持される過去所定数分の入力信号のフレームに基づいて、フレーム毎の入力信号パワーにより表される階級と各階級に対応付けられた入力信号パワーの出現頻度を表すフレーム数とを対応付けたパワー分布を作成する分布作成ステップと、上記パワー分布にて最も出現頻度の高い入力信号パワーである最大頻度パワーを検出する最大頻度検出ステップと、上記最大頻度パワーの上下所定の入力信号パワーの範囲に属し、かつ最大頻度パワーの出現頻度のβ倍以上（βは０〜１の値を有する定数）の出現頻度の入力信号パワーに係る複数の階級と各階級に対応付けられた複数のフレーム数とを上記パワー分布から部分分布として取り出す部分分布抽出ステップと、上記部分分布における入力信号パワーの平均値Ｍと上記部分分布における入力信号パワーの分散値Ｓとを求め、入力信号パワーの平均値Ｍを上記入力信号における雑音レベルと推定する雑音レベル推定ステップと、上記分散値Ｓと定数αとを乗算した値α・Ｓが余裕Ｄの上限値Ｄｍａｘ以上のときはＤｍａｘを余裕Ｄと設定し、α・Ｓが余裕Ｄの上限値Ｄｍｉｎ以下のときはＤｍｉｎを余裕Ｄと設定し、α・ＳがＤｍｉｎを超えＤｍａｘ未満のときはα・Ｓを余裕Ｄと設定し、これによって設定された余裕Ｄと平均値Ｍとを加算した値を閾値Ｔｈｒとし、上記入力信号のパワーを当該閾値Ｔｈｒと比較することにより上記入力信号中で音声が現れていると見られる区間である音声区間を検出する音声区間検出ステップと、を有するものである。
【００１４】
この発明に係る音声区間検出方法は、好ましくは、上記音声区間検出ステップにて、上記入力信号に含まれる雑音のうちそのレベルを予め推定可能なレベル推定可能成分について当該レベルを予め推定し、上記閾値がこのレベルを下回っているときにはこのレベルを当該閾値に代えて使用するものである。
【００１５】
この発明に係る音声区間検出方法は、好ましくは、入力信号を検知した場合に何らかの応答信号を出力する音声認識装置により実行され、上記レベル推定可能成分が、上記入力信号に対して応答するために出力される応答信号が当該入力信号に漏れ込んだ成分又はこの成分のうち当該入力信号から当該応答信号をキャンセルする処理にてキャンセルされずに残された成分である。
【００１６】
この発明に係る音声区間検出方法は、好ましくは、上記音声区間検出ステップにて、上記音声区間の開始に応じて上記応答信号の出力を禁止し、当該音声区間の終了に応じて上記応答信号の出力を許可するものである。
【００１７】
この発明に係る音声区間検出方法は、好ましくは、上記音声区間検出ステップにて、上記音声区間の開始から所定時間経過した時点で上記入力信号のレベルが所定値を上回っているときに上記応答信号の出力を禁止し、当該音声区間の終了から所定時間経過した時点で次の音声区間が始まっていないときに上記応答信号の出力を許可するものである。
【００１８】
この発明に係る音声区間検出方法は、好ましくは、上記音声区間検出ステップにて、上記レベル推定可能成分のレベルを、事前に応答信号と入力信号中に漏れ込む応答信号とを対応付けて構築されているテーブル情報に基づき推定するものである。
【００１９】
この発明に係る音声区間検出方法は、好ましくは、上記音声区間検出ステップにて、上記入力信号のパワーが上記閾値を上回るに至った時点から所定の余裕時間前の時点を始端候補に、また当該入力信号のパワーが最後に当該閾値を下回るに至った時点から所定の余裕時間後の時点を終端候補に、それぞれ設定し、その終端候補から所定時間以上が経過している場合に、その始端候補及び終端候補にて規定される区間を、上記音声区間として検出するものである。
【００２１】
この発明に係る音声認識方法は、この発明に係る音声区間検出方法を実行するステップと、語彙を形成している複数の単語それぞれに対し上記音声区間における入力信号が有している尤度を求め比較判定することにより当該音声区間に係る単語を認識する認識ステップとを有するものである。
【００２２】
この発明に係る音声認識方法は、好ましくは、上記認識ステップにて、上記音声区間における入力信号の特徴量ベクトルに基づき当該入力信号から上記複数の単語各々までの認識距離を求め、当該音声区間に係る始端候補の直前に上記入力信号のパワーが上記閾値を上回るに至った時点から当該音声区間に係る終端候補の直後に当該入力信号のパワーが当該閾値を下回るに至った時点までの経過時間にて上記認識距離又はこれからＶＱ距離を減じた値を正規化し、正規化された距離情報に基づき上記比較判定を行うものである。
【００２３】
この発明に係る音声区間認識方法は、好ましくは、終端候補から所定の下限時間が経過しないうちに次の始端候補及び終端候補が到来するという状況が所定の上限回数以上繰り返されたときに、当該繰返しの過程で検出された複数の始端候補のうち最先の所定個数と各終端候補との組み合わせを上記音声区間に係る単語の認識に用いるものである。
【００２４】
この発明に係る音声区間認識方法は、好ましくは、終端候補から所定の下限時間が経過しないうちに次の始端候補及び終端候補が到来するという状況が所定の上限回数以上繰り返されしかる後終端候補から上記下限時間が経過しても次の始端候補が到来しないという状況が発生したときに、当該繰返しの過程で検出された各始端候補と複数の終端候補のうち最後の所定個数との組み合わせを上記音声区間に係る単語の認識に用いるものである。
【００２５】
この発明に係る音声区間検出装置は、入力信号を所定速度でサンプリングして相連続する所定数のサンプルの集合であるフレーム毎に入力信号パワーを抽出し、入力信号から雑音にて生じるパワーが取り得る範囲から上記入力信号パワーが脱しているフレームを除外し、新たな入力信号のフレームの到来に応じて最古の入力信号のフレームを除外することにより保持される過去所定数分の入力信号のフレームに基づいて、フレーム毎の入力信号パワーにより表される階級と各階級に対応付けられた入力信号パワーの出現頻度を表すフレーム数とを対応付けたパワー分布に関する情報を作成し逐次更新する頻度情報更新部と、上記パワー分布にて最も出現頻度の高い入力信号パワーである最大頻度パワーを検出し、上記最大頻度パワーの上下所定の入力信号パワーの範囲に属し、かつ最大頻度パワーの出現頻度のβ倍以上（βは０〜１の値を有する定数）の出現頻度の入力信号パワーに係る複数の階級と各階級に対応付けられた複数のフレーム数とを上記パワー分布から部分分布として取り出し、上記部分分布における入力信号パワーの平均値Ｍと上記部分分布における入力信号パワーの分散値Ｓとを求め、入力信号パワーの平均値Ｍを上記入力信号における雑音レベルと推定する雑音レベル判定部と、上記分散値Ｓと定数αとを乗算した値α・Ｓが余裕Ｄの上限値Ｄｍａｘ以上のときはＤｍａｘを余裕Ｄと設定し、α・Ｓが余裕Ｄの上限値Ｄｍｉｎ以下のときはＤｍｉｎを余裕Ｄと設定し、α・ＳがＤｍｉｎを超えＤｍａｘ未満のときはα・Ｓを余裕Ｄと設定し、これによって設定された余裕Ｄと平均値Ｍとを加算した値を閾値Ｔｈｒと設定する閾値設定部と、上記入力信号のパワーを当該閾値Ｔｈｒと比較することにより上記入力信号中で音声が現れていると見られる区間である音声区間の始端候補及び終端候補を当該入力信号における雑音レベルの推定値に基づき検出する始端・終端検出部とを備えるものである。
【００２６】
この発明に係る音声認識装置は、この発明に係る音声区間検出装置と、語彙を形成している複数の単語それぞれに対し上記音声区間における入力信号が有している尤度を求め比較判定することにより当該音声区間に係る単語を認識する認識部とを有するものである。
【００２７】
この発明に係る音声認識装置は、好ましくは、上記認識部が、上記音声区間における入力信号の特徴量ベクトルに基づき当該入力信号から上記複数の単語各々までの認識距離を求め、当該音声区間に係る入力信号のパワーが上記閾値を上回るに至った時点から当該閾値を下回るに至った時点までの経過時間にて上記認識距離又はこれからＶＱ距離を減じた値を正規化し、正規化された距離情報に基づき上記比較判定を行うものである。
【００２８】
【発明の実施の形態】
実施の形態１．
図１に、この発明の実施の形態１にかかる装置の機能構成を示す。この図においては、マイク、電話回線等から供給され話者の音声を含む入力信号が、分布作成部１００に入力される。分布作成部１００は、入力信号のパワー分布を求め、その後段に設けられている最大頻度検出部２００は、求められたパワー分布において最大頻度を呈する階級である最大頻度パワーを検出する。部分分布抽出部３００は、最大頻度パワーを含む複数の階級から構成される部分分布を、分布作成部１００にて作成されたパワー分布から取り出す。雑音レベル推定部４００は、部分分布抽出部３００にて取り出された部分分布に係るパワーに基づき、入力信号における雑音レベルを推定する。これら、分布作成部１００、最大頻度検出部２００、部分分布抽出部３００及び雑音レベル推定部４００は、雑音レベル推定装置を構成している。音声区間検出部５００は、この雑音レベル推定装置とともに、音声区間検出装置を構成する。音声区間検出部５００は、入力信号中で音声が現れていると見られる区間すなわち音声区間を、雑音レベル推定部４００にて推定された雑音レベルに基づき検出する。認識部６００は、語彙を形成している複数の単語それぞれに対し、音声区間検出部５００にて検出された音声区間における入力信号が有している尤度を求め、求めた尤度を互いに比較判定することにより、その音声区間に係る単語を認識する。
【００２９】
図２に、この実施の形態に係る装置のより具体的な機能構成を示す。図中、音声入力部１は、マイク、電話回線等から与えられる入力信号に関しゲイン調整、フィルタリング等の処理を施し、ディジタル信号としてエコーキャンセル部３に供給する。エコーキャンセル部３は、音声入力部１から与えられる入力信号に含まれている漏れ込み音声をキャンセルする。すなわち、入力信号に応答するため応答音声出力部２が応答音声をスピーカ、電話回線等に出力しており、この応答音声の一部がスピーカとマイクの結合あるいは電話回線を介して入力信号に漏れ込むことがあるため、エコーキャンセル部３は、応答音声出力部２によって生成される応答音声を近端信号、音声入力部１から与えられる信号を遠端信号としてエコーキャンセルを行う。エコーキャンセルが施され、その結果漏れ込み音声成分が減衰した入力信号は、音声分析部４に入力される。音声分析部４は、入力信号を所定速度でサンプリングし、相連続する所定数のサンプルの集合であるところのフレーム毎に、音響特徴ベクトル及び音響パワーを抽出する。音響特徴ベクトルは、入力信号における音響特徴量を表しており、後述の認識部７において音声認識の際に用いられる。
【００３０】
音声分析部４にて得られた音響パワーは、音声区間検出部６、特に更新判定部８に供給される。更新判定部８は、音声分析部４から与えられた音響パワーが、雑音として生じ得る範囲内にあるか否か、すなわち図３における「頻度作成に用いるパワーの範囲」内にあるか否かを判定し、あると判定した場合には頻度情報更新部９に対し、頻度情報の更新を指令する。頻度情報更新部９は、頻度情報を更新せよと指令されると、頻度情報記憶部１３上に記憶されている頻度情報を更新する。頻度情報記憶部１３上には、図３の右端に示されているように、「頻度作成に用いるパワーの範囲」に属するパワーを呈した過去所定数のフレームについて、頻度分布図が作成されている。頻度情報更新部９によって行われる処理は、新たに到来したフレームであって「頻度作成に用いるパワーの範囲」に属する音響パワーを有するフレームについて、この頻度分布図に反映させるとともに、それまで頻度分布図に反映されていた過去のフレームのうち最も古いものを頻度分布図から削除する処理である。従って、頻度情報記憶部１３上には、過去一定フレーム数分の入力信号についての頻度分布図（但し、「頻度作成に用いるパワーの範囲」内の音響パワーを有するものに限る）が常に保持されることになる。
【００３１】
雑音レベル判定部１０は、頻度情報記憶部１３上に作成されている頻度分布図から、最大頻度を有する階級を検出する。雑音レベル判定部１０は、更に、最大頻度を有する階級に係るパワーすなわち最大頻度パワーの上下所定範囲内にあり、かつ最大頻度パワーのβ倍以上（βは０〜１の値を有する定数）のパワーに係る複数の階級を選択する。この段階で選択される複数の階級は、図３においては「頻度分布において選択されたパワーの範囲」と記されている。雑音レベル判定部１０は、このようにして選択した複数の階級から構成される部分分布における音響パワーの平均値Ｍ及び分散値Ｓを求める。
【００３２】
閾値設定部１１は、雑音レベル判定部１０により求められた平均値Ｍ及び分散値Ｓに基づき、始端・終端検出部１２にて用いる閾値Ｔhrを設定する。ここに、閾値設定部１１における閾値Ｔhrの設定は、例えば次の式
【数１】
【数２】
Ｔhr＝ｍａｘ（Ｍ＋Ｄ，Ｌｅａｋ）
により閾値ＨHRを求めるという処理である。上に記した２個の式にあらわれている定数及び変数のうち、αは予め定められている定数である。また、Ｄmax 及びＤmin は余裕Ｄの上限及び下限を規制するための定数である。さらに、Ｌｅａｋは、漏れ込み量判定部５によって求められる漏れ込み量である。漏れ込み量判定部５はエコーキャンセル後の入力信号に含まれている漏れ込み音声の成分を推定し、そのレベルＬｅａｋを求める部材である。漏れ込み量判定部５は、例えば、応答音声出力部２の出力に基づきテーブルを参照することにより漏れ込み音声のレベルＬｅａｋを求める。このテーブルは、応答音声出力部２の出力と、エコーキャンセル部３から音声分析部４に与えられる入力信号中の漏れ込み音声との対応関係を、予め行われる実験に求めておき、求めた対応関係をテーブル化することにより得られる。なお、応答音声出力部２が応答音声を出力していないときには、漏れ込み量判定部５はレベルＬｅａｋを０にする。従って、上の２式に従いＴhrを設定することにより、入力信号に含まれる雑音のレベルあるいは信号対雑音比（Ｓ／Ｎ比）に応じて閾値Ｔhrを追従変化させることができ、また漏れ込み音声のレベルＬｅａｋに対して同様に閾値Ｔhrを追従変化させることができる（図４参照）。
【００３３】
始端・終端検出部１２は、閾値設定部１１にて設定されたＴhrを用いて、音声区間を検出する。すなわち、音声分析部４から出力される信号の音響パワーが閾値Ｔhrよりも大きいフレームがＴepフレーム以上続いたとき、始端・終端検出部１２は、音響パワーが閾値Ｔhrを超え始めたフレームからＴpre フレーム前を始端候補として検出する。また、音響パワーが閾値Ｔhrを下回ったときは、下回る直前のフレームからＴpos フレーム後のフレームを終端候補として検出する。
【００３４】
音声分析部４にて抽出される音響パワーの波形が例えば図５に示されるような波形である場合には、終端候補が検出された後さほど時間をおかないうちに次の始端候補が検出されることになるため、始端候補、終端候補、始端候補、終端候補、・・・、終端候補というように始端候補と終端候補が連続的に複数個交互に現れることになる。始端・終端検出部１２は、最後に検出した終端候補に対応する閾値下回り開始時点から所定時間Ｔend が経過するまでに音響パワーが閾値Ｔhrを上回らなかった場合、最初の始端候補から始まった始端候補、終端候補、・・・、終端候補という一連の区間の連鎖をとらえたと見なし、最初の始端候補から最後の終端候補に至る区間に含まれる各始端候補と各終端候補の組み合わせについて、音声区間として切り出せるか否かを判定する。例えば、図５に示される例では、合計３個の始端候補及び合計３個の終端候補があるから、任意の始端候補とこの始端候補よりも後に発生する終端候補の組み合わせは合計６通り存在する。始端・終端検出部１２は、このようにして検出した始端候補及び終端候補に関する情報を認識部７に供給する。
【００３５】
また、始端・終端検出部１２は、応答音声出力部２の出力を適宜停止／再開させる制御も実行する。すなわち、ある始端候補に対応する音響パワー閾値上回り時点から所定時間Ｔwordが経過した時点で音響パワーが所定の条件値Ｐmax を超えている場合には、始端・終端検出部１２は単語検出信号を出力し、応答音声出力部２からの応答音声の出力を停止させる。また、ある終端候補に対応する音響パワー閾値下回り時点から所定時間Ｔend が経過した時点で、音響パワーが閾値Ｔhrを下回っていたときに、始端・終端検出部１２は単語終了信号を応答音声出力部２に供給し、応答音声出力部２からの応答音声の出力を再開させる。このような処理を実行することにより、入力信号中で音声が存在する可能性が高い期間について応答音声出力部２からの応答音声の出力を停止させることができ、従って漏れ込み音声が入力信号中の音声にかかる音声区間の切り出しや音声認識に与える影響を抑制することができる。
【００３６】
認識部７は、始端・終端検出部１２にて検出された始端候補及び終端候補と、音声分析部４にて抽出された特徴量ベクトルとに基づき音声認識処理を実行し、その結果を図示しない後段の装置に供給する。より具体的には、始端候補Ｆs(i)（ｉ＝１，２，・・・，ｎ：ｎは自然数）と終端候補Ｆe(j)（ｊ＝１，２，・・・，ｎ）のうち、Ｆs(i)＜Ｆe(j)となる始端候補Ｆs(i)から終端候補Ｆe(j)までのＶＱ距離値ＤVQ(i,j)を求めるとともに、これらの始端候補Ｆs(i)及び終端候補Ｆe(j)にて規定される音声区間に係る入力信号と、語彙を構成する単語ｗｏｒｄ（ｋ）の間の認識距離値Ｄrec(i,j)（ｗｏｒｄ（ｋ））を求め、これらの情報に基づき次の式
【数３】
【００３７】
従って、この実施の形態によれば、最大頻度パワーに基づき取り出した部分分布におけるパワーの情報を基礎として、この部分分布における平均値Ｍの演算等により雑音レベルを推定しているため、入力信号に非定常雑音が重畳していたとしても、この非定常雑音の影響が雑音レベルの推定値に現れることが少なく、従って音声区間の切り出しや音声認識に係る処理に非定常雑音の影響が現れることを好適に防止することができる。また、頻度分布図を作成するのに先立って、音声分析部４にて抽出された音響パワーを上下限制限し所定範囲内に属するパワーを有するフレームのみを頻度分布図作成に使用するようにしているため、非定常雑音の影響を、この面でも好適に排除することができる。更に、頻度分布図の作成に際して最古のフレームに係る音響パワーに係る情報を逐次除外していくようにしているため、雑音レベルの推定値を逐次更新できる。更に、最大頻度パワーに応じて選んだ複数の階級に係るパワーから雑音レベルの推定を行っていることとの結合により、頻度分布図を作成するためのフレーム個数を少なくすることができるため、雑音レベルの変動に対してその推定値を好適に追従させることができる。更に、作成した頻度分布図から部分分布を比較的簡易な論理にて取り出しているため、非定常雑音の影響排除等の効果を、比較的容易に得ることができる。
【００３８】
更に、閾値Ｔhrを設定する際、余裕Ｄを加味しているため、平均値Ｍ近傍での雑音レベル変動を拾うことが少なくなる。このとき、分散値Ｓを用いているため、入力信号のＳ／Ｎ比に応じた閾値Ｔhrの設定が可能になる。また、漏れ込み音声のレベルＬｅａｋにより閾値Ｔhrを下限制限するようにしているため、漏れ込み音声が原因となった音声区間の切出し誤りや、音声認識の誤りを、より確実に防止することができる。更に、始端・終端検出部１２にて単語検出信号及び単語終了信号を発生させ、応答音声出力部２を停止／再開制御するようにしているため、漏れ込み音声を抑制することができる。更に、漏れ込み音声のレベルＬｅａｋの推定は、テーブルに基づき行っているため、複雑な演算を必要としない。更に、始端候補及び終端候補を検出する際に、音響パワーが閾値Ｔhrを上回る期間が、Ｔepより短いものについては始端候補及び終端候補として検出しないようにしたため、音声区間の切り出しをより正確なものとすることができる。
【００３９】
更に、認識部７において、正規化された距離Ｄn(i,j)（ｗｏｒｄ（ｋ））に基づき尤度判定を行っているため、入力信号に含まれる音声の前後に付帯する雑音源、例えばマイクへの息の吹きかけ等による雑音の影響を排除することができる。
【００４０】
実施の形態２．
この発明の実施の形態２は、実施の形態１と同様、図１及び図２に示される構成の装置にて実現することができる。この実施の形態２が実施の形態１と相違する点は、始端・終端検出部１２にて検出した始端候補及び終端候補の全てを認識部７に供給するのではなく、検出した始端候補のうち最先の所定個数と、検出した終端候補のうち最近の所定個数とを、認識部７に供給する点にある。すなわち、認識部７へ供給する始端候補の個数及び終端候補の個数をいずれも上限制限しているため、この実施の形態においては、認識部７における音声認識処理に係る情報量が低減されることになり、実施の形態１に比べ情報処理量の少ない効率的な音声認識装置を実現することが可能になる。
【００４１】
【発明の効果】
この発明に係る音声区間検出方法によれば、入力信号における雑音レベルを推定する際、入力信号のパワー分布における最大頻度パワーに応じてこのパワー分布から取り出した部分分布に係るパワーの情報を基礎としているため、入力信号に非定常雑音が重畳しているときでも、この非定常雑音を反映しているパワー情報が、雑音レベルの推定基礎に含まれることがなく又はその可能性が小さいため、雑音レベルの推定値に及ぼす非定常雑音の影響を好適に排除できる。
【００４２】
この発明に係る音声区間検出方法によれば、雑音にて生じるパワーが取り得る範囲から入力信号のパワーが脱している期間を除外してパワー分布を作成するようにしたため、更に好適に、非定常雑音の影響を好適に排除できる。
【００４３】
この発明に係る音声区間検出方法によれば、パワー分布の作成に使用できる新しい入力信号の到来に応じ、それまでパワー分布の作成に使用されていた入力信号の中で最古のものを除外し、これにより、パワー分布の作成に用いる期間を逐次移動させるようにしているため、雑音レベルの推定値を逐次更新できる。更に、上述のように部分分布に係るパワーから雑音レベルの推定を行っていること（即ち非定常雑音の影響の排除）と、パワー分布の作成に用いる期間を逐次移動させることとを結合させているため、パワー分布を作成するためのパワー情報を得る期間を短くすることができ、従って実際の雑音レベルの変動に対しその推定値を好適に追従させることができる。
【００４４】
この発明に係る音声区間検出方法によれば、最大頻度パワー上下の所定のパワー範囲に属する一連の階級を、雑音レベル推定の基礎たる部分分布として取り出すようにしたため、比較的簡易な演算にて、雑音レベルの推定値に及ぼす非定常雑音の影響を好適に排除できる。
【００４５】
この発明に係る音声区間検出方法によれば、最大頻度に対する比率が所定値以上の頻度を呈する一群の階級を、雑音レベル推定の基礎たる部分分布として取り出すようにしたため、比較的簡易な演算にて、雑音レベルの推定値に及ぼす非定常雑音の影響を好適に排除できる。
【００４６】
この発明に係る音声区間検出方法によれば、雑音レベル推定の基礎たる部分分布におけるパワーの平均値を、雑音レベルの推定値としているため、比較的簡易な処理にて、雑音レベルの推定値に及ぼす非定常雑音の影響を好適に排除できる。
【００４７】
この発明に係る音声区間検出方法によれば、この発明に係る雑音レベル推定方法にて得た雑音レベルの推定値にて、音声区間を検出するようにしたため、雑音レベルの推定誤差による音声区間の検出誤りを防止乃至低減できる。
【００４８】
この発明に係る音声区間検出方法によれば、雑音レベルの推定値に余裕を加えた値を閾値とし、入力信号のパワーをこの閾値と比較することにより音声区間を検出するようにしたため、定常雑音の影響を好適に排除できる。
【００４９】
この発明に係る音声区間検出方法によれば、雑音レベルの推定の基礎たる複数の階級に係るパワーの分散を求め、この分散に基づき、雑音レベルの推定値に対する閾値の余裕を設定するようにしたため、雑音の分散の変化を反映させながら、即ち入力信号のＳ／Ｎに応じて閾値を変えながら、定常雑音の影響を好適に排除できる。
【００５０】
この発明に係る音声区間検出方法によれば、入力信号に含まれる雑音のうちそのレベルを予め推定可能なレベル推定可能成分についてそのレベルを推定し、更に、閾値がこのレベルを下回っているときにはこのレベルを閾値に代えて使用するようにしたため、入力信号に含まれる雑音のうちそのレベルを推定できるものについては統計的処理によらずより確実に対処できる。
【００５１】
この発明に係る音声区間検出方法によれば、入力信号に対する応答が当該入力信号に漏れ込んだ成分又はこの成分のうち入力信号から応答をキャンセルする処理にてキャンセルされずに残された成分について、そのレベルの推定を行い、推定により得られたレベルを適宜閾値として用いるようにしたため、上掲の応答の漏れ込みに係る期間を誤って入力信号に係る音声区間として検出してしまうことを防ぐことができ、特に、入力信号に対する自動音声応答を行うシステムにおける正確な音声区間検出を実現できる。
【００５２】
この発明に係る音声区間検出方法によれば、音声区間の開始に応じて入力信号への応答を禁止し、音声区間の終了に応じて応答を許可するようにしたため、応答が入力信号に漏れ込むことをより確実に防ぐことができる。
【００５３】
この発明に係る音声区間検出方法によれば、音声区間の開始から所定時間経過した時点で入力信号のレベルが所定値を上回っているときに応答を禁止し、当該音声区間の終了から所定時間経過した時点で次の音声区間が始まっていないときに応答を許可するようにしたため、やはり、応答が入力信号に漏れ込むことをより確実に防ぐことができる。
【００５４】
この発明に係る音声区間検出方法によれば、レベル推定可能成分のレベルを、事前に構築されているテーブル情報に基づき推定するようにしたため、複雑な処理なしで比較的信頼に足るレベル情報を得ることができる。
【００５５】
この発明に係る音声区間検出方法によれば、閾値を用いて求めた始端候補及び終端候補にて規定される区間のうち、“始端候補から終端候補までの間に所定時間以上が経過している”という条件が成り立つ始端候補及び終端候補にて規定される区間を音声区間として検出するようにしたため、始端候補から終端候補までの時間が比較的短く音声認識等に供すべきでない区間を除外できる。
【００５６】
この発明に係る音声区間検出方法によれば、入力信号のパワーが閾値を上回るに至った時点から所定の余裕時間前の時点を始端候補とし、入力信号のパワーが閾値を下回るに至った時点から所定の余裕時間後の時点を終端候補としているため、入力信号のパワー時間変動曲線が閾値と交差する点の近傍に余裕を与えることができ、より正確に音声区間を検出できる。
【００５７】
この発明に係る音声認識方法によれば、この発明に係る音声区間検出方法にて検出した音声区間における入力信号が、語彙を形成している複数の単語それぞれに対し有している尤度を、求め、得られた尤度同士の比較判定を行うことによりこの音声区間に係る単語を認識するようにしたため、音声区間の正確な検出に伴う正確な音声認識結果が得られる。
【００５８】
この発明に係る音声認識方法によれば、音声区間における入力信号の特徴量ベクトルに基づき入力信号から複数の単語各々までの認識距離を求め、当該音声区間の始端候補の直前に入力信号のパワーが閾値を上回るに至った時点から当該音声区間に係る終端候補の直後に入力信号のパワーが閾値を下回るに至った時点までの経過時間にて認識距離又はこれからＶＱ距離を減じた値を正規化し、正規化された距離情報に基づき上記比較判定を行うようにしたため、入力信号に係る音声の前後に付帯する雑音例えばマイクへの息の吹きかけによる雑音の影響を排除できる。
【００５９】
この発明に係る音声認識方法によれば、終端候補から所定の下限時間が経過しないうちに次の始端候補が到来するという状況が所定の上限回数以上繰り返されたときに、当該繰返しの過程で検出された複数の始端候補のうち最先の所定個数を、音声区間の検出に供するようにしたため、音声認識に係る情報処理量を軽減できる。
【００６０】
この発明に係る音声認識方法によれば、終端候補から所定の下限時間が経過しないうちに次の始端候補が到来するという状況が所定の上限回数以上繰り返されしかる後終端候補から上記下限時間が経過しても次の始端候補が到来しないという状況が発生したときに、当該繰返しの過程で検出された複数の終端候補のうち最後の所定個数を、音声区間の検出に供するようにしたため、やはり、音声認識に係る情報処理量を軽減できる。
【００６１】
この発明に係る音声区間検出装置によれば、入力信号から音声分析により得られたパワー情報に基づき入力信号のパワー分布に関する情報を作成し逐次更新する頻度情報更新部と、パワー分布にて最大頻度を呈する階級である最大頻度パワーを含む複数の階級をパワー分布から取り出し取り出した複数の階級から構成される部分分布に係るパワーに基づき入力信号における雑音レベルを推定する雑音レベル判定部と、入力信号中で音声が現れていると見られる区間である音声区間の始端候補及び終端候補を入力信号における雑音レベルの推定値に基づき検出する始端・終端検出部とを設けるようにしたため、この発明に係る音声区間検出方法を好適に実現できる。
【００６２】
この発明に係る音声認識装置によれば、この発明に係る音声区間検出装置と、語彙を形成している複数の単語それぞれに対し音声区間における入力信号が有している尤度を求め比較判定することにより当該音声区間に係る単語を認識する認識部とを設けるようにしたため、この発明に係る音声認識方法を好適に実現できる。
【００６３】
この発明に係る音声認識装置によれば、認識部が、音声区間における入力信号の特徴量ベクトルに基づき当該入力信号から複数の単語各々までの認識距離を求め、この音声区間に係る入力信号のパワーが上記閾値を上回るに至った時点からその後当該閾値を下回るに至った時点までの経過時間にて認識距離又はこれからＶＱ距離を減じた値を正規化し、正規化された距離情報に基づき比較判定を行うようにしたため、この発明に係る音声認識方法を好適に実現できかつ付帯雑音の影響を受けにくい音声認識装置を実現できる。
【図面の簡単な説明】
【図１】 この発明の実施の形態１及び２に係る装置の構成を示すブロック図である。
【図２】 この発明の実施の形態１及び２に係る装置のより具体的な構成を示すブロック図である。
【図３】 この発明の実施の形態１及び２における入力信号パワー波形及びその頻度分布の一例を示す図である。
【図４】 この発明の実施の形態１及び２における応答音声出力、応答音声が漏れ込まない場合の入力信号、及び応答音声が漏れ込んだ入力信号のパワー波形を示すタイミングチャートである。
【図５】 この発明の実施の形態１及び２における始端候補及び終端候補の設定、音声区間の切り出し、単語検出信号及び単語終了信号の生成タイミング並びに音声認識の対象となる区間を示すタイミングチャートである。
【符号の説明】
１００ 分布作成部、２００ 最大頻度検出部、３００ 部分分布抽出部、４００ 雑音レベル推定部、５００ 音声区間検出部、６００ 認識部、１ 音声入力部、２ 応答音声出力部、３ エコーキャンセル部、４ 音声分析部、５ 漏れ込み量判定部、６ 音声区間検出部、７ 認識部、８ 更新判定部、９ 頻度情報更新部、１０ 雑音レベル判定部、１１ 閾値設定部、１２ 始端・終端検出部、１３ 頻度情報記憶部。
Claims (14)
- 入力信号を所定速度でサンプリングして相連続する所定数のサンプルの集合であるフレーム毎に入力信号パワーを抽出し、入力信号から雑音にて生じるパワーが取り得る範囲から上記入力信号パワーが脱しているフレームを除外し、新たな入力信号のフレームの到来に応じて最古の入力信号のフレームを除外することにより保持される過去所定数分の入力信号のフレームに基づいて、フレーム毎の入力信号パワーにより表される階級と各階級に対応付けられた入力信号パワーの出現頻度を表すフレーム数とを対応付けたパワー分布を作成する分布作成ステップと、
上記パワー分布にて最も出現頻度の高い入力信号パワーである最大頻度パワーを検出する最大頻度検出ステップと、
上記最大頻度パワーの上下所定の入力信号パワーの範囲に属し、かつ最大頻度パワーの出現頻度のβ倍以上（βは０〜１の値を有する定数）の出現頻度の入力信号パワーに係る複数の階級と各階級に対応付けられた複数のフレーム数とを上記パワー分布から部分分布として取り出す部分分布抽出ステップと、
上記部分分布における入力信号パワーの平均値Ｍと上記部分分布における入力信号パワーの分散値Ｓとを求め、入力信号パワーの平均値Ｍを上記入力信号における雑音レベルと推定する雑音レベル推定ステップと、
上記分散値Ｓと定数αとを乗算した値α・Ｓが余裕Ｄの上限値Ｄｍａｘ以上のときはＤｍａｘを余裕Ｄと設定し、α・Ｓが余裕Ｄの上限値Ｄｍｉｎ以下のときはＤｍｉｎを余裕Ｄと設定し、α・ＳがＤｍｉｎを超えＤｍａｘ未満のときはα・Ｓを余裕Ｄと設定し、これによって設定された余裕Ｄと平均値Ｍとを加算した値を閾値Ｔｈｒとし、上記入力信号のパワーを当該閾値Ｔｈｒと比較することにより上記入力信号中で音声が現れていると見られる区間である音声区間を検出する音声区間検出ステップと、
を有することを特徴とする音声区間検出方法。 - 上記音声区間検出ステップにて、上記入力信号に含まれる雑音のうちそのレベルを予め推定可能なレベル推定可能成分について当該レベルを予め推定し、上記閾値がこのレベルを下回っているときにはこのレベルを当該閾値に代えて使用することを特徴とする請求項１記載の音声区間検出方法。
- 入力信号を検知した場合に何らかの応答信号を出力する音声認識装置により実行され、
上記レベル推定可能成分が、上記入力信号に対して応答するために出力される応答信号が当該入力信号に漏れ込んだ成分又はこの成分のうち当該入力信号から当該応答信号をキャンセルする処理にてキャンセルされずに残された成分であることを特徴とする請求項２記載の音声区間検出方法。 - 上記音声区間検出ステップにて、上記音声区間の開始に応じて上記応答信号の出力を禁止し、当該音声区間の終了に応じて上記応答信号の出力を許可することを特徴とする請求項３記載の音声区間検出方法。
- 上記音声区間検出ステップにて、上記音声区間の開始から所定時間経過した時点で上記入力信号のレベルが所定値を上回っているときに上記応答信号の出力を禁止し、当該音声区間の終了から所定時間経過した時点で次の音声区間が始まっていないときに上記応答信号の出力を許可することを特徴とする請求項４記載の音声区間検出方法。
- 上記音声区間検出ステップにて、上記レベル推定可能成分のレベルを、事前に応答信号と入力信号中に漏れ込む応答信号とを対応付けて構築されているテーブル情報に基づき推定することを特徴とする請求項２乃至５のいずれかに記載の音声区間検出方法。
- 上記音声区間検出ステップにて、上記入力信号のパワーが上記閾値を上回るに至った時点から所定の余裕時間前の時点を始端候補に、また当該入力信号のパワーが最後に当該閾値を下回るに至った時点から所定の余裕時間後の時点を終端候補に、それぞれ設定し、その終端候補から所定時間以上が経過している場合に、その始端候補及び終端候補にて規定される区間を、上記音声区間として検出することを特徴とする請求項１乃至６記載の音声区間検出方法。
- 請求項７記載の音声区間検出方法を実行するステップと、
語彙を形成している複数の単語それぞれに対し上記音声区間における入力信号が有している尤度を求め比較判定することにより当該音声区間に係る単語を認識する認識ステップと
を有することを特徴とする音声認識方法。 - 上記認識ステップにて、上記音声区間における入力信号の特徴量ベクトルに基づき当該入力信号から上記複数の単語各々までの認識距離を求め、当該音声区間に係る始端候補の直後に上記入力信号のパワーが上記閾値を上回るに至った時点から当該音声区間に係る終端候補の直前に当該入力信号のパワーが当該閾値を下回るに至った時点までの経過時間にて上記認識距離又はこれからＶＱ距離を減じた値を正規化し、正規化された距離情報に基づき上記比較判定を行うことを特徴とする請求項８記載の音声認識方法。
- 終端候補から所定の下限時間が経過しないうちに次の始端候補及び終端候補が到来するという状況が所定の上限回数以上繰り返されたときに、当該繰返しの過程で検出された複数の始端候補のうち最先の所定個数と各終端候補との組み合わせを上記音声区間に係る単語の認識に用いることを特徴とする請求項８又は９記載の音声認識方法。
- 終端候補から所定の下限時間が経過しないうちに次の始端候補及び終端候補が到来するという状況が所定の上限回数以上繰り返されしかる後終端候補から上記下限時間が経過しても次の始端候補が到来しないという状況が発生したときに、当該繰返しの過程で検出された各始端候補と複数の終端候補のうち最後の所定個数との組み合わせを上記音声区間に係る単語の認識に用いることを特徴とする請求項８乃至１０のいずれかに記載の音声認識方法。
- 入力信号を所定速度でサンプリングして相連続する所定数のサンプルの集合であるフレーム毎に入力信号パワーを抽出し、入力信号から雑音にて生じるパワーが取り得る範囲から上記入力信号パワーが脱しているフレームを除外し、新たな入力信号のフレームの到来に応じて最古の入力信号のフレームを除外することにより保持される過去所定数分の入力信号のフレームに基づいて、フレーム毎の入力信号パワーにより表される階級と各階級に対応付けられた入力信号パワーの出現頻度を表すフレーム数とを対応付けたパワー分布に関する情報を作成し逐次更新する頻度情報更新部と、
上記パワー分布にて最も出現頻度の高い入力信号パワーである最大頻度パワーを検出し、上記最大頻度パワーの上下所定の入力信号パワーの範囲に属し、かつ最大頻度パワーの出現頻度のβ倍以上（βは０〜１の値を有する定数）の出現頻度の入力信号パワーに係る複数の階級と各階級に対応付けられた複数のフレーム数とを上記パワー分布から部分分布として取り出し、上記部分分布における入力信号パワーの平均値Ｍと上記部分分布における入力信号パワーの分散値Ｓとを求め、入力信号パワーの平均値Ｍを上記入力信号における雑音レベルと推定する雑音レベル判定部と、
上記分散値Ｓと定数αとを乗算した値α・Ｓが余裕Ｄの上限値Ｄｍａｘ以上のときはＤｍａｘを余裕Ｄと設定し、α・Ｓが余裕Ｄの上限値Ｄｍｉｎ以下のときはＤｍｉｎを余裕Ｄと設定し、α・ＳがＤｍｉｎを超えＤｍａｘ未満のときはα・Ｓを余裕Ｄと設定し、これによって設定された余裕Ｄと平均値Ｍとを加算した値を閾値Ｔｈｒと設定する閾値設定部と、
上記入力信号のパワーを当該閾値Ｔｈｒと比較することにより上記入力信号中で音声が現れていると見られる区間である音声区間の始端候補及び終端候補を当該入力信号における雑音レベルの推定値に基づき検出する始端・終端検出部と
を備えることを特徴とする音声区間検出装置。 - 請求項１２記載の音声区間検出装置と、
語彙を形成している複数の単語それぞれに対し上記音声区間における入力信号が有している尤度を求め比較判定することにより当該音声区間に係る単語を認識する認識部と
を有することを特徴とする音声認識装置。 - 上記認識部が、上記音声区間における入力信号の特徴量ベクトルに基づき当該入力信号から上記複数の単語各々までの認識距離を求め、当該音声区間に係る入力信号のパワーが上記閾値を上回るに至った時点から当該閾値を下回るに至った時点までの経過時間にて上記認識距離又はこれからＶＱ距離を減じた値を正規化し、正規化された距離情報に基づき上記比較判定を行うことを特徴とする請求項１３記載の音声認識装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP09687697A JP3888727B2 (ja) | 1997-04-15 | 1997-04-15 | 音声区間検出方法、音声認識方法、音声区間検出装置及び音声認識装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP09687697A JP3888727B2 (ja) | 1997-04-15 | 1997-04-15 | 音声区間検出方法、音声認識方法、音声区間検出装置及び音声認識装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH10288994A JPH10288994A (ja) | 1998-10-27 |
| JP3888727B2 true JP3888727B2 (ja) | 2007-03-07 |
Family
ID=14176630
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP09687697A Expired - Lifetime JP3888727B2 (ja) | 1997-04-15 | 1997-04-15 | 音声区間検出方法、音声認識方法、音声区間検出装置及び音声認識装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3888727B2 (ja) |
Families Citing this family (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006133284A (ja) * | 2004-11-02 | 2006-05-25 | Kddi Corp | 音声情報抽出装置 |
| US8417518B2 (en) | 2007-02-27 | 2013-04-09 | Nec Corporation | Voice recognition system, method, and program |
| JP2008216618A (ja) * | 2007-03-05 | 2008-09-18 | Fujitsu Ten Ltd | 音声判別装置 |
| KR101437830B1 (ko) * | 2007-11-13 | 2014-11-03 | 삼성전자주식회사 | 음성 구간 검출 방법 및 장치 |
| JP5156043B2 (ja) * | 2010-03-26 | 2013-03-06 | 株式会社東芝 | 音声判別装置 |
| JP2011215421A (ja) * | 2010-03-31 | 2011-10-27 | Toshiba Corp | 音声対話装置 |
| CN104464755B (zh) * | 2014-12-02 | 2018-01-16 | 科大讯飞股份有限公司 | 语音评测方法和装置 |
| US9946862B2 (en) * | 2015-12-01 | 2018-04-17 | Qualcomm Incorporated | Electronic device generating notification based on context data in response to speech phrase from user |
| EP4060662A4 (en) | 2019-12-13 | 2023-03-08 | Mitsubishi Electric Corporation | INFORMATION PROCESSING DEVICE, DETECTION METHOD AND DETECTION PROGRAM |
-
1997
- 1997-04-15 JP JP09687697A patent/JP3888727B2/ja not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| JPH10288994A (ja) | 1998-10-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN103456310B (zh) | 一种基于谱估计的瞬态噪声抑制方法 | |
| US6001131A (en) | Automatic target noise cancellation for speech enhancement | |
| EP0996110A1 (en) | Method and apparatus for speech activity detection | |
| EP1887559B1 (en) | Yule walker based low-complexity voice activity detector in noise suppression systems | |
| JP5156043B2 (ja) | 音声判別装置 | |
| CN103440872B (zh) | 瞬态噪声的去噪方法 | |
| EP2148325B1 (en) | Method for determining the presence of a wanted signal component | |
| JP3888727B2 (ja) | 音声区間検出方法、音声認識方法、音声区間検出装置及び音声認識装置 | |
| JP6464005B2 (ja) | 雑音抑圧音声認識装置およびそのプログラム | |
| CN110047470A (zh) | 一种语音端点检测方法 | |
| JP2003517751A (ja) | スペクトル分析による近端話者検出のためのシステムと方法 | |
| US10009477B2 (en) | Pure delay estimation | |
| US6411925B1 (en) | Speech processing apparatus and method for noise masking | |
| CN110349598A (zh) | 一种低信噪比环境下的端点检测方法 | |
| US6560575B1 (en) | Speech processing apparatus and method | |
| JP3929686B2 (ja) | 音声スイッチング装置およびその方法 | |
| KR100303477B1 (ko) | 가능성비 검사에 근거한 음성 유무 검출 장치 | |
| CN113077784B (zh) | 一种角色识别智能语音设备 | |
| Yang et al. | Deep learning-based speech presence probability estimation for noise PSD estimation in single-channel speech enhancement | |
| CN118398022B (zh) | 改进的语音增强降噪方法 | |
| Ghoreishi et al. | A hybrid speech enhancement system based on HMM and spectral subtraction | |
| CN116895281B (zh) | 基于能量的语音激活检测方法、装置及芯片 | |
| Bao et al. | A robust voice activity detection method based on speech enhancement | |
| JP2009069305A (ja) | 音響エコー削除装置および車載装置 | |
| JP6014519B2 (ja) | 確率的な有限状態遷移モデルにおける探索装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040401 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20040401 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20060425 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060509 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060704 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20060815 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20061003 |
|
| A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20061102 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20061128 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20061128 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091208 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101208 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111208 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111208 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121208 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121208 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131208 Year of fee payment: 7 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| EXPY | Cancellation because of completion of term |