JP3009640B2 - 音響モデル生成装置及び音声認識装置 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、隠れマルコフモデ
ル（以下、ＨＭＭという。）などの音響モデルを生成す
る音響モデル生成装置、並びに、生成された音響モデル
を用いて、入力される発声音声文の音声信号に基づいて
音声認識する音声認識装置に関する。

【０００２】

【従来の技術】不特定話者音声認識装置において、認識
性能の向上のために音響モデルとしてのＨＭＭに対して
は、精密性、頑健性の両方が求められる。精密性向上
は、個々の音響単位（例えば音素）毎の音響現象に対し
て、実際の音声サンプルに基づき、如何に忠実なモデリ
ングを行なうか、という問題である。しかしながら、実
際には、使用できる音声サンプル量の不足により、精密
性を追及しすぎると、その音声サンプルのみに特化した
極めて頑健性の低いモデリングが為されてしまう（過学
習）。そのため、音響モデルの頑健性を確保するため
に、しばしば、異なる音響単位間でのモデルパラメータ
の共有が行なわれる。モデルパラメータを共有すること
により、１パラメータ当りの音声サンプル量が増え、そ
の結果、特に音声サンプル中にあまり多く現れなかった
音響単位に対するパラメータ推定値が比較的高い信頼性
を持つことになり、モデリング全体としての頑健性が向
上する。ところが、モデルパラメータを共有するという
ことは、とりもなおさず、「パラメータを共有している
音響単位同士については、少なくとも部分的には、その
識別を行なわない」ということであり、場合によっては
モデリングとしての精密性を犠牲にする可能性がある。

【０００３】このように、精密性と頑健性は、片方を追
及すればもう片方が損なわれるという関係にあり、両者
の平衡点を、音声サンプル量に応じて、出来るかぎり適
切に求めることが重要である。ところで、この平衡点
は、音響モデルと組み合わせる言語モデルの種類によっ
ても異なるであろう。例えば、言語モデルとして、音素
連接規則のみを言語モデルに用いた場合と、単語のＮ−
ｇｒａｍを用いた場合とでは、音響モデルの果たすべき
役割も異なるように思われる。

【０００４】前者の場合は、音響モデルの音素識別能
力、即ち精密性に対する要求が強くなるであろう。なぜ
なら音響モデルで択一的な識別が成功しなければ、音素
連接規則のみによってその誤りを復旧できる可能性は限
られているからである。一方、後者の場合、音響モデル
で必ずしも択一的な識別が成功しなくても、語彙として
許され得る音素並びや、単語の連接確率の制約等によ
り、前者に比べてその誤りを復旧できる可能性は大き
い。つまり、後者のような、比較的強い言語制約を用い
た場合には、緩い言語制約の場合にと比べて、音響モデ
ルに対して、精密性、つまり、「対応する音素に対して
最も高い尤度を与え、かつ他の音素に対しては低い尤度
を与えること」よりも、むしろ、頑健性、つまり、「よ
り多くの分布が、対応する音素に対して、それなりに高
い尤度を与えること」が求められ、そのために、「対応
する音素に対して最も高い尤度を与え、かつ他の音素に
対しては低い尤度を与えること」を多少犠牲にしても、
総合的にはよい結果をもたらすと考えられるのである。

【０００５】ところで、ＨＭＭにおける複数ガウス混合
分布間でのガウス分布共有の先行研究としては、例え
ば、従来技術文献１「X.D.Huang et al.,“Unified Tec
hniques for Vector Quantization and Hidden Markov
Modeling Using Semi-continuous models",Proceddings
of ICASSP'89,pp.639-642,1989年』等に見られる半連
続ＨＭＭの構成法（以下、第１の従来例という。）が代
表的である。また、音声サンプルに基づいて分布の共有
関係を決定する手法としては、逐次状態分割融合法（例
えば、従来技術文献２「鷹見淳一，“状態分割融合法に
よる高効率な隠れマルコフ網の自動作成”，電子情報通
信学会論文誌（Ｄ−ＩＩ），Ｊ７８−Ｄ−ＩＩ，Ｎｏ．
５，ｐｐ．７１７−７２６，１９９５年５月」参照。）
（以下、第２の従来例という。）がある。

【０００６】

【発明が解決しようとする課題】しかしながら、第１の
従来例の手法による共有関係は、「ガウス混合分布間の
パラメトリックな距離に基づいて決定されており、実際
の音声サンプルの特性が反映されない」という欠点があ
る。また、第２の従来例においては、 （ａ）ガウス混合分布間のパラメトリックな距離に基づ
いて共有関係を仮決定した後に、その最終的採否のみを
音声サンプルを用いて行なうために、必ずしも、音声サ
ンプルの特徴に基づく共有構造が形成される保証がな
い。 （ｂ）ガウス分布の共有が、ガウス混合分布のコンポー
ネント全体を単位としてしか行なわれないため、分布の
表現力に欠ける。 （ｃ）基本的に、一状態についての融合の決定毎にＨＭ
Ｍ全体のパラメータ再推定を行なうため、共有関係の最
終的な決定までに長い時間を要する。という欠点があ
る。

【０００７】本発明の目的は以上の問題点を解決し、音
声データの特性をより精密に反映することができるとと
もに、不特定話者音響モデルの表現力を従来例に比較し
て向上させることができ、しかもより高い音声認識率で
音声認識することができる音響モデルを生成するための
音響モデル生成装置、及び音声認識装置を提供すること
にある。

【０００８】

【課題を解決するための手段】本発明に係る請求項１記
載の音響モデル生成装置は、所定の音声データの特徴パ
ラメータに基づいて、所定の学習アルゴリズムにより、
初期の隠れマルコフモデルを生成する第１の生成手段
と、上記音声データに対して初期の隠れマルコフモデル
が起こす、所定の時間のフレーム単位の識別誤りである
フレーム誤りの傾向に基づいて隠れマルコフモデルのガ
ウス混合分布のコンポーネントを追加することにより、
上記第１の生成手段によって生成された初期の隠れマル
コフモデルを再構成して、再構成された隠れマルコフモ
デルを生成する第２の生成手段と、上記音声データの特
徴パラメータに基づいて、所定の学習アルゴリズムによ
り、上記第２の生成手段によって生成された隠れマルコ
フモデルを再学習することにより、再学習された隠れマ
ルコフモデルである音響モデルを生成する第３の生成手
段とを備えたことを特徴とする。

【０００９】また、請求項２記載の音響モデル生成装置
は、請求項１記載の音響モデル生成装置において、上記
第２の生成手段は、上記初期の隠れマルコフモデルと上
記音声データとの間でビタビアラインメント処理を実行
することにより、（ａ）上記初期の隠れマルコフモデル
中に含まれるガウス混合分布のビタビ系列と、（ｂ）上
記音声データの各フレームに対して最も高い尤度を与
え、上記初期の隠れマルコフモデル中に各ガウス混合分
布のコンポーネントとして含まれるガウス分布の最尤系
列とを得る第１の処理手段と、上記第１の処理手段によ
って得られた、ガウス混合分布のビタビ系列、及びガウ
ス分布の最尤系列における、時刻を同じくするガウス混
合分布と、ガウス分布の組み合わせのそれぞれの出現頻
度に基づいて、上記初期の隠れマルコフモデル中に含ま
れるガウス混合分布とガウス分布の全ての組み合わせに
ついて、各ガウス混合分布においてフレーム誤りが生じ
てかつそのときの最尤ガウス分布が当該組み合わせのガ
ウス分布であるときのフレーム誤り確率を演算し、演算
された各フレーム誤り確率が所定のしきい値を越えると
きに当該ガウス分布を、当該ガウス混合分布の新たなコ
ンポーネントとして追加する第２の処理手段とを備え、
上記第２の処理手段によって各ガウス混合分布の新たな
コンポーネントとして追加された各ガウス分布は、当該
ガウス分布が上記初期の隠れマルコフモデル中で、コン
ポーネントとして属していたガウス混合分布と、上記第
２の処理手段によって新たにコンポーネントとして属す
ることになったガウス混合分布との双方から共有される
コンポーネントとなることを特徴とする。

【００１０】さらに、本発明に係る音声認識装置は、請
求項１又は２記載の音響モデル生成装置によって生成さ
れた音響モデルを用いて、入力される発声音声文の音声
信号に基づいて音声認識する音声認識手段を備えたこと
を特徴とする。

【００１１】

【発明の実施の形態】以下、図面を参照して本発明に係
る実施形態について説明する。

【００１２】図１に本発明に係る一実施形態の連続音声
認識装置のブロック図を示す。本実施形態においては、
単語単位のＮ−ｇｒａｍを用いた音声認識装置におい
て、既学習の音響モデル（ＨＭＭ）が、緩い言語制約で
の音声認識向きの、精密性過多の状態にあるという仮定
の下に、その頑健性を増すべく、既学習ＨＭＭにおける
複数ガウス混合分布間でのガウス分布共有を行う。モデ
リングの観点からは、この共有構造が、音声サンプルに
基づいて決定されることが望ましい。本実施形態では、
従来技術の問題点を解決するために、（ａ）音声データ
のみに基づいてガウス分布の共有関係を決定する、
（ｂ）ガウス分布の共有を各ガウス分布毎に行う、並び
に、（ｃ）共有構造決定のためのパラメータ再推定が１
回しか行なわないために、短時間で共有関係の決定が可
能である複数ガウス混合分布間でのガウス分布共有の方
法を用いる。

【００１３】本実施形態の音声認識装置は、図１に示す
ように、（ａ）音声データメモリ３０に格納された所定
の音声データの特徴パラメータに基づいて、所定の学習
アルゴリズムにより、初期のＨＭＭを生成する初期ＨＭ
Ｍ生成部２１と、（ｂ）上記音声データに対して初期の
ＨＭＭが起こす、所定の時間のフレーム単位の識別誤り
であるフレーム誤りの傾向に基づいてＨＭＭのガウス混
合分布のコンポーネントを追加することにより、初期Ｈ
ＭＭ生成部２１によって生成された初期のＨＭＭを再構
成して、再構成されたＨＭＭを生成するＨＭＭ再構成部
２２と、（ｃ）上記音声データの特徴パラメータに基づ
いて、所定の学習アルゴリズムにより、ＨＭＭ再構成部
２２によって生成されたＨＭＭを再学習することによ
り、再学習されたＨＭＭである音響モデルを生成する再
学習部２３とを備えたことを特徴とする。

【００１４】ここで、ＨＭＭ再構成部２２は、（ｂ１）
上記初期のＨＭＭと上記音声データとの間でビタビアラ
イメント処理を実行することにより、上記初期のＨＭＭ
にそれぞれ含まれる複数のガウス混合分布の集合と複数
のガウス分布の集合を得た後、（ｂ２）得られた複数の
ガウス混合分布と複数のガウス分布のすべての組み合わ
せについて、各ガウス混合分布においてフレーム誤りが
生じてかつそのときの最尤ガウス分布が当該組み合わせ
のガウス分布であるときのフレーム誤り確率を演算し、
演算された各フレーム誤り確率が所定のしきい値を超え
るときに当該ガウス分布を、当該ガウス混合分布の新た
なコンポーネントとして追加することを特徴とする。

【００１５】そして、図１の音声認識装置は、再学習部
２３によって生成された音素ＨＭＭを用いて、入力され
る発声音声文の音声信号に基づいて音声認識する。ここ
で、本実施形態の音声認識装置は、公知のワン−パス・
ビタビ復号化法を用いて、入力される発声音声文の音声
信号の特徴パラメータに基づいて上記発声音声文の単語
仮説を検出し音響尤度を計算して出力する単語照合部４
を備えた連続音声認識装置において、単語照合部４から
バッファメモリ５を介して出力される、単語仮説に対し
て、当該単語の各音素の時間方向の中央部の音響尤度の
ピークを、当該中央部よりも遅延された時刻に移動する
ように遅延させて、当該単語仮説の音響尤度を補正する
尤度補正部７と、尤度補正部７から出力される音響尤度
を含む総合尤度を有する単語仮説に基づいて、当該単語
の先頭音素環境毎に、発声開始時刻から当該単語の終了
時刻に至る計算された総合尤度のうちの最も高い尤度を
有する１つの単語仮説で代表させるように単語仮説の絞
り込みを行う単語仮説絞込部６を備える。

【００１６】以下、ＨＭＭの生成処理について詳述す
る。音声データメモリ３０には、不特定話者の音声デー
タの特徴パラメータが予め記憶され、ここで、特徴パラ
メータは、音声波形信号をフレーム単位でＡ／Ｄ変換し
た音声サンプルに対してＬＰＣ分析した得た、対数パワ
ー、１６次ＬＰＣケプストラム係数、Δ対数パワー、及
び１６次Δケプストラム係数を含む。初期ＨＭＭ生成部
２１は、音声データメモリ３０に格納された所定の音声
データの特徴パラメータに基づいて、バーム・ウエルチ
（Ｂａｕｍ−Ｗｅｌｃｈ）の学習アルゴリズムにより、
初期のＨＭＭを生成して、初期ＨＭＭメモリ３１に格納
する。

【００１７】次いで、ＨＭＭ再構成部２２は、音声デー
タメモリ３０内の音声データに基づき、初期ＨＭＭに対
して本実施形態の方法によるガウス混合分布の再構成
（コンポーネント追加、共有）を行なって再構成された
ＨＭＭを再構成されたＨＭＭメモリ３２に格納する。さ
らに、再学習部２３は、再構成後のＨＭＭに対して、パ
ラメータを再推定し、最終的な音素ＨＭＭとして、音素
ＨＭＭメモリ１１に格納する。本実施形態の再構成方法
及びパラメータ再推定においては、基本的に、初期モデ
ルの作成に用いた音声データをそのまま用いる。従っ
て、本処理のために、新たに音声サンプルを用意する必
要はないという利点を有する。

【００１８】さらに、ＨＭＭ再構成処理におけるコンポ
ーネント追加に関する考え方について述べる。本実施形
態の方法の本質は、音声データに対して初期ＨＭＭが起
こすフレーム単位の識別誤り（以下、フレーム誤り）の
傾向を考慮して、ガウス混合分布のコンポーネント追加
を行なうことにある。このフレーム誤りとは、初期ＨＭ
Ｍと音声サンプルによるビタビアライメント（Ｖｉｔｅ
ｒｂｉ ａｌｉｇｎｍｅｎｔ）処理において、以下の条
件を満たす場合を指す。

【数１】

【００１９】ここで、関数ｍａｘ（・）はγ∈Γである
ときに変数γ（ガウス混合分布）を変化したときに関数
値が最大となる値を示す関数である。また、 ｏ_t：時刻ｔにおける特徴ベクトル、 ｇ_t：ビタビアライメント処理によって時刻ｔに割り当
てられたガウス混合分布、Γ：初期ＨＭＭ全体のガウス
混合分布の集合（すなわち、初期ＨＭＭの各状態におけ
る複数のガウス混合分布の集合である。）、 Ｐ（ｏ│ｇ）：分布ｇから特徴ベクトルｏが出力される
ことに対する尤度である。

【００２０】以下、フレーム誤りを事象Ｅで表わし、Ｅ
の余事象をＥ^cと書くことにする。特定の音響現象に対
して、このフレーム誤りを頻繁に起こすガウス混合分布
は、実際の音声認識において、正解経路上で当該音響現
象との照合を行なう際に音響尤度の落ち込みを起こしや
すい。今、時刻ｔについて、以下のガウス分布ｘ_tを考
える。

【数２】 ここで、関数ａｒｇｍａｘは、ξ∈Ξであるときに変数
ξ（ガウス分布）を変化したときに関数値が最大となる
ときの変数ξを示す関数である。また、Ξ：初期ＨＭＭ
全体のガウス分布の集合（すなわち、初期ＨＭＭにおけ
る各状態におけるガウス混合分布の元となるガウス分布
の集合である）である。

【００２１】ｘ_tは、本来、ＨＭＭ全体の中のいずれか
のガウス混合分布のコンポーネントであるが、ここでは
特徴ベクトルｏ_iに対して最大の音響尤度を与える単独
のガウス分布として扱う。さらに、Γの元の時系列｛ｇ
_t｝とΞの元の時系列｛ｘ_t｝について、各元の出現頻度
を分析することにより、条件付きフレーム誤り確率、Ｐ
（Ｅ，ξ│γ）（γ∈Γ，ξ∈Ξ）が得られる。この条
件付きフレーム誤り確率Ｐ（Ｅ，ξ│γ）は、ガウス混
合分布ξにおいてフレーム誤りが生じてかつそのときの
最尤ガウス分布が当該ガウス分布γであるときのフレー
ム誤り確率である。フレーム誤り確率Ｐ（Ｅ，ξ│γ）
がある程度大きい値を持つならば、ガウス混合分布γ
は、ガウス分布ξの近傍の音響現象との照合を行なう際
に音響尤度の落ち込みを起こしやすいといえる。そこ
で、ガウス分布ξをガウス混合分布γのコンポーネント
として新たに追加することにより、その悪影響を抑止出
来ると考えられる。

【００２２】次いで、ＨＭＭ再構成処理のアルゴリズム
について説明する。以下の、（ステップＳＳ１）〜（ス
テップＳＳ５）の処理を実行することにより、ガウス混
合分布のコンポーネント追加、共有が実現される。 （ステップＳＳ１）初期ＨＭＭと音声サンプルの間でビ
タビアライメント処理を実行し、ガウス混合分布の集合
であるΓの元の時系列、すなわちビタビ系列｛ｇ_t｝、
及びガウス分布の集合であるΞの元の時系列、すなわち
ガウス分布の最尤系列｛ｘ_t｝をそれぞれ得る（図７参
照。）。 （ステップＳＳ２）ステップＳＳ１で得た時系列から、
ガウス混合分布γとガウス分布ξの全ての組合せについ
て、条件付きフレーム誤り確率Ｐ（Ｅ，ξ│γ）を得る
（図８参照。）。 （ステップＳＳ３）全てのガウス混合分布γについてス
テップＳＳ４を実行する。 （ステップＳＳ４）全てのガウス分布ξについてステッ
プＳＳ５を実行する。 （ステップＳＳ５）条件付きフレーム誤り確率Ｐ（Ｅ，
ξ│γ）があらかじめ定めたしきい値を越える場合、ガ
ウス混合分布ξを、ガウス分布γの新たなコンポーネン
トとして追加する（図９参照。）。追加したコンポーネ
ントは、ガウス分布γと、ガウス混合分布ξが元々属し
ていたガウス混合分布との間で共有する。 上記ステップＳＳ５のしきい値処理により、音声データ
中に含まれる偶発的な雑音等に起因するフレーム誤りに
対するコンポーネント追加を抑止することが出来る。す
なわち、上記ＨＭＭ再構成処理は、（Ｉ）上記初期ＨＭ
Ｍと上記音声データとの間でビタビアラインメント処理
を実行することにより、（ａ）上記初期ＨＭＭ中に含ま
れるガウス混合分布のビタビ系列と、（ｂ）上記音声デ
ータの各フレームに対して最も高い尤度を与え、上記初
期ＨＭＭ中に各ガウス混合分布のコンポーネントとして
含まれるガウス分布の最尤系列とを得る第１の処理と、
（II）上記第１の処理によって得られた、ガウス混合分
布のビタビ系列、及びガウス分布の最尤系列における、
時刻を同じくするガウス混合分布と、ガウス分布の組み
合わせのそれぞれの出現頻度に基づいて、上記初期ＨＭ
Ｍ中に含まれるガウス混合分布とガウス分布の全ての組
み合わせについて、各ガウス混合分布においてフレーム
誤りが生じてかつそのときの最尤ガウス分布が当該組み
合わせのガウス分布であるときのフレーム誤り確率を演
算し、演算された各フレーム誤り確率が所定のしきい値
を越えるときに当該ガウス分布を、当該ガウス混合分布
の新たなコンポーネントとして追加する第２の処理手段
とを含み、（III）上記第２の処理によって各ガウス混
合分布の新たなコンポーネントとして追加された各ガウ
ス分布は、当該ガウス分布が上記初期ＨＭＭ中で、コン
ポーネントとして属していたガウス混合分布と、上記第
２の処理によって新たにコンポーネントとして属するこ
とになったガウス混合分布との双方から共有されるコン
ポーネントとなる。

【００２３】図３乃至図６は、図１のＨＭＭ再構成部２
２によって実行されるＨＭＭ再構成処理の詳細を示すフ
ローチャートである。まず、図３のステップＳ１で、音
声データ番号ｎのパラメータを０に初期化し、次いで、
ステップＳ２で音声データ＃ｎと初期ＨＭＭとの間でビ
タビのアライメント処理を実行し、ガウス混合分布のビ
タビ系列｛ｇⁿｔ｝及びガウス分布の最尤系列｛ｘⁿｔ｝
を求める。そして、ステップＳ３で全データについてス
テップＳ２の処理を実施したか否かが判断され、ＮＯの
ときステップＳ４でパラメータｎを１だけインクリメン
トした後、ステップＳ２の処理を実行する。一方、ステ
ップＳ３でＹＥＳのときは、図４のステップＳ１１に進
む。

【００２４】図４のステップＳ１１で、すべての計数値
Ｃ（・）を０に初期化し、ステップＳ１２で、音声デー
タ番号ｎのパラメータを０に初期化し、ステップＳ１３
でフレーム番号ｔのパラメータを０に初期化した後、ス
テップＳ１４で、フレーム誤りが生じたか否かが判断さ
れ、フレーム誤りが生じたときは、ステップＳ１５でフ
レーム誤りを計数する計数値Ｃ（Ｅ，ｇⁿｔ｜ｘⁿｔ）を
１だけインクリメントしてステップＳ１７に進む。一
方、ステップＳ１４でフレーム誤りが生じていないとき
は、ステップＳ１６で、フレーム誤りが生じていないこ
とを計数する計数値Ｃ（Ｅ^c｜ｇⁿｔ）を１だけインクリ
メントしてステップＳ１７に進む。ステップＳ１７で
は、音声データ＃ｎの全フレームについてステップＳ１
４の処理を実施したか否かが判断され、ＮＯのときはス
テップＳ１８でパラメータｔを１だけインクリメントし
てステップＳ１４に戻る。一方、ステップＳ１７でＹＥ
ＳのときはステップＳ１９で、全音声データについてス
テップＳ１４の処理を実施したか否かが判断され、ＮＯ
のときはステップＳ２０でデータ番号ｎのパラメータを
１だけインクリメントしてステップＳ１３に戻る。一
方、ステップＳ１９でＹＥＳのときは、図５のステップ
Ｓ２１に進む。

【００２５】図５のステップＳ２１では、ガウス混合分
布の番号ｉのパラメータを０に初期化し、ステップＳ２
２でガウス分布の番号ｊのパラメータを０に初期化した
後、ステップＳ２３で、次式を用いて条件付きフレーム
誤り確率Ｐ（Ｅ,γ_i|ξ_j）を計算する。

【数３】 そして、ステップＳ２４で全ガウス分布についてステッ
プＳ２３の処理を実施したか否かが判断され、ＮＯのと
きはステップＳ２５でパラメータｊを１だけインクリメ
ントしてステップＳ２３に戻る。一方、ステップＳ２４
でＹＥＳのときはステップＳ２６で、全ガウス混合分布
についてステップＳ２３の処理を実施したか否かが判断
され、ＮＯのときはステップＳ２７でパラメータｉを１
だけインクリメントしてステップＳ２２に戻る。一方、
ステップＳ２６でＹＥＳのときは、図６のステップＳ３
１に進む。

【００２６】図６のステップＳ３１では、ガウス混合分
布の番号ｉのパラメータを０に初期化し、ステップＳ３
２でガウス分布の番号ｊのパラメータを０に初期化した
後、ステップＳ３３で、条件付きフレーム誤り確率Ｐ
（Ｅ,γ_i|ξ_j）がしきい値ρ（好ましい実施形態では
０．０１である。）を超えるとき、ガウス混合分布ξを
ガウス分布γの新たなコンポーネントとして追加した
後、ステップＳ３５に進み、一方、ステップＳ３３でＮ
ＯであるときはそのままステップＳ３５に進む。ステッ
プＳ３５で、全ガウス分布についてステップＳ３３の処
理を実施したか否かが判断され、ＮＯのときはステップ
Ｓ３６でパラメータｊを１だけインクリメントしてステ
ップＳ３３に戻る。一方、ステップＳ３５でＹＥＳのと
きは、ステップＳ３７で、全ガウス混合分布についてス
テップＳ３３の処理を実施したか否かが判断され、ＮＯ
のときはステップＳ３８でパラメータｉを１だけインク
リメントしてステップＳ３２に戻る。一方、ステップＳ
３７でＹＥＳのときはステップＳ３９で得られた再構成
ＨＭＭをメモリ３２に格納して、当該ＨＭＭ再構成処理
を終了する。

【００２７】さらに、再学習部２３では、ＨＭＭの再構
成の後、尤度最大、尤度比最大等の基準により、例え
ば、バーム・ウエルチの学習アルゴリズムを用いて、以
下の各パラメータを再推定して、再学習後の音素ＨＭＭ
を音素ＨＭＭメモリ１１に格納する。 （ａ）各ガウス分布の平均、 （ｂ）各ガウス分布の分散 （ｃ）各ガウス混合分布の混合重み （ｄ）状態遷移確率

【００２８】ガウス分布の平均、分散、及び状態遷移確
率については、初期ＨＭＭの値をそのまま初期値として
用いる。また、ガウス混合分布の混合重みについては、
フレーム誤り確率、及びコンポーネント追加実行のしき
い値を考慮して、以下のように初期値を定める。

【００２９】まず、ガウス混合分布γにガウス分布ξが
新たなコンポーネントとして追加された場合の混合重み
初期値を、条件付きフレーム誤り確率の値をそのまま用
いて、次式とする。

【数４】ｗｈ^γ _ξ＝Ｐ（Ｅ，ξ｜γ）

【００３０】コンポーネントが追加されたことにより、
初期ＨＭＭに元々含まれていたコンポーネントの混合重
みに対しても新たな初期値が必要となる。これらを、次
式により与える。

【数５】ｗｈ^γ _ξ＝｛Ｐ（Ｅ^c｜γ）＋Ｐ（Ｅ，Ξ^γ _ρ
｜γ）｝・ｗ^γ _ξ ただし、ｗｈ^γ _ξは、初期ＨＭＭにおける、ガウス分布
ξのガウス混合分布γにおける混合重みである。ここ
で、Ξ^γ _ρは、コンポーネント追加実行のしきい値がρ
のときに、ガウス混合分布γに対するコンポーネント追
加の対象とならないガウス分布の集合であり、以下によ
って与えられる。

【数６】 Ξ^γ _ρ＝｛ξ｜Ｐ（Ｅ，ξ｜γ）＜ρ；ξ∈Ξ｝

【００３１】本実施形態において用いる尤度補正部７の
尤度補正は、遅延決定（Delayed decision）のビーム探
索と呼ぶことができる。この遅延決定のビーム探索は、
第４の従来例のような尤度の先読みや、非線形関数によ
る尤度のマッピングによらずに、すでに探索を終えた経
路の尤度の評価を遅らせることによって、尤度の局所的
変動に対処する。なお、以下の計算において、尤度とは
対数尤度を指すものとする。本実施形態において、各符
号を尤度補正部７においてのみ以下のように定義する。 （ａ）ｔ：時刻； （ｂ）Ｓ：ビーム探索の経路； （ｃ）ｑ_A（Ｓ，ｔ）：経路Ｓ，時刻ｔにおける音響尤
度； （ｄ）Ｑ_A（Ｓ，ｔ）：経路Ｓ，時刻ｔにおける文頭か
ら累積音響尤度； （ｅ）Ｑ_L（Ｓ，ｔ）：経路Ｓ，時刻ｔにおける文頭か
らの累積言語尤度。

【００３２】ここで、音響尤度は、単語照合部４におい
て音素ＨＭＭメモリ１１内の音素ＨＭＭを参照して計算
される尤度であり、言語尤度は、単語照合部４において
統計的言語モデルメモリ１３内の言語モデルを参照して
計算される尤度である。以上のように定義したとき、一
般に、累積音響尤度は１フレーム毎の音響尤度を足し合
わせることによって次式で求められる。

【数７】 Ｑ_A（Ｓ，ｔ）＝Ｑ_A（Ｓ，ｔ−１）＋ｑ_A（Ｓ，ｔ）

【００３３】そして、ビーム探索に使用する文頭からの
累積総合尤度Ｑ_all（Ｓ，ｔ）は、音響尤度Ｑ_A（Ｓ，
ｔ）と言語尤度Ｑ_L（Ｓ，ｔ）を用いて次式で計算され
る。

【数８】 Ｑ_all（Ｓ，ｔ）＝Ｑ_A（Ｓ，ｔ）＋α・Ｑ_L（Ｓ，ｔ）

【００３４】ここで、定数αは言語尤度の音響尤度に対
する重み係数であり、好ましい実施形態においては、α
＝４．５である。本実施形態における、遅延決定のビー
ム探索では、次式に示すように、上記数２において、Ｑ
_A（Ｓ，ｔ）の代わりにＱ_A（Ｓ，ｔ）から遅延音響尤度
Ｑ_Ad（Ｓ，ｔ）を差し引いた尤度Ｑ_A’（Ｓ，ｔ）を使
用する。すなわち、時刻ｔ−１では、次式に示すよう
に、Ｑ_A（Ｓ，ｔ−１）の代わりにＱ_A（Ｓ，ｔ−１）か
ら遅延音響尤度Ｑ_Ad（Ｓ，ｔ−１）を差し引いた尤度Ｑ
_A’（Ｓ，ｔ−１）を使用する。

【００３５】

【数９】 Ｑ_A’（Ｓ，ｔ）＝Ｑ_A（Ｓ，ｔ）−Ｑ_Ad（Ｓ，ｔ） ここで、上記数９の右辺の第２項の尤度Ｑ_Ad（Ｓ，ｔ）
は次式で計算される。

【数１０】Ｄ＝Ｑ_Ad（Ｓ，ｔ−１）＋ｑ_A（Ｓ，ｔ）

【数１１】Ｑ_Ad（Ｓ，ｔ）＝Ｆ（Ｄ）・Ｄ

【００３６】上記数９を書き換えると、上記数７を参照
して書き換えると、次式を得る。

【数１２】Ｑ_A’（Ｓ，ｔ）＝Ｑ_A’（Ｓ，ｔ−１）＋ｑ
_A’（Ｓ，ｔ） ここで、尤度ｑ_A’（Ｓ，ｔ）を次式により決定する。

【数１３】 ｑ_A’（Ｓ，ｔ） ＝ｆ（ｘ） ＝ｆ（ｑ_A（Ｓ，ｔ）＋Ｑ_A（Ｓ，ｔ−１）−Ｑ_A’（Ｓ，ｔ−１）

【００３７】ここで、上記数１３における｛Ｑ_A(Ｓ，ｔ
−１)−Ｑ_A’(Ｓ，ｔ−１)｝は、Ｑ_Ad（Ｓ，ｔ−１）で
あり、本特許出願人による特許出願の特開平９−８１１
８５号公報における実施形態と比較して１時刻前の過小
評価分であり、このデータは、尤度補正部７に接続され
る過小評価尤度メモリ１４に順次記憶されて、次の時刻
ｔにおける音響尤度を補正して総合尤度を計算するため
に用いられる。従って、本実施形態においては、尤度補
正部７は、時刻（ｔ−１）において、各単語仮説に対し
て、１時刻前の過小評価分データである上記数７におけ
る｛Ｑ_A(Ｓ，ｔ−１)−Ｑ_A’(Ｓ，ｔ−１)｝を計算し
て、過小評価尤度メモリ１４に記憶し、次いで、時刻ｔ
において、上記数１２と上記数１３とを用いて、過小評
価するように補正された音響尤度Ｑ_A’（Ｓ，ｔ）を計
算し、次いで、上記数８を書き換えた次式とを用いて、
累積尤度である総合尤度Ｑ’_all（Ｓ，ｔ）を計算し、
当該計算された総合尤度Ｑ’_all（Ｓ，ｔ）を有する単
語仮説をバッファメモリ５を介して単語仮説絞込部６に
出力する。

【数１４】Ｑ’_all（Ｓ，ｔ）＝Ｑ_A’（Ｓ，ｔ）＋α・
Ｑ_L（Ｓ，ｔ）

【００３８】なお、上記数１３において、関数ｆ（ｘ）
は、上記尤度ｘに対する遅延割合を求める第１の関数で
あり、例えば、関数ｘは、ｘが増加するにつれて、概
ね、関数ｆ（ｘ）の傾斜を小さくするように変化する関
数である。また、上記数１１における関数Ｆ（Ｄ）は上
記第１の関数に関連し、尤度Ｄに対する遅延割合を求め
る第２の関数である。

【００３９】次いで、図１の連続音声認識装置の構成及
び動作について説明する。図１において、音素ＨＭＭメ
モリ１１は、単語照合部４に接続され、音素ＨＭＭを予
め記憶し、当該音素ＨＭＭは、各状態を含んで表され、
各状態はそれぞれ以下の情報を有する。 （ａ）状態番号 （ｂ）受理可能なコンテキストクラス （ｃ）先行状態、及び後続状態のリスト （ｄ）出力確率密度分布のパラメータ （ｅ）自己遷移確率及び後続状態への遷移確率 なお、本実施例において用いる音素ＨＭＭは、各分布が
どの話者に由来するかを特定する必要があるため、所定
の話者混合ＨＭＭを変換して作成する。ここで、出力確
率密度関数は３４次元の対角共分散行列をもつ混合ガウ
ス分布である。

【００４０】また、単語辞書メモリ１２は、単語照合部
４に接続され、単語辞書を予め記憶し、当該単語辞書
は、音素ＨＭＭメモリ１１内の音素ＨＭＭの各単語毎に
シンボルで表した読みを示すシンボル列を格納する。さ
らに、統計的言語モデルメモリ１３は、単語照合部４に
接続され、所定の統計的言語モデルを予め記憶する。こ
こで、統計的言語モデルは、例えば、従来技術文献６
「政瀧浩和ほか，“連続音声認識のための可変長連鎖統
計言語モデル”，電子通信情報学会技術報告，ＳＰ９５
−７３，１９９５年１１月」において開示されている、
時間方向の長さが可変である可変長Ｎ−ｇｒａｍと呼ば
れる言語モデルを使用することができる。当該統計的言
語モデルは、品詞クラスと単語との可変長Ｎ−ｇｒａｍ
であり、次の３種類のクラス間のバイグラムとして表現
する。 （ａ）品詞クラス、 （ｂ）品詞クラスから分離した単語のクラス、及び、 （ｃ）連接単語が結合してできたクラス。

【００４１】図１の連続音声認識装置において、特徴抽
出部２と、単語照合部４と、尤度補正部７と、単語仮説
絞込部６と、初期ＨＭＭ生成部２１と、ＨＭＭ再構成部
２２と、再学習部２３とは、例えば、ＣＰＵを備えたデ
ジタル計算機で構成される。また、バッファメモリ３，
５と、音素ＨＭＭメモリ１１と、単語辞書メモリ１２
と、統計的言語モデルメモリ１３と、過小評価尤度メモ
リ１４と、音声データメモリ３０と、初期ＨＭＭメモリ
３１と、再構成されたＨＭＭメモリ３２とは、例えば、
ハードディスクメモリで構成される。

【００４２】図１において、話者の発声音声はマイクロ
ホン１に入力されて音声信号に変換された後、特徴抽出
部２に入力される。特徴抽出部２は、入力された音声信
号をＡ／Ｄ変換した後、例えばＬＰＣ分析を実行し、対
数パワー、１６次ケプストラム係数、Δ対数パワー及び
１６次Δケプストラム係数を含む３４次元の特徴パラメ
ータを抽出する。抽出された特徴パラメータの時系列は
バッファメモリ３を介して単語照合部４に入力される。

【００４３】単語照合部４は、ワン−パス・ビタビ復号
化法を用いて、バッファメモリ３を介して入力される特
徴パラメータのデータに基づいて、音素ＨＭＭメモリ１
１内の音素ＨＭＭと、単語辞書メモリ１２内の単語辞書
と、統計的言語モデルメモリ１３内の統計的言語モデル
とを用いて単語仮説を検出し、音素ＨＭＭに基づいた音
響尤度と、統計的言語モデルに基づいた言語尤度とを計
算して、単語仮説とともに尤度補正部７に出力する。こ
こで、単語照合部４は、各時刻の各ＨＭＭの状態毎に、
単語内の尤度と発声開始からの音響尤度を計算する。音
響尤度及び言語尤度を含む尤度は、単語の識別番号、単
語の開始時刻、先行単語の違い毎に個別にもつ。また、
計算処理量の削減のために、音素ＨＭＭ、単語辞書及び
統計的言語モデルとに基づいて計算される総合尤度のう
ちの低い総合尤度のグリッド仮説を削減する。単語照合
部４は、その結果の単語仮説と総合尤度の情報を発声開
始時刻からの時間情報（具体的には、例えばフレーム番
号）とともに尤度補正部７に出力する。

【００４４】これに応答して、尤度補正部７は、時刻
（ｔ−１）において、各単語仮説に対して、１時刻前の
過小評価分データである上記数７における｛Ｑ_A(Ｓ，ｔ
−１)−Ｑ_A’(Ｓ，ｔ−１)｝を計算して、過小評価尤度
メモリ１４に記憶し、次いで、時刻ｔにおいて、上記数
６と上記数７とを用いて、過小評価するように補正され
た音響尤度Ｑ_A’（Ｓ，ｔ）を計算し、次いで、上記数
８とを用いて、総合尤度Ｑ’_all（Ｓ，ｔ）を計算し、
当該計算された総合尤度Ｑ’_all（Ｓ，ｔ）を有する単
語仮説をバッファメモリ５を介して単語仮説絞込部６に
出力する。

【００４５】単語仮説絞込部６は、尤度補正部７からバ
ッファメモリ５を介して出力される総合尤度を有する単
語仮説に基づいて、終了時刻が等しく開始時刻が異なる
同一の単語の単語仮説に対して、当該単語の先頭音素環
境毎に、発声開始時刻から当該単語の終了時刻に至る計
算された総合尤度のうちの最も高い尤度を有する１つの
単語仮説で代表させるように単語仮説の絞り込みを行っ
た後、絞り込み後のすべての単語仮説の単語列のうち、
最大の総合尤度を有する仮説の単語列を認識結果として
出力する。本実施形態においては、好ましくは、処理す
べき当該単語の先頭音素環境とは、当該単語より先行す
る単語仮説の最終音素と、当該単語の単語仮説の最初の
２つの音素とを含む３つの音素並びをいう。

【００４６】例えば、図２に示すように、（ｉ−１）番
目の単語Ｗ_i-1の次に、音素列ａ₁，ａ₂，…，ａ_nからな
るｉ番目の単語Ｗ_iがくるときに、単語Ｗ_i-1の単語仮説
として６つの仮説Ｗａ，Ｗｂ，Ｗｃ，Ｗｄ，Ｗｅ，Ｗｆ
が存在している。ここで、前者３つの単語仮説Ｗａ，Ｗ
ｂ，Ｗｃの最終音素は／ｘ／であるとし、後者３つの単
語仮説Ｗｄ，Ｗｅ，Ｗｆの最終音素は／ｙ／であるとす
る。終了時刻ｔ_eと先頭音素環境が等しい仮説（図２で
は先頭音素環境が“ｘ／ａ₁／ａ₂”である上から３つの
単語仮説）のうち総合尤度が最も高い仮説（例えば、図
２において１番上の仮説）以外を削除する。なお、上か
ら４番めの仮説は先頭音素環境が違うため、すなわち、
先行する単語仮説の最終音素がｘではなくｙであるの
で、上から４番めの仮説を削除しない。すなわち、先行
する単語仮説の最終音素毎に１つのみ仮説を残す。図２
の例では、最終音素／ｘ／に対して１つの仮説を残し、
最終音素／ｙ／に対して１つの仮説を残す。

【００４７】以上の実施形態においては、当該単語の先
頭音素環境とは、当該単語より先行する単語仮説の最終
音素と、当該単語の単語仮説の最初の２つの音素とを含
む３つの音素並びとして定義されているが、本発明はこ
れに限らず、先行する単語仮説の最終音素と、最終音素
と連続する先行する単語仮説の少なくとも１つの音素と
を含む先行単語仮説の音素列と、当該単語の単語仮説の
最初の音素を含む音素列とを含む音素並びとしてもよ
い。

【００４８】

【実施例】本発明者は、図１の音声認識装置の有効性を
確認するために、以下の実験を行った。上述の方法によ
り、既学習ＨＭＭのガウス混合分布再構成を行なった。
初期ＨＭＭとしては、特許出願人が所有する旅行設定の
コーパス（テキストデータ）の男性話者１７５名による
自然発話音声を学習用音声サンプルとし、公知のＭＬ−
ＳＳＳアルゴリズムによって作成した男性話者用不特定
話者ＨＭｎｅｔを用いた。本ＨＭｎｅｔは前後環境依存
の音素ＨＭＭを状態共有ネットワークによって表現して
いる。初期ＨＭＭに用いたＨＭｎｅｔについての条件を
表１及び表２に示す。

【００４９】

【表１】 音響分析条件 ───────────────────────────── サンプリング周波数：１２ｋＨｚ 量子化：１６ビット線形 プリエンファシス：１−０．９７ｚ^-1 ウインドウ：２０ｍｓハミング フレームシフト：１０ｍｓ 特徴ベクトル：対数パワー＋１６次ＬＰＣケプストラム係数 ＋Δ対数パワー＋１６次Δケプストラム係数 ─────────────────────────────

【００５０】

【表２】 ＨＭｎｅｔの構造に関する条件 ───────────────────────────── （ａ）４０１状態の男性話者独立ＨＭｎｅｔ 状態分割された複数の音素ＨＭＭに対する４００状態 （３つのコンテキスト依存型ＨＭＭ） 無音ＨＭＭに対する１状態 （ｂ）音響単位：日本語２５音素＋無音 （ｃ）混合サイズ：１０混合／状態 （ｄ）共分散タイプ：直交 ─────────────────────────────

【００５１】このＨＭｎｅｔに対して、上記の男性話者
１７５名による自然発話音声を再び用い、コンポーネン
ト追加実行のしきい値ｒ＝０．０１にて、ガウス混合分
布の再構成を行なった。その結果、初期ＨＭＭにおける
総コンポーネント数４０００に対し、全体で２６０３回
のコンポーネント追加が行なわれ、初期ＨＭＭにおいて
一律１０であった各ガウス混合分布の混合数が、１０〜
３６の範囲で分布することとなった（図１０参照。）。

【００５２】次に、コンポーネント追加における混合ガ
ウス分布の追加元と追加先の関係について調べてみる
と、コンポーネント追加の半数以上は、同じ中心音素を
表現する分布同士でが行なわれていることが分かった。
本実験で用いたＨＭｎｅｔは、中心音素毎の異音ＨＭＭ
を環境方向、あるいは時間方向に逐次状態分割して得ら
れたものである。従って、同じ中心音素を表現する分布
同士でのコンポーネント追加は、主に、ＨＭｎｅｔ作成
過程の逐次状態分割により、いずれかの状態で表現不能
になった音響現象を再び表現可能とする働きをしている
と考えることができる。なお、このような、コンポーネ
ント追加が、環境方向、時間方向の両方について行なわ
れていることも確認した。

【００５３】また、パラメータの再推定処理において
は、ガウス混合分布再構成後のＨＭＭに対してパラメー
タの再推定を行なった。パラメータ推定にあたっては、
その基準を適切に選ぶことにより、再構成の効果を最大
限に引き出すことが期待できるが、本実験では、主に、
再構成によるガウス混合分布の構造の変化がもたらす効
果を評価することを目的とし、初期ＨＭＭの作成時と同
様の尤度最大基準を採用した。初期ＨＭＭの作成時、及
び分布再構成時と同様の男性話者１７５名による自然発
話音声を用い、バーム・ウエルチ（Ｂａｕｍ−Ｗｅｌｃ
ｈ）の学習アルゴリズムによって、以下のパラメータを
推定した。 （ａ）ガウス分布の平均、（ｂ）ガウス分布の分散、
（ｃ）ガウス混合分布の混合重み、及び（ｄ）状態遷移
確率。

【００５４】さらに、連続音声認識実験について述べ
る。ガウス混合分布再構成とその後のパラメータ再推定
によって得られた再構成ＨＭＭを用いて、連続音声認識
実験を行い、初期ＨＭＭをそのまま用いた場合（以下、
比較例という。）とその認識率を比較した。実験条件を
以下に示す。 （ａ）連続音声認識器：マルチパス探索と単語グラフ出
力を特徴とする連続音声認識装置（図１参照。）。 （ｂ）言語モデル：可変長単語クラスＮ−ｇｒａｍ、 分離クラス数：５００。 （ｃ）単語辞書：語彙数６９２２ （ｄ）テストデータ：男性オープン話者７名分の旅行会
話音声、特許出願人が所有する旅行設定のコーパス（テ
キストデータ）、８１発声、延べ９３７単語。 （ｅ）評価基準 次式で定義される、単語グラフ中の第一位認識候補に対
する単語アキュラシーと単語％コレクト。

【数１５】単語アキュラシー＝（Ｎ−Ｉ−Ｄ−Ｓ）／Ｎ

【数１６】単語％コレクト＝（Ｎ−Ｄ−Ｓ）／Ｎ ここで、 Ｎ：正解単語数、 Ｉ：挿入誤り数、 Ｄ：脱落誤り数、 Ｓ：置換誤り数。

【００５５】連続音声認識装置のビーム幅、及び言語尤
度重みは、予備実験によって、初期ＨＭＭを用いた音声
認識において単語アキュラシーが最大になるように設定
した。初期ＨＭＭに対する最適設定から、上記で定義さ
れた、言語尤度の音響尤度に対する重み係数αのみを変
化させた際の認識結果を図１１に示す。単語アキュラシ
ー、単語％コレクトいずれについても、再学習後の再構
成ＨＭＭ（実施例）が、初期ＨＭＭ（比較例）を上回っ
ていることが分かる。

【００５６】本実施形態では、音響尤度の局所的落ち込
み抑止を目的とした、既学習のガウス混合分布型不特定
話者ＨＭＭの表現力向上を、音声サンプルを用いたガウ
ス混合分布の再構成によって図る方法を発明した。既学
習ＨＭＭと音声サンプルとの照合によって得られる誤り
傾向に基づいて、コンポーネントの追加と共有を行なう
本方法により、音響尤度の局所的落ち込みを効果的に抑
えることができ、その結果、音声認識率が向上すること
を確認した。

【００５７】さらに、本発明に係る本実施形態の再学習
後の再構成ＨＭＭの効果について以下に考察する。 （ａ）分布の表現力 分布の表現力は個々のガウス混合分布の混合数によって
決まる。逐次状態分割融合法においては、全てのガウス
混合分布に対して混合数が等しくなり、ガウス混合分布
毎に表現するべき対象の細かさに対応できる構造は生成
されない。本発明においては、実施例で、５混合（初期
モデルの混合数）から３６混合に渡る、様々な混合数の
ガウス混合分布が生成されている。また分布の共有構造
によって、ガウス分布の総数はその適用前と変わらない
ので音響モデルとしての頑健性を保ちながら分布の表現
力を高めることが出来る。 （ｂ）共有構造決定のための計算時間 最終的な共有構造の決定に要する時間のほとんどは、学
習データに対する音響モデルの尤度計算に要する時間が
占めている。第２の従来例の逐次状態分割融合法におい
ては、一状態についての融合の決定毎にＨＭＭ全体のパ
ラメータ再推定を行なうため、モデルの総状態数をＮと
したとき、

【数１７】Ｎ＋Ｎ＝２×Ｎ（回） の尤度計算が必要となる。ここで、数１７の左辺第１項
は状態分割毎の尤度計算である。本発明の実施形態にお
いては、全ての状態に関する共有構造を一括して決定す
るため、共有構造そのものの決定に要する尤度計算は２
回である。従って、

【数１８】Ｎ＋２（回） の尤度計算となる。ここで、数１８の左辺第１項は状態
分割毎の尤度計算である。通常Ｎは４００から１０００
に設定されるので、計算時間は、ほぼ半分に短縮される
と考えられる。

【００５８】以上説明したように、本実施形態によれ
ば、初期ＨＭＭを上述のようにコンポーネントを追加し
て再構成した後再学習したＨＭＭについては、初期ＨＭ
Ｍに比較して、音響モデルとしての頑健性を保ちながら
分布の表現力を高めることが出来る。従って、当該ＨＭ
Ｍを用いて音声認識することにより、従来技術に比較し
てより高い音声認識率で音声認識することができる。ま
た、共有構造決定のための計算時間については、第２の
従来例に比較して概ね半減することができ、より高速で
ＨＭＭを構築することができる。

【００５９】

【発明の効果】以上詳述したように本発明に係る請求項
１記載の音響モデル生成装置によれば、所定の音声デー
タの特徴パラメータに基づいて、所定の学習アルゴリズ
ムにより、初期の隠れマルコフモデルを生成する第１の
生成手段と、上記音声データに対して初期の隠れマルコ
フモデルが起こす、所定の時間のフレーム単位の識別誤
りであるフレーム誤りの傾向に基づいて隠れマルコフモ
デルのガウス混合分布のコンポーネントを追加すること
により、上記第１の生成手段によって生成された初期の
隠れマルコフモデルを再構成して、再構成された隠れマ
ルコフモデルを生成する第２の生成手段と、上記音声デ
ータの特徴パラメータに基づいて、所定の学習アルゴリ
ズムにより、上記第２の生成手段によって生成された隠
れマルコフモデルを再学習することにより、再学習され
た隠れマルコフモデルである音響モデルを生成する第３
の生成手段とを備える。従って、初期ＨＭＭを上述のよ
うにコンポーネントを追加して再構成した後再学習した
ＨＭＭについては、初期ＨＭＭに比較して、音響モデル
としての頑健性を保ちながら分布の表現力を高めること
が出来る。従って、当該ＨＭＭを用いて音声認識するこ
とにより、従来技術に比較してより高い音声認識率で音
声認識することができる。また、共有構造決定のための
計算時間については、第２の従来例に比較して概ね半減
することができ、より高速でＨＭＭを構築することがで
きる。

【００６０】また、請求項２記載の音響モデル生成装置
においては、請求項１記載の音響モデル生成装置におい
て、上記第２の生成手段は、上記初期の隠れマルコフモ
デルと上記音声データとの間でビタビアラインメント処
理を実行することにより、（ａ）上記初期の隠れマルコ
フモデル中に含まれるガウス混合分布のビタビ系列と、
（ｂ）上記音声データの各フレームに対して最も高い尤
度を与え、上記初期の隠れマルコフモデル中に各ガウス
混合分布のコンポーネントとして含まれるガウス分布の
最尤系列とを得る第１の処理手段と、上記第１の処理手
段によって得られた、ガウス混合分布のビタビ系列、及
びガウス分布の最尤系列における、時刻を同じくするガ
ウス混合分布と、ガウス分布の組み合わせのそれぞれの
出現頻度に基づいて、上記初期の隠れマルコフモデル中
に含まれるガウス混合分布とガウス分布の全ての組み合
わせについて、各ガウス混合分布においてフレーム誤り
が生じてかつそのときの最尤ガウス分布が当該組み合わ
せのガウス分布であるときのフレーム誤り確率を演算
し、演算された各フレーム誤り確率が所定のしきい値を
越えるときに当該ガウス分布を、当該ガウス混合分布の
新たなコンポーネントとして追加する第２の処理手段と
を備え、上記第２の処理手段によって各ガウス混合分布
の新たなコンポーネントとして追加された各ガウス分布
は、当該ガウス分布が上記初期の隠れマルコフモデル中
で、コンポーネントとして属していたガウス混合分布
と、上記第２の処理手段によって新たにコンポーネント
として属することになったガウス混合分布との双方から
共有されるコンポーネントとなる。従って、初期ＨＭＭ
を上述のようにコンポーネントを追加して再構成した後
再学習したＨＭＭについては、初期ＨＭＭに比較して、
音響モデルとしての頑健性を保ちながら分布の表現力を
高めることが出来る。従って、当該ＨＭＭを用いて音声
認識することにより、従来技術に比較してより高い音声
認識率で音声認識することができる。また、共有構造決
定のための計算時間については、第２の従来例に比較し
て概ね半減することができ、より高速でＨＭＭを構築す
ることができる。

【００６１】さらに、本発明に係る音声認識装置におい
ては、請求項１又は２記載の音響モデル生成装置によっ
て生成された音響モデルを用いて、入力される発声音声
文の音声信号に基づいて音声認識する音声認識手段を備
える。従って、初期ＨＭＭを上述のようにコンポーネン
トを追加して再構成した後再学習したＨＭＭについて
は、初期ＨＭＭに比較して、音響モデルとしての頑健性
を保ちながら分布の表現力を高めることが出来る。従っ
て、当該ＨＭＭを用いて音声認識することにより、従来
技術に比較してより高い音声認識率で音声認識すること
ができる。また、共有構造決定のための計算時間につい
ては、第２の従来例に比較して概ね半減することがで
き、より高速でＨＭＭを構築することができる。

【図面の簡単な説明】

【図１】 本発明に係る一実施形態である音声認識装置
のブロック図である。

【図２】 図１の音声認識装置における単語仮説絞込部
６の処理を示すタイミングチャートである。

【図３】 図１のＨＭＭ再構成部２２によって実行され
るＨＭＭ再構成処理の第１の部分を示すフローチャート
である。

【図４】 図１のＨＭＭ再構成部２２によって実行され
るＨＭＭ再構成処理の第２の部分を示すフローチャート
である。

【図５】 図１のＨＭＭ再構成部２２によって実行され
るＨＭＭ再構成処理の第３の部分を示すフローチャート
である。

【図６】 図１のＨＭＭ再構成部２２によって実行され
るＨＭＭ再構成処理の第４の部分を示すフローチャート
である。

【図７】 図１のＨＭＭ再構成部２２によって実行され
るＨＭＭ再構成処理におけるビタビ系列と最尤系列の構
成の一例を示す図である。

【図８】 図１のＨＭＭ再構成部２２によって実行され
るＨＭＭ再構成処理におけるフレーム誤り確率の算出の
一例を示す図である。

【図９】 図１のＨＭＭ再構成部２２によって実行され
るＨＭＭ再構成処理における誤り確率に基づくコンポー
ネントの追加を示す図である。

【図１０】 図１のＨＭＭ再構成部２２によって実行さ
れるＨＭＭ再構成処理後の混合数の分布の一例を示すグ
ラフである。

【図１１】 図１の音声認識装置の実験結果であって、
音声認識結果の比較を示すグラフである。

【符号の説明】

１…マイクロホン、 ２…特徴抽出部、 ３，５…バッファメモリ、 ４…単語照合部、 ６…単語仮説絞込部、 ７…尤度補正部、 １１…音素ＨＭＭメモリ、 １２…単語辞書メモリ、 １３…統計的言語モデル、 １４…過小評価尤度メモリ、 ２１…初期ＨＭＭ生成部、 ２２…ＨＭＭ再構成部、 ２３…再学習部、 ３０…音声データメモリ、 ３１…初期ＨＭＭメモリ、 ３２…再構成されたＨＭＭメモリ。

───────────────────────────────────────────────────── フロントページの続き (58)調査した分野(Int.Cl.⁷，ＤＢ名) G10L 3/00 - 9/20 ＪＩＣＳＴファイル（ＪＯＩＳ)

Claims (3)

(57)【特許請求の範囲】
1. 【請求項１】 所定の音声データの特徴パラメータに基
   づいて、所定の学習アルゴリズムにより、初期の隠れマ
   ルコフモデルを生成する第１の生成手段と、 上記音声データに対して初期の隠れマルコフモデルが起
   こす、所定の時間のフレーム単位の識別誤りであるフレ
   ーム誤りの傾向に基づいて隠れマルコフモデルのガウス
   混合分布のコンポーネントを追加することにより、上記
   第１の生成手段によって生成された初期の隠れマルコフ
   モデルを再構成して、再構成された隠れマルコフモデル
   を生成する第２の生成手段と、 上記音声データの特徴パラメータに基づいて、所定の学
   習アルゴリズムにより、上記第２の生成手段によって生
   成された隠れマルコフモデルを再学習することにより、
   再学習された隠れマルコフモデルである音響モデルを生
   成する第３の生成手段とを備えたことを特徴とする音響
   モデル生成装置。
2. 【請求項２】 請求項１記載の音響モデル生成装置にお
   いて、 上記第２の生成手段は、 上記初期の隠れマルコフモデルと上記音声データとの間
   でビタビアラインメント処理を実行することにより、
   （ａ）上記初期の隠れマルコフモデル中に含まれるガウ
   ス混合分布のビタビ系列と、（ｂ）上記音声データの各
   フレームに対して最も高い尤度を与え、上記初期の隠れ
   マルコフモデル中に各ガウス混合分布のコンポーネント
   として含まれるガウス分布の最尤系列とを得る第１の処
   理手段と、 上記第１の処理手段によって得られた、ガウス混合分布
   のビタビ系列、及びガウス分布の最尤系列における、時
   刻を同じくするガウス混合分布と、ガウス分布の組み合
   わせのそれぞれの出現頻度に基づいて、上記初期の隠れ
   マルコフモデル中に含まれるガウス混合分布とガウス分
   布の全ての組み合わせについて、各ガウス混合分布にお
   いてフレーム誤りが生じてかつそのときの最尤ガウス分
   布が当該組み合わせのガウス分布であるときのフレーム
   誤り確率を演算し、演算された各フレーム誤り確率が所
   定のしきい値を越えるときに当該ガウス分布を、当該ガ
   ウス混合分布の新たなコンポーネントとして追加する第
   ２の処理手段とを備え、 上記第２の処理手段によって各ガウス混合分布の新たな
   コンポーネントとして追加された各ガウス分布は、 当該ガウス分布が上記初期の隠れマルコフモデル中で、
   コンポーネントとして属していたガウス混合分布と、 上記第２の処理手段によって新たにコンポーネントとし
   て属することになったガウス混合分布との双方から共有
   されるコンポーネントとなることを特徴とする音響モデ
   ル生成装置。
3. 【請求項３】 請求項１又は２記載の音響モデル生成装
   置によって生成された音響モデルを用いて、入力される
   発声音声文の音声信号に基づいて音声認識する音声認識
   手段を備えたことを特徴とする音声認識装置。