JPH10254496A

JPH10254496A - 音声認識方式

Info

Publication number: JPH10254496A
Application number: JP9056162A
Authority: JP
Inventors: Yoshiharu Abe; 芳春阿部
Original assignee: Mitsubishi Electric Corp
Current assignee: Mitsubishi Electric Corp
Priority date: 1997-03-11
Filing date: 1997-03-11
Publication date: 1998-09-25
Anticipated expiration: 2017-03-11
Also published as: JP4042176B2

Abstract

(57)【要約】【課題】探索を用いる音声認識において、入力音声の
途中でビーム探索の閾値を変更する従来のビーム探索
は、探索量を削減することができるが、認識に用いるモ
デルのパラメータは一定であり、このようなパラメータ
が一定のモデルで認識を行うため認識精度の向上は得ら
れない。この発明が解決しようとする課題は、探索量を
削減することができ、かつ認識の精度を向上させること
である。【解決手段】入力音声の各フレームで入力音声にモデ
ルを適応化し、この適応化されたモデルに対する入力音
声の尤度を探索処理により求め、この尤度に基づき音声
認識を行う。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】この発明は、音声認識の精度
改善と、探索量の削減に関する。

【０００２】

【従来の技術】従来、音声認識の探索量の削減の手法と
して、ビーム探索が行われている。日本音響学会平成
元年度春季研究発表会講演論文集Ｉ（平成元年３
月）、５〜６頁「ＤＰビームサーチの閾値を入力音声の
途中で変更する方法の検討」には、フレーム同期型のＤ
Ｐマッチングにおいて、ビーム探索の閾値を入力音声の
途中で変化させることで、探索量を減少させる方法が提
案されている。また、特開平６−２８２２９５号公報に
は、観測可能な特徴量を入力とする制御関数を用いてビ
ーム探索の探索範囲を適応的に変化させることで、探索
量を減少させる方法が開示されている。ここで、ビーム
探索の閾値の制御関数には、ニューラルネットおよび重
回帰分析を用いている。

【０００３】一方、日本音響学会平成８年度秋季研究
発表会講演論文集Ｉ（平成８年９月）、１１７〜１１
８頁「音声認識のためのＮ−ｂｅｓｔに基づく話者適応
化」には、教師なし話者適応化（即時適応化）の方法と
して、Ｎベストビタビ認識の結果から推定されたＮベス
トのモデル系列に従って、音韻ＨＭＭを連結し、その連
結した音韻ＨＭＭの入力音声に対する尤度が最大となる
ように、音韻ＨＭＭのパラメータを推定して、認識対象
話者に適応化する方法が提案されている。この方法での
適応化は、次のステップからなる。 (1)適応化前の音韻ＨＭＭを用いて入力音声のＮベスト
認識を行い、入力音声に対するＮ個のモデル系列を求め
る。 (2)各モデル系列ごとに、音韻ＨＭＭのパラメータをそ
の話者に適応化する。 (3)適応化後に、最大尤度を示したモデル系列を選択す
る。 (4)その適応化された音韻ＨＭＭのパラメータを用いて
現在のＨＭＭを更新する。上記、ステップ（２）〜（４）を繰り返す。従って、上
記方法は、入力音声の途中でモデルを変更することがで
きない。

【０００４】図１４は従来のビーム探索を用いる音声認
識方式の機能ブロック図である。音声区間切出手段１に
よって、入力音声１００１から切り出された音声区間の
各フレームについて、分析手段２による音声分析を行
い、特徴パラメータの時系列３を得る。そして、モデル
記憶手段５１からパラメータ５ａを、また構文情報格納
手段４から入力音声に対応するモデルの系列を規定する
構文情報をそれぞれ参照し、特徴パラメータの時系列３
に対する最適なモデル系列を認識結果１００３として、
以下のようにして得る。なお、１０は入力音声の第１フ
レームから途中までのフレームに対応する部分モデル系
列の仮説を格納する部分モデル系列格納手段である。

【０００５】最初のフレーム番号を１、最後のフレーム
番号をＴとする。まず、最初に、部分モデル系列の初期
値を部分モデル系列格納手段１０に格納する。次に入力
音声のフレーム番号ｉを１とおく。モデル演算手段７は
部分モデル系列格納手段１０から部分モデル系列の仮説
（Ｈとする）をとり出す。つぎに、構文情報格納手段４
の構文情報から、部分モデル系列Ｈに連結可能なモデル
（音韻モデルｋ、複数通りのときもある）を選択し、音
韻モデルｋに対応するフレーム番号iの特徴パラメータ
の尤度f(k,i)を計算する。さらに、音韻モデルｋを連結
した１フレーム分成長した部分モデル系列の仮説を作成
し、ビーム探索用の中間スタック１００４に格納する。
１フレーム分成長した部分モデル系列の仮説の累積尤度
は成長前の種の部分モデル系列の累積尤度に音韻モデル
kの尤度を加えたものである。ビーム探索手段９はフレ
ーム番号ｉについて、中間スタック１００４内の部分モ
デル系列の仮説の累積尤度を相互に比較し、例えば、累
積尤度の最大の仮説の尤度を上限とし、この上限からビ
ーム幅８だけ引いた値を下限として、この範囲の累積尤
度を有する部分モデル系列の仮説を部分モデル系列格納
手段１０に格納する。

【０００６】この場合、中間スタックからの仮説の選び
方としては、例えば、累積尤度の大きい方からＮb個の
部分モデル系列を選ぶこともできる。ただし、Ｎbはビ
ーム内に残す仮説の数の最大の数を表す。以上の処理を
入力音声の第１フレームから最後のフレームまで行うこ
とによって、部分モデル系列格納手段１０には、入力音
声の全フレームに対応するモデル系列の仮説がその累積
尤度とともに得られる。その後、後向き探索手段１００
２は、例えば最適な累積尤度の仮説を選ぶことによっ
て、認識結果１００３を得る。

【０００７】

【発明が解決しようとする課題】入力音声の途中でビー
ム探索の閾値を変更する従来のビーム探索は、探索量を
削減することができるが、認識に用いるモデルのパラメ
ータは一定であり、このようなパラメータが一定のモデ
ルで認識を行うため、認識精度の向上は得られない。ま
た、従来の教師なし適応化は、一定のパラメータのモデ
ルでＮベスト認識を行ってＮ個のモデル系列を求めた後
に、認識結果からモデルのパラメータの入力音声への適
応化を行う。このため、精度のより高い認識結果を得る
ためには、適応化された音響モデルにより、再度の認識
処理が必要であるという問題があった。

【０００８】この発明が解決しようとする課題は、ビー
ム探索を用いる音声認識において、入力音声の途中で音
韻モデルおよび音韻境界のモデルを含むモデルを入力音
声に適応化することで、認識の精度を向上させることで
ある。また、入力音声の途中でモデルの適応化を行うと
ともに、入力音声の途中で得られるモデルの精度改善の
結果として、入力音声の途中でビーム探索の幅を絞るこ
とで、探索量を削減することである。

【０００９】

【課題を解決するための手段】この発明に係る音声認識
方式は、入力音声の各フレームで入力音声にモデルを適
応化し、この適応化されたモデルの系列からなるモデル
系列に対する入力音声の尤度を探索処理により求め、こ
の尤度に基づき音声認識をするようにしたものである。

【００１０】上記探索処理としてはビーム探索が用いら
れる。

【００１１】また、入力音声の途中のビーム内の仮説の
尤度の大きい方からＮ個の仮説を用いて、上記モデルを
入力音声へ適応化するようにする。

【００１２】また、入力音声の途中のビーム内の仮説の
尤度の大きい方からＮ個の仮説を用いるとともに、尤度
に応じた重みによる加重を用いて上記モデルを入力音声
へ適応化するようにする。

【００１３】また、上記モデルとしては音韻のモデルあ
るいは音韻境界のモデルとする。

【００１４】また、上記音韻のモデルあるいは音韻境界
のモデルをセミ連続分布のモデルとし、音韻のモデルの
分岐係数だけを適応化する。

【００１５】また、上記音韻境界のモデルの入力音声へ
の適応化において、入力音声の途中のビーム内の仮説の
尤度の大きい方からＮ個の仮説を選択する際に、モデル
間の遷移を有する部分モデル系列の仮説を選択するよう
にする。

【００１６】また、ビーム探索の探索の幅をフレームご
とに適応化係数を用いて変化させるようにする。

【００１７】

【発明の実施の形態】

実施の形態１．この実施形態は、モデルとして混合連続
分布の音韻モデルを用いる場合を示す。図１は、この実
施形態における音声認識方式の機能ブロック図である。
入力音声信号１００１は音声切出手段１により、例えば
１０msの一定の分析周期で、例えば２５．６msの信号区
間であるフレームに分割される。分析手段２は、これを
フレームごとに特徴パラメータ３に変換する。フレーム
番号ｔの特徴パラメータをXtと記す。図２はこれ以降の
動作を示すフローチャートである。ステップ２１ではモ
デルの初期化を行う。すなわち適応化前のモデルである
初期モデルを初期モデル記憶手段５からモデル記憶手段
６にコピーする。また、フレームの番号ｔを１に設定す
る。次に、ｔ＝１番から最終のｔ＝Ｔ番のフレームにつ
いて、フレーム番号ｔを１づつ増加しながら、フレーム
ごとに以下の処理を行う。

【００１８】構文情報格納手段４に格納された構文情報
は、部分モデル系列のあとに接続可能なモデルを決める
ための情報であり、状態をあらわすノードと、遷移をあ
らわす枝とから表わされる。これは例えば図３に示すよ
うなグラフとして表現される。またこの構文情報は、構
文情報格納手段４内においては図４に示すような表とし
て格納されている。すなわち、ある部分モデル系列の現
在の構文的な状態をあらわす番号から、次に接続可能な
モデルと、そのモデルを選択したときに拡張された部分
モデル系列の次の状態番号が、表として与えられてい
る。図３に対応するグラフの構文状態の遷移表は図４の
ようになる。

【００１９】モデル演算手段７は、１フレーム分の入力
を行い（ステップ２２）、フレームごとに、構文情報に
従ったモデルのパラメータを適用し（ステップ２３）、
入力される特徴パラメータ３の尤度を計算する（ステッ
プ２４）。モデルのパラメータは、音韻モデルｋについ
て、Ｍ混合のガウス分布の平均、分散、分岐係数μm
(k), Σm(k), λm(k) (ｍ=1, 2, ..., M) からなる。
現在の構文状態がｐのとき、構文情報から自己ループを
含めて後続の遷移可能なすべての枝を検知し、このすべ
ての枝について、その枝のモデルと遷移先の構文状態の
組み合わせ＜k,q＞∈｛＜k1,q1＞,＜k2,q2＞, ..., ＜k
n,qn＞｝に対するモデルｋの特徴パラメータｘtの尤度f
(t,k)を、混合分布の各分布の尤度Ｎ(ｘt,μm(k),Σm
(k))の加重和として次式で計算する。

【００２０】

【数１】

【００２１】ステップ２５では、次のようにして、１フ
レーム前の部分モデル系列を１フレーム分拡張し、新し
い部分モデル系列を生成する。種となる一フレーム前の
部分モデル系列がＳ1,Ｓ2,...のとき、部分モデル系列
を一つ選択し、Ｓとする。Ｓは構文状態δ(S)と、累積
尤度α(S)と、最終モデルｋ(S)とを情報として保持して
いる。Ｓの構文状態がｐのとき、つぎの演算を行い、構
文状態、選択されるモデルの組み合わせに応じて、新し
い部分モデル系列の仮説Ｕ1,Ｕ2,...を生成する。例え
ば、選択されるモデルがｋで、次の構文状態がｑのと
き、これに対応して生成される新しい部分モデル系列を
Ｕとすると、Ｕの構文状態δ(U)はδ(U)=ｑ、Ｕの累積
尤度α(U)はα(U)=α(S)＋f(t,k)、Ｕの最終モデルはｋ
(U)＝ｋである。

【００２２】ビーム探索手段９は、モデル演算手段７で
生成された部分モデル系列Ｕ1,Ｕ2,...について、それ
らの累積尤度と、制御手段１０００より与えられるビー
ム幅８とで決まる、ビーム幅範囲の中に入らない仮説を
破棄することで、ビーム幅の中に入る仮説だけを残し、
舶ェモデル系列として出力し、部分モデル系列格納手段
１０に格納する（ステップ２６）。ビーム幅８に基づく
ビーム幅範囲の設定は、Ｕ1,Ｕ2,...の累積尤度の中の
最大値αmaxを上限として、αmaxからビーム幅８を減じ
た値を下限αminとすることで行う。枝刈りは、Ｕ1,Ｕ
2,...の中から、その累積尤度α(U1),α(U2),... が、
αminからαmaxの間にある仮説を残し、それ以外を破棄
することで行う。

【００２３】次に部分モデル系列選択手段１１は、適応
化手段１３における適応化に用いる情報としての部分モ
デル系列を選択する（ステップ２７）。例えば、部分モ
デル系列格納手段１０の中の部分モデル系列で、累積尤
度の大きい部分モデル系列から順番に探索し、異なるモ
デルを選択した部分モデル系列を最大でＮ個選択する。

【００２４】次に適応化手段１３は、部分モデル系列選
択手段１１が現在のフレームで選択した部分モデル系列
Ｕ1,Ｕ2,...（最大でＮ個）の、選択されたモデルｋ ∈
ｋ(U1),ｋ(U2), ... （最大でＮ個）について、適応化
係数１２に従って、パラメータの適応化を行う（ステッ
プ２８）。この実施形態においては、モデルのパラメー
タは、音韻モデルkについて、Ｍ混合のガウス分布の平
均、分散、分岐係数μm(k),Σm(k),λm(k) (m=1, 2,
...,M)からなる。適応化の対象は、Ｍ混合の各分布
（正規密度関数）の尤度に対する分岐係数λm(k)と、Ｍ
混合の各分布の平均μm(k)であり、従って、補正前のパ
ラメータ１４は、モデルkについてλm(k)と、μm(k)で
あり、その適応化は、次式で行う。

【００２５】

【数２】

【００２６】なお、ｗは適応化係数１２で０≦ｗ＜１。
分散の適応化は理論上は次式で可能であるが、適応化の
対象となるパラメータ数を削減するため、この実施形態
では行わない。

【００２７】

【数３】

【００２８】全ての選択されたモデルについて、上記の
適応化が終了した後、適応化手段１３は適応化の結果得
られたパラメータを補正後パラメータ１５としてモデル
記憶手段６のパラメータを補正後のパラメータ１５に置
き換える（ステップ２９、３０）。そして、後向き探索
手段１００２による後向き探索を行い、認識結果１００
３を得る（ステップ３１）。なお、制御部１０００はモ
デル記憶手段６の初期化から、入力のフレームに同期し
たモデル演算手段７の処理、ビーム探索手段９、適応化
手段１３の各処理の制御を行う。

【００２９】以上のように、ｔ番目のフレームでの入力
フレームの尤度計算に用いるモデルのパラメータは、一
つ前のフレームで適応化処理により補正されたパラメー
タを用いている。これにより、次第に適応化が進んでい
く。すなわち、認識結果が出たあとではなく、認識処理
中に適応化が進められるものである。また、構文情報を
備えるビーム探索の過程の中で、構文情報で規定される
部分モデル系列から、尤度の高い部分モデル系列のモデ
ルを適応化の対象のモデルとして選択しているため、い
わば過去の履歴で補正されたフレームごとの認識結果に
よるモデルの適応化が実現されることになっている。こ
のため、従来のビーム探索のビーム幅の制御による、探
索量の減少の効果とともに、従来は得られなかった認識
精度の改善の効果が期待できる。また、部分モデル系列
選択手段１１において、累積尤度の大きい部分モデル系
列から順番に探索し、異なるモデルを選択した部分モデ
ル系列を最大でＮ個選択するようにしたので、安定した
適応化が行える。

【００３０】実施形態２．次に、モデルとしてセミ連続
分布の音韻モデルを用いる実施形態を示す。この場合の
ブロック図は図１と同じであり、フローチャートは図２
と同じである。モデルが異なるため、モデル演算と適応
化部の動作が異なるが、それ以外は同じであり、説明を
省略する。

【００３１】モデル演算手段７は、フレームごとに、構
文情報４に従ったモデルのパラメータを適用し、入力の
特徴パラメータ３の尤度を計算する。この実施形態のモ
デルのパラメータは、すべての音韻について共通のＭ個
のコードブックのガウス分布の平均、分散μm,Σm (m=
1,2,...,M)と、音韻モデルｋについての分岐係数λm(k)
からなる。現在の構文状態がｐのとき、構文情報から自
己ループを含めて後続の遷移可能なすべての枝を検知
し、このすべての枝について、その枝のモデルと遷移先
の構文状態の組み合わせ＜k,q＞∈｛＜k1,q1＞,＜k2,q
2＞, ..., ＜kn,qn＞｝に対するモデルｋの特徴パラメ
ータｘtの尤度ｆ(t,k)を、混合分布の各分布の尤度N(ｘ
t,μm,Σm)の加重和として次式で計算する。

【００３２】

【数４】

【００３３】種となる一フレーム前の部分モデル系列が
Ｓ1,Ｓ2,...のとき、部分モデル系列を一つ選択し、Ｓ
とする。Ｓは構文状態δ(S)と、累積尤度α(S)と、最終
モデルｋ(S)とを情報として保持している。Ｓの構文状
態がｐのとき、つぎの演算を行い、構文状態、選択され
るモデルの組み合わせに応じて、新しい部分モデル系列
の仮説Ｕ1,Ｕ2,...を生成する。例えば、選択されるモ
デルがｋで、次の構文状態がｑのとき、これに対応して
生成される新しい部分モデル系列をＵとすると、Ｕの構
文状態δ(U)はδ(U)=ｑ、Ｕの累積尤度α(U)はα(U)=α
(S)＋f(t,k)、Ｕの最終モデルはｋ(U)＝ｋである。

【００３４】適応化手段１３は、部分モデル系列選択手
段１１が現在のフレームで選択した部分モデル系列Ｕ1,
Ｕ2,...（最大でＮ個）の、選択されたモデルｋ∈ ｋ(U
1),ｋ(U2), ...（最大でＮ個）について、適応化係数１
２に従ってパラメータの適応化を行う。この実施形態の
モデルkのパラメータは、すべての音韻について共通の
Ｍ個のコードブック（正規密度関数、平均、分散Σm,λ
m (m=1,2,...,M)）である。適応化対象は音韻モデルｋ
についての分岐係数μm(k)である。従って、補正前のパ
ラメータ１４は、モデルｋについてλm(k)であり、その
適応化は次式で行う。

【００３５】

【数５】

【００３６】なお、Ｎ(ｘt,μm,Σm)が第ｍ番目のコー
ドブックの尤度（正規密度関数の値）である。λm＝０
なる分岐係数は、適応化してもλm＝０のままである。
この実施形態では、したがって、λm＝０なる係数につ
いての適応化のための演算を省略することで、精度に影
響を与えずに、演算量を削減することができる。すべて
のモデルについて、上記の適応化が終了した後、適応化
手段１３は、適応化の結果得られたパラメータを補正後
パラメータ１５としてモデル記憶手段６のパラメータを
補正後のパラメータ１５に置き換える。

【００３７】以上のように、実施形態１と同様、ｔ番目
のフレームでの入力フレームの尤度計算に用いるモデル
のパラメータは、一つ前のフレームで適応化処理により
補正されたパラメータを用いている。これにより、次第
に適応化が進んでいく。すなわち、認識結果がでたあと
ではなく、認識処理中に適応化が進められるものであ
る。また、構文情報を備えるビーム探索の過程の中で、
構文情報で規定される部分モデル系列から、尤度の高い
部分モデル系列のモデルを、適応化の対象のモデルとし
て選択しているため、いわば過去の履歴で補正されたフ
レームごとの認識結果によるモデルの適応化が実現され
ることになっている。このため、従来のビーム探索のビ
ーム幅の制御による、探索量の減少の効果とともに、従
来は得られなかった認識精度の改善の効果が期待でき
る。この実施形態では、セミ連続分布を用いたため、分
岐係数の適応化だけで精度が改善される。計算、適応化
が容易である。

【００３８】実施形態３．次に、音韻のモデルについ
て、フレームごとに適応化を行うもので、モデル系列の
尤度に応じた適応化係数による適応化をする実施形態を
示す。

【００３９】この場合のブロック図は図１と同じであ
り、フローチャートは図２と同じである。音韻のモデル
は、実施形態２と同様のセミ連続分布モデルである。こ
の実施形態では音韻モデルとしてセミ連続分布モデルに
ついて説明したが、混合連続分布モデルでも、同様な効
果が期待できる。適応化手段１３の動作が異なる以外は
実施形態２と同様であり、説明を省略する。

【００４０】適応化手段１３は、部分モデル系列選択手
段１１が現在のフレームで選択した部分モデル系列Ｕ1,
Ｕ2,...（最大でN個）の、選択されたモデルｋ∈ ｋ(U
1),ｋ(U2), ...（最大でＮ個）について、適応化係数１
２に従って、選択された部分系列の尤度に応じて、パラ
メータの適応化を行う。モデルｋについて、適応化係数
ｗ(k)の適応化を行う。ここで、モデルｋの適応化係数
ｗ(k)は、

【００４１】

【数６】

【００４２】式中、Ｕ(k)は選択されたモデルｋを選択
するにあたって用いられた部分モデル系列である。この
実施形態のモデルkのパラメータは、すべての音韻につ
いて共通のＭ個のコードブック（正規密度関数、平均、
分散μm,Σm (m=1,2,...,M)）である。適応化対象は、
音韻モデルｋについての分岐係数λm(k)である。従っ
て、補正前のパラメータ１４は、モデルｋについてλm
(k)であり、その適応化は、次式で行う。

【００４３】

【数７】

【００４４】なお、Ｎ(ｘt,μm,Σm)が第ｍ番目のコー
ドブックの尤度（正規密度関数の値）である。λm＝０
なる分岐係数は、適応化してもλm＝０のままである。
この実施形態では、したがって、λm＝０なる係数につ
いての適応化のための演算を省略することで、精度に影
響を与えずに、演算量を削減することができる。すべて
のモデルについて、上記の適応化が終了した後、適応化
手段１３は、適応化の結果得られたパラメータを補正後
パラメータ１５としてモデル記憶手段６のパラメータを
補正後のパラメータ１５に置き換える。

【００４５】以上のように、実施形態１と同様、ｔ番目
のフレームでの入力フレームの尤度計算に用いるモデル
のパラメータは、一つ前のフレームで適応化処理により
補正されたパラメータを用いている。これは、構文情報
を備えるビーム探索の過程の中で、構文情報で規定され
る部分モデル系列から、尤度の高い部分モデル系列のモ
デルを、適応化の対象のモデルとして選択しているた
め、いわば過去の履歴で補正されたフレームごとの認識
結果によるモデルの適応化が実現されることになってい
る。このため、従来のビーム探索のビーム幅の制御によ
る、探索量の減少の効果とともに、従来は得られなかっ
た認識精度の改善の効果が期待できる。この実施形態で
はセミ連続分布を用いたため、分岐係数の適応化だけで
精度が改善される。計算、適応化が容易である。また、
部分系列の尤度を考慮するため、誤った方向の適応化を
防止することが期待できる。

【００４６】実施形態４．次に音韻境界のモデルについ
て、フレームごとに適応化を行うものを示す。音韻境界
のモデルは、音韻間の遷移に対応したモデル間の遷移を
制御するためのモデルであり、次の尤度比が１より大き
いときに音韻間の遷移が可能である。＜尤度比＞＝＜音韻境界である第１の確率密度＞／＜音
韻境界でない第２の確率密度＞この実施形態では、第１の確率密度(Pr(Bt｜境界))およ
び第２の確率密度(Pr(Bt｜非境界))は、コードブックの
確率度密度関数の次の多項式で与えられる。但し、Ｂt
はｔ番目及びその前後のフレームから作成した特徴量で
ある。

【００４７】

【数８】

【００４８】この実施形態での部分モデル系列選択手段
１１は、部分モデル系列格納手段１０の部分モデル系列
の中から、音韻境界の遷移が起こった部分モデル系列
（即ち、自己ループに対応しないもの）を尤度の大きい
方から、最大でＮ個選択する。これにより、特別な計算
をすることなく選択が行える。また、この実施形態での
適応化手段１３は、部分モデル系列選択手段１１が現在
のフレームで選択した部分モデル系列Ｕ1,Ｕ2,...（最
大でＮ個）の、選択されたモデルｋ∈ ｋ(U1), ｋ(U2),
...（最大でN個）について、適応化係数１２に従っ
て、パラメータの適応化を行う。この実施形態の音韻境
界モデルｋのパラメータは、コードブックの尤度に対す
る分子多項式係数Ｐm(k)であり、従って、補正前のパラ
メータ１４はモデルｋについてＰm(k)であり、その適応
化は次式で行う。

【００４９】

【数９】

【００５０】なお、ＭＢは音韻境界モデル用のコードブ
ック（正規密度関数）の数、Ｎ(Ｂｔ,μm,Σm)は正規密
度関数、μm,Σmはそれぞれ正規密度関数の平均および
分散である。ｗは適応化係数である。Ｐm＝０なる多項
式係数は、適応化してもＰm＝０のままである。この実
施形態では、したがって、Ｐm＝０なる係数についての
適応化のための演算を省略することで、精度に影響を与
えずに演算量を削減することができる。すべてのモデル
について、上記の適応化が終了した後、適応化手段１３
は、適応化の結果得られたパラメータを補正後パラメー
タ１５としてモデル記憶手段６のパラメータを補正後の
パラメータ１５に置き換える。

【００５１】実施形態５．次に、フレームごとのモデル
の適応化処理とともに、ビーム探索の幅を、フレームに
同期して、斬減させる例を示す。図５にビーム探索の幅
の変化を模式的に示す。フレームごとのモデルの適応化
処理によって、尤度が高くなることが期待され、ビーム
内における正解の仮説の順位が向上する。このため、ビ
ーム幅をフレームごとに斬減させることで、探索量が削
減される。ビーム幅８の更新は次式で行う。但し、θは
ビーム幅である。 θ ← θ＊（１−ｗ）＋＜ビーム幅推定値＞＊ｗ

【００５２】ここで、＜ビーム幅推定値＞は、数多くの
例について認識実験を行い、最終入力フレームにおいて
正解の部分モデル系列の尤度と、そのときの尤度が最大
の部分モデル系列の尤度との差として求めた。ビーム幅
の初期値は、＜ビーム幅推定値＞に比べ、大きな値に設
定する。上の式でｗはビーム幅をフレームごとに更新す
るときの度合いを決める適応化係数である。

【００５３】適応化係数をどのように設定するのが妥当
かを実験的に決めるため評価実験を行った。音節の３連
鎖の制約を構文情報とする。出力の仮説はグラフ構造に
なっている。グラフ構造の複雑さの減少の程度でフレー
ムごとの適応化の効果を調べた。図６は、音韻モデル
（セミ連続分布モデル）の１フレームごとの適応化を行
う実施形態２の適応化のため選択する仮説数Ｎと適応化
係数ｗとの組み合わせ条件について、 (1)正解のモデル系列の尤度と最大の尤度を示したモデ
ル系列の尤度との差(Δ) (2)出力グラフのノード数 (3)出力グラフのエッジ数（枝の数）に基づいて作成した実験結果を示す。

【００５４】それぞれの数値は、(1)については、フレ
ームごとの適応化なしの場合を０として、それに対する
Δの増加分を、また、(2)と(3)については、フレームご
との適応化なしの場合を１として、それに対する比を、
様々な不特定話者の入力音声を認識したときについて平
均した数値を示す。なお、評価に用いた入力音声は、次
の２０フレーズである。

【００５５】（話者）：（フレーズの音韻記述） ecl0009 ：kaizjoowa dociradesuka ecl0009 ：kikaisiNkookaikaNnara tookjootawaano mae
desu ecl0009 ：tookjootawaano maedesuka etl1003 ：tookjootawaano maedesu etl1003 ：tookjootawaano mae fuj0003 ：koNdono hujujasumini fuj0003 ：cukubani cuite osiete kudasai fuj0003 ：cukubawa fuj0003 ：zjeeaarude kuru baaiwa kdd1005 ：koNdo kdd1005 ：oNseekeNkjuukaiga aruNde soreo kikini ik
itaiNdesukeredo mac0003 ：kikaisiNkookaikaNdesu mat1003 ：koNdo oNseekeNkjuukaiga aruNde mat1003 ：tookjootawaadesu mit0003 ：kanazawano rjokooaNnaisjodesjooka mit0003 ：sinainiwa cjuuooni keNrokueNga arimasu nec1011 ：kaNkoopuraNzukurio otasukesimasu nec1011 ：dokoka mite mitai tokorowa arimasuka nec1011 ：rakuhokuhoomeNto

【００５６】また図６の結果をグラフにして表現したも
のを図７、図８、図９に示す。それぞれＸ軸を適応化係
数ｗ、Ｙ軸を適応化のため選択する仮説数Ｎとしたもの
であり、Ｚ軸として図７は上記(1)のΔ、図８は上記(2)
のノード数、図９は上記(3)のエッジ数をとったもので
ある。なお、ＸＹ平面上にはＺ軸の等高線を示してい
る。図６〜図９から、ｗ＝0.005かつＮ＝1〜50、また、
ｗ＝0.01かつＮ＝1〜50、さらに、ｗ＝0.02かつＮ＝1〜
200、ｗ＝0.05かつＮ＝50〜100にすれば、Δが減少かつ
ノード数とエッジ数が減少することがわかる。Δの減少
は音声認識の精度の向上を示し、またノード数とエッジ
数の減少は、音声認識の精度の向上によって、正解以外
のモデル系列の生成が抑制されたことを示していると考
えられる。

【００５７】図１０は、音韻境界のモデル（セミ連続分
布モデル）の１フレームごとの適応化を行う実施形態４
の適応化のため選択する仮説数Ｎと適応化係数ｗとの組
み合わせ条件について、 (1)正解のモデル系列の尤度と最大の尤度を示したモデ
ル系列の尤度との差(Δ) (2)出力グラフのノード数 (3)出力グラフのエッジ数（枝の数）に基づいて作成した実験結果を示す。

【００５８】それぞれの数値は、(1)については、フレ
ームごとの適応化なしの場合を０として、それに対する
Δの増加分を、また、(2)と(3)については、フレームご
との適応化なしの場合を１として、それに対する比を、
様々な不特定話者の入力音声を認識したときについて平
均した数値を示す。評価に用いた入力音声は、上記の２
０フレーズである。また図１０の結果をグラフにして表
現したものを図１１、図１２、図１３に示す。それぞれ
Ｘ軸を適応化係数ｗ、Ｙ軸を適応化のため選択する仮説
数Ｎとしたものであり、Ｚ軸として図１１は上記(1)の
Δ、図１２は上記(2)のノード数、図１３は上記(3)のエ
ッジ数をとったものである。なお、ＸＹ平面上にはＺ軸
の等高線を示している。

【００５９】図１０〜図１３から、音韻境界モデルの適
応化係数ｗと適応化する境界の種類数Nの適切な範囲と
しては、ｗ＝0.1かつＮ＝100〜500、また、ｗ＝0.2かつ
Ｎ＝100、さらに、ｗ＝0.3かつＮ＝50〜500、ｗ＝0.4か
つＮ＝50〜500、ｗ＝0.5かつＮ＝1〜500などで、Δが減
少かつノード数とエッジ数が減少することがわかる。Δ
の減少は、音声認識の精度の向上を示し、また、ノード
数とエッジ数の減少は、音声認識の精度の向上によっ
て、正解以外のモデル系列の生成が抑制されたことを示
していると考えられる。

【００６０】

【発明の効果】以上に説明したように、この発明によれ
ば、入力音声の各フレームで入力音声にモデルを適応化
し、この適応化されたモデルの系列からなるモデル系列
に対する入力音声の尤度を探索処理により求めるように
したので、過去の履歴で補正されたフレームごとの認識
結果によるモデルの適応化が実現されることになり、探
索量の減少の効果とともに認識精度の改善の効果があ
る。

【００６１】また、入力音声の途中のビーム内の仮説の
尤度の大きい方からＮ個の仮説を用いて、上記モデルを
入力音声へ適応化することにより、安定した適応化が行
える。

【００６２】また、入力音声の途中のビーム内の仮説の
尤度の大きい方からＮ個の仮説を用いるとともに、尤度
に応じた重みによる加重を用いて上記モデルを入力音声
へ適応化することにより、安定した適応化が行える。

【００６３】また、上記モデルを音韻のモデルのセミ連
続分布のモデルとし、音韻のモデルの分岐係数だけを適
応化することにより、計算処理や適応化を容易に行うこ
とができる。

【００６４】また、上記モデルを音韻境界のモデルのセ
ミ連続分布のモデルとし、音韻境界のモデルの分岐係数
だけを適応化することにより、計算処理や適応化を容易
に行うことができる。

【００６５】また、音韻境界のモデルの入力音声への適
応化において、入力音声の途中のビーム内の仮説の尤度
の大きい方からＮ個の仮説を選択する際に、モデル間の
遷移を有する部分モデル系列の仮説を選択することによ
り、容易に選択を行える。

【００６６】また、ビーム探索の探索の幅をフレームご
とに適応化係数を用いて変化させることにより、ビーム
の幅をモデルの適応の度合いに応じて絞り、探索量を削
減することができる。

【図面の簡単な説明】

【図１】この発明の実施形態における音声認識方式の
機能ブロック図である。

【図２】この発明の実施形態における音声認識動作の
フローチャートである。

【図３】この発明の実施形態における構文制御情報の
模式図である。

【図４】この発明の実施形態における構文制御情報の
構成の説明図である。

【図５】この発明の実施形態におけるビーム探索の幅
の変化を示す説明図である。

【図６】この発明の実施形態における評価結果の説明
図である。

【図７】この発明の実施形態における評価結果をグラ
フ化して示す説明図である。

【図８】この発明の実施形態における評価結果をグラ
フ化して示す説明図である。

【図９】この発明の実施形態における評価結果をグラ
フ化して示す説明図である。

【図１０】この発明の実施形態における評価結果の説
明図である。

【図１１】この発明の実施形態における評価結果をグ
ラフ化して示す説明図である。

【図１２】この発明の実施形態における評価結果をグ
ラフ化して示す説明図である。

【図１３】この発明の実施形態における評価結果をグ
ラフ化して示す説明図である。

【図１４】従来の音声認識方式の機能ブロック図であ
る。

【符号の説明】

１音声区間切出手段２分析手段３特徴パラメータ４構文情報格納手段５初期モデル記憶手段６モデル記憶手段７モデル演算手段８ビーム幅９ビーム探索手段１０部分モデル系列格納手段１１部分モデル系列選択手段１２適応化係数１３適応化手段１４補正前パラメータ１５補正後パラメータ１０００制御手段１００１入力音声１００２後向き探索手段１００３認識結果１００４中間スタック

Claims

【特許請求の範囲】

【請求項１】入力音声の各フレームで入力音声にモデ
ルを適応化し、この適応化されたモデルの系列からなる
モデル系列に対する入力音声の尤度を探索処理により求
め、この尤度に基づき音声認識を行うことを特徴とする
音声認識方式。
【請求項２】上記探索処理としてビーム探索を用いる
ことを特徴とする請求項１記載の音声認識方式。
【請求項３】入力音声の途中のビーム内の仮説の尤度
の大きい方からＮ個の仮説を用いて、上記モデルを入力
音声へ適応化することを特徴とする請求項２記載の音声
認識方式。
【請求項４】入力音声の途中のビーム内の仮説の尤度
の大きい方からＮ個の仮説を用いるとともに、尤度に応
じた重みによる加重を用いて上記モデルを入力音声へ適
応化することを特徴とする請求項２記載の音声認識方
式。
【請求項５】上記モデルを音韻のモデルとしたことを
特徴とする請求項１ないし４いずれかに記載の音声認識
方式。
【請求項６】上記モデルを音韻境界のモデルとしたこ
とを特徴とする請求項１ないし４いずれかに記載の音声
認識方式。
【請求項７】上記モデルを音韻のモデルおよび音韻境
界のモデルとしたことを特徴とする請求項１ないし４い
ずれかに記載の音声認識方式。
【請求項８】上記音韻のモデルをセミ連続分布のモデ
ルとし、音韻のモデルの分岐係数だけを適応化すること
を特徴とする請求項５または７いずれかに記載の音声認
識方式。
【請求項９】上記音韻境界のモデルをセミ連続分布の
モデルとし、音韻境界のモデルの分岐係数だけを適応化
することを特徴とする請求項６または７いずれかに記載
の音声認識方式。
【請求項１０】上記音韻境界のモデルの入力音声への
適応化において、入力音声の途中のビーム内の仮説の尤
度の大きい方からＮ個の仮説を選択する際に、モデル間
の遷移を有する部分モデル系列の仮説を選択することを
特徴とする請求項６記載の音声認識方式。
【請求項１１】ビーム探索の探索の幅をフレームごと
に適応化係数を用いて変化させることを特徴とする請求
項２ないし４いずれかに記載の音声認識方式。