JPH0296800A

JPH0296800A - 連続音声認識装置

Info

Publication number: JPH0296800A
Application number: JP63250555A
Authority: JP
Inventors: Kazunaga Yoshida; 吉田　和永
Original assignee: NEC Corp
Current assignee: NEC Corp
Priority date: 1988-10-03
Filing date: 1988-10-03
Publication date: 1990-04-09
Also published as: EP0362785B1; DE68928522D1; CA2000033C; DE68928522T2; CA2000033A1; EP0362785A3; EP0362785A2; US5029212A

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】（産業上の利用分野）本発明は、単語等を連続的に発声した連続音声を認識す
る連続音声認識装置の改良に関するものである。

（従来の技術）従来、音声を認識する方法として、例えば（社）′ｉＪ
Ｌ子情報通信学会編、中耕を一著「確率モデルによる音
声認識１（以下文献１と称す）の第２９頁に述べられて
いるような［隠れマルコフモデル１（以下ＨＭＭと呼ぶ
）を用いた方法があった。この方法では、まず、音声パ
ターンの生成過程をマルコフ過程により状態遷移モデル
としてモデル化する。この状態遷移モデルがＨＭＭであ
る。観測された音声パターンが、このＨＭＭにより生成
される確率を求めることにより音声を認識する。

この方法を用いて単語を認識する場合を考える。まず、
認識対象となる単語毎にＨＭＭを作成しておく。この作
成方法については文献１に詳しく述べられている。音声
パターンが人力されると、各ＨＭＭに対する生成確率が
計算され、最も高い確率を与えるＨＭＭに対する単語が
認識結果となる。この生成確率は、音声パターンと各Ｈ
ＭＭの間の類似度と考えることもでき、その場合、ＨＭ
Ｍは標準パターンと等価になる。ＨＭＭに対する生成確
率は、例えば文献１の第４０頁に述べられているような
前向きバスアルゴリズムにより求めることができる。

また、このＨＭＭを用いて単語を連続的に発声した連続
音声を認識することも可能である。以下、連続音声認識
の例として単語を単位とした場合について述べるが、文
献１の第９０頁以降に述べられているように、音素等の
さまざまな認識単位を用いる場合も同様に扱うことがで
きる。単語を単位とした連続音声の認識は、文献１の第
４６頁に述べられているようにビタビアルゴリズムを用
いることにより実現できる。

（発明が解決しようとする問題点）連続音声認識に用いるビタビアルゴリズムでは、単語生
成確率を、最大確率を与えるマッチングパス（２つのパ
ターンの時刻点の対応付は軌跡）上の確率の積より求め
るという近似的な方法となっている。このため、すべて
のマッチングパス上の確率より生成確率を求める前向き
バスアルゴリズムと比較して′、一般に認識率が悪くな
るという欠点を有する。

一方、前向きバスアルゴリズムではマッチングパスを一
意に決定できない。そのため、連続音声認識を行う場合
、単語列の組合せを総当たりで求めない限り認識結果を
求めることができないという欠点があった。

また、単語間の確率計算はビタビアルゴリズムに基づい
て行い、単語内は前向きバスアルゴリズムを用いる方法
は、単語内のマッチングパスを求められなくても文献１
の第４６頁に述べられているような２段ＤＰマツチング
を用いることにより実現できる。しかし、２段ＤＰマツ
チング法はフレーム同期処理ができないため、計算量が
大幅に増加するという欠点があった。

本発明は、認識性能が高い前向きバスアルゴリズムを基
本として、単語内でマッチングパスを求められるように
することにより、計算量が少なく、かつ高性能な連続音
声認識装置を提供することを目的とする。

（問題点を解決するための手段）本願の第１の発明による連続音声認識装置は、予め定め
られた認識単位の標準パターンを結合して連続音声を認
識する連続音声認識装置において、標準パターンを記憶
しておく標準パターンメモリ部と、人力された音声パタ
ーンと標準パターンの各時刻点間の類似度を求める類似
度計算部と、前記音声パターン上のある時刻点までのマ
ッチングパスに対して求められた前記類似度の累積値の
和と前記類似度の積を新しい累積値として求める累積値
計算部と、前記累積値を記憶しておく累積値メモリ部と
、前記累積値の最大値を与えるマッチングパスを記憶し
ておくマッチングパスメモリ部と、前記記憶された累積
値およびマッチングパスより認識結果を求める結果処理
部とを有する。

本願の第２の発明による連続音声認識装置は、前記本願
の第１の発明に加え、マッチングパスメモリ部中に記憶
されているマッチングパスより求められた認識単位の始
端位置が、類似度の最大値を与えるマッチングパスに対
する始端位置と一致するマッチングパスに対して求めら
れた累積値の和と前記類似度の積を新しい累積値として
求める累積値計算部を有する。

本願の第３の発明による連続音声認識装置は、前記本願
の第１の発明に加え、結果処理部により求められたマッ
チングパスに対する認識結果の全部または一部が、類似
度の累積値の最大値を与えるマッチングパスに対する認
識結果と一致するマッチングパスに対して求められた累
積値の和と前記類似度の積を新しい累積値として求める
累積値計算部を有する。

（作用）本発明による連続音声認識装置の作用について説明する
。本発明では、文献１に述べられているＨＭＭを用いた
連続単語認識において、単語間の確率計算はビタビアル
ゴリズムに基づいて行う。すなわち、音声パターン上の
時刻点りまでの単語列の認識結果は、その時刻点ｔにお
ける最大確率を与えるものとする。一方、単語内の確率
計算では、前向きバスアルゴリズムを用いると共に、マ
ッチングパスを求められるようにする。

本願の第１の発明では、生成確率は、前向きバスアルゴ
リズムを用いて確率の累積値である前向き確率を求める
ことにより計算する。マッチングパスは、その時刻点に
おける前向き確率の最大を与えるマッチングパスを保存
することにより求める。これにより、生成確率は認識性
能の高い前向きバスアルゴリズムで求められ、かつマッ
チングパスを求めることが可能となる。以下、この方法
を説明する。

観測された音声パターンを特徴ベクトルの時系列として
（Ｏｄｌ≦ｔ≦Ｔ）のように表す。単語のＨＭＭの状態
ｊ（１≦ｊ≦に１：単語の始端状態、Ｊ：単語の終端状
態）において音声パターンＯｔが観測される確率をｂｊ
（Ｏｔ）、状態ｉからｊに遷移する確率をａｉｊとする
と、時刻点し、状態ｊにおける前向き確率α（ｊ、ｔ）
は、前向きバスアルゴリズムにより、以下に示す漸化式
により求められる。

αθ、ｔ）＝　　Ｚａ（ｉ、ｔ−１）−ａｉｊ−ｂｊ（
Ｏｔ）　　　　　（１）１５ｉ≦Ｊまた、認識結果を求めるには、単語の終端点の時刻にお
いて、認識結果と共に、その単語の始端点の位置をバン
クトレースして求め保存する。各時刻点ｔのフレームに
おいて、最良の認識結果を与えた単語Ｗの始端点の１フ
レーム前の時刻は、以下に示すバックポインタｒ（ｊ、
ｔ）を用いることにより求めることができる。すなわち
、単語のＨＭＭにおける始端状態１では、６（１，ｔ）＝ｔ−１とし、単語内で（１）式により前向き確率を求めると同
時に、ｅ（ｊ、ｔ）＝ｅ（ａｒｇｍａｘ（ａ（ｉ、ｔ−１）−
ａｒｊ）、ｔ−１）　　　　（２）ｌ≦ｉ：ａＪのごとく、最良の確率を与えるマッチングパスに対する
始端点の位置を伝播させる。ここで、ａｒｇｒｐａｘ（
ｘ（ｉ））はｘ（ｉ）の最大値を与えるｉを示す。

単語の終端状態Ｊにおいて求められたバックポインタｅ
（Ｊ、ｔ）には、単語始端点の１フレーム前の時刻Ｓが
保存されている。前向き確率α（Ｊ、ｔ）が最大である
単語名Ｗとその単語の始端点の１フレーム前の時刻Ｓを
、結果単語メモリＲｗ（ｔ）　＝　ｗと結果始端点メモ
リＲｓ（ｔ）＝ｓに保存しておく。

入力された音声パターンの終端Ｔまで認識が完了した時
点で、保存されている単語の始端点の位置を順次たどる
ことにより単語列の認識結果が得られる。すなわち、以
下の手順で求めることができる。

■ｔ＝Ｔをセットする。

■認識結果ｗ　＝　Ｒｗ（ｔ）を出力。ｔ＝−馬（ｔ）
をセット。

■Ｌ＜１の場合終了。それ以外■にもどる。

出力された認識結果を逆順にならべたものが単語列の認
識結果Ｒとなる。

最大確率を与えるマッチングパスの、前向き確率への貢
献度が大きいならば以上述べた方法により高精度に認識
結果を求めることができる。しかし、（１）式において
前向き確率を求め場合、ａ（ｉ、ｔ−１）をバックトレ
ースした単語の始端点が異なる可能性がある。始端点が
異なると、それに対する単語列の認識結果も異なる可能
性があり、その場合（１）式の計算は、様々な単語列に
対する前向き確率を加え合わせてしまうことになり好ま
しくない。

本願の第２の発明では、求められた前向き確率のその時
刻点における最大値を与えるマッチングパスと始端点が
一致するマツチングパスの前向き確率のみを加算するこ
とにより前向き確率を求める。すなわち、（１）式の前
向き確率の計算を以下のように変形する。

ｉｍａ）（＝　ａｒｇｍａｘ（ａ（ｉ、ｔ　−１）ａ；
ｊ）　　　　　　（３）ｌ≦ｉ；＜Ｊこの計算は（１）式の計算においてｔ’（ｉ、ｔ−１）＝ｅ（ｉｍａｘ＋ｊ　　’）を満た
す前向き確率のみを加算するものであり、処理Ｉの増加
はわずかである。バンクポインタｅは、（２）式により
求めることができる。

これにより、ある始端点に対しては認識結果は一意に定
まるので、異なる認識結果に対する前向き確率を加える
問題はなくなる。しかし、同じ認識結果が得られている
にもかかわらず、始端点の位置が若干具なるマッチング
パスについては前向き確率が加えられなくなるため、誤
差が生じる可能性がある。

本願の第３の発明では、それまでの認識結果が最大６Ｖ
　Ｉを与えるマッチングパスと同じマッチングパスにつ
いては始端点の位置が異なっても確率を加え合わせるこ
とより前向き確率を求める。最大確率に近い前向き確率
を持つマッチングパスは始端点の位置がずれていても同
じ認識結果である可能性が高いので、この方法は有効で
ある。この方法を実現するため、それまでの認識結果を
（２）式のバックポインタと同様に伝播させる。すなわ
ち、結果ポインタｒ（ｊ、ｔ）を用意し、単語のＨＭＭ
における始ｙ１■点（状態１）ではｒ（１，ｔ）＝ｃ　　　　　　　　　　　　　　　　（
５）とする。ここで、Ｃはそれ以前に認識された単語列
をコード化したものである。単語内では、ｉｍＢｘ＝ａ
ｒｇｍａｘ（ａ（ｉ、ｔ−１）・ａｉｊ）　　　　　　
　（６）１≦ｉ≦Ｊｒθ＋ｊ）　”ｒ（１ｒｎａｘ＋Ｌ１）　　　　　　　
　　　　　（７）のように結果ポインタを計算しておく
。前向き確率は以下のように求める。

これにより、認識結果が同じ確率のみを加えて前向き確
率が求められるので、前向き確率を高精度に求めること
ができる。

ここでは、それ以前に認識された単語列をコードＣとし
てコード化して結果ポインタｒ（ｊ、ｔ）に保持させて
いる。認識された単語数が多い場合、コードＣが大きく
なり比較処理の処理量が多くなるおそれがある。これに
対処するため、全ての認識結果をコード化する代わりに
、過去数単語分の認識結果のみをコード化することによ
りコードＣを適度な大きさとすることができる。

（実施例）本発明による連続音声認識装置の実施例について図面を
参照して説明する。第１図は本願の第１の発明による一
実施例を示す構成図である。単語単位の標準パターンは
、（１）式に示されているようなＨＭＭのパラメータで
ある観測確率テーブルｂｊ（０）、遷移確率ａｉｊとし
て標準パターンメモリ部１に保持されている。入力され
た音声パターンＯｔは、観測確率計算部２において、観
測確率テーブルｂｊ（０）を用いて音声パターンの観測
１ｉｉｌ率ｂｊ（Ｏｔ）が求められる。この観測（ｉＩ
′＄は文献１の第３７頁に述べられているようなベクト
ル量子化等により求められる。

累積値メモリ部３には、前向き確率ａ（ｊ、ｔ）が保持
されている。初期値として、ａ（１，１）＝　１．０、
その他のｊ、ｔに対しては０．０の値となっている。ま
た、マツチングパスメモリ部４には、マッチングパスに
対する始端点の位置を示すパックポインタｅθ、１）が
保持されている。初期値として、単語の始端に対する状
態ｊ＝＝１において６（１，ｔ）＝ｔ−１なる値がセッ
トされる。

時刻ｔに対する観測確率ｂｊ（Ｏｔ）が求められると、
標準パターンメモリ部１から遷移確率ａｉｊ、累積値メ
モリ部３から前向き確率ａ（ｊ、ｆ、−１）が順次読み
だされ、遷移確率計算部５において積ａ（ｉ、ｔ−１）
・ａｉｊが求められる。この値は観測確率ｂｊ（Ｏｔ）
と共に、前向き確率計算部６において式（１）に従って
前向き確率ａθ、１）が求められる。求められた前向き
確率αθ、１）は累積値メモリ部３に保持される。

これと同時に、積α（ｉ、ｔ　　１）、ａｌｊは最大値
検出部７に入力され、式（３）に従って最大値を与える
ｉである１ｍａＸが求められる。マッチングパスメモリ
部４では、読みだされたｉｍａｘよりバンクポインタｒ
（ｊ、ｔ）が（２）式に従って計算され保持される。

時刻りに対して上述の処理が完了すると、最終状態Ｊに
対する前向き確率α（Ｊ、ｔ）およびバンクポインタｅ
（Ｊ、ｔ）が読みだされ、結果処理部８において文献１
の第４９頁に示されている方法により、最良の認識結果
が保持される。以上の処理が音声パターンの終端の時刻
Ｔまで終了すると、保持されている単語の始端の位置を
すでに述べた方法により順次たどることにより単語列の
認識結果Ｒが得られる。

次に本願の第２の発明による一実施例について説明する
。第２図は本願の第２の発明による一実施例を示す構成
図である。

本願の第１の発明と同様に、累積値メモリ部２３には、
前向き確率αａ、ｔ）が保持されている。初期値として
、α（１，１）＝１．０、その他のｊ、ｔに対しては０
．０の値となっている。また、マッチングパスメモリ部
２４にて、単語の始端に対する状態ｊ＝１においてｅ（
１，ｔ）＝ｔ−１なる値がセットされる。

時刻Ｌ＆：、対する観測確率ｂｊ（Ｏｔ）が、観測確率
計算部２２において求められると、標準パターンメモリ
部２１から遷移確率ａｉｊ、累積値メモリ部２３から前
向き確率α（ｊ、ｔ−１）が順次読みだされ、遷移確率
計算部２５において積α（ｉ、ｔ−１）・ａｉｊが求め
られる。この値は、最大値検出部２７に人力され、式（
３）に従って最大値を与えるｉである１ｍａＸが求めら
れる。マッチングパスメモリ部２４では、読みだされた
１ｍａＸよりバンクポインタｅ（３，ｔ）が（２）式に
従って計算され保持される。

バックボンイタ比較部２９では、マッチングパスメモリ
部２４から読みだされた最大値を与えるｅ（１ｍａＪ　
１）と状態ｉＧ：対し順次読みだされたｅ（ｉ、ｔ−１
）が比較され、一致した場合の状態ｉｃが出力される。

前向き確率計算部２６において式（４）に従って、積α
（ｉ、ｔ−１）・ａｉｊの状態ｉｃに対する和と観測確
率ｂｊ（Ｏｔ）の積が前向き確率ａ（ｊ、ｔ）として求
められる。求められた前向き確率ａ（ｊ、ｔ）は累積値
メモリ部２３に保持される。

本願の第１の発明と同様に、時刻りに対して上述の処理
が完了すると、最終状態Ｊに対する前向き確＄ａ（Ｊ、
ｔ）およびバックポインタＣ（Ｊ、ｔ）が読みだされ、
結果処理部２８において、最良の認識結果が保持される
。以上の処理が音声パターンの終端の時刻Ｔまで終了す
ると、保存されている単語の始端の位置をすでに述べた
方法により順次たどることにより単語列の認識結果Ｒが
得られる。

次に本願の第３の発明による一実施例について説明する
。第３図は本願の第３の発明による一実施例を示す構成
図である。

本願の第１の発明と同様に、累積値メモリ部３３には、
前向き確率ａ（ｉ、ｔ）が保持されている。初期値とし
てα（１４，）　＝　１．０、その他のｊ、ｔに月して
は０．０の値となっている。また、マッチングパスメモ
リ部３４にて、単語の始端に対する状態ｊ＝１において
Ｃ（ｉ、ｔ）＝ｔ−ｉなる値がセットされる。

また、結果メモリ部３９には、結果ボ・インタｒ（ｊ、
ｔ）が保持されている。初期値としては（５）式に示さ
れているように、コード化した２識結果Ｃがセットされ
ている。

時刻しに対する観測確ｒ＄ｂｊ（Ｏｔ）が、観測確率計
算部３２において求められると、標準パターンメモリ部
３１から遷移確率ａｉｊ、累積値メモリ部３３から前向
き確率ａ（ｊ、ｔ−１）が順次読みだされ、遷移確率計
算部３５において積ａ（ｉ、ｔ　−１）、ａｉｊが求め
られる。この値は、最大値検出部３７に人力され、式（
３）に従って最大値を与えるｉである１ｍａＸが求めら
れる。マッチングパスメモリ部３４では、読みだされた
１ｍａＸよりバックポインタｅＯ，ｔ）が（２）式に従
って計算され保持される。同様に結果メモリ部３９では
、読みだされたｉｍａｘより結果ポインタｒ（ｊ、ｔ）
が（７）式に従って計算され保持される。

結果比較部４０では、結果メモリ部３９から読みだされ
た最大値を与える結果ポインタｒ（”ｍａＬｔｌ）と、状態ｉに対し順次読みだされた
ｒ（ｉ、ｔ−１）が比較され、一致した場合の状態ｉｃ
が出力される。前向き確率計算部３６において式（８）
に従って、積α（ｉ、ｔ−１）・ａｉｊの状態ｉｃに対
する和と観測確率ｂｊ（０１，）の積が前向き確率ａθ
、１）として求められる。求められた前向き確率ａ（ｊ
、ｔ）は、累積値メモリ部３３に保持される。

本願の第１の発明と同林に、時刻上に対して上述の処理
が完了すると、最終状態Ｊに対する前向き確率ａ（Ｊ、
ｔ）およびバックポインタｅ（Ｊ、ｔ）が読みだされ、
結果処理部３８において、最良の認識結果が保持される
。同時に最良の認識結果はコード化され認識結果Ｃとし
て結果メモリ部３９に出力する。結果メモリ部３９では
（５）式に示されているように、結果ポインタｒ（ｊ、
ｔ）の初期値として保持される。

以上の処理が音声パターンの終端の時刻Ｔまで終了する
と、保存されている単語の始端の位置をすでに述べた方
法により順次たどることにより単語列の認識結果Ｒが得
られる。

（発明の効果）本発明によれば、計算量が少なくかつ高性能な連続音声
認識装置を実現することができる。

【図面の簡単な説明】

第１図は、本願発明による第１の発明による一実施例を
示す構成図、第２図は、本願発明による第２の発明によ
る一実施例を示す構成図２、第３図は、本願発明による
第３の発明による一実施例を示す（１４成図である。図において。１．２１．３１・・・標準パターンメモリ部、２，２２
．３２・・・絶対ｆｉｔ率計算部、３，２３．３３・・
・累積値メモリ部、４．２４．３４・・・マッチングパ
スメモリ部、５，２５．３５・・・遷移確率計算部、６
，２６．３６・・・前向き確率計算部、？、２７．３７
・・・最大値検出部、８，２８．３８・・・結果処理部
、２９・・・バックポインタ比較部、３９・・・結果メ
モリ部、４０・・・結果比較部、をそれぞれ示す。

Claims

【特許請求の範囲】

（１）予め定められた認識単位の標準パターンを結合し
て連続音声を認識する連続音声認識装置において、標準
パターンを記憶しておく標準パターンメモリ部と、入力
された音声パターンと標準パターンの各時刻点間の類似
度を求める類似度計算部と、前記音声パターン上のある
時刻点までの各マッチングパスに対して求められた前記
類似度の累積値の和と前記類似度の積を新しい累積値と
して求める累積値計算部と、前記累積値を記憶しておく
累積値メモリ部と、前記累積値の最大値を与えるマッチ
ングパスを記憶しておくマッチングパスメモリ部と、前
記記憶された累積値およびマッチングパスより認識結果
を求める結果処理部とを有して成ることを特徴とする連
続音声認識装置。
（２）マッチングパスメモリ部中に記憶されているマッ
チングパスより求められた認識単位の始端位置が、類似
度の最大値を与えるマッチングパスに対する始端位置と
一致するマッチングパスに対して求められた累積値の和
と前記類似度の積を新しい累積値として求める累積値計
算部を有する請求項１記載の連続音声認識装置。
（３）結果処理部により求められたマッチングパスに対
する認識結果の全部または一部が、類似度の累積値の最
大値を与えるマッチングパスに対する認識結果と一致す
るマッチングパスに対して求められた累積値の和と前記
類似度の積を新しい累積値として求める累積値計算部を
有する請求項１記載の連続音声認識装置。