JPH06167994A

JPH06167994A - 音声認識装置

Info

Publication number: JPH06167994A
Application number: JP4343327A
Authority: JP
Inventors: Masanori Omote; 雅則表; Makoto Akaha; 誠赤羽
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 1992-11-30
Filing date: 1992-11-30
Publication date: 1994-06-14

Abstract

(57)【要約】【目的】音声認識処理を高速に行う。【構成】マルコフモデル記憶部７に記憶されているマ
ルコフモデルの前後に、ワイルドカードモデルを接続
し、接続モデルを生成する。そして、この接続モデルか
ら、音響分析部４で音声から生成されたシンボルが生起
される確率を、例えばビタビ法にしたがって計算し、そ
の計算結果に基づいて、音声の音声区間をスポッティン
グする。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、ＨＭＭ（Hidden Marko
v Models）法を用いて音声認識を行う場合に用いて好適
な音声認識装置に関する。

【０００２】

【従来の技術】近年、音声を認識するためのアルゴリズ
ムとして、例えば「確率モデルによる音声認識」（電子
情報通信学会）などに記載されているＨＭＭ（Hidden M
arkovModels）法が注目されている。

【０００３】ＨＭＭは観測不可能な（Hidden）基礎統計
過程を有する２重統計過程であり、そのモデルは、図６
（ａ）に示すように、いくつかの状態Ｓ₁，Ｓ₂，・・
・，Ｓ_Nと、その状態間の遷移を表すパスから構成さ
れ、状態が遷移するときにシンボルを出力（生起）す
る。

【０００４】なお、音声認識では、図６（ｂ）に示すよ
うな自分自身と、次の状態に遷移するパスのみを有する
モデルが一般的に使用される。

【０００５】音声認識に通常適用される離散型ＨＭＭで
は、音声から生成されたコード列としてのシンボル系列
Ｙ＝｛ｙ₁，ｙ₂，・・・，ｙ_T ｝が、各モデルで生起さ
れる確率（事後確率）が計算され、その確率が最も大き
いモデルが認識結果とされる。

【０００６】即ち、ＨＭＭでは、Ｎ：モデルの有する状態数Ｙ（＝｛ｙ₁，ｙ₂，・・・，ｙ_T｝）：シンボル系列Ｔ：シンボル系列長ａ_ij：状態ｉから状態ｊへ遷移する遷移確率ｂ_ij（ｋ）：状態ｉから状態ｊへ遷移するときにシンボ
ルｋが生起される生起確率シンボル数：Ｋ π（＝π₁，π₂，・・・，π_N）：初期状態が状態ｉで
ある初期状態確率のようにパラメータを表すとすると、モデルからシンボ
ル系列Ｙは、次のようにして生起される。

【０００７】（Ｓ１）初期状態確率πに基づいて初期状
態ｉ_S(INITIAL)を決定（Ｓ２）遷移確率ａ_ijに基づいて状態のｉからｊへの遷
移を決定（Ｓ３）生起確率ｂ_ij（ｋ）に基づいて、状態がｉから
ｊに遷移するときに出力（生起）されるシンボルｙ_tを
決定（Ｓ４）ｔ＜Ｔであれば、Ｓ２へ戻る

【０００８】従って、モデルは、状態数Ｎシンボル数Ｋ遷移確率ａ_ij 生起確率ｂ_ij（ｋ）初期状態確率π_i により特徴づけられることになる。

【０００９】なお、音声認識においては、初期状態また
は最終状態は、それぞれ１つであるとするのが一般的で
あり、以下、初期状態（時刻ｔ＝１における状態）を、
ｉ_S( _INITIAL)だけに限定したモデルを考える。

【００１０】従って、初期状態確率はπi_S(INITIAL)の
み１となり、他はすべて０となる。

【００１１】さらに、最終状態（時刻ｔ＝Ｔにおける状
態）も、以下ｉ_S(FINAL)だけに限定したモデルを考え
る。

【００１２】モデルλがシンボル系列ｙ₁，ｙ₂，・・
・，ｙ_tを出力して状態ｉにいる前方予測確率をα
_i（ｔ）とすると、上述したモデルのシンボルの出力の
定義（（Ｓ１）乃至（Ｓ４））から、モデルλがシンボ
ル系列Ｙ＝｛ｙ₁，ｙ₂，・・・，ｙ_T｝を出力する確率
Ｐ（Ｙ｜λ）は、次の漸化式によって計算することがで
きる。

【００１３】

【数１】なお、上式のｊに関するサメーションは、与えられたモ
デルにおいて、状態ｊから状態ｉへの遷移が許されてい
る場合にのみとられる。

【００１４】そして、ＨＭＭ法を用いた音声認識では、
音声から生成されたコード列としてのシンボル系列Ｙ＝
｛ｙ₁，ｙ₂，・・・，ｙ_T｝に対して、上式から計算さ
れる確率Ｐ（Ｙ｜λ）を最大にするモデルλが認識結果
とされることになる。

【００１５】次に、シンボル系列Ｙ＝｛ｙ₁，ｙ₂，・・
・，ｙ_T｝に対して、確率Ｐ（Ｙ｜λ）を最大にするモ
デルのパラメータとしての遷移確率ａ_ij、生起確率ｂ_ij
（ｋ）は、以下のようにして求められる。

【００１６】即ち、モデルの学習では、まず、上述した
α_i（ｔ）が求められるとともに、時刻ｔにおいて、状
態ｉにいて、以後、シンボル系列ｙ_t+1，ｙ_t+2，・・
・，ｙ_Tを出力する後方予測確率β_i（ｔ）が次式により
求められる。

【００１７】

【数２】なお、上式のｊに関するサメーションは、与えられたモ
デルにおいて、状態ｉから状態ｊへの遷移が許されてい
る場合にのみとられる。

【００１８】そして、次式にしたがってモデルのパラメ
ータとしての遷移確率ａ_ij、生起確率ｂ_ij（ｋ）が更新
（学習）される。

【００１９】

【数３】なお、上式においてドット（・）を付したａ_ij、または
ｂ_ij（ｋ）は、更新した遷移確率または生起確率をそれ
ぞれ意味する。また、上式のｈに関するサメーション
は、状態ｉから状態ｈへの遷移が許されている場合にの
みとられる。さらに、ｔ：ｙ_t＝ｋに関するサメーショ
ンは、時刻ｔにおいて、ｋなるシンボルｙ_tが生起され
る場合についてのみとられる。

【００２０】上式にしたがって、遷移確率ａ_ij、生起確
率ｂ_ij（ｋ）が更新（再推定）されることにより、それ
ぞれ局所的に最適な値へ収束する。即ち、モデルの学習
が行われる。

【００２１】なお、上述のようにして遷移確率ａ_ij、生
起確率ｂ_ij（ｋ）を更新（再推定）する方法は、Baum-W
elchの再推定法と呼ばれる。

【００２２】ここで、式（２）で計算される遷移確率ａ
_ij、生起確率ｂ_ij（ｋ）は、ある学習用のシンボル系列
１つに対してだけであり、これにより学習が行われたモ
デルは、ある１つのシンボル系列を高い確率で出力する
ようになる。しかしながら、音声認識では、調音結合や
話者による音声（音声のシンボル系列）のばらつきがあ
り、単一のシンボル系列のみ高い確率で出力するモデル
では、このばらつきに対処することができない。

【００２３】そこで、いくつかのシンボル系列を高い確
率で出力するように、モデルの学習を行う必要がある。
これには、例えばＱ種類のシンボル系列の、ｑ番目のシ
ンボル系列をＹ^q＝｛ｙ₁ ^q，ｙ₂ ^q，・・・，ｙ_T ^q｝とし
たとき、各シンボル系列Ｙ^q（ｑ＝１，２，・・・，
Ｑ）が観測される確率Ｐ（Ｙ^q｜λ）の積が最大になる
ように、モデルλの学習を行えばよい。

【００２４】これは、上述したBaum-Welchの再推定法を
多重系列に拡張することにより、次のように再帰的に求
めることができる。

【００２５】

【数４】

【００２６】次に、上式（３）により遷移確率ａ_ij、生
起確率ｂ_ij（ｋ）を更新（再推定）することは、モデル
の学習を個別に行っていることに他ならない。過去、Ｈ
ＭＭ法を用いて音声認識を行う場合においては、単語認
識に適用されるときが多く、単語に対応するモデルの学
習を、上述したように個別に行うだけで問題はなかっ
た。

【００２７】しかしながら、最近は、音韻や音素に対応
するモデルを連結して、意味のある音声（単語や文）を
認識するのが一般的になり、このため、モデルの連結学
習を行う必要が生じできた。

【００２８】モデルの連結学習では、例えばあらかじめ
用意した単語辞書に登録されている単語に基づき、音韻
または音素モデルどうしを連結し、それを単語モデルと
みなして、単語のシンボル系列として用意されたシンボ
ル系列Ｙ^qに対する学習が行われる。

【００２９】即ち、Ｍ個の音韻または音素モデルの学習
を個別に行った場合、そのうちのｍ番目のモデル（モデ
ルｍ）のパラメータ（遷移確率、生起確率それぞれ）を
ａ_ij ^m，ｂ_ij ^m（ｋ）と表し、そのモデルｍに音韻または
音素モデルを連結したモデル（連結モデル）の状態をｕ
またはｖと表すとともに、連結モデルの状態のｕからｖ
への遷移において、状態ｕがモデルｍに属する状態であ
るときを（ｕ→ｖ）∈ｍと表すと、式（３）を変形した
次式にしたがって、モデルｍの遷移確率ａ_ij ^m、生起確
率ｂ_ij ^m（ｋ）が更新（再推定）される。

【００３０】

【数５】

【００３１】ここで、連結モデルがモデルｍを複数使用
して構成されている場合、即ち連結モデルが、例えば３
状態Ｓ₁，Ｓ₂，Ｓ₃からなるモデルｍを２回使用して構
成されている場合、連結モデルは、Ｓ₁，Ｓ₂，Ｓ₃，
Ｓ₁，Ｓ₂，Ｓ₃の６状態を有することになる。従って、
この場合、モデルｍの状態Ｓ₁，Ｓ₂，Ｓ₃のうちの、例
えば先頭の状態Ｓ₁は、連結モデルの状態Ｓ₁，Ｓ₂，
Ｓ₃，Ｓ₁，Ｓ₂，Ｓ₃の先頭の状態、および先頭から４番
目の状態と同一であり、このように連結モデルの複数の
状態ｕ（ｖ）が、モデルｍの１つ状態ｉ（ｊ）と同一で
あるときがある。

【００３２】上式（４）において、ｕ≡ｉ，ｖ≡ｊに関
するサメーション、およびｕ≡ｉに関するサメーション
は、上述したように連結モデルの状態ｕ（ｖ）が、モデ
ルｍの状態ｉ（ｊ）と同一である場合についてとられる
ことを意味する。

【００３３】また、ｈ：（ｕ→ｈ）∈ｍに関するサメー
ションは、連結モデルの状態ｕから状態ｈへの遷移が許
されている場合に、連結モデルの状態ｕが、モデルｍに
属するときのみとられる。

【００３４】さらに、上式（４）において、モデルｍの
後続にモデルが連結されており、連結モデルの状態ｕ
が、モデルｍの最終状態（ｕ＝ｉ_S(FINAL)）となった場
合、状態ｕからの遷移先である状態ｖは、モデルｍの直
後に連結したモデルの初期状態となるものとする。

【００３５】次に、以上説明したＨＭＭ法を用いて、例
えば図７に示すようなＳ₁，Ｓ₂，Ｓ₃の３状態からな
り、自分自身と、次の状態に遷移するパスのみを有する
とともに、初期状態または最終状態を、それぞれＳ₁ま
たはＳ₃とするモデルにより音声認識が行われる場合に
は、まず上述した式（３）または（４）（以下、式
（４）におけるａ_ij ^m，ｂ_ij ^m（ｋ）は、式（３）におけ
る場合と同様にそれぞれａ_ij，ｂ_ij（ｋ）と記載する）
にしたがってモデルの学習（連結学習）が行われ、モデ
ルの遷移確率ａ_ijおよび生起確率ｂ_ij（ｋ）が求められ
る。

【００３６】なお、モデルの学習において（音声認識を
行う場合においても同様であるが）、シンボル系列は、
音声から、所定のフレームごとに時系列に抽出した特徴
パラメータ（例えば、線形予測係数やＬＰＣケプストラ
ム、周波数帯域ごとのエネルギなど）をベクトル量子化
したものが一般的に使用される。

【００３７】ここで、シンボルがａとｂの２つであり、
学習により、例えばモデルλの遷移確率ａ_ijおよび生起
確率ｂ_ij（ｋ）が、次のように算出されたとする。

【００３８】ａ₁₁＝０．２，ｂ₁₁（ａ）＝０．６，ｂ₁₁
（ｂ）＝０．４，ａ₁₂＝０．８，ｂ₁₂（ａ）＝０．５，
ｂ₁₂（ｂ）＝０．５，ａ₂₂＝０．４，ｂ₂₂（ａ）＝０．
２，ｂ₂₂（ｂ）＝０．８，ａ₂₃＝０．６，ｂ₂₃（ａ）＝
０．４，ｂ₂₃（ｂ）＝０．６

【００３９】そして、音声から、例えばシンボル系列
ａ，ｂ，ａが観測された場合、このモデルλがそのシン
ボル系列を出力（生起）する確率Ｐ（｛ａ，ｂ，ａ｝｜
λ）が、式（１）にしたがって計算される。

【００４０】以上の処理が、モデルλ以外のモデルにも
対して行われ、前述したように、確率Ｐが最も大きいモ
デルが認識結果とされることになる。

【００４１】ところで、ＨＭＭ法により音声認識を行う
場合において、モデルλからシンボル系列Ｙが出力され
る確率（尤度）を計算する方法としては、式（１）にし
たがって計算する方法の他、例えばビタビ（Viterbi）
法によって計算する方法が知られている。

【００４２】即ち、ビタビ法においては、モデルλから
シンボル系列Ｙが出力される確率（尤度）が、次式にし
たがって計算される。

【００４３】

【数６】

【００４４】図８は、学習結果が上述のようになった図
７のモデルλがシンボル系列｛ａ，ｂ，ａ｝を出力する
確率（尤度）を、ビタビ法によって計算する場合に描か
れるトレリスを示している。

【００４５】図７のモデルλのトレリスを示す図８にお
いては、箱が各時刻における状態を示し、その中には、
各時刻においてその状態にいる確率が書き入れてある。
さらに、矢印は、状態の遷移を示しており、図７のモデ
ルλは、前述したように自分自身と、次の状態にしか状
態が遷移しないので、矢印は、自分自身への遷移を示す
水平方向の矢印と、次の状態への遷移を示す斜め上方向
の矢印のみとなっている。

【００４６】また、図７のモデルは、最終状態が状態Ｓ
₃であり、前述したように最終状態からの状態の遷移は
ないものとしたので、図８において、状態Ｓ₃の箱から
状態の遷移を示す矢印は書き込まれていない。

【００４７】さらに、図８のトレリスにおいては、縦方
向はモデルの状態の並びになっており、横方向は時間の
進みを表している。

【００４８】このようなトレリスにしたがって、図７の
モデルλがシンボル系列｛ａ，ｂ，ａ｝を出力する確率
が計算される場合、まず、時刻ｔ＝１においては、前述
したように初期状態は、必ず状態ｉ_S(INITIAL)となるか
ら（使用するモデルを、初期状態が状態ｉ_S(INITIAL)と
なるモデルとしたから）、状態ｉ_S(INITIAL)としての状
態Ｓ₁にいる確率ν₁（１）が１で、他の状態Ｓ₂，Ｓ₃に
いる確率ν₂（１），ν₃（１）は０であり、従って状態
Ｓ₁の箱のみ１が書き込まれ、他の状態Ｓ₂，Ｓ₃の箱に
は０が書き込まれる。

【００４９】そして、状態が遷移してシンボルａが出力
された場合に、状態Ｓ₁にいる確率ν₁（２）は、時刻ｔ
＝１に状態Ｓ₁にいて、シンボルａを出力しながら状態
Ｓ₁に遷移する確率であるから、１．０×ａ₁₁×ｂ₁₁（ａ）＝１．０×０．２×０．６＝
０．１２となり、時刻ｔ＝２における状態Ｓ₁の箱には、０．１
２が書き込まれる。

【００５０】また、この場合に、状態Ｓ₂にいる確率
は、時刻ｔ＝１に状態Ｓ₁にいて、シンボルａを出力し
ながら状態Ｓ₂に遷移する確率と、時刻ｔ＝１に状態Ｓ₂
にいて、シンボルａを出力しながら状態Ｓ₂に遷移する
確率との和であるが、ビタビ法においては、式（５）に
したがってそのうちの最大値が、時刻ｔ＝２に状態Ｓ₂
にいる確率ν₂（２）とされる。

【００５１】即ち、時刻ｔ＝１に状態Ｓ₁にいて、シン
ボルａを出力しながら状態Ｓ₂に遷移する確率は、 ν₁（１）×ａ₁₂×ｂ₁₂（ａ）＝１．０×０．８×０．
５＝０．４であり、時刻ｔ＝１に状態Ｓ₂にいて、シンボルａを出
力しながら状態Ｓ₂に遷移する確率は、 ν₂（１）×ａ₂₂×ｂ₂₂（ａ）＝０．０×０．４×０．
２＝０であるから、ビタビ法においては、このうちの最大値、
つまり０．４が、時刻ｔ＝２に状態Ｓ₂にいる確率ν
₂（２）とされる。従って、時刻ｔ＝２における状態Ｓ₂
の箱には、０．４が書き込まれる。

【００５２】さらに、この場合に、状態Ｓ₃にいる確率
ν₃（２）は、時刻ｔ＝１に状態Ｓ₂にいて、シンボルａ
を出力しながら状態Ｓ₃に遷移する確率であるから、 ν₂（１）×ａ₂₃×ｂ₂₃（ａ）＝０．０×０．６×０．
４＝０となり、時刻ｔ＝２における状態Ｓ₃の箱には、０が書
き込まれる。

【００５３】次に、シンボルａが出力された後に、さら
に状態が遷移してシンボルｂが出力された場合に、状態
Ｓ₁にいる確率ν₁（３）は、時刻ｔ＝２に状態Ｓ₁にい
て、シンボルｂを出力しながら状態Ｓ₁に遷移する確率
であるから、 ν₁（２）×ａ₁₁×ｂ₁₁（ｂ）＝０．１２×０．２×
０．４＝０．００９６となり、時刻ｔ＝３における状態Ｓ₁の箱には、０．０
０９６が書き込まれる。

【００５４】また、この場合に、状態Ｓ₂にいる確率ν₂
（３）は、時刻ｔ＝２に状態Ｓ₁にいて、シンボルｂを
出力しながら状態Ｓ₂に遷移する確率と、時刻ｔ＝２に
状態Ｓ₂にいて、シンボルｂを出力しながら状態Ｓ₂に遷
移する確率との和であるが、ビタビ法においては、上述
した場合と同様に、式（５）にしたがってそのうちの最
大値が、時刻ｔ＝３に状態Ｓ₂にいる確率ν₂（３）とさ
れる。

【００５５】即ち、時刻ｔ＝２に状態Ｓ₁にいて、シン
ボルｂを出力しながら状態Ｓ₂に遷移する確率は、 ν₁（２）０．１２×ａ₁₂×ｂ₁₂（ｂ）＝０．１２×
０．８×０．５＝０．０４８であり、時刻ｔ＝２に状態Ｓ₂にいて、シンボルｂを出
力しながら状態Ｓ₂に遷移する確率は、 ν₂（２）×ａ₂₂×ｂ₂₂（ａ）＝０．４×０．４×０．
８＝０．１２８であるから、ビタビ法においては、このうちの最大値、
つまり０．１２８が、時刻ｔ＝３に状態Ｓ₂にいる確率
ν₂（３）とされる。従って、時刻ｔ＝２における状態
Ｓ₂の箱には、０．１２８が書き込まれる。

【００５６】さらに、この場合に、状態Ｓ₃にいる確率
ν₃（３）は、時刻ｔ＝２に状態Ｓ₂にいて、シンボルｂ
を出力しながら状態Ｓ₃に遷移する確率であるから、 ν₂（２）×ａ₂₃×ｂ₂₃（ｂ）＝０．４×０．６×０．
６＝０．１４４となり、時刻ｔ＝３における状態Ｓ₃の箱には、０．１
４４が書き込まれる。

【００５７】そして、以上のようにシンボルａ，ｂが出
力された後に、さらに状態が遷移してシンボルａが出力
された場合における、各状態Ｓ₁，Ｓ₂，Ｓ₃にいる確率
が上述したときと同様にして計算され、図中最右端の各
状態Ｓ₁，Ｓ₂，Ｓ₃の箱に書き込まれる。

【００５８】トレリスにおいては、モデルがシンボル系
列を出力する確率（尤度）は、その最も左上にある箱に
書き込まれた確率になるので、図８のトレリスにおいて
は、モデルλがシンボル系列｛ａ，ｂ，ａ｝を出力する
確率（尤度）Ｐ（λ｜｛ａ，ｂ，ａ｝）は０．０３０７
になる。

【００５９】以上の処理が、モデルλ以外のモデルにも
対して行われ、確率（尤度）が最も大きいモデルが認識
結果とされることになる。

【００６０】なお、ビタビ法によって状態ｉにいる確率
を計算する場合、上述したように、状態ｊから状態ｉに
遷移することを示すパス（図８において、状態ｉに対応
する箱に入ってくる矢印）に沿って計算される確率のう
ちの最大値が選択されるが、このとき同時に、この選択
された確率を得ることができた前の状態ｊ（図８におい
て、矢印の始点側の箱に対応する状態）を、バックポイ
ンタとして保存しておくようにすることができる。

【００６１】これにより、図８において、最も左上にあ
る箱に書き込まれた確率を計算した後に、バックポイン
タをたどっていけば、そのとき遷移した状態系列（以
下、最適状態系列と記載する）を求めることができる。

【００６２】図８には、モデルλがシンボル系列｛ａ，
ｂ，ａ｝を出力する確率（尤度）が最も高いときの状態
系列、即ち最適状態系列を太線で示してある。

【００６３】次に、図９は、以上説明したようにして所
定の音声（例えば、単語など）を認識してスポッティン
グする（音声区間を検出する）音声認識装置の一例の構
成を示すブロック図である。マイク１は、入力された音
声を電気信号としての音声信号に変換する。マイク１か
らの音声信号は、ＬＰＦ（ローパスフィルタ）２に入力
され、そこでフィルタリングされて、音声信号の周波数
帯域成分のうち、次段に接続されているＡ／Ｄ変換器３
におけるサンプリングレートの１／２以上の周波数帯域
成分がカットされる。

【００６４】Ａ／Ｄ変換器３は、マイク１よりＬＰＦ２
を介して出力される音声信号を所定のサンプリングレー
トでＡ／Ｄ変換し、ディジタル信号としての音声信号を
出力する。Ａ／Ｄ変換器３より出力された音声信号は、
音響分析部４に入力される。音響分析部４では、Ａ／Ｄ
変換器３より出力された音声信号が、所定のフレーム周
期ごとに音響分析され、音声の特徴パラメータとして
の、例えば線形予測係数やＬＰＣケプストラム、周波数
帯域ごとのエネルギなどが抽出される。そして、音響分
析部４は、音声信号から抽出した特徴パラメータを、例
えば２５６種類のシンボル（コード）にベクトル量子化
し、シンボル系列Ｙ（＝｛ｙ₁，ｙ₂，・・・，ｙ_T｝）
をトレリス計算回路６に出力する。

【００６５】同時に、Ａ／Ｄ変換器３の出力信号は、音
声区間判定回路５にも入力される。音声区間判定回路５
では、Ａ／Ｄ変換器３の出力信号の、例えばパワーなど
が計算され、そのパワーからマイク１から音声が入力さ
れているか否かが判定される。即ち、音声区間判定回路
５では、大まかな音声区間が判定される。そして、音声
区間判定回路５は、Ａ／Ｄ変換回路３の出力信号から判
定した大まかな音声区間をトレリス計算回路６に出力す
る。

【００６６】ここで、マルコフモデル記憶部２１には、
前述したようにして学習、および連結学習が行われた、
例えば音韻モデル（遷移確率ａ_ijおよび生起確率ｂ
_ij（ｋ））、単語辞書、並びに例えば遷移確率ａ_ij（生
起確率ｂ_ij（ｋ））が、ｉ，ｊ（ｉ，ｊ，ｋ）に関わら
ずほぼ等しいような、任意の音声モデルに成り得るワイ
ルドカードモデルが記憶されている。マルコフモデル記
憶部２１においては、まず単語辞書に登録されている単
語が参照され、その単語を構成するように音韻モデルが
連結される。そして、その連結モデルとしてのマルコフ
モデルの先頭にのみワイルドカードモデルが接続され、
トレリス計算回路６に供給されるようになっている。

【００６７】トレリス計算回路６は、マルコフモデル記
憶部２１より供給された、先頭にワイルドカードモデル
が接続されたマルコフモデルλが、音声区間判定回路５
から出力された大まかな音声区間の間に、音響分析部４
より供給されたシンボル系列を出力する確率（尤度）の
計算、即ちトレリスの計算を、例えば上述したビタビ法
にしたがって行う。

【００６８】そして、トレリス計算回路６は、先頭にワ
イルドカードモデルが接続されたマルコフモデルλの最
終状態にいる確率（以下、最終確率と記載する）を計算
し終わるたびに、その最終確率が計算されたフレーム
を、マルコフモデルλに対応するスポッティング対象音
声の音声区間の終点であると仮定し、音声区間判定回路
５から出力された大まかな音声区間における、最終確率
を時系列に算出するとともに、その最終確率を得ること
ができた最適状態系列を算出する。

【００６９】トレリス計算回路６で算出された最終確率
は、時系列にスポッティング判定回路２２に供給され
る。スポッティング判定回路２２は、トレリス計算回路
６から出力された最終確率が所定の閾値より高いフレー
ム区間が存在するか否かを判定し、最終確率が所定の閾
値より高いフレーム区間が存在すると判定した場合、音
声区間判定回路５から出力された大まかな音声区間中
に、マルコフモデルλに対応するスポッティング対象の
音声が存在すると認識する。

【００７０】そして、スポッティング判定回路２２は、
最終確率が所定の閾値より高いフレーム区間のうち、最
終確率が最大となるフレームを検出し、そのフレームを
マルコフモデルλに対応するスポッティング対象音声の
音声区間の終点として決定する。さらに、スポッティン
グ判定回路２２は、決定したスポッティング対象音声の
音声区間の終点（フレーム）において、最終状態にいる
最適状態系列を、トレリス計算回路６から得て、その最
適状態系列において、モデルλの先頭の状態に接続され
たワイルドカードモデルの状態から、音声に対応するモ
デルλの先頭の状態に遷移したときのフレームを、モデ
ルλに対応するスポッティング対象音声の音声区間の始
点として決定する。

【００７１】スポッティング判定回路２２は、以上のよ
うにしてモデルλに対応するスポッティング対象音声の
音声区間の始点および終点を決定すると、その始点およ
び終点並びにスポッティング対象音声としてのマルコフ
モデルλを認識結果として出力する。

【００７２】なお、トレリス計算回路６およびスポッテ
ィング判定回路２２における処理は、マルコフモデル記
憶部２１の単語辞書に基づいて連結されるマルコフモデ
ルすべてに対して行われる。

【００７３】

【発明が解決しようとする課題】以上のように、ＨＭＭ
を用いた音声認識装置においては、スポッティング対象
音声の音声区間の始点は、その終点から容易に決定する
ことができるが、それに比較して、スポッティング対象
音声の音声区間の終点を決定するには、上述したように
時系列の最終確率が所定の閾値より高いフレーム区間を
検出し、さらにそのフレーム区間から、最終確率が最大
となるフレームを検出しなければならず、処理が繁雑に
なり、実時間処理が困難になる課題があった。

【００７４】本発明は、このような状況に鑑みてなされ
たものであり、音声認識処理を高速に行うことができる
ようにするものである。

【００７５】

【課題を解決するための手段】請求項１に記載の音声認
識装置は、マルコフモデルを用いた音声認識装置におい
て、音声から生成されたマルコフモデルとともに、ワイ
ルドカードモデルを記憶している記憶手段としてのマル
コフモデル記憶部７と、音声からシンボルを生成するシ
ンボル生成手段としての音響分析部４と、マルコフモデ
ル記憶部７に記憶されているマルコフモデルの前後に、
ワイルドカードモデルを接続し、接続モデルを生成する
モデル生成手段としてのマルコフモデル接続回路８と、
マルコフモデル接続回路８により生成された接続モデル
から、音響分析部４から出力されたシンボルが生起され
る確率を計算する計算手段としてのトレリス計算回路６
とを備え、トレリス計算回路６の計算結果に基づいて、
音声を認識することを特徴とする。

【００７６】請求項２に記載の音声認識装置は、マルコ
フモデルを用いた音声認識装置において、音声から生成
されたマルコフモデルとともに、ワイルドカードモデル
を記憶している記憶手段としてのマルコフモデル記憶部
７と、音声からシンボルを生成するシンボル生成手段と
しての音響分析部４と、マルコフモデル記憶部７に記憶
されているマルコフモデルの前後に、ワイルドカードモ
デルを接続し、接続モデルを生成するモデル生成手段と
してのマルコフモデル接続回路８と、マルコフモデル接
続回路８により生成された接続モデルから、音響分析部
４から出力されたシンボルが生起される確率を計算する
計算手段としてのトレリス計算回路６と、トレリス計算
回路６の計算結果に基づいて、音声の音声区間をスポッ
ティングするスポッティング手段としてのスポッティン
グ判定回路９とを備えることを特徴とする。

【００７７】請求項３に記載の音声認識装置は、トレリ
ス計算回路６が、確率をビタビ法にしたがって計算する
ことを特徴とする。

【００７８】請求項４に記載の音声認識装置は、マルコ
フモデル記憶部７が、音素、音韻、単語、文節、または
文に対応する音声から生成されたマルコフモデルを記憶
していることを特徴とする。

【００７９】請求項５に記載の音声認識装置は、音響分
析部４が、音声の特徴量をベクトル化またはベクトル量
子化して、シンボルを生成することを特徴とする。

【００８０】

【作用】上記構成の音声認識装置においては、マルコフ
モデル記憶部７に記憶されているマルコフモデルの前後
に、ワイルドカードモデルを接続し、接続モデルを生成
する。そして、この接続モデルから、音響分析部４で音
声から生成されたシンボルが生起される確率を、例えば
ビタビ法にしたがって計算し、その計算結果に基づい
て、音声を認識し、また音声の音声区間をスポッティン
グする。従って、音声認識処理を高速に行うことができ
る。

【００８１】

【実施例】図１は、本発明の音声認識装置の一実施例の
構成を示すブロック図である。図中、図９における場合
と対応する部分については、同一の符号を付してある。
マルコフモデル記憶部７には、前述したようにして学習
が行われた、例えば音韻モデル（遷移確率ａ_ijおよび生
起確率ｂ_ij（ｋ））、および例えば遷移確率ａ_ij（生起
確率ｂ_ij（ｋ））が、ｉ，ｊ（ｉ，ｊ，ｋ）に関わらず
ほぼ等しいような、任意の音声モデルに成り得るワイル
ドカードモデルが記憶されている。

【００８２】マルコフモデル接続回路８は、マルコフモ
デル記憶部７に記憶されている音韻モデルおよびワイル
ドカードモデルを読み出し、音韻モデルの前後にワイル
ドカードモデルを連結して連結モデルを生成する。

【００８３】即ち、マルコフモデル接続回路８は、例え
ば３つの状態Ｓ₁，Ｓ₂、およびＳ₃からなる音韻モデル
λ、並びに例えば１つの状態Ｓ_W1，Ｓ_W2からそれぞれな
る２つのワイルドカードモデルλ_W1，λ_W2をマルコフモ
デル記憶部７から読み出した場合、状態Ｓ₁の前に状態
Ｓ_W1を接続するとともに、状態Ｓ₃の後に状態Ｓ_W2を接
続し、図２に示すような５つの状態Ｓ_W1，Ｓ₁，Ｓ₂，Ｓ
₃，Ｓ_W2からなる接続モデルλ_Sを生成する。マルコフモ
デル接続回路８で生成された接続モデルは、トレリス計
算回路６に供給されるようになされている。

【００８４】スポッティング判定回路９は、音声区間判
定回路５から出力された大まかな音声区間の終点に対応
する時刻Ｔ（フレーム）に、即ちマイク１への発声が終
了したときに、トレリス計算回路６から出力される、接
続モデルλ_Sの最終確率の、例えば対数をとり、それ
に、音声区間判定回路５から出力された大まかな音声区
間に対応するフレーム数（以下、正規化フレーム数と記
載する）Ｆを乗算して正規化した正規化値を計算する。

【００８５】そして、その正規化値が、所定の閾値より
大きい場合、スポッティング判定回路９は、音声区間判
定回路５から出力された大まかな音声区間中に、接続モ
デルλ_S（音韻モデルλ）に対応するスポッティング対
象の音声が存在すると認識し、トレリス計算回路６で算
出された接続モデルλ_Sの最適状態系列を参照して、そ
の最適状態系列において、音韻モデルλの最後の状態Ｓ
₃から、そこに接続されたワイルドカードモデルλ_W2の
状態Ｓ_W2に遷移したときの時刻ｔ₂（フレーム）を、音
韻モデルλに対応するスポッティング対象音声の音声区
間の終点として決定する。

【００８６】さらに、スポッティング判定回路９は、ト
レリス計算回路６で算出された接続モデルλ_Sの最適状
態系列において、音韻モデルλの最初の状態Ｓ₁に接続
されたワイルドカードモデルλ_W1の状態Ｓ_W1から、音韻
モデルλの最初の状態Ｓ₁に遷移したときの時刻ｔ₁（フ
レーム）を、音韻モデルλに対応するスポッティング対
象音声の音声区間の始点として決定する。

【００８７】スポッティング判定回路９は、以上のよう
にしてスポッティング対象音声の音声区間の始点ｔ₁お
よび終点ｔ₂を決定すると、その始点ｔ₁および終点ｔ₂
並びにスポッティング対象音声を認識結果として出力す
る。

【００８８】以上のように構成される音声認識装置にお
いては、マイク１に入力された音声が、電気信号として
の音声信号に変換され、ＬＰＦ２を介してＡ／Ｄ変換器
３に出力される。

【００８９】Ａ／Ｄ変換器３において、マイク１よりＬ
ＰＦ２を介して出力された音声信号が所定のサンプリン
グレートでＡ／Ｄ変換され、ディジタル信号としての音
声信号が音響分析部４および音声区間判定回路５に出力
される。音響分析部４では、Ａ／Ｄ変換器３より出力さ
れた音声信号が、所定のフレーム周期ごとに音響分析さ
れ、音声の特徴パラメータとしての、例えば線形予測係
数やＬＰＣケプストラム、周波数帯域ごとのエネルギな
どが抽出される。そして、音声信号から抽出した特徴パ
ラメータがベクトル量子化され、シンボル系列Ｙ（＝
｛ｙ₁，ｙ₂，・・・，ｙ_T｝）がトレリス計算回路６に
出力される。

【００９０】同時に、音声区間判定回路５では、Ａ／Ｄ
変換器３の出力信号の、例えばパワーなどが計算され、
そのパワーからマイク１から音声が入力されているか否
かが判定され、これにより、大まかな音声区間が検出
（判定）される。そして、この大まかな音声区間はトレ
リス計算回路６に出力される。

【００９１】音声区間判定回路５からトレリス計算回路
６に大まかな音声区間が出力されると、マルコフモデル
接続回路８において、マルコフモデル記憶部７に記憶さ
れている音韻モデルおよびワイルドカードモデルが読み
出され、音韻モデルの前後にワイルドカードモデルが連
結されて連結モデルが生成される。

【００９２】即ち、マルコフモデル接続回路８におい
て、例えば図２に示すような、状態Ｓ₁，Ｓ₂、およびＳ
₃からなる音韻モデルλの前後に、状態Ｓ_W1，Ｓ_W2から
それぞれなる２つのワイルドカードモデルλ_W1，λ_W2が
接続され、状態Ｓ_W1，Ｓ₁，Ｓ₂，Ｓ₃，Ｓ_W2からなる接
続モデルλ_Sが生成される。

【００９３】マルコフモデル接続回路８で生成された接
続モデルλ_Sは、トレリス計算回路６に供給され、そこ
で、その接続モデルλ_Sが、音声区間判定回路５から出
力された大まかな音声区間の間に、音響分析部４より供
給されたシンボル系列を出力する確率（尤度）の計算、
即ちトレリスの計算が、例えば上述したビタビ法にした
がって行われる。

【００９４】ここで、図２に示す接続モデルλ_Sから、
シンボル系列Ｙが出力（生起）される場合のトレリスを
図３に示す。

【００９５】トレリス計算回路６においては、接続モデ
ルλ_Sの最終状態にいる確率（最終確率）の計算が終了
するたびに、その最終確率が計算されたフレームが、マ
ルコフモデルλに対応するスポッティング対象音声の音
声区間の終点であると仮定され、音声区間判定回路５か
ら出力された大まかな音声区間における、最終確率が時
系列に算出されるとともに、その最終確率を得ることが
できた、例えば図４に示すような最適状態系列が算出さ
れる。

【００９６】なお、図４は、音声区間判定回路５から出
力された大まかな音声区間の終点における最終確率を得
ることができた最適状態系列を示している。

【００９７】トレリス計算回路６で算出された最終確率
は、時系列にスポッティング判定回路９に供給される。

【００９８】スポッティング判定回路９では、音声区間
判定回路５から出力された大まかな音声区間の終点に対
応する時刻Ｔ（フレーム）に、トレリス計算回路６から
出力された、接続モデルλ_Sの最終確率（図３におい
て、斜線を付してある状態にいる確率）の対数がとれら
れ、さらにそれに、音声区間判定回路５から出力された
大まかな音声区間に対応する正規化フレーム数Ｆが乗算
されて正規化される。

【００９９】ここで、最終確率は、音声区間判定回路５
から出力された音声区間がより長いほど、１未満の正数
（遷移確率および生起確率）がより乗算されて計算され
るため、スポッティング判定回路９では、最終確率（本
実施例においては、最終確率の対数をとった値）に、音
声区間に対応する正規化フレーム数Ｆを乗算して正規化
するようになっている。

【０１００】そして、スポッティング判定回路９におい
て、正規化値が所定の閾値と比較され、正規化値が所定
の閾値より大きいと判定された場合、音声区間判定回路
５から出力された大まかな音声区間中に、接続モデルλ
_S（音韻モデルλ）に対応するスポッティング対象の音
声が存在すると認識される。さらに、この場合、スポッ
ティング判定回路９では、トレリス計算回路６で算出さ
れた接続モデルλ_Sの最適状態系列（図４）が参照さ
れ、その最適状態系列において、音韻モデルλの最後の
状態Ｓ₃から、そこに接続されたワイルドカードモデル
λ_W2の状態Ｓ_W2に遷移したときの時刻ｔ₂（フレーム）
が、音韻モデルλに対応するスポッティング対象音声
（音韻）の音声区間の終点として決定される。

【０１０１】さらに、スポッティング判定回路９では、
トレリス計算回路６で算出された接続モデルλ_Sの最適
状態系列において、音韻モデルλの最初の状態Ｓ₁に接
続されたワイルドカードモデルλ_W1の状態Ｓ_W1から、音
韻モデルλの最初の状態Ｓ₁に遷移したときの時刻ｔ
₁（フレーム）が、音韻モデルλに対応するスポッティ
ング対象音声（音韻）の音声区間の始点として決定され
る。

【０１０２】スポッティング判定回路９においては、以
上のようにしてスポッティング対象音声の音声区間の始
点ｔ₁および終点ｔ₂が決定されると、その始点ｔ₁およ
び終点ｔ₂並びにスポッティング対象音声が認識結果と
して出力される。

【０１０３】なお、上述のトレリス計算回路６およびス
ポッティング判定回路９における処理は、マルコフモデ
ル記憶部７からマルコフモデル接続部８を介してトレリ
ス計算回路６に供給されるマルコフモデルすべてに対し
て行われる。

【０１０４】以上のように、音声モデルとしてのマルコ
フモデルの前後に、ワイルドカードモデルを接続して生
成した接続モデルから、音響分析部４より出力されたシ
ンボル系列が生起される確率を計算するようにしたの
で、その確率を得ることができた最適状態系列から容易
に音声区間をスポッティングすることができる。

【０１０５】なお、本実施例においては、音響分析部４
より出力されたシンボル系列Ｙが、接続モデルλ_Sから
生起される確率Ｐ（λ｜Ｙ）をビタビ法によって計算
し、最適状態系列を算出するようにしたが、確率Ｐ（λ
｜Ｙ）を他の方法によって計算するようにすることがで
きる。さらに、最適状態系列も、図４に示すように１つ
だけ求めるのではなく、複数求めるようにしても良い。

【０１０６】また、スポッティング判定回路９におい
て、正規化値と比較される所定の閾値は、トレリス計算
回路６の出力値に対応して動的に変化させるようにする
ことができる。

【０１０７】さらに、音声区間判定回路５は、トレリス
計算回路６と一体化して構成するようにすることができ
る。

【０１０８】また、本実施例においては、スポッティン
グ対象音声を音韻として、音韻に対応するマルコフモデ
ルをマルコフモデル記憶部７に記憶させておくようにし
たが、音韻だけでなく、例えば音素や、単語、文節、文
などに対応するマルコフモデルをマルコフモデル記憶部
７に記憶させておくようにすることができる。例えば、
６つの状態Ｓ₁乃至Ｓ₆からなる単語マルコフモデルの前
後にワイルドカードモデルが接続された接続モデルを図
５に示す。

【０１０９】さらに、マルコフモデル記憶部７に、学
習、および連結学習が行われた、例えば音韻モデルや音
素モデルとともに、単語辞書を記憶させておき、単語辞
書に登録されている単語を参照して、単語モデルを構成
するように音韻モデルや音素モデルを連結するようにす
ることができる。

【０１１０】また、枝分かれのあるようなマルコフモデ
ルをマルコフモデル記憶部７に記憶させておくようにす
ることもできる。

【０１１１】さらに、本実施例では、音声に対応するマ
ルコフモデルの前後に１つの状態からなるワイルドカー
ドモデルを接続するようにしたが、複数の状態からなる
ワイルドカードモデルを接続するようにしても良い。

【０１１２】また、スポッティング判定回路９に、フレ
ームごとの正規化値を算出させ、この正規化値が、所定
のフレーム区間だけ連続して所定の閾値より大きい場合
に、モデルに対応するスポッティング対象音声が、音声
区間判定回路５より出力される大まかな音声区間中に存
在すると認識させるようにすることができる。

【０１１３】さらに、本実施例においては、離散型のＨ
ＭＭについてのみ言及したが、連続型のＨＭＭを用いる
ようにしても問題はない。

【０１１４】

【発明の効果】以上の如く、本発明の音声認識装置によ
れば、記憶手段に記憶されているマルコフモデルの前後
に、ワイルドカードモデルを接続し、接続モデルを生成
する。そして、この接続モデルから、シンボル生成手段
により音声から生成されたシンボルが生起される確率を
計算し、その計算結果に基づいて、音声を認識し、また
音声の音声区間をスポッティングする。従って、音声認
識処理を高速に行うことができる。

【図面の簡単な説明】

【図１】本発明の音声認識装置の一実施例の構成を示す
ブロック図である。

【図２】音韻に対応するマルコフモデルの前後にワイル
ドカードモデルを接続した接続モデルの一実施例の構成
を示す図である。

【図３】トレリスを示す図である。

【図４】最適状態系列を示す図である。

【図５】単語に対応するマルコフモデルの前後にワイル
ドカードモデルを接続した接続モデルの一実施例の構成
を示す図である。

【図６】マルコフモデルを示す図である。

【図７】マルコフモデルを示す図である。

【図８】トレリスの計算を説明する図である。

【図９】従来の音声認識装置の一例の構成を示す図であ
る。

【符号の説明】

１マイク２ローパスフィルタ（ＬＰＦ）３Ａ／Ｄ変換器４音響分析部５音声区間判定回路６トレリス計算回路７マルコフモデル記憶部８マルコフモデル接続回路９スポッティング判定回路２１マルコフモデル記憶部２２スポッティング判定回路

Claims

【特許請求の範囲】

【請求項１】マルコフモデルを用いた音声認識装置に
おいて、音声から生成された前記マルコフモデルとともに、ワイ
ルドカードモデルを記憶している記憶手段と、前記音声からシンボルを生成するシンボル生成手段と、前記記憶手段に記憶されている前記マルコフモデルの前
後に、前記ワイルドカードモデルを接続し、接続モデル
を生成するモデル生成手段と、前記モデル生成手段により生成された前記接続モデルか
ら、前記シンボル生成手段から出力された前記シンボル
が生起される確率を計算する計算手段とを備え、前記計算手段の計算結果に基づいて、前記音声を認識す
ることを特徴とする音声認識装置。
【請求項２】マルコフモデルを用いた音声認識装置に
おいて、音声から生成された前記マルコフモデルとともに、ワイ
ルドカードモデルを記憶している記憶手段と、前記音声からシンボルを生成するシンボル生成手段と、前記記憶手段に記憶されている前記マルコフモデルの前
後に、前記ワイルドカードモデルを連結し、接続モデル
を生成するモデル生成手段と、前記モデル生成手段により生成された前記接続モデルか
ら、前記シンボル生成手段から出力された前記シンボル
が生起される確率を計算する計算手段と、前記計算手段の計算結果に基づいて、前記音声の音声区
間をスポッティングするスポッティング手段とを備える
ことを特徴とする音声認識装置。
【請求項３】前記計算手段は、前記確率をビタビ法に
したがって計算することを特徴とする請求項１または２
に記載の音声認識装置。
【請求項４】前記記憶手段は、音素、音韻、単語、文
節、または文に対応する音声から生成されたマルコフモ
デルを記憶していることを特徴とする請求項１乃至３の
いずれかに記載の音声認識装置。
【請求項５】前記シンボル生成手段は、前記音声の特
徴量をベクトル化またはベクトル量子化して、前記シン
ボルを生成することを特徴とする請求項１乃至４のいず
れかに記載の音声認識装置。