JPH0229799A - 音素を単位とした音声認識装置 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 （産業上の利用分野） 本発明は、音声を構成する基本単位である音素を認識単
位とすることにより、人語常連続音声が認識可能な音声
認識装置の改良に関するものである。

（従来の技術） 従来、音声を構成する基本的な単位である音素を単位と
して、音声を認識する方式は存在した。

この方式では、まず認識の基本となる音素標準パターン
を学習により求める。この音素標準パターンを、音素表
記された単語辞書にしたがって合成した単語の標準パタ
ーンを用いて単語音声を認識する。この場合において、
「音素」という用語は認識の単位という意味で、音声学
でいう音素たけでなく、音節や複数の音素連鎖も含む、
より広い意味で用いている。また、認識対象としては単
語以外に、文節、文章等があるが、以下では単語を認識
する場合について説明する。

音素を単位とした認識方式の例として、たとえば、日本
音響学会音声研究会資料５８５−６２　（１９８５年１
２月２０日）の４７７頁から４８４頁に「音節をベース
とする日本語音声認識」と題されて発表されている論文
（以下引用文献１と称す）に、子音＋母音（ＣＶ　；子
音をＣ１母音を■と表記する）および母音十子音＋母音
（ＶＣＶ）を認識単位（音素）とした音声認識方式が示
されている。この方式では、単語単位に連続発声された
学習用音声を、ＣｖｌＶＣｖの音素にセグメンテーショ
ンし、セグメンテーションされた区間の音声から音素標
準パターンを作成する（このような標準パターンの作成
や、更新を学習と呼ぶ）。

認識時には、求められた音素標準パターンを結合したも
のを基にＤＰマツチング法により単語（文節）を認識し
ている。

また、ＩＥＥＥ＋　Ｉｎｔｅｒｎａｔｉｏｎａｌ　Ｃｏ
ｎｆｅｒｅｎｃｅ　ｏｎＡｃｏｕｓｔｉｃｓ、　５ｐｅ
ｅｃｈ、　ａｎｄ　Ｓｉｇｎａｌ　Ｐｒ００６５９１１
ｇ＋１９８Ｇ、　３０．９の１５９３頁に”Ｔｈｅ　Ｒ
ｏｌｅ　ｏｆ　Ｗｏｒｄ−Ｄｅｐｅｎｄｅｎｔ　Ｃｏａ
ｒｔｉｃｕｌａｔｏｒｙ　Ｅｆｆｅｃｔｓ　ｉｎ　ａＰ
ｈｏｎｅｍｅ−Ｂａｓｅｄ　　５ｐｅｅｃｈ　　Ｒｅｃ
ｏｇｎｌｔｌｏｎ　　Ｓｙｓｔｅｍ　　”　　（１９８
６年）と題されて発表されている論文（以下引用文献２
と称す）には、音素を認識の単位として、隠れマルコフ
モデル（旧ｄｄｅｎ　Ｍａｒｋｏｖｍｏｄｅｌ　ｓ以下
ｒＨＭＭＪと呼ぶ）法を用いて認識を行う方式が示され
ている。以下に、この方式を説明する。

最初に、音素単位のＨＭＭ（音素ＨＭＭと呼ぶ。音素標
準パターンと等価なものである。）を学習により求める
方法について述べる。学習用音声は、ベクトル量子化法
により観測ラベル列０（ｔ）；１≦ｔ≦Ｔに変換される
。第２図に音素ＨＭＭの例を示す。ＨＭＭは図のような
状態遷移ネットワークであられされる。ＨＭＭには、４
犬態ｉにおける観測ラベル０（ｔ）の出力確立ｂｉ（０
（ｔ））、状態ｉから状態ｊへの状態遷移確立ａ（ｉｔ
　　ｊ）の各パラメータが定義されている。

音素ＨＭＭを学習する場合、まず、あらかじめ代表的な
話者のセグメンテーションされた音声データをもとに音
素ＨＭＭを作成しておく。これを音素ＨＭＭ学習の初期
値である初期モデルとする。新しい話者に対しては、そ
の話者が発声した学習用音声を用いて、学習処理により
初期モデルを更新し、その話者の音素ＨＭＭを作成する
。この学習処理は、Ｆ　Ｂ　（Ｆｏｒｗａｒｄ−Ｂａｃ
ｋｗａｒｄ）アルゴリズムを用いて実行できる。このＦ
Ｂアルゴリズムについては、たとえば、Ｐｒｏｃｅｅ旧
ｎｇｓ　ｏｆ　ＴｈｅＩＥＥＥ、　Ｖｏｌ、７３．　Ｎ
ｏ、１１の１６２５頁に”５ｔｒｕｃｔｕｒａ　１Ｍｅ
ｔｈｏｄｓ　ｉｎ　Ａｕｔｏｍａｔｉｃ　５ｐｅｅｃｈ
　Ｒｅｃｏｇｎｉｔｉｏｎ″（１９８５年１１月）と題
されて発表されている論文（以下引用文献３と称す）に
詳しく述べられている。単語単位に発声された学習用音
声を用いて音素ＨＭＭを学習する方法としては、単語単
位に更新されたＦＢアルゴリズムにおける中間パラメー
タを、音素ＨＭＭ単位にまとめることにより新しい音素
ＨＭＭのパラメータ得るという操作を繰り返す方法をも
ちいている。

入力音声を認識する場合は、音素ＨＭＭを音素表記され
た単語辞書に従って結合した単語ＨＭＭを用いて、上記
のＦＢアルゴリズムにおける前向き確率として、その単
語ＨＭＭに対する入力音声の出現確率を求める。その出
現確率が最も高い単語が認識結果己なる。

（発明が°解決しようとする問題点） 音素を単位とした音声認識では、一般に、認識単位とし
ては、Ｃ１Ｖなどの単独の音素（単音素と呼ぶ）よりも
、引用文献１に述べられているようなｃｖ、ｖｃｖなど
のある程度の長さを持った音素連鎖（複合音素と呼ぶ）
を用いるほうが好ましい。これは、音声パターンは、前
後にどのような音素があるかにより大きく変化すること
、単音素から次の単音素に移る変化部分に大きな特徴が
あること等の理由による。

しかし、一般に単音素の種類にくらべて複合音素の種類
はきわめて多い。たとえば日本語のｃ１Ｖなどの単音素
の数は２０種程度であるが、複合音素のＶＣｖはｔｏｏ
ｏ種以上存在する。このため、全てのｖＣｖを学習する
ためには、それらの複合音素を含む膨大な学習用音声が
必要であり、学習に必要な処理量もきわめて多くなると
いう欠点があった。

また、音声を発声する場合、無声化・長母音化等の発声
変形が生じることがある。このような発声変形に対処す
るため、無声化音素や長母音化音素の音素ＨＭＭを通常
の音素ＨＭＭの他に用意する方法がある。しかし、発声
変形の有無は確率的に生じることであり、学習用音声の
中に特定の発声変形が存在しない場合や、無声化等の変
形を生じる可能性のある音素全てに、発声変形が生じて
いる場合がある。このような場合は、発声変形が生じた
音素や、発声変形のない音素の標準パターンが学習され
ないという欠点があった。

さらに、初期モデルは、一般に代表的な話者の発声をも
とに作成したものを用いているが、音素ＨＭＭを学習す
るときに、新しい話者の学習用音声が代表的な話者の音
声パターンと太き（異なる場合は、学習音声の音素セグ
メントと音素ＨＭＭの区間の対応付けが大きくずれてし
まうことにより、学習が正しく行われないことがあると
いう欠点があった。

本発明は、以上のような欠点を除き、少ない学習用音声
で、さまざまな発声変形や、種類の多い複合音素の標準
パターンが学習できるようにすることにより、高性能な
音声認識装置を実現することにある。

（問題点を解決するための手段） 本願の第１の発明による音素を単位とした音声認識装置
は、学習用音声から単音素標準パターンを求める弔音素
学習部と、得られた前記単音素標準パターンを１個以上
結合することにより複合音素標準パターンを作成する音
素結合部と、前記作成された複合音素標準パターンをも
とに学習用音声を用いて学習する複合音素学習部と、前
記複合音素標準パターンを用いて入力音声を認識する音
声認識部とを佇する。

本願の第２の発明による音素を単位とした音声認識装置
は、前記本願の第１の発明に加え、学習用音声の発声変
形情報を求める発声変形検出部と、前記発声変形情報を
もとに学習を行う単音素学習部と、前記発声変形情報を
もとに学習を行う複合音素学習部とを有する。

本願の第３の発明による音素を単位とした音声認識装置
は、前記本願の第１および２の発明に加え、あらかじめ
求められた初期標準パターンと、学習用音声から求めら
れた初期標準パターンを標準パターン毎に選択する音素
選択部と、選択された初期標準パターンを初期値として
学習用音声から単音素標準パターンを求める単音素学習
部とを有する。

（作用） 本発明による音素を単位とする音声認識装置の作用につ
いて説明する。以下の説明では、単音素としてはＣ１Ｖ
などの音素、複合音素としては語頭のＣｖｌおよびｖＣ
ｖなどの音素連鎖を用いることにする。また認識方法と
しては、引用文献２に述べられているような音素単位の
ＨＭＭを用いることにする。このほかの方法による場合
も同様である。

本発明では、認識の単位として複合音素ＨＭＭを用いる
。この複合音素ＨＭＭを学習により求める際に、学習用
音声が少ない場合や発声変形が含まれている場合、定義
されている全ての複合音素に対応する音声パターンが学
習用音声中に存在しないことがある。その結果、学習さ
れない複合音素ＨＭＭができる可能性が生じる。

これに対処するため、本発明では複合音素ＨＭＭを求め
る際に、まず単音素ＨＭＭを学習により求める。弔音素
ＨＭＭは複合音素ＨＭＭを分割したものに相当する。複
合音素ＶＩＣＩＶ２（たとえば［ａｓ口）は、単音素Ｖ
ｌ　（［ａ］　）、Ｃ１（［ｓ］　、Ｖ２　（［＋］　
）に分割される。単音素ＨＭＭは、種類が限られる（２
０種程度）ため、全ての弔音素を含む学習用音声を用意
することは容易である。発声変形に対しても、単音素Ｈ
ＭＭを用いれば、発声変形が生じた音素と類似した音素
との置き換えにより対処可能である。例えば、無声化母
音の単音素ＨＭＭは、摩擦音［ｓ］等の単音素ＨＭＭで
置き換えることにより対処できる。学習用音声の発声変
形の内容（例えば無声化の有無）については、あらかじ
め発声変形情報として、わかっているものとする。

単音素ＨＭＭの学習方法は、例えば引用文献２に述べら
れているような方法を用いることができる。第３図に単
音素［ａｌの単音素ＨＭＭの例を示す。ここでは、図に
示すように２状態からなるＨＭＭを単音素ＨＭＭとして
用いる。単音素ＨＭＭを学習する場合、まず代表的な話
者の音声より求められた単音素ＨＭＭを初期モデルとし
て用いる。これらの単音素ＨＭＭを、単音素表記された
単語辞書に従って結合し単語ＨＭＭを作成する。

第５図に単音素ＨＭ　Ｍ　［ａｌ　、［ａｌ　、［ｓ］
　、［ａｌ　、［ａｌ　、［ｈ］　。

［１］、ロコを結合して得られた単語ＨＭ　Ｍ　［ａｓ
ａ旧］の例を示す。母音の単音素Ｃａｌ、［１］が重な
っているのは複合音素［ａｓａｌ、［ａｈｉ］への分割
を考慮したためである。

このような単語ＨＭＭをもとに、単語発声された学習用
音声を用いて、引用文献２に述べられている方法で単音
素ＨＭＭを学習する。発声変形を含む学習用音声を用い
る場合、前記の発声変形情報にしたがって単音素ＨＭＭ
を結合し、学習に用いる単語ＨＭＭを作成する。

このようにして求められた単音素ＨＭＭを結合すること
により複合音素ＨＭＭを作成することができる。第４図
は、単音素ＨＭＭの［ａｌ　、［ｓ］　、［ａｌを結合
し求められた複合音素ＨＭ　Ｍ　［ａｓａｌの例である
。調音結合の影響のため、前後の音素の種類によって同
じ音素でも音声パターンは変わり得る。このように、単
音素ＨＭＭの単なる結合では不十分ではあるが、近似的
には複合音素ＨＭＭとして使用することは可能である。

さらに、本発明では学習用音声中に存在する複合音素Ｈ
ＭＭについては、単音素ＨＭＭの合成により作成した複
合音素ＨＭＭを初期モデルとして、複合音素ＨＭＭの学
習を行う。この学習は単音素ＨＭＭの場合と同様に行う
ことができる。

これにより、学習用音声中に存在する複合音素に対して
は調音結合の影響を含んだモデルを作成することができ
る。

このように、本発明によれば学習用音声中に存在する複
合音素だけでなく、存在しない場合も近似的に複合音素
ＨＭＭを作成することができるので、限られた量の学習
用音声を有効に使って複合音素ＨＭＭの学習を行うこと
ができる。

以上の説明では、学習用音声中の発声変形はあらかじめ
わかっているとした。しかし、発声変形情報を得るため
には、あらかじめ学習用音声を発声する際に発声変形の
有無について指定する等の方法を用いる必要がある。例
えば、ある母音は無声化させ、他の母音は無声化させな
いように発声する等である。しかし、このような方法は
使用者に負担を強いることになる。それに対し、本発明
では、学習用音声の発声変形を自動的に検出する方法を
用いることもできる。以下に、この発声変形の自動的検
出法について述べる。

まず、発声変形をすべて網羅した単語辞書を用、αし、
それらの辞書に従って代表的話者により求められた単音
素ＨＭＭを結合して単語ＨＭＭを作成する。これらの単
語ＨＭＭに対する学習用音声の出現確率を求め、最も確
率の高い単語辞書中の発声変形を学習用音声の発声変形
とする。この出現確率は、単語を認識する場合と同様、
引用文献３に述べられている前向き確率を用いて求める
ことができる。

例えば、「拍手」　（発音：　［ｈ　ａ　ｋ　ｕ　ｓｙ
　ｕコ）の４番目と６番目の単音素である［ｕ］は無声
化する可能性がある。そこで、すべての可能な組合せで
ある［ｈ　ａ　ｋ　ｕ　ｓｙ　ｕ］、［ｈ　ａ　ｋ　ｕ
−ｓｙ　ｕ］、［ｈ　ａ　ｋ　ｕｓｙ　ｕ−］、［ｈ　
ａ　ｋ　ｕ−ｓｙ　ｕ−］　　（無性化した［Ｕコを［
Ｕ−］とあられす）の辞書を用意し、それらの辞書に従
って作られた単語ＨＭＭを用いて発声変形を求める。例
えば［ｈ　ａ　ｋ　ｕ−ｓｙ　ｕ］の出現確率が最も高
ければ、最初の［Ｕ］は無声化しているとする。

このようにして求められた発声変形情報を用いることに
より、発声変形を含む音声による学習が可能となる。

また、以上の説明では、初期モデルは代表的な話者の発
声を基にしている。通常、これにより単音素ＨＭＭの学
習を行うことができるが、新しい話者の学習用音声が代
表的な話者の音声パターンと大きく異なる場合は、学習
が正しく行われないことがあることについて既に述べた
。そこで本発明では、母音などの、話者によりパターン
変動の大きい可能性のある単音素の初期モデルは、学習
用音声から直接作成する方法を用いる。

ここでは、母音の初期モデルを学習用音声から作成する
場合について述べるが、母音以外の初期モデルに対して
も同様である。まず、学習用音声として単音素単位にセ
グメンテーションが容易な音声を用意する。たとえば単
独発声した母音を学習用音声とすれば、この音声データ
の音声区間（たとえば、振幅がある程度以上大きい部分
）を母音の単音素のセグメントとすることができる。ま
た、たとえば、共立出版「音声認識」の７３頁から述べ
られているセグメンテーション法ヲ用いて母音区間を切
り出すことにより、様々な音声を初期モデル作成のため
に用いることができる。

この学習用音声を上記の方法で単音素にセグメンテーシ
ョンし、単音素セグメント内の音声を学習用音声として
、単音素毎にＦＢアルゴリズムを用いて単音素ＨＭＭを
学習することができる。この場合学習用音声セグメント
と単音素ＨＭＭの対応付けがずれるおそれは無いので、
学習の初期モデルとして例えば乱数値や代表的な話者よ
り作られた単音素ＨＭＭを用いることができる。また、
観測ラベル出力確率ｂｉ（ｘ）だけを、対応するセグメ
ント内の全観測ラベルの出現頻度を基に求めたものを用
い、吠態遷移確率ａ（Ｘ＋、＋）は代表的な。話者のも
のをそのまま用いることもできる。

このように、単音素の初期モデルを学習する話者の音声
から求めることにより、安定した学習が可能となる。

以上、ＨＭＭを用いた方法を基に説明したが、引用文献
１に述べられているようなりＰマツチング法を使用する
場合も同様である。この場合、音素標準パターンとして
、単音素標準パターンと複合音素標準パターンを用意す
る。ＤＰマツチングを用いた標準パターンの反復学習法
として、次のようなものを用いることができる。あらか
じめ求められた初期音素標準パターンを単語辞書に従っ
て接続した単語標準パターンを用いて、学習用音声をＤ
Ｐマツチングにより音素単位にセグメンテーションする
。得られた音素単位のセグメントを同一音素間で平均化
し新しい音素標準パターンを作成する。この操作を繰り
返し、音素標準パターンを更新する。

このような反復学習法を用いることにより、ＤＰマツチ
ングに用いる標準パターンの学習法もＨＭＭのＦＢアル
ゴリズムを用いる方法と同様に扱うことができるので、
本発明による学習法を適用することができる。

（実施例） 本発明による音素を単位とした音声認識装置の実施例に
ついて図面を参照して説明する。第１図は本発明の一実
施例を示す構成図である。まず最初に、認識に用いる複
合音素ＨＭＭを求める学習方法について説明する。

初期モデルメモリ１には単音素ＨＭＭの学習のための初
期値となる単音素ＨＭＭのパラメータ（初期モデル）が
保持されている。この初期モデルは予め代表的な話者が
発声した音声を単音素毎にセグメンテーションしたもの
から求めておく。これは、単音素毎に文献３に述べられ
ているようなＦＢアルゴリズムを適用することにより実
現できる。単音素ＨＭＭとしては、ここで第３図に示さ
れているような２状態、からなるモデルを用いる。

初期モデル学習用音声メモリ２の中には、ベクトル量子
化法により観測ラベル列に変換された初期モデル学習用
音声の音声データが保持されている。この音声データは
セグメンテーション部３に入力され、単音素単位にセグ
メンテーションされる。ここでは単独発声した母音を初
期モデル学習用音声とし、この音声データの振幅がある
定められた値より大きい部分を母音の単音素データとす
る。パラメータ作成部４では、入力された単音素データ
をもとに、ＦＢアルゴリズムにより単音素）ＩＭＭのパ
ラメータを求める。

初期モデル選択部５では、初期モデルメモリ１中の単音
素ＨＭＭと、パラメータ作成部４により求められた単音
素ＨＭＭから、予め定められたルールに従って、単音素
ＨＭＭが初期モデルとして選択され出力される。例えば
、母音の初期モデル（単音素ＨＭＭ）はパラメータ作成
部４からのものを用い、それ以外は初期モデルメモリ１
内のものを選択するというルールを適用する。初期モデ
ル学習用音声を用いない場合は、初期モデルメモリ１中
の単音素ＨＭＭを初期モデルとして出力する。

学習用音声メモリ６中には観測ラベル列で表現された学
習用音声データが保持されている。発声変形検出部７で
は、学習用音声データに対応する単語の発声変形をすべ
て網羅した辞書を単語辞書メモリ８から読みだす。この
単語辞書の表記に従って初期モデルを結合し、発声変形
毎の単語ＨＭＭを作成する。続いて、これらの単語ＨＭ
Ｍに対して、学習用音声データの出現確率を前向き確率
として求め、出現確率が最大となる単語ＨＭＭの発声変
形を、その学習用音声データの発声変形情報として発声
変形情報メモリ８中に保持する。また、発声変形情報と
しては、このようにして求められたちの以外にも、予め
学習用音声を調査することにより得られた情報を用いる
ことができる。

弔音素学習部１０では、学習用音声メモリ６中の音声デ
ータを用いて単音素ＨＭＭの学習を行う。これは、まず
発声変形情報メモリ９中の発声変形情報により、単語辞
書メモリ８中の発声変形を含む単語辞書を選択し、初期
モデルを結合し学習用音声に対応した単語ＨＭＭを作成
する。引用文献２に述べられている方法と同様に、この
単語ＨＭＭのパラメータを更新し、その更新されたパラ
メータを単音素単位にまとめることにより単音素ＨＭＭ
の学習処理を進める。パラメータが集束するまで、この
学習処理を繰り返し行う。

学習が終了した単音素ＨＭＭは、単音素結合部１１にお
いて予め定められたルールに従って結合され、複合音素
ＨＭＭが作′られる。ルールとしては例えば、複合音素
［ａｓａｌは単音素Ｃａｌ　、［ｓｌ　、［ａ：１を第
４図のように結合して作成するというものなどがある。

複合音素学習部１２では、単音素結合部１１により作ら
れた複合音素ＨＭＭを初期モデルとし、学習用音声メモ
リ６中の音声データを用いて複合音素ＨＭＭの学習を行
う。学習法は単音素データ１０で用いられた方法と同じ
である。

求められた複合音素ＨＭＭは、複合音素８ＭＭメモリ１
３中に保持される。

続いて、入力音声を認識する方法について説明する。認
識処理は認識部１４中で行われる。この認識方法は文献
２で述べられている方法と同じである。すなわち、入力
音声はベクトル量子化方法により観測ラベル列に変換さ
れる。つぎに、単語辞書８中の単語辞書に従って、複合
音素８ＭＭメモリ１３中の複合音素ＨＭＭを結合し単語
ＨＭＭが順次作成される。この単語ＨＭＭに対する入力
音声の出現確率を、前向き確率として求め、この出現確
率が最大となる単語ＨＭＭに対する単語が認識結果とな
る。

（発明の効果） 本発明によれば、少ない学習用音声で、多くの発声変形
や、多くの種類を持つ複合音素の標準パターンが学習で
きるので、高性能な音声認識装置を実現することができ
る。

【図面の簡単な説明】

第１図は、本願発明による一実施例を示す構成図、第２
図は、音素ＨＭＭの例を示す図、第３図は、単音素ＨＭ
Ｍの例を示す図、第４図は、複合音素ＨＭＭの例を示す
図、第５図は、単語ＨＭＭの例を示す図である。 図において、 １・・・初期モデルメモリ、２・・・初期モデル学習用
９メモリ、３・・・セグメンテーション部、４・・・パ
ラメータ生成部、５・・・初期モデル選択部、６・・・
学音用音声メモリ、７・・・発声変形検出部、８・・・
単語辞書メモリ、９・・・発声変形情報メモリ、１０・
・・単音素学習部、１１・・・単音緊結合部、１２・・
・複合音素結合部、１３・・・複合音素８ＭＭメモリ、
１４・・・認識部。

Claims (3)

【特許請求の範囲】
1. （１）学習用音声から単音素標準パターンを求める単音
   素学習部と、得られた前記単音素標準パターンを１個以
   上結合することにより複合音素標準パターンを作成する
   音素結合部と、前記作成された複合音素標準パターンを
   もとに学習用音声を用いて学習する複合音素学習部と、
   前記複合音素標準パターンを用いて入力音声を認識する
   認識部とを有する音素を単位とした音声認識装置。
2. （２）学習用音声の発声変形情報を求める発声変形検出
   部と、前記発声変形情報をもとに学習を行う単音素学習
   部と、前記発声変形情報をもとに学習を行う複合音素学
   習部とを有する請求項１記載の音素を単位とした音声認
   識装置。
3. （３）あらかじめ求められた初期標準パターンと、学習
   用音声から求められた初期標準パターンを標準パターン
   毎に選択する音素選択部と、選択された初期標準パター
   ンを初期値として学習用音声から単音素標準パターンを
   求める単音素学習部とを有する請求項１または２記載の
   音素を単位とした音声認識装置。