JPH03212696A - 音声認識装置のための標準パターン学習方式 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 〔産業上の利用分野〕 本発明は、音声認識装置に用いる標準パターンの学習方
式の改良に関するものである。

〔従来の技術〕

従来、音声を認識する方法として、例えば（社）電子情
報通信学会編、中層を一著「確率モデルによる音声認識
」（以下文献１と称す）の第２９頁以下に述べられてい
るような「隠れマルコフモデル」（以下ＨＭＭと呼ぶ）
を標準パターンとして用いた方法があった。この方法で
は、まず、音声パターンの生成過程をマルコフ過程によ
り状態遷移モデルとしてモデル化する。この状態遷移モ
デルがＨＭＭである。、認識対象のカテゴリ（たとえば
単語）毎にＨＭＭを用意する。観測された音声パターン
Ｙ＝　ｙ　ｔ　（ｔ＝１・・・Ｔ）が、ＨＭＭにより生
成される確率Ｐが最大となるカテゴリが認識結果となる
。

第３図にＨＭＭの例を示す。状態Ｓｉにおいて音声パタ
ーンｙｔを出力する確率ｂ　ｉ　（ｙｔ）、状態Ｓｉか
らＳｊに遷移する確率なａｉｊとする。音声パターンＹ
が圧力される確率Ｐは以下の前向き確率αに関する漸化
式を解くことにより求めることができる。

α（ｉ、ｔ）＝Σα（ｊ、ｔ−１）　・ａ　ｊｉ−ｂ　
ｉ　（ｙｔ）　　　　　（１）Ｐ＝Σα（ｉ、Ｔ）　　
　　　　　　　　　　　　　　（２）ここで、音声パタ
ーンｙｔを出力する確率ｂｉ（ｙｔ）を、文献ｌの第６
９頁に述べられているような、連続確率密度分布を用い
るとする。無相関正規分布を仮定すると確率ｂｉ（ｙｔ
）は、以下のように表せる。

ｂ　１（ｙｔ）−（［１／ｋ（２ｙｒ　σｉｋ”）”）
）・ｅｘｐΣ（［（ｙｔｋ−μ１ｋ）２］／（：２πσ
ｉ　ｋ　２））　　　（３）ここで、μｍには平均特徴
ベクトル、σｉｋ２は分散を示す。また、添字にはベク
トルのに番目の要素（１≦に≦Ｋ）を表す。

ＨＭＭのパラメータは、文献ｌの第５５頁に述べられて
いるようなＦｏｒｗａｒｄ　Ｂａｃｋｗａｒｄアルゴリ
ズム（以下ＦＢアルゴリズムと呼ぶ）により学習するこ
とができる。この学習法は、学習データの音声パターン
を用いてパラメータを繰り返し更新することにより行う
。ＨＭＭのパラメータには、予め適当な初期値（初期モ
デル）が設定されている。以下にアルゴリズムを示す。

■　（１）式のように前向き確率αを求めると共に、後
向き確率βを以下のように求める。

初期値：　β（ｉ、Ｔ）＝１ β（ｉ、ｔ）Σβ（ｊ、ｔ＋１）　・ａ　ｊｉ−ｂ　ｉ
　（ｙｔ＋１）　　　　（４）■　パラメータを更新す
る。

ａｉｊ＝〔Σα（ｉ、ｔ）　・ａ　１ｊ−ｂ　ｉ　（ｙ
ｔ）　・β（ｊ　、　ｔ））／［Ｊ、α（ｉ、ｔ）・β
（ｉ、ｔ））　　（５）アｉ＝ｃΣα（ｉ、ｔ）・β（
ｉ、ｔ）・ｙＤ／〔Σα（ｉ、ｔ）・β（ｉ、ｔ）］　
　（６）σ１ｋ２＝〔Ｚα（ｉ、ｔ）・β（ｉ、ｔ）・
（ｙｔｋ−μ１ｋ）２）／〔Σα（ｉ、ｔ）・β（ｉ、
ｔ）］　　（７）■　求められたパラメータを新しいパ
ラメータとして用いて、■以下をパラメータが収束する
まで繰り返す。

以上のアルゴリズムにより、学習データにだいする出力
確率の極大値を与えるＨＭＭのパラメータを求めること
ができる。求められる結果は最大値でなく、あくまで極
大値であり、得られた結果は初期モデルの値に依存する
。初期モデルのパラメータが適当でない場合、最大値か
らかけ離れた極大値が求められてしまうおそれがある。

初期モデルの求めかたとして、文献１の第６４頁に述べ
られているように、学習データをＨＭＭの状態数で分割
し、各区間のデータからパラメータを求める方法がある
。また、このようにして求められたパラメータを初期モ
デルとして、ある学習データに対して学習した結果を、
あらたな学習データに対する初期モデルとする方法もあ
る。

〔発明が解決しようとする課題〕

ＨＭＭは確率モデルであるので、精度よくパラメータを
推定するためには多重の学習データが必要である。また
、発声の変形を学習するためには、様々な変形が含まれ
ているような学習データが必要である。認識装置を使用
する特定話者毎に多量のデータを収集するのは、使用者
に対する負担が大きく好ましくないので、多数の話者に
より発声された音声を用いると良い。多数の話者により
発声された音声を用いてＨＭＭを学習することにより、
音声の様々な変形を含んだＨＭＭを求めることができる
。

しかし、音声パターンは話者による差が大きいので、特
定話者の音声を認識する場合は、多数話者により学習さ
れたＨＭＭをそのまま用いたのでは高い認識性能を得る
のは困難である。そこで、特定話者のなるべく少ない学
習データを用いてＨＭＭをその話者に適応化する必要が
ある。

多数話者の音声から求められたＨＭＭを初期モデルとし
て、特定話者の学習データに対して前述のＦＢアルゴリ
ズムを用いてＨＭＭの学習をおこなうと、ＨＭＭのパラ
メータは特定話者の学習データを反映するものとなり、
初期モデルの持つ情報は無くなってしまう。このため特
定話者の学習データ量が少ない時は、ＨＭＭのパラメー
タを精度良く推定するのが困難となり、かつ発声変形を
十分反映することもできなくなるという問題があった。

本発明は、標準パターンを、多数の話者による発声から
得られた発声変形の情報を持ち、特定話者に特有の情報
についてはその話者に適した情報を有するように学習す
るための方式の提供を目的とする。

〔課題を解決するための手段〕

本願の第１の発明による音声認識装置のための標準パタ
ーン学習方式は、あらかじめ作成された標準パターンを
、学習データに対して適応化する際に、複数の話者間の
標準パターンのパラメータの分散を表す値が予め定めら
れた閾値より大きい場合、対応するパラメータを学習に
より更新することを特徴とする。

本願の第２の発明による音声認識装置のための標準パタ
ーン学習方式は、前記本願の第１の発明に加え、少なく
とも複数の話者間の標準パターンのパラメータの分散を
表す値および一人の話者のｍ準パターンのパラメータの
分散を表す値とを含む値により更新するパラメータを決
定することを特徴とする。

本願の第３の発明による音声認識装置のための標準パタ
ーン学習方式は、前記本願の第１および第２の発明に加
え、少なくともあらかじめ作成された標準パターンの持
つ値および学習データを前記分散を表す値とを含む値に
より重み付けして学習することを特徴とする。

〔作用〕

本発明による音声認識装置のための標準パターン学習方
式について説明する。音声パターンには、母音のように
話者による違いが大きい部分と、破裂音などのように発
声変形は大きいが話者による違いはそれほど重要でない
部分がある。本発明は、あらかじめ多数の話者によって
発声された学習データをもとに作成された標準パターン
を特定話者の学習データに対して適応化する場合、パラ
メータの話者間の分散を表す値が大きい、すなわち話者
による違いが大きいパラメータのみを更新するものであ
る。これにより、話者による変動の大きいパラメータは
特定話者の特徴に適応化し、話者の違いによる変動が少
ないパラメータに対しては、多数話者が発声した多量デ
ータにより学習された標準パターンのパラメータを用い
ることにより精度良く、かつ話者の特徴を反映した学習
が行える。以下、文献１に述べられているよりなＨＭＭ
を用いた場合について説明する。

ます、標準パターンを、多数の話者により発声された学
習データを用いて作成する。作成方法は、前述のＦＢア
ルゴリズムを用いることができる。

作成された標準パターンのパラメータの分散を表す値と
して、（３）式の分散σｉｋ２を用いる。

続いて、特定話者の学習データを用いてＦＢアルゴリズ
ムによる学習を行う。この時、分散σｉｋ２がある定め
られた閾値Ｃよりも大きい。

σｉｋ２＞　　ｃ　　　　　　　　　　　　　　　（８
）なる分散に対するパラメータμｍにのみを学習により
更新する。

学習により更新されるパラメータとしては、対応するｋ
の要素だけでなく、どれか一つの要素が閾値を上回った
場合や、分散を表すベクトルのノルムの値が閾値を上回
った場合などの様々な基準を用いることができる。また
、この場合、対応する遷移確率ａＩＪの更新を行うか否
かの制御も可能である。

また、学習による更新を行うか否かの判別に、多数の話
者間のパラメータの分散σｅｘｔだけでなく、一人の話
者内のパラメータの分散σｉｎｔを用いることにより、
きめ細かな判別ができるようになる。話者内の分散σｉ
ｎｔは、一人の話者が多数回発声した学習データからも
とめられた話者内の分散を用いる。複数の話者の話者内
分数をもとに、それらを統合しても良い。このように、
話者内の分散が小さいパラメータは、少ない学習データ
により高精度に学習を行うことができるので特定話者に
対して学習することは好ましい。

多数話者の学習データを用いて学習したＨＭＭから求め
たパラメータの分散σｅｘｔと、そのＨＭＭの各状態に
対応する、一人の話者の複数の発声により求められたパ
ラメータの分散σｉｎｔが予め定められた閾値ｃ　ｉｎ
ｔ、　　ｃ　ｏｕｔとの比較により、σｅｘｔ　＞　　
ｃ　ｅｘｔ　　　かつ　　　　　　　（９）ａ　ｉｎｔ
　＜　ｃ　ｉｎｔ　　　　　　　　ＱＯ）なるパラメー
タに対応する標準パターンのパラメータを学習によって
更新する。この更新を行うか否かの判別法として（９）
式と００）式が同時に成立した場合、（９）式または０
０）式が成立した場合等を用いることができる。また分
散σｅｘｔとσｉｎｔとの比や、差を用いることもでき
る。

また、以上の述べた方式では、分散を表す値と閾値との
比較により更新を行うか否かを決定している。このよう
な判別による制御は、処理は簡単であるが閾値の付近で
更新を行うか否かの不連続が生じることや、特定話者の
学習データが少ない場合は、少ない学習データのみから
パラメータを推定することになるという問題がある。そ
こで、これらの分散を表す値を用いて、学習データの学
習の際に重み付けを行う。この方法として、たとえば、
（６）式において、学習データｙｔの内、ｌ≦ｔ≧Ｔ　
ｏｒｇを初期モデルを作成した学習データ、Ｔ　ｏｒｇ
＜　ｔ≦Ｔを特定話者の学習データとし、（６）式のか
わりに次に示す式を用いてＦＢアルゴリズムによる学習
を行う。

ここで、ｆ（σｒｅｆ）は、重み関数であり、話者内お
よび／または話者間の分散を表す値σｒｅｆの値により
重みの値を決定するものである。この関数は任意の関数
であるが、たとえば話者間の分散σｅｘｔに対する単調
増加関数を用いることができる。これにより、多数の話
者により学習された特徴と、特定の話者の特徴を兼ね備
えた標準パターンを作成することができる。

〔実施例〕

本発明による標準パターン学習方式を用いた音声認識装
置の実施例について図面を参照して説明する。第１図は
本願の第１の発明による一実施例を示す構成図である。

メモリ１の中に保持されている多数話者学習データを用
いて、学習部２において前述のＦＢアルゴリズムにより
多数話者の標準パターン（ＨＭＭ）を作成しメモリ３中
に保持する。学習部４では、メモリ３中に保持されてい
る多数話者の標準パターンを初期モデルとして、メモリ
５中に保持されている特定話者の学習データを用いてＦ
Ｂアルゴリズムにより標準パターンの学習を行う。この
時、比較部６では、メモリ３から多数話者の標準パター
ンの分散σｅｘｔを読みだし、それが予め定められた閾
値Ｃより大きい場合、学習部４に対し制御信号を出力す
る。学習部４では、この制御信号に対するパラメータの
み更新を行うようにする。学習部４により求められた標
準パターンはメモリ７に保持される。以上が学習部の動
作である。認識部８では、メモリ７中の標準パターンを
用いて、文献１に述べられているようなＨＭＭを用いた
認識方式により、入力された音声を認識する。

続いて、本願の第２の発明による一実施例における標準
パターン学習部について説明する。第２図は本願の第２
の発明による一実施例を示す構成図である。メモリ１１
の中に保持されている多数話者の学習データを用いて、
学習部１２において前述のＦＢアルゴリズムにより多数
話者の標準パターンを作成しメモリ１３中に保持する。

同時に多数話者の標準パターンのパラメータに対応する
話者間の分散σｅｘｔがメモリ２１に、話者内の分散σ
ｉｎｔがメモリ２２に保持される。学習部１４では、メ
モリ１３中に保持されている多数話者の標準パターンを
初期モデルとして、メモリ１５中に保持されている特定
話者の学習データを用いてＦＢアルゴリズムにより標準
パターンの学習を行う。この時、比較部１６では、メモ
リ２１から標準パターンのパラメータに対応する話者間
の分散σｅｘｔｓ　メモリ２２から標準パターンのパラ
メータに対応する話者内の分散σｉｎｔを読みだし、予
め定められた閾値ｃ　ｅｘｔ、　ｃ　ｉｎｔを用いて、
式（９）０ωをみたす場合、学習部１４に対し制御信号
を出力する。学習部１４ては、この制御信号に対するパ
ラメータのみ更新を行うようにする。学習部１４により
求められた標準パターンはメモリ１７に保持される。

続いて、本願の第３の発明による一実施例における標準
パターン学習部について説明する。以下第１図を用いて
説明する。本願発明による第１の発明と同様、学習部４
では、メモリ３中に保持されている多数話者の標準パタ
ーンを初期モデルとして、メモリ５中に保持されている
特定話者の学習データを用いてＦＢアルゴリズムによす
標準パターンの学習を行う。この時、比較部６では、メ
モリ３から多数話者の標準パターンの分散σｅｘｔを読
みたし、重み関数ｆ（σｅｘｔ）を用いて重みＷを求め
、学習部４に対し制御信号として出力する。学習部４で
は、この制御信号Ｗに対し、Ｑｌ）式を用いて更新を行
う。以下第１の発明と同様である。

第２の発明に適用する場合は、比較部１６での処理が、
メモリ２１から標準パターンのパラメータに対応する話
者間の分散σｅｘｔ、メモリ２２から標準パターンのパ
ラメータに対応する話者内の分散σｉｎｔを読みたし、
重み関数ｆ（σｅｘｔ、σ１ｎｔ）を用いて重みＷを求
め、学習部１４に対して制御信号として出力するように
する。

〔発明の効果〕

本発明によれば、少ない学習データで標準パターンを特
定話者に適応させることにより、高性能の音声認識装置
を実現することができる。

【図面の簡単な説明】

第１図は本願発明による第１の発明による一実施例を示
す構成図、第２図は本願発明による第２の発明による一
実施例を示す構成図、第３図は従来例を説明するだめの
図である。 １．３，５，７，１１，１３，１５，１７，２１゜２２
・・・・・・メモリ、２，４，１２．１４・・・・・・
学習部、６．１６・・・・・比較部、訃・・・・・認識
部。

Claims (1)

1. 【特許請求の範囲】 １、あらかじめ作成された標準パターンを、学習データ
   に対して適応化する際に、複数の話者間の標準パターン
   のパラメータの分散を表す値が予め定められた閾値より
   大きい場合、対応するパラメータを学習により更新する
   ことを特徴とする音声認識装置のための標準パターン学
   習方式。 ２、少なくとも複数の話者間の標準パターンのパラメー
   タの分散を表す値および、一人の話者の標準パターンの
   パラメータの分散を表す値とを含む値により更新するパ
   ラメータを決定することを特徴とする請求項１記載の音
   声認識装置のための標準パターン学習方式。 ３、少なくともあらかじめ作成された標準パターンの持
   つ値および学習データを前記分散を表す値とを含む値に
   より重み付けして学習することを特徴とする請求項１ま
   たは２記載の音声認識装置のための標準パターン学習方
   式。