JPH01291298A - 適応型音声認識装置 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 （産業上の利用分野） 本発明は音声を認識する音声認識装置において、異なる
話者や異なる環境における発生に適応できる適応型音声
認識装置に関する。

（従来の技術） 従来、入力された音声を、あらかじめ保持されている標
準的な発声の音声パターンである標準パターンをもとに
認識する方法は存在した。このような方法には、たとえ
ば、共立出版株式会社の「音声認識」　（以下「文献１
」と称す）の１０１頁から　１１３頁に述べられている
ようなりＰマツチングによる方法や、Ｐｒｏｃｅｅ旧ｎ
ｇ　ｏｆ　Ｔｈｅ　ＩＥＥＥ、　Ｖｏｌ。

７３、　Ｎｏ、１１　の１６２５頁に“５ｔｒｕｃｔｕ
ｒａｌ　ＭｅｔｈｏｄｓｉｎＡｕｔｏｍａｔｉｃ　５ｐ
ｅｅｃｈ　Ｒｅｃｏｇｎｉｔｉｏｎ”　（１９８５年１
１月）と題されて発表されている論文に述べられている
隠れマルコフ・モデル（ＨＭＭ）による方法などがある
。

これらの方法を用いた音声認識装置において、標準パタ
ーン作成に用いた話者以外の特定の話者（以下特定話者
と呼ぶことにする）の音声を認識する場合、話者により
音声パターンは大きく異なるので、その話者の音声によ
り標準パターンを変更しなければ高い認識性能は得られ
ない。また、標準パターン作成に用いた音声と、周囲雑
音の大きさや電話回線の有無等が異なる環境で発生され
た音声を認識する場合も、音声パターンが大きく変形す
るので標準パターンの変更が必要である。

以下、特定話者の音声を認識する場合に限定して述べる
が、発生環境が異なる音声を認識する場合も同様である
。

通常、特定話者の音声を認識する場合、その特定話者が
認識対象語を全て発生し、その音声により標準パターン
を入れ換える必要があった。しかし、認識対象語量が多
い場合、全ての認識対象音声を発声するには多くの労力
が必要であるという欠点があった。

このような欠点に対し、少量の音声により標準パターン
を特定話者に適応化する手法が既に提案されている。た
とえば、ＩＥＥＥ、ＩＣＡＳＳＰ　８６４９．５゜の２
６４３頁に“５ｐｅａｋｅｒ　Ａｄａｐｔａｔｉｏｎ　
Ｔｈｒｏｕｇｈ　Ｖｅｃｊ□ｒＱｕＢＨｔｉｚａｔｌｏ
ｎ”（１０００年）と題されて発表されている論文（以
下「文献２」と称す）には、ベクトル量子化法に基づく
話者適応化法が述べられている。

この方法では、まず、標準的な発生の音声のパターンよ
りベクトル量子化のためのコードブック（以下標準コー
ドブックと呼ぶ）を作成し、この標準コードブックを用
いて、音声パターンをベクトル量子化し標準パターンを
作成する。特定話者の音声を認識する場合、あらかじめ
、その話者が発生した認識対象語の一部（または全部）
の音声パターン（学習パターン）を用いて標準コードブ
ックを適応化し、適応化コードブックを作成する。この
適応化フードブックを標準コードブックの替わりに用い
ることにより、ベクトル量子化された標準パターンを変
更することなしに、特定話者の音声を認識することがで
きる。すなわち、認識対象語盤が大きい場合でも、全語
會を発声することなしに一部の単語を発声することによ
り、特定話者の音声を認識することが可能となる。

次に、適応化コードブックの作成法について述べる。ま
ず、学習パターンよりコードブック（以下「学習コード
ブック」と呼ぶ）を作成、この学習コードブックを用い
て学習パターンをベクトル量子化する。続いて、同一単
語の標準パターンと学習パターンを、ＤＰマツチングを
用いて時間軸の対応付けを行う。この標準コードブック
中のコードベクトル（標準コードベクトル）に対応付け
られた学習コードブック中のフードベクトル（学習コー
ドベクトル）の頻度をヒストグラムの形で保存する。適
応化コードブックは、標準コードベクトルに対応付けら
れた学習コードベクトルをヒストグラム中の出現頻度で
重み付け、平均化することにより得られる。

（発明が解決しようとする問題点） 引用文献２に述べられているような従来法では、ベクト
ル量子化を用いているため、量子化誤差に起因する認識
性能の低下が避けられなかっ６一 た。

また、音声パターンの、話者や発声環境のちがいによる
変形のしかたは、前後の音素環境により異なる。そのた
め、従来法のように１時刻点におけるベクトルをもとに
変換する方法では、前後の音素環境を考慮することがで
きないので適切な変換が行えないという欠点があった。

本発明は、量子化誤差の影響のない、前後の音素環境を
も考慮可能な、高性能な音声パターン適応化法を実現す
るものである。

（問題点を解決するための手段） 本願の第１の発明による適応型音声認識装置は、標準的
な音声パターンである標準パターンを保持する標準パタ
ーンメモリ部と、前記標準パターンを適応化標準パター
ンに変換するニューラルネットワーク部と、入力された
音声パターンである入力パターンを前記適応化標準パタ
ーンを用いて認識する認識部と、□前記ニューラルネッ
トワーク部を学習する場合、入力された学習パターンと
前記標準パターンの時間軸の対応付けを行う時間軸整合
部と、前記標準パターンを前記ニューラルネットワーク
部に入力した際に出力すべき／Ｘ６ターンを与える教師
信号として前記時間軸に対応付けられた時刻点の学習パ
ターンを用いて前記ニューラルネットワーク部の学習を
制御する学習制御部とを有する。

本願の第２の発明による適応型音声認識装置は、標準的
な音声パターンである標準パターンを保持する標準パタ
ーンメモリ部と、入力された音声パターンである入力パ
ターンを適応化音声ノくターンに変換するニューラルネ
ットワーク部と、前記適応化音声パターンを前記標準パ
ターンを用いて認識する認識部と、前記ニューラルネ・
ソトワーク部を学習する場合、入力された学習パターン
と前記標準パターンの時間軸の対応付けを行う時間軸整
合部と、前記学習パターンを前記ニューラルネットワー
ク部に入力した際に出力すべき／ｚｂターンを与える教
師信号として前記時間軸が対応付けられた時刻点の標準
パターンを用いて前記ニューラルネットワーク部の学習
を制御する学習制御部とを有する。

また、本願の第３の発明による適応型音声認識装置は、
前記本願の第１の発明に加え、前記適応化標準パターン
を保持する適応化標準パターン部を有する。

本願の第４の発明による適応型音声認識装置は、前記本
願の第１および２および３の発明に加え、学習時に、前
記ニューラルネットワーク部の入力に、教師信号と対応
する時刻点の近傍の時間における音声パターンを提示す
る読み出し制御部を有する。

（作用） 本願の第１の発明による適応型音声認識装置は、標準的
な話者の音声により作成された標準パターンを、ニュー
ラルネットワークを用いて特定の話者の標準パターンに
変換し、これにより特定話者の音声を認識するものであ
る。本願の第２の発明による適応型音声認識装置は、入
力された特定話者の音声をニューラルネットワークを用
いて標準的な話者の音声パターンに変換し、それを櫟準
的な話者の標準パターンにより認識するものである。

ここで用いるニューラルネットワークには、例えば「日
経エレクトロニクス」誌４２７号（１９８７年８月）の
１１５頁から１２４頁に「ニューラル・ネ・ソトをパタ
ーン認識、信号処理、知識処理に使う」と題された記事
（以下引用文献３と称す）により詳細に解説されている
パターン連想型ニューラル・ネットを用いることができ
る。第３図は、このニューラルネットワークの構造を示
すものである。図に示すように、このニューラルネ・ノ
ドワークは入力層、中間層、出力層の各層が階層構造に
なっている。中間層は、この図では１層となっているが
２層以上の多層でもよい。中間層の無いネットワークも
ありうる。

ニューラルネットワークの各ユニ・ソトの出力は、その
ユニットに接続されているユニ・ソトからの出力に重み
Ｗを掛けたものの総和の値を、非線形関数により変換し
たものである。このようにニューラルネットワークの変
換特性は、重みＷにより決定される。重みＷの値は、学
習により決定できる。

音声パターンは、入力された音声を分析したものである
。分析法としては、ケプストラム分析等、引用文献１の
３０頁に述べられている。さまざまな方法を用いること
ができる。このような音声パターンは、特徴ベクトルの
時系列、 Ａ＝１１）、Ｌ■、・・・１．（１）、・・・き（１）
　、　　　　　　（１）Ａｈ）＝ａ（ｉ、ｐＬ　　１≦
ｐ≦Ｐ。

である。ただしＩは音声パターンのフレーム数、Ｐは特
徴ベクトルの次元数である。

本発明では、（１）式に示された特徴ベクトル浪（１）
を、ニューラルネットワークを用いて適応化特徴ベクト
ル１（１）に変換する。すなわち、入力層の各ユニット
（Ｐ個）に特徴ベクトルの各要素ａ　（１，ｐ）の値が
入力されると、中間層、出方層の各ユニットの出力が計
算され、出力層（Ｐ個）の各ユニットに適応化特徴ベク
トルａ（ｉ、ｐ）の値が出力される。

入力層に与える特徴ベクトルは、以上述べたような１つ
のベクトル１（１）だけでなく、時刻ｉの近傍のいくつ
かのベクトル列＆（ｋ）、（１−ｅ≦に≦ｉ＋ｅ、　ｅ
は任意の値）を１度に提示することもできる。このよう
に、特徴ベクトル変換時に前後数フレームをふくむ特徴
ベクトルを入力層に提示することにより、音素環境を考
慮した変換が可能となる。

次に、このニューラルネｙ）ワークの内部パラメータ（
重みＷ）の学習法について述べる。音声パターンＡが適
応すべき音声パターンとして、Ｂ＝ｌｂ（１）、Ｔｏ■
、　・Ｔｏ　（ｊ）、・・・Ｔｏ　（Ｊ）　　　　　　
■があるとする。これは、例えば、音声パターンＡと異
なる話者により発生された同一単語とする。

ます、音声パターンＡとＢの間の時間軸の対応を求める
。

すなわち、音声パターンＡのフレームｉに対応する音声
パターンＢのフレームｊを与えるテーブルｊ　（＋）を
求める。これは、引用文献２に述べられている方法と同
様、ＤＰマツチングを用いて求めることができる。また
、この時間軸の対応付けは線形伸縮により、少ない計算
量で求めることができる。すなわち、 ｊ　”　ｊ　（１）　＝（ｉＸＪ）／　Ｉ　、　　　　
　　　　　　　（３）により、時間軸の対応付けを求め
ることができる。

この対応付けの結果を基に、ニューラルネットワークの
入力層に音声パターン１（１）“を与え、そのときの望
ましい出力値（教師信号）である対応する音声パターン
Ｔｏ（ｊ（１））により近い値を出力するようにニュー
ラルネットワークの内部パラメータを学習する。この学
習は、引用文献３に詳しく述べられているバックプロパ
ゲーションを用いて実行できる。この時、ある程度の量
の学習用音声パターンをくり返し提示して学習を行う。

（実施例） 本願の第１の発明による実施例について図面を参照して
説明する。第１図は第１の発明の一実施例ｉ示す構成図
である。まず最初にニューラルネットワーク部１０の内
部パラメータを学習する学習フェーズについて説明する
。

標準パターンメモリ部１１中には標準的な話者の音声に
より作成された標準パターンが、あらかじめ保持されて
いる。まず、使用者である特定話者の音声パターン（学
習パターン）を学習パターンメモリ部１２内に読み込む
。この学習パターンは、標準パターンを構成する一部（
または全部）の単語よりなる音声パターンである。

時間軸整合部１３では、標準パターンメモリ部１１より
読み出した標準パターンＡと、学習パターンメモリ部１
２より読み出した、同一単語の学習パターンＢとを、Ｄ
Ｐマツチング法をもちいて時間軸の対応を求め、標準パ
ターンＡの特徴ベクトルａ　（＋）に対応する学習パタ
ーンＢの特徴ベクトルｂ（ｊ（１））を求める。学習制
御部１４は、特徴ベクトルｂ（ｊ（１））が入力される
と、まず、読み出し制御部１５に対しフレーム番号ｉが
出力される。読み出し制御部１５からの制御信号ｋ（１
ｅ≦に≦Ｉｃｅ）により、標準パターンメモリ部１１か
ら、フレーム番号ｉの近傍の標準パターンａ（ｋ）が読
み出される。この標準パターンａ　（ｋ）。

（１−ｅ≦に≦ｉ＋ｅ）がニューラルネットワーク部１
０に入力されると、学習制御部１４は、特徴ベクトルｂ
　（ｊ　（１））を教師信号として、ニューラルネット
ワーク部１０の内部パラメータを更新して学習をすすめ
る。この学習アルゴリズムとしては、引用文献３に詳し
く述べられているバックプロパゲージロンを用いる。

以上述べた学習操作を全ての学習パターンＢに対し、繰
り返し実行することにより、ニューラルネットワーク部
１０の内部パラメータの学習を進める。ニューラルネッ
トワーク部１０の学習が完了すると、標準パターンメモ
リ部１１内の全ての標準パターンＡは、ニューラルネッ
トワーク部１０により変換され、適応化標準パターンＡ
として、適応化標準パターンメモリ部１６に保持される
。以上で学習フェースは終了する。

認識フェーズでは、入力された前記特定話者の音声パタ
ーンＸは、認識部１７において、適応化標準パターンメ
モリ１６内の適応化標準パターン八をもとに認識され、
結果Ｒが出力される。認識方法としては、例えば、引用
文献１に述べられているようなりＰマツチング法を用い
る。適応化標準パターンＡは、すでに特定話者に対して
適応化されているので、認識時には特別な処理は必要な
い。

この適応化標準パターンメモリ部１６を持たずに、認識
時、標準パターンを読み出す時にニューラルネットワー
ク部１０で変換することも可能である。

続いて、本願の第２の発明による実施例について図面を
参照して説明する。

第２図は第２の発明の一実施例を示す構成図である。ま
ず最初にニューラルネットワーク部２０の内部パラメー
タを学習する学習フェーズについて説明する。

標準パターンメモリ部２１中には標準的な話者の音声に
より作成された標準パターンが、あらかじめ保持されて
いる。まず、使用者である特定話者省音声パターン（学
習パターン）を学習パターンメモリ部２２内に読み込む
。この学習パターンは、標準パターンを構成する一部（
または全部）の単語よりなる音声パターンである。

時間軸整合部２３では、標準パターンメモリ部２１より
読み出した標準パターンＢと、学習パターンメモリ部２
２より読み出した、同一単語の学習パターンＡとを°、
ＤＰマツチング法をもちいて時間軸の対応を求め、学習
パターンＡの特徴ベクトルａ　（１）に対応する標準パ
ターンＢの特徴ベクトルｂ（ｊ（１））を求める。学習
制御部２４は、特徴ベクトルｂ（ｊ（Ｉ））が入力され
ると、まず、読み出し制御部２５に対しフレーム番号ｉ
が出力される。読み出し制御、部２５からの制御信号ｋ
（１−ｅ≦に≦１千ｅ）により、学習パターンメモリ部
２２から、フレーム番号ｉの近傍の標準パターンａ（ｋ
）が読み出される。この標準パターン゛ａ　（ｋ）、（
ｉ−ｅ≦に≦１＋ｅ）がニューラルネットワーク部２０
に入力されると、学習□制御部２４は、特徴ベクトルｂ
　（ｊ　（１））を教師信号として、ニューラルネット
ワーク部２０の内部パラメータを更新して学習をすすめ
る。この学習アルゴリズムとしては、引用文献３に詳し
く述べられているバックプロパゲーションを用いる。

以上述べた学習操作を全ての学習パターンＡに対し、繰
り返し実行することにより、ニューラルネットワーク部
２０の内部パラメータの学習を進める。ニューラルネッ
トワーク部２０の学習が完了すると、学習フェーズは終
了する。

認識フェーズでは、入力された前記特定話者の音声パタ
ーンＸ・は、ニューラルネットワーク部２０に入力され
、適応化音声パターンＸに変換される。この適応化音声
パターンＸは、認識部２６において、標準パターンメモ
リ部２１内の標準パターンＢをもとに認識され、結果Ｒ
が出力される。

認識方法としては、例えば、引用文献１に述べられてい
るようなりＰマツチング法を用いる。

第２の発明によれば、認識時に入力された音声パターン
をニューラルネットワークにより変換する必要があるが
、認識語業の変更等により標準パターンを変更した場合
でも、標準パターンを変換しなおす必要はない。このた
め、認識対象給量を頻繁に変更する場合は有利である。

（発明の効果） 本発明によれば、新しい話者や環境に、少量の発声によ
り適応でき、かつ高性能な適応型音声認識装置を実現で
きる。

【図面の簡単な説明】

第１図は、本願の第１の発明の一実施例を示す構成図。 第２図は、本願の第２の発明の一実施例を示す構成図。 第３図は、ニューラルネットワークの構造を示す図であ
る。

Claims (4)

【特許請求の範囲】
1. （１）標準的な音声パターンである標準パターンを保持
   する標準パターンメモリ部と、前記標準パターンを適応
   化標準パターンに変換するニューラルネットワーク部と
   、入力された音声パターンである入力パターンを前記適
   応化標準パターンを用いて認識する認識部と、前記ニュ
   ーラルネットワーク部を学習する場合、入力された学習
   パターンと前記標準パターンの時間軸の対応付けを行う
   時間軸整合部と、前記標準パターンを前記ニューラルネ
   ットワーク部に入力した際に出力すべきパターンを与え
   る教師信号として前記時間軸に対応付けられた時刻点の
   学習パターンを用いて前記ニューラルネットワーク部の
   学習を制御する学習制御部とを有する適応型音声認識装
   置。
2. （２）標準的な音声パターンである標準パターンを保持
   する標準パターンメモリ部と、入力された音声パターン
   である入力パターンを適応化音声パターンに変換するニ
   ューラルネットワーク部と、前記適応化音声パターンを
   前記標準パターンを用いて認識する認識部と、前記ニュ
   ーラルネットワーク部を学習する場合、入力された学習
   パターンと前記標準パターンの時間軸の対応付けを行う
   時間軸整合部と、前記学習パターンを前記ニューラルネ
   ットワーク部に入力した際に出力すべきパターンを与え
   る教師信号として前記時間軸が対応付けられた時刻点の
   標準パターンを用いて前記ニューラルネットワーク部の
   学習を制御する学習制御部とを有する適応型音声認識装
   置。
3. （３）前記適応化標準パターンを保持する適応化標準パ
   ターンメモリ部を有する請求項１記載の適応型音声認識
   装置。
4. （４）学習時に、前記ニューラルネットワーク部の入力
   に、教師信号と対応する時刻点の近傍の時間における音
   声パターンを提示する読み出し制御部を有する請求項１
   、２または３記載の適応型音声認識装置。