JPH0579999B2 - - Google Patents

Description

【発明の詳細な説明】 〔産業上の利用分野〕 本発明は音声認識誤り訂正装置に関し、特に音
声認識装置において認識結果として得られる誤り
を含むシンボルの時系列（たとえば音素認識の結
果得られる音素シンボル列や単語認識の結果得ら
れる単語シンボル列等）を、時系列内の前後のコ
ンテキストを考慮して修正する音声認識誤り訂正
装置の改良に関する。

〔従来の技術〕

時系列内の前後のコンテキストを考慮して誤り
を訂正する方法として、前後のシンボル列が確定
した場合の中央のシンボルの出現確率（条件付き
確率）を認識対象のデータから算出してテーブル
化し、誤りを含む時系列が与えられるとテーブル
化された条件付き確率を用いて、事後確率が最大
になるようにシンボル列を書き換えて修正する方
法がある。たとえば、前後３シンボルを考慮して
訂正を行う場合には条件付き確率Ｐは次のように
表される。

（式１） Ｐ＝Ｐ（s_c｜s₁s₂s₃s₄s₅s₆s₇） ここでs_iはｉ番目のシンボルを表し、Ｐはシン
ボルs_cをs₄に誤る確率を表している。中央のシン
ボルs₄に対する訂正結果は（s₁s₂s₃s₄s₅s₆s₇）が与
えられた時にＰの最大値を与えるようなs_cとして
決められる。即ち、訂正結果s^_cは （式２） s^_c＝a^rg _scmax〔Ｐ（s_c｜s₁s₂s₃s₄s₅s₆s₇）
〕 で与えられる。

〔発明が解決しようとする問題点〕

しかし上記の方法では、考慮に入れる前後のコ
ンテキストを広げると条件付き確率のテーブルの
サイズが指数的に増大してしまい、実用的ではな
い。即ち、考慮にいれるコンテキストの長さを
Ｌ、シンボルの種類をＭとすると条件付き確率の
定義式（式１）からも知れるようにテーブルのサ
イズは 〜Ｏ（M^L） （ただし〜Ｏ（ ）はサイズのオーダーを示す）
となる。また事後確率の最大化の為の最適化計算
の計算量も無視できなくなる。

本発明の目的は、上記のように条件付き確率の
テーブルの記憶容量が膨大になり実現が困難にな
るのを回避し、更に音響認識部の認識結果を用い
て誤り訂正の教師付き学習を行なう事により音響
認識部の認識誤りの傾向に適応した誤り訂正を実
現し、また誤り訂正時には最適化計算は不要であ
るので計算量の大幅な削減を可能にするような認
識誤り訂正装置を提供することにある。

本発明による認識誤り訂正装置を音響認識部の
後処理部として用いれば、実質的に音響認識部の
認識性能を向上させたのと同じ効果が得られる。

〔問題点を解決するための手段〕

本発明による音声認識誤り訂正装置は、音声認
識に於て、認識の結果として得られるシンボルの
時系列に含まれる認識誤りを修正するのに際し
て、前記時系列を記憶する入力バツフア部と、前
記入力バツフア部に記憶されているシンボルの時
系列の先頭から順次始点を１シンボル分づつずら
して固定長の該シンボル列を切り出す入力窓部
と、前記入力窓部の出力として得られる固定長の
該シンボル列を入力としてその中央のシンボルに
対する正解を出力するようにあらかじめ誤りを含
むシンボル列を用いて教師付きの学習を行なつた
逆伝播ネツトワーク・モデル部と、前記逆伝播ネ
ツトワーク・モデル部がシンボルを出力した時点
で前記入力バツフア部から固定長の該シンボル列
を切り出す前記入力窓部の始点を１シンボル分シ
フトして前記逆伝播ネツトワーク・モデル部に次
のシンボルの修正動作を行わせる第一制御部と、
前記逆伝播ネツトワーク・モデル部が出力するシ
ンボル列を記憶する出力バツフア部と、前記入力
バツフア部のシンボル列の終端のシンボルが修正
されたことを検出した時点で前記出力バツフア部
の内容を前記入力バツフア部に書き戻し、再度前
記修正動作を繰り返させる第二制御部と、一定回
数前記修正動作を繰り返した時点で前記出力バツ
フア部の内容を修正結果として出力する修正結果
出力部とを備えて構成される。

〔作用〕

本発明の基本的な原理は、音声認識に於て、音
響認識結果として得られる誤認識を含むシンボル
の時系列をあらかじめ教師付きの学習を行なつた
逆伝播ネツトワーク・モデルを用いて修正しよう
とするものである。以下に本発明の原理を詳細に
説明する。

入力音声を認識した場合に音響認識部の出力と
して得られるシンボル列は、現状では不可避な音
響認識部の認識誤りによつて、音響認識部の誤り
傾向を反映した幾つかの誤りを含んでいる。本発
明ではこの誤りを含むシンボルの時系列をその前
後のコンテキストを考慮して修正し、実質的には
音響認識部の認識性能を向上させようとするもの
である。

訂正には連想記憶やパターン認識のモデルとし
て考案された逆伝播ネツトワーク・モデルを利用
する。このモデルの詳細については、「欧文誌コ
ンプレツクス・システムズ、1987年第１号145−
168頁」（“Parallel Networks that Learn to
Pronounce English Text”，T.J.Sejnowski ＆
C.R.Rosenberg，Complex Systems，Vol.1
（1987）145−168）が詳しい。

モデルは一般に第２図のように３種類の層から
階層的に構成され、それぞれ入力ユニツト層、隠
れユニツト層、出力ユニツト層と呼ばれている。
各層にはユニツトと呼ばれる処理単位が配置さ
れ、各ユニツトは入力層に近い側に隣接する層の
ユニツトからの入力を受けて、隣接する出力層に
近い側の層のユニツトへ出力を出す。各ユニツト
の入・出力の応答関係は次のように与えられる。

（式３） x(n)_i＝ 〓^j ω^(n-1) _ij・y^(n-1) _j−θ(n)_i （式４） y(n)_i＝ｆ（x(n)_i） （式５） ｆ(x)＝（１＋e^-x）^-1 ここでｘはユニツトへの入力、ｙはユニツトの
出力、θはユニツトの持つ閾値、上付き添え字は
入力層からの階層を表わし（ｎ＝１，……，Ｎ）、
下付き添え字は層内のユニツトを表わす番号であ
る。ω^(n-1) _ijは第（ｎ−１）層のユニツトｉから第
ｎ層のユニツトｊへの結合を表わす荷重、ｆ(x)は
（式５）に示すように各ユニツトに共通の非線形
飽和型の応答関数である。結局、各ユニツトは隣
接する上位層のユニツトの出力の荷重和とあらか
じめ定められた閾値との差を入力として一種の閾
値論理によつてその出力を決定する。

このモデルの入力層にデータが与えられると、
その情報（データ）は隣接する下位層で順次処理
されながら出力層まで伝播して行く。そしてこの
出力層のユニツトの出力が与えられた入力データ
に対するモデルの推論結果となるのである。

本発明では入力層に誤りを含むシンボル列から
切り出した固定長のシンボル列を提示したとき
に、出力層に入力された固定長のシンボル列の中
央のシンボルに対する誤り訂正の結果（推論結
果）が出力されるようなモデルを構成する。

次にモデルが望ましい推論動作を行なうように
ユニツト間の結合を定める学習法（逆伝播学習）
について説明する。学習に用いるデータはさまざ
まな入力音声に対する実際の音響認識部の出力で
ある誤りを含むシンボル列から切り出した固定長
のシンボル列か、あるいはシンボル間の誤り傾向
を仮定して、誤りのないシンボル列に確率的に誤
りを付加した疑似データである。これらのデータ
を入力層に提示し、出力層には中央のシンボルに
対する正解を提示して逆伝播学習を繰り返し行な
う。逆伝播法では入力されたデータに対する望ま
しい推論結果（出力データ）を教師信号として与
えて、モデルの推論結果と教師信号の差（誤差）
を小さくする方向に繰り返しユニツト間結合を修
正する。実際には、次式で定義される出力層（第
Ｎ層）に於けるモデルの出力y^(N) _iと与えられた入
力に対する望ましい出力（答え）y_iとから定まる
誤差関数を最小化するようなユニツト間結合を、
見い出すことに対応する。

（式６） Ｅ＝（１／２） 〓ⁱ （y^(N) _i−y_i）² この関数はy^(N) _iを通じてあらゆるユニツト間結
合に依存しているので、最小化はＥを評価関数と
して行なえばよい。結果として得られる逆伝播学
習のアルゴリズムに関しては前記の文献に詳し
い。

学習の終了したモデルを用いて訂正を行なう場
合には、入力音声に対する音響認識部の出力であ
るシンボル列から１シンボルづつ始点をシフトし
て逐次的に固定長のシンボル列を切り出して逆伝
播ネツトワーク・モデルに入力する。

入力シンボル列のモデルによる修正結果として
得られるシンボル列には修正しきれなかつた誤り
が残つている可能性があるので、その残された誤
りを修正する為に一度モデルによつて修正された
シンボル列全体を再び入力としてモデルに与えて
誤り訂正を行わせる。この過程を繰り返すことに
よつて、次第に誤りの少ないシンボル列が得られ
るようになる。

〔実施例〕

第１図は本発明を実現した装置の一実施例を示
したブロツク図である。入力バツフア部１は音響
認識結果であるシンボル列を格納し、入力窓部２
は入力バツフア部１から１シンボルづつ始点をシ
フトして順次固定長のシンボル列を切り出して逆
伝播ネツトワーク・モデル部３に入力する。出力
バツフア部４は逆伝播ネツトワーク・モデル部３
の出力を記憶し、第一制御部５は逆伝播ネツトワ
ーク・モデル部３が１シンボル出力する毎に入力
窓部２の始点位置を１シンボル分シフトして次の
修正動作を行わせる。第二制御部６は入力バツフ
ア部１の終端のシンボルまで訂正されたことを検
出すると出力バツフア部４の記憶内容を入力バツ
フア部１に書き戻し、再度前記修正動作を行わ
せ、この過程を一定回数繰り返した後に出力バツ
フア部４の内容を修正結果出力部７に書き出す。

〔発明の効果〕

以上述べたように、本発明によれば音響認識部
の出力であるシンボル列の誤りをその前後関係を
利用して、ボトムアツプ的に訂正することが可能
である。更にモデルによつて修正されたシンボル
列を繰り返しモデルに再入力して誤り訂正させる
ことによつて、より確からしい訂正結果を得るこ
とができる。

本発明の効果は結果的には音響認識部の認識性
能を向上させたことに相当し、音声認識装置全体
としても高い精度を実現することを可能にする。

また、実行に要する記憶容量は、考慮に入れる
前後関係の長さをＬ、シンボルの種類をＭ、隠れ
ユニツトの数をＨとすると記憶容量のオーダー
は、 〜Ｏ（Ｌ・Ｍ・Ｈ） となり、従来技術と比べて大幅に縮小することを
可能にする。

【図面の簡単な説明】

第１図は本発明の一実施例を示すブロツク図、
第２図は逆伝播ネツトワーク・モデルの一般的な
構成を表す図。 １は入力バツフア部、２は入力窓部、３は逆伝
播ネツトワーク・モデル部、４は出力バツフア
部、５は第一制御部、６は第二制御部、７は修正
結果出力部である。

Claims (1)

【特許請求の範囲】
1. １ 音声認識に於て、認識の結果として得られる
   シンボルの時系列に含まれる認識誤りを修正する
   のに際して、前記時系列を記憶する入力バツフア
   部と、前記入力バツフア部に記憶されているシン
   ボルの時系列の先頭から順次始点を１シンボル分
   づつずらして固定長の該シンボル列を切り出す入
   力窓部と、前記入力窓部の出力として得られる固
   定長の該シンボル列を入力としてその中央のシン
   ボルに対する正解を出力するようにあらかじめ誤
   りを含むシンボル列を用いて教師付きの学習を行
   なつた逆伝播ネツトワーク・モデル部と、前記逆
   伝播ネツトワーク・モデル部がシンボルを出力し
   た時点で入力バツフア部から固定長の該シンボル
   列を切り出す前記入力窓部の始点を１シンボル分
   シフトして前記逆伝播ネツトワーク・モデル部に
   次のシンボルの修正動作を行わせる第一制御部
   と、前記逆伝播ネツトワーク・モデル部が出力す
   るシンボル列を記憶する出力バツフア部と、前記
   入力バツフア部のシンボル列の終端のシンボルが
   修正されたことを検出した時点で前記出力バツフ
   ア部の内容を前記入力バツフア部に書き戻し、再
   度前記修正動作を繰り返させる第二制御部と、一
   定回数前記修正動作を繰り返した時点で前記出力
   バツフア部の内容を修正結果として出力する修正
   結果出力部とを備えて成ることを特徴とする音声
   認識誤り訂正装置。