JPH0214000A - 音声認識装置 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 〔産業上の利用分野〕 本発明は音声ｉ！ｉ！、識装置に孫装置特に発声速度が
速く、あいまいな発声に対しても認識精度を高く保ち、
かつ１ｊ゛語処理部の負担の軽減にも好適な音声認識装
置に関する。

〔従来の技術〕

ニューラルネットワークを音声認識の後処理部として用
いる考え方として、昭和６３年電子情報通信学会春季全
国大会講演論文集、分冊Ａ−１゜１−１５頁に記載のよ
うに認識候補の置換誤りをニューラルネットワークで訂
正しようとするものはあった。

〔発明が解決しようとする課題〕

上記従来技術は、現在の音声認識技術では発声が速くな
ったり、あいまいになったりすると本来入力音声に含ま
れているのに認識候補として呪われない脱落の問題、ま
た逆に本来入力音声中に含まれていないのに認識候補が
現われる挿入の問題が存在することに対して配慮がされ
ておらず、脱落、挿入の無い場合にしか適用できないと
いう問題があった。

本発明の目的は、ニューラルネットワークによる後処理
方法を脱落、挿入に対しても適用できるようにし、自然
な音声に対して有効動作するようにすることにある。

〔課題を解決するための手段〕

上記目的は、ニューラルネットワークの出力層に脱落、
挿入に対応する出力ユニットを設けること、および入力
層に時間間隔情報を人力するような入力ユニットを設け
ることにより達成される。

〔作用〕

ニューラルネットワークの出力層に脱落、挿入に対応す
る出力ユニットを設けることにより、認識結果候補系列
中に脱落、挿入があった場合にも対応する出カバターン
（教師パターン）を出力層に提示することができる。こ
れにより、脱落、挿入がどのような状況で生じるかをニ
ューラルネットワークの中に学習することができるよう
になる。

さらに入力層に時間間隔情報を入力できるような人カニ
ニットを設けることにより、脱落、挿入の出現状況を認
識結果候補の時間間隔と関連づけて学習することができ
、脱落、挿入の出現状況を精密に学習することができる
。この精密に学習されたニューラルネットワークを用い
れば、認識結果候補系列中の脱落、挿入を精度よく検出
できる６〔実施例〕 以下、本発明の一実施例を説明する。

まず、本実施例の全体構成を第１図を用いて説明する。

本実施例は話者の発声した入力音声３をとりこみ、認識
結果候補系列４を出力する音声認識処理部１．認識結果
候補系列４を入力とし修正認識結果５を出力する階層型
ニューラルネットワーク２よりなる。

次に本実施例の動作について説明する。入力された入力
音声３は音声認識処理部１において周波数分析、パター
ンマツチング等の処理を施こされ音節単位に複数の認識
結果候補が得られる。この認識結果候補を時間方向に連
結して系列とすることにより認識結果候補系列４が第１
図（ｂ）のような形式で得られる。第１図（ｂ）の例は
、入力音声の中に６音節の音節が含まれていると判定さ
れた場合であり、各音節毎に第５候補までとるようにし
ている。ここで音声認識処理部】であるが。

本処理部は音節単位に認識結果候補を得、最終的に認識
結果候補系列４を第１図（ｂ）のような形態で出力でき
るものであればいかなるｈ°式のものであってもよく、
例えば特開昭５９−２６８００に記載の音声認識方式、
あるいは斎藤・中田著、音声情報処理の基礎、第１２章
、（１９８１年）オー４社に記載の音声認識方式等を用
いればよい。ところで、これらの音声認識方式は必ずし
も完全なものではなく、認識結果に誤りが含まれるとい
うことがしばしば生ずる。誤りの種類としては入力され
た音節を他の音節と判断する置換誤り、入力音声中には
音節の存在しない位置に音節が存在すると判断する挿入
誤り、入力音声中には存在する音節を存在しないと判断
する脱落誤りの３種類がある。第１図（ｂ）に示したの
は話者が「東京都」と発声したときの認識結果候補系列
であり第１音節は置換誤り、第３音節および第６音節は
挿入誤り、また第４音節と第５音節の間に脱落誤りが１
つある。階層型ニューラルネットワーク２ではこのよう
な誤りを含んだ認識結果候補系列４を入力として受けと
り、認識結果候補系列中の各候補が正解であるか誤りで
あるかを前後の候補の出現状況から判断し、誤りである
と判断された部分を訂正した結果を最終的に出力する。

第１図の例の場合、訂正が完全に行なわれれば第１図（
ｃ）のような出力が得られる。

次に階層型ニューラルネットワーク２において行なう訂
正処理について第２図、第３図、第４図を用いて詳しく
説明する。

第２図は階層型ニューラルネットワーク２の構成を示す
図である。本階層型ニューラルネットワークは入力Ｍ２
１．中間層２２．出力層２３の３層からなる。入力層２
１には訂正処理の対象となる音節、およびそれに先行す
る音節、後続する音節の計３音節分の認識結果候補系列
を入力することとし、それぞれ先行音節用人力層２１１
．対応音節用入力層２１２．後続音節用入力層、２１３
が用意される。

本実施例では、先行音節、対応音節、後続音節の計３音
節の情報に基づいて対応音節の訂正を行なうようにした
が、対応音節の前後それぞれ数音節（例えば３音節）分
の情報を入力できるように入力層を構成することも考え
られる。入力層２１に／、ｉｌｌするすべてのユニット
は中間層２２に属するすべてのユニットと入力層中間層
間結合２４を介して結合される。出力層２３には対応音
節用入力層２１２に入力された認識結果候補に対する訂
正結果を出力するための対応音節用出力層２３１゜対応
音節と後続音節との間の脱落誤りを検出し、脱落した音
節の種類を出力する脱落音節用出力層２３２が用意され
る。認識結果候補の音節間に脱落誤りが複数存在する場
合も考えられるが、このような場合には脱落音節用出力
層を複数段ければよい。本実施例の場合は音節間の脱落
誤りの上限を１と仮定し脱落音節用出力Ｍ２３２を１つ
とし°た。出力層２３に属するすべてのユニットは中間
層２２に属するすべてのユニットと中間層出力層間結合
２５を介して結合される。以上が階層型ニューラルネッ
トワーク２の構成の概要であるが、第３図、第４図を用
いてそれぞれ入力層２１．出力層２３の構成の詳細を説
明する。まず入力層２１であるが、この中で先行音節用
入力Ｍ２１１の部分だけを取り出したのが第３図（ａ）
である。

先行音節用入力層２１１はＳＸＮケの入力ユニットから
構成される。Ｎは認識対象の音節カテゴリーの総数であ
り、本実施例ではＮ＝１１６としている。本人力層には
認識結果候補の第５位までを入力するようにしており、
各音節カテゴリー毎に５個の入力ユニットを持つ。本人
力層の入力ユニットは０．１の離散的な値をとり、例え
ば第ｉ番目の音節カテゴリーが第１位であるときには入
力ユニット２１１（Ｉ工ｓ）を１とする。同様に第ｉ番
目の音節カテゴリーが第２位の場合には入力ユニット２
１１２（Ｉ２１）を１とする。このようにして、各順位
毎に１つの入力ユニットのみを１とし他の入力ユニット
は全て０とする。例えば、第１図（ｂ）の第１音節目の
認識結果候補〜は順に［ソＪ、ｒコＪ、Ｎ−Ｊ、ｒホ」
、「オ」であるがこれを先行音節用入力層２１１に入力
すると第３図（ｂ）のようになる。第３図（ｂ）では黒
く塗りつぶした入力ユニットが値上をとり、その他の入
力ユニットは値Ｏをとるものとする。次に出力層２３で
あるがこの中で対応音節用出力層２３１の部分だけを取
り出したのが第４図（ａ）、脱落音節出力層２３２の部
分だけを取り出したのが第４図（ｂ）である。対応音節
用出力層２３１はＮ千１ケの出力ユニット０１〜ＯＮ＋
１よりなる。０１〜ＯＮは音節カテゴリーに対応し、○
〜＋１は対応する音節が挿入誤りであることを示すため
の出力ユニットである。すなわち、対応音節の認識結果
候補に対して第ｉ番目の音節カテゴリーを出力結果とす
るときには出力ユニツｌ−２３１１（０１）のみが出力
し、他の出力ユニツ１〜は出力しないようにする。また
、対応音節が挿入誤りであるときは出力ユニット２３１
２　（ＯＮ）のみが出力し、他の出力ユニットは出力し
ないようにする。脱落音節用出力層はＮヶの出力ユニッ
トＤ１〜ＤＮからなる。

対応音節と後続音節の間に第ｉカテゴリーの音節の脱落
があったとき、出力ユニット２３２　ｔ（Ｄ＋：が出力
する。脱落が無い場合にはどの出力ユニットも出力しな
い。第１図（ｂ）の認識結果候補系列の第３音節目を先
行音節用入力層２１１、第４音節目を対応音節用入力層
２１２、第５音節目を後続音節用入力層２１３にそれぞ
れ入力したとき対応音節用出力層２３１の出力は第４図
（Ｃ）、脱落音節用出力層２３２の出力は第４図（ｄ）
のようになる。

以上、階層型ニューラルネットワーク２において行なわ
れる訂正処理を説明したが、次に、本訂正処理がニュー
ラルネットワークの動作として実現されるメカニズムを
説明する。

いま、説明の簡単のため入力層２１に属するすべての入
力ユニット計３ＸＳＸＮケについて順序番目がふられて
いるものとし、入力ユニットをＩ＋（ｉ＝１〜３Ｘ５Ｘ
Ｎ）と記すことにする。中間層２２にｈＡするユニット
も同様にして、ＨＪ　（ｊ＝１〜Ｍ）とＭ己すことにす
る。また、出力、ユニッ１−も同様に○ｈ（ｋ＝１〜２
Ｎ＋１）と記すことに：　　する。入力層の全ユニット
と中間層の全ユニツ１〜の間には結合があるが、入力ユ
ニット■１と中間ユニットＨＪ　の間の結合係数をＷＩ
ＪＩとする。中間層の全ユニットと出力層の全ユニッＩ
−の間にも結合があるが、中間ユニットＨＪ　と出力ユ
ニット、　　　Ｏｋの間の結合係数をｗ２ｋＪとする。

また、入力ユニットＩ＋、中間ユニット■１Δ、出力二
二ッ１−〇ｈの出力をそれぞれＹｆＩ、３’ＨＪｌ　’
ＩＯｈとする。

入力ユニットｒＩの出力値ｙＩｔには人カニニットに与
えられる０、１の値がそのまま与えられる。

中間ユニットＨＪの出力値ｙ旧は次の式に従って計算さ
れる。

出力ユニットＯｋの出力値ｙＯｋも同様の次式に従って
計算される。

ここで関数ｆ（ｘ）は、単調非減少な非線形関数であり
１本実施例では次式で与えられるｓｉｇｍｏｉｊ関数を
用いている。

ｆ　（ｘ）＝　１／（１＋ｅｘｐ（−ｘ））認識結果候
補系列４に基づいて入力層２１に０゜１の値が設定され
るとこれに基づいてｙｔｔ（ｉ　＝　１〜３Ｘ５ＸＮ）
の値が定まる。入力層２１の中の全ての入力ユニットの
出力値ｙＴ＋が定まるとこれに基づいて中間層２２の中
の全ての中間ユニットの出力値ｙＨＪ（ｊ＝１〜Ｍ）が
定まる。中間層２２の全ての中間ユニット出力値’ｊＨ
ｉが定まるとこれに基づいて出力層２３の中の全ての出
力ユニットの出力値ｙｏｋ（ｋ＝１〜２Ｎ＋１）が定ま
る。以上で最終的出力が得られる。結合係数ｗｌＪ＋、
ｗ２ｋＪを適当な値に設定すれば、以上説明した計算過
程により前記説明した訂正処理が実現される。

以上４本実施例によれば、発声速度が速かったり１発声
があいまいであることに起因して生ずる挿入誤り、脱落
誤りが含まれるような認識結果候補系列に対しても適用
可能で高精度な誤り訂正処理が実現でき、高精度の音声
認識性能が得られる。

なお、本実施例では階層型ニューラルネットワーク２を
３層構成としたが、これを４層構成とすることも可能で
あり、より高い性能が実現できる。

また本実施例では、ニューラルネットワークを階層型と
したが、ニューラルネッ１−ワークを相互結合型とし１
本実施例における入力層２１．出力層２３と同様のユニ
ットを用意し、入力層２１に相当するユニットにはＭ！
２識結果候補系列から定まる値を設定し、出力値２３に
相当するユニットにはす八て値０を設定し、こ九を初期
値としてネットワークを動作させ、収束した時点におけ
る出力層２３に相当するユニットの値を出力とするよう
な構成も考えられる６ 上記実施例においては、入力層と中間層との間の結合係
数、中間層と出力層との間の結合係数は予じめ適当な値
に設定されているものとしたが、ここで、結合係数の学
習方法の一実施例を第５図を用いて説明する。

本実施例は音声認識処理部１２階階層型ニューラルネッ
トワーク、音声データ格納部６．結果解析部７．学習制
御部８からなる。音声データ格納部６には学習に用いる
発声内容既知の音声データが格納されている。各音声デ
ータには発声内容を表わすラベル情報が付加されている
。学習に先立って、まず階層型ニューラルネットワーク
２の各結合係数に乱数に基づいて初期値を設定しておく
。

学習にあたっては、まず、音声データ格納部６から音声
データを読み出し、これを音声認識処理部１で認識結果
候補系列に変換する。認識結果候補系列は階層型ニュー
ラルネットワーク２、および結果解析部７に送られる。

階層型ニューラルネットワーク２では認識結果候補系列
を与えられるとニューラルネットワークの計算手順に従
って出力ユニットの値を算出し出力する。一方、結果解
析部７では認識結果候補系列とともに音声データの発声
内容を表わすラベル情報を入力し、認識結果−候補系列
のどの部分に誤りがあるかを解析し、これをもとにして
階層型ニューラルネット、ワーク２の目標出力を求める
。学習制御部８には結果解析部７で得られた目標出力、
および階層型ニューラルネットワーク２の実際の出力が
与えられ、この両者の間の差異の情報に基づいて、　ｒ
＋ｒ層型二型ニューラルネットワーク２合係数をどのよ
うに修正すれば前記差異が減少するかを算出する。この
算出結果は階層型ニューラルネットワーク２に送られ結
合係数の値を更新する。結合係数の修正は全学習データ
を繰返し呈示して行ない、前記差異の大きさが予め定め
た値より小さくなったところで学習を終了する。なお、
結合係数の修正量の算出法としては、バックプロパゲー
ションという手法が知られておりこの手法を用いればよ
い。バックプロパゲーションの詳細は文献、エム、アイ
、ティープレス出版、パラレル、デイステウリビューテ
ラ１−．プロセシング　第１巻、（１９８６年）第８章
、第３１８頁から第３６２頁（Ｍ　Ｉ　ＴＰｒｅｓｓ、
Ｐａｒａｌｌｅ　Ｄｉｓｔｒｉｂｕｔｅｄ　Ｐｒｏｃｅ
ｓｓｉｎｇ　ＶｏＱ　、１゜（１９８６）　Ｃｈａｐ８
．　ｐｐ３］８−３６２）に記載されている。

以上、本実施例の学習方法を用いれば、階層型ニューラ
ルネットワーク２に適切な結合係数を設定することがで
き、高精度な訂正能力を実現できる。

次に、ＶＩｔ層型二型ニューラルネットワーク２間間隔
情報を入力できるようにした場合の実施例を第６図を用
いて説明する。本実施例は第２図、第３図で示した実施
例と入力層２１の構成のみが異なる。第２図、第３図で
示した実施例の場合、入力）ＰＪ２１には音節カテゴリ
ーの種別のみを表わす記号データをパターン化した０、
１のデータのみが入力される。これに対し本実施例では
、入力層２１の各音節用入力層２１１，２１．２，２１
３にそれぞれ、１つ入力ユニットを追加し、この入力ユ
ニットには対応する音節とそれに後続する音節との時間
間隔を入力できるようにする。第６図は先行音節用人力
）？４２１１について示したものであり１時間間隔用人
カニニット２１１３（Ｔ）が新たに設定されている。入
力ユニットの総数は音節あたり５ＸＮ＋１となる。時間
間隔用人カニニット２１１３（Ｔ）には他の入カユニツ
１−とは異なり連続的な値が人力される。第２図、第３
図の実施例と異なるのは以上の点のみであり、その他の
点は全て第２図、第３図の実施例の場合と同様である。

本実施例の場合、挿入誤り、脱落誤りの出現状況を候補
音節の出現時間間隔と関連づけて学習したり、処理した
りできるので、より精度の高い誤り訂正ができる。

なお、第７図に示すように音声認識処理部１゜階層型ニ
ューラルネットワーク２、にさらに言語処理部９．制御
部１０を組合せれば音声タイプライタが実現でき、また
第８図に示すように、音声認識処理部１２階階層型ニュ
ーラルネットワーク。

音声応答部１１．サービス制御部１２をセンタに置き、
これに対して電話回線１３を介して電話端末１４からア
クセスできるように構成すればオンライン電を舌サービ
スシステムが実現できる。

〔発明の効果〕

本発明によれば、挿入誤り、脱落誤りが存在するような
認識結果候補系列を精度よく訂正することができ、結果
として高精度の音声認識結果が得られるとともに、言ｇ
４処理部の負担を軽減できるという効果がある。

【図面の簡単な説明】

第１図は本発明の一実施例を説明する図、第２図は第１
図の中の階層型ニューラルネッ１−ワークの構成図、第
３図は第２図の階層型ニューラルネットワークの入力層
の説明図、第４図は第２図の階層型ニューラルネットワ
ークの出力層の説明図、第５図は、第２図の階層型ニュ
ーラルネットワークの学習方法の説明図、第６図は時間
間隔情報を入力できる入力層の説明図、第７図は本発明
を用いて構成した音声タイプライタの構成図、第８図は
本発明を用いて構成したオンライン電話サービスシステ
ムの構成図である。 １・・・音声認識処理部、２・・・階ＲｉＩ型ニューラ
ルネツノ　　　２　　３　　４５１ 一時間（壌ｉ：攪挿） （Ｃ） Ｙ　２　図 ２１１　　　　　　　　　２Ｉ２　　　　　　　　　　
２／３ＶＪ　３　図 （仄） ５７１−・−〇−〇−■−〇− 第　４　図 （久） Ｃｂ） （ｄ） 柘　５図 閉　６　図 ２／／３ 第　７　図

Claims (1)

1. 【特許請求の範囲】 １、音節あるいは音素単位に複数の認識候補を出力する
   ような音声認識装置において、認識候補の選択、削除、
   追加、修正を行なう後処理部を設けたことを特徴とする
   音声認識装置。 ２、特許請求の範囲第１項記載の音声認識装置において
   、上記後処理部は階層型または相互結合型のニューラル
   ネットワークにより構成されていることを特徴とする音
   声認識装置。 ３、特許請求の範囲第２項記載の音声認識装置において
   上記ニューラルネットワークは階層型とし、該ニューラ
   ルネットワークで構成される後処理部に入力される音節
   あるいは音素単位の認識候補が元々の入力音声中には存
   在しなかつたことを示す出力ユニット、および、元々入
   力音声中には存在したのに、後処理部への入力としての
   認識候補として現われなかつたこと（いわゆる脱落）を
   示す出力ユニットを出力層に設けたことを特徴とする音
   声認識装置。 ４、特許請求の範囲第２項記載の音声認識装置において
   、上記ニューラルネットワークの入力層に、認識候補系
   列中の各候補間の時間間隔の情報を入力できるような入
   力ユニットを設けたことを特徴とする音声認識装置。 ５、発声内容既知の音声に対する音声認識結果を階層型
   ニユーラルネツトワークへの入力とし、前記音声認識結
   果について誤りの有無および誤りの種別を判定した判定
   結果を前記ニューラルネットワークの目標出力とするよ
   うしたことを特徴とする階層型ニューラルネットワーク
   の学習方法。 ６、特許請求の範囲第１項、第２項、第３項又は第４項
   記載の音声認識装置を構成要素として持つ音声タイプラ
   イタ。 ７、特許請求の範囲第１項、第２項、第３項又は第４項
   記載の音声認識装置をセンターの制御装置の構成要素と
   して持つオンライン電話サービスシステム。