JPS59143200A - 連続音声認識装置 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 〈発明の利用分野〉 本発明は、連続音声認識方式に関し、特に連続人力音声
を自動的に認識する際に、実在しない単語が発生する現
象、つまり音声の湧出しを効率よく抑止できる認識方式
に関するものである。

〈従来技術〉 近年、音声認識を採用する分野が広が９つっちゃ、国鉄
の自動座席予約システムや銀行の預金残高照会システム
では、すでに実用の段階に到っている。しかし、現在実
用化されている技術では、区切って発声した単語を認識
するように運営されているだめ、認識処理が遅くなって
システムとしての効率が悪く、しかも１単語ずつ区切っ
て発声しなければならないだめに、発声が不自然となり
、発声エラーの原因にもなっている。この傾向は、数字
において特に顕著である。電話番号で説明すると、電話
番号は通常「何万何千何百何十何」と桁数字で呼ばれる
ことは少なく、０〜９の数字を単純に配列した３連数字
あるいは４連数字で呼ばれ、かつ連続的に発声される。

従来、電話番号の発声音を音声認識装置で自動的に認識
する場合、数字間に区切り音等を挿入して１数字ずつ発
声させ、音声認識装置では区切られた人力音声に対して
最も類似したθ〜９の数字を１数字ずつ判別し、それを
認識結果として出力している。

」二記の例からも明らかなように、４連数字は、０００
０〜９９９９の１万種類に及ぶが、それらの中に含捷れ
る単語の種類は、たかだかＯ〜９の１０数字である。そ
れにもかかわらず、実際に連続発声音声の認識を実行す
ると、正確に認識することが困難である。認識を困難に
している最大の原因は、音声と音声の区分けができない
ことである。

区分けができず音声境界が不明である場合、（１）標準
数字を人力音声のどの部分と整合をとればよいか判断で
きないこと、および（１）特定の２組の数字間に誤って
別の数字が挿入されやすいこと（これを湧出し現象と呼
ぶ）等の問題が生ずる。これらの場合を、図面によシ説
明する。

第１図は、連続音声認識の説明図であって、（ａ）−Ｍ
は発声音声の分解図、（ａ）　−Ｎは擬似音声の発生図
、（ｂ）は発声音声パワーを示す図、（Ｃ）は標準音声
との整合度を示す図である。

いま、４連数字／　３１７７　／　（サンイチナナナナ
）を例にとると、その分解状態は（ａｌ−Ｍに示すよう
になり、音声パワーの分布は（ｂ）に示すようになる。

音声パワーは、音声の瞬時振幅レベルあるいは長時間実
効レベル、つま９発声者、発声環境により変動する分を
考慮した実効音声レベルである。（ｂ）では、横軸に時
間、縦軸にパワーが示されており、母音はパワーが大き
く、子音はパワーが小さい。

この場合、認識装置は数字の境界が識別できないので、
前記（１）を解決するだめにも、この境界を自動的に判
別する作業が必要である。これに対しては、例えば「連
続ＤＰマツチング法］（岡隆−二連続単語認識のための
ＤＰアルゴリズム、日本音響学会講演論文、４−１−２
２、Ｍａｙ１９７８参照）によって、ある程度は解決す
ることができる。この速続ＤＰ手法（連続的な動的計画
法）は、入力音声を区分することなく標準数字音声と照
合していく方法であって、人力音声に対して連続的に評
価する。人力の一部と標準音声と最適整合がとれたとき
、整合度が最大となり、そのときの入力の位置情報が音
声境界となる。第１図（Ｃ）では、下方の時間Ｉ１１＋
に近い橙ど整合度が大であって、候補番号■の／３／と
■の／７／で最適整合がとれたことを表わしている。

次に、前記（１１）の問題、つまり湧出しについて説明
する。第１図（ａ）に示すように、人力音声を音韻に分
解すると、／３／と／１／の間では、／３／の語尾″ｎ
”と／１／の語頭″ｉ″とが結合して”　ｎ　ｉ　”　
／２／　ｉ’発生している。すなわち／３／と／１／の
間に実在しない／２／が音韻構造的に表われ、これカニ
湧出しの原因となる。その結果、人力の桁数力玉不明の
場合には、／３２１／と湧出しエラー７５−生じたり、
／３／≠；／２／と重なり合って／２１／と誤認識する
ことにもなる。この現象は、／７７／の間でも、１司じ
ようにして発生する。すなわち、第１図（ａ）　Ｈに示
すように／７／の語尾”ｎａ”と次の／７／の語頭″ｎ
ａ″７５玉結合してｎａ　ｎａ″／７／がもう１つ発生
し、／７７７／と洟出しエラーが生ずることになる。

〈発明の目的〉 本発明の目的は、このような従来の問題を改善するだめ
、特に湧出し現象の発生を抑止して、連続的に発声され
た音声を正しく認識できるう車続音声認識方式を提供す
ることにある。

〈発明の概要〉 本発明の連続音声認識方式は、連続入力音ｐを音響的に
分析する手段と、分析された単位音声の候補を抽出する
手段と、抽出された複数イ固の侯補の中から最適な候補
を選択する手段を有する音声１招識装置において、上記
最適松補選択手段に、２連単位の音声間に形成される湧
出し音声に関連して真の単位音声列を決定する手段を設
けることに特徴がある。

〈発明の実施例〉 以下、本発明の原理および実施例を、図面により説明す
る。

本発明においては、認識の性能を上げるため、数多くの
数字候補群の中から適切な候補を選択し、その際に湧出
しの発生を抑止する。適切な候補とは、整合の度合が高
く、その候補が湧出したもの（湧出し音声、擬似音声あ
るいは擬似単位音声と呼ぶ）ではないことである。すな
わち、時間的に重なっている候補は整合度の高い方を採
用すればよいが、その候補が擬似数字ではないことが条
件となる。つまり、候補の中から擬似数字を検Ｗするこ
とができれば、真の単位音声列を決定して、正しい認識
が可能となる。このことを、第１図（Ｃ）により詳述す
る。第１図（ｃ）は、第１図（ａ）の人力音声から得た
候補群に対して、横軸に時間、縦軸に標準音声との非整
合度を表わしだものであって、整合のとれた範囲を四角
で囲み、その中に標準音声名称を記しである。第１図（
Ｃ）の中で、候補■、■がそれぞれ／３１／、／７７／
の間に湧出した擬似数字である。もし、この状態で整合
度を優先させて認識すれば、認識結果は、例えば■−■
−■−■／３２１７／となってしまい、誤認識となる。

本発明では、このような湧出しあるいは誤認識の原因と
なる擬似数字を検出し、これを除去するために、次のよ
うな処理を行う。

擬似数字は、前述のように、前後の数字と密接に関係が
ちや、その音韻的結合により存在するものであって、話
者に依存しない一般的な規則とみることができる。した
がって、この一般的な規則をテーブルにあらかじめ登録
しておき、これを参照して擬似数字を検出する。このテ
ーブルを、連結辞書と呼ぶことにする。

第２図は、連結辞書の一例を示す図である。

連結辞書は、３数字のＡ、Ｘ、Ｂをサブセットにした集
合であって、３数字は互いに順列が決っており、先行数
字をＡ、擬似数字をＸ、後続数字を１３としている。本
発明の湧出し抑止は、基本的には、この連結辞書を用い
て対策を施すことになる。

次に、湧出し抑止方法について詳述する、数字の各候補
は、４つの情報を有しているものとする。

それらは、（１）整合のとれた標準音声名Ｎｅ（ただし
、Ｎは０〜９の集合の１つの元Ｎ　（０〜９））　、　
（ｔｌ）非整合ＪｊＪｌ　ｌ）、（ｉｉｉ）人力音声の
整合範囲の開始時点Ｓ、（１■）人力音声の整合範囲の
終了時点Ｅ、である。

い１、湧出し判定の対象となる候補をＸ、時間的に先行
する候補をＡ、後続の候補をＢとし、そｈ　ソレノ情報
ｋ　’Ｐ　Ｘ　＝　（Ｎｘ、Ｉ）Ｘ、　Ｓｘ、　Ｅｘ）
、ψ、＝＝　（ＮＡ、１、）Ａ、　ＳＡ、　ＥＡ）、ψ
８＝（ＮＢ、　ＤＢ、　ＳＢ、　ＥＢ）とする。Ｘが擬
似数字、つまり湧出しであるか否かの判定は、次の３つ
の糸付によって行う。

（イ）’Ｘ、Ａ、１３の種類の組合わせ（ロ）Ｘ、Ａ、
Ｈの連結性 （ハ）Ｘ、Ａ、Ｂの結合度 種類の組合わせは、すでに登録されている連結辞書を調
べ、 Ａ（ｉ）＝　ＮＡ、　　Ｘ（ｉ）＝　Ｎｘ、　　Ｂ　（
ｉ）＝　ＮＢ・・・−−・−（１）上記（１）に適合す
るサブセラｌ−ｉを探すことになる。

連結性は、擬似数字が前後の数字と音韻を共通化してい
る点から、ＸとＡ、ＸとＢが時間的に重複しているか否
かを調べることによって判断することができる。例えば
、単純に互いに僅かでも重複しているとき「連結性あり
」とするならば、次式の条件を満たすか否かを判定すれ
ばよいことになる。

ＥＡ−８ｘ＞ＯかつＥｘ−８Ｂ〉０・・・・・・・・・
・・・・・・・・・（２）連結性があっても、必ずしも
擬似数字とは判断できない場合があるう例えば、擬似数
字と思われる候補の整合度が非常に高いときには、擬似
ではなく、真の数字と判断すべきであろうし、捷だ逆に
整合度が低く、先行、後続の数字の整合度に近くなって
くれば、擬似数字の可能性は高くなる。これが、結合度
に関する条件である。いま、結合度をＣとして、簡単の
ため（（次式のように相対レペルでボテイーする Ｃ＝（］）ｘ−Ｊ）Ａ）＋（Ｄｘ−ＤＢ）−−−−・・
＝・・−・−＝−１３）結合度Ｃがある閾値θ。と比較
して、Ｃ〉θ。であれＶ」：候補Ｘは校似音声と判断す
る。

（）′ｒ似音ｙ！１と判断された候補は、候補群の中か
らｊＩｌｆ、Ｉ次取り除かれていく。

このように、本発明の湧出し抑止法は、擬似音声を検出
して、候補の中から除去するという単純な処理を行うも
ので、候補選択の１つの手段でもある。したがって、幾
つかの候補選択過程の中に、この７シ〕出し抑止処理を
挿入することは簡単に実現でき、特に弊害になることは
ない。

第３図は、本発明の実施例を示す連続音声認識装ｂＴ７
のブロック図である。

１０（士人力音声１を分析する音響分析部、２０は人力
音声と標準音声との間で候補を抽出する候補抽出部、３
０は標準音声を格納する標準音声格納部、４０は抽出さ
れた候補の中から真の候補に絞ってＪｆ↓終認識結果と
して出力する候補選択部である。なお、湧出し抑止処理
は、上記候補選択部４０内で行われる。

連続人力音声１が入力すると、適切なプリエンファシス
および増幅が施された後、音響分析部１０により音声の
特徴を表わすパラメータ２に変換される。分析には、種
々のものが考えられるが、ここでは発声の本質には関係
がないので、最も簡単でかつ普通に行われているスペク
トル分析とする。

すなわち、音響分析部１０には、バンドパス・フィルタ
群が設けられ、これらにより強度による相対的な正規化
を施して、スペクトル分析を行う。スペクトル分析を施
された％徴パラメータ２は、標準音声格納部３０から出
力された標準音声特徴パラメータ３との間でマツチング
を行い、適切な候補４を出力する。

第４図は、第３図の候補抽出部の詳細ブロック図である
。

第４図に示すように、候補抽出部２０は、距離計算部２
１と連続ＤＰマツチング部２２と候補抽出部２３に分か
れている。Ｎチャネルのバンドパス・フィルタ群で分析
された特徴パラメータ２は、１フレームについて（Ｘｉ
　ｌ　、−、〜Ｎで表わされる。ここでＸ、シ１第１番
目の分析フィルタの出力である。また、フレーム周期は
、１０〜２０ミリ秒にとられるのが普通である。同じ方
法で分析された標準音声特徴バラメー　タ（ａｉ１４−
、〜Ｎは、標準音声格納部３０に記憶されている。第４
図の距離計算部２１は、これら２つのデータからユτク
リッド距離ｄａｘ　’！たは絶対値距ｆ’ｉｌｉ　１ｄ
ａｘ１を計算する。

ｄａｘ　　＝、Ｘ、　（ａ＋　−ｘｉ）２１ｄａｘｌ　
＝Σ１ａＩ−ｘｉ１　　・・・・・・・・・・・・・・
・・・・・・・・・・・・・（４）＋＝１ これらの値は、入力のある時点ｔにおける１フレーム（
Ｘｉ）に対するある１つの標準パターンへの１フレーム
（ａ【１との距離であるが、連続ＤＰマツチングを行う
だめには、入力の１）Ｖ−ム（Ｘｊｌト標準パターンＡ
のすべてのフレームとの間の距離の計算が心安であって
、この演算は高速かつ時分割的に行われる。いま、その
演算を下式で表わすものとする。

ｄ＝　（（ｄａｘ）’Ｆ　）、ｊ　＝　ｌ　−ｙ　−＝
−＝−＝・−（５）ここで、ｋは入力のフレーム番号、
Ｍは標準音声Ａの全フレーム数である。入力音声１の各
フレに 一ム（Ｘｉ）　ごとに、上記の距離ｄが計算され、その
結果出力４′が連続ＤＰマツチング部２２に入力される
。この連続Ｄ　Ｐ　−ツチング部２２は、（（（ｄａＸ
）’Ｆｌ、」 ｊ　＝　Ｉ−Ｍが入力されるごとに、それらの値と、そ
れらの過去の値から連続ＤＰマツチング−Ｊｉ　Ｄ、Ｉ
Ｐ）を算出して、その結果出力４′を次段の候補抽出部
２３に送出する。捷だ、同時にその最適な整合の入力音
声フレーム長Ｌｋ（Ａ）も送出する。連続ＤＰマツチン
グ量Ｄｋ（Ａ）は、上述のように、距離値な基本にして
おり、ある時点ｔ−６での人力音声と標準音声との非整
合度ということができる。

第５図は、入力音声と標準音声との非整合度を示す図で
ある。

第１図の入力音声に対する標準音声／１／、／２／、／
３／、／７／、／８／との連続ＤＰマツチング月：　Ｄ
　（１）、Ｄ（２）、Ｄ（３）、Ｄ（７）、Ｄ（８）を
示している。第５図では、ｘ　−ｘが／１／、・−・が
／２／、ｏ　−ｏが／３／、ムームが／７／、−が／８
／の各連続ＤＰマノチングｉ；１′を示し、０は極小点
つ捷り候補点を示している、１１カー！；１抽出部２３
ては、連続］）Ｐマツチング量り□（３）の（・１ζ小
点を検出し、ここから候補系列の情報ψ＝、（Ｎ、１入
Ｓ、Ｆ、）を作成する。Ｎが標準音声の名称Ａであり、
非ｊ１ｊ％合朋りはこのときの連続Ｄｒマツチング量Ｉ
）　（Δ）であり、整合の開始時点ＳはＳ＝ｋ−Ｌ、（
（Ａ、）であり、整合の終了時点ＥはＥ　＝　ｋである
。

Ｃれらの候補の情報が次段の候補選択部４ｏに送出され
、これらの中から正しい答が最終的に出力される。

２４１６図は、第３図における候補選択部の詳細ブロッ
ク図である。

第６図に示すように、候補選択部４０は、湧出し抑止部
４１、整合度優先選択部４２および連結辞書４３に分け
られている。湧出し抑止部４１では、候補抽出部３０か
ら送出された候補情報４を候補テーブルに格納し、あら
かじめ登録されている連結辞書４３により湧出し候補を
検出して、候補テーブルの中から取り除くことを行う。

第７図は、湧出し抑止処理の動作フローチャートである
。

先ず、入力のフレームＸの初期化および更新を行い（ス
テップ５１．５２）、また標準音声のフレームａ、ｂの
初期化および更新を行う（ステップ５３．５４）。次に
、フレームａ、　ｘ、　ｂの連結性を判別するため、前
式（２）を用いてＥＡ−８ｘ〉０でかつＥＸ−＝Ｓ）ｏ
を計算し、成立すれば連結性ありとする（ステップ５５
）。連結性ありのときには、次にフレームａ、　ｘ、　
ｂが連結辞書に存在するか否かを判別するため、前式（
１）を用いて、Ａ　（ｉ）　＝　ＮＡ、　Ｘ　（ｉ）　
−Ｎ”　、　Ｂ　（ｉ）　＝　ＮＢのサブセット（ｉ）
を検索する（ステップ５６）。連結辞書にサブセットが
存在したときには、フレームａ、　ｘ、　ｂの結合度Ｃ
〉θ０が成立するか否かを判別する（ステップ５７）。

このときの結合度Ｃは、前式（３）から求められる。結
合度Ｃが閾値θより犬であれば、候補Ｘは擬似音声と判
断し、候補テーブルからＸを除去する（ステップ５８）
。

以上の処理を全候補すべてについて繰り返し行うことに
より、湧出し抑止が行われたことになる。

このように、全候補は、湧出しの対象Ｘとして、式（１
）（２）（３）を用いて判定される９１判定は、Ｘの他
にｉ’＋ｉｌ後の候補ａ、ｂとの３候補の間で行われ、
擬似音声と判ｊ：′ｊ（された場合には候補テーブルか
ら取り除かれる。

第６図における整合度優先選択部４２では、時間的にＭ
複している候補を、整合度により選択する。

これは、候補を連続ＤＰマツチング量Ｄｋ（Ａ）の極小
点から単純に抽出してきたために、多数の候補が時間的
に重なった状態で存在するからである。

第８図は、整合度優先選択処理の動作フローチャートで
ある。

先ス、２つの候補ａ、ｂについて、初期化と更新を行い
（ステップ６１〜６４）、次にａ、ｂが時間的に重複し
ているか否かを判別し、重複していれば次に非整合度Ｄ
　（ａ）　＞　Ｄ　（ｂ）が成立するか否かを判別する
（ステップ６５．６６）。上式が成立するときには、ａ
を候ＮＩｔ−プルから除去しくステップ６７）、上式が
不成立のときにはｂを候補テーブルから除去する（ステ
ップ６８）。

これらの処理を全候補について行い、全部が終了したた
らは、ａを答の一部として出力する（ステップ６９．７
０）。

このようにして、選択処理は、２つの候補ψヵ＝（ＮＡ
、ＤＡ、ＳＡ、ＥＡ）、ψ８−（ＮＢ、ＤＢ、ＳＢ、Ｅ
Ｂ）の間で繰り返し行われる。選択の基準となる重複率
を、重複しているフレーム長／短い候補のフレーム長（
Ｅ−８）とし、ある閾値θ。より大きい場合にのみ、両
者の非整合度を比較して、大きい方を候補テーブルから
除去する。これにより、重複していない候補列が得られ
るので、これを認識結果５として出力する。

なお、本発明は、話者条件（％定／不特定話者）や認識
単位である単位音声の種類（数字／単語／子音−母音／
母音−子音−母音）で制限を受けることはなく、認識音
声の違いによって連続辞書を変えれば、全く同じ効果が
得られる。また、実施例では、候補抽出手段として連続
り、Ｐマツチング方法を用いたが、候補を抽出できるも
のであれば、連続線形マツチングや構造解析的な手法で
も勿論差し支えない。また、湧出し判定では、連結性や
結合度を式（２）および式（３）のように定義しだが、
これは−例を示しただけで、他にも種々の定義がある。

特に、結合度に対する閾値Ｏｃに関しては、連結辞唐の
サブセットごとに変えると効果的である。

さらに、実施例では、音声人力終了後に湧出し対策を施
しているが、入力音声に対して順次、部分的に区切って
誘出し抑止処理を行うこともでき、この場合には無限連
続音声の入力が可能となる。

〈発明の効果〉 以上説明したように、本発明によれば、連続辞ｆｆ：を
用いて簡単な方法で湧出し抑止を行うことができ、かつ
この処理過程を候補選択部の一部に簡単に組み込むこと
ができ、連続音声認識に多大な効果をもたらすことがで
きる。また、連続人力音声の認識において、単位音声間
の音韻構造的結合による他の音声の湧出しを簡単に検出
して、これを除去することができるので、連続音声認識
の性能を著しく高めることができる。

【図面の簡単な説明】

第１図は連続音声認識の説明図、第２図は連結辞書の一
例を示す図、第３図は本発明の実施例を示す連続音声認
識装置のブロック図、第４図は第３図の候補抽出部の詳
細ブロック図、第５図は入力音声と標準音声との非整合
度を示す図、第６図は第３図における候補選択部の詳細
ブロック図、第７図は本発明の実施例を示す湧出し抑止
処理の動作フローチャート、第８図は本発明の実施例を
示す整合度優先選択処理の動作フローチャートである。 １０：音響分析部、２０：候補抽出部、３０：標準音声
格納部、　４０：候補選択部、２１：距離計算部、２２
：連続ＤＰマツチング部、２３：候補抽出部、４１：湧
出し２抑止部、４２：整合度優先選択部、４３：連結辞
書 第　　　１　　　図 非整合度 時間 第　　２　　図 第　　　牛　　　図 りｎ 第５図 ↑ 人力）イ声分析フレーム数（時間） 第　　　７　　　図 第　　　８　　　図

Claims (3)

【特許請求の範囲】
1. （１）連続発声の入力音声を音響分析して特徴パラメー
   タを得る手段、上記特徴パラメータとあらかじめ用意さ
   れている標準単位音声の特徴パラメータとを比４１りし
   て時間軸方向に１個ないし複数個の音声候補を得る手段
   、および該音声候補の中から選択した候補列を認識結果
   として出力する選択手段を有する音声認識装置において
   、上記選択手段内に、前後の単位音声との音韻的結合に
   より擬似的候補が挿入された３連単位音声列情報群をあ
   らかじめ記憶し、上記複数個の音声候補のうち３連の音
   声候補の連結性を調べ、連結性があるならば該３連音声
   候補の組合わせを上記３連単位音声列情報群の中から検
   索し、さらに上記音声候補間の結合度の大きさにより擬
   似的候補と判定して、該（；７（似的候補を音声候補列
   中から除去することを特徴とする連続音声認識方式。
2. （２）前記３連の音声候補の連結性を調べてから擬似的
   候補を除去するまでの一連の処理は、入力音声に対して
   、順次、部分的に区切って処理されることを特徴とする
   特許請求の範囲第１項記載の連続音声認識方式。
3. （３）前記連結性の判定は、３連の音声候補が互いに時
   間的に重複しているか否かを調べることを特徴とする特
   許請求の範囲第１項または第２項記載の連続音声認識方
   式。