JPH03214198A - ワードスポッティング音声認識方法 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 「産業上の利用分野」 この発明は複数の単語からなる入力音声を、不要な語を
除いて必要なものだけを認識して出力するワードスポツ
ティング音声認識方法に関する。

「従来の技術」 従来のワードスポツティング音声認識方法は、音声認識
結果として上がってくる単語の先頭の候補から順に標準
パターンとの類似度が一定しきい値以上のものを選択し
て、単語の連鎖を作成していた。

「発明が解決しようとする課題」 このように従来の方法は入力音声の最初から単語を決定
しているため、最終結果が最初に選択した単語の正否に
大きく依存し、特に最初に選択した単語の類似度が比較
的小さかったりすると、最終結果が誤まったものとなる
可能性が大きかった。

［埋頴ルＣ小ナストめの圧陽 この発明によれば複数の単語を含む入力音声から、その
始端より終端までワードスポツティング音声認識により
単語候補を抽出し、これら抽出された単語候補からその
認識距離（標準パターンに対する距離）が小さい順に上
位Ｎ個（Ｎは２以上の整数）を選出し、これらＮ個の単
語候補の各１つづつについてそれを第１の島として、そ
の島との重なりを予め決められた時間幅だけ許して島の
前後の各区間をそれぞれ入力音声の検索対象区間とし、
その中で最も確かな候補をそれぞれ求め、その各候補を
それぞれ島としてその各島との重なりを予め決められた
時間幅だけ許して島の前後の区間で同様な処理を進めて
行く島駆動型検索により、Ｎ個の単語候補の連鎖系を作
成し、これらＮ個の連鎖系の中から連鎖系に含まれる単
語候補の認識距離の平均値が最も小さい連鎖系を求めて
これを認識結果として出力する。

「実施例」 以下図面を参照してこの発明の詳細な説明する。第１図
に示すように複数の単語を含む入力音声は単語認識部１
１でその始端より終端までワードスポツティング音声認
識により単語候補が抽出される。この認識は例えば連続
ＤＰ法（ＤｙｎａｍｉｃＰｒｏｇｒａｍｉｎｇ法：動的
計画法）で行われる。つまり入力音声パターンの上に、
各認識対象単語の標準パターンをスライドさせながらパ
ターン間のマツチング値（認識距離）をＤＰ法で計算し
、入力フレーム（フレーム：音声認識の分析時間単位）
毎にマツチング結果を出力する。ある単語の標準パター
ンとのマツチング値（認識距離）が予め決めたしきい値
より小さい時、その単語が入力されたものと判定（スポ
ット）する１例えば入力音声が第２図に示すもので、認
識対象単語が第３図に示す１６種類の場合は、第４図に
示すように単語候補が抽出される。第４図においてフレ
ーム番号は十の位を省略してあり、右方向が時間の正方
向であり、→は単語候補の音声区間を示し、この単語候
補の音声区間矢印の右横の数字は、入力音声パターンと
単語標準パターンとの認識距離を示し、認識距離のしき
い値を４６とし７、つまり認識距離が４５以下のものが
単語候補とされている。

このように抽出された各単語候補の認識データ、つまり
その単語番号、その単語候補の音声区間の開始フレーム
番号及び終了フレーム番号、認識距離が例えば第５図に
示すように抽出候補データ記憶メモリ１２に記憶される
。第５図は第４図に示した抽出結果に対する場合で、メ
モリアドレスｆｆｏｏｏｏｏｏ〜ｆｆ００ｆｆｆｆに記
憶される。最初に抽出された候補は単語番号が９、開始
フレーム番号４、終了フレーム番号８、認識距離４５が
アドレスｆｆｏ０００００に記憶される。以下、単語候
補が得られるごとに順次、次のアドレスにその認識デー
タを記憶する。

単語認識部１１から入力音声の始端と、終端とがフレー
ム番号で入力音声開始、終了フレーム番号記憶メモリ１
３に記憶される。第４図の例では始端フレーム１と終端
フレーム３２とが記憶される。

次に抽出候補データ記憶メモリ１２に記憶されプＩ−ツ
出謂泌はハ山ふ一へ　蕾（遮頴統ハ、ｉ、＋１．％ＩＩ
晴Ｉψ上位Ｎ個を上位候補抽出部１４で求めて、その各
候補が記憶されているメモリ１２のアドレスを、認識距
離の小さい順に上位候補メモリ１５に記憶する。Ｎ＝３
とすると、第５図の例の場合は上位候補メモリ１５の記
憶内容は第６図に示すようになる。この上位候補メモリ
１５のアドレスはｆｆ０Ｌ００００からｆｆｏｌｏｌｆ
ｆまでとすると、第５図では認識距離３２が最小であり
、その候補のアドレスｆｆ００００１Ｃが１位の候補と
してメモリ１５のアドレスｆｆ０１００００に記憶され
る。

認識候補間に許される重なりの時間幅がフレーム数にと
して許容型なりフレーム数記憶メモリ１６に予め設定し
ておく。

連鎖系作成部１７は上位候補メモリ１５に記憶されてい
る各候補について、これを第１の島とした島駆動型検索
により、候補間の重なりを許した候補の連鎖系を作成し
、その結果を候補の連鎖系記憶メモリ１８に書き込む、
つまり連鎖系作成部１７は上位候補メモリ１５にある認
識距離の小さｔハｇ建出１ｚ研／、７１：）丁の／ａｌ
　ｈｚムｌｒ）本５子い　酌廼絞鋪の連鎖系を作成する
。

但し、入力音声の開始フレーム番号と終了フレーム番号
をそれぞれＳｏ、　ＥＯで、選ばれた候補をＣで表わし
、その候補Ｃの開始フレーム番号と終了フレーム番号を
それぞれＳｌ、　Ｅｌで表わし、候補間の重なりが許さ
れるフレーム数をｋする。

（ａ）　　候補の連鎖系記憶メモリ１８のエリア（アド
レス）を決定し、そのエリアに、候補Ｃを加え、そのエ
リアの候補数を１にする。

更に候補未抽出区間記憶メモリ１９に、検索の対象とな
る残りの音声区間として区間（Ｓｏ、　Ｓ１＋ｋ）　、
　　（Ｅｌ−に、　８０）を記述する。

ここで、（ｘ、ｙ）は番号Ｘのフレームを開始フレーム
、番号Ｙのフレームを終了フレームとする音声区間を表
すものとする。

なお、着目する候補Ｃが上位候補としてメモリ１５に記
憶されたＮ個の候補の中の距離の小さい順の１番目であ
った場合、メモリ１５中の５番目（Ｊ＝１．２．・・・
、ｌ−１）の候補を第１の島として既に作成された連鎖
系にこの１番目の候補が含まれたならば、以下の処理で
は５番目の候補は処理の対象としない。

（ｂ）　　候補未抽出区間記憶メモリ１９に書いである
区間がなくなったら処理を終了する。候補未抽出区間記
憶メモリ１９に書いである区間があれば、その１つを読
み込み、それを（Ｓ、Ｅ）とすると共に、候補未抽出区
間記憶メモリ１９からはこの区間のデータを削除する。

この区間（Ｓ、Ｅ）に候補がある場合は後記（Ｃ）を行
う。この区間（Ｓ、Ｅ）に候補がない場合は直ちに前記
（ｂ）の処理を頭から行なう。

（Ｃ）　　この区間（Ｓ、Ｅ）にある認識距離の最も小
さい候補を求める。求めた候補を前記（ａ）で決定した
エリアに書き込み、かつそのエリアの候補数をカウント
アツプする。次にその候補の開始フレーム番号が３２、
終了フレーム番号がＥ２であった場合、区間（Ｓ、　Ｓ
２＋ｋ）　、　（Ｅ２−に、Ｅ）を候補未抽出区間記憶
メモリ１９に書き込み、前記（ｂ）へ戻る。

次に第５図に示した例について、許容型なりフレーム数
ｋを１として、１位候補を第１の島とした場合の連鎖系
作成手順を具体的に示す。

（ａ）　　まず、１位候補を第１の島とする新たな連鎖
系データのために、候補の連鎖系記憶メモリ１８のアド
レス（エリア）をｆｆ０２００００に決定し、第７図Ａ
に示すようにそのアドレスの候補数を１とし、そのアド
レスに候補工のアドレス、この例では第６図の１位のア
ドレスｆｆｏ０００１Ｇを書き込む。なお候補の連鎖系
記憶メモリ１日はアドレスｆ　ｆ０２００００からｆｆ
０２ｆｆｆｆまでとする。すなわち、連鎖の長さは最大
１５とする。

次に、１位候補の区間が第５図から（６，１，１）であ
るから、ｋ＝１の重なり区間を許して、この区間の前後
の探索区間（１，７）、（１０，３２）を第８図Ａに示
すように候補未抽出区間記憶メモＩＪ　１９に記憶する
。但し、このメモリ１９に使用出来るメモリはアドレス
ｆｆｏ１０２００からｆｆ０１ｆｆｆｆまでとする。

（ｂの１）　候補未抽出区間記憶メモリ１９の最後に書
いて有る区間（１０，３２）を読み出すと共に、この区
間のデータは第８図Ｂに示すようにメモリ１９から削除
する。

（Ｃ）　　前記（ｂの１）で読み出した区間（１０，３
２）にある認識距離の最も小さい候補を求めると第５図
よりアドレスｆｆ００００３０の候補が求まる。求めた
候補のアドレスを第７図Ｂに示すように候補の連鎖系記
憶メモリ１８のアドレスｆｆ０２００００に書き込み、
その候補数をカウントアツプして２とする。

続いて、この候補の前後の検索区間（１０，１１）、（
１４，３２）を第８図Ｃに示すように候補未抽出区間記
憶メモリ１９に書き込む。

（ｂの２）　候補未抽出区間記憶メモリ１９の最後に書
いである区間（１４，３２）を読み出すと共にこの区間
のデータを第８図りに示すように候補未抽出区間記憶メ
モリ１９から削除する。読み出した区間（１４，３２）
には第５図から候補がないことがわかる。

（ｂの３）　そこで再び候補未抽出区間記憶メモリ１９
の最後に書いである区間（１，０，１１）を読み出し、
この区間のデータを第８図已に示すように候補未抽出区
間記憶メモリ１９から削除する。

この読み出した区間（１０，１１）について第５図を検
索すると候補がない。

（ｂの４）　そこで再び候補未抽出区間記憶メモリ１９
の最後に書いである区間（１，７）を読み出し、この区
間のデータを第８図Ｆに示すように候補未抽出区間記憶
メモリ１９から削除する。読み出した区間（１，７）に
ついて第５図を検索すると候補がない。

（ｂの５）候補未抽出区間記憶メモリ１９に書いである
区間がなくなったので、１位の候補を第１の島とする連
鎖系は第７図Ｂに示す通りとなる。

以上のようにして上位候補メモリ１５内の各単語候補を
第１の島とする島駆動型検索により候補の連鎖系を作成
し、第９図に示すように候補の連鎖系記録メモリ１８に
Ｎ個の連鎖系が得られると、その中から最も確からしい
連鎖系を高確度連鎖系の判定部２１で求めてこれを認識
結果として出力する。つまり判定部２１では連鎖系を構
成する各単語候補の認識距離の平均値が最も小さい連鎖
系を認識結果とする。認識距離の平均値が最も小さいも
のが複数生じた場合は、それらのうちで、連鎖系を構成
する候補の数が多いものを認識結果とし、更に構成候補
数が最も多いものが複数となった場合はより上位の候補
を第１の島として作成した連鎖系を認識結果とする。

「発明の効果」 以上述べたようにこの発明によれば、入力音声の始めか
ら単語を決定してゆくのではなく、入力音声の始端から
終端までに得られる単語候補中の認識距離の小さいもの
を第１の島として島駆動型検索を行うため、正解率が高
いものとなる。

また候補間の重なりを許して検索を行うため認識精度が
向上する。この発明の方法を例えば音声会話システムの
音声認識処理部に使用すると、「あの−」、「え−と」
などの冗長語や「です」、「お願いします」などの述語
が入力音声の意味を理解する上でのキーワードの前後に
付随して発声されても、これら冗長語や述語に影響され
ず、キーワードを正しく認識でき、会話がスムーズに進
行するようになり、自然な会話が可能となる。

【図面の簡単な説明】

第１図はこの発明の実施例を示すブロック図、第２図は
入力音声の例を示す図、第３図は第２図の入力に対する
認識対象単語の例を示す図、第４図は第２図の入力音声
からスポツティング音声認識により単語候補を抽出した
例を示す図、第５図は抽出候補データ記憶メモリ１２の
記憶例を示す図、第６図は上位候補メモリ１５の記憶例
を示す図、第７図は島駆動型検索による候補連鎖系の作
成例における候補の連鎖系記憶メモリ１８の１アドレス
（エリア）の記憶内容の変化状態を示す図、第８図は第
７図の例における候補未抽出区間記憶メモリ１９の記憶
内容の変化状態を示す図、第９図は候補の連鎖系記憶メ
モリ１８の記憶例を示す図である。

Claims (1)

【特許請求の範囲】
1. （１）入力音声からその始端より終端までワードスポッ
   ティング音声認識により単語候補を抽出し、これら抽出
   された単語候補からその認識距離が小さい順に上位Ｎ個
   （Ｎは２以上の整数）を選出し、 これらＮ個の単語候補の各１つづつについてそれを第１
   の島として、その島との重なりを予め決められた時間幅
   だけ許して島の前後の各区間をそれぞれ入力音声の検索
   対象区間とし、その中で最も確かな候補をそれぞれ求め
   、その各候補を島としてその島との重なりを予め決めら
   れた時間幅だけ許して島の前後の区間で同様な処理を進
   めて行く島駆動型検索により、Ｎ個の単語候補の連鎖系
   を作成し、 これらＮ個の連鎖系の中から連鎖系に含まれる単語候補
   の認識距離の平均値が最も小さい連鎖系を求めてこれを
   認識結果として出力するワードスポッティング音声認識
   方法。