JP4960596B2 - 音声認識の方法およびシステム - Google Patents

Description

本発明は、ユーザの音声信号に含まれる音声情報を認識するように音声信号を分析し、最も確実にマッチする認識結果をテスト手順内でサイド音声信号に変換して、確認修正のためにユーザに出力する音声認識方法に関する。本発明はソフトウェア製品およびコンピュータ読み取り可能な記録媒体にも関する。本発明は、ユーザの音声信号を検出するデバイスを含む音声認識システムにも関する。その音声認識システムは、音声信号に含まれる音声情報を認識し最も確実にマッチする認識結果を決定するために、検出した音声信号を分析する音声認識デバイスも含む。また、その音声認識システムは、テスト手順において前記最も確実な認識結果を音声情報に再変換し、確認・修正のためユーザに出力する音声出力デバイスも含む。

音声認識システムは、音声信号をスペクトルまたは時間的に分析し、分析した音声信号を既知の音声情報の可能性のある信号シーケンスのモデルとセグメントごとに比較する。このために、音声出力デバイスは、例えば一つの言語で意味のある言葉である、可能な異なる信号シーケンスの完全なライブラリを有する。受け取った音声信号をモデルと比較して認識結果を得るために、音声信号のセグメントと最もよくマッチするモデルを毎回検索する。通常は、音声信号が付随するセグメントに属する確率が各モデルについて計算される。音声信号に関する限り長いテキスト、例えば１〜２センテンスにおいて、音声信号のセグメントに個々のモデルがいかによくマッチするかを分析しその確率を計算するときに、文法的および／または言語学的ルールが考慮される。長い音声信号の個々のセグメントが利用可能なモデルにマッチすることだけでなく、全体的によりよい認識結果を取得し間違いを減らすために、音声信号セグメントが現れる文脈も考慮される。しかし、それにもかかわらず、話されたテキストの文、その一部、単語等が間違って認識される確率は残っている。

それゆえ、ほとんどのアプリケーションにおいては、音声認識システムのユーザが認識結果をテストし、必要に応じて訂正する機械を与える必要がある。このことは、ユーザが入力に関して直接フィードバックを得られない場合に特に必要であり、例えば、ユーザが長いテキストを話し、そのテキストが書かれたテキストやその他の機械読み取り可能な形式（以下、簡単のためテキスト形式と呼ぶ）で格納されるアプリケーションなどで必要である。この点で一般的な例としては、ディクテーションシステムや、初めメッセージをテキスト形式に変換し、その後処理したり通信ネットワークを介して伝送するアプリケーションである電子メール、ファックス、SMSなどがある。この種のアプリケーションとしては自動翻訳システムがある。その自動翻訳システムでは、音声信号が初めテキスト形式に変換され、このテキスト形式に基づき異なる言語に翻訳され、最後に音声出力デバイスにより出力するために、翻訳されたテキストが再度音声信号に変換される。PCにリンクした従来のディクテーションシステムにおいて、ユーザが従来の編集機能により適すとを修正できるように、認識結果はPCの表示スクリーン上にテキスト形式で直接表示される。しかし、この訂正方法は認識したテキストを視覚的に表示できないアプリケーションには適さない。例えば、「通常の」電話等の好適な表示デバイスを有さないデバイスを使用している場合などである。また、弱視の人用のアプリケーションにも適さない。このような場合、ユーザが認識結果を確認または訂正できるように、例えばテキスト音声ジェネレータなどの自動音声出力デバイスを介してユーザに音声の形式で認識結果を出力することが必要である。

この種の方法は例えば特許文献１に記載されている。特許文献１は訂正の方法に触れている。一つの方法によると、認識されたメッセージ全体が再生され、認識結果が実際に話したメッセージとマッチしないとき、ユーザはそのメッセージをもう一度しゃべる。ノイズが大きい状況でテキストが話されたときなど、認識エラーが比較的多い環境においてこの方法は満足の行くものではない。なぜなら、所望の結果を得るまでにユーザは完全なメッセージを何度も話さなければならないかも知れないからである。第２の方法によると、音声信号の分析中に、音声信号のセグメントに対して確実性ファクタが自動的に決定される。そして、そのテキストの確実性ファクタが低いセグメント、すなわちエラーが発声した確率が最も高いセグメントだけがユーザに出力される。しかし、このやり方でテキストを完全にチェックすることはできない。第３の方法によると、テキストを単語やセンテンス等のセグメントで再生し、各セグメントの終わりに待ち時間を挿入するように構成される。ユーザは、例えば「イエス」や「ノー」という言葉により、１つひとつのセグメントを個別に確認したり拒絶したりする機会を有する。ユーザがポーズの間に長い時間だまっていれば、これは確認と解釈される。再生されたセグメントをユーザが拒絶した場合、ユーザはこのセグメントを再度完全なものとしてしゃべる機会を有する。

その通り、この第３の方法は、ユーザの時間を大幅に節約し、完全なテキストを再度話さなければならない第１の方法より快適である。しかし、ユーザは、エラーが多く生じた困難な認識環境においては特に、訂正するセグメントを何度も話さなければならないかも知れない。この方法にはさらに別の問題があり、例えば、ユーザが（例えばユーザの方言により）テキストの一部を変わった発音で話すような場合、音声認識システムが最適なモデルを持っておらず、テキストを何回話しても、間違った認識結果を最も確実な認識結果としてしまうことがある。
米国特許第6,219,628B1号

本発明の目的は、上記種類の音声認識方法および音声認識システムを改良して、間違って認識された音声信号の訂正が速く簡単にでき、ユーザをより快適にすることである。

この目的は、分析の際に、認識すべき音声信号に次に高い確率でマッチする幾つかの代替的認識結果、すなわち少なくともひとつの代替案を生成することにより達成される。テスト手続き中の出力は、供給された認識結果が間違っている場合、ユーザが出力を中断できるようにされる。中断前最後に出力された認識結果のセグメントに対して、代替的認識結果の対応するセグメントが音声形式で自動的に出力され、ユーザは選択することができる。その後、供給された認識結果のセグメントは、ユーザが選択した代替的認識結果のひとつに基づき訂正される。最後に、認識すべき音声信号の後続の残りのセグメントについてテスト手続きが継続される。

該方法は、最も確実そうな認識結果を判断するために、音声認識デバイスが複数の代替的認識結果をそれらの確率についてテストしなければならないことを利用している。分析中にあまり確実相ではない結果を拒絶するのではなく、音声認識デバイスはｎ番目までの最もよい文または単語仮説グラフを代替的認識結果として生成し、これらの代替的認識結果をテスト手続きに使用するために、例えばバッファメモリに格納する。音声認識デバイスが追加的にしなければならない仕事は非常に少なくてすむ。テスト手続き中に、この追加的情報を認識結果の正しくなく認識されたセグメントに対して、代替案を提供するために使用する。この代替案の確率にはほとんど違いがないので、ユーザが代替案中に正しい認識結果を発見する確率は高い。ユーザは、テキストのセグメントを再びしゃべらずに、この正しい代替案を選択するだけでよい。これにより、訂正のために再度話されたテキストセグメントが再び間違って認識されるというリスクをなくすことができる。

テスト手続き中に認識結果は、セグメントの後に短いポーズが挿入され、このポーズにおいてユーザが例えば「ストップ」や「ノー」という言葉により認識結果の最後のセグメントを拒絶するかどうかをチェックする。しかし、ユーザのボイスアクティビティは認識結果の出力中常にモニターしておくことが好ましい。出力中にユーザがコメントをするとすぐに、出力が」中断される。これは、いわゆる「バージイン」法を使用していることを意味する。出力中に不要なポーズはなくすことができるので、テスト手続きは非常に速く終了することができる。

音声出力中にユーザが発話した場合、認識結果の音声出力は中断される。これは、部屋にいる別の人間に対する発話であって、音声出力を中断することを意図したものでなくても、中断してしまう。これを防ぐため、ユーザは、例えば「続けろ」などの所与のコマンドを話すことによって、代替的認識結果を聴かずとも、出力を継続することができる。

非常に有利な方法によれば、例えばすべての認識結果が正しくなくてユーザがどの代替的認識結果のセグメントをも選択しなかったとき、ユーザに要求信号が出力され、訂正のためそのセグメントをもう一度しゃべるように要求する。

供給された代替的認識結果の選択には様々な可能性がある。

第１の態様によれば、認識結果が逐次に出力され、ユーザがその認識結果を確認するかどうかを待つ。確認された場合、その代替的認識結果が正しいとして受け入れられる。確認されない場合、次の代替的認識結果が出力される。

第２の態様によれば、すべての代替的認識結果、または代替的認識結果のセグメントが、連続して出力され、出力された後にユーザは適当な認識結果を選択する。好ましくは、各代替的認識結果は、例えば数字や文字であるインジケータとともに出力される。そのインジケータは認識結果と関連づけられている。ユーザは、その数字や文字を話すことにより、インジケータを入力し、代替的認識結果のセグメントを選択することができる。

さらに好ましい態様において、例えば電話機のDTMF信号のような通信端末のキー信号がインジケータに関連づけられる。通信端末のキーを操作することによりセグメントを選択する。これにより、音声認識動作を使用しないで認識結果の選択をすることができ、音声認識により生じうるエラーを排除することができる。

あるいは、代替的認識結果の出力にバージイン法を用いることもできる。これは、代替的認識結果がポーズなしで出力され、正しい認識結果が出力されたときに、ユーザは「ストップ」や「イエス」等の言葉を言うことを意味する。

非常に有利な態様におけるセグメントの訂正後に、認識すべき音声信号にマッチする確率について認識結果が再度評価される。すなわち、それまでに確認または訂正されたセグメントだけでなく、直前に訂正されたセグメントも考慮される。再評価後に最も高い確率を有する後続の認識結果のセグメントが出力されて、テスト手続きが継続される。再評価の結果、認識すべき音声信号のそれまでに訂正または確認された部分すべてに基づき、文脈に依存する確率分析において、テスト手続き中においても認識結果を向上させることができ、これによりその後のセクションで訂正が必要となる確率を減らすことができる。

長いテキストやメッセージを認識するとき、テスト手続きは様々な方法で行うことができる。

一態様において、テスト手続きはユーザが完全なテキストを入力した後に実行される。ユーザは、例えば「終わり」等の適当なコマンドにより、所望のテキストを話し終わったという合図を送ることができる。

さらに別の態様によれば、完全なテキストの一部が入力された後に、テスト手続きがすでに実行される。音声認識システムに負荷をかけることなく、すでに確認または訂正されたテキストの部分をアプリケーションの他の構成要素で処理したりメモリに格納したりすることができるという利点を有する。例えば、テキストまたは音声信号の所与の長さの部分が到達したとき、所与の長さの音声ポーズが生じたとき、および／またはユーザが特殊なコマンドにより要求したときは、それまでに入力されたテキストの部分に対しテスト手続きを実行することができる。

本発明による音声認識システムは、本発明による方法を実行する音声認識デバイスを含まなければならない。その音声認識デバイスは、分析中に、出力される最も確実にマッチする認識結果に対して、次に高い確率で認識すべき音声信号にマッチする幾つかの代替的認識結果を生成し、出力または格納する。さらにまた、該音声認識システムは、ユーザがテスト手続き中に出力を中断する手段と、中断前最後に出力された認識結果のセグメントに対して、代替的認識結果の対応するセグメントを自動的に出力する会話制御デバイスとを必要とする。さらにまた、該音声認識システムは、代替的認識結果の供給されたセグメントのひとつを選択する手段と、選択された代替的認識結果の対応するセグメントに基づき、認識結果のセグメントを訂正する訂正デバイスとを含む。

通信端末のキー信号により代替的認識結果が選択される場合、該音声認識システムは、キー信号を受信し、それを認識し、それを用いて供給されたセグメントのひとつを選択する適当なインターフェイスも含んでいる。

本発明による音声認識システムは、コンピュータ上の好適なソフトウェアにより、または装置の音声制御において有利に実現することができる。例えば、該音声認識デバイスと会話制御デバイスはソフトウェアモジュールの形式で完全に実現することができる。コンピュータ読み取り可能なテキストに基づき音声を生成するデバイスである例えばいわゆるTTSコンバータ（テキスト・ツー・音声コンバータ）も適当なソフトウェアにより実現することができる。該システムは、好適なアンプを有するマイクロホン等である音声入力手段と好適なアンプを有するラウドスピーカ等である音声出力手段とを有すればよい。

該音声認識システムは、電話ネットワークやインターネット等である従来の通信ネットワークを介してアクセスすることができるサーバで実施されてもよい。この場合、音声入力デバイスと音声出力デバイス、すなわちマイクロホン、ラウドスピーカ、およびアンプは、ネットワークを介して該音声認識システムのサーバと接続されたユーザの通信端末にある。さらにまた、該音声認識システムは、例えば単一のサーバ等である単一の装置内に実現されていなくてもよい。該システムの様々な構成要素は、好適なネットワークを介して相互に接続された異なる場所にあってもよい。本発明による音声認識システムは、通信システム内のボイスメールメッセージをSMSメッセージや電子メールに変換するアプリケーション等である特定のアプリケーションと関連づけられていてもよい。しかし、該音声認識システムは複数の異なるアプリケーションに対するサービスシステムとして利用されてもよい。このように、複数のアプリケーションに対するインターフェイスを形成してもよい。

図１に示した音声認識システム１の実施形態は入力１４を有し、これにはマイクロホン２がアンプ３を介して接続されている。該音声認識システム１は、出力１６も含み、これには音声信号を出力するために、アンプ５を介してラウドスピーカが接続されている。マイクロホン２、関連するアンプ３、ラウドスピーカ４、関連するアンプ５は、音声認識システム１とは離れた装置の一部を形成し、電話ネットワーク等の通信ネットワークを介して音声認識システム１と通信する。

該通信端末はキーボード６も含み、そのキーボード６を介してDTMF（Dual Tone Multi Frequency）等の音響信号を生成できる。この信号も音声信号チャンネルを介して音声認識システムの入力１４に送られる。

マイクロホン２からアンプ３を介して入力１４に到達した音声信号SIは、音声認識システム１により読み取り可能または機械読み取り可能なテキストに変換され、例えばSMSメッセージや電子メールを送信するアプリケーション１５に送られる。このアプリケーション１５はテキストデータをしかるべく処理したり送信したりする。

このために、入力側では、音響信号は最初にいわゆるボイスアクティビティディテクタ（VAD）１２に到達する。ボイスアクティビティディテクタ１２は、到来信号にユーザからの到来音声信号SIが実際に含まれているかどうか、または到来信号がバックグラウンドノイズのみかどうかをテストする。音声信号SIは次に音声認識デバイス７に送られる。その音声認識デバイス７は、音声信号SIに含まれた音声情報を認識するために、従来の方法で音声信号SIを分析し、最も確実なマッチを示す認識結果を決定する。

本発明に従って、音声認識デバイス７は、認識すべき音声認識信号SIと最も高い確率でマッチする認識結果に加え、認識すべき音声認識信号SIと次に高い確率でマッチするいくつかの認識結果も生成するように構成されている。

認識すべき音声認識信号SIと最も高い確率でマッチする認識結果は、会話制御デバイス１０にテキスト形式で送られる。その会話制御デバイス１０はこの最も確実な認識結果をテキスト音声ジェネレータ（TTSジェネレータ）９に送る。代替認識結果は、会話制御デバイス１０に直接送られバッファされるか、または音声認識デバイス７により別のメモリ８に格納される。会話制御デバイス１０はこの別のメモリ８にいつでもアクセスできる。最も確実な認識結果は、ユーザによる確認および／または訂正のためテスト手続きにおいて、TTSジェネレータ９を用いて音声信号に変換され、音声の形式でアンプ５とラウドスピーカ４を介して出力される。

このテスト手続きの実行については、以下図２を参照して詳細に説明する。

ステップIにおいて、上で説明したように最初に音声が入力される。その後、ステップIIにおいて、様々な代替的認識結果が決定され、どの認識結果が認識すべき音声認識信号SIと最もよくマッチするか決定するために、ステップIIIにおいて評価される。その後、ステップIVにおいて、最も確実そうな認識結果がセグメントで出力される。このセグメントによる出力は、ユーザがセグメントに別れていることに気がつかないように、連続して実行される。個々のセグメントは、例えば、文の個々の単語、単語仮説グラフ、文の一部、または単語仮説グラフの一部であってもよい。

ステップVにおいて、各セグメントの後に、ユーザが出力を理解したかどうかテストする。例えば、このテストは、認識結果の出力中のユーザの表示により可能である。ユーザのボイスアクティビティはVAD１２によりすぐに認識される。そのVAD１２は、対応する制御信号SCを介してTTSジェネレータ９を停止するとともに、会話制御デバイス１０がユーザによる中断を登録するように、制御信号SCを会話制御デバイス１０にも同時に送る。中断がなければ、入力されたテキストの終わりに来たかどうかテストする（ステップVI）。テキストの終わりに来た場合、認識結果はユーザにより確認されたものとみなされ、アプリケーション１５に送られる（ステップVII）。テキストの終わりに来ていない場合、最も確実そうな認識結果の出力が続けられる。

しかし、ステップVで中断が登録された場合、ステップVIIIにおいて、最初にどのセグメントが問題なのか決定する。説明を簡単にするため、ここでは正しくないセグメントは最後に出力されたセグメントであると仮定する。すなわち、ユーザにより出力が中断される直前に出力されたセグメントであると仮定する。

会話制御デバイス１０は、代替認識結果がそれに格納されていない限り、バッファ８にアクセスし、ステップVIIIにおいて決定された正しくないセグメントに対応する代替的認識結果の対応するセグメントを決定する。対応するセグメント、または代替的認識結果は、例えば１から０までの数字であるインジケータと関連づけられる。

代替的セグメントは、関連づけられたインジケータとともにTTSジェネレータ９を介して音声の形式でユーザに出力される（ステップIX）。

ステップXにおいて、ユーザは、キーボード６上でインジケータに対応するキーを押すことにより、代替的認識結果から好適なセグメントを選択することができる。キーを押すことによりDTMF信号が生成され、音声チャンネルを介して音声認識システム１の入力１４に送信される。このDTMF信号はDTMF認識部１３により認識される。そのDTMF認識部は、音声認識デバイス７と並列に接続されている。DTMF認識部１３は対応する選択信号SAを会話制御デバイス１０に出力する。この選択信号SAにより、訂正部１１は間違って認識されたセグメントを選択された代替的認識結果のセグメントで置き換える（ステップXI）。DTMF認識部１３はDTMF信号を認識すると、音声認識デバイス７に信号を送り、例えば、音声認識デバイス７がDTMF信号の不要な分析をしないように、その音声認識デバイスを不活性化する。

訂正後、ステップXIIにおいて、すべての認識結果、すなわち最も確実そうな認識結果および代替的認識結果を再評価する。好ましくは、この再評価は音声認識デバイス７で実行する。音声認識デバイス７はバッファ８にアクセスすることができるか、または会話制御デバイス１０からこの目的に必要なデータを受け取る。この文脈に依存する認識結果の再評価は、それ以前に確認または訂正されたセグメントのすべてを考慮に入れて行われる。つまり、正しいセグメントの確率は100%であるが、正しいセグメントとされなかった代替的セグメントの確率は0%であるということを考慮する。例えば、すでに分かっているセグメントに基づき、この知識がないときには確率が高いとされた仮説が拒絶され、一方、もともと確率が低いとされていた仮説が非常に確実なものになる。その結果、後続のセグメントの出力においてエラーの数が大幅に減少し、訂正が加速される。追加的に、または代替的に、ユーザの発話の信頼性高く認識された部分は、言語モデルおよび／または音響モデルの適応において考慮することができる。

上で説明した音声認識システムと方法は本発明の特殊な実施形態であり、当業者は様々な方法でこれらを修正することができることに注意すべきである。例えば、代替的認識結果のセグメントがどれも正しいとは考えられない限り、ユーザがセグメントを再度しゃべる機会を有するステップを上記方法に挿入することは可能であり、また意味がある。DTMF対応のキーボード６により選択するのではなく、音声入力により選択を行うことも可能である。また、キーボードが他の信号を送信し、別のデータチャンネルを介して音声認識システム１に送って信号を処理させてもよい。同様に、テスト手続き中の音声出力の中断を特定のDTMF信号等で行ってもよい。

本発明による音声認識システムを示すブロック図である。 訂正方法を示すフローチャートである。

Claims (11)

1. ユーザの音声信号に含まれる音声情報を認識するために前記音声信号を分析し、最も確実なマッチをしている認識結果を、テスト手続きにおいて再度音声信号に変換し、確認及び／または訂正のために前記ユーザに出力する音声認識方法であって、
   認識すべき前記音声信号と次に高い確率でマッチする複数の代替認識結果を前記分析中に生成し、
   供給された前記認識結果が間違っている場合、前記ユーザは前記出力を中断し、中断前最後に出力された認識結果のセグメントに対して、これに対応する前記複数の代替認識結果のセグメントが前記ユーザの選択のため自動的に音声の形式で出力されるように、前記テスト手続きにおいて出力し、
   選択された代替認識結果の対応するセグメントに基づき、前記供給された認識結果中のセグメントを訂正し、
   その後認識すべき前記音声信号の後続の残りのセグメントに対して前記テスト手続きを継続することを特徴とする方法。
2. 請求項１に記載の方法であって、
   前記ユーザのボイスアクティビティは前記テスト手続きにおける前記認識結果の出力中にも引き続きモニターされ、
   前記ユーザの音声信号の受信に応じて前記出力が中断されることを特徴とする方法。
3. 請求項１または２に記載の方法であって、
   前記代替認識結果のセグメントが選択されなかったとき、前記ユーザに訂正のため前記一セグメントを再度しゃべるように要求する要求信号を出力することを特徴とする方法。
4. 請求項１ないし３いずれか一項に記載の方法であって、
   各代替認識結果にインジケータが付随し、
   前記テスト手続き中に、前記代替認識結果のセグメントは前記付随したインジケータとともに出力され、代替認識結果のセグメントの選択は前記インジケータの入力により行われることを特徴とする方法。
5. 請求項１ないし４いずれか一項に記載の方法であって、
   前記インジケータは数字または文字であることを特徴とする方法。
6. 請求項４または５に記載の方法であって、
   通信端末のキー信号が前記インジケータに関連づけられ、
   代替認識結果のセグメントの前記選択は前記通信端末の前記キーの操作により行われることを特徴とする方法。
7. 請求項１ないし６いずれか一項に記載の方法であって、
   前記テスト手続き中のセグメント出力の訂正後、前記様々な認識結果が認識すべき前記音声信号とマッチする確率の点において再評価され、すなわち、最後に訂正したセグメントおよび／またはすでに確認または訂正されたセグメントを考慮して、前記テスト手続きで前記再評価後に最も高い確率を示す認識結果の次のセグメントが出力されることを特徴とする方法。
8. 請求項１ないし７いずれか一項に記載の方法であって、
   前記テスト手続きは、前記ユーザによる完全なテキストの入力の終了後行われることを特徴とする方法。
9. 請求項１ないし７いずれか一項に記載の方法であって、
   前記テスト手続きは、前記ユーザによる完全なテキストの入力後、すでに行われていることを特徴とする方法。
10. 音声認識システムであって、
    ユーザの音声信号を検知するデバイスと、
    前記音声信号に含まれる音声情報を認識するために、前記検知された音声信号を分析し、最も確実なマッチをしている認識結果を決定する音声認識デバイスと、
    テスト手続きにおいて、前記最も確実なマッチをしている認識結果を音声情報に変換し、確認及び／または訂正のため前記ユーザに出力する音声出力デバイスとを有し、
    前記音声認識デバイスは、認識すべき前記音声信号と次に高い確率でマッチする複数の代替認識結果を前記分析中に生成し、
    前記音声認識システムは、
    − 前記テスト手続き中に前記出力を前記ユーザにより中断する手段と、
    − 中断前最後に出力された認識結果のセグメントに対して、これに対応する前記複数の代替認識結果のセグメントをそれぞれ自動的に音声の形式で出力する会話制御デバイスと、
    − 前記代替認識結果の供給されたセグメントのうちの一つを選択する手段と、
    − 選択された代替認識結果の対応するセグメントに基づき、次に出力される前記認識結果のセグメントを訂正する訂正部とを有することを特徴とする音声認識システム。
11. コンピュータプログラムであって、
    コンピュータで実行されたとき、請求項１ないし９いずれか一項記載の方法のすべてのステップを実行するプログラムコード手段を有することを特徴とするコンピュータプログラム。

Images