JP6121842B2 - 音声認識システムのパフォーマンスを評価および改善するための方法およびシステム - Google Patents

Description

本出願は、すべての出願が参照により本明細書に完全に組み込まれている、2005年2月4日に出願した「Method and System for Considering Information About an Expected Response When Performing Speech Recognition」という表題の米国特許出願第11/051,825号の一部継続出願である、2006年1月13日に出願した「Method and System for Considering Information About an Expected Response When Performing Speech Recognition」という表題の米国特許出願第11/331,649号の一部継続出願である、2006年10月6日に出願した「Method and Systems for Adapting a Model for a Speech Recognition System」という表題の米国特許出願第11/539,456号の一部継続である。本出願はまた、すべての出願が参照により本明細書に完全に組み込まれている、2006年4月3日に出願した「Methods and Systems for Assessing the Performance of Speech Recognition System」という表題の米国仮出願第60/788,622号、2006年4月3日に出願した「Methods and Systems for Adapting a Model for a Speech Recognition System」という表題の米国仮出願第60/788,606号、および2006年4月3日に出願した「Methods and Systems for Optimizing Model Adaptation for a Speech Recognition System」という表題の米国仮出願第60/788,621号の利益を主張するものである。

本発明は音声認識に関し、より詳細には、音声認識システムのパフォーマンスを評価および改善することに関する。

音声認識技術の1つの例示的な適用業務は職場に当てはまる。音声認識システムは、従来の周辺入出力デバイスを経由した通信の好都合な代替案として、ユーザがコンピュータとハンズフリー通信を実行することを可能にすることによって、特に職場でのユーザのために多くの任務を簡素化した。例えば、倉庫または棚卸の作業員であるユーザは、ユーザが中央コンピュータシステムから作業割当ておよび作業命令を受信することができるように、ユーザと中央コンピュータシステムの間の通信を可能にする音声認識システムを有する、装着可能な無線端末を身につけることができる。ユーザは、データ入力、質問、作業進歩状況報告書および作業状態報告書などの情報を中央コンピュータシステムに通信することもできる。倉庫環境または棚卸環境で、ユーザは(中央コンピュータシステムからの命令を介して、またはディスプレイを用いて視覚的に)「1-2-3」などの複数のデジット数(チェックデジット(check-digit))でラベルづけされた特定の作業領域に導かれ、チェックデジットを話すよう要求されうる。次いで、ユーザは期待される応答「1-2-3」を用いて応答することになる。(「チェックデジット」は任意の語または一続きの語であってよく、デジットに限定されない点に留意されたい。)

ユーザと音声認識システムの間の通信のその他のかかる例は、米国特許出願第2003/0154075号で説明され、自動車内または電話システム内など、装着可能な端末または携帯用端末が要求されない環境;管理された介護療養所、老人ホーム、薬局、小売店、および事務所など、倉庫でない環境;例えば、クレジットカード番号、銀行口座番号、社会保障番号および個人識別番号を処理する音声制御された情報処理システム;コマンドおよび制御、書取り、データ入力および情報取出し適用業務など、その他の適用業務;ユーザ検証、パスワード検証、数量検証、ならびに繰返し/確認メッセージなどの音声認識システム特徴を含む。本明細書で提示される発明は、それらの適用業務において使用されうる。音声認識システムを使用する際、手動のデータ入力は排除されるか、または少なくとも削減され、ユーザは自らの任務をより速く、より正確かつより生産的に実行することが可能である。

例示的な音声認識誤り
しかし、例えば、背景雑音またはユーザがシステムに不慣れであることまたはユーザによるシステムの誤用などにより、音声認識システムによって誤りが発生する可能性がある。システムによって発生する誤りは様々なタイプに分類されうる。測定基準である(システムの考察数に対する音声認識誤りを伴う考察の割合すなわち率と定義することが可能であり、時間および/またはデータのウィンドウ(window)に対してかつユーザごとに決定されうる)誤り率は、多くの場合、音声認識システムによって発生する誤りの数およびタイプを評価するために使用され、したがって、システムのパフォーマンスを評価する際に有用である。考察は、それによって音声認識が測定されうる任意の音声単位として定義できる。考察は、音節、音素、単一の語または(句、発話または文の形でなど)複数の語であってよい。システムの考察数を計算する場合、システムに入力された考察が計算されてよく、またはシステムによって出力された考察が計算されてもよい。当業者は、(システムの考察数に対するシステムの正確な考察の割合すなわち率として定義することが可能であり、時間および/またはデータのウィンドウに対してかつユーザごとに決定されうる)精度率は、システムのパフォーマンスを評価するために使用されうる点を熟知および理解されよう。認識率は、いくつかを挙げると、誤りを伴う考察の計数をある時間の長さで除算したもの、正確な考察の計数をある期間で除算したもの、誤りを伴う考察の計数をトランザクション数で除算したもの、(装置の電源がオンにされているもしくはユーザが任務を開始するなどの)事象が発生した後の誤りを伴う考察の計数、または事象が発生した後の正確な考察の計数など、様々なその他の方法で定義することが可能である。したがって、(誤り率、精度率、誤りを伴う考察もしくは正確な考察の識別または計数に基づく率、あるいは当業者に知られているその他のタイプの認識率でありうる)認識率は、システムのパフォーマンスを評価する際に有用である。一般に、認識率は、1組の語のうちの1つの語に関してもしくは様々な語に関して、または1人のユーザもしくは複数のユーザに関して決定することが可能である。システムの誤りの識別は、ユーザの入力音声の基準トランスクリプション(reference transcription)をシステムによって生成された仮定(ユーザの入力音声のシステムによる解釈)と比較することによって行うことが可能である。さらに、当業者に知られているように、この比較は時間整合またはテキスト整合することが可能である。

1つのタイプの音声認識誤りは置換であり、その場合、音声認識システムの仮定は基準トランスクリプションの中にある語を間違った語に置き換える。例えば、ユーザの入力音声「1-2-3」に応答して、システムが「1-5-3」を認識する場合、システムは1つの置換、すなわち、「2」を「5」に置換した。

もう1つのタイプの音声認識誤りは削除であり、その場合、音声認識システムの仮定は基準トランスクリプション内にある語を欠く。例えば、ユーザの入力音声「1-2-3」に応答して、システムが「1-3」を認識する場合、システムは1つの語、すなわち「2」を削除した。削除誤りの1つの改変例は不要部分を認識することに起因する削除であり、その場合、システムは実際の語を認識する代わりに不要部分のモデルを誤って認識する。削除誤りのもう1つの改変例は音声の誤検出による削除であり、その場合、システムはシステムに入力された音声が音声を含むことを検出せず、その結果、音声入力の特徴をシステムの探索アルゴリズム内に提出しない。もう1つのタイプの削除は、低い信頼得点のため、システムが正確な考察を拒否する場合に生じる。さらに削除誤りのもう1つの改変例は、拒否された置換による削除であり、その場合、音声認識の探索アルゴリズムは、後にシステムの受入れアルゴリズムによって拒否される置換を生成する。時間整合された比較の際に発生する、さらにもう1つのタイプの削除は併合である。すなわち、音声認識システムは、話された2つの語を1つと認識する。例えば、ユーザは「4-2」と言い、システムは「40」と出力する。

この適用業務では、不要部分のモデルは、情報を伝えない音声に関するモデルの一般的なクラスを指す。例は、例えば、呼吸音、「うーん」、「えー」、鼻をすする音、風の音、パレットの落下音、もしくは車のドアを閉める音のモデル、またはモデルのライブラリ内のモデルに一致しない任意の音声に関する入力音声に一致することが意図されたワイルドカードなど、その他の一般のモデルを含みうる。

さらに、もう1つのタイプの音声認識誤りは挿入であり、その場合、音声認識システムの仮定は基準トランスクリプション内のいずれの語にも対応しない語(または記号)を含む。挿入誤りは、多くの場合、システムが1個の記号に対応する2個の記号を生成する場合に発生する。これらの記号のうちの1個は、基準トランスクリプションに対応する場合があり、正確な考察としてタグづけされうる。その記号が基準トランスクリプションに対応しない場合、置換誤りとしてタグづけされうる。いずれの場合も、その他の記号は挿入誤りとしてタグづけされうる。挿入誤りはまた、雑音が誤って音声として認識された場合にも一般的である。

基準筆記録(reference transcript)に対するシステムの仮定の比較によって実際の誤りの考察または正確な考察が発生したことを決定するのと対照的に、誤りの考察または正確な考察は、システム動作およびユーザ動作に基づいて生じたと推定または判断することが可能である。この適用業務は、認識率を決定するための方法を説明し、認識率は、システム動作およびユーザ動作を評価した後で生じたと判断される、推定誤りまたは正確な推定考察に基づく推定である。したがって、このように、システムによって行われた様々な誤りまたはシステムの正確な考察を検出することによって、音声認識システムのパフォーマンスレベルを推定または評価することができる。音声認識誤りを検出する1つの方法は、ユーザが音声認識システムに提供するフィードバックに基づく。フィードバックは、音声認識システムによって要求されうる。例えば、システムは、ユーザに、例えば「1-5-3と言いましたか?」と問い合わせることによって、システムの仮定を確認するようユーザに要求することができ、ユーザが「いいえ」と答えた場合、システムは、システムが「1-5-3」を認識する誤りを犯したことを表示する。もう1つのタイプのフィードバックは、音声認識によって検出されたユーザの感情に基づく。例えば、システムが、ユーザがため息をついていることまたは立腹を示す語を口にしたことをユーザの入力音声内に認識する場合、システムは、誤りが発生したことを表示できる。さらにもう1つのタイプのフィードバックは、ユーザが「バックアップ」もしくは「消去」と話すなど、システムに対するユーザの補正コマンド、またはユーザが何の語が話されたかを識別すること(これはシステムによって表示される可能な語のリストからでありうる)に基づく。補正がシステムに命令される場合、誤りが生じた可能性がある。

音声認識システムのパフォーマンスを評価する
同じ環境において特定のユーザまたは複数のユーザに関して音声認識システムによって発生する誤りは、様々な理由で生じる。背景雑音などの環境要因は、音声認識システムのパフォーマンスに影響を与える。さらに、様々な理由で、同じ環境でその他のユーザが同じ問題を報告書しない場合、特定のユーザがシステムの質の悪い認識精度を報告する場合がある。1つの理由は、音声認識システムによって使用されるモデルがユーザの音声パターンに十分一致しないことでありうる。考えられるもう1つの理由は、システムに対するそのユーザの期待がその他のユーザより高く、非現実的であることでありうる。考えられるもう1つの理由は、そのユーザが非協力的であること、または仕事に疲れており、「問題解決休憩」を得るために、ユーザの悪いパフォーマンスをシステムの責任にすることである。

この状況を評価する1つの一般的な方法は、監督官が自らの任務を実行する間に作業員に耳を傾けることである。しかし、これは時間がかかるプロセスであり、ユーザは考察されている間、自らの動作および音声を変える可能性があるため、この方法は、多くの場合、満足のいく結果を生み出さない。さらに、この方法は監督官がシステムおよびユーザのパフォーマンスをどのように評価するかを知り、何が受入れ可能なパフォーマンスであるかを知り、パフォーマンスをどのように改善するかを知ることについて専門的知識を有することを要求する。パフォーマンスを評価するその他の方法が存在するが、これらの方法はユーザの発語および音声認識システムの出力の筆記録を取り、解析を行うことを要求する。

米国特許出願第11/539,456号 米国特許出願第11/331,649号 米国特許出願第11/051,825号 米国仮出願第60/788,622号 米国仮出願第60/788,606号 米国仮出願第60/788,621号 米国特許出願第2003/0154075号 米国特許出願第10/671,142号 米国特許第4,882,757号

したがって、システムが特定のユーザまたは特定の1組のユーザによって使用される場合、監督官が音声認識システムのパフォーマンスを評価し、問題が存在するかどうかを決定して、問題が存在する場合、それをどのように補正するかを決定するための方法を提供することは有用である。さらに、(例えば、環境の影響またはユーザがシステムをどのように効果的に使用するか知らないことに起因する)実際の音声認識問題とユーザの不正行為を区別することは有用である。加えて、システムのパフォーマンスを評価して、音声認識システムによって処理された音声のトランスクリプションを作成することまたは手で補正することを必要とせずに、この評価の報告書を提供することは有用である。例えば、携帯用端末上でユーザに、または中央コンピュータシステムの管理制御卓(management console)など、管理制御卓上で(監督官または専門的なサービスサポート員など)別の人物に報告書を通信することも有用である。さらに、システムが認識問題を有する場合、ユーザまたは(監督官または専門的なサービスサポート員など)その他の人物に確認して、それに応じて、認識問題を修正するための補正処置を取るようユーザに命令することは有用である。いくつかのかかるシステムおよび方法が、本明細書で開示される例示的な実施形態において開示される。

音声認識システムに対するモデル適合
パフォーマンス評価によって提供された情報は、ユーザまたは監督官にとって役立つ情報を提供するだけでなく、パフォーマンス評価は音声認識システムの適合を改善するために使用可能である。音声認識システムは、より多くの音声サンプルがシステムによって処理されると、トレーニングアルゴリズムもしくはその他の学習アルゴリズムまたは適合アルゴリズムを介してその音声モデルを改善することによって、経時的にそのパフォーマンスを改善することが可能である。同時に、システムが所望されない方法で適合し、それにより、結果として、システムが適合に先立って行ったのよりも不十分に実行するようになること、またはシステムが経時的に劣化するようになることを防ぐことが有用である。モデルを適合させることは、適合されたモデルを作成するためにかなりの計算リソース、記憶リソース、および/または電力リソースと、新しいモデルをサーバに送信するためにかなりの無線伝送エネルギーとを使用する可能性がある。本明細書で開示される本発明の例示的な実施形態は、システムのパフォーマンス評価に基づいて、適合を制御または調整することによって、リソースの非効率な使用を回避して、十分に実行するモデルからかけ離れた適合を回避するために、音声認識システムの適合を制御することが可能である。

この明細書内に組み込まれかつこの明細書の一部である添付の図面は、音声認識システムの構成要素および本発明の実施形態を例示し、下に提示される実施形態の詳細な説明と共に、本発明の原理を説明するのに役立つ。

本発明の例示的な実施形態による、それぞれがユーザによって使用され、それぞれが管理制御卓によって監視されている複数の携帯用端末の例示的な図である。 本発明の例示的な実施形態による、音声認識システムの概略図である。 本発明の例示的な実施形態による、音声認識システムのパフォーマンスを評価および改善するための方法を例示する流れ図である。 本発明の例示的な実施形態による、携帯用端末上のディスプレイを例示する図である。 本発明の例示的な実施形態による、管理制御卓上のディスプレイを例示する図である。 本発明の例示的な実施形態による、パフォーマンス評価に基づいてモデル適合を制御するための方法を例示する流れ図である。 本発明の例示的な実施形態による、モデル適合のための方法を例示する流れ図である。 本発明の例示的な実施形態による、誤り率を推定するための方法を例示する流れ図である。 本発明の例示的な実施形態による、誤り率を推定するための方法を例示する流れ図である。 本発明の例示的な実施形態による、誤り率を推定するための方法を例示する流れ図である。

音声認識システムおよび管理制御卓の例示的な実施形態
図1は、ヘッドセット120を有するユーザ105によって使用される(それぞれが本明細書で開示される1つまたは複数の音声認識方法を実施するための処理回路および/またはソフトウェアを有する)複数の携帯用端末115を含む、棚卸環境または倉庫環境向けの本発明の例示的な実施形態を示す。(もう1つの例示的な実施形態では、音声認識システムは、端末115の必要性を削除して、ヘッドセット120内に配置される。) ユーザはヘッドセット120内のマイクロフォンを介して口語で話すことができ、音声情報は端末115によって、管理制御卓125に転送し戻されることになる使用可能なデジタルフォーマットに変換される。RF通信カードを使用して、端末115は、例えば、IEEE802.11標準を用いた無線接続130を介して制御卓125と通信することが可能である。制御卓125は、監督官または専門のサービスサポート員など、誰かによって携帯用端末115の音声認識システムを監視するためのディスプレイを有する。参照により本明細書に組み込まれている、「Apparatus and Method for Detecting User Speech」という表題の、米国特許出願第10/671,142号は、かかるシステムを実施するためのさらなる詳細を提供する。

図1は、個々の人々または複数の人々による(1つまたは複数の)音声認識システムの使用の1つまたは複数のパフォーマンス評価を通信する利点を例示する。例示的な実施形態では、職場でユーザが個々のパフォーマンス評価を閲覧して、(所定の標準に基づき)評価が不十分な場合、補正処置を取るための指令を閲覧することができるよう、端末115はディスプレイを含む。もう1つの例示的な実施形態では、(ディスプレイの有無にかかわらず)端末115は、パフォーマンス評価を報告するためにユーザに対する音声応答と、1つまたは複数の考えられる補正処置に関する指令とを作成する。もう1つの例示的な実施形態では、端末115にネットワークで接続された制御卓125は、1つまたは複数の音声認識システムおよび職場でのユーザのシステムの使用の(1つまたは複数の)パフォーマンス評価を閲覧するための場所を提供する。さらにもう1つの例示的な実施形態では、(個々のユーザまたは複数のユーザによるシステムの使用の)パフォーマンス評価がネットワークに接続された任意のPCまたは任意の端末115で閲覧されうるように、端末115はウェブブラウザを有するPCを含む(イントラネットなどの)より大きなネットワークに接続される。(監督官または専門的なサービスサポート員など)別の人物が音声認識システムおよびシステムを使用しているユーザのパフォーマンスを全体として評価することができるよう、パフォーマンス評価は、音声認識システムとユーザとが配置される以外の場所で、制御卓125上で集約され、統一されることが可能であり、またはそうでない場合、組織されることが可能である。加えて、制御卓125上に表示される複数のパフォーマンス評価は、監督官が特定の音声認識システムおよびユーザのシステムの使用をその他のシステムおよびその他のシステムを使用するユーザと比較することを可能にする。本発明の例示的な実施形態に関する適用業務は、図1に示される倉庫環境および携帯用端末115に厳密に限定されない。例示的な実施形態が実施されうるその他の適用業務および環境は、本出願の背景技術の項で説明される。

音声認識システムのパフォーマンスを評価および改善する例示的な実施形態
本発明は、本明細書で説明される音声認識システムのパフォーマンスを評価および改善するためのいくつかの手法を提示する。この説明において、「一実施形態」または「実施形態」の参照は、参照されている特徴が本発明の少なくとも1つの実施形態の中に含まれることを意味する点に留意されたい。さらに、この説明における「一実施形態」の個々の参照は同じ実施形態を指すとは限らないが、そのように指定されない限り、かつ当業者に容易に明らかになる場合を除いて、かかる実施形態は相互に排他的ではない。したがって、本発明は、本明細書で説明される実施形態の任意の様々な組合せおよび/または統合を含みうる。

一手法では、音声認識システムのパフォーマンスを評価するための方法は、1組の語のうちの1つの語の事例の認識または様々な語の事例の認識のいずれかに対応する等級を決定する段階を含み、等級はシステムのパフォーマンスのレベルを表示し、等級は認識率および少なくとも1つの認識係数に基づく。手法は、1組の語のうちの1つの語の事例の認識または様々な語の事例の認識のいずれかに対応する等級を決定するように適合されたプロセッサを含めて、装置として実施することが可能であり、等級はシステムのパフォーマンスのレベルを表示し、等級は認識率および少なくとも1つの認識係数に基づく。

さらにもう1つの手法では、音声認識システムに対するモデル適合のための方法は、1組の語のうちの1つの語の事例の認識または様々な語の事例の認識のいずれかに対応する、システムのパフォーマンス評価を決定する段階を含みうる。方法は、パフォーマンス評価に基づいて、1つの語に対する1つのモデルの適合または様々な語に対する様々なモデルの適合を調整する段階をさらに含みうる。手法は、以下のすべてまたはサブセットを含みうる装置として実施することが可能である。すなわち、1組の語のうちの1つの語の事例の認識または様々な語の事例の認識のいずれかに対応する、システムのパフォーマンス評価を決定するように適合されたプロセッサである。装置は、パフォーマンス評価に基づいて、1つの語に対する1つのモデルの適合または様々な語に対する様々なモデルの適合を調整するように適合されたコントローラをさらに含みうる。

もう1つの手法では、音声認識システムのパフォーマンスを改善するための方法は、1組の語のうちの1つの語の事例の認識または様々な語の事例の認識のいずれかに対応する、システムのパフォーマンスを決定する段階と、パフォーマンスを改善するために、パフォーマンスに基づいて補正処置を決定する段階とを含む。方法は、ユーザに補正処置を通信する段階または補正処置を実行する段階をさらに含みうる。手法は、1組の語のうちの1つの語の事例の認識または様々な語の事例の認識のいずれかに対応する、システムのパフォーマンスを決定するように適合され、かつパフォーマンスを改善するために、パフォーマンスに基づいて補正処置を決定するように適合されたプロセッサを含めて、装置として実施することが可能である。プロセッサは、ユーザに補正処置を通信するように、または補正処置を実行するようにさらに適合されうる。

さらにもう1つの手法では、音声認識システムのパフォーマンスを評価するための方法は、1組の語のうちの1つの語の事例の認識または様々な語の事例の認識のいずれかに対応する等級を決定する段階を含み、等級はシステムのパフォーマンスのレベルを表示し、等級は誤りを伴う考察の計数または正確な考察の計数および少なくとも1つの認識係数に基づく。手法は、1組の語のうちの1つの語の事例の認識または様々な語の事例の認識のいずれかに対応する等級を決定するプロセッサを含めて、装置として実施することが可能であり、等級はシステムのパフォーマンスのレベルを表示し、等級は誤りを伴う考察の計数または正確な考察の計数および少なくとも1つの認識係数に基づく。

音声認識システムの例示的な実施形態
図2は、本発明の例示的な実施形態による音声認識システムの概略図を示す。当業者は、本発明の特徴を含めて、音声認識システムの様々な機能ブロックは様々な技術を使用して、様々なハードウェアおよびソフトウェアの構成を介して実施することが可能である点を認識されよう。したがって、図2に示されるブロックは、別々の回路を表示すること、またはその他の点で限定的であることが意味されず、むしろシステムの機能的特徴および構成要素を示す。

図2を参照すると、システム200では、システムユーザからまたはデータ記憶デバイスからなど、音声信号は様々な通常の方法で音声入力デバイス202によって捕捉されうる。通常、マイクロフォンまたはその他の電気音響デバイスは、ユーザからの音声入力を感知して、それを、次いで信号プロセッサ204に転送されるアナログ電圧信号203に変換する。信号プロセッサ204は、アナログ音声入力203を解析のために別々の単位に分割されうるデジタル化データ流れ205に変換する。あるいは、デバイス202からのこの音声データは、データ記憶デバイスから取り出すことが可能である。信号プロセッサ204は音声対雑音比値も生成する。特に、信号プロセッサ204は、作り出されたデジタルデータ流れを、そのそれぞれが次いで特徴生成器206によって処理される一続きのタイムスライス、すなわちフレーム205に分割し、それにより、特徴(ベクトル、行列、またはそうでない場合、フレームの音声特徴を表す組織された1組の数)207を作成する。例示的な実施形態では、(参照により本明細書に組み込まれている、「Speech Recognition System」という表題の米国特許第4,882,757号で議論されるように)線形予測符号化(Linear Predictive Coding)(LPC)係数が音声を表すために使用される。しかし、その他の機能的に等しい方法も同様に本発明の範囲内で企図される。

システム200内で適切な回路および/またはソフトウェアによって実現される音声認識探索アルゴリズム機能208は、入力デバイス202によって捕捉された音声入力に何の仮定を割り当てるかを決定することを試みる際に、適切なモデルのライブラリ210から222を介して提供された確率モデルを使用して特徴207を解析する。

動作中、探索アルゴリズム208は、デバイス202から入力された音声に最も一致する1つまたは複数の語を決定するために、生成器206内で生成された特徴207を、ライブラリ210内の音声の基準表現、すなわち、音声モデルと比較する。この認識プロセスの一部は、探索アルゴリズム208内で使用された一続きの特徴207が、ライブラリ210内の近接モデルまたは最も一致するモデルにどの程度一致するかを表示するために音声に関して信頼係数を割り当てることである。したがって、1つまたは複数の語彙項目からなる仮定および関連する信頼係数211は受入れアルゴリズム212に関する。信頼係数が所定の受入れしきい値より高い場合、受入れアルゴリズム212は、認識された音声として仮定を受け入れるための決定218を行う。しかし、信頼係数が受入れしきい値より高くない場合、アルゴリズム212は、認識された音声を無視または拒否するように決定218を行うか、または入力デバイス202に対してその音声を繰り返すようユーザにプロンプトを表示する(prompts)。

パフォーマンス評価モジュールの例示的な実施形態
(プロセッサ内で実施されうる)パフォーマンス評価モジュール224は、パフォーマンス評価を決定または推定する。パフォーマンス評価は、認識率、等級、または音声認識システムの任意のその他のタイプのパフォーマンス評価でありうる。

認識率は、システムの考察数に対する音声認識誤りを伴う考察の割合すなわち率として定義することが可能な誤り率であってよく、誤り率は時間(例えば、所定の長さの時間)および/またはデータ(例えば、システムに入力された所定の数の発話)のウィンドウに対して決定されうる。考察は、それにより音声認識が測定されうる音声単位として定義することが可能である。考察は音節、音素、単一の語または(句、発話または文でなど)複数の語でありうる。システムの考察数を計算する場合、システムに入力された考察が計算されてよく、またはシステムによって出力された考察が計算されてもよい。例えば、認識率は語の誤り率、すなわち、システムに入力された語の数に対する音声認識誤りの割合すなわち率であってよい。認識率は、システムの考察数に対するシステムによる正確な考察の割合すなわち率として定義されうる精度率であってもよく、精度率は時間(例えば、所定の長さの時間)および/データ(例えば、システムに入力された所定の数の発話)のウィンドウに対して決定されうる。(発話は「1」または「1-2-3」など、少なくとも一語の口語句である。) 認識率は、誤りを伴う考察の計数をある時間の長さで除算したもの、正確な考察の計数をある時間の長さで除算したもの、誤りを伴う考察の計数をトランザクション数で除算したもの、正確な考察の計数をトランザクション数で除算したもの、(装置の電源がオンにされているもしくはユーザが任務を開始するなどの)事象が発生した後の誤りを伴う考察の計数、または事象が発生した後の正確な考察の計数などであってよい。したがって、認識率は、誤り率、精度率、誤りを伴う考察もしくは正確な考察の識別または計算に基づく率、あるいは当業者に知られているその他のタイプの認識率であってよい。さらに、認識率は以下の方法で決定または推定することが可能である。すなわち、ユーザごとに; ユーザの数に対して; 語ごと; 1組の語に対して; 発話、句または文など、連続して話された語のグループごとである。さらに、モジュール224によって決定される認識率は、本出願で後に議論されるように、実際の誤り、正確な考察、およびシステムの仮定を基準筆記録と比較することから決定される考察に基づくこと、またはシステム動作およびユーザ動作の評価後に発生したと判断されるこれらの推定に基づくことが可能である。したがって、認識率の決定は認識率の推定でありうる。認識率を計算するために必要とされるモジュール224への入力は、特定の適用業務に関して使用される認識率計算のために必要とされるそれらの入力である。例示的な実施形態では、入力はその関連するタイミング情報および期待される応答214を伴う仮定および信頼係数211を含む。(米国特許出願第11/051,825号、および本出願の背景技術の項は、ユーザから期待される応答が音声認識システムによって処理されるシナリオを説明する。)

パフォーマンス評価モジュール224によるパフォーマンス評価は、特定のユーザによって使用された場合、音声認識システムのパフォーマンスの評価として定義されうる等級であってもよい。等級を決定または推定するために必要とされるモジュール224への入力は、システムが使用されている特定の適用業務に応じる。例示的な実施形態では、入力は音声対雑音比219および音声認識システムに入力された発話内の語数を含む。

パフォーマンス報告書生成器の例示的な実施形態
パフォーマンス評価モジュール224は、パフォーマンス評価223をパフォーマンス報告書生成器225に出力する。パフォーマンス報告書生成器225は、パフォーマンス評価の報告書および音声認識システムのパフォーマンスを改善するためのユーザへの示唆を出力する。

モデル適合および制御モジュールの例示的な実施形態
例示的な実施形態では、パフォーマンス評価モジュール224はまた、パフォーマンス評価223をモデル適合・制御モジュール(model adaptation and control module)217に出力する。(ハードウェアコントローラもしくはソフトウェアコントローラまたは制御機構として実施されうる)モデル適合・制御モジュール217は、モデルの適合を制御または調整する。モジュール217への入力は、特定の適用業務に関して所望されるモデル適合の特定の制御のために必要なそれらの入力である。例示的な実施形態では、入力は仮定211および特徴207である。モジュール217は、(適合をいつ適合または保留するかを含めて)1つのモデルまたは複数のモデルをいつ適合させるか、およびモデルを適合させるためにどの発話を使用するかを決定する。さらに、モジュール217は、発話の(音声認識システムによって生成された)トランスクリプションと、認識システムによって考察された発話に対応する特徴207とを使用してモデルを適合させる。適合を制御または調整する際、モジュール217は、適合が命令される前に満たされるべき基準を決定する。さらに、適合を続けるとすると、モジュール217は、既存のモデルを新しい特徴だけを用いて作り出された新しいモデルに置き換えるかどうか、または既存のモデルは新しい特徴および既存のモデルの既存の特徴の両方からの情報を使用して正に適合されるかを決定することができる。モジュール217は、適合されたモデル221をモデルのライブラリ210に出力する。

例示的な実施形態では、モデル適合・制御モジュール217は、モデルのモデル適合を制御するために、パフォーマンス評価モジュール224からのパフォーマンス評価223を使用する。適合を制御することによって、音声認識システムは、認識精度が受入れ可能なレベルである場合、適合が認識精度を悪化させることを防いで、計算リソース、記憶リソースおよび/または電力リソースの非効率的な使用を回避する。

図3、6〜10は、本発明の例示的な実施形態による方法を示す流れ図である。これらの流れ図内で例示される技術は、順次に、平行して、または説明された順序以外の順序で実行することが可能である。説明された技術のすべてが実行されることは要求されず、追加の技術を加えることが可能であり、例示された技術のいくつかはその他の技術と置き換えることが可能である点を理解されたい。

パフォーマンス評価および報告書生成の例示的な実施形態
図3は、本発明の例示的な実施形態による、語の認識に関して音声認識システムのパフォーマンスを評価および改善するための方法を例示する流れ図である。この方法は、複数のシステムのパフォーマンスを評価するためおよび/または(語彙内のデジットの認識など)システムの語彙内の語の少なくともサブセットの認識のために使用されることも可能である点が理解されよう。方法は(図2の224などの)パフォーマンス評価モジュールおよび(図2の225などの)パフォーマンス報告書生成器によって実行することが可能である。

310で、認識率が決定される。例示的な実施形態では、認識率は誤り率である。もう1つの例示的な実施形態では、認識率は精度率である。さらに例示的な実施形態では、認識率は以下の方法で決定または推定されうる。すなわち、時間のウィンドウに対して; システムによって考察されたデータのウィンドウに対して; ユーザごとに; ユーザの数に対して; 語ごとに; 1組の語に対して; 発声、句または文など、連続して話された語のグループごとにである。以下の議論では、認識率は、(デジット「1」など)単一の語の事例の認識に対応する。その他の例示的な実施形態では、認識率は、(語「1」、「2」および「3」、すべてのデジットに関して、またはシステムの語彙内のすべての語に関してなど)様々な語の事例の認識に対応する、組み合わされた認識率であってよい。

315で、語の認識のために得点が計算される。この例示的な実施形態では、誤り率は認識率に関して使用され、得点は以下の方程式を使用して計算される。
得点=(100-500*誤り率)+5*(2-uttlen)+(25-SNR) (1)
式中、
uttlenは複数の語の発話内の語の平均数であり、SNRは(例示的な実施形態では、21〜28dBの範囲に限定される)複数の語の発話中の平均音声対雑音比である。

もう1つの例示的な実施形態では、精度率は認識率に関して使用され、得点は以下の方程式を使用して計算される。
得点=(100-500*(1-精度率))+5*(2-uttlen)+(25-SNR) (2)
式中、
uttlenは複数の語の発話内の語の平均数であり、SNRは(例示的な実施形態では、21〜28dBの範囲に限定される)複数の語の発話中の平均音声対雑音比である。

もう1つの例示的な実施形態では、誤りを伴う考察または考察の計数に基づく認識率など、その他のタイプの認識率が使用されうる。例示的な実施形態の得点計算は、以下の認識係数のうちの1つまたは複数を考慮する。すなわち、認識率、誤り率、精度率、複数の語の発話内の語の平均数(uttlen)、音声対雑音比(SNR)、および当業者に知られていると考えられる任意のその他の認識係数である。複数の語の発話内の語数を考慮する1つの理由は、認識率は発話内の語の数に依存する可能性があるからである。例えば、発話の誤り率である認識率は、通常、発話内の語の数と共に増大し、発話の精度率である認識率は、通常、発話内の語の数と共に減少する。音声対雑音比を考慮する1つの理由は、認識誤りは、通常、高い雑音環境で増大し、したがって、計算は得点がこれを考慮して調整されることを可能にするからである。その他の例示的な実施形態の得点計算は、背景雑音レベル、音声認識システムの語彙内の語数、混乱(perplexity)、文法の複雑さもしくは混乱の可能性、または音声認識任務を実行する困難さの任意のその他の測度など、その他の認識係数を考慮することが可能である。
320で、等級は以下のように得点に割り当てられる。
A 90<=得点 (3)
B 80<=得点<90
C 70<=得点<80
D 得点<70
式中、
等級は音声認識システムのパフォーマンス測定と関連づけられる。

その他の例示的な実施形態では、等級は文字ではなく、数字(例えば、「1」、「2」、「3」および「4」)、記号(

および「!!!!」など)、色またはバーなど、定格のその他の表示である。それぞれ、(1)および(3)を使用して計算された得点および割り当てられた等級の例は、表1に示される。

それぞれ、(2)および(3)を使用して計算された得点および割り当てられた等級の例は、表2に示される。

その他の例示的な実施形態の等級計算は、得点計算に関して上で識別された認識係数など、その他の認識係数、および1人または複数のユーザによって使用される1つまたは複数のシステムのパフォーマンスの1つまたは複数の測度を考慮することが可能である。

例示的な実施形態では、325で、システムは、1つもしくは複数の得点または等級に基づいて、ユーザに対して(もしあれば)補正処置の示唆を自動的に生成する。システムは、示唆された補正処置をもたらすために、例えば、事前に定義された標準、表、公式もしくは得点および/または等級ならびに(認識係数、環境係数または類似の環境でその他のユーザによって使用されるシステムに関する対応する得点および/もしくはパフォーマンス評価など)その他の係数を考慮するアルゴリズムを使用することによって、示唆を生成することが可能である。例えば、語に関する等級が類似の環境でその他のユーザによって使用されるシステムの語の認識に関する等級未満である場合、生成された補正処置の示唆は、ユーザが(低い等級に関連する1つまたは複数の語に関する)モデルまたは1組のモデルを修正させる処置を実行すべきであることをユーザに命令することでありうる。ユーザは、パフォーマンスを改善するためにモデルを再教育すること、適合させること、またはそうでない場合、修正することができる。補正処置のその他の例は、ユーザに以下を命令することを含む。すなわち、システムが話し終わるまで話し始めるのを待つこと、マイクロフォンを交換すること、より大きな声で話すこと、ユーザの口と相対的にマイクロフォンの位置を調整すること、現在の環境よりも静かな環境に移動すること、および/または風除けを交換するもしくはマイクロフォンから取り外すことである。

もう1つの例示的な実施形態では、325は実行されず、代わりに、1人のユーザまたは複数ユーザから得点および/または等級情報を受信するとすぐ、監督官または専門的なサービスサポート員は、示唆された補正処置を1人または複数のユーザに個人的に提供するために、情報および(環境係数または類似の環境でその他のユーザによって使用されるシステムに関する対応する得点および/もしくは等級など)その他の係数を考慮する。

330で、システムのパフォーマンス評価の報告書が生成される。特定のユーザに関する等級および各語が考察された回数、すなわち「計数」を示す、ユーザに対する例示的な報告書は以下の通りである。

推奨される補正処置:語5を再教育する。
この例では、等級はユーザ「ユーザ1」に関して語「0」、「1」、「2」、「3」、「4」、「5」、「6」、「7」、「8」、および「9」のそれぞれについて計算および報告された。また、このユーザに対して「語5を再教育する」ように自動的に生成された補正処置の示唆も報告される。

複数のユーザに関する等級を示す、監督官に対する例示的な報告書は以下の通りである。

複数のユーザによって使用されるシステムは、類似のシステムであってよくかつ/または類似の環境で操作されうる。この例では、等級は、ユーザ「ユーザ1」および「ユーザ2」に関して語「0」、「1」、「2」、「3」、「4」、「5」、「6」、「7」、「8」、および「9」のそれぞれに関して計算および報告された。また、ユーザ1に対しては「語5を再教育する」ように自動的に生成された補正処置の示唆が報告され、ユーザ2に対しては、補正処置は示唆されない。

335で、報告が表示される。図4は、特定のユーザによって使用される音声認識システムによる様々な語の認識に関する等級を示す、例示的な実施形態のディスプレイ410を有する携帯用端末400を例示する。図5は、複数のユーザによって使用されるシステムによる様々な語の認識に関する等級を示す例示的な実施形態のディスプレイ510を有する管理制御卓500を例示する。例示的な実施形態では、コンピュータステーションまたは携帯用端末は、どちらかのタイプの報告書を表示する。もう1つの例示的な実施形態では、様々なシステムのパフォーマンス評価がPCで閲覧されうるように、510のようなディスプレイは、様々なユーザの音声認識システムがネットワークで接続される(イントラネットなどの)より大きなネットワークに接続されたPCのウェブブラウザ上に示される。

340で、補正処置は自動的に開始することが可能であり、またはユーザが補正処置を取るように命令されることも可能である。補正処置の自動開始の例は、特定の語の認識に関する不十分な等級の計算時に、再トレーニングセッションを開始することである。あるいは、ユーザは、携帯用端末の警告機構を介してまたは監督官もしくは専門のサービスサポート員を介して、補正処置を取るように命令されることも可能である。携帯用端末の例示的な警告機構は、(図4の405などの)携帯用端末上の光など、物理的な表示、視覚的表示または音による表示、携帯用端末を振動させること、メッセージ表示、または携帯用端末からの音声による命令である。

例示的な実施形態では、システムはユーザによって使用される(その他のシステムがその他のユーザによって使用されている)と、上述の方法はリアルタイムで実行される。もう1つの例示的な実施形態では、上述の方法は、システムがユーザによって使用された後で、システム動作およびユーザ動作のログデータを使用して実行される。

モデル適合を制御するための例示的な実施形態の方法
図6は、本発明の例示的な実施形態による、モデル適合を制御または調整するための方法600を例示する流れ図である。この方法は、図2に例示されたモジュールなど、音声認識システムの構成要素によって実行されうる。605で、入力音声は音声認識システムによって受信される。610で、少なくとも1つの語に関して、(図2の信号プロセッサ204、特徴生成器206および音声認識探索アルゴリズム208によって実行される入力音声の処理など)初期の音声処理が実行される。615で、(例えば、図2のパフォーマンス評価モジュール224によって)1つの語の事例の認識または様々な語の事例の認識のいずれかに対応するパフォーマンス評価が決定される。例えば、パフォーマンス評価は、語「1」に関する認識誤り、語「1」、「2」および「3」に関する認識誤り、すべてのデジットに関する認識誤り、またはシステムの語彙内のすべての語に関する認識誤りに基づくことが可能である。さらに、パフォーマンス評価は、システムに事前に入力された事例および現在入力された事例に基づいて更新されうる。620で、パフォーマンス評価に基づいて、(例えば、図2のモデル適合・制御モデル217によって)1つの語に1つのモデルを適合させるかまたは様々な語に様々なモデルを適合させるかが決定される。例えば、語「1」に関するパフォーマンス評価に基づいて、語「1」にモデルを適合させることが決定されうる。もう1つの例では、デジットのすべてに関して組み合わされたパフォーマンス評価に基づいて、デジットであるすべての語を適合させることが決定されうる。(1つまたは複数の)モデルが適合されるべきではないと決定された場合、次は605である。(1つまたは複数の)モデルが適合されるべきである場合、モデルは625で適合される。625が実行された後で、制御は605に戻る。625のモデル適合は、制御を速やかに605に戻して、背景で実行されうる。すなわち、音声認識システムは、モデルが適合されている間に、引き続き音声を受信および処理することが可能である。

例示的な実施形態では、モデル適合を制御するためにパフォーマンス評価はパフォーマンス評価しきい値と比較される。すなわち、例示的な実施形態は、パフォーマンス評価しきい値に対してパフォーマンス評価の比較を行い、比較に基づいて、少なくとも1つのモデルを適合させるか、またはモデルの適合を保留する。例えば、評価しきい値が「C」であり、評価が「D」である場合、(例えば、図2のモデル適合・制御モジュール217によって)評価に関連するモデルが適合されることが決定される。適合を決定する1つの理由は、評価が特定の評価しきい値未満である場合、音声認識システムは十分に実行しておらず、したがって、モデル適合が実行されるべきであるからである。

本発明の例示的な実施形態では、パフォーマンス評価しきい値は、ユーザによって設定可能な所定の値、もしくは動的値であってよく、または上方調整もしくは下方調整されてもよい。さらに、評価しきい値は、音声認識システムの達成可能な実行レベルに影響を与える係数およびシステムが使用される適用業務に関する受入れ可能なパフォーマンスレベルを決定する係数に基づいてよい。さらに、評価しきい値は、類似のシステムの1組のユーザのパフォーマンス評価、音声認識システムに入力された発話内の語の数に基づいてよく、(背景雑音レベル、音声対雑音比、もしくはユーザの音声レベルの測定など)環境係数に基づいてよく、音声認識システムの文法の混乱に基づいてよく、語彙内の語の混乱可能性に基づいてよく、または音声認識システムの語彙内の語の数に基づいてもよい。

モデル適合に関する例示的な実施形態
図7は、本発明の例示的な実施形態による、モデル適合のための方法700を例示する流れ図である。この方法は、適合させる決定が行われた後で、図2のモデル適合・制御モジュール217など、音声認識システムの構成要素によって実行されうる。710で、入力発話に対応する、音声認識システムによって考察された特徴は、(例えば、Baum-Welch再推定アルゴリズムを使用して)発話の語に関するモデル内の状態と整合される。715で、特徴の値を使用して、状態の統計値(例えば、平均および分散)が更新される。720で、これらの値は、これまでのトレーニングデータと新しい特徴の間で適切なバランスを保つために、適切な重みづけを用いてモデルに混合される。したがって、例示的な実施形態では、新しいモデルは入力発話の考察された特徴および原モデルの既存の特徴を使用することによって作り出され、それぞれに関連する統計値は新しいモデルを作り出すために使用される。加えて、新しい統計値は、モデル内の原統計値に対するその影響を調整するために、様々な形で重みづけされうる。代替の例示的な実施形態では、新しく考察された特徴、およびそこからの情報だけが、新しいモデルを作り出すために利用される。さらに、適合は、単一のユーザまたは複数のユーザからのデータを使用して実行されうる。例えば、個々のユーザからの音声データだけが、そのユーザのために適合され、かつ十分に実行するモデルを生成する適合を実行するために使用されうる。

誤り率の例示的な実施形態
音声認識システムによって発生する、考えられる(または潜在的なもしくは疑われる)誤りの発生および誤り率を決定または推定するために(図2のパフォーマンス評価モジュール224によってかつ図3の310で実行されうる)様々な例示的な実施形態が存在する。誤り率は、本出願の背景技術の項の音声認識誤りおよび下で議論される音声認識誤りなど、本出願において議論される任意の1つの音声認識誤りまたは様々な音声認識誤りの組合せに基づいてよい。例えば、誤り率は、システムに入力された語に対する挿入誤り率でありうる。または例えば、誤り率は、システムに入力された語に対する挿入誤り率、置換誤り率および削除誤り率でありうる。または例えば、誤り率は、下で議論される、低い信頼率および置換率の組合せでありうる。下で議論される例示的な実施形態の誤り率は、システム動作、期待される応答および/またはユーザ動作の評価に基づいて発生したと判定される推定誤りに基づく。したがって、これらの推定誤り率は、システムに入力された語の基準筆記録およびシステムに入力された語に対応する、システムの仮定の比較を要求しない利点を提供する。

低い信頼率
本発明の例示的な実施形態では、低い信頼認識と呼ばれる、音声認識システムによって発生する、考えられる誤りの発生の識別または計数は、低い信頼率の推定または誤り率の推定を決定するために使用されうる。図8は、図2のパフォーマンス評価モジュール224など、音声認識システムの構成要素によって実行されうる、誤りを識別するための方法800を例示する流れ図である。低い信頼率は、語が、システムがその語を正確に認識した、低い信頼に対応する一定の範囲内の信頼係数を用いて認識される率である。すなわち、低い信頼率は、語が、認識器(recognizer)および音声認識システムが使用される適用業務に応じて、比較的低い信頼係数を用いて音声認識システムによって認識された頻度である。低い信頼率は音声認識システムによって誤りを測定するとは限らず、低い信頼率(もしくはその値の一部)は、誤り率(もしくは誤り率の推定)が使用される場合、誤り率の推定に加えて、または誤り率推定の代わりに使用されうる点に留意されたい。

図8では、805で、仮定された語に関する信頼係数が決定される。(この信頼係数は、図2の探索アルゴリズム208によって生成され、図2のパフォーマンス評価モジュール224に供給されうる。) 810で、信頼係数は、システムが、システムが使用される適用業務に関して語を正確に認識した、低い信頼に対応する値の範囲と比較される。810で、信頼係数が低い信頼範囲外であると決定された場合、制御は805に戻る。810で、信頼係数が低い信頼範囲内であると決定された場合、誤り計数は815で増分される。815の後、制御は805に戻る。815で誤り計数は、次いで、誤り率を生成するためにその他の誤りタイプの計数と組み合わされることが可能である。

低い信頼率を使用する例示的な実施形態はまた、語が誤り率の推定に関する誤りを計算する際に、期待される応答に一致する、システムによって生成された仮定からのものであるかどうかを考慮する。(米国特許出願第11/051,825号、および本出願の背景技術の項は、ユーザからの期待される応答が音声認識システムによって処理されるシナリオを説明する。期待される応答は、システムが使用される適用業務の結果として、システムがユーザから受信することを期待する応答と定義されうる。) 参照される特許出願における例示的な実施形態では、システムの一致アルゴリズムは、通常、システムの仮定に関する信頼係数が受入れしきい値を超える場合だけ、その仮定が受け入れられることを要求する。しかし、システムの最も可能性のある仮定が期待される応答に一致する場合、仮定がシステムによって受け入れられうるように、仮定はより有利に処理される。比較的低い信頼係数にもかかわらず有利に処理される理由は、期待される応答に一致する仮定は、通常、正確な認識の高い確率を表示するからである。

誤り率が低い信頼率である本発明の例示的な実施形態を再び参照すると、期待される応答に一致し、かつシステムが使用される適用業務に関して比較的低い信頼係数を有する語は、誤り率の推定に関する誤りとして計算される。(参照された米国特許出願第11/051,825号で説明されたように、仮定が期待される応答に一致することにより、システムの仮定は正確に受け入れられたため)認識誤りは実際に発生していない可能性があるが、この例示的な実施形態では、比較的低い信頼を有する語は、比較的低い信頼係数により、誤り率の推定に関して誤りとして計算される。低い信頼として語が計算される信頼係数の範囲は、例えば、調整された受入れしきい値と調整されていない原受入れしきい値の間でありうる。より一般には、信頼係数しきい値または低い信頼誤りを計算するための範囲は、参照された特許出願では、受入れしきい値および調整された受入れしきい値に一致しなくてもよい。この範囲は、受入れしきい値より高く、低い信頼と高い信頼の間の境界を表示する高い信頼しきい値を含めて、2つのその他のしきい値の間でありうる。この例示的な実施形態では、低い信頼率に関して使用される信頼係数の範囲は、音声認識システムが使用される適用業務に基づいて決定される。

置換率
本発明の例示的な実施形態では、音声認識システムによって発生する、考えられる置換誤りの発生の識別または計数は、置換誤り率の推定または誤り率の推定を決定するために使用されうる。置換率は、(本出願の背景技術の項で定義される置換誤りなどの)置換誤りがシステムによって発生する率である。例示的な実施形態では、音声認識システムによって生成された仮定は、期待される応答と比較され、置換誤りは、システムが期待される応答内の語を仮定内の間違った語と置き換える場合に発生する。例えば、システムが「1-5-3」を認識し、期待される応答が「1-2-3」である場合、システムは1つの置換(すなわち、「2」を「5」に置換)を行ったと判断されるため、置換誤りが計算される。すなわち、仮定および期待される応答は語対語(word-for-word)で一致しないが、大部分が一致する場合(すなわち、所定の数の語を除いて、仮定および期待される応答が一致する場合)、語の置換誤りが発生したというのは合理的な結論である。(所定の数の語は適用業務に応じる。例えば、3つの語の仮定または発話を使用する適用業務は、「大部分が一致する」を、1つの語を除いて語対語で一致すると定義することができる。5つの語の仮定または発話を使用する適用業務は、「大部分が一致する」を、2つの語を除いて語対語で一致すると定義することができる。)

繰り返される発話
さらにその他の例示的な実施形態では、誤り率は、少なくとも2つの連続する発話または近接する発話のその仮定に関する音声認識システムの決定を比較した後で識別された、音声認識システムによって発生する認識誤りに基づく。この決定は、音声認識システムが(図2の212で受入れアルゴリズムが実行された後、図2の218でなど)着信発話を処理した後で発生しうる。認識誤りは、例えば、その後、システムの応答または応答の欠如に応答して、ユーザが発話を繰り返す、着信発話のシステムの仮定を拒否することでありうる。または例えば、認識誤りは、音声認識システムの出力の際に、音声認識システムが認識できない語をもう1つの語または「不要部分」の語と置き換えることでありうる。図9〜10は、これらのタイプの誤り率を推定するための例示的な実施形態の方法を示す。

拒否および繰返し
図9は、音声認識システムによって発生する、考えられる誤りの発生を識別するための例示的な実施形態の方法900を示す流れ図である。考えられる誤りの発生の計数は、誤り率の推定を決定するために使用されうる。方法900は、図2の誤り率計算モジュール210など、音声認識システムの構成成分によって実行されうる。この実施形態では、音声認識システムが誤ったかどうかの決定は、音声認識システムが少なくとも2つの連続する発話または近接する発話を受信した場合に行われる。システム動作およびユーザ動作は以下の通りである。すなわち、システムは第1の発話のその仮定を拒否し、ユーザは第2の発話で第1の発話を繰り返し、システムは第2の発話のその仮定を受け入れる。システムによって生成された第1および第2の仮定は実質的に一致する。すなわち、仮定は語対語で一致するが、仮定はこの特定の誤り決定に関して無視しうると見なされる認識されたモデルを含んでよく、または含まなくてもよい。例えば、仮定は、ユーザの息またはため息を表示する認識されたモデルを含んでよく、これらの認識されたモデルはこの特定の誤り決定に関して無視しうると見なされてもよく、または見なされなくてもよい。(認識されたモデルが無視しうるかどうかの決定は、特定の音声認識システムおよびそのシステムが使用される適用業務に応じる。) 例は以下の通りである。すなわち、ユーザは第1の発話「1-2-3」を話し、システムはそれを正確に認識する(すなわち、「1-2-3」の仮定を生成する)が、低い信頼係数のため、その仮定を拒否し、ユーザは第2の発話内で「1-2-3」を繰り返し、システムはそれを正確に認識して(すなわち、「1-2-3」の仮定を生成して)その仮定を受け入れる。このタイプの誤り検出機構の論理的根拠は、システムが第1の発話を認識しなかったため、ユーザは同じことを繰り返すことである。システムは第2の発話のその仮定を受け入れるため、システムは第1の発話のその仮定を受入れるべきだったのであり、システムはその際に誤ったと合理的に仮定することができる。この経験則は、代替的に、2つの発話が互いに所定の期間内に話されること、またはやはりそれらの発話が連続して話されることを要求することによってさらに精緻化されることを要求する可能性がある。

図9では、905で、第1および第2の発話に関して(図2の218でなど)音声認識システムによって行われる決定は、(図2の224などの)パフォーマンス評価モジュールによる処理のために受信される。910で、検証が行われる。これらの検証は、以下の条件の1つまたは複数を含みうる。すなわち、それらの発話のシステムの仮定が複数の語を含むことを検証する条件、第2の発話のシステムの仮定がすべての受け入れられた語を含むことを検証する条件、第1の発話に関するシステムの仮定内に少なくとも1つの拒否された語が存在したことを検証する条件、仮定が(存在する場合)期待される応答に一致することを検証する条件である。915で、検証が合格した場合、次は920である。そうでない場合、制御は905に戻る。920で、第1および第2の仮定内の語が一致するかどうかを判断するために第1および第2の仮定内の語が語対語で比較される。例えば、第1の仮定が「1-2-3」であり、第2の仮定が「1-3-3」である場合、不一致が存在する。仮定が語対語で一致する場合、ユーザが同じことを繰り返し、音声認識器が第2の発話を正確に認識したという推論により、間違った拒否誤りが発生した高い確率が存在する。仮定が語対語で一致する場合、次は925である。そうでない場合、制御は905に戻る。925で誤り計数は増分され、次いで、制御は905に戻る。925で、誤り制御は、次いで、誤り率全体を生成するために、その他の誤りタイプの係数と組み合わされることが可能である。

置換および繰返し
図10は、音声認識システムによって発生する、考えられる誤り発生を識別するための例示的な実施形態の方法1000を示す流れ図である。考えられる誤り発生の計数は、誤り率の推定または誤り率の一部の推定を決定するために使用されうる。方法1000は、図2の誤り率モジュール210など、音声認識システムの構成要素によって実行されうる。この実施形態では、音声認識システムが誤ったかどうかの決定は、音声認識システムが少なくとも2つの連続する発話または近接する発話を受信して、システムが第1の発話のその仮定内の語を置き換えて、第2の発話のその仮定内の語のすべてを認識して、受け入れる場合に行われる。例は以下の通りである。ユーザは第1の発話「1-2-3」を話し、システムはそれを認識して(すなわち、仮定「1-5-3」を生成して)その仮定を受け入れ、ユーザは第1の発話の近接範囲内で第2の発話内で「1-2-3」を繰り返し、システムはそれを正確に認識して(すなわち、仮定「1-2-3」を生成して)、その仮定を受け入れる。誤りを検出するこの方法の論理的根拠は、2つの発話が互いに連続してまたは互いに近接範囲内で話された場合、かつシステムが第2の発話のその仮定を受け入れる場合、システムは第1の発話のその仮説内で置換を行う可能性があることである。システムが単一の語だけ異なる連続する認識または近接する認識が実際には置換誤りを含んでいない場合、置換誤りを含むと見なすのを防ぐために使用されうる経験則が存在する。この経験則は、以下の考えられる条件のうちの1つまたは複数に関して検査することを含む。すなわち、第1の発話がシステムによって正確に認識されたことを表示する介入発話は存在しなかったという条件、比較されている2つの発話はシステム内に入力されている同じ一片の情報を表す(例えば、比較されている2つの発話はユーザと認識システムの間の対話において同じ場所でまたは同じプロンプトに応答して発生した)という条件、2つの発話は所定の期間内に話された、すなわち、言い換えれば、比較されている2つの発話の間の時間は、ユーザが初期の発話を繰り返していたことを示唆するのに十分短かったという条件である。

図10では、1005で、第1および第2の発話に関して(図2の218でなど)音声認識システムによって行われた決定は、(図2の224などの)パフォーマンス評価モジュールによる処理のために受信される。1010で、検証が実行される。これらの検証は、置換誤り率の推定の精度を改善し、以下のうちの1つまたは複数を含みうる。すなわち、発話が互いに連続してまたは互いの近接範囲内で話されたことを検証すること、発話のシステムの仮定が複数の語を含むことを検証すること、発話のシステムの仮定がすべての受け入れられた語を含むことを検証すること、両方の場合ともユーザにはシステムによって同じ情報に関してプロンプトが表示されたことを検証すること、第1の仮定が(存在する場合)期待される応答に一致しないことを検証すること、第2の仮定が(存在する場合)期待される応答に一致しないことを検証すること、(上で説明された置換誤りなど)発生した置換誤りを表示する状態に関して検査することである。1015で、第1および第2の発話のシステムの仮定内の語が一致するかどうかを判断するために第1および第2の発話のシステムの仮定内の語が語対語で比較される。仮定が語対語で一致しない場合、次は1020である。そうでない場合、制御は1005に戻る。1020で、検証が合格する場合、次は1025である。そうでない場合、制御は1005に戻る。1025で、第1および第2の発話のシステムの仮定内の語がどの程度密接に一致するかを判断するために第1および第2の発話のシステムの仮定内の語が語対語で比較される。例えば、第1の仮定が「1-2-3」であり、第2の仮定が「1-5-3」である場合、1語の不一致が存在する。この場合、「2」は「5」に置き換えられた。仮定が語対語で一致しないが、大部分一致する場合(例えば、仮定が1つの語を除いて一致する場合)、システムは置換誤りが発生したことを表示する少なくとも1つの条件に関して検査するなどの検証を実行し、ユーザは同じ発話を繰り返し、システムは第2の発話を正確に認識し、システムは第1の発話のその仮定内で間違って置き換えたという推論により、語の置換誤りが発生したというのは合理的な結論である。(「大部分が一致する」の定義は適用業務に応じる。例えば、5つの語の仮定または発話を使用する適用業務は、「大部分が一致する」を2つの語を除いて語対語で一致すると定義することができる。) 仮定が語対語で大部分一致する場合、次は、誤り計数が増分され、その後に、制御が1005に戻る1030である。1030の誤り計数は、次いで、誤り率全体を生成するためにその他の誤りタイプの計数と組み合わされることが可能である。

これまでの項内と同じ手法は、コンテンツである語が第1の発話内で不要部分として認識され、次いで、次の発話内で正確に認識される、不要部分の誤りによる削除を識別するために使用されうる。2つの発話の認識結果を比較して、上で説明された検証などの検証を使用することによって、誤りを検出することができる。例えば、第1の発話のシステムの仮定が「1-不要部分-3」であり、第2の発話のシステムの仮定が「1-5-3」である場合、1つの語の不一致が存在し、音声認識システムは第1の発話のその仮定内で誤ったというのは合理的な仮定となる。この場合も、システムが正確な考察を誤りと見なすことを防ぐために上で説明されたのと類似の検証が使用されうる。

図10の議論において上で議論されたのと同じ手法は、拒否された置換誤りによる削除など、その他のタイプの誤りを検出するためにも使用されうる。拒否された置換誤りによる削除の例は、以下の通りである。ユーザは第1の発話「1-5-3」を話し、システムは仮定「1-2-3」を生成するが、システムはその仮定内で「2」を拒否する。ユーザは、第1の発話の近接範囲内で第2の発話「1-5-3」を繰り返し、システムはそれを認識して(すなわち、仮定「1-5-3」を生成して)、システムはその仮定を受け入れる。システムが第1の発話のその仮定内で「2」を拒否した場合、システムは、拒否された置換誤りにより削除を行った。このタイプの誤りを検出するための方法は、第1の発話のシステムの仮定はすべての受け入れられた語を含まなくてよいという違いがあるが、図10の議論において説明された方法に類似する。

補正率
音声認識システムに関する例示的な実施形態では、ユーザがシステムにフィードバックを提供する補正率は、誤り率の推定または誤り率の一部に関する推定として使用されうる。誤り率を推定するためまたは誤り率の一部を推定するために補正率を使用する理由は、補正がシステムに命令される場合、システムは誤りが発生したことを表示する可能性があるからである。ユーザフィードバックの例は、本出願の背景技術の項で説明される。補正率は、ユーザが、システムが誤ったことを表示する率を含みうる。さらに、ユーザは、システムによって生成された仮定を確認するようユーザに要求すること、または何の語がユーザによって話されたかを識別するようユーザに要求することなど、システムがフィードバックを要求することに応答してフィードバックを提供することが可能である。フィードバックはユーザによる立腹を表示する語を含んでよく、またはフィードバックは「バックアップ」もしくは「消去」など、システムへの補正コマンドであってもよい。

認識率の考慮事項
認識率(誤り率、精度率またはその他のタイプの認識率)を決定または推定する際に、音声認識システムが使用される適用業務に関して有用な認識率を決定または推定するために必要とされる期間およびデータが考慮されうる。1つの例示的な考慮事項は、認識率は所定の期間に対して音声認識システムに入力された音声に関して決定または推定されるというものである。もう1つの例示的な考慮事項は、認識率は所定の数の発話、語、または仮定に対して音声認識システムに入力された音声に関して決定または推定されるというものである。

もう1つの例示的な考慮事項は、認識率は移動ウィンドウもしくはスライディングウィンドウまたは期間および/もしくはデータのサイズの形で動的である収集期間に対して収集された発話の仮定から決定または推定されるというものである。結果として、認識率は、有用なデータが収集されている場合、経時的に決定または推定される。例えば、移動ウィンドウまたはスライディングウィンドウは、騒々しい環境および静かな環境のうちの1つの環境における音声認識システムによる任意の優遇をオフセットするために、これらの環境内の等しい期間から取られたデータの収集物をカバーすることができる。移動ウィンドウ、スライディングウィンドウのその他の例は、音声認識システムの最近の使用(例えば、最後の30分)中にデータを収集するウィンドウ、(例えば、ユーザがシステムの使用を開始して以来)特定のユーザによって費やされた時間に関するデータを収集するウィンドウ、またはデータ(例えば、最後の100個の仮定)を収集するのに費やされた時間にかかわらず一定のデータ量を収集するウィンドウである。

当業者は、本発明のその他の例示的な実施形態では、語の認識率の代わりに、音節の認識率、音素の認識率、句の認識率、発話の認識率、および文の認識率など、その他の認識率が使用されうる点を理解されよう。例えば、発話の認識率は、システムに入力された発話の数に対する正確に認識された発話またはシステムによって発生した誤りを伴う発話の割合すなわち率として定義することが可能である。

加えて、考えられる誤りまたは正確な考察を識別するための様々な方法は同じ仮定を処理することが可能であるが、いくつかの考えられる誤りまたは正確な考察は2つ以上の方法によって計算される場合があるため、二重計算を避けるための予防手段を講じなければならないことは当業者に明らかであろう。

その様々な例示的な実施形態において、本発明は、音声認識システムのソフトウェア内で直接的に実施することが可能である。すなわち、改善は実際に音声認識システムの一部である。あるいは、本発明は音声認識システム内に内蔵されなくてもよい。むしろ、本発明または本発明の一部は、本発明の利点を提供するために、音声認識システムによって利用されうる別々のプログラム内または適用業務内で実施することが可能である。すなわち、別々の適用業務またはソフトウェアモジュールは、本発明の原理に従って、図3のステップのいずれかを処理するために利用されうる。例えば、適用業務は、パフォーマンス評価を決定するためならびに/またはいつおよびどのようにモデルが適合されるかを制御するために、音声認識システムとインターフェースを取ることが可能である。

前述の説明で、本発明はその特定の例示的な実施形態を参照して説明される。明細書および図面は、したがって、限定的な意味ではなく、例示的な意味で考慮されるべきであり、特許請求の範囲をかかる詳細に限定することは決して出願人の意図ではない。しかし、本発明のより広い精神および範囲から逸脱せずに、追加の利点および修正が、コンピュータプログラム製品もしくはコンピュータプログラムソフトウェア、ハードウェアまたはそれらの任意の組合せの中で行われることが可能であることは当業者に明らかであろう。ソフトウェア実施形態は、命令を有する機械アクセス可能媒体上または機械可読媒体上の製品を含みうる。さらに、ソフトウェア実施形態は、ネットワークまたは電子メールを経由して分散またはダウンロードされうる。機械アクセス可能媒体上または機械可読媒体上の命令は、例えば、PC、セル電話、産業用移動体コンピュータ、PDA、電子ヘッドセットまたは本明細書で説明される方法を実行するためのその他の電子デバイスなどのコンピュータシステムをプログラムするために使用されうる。機械可読媒体は、不揮発性メモリ、フロッピー（登録商標）ディスケット、光ディスク、CD-ROM、および光磁気ディスクまたは電子命令を記憶または送信するのに適したその他のタイプの媒体/機械可読媒体を含みうるが、これらに限定されない。さらに、本発明の精神および範囲から逸脱せずに、本発明が説明される適用業務から逸脱が行われうる。例えば、本明細書で説明される例示的な音声認識システムは、装着可能な端末に重点を置いた。しかし、本発明の原理は、その他の音声認識環境にも同じように適用可能である。

105 ユーザ
115 携帯用端末
120 ヘッドセット
125 管理制御卓
130 無線接続
200 システム
202 音声入力デバイス
203 アナログ音声入力
203 アナログ電圧信号
204 信号プロセッサ
205 デジタル化データ流れ
205 フレーム
206 特徴生成器
207 特徴
208 音声認識探索アルゴリズム機能
210 適切なモデルのライブラリ
210 誤り率計算モジュール
210 誤り率モジュール
211 1つまたは複数の語彙項目からなる仮定および関連する信頼係数
212 受入れアルゴリズム
214 タイミング情報および期待される応答
217 モデル適合・制御モジュール
218 決定
219 音声対雑音比
221 適合されたモデル
223 パフォーマンス評価
224 パフォーマンス評価モジュール
225 パフォーマンス報告書生成器
400 携帯用端末
410 ディスプレイ
500 管理制御卓
510 ディスプレイ
600 方法
700 方法
800 方法
900 方法
1000 方法

Claims (48)

1. 音声認識システムのパフォーマンスの改善を助けるための修正措置を開始するための方法であって、
   認識考察を得る段階であって、該認識考察が少なくとも一人のユーザによって発話された音声からなることを特徴とする、認識考察を得る段階と、
   前記システムが2つの発話の第1および第2の仮定を生成し、前記システムが前記第2の仮定を受け入れる場合の発生を識別する段階を使用し、前記2つの仮定が語対語で一致しないが、前記仮定が語対語で大部分一致する場合の発生を識別することにより前記認識考察の誤りを評価する段階と、
   前記認識考察に対応する少なくとも１つの認識係数を決定する段階と、
   （ｉ）評価された誤り及び（ｉｉ）少なくとも１つの認識係数の少なくとも一部に基づいて音声認識システムのパフォーマンスを評価する段階と、
   評価されたパフォーマンスに基づいて等級を割り当てる段階と、
   前記等級をパフォーマンス評価しきい値と比較する段階と、
   等級とパフォーマンス評価しきい値との比較に基づいて修正措置を開始する段階と
   を含む方法。
2. ユーザに前記修正措置を通知する段階をさらに含む、請求項１に記載の方法。
3. 前記修正措置を自動的に開始する段階をさらに含む、請求項１に記載の方法。
4. 請求項１に記載の方法の各段階が、前記システムがユーザによって使用されていると実行される、請求項１に記載の方法。
5. 請求項１に記載の方法の各段階が、前記システムが所定の期間にわたってユーザによって使用された後に、システム活動のログからの情報を使用して実行される、請求項１に記載の方法。
6. 前記修正措置が、１つの語または１組の語をユーザに対して再教育させることを特徴とする、請求項１に記載の方法。
7. 前記修正措置が、１つのモデルまたは１組のモデルをユーザに対して修正させる処置を実行する段階である、請求項１に記載の方法。
8. 前記修正措置が、ユーザにより大きな声で話すようにさせ、またはマイクロフォンを移動させ、またはマイクロフォンを交換させることである、請求項１に記載の方法。
9. 前記認識考察の誤りを評価する段階が、ユーザによって前記システムに入力された近接する発話を評価することを有することを特徴とする、請求項１に記載の方法。
10. 前記認識考察の誤りを評価する段階が、前記１つの語または前記様々な語がある信頼係数範囲内で認識される場合の発生を識別することを有することを特徴とする、請求項１に記載の方法。
11. 前記認識考察の誤りを評価する段階が、前記システムが第１の発話の第１の仮定を拒否し、その後、前記システムが第２の発話の第２の仮定を受け入れる場合の発生を識別することを有することを特徴とし、前記第１および第２の仮定が実質的に語対語で一致することを特徴とする、請求項１に記載の方法。
12. 前記認識考察の誤りを評価する段階が、
    前記システムによって生成された仮定が期待される応答に語対語で一致しないが、前記仮定が前記期待される応答に語対語で大部分一致する場合の発生を識別する段階を有することを特徴とする、請求項１に記載の方法。
13. 前記認識考察の誤りを評価する段階が、
    前記システムにフィードバックを提供する場合の発生を識別する段階を有することを特徴とする、請求項１に記載の方法。
14. 前記少なくとも１つの認識係数が環境係数からなることを特徴とする、請求項１に記載の方法。
15. 前記音声認識システムのパフォーマンスを評価するために用いられる評価された誤りが、
    前記システムが第1の発話を拒否し、その後、ユーザが第2の発話内で前記第1の発話を繰り返し、その後、前記システムが前記第2の発話を受け入れる率を含む誤り率を包含することを特徴とする、請求項１に記載の方法。
16. 前記音声認識システムのパフォーマンスを評価するために用いられる評価された誤りが、
    前記システムが第１の発話に関する前記システムの仮定内で前記１つの語または前記様々な語のうちの１つを置き換え、その後、ユーザが第2の発話内で前記第1の発話を繰り返し、その後、前記システムが前記第2の発話を認識して受け入れる率を含む誤り率を包含することを特徴とする、請求項１に記載の方法。
17. 前記音声認識システムのパフォーマンスを評価するために用いられる評価された誤りが、
    前記システムによって生成された仮定を期待される応答と比較する場合、前記１つの語または前記様々な語のうちの１つがもう１つの語として間違って認識される置換率を含む誤り率を包含することを特徴とする、請求項１に記載の方法。
18. 音声認識システムのパフォーマンスの改善を助けるために修正措置を開始するための装置であって、
    少なくとも一人のユーザによって発話された音声からなる認識考察を得て、
    前記システムが2つの発話の第1および第2の仮定を生成し、前記システムが前記第2の仮定を受け入れる場合の発生を識別し、前記2つの仮定が語対語で一致しないが、前記仮定が語対語に大部分一致する場合の発生を識別することにより前記認識考察の誤りを評価し、
    前記認識考察に対応する少なくとも１つの認識係数を決定し、
    （ｉ）評価された誤り及び（ｉｉ）少なくとも１つの認識係数の少なくとも一部に基づいて音声認識システムのパフォーマンスを評価し、
    評価されたパフォーマンスに基づいて等級を割り当て、
    前記等級をパフォーマンス評価しきい値と比較し、
    等級とパフォーマンス評価しきい値との比較に基づいて修正措置を開始する
    ように適合されたプロセッサを含む装置。
19. 前記プロセッサがユーザに前記修正措置を通知するように適合された、請求項１８に記載の装置。
20. 前記プロセッサは、修正措置を自動的に開始するように適合されている、請求項１８に記載の装置。
21. 前記装置が、音声認識システムがユーザによって使用されていると、修正措置を開始する、請求項１８に記載の装置。
22. 前記装置が、前記パフォーマンスを決定し、前記システムが所定の期間にわたってユーザによって使用された後に、システム活動のログからの情報を使用して前記修正措置を決定する、請求項１８に記載の装置。
23. 前記修正措置が、１つの語または１組の語をユーザに対して再教育させることを特徴とする、請求項１８に記載の装置。
24. 前記修正措置が、１つのモデルまたは１組のモデルをユーザに対して修正させる処置を実行する段階である、請求項１８に記載の装置。
25. 前記修正措置が、ユーザにより大きな声で話すようにさせ、またはマイクロフォンを移動させ、またはマイクロフォンを交換させることである、請求項１８に記載の装置。
26. 前記認識考察の誤りを評価することが、ユーザによって前記システムに入力された近接する発話を評価することからなることを特徴とする請求項１８に記載の装置。
27. 前記評価された誤りが、前記１つの語または前記様々な語がある信頼係数範囲内で認識される場合の発生を含む、請求項１８に記載の装置。
28. 前記評価された誤りが、前記システムが第1の発話の第1の仮定を拒否し、その後、前記システムが第2の発話の第2の仮定を受け入れる場合の発生を含み、前記第1および第2の仮定が実質的に語対語で一致する、請求項１８に記載の装置。
29. 前記評価された誤りが、前記システムによって生成された仮定が期待される応答に語対語で一致しないが、前記仮定が前記期待される応答に語対語で大部分一致する場合の発生を含む、請求項１８に記載の装置。
30. 前記評価された誤りが、ユーザが前記システムにフィードバックを提供する場合の発生を含む、請求項１８に記載の装置。
31. 前記少なくとも１つの認識係数が環境係数からなることを特徴とする、請求項１８に記載の装置。
32. 前記音声認識システムのパフォーマンスを評価するために用いられる前記評価された誤りが、
    前記システムが第1の発話を拒否し、その後、ユーザが第2の発話内で前記第1の発話を繰り返し、その後、前記システムが前記第2の発話を受け入れる率を含む誤り率を包含することを特徴とする、請求項１８に記載の装置。
33. 前記音声認識システムのパフォーマンスを評価するために用いられる前記評価された誤りが、
    前記システムが、第1の発話に関する前記システムの仮定内で前記1つの語または前記様々な語のうちの１つを置き換え、その後、ユーザが第２の発話内で前記第１の発話を繰り返し、その後、前記システムが前記第２の発話を認識して受け入れる率を含む誤り率を包含することを特徴とする、請求項１８に記載の装置。
34. 前記音声認識システムのパフォーマンスを評価するために用いられる前記評価された誤りが、
    前記システムによって生成された仮定を期待される応答と比較する場合、前記1つの語または前記様々な語のうちの１つがもう１つの語と間違って認識される置換率を含む誤り率を包含することを特徴とする請求項１８に記載の装置。
35. 音声認識システムに関するモデルを適合するための方法であって、
    認識考察を得る段階であって、該認識考察が１つの語又は語のグループの発話からなることを特徴とする、認識考察を得る段階と、
    前記システムが2つの発話の第1および第2の仮定を生成し、前記システムが前記第2の仮定を受け入れる場合の発生を識別する段階を使用し、前記2つの仮定が語対語で一致しないが、前記仮定が語対語で大部分一致する場合の発生を識別することにより前記認識考察の誤りを評価し、１つの語又は語のグループに対応する誤り率を更新する段階と、
    前記認識考察に対応する少なくとも１つの認識係数を決定する段階と、
    （ｉ）更新された誤り率及び（ｉｉ）少なくとも１つの認識係数の少なくとも一部に基づいて１つの語又は語のグループに関する音声認識システムのパフォーマンスを評価する段階と、
    評価されたパフォーマンスに基づいて等級を割り当てる段階と、
    前記等級をパフォーマンス評価しきい値と比較する段階と、
    前記比較に基づいて、
    （ｉ）１つの語又は語のグループに対応する１つのモデル又はモデルのグループを適応する段階、または、
    （ｉｉ）１つの語又は語のグループに対応する１つのモデル又はモデルのグループに関する適応を保留する段階と
    を含む方法。
36. １つの語又は語のグループの発話が、類似のシステムの1組のユーザからのものであることを特徴とする、請求項３５に記載の方法。
37. 前記パフォーマンス評価しきい値は、予め決められた値またはユーザによって設定可能な値のうちの少なくとも１つである、請求項３５に記載の方法。
38. 前記パフォーマンス評価しきい値は、音声認識システムに入力される発話の中の語の数に基づく、請求項３５に記載の方法。
39. 前記パフォーマンス評価しきい値は、環境係数に基づく、請求項３５に記載の方法。
40. 前記等級は、数字得点に基づく、請求項３５に記載の方法。
41. 前記等級は、認識率および少なくとも１つの認識係数に基づく、請求項３５に記載の方法。
42. 音声認識システムに対するモデル適合のための装置であって、
    （ｉ）１つの語又は語のグループの発話からなることを特徴とする認識考察を得て、
    （ii）前記システムが2つの発話の第1および第2の仮定を生成し、前記システムが前記第2の仮定を受け入れる場合の発生を識別する段階を使用し、前記2つの仮定が語対語で一致しないが、前記仮定が語対語で大部分一致する場合の発生を識別することにより前記認識考察の誤りを評価し、１つの語又は語のグループに対応する誤り率を更新し、
    （iii）前記認識考察に対応する少なくとも１つの認識係数を決定し、
    （iv）更新された誤り率及び少なくとも１つの認識係数の少なくとも一部に基づいて１つの語又は語のグループに関する音声認識システムのパフォーマンスを評価し、
    （ｖ）評価されたパフォーマンスに基づいて等級を割り当てる
    ように適合されたプロセッサと、
    前記プロセッサと通信に結合されたコントローラと、
    を有し、
    前記コントローラが、割り当てられた等級に基づいて１つの語又は語のグループに対応する１つのモデル又はモデルのグループを適合させるように構成されたことを特徴とする装置。
43. 前記プロセッサは、パフォーマンス評価しきい値に対する等級の比較を行うように適合されていて、前記コントローラは、（ｉ）１つの語又は語のグループに対応する１つのモデル又はモデルのグループを適合させるか、または、（ｉｉ）１つの語又は語のグループに対応する１つのモデル又はモデルのグループに関する適合を留保することによって、前記適合を調整する、請求項４２に記載の装置。
44. １つの語又は語のグループの発話が、類似のシステムの１組のユーザからのものであることを特徴とする、請求項４２に記載の装置。
45. 前記パフォーマンス評価しきい値は、予め決められた値またはユーザによって設定可能な値のうちの少なくとも１つである、請求項４３に記載の装置。
46. 前記パフォーマンス評価しきい値は、音声認識システムに入力される発話の中の語の数に基づく、請求項４３に記載の方法。
47. 前記パフォーマンス評価しきい値は、環境係数に基づく、請求項４３に記載の方法。
48. 前記等級は、数字得点に基づく、請求項４２に記載の方法。

Images