JP5270532B2 - 音声認識システムに対するモデル適合を最適化するための方法およびシステム - Google Patents

Description

本出願は、すべての出願が参照により本明細書に完全に組み込まれている、2005年2月4日に出願した「Method and System for Considering Information About an Expected Response When Performing Speech Recognition」という表題の米国特許出願第11/051,825号の一部継続出願である、2006年1月13日に出願した「Methods and Systems for Considering Information About an Expected Response When Performing Speech Recognition」という表題の米国特許出願第11/331,649号の一部継続出願である、2006年10月6日に出願した「Methods and Systems for Adapting a Model for a Speech Recognition System」という表題の米国特許出願第11/539,456号の一部継続出願である。本出願はまた、すべての出願が参照により本明細書に完全に組み込まれている、2006年4月3日に出願した「Methods and Systems for Optimizing Model Adaptation for a Speech Recognition System」という表題の米国仮出願第60/788,621号、2006年4月3日に出願した「Methods and Systems for Adapting a Model for a Speech Recognition System」という表題の米国仮出願第60/788,606号、および2006年4月3日に出願した「Method and Systems for Assessing and Improving the Performance of a Speech Recognition System」という表題の米国仮出願第60/788,622号の優先権を主張するものでもある。

本発明は音声認識に関し、より詳細には、音声認識システムの精度および効率性を改善することに関する。

音声認識システムの適応業務の例
音声認識システムは、従来の周辺入出力デバイスを経由した通信の好都合な代替案として、ユーザがコンピュータとハンズフリー通信を実行することを可能にすることによって、特に職場でのユーザのために多くの任務を簡素化した。例えば、ユーザはユーザが中央コンピュータシステムから作業割当ておよび作業命令を受信することができるように、ユーザと中央コンピュータシステムの間の通信を可能にする音声認識システムを有する、装着可能な無線端末を身につけることができる。ユーザは、データ入力、質問、作業進歩状況報告書および作業状態報告書などの情報を中央コンピュータシステムに通信することもできる。倉庫または棚卸の環境で、ユーザは(中央コンピュータシステムからの命令を介して、またはディスプレイを用いて視覚的に)「1-2-3」などの複数のデジット数(チェックデジット(check-digit))でラベルづけされた特定の作業領域に導かれ、チェックデジットを話すよう要求されうる。次いで、ユーザは期待される応答「1-2-3」を用いて応答することになる。(「チェックデジット」は任意の語または一続きの語であってよく、デジットに限定されない点に留意されたい。) ユーザと音声認識システムの間の通信のその他のかかる例は、米国特許出願第2003/0154075号で説明され、自動車内または電話システム内など、装着可能な端末または携帯用端末が要求されない環境;薬局、小売店、および事務所など、倉庫でない環境;例えば、クレジットカード番号、銀行口座番号、社会保障番号および個人識別番号を処理する音声制御された情報処理システム;コマンドおよび制御、書取り、データ入力ならびに情報取出し適用業務など、その他の適用業務;ユーザ検証、パスワード検証、数量検証、および繰返し/確認メッセージなどの音声認識システム特徴を含む。本明細書で提示される発明は、それらの適用業務において使用されうる。音声認識システムを使用する際、手動のデータ入力は排除されるか、または少なくとも削減され、ユーザは自らの任務をより速く、より正確かつより生産的に実行することが可能である。

音声認識誤りの例
しかし、例えば、背景雑音またはユーザがシステムに不慣れであることまたはユーザによるシステムの誤用により、音声認識システムによって誤りが発生する可能性がある。システムによって発生する誤りは様々なタイプに分類されうる。測定基準である(システムの考察数に対する音声認識誤りを伴う考察の割合すなわち率と定義することが可能であり、時間および/またはデータのウィンドウ(window)に対してかつユーザごとに決定されうる)誤り率は、多くの場合、音声認識システムによって発生する誤りの数およびタイプを評価するために使用され、したがって、システムのパフォーマンスを評価する際に有用である。考察は、音声認識が測定されうる任意の音声単位と定義することが可能である。考察は、音節、音素、単一の語または(句、発話または文の形でなど)複数の語でありうる。システムの考察数を計算する場合、システムに入力された考察が計算されてよく、またはシステムによって出力された考察が計算されてもよい。当業者は、(システムの考察数に対するシステムの正確な考察の割合すなわち率と定義することが可能であり、時間および/またはデータのウィンドウに対してかつユーザごとに決定されうる)精度率は、システムのパフォーマンスを評価するために使用されうる点を熟知および理解されよう。したがって、(誤り率、精度率、またはその他のタイプの認識率でありうる)認識率は、システムのパフォーマンスを評価する際に有用である。一般に、認識率は、1組の語のうちの1つの語もしくは様々な語に関して、または1人のユーザもしくは複数のユーザに関して決定されうる。システムの誤りの識別は、ユーザの入力音声の基準トランスクリプション(reference transcription)をシステムによって生成された仮定(ユーザの入力音声のシステムによる解釈)と比較することによって行うことが可能である。さらに、当業者に知られているように、この比較は時間整合モードまたはテキスト整合することが可能である。

1つのタイプの音声認識誤りは置換であり、その場合、音声認識システムの仮定は基準トランスクリプションの中にある語を間違った語に置き換える。例えば、ユーザの入力音声「1-2-3」に応答して、システムが「1-5-3」を認識する場合、システムは1つの置換、すなわち、「2」を「5」に置き換えた。

もう1つのタイプの音声認識誤りは削除であり、その場合、音声認識システムの仮定は基準トランスクリプション内にある語を欠く。例えば、ユーザの入力音声「1-2-3」に応答して、システムが「1-3」を認識する場合、システムは1つの語、すなわち「2」を削除した。削除誤りの1つの改変例は不要部分を認識することに起因する削除であり、その場合、システムは実際の語を認識する代わりに不要部分のモデルを誤って認識する。削除誤りのもう1つの改変例は音声の誤検出による削除であり、その場合、システムはシステムに入力された音声が音声を含むことを検出せず、その結果、音声入力の特徴をシステムの探索アルゴリズム内に提出しない。もう1つのタイプの削除は、低い信頼得点のため、システムが正確な観測を拒否する場合に生じる。さらに削除誤りのもう1つの改変例は、拒否された置換による削除であり、その場合、音声認識の探索アルゴリズムは、後にシステムの受入れアルゴリズムによって拒否される置換をもたらす。時間整合された比較の際に発生する、さらにもう1つのタイプの削除は併合である。すなわち、音声認識システムは、話された2つの語を1つと認識する。例えば、ユーザは「4-2」と言い、システムは「40」と出力する。

この適用業務では、不要部分のモデルは、情報を伝えない音声に関するモデルの一般的なクラスを指す。例は、例えば、呼吸音、「うーん」、「えー」、鼻をすする音、風の音、パレットの落下音、車のドアを閉める音のモデル、またはモデルのライブラリ内のモデルに一致しない任意の音声に関する入力音声に一致することが意図されるワイルドカードなど、その他の一般的なモデルを含みうる。

さらに、もう1つのタイプの音声認識誤りは挿入であり、その場合、音声認識システムの仮定は基準トランスクリプション内のいずれの語にも対応しない語(または記号)を含む。挿入誤りは、多くの場合、システムが1個の記号に対応する2個の記号を生成する場合に発生する。これらの記号のうちの1個は、基準トランスクリプションに対応する場合があり、正確な認識としてタグづけされうる。記号が基準トランスクリプションに対応しない場合、置換誤りとしてタグづけされうる。いずれの場合も、その他の記号は挿入誤りとしてタグづけされうる。挿入誤りはまた、雑音が誤って音声として認識された場合に一般的である。

基準筆記録(reference transcript)内で実際に話された語に対するシステムの仮定の比較によって実際の誤りが発生したことを決定するのと対照的に、誤りは、システム動作およびユーザ動作に基づいて発生したと推定または判断することが可能である。本出願は認識率を決定するための方法を説明し、認識率はシステム動作およびユーザ動作の評価後に発生したと判断される推定誤りまたは正確な推定考察に基づく推定である。したがって、このように、システムによって行われた様々な誤りまたはシステムの正確な観測を検出することによって、音声認識システムのパフォーマンスレベルを推定または評価することができる。音声認識誤りを検出する1つの方法は、ユーザが音声認識システムに提供するフィードバックに基づく。フィードバックは、音声認識システムによって要求されうる。例えば、システムは、ユーザに、例えば「1-5-3と言いましたか?」と問い合わせることによって、システムの仮定を確認するようユーザに要求することができ、ユーザが「いいえ」と答えた場合、システムはシステムが「1-5-3」を認識する誤りを犯したことを表示する。もう1つのタイプのフィードバックは、音声認識によって検出されたユーザの感情に基づく。例えば、システムが、ユーザがため息をついていることまたは立腹を示す語を口にしたことをユーザの入力音声内に認識する場合、システムは、誤りが発生したことを表示できる。さらにもう1つのタイプのフィードバックは、ユーザが「バックアップ」もしくは「消去」と話すなど、システムに対するユーザの補正コマンド、またはユーザが何の語が話されたかを識別すること(これはシステムによって表示される、考えられる語のリストからでありうる)に基づく。補正がシステムに命令される場合、誤りが発生した可能性がある。

音声認識システムのモデル適応
音声認識システムは、より多くの音声サンプルが音声認識システムによって受信および処理されると、トレーニングアルゴリズムもしくはその他の学習アルゴリズムまたは適合アルゴリズムを介してその音声モデルを改善することによって、経時的にそのパフォーマンスを改善することが可能である。同時に、システムが望まれない方法で適合し、それにより、結果として、システムが適合に先立って行ったのよりも不十分に実行するようになること、またはシステムが経時的に劣化するようになることを防ぐことが望ましい。音声モデルの適合に起因する、音声認識システムによる追加の処理を回避することは、電池動力を備えた移動体コンピュータ、無線ネットワーク、およびモデルを記憶するためのサーバを用いる適用業務において特に有用である。モデルを適合させることは、適合されたモデルを作り出すためにかなりの計算リソースと、新しいモデルをサーバに送信するためにかなりの無線伝送エネルギーとを使用する可能性がある。本明細書で開示される本発明の例示的な実施形態は、計算リソース、記憶リソースおよび/または電力リソースの非効率な使用を回避して、十分に実行するモデルからかけ離れた適合を回避するために、音声認識システムの適合を制御することが可能である。本発明の例示的な実施形態は、先行モデルを適合させるためまたは新しいモデルを作り出すために、認識率の決定または推定および認識率の決定または推定の精度に基づくトリガを使用して適合を制御する。

この明細書内に組み込まれかつこの明細書の一部である添付の図面は、音声認識システムの構成要素および本発明の実施形態を例示し、下に提示される実施形態の詳細な説明と共に、本発明の原理を説明するのに役立つ。
米国特許出願第11/051,825号 米国特許出願第11/331,649号 米国特許出願第11/539,456号 米国仮出願第60/788,621号 米国仮出願第60/788,606号 米国仮出願第60/788,622号 米国特許出願第2003/0154075号 米国特許出願第10/671,142号 米国特許第4,882,757号

音声認識システムは、音声認識システムによって使用される音声モデルの順応性のある学習またはトレーニングによって改善することが可能である。本明細書で説明される例示的な実施形態は、正確な認識率を決定または推定するための改善された方法が音声認識システムによる適合を改善するために利用される状態に関係する。この説明において、「一実施形態」または「実施形態」の参照は、参照されている特徴が本発明の少なくとも1つの実施形態の中に含まれることを意味する点に留意されたい。さらに、この説明における「一実施形態」の別々の参照は同じ実施形態を指すとは限らないが、そのように指定さない限り、かつ当業者に容易に明らかになる場合を除いて、かかる実施形態は相互に排他的でもない。したがって、本発明は、本明細書で説明される実施形態の任意の様々な組合せおよび/または統合を含みうる。

音声認識システムのリソースの効率的な使用のための一手法は、1組の語のうちの1つの語の事例の認識または様々な語の事例の認識に対応する認識率を決定する段階と、所望される信頼レベルに対応する認識率の精度範囲を決定する段階とを含む。加えて、手法は、モデル適合を基づかせる認識率のしきい値と所望される信頼レベルとを使用する段階を含むことが可能であり、精度範囲内の少なくとも1つの値と認識率のしきい値の比較に基づいて、1つの語に1つのモデルが適合されるかまたは様々な語に様々なモデルが適合される。手法は、以下のすべてまたはサブセットを含みうる装置として実施することが可能である。すなわち、1組の語のうちの1つの語の事例の認識または様々な語の事例の認識に対応する認識率を決定し、所望される信頼レベルに対応する認識率の精度範囲を決定するように適合されたプロセッサと、精度範囲内の少なくとも1つの値と認識率のしきい値の比較に基づいて、1つの語に1つのモデルをまたは様々な語に様々なモデルを適合させることによって、モデル適合を基づかせる認識率のしきい値と所望される信頼レベルとを使用するように適合されたコントローラとである。

音声認識システムのリソースの効率的な使用のためのもう1つの手法は、モデルの適合を基づかせる認識率のしきい値と認識率の所望される信頼レベルとを使用する段階を含む。手法は、認識率を決定する段階と、観察数に関係する、所望される信頼レベルに対応する認識率の精度範囲を決定する段階とをさらに含みうる。さらに、手法は、モデル適合の決定を行う際に認識率と好都合(expediency)のバランスを取る、認識率のしきい値と、認識率と考察数の間の関係を使用する段階を含みうる。手法は、モデル適合に関する決定を、関係を使用する段階に基づかせる段階を含みうる。手法は、以下のすべてまたはサブセットを含みうる装置として実施することが可能である。すなわち、モデルの適合を基づかせる認識率のしきい値と認識率の所望される信頼レベルとを使用するように適合されたセレクタ(selector)と、認識率と、考察数に関係する、所望される信頼レベルに対応する認識率の精度範囲とを決定するように適合されたプロセッサと、モデル適合の決定を、モデル適合の決定を行う際に認識率と好都合のバランスを取る、認識率のしきい値と、認識率と考察数の間の関係を使用する段階に基づかせるように適合されたコントローラである。

しかももう1つの手法では、音声認識システムの認識率の決定を最適化するための方法は、認識率の所望される精度範囲をもたらすことになる考察数を決定する段階を含む。手法は、決定の所望される精度範囲をもたらすことになる考察数を決定するように適合されたプロセッサを含みうる。

音声認識システムのリソースの効率的な使用のさらにもう1つの手法は、1組の語のうちの1つの語の事例の認識または様々な語の事例の認識に対応する認識率を決定する段階と、認識率の精度範囲を決定する段階とを含む。手法は、精度範囲内の少なくとも1つの値と認識率のしきい値の比較に基づいて、1つの語に対する1つのモデルの適合または様々な語に対する様々なモデルの適合を調整する段階をさらに含みうる。手法は以下のすべてまたはサブセットを含みうる装置として実施することが可能である。すなわち、1組の語のうちの1つの語の事例の認識または様々な語の事例の認識に対応する認識率と、認識率の精度範囲とを決定するように適合されたプロセッサと、精度範囲内の少なくとも1つの値と認識率のしきい値の比較に基づいて、1つの語に対する1つのモデルの適合または様々な語に対する様々なモデルの適合を調整するように適合されたコントローラとである。

音声認識システムのリソースの効率的な使用のためのもう1つの手法は、少なくとも一部、音声認識モデルの適合または変更を基づかせる認識率のしきい値を選択する段階と、1組の語のうちの1つの語の事例の認識または様々な語の事例の認識に対応する認識率を決定する段階と、認識率の精度範囲を決定する段階と、決定された精度範囲の限度内の認識率と認識率のしきい値との比較に基づいて、1つの語に1つのモデルをもしくは様々な語に様々なモデルを適合または変更する段階とを含む。手法は、以下のすべてまたはサブセットを含みうる装置として実施することが可能である。すなわち、少なくとも一部、音声認識モデルの適合または変更を基づかせる認識率のしきい値を選択するように適合されたセレクタと、1組の語のうちの1つの語の事例の認識または様々な語の事例の認識に対応する認識率と認識率の精度範囲とを決定するように適合されたプロセッサと、決定された精度範囲の限度内の認識率と認識率のしきい値の比較に基づいて、1つの語に対する1つのモデルもしくは様々な語に対する様々なモデルの適合または変更を制御するように適合されたコントローラとである。

音声認識システムのための優先(expedited)モデル適合のための手法は、少なくとも一部、音声認識モデルの適合または変更を基づかせる認識率のしきい値を選択する段階と、増大する数の考察が、結果として、認識率を決定する際により大きな精度をもたらすプロセスを使用して、1組の語のうちの1つの語の事例の認識または様々な語の事例の認識に対応する認識率を決定する段階と、認識率のしきい値からの決定された認識率の隔たりに応じて、1つの語に対して1つのモデルをもしくは様々な語に対して様々なモデルをいつ適合または変更するかを決定する段階とを含む。手法は以下のすべてまたはサブセットを含みうる装置として実施することが可能である。すなわち、少なくとも一部、音声認識モデルの適合または変更を基づかせる認識率のしきい値を選択するように適合されたセレクタと、増大する数の考察が、結果として、認識率を決定する際により大きな精度をもたらすプロセスを使用して、1組の語のうちの1つの語の事例の認識または様々な語の事例の認識に対応する認識率を決定するように適合されたプロセッサと、認識率のしきい値からの決定された認識率の隔たりに応じて、1つの語に1つのモデルをもしくは様々な語に様々なモデルをいつ適合または変更するかを決定するように適合されたコントローラとである。これら2つの手法のいずれにおいても、認識率のしきい値から隔たった決定された認識率に基づくことは、認識率のしきい値に近い決定された認識率に基づくよりも、モデルの適合または変更を行うためにより低い精度、したがってより少ない考察が要求される可能性がある。

音声認識システムの例示的な実施形態
図1Aは、本発明の例示的な実施形態による、携帯用端末10およびヘッドセット16を使用するユーザの透視図を例示する。携帯用端末10は、示されるようにベルト14上など、ユーザ11によって着用されうる装着可能なデバイスでありうる。本明細書における用語「携帯用端末」の使用は限定的ではなく、特定の任務を実行するために使用される任意のコンピュータ、デバイス、機械、またはシステムを含みうる。携帯用端末10は、携帯用端末およびその他の関連する処理回路の動作を制御するためのプロセッサを含む、処理回路を含みうる。(処理回路は、本明細書で開示される1つまたは複数の例示的な実施形態の音声認識方法を実施することができる。)ヘッドセット16は、コード18によってまたは無線接続(図1Aで図示せず)によって携帯用端末に結合されることが可能であり、ヘッドセットはユーザ11の頭上に着用される。(もう1つの例示的な実施形態では、音声認識システムはヘッドセット16内に配置され、携帯用端末10を除去する。)ユーザは、ヘッドセット16内のマイクロフォンを介して口語で話すことができ、音声情報は携帯用端末10内の音声認識システムによって処理される。参照により本明細書に組み込まれている、「Apparatus and Method for Detecting User Speech」という表題の米国特許出願第10/671,142号は、かかるシステムを実施するためのさらなる詳細を提供する。本発明の例示的な実施形態に関する適用業務は、図1Aに示される倉庫環境および携帯用端末10に厳密に限定されない。例示的な実施形態が実施されうるその他の適用業務および環境は、本出願の背景技術の項で説明される。

図1Bは、本発明の例示的な実施形態による、音声認識システムの概略図を例示する。当業者は、本発明の特徴を含めて、音声認識システムの様々な機能ブロックは、様々な異なる技術を使用して実施することが可能である点を認識されよう。本発明は、様々な異なるハードウェア構成内およびソフトウェア構成内に実施することが可能である。本発明に関する1つの特定の適用業務は、音声指令される作業(voice-directed work)のために使用される携帯用端末内または装着可能な端末内である。しかし、その他の実装形態も同様に可能であり、本発明はかかる音声指令される作業の適用業務に限定されない。さらに、本発明の実施形態の様々な特徴を実施するために、音声認識ソフトウェアは修正されることが可能である。あるいは、本発明の態様に従って音声認識システムを修正するために別々のモジュールを利用することが可能である。

図1Bを参照すると、システム100では、システムユーザからなど、音声信号は様々な通常の方法で音声入力デバイス102によって捕捉されうる。通常、マイクロフォンまたはその他の電気音響デバイスは、ユーザからの音声入力を感知して、それを、次いで信号プロセッサ104に転送されるアナログ電圧信号103に変換する。従来知られているように、信号プロセッサ104は、アナログ音声入力103を解析のために別々の単位に分離されうるデジタル化データ流れ105に変換する、必要なアナログデジタル変換器、フィルタ、および等化回路および/またはソフトウェアを含む。あるいは、デバイス102からのこの音声データはデータ記憶デバイスから取り出されることが可能である。本明細書で議論されるように、システム100は適切なハードウェアおよび/またはソフトウェアによって実施されうる。したがって、図1Bに示されるブロックは、別々の回路を表示すること、またはその他の点で限定的であることが意味されず、むしろシステムの機能的な機構および構成要素を示す。

特に、信号プロセッサ104は、作り出されたデジタルデータ流れを、そのそれぞれが特徴生成器106によって処理され、それにより、特徴(ベクトル、行列、またはそうでない場合、フレームの音声特徴を表す組織された1組の数)107を作成する一続きのタイムスライス、すなわちフレーム105に分割する。例示的な音声認識システムのさらなる説明は、その開示が参照により本明細書に完全に組み込まれている、「Speech Recognition System」という表題の米国特許第4,882,757号において提供される。この参照された特許は、音声を表すための線形予測符号化(Linear Predictive Coding)(LPC)係数を開示するが、その他の機能的に等しい方法も本発明の範囲内で企画される。

システム100内の適切な回路および/またはソフトウェアによって実施される音声認識探索アルゴリズム機能108は、入力デバイス102によって捕捉された音声入力に何の仮定を割り当てるかを決定することを試みる際に特徴107を解析する。当技術分野で知られているように、1つの認識アルゴリズムでは、認識探索108は音声入力102を認識するために、適切なモデルのライブラリ110から122を介して提供される確率モデルに依存する。ライブラリ110内のモデルのそれぞれは、1人のユーザに対してカスタマイズされてよく、または1組のユーザに対して一般的であってもよい。

動作中、(ビタビアルゴリズムを有する隠れマルコフモデル(Hidden Markov Models)またはテンプレートマッチングダイナミックタイムワーピング(template matching dynamic time warping)(DTW)もしくはニューラルネットワーク(neural networks)など、その他のモデル形成技術を使用して実施されうる)探索アルゴリズム108は、本質的に、デバイス102からの音声入力に最も一致する1つまたは複数の語を決定するために、生成器106内に生成された特徴107を音声の基準表現、すなわちライブラリ110内の音声モデルと比較する。この認識プロセスの一部は、探索アルゴリズム108で使用される一続きの特徴107がライブラリ110内の最も近いモデルまたは最も一致するモデルとどの程度密接に一致するかを表示するために音声に関する信頼係数を割り当てることである。したがって、1つまたは複数の語彙項目からなる仮定および関連する信頼係数111は、しきい値の調整116および1つまたは複数の期待される応答114を入力として受け取ることも可能な受入れアルゴリズム112に関する。信頼係数が所定の受入れしきい値より高い場合、受入れアルゴリズム112は、認識された音声として仮定を受け入れる決定118を行う。しかし、信頼係数が受入れアルゴリズムによって利用される受入れしきい値より高くない場合、受入れアルゴリズム112は、認識された音声を無視または拒否する決定118を行う。次いで、システムは入力を無視することが可能であり、または音声を繰り返すようにユーザにプロンプトを表示すること(prompt)が可能である。この場合、ユーザは入力デバイス102に音声を繰り返すことができる。仮定および信頼係数111と、期待される応答114と、受入れアルゴリズムの決定118と、特徴107とは、モデル適合・制御モジュール117内に入力されることも可能である。(ハードウェアもしくはソフトウェアのコントローラまたは制御機構内で実施されうる)モデル適合・制御モジュール117は、モデルのライブラリ110の適合を制御する。

例示的な実施形態のモデル適合・制御モジュール
図2は、図1Bのモデル適合・制御モジュール117の例示的な実施形態実施である、モデル適合・制御モジュール200を例示する。(プロセッサ内で実施されうる)認識率モジュール210は、音声認識システムの認識率を決定する。認識率は、システムの考察数に対して音声認識誤りを有する考察の割合すなわち率と定義されうる誤り率であってよく、誤り率は時間(例えば、所定の長さの時間)および/またはデータ(例えば、システムに入力された所定の数の発話)のウィンドウに対して決定されうる。考察は音声認識が測定されうる任意の音声単位と定義することができる。考察は、音節、音素、単一の語または(句、発話または文の形でなど)複数の語でありうる。システムの考察数を計算する場合、システムに入力された考察が計算されてよく、またはシステムによって出力された考察が計算されてもよい。例えば、認識率は語の誤り率、システムに入力された語数に対する音声認識誤りの割合すなわち率でありうる。認識率はまた、システムの考察数に対するシステムによる正確な考察(正確な認識)の割合すなわち率と定義することが可能であり、精度率は時間(例えば、所定の長さの時間)および/またはデータ(例えば、システムに入力された所定の数の発話)のウィンドウに対して決定されうる。(発話は「1」または「1-2-3」など、少なくとも一語の口語句である。)さらに、認識率は以下の方法で決定または推定することが可能である。すなわち、ユーザごとに; ユーザの数に対して; 語ごと; 1組の語に対して; 発話、句または文など、連続して話された語のグループごとである。さらに、モジュール210によって決定された認識率は、本出願で後に議論されるように、システムの仮定と基準筆記録(reference transcript)との比較から決定される実際の誤りと、正確な考察と考察とに基づいてよく、またはシステム動作およびユーザ動作の評価後に発生したと判断されるこれらの推定に基づいてもよい。したがって、認識率の決定は、認識率の推定でもありうる。

認識率モジュール210は、(事前に選択されることが可能であり、ハードウェア内またはソフトウェア内で実施されうる)所望される信頼レベルを満たす認識率の精度範囲も決定する。入力205は、特定の適用業務に使用される認識率の決定のために必要とされるそれらの入力である。この例示的な実施形態では、入力205は、その関連する情報を有する(図1Bの111などの)仮定および信頼係数ならびに(図1Bの114などの)期待される応答である。認識率モジュール210は、認識率215および認識率の精度範囲216を適合制御モジュール225に出力する。

適合制御モジュール225は、モデル適合モジュール235によるモデルの適合を制御または調整する。入力220は、特定の適用業務に関して所望されるモデル適合の特定の制御のために必要とされるそれらの入力である。この例示的な実施形態では、入力220は仮定および(図1Bの107などの)特徴である。適合制御モジュール225は命令230をモデル適合モジュール235に出力する。この例示的な実施形態では、命令230は、(適合させる命令または適合を保留する命令を含めて)あるモデルまたは複数のモデルをいつ適合させるかの命令、(発話のトランスクリプションおよび発話に対応する、認識システムによって考察された特徴を含めて)モデルを適合させるためにどの発話を使用するかの命令を含みうる。制御命令230を提供することによって、適合制御モジュール225は、適合がいつ発生すべきかを制御して、適合が命令される前に満たされるべき基準を決定することができる。さらに、適合を続けるとすると、適合モジュールまたは適合制御モジュールは、既存のモデルを新しい特徴だけを用いて作り出された新しいモデルに置き換えるかどうか、または既存のモデルは新しい特徴および既存のモデルの既存の特徴の両方からの情報を使用して正に適合されるかを決定することができる。モデル適合モジュール235は、適合されたモデル240をモデルの(図1Bの110などの)ライブラリに出力する。

例示的な実施形態では、(図2の225などの)適合制御モジュールは、(例えば、図2のモデル適合モジュール235によって)モデルの(適合させることまたは適合を保留することを含めて)適合を制御するために、(図2の215などの)認識率と(図2の216などの)認識率の精度範囲とを使用する。適合を制御することによって、音声認識システムは、認識精度が受入れ可能なレベルにある場合、適合が認識精度を悪化させることを防ぎ、計算リソース、記憶リソースおよび電力リソースの非効率的な使用を回避する。さらに、認識率の精度範囲の使用は、好都合なモデル適合の決定が行われることを可能にしうる。図3はそのような例示的な実施形態である。

図3〜7の流れ図で例示される技術は、順次に、平行して、または説明された順序以外の順序で実行することが可能である。説明された技術のすべてが実行されることは要求されず、追加の技術を加えることが可能であり、例示された技術のいくつかはその他の技術に置き換えることが可能である点を理解されたい。

モデル適合を制御するための例示的な実施形態の方法
図3は、モデル適合を制御または調整するための方法300を例示する流れ図である。この方法は、図1Bのモデル適合・制御モジュール117など、音声認識システムの構成要素によって実行される。305で、入力音声は、例えば、ユーザまたはユーザのセッションからの記録から音声認識システムによって受信される。310で、システムに入力された語に関して(図1Bの信号プロセッサ104、特徴生成器106および音声認識探索アルゴリズム108によって実行される入力音声の処理など)初期の音声処理が実行される。315で、1つの語の事例の認識もしくは様々な語の事例の認識に対応する認識率が決定または推定される。例えば、認識率は、語「1」に関する認識誤り、語「1」、「2」および「3」に関する認識誤り、すべてのデジットに関する認識誤り、またはシステムの語彙内のすべての語に関する認識誤りに基づいてよい。認識率は、システムに事前に入力された事例および現在入力された事例に基づいて更新された認識率でありうる。320で、認識率の精度範囲は所望される信頼レベルに関して決定される。325で、認識率と認識率の精度範囲とに基づいて、(図1Bのモデル適合・制御モジュール(model adaptation control module)117の処理によってなど)1つの語に1つのモデルを適合させるかまたは様々な語に様々なモデルを適合させるかが決定される。例えば、語「1」に対する認識率に基づいて語「1」にモデルを適合させることが決定されうる。もう1つの例では、デジットのすべてに対して組み合わされた認識率に基づいて、デジットであるすべての語を適合させることが決定されうる。(1つまたは複数の)モデルが適合されるべきでないと決定された場合、次は305である。そうでない場合、次は、(1つまたは複数の)モデルが適合される330である。330が実行された後、制御は305に戻る。330でモデル適合は、制御を速やかに305に戻して、背景で実行される。すなわち、音声認識システムは、モデルが適合されている間に、引き続き音声を受信および処理することが可能である。さらに、認識率と認識率の精度範囲とは、所定の数の考察が発生した後に更新されうる。所定の数の考察は1つまたは複数でありうる。

認識率を決定するための例示的な実施形態の方法
図3の315の例示的な実施形態、すなわち、認識率の決定は以下の通りである。決定は、図1Bのモデル適合・制御モジュール117または図2の認識率決定モジュール210など、音声認識システムの構成要素によって実行されうる。例示的な実施形態では、認識率は、方程式

を使用して決定される誤り率であり、
#errorは音声認識誤りを伴う考察の数であり、
nはシステムの考察数であり、
RATEerrorは誤り率の値である。
もう1つの例示的な実施形態では、認識率は、方程式

を使用して決定される精度率であり、
#CorrectObservationsはシステムの正確な考察数であり、
nはシステムの考察数であり、
RATEaccuracyは精度率の値である。
その他の例示的な実施形態では、認識率は以下の方法で決定または推定されうる。すなわち、時間のウィンドウに対して、システムによって考察されたデータのウィンドウに対して、ユーザごとに、ユーザ数に対して、語ごとに、1組の語に対してである。さらに、認識率は語の認識率でなくてよく、音節の認識率、音素の認識率、句の認識率、発話の認識率、および文の認識率など、別のタイプの認識率であってよい。したがって、nはこれらのパラメータのうちの任意の1つまたは複数に鑑みて計算されうる。しかし、本発明の様々な例示的な実施形態のこの議論では、nがシステムに入力された語数である、語の認識率が使用されることになる。

認識率の精度範囲を決定するための例示的な実施形態の方法
図3の320の例示的な実施形態、すなわち認識率の精度範囲の決定は以下の通りである。決定は、図1Bのモデル適合・制御モジュール117または図2の認識率モジュール210など、音声認識システムの構成要素によって実行されうる。認識率の精度は、システムによって考察される語数に基づく。さらに、精度は認識率の特定の信頼レベルに対応する値の範囲の形である。

例示的な実施形態の認識率の両側(two-sided)精度範囲
詳細には、認識率の両側精度範囲は(多数の考察、すなわち、nが100を越えると仮定すると)以下のように決定されうる。

zは所望される信頼レベルに基づく値であり、
nはシステムの考察数であり、
RATEは認識率の値であり、
RATEaccuracyは認識率の両側精度範囲である。
いくつかの信頼レベルに関する例示的なz値は
95%の信頼レベルに関して、z=1.96であり、
90%の信頼レベルに関して、z=1.645であり、
80%の信頼レベルに関して、z=1.282である。
方程式(2)によって生成された2つの値は、いくつかの信頼レベルに関する、認識率の両側精度範囲のローエンド(low-end)値およびハイエンド(high-end)値である。(nが100を超えない場合、その他の方程式が使用されうる。)当業者は、信頼レベルに基づいて範囲を提供できるその他の方程式が存在し、方程式(2)は精度範囲を提供するための例示的な実施形態であり、本発明はそれを使用することだけに限定されない点を熟知および理解されよう。

方程式(2)の使用を例示するために、(95%の信頼レベルに関して)RATE=2%、n=600語、z=1.96である場合、認識率の両側精度範囲は0.9%から3.1%である。すなわち、この例では、認識率が0.9%から3.1%の範囲内である95%の信頼レベルが存在する。

例示的な実施形態の認識率の片側(one-sided)精度範囲
認識率の片側精度範囲は(nが100を超えると仮定すると)以下のように決定されうる。

zは所望される信頼レベルに基づく値であり、
nはシステムの考察数であり、
RATEは認識率であり、
RATEaccuracyは認識率の片側精度範囲のハイエンド値である。
いくつかの信頼レベルに関する例示的なz値は、
95%の信頼レベルに関して、z=1.645であり、
90%の信頼レベルに関して、z=1.282であり、
80%の信頼レベルに関して、z=0.482である。
方程式(3)によって生成された値は、認識率の片側精度範囲のハイエンド値である。あるいは、正の符号「+」の代わりに、負の符号「-」を有するよう、方程式(3)を修正することによって認識率の片側精度範囲のローエンド値を生成することが可能である。すなわち、

方程式(3)の使用を例示するために、(95%の信頼レベルに関して)RATE=2%、n=600語、z=1.645である場合、認識率の片側精度範囲のハイエンド値は2.9%である。すなわち、この例では、認識率が2.9%未満の値である95%の信頼レベルが存在する。方程式(4)の使用を例示するために、(95%の信頼レベルに関して)RATE=2%、n=600語、z=1.645である場合、認識率の片側精度範囲のローエンド値は1.1%である。すなわち、この例では、認識率が1.1%より高い値である95%の信頼レベルが存在する。

認識率と認識率の精度範囲とに基づいて適合させるかどうかを決定するための例示的な実施形態の方法
図3の325の例示的な実施形態、すなわち、認識率の精度に基づいて、ある語に関連するあるモデルを適合させるかどうかの決定は以下の通りである。決定は、図1Bのモデル適合・制御モジュール117または図2の適合制御モジュール225など、音声認識システムの構成要素によって実行されうる。この決定を行うために、認識率の精度範囲内の値は、認識率のしきい値と比較され、この比較の結果はモデルを適合させるか(適合させるかまたは適合させることを保留するか)の決定325に影響を及ぼす。(認識率のしきい値は、例えば、ユーザまたはハードウェア内もしくはソフトウェア内で実施されるセレクタによって行われる比較の前に選択することが可能である。)例えば、認識率の両側精度範囲を使用する(かつ認識率が誤り率である)例示的な実施形態では、範囲のローエンド値が認識率のしきい値以上である場合、決定325はモデルを適合させることである。認識率の両側精度範囲を使用する(かつ認識率が精度率である)実施形態では、範囲のローエンド値が認識率のしきい値以下である場合、決定325はモデルを適合させることである。表1および2は、(両側精度範囲および片側精度範囲の)ローエンド値の認識率のしきい値との比較に基づく適合の決定を例示する。

表1では、例示的な誤り率が認識率に対して使用される。これらの例では、誤り率の精度範囲内のローエンド値がモデル適合を実行するかどうかを決定するために使用される。この値が認識率のしきい値未満である場合、音声認識システムは十分に実行している可能性があり、したがって、適合の決定は、適合は実行されるべきではないというものである。値が認識率のしきい値以上である場合、システムは十分に実行しておらず、適合の決定は適合が実行されるべきであるというものである。

表2では、例示的な精度率が認識率に対して使用される。これらの例では、精度率の精度範囲内のハイエンド値がモデル適合を実行するかどうかを決定する。この値が認識率のしきい値より高い場合、音声認識システムは十分に実行している可能性があり、したがって、適合の決定は、適合は実行されるべきではないというものである。値が認識率のしきい値以下である場合、システムは十分実行しておらず、適合の決定は適合が実施されるべきであるというものである。

誤り率の精度範囲のローエンド値以外の値は、適合されるべきかどうかを決定するために、認識率のしきい値との比較の際に使用されうる。例えば、誤り率の精度範囲の下半分の値は、認識率のしきい値との比較の際に使用されうる。もう1つの例では、精度範囲のハイエンド値すなわち精度範囲の上半分の値が認識率のしきい値との比較の際に使用されうる。

同様に、精度率の精度範囲のハイエンド値以外の値は、適合させるかどうかを決定するために、認識率のしきい値との比較の際に使用されうる。

音声認識システムの考察数と、認識率の精度と認識率のしきい値の間の関係
発明者は、音声認識システムの考察数と認識率の精度の間に関係が存在することを認識した。考察数が増大すると、認識率の精度範囲は減少し、それにより、認識率のより確実な決定をもたらす。(すなわち、精度範囲は考察数に反比例する。)上の方程式(1)〜(4)はこの関係を例示する。また、認識率の精度に関して所望される信頼レベルが高いほど、所望される信頼レベルを達成するために要求される考察数は同じ精度範囲に関してより多くなる。例えば、認識率の所望される信頼レベルが95%に選択された場合、所望される信頼レベルが同じ精度範囲に関して85%に選択された場合よりも、95%の所望される信頼レベルを達成するためにより多い考察が必要とされる。この関係を使用して、所与の精度範囲に関する信頼レベルを達成するために要求される考察数に対して選択された所望される信頼レベルのバランスを保つことによってモデル適合は最適化されうる。

発明者が認識したもう1つの関係は、音声認識システムの考察数と、認識率と認識率のしきい値の間の関係である。詳細には、認識率が認識率のしきい値からさらに離れるほど、適合されるかどうかの決定の際により少ない考察が信頼性のあるものとなる必要がある。表3は、認識率用に誤り率を使用して、この関係を例示する。示されたすべての例では、誤り率の精度範囲のローエンド値は誤り率のしきい値以上であるため、適合される決定が存在する。しかし、この決定時に(95%の信頼レベルで)適合されるために届くことが要求される考察数、すなわちnは、誤り率と誤り率のしきい値の差が増大すると劇的に減少する。したがって、誤り率と誤り率のしきい値の差が増大すると、決定された誤り率と誤り率のしきい値の差が増大することにより、決定時に、適合させるためにより少ない考察が届く必要があるため、適合させる決定はより一層の好都合で行われる。

誤り率の例示的な実施形態
本出願の全体にわたって、音声認識システムによって発生する、考えられる(または潜在的なもしくは疑われる)誤りの発生および誤り率を決定または推定するための(図2の認識率モジュール210および図3の315によって実行されうる)様々な例示的な実施形態が存在する。誤り率は、図2の適合制御モジュール225および図3の325によって適合を制御または調整するために使用されうる。誤り率は、本出願の背景技術の項で議論されたそれらの音声認識誤りおよび下で議論されるそれらの音声認識誤りなど、本出願において議論される様々な音声認識誤りの任意の1つまたは組合せに基づいてよい。例えば、誤り率はシステムに入力された語に対する挿入誤りの率でありうる。または例えば、誤り率は、システムに入力された語に対する挿入誤り率、置換誤り率および削除誤り率でありうる。または例えば、誤り率は、下で議論される、低い信頼率と置換率の組合せでありうる。下で議論される例示的な実施形態の誤り率は、システム動作、期待される応答および/またはユーザ動作の評価に基づいて発生したと判定される推定誤りに基づく。したがって、これらの推定誤り率は、システムに入力された語の基準筆記録と、システムに入力された語に対応する、システムの仮定の比較とを要求しない利点を提供する。

低い信頼率
本発明の例示的な実施形態では、低い信頼率と呼ばれる、音声認識システムによって発生する考えられる誤りの発生の計数は、低い信頼率の推定または誤り率の推定を決定するために使用されうる。図4は、図2の認識率モジュール210など、音声認識システムの構成要素によって実行されうる、誤りを識別するための方法400を例示する流れ図である。低い信頼率は、語が、システムがその語を正確に認識した低い信頼に対応する一定の範囲内の信頼係数を用いて認識される率である。すなわち、低い信頼率は、語が、音声認識システムが使用される適用業務に応じて、比較的低い信頼係数を用いて音声認識システムによって認識された頻度である。低い信頼率は、必ずしも音声認識システムによる誤りを測定しないが、低い信頼率(またはその値の一部)は、誤り率(または誤り率の推定)が使用される場合、誤り率の推定に加えて、または誤り率の推定の代わりに使用されうる点に留意されたい。

図4では、405で、仮定された語に関する信頼係数が決定される。(この信頼係数は、図1Bの探索アルゴリズム108によって生成され、図2の認識率モジュール210に供給されうる。)410で、信頼係数はシステムが、システムが使用される適用業務に関して語を正確に認識した低い信頼に対応する値の範囲と比較される。410で、信頼係数が低い信頼範囲外であることが決定された場合、制御は405に戻る。410で、信頼係数が低い信頼範囲内であることが決定された場合、誤り計数は415で増分される。415の後で、制御は405に戻る。415で誤り計数は、次いで、誤り率を生成するためにその他の誤りタイプの計数と組み合わされることが可能である。

低い信頼率を使用する例示的な実施形態は、語が、誤り率の推定に関する誤りを計算する際に、期待される応答に一致する、システムによって生成された仮定からのものであるかどうかも考慮する。(米国特許出願第11/051,825号、および本出願の背景技術の項は、ユーザからの期待される応答が音声認識システムによって処理されるシナリオを説明する。期待される応答は、システムが使用される適用業務の結果として、システムがユーザから受信することを期待する応答と定義されうる。)参照される特許出願における例示的な実施形態では、システムの一致アルゴリズムは、通常、システムの仮定に関する信頼係数が受入れしきい値を超える場合だけ、その仮定が受け入れられることを要求する。しかし、システムの最も可能性のある仮定が期待される応答に一致する場合、仮定がシステムによって受け入れられることが可能であるように、仮定はより有利に処理される。比較的低い信頼係数にもかかわらず有利に処理される理由は、期待される応答に一致する仮定は、通常、正確な認識の高い確率を表示するからである。

誤り率が低い信頼率である本発明の例示的な実施形態を再び参照すると、期待される応答に一致し、かつシステムが使用される適用業務に関して比較的低い信頼係数を有する語は、誤り率の推定に関する誤りとして計算される。(参照された米国特許出願第11/051,825号で説明されたように、仮定が期待される応答に一致することにより、システムの仮定は正確に受け入れられたため)認識誤りは実際に発生していない可能性があるが、この例示的な実施形態では、比較的低い信頼を有する語は、比較的低い信頼係数により、誤り率の推定に関する誤りとして計算される。低い信頼として語が計算される信頼係数の範囲は、例えば、調整された受入れしきい値と調整されていない原受入れしきい値の間でありうる。より一般には、信頼係数しきい値または低い信頼誤りを計算するための範囲は、参照された特許出願では、受入れしきい値および調整された受入れしきい値に一致しなくてもよい。この範囲は、受入れしきい値より高く、低い信頼と高い信頼の間の境界を表示する高い信頼しきい値を含めて、2つのその他のしきい値の間でありうる。この例示的な実施形態では、低い信頼率に関して使用される信頼係数の範囲は、音声認識システムが使用される適用業務に基づいて決定される。

置換率
本発明の例示的な実施形態では、音声認識システムによって発生する、考えられる置換誤りの発生の計数は、置換誤り率の推定または誤り率の推定を決定するために使用されうる。置換率は、(本出願の背景技術の項で定義される置換誤りなどの)置換誤りがシステムによって発生する率である。例示的な実施形態では、音声認識システムによって生成された仮定は、期待される応答と比較され、置換誤りは、システムが期待される応答内の語を仮定内の間違った語に置き換える場合に発生する。例えば、システムが「1-5-3」を認識し、期待される応答が「1-2-3」である場合、システムは1つの置換(すなわち、「2」を「5」に置換)を行ったと判断されるため、置換誤りが計算される。すなわち、仮定および期待される応答は語対語で一致しないが、大部分が一致する場合(すなわち、所定の数の語を除いて、仮定および期待される応答が一致する場合)、語の置換誤りが発生したというのは合理的な仮定である。(所定の数の語は適用業務に応じる。例えば、3つの語の仮定または発話を使用する適用業務は、「大部分が一致する」を、1つの語を除いて語対語で一致すると定義することができる。5つの語の仮定または発話を使用する適用業務は、「大部分が一致する」を、2つの語を除いて語対語で一致すると定義することができる。)

繰り返される発話
さらにその他の例示的な実施形態では、誤り率は、少なくとも2つの連続する発話または近接する発話のその仮定に関する音声認識システムの決定を比較した後で実施された、音声認識システムによって発生する認識誤りに基づく。この決定は、音声認識システムが(図1Bの112で受入れアルゴリズムが実行された後、図1Bの118でなど)着信発話を処理した後で発生しうる。認識誤りは、例えば、その後、システムの応答または応答の欠如に応答して、ユーザが発話を繰り返す、着信発話のシステムの仮定を拒否することでありうる。または例えば、認識誤りは、音声認識システムの出力の際に、音声認識システムが認識できない語をもう1つの語または「不要部分」の語に置き換えることでありうる。図5〜6は、これらのタイプの誤り率を推定するための例示的な実施形態の方法を示す。

拒否および繰返し
図5は、音声認識システムによって発生する、考えられる誤りの発生を識別するための誤り率の例示的な実施形態の方法500を示す流れ図である。考えられる誤りの発生の計数は、誤り率の推定を決定するために使用されうる。方法500は、図2の認識率モジュール210など、音声認識システムの構成要素によって実行されうる。この実施形態では、音声認識システムが誤ったかどうかの決定は、音声認識システムが少なくとも2つの連続する発話または近接する発話を受信した場合に行われる。システム挙動およびユーザ動作は以下の通りである。すなわち、システムは第1の発話のその仮定を拒否し、ユーザは第2の発話内で第1の発話を繰り返し、システムは第2の発話のその仮定を受け入れる。システムによって生成された第1および第2の仮定は実質的に一致する。すなわち、仮定は語対語で一致するが、仮定はこの特定の誤り決定に関して無視しうると見なされる認識されたモデルも含むこともあり、含まないこともある。例えば、仮定は、ユーザの息またはため息を表示する認識されたモデルを含んでよく、これらの認識されたモデルはこの特定の誤り決定に関して無視しうると見なされることもあり、見なされないこともある。(認識されたモデルが無視しうるかどうかの決定は、特定の音声認識システムおよびそのシステムが使用される適用業務に応じる。)例は以下の通りである。すなわち、ユーザは第1の発話「1-2-3」を話し、システムはそれを正確に認識する(すなわち、「1-2-3」の仮定を生成する)が、低い信頼係数のため、その仮定を拒否し、ユーザは第2の発話内で「1-2-3」を繰り返し、システムはそれを正確に認識して(すなわち、「1-2-3」の仮定を生成して)その仮定を受け入れる。このタイプの誤り検出機構の論理的根拠は、システムが第1の発話を認識しなかったため、ユーザは同じことを繰り返すというものである。システムが第2の発話のその仮定を受け入れる場合、システムは第1の発話のその仮定を受け入れるべきだったのであり、システムはそうしなかったことで誤ったと合理的に仮定することができるというものである。この経験則は、あるいは、2つの発話が互いに所定の期間内に話されること、またはやはりそれらの発話が連続して話されることを要求することによってさらに精緻化されることを要求する可能性がある。

図5では、505で、第1および第2の発話に関して(図1Bの118でなど)音声認識システムによって行われる決定は、(図1Bの117などの)モデル適合・制御モジュールによる処理のために受信される。510で、検証が実行される。これらの検証は、以下の条件の1つまたは複数を含みうる。すなわち、それらの発話のシステムの仮定が複数の語を含むことを検証する条件、第2の発話のシステムの仮定がすべての受け入れられた語を含むことを検証する条件、第1の発話に関するシステムの仮定内に少なくとも1つの拒否された語が存在したことを検証する条件、仮定が(存在する場合)期待される応答に一致することを検証する条件である。515で、検証が合格した場合、次は520である。そうでない場合、制御は505に戻る。520で、第1および第2の仮定内の語が一致するかどうかを判断するために第1および第2の仮定内の語が語対語で比較される。例えば、第1の仮定が「1-2-3」であり、第2の仮定が「1-3-3」である場合、不一致が存在する。仮定が語対語で一致する場合、ユーザが同じことを繰り返し、音声認識装置が第2の発話を正確に認識したという推論により、間違った拒否誤りが発生した高い確率が存在する。仮定が語対語で一致する場合、次は525である。そうでない場合、制御は505に戻る。525で誤り計数は増分されて、制御は505に戻る。525で、誤り計数は、次いで、誤り率全体を生成するために、その他の誤りタイプの計数と組み合わされてよい。

置換および繰返し
図6は、音声認識システムによって発生する、考えられる誤りの発生を識別するための例示的な実施形態の方法600を示す流れ図である。考えられる誤りの発生の計数は、誤り率の推定または誤り率の一部の推定を決定するために使用されうる。方法600は、図2の認識率モジュール210など、音声認識システムの構成要素によって実行されうる。この実施形態では、音声認識システムが誤ったかどうかの決定は、音声認識システムが少なくとも2つの連続する発話または近接する発話を受信して、システムが第1の発話のその仮定内の語を置き換えて、第2の発話のその仮定内の語のすべてを認識して、受け入れる場合に行われる。例は以下の通りである。ユーザは第1の発話「1-2-3」を話し、システムはそれを誤認識して(すなわち、仮定「1-5-3」を生成して)その仮定を受け入れ、ユーザは第1の発話の近接範囲内の第2の発話内で「1-2-3」を繰り返し、システムはそれを正確に認識して(すなわち、仮定「1-2-3」を生成して)、その仮定を受け入れる。誤りを検出するこの方法の論理的根拠は、2つの発話が互いに連続してまたは互いに近接範囲内で話された場合、かつシステムが第2の発話のその仮定を受け入れる場合、システムは第1の発話のその仮定内で置換を行った可能性があるというものである。システムが単一の語だけ異なる連続する認識または近接する認識が実際には置換誤りを含んでいない場合、置換誤りを含むと見なすのを防ぐために使用されうる経験則が存在する。この経験則は、以下の考えられる条件のうちの1つまたは複数に関して検査することを含む。すなわち、第1の発話がシステムによって正確に認識されたことを表示する介入発話は存在しなかったという条件、比較されている2つの発話はシステム内に入力されている同じ一片の情報を表す(例えば、比較されている2つの発話はユーザと認識システムの間の対話において同じ場所でまたは同じプロンプトに応答して発生した)という条件、2つの発話は所定の期間内に話された、すなわち、言い換えれば、比較されている2つの発話の間の時間は、ユーザが初期の発話を繰り返していたことを示唆するのに十分短かったという条件である。

図6では、605で、第1および第2の発話に関して(図1の118でなど)音声認識システムによって行われた決定は、(図1Bの117などの)モデル適合・制御モジュールによる処理のために受信される。610で、検証が実行される。これらの検証は、置換誤り率の推定の精度を改善し、以下を含みうる。すなわち、発話が互いに連続してまたは互いの近接範囲内で話されたことを検証すること、発話のシステムの仮定が複数の語を含むことを検証すること、発話のシステムの仮定がすべての受け入れられた語を含むことを検証すること、両方の場合ともユーザにはシステムによって同じ情報に関してプロンプトが表示されたことを検証すること、第1の仮定が(存在する場合)期待される応答に一致しないことを検証すること、第2の仮定が(存在する場合)期待される応答に一致することを検証すること、および(上で説明されたそれらの置換誤りなど)発生した置換誤りを表示する状態に関して検査することである。615で、第1および第2の発話のシステムの仮定内の語が一致するかどうかを判断するために第1および第2の発話のシステムの仮定内の語が語対語で比較される。仮定が語対語で一致しない場合、次は620である。そうでない場合、制御は605に戻る。620で、検証が合格する場合、次は625である。そうでない場合、制御は605に戻る。625で、第1および第2の発話のシステムの仮定内の語がどの程度密接に一致するかを判断するために第1および第2の発話のシステムの仮定の語が語対語で比較される。例えば、第1の仮定が「1-2-3」であり、第2の仮定が「1-5-3」である場合、1語の不一致が存在する。この場合、「2」は「5」に置き換えられた。仮定が語対語で一致しないが、大部分で一致する場合(例えば、仮定が1つの語を除いて一致する場合)、システムは置換誤りが発生したことを表示する少なくとも1つの条件に関して検査するなどの検証を実行し、ユーザは同じ発話を繰り返し、システムは第2の発話を正確に認識し、システムは第1の発話のその仮定において間違って置き換えたという推論により、語の置換誤りが発生したというのは合理的な結論である。(「大部分が一致する」の定義は適用業務に応じる。例えば、5つの語の仮定または発話を使用する適用業務は、「大部分が一致する」を2つの語を除いて語対語で一致する
と定義することができる。)仮定が語対語で大部分一致する場合、次は、誤り計数が増分され、その後、制御が605に戻る630である。630の誤り計数は、次いで、誤り率全体を生成するためにその他の誤りタイプの計数と組み合わされてよい。

これまでの項内と同じ手法は、コンテンツである語が第1の発話内で不要部分として認識され、次いで、次の発話内で正確に認識される、不要部分の誤りによる削除を検出するために使用されうる。2つの発話の認識結果を比較して、上で説明されたそれらの検証などの検証を使用することによって、誤りを検出することができる。例えば、第1の発話のシステムの仮定が「1-不要部分-3」であり、第2の発話のシステムの仮定が「1-5-3」である場合、1つの語の不一致が存在し、音声認識システムは第1の発話のその仮定において誤ったというのは合理的な仮定となる。この場合も、システムが正確な認識を誤りと見なすことを防ぐために上で説明されたのと類似の検証が使用されうる。

図6の議論において上で議論されたのと同じ手法は、拒否された置換誤りによる削除など、その他のタイプの誤りを検出するためにも使用されうる。拒否された置換誤りによる削除の例は以下の通りである。ユーザは第1の発話「1-5-3」を話し、システムは仮定「1-2-3」を生成するが、システムはその仮定において「2」を拒否する。ユーザは、第1の発話の近接範囲内で第2の発話「1-5-3」を繰り返し、システムはそれを認識して(すなわち、仮定「1-5-3」を生成して)、システムはその仮定を受け入れる。システムが第1の発話のその仮定において「2」を認識し、拒否した場合、システムは、拒否された置換誤りにより削除を行った。このタイプの誤りを検出するための方法は、第1の発話のシステムの仮定はすべての受け入れられた語を含まなくてよいという違いがあるが、図6の議論において説明された方法に類似する。

補正率
音声認識システムに関する例示的な実施形態では、ユーザがシステムにフィードバックを提供する補正率は、誤り率の推定または誤り率の一部の推定として使用されうる。誤り率を推定するためまたは誤り率の一部を推定するために補正率を使用する理由は、補正がシステムに命令される場合、システムは誤りが生じたことを表示することが可能であるからである。ユーザフィードバックの例は、本出願の背景技術で説明される。補正率は、ユーザが、システムが誤ったことを表示する率を含みうる。さらに、ユーザは、システムによって生成された仮定を確認するようユーザに要求すること、または何の語がユーザによって話されたかを識別するようユーザに要求することなど、システムがフィードバックを要求することに応答してフィードバックを提供することが可能である。フィードバックはユーザによる立腹を表示する語を含んでよく、またはフィードバックは「バックアップ」もしくは「消去」など、システムに対する補正コマンドであってもよい。

認識率の考慮事項
認識率(誤り率、精度率またはその他のタイプの認識率)を決定または推定する場合、音声認識システムが使用される適用業務に関して有用な認識率を決定または推定するために必要とされる期間およびデータが考慮されうる。1つの例示的な考慮事項は、認識率は所定の期間に対して音声認識システムに入力された音声に関して決定または推定されるというものである。もう1つの例示的な考慮事項は、認識率は所定の数の発話、語、または仮定に対して音声認識システムに入力された音声に関して決定または推定されるというものである。

その他の例示的な考慮事項は、認識率は移動ウィンドウまたはスライディングウィンドウあるいは期間および/もしくはデータのサイズの形で動的である収集期間に対して収集された発話の仮定から決定または推定されるというものである。結果として、認識率は、有用なデータが収集されている期間にわたって決定または推定される。例えば、移動ウィンドウまたはスライディングウィンドウは、騒々しい環境および静かな環境のうちの1つの環境における音声認識システムによる任意の優遇(favoring)をオフセットするために、これらの環境内の等しい期間から取られたデータの収集物をカバーすることができる。移動ウィンドウ、スライディングウィンドウのその他の例は、音声認識システムの最近の使用(例えば、最後の30分)中にデータを収集するウィンドウ、(例えば、ユーザがシステムを開始して以来)特定のユーザによって費やされた時間に対してデータを収集するウィンドウ、またはデータ(例えば、最後の100仮定)を収集するのに費やされた時間にかかわらず一定のデータ量を収集するウィンドウである。

当業者は、その他の例示的な実施形態では、認識率の代わりに、句の認識率、発話の認識率、および文の認識率など、その他の認識率が使用されうる点を理解されよう。例えば、認識率は、システムによって発生する誤りを伴う発話または正確に認識された発話をシステムに入力された発話数で除算した割合または率と定義することが可能であり、この発話の認識率はモデルの適合を制御または調整する際に使用されうる。

加えて、考えられる誤りまたは正確な考察を識別するための様々な方法が同じ仮定を処理することが可能であるが、いくつかの考えられる誤りまたは正確な考察は2つ以上の方法によって計算される場合があるため、二重計算を回避するための予防手段を講じなければならないことは当業者に明らかであろう。

さらに、本発明の例示的な実施形態では、認識率の所望される信頼レベルおよび/もしくは精度範囲ならびに/または認識率のしきい値は、(1つまたは複数の)所定の値、ユーザによって設定可能な(1つまたは複数の)値、(1つまたは複数の)動的値であってよく、あるいは、上方調整もしくは下方調整されてもよい。さらに、所望される信頼レベルおよび/または精度範囲は、音声認識システムの達成可能な認識率に影響を与える係数およびシステムが使用される適用業務に関する受入れ可能な認識率を決定するそれらの係数に基づいてよい。さらに、所望される信頼レベルおよび/もしくは精度範囲ならびに/または認識率のしきい値は、音声認識システムに入力された発話内の語数に基づいてよく、背景雑音レベルに基づいてよく、信号対雑音比に基づいてよく、音声認識システムの語彙内の語数に基づいてよく、あるいはシステムの特定のユーザまたは複数のユーザに対応する認識率に基づいてもよい。

モデル適合の例示的な実施形態
図7は、本発明の例示的な実施形態による、モデル適合のための方法700を例示する流れ図である。この方法は、図2のモデル適合モジュール235など、音声認識システムの構成要素によって実行されうる。例示的な実施形態では、方法700は(図2の225など)制御モジュールの制御の下で実行される。すなわち、方法700は制御モジュールからの命令に基づいて実行される。命令は、(適合させる命令または適合を保留する命令を含めて)あるモデルまたは複数のモデルをいつ適合させるかの命令、ならびに、発話のトランスクリプション(transcription)および発話に対応して音声認識システムによって考察された1組の特徴など、適合を実行するために必要とされる情報を含む。705で、命令が受信される。

710で、入力発話に対応して音声認識システムによって考察された特徴は、発話の語に関するモデル内の状態と整合される。例示的な実施形態では、整合を実行するためにBaum-Welch再推定アルゴリズムが使用されうる。710で、状態の統計値(例えば、平均および分散)は特徴の値を使用して更新される。720で、これらの値は、これまでのトレーニングデータと新しい特徴の間でバランスを保つために、適切な重みを用いてモデルに混合される。したがって、本発明の例示的な実施形態では、新しいモデルは、既存のモデルまたは原モデルを適合させるために入力発話の考察された特徴を使用することによって適合を介して作り出される。そのシナリオでは、入力発話の考察された特徴および原モデルの既存の特徴の両方、ならびにそれぞれに関連する統計値が、新しいモデルを作り出すために使用される。加えて、かかるシナリオでは、新しい統計値は、モデル内の原統計値に対するその影響を調整するために、様々な形で重みづけされうる。本発明の代替の例示的な実施形態では、新しく考察された特徴、およびそこからの情報だけが、新しいモデルを作り出すために利用される。すなわち、新しいモデルは新しい特徴だけを用いて作り出される。さらに、適合は、単一のユーザまたは複数のユーザからのデータを使用して実行されうる。1つの特定の実施形態では、個々のユーザからの音声データだけが、適合を実行するために使用されうる。これはそのユーザのために適合され、かつそのユーザにとって十分に実行するモデルを生成する。

本発明は、その様々な形態で、音声認識システムのソフトウェア内で直接的に実施されうる。すなわち、改善は実際に音声認識システムの一部である。あるいは、本発明は音声認識システム内に内蔵されなくてもよい。むしろ、本発明または本発明の一部は、本発明の利点を提供するために、音声認識システムによって利用可能な別々のプログラム内または適用業務内で実施することが可能である。例えば、別々の適用業務またはソフトウェアモジュールが本発明の原理に従って適合を処理するために利用されうる。具体的には、適用業務は、認識率を決定または推定するためならびに/またはいつおよびどのようにモデルが適合されるかを制御するために、音声認識システムとインターフェースを取ることが可能である。

前述の説明で、本発明はその特定の例示的な実施形態を参照して説明された。明細書および図面は、したがって、限定的な意味ではなく、例示的な意味で考慮されるべきであり、特許請求の範囲をかかる詳細に制限することまたは任意の方法で限定することは出願人の意図ではない。しかし、本発明のより広い精神および範囲から逸脱せずに、追加の利点および修正がコンピュータプログラム製品もしくはコンピュータプログラムソフトウェア、ハードウェアまたはそれらの任意の組合せの中で行われることが可能であることは当業者に明らかであろう。ソフトウェア実施形態は、命令を有する機械アクセス可能な媒体上または機械可読媒体上の製品を含みうる。さらに、ソフトウェア実施形態は、ネットワークまたは電子メールを経由して分散またはダウンロードされうる。機械アクセス可能な媒体上または機械可読媒体上の命令は、例えば、PC、セル電話、産業用移動体コンピュータ、PDA、電子ヘッドセットまたは本明細書で説明される例示的な実施形態の方法もしくは手法を実施するためにその他の電子デバイスなどのコンピュータシステムをプログラムするために使用されうる。機械可読媒体は、フロッピーディスケット（登録商標）、光ディスク、CD-ROM、および光磁気ディスクまたは電子命令を記憶または送信するのに適したその他のタイプの媒体/機械可読媒体を含みうるが、これらに限定されない。さらに、本発明の精神および範囲から逸脱せずに、本発明が説明される適用業務から逸脱が行われうる。例えば、本明細書で説明される例示的な音声認識システムは、装着可能な端末に重点を置いた。しかし、本発明の原理は、その他の音声認識環境にも同じように適用可能である。

本発明の例示的な実施形態による、携帯用端末およびヘッドセットを使用したユーザの透視図である。 本発明の例示的な実施形態による、音声認識システムの概略図である。 本発明の例示的な実施形態による、音声認識システムの構成要素の概略図である。 本発明の例示的な実施形態による、認識率と認識率の精度とに基づくモデル適合を制御するための方法を例示する流れ図である。 本発明の例示的な実施形態による、誤り率を推定するための方法を例示する流れ図である。 本発明の例示的な実施形態による、誤り率を推定するための方法を例示する流れ図である。 本発明の例示的な実施形態による、誤り率を推定するための方法を例示する流れ図である。 本発明の例示的な実施形態による、モデル適合のための方法を例示する流れ図である。

符号の説明

117 モデル適合・制御モジュール
210 認識率モジュール
215 認識率
216 認識率
225 適合制御モジュール
235 モデル適合モジュール
325 決定

Claims (48)

1. 音声認識システムのリソースの効率的な使用のための方法であって、
   1組の語のうちの1つの語の事例の認識または様々な語の事例の認識に対応する認識率を決定する段階と、
   決定された認識率に対する所望される信頼レベルを選択して、決定された認識率に対する精度範囲を決定する段階とを含み、前記精度範囲は、所望される信頼レベルおよびシステムの考察数に基づき、
   更に、決定された精度範囲と共に使用するための認識率のしきい値を選択して、前記決定された精度範囲内の少なくとも1つの値と前記選択された認識率のしきい値とを比較する段階と、
   前記比較に基づいて、前記1つの語に対して1つのモデルを適合させるかまたは前記様々な語に対して様々なモデルを適合させるかを決定する段階と、
   所定の数の考察が発生するまで、前記1つのモデルまたは前記様々なモデルを適合させる段階を保留する段階とを含む方法。
2. 前記モデルを適合させるかどうかを決定するために必要とされる前記考察数が、前記認識率と前記認識率のしきい値の間の差に反比例する、請求項1に記載の方法。
3. 前記認識率を前記決定する段階が、前記システムによって発生する誤りの数を前記システムの考察数で除算する段階または前記システムの正確な考察数を前記システムの考察数で除算する段階を含む、請求項1に記載の方法。
4. 前記誤りまたは前記正確な考察が、システム動作の評価から決定された推定誤りまたは正確な推定考察である、請求項3に記載の方法。
5. 前記1つのモデルまたは前記様々なモデルを適合させる段階が、前記精度範囲内の前記少なくとも1つの値が前記認識値のしきい値と等しくなるまで、適合させる段階を保留する段階、もしくは前記認識率が誤り率である場合、前記精度範囲内の前記少なくとも1つの値が前記認識率のしきい値を超えるまで、適合させる段階を保留する段階、または前記認識率が精度率である場合、前記精度範囲内の前記少なくとも1つの値が前記認識率のしきい値未満になるまで、適合させる段階を保留する段階をさらに含む、請求項1に記載の方法。
6. 前記認識率のしきい値が動的値である、請求項1に記載の方法。
7. 前記認識率のしきい値が背景雑音レベルに基づく、請求項1に記載の方法。
8. 前記認識率のしきい値が信号対雑音比に基づく、請求項1に記載の方法。
9. 前記認識率のしきい値が前記システムの語彙内の語数に基づく、請求項1に記載の方法。
10. 前記認識率のしきい値が前記システムの特定のユーザまたは複数のユーザに対応する認識率に基づく、請求項1に記載の方法。
11. 音声認識システムのリソースの効率的な使用のための方法であって、
    1組の語のうちの1つの語の事例の認識または様々な語の事例の認識に対応する認識率を決定する段階と、
    決定された認識率に対する所望される信頼レベルを選択して、決定された認識率に対する精度範囲を決定する段階とを含み、前記精度範囲は、所望される信頼レベルおよびシステムの考察数に基づき、
    更に、決定された精度範囲と共に使用するための認識率のしきい値を選択して、前記決定された精度範囲内の少なくとも1つの値と前記選択された認識率のしきい値とを比較する段階と、
    認識率のしきい値に等しい、前記精度範囲内の少なくとも1つの語に基づいて、または前記認識率が誤り率である場合、認識率のしきい値を超える前記精度範囲内の少なくとも1つの値に基づいて、あるいは前記認識率が精度率である場合、前記認識率のしきい値未満である前記精度範囲内の少なくとも1つの値に基づいて、前記1つの語に対して1つのモデルを適合させるかまたは前記様々な語に対して様々なモデルを適合させるかを決定する段階とを含む方法。
12. 所定の数の考察が発生するまで、前記適合を調整する段階を保留する段階
    をさらに含む、請求項11に記載の方法。
13. 前記所定の数の考察が発生した後で、前記認識率と前記認識率の前記精度範囲とを更新する段階をさらに含む、請求項11に記載の方法。
14. 前記精度範囲が前記システムの考察数に基づく、請求項11に記載の方法。
15. 前記認識率を前記決定する段階が、前記システムによって発生する誤りの数を前記システムの考察数で除算する段階または前記システムの正確な考察数を前記システムの考察数で除算する段階を含む、請求項11に記載の方法。
16. 前記システムの前記誤りまたは前記正しい考察が、システムの評価から決定された推定誤りまたは正確な推定考察である、請求項15に記載の方法。
17. 前記モデルを適合させるかどうかを決定する段階が、前記精度範囲内の前記少なくとも1つの値が認識率のしきい値と等しくなるまで、前記1つのモデルもしくは前記様々なモデルを適合させる段階を保留する段階、または前記認識率が誤り率である場合、前記精度範囲内の前記少なくとも1つの値が認識率のしきい値を超えるまで、前記1つのモデルもしくは前記様々なモデルを適合させる段階を保留する段階、あるいは前記認識率が精度率である場合、前記精度範囲内の前記少なくとも1つの値が認識率未満になるまで、前記1つのモデルまたは前記様々なモデルを適合させる段階を保留する段階を含む、請求項11に記載の方法。
18. 前記認識率のしきい値が動的値である、請求項11に記載の方法。
19. 前記認識率のしきい値が背景雑音レベルに基づく、請求項11に記載の方法。
20. 前記認識率のしきい値が信号対雑音比に基づく、請求項11に記載の方法。
21. 前記認識率のしきい値が前記システムの語彙内の語数に基づく、請求項11に記載の方法。
22. 音声認識システムのリソースの効率的な使用のための装置であって、
    システムの考察数に対して1組の語のうちの1つの語の事例の認識または様々な語の事例の認識に対応する認識率を決定するように適合されたプロセッサを含み、前記プロセッサは、更に、決定された認識率に対する精度範囲を決定するように適合され、前記精度範囲は、所望される信頼レベルおよびシステムの考察数に基づき、
    更に、前記決定された精度範囲内の少なくとも1つの値と選択された認識率のしきい値とを比較することによって、選択された認識率のしきい値を決定された精度範囲と共に使用するように適合されたコントローラを含み、
    前記コントローラは、前記比較に基づいて、1つの語に対して1つのモデルを適合させるかまたは様々な語に対して様々なモデルを適合させるかを決定し、
    前記プロセッサは、所定の数の考察が発生するまで、前記1つのモデルまたは前記様々なモデルを適合させることを保留する、
    装置。
23. 前記モデルを適合させるかどうかを決定するために必要とされる考察数が前記認識率と前記認識率のしきい値の差に反比例する、請求項22に記載の装置。
24. 前記プロセッサが、前記システムによって発生した誤りの数を前記システムの考察数で除算する段階または前記システムの正確な考察数を前記システムの考察数で除算する段階によって前記認識率を決定する、請求項22に記載の装置。
25. 前記システムの前記誤りまたは前記正確な考察が、システム動作の評価から決定される推定誤りまたは正確な推定考察である、請求項24に記載の装置。
26. 前記コントローラが、前記精度範囲内の前記少なくとも1つの値が前記認識率のしきい値に等しくなるまで、前記1つのモデルもしくは前記様々なモデルを適合させる段階を保留する段階、または前記認識率が誤り率である場合、前記精度範囲内の前記少なくとも1つの値が前記認識率のしきい値を超えるまで、前記1つのモデルもしくは前記様々なモデルを適合させる段階を保留する段階、あるいは、前記認識率が精度率である場合、前記精度範囲内の前記少なくとも1つの値が前記認識値のしきい値未満になるまで、前記1つのモデルもしくは前記様々なモデルを適合させる段階を保留する段階によって、前記1つのモデルもしくは前記様々なモデルの適合を制御する、請求項22に記載の装置。
27. 前記認識率のしきい値が動的値である、請求項22に記載の装置。
28. 前記認識率のしきい値が背景雑音レベルに基づく、請求項22に記載の装置。
29. 前記認識率のしきい値が信号対雑音比に基づく、請求項22に記載の装置。
30. 前記認識率のしきい値が前記システムの語彙内の語数に基づく、請求項22に記載の装置。
31. 前記認識率のしきい値が前記システムの特定のユーザまたは複数のユーザに対応する認識率に基づく、請求項22に記載の装置。
32. 音声認識システムのリソースの効率的な使用のための装置であって、
    システムの考察数に対して1組の語のうちの1つの語の事例の認識または様々な語の事例の認識に対応する認識率を決定するように適合されたプロセッサを含み、前記プロセッサは、更に、決定された認識率に対する精度範囲を決定するように適合され、前記精度範囲は、所望される信頼レベルおよびシステムの考察数に基づき、
    更に、前記決定された認識精度内の少なくとも1つの値と選択された認識率のしきい値とを比較することによって、選択された認識率のしきい値を決定された精度範囲と共に使用するように適合されたコントローラを含み、
    前記コントローラは、認識率のしきい値に等しい、前記精度範囲内の少なくとも1つの語に基づいて、または前記認識率が誤り率である場合、認識率のしきい値を超える前記精度範囲内の少なくとも1つの値に基づいて、あるいは前記認識率が精度率である場合、前記認識率のしきい値未満である前記精度範囲内の少なくとも1つの値に基づいて、前記1つの語に対して1つのモデルを適合させるかまたは前記様々な語に対して様々なモデルを適合させるかを決定する、
    装置。
33. 所定の数の考察が発生するまで、前記適合を前記調整する段階を保留する段階
    をさらに含む、請求項32に記載の装置。
34. 前記プロセッサが、所定の数の考察が発生した後で、前記認識率と前記認識率の前記精度範囲とを更新する、請求項32に記載の装置。
35. 前記精度範囲が前記システムの考察数に基づく、請求項32に記載の装置。
36. 前記プロセッサが、前記システムによって発生する誤りの数を前記システムの考察数によって除算する段階または前記システムの正確な考察数を前記システムの考察数で除算する段階によって前記認識率を決定する、請求項32に記載の装置。
37. 前記システムの前記誤りまたは前記正確な考察が、システム動作の評価から決定される推定誤りまたは正確な推定考察である、請求項36に記載の装置。
38. 前記コントローラが、前記認識値が誤り率である場合、前記精度範囲内の前記少なくとも1つの値が認識率のしきい値以上になるまで、前記1つのモデルもしくは前記様々なモデルを適合させる段階を保留する段階、または前記認識値が精度率である場合、前記精度範囲内の前記少なくとも1つの値が認識値のしきい値以下になるまで、前記1つのモデルもしくは前記様々なモデルを適合させる段階を保留する段階によって前記モデルを適合させるかどうかを決定する、請求項32に記載の装置。
39. 前記認識値のしきい値が動的値である、請求項32に記載の装置。
40. 前記認識率のしきい値が背景雑音レベルに基づく、請求項32に記載の装置。
41. 前記認識率のしきい値が信号対雑音比に基づく、請求項32に記載の装置。
42. 前記認識率のしきい値が前記システムの語彙内の語数に基づく、請求項32に記載の装置。
43. 前記認識率が誤り率である、請求項1に記載の方法。
44. 前記認識率が精度率である、請求項1に記載の方法。
45. 前記認識率が誤り率である、請求項22に記載の装置。
46. 前記認識率が精度率である、請求項22に記載の装置。
47. 前記認識率が誤り率である、請求項32に記載の装置。
48. 前記認識率が精度率である、請求項32に記載の装置。

Images