JPWO2010128560A1

JPWO2010128560A1 - 音声認識装置、音声認識方法、及び音声認識プログラム

Info

Publication number: JPWO2010128560A1
Application number: JP2011512291A
Authority: JP
Inventors: 川添　佳洋; 佳洋川添; 吉田　実; 実吉田
Original assignee: Pioneer Corp
Current assignee: Pioneer Corp
Priority date: 2009-05-08
Filing date: 2009-05-08
Publication date: 2012-11-01
Also published as: WO2010128560A1

Abstract

音声認識装置は、音響モデル記憶部と、言語モデル記憶部と、第１パス処理手段と、第２パス実行可否判定手段と、第２パス処理手段と、を備える。第１パス処理手段は、音響モデルと言語モデルに基づき、入力された発話信号から単語列の候補及びスコアを決定する。第２パス実行可否判定手段は、第１パス処理手段の認識結果及び／又は認識環境の情報に基づき、第２パス処理を実行すべきか否か判定する。そして、第２パス処理手段は、第２パス実行可否判定手段が第２パス処理を実行すべきと判定した場合、音響モデル及び前記言語モデルに基づき、単語列の候補及びスコアを再決定する。

Description

本発明は、音声認識処理を複数回実行するマルチパス探索を用いた音声認識技術に関する。

ディクテーション認識に代表される大語彙連続音声認識のアルゴリズムの１つとして、入力された発話に対して音声認識を複数回実行するマルチパス探索が既知である。例えば、特許文献１には、簡易な音響モデル及び簡易な言語モデルに基づき連続音声に対し認識処理を実行する第１パス処理手段と、第１パス処理の認識結果と詳細な音響モデル及び詳細な言語モデルとに基づき単語列を生成する第２パス処理手段と、を備えた音声認識装置が開示されている。

特開２００３−１４０６８５号公報

一般に、第１パス処理は、入力音声とほぼ並行してリアルタイムに処理をすることが可能である。しかし、第２パス処理は、その処理時間分だけ音声認識処理全体のレスポンスに影響を与える。即ち、第２パス処理の処理時間分だけ結果出力の遅延が発生する。一方、第１パス処理の認識結果が十分に信頼できるとみなせる場合には、音声認識装置は、第２パス処理以降の認識処理を必ずしも実行する必要がない。特許文献１には、上記の問題は、何ら検討されていない。

本発明は、上記のような課題を解決するためになされたものであり、マルチパス探索において処理量を削減し、結果出力までの処理速度を向上させることが可能な音声認識装置を提供することを目的とする。

請求項１に記載の発明は、音声認識装置は、１又は複数の音響モデルを記憶する音響モデル記憶部と、１又は複数の言語モデルを記憶する言語モデル記憶部と、前記音響モデルと前記言語モデルに基づき、入力された発話信号から単語列の候補及びスコアを決定する第１パス処理手段と、前記第１パス処理手段の認識結果及び／又は認識環境の情報に基づき、第２パス処理を実行すべきか否か判定する第２パス実行可否判定手段と、前記第２パス実行可否判定手段が第２パス処理を実行すべきと判定した場合、前記音響モデル及び前記言語モデルに基づき、前記候補及び前記スコアを再決定する第２パス処理手段と、を備えることを特徴とする。

請求項１１に記載の発明は、１又は複数の音響モデルを記憶する音響モデル記憶部と、１又は複数の言語モデルを記憶する言語モデル記憶部と、を利用する音声認識方法であって、前記音響モデルと前記言語モデルに基づき、入力された発話信号から単語列の候補及びスコアを決定する第１パス処理工程と、前記第１パス処理手段の認識結果及び／又は認識環境の情報に基づき、第２パス処理を実行すべきか否か判定する第２パス実行可否判定工程と、前記第２パス実行可否判定工程が第２パス処理を実行すべきと判定した場合、前記音響モデル及び前記言語モデルに基づき、前記候補及び前記スコアを再決定する第２パス処理工程と、を備えることを特徴とする。

請求項１２に記載の発明は、１又は複数の音響モデルを記憶する音響モデル記憶部と、１又は複数の言語モデルを記憶する言語モデル記憶部と、を利用するコンピュータにより実行される音声認識プログラムであって、前記音響モデルと前記言語モデルに基づき、入力された発話信号から単語列の候補及びスコアを決定する第１パス処理手段と、前記第１パス処理手段の認識結果及び／又は認識環境の情報に基づき、第２パス処理を実行すべきか否か判定する第２パス実行可否判定手段と、前記第２パス実行可否判定手段が第２パス処理を実行すべきと判定した場合、前記音響モデル及び前記言語モデルに基づき、前記候補及び前記スコアを再決定する第２パス処理手段と、を備えることを特徴とする。

言語モデルを用いた音声認識装置の概略構成図である。音声認識装置が実行する処理のブロック図を示す。第１パスマッチング処理部１１ｃの認識結果を表す単語グラフの例を示す。信頼度Ｔに基づき音声認識装置が実行する処理を示した図である。本実施例の処理手順を示すフローチャートの一例である。変形例１に係る音声認識装置の概略構成図である。

本発明の１つの観点では、音声認識装置は、１又は複数の音響モデルを記憶する音響モデル記憶部と、１又は複数の言語モデルを記憶する言語モデル記憶部と、前記音響モデルと前記言語モデルに基づき、入力された発話信号から単語列の候補及びスコアを決定する第１パス処理手段と、前記第１パス処理手段の認識結果及び／又は認識環境の情報に基づき、第２パス処理を実行すべきか否か判定する第２パス実行可否判定手段と、前記第２パス実行可否判定手段が第２パス処理を実行すべきと判定した場合、前記音響モデル及び前記言語モデルに基づき、前記候補及び前記スコアを再決定する第２パス処理手段と、を備える。

上記の音声認識装置は、音響モデル記憶部と、言語モデル記憶部と、第１パス処理手段と、第２パス実行可否判定手段と、第２パス処理手段と、を備える。第１パス処理手段は、音響モデルと言語モデルに基づき、入力された発話信号から単語列の候補及びスコアを決定する。第２パス実行可否判定手段は、第１パス処理手段の認識結果及び／又は認識環境の情報に基づき、第２パス処理を実行すべきか否か判定する。「認識環境の情報」とは、音声認識装置が認識処理を実行する環境に関する情報を指し、例えば、ＳＮ比、発話スピード、入力音声の大きさ、車両の情報等が該当する。そして、第２パス処理手段は、第２パス実行可否判定手段が第２パス処理を実行すべきと判定した場合、音響モデル及び前記言語モデルに基づき、単語列の候補及びスコアを再決定する。このように、音声認識装置は、認識結果及び／又は認識環境の情報に基づき、適切に第２パス処理を実行すべきか否か判定することで、不要に第２パス処理以降の認識処理を実行するのを抑制することができる。従って、音声認識装置は、処理量を削減し、結果出力までの処理速度を向上させることができる。

上記の音声認識装置の一態様では、前記第２パス処理手段は、前記第２パス実行可否判定手段が前記第２パス処理を実行すべきと判定した場合、前記第１パス処理手段で使用された音響モデル及び言語モデル以上の精度を具備する音響モデル及び言語モデルに基づき、前記候補及び前記スコアを再決定する。ここで、「第１パス処理手段で使用された音響モデル及び言語モデル以上の精度」とは、第一パス処理手段で使用された音響モデル及び言語モデルより精度の高い音響モデル及び言語モデルはもとより、第１パス処理手段で使用された音響モデル及び言語モデルと同じ音響モデル及び言語モデルをも含む意味である。このように、音声認識装置は、第１パス処理の処理量を低減し、かつ、必要なときのみ第２パス処理を実行することで、全体の処理量を削減し、結果出力までの処理速度を向上させることができる。

上記の音声認識装置の他の一態様では、前記第２パス実行可否判定手段は、前記認識結果及び／又は前記情報に基づき前記認識結果の信頼度を算出し、当該信頼度が第１の閾値よりも高い場合又は第２の閾値よりも低い場合、前記第２パス処理を継続すべきではないと判定する。第１の閾値及び第２の閾値は、実験等に基づき適切な値に設定される。この態様では、音声認識装置は、第１パス処理の認識結果に対する信頼度を計算し、当該信頼度に基づき第２パス処理を実行すべきか否か判定する。そして、音声認識装置は、信頼度が第１の閾値より大きい場合、第１パス処理の認識結果が十分信頼でき、正解の可能性が高いと判定する。一方、音声認識装置は、信頼度が第２の閾値より小さい場合、第１パス処理の認識結果の信頼性が低く、第２パス処理を実行しても正解の単語列を得られる可能性が極めて低いと判定する。そして、音声認識装置は、信頼度が第１の閾値よりも高い場合又は第２の閾値よりも低い場合、前記第２パス処理を継続すべきではないと判定し、不要に第２のパス処理以降の認識処理を実行するのを抑制する。このように、音声認識装置は、信頼度に基づき第２パス処理を実行すべきか否か適切に判定することができ、結果出力までの処理速度を向上させることができる。

上記の音声認識装置の他の一態様では、前記第２パス実行可否判定手段は、前記第１パス処理により決定された前記単語列を構成する各単語の候補数に基づき前記信頼度を決定する。一般に、第１パス処理により得られた単語列を構成する各単語の候補数が少ない場合、第２パス処理を実行しても認識結果が全く変わらない可能性が高い。一方、認識できない未知語が入力された場合、上述の候補数が多くなる傾向がある。従って、この態様により、音声認識装置は、信頼度を適切に設定することができる。

上記の音声認識装置の他の一態様では、前記第２パス実行可否判定手段は、前記第２パス実行可否判定手段は、前記第１パス処理により決定されたキーワードの候補数が第１所定個数以下の場合に前記信頼度を第１の閾値より高い値に設定し、当該候補数が第２所定個数以上の場合に前記信頼度を第２の閾値より低い値に設定する。ここで、キーワードとは、音声認識装置が単語列中で特に認識する必要がある単語を指す。第１所定個数は、第２所定個数未満の値に設定される。具体的には、第１所定個数及び第２所定個数は、実験等に基づき適切な値に設定される。この態様では、音声認識装置は、キーワードの候補が第１所定個数以下の場合、十分にキーワードが絞られており、第１パス処理手段の認識結果の信頼性が高いと判断する。一方、音声認識装置は、キーワードの候補が第２所定個数以上の場合、未知語の入力等に起因して第１パス処理手段の認識結果の信頼性が低いと判断する。このように、音声認識装置は、キーワードの候補数に基づき信頼度を決定することで、適切に第２パス処理を実行すべきか否かについて判定することができる。

上記の音声認識装置の他の一態様では、前記第２パス実行可否判定手段は、ＳＮ比が第１所定値より大きい場合に前記信頼度を第１の閾値より高く設定し、ＳＮ比が第２所定値より小さい場合に前記信頼度を第２の閾値より低く設定する。第１所定値は、第２所定値以上の値に設定される。具体的には、第１所定値及び第２所定値は、実験等に基づき適切な値に設定される。一般に、ＳＮ比と認識結果の正解率とは、相関関係を有する。従って、ＳＮ比が高い場合、第１パス処理のみの認識結果でも十分である可能性が高い。一方、ＳＮ比が低い場合、第２パス処理を実行しても正しく単語列を認識する可能性が低い。従って、音声認識装置は、ＳＮ比に基づき信頼度を設定することで、適切に第２パス処理を実行すべきか否かについて判定することができる。

上記の音声認識装置の他の一態様では、前記第２パス実行可否判定手段は、前記スコアのうち最良スコアと２番目に良いスコアとの差が所定値より大きい場合、前記信頼度を前記第１の閾値よりも高く設定する。上述の所定値は、実験等に基づき設定される。一般に、認識結果が正しい場合、上述のスコア差が大きくなる傾向がある。したがって、この態様では、音声認識装置は、信頼度を上述のスコア差に基づき設定することで、第２パス処理を実行すべきか否かについて適切に判定することができる。

上記の音声認識装置の他の一態様では、前記第２パス実行可否判定手段は、発話スピード、音声の大きさ、及び突発性雑音の有無の少なくとも１つに基づき前記信頼度を決定する。一般に、発話スピード、音声の大きさ、及び突発性雑音の有無によって、認識結果の正解率は大きく左右される。従って、音声認識装置は、上述の各要素を考慮して信頼度を設定することで、第２パス処理を実行すべきか否かについて適切に判定することができる。

上記の音声認識装置の他の一態様では、車両に搭載され、前記第２パス実行可否判定手段は、前記車両の状態を示す情報に基づき前記信頼度を決定する。車両の状態を示す情報とは、例えば、車速パルスに基づく走行速度、エアコンのオン又はオフの情報、窓が空いているか否かの情報等が挙げられる。このように、音声認識装置は、車両の状態を示す情報に基づき認識環境を適切に推定し、信頼度を適切に設定することができる。

上記の音声認識装置の他の一態様では、前記第１パス処理手段と並行して実行され、前記発話信号に基づきサブワード単位の解析を行うことでスコアを算出するサブワード認識手段をさらに備え、前記第２パス実行可否判定手段は、サブワード認識手段により得られた最良スコアと第１パス処理手段により得られた最良スコアとのスコア差に基づき前記信頼度を決定する。この態様では、音声認識装置は、第１パス処理と並行してサブワード認識を行い、そのスコア差を監視することで、第１パス処理の認識結果が信頼できるか否か判断する。このようにすることで、音声認識装置は、適切に信頼度を設定し、第２パス処理を実行すべきか否かについて適切に判定することができる。

上記の音声認識装置の他の観点では、１又は複数の音響モデルを記憶する音響モデル記憶部と、１又は複数の言語モデルを記憶する言語モデル記憶部と、を利用する音声認識方法であって、前記音響モデルと前記言語モデルに基づき、入力された発話信号から単語列の候補及びスコアを決定する第１パス処理工程と、前記第１パス処理手段の認識結果及び／又は認識環境の情報に基づき、第２パス処理を実行すべきか否か判定する第２パス実行可否判定工程と、前記第２パス実行可否判定工程が第２パス処理を実行すべきと判定した場合、前記音響モデル及び前記言語モデルに基づき、前記候補及び前記スコアを再決定する第２パス処理工程と、を備える。音声認識装置は、この方法を使用することで、適切に第２パス処理を実行すべきか否か判定し、不要に第２パス処理以降の認識処理を実行するのを抑制することができる。

上記の音声認識装置の他の一態様では、１又は複数の音響モデルを記憶する音響モデル記憶部と、１又は複数の言語モデルを記憶する言語モデル記憶部と、を利用するコンピュータにより実行される音声認識プログラムであって、前記音響モデルと前記言語モデルに基づき、入力された発話信号から単語列の候補及びスコアを決定する第１パス処理手段と、前記第１パス処理手段の認識結果及び／又は認識環境の情報に基づき、第２パス処理を実行すべきか否か判定する第２パス実行可否判定手段と、前記第２パス実行可否判定手段が第２パス処理を実行すべきと判定した場合、前記音響モデル及び前記言語モデルに基づき、前記候補及び前記スコアを再決定する第２パス処理手段と、を備える。音声認識装置は、このプログラムを搭載することで、適切に第２パス処理を実行すべきか否か判定し、不要に第２パス処理以降の認識処理を実行するのを抑制することができる。なお、好適な例では、上記プログラムは、記憶媒体に記録される。

以下、図面を参照して本発明の好適な実施例について説明する。

［基本説明］
まず、本発明に係る音声認識装置の概要について図１及び図２を用いて説明する。

図１は、言語モデルを用いた音声認識装置の概略構成図である。言語モデルを用いた音声認識装置は、ユーザによる発話を単語の組合せとして認識する。発話を単語の組合せとして認識し、テキスト化する処理を「ディクテーション」と呼ぶ。発話を単語の組合せとして認識することにより、予め用意された文章以外の文章、即ち、複数の単語を任意に組み合わせて作られた文章を認識することが可能となる。

図１に示すように、音声認識装置は、ディクテーションを行うディクテーション部１０と、キーワード抽出部３０と、を備える。また、ディクテーション部１０は、第１パス実行処理部１１と、第２パス実行可否判定部１２と、第２パス実行処理部１３と、言語モデルを記憶する言語モデルデータベース２４（以下、「データベース」を「ＤＢ」と略記することがある。）と、音響モデルを記憶する音響モデルＤＢ２５と、を有する。図１に示すように、ディクテーション部１０は、マイク等を通じて入力された発話データ（以後、「発話データＳａ」と呼ぶ。）に対し音声認識処理を複数回行うマルチパス探索を行う。

ここで、「発話データＳａ」とは、音声を含む入力信号を指す。たとえば、カーナビゲーション装置に実装されている音声認識装置の場合、発話データＳａはユーザが発話ボタンを押下してから一定時間の間にマイクから録音された入力信号を指す。

音響モデルＤＢ２５は、音節や音素の単位の音の特徴を格納したデータベースである。発話に含まれる各単語の音の特徴は、音響モデルに記録されている音の特徴との比較により決定され、音響スコアとして算出される。また、音響モデルＤＢ２５は、精度が高い、即ちモデルの規模が大きい音響モデル（以後、「高精度音響モデルＨｓｍ」と呼ぶ。）と、高精度音響モデルＨｓｍより精度が低い、即ちモデルの規模が小さい音響モデル（以後、「低精度音響モデルＬｓｍ」と呼ぶ。）と、を備える。音響モデルＤＢ２５は、本発明の音響モデル記憶部に相当する。

言語モデルＤＢ２４は、隣り合う単語の組合せの出現確率を記憶したデータベースである。本発明では、例えば統計的言語モデルの一つである単語Ｎグラムモデルが使用される。言語モデルＤＢ２４は、精度が高い言語モデル（以後、「高精度言語モデルＨｌｍ」と呼ぶ。）と、高精度言語モデルＨｌｍより精度が低い言語モデル（以後、「低精度言語モデルＬｌｍ」と呼ぶ。）を備える。言語モデルを用いて言語スコアが計算される。「言語スコア」とは、隣り合う単語の組合せの出現確率（出現頻度）を示す値である。言語モデルＤＢ２４は、本発明の言語モデル記憶部に相当する。

第１パス実行処理部１１は、低精度音響モデルＬｓｍと低精度言語モデルＬｌｍとに基づき、認識結果として単語列の候補及びこれに対応するスコア（トータルスコア）を出力する。トータルスコアについては後述する。第１パス実行処理部１１は、発話データＳａの入力と並行して処理を行い、発話データＳａの入力の終了と同時に認識結果を出力する。第１パス実行処理部１１の詳細な説明は、後述する図２の説明でさらに述べる。

第２パス実行可否判定部１２は、第１パス実行処理部１１の認識結果と、認識を実行する環境に関する情報（以後、「認識環境情報Ｒｉ」と呼ぶ。）と、に基づき、第２パス実行処理部１３により引き続き認識処理を行うか否か判定する。この処理については、後述する［実行可否判定処理］にて詳細を説明する。そして、第２パス実行可否判定部１２は、第２パス実行処理部１３で継続して認識処理を実行すべきと判断した場合、第１パス実行処理部１１の認識結果を第２パス実行処理部１３へ供給する。一方、第２パス実行可否判定部１２は、第２パス実行処理部１３で継続して認識処理を実行すべきでないと判断した場合、第１パス実行処理部１１の認識結果をキーワード抽出部３０へ供給する。

第２パス実行処理部１３は、高精度音響モデルＨｓｍと高精度言語モデルＨｌｍとに基づき、第１パス実行処理部１１で得られた単語列の候補のトータルスコアを再計算する。第２パス実行処理部１３は、上述したように、第２パス実行可否判定部１２が引き続き認識処理を実行すべきと判断した場合のみ認識処理を行う。なお、第２パス実行処理部１３は、発話データＳａの入力終了後に実行される。

キーワード抽出部３０は、認識結果として得られたトータルスコアが最大となる単語列から所定のキーワードを抽出する。キーワードは予め決められており、キーワードと非キーワードとを識別する情報が辞書に記憶されている。例えば、辞書に記憶された多数の単語のうち、キーワードにはそれを示すキーワードフラグが付加されている。なお、好適には、本発明の音声認識手法が適用される機器の操作コマンドなどがキーワードとして設定される。

次に、図２を参照して音声認識装置が実行する処理について引き続き説明する。

図２は、音声認識装置が実行する処理のブロック図を示す。図２では、第１パス実行処理部１１は、音声区間切り出し部１１ａと、特徴パラメータ計算部１１ｂと、第１パスマッチング処理部１１ｃとを備える。第２パス実行処理部１３は、第２パスマッチング処理部１３ａを備える。また、認識結果出力処理部３１は、図１のキーワード抽出部３０に相当する。

音声区間切り出し部１１ａは、発話データＳａの中から音声区間を検出し、音声区間内の音声データを出力する。つまり、「音声データ」とは、発話データＳａの中から音声に該当する区間だけが切り出されたものを指す。

特徴パラメータ計算部１１ｂは、音声区間切り出し部１１ａで切り出された音声データを単位時間毎に分割し、それぞれにおいて特徴パラメータを計算し、第１パスマッチング処理部１１ｃへ供給する。

次に、第１パスマッチング処理部１１ｃは、単位時間毎に得られた特徴パラメータを低精度言語モデルＬｌｍ、低精度音響モデルＬｓｍにあてはめることによって認識結果を出力するマッチング処理を行う。

具体的には、第１パスマッチング処理部１１ｃは、図示しない辞書ＤＢなどに登録されている単語の組み合わせのうち、音声データに最も適合するものを、音声データの始端から時系列順に探索する。この探索により複数の単語列の候補（以下、「候補パターン」とも呼ぶ。）が作成される。ここで、音声データの始端から途中までをマッチング処理した結果、スコアの低かった組合せについては、以降マッチング処理しないようにする枝刈り処理も行う。第１パスマッチング処理部１１ｃは、複数の候補パターンについて、音響スコア及び言語スコアを計算してトータルスコアを求める。

第１パスマッチング処理部１１ｃが出力する候補パターンの例について図３を用いて例示する。図３は、第１パスマッチング処理部１１ｃの認識結果を表す単語グラフの例を示す。具体的には、図３は、ナビゲーション装置を操作する際に入力された発話データＳａの認識結果を単語グラフで表示したものである。図３では、横軸は時間軸を表し、白丸はノードを表す。また、図３（ａ）は、候補パターンが少ない場合、即ち、各ノードに終端する矢印の数が少ない場合を示し、図３（ｂ）は、候補パターンが多い場合、即ち、各ノードに終端する矢印の数が多い場合を示す。第１パスマッチング処理部１１ｃは、単位時間幅ごと（フレームごと）に得られた特徴パラメータを低精度言語モデルＬｌｍ、低精度音響モデルＬｓｍにあてはめることによって、図３（ａ）または図３（ｂ）に示すような候補パターンを生成する。そして、第１パスマッチング処理部１１ｃが生成した候補パターンは、第２パス実行可否判定部１２に供給される。

第２パス実行可否判定部１２は、上述したように、第１パス実行処理部１１の認識結果と、認識環境情報Ｒｉとに基づき、第２パス実行処理部１３により認識処理を行うか否か判定する。そして、第２パス実行可否判定部１２は、第２パス実行処理部１３による処理が不要と判断した場合、第１パス実行処理部１１の認識結果を認識結果出力処理部３１へ供給する。一方、第２パス実行可否判定部１２は、第２パス実行処理部１３による処理が必要と判断した場合、第１パス実行処理部１１の認識結果を第２パスマッチング処理部１３ａに供給する。

第２パスマッチング処理部１３ａは、第２パス実行可否判定部１２が認識処理を継続すべきと判断した場合に、第１パス実行処理部１１で得られた候補パターンまたはトータルスコアが上位の候補パターンについて、高精度音響モデルＨｓｍと高精度言語モデルＨｌｍとを用いて、トータルスコアを再計算する。そして、第２パスマッチング処理部１３ａは、再計算したトータルスコアに基づき最終結果として出力すべき単語列を確定し、その認識結果を認識結果出力処理部３１に供給する。

認識結果出力処理部３１は、供給された認識結果に基づき、ディスプレイやスピーカなどの出力装置により、所定の画像または音声を出力する。

［実行可否判定処理］
次に、第２パス実行可否判定部１２が実行する処理について詳しく説明する。第２パス実行可否判定部１２は、第１パス実行処理部１１の認識結果と認識環境情報Ｒｉとに基づき、第１パス実行処理部１１の認識結果が信頼できるか否か判断するための信頼度（以後、「信頼度Ｔ」と呼ぶ。）を算出する。そして、第２パス実行可否判定部１２は、信頼度Ｔが所定の閾値（以後、「第１の閾値Ｔｔｈ１」と呼ぶ。）より大きい場合、または、信頼度Ｔが所定の閾値（以後、「第２の閾値Ｔｔｈ２」と呼ぶ。）より小さい場合、第２パス実行処理部１３の処理は不要であると判断する。このようにすることで、音声認識装置は、処理量を削減し、レスポンスを向上させる。

これについて図４を用いてさらに説明する。図４は、信頼度Ｔに基づき音声認識装置が実行する処理を示した図である。図４において、「第１パス処理」とは、第１パス実行処理部１１が実行する処理を示し、「第２パス処理」とは、第２パス実行処理部１３が実行する処理を示す。図４に示す第１の閾値Ｔｔｈ１及び第２の閾値Ｔｔｈ２は、実験等により適切な値に設定される。なお、信頼度Ｔの算出方法については、別途詳しく説明する。

図４に示すように、音声認識装置は、信頼度Ｔが第２の閾値Ｔｔｈ２より小さい場合、第１パス処理のみを実行する。即ち、この場合、第２パス実行可否判定部１２は、信頼度Ｔが第２の閾値Ｔｔｈ２より小さいことから、第２パス処理を実行しても正しい認識結果を得ることができないと判断する。従って、この場合、第２パス実行可否判定部１２は、第２パス処理を実行すべきではないと判断する。このように、第２の閾値Ｔｔｈ２は、第２パス処理を実行することにより正しい認識結果を得る可能性がある信頼度Ｔの下限値に設定される。以上のように、音声認識装置は、信頼度Ｔが第２の閾値Ｔｔｈ２より小さい場合には第１パス処理のみを実行することで、無駄な処理を削減し、レスポンスを向上させることができる。

また、音声認識装置は、信頼度Ｔが第１の閾値Ｔｔｈ１より大きい場合、第１パス処理のみを実行する。即ち、この場合、第２パス実行可否判定部１２は、信頼度Ｔが第１の閾値Ｔｈ１より大きいことから、第１パス処理の認識結果は正しい可能性が高いと判断する。従って、この場合、第２パス実行可否判定部１２は、第２パス処理を実行すべきではないと判断する。このように、第１の閾値Ｔｔｈ１は、第２パス処理を実行することで、第１パス処理よりも精度の高い認識結果を得る可能性がある信頼度Ｔの上限値に設定される。以上のように、音声認識装置は、信頼度Ｔが第１の閾値Ｔｔｈ１より大きい場合には第１パス処理のみを実行することで、不要な処理を削減し、レスポンスを向上させることができる。

一方、音声認識装置は、信頼度Ｔが第２の閾値以上であり、かつ、第１の閾値以下の場合、第１パス処理に加えて、第２パス処理を実行する。即ち、第２パス実行可否判定部１２は、第１パス処理の認識結果に基づき第２パス処理を実行することで、より精度の高い認識結果を得ることができると判断する。従って、第２パス実行可否判定部１２は、第２パス処理を実行すべきと判断する。このように、音声認識装置は、信頼度Ｔが第２の閾値以上であり、かつ、第１の閾値以下の場合に第２パス処理を実行することで、より精度の高い認識結果を得ることができる。

（信頼度の算出方法）
次に、信頼度Ｔの算出方法について具体例を用いて説明する。上述したように、信頼度Ｔは、第１パス実行処理部１１の認識結果と認識環境情報Ｒｉとに基づき決定される。ここで、第２パス実行可否判定部１２は、後述する具体例でも示すように、第１パス実行処理部１１の認識結果として各候補パターンのトータルスコアの差、又は／及びキーワードの候補数などを使用する。また、第２パス実行可否判定部１２は、認識環境情報Ｒｉとして、ＳＮ比などの音響情報や、その他発話データＳａの取得環境を推定可能な外部情報（以後、単に「外部情報」と呼ぶ。）を使用する。外部情報は、例えば音声認識装置が車両に搭載されていた場合には、車両から送信されるエアコンのオンまたはオフに関する情報及び走行速度に関する情報が該当する。

このように、第２パス実行可否判定部１２は、マイクなどの音声入力装置から音響情報を取得すると共に、音声認識装置が搭載されている機器又はその機器と電気的に接続している機器等から外部情報を取得する。そして、第２パス実行可否判定部１２は、所定の式又はマップに基づき、これらの情報から信頼度Ｔを算出する。上述の式又はマップは、実験等により適切に作成され、音声認識装置のメモリ内に保持される。このようにすることで、音声認識装置は、適切に信頼度Ｔを設定し、これに基づき第２パス処理を実行すべきか否かについて判定することができる。

以下、信頼度Ｔを高く設定する場合及び信頼度Ｔを低く設定する場合について具体例を示す。なお、以下に示す項目に複数該当する場合、第２パス実行可否判定部１２は、例えば、各項目間に予め定められた優先順位に従い最も優先順位が高い項目に基づき信頼度Ｔを算出してもよく、または、所定の重み付け等をすることにより各項目を加味して信頼度Ｔを算出してもよい。その他、第２パス実行可否判定部１２は、上述した所定のマップ又は式に基づき信頼度Ｔを算出する。

１．信頼度Ｔを高く設定する例
以下、第２パス実行可否判定部１２が信頼度Ｔを高く設定する例を以下の１−１乃至１−３に挙げる。

１−１．ＳＮ比
第２パス実行可否判定部１２は、ＳＮ比が大きい場合、信頼度Ｔを高く設定する。例えば、第２パス実行可否判定部１２は、ＳＮ比が所定値以上である場合には、第１パス処理のみを実行し、第２パス処理は実行する必要がないと判定する。上述の所定値は、実験等に基づき適切な値に設定される。

これについて補足説明する。一般に、音声認識率はＳＮ比によって変動することが知られている。従って、ＳＮ比が所定値より大きい場合、第１パス処理による認識率（正解率）は高いことが推定される。以上を考慮し、第２パス実行可否判定部１２は、ＳＮ比が所定値以上である場合には、第２パス処理を実行する必要がないと判定する。これにより、第２パス実行可否判定部１２は、不要な処理量を削減することができる。この場合、音声認識装置は、第１パス処理の認識結果のみに基づきトータルスコアが最大である候補パターンを出力すべき単語列として特定する。

１−２．トータルスコア
第２パス実行可否判定部１２は、第１パス処理により得られた候補パターンのうち、トータルスコアが最大となる候補パターンと、２番目に大きくなる候補パターンとのトータルスコアの差分値が大きい程、信頼度Ｔを高く設定する。例えば、第２パス実行可否判定部１２は、上述の差分値が所定値以上である場合、信頼度Ｔを第１の閾値Ｔｔｈ１より高く設定する。上述の所定値は、実験等に基づき適切な値に設定される。

これについて補足説明する。一般に、トータルスコアが最大となる候補パターンが正しい場合、当該候補パターンのトータルスコアと他の候補パターンのトータルスコアとの差が大きいという傾向がある。以上を考慮し、第２パス実行可否判定部１２は、トータルスコアが最大となる候補パターンと２番目に大きくなる候補パターンとのトータルスコアの差分値が所定値以上の場合には、信頼度Ｔを第１の閾値Ｔｔｈ１より高く設定する。これにより、第２パス実行可否判定部１２は、第２パス処理を実行する必要がないと判定し、不要な処理量を削減することができる。この場合、音声認識装置は、第１パス処理の認識結果のみに基づき、トータルスコアが最大である候補パターンを出力すべき単語列として特定する。

１−３．キーワードの候補数
第２パス実行可否判定部１２は、第１パス処理により得られたキーワードに相当する単語の候補が少ない程、信頼度Ｔを高く設定する。例えば、第２パス実行可否判定部１２は、上述の候補が所定値（例えば１）以下の場合、信頼度Ｔを第１の閾値Ｔｔｈ１より高く設定する。上述の所定値は、実験等に基づき適切な値に設定される。

これについて、図３の例を用いて説明する。図３（ａ）の例では、キーワードに候補として「２００メータスケール」が一意に認識されている。即ち、第１パス処理のみによって目的となるキーワードが一意に認識されている。従って、この場合、第２パス実行可否判定部１２は、信頼度Ｔを第１の閾値Ｔｔｈ１より高く設定する。一方、図３（ｂ）の例では、キーワードに相当する候補として「１００メータスケール」、「２００メータスケール」、「５００メータスケール」というように複数の候補が認識されている。即ち、第１パス処理によって多数の候補が認識されている。この場合、第２パス実行可否判定部１２は、信頼度Ｔを第１の閾値Ｔｔｈ１より低く設定する。これにより、音声認識装置は、不要な処理量を削減し、結果出力までの処理速度を向上させることができる。

２．信頼度Ｔを低く設定する例
以下、第２パス実行可否判定部１２が信頼度Ｔを低い値に設定する例を２−１乃至２−３に示す。

２−１．音響上の要因
第２パス実行可否判定部１２は、上述したように、音響情報に基づき信頼度Ｔを設定する。例えば、第２パス実行可否判定部１２は、音響上の要因に起因して認識率が極めて低くなる可能性が高いと判断した場合、信頼度Ｔを第２の閾値Ｔｔｈ２より低い値に設定する。以下、音響上の要因として主要な例を挙げる。

２−１−１．ＳＮ比
第２パス実行可否判定部１２は、ＳＮ比が低い程、信頼度Ｔを低い値に設定する。例えば、第２パス実行可否判定部１２は、ＳＮ比が所定値よりも低い場合、第１パス処理の認識結果は信頼性が極めて低いと判断し、信頼度Ｔを第２の閾値Ｔｔｈ２より低い値に設定する。所定値は、実験等に基づき適切な値に設定される。即ち、この場合、第２パス実行可否判定部１２は、第２パス処理を実行しても認識結果を向上することはできないと判断し、第２パス処理を実行しないと判定する。これにより、音声認識装置は、無駄な処理量を削減することができる。

２−１−２．発話スピード
第２パス実行可否判定部１２は、検出された発話スピードと想定している発話スピードとの差が大きい程信頼度Ｔを低い値に設定する。例えば、第２パス実行可否判定部１２は、発話のスピードが所定速度よりも速い場合（「第１所定速度」と呼ぶ。）、又は発話のスピードが所定速度（「第２所定速度」と呼ぶ。）よりも遅い場合、信頼度Ｔを第２の閾値Ｔｔｈ２より低い値に設定する。第１及び第２所定速度は、実験等に基づき適切な値に設定される。即ち、この場合、第２パス実行可否判定部１２は、音響モデルＬｓｍ、Ｈｓｍで想定されている発話スピードと差があり、正しい認識結果が得られる可能性が極めて低いと判断する。従って、この場合、音声認識装置は、信頼度Ｔを第２の閾値Ｔｔｈ２より低い値に設定することで、無駄な処理量を削減することができる。

なお、第２パス実行可否判定部１２は、例えば発話データＳａの入力時間幅を認識した文字数で除することで、発話スピードを算出する。

２−１−３．音声の大きさ
第２パス実行可否判定部１２は、入力された音声の大きさ（即ち入力された音声データの信号レベル）と想定している音声の大きさとの差が大きい程、信頼度Ｔを低い値に設定する。例えば、第２パス実行可否判定部１２は、音声の大きさが所定値（「第１所定値」と呼ぶ。）より大きい場合、または、所定値（「第２所定値」と呼ぶ。）より小さい場合、信頼度Ｔを第２の閾値Ｔｔｈ２より低い値に設定する。第１及び第２所定値は、実験等に基づき適切な値に設定される。即ち、この場合、第２パス実行可否判定部１２は、各モデルで想定されている音声の大きさと差があり、第２パス処理を実行しても正しい認識結果が得られる可能性が極めて低いと判断する。これにより、音声認識装置は、信頼度Ｔを適切に設定し、無駄な処理量を削減することができる。

２−１−４．突発性雑音の有無
第２パス実行可否判定部１２は、発話データＳａに非定常性の雑音、即ち、突発的な雑音が含まれる場合、信頼度Ｔを低い値に設定する。例えば、第２パス実行可否判定部１２は、発話データＳａに非定常性の雑音が含まれる場合、第２の閾値Ｔｔｈ２より低い値に設定する。他の例として、第２パス実行可否判定部１２は、発話データＳａ中に所定個数以上の非定常性雑音が含まれていた場合、信頼度Ｔを第２の閾値Ｔｔｈ２より低い値に設定する。上述の所定個数は、実験等に基づき適切な値に設定される。これによっても、音声認識装置は、信頼度Ｔを適切に設定し、無駄な処理量を削減することができる。

２−２．キーワードの候補数
第２パス実行可否判定部１２は、第１パス処理により得られたキーワードに相当する単語の候補が多い程、信頼度Ｔを低い値に設定する。例えば、第２パス実行可否判定部１２は、上述の候補が所定値以上の場合、信頼度Ｔを第２の閾値Ｔｔｈ２より低く設定する。上述の所定値は、実験等に基づき適切な値に設定される。一般に、辞書ＤＢ等に登録されていない未知語が入力された場合、単語の候補数が多くなる傾向がある。従って、第２パス実行可否判定部１２は、キーワードに相当する単語の候補が所定値以上の場合、信頼度Ｔを第２の閾値Ｔｔｈ２より低く設定することで、無駄な処理量を削減することができる。

これについて、図３（ｂ）の例を用いて具体的に説明する。図３（ｂ）の例では、キーワードの候補は、「５００メータスケール」、「１００メータスケール」、「２００メータスケール」の３つが存在している。従って、この場合、第２パス実行可否判定部１２は、上述の所定値を３と設定していた場合には、信頼度Ｔを第１の閾値Ｔｔｈ１より低い値に設定する。

２−３．外部要因
第２パス実行可否判定部１２は、取得した外部情報に基づき正しい認識結果が得られる可能性が低いことが推定される場合、信頼度Ｔを低い値に設定する。これによっても、第２パス実行可否判定部１２は、適切に信頼度Ｔを設定することができる。

以下、音声認識装置が車両に搭載されている場合を例にして説明する。第２パス実行可否判定部１２は、車両からエアコンの作動の有無、車両の走行速度、車両に備わる窓の開閉に関する情報を取得する。そして、第２パス実行処理部１３は、これらの情報に基づき信頼度Ｔを決定する。例えば、第２パス実行処理部１３は、エアコンが作動している場合、又は／及び、走行速度が大きく窓が開いている場合、信頼度Ｔを第２の閾値Ｔｔｈ２より低い値に設定する。

このように、第２パス実行処理部１３は、外部情報に基づき適切に信頼度Ｔを設定することができる。

以上説明したように、本実施例による音声認識装置は、１又は複数の音響モデルを記憶する音響モデル記憶部と、１又は複数の言語モデルを記憶する言語モデル記憶部と、低精度音響モデルと低精度言語モデルに基づき、入力された発話信号から単語列の候補及びトータルスコアを決定する第１パス実行処理部と、第１パス実行処理部の認識結果及び／又は認識環境の情報に基づき、第２パス処理を実行すべきか否か判定する第２パス実行可否判定部と、第２パス実行可否判定部が第２パス処理を実行すべきと判定した場合、高精度音響モデル及び高精度言語モデルに基づき、単語列の候補及びスコアを再決定する第２パス実行処理部と、を備える。このように、音声認識装置は、認識結果及び／又は認識環境の情報に基づき、適切に第２パス処理を実行すべきか否か判定することで、不要に第２パス処理を実行するのを抑制することができる。従って、音声認識装置は、処理量を削減し、結果出力までの処理速度を向上させることができる。

［処理フロー］
次に、実施例における処理の手順について説明する。図５は、本実施例において音声認識装置が実行する処理の手順を表すフローチャートの一例である。音声認識装置は、図５に示すフローチャートの処理を発話データＳａが入力された際に繰り返し実行する。

まず、音声認識装置は、第１パス処理を実行する（ステップＳ１０１）。具体的には、音声区間切り出し部１１ａは、発話データＳａから音声データを切り出す。そして、特徴パラメータ計算部１１ｂは、音声区間切り出し部１１ａで切り出された音声データを単位時間毎に分割し、それぞれにおいて特徴パラメータを計算する。そして、第１パスマッチング処理部１１ｃは、単位時間毎に得られた特徴パラメータを低精度言語モデルＬｌｍ、低精度音響モデルＬｓｍにあてはめることによって候補パターン及びトータルスコアを出力する。

次に、音声認識装置は、第２パス処理を実行すべきか否か判定する（ステップＳ１０２）。具体的には、第２パス実行可否判定部１２は、第１パス処理による認識結果及び認識環境情報Ｒｉに基づき、信頼度Ｔを算出する。そして、第２パス実行可否判定部１２は、信頼度Ｔに基づき、第２パス処理を実行すべきか否か判定する。

そして、第２パス処理を実行すべきと判定した場合（ステップＳ１０２；Ｙｅｓ）、即ち、信頼度Ｔが第１の閾値Ｔｔｈ１以下かつ第２の閾値Ｔｔｈ２以上の場合、音声認識装置は、第２パス処理を実行する（ステップＳ１０３）。具体的には、第２パスマッチング処理部１３ａは、第１パス実行処理部１１で得られた候補パターンまたはトータルスコアが上位の候補パターンについて、高精度音響モデルＨｓｍと高精度言語モデルＨｌｍとを用いて、トータルスコアを再計算する。

一方、第２パス処理を実行すべきでないと判定した場合（ステップＳ１０２；Ｎｏ）、即ち、信頼度Ｔが第２の閾値Ｔｔｈ２より小さい場合または信頼度Ｔが第１の閾値Ｔｔｈ１より大きい場合、音声認識装置は、ステップＳ１０４へ処理を進める。これにより、音声認識装置は、不要な処理を削減し、レスポンスを向上させることができる。

そして、音声認識装置は、認識結果を出力する（ステップＳ１０４）。即ち、音声認識装置は、認識結果として得られた単語列を合成音声により出力又はディスプレイ上に出力する。また、音声認識装置は、必要に応じて認識結果として得られた単語列からキーワードを抽出する。

［変形例１］
上述の実施例の説明では、第２パス実行可否判定部１２は、第１パス処理の認識結果及び認識環境情報Ｒｉに基づき、信頼度Ｔを設定した。しかし、本発明が適用可能な方法はこれに限定されない。これに代えて、またはこれに加えて、第２パス実行可否判定部１２は、第１パス処理と並行して音節、音素単位のサブワード認識を行い、サブワード認識により得られたスコアと第１パス処理により得られたスコアとのスコア差（以後、単に「スコア差」と呼ぶ。）に基づき信頼度Ｔを設定してもよい。これにより、第２パス実行可否判定部１２は、第２パス処理を実行すべきか否かについてより適切に判断をすることができる。

これについて、図６を用いて具体的に説明する。図６は、変形例１に係る音声認識装置のブロック図の一例である。図６に示すように、音声認識装置は、サブワード認識処理部４１と、音響モデルＤＢ４２と、を備える。

サブワード認識処理部４１は、発話データＳａに含まれる音声データを、音響モデルＤＢ４２に格納される音響モデルに基づきサブワード単位で解析を行い、音声データ全体を評価する。そして、サブワード認識処理部４１は、所定のスコアを算出する。サブワード認識処理部４１は、認識結果を第２パス実行可否判定部１２へ供給する。

音響モデルＤＢ４２は、サブワード認識を実行するための音響モデルを格納する。この種の音響モデルとして、例えばフィラーモデルなどの音響モデルが挙げられる。

第２パス実行可否判定部１２は、サブワード認識処理部４１により得られた最良のスコアと第１パス処理により得られた最良のトータルスコアとのスコア差を算出する。そして、第２パス実行可否判定部１２は、スコア差に基づき信頼度Ｔを設定する。

例えば、第２パス実行可否判定部１２は、スコア差が所定の閾値よりも大きい場合、信頼度Ｔを第２の閾値Ｔｔｈ２より低い値に設定する。上述の閾値は、実験等に基づき適切な値に設定される。即ち、この場合、第２パス実行可否判定部１２は、第１パス処理により得られた認識結果は信頼性が低く、第２パス処理を実行しても正しい結果を得られる可能性は低いと判断し、第２パス処理は実行しない。一方、第２パス実行可否判定部１２は、スコア差が所定の閾値より小さい場合、信頼度Ｔを第１の閾値Ｔｔｈ１より高い値に設定する。即ち、この場合、第２パス実行可否判定部１２は、第１パス処理により得られた認識結果は信頼性が高いと判断し、第２パス処理は実行しない。

以上のように、第２パス実行可否判定部１２は、第１パス処理と並行してサブワード認識を行い、サブワード認識のスコアと第１パス処理のトータルスコアとのスコア差とに基づき信頼度Ｔを設定することで、不要な処理を削減することができる。

なお、図６の説明では、サブワード認識処理部４１は、ディクテーション部１０が使用する音響モデルとは別の音響モデルを使用していたが、これに代えて、ディクテーション部１０が使用する音響モデルと同一の音響モデルを使用してもよい。これにより、音声認識装置は、使用するメモリ量を削減することができる。

［変形例２］
上述の実施例の説明では、音声認識装置は、第１パス実行処理部１１と第２パス実行処理部１３とによる２パス探索方式を実行していた。即ち、音声認識装置は、認識処理を２回実行していた。しかし、本発明が適用可能な方法はこれに限定されない。これに代えて、音声認識装置は、認識処理を３回以上実行してもよい。

この場合であっても、音声認識装置は、上述の実施例の構成に加えて、第２パス実行処理部１３以降の各認識処理部間に、次の認識処理を実行すべきか否かを入力された認識結果及び認識環境情報Ｒｉに基づき判定する判定部を設ける。このとき、各認識処理部は、例えば後続の認識処理部ほど精度が高い言語モデル及び音響モデルを用いる。また、言語モデルＤＢ２４と音響モデルＤＢ２５は、例えば認識処理の個数に応じて精度の異なる言語モデル又は音響モデルを備える。そして、音声認識装置は、当該判定部が次の認識処理を実行すべきと判定した場合に限り後続の認識処理を実行する。このように、音声認識装置は、認識処理を３回以上実行する方式であっても、本発明を適用することで、不要な処理を削減し、レスポンスを向上させることができる。

［変形例３］
上述の実施例の１−３及び２−２での説明では、第２パス実行可否判定部１２は、信頼度Ｔを決定する方法の１つとして、キーワードの候補の数に基づき信頼度Ｔを決定していた。これに代えて、第２パス実行可否判定部１２は、単語グラフの各ノードに終端する単語数に基づき信頼度Ｔを決定してもよい。

これについて、具体的に説明する。第２パス実行可否判定部１２は、図３に示すような単語グラフから各ノードに終端する単語数、即ち、各ノードへ入力される矢印の数を算出する。そして、第２パス実行可否判定部１２は、各ノードに終端する単語数の平均値又はこれに相当する計算値が所定の閾値より小さい場合、信頼度Ｔを第１の閾値Ｔｔｈ１より高い値に設定する。一方、第２パス実行可否判定部１２は、各ノードに終端する単語数の平均値等が、上述の閾値より大きい値に設定される所定の閾値より大きい場合、信頼度Ｔを第２の閾値Ｔｔｈ２より低い値に設定する。これらの閾値は、実験等に基づき適切な値に設定される。これによっても、第２パス実行可否判定部１２は、信頼度Ｔを適切に設定することができ、不要な処理を削減することができる。

［変形例４］
上述の実施例の説明では、第２パス実行可否判定部１２は、第１パス処理の認識結果及び認識環境情報Ｒｉに基づき、信頼度Ｔを設定した。これに代えて、第２パス実行可否判定部１２は、第１パス処理の認識結果または認識環境情報Ｒｉのいずれか一方に基づき、信頼度Ｔを設定してもよい。また、上述したように、第２パス実行可否判定部１２は、認識環境情報Ｒｉを用いて信頼度Ｔを設定する場合、先に例示した複数の音響情報又は外部情報のうちいずれか１つ又は複数の情報に基づき信頼度Ｔを設定してもよい。

［変形例５］
上述の実施例の説明では、第２パス実行処理部１３は、第１パス実行処理部１１が使用する低精度音響モデルＬｓｍ及び低精度言語モデルＬｌｍより精度が高い高精度音響モデルＨｓｍ及び高精度言語モデルＨｌｍを使用した。しかし、本発明が適用可能な方法はこれに限定されない。これに代えて、第２パス実行処理部１３は、第１パス実行処理部１１が使用する音響モデル及び言語モデルと同一の音響モデル及び言語モデルを使用してもよい。この場合、言語モデルＤＢ２４と音響モデルＤＢ２５は、少なくとも１つの言語モデル又は音響モデルを備える。

［適用分野］
本発明は、音声認識処理を行う各種の機器に適用することができる。例えば、カーナビゲーション装置、携帯電話、パーソナルコンピュータ、ＡＶ機器、家電製品など、音声入力機能を備える各種の機器に適用することができる。

１０ディクテーション部
１１第１パス実行処理部
１２第２パス実行可否判定部
１３第２パス実行処理部
２４言語モデルＤＢ
２５、４２音響モデルＤＢ
３０キーワード抽出部
３１認識結果出力処理部
４１サブワード認識処理部

請求項１２に記載の発明は、１又は複数の音響モデルを記憶する音響モデル記憶部と、１又は複数の言語モデルを記憶する言語モデル記憶部と、を利用する音声認識方法であって、前記音響モデルと前記言語モデルに基づき、入力された発話信号から単語列の候補及びスコアを決定する第１パス処理工程と、前記第１パス処理手段の認識結果及び／又は認識環境の情報に基づき、第２パス処理を実行すべきか否か判定する第２パス実行可否判定工程と、前記第２パス実行可否判定工程が第２パス処理を実行すべきと判定した場合、前記音響モデル及び前記言語モデルに基づき、前記候補及び前記スコアを再決定する第２パス処理工程と、を備えることを特徴とする。

請求項１３に記載の発明は、１又は複数の音響モデルを記憶する音響モデル記憶部と、１又は複数の言語モデルを記憶する言語モデル記憶部と、を利用するコンピュータにより実行される音声認識プログラムであって、前記音響モデルと前記言語モデルに基づき、入力された発話信号から単語列の候補及びスコアを決定する第１パス処理手段と、前記第１パス処理手段の認識結果及び／又は認識環境の情報に基づき、第２パス処理を実行すべきか否か判定する第２パス実行可否判定手段と、前記第２パス実行可否判定手段が第２パス処理を実行すべきと判定した場合、前記音響モデル及び前記言語モデルに基づき、前記候補及び前記スコアを再決定する第２パス処理手段と、を備えることを特徴とする。

Claims

１又は複数の音響モデルを記憶する音響モデル記憶部と、
１又は複数の言語モデルを記憶する言語モデル記憶部と、
前記音響モデルと前記言語モデルに基づき、入力された発話信号から単語列の候補及びスコアを決定する第１パス処理手段と、
前記第１パス処理手段の認識結果及び／又は認識環境の情報に基づき、第２パス処理を実行すべきか否か判定する第２パス実行可否判定手段と、
前記第２パス実行可否判定手段が第２パス処理を実行すべきと判定した場合、前記音響モデル及び前記言語モデルに基づき、前記候補及び前記スコアを再決定する第２パス処理手段と、
を備えることを特徴とする音声認識装置。
前記第２パス処理手段は、前記第２パス実行可否判定手段が前記第２パス処理を実行すべきと判定した場合、前記第１パス処理手段で使用された音響モデル及び言語モデル以上の精度を具備する音響モデル及び言語モデルに基づき、前記候補及び前記スコアを再決定することを特徴とする請求項１に記載の音声認識装置。
前記第２パス実行可否判定手段は、前記認識結果及び／又は前記情報に基づき前記認識結果の信頼度を算出し、当該信頼度が第１の閾値よりも高い場合又は第２の閾値よりも低い場合、前記第２パス処理を継続すべきではないと判定する請求項１又は２に記載の音声認識装置。
前記第２パス実行可否判定手段は、前記第１パス処理により決定された前記単語列を構成する各単語の候補数に基づき前記信頼度を決定することを特徴とする請求項３に記載の音声認識装置。
前記第２パス実行可否判定手段は、前記第１パス処理により決定されたキーワードの候補数が第１所定個数以下の場合に前記信頼度を第１の閾値より高い値に設定し、当該候補数が第２所定個数以上の場合に前記信頼度を第２の閾値より低い値に設定することを特徴とする請求項４に記載の音声認識装置。
前記第２パス実行可否判定手段は、ＳＮ比が第１所定値より大きい場合に前記信頼度を第１の閾値より高く設定し、ＳＮ比が第２所定値より小さい場合に前記信頼度を第２の閾値より低く設定する請求項３乃至５のいずれか一項に記載の音声認識装置。
前記第２パス実行可否判定手段は、前記スコアのうち最良スコアと２番目に良いスコアとの差が所定値より大きい場合、前記信頼度を前記第１の閾値よりも高く設定することを特徴とする請求項３乃至６のいずれか一項に記載の音声認識装置。
前記第２パス実行可否判定手段は、発話スピード、音声の大きさ、及び突発性雑音の有無の少なくとも１つに基づき前記信頼度を決定することを特徴とする請求項３乃至７のいずれか一項に記載の音声認識装置。
車両に搭載され、
前記第２パス実行可否判定手段は、前記車両の状態を示す情報に基づき前記信頼度を決定する請求項３乃至８のいずれか一項に記載の音声認識装置。
前記第１パス処理手段と並行して実行され、前記発話信号に基づきサブワード単位の解析を行うことでスコアを算出するサブワード認識手段をさらに備え、
前記第２パス実行可否判定手段は、サブワード認識手段により得られた最良スコアと第１パス処理手段により得られた最良スコアとのスコア差に基づき前記信頼度を決定する請求項３乃至９のいずれか一項に記載の音声認識装置。
１又は複数の音響モデルを記憶する音響モデル記憶部と、１又は複数の言語モデルを記憶する言語モデル記憶部と、を利用する音声認識方法であって、
前記音響モデルと前記言語モデルに基づき、入力された発話信号から単語列の候補及びスコアを決定する第１パス処理工程と、
前記第１パス処理手段の認識結果及び／又は認識環境の情報に基づき、第２パス処理を実行すべきか否か判定する第２パス実行可否判定工程と、
前記第２パス実行可否判定工程が第２パス処理を実行すべきと判定した場合、前記音響モデル及び前記言語モデルに基づき、前記候補及び前記スコアを再決定する第２パス処理工程と、
を備えることを特徴とする音声認識方法。
１又は複数の音響モデルを記憶する音響モデル記憶部と、１又は複数の言語モデルを記憶する言語モデル記憶部と、を利用するコンピュータにより実行される音声認識プログラムであって、
前記音響モデルと前記言語モデルに基づき、入力された発話信号から単語列の候補及びスコアを決定する第１パス処理手段と、
前記第１パス処理手段の認識結果及び／又は認識環境の情報に基づき、第２パス処理を実行すべきか否か判定する第２パス実行可否判定手段と、
前記第２パス実行可否判定手段が第２パス処理を実行すべきと判定した場合、前記音響モデル及び前記言語モデルに基づき、前記候補及び前記スコアを再決定する第２パス処理手段と、
を備えることを特徴とする音声認識プログラム。
請求項１２に記載のプログラムを記憶したことを特徴とする記憶媒体。