JP3369121B2

JP3369121B2 - 音声認識方法および音声認識装置

Info

Publication number: JP3369121B2
Application number: JP14025199A
Authority: JP
Inventors: 清一三木
Original assignee: NEC Corp
Current assignee: NEC Corp
Priority date: 1999-05-20
Filing date: 1999-05-20
Publication date: 2003-01-20
Anticipated expiration: 2019-05-20
Also published as: JP2000330586A

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、連続的に発生され
た音声を認識する方法および装置に関する。

【０００２】

【従来の技術】音声認識装置の一例として、特開平9-28
1989号公報には、言語的な評価処理において無駄な照合
を省略し、もって現実的な時間で認識処理を行えるよう
にした音声認識装置が開示されている。図９に、この音
声認識装置の概略構成を示す。図９に示すように、上記
公報の音声認識装置は、音韻認識部１１０、音素モデル
記憶部１１１、言語処理部１２０、候補記憶部１２１、
結果記憶部１２２、辞書記憶部１３０、言語情報記憶部
１３０、構文規則記憶部１４０、言語情報記憶部１５０
からなる。

【０００３】音韻認識部１１０は、入力された音声を音
韻単位に分割し（セグメンテーション）、該分割区間の
それぞれの状態について音素モデル記憶部１１１を参照
しながら認識を行い、該音韻認識結果として音韻単位の
グラフ表現（単語の音韻構造をネットワークによって表
現した音韻グラフ）を出力する。この音韻認識部１１０
から出力される音韻グラフは、発話の開始を開始ノード
とし、発話の終了を終了ノードとする複数のノードによ
り接続されたネットワークモデルであって、各ノード区
間の状態が音韻記号や疑似音韻記号により表わされ、状
態間の遷移を表わすアークが付与された構成となってい
る。各アークは認識された音韻単位に対応しており、そ
れぞれ音韻照合スコアと音韻単位のモノグラムのスコア
が認識スコアとして付与される。この認識スコアは、ノ
ード区間の認識された音韻候補の確からしさの尺度、ま
たはアークの遷移確率を示す。各ノードには、そのノー
ドから終了ノード（発話の終了）までの最良のスコアが
付与される。

【０００４】言語処理部１２０は、音韻認識部１１０か
ら出力された音韻グラフをもとにして、認識できる単語
の情報を蓄えた辞書記憶部１３０と、品詞から受理でき
る文を記述した構文規則記憶部１４０と、統計的な言語
情報を蓄えた言語情報記憶部１５０とを用いて最終的な
認識を行う。

【０００５】次に、上述の音声認識装置における音韻認
識の具体的な処理の流れを図１０を参照して説明する。

【０００６】音声が入力されると、音韻認識部１１０が
その入力音声について音韻認識を行って音韻グラフを作
成する（ステップＳ１０１）。この音韻グラフは言語処
理部１２０に供給され、言語処理部１２０にて以下のス
テップＳ１０２〜Ｓ１０９の言語処理が実行される。

【０００７】まず、処理中の候補を記憶しておく候補記
憶部を初期化して初期候補が１つだけ入っている状態に
する（ステップＳ１０２）。次いで、候補記憶部が空で
ないことを確認した上でその候補記憶部から最もスコア
の良い候補を取り出す（ステップＳ１０３、Ｓ１０
４）。ただし、最初は、上記ステップＳ１０２で用意し
た初期候補が取り出される。

【０００８】ステップＳ１０４で最もスコアの良い候補
が取り出されると、続いて、その取り出された候補につ
いて、照合が音韻グラフの最後まで到達しているか否か
の判定を行う（ステップＳ１０５）。照合が音韻グラフ
の最後まで到達していて、文として成立していれば、そ
の候補を結果記憶部に移し（ステップＳ１０６）、到達
していなければ、ステップＳ１０９に移って取り出した
候補の言語照合処理に入る。

【０００９】上記ステップＳ１０６で候補が結果記憶部
に移されると、続いて結果記憶部に移された候補の数が
十分であるか否かの判定を行う（ステップＳ１０７）。
不十分であれば、上記ステップＳ１０３へ戻り、十分で
あれば、結果記憶部に移された候補を認識結果として出
力する（ステップＳ１０８）。このステップＳ１０８の
認識結果出力は、上記ステップＳ１０３で候補記憶部が
空となった場合にも行われる。

【００１０】上述の音韻認識処理では、言語照合処理は
処理の終わったノードから続くノードに処理が進むこと
になる。具体的には、辞書記憶部１３０と構文規則記憶
部１４０とを用いて受理され得るノードを選択して新た
な候補とし、その候補の言語的評価を行ってスコアをつ
けるといった処理が順次行われる。ここでは、言語情報
記憶部１５０を参照して評価スコアを得る。この評価ス
コアには、音韻グラフ上の予測スコアも含まれる。

【００１１】以上説明した従来の音声認識装置において
は、予測スコアが実際のスコアを下回らないという条件
を満たす場合、認識結果は得られた順に、よりよい評価
スコアが得られることになる。すなわち、ある入力音声
から得られた音韻グラフに対し、その音韻グラフの始端
から終端までの認識結果をスコア順に得ることができ
る。例えば、候補記憶部に記憶する候補の数、認識結果
記憶部に記憶する認識結果の数をそれぞれ制限しなけれ
ば、音韻グラフ中の始端から終端までをつなぐ、全ての
認識結果をスコア順に得ることができる。

【００１２】

【発明が解決しようとする課題】入力音声全体について
得られた一位認識結果中の部分単語列または部分文字列
に間違いがある場合、その部分についてのみ修正できれ
ば認識処理を効率的に行うことができる。しかしなが
ら、上述した従来の音声認識装置は、入力音声全体につ
いて複数の認識結果候補を得、これら候補のうちから評
価スコアの良い順に候補が選択されるようになっている
ため、そのような一位認識結果中の部分単語列または部
分文字列の修正を行うことはできなかった。

【００１３】本発明の目的は、入力音声全体について得
られた認識結果中の部分単語列または部分文字列を任意
に指定して修正することができる、音声認識方法および
音声認識装置を提供することにある。

【００１４】

【課題を解決するための手段】上記目的を達成するた
め、本発明の音声認識装置は、入力音声を言語的単位に
認識し、該言語的単位に対応したアークで単語列が表現
されたグラフを生成する音声認識手段と、任意の時間区
間を指定するための区間指定手段と、前記音声認識手段
により生成されたグラフ中の前記区間指定手段により指
定された任意の時間区間について複数の認識結果を生成
する言語処理手段とを有することを特徴とする。

【００１５】また、本発明の音声認識方法は、入力音声
を言語的単位に認識し、該言語的単位に対応したアーク
で単語列が表現されたグラフを生成する音声認識ステッ
プと、前記音声認識ステップで生成されたグラフ中の任
意に指定された時間区間について複数の認識結果を生成
する言語処理ステップとを含むことを特徴とする。

【００１６】（作用）上記のとおりの本発明において
は、入力音声から得られたグラフの任意の時間区間につ
いて複数の認識結果が生成されるので、入力音声全体に
ついて得られた一位認識結果中の部分単語列または部分
文字列に間違いがある場合、その部分について複数の認
識結果を得ることができる。ユーザは、これら認識結果
から任意に正当な結果を選択することで、間違い箇所を
修正することができる。

【００１７】

【発明の実施の形態】次に、本発明の実施形態について
図面を参照して説明する。

【００１８】図１に本発明の音声認識装置の一実施形態
を示す。本形態の音声認識装置は、音声認識部１０、標
準パターン記憶部１１、言語処理部２０、候補記憶部２
１、結果記憶部２２、区間指定部２３、予測スコア計算
部２４、言語情報記憶部３０から構成されている。

【００１９】音声認識部１０は、入力された音声を分析
して得られるパラメータベクトル列に対し、標準パター
ン記憶部１１に記憶されている標準パターンと言語情報
記憶部３０に記憶されている辞書情報・言語情報を用い
て、言語的単位を単位とするグラフ（以下、ワードグラ
フ）を生成する。入力された音声の分析には、たとえ
ば、フィルタバンク、フーリエ変換、線形予測係数型分
析器などを用いる。ワードグラフの言語的単位としては
音素・音節・単語などを用いることができる。

【００２０】ワードグラフでは、アークで言語的単位を
表わすこととし、各アークには該言語的単位の、分析さ
れた入力音声の対応する部分と標準パターンとの近さを
表わす音響スコア（音響的な確からしさの尺度を示す）
が付与される。ワードグラフは、一つの開始ノードと一
つの終了ノードを持ち、これらはそれぞれ入力音声の始
端と終端に対応する。ワードグラフのノードは、入力音
声での時間位置に対応する情報を持つ。

【００２１】標準パターン記憶部１１には、あらかじめ
分析された音声が記憶されている。たとえば、音素単
位、前後の環境を考慮した音素単位、音節単位、単語単
位で音声が記憶される。

【００２２】言語処理部２０は、音声認識部１０から与
えられるワードグラフをもとにして、言語情報記憶部３
０に記憶されている言語情報、ワードグラフに付与され
ている音響スコア、予測スコア計算部２４にてワードグ
ラフのノード毎に得られる予測スコアをそれぞれ用いて
認識結果候補の評価スコアを計算するとともに、言語処
理中の認識結果候補を候補記憶部２１に記憶させ、言語
処理の終了した認識結果候補を認識結果として結果記憶
部２２に記憶させることで、区間指定部２３で指定され
た区間に対応するワードグラフ中の区間に対し、評価ス
コア順に認識結果を求める。

【００２３】候補記憶部２１は、言語処理部２０におい
てワードグラフが処理されている際に得られる認識結果
候補を評価スコアのよい順に並べ替えて記憶する。ここ
で、認識結果候補は、少なくとも候補の評価スコア、候
補の途中のスコア、最近に処理したノード番号、０か１
の値がセットされる処理終了フラグを最低限情報として
持つ。

【００２４】結果記憶部２２は、言語処理部２０にてワ
ードグラフが処理されて得られる認識結果を得られた順
に記憶する。区間指定部２３は、認識結果を求めたい時
間区間を与える。ユーザはこの区間指定部２３を用いて
直接、入力音声内での時間や、入力全体に対する一位認
識結果（最も確かな認識結果）中の部分単語列や部分文
字列を指定することができる。この区間指定部２３は、
キー入力手段などを用いても実現することができる。

【００２５】上記区間指定部２３によって一位認識結果
中の部分単語列が指定された場合は、対応するワードグ
ラフのパスの、最初のアークの始端ノードに記録されて
いる時間を区間の開始時間とし、最後のアークの終端ノ
ードに記録されている時間を区間の終了時間とする。一
位認識結果中の部分文字列が指定された場合、対応する
ワードグラフのパスの、最初のアークについて、アーク
に付与された言語的単位と指定された文字列との対応
と、アークの始端ノード・終端ノードにそれぞれ記録さ
れた時間から、区間の開始時間の推定値を求める。これ
と同様にして、最後のアークについても区間の終了時間
の推定値を求める。

【００２６】予測スコア計算部２４は、言語処理部２０
で処理対象となっているワードグラフの各ノードに対し
て、言語情報記憶部３０に記憶されている言語情報とワ
ードグラフに付与されている音響スコアを用いて、その
ノードから開始ノード方向に計算された後ろ向き予測ス
コアとそのノードから終了ノード方向に計算された前向
き予測スコアを与える。なお、これら予測スコアは、必
要なノードについてのみ計算してもよいし、全ノードに
ついて計算してもよい。また、言語情報によっては、動
的計画法を用いることで予測スコアを高速に計算するこ
とができる。

【００２７】言語情報記憶部３０は、音声認識部１０と
言語処理部２０で用いられる辞書情報・言語情報を記憶
する。辞書情報は、ワードグラフの言語的単位を規定す
る。言語情報はなくてもよいが、言語的単位に関する制
約を用いることでより精度の高い認識結果候補を得るこ
とができる。言語情報としては、たとえば単語に対して
単語ｎ−ｇｒａｍ、単語間接続可否判定表、単語品詞間
接続可否判定表などを用いることができる。

【００２８】次に、本形態の音声認識装置の全体の動作
を図２のフローチャートを参照して詳細に説明する。

【００２９】音声が入力されると、音声認識部１０がそ
の入力された音声に対して音韻認識処理を行ってワード
グラフを作成する（ステップＳ１）。ワードグラフは、
入力音声での時間位置に対応するノードとそれを結ぶア
ークからなり、アークには始端ノード、終端ノード、対
応する言語的単位、音響スコアが記録される。このよう
なワードグラフの作成には、たとえば「Computer Speec
h and Language (1997) 11, pp43-72」に示されている
ような方法を適用することができる。

【００３０】ワードグラフが作成されると、続いて、予
測スコア計算部２４がそのワードグラフの各ノードに対
して、開始ノードからそのノードに至るパスの最適なス
コア（以下、後ろ向き予測スコア）を計算する（ステッ
プＳ２）。パスのスコアは、パスを構成するアークに付
与されている音響スコアとアークの言語的単位の連鎖と
言語情報記憶部３０により与えられる言語スコアを重み
付けして合計した値である。言語情報記憶部３０により
与えられる言語情報が２つ以下の言語的単位により決ま
る場合、この計算は開始ノードから終了ノード方向に動
的計画法を用いて処理することで、ワードグラフのノー
ド数に比例した時間で行うことができる。後ろ向き予測
スコアが計算されると、続いて、予測スコア計算部２４
がワードグラフの各ノードに対して、そのノードから終
了ノードに至るパスの最適なスコア（以下、前向き予測
スコア）を計算する（ステップＳ３）。この計算におい
ても、言語情報記憶部３０により与えられる言語情報が
２つ以下の言語的単位により決まる場合は、終了ノード
から開始ノード方向に動的計画法を用いて処理すること
で、ワードグラフのノード数に比例した時間で行うこと
ができる。

【００３１】次いで、言語処理部２０が区間指定部２３
により指定された音声認識結果の候補を得たい時間区間
を表わす開始時間、終了時間および該時間区間の許容範
囲を表わす所定の誤差に基づいて、ワードグラフ中の区
間始端ノード群、区間終端ノード群、区間内ノード群を
それぞれ求める（ステップＳ４）。区間始端ノード群
は、ワードグラフ中のノードのうちの「開始時間−誤
差」から「開始時間＋誤差」の間に存在する全てのノー
ドである。区間終端ノード群は、ワードグラフ中のノー
ドのうちの「終了時間−誤差」から「終了時間＋誤差」
の間に存在する全てのノードである。区間内ノード群
は、ワードグラフ中のノードのうちの「開始時間−誤
差」から「終了時間＋誤差」の間に存在する全てのノー
ドである。なお、このステップＳ４で、区間始端ノード
群または区間終端ノード群のどちらかが空となった場合
は、言語処理部２０は認識結果が得られない旨を示し処
理を終了する。

【００３２】区間始端ノード群、区間終端ノード群、区
間内ノード群が求められると、続いて、言語処理部２０
は、区間始端ノード群のすべてのノードに対し、そのノ
ードから続く区間内ノード群のノードを接続して得られ
る認識結果候補を候補記憶部２１に記憶する（ステップ
Ｓ５）。この候補記憶部２１に記録される認識結果候補
には、既に処理が済んだワードグラフ中のノード列（区
間内ノード群に限る）、評価スコア、途中スコア、処理
終了フラグの各情報が含まれる。例えば、途中スコアと
して、区間始端ノードの後ろ向き予測スコア、区間始端
ノードから続く区間内ノード群のノードを接続したアー
クの音響スコア（ワードグラフに記述）、言語情報記憶
部３０により得られる言語スコアをそれぞれ重み付けし
て合計した値を持ち、評価スコアとして、その求められ
た途中スコアと接続した区間内ノード群のノードの前向
き予測スコアを重み付けして合計した値を持ち、処理が
済んだノード列として、区間始端ノードとそれに接続し
た区間内ノード群のノードを持ち、処理終了フラグとし
て０を持つ認識結果候補が候補記憶部２１に記憶され
る。なお、途中スコアには、区間始端ノードに記録され
ている時間と開始時間とのずれに比例したペナルティ
（負方向のスコア）を加えることもできる。

【００３３】認識結果候補が候補記憶部２１に記憶され
ると、続いて、言語処理部２０は、候補記憶部２１が空
かどうかを調べる（ステップＳ６）。空でない場合は、
評価スコアの最も良い認識結果候補を候補記憶部２１内
から取り出すとともに、該候補の情報を候補記憶部２１
内から削除する（ステップＳ７）。そして、その取り出
した認識結果候補が処理終了フラグとして１を持つかど
うか調べる（ステップＳ８）。

【００３４】上記ステップＳ８の処理で、処理終了フラ
グとして１を持たない場合は、言語処理部２０は、取り
出された認識結果候補について以下のような認識結果候
補作成処理を進める（ステップＳ９）。

【００３５】取り出した認識結果候補に記憶されている
ノード列のうちの最も処理の進んだノードが区間終端ノ
ード群に含まれる場合は、その認識結果候補を、処理終
了フラグを１とした新しい認識結果候補として候補記憶
部２１に記憶させる。この場合、評価スコアはそのまま
にしてもよいし、区間終端ノードに記録されている時間
と終了時間とのずれに比例したペナルティを加えてもよ
い。

【００３６】上記に反して、最も処理の進んだノードが
区間終端ノード群に含まれない場合は、そのノードから
続く区間内ノード群のノードを接続して得られる認識結
果候補を候補記憶部２１に記憶させる。この場合、途中
スコアは、認識結果候補に記憶されている途中スコア
と、認識結果候補に記憶されているノード列の最も処理
の進んだノードから続く区間内ノード群のノードを接続
した音響スコアと、言語スコアとを重み付けして合計す
ることで得られる。評価スコアは、新しく求められた途
中スコアと、接続したノードの前向き予測スコアとを重
み付けして得られる。また、この場合、処理が済んだノ
ード列、すなわち認識結果候補に記憶されているノード
列に接続した区間内ノード群のノードを加えたノード列
が記録されるとともに、処理終了フラグとして０が記録
された認識結果候補が候補記憶部２１に記憶される。

【００３７】上記ステップＳ８の処理において、取り出
した認識結果候補が処理終了フラグとして１を持つ場
合、言語処理部２０は、その取り出した認識結果候補の
ノード列を認識結果として結果記憶部２２に記憶させる
（ステップＳ１０）。そして、結果記憶部２２に記憶さ
れた認識結果の個数が所定の個数を越えたかどうか判定
する（ステップＳ１１）。

【００３８】上記ステップＳ１１において、得られた認
識結果の個数が十分な場合、または上述のステップＳ６
において、候補記憶部２１が空の場合は、言語処理部２
０は、結果記憶部２２に記憶させた認識結果を出力して
処理を終了する（ステップＳ１２）。なお、十分な認識
結果が得られていない場合は、言語処理部２０はその旨
出力する。

【００３９】以上の音声認識処理において、上述のステ
ップＳ３までの処理で得られるワードグラフのノードに
対する前向き・後ろ向き予測スコアは、認識結果を求め
る区間に依存しないため、区間を変更して認識結果を求
め直す場合には、ステップＳ４からやり直すだけでよ
い。

【００４０】なお、通常は、一発声に対し一ワードグラ
フが得られるが、複数のワードグラフを連結して一つの
ワードグラフにすることは容易である。よって、本形態
の場合、音声認識部が、連続して入力される複数の入力
音声について、各入力音声毎にグラフを作成し、これら
グラフを連結して１つのグラフを作成するように構成し
てもよい。具体的には、１つ以上のワードグラフを記憶
するグラフ記憶部を持ち、音声認識部が、そのグラフ記
憶部に記憶されたワードグラフを連結するように構成す
る。この場合、複数の入力音声にまたがる時間区間につ
いて、スコア順に異なる複数の音声認識結果を得ること
ができる。またこの場合、言語情報を使用するようにす
れば、複数発声にまたがるコンテキストを利用すること
ができる。

【００４１】次に、本形態の音声認識装置における音声
認識処理について、具体例を挙げて説明する。図３に、
本形態の音声認識装置の音声認識部にて作成されるワー
ドグラフの一例を示す。このワードグラフは、「こちら
では夜はかなり冷え込みます」という文を発声した場合
の音声から得られたもので、開始ノードが「Ｓ」で示さ
れ、終了ノードが「Ｅ」で示されており、その他のノー
ドには時間順に番号がつけられている。アークには単語
が対応している。なお、図３には省略されているが、ア
ークにはその単語の音響スコアが付与されている。ま
た、ワードグラフは同じノードに入るアークに対しては
同じ単語になるように生成されている。ここでは、この
ワードグラフのアーク「ユーモア」（ノード６からノー
ド８へのアーク）の時間区間に対する複数の認識結果を
得る処理の流れを具体的に説明する。

【００４２】まず、前処理としてワードグラフの各ノー
ドに対し、動的計画法を用い、前向き・後ろ向きの予測
スコアを計算する。具体的には、たとえば後ろ向き予測
スコアの場合、あるノードｊに入る全てのアークの始端
ノードｋに対し、Ｓｂ（ノードｊ）＝ｍａｘ（ａ（アークｋｊ）＋ｌ（Ｗ
ｋ，Ｗｊ）＋Ｓｂ（ノードｋ））ノードｋを計算する。ここで、Ｓｂ（ノードｊ）はノードｊの後
ろ向き予測スコア、ａ（アークｋｊ）はノードｋからノ
ードｊに入るアークの音響スコア、Ｗｋはノードｋに入
るアークの単語、ｌ（Ｗｋ，Ｗｊ）は２単語Ｗｋ、Ｗｊ
に関する言語スコアである。

【００４３】ノード番号順（ここでは、「Ｓ」を最初、
「Ｅ」を最後とする。）に上記処理を行うことにより、
ノードｊに入る全てのアークの始端ノードｋに対しＳｂ
（ノードｋ）を計算することができる。この計算の際、
音響スコア、言語スコアのそれぞれに適当な係数を掛け
て重み付けを行ってもよい。言語スコアは、図４に示す
ように２単語に関する表になっている。表を高速に検索
するために高速な検索法（たとえば２分サーチ）を用い
てもよい。得られた予測スコアは、図５に示すようにグ
ラフのノード毎の表として記憶される。図５では一部省
略されているが、実際にはワードグラフの全ノードにつ
いて計算され、記憶される。

【００４４】次に、区間始端ノード群、区間終端ノード
群、区間内ノード群を求める。簡単のため、ここでは、
時間区間の許容範囲を表わす誤差を０とする。図３のワ
ードグラフからは、区間始端ノード群として、アーク
「ユーモア」の始端ノードに記録された時間と同じ時間
のノード「６」が求められ、区間終端ノード群として、
終端ノードに記録された時間と同じ時間を持つノード
「８，９，１０」が求められ、区間内ノード群として、
始端ノードに記録された時間から終端ノードに記録され
た時間の間に含まれるノード「６，７，８，９，１０」
が求められる。

【００４５】次に、区間始端ノード群のすべてのノード
について、それに続く区間内ノード群のノードについて
認識結果候補を作成し、候補記憶部２１に記憶させる。
このとき、候補の評価スコアを計算する。この評価スコ
ア計算は、区間始端ノード群のノードの一つをノードｉ
として、それに続く区間内ノード群のノードｊに対し、ｇ（候補ｉ，ｊ）＝Ｓｂ（ノードｉ）＋ａ（アークｉ
ｊ）＋ｌ（Ｗｉ，Ｗｊ）Ｓ（候補ｉ，ｊ）＝ｇ（候補ｉ，ｊ）＋Ｓｆ（ノード
ｊ）を計算する。ここで、ｇ（候補ｉ，ｊ）は認識結果候補
の途中スコア、Ｓ（候補ｉ，ｊ）は認識結果候補の評価
スコア、候補ｉ，ｊはノード列｛ノードｉ，ノードｊ｝
を持つ認識結果候補、Ｓｆ（ノードｊ）はノードｊの前
向き予測スコアである。図４、図５の表から、図６のよ
うな認識結果候補が候補記憶部２１に記憶される。

【００４６】続く処理では、候補記憶部２１が空でない
ので、評価スコアの最もよい認識結果候補を取り出す。
処理終了フラグが１であれば、結果記憶部２２にノード
列を認識結果として記憶し、そうでない場合は、取り出
した認識結果候補に基づいて新しい認識結果候補を作成
して候補記憶部に記憶させる。具体的には、取り出した
認識結果候補の処理の済んだノード列の最も処理の進ん
だノードをノードｉとして以下のような処理を行う。

【００４７】ノードｉが区間終端ノード群のノードの場
合、処理終了フラグを１とした認識結果候補を候補記憶
部２１に記憶させる。ノードｉが区間終端ノード群のノ
ードでない場合は、それに続く区間内ノード群のノード
ｊに対し、ｇ（候補＋ｊ）＝ｇ（候補）＋ａ（アークｉｊ）＋ｌ
（Ｗｉ，Ｗｊ）Ｓ（候補＋ｊ）＝ｇ（候補＋ｊ）＋Ｓｆ（ノードｊ）を計算する。ここで、「候補」は取り出した認識結果候
補、「候補＋ｊ」は取り出した認識結果候補の処理の済
んだノード列にノードｊを加えたノード列を持つ認識結
果候補である。

【００４８】以上の処理について、図６に示す認識結果
候補が記憶されている場合を例に挙げて以下に具体的に
説明する。

【００４９】まず、評価スコアがもっとも高い認識結果
候補「候補６，７」が取り出される。この取り出された
認識結果候補「候補６，７」は処理終了フラグが１でな
いため、新しい認識結果候補を作成する。ただし、「候
補６，７」に記録されているノード列の最も処理の進ん
だノード７は区間終端ノード群のノードではないため、
新しい認識結果候補として処理終了フラグを１にした認
識結果候補は作成しない。図３のワードグラフでは、ノ
ード列の最も処理の進んだノード７に続く区間内ノード
群のノードはノード１０のみとなっているため、新しい
認識結果候補「候補６，７，１０」のみが作成され、記
憶される。これにより、候補記憶部には図７のような認
識結果候補が記憶される。

【００５０】続いて、図７の認識結果候補のういちから
評価スコアがもっとも高い認識結果候補「候補６，８」
が取り出される。この取り出された認識結果候補「候補
６，８」は処理終了フラグが１でないため、新しい認識
結果候補を作成する。図３のワードグラフでは、「候補
６，８」に記録されているノード列の最も処理の進んだ
ノード８は区間終端ノード群のノードの一つなので、処
理終了フラグを１にした「候補６，８」が新しい認識結
果候補として作成され、記憶される。この場合、ノード
８につながる区間内ノード群はないため、さらに認識結
果候補を作成することはしない。これにより、候補記憶
部には図８のような認識結果候補が記憶される。

【００５１】続いて、図８の認識結果候補のういちから
評価スコアがもっとも高い認識結果候補「候補６，８」
が取り出される。この取り出された認識結果候補「候補
６，８」は処理終了フラグが１であるため、結果記憶部
に「ノード６，８」が認識結果として記録される。

【００５２】上述の処理を進めると、認識結果として
「ノード６，８」（スコア−１０２）、「ノード６，
７，１０」（スコア−１０３）、「ノード６，９」（ス
コア−１０５）が順に得られる。これらの認識結果は、
図３のワードグラフと対応させると、それぞれ「ユーモ
ア」、「夜は」、「融和」となり、たとえば、この順で
提示し正解をユーザに選択させるようにすることで良好
なユーザインタフェースを構築できる。ユーザに正当な
認識結果を選択指定させる手段としては、例えばキー入
力やマウス入力などを用いることができる。

【００５３】以上説明した本形態の音声認識装置では、
入力音声から得られるワードグラフのノードの予測スコ
アを求めておくことにより、ワードグラフの任意のノー
ドを始終端とする区間の認識結果を、その時間区間内に
あるノードのみに関して処理するだけで、そのパスを含
む、ワードグラフの最初から最後までの全体のパスのス
コアに基づいて認識結果を比較して順序付けすることが
でき、また区間内のスコアだけでなく、全体のスコアや
区間前後のコンテキストを考慮して認識結果を得ること
ができる。このため、入力音声の任意の区間について、
少ない処理量で異なる認識結果を精度良く求めることが
できる。

【００５４】また、本形態の音声認識装置では、二つ以
上の入力音声からそれぞれ得られたワードグラフを連結
して得られる一つのワードグラフの任意の区間につい
て、異なる認識結果を得ることができ、さらに複数発声
にまたがるコンテキストを使用することもできる。この
場合も、任意の区間に対して、少ない処理量で異なる認
識結果を精度良く求めることができる。

【００５５】なお、上述した本形態の音声認識装置で
は、結果記憶部２２を用いて認識結果を記憶するように
なっているが、認識結果が得られる度に出力するような
構成とすることもできる。

【００５６】

【発明の効果】以上説明したように、本発明によれば、
入力音声全体について得られた認識結果中の部分単語列
または部分文字列に間違いがある場合、その部分につい
て複数の認識結果を生成することができ、ユーザはこれ
ら認識結果のうちから任意に正当な結果を選択すること
で修正を行うことができるので、少ない処理量で効率良
く正しい認識結果を得ることができる。

【図面の簡単な説明】

【図１】本発明の音声認識装置の一実施形態を示すブロ
ック図である。

【図２】図１に示す音声認識装置の全体の動作の流れを
示すフローチャート図である。

【図３】ワードグラフの一例を示す図である。

【図４】言語スコアの一例を示す図である。

【図５】予測スコアの一例を示す図である。

【図６】候補記憶部に記憶される認識結果候補の一例を
示す図である。

【図７】候補記憶部に記憶される認識結果候補の一例を
示す図である。

【図８】候補記憶部に記憶される認識結果候補の一例を
示す図である。

【図９】特開平9-281989号公報に開示された音声認識装
置の概略構成を示すブロック図である。

【図１０】図９に示す音声認識装置における音韻認識の
具体的な処理の流れを示すフローチャート図である。

【符号の説明】

１０音声認識部１１標準パターン記憶部２０言語処理部２１候補記憶部２２結果記憶部２３区間指定部２４予測スコア計算部３０言語情報記憶部

Claims

(57)【特許請求の範囲】

【請求項１】入力音声を言語的単位に認識し、該言語
的単位に対応したアークで単語列が表現されたグラフを
生成する音声認識手段と、任意の時間区間を指定するための区間指定手段と、前記音声認識手段により生成されたグラフ中の前記区間
指定手段により指定された任意の時間区間について複数
の認識結果を生成する言語処理手段とを有することを特
徴とする音声認識装置。
【請求項２】請求項１に記載の音声認識装置におい
て、音声認識手段が、それぞれのアークに少なくとも音響的
な確からしさの尺度を示す音響スコアが付与されたグラ
フを生成し、言語処理手段が、前記音声認識手段により生成されたグ
ラフ中の区間指定手段により指定された任意の時間区間
内に存在する全てのアークの単語列を認識結果候補と
し、該認識結果候補のそれぞれについて、少なくとも前
記音響スコアに基づく評価スコアを求め、該評価スコア
の良い認識結果候補から順に認識結果を得るように構成
されたことを特徴とする音声認識装置。
【請求項３】請求項２に記載の音声認識装置におい
て、言語処理手段が、それぞれの認識結果候補に対し、その
認識結果候補を含むグラフ全体の始端から終端までのパ
ス全体の音響スコアを用いて評価スコアを求めるように
構成されたことを特徴とする音声認識装置。
【請求項４】請求項２に記載の音声認識装置におい
て、所定の言語情報が予め記憶された言語情報記憶手段と、前記言語情報記憶手段に記憶された言語情報と音声認識
手段により生成されたグラフの各アークに付与されてい
る音響スコアとに基づいて、前記グラフの各アークの境
界に位置するノードのそれぞれについて、グラフの始端
から当該ノードに至るパスの最適なスコアと当該ノード
からグラフの終端に至るパスの最適なスコアをそれぞれ
求めて予測スコアを得る予測スコア計算手段とをさらに
有し、言語処理手段が、各アークに付与された音響スコアと前
記言語情報記憶手段に記憶された言語情報と前記予測ス
コア計算手段にて計算された予測スコアとに基づいて評
価スコアを計算するように構成されたことを特徴とする
音声認識装置。
【請求項５】請求項１乃至請求項４のいずれか１項に
記載の音声認識装置において、言語処理手段が、区間指定手段により指定された任意の
時間区間の開始時間と終了時間のそれぞれに所定の許容
範囲を設定し、該許容範囲が設定された区間について複
数の認識結果を得るように構成されたことを特徴とする
音声認識装置。
【請求項６】請求項１乃至請求項５のいずれか１項に
記載の音声認識装置において、区間指定手段が、入力音声全体について得られる一位認
識結果中の部分単語列を指定する手段であることを特徴
とする音声認識装置。
【請求項７】請求項１乃至請求項５のいずれか１項に
記載の音声認識装置において、区間指定手段が、入力音声全体について得られる一位認
識結果中の部分文字列を指定する手段であることを特徴
とする音声認識装置。
【請求項８】請求項１乃至請求項７のいずれか１項に
記載の音声認識装置において、音声認識手段が、連続して入力される複数の入力音声に
ついて、各入力音声毎にグラフを作成し、これらグラフ
を連結して１つのグラフを作成するように構成されたこ
とを特徴とする音声認識装置。
【請求項９】入力音声を言語的単位に認識し、該言語
的単位に対応したアークで単語列が表現されたグラフを
生成する音声認識ステップと、前記音声認識ステップで生成されたグラフ中の任意に指
定された時間区間について複数の認識結果を生成する言
語処理ステップとを含むことを特徴とする音声認識方
法。
【請求項１０】請求項９に記載の音声認識方法におい
て、音声認識ステップが、それぞれのアークに少なくとも音
響的な確からしさの尺度を示す音響スコアが付与された
グラフを生成するステップであり、言語処理ステップが、前記音声認識ステップにより生成
されたグラフ中の任意に指定された時間区間内に存在す
る全てのアークの単語列を認識結果候補とし、該認識結
果候補のそれぞれについて、少なくとも前記音響スコア
に基づく評価スコアを求め、該評価スコアの良い認識結
果候補から順に認識結果を得るステップであることを特
徴とする音声認識方法。
【請求項１１】請求項１０に記載の音声認識方法にお
いて、言語処理ステップにおける評価スコアを、それぞれの認
識結果候補に対し、その認識結果候補を含むグラフ全体
の始端から終端までのパス全体の音響スコアを用いて求
めることを特徴とする音声認識方法。
【請求項１２】請求項１０に記載の音声認識方法にお
いて、音声認識ステップにより生成されたグラフの各アークに
付与されている音響スコアと予め用意された所定の言語
情報とに基づいて、前記グラフの各アークの境界に位置
するノードのそれぞれについて、グラフの始端から当該
ノードに至るパスの最適なスコアと当該ノードからグラ
フの終端に至るパスの最適なスコアをそれぞれ求めて予
測スコアを得る予測スコア計算ステップをさらに含み、言語処理ステップにおける評価スコアの計算を、各アー
クに付与された音響スコアと前記言語情報と前記予測ス
コア計算ステップにて計算された予測スコアとに基づい
て行うことを特徴とする音声認識方法。
【請求項１３】請求項９乃至請求項１２のいずれか１
項に記載の音声認識方法において、言語処理ステップが、任意に指定された時間区間の開始
時間と終了時間のそれぞれに所定の許容範囲を設定する
処理を含み、該許容範囲が設定された区間について複数
の認識結果を得るステップであることを特徴とする音声
認識方法。
【請求項１４】請求項９乃至請求項１３のいずれか１
項に記載の音声認識方法において、任意の時間区間を指定するステップとして、入力音声全
体について得られる一位認識結果中の部分単語列を指定
するステップをさらに含むことを特徴とする音声認識方
法。
【請求項１５】請求項９乃至請求項１３のいずれか１
項に記載の音声認識方法において、任意の時間区間を指定するステップとして、入力音声全
体について得られる一位認識結果中の部分文字列を指定
するステップをさらに含むことを特徴とする音声認識方
法。
【請求項１６】請求項９乃至請求項１５のいずれか１
項に記載の音声認識方法において、音声認識ステップが、連続して入力される複数の入力音
声について、各入力音声毎にグラフを作成し、これらグ
ラフを連結して１つのグラフを作成するステップである
ことを特徴とする音声認識方法。