JP4826719B2 - 音声認識システム、音声認識方法、および音声認識プログラム - Google Patents

Description

本発明は、得意とする分野、環境などが違う複数の音声認識システムを用いた音声認識システム、音声認識方法、および音声認識プログラムに関する。

従来、得意とする分野、環境などが違う複数の音声認識システムを用い、同一の音声に対して認識を行い、得られた複数の認識結果から尤もらしい単語列を抽出することで認識性能を向上させる方法が考案されている。ここで、得意とする分野、環境とは、男性・女性の性別、雑音環境、登録されている単語やその連鎖確率などの情報、日本語や英語のような言語などである。

得意分野、環境などの違う複数の音声認識システムの認識結果を用いて認識精度を上げるような方法として、従来ローバー法が知られている（非特許文献１）。このローバー法を用いた音声認識システムを図５、図６を用いて説明する。この音声認識システムは、音声認識システム２１ａ、２１ｂ、２１ｃとアライメント部２２とスコア計算部２３と単語選択部２４とアライメント結果記憶部２５とスコア付きアライメント結果記憶部２６とスコア付きアライメント結果記憶部２７構成される。音声認識システム２１ａ、２１ｂ、２１ｃは、得意とする分野、環境などが相異なる音声認識システムである。音声認識システムの数は３つに限らず、２つ以上の任意の数でよい。音声認識システム２１ａ、２１ｂ、２１ｃは、音声を認識して認識結果を出力するものであればどのようなものでも良く、たとえば日本電気株式会社から発売されているスマートボイスＸＰや、日本ＩＢＭ社から発売されているＶｉａＶｏｉｃｅ、京都大学で開発されたＪｕｌｉｕｓなどが挙げられる。音声認識システム２１ａ、２１ｂ、２１ｃは、共通の音声Ｓの認識を行い、それぞれの認識結果Ｃ１、Ｃ２，Ｃ３を出力する。アライメント部２２は、認識結果Ｃ１、Ｃ２，Ｃ３の単語列に対し、認識単語の表記に対しＤＰマッチングを用いて図６の下図で示されるような単語（図６にてアルファベットａ、ｂ、ｃ、ｄ、ｅ、ｆで表される）を区間毎にまとめた単語ネットワークＡを出力、アライメント結果記憶部２５に記憶する。ここで、区間とは図６の下図に示されるように、時間順に左からａ、ｎ、ｎ、ｎやｂ、ｂ、ｂなどのまとまりを表す。図６は、アルファベット(ａ、ｂ、ｃ、ｄ、ｅ、ｆ)を単語とみなした３つの認識結果Ｃ１、Ｃ２，Ｃ３の単語を区間ごとにまとめ、単語ネットワークＡを作成する様子を表したものである。図６中の「ｎ」は単語の無いナル遷移を表す。スコア計算部２３は、アライメント結果記憶部２５に記憶されている単語ネットワークＡから区間ごとに単語(ａ、ｂ、ｃ、ｄ、ｅ、ｆ)のスコアＳ（ｗ）を次式にしたがって計算し、スコア付き単語ネットワークＡｃをスコア付きアライメント結果記憶部２６に記憶する。

Ｓ（ｗ）=α（Ｎ（ｗ、ｉ）／Ｎｉ）＋（１−α）C（ｗ、ｉ） （１）
ここで、ｗは単語(ａ、ｂ、ｃ、ｄ、ｅ、ｆ)を表し、ｉは区間を表す。Ｎ（ｗ、ｉ）は、区間ｉでの単語ｗの数を表し、C（ｗ、ｉ）は区間ｉでの単語ｗの信頼度を表し、Ｎｉは区間ｉの延べ単語数を表す。αは係数で、認識率が最もよくなるように調整する。

単語選択部２４は、各区間ｉのスコアＳ（ｗ）の最も高い単語をそれぞれの区間の認識結果Ｒとして出力する。
JonathanG.Fiscus : "A post-processing system to yield reduced word error rates （「単語誤り率低減のための後処理システム：ローバー」）:Recognizer output voting error reduction (ROVER)",IEEE Workshop on AutomaticSpeech Recognition and Understanding,1997

音声認識システムの１位候補の単語列の境界は、それぞれの音声認識システムで用いられている単語単位の違いや分析条件やサーチ条件などの違いから、必ずしも一致するとは限らない。例えば、認識単位として、ある音声認識システムでは音節、別の音声認識システムでは単語、また別の音声認識システムでは文節などさまざまである。さらに、同じ単語が候補に現れていても、得意な環境と音声の環境がマッチしているものとミスマッチしているものでは単語の境界の位置が大幅に違うことも考えられる。その結果、従来の方法であるローバー法では、図６のように理想的な単語ネットワークが作成できない可能性があり、その後の単語選択に大きな支障が出る可能性がある。そもそも、英語と日本語、中国語のように、それぞれに違う言語を得意とする音声認識システムの結果を統合する場合、表記がまったく異なるため、アライメント部２２において、図６の下図のような単語ネットワークＡを作成することが困難であるため、認識性能が劣化する可能性がある。

電話による自動応答システムのような音声認識を用いたアプリケーションシステムにおいて、第１候補が間違った場合に第２候補の認識結果を提示して正解にたどりつけようとする場合が考えられる。このようなアプリケーションシステムへの入力された音声の環境や内容、言語が音声認識システム２１ａと最も整合性する場合、音声認識システム２１ａの第２候補の方が、他の音声認識システム２１ｂ、２１ｃの認識結果の第１候補よりも正解の可能性が高いと考えられる。しかし、ローバー法は音声認識システム２１ａ、２１ｂ、２１ｃにおけるそれぞれの第1候補を用いているため、認識システム２１ａの第２候補ではなく、他の認識システムの第1候補の結果を織り交ぜた認識結果になる。その結果、音声認識システム２１ａの第２候補よりも精度の低い、すなわち間違いの可能性の高い結果を第２候補として提示することになると考えられる。

本発明の目的は、得意分野の違う複数の音声認識システムの認識結果を使うことで音声認識の認識精度を改善する方法において、単語単位や言語、分析条件などが違う場合でも有効な認識結果を得ることのできる音声認識システム、方法、およびプログラムを提供することである。

本発明の他の目的は、ある特定の音声認識システムにマッチした条件では、最も良い認識結果を出力すると思われる音声認識システムを用いた複数の認識結果を取り出すことのできる音声認識システム、方法、およびプログラムを提供することである。

本発明の音声認識システムは、
認識結果として、認識された単語の時間情報と単語の接続情報と音響尤度が含まれる単語グラフを出力する複数の音声認識手段（１１ａ、１１ｂ）と、
複数の単語グラフに共通するノードを２つ作成し、生成された一方のノードに各単語グラフの始端のノードを接続し、生成された他方のノードに各単語グラフの終端のノードを接続する結合単語グラフを作成することによって複数の単語グラフを１つの単語グラフに統合する単語グラフ統合手段（１２）と、
統合された単語グラフを記憶する統合単語グラフ記憶手段（１５）と、
統合された単語グラフに含まれる単語毎に信頼度を計算し、信頼度付き統合単語グラフを出力する信頼度計算手段（１３）と、
信頼度付き統合単語グラフを記憶する信頼度付き統合単語グラフ記憶手段（１６）と、
信頼度付き統合単語グラフからＮ位候補の単語列を探索するＮ位候補計算手段（１４）と
を有する。

認識結果として単語グラフで定義された複数の音声認識システムの認識結果を結合して、最も信頼できる単語列を認識結果として得ることができる。また、入力された認識結果が単語グラフで定義されているので、同一単語の時刻のずれなどを気にすることなく任意の数の認識候補を探索することが可能である。また、単語グラフは音声認識システムが認識途中で得た情報を詳細に持つことが可能であるため、各音声認識システムのうち最も整合性の良い音声認識システムの候補を優先的に探索することが可能である。

第１の効果は、単語の表記や音声認識の認識単位に違いがあっても複数の認識結果を統合できることができることにある。その理由は、本発明において統合するのは単語グラフ全体の始端と終端だけを用いるためである。

第２の効果は、複数の認識結果を統合した場合において、第２候補以降も適切な認識システムから出力された適切な単語系列を自動的に得ることができる。その理由は、本発明において統合するのが複数の音声認識システムの第１候補ではなく単語接続や音声認識時における探索の途中結果などの情報が多い単語グラフのためである。

次に、本発明の実施の形態について図面を参照して説明する。

図１を参照すると、本発明の第１の実施形態による音声認識システムは、得意とする分野の違う音声認識システム１１ａ、１１ｂと、単語グラフ統合部１２と、信頼度計算部１３と、Ｎ位候補計算部１４と、統合単語グラフ記憶部１５と、信頼度付き統合単語グラフ記憶部１６で構成される。

音声認識システム１１ａ、１１ｂは、それぞれ単語グラフＷｇ１、Ｗｇ２を出力できるものであればよい。たとえば、ケンブリッジ大学が開発したＨＩＫなどが挙げられる。図２を用いて単語グラフの説明をする。図２（１）の単語グラフにおける単語の始端時刻と終端時刻を定義する点（Ｉ_１〜Ｉ_５）であり、始端時刻を表すものを始端ノード、終端時刻を表すものを終端ノードと呼ぶ。図２（１）で単語は、ａ_１、ｂ_１、ｃ_１、ｄ_１、ｅ_１、ｆ_１、ｇ_１として表されており、単語の先頭時刻である始端ノードから単語の終端時刻である終端ノードを結ぶ実線として図示されている。これを単語アークと呼ぶ。始終端ノードの表す時刻がその単語が認識候補として現れた時刻を示す。単語グラフは、図２（１）を図２（２）のように書き下したもので、各始端終端ノード（Ｉ_１〜Ｉ_５）を用いて単語アークを記述する。記述された単語アークごとに、単語、音響尤度などの情報が記述されている。このような形態をとる単語グラフとして、例えばヤング著のＨＩＫ Ｂｏｏｋ ｆｏｒ ＨＩＫ Ｖｅｒｓｉｏｎ ３．２．１の３３４ページから３３８ページ(以後参考文献１とする)に記述されている。単語グラフＷｇ１、Ｗｇ２に記述される情報は、前述の情報の他に単語の始端終端時刻間の波形の２乗を足し上げたパワー、ノイズ区間との平均パワーの比であるＳＮＲ、特開平１０−１３３６９３号公報（以後参考文献２とする）に示される調波性強度やその時間差分や平均値、単語と単語の接続確率なども考えられる。本実施形態において音声認識システム１１ａ、１１ｂの、２つの得意とする分野の違う認識システムを組み合わせるとしているが、３つ以上の任意の数であってもよい。

次に、単語グラフ１Ｗｇ１、Ｗｇ２は単語グラフ統合部１２に入力され、１つの単語グラフへ結合された結合単語グラフＷｇが出力される。図３を用いて単語グラフの統合手順を説明する。図３において２つの単語グラフＷｇ１と単語グラフＷｇ２が単語グラフ統合部１２に入力される（図３（１））。単語グラフ統合部１２は、単語グラフＷｇ１と単語グラフＷｇ２それぞれの始終端ノードの範囲外にダミーの始端ノードＩ_ｂと終端Ｉ_ｆを作成する（図３（２））。次に、始端ノードＩ_ｂを各単語グラフ全体の始まりの時刻に相当する始端ノードＩ_０へダミーの単語アークで接続し、各単語グラフ全体の終わりの時刻を表す終端ノードＩ_５と作成された終端ノードＩ_ｆへダミーの単語アークで接続し、結合単語グラフＷｇ作成し、統合単語グラフ記憶部１５に記憶する（図３（２））。

次に、信頼度計算部１３は、統合された単語グラフＷｇを用いて、ヴィッセル等(Frank Wessel ,Ralf Schluter ,Kalus Macherey,ans Herman Ney,''Confidence Measures for Large Vocabulary Continuous Speech Recognition ,''（「大語彙連続音声認識のための信頼度」）IEEETrans. on Speech and Audio Processing. Vol 9, No. 3, March 2001 以後参考文献３とする) によって示される単語の事後確率を信頼度として計算し、結合単語グラフＷｇの各単語への付加情報として信頼度を付け加え、信頼度付き結合単語グラフｃＷｇとして信頼度付き統合単語グラフ記憶部１６に記憶する。

ここで、参考文献３で取り上げた事後確率の求め方を図２に沿って説明する。なお、下付き添え字を"_{x}",上付き添え字を"^{x}"のように示す。また、図２では、単語をa_{1}〜g_{1}まで、添え字を入れているが、ここでは"_{1}"を省略する。

参考文献３に従い単語ｃの事後確率の計算方法を示す。
事後確率を計算するためには、単語cの前向き確率αと単語cの後ろ向き確率βを求める必要がある。以後これら、αβの計算の方法を説明する。計算方法の例は、単語の３連鎖する確率をモデル化した場合(トライグラム)について説明する。

前向き確率αは次の式で表される。

α(a;c) =P_{A}(o_{c}|c)Σ_{z∈aの始端に接続される単語全て}α(z;a)P_{L}(c|az)
ここで、P_{A}(o_{c}|c)は、単語cの音響尤度を表し、o_{c}は単語cの区間の観測時系列を現す。観測時系列o_{c}は、音声認識で標準的に用いられているメルケプストラム係数やパワー、それらの回帰係数などが考えられる。o_{c}は、単語cの区間に対応する観測時系列であるが、全体の観測時系列はOと表す。音響尤度は、cが出現したときにo_{c}が観測される確からしさを表すものである。P_{L}(c|az)は、単語z→a→cの順番で出現する確率を表しており、一般に言語確率と呼ばれる。ここで、単語cの前向き確率であるが、単語aの始端につながる全ての単語の前向き確率と言語確率の積を全て足し合わせたものになっている。単語c以外の単語の前向き確率を求める場合、前向き確率を求めたい単語より前の時刻に出現した単語の前向き確率を求めておくことで計算できる。

後ろ向き確率βは次の式で表される。

β(c;e)=P_{A}(o_{c}|c)Σ_{z'∈eの終端に接続される単語全て}α(e;z')P_{L}(z'|ce)
記号はαの場合と同様であるが、αに比べ、cとe,z'等の関係が前後逆になっている。

これらの式をふまえ事後確率は、次式で表される。

P(c|o_{o})=Σ_{z∈全ての単語}Σ_{z'∈全ての単語}(α(z;c)β(c;z')P_{L}(z'|zc))/(P_{A}(O)P_{A}(o_{c}|c))
ここで、Oは全ての観測時系列を表し、P_{A}(O)は、全ての観測時系列Oの出現確率を表す。
P_{A}(0)はαを用いて下記のように計算することができる。

P_{A}(O)=Σ_{z∈全ての単語}Σ_{z'∈全ての単語}α(z;z')
ここで、事後確率の計算方法の定義を見てみると、事後確率は単語ごとに求められることがわかる。事後確率は、単語cが同じ区間の単語d,h等と比べて観測時系列o_{c}とどの程度マッチしたかを示す値で、０〜１の値に正規化されている。

以上の事後確率の計算方法をふまえ、図３を用いて統合された単語グラフＷｇにおける事後確率を求める方法について説明する(ここからは"_{1,2}"をつけて説明する)。統合前の単語グラフにおいて、c_{1}の前向き確率αを求める場合a_{1}に接続されている単語の前向き確率が必要であるが、a_{1}には何も接続されていないため、初期値として与えられた"1"等の定数が前向き確率として使われる。本発明の場合、a_{1}にはダミーの単語が接続されている。ダミーの単語は特に前向き確率値を持っていないが、予め用意しておいた値を用いる。ただし、図３（２）に記述されているような単語グラフＷｇの先頭ノードI_{b}から延びる2つのダミーの単語に同じ初期値を与えるのではなく、事前知識に基づきそれぞれの初期値を持たせることが可能である。例えば、雑音状況を感知して、雑音と音声のパワーの比であるＳＮＲを用いて耐雑音対策が行われているほうの初期値を大きくするなどの操作や、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）情報を用いて使われる地域に即した言語の初期値を大きくすることが可能である。単語グラフを統合しても従来の枠組みをそのまま適用して計算することが可能であると同時に、認識結果を選ぶ際に外部要因を反映できるメリットもある。

ここでは信頼度を単語の事後確率としているが、結合単語グラフＷｇを用いて得られるものであればなんでも良く、たとえば音響尤度や、調波性(音声の基本周波数構造)の強さや、単語の終端時刻から始端時刻を引いた継続時間、始端終端それぞれに接続される単語アークの数、それらの値になる確率等、どのような値でも用いることが可能である。

Ｎ位候補計算部１４は、信頼度を基に信頼度付き結合単語グラフｃＷｇを探索し、Ｎ位候補の認識単語列Ｒを探索し出力する。探索方法は、例えば電子情報通信学会出版の中川著の確率モデルによる音声認識の１２４〜１２６ページに記載されているＡ*サーチ(Aスターサーチ)等が考えられる。

以下、図４を用いてＡ*サーチを説明する。
Ａ*サーチでは、スタックと呼ばれる単語情報を記憶する手段が用意されている。ここで、単語情報とは、単語グラフ上の単語(ａ〜ｈ)とその経路情報および経路のスコアをさす。経路情報とは、単語グラフの終端であるI_{5}のノードに接続する単語、例えばｅから先頭までたどったときに通過した単語ｅ→ｃ→ａのような経路を表す情報である。経路のスコアは、本実施形態の場合、単語の事後確率の和とする。経路スコアは、前向きスコアと後ろ向きスコアの和からなる。前向きスコアとは、始端からある単語にたどり着くまでに足された対数の事後確率の和とし、後ろ向きスコアとは、終端からある単語スコアにたどり着くまでに足された対数の事後確率の和とする。例えば、単語aにおける経路スコアはを計算する場合、前向きスコアは0で、後ろ向きスコアは単語ｅ、ｃもしくはｇ、ｆ、ｃか、ｇ、ｄの３通りの経路のいずれかの対数の事後確率の和として定義される。

手順を説明する。

初期状態として、特に単語の意味を成さない仮の終端(終端)がスタックにつまれている。終端は、図２の単語ｅ、ｇに繋がっているとする。

まず、スタックの先頭を取り出す（ステップ１０１）。ここで、一旦スタックは空になる。

次に、終端に繋がる単語ｅ、ｇをスタックに積む（ステップ１０２）。そのとき、各単語に終端から接続されたとする経路情報と、経路のスコアを付加する。

スタックを経路のスコアでソートする（ステップ１０３）。図の場合、ｇが先頭に来たとしている。スタックの先頭の単語ｇを取り出す。このとき一旦、スタックは単語アークｅだけになる。

単語アークgに繋がる単語ｆ、ｄ、ｈをスタックに積む（ステップ１０４）。このとき、ｆ、ｄ、ｈの経路情報として、「ｇ←終端」のように、終端からｇを経て到達したことを示す経路情報を付加する。さらに、経路スコアを付加する。

ステップ１０３，１０４と同様な処理を繰り返す（ステップ１０５、１０６）。

ステップ１０７の処理が終了した後に先頭に来ている単語の前に新たな単語が無い場合(単語aのように)、第１位候補として、単語で表されていた単語ｇ、ｄ、ａを認識結果として出力する。

ステップ１０３，１０４の処理を繰り返し行い、スタックの先頭に来た単語アークの接続先が無い場合、認識結果として単語列を出力する動作を行うことで第Ｎ位の単語列を認識結果として出力することができる。

本実施形態によれば、認識結果として単語グラフで定義された複数の音声認識システムの認識結果を結合して、最も信頼できる単語列を認識結果として得ることができる。また、入力された認識結果が単語グラフで定義されているので、同一単語の時刻のずれなどを気にすることなく任意の数の認識候補を探索することが可能である。また、単語グラフは音声認識システムが認識途中で得た情報を詳細に持つことが可能であるため、各音声認識システムのうち最も整合性の良い音声認識システムの候補を優先的に探索することが可能である。従来例のように音声認識の結果の文字列をベースにアライメントを取るなどの調整が必要ないため、対象言語の違う音声認識システムが出力した認識結果を表記、発音記号、文法などを気にすることなく結合でき、最も整合性の高い言語の単語列を認識結果として求めることが可能である。

なお、図１に示した音声認識システムの機能は、その機能を実現するためのプログラムを、コンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータに読み込ませ、実行するものであってもよい。コンピュータ読み取り可能な記録媒体とは、フレキシブルディスク、光磁気ディスク、ＣＤ−ＲＯＭ等の記録媒体、コンピュータシステムに内蔵されるハードディスク装置等の記憶装置を指す。さらに、コンピュータ読み取り可能な記録媒体は、インターネットを介してプログラムを送信する場合のように、短時間、動的にプログラムを保持するもの（伝送媒体もしくは伝送波）、その場合のサーバとなるコンピュータ内の揮発性メモリのように、一定時間プログラムを保持しているものを含む。

本発明によれば、例えば、入力された音声が、複数の音声認識システムに入力できるような場合において、複数の音声認識システムから得られる複数の認識結果を統合し高精度な認識結果を得るためのプログラムや装置等の用途に適用できる。

本発明の一実施形態の音声認識システムの構成を示すブロック図である。 単語グラフを示す図である。 単語グラフ統合部における単語グラフの統合手順を示す図である。 Ｎ位候補計算部１４における処理手順を示す図である。 従来例の音声認識システムの構成を示すブロック図である。 図５の従来例における認識候補の結合法を説明するための図である。

符号の説明

１１ａ 音声認識システム
１１ｂ 音声認識システム
１２ 単語グラフ統合部
１３ 信頼度計算部
１４ Ｎ位候補計算部
１５ 結合単語グラフ記憶部
１６ 信頼度付き統合単語グラフ記憶部
１７ 信頼度付Ｎ位候補記憶部
２１ａ 音声認識システム
２１ｂ 音声認識システム
２１ｃ 音声認識システム
２２ アライメント部
２３ スコア計算部
２４ 単語選択部
２５ アライメント結果記憶部
２６ スコアつきアライメント結果記憶部
２７ 認識結果記憶部
１０１〜１０７ ステップ
Ｓ 音声
Ｃ１ 音声認識システム２１ａの第１位候補
Ｃ２ 音声認識システム２１ｂの第１位候補
Ｃ３ 音声認識システム２１ｃの第１位候補
Ａ アライメント結果
Ａｃ スコア付きアライメント結果
Ｒ 認識結果
Ｗｇ１ 音声認識システム１１ａの単語グラフ
Ｗｇ２ 音声認識システム１１ｂの単語グラフ
Ｗｇ 統合単語グラフ
ｃＷｇ 信頼度付き単語グラフ

Claims (6)

1. 認識結果として、認識された単語の時間情報と単語の接続情報と音響尤度が含まれる単語グラフを出力する複数の音声認識手段と、
   前記複数の単語グラフに共通するノードを２つ作成し、生成された一方のノードに各単語グラフの始端のノードを接続し、生成された他方のノードに各単語グラフの終端のノードを接続する結合単語グラフを作成することによって前記複数の単語グラフを１つの単語グラフに統合する単語グラフ統合手段と、
   統合された単語グラフを記憶する統合単語グラフ記憶手段と、
   前記統合された単語グラフに含まれる単語毎に信頼度を計算し、信頼度付き統合単語グラフを出力する信頼度計算手段と、
   前記信頼度付き統合単語グラフを記憶する信頼度付き統合単語グラフ記憶手段と、
   前記信頼度付き統合単語グラフからＮ位候補の単語列を探索するＮ位候補計算手段と
   を有する音声認識システム。
2. 前記信頼度計算手段は、単語グラフを用いて単語の事後確率を求め、単語の事後確率を信頼度として出力する、請求項１記載の音声認識システム。
3. 認識結果として、認識された単語の時間情報と単語の接続情報と音響尤度が含まれる単語グラフを複数の音声認識手段から出力するステップと、
   前記複数の単語グラフに共通するノードを２つ作成し、生成された一方のノードに各単語グラフの始端のノードを接続し、生成された他方のノードに各単語グラフの終端のノードを接続する結合単語グラフを作成することによって前記複数の単語グラフを１つの単語グラフに統合するステップと、
   統合された単語グラフを記憶するステップと、
   前記統合された単語グラフに含まれる単語毎に信頼度を計算し、信頼度付き統合単語グラフを出力するステップと、
   前記信頼度付き統合単語グラフを記憶するステップと、
   前記信頼度付き統合単語グラフからＮ位候補の単語列を探索するステップと、
   を有する音声認識方法。
4. 前記の信頼度を計算するステップにおいて、単語グラフを用いて単語の事後確率を求め、単語の事後確率を信頼度として出力する、請求項３記載の音声認識方法。
5. 認識結果として、認識された単語の時間情報と単語の接続情報と音響尤度が含まれる単語グラフを複数の音声認識手段から出力する手順と、
   前記複数の単語グラフに共通するノードを２つ作成し、生成された一方のノードに各単語グラフの始端のノードを接続し、生成された他方のノードに各単語グラフの終端のノードを接続する結合単語グラフを作成することによって前記複数の単語グラフを１つの単語グラフに統合する手順と、
   統合された単語グラフを記憶手段に記憶する手順と、
   前記統合された単語グラフに含まれる単語毎に信頼度を計算し、信頼度付き統合単語グラフを出力する手順と、
   前記信頼度付き統合単語グラフを記憶手段に記憶する手順と、
   前記信頼度付き統合単語グラフからＮ位候補の単語列を探索する手順と
   をコンピュータに実行させるための音声認識プログラム。
6. 信頼度計算手順は、単語グラフを用いて単語の事後確率を求め、単語の事後確率を信頼度として出力する、請求項５記載の音声認識プログラム。

Images