JP3627299B2 - 音声認識方法及び装置 - Google Patents
音声認識方法及び装置 Download PDFInfo
- Publication number
- JP3627299B2 JP3627299B2 JP18285195A JP18285195A JP3627299B2 JP 3627299 B2 JP3627299 B2 JP 3627299B2 JP 18285195 A JP18285195 A JP 18285195A JP 18285195 A JP18285195 A JP 18285195A JP 3627299 B2 JP3627299 B2 JP 3627299B2
- Authority
- JP
- Japan
- Prior art keywords
- word
- speech recognition
- recognition target
- words
- probability
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/08—Speech classification or search
- G10L15/14—Speech classification or search using statistical models, e.g. Hidden Markov Models [HMMs]
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/08—Speech classification or search
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
- G10L17/00—Speaker identification or verification
- G10L17/06—Decision making techniques; Pattern matching strategies
- G10L17/12—Score normalisation
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/08—Speech classification or search
- G10L15/14—Speech classification or search using statistical models, e.g. Hidden Markov Models [HMMs]
- G10L15/142—Hidden Markov Models [HMMs]
- G10L15/144—Training of HMMs
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/08—Speech classification or search
- G10L2015/085—Methods for reducing search complexity, pruning
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Computational Linguistics (AREA)
- Probability & Statistics with Applications (AREA)
- Business, Economics & Management (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Game Theory and Decision Science (AREA)
- Machine Translation (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Document Processing Apparatus (AREA)
- Image Analysis (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、音声認識方法および装置に関し、入力音声信号に対して、与えられた辞書の中から対応する語をひとつまたは複数選び出すような音声認識方法および装置に関するものである。
【０００２】
【従来の技術】
入力された音声信号から言語情報を取り出すための音声認識の分野においては、与えられた辞書の中から入力に対応したワードを選び出すという問題が頻繁に発生する。
【０００３】
例えば、地名に対する音声認識の場合、対象候補ワードとなる地名それぞれに対して、標準パターンを作成しておき、入力音声信号を分析して得られる特徴量パターンと全標準パターンとのマッチングをとること、すなわち距離計算を行なうことで最も類似したものを選び出すということを行なう。これは隠れマルコフモデル（Ｈｉｄｄｅｎ Ｍａｒｋｏｖ Ｍｏｄｅｌ：ＨＭＭ ）という確率モデルを用いた場合も同様で、やはり各地名に対応したＨＭＭを作成しておき、入力音声信号に対して、その生起確率が最も大きくなるモデルを選び出すということが必要になる。
【０００４】
一般に、音声認識においては、対象となるワードと入力音声信号とのマッチングをとるために距離計算を行なったり、あるいは各ワードの確率モデルを用いて生起確率を計算したりするなどして、全ワードに対してスコアづけを行ない、そのスコアに基づいて、最もスコアの高いものを認識結果として選択するということを行なう。
【０００５】
例えば、上記ＨＭＭ（隠れマルコフモデル）においては、認識対象ワードそれぞれに対して確率モデルを予め作成しておき、未知の入力音声信号を分析して得られる特徴量から生起確率を求め、これをもとに全ワードに対してスコア付けを行い、最もスコアの高いものを認識結果として選択する。
【０００６】
ここで、スコアが高いとは、距離などの場合は距離が小さいことに対応し、生起確率などの場合はその確率が大きいことに対応するなど、その評価値に対応させた表現として用いるものとする。
【０００７】
【発明が解決しようとする課題】
ところで、小語彙の認識システムの場合には、全ての対象候補に対して上述のようなスコア計算を行なっても、その処理量はあまり問題になることはない。
【０００８】
しかし、中語彙や大語彙の認識を行なう場合には、対象となる認識辞書の全てのワードに対してスコア計算をする、いわゆる全探索を行うことは、演算量の増大につながり、その結果、応答時間の遅延をもたらすという問題を引き起こすことになる。
【０００９】
この問題を解決するため、全ワードに対するスコア計算を行なう前に、簡単な評価式を用いて予備選択を行ない、その結果から精密にスコア計算を行なうべき対象ワードを絞り込む方法や、予め対象となる認識ワードを木構造にクラス分けしておき、その構造に従って探索していくことで認識ワードを制限する方法などがある。
【００１０】
一般に、現在の音声認識では、精密なスコア計算、例えばマッチングや確率計算を行なっても認識がなかなか難しいのが現状であり、前者の方法のように、簡単な評価による予備選択を行なった場合、絞り込みの段階で本来残すべきワードを除外してしまい、認識率の低下を引き起こすという問題が生じる虞がある。さらに、簡単な評価式といっても、全ワードに対して行なえば、相当な演算量になってしまうという欠点もある。
【００１１】
これに対して、後者の木構造にクラス分けしておく方法としては、一般の探索問題においては、対象候補を二値木（バイナリーツリー）に構造化しておき、その二値木をたどることによって探索を行なう、という二値木探索と呼ばれる手法が広く用いられている。しかし、このような構造化を用いる手法では、予め決定しておいた探索木をもとに探索範囲を制限する、すなわち局所的な探索をするわけであるから、どのように構造化し、その構造を用いてどのように探索するかが重要であり、全探索に比べて、歪みをできるだけ増加させずに、すなわち認識率をできるだけ低下させずに、演算量を低減させることが要求される。
【００１２】
その意味では、二値木探索は、演算量の大幅な削減が得られるかわりに歪みを増大させてしまうという問題が発生しやすく、特に、音声認識においては、これは認識率の低下を意味し、大きな問題となる。
【００１３】
また、上記ＨＭＭを用いた音声認識は、認識対象ワードそれぞれに対して確率モデルを予め作成しておき、未知入力音声信号を分析して得られる特徴量から生起確率を求め、これをもとに全ワードに対してスコア付けを行い、最もスコアの高いものを認識結果として選択するものである。このＨＭＭを用いた音声認識では、スコア計算過程において、途中結果を用いて枝苅りを行なうことで、演算量を削減するビームサーチ法という演算量の削減方法がある。しかし、これもやはりスコアの途中結果で制限をかけるために、本来残すべきワードを除去してしまい、ひいては歪みを増大させ、認識率の低下を招いてしまうという問題を引き起こしてしまう。
【００１４】
なお、音声認識に限らず、このような探索問題では、探索を高速化するために必要となる探索木などが占める記憶容量の大きさも重要な問題となる。
【００１５】
本発明は、このような実情に鑑みてなされたものであり、演算量を低減しながら認識率の劣化を防止し得るような音声認識方法および装置の提供を目的とする。
【００１６】
また、本発明は、スコア計算を行う音声認識対象ワードの数を制限して演算量を低減し、音声認識の高速化が図れるとともに、必要とされる記憶容量の増大も少なくて済み、しかも探索による歪みの増大や認識率の低下を招くことがないような音声認識方法および装置の提供を目的とする。
【００１７】
さらに、本発明の他の目的は、スコア計算を行う音声認識対象ワードを制限するための階層構造化に用いられる相関値を、音声データを用いずに計算できるようにすることである。
【００１８】
【課題を解決するための手段】
本発明は、上述した課題を解決するため、複数の音声認識対象ワードが与えられ、未知の入力音声信号に対して、予め求めておいたパラメータを用いて、上記音声認識対象ワードにスコア付けを行なうことで、対応する音声認識対象ワードを抽出し認識する際に、各認識対象ワードに対応した音声データから求まるスコアの期待値に基づく値をもとにスコアの高い順に全認識対象ワードを順序付けたときの順位を、上記各音声認識対象ワード間の相関値として求め、上記各音声認識対象ワード間の相関値を用いて上記各音声認識対象ワードを予め重複を許す木構造に構造化しておき、この木構造を用いて、上記未知の入力音声信号に対してスコア計算を行なう音声認識対象ワードを限定することを特徴とする。
【００１９】
ここで、上記複数の音声認識対象ワードに対する確率モデルを用意し、上記未知の入力音声信号に対して、上記各確率モデルの生起確率を計算し、その生起確率に従って、対応する音声認識対象ワードを抽出し認識するようにし、上記各音声認識対象ワードに対応する確率モデルの状態遷移確率をもとに状態遷移系列を決定し、その状態遷移に対応する出力シンボル確率をもとにシンボル系列を決定し、得られたシンボル系列の生起確率を上記各音声認識対象ワードに対応するモデルに対して計算し、この生起確率に基づく音声認識対象ワード間の相関値を用いて上記各音声認識対象ワードを階層構造に構造化しておくことが好ましい。
【００２１】
さらに、上記階層構造に構造化された音声認識対象ワード等のパターン認識対象の情報を記録媒体に記録しておくことができる。
【００２２】
なお、上記パターン認識対象としては、上記音声認識対象ワード以外に、図形認識や文字認識のような画像情報におけるパターン認識の対象にも適用できるものである。
【００２３】
このように、音声認識対象ワード（一般的にはパターン認識対象、以下同様）を予め階層構造あるいは重複を許す木構造に構造化しておき、その構造に従って検索することで音声認識対象ワードの数を制限し、演算量を低減する。しかも、新たなワード間の相関値の定義と、その相関値に基づく認識ワードの構造化方法によって、局所的な探索であっても、スコアの高くなることが期待されるワードは探索範囲に含まれるようになり、最終的に歪みをほとんど増大させることがなく、認識率の低下を防止できる。
【００２４】
また、ワード間の相関値を、ＨＭＭ（隠れマルコフモデル）のような確率モデルのパラメータから計算するようにすることで、認識辞書に対応する実音声データを大量に必要とすることを回避できる。
【００２５】
【発明の実施の形態】
以下、本発明に係る好ましい実施の形態について、図面を参照しながら詳細に説明する。本発明の実施の形態においては、音声認識を例として取り上げているが、この他、映像や画像あるいは文字等の各種パターン認識に本発明を適用することも容易である。
【００２６】
第１の実施の形態
以下の本発明の第１の実施の形態の説明においては、まず音声認識に関して簡単に説明し、その音声認識を高速化するための方式として、音声認識対象ワード（以下単にワードともいう）間の相関値の定義、その相関値を用いたワードの構造化の方法、およびその構造を用いた認識手法に関して説明する。次に、記憶容量、および演算量の見積りを行なった後、シミュレーション結果を説明し、その有効性を説明する。
【００２７】
＜音声認識＞
音声認識に用いられる装置は、一般的に図１に示すように、入力部１１、音響分析部１２、認識部１３、パラメータ記憶部１４、出力部１５から構成されることが多い。
【００２８】
入力部１１は、マイクなどの音声信号を入力する装置とその入力信号を増幅するアンプ、およびデジタル信号に変換するＡＤ変換器などによって構成される。そして、入力信号を、例えば１２ｋＨｚでサンプリングした後、音響分析部１２へ送信する。
【００２９】
音響分析部１２では、入力された音声信号から認識に必要な特徴量の抽出を行なう。例えば、単純な信号のエネルギや零交差（ゼロクロス）数、ピッチなどの抽出を行なったり、線形予測分析（ＬＰＣ）、高速フーリエ変換（ＦＦＴ）、バンドパスフィルター（ＢＰＦ）、さらにはＷａｖｌｅｔ変換などによって周波数分析を行なったりする。そして、例えば帯域分割されたエネルギーなどを要素とするベクトル時系列として、特徴量の抽出を行なったりする。また、その特徴量の変化量として、例えば差分データも特徴量の一つとして同時に抽出することもある。こうして得られた特徴量に対し、カルーネンレーブ（ＫＬ）変換や、ニューラルネットワークなどの適当な写像を施すことで、分離度の大きな特徴量にさらに変換する場合もある。また、ベクトル量子化などにより、特徴量ベクトルを圧縮し、量子化された特徴量に変換する場合もある。
【００３０】
このように、音響分析部１２では、認識に必要な特徴量の時系列を入力された音声信号から抽出し、これを認識部１３に送信する。
【００３１】
認識部１３では、予め学習用の音声データを音響分析して得られる特徴量をもとに作成しておいたパラメータ記憶部１４のパラメータを用いて、未知音声データに対する認識処理を行なう。ここで、認識とは、入力された音声信号に対して、与えられた認識辞書の中から、入力に対応したワードを選び出すことである。この認識手法としては、主なものとして、ＤＰマッチング、ニューラルネットワーク、ＨＭＭ（隠れマルコフモデル）などを用いたものが使われる。
【００３２】
ＤＰマッチングは、各音声信号を分析して得られる特徴量からテンプレートと呼ばれる標準パターンを予めパラメータとして求めておき、未知音声の特徴量と比較して最も近いと判定されるものを見つけるという方式である。発話速度の変動を吸収するため、ダイナミックタイムワーピング（ｄｙｎａｍｉｃ ｔｉｍｅ ｗａｒｐｉｎｇ）と呼ばれる手法により、テンプレートとの歪みを最小化するように時間軸の伸縮を行なう方法がよく用いられる。
【００３３】
ニューラルネットワークは、人間の脳の構造を模倣するネットワークモデルによって認識を行なおうとするもので、学習過程により予めパスの重み係数をパラメータとして決定しておき、そのネットワークに未知音声の特徴量を入力して得られる出力をもとに、辞書内の各ワードとの距離を求め、認識ワードを決定しようとするものである。
【００３４】
また、ＨＭＭは、確率モデルにより認識を行なおうとするもので、予め状態遷移モデルに対して、その遷移確率と出力シンボル確率を学習データをもとに決定しておき、未知音声の特徴量に対する各モデルの生起確率から認識ワードの決定を行なおうとする方式である。このＨＭＭについては、本発明の第２の実施の形態として後で詳述する。
【００３５】
以上述べたように、一般に、認識処理としては、学習過程として、予め学習用データから決定されたパラメータ、すなわちテンプレートや、ネットワークモデルの重み係数、確率モデルの統計的パラメータなどを求めておき、これをパラメータ記憶部１４に記憶しておく。
【００３６】
そして、認識過程では、入力された未知音声信号を音響分析した後、与えられた辞書の中のワードそれぞれに対して、その認識手法に応じた距離や生起確率などのスコア付けを行ない、そのスコアが最も高いもの、あるいは上位複数個、を認識結果として選び出すということを行なう。そして、得られた認識結果を出力部１５に送信する。
【００３７】
出力部１５では、送信されてきた認識結果を画面に表示したり、音として出力したり、さらには、その認識結果を用いて、他の装置を動作させたりなどの指令を行なう。
【００３８】
＜ワード間の相関値＞
上述したような音声認識の処理において、認識部１３のスコア計算は、入力された未知音声信号に対して、与えられた辞書、すなわち音声認識対象ワードの集合内の全ワードとの間で計算される。小語彙の認識であれば、その処理量はあまり問題にならない。しかし、中語彙や大語彙の認識では、非常に重要な問題となる。
【００３９】
そこで、認識対象ワードを予め階層構造あるいは重複を許す木構造に構造化しておき、その構造を用いることで、スコア計算を行なうワード数を削減することが、本発明の目的である。これを簡単に示したのが図２である。
【００４０】
すなわち、図２において、全ての音声認識対象ワードの分布空間２０内において、各ワードＷ間の関係を用いてその分布構造を予め求めておけば、ある入力２１とワードＷの分布構造との関係から、その入力２１に対し、スコア計算を行なう必要のあるワードの集合２２（すなわち上位でスコアを競い合うもの）と、必要のないワードすなわちスコアが高くなりそうもないものと、を決定することができるようになる。そして、スコア計算の必要のないワードを削除する、すなわちスコアの計算対象から外すことにより、認識部の処理量あるいは演算量を低減させようとするものである。
【００４１】
このような目的にあったワードの分布構造を決定するためには、ワード間の関係を知るための距離尺度のようなものが必要となる。
【００４２】
一般に、音声認識において、各ワードに対応したモデル、すなわちテンプレートやネットワークモデル、確率モデルなどを作成し、学習過程においてそのモデルのパラメータを決定し、認識過程においてそのモデルを用いたスコア計算、すなわち距離計算や確率計算を行なうわけであるから、その意味では実音声信号とワードとの距離尺度は、実音声信号を音響分析して得られる特徴量とワードに対応したモデルとから計算されるスコアによって定義されていると考えられる。
【００４３】
ところで、音声認識で用いられるスコアは、話者の違いや、発話速度、環境の変化などによって、大きく変動する傾向が見られる。例えば、同じように発声された二つの音声信号に対して、同じモデルでスコア計算を行なった場合、そのスコアに差異が生じることは珍しくない。また、同じように発声した二つの音声信号に対して、異なる二つのモデルを用いてスコア計算をした場合、一方の音声信号については、片方のモデルに対するスコアの方が高く、もう一方の音声信号については、もう片方のモデルの方がスコアが高いという現象（順序が入れ代わる現象）もしばしば見られる。
【００４４】
そこで、この変動を吸収するため、それぞれの認識手法において用いられるスコアの期待値によって、ワード間の相関値を定義することを考える。
【００４５】
まず、認識対象ワードをＷｉ （１＜ｉ＜Ｎ）と表し、各ワードＷｉ に対応する実音声信号の集合をＸｉ ＝｛Ｘｉ １，Ｘｉ ２，Ｘｉ ３，・・・｝とする。ここで、Ｎは認識対象ワード数、すなわち辞書に含まれるワード数とする。
【００４６】
そして、ある音声信号Ｘｊ ｋを音響分析して得られる特徴量と、学習によって既にパラメータが決定されているワードＷｉ に対応したモデルとの間で計算されるスコア、例えば、ＤＰマッチングにおけるテンプレートとの距離や、ＨＭＭにおける生起確率など、をＳ（Ｘｊ ｋ，Ｗｉ）と記述することにする。
【００４７】
ただし、このスコアは
【００４８】
【数１】
【００４９】
のように正規化してあるものとする。この（１）式で、Ｓｏｒｇ（Ｘｊ ｋ，Ｗｉ） は正規化前のスコア、Ｓ（Ｘｊ ｋ，Ｗｉ）は正規化されたスコアである。
【００５０】
今、ワードＷ１ に対応するある音声信号Ｘ１ １を用いれば、各ワードに対してスコアＳ（Ｘ１ １，Ｗｉ）を求めることができる。同様に、音声信号Ｘ１ ２を用いてスコアＳ（Ｘ１ ２，Ｗｉ）が求まる。以下同様にすれば、Ｗ１ に対応する音声信号の集合Ｘ１ ＝｛Ｘ１ １，Ｘ１ ２，Ｘ１ ３，・・・｝を用いてスコアがそれぞれ計算できる。そこで、この音声信号の集合Ｘ１ に対して各ワードごとに求まるスコアの期待値、例えば平均値をＳｅ（Ｘ１，Ｗｉ）と表すことにすれば、
【００５１】
【数２】
【００５２】
のように計算することができる。ここで、ＫはＷ１ に対応する音声信号のデータ数であり、十分大きいものとする。
【００５３】
同じようにして、ワードＷｊ に対応する音声信号の集合Ｘｊ ＝｛Ｘｊ １，Ｘｊ ２，Ｘｊ ３，・・・｝と各ワードとの間で、スコアの期待値を次式のように求めることができる。
【００５４】
【数３】
【００５５】
もし、認識性能がある程度保証された音声認識の方式を用いるならば、ワードＷ１ に対応した音声信号の集合Ｘ１ に対しては、上記（３）式で求まるスコアの期待値の中で、Ｓｅ（Ｘ１，Ｗ１）が最も高くなることが期待できる。同様に、ワードＷｊ に対応した音声信号の集合Ｘｊ に対しては、（３）式で求まるスコアの期待値の中で、Ｓｅ（Ｘｊ，Ｗｊ）が最も高くなることが期待できる。そして、Ｘｊ に対してスコアの期待値Ｓｅ（Ｘｊ，Ｗｉ）が高いＷｉ というのは、未知音声信号Ｘｊ ｋに対してもスコアＳ（Ｘｊ ｋ，Ｗｉ）が高くなることが期待でき、逆に、Ｘｊ に対するスコアの期待値Ｓｅ（Ｘｊ，Ｗｉ）が低いＷｉ というのは、未知音声信号Ｘｊ ｋに対してもスコアＳ（Ｘｊ ｋ，Ｗｉ）が低くなることが期待できる。
【００５６】
そこで、上記（３）式によって求まるスコアの期待値Ｓｅ（Ｘｊ，Ｗｉ）をワードＷｊ に対するワードＷｉ の距離尺度Ｄ（Ｗｊ，Ｗｉ）としてとらえる。
【００５７】
【数４】
【００５８】
ただし、この（４）式の距離尺度Ｄ（Ｗｊ，Ｗｉ）は、スコアＳ（Ｘｊ ｋ，Ｗｉ）としてテンプレートとの距離などを用いる場合には、小さければ小さいほどＷｊ に対してＷｉ が近いことを意味し、ＨＭＭなどの生起確率を用いる場合には、逆に大きければ大きいほどＷｊ に対してＷｉ が近いことを意味する。
【００５９】
このとき、距離尺度Ｄ（Ｗ１，Ｗｉ）にもとづいて、ワードＷ１ に対してワードＷｉ （ｉ＝１，２，・・・，Ｎ）を近い順に並べることができる。同様に、ワードＷ２，Ｗ３，・・・，ＷＮ に対しても、ワードＷｉ （ｉ＝１，２，・・・，Ｎ）を近い順に並べることができる。
【００６０】
そこで、その順位、つまりＷｊ に対して近い順にワードＷｉ を並べたときの順位を、ワードＷｊ に対するワードＷｉ の相関値Ｒ（Ｗｊ，Ｗｉ）として定義する。例えば、一番近いものは１、二番目に近いものは２、以下同様にして、最も遠いものはＮとする。
【００６１】
なお、上記（４）式のの距離尺度Ｄ（Ｗｊ，Ｗｉ）が同じになり、順位が同じとなるようなものがある場合は、これに無理矢理順序をつけることはせず、ともに同じ相関値を設定するものとする。例えば、３位のものが二つある場合は、ともに３を設定する。
【００６２】
以上のようにして定義された相関値Ｒ（Ｗｊ，Ｗｉ）は、１からＮまでの整数値をとることになり、小さいほど相関が高く、大きいほど相関が低いと見なすことができる。すなわち、相関が高いあるいは相関値Ｒ（Ｗｊ，Ｗｉ）が小さいとは、ワードＷｊ に対応した未知音声信号Ｘｊ ｋに対してワードＷｉ のモデルから求まるスコアＳ（Ｘｊ ｋ，Ｗｉ）が高くなることが期待できることを意味し、相関が低いあるいは相関値Ｒ（Ｗｊ，Ｗｉ）が大きいとは、ワードＷｊ に対応した未知音声信号Ｘｊ ｋに対してワードＷｉ のモデルから求まるスコアＳ（Ｘｊ ｋ，Ｗｉ）が低くなることが期待できることを意味する。ここで、Ｒ（Ｗｊ，Ｗｉ）とＲ（Ｗｉ，Ｗｊ）は、定義からわかるように、必ずしも同じになるとは限らないということは注意が必要である。
【００６３】
次に、このような相関値をもとに、目的とする音声認識対象ワードを構造化する方法について説明する。
【００６４】
＜認識対象ワードの構造化＞
音声認識対象ワードの構造化の方法に関して述べる前に、どのように構造化すべきかについて簡単に説明する。
【００６５】
基本的には、音声認識対象ワードを代表ワードとそれに属するワードとに分離し、実際に認識を行なう場合には、入力音声信号に対して、まず代表ワードの中だけで認識処理を行なう。これは、図２における全認識対象ワードの分布空間２０において、どのあたりに入力されたかを調べることにあたる。この認識処理の結果により、さらに認識処理を行なうべきワードを限定し、最終的には、代表ワードとある一部のワードに対する認識処理、すなわち局所的な探索だけで認識結果を求めようとすることになる。
【００６６】
例えば、図３に示されるような関係、すなわち代表ワード３１としての例えば５つのワードＷ１ 、Ｗ５ 、Ｗ７ 、Ｗ１０と、それに属するワード３２としての例えば６つのワードＷ２ 、Ｗ３ 、Ｗ４ 、Ｗ６ 、Ｗ８ 、Ｗ９ との間の従属関係が得られた場合、先ず、代表ワードだけで認識処理を行ない、その結果をもとに、ある判定基準に基づいて、次に認識処理を行なうべきワードを選び出すことになる。例えば代表ワードＷ７ に属するワードが選び出されたとすれば、結局は、代表ワード３１となる５つのワードＷ１ 、Ｗ５ 、Ｗ７ 、Ｗ１０と、ワードＷ７ に属するワードＷ６ 、Ｗ８ 、Ｗ９ に対してだけ認識処理を行ない、その中から最もスコアの高いものが選ばれることになる。
【００６７】
したがって、全探索で正解が得られる、すなわち入力音声信号に対応するワードのスコアが最も高くなるようなら、代表ワードに対応する入力音声信号に対しては必ず正解が得られることになる。
【００６８】
これに対して、代表ワード以外のワードに対応する入力音声信号に対しては、先ず、代表ワードの中だけで認識処理を行なった場合、当然、正解は得られるはずはない。しかし、代表ワードに対するスコアづけを行なえば、その中でスコアの高いもの、すなわち相関が高いと思われるもの、を抽出することができる。
【００６９】
そこで、正解となるワードにとって相関の高い、すなわち相関値の小さいワードが代表ワードの中に含まれており、かつ、その代表に属するワードの中にその正解となるワードが含まれているならば、代表ワードの中でスコアの高いものを求め、それに属するワードを抽出し、その中でさらに認識処理を行なうことで、最終的に正解が得られることが期待できる。
【００７０】
以上の考えに基づいて、認識対象ワードを構造化する方法について、図４を参照しながら説明する。
【００７１】
手順１．グループ化（ステップＳ４１）
相関値Ｒ（Ｗｊ，Ｗｉ）とＲ（Ｗｉ，Ｗｊ）が共に小さいワードＷｉ とＷｊ とは、どちらのワードに対応した入力音声信号Ｘに対しても、スコアＳ（Ｘ，Ｗｉ），Ｓ（Ｘ，Ｗｊ）が高くなることが期待できることから、この二つをグループ化する。この際、どちらか一方を代表ワードとし、他方をその属するワードとする。また、グループ化されないワードに関しては、自分自身を代表ワードとし、単一グループとする。
【００７２】
手順２．グループへの追加（ステップＳ４２）
いずれかのグループに属してしまい、代表ワードにならなかったＷｊ に関しては、さらに、Ｒ（Ｗｊ，Ｗｉ）が小さいＷｉ の中で代表ワードに選ばれたＷｉ のグループにも属するようにする。これは、代表に選ばれなかったＷｊ の属するグループとして、Ｗｊ に対して相関の高いＷｉ が代表ワードとなっているものを、できる限り多くしておくために行なわれる処理である。
【００７３】
手順３．階層化
上記グループ化およびグループへの追加を一まとまりのステップとしてグループ分けを行ない、同様にして各グループの代表ワードに対して改めてグループ分けを行ない、さらにその代表ワードに対してグループ分けを行なうということを繰り返し、階層構造の探索木を作成する。つまり、上記グループ化およびグループへの追加の処理によって、ある階層において、相関のあるワードがグループ化され、各グループに対する代表がひとつ選ばれることになる。そして、その代表ワードが、その上の階層の構成要素となるわけである。
【００７４】
図４のフローチャートにおいては、先ず、ステップＳ４１で上記グループ化を行い、ステップＳ４２で上記グループへの追加を行い、ステップＳ４３で上記代表ワードを選び出す。この選び出された代表ワードに対して、再びステップＳ１のグループ化とステップＳ２のグループへの追加を行い、これを繰り返していき、階層構造に構造化していくわけである。
【００７５】
図５はこのようなグループ分けの具体例を示している。
まず、図５のＡに示す与えられた音声認識対象ワードＷｉ （ｉ＝１，２，・・・，１０）に対して、上記各ステップＳ４１、Ｓ４２により図５のＢに示すようなグループ分けが行なわれ、上記ステップＳ４３により代表ワードＷ１ 、Ｗ５ 、Ｗ７ 、Ｗ１０が選び出される。次に、この代表ワードに対して、同様に上記各ステップＳ４１、Ｓ４２の処理を行ない、図５のＣに示すようなグループ分けがなされ、ステップＳ４３により代表ワードＷ１ 、Ｗ７ が選び出される。そして、最終的に図６に示すような探索木が得られることになる。
【００７６】
次に、上記の構造化に関して、具体例を述べる。
【００７７】
グループ化について
手順１．まず、各ワードＷｉ に対応したグループＧｉ をつくり、そのグループの要素数をｎ（Ｇｉ） で表すことにする。
【００７８】
初期状態は、
Ｇｉ＝｛Ｗｉ｝， ｎ（Ｇｉ）＝１ ・・・ （５）
とし、各グループＧｉ の代表ワードをＷｉ とする。
手順２．各ワードＷｊ に対して、相関値Ｒ（Ｗｊ，Ｗｉ）（ただしｉ＝１，２，・・・，Ｎ）を求める。
手順３．ｉ＝１
手順４．ｊ＝ｉ＋１
手順５．Ｒ（Ｗｊ，Ｗｉ）≦ｒ、かつＲ（Ｗｉ，Ｗｊ）≦ｒとなる場合、この（ｉ，ｊ）に対して以下を行なう。それ以外の場合は次の手順６．へ。
（１） ｎ（Ｇｉ）≧１ かつ ｎ（Ｇｊ）≦１の場合、下記の処理（Ｉ） を実行。
（２） ｎ（Ｇｉ）≦１ かつ ｎ（Ｇｊ）≧１の場合、下記の処理（ＩＩ）を実行。
（３） ｎ（Ｇｉ）＞１ かつ ｎ（Ｇｊ）＜１の場合、
グループＧｉ に含まれるＷｉ 以外の要素と、
グループＧｊ に含まれるＷｊ 以外の要素が同じであれば、
下記の処理（Ｉ）（または、処理（ＩＩ））を実行。
ただし、処理（Ｉ），（ＩＩ）とは次のような処理である。
処理（Ｉ）：グループＧｉにワードＷｊが既に属していれば何も行なわず、属していなければ、グループＧｉにワードＷｊを追加し、ｎ（Ｇｉ）は１増加し、ｎ（Ｇｉ）＝０とする。
処理（ＩＩ）：グループＧｊにワードＷｉが既に属していれば何も行なわず、属していなければ、グループＧｊにワードＷｉを追加し、ｎ（Ｇｉ）は１増加し、ｎ（Ｇｉ）＝０とする。
手順６．ｊを１増加させ、ｊ≦Ｎならば上記手順５．へ戻り、ｊ＞Ｎならば次の手順７．へ。
手順７．ｉを１増加させ、ｉ≦Ｎ−１ならば上記手順４．へ戻り、ｉ＞Ｎ−１ならば終了する。
【００７９】
上記のグループ化の方法に関して、図７のフローチャートを参照しながら簡単に説明する。
【００８０】
ステップＳ７１でグループの初期化を行ない、ステップＳ７２で相関値を求め、ステップＳ７３において、上記手順３．〜手順７．に相当する処理、すなわち異なるＷｉ とＷｊ に対して、相関値をもとにグループ化を行なっていく。その判定基準としては、上記手順５．の処理におけるような
Ｒ（Ｗｊ，Ｗｉ）≦ｒ かつ Ｒ（Ｗｉ，Ｗｊ）≦ｒ ・・・（６）
を用いる。ここで、ｒは、１よりは大きく認識対象ワード数Ｎよりは（十分）小さな整数（例えば、２から１０くらい）を設定する。すなわち、相関値Ｒ（Ｗｊ，Ｗｉ）とＲ（Ｗｉ，Ｗｊ）が共に小さくなるようなＷｉ ，Ｗｊ に対してグループ化を行なっていくわけである。
【００８１】
そして、そのようなＷｉ とＷｊ とが見つかった場合には、基本的には上記手順５．に示す（１），（２） の場合のように、まだ代表ワードになっていない方を、既に代表ワードになっている方のグループに属させるようにする。すなわち上記処理（Ｉ） または処理（ＩＩ）を行う。例えば、Ｇ１ ＝｛Ｗ１ ，Ｗ２ ｝，Ｇ３ ＝｛Ｗ３ ｝の場合に、Ｗ１ とＷ３ の間で上記（６）式が成り立てば、Ｇ１ ＝｛Ｗ１ ，Ｗ２ ，Ｗ３ ｝に変更し、Ｇ３ は空集合にすればよい。
【００８２】
ただし、どちらのグループにも、既に代表ワード以外に属する要素が存在する場合、すなわち上記手順５．の（３） の場合には、その代表ワード以外の要素が同じ時のみ、上記処理（Ｉ）（または処理（ＩＩ）） を実行する。例えば、Ｇ５ ＝｛Ｗ１ ，Ｗ５ ｝，Ｇ７ ＝｛Ｗ２ ，Ｗ７ ｝の場合に、Ｗ５ とＷ７ に対して上記（６）式が成り立っても、グループ化は行なわないが、Ｇ５ ＝｛Ｗ１ ，Ｗ２ ，Ｗ５ ｝，Ｇ７ ＝｛Ｗ１ ，Ｗ２ ，Ｗ７ ｝の場合に、Ｗ５ とＷ７ に対して（６）式が成り立てば、Ｇ５ ＝｛Ｗ１ ，Ｗ２ ，Ｗ５ ，Ｗ７ ｝に変更し、Ｇ７ は空集合にすることになる。逆に、Ｇ５ を空集合にし、Ｇ７ ＝｛Ｗ１ ，Ｗ２ ，Ｗ５ ，Ｗ７ ｝と変更してもよい。
【００８３】
また、ｎ（Ｇｉ）＝１かつｎ（Ｇｊ）＝１の場合に、Ｗｉ とＷｊ に対して上記（６）式が成り立つようなときは、上記処理（Ｉ） と処理（ＩＩ）のどちらを実行してもよい。
【００８４】
なお、判定条件の上記（６）式におけるｒは、小さければ小さいほど、グループ化が行なわれる条件が厳しくなる。その意味では、最初ｒ＝２に設定して、上記手順１．から手順７．の処理を行ない、次にｒ＝３に設定して、上記手順３．から手順７．の処理を行ない、同様にしてｒを１ずつ増加させながら、ｒ≦ｒａ を満たす間、上記手順３．から手順７．の処理を繰り返すようにすることで、最も相関のあるワードどうしがまずグループ化されてから、次に相関のあるもの、その次に相関のあるものという風に、順にグループ化されていくことになり、代表に選ばれないワードにとっては、より相関の強いワードが初期の段階で代表ワードになってくれるという点で、効果のある構造化が得られるようになる。ここで、ｒａ には、２よりは大きく認識対象ワード数Ｎよりは十分小さな整数（例えば、３から１０くらい）を設定するものとする。
【００８５】
これを図８に示す。図８の各ステップＳ８１、Ｓ８２、Ｓ８３は、それぞれ上記図７の各ステップＳ７１、Ｓ７２、Ｓ７３に対応するが、上記手順３．から手順７．の処理に相当するステップＳ８３については、ｒを１ずつ増加させながらｒ≦ｒａ を満たす間、処理を繰り返すようにしている。
【００８６】
さらにまた、判定条件の上記（６）式の代わりに、
Ｒ（Ｗｊ，Ｗｉ）≦ｒｊ かつ Ｒ（Ｗｉ，Ｗｊ）≦ｒｉ ・・・ （７）
のようにＷｊ にはそれに応じたｒｊ を設定するようにし、例えば、
ｒｊ＝ｎ（Ｇｊ）＋ｒ−１ （ｊ＝１，２，・・・，Ｎ） ・・・ （８）
のように、ｎ（Ｇｊ） に応じて変動させるような方法も考えられる。この場合、最初はｒ＝２、すなわちｒｊ ＝２に設定して、上記手順１．から手順７．の処理を行ない、得られた各グループの要素数に従って、ｒ＝３として上記（８）式によりｒｊ を設定し直し、上記手順３．から手順７．の処理を行ない、同様にして、ｒを１ずつ増加させるとともに、グループの要素数に応じて上記（８）式によってｒｊ を設定し直しながら、ｒ≦ｒａ を満たす間、上記手順３．から手順７．の処理を繰り返すようにする。このようにすることで、本来非常に相関のあるＷｉ とＷｊ がグループ化されないような状況、特に、Ｗｊ にとってさらに相関のあるＷｋ が多数存在していたために、相関値Ｒ（Ｗｊ，Ｗｉ）が少し大きくなってしまい、Ｗｉ とＷｊ がグループ化されないような状況を緩和することができる。
【００８７】
例えば、Ｗ５ に対して、Ｒ（Ｗ５，Ｗ１）＝２であったとしても、Ｗ１ に対して、Ｒ（Ｗ１，Ｗ３）＝２，Ｒ（Ｗ１，Ｗ８）＝３，Ｒ（Ｗ１，Ｗ５）＝４であるような場合、ｒ≧４として上記（６）式の判定を行なわなければ、Ｗ１ とＷ５ はグループ化されない。しかし、もし、Ｇ１ ＝｛Ｗ１ ，Ｗ３ ，Ｗ８ ｝のようにグループ化された後に、ｒ＝２として上記（７）式の判定を行なえば、Ｗ１ とＷ５ はグループ化されることになる。これは、上記（８）式により、ｒ１ ＝５，ｒ５ ＝３となるからである。
【００８８】
したがって、さらに効率的に構造化が行なえるようになる。ここで、ｒａ には、前と同様、２よりは大きく認識対象ワード数Ｎよりは十分小さな整数（例えば、３から１０くらい）を設定するものとする。
【００８９】
グループへの追加について
手順１．ｊ＝１
手順２．Ｗｊ が代表ワードでない場合、すなわちｎ（Ｇｊ）＝０ の場合、以下を行なう。それ以外の場合は、次の手順３．へ。
（ａ） ｉ＝１
（ｂ） Ｗｉ が代表ワードの場合、すなわちｎ（Ｇｉ）＞０ の場合、以下を行なう。それ以外の場合は、（ｃ）へ。
Ｒ（Ｗｊ，Ｗｉ）≦ｒｂ の場合、下記の処理（ＩＩＩ）を実行。
（ｃ） ｉを１増加させ、ｉ≦Ｎならば（ｂ）へ戻り、ｉ＞Ｎならば次の手順３．へ。
ただし、処理（ＩＩＩ）とは次のような処理である。
処理（ＩＩＩ）：グループＧｉにワードＷｊが既に属していれば何も行なわず、属していなければ、グループＧｉにワードＷｊを追加し、ｎ（Ｇｉ）を１増加させる。
手順３．ｊを１増加させ、ｊ≦Ｎならば上記手順２．へ戻り、ｊ＞Ｎならば終了。
【００９０】
上記のグループへの追加に関して、簡単に説明を加えると、まず、前記のグループ化によって、代表ワードとそれに属するワードに分離されることになる。そして、認識過程では、この代表ワードだけで、まず認識処理を行ない、その結果から、さらに認識処理の必要なワードを選び出すことが行なわれる。
【００９１】
つまり、代表に選ばれなかったワードにとっては、相関の強いワードができるかぎり代表ワードに含まれており、かつその代表ワードのグループに属していることが重要になるといえる。
【００９２】
そこで、上記の手順１．，手順２．，手順３．の処理を通して、代表ワードに選ばれてないワードＷｊ に着目し、代表に選ばれているＷｉ の中で相関の強いワード、すなわち
Ｒ（Ｗｊ，Ｗｉ）≦ｒｂ （９）
を満たすＷｉ を探しだし、対応するグループＧｉ にＷｊ がまだ属していない場合は、そのグループの要素としてＷｊ を追加するわけである。
【００９３】
なお、上記（９）式のｒｂ は、２よりは大きく認識対象ワード数Ｎよりは小さな整数（例えば、３から２０くらい）を設定するものとする。ただし、認識性能を劣化させないためには、前述のグループ化における（６）式のｒや（７）式のｒｉ ，ｒｊ はあまり大きくしない方が良い、すなわち判定条件を厳しくした方が良いのに対して、上記（９）式のｒｂ はできるだけ大きめに設定する方が良いと言える。
【００９４】
なぜなら、代表ワードに選ばれないワードに関しては、認識過程において、認識処理（スコア計算）が行なわれる対象ワード内に含まれない危険性があり、その意味では、グループ化を行なう際に、相関のあまり強くないワードどうしはグループ化を、すなわち片方を代表ワードとし、もう片方をそれに属するワードとすることを、しない方が良いといえる。したがって、上記（６）式のｒや（７）式のｒｉ ，ｒｊ はあまり大きくしない方が良い。
【００９５】
これに対して、一旦グループ化が行なわれた後、代表ワードに選ばれかったワードは、できるだけ多くのグループに属している方が、認識過程において、認識処理（スコア計算）が行なわれる対象ワード内に含まれる確度が高くなり、その意味では、上記（９）式のｒｂ はできるだけ大きい方が良いわけである。特に、そのワードにとって相関の高いワードが代表となっているグループに含まれることは、より効果が期待できるわけである。
【００９６】
しかし、上記（９）式のｒｂ を大きくすることは、認識過程における探索範囲の拡大、すなわちスコア計算が行なわれるワード数が大きくなることにつながり、本来の目的である、認識過程の処理量（演算量）を縮小したいという意味ではあまり大きくし過ぎてはいけない。したがって、結局ｒｂ としては、上記（６）式のｒや上記（７）式のｒｉ ，ｒｊ よりは少し大き目くらいに設定するのが好ましい。
【００９７】
階層化について
手順１．全認識対象ワード｛Ｗｉ ：ｉ＝１，２，・・・，Ｎ｝に対し、Ｗｉ をＷｉ ０などと表記することにする。また、Ｎ０ ＝Ｎとする。
手順２．ｍ＝１
手順３．ワード｛Ｗｉ ｍ−１：ｉ＝１，２，・・・，Ｎｍ−１ ｝に対して、前述のグループ化とグループへの追加の処理を１ステップとするグループ分けを行なう。得られた代表ワードを｛Ｗｉ ｍ：ｉ＝１，２，・・・，Ｎｍ ｝と表すことにする。ただし、Ｎｍ は得られた代表ワードの数である。
手順４．ｍを１増加させ、ｍ≦Ｍならば手順３．へ戻り、ｍ＞Ｍならば終了。
【００９８】
上記の階層化に関して、上記図４を参照しながら簡単に説明する。
まず、ｍ＝１ における上記手順３．の処理は、全認識対象ワードに対して、前述のステップＳ４１でのグループ化と、ステップＳ４２でのグループへの追加を行なうことにあたり、最初に行なうステップＳ４１のグループ化によって、相関の強いものどうしがグループ化され、その従属関係が決定されることになる。
【００９９】
次に、ｍ＝２とし、ｍ＝１において得られた代表ワードに対するグループ分けを行なうわけであるが、やはり最初に行なうグループ化によって、相関の強いものどうしがグループ化され、その従属関係が決定されることになる。
【０１００】
以後、同様にｍ＞Ｍとなるまで、同じようにグループ分けを行っていき、図６に示されるような階層構造の探索木が得られることになるわけであるが、その作成過程を考えれば、ある階層のワードには、相互に相関の強いワードが代表ワードとしてその上の階層に存在し、パスがつながっていることが期待できる。つまり、最も下の階層、すなわち全認識対象ワードの集合、にあるワードにとって、相互に相関の強いワードへのパスが上の階層へとつながっていくことが期待できる。
【０１０１】
例えば、図９に示されるように、ワードＷ１ とＷ５ の間に上記（６）式あるいは（７）式のような関係が成立し、Ｗ１ が代表ワード、Ｗ５ がＷ１ に属するワードになったとする。さらに、ワードＷ１ とＷ９ がともに代表として選ばれた後、再度グループ化を行なった結果、ワードＷ１ とＷ９ の間に、上記（６）式あるいは（７）式ような関係が成立し、Ｗ９ が代表ワード、Ｗ１ がＷ９ に属するワードになったとする。この場合、ワードＷ５ とＷ９ の相関も強いことが期待できるわけである。
【０１０２】
しかしながら、最も下の階層のワードにとって、上の階層へのパスをたどっていって得られるワードとの相関の強さは、上の階層へ行けば行くほど、弱くなることが予想される。したがって、もし得られた探索木をもとに、認識処理をすべきワードを制限するものとした場合、あまり上の階層のワードから最も下のワードに対する制限をかけるのは、歪みの増大、すなわち認識率の低下を招くことが予想され、好ましくないといえる。その意味からすれば、上記のような階層化によって得られる探索木の最上位の階層Ｍは、あまり大きくし過ぎない方が良い。
【０１０３】
なお、Ｗｉ ｍを第ｍ階層のワードと呼ぶことにする。例えば、認識対象ワードの集合は第０階層のワードであり、そこから選ばれた代表ワードの集合は第１階層のワードと呼ぶことにする。
【０１０４】
＜認識手法＞
つづいて、上記認識対象ワードを上述したように階層構造に構造化することによって得られる探索木を用いた認識手法に関して述べる。
【０１０５】
この音声認識には、図１に代わって、図１０のような構成が用いられる。
【０１０６】
ここで、入力部１０１、音響分析部１０２、パラメータ記憶部１０４、出力部１０５に関しては、その動作は前述した図１の各部１１、１２、１４、１５とそれぞれ同じである。
【０１０７】
すなわち、入力部１０１から入力された音声信号が、音響分析部１０２で音響分析され、得られた特徴量が認識部１０３へ送られる。
【０１０８】
学習過程では、学習用の音声データをもとに、認識処理に用いられるパラメータが決定され、そのパラメータがパラメータ記憶部１０４に記憶される。そして新たに、前述した認識対象ワードの構造化を、実音声データを用いて行ない、得られた探索木を探索木記憶部１０６に記憶する。すなわち、各認識対象ワードに対応した実音声データに対して、認識部１０３におけるスコア計算を行ない、前述の構造化の方法に基づいて探索木を作成し、探索木記憶部１０６に記憶する。
【０１０９】
認識過程においては、入力部１０１より入力された未知音声信号に対して、音響分析部１０２において音響分析を行ない、得られた特徴量が認識部１０３へ送られる。そして、以下のような認識処理を行なう。
【０１１０】
手順１．第Ｍ階層のワードに対してスコア計算を行ない、最もスコアの高いものから上位ｐ個を選び出す。
手順２．ｍ＝Ｍとする。
手順３．第ｍ階層において選ばれた最もスコアの高いものから上位ｐ個のワードに対して、探索木記憶部１０６の探索木をもとに、そのワードに属する第ｍ−１階層のワードを抽出する。そして、それらのワードに対して、再びスコア計算を行ない、最もスコアの高いものから上位ｐ個を選び出す。
手順４．ｍを１減少させ、ｍ＞０ならば３へ戻り、ｍ＝０ならば次の手順５．へ。
手順５．第０階層において抽出されたワードの中から、最もスコアの高いもの、あるいは上位複数個、を選び出す。
そして、上記手順５．において選び出された最もスコアの高いワード、あるいは上位複数個を、出力部１０５へ送信する。
【０１１１】
出力部１０５では、送信されてきた認識結果を画面に表示したり、音として出力したり、さらには、その認識結果を用いて、他の装置を動作させたりなどの指令を行なう。
上記手順１．の処理を初期探索といい、上記手順２．から手順４．までの処理を構造探索と呼ぶ。
【０１１２】
ここで、図１１は、上記認識処理の概要を説明するためのフローチャートである。
この図１１の最初のステップＳ１１１において、初期探索として、上記第Ｍ階層の探索を行い、その後、処理ルーチン１１２により、第Ｍ−１階層の探索から第０階層の探索までの構造探索を行う。この処理ルーチン１１２において、ステップＳ１１３では第ｍ階層のワードを抽出し、この抽出されたワードに対して、ステップＳ１１４でスコア計算が既に行われているか否かを判別し、ＮＯのときはステップＳ１１５に進んでスコア計算を行った後、ステップＳ１１６に進み、ＹＥＳのときは直接ステップＳ１１６に進んでいる。ステップＳ１１６では、計算されたスコアの高いものから上位ｐ個を選び出している。
【０１１３】
上記初期探索は、認識過程において最初に行なう最上位階層の代表ワードに対するスコア計算にあたり、構造探索は、探索木をもとに、一つ上の階層の探索で選び出されたｐ個の代表ワードに属するワードに対してスコア計算を行なっていく処理にあたる。また、以上のような構造探索においては、代表ワードとして既にスコア計算をしたものや、抽出した二つ以上のグループに重複して含まれているものがあるため、一旦スコア計算を行なったワードに関しては、そのスコアを記憶しておき、同じワードに対するスコア計算の重複を避けるようにするものとする。
【０１１４】
＜記憶容量の見積り＞
以上のような探索木を用いた認識処理において、探索木に必要な記憶容量の見積りをしておく。全ワード数をＮとする。グループ化によって、ある階層のワードがそのワード数の約２分の１のグループに縮退し、かつ各グループの平均要素数が１０ワードになると仮定すれば、階層ｍのワード数は
（１／２）ｍＮ （１０）
で与えられ、各ワードから一つ下の階層のワードへの従属関係として平均１０本の探索木のパスを記憶しなければならず、したがって、第１階層から第Ｍ階層までの全ワードに対しては、
【０１１５】
【数５】
【０１１６】
のパスを記憶する必要があることになる。ここで、Ｍは探索木の最上位階層である。したがって、記憶容量としては、Ｍを十分大きくしたとしても、
【０１１７】
【数６】
【０１１８】
のパス情報を記憶すればよいことになる。
【０１１９】
なお、この値は認識対象となるワードのセットに大きく依存したものであり、上記（６）式のｒや、上記（９）式のｒｂ によっても大きく変動することから、ひとつの目安として示したものである。
【０１２０】
＜演算量の見積り＞
次に、探索木を用いた認識処理における、演算量の見積りをしておく。前述した記憶容量の見積りにおいて想定するような探索木が得られたとする。つまり、全ワード数をＮとし、各階層において約２分の１のグループに縮退し、かつ各グループの平均要素数が１０ワードであるとすれば、認識における初期探索のワード数は
（１／２）ＭＮ （１３）
構造探索のワード数は、
【０１２１】
【数７】
【０１２２】
で与えられることになる。ただし、Ｍは認識時の初期探索を行なう階層、ｐは第ｍ階層で抽出するスコアの高いワード数とする。
【０１２３】
参考として、１０００ワードと４０００ワードの認識において、 ｐ＝１０ の場合のスコア計算すべきワード数、すなわち初期探索のワード数と構造探索のワード数を見積もったのが次の表１， 表２である。
【０１２４】
【表１】
【０１２５】
【表２】
【０１２６】
それぞれ、初期探索の階層Ｍに対する初期探索のワード数と構造探索のワード数、およびその合計、すなわち最終的にスコア計算を行なうワード数を示している。ここで、Ｍ＝０は全探索に対応しているものとする。構造化による演算量の削減としては、表１に示す１０００ワードの認識の場合、第６階層を初期探索の階層とすれば、初期探索 ２５０ワード、構造探索 ２００ワード、合計 ４５０ワードのスコア計算を行なうことになり、約６割減になるものと思われる。また、表２に示す４０００ワードの場合、第４階層を初期探索の階層とすれば、初期探索 ２５０ワード、構造探索 ４００ワード、合計 ６５０ワードのスコア計算を行なうことになり、約８割減になるものと思われる。しかも、代表ワードとして既にスコア計算したものや、抽出した二つ以上のグループに重複して含まれるものなど、同じワードに対するスコア計算の重複は避けることから、さらに演算量を削減できることが期待できる。
【０１２７】
なお、このような探索木を用いた認識処理を行なう場合には、スコア計算と別に、構造探索においてスコア計算すべきワードを抽出するための処理などが加わるが、この演算量は、スコア計算にかかる演算量に比べれば十分小さなものになると考え、考慮に入れていない。
【０１２８】
＜シミュレーション結果＞
実際に、９３８個の単語認識を、全探索と本発明の構造化を用いた探索とで比較した結果について述べる。ただし、構造化の方法としては、グループ化を行なうために上記（７）式を用い、ｒを２から８まで増加させながら、上記（８）式でｒｊ を変動させてグループ化を行なった。また、グループへの追加を行なうために上記（９）式においてｒｂ ＝２０を用いた。そして、Ｍ＝２階層の構造化を行なった。その結果、初期探索のワード数が１５０個となる２階層の探索木で、各階層のあるワードからその下の階層のワードへのパスとしては、平均１２本つながっているようなものが得られた。
【０１２９】
まず、全探索による認識では、認識率が９８．７％、スコア計算を行なったワード数が９３８個であった。これに対して、各階層でスコアの高いワードをｐ＝８個抽出するような構造化を用いた認識処理を行なった結果、認識率は９６．６％とわずかの劣化しか見せず、スコア計算を行なったワード数は、初期探索に１５０個、構造探索に平均１３５個、合計２８５個（平均）となった。つまり、全探索に比べ、計算量を約７割低減することが可能となったことがわかる。
【０１３０】
以上示したように、本発明の上述した第１の実施の形態によれば、認識対象ワードを予め木構造に構造化しておき、その構造に従って探索することで認識ワードを制限でき、演算量を大幅に低減することが可能となる。しかも、新たなワード間の相関値Ｒ（Ｗｊ，Ｗｉ）の定義と、その相関値に基づく認識ワードの構造化方法によって、局所的な探索であっても、スコアの高くなることが期待されるワードは探索範囲に含まれるようになり、最終的に、歪みをほとんど増大させることはない。つまり、認識率をほとんど劣化させることはない。さらに、余分に必要な記憶容量もワード数に対してその約１０倍程度パス情報を持っておけばよいだけであり、比較的小さなものとなる。
【０１３１】
第２の実施の形態
次に、本発明の第２の実施の形態として、本発明をＨＭＭ（隠れマルコフモデル）を用いた音声認識に適用した場合の例について説明する。
【０１３２】
これは、上述した第１の実施の形態において、相関値を計算するために音声データを用いる必要があった点を改良し、音声データを用いずにＨＭＭのパラメータから直接計算できるようにしたものである。もちろん、上述した実施の形態と同様、歪みの増大による認識率の低下をほとんど招くことなく、演算量を大幅に低減することを可能とする。しかも、余分に必要とされる記憶容量も比較的小さなものとなる。
【０１３３】
以下、ＨＭＭを用いた音声認識に関して簡単に説明し、その音声認識を高速化するための方式として、ワード間の相関値の定義、その相関値を用いた認識ワードの構造化の方法、およびその構造を用いた認識手法に関して述べる。
【０１３４】
＜ＨＭＭを用いた音声認識＞
認識すべきワードをＷ１，Ｗ２，・・・，Ｗｐとする。今、観測された音声信号の特徴パラメータがＹであったとき、ＹがワードＷｉ である確率は、Ｐ（Ｗｉ｜Ｙ） で与えられる。したがって、Ｐ（Ｗｉ｜Ｙ） （ｉ＝１，２，・・・，ｐ） の中で最大の確率を与えるＷｉ をＹの属するワード、すなわちワードＷｉ が発声されたものと判定すればよい。ここで、ベイズ（Ｂａｙｅｓ） の定理より、
Ｐ（Ｗｉ｜Ｙ）＝Ｐ（Ｗｉ）Ｐ（Ｙ｜Ｗｉ）／Ｐ（Ｙ） （１５）
が成り立ち、分母のＰ（Ｙ）はＷｉ には関係ないことから、分子のＰ（Ｗｉ）Ｐ（Ｙ｜Ｗｉ）（ｉ＝１，２，・・・，ｐ） を最大にするＷｉ を求めれば良いことがわかる。Ｐ（Ｗｉ） はワードＷｉ が発声される事前確率であり、Ｐ（Ｙ｜Ｗｉ） はワードＷｉ が発声されたときに、特徴パラメータＹが得られる確率である。
【０１３５】
ＨＭＭ法とは、（１）式を最大にするＷｉ を、確率モデル（ＨＭＭ）によって推定する手法である。
【０１３６】
ＨＭＭ（Ｈｉｄｄｅｎ Ｍａｒｋｏｖ Ｍｏｄｅｌ ：隠れマルコフモデル）は、非決定有限状態オートマトンとして定義され、図１２に示すように、いくつかの状態Ｓ１，Ｓ２，・・・，ＳＮ（状態数Ｎ）と、その状態間の遷移を表すパスから構成される。そして、各状態の遷移過程はマルコフ過程とし、状態が遷移するときに出力シンボルをひとつ発生するものとする。
【０１３７】
なお、音声認識では、図１３に示されるような自己遷移と次の状態への遷移のみを許すような、初期状態と最終状態を持つレフトツーライト（ｌｅｆｔ−ｔｏ−ｒｉｇｈｔ） モデルが用いられることが多い。
【０１３８】
ＨＭＭ法のうち、離散型ＨＭＭ法では、音声の特徴ベクトルを例えばベクトル量子化することなどにより得られるシンボル系列Ｙ＝ｙ１・ｙ２・・・ｙＴ （Ｔは観測系列の長さ）が各モデルで生起する確率（事後確率）を計算し、その確率が最も大きいモデルを認識結果とすることになる。
【０１３９】
＜ＨＭＭの定式化＞
ここで、ワードＷに対応した離散型ＨＭＭは次のように定式化される。
【０１４０】
Ｓ：状態の有限集合（Ｎは状態数）
Ｓ＝｛Ｓ１，Ｓ２，・・・，ＳＮ｝ （１６）
Ｖ：出力シンボルの集合（Ｍは出力シンボル数）
Ｖ＝｛ｖ１，ｖ２，・・・，ｖＭ｝ （１７）
Ａ：状態遷移確率の集合（ａｉｊは状態Ｓｉから状態Ｓｊへの遷移確率）
【０１４１】
【数８】
【０１４２】
Ｂ：状態遷移時の出力確率の集合（ｂｉｊ（ｖｋ） は状態Ｓｉから状態Ｓｊへの遷移の際にシンボルｖｋ を出力する確率）
【０１４３】
【数９】
【０１４４】
π：初期状態確率の集合（πｉ は初期状態がＳｉ である確率）
【０１４５】
【数１０】
【０１４６】
このようにして定義されたＨＭＭから、シンボル系列Ｙ＝ｙ１・ｙ２・・・ｙＴ が次のようにして生起される。
【０１４７】
手順１．初期状態確率πに従って、初期状態ｘ０＝Ｓｉを選ぶ。
手順２．ｔ＝０とする。
手順３．状態遷移確率ａｉｊに従って、状態ｘｔ＝Ｓｉから状態ｘｔ＋１＝Ｓｊへの遷移を選択する。
手順４．出力シンボル確率ｂｉｊ（ｖｋ） に従って、状態Ｓｉから状態Ｓｊに遷移するときに出力されるシンボルｙｔ＝ｖｋを選択する。
手順５．ｔ＜Ｔならば、ｔ＝ｔ＋１とし、手順３．へ戻る。それ以外は終了。
【０１４８】
ただし、状態遷移の時刻をｔ＝０，１，２，・・・ とし、時刻ｔにおいて遷移した状態をｘｔ とした。
【０１４９】
以上のように、ＨＭＭを定義するには、Ｎ，Ｍの指定、出力シンボルの集合、確率Ａ，Ｂ，πが必要であり、これを簡単に表記するため、
λ＝｛Ａ，Ｂ，π｝ （２１）
と表すことにする。つまり、ワード一つ一つにモデルが決定されることになる。
【０１５０】
＜ＨＭＭの確率計算＞
音声認識においては、前に述べたように初期状態と最終状態を一つとするｌｅｆｔ−ｔｏ−ｒｉｇｈｔ モデルを用いることが多く、以下では初期状態と最終状態をＳｉ，ＳＮに限定したモデルを考える。
【０１５１】
モデルλが、シンボル系列ｙ１・ｙ２・・・ｙＴ を出力して、時刻ｔに状態Ｓｉ に達する前方予測確率をαｉ（ｔ）とすると、上述したモデルのシンボル出力の定義から、次の漸化式
【０１５２】
【数１１】
【０１５３】
によってαｉ（ｔ）を計算することができる。ここで、上式のｊに関するサンメーションは、与えられたモデルにおいて、状態Ｓｊ から状態Ｓｉ への遷移が許されている場合のみとられるものとする。
【０１５４】
以上をもとに、モデルλがシンボル系列Ｙ＝ｙ１・ｙ２・・・ｙＴ を出力する確率Ｐ（Ｙ｜λ）は、
Ｐ（Ｙ｜λ） ＝αＮ（Ｔ） （２４）
で求まることになる。そして、ＨＭＭ法を用いた音声認識では、音声から生成されたシンボル系列Ｙ＝ｙ１・ｙ２・・・ｙＴ に対して、上式から計算される確率Ｐ（Ｙ｜λ）を最大にするモデルλが認識結果とされる。
【０１５５】
また、Ｐ（Ｙ｜λ）を求める別の方法として、ビタビ（Ｖｉｔｅｒｂｉ） アルゴリズムを用いた計算方法というものがある。これを簡単に説明すると、上記（２３）式のαｉ（ｔ） の代わりに
【０１５６】
【数１２】
【０１５７】
によって、時刻ｔに状態Ｓｉ である確率￣αｉ（ｔ）を計算する。ここで、上記（２５）式のｊに関する｛｝の最大値とは、与えられたモデルにおいて、状態Ｓｊ から状態Ｓｉ への遷移が許されているものに関してのみ考えるものとする。このような￣αｉ（ｔ）をもとに、
【０１５８】
【数１３】
【０１５９】
を求めるというものである。
【０１６０】
ここで、上記（２５）式によって決まる状態遷移系列として、最終状態がＳＮ となるものは唯一に決まり、これを最適パスと呼ぶ。この最適パスは Ｖｉｔｅｒｂｉアルゴリズムの上記（２５）式の計算において、その際に遷移してきた前状態を記憶しておくようにし、最終状態まで計算し終ったら、そこから前状態をたどっていけば得られる。
【０１６１】
また、ｌｏｇ Ｐ（Ｙ｜λ）を求めるようにすれば、乗算が加算の演算で置き換えられ、計算効率がよくなる。
【０１６２】
＜ＨＭＭのパラメータ推定＞
次に、シンボル系列Ｙ＝ｙ１・ｙ２・・・ｙＴ に対して、確率Ｐ（Ｙ｜λ）を最大にするモデルのパラメータとしての遷移確率Ａ＝｛αｉｊ｝、出力確率Ｂ＝｛ｂｉｊ（ｖｋ）｝ の推定方法について述べる。
【０１６３】
なお、最初の推定時における遷移確率｛αｉｊ｝、出力確率｛ｂｉｊ（ｖｋ）｝ には、所定の初期値が用いられる。
【０１６４】
まず、モデルの学習では、学習用のシンボル系列Ｙから、上述した前方予測確率αｉ（ｔ）が求められるとともに、時刻ｔにおいて状態Ｓｉ に存在し、以後、シンボル系列ｙｔ＋１・ｙｔ＋２・・・ｙＴ を出力する後方予測確率βｉ（ｔ）が次式によって求められる。
【０１６５】
手順１．ｔ＝Ｔのとき
βｉ（Ｔ）＝０ （ｉ＝１，２，・・・，Ｎ−１）
βＮ（Ｔ）＝１ （２７）
手順２．ｔ＝Ｔ−１，Ｔ−２，・・・，０のとき、
【０１６６】
【数１４】
【０１６７】
ここで、上記（２８）式のｊに関するサンメーションは、与えられたモデルにおいて、状態Ｓｉ から状態Ｓｊ への遷移が許されている場合のみとられるものとする。
【０１６８】
このとき、出力シンボル系列Ｙ＝ｙ１・ｙ２・・・ｙＴ に対して、状態Ｓｉ から状態Ｓｊ への遷移が時刻ｔに生じる確率をγｉｊ（ｔ）と記せば、
【０１６９】
【数１５】
【０１７０】
で与えられることになる。そして、次式に従ってモデルのパラメータとしての遷移確率ａｉｊ、出力確率ｂｉｊ（ｖｋ） が更新、すなわち学習される。
【０１７１】
【数１６】
【０１７２】
なお、上式において ＾を付したａｉｊ、またはｂｉｊ（ｖｋ） は、更新、すなわち再推定した遷移確率または出力確率をそれぞれ意味する。また、上式のｈに関するサンメーションは、状態Ｓｉ から状態Ｓｊ への遷移が許されている場合のみとられる。さらに、ｔ：ｙｔ＝ｖｋに関するサンメーションは、時刻ｔにおいて、ｖｋ なるシンボルｙｔ が生起される場合についてのみとられる。
【０１７３】
上式に従って、遷移確率ａｉｊ、出力確率ｂｉｊ（ｖｋ） が更新、すなわち再推定されることにより、それぞれは、局所的に最適な値へ収束する。
【０１７４】
なお、上述のようにして遷移確率ａｉｊ、出力確率ｂｉｊ（ｖｋ） を更新、すなわち再推定する方法は、Ｂａｕｍ−Ｗｅｌｃｈの再推定法 と呼ばれる。
【０１７５】
ここで上記（３０）、（３１）式で計算される遷移確率ａｉｊ、出力確率ｂｉｊ（ｖｋ） は、ある学習用のシンボル系列１つに対してだけであり、これにより学習が行なわれたモデルは、ある１つのシンボル系列を高い確率で出力するようになる。しかしながら、音声には調音結合や話者によるばらつきがあり、単一のシンボル系列のみ高い確率で出力するモデルでは、このばらつきに対処することができない。
【０１７６】
そこで、いくつかのシンボル系列を高い確率で出力するように、モデルλの学習を行なう必要がある。これには、例えばＱ種類のシンボル系列のｑ番目のシンボル系列をＹｑ＝ｙ１ ｑ・ｙ２ ｑ・・・ｙＴ ｑ としたとき、各シンボル系列Ｙｑ （ｑ＝１，２，．．．，Ｑ）が観測される確率Ｐ（Ｙｑ｜λ） の積が最大になるように、モデルλの学習を行なえばよい。
【０１７７】
これは、上述したＢａｕｍ−Ｗｅｌｃｈの再推定法を多重系列に拡張することにより次のように再帰的に求めることができる。すなわち、Ｙｑ によるαｉ（ｔ），βｉ（ｔ），γｉｊ（ｔ） をそれぞれ αｉ ｑ（ｔ），βｉ ｑ（ｔ），γｉｊ ｑ（ｔ） とすれば、
【０１７８】
【数１７】
【０１７９】
のように計算される。
【０１８０】
次に、上記（３３）， （３４）式で計算される遷移確率ａｉｊ、出力確率ｂｉｊ（ｖｋ） は、モデルの学習を個別に行なっていることに他ならない。過去、ＨＭＭ法は、単語認識に適用されるときが多く、従って単語に対応するモデルの学習を、上述したように個別に行なうだけで問題はなかった。
【０１８１】
しかしながら、最近では、意味のある音声（例えば、単語や文など）の認識を、音韻（音素）に対応するモデルを連結したものを用いて行なうのが一般的になり、このため、モデルの連結学習を行なう必要が生じてきた。
【０１８２】
モデルの連結学習では、例えば予め用意した単語辞書に登録されている単語に基づき、音韻または音素モデルどうしを連結し、それを単語モデルとみなして、単語の学習用のシンボル系列として用意されたシンボル系列Ｙｑ に対する学習が行なわれる。
【０１８３】
すなわちち、Ｗ個の音韻または音素モデルの学習を個別に行なった場合において、そのうちのｗ番目のモデル（すなわちモデルｗ）のパラメータ、すなわち遷移確率、出力確率それぞれをａｉｊ ｗ、ｂｉｊ ｗ（ｖｋ） と表し、そのモデルｗに音韻あるいは音素モデルを連結したモデル（すなわち連結モデル）の状態をＳｍ またはＳｎ で表す。さらに、連結モデルの状態が、Ｓｍ からＳｎ へ遷移する場合において、状態Ｓｍ がモデルｗに属する状態であることを（ｍ→ｎ）∈ｗと表すと、上記式（３３），（３４） を変形した次式に従って、モデルｗの遷移確率ａｉｊ、出力確率ｂｉｊ（ｖｋ） が更新、すなわち再推定される。
【０１８４】
【数１８】
【０１８５】
ここで、連結モデルがモデルｗを複数使用して構成されている場合、すなわち連結モデルが、例えば３状態Ｓ１，Ｓ２，Ｓ３ からなるモデルｗを２回使用して構成されている場合、連結モデルは、Ｓ１，Ｓ２，Ｓ３，Ｓ１，Ｓ２，Ｓ３ の６状態を有することになる。従って、この場合、モデルｗの状態Ｓ１，Ｓ２，Ｓ３ のうちの、例えば先頭の状態Ｓ１ は、連結モデルの状態Ｓ１，Ｓ２，Ｓ３，Ｓ１，Ｓ２，Ｓ３ の先頭の状態、および先頭から４番目の状態と同一であり、このように連結モデルの複数の状態ｍがモデルｗの１つの状態Ｓｉ と同一であるときがある。
【０１８６】
上記（３５），（３６） 式において、ｍ≡ｉ、ｎ≡ｊに関するサンメーション（総和）は、上述したように、連結モデルの状態Ｓｍ またはＳｎ が、モデルｗの状態Ｓｉ またはＳｊ とそれぞれ同一である場合についてとられる。さらに、ｍ≡ｉに関するサンメーションは、連結モデルの状態Ｓｍ がモデルｗの状態Ｓｉ と同一である場合についてとられる。
【０１８７】
また、ｈ：（ｍ→ｈ）∈ｗに関するサンメーションは、連結モデルの状態Ｓｍ から状態Ｓｈ への遷移が許されている場合に、連結モデルの状態Ｓｍ が、モデルｗに属するときのみとられる。
【０１８８】
さらに、上記（３５），（３６） 式において、モデルｗの後続にモデルが連結されており、連結モデルのある状態Ｓｍ がモデルｗの最終状態（Ｓｍ＝ＳＮ）となった場合、状態Ｓｍ からの遷移先である状態Ｓｎ は、モデルｗの直後に連結したモデルの初期状態となるものとする。
【０１８９】
次に、以上説明した離散ＨＭＭ法を用いて音声認識が行なわれる場合には、まず学習用に用意された学習系列Ｙを用い、上述した（３３），（３４）式または（３５），（３６）式に従ってモデルの学習、すなわち連結学習が行なわれ、モデルλの遷移確率ａｉｊおよび出力確率ｂｉｊ（ｖｋ） が求められる。以下の説明においては、上記（３５），（３６） 式におけるａｉｊ ｗ、ｂｉｊ ｗ（ｖｋ） は、上記（３３），（３４） 式における場合と同様にそれぞれａｉｊ、ｂｉｊ（ｖｋ） と記載する。
【０１９０】
そして、認識時において、音声から、シンボル系列Ｙが観測された場合には、モデルλがそのシンボル系列を出力すなわち生起する確率Ｐ（Ｙ｜λ）が、上記（２３）式に従って計算される。
【０１９１】
以上の処理が、モデルλ以外のモデルに対しても行なわれ、前述したように、確率Ｐ（Ｙ｜λ）が最も大きいモデルが認識結果とされることになる。
【０１９２】
ところで、離散型ＨＭＭでは、上述したように、音声の特徴ベクトルを例えばベクトル量子化処理することなどにより得られるシンボルが、学習および認識に用いられる。したがって、シンボルは量子化誤差を含むので、その結果音声の認識率が劣化する問題があった。
【０１９３】
そこで、離散的な確率分布である、シンボルｖｋ に関する出力確率ｂｉｊ（ｖｋ） を連続確率分布に変更した混合連続ＨＭＭ法が知られている。
【０１９４】
混合連続ＨＭＭ法では、ＨＭＭが連続確率密度分布、すなわち連続分布をもち、離散ＨＭＭ法における出力確率ｂｉｊ（ｖｋ） をＬ個の連続分布の混合で近似するようになされている。即ち、モデルλが音声の特徴ベクトルｙを生起する出力確率ｂｉｊ（ｖｋ） が、次式によって計算される。
【０１９５】
【数１９】
【０１９６】
ただし、ｃｉｊｌ は分岐確率（ｂｒａｎｃｈ ｐｒｏｂａｂｉｌｉｔｙ）で、ｌ（ｌ＝１，２，．．．，Ｌ） 番目の出現確率を表し、ｂｉｊｌ（ｙ） は分岐密度（ｂｒａｎｃｈ ｄｅｎｓｉｔｙ）で、ｌ番目の確率密度分布を表す。また、これらには、次のような条件が成り立つ。
【０１９７】
【数２０】
【０１９８】
なお、確率密度分布ｂｉｊｌ（ｙ） としては、通常、ガウス分布（正規分布）が仮定される。そこで、確率密度分布ｂｉｊｌ（ｙ） が、その共分散行列Σｉｊｌ と、平均値μｉｊｌ とをパラメータとするｎ次元正規分布に従うと仮定すると、ｌ番目の確率密度分布ｂｉｊｌ（ｙ） は、次式で与えられる。
【０１９９】
【数２１】
【０２００】
ここで、上記（４０）式において、右肩のＴ，−１は、それぞれ転置、逆行列を表す。また、｜Σｉｊｌ｜ は共分散行列Σｉｊｌ の行列式を表す。
【０２０１】
この場合、上述したＢａｕｍ−Ｗｅｌｃｈの再推定法によれば、次式に従って、出現確率ｃｉｊｌ 、並びに確率密度分布ｂｉｊｌ（ｙ） の共分散行列Σｉｊｌ および平均値μｉｊｌ を求める、すなわち再推定することができる。なお、遷移確率ａｉｊは、上述した（３５）式、または（３３）式に従って求めることができる。
【０２０２】
【数２２】
【０２０３】
ここで、上式において ＾を付したｃｉｊｌ，Σｉｊｌ，μｉｊｌ は更新された出現確率、共分散行列、平均値をそれぞれ意味する。
【０２０４】
また、Ｐ（Ｙ，ｈｔ＝ｌ｜λ） は、モデルλによって、音声の特徴ベクトルｙの系列Ｙ＝ｙ１・ｙ２・・・ｙＴ が出力される場合において、時刻ｔに特徴ベクトルｙｔ がｌ番目の分布から出力される確率を意味する。ｈｔ＝ｌ は、特徴ベクトルｙｔ がｌ番目に出力されることを示す確率変数である。
【０２０５】
以上のように出力確率ｂｉｊ（ｙ）をＬ個の連続分布の混合で近似する混合連続ＨＭＭ法に基づいて学習がなされたモデルを用いて音声を認識する場合には、離散型ＨＭＭ法における場合と同様に、音声から観測（抽出）された特徴ベクトル系列をモデルλが出力あるいは生起する確率Ｐ（Ｙ｜λ）が上記（２３），（２４） 式または、（２５），（２６）式によって計算される。
【０２０６】
さらに、この確率Ｐが、モデルλ以外のモデルに対しても行なわれ、前述したように、確率Ｐを最も大きくするモデルが認識結果とされる。
【０２０７】
また、上述の推定方法の代わりに、次のような手法が用いられることもある。訓練サンプル集合｛ｙｑ｝ の各々に対して、ビタビ（Ｖｉｔｅｒｂｉ） アルゴリズムによって最適状態遷移系列を求め、状態Ｓｉ から状態Ｓｊ への遷移時の出力ベクトル集合｛ｙｉｊ｝を求める。これをクラスタリング手法によってＬ個のクラスに分類し、各々のクラスのベクトル集合を標本集団とみなし、ガウス分布を推定する。分岐確率はクラス内のベクトル数を全体に対する比によって求める。この操作をパラメータが収束するまで繰り返すというものである。
【０２０８】
次に、上記ＨＭＭを用いた場合のワード間の相関値を説明する。
【０２０９】
＜音声認識＞
上述したようなＨＭＭを用いた音声認識装置の構成は、前述した図１、あるいは図１０に示すようなものとなり、構成および作用も同様である。
【０２１０】
ただし、図１の音響分析部１２で入力された音声信号から認識に必要な特徴量の抽出を行なったり、得られた特徴量に対し、ＫＬ変換や、ニューラルネットワークなどの適当な写像を施すことで、分離度の大きな特徴量にさらに変換して、認識部１３に送信するわけであるが、離散ＨＭＭを用いる場合には、さらにベクトル量子化を行なった後、認識部１３に送信するようにしている。
【０２１１】
また、認識部１３では、予め学習用の音声データを音響分析して得られる特徴量をもとに推定しておいたモデルのパラメータを用いて、未知音声データに対する認識処理を行なう。つまり、学習過程として、予め学習用データから決定されるＨＭＭの遷移確率ａｉｊおよび出力確率ｂｉｊ（ｖｋ） （ただし連続ＨＭＭの場合はｂｉｊ（ｙ） ）を求めておき、これをパラメータ記憶部１４に記憶しておく。そして、認識過程では、入力された未知音声信号を音響分析して得られる特徴量に対し、与えられた辞書の中の各ワードに対応するモデルそれぞれの生起確率を求め、その確率（スコア）が最も高いもの、あるいは上位複数個、を認識結果として選び出すということを行なう。そして、得られた認識結果を出力部１５に送信する。出力部１５では、送信されてきた認識結果を画面に表示したり、音として出力したり、さらには、その認識結果を用いて、他の装置を動作させたりなどの指令を行なう。
【０２１２】
以上のような音声認識の処理の中で、認識部１３の確率（スコア）計算は、入力された未知音声信号に対して、与えられた辞書、すなわち認識対象ワードの集合の内の全ワードとの間で計算される。小語彙の認識であれば、その処理量はあまり問題にならない。しかし、中語彙や大語彙の認識では、非常に重要な問題となる。
【０２１３】
これを解決するため、前述したように認識対象ワードを予め構造化しておき、その構造を用いることで、スコア計算を行なうワード数を削減することが本発明の実施の形態における目的であり、これを簡単に示したのが上記図２である。このように、スコア計算の必要のないワードを削除することにより、認識部の処理量すなわち演算量を低減させようとするものでる。
【０２１４】
このような目的にあったワードの分布構造を決定するためには、ワード間の関係を知るための距離尺度のようなものが必要となる。
【０２１５】
本発明の上記第１の実施の形態においては、実音声信号から求まる各モデルの生起確率（スコア）の期待値により、ワード間の相関値を定義した。この定義されたワード間の相関値に基づいて、認識対象ワードを構造化するわけであるが、この方式を用いる場合、上記（４）式からワード間の距離尺度を計算するために、認識対象ワードに対応した実音声データが必要になり、中語彙や大語彙の認識システムを作成する上では、これが大きな問題となる。
【０２１６】
そこで、本発明の第２の実施の形態においては、上記（４）式に代わる新たなワード間の距離尺度を導入するものである。
【０２１７】
＜ＨＭＭのモデルのパラメータを用いたワード間の相関値＞
上記ＨＭＭの定式化の項目において述べたように、モデルλ＝｛Ａ，Ｂ，π｝が与えられたとき、そのモデルのパラメータに従って、シンボル系列Ｙ＝ｙ１・ｙ２・・・ｙＴ を生起することができる。例えば、離散ＨＭＭを用いた場合、
手順１．初期状態確率πに従って、初期状態ｘ０＝Ｓｉを選ぶ。
手順２．ｔ＝０とする。
手順３．状態遷移確率ａｉｊに従って、状態ｘｔ＝Ｓｉから状態ｘｔ＋１＝Ｓｊへの遷移を選択する。
手順４．出力シンボル確率ｂｉｊ（ｖｋ） に従って、状態Ｓｉから状態Ｓｊに遷移するときに出力されるシンボルｙｔ＝ｖｋを選択する。
手順５．ｔ＜Ｔならばｔ＝ｔ＋１とし手順３．へ戻る。それ以外は終了。
のようにして生成できる。
【０２１８】
連続ＨＭＭを用いた場合は、上記手順４．の代わりに、上記（３７）式で与えられる出力シンボル確率ｂｉｊ（ｙ）に従ってシンボルｙｔ を決定すればよい。ただし、状態遷移の時刻をｔ＝０，１，２，．．． とし、時刻ｔにおいて遷移した状態をｘｔ とする。
【０２１９】
特に、上記図１３に示されるようなｌｅｆｔ−ｔｏ−ｒｉｇｈｔ モデルの場合は、初期状態と最終状態をＳ１，ＳＮ に限定できる。そこで、遷移確率ａｉｊに従って、各状態で自己遷移する回数の期待値を求めることで、状態遷移系列Ｘ＝ｘ０，ｘ１，．．．，ｘＴ が一つ決定される。
【０２２０】
ここで、状態Ｓｉ でｎ回自己遷移した後、状態Ｓｉ に遷移する確率は、
ａｉｉ ｎａｉｊ＝ａｉｉ ｎ（１−ａｉｉ） （４４）
で与えられるから、ｎの期待値は
【０２２１】
【数２３】
【０２２２】
を計算すれば求まる。これを計算すると、
Ｅ［ｎ］＝ａｉｉ／（１−ａｉｉ） （４６）
が得られる。
【０２２３】
以下これを証明する。先ず、
【０２２４】
【数２４】
【０２２５】
とおく。この（４７）式にａｉｉをかけて、
【０２２６】
【数２５】
【０２２７】
上記（４７）式から（４８）式を引いて、
【０２２８】
【数２６】
【０２２９】
よって、上記（４７）式より、
Ｅ［ｎ］＝ａｉｉ／（１−ａｉｉ） （５０）
すなわち、上記（４６）式が得られる。
【０２３０】
したがって、例えばａｉｉ＝０．５の場合は上記Ｅ［ｎ］＝１、ａｉｉ＝０．８の場合は上記Ｅ［ｎ］＝４などが求められることになる。ここで上記（４６）式は、ａｉｉが１に近づくと急激に増大するため、Ｅ［ｎ］に
０≦Ｅ［ｎ］≦３ （５１）
のような上限下限を設け、例えば、
【０２３１】
【数２７】
【０２３２】
のような近似を行なうことも考えられる。
【０２３３】
以上に基づき、状態Ｓｉ で自己遷移する回数の期待値が求まり、それをつなげれば状態遷移系列が一つ決定される。そして、その状態遷移に従って、出力確率ｂｉｊ（ｖｋ） が最も高いシンボルｖｋ を出力させれば、対応するシンボル系列を得ることが可能となる。
【０２３４】
例えば、
ａ１１＝０．５， ａ１２＝０．５、 ａ２２＝０．８， ａ２３＝０．２、 ａ３３＝０．３，．．． （５３）
のような遷移確率が与えられた場合、上記のようにして決定される状態遷移系列は、もし上記（５２）式を用いるならば、
Ｓ１，Ｓ１，Ｓ２，Ｓ２，Ｓ２，Ｓ２，Ｓ３，．．． （５４）
となる。つまり、最初のＳ１ は初期状態であり、次のＳ１ はａ１１＝０．５から決まる１回の自己遷移によるものである。そして、次にＳ２ に遷移し、ａ２２＝０．８よりＳ２ で３回の自己遷移を行なう。その後、Ｓ３ に遷移し、というふうにして、状態遷移系列が決定されたものである。
【０２３５】
そして、上記（５４）式の状態遷移系列に従って、
ｂ１１（ｖｋ），ｂ１１（ｖｋ），ｂ１２（ｖｋ），ｂ２２（ｖｋ），ｂ２２（ｖｋ），ｂ２２（ｖｋ），ｂ２２（ｖｋ），ｂ２３（ｖｋ），．．．（５５）
をそれぞれ最大にするシンボルｖｋ の系列を得ることができる。もし、連続ＨＭＭを用いる場合には、上記（５５）式のｂｉｊ（ｖｋ） の代わりに、上記（３７）式で与えられる出力確率を用いて、
ｂ１１（ｙ），ｂ１１（ｙ），ｂ１２（ｙ），ｂ２２（ｙ），ｂ２２（ｙ），ｂ２２（ｙ），ｂ２２（ｙ），ｂ２３（ｙ），．．． （５６）
をそれぞれ最大にするシンボルｙの系列を求めればよい。特に、分岐密度ｂｉｊｌ （ｙ） が上記（４０）式のような正規分布に従うような場合には、分岐確率ｃｉｊｌ の最も高いｌに対する分岐密度ｂｉｊｌ（ｙ）の平均値μｉｊｌ を求めるシンボルｙとすることなどが考えられる。
【０２３６】
以上のようにして、あるワードＷｊ に対応するモデルλｊ＝｛Ａｊ，Ｂｊ，πｊ｝からシンボル系列Ｚｉ がひとつ得られることになる。このとき、モデルλｉ に対するＺｊ の生起確率Ｐ（Ｚｊ｜λｉ） が上記（２３），（２４）式、または、上記（２５）， （２６）式によって計算される。そして、Ｚｊ の生成方法を考えると、モデルλｊ に対する生起確率Ｐ（Ｚｊ｜λｊ）は非常に高いものとなることが期待できる。
【０２３７】
ここで、もしＨＭＭを用いることによって、各ワードに対応した良いモデルλｉ 、すなわち、対応する音声信号を音響分析して得られるシンボル系列の生起確率が高くなるようなモデルが得られるならば、上記のような方法によって、モデルからシンボル系列を生成した場合、対応するワードを発声した音声信号を音響分析して得られるシンボル系列と類似した特性を持つことが期待できる。
【０２３８】
すなわち、認識対象ワードＷｊ に対応するモデルをλｊ （１＜ｊ＜ｐ）とした場合、
特性１．モデルλｊ から生成したシンボル系列Ｚｊ に対して、生起確率Ｐ（Ｚｊ｜λｉ）の最も高くなるモデルλｉ は、λｊ である。
特性２．ワードＷｊ に対応する実音声信号を音響分析して得られるシンボル系列Ｙｊ に対し、生起確率Ｐ（Ｙｊ｜λｉ）が高くなるモデルλｉ を用いて、λｊ から上記の方法で生成したシンボル系列Ｚｊ の生起確率Ｐ（Ｚｊ｜λｉ）を計算すれば同様に高くなる。
特性３．ワードＷｊ に対応する実音声信号を音響分析して得られるシンボル系列Ｙｊ に対し、生起確率Ｐ（Ｙｊ｜λｉ）が低くなるモデルλｉ を用いて、λｊ から上記の方法で生成したシンボル系列Ｚｊ の生起確率Ｐ（Ｚｊ｜λｉ）を計算すれば同様に低くなる。
のような特性を持つことが期待できる。
【０２３９】
そこで、上記のようにして求まるシンボル系列を用いることで、上記第１の実施の形態に代わるワード間の相関値を定義することが可能となる。
【０２４０】
各認識対象ワードＷｊ （１＜ｊ＜ｐ）に対応したモデルをλｊ とする。そして、そのモデルから上記のような方法により生成されるシンボル系列をＺｊ とする。このとき、λｉ から求まるＺｊ の生起確率を、ワードＷｊ に対するワードＷｉ の距離尺度Ｄ（Ｗｊ，Ｗｉ） として定義する。
【０２４１】
Ｄ（Ｗｊ，Ｗｉ）≡Ｐ（Ｚｊ｜λｉ） （ｉ＝１，２，．．．，ｐ） （５７）
ただし、生起確率Ｐ（Ｚｊ｜λｉ）は
【０２４２】
【数２８】
【０２４３】
のように正規化するものとする。
【０２４４】
そして、この距離尺度Ｄ（Ｗｊ，Ｗｉ） をもとに、ワード間の相関値を上記第１の実施の形態と同様に定義する。
【０２４５】
すなわち、ワードＷ１ に対してワードＷｉ （ｉ＝１，２，．．．，ｐ） を近い順、すなわち距離尺度Ｄ（Ｗ１，Ｗｉ） の大きい順に並べる。同様に、ワードＷ２，Ｗ３，．．．，Ｗｐ に対しても、ワードＷｉ （ｉ＝１，２，．．．，ｐ） を近い順に並べる。
【０２４６】
そして、その順位、つまりＷｊ に対して近い順にワードＷｉ を並べたときの順位をワードＷｊ に対するワードＷｉ の相関値Ｒ（Ｗｊ，Ｗｉ） として定義する。すなわち、例えば、一番近いものは１、二番目に近いものは２、以下同様にして、最も遠いものはｐとする。その結果、この相関値は１からｐまでの整数値をとることになり、小さいほど相関が高く、大きいほど相関が低いと見なすことができるようになる。
【０２４７】
ここで、相関が高い、すなわち相関値Ｒ（Ｗｊ，Ｗｉ） が小さいとは、ワードＷｊ に対応した未知音声信号Ｘｊ ｋを音響分析して得られる特徴量Ｙｊ ｋに対してワードＷｉ のモデルλｉ から求まる生起確率Ｐ（Ｙｊ ｋ｜λｉ） が高くなることが期待できることを意味し、相関が低い、すなわち相関値Ｒ（Ｗｊ，Ｗｉ） が大きいとは、特徴量Ｙｊ ｋに対してモデルλｉ から求まる生起確率Ｐ（Ｙｊ ｋ｜λｉ） が低くなることが期待できることを意味する。
【０２４８】
なお、以上の処理をまとめたのが、図１４である。簡単に説明すると、まずステップＳ１４１において、各ワードＷｊ に対応するモデルλｊ の遷移確率から、状態遷移系列Ｘｊ を決定する。そして、それに従って、ステップＳ１４２において、出力確率をもとにシンボル系列Ｚｊ を決定する。次のステップＳ１４３において、各Ｚｊ に対するモデルλｉ の生起確率から距離尺度Ｄ（Ｗｊ，Ｗｉ） を求め、ステップＳ１４４に進んで、それに基づき、各Ｗｊ に対して、Ｗｉ （１≦ｉ≦ｐ）を近い順に順序付ける。そして、その順位をもとに、ステップＳ１４５において相関値Ｒ（Ｗｊ，Ｗｉ） を計算する。
【０２４９】
ここで、ステップＳ１４４の順序付けにおいて、順位が同じとなるようなものがある場合には、ともに同じ相関値を設定するものとする。
【０２５０】
また、上記のように、ステップＳ１４１において、上記（４６）式、または上記（５２）式を用いて状態遷移系列を決定したり、ステップＳ１４２において、出力確率の最も大きなシンボル系列を求めたりする代わりに、乱数を発生させ、遷移確率と出力確率に従って、状態を遷移させながらシンボル系列を生成する方法も考えられる。この場合は、モデルλｊ からいくつものシンボル系列を生成することが可能となるので、これをＺｊ １， Ｚｊ ２， Ｚｊ ３，．．．とし、上記（５９）式の代わりに、
【０２５１】
【数２９】
【０２５２】
によって、ワードＷｊ に対するワードＷｉ の距離尺度Ｄ（Ｗｊ，Ｗｉ） を定義することになる。
【０２５３】
以上のようにしてワードの相関値を定義することで、認識対象ワードに対応するモデルだけから、相関値を計算することが可能となり、認識対象ワードに対応する実音声信号のデータを必ずしも用意する必要がなくなる。特に、音韻（音素）モデルを連結することで、各認識対象ワードに対応するモデルを構成するような場合で、各音素モデルを学習するのに、認識対象ワードに対応する実音声信号データを用いないような場合には、その効果が期待できる。
【０２５４】
＜認識対象ワードの構造化＞
上述したような手法で求められた相関値に基づいて、認識対象ワードを構造化する方法は、前述した第１の実施の形態と同様であるため、説明を省略する。
【０２５５】
ただし、前述したスコアＳ（Ｘ，Ｗｉ）とは、音声信号Ｘを音響分析して得られる特徴量Ｙのモデルλｉ に対する生起確率Ｐ（Ｙ｜λｉ） のことである。
【０２５６】
また、認識手法、記憶容量の見積り、及び演算量の見積りについても、前述した第１の実施の形態と同様であるため、説明を省略する。
【０２５７】
＜シミュレーション結果＞
実際に、３２６５個の単語認識を、全探索と本発明の構造化を用いた探索とで比較した結果について述べる。ただし、構造化の方法としては、ワード間の距離尺度に上記（５７）式を用いて相関値を計算し、上記認識対象ワードの構造化の項で述べた構造化の方法を用いた。その結果、初期探索のワード数が２３１個となる４階層の探索木で、各階層のあるワードからその下の階層のワードへのパスとしては、平均１１本つながっているようなものが得られた。
【０２５８】
この探索木を用いて、ある階層で抽出するスコアの高いワード数をｎ＝１５として認識処理を行なってみた。まず、全探索による認識処理の場合、認識率は９０．２％、スコア計算を行なったワード数は３２６５個であった。これに対して、上記のような探索木を用いた認識処理の場合、認識率は８９．９％とわずかの劣化しか見せず、スコア計算を行なったワード数は、初期探索に２３１個、構造探索に平均２７６個、合計５０８個（平均）となった。つまり、全探索に比べ、計算量を約８割低減することが可能となったことがわかる。
【０２５９】
このような本発明の第２の実施の形態によれば、前述した本発明の第１の実施の形態と同様に、認識ワードを制限して演算量を大幅に低減でき、局所的な探索であってもスコアの高くなることが期待されるワードは探索範囲に含まれるようになり、最終的に歪みをほとんど増大させることがなく、認識率の低下を防止できる。
【０２６０】
さらに、本発明の第２の実施の形態によれば、音声認識対象ワードに対する確率モデルとしてのＨＭＭ（隠れマルコフモデル）を用意し、このモデルのパラメータとしての上記遷移確率ａｉｊおよび出力確率ｂｉｊ（ｖｋ） （連続ＨＭＭの場合はｂｉｊ（ｙ））から、ワード間の相関値Ｒ（Ｗｊ，Ｗｉ） を計算できるようにしたことで、認識辞書に対応する実音声データを大量に必要とすることがなくなり、探索木を効率的に求めることが可能となる。
【０２６１】
なお、本発明は、上述した実施の形態のみに限定されるものではなく、例えば、音声認識方法や装置に適用する他に、音声認識用の辞書の形成方法、音声認識用の辞書が記録された記録媒体等にも容易に適用できる。また、音声認識以外に、図形認識や文字認識等に本発明を適用することもできる。
【０２６２】
【発明の効果】
本発明によれば、音声認識対象ワードを予め階層構造あるいは重複を許す木構造に構造化しておき、その構造に従って探索することで認識ワードを制限でき、演算量を大幅に低減することが可能となる。しかも、あらたなワード間の相関値の定義と、その相関値に基づく認識ワードの構造化方法によって、局所的な探索であっても、スコアの高くなることが期待されるワードは探索範囲に含まれるようになり、最終的に、歪みをほとんど増大させることはない。すなわち、認識率をほとんど劣化させることはない。さらに、余分に必要な記憶容量もワード数に対してその約１０倍程度パス情報を持っておけばよいだけであり、比較的小さなものとなる。
【０２６３】
このような本発明は、音声認識以外に、図形認識や文字認識等にも適用でき、この場合には、音声認識対象ワードは一般的にパターン認識対象となり、これらのパターン認識対象を階層構造あるいは重複を許す木構造に階層化しておくことになる。
【０２６４】
また、音声認識対象ワードあるいはパターン認識対象に対する確率モデルとしてのＨＭＭ（隠れマルコフモデル）を用意し、このモデルのパラメータからワード間の相関値を計算できるようにしたことで、認識辞書に対応する実音声データのような実データを大量に必要とすることがなくなり、探索木を効率的に求めることが可能となる。
【図面の簡単な説明】
【図１】一般的な音声認識のシステムの構成を概略的に示すブロック図である。
【図２】構造化を用いた認識の概念を説明するためのワード分布を示す図である。
【図３】代表ワードとその属するワードの関係の例を示す図である。
【図４】認識対象ワードを階層構造に構造化する方法を説明するためのフローチャートである。
【図５】階層構造に構造化していく過程の概念を説明するための図である。
【図６】本発明の構造化によって得られる階層構造及び探索木の例を示す図である。
【図７】グループ化に関する基本的な方法を説明するためのフローチャートである。
【図８】グループ化の方法を改良した方法を説明するためのフローチャートである。
【図９】相関の強いワード関係を説明するための図である。
【図１０】本発明の実施の形態が適用される音声認識システムの構成の一例を示すブロック図である。
【図１１】本発明に係る実施の形態により階層構造化された探索木を用いた認識方法を説明するためのフローチャートである。
【図１２】隠れマルコフモデル（ＨＭＭ）の一般的な状態遷移モデルを示す図である。
【図１３】ＨＭＭのレフトツーライト（ｌｅｆｔ−ｔｏ−ｒｉｇｈｔ ）モデルを示す図である。
【図１４】ワード間の相関値の計算過程を説明するためのフローチャートである。
【符号の説明】
１、１０１ 入力部
２、１０２ 音響分析部
３、１０３ 認識部
４、１０４ パラメータ記憶部
５、１０５ 出力部
１０６ 探索木記憶部
【発明の属する技術分野】
本発明は、音声認識方法および装置に関し、入力音声信号に対して、与えられた辞書の中から対応する語をひとつまたは複数選び出すような音声認識方法および装置に関するものである。
【０００２】
【従来の技術】
入力された音声信号から言語情報を取り出すための音声認識の分野においては、与えられた辞書の中から入力に対応したワードを選び出すという問題が頻繁に発生する。
【０００３】
例えば、地名に対する音声認識の場合、対象候補ワードとなる地名それぞれに対して、標準パターンを作成しておき、入力音声信号を分析して得られる特徴量パターンと全標準パターンとのマッチングをとること、すなわち距離計算を行なうことで最も類似したものを選び出すということを行なう。これは隠れマルコフモデル（Ｈｉｄｄｅｎ Ｍａｒｋｏｖ Ｍｏｄｅｌ：ＨＭＭ ）という確率モデルを用いた場合も同様で、やはり各地名に対応したＨＭＭを作成しておき、入力音声信号に対して、その生起確率が最も大きくなるモデルを選び出すということが必要になる。
【０００４】
一般に、音声認識においては、対象となるワードと入力音声信号とのマッチングをとるために距離計算を行なったり、あるいは各ワードの確率モデルを用いて生起確率を計算したりするなどして、全ワードに対してスコアづけを行ない、そのスコアに基づいて、最もスコアの高いものを認識結果として選択するということを行なう。
【０００５】
例えば、上記ＨＭＭ（隠れマルコフモデル）においては、認識対象ワードそれぞれに対して確率モデルを予め作成しておき、未知の入力音声信号を分析して得られる特徴量から生起確率を求め、これをもとに全ワードに対してスコア付けを行い、最もスコアの高いものを認識結果として選択する。
【０００６】
ここで、スコアが高いとは、距離などの場合は距離が小さいことに対応し、生起確率などの場合はその確率が大きいことに対応するなど、その評価値に対応させた表現として用いるものとする。
【０００７】
【発明が解決しようとする課題】
ところで、小語彙の認識システムの場合には、全ての対象候補に対して上述のようなスコア計算を行なっても、その処理量はあまり問題になることはない。
【０００８】
しかし、中語彙や大語彙の認識を行なう場合には、対象となる認識辞書の全てのワードに対してスコア計算をする、いわゆる全探索を行うことは、演算量の増大につながり、その結果、応答時間の遅延をもたらすという問題を引き起こすことになる。
【０００９】
この問題を解決するため、全ワードに対するスコア計算を行なう前に、簡単な評価式を用いて予備選択を行ない、その結果から精密にスコア計算を行なうべき対象ワードを絞り込む方法や、予め対象となる認識ワードを木構造にクラス分けしておき、その構造に従って探索していくことで認識ワードを制限する方法などがある。
【００１０】
一般に、現在の音声認識では、精密なスコア計算、例えばマッチングや確率計算を行なっても認識がなかなか難しいのが現状であり、前者の方法のように、簡単な評価による予備選択を行なった場合、絞り込みの段階で本来残すべきワードを除外してしまい、認識率の低下を引き起こすという問題が生じる虞がある。さらに、簡単な評価式といっても、全ワードに対して行なえば、相当な演算量になってしまうという欠点もある。
【００１１】
これに対して、後者の木構造にクラス分けしておく方法としては、一般の探索問題においては、対象候補を二値木（バイナリーツリー）に構造化しておき、その二値木をたどることによって探索を行なう、という二値木探索と呼ばれる手法が広く用いられている。しかし、このような構造化を用いる手法では、予め決定しておいた探索木をもとに探索範囲を制限する、すなわち局所的な探索をするわけであるから、どのように構造化し、その構造を用いてどのように探索するかが重要であり、全探索に比べて、歪みをできるだけ増加させずに、すなわち認識率をできるだけ低下させずに、演算量を低減させることが要求される。
【００１２】
その意味では、二値木探索は、演算量の大幅な削減が得られるかわりに歪みを増大させてしまうという問題が発生しやすく、特に、音声認識においては、これは認識率の低下を意味し、大きな問題となる。
【００１３】
また、上記ＨＭＭを用いた音声認識は、認識対象ワードそれぞれに対して確率モデルを予め作成しておき、未知入力音声信号を分析して得られる特徴量から生起確率を求め、これをもとに全ワードに対してスコア付けを行い、最もスコアの高いものを認識結果として選択するものである。このＨＭＭを用いた音声認識では、スコア計算過程において、途中結果を用いて枝苅りを行なうことで、演算量を削減するビームサーチ法という演算量の削減方法がある。しかし、これもやはりスコアの途中結果で制限をかけるために、本来残すべきワードを除去してしまい、ひいては歪みを増大させ、認識率の低下を招いてしまうという問題を引き起こしてしまう。
【００１４】
なお、音声認識に限らず、このような探索問題では、探索を高速化するために必要となる探索木などが占める記憶容量の大きさも重要な問題となる。
【００１５】
本発明は、このような実情に鑑みてなされたものであり、演算量を低減しながら認識率の劣化を防止し得るような音声認識方法および装置の提供を目的とする。
【００１６】
また、本発明は、スコア計算を行う音声認識対象ワードの数を制限して演算量を低減し、音声認識の高速化が図れるとともに、必要とされる記憶容量の増大も少なくて済み、しかも探索による歪みの増大や認識率の低下を招くことがないような音声認識方法および装置の提供を目的とする。
【００１７】
さらに、本発明の他の目的は、スコア計算を行う音声認識対象ワードを制限するための階層構造化に用いられる相関値を、音声データを用いずに計算できるようにすることである。
【００１８】
【課題を解決するための手段】
本発明は、上述した課題を解決するため、複数の音声認識対象ワードが与えられ、未知の入力音声信号に対して、予め求めておいたパラメータを用いて、上記音声認識対象ワードにスコア付けを行なうことで、対応する音声認識対象ワードを抽出し認識する際に、各認識対象ワードに対応した音声データから求まるスコアの期待値に基づく値をもとにスコアの高い順に全認識対象ワードを順序付けたときの順位を、上記各音声認識対象ワード間の相関値として求め、上記各音声認識対象ワード間の相関値を用いて上記各音声認識対象ワードを予め重複を許す木構造に構造化しておき、この木構造を用いて、上記未知の入力音声信号に対してスコア計算を行なう音声認識対象ワードを限定することを特徴とする。
【００１９】
ここで、上記複数の音声認識対象ワードに対する確率モデルを用意し、上記未知の入力音声信号に対して、上記各確率モデルの生起確率を計算し、その生起確率に従って、対応する音声認識対象ワードを抽出し認識するようにし、上記各音声認識対象ワードに対応する確率モデルの状態遷移確率をもとに状態遷移系列を決定し、その状態遷移に対応する出力シンボル確率をもとにシンボル系列を決定し、得られたシンボル系列の生起確率を上記各音声認識対象ワードに対応するモデルに対して計算し、この生起確率に基づく音声認識対象ワード間の相関値を用いて上記各音声認識対象ワードを階層構造に構造化しておくことが好ましい。
【００２１】
さらに、上記階層構造に構造化された音声認識対象ワード等のパターン認識対象の情報を記録媒体に記録しておくことができる。
【００２２】
なお、上記パターン認識対象としては、上記音声認識対象ワード以外に、図形認識や文字認識のような画像情報におけるパターン認識の対象にも適用できるものである。
【００２３】
このように、音声認識対象ワード（一般的にはパターン認識対象、以下同様）を予め階層構造あるいは重複を許す木構造に構造化しておき、その構造に従って検索することで音声認識対象ワードの数を制限し、演算量を低減する。しかも、新たなワード間の相関値の定義と、その相関値に基づく認識ワードの構造化方法によって、局所的な探索であっても、スコアの高くなることが期待されるワードは探索範囲に含まれるようになり、最終的に歪みをほとんど増大させることがなく、認識率の低下を防止できる。
【００２４】
また、ワード間の相関値を、ＨＭＭ（隠れマルコフモデル）のような確率モデルのパラメータから計算するようにすることで、認識辞書に対応する実音声データを大量に必要とすることを回避できる。
【００２５】
【発明の実施の形態】
以下、本発明に係る好ましい実施の形態について、図面を参照しながら詳細に説明する。本発明の実施の形態においては、音声認識を例として取り上げているが、この他、映像や画像あるいは文字等の各種パターン認識に本発明を適用することも容易である。
【００２６】
第１の実施の形態
以下の本発明の第１の実施の形態の説明においては、まず音声認識に関して簡単に説明し、その音声認識を高速化するための方式として、音声認識対象ワード（以下単にワードともいう）間の相関値の定義、その相関値を用いたワードの構造化の方法、およびその構造を用いた認識手法に関して説明する。次に、記憶容量、および演算量の見積りを行なった後、シミュレーション結果を説明し、その有効性を説明する。
【００２７】
＜音声認識＞
音声認識に用いられる装置は、一般的に図１に示すように、入力部１１、音響分析部１２、認識部１３、パラメータ記憶部１４、出力部１５から構成されることが多い。
【００２８】
入力部１１は、マイクなどの音声信号を入力する装置とその入力信号を増幅するアンプ、およびデジタル信号に変換するＡＤ変換器などによって構成される。そして、入力信号を、例えば１２ｋＨｚでサンプリングした後、音響分析部１２へ送信する。
【００２９】
音響分析部１２では、入力された音声信号から認識に必要な特徴量の抽出を行なう。例えば、単純な信号のエネルギや零交差（ゼロクロス）数、ピッチなどの抽出を行なったり、線形予測分析（ＬＰＣ）、高速フーリエ変換（ＦＦＴ）、バンドパスフィルター（ＢＰＦ）、さらにはＷａｖｌｅｔ変換などによって周波数分析を行なったりする。そして、例えば帯域分割されたエネルギーなどを要素とするベクトル時系列として、特徴量の抽出を行なったりする。また、その特徴量の変化量として、例えば差分データも特徴量の一つとして同時に抽出することもある。こうして得られた特徴量に対し、カルーネンレーブ（ＫＬ）変換や、ニューラルネットワークなどの適当な写像を施すことで、分離度の大きな特徴量にさらに変換する場合もある。また、ベクトル量子化などにより、特徴量ベクトルを圧縮し、量子化された特徴量に変換する場合もある。
【００３０】
このように、音響分析部１２では、認識に必要な特徴量の時系列を入力された音声信号から抽出し、これを認識部１３に送信する。
【００３１】
認識部１３では、予め学習用の音声データを音響分析して得られる特徴量をもとに作成しておいたパラメータ記憶部１４のパラメータを用いて、未知音声データに対する認識処理を行なう。ここで、認識とは、入力された音声信号に対して、与えられた認識辞書の中から、入力に対応したワードを選び出すことである。この認識手法としては、主なものとして、ＤＰマッチング、ニューラルネットワーク、ＨＭＭ（隠れマルコフモデル）などを用いたものが使われる。
【００３２】
ＤＰマッチングは、各音声信号を分析して得られる特徴量からテンプレートと呼ばれる標準パターンを予めパラメータとして求めておき、未知音声の特徴量と比較して最も近いと判定されるものを見つけるという方式である。発話速度の変動を吸収するため、ダイナミックタイムワーピング（ｄｙｎａｍｉｃ ｔｉｍｅ ｗａｒｐｉｎｇ）と呼ばれる手法により、テンプレートとの歪みを最小化するように時間軸の伸縮を行なう方法がよく用いられる。
【００３３】
ニューラルネットワークは、人間の脳の構造を模倣するネットワークモデルによって認識を行なおうとするもので、学習過程により予めパスの重み係数をパラメータとして決定しておき、そのネットワークに未知音声の特徴量を入力して得られる出力をもとに、辞書内の各ワードとの距離を求め、認識ワードを決定しようとするものである。
【００３４】
また、ＨＭＭは、確率モデルにより認識を行なおうとするもので、予め状態遷移モデルに対して、その遷移確率と出力シンボル確率を学習データをもとに決定しておき、未知音声の特徴量に対する各モデルの生起確率から認識ワードの決定を行なおうとする方式である。このＨＭＭについては、本発明の第２の実施の形態として後で詳述する。
【００３５】
以上述べたように、一般に、認識処理としては、学習過程として、予め学習用データから決定されたパラメータ、すなわちテンプレートや、ネットワークモデルの重み係数、確率モデルの統計的パラメータなどを求めておき、これをパラメータ記憶部１４に記憶しておく。
【００３６】
そして、認識過程では、入力された未知音声信号を音響分析した後、与えられた辞書の中のワードそれぞれに対して、その認識手法に応じた距離や生起確率などのスコア付けを行ない、そのスコアが最も高いもの、あるいは上位複数個、を認識結果として選び出すということを行なう。そして、得られた認識結果を出力部１５に送信する。
【００３７】
出力部１５では、送信されてきた認識結果を画面に表示したり、音として出力したり、さらには、その認識結果を用いて、他の装置を動作させたりなどの指令を行なう。
【００３８】
＜ワード間の相関値＞
上述したような音声認識の処理において、認識部１３のスコア計算は、入力された未知音声信号に対して、与えられた辞書、すなわち音声認識対象ワードの集合内の全ワードとの間で計算される。小語彙の認識であれば、その処理量はあまり問題にならない。しかし、中語彙や大語彙の認識では、非常に重要な問題となる。
【００３９】
そこで、認識対象ワードを予め階層構造あるいは重複を許す木構造に構造化しておき、その構造を用いることで、スコア計算を行なうワード数を削減することが、本発明の目的である。これを簡単に示したのが図２である。
【００４０】
すなわち、図２において、全ての音声認識対象ワードの分布空間２０内において、各ワードＷ間の関係を用いてその分布構造を予め求めておけば、ある入力２１とワードＷの分布構造との関係から、その入力２１に対し、スコア計算を行なう必要のあるワードの集合２２（すなわち上位でスコアを競い合うもの）と、必要のないワードすなわちスコアが高くなりそうもないものと、を決定することができるようになる。そして、スコア計算の必要のないワードを削除する、すなわちスコアの計算対象から外すことにより、認識部の処理量あるいは演算量を低減させようとするものである。
【００４１】
このような目的にあったワードの分布構造を決定するためには、ワード間の関係を知るための距離尺度のようなものが必要となる。
【００４２】
一般に、音声認識において、各ワードに対応したモデル、すなわちテンプレートやネットワークモデル、確率モデルなどを作成し、学習過程においてそのモデルのパラメータを決定し、認識過程においてそのモデルを用いたスコア計算、すなわち距離計算や確率計算を行なうわけであるから、その意味では実音声信号とワードとの距離尺度は、実音声信号を音響分析して得られる特徴量とワードに対応したモデルとから計算されるスコアによって定義されていると考えられる。
【００４３】
ところで、音声認識で用いられるスコアは、話者の違いや、発話速度、環境の変化などによって、大きく変動する傾向が見られる。例えば、同じように発声された二つの音声信号に対して、同じモデルでスコア計算を行なった場合、そのスコアに差異が生じることは珍しくない。また、同じように発声した二つの音声信号に対して、異なる二つのモデルを用いてスコア計算をした場合、一方の音声信号については、片方のモデルに対するスコアの方が高く、もう一方の音声信号については、もう片方のモデルの方がスコアが高いという現象（順序が入れ代わる現象）もしばしば見られる。
【００４４】
そこで、この変動を吸収するため、それぞれの認識手法において用いられるスコアの期待値によって、ワード間の相関値を定義することを考える。
【００４５】
まず、認識対象ワードをＷｉ （１＜ｉ＜Ｎ）と表し、各ワードＷｉ に対応する実音声信号の集合をＸｉ ＝｛Ｘｉ １，Ｘｉ ２，Ｘｉ ３，・・・｝とする。ここで、Ｎは認識対象ワード数、すなわち辞書に含まれるワード数とする。
【００４６】
そして、ある音声信号Ｘｊ ｋを音響分析して得られる特徴量と、学習によって既にパラメータが決定されているワードＷｉ に対応したモデルとの間で計算されるスコア、例えば、ＤＰマッチングにおけるテンプレートとの距離や、ＨＭＭにおける生起確率など、をＳ（Ｘｊ ｋ，Ｗｉ）と記述することにする。
【００４７】
ただし、このスコアは
【００４８】
【数１】
のように正規化してあるものとする。この（１）式で、Ｓｏｒｇ（Ｘｊ ｋ，Ｗｉ） は正規化前のスコア、Ｓ（Ｘｊ ｋ，Ｗｉ）は正規化されたスコアである。
【００５０】
今、ワードＷ１ に対応するある音声信号Ｘ１ １を用いれば、各ワードに対してスコアＳ（Ｘ１ １，Ｗｉ）を求めることができる。同様に、音声信号Ｘ１ ２を用いてスコアＳ（Ｘ１ ２，Ｗｉ）が求まる。以下同様にすれば、Ｗ１ に対応する音声信号の集合Ｘ１ ＝｛Ｘ１ １，Ｘ１ ２，Ｘ１ ３，・・・｝を用いてスコアがそれぞれ計算できる。そこで、この音声信号の集合Ｘ１ に対して各ワードごとに求まるスコアの期待値、例えば平均値をＳｅ（Ｘ１，Ｗｉ）と表すことにすれば、
【００５１】
【数２】
のように計算することができる。ここで、ＫはＷ１ に対応する音声信号のデータ数であり、十分大きいものとする。
【００５３】
同じようにして、ワードＷｊ に対応する音声信号の集合Ｘｊ ＝｛Ｘｊ １，Ｘｊ ２，Ｘｊ ３，・・・｝と各ワードとの間で、スコアの期待値を次式のように求めることができる。
【００５４】
【数３】
もし、認識性能がある程度保証された音声認識の方式を用いるならば、ワードＷ１ に対応した音声信号の集合Ｘ１ に対しては、上記（３）式で求まるスコアの期待値の中で、Ｓｅ（Ｘ１，Ｗ１）が最も高くなることが期待できる。同様に、ワードＷｊ に対応した音声信号の集合Ｘｊ に対しては、（３）式で求まるスコアの期待値の中で、Ｓｅ（Ｘｊ，Ｗｊ）が最も高くなることが期待できる。そして、Ｘｊ に対してスコアの期待値Ｓｅ（Ｘｊ，Ｗｉ）が高いＷｉ というのは、未知音声信号Ｘｊ ｋに対してもスコアＳ（Ｘｊ ｋ，Ｗｉ）が高くなることが期待でき、逆に、Ｘｊ に対するスコアの期待値Ｓｅ（Ｘｊ，Ｗｉ）が低いＷｉ というのは、未知音声信号Ｘｊ ｋに対してもスコアＳ（Ｘｊ ｋ，Ｗｉ）が低くなることが期待できる。
【００５６】
そこで、上記（３）式によって求まるスコアの期待値Ｓｅ（Ｘｊ，Ｗｉ）をワードＷｊ に対するワードＷｉ の距離尺度Ｄ（Ｗｊ，Ｗｉ）としてとらえる。
【００５７】
【数４】
ただし、この（４）式の距離尺度Ｄ（Ｗｊ，Ｗｉ）は、スコアＳ（Ｘｊ ｋ，Ｗｉ）としてテンプレートとの距離などを用いる場合には、小さければ小さいほどＷｊ に対してＷｉ が近いことを意味し、ＨＭＭなどの生起確率を用いる場合には、逆に大きければ大きいほどＷｊ に対してＷｉ が近いことを意味する。
【００５９】
このとき、距離尺度Ｄ（Ｗ１，Ｗｉ）にもとづいて、ワードＷ１ に対してワードＷｉ （ｉ＝１，２，・・・，Ｎ）を近い順に並べることができる。同様に、ワードＷ２，Ｗ３，・・・，ＷＮ に対しても、ワードＷｉ （ｉ＝１，２，・・・，Ｎ）を近い順に並べることができる。
【００６０】
そこで、その順位、つまりＷｊ に対して近い順にワードＷｉ を並べたときの順位を、ワードＷｊ に対するワードＷｉ の相関値Ｒ（Ｗｊ，Ｗｉ）として定義する。例えば、一番近いものは１、二番目に近いものは２、以下同様にして、最も遠いものはＮとする。
【００６１】
なお、上記（４）式のの距離尺度Ｄ（Ｗｊ，Ｗｉ）が同じになり、順位が同じとなるようなものがある場合は、これに無理矢理順序をつけることはせず、ともに同じ相関値を設定するものとする。例えば、３位のものが二つある場合は、ともに３を設定する。
【００６２】
以上のようにして定義された相関値Ｒ（Ｗｊ，Ｗｉ）は、１からＮまでの整数値をとることになり、小さいほど相関が高く、大きいほど相関が低いと見なすことができる。すなわち、相関が高いあるいは相関値Ｒ（Ｗｊ，Ｗｉ）が小さいとは、ワードＷｊ に対応した未知音声信号Ｘｊ ｋに対してワードＷｉ のモデルから求まるスコアＳ（Ｘｊ ｋ，Ｗｉ）が高くなることが期待できることを意味し、相関が低いあるいは相関値Ｒ（Ｗｊ，Ｗｉ）が大きいとは、ワードＷｊ に対応した未知音声信号Ｘｊ ｋに対してワードＷｉ のモデルから求まるスコアＳ（Ｘｊ ｋ，Ｗｉ）が低くなることが期待できることを意味する。ここで、Ｒ（Ｗｊ，Ｗｉ）とＲ（Ｗｉ，Ｗｊ）は、定義からわかるように、必ずしも同じになるとは限らないということは注意が必要である。
【００６３】
次に、このような相関値をもとに、目的とする音声認識対象ワードを構造化する方法について説明する。
【００６４】
＜認識対象ワードの構造化＞
音声認識対象ワードの構造化の方法に関して述べる前に、どのように構造化すべきかについて簡単に説明する。
【００６５】
基本的には、音声認識対象ワードを代表ワードとそれに属するワードとに分離し、実際に認識を行なう場合には、入力音声信号に対して、まず代表ワードの中だけで認識処理を行なう。これは、図２における全認識対象ワードの分布空間２０において、どのあたりに入力されたかを調べることにあたる。この認識処理の結果により、さらに認識処理を行なうべきワードを限定し、最終的には、代表ワードとある一部のワードに対する認識処理、すなわち局所的な探索だけで認識結果を求めようとすることになる。
【００６６】
例えば、図３に示されるような関係、すなわち代表ワード３１としての例えば５つのワードＷ１ 、Ｗ５ 、Ｗ７ 、Ｗ１０と、それに属するワード３２としての例えば６つのワードＷ２ 、Ｗ３ 、Ｗ４ 、Ｗ６ 、Ｗ８ 、Ｗ９ との間の従属関係が得られた場合、先ず、代表ワードだけで認識処理を行ない、その結果をもとに、ある判定基準に基づいて、次に認識処理を行なうべきワードを選び出すことになる。例えば代表ワードＷ７ に属するワードが選び出されたとすれば、結局は、代表ワード３１となる５つのワードＷ１ 、Ｗ５ 、Ｗ７ 、Ｗ１０と、ワードＷ７ に属するワードＷ６ 、Ｗ８ 、Ｗ９ に対してだけ認識処理を行ない、その中から最もスコアの高いものが選ばれることになる。
【００６７】
したがって、全探索で正解が得られる、すなわち入力音声信号に対応するワードのスコアが最も高くなるようなら、代表ワードに対応する入力音声信号に対しては必ず正解が得られることになる。
【００６８】
これに対して、代表ワード以外のワードに対応する入力音声信号に対しては、先ず、代表ワードの中だけで認識処理を行なった場合、当然、正解は得られるはずはない。しかし、代表ワードに対するスコアづけを行なえば、その中でスコアの高いもの、すなわち相関が高いと思われるもの、を抽出することができる。
【００６９】
そこで、正解となるワードにとって相関の高い、すなわち相関値の小さいワードが代表ワードの中に含まれており、かつ、その代表に属するワードの中にその正解となるワードが含まれているならば、代表ワードの中でスコアの高いものを求め、それに属するワードを抽出し、その中でさらに認識処理を行なうことで、最終的に正解が得られることが期待できる。
【００７０】
以上の考えに基づいて、認識対象ワードを構造化する方法について、図４を参照しながら説明する。
【００７１】
手順１．グループ化（ステップＳ４１）
相関値Ｒ（Ｗｊ，Ｗｉ）とＲ（Ｗｉ，Ｗｊ）が共に小さいワードＷｉ とＷｊ とは、どちらのワードに対応した入力音声信号Ｘに対しても、スコアＳ（Ｘ，Ｗｉ），Ｓ（Ｘ，Ｗｊ）が高くなることが期待できることから、この二つをグループ化する。この際、どちらか一方を代表ワードとし、他方をその属するワードとする。また、グループ化されないワードに関しては、自分自身を代表ワードとし、単一グループとする。
【００７２】
手順２．グループへの追加（ステップＳ４２）
いずれかのグループに属してしまい、代表ワードにならなかったＷｊ に関しては、さらに、Ｒ（Ｗｊ，Ｗｉ）が小さいＷｉ の中で代表ワードに選ばれたＷｉ のグループにも属するようにする。これは、代表に選ばれなかったＷｊ の属するグループとして、Ｗｊ に対して相関の高いＷｉ が代表ワードとなっているものを、できる限り多くしておくために行なわれる処理である。
【００７３】
手順３．階層化
上記グループ化およびグループへの追加を一まとまりのステップとしてグループ分けを行ない、同様にして各グループの代表ワードに対して改めてグループ分けを行ない、さらにその代表ワードに対してグループ分けを行なうということを繰り返し、階層構造の探索木を作成する。つまり、上記グループ化およびグループへの追加の処理によって、ある階層において、相関のあるワードがグループ化され、各グループに対する代表がひとつ選ばれることになる。そして、その代表ワードが、その上の階層の構成要素となるわけである。
【００７４】
図４のフローチャートにおいては、先ず、ステップＳ４１で上記グループ化を行い、ステップＳ４２で上記グループへの追加を行い、ステップＳ４３で上記代表ワードを選び出す。この選び出された代表ワードに対して、再びステップＳ１のグループ化とステップＳ２のグループへの追加を行い、これを繰り返していき、階層構造に構造化していくわけである。
【００７５】
図５はこのようなグループ分けの具体例を示している。
まず、図５のＡに示す与えられた音声認識対象ワードＷｉ （ｉ＝１，２，・・・，１０）に対して、上記各ステップＳ４１、Ｓ４２により図５のＢに示すようなグループ分けが行なわれ、上記ステップＳ４３により代表ワードＷ１ 、Ｗ５ 、Ｗ７ 、Ｗ１０が選び出される。次に、この代表ワードに対して、同様に上記各ステップＳ４１、Ｓ４２の処理を行ない、図５のＣに示すようなグループ分けがなされ、ステップＳ４３により代表ワードＷ１ 、Ｗ７ が選び出される。そして、最終的に図６に示すような探索木が得られることになる。
【００７６】
次に、上記の構造化に関して、具体例を述べる。
【００７７】
グループ化について
手順１．まず、各ワードＷｉ に対応したグループＧｉ をつくり、そのグループの要素数をｎ（Ｇｉ） で表すことにする。
【００７８】
初期状態は、
Ｇｉ＝｛Ｗｉ｝， ｎ（Ｇｉ）＝１ ・・・ （５）
とし、各グループＧｉ の代表ワードをＷｉ とする。
手順２．各ワードＷｊ に対して、相関値Ｒ（Ｗｊ，Ｗｉ）（ただしｉ＝１，２，・・・，Ｎ）を求める。
手順３．ｉ＝１
手順４．ｊ＝ｉ＋１
手順５．Ｒ（Ｗｊ，Ｗｉ）≦ｒ、かつＲ（Ｗｉ，Ｗｊ）≦ｒとなる場合、この（ｉ，ｊ）に対して以下を行なう。それ以外の場合は次の手順６．へ。
（１） ｎ（Ｇｉ）≧１ かつ ｎ（Ｇｊ）≦１の場合、下記の処理（Ｉ） を実行。
（２） ｎ（Ｇｉ）≦１ かつ ｎ（Ｇｊ）≧１の場合、下記の処理（ＩＩ）を実行。
（３） ｎ（Ｇｉ）＞１ かつ ｎ（Ｇｊ）＜１の場合、
グループＧｉ に含まれるＷｉ 以外の要素と、
グループＧｊ に含まれるＷｊ 以外の要素が同じであれば、
下記の処理（Ｉ）（または、処理（ＩＩ））を実行。
ただし、処理（Ｉ），（ＩＩ）とは次のような処理である。
処理（Ｉ）：グループＧｉにワードＷｊが既に属していれば何も行なわず、属していなければ、グループＧｉにワードＷｊを追加し、ｎ（Ｇｉ）は１増加し、ｎ（Ｇｉ）＝０とする。
処理（ＩＩ）：グループＧｊにワードＷｉが既に属していれば何も行なわず、属していなければ、グループＧｊにワードＷｉを追加し、ｎ（Ｇｉ）は１増加し、ｎ（Ｇｉ）＝０とする。
手順６．ｊを１増加させ、ｊ≦Ｎならば上記手順５．へ戻り、ｊ＞Ｎならば次の手順７．へ。
手順７．ｉを１増加させ、ｉ≦Ｎ−１ならば上記手順４．へ戻り、ｉ＞Ｎ−１ならば終了する。
【００７９】
上記のグループ化の方法に関して、図７のフローチャートを参照しながら簡単に説明する。
【００８０】
ステップＳ７１でグループの初期化を行ない、ステップＳ７２で相関値を求め、ステップＳ７３において、上記手順３．〜手順７．に相当する処理、すなわち異なるＷｉ とＷｊ に対して、相関値をもとにグループ化を行なっていく。その判定基準としては、上記手順５．の処理におけるような
Ｒ（Ｗｊ，Ｗｉ）≦ｒ かつ Ｒ（Ｗｉ，Ｗｊ）≦ｒ ・・・（６）
を用いる。ここで、ｒは、１よりは大きく認識対象ワード数Ｎよりは（十分）小さな整数（例えば、２から１０くらい）を設定する。すなわち、相関値Ｒ（Ｗｊ，Ｗｉ）とＲ（Ｗｉ，Ｗｊ）が共に小さくなるようなＷｉ ，Ｗｊ に対してグループ化を行なっていくわけである。
【００８１】
そして、そのようなＷｉ とＷｊ とが見つかった場合には、基本的には上記手順５．に示す（１），（２） の場合のように、まだ代表ワードになっていない方を、既に代表ワードになっている方のグループに属させるようにする。すなわち上記処理（Ｉ） または処理（ＩＩ）を行う。例えば、Ｇ１ ＝｛Ｗ１ ，Ｗ２ ｝，Ｇ３ ＝｛Ｗ３ ｝の場合に、Ｗ１ とＷ３ の間で上記（６）式が成り立てば、Ｇ１ ＝｛Ｗ１ ，Ｗ２ ，Ｗ３ ｝に変更し、Ｇ３ は空集合にすればよい。
【００８２】
ただし、どちらのグループにも、既に代表ワード以外に属する要素が存在する場合、すなわち上記手順５．の（３） の場合には、その代表ワード以外の要素が同じ時のみ、上記処理（Ｉ）（または処理（ＩＩ）） を実行する。例えば、Ｇ５ ＝｛Ｗ１ ，Ｗ５ ｝，Ｇ７ ＝｛Ｗ２ ，Ｗ７ ｝の場合に、Ｗ５ とＷ７ に対して上記（６）式が成り立っても、グループ化は行なわないが、Ｇ５ ＝｛Ｗ１ ，Ｗ２ ，Ｗ５ ｝，Ｇ７ ＝｛Ｗ１ ，Ｗ２ ，Ｗ７ ｝の場合に、Ｗ５ とＷ７ に対して（６）式が成り立てば、Ｇ５ ＝｛Ｗ１ ，Ｗ２ ，Ｗ５ ，Ｗ７ ｝に変更し、Ｇ７ は空集合にすることになる。逆に、Ｇ５ を空集合にし、Ｇ７ ＝｛Ｗ１ ，Ｗ２ ，Ｗ５ ，Ｗ７ ｝と変更してもよい。
【００８３】
また、ｎ（Ｇｉ）＝１かつｎ（Ｇｊ）＝１の場合に、Ｗｉ とＷｊ に対して上記（６）式が成り立つようなときは、上記処理（Ｉ） と処理（ＩＩ）のどちらを実行してもよい。
【００８４】
なお、判定条件の上記（６）式におけるｒは、小さければ小さいほど、グループ化が行なわれる条件が厳しくなる。その意味では、最初ｒ＝２に設定して、上記手順１．から手順７．の処理を行ない、次にｒ＝３に設定して、上記手順３．から手順７．の処理を行ない、同様にしてｒを１ずつ増加させながら、ｒ≦ｒａ を満たす間、上記手順３．から手順７．の処理を繰り返すようにすることで、最も相関のあるワードどうしがまずグループ化されてから、次に相関のあるもの、その次に相関のあるものという風に、順にグループ化されていくことになり、代表に選ばれないワードにとっては、より相関の強いワードが初期の段階で代表ワードになってくれるという点で、効果のある構造化が得られるようになる。ここで、ｒａ には、２よりは大きく認識対象ワード数Ｎよりは十分小さな整数（例えば、３から１０くらい）を設定するものとする。
【００８５】
これを図８に示す。図８の各ステップＳ８１、Ｓ８２、Ｓ８３は、それぞれ上記図７の各ステップＳ７１、Ｓ７２、Ｓ７３に対応するが、上記手順３．から手順７．の処理に相当するステップＳ８３については、ｒを１ずつ増加させながらｒ≦ｒａ を満たす間、処理を繰り返すようにしている。
【００８６】
さらにまた、判定条件の上記（６）式の代わりに、
Ｒ（Ｗｊ，Ｗｉ）≦ｒｊ かつ Ｒ（Ｗｉ，Ｗｊ）≦ｒｉ ・・・ （７）
のようにＷｊ にはそれに応じたｒｊ を設定するようにし、例えば、
ｒｊ＝ｎ（Ｇｊ）＋ｒ−１ （ｊ＝１，２，・・・，Ｎ） ・・・ （８）
のように、ｎ（Ｇｊ） に応じて変動させるような方法も考えられる。この場合、最初はｒ＝２、すなわちｒｊ ＝２に設定して、上記手順１．から手順７．の処理を行ない、得られた各グループの要素数に従って、ｒ＝３として上記（８）式によりｒｊ を設定し直し、上記手順３．から手順７．の処理を行ない、同様にして、ｒを１ずつ増加させるとともに、グループの要素数に応じて上記（８）式によってｒｊ を設定し直しながら、ｒ≦ｒａ を満たす間、上記手順３．から手順７．の処理を繰り返すようにする。このようにすることで、本来非常に相関のあるＷｉ とＷｊ がグループ化されないような状況、特に、Ｗｊ にとってさらに相関のあるＷｋ が多数存在していたために、相関値Ｒ（Ｗｊ，Ｗｉ）が少し大きくなってしまい、Ｗｉ とＷｊ がグループ化されないような状況を緩和することができる。
【００８７】
例えば、Ｗ５ に対して、Ｒ（Ｗ５，Ｗ１）＝２であったとしても、Ｗ１ に対して、Ｒ（Ｗ１，Ｗ３）＝２，Ｒ（Ｗ１，Ｗ８）＝３，Ｒ（Ｗ１，Ｗ５）＝４であるような場合、ｒ≧４として上記（６）式の判定を行なわなければ、Ｗ１ とＷ５ はグループ化されない。しかし、もし、Ｇ１ ＝｛Ｗ１ ，Ｗ３ ，Ｗ８ ｝のようにグループ化された後に、ｒ＝２として上記（７）式の判定を行なえば、Ｗ１ とＷ５ はグループ化されることになる。これは、上記（８）式により、ｒ１ ＝５，ｒ５ ＝３となるからである。
【００８８】
したがって、さらに効率的に構造化が行なえるようになる。ここで、ｒａ には、前と同様、２よりは大きく認識対象ワード数Ｎよりは十分小さな整数（例えば、３から１０くらい）を設定するものとする。
【００８９】
グループへの追加について
手順１．ｊ＝１
手順２．Ｗｊ が代表ワードでない場合、すなわちｎ（Ｇｊ）＝０ の場合、以下を行なう。それ以外の場合は、次の手順３．へ。
（ａ） ｉ＝１
（ｂ） Ｗｉ が代表ワードの場合、すなわちｎ（Ｇｉ）＞０ の場合、以下を行なう。それ以外の場合は、（ｃ）へ。
Ｒ（Ｗｊ，Ｗｉ）≦ｒｂ の場合、下記の処理（ＩＩＩ）を実行。
（ｃ） ｉを１増加させ、ｉ≦Ｎならば（ｂ）へ戻り、ｉ＞Ｎならば次の手順３．へ。
ただし、処理（ＩＩＩ）とは次のような処理である。
処理（ＩＩＩ）：グループＧｉにワードＷｊが既に属していれば何も行なわず、属していなければ、グループＧｉにワードＷｊを追加し、ｎ（Ｇｉ）を１増加させる。
手順３．ｊを１増加させ、ｊ≦Ｎならば上記手順２．へ戻り、ｊ＞Ｎならば終了。
【００９０】
上記のグループへの追加に関して、簡単に説明を加えると、まず、前記のグループ化によって、代表ワードとそれに属するワードに分離されることになる。そして、認識過程では、この代表ワードだけで、まず認識処理を行ない、その結果から、さらに認識処理の必要なワードを選び出すことが行なわれる。
【００９１】
つまり、代表に選ばれなかったワードにとっては、相関の強いワードができるかぎり代表ワードに含まれており、かつその代表ワードのグループに属していることが重要になるといえる。
【００９２】
そこで、上記の手順１．，手順２．，手順３．の処理を通して、代表ワードに選ばれてないワードＷｊ に着目し、代表に選ばれているＷｉ の中で相関の強いワード、すなわち
Ｒ（Ｗｊ，Ｗｉ）≦ｒｂ （９）
を満たすＷｉ を探しだし、対応するグループＧｉ にＷｊ がまだ属していない場合は、そのグループの要素としてＷｊ を追加するわけである。
【００９３】
なお、上記（９）式のｒｂ は、２よりは大きく認識対象ワード数Ｎよりは小さな整数（例えば、３から２０くらい）を設定するものとする。ただし、認識性能を劣化させないためには、前述のグループ化における（６）式のｒや（７）式のｒｉ ，ｒｊ はあまり大きくしない方が良い、すなわち判定条件を厳しくした方が良いのに対して、上記（９）式のｒｂ はできるだけ大きめに設定する方が良いと言える。
【００９４】
なぜなら、代表ワードに選ばれないワードに関しては、認識過程において、認識処理（スコア計算）が行なわれる対象ワード内に含まれない危険性があり、その意味では、グループ化を行なう際に、相関のあまり強くないワードどうしはグループ化を、すなわち片方を代表ワードとし、もう片方をそれに属するワードとすることを、しない方が良いといえる。したがって、上記（６）式のｒや（７）式のｒｉ ，ｒｊ はあまり大きくしない方が良い。
【００９５】
これに対して、一旦グループ化が行なわれた後、代表ワードに選ばれかったワードは、できるだけ多くのグループに属している方が、認識過程において、認識処理（スコア計算）が行なわれる対象ワード内に含まれる確度が高くなり、その意味では、上記（９）式のｒｂ はできるだけ大きい方が良いわけである。特に、そのワードにとって相関の高いワードが代表となっているグループに含まれることは、より効果が期待できるわけである。
【００９６】
しかし、上記（９）式のｒｂ を大きくすることは、認識過程における探索範囲の拡大、すなわちスコア計算が行なわれるワード数が大きくなることにつながり、本来の目的である、認識過程の処理量（演算量）を縮小したいという意味ではあまり大きくし過ぎてはいけない。したがって、結局ｒｂ としては、上記（６）式のｒや上記（７）式のｒｉ ，ｒｊ よりは少し大き目くらいに設定するのが好ましい。
【００９７】
階層化について
手順１．全認識対象ワード｛Ｗｉ ：ｉ＝１，２，・・・，Ｎ｝に対し、Ｗｉ をＷｉ ０などと表記することにする。また、Ｎ０ ＝Ｎとする。
手順２．ｍ＝１
手順３．ワード｛Ｗｉ ｍ−１：ｉ＝１，２，・・・，Ｎｍ−１ ｝に対して、前述のグループ化とグループへの追加の処理を１ステップとするグループ分けを行なう。得られた代表ワードを｛Ｗｉ ｍ：ｉ＝１，２，・・・，Ｎｍ ｝と表すことにする。ただし、Ｎｍ は得られた代表ワードの数である。
手順４．ｍを１増加させ、ｍ≦Ｍならば手順３．へ戻り、ｍ＞Ｍならば終了。
【００９８】
上記の階層化に関して、上記図４を参照しながら簡単に説明する。
まず、ｍ＝１ における上記手順３．の処理は、全認識対象ワードに対して、前述のステップＳ４１でのグループ化と、ステップＳ４２でのグループへの追加を行なうことにあたり、最初に行なうステップＳ４１のグループ化によって、相関の強いものどうしがグループ化され、その従属関係が決定されることになる。
【００９９】
次に、ｍ＝２とし、ｍ＝１において得られた代表ワードに対するグループ分けを行なうわけであるが、やはり最初に行なうグループ化によって、相関の強いものどうしがグループ化され、その従属関係が決定されることになる。
【０１００】
以後、同様にｍ＞Ｍとなるまで、同じようにグループ分けを行っていき、図６に示されるような階層構造の探索木が得られることになるわけであるが、その作成過程を考えれば、ある階層のワードには、相互に相関の強いワードが代表ワードとしてその上の階層に存在し、パスがつながっていることが期待できる。つまり、最も下の階層、すなわち全認識対象ワードの集合、にあるワードにとって、相互に相関の強いワードへのパスが上の階層へとつながっていくことが期待できる。
【０１０１】
例えば、図９に示されるように、ワードＷ１ とＷ５ の間に上記（６）式あるいは（７）式のような関係が成立し、Ｗ１ が代表ワード、Ｗ５ がＷ１ に属するワードになったとする。さらに、ワードＷ１ とＷ９ がともに代表として選ばれた後、再度グループ化を行なった結果、ワードＷ１ とＷ９ の間に、上記（６）式あるいは（７）式ような関係が成立し、Ｗ９ が代表ワード、Ｗ１ がＷ９ に属するワードになったとする。この場合、ワードＷ５ とＷ９ の相関も強いことが期待できるわけである。
【０１０２】
しかしながら、最も下の階層のワードにとって、上の階層へのパスをたどっていって得られるワードとの相関の強さは、上の階層へ行けば行くほど、弱くなることが予想される。したがって、もし得られた探索木をもとに、認識処理をすべきワードを制限するものとした場合、あまり上の階層のワードから最も下のワードに対する制限をかけるのは、歪みの増大、すなわち認識率の低下を招くことが予想され、好ましくないといえる。その意味からすれば、上記のような階層化によって得られる探索木の最上位の階層Ｍは、あまり大きくし過ぎない方が良い。
【０１０３】
なお、Ｗｉ ｍを第ｍ階層のワードと呼ぶことにする。例えば、認識対象ワードの集合は第０階層のワードであり、そこから選ばれた代表ワードの集合は第１階層のワードと呼ぶことにする。
【０１０４】
＜認識手法＞
つづいて、上記認識対象ワードを上述したように階層構造に構造化することによって得られる探索木を用いた認識手法に関して述べる。
【０１０５】
この音声認識には、図１に代わって、図１０のような構成が用いられる。
【０１０６】
ここで、入力部１０１、音響分析部１０２、パラメータ記憶部１０４、出力部１０５に関しては、その動作は前述した図１の各部１１、１２、１４、１５とそれぞれ同じである。
【０１０７】
すなわち、入力部１０１から入力された音声信号が、音響分析部１０２で音響分析され、得られた特徴量が認識部１０３へ送られる。
【０１０８】
学習過程では、学習用の音声データをもとに、認識処理に用いられるパラメータが決定され、そのパラメータがパラメータ記憶部１０４に記憶される。そして新たに、前述した認識対象ワードの構造化を、実音声データを用いて行ない、得られた探索木を探索木記憶部１０６に記憶する。すなわち、各認識対象ワードに対応した実音声データに対して、認識部１０３におけるスコア計算を行ない、前述の構造化の方法に基づいて探索木を作成し、探索木記憶部１０６に記憶する。
【０１０９】
認識過程においては、入力部１０１より入力された未知音声信号に対して、音響分析部１０２において音響分析を行ない、得られた特徴量が認識部１０３へ送られる。そして、以下のような認識処理を行なう。
【０１１０】
手順１．第Ｍ階層のワードに対してスコア計算を行ない、最もスコアの高いものから上位ｐ個を選び出す。
手順２．ｍ＝Ｍとする。
手順３．第ｍ階層において選ばれた最もスコアの高いものから上位ｐ個のワードに対して、探索木記憶部１０６の探索木をもとに、そのワードに属する第ｍ−１階層のワードを抽出する。そして、それらのワードに対して、再びスコア計算を行ない、最もスコアの高いものから上位ｐ個を選び出す。
手順４．ｍを１減少させ、ｍ＞０ならば３へ戻り、ｍ＝０ならば次の手順５．へ。
手順５．第０階層において抽出されたワードの中から、最もスコアの高いもの、あるいは上位複数個、を選び出す。
そして、上記手順５．において選び出された最もスコアの高いワード、あるいは上位複数個を、出力部１０５へ送信する。
【０１１１】
出力部１０５では、送信されてきた認識結果を画面に表示したり、音として出力したり、さらには、その認識結果を用いて、他の装置を動作させたりなどの指令を行なう。
上記手順１．の処理を初期探索といい、上記手順２．から手順４．までの処理を構造探索と呼ぶ。
【０１１２】
ここで、図１１は、上記認識処理の概要を説明するためのフローチャートである。
この図１１の最初のステップＳ１１１において、初期探索として、上記第Ｍ階層の探索を行い、その後、処理ルーチン１１２により、第Ｍ−１階層の探索から第０階層の探索までの構造探索を行う。この処理ルーチン１１２において、ステップＳ１１３では第ｍ階層のワードを抽出し、この抽出されたワードに対して、ステップＳ１１４でスコア計算が既に行われているか否かを判別し、ＮＯのときはステップＳ１１５に進んでスコア計算を行った後、ステップＳ１１６に進み、ＹＥＳのときは直接ステップＳ１１６に進んでいる。ステップＳ１１６では、計算されたスコアの高いものから上位ｐ個を選び出している。
【０１１３】
上記初期探索は、認識過程において最初に行なう最上位階層の代表ワードに対するスコア計算にあたり、構造探索は、探索木をもとに、一つ上の階層の探索で選び出されたｐ個の代表ワードに属するワードに対してスコア計算を行なっていく処理にあたる。また、以上のような構造探索においては、代表ワードとして既にスコア計算をしたものや、抽出した二つ以上のグループに重複して含まれているものがあるため、一旦スコア計算を行なったワードに関しては、そのスコアを記憶しておき、同じワードに対するスコア計算の重複を避けるようにするものとする。
【０１１４】
＜記憶容量の見積り＞
以上のような探索木を用いた認識処理において、探索木に必要な記憶容量の見積りをしておく。全ワード数をＮとする。グループ化によって、ある階層のワードがそのワード数の約２分の１のグループに縮退し、かつ各グループの平均要素数が１０ワードになると仮定すれば、階層ｍのワード数は
（１／２）ｍＮ （１０）
で与えられ、各ワードから一つ下の階層のワードへの従属関係として平均１０本の探索木のパスを記憶しなければならず、したがって、第１階層から第Ｍ階層までの全ワードに対しては、
【０１１５】
【数５】
のパスを記憶する必要があることになる。ここで、Ｍは探索木の最上位階層である。したがって、記憶容量としては、Ｍを十分大きくしたとしても、
【０１１７】
【数６】
のパス情報を記憶すればよいことになる。
【０１１９】
なお、この値は認識対象となるワードのセットに大きく依存したものであり、上記（６）式のｒや、上記（９）式のｒｂ によっても大きく変動することから、ひとつの目安として示したものである。
【０１２０】
＜演算量の見積り＞
次に、探索木を用いた認識処理における、演算量の見積りをしておく。前述した記憶容量の見積りにおいて想定するような探索木が得られたとする。つまり、全ワード数をＮとし、各階層において約２分の１のグループに縮退し、かつ各グループの平均要素数が１０ワードであるとすれば、認識における初期探索のワード数は
（１／２）ＭＮ （１３）
構造探索のワード数は、
【０１２１】
【数７】
で与えられることになる。ただし、Ｍは認識時の初期探索を行なう階層、ｐは第ｍ階層で抽出するスコアの高いワード数とする。
【０１２３】
参考として、１０００ワードと４０００ワードの認識において、 ｐ＝１０ の場合のスコア計算すべきワード数、すなわち初期探索のワード数と構造探索のワード数を見積もったのが次の表１， 表２である。
【０１２４】
【表１】
【表２】
それぞれ、初期探索の階層Ｍに対する初期探索のワード数と構造探索のワード数、およびその合計、すなわち最終的にスコア計算を行なうワード数を示している。ここで、Ｍ＝０は全探索に対応しているものとする。構造化による演算量の削減としては、表１に示す１０００ワードの認識の場合、第６階層を初期探索の階層とすれば、初期探索 ２５０ワード、構造探索 ２００ワード、合計 ４５０ワードのスコア計算を行なうことになり、約６割減になるものと思われる。また、表２に示す４０００ワードの場合、第４階層を初期探索の階層とすれば、初期探索 ２５０ワード、構造探索 ４００ワード、合計 ６５０ワードのスコア計算を行なうことになり、約８割減になるものと思われる。しかも、代表ワードとして既にスコア計算したものや、抽出した二つ以上のグループに重複して含まれるものなど、同じワードに対するスコア計算の重複は避けることから、さらに演算量を削減できることが期待できる。
【０１２７】
なお、このような探索木を用いた認識処理を行なう場合には、スコア計算と別に、構造探索においてスコア計算すべきワードを抽出するための処理などが加わるが、この演算量は、スコア計算にかかる演算量に比べれば十分小さなものになると考え、考慮に入れていない。
【０１２８】
＜シミュレーション結果＞
実際に、９３８個の単語認識を、全探索と本発明の構造化を用いた探索とで比較した結果について述べる。ただし、構造化の方法としては、グループ化を行なうために上記（７）式を用い、ｒを２から８まで増加させながら、上記（８）式でｒｊ を変動させてグループ化を行なった。また、グループへの追加を行なうために上記（９）式においてｒｂ ＝２０を用いた。そして、Ｍ＝２階層の構造化を行なった。その結果、初期探索のワード数が１５０個となる２階層の探索木で、各階層のあるワードからその下の階層のワードへのパスとしては、平均１２本つながっているようなものが得られた。
【０１２９】
まず、全探索による認識では、認識率が９８．７％、スコア計算を行なったワード数が９３８個であった。これに対して、各階層でスコアの高いワードをｐ＝８個抽出するような構造化を用いた認識処理を行なった結果、認識率は９６．６％とわずかの劣化しか見せず、スコア計算を行なったワード数は、初期探索に１５０個、構造探索に平均１３５個、合計２８５個（平均）となった。つまり、全探索に比べ、計算量を約７割低減することが可能となったことがわかる。
【０１３０】
以上示したように、本発明の上述した第１の実施の形態によれば、認識対象ワードを予め木構造に構造化しておき、その構造に従って探索することで認識ワードを制限でき、演算量を大幅に低減することが可能となる。しかも、新たなワード間の相関値Ｒ（Ｗｊ，Ｗｉ）の定義と、その相関値に基づく認識ワードの構造化方法によって、局所的な探索であっても、スコアの高くなることが期待されるワードは探索範囲に含まれるようになり、最終的に、歪みをほとんど増大させることはない。つまり、認識率をほとんど劣化させることはない。さらに、余分に必要な記憶容量もワード数に対してその約１０倍程度パス情報を持っておけばよいだけであり、比較的小さなものとなる。
【０１３１】
第２の実施の形態
次に、本発明の第２の実施の形態として、本発明をＨＭＭ（隠れマルコフモデル）を用いた音声認識に適用した場合の例について説明する。
【０１３２】
これは、上述した第１の実施の形態において、相関値を計算するために音声データを用いる必要があった点を改良し、音声データを用いずにＨＭＭのパラメータから直接計算できるようにしたものである。もちろん、上述した実施の形態と同様、歪みの増大による認識率の低下をほとんど招くことなく、演算量を大幅に低減することを可能とする。しかも、余分に必要とされる記憶容量も比較的小さなものとなる。
【０１３３】
以下、ＨＭＭを用いた音声認識に関して簡単に説明し、その音声認識を高速化するための方式として、ワード間の相関値の定義、その相関値を用いた認識ワードの構造化の方法、およびその構造を用いた認識手法に関して述べる。
【０１３４】
＜ＨＭＭを用いた音声認識＞
認識すべきワードをＷ１，Ｗ２，・・・，Ｗｐとする。今、観測された音声信号の特徴パラメータがＹであったとき、ＹがワードＷｉ である確率は、Ｐ（Ｗｉ｜Ｙ） で与えられる。したがって、Ｐ（Ｗｉ｜Ｙ） （ｉ＝１，２，・・・，ｐ） の中で最大の確率を与えるＷｉ をＹの属するワード、すなわちワードＷｉ が発声されたものと判定すればよい。ここで、ベイズ（Ｂａｙｅｓ） の定理より、
Ｐ（Ｗｉ｜Ｙ）＝Ｐ（Ｗｉ）Ｐ（Ｙ｜Ｗｉ）／Ｐ（Ｙ） （１５）
が成り立ち、分母のＰ（Ｙ）はＷｉ には関係ないことから、分子のＰ（Ｗｉ）Ｐ（Ｙ｜Ｗｉ）（ｉ＝１，２，・・・，ｐ） を最大にするＷｉ を求めれば良いことがわかる。Ｐ（Ｗｉ） はワードＷｉ が発声される事前確率であり、Ｐ（Ｙ｜Ｗｉ） はワードＷｉ が発声されたときに、特徴パラメータＹが得られる確率である。
【０１３５】
ＨＭＭ法とは、（１）式を最大にするＷｉ を、確率モデル（ＨＭＭ）によって推定する手法である。
【０１３６】
ＨＭＭ（Ｈｉｄｄｅｎ Ｍａｒｋｏｖ Ｍｏｄｅｌ ：隠れマルコフモデル）は、非決定有限状態オートマトンとして定義され、図１２に示すように、いくつかの状態Ｓ１，Ｓ２，・・・，ＳＮ（状態数Ｎ）と、その状態間の遷移を表すパスから構成される。そして、各状態の遷移過程はマルコフ過程とし、状態が遷移するときに出力シンボルをひとつ発生するものとする。
【０１３７】
なお、音声認識では、図１３に示されるような自己遷移と次の状態への遷移のみを許すような、初期状態と最終状態を持つレフトツーライト（ｌｅｆｔ−ｔｏ−ｒｉｇｈｔ） モデルが用いられることが多い。
【０１３８】
ＨＭＭ法のうち、離散型ＨＭＭ法では、音声の特徴ベクトルを例えばベクトル量子化することなどにより得られるシンボル系列Ｙ＝ｙ１・ｙ２・・・ｙＴ （Ｔは観測系列の長さ）が各モデルで生起する確率（事後確率）を計算し、その確率が最も大きいモデルを認識結果とすることになる。
【０１３９】
＜ＨＭＭの定式化＞
ここで、ワードＷに対応した離散型ＨＭＭは次のように定式化される。
【０１４０】
Ｓ：状態の有限集合（Ｎは状態数）
Ｓ＝｛Ｓ１，Ｓ２，・・・，ＳＮ｝ （１６）
Ｖ：出力シンボルの集合（Ｍは出力シンボル数）
Ｖ＝｛ｖ１，ｖ２，・・・，ｖＭ｝ （１７）
Ａ：状態遷移確率の集合（ａｉｊは状態Ｓｉから状態Ｓｊへの遷移確率）
【０１４１】
【数８】
Ｂ：状態遷移時の出力確率の集合（ｂｉｊ（ｖｋ） は状態Ｓｉから状態Ｓｊへの遷移の際にシンボルｖｋ を出力する確率）
【０１４３】
【数９】
π：初期状態確率の集合（πｉ は初期状態がＳｉ である確率）
【０１４５】
【数１０】
このようにして定義されたＨＭＭから、シンボル系列Ｙ＝ｙ１・ｙ２・・・ｙＴ が次のようにして生起される。
【０１４７】
手順１．初期状態確率πに従って、初期状態ｘ０＝Ｓｉを選ぶ。
手順２．ｔ＝０とする。
手順３．状態遷移確率ａｉｊに従って、状態ｘｔ＝Ｓｉから状態ｘｔ＋１＝Ｓｊへの遷移を選択する。
手順４．出力シンボル確率ｂｉｊ（ｖｋ） に従って、状態Ｓｉから状態Ｓｊに遷移するときに出力されるシンボルｙｔ＝ｖｋを選択する。
手順５．ｔ＜Ｔならば、ｔ＝ｔ＋１とし、手順３．へ戻る。それ以外は終了。
【０１４８】
ただし、状態遷移の時刻をｔ＝０，１，２，・・・ とし、時刻ｔにおいて遷移した状態をｘｔ とした。
【０１４９】
以上のように、ＨＭＭを定義するには、Ｎ，Ｍの指定、出力シンボルの集合、確率Ａ，Ｂ，πが必要であり、これを簡単に表記するため、
λ＝｛Ａ，Ｂ，π｝ （２１）
と表すことにする。つまり、ワード一つ一つにモデルが決定されることになる。
【０１５０】
＜ＨＭＭの確率計算＞
音声認識においては、前に述べたように初期状態と最終状態を一つとするｌｅｆｔ−ｔｏ−ｒｉｇｈｔ モデルを用いることが多く、以下では初期状態と最終状態をＳｉ，ＳＮに限定したモデルを考える。
【０１５１】
モデルλが、シンボル系列ｙ１・ｙ２・・・ｙＴ を出力して、時刻ｔに状態Ｓｉ に達する前方予測確率をαｉ（ｔ）とすると、上述したモデルのシンボル出力の定義から、次の漸化式
【０１５２】
【数１１】
によってαｉ（ｔ）を計算することができる。ここで、上式のｊに関するサンメーションは、与えられたモデルにおいて、状態Ｓｊ から状態Ｓｉ への遷移が許されている場合のみとられるものとする。
【０１５４】
以上をもとに、モデルλがシンボル系列Ｙ＝ｙ１・ｙ２・・・ｙＴ を出力する確率Ｐ（Ｙ｜λ）は、
Ｐ（Ｙ｜λ） ＝αＮ（Ｔ） （２４）
で求まることになる。そして、ＨＭＭ法を用いた音声認識では、音声から生成されたシンボル系列Ｙ＝ｙ１・ｙ２・・・ｙＴ に対して、上式から計算される確率Ｐ（Ｙ｜λ）を最大にするモデルλが認識結果とされる。
【０１５５】
また、Ｐ（Ｙ｜λ）を求める別の方法として、ビタビ（Ｖｉｔｅｒｂｉ） アルゴリズムを用いた計算方法というものがある。これを簡単に説明すると、上記（２３）式のαｉ（ｔ） の代わりに
【０１５６】
【数１２】
によって、時刻ｔに状態Ｓｉ である確率￣αｉ（ｔ）を計算する。ここで、上記（２５）式のｊに関する｛｝の最大値とは、与えられたモデルにおいて、状態Ｓｊ から状態Ｓｉ への遷移が許されているものに関してのみ考えるものとする。このような￣αｉ（ｔ）をもとに、
【０１５８】
【数１３】
を求めるというものである。
【０１６０】
ここで、上記（２５）式によって決まる状態遷移系列として、最終状態がＳＮ となるものは唯一に決まり、これを最適パスと呼ぶ。この最適パスは Ｖｉｔｅｒｂｉアルゴリズムの上記（２５）式の計算において、その際に遷移してきた前状態を記憶しておくようにし、最終状態まで計算し終ったら、そこから前状態をたどっていけば得られる。
【０１６１】
また、ｌｏｇ Ｐ（Ｙ｜λ）を求めるようにすれば、乗算が加算の演算で置き換えられ、計算効率がよくなる。
【０１６２】
＜ＨＭＭのパラメータ推定＞
次に、シンボル系列Ｙ＝ｙ１・ｙ２・・・ｙＴ に対して、確率Ｐ（Ｙ｜λ）を最大にするモデルのパラメータとしての遷移確率Ａ＝｛αｉｊ｝、出力確率Ｂ＝｛ｂｉｊ（ｖｋ）｝ の推定方法について述べる。
【０１６３】
なお、最初の推定時における遷移確率｛αｉｊ｝、出力確率｛ｂｉｊ（ｖｋ）｝ には、所定の初期値が用いられる。
【０１６４】
まず、モデルの学習では、学習用のシンボル系列Ｙから、上述した前方予測確率αｉ（ｔ）が求められるとともに、時刻ｔにおいて状態Ｓｉ に存在し、以後、シンボル系列ｙｔ＋１・ｙｔ＋２・・・ｙＴ を出力する後方予測確率βｉ（ｔ）が次式によって求められる。
【０１６５】
手順１．ｔ＝Ｔのとき
βｉ（Ｔ）＝０ （ｉ＝１，２，・・・，Ｎ−１）
βＮ（Ｔ）＝１ （２７）
手順２．ｔ＝Ｔ−１，Ｔ−２，・・・，０のとき、
【０１６６】
【数１４】
ここで、上記（２８）式のｊに関するサンメーションは、与えられたモデルにおいて、状態Ｓｉ から状態Ｓｊ への遷移が許されている場合のみとられるものとする。
【０１６８】
このとき、出力シンボル系列Ｙ＝ｙ１・ｙ２・・・ｙＴ に対して、状態Ｓｉ から状態Ｓｊ への遷移が時刻ｔに生じる確率をγｉｊ（ｔ）と記せば、
【０１６９】
【数１５】
で与えられることになる。そして、次式に従ってモデルのパラメータとしての遷移確率ａｉｊ、出力確率ｂｉｊ（ｖｋ） が更新、すなわち学習される。
【０１７１】
【数１６】
なお、上式において ＾を付したａｉｊ、またはｂｉｊ（ｖｋ） は、更新、すなわち再推定した遷移確率または出力確率をそれぞれ意味する。また、上式のｈに関するサンメーションは、状態Ｓｉ から状態Ｓｊ への遷移が許されている場合のみとられる。さらに、ｔ：ｙｔ＝ｖｋに関するサンメーションは、時刻ｔにおいて、ｖｋ なるシンボルｙｔ が生起される場合についてのみとられる。
【０１７３】
上式に従って、遷移確率ａｉｊ、出力確率ｂｉｊ（ｖｋ） が更新、すなわち再推定されることにより、それぞれは、局所的に最適な値へ収束する。
【０１７４】
なお、上述のようにして遷移確率ａｉｊ、出力確率ｂｉｊ（ｖｋ） を更新、すなわち再推定する方法は、Ｂａｕｍ−Ｗｅｌｃｈの再推定法 と呼ばれる。
【０１７５】
ここで上記（３０）、（３１）式で計算される遷移確率ａｉｊ、出力確率ｂｉｊ（ｖｋ） は、ある学習用のシンボル系列１つに対してだけであり、これにより学習が行なわれたモデルは、ある１つのシンボル系列を高い確率で出力するようになる。しかしながら、音声には調音結合や話者によるばらつきがあり、単一のシンボル系列のみ高い確率で出力するモデルでは、このばらつきに対処することができない。
【０１７６】
そこで、いくつかのシンボル系列を高い確率で出力するように、モデルλの学習を行なう必要がある。これには、例えばＱ種類のシンボル系列のｑ番目のシンボル系列をＹｑ＝ｙ１ ｑ・ｙ２ ｑ・・・ｙＴ ｑ としたとき、各シンボル系列Ｙｑ （ｑ＝１，２，．．．，Ｑ）が観測される確率Ｐ（Ｙｑ｜λ） の積が最大になるように、モデルλの学習を行なえばよい。
【０１７７】
これは、上述したＢａｕｍ−Ｗｅｌｃｈの再推定法を多重系列に拡張することにより次のように再帰的に求めることができる。すなわち、Ｙｑ によるαｉ（ｔ），βｉ（ｔ），γｉｊ（ｔ） をそれぞれ αｉ ｑ（ｔ），βｉ ｑ（ｔ），γｉｊ ｑ（ｔ） とすれば、
【０１７８】
【数１７】
のように計算される。
【０１８０】
次に、上記（３３）， （３４）式で計算される遷移確率ａｉｊ、出力確率ｂｉｊ（ｖｋ） は、モデルの学習を個別に行なっていることに他ならない。過去、ＨＭＭ法は、単語認識に適用されるときが多く、従って単語に対応するモデルの学習を、上述したように個別に行なうだけで問題はなかった。
【０１８１】
しかしながら、最近では、意味のある音声（例えば、単語や文など）の認識を、音韻（音素）に対応するモデルを連結したものを用いて行なうのが一般的になり、このため、モデルの連結学習を行なう必要が生じてきた。
【０１８２】
モデルの連結学習では、例えば予め用意した単語辞書に登録されている単語に基づき、音韻または音素モデルどうしを連結し、それを単語モデルとみなして、単語の学習用のシンボル系列として用意されたシンボル系列Ｙｑ に対する学習が行なわれる。
【０１８３】
すなわちち、Ｗ個の音韻または音素モデルの学習を個別に行なった場合において、そのうちのｗ番目のモデル（すなわちモデルｗ）のパラメータ、すなわち遷移確率、出力確率それぞれをａｉｊ ｗ、ｂｉｊ ｗ（ｖｋ） と表し、そのモデルｗに音韻あるいは音素モデルを連結したモデル（すなわち連結モデル）の状態をＳｍ またはＳｎ で表す。さらに、連結モデルの状態が、Ｓｍ からＳｎ へ遷移する場合において、状態Ｓｍ がモデルｗに属する状態であることを（ｍ→ｎ）∈ｗと表すと、上記式（３３），（３４） を変形した次式に従って、モデルｗの遷移確率ａｉｊ、出力確率ｂｉｊ（ｖｋ） が更新、すなわち再推定される。
【０１８４】
【数１８】
ここで、連結モデルがモデルｗを複数使用して構成されている場合、すなわち連結モデルが、例えば３状態Ｓ１，Ｓ２，Ｓ３ からなるモデルｗを２回使用して構成されている場合、連結モデルは、Ｓ１，Ｓ２，Ｓ３，Ｓ１，Ｓ２，Ｓ３ の６状態を有することになる。従って、この場合、モデルｗの状態Ｓ１，Ｓ２，Ｓ３ のうちの、例えば先頭の状態Ｓ１ は、連結モデルの状態Ｓ１，Ｓ２，Ｓ３，Ｓ１，Ｓ２，Ｓ３ の先頭の状態、および先頭から４番目の状態と同一であり、このように連結モデルの複数の状態ｍがモデルｗの１つの状態Ｓｉ と同一であるときがある。
【０１８６】
上記（３５），（３６） 式において、ｍ≡ｉ、ｎ≡ｊに関するサンメーション（総和）は、上述したように、連結モデルの状態Ｓｍ またはＳｎ が、モデルｗの状態Ｓｉ またはＳｊ とそれぞれ同一である場合についてとられる。さらに、ｍ≡ｉに関するサンメーションは、連結モデルの状態Ｓｍ がモデルｗの状態Ｓｉ と同一である場合についてとられる。
【０１８７】
また、ｈ：（ｍ→ｈ）∈ｗに関するサンメーションは、連結モデルの状態Ｓｍ から状態Ｓｈ への遷移が許されている場合に、連結モデルの状態Ｓｍ が、モデルｗに属するときのみとられる。
【０１８８】
さらに、上記（３５），（３６） 式において、モデルｗの後続にモデルが連結されており、連結モデルのある状態Ｓｍ がモデルｗの最終状態（Ｓｍ＝ＳＮ）となった場合、状態Ｓｍ からの遷移先である状態Ｓｎ は、モデルｗの直後に連結したモデルの初期状態となるものとする。
【０１８９】
次に、以上説明した離散ＨＭＭ法を用いて音声認識が行なわれる場合には、まず学習用に用意された学習系列Ｙを用い、上述した（３３），（３４）式または（３５），（３６）式に従ってモデルの学習、すなわち連結学習が行なわれ、モデルλの遷移確率ａｉｊおよび出力確率ｂｉｊ（ｖｋ） が求められる。以下の説明においては、上記（３５），（３６） 式におけるａｉｊ ｗ、ｂｉｊ ｗ（ｖｋ） は、上記（３３），（３４） 式における場合と同様にそれぞれａｉｊ、ｂｉｊ（ｖｋ） と記載する。
【０１９０】
そして、認識時において、音声から、シンボル系列Ｙが観測された場合には、モデルλがそのシンボル系列を出力すなわち生起する確率Ｐ（Ｙ｜λ）が、上記（２３）式に従って計算される。
【０１９１】
以上の処理が、モデルλ以外のモデルに対しても行なわれ、前述したように、確率Ｐ（Ｙ｜λ）が最も大きいモデルが認識結果とされることになる。
【０１９２】
ところで、離散型ＨＭＭでは、上述したように、音声の特徴ベクトルを例えばベクトル量子化処理することなどにより得られるシンボルが、学習および認識に用いられる。したがって、シンボルは量子化誤差を含むので、その結果音声の認識率が劣化する問題があった。
【０１９３】
そこで、離散的な確率分布である、シンボルｖｋ に関する出力確率ｂｉｊ（ｖｋ） を連続確率分布に変更した混合連続ＨＭＭ法が知られている。
【０１９４】
混合連続ＨＭＭ法では、ＨＭＭが連続確率密度分布、すなわち連続分布をもち、離散ＨＭＭ法における出力確率ｂｉｊ（ｖｋ） をＬ個の連続分布の混合で近似するようになされている。即ち、モデルλが音声の特徴ベクトルｙを生起する出力確率ｂｉｊ（ｖｋ） が、次式によって計算される。
【０１９５】
【数１９】
ただし、ｃｉｊｌ は分岐確率（ｂｒａｎｃｈ ｐｒｏｂａｂｉｌｉｔｙ）で、ｌ（ｌ＝１，２，．．．，Ｌ） 番目の出現確率を表し、ｂｉｊｌ（ｙ） は分岐密度（ｂｒａｎｃｈ ｄｅｎｓｉｔｙ）で、ｌ番目の確率密度分布を表す。また、これらには、次のような条件が成り立つ。
【０１９７】
【数２０】
なお、確率密度分布ｂｉｊｌ（ｙ） としては、通常、ガウス分布（正規分布）が仮定される。そこで、確率密度分布ｂｉｊｌ（ｙ） が、その共分散行列Σｉｊｌ と、平均値μｉｊｌ とをパラメータとするｎ次元正規分布に従うと仮定すると、ｌ番目の確率密度分布ｂｉｊｌ（ｙ） は、次式で与えられる。
【０１９９】
【数２１】
ここで、上記（４０）式において、右肩のＴ，−１は、それぞれ転置、逆行列を表す。また、｜Σｉｊｌ｜ は共分散行列Σｉｊｌ の行列式を表す。
【０２０１】
この場合、上述したＢａｕｍ−Ｗｅｌｃｈの再推定法によれば、次式に従って、出現確率ｃｉｊｌ 、並びに確率密度分布ｂｉｊｌ（ｙ） の共分散行列Σｉｊｌ および平均値μｉｊｌ を求める、すなわち再推定することができる。なお、遷移確率ａｉｊは、上述した（３５）式、または（３３）式に従って求めることができる。
【０２０２】
【数２２】
ここで、上式において ＾を付したｃｉｊｌ，Σｉｊｌ，μｉｊｌ は更新された出現確率、共分散行列、平均値をそれぞれ意味する。
【０２０４】
また、Ｐ（Ｙ，ｈｔ＝ｌ｜λ） は、モデルλによって、音声の特徴ベクトルｙの系列Ｙ＝ｙ１・ｙ２・・・ｙＴ が出力される場合において、時刻ｔに特徴ベクトルｙｔ がｌ番目の分布から出力される確率を意味する。ｈｔ＝ｌ は、特徴ベクトルｙｔ がｌ番目に出力されることを示す確率変数である。
【０２０５】
以上のように出力確率ｂｉｊ（ｙ）をＬ個の連続分布の混合で近似する混合連続ＨＭＭ法に基づいて学習がなされたモデルを用いて音声を認識する場合には、離散型ＨＭＭ法における場合と同様に、音声から観測（抽出）された特徴ベクトル系列をモデルλが出力あるいは生起する確率Ｐ（Ｙ｜λ）が上記（２３），（２４） 式または、（２５），（２６）式によって計算される。
【０２０６】
さらに、この確率Ｐが、モデルλ以外のモデルに対しても行なわれ、前述したように、確率Ｐを最も大きくするモデルが認識結果とされる。
【０２０７】
また、上述の推定方法の代わりに、次のような手法が用いられることもある。訓練サンプル集合｛ｙｑ｝ の各々に対して、ビタビ（Ｖｉｔｅｒｂｉ） アルゴリズムによって最適状態遷移系列を求め、状態Ｓｉ から状態Ｓｊ への遷移時の出力ベクトル集合｛ｙｉｊ｝を求める。これをクラスタリング手法によってＬ個のクラスに分類し、各々のクラスのベクトル集合を標本集団とみなし、ガウス分布を推定する。分岐確率はクラス内のベクトル数を全体に対する比によって求める。この操作をパラメータが収束するまで繰り返すというものである。
【０２０８】
次に、上記ＨＭＭを用いた場合のワード間の相関値を説明する。
【０２０９】
＜音声認識＞
上述したようなＨＭＭを用いた音声認識装置の構成は、前述した図１、あるいは図１０に示すようなものとなり、構成および作用も同様である。
【０２１０】
ただし、図１の音響分析部１２で入力された音声信号から認識に必要な特徴量の抽出を行なったり、得られた特徴量に対し、ＫＬ変換や、ニューラルネットワークなどの適当な写像を施すことで、分離度の大きな特徴量にさらに変換して、認識部１３に送信するわけであるが、離散ＨＭＭを用いる場合には、さらにベクトル量子化を行なった後、認識部１３に送信するようにしている。
【０２１１】
また、認識部１３では、予め学習用の音声データを音響分析して得られる特徴量をもとに推定しておいたモデルのパラメータを用いて、未知音声データに対する認識処理を行なう。つまり、学習過程として、予め学習用データから決定されるＨＭＭの遷移確率ａｉｊおよび出力確率ｂｉｊ（ｖｋ） （ただし連続ＨＭＭの場合はｂｉｊ（ｙ） ）を求めておき、これをパラメータ記憶部１４に記憶しておく。そして、認識過程では、入力された未知音声信号を音響分析して得られる特徴量に対し、与えられた辞書の中の各ワードに対応するモデルそれぞれの生起確率を求め、その確率（スコア）が最も高いもの、あるいは上位複数個、を認識結果として選び出すということを行なう。そして、得られた認識結果を出力部１５に送信する。出力部１５では、送信されてきた認識結果を画面に表示したり、音として出力したり、さらには、その認識結果を用いて、他の装置を動作させたりなどの指令を行なう。
【０２１２】
以上のような音声認識の処理の中で、認識部１３の確率（スコア）計算は、入力された未知音声信号に対して、与えられた辞書、すなわち認識対象ワードの集合の内の全ワードとの間で計算される。小語彙の認識であれば、その処理量はあまり問題にならない。しかし、中語彙や大語彙の認識では、非常に重要な問題となる。
【０２１３】
これを解決するため、前述したように認識対象ワードを予め構造化しておき、その構造を用いることで、スコア計算を行なうワード数を削減することが本発明の実施の形態における目的であり、これを簡単に示したのが上記図２である。このように、スコア計算の必要のないワードを削除することにより、認識部の処理量すなわち演算量を低減させようとするものでる。
【０２１４】
このような目的にあったワードの分布構造を決定するためには、ワード間の関係を知るための距離尺度のようなものが必要となる。
【０２１５】
本発明の上記第１の実施の形態においては、実音声信号から求まる各モデルの生起確率（スコア）の期待値により、ワード間の相関値を定義した。この定義されたワード間の相関値に基づいて、認識対象ワードを構造化するわけであるが、この方式を用いる場合、上記（４）式からワード間の距離尺度を計算するために、認識対象ワードに対応した実音声データが必要になり、中語彙や大語彙の認識システムを作成する上では、これが大きな問題となる。
【０２１６】
そこで、本発明の第２の実施の形態においては、上記（４）式に代わる新たなワード間の距離尺度を導入するものである。
【０２１７】
＜ＨＭＭのモデルのパラメータを用いたワード間の相関値＞
上記ＨＭＭの定式化の項目において述べたように、モデルλ＝｛Ａ，Ｂ，π｝が与えられたとき、そのモデルのパラメータに従って、シンボル系列Ｙ＝ｙ１・ｙ２・・・ｙＴ を生起することができる。例えば、離散ＨＭＭを用いた場合、
手順１．初期状態確率πに従って、初期状態ｘ０＝Ｓｉを選ぶ。
手順２．ｔ＝０とする。
手順３．状態遷移確率ａｉｊに従って、状態ｘｔ＝Ｓｉから状態ｘｔ＋１＝Ｓｊへの遷移を選択する。
手順４．出力シンボル確率ｂｉｊ（ｖｋ） に従って、状態Ｓｉから状態Ｓｊに遷移するときに出力されるシンボルｙｔ＝ｖｋを選択する。
手順５．ｔ＜Ｔならばｔ＝ｔ＋１とし手順３．へ戻る。それ以外は終了。
のようにして生成できる。
【０２１８】
連続ＨＭＭを用いた場合は、上記手順４．の代わりに、上記（３７）式で与えられる出力シンボル確率ｂｉｊ（ｙ）に従ってシンボルｙｔ を決定すればよい。ただし、状態遷移の時刻をｔ＝０，１，２，．．． とし、時刻ｔにおいて遷移した状態をｘｔ とする。
【０２１９】
特に、上記図１３に示されるようなｌｅｆｔ−ｔｏ−ｒｉｇｈｔ モデルの場合は、初期状態と最終状態をＳ１，ＳＮ に限定できる。そこで、遷移確率ａｉｊに従って、各状態で自己遷移する回数の期待値を求めることで、状態遷移系列Ｘ＝ｘ０，ｘ１，．．．，ｘＴ が一つ決定される。
【０２２０】
ここで、状態Ｓｉ でｎ回自己遷移した後、状態Ｓｉ に遷移する確率は、
ａｉｉ ｎａｉｊ＝ａｉｉ ｎ（１−ａｉｉ） （４４）
で与えられるから、ｎの期待値は
【０２２１】
【数２３】
を計算すれば求まる。これを計算すると、
Ｅ［ｎ］＝ａｉｉ／（１−ａｉｉ） （４６）
が得られる。
【０２２３】
以下これを証明する。先ず、
【０２２４】
【数２４】
とおく。この（４７）式にａｉｉをかけて、
【０２２６】
【数２５】
上記（４７）式から（４８）式を引いて、
【０２２８】
【数２６】
よって、上記（４７）式より、
Ｅ［ｎ］＝ａｉｉ／（１−ａｉｉ） （５０）
すなわち、上記（４６）式が得られる。
【０２３０】
したがって、例えばａｉｉ＝０．５の場合は上記Ｅ［ｎ］＝１、ａｉｉ＝０．８の場合は上記Ｅ［ｎ］＝４などが求められることになる。ここで上記（４６）式は、ａｉｉが１に近づくと急激に増大するため、Ｅ［ｎ］に
０≦Ｅ［ｎ］≦３ （５１）
のような上限下限を設け、例えば、
【０２３１】
【数２７】
のような近似を行なうことも考えられる。
【０２３３】
以上に基づき、状態Ｓｉ で自己遷移する回数の期待値が求まり、それをつなげれば状態遷移系列が一つ決定される。そして、その状態遷移に従って、出力確率ｂｉｊ（ｖｋ） が最も高いシンボルｖｋ を出力させれば、対応するシンボル系列を得ることが可能となる。
【０２３４】
例えば、
ａ１１＝０．５， ａ１２＝０．５、 ａ２２＝０．８， ａ２３＝０．２、 ａ３３＝０．３，．．． （５３）
のような遷移確率が与えられた場合、上記のようにして決定される状態遷移系列は、もし上記（５２）式を用いるならば、
Ｓ１，Ｓ１，Ｓ２，Ｓ２，Ｓ２，Ｓ２，Ｓ３，．．． （５４）
となる。つまり、最初のＳ１ は初期状態であり、次のＳ１ はａ１１＝０．５から決まる１回の自己遷移によるものである。そして、次にＳ２ に遷移し、ａ２２＝０．８よりＳ２ で３回の自己遷移を行なう。その後、Ｓ３ に遷移し、というふうにして、状態遷移系列が決定されたものである。
【０２３５】
そして、上記（５４）式の状態遷移系列に従って、
ｂ１１（ｖｋ），ｂ１１（ｖｋ），ｂ１２（ｖｋ），ｂ２２（ｖｋ），ｂ２２（ｖｋ），ｂ２２（ｖｋ），ｂ２２（ｖｋ），ｂ２３（ｖｋ），．．．（５５）
をそれぞれ最大にするシンボルｖｋ の系列を得ることができる。もし、連続ＨＭＭを用いる場合には、上記（５５）式のｂｉｊ（ｖｋ） の代わりに、上記（３７）式で与えられる出力確率を用いて、
ｂ１１（ｙ），ｂ１１（ｙ），ｂ１２（ｙ），ｂ２２（ｙ），ｂ２２（ｙ），ｂ２２（ｙ），ｂ２２（ｙ），ｂ２３（ｙ），．．． （５６）
をそれぞれ最大にするシンボルｙの系列を求めればよい。特に、分岐密度ｂｉｊｌ （ｙ） が上記（４０）式のような正規分布に従うような場合には、分岐確率ｃｉｊｌ の最も高いｌに対する分岐密度ｂｉｊｌ（ｙ）の平均値μｉｊｌ を求めるシンボルｙとすることなどが考えられる。
【０２３６】
以上のようにして、あるワードＷｊ に対応するモデルλｊ＝｛Ａｊ，Ｂｊ，πｊ｝からシンボル系列Ｚｉ がひとつ得られることになる。このとき、モデルλｉ に対するＺｊ の生起確率Ｐ（Ｚｊ｜λｉ） が上記（２３），（２４）式、または、上記（２５）， （２６）式によって計算される。そして、Ｚｊ の生成方法を考えると、モデルλｊ に対する生起確率Ｐ（Ｚｊ｜λｊ）は非常に高いものとなることが期待できる。
【０２３７】
ここで、もしＨＭＭを用いることによって、各ワードに対応した良いモデルλｉ 、すなわち、対応する音声信号を音響分析して得られるシンボル系列の生起確率が高くなるようなモデルが得られるならば、上記のような方法によって、モデルからシンボル系列を生成した場合、対応するワードを発声した音声信号を音響分析して得られるシンボル系列と類似した特性を持つことが期待できる。
【０２３８】
すなわち、認識対象ワードＷｊ に対応するモデルをλｊ （１＜ｊ＜ｐ）とした場合、
特性１．モデルλｊ から生成したシンボル系列Ｚｊ に対して、生起確率Ｐ（Ｚｊ｜λｉ）の最も高くなるモデルλｉ は、λｊ である。
特性２．ワードＷｊ に対応する実音声信号を音響分析して得られるシンボル系列Ｙｊ に対し、生起確率Ｐ（Ｙｊ｜λｉ）が高くなるモデルλｉ を用いて、λｊ から上記の方法で生成したシンボル系列Ｚｊ の生起確率Ｐ（Ｚｊ｜λｉ）を計算すれば同様に高くなる。
特性３．ワードＷｊ に対応する実音声信号を音響分析して得られるシンボル系列Ｙｊ に対し、生起確率Ｐ（Ｙｊ｜λｉ）が低くなるモデルλｉ を用いて、λｊ から上記の方法で生成したシンボル系列Ｚｊ の生起確率Ｐ（Ｚｊ｜λｉ）を計算すれば同様に低くなる。
のような特性を持つことが期待できる。
【０２３９】
そこで、上記のようにして求まるシンボル系列を用いることで、上記第１の実施の形態に代わるワード間の相関値を定義することが可能となる。
【０２４０】
各認識対象ワードＷｊ （１＜ｊ＜ｐ）に対応したモデルをλｊ とする。そして、そのモデルから上記のような方法により生成されるシンボル系列をＺｊ とする。このとき、λｉ から求まるＺｊ の生起確率を、ワードＷｊ に対するワードＷｉ の距離尺度Ｄ（Ｗｊ，Ｗｉ） として定義する。
【０２４１】
Ｄ（Ｗｊ，Ｗｉ）≡Ｐ（Ｚｊ｜λｉ） （ｉ＝１，２，．．．，ｐ） （５７）
ただし、生起確率Ｐ（Ｚｊ｜λｉ）は
【０２４２】
【数２８】
のように正規化するものとする。
【０２４４】
そして、この距離尺度Ｄ（Ｗｊ，Ｗｉ） をもとに、ワード間の相関値を上記第１の実施の形態と同様に定義する。
【０２４５】
すなわち、ワードＷ１ に対してワードＷｉ （ｉ＝１，２，．．．，ｐ） を近い順、すなわち距離尺度Ｄ（Ｗ１，Ｗｉ） の大きい順に並べる。同様に、ワードＷ２，Ｗ３，．．．，Ｗｐ に対しても、ワードＷｉ （ｉ＝１，２，．．．，ｐ） を近い順に並べる。
【０２４６】
そして、その順位、つまりＷｊ に対して近い順にワードＷｉ を並べたときの順位をワードＷｊ に対するワードＷｉ の相関値Ｒ（Ｗｊ，Ｗｉ） として定義する。すなわち、例えば、一番近いものは１、二番目に近いものは２、以下同様にして、最も遠いものはｐとする。その結果、この相関値は１からｐまでの整数値をとることになり、小さいほど相関が高く、大きいほど相関が低いと見なすことができるようになる。
【０２４７】
ここで、相関が高い、すなわち相関値Ｒ（Ｗｊ，Ｗｉ） が小さいとは、ワードＷｊ に対応した未知音声信号Ｘｊ ｋを音響分析して得られる特徴量Ｙｊ ｋに対してワードＷｉ のモデルλｉ から求まる生起確率Ｐ（Ｙｊ ｋ｜λｉ） が高くなることが期待できることを意味し、相関が低い、すなわち相関値Ｒ（Ｗｊ，Ｗｉ） が大きいとは、特徴量Ｙｊ ｋに対してモデルλｉ から求まる生起確率Ｐ（Ｙｊ ｋ｜λｉ） が低くなることが期待できることを意味する。
【０２４８】
なお、以上の処理をまとめたのが、図１４である。簡単に説明すると、まずステップＳ１４１において、各ワードＷｊ に対応するモデルλｊ の遷移確率から、状態遷移系列Ｘｊ を決定する。そして、それに従って、ステップＳ１４２において、出力確率をもとにシンボル系列Ｚｊ を決定する。次のステップＳ１４３において、各Ｚｊ に対するモデルλｉ の生起確率から距離尺度Ｄ（Ｗｊ，Ｗｉ） を求め、ステップＳ１４４に進んで、それに基づき、各Ｗｊ に対して、Ｗｉ （１≦ｉ≦ｐ）を近い順に順序付ける。そして、その順位をもとに、ステップＳ１４５において相関値Ｒ（Ｗｊ，Ｗｉ） を計算する。
【０２４９】
ここで、ステップＳ１４４の順序付けにおいて、順位が同じとなるようなものがある場合には、ともに同じ相関値を設定するものとする。
【０２５０】
また、上記のように、ステップＳ１４１において、上記（４６）式、または上記（５２）式を用いて状態遷移系列を決定したり、ステップＳ１４２において、出力確率の最も大きなシンボル系列を求めたりする代わりに、乱数を発生させ、遷移確率と出力確率に従って、状態を遷移させながらシンボル系列を生成する方法も考えられる。この場合は、モデルλｊ からいくつものシンボル系列を生成することが可能となるので、これをＺｊ １， Ｚｊ ２， Ｚｊ ３，．．．とし、上記（５９）式の代わりに、
【０２５１】
【数２９】
によって、ワードＷｊ に対するワードＷｉ の距離尺度Ｄ（Ｗｊ，Ｗｉ） を定義することになる。
【０２５３】
以上のようにしてワードの相関値を定義することで、認識対象ワードに対応するモデルだけから、相関値を計算することが可能となり、認識対象ワードに対応する実音声信号のデータを必ずしも用意する必要がなくなる。特に、音韻（音素）モデルを連結することで、各認識対象ワードに対応するモデルを構成するような場合で、各音素モデルを学習するのに、認識対象ワードに対応する実音声信号データを用いないような場合には、その効果が期待できる。
【０２５４】
＜認識対象ワードの構造化＞
上述したような手法で求められた相関値に基づいて、認識対象ワードを構造化する方法は、前述した第１の実施の形態と同様であるため、説明を省略する。
【０２５５】
ただし、前述したスコアＳ（Ｘ，Ｗｉ）とは、音声信号Ｘを音響分析して得られる特徴量Ｙのモデルλｉ に対する生起確率Ｐ（Ｙ｜λｉ） のことである。
【０２５６】
また、認識手法、記憶容量の見積り、及び演算量の見積りについても、前述した第１の実施の形態と同様であるため、説明を省略する。
【０２５７】
＜シミュレーション結果＞
実際に、３２６５個の単語認識を、全探索と本発明の構造化を用いた探索とで比較した結果について述べる。ただし、構造化の方法としては、ワード間の距離尺度に上記（５７）式を用いて相関値を計算し、上記認識対象ワードの構造化の項で述べた構造化の方法を用いた。その結果、初期探索のワード数が２３１個となる４階層の探索木で、各階層のあるワードからその下の階層のワードへのパスとしては、平均１１本つながっているようなものが得られた。
【０２５８】
この探索木を用いて、ある階層で抽出するスコアの高いワード数をｎ＝１５として認識処理を行なってみた。まず、全探索による認識処理の場合、認識率は９０．２％、スコア計算を行なったワード数は３２６５個であった。これに対して、上記のような探索木を用いた認識処理の場合、認識率は８９．９％とわずかの劣化しか見せず、スコア計算を行なったワード数は、初期探索に２３１個、構造探索に平均２７６個、合計５０８個（平均）となった。つまり、全探索に比べ、計算量を約８割低減することが可能となったことがわかる。
【０２５９】
このような本発明の第２の実施の形態によれば、前述した本発明の第１の実施の形態と同様に、認識ワードを制限して演算量を大幅に低減でき、局所的な探索であってもスコアの高くなることが期待されるワードは探索範囲に含まれるようになり、最終的に歪みをほとんど増大させることがなく、認識率の低下を防止できる。
【０２６０】
さらに、本発明の第２の実施の形態によれば、音声認識対象ワードに対する確率モデルとしてのＨＭＭ（隠れマルコフモデル）を用意し、このモデルのパラメータとしての上記遷移確率ａｉｊおよび出力確率ｂｉｊ（ｖｋ） （連続ＨＭＭの場合はｂｉｊ（ｙ））から、ワード間の相関値Ｒ（Ｗｊ，Ｗｉ） を計算できるようにしたことで、認識辞書に対応する実音声データを大量に必要とすることがなくなり、探索木を効率的に求めることが可能となる。
【０２６１】
なお、本発明は、上述した実施の形態のみに限定されるものではなく、例えば、音声認識方法や装置に適用する他に、音声認識用の辞書の形成方法、音声認識用の辞書が記録された記録媒体等にも容易に適用できる。また、音声認識以外に、図形認識や文字認識等に本発明を適用することもできる。
【０２６２】
【発明の効果】
本発明によれば、音声認識対象ワードを予め階層構造あるいは重複を許す木構造に構造化しておき、その構造に従って探索することで認識ワードを制限でき、演算量を大幅に低減することが可能となる。しかも、あらたなワード間の相関値の定義と、その相関値に基づく認識ワードの構造化方法によって、局所的な探索であっても、スコアの高くなることが期待されるワードは探索範囲に含まれるようになり、最終的に、歪みをほとんど増大させることはない。すなわち、認識率をほとんど劣化させることはない。さらに、余分に必要な記憶容量もワード数に対してその約１０倍程度パス情報を持っておけばよいだけであり、比較的小さなものとなる。
【０２６３】
このような本発明は、音声認識以外に、図形認識や文字認識等にも適用でき、この場合には、音声認識対象ワードは一般的にパターン認識対象となり、これらのパターン認識対象を階層構造あるいは重複を許す木構造に階層化しておくことになる。
【０２６４】
また、音声認識対象ワードあるいはパターン認識対象に対する確率モデルとしてのＨＭＭ（隠れマルコフモデル）を用意し、このモデルのパラメータからワード間の相関値を計算できるようにしたことで、認識辞書に対応する実音声データのような実データを大量に必要とすることがなくなり、探索木を効率的に求めることが可能となる。
【図面の簡単な説明】
【図１】一般的な音声認識のシステムの構成を概略的に示すブロック図である。
【図２】構造化を用いた認識の概念を説明するためのワード分布を示す図である。
【図３】代表ワードとその属するワードの関係の例を示す図である。
【図４】認識対象ワードを階層構造に構造化する方法を説明するためのフローチャートである。
【図５】階層構造に構造化していく過程の概念を説明するための図である。
【図６】本発明の構造化によって得られる階層構造及び探索木の例を示す図である。
【図７】グループ化に関する基本的な方法を説明するためのフローチャートである。
【図８】グループ化の方法を改良した方法を説明するためのフローチャートである。
【図９】相関の強いワード関係を説明するための図である。
【図１０】本発明の実施の形態が適用される音声認識システムの構成の一例を示すブロック図である。
【図１１】本発明に係る実施の形態により階層構造化された探索木を用いた認識方法を説明するためのフローチャートである。
【図１２】隠れマルコフモデル（ＨＭＭ）の一般的な状態遷移モデルを示す図である。
【図１３】ＨＭＭのレフトツーライト（ｌｅｆｔ−ｔｏ−ｒｉｇｈｔ ）モデルを示す図である。
【図１４】ワード間の相関値の計算過程を説明するためのフローチャートである。
【符号の説明】
１、１０１ 入力部
２、１０２ 音響分析部
３、１０３ 認識部
４、１０４ パラメータ記憶部
５、１０５ 出力部
１０６ 探索木記憶部
Claims (10)
- 複数の音声認識対象ワードが与えられ、未知の入力音声信号に対して、予め求めておいたパラメータを用いて、上記音声認識対象ワードにスコア付けを行なうことで、対応する音声認識対象ワードを抽出し認識する音声認識方法において、
各認識対象ワードに対応した音声データから求まるスコアの期待値に基づく値をもとにスコアの高い順に全認識対象ワードを順序付けたときの順位を、上記各音声認識対象ワード間の相関値として求め、
上記各音声認識対象ワード間の相関値を用いて上記各音声認識対象ワードを予め階層構造に構造化しておき、
この階層構造に構造化された音声認識対象ワードの辞書を用いて、上記未知の入力音声信号に対してスコア計算を行なう音声認識対象ワードを限定すること
を特徴とする音声認識方法。 - 上記階層構造に構造化された音声認識対象ワードの辞書を用い、未知音声信号に対する認識処理を行なう際に、
上記階層構造のある適当な階層の音声認識対象ワードに対するスコア計算と、そこから決定されるスコアの高いワードに属する一つ下の階層のワードに対するスコア計算と、さらにそこから決定されるスコアの高いワードに属するもう一つ下の階層のワードに対するスコア計算と、以下同様に最下位の階層に至るまでワードの抽出とスコア計算とを行なっていき、最終的には、それらのスコア計算を行なったワードの中から、少なくともスコアの最も高いものを選び出すことを特徴とする請求項１記載の音声認識方法。 - 上記スコア計算を一旦行なったワードに関しては、そのスコアを記憶しておき、以後スコア計算が必要な場合には、記憶されたスコアを用いるようにすることで、重複したスコア計算を行なわないようにすることを特徴とする請求項２記載の音声認識方法。
- 上記複数の音声認識対象ワードに対する確率モデルを用意し、上記未知の入力音声信号に対して、上記各確率モデルの生起確率を計算し、その生起確率に従って、対応する音声認識対象ワードを抽出し認識する音声認識方法であって、
上記各音声認識対象ワードに対応する確率モデルの状態遷移確率をもとに状態遷移系列を決定し、その状態遷移に対応する出力シンボル確率をもとにシンボル系列を決定し、得られたシンボル系列の生起確率を上記各音声認識対象ワードに対応するモデルに対して計算し、この生起確率に基づく音声認識対象ワード間の相関値を用いて上記各音声認識対象ワードを階層構造に構造化しておくことを特徴とする請求項２記載の音声認識方法。 - 上記各音声認識対象ワードに対応する上記確率モデルの状態遷移確率をもとに状態遷移系列を複数決定し、それぞれの状態遷移系列から、その状態遷移に対応する出力シンボル確率をもとにシンボル系列を決定し、得られた複数のシンボル系列の生起確率を各ワードに対応するモデルに対して計算し、それらの生起確率を各ワードに対応するモデルに対して計算し、それらの生起確率の期待値の高い順に全音声認識対象ワードを順序付け、その順位をワード間の上記相関値として用いることを特徴とする請求項４記載の音声認識方法。
- 複数の音声認識対象ワードが与えられ、未知の入力音声信号に対して、予め求めておいたパラメータを用いて、上記音声認識対象ワードにスコア付けを行なうことで、対応する音声認識対象ワードを抽出し認識する音声認識装置において、
各認識対象ワードに対応した音声データから求まるスコアの期待値に基づく値をもとにスコアの高い順に全認識対象ワードを順序付けたときの順位を用いて上記各音声認識対象ワード間の相関値を求め、
上記各音声認識対象ワード間の相関値を用いて上記各音声認識対象ワードを予め階層構造に構造化しておき、この階層構造に構造化された音声認識対象ワードの辞書を用いて、上記未知の入力音声信号に対してスコア計算を行なう音声認識対象ワードを限定すること
を特徴とする音声認識装置。 - 上記階層構造に構造化された音声認識対象ワードの辞書を用い、未知音声信号に対する認識処理を行なう際に、
上記階層構造のある適当な階層の音声認識対象ワードに対するスコア計算と、そこから決定されるスコアの高いワードに属する一つ下の階層のワードに対するスコア計算と、さらにそこから決定されるスコアの高いワードに属するもう一つ下の階層のワードに対するスコア計算と、以下同様に最下位の階層に至るまでワードの抽出とスコア計算とを行なっていき、最終的には、それらのスコア計算を行なったワードの中から、少なくともスコアの最も高いものを選び出すことを特徴とする請求項６記載の音声認識装置。 - 上記スコア計算を一旦行なったワードに関しては、そのスコアを記憶しておき、以後スコア計算が必要な場合には、記憶されたスコアを用いるようにすることで、重複したスコア計算を行なわないようにすることを特徴とする請求項７記載の音声認識装置。
- 上記複数の音声認識対象ワードに対する確率モデルを用意し、上記未知の入力音声信号に対して、上記各確率モデルの生起確率を計算し、その生起確率に従って、対応する音声認識対象ワードを抽出し認識する音声認識装置であって、
上記各音声認識対象ワードに対応する確率モデルの状態遷移確率をもとに状態遷移系列を決定し、その状態遷移に対応する出力シンボル確率をもとにシンボル系列を決定し、得られたシンボル系列の生起確率を上記各音声認識対象ワードに対応するモデルに対して計算し、この生起確率に基づく音声認識対象ワード間の相関値を用いて上記各音声認識対象ワードを階層構造に構造化しておくことを特徴とする請求項７記載の音声認識装置。 - 上記各音声認識対象ワードに対応する上記確率モデルの状態遷移確率をもとに状態遷移系列を複数決定し、それぞれの状態遷移系列から、その状態遷移に対応する出力シンボル確率をもとにシンボル系列を決定し、得られた複数のシンボル系列の生起確率を各ワードに対応するモデルに対して計算し、それらの生起確率を各ワードに対応するモデルに対して計算し、それらの生起確率の期待値の高い順に全音声認識対象ワードを順序付け、その順位をワード間の上記相関値として用いることを特徴とする請求項９記載の音声認識装置。
Priority Applications (6)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP18285195A JP3627299B2 (ja) | 1995-07-19 | 1995-07-19 | 音声認識方法及び装置 |
| EP96305260A EP0755046B1 (en) | 1995-07-19 | 1996-07-17 | Speech recogniser using a hierarchically structured dictionary |
| DE69626344T DE69626344T2 (de) | 1995-07-19 | 1996-07-17 | Ein hierarchisch strukturiertes Wörterbuch verwendender Spracherkenner |
| US08/683,488 US5787395A (en) | 1995-07-19 | 1996-07-18 | Word and pattern recognition through overlapping hierarchical tree defined by relational features |
| KR1019960030282A KR100397402B1 (ko) | 1995-07-19 | 1996-07-19 | 음성인식방법,정보형성방법,음성인식장치및기록매체 |
| CN96112292A CN1151573A (zh) | 1995-07-19 | 1996-07-19 | 声音识别方法，信息形成方法，声音识别装置和记录介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP18285195A JP3627299B2 (ja) | 1995-07-19 | 1995-07-19 | 音声認識方法及び装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH0934486A JPH0934486A (ja) | 1997-02-07 |
| JP3627299B2 true JP3627299B2 (ja) | 2005-03-09 |
Family
ID=16125573
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP18285195A Expired - Fee Related JP3627299B2 (ja) | 1995-07-19 | 1995-07-19 | 音声認識方法及び装置 |
Country Status (6)
| Country | Link |
|---|---|
| US (1) | US5787395A (ja) |
| EP (1) | EP0755046B1 (ja) |
| JP (1) | JP3627299B2 (ja) |
| KR (1) | KR100397402B1 (ja) |
| CN (1) | CN1151573A (ja) |
| DE (1) | DE69626344T2 (ja) |
Families Citing this family (29)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7359720B2 (en) * | 1996-09-27 | 2008-04-15 | Openwave Systems Inc. | Mobility extended telephone application programming interface and method of use |
| JP3067683B2 (ja) * | 1997-04-01 | 2000-07-17 | 日本電気株式会社 | パターン認識装置および方法、情報記憶媒体 |
| DE19719381C1 (de) * | 1997-05-07 | 1998-01-22 | Siemens Ag | Verfahren zur Spracherkennung durch einen Rechner |
| JP3481497B2 (ja) * | 1998-04-29 | 2003-12-22 | 松下電器産業株式会社 | 綴り言葉に対する複数発音を生成し評価する判断ツリーを利用する方法及び装置 |
| EP1039446B1 (en) * | 1998-10-09 | 2010-12-08 | Sony Corporation | Learning device and method, recognizing device and method, and recording medium |
| JP2003505778A (ja) | 1999-05-28 | 2003-02-12 | セーダ インコーポレイテッド | 音声制御ユーザインタフェース用の認識文法作成の特定用途を有する句ベースの対話モデル化 |
| US20020032564A1 (en) | 2000-04-19 | 2002-03-14 | Farzad Ehsani | Phrase-based dialogue modeling with particular application to creating a recognition grammar for a voice-controlled user interface |
| JP2001075964A (ja) * | 1999-08-31 | 2001-03-23 | Sony Corp | 情報処理装置および情報処理方法、並びに記録媒体 |
| US6334102B1 (en) * | 1999-09-13 | 2001-12-25 | International Business Machines Corp. | Method of adding vocabulary to a speech recognition system |
| EP1143735A1 (en) * | 2000-03-01 | 2001-10-10 | Texas Instruments Incorporated | Telescopic reconstruction of facial features from a speech pattern |
| US6614466B2 (en) | 2001-02-22 | 2003-09-02 | Texas Instruments Incorporated | Telescopic reconstruction of facial features from a speech pattern |
| US7192283B2 (en) * | 2002-04-13 | 2007-03-20 | Paley W Bradford | System and method for visual analysis of word frequency and distribution in a text |
| US7788096B2 (en) | 2002-09-03 | 2010-08-31 | Microsoft Corporation | Method and apparatus for generating decision tree questions for speech processing |
| JP2004191705A (ja) * | 2002-12-12 | 2004-07-08 | Renesas Technology Corp | 音声認識装置 |
| JP3991914B2 (ja) * | 2003-05-08 | 2007-10-17 | 日産自動車株式会社 | 移動体用音声認識装置 |
| DE102004055230B3 (de) * | 2004-11-16 | 2006-07-20 | Siemens Ag | Verfahren zur Spracherkennung aus einem vorgebbaren Vokabular |
| US7634406B2 (en) * | 2004-12-10 | 2009-12-15 | Microsoft Corporation | System and method for identifying semantic intent from acoustic information |
| CN101292283B (zh) * | 2005-10-20 | 2012-08-08 | 日本电气株式会社 | 声音判别系统及声音判别方法 |
| KR100748720B1 (ko) | 2006-02-09 | 2007-08-13 | 삼성전자주식회사 | 다중 계층 중심 어휘 목록에 기초하여 대규모 단어 음성인식 방법 및 그 장치 |
| KR100770896B1 (ko) | 2006-03-07 | 2007-10-26 | 삼성전자주식회사 | 음성 신호에서 음소를 인식하는 방법 및 그 시스템 |
| US8332212B2 (en) * | 2008-06-18 | 2012-12-11 | Cogi, Inc. | Method and system for efficient pacing of speech for transcription |
| JP5199391B2 (ja) * | 2008-11-25 | 2013-05-15 | 旭化成株式会社 | 重み係数生成装置、音声認識装置、ナビゲーション装置、車両、重み係数生成方法、及び重み係数生成プログラム |
| TWI412019B (zh) | 2010-12-03 | 2013-10-11 | Ind Tech Res Inst | 聲音事件偵測模組及其方法 |
| US8645404B2 (en) * | 2011-10-21 | 2014-02-04 | International Business Machines Corporation | Memory pattern searching via displaced-read memory addressing |
| US10963063B2 (en) * | 2015-12-18 | 2021-03-30 | Sony Corporation | Information processing apparatus, information processing method, and program |
| JP6618884B2 (ja) * | 2016-11-17 | 2019-12-11 | 株式会社東芝 | 認識装置、認識方法およびプログラム |
| US10832658B2 (en) * | 2017-11-15 | 2020-11-10 | International Business Machines Corporation | Quantized dialog language model for dialog systems |
| KR20190106902A (ko) * | 2019-08-29 | 2019-09-18 | 엘지전자 주식회사 | 사운드 분석 방법 및 장치 |
| US11875780B2 (en) * | 2021-02-16 | 2024-01-16 | Vocollect, Inc. | Voice recognition performance constellation graph |
Family Cites Families (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| USRE31188E (en) * | 1978-10-31 | 1983-03-22 | Bell Telephone Laboratories, Incorporated | Multiple template speech recognition system |
| JPS6173199A (ja) * | 1984-09-18 | 1986-04-15 | 株式会社リコー | 大語彙単語音声予備選択方式 |
| US4837831A (en) * | 1986-10-15 | 1989-06-06 | Dragon Systems, Inc. | Method for creating and using multiple-word sound models in speech recognition |
| JP2691573B2 (ja) * | 1988-08-17 | 1997-12-17 | 株式会社日立メデイコ | シンチレーシヨンカメラ |
| US5033087A (en) * | 1989-03-14 | 1991-07-16 | International Business Machines Corp. | Method and apparatus for the automatic determination of phonological rules as for a continuous speech recognition system |
| JPH0782544B2 (ja) * | 1989-03-24 | 1995-09-06 | インターナショナル・ビジネス・マシーンズ・コーポレーション | マルチテンプレートを用いるｄｐマツチング方法及び装置 |
| US5546499A (en) * | 1994-05-27 | 1996-08-13 | Kurzweil Applied Intelligence, Inc. | Speech recognition system utilizing pre-calculated similarity measurements |
| US5537488A (en) * | 1993-09-16 | 1996-07-16 | Massachusetts Institute Of Technology | Pattern recognition system with statistical classification |
| JPH07146852A (ja) * | 1993-11-24 | 1995-06-06 | Ricoh Co Ltd | ニューラルネットワークの構造簡略化方法 |
| US5621859A (en) * | 1994-01-19 | 1997-04-15 | Bbn Corporation | Single tree method for grammar directed, very large vocabulary speech recognizer |
-
1995
- 1995-07-19 JP JP18285195A patent/JP3627299B2/ja not_active Expired - Fee Related
-
1996
- 1996-07-17 DE DE69626344T patent/DE69626344T2/de not_active Expired - Fee Related
- 1996-07-17 EP EP96305260A patent/EP0755046B1/en not_active Expired - Lifetime
- 1996-07-18 US US08/683,488 patent/US5787395A/en not_active Expired - Fee Related
- 1996-07-19 CN CN96112292A patent/CN1151573A/zh active Pending
- 1996-07-19 KR KR1019960030282A patent/KR100397402B1/ko not_active IP Right Cessation
Also Published As
| Publication number | Publication date |
|---|---|
| KR980011007A (ko) | 1998-04-30 |
| DE69626344D1 (de) | 2003-04-03 |
| EP0755046B1 (en) | 2003-02-26 |
| JPH0934486A (ja) | 1997-02-07 |
| US5787395A (en) | 1998-07-28 |
| DE69626344T2 (de) | 2003-12-04 |
| EP0755046A3 (en) | 1998-04-22 |
| KR100397402B1 (ko) | 2003-12-24 |
| CN1151573A (zh) | 1997-06-11 |
| EP0755046A2 (en) | 1997-01-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3627299B2 (ja) | 音声認識方法及び装置 | |
| EP0847041B1 (en) | Method and apparatus for speech recognition performing noise adaptation | |
| US9058811B2 (en) | Speech synthesis with fuzzy heteronym prediction using decision trees | |
| JP5294086B2 (ja) | 重み係数学習システム及び音声認識システム | |
| JP5240457B2 (ja) | 拡張認識辞書学習装置と音声認識システム | |
| Ström | Phoneme probability estimation with dynamic sparsely connected artificial neural networks | |
| JP2010504553A (ja) | 音声キーワードの特定方法、装置及び音声識別システム | |
| CN111696522B (zh) | 基于hmm和dnn的藏语语音识别方法 | |
| EP0617827A4 (en) | Composite expert. | |
| CN110853630A (zh) | 面向边缘计算的轻量级语音识别方法 | |
| KR102406512B1 (ko) | 음성인식 방법 및 그 장치 | |
| US6131089A (en) | Pattern classifier with training system and methods of operation therefor | |
| Basak et al. | Challenges and Limitations in Speech Recognition Technology: A Critical Review of Speech Signal Processing Algorithms, Tools and Systems. | |
| CN117043857A (zh) | 用于英语发音评估的方法、设备和计算机程序产品 | |
| Syfullah et al. | Efficient vector code-book generation using K-means and Linde-Buzo-Gray (LBG) algorithm for Bengali voice recognition | |
| Benkhellat et al. | Genetic algorithms in speech recognition systems | |
| Anindya et al. | Development of Indonesian speech recognition with deep neural network for robotic command | |
| CA2203649A1 (en) | Decision tree classifier designed using hidden markov models | |
| JP6499095B2 (ja) | 信号処理方法、信号処理装置及び信号処理プログラム | |
| JPH09134192A (ja) | 統計的言語モデル生成装置及び音声認識装置 | |
| JP2000075886A (ja) | 統計的言語モデル生成装置及び音声認識装置 | |
| JP6728083B2 (ja) | 中間特徴量計算装置、音響モデル学習装置、音声認識装置、中間特徴量計算方法、音響モデル学習方法、音声認識方法、プログラム | |
| JP5161174B2 (ja) | 経路探索装置、音声認識装置、これらの方法及びプログラム | |
| Shastri et al. | Adversarial Synthesis based Data Augmentation for Speech Classification | |
| JPH10254477A (ja) | 音素境界検出装置及び音声認識装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20040329 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040601 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040802 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20041116 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20041129 |
|
| LAPS | Cancellation because of no payment of annual fees |