JP3703164B2 - パターン認識方法及びその装置 - Google Patents

Description

【０００１】
【産業上の利用分野】
本発明は、パターン認識を行なうパターン認識方法及びその装置に関するものである。
【０００２】
【従来の技術】
従来より、パターン認識の手法として、参照パターンを予め用意し、用意されたパターンのうち入力されたパターンに最も良く適合するものを認識結果とする方法がある。通常、入力されるパターンは、複数の特徴量を組み合わせた特徴ベクトルである。一方、参照パターンは、認識結果を代表する特徴ベクトル、あるいは特徴ベクトルを入力とする関数として表現される。
【０００３】
参照パターンが認識結果を代表する特徴ベクトルの場合は、参照パターンと入力されたパターンとの適合度は、参照パターンの特徴ベクトルと入力パターンの特徴ベクトルとの間の距離として表現される。参照パターンが特徴ベクトルを入力とする関数の場合は、参照パターンと入力されたパターンとの適合度は、参照パターンである関数に入力パターンの特徴ベクトルを入力して得られる値として表現される。
【０００４】
参照パターン関数としては、多次元確率密度関数が用いられることが多い。即ち、入力された特徴ベクトルをｘ，ｉ番目の参照パターンである確率密度関数をＰⁱ(・)，ｉ番目の参照パターンと入力されたパターンとの適合度をＹⁱ とすれば、
【０００５】
【数１】

となる。
前記の確率密度関数としては、ガウス分布関数などの関数が用いられる。また、複数の確率密度関数の重み付け和である混合密度関数が用いられることもある。混合密度関数を用いた場合、前記適合度は、ｉ番目の参照パターンのｍ番目の確率密度関数をＰⁱ _m(・) 、ｉ番目の参照パターンのｍ番目の確率度関数の重みをｗⁱ _mとして、
【０００６】
【数２】

となる。
また、式（１）において、特徴ベクトルの各次元間の無相関を仮定して、
【０００７】
【数３】

を参照パターン関数とすることもある。ここで、ｘ_j は入力ベクトルｘのｊ次元目の特徴量、Ｐⁱ _j(・) は、ｉ番目の参照パターンのｊ次元目に対応する確率密度関数である。
【０００８】
また、音声認識などにおいては、ＨＭＭ（隠れマルコフモデル）がよく用いられる。この場合には、参照パターンはＨＭＭの各状態に対応し、前記適合度は、ＨＭＭの各状態が入力されたパターンを出力する出力確率となる。
また、実際のパターン認識において、Ｐⁱ(・)は入力ベクトルと参照パターンとの適合度でしかないため、Ｐⁱ(・)は厳密な意味での確率密度関数である必要はない。特に、Ｐⁱ(・)を、入力ベクトルと参照パターンベクトルとの距離と解釈することも出来る。さらに、Ｐⁱ(・)は距離関数以外の一般の関数でもよい。従って、以降の説明では、確率密度関数という用語を用いる代わりに、参照パターン関数、あるいは適合度関数と呼ぶことにする。
【０００９】
【発明が解決しようとする課題】
しかし、上記従来例では、次のような問題点があった。すなわち、パターン認識を行なうためには、全ての参照パターン関数に関して式（１）の値を計算しなくてはならない。従って、参照パターンの数が多い場合には、適合度の計算量が非常に大きくなる。
【００１０】
本発明は、従来の欠点を除去し、パターン認識を行なうために必要な全ての参照パターン関数に対する適合度の計算量を削減して、高速なパターン認識を行うパターン認識方法及びその装置を提供する。又、参照パターンの数が多い場合にも、適合度の計算量が増加せずに高速なパターン認識を行うパターン認識方法及びその装置を提供する。更に、適合度の計算量を極力抑えて正確なパターン認識を行うパターン認識方法及びその装置を提供する。
【００１１】
【課題を解決するための手段】
上記課題を解決するために、本発明のパターン認識方法は、参照パターンと入力された特徴ベクトルとの適合度の計算に基づいてパターン認識を行なうパターン認識方法であって、適合度の計算工程において、特徴ベクトルの各次元をスカラー量子化するスカラー量子化工程と、前記スカラー量子化工程の結果に基づいて適合度を近似的に計算する計算工程と、前記計算工程の結果に基づいて選択された参照パターンの適合度を、入力された特徴ベクトルからスカラー量子化せずに計算して、前記選択された参照パターンの適合度とすることを特徴とする。
【００１５】
又、本発明のパターン認識装置は、参照パターンと入力された特徴ベクトルとの適合度の計算に基づいてパターン認識を行なうパターン認識装置であって、前記適合度の計算に用いる関数を各次元独立に計算可能な形式に近似した関数を用いて、特徴ベクトルとの適合度を計算することを特徴とする。
【００１６】
又、本発明のパターン認識装置は、参照パターンと入力された特徴ベクトルとの適合度の計算に基づいてパターン認識を行なうパターン認識装置であって、適合度の計算において、特徴ベクトルの各次元をスカラー量子化するスカラー量子化手段と、前記スカラー量子化手段の結果に基づいて、適合度の計算に用いる関数を各次元独立に計算可能な形式に近似した関数に対する適合度を近似的に計算する第２の近似計算手段とを備えることを特徴とする。
【００１７】
【実施例】
以下、図面を参照しながら本発明の一実施例を説明する。
図１は本実施例のパターン認識装置のハードウェア構成例を示す図である。
図中、１は、パターン認識の結果あるいはパターン認識の結果得られた応答を出力する出力装置、２は、音声や画像といった認識すべき対象を入力する入力装置、３は、数値演算・制御等の処理を行う中央処理装置であり、記憶装置４に記憶された本実施例の手順に従って演算・制御を行う。４は、ディスク装置等の外部メモリ装置やＲＡＭ／ＲＯＭ等の内部メモリを含む記憶装置であり、各種変数や中間値を記憶すると共に、入力パターンの特徴ベクトル４ａ，スカラー量子化用の符号値集合４ｂ，参照パターン関数４ｃ，参照パターン関数の出力値集合４ｄ，図２に示すフローチャートを含むパターン認識プログラム４ｅを格納する。
【００１８】
以上のハードウェア構成を踏まえて本実施例の動作を説明する。
図２は本実施例の動作手順例を示すフローチャートである。
該フローチャートにおいて、参照パターンの個数をＳとし、特徴ベクトル空間の次元数をＮとする。また、入力された特徴ベクトルをｘとし、そのｊ次元目の要素をｘ_j とする。また、ｉ番目の参照パターンに対応する関数をＹⁱ ＝Ｐⁱ(・)とする。本実施例においては、特徴ベクトル空間の各次元を独立と仮定して、
【００１９】
【数４】

あるいは、
【００２０】
【数５】

とする。前者と後者の違いは、対数表現を用いるか否かの違いである。本実施例の以降の説明では、対数をとった場合の表現である後者を用いる。ここで、Ｐⁱ _j(・) はｉ番目の参照パターン関数のｊ次元目の関数である。
【００２１】
ステップＳ１〜ステップＳ３の初期化後、先ず、スカラー量子化ステップＳ４で、入力ベクトルｘのｊ次元目の値ｘ_j をスカラー量子化する。スカラー量子化とは、予め用意されたＫj 個の符号値集合｛ｘ¹ _j，ｘ² _j，…，ｘ^Kj _j ｝の中から入力ｘ_j に最も近い値ｘ^Kj _j を求める操作である。
次にテーブル参照ステップＳ５で、前記スカラー量子化の結果得られたｘ^Kj _j を入力とした場合の参照パターン関数のｊ次元目の出力値Ｐⁱ _j(x^Kj _j)を求める。この操作は、予め入力値集合｛ｘ¹ _j，ｘ² _j，…，ｘ^Kj _j ｝が分かっているため、出力値集合｛Ｐⁱ _j(x¹ _j) ，Ｐⁱ _j(x² _j) ，…，Ｐⁱ _j(x^Kj _j)｝のテーブルを用意し、Ｋj 番目の要素を参照するだけの操作である。
【００２２】
次に累積適合度計算ステップＳ６で、前記テーブル参照ステップＳ５での結果を、以前のテーブル参照ステップＳ５の結果の累積値ｙⁱ に加える。
上記ステップＳ４からステップＳ６をＮ次元分繰り返すことにより、ｉ番目の参照パターンに対する入力ベクトルの適合度Ｙⁱ を近似的にｙⁱ として求めることができる。ステップＳ３、ステップＳ７、ステップＳ８がＮ回の繰り返し制御のためのステップである。
【００２３】
また、上記ステップＳ２〜ステップＳ１０をＳ個分繰り返すことにより、全ての参照パターンについて、入力ベクトルの適合度を高速に求めることができる。ステップＳ１、ステップＳ９、ステップＳ１０がＳ回の繰り返し制御のためのステップである。
尚、前記スカラー量子化ステップＳ４において、２分探索法を用いることによりスカラー量子化を高速に行なうことができる。２分探索法は、符号値集合を昇順もしくは降順に並べた時に、入力のｊ次元目の値が、集合の前半に属するか集合の後半に属するかを調べ、前半に属するならば前半を後半に属するならば後半を新たな符号値集合として、再帰的な探索を行なう手法である（図３）。
【００２４】
図３において、３０１には、符号値集合とスカラー量子化すべき入力値との例が示されている。３０２には２分探索法の手順例が示されている。
まず、入力値“５”が、符号値集合｛１，３，４，７，１１，１２，１５，１９｝を２分した場合に、各部分集合｛１，３，４，７｝と｛１１，１２，１５，１９｝とのどちらに入るかを判断する(step1) 。次に、部分集合｛１，３，４，７｝と２つの部分集合｛１，３｝と｛４，７｝とのどちらに入るかを判断する(step2) 。最後に、部分集合｛４，７｝内のどちらの値がスカラー量子化値として適当かを判断する(step3) 。この２分探索の結果、“４”が量子化値として出力される。
【００２５】
又、前記実施例によって適合度ｙⁱ を高速に求めた後、いくつかのｙⁱ については、スカラー量子化をせずに入力ベクトルｘを用いて本来の適合度の計算式Ｙi ＝Ｐⁱ(x)によって厳密に計算して、置き代えても良い。ｙⁱ のうちのどれを再計算すべきかを判断するために、ｙⁱ の値を利用することが出来る。
一例として、高速に求められたｙⁱ のうち適合度の良かったものから順に予め定められた個数分だけ再計算することができる。
【００２６】
また別の例として次の手法が可能である。パターン認識においては１つの特徴ベクトルｘだけでなく、複数の特徴ベクトルの集合｛ｘ₀ ，…，ｘ_T ｝を用いることがある。この場合、適合度の集合｛Ｙⁱ ₀，…，Ｙⁱ _T｝がパターン認識の結果を求めるのに用いられる。このようなパターン認識方法において、全体として良い値を示す適合度の集合｛ｙⁱ ₀，…，ｙⁱ _T｝について再計算を行なって｛Ｙⁱ ₀，…，Ｙⁱ _T｝を求め、他の適合度の集合については高速に求められた値を用いることができる。
例えば、音声認識において、参照パターンとして｛ａ，ｏ，oo，ｇ，ｋ，ｎ，ｓ，ｔ，ｙ｝があった場合に、［ｔooｋｙoo］という参照パターンの時系列の組合わせを考える。まず本実施例の簡易計算によって適合度の集合｛ｙⁱ ₀，…，ｙⁱ _T｝を求めた時に、［ｔ］の適合度がいくら良くても［ooｋｙoo］の適合度があまりに悪ければ再計算を行なう必要はない。一方、［ｔ］の適合度がいくら悪くても［ooｋｙoo］の適合度が良ければ厳密に再計算を行なう価値がある。
以上のように、選ばれた参照パターンについて適合度を厳密に再計算することによって、スカラー量子化による誤差の低減と共に以下の式（１５）のような近似計算による誤差（各次元に分けて計算できないものを近似的に分けて計算することによる）をも低減できる。
【００２７】
［具体例１］
参照パターンを示す関数としてガウス分布（多次元正規分布）を用いた場合について、その具体例を示す。
ｉ番目の参照パターンと入力ｘの適合度Ｙⁱ は、平均値をμⁱ 、共分散行列をΣⁱ とするガウス分布Ｎ(・) を用いて、
【００２８】
【数６】

と表される。ここで、Ｎは特徴ベクトルの次元数であり、ｔは転置を意味する。
ここで、本実施例の手法を用いて、このＹⁱ を高速に計算する。
先ず、Ｎ次元特徴ベクトル空間の各次元を独立として、式（６）を
【００２９】
【数７】

と分解する。ここで、μⁱ _jはｉ番目の参照パターンであるガウス分布のｊ次元目の平均値を、σⁱ _jはｉ番目の参照パターンのガウス分布のｊ次元目の分散である。尚、通常は分散をσ² と表記するが、本明細書では簡単のためσと書く。
【００３０】
また、入力ベクトルｘのｊ次元目の値ｘ_j をスカラー量子化するための符号値の集合を｛ｘ_j,k ｝とする。全てのｉ，ｊ，ｋに対して、
【００３１】
【数８】

を求め、記憶装置４にテーブルとして格納しておく。
以上の前処理の後、パターン認識時には以下の適合度計算を行なう。
先ず、入力された特徴ベクトルｘの各次元をスカラー量しかステップＳ４でスカラー量子化する。即ち、各次元ｊについて最適なＫj を求めて
【００３２】
【数９】

とする。
次にテーブル参照ステップＳ５で、ｘ_j,Kjに対応するｙⁱ _j,Kj をテーブル参照によって求める。
【００３３】
次に累積適合度計算ステップＳ６で、前記テーブル参照ステップＳ５の結果を累積し、Ｙⁱ の近似値を得る。
【００３４】
【数１０】

以上により、各参照パターンｉについて入力特徴ベクトルｘの適合度Ｙⁱ の高速計算が行なわれる。
また、実施例で述べたように、いくつかの参照パターン｛ｉ｝について、式（６）もしくは式（７）を用いて厳密な｛Ｙⁱ ｝を求め、上記の高速計算で求められた値｛ｙⁱ ｝と置き換えても良い。
【００３５】
［具体例２］
参照パターンを示す関数として混合密度ガウス分布関数を用いた場合について具体例を示す。混合密度ガウス分布関数は、Ｍ個のガウス分布の重み付け和であり、ｍ番目のガウス分布の重みをｗ_m とすると次の様に定義される。
【００３６】
【数１１】

ガウス分布の共分散成分を“０”と仮定した場合には、
【００３７】
【数１２】

となる。
以下、本実施例の手法を用いて、この混合密度ガウス分布関数による適合度を計算する方法を示す。
【００３８】
先ず、第１の方法は、混合密度ガウス分布関数を構成する各ガウス分布関数について、本実施例の手法を適用して累積するものである。
先ず、上記具体例１に基づいて、入力ベクトルｘの各次元の値ｘ_j,Kjを求めた後、テーブル参照により、
【００３９】
【数１３】

を求める。
次に、累積適合度計算ステップＳ６では、
【００４０】
【数１４】

の累積計算を行ない、ｙⁱ を得る。
第２の方法は、式（１２）を次の様に近似する方法である。
【００４１】
【数１５】

上記の式を用いて、上記具体例１と同様の計算を行なう。
先ず、入力された特徴ベクトルｘの各次元の値ｘ_j をスカラー量子化ステップＳ４でスカラー量子化してｘ_j,Kjを求めた後、テーブル参照により、
【００４２】
【数１６】

を求める。
次に、累積適合度計算ステップＳ６では、
【００４３】
【数１７】

の累積計算を行ない、ｙⁱ を得る。
第３の方法は、学習データを用いてＰⁱ(x)を出力する関数を学習する方法である。
【００４４】
先ず、スカラー量子化の符号値の集合｛ｘ_j,k ｝に対応する値の集合｛ｙⁱ _j,k｝を全てのｉについて用意する。｛ｙⁱ _j,k｝は後述の基準によって学習しておく。
入力された特徴ベクトルｘの各次元の値ｘ_j をスカラー量子化ステップＳ４でスカラー量子化してｘ_j,Kjを求めた後、
【００４５】
【数１８】

により、適合度を求める。
上記の計算において、各ｉ，｛ｘ_j,k ｝に対応する｛ｙⁱ _j,k｝は、学習データを用いて求める。
【００４６】
先ず、ｎ番目の学習データξⁿ ＝（ξⁿ ₁，…，ξⁿ _N）の各次元をスカラー量子化して得られるベクトルξ^n'＝（ｘ_1,Kn1 ，…，ｘ_N,KnN ）およびξ^n'に対応する（ｙ_1,Kn1 ，…，ｙ_j,KnN ）について、２乗誤差値( ε²)ⁱ _nを次のように定義する。
【００４７】
【数１９】

これは、ある集合｛ｙⁱ _j,k｝を使ってｎ番目の学習データとｉ番目の参照パターンとの適合度を近似計算したときの、真の適合度と近似計算によって得られた適合度と２乗誤差を示している。
ここで、２乗誤差( ε²)ⁱ _nを予め容易された全学習データに関して最小になるように、集合｛ｙⁱ _j,k｝を定めれば、この集合｛ｙⁱ _j,k｝は精度の良い適合度の近似計算を行うのに適した集合となることが期待できる。即ち、ｎ個の学習データに対して、
【００４８】
【数２０】

が最小となるような集合｛ｙⁱ _j,k｝を求める。これには誤差最小化問題の手法を用いることが出来る。
また、上記式（１９）において、スカラー量子化する前の入力ベクトルξⁿ を用いて
【００４９】
【数２１】

と( ε²)ⁱ _nを定義しても良い。
以上のように、学習により集合｛ｙⁱ _j,k｝を再設定することによって、スカラー量子化による誤差の低減と共に式（１５）のような近似計算による誤差をも低減できる。
［具体例３］
前記具体例１および具体例２では、確率密度関数値をそのまま用いる例について説明したが、確率密度関数値の対数をとった値、即ち対数尤度を用いて計算を行なっても良い。
【００５０】
対数尤度を用いると、各次元を独立とした場合の多次元確率密度関数は、各次元の確率密度関数の値の積ではなく、和として表現される。例えば、式（７）は、
【００５１】
【数２２】

となる。
また、式（１５）は、
【００５２】
【数２３】

と変形される。
また、式（１９）は、
【００５３】
【数２４】

となる。この場合には、誤差Σε²ⁱ _nを最小化する手法として多変量統計解析の１つである「数量化Ｉ類」などの統計的手法を用いることができる。
尚、本発明は、複数の機器から構成されるシステムに適用しても、１つの機器から成る装置に適用しても良い。また、本発明はシステム或は装置にプログラムを供給することによって達成される場合にも適用できることはいうまでもない。
【００５４】
【発明の効果】
以上説明したように、本発明によれば、パターン認識を行なうために必要な全ての参照パターン関数に対する適合度の計算量を削減して、高速なパターン認識を行うパターン認識方法及びその装置を提供できる。又、参照パターンの数が多い場合にも、適合度の計算量が増加せずに高速なパターン認識を行うパターン認識方法及びその装置を提供できる。更に、適合度の計算量を極力抑えて正確なパターン認識を行うパターン認識方法及びその装置を提供できる。
【図面の簡単な説明】
【図１】本実施例のパターン認識装置のハードウェア構成を示したブロック図である。
【図２】本実施例のパターン認識手順を示したフローチャートである。
【図３】２分探索法の例を説明する図である。
【符号の説明】
１ 出力装置
２ 入力装置
３ 中央処理装置
４ 記憶装置

Claims (6)

1. 参照パターンと入力された特徴ベクトルとの適合度の計算に基づいてパターン認識を行なうパターン認識方法であって、
   適合度の計算工程において、特徴ベクトルの各次元をスカラー量子化するスカラー量子化工程と、
   前記スカラー量子化工程の結果に基づいて適合度を近似的に計算する計算工程と、
   前記計算工程の結果に基づいて選択された参照パターンの適合度を、入力された特徴ベクトルからスカラー量子化せずに計算して、前記選択された参照パターンの適合度とする処理工程とを備えたことを特徴とするパターン認識方法。
2. 前記処理工程では、前記計算工程で計算された適合度が高いものから順に所定の個数選択し、該選択された参照パターンの適合度を、入力された特徴ベクトルからスカラー量子化せずに計算して、前記選択された参照パターンの適合度とすることを特徴とする請求項１記載のパターン認識方法。
3. 参照パターンの時系列に対して、前記計算工程を行なうことを特徴とする請求項１に記載のパターン認識方法。
4. 参照パターンと入力された特徴ベクトルとの適合度の計算に基づいてパターン認識を行なうパターン認識装置であって、
   適合度の計算において、特徴ベクトルの各次元をスカラー量子化するスカラー量子化手段と、
   前記スカラー量子化手段の結果に基づいて適合度を近似的に計算する計算手段と、
   前記計算手段の結果に基づいて選択された参照パターンの適合度を、入力された特徴ベクトルからスカラー量子化せずに計算して、前記選択された参照パターンの適合度とする処理手段とを備えたことを特徴とするパターン認識装置。
5. 前記処理手段は、前記計算手段により計算された適合度が高いものから順に所定の個数選択し、該選択された参照パターンの適合度を、入力された特徴ベクトルからスカラー量子化せずに計算して、前記選択された参照パターンの適合度とすることを特徴とする請求項４記載のパターン認識装置。
6. 参照パターンの時系列に対して、前記計算手段による計算を行なうことを特徴とする請求項４に記載のパターン認識装置。

Images