JP3943223B2 - 候補テーブルを用いて分類を行うパターン認識装置および方法 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、パターン認識に係り、入力パターンあるいはその特徴ベクトルの属するカテゴリを推定してパターンを認識するパターン認識装置およびその方法に関する。
【０００２】
【従来の技術】
近年、オフィスにおけるワークフローの効率化のために、文書を電子的にファイリングし、必要に応じてコード化するシステムが開発されつつあり、そのために、ＦＡＸ文書等を認識する文書認識装置が強く求められている。特に、文字認識装置は文字列情報のコード化のために必須であり、その実用化と広範囲にわたる普及のためには、高い認識精度を維持したままで、より高速に文字カテゴリを推定することが重要となる。
【０００３】
また、人間の顔の認識技術は、電子会議、セキュリティシステムの技術要素として重要になってきており、リアルタイムで人間の顔の同定ができるような、高速かつ高精度の顔認識技術が求められている。
【０００４】
また、３次元物体あるいは２次元図形の認識技術は、コンピュータグラフィックス、ＣＡＤ（computer aided design ）、ＤＴＰ（desk top publishing ）等の普及に伴い、現実に存在する３次元物体あるいは２次元図形を効率的にコンピュータに入力し、再利用するための手段として重要になってきている。したがって、高速かつ高精度な物体あるいは図形の認識技術は、これらのシステムにとって実用上必須の技術となる。
【０００５】
このように、高速かつ高精度なパターン認識は、各種の実用的なパターン認識装置を構築する上での技術要素として、重要な役割を果している。ここで、パターン認識においてよく用いられる用語を、簡単に定義しておく。
【０００６】
認識対象のことをパターンと呼び、すべてのパターンの作る集合のことをパターン空間と呼ぶ。パターンを特徴抽出することにより得られる１つ以上の特徴量の組を特徴ベクトルと呼び、特徴ベクトルの要素の数を特徴ベクトルの次元と呼ぶ。
【０００７】
特徴ベクトルのそれぞれの要素の値の組を特徴ベクトルの値と呼び、すべての特徴ベクトルの値の作る集合のことを特徴空間と呼ぶ。特徴空間の次元は、特徴空間の要素である特徴ベクトルの次元と等しい。
【０００８】
特徴ベクトルの要素の部分集合を部分特徴ベクトルと呼び、部分特徴ベクトルのそれぞれの要素の値の組を、部分特徴ベクトルの値と呼ぶ。すべての部分特徴ベクトルの値の作る集合のことを部分特徴空間と呼ぶ。部分特徴空間の次元は、部分特徴空間の要素である部分特徴ベクトルの次元と等しい。
【０００９】
同一種類とみなすことのできるパターンあるいは特徴ベクトルの集合をカテゴリと呼ぶ。特に、同一種類とみなすことのできるパターンの集合を、カテゴリパターン集合、同一種類とみなすことのできる特徴ベクトルの集合を、カテゴリ特徴集合と呼ぶ。
【００１０】
入力されたパターンあるいは特徴べクトルがどのカテゴリ（カテゴリパターン集合あるいはカテゴリ特徴集合）に属するのかを決定することを、パターン認識と呼ぶ。特に、入力されたパターンあるいは特徴ベクトルが、カテゴリ集合の中のあるカテゴリに属する可能性があると推定される場合、そのカテゴリ集合のことを候補カテゴリ集合と呼ぶ。
【００１１】
従来より、高速なパターン認識方法として、特徴圧縮を行い、照合時の距離計算に用いる特徴ベクトルの次元数を大きく減らすことにより、処理時間を大幅に短縮する方法がある。図２３は、このような特徴圧縮による高速分類を用いたパターン認識装置の構成図である。
【００１２】
図２３のパターン認識装置においては、特徴抽出部１が、入力パターンから特徴ベクトルを抽出し、特徴圧縮部２が、特徴ベクトルの線型変換を行って、次元数のより低い圧縮特徴ベクトルを求める。圧縮特徴辞書４には、それぞれのカテゴリに対応する圧縮特徴ベクトルが保持されており、大分類部３は、特徴圧縮部２が求めた圧縮特徴ベクトルと圧縮特徴辞書４内の各圧縮特徴ベクトルとの距離を求める。そして、距離の小さな順にカテゴリを並び換えて、最短距離のものから指定された数だけのカテゴリの列を候補カテゴリ集合として出力する。
【００１３】
【発明が解決しようとする課題】
しかしながら、従来のパターン認識には次のような問題がある。
特徴圧縮による高速分類を用いたパターン認識では、特徴ベクトルを圧縮してより次元の低い圧縮特徴ベクトルに変換する時に情報の欠落が発生する。このため、入力パターンの圧縮特徴ベクトルとの距離が小さい圧縮特徴ベクトルを含むカテゴリが、必ずしも前者を含むとは限らず、正しい候補カテゴリ集合が得られないことがある。したがって、低品質な入力パターンに対しては、認識精度が大幅に低下してしまい、高品質な入力パターンに対しても、認識精度が若干低下するという問題がある。
【００１４】
本発明の課題は、認識精度の低下を抑えながら候補カテゴリ集合の算出を高速化することのできるパターン認識装置およびその方法を提供することである。
【００１５】
【課題を解決するための手段】
図１は、本発明のパターン認識装置の原理図である。図１のパターン認識装置は、テーブル記憶手段１１と候補カテゴリ計算手段１２を備える。
【００１６】
テーブル記憶手段１１は、パターンの特徴ベクトルから計算される参照特徴ベクトルの値を入力とし、候補カテゴリ集合を出力とする写像を形成するために必要な情報を記述した候補テーブル１３を記憶する。
【００１７】
候補カテゴリ計算手段１２は、候補テーブル１３を用いて、与えられた参照特徴ベクトルの値に対応する候補カテゴリ集合を求め、得られた候補カテゴリ集合を出力する。
【００１８】
参照特徴ベクトルとは、候補カテゴリ計算手段１２が参照する特徴ベクトルのことであり、参照特徴ベクトルの要素の数を参照特徴ベクトルの次元と呼び、参照特徴ベクトルの値の集合のことを参照特徴空間と呼ぶ。参照特徴空間の次元は、参照特徴空間の要素である参照特徴ベクトルの次元と等しい。例えば、特徴ベクトルの要素の一部から成る部分特徴ベクトルが、参照特徴ベクトルとして用いられる。
【００１９】
候補テーブル１３は、参照特徴ベクトルの個々の値と候補カテゴリ集合の対応関係を表す写像情報を保持している。したがって、この候補テーブル１３を参照すれば、特定の参照特徴ベクトルの値に対応する候補カテゴリ集合を直ちに求めることができる。候補カテゴリ計算手段１２は、参照特徴ベクトルの値を与えられたとき、その値を候補テーブル１３の写像に入力して、対応する候補カテゴリ集合を求め、それを出力する。
【００２０】
このようなパターン認識装置においては、複雑な特徴ベクトル間の距離計算を行うことなく、簡単なテーブル引きの操作だけで候補カテゴリ集合を出力することができ、パターン認識処理が格段に高速化される。また、候補テーブル１３の写像を適切に設定しておくことで、本発明を用いない場合と同程度の認識精度を維持することが可能である。
【００２１】
例えば、図１のテーブル記憶手段１１は、後述する図４のメモリ３２に対応し、候補カテゴリ計算手段１２はＣＰＵ（中央処理装置）３１とメモリ３２に対応する。
本発明の別のパターン認識装置は、テーブル記憶手段１１と候補カテゴリ計算手段１２を備える。テーブル記憶手段１１は、パターンの特徴ベクトルから計算される参照特徴ベクトルの値の集合から成る参照特徴空間を２つ以上に分割して得られる各部分集合を参照特徴分割要素として、その参照特徴分割要素と候補カテゴリ集合の組の情報を含む候補テーブル１３を記憶する。候補カテゴリ計算手段１２は、与えられた参照特徴ベクトルの値を含む参照特徴分割要素を求め、候補テーブル１３を用いて、得られた参照特徴分割要素に対応する候補カテゴリ集合を求め、得られた候補カテゴリ集合を出力する。学習用パターン集合から得られる参照特徴ベクトルの値の分布を用いて、各カテゴリに対応する特徴ベクトルの集合を参照特徴空間へ射影したときの射影範囲の推定を行い、得られた推定値を用いて、候補テーブル１３が作成される。
本発明のさらに別のパターン認識装置は、テーブル記憶手段１１と候補カテゴリ計算手段１２を備える。テーブル記憶手段１１は、パターンの特徴ベクトルから計算される参照特徴ベクトルの値の集合から成る参照特徴空間を２つ以上に分割して得られる各部分集合を参照特徴分割要素として、その参照特徴分割要素と候補カテゴリ集合の組の情報を含む候補テーブル１３を記憶する。候補カテゴリ計算手段１２は、与えられた参照特徴ベクトルの値を含む参照特徴分割要素を求め、候補テーブル１３を用いて、得られた参照特徴分割要素に対応する候補カテゴリ集合を求め、得られた候補カテゴリ集合を出力する。辞書に登録されている各カテゴリの代表特徴ベクトルに基づく特徴空間のボロノイ分割要素を、参照特徴空間へ射影したときの射影範囲の推定を行い、得られた推定値を用いて、候補テーブル１３が作成される。
【００２２】
【発明の実施の形態】
以下、図面を参照しながら、本発明の実施の形態を詳細に説明する。
本発明においては、あらかじめ用意された候補テーブルを参照することにより、特徴ベクトル間の距離計算を行うことなく、候補カテゴリ集合を出力する候補カテゴリ計算部を設ける。候補テーブルには、特徴ベクトルから計算されるある参照特徴ベクトルの値を入力とし、ある候補カテゴリ集合を出力とする写像を構成するために必要な情報が記述されている。
【００２３】
候補カテゴリ計算部は、入力された参照特徴ベクトルの値をもとに、候補テーブルから候補カテゴリ集合を求めて、それを出力する。候補テーブルに、参照特徴ベクトルの値とカテゴリ集合の写像として適切なものを保持しておけば、本発明の高速分類手法を用いない場合とほぼ同程度の精度を維持しつつ、格段に高速な分類を実現することができる。
【００２４】
図２は、候補テーブルのレコードの例を示している。図２の参照特徴分割要素ｘは、参照特徴ベクトルの特定の値または値の範囲を表し、参照特徴空間内の特定の点または領域に対応する。候補カテゴリ計算部に与えられた参照特徴ベクトルの値が参照特徴分割要素ｘに含まれるとき、対応する候補カテゴリ集合（Ｂ，Ｃ，Ｇ，Ｈ，Ｋ）が分類結果として出力される。
【００２５】
図３は、カテゴリと参照特徴空間の関係を示している。候補テーブルの作成時には、参照特徴空間２２を適当な基準に従って複数の参照特徴分割要素に分割し、特徴空間２１に対応する各カテゴリＡ，Ｂ，Ｃ，Ｄ，Ｅ，Ｆ，Ｇ，Ｈ，Ｉ，Ｊ，Ｋ，Ｌ，Ｍから参照特徴空間２２への射影（参照特徴射影）の推定を行う。そして、例えば、各参照特徴分割要素に対して、その領域と各カテゴリの参照特徴射影との共通部分を求め、共通部分が存在するカテゴリの集合を、対応する候補カテゴリ集合とする。
【００２６】
ここでは、カテゴリＢ，Ｃ，Ｇ，Ｈ，Ｋの射影が参照特徴分割要素ｘと共通部分を持つので、これらを要素とする集合（Ｂ，Ｃ，Ｇ，Ｈ，Ｋ）が、図２に示すように、参照特徴分割要素ｘに対応する候補カテゴリ集合となる。他の参照特徴分割要素ｙに対応する候補カテゴリ集合も、同様にして求められる。
【００２７】
このように、参照特徴射影が参照特徴分割要素と共通部分を持つカテゴリを候補カテゴリ集合の要素とし、参照特徴分割要素と候補カテゴリ集合の組を候補テーブルとして保持しておく。そして、候補カテゴリ計算部は、与えられた参照特徴ベクトルの値を含む参照特徴分割要素を求め、候補テーブルを用いて対応する候補カテゴリ集合を求める。これにより、精度を低下させることなく、高速な分類を実現することができる。
【００２８】
図４は、このようなパターン認識装置に用いられる情報処理装置（コンピュータ）の構成図である。図４の情報処理装置は、ＣＰＵ（中央処理装置）３１、メモリ３２、入力装置３３、出力装置３４、外部記憶装置３５、媒体駆動装置３６、ネットワーク接続装置３７、光電変換装置３８を備え、それらの各装置はバス３９により互いに結合されている。
【００２９】
ＣＰＵ３１は、メモリ３２に格納されたプログラムと候補テーブルを用いて、パターン認識装置の処理を実現する。メモリ３２には、処理に用いられるプログラムとデータが格納されている。このメモリ３２は、例えばＲＯＭ（read only memory）、ＲＡＭ（random access memory）等を含む。
【００３０】
入力装置３３は、例えばキーボード、ポインティングデバイス等に相当し、ユーザからの要求や指示の入力に用いられる。また、出力装置３４は、表示装置やプリンタ等に相当し、ユーザへの問い合せや処理結果等の出力に用いられる。
【００３１】
外部記憶装置３５は、例えば、磁気ディスク装置、光ディスク装置、光磁気ディスク装置等である。この外部記憶装置３５に、上述のプログラムとデータを保存しておき、必要に応じて、それらをメモリ３２にロードして使用することができる。また、外部記憶装置３５は、パターン、特徴ベクトル、候補テーブル等を保存するデータベースとしても使用される。
【００３２】
媒体駆動装置３６は、可搬記録媒体４０を駆動し、その記憶内容にアクセスすることができる。可搬記録媒体４０としては、メモリカード、フロッピーディスク、ＣＤ−ＲＯＭ（compact disk read only memory ）、光ディスク、光磁気ディスク等、任意のコンピュータ読み取り可能な記録媒体を使用することができる。この可搬記録媒体４０に、上述のプログラムとデータを格納しておき、必要に応じて、それらをメモリ３２にロードして使用することができる。
【００３３】
ネットワーク接続装置３７は、ＬＡＮ（local area network）等の任意の通信ネットワークに接続され、通信に伴うデータ変換等を行う。パターン認識装置は、ネットワーク接続装置３７を介して、外部の情報提供者の装置４０′（データベース等）と通信する。これにより、必要に応じて、上述のプログラムとデータを装置４０′からネットワークを介して受け取り、それらをメモリ３２にロードして使用することができる。光電変換装置３８は、例えばイメージスキャナであり、処理対象となるパターンの入力に用いられる。
【００３４】
次に、図５から図１４までを参照しながら、参照特徴ベクトルと候補テーブルの具体例およびパターン認識装置の機能構成について説明する。図５は、本実施形態で用いられる候補テーブルの構造を示している。図５の候補テーブルには、複数の参照特徴分割要素と候補カテゴリ集合の組が格納され、参照特徴ベクトルの分類に用いられる。
【００３５】
図６は、入力された特徴ベクトルの部分特徴ベクトルを用いて高速分類を行う候補テーブルを有する第１のパターン認識装置の構成図である。図６のパターン認識装置は、特徴ベクトルから計算される参照特徴ベクトルの値とカテゴリ集合の組を保持した候補テーブル４１と、候補カテゴリ計算部４２を備える。
【００３６】
候補カテゴリ計算部４２は、入力された特徴ベクトルのある部分特徴ベクトルを参照特徴ベクトルとして、その参照特徴ベクトルの値と候補テーブル４１を用いて候補カテゴリ集合を求め、それを出力する。
【００３７】
ここで、特徴ベクトルの成す特徴空間は、互いに交わらないＫ個のカテゴリ特徴集合（カテゴリ）Ｃ₁ ，Ｃ₂ ，・・・，Ｃ_K で覆われているとする。このとき、すべてのカテゴリ特徴集合の集合をＣ_SET とすると、
Ｃ_SET ＝｛Ｃ₁ ，Ｃ₂ ，・・・，Ｃ_K ｝
と書ける。また、特徴空間の次元数をＮとすると、特徴ベクトルｆは、その要素を用いて、
ｆ＝（ｆ₁ ，ｆ₂ ，・・・，ｆ_N ）
と書ける。このとき、候補カテゴリ計算部４２は、入力特徴ベクトルｆ_INの属するカテゴリＣ_IN∈Ｃ_SET を含む候補カテゴリ集合Ｃ_CANDを推定して、それを出力する。参照特徴ベクトルとしては、特徴ベクトルの任意の部分特徴ベクトルを用いることができる。
【００３８】
例えば、２次元の部分特徴ベクトルｇ＝（ｆ₁ ，ｆ₂ ）を参照特徴ベクトルとすると、候補テーブル４１は、２次元の部分特徴ベクトルの値と候補カテゴリ集合の組により構成される。そして、２次元の部分特徴ベクトルのとり得るすべての値が候補テーブルに登録される。ここで、特徴ベクトルｆの各要素は、それぞれ３種類の値０，１，２のいずれかをとり得るものとすると、候補テーブル４１は次のようになる。
（（０，０），Ｃ_{(0 )} ）
（（０，１），Ｃ_{(0 )} ）
（（０，２），Ｃ_{(0 )} ）
（（１，０），Ｃ_{(1 )} ）
（（１，１），Ｃ_{(1 )} ）
（（１，２），Ｃ_{(1 )} ）
（（２，０），Ｃ_{(2 )} ）
（（２，１），Ｃ_{(2 )} ）
（（２，２），Ｃ_{(2 )} ）
ここで、Ｃ_{(p )} ⊂Ｃ_SET は、参照特徴ベクトルの値（ｐ，ｑ）（ｐ＝０，１，２；ｑ＝０，１，２）に対応する候補カテゴリ集合である。この場合、参照特徴空間における点（ｐ，ｑ）が参照特徴分割要素となる。
【００３９】
候補カテゴリ計算部４２は、入力された特徴ベクトルから２次元の参照特徴ベクトルの値（ｐ，ｑ）を求めて、候補テーブル４１の中から（ｐ，ｑ）を左要素に持つ組を求め、その右要素の候補カテゴリ集合Ｃ_{(p )} を出力する。
【００４０】
このようなパターン認識装置を用いると、距離計算を行うことなくテーブル引きにより高速に候補カテゴリ集合を求めることができる。また、候補テーブル４１に保持している候補カテゴリ集合がそれぞれ適切なものであれば、高精度かつ高速にパターン認識を実行するパターン認識装置が実現できる。
【００４１】
図７は、入力されたパターンから特徴ベクトルを求め、特徴ベクトルの部分特徴ベクトルを参照特徴ベクトルとして、候補テーブルを用いた高速分類を行う第２のパターン認識装置の構成図である。
【００４２】
図７のパターン認識装置は、入力された文字パターンから特徴ベクトルを抽出する特徴抽出部５１と、候補カテゴリ計算部５２と、候補テーブル５３とを備えている。候補テーブル５３は、例えば、学習用文字パターン集合を用いて作成される。
【００４３】
ここで、文字パターンのカテゴリはＫ個あるものとし、対応する特徴ベクトルの成す特徴空間は、互いに交わらないＫ個のカテゴリ特徴集合Ｃ₁ ，Ｃ₂ ，・・・，Ｃ_K で覆われているとする。このとき、すべてのカテゴリ特徴集合の集合Ｃ_SET は、
Ｃ_SET ＝｛Ｃ₁ ，Ｃ₂ ，・・・，Ｃ_K ｝
と書ける。候補カテゴリ計算部５２は、入力文字パターンＰ_INの属するカテゴリＣ_IN∈Ｃ_SET を含む候補カテゴリ集合Ｃ_CANDを推定して、それを出力する。
【００４４】
まず、特徴抽出部５１による特徴抽出処理について説明する。文字パターンからの特徴抽出によく用いられている特徴量として、方向線素特徴量がある。これは、文字パターンを２次元の格子状に分割し、各升目内の文字パターンの輪郭方向成分の数を数えて、それを特徴量としたものである。
【００４５】
例えば、縦７×横７の格子を用いた場合、升目の数は合計４９個になる。輪郭方向成分を大まかに、横・縦・右斜め・左斜めの４方向とすると、４９×４＝１９６個の特徴量を得ることができる。これにより、入力された文字パターンから１９６次元の特徴ベクトルが抽出されることになる。
【００４６】
一般に、特徴空間の次元数をＮとすると、特徴ベクトルｆは、その要素を用いて、
ｆ＝（ｆ₁ ，ｆ₂ ，・・・，ｆ_N ）
と書ける。特徴ベクトルｆの各要素の値は、特定の升目に含まれる輪郭画素のうち、特定の方向成分を持つ画素の数に対応しており、例えば、０以上の整数値で表される。
【００４７】
さらに、特徴ベクトルの１つの要素ｆ₁ を１次元の参照特徴ベクトルｒとし、参照特徴ベクトルのとり得る値の範囲をＡ≦ｒ＜Ｂとすると、区間［Ａ，Ｂ）が、参照特徴空間となる。
【００４８】
候補テーブルの要素となる参照特徴分割要素として、参照特徴空間［Ａ，Ｂ）を、格子状に分割したものを用いることにする。この場合、参照特徴空間が１次元であるから、区間［Ａ，Ｂ）を、
Ａ＝ｓ_-1＜ｓ₀ ＜ｓ₁ ＜ｓ₂ ＜・・・＜ｓ_L ＝Ｂ
のようにＬ＋１個の区間Ｒ_i ＝［ｓ_i-1,ｓ_i ）（ｉ＝０，１，・・・，Ｌ）に分割すると、それぞれの区間Ｒ_i が参照特徴分割要素となる。参照特徴空間を無限空間として定義する場合は、Ａ＝−∞、Ｂ＝＋∞とすればよい。
【００４９】
例えば、図８に示す１次元の参照特徴空間５５の場合は、Ｌ＝６として、Ｒ₀＝（−∞，ｓ₀ ），Ｒ₁ ＝［ｓ₀ ，ｓ₁ ），Ｒ₂ ＝［ｓ₁ ，ｓ₂ ），Ｒ₃ ＝［ｓ₂ ，ｓ₃ ），Ｒ₄ ＝［ｓ₃ ，ｓ₄ ），Ｒ₅ ＝［ｓ₄ ，ｓ₅ ），Ｒ₆ ＝［ｓ₅ ，＋∞）の７つの参照特徴分割要素に分割されている。
【００５０】
それぞれの参照特徴分割要素Ｒ_i に対する候補カテゴリ集合は、学習用文字パターン集合の各文字カテゴリに対する参照特徴射影を推定することにより求められる。そして、それらの候補カテゴリ集合を用いて、候補テーブル５３が作成される。
【００５１】
ただし、学習用文字パターン集合は、各文字カテゴリに属する文字パターンを十分な数だけ含んでいるものとする。特定の文字カテゴリＣ_k に対する参照特徴射影の推定は、次のようにして行われる。
【００５２】
まず、学習用文字パターン集合から文字カテゴリＣ_k に属する文字パターンを取り出し、それぞれの文字パターンを特徴抽出して、対応する特徴ベクトルを求める。次に、得られた特徴ベクトルの集合から、各特徴ベクトルの第１要素ｆ₁の集合Ｆ_k を求めると、集合Ｆ_k は文字カテゴリＣ_k の参照特徴射影を近似する分布を形成する。この集合Ｆ_k の要素の最小値ＭＩＮ_k と最大値ＭＡＸ_k を求め、さらに特定のマージンＭを考慮して、文字カテゴリＣ_k の参照特徴射影の推定値Ｑ_k を、
Ｑ_k ＝［ＭＩＮ_k −Ｍ，ＭＡＸ_k ＋Ｍ］
のような閉区間とすることができる。
【００５３】
以上のようにして求めた参照特徴分割要素Ｒ_i と、各文字カテゴリＣ_k に対する参照特徴射影Ｑ_k とから、それぞれの参照特徴分割要素Ｒ_i と組にするべき候補カテゴリ集合Ｄ_i が求められる。
【００５４】
ここでは、ある参照特徴分割要素Ｒ_i と参照特徴射影Ｑ_k が共通部分を持つ（積集合が空集合でない）ような文字カテゴリＣ_k の集合を、その参照特徴分割要素Ｒ_i に対する候補カテゴリ集合Ｄ_i とすることにする。これにより、候補カテゴリ集合Ｄ_i は、参照特徴分割要素Ｒ_i に属する参照特徴ベクトルの値を持つ文字パターンが属する可能性のある文字カテゴリを列挙したものとなる。
【００５５】
したがって、認識精度を保つために十分なだけの文字カテゴリを含む候補カテゴリ集合Ｄ_i が得られ、候補テーブル５３は、参照特徴分割要素Ｒ_i と候補カテゴリ集合Ｄ_i の組により構成される。
【００５６】
図８の特徴空間５４においては、カテゴリＢ，Ｃ，Ｇ，Ｈ，Ｋの射影が参照特徴分割要素Ｒ₃ と共通部分を持つので、これらを要素とする集合（Ｂ，Ｃ，Ｇ，Ｈ，Ｋ）が参照特徴分割要素Ｒ₃ に対応する候補カテゴリ集合となる。他の参照特徴分割要素に対応する候補カテゴリ集合も同様にして求められ、候補テーブル５３は、例えば、図９に示すようになる。
【００５７】
候補カテゴリ計算部５２は、入力された特徴ベクトルの第１要素の値がｒである場合、これを参照特徴ベクトルの値とし、まず、この値ｒの属する参照特徴分割要素Ｒ_i を求める。ここでは、参照特徴分割要素Ｒ_i は１次元の区間であるから、値ｒがどの区間に属するのかを判定することは容易である。次に、候補テーブル５３を用いて、参照特徴分割要素Ｒ_i に対応する候補カテゴリＤ_iを求め、これを文字認識結果として出力する。出力された候補カテゴリ集合には、入力文字パターンの属する文字カテゴリが属していることが期待できる。
【００５８】
このようなパターン認識装置を用いると、距離計算を行うことなくテーブル引きにより入力文字パターンが属すると推定できる候補カテゴリを、非常に高速にかつ精度を低下させることなく求めることができる。
【００５９】
図１０は、入力された文字パターンから特徴ベクトルを求め、特徴ベクトルの部分特徴ベクトルを参照特徴ベクトルとして、候補テーブルを用いた詳細な高速分類を行う第３のパターン認識装置の構成図である。
【００６０】
図１０のパターン認識装置は、特徴抽出部６１、候補カテゴリ計算部６２、詳細分類部６３、候補テーブル６４、および詳細分類のための辞書６５を備える。
特徴抽出部６１は、入力した文字パターンから特徴ベクトルを抽出する。
【００６１】
ここでは、候補テーブル６４を作成するために、辞書６５に登録されている各文字カテゴリに対する代表特徴ベクトルの作るボロノイ（ 外１ ）分割を用い
【００６２】
【外１】

【００６３】
る。ボロノイ分割とは、任意の空間内において複数の点が与えられたとき、それらの点からの距離に基づいて定義される領域の一種であり、ボロノイ領域とも呼ばれる。
【００６４】
カテゴリ特徴集合の集合Ｃ_SET 、特徴ベクトルｆ、参照特徴空間、参照特徴分割要素Ｒ_i 等の表記法と特徴抽出処理の内容については、第２のパターン認識装置の場合と同様である。候補カテゴリ計算部６２は、入力文字パターンＰ_INの属するカテゴリＣ_IN∈Ｃ_SET を含む候補カテゴリ集合Ｃ_CANDを推定して、それを出力する。
【００６５】
詳細分類部６３は、候補カテゴリ計算部６２が出力した候補カテゴリを入力として、辞書６５を用いて距離計算を行う。辞書６５は、各文字カテゴリに対する代表特徴ベクトルを保持しており、詳細分類部６３は、入力文字パターンに対応する特徴ベクトルからの距離が最小であるような代表特徴ベクトルを求めて、それに対応する文字カテゴリを推定文字カテゴリとして出力する。
【００６６】
ここでは、各文字カテゴリＣ_k に対する参照特徴射影の推定値Ｑ_k を、学習用文字パターン集合を用いて求めるのではなく、詳細分類のための辞書６５に登録されている各文字カテゴリＣ_j に対する代表特徴ベクトルＥ_j の集合から得られるボロノイ分割Ｖ_k を用いて求める。
【００６７】
ここで、文字カテゴリＣ_k に対するボロノイ分割Ｖ_k とは、特徴空間において、任意の特徴ベクトルｆと辞書６５に登録されているすべての代表特徴ベクトルとの距離を求めたとき、文字カテゴリＣ_k に対する代表特徴ベクトルＥ_k との距離が最小となるような特徴ベクトルｆの集合のことである。距離計算に基づく詳細分類によって特徴空間を分割すると、ボロノイ分割が得られることが知られている。
【００６８】
例えば、２次元の特徴空間において、カテゴリＣ₁ ，Ｃ₂ ，Ｃ₃ ，Ｃ₄ ，Ｃ₅，Ｃ₆ に対する代表特徴ベクトルＥ₁ ，Ｅ₂ ，Ｅ₃ ，Ｅ₄ ，Ｅ₅ ，Ｅ₆ が与えられたとき、対応するボロノイ分割Ｖ₁ ，Ｖ₂ ，Ｖ₃ ，Ｖ₄ ，Ｖ₅ ，Ｖ₆ は、図１１に示すようになる。図１１において、ボロノイ分割Ｖ₃ とボロノイ分割Ｖ₅ の境界上の特徴ベクトルｆ＝（ｆ₁ ，ｆ₂ ）は、代表特徴ベクトルＥ₃ とＥ₅ から等距離の位置にある。他の境界上の点についても同様である。
【００６９】
一般に、Ｎ次元の特徴空間において、ユークリッド距離を用いた場合には、ボロノイ分割は特徴空間内の超平面で囲まれた超凸多面体となり、市街区距離（シティブロック距離）を用いた場合には、ボロノイ分割は超多面体となる。また、マハラノビス（Mahalanobis ）距離のような非線形な距離を用いた場合には、ボロノイ分割は超曲面で囲まれた有界な部分集合となる。
【００７０】
ここで、Ｎ次元空間の超曲面とはＮ−１次元の曲面を意味し、超平面とはその特殊な場合を意味する。シティブロック距離等の様々な距離の定義とその意味については、後述することにする。
特徴ベクトルｆの１つの要素ｆ₁ を参照特徴ベクトルとすると、参照特徴空間へのボロノイ分割Ｖ_k の参照特徴射影の推定値Ｑ_k は、ボロノイ分割Ｖ_k に属する特徴ベクトルｆの要素ｆ₁ の値の範囲として与えられる。距離がユークリッド距離の場合は、線型計画法によりボロノイ分割Ｖ_k の参照特徴ベクトルの最小値・最大値を求めることができ、それらの値から参照特徴射影の推定値Ｑ_k が得られる。
【００７１】
また、より一般的な距離の場合でも、１次元の参照特徴ベクトルを用いていれば、非線形計画法によりボロノイ分割Ｖ_k から参照特徴射影の推定値Ｑ_k を求めることができる。線型計画法および非線形計画法による参照特徴射影の推定方法については、後述することにする。
【００７２】
以上のようにして求めた参照特徴分割要素Ｒ_i と、各文字カテゴリＣ_k に対する参照特徴射影Ｑ_k とを用いて、それぞれの参照特徴分割要素Ｒ_i と組にすべき候補カテゴリ集合Ｄ_i が求められる。
【００７３】
例えば、第２のパターン認識装置の場合と同様に、参照特徴分割要素Ｒ_i と参照特徴射影Ｑ_k が共通部分を持つような文字カテゴリＣ_k の集合を、その参照特徴分割要素Ｒ_iに対する候補カテゴリ集合Ｄ_i とすればよい。これにより、候補カテゴリ集合Ｄ_i は、参照特徴分割要素Ｒ_i に属する参照特徴ベクトルの値を持つ文字パターンが属する可能性のある文字カテゴリを列挙したものとなる。
【００７４】
図１２は、カテゴリのボロノイ分割と２次元の参照特徴空間の関係を示している。図１２の特徴空間７１において、各カテゴリに対するボロノイ分割Ａ，Ｂ，Ｃ，Ｄ，Ｅ，Ｆ，Ｇ，Ｈ，Ｉ，Ｊ，Ｋ，Ｌ，Ｍを参照特徴空間７２へ射影することにより、参照特徴空間７２における各ボロノイ分割の射影領域が得られる。この領域が参照特徴射影の推定値となる。
【００７５】
そして、各参照特徴分割要素に対して、その領域と各カテゴリの参照特徴射影との共通部分を求め、共通部分が存在するカテゴリの集合を、対応する候補カテゴリ集合とする。
【００７６】
ここでは、カテゴリＢ，Ｃ，Ｇ，Ｈ，Ｋの射影が参照特徴分割要素ｘと共通部分を持つので、図２のレコードと同様に、これらを要素とする集合（Ｂ，Ｃ，Ｇ，Ｈ，Ｋ）が参照特徴分割要素ｘに対応する候補カテゴリ集合となる。他の参照特徴分割要素ｙに対応する候補カテゴリ集合も、同様にして求められる。
【００７７】
候補テーブル６４は、参照特徴分割要素Ｒ_i と候補カテゴリ集合Ｄ_i の組により構成され、候補カテゴリ計算部６２は、第２のパターン認識装置の場合と同様に、候補テーブル６４を用いて、入力された特徴ベクトルから候補カテゴリ集合を求め、それを詳細分類部６３に渡す。
【００７８】
詳細分類部６３は、辞書６５を参照して、候補カテゴリ計算部６２により絞り込まれた候補カテゴリ集合に属する各文字カテゴリの代表特徴ベクトルを取り出す。そして、それらの各代表特徴ベクトルと入力された文字パターンに対する特徴ベクトルとの距離を計算し、距離が最小となるような文字カテゴリを推定文字カテゴリとして出力する。
【００７９】
このように、詳細分類で用いられる各文字カテゴリに対するボロノイ分割の参照特徴射影を求め、参照特徴分割要素と共通部分を持つ参照特徴射影に対応する文字カテゴリを候補カテゴリとすることで、詳細分類のために必要かつ十分な文字カテゴリから成る候補カテゴリ集合を求めることができる。
【００８０】
これにより、入力文字パターンが属すると推定できる候補カテゴリを、詳細分類の精度を保証しつつ、テーブル引きにより非常に高速に絞り込むことができ、詳細分類の対象文字カテゴリを大幅に削減することができる。したがって、高精度かつ高速にパターン認識を実行するパターン認識装置が実現される。
次に、図１０のパターン認識装置において、特徴ベクトルｆの２つの要素（ｆ₁ ，ｆ₂ ）を２次元の参照特徴ベクトルｒとする場合を考えてみる。参照特徴ベクトルｒの各要素のとり得る値の範囲を、ｆ₁ ∈［Ａ₁ ，Ｂ₁ ），ｆ₂ ∈［Ａ₂，Ｂ₂ ）とすると、矩形領域［Ａ₁ ，Ｂ₁ ）×［Ａ₂ ，Ｂ₂ ）が参照特徴空間となる。
【００８１】
候補テーブル６４の要素となる参照特徴分割要素として、参照特徴空間［Ａ₁，Ｂ₁ ）×［Ａ₂ ，Ｂ₂ ）を、格子状に分割したものを用いる。このため、次に示すように、区間［Ａ₁ ，Ｂ₁ ）をＬ₁ ＋１個の区間に分割し、区間［Ａ₂ ，Ｂ₂ ）をＬ₂ ＋１個の区間に分割する。
Ａ₁ ＝ｓ_-1＜ｓ₀ ＜ｓ₁ ＜ｓ₂ ＜・・・＜ｓ_L1＝Ｂ₁
Ａ₂ ＝ｔ_-1＜ｔ₀ ＜ｔ₁ ＜ｔ₂ ＜・・・＜ｔ_L2＝Ｂ₂
インデックスｉ，ｊを用いると、参照特徴分割要素Ｒ_{(i )} は、
Ｒ_{(i )} ＝矩形［ｓ_i-1 ，ｓ_i ）×［ｔ_j-1 ，ｔ_j ）
のように定義される。ここで、ｉ＝０，１，・・・，Ｌ₁ 、ｊ＝０，１，・・・，Ｌ₂ である。これにより、参照特徴分割要素Ｒ_{(i )} は２次元の矩形領域となる。例えば、図１３に示す２次元の参照特徴空間７４の場合は、Ｌ₁ ＝５、Ｌ₂＝３として、（５＋１）×（３＋１）＝２４個の参照特徴分割要素に分割されている。
【００８２】
次に、各文字カテゴリＣ_k に対するボロノイ分割Ｖ_k に属するすべての特徴ベクトルを取り出し、それらの参照特徴ベクトル（ｆ₁ ，ｆ₂ ）の値の範囲を、参照特徴射影の推定値Ｑ_k とする。そして、参照特徴分割要素Ｒ_{(i )} と参照特徴射影Ｑ_k が共通部分を持つような文字カテゴリＣ_k の集合を、その参照特徴分割要素Ｒ_{(i )} に対する候補カテゴリ集合Ｄ_{(i )} とする。
【００８３】
この場合、候補テーブル６４は、参照特徴分割要素Ｒ_{(i )} と候補カテゴリ集合Ｄ_{(i )} の組により構成される。特徴抽出部６１および詳細分類部６３の処理については、上述した通りである。
【００８４】
図１３の特徴空間７３においては、カテゴリＢ，Ｃ，Ｋの射影が参照特徴分割要素Ｘ＝［ｓ₂ ，ｓ₃ ）×［ｔ₀ ，ｔ₁ ）と共通部分を持つので、これらを要素とする集合（Ｂ，Ｃ，Ｋ）が参照特徴分割要素Ｘに対応する候補カテゴリ集合となる。また、カテゴリＧ，Ｈ，Ｋの射影が参照特徴分割要素Ｙ＝［ｓ₂ ，ｓ₃ ）×［ｔ₁ ，ｔ₂ ）と共通部分を持つので、これらを要素とする集合（Ｇ，Ｈ，Ｋ）が参照特徴分割要素Ｙに対応する候補カテゴリ集合となる。したがって、候補テーブル６４は、例えば、図１４に示すようになる。
【００８５】
候補カテゴリ計算部６２は、入力された特徴ベクトルの第１要素、第２要素の値がそれぞれｒ₁ 、ｒ₂ である場合、ｒ＝（ｒ₁ ，ｒ₂ ）を参照特徴ベクトルの値とし、まず、この値の属する参照特徴分割要素Ｒ_{(i )} を求める。参照特徴分割要素Ｒ_{(i )} は２次元の矩形領域であるから、値ｒがどの領域に属するかを判定するのは容易である。次に、候補テーブル６４を用いて、参照特徴分割要素Ｒ_{(i )} に対応する候補カテゴリ集合Ｄ_{(i )} を求めて、それを詳細分類部６３に渡す。
【００８６】
このように、参照特徴空間は１次元空間に限られず、一般に任意の次元の空間に設定することが可能である。ここで、参照特徴空間が２次元以上の場合の候補テーブルの作成方法をまとめておく。以下の例は、参照特徴空間が２次元の場合であるが、３次元以上の場合も同様にして候補テーブルを作成できる。
【００８７】
まず、参照特徴空間を各座標軸に垂直な直線で区切って格子状に分割し、各格子（升目）を参照特徴分割要素とする場合を考える。この場合、各格子の２次元インデックスを（ｉ，ｊ）として、対応する格子をＫ（ｉ，ｊ）で表すことにする。カテゴリＣの参照特徴空間への射影が、格子Ｋ（ｉ，ｊ）と共通部分を持つ場合には、カテゴリＣを、格子Ｋ（ｉ，ｊ）に対する候補カテゴリ集合Ｓ（ｉ，ｊ）の要素とする。
【００８８】
こうしてできた参照特徴空間の各格子Ｋ（ｉ，ｊ）と候補カテゴリ集合Ｓ（ｉ，ｊ）の組を、格子のインデックス（ｉ，ｊ）と候補カテゴリ集合に属する各カテゴリのインデックスを用いて表現し、候補テーブルとして保持する。
【００８９】
次に、参照特徴空間を量子化点を用いてボロノイ分割し、各ボロノイ領域を参照特徴分割要素とする場合を考える。この場合、参照特徴空間の各ボロノイ領域を代表する量子化点のインデックスをｉとして、各量子化点を（ｘ_i ，ｙ_i ）で表すことにする。カテゴリＣの参照特徴空間への射影が、量子化点（ｘ_i ，ｙ_i）のボロノイ領域Ｖ_i と共通部分を持つ場合には、カテゴリＣを、ボロノイ領域Ｖ_i に対する候補カテゴリ集合Ｓ（ｉ）の要素とする。
【００９０】
こうしてできた参照特徴空間の各ボロノイ領域Ｖ_i と候補カテゴリ集合Ｓ（ｉ）の組を、ボロノイ領域Ｖ_i を代表する量子化点のインデックスと候補カテゴリ集合に属する各カテゴリのインデックスを用いて表現し、候補テーブルとして保持する。
【００９１】
これらの例において、あるカテゴリの参照特徴空間への射影を求める方法としては、例えば、上述した２つの方法がある。１つは、学習用パターン集合（学習パターン）に対応する特徴ベクトルをそれぞれ参照特徴空間に射影することにより、参照特徴射影を推定する方法であり、もう１つは、詳細分類時の辞書に登録されている代表特徴ベクトルを用いたボロノイ分割をもとに、参照特徴射影を推定する方法である。
【００９２】
ここで、図１５から図１９までを参照しながら、これらの各推定方法を用いた候補テーブル作成処理のフローを説明する。
図１５は、学習パターンを用いた候補テーブル作成処理のフローチャートである。図１５のフローチャートは、１次元の参照特徴空間の場合について記述されているが、より高次元の参照特徴空間の場合についても同様である。
【００９３】
処理が開始されると、パターン認識装置は、まず、参照特徴空間における参照特徴分割要素Ｒ_i ＝［ｓ_i-1,ｓ_i ）をｉ＝０，１，・・・，Ｌについて求める（ステップＳ１）。次に、各カテゴリＣ_k （ｋ＝１，・・・，Ｋ）に対する参照特徴射影の推定値Ｑ_k ＝［ＭＩＮ_k ，ＭＡＸ_k ］を、学習パターンの参照特徴空間への射影を用いて求める（ステップＳ２）。
【００９４】
次に、各参照特徴分割要素Ｒ_i に対する候補カテゴリ集合Ｄ_i を、推定値Ｑ_k（ｋ＝１，・・・，Ｋ）から求める（ステップＳ３）。そして、各参照特徴分割要素Ｒ_i と候補カテゴリ集合Ｄ_i の組を候補テーブルに格納し（ステップＳ４）、処理を終了する。
【００９５】
図１６は、図１５のステップＳ２における参照特徴射影の推定処理のフローチャートである。処理が開始されると、パターン認識装置は、まず、カテゴリＣ_kに属する各学習パターンに対する参照特徴ベクトルｒを求め、それらの参照特徴ベクトルの集合Ｆ_k を生成する（ステップＳ１１）。
【００９６】
次に、集合Ｆ_k の要素の最小値ＭＩＮ_k と最大値ＭＡＸ_k を求め（ステップＳ１２）、閉区間［ＭＩＮ_k ，ＭＡＸ_k ］を推定値Ｑ_k として（ステップＳ１３）、図１５の処理に戻る。ここで、マージンＭを考慮する場合は、閉区間［ＭＩＮ_k −Ｍ，ＭＡＸ_k ＋Ｍ］を推定値Ｑ_k とすればよい。
【００９７】
図１７は、図１５のステップＳ３における候補カテゴリ集合生成処理のフローチャートである。処理が開始されると、パターン認識装置は、まず、候補カテゴリ集合Ｄ_i の初期値を空集合Φとし（ステップＳ２１）、制御変数ｋを１とおいて（ステップＳ２２）、参照特徴射影Ｑ_k と参照特徴分割要素Ｒ_i の積集合Ｘを求める（ステップＳ２３）。
【００９８】
次に、積集合Ｘが空集合かどうかを調べ（ステップＳ２４）、それが空集合でなければ、推定値Ｑ_k に対応するカテゴリＣ_k を候補カテゴリ集合Ｄ_i に加え（ステップＳ２５）、ｋの値をＫと比較する（ステップＳ２６）。ｋの値がＫより小さければ、ｋを１だけインクリメントし（ステップＳ２７）、ステップＳ２３以降の処理を繰り返す。
【００９９】
ステップＳ２４において積集合Ｘが空集合であれば、カテゴリＣ_k を候補カテゴリ集合Ｄ_i に加えずに、直ちにステップＳ２６の処理を行う。そして、ステップＳ２６においてｋの値がＫに達すると、図１５の処理に戻る。これにより、参照特徴分割要素Ｒ_i と参照特徴射影Ｑ_k が共通部分を持つようなカテゴリＣ_k が、もれなく候補カテゴリ集合Ｄ_i に加えられる。この処理は、各参照特徴分割要素Ｒ_i について行われる。
【０１００】
次に、図１８は、ボロノイ分割を用いた候補テーブル作成処理のフローチャートである。図１８のフローチャートは、１次元の参照特徴空間の場合について記述されているが、より高次元の参照特徴空間の場合についても同様である。
【０１０１】
処理が開始されると、パターン認識装置は、まず、参照特徴空間における参照特徴分割要素Ｒ_i ＝［ｓ_i-1,ｓ_i ）をｉ＝０，１，・・・，Ｌについて求める（ステップＳ３１）。次に、各カテゴリＣ_k （ｋ＝１，・・・，Ｋ）に対する参照特徴射影の推定値Ｑ_k ＝［ＭＩＮ_k ，ＭＡＸ_k ］を、特徴空間のボロノイ分割をもとに線形計画法を用いて求める（ステップＳ３２）。
【０１０２】
次に、図１７の候補カテゴリ集合生成処理と同様にして、各参照特徴分割要素Ｒ_i に対する候補カテゴリ集合Ｄ_i を、推定値Ｑ_k （ｋ＝１，・・・，Ｋ）から求める（ステップＳ３３）。そして、各参照特徴分割要素Ｒ_i と候補カテゴリ集合Ｄ_i の組を候補テーブルに格納し（ステップＳ３４）、処理を終了する。
【０１０３】
図１９は、図１８のステップＳ３２における参照特徴射影の推定処理のフローチャートである。処理が開始されると、パターン認識装置は、まず、辞書に登録されたカテゴリＣ_k に対する代表特徴ベクトルＥ_k と、それ以外のカテゴリＣ_j（ｊ＝１，・・・，Ｋ；ｊ≠ｋ）に対する代表特徴ベクトルＥ_j とから等距離にある平面（等距離面）の方程式を求める（ステップＳ４１）。ただし、特徴空間はＮ次元空間であるものとする。
【０１０４】
特徴空間における距離としてユークリッド距離を用いる場合には、ボロノイ分割Ｖ_k は特徴空間内の超凸多面体となり、複数の超平面により囲まれた特徴空間内の部分集合であるといえる。したがって、２つの代表ベクトルからの等距離面である超平面は、それぞれ、特徴ベクトルｆ＝（ｆ₁ ，ｆ₂ ，・・・，ｆ_N ）を変数とする線形方程式で記述される。
【０１０５】
次に、得られた超平面の方程式を用いて、カテゴリＣ_k に対するボロノイ分割Ｖ_k の満たす連立線形不等式を求める（ステップＳ４２）。この連立線形不等式は、例えば、次式のように記述される。
【０１０６】
【数１】

【０１０７】
次に、特徴ベクトルｆとある方向ベクトルｈ＝（ｈ₁ ，ｈ₂ ，・・・，ｈ_N ）との内積を、１次元の参照特徴ベクトル（参照特徴）ｒとする（ステップＳ４３）。このとき、
ｒ＝ｈ₁ ｆ₁ ＋ｈ₂ ｆ₂ ＋・・・＋ｈ_N ｆ_N
となり、参照特徴ｒは、特徴ベクトルｆの各要素の線形結合で表現される。
【０１０８】
したがって、参照特徴射影Ｑ_k を求める問題は、上記連立線形不等式を満たすような線形結合ｒの最小値・最大値を求める線形計画問題に帰着される。この問題は、公知の線形計画法で解くことができる。
【０１０９】
そこで、線形計画法を用いて、得られた連立不等式の制約のもとで、参照特徴ｒの最小値ＭＩＮ_k と最大値ＭＡＸ_k を求め（ステップＳ４４）、閉区間［ＭＩＮ_k ，ＭＡＸ_k ］を参照特徴射影の推定値Ｑ_k として（ステップＳ４５）、図１８の処理に戻る。
【０１１０】
ここでは、推定処理に線形計画法を用いるものとしたが、より一般的には、非線形計画法を用いて、１次元区間の最小値・最大値を求めることができる。この場合は、特徴ベクトルの要素からある非線形関数Ｒにより得られる次のような値を、参照特徴ｒとする。
ｒ＝Ｒ（ｆ₁ ，ｆ₂ ，・・・，ｆ_N ）
このとき、ボロノイ分割は特徴空間内の超凸曲面で囲まれた特徴空間内の部分集合となる。したがって、文字カテゴリＣ_k に対するボロノイ分割Ｖ_k は、次のような連立非線形不等式により記述できる。
【０１１１】
【数２】

【０１１２】
したがって、参照特徴射影Ｑ_k を求める問題は、上記連立不等式を満たすような参照特徴ｒの最小値・最大値を求める非線形計画問題に帰着される。非線形計画問題のコンピュータによる数値計算手法は数理計画法の一分野として広く知られており、それを用いてこの問題を解くことができる。
【０１１３】
以上説明した実施形態においては、候補カテゴリを求めるために１種類の参照特徴ベクトルを用いているが、１つの特徴ベクトルから計算される複数の参照特徴ベクトルを用いて、対応する複数の候補カテゴリ集合を求め、それらの論理積を出力する構成も考えられる。
【０１１４】
この場合、様々な参照特徴ベクトルに対応する複数の候補テーブルを用意し、各候補テーブル毎に候補カテゴリ計算部を設ける。各候補カテゴリ計算部は、特定の種類の参照特徴ベクトルの値を入力とし、対応する候補テーブルを参照して、対応する候補カテゴリ集合を出力する。さらに、これらの候補カテゴリ集合の論理積を計算する候補カテゴリ絞り込み部を設け、候補カテゴリ集合を段階的に絞り込んで出力する。
【０１１５】
図２０は、２種類の参照特徴ベクトルを用いて、２段階の候補カテゴリ計算を実行する第４のパターン認識装置の構成図である。図２０のパターン認識装置は、参照特徴ベクトル計算部８１、候補テーブル８２、８３、候補カテゴリ計算部８４、８５、および候補カテゴリ絞り込み部８６を備える。
【０１１６】
参照特徴ベクトル計算部８１は、入力されたＮ次元の特徴ベクトルｆから、２つの参照特徴ベクトルｒ₁ ，ｒ₂ を計算する。第１段階の候補カテゴリ計算部８４は、参照特徴ベクトルｒ₁ を入力とし、あらかじめ保持された候補テーブル８２を用いて、候補カテゴリ集合Ｄ₁ （ｒ₁ ）を出力する。また、第２段階の候補カテゴリ計算部８５は、参照特徴ベクトルｒ₂ を入力とし、あらかじめ保持された候補テーブル８３を用いて、候補カテゴリ集合Ｄ₂ （ｒ₂ ）を出力する。
【０１１７】
候補カテゴリ絞り込み部８６は、２つの候補カテゴリ集合Ｄ₁ （ｒ₁ ），Ｄ₂（ｒ₂ ）を入力として、それらの積集合Ｄ₁ （ｒ₁ ）∩Ｄ₂ （ｒ₂ ）を求め、それを最終的な候補カテゴリ集合として出力する。
【０１１８】
参照特徴ベクトル計算部８１は、例えば、特徴ベクトルｆの第１の要素ｆ₁ を１次元の参照特徴ベクトルｒ₁ として、特徴ベクトルｆの第２の要素ｆ₂ を１次元の参照特徴ベクトルｒ₂ として出力する。各参照特徴ベクトルのとり得る値の範囲をＡ₁ ≦ｒ₁ ＜Ｂ₁ ，Ａ₂ ≦ｒ₂ ＜Ｂ₂ とすると、区間［Ａ₁ ，Ｂ₁ ）が第１の参照特徴空間、区間［Ａ₂ ，Ｂ₂ ）が第２の参照特徴空間となる。
【０１１９】
ここでは、候補テーブルの要素となる参照特徴分割要素として、各参照特徴空間を格子状に分割したものを用いることにする。参照特徴空間［Ａ₁ ，Ｂ₁ ）および［Ａ₂ ，Ｂ₂ ）はともに１次元であるから、それらを、それぞれ次のようにＬ₁ 個、Ｌ₂ 個の区間に分割し、各区間を参照特徴分割要素とする。
Ａ₁ ＝ｓ₀ ＜ｓ₁ ＜ｓ₂ ＜・・・＜ｓ_L1＝Ｂ₁
Ａ₂ ＝ｔ₀ ＜ｔ₁ ＜ｔ₂ ＜・・・＜ｔ_L2＝Ｂ₂
これにより、参照特徴空間［Ａ₁ ，Ｂ₁ ）のそれぞれの区間［ｓ_i-1 ，ｓ_i ）が、参照特徴ベクトルｒ₁ に対する参照特徴分割要素Ｒ_1iとなる。ここで、ｉ＝１，・・・，Ｌ₁ である。また、参照特徴空間［Ａ₂ ，Ｂ₂ ）のそれぞれの区間［ｔ_j-1 ，ｔ_j ）が、参照特徴ベクトルｒ₂ に対する参照特徴分割要素Ｒ_2jとなる。ここで、ｊ＝１，・・・，Ｌ₂ である。
【０１２０】
それぞれの参照特徴分割要素Ｒ_1iあるいはＲ_2jに対する候補カテゴリ集合は、学習用特徴ベクトル集合を用いて各カテゴリに対する参照特徴射影を推定することにより求められる。学習用特徴ベクトル集合は、各カテゴリに属する特徴ベクトルを十分な数だけ含んでいるものとする。特定のカテゴリＣ_k に対する参照特徴射影の推定方法は、以下の通りである。
【０１２１】
まず、学習用特徴ベクトル集合に属するカテゴリＣ_k に対する特徴ベクトルの集合から、特徴ベクトルの第１の要素ｆ₁ の集合Ｆ_1kを求める。この集合Ｆ_1kは、カテゴリＣ_k の第１の参照特徴射影を近似する分布を形成する。この集合Ｆ_1kの要素の最小値ＭＩＮ（Ｆ_1k）および最大値ＭＡＸ（Ｆ_1k）を求め、さらに特定のマージンＭを考慮して、カテゴリＣ_k の第１の参照特徴射影の推定値Ｑ_1kを、Ｑ_1k＝［ＭＩＮ（Ｆ_1k）−Ｍ，ＭＡＸ（Ｆ_1k）＋Ｍ］
とする。
【０１２２】
第２の参照特徴射影の推定も同様にして行う。まず、学習用特徴ベクトル集合に属するカテゴリＣ_k に対する特徴ベクトルの集合から、特徴ベクトルの第２の要素ｆ₂ の集合Ｆ_2kを求める。この集合Ｆ_2kは、カテゴリＣ_k の第２の参照特徴射影を近似する分布を形成する。この集合Ｆ_2kの要素の最小値ＭＩＮ（Ｆ_2k）および最大値ＭＡＸ（Ｆ_2k）を求め、さらに特定のマージンＭを考慮して、カテゴリＣ_k の第２の参照特徴射影の推定値Ｑ_2kを、
Ｑ_2k＝［ＭＩＮ（Ｆ_2k）−Ｍ，ＭＡＸ（Ｆ_2k）＋Ｍ］
とする。
【０１２３】
そして、このようにして得られた参照特徴分割要素Ｒ_1i，Ｒ_2jと、各カテゴリＣ_k に対する参照特徴射影Ｑ_1k，Ｑ_2kとを用いて、参照特徴分割要素Ｒ_1i，Ｒ_2jとそれぞれ組にすべき候補カテゴリ集合Ｄ₁ （ｒ₁ ）＝Ｄ_1i，Ｄ₂ （ｒ₂ ）＝Ｄ_2jを、次のようにして求める。
【０１２４】
参照特徴分割要素Ｒ_1iと、対応する参照特徴射影Ｑ_1kが共通部分を持つようなカテゴリＣ_k の集合を、その参照特徴分割要素Ｒ_1iに対する候補カテゴリ集合Ｄ_1iとする。これにより、参照特徴分割要素Ｒ_1iに属する参照特徴ベクトルの値を持つ特徴ベクトルが属する可能性のあるカテゴリを列挙したものが、候補カテゴリ集合Ｄ_1iとなる。
【０１２５】
同様にして、参照特徴分割要素Ｒ_2jと、対応する参照特徴射影Ｑ_2kが共通部分を持つようなカテゴリＣ_k の集合を、その参照特徴分割要素Ｒ_2jに対する候補カテゴリ集合Ｄ_2jとする。これにより、参照特徴分割要素Ｒ_2jに属する参照特徴ベクトルの値を持つ特徴ベクトルが属する可能性のあるカテゴリを列挙したものが、候補カテゴリ集合Ｄ_2jとなる。
【０１２６】
候補カテゴリ計算部８４が参照する候補テーブル８２は、参照特徴分割要素Ｒ_1iと候補カテゴリ集合Ｄ_1iの組により構成される。同様にして、候補カテゴリ計算部８５が参照する候補テーブル８３は、参照特徴分割要素Ｒ_2jと候補カテゴリ集合Ｄ_2jの組により構成される。
【０１２７】
候補カテゴリ計算部８４は、与えられた参照特徴ベクトルの値がｒ₁ である場合、まず、この値ｒ₁ の属する参照特徴分割要素Ｒ_1iを求める。次に、候補テーブル８２を用いて、参照特徴分割要素Ｒ_1iに対応する候補カテゴリ集合Ｄ_1iを求めて、それを出力する。出力された候補カテゴリ集合Ｄ_1iには、入力特徴ベクトルの属するカテゴリが含まれていることが期待できる。
【０１２８】
同様にして、候補カテゴリ計算部８５は、与えられた参照特徴ベクトルの値がｒ₂ である場合、まず、この値ｒ₂ の属する参照特徴分割要素Ｒ_2jを求める。次に、候補テーブル８３を用いて、参照特徴分割要素Ｒ_2jに対応する候補カテゴリ集合Ｄ_2jを求めて、それを出力する。出力された候補カテゴリ集合Ｄ_2jには、入力特徴ベクトルの属するカテゴリが含まれていることが期待できる。
【０１２９】
そして、候補カテゴリ絞り込み部８６は、２つの候補カテゴリ集合Ｄ_1i，Ｄ_2jの積集合Ｄ_1i∩Ｄ_2jを求めて、それを最終的な候補カテゴリ集合とする。候補カテゴリ絞り込み部８６から出力された候補カテゴリ集合には、入力特徴ベクトルの属するカテゴリが依然属していると推定でき、かつ、その要素数は元の２つの候補カテゴリ集合Ｄ_1i，Ｄ_2jよりも少なくなっている。したがって、候補カテゴリ絞り込み部８６は、候補カテゴリ集合を段階的に絞り込む役割を果たしていることが分かる。
【０１３０】
このようなパターン認識装置によれば、１次元の参照特徴ベクトルを２つ用いているために、１次元の参照特徴ベクトルが１つの場合より、候補カテゴリ数を減らすことができる。また、２次元の参照特徴ベクトルを１つ用いる場合に比べて、参照特徴分割要素の数が大幅に低減されるため、候補テーブルを保持するために必要な記憶容量を節約することができる。
【０１３１】
このように、比較的低次元の参照特徴ベクトルを複数用いることで、高精度かつ高速にパターン認識を実行するパターン認識装置を、十分実用的な記憶容量で実現することが可能である。このような複数の候補カテゴリ集合を求める処理は、逐次的に行ってもよいが、並列に行えばさらに処理時間が軽減される。
【０１３２】
ところで、本発明のパターン認識装置が認識精度をほとんど低下させないといえる理由を説明しておく。本発明による高速分類を行った後には、通常、元の特徴ベクトルの距離計算を用いた詳細分類をさらに行って、入力パターンのカテゴリを特定する。
【０１３３】
認識精度の低下がゼロであるとは、出力された候補カテゴリ集合の累積認識精度が、後段で行うであろう詳細分類の精度を保証する（落とさない）という意味である。ここで、累積認識精度とは、候補カテゴリ集合のどれか一つに入力パターンの真のカテゴリが含まれている確率を指す。したがって、理想的には、累積認識精度は常に１００％であることが望ましい。
【０１３４】
実際には、出力された候補カテゴリ集合の累積認識精度が１００％であることは必ずしも要求されず、後段で行われる詳細分類の精度以上であればよい。したがって、十分な数の候補カテゴリを含む候補カテゴリ集合を候補テーブルに登録しておくことで、実用上は精度低下がゼロであるようなパターン認識装置が実現される。
【０１３５】
もし、候補カテゴリ集合の中に真のカテゴリが存在しない場合、つまり分類誤りを起こした場合には、詳細分類でも同様の分類誤りを起こすであろうから、最終的な累積認識精度は変わらないと考えられる。この意味において、本発明による高速分類は、与えられた詳細分類の制約をうまく利用して、精度低下なしの高速化を実現している。
【０１３６】
本発明で用いる参照特徴ベクトルは、必ずしも上述したような特徴ベクトルの部分ベクトルである必要はなく、特徴ベクトルから計算可能な任意のベクトルを参照特徴ベクトルとして用いることができる。例えば、図２３に示したパターン認識装置で用いている圧縮特徴ベクトルもその１つである。
【０１３７】
図２１は、圧縮特徴ベクトルを参照特徴ベクトルとして候補カテゴリ集合を求め、それに対して詳細分類を行う第５のパターン認識装置の構成図である。図２１のパターン認識装置は、特徴抽出部９１、特徴圧縮部９２、候補カテゴリ計算部９３、詳細分類部９４、候補テーブル９５、および辞書９６を備える。
【０１３８】
特徴抽出部９１は、入力パターンから特徴ベクトルを抽出し、特徴圧縮部９２は、特徴ベクトルに適当な変換を施して、次元数のより小さな圧縮特徴ベクトルを生成する。次に、候補カテゴリ計算部９３は、候補テーブル９５を参照して、与えられた圧縮特徴ベクトルに対応する候補カテゴリ集合を求める。
【０１３９】
詳細分類部９４は、候補カテゴリ計算部９３により出力された候補カテゴリ集合のそれぞれの候補カテゴリに対して、辞書９６に保持された代表特徴ベクトルと、入力パターンの特徴ベクトルとの距離を計算する。そして、距離の小さな順に候補カテゴリを並び換えて、最短距離のものから指定された数だけのカテゴリの列を出力する。
【０１４０】
このようなパターン認識装置によれば、特徴圧縮に用いる変換を適当に選ぶことで、所望の参照特徴ベクトルを生成することができ、それに対応した候補テーブルを用いて、より効果的に候補カテゴリ集合を絞り込むことができる。また、特徴圧縮の結果得られた圧縮特徴ベクトルを直接用いて距離計算を行うのではなく、それを候補テーブルを引くための参照値として用いるため、原理的には処理精度の低下を招かない。
【０１４１】
次に、図２２は、圧縮特徴ベクトルを参照特徴ベクトルとして候補カテゴリ集合を求め、それに対して大分類および詳細分類を行う第６のパターン認識装置の構成図である。図２２のパターン認識装置は、特徴抽出部１０１、特徴圧縮部１０２、候補カテゴリ計算部１０３、大分類部１０４、詳細分類部１０５、候補テーブル１０６、圧縮特徴辞書１０７、および辞書１０８を備える。
【０１４２】
特徴抽出部１０１、特徴圧縮部１０２、候補カテゴリ計算部１０３、および候補テーブル１０６の機能については、それぞれ、図２１の特徴抽出部９１、特徴圧縮部９２、候補カテゴリ計算部９３、および候補テーブル９５と同様である。
【０１４３】
大分類部１０４は、候補カテゴリ計算部１０３により出力された候補カテゴリ集合のそれぞれの候補カテゴリに対して、圧縮特徴辞書１０７に保持された圧縮特徴ベクトルと、入力パターンの圧縮特徴ベクトルとの距離を計算する。そして、距離の小さな順に候補カテゴリを並び換えて、最短距離のものから指定された数だけのカテゴリの列を候補カテゴリ集合として出力する。
【０１４４】
詳細分類部１０５は、大分類部１０４により出力された候補カテゴリ集合のそれぞれの候補カテゴリに対して、辞書１０８に保持された代表特徴ベクトルと、入力パターンの特徴ベクトルとの距離を計算する。そして、距離の小さな順に候補カテゴリを並び換えて、最短距離のものから指定された数だけのカテゴリの列を出力する。
【０１４５】
このようなパターン認識装置によれば、候補カテゴリ計算部１０３により出力された候補カテゴリ集合を、大分類部１０４がさらに絞り込んで詳細分類部１０５に渡すため、詳細分類の対象となる候補カテゴリがより限定され、処理が高速化される。
【０１４６】
図２１および図２２のパターン認識装置においては、圧縮特徴ベクトルをそのまま参照特徴ベクトルとしているが、代わりに圧縮特徴ベクトルの部分特徴ベクトルを参照特徴ベクトルとして用いてもよい。この場合、参照特徴ベクトルの次元数がさらに削減され、処理が高速化される。
【０１４７】
特徴ベクトルから圧縮特徴ベクトルを生成する変換としては、線形変換を用いることができる。線形変換は、変換行列とベクトルとの積という比較的単純な計算により特徴ベクトルを圧縮するため、非線形変換と比較して、計算効率が良い。線形変換を用いた特徴圧縮方法としては、正準判別分析、主成分分析等が知られている。
【０１４８】
正準判別分析では、カテゴリ毎に与えられたサンプルパターンのＮ次元の特徴ベクトルから、カテゴリ間分散行列とカテゴリ内分散行列を計算し、それらの分散行列を用いて固有ベクトルを求めておく。そして、それらのうちＭ個（Ｍ＜Ｎ）の固有ベクトルを選択して、Ｍ次元の空間を定義する。未知のパターンが入力されると、その特徴ベクトルと各固有ベクトルの内積を計算し、それらの値を要素とするＭ次元の圧縮特徴ベクトルを生成する。
【０１４９】
この分析法では、カテゴリ間分散を大きくし、かつ、カテゴリ内分散を小さくするように、Ｎ次元の平均特徴ベクトルが、Ｍ個の固有ベクトルによって規定されるＭ本の座標軸へ射影される。これにより、特徴圧縮後のＭ次元の空間において、異なる種類のパターン同士は離れ、同じ種類のパターン同士は近付くような変換が行われる。
【０１５０】
一方、主成分分析では、各カテゴリが相互に離れるような主成分ベクトルの組が、各カテゴリ毎に計算される。そして、各カテゴリ毎に主成分ベクトルを座標軸とする個別の新たな空間が生成され、入力パターンの特徴ベクトルを各カテゴリの主成分ベクトルに射影することで、圧縮特徴ベクトルが生成される。入力パターンと各カテゴリとの距離は、圧縮特徴ベクトルを用いて計算される。
【０１５１】
この分析法によれば、特徴空間内の近接した領域で類似するカテゴリが存在するときに、認識対象パターンの特徴ベクトルをそれぞれのカテゴリに対応する主成分ベクトルに射影させることで、より正確な認識結果が得られる。この分析法は、主として、カテゴリが少なく似通った文字パターンの判別等に用いられている。
【０１５２】
以上説明した実施形態において、ボロノイ分割の生成処理、候補カテゴリの大分類処理および詳細分類処理では、ベクトル間の距離計算を必要とする。このとき、一般的なユークリッド距離のほかにも、任意の距離を定義して用いることが可能である。例えば、公知のシティブロック距離、マハラノビス距離、疑似マハラノビス距離、ベイズ識別関数（Bayes discriminant function ）、疑似ベイズ識別関数（Modified Bayes discriminant function）等を用いてもよい。
【０１５３】
ここで、ベクトルｇ＝（ｇ₁ ，ｇ₂ ，・・・，ｇ_n ）とベクトルｐ＝（ｐ₁ ，ｐ₂ ，・・・，ｐ_n ）の間の各距離は、次のように定義される。
［シティブロック距離］
【０１５４】
【数３】

【０１５５】
［マハラノビス距離］
Ｄ_m （ｇ，ｐ）＝（ｇ−ｐ）^T Σ_j ^-1（ｇ−ｐ）
ここで、ｐは特定のカテゴリの学習パターンｐ_i （ｉ＝１，２，３，・・・，Ｎ）の平均であり、Σ_j ^-1は次式で定義される共分散行列（分散共分散行列ともいう）である。
Σ_j ＝（１／Ｎ）Σ（ｐ_i −ｐ）（ｐ_i −ｐ）^T
Σ_j の固有値をλ₁ ，λ₂ ，・・・，λ_n （λ₁ ＞λ₂ ＞・・・＞λ_n ）とし、対応する固有ベクトルをそれぞれφ₁ ，φ₂ ，・・・，φ_n とし、
Φ＝（φ₁ ，φ₂ ，・・・，φ_n ）
とすると、Ｄ_m （ｇ，ｐ）は、次のように書ける。
【０１５６】
【数４】

【０１５７】
［疑似マハラノビス距離］
【０１５８】
【数５】

【０１５９】
ただし、
λ_i ＝λ（一定） （ｍ＜＜ｎ， ｍ＋１≦ｉ≦ｎ）
この疑似マハラノビス距離は、マハラノビス距離の実用上の問題（計算量と計算精度）を解決するために提案されたものであり、後述する疑似ベイズ識別関数の考え方に基づくものである。
［ベイズ識別関数］
ｆ（ｇ）＝（ｇ−ｐ）^T Σ^-1（ｇ−ｐ）＋ｌｎ｜Σ｜
このベイズ識別関数（２次識別関数）はベクトルｇとベクトルｐの距離を表しており、対象が正規分布に従い、特徴ベクトルの平均と共分散行列が既知の場合、最適識別関数となる。
［疑似ベイズ識別関数］
【０１６０】
【数６】

【０１６１】
この疑似ベイズ識別関数は、複雑な文字パターン等の識別において、高次の固有ベクトルに関する計算精度の問題を解決するために考え出された関数である。
これらの距離は、カテゴリ特徴集合が正規分布に従って分布しており、各カテゴリの出現確率が同一の場合を仮定している。各カテゴリの分布の共分散行列の行列式が同一の場合には、マハラノビス距離または疑似マハラノビス距離に基づいて詳細分類が行われ、それらが同一でない一般的な場合には、疑似ベイズ識別関数に基づいて詳細分類が行われる。
【０１６２】
また、本発明は、文字パターンのみならず、２次元図形、３次元物体、人間の顔の画像を含む任意のパターンを認識する技術に適用可能である。
【０１６３】
【発明の効果】
本発明によれば、任意のパターンの認識処理において候補テーブルを用いることで、認識精度の低下を最小限に抑えつつ、カテゴリ分類の高速化を果たすことができる。特に、詳細分類用の辞書に登録された各カテゴリと同様の分割に基づいて候補テーブルを作成すれば、詳細分類の精度を低下させないようにすることが可能である。
【図面の簡単な説明】
【図１】本発明のパターン認識装置の原理図である。
【図２】候補テーブルのレコードを示す図である。
【図３】カテゴリと参照特徴空間を示す図である。
【図４】情報処理装置の構成図である。
【図５】候補テーブルの構造を示す図である。
【図６】第１のパターン認識装置の構成図である。
【図７】第２のパターン認識装置の構成図である。
【図８】第１の参照特徴空間を示す図である。
【図９】第１の候補テーブルを示す図である。
【図１０】第３のパターン認識装置の構成図である。
【図１１】ボロノイ分割を示す図である。
【図１２】第２の参照特徴空間を示す図である。
【図１３】第３の参照特徴空間を示す図である。
【図１４】第２の候補テーブルを示す図である。
【図１５】学習パターンを用いた候補テーブル作成処理のフローチャートである。
【図１６】学習パターンを用いた推定処理のフローチャートである。
【図１７】候補カテゴリ集合生成処理のフローチャートである。
【図１８】ボロノイ分割を用いた候補テーブル作成処理のフローチャートである。
【図１９】ボロノイ分割を用いた推定処理のフローチャートである。
【図２０】第４のパターン認識装置の構成図である。
【図２１】第５のパターン認識装置の構成図である。
【図２２】第６のパターン認識装置の構成図である。
【図２３】従来のパターン認識装置の構成図である。
【符号の説明】
１、５１、６１、９１、１０１ 特徴抽出部
２、９２、１０２ 特徴圧縮部
３、１０４ 大分類部
４、１０７ 圧縮特徴辞書
１１ テーブル記憶手段
１２ 候補カテゴリ計算手段
１３、４１、５３、６４、８２、８３、９５、１０６ 候補テーブル
２１、５４、７１、７３ 特徴空間
２２、５５、７２、７４ 参照特徴空間
３１ ＣＰＵ
３２ メモリ
３３ 入力装置
３４ 出力装置
３５ 外部記憶装置
３６ 媒体駆動装置
３７ ネットワーク接続装置
３８ 光電変換装置
３９ バス
４０ 可搬記録媒体
４０′ 外部の装置
４２、５２、６２、８４、８５、９３、１０３ 候補カテゴリ計算部
６３、９４、１０５ 詳細分類部
６５、９６、１０８ 辞書
８１ 参照特徴ベクトル計算部
８６ 候補カテゴリ絞り込み部

Claims (28)

1. パターンの特徴ベクトルから計算される参照特徴ベクトルの値の集合から成る参照特徴空間を２つ以上に分割して得られる各部分集合を参照特徴分割要素として、該参照特徴分割要素と候補カテゴリ集合の組の情報を含む候補テーブルを記憶するテーブル記憶手段と、
   与えられた参照特徴ベクトルの値を含む参照特徴分割要素を求め、前記候補テーブルを用いて、得られた参照特徴分割要素に対応する候補カテゴリ集合を求め、得られた候補カテゴリ集合を出力する候補カテゴリ計算手段とを備え、
   学習用パターン集合から得られる参照特徴ベクトルの値の分布を用いて、各カテゴリに対応する特徴ベクトルの集合を前記参照特徴空間へ射影したときの射影範囲の推定を行い、得られた推定値を用いて、前記候補テーブルが作成されることを特徴とするパターン認識装置。
2. パターンの特徴ベクトルから計算される参照特徴ベクトルの値の集合から成る参照特徴空間を２つ以上に分割して得られる各部分集合を参照特徴分割要素として、該参照特徴分割要素と候補カテゴリ集合の組の情報を含む候補テーブルを記憶するテーブル記憶手段と、
   与えられた参照特徴ベクトルの値を含む参照特徴分割要素を求め、前記候補テーブルを用いて、得られた参照特徴分割要素に対応する候補カテゴリ集合を求め、得られた候補カテゴリ集合を出力する候補カテゴリ計算手段とを備え、
   辞書に登録されている各カテゴリの代表特徴ベクトルに基づく特徴空間のボロノイ分割要素を、前記参照特徴空間へ射影したときの射影範囲の推定を行い、得られた推定値を用いて、前記候補テーブルが作成されることを特徴とするパターン認識装置。
3. 前記パターンの特徴ベクトルから前記参照特徴ベクトルを計算する参照特徴ベクトル計算手段をさらに備えることを特徴とする請求項１または２記載のパターン認識装置。
4. 前記参照特徴ベクトル計算手段は、前記パターンの特徴ベクトルの１つ以上の部分特徴ベクトルを、１つ以上の参照特徴ベクトルとして出力することを特徴とする請求項３記載のパターン認識装置。
5. 前記テーブル記憶手段は、前記参照特徴空間を格子状に区切って得られる前記参照特徴分割要素の情報を保持することを特徴とする請求項１または２記載のパターン認識装置。
6. 前記候補テーブルは、前記参照特徴分割要素と前記推定値の共通部分が存在するとき、該推定値に対応するカテゴリを、該参照特徴分割要素に対応する候補カテゴリ集合の要素として、作成されることを特徴とする請求項１または２記載のパターン認識装置。
7. 前記候補テーブルは、各カテゴリに対応する１次元の参照特徴空間への射影の推定値として、１次元の参照特徴ベクトルの値の最小値および最大値を求めることで、作成されることを特徴とする請求項１または２記載のパターン認識装置。
8. 前記候補テーブルは、前記ボロノイ分割要素の満たす連立線形不等式を用いて求められた前記推定値に基づいて、作成されることを特徴とする請求項２記載のパターン認識装置。
9. 前記候補テーブルは、前記ボロノイ分割要素の満たす連立非線形不等式を用いて求められた前記推定値に基づいて、作成されることを特徴とする請求項２記載のパターン認識装置。
10. 入力パターンから前記パターンの特徴ベクトルを生成する特徴抽出手段をさらに備えることを特徴とする請求項１または２記載のパターン認識装置。
11. 各カテゴリの代表特徴ベクトルを登録した詳細分類辞書を記憶する辞書記憶手段と、前記候補カテゴリ集合に含まれる各候補カテゴリの代表特徴ベクトルを前記詳細分類辞書を用いて求め、該候補カテゴリの代表特徴ベクトルと前記パターンの特徴ベクトルとの距離を求め、該距離の小さな順に所定数の候補カテゴリを出力する詳細分類手段とをさらに備えることを特徴とする請求項１または２記載のパターン認識装置。
12. 前記パターンの特徴ベクトルにあらかじめ決められた変換を施して、次元数のより小さな圧縮特徴ベクトルを生成する特徴圧縮手段をさらに備え、前記候補カテゴリ計算手段は、与えられた圧縮特徴ベクトルの値から計算される前記参照特徴ベクトルの値を用いて、前記候補カテゴリ集合を求めることを特徴とする請求項１または２記載のパターン認識装置。
13. 前記候補カテゴリ計算手段は、前記圧縮特徴ベクトルの部分特徴ベクトルを前記参照特徴ベクトルとして用いることを特徴とする請求項１２記載のパターン認識装置。
14. 各カテゴリの圧縮特徴ベクトルを登録した圧縮特徴辞書を記憶する辞書記憶手段と、前記候補カテゴリ集合に含まれる各候補カテゴリの圧縮特徴ベクトルを前記圧縮特徴辞書を用いて求め、該候補カテゴリの圧縮特徴ベクトルと前記特徴圧縮手段から出力される圧縮特徴ベクトルとの距離を求め、該距離の小さな順に所定数の候補カテゴリを出力する大分類手段とをさらに備えることを特徴とする請求項１２記載のパターン認識装置。
15. 前記大分類手段は、前記距離の定義として、ユークリッド距離、シティブロック距離、マハラノビス距離、疑似マハラノビス距離、ベイズ識別関数、および疑似ベイズ識別関数のうちの１つを用いることを特徴とする請求項１４記載のパターン認識装置。
16. 各カテゴリの代表特徴ベクトルを登録した詳細分類辞書を記憶する辞書記憶手段と、前記大分類手段により出力される各候補カテゴリの代表特徴ベクトルを前記詳細分類辞書を用いて求め、該候補カテゴリの代表特徴ベクトルと前記パターンの特徴ベクトルとの距離を求め、該距離の小さな順に所定数の候補カテゴリを出力する詳細分類手段とをさらに備えることを特徴とする請求項１４記載のパターン認識装置。
17. 前記詳細分類手段は、前記距離の定義として、ユークリッド距離、シティブロック距離、マハラノビス距離、疑似マハラノビス距離、ベイズ識別関数、および疑似ベイズ識別関数のうちの１つを用いることを特徴とする請求項１６記載のパターン認識装置。
18. 前記特徴圧縮手段は、線形変換を用いて前記圧縮特徴ベクトルを生成することを特徴とする請求項１２記載のパターン認識装置。
19. 前記特徴圧縮手段は、特徴空間の主成分分析により前記線形変換を求めることを特徴とする請求項１８記載のパターン認識装置。
20. 前記特徴圧縮手段は、特徴空間の正準判別分析により前記線形変換を求めることを特徴とする請求項１８記載のパターン認識装置。
21. 前記パターンは、文字、人間の顔、３次元物体、および２次元図形のうち少なくとも１つの情報に対応することを特徴とする請求項１または２記載のパターン認識装置。
22. パターンの特徴ベクトルから計算される参照特徴ベクトルの値の集合から成る参照特徴空間を２つ以上に分割して得られる各部分集合を参照特徴分割要素として、該参照特徴分割要素と候補カテゴリ集合の組の情報を含む候補テーブルをそれぞれ記憶する複数のテーブル記憶手段と、
    前記複数のテーブル記憶手段のそれぞれに対応して設けられ、与えられた参照特徴ベクトルの値を含む参照特徴分割要素を求め、前記候補テーブルを用いて、得られた参照特徴分割要素に対応する候補カテゴリ集合を求め、得られた候補カテゴリ集合をそれぞれ出力する複数の候補カテゴリ計算手段と、
    前記複数の候補カテゴリ計算手段から出力された複数の候補カテゴリ集合を絞り込んで出力するカテゴリ絞り込み手段とを備え、
    学習用パターン集合から得られる参照特徴ベクトルの値の分布を用いて、各カテゴリに対応する特徴ベクトルの集合を前記参照特徴空間へ射影したときの射影範囲の推定を行い、得られた推定値を用いて、前記候補テーブルが作成されることを特徴とするパターン認識装置。
23. パターンの特徴ベクトルから計算される参照特徴ベクトルの値の集合から成る参照特徴空間を２つ以上に分割して得られる各部分集合を参照特徴分割要素として、該参照特徴分割要素と候補カテゴリ集合の組の情報を含む候補テーブルをそれぞれ記憶する複数のテーブル記憶手段と、
    前記複数のテーブル記憶手段のそれぞれに対応して設けられ、与えられた参照特徴ベクトルの値を含む参照特徴分割要素を求め、前記候補テーブルを用いて、得られた参照特徴分割要素に対応する候補カテゴリ集合を求め、得られた候補カテゴリ集合をそれぞれ出力する複数の候補カテゴリ計算手段と、
    前記複数の候補カテゴリ計算手段から出力された複数の候補カテゴリ集合を絞り込んで出力するカテゴリ絞り込み手段とを備え、
    辞書に登録されている各カテゴリの代表特徴ベクトルに基づく特徴空間のボロノイ分割要素を、前記参照特徴空間へ射影したときの射影範囲の推定を行い、得られた推定値を用いて、前記候補テーブルが作成されることを特徴とするパターン認識装置。
24. 前記カテゴリ絞り込み手段は、複数の候補カテゴリ集合の論理積を計算して、該複数の候補カテゴリ集合を絞り込むことを特徴とする請求項２２または２３記載のパターン認識装置。
25. コンピュータのためのプログラムを記録した記録媒体であって、
    パターンの特徴ベクトルから計算される参照特徴ベクトルの値の集合から成る参照特徴空間を２つ以上に分割して得られる各部分集合を参照特徴分割要素として、与えられた参照特徴ベクトルの値を含む参照特徴分割要素を求める機能と、
    学習用パターン集合から得られる参照特徴ベクトルの値の分布を用いて、各カテゴリに対応する特徴ベクトルの集合を前記参照特徴空間へ射影したときの射影範囲の推定を行うことで、得られた推定値を用いて作成され、参照特徴分割要素と候補カテゴリ集合の組の情報を含む候補テーブルを用いて、前記与えられた参照特徴ベクトルの値を含む参照特徴分割要素に対応する候補カテゴリ集合を求める機能と、
    得られた候補カテゴリ集合を出力する機能と
    を前記コンピュータに実現させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。
26. コンピュータのためのプログラムを記録した記録媒体であって、
    パターンの特徴ベクトルから計算される参照特徴ベクトルの値の集合から成る参照特徴空間を２つ以上に分割して得られる各部分集合を参照特徴分割要素として、与えられた参照特徴ベクトルの値を含む参照特徴分割要素を求める機能と、
    辞書に登録されている各カテゴリの代表特徴ベクトルに基づく特徴空間のボロノイ分割要素を、前記参照特徴空間へ射影したときの射影範囲の推定を行うことで、得られた推定値を用いて作成され、参照特徴分割要素と候補カテゴリ集合の組の情報を含む候補テーブルを用いて、前記与えられた参照特徴ベクトルの値を含む参照特徴分割要素に対応する候補カテゴリ集合を求める機能と、
    得られた候補カテゴリ集合を出力する機能と
    を前記コンピュータに実現させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。
27. パターンの特徴ベクトルから計算される参照特徴ベクトルの値の集合から成る参照特徴空間を２つ以上に分割して得られる各部分集合を参照特徴分割要素として、与えられた参照特徴ベクトルの値を含む参照特徴分割要素を求め、
    学習用パターン集合から得られる参照特徴ベクトルの値の分布を用いて、各カテゴリに対応する特徴ベクトルの集合を前記参照特徴空間へ射影したときの射影範囲の推定を行うことで、得られた推定値を用いて作成され、参照特徴分割要素と候補カテゴリ集合の組の情報を含む候補テーブルを用いて、前記与えられた参照特徴ベクトルの値を含む参照特徴分割要素に対応する候補カテゴリ集合を求め、
    得られた候補カテゴリ集合を出力する
    ことを特徴とするパターン認識方法。
28. パターンの特徴ベクトルから計算される参照特徴ベクトルの値の集合から成る参照特徴空間を２つ以上に分割して得られる各部分集合を参照特徴分割要素として、与えられた参照特徴ベクトルの値を含む参照特徴分割要素を求め、
    辞書に登録されている各カテゴリの代表特徴ベクトルに基づく特徴空間のボロノイ分割要素を、前記参照特徴空間へ射影したときの射影範囲の推定を行うことで、得られた推定値を用いて作成され、参照特徴分割要素と候補カテゴリ集合の組の情報を含む候補テーブルを用いて、前記与えられた参照特徴ベクトルの値を含む参照特徴分割要素に対応する候補カテゴリ集合を求め、
    得られた候補カテゴリ集合を出力する
    ことを特徴とするパターン認識方法。

Images