JP3977007B2 - パターン認識装置、パターン認識方法およびその方法をコンピュータに実行させるプログラムを記録したコンピュータ読み取り可能な記録媒体 - Google Patents
パターン認識装置、パターン認識方法およびその方法をコンピュータに実行させるプログラムを記録したコンピュータ読み取り可能な記録媒体 Download PDFInfo
- Publication number
- JP3977007B2 JP3977007B2 JP2000347272A JP2000347272A JP3977007B2 JP 3977007 B2 JP3977007 B2 JP 3977007B2 JP 2000347272 A JP2000347272 A JP 2000347272A JP 2000347272 A JP2000347272 A JP 2000347272A JP 3977007 B2 JP3977007 B2 JP 3977007B2
- Authority
- JP
- Japan
- Prior art keywords
- pattern
- category
- recognition
- bandwidth
- recognition dictionary
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Character Discrimination (AREA)
- Image Analysis (AREA)
Description
【０００１】
【発明の属する技術分野】
この発明は、入力パターンがどのカテゴリーに属するかを認識辞書に基づいて判定して入力パターンのパターン認識をおこなうパターン認識装置、パターン認識方法およびその方法をコンピュータに実行させるプログラムを記録したコンピュータ読み取り可能な記録媒体に関し、特に、参照パターンを記憶するためのメモリ容量を抑制しつつ、きめ細かく識別関数を設定し、もってノンパラメトリックなパターン識別をおこなう場合の認識精度を上げることができるパターン認識装置、パターン認識方法および記録媒体に関する。
【０００２】
【従来の技術】
従来、サンプルパターンの集合から入力パターンに近いものをｋ個選び、それらの持つラベルに基づいて入力パターンの分類を決定するｋ最近傍識別と呼ばれるパターン認識技術が知られており、特に最近では、処理の高速化並びに認識精度の向上を図る試みがなされている。
【０００３】
たとえば、特開平８−２８７２５０号公報（従来技術１）には、各ノードに辞書パターンが格納された２分木を用い、部分木検索のルールを高次元パターン空間の幾何学的構造に基づいて近似的に最近傍点探索をおこなえるよう修正するパターン認識方法が開示されている。
【０００４】
また、「E.parzen，”On estimation of a probability density function and mode”，Ann.Math.Statis.，vol.33，pp.1065-1076，1962」（従来技術２）には、パターンの確率密度を推定し、推定された確率密度に基づいてカテゴリーを認識する技術が開示されている。具体的には、ここでの推定の原理は、パターン空間の１点の周辺を所定のバンド幅をもったガウスカーネルを用いてサンプルの個数を重み付き計数するものであり、１カテゴリー内では共通の（可変でない）バンド幅を用いる。バンド幅あるいはｋの値によって密度推定の精度が決まるが、このｋは整数値しかとらないため、一般にｋ最近傍識別よりも認識精度が高い。
【０００５】
さらに、「Gregory A. Babich，etc.，”Weight Parzen Windows for Pattern Classification”，IEEE Trans. Pattern Recognition & Machine Intelligence，Vol.18，No.5，May 1996」（従来技術３）には、クラスタリング手法を用いて参照パターンを統合して参照パターンを減少させ、確率密度分布の推定に基づく識別器であるParzen-Window classifierを良く近似するようにした技術が開示されている。
【０００６】
【発明が解決しようとする課題】
しかしながら、上記従来技術１によれば、参照パターンの個数を増やすことによりある程度認識精度を上げることができるものの、その見返りとしてメモリ容量が累増するという問題がある。
【０００７】
また、従来技術２によれば、高次元では多くの参照パターンを記憶しておかねばならないというメモリ容量の問題がある。加えて、ここではバンド幅を固定としているため、精度良く確率密度を推定することができないという問題もある。精度良く確率密度を推定するためには、データの密なところではバンド幅を小さくし、粗なところではバンド幅を大きくする必要があるからである。
【０００８】
さらに、従来技術３によれば、あくまでもパーゼンクラシファイア（Parzen-Window classifier）と同程度の認識精度しか得られず、認識精度に限界があるという問題がある。なお、この従来技術３でも、バンド幅をカテゴリーごとに固定しているので、やはり従来技術２と同様に精度良く確率密度を推定することができない。
【０００９】
このように、これらの従来技術１〜３を用いたとしても、（１）参照パターンの記憶容量の問題と、（２）バンド幅を固定することによる密度推定精度の問題というパーゼンクラシファイアの２つの問題を解決することができない。
【００１０】
この発明は、上述した従来技術による問題点を解消するためになされたものであり、参照パターンを記憶するためのメモリ容量を抑制しつつ、きめ細かく識別関数を設定し、もってノンパラメトリックなパターン識別をおこなう場合の認識精度を上げることができるパターン認識装置、パターン認識方法およびその方法をコンピュータに実行させるプログラムを記録したコンピュータ読み取り可能な記録媒体を提供することを目的とする。
【００１１】
【課題を解決するための手段】
上述した課題を解決し、目的を達成するため、請求項１の発明に係るパターン認識装置は、入力パターンがどのカテゴリーに属するかを認識辞書に基づいて判定して前記入力パターンのパターン認識をおこなうパターン認識装置において、複数の参照パターンをカテゴリーごとに区分して記憶する認識辞書と、ガウスカーネルによる密度推定に基づいて各カテゴリーの事後確率を算出する際に、カテゴリーにかかわらず共通の標本共分散行列を用いるとともに、所定の近傍に位置する参照パターンの全てが同一カテゴリーに属するものを削除対象として、前記認識辞書内の参照パターンのうちカテゴリー間の識別境界から離れた参照パターンを削除するエディティング手段とを備えたことを特徴とする。
【００１４】
また、請求項２の発明に係るパターン認識装置は、請求項１の発明において、前記エディッティング手段は、ガウスカーネルによる密度推定に基づいて各カテゴリーの事後確率を算出する際に、密度正規化項１／ｈi dを無視することを特徴とする。
【００１５】
また、請求項３の発明に係るパターン認識装置は、請求項１または２の発明において、前記認識辞書に記憶した各参照パターンごとに保持するスカラー値であるバンド幅を可変にするバンド幅設定手段をさらに備えたことを特徴とする。
【００１６】
また、請求項４の発明に係るパターン認識装置は、請求項３の発明において、前記バンド幅設定手段は、前記バンド幅を異カテゴリーパターン全体との最小距離の定数倍に設定することを特徴とする。
【００１７】
また、請求項５の発明に係るパターン認識方法は、入力パターンがどのカテゴリーに属するかを認識辞書に基づいて判定して前記入力パターンのパターン認識をおこなうパターン認識方法において、ガウスカーネルによる密度推定に基づいて各カテゴリーの事後確率を算出する際に、カテゴリーにかかわらず共通の標本共分散行列を用いるとともに、所定の近傍に位置する参照パターンの全てが同一カテゴリーに属するものを削除対象として、複数の参照パターンをカテゴリーごとに区分して記憶する認識辞書内の参照パターンのうちカテゴリー間の識別境界から離れた参照パターンを削除するエディティング工程を含んだことを特徴とする。
【００１９】
また、請求項６の発明に係るパターン認識方法は、請求項５の発明において、 前記エディッティング工程は、ガウスカーネルによる密度推定に基づいて各カテゴリーの事後確率を算出する際に、密度正規化項１／ｈi dを無視することを特徴とする。
【００２０】
また、請求項７の発明に係るパターン認識方法は、請求項５または６の発明において、前記認識辞書に記憶した各参照パターンごとに保持するスカラー値であるバンド幅を可変にするバンド幅設定工程をさらに含んだことを特徴とする。
【００２１】
また、請求項８の発明に係るパターン認識方法は、請求項７の発明において、前記バンド幅設定工程は、前記バンド幅を異カテゴリーパターン全体との最小距離の定数倍に設定することを特徴とする。
【００２２】
また、請求項９の発明に係る記録媒体は、請求項５〜８のいずれか一つに記載された方法をコンピュータに実行させるプログラムを記録したことで、そのプログラムを機械読み取り可能となり、これによって、請求項５〜８のいずれか一つの動作をコンピュータによって実現することができる。
【００２３】
【発明の実施の形態】
以下に添付図面を参照して、この発明に係るパターン認識装置、パターン認識方法およびその方法をコンピュータに実行させるプログラムを記録したコンピュータ読み取り可能な記録媒体の好適な実施の形態を詳細に説明する。なお、本実施の形態では、本発明を文字認識装置に適用した場合を示すこととする。
【００２４】
（文字認識装置の構成）
まず、本実施の形態に係る文字認識装置の構成について説明する。図１は、本実施の形態に係る文字認識装置の構成を示す機能ブロック図である。同図に示すように、この文字認識装置１０は、画像入力部１１と、前処理部１２と、特徴抽出部１３と、認識処理部１４と、認識辞書１５と、認識辞書管理部１６とからなる。
【００２５】
ここで、請求項１の認識辞書は認識辞書１５に対応し、請求項１のエディティング手段は認識辞書管理部１６に対応し、請求項４のバンド幅設定手段は認識辞書管理部１６に対応する。
【００２６】
画像入力部１１は、文字の画像を光学的に読み取るスキャナなどの入力デバイスであり、この画像入力部１１によって読み取られた画像データは前処理部１２に出力される。
【００２７】
前処理部１２は、画像入力部１１から受け取った画像データの前処理をおこなう処理部であり、具体的には、この画像データを平滑化処理してノイズを除去した後に、これを所定のしきい値で二値化して二値画像を取得し、この二値画像から文字を切り出した後に、これを正規化する処理部である。
【００２８】
特徴抽出部１３は、前処理部１２が前処理をおこなった正規化された文字データから特徴量を抽出する処理部であり、具体的には、文字の画像データを５×５などにメッシュ割りし、各メッシュについての輪郭の方向を求めることになる。たとえば、輪郭の方向を８方向とすると、５×５×８＝２００次元の特徴空間が形成されることになる。
【００２９】
認識処理部１４は、手書き文字などの入力文字から抽出された特徴量をあらかじめ用意された認識辞書１５内の特徴量と照合することにより、入力文字がどのカテゴリーに属するかを判定し、その判定結果に基づいてパターン認識をおこなう処理部である。
【００３０】
認識辞書１５は、認識処理部１４による入力文字の認識に利用する辞書であり、具体的には、各文字ごとにカテゴリーを対応付け、該カテゴリーごとに文字の特徴量（参照データ）を記憶する。
【００３１】
認識辞書管理部１６は、認識辞書１５の作成並びに管理をおこなう処理部であり、具体的には、この認識辞書管理部１６は、識別境界から離れたパターンを削除するエディティング（editing）処理をおこなうことにより、認識辞書１５の容量を低減するとともに、バンド幅を可変にして識別関数をきめ細かく設定できるようにして認識精度を高めている。
【００３２】
（エディティング処理の概念）
次に、図１に示した認識辞書管理部１６によるエディティング処理について具体的に説明する。図２は、２種のカテゴリーに属する２次元の参照パターンの分布の一例を示す説明図であり、図３は、図２に示す参照パターンの分布に識別境界を設けた説明図である。
【００３３】
一般的に、識別手法は、（１）パラメトリックな識別手法と（２）ノンパラメトリックな識別手法に区分することができ、（１）パラメトリックな識別手法には、識別境界が超平面となる線形識別と識別境界が２次超曲面となる２次識別などがあり、（２）ノンパラメトリックな識別境界には、ボロノイ境界によりカテゴリーが分離される最近傍識別と、平滑された識別境界をもつパーゼンクラシファイアなどがある。
【００３４】
図２に示すように、図中の小さな矩形で示すカテゴリーＡに属する参照パターン群と、図中に大きな矩形で示すカテゴリーＢに属する参照パターン群とが存在し、カテゴリーＡの参照パターン群がカテゴリーＢに属する参照パターン群に挟まれている場合を考えると、図３に示すような２次識別の識別境界または平滑されたノンパラメトリックな識別境界が形成される。
【００３５】
このように、従来のノンパラメトリックな識別境界を用いることにより、カテゴリーの識別をおこなうことができるわけであるが、従来の識別境界をそのまま用いることとすると、認識辞書１５に記憶せねばならない参照パターン数が多くなってしまう。このため、認識辞書管理部１６では、エディティング処理をおこなって参照パターン数を低減している。
【００３６】
次に、この認識辞書管理部１６によりおこなわれるエディティング処理の概念についてパーゼンクラシファイアと比較してさらに詳細に説明する。パーゼンウインドウの確率密度関数は、ｄ次元データをｓi、データ数をＮ、カーネル関数をＫd［・］、バンド幅をｈとすると、
【数１】
のようになる。このため、このＫd［・］とｈを適切に選べば、ｐn（ｘ）はｘの確率密度分布に収束する。
【００３７】
この場合の必要条件は、
Ｋd［・］≧０
∫Ｋd［・］ｄｘ＝１
limN→∞ｈ＝０
limN→∞Ｎｈd＝∞
となる。
【００３８】
ここで、ｄ×ｄの正則行列をＨとして、上式をより一般形にすると、
【数２】
となる。なお、｜H｜はHの行列式の絶対値を意味するものとする。
【００３９】
そして、ガウスカーネルを使うと、（１）式については、
【数３】
となる。
【００４０】
また、（２）式については、
【数４】
となる。ただし、Σは標本共分散行列とする。
【００４１】
そして、直接パーゼンクラシファイアを使う場合を考えると、カテゴリーごとの確率密度の推定値である
【数５】
が最大となるｗiをもって識別結果とすることになる。
【００４２】
図４は、１次元データを対象としてパーゼンクラシファイアを用いた場合の識別概念を説明するための説明図である。なお、図中に○で示すデータは、平均１９０、標準偏差３０の正規分布Ｎ（１９０，３０2）と、平均３８０、標準偏差３０の正規分布Ｎ（３８０，３０2）とを８対２で混合した分布をもつ人工的に発生させたデータとし、図中に□で示すデータは、平均２３０、標準偏差６０の正規分布Ｎ（２３０，６０2）と、平均３３０、標準偏差１０の正規分布Ｎ（３３０，１０2）とを６対４で混合した分布をもつ人工データとする。また、カテゴリーごとのデータの個数は各々１０個とする。
【００４３】
そして、混合分布についてバンド幅の設定値として標準偏差を混合比率で平均した値に固定する、すなわちカテゴリーＡのバンド幅を、（３０×８＋３０×２）／１０＝３０に設定し、カテゴリーＢのバンド幅を、（６０×６＋１０×４）／１０＝４０に設定したとき、各々１０個のデータを用いて推定される密度関数は、同図（ａ）に示す曲線になる。
【００４４】
また、分布ごとにバンド幅を固定すると、すなわちカテゴリーＡのバンド幅を、（１）のデータに対して３０および（２）のデータに対して３０、カテゴリーＢのバンド幅を、（３）のデータに対して６０および（４）のデータに対して１０に設定すると、同図（ｂ）に示す曲線のようになる。ここで、あるｘが与えられた場合に、該ｘの確率密度関数の大きなカテゴリーにｘが属するものと判断されることになる。
【００４５】
このように、パーゼンクラシファイアを使って識別をおこなうことができるわけであるが、かかるパーゼンクラシファイアによれば、次元の呪いと呼ばれるｄの増加によって累進的に大きなＮのデータが必要になるという問題や、バンド幅が固定であるという問題が生ずる。
【００４６】
そこで、本実施の形態にかかる認識辞書管理部１６では、（５）式の分母の項であるｈi d｜Σi｜1/2を消すとともに、バンド幅を可変にする対策を講じている。具体的には、ガウスカーネルによる密度推定に基づいて事後確率を算出するが、そのときどのカテゴリーにも共通のΣを用い、かつ、密度正規化項１／ｈi dを無視することにする。
【００４７】
Ｃをカテゴリー数とすると、カテゴリーｗiの事後確率は、
【数６】
となる。
【００４８】
また、ここではカテゴリー境界付近のみを残すようにエディティングした参照パターンに対して、識別関数ｇi（ｘ）を
【数７】
とする。
【００４９】
また、カテゴリーｉのｋ番目の参照パターンのバンド幅ｈikを
【数８】
として、異カテゴリーパターン全体との最小距離の定数倍に設定する。この際、ｈik d／ｈjk d≠１であっても、１／ｈjk dを無視した方が高い識別精度が得られる。
【００５０】
次に、図１に示した認識辞書管理部１６によるエディティング処理手順について説明する。図５は、図１に示した認識辞書管理部１６によるエディティング処理手順を示すフローチャートである。
【００５１】
同図に示すように、この認識辞書管理部１６では、選択されるサンプルの集合Ｂ＝｛全サンプル｝とし、Ｂの要素ｘに付与されたチェック済みＣＦＬＧ［ｘ］をすべてオフ（ＯＦＦ）にし、近傍探索数ｒ＝１０ｋとセットする初期化をおこなう（ステップＳ５０１）。
【００５２】
その後、近傍探索数ｒをｋ’と比較して（ステップＳ５０２）、この近傍探索数ｒがｋ以上でなければ（ステップＳ５０２否定）そのまま処理を終了し、近傍探索数ｒがｋ以上である場合には（ステップＳ５０２肯定）、集合ＢのＣＦＬＧ［ｘ］＝ＯＦＦであるものの中から、ランダムにサンプルｘを１個抽出する（ステップＳ５０３）。
【００５３】
そして、ｘの近傍ｒ個の全部がｘのカテゴリーと同じであるか否かを確認する（ステップＳ５０４）。なお、このｋ’が大きいほど１つのカテゴリーに属するパターン分布の外皮を近似する回帰が識別境界から分布の内部の方向に離れ、また識別境界を平滑化する作用を強めることになる。
【００５４】
その結果、ｘの近傍ｒ個の全部がｘのカテゴリーと同じである場合には（ステップＳ５０４肯定）、ＢをＢ−｛ｘ｝に更新し、ＣＦＬＧをすべてＯＦＦに戻してカウント値countを０とした後に（ステップＳ５０５）、ステップＳ５０３に移行する。
【００５５】
これに対して、ｘの近傍ｒ個の一つでもｘのカテゴリーと同じでない場合には（ステップＳ５０４否定）、ＣＦＬＧ［ｘ］をオン（ＯＮ）にして、カウント値countをインクリメントした後に（ステップＳ５０６）、このカウント値countが集合の個数｜Ｂ｜以上であるか否かを調べ（ステップＳ５０７）、カウント値countが集合の個数｜Ｂ｜以上でない場合には（ステップＳ５０７否定）、ステップＳ５０３に移行する。
【００５６】
一方、カウント値countが集合の個数｜Ｂ｜以上である場合には（ステップＳ５０７肯定）、ｒ＝ｒ−Δｒとし、ＣＦＬＧをすべてＯＦＦに戻し、カウント値countを０とした後に（ステップＳ５０８）、ステップＳ５０２に移行する。
【００５７】
上記一連のエディティング処理をおこなうことにより、認識辞書管理部１６が識別境界から離れた参照パターンを削除し、もって認識辞書の容量を低減することができる。
【００５８】
図６は、認識辞書管理部１６による参照パターンの削減過程を説明するための説明図である。同図（ａ）に示す各カテゴリーあたり２００個のサンプルが存在する場合に、ｋ’＝５すなわち、どの近傍５個についても必ず互いにカテゴリーの違うパターンが含まれているという終了条件を用いてエディティング処理を適用すると、同図（ｂ）のようになる。
【００５９】
そして、ｋ’＝４すなわち、どの近傍４個についても必ず互いにカテゴリーの違うパターンが含まれているという終了条件を用いてエディティング処理を適用すると同図（ｃ）のようになり、同様にｋ’＝３という終了条件を用いてエディティング処理を適用すると同図（ｄ）のようになる。
【００６０】
これらの図から分かるように、このエディティング処理をおこなうと、境界付近の参照パターンが残るが、境界から離れた部分の参照パターンは削減されることになる。
【００６１】
次に、認識辞書管理部１６によるバンド幅変更の効果について具体的に説明する。図７は、認識辞書管理部１６によるバンド幅変更の効果の一例を説明するための説明図である。
【００６２】
なお、図４と同様に、図中に○で示すデータは、平均１９０、標準偏差３０の正規分布Ｎ（１９０，３０2）と、平均３８０、標準偏差３０の正規分布Ｎ（３８０，３０2）とを８対２で混合した分布をもつ人工的に発生させたデータとし、図中に□で示すデータは、平均２３０、標準偏差６０の正規分布Ｎ（２３０，６０2）と、平均３３０、標準偏差１０の正規分布Ｎ（３３０，１０2）とを６対４で混合した分布をもつ人工データとする。また、カテゴリーごとのデータの個数は各々１０個とする。
【００６３】
同図（ａ）に示すように、混合分布についてバンド幅を固定（カテゴリーＡ；３０、カテゴリーＢ；４０）した場合にはエラーが６個生じ、同図（ｂ）に示すように、分布ごとにバンド幅を固定（カテゴリーＡ；３０と３０、カテゴリーＢ６０と１０）すると、エラーが５個となった。
【００６４】
これに対して、同図（ｃ）に示すように、バンド幅を異カテゴリーとの最近傍距離とした場合には、エラーが３個となり、エラー個数が低減した。さらに、同図（ｄ）に示すようにエディティング処理をおこなうと、エラー個数が２個となった。かかる場合にエラー個数が低減する理由は、２個の相対するカテゴリーとの識別境界をきめ細かく形成できるからである。
【００６５】
次に、２カテゴリーであり、かつ、ｋ最近傍が２個と単純化した場合について説明する。なお、バンド幅は、異カテゴリーパターンとの最小距離ｍｉｎ||ｓi−ｓj||（ただし、ｓiとｓjのカテゴリは異なる）の定数倍であるものとする。
【００６６】
この場合には、（６）式で示したカテゴリーｗ1の事後確率は、
【数９】
となる。また、近傍パターンのペアであるｓ1とｓ2は、ｈ1＝ｈ2＝κ||ｓi−ｓj||となっていると考えられる。
【００６７】
このため、
【数１０】
となり、ｘがｓ1とｓ2の中点（ｓ1＋ｓ2）／２のとき、図８に示すように、Ｐ（ｗ1｜ｍ）＝Ｐ（ｗ2｜ｍ）＝１／２となり、識別境界がｓ1とｓ2の中点を通ることになる。
【００６８】
上述してきたように、本実施の形態によれば、認識辞書管理部１６は、識別境界から離れたパターンを削除する認識辞書１５のエディティング処理をおこなうとともに、バンド幅を可変にして確率密度関数を推定するよう構成したので、認識辞書１５の容量を低減するとともに、カテゴリー間の識別境界をきめ細かく形成可能にして認識精度を高めることができる。
【００６９】
なお、本実施の形態では、本発明を文字認識装置に適用した場合を示したが、本発明はこれに限定されるものではなく、パターンの認識をおこなう各種パターン認識装置に適用することができる。ただし、英文字、数字、カタカナなどカテゴリー数が少ないものについて特に有効である。
【００７０】
【発明の効果】
以上説明したように、請求項１の発明によれば、複数の参照パターンをカテゴリーごとに区分して認識辞書に記憶しておき、ガウスカーネルによる密度推定に基づいて各カテゴリーの事後確率を算出する際に、カテゴリーにかかわらず共通の標本共分散行列を用いるとともに、所定の近傍に位置する参照パターンの全てが同一カテゴリーに属するものを削除対象として、認識辞書内の参照パターンのうちカテゴリー間の識別境界から離れた参照パターンを削除するよう構成したので、認識辞書のメモリ容量を抑制しつつ、カテゴリー間の識別境界をきめ細かく形成可能にして認識精度の向上を図ることが可能なパターン認識装置が得られるという効果を奏する。
【００７２】
また、請求項２の発明によれば、ガウスカーネルによる密度推定に基づいて各カテゴリーの事後確率を算出する際に、密度正規化項１／ｈi dを無視するよう構成したので、認識辞書のメモリ容量を抑制しつつ、認識精度の向上を図ることが可能なパターン認識装置が得られるという効果を奏する。
【００７３】
また、請求項３の発明によれば、認識辞書に記憶した各参照パターンごとに保持するスカラー値であるバンド幅を可変にするよう構成したので、より高度な認識精度を得ることが可能なパターン認識装置が得られるという効果を奏する。
【００７４】
また、請求項４の発明によれば、バンド幅を異カテゴリーパターン全体との最小距離の定数倍に設定するよう構成したので、より高度な認識精度を得ることが可能なパターン認識装置が得られるという効果を奏する。
【００７５】
また、請求項５の発明によれば、複数の参照パターンをカテゴリーごとに区分して認識辞書に記憶しておき、ガウスカーネルによる密度推定に基づいて各カテゴリーの事後確率を算出する際に、カテゴリーにかかわらず共通の標本共分散行列を用いるとともに、所定の近傍に位置する参照パターンの全てが同一カテゴリーに属するものを削除対象として、認識辞書内の参照パターンのうちカテゴリー間の識別境界から離れた参照パターンを削除するよう構成したので、認識辞書のメモリ容量を抑制しつつ、認識精度の向上を図ることが可能なパターン認識方法が得られるという効果を奏する。
【００７７】
また、請求項６の発明によれば、ガウスカーネルによる密度推定に基づいて各カテゴリーの事後確率を算出する際に、密度正規化項１／ｈi dを無視するよう構成したので、認識辞書のメモリ容量を抑制しつつ、認識精度の向上を図ることが可能なパターン認識方法が得られるという効果を奏する。
【００７８】
また、請求項７の発明によれば、認識辞書に記憶した各参照パターンごとに保持するスカラー値であるバンド幅を可変にするよう構成したので、より高度な認識精度を得ることが可能なパターン認識方法が得られるという効果を奏する。
【００７９】
また、請求項８の発明によれば、バンド幅を異カテゴリーパターン全体との最小距離の定数倍に設定するよう構成したので、より高度な認識精度を得ることが可能なパターン認識方法が得られるという効果を奏する。
【００８０】
また、請求項９の発明によれば、請求項５〜８のいずれか一つに記載された方法をコンピュータに実行させるプログラムを記録したことで、そのプログラムを機械読み取り可能となり、これによって、請求項５〜８のいずれか一つの動作をコンピュータによって実現することが可能な記録媒体が得られるという効果を奏する。
【図面の簡単な説明】
【図１】この発明の実施の形態に係る文字認識装置の構成を示す機能ブロック図である。
【図２】２種のカテゴリーに属する参照パターンの分布の一例を示す説明図である。
【図３】図２に示す参照パターンの分布に識別境界の一例を設けた説明図である。
【図４】パーゼンクラシファイアを用いた場合の識別概念を説明するための説明図である。
【図５】図１に示した認識辞書管理部によるエディティング処理手順を示すフローチャートである。
【図６】図１に示した認識辞書管理部による参照パターンの削減過程を説明するための説明図である。
【図７】図１に示した認識辞書管理部によるバンド幅変更の効果の一例を説明するための説明図である。
【図８】２カテゴリ、かつ、ｋ最近傍が２個と単純化した場合を説明するための説明図である。
【符号の説明】
１０ 文字認識装置
１１ 画像入力部
１２ 前処理部
１３ 特徴抽出部
１４ 認識処理部
１５ 認識辞書
１６ 認識辞書管理部
Ａ，Ｂ カテゴリー
【発明の属する技術分野】
この発明は、入力パターンがどのカテゴリーに属するかを認識辞書に基づいて判定して入力パターンのパターン認識をおこなうパターン認識装置、パターン認識方法およびその方法をコンピュータに実行させるプログラムを記録したコンピュータ読み取り可能な記録媒体に関し、特に、参照パターンを記憶するためのメモリ容量を抑制しつつ、きめ細かく識別関数を設定し、もってノンパラメトリックなパターン識別をおこなう場合の認識精度を上げることができるパターン認識装置、パターン認識方法および記録媒体に関する。
【０００２】
【従来の技術】
従来、サンプルパターンの集合から入力パターンに近いものをｋ個選び、それらの持つラベルに基づいて入力パターンの分類を決定するｋ最近傍識別と呼ばれるパターン認識技術が知られており、特に最近では、処理の高速化並びに認識精度の向上を図る試みがなされている。
【０００３】
たとえば、特開平８−２８７２５０号公報（従来技術１）には、各ノードに辞書パターンが格納された２分木を用い、部分木検索のルールを高次元パターン空間の幾何学的構造に基づいて近似的に最近傍点探索をおこなえるよう修正するパターン認識方法が開示されている。
【０００４】
また、「E.parzen，”On estimation of a probability density function and mode”，Ann.Math.Statis.，vol.33，pp.1065-1076，1962」（従来技術２）には、パターンの確率密度を推定し、推定された確率密度に基づいてカテゴリーを認識する技術が開示されている。具体的には、ここでの推定の原理は、パターン空間の１点の周辺を所定のバンド幅をもったガウスカーネルを用いてサンプルの個数を重み付き計数するものであり、１カテゴリー内では共通の（可変でない）バンド幅を用いる。バンド幅あるいはｋの値によって密度推定の精度が決まるが、このｋは整数値しかとらないため、一般にｋ最近傍識別よりも認識精度が高い。
【０００５】
さらに、「Gregory A. Babich，etc.，”Weight Parzen Windows for Pattern Classification”，IEEE Trans. Pattern Recognition & Machine Intelligence，Vol.18，No.5，May 1996」（従来技術３）には、クラスタリング手法を用いて参照パターンを統合して参照パターンを減少させ、確率密度分布の推定に基づく識別器であるParzen-Window classifierを良く近似するようにした技術が開示されている。
【０００６】
【発明が解決しようとする課題】
しかしながら、上記従来技術１によれば、参照パターンの個数を増やすことによりある程度認識精度を上げることができるものの、その見返りとしてメモリ容量が累増するという問題がある。
【０００７】
また、従来技術２によれば、高次元では多くの参照パターンを記憶しておかねばならないというメモリ容量の問題がある。加えて、ここではバンド幅を固定としているため、精度良く確率密度を推定することができないという問題もある。精度良く確率密度を推定するためには、データの密なところではバンド幅を小さくし、粗なところではバンド幅を大きくする必要があるからである。
【０００８】
さらに、従来技術３によれば、あくまでもパーゼンクラシファイア（Parzen-Window classifier）と同程度の認識精度しか得られず、認識精度に限界があるという問題がある。なお、この従来技術３でも、バンド幅をカテゴリーごとに固定しているので、やはり従来技術２と同様に精度良く確率密度を推定することができない。
【０００９】
このように、これらの従来技術１〜３を用いたとしても、（１）参照パターンの記憶容量の問題と、（２）バンド幅を固定することによる密度推定精度の問題というパーゼンクラシファイアの２つの問題を解決することができない。
【００１０】
この発明は、上述した従来技術による問題点を解消するためになされたものであり、参照パターンを記憶するためのメモリ容量を抑制しつつ、きめ細かく識別関数を設定し、もってノンパラメトリックなパターン識別をおこなう場合の認識精度を上げることができるパターン認識装置、パターン認識方法およびその方法をコンピュータに実行させるプログラムを記録したコンピュータ読み取り可能な記録媒体を提供することを目的とする。
【００１１】
【課題を解決するための手段】
上述した課題を解決し、目的を達成するため、請求項１の発明に係るパターン認識装置は、入力パターンがどのカテゴリーに属するかを認識辞書に基づいて判定して前記入力パターンのパターン認識をおこなうパターン認識装置において、複数の参照パターンをカテゴリーごとに区分して記憶する認識辞書と、ガウスカーネルによる密度推定に基づいて各カテゴリーの事後確率を算出する際に、カテゴリーにかかわらず共通の標本共分散行列を用いるとともに、所定の近傍に位置する参照パターンの全てが同一カテゴリーに属するものを削除対象として、前記認識辞書内の参照パターンのうちカテゴリー間の識別境界から離れた参照パターンを削除するエディティング手段とを備えたことを特徴とする。
【００１４】
また、請求項２の発明に係るパターン認識装置は、請求項１の発明において、前記エディッティング手段は、ガウスカーネルによる密度推定に基づいて各カテゴリーの事後確率を算出する際に、密度正規化項１／ｈi dを無視することを特徴とする。
【００１５】
また、請求項３の発明に係るパターン認識装置は、請求項１または２の発明において、前記認識辞書に記憶した各参照パターンごとに保持するスカラー値であるバンド幅を可変にするバンド幅設定手段をさらに備えたことを特徴とする。
【００１６】
また、請求項４の発明に係るパターン認識装置は、請求項３の発明において、前記バンド幅設定手段は、前記バンド幅を異カテゴリーパターン全体との最小距離の定数倍に設定することを特徴とする。
【００１７】
また、請求項５の発明に係るパターン認識方法は、入力パターンがどのカテゴリーに属するかを認識辞書に基づいて判定して前記入力パターンのパターン認識をおこなうパターン認識方法において、ガウスカーネルによる密度推定に基づいて各カテゴリーの事後確率を算出する際に、カテゴリーにかかわらず共通の標本共分散行列を用いるとともに、所定の近傍に位置する参照パターンの全てが同一カテゴリーに属するものを削除対象として、複数の参照パターンをカテゴリーごとに区分して記憶する認識辞書内の参照パターンのうちカテゴリー間の識別境界から離れた参照パターンを削除するエディティング工程を含んだことを特徴とする。
【００１９】
また、請求項６の発明に係るパターン認識方法は、請求項５の発明において、 前記エディッティング工程は、ガウスカーネルによる密度推定に基づいて各カテゴリーの事後確率を算出する際に、密度正規化項１／ｈi dを無視することを特徴とする。
【００２０】
また、請求項７の発明に係るパターン認識方法は、請求項５または６の発明において、前記認識辞書に記憶した各参照パターンごとに保持するスカラー値であるバンド幅を可変にするバンド幅設定工程をさらに含んだことを特徴とする。
【００２１】
また、請求項８の発明に係るパターン認識方法は、請求項７の発明において、前記バンド幅設定工程は、前記バンド幅を異カテゴリーパターン全体との最小距離の定数倍に設定することを特徴とする。
【００２２】
また、請求項９の発明に係る記録媒体は、請求項５〜８のいずれか一つに記載された方法をコンピュータに実行させるプログラムを記録したことで、そのプログラムを機械読み取り可能となり、これによって、請求項５〜８のいずれか一つの動作をコンピュータによって実現することができる。
【００２３】
【発明の実施の形態】
以下に添付図面を参照して、この発明に係るパターン認識装置、パターン認識方法およびその方法をコンピュータに実行させるプログラムを記録したコンピュータ読み取り可能な記録媒体の好適な実施の形態を詳細に説明する。なお、本実施の形態では、本発明を文字認識装置に適用した場合を示すこととする。
【００２４】
（文字認識装置の構成）
まず、本実施の形態に係る文字認識装置の構成について説明する。図１は、本実施の形態に係る文字認識装置の構成を示す機能ブロック図である。同図に示すように、この文字認識装置１０は、画像入力部１１と、前処理部１２と、特徴抽出部１３と、認識処理部１４と、認識辞書１５と、認識辞書管理部１６とからなる。
【００２５】
ここで、請求項１の認識辞書は認識辞書１５に対応し、請求項１のエディティング手段は認識辞書管理部１６に対応し、請求項４のバンド幅設定手段は認識辞書管理部１６に対応する。
【００２６】
画像入力部１１は、文字の画像を光学的に読み取るスキャナなどの入力デバイスであり、この画像入力部１１によって読み取られた画像データは前処理部１２に出力される。
【００２７】
前処理部１２は、画像入力部１１から受け取った画像データの前処理をおこなう処理部であり、具体的には、この画像データを平滑化処理してノイズを除去した後に、これを所定のしきい値で二値化して二値画像を取得し、この二値画像から文字を切り出した後に、これを正規化する処理部である。
【００２８】
特徴抽出部１３は、前処理部１２が前処理をおこなった正規化された文字データから特徴量を抽出する処理部であり、具体的には、文字の画像データを５×５などにメッシュ割りし、各メッシュについての輪郭の方向を求めることになる。たとえば、輪郭の方向を８方向とすると、５×５×８＝２００次元の特徴空間が形成されることになる。
【００２９】
認識処理部１４は、手書き文字などの入力文字から抽出された特徴量をあらかじめ用意された認識辞書１５内の特徴量と照合することにより、入力文字がどのカテゴリーに属するかを判定し、その判定結果に基づいてパターン認識をおこなう処理部である。
【００３０】
認識辞書１５は、認識処理部１４による入力文字の認識に利用する辞書であり、具体的には、各文字ごとにカテゴリーを対応付け、該カテゴリーごとに文字の特徴量（参照データ）を記憶する。
【００３１】
認識辞書管理部１６は、認識辞書１５の作成並びに管理をおこなう処理部であり、具体的には、この認識辞書管理部１６は、識別境界から離れたパターンを削除するエディティング（editing）処理をおこなうことにより、認識辞書１５の容量を低減するとともに、バンド幅を可変にして識別関数をきめ細かく設定できるようにして認識精度を高めている。
【００３２】
（エディティング処理の概念）
次に、図１に示した認識辞書管理部１６によるエディティング処理について具体的に説明する。図２は、２種のカテゴリーに属する２次元の参照パターンの分布の一例を示す説明図であり、図３は、図２に示す参照パターンの分布に識別境界を設けた説明図である。
【００３３】
一般的に、識別手法は、（１）パラメトリックな識別手法と（２）ノンパラメトリックな識別手法に区分することができ、（１）パラメトリックな識別手法には、識別境界が超平面となる線形識別と識別境界が２次超曲面となる２次識別などがあり、（２）ノンパラメトリックな識別境界には、ボロノイ境界によりカテゴリーが分離される最近傍識別と、平滑された識別境界をもつパーゼンクラシファイアなどがある。
【００３４】
図２に示すように、図中の小さな矩形で示すカテゴリーＡに属する参照パターン群と、図中に大きな矩形で示すカテゴリーＢに属する参照パターン群とが存在し、カテゴリーＡの参照パターン群がカテゴリーＢに属する参照パターン群に挟まれている場合を考えると、図３に示すような２次識別の識別境界または平滑されたノンパラメトリックな識別境界が形成される。
【００３５】
このように、従来のノンパラメトリックな識別境界を用いることにより、カテゴリーの識別をおこなうことができるわけであるが、従来の識別境界をそのまま用いることとすると、認識辞書１５に記憶せねばならない参照パターン数が多くなってしまう。このため、認識辞書管理部１６では、エディティング処理をおこなって参照パターン数を低減している。
【００３６】
次に、この認識辞書管理部１６によりおこなわれるエディティング処理の概念についてパーゼンクラシファイアと比較してさらに詳細に説明する。パーゼンウインドウの確率密度関数は、ｄ次元データをｓi、データ数をＮ、カーネル関数をＫd［・］、バンド幅をｈとすると、
【数１】
【００３７】
この場合の必要条件は、
Ｋd［・］≧０
∫Ｋd［・］ｄｘ＝１
limN→∞ｈ＝０
limN→∞Ｎｈd＝∞
となる。
【００３８】
ここで、ｄ×ｄの正則行列をＨとして、上式をより一般形にすると、
【数２】
【００３９】
そして、ガウスカーネルを使うと、（１）式については、
【数３】
【００４０】
また、（２）式については、
【数４】
【００４１】
そして、直接パーゼンクラシファイアを使う場合を考えると、カテゴリーごとの確率密度の推定値である
【数５】
【００４２】
図４は、１次元データを対象としてパーゼンクラシファイアを用いた場合の識別概念を説明するための説明図である。なお、図中に○で示すデータは、平均１９０、標準偏差３０の正規分布Ｎ（１９０，３０2）と、平均３８０、標準偏差３０の正規分布Ｎ（３８０，３０2）とを８対２で混合した分布をもつ人工的に発生させたデータとし、図中に□で示すデータは、平均２３０、標準偏差６０の正規分布Ｎ（２３０，６０2）と、平均３３０、標準偏差１０の正規分布Ｎ（３３０，１０2）とを６対４で混合した分布をもつ人工データとする。また、カテゴリーごとのデータの個数は各々１０個とする。
【００４３】
そして、混合分布についてバンド幅の設定値として標準偏差を混合比率で平均した値に固定する、すなわちカテゴリーＡのバンド幅を、（３０×８＋３０×２）／１０＝３０に設定し、カテゴリーＢのバンド幅を、（６０×６＋１０×４）／１０＝４０に設定したとき、各々１０個のデータを用いて推定される密度関数は、同図（ａ）に示す曲線になる。
【００４４】
また、分布ごとにバンド幅を固定すると、すなわちカテゴリーＡのバンド幅を、（１）のデータに対して３０および（２）のデータに対して３０、カテゴリーＢのバンド幅を、（３）のデータに対して６０および（４）のデータに対して１０に設定すると、同図（ｂ）に示す曲線のようになる。ここで、あるｘが与えられた場合に、該ｘの確率密度関数の大きなカテゴリーにｘが属するものと判断されることになる。
【００４５】
このように、パーゼンクラシファイアを使って識別をおこなうことができるわけであるが、かかるパーゼンクラシファイアによれば、次元の呪いと呼ばれるｄの増加によって累進的に大きなＮのデータが必要になるという問題や、バンド幅が固定であるという問題が生ずる。
【００４６】
そこで、本実施の形態にかかる認識辞書管理部１６では、（５）式の分母の項であるｈi d｜Σi｜1/2を消すとともに、バンド幅を可変にする対策を講じている。具体的には、ガウスカーネルによる密度推定に基づいて事後確率を算出するが、そのときどのカテゴリーにも共通のΣを用い、かつ、密度正規化項１／ｈi dを無視することにする。
【００４７】
Ｃをカテゴリー数とすると、カテゴリーｗiの事後確率は、
【数６】
【００４８】
また、ここではカテゴリー境界付近のみを残すようにエディティングした参照パターンに対して、識別関数ｇi（ｘ）を
【数７】
【００４９】
また、カテゴリーｉのｋ番目の参照パターンのバンド幅ｈikを
【数８】
【００５０】
次に、図１に示した認識辞書管理部１６によるエディティング処理手順について説明する。図５は、図１に示した認識辞書管理部１６によるエディティング処理手順を示すフローチャートである。
【００５１】
同図に示すように、この認識辞書管理部１６では、選択されるサンプルの集合Ｂ＝｛全サンプル｝とし、Ｂの要素ｘに付与されたチェック済みＣＦＬＧ［ｘ］をすべてオフ（ＯＦＦ）にし、近傍探索数ｒ＝１０ｋとセットする初期化をおこなう（ステップＳ５０１）。
【００５２】
その後、近傍探索数ｒをｋ’と比較して（ステップＳ５０２）、この近傍探索数ｒがｋ以上でなければ（ステップＳ５０２否定）そのまま処理を終了し、近傍探索数ｒがｋ以上である場合には（ステップＳ５０２肯定）、集合ＢのＣＦＬＧ［ｘ］＝ＯＦＦであるものの中から、ランダムにサンプルｘを１個抽出する（ステップＳ５０３）。
【００５３】
そして、ｘの近傍ｒ個の全部がｘのカテゴリーと同じであるか否かを確認する（ステップＳ５０４）。なお、このｋ’が大きいほど１つのカテゴリーに属するパターン分布の外皮を近似する回帰が識別境界から分布の内部の方向に離れ、また識別境界を平滑化する作用を強めることになる。
【００５４】
その結果、ｘの近傍ｒ個の全部がｘのカテゴリーと同じである場合には（ステップＳ５０４肯定）、ＢをＢ−｛ｘ｝に更新し、ＣＦＬＧをすべてＯＦＦに戻してカウント値countを０とした後に（ステップＳ５０５）、ステップＳ５０３に移行する。
【００５５】
これに対して、ｘの近傍ｒ個の一つでもｘのカテゴリーと同じでない場合には（ステップＳ５０４否定）、ＣＦＬＧ［ｘ］をオン（ＯＮ）にして、カウント値countをインクリメントした後に（ステップＳ５０６）、このカウント値countが集合の個数｜Ｂ｜以上であるか否かを調べ（ステップＳ５０７）、カウント値countが集合の個数｜Ｂ｜以上でない場合には（ステップＳ５０７否定）、ステップＳ５０３に移行する。
【００５６】
一方、カウント値countが集合の個数｜Ｂ｜以上である場合には（ステップＳ５０７肯定）、ｒ＝ｒ−Δｒとし、ＣＦＬＧをすべてＯＦＦに戻し、カウント値countを０とした後に（ステップＳ５０８）、ステップＳ５０２に移行する。
【００５７】
上記一連のエディティング処理をおこなうことにより、認識辞書管理部１６が識別境界から離れた参照パターンを削除し、もって認識辞書の容量を低減することができる。
【００５８】
図６は、認識辞書管理部１６による参照パターンの削減過程を説明するための説明図である。同図（ａ）に示す各カテゴリーあたり２００個のサンプルが存在する場合に、ｋ’＝５すなわち、どの近傍５個についても必ず互いにカテゴリーの違うパターンが含まれているという終了条件を用いてエディティング処理を適用すると、同図（ｂ）のようになる。
【００５９】
そして、ｋ’＝４すなわち、どの近傍４個についても必ず互いにカテゴリーの違うパターンが含まれているという終了条件を用いてエディティング処理を適用すると同図（ｃ）のようになり、同様にｋ’＝３という終了条件を用いてエディティング処理を適用すると同図（ｄ）のようになる。
【００６０】
これらの図から分かるように、このエディティング処理をおこなうと、境界付近の参照パターンが残るが、境界から離れた部分の参照パターンは削減されることになる。
【００６１】
次に、認識辞書管理部１６によるバンド幅変更の効果について具体的に説明する。図７は、認識辞書管理部１６によるバンド幅変更の効果の一例を説明するための説明図である。
【００６２】
なお、図４と同様に、図中に○で示すデータは、平均１９０、標準偏差３０の正規分布Ｎ（１９０，３０2）と、平均３８０、標準偏差３０の正規分布Ｎ（３８０，３０2）とを８対２で混合した分布をもつ人工的に発生させたデータとし、図中に□で示すデータは、平均２３０、標準偏差６０の正規分布Ｎ（２３０，６０2）と、平均３３０、標準偏差１０の正規分布Ｎ（３３０，１０2）とを６対４で混合した分布をもつ人工データとする。また、カテゴリーごとのデータの個数は各々１０個とする。
【００６３】
同図（ａ）に示すように、混合分布についてバンド幅を固定（カテゴリーＡ；３０、カテゴリーＢ；４０）した場合にはエラーが６個生じ、同図（ｂ）に示すように、分布ごとにバンド幅を固定（カテゴリーＡ；３０と３０、カテゴリーＢ６０と１０）すると、エラーが５個となった。
【００６４】
これに対して、同図（ｃ）に示すように、バンド幅を異カテゴリーとの最近傍距離とした場合には、エラーが３個となり、エラー個数が低減した。さらに、同図（ｄ）に示すようにエディティング処理をおこなうと、エラー個数が２個となった。かかる場合にエラー個数が低減する理由は、２個の相対するカテゴリーとの識別境界をきめ細かく形成できるからである。
【００６５】
次に、２カテゴリーであり、かつ、ｋ最近傍が２個と単純化した場合について説明する。なお、バンド幅は、異カテゴリーパターンとの最小距離ｍｉｎ||ｓi−ｓj||（ただし、ｓiとｓjのカテゴリは異なる）の定数倍であるものとする。
【００６６】
この場合には、（６）式で示したカテゴリーｗ1の事後確率は、
【数９】
【００６７】
このため、
【数１０】
【００６８】
上述してきたように、本実施の形態によれば、認識辞書管理部１６は、識別境界から離れたパターンを削除する認識辞書１５のエディティング処理をおこなうとともに、バンド幅を可変にして確率密度関数を推定するよう構成したので、認識辞書１５の容量を低減するとともに、カテゴリー間の識別境界をきめ細かく形成可能にして認識精度を高めることができる。
【００６９】
なお、本実施の形態では、本発明を文字認識装置に適用した場合を示したが、本発明はこれに限定されるものではなく、パターンの認識をおこなう各種パターン認識装置に適用することができる。ただし、英文字、数字、カタカナなどカテゴリー数が少ないものについて特に有効である。
【００７０】
【発明の効果】
以上説明したように、請求項１の発明によれば、複数の参照パターンをカテゴリーごとに区分して認識辞書に記憶しておき、ガウスカーネルによる密度推定に基づいて各カテゴリーの事後確率を算出する際に、カテゴリーにかかわらず共通の標本共分散行列を用いるとともに、所定の近傍に位置する参照パターンの全てが同一カテゴリーに属するものを削除対象として、認識辞書内の参照パターンのうちカテゴリー間の識別境界から離れた参照パターンを削除するよう構成したので、認識辞書のメモリ容量を抑制しつつ、カテゴリー間の識別境界をきめ細かく形成可能にして認識精度の向上を図ることが可能なパターン認識装置が得られるという効果を奏する。
【００７２】
また、請求項２の発明によれば、ガウスカーネルによる密度推定に基づいて各カテゴリーの事後確率を算出する際に、密度正規化項１／ｈi dを無視するよう構成したので、認識辞書のメモリ容量を抑制しつつ、認識精度の向上を図ることが可能なパターン認識装置が得られるという効果を奏する。
【００７３】
また、請求項３の発明によれば、認識辞書に記憶した各参照パターンごとに保持するスカラー値であるバンド幅を可変にするよう構成したので、より高度な認識精度を得ることが可能なパターン認識装置が得られるという効果を奏する。
【００７４】
また、請求項４の発明によれば、バンド幅を異カテゴリーパターン全体との最小距離の定数倍に設定するよう構成したので、より高度な認識精度を得ることが可能なパターン認識装置が得られるという効果を奏する。
【００７５】
また、請求項５の発明によれば、複数の参照パターンをカテゴリーごとに区分して認識辞書に記憶しておき、ガウスカーネルによる密度推定に基づいて各カテゴリーの事後確率を算出する際に、カテゴリーにかかわらず共通の標本共分散行列を用いるとともに、所定の近傍に位置する参照パターンの全てが同一カテゴリーに属するものを削除対象として、認識辞書内の参照パターンのうちカテゴリー間の識別境界から離れた参照パターンを削除するよう構成したので、認識辞書のメモリ容量を抑制しつつ、認識精度の向上を図ることが可能なパターン認識方法が得られるという効果を奏する。
【００７７】
また、請求項６の発明によれば、ガウスカーネルによる密度推定に基づいて各カテゴリーの事後確率を算出する際に、密度正規化項１／ｈi dを無視するよう構成したので、認識辞書のメモリ容量を抑制しつつ、認識精度の向上を図ることが可能なパターン認識方法が得られるという効果を奏する。
【００７８】
また、請求項７の発明によれば、認識辞書に記憶した各参照パターンごとに保持するスカラー値であるバンド幅を可変にするよう構成したので、より高度な認識精度を得ることが可能なパターン認識方法が得られるという効果を奏する。
【００７９】
また、請求項８の発明によれば、バンド幅を異カテゴリーパターン全体との最小距離の定数倍に設定するよう構成したので、より高度な認識精度を得ることが可能なパターン認識方法が得られるという効果を奏する。
【００８０】
また、請求項９の発明によれば、請求項５〜８のいずれか一つに記載された方法をコンピュータに実行させるプログラムを記録したことで、そのプログラムを機械読み取り可能となり、これによって、請求項５〜８のいずれか一つの動作をコンピュータによって実現することが可能な記録媒体が得られるという効果を奏する。
【図面の簡単な説明】
【図１】この発明の実施の形態に係る文字認識装置の構成を示す機能ブロック図である。
【図２】２種のカテゴリーに属する参照パターンの分布の一例を示す説明図である。
【図３】図２に示す参照パターンの分布に識別境界の一例を設けた説明図である。
【図４】パーゼンクラシファイアを用いた場合の識別概念を説明するための説明図である。
【図５】図１に示した認識辞書管理部によるエディティング処理手順を示すフローチャートである。
【図６】図１に示した認識辞書管理部による参照パターンの削減過程を説明するための説明図である。
【図７】図１に示した認識辞書管理部によるバンド幅変更の効果の一例を説明するための説明図である。
【図８】２カテゴリ、かつ、ｋ最近傍が２個と単純化した場合を説明するための説明図である。
【符号の説明】
１０ 文字認識装置
１１ 画像入力部
１２ 前処理部
１３ 特徴抽出部
１４ 認識処理部
１５ 認識辞書
１６ 認識辞書管理部
Ａ，Ｂ カテゴリー
Claims (9)
- 入力パターンがどのカテゴリーに属するかを認識辞書に基づいて判定して前記入力パターンのパターン認識をおこなうパターン認識装置において、
複数の参照パターンをカテゴリーごとに区分して記憶する認識辞書と、
ガウスカーネルによる密度推定に基づいて各カテゴリーの事後確率を算出する際に、カテゴリーにかかわらず共通の標本共分散行列を用いるとともに、所定の近傍に位置する参照パターンの全てが同一カテゴリーに属するものを削除対象として、前記認識辞書内の参照パターンのうちカテゴリー間の識別境界から離れた参照パターンを削除するエディティング手段と
を備えたことを特徴とするパターン認識装置。 - 前記エディッティング手段は、ガウスカーネルによる密度推定に基づいて各カテゴリーの事後確率を算出する際に、密度正規化項１／ｈi dを無視することを特徴とする請求項１に記載のパターン認識装置。
- 前記認識辞書に記憶した各参照パターンごとに保持するスカラー値であるバンド幅を可変にするバンド幅設定手段をさらに備えたことを特徴とする請求項１または２に記載のパターン認識装置。
- 前記バンド幅設定手段は、前記バンド幅を異カテゴリーパターン全体との最小距離の定数倍に設定することを特徴とする請求項３に記載のパターン認識装置。
- 入力パターンがどのカテゴリーに属するかを認識辞書に基づいて判定して前記入力パターンのパターン認識をおこなうパターン認識方法において、
ガウスカーネルによる密度推定に基づいて各カテゴリーの事後確率を算出する際に、カテゴリーにかかわらず共通の標本共分散行列を用いるとともに、所定の近傍に位置する参照パターンの全てが同一カテゴリーに属するものを削除対象として、複数の参照パターンをカテゴリーごとに区分して記憶する認識辞書内の参照パターンのうちカテゴリー間の識別境界から離れた参照パターンを削除するエディティング工程
を含んだことを特徴とするパターン認識方法。 - 前記エディッティング工程は、ガウスカーネルによる密度推定に基づいて各カテゴリーの事後確率を算出する際に、密度正規化項１／ｈi dを無視することを特徴とする請求項５に記載のパターン認識方法。
- 前記認識辞書に記憶した各参照パターンごとに保持するスカラー値であるバンド幅を可変にするバンド幅設定工程をさらに含んだことを特徴とする請求項５または６に記載のパターン認識方法。
- 前記バンド幅設定工程は、前記バンド幅を異カテゴリーパターン全体との最小距離の定数倍に設定することを特徴とする請求項７に記載のパターン認識方法。
- 前記請求項５〜８に記載された方法をコンピュータに実行させるプログラムを記録したことを特徴とするコンピュータ読み取り可能な記録媒体。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000347272A JP3977007B2 (ja) | 2000-11-14 | 2000-11-14 | パターン認識装置、パターン認識方法およびその方法をコンピュータに実行させるプログラムを記録したコンピュータ読み取り可能な記録媒体 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000347272A JP3977007B2 (ja) | 2000-11-14 | 2000-11-14 | パターン認識装置、パターン認識方法およびその方法をコンピュータに実行させるプログラムを記録したコンピュータ読み取り可能な記録媒体 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2002150286A JP2002150286A (ja) | 2002-05-24 |
| JP3977007B2 true JP3977007B2 (ja) | 2007-09-19 |
Family
ID=18821034
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2000347272A Expired - Fee Related JP3977007B2 (ja) | 2000-11-14 | 2000-11-14 | パターン認識装置、パターン認識方法およびその方法をコンピュータに実行させるプログラムを記録したコンピュータ読み取り可能な記録媒体 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3977007B2 (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102034243A (zh) * | 2010-12-29 | 2011-04-27 | 北京智安邦科技有限公司 | 一种获取视频图像中人群密度图的方法及装置 |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4657511B2 (ja) * | 2001-07-12 | 2011-03-23 | グローリー株式会社 | パターン認識装置、パターン認識方法およびその方法をコンピュータに実行させるプログラム |
| US7202791B2 (en) * | 2001-09-27 | 2007-04-10 | Koninklijke Philips N.V. | Method and apparatus for modeling behavior using a probability distrubution function |
| JP4514687B2 (ja) * | 2004-11-08 | 2010-07-28 | 株式会社東芝 | パターン認識装置 |
| WO2007098957A1 (en) * | 2006-03-03 | 2007-09-07 | Mentis Cura Ehf. | Method and apparatus of constructing and using a reference tool to generate a discriminatory signal for indicating a medical condition of a subject |
| JP5234809B2 (ja) * | 2009-06-24 | 2013-07-10 | 任天堂株式会社 | 情報処理プログラムおよび情報処理装置 |
-
2000
- 2000-11-14 JP JP2000347272A patent/JP3977007B2/ja not_active Expired - Fee Related
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102034243A (zh) * | 2010-12-29 | 2011-04-27 | 北京智安邦科技有限公司 | 一种获取视频图像中人群密度图的方法及装置 |
| CN102034243B (zh) * | 2010-12-29 | 2012-09-26 | 北京智安邦科技有限公司 | 一种获取视频图像中人群密度图的方法及装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2002150286A (ja) | 2002-05-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Bhowmick et al. | Fast polygonal approximation of digital curves using relaxed straightness properties | |
| Kanai et al. | Automated evaluation of OCR zoning | |
| US8594431B2 (en) | Adaptive partial character recognition | |
| EP1598770B1 (en) | Low resolution optical character recognition for camera acquired documents | |
| US9384409B1 (en) | Word segmentation for document image using recursive segmentation | |
| CN111079639A (zh) | 垃圾图像分类模型构建的方法、装置、设备及存储介质 | |
| Liu et al. | Precise candidate selection for large character set recognition by confidence evaluation | |
| CN111429359B (zh) | 小面积指纹图像拼接方法、装置、设备及存储介质 | |
| CN101140623A (zh) | 一种基于支持向量机的视频对象识别方法及系统 | |
| Wolf | Document ink bleed-through removal with two hidden markov random fields and a single observation field | |
| Bhowmik et al. | BINYAS: a complex document layout analysis system | |
| Kumar et al. | MAPS: Midline analysis and propagation of segmentation | |
| Kumar et al. | Text/image region separation for document layout detection of old document images using non-linear diffusion and level set | |
| Cao et al. | Preprocessing of low-quality handwritten documents using markov random fields | |
| JP3977007B2 (ja) | パターン認識装置、パターン認識方法およびその方法をコンピュータに実行させるプログラムを記録したコンピュータ読み取り可能な記録媒体 | |
| Liu et al. | Unstructured document recognition on business invoice | |
| Abdullah et al. | Novel Adaptive Binarization Method for Degraded Document Images. | |
| Zheng et al. | Text identification in noisy document images using Markov random model | |
| Senanayaka et al. | Adaptive Centroid Placement Based SNIC for Superpixel Segmentation | |
| Shirdhonkar et al. | Discrimination between printed and handwritten text in documents | |
| JP4657511B2 (ja) | パターン認識装置、パターン認識方法およびその方法をコンピュータに実行させるプログラム | |
| Abreu et al. | An improved fast edit approach for two-string approximated mean computation applied to OCR | |
| Yang et al. | Fuzzy clustering with spatial constraints for image thresholding. | |
| Patil et al. | Different techniques used in the process of feature extraction from fingerprint | |
| Giuliodori et al. | Handwritten digit classification |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20051212 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20060907 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20061003 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20061122 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070327 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070523 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070619 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070620 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100629 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110629 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110629 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120629 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120629 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130629 Year of fee payment: 6 |
|
| LAPS | Cancellation because of no payment of annual fees |