JP3810469B2 - パターン認識方法 - Google Patents

パターン認識方法 Download PDF

Info

Publication number
JP3810469B2
JP3810469B2 JP04785096A JP4785096A JP3810469B2 JP 3810469 B2 JP3810469 B2 JP 3810469B2 JP 04785096 A JP04785096 A JP 04785096A JP 4785096 A JP4785096 A JP 4785096A JP 3810469 B2 JP3810469 B2 JP 3810469B2
Authority
JP
Japan
Prior art keywords
class
pattern
pattern set
identification dictionary
linear discriminant
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP04785096A
Other languages
English (en)
Other versions
JPH09245124A (ja
Inventor
隆彦 川谷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
HP Inc
Original Assignee
Hewlett Packard Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hewlett Packard Co filed Critical Hewlett Packard Co
Priority to JP04785096A priority Critical patent/JP3810469B2/ja
Priority to KR10-1998-0706993A priority patent/KR100441706B1/ko
Priority to US09/142,328 priority patent/US6466926B1/en
Priority to DE69734507T priority patent/DE69734507T2/de
Priority to PCT/US1997/003387 priority patent/WO1997033250A1/en
Priority to EP97914856A priority patent/EP0885427B1/en
Publication of JPH09245124A publication Critical patent/JPH09245124A/ja
Application granted granted Critical
Publication of JP3810469B2 publication Critical patent/JP3810469B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/22Matching criteria, e.g. proximity measures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/245Classification techniques relating to the decision surface
    • G06F18/2453Classification techniques relating to the decision surface non-linear, e.g. polynomial classifier

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Nonlinear Science (AREA)
  • Character Discrimination (AREA)

Description

【0001】
【産業上の利用分野】
本発明は文字認識を始めとするパターン認識方法に関するものであり、特にフィッシャーの線形判別分析を応用したパターン認識方法の高精度化を図ろうとするものである。
【0002】
【従来の技術】
フィッシャーの線形判別分析を応用したパターン認識方法のひとつにLDA法(川谷隆彦:“距離関数の学習による手書き数字認識”,信学論(D-II),J76-D-II, 9, pp. 1851-1859(平5))がある。LDA法は、重み付きユークリッド距離、2次識別関数を原距離関数とし、着目クラスのパターン集合と原距離関数でそのクラスに誤認識を起こしたパターン集合(ライバルパターン集合)との間で線形判別分析を適用して求められる判別関数を原距離関数に重畳させることにより、距離関数のパラメータ(参照ベクトル、重みベクトル、定数項)の学習を行う。LDA法では特徴ベクトルの1次の項のみならず、2次の項をも線形の項として用いることに特長がある。原距離関数を重み付きユークリッド距離とした場合について更に詳しく説明する。重み付きユークリッド距離D(x)は、クラスを表わす添字を省略すると次のように定義される。
【0004】
【数1】
Figure 0003810469
【0005】
ここで、x=(x1,...,xMt、μ=(μ1,...,μMt、ω=(ω1,...,ωMtはそれぞれ入力のM次元特徴ベクトル、着目クラスの参照ベクトル、重みベクトルである。但し、tは転置を表す。LDA法では、各クラスについてそのクラスのパターン集合とD(x)を用いて認識した時に得られるライバルパターン集合(そのクラスに誤認識したパターンの集合)との間で線形判別分析を行い判別関数F(x)を求める。線形判別分析では、成分が次式で与えられる2M次元のベクトルy=(y1,...,yM,yM+1,...y2Mtを変数として用いる。
m=(xm−μm2
M+m=(xm−μm
F(x)は次のように書くことができる。
【0006】
【数2】
Figure 0003810469
【0007】
但し、 F(x)の符号とcは、特徴ベクトルがそのクラスのパターン集合に属する時には負、ライバルパターン集合に属する時には正になるように決定される。次に、修正された距離関数G(x)を次式のように定義する。即、
G(x)= D(x) + γF(x)
ここでγは正の定数であり、G(x)を用いて識別を行った時に認識精度が最大となるよう実験的に決められる値である。F(x)の定義から分かるように、F(x)を加えたことにより、距離の値は各パターンに対し、自らが属するクラスに対しては小さく、属さないクラスに対しては大きくなるように修正を受ける。従って、D(x)を用いて識別を行った時には誤認識を起こしたパターンもG(x)により識別を行えば正しく識別される可能性がある。 G(x)は次のように書くことができる。
【0008】
【数3】
Figure 0003810469
【0009】
G(x)の形は定数項dが付与された他は原距離関数D(x)と同じであり、参照ベクトル、重みベクトルのm番目の成分の値がそれぞれΔμm、Δωm だけ修正を受けている。これはライバルパターン集合を用い、パラメータが学習されたものとみなすことができる。G(x)を求めるための識別辞書では、修正を受けた参照ベクトル、重みベクトル、定数項が格納される。
【0010】
LDA法ではF(x)が如何に正しく求められるかが鍵となる。F(x)を求めるための線形判別分析では、1次元の軸z=F(x)上に射影したときに得られる判別すべき2つのパターン集合の分布に対し、クラス間分散のクラス内分散に対する比、即ち分散比が最大になるように射影軸が決定される。本発明で問題とするのはz軸上に射影したときの2つのパターン集合の分布の対称性に関してである。認識に用いられる特徴量の分布そのものが非対称であればz軸上のパターン分布は対称にならないと考えられる。文字認識に用いられる特徴の多くは平均値よりも大きい側で長く尾を引くような非対称な分布を呈することはよく知られている。また、2つのパターン集合が特徴空間上で対称に分布していたにしても、2次の項まで用いて線形判別分析を行うと、z軸上のパターン分布は対称にならない。簡単な例で示す。対象となるパターン集合において特徴は無相関で分散が1となるものとし、かつ、F(x)の定義式においてam=1、bm=0となる場合を考える。この場合、F(x)はユークリッド距離を表わすこととなり、z上のパターンの分布はユークリッド距離の分布を表わすこととなる。ユークリッド距離の確率密度分布p(z)は
P(z)
=Σz(M-2)/2-z/2/(2M/2Γ(M/2))
【0011】
で与えられることが知られている(K.Fukunaga, Introduction to Statistical Pattern Recognition, Second Edition,ACADEMIC PRESS INC(1990))。ここで、Γはガンマ関数である。上式はガンマ分布の密度関数を表わしている。よく知られているようにガンマ分布の密度関数は非対称な分布を表わす。一般の場合、即ちam、bmが任意の値をとる場合についてはF(x)の分布を定式化することは困難であるが、対称な分布を呈するとは考えられない。z上のパターン分布が対称にならない以上、線形判別分析の結果求められる判別関数は、パターン全体に対しては分散比を最大にするものの、本当に分離したいパターン、即ちエラーを起しやすいパターンに対して最大にするとは限らない。言い換えれば、従来の方法では分離したいパターンに対して判別関数は最適にはならず、G(x)の識別能力の改善効果は限られていた。
【0012】
【発明が解決しようとする課題】
本発明は上記問題の解決を図り、エラーを起しやすいパターンに対して分散比を最大にすることにより、F(x)の判別能力、引いてはG(x)の識別能力を高めることにある。
【0013】
【課題を解決するための手段】
上述のように、z軸上の分布を定式化することは困難であり、本課題を解析的に解決することは難しい。そこで本発明では、従来のLDA法の適用により求められた判別関数の値を全パターンに対して求め、着目クラスのパターン集合からはその値が大きいパターンを、ライバルパターン集合からはその値が小さなパターンを一定数選択することにより、互いにエラーを起こしやすいパターン集合を作成する。次いで、これらのパターン集合の間で再度判別分析を施すことにより、より判別能力の高い判別関数を得るようにする。
【0014】
【作用】
この処理により、判別関数の判別能力を高めることが出来、その結果、パターン認識精度の著しい向上を期待することができる。
【0015】
【実施例】
図1は本発明の実施例を示す図である。1は前処理、2は特徴抽出、3は距離算出処理、4は識別辞書、5はクラス決定処理を表わす。
入力されたパターンについて、まず前処理1で位置、大きさの正規化、雑音除去などの前処理が行われ、次いで特徴抽出処理2で識別に用いる特徴が抽出される。距離算出処理3では、4に格納されている識別辞書をもとに各クラスに対する距離が算出される。最後に5のクラス決定処理で最も小さな距離を与えるクラスが求められ、入力パターンが属するクラスと決定される。このような処理の手順そのものは従来の文字認識処理と全く同じであり、本発明のポイントは4の識別辞書の内容にある。図2は識別辞書を求めるための手順を示したものである。
【0016】
ステップ21において用意された訓練パターンに対する前処理、特徴抽出が行われる。ステップ22において従来の方法でLDA法を適用し、判別関数を求めると同時に各クラスに対してライバルパターン集合を求める。ステップ23では現在求められている判別関数の値を全訓練パターンに対して求める。初めてステップ23を実行するときにはステップ22で求められた判別関数を用い、2回目以降の時には後述のステップ25で求められた判別関数を用いる。ステップ24では、ステップ23で求められた各訓練パターンに対する判別関数の値を用いて、各クラスに属するパターン集合の中から判別関数の値の大きい順に一定個のパターンを選択し、部分パターン集合を作成する。同様にステップ22で求められた各クラスのライバルパターン集合の中から判別関数の値の小さい順に一定個のパターンを選択し、部分ライバルパターン集合を作成する。
【0017】
実際に何パターン選択するかは実験的に決めればよい。次いでステップ25において、従来のLDA法と同様の手順で、各クラスの部分パターン集合と部分ライバルパターン集合の間で線形判別分析を行い、求められた判別関数 F(x) を用いて、G(x) = D(x) + γF(x) により修正された距離関数G(x)を決定する。γはG(x)の正読率が最大になるように決定する。また、従来のLDA法で学習された距離関数をH(x)とした時に、G(x) = H(x) + γF(x) により修正された距離関数G(x)を決定してもよい。次のステップ26では、ステップ25で求められた距離関数G(x)を用いて全訓練パターンに対して識別を行い、その結果から各クラスの部分パターン集合に含まれなかった、もしくはライバルパターンとして各クラスの部分ライバルパターン集合に含まれなかった誤認識パターンを検出し、そのような誤認識パターンが存在すればステップ28でそれらを各クラスの部分パターン集合、もしくは部分ライバルパターン集合に追加し、ステップ25の処理から繰り返す。そのような誤認識パターンが存在しなければ、ステップ29でそのときの正読率が前回の繰り返しの時のそれとの差を検出し、収束していれば処理を終了し、していなければステップ23から処理を繰り返す。
【0018】
【発明の効果】
本発明によれば、線形判別分析における判別軸上の分布の非対称性の悪影響を軽減させることが可能となり認識精度の著しい向上が実現できる。本発明の一実施例ではNIST(National Institute of Standards and Technology)が公開している文字データベースSD19を用いた実験において、従来方法であるLDA法の99.75%の認識率に対して、本発明では99.87%の認識率が達成出来た。
【図面の簡単な説明】
【第1図】本発明を実施する為のブロック図である。
【第2図】本発明の一実施例を示すフローチャートである。
【符号の説明】
1 前処理
2 特徴抽出処理
3 距離算出処理
4 識別処理
5 クラス決定処理

Claims (4)

  1. プログラムされたコンピュータによって、以下の(a)から(e)のステップによって第2の識別辞書を作成し、
    プログラムされたコンピュータによって、未知の入力パターンを読込み、前記未知の入力パターンから抽出された特徴値と前記第2の識別辞書に格納されている各クラスの特徴値に関する情報を用いて、各クラスとの距離を求めることにより、前記未知の入力パターンの属するクラスを求めるパターン認識方法。
    (a)訓練パターンを読込み、前記訓練パターンから特徴ベクトルを抽出し、第1の識別辞書と距離関数を用いて識別対象の全クラスとの距離を求めて識別を行い、前記識別の結果を用いて、前記訓練パターンから、各クラス毎に、前記各クラスに属するパターンから成る第1のパターン集合と、前記各クラス以外のクラスに属するパターンの集合であって、前記各クラスに誤識別されたパターンを含む第1のエラーパターン集合を作成するステップ。
    (b)前記各クラスの前記第1のパターン集合と前記第1のエラーパターン集合との間で、第1の線形判別分析を実行するステップ。
    (c)前記第1の線形判別分析の結果から、前記各クラスの前記第1のパターン集合から判別関数の値の大きいパターンを所定数選択し第2のパターン集合を生成し、並びに、前記各クラスの前記第1のエラーパターン集合の中から判別関数の値の小さいパターンを所定数選択し第2のエラーパターン集合を生成するステップ。
    (d)前記第2のパターン集合と前記第2のエラーパターン集合に対して第2の線形判別分析を行うステップ。
    (e)前記第2の線形判別分析によって得られる線形判別関数によって求められる情報を用いて、前記第1の識別辞書を修正することにより、第2の識別辞書を作成するステップ。
  2. さらに、プログラムされたコンピュータによって、以下の(a)から(f)のステップで第3の識別辞書を作成し、
    前記第3の識別辞書を用いて、前記未知の入力パターンの属するクラスを求める請求項1に記載のパターン認識方法。
    (a)前記第2の識別辞書と距離関数を用いて前記訓練パターンの認識を行なうステップ。
    (b)各クラスごとに、各クラスに属していながら他のクラスに属すると誤って識別され、かつ各クラスの第2のパターン集合に含まれていなかったパターンを第2のパターン集合に追加し第3のパターン集合を作成するステップ。
    (c)各クラスごとに、他のクラスに属していながら各クラスに属すると誤って識別され、かつ各クラスの第2のエラーパターン集合に含まれていなかったパターンを第2のエラーパターン集合に追加し第3のエラーパターン集合を作成するステップ。
    (d)前記(b)及び(c)の処理を各クラスに対して繰返すステップ。
    (e)前記第3のパターン集合と前記第3のエラーパターン集合とを用いて、各クラスごとに第3の線形判別分析を行って求められる判別関数を用いて、前記第2の識別辞書を修正することにより、第3の識別辞書を作成するステップ。
    (f)前記(a)から(e)の処理を訓練パターンの正読率が収束するまで繰り返すステップ。
  3. 前記第1の線形判別分析、及び、前記第2の線形判別分析において、前記特徴ベクトルの1次の項だけではなく、2次の項をも線形の項として用いて、前記第1の識別辞書、及び、前記第2の識別辞書を作成することを特徴とする請求項1に記載のパターン認識方法。
  4. 前記第1の線形判別分析と、前記第2の線形判別分析と、前記第3の線形判別分析とにおいて、前記特徴ベクトルの1次の項だけではなく、2次の項をも線形の項として用いて、前記第3の識別辞書を作成することを特徴とする請求項2に記載のパターン認識方法。
JP04785096A 1996-03-06 1996-03-06 パターン認識方法 Expired - Fee Related JP3810469B2 (ja)

Priority Applications (6)

Application Number Priority Date Filing Date Title
JP04785096A JP3810469B2 (ja) 1996-03-06 1996-03-06 パターン認識方法
KR10-1998-0706993A KR100441706B1 (ko) 1996-03-06 1997-03-05 인식사전최적화방법
US09/142,328 US6466926B1 (en) 1996-03-06 1997-03-05 Method for optimizing a recognition dictionary to distinguish between patterns that are difficult to distinguish
DE69734507T DE69734507T2 (de) 1996-03-06 1997-03-05 Verfahren zur optimierung eines erkennungswörterbuchs, so das ähnliche muster besser unterschieden werden können
PCT/US1997/003387 WO1997033250A1 (en) 1996-03-06 1997-03-05 Method for optimizing a recognition dictionary to distinguish between patterns that are difficult to distinguish
EP97914856A EP0885427B1 (en) 1996-03-06 1997-03-05 Method for optimizing a recognition dictionary to distinguish between patterns that are difficult to distinguish

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP04785096A JP3810469B2 (ja) 1996-03-06 1996-03-06 パターン認識方法

Publications (2)

Publication Number Publication Date
JPH09245124A JPH09245124A (ja) 1997-09-19
JP3810469B2 true JP3810469B2 (ja) 2006-08-16

Family

ID=12786853

Family Applications (1)

Application Number Title Priority Date Filing Date
JP04785096A Expired - Fee Related JP3810469B2 (ja) 1996-03-06 1996-03-06 パターン認識方法

Country Status (5)

Country Link
EP (1) EP0885427B1 (ja)
JP (1) JP3810469B2 (ja)
KR (1) KR100441706B1 (ja)
DE (1) DE69734507T2 (ja)
WO (1) WO1997033250A1 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1999031654A2 (en) * 1997-12-12 1999-06-24 Koninklijke Philips Electronics N.V. Method of determining model-specific factors for pattern recognition, in particular for speech patterns
KR100405043B1 (ko) * 2000-05-17 2003-11-07 김종우 1이상의 변수를 갖는 모델의 최적 변수 값 및 해를결정하는 방법
JP3896868B2 (ja) 2002-02-27 2007-03-22 日本電気株式会社 パターンの特徴選択方法及び分類方法及び判定方法及びプログラム並びに装置
JP3726263B2 (ja) * 2002-03-01 2005-12-14 ヒューレット・パッカード・カンパニー 文書分類方法及び装置
JP5271877B2 (ja) * 2009-11-17 2013-08-21 日本電信電話株式会社 複数クラス分類装置、複数クラス分類方法および複数クラス分類プログラム

Also Published As

Publication number Publication date
KR100441706B1 (ko) 2004-09-18
KR19990087555A (ko) 1999-12-27
DE69734507T2 (de) 2006-07-06
JPH09245124A (ja) 1997-09-19
WO1997033250A1 (en) 1997-09-12
EP0885427A1 (en) 1998-12-23
DE69734507D1 (de) 2005-12-08
EP0885427B1 (en) 2005-11-02

Similar Documents

Publication Publication Date Title
Rivard et al. Multi-feature extraction and selection in writer-independent off-line signature verification
WO2018167900A1 (ja) ニューラルネットワーク学習装置、方法、およびプログラム
JPH07296117A (ja) 減少された要素特徴部分集合を用いたパターン認識システム用の分類重みマトリックスを構成する方法
Zois et al. A comprehensive study of sparse representation techniques for offline signature verification
CN105184260A (zh) 一种图像特征提取方法及行人检测方法及装置
JP5207870B2 (ja) 次元削減方法、パターン認識用辞書生成装置、及びパターン認識装置
CN110705636B (zh) 一种基于多样本字典学习和局部约束编码的图像分类方法
CN112560596B (zh) 一种雷达干扰类别识别方法及系统
CN115577357A (zh) 一种基于堆叠集成技术的Android恶意软件检测方法
CN107403618B (zh) 基于堆叠基稀疏表示的音频事件分类方法及计算机设备
Agazzi et al. Pseudo two-dimensional hidden Markov models for document recognition
JP3810469B2 (ja) パターン認識方法
Yu et al. A multi-task learning CNN for image steganalysis
CN110110734B (zh) 开集识别方法、信息处理设备以及存储介质
CN111737688B (zh) 基于用户画像的攻击防御系统
CN117672202A (zh) 一种基于深度卷积生成对抗网络的环境声音分类方法
Farimani et al. An HMM for online signature verification based on velocity and hand movement directions
JP5353482B2 (ja) パターン認識用辞書生成装置、パターン認識装置、及びパターン認識用辞書生成方法
CN113159181B (zh) 基于改进的深度森林的工业控制系统异常检测方法和系统
Teredesai et al. Active handwritten character recognition using genetic programming
CN107967472A (zh) 一种使用动态形状编码的搜索词语方法
US6466926B1 (en) Method for optimizing a recognition dictionary to distinguish between patterns that are difficult to distinguish
Xu et al. A deep learning method for Chinese writer identification with feature fusion
Soltane et al. State of the Art: Signature Biometrics Verification
Teredesai et al. On-Line Digit Recognition Using Off-Line Features.

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20051021

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20060120

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20060125

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060417

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20060522

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20060524

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100602

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100602

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110602

Year of fee payment: 5

LAPS Cancellation because of no payment of annual fees