JP2951496B2 - パタン認識方法 - Google Patents
パタン認識方法Info
- Publication number
- JP2951496B2 JP2951496B2 JP4343686A JP34368692A JP2951496B2 JP 2951496 B2 JP2951496 B2 JP 2951496B2 JP 4343686 A JP4343686 A JP 4343686A JP 34368692 A JP34368692 A JP 34368692A JP 2951496 B2 JP2951496 B2 JP 2951496B2
- Authority
- JP
- Japan
- Prior art keywords
- class
- pattern
- dictionary
- vector
- value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Landscapes
- Image Analysis (AREA)
- Character Discrimination (AREA)
Description
【０００１】
【産業上の利用分野】本発明は，文字読取り装置を始め
とするパタン認識装置におけるパタン認識方法，特に認
識精度を向上させるパタン認識方法に関するものであ
る。
とするパタン認識装置におけるパタン認識方法，特に認
識精度を向上させるパタン認識方法に関するものであ
る。
【０００２】
【従来の技術】文字認識を例に説明する。文字認識では
識別関数として距離関数が多くの場合用いられる。ユー
クリッド距離，重み付きユークリッド距離，２次識別関
数（ベイズ識別関数），修正２次識別関数，投影距離等
である。従来，距離関数を用いた場合の認識精度の向上
は，読取り対象の各クラスにおける特徴の分布をより忠
実に表現することによりなされてきた。ユークリッド距
離に対して，各クラスの各特徴の分散の逆数を重みとし
て用いるのが重み付きユークリッド距離であり，ユーク
リッド距離に比べて精度は向上する。また，２次識別関
数，修正２次識別関数，投影距離は，各クラスにおいて
特徴の共分散行列の固有ベクトル，固有値等を識別に利
用するため，特徴間に相関が存在する場合においても高
い精度を得ることができる。しかしながら，これらの方
法は手法的には限界にあり，これ以上の高精度化は望め
ない状況にある。
識別関数として距離関数が多くの場合用いられる。ユー
クリッド距離，重み付きユークリッド距離，２次識別関
数（ベイズ識別関数），修正２次識別関数，投影距離等
である。従来，距離関数を用いた場合の認識精度の向上
は，読取り対象の各クラスにおける特徴の分布をより忠
実に表現することによりなされてきた。ユークリッド距
離に対して，各クラスの各特徴の分散の逆数を重みとし
て用いるのが重み付きユークリッド距離であり，ユーク
リッド距離に比べて精度は向上する。また，２次識別関
数，修正２次識別関数，投影距離は，各クラスにおいて
特徴の共分散行列の固有ベクトル，固有値等を識別に利
用するため，特徴間に相関が存在する場合においても高
い精度を得ることができる。しかしながら，これらの方
法は手法的には限界にあり，これ以上の高精度化は望め
ない状況にある。
【０００３】文字認識の高精度化を図る場合に重要とな
るもう一つの視点は，各クラスにおいて他のクラスとの
違いを強調することである。これの一つの実現手段は距
離関数を用いて識別を行ったときに求められる入力パタ
ンと各クラスの間の距離を，入力パタンが属するクラス
に対しては小さく，属さないクラスに対しては大きくな
るように修正することである。
るもう一つの視点は，各クラスにおいて他のクラスとの
違いを強調することである。これの一つの実現手段は距
離関数を用いて識別を行ったときに求められる入力パタ
ンと各クラスの間の距離を，入力パタンが属するクラス
に対しては小さく，属さないクラスに対しては大きくな
るように修正することである。
【０００４】このような修正を行うためには，各クラス
に対し，当該クラスに属するパタン集合に対しては負の
値を，属さないパタン集合に対しては正の値を持つよう
な関数を求める必要がある。そのような方式として文献
（川谷他：“距離関数と線形判別関数の重畳による識別
関数の高度化”，1989年信学秋季全大, D-166, pp.6-16
6(平1)）に述べられている方法がある。
に対し，当該クラスに属するパタン集合に対しては負の
値を，属さないパタン集合に対しては正の値を持つよう
な関数を求める必要がある。そのような方式として文献
（川谷他：“距離関数と線形判別関数の重畳による識別
関数の高度化”，1989年信学秋季全大, D-166, pp.6-16
6(平1)）に述べられている方法がある。
【０００５】この方法では，重み付きユークリッド距
離，２次識別関数等を原距離関数とし，原距離関数で訓
練パタンに対して識別を行った結果から各クラスごとに
求められるそのクラスに誤った，または誤りそうになっ
たパタン集合とそのクラスのパタン集合との間で，変数
として訓練パタンの特徴ベクトルの各要素から参照パタ
ンベクトルの各要素を引いたもの，もしくはそれを自乗
したもののどちらか一方を用い判別分析を行って，目的
とする関数（判別関数と呼ぶ）を求める。そして，実際
に識別を行うときには，原距離関数で求められる各クラ
スの距離値に，判別関数で求められる各クラスの値を加
え，その値をもとに入力パタンのクラスを決定する。
離，２次識別関数等を原距離関数とし，原距離関数で訓
練パタンに対して識別を行った結果から各クラスごとに
求められるそのクラスに誤った，または誤りそうになっ
たパタン集合とそのクラスのパタン集合との間で，変数
として訓練パタンの特徴ベクトルの各要素から参照パタ
ンベクトルの各要素を引いたもの，もしくはそれを自乗
したもののどちらか一方を用い判別分析を行って，目的
とする関数（判別関数と呼ぶ）を求める。そして，実際
に識別を行うときには，原距離関数で求められる各クラ
スの距離値に，判別関数で求められる各クラスの値を加
え，その値をもとに入力パタンのクラスを決定する。
【０００６】この方法では，判別関数により求められる
各クラスの値を原距離関数で求められる各クラスの距離
に加えることにより，原距離関数の重みベクトル，参照
パタンベクトルを修正するのと同等の効果を得ている。
すなわち，判別分析を行うときに，変数として訓練パタ
ンの特徴ベクトルの各要素から参照パタンベクトルの各
要素を引いたものを用いるときには参照パタンベクトル
が修正され，自乗したものを用いるときには重みベクト
ルが修正される。
各クラスの値を原距離関数で求められる各クラスの距離
に加えることにより，原距離関数の重みベクトル，参照
パタンベクトルを修正するのと同等の効果を得ている。
すなわち，判別分析を行うときに，変数として訓練パタ
ンの特徴ベクトルの各要素から参照パタンベクトルの各
要素を引いたものを用いるときには参照パタンベクトル
が修正され，自乗したものを用いるときには重みベクト
ルが修正される。
【０００７】しかしながら，この方法では，重みベクト
ルと参照パタンベクトルの修正は独立に行われる結果と
なっている。そのため，重みベクトルと参照パタンベク
トルを最適に組み合わせる形で修正することはできなか
った。その結果として認識能力の改善効果は限られてい
た。
ルと参照パタンベクトルの修正は独立に行われる結果と
なっている。そのため，重みベクトルと参照パタンベク
トルを最適に組み合わせる形で修正することはできなか
った。その結果として認識能力の改善効果は限られてい
た。
【０００８】
【発明が解決しようとする課題】本発明は上記問題点の
解決を図り，原距離関数に現れる参照パタンベクトル，
重みベクトル，あるいは定数項を同時にかつ最適に修正
することにより，認識精度を向上させることを目的とす
る。
解決を図り，原距離関数に現れる参照パタンベクトル，
重みベクトル，あるいは定数項を同時にかつ最適に修正
することにより，認識精度を向上させることを目的とす
る。
【０００９】
【課題を解決するための手段】本発明では，原距離関数
で訓練パタンに対して識別を行った結果から，各クラス
毎に求められるそのクラスに誤った，または誤りそうに
なったパタン集合（ライバルパタン集合と呼ぶ）とその
クラスのパタン集合との間で，訓練パタンの特徴ベクト
ルの各要素から参照パタンベクトルの各要素を引いたも
のおよびそれを自乗したものの両方を変数として用い
て，あるいは訓練パタンの特徴ベクトルから前記識別辞
書に格納されている参照パタンベクトルを差し引いたベ
クトルを部分空間に射影して得られるベクトルの各要素
および各要素を自乗したものを変数として用いて判別分
析を行い，目的とする判別関数を求めるようにする。
で訓練パタンに対して識別を行った結果から，各クラス
毎に求められるそのクラスに誤った，または誤りそうに
なったパタン集合（ライバルパタン集合と呼ぶ）とその
クラスのパタン集合との間で，訓練パタンの特徴ベクト
ルの各要素から参照パタンベクトルの各要素を引いたも
のおよびそれを自乗したものの両方を変数として用い
て，あるいは訓練パタンの特徴ベクトルから前記識別辞
書に格納されている参照パタンベクトルを差し引いたベ
クトルを部分空間に射影して得られるベクトルの各要素
および各要素を自乗したものを変数として用いて判別分
析を行い，目的とする判別関数を求めるようにする。
【００１０】
【作用】実際に認識を行うときに，原距離関数により求
められる各クラス毎の値に判別関数により求められる各
クラス毎の値を加えた値を用いることにより，原距離関
数に現れる参照パタンベクトル，重みベクトル，あるい
は定数項を同時にかつ最適に修正する効果を得ることが
でき，そのため認識精度の著しい向上を期待することが
できる。
められる各クラス毎の値に判別関数により求められる各
クラス毎の値を加えた値を用いることにより，原距離関
数に現れる参照パタンベクトル，重みベクトル，あるい
は定数項を同時にかつ最適に修正する効果を得ることが
でき，そのため認識精度の著しい向上を期待することが
できる。
【００１１】
【実施例】図１は本発明の実施例を示す図である。図
中，１は前処理，２は特徴抽出処理，３は距離算出処
理，４は識別辞書，５は判別値算出処理，６は判別辞
書，７はクラス決定処理を表す。
中，１は前処理，２は特徴抽出処理，３は距離算出処
理，４は識別辞書，５は判別値算出処理，６は判別辞
書，７はクラス決定処理を表す。
【００１２】入力されたパタンについて，まず前処理１
で位置，大きさの正規化，雑音除去等の前処理が行わ
れ，次いで特徴抽出処理２で識別に用いる特徴が抽出さ
れる。距離算出処理３では，距離関数Ｄ（ｘ）を用い読
取り対象の各クラス毎に入力特徴ベクトルと参照パタン
ベクトルとの距離値ｄが求められる。判別値算出処理５
では，判別関数Ｆ（ｘ）を用い各クラス毎に判別値ｆが
求められる。各クラスの判別関数Ｆ（ｘ）は，入力パタ
ンがそのクラスに属していれば負の，属していなければ
正の値を持つように設計されている。すなわち，Ｆ
（ｘ）は各クラスで他のクラスとの違いを反映する関数
である。
で位置，大きさの正規化，雑音除去等の前処理が行わ
れ，次いで特徴抽出処理２で識別に用いる特徴が抽出さ
れる。距離算出処理３では，距離関数Ｄ（ｘ）を用い読
取り対象の各クラス毎に入力特徴ベクトルと参照パタン
ベクトルとの距離値ｄが求められる。判別値算出処理５
では，判別関数Ｆ（ｘ）を用い各クラス毎に判別値ｆが
求められる。各クラスの判別関数Ｆ（ｘ）は，入力パタ
ンがそのクラスに属していれば負の，属していなければ
正の値を持つように設計されている。すなわち，Ｆ
（ｘ）は各クラスで他のクラスとの違いを反映する関数
である。
【００１３】クラス決定処理７では各クラス毎に， ｇ＝ｄ＋γ・ｆ を求め，ｇが最も小さい値を与えるクラスを選択し，入
力パタンの属するクラスを決定する。なお，γは予め決
められた定数である。ここで，Ｄ（ｘ）としてどのよう
な関数を用いるか，Ｆ（ｘ）をどのように決定するかが
課題となる。
力パタンの属するクラスを決定する。なお，γは予め決
められた定数である。ここで，Ｄ（ｘ）としてどのよう
な関数を用いるか，Ｆ（ｘ）をどのように決定するかが
課題となる。
【００１４】本発明では，Ｄ（ｘ）を用いて識別を行っ
たときに求められるライバルパタン集合と各クラスのパ
タン集合との間で線形判別分析が行われてＦ（ｘ）が決
定される。以下，Ｄ（ｘ）として重み付きユークリッド
距離，２次識別関数（ベイズ識別関数），修正２次識別
関数・投影距離を用いた場合の例を示す。
たときに求められるライバルパタン集合と各クラスのパ
タン集合との間で線形判別分析が行われてＦ（ｘ）が決
定される。以下，Ｄ（ｘ）として重み付きユークリッド
距離，２次識別関数（ベイズ識別関数），修正２次識別
関数・投影距離を用いた場合の例を示す。
【００１５】 重み付きユークリッド距離の場合 重み付きユークリッド距離は，以下のように書ける。 Ｄ（ｘ）＝Σωm （ｘm −μm ）2 但し，ｘ＝（ｘ1 ，…，ｘM ）t は入力特徴ベクトル，
μ＝（μ1 ，…，μM）t は参照パタンベクトル，ω＝
（ω1 ，…，ωM ）t は重みベクトル，Ｍは特徴の次元
数である。また，ｔは転置を表す。Σはｍ＝１からＭま
での総和を表す。ここで，ω1 〜ωM が１であればＤ
（ｘ）はユークリッド距離となる。識別辞書４には，各
クラスの参照パタンベクトル，重みベクトルが格納され
る。判別関数Ｆ（ｘ）は，変数ｙm ，ｙM+m を以下のよ
うに定義して求める。
μ＝（μ1 ，…，μM）t は参照パタンベクトル，ω＝
（ω1 ，…，ωM ）t は重みベクトル，Ｍは特徴の次元
数である。また，ｔは転置を表す。Σはｍ＝１からＭま
での総和を表す。ここで，ω1 〜ωM が１であればＤ
（ｘ）はユークリッド距離となる。識別辞書４には，各
クラスの参照パタンベクトル，重みベクトルが格納され
る。判別関数Ｆ（ｘ）は，変数ｙm ，ｙM+m を以下のよ
うに定義して求める。
【００１６】ｙm ＝（ｘm −μm ）2 ｙM+m ＝（ｘm −μm ） すなわち，変数として訓練パタンの特徴ベクトルの各要
素から参照パタンベクトルの各要素を引いたもの，およ
びそれを自乗したものの両方を変数として用いる。Ｆ
（ｘ）は次のように定義される。
素から参照パタンベクトルの各要素を引いたもの，およ
びそれを自乗したものの両方を変数として用いる。Ｆ
（ｘ）は次のように定義される。
【００１７】 Ｆ（ｘ）＝Σａm ｙm ＋Σｂm ｙM+m ＋ｃ ＝Σａm （ｘm −μm ）2 ＋Σｂm （ｘm −μm ）＋ｃ 〔Σはｍ＝１からＭまでの総和〕 但し，ｘが着目クラスに属するときは負，ライバルパタ
ン集合に属するときは正となるように｛ａm ｝，
｛ｂm ｝，ｃの符号が決められる。判別辞書６には，
｛ａm ｝，｛ｂm ｝，ｃがクラス毎に格納される。｛ａ
m ｝，｛ｂm ｝，ｃの具体的な求め方は後述する。
ン集合に属するときは正となるように｛ａm ｝，
｛ｂm ｝，ｃの符号が決められる。判別辞書６には，
｛ａm ｝，｛ｂm ｝，ｃがクラス毎に格納される。｛ａ
m ｝，｛ｂm ｝，ｃの具体的な求め方は後述する。
【００１８】 ２次識別関数（ベイズ識別関数）の場合 Ｓを着目クラスの共分散行列，φm ，λm をＳのｍ次の
固有ベクトル，固有値とすると，ベイズ識別関数Ｄ
（ｘ）は以下のように書ける。
固有ベクトル，固有値とすると，ベイズ識別関数Ｄ
（ｘ）は以下のように書ける。
【００１９】 Ｄ（ｘ）＝（ｘ−μ）t Ｓ-1（ｘ−μ）＋ｌｎ｜Ｓ｜ ＝Σ｛φm t （ｘ−μ）｝2 ／λm ＋ｌｎ｜Ｓ｜ 〔Σはｍ＝１からＭまでの総和〕 この場合には，識別辞書４にはクラス毎にμ，（φ1 ，
…，φM ），（λ1 ，…，λM ），ｌｎ｜Ｓ｜が格納さ
れる。また，定数項ｌｎ｜Ｓ｜を無視すれば，マハラノ
ビス距離となる。線形判別関数Ｆ（ｘ）は，変数ｙm ，
ｙM+m を ｙm ＝｛φm t （ｘ−μ）｝2 ｙM+m ＝φm t （ｘ−μ） として求めるものとする。すなわち，訓練パタンの特徴
ベクトルから参照パタンベクトルを差し引いたベクトル
（φ1 ，…，φM ）を基底ベクトルとする部分空間に射
影して得られるベクトルの各要素，および各要素を自乗
したものを変数として用いる。Ｆ（ｘ）は次式で与えら
れる。
…，φM ），（λ1 ，…，λM ），ｌｎ｜Ｓ｜が格納さ
れる。また，定数項ｌｎ｜Ｓ｜を無視すれば，マハラノ
ビス距離となる。線形判別関数Ｆ（ｘ）は，変数ｙm ，
ｙM+m を ｙm ＝｛φm t （ｘ−μ）｝2 ｙM+m ＝φm t （ｘ−μ） として求めるものとする。すなわち，訓練パタンの特徴
ベクトルから参照パタンベクトルを差し引いたベクトル
（φ1 ，…，φM ）を基底ベクトルとする部分空間に射
影して得られるベクトルの各要素，および各要素を自乗
したものを変数として用いる。Ｆ（ｘ）は次式で与えら
れる。
【００２０】 Ｆ（ｘ）＝Σａm ｛φm t （ｘ−μ）｝2 ＋Σｂm ｛φm t （ｘ−μ）｝＋ｃ 〔Σはｍ＝１からＭまでの総和〕 である。判別辞書６には，｛ａm ｝，｛ｂm ｝，ｃがク
ラス毎に格納される。
ラス毎に格納される。
【００２１】 修正２次識別関数，投影距離の場合 修正２次識別関数，投影距離の場合，Ｄ（ｘ）は以下の
ように書ける。 Ｄ（ｘ）＝α［‖ｘ−μ‖2 −Σωu ｛φu t （ｘ−
μ）｝2 ］＋ｄ 〔Σはｕ＝１からＴまでの総和〕 ここで，修正２次識別関数の場合には，Ｔは固有値の累
積寄与率が初めて所定の定数δを超える次数であり，
（Ｔ＋１）次以上の固有値の値はλT+1 とされる。さら
に， α＝１／λT+1 ωu ＝１−λT+1 ／λu ｄ＝ｌｎ（Πλu ・ΠλT+1 ） である。ここで，最初のΠはｕ＝１からＴまでの積，次
のΠはｕ＝Ｔ＋１からＭまでの積である。識別辞書４に
は，クラス毎にＴの値，μ，（φ1 ，…，φT ），（λ
1 ，…，λT+1 ），ｄが格納される。また，投影距離の
場合は，Ｔは所定の定数，α＝１，ωu ＝１，ｄ＝０で
ある。
ように書ける。 Ｄ（ｘ）＝α［‖ｘ−μ‖2 −Σωu ｛φu t （ｘ−
μ）｝2 ］＋ｄ 〔Σはｕ＝１からＴまでの総和〕 ここで，修正２次識別関数の場合には，Ｔは固有値の累
積寄与率が初めて所定の定数δを超える次数であり，
（Ｔ＋１）次以上の固有値の値はλT+1 とされる。さら
に， α＝１／λT+1 ωu ＝１−λT+1 ／λu ｄ＝ｌｎ（Πλu ・ΠλT+1 ） である。ここで，最初のΠはｕ＝１からＴまでの積，次
のΠはｕ＝Ｔ＋１からＭまでの積である。識別辞書４に
は，クラス毎にＴの値，μ，（φ1 ，…，φT ），（λ
1 ，…，λT+1 ），ｄが格納される。また，投影距離の
場合は，Ｔは所定の定数，α＝１，ωu ＝１，ｄ＝０で
ある。
【００２２】修正２次識別関数，投影距離の場合には変
数ｙu ，ｙT+u を ｙu ＝｛φu t （ｘ−μ）｝2 ｙT+u ＝φu t （ｘ−μ） 但し，ｕ≦Ｔ としたうえで，線形判別関数Ｆ（ｘ）を求める。Ｆ
（ｘ）は次のように与えられる。
数ｙu ，ｙT+u を ｙu ＝｛φu t （ｘ−μ）｝2 ｙT+u ＝φu t （ｘ−μ） 但し，ｕ≦Ｔ としたうえで，線形判別関数Ｆ（ｘ）を求める。Ｆ
（ｘ）は次のように与えられる。
【００２３】 Ｆ（ｘ）＝Σａu ｛φu t （ｘ−μ）｝2 ＋Σｂu ｛φu t （ｘ−μ）｝＋ｃ 〔Σはｕ＝１からＴまでの総和〕 判別辞書６には，｛ａu ｝，｛ｂu ｝，ｃがクラス毎に
格納される。
格納される。
【００２４】以上，重み付きユークリッド距離，ユーク
リッド距離，２次識別関数，マハラノビス距離，修正２
次識別関数，投影距離について説明したが，同様な考え
方で他の距離関数，例えばシティブロック距離等にも適
用できる。
リッド距離，２次識別関数，マハラノビス距離，修正２
次識別関数，投影距離について説明したが，同様な考え
方で他の距離関数，例えばシティブロック距離等にも適
用できる。
【００２５】図２は，｛ａm ｝，｛ｂm ｝，ｃの求め方
の詳細を示したものである。この求め方は，上述の重み
付きユークリッド距離，２次識別関数，修正２次識別関
数等で共通である。
の詳細を示したものである。この求め方は，上述の重み
付きユークリッド距離，２次識別関数，修正２次識別関
数等で共通である。
【００２６】まず，ステップ１１で訓練パタンを用意
し，ステップ１２で全訓練パタンに対し，原距離関数Ｄ
（ｘ）により認識を行う。ステップ１３では，その認識
結果からライバルパタンの編集を行う。ライバルパタン
は，各クラス毎に着目クラス以外のクラスに属するパタ
ンから着目クラスに誤認識したパタン，および誤認識し
そうになったパタンを選択することにより求める。誤認
識しそうになったパタンは，着目クラス以外のクラスに
属するパタンを着目パタンからの距離の近い順に並べ，
そのうちの一定個を選ぶことにより求めることができ
る。
し，ステップ１２で全訓練パタンに対し，原距離関数Ｄ
（ｘ）により認識を行う。ステップ１３では，その認識
結果からライバルパタンの編集を行う。ライバルパタン
は，各クラス毎に着目クラス以外のクラスに属するパタ
ンから着目クラスに誤認識したパタン，および誤認識し
そうになったパタンを選択することにより求める。誤認
識しそうになったパタンは，着目クラス以外のクラスに
属するパタンを着目パタンからの距離の近い順に並べ，
そのうちの一定個を選ぶことにより求めることができ
る。
【００２７】次いで，ステップ１４で線形判別分析を行
うが，この手順は以下の通りである。まず，ベクトルｙ
＝（ｙ1 ，…，ｙM ，ｙM+1 ，…，ｙ2M）に関する着目
クラスの共分散行列をＳs ，およびライバルパタンの共
分散行列をＳR とすると，行列Ｓを Ｓ＝ｑS ＳS ＋ｑR ＳR により求める。ｑS ，ｑR に関しては共に０．５とする
方法，およびパタン数の比とする方法〔ｑS ＝着目クラ
スのパタン数／（着目クラスのパタン数＋ライバルパタ
ン数），ｑR ＝１−ｑS 〕が知られており，どちらを用
いても算出可能である。次に，ａ＝（ａ1 ，…，ａM ，
ｂ1 ，…，ｂM ）t とし，着目クラス，およびライバル
パタンの平均ベクトルｙS ，ｙR ，を用いて，ａおよび
ｃを， ａ＝Ｓ-1（ｙR −ｙS ） ｃ＝（１／２）ａt （ｙR ＋ｙS ） により求める。
うが，この手順は以下の通りである。まず，ベクトルｙ
＝（ｙ1 ，…，ｙM ，ｙM+1 ，…，ｙ2M）に関する着目
クラスの共分散行列をＳs ，およびライバルパタンの共
分散行列をＳR とすると，行列Ｓを Ｓ＝ｑS ＳS ＋ｑR ＳR により求める。ｑS ，ｑR に関しては共に０．５とする
方法，およびパタン数の比とする方法〔ｑS ＝着目クラ
スのパタン数／（着目クラスのパタン数＋ライバルパタ
ン数），ｑR ＝１−ｑS 〕が知られており，どちらを用
いても算出可能である。次に，ａ＝（ａ1 ，…，ａM ，
ｂ1 ，…，ｂM ）t とし，着目クラス，およびライバル
パタンの平均ベクトルｙS ，ｙR ，を用いて，ａおよび
ｃを， ａ＝Ｓ-1（ｙR −ｙS ） ｃ＝（１／２）ａt （ｙR ＋ｙS ） により求める。
【００２８】次に，ステップ１５，１６で最適なγを決
定する。これは全ての訓練パタンを用い，各クラス毎に
距離関数Ｄ（ｘ）の値ｄと判別関数Ｆ（ｘ）の値ｆか
ら， ｇ＝ｄ＋γ・ｆ を求め，ｇが最も小さい与えるクラスを選択して入力パ
タンのクラスを決定したときに，訓練パタンに対して最
も認識率が高くなるγを選択することにより求めること
ができる。上述のような処理を繰り返し行ったときに前
回の認識率との差をステップ１７で比較し，差が小さけ
れば終了し，大きければステップ１８で前回までは正読
で今回初めて誤読となったパタンをライバルパタン集合
に新しく加え，線形判別分析からの処理を繰り返す。
定する。これは全ての訓練パタンを用い，各クラス毎に
距離関数Ｄ（ｘ）の値ｄと判別関数Ｆ（ｘ）の値ｆか
ら， ｇ＝ｄ＋γ・ｆ を求め，ｇが最も小さい与えるクラスを選択して入力パ
タンのクラスを決定したときに，訓練パタンに対して最
も認識率が高くなるγを選択することにより求めること
ができる。上述のような処理を繰り返し行ったときに前
回の認識率との差をステップ１７で比較し，差が小さけ
れば終了し，大きければステップ１８で前回までは正読
で今回初めて誤読となったパタンをライバルパタン集合
に新しく加え，線形判別分析からの処理を繰り返す。
【００２９】図３は，本発明の第２の実施例を示す図で
ある。２１は前処理，２２は特徴抽出処理，２３は距離
算出処理，２４は識別判別辞書，２５はクラス決定処理
を表す。
ある。２１は前処理，２２は特徴抽出処理，２３は距離
算出処理，２４は識別判別辞書，２５はクラス決定処理
を表す。
【００３０】この実施例では，図１に示す識別辞書４の
内容と判別辞書６の内容とを重畳した情報を持つ識別判
別辞書２４を用いる。特徴抽出処理２２までの処理は図
１の例と同じである。距離算出処理２３では，各クラス
毎に距離関数Ｄ（ｘ）の値と判別関数Ｆ（ｘ）の値を加
えた値Ｇ（ｘ）を求めるようにしている。クラス決定処
理２５では，Ｇ（ｘ）の値をもとに入力パタンのクラス
を決定する。この場合の識別判別辞書２４の内容は次の
ように求めることができる。
内容と判別辞書６の内容とを重畳した情報を持つ識別判
別辞書２４を用いる。特徴抽出処理２２までの処理は図
１の例と同じである。距離算出処理２３では，各クラス
毎に距離関数Ｄ（ｘ）の値と判別関数Ｆ（ｘ）の値を加
えた値Ｇ（ｘ）を求めるようにしている。クラス決定処
理２５では，Ｇ（ｘ）の値をもとに入力パタンのクラス
を決定する。この場合の識別判別辞書２４の内容は次の
ように求めることができる。
【００３１】 重み付きユークリッド距離の場合 Ｇ（ｘ）＝Ｄ（ｘ）＋γ・Ｆ（ｘ） ＝Σωm ′（ｘm −μm ′）2 ＋ｄ 但し， ωm ′＝ωm ＋γａm μm ′＝μm −（１／２）γｂm ／ωm ′ ｄ＝γｃ−（１／４）Σ（γｂm ）2 ／ωm ′ であり，識別判別辞書２４には各クラス毎にμ′＝（μ
1 ′，…，μM ′）t ，ω′＝（ω1 ′，…，ωM ′）
t ，ｄが格納される。なお，Σはｍ＝１からＭまでの総
和を表す。
1 ′，…，μM ′）t ，ω′＝（ω1 ′，…，ωM ′）
t ，ｄが格納される。なお，Σはｍ＝１からＭまでの総
和を表す。
【００３２】 ２次識別関数（ベイズ識別関数）の場
合 Ｇ（ｘ）＝Ｄ（ｘ）＋γ・Ｆ（ｘ） ＝Σ｛φm t （ｘ−μ）｝2 ／λm ＋ｌｎ｜Ｓ｜ ＋γΣａm ｛φm t （ｘ−μ）｝2 ＋γΣｂm ｛φm t （ｘ−μ）｝γｃ ＝Σωm ｛φm t （ｘ−μ′）｝2 ＋ｄ 但し， ωm ＝１／λm ＋γａm ｄ＝ｌｎ｜Ｓ｜＋γｃ−（１／４）Σ（γｂm ）2 ／ω
m μ′＝μ−（Ａ）-1ｚ ｚ＝（ｚ1 ，…，ｚM ）t ｚm ＝（１／２）γｂm ／ωm Ａ：φm を行の要素とする行列 であり，識別判別辞書２４には，各クラス毎に（φ1 ，
…，φM ），μ′＝（μ 1 ′，…，μM ′）t ，ω＝
（ω1 ，…，ωM ）t ，ｄが格納される。なお，Σはｍ
＝１からＭまでの総和を表す。
合 Ｇ（ｘ）＝Ｄ（ｘ）＋γ・Ｆ（ｘ） ＝Σ｛φm t （ｘ−μ）｝2 ／λm ＋ｌｎ｜Ｓ｜ ＋γΣａm ｛φm t （ｘ−μ）｝2 ＋γΣｂm ｛φm t （ｘ−μ）｝γｃ ＝Σωm ｛φm t （ｘ−μ′）｝2 ＋ｄ 但し， ωm ＝１／λm ＋γａm ｄ＝ｌｎ｜Ｓ｜＋γｃ−（１／４）Σ（γｂm ）2 ／ω
m μ′＝μ−（Ａ）-1ｚ ｚ＝（ｚ1 ，…，ｚM ）t ｚm ＝（１／２）γｂm ／ωm Ａ：φm を行の要素とする行列 であり，識別判別辞書２４には，各クラス毎に（φ1 ，
…，φM ），μ′＝（μ 1 ′，…，μM ′）t ，ω＝
（ω1 ，…，ωM ）t ，ｄが格納される。なお，Σはｍ
＝１からＭまでの総和を表す。
【００３３】 修正２次識別関数，投影距離の場合 Ｇ（ｘ）＝Ｄ（ｘ）＋γ・Ｆ（ｘ） ＝α［‖ｘ−μ‖2 −Σωu ｛φu t （ｘ−μ）｝2 ］
＋ｄ＋γΣａu ｛φu t （ｘ−μ）｝2 ＋γΣｂu ｛φu t （ｘ−μ）｝＋γｃ ＝α［‖ｘ−μ′‖2 −Σωu ′｛φu t （ｘ−
μ′）］＋ｄ′ 但し， ωu ′＝ωu −γａu α μ′＝μ−（Ａ）-1ｚ ｚ＝（ｚ1 ，…，ｚM ）t ｚu ＝（１／２）γｂu ／（α−αωu ＋γａu ） if ｕ≦Ｔ ＝０ otherwise ｄ′＝ｄ＋γｃ−（１／４）Σ（γｂu ）2 ／（α−α
ωu ＋γａu ） であり，識別判別辞書２４には，各クラス毎にα，（φ
1 ，…，φT ），μ′＝（μ1 ′，…，μM ′）t ，
ω′＝（ω1 ′，…，ωT ′）t ，ｄ′が格納される。
なお，Σはｕ＝１からＴまでの総和を表す。
＋ｄ＋γΣａu ｛φu t （ｘ−μ）｝2 ＋γΣｂu ｛φu t （ｘ−μ）｝＋γｃ ＝α［‖ｘ−μ′‖2 −Σωu ′｛φu t （ｘ−
μ′）］＋ｄ′ 但し， ωu ′＝ωu −γａu α μ′＝μ−（Ａ）-1ｚ ｚ＝（ｚ1 ，…，ｚM ）t ｚu ＝（１／２）γｂu ／（α−αωu ＋γａu ） if ｕ≦Ｔ ＝０ otherwise ｄ′＝ｄ＋γｃ−（１／４）Σ（γｂu ）2 ／（α−α
ωu ＋γａu ） であり，識別判別辞書２４には，各クラス毎にα，（φ
1 ，…，φT ），μ′＝（μ1 ′，…，μM ′）t ，
ω′＝（ω1 ′，…，ωT ′）t ，ｄ′が格納される。
なお，Σはｕ＝１からＴまでの総和を表す。
【００３４】
【発明の効果】以上説明したように本発明によれば，各
クラスに対し，他のクラスとの違いを強調する態様で識
別を行うことができ，認識精度の著しい向上が可能であ
る。
クラスに対し，他のクラスとの違いを強調する態様で識
別を行うことができ，認識精度の著しい向上が可能であ
る。
【図１】本発明の実施例を示す図である。
【図２】判別関数を求める場合の手順を示す図である。
【図３】本発明の第２の実施例を示す図である。
１ 前処理 ２ 特徴抽出処理 ３ 距離算出処理 ４ 識別辞書 ５ 判別値算出処理 ６ 判別辞書 ７ クラス決定処理 ２１ 前処理 ２２ 特徴抽出処理 ２３ 距離算出処理 ２４ 識別判別辞書 ２５ クラス決定処理
Claims (3)
- 【請求項１】 入力されたパタンから抽出された特徴ベ
クトルと，少なくとも各クラス毎の参照パタンベクトル
に関する情報を持つ識別辞書とを照合して，入力された
パタンのクラスを決定するパタン認識方法において，入
力の特徴ベクトルと前記識別辞書とを照合し距離を求め
る過程と，予め訓練パタンに対して前記識別辞書を用い
て認識を行い各クラス毎にそのクラスに誤った，または
誤りそうになったエラーパタン集合を求め，該パタン集
合と本来そのクラスに属するパタン集合との間で，訓練
パタンの特徴ベクトルの各要素から前記識別辞書に格納
されている参照パタンベクトルの各要素を差し引いたも
のと差し引いて自乗したものとを変数として用いて，あ
るいは訓練パタンの特徴ベクトルから前記識別辞書に格
納されている参照パタンベクトルを差し引いたベクトル
を部分空間に射影して得られるベクトルの各要素とその
各要素を自乗したものとを変数として用いて，判別分析
を行うことにより求められた判別関数を定める情報が格
納された判別辞書をもとに，入力の特徴ベクトルに対す
る判別関数の値を求める過程と，各クラス毎に入力の特
徴ベクトルと前記識別辞書とを照合して求められる距離
の値に，各クラス毎に入力の特徴ベクトルと前記判別辞
書とを照合して得られる値を加え，それをもとに入力さ
れたパタンのクラスを決定する過程とを有することを特
徴とするパタン認識方法。 - 【請求項２】 入力されたパタンから抽出された特徴ベ
クトルと予め用意された辞書とを照合して入力されたパ
タンのクラスを決定するパタン認識方法において，前記
辞書として，請求項１記載の識別辞書と請求項１記載の
判別辞書とを重畳して得られる情報を持つ識別判別辞書
を用いて，各クラス毎に入力の特徴ベクトルに関する請
求項１記載の識別辞書から得られる距離の値と請求項１
記載の判別辞書から得られる前記判別関数の値とを加え
た値に相当する値を求め，それをもとに入力されたパタ
ンのクラスを決定することを特徴とするパタン認識方
法。 - 【請求項３】 請求項１または請求項２記載のパタン認
識方法において，各クラス毎に新規にそのクラスに誤っ
た，または誤りそうになったパタンをエラーパタン集合
に加えつつ判別分析を繰り返し行うことにより作成／更
新された判別辞書または識別判別辞書を用いることを特
徴とするパタン認識方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP4343686A JP2951496B2 (ja) | 1992-12-24 | 1992-12-24 | パタン認識方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP4343686A JP2951496B2 (ja) | 1992-12-24 | 1992-12-24 | パタン認識方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH06195517A JPH06195517A (ja) | 1994-07-15 |
| JP2951496B2 true JP2951496B2 (ja) | 1999-09-20 |
Family
ID=18363470
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP4343686A Expired - Lifetime JP2951496B2 (ja) | 1992-12-24 | 1992-12-24 | パタン認識方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2951496B2 (ja) |
-
1992
- 1992-12-24 JP JP4343686A patent/JP2951496B2/ja not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| JPH06195517A (ja) | 1994-07-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Salscheider | Featurenms: Non-maximum suppression by learning feature embeddings | |
| JP3088171B2 (ja) | 自己組織型パタ−ン分類システム及び分類方法 | |
| EP1873687A2 (en) | Parameter learning method, parameter learning apparatus, pattern classification method, and pattern classification apparatus | |
| Walker et al. | Locating Salient Object Features. | |
| US20070047822A1 (en) | Learning method for classifiers, apparatus, and program for discriminating targets | |
| JPH0355869B2 (ja) | ||
| US7454042B2 (en) | Apparatus for online signature verification using pattern transform technique and method therefor | |
| JP4039708B2 (ja) | パターン認識方法およびパターン認識装置 | |
| Seguí et al. | Weighted bagging for graph based one-class classifiers | |
| US20050063590A1 (en) | Local mass distribution partitioning for object recognition | |
| US6778704B1 (en) | Method and apparatus for pattern recognition using a recognition dictionary partitioned into subcategories | |
| JP2951496B2 (ja) | パタン認識方法 | |
| JPH09245125A (ja) | パターン認識装置及び同装置における辞書修正方法 | |
| JP3810469B2 (ja) | パターン認識方法 | |
| US6466926B1 (en) | Method for optimizing a recognition dictionary to distinguish between patterns that are difficult to distinguish | |
| JP3019911B2 (ja) | パタン認識方法 | |
| JP2002092674A (ja) | 切手検出装置、切手検出方法、書状処理装置および書状処理方法 | |
| JP3945971B2 (ja) | パターン認識装置、パターン認識方法およびその方法をコンピュータに実行させるプログラムを記録したコンピュータ読み取り可能な記録媒体 | |
| George | Automatic recognition of facial expression using features of salient patches with SVM and ANN classifier | |
| US20240005528A1 (en) | Information processing apparatus, learning apparatus, and tracking method | |
| JPH09231366A (ja) | パターン認識方法およびパターン認識装置 | |
| JP3570604B2 (ja) | 認識方法及び装置、並びに、同装置を実現するためのコンピュータプログラムを記録させた記録媒体 | |
| JP4162909B2 (ja) | パターン認識装置 | |
| JPS60167070A (ja) | パタ−ン認識方法 | |
| JP3162419B2 (ja) | 認識辞書更新方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20070709 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080709 Year of fee payment: 9 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080709 Year of fee payment: 9 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090709 Year of fee payment: 10 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090709 Year of fee payment: 10 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100709 Year of fee payment: 11 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100709 Year of fee payment: 11 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110709 Year of fee payment: 12 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120709 Year of fee payment: 13 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130709 Year of fee payment: 14 |
|
| EXPY | Cancellation because of completion of term | ||
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130709 Year of fee payment: 14 |