JP4039708B2 - パターン認識方法およびパターン認識装置 - Google Patents
パターン認識方法およびパターン認識装置 Download PDFInfo
- Publication number
- JP4039708B2 JP4039708B2 JP03020297A JP3020297A JP4039708B2 JP 4039708 B2 JP4039708 B2 JP 4039708B2 JP 03020297 A JP03020297 A JP 03020297A JP 3020297 A JP3020297 A JP 3020297A JP 4039708 B2 JP4039708 B2 JP 4039708B2
- Authority
- JP
- Japan
- Prior art keywords
- pattern
- class
- vector
- feature
- conversion
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000003909 pattern recognition Methods 0.000 title claims description 28
- 238000012567 pattern recognition method Methods 0.000 title claims description 8
- 239000013598 vector Substances 0.000 claims description 255
- 238000006243 chemical reaction Methods 0.000 claims description 125
- 238000012549 training Methods 0.000 claims description 51
- 238000000034 method Methods 0.000 claims description 46
- 238000000605 extraction Methods 0.000 claims description 39
- 238000012545 processing Methods 0.000 claims description 21
- 238000001514 detection method Methods 0.000 claims description 16
- 239000011159 matrix material Substances 0.000 claims description 12
- 230000004044 response Effects 0.000 claims description 6
- 230000006870 function Effects 0.000 description 47
- 230000008569 process Effects 0.000 description 23
- 238000007781 pre-processing Methods 0.000 description 20
- 238000010586 diagram Methods 0.000 description 12
- 230000009466 transformation Effects 0.000 description 11
- 230000006835 compression Effects 0.000 description 9
- 238000007906 compression Methods 0.000 description 9
- 238000012360 testing method Methods 0.000 description 6
- 230000000694 effects Effects 0.000 description 4
- 238000002474 experimental method Methods 0.000 description 4
- 230000006872 improvement Effects 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 239000000284 extract Substances 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 230000007423 decrease Effects 0.000 description 2
- 230000010365 information processing Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012015 optical character recognition Methods 0.000 description 2
- 230000017105 transposition Effects 0.000 description 2
- 238000011144 upstream manufacturing Methods 0.000 description 2
- 238000005452 bending Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/243—Classification techniques relating to the number of classes
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Character Discrimination (AREA)
- Image Analysis (AREA)
Description
【０００１】
【産業上の利用分野】
本発明はパターン認識装置及びパターン認識方法に関し、特に相異なる認識系を組み合わせて認識精度を向上させるパターン認識方法に関するものである。
【０００２】
【発明の背景】
近年、計算機による画像処理、文字処理、音声処理等のパターン認識を含む情報処理の需要は多くかつ急速に増加している。従って、パターン認識技術の改良が切望されている。
パターンを処理しようとする場合、パターン自身をそのまま取扱うかわりに、そのパターンの特徴を抽出して、これを処理するほうが速度、コスト、精度等で有利な場合が多い。非常に情報量が多いパターンの処理などでは、特徴を抽出して 、その特徴を処理せざるをえない場合もある。特徴によってパターンを表現して（概念との対応を損なわない）情報の圧縮をおこなうこともパターン認識のひとつの目的である。
【０００３】
パターンpの特徴ｆは通常有限個（例えばＭ個）の特徴成分x(p;m)の組：｛x(p;m);m=1,2,3,....,M｝で構成され、パターンが全体として持つ特有の性質を、具体的かつ定量的に表現したものである。従って、特徴ｆは特徴成分x(p;m)を第m次の成分としてもつＭ次元のベクトルとして表わされるので、特徴ｆのベクトル表現を特徴ベクトルＸ(p)＝( x(p;1), x(p;2),......., x(p;M))tと表わす事にする。ここで、引数ｐはパターンｐの特徴ベクトルであることを、上添え字ｔはベクトルの転置を示す。
特徴成分が質的なものであっても数量化して用いることが可能である。
【０００４】
パターンｐがいろいろな変形をうけると、特徴成分x(p;m)の値がかわり、従って特徴ベクトルＸ(p)が変化する。変形したパターンも同一クラスに属する限り、そのクラスに属すると認識されなければならない。
ある特定のパターンをあるクラスに属するパターンの代表、あるいはクラスの特徴として指定した場合、指定されたパターンをそのクラスの参照パターン（以下単に参照パターンと呼称する）、その特徴ベクトルを参照特徴ベクトルと呼ぶことにする。参照パターンは、クラスのなかの特定のパターンとする外にクラス内のパターンの平均等の仮想のパターンでもよい。
【０００５】
未知パターンｐを取得し、それが既知のパターンｑに類似している否か、あるいはどの既知クラスに属するのか識別するのがパターン認識であり、パターン認識は、図形や文字、記号、画像、音声等の情報処理に欠くことができない機能である。パターン認識の一般的な知識や問題点については文献１（中田和男編：パターン認識とその応用、コロナ社（1978））や文献２（小川英光編：パターン認識・理解の新たな展開ー挑戦すべき課題ー、電子情報通信学会（１９９２））から得ることができる。
以下に一般性を失うことなく、パターンが文字パターンである文字認識を例に説明する。
【０００６】
文字の表現である文字パターン（以下混同のおそれがないときには単に文字ともいう）において、その特徴成分は種々のものが考えられている。文字の縦横比、画数、横線の数、ループの数、パターンを網上に描いたときの網目の白黒、特定の向きの直線との交点の数、フーリエ変換等の変換係数等々が特徴成分となり得る。これら特徴成分の組が文字を最も良く表わすように特徴ベクトルが構成される。各特徴成分の値域は後述の識別の精度を改善するように選択される。特徴成分は、必要に応じてその標準偏差等で標準化される。
【０００７】
文字の読みや意味、記号をクラス名とする。例えば、文字“Ａ”をクラスＡと呼ぶ。クラスの参照文字パターンはそのクラスに属する文字パターンの平均文字パターンや特定の文字パターンが選ばれる。参照文字パターンの特徴ベクトルは参照特徴ベクトルである。
文字認識系は最終的に、文字“Ａ”に属する文字パターンとその変形文字パターンが全てクラスＡに属し、かつクラスＡ以外のクラスには属さないと判定することを目的としている。
【０００８】
さて、文字パターンが観測されて読み取られた後の文字認識系は、通常、文字パターンの前処理工程、特徴抽出工程、識別工程という一連の部分処理工程に分けられる。いずれの部分処理工程も主に計算機上で実施できるのであり、計算機が処理する一群のプロセスに対応する。文字パターンの観測を含め全ての部分処理工程が文字認識系の結果である認識結果に影響を及ぼす。そしてクラスＡに属すべき文字パターンをクラスＡに属すると正しく認識する確率、即ち認識率を向上する（精度をあげる）ため、あるいはクラスＡに属すべきでない文字パターンをクラスＡに属すると誤って認識する確率、即ち誤認識率の低減（一般的には０とすること）の工夫がほどこされている。特に、クラスＡに属さない文字パターンをクラスＡに属すると判定すること（誤認識）のないことをより強く望む用途が多い。
【０００９】
また、入力文字パターンそれ自体、理想的なパターンが変形等の“歪み”あるいは“修飾”処理工程を経由したものとも考えられる。修飾処理工程は負の前処理工程であり文字パターンの認識系全体の性能向上には考察の対象としなければならない。
なお、認識結果により各処理工程の調整をおこなう等の帰還制御機能を付加したり、文字認識系には種々の変更を施すことが可能である。
【００１０】
前処理工程では、よく知られているように入力文字パターンの大きさ、傾き、位置や線の密度等の正規化と、しみやかすれ等の雑音の除去を行う。
特徴抽出工程では、入力文字パターンから文字の形状を表わす特徴成分の値を決定し、特徴ベクトルを作成する。特徴成分の個数は数 [百] 十から数千にもおよぶことがあり、例えば３８０や５００である。一例として、６４×６４の網目のにクラスＡに属する一つの[要素である]文字パターンＡ書き、文字パターンＡの線が網目に入っていれば１、入っていなければ０を与える。これら網目を特徴成分とすると、その値１、０を要素とする４０９６次元の特徴ベクトルが文字パターンＡにあたえられる。
【００１１】
別の例では、文字の認識に有効な別の特徴成分、たとえばストロークの端点の数（Ａでは２）やループの数（Ａでは１）、屈曲点数（Ａでは１）、分岐点数（Ａでは２）、交差点数（Aでは０）、それらの位置などを組み合わせる。そしてなるべく識別を容易にするような特徴成分をできるだけ小数選んで次元の低い特徴ベクトルを構成し、所定の認識率を得るようにしている。特徴ベクトルの次元が高ければ高いほど精度は高くなる（認識率があがる）傾向があるが、処理時間や所要記憶装置の容量が増加するからである。
【００１２】
識別工程では、入力文字パターンから抽出された特徴ベクトルと、文字識別辞書（一般的にはパターン識別辞書）に前もって格納されている各クラス毎の参照特徴ベクトルを特定の識別関数に基づいて照合し、入力文字パターンの属するクラスを決定する。文字識別辞書は参照特徴ベクトルの集合を含む。識別関数には類似度関数や距離関数が用いられることが多い。文字パターンと参照パターンとの距離を文字パターンと（該参照パターンが代表する）クラスとの距離ともいうことにする。
【００１３】
識別関数として距離関数が採用されるときは、文字パターン間の距離を定義し、その距離が測定される。一般に距離が小さいほど類似しており、参照特徴ベクトルから一定の距離以内のパターンは同一クラスに認識される。あるいは、ある文字パターンは最も近い参照特徴ベクトルの属するクラスに認識される。
上述の例で１、０を要素とする４０９６次元の特徴ベクトル間にハミング距離（互いに相異なる要素の数）を算出する識別関数を与える。あるクラスの参照特徴ベクトルからハミング距離が１００以内にある特徴ベクトルを抽出された文字はそのクラスに属するとする。
あるいは、入力文字パターンから抽出された特徴ベクトルと全ての参照特徴ベクトルとのハミング距離を算出して、最短距離の参照特徴ベクトルの属するクラスが入力文字の属するクラスであると決定する。さらに別の例ではさらに、最短距離であり、それがある一定値以下であるとともに、二番目に短い距離との差がある一定値以上のときのみ最短距離の参照特徴ベクトルが属するクラスが入力文字の属するクラスであるとする。
【００１４】
高精度の識別工程の他の例では、識別関数として、ユークリッド距離を与える距離関数、重み付きユークリッド距離を与える距離関数、２次識別関数等が用いられる。そして、これらの関数を用いる識別工程において、識別関数や文字識別辞書が学習により改良され認識率を向上できる事が知られている。以下に概略を述べる川谷のＬＤＡ法(Learning by Discriminant Analysis Method)は識別工程が学習により文字パターンの変形を吸収する方法である（参考文献３：川谷；”距離関数の学習による手書き数字認識（Handprinted Numerals Recognition by Learning Distance Function)”信学論VoL.J76-D-II No.9 pp.1851-1859、）。なお、参考文献３には文字認識系の従来技術が具体的に説明されているので、本明細書の理解の助けとなる。
【００１５】
参考文献3にはフィッシャーの線形判別分析を応用したパターン認識方法の一つであるＬＤＡ法がいくつかの異なる識別関数を用いた場合について述べられている。以下に参考文献で使用の記号表示とは異なる記号表示を用いてＬＤＡ法の一部を紹介する。
【００１６】
その記載の一例によれば、重み付きユークリッド距離を与える距離関数が学習され文字識別辞書に格納される。即ち距離関数の重みと定数項及び参照ベクトル（本明細書でいう参照特徴ベクトル）からなるパラメータが学習されるのである。
既知の入力文字パターンｐが訓練文字パターンとして文字認識系に入力されると、前処理工程を経て特徴抽出がおこなわれ特徴ベクトルＸ(p)＝( x(p;1), x(p;2),..., x(p;m),...., x(p;M) )tが得られる。
この時点までに、各クラスKの参照特徴ベクトルR(K)=( r(K;1), r(K;2),..., r(K;m), ....,r(K;M))tがあたえられ、Ｘ(p)とR(K)の間の重み付きユークリッド距離D(p,K)=D(Ｘ(p),R(K)）=Σmω(K;m)( x(p;m)ーr(K;m) )2が算出される。D(p,K)は正確には２乗距離を与えるものであるが、ここでは単に距離とよぶことにする。
【００１７】
ここで、Σmは以下の各項のｍを１からＭまでかえて合計する関数である。ω(K;m)は重みであり重みベクトルW(K)=( ω(K;1), ω(K;2),......, ω(K;m),...., ω(K;M) )tの要素である。参照特徴ベクトルＲ(K)や重みベクトルW(K)など識別に必要な情報を格納するのが文字識別辞書L({K})である。{K}は照合に供される全てのクラスKの集合を表わし、{K}に関する文字識別辞書をL({K})とした。
上記の距離関数形は全クラス共通であるが、そのパラメータはクラス毎に特有の値に定められる。なお、LDA法による学習後の距離関数は距離公式を満たす通常の定義による距離関数とは異なるものとなるが、パターンの相異の度合を与えることができる関数であることには違いが無い。
【００１８】
次に、パターンｐの属するクラスをK(p)とし、例えば上記D(p,K)をクラスKを変えて測定し「最も小さなD(p,K)を与えるクラスK1=K1(p)」をパターンｐの属するクラスと決定する。ところが、場合によりK1(p)が本来ｐが属するクラスK（ｐ）と異なり誤認識が生ずる。また別の場合には、クラスK1,とクラスK1とは異なるクラスK2に対して距離D(p,K1）とD(p,K2）との差が小さく、確信をもって何れかをK(p)とする認識結果を出力することができない。クラスKに着目した場合クラスKに紛らわしい文字パターンを次のように分類できる。
（１）Kとは異なるクラスのパターンでKに属すると誤認識されたパターンすなわちKへのエラーパターンpoe；
（２）Kとは異なるクラスのパターンでKに属すると誤認識されそうになったパターンすなわちKへのニアミスパターンpon。
文献３では上記poeとponを総称してクラスKのライバルパターンporと呼び、ライバルパターンporをクラスKから遠ざけるように距離関数の重みと定数項及び参照ベクトルからなるパラメータを学習する。この学習を全てのクラスについておこなってもよいし誤認識を引き起こしやすいいくつかのクラスについておこなってもよい。
【００１９】
まず、ライバルパターンの集合をΩr(K)とし、着目クラスKのパターンの集合をΩ0(K)（即ちクラスKそのもの）として、下式の判別関数F(Ｘ(p),R(K）)がΩ0(K)上で負にΩr(K)上で正になるように、係数｛a(m)；ｍ＝１乃至Ｍ}、｛b(m)；ｍ＝１乃至Ｍ｝、cが決定される。但し着目クラスKの参照特徴ベクトルR(K)にはクラスKのパターンの特徴ベクトルの平均ベクトルを用いる。ここに、
F(Ｘ(p),R(K）)=Σma(m)( x(p;m)ーr(K;m) )2+Σmb（m)(x(p;m)ーr(K;m) )+c(K）。
F(Ｘ(p),R(K）)はΩ0(K)に対して負なので、F(R(K）,R(K））=c<0となる。次に元の距離D(p,K)=D(Ｘ(p), R(K））=Σmω(K;m)(x(p;m)ーr(K;m ))2に判別関数F(X(p),R(K）)を加重加算する。その結果、距離D(X(p),R(K））は新しい距離Ｇ(Ｘ(p),R(K））となる。
Ｇ(Ｘ(p),R(K））＝Ｇ(p,K)=D(Ｘ(p),R(K））＋γF(Ｘ(p),R(K）)
=Σm( ω(K;m)＋Δω(K;m) ){ x(p;m)ー( r(K;m)+Δr(K;m) ) }2+d(K)。
【００２０】
上式の重みγは正の数で、全クラスにわたる認識精度が最大になるように、実験的に決定される。実験は公開されている文字データベースや独自に収集した文字データベースを用いて行う。文字データベースに含まれる文字パターンの一部を訓練用に、残りを訓練結果の確認用に用いることが多い。
このようにして、定数項d(K)が付加された形で重みベクトル、参照ベクトルと定数項がが学習される。新しい重みベクトルと参照特徴ベクトルとはそれぞれU(K）=( ω(K;1)+Δω(K;１),......,ω(K;Ｍ)+Δω(K;M) )tとT(K）=( r(K;1)+Δr(K;1),..., r(K;M)+Δr(K;M) )tとになる。定数項d(K)と重みベクトルU(K）、参照特徴ベクトルT(K）とが識別辞書に格納される。次に定数項を含むＧ(Ｘ(p),R(K））により識別した結果新たに生じたライバルパターンをライバルパターンの集合に追加して学習を繰り返す。
【００２１】
上記の例では、特徴ベクトルや識別関数の種類をもとのままとしているので、識別工程（識別辞書も含む）の一部の学習に限られている。
ところで、これまでに文字認識精度向上のため複数の認識系を結合する手法もあった。具体的には、抽出される特徴の内容（特徴成分の種類や数）が異なる認識系の組み合わせ、識別関数の異なる認識系の組み合わせなどが試みられている。何れの組み合わせも認識精度を向上するうえで有効なことが確かめられている。しかし、従来の方法は独立に作成した認識系を単に組み合わせるのみであり、例えば２つの認識系を組み合わせる時、一方の認識系は他方の認識系で認識できなかった文字を出来るだけ高い精度で認識できるように構成しておくなどの積極的な措置は講じられていなかった。そのため、認識精度の向上には自ずと限界があった。
【００２２】
【発明が解決しようとする課題】
本発明は上記問題点の解決を図り、第1の認識系で信頼度高く認識できなかったパターンを第２の認識系で出来るだけ高い精度で認識できるように構成し、２つの認識系を結合して認識精度を向上することを目的とする。
さらに、第1の認識系で正しく認識されたが、２つの認識系を結合した認識系（統合認識系）では誤認識されるパターンの割合をできるだけ低く抑えることをも目的とする。
さらに別の目的は、統合認識系の学習が容易に実施されるようにすることにある。
【００２３】
【課題を解決するための手段】
本発明の趣旨を明確に開示するために、以下において、特にことわらない限り、例えば距離関数の距離値、類似度関数の値、２次識別関数の値、判別関数の値、その他の識別関数の値、それらの組み合わせ等の値を相異値とよぶことにする。LDA法における２乗距離の値等も相異値の一例である。
また、識別工程で識別辞書と照合される特徴ベクトルは必ずしも入力パターンから抽出されたままではなく、特徴変換を受けたり、次元の圧縮を受けたりするので、それらを照合用特徴ベクトルと総称する。
そして、訓練パターンによりパターン認識装置の学習をおこなうため、実際のパターン認識に用いる装置をそのまま用いる他に、そのシミュレーションをおこない、その装置のモデルにより学習をし、学習結果を実際のパターン認識に用いる装置に移すようにしている。本発明の説明では、特に混同しない限り、実際のパターン認識に用いる装置と、その装置のモデルとを区別しない。
【００２４】
上記課題を達成するため、本発明では、それぞれの識別辞書を備えた第１、第２の識別手段を有する装置において、下記の工程によりパターン認識装置の学習をおこなうことを基本にしている。即ち、パターン認識装置は
（イ）所定のクラスの訓練パターンから抽出した特徴ベクトルに関連する第１の照合用ベクトルを第１の識別手段の識別辞書と照合し第１の相異値を得る工程と、
（ロ）一つあるいは複数のクラスの第１の相異値で定まるライバルパターンと該クラスに属する訓練パターンにより変換用ベクトルを決定する工程と、
（ハ）前記特徴ベクトルの少なくとも一部分に前記変換用ベクトルによる特徴変換を施した変換特徴ベクトルを含む前記特徴ベクトルに関連する第２の照合用ベクトルを第２の識別手段の識別辞書と照合して第２の相異値を求める工程と、
（ニ）前記第１、第２の相異値から前記訓練パターンのクラスを決定する工程と、
（ホ）所定のクラスに属する全訓練パターンのクラスを決定するため、前記（イ）乃至（ニ）の工程を繰り返す工程と、
（ヘ）前記訓練パターンの属するクラスと前記決定されたクラスとからの前記訓練パターン集合の認識率求める工程と、
（ト）前記認識率を高くするため第２の識別手段の識別辞書を変更して前記（ハ）乃至（へ）の工程を含む工程により学習をおこなうものである。
【００２５】
本発明のある実施例では、 前記第１の照合用ベクトルが前記訓練パターンから抽出した特徴ベクトルの特徴成分のすべてを含むベクトルで、前記第２の照合用ベクトルが前記訓練パターンから抽出した特徴ベクトルの特徴成分のすべてを含むベクトルを特徴変換した変換特徴ベクトルを含むようにもできる。
また、 前記第１の照合用ベクトルが前記訓練パターンから抽出した特徴ベクトルの特徴成分の第１の組からなるベクトルで、前記第２の照合用ベクトルが前記訓練パターンから抽出した特徴ベクトルの特徴成分の前記第１の組とは異なる第２の組からなるベクトルを特徴変換した変換特徴ベクトルを含むようにもできる。
そして、必要に応じ、計算機の資源節約のため前記第１の照合用ベクトルが前記訓練パターンから抽出した特徴ベクトルの特徴成分の第１の組からなるベクトルに次元圧縮を施したベクトルとすることができる。
そして、実際のクラスが未知の入力パターンの認識をおこなうばあいは、前記所定のクラスの訓練パターンに変えて該入力パターンが前記（イ）、（ハ）、（ニ）の工程を順次通過するようにすればよい。
【００２６】
本発明においてパターン認識は計算機で行われるのが普通であるから、計算機に上記（イ）乃至（ト）の工程を指令すべく構成された記憶装置も本発明のひとつの実施態様である。
本発明のパターン認識を実施できるシステムの一例では、学習センターと通信可能な端末装置とからなる認識システムがある。端末装置は識別辞書と変換用ベクトルとを格納し、該識別辞書と該変換用ベクトルとにより入力パターンのクラスの決定をおこなう機能を有している。該端末装置で生じたライバルパターンの通知に応じて前記学習センターが前記識別辞書を更新しと該端末が前記変換用ベクトルの更新するようにしたパターン認識システム。 そして、訓練パターンの変化や誤認識割合の増加に応じて容易に再学習し、認識率の変動から自動的に学習できる機能を有する計算機上に構築された統合認識システムが与えられる。
【００２７】
本発明のパターン認識装置は識別単位を多段結合した構成とすることもできる。 そのような装置は、それぞれの入力と出力と識別辞書とを有する複数の識別単位とクラス決定手段とを含む。そして、少なくともひとつの識別単位が入力パターンを受け取り、少なくともひとつの前記識別単位は自身とは別の前記識別単位の出力を入力しさらに別の識別単位に自身の出力を送る。そして、少なくともひとつの前記識別単位は入力パターンの特徴ベクトルに関連するベクトルを入力して変換用ベクトルで特徴変換し、少なくともひとつの識別単位がクラス決定手段にその出力を送出する。クラス決定手段は入力パターンの決定をおこない、 前記変換用ベクトルは該変換用ベクトルの入力側に接続された識別単位で決定されるライバルパターンに基づいて決定される。
したがって、各識別単位はそのまえの識別単位が識別しにくいパターンについて識別しやすいように動作させられるので、識別精度をさらに改善できる。
【００２８】
【実施例】
図１は本発明の第１の実施例の統合認識系の文字パターンの処理工程図である。図中、11は文字パターンの入力処理工程をおこなう文字入力手段11、12は前処理工程をおこなう前処理手段12、13は特徴抽出工程を実行する特徴抽出手段13、14は第１の識別工程を実行する第１識別手段14、15は確からしさ検出をおこなう確からしさ検出手段15、16は特徴変換をおこなうための特徴変換手段16、17は第２の識別工程を実行する第２識別手段17、18は入力文字パターンのクラス決定の処理工程を実行するクラス決定手段18である。以下、各手段の工程の詳細を処理の進行の一例に沿って説明する。
【００２９】
文字入力手段11により文字パターンpが入力されると、前処理手段12でパターンの大きさ、位置などが正規化され、特徴抽出手段13で識別に用いる特徴が抽出されて特徴ベクトルX(p)が決定される。
【００３０】
第１識別手段14では、この工程での照合用ベクトルである求められた特徴ベクトルと識別辞書141との照合をおこなう。すなわち、別途作成された識別辞書141に格納されている各クラスKmの参照特徴ベクトルＲ(Km)、重みベクトルW(Km)をもとに入力パターンの特徴ベクトルと参照特徴ベクトルとの相異値（即ち入力文字パターンとクラスとの相異値）がクラス毎に求められる。
【００３１】
確からしさ検出手段15では、上述の各クラスと入力文字パターンとの相異値をもとに認識結果の確からしさの検出をおこなう。確からしさの尺度としては、各クラスに対する入力文字パターンの相異値の中で最も小さな値と次に小さな値との差を用いることができる。所定の値より大きな（あるいは小さくない）差を有する文字パターンは確からしさが高いと判定される。そして全ての相異値のうち最も小さな相異値を与えるクラスが入力パターンの属するクラスとの認識結果がクラス決定手段18により与えられる。一方、所定の値より小さな差を有する文字パターンは確からしさが低いと判定される。そして、特徴変換手段16、第２識別手段17による処理は確からしさ検出手段15により認識結果の確からしさが低いと判定された場合にのみ実行される。
【００３２】
特徴変換手段16では、予めクラスK毎に保持しておいた特徴ベクトルを変換するための特徴変換用ベクトルΦ(K)（以下変換用ベクトルと呼称する）を用いて（確からしさが低い）-----入力文字パターンpの特徴ベクトルX(p)の変換即ち特徴変換を行う。変換用ベクトルΦ(K)の決定については後述する。
特徴ベクトルX(p)はクラスKの変換用ベクトルΦ(K)で変換されて変換特徴ベクトルY(p;K)が得られる。
変換特徴ベクトルY(p;K)の第m次特徴成分y(p;K;m)は次式で与えられる。
y(p;K;m)=X(p)φ（K;m)
ここで、φ（K;m)はクラスKのm次の変換用ベクトルである。
【００３３】
第２識別手段17は、この識別工程での照合用ベクトルである変換特徴ベクトルを例えばLDA法により学習された変換特徴用識別辞書L({K})171と照合して識別処理をおこなう。変換特徴ベクトルY(p;K)による識別のための各クラスの変換特徴参照ベクトルR(Φ(K))、変換特徴重みベクトルT(Φ(K))、必要に応じて定数項ｄ(Φ(K))は変換特徴用識別辞書L({K};Φ(K))171に格納されている。ここでL({K};Φ(K))はクラスKの集合{K}に関する辞書で変換用ベクトルΦ(K)で変換された特徴ベクトルの照合用辞書である。
変換特徴用識別辞書L({K};Φ(K))171をもとに入力パターンの変換特徴ベクトルY(p;K)と参照変換特徴ベクトルR(Φ(K))との間の相異値がクラス毎に求められる。 換特徴用識別辞書L({K};Φ(K))の構成については後述する。
【００３４】
クラス決定手段18では、確からしさ検出手段15により確からしさが低いと判定された入力パターン毎に、各クラスに対して第１識別手段14で求められた相異値に、第２識別手段17で求めた値を一定倍して加え合わせて得られた値をもとに入力パターンのクラスの決定を行う。その倍率は、別途全クラスにわたる認識精度が高くなるように実験的に選ばれる。実験は公開された文字データベースを用いて、収録された文字パターンのデータの一部を訓練パターンのデータ（訓練データ）として用い、残りをテストパターンのデータ（テストデータ）として用い全体としての認識精度が高くなるように倍率を選ぶようにすればよい。
例えば、全体の４／５を訓練データに、残りをテストデータにしてもよい。公開の文字データベースを用いるほかに独自に収集した文字データベースを用いて、特定の領域の文字の認識をより高精度にすることもできる。また、えられる文字をすべて訓練データとすることもできる。多くの場合、えられる文字をすべて訓練データとする。しかし一部を訓練データとして用い、残りをテストデータとして用いるときは、認識性能の安定性あるいは堅固性も評価できよう。そのため訓練データとする文字を変えて実験することも効果的である。
【００３５】
図２は本発明の第２の実施例の統合認識系の文字パターンの処理工程図である。文字入力手段21は文字入力手段11と同様に文字パターンの入力処理工程を実行する。前処理手段22は文字入力手段21からの文字パターンに前処理手段12がすると同様な前処理を施し特徴抽出手段23と第２の特徴抽出手段26に出力する。特徴抽出手段23は特徴抽出手段13ですると同様に前処理された文字パターンから特徴抽出をおこなう。第１識別手段24は,識別辞書141と同様な識別辞書241と抽出された特徴とを照合して第１識別手段14がすると同様に抽出された特徴の識別をおこなう。その識別結果の確からしさは、確からしさ検出手段15がすると同様にして確からしさ検出手段25によって検出される。特徴抽出手段26は、特徴抽出手段13、23ですると同様に、しかし特徴抽出手段23がおこなう特徴抽出とは異なる内容（特徴成分）の特徴抽出を確からしさの低いパターンにたいしておこなう。
【００３６】
特徴変換手段27は第２の特徴抽出手段26で抽出された特徴にたいして特徴変換手段16がおこなうと同様に変換用ベクトルΦ(K)による特徴変換をおこなう。第２識別手段28は特徴変換手段27で変換された特徴にたいして、変換特徴識別辞書281に基づき第２識別手段17がおこなうと同様の識別工程を実行する。クラス決定手段29はクラス決定手段18がすると同様に各クラスに対して第１識別手段24で求められた相異値に、第２識別手段28で求めた値を一定倍して加え合わせて得られた値をもとに入力パターンのクラスの決定を行う。この倍率も、全クラスにわたる認識精度が高くなるように、前述のように実験的に選択される。
【００３７】
本発明の第2の実施例と第１の実施例との本質的な違いは、第２の実施例では特徴変換手段27での特徴変換を特徴抽出手段23で求められた特徴にではなく、特徴抽出手段26で求められた別の特徴に対して行う点にある。このように、異なる特徴を用いるため第２識別手段28での識別が容易になる可能性が生じる。前述のように実験により第2の実施例あるいは第１の実施例を選択することもできる。ここで、特徴抽出手段23で抽出され求められた特徴ベクトルを第１部分特徴ベクトル、特徴抽出手段26で求められた別の特徴ベクトルを第２部分特徴ベクトルと呼ぶことにする。第１部分特徴ベクトルと第２部分特徴ベクトルとは、上述のように好もしくは共通成分を持たないが、認識精度の改善が明らかな場合には、必要に応じて共通成分を持つようにもできる。 上記の第１、第２の実施例では第１識別手段14,、24が文献３のLDA法に例示の識別関数により記載されているが、その他の識別関数を用いてもよいことは前述したとおりである。
【００３８】
本発明の第３の実施例の統合認識系は、前記第１の実施例において、特徴変換手段16がおこなう特徴変換で用いる変換用ベクトルΦ(K)を別の変換用ベクトルΦ({K}')とし、第２識別手段17で用いる変換特徴用識別辞書L({K};Φ(K))171を変換特徴用識別辞書L({K};Φ({K}'))としたものである。Φ({K}')は変換用ベクトルがクラスの集合{K}'のライバルパターンに基づいて決定されたことを示している。そして、L({K};Φ({K}'))は、クラスKの集合{K}に関する辞書で変換用ベクトルΦ({K}')で変換された特徴ベクトルの照合用辞書であることを示す。{K}'はクラス集合でただひとつのクラスのみを有する場合は、{K}'をKとおく。
【００３９】
また本発明の第４の実施例の統合認識系は、前記第2の実施例において、特徴変換手段27がおこなう特徴変換で用いる変換用ベクトルΦ(K)を別の変換用ベクトルΦ({K}')とし、第２識別手段28で用いる変換特徴用識別辞書L({K};Φ(K))281を変換特徴用識別辞書L({K};Φ({K}'))としたものである。
変換用ベクトルΦ（{K}'）と変換特徴用識別辞書L({K};Φ({K}'))の構成については後述する。
{K}や{K}'はクラス集合でただひとつのクラスのみを有する場合は、{K}',{K}をKとおくことにより前述の説明が適用される。{K}'は最大で全ての対象クラスを含むことができる。変換用ベクトルΦ({K}')による変換を{K}'に属するクラスに対する識別にのみ用いるか、{K}'に属さないクラスに対する識別にも用いるかを選択することができる。前者は識別の精度が高めやすいが速度や記憶容量の要求の点で後者に劣る傾向がある。
【００４０】
本発明の第５の実施例の統合認識系は、前記第3の実施例において、第１識別手段14、と確からしさ検出手段15とを短絡除去したものである。特徴抽出手段13で抽出された特徴ベクトルX(p)がそのまま特徴変換手段16に入力される。
【００４１】
本発明の第６の実施例の統合認識系は、前記第4の実施例において、確からしさ検出手段25が全ての入力パターンを確からしさが低いと判断するように設定されたものである。
本実施例ではすべての入力パターンの特徴ベクトルが変換され第２識別手段28で変換特徴用識別辞書L({K};Φ(K))281と照合される。
【００４２】
本発明の第７の実施例の統合認識系は、前記第６の実施例において、入力特徴ベクトルの第１部分特徴ベクトルと第２部分特徴ベクトルとをそれぞれ抽出しておき、それらを結合した特徴ベクトルを用いるものである。第７の実施例を図５を参照して説明する。
文字入力手段51は文字入力手段11と同様に文字パターンの入力処理工程を実行する。前処理手段52は文字入力手段51からの文字パターンに前処理手段12がすると同様な前処理を施し特徴抽出手段53に出力する。特徴抽出手段53は特徴抽出手段13ですると同様に、前処理された文字パターンから特徴抽出をおこない、第１部分特徴ベクトルX1(p)を次元圧縮手段541へ第２部分特徴ベクトルX2(p)を特徴変換手段542へ送出する。
【００４３】
次元圧縮手段541は第１部分特徴ベクトルX1(p)を周知のカルフーネン・レーヴ展開等を用いて次元圧縮し圧縮特徴ベクトルZ1(p)を出力する。次元圧縮をおこなわない場合にも適用できるので、Z1(p)＝X1(p)なる値をとる場合もZ1(p)に許容することにする。
圧縮をおこなう場合、圧縮特徴ベクトルZ1(p)の第m次成分z1(p;m)は次式で与えられる。
z1(p;m)＝X1(p)ψ($;m)
ここで、ψ($;m)はm次の次元圧縮用ベクトルであり、本実施例の学習に用いる訓練パターン全体の共分散行列の固有ベクトルを用いることができる。その他の次元圧縮も可能であるが、周知のため説明は省略する。なお、ψ($;m)中の"$"記号は訓練パターン全体を用いることを示す。
【００４４】
特徴変換手段542は特徴変換手段16がおこなうと同様に変換用ベクトルΦ（ Z1;{K}）により第２部分特徴ベクトルX2(p)の特徴変換をおこなう。Φ（ Z1;{K}'）は Z1(p)を識別してクラス集合{K}'のライバルパターンに基づき決定された変換用ベクトルであることを示す。
. 特徴ベクトルX2(p)は変換用ベクトルΦ（ Z1;{K}'）で変換されて変換特徴ベクトル Ｙ1( p;Z1;{K}'）得られる。
変換特徴ベクトルＹ1( Z1;{K}'）の第m次特徴成分y1( p;Z1;{K}';m)は次式で与えられる。
y1( p;Z1;{K}';m)= X2(p)φ（ Z1;{K}';m)
ここで、φ（ Z1;{K}';m)はΦ（ Z1;{K}'）のm次の変換用ベクトルである。
【００４５】
特徴結合手段55は、 圧縮特徴ベクトルZ1(p)と変換特徴ベクトルＹ1( Z1;{K}'）の全ての成分、あるいはそれらベクトル各々から所定の成分のみを取り出して、取り出した成分を成分とする結合特徴ベクトルＣ（ Z1;Y1)を生成して識別手段５６に入力する。
識別手段５６は結合特徴用識別辞書561と照合用ベクトルである結合特徴ベクトルＣ（ Z1;Y1)を照合し第２識別手段17がおこなうと同様の識別工程を実行する。クラス決定手段57は識別手段５６の識別結果に基づき入力パターンのクラスを決定する。
本実施例では、識別辞書（結合特徴用識別辞書561）のサイズと識別処理時間の増加を抑えつつ認識精度を改善できる。結合特徴用識別辞書L({C})は訓練パターンの結合特徴ベクトルＣ（ Z1;Y1)からLDA法等で構成することができる。
実施例７において、第１部分特徴ベクトルと第２部分特徴ベクトルとは同一のものであってもよい。
【００４６】
図3は上述の実施例における変換用ベクトルΦ(K)の決定の手順を示す工程図である。まず、ステップ31で訓練（文字）パターンを用意する。ステップ32で訓練パターンは文字入力手段11、前処理手段12、特徴抽出手段13、第１識別手段14、検出手段15がおこなうと同等の処理工程を経験する。あるいは、訓練パターンは文字入力手段21、前処理手段22、特徴抽出手段23、第１識別手段24、検出手段25がおこなうと同等の処理工程を経験する。その結果入力訓練パターンｑの各クラスＫとの相異値が決定され、クラスの決定が行われる。
【００４７】
ステップ33ではその識別結果からライバルパターンの編集を行う。ライバルパターンは、クラス毎に求められ、２種類のパターンからなる。以下クラスKに着目して述べる。
第１の種類のパターンは、クラスKとは異なるクラスのパターンでクラスKに属すると誤認識されたパターンすなわちKへのエラーパターンpe(K)とである。
第２の種類のパターンは、Kとは異なるクラスのパターンでKに属すると誤認識されそうになったパターンすなわちKへのニアミスパターンpn(K)である。
【００４８】
エラーパターンpe(K)は、クラスKに属すると決定された訓練パターンで、その属するクラスがクラスKと異なる訓練パターンとして同定される。
ニアミスパターンpn(K)を次のようにして選択する。K以外のクラスに属する訓練パターンについて、着目クラスKとの相異値とそのパターンが帰属するクラスとの相異値との差をもとめる。次にその差が所定値より小さく、かつ好もしくはより小さい訓練パターンから一定個を選択する。
ライバルパターン全体はライバルパターン集合Λ(K)を構成する。ライバルパターン集合Λ(K)をエラーパターンpe(K)のみで構成し、ニアミスパターンpn(K)を含まないようしてもよい。経験的には、ニアミスパターンpn(K)を含めた方がよいことがわかっている。特にエラーパターンpe(K)が少ない場合にその効果が大きい。
【００４９】
次いで、ステップ34において、まず各クラスK毎に、平均特徴ベクトルRm(K）と各ライバルパターンの特徴ベクトルの差分特徴ベクトルを求める。ついで差分特徴ベクトルの自己相関行列を求める。
まず、着目クラスKのn番目のライバルパターンpr,nの特徴ベクトルをX(K;r;n)とし、差分特徴ベクトルをΞ(K;r;n)とすると、Ξ(K;r;n)＝X(K;r;n)ーRm(K)となり、差分特徴ベクトルΞ(K;r;n)の自己相関行列Q(K;r)は次式で表わされる。
Q(K;r)=Σn Ξ(K;r;n)Ξ(K;r;n)t/N(K;r)
ここでN(K;r)はライバルパターンの総数である。tは差分特徴ベクトルの転置を指示する。
【００５０】
ステップ35では、Q(K;r)の固有ベクトルφ（K;m)を求め変換用ベクトルとする。変換用ベクトルの数は最大で特徴ベクトルの次元数Mである。m次の特徴変換用ベクトルはm番目に大きい固有値に対する固有ベクトルである。
差分特徴ベクトルは各ライバルパターンと着目クラスとの違いを表わし、Q(K;r)の固有ベクトルは着目クラスとライバルパターンとの違いを直交展開したものと見なせる。従って、Q(K;r)の固有ベクトルには着目クラスとライバルパターンとの違いの主たる成分が的確に反映されている。このようなQ(K;r)の固有ベクトルへの入力特徴ベクトルの射影は着目クラスのパターン集合とライバルパターン集合とを分離するうえで非常に有効であることがわかった。
【００５１】
また、ステップ34においてQ(K;r)に加えて着目クラスに属する訓練パターンの共分散行列S(K)を求め、ステップ35において行列S(K)-1Q(K;r)の固有ベクトルを求め、変換用ベクトルとしてもよい。Q(K;r)の固有ベクトルは各ライバルパターンの差分特徴ベクトルを射影した時の自乗平均が最も大きくなる軸を表わす。これに対し、行列S(K)-1Q(K;r)の固有ベクトルは各ライバルパターンの差分特徴ベクトルを射影した時の自乗平均が大きく、かつ着目クラスのパターン集合を射影した時の広がりが相対的に小さくなる（射影したときの値の[自乗平均]----分散-----が相対的に小さい）軸を表わしており、これも着目クラスとライバルパターン集合とを分離するうえで非常に有効と考えられる。
変換用ベクトルとしては最も大きい固有値に対応する固有ベクトルから選択し、次第に小さい固有値に対応する固有ベクトルを選び、全体で一定個数を選択する。この個数は、大きい方の固有値から固有値の和をもとめ、その和の固有値の総和に対する比がある値、例えば0.9を超えるまでの固有値の個数とする。あるいはこの個数を実験的に決定することもできる。
【００５２】
上記においては各クラス毎に固有ベクトルを求め、それを特徴変換用の変換用ベクトルとしたが、いくつかのクラスからなるクラス集合{K}'の各クラスのライバルパターンの集合に基づいた変換用ベクトルを用い、より多くのクラスを考慮した特徴変換がおこなえる。
{K}'はエラーパターンの多い順とライバルパターンの多い順で前者を優先して選んだ上位のクラスを所望の数だけあつめて構成する。全クラスを集めて{K}'を構成してもよい。
クラス集合{K}'に属するクラスKに対するQ(K;r)=Σn Ξ(K;r;n)Ξ(K;r;n)t/N(K;r)からクラス集合{K}'に対する差分ベクトルの自己相関行列Q({K}';r)を次式により計算する。
Q({K}';r)＝(Σ{K}Σn Ξ(K;r;n)Ξ(K;r;n)t)/Σ{K}N(K;r)
=Σ{K} N(K;r)Q(K;r)/Σ{K}N(K;r)
但し、Σ{K}はそれ以下の項をクラス集合{K}'の成分クラス全体にわたって加えることを指示する。
【００５３】
Q({K};r)のm次の固有ベクトルとして変換用ベクトルφ({K}';m)が与えられる。
同様に、クラス集合{K}の平均共分散行列S({K})を求めS({K})-1 Q({K}';r)の固有ベクトルで変換用ベクトルφ({K}';m)を置き換えれば、上述の固有ベクトルφ（K;m)におけると同様の効果をうることができる。
前記第７の実施例では、第１部分特徴ベクトルを次元圧縮したが、変換用ベクトルΦ（ Z1;{K}）を求めるには、まず圧縮特徴ベクトルZ1(p)（圧縮されていない場合はX1(p)）を最適化された識別辞書を有する学習用識別手段により識別する。識別結果から、ライバルパターンの編集をおこない、前記変換用ベクトルφ({K}';m)の場合と同様にして変換用ベクトルΦ（ Z1;{K}'）を求める。
【００５４】
図4は変換特徴用識別辞書L({K};Φ(K))を構成する手順を示す図である。変換特徴用識別辞書L({K};Φ({K}'))を構成するには、Φ(K)をΦ({K}')で置き換えて同様のステップを踏めばよい。ステップ41〜43は図3のステップ31〜33と全く同様である。従って、ライバルパターン集合Λ(K)として、図1の14、図2の24での識別で誤認識した、または誤認識しそうになったパターンが得られる。ステップ44ではクラス毎に、着目するクラスのパターン集合とライバルパターン集合との間で着目クラス用に求められた変換特徴を変数として用いて判別分析を行う。これによりライバルパターン集合と着目するクラスのパターン集合を最適に分離する関数を見い出すことができる。この手順には文献３に開示されている方法を適用することができる。
【００５５】
ステップ45では、ステップ42で求められるクラス毎の相異値にステップ44で求められるクラス毎の判別関数の値を一定倍して加えた値により、全訓練パターンのクラスを決定する。ステップ46でライバルパターン集合に含まれてない新しいエラーパターンが発生しているか否かをチェックし、なければステップ48に移行する。また、新エラーパターンが発生していれば、ステップ47でライバルパターン集合に追加し、ステップ44から処理を繰り返す。ステップ48では判別関数をもとに識別辞書を作成する。
【００５６】
クラスＫの変換特徴ベクトルY(K;p)の平均ベクトルRm(Φ(K))の第m次成分をrm(Φ(K);m)としてクラスKに対する判別関数F(Y(K;p), Rm(Φ(K)))が次のように与えられる。
F(Y(K;p), Rm(Φ(K)))=Σma(m)( y(p;m)ーrm(Φ(K);m) )2+Σmb（m)(y(p;m)ーrm(
Φ(K));m) )+c(Φ(K))＝Σma(m)( y(p;m)ー（rm(Φ(K));m)ーb（m)／(2a(m))）)2ーΣmb（m)2／(４a(m)）+c(Φ(K))。
そして、変換特徴用識別辞書には、クラスK用識別辞書として、a(m)をｍ次成分とする重みベクトル、rm(Φ(K);m)ーb（m)／(2a(m))をm次成分とする参照特徴ベクトル、およびーΣmb（m)2／(４a(m)）+c(Φ(K))c(Φ(K))の値を持つ定数項が格納される。この手順により、42で用いられる識別関数と組み合わせた時の認識精度（正読率）が最高となるような判別関数を求めることができる。
前記実施例７で用いる識別辞書561は、まづ結合特徴ベクトルＣ（ Z1;Y1)にLDA法を用いて作成できる。
【００５７】
本発明者は本発明の実施例において、学習により始めのうちは認識精度（正読率）が増加するが、次第に学習の効果が小さくなり、かえって、学習により認識精度が低下することを見出した。この事を利用して、次のいずれかのときに学習を自動的に打ち切ることができる。
（１）認識精度が所定値に達したとき、学習を停止する。
（２）認識精度の向上が学習により上昇しなかったとき、学習を停止する。
上記（２）の方法を採用する場合は、学習前の識別辞書の内容や特徴変換用ベクトルを記憶装置に格納しておき、それらを使用する。そして本発明のパターン認識装置では、打ち切りを知らせるための表示を行い、到達認識率や学習での（辞書更新の）繰り返し数等をも表示することができる。
【００５８】
また、ライバルパターンの編集も自動的におこなうことができる。訓練パターンやテストパターンとしてはそのクラスと文字パターンがえられ、エラーパターンやニアミスパターンが摘出される。この時エラーパターンは前述のように自動的に決定される。ニアミスパターンについては最大個数を与えておけば自動的に決定される。エラーパターンの個数が与えられた個数より少ない場合のみ該与えられた個数に達するまでの個数のニアミスパターンを選定することも効果がある。
上記のように、計算機上に構築された統合認識システムに訓練パターンを（必要な場合はテストパターンも）与えて、自動的に学習が行われる。従って、本発明を実施する統合認識システムは、実施が容易であり、その用途に応じて用意された訓練パターンにより、容易にその種用途に適合できる。
【００５９】
図６は代表的な認識システムのブロック図である。学習センター61は内臓のあるいは外部に接続された資源の支援の元に、制御／訓練ソフトウェアを走らせて訓練パターン６１１から複数の変換用ベクトル613や識別辞書612を作製する。学習センター61において作製され、記憶媒体に格納され、記憶媒体が実際にパターン認識をおこなうＯＣＲ（光学文字認識装置）等の端末装置６２に送られる。あるいは直接通信回線６３により変換用ベクトルや識別辞書がひとつあるいは複数の端末装置６２に送信される。直接通信回線63を用いる場合は、端末装置からエラーパターンの提供を受けて変換用ベクトルや識別辞書の更新を効率的におこなうこともできる。学習センター61は図示しない表示装置に認識率等の表示なメッセージの表示をおこない、また図示しない入力装置からコマンドやデータの入力をおこなう。
【００６０】
端末装置62は内臓のあるいは外部に接続された資源の支援の元に、制御／認識ソフトウェア624を走らせてパターン入力手段６２１から入力したパターンを変換用ベクトル623で変換したり、識別辞書622と照合したりしてクラスの決定をおこなう。
これら変換用ベクトル613や識別辞書612の作製には計算機資源の多くを要するので上述の構成をとるのであるが、計算機の性能・価格と変換用ベクトル613や識別辞書612のサイズ等の兼ね合いで選択の自由度があり、いずれか一方の装置で訓練と認識の全てをおこなうようにすることもできる。
【００６１】
本発明の趣旨をさらに明確に理解するために、上述した実施例のひとつの拡張例である第８の実施例を図７を参照して説明する。
図７において、文字入力・前処理・特徴抽出手段７１は図１に示す入力手段１１、前処理手段１２と特徴抽出手段１３の機能を併せ持ち、入力パターンから特徴を抽出する。第１識別手段７２とその識別辞書７２１とは第１識別手段１４とその識別辞書１４１と同様の機能を発揮する。確からしさ検出手段７３は確からしさ検出手段１５と同様に第１識別手段１４の出力結果である相異値に基づき、確からしさが高い場合はクラス決定手段８０にクラス名を出力する。確からしさが低い場合は、その特徴ベクトルは特徴変換手段７４により特徴変換され、その結果の変換特徴ベクトルが第２識別手段７５に入力されて各クラスとの相異値が求められる。特徴変換手段７４と第２識別手段７５とは、動作上、特徴変換手段１６と第２識別手段１７とにそれぞれ等価である。第２識別手段７５は識別辞書１４１と等価な識別辞書７５１と変換特徴ベクトルを照合してクラス毎の相異値を求める。
【００６２】
確からしさ検出手段７６は確からしさ検出手段１５と同様に第２識別手段７５の出力結果である相異値に基づき、確からしさが高い場合はクラス決定手段８０にクラス名を出力する。確からしさが低い場合は、図２の特徴抽出手段２６と等価な特徴抽出手段７７に結果を通知する。特徴抽出手段７７は前記文字入力・前処理・特徴抽出手段７１が抽出した特徴とは異なる特徴を入力パターンから抽出し、特徴変換手段７８により特徴変換した後第２の変換特徴ベクトルとして第３識別手段７９に入力する。特徴変換手段７８と第３識別手段７９とはそれぞれ特徴変換手段２７と第２識別手段２８と同様の工程を第２の変換特徴ベクトルに経験させる。第３識別手段７９は識別辞書２８１と等価な識別辞書７９１と第２の変換特徴ベクトルを照合してクラス毎の相異値を求めクラス決定手段８０に送る。
クラス決定手段８０は第１、第２、第３識別手段から出力される相異値と確からしさ検出手段７３、７６からのクラス名通知のいずれか一つあるいは複数に基づき、入力パターンのクラスを決定する。
【００６３】
上記の特徴変換に用いる変換用ベクトルと識別辞書の作成は、実施例１乃至７に関連して説明された方法を用いることができる。例えば、特徴変換手段７４、７８で用いる変換用ベクトルを第１識別手段７２の出力に基づくライバルパターンから決定してもよい。識別辞書７２１、７５１、７９１はそれぞれが所属する第１、第２、第３識別手段７２、７５、７９出力段階までの（好もしくは）全訓練パターンに対する認識率が最大になるように決定するのがよい。変換用ベクトルの決定は、識別辞書の決定に比べより多様である。特徴変換手段７８で用いる変換用ベクトルを第２識別手段の出力に基づくライバルパターンから決定してもよい。
【００６４】
さらに、特徴抽出手段７７を短絡除去して文字入力・前処理・特徴抽出手段７１や特徴変換手段７４により出力される特徴ベクトルや変換特徴ベクトルを第３識別手段に入力する様にしてもよい。
図７には３段の特徴抽出手段（あるいは特徴変換手段）と識別手段の対（以下識別単位と称する）が従属接続されているが、さらに入力パターンを受け取る上流側にもクラス決定手段に近い下流側にも識別単位の段数を増加せしめることが可能である。またある単位の結果に基づいて複数の単位に入力パターンから導かれたパターンが入力されるようにもできる。
【００６５】
このようなシステムでは、識別単位には入力パターンそのものや入力パターンの特徴ベクトルから線形変換により導かれたにベクトルが入力され、識別結果（相異値やクラス名の指示）が出力されるようにし、最終的にクラス決定手段が識別単位の出力からクラスの決定をおこなえるようにしている。そのため、識別単位の変換用ベクトルは、その上流の識別単位の識別結果から得られるライバルパターンに基づいて決定し。その識別辞書は該識別単位までの訓練パターンの認識率が最大になるように（あるいは十分大きくなるように）決定している。
【００６６】
【発明の効果】
以上説明したように本発明によれば、2つの認識系を結合するときに、各クラスに対しそのクラスのパターン集合と一方の認識系でそのクラスに誤認識されたパターン集合とを有効に分離するベクトルを見い出し、他方の認識系は特徴ベクトルをそのベクトルに射影した値を特徴として用いると同時に、一方の認識系で誤認識されたパターンをできるだけ正しく認識できるように識別辞書を構成するので、2つの認識系を組み合わせた時の認識率を著しく向上させることができる。
そして、パターンの種類に応じて用意された訓練パターンにより、容易に、かつ自動的にその種類に適合できる。
【図面の簡単な説明】
【図１】本発明の第１の実施例を説明するための図である。
【図２】本発明の第2の実施例を説明するための図である。
【図３】変換用ベクトルを求める手順を示す図である。
【図４】変換特徴用識別辞書を作成する手順を示す図である。
【図５】本発明の第７の実施例を説明するための図である。
【図６】本発明の一実施例の装置のブロック図である。
【図７】本発明の第８の実施例を説明するための図である。
【符号の説明】
11 文字パターン入力手段
12 前処理手段
13 特徴抽出
14 識別手段
15 確からしさ検出手段
16 特徴変換手段
17 識別手段
18 クラス決定手段
21 文字パターン入力手段
22 前処理手段手段
23 特徴抽出手段
24 識別手段
25 確からしさ検出手段
26 特徴抽出手段
27 特徴変換手段
28 識別手段
29 クラス決定手段
61 学習センター
62 端末装置
【産業上の利用分野】
本発明はパターン認識装置及びパターン認識方法に関し、特に相異なる認識系を組み合わせて認識精度を向上させるパターン認識方法に関するものである。
【０００２】
【発明の背景】
近年、計算機による画像処理、文字処理、音声処理等のパターン認識を含む情報処理の需要は多くかつ急速に増加している。従って、パターン認識技術の改良が切望されている。
パターンを処理しようとする場合、パターン自身をそのまま取扱うかわりに、そのパターンの特徴を抽出して、これを処理するほうが速度、コスト、精度等で有利な場合が多い。非常に情報量が多いパターンの処理などでは、特徴を抽出して 、その特徴を処理せざるをえない場合もある。特徴によってパターンを表現して（概念との対応を損なわない）情報の圧縮をおこなうこともパターン認識のひとつの目的である。
【０００３】
パターンpの特徴ｆは通常有限個（例えばＭ個）の特徴成分x(p;m)の組：｛x(p;m);m=1,2,3,....,M｝で構成され、パターンが全体として持つ特有の性質を、具体的かつ定量的に表現したものである。従って、特徴ｆは特徴成分x(p;m)を第m次の成分としてもつＭ次元のベクトルとして表わされるので、特徴ｆのベクトル表現を特徴ベクトルＸ(p)＝( x(p;1), x(p;2),......., x(p;M))tと表わす事にする。ここで、引数ｐはパターンｐの特徴ベクトルであることを、上添え字ｔはベクトルの転置を示す。
特徴成分が質的なものであっても数量化して用いることが可能である。
【０００４】
パターンｐがいろいろな変形をうけると、特徴成分x(p;m)の値がかわり、従って特徴ベクトルＸ(p)が変化する。変形したパターンも同一クラスに属する限り、そのクラスに属すると認識されなければならない。
ある特定のパターンをあるクラスに属するパターンの代表、あるいはクラスの特徴として指定した場合、指定されたパターンをそのクラスの参照パターン（以下単に参照パターンと呼称する）、その特徴ベクトルを参照特徴ベクトルと呼ぶことにする。参照パターンは、クラスのなかの特定のパターンとする外にクラス内のパターンの平均等の仮想のパターンでもよい。
【０００５】
未知パターンｐを取得し、それが既知のパターンｑに類似している否か、あるいはどの既知クラスに属するのか識別するのがパターン認識であり、パターン認識は、図形や文字、記号、画像、音声等の情報処理に欠くことができない機能である。パターン認識の一般的な知識や問題点については文献１（中田和男編：パターン認識とその応用、コロナ社（1978））や文献２（小川英光編：パターン認識・理解の新たな展開ー挑戦すべき課題ー、電子情報通信学会（１９９２））から得ることができる。
以下に一般性を失うことなく、パターンが文字パターンである文字認識を例に説明する。
【０００６】
文字の表現である文字パターン（以下混同のおそれがないときには単に文字ともいう）において、その特徴成分は種々のものが考えられている。文字の縦横比、画数、横線の数、ループの数、パターンを網上に描いたときの網目の白黒、特定の向きの直線との交点の数、フーリエ変換等の変換係数等々が特徴成分となり得る。これら特徴成分の組が文字を最も良く表わすように特徴ベクトルが構成される。各特徴成分の値域は後述の識別の精度を改善するように選択される。特徴成分は、必要に応じてその標準偏差等で標準化される。
【０００７】
文字の読みや意味、記号をクラス名とする。例えば、文字“Ａ”をクラスＡと呼ぶ。クラスの参照文字パターンはそのクラスに属する文字パターンの平均文字パターンや特定の文字パターンが選ばれる。参照文字パターンの特徴ベクトルは参照特徴ベクトルである。
文字認識系は最終的に、文字“Ａ”に属する文字パターンとその変形文字パターンが全てクラスＡに属し、かつクラスＡ以外のクラスには属さないと判定することを目的としている。
【０００８】
さて、文字パターンが観測されて読み取られた後の文字認識系は、通常、文字パターンの前処理工程、特徴抽出工程、識別工程という一連の部分処理工程に分けられる。いずれの部分処理工程も主に計算機上で実施できるのであり、計算機が処理する一群のプロセスに対応する。文字パターンの観測を含め全ての部分処理工程が文字認識系の結果である認識結果に影響を及ぼす。そしてクラスＡに属すべき文字パターンをクラスＡに属すると正しく認識する確率、即ち認識率を向上する（精度をあげる）ため、あるいはクラスＡに属すべきでない文字パターンをクラスＡに属すると誤って認識する確率、即ち誤認識率の低減（一般的には０とすること）の工夫がほどこされている。特に、クラスＡに属さない文字パターンをクラスＡに属すると判定すること（誤認識）のないことをより強く望む用途が多い。
【０００９】
また、入力文字パターンそれ自体、理想的なパターンが変形等の“歪み”あるいは“修飾”処理工程を経由したものとも考えられる。修飾処理工程は負の前処理工程であり文字パターンの認識系全体の性能向上には考察の対象としなければならない。
なお、認識結果により各処理工程の調整をおこなう等の帰還制御機能を付加したり、文字認識系には種々の変更を施すことが可能である。
【００１０】
前処理工程では、よく知られているように入力文字パターンの大きさ、傾き、位置や線の密度等の正規化と、しみやかすれ等の雑音の除去を行う。
特徴抽出工程では、入力文字パターンから文字の形状を表わす特徴成分の値を決定し、特徴ベクトルを作成する。特徴成分の個数は数 [百] 十から数千にもおよぶことがあり、例えば３８０や５００である。一例として、６４×６４の網目のにクラスＡに属する一つの[要素である]文字パターンＡ書き、文字パターンＡの線が網目に入っていれば１、入っていなければ０を与える。これら網目を特徴成分とすると、その値１、０を要素とする４０９６次元の特徴ベクトルが文字パターンＡにあたえられる。
【００１１】
別の例では、文字の認識に有効な別の特徴成分、たとえばストロークの端点の数（Ａでは２）やループの数（Ａでは１）、屈曲点数（Ａでは１）、分岐点数（Ａでは２）、交差点数（Aでは０）、それらの位置などを組み合わせる。そしてなるべく識別を容易にするような特徴成分をできるだけ小数選んで次元の低い特徴ベクトルを構成し、所定の認識率を得るようにしている。特徴ベクトルの次元が高ければ高いほど精度は高くなる（認識率があがる）傾向があるが、処理時間や所要記憶装置の容量が増加するからである。
【００１２】
識別工程では、入力文字パターンから抽出された特徴ベクトルと、文字識別辞書（一般的にはパターン識別辞書）に前もって格納されている各クラス毎の参照特徴ベクトルを特定の識別関数に基づいて照合し、入力文字パターンの属するクラスを決定する。文字識別辞書は参照特徴ベクトルの集合を含む。識別関数には類似度関数や距離関数が用いられることが多い。文字パターンと参照パターンとの距離を文字パターンと（該参照パターンが代表する）クラスとの距離ともいうことにする。
【００１３】
識別関数として距離関数が採用されるときは、文字パターン間の距離を定義し、その距離が測定される。一般に距離が小さいほど類似しており、参照特徴ベクトルから一定の距離以内のパターンは同一クラスに認識される。あるいは、ある文字パターンは最も近い参照特徴ベクトルの属するクラスに認識される。
上述の例で１、０を要素とする４０９６次元の特徴ベクトル間にハミング距離（互いに相異なる要素の数）を算出する識別関数を与える。あるクラスの参照特徴ベクトルからハミング距離が１００以内にある特徴ベクトルを抽出された文字はそのクラスに属するとする。
あるいは、入力文字パターンから抽出された特徴ベクトルと全ての参照特徴ベクトルとのハミング距離を算出して、最短距離の参照特徴ベクトルの属するクラスが入力文字の属するクラスであると決定する。さらに別の例ではさらに、最短距離であり、それがある一定値以下であるとともに、二番目に短い距離との差がある一定値以上のときのみ最短距離の参照特徴ベクトルが属するクラスが入力文字の属するクラスであるとする。
【００１４】
高精度の識別工程の他の例では、識別関数として、ユークリッド距離を与える距離関数、重み付きユークリッド距離を与える距離関数、２次識別関数等が用いられる。そして、これらの関数を用いる識別工程において、識別関数や文字識別辞書が学習により改良され認識率を向上できる事が知られている。以下に概略を述べる川谷のＬＤＡ法(Learning by Discriminant Analysis Method)は識別工程が学習により文字パターンの変形を吸収する方法である（参考文献３：川谷；”距離関数の学習による手書き数字認識（Handprinted Numerals Recognition by Learning Distance Function)”信学論VoL.J76-D-II No.9 pp.1851-1859、）。なお、参考文献３には文字認識系の従来技術が具体的に説明されているので、本明細書の理解の助けとなる。
【００１５】
参考文献3にはフィッシャーの線形判別分析を応用したパターン認識方法の一つであるＬＤＡ法がいくつかの異なる識別関数を用いた場合について述べられている。以下に参考文献で使用の記号表示とは異なる記号表示を用いてＬＤＡ法の一部を紹介する。
【００１６】
その記載の一例によれば、重み付きユークリッド距離を与える距離関数が学習され文字識別辞書に格納される。即ち距離関数の重みと定数項及び参照ベクトル（本明細書でいう参照特徴ベクトル）からなるパラメータが学習されるのである。
既知の入力文字パターンｐが訓練文字パターンとして文字認識系に入力されると、前処理工程を経て特徴抽出がおこなわれ特徴ベクトルＸ(p)＝( x(p;1), x(p;2),..., x(p;m),...., x(p;M) )tが得られる。
この時点までに、各クラスKの参照特徴ベクトルR(K)=( r(K;1), r(K;2),..., r(K;m), ....,r(K;M))tがあたえられ、Ｘ(p)とR(K)の間の重み付きユークリッド距離D(p,K)=D(Ｘ(p),R(K)）=Σmω(K;m)( x(p;m)ーr(K;m) )2が算出される。D(p,K)は正確には２乗距離を与えるものであるが、ここでは単に距離とよぶことにする。
【００１７】
ここで、Σmは以下の各項のｍを１からＭまでかえて合計する関数である。ω(K;m)は重みであり重みベクトルW(K)=( ω(K;1), ω(K;2),......, ω(K;m),...., ω(K;M) )tの要素である。参照特徴ベクトルＲ(K)や重みベクトルW(K)など識別に必要な情報を格納するのが文字識別辞書L({K})である。{K}は照合に供される全てのクラスKの集合を表わし、{K}に関する文字識別辞書をL({K})とした。
上記の距離関数形は全クラス共通であるが、そのパラメータはクラス毎に特有の値に定められる。なお、LDA法による学習後の距離関数は距離公式を満たす通常の定義による距離関数とは異なるものとなるが、パターンの相異の度合を与えることができる関数であることには違いが無い。
【００１８】
次に、パターンｐの属するクラスをK(p)とし、例えば上記D(p,K)をクラスKを変えて測定し「最も小さなD(p,K)を与えるクラスK1=K1(p)」をパターンｐの属するクラスと決定する。ところが、場合によりK1(p)が本来ｐが属するクラスK（ｐ）と異なり誤認識が生ずる。また別の場合には、クラスK1,とクラスK1とは異なるクラスK2に対して距離D(p,K1）とD(p,K2）との差が小さく、確信をもって何れかをK(p)とする認識結果を出力することができない。クラスKに着目した場合クラスKに紛らわしい文字パターンを次のように分類できる。
（１）Kとは異なるクラスのパターンでKに属すると誤認識されたパターンすなわちKへのエラーパターンpoe；
（２）Kとは異なるクラスのパターンでKに属すると誤認識されそうになったパターンすなわちKへのニアミスパターンpon。
文献３では上記poeとponを総称してクラスKのライバルパターンporと呼び、ライバルパターンporをクラスKから遠ざけるように距離関数の重みと定数項及び参照ベクトルからなるパラメータを学習する。この学習を全てのクラスについておこなってもよいし誤認識を引き起こしやすいいくつかのクラスについておこなってもよい。
【００１９】
まず、ライバルパターンの集合をΩr(K)とし、着目クラスKのパターンの集合をΩ0(K)（即ちクラスKそのもの）として、下式の判別関数F(Ｘ(p),R(K）)がΩ0(K)上で負にΩr(K)上で正になるように、係数｛a(m)；ｍ＝１乃至Ｍ}、｛b(m)；ｍ＝１乃至Ｍ｝、cが決定される。但し着目クラスKの参照特徴ベクトルR(K)にはクラスKのパターンの特徴ベクトルの平均ベクトルを用いる。ここに、
F(Ｘ(p),R(K）)=Σma(m)( x(p;m)ーr(K;m) )2+Σmb（m)(x(p;m)ーr(K;m) )+c(K）。
F(Ｘ(p),R(K）)はΩ0(K)に対して負なので、F(R(K）,R(K））=c<0となる。次に元の距離D(p,K)=D(Ｘ(p), R(K））=Σmω(K;m)(x(p;m)ーr(K;m ))2に判別関数F(X(p),R(K）)を加重加算する。その結果、距離D(X(p),R(K））は新しい距離Ｇ(Ｘ(p),R(K））となる。
Ｇ(Ｘ(p),R(K））＝Ｇ(p,K)=D(Ｘ(p),R(K））＋γF(Ｘ(p),R(K）)
=Σm( ω(K;m)＋Δω(K;m) ){ x(p;m)ー( r(K;m)+Δr(K;m) ) }2+d(K)。
【００２０】
上式の重みγは正の数で、全クラスにわたる認識精度が最大になるように、実験的に決定される。実験は公開されている文字データベースや独自に収集した文字データベースを用いて行う。文字データベースに含まれる文字パターンの一部を訓練用に、残りを訓練結果の確認用に用いることが多い。
このようにして、定数項d(K)が付加された形で重みベクトル、参照ベクトルと定数項がが学習される。新しい重みベクトルと参照特徴ベクトルとはそれぞれU(K）=( ω(K;1)+Δω(K;１),......,ω(K;Ｍ)+Δω(K;M) )tとT(K）=( r(K;1)+Δr(K;1),..., r(K;M)+Δr(K;M) )tとになる。定数項d(K)と重みベクトルU(K）、参照特徴ベクトルT(K）とが識別辞書に格納される。次に定数項を含むＧ(Ｘ(p),R(K））により識別した結果新たに生じたライバルパターンをライバルパターンの集合に追加して学習を繰り返す。
【００２１】
上記の例では、特徴ベクトルや識別関数の種類をもとのままとしているので、識別工程（識別辞書も含む）の一部の学習に限られている。
ところで、これまでに文字認識精度向上のため複数の認識系を結合する手法もあった。具体的には、抽出される特徴の内容（特徴成分の種類や数）が異なる認識系の組み合わせ、識別関数の異なる認識系の組み合わせなどが試みられている。何れの組み合わせも認識精度を向上するうえで有効なことが確かめられている。しかし、従来の方法は独立に作成した認識系を単に組み合わせるのみであり、例えば２つの認識系を組み合わせる時、一方の認識系は他方の認識系で認識できなかった文字を出来るだけ高い精度で認識できるように構成しておくなどの積極的な措置は講じられていなかった。そのため、認識精度の向上には自ずと限界があった。
【００２２】
【発明が解決しようとする課題】
本発明は上記問題点の解決を図り、第1の認識系で信頼度高く認識できなかったパターンを第２の認識系で出来るだけ高い精度で認識できるように構成し、２つの認識系を結合して認識精度を向上することを目的とする。
さらに、第1の認識系で正しく認識されたが、２つの認識系を結合した認識系（統合認識系）では誤認識されるパターンの割合をできるだけ低く抑えることをも目的とする。
さらに別の目的は、統合認識系の学習が容易に実施されるようにすることにある。
【００２３】
【課題を解決するための手段】
本発明の趣旨を明確に開示するために、以下において、特にことわらない限り、例えば距離関数の距離値、類似度関数の値、２次識別関数の値、判別関数の値、その他の識別関数の値、それらの組み合わせ等の値を相異値とよぶことにする。LDA法における２乗距離の値等も相異値の一例である。
また、識別工程で識別辞書と照合される特徴ベクトルは必ずしも入力パターンから抽出されたままではなく、特徴変換を受けたり、次元の圧縮を受けたりするので、それらを照合用特徴ベクトルと総称する。
そして、訓練パターンによりパターン認識装置の学習をおこなうため、実際のパターン認識に用いる装置をそのまま用いる他に、そのシミュレーションをおこない、その装置のモデルにより学習をし、学習結果を実際のパターン認識に用いる装置に移すようにしている。本発明の説明では、特に混同しない限り、実際のパターン認識に用いる装置と、その装置のモデルとを区別しない。
【００２４】
上記課題を達成するため、本発明では、それぞれの識別辞書を備えた第１、第２の識別手段を有する装置において、下記の工程によりパターン認識装置の学習をおこなうことを基本にしている。即ち、パターン認識装置は
（イ）所定のクラスの訓練パターンから抽出した特徴ベクトルに関連する第１の照合用ベクトルを第１の識別手段の識別辞書と照合し第１の相異値を得る工程と、
（ロ）一つあるいは複数のクラスの第１の相異値で定まるライバルパターンと該クラスに属する訓練パターンにより変換用ベクトルを決定する工程と、
（ハ）前記特徴ベクトルの少なくとも一部分に前記変換用ベクトルによる特徴変換を施した変換特徴ベクトルを含む前記特徴ベクトルに関連する第２の照合用ベクトルを第２の識別手段の識別辞書と照合して第２の相異値を求める工程と、
（ニ）前記第１、第２の相異値から前記訓練パターンのクラスを決定する工程と、
（ホ）所定のクラスに属する全訓練パターンのクラスを決定するため、前記（イ）乃至（ニ）の工程を繰り返す工程と、
（ヘ）前記訓練パターンの属するクラスと前記決定されたクラスとからの前記訓練パターン集合の認識率求める工程と、
（ト）前記認識率を高くするため第２の識別手段の識別辞書を変更して前記（ハ）乃至（へ）の工程を含む工程により学習をおこなうものである。
【００２５】
本発明のある実施例では、 前記第１の照合用ベクトルが前記訓練パターンから抽出した特徴ベクトルの特徴成分のすべてを含むベクトルで、前記第２の照合用ベクトルが前記訓練パターンから抽出した特徴ベクトルの特徴成分のすべてを含むベクトルを特徴変換した変換特徴ベクトルを含むようにもできる。
また、 前記第１の照合用ベクトルが前記訓練パターンから抽出した特徴ベクトルの特徴成分の第１の組からなるベクトルで、前記第２の照合用ベクトルが前記訓練パターンから抽出した特徴ベクトルの特徴成分の前記第１の組とは異なる第２の組からなるベクトルを特徴変換した変換特徴ベクトルを含むようにもできる。
そして、必要に応じ、計算機の資源節約のため前記第１の照合用ベクトルが前記訓練パターンから抽出した特徴ベクトルの特徴成分の第１の組からなるベクトルに次元圧縮を施したベクトルとすることができる。
そして、実際のクラスが未知の入力パターンの認識をおこなうばあいは、前記所定のクラスの訓練パターンに変えて該入力パターンが前記（イ）、（ハ）、（ニ）の工程を順次通過するようにすればよい。
【００２６】
本発明においてパターン認識は計算機で行われるのが普通であるから、計算機に上記（イ）乃至（ト）の工程を指令すべく構成された記憶装置も本発明のひとつの実施態様である。
本発明のパターン認識を実施できるシステムの一例では、学習センターと通信可能な端末装置とからなる認識システムがある。端末装置は識別辞書と変換用ベクトルとを格納し、該識別辞書と該変換用ベクトルとにより入力パターンのクラスの決定をおこなう機能を有している。該端末装置で生じたライバルパターンの通知に応じて前記学習センターが前記識別辞書を更新しと該端末が前記変換用ベクトルの更新するようにしたパターン認識システム。 そして、訓練パターンの変化や誤認識割合の増加に応じて容易に再学習し、認識率の変動から自動的に学習できる機能を有する計算機上に構築された統合認識システムが与えられる。
【００２７】
本発明のパターン認識装置は識別単位を多段結合した構成とすることもできる。 そのような装置は、それぞれの入力と出力と識別辞書とを有する複数の識別単位とクラス決定手段とを含む。そして、少なくともひとつの識別単位が入力パターンを受け取り、少なくともひとつの前記識別単位は自身とは別の前記識別単位の出力を入力しさらに別の識別単位に自身の出力を送る。そして、少なくともひとつの前記識別単位は入力パターンの特徴ベクトルに関連するベクトルを入力して変換用ベクトルで特徴変換し、少なくともひとつの識別単位がクラス決定手段にその出力を送出する。クラス決定手段は入力パターンの決定をおこない、 前記変換用ベクトルは該変換用ベクトルの入力側に接続された識別単位で決定されるライバルパターンに基づいて決定される。
したがって、各識別単位はそのまえの識別単位が識別しにくいパターンについて識別しやすいように動作させられるので、識別精度をさらに改善できる。
【００２８】
【実施例】
図１は本発明の第１の実施例の統合認識系の文字パターンの処理工程図である。図中、11は文字パターンの入力処理工程をおこなう文字入力手段11、12は前処理工程をおこなう前処理手段12、13は特徴抽出工程を実行する特徴抽出手段13、14は第１の識別工程を実行する第１識別手段14、15は確からしさ検出をおこなう確からしさ検出手段15、16は特徴変換をおこなうための特徴変換手段16、17は第２の識別工程を実行する第２識別手段17、18は入力文字パターンのクラス決定の処理工程を実行するクラス決定手段18である。以下、各手段の工程の詳細を処理の進行の一例に沿って説明する。
【００２９】
文字入力手段11により文字パターンpが入力されると、前処理手段12でパターンの大きさ、位置などが正規化され、特徴抽出手段13で識別に用いる特徴が抽出されて特徴ベクトルX(p)が決定される。
【００３０】
第１識別手段14では、この工程での照合用ベクトルである求められた特徴ベクトルと識別辞書141との照合をおこなう。すなわち、別途作成された識別辞書141に格納されている各クラスKmの参照特徴ベクトルＲ(Km)、重みベクトルW(Km)をもとに入力パターンの特徴ベクトルと参照特徴ベクトルとの相異値（即ち入力文字パターンとクラスとの相異値）がクラス毎に求められる。
【００３１】
確からしさ検出手段15では、上述の各クラスと入力文字パターンとの相異値をもとに認識結果の確からしさの検出をおこなう。確からしさの尺度としては、各クラスに対する入力文字パターンの相異値の中で最も小さな値と次に小さな値との差を用いることができる。所定の値より大きな（あるいは小さくない）差を有する文字パターンは確からしさが高いと判定される。そして全ての相異値のうち最も小さな相異値を与えるクラスが入力パターンの属するクラスとの認識結果がクラス決定手段18により与えられる。一方、所定の値より小さな差を有する文字パターンは確からしさが低いと判定される。そして、特徴変換手段16、第２識別手段17による処理は確からしさ検出手段15により認識結果の確からしさが低いと判定された場合にのみ実行される。
【００３２】
特徴変換手段16では、予めクラスK毎に保持しておいた特徴ベクトルを変換するための特徴変換用ベクトルΦ(K)（以下変換用ベクトルと呼称する）を用いて（確からしさが低い）-----入力文字パターンpの特徴ベクトルX(p)の変換即ち特徴変換を行う。変換用ベクトルΦ(K)の決定については後述する。
特徴ベクトルX(p)はクラスKの変換用ベクトルΦ(K)で変換されて変換特徴ベクトルY(p;K)が得られる。
変換特徴ベクトルY(p;K)の第m次特徴成分y(p;K;m)は次式で与えられる。
y(p;K;m)=X(p)φ（K;m)
ここで、φ（K;m)はクラスKのm次の変換用ベクトルである。
【００３３】
第２識別手段17は、この識別工程での照合用ベクトルである変換特徴ベクトルを例えばLDA法により学習された変換特徴用識別辞書L({K})171と照合して識別処理をおこなう。変換特徴ベクトルY(p;K)による識別のための各クラスの変換特徴参照ベクトルR(Φ(K))、変換特徴重みベクトルT(Φ(K))、必要に応じて定数項ｄ(Φ(K))は変換特徴用識別辞書L({K};Φ(K))171に格納されている。ここでL({K};Φ(K))はクラスKの集合{K}に関する辞書で変換用ベクトルΦ(K)で変換された特徴ベクトルの照合用辞書である。
変換特徴用識別辞書L({K};Φ(K))171をもとに入力パターンの変換特徴ベクトルY(p;K)と参照変換特徴ベクトルR(Φ(K))との間の相異値がクラス毎に求められる。 換特徴用識別辞書L({K};Φ(K))の構成については後述する。
【００３４】
クラス決定手段18では、確からしさ検出手段15により確からしさが低いと判定された入力パターン毎に、各クラスに対して第１識別手段14で求められた相異値に、第２識別手段17で求めた値を一定倍して加え合わせて得られた値をもとに入力パターンのクラスの決定を行う。その倍率は、別途全クラスにわたる認識精度が高くなるように実験的に選ばれる。実験は公開された文字データベースを用いて、収録された文字パターンのデータの一部を訓練パターンのデータ（訓練データ）として用い、残りをテストパターンのデータ（テストデータ）として用い全体としての認識精度が高くなるように倍率を選ぶようにすればよい。
例えば、全体の４／５を訓練データに、残りをテストデータにしてもよい。公開の文字データベースを用いるほかに独自に収集した文字データベースを用いて、特定の領域の文字の認識をより高精度にすることもできる。また、えられる文字をすべて訓練データとすることもできる。多くの場合、えられる文字をすべて訓練データとする。しかし一部を訓練データとして用い、残りをテストデータとして用いるときは、認識性能の安定性あるいは堅固性も評価できよう。そのため訓練データとする文字を変えて実験することも効果的である。
【００３５】
図２は本発明の第２の実施例の統合認識系の文字パターンの処理工程図である。文字入力手段21は文字入力手段11と同様に文字パターンの入力処理工程を実行する。前処理手段22は文字入力手段21からの文字パターンに前処理手段12がすると同様な前処理を施し特徴抽出手段23と第２の特徴抽出手段26に出力する。特徴抽出手段23は特徴抽出手段13ですると同様に前処理された文字パターンから特徴抽出をおこなう。第１識別手段24は,識別辞書141と同様な識別辞書241と抽出された特徴とを照合して第１識別手段14がすると同様に抽出された特徴の識別をおこなう。その識別結果の確からしさは、確からしさ検出手段15がすると同様にして確からしさ検出手段25によって検出される。特徴抽出手段26は、特徴抽出手段13、23ですると同様に、しかし特徴抽出手段23がおこなう特徴抽出とは異なる内容（特徴成分）の特徴抽出を確からしさの低いパターンにたいしておこなう。
【００３６】
特徴変換手段27は第２の特徴抽出手段26で抽出された特徴にたいして特徴変換手段16がおこなうと同様に変換用ベクトルΦ(K)による特徴変換をおこなう。第２識別手段28は特徴変換手段27で変換された特徴にたいして、変換特徴識別辞書281に基づき第２識別手段17がおこなうと同様の識別工程を実行する。クラス決定手段29はクラス決定手段18がすると同様に各クラスに対して第１識別手段24で求められた相異値に、第２識別手段28で求めた値を一定倍して加え合わせて得られた値をもとに入力パターンのクラスの決定を行う。この倍率も、全クラスにわたる認識精度が高くなるように、前述のように実験的に選択される。
【００３７】
本発明の第2の実施例と第１の実施例との本質的な違いは、第２の実施例では特徴変換手段27での特徴変換を特徴抽出手段23で求められた特徴にではなく、特徴抽出手段26で求められた別の特徴に対して行う点にある。このように、異なる特徴を用いるため第２識別手段28での識別が容易になる可能性が生じる。前述のように実験により第2の実施例あるいは第１の実施例を選択することもできる。ここで、特徴抽出手段23で抽出され求められた特徴ベクトルを第１部分特徴ベクトル、特徴抽出手段26で求められた別の特徴ベクトルを第２部分特徴ベクトルと呼ぶことにする。第１部分特徴ベクトルと第２部分特徴ベクトルとは、上述のように好もしくは共通成分を持たないが、認識精度の改善が明らかな場合には、必要に応じて共通成分を持つようにもできる。 上記の第１、第２の実施例では第１識別手段14,、24が文献３のLDA法に例示の識別関数により記載されているが、その他の識別関数を用いてもよいことは前述したとおりである。
【００３８】
本発明の第３の実施例の統合認識系は、前記第１の実施例において、特徴変換手段16がおこなう特徴変換で用いる変換用ベクトルΦ(K)を別の変換用ベクトルΦ({K}')とし、第２識別手段17で用いる変換特徴用識別辞書L({K};Φ(K))171を変換特徴用識別辞書L({K};Φ({K}'))としたものである。Φ({K}')は変換用ベクトルがクラスの集合{K}'のライバルパターンに基づいて決定されたことを示している。そして、L({K};Φ({K}'))は、クラスKの集合{K}に関する辞書で変換用ベクトルΦ({K}')で変換された特徴ベクトルの照合用辞書であることを示す。{K}'はクラス集合でただひとつのクラスのみを有する場合は、{K}'をKとおく。
【００３９】
また本発明の第４の実施例の統合認識系は、前記第2の実施例において、特徴変換手段27がおこなう特徴変換で用いる変換用ベクトルΦ(K)を別の変換用ベクトルΦ({K}')とし、第２識別手段28で用いる変換特徴用識別辞書L({K};Φ(K))281を変換特徴用識別辞書L({K};Φ({K}'))としたものである。
変換用ベクトルΦ（{K}'）と変換特徴用識別辞書L({K};Φ({K}'))の構成については後述する。
{K}や{K}'はクラス集合でただひとつのクラスのみを有する場合は、{K}',{K}をKとおくことにより前述の説明が適用される。{K}'は最大で全ての対象クラスを含むことができる。変換用ベクトルΦ({K}')による変換を{K}'に属するクラスに対する識別にのみ用いるか、{K}'に属さないクラスに対する識別にも用いるかを選択することができる。前者は識別の精度が高めやすいが速度や記憶容量の要求の点で後者に劣る傾向がある。
【００４０】
本発明の第５の実施例の統合認識系は、前記第3の実施例において、第１識別手段14、と確からしさ検出手段15とを短絡除去したものである。特徴抽出手段13で抽出された特徴ベクトルX(p)がそのまま特徴変換手段16に入力される。
【００４１】
本発明の第６の実施例の統合認識系は、前記第4の実施例において、確からしさ検出手段25が全ての入力パターンを確からしさが低いと判断するように設定されたものである。
本実施例ではすべての入力パターンの特徴ベクトルが変換され第２識別手段28で変換特徴用識別辞書L({K};Φ(K))281と照合される。
【００４２】
本発明の第７の実施例の統合認識系は、前記第６の実施例において、入力特徴ベクトルの第１部分特徴ベクトルと第２部分特徴ベクトルとをそれぞれ抽出しておき、それらを結合した特徴ベクトルを用いるものである。第７の実施例を図５を参照して説明する。
文字入力手段51は文字入力手段11と同様に文字パターンの入力処理工程を実行する。前処理手段52は文字入力手段51からの文字パターンに前処理手段12がすると同様な前処理を施し特徴抽出手段53に出力する。特徴抽出手段53は特徴抽出手段13ですると同様に、前処理された文字パターンから特徴抽出をおこない、第１部分特徴ベクトルX1(p)を次元圧縮手段541へ第２部分特徴ベクトルX2(p)を特徴変換手段542へ送出する。
【００４３】
次元圧縮手段541は第１部分特徴ベクトルX1(p)を周知のカルフーネン・レーヴ展開等を用いて次元圧縮し圧縮特徴ベクトルZ1(p)を出力する。次元圧縮をおこなわない場合にも適用できるので、Z1(p)＝X1(p)なる値をとる場合もZ1(p)に許容することにする。
圧縮をおこなう場合、圧縮特徴ベクトルZ1(p)の第m次成分z1(p;m)は次式で与えられる。
z1(p;m)＝X1(p)ψ($;m)
ここで、ψ($;m)はm次の次元圧縮用ベクトルであり、本実施例の学習に用いる訓練パターン全体の共分散行列の固有ベクトルを用いることができる。その他の次元圧縮も可能であるが、周知のため説明は省略する。なお、ψ($;m)中の"$"記号は訓練パターン全体を用いることを示す。
【００４４】
特徴変換手段542は特徴変換手段16がおこなうと同様に変換用ベクトルΦ（ Z1;{K}）により第２部分特徴ベクトルX2(p)の特徴変換をおこなう。Φ（ Z1;{K}'）は Z1(p)を識別してクラス集合{K}'のライバルパターンに基づき決定された変換用ベクトルであることを示す。
. 特徴ベクトルX2(p)は変換用ベクトルΦ（ Z1;{K}'）で変換されて変換特徴ベクトル Ｙ1( p;Z1;{K}'）得られる。
変換特徴ベクトルＹ1( Z1;{K}'）の第m次特徴成分y1( p;Z1;{K}';m)は次式で与えられる。
y1( p;Z1;{K}';m)= X2(p)φ（ Z1;{K}';m)
ここで、φ（ Z1;{K}';m)はΦ（ Z1;{K}'）のm次の変換用ベクトルである。
【００４５】
特徴結合手段55は、 圧縮特徴ベクトルZ1(p)と変換特徴ベクトルＹ1( Z1;{K}'）の全ての成分、あるいはそれらベクトル各々から所定の成分のみを取り出して、取り出した成分を成分とする結合特徴ベクトルＣ（ Z1;Y1)を生成して識別手段５６に入力する。
識別手段５６は結合特徴用識別辞書561と照合用ベクトルである結合特徴ベクトルＣ（ Z1;Y1)を照合し第２識別手段17がおこなうと同様の識別工程を実行する。クラス決定手段57は識別手段５６の識別結果に基づき入力パターンのクラスを決定する。
本実施例では、識別辞書（結合特徴用識別辞書561）のサイズと識別処理時間の増加を抑えつつ認識精度を改善できる。結合特徴用識別辞書L({C})は訓練パターンの結合特徴ベクトルＣ（ Z1;Y1)からLDA法等で構成することができる。
実施例７において、第１部分特徴ベクトルと第２部分特徴ベクトルとは同一のものであってもよい。
【００４６】
図3は上述の実施例における変換用ベクトルΦ(K)の決定の手順を示す工程図である。まず、ステップ31で訓練（文字）パターンを用意する。ステップ32で訓練パターンは文字入力手段11、前処理手段12、特徴抽出手段13、第１識別手段14、検出手段15がおこなうと同等の処理工程を経験する。あるいは、訓練パターンは文字入力手段21、前処理手段22、特徴抽出手段23、第１識別手段24、検出手段25がおこなうと同等の処理工程を経験する。その結果入力訓練パターンｑの各クラスＫとの相異値が決定され、クラスの決定が行われる。
【００４７】
ステップ33ではその識別結果からライバルパターンの編集を行う。ライバルパターンは、クラス毎に求められ、２種類のパターンからなる。以下クラスKに着目して述べる。
第１の種類のパターンは、クラスKとは異なるクラスのパターンでクラスKに属すると誤認識されたパターンすなわちKへのエラーパターンpe(K)とである。
第２の種類のパターンは、Kとは異なるクラスのパターンでKに属すると誤認識されそうになったパターンすなわちKへのニアミスパターンpn(K)である。
【００４８】
エラーパターンpe(K)は、クラスKに属すると決定された訓練パターンで、その属するクラスがクラスKと異なる訓練パターンとして同定される。
ニアミスパターンpn(K)を次のようにして選択する。K以外のクラスに属する訓練パターンについて、着目クラスKとの相異値とそのパターンが帰属するクラスとの相異値との差をもとめる。次にその差が所定値より小さく、かつ好もしくはより小さい訓練パターンから一定個を選択する。
ライバルパターン全体はライバルパターン集合Λ(K)を構成する。ライバルパターン集合Λ(K)をエラーパターンpe(K)のみで構成し、ニアミスパターンpn(K)を含まないようしてもよい。経験的には、ニアミスパターンpn(K)を含めた方がよいことがわかっている。特にエラーパターンpe(K)が少ない場合にその効果が大きい。
【００４９】
次いで、ステップ34において、まず各クラスK毎に、平均特徴ベクトルRm(K）と各ライバルパターンの特徴ベクトルの差分特徴ベクトルを求める。ついで差分特徴ベクトルの自己相関行列を求める。
まず、着目クラスKのn番目のライバルパターンpr,nの特徴ベクトルをX(K;r;n)とし、差分特徴ベクトルをΞ(K;r;n)とすると、Ξ(K;r;n)＝X(K;r;n)ーRm(K)となり、差分特徴ベクトルΞ(K;r;n)の自己相関行列Q(K;r)は次式で表わされる。
Q(K;r)=Σn Ξ(K;r;n)Ξ(K;r;n)t/N(K;r)
ここでN(K;r)はライバルパターンの総数である。tは差分特徴ベクトルの転置を指示する。
【００５０】
ステップ35では、Q(K;r)の固有ベクトルφ（K;m)を求め変換用ベクトルとする。変換用ベクトルの数は最大で特徴ベクトルの次元数Mである。m次の特徴変換用ベクトルはm番目に大きい固有値に対する固有ベクトルである。
差分特徴ベクトルは各ライバルパターンと着目クラスとの違いを表わし、Q(K;r)の固有ベクトルは着目クラスとライバルパターンとの違いを直交展開したものと見なせる。従って、Q(K;r)の固有ベクトルには着目クラスとライバルパターンとの違いの主たる成分が的確に反映されている。このようなQ(K;r)の固有ベクトルへの入力特徴ベクトルの射影は着目クラスのパターン集合とライバルパターン集合とを分離するうえで非常に有効であることがわかった。
【００５１】
また、ステップ34においてQ(K;r)に加えて着目クラスに属する訓練パターンの共分散行列S(K)を求め、ステップ35において行列S(K)-1Q(K;r)の固有ベクトルを求め、変換用ベクトルとしてもよい。Q(K;r)の固有ベクトルは各ライバルパターンの差分特徴ベクトルを射影した時の自乗平均が最も大きくなる軸を表わす。これに対し、行列S(K)-1Q(K;r)の固有ベクトルは各ライバルパターンの差分特徴ベクトルを射影した時の自乗平均が大きく、かつ着目クラスのパターン集合を射影した時の広がりが相対的に小さくなる（射影したときの値の[自乗平均]----分散-----が相対的に小さい）軸を表わしており、これも着目クラスとライバルパターン集合とを分離するうえで非常に有効と考えられる。
変換用ベクトルとしては最も大きい固有値に対応する固有ベクトルから選択し、次第に小さい固有値に対応する固有ベクトルを選び、全体で一定個数を選択する。この個数は、大きい方の固有値から固有値の和をもとめ、その和の固有値の総和に対する比がある値、例えば0.9を超えるまでの固有値の個数とする。あるいはこの個数を実験的に決定することもできる。
【００５２】
上記においては各クラス毎に固有ベクトルを求め、それを特徴変換用の変換用ベクトルとしたが、いくつかのクラスからなるクラス集合{K}'の各クラスのライバルパターンの集合に基づいた変換用ベクトルを用い、より多くのクラスを考慮した特徴変換がおこなえる。
{K}'はエラーパターンの多い順とライバルパターンの多い順で前者を優先して選んだ上位のクラスを所望の数だけあつめて構成する。全クラスを集めて{K}'を構成してもよい。
クラス集合{K}'に属するクラスKに対するQ(K;r)=Σn Ξ(K;r;n)Ξ(K;r;n)t/N(K;r)からクラス集合{K}'に対する差分ベクトルの自己相関行列Q({K}';r)を次式により計算する。
Q({K}';r)＝(Σ{K}Σn Ξ(K;r;n)Ξ(K;r;n)t)/Σ{K}N(K;r)
=Σ{K} N(K;r)Q(K;r)/Σ{K}N(K;r)
但し、Σ{K}はそれ以下の項をクラス集合{K}'の成分クラス全体にわたって加えることを指示する。
【００５３】
Q({K};r)のm次の固有ベクトルとして変換用ベクトルφ({K}';m)が与えられる。
同様に、クラス集合{K}の平均共分散行列S({K})を求めS({K})-1 Q({K}';r)の固有ベクトルで変換用ベクトルφ({K}';m)を置き換えれば、上述の固有ベクトルφ（K;m)におけると同様の効果をうることができる。
前記第７の実施例では、第１部分特徴ベクトルを次元圧縮したが、変換用ベクトルΦ（ Z1;{K}）を求めるには、まず圧縮特徴ベクトルZ1(p)（圧縮されていない場合はX1(p)）を最適化された識別辞書を有する学習用識別手段により識別する。識別結果から、ライバルパターンの編集をおこない、前記変換用ベクトルφ({K}';m)の場合と同様にして変換用ベクトルΦ（ Z1;{K}'）を求める。
【００５４】
図4は変換特徴用識別辞書L({K};Φ(K))を構成する手順を示す図である。変換特徴用識別辞書L({K};Φ({K}'))を構成するには、Φ(K)をΦ({K}')で置き換えて同様のステップを踏めばよい。ステップ41〜43は図3のステップ31〜33と全く同様である。従って、ライバルパターン集合Λ(K)として、図1の14、図2の24での識別で誤認識した、または誤認識しそうになったパターンが得られる。ステップ44ではクラス毎に、着目するクラスのパターン集合とライバルパターン集合との間で着目クラス用に求められた変換特徴を変数として用いて判別分析を行う。これによりライバルパターン集合と着目するクラスのパターン集合を最適に分離する関数を見い出すことができる。この手順には文献３に開示されている方法を適用することができる。
【００５５】
ステップ45では、ステップ42で求められるクラス毎の相異値にステップ44で求められるクラス毎の判別関数の値を一定倍して加えた値により、全訓練パターンのクラスを決定する。ステップ46でライバルパターン集合に含まれてない新しいエラーパターンが発生しているか否かをチェックし、なければステップ48に移行する。また、新エラーパターンが発生していれば、ステップ47でライバルパターン集合に追加し、ステップ44から処理を繰り返す。ステップ48では判別関数をもとに識別辞書を作成する。
【００５６】
クラスＫの変換特徴ベクトルY(K;p)の平均ベクトルRm(Φ(K))の第m次成分をrm(Φ(K);m)としてクラスKに対する判別関数F(Y(K;p), Rm(Φ(K)))が次のように与えられる。
F(Y(K;p), Rm(Φ(K)))=Σma(m)( y(p;m)ーrm(Φ(K);m) )2+Σmb（m)(y(p;m)ーrm(
Φ(K));m) )+c(Φ(K))＝Σma(m)( y(p;m)ー（rm(Φ(K));m)ーb（m)／(2a(m))）)2ーΣmb（m)2／(４a(m)）+c(Φ(K))。
そして、変換特徴用識別辞書には、クラスK用識別辞書として、a(m)をｍ次成分とする重みベクトル、rm(Φ(K);m)ーb（m)／(2a(m))をm次成分とする参照特徴ベクトル、およびーΣmb（m)2／(４a(m)）+c(Φ(K))c(Φ(K))の値を持つ定数項が格納される。この手順により、42で用いられる識別関数と組み合わせた時の認識精度（正読率）が最高となるような判別関数を求めることができる。
前記実施例７で用いる識別辞書561は、まづ結合特徴ベクトルＣ（ Z1;Y1)にLDA法を用いて作成できる。
【００５７】
本発明者は本発明の実施例において、学習により始めのうちは認識精度（正読率）が増加するが、次第に学習の効果が小さくなり、かえって、学習により認識精度が低下することを見出した。この事を利用して、次のいずれかのときに学習を自動的に打ち切ることができる。
（１）認識精度が所定値に達したとき、学習を停止する。
（２）認識精度の向上が学習により上昇しなかったとき、学習を停止する。
上記（２）の方法を採用する場合は、学習前の識別辞書の内容や特徴変換用ベクトルを記憶装置に格納しておき、それらを使用する。そして本発明のパターン認識装置では、打ち切りを知らせるための表示を行い、到達認識率や学習での（辞書更新の）繰り返し数等をも表示することができる。
【００５８】
また、ライバルパターンの編集も自動的におこなうことができる。訓練パターンやテストパターンとしてはそのクラスと文字パターンがえられ、エラーパターンやニアミスパターンが摘出される。この時エラーパターンは前述のように自動的に決定される。ニアミスパターンについては最大個数を与えておけば自動的に決定される。エラーパターンの個数が与えられた個数より少ない場合のみ該与えられた個数に達するまでの個数のニアミスパターンを選定することも効果がある。
上記のように、計算機上に構築された統合認識システムに訓練パターンを（必要な場合はテストパターンも）与えて、自動的に学習が行われる。従って、本発明を実施する統合認識システムは、実施が容易であり、その用途に応じて用意された訓練パターンにより、容易にその種用途に適合できる。
【００５９】
図６は代表的な認識システムのブロック図である。学習センター61は内臓のあるいは外部に接続された資源の支援の元に、制御／訓練ソフトウェアを走らせて訓練パターン６１１から複数の変換用ベクトル613や識別辞書612を作製する。学習センター61において作製され、記憶媒体に格納され、記憶媒体が実際にパターン認識をおこなうＯＣＲ（光学文字認識装置）等の端末装置６２に送られる。あるいは直接通信回線６３により変換用ベクトルや識別辞書がひとつあるいは複数の端末装置６２に送信される。直接通信回線63を用いる場合は、端末装置からエラーパターンの提供を受けて変換用ベクトルや識別辞書の更新を効率的におこなうこともできる。学習センター61は図示しない表示装置に認識率等の表示なメッセージの表示をおこない、また図示しない入力装置からコマンドやデータの入力をおこなう。
【００６０】
端末装置62は内臓のあるいは外部に接続された資源の支援の元に、制御／認識ソフトウェア624を走らせてパターン入力手段６２１から入力したパターンを変換用ベクトル623で変換したり、識別辞書622と照合したりしてクラスの決定をおこなう。
これら変換用ベクトル613や識別辞書612の作製には計算機資源の多くを要するので上述の構成をとるのであるが、計算機の性能・価格と変換用ベクトル613や識別辞書612のサイズ等の兼ね合いで選択の自由度があり、いずれか一方の装置で訓練と認識の全てをおこなうようにすることもできる。
【００６１】
本発明の趣旨をさらに明確に理解するために、上述した実施例のひとつの拡張例である第８の実施例を図７を参照して説明する。
図７において、文字入力・前処理・特徴抽出手段７１は図１に示す入力手段１１、前処理手段１２と特徴抽出手段１３の機能を併せ持ち、入力パターンから特徴を抽出する。第１識別手段７２とその識別辞書７２１とは第１識別手段１４とその識別辞書１４１と同様の機能を発揮する。確からしさ検出手段７３は確からしさ検出手段１５と同様に第１識別手段１４の出力結果である相異値に基づき、確からしさが高い場合はクラス決定手段８０にクラス名を出力する。確からしさが低い場合は、その特徴ベクトルは特徴変換手段７４により特徴変換され、その結果の変換特徴ベクトルが第２識別手段７５に入力されて各クラスとの相異値が求められる。特徴変換手段７４と第２識別手段７５とは、動作上、特徴変換手段１６と第２識別手段１７とにそれぞれ等価である。第２識別手段７５は識別辞書１４１と等価な識別辞書７５１と変換特徴ベクトルを照合してクラス毎の相異値を求める。
【００６２】
確からしさ検出手段７６は確からしさ検出手段１５と同様に第２識別手段７５の出力結果である相異値に基づき、確からしさが高い場合はクラス決定手段８０にクラス名を出力する。確からしさが低い場合は、図２の特徴抽出手段２６と等価な特徴抽出手段７７に結果を通知する。特徴抽出手段７７は前記文字入力・前処理・特徴抽出手段７１が抽出した特徴とは異なる特徴を入力パターンから抽出し、特徴変換手段７８により特徴変換した後第２の変換特徴ベクトルとして第３識別手段７９に入力する。特徴変換手段７８と第３識別手段７９とはそれぞれ特徴変換手段２７と第２識別手段２８と同様の工程を第２の変換特徴ベクトルに経験させる。第３識別手段７９は識別辞書２８１と等価な識別辞書７９１と第２の変換特徴ベクトルを照合してクラス毎の相異値を求めクラス決定手段８０に送る。
クラス決定手段８０は第１、第２、第３識別手段から出力される相異値と確からしさ検出手段７３、７６からのクラス名通知のいずれか一つあるいは複数に基づき、入力パターンのクラスを決定する。
【００６３】
上記の特徴変換に用いる変換用ベクトルと識別辞書の作成は、実施例１乃至７に関連して説明された方法を用いることができる。例えば、特徴変換手段７４、７８で用いる変換用ベクトルを第１識別手段７２の出力に基づくライバルパターンから決定してもよい。識別辞書７２１、７５１、７９１はそれぞれが所属する第１、第２、第３識別手段７２、７５、７９出力段階までの（好もしくは）全訓練パターンに対する認識率が最大になるように決定するのがよい。変換用ベクトルの決定は、識別辞書の決定に比べより多様である。特徴変換手段７８で用いる変換用ベクトルを第２識別手段の出力に基づくライバルパターンから決定してもよい。
【００６４】
さらに、特徴抽出手段７７を短絡除去して文字入力・前処理・特徴抽出手段７１や特徴変換手段７４により出力される特徴ベクトルや変換特徴ベクトルを第３識別手段に入力する様にしてもよい。
図７には３段の特徴抽出手段（あるいは特徴変換手段）と識別手段の対（以下識別単位と称する）が従属接続されているが、さらに入力パターンを受け取る上流側にもクラス決定手段に近い下流側にも識別単位の段数を増加せしめることが可能である。またある単位の結果に基づいて複数の単位に入力パターンから導かれたパターンが入力されるようにもできる。
【００６５】
このようなシステムでは、識別単位には入力パターンそのものや入力パターンの特徴ベクトルから線形変換により導かれたにベクトルが入力され、識別結果（相異値やクラス名の指示）が出力されるようにし、最終的にクラス決定手段が識別単位の出力からクラスの決定をおこなえるようにしている。そのため、識別単位の変換用ベクトルは、その上流の識別単位の識別結果から得られるライバルパターンに基づいて決定し。その識別辞書は該識別単位までの訓練パターンの認識率が最大になるように（あるいは十分大きくなるように）決定している。
【００６６】
【発明の効果】
以上説明したように本発明によれば、2つの認識系を結合するときに、各クラスに対しそのクラスのパターン集合と一方の認識系でそのクラスに誤認識されたパターン集合とを有効に分離するベクトルを見い出し、他方の認識系は特徴ベクトルをそのベクトルに射影した値を特徴として用いると同時に、一方の認識系で誤認識されたパターンをできるだけ正しく認識できるように識別辞書を構成するので、2つの認識系を組み合わせた時の認識率を著しく向上させることができる。
そして、パターンの種類に応じて用意された訓練パターンにより、容易に、かつ自動的にその種類に適合できる。
【図面の簡単な説明】
【図１】本発明の第１の実施例を説明するための図である。
【図２】本発明の第2の実施例を説明するための図である。
【図３】変換用ベクトルを求める手順を示す図である。
【図４】変換特徴用識別辞書を作成する手順を示す図である。
【図５】本発明の第７の実施例を説明するための図である。
【図６】本発明の一実施例の装置のブロック図である。
【図７】本発明の第８の実施例を説明するための図である。
【符号の説明】
11 文字パターン入力手段
12 前処理手段
13 特徴抽出
14 識別手段
15 確からしさ検出手段
16 特徴変換手段
17 識別手段
18 クラス決定手段
21 文字パターン入力手段
22 前処理手段手段
23 特徴抽出手段
24 識別手段
25 確からしさ検出手段
26 特徴抽出手段
27 特徴変換手段
28 識別手段
29 クラス決定手段
61 学習センター
62 端末装置
Claims (9)
- 入力された文字パターンのクラスを決定するためのパターン認識方法であって、
入力された文字パターンの特徴ベクトルを決定することと、
第１の識別辞書に格納されたクラス毎の参照特徴ベクトルと前記特徴ベクトルとのクラス毎の第１の相異値を求め前記特徴ベクトルのクラスを認識することと、
前記第１の相異値にもとづく認識結果の確からしさを検出して確からしさが高いか低いかを判定することと、
クラス毎に所定の特徴変換用ベクトルを備え、前記確からしさが低いとの判定に応じて、該特徴変換用ベクトルで前記特徴ベクトルを変換してクラス毎の変換特徴ベクトルとを得ることと、
第２の識別辞書を備え該第２の識別辞書に格納されたクラス毎の参照変換特徴ベクトルと前記変換特徴ベクトルとのクラス毎の第２の相異値を求め前記特徴ベクトルのクラスを認識することと、
前記確からしさが高いとの判定に応じて、前記第１の相異値から前記入力文字パターンのクラスを決定し、前記確からしさが低いとの判定に応じて、前記第１、第２の相異値に基づいて、前記入力文字パターンのクラスを決定することと
を備え、
前記特徴変換用ベクトルは、訓練文字パターンに対する前記第１の相異値に基づく前記認識結果に含まれるライバルパターンを用いて生成されていることを特徴とするパターン認識方法。 - 前記参照変換特徴ベクトルは、前記訓練文字パターンに対する前記第１の相異値に基づく前記認識結果に含まれるライバルパターンを用いて生成されていることを特徴とする請求項１に記載のパターン認識方法。
- 前記変換用ベクトルは前記ライバルパターンとそれに対応するクラスで定まる該ライバルパターンの差分特徴ベクトルの自己相関行列の固有ベクトルであることを特徴とする請求項１あるいは請求項２に記載のパターン認識方法。
- 前記変換用ベクトルはさらに前記ライバルパターンが対応するクラスに属する訓練パターンの特徴ベクトルの共分散行列にも応じたベクトルであることを特徴とする請求項３に記載のパターン認識方法。
- 入力された文字パターンのクラスを決定するためのパターン認識装置であって、
入力された文字パターンの特徴ベクトルを決定する特徴抽出手段と、
第１の識別辞書を備え該第１の識別辞書に格納されたクラス毎の参照特徴ベクトルと前記特徴ベクトルとのクラス毎の第１の相異値を求め前記特徴ベクトルのクラスを認識するための第１の識別手段と、
前記第１の相異値をもとに認識結果の確からしさを検出して確からしさが高いか低いかを判定する確からしさ検出手段と、
クラス毎に所定の特徴変換用ベクトルを備え、前記確からしさが低いとの判定に応じて、該特徴変換用ベクトルで前記特徴ベクトルを変換してクラス毎の変換特徴ベクトルを得るための特徴変換手段と、
第２の識別辞書を備え該第２の識別辞書に格納されたクラス毎の参照変換特徴ベクトルと前記変換特徴ベクトルとのクラス毎の第２の相異値を求め前記特徴ベクトルのクラスを認識するための第２の識別手段と、
前記確からしさが高いとの判定に応じて、前記第１の相異値から前記入力文字パターンのクラスを決定し、前記確からしさが低いとの判定に応じて、前記第１、第２の相異値から、前記入力文字パターンのクラスを決定するためのクラス決定手段と
を備え、
前記特徴変換用ベクトルは、訓練文字パターンに対する前記第１の識別手段の認識結果に含まれるライバルパターンを用いて生成されていることを特徴とするパターン認識装置。 - 前記参照変換特徴ベクトルは、訓練文字パターンに対する前記第１の相異値に基づく前記認識結果に含まれるライバルパターンに基づいて生成されていることを特徴とする請求項５に記載のパターン認識装置。
- 前記変換用ベクトルは前記ライバルパターンとそれに対応するクラスで定まる該ライバルパターンの差分特徴ベクトルの自己相関行列の固有ベクトルであることを特徴とする請求項５あるいは請求項６に記載のパターン認識装置。
- 前記変換用ベクトルはさらに前記ライバルパターンが対応するクラスに属する訓練パターンの特徴ベクトルの共分散行列にも応じたベクトルであることを特徴とする請求項５あるいは請求項７に記載のパターン認識装置。
- それぞれの入力部と出力部と識別辞書と確からしさ検出手段とを有する複数の識別単位、並びに、クラス決定手段、を含むパターン認識装置において、
（ａ）第１の識別単位において、
入力パターンの特徴ベクトル及び第１の識別辞書を用いて入力パターンの認識を行い、
第１の確からしさ検出手段により認識結果の第１の確からしさを検出し、
前記第１の確からしさが所定の値より高いのに応じて、識別されたクラスを、前記クラス決定手段に送り、
前記第１の確からしさが所定の値より低いのに応じて、入力パターンの特徴ベクトルに関するベクトルが第２の識別単位へ入力されるようにし、
（ｂ）第２の識別単位において、
前記入力パターンの特徴ベクトルに関連するベクトルから特徴変換用ベクトルを用いて、変換特徴ベクトルを生成し、前記変換特徴ベクトル及び第２の識別辞書を用いて前記入力パターンの認識を行い、
第２の確からしさ検出手段により認識結果の第２の確からしさを検出し、
前記第２の確からしさが所定の値より高いのに応じて、識別されたクラスを、前記クラス決定手段に送り、
前記第２の確からしさが所定の値より低いのに応じて、前記前記入力パターンの特徴ベクトルに関連するベクトルが第３の識別単位へ入力できるようにし、
（ｃ）以下の識別単位において、前記（ｂ）と同様の処理を繰り返し、入力パターンの認識を行い、
（ｄ）前記クラス決定手段が少なくとも前記識別単位が識別したクラスに応じて前記入力文字パターンのクラスを決定するとともに、
前記特徴変換用ベクトルは、当該識別単位の前段の識別単位において訓練文字パターンを用いた識別結果により決定されるライバルパターンに基づいて生成されることを特徴とするパターン認識装置。
Priority Applications (8)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP03020297A JP4039708B2 (ja) | 1997-02-14 | 1997-02-14 | パターン認識方法およびパターン認識装置 |
| KR10-1999-7007381A KR100494261B1 (ko) | 1997-02-14 | 1998-02-13 | 패턴 인식 장치 및 방법 |
| CN98802531A CN1247615A (zh) | 1997-02-14 | 1998-02-13 | 模式识别方法和装置 |
| PCT/US1998/002660 WO1998036372A1 (en) | 1997-02-14 | 1998-02-13 | Method and apparatus for recognizing patterns |
| EP98906332A EP0960381B1 (en) | 1997-02-14 | 1998-02-13 | Method and apparatus for recognizing patterns |
| DE69805280T DE69805280T2 (de) | 1997-02-14 | 1998-02-13 | Gerät und verfahren zur mustererkennung. |
| US09/403,680 US6671404B1 (en) | 1997-02-14 | 1998-02-13 | Method and apparatus for recognizing patterns |
| TW087102143A TW399188B (en) | 1997-02-14 | 1998-04-16 | Method and apparatus for recognizing patterns |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP03020297A JP4039708B2 (ja) | 1997-02-14 | 1997-02-14 | パターン認識方法およびパターン認識装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH10240930A JPH10240930A (ja) | 1998-09-11 |
| JP4039708B2 true JP4039708B2 (ja) | 2008-01-30 |
Family
ID=12297165
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP03020297A Expired - Fee Related JP4039708B2 (ja) | 1997-02-14 | 1997-02-14 | パターン認識方法およびパターン認識装置 |
Country Status (7)
| Country | Link |
|---|---|
| EP (1) | EP0960381B1 (ja) |
| JP (1) | JP4039708B2 (ja) |
| KR (1) | KR100494261B1 (ja) |
| CN (1) | CN1247615A (ja) |
| DE (1) | DE69805280T2 (ja) |
| TW (1) | TW399188B (ja) |
| WO (1) | WO1998036372A1 (ja) |
Families Citing this family (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6505160B1 (en) | 1995-07-27 | 2003-01-07 | Digimarc Corporation | Connected audio and other media objects |
| RU2160467C1 (ru) * | 1999-07-08 | 2000-12-10 | Яхно Владимир Григорьевич | Способ адаптивного распознавания информационных образов и система для его осуществления |
| JP2002099916A (ja) | 2000-09-25 | 2002-04-05 | Olympus Optical Co Ltd | パターン分類方法及びその装置、コンピュータにより読み取り可能な記憶媒体 |
| JP2003099777A (ja) * | 2001-09-21 | 2003-04-04 | Victor Co Of Japan Ltd | 顔画像検索装置 |
| US7031530B2 (en) * | 2001-11-27 | 2006-04-18 | Lockheed Martin Corporation | Compound classifier for pattern recognition applications |
| CN100421127C (zh) * | 2002-07-16 | 2008-09-24 | 日本电气株式会社 | 模式特征提取方法及用于执行该方法的设备 |
| DE602004023228D1 (de) * | 2003-12-16 | 2009-10-29 | Canon Kk | Musteridentifikationsverfahren, vorrichtung und programm |
| EP1883040A1 (en) * | 2006-07-28 | 2008-01-30 | IEE International Electronics & Engineering S.A.R.L. | Pattern classification method |
| JP4820830B2 (ja) * | 2008-02-15 | 2011-11-24 | 株式会社東芝 | パターン認識装置、パターン認識プログラム及びパターン認識方法 |
| JP6080580B2 (ja) * | 2013-02-07 | 2017-02-15 | 三菱電機株式会社 | パターン認識装置 |
| JP5892275B2 (ja) * | 2015-02-26 | 2016-03-23 | カシオ計算機株式会社 | 多クラス識別器生成装置、データ識別装置、多クラス識別器生成方法、データ識別方法、及びプログラム |
| CN107533671B (zh) * | 2015-05-11 | 2021-02-23 | 株式会社东芝 | 模式识别装置、模式识别方法以及记录介质 |
| JP2018112839A (ja) | 2017-01-10 | 2018-07-19 | 富士通株式会社 | 画像処理プログラム、画像認識プログラム、画像処理装置、画像認識装置、画像認識方法、及び画像処理方法 |
| CN110325998B (zh) * | 2017-02-24 | 2024-03-12 | 瑞典爱立信有限公司 | 使用机器学习对实例进行分类 |
| JP2020533702A (ja) * | 2017-09-13 | 2020-11-19 | コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． | 対象者識別システム及び方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2690027B2 (ja) * | 1994-10-05 | 1997-12-10 | 株式会社エイ・ティ・アール音声翻訳通信研究所 | パターン認識方法及び装置 |
-
1997
- 1997-02-14 JP JP03020297A patent/JP4039708B2/ja not_active Expired - Fee Related
-
1998
- 1998-02-13 EP EP98906332A patent/EP0960381B1/en not_active Expired - Lifetime
- 1998-02-13 CN CN98802531A patent/CN1247615A/zh active Pending
- 1998-02-13 WO PCT/US1998/002660 patent/WO1998036372A1/en active IP Right Grant
- 1998-02-13 KR KR10-1999-7007381A patent/KR100494261B1/ko not_active IP Right Cessation
- 1998-02-13 DE DE69805280T patent/DE69805280T2/de not_active Expired - Lifetime
- 1998-04-16 TW TW087102143A patent/TW399188B/zh not_active IP Right Cessation
Also Published As
| Publication number | Publication date |
|---|---|
| JPH10240930A (ja) | 1998-09-11 |
| KR100494261B1 (ko) | 2005-06-13 |
| DE69805280D1 (de) | 2002-06-13 |
| WO1998036372A1 (en) | 1998-08-20 |
| KR20000071094A (ko) | 2000-11-25 |
| CN1247615A (zh) | 2000-03-15 |
| DE69805280T2 (de) | 2002-10-02 |
| EP0960381A1 (en) | 1999-12-01 |
| TW399188B (en) | 2000-07-21 |
| EP0960381B1 (en) | 2002-05-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4039708B2 (ja) | パターン認識方法およびパターン認識装置 | |
| US6671404B1 (en) | Method and apparatus for recognizing patterns | |
| US7362892B2 (en) | Self-optimizing classifier | |
| EP0355748A2 (en) | A pattern recognition apparatus and method for doing the same | |
| JP5207870B2 (ja) | 次元削減方法、パターン認識用辞書生成装置、及びパターン認識装置 | |
| JPH0634185B2 (ja) | 入力語認識装置 | |
| CN105184260A (zh) | 一种图像特征提取方法及行人检测方法及装置 | |
| KR19990010210A (ko) | 대용량 패턴 정합 장치 및 방법 | |
| US7233692B2 (en) | Method and computer program product for identifying output classes with multi-modal dispersion in feature space and incorporating multi-modal structure into a pattern recognition system | |
| Batista et al. | Improving performance of HMM-based off-line signature verification systems through a multi-hypothesis approach | |
| JP4802176B2 (ja) | パターン認識装置、パターン認識プログラム及びパターン認識方法 | |
| JP5777390B2 (ja) | 情報処理方法及び装置、パターン識別方法及び装置 | |
| US7181062B2 (en) | Modular classification architecture for a pattern recognition application | |
| US7313267B2 (en) | Automatic encoding of a complex system architecture in a pattern recognition classifier | |
| JP2007179413A (ja) | パターン認識装置、パターン認識方法、および特徴抽出パラメータの生成方法 | |
| JP3810469B2 (ja) | パターン認識方法 | |
| JP4852086B2 (ja) | パターン認識装置 | |
| JP4350228B2 (ja) | パターン認識方法および装置 | |
| JP3925011B2 (ja) | パターン認識装置及び認識方法 | |
| JP3019911B2 (ja) | パタン認識方法 | |
| JP2009037640A (ja) | パターン認識装置および特徴抽出パラメータの生成方法 | |
| JP2957097B2 (ja) | パタン認識用辞書作成方法およびパタン認識方法 | |
| JPH11134316A (ja) | パターン認識方法、パターン認識辞書作成方法及び装置 | |
| JPH05197813A (ja) | 特徴選択方法 | |
| JP2000122690A (ja) | パターン認識方法およびパターン認識装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20060907 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060921 |
|
| RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20060925 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20060926 |
|
| A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20061215 |
|
| A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20061220 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070322 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070925 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20071009 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20071030 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20071106 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101116 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| LAPS | Cancellation because of no payment of annual fees |