JP3706646B2 - Ocrの制御方法並びに分類方法及び装置 - Google Patents
Ocrの制御方法並びに分類方法及び装置 Download PDFInfo
- Publication number
- JP3706646B2 JP3706646B2 JP25662794A JP25662794A JP3706646B2 JP 3706646 B2 JP3706646 B2 JP 3706646B2 JP 25662794 A JP25662794 A JP 25662794A JP 25662794 A JP25662794 A JP 25662794A JP 3706646 B2 JP3706646 B2 JP 3706646B2
- Authority
- JP
- Japan
- Prior art keywords
- template
- correlation
- calculation
- cumulative
- vector
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
- G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
Description
【産業上の利用分野】
本発明は、入力記号のOCR(光学文字認識)の制御方法に関するものであり、特に、相関度計算を加速するために排除しきい値を用いる比較不等式関数に基づくOCRにおける分類方法に関する。
【0002】
【従来の技術】
従来、比較関数というものは、文字テンプレートビットマップのライブラリと比較して入力記号ビットマップを分類する目的で用いられてきた。各々の入力/テンプレート相関値のすべてのピクセル比較の総和値によって、最近似一致を示す相関値が得られた。
【0003】
【発明が解決しようとする課題】
しかしながら、従来の相関度計算手法においては、分類プロセスを加速する目的のために、低相関度テンプレートを排除するための比較不等式関数、及びその基礎となる“排除不等式原理”は用いられなかった。また、これら従来技術の手法においては、ピクセル強度ソートやピクセル識別ソートも用いられることはなかった。
【0004】
本発明は、上記の従来技術に鑑みてなされたものであり、OCRベクトルを加速分類するために比較不等式関数(CIF)に基づくOCR分類方法を用いたOCRの制御方法を提供することを目的とする。
【0005】
また、本発明の他の目的は、一つの非分類入力記号を前もって分類された文字テンプレートライブラリ中へ分類するために、加速相関度計算を用いたCIFに基づく分類方法を適用したOCRの制御方法を提供することにある。
【0006】
また、本発明の他の目的は、“排除不等式原理”を用いることにより相関度計算が加速されるような比較関数に基づく分類方法を適用したOCRの制御方法を提供することにある。
【0007】
また、本発明の他の目的は、排除しきい値を用いることにより加速されるようなCIFに基づく分類方法を用いたOCRの制御方法を提供することにある。
【0008】
また、本発明の他の目的は、排除チェックポイントを用いたCIFに基づく分類方法を適用したOCRの制御方法を提供することにある。
【0009】
また、本発明の他の目的は、強度ソートによって加速されるCIFに基づく分類方法を適用したOCRの制御方法を提供することにある。
【0010】
また、本発明の他の目的は、識別ソートによって加速されるCIFに基づく分類方法を適用したOCRの制御方法を提供することにある。
【0011】
また、本発明の他の目的は、相関度計算での即時使用のために、テンプレートデータが前もって計算され、格納されているCIFに基づく分類方法を適用したOCRの制御方法を提供することにある。
【0012】
【課題を解決するための手段】
及び
【作用】
上記の目的を達成する本発明のOCR制御方法の一つによれば、非分類入力記号Sを、前もって分類されたテンプレートライブラリ中へ分類するための加速方法が提供される。相関度計算は、入力記号Sと、テンプレートライブラリから検索されたテンプレートとの間で開始される。相関度の低いテンプレートは相関度計算の終了前に排除される。入力記号Sは、“q”個の要素(S=s1,s2,s3,…,sk,…,sj,…,sq)を持つ非分類文字を定義する入力ベクトルの形で提供される。T個のテンプレート(T1,T2,T3,…,Ti,…TT)から成るライブラリが提供され、入力ベクトルとの相関度計算のために検索される。各テンプレートは、“q”個の要素(Ti=t1,t2,t3,…,tk,…tj,…tq)を持つ、前もって分類された文字を定義するテンプレートベクトルの形になっており、入力ベクトルの“q”個の要素と対応する“q”対の要素が形成される。入力ベクトルをテンプレートベクトルと相関させるための比較不等式関数が提供され、この関数によって要素毎の相関度計算(s,ti)が定義される。入力ベクトルの各々の“q”対の対応する要素と各検索テンプレートベクトルに対する要素計算サイクルが比較不等式関数によって実行され、対応する要素の各対に対する要素項が得られる。また、比較不等式関数によって定義された相関度計算(s,ti)の前回までの計算サイクルで得られた要素項が合計され、“k”回の計算サイクル後の累積限界が得られるとともに、“q”回の計算サイクルの終了後には最終限界が得られる。
【0013】
累積限界値が排除しきい値と交差した場合、検索テンプレートを排除するための排除しきい値が決定される。尚、累積限界値が排除しきい値と交差しない場合は、検索テンプレートは排除されない。初期テンプレートは、テンプレートライブラリから検索される。要素毎の相関度計算(s,ti)が“q”対の対応する要素に対して開始され、累積限界が得られる。累積限界が排除しきい値と交差した場合、当該検索テンプレートは排除される。検索テンプレートが排除されてしまうまで、あるいは、最終限界値を得るために検索テンプレートに対する相関度計算(s,ti)が終了するまで、相関度計算と排除ステップが繰り返される。ここで、非排除検索テンプレートは保存される。そして、次のテンプレートが、テンプレートライブラリから検索される。上述の相関度計算と排除、保存、検索の工程は、すべてのテンプレートベクトルが入力ベクトルと相関されるまで繰り返される。非分類入力記号は、相関度計算によって得られた最終限界の数値に基づき、非排除の前もって分類されたテンプレートへ分類される。
【0014】
本発明の比較不等式関数(CIF)に基づく方法、及び、相関度加速計算のさらなる目的と効果は、以下に詳述される説明及び図面(一定の比率で図示されたものではない)から明白になるであろう。
【0015】
【実施例】
以下に添付の図面を参照して、本発明の好適な実施例を説明する。尚、添付の各図において、各参照番号の第1数字は、その要素が最も顕著に示される図を指す。また、第2数字は関連する構造上の要素を示し、最後の文字は、要素のサブ部分を示す。
【0016】
<OCRシステム>
図7は本実施例が適用されるOCR(光学文字認識)システムの概略制御構成を表すブロック図である。同図において、100はCPUであり、本システムの全体の制御を行う。101はROMであり、CPU100によって実行される制御プログラム(図2のフローチャートを実現するプログラム等)や、文字認識のための各種テンプレートデータを格納する。102はRAMであり、CPU100が各種の制御を実行する際の作業領域を提供する。また、スキャナ105より読み取られた非分類の入力記号のイメージデータ(ビットマップ)もこのRAM102に格納される。
【0017】
103はCRTであり、CPU100の制御により各種の表示を行う。104はキーボードや、ポインティングデバイス等で代表される入力装置である。105はスキャナであり、印刷されたテキスト等を光学的に読み取る。106はバスであり、上記の各構成を接続し、各構成間における相互のデータのやり取りを可能とする。以上のようは構成において、CPU100は、スキャナ105より読み取ったテキストのイメージデータから、当該テキストを認識し、文字コードを割り当てる。
【0018】
<排除不等式原理>
前もって分類された文字テンプレートライブラリ中へ非分類入力記号を加速分類する方法は、等式コーシー−シュワルツ関数(C−S)のような適切な比較関数(CF)から展開された不等式原理に基くものである。比較関数によって要素毎の相関度が得られ、その相関度で入力記号ベクトルの各要素がテンプレートベクトルの対応する要素と組合わされて相関係数が得られる。非分類入力記号ベクトル(S=s1,s2,s3,…,sk,…,sj,…,sq)と第i番目の前もって分類されたテンプレートベクトル(Ti=t1,t2,t3…tk…tj…tq)とを相関させるためのコーシー−シュワルツ等式相関度関数(記号,第i番目テンプレート)フォーマットは、次のとおりである。即ち、
CF(S,Ti)=(ドット積和)/(イメージ強度和)であり、
【数4】
となる。
【0019】
入力ベクトルは入力記号のメモリビットマップと等しく、各々個々の要素はビットマップ内の個々のピクセルのイメージ強度(2値あるいはグレースケールコントラストレベル)を表す。同様に、テンプレートベクトルの要素は文字テンプレートビットマップ中のピクセルを表す。
【0020】
ドット積和(式1の分子)は、第1要素対(s1,t1)から最後の要素対(sq,tq)までの対応する対の要素に対するすべての個々の(S,T1)要素計算の総和である。コーシー−シュワルツ関数の場合、この要素計算は単純な乗算である。コーシーシュワルツ関数の場合、イメージ強度和(式1の分母)には、各sj及びtj要素の二乗が含まれる。非分類入力文字Sは、それと最も高い相関度を持つテンプレート文字として分類される。
【0021】
大抵の場合、入力ベクトルとテンプレートベクトルは単位ノルムに対する(正規化された)プレスケーラーであってもよい。その場合式1は次のようになる。即ち、
正規化C−S相関度関数=
【数5】
となる。
【0022】
式2の分母のイメージ強度和は単位元に正規化される。分子のドット積和は、“s”と“t”要素が、現在正規化されている“s”と“t”値を指しているという点を除いて、不変のままである。
【0023】
入力ベクトルとテンプレートベクトルは、k番目の要素計算によって分離され、先端部ベクトル(LPV)と末端部ベクトル(TPV)になってもよい。
【0024】
1とqの間の任意のkに対して
入力記号ベクトル=[LPV , TPV]
S=[(s1, s2, … ,sk) , (sk+1,…,sq)]
テンプレート記号ベクトル=[LPVt , TPVt]
Ti=[(t1, t2 … tk) , (tk+1,…,tq)]
相関度計算が進行するにつれて、比較関数も同様に、第k項によって分離され、先端部相関度(LPC)及び末端部相関度(TPC)になる。即ち、
CF(S,Ti)=LPC+TPCであり、
【数6】
である。
【0025】
最初のk個の要素の先端部相関度(LPC)は累積されたものである。すなわち、LPC和は、各要素計算サイクル後にそれ以前の(k−1)個のLPC和を用いた現在の要素計算との総和によって更新される。残りのk+1以降の要素を含むTPCは計算されない。代りに、TPCは残余の強度和によって置き換えられる(式4、5及び6を参照)。
【0026】
式3の同等比較関数(CF)は、TPCを、記号残余強度和とテンプレート残余強度和とによって形成される合成残余強度和で置き換えることにより、以下の式4のコーシー−シュワルツ比較不等式関数(CIF)になる。記号残余強度(SRI)和とは、k回目の計算サイクルの後、TPCに残るイメージ強度データ(すなわち入力記号情報)である。テンプレート残余強度(TRI)和とはk回目の計算サイクルの後にTPCの中に残る、イメージ強度データ(すなわちテンプレート文字情報)である。即ち、CIFは、
CIF(S,Ti)≦LPC+(SRI)(TRI) であり、
【数7】
となる。
【0027】
合成残余強度和は、もし入力ベクトルのk+1番目以降の残りの要素がすべてテンプレートベクトルのk+1番目以降の残りの要素と完全に相関した場合、理論上生じるTPCの最大可能値を表す。
【0028】
式4の不等式が正規化された式2の等式に基くので、残余和SRIとTRIは必然的に単位元未満となる。相関度計算が進行するにつれて、LPCは、(SRI)(TRI)の減少より速い速度で増加する。“k”の値が“q”に接近するにつれて、SRI和とTRI和は双方とも0に接近し、不等式限界値をより狭いものにする。“k”が“q”に等しくなるとき、LPCは完全相関となる。残余和によって導入された不確定性は自己除去される。そして、式4の不等式は等式となる。
【0029】
式4の比較不等式関数(CIF)は、TRI和を単位元に設定することにより、より単純なSRI比較不等式関数(CIF)となる。即ち、
CIF(S,Ti)≦LPC+SRI となり、
【数8】
となる。
【0030】
式5のSRI不等式には式4の(SRI)(TRI)不等式より多くの不確定性がある。“k=q”のとき、LPCは完全相関となり、SRI和は0になる。式5の不等式は等式となる。
【0031】
式4の比較不等式関数(CIF)は、さらにSRI和を単位元に設定することにより、より単純なTRI比較不等式関数(CIF)になり得る。即ち、
CIF(S,Ti)≦LPC+TRI となり、
【数9】
となる。
【0032】
式6のTRI不等式にも式4の(SRI)(TRI)不等式より多くの不確定性がある。“k”が“q”に等しいとき、TRI和は0となり、式6の不等式は等式となる。
【0033】
<2値による実施例 − 非ソートの場合(図1A、1B、1C)>
入力記号“E”(図1Aのピクセルビットマップ参照)とテンプレート文字“T”(図1Bのピクセルビットマップ参照)との要素毎の相関度を相関度グラフ10(図1C参照)によって例示する。TRI不等式(式6)の先端部相関和LPC12(ボールドのプロット)は累積され、E/T相関度計算(s,ti)が終了へ向けて進行するにつれて、順次単調に増加する。TRI和14(メディアムプロット)は順次単調に減少し、比較不等式関数CIF16(ライトプロット)はより遅い速度で減少する。TRI14が0になるにつれて、最終限界値になる(CIF=LPC)上限累積限界値はCIF16によって定義される。
【0034】
図1の例では、要素の数と計算サイクルを最小限にするために、単純2値による低分解能(10行×7列)の記号“E”とテンプレート“T”のピクセル行列を示す。不等式排他原理は、より高い分解能の2値(及びグレースケール)の実施例に適用可能であるが、それらの実施例は、言うまでもなく、より複雑で、ずっとより多くのデータ及びコンピュータメモリを必要とする。記号“E”とテンプレート“T”の対応するピクセル対は、図1Aと図1Bのビットマップの数01〜70によって示されている。目標ピクセルの数だけが、ビットマップ(及び相関度グラフ10のプロットに)に含まれている。ほとんどの目標ピクセルは、背景ピクセル(通常明色あるいは白)と前景ピクセル(通常暗色あるいは黒色)との間の強度遷移を示す。通常、背景ピクセルがピクセル母集団の多数派を形成し、前景ピクセルは通常は少数派を形成する。図1Aの“E”及び図1Bの“T”のボールドのアウトラインによって示されるように、前景ピクセルによって、入力記号とテンプレートのストロークが形成される。
【0035】
図1の低分解能実施例において、ピクセルは、第1ピクセル(番号01、左上部隅)から最終ピクセル(番号70、右下部隅)まで通常のラスタ走査の順序に並んでいるものと考える。そして、これらのピクセルはビットマップメモリから連続してアクセスされる。明/暗2値(あるいはグレースケール強度)に基いてピクセルをソートした結果については、グレースケール実施例の部で論じる。ダブルソートについてはダブルテンプレートソートの部で論じる。
【0036】
図1Cの水平軸は時間軸に相当し、各計算サイクル(k番目)後、次の対応するピクセル対(k+1番目)へ最後(k=q=70)まで右方向へ増加する。TRI=0でかつLPC=CIFである場合、相関度計算(s,t1)は、k=60で有効に終了する。残りのピクセル61〜70は背景ピクセルであり、コーシー−シュワルツTRI不等式の実施例(式6)に対する有用なデータは含まれていない。図1Cの垂直軸は、0.00と1.00の間でLPC12、TRI14及びCIF16の正規化された値を示す。TRI14は1.00(k=0)からスタートし、トップマージン(列1及び2)からピクセル番号16までは0の状態であるが、ここで、テンプレート“T”が明るい背景から暗い前景へ変化する。LPC12は0(k=0)からスタートしピクセル番号16まで来るが、ここで、テンプレート“T”と記号“E”の両方が、明るい背景から暗い前景に変化する。上記の2値の実施例によって、入力ピクセル(明または暗)とテンプレートピクセル(明または暗)との間の4つのクラスの不一致状況(下記2値不一致テーブル中に示す)が示される。
【0037】
<2値不一致テーブル>
[クラスA(不在不一致) 入力明 − テンプレート明]
(ビットマップ周囲の明るいマージン領域、行1、2、10、列1と7、及びいくつかの内部ピクセルを含む)
▲1▼LPC12は“s”と“t”が0であるためクラスAの不在不一致ピクセルでは変化しない.
▲2▼“t”が0なのでTRI14は変化しない.
▲3▼LPC12とTRI14がどちらも変化しないので、CIF16は変化しない。
【0038】
[クラスB(明白な不一致) 入力明 − テンプレート暗]
(ピクセル25、32、46及び53を含む)
▲1▼“s”が0なので、LPC12はクラスBの明白な不一致ピクセルでは変化しない.
▲2▼“t”が0でないのでTRI14は減少する.
▲3▼TRI14のみが変化するのでCIF16は減少する。
【0039】
[クラスC(潜在的不一致) 入力暗 − テンプレート明]
(ピクセル23,30,37,38,44,51,58,59,61、及び
62を含む)
▲1▼“t”が0なので、LPC12はクラスCの転換不一致ピクセルでは変化 しない.
▲2▼“t”が0なので、TRI14は変化しない.
▲3▼LPC12とTRI14がどちらも変化しないので、CIF16は変化しない。
【0040】
[クラスD(不在の不一致) 入力暗 − テンプレート暗]
(ピクセル16,17,18,19,20,39、及び60を含む)
▲1▼“s”と“t”が共に0でないので、LPC12は増加する.
▲2▼“t”が0でないので、TRI14は減少する.
▲3▼LPC12とTRI14がオフセット変化をするのでCIF16は変化しない。
【0041】
TRI14は、“t”が0でない(クラスB及びD)場合、相関度計算中に11回減少する。“s”と“t”がどちらも0でない(クラスD)場合、LPC12は、7回しか増加しない。CIF16は、4回(クラスB)減少する。TRI14は“t”の平方和で、“s”のゼロ状態によって影響されない。一方、“s”あるいは“t”のいずれかが0である場合、LPC12は“s”דt”積の和である。
【0042】
LPC12、TRI14及びCIF16の各ステップ変化のサイズは図1Cに図示された通りではない。図1Cでは、例示上の単純性を図るために、ステップサイズは等しく一定であるものとして示されている。このステップサイズは実際にはビットマップ中の強度情報(前景ピクセル数)の関数である。LPC12プロットの正規化されたステップサイズは、“E”入力記号ビットマップ中の前景ピクセル数の平方根より大きく、相関度計算の間ずっと一定である。TRI14のプロットの正規化されたステップサイズは、“T”テンプレートビットマップ(k=0)中の前景ピクセルに対する、TRI和(k=jの)中に残る前景ピクセルの比率の平方根より大きい。相関度計算が終了へ向けて進行するにつれて、TRIステップは漸進的に減少する。CIFプロットのステップサイズは、LPCとTRIステップサイズの変動差をたどる。
【0043】
<総括的方法 − フローチャート(図2)>
前もって分類したテンプレートライブラリ中へ非分類入力記号Sを加速分類する総括的な方法を図2に示す。相関度計算(s,ti)は、テンプレートライブラリから検索された入力記号Sとテンプレートの間で開始される。相関度の低いテンプレートは、相関度計算の終了前に排除され、相関度計算が加速される。本OCR法の基本ステップを図2に示し、以下に説明する。
【0044】
“q”個の要素(g=s1,s2,s3,sk,…sj,…,sq)を持つ非分類文字を定義する入力ベクトルの形式の入力記号Sを与える(ステップS1)。
【0045】
この入力ベクトルとの相関度を求めるために検索するTテンプレート(T1,T2,T3,...Ti...TT)のライブラリを与える。各テンプレートは、入力ベクトルの“q”個の要素と対応するq対の要素を形成する“q”個の要素(T1=t1,t2,t3,...tk,...tj,...tq)を持つ、前もって分類された文字定義を行なうテンプレートベクトルの形式になっている(ステップS1)。
【0046】
要素毎の相関度計算(s,ti)を定義し、“q”対の対応する要素のそれぞれに対して要素計算サイクルを実行する入力ベクトルをテンプレートベクトルと相関させるための比較不等式関数CIFを与える。相関度計算(s,ti)によって各対の対応する要素に対応する要素項が得られる。また、相関度計算(s,ti)によって、相関度計算(s,ti)の前回までの計算サイクルからの要素項の和が得られ、“k”回の計算サイクルの後に累積限界値が出され、q回の計算サイクルの終了後に最終限界値が得られる(ステップS1)。
【0047】
累積限界値が排除しきい値と交差した場合、検索テンプレートを排除するための排除しきい値が決定され、累積限界値が排除しきい値と交差ない場合には、検索テンプレートは排除されない(後述の<排除しきい値>を参照のこと)。相関度計算を終了するために必要となる計算サイクルを比較するために、0.78という排除しきい値(E)が、非ソート実施例(図1)、強度ソート実施例(図3)、ダブルソート実施例(図4)に示されている(ステップS2)。
【0048】
相関度計算(s,ti)が進行するにつれて、その間の要素計算サイクルの間に、排除しきい値と累積限界値を比較するための、一連の連続排除チェックポイント(後述の<排除チェックポイント>を参照)を決定する(ステップS2)。
【0049】
テンプレートライブラリから最初のテンプレートを検索する。テンプレートベクトルは、ライブラリからメモリ順序、あるいは、任意の順序で得てもよいし、あるいは履歴上の推論あるいは他の選択基準に基いて選択してもよい(ステップS3)。
【0050】
累積限界値を得るために“q”対の対応する要素に対して要素毎の相関度計算(s,ti)を開始する(ステップS4)。
【0051】
累積限界値が排除しきい値と交差した場合検索テンプレートを排除する。排除されたテンプレートに対して、全ての相関度計算を最後まで行なう必要はない(ステップS5、ステップS6)。
【0052】
検索テンプレートが排除されてしまうか、最終限界値を得るために検索テンプレートに対する相関度計算(s,ti)が終了してしまうまで、相関度計算と排除ステップを繰り返す(ステップS3〜ステップS7)。
【0053】
ステップS7でYESの場合、ステップS8において非排除検索テンプレートを保存する。
【0054】
最後のテンプレートでなければステップS9からステップS3へ戻り、テンプレートライブラリから次のテンプレートを検索する。
【0055】
すべてのテンプレートベクトルが入力ベクトルと相関してしまうまで、相関度計算、排除、保存、検索ステップを繰り返す。
【0056】
相関度計算によって得られた最終限界値の数値に基づいて、非排除の前もって分類されたテンプレートと比較して非分類入力記号を分類する(ステップS10)。
【0057】
<排除しきい値>
累積限界値がしきい値と交差した場合、検索テンプレートを排除するために、排除しきい値(ETH)を用いてもよい。(図1、3、4に示すような)0.78というETHは、相関度計算の初期に低相関度テンプレートを排除するのに適切な値である。累積限界値が排除しきい値と交差しない場合検索テンプレートは排除されない。排除しきい値は、テンプレートベクトルを用いて入力ベクトルを分類するプロセス中に初期排除しきい値を各々の非排除テンプレートの最終限界値と置き換えることによって累積し、決定した値であってもよい。単一の非排除テンプレートを除いてすべての検索テンプレートは、典型的な分類プロセスの中で排除される。累積限界値は、単一の非排除テンプレートの最終限界値へ向かって進行する。各相関度計算(s,ti)に対する初期累積限界値は、高いものであってもよく、最終限界値へ向かって下へ進む上限値を形成するものであってもよい。図1の上限値実施例では、累積限界値は初期値1.00であり、相関度計算が終了するか、累積限界値が0.78のETHと交差するまで減少する。
【0058】
各非排除のテンプレートに対する初期排除しきい値は0であってもよく、少し(あるいは大いに)増えてもよい。初期テンプレートに対する相関度計算(s,ti)によって第1限定排除しきい値が得られる。この排除しきい値が増加するにつれて、減少していく累積限界値は、少ない計算サイクルで排除しきい値と一般に交差することになる。すなわち、排除しきい値が高ければ高いほど相関度計算の加速が大きくなる。初期排除しきい値は限定値であってもよいが、その場合の相関度計算では、加速化は実質的には初期計算サイクルに由来するものとなる。初期排除しきい値は0より大きい値で、許容できる最小最終限界値より小さい(若しくは等しい)ものであればよい。最大の加速化が得られるのは、許容できる最小最終限界値と等しい排除しきい値の場合である。この高い排除しきい値の場合は、初期値0の排除しきい値の場合のような上昇時間を必要としない。そして、迅速に、まさにその最初の計算サイクルから絶望的に低い相関度テンプレートが排除される。
【0059】
<排除チェックポイント(図5及び6)>
図5を参照すると、減少していく累積限界値を排除しきい値と比較するための各相関度計算中に時々排除チェックポイント58を設けて、累積限界値が排除しきい値と交差したかどうかを判別してもよい。排除しきい値が交差した場合、そのテンプレートベクトルに対する相関度計算は終了し、次のテンプレートベクトルが検索される。この排除ステップ(図2を参照)には、以下に説明する追加ステップを含めてもよい。
【0060】
累積限界値を排除しきい値と比較することにより、第1排除チェックポイントで検索テンプレートの排除をチェックする。
【0061】
累積限界値が排除しきい値と交差した場合、要素毎の相関度計算(s,ti)を終了することにより、検索テンプレートを排除する。
【0062】
累積限界値が排除しきい値と交差していない場合、次の排除チェックポイントへ移して要素毎の相関度計算(s,ti)を継続する。
【0063】
図5に示すように、相関度プロットの水平軸に沿って等しく一定の間隔で配置された線形の一連の排除チェックポイントを設けて、排除チェックポイント間の計算サイクルの各間隔内の要素計算サイクル数を固定してもよい。数回の計算サイクルを持つ短い間隔中に頻繁なチェックを含めて、排除しきい値を越える累積限界値のオーバシュートを最小限にすることができる。各間隔における計算サイクルの固定数は1でもよい(この場合、チェックステップはすべての計算サイクルの後に行なわれることになるが)。かくして、オーバシュートが妨げられる。ビットマップ行列が大きい(高分解能)場合、現在の累積限界値をチェックするには、次の累積限界値を計算するより少ないコンピュータ時間が必要となる。
【0064】
要素毎の相関度計算(s,ti)が非線形の一連の排除チェックポイントの提供を開始するつれて、各間隔における計算サイクル数が可変なもの、あるいは適応性を持つものであってもよい。図6に示されるような、適応性を持つ1つの実施例においては、要素毎の相関度計算(s,ti)が進行するにつれて、排除チェックポイント68間の各間隔における計算サイクル数がより少なくなってもよい。相関度計算は、相関度計算の開始時でのチェックは頻繁ではないが、累積限界値が排除しきい値に接近するにつれてより頻繁にチェックが行なわれる。
【0065】
排除チェックポイント間隔は、相関度計算で実行される計算サイクル数の代りに、TRI和あるいは累積限界値の変化に基づくものであってもよい。排除チェックポイント間の要素計算サイクルの各間隔中の累積限界値の変化を固定し、線形の一連の、相関度プロットの垂直の軸に沿って等しく一定の間隔で配置された排除チェックポイントを設けてもよい。二者択一的に言えば、各間隔中の累積限界値の変化に適応性を持たせ、LPC和がCIF和に接近するにつれて、例えば、漸進的により小さくなるようにしててもよい。
【0066】
<テンプレート強度ソート(図3)>
図1を参照すると、入力ベクトルビットマップとテンプレートベクトルビットマップ内の連続する位置順に、入力ベクトルとテンプレートベクトルのq対の対応する要素をソートせずに、相関度計算(s,ti)によって相関させてもよい。二者択一的に言えば、図3に示されるように、q対の対応する要素をソート順にソートし、相関させて相関度計算を加速させてもよい。ベクトル要素には強度を示す数値があり、ビットマップ中のピクセルを相関度計算より以前の数値によってソートし、相関順序を決定してもよい。このソートは、入力ベクトルあるいはテンプレートベクトルのいずれかの中の、背景ピクセル(大多数母集団)もしくは前景ピクセル(少数母集団)によるものであってもよい。数値ソートは正順(最低強度を最初にする)でも、逆順(最高強度を最初にする)でもよい。2値ビットマップでは単純2レベルソートが要求される。グレースケールビットマップはすべての(あるいはいくつかの)強度レベルによってソートしてもよいし、ソートのために2値にディジタル化してもよい。
【0067】
図3Cに、前景ソートされた低分解能2値テンプレートのE/T相関度プロット30を例示する。テンプレート“T”のストロークには、相関度計算の最初の11の要素を形成する11の前景ピクセルが含まれている(図3B参照)。先端部相関LPC32が比較不等式関数CIF36に等しくなり、相関度計算が終了するTRI=0(k=11)になるまで、TRI34は各計算サイクルを減少させる。0.78の排除しきい値(E)に対して、テンプレートベクトルは、図3Cに示されるように第9計算サイクルで排除される。CIF16が0.78でETHと交差するまでに、図1のc/T非ソート相関では46回の計算サイクルを必要とした。
【0068】
図3に示されるようなテンプレート前景ピクセルによるソートにはいくつかの利点がある。ビットマップは通常背景ピクセルより少ない前景ピクセルを有し、従って終了までに必要とされる計算サイクルが少なくて済む。ストロークピクセル(暗画素)のみをソートし相関させればよい。周辺の背景マージン(白)を形成する広いエリアは前景ソートに適用できず、無視してもよい。さらに、各テンプレートの強度ソート順は、テンプレートビットマップの検索のためにメモリ中に予め決めて格納しておいてもよい。
【0069】
<ダブルテンプレートソート(図4)>
図4に示されるように、入力ベクトルとテンプレートベクトル中のq対の対応する要素をダブルソートしてもよい。すなわち、最初は強度によって、次いで識別力によってソートするというようにしてもよい。文字ビットマップ中の各ピクセルは、別のビットマップ中の対応するピクセルと明白な不一致(不一致テーブル−クラスBを参照)を示す一定の確率を有する。ストロークピクセルを含む確率の低い、ビットマップの中央背景エリア内のピクセルが、最も高い識別力を有し、ダブルソート実施例において最初に相関が行なわれる。
【0070】
図4Cに、前景ピクセルがダブルソートされた低分解能2値テンプレートのE/T相関度プロット40を例示する。テンプレート“T”には、第1ソート(図3に示されるのと同じ強度ソート)によって決定されるように、相関度計算(図4B参照)の最初の11の要素を形成する11のピクセルが含まれている。単一強度ソートの場合と同じく、TRI44は各計算サイクルを減少させ、TRI=0(k=11)になる。この時、LPC42は比較不等式関数CIF46と等しくなり相関度計算は終了する。しかしながら、CIF46と先端部相関LPC42は、ダブルソート実施例においては異なる行動をとる。すなわち、CIF46は、最初の4回の計算サイクル毎に減少し、LPC42は0.00のままである。
【0071】
“T”テンプレートのピクセル01、02、03及び04は共通ストロークパスから外れている。入力記号“E”を含むほとんどの文字には、ビットマップの中心の背景ピクセルの列を形成する中央の垂直ストロークがない。さらに、これらの4つのテンプレートピクセルの高さは、ほとんどの水平ストロークの高さからわずかに外れている。“T”テンプレートのすべてのピクセルの中でこれら4つのピクセルが、任意の呈示入力記号のピクセルと明白な不一致(クラスB)を起こす可能性がもっとも高い。
【0072】
0.78のETHに対して、テンプレートベクトルは、図4Cに示されるように第3計算サイクルで排除される。CIF36が0.78でETHと交差するまでに、図3のE/T単一ソート相関では9回の計算サイクルを必要とした。図1の非ソート相関では46回の計算サイクルを必要とした。
【0073】
<グレースケール実施例(図5及び6)>
排除しきい値、強度ソート及びダブルソート加速手法は、高分解能グレースケールビットマップにも適用可能である。図5は、グレースケール(256レベル)を持つ高分解能ビットマップ(60行×50列)に基づくE/T相関度グラフ50を示す。3つのプロット、LPC52、TRI54及びCIP56は、“E”と“T”の低強度トップマージンの故に初期相関度計算中水平である。TRI54は0まで下り、約q=2450で相関度計算は終了する。最後の400ピクセルかそこらはテンプレートボトムマージンである。しかしながら、E=0.50に対して、約q=1000で“T”テンプレートは排除される。
【0074】
図6に、グラフ50と同じビットマップベースでの、相関度計算を加速するための強度ソートを持つE/T相関度グラフ60を示す。3つのプロット、LPC62、TRI64、CIP66はより高速に進行する。TRI54は0まで下り、約q=1000で相関度計算は終了する。しかしながら、E=0.50に対して、約q=600で“T”テンプレートは排除される。
【0075】
OCRベクトル分類を加速するための比較不等式関数(CIF)に基づく方法を提供することにより本発明の目的が達成されることは当業者に明白であろう。加速された相関度計算を用いて、前もって分類された文字テンプレートライブラリ中へ非分類入力記号を分類することが可能になる。“排除不等式原理”を用いることによって、相関度計算を加速してもよい。さらに、排除しきい値及び/または排除チェックポイントを用いてもよい。強度ソート及びキー要素の識別に基づくダブルソートによって一層の加速を行なってもよい。
【0076】
本明細書に示された構造と実施例において、本発明の概念から外れることなく多様な変更を行なってもよいことは明らかである。さらに、様々な図中で示された実施例の特徴を他の図の実施例に関して用いてもよい。
【0077】
したがって、本発明の範囲は、以下に述べるクレームに述べられている事項及びそれに相当する法律事項によって決定されるものである。
【0078】
尚、本発明は、複数の機器から構成されるシステムに適用しても1つの機器からなる装置に適用しても良い。また、本発明はシステム或いは装置に本発明により規定される処理を実行させるプログラムを供給することによって達成される場合にも適用できることはいうまでもない。
【0079】
【発明の効果】
以上説明したように、本発明によれば、OCRベクトルを加速分類するために比較不等式関数(CIF)に基づくOCR分類方法を用いたOCRの制御方法が提供され、OCR分類の処理速度が向上する。
【0080】
【図面の簡単な説明】
【図1A】 入力記号“E”の2値低分解能ビットマップダイアグラムを表す図である。
【図1B】 テンプレート文字“T”の2値低分解能ビットマップダイアグラムを表す図である。
【図1C】 テンプレート“T”のビットマップと相関する入力“E”のビットマップのLPC和とTRI和及びCIFを示す、ビットマップの要素毎のプロットを表す図である。
【図2】CIFに基づく加速方法の手順を表すフローチャートである。
【図3A】E/T相関度計算を終了するために必要とされる計算サイクルを少なくするための強度ソートの例を説明する図である。
【図3B】E/T相関度計算を終了するために必要とされる計算サイクルを少なくするための強度ソートの例を説明する図である。
【図3C】E/T相関度計算を終了するために必要とされる計算サイクルを少なくするための強度ソートの例を説明する図である。
【図4A】ダブルソートの例を説明する図である。
【図4B】ダブルソートの例を説明する図である。
【図4C】ダブルソートの例を説明する図である。
【図5】LPC和、TRI和及びCIF和を示す、非ソート高分解能グレースケールビットマップに基づくE/T相関度グラフを表す図である。
【図6】相関度計算を加速するための強度ソートに対する図5のE/T相関度グラフを表す図である。
【図7】本実施例を適用するOCRシステムの概略制御構成を表すブロック図である。
【符号の説明】
100 CPU
101 ROM
102 RAM
103 CRT
104 入力装置
105 スキャナ
106 バス
Claims (20)
- 非分類の入力記号Sと、前もって分類されたテンプレートライブラリに含まれる複数のテンプレートそれぞれとの間における相関度計算の結果に基づいて、前記入力記号Sを分類する方法であって、
入力記号Sは“q”個の要素(S=s1,s2,s3,…,sk,…,sj,…,sq)を有する入力ベクトルの形で提供され、
前記テンプレートライブラリに含まれる複数のテンプレート(T1,T2,T3,…,Ti,…TT)それぞれは、前記入力ベクトルの“q”個の要素に対応する“q”個の要素(Ti=t1,t2,t3,…,tk,…tj,…tq)を有するテンプレートベクトルの形で提供されるものであり、
前記テンプレートライブラリから、相関度計算対象となるテンプレートを検索する検索ステップと、
前記検索ステップで当該相関度計算対象とされたテンプレートのテンプレートベクトルと前記入力ベクトルとの対応する要素間の相関度を順次計算して累積していく相関度計算過程において、k回目の要素間の相関度を計算した際に、「当該k回目まで相関度計算を行った際に累積済みの相関度」と「相関度計算をまだ行っていない残りの要素に関しての相関度を累積した場合に取り得る最大理論値」とを合計した累積限界値を求める累積限界値算出ステップと、
前記算出した累積限界値が所定の排除しきい値より小さくなったかどうかに基づいて、当該相関度計算対象となっているテンプレートを排除するか否か判定する排除判定ステップと、
前記排除判定ステップにおいて排除しないと判定された場合、当該テンプレートの相関度計算を継続する継続ステップと、
前記継続ステップで相関度計算が継続されて全ての要素間の相関度計算が終わったと判断した場合、当該相関度計算対象のテンプレートの情報と、全ての要素間の相関度を累積して得られた最終累積済み相関度とを保存する保存ステップと、
前記排除判定ステップにおいて排除すると判定された場合、もしくは、前記保存ステップで当該相関度計算対象のテンプレートの相関度計算が終了して保存された場合に、前記検索ステップで次のテンプレートを相関度計算対象として検索し、前記累積限界値算出ステップと前記排除判定ステップと前記継続ステップと前記保存ステップとによる処理を実行するように制御する制御ステップと、
前記排除判定ステップで排除されなかったテンプレートそれぞれの最終累積済み相関度に基づいて、前記入力記号Sを対応するテンプレートに分類する分類ステップとを備えることを特徴とするOCRの制御方法。 - 前記排除しきい値は累積値であり、前記テンプレートベクトルを用いた前記入力ベクトルの分類プロセス中に各非排除テンプレートの最終累積済み相関度に基づいて前記初期排除しきい値を置き換えることにより、次のテンプレートに対する該排除しきい値が決定されることを特徴とする請求項1に記載のOCRの制御方法。
- 一つの非排除テンプレート以外のテンプレート全てが前記分類プロセス中に排除されることを特徴とする請求項2に記載のOCRの制御方法。
- 前記「相関度計算をまだ行っていない残りの要素に関しての相関度を累積した場合に取り得る最大理論値」は、「相関度計算をまだ行っていない入力ベクトルの要素の強度」と「相関度計算をまだ行っていないテンプレートベクトルの要素の強度」との積であることを特徴とする請求項1に記載のOCRの制御方法。
- 前記「相関度計算をまだ行っていない残りの要素に関しての相関度を累積した場合に取り得る最大理論値」は、「相関度計算をまだ行っていない入力ベクトルの要素の強度」であることを特徴とする請求項1に記載のOCRの制御方法。
- 前記「相関度計算をまだ行っていない残りの要素に関しての相関度を累積した場合に取り得る最大理論値」は、「相関度計算をまだ行っていないテンプレートベクトルの要素の強度」であることを特徴とする請求項1に記載のOCRの制御方法。
- 前記kが複数の設定値のいずれかになるたびに、前記累積限界値算出ステップで前記累積限界値を求めることを特徴とする請求項1に記載のOCRの制御方法。
- 前記複数の設定値は前記累積限界値の変化に基づいて変更されることを特徴とする請求項10に記載のOCRの制御方法。
- 前記入力ベクトルとテンプレートベクトルにおける対応するq対の要素がソートされず、当該入力ベクトルとテンプレートベクトル内の連続する位置順に要素間の相関度計算が行われることを特徴とする請求項1に記載のOCRの制御方法。
- 前記入力ベクトルとテンプレートベクトルにおける対応するq対の要素が所定の順にソートされ、当該ソート順に要素間の相関度計算が行われることを特徴とする請求項1に記載のOCRの制御方法。
- 入力ベクトルとテンプレートベクトルのベクトル要素が数値を有し、前記ソートが数値によるものであることを特徴とする請求項13に記載のOCRの制御方法。
- 前記数値は2進数値であることを特徴とする請求項14に記載のOCRの制御方法。
- 該数値がグレースケールレベルに基づく数値であることを特徴とする請求項14に記載のOCRの制御方法。
- 前記入力ベクトルを形成する要素の数値によって、q対の対応する要素がソートされることを特徴とする請求項14に記載のOCRの制御方法。
- 前記テンプレートベクトルを形成する要素の数値によって、q対の対応する要素がソートされることを特徴とする請求項14に記載のOCRの制御方法。
- 入力記号が複数のテンプレートのいずれに属するか分類する分類方法であって、
前記入力記号の各要素と前記テンプレートの対応する各要素とから、順次、各要素の要素計算を行なって、該要素計算の結果を累積して累積相関度を求めていく相関度累積工程と、
前記相関度累積工程でk回目の要素計算を行った際の累積相関度と、当該(k+1)回目の要素計算以降に計算される相関度を累積した場合の最大理論値とを合計した累積限界値を求める累積限界値算出工程と、
前記累積限界値算出工程で算出された累積限界値が所定の排除しきい値より小さくなったと判断した場合、当該テンプレートに関する累積相関度計算を中止して当該テンプレートを分類対象から排除し、次のテンプレートに関しての累積相関度の計算を開始するよう制御する制御工程と、
前記制御工程により分類対象から排除されなかったテンプレートについての累積相関度に基づいて、前記入力記号が属するテンプレートを分類する分類工程とを備えることを特徴とする分類方法。 - 入力記号が複数のテンプレートのいずれに属するか分類する分類装置であって、
前記入力記号の各要素と前記テンプレートの対応する各要素とから、順次、各要素の要素計算を行なって、該要素計算の結果を累積して累積相関度を求めていく相関度累積手段と、
前記相関度累積手段でk回目の要素計算を行った際の累積相関度と、当該(k+1)回目の要素計算以降に計算される相関度を累積した場合の最大理論値とを合計した累積限界 値を求める累積限界値算出手段と、
前記累積限界値算出手段で算出された累積限界値が所定の排除しきい値より小さくなったと判断した場合、当該テンプレートに関する累積相関度計算を中止して当該テンプレートを分類対象から排除し、次のテンプレートに関しての累積相関度の計算を開始するよう制御する制御手段と、
前記制御手段により分類対象から排除されなかったテンプレートについての累積相関度に基づいて、前記入力記号が属するテンプレートを分類する分類手段とを備えることを特徴とする分類装置。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US14031093A | 1993-10-22 | 1993-10-22 | |
US08/140310 | 1993-10-22 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH07152866A JPH07152866A (ja) | 1995-06-16 |
JP3706646B2 true JP3706646B2 (ja) | 2005-10-12 |
Family
ID=22490670
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP25662794A Expired - Fee Related JP3706646B2 (ja) | 1993-10-22 | 1994-10-21 | Ocrの制御方法並びに分類方法及び装置 |
Country Status (4)
Country | Link |
---|---|
US (1) | US5559898A (ja) |
EP (1) | EP0650136B1 (ja) |
JP (1) | JP3706646B2 (ja) |
DE (1) | DE69426481D1 (ja) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6023530A (en) * | 1995-11-13 | 2000-02-08 | Applied Intelligent Systems, Inc. | Vector correlation system for automatically locating patterns in an image |
US6473524B1 (en) | 1999-04-14 | 2002-10-29 | Videk, Inc. | Optical object recognition method and system |
US9652690B2 (en) * | 2015-02-27 | 2017-05-16 | Lexmark International, Inc. | Automatically capturing and cropping image of check from video sequence for banking or other computing application |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
NL274810A (ja) * | 1961-02-16 | |||
JPS57147781A (en) * | 1981-03-06 | 1982-09-11 | Nec Corp | Pattern matching device |
US4672678A (en) * | 1984-06-25 | 1987-06-09 | Fujitsu Limited | Pattern recognition apparatus |
JPH0642268B2 (ja) * | 1986-10-31 | 1994-06-01 | 日本電気株式会社 | 文字認識装置 |
DE68928703T2 (de) * | 1988-07-20 | 1998-12-10 | Fujitsu Ltd | Buchstabenerkennungsvorrichtung |
JPH0782544B2 (ja) * | 1989-03-24 | 1995-09-06 | インターナショナル・ビジネス・マシーンズ・コーポレーション | マルチテンプレートを用いるdpマツチング方法及び装置 |
EP0419259B1 (en) * | 1989-09-20 | 1996-04-24 | Nec Corporation | Accurate recognition of input patterns |
US5077805A (en) * | 1990-05-07 | 1991-12-31 | Eastman Kodak Company | Hybrid feature-based and template matching optical character recognition system |
-
1994
- 1994-10-21 DE DE69426481T patent/DE69426481D1/de not_active Expired - Lifetime
- 1994-10-21 JP JP25662794A patent/JP3706646B2/ja not_active Expired - Fee Related
- 1994-10-21 EP EP94307758A patent/EP0650136B1/en not_active Expired - Lifetime
-
1995
- 1995-06-05 US US08/461,924 patent/US5559898A/en not_active Expired - Lifetime
Also Published As
Publication number | Publication date |
---|---|
DE69426481D1 (de) | 2001-02-01 |
EP0650136A3 (en) | 1995-12-13 |
EP0650136B1 (en) | 2000-12-27 |
EP0650136A2 (en) | 1995-04-26 |
JPH07152866A (ja) | 1995-06-16 |
US5559898A (en) | 1996-09-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US7031530B2 (en) | Compound classifier for pattern recognition applications | |
US6081620A (en) | System and method for pattern recognition | |
WO1990015386A1 (en) | Document identification by characteristics matching | |
US5621818A (en) | Document recognition apparatus | |
EP0432937B1 (en) | Hand-written character recognition apparatus | |
KR100242458B1 (ko) | 패턴인식 방법 및 장치와 패턴인식 사전을 작성하는 방법 | |
JP3706646B2 (ja) | Ocrの制御方法並びに分類方法及び装置 | |
JP2986074B2 (ja) | 近傍点検出方法及びパターン認識装置 | |
US5671293A (en) | Pattern recognizing method and apparatus | |
Singh et al. | Machine learning & image processing for hand written digits and alphabets recognition from document image through MATLAB simulation | |
JPH07160822A (ja) | パターン認識方法 | |
EP0632404B1 (en) | Pattern recognition by generating and using zonal features and anti-features | |
EP1010128B1 (en) | Method for performing character recognition on a pixel matrix | |
JP3925011B2 (ja) | パターン認識装置及び認識方法 | |
JP2766205B2 (ja) | 文字認識装置 | |
KR900007727B1 (ko) | 문자 인식 장치 | |
JP3333671B2 (ja) | パタン認識装置と方法及びパタン認識用距離比較方法 | |
JPH0562021A (ja) | 標準フオント及び利用者指定カスタムフオントを認識するための光学式文字認識(ocr)システム | |
JP2851865B2 (ja) | 文字認識装置 | |
JP3657565B2 (ja) | 画像パターン同定・認識方法 | |
JP3301467B2 (ja) | 画像パターン同定・認識方法 | |
Chhabra | Neural network based text recognition for engineering drawing conversion | |
JPS6089290A (ja) | パタ−ン認識方法 | |
JP3238776B2 (ja) | 大分類辞書作成方法及び文字認識装置 | |
JPH0620098A (ja) | 文字認識装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050207 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050408 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20050722 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20050801 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080805 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090805 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090805 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100805 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110805 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120805 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120805 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130805 Year of fee payment: 8 |
|
LAPS | Cancellation because of no payment of annual fees |