JP3771369B2 - Character recognition device and character recognition processing method - Google Patents

Character recognition device and character recognition processing method Download PDF

Info

Publication number
JP3771369B2
JP3771369B2 JP04315398A JP4315398A JP3771369B2 JP 3771369 B2 JP3771369 B2 JP 3771369B2 JP 04315398 A JP04315398 A JP 04315398A JP 4315398 A JP4315398 A JP 4315398A JP 3771369 B2 JP3771369 B2 JP 3771369B2
Authority
JP
Japan
Prior art keywords
recognition
dictionary
character
recognition means
accuracy
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP04315398A
Other languages
Japanese (ja)
Other versions
JPH11242718A (en
Inventor
学平 劉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Co Ltd
Original Assignee
Ricoh Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ricoh Co Ltd filed Critical Ricoh Co Ltd
Priority to JP04315398A priority Critical patent/JP3771369B2/en
Publication of JPH11242718A publication Critical patent/JPH11242718A/en
Application granted granted Critical
Publication of JP3771369B2 publication Critical patent/JP3771369B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Character Discrimination (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は文字認識装置に係り、特に、複数の認識手段を備え、2つ以上の認識手段の統合使用が可能な文字認識装置及び文字認識処理方法に関する。
【0002】
【従来の技術】
単一の認識手段を用いる方式の文字認識装置と、複数の認識手段を統合使用する方式の文字認識装置が知られている。後者の文字認識装置は、異なった認識手法の認識手段によって同じ文字イメージに対し文字認識を行い、それぞれの認識結果を統合して最終的な認識結果を得るもので、これに関する公知文献は、特開平7−271899号公報や、H.Yamagataほか,”A Handwritten Character Recognition of Multiple Classifiers”,IEICE TRANS,INF.& SYST.,Vol.E79−D,No.5,MAY 1996、L.Xuほか,”Methods of Combining Multiple Classifiers and Their Applications to Handwriting Recognition”,IEEE TRANSACTIONS ON SYSTEMS,MAN,AND CYBERNETICS,VOL.22,NO.3,MAY/JUNE 1992など数多い。
【0003】
【発明が解決しようとする課題】
従来、個々の認識手段毎に固有の辞書が用意されており、複数の認識手段が統合使用される場合も各認識手段はその固有の辞書を使用する。すなわち、辞書に関しては、認識手段の単独使用の場合と同じ扱いである。
【0004】
2つ以上の認識手段を統合使用するのは、ある認識手段の弱点を他の認識手段で補完することにより、全体として認識精度を向上させることを意図している。本発明の目的は、この弱点補完をより効果的に達成できるよう辞書に関連した構成を改良した文字認識装置及び文字認識処理方法を提供することにある。本発明のもう一つの目的は、認識環境の変化(例えば、認識速度と認識精度の重要度の変化、認識の対象となる文字種やフォント種類の変化など)に柔軟に対応できる文字認識装置及び文字認識処理方法を提供することにある。
【0005】
【課題を解決するための手段】
前記目的を達成するために、請求項1記載の発明による文字認識装置は、複数の認識手段と、該複数の認識手段のそれぞれに固有の複数の単独用辞書と、該複数の認識手段のそれぞれの他の認識手段との統合使用のための複数の統合用辞書と、認識速度の優先又は認識精度の優先を指示するための手段と、認識速度の優先が指示された場合に1つの認識手段の単独使用により文字認識を行わせる手段と、認識精度の優先が指示された場合に2つ以上の認識手段の統合使用により文字認識を行わせる手段と、1つの認識手段の単独使用による文字認識の場合に当該認識手段が用いる辞書として当該認識手段に固有の単独用辞書を選択する手段と、2つ以上の認識手段の統合使用による文字認識の場合に、当該2つ以上の認識手段中の1つの主たる認識手段が用いる辞書として当該主たる認識手段に固有の単独用辞書を選択し、他の従たる各認識手段が用いる辞書として、当該従たる各認識手段の当該主たる認識手段との統合使用のための統合用辞書を選択する手段とを具備する構成とされる。
【0006】
請求項2記載の発明による文字認識装置は、請求項1記載の発明による文字認識装置の構成に加え、認識対象を指示するための手段を有し、指示された認識対象に応じて単独使用又は統合使用される認識手段が選択される構成とされる。
【0007】
請求項3記載の発明による文字認識装置は、請求項1記載の発明による文字認識装置の構成に加え、認識対象を指示するための手段と、認識精度レベルを指示するための手段とを有し、認識速度の優先が指示された場合において、認識精度レベルが指示されたときには指示された認識対象に対し指示された認識精度レベルを満足する認識手段中で最も認識速度の速い認識手段が選択され、認識精度レベルが指示されないときには指示された認識 対象に対し認識精度が最も高い認識手段が選択される構成とされる。
【0008】
請求項4記載の発明による文字認識装置は、請求項1記載の発明による文字認識装置の構成に加え、認識対象を指示するための手段と、認識速度レベルを指示するための手段とを有し、認識精度の優先が指示された場合において、認識速度レベルが指示されたときには指示された認識対象に対し指示された認識速度レベルを満足する認識手段中で最も認識精度が高い認識手段の組合せが選択され、認識速度レベルがされないときには指示された認識対象に対し認識精度が最も高い認識手段の組合せが選択される構成とされる。
【0009】
請求項5記載の発明による文字認識装置は、請求項1記載の発明による文字認識装置の構成に加え、統合使用される2つ以上の認識手段中の主たる認識手段によって誤認され又は認識されないデータサンプルを収集する手段と、収集されたデータサンプルを利用して、それら2つ以上の認識手段中の従たる認識手段の、主たる認識手段との統合使用のための辞書を作成又は更新する手段とを具備する構成とされる。
【0010】
請求項6記載の発明による文字認識処理方法は、複数の認識手段と、該複数の認識手段のそれぞれに固有の複数の単独用辞書と、該複数の認識手段のそれぞれの他の認識手段との統合使用のための複数の統合用辞書とを具備する文字認識装置における文字認識書の方法であって、認識速度の優先又は認識精度の優先の指示を判定するステップと、認識速度の優先が指示された場合に1つの認識手段の単独使用により文字認識を行わせるステップと、認識精度の優先が指示された場合に2つ以上の認識手段の統合使用により文字認識を行わせるステップと、1つの認識手段の単独使用による文字認識の場合に当該認識手段が用いる辞書として当該認識手段に固有の単独用辞書を選択するステップと、2つ以上の認識手段の統合使用による文字認識の場合に、当該2つ以上の認識手段中の1つの主たる認識手段が用いる辞書として当該主たる認識手段に固有の単独用辞書を選択し、他の従たる各認識手段が用いる辞書として、当該従たる各認識手段の当該主たる認識手段との統合使用のための統合用辞書を選択するステップとを有する構成とされる。
【0011】
【発明の実施の形態】
本発明による文字認識装置の一実施例は、図1に示すように、複数の認識手段1と、複数の単独用辞書2と、複数の統合用辞書3と、認識制御手段4と、システム制御手段5と、統合用辞書作成・更新手段6と、収集データ記憶手段7と、指示入力手段9と、構成制御データ記憶手段8とから構成される。
【0012】
単独用辞書2はそれぞれ特定の認識手段に固有の辞書である。統合用辞書3は、統合使用の場合に主たる認識手段と従たる認識手段の組合せに対応して用意される辞書であり、後述のように統合使用の場合に従たる認識手段の辞書として用いられる。主たる認識手段に弱点、すなわち認識できなかったり誤認する文字イメージデータがある場合に、従たる認識手段で、そのような文字イメージデータを認識可能にするための統合用辞書3を用意することにより、主たる認識手段の弱点を効果的に補完し、全体として認識精度を向上できる。
【0013】
各認識手段1の基本辞書たる単独用辞書2は、各認識手段の総合的な認識性能を高めるように作成されるため、上に述べたような誤認又は認識拒否される文字イメージの特徴量を単独用辞書に追加登録することによって弱点を補おうとすると、逆に誤認文字が増加するなど総合的な認識性能が悪化する恐れがある。このような問題は、統合用辞書2で弱点を補完する方法であれば回避できる。
【0014】
統合用辞書作成・更新手段6は、認識制御手段4と連係して、上に述べたような主たる認識手段の弱点を補完するための統合用辞書3の作成又は更新を行う手段であり、その詳細は後述する。収集データ記憶手段7は、統合用辞書の作成又は更新のために収集されるデータサンプルの一時記憶のための手段である。
【0015】
指示入力手段9は、文字認識装置のユーザが、認識動作又は統合用辞書作成/更新動作の指示、認識精度優先又は認識速度優先の指示、要求する最低限の認識精度レベル又は認識速度レベルの指示、認識対象(数字、英字、ひらがな、カタカナ、記号、漢字などの1文字種、又は2以上の文字種の混合、フォント種類など)の指示、統合用辞書作成/更新動作時の主たる認識手段と従たる認識手段の指定などをシステム制御手段5に入力するための手段である。
【0016】
システム制御手段5は、指示入力手段9から入力される指示に応じて、認識手段や辞書の選択、認識手段の単独使用と統合使用の切り替えなどの制御を行う手段であるが、その詳細は後述する。構成制御データ記憶手段8は、システム制御手段5によって参照される構成制御データを記憶するものである。この構成制御データの内容については文字認識装置の動作に関連して後述する。
【0017】
認識制御手段4は、システム制御手段5による制御に従って、1つの認識手段と1つの単独用辞書、又は2つ(一般的には2つ以上)の認識手段と1つの単独用辞書及び1つ(一般的には1つ以上)の統合用辞書を使用して、外部より文字イメージデータを取り込んで文字認識を行わせ、1つの認識手段の単独使用の時にはその認識結果をそのまま外部に出力させ、2つ(一般的には2つ以上)の認識手段の統合使用の時にはそれぞれの認識手段の認識結果を統合し、統合結果を外部に出力させる手段である。
【0018】
この文字認識装置は、専用のハードウェアによって実現されるか、あるいは、例えば図2に示すようなCPU100、メモリ101、キーボードなどの入力装置103、イメージスキャナなどの外部の入力装置との接続のための入力インターフェイス104、プリンタやディスプレイなどの出力装置105、ハードディスク装置などの補助記憶装置102などをバス107で接続した一般的構成のコンピュータ上で実現される。
【0019】
図1と図2の対応関係は次の通りである。複数の認識手段1、認識制御手段4、システム制御手段5、統合用辞書作成・更新手段6は、それぞれメモリ101上の対応したプログラムP1,P4,P5,P6によって実現される。単独用辞書2、統合用辞書3はデータファイル又はテーブルデータなどとしてメモリ101上に置かれる。収集データ記憶手段7及び構成制御データ記憶手段8として、メモリ101(又は補助記憶装置7)の特定の領域が割り当てられる。指示入力手段9としては入力装置103が用いられる。文字イメージデータは、例えば入力インターフェイス104を介して外部から入力され、あるいは補助記憶装置102から入力される。メモリ101には、図示しないが、コンピュータの動作に必要なオペレーティングシステムなども当然にロードされる。
【0020】
図3乃至図5はシステム制御手段5の制御フローを示すフローチャートである。このフローチャートと図1(必要に応じて図2)を参照して、この文字認識装置の動作を説明する。
【0021】
システム制御手段5において、まずユーザによる指示が認識動作であるか統合用辞書作成又は更新動作であるかを調べる(ステップS1)。認識動作が指示された場合、ユーザによる指示が認識精度優先であるか認識速度優先であるかを判定する(ステップS2)。
【0022】
認識速度優先が指示された場合について以下説明する。認識速度優先の場合、1つの認識手段1の単独使用となる。システム制御手段5は、使用する認識手段の選択のために、ユーザにより認識精度レベルが指示されているか調べる(ステップS3)。認識精度レベルが指示されていないときには、構成制御データ記憶手段8に記憶されている構成制御データに基づいて、ユーザに指示された認識対象に対し最も高い認識精度を期待できる認識手段1を1つ選定する(ステップS4)。認識精度レベルが指示されているときには、構成制御データに基づいて、ユーザに指示された認識対象に対し、指示された認識精度レベル以上の認識精度を期待できる最も認識速度の速い認識手段1を選定する(ステップS5)。次に構成制御データに基づいて、選定した認識手段1に固有の単独用辞書2を選定し(ステップS6)、認識制御手段4に対し、1つの認識手段の単独使用による文字認識処理の開始を指示する(ステップS7)。
【0023】
構成制御データには、認識手段の単独使用の場合において各認識手段の各認識対象に対し期待できる認識精度と認識速度、及び、単独用辞書2との対応関係を示す情報が含まれる。認識精度と認識速度の情報は、各認識対象のテストデータを用いた認識実験に基づいて予め設定される。
【0024】
1つの認識手段の単独使用による文字認識処理を起動された認識制御手段4においては、システム制御手段5により選定された認識手段1と選定された単独用辞書2を使用して、外部より取り込んだ文字イメージデータの文字認識処理を行わせ、認識結果を外部に出力する。
【0025】
次に、ユーザにより認識精度優先が指示された場合について説明する。認識精度優先の場合、2つ(一般的には2つ以上)の認識手段の統合使用となる。システム制御手段5において、統合使用する認識手段の選択のために、まずユーザにより認識速度レベルが指示されたか調べる(ステップS8)。認識速度レベルが指示されていないときには、構成制御データに基づいて、ユーザにより指示された認識対象に対し最も高い認識精度を期待できる2つの認識手段1の組合せを選定する(ステップS9)。認識速度レベルが指示されているときには、構成制御データに基づいて、ユーザに指示された認識対象に対し、指示された認識速度レベル以上の認識速度を期待できる最も認識精度の高い2つの認識手段1の組合せを選定する(ステップS10)。次に、構成制御データを参照し、選択した2つの認識手段1の中で、指定された認識対象に対し単独使用時の認識精度の高い方の認識手段(一般的には2つ以上の認識手段中で最も認識精度の高いもの)を主たる認識手段とし、その固有の単独用辞書2を選定する(ステップS11)。次に、構成制御データを参照し、他方の認識手段(一般的には主たる認識手段を除いた残りの各認識手段)を従たる認識手段として、その主たる認識手段との統合使用のための統合用辞書3を選定する(ステップS12)。そして、2つの認識手段の統合使用による文字認識処理の開始を認識制御手段4に指示する(ステップS13)。
【0026】
構成制御データには、2つの認識手段の統合使用の場合において、各認識手段の組合せ毎に、主たる認識手段と従たる認識手段の区別、各認識対象に対し期待できる認識精度と認識速度、及び、使用する統合用辞書との対応関係を示す情報が含まれる。これも予めテストデータを用いた認識実験に基づいて設定される。
【0027】
統合使用による文字認識処理を起動された認識制御手段4においては、選定された主たる認識手段1と選定された単独用辞書2を用いて文字イメージデータの文字認識を行わせ、また従たる認識手段1と選定された統合用辞書3を用いて同じ文字イメージデータの文字認識を行わせ、それぞれの認識結果の統合処理を行い、統合後の認識結果を外部に出力する。なお、統合処理は公知の様々な手法によってもよいし、本出願人の特願平9−195444号の明細書に述べられているような、入力文字イメージと辞書との距離をも利用する、より高性能な統合手法によってもよい。
【0028】
次に、ユーザにより統合用辞書の作成又は更新動作が指示された場合について説明する。この場合、システム制御手段5においては、ユーザにより指定された主たる認識手段1とその固有の単独用辞書2を選定し(ステップS14)、認識制御手段4に対し、その主たる認識手段1の単独使用によるテスト用文字イメージデータの認識処理の開始を指示し、また統合用辞書作成・更新手段6に対しデータサンプル収集の開始を指示する(ステップS15)。認識制御手段4は、ユーザより指定された認識対象のためのテスト用文字イメージデータを取り込み(例えば図2の補助記憶装置102から読み込み)、指定された主たる認識手段1と選定された単独用辞書2を用い文字認識を行わせる。統合用辞書作成・更新手段6は、文字認識結果が誤認又は認識拒否(認識できない)となった文字イメージデータを認識制御手段4を経由して収集データ記憶手段7に記憶させる。このようにして、主たる認識手段が誤認したか認識できなかった文字イメージデータのサンプルが収集される。
【0029】
これが終了すると、システム制御手段5は、ユーザにより指定された従たる認識手段と、その主たる認識手段との統合使用のための統合用辞書3を選定し(ステップS16)、統合用辞書の作成又は更新動作を統合用辞書作成・更新手段6に指示する(ステップS17)。統合用辞書作成・更新手段6は、収集データ記憶手段7に収集された文字イメージデータに基づいて該当する統合用辞書3の作成又は更新を行う。
【0030】
統合用辞書の作成を指示された場合、統合用辞書作成・更新手段6は、例えば、収集された文字イメージデータを順に認識制御手段4に入力し、認識制御手段4において、指定された従たる認識手段1により文字イメージデータの特徴量を抽出させ、この特徴量を用いて選定された統合用辞書3を作成する。統合用辞書の更新を指示された場合、統合用辞書作成・更新手段6は、例えば、収集された文字イメージデータを順に認識制御手段4に入力し、認識制御手段4において、指定された従たる認識手段と選定された統合用辞書3を使用して文字認識を行わせ、認識結果が誤認又は認識拒否となった文字イメージデータに関して抽出された特徴量をそのまま、あるいは統計処理してから当該統合用辞書3に追加登録し、あるいは、その特徴量によって当該統合用辞書3の内容を修正する。かくして、ユーザ側で、必要に応じて、主たる認識手段の弱点を効果的に補強するための統合用辞書の作成又は更新を行うことができる。
【0031】
なお、単独用辞書2の作成又は更新のための手段を文字認識装置に追加してもよい。
【0032】
【発明の効果】
本発明の文字認識装置及び文字認識処理方法によれば、次のような効果が得られる。
(1) 選択された2つ以上の認識手段を統合使用する場合に、その主たる認識手段の弱点、すなわち認識できなかったり誤認する文字イメージデータを従たる認識手段で認識可能にするための辞書を、その従たる認識手段の主たる認識手段との統合使用のための辞書(統合用辞書)として用意することにより、主たる認識手段の総合的な認識性能を悪化させる恐れのある、主たる認識手段の固有辞書(単独用辞書)の改変を行うことなく、主たる認識手段の弱点を効果的に補完し、全体として認識精度を向上させることができる。また、従たる認識手段に用いられる辞書は固定されるものではなく、従たる認識手段と主たる認識手段との組合せに対応して選ばれるため、認識環境に応じて認識手段を様々な組合せで統合使用しても、主たる認識手段の弱点を効果的に補完し高い認識精度を達成できる。
【0033】
(2) ユーザ側で、認識環境の変化などに応じて、必要な認識手段の組合せの統合使用において主たる認識手段の弱点を効果的に補完するための辞書の作成又は更新を行い、認識精度を向上させ、あるいは高い認識精度を維持することができる。
【0034】
(3) 認識速度が重要な場合には認識速度優先を指示することにより、1つの認識手段の単独使用による高速の文字認識を行わせることができ、また、認識精度が重要な場合には認識精度優先を指示することにより、2つ以上の認識手段の統合使用による高精度の文字認識を行わせることができる。
【0035】
(4) 処理したい認識対象を指示することにより、その認識対象に最適な認識手段の単独使用又は統合使用による文字認識を行わせることができるため、様々な認識対象に対し性能を最大限に発揮させることができる。
【0036】
(5) 認識速度が最重要の場合には、処理したい認識対象に対し可能な最高速の文字認識を行わせることができ、認識速度も重要であるが、あるレベル以上の認識精度を必要とする場合には、処理したい認識対象に対し、そのレベル以上の認識精度を維持可能な最も高速の文字認識を行わせることができる。
【0037】
(6) 認識精度が最重要の場合には、処理したい認識対象に対し可能な最高精度の文字認識を行わせることができ、認識精度も重要であるが、あるレベル以上の認識速度を必要とする場合には、処理したい認識対象に対し、そのレベル以上の認識速度を維持可能な最も高精度の文字認識を行わせることができる。
【図面の簡単な説明】
【図1】 本発明の文字認識装置の一実施例を示すブロック図である。
【図2】 図1の文字認識装置をコンピュータ上でソフトウエアによって実現する例を示すブロック図である。
【図3】 システム制御手段の制御フローの一部を示すフローチャートである。
【図4】 システム制御手段の制御フローの一部を示すフローチャートである。
【図5】 システム制御手段の制御フローの一部を示すフローチャートである。
【符号の説明】
1 認識手段
2 単独用辞書
3 統合用辞書
4 認識制御手段
5 システム制御手段
6 統合用辞書作成・更新手段
7 収集データ記憶手段
8 構成制御データ記憶手段
9 指示入力手段
100 CPU
101 メモリ
102 補助記憶装置
104 入力インターフェイス
105 出力装置
P1 認識プログラム
P4 認識制御プログラム
P5 システム制御プログラム
P6 統合用辞書作成・更新プログラム
[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a character recognition apparatus, and more particularly, to a character recognition apparatus and a character recognition processing method that include a plurality of recognition means and can use two or more recognition means in an integrated manner .
[0002]
[Prior art]
2. Description of the Related Art A character recognition device using a single recognition means and a character recognition device using a plurality of recognition means in an integrated manner are known. The latter character recognition device performs character recognition on the same character image by means of recognition using different recognition methods, and integrates the respective recognition results to obtain a final recognition result. Kaihei 7-271899, H. Yamagata et al., “A Handwritten Character Recognition of Multiple Classifiers”, IEICE TRANS, INF. & SYST., Vol. E79-D, No. 5, MAY 1996, L.Xu et al., “Methods of Combining Multiple Classifiers and Their Applications to Handwriting Recognition”, IEEE TRANSACTIONS ON SYSTEMS, MAN, AND CYBERNETICS, VOL. There are many such as JUNE 1992.
[0003]
[Problems to be solved by the invention]
Conventionally, a unique dictionary is prepared for each recognition means, and each recognition means uses the unique dictionary even when a plurality of recognition means are used in an integrated manner. That is, the dictionary is handled in the same manner as when the recognition means is used alone.
[0004]
The integrated use of two or more recognition means is intended to improve the recognition accuracy as a whole by complementing the weaknesses of one recognition means with another recognition means. An object of the present invention is to provide a character recognition apparatus and a character recognition processing method in which a configuration related to a dictionary is improved so that this weak point complementation can be achieved more effectively. Another object of the present invention is to provide a character recognition apparatus and characters that can flexibly cope with changes in the recognition environment (for example, changes in the importance of recognition speed and recognition accuracy, changes in character types and font types to be recognized, etc.). It is to provide a recognition processing method .
[0005]
[Means for Solving the Problems]
In order to achieve the above object, a character recognition device according to the first aspect of the present invention includes a plurality of recognition means, a plurality of single dictionaries unique to each of the plurality of recognition means, and each of the plurality of recognition means. A plurality of integration dictionaries for integrated use with other recognition means, means for instructing priority of recognition speed or priority of recognition accuracy, and one recognition means when priority of recognition speed is instructed Means for recognizing characters by single use, means for performing character recognition by integrating use of two or more recognition means when priority of recognition accuracy is instructed, and character recognition by single use of one recognition means In the case of character recognition by the integrated use of two or more recognition means and a means for selecting a single dictionary unique to the recognition means as a dictionary used by the recognition means in the case of the two or more recognition means One main A single dictionary unique to the main recognition unit is selected as the dictionary used by the recognition unit, and the dictionary used by each other subordinate recognition unit is used for the integrated use of the subordinate recognition unit with the main recognition unit. And a means for selecting an integration dictionary.
[0006]
In addition to the configuration of the character recognition device according to the first aspect, the character recognition device according to the second aspect has means for indicating the recognition target, and can be used alone or in accordance with the specified recognition target. The recognition means to be used in an integrated manner is selected.
[0007]
In addition to the configuration of the character recognition device according to the first aspect, the character recognition device according to the third aspect has means for instructing a recognition target and means for instructing a recognition accuracy level. When priority is given to the recognition speed, when the recognition accuracy level is instructed, the recognition means with the fastest recognition speed is selected from the recognition means that satisfy the instructed recognition accuracy level for the instructed recognition target. When the recognition accuracy level is not designated, the recognition means having the highest recognition accuracy is selected for the designated recognition target.
[0008]
In addition to the configuration of the character recognition device according to the first aspect, the character recognition device according to the fourth aspect has means for instructing the recognition target and means for instructing the recognition speed level. When the priority of recognition accuracy is instructed, when the recognition speed level is instructed, the combination of the recognition means having the highest recognition accuracy among the recognition means satisfying the instructed recognition speed level for the instructed recognition target is When the recognition speed level is not selected and the recognition speed level is not selected, the combination of the recognition means having the highest recognition accuracy with respect to the designated recognition target is selected.
[0009]
In addition to the configuration of the character recognition device according to the first aspect of the invention, the character recognition device according to the fifth aspect of the invention is a data sample that is misidentified or not recognized by the main recognition means among the two or more recognition means used in an integrated manner. And means for using the collected data samples to create or update a dictionary for the integrated use of the secondary recognition means in the two or more recognition means with the primary recognition means. It is set as the structure to comprise.
[0010]
According to a sixth aspect of the present invention, there is provided a character recognition processing method comprising: a plurality of recognition means; a plurality of single dictionaries unique to each of the plurality of recognition means; and another recognition means for each of the plurality of recognition means. A method of character recognition in a character recognition device comprising a plurality of integration dictionaries for integrated use, wherein a step of determining a recognition speed priority or recognition accuracy priority instruction and a recognition speed priority instruction A step of allowing character recognition by single use of one recognition means, and a step of performing character recognition by integrated use of two or more recognition means when priority is given to recognition accuracy. In the case of character recognition by the single use of the recognition means, a step of selecting a single dictionary unique to the recognition means as a dictionary used by the recognition means, and character recognition by integrated use of two or more recognition means In this case, a single dictionary unique to the main recognition unit is selected as a dictionary used by one main recognition unit among the two or more recognition units, and the sub-dictionary used by each other sub-recognition unit is used as the dictionary. And a step of selecting an integration dictionary for integrated use of each recognition means with the main recognition means.
[0011]
DETAILED DESCRIPTION OF THE INVENTION
As shown in FIG. 1, an embodiment of a character recognition apparatus according to the present invention includes a plurality of recognition means 1, a plurality of single dictionaries 2, a plurality of integration dictionaries 3, a recognition control means 4, and system control. It comprises means 5, integration dictionary creation / update means 6, collected data storage means 7, instruction input means 9, and configuration control data storage means 8.
[0012]
Each single dictionary 2 is a dictionary unique to a specific recognition means. The integration dictionary 3 is a dictionary prepared corresponding to the combination of the main recognition means and the subordinate recognition means in the case of integrated use, and is used as a dictionary of the recognition means according to the case of integrated use as will be described later. . When there is weakness in the main recognition means, that is, when there is character image data that cannot be recognized or misidentified, by preparing the integration dictionary 3 for making such character image data recognizable by the subordinate recognition means, The weak point of the main recognition means can be effectively complemented and the recognition accuracy can be improved as a whole.
[0013]
Since the single dictionary 2 as the basic dictionary of each recognition means 1 is created so as to improve the overall recognition performance of each recognition means, the feature amount of the character image that is misidentified or rejected as described above is used. If you try to make up for the weakness by additionally registering in the dictionary for single use, there is a risk that the overall recognition performance will deteriorate, for example, the number of misidentified characters increases. Such a problem can be avoided if the integration dictionary 2 complements the weak points.
[0014]
The integration dictionary creating / updating means 6 is means for creating or updating the integration dictionary 3 for complementing the weak points of the main recognition means as described above in cooperation with the recognition control means 4. Details will be described later. The collected data storage means 7 is means for temporarily storing data samples collected for creating or updating the integration dictionary.
[0015]
The instruction input means 9 is an instruction of a recognition operation or integration dictionary creation / update operation, an instruction of recognition accuracy priority or recognition speed priority, an instruction of a required minimum recognition accuracy level or recognition speed level by the user of the character recognition device. , Indication of the recognition target (number, alphabet, hiragana, katakana, symbol, kanji, etc., one character type, or a mixture of two or more character types, font type, etc.) This is a means for inputting the designation of the recognition means to the system control means 5.
[0016]
The system control means 5 is a means for performing control such as selection of a recognition means and a dictionary, switching between single use and integrated use of the recognition means in accordance with an instruction input from the instruction input means 9, and details thereof will be described later. To do. The configuration control data storage unit 8 stores configuration control data referred to by the system control unit 5. The contents of the configuration control data will be described later in relation to the operation of the character recognition device.
[0017]
According to the control by the system control means 5, the recognition control means 4 has one recognition means and one single dictionary, or two (generally two or more) recognition means and one single dictionary and one ( In general, one or more integration dictionary is used to capture character image data from the outside and perform character recognition. When using one recognition means alone, the recognition result is directly output to the outside. In the integrated use of two (generally two or more) recognition means, the recognition results of the respective recognition means are integrated, and the integrated results are output to the outside.
[0018]
This character recognition device is realized by dedicated hardware, or for connection with an external input device such as a CPU 100, a memory 101, an input device 103 such as a keyboard, and an image scanner as shown in FIG. This is realized on a computer having a general configuration in which an input interface 104, an output device 105 such as a printer or a display, an auxiliary storage device 102 such as a hard disk device, and the like are connected by a bus 107.
[0019]
The correspondence between FIG. 1 and FIG. 2 is as follows. The plurality of recognition means 1, recognition control means 4, system control means 5, and integration dictionary creation / update means 6 are realized by corresponding programs P1, P4, P5, and P6 on the memory 101, respectively. The single dictionary 2 and the integration dictionary 3 are placed on the memory 101 as data files or table data. Specific areas of the memory 101 (or auxiliary storage device 7) are allocated as the collected data storage means 7 and the configuration control data storage means 8. An input device 103 is used as the instruction input unit 9. For example, the character image data is input from the outside via the input interface 104 or input from the auxiliary storage device 102. Although not shown, the memory 101 is naturally loaded with an operating system necessary for the operation of the computer.
[0020]
3 to 5 are flowcharts showing the control flow of the system control means 5. The operation of the character recognition apparatus will be described with reference to this flowchart and FIG. 1 (FIG. 2 if necessary).
[0021]
The system control means 5 first checks whether the user instruction is a recognition operation or an integration dictionary creation or update operation (step S1). When the recognition operation is instructed, it is determined whether the instruction by the user has priority on recognition accuracy or priority on recognition speed (step S2).
[0022]
A case where the recognition speed priority is instructed will be described below. In the case of recognition speed priority, one recognition means 1 is used alone. The system control means 5 checks whether the recognition accuracy level is instructed by the user in order to select the recognition means to be used (step S3). When the recognition accuracy level is not instructed, one recognition unit 1 that can expect the highest recognition accuracy for the recognition target instructed by the user based on the configuration control data stored in the configuration control data storage unit 8 Select (step S4). When the recognition accuracy level is instructed, the recognition means 1 with the fastest recognition speed that can expect a recognition accuracy higher than the instructed recognition accuracy level is selected for the recognition target instructed by the user based on the configuration control data. (Step S5). Next, based on the configuration control data, a single dictionary 2 unique to the selected recognition unit 1 is selected (step S6), and the recognition control unit 4 starts character recognition processing by using one recognition unit alone. An instruction is given (step S7).
[0023]
The configuration control data includes information indicating a recognition accuracy and a recognition speed that can be expected for each recognition target of each recognition unit and a correspondence relationship with the single dictionary 2 when the recognition unit is used alone. Information on recognition accuracy and recognition speed is set in advance based on a recognition experiment using test data for each recognition target.
[0024]
In the recognition control means 4 activated by the character recognition processing by the single use of one recognition means, the recognition means 1 selected by the system control means 5 and the selected single dictionary 2 are used to import from the outside. The character recognition process is performed on the character image data, and the recognition result is output to the outside.
[0025]
Next, a case where recognition accuracy priority is instructed by the user will be described. In the case of priority on recognition accuracy, two (typically two or more) recognition means are integrated and used. In the system control means 5, in order to select the recognition means to be used in an integrated manner, it is first checked whether or not the recognition speed level is instructed by the user (step S8). When the recognition speed level is not instructed, a combination of the two recognition means 1 that can expect the highest recognition accuracy for the recognition target instructed by the user is selected based on the configuration control data (step S9). When the recognition speed level is instructed, based on the configuration control data, the two recognition means 1 with the highest recognition accuracy that can expect a recognition speed higher than the instructed recognition speed level for the recognition target instructed by the user. Are selected (step S10). Next, referring to the configuration control data, of the two selected recognition means 1, the recognition means with higher recognition accuracy when used alone (generally, two or more recognition means). The unique recognition dictionary 2 is selected (step S11). Next, referring to the configuration control data, the other recognizing means (generally, the remaining recognizing means excluding the main recognizing means) is used as a recognizing means, and integration for use with the main recognizing means is performed. The dictionary 3 is selected (step S12). Then, the recognition control means 4 is instructed to start character recognition processing by the integrated use of the two recognition means (step S13).
[0026]
The configuration control data includes, in the case of integrated use of two recognition means, for each combination of recognition means, the distinction between the main recognition means and the subordinate recognition means, the recognition accuracy and recognition speed that can be expected for each recognition target, and , Information indicating a correspondence relationship with the integration dictionary to be used is included. This is also set based on a recognition experiment using test data in advance.
[0027]
In the recognition control means 4 activated by the integrated character recognition process, the character recognition of the character image data is performed using the selected main recognition means 1 and the selected single dictionary 2, and the subsequent recognition means. Character recognition of the same character image data is performed using the integration dictionary 3 selected as 1, integration processing of each recognition result is performed, and the recognition result after integration is output to the outside. The integration process may be performed by various known methods, and also uses the distance between the input character image and the dictionary as described in the specification of Japanese Patent Application No. 9-195444 of the present applicant. A higher performance integration method may be used.
[0028]
Next, a case where an instruction to create or update an integration dictionary is given by the user will be described. In this case, the system control means 5 selects the main recognition means 1 designated by the user and its unique single dictionary 2 (step S14), and uses the main recognition means 1 alone for the recognition control means 4. Is instructed to start the process for recognizing the test character image data, and the integration dictionary creating / updating means 6 is instructed to start collecting data samples (step S15). The recognition control means 4 takes in the test character image data for the recognition target designated by the user (for example, reads from the auxiliary storage device 102 in FIG. 2), and designates the designated main recognition means 1 and the single dictionary selected. 2 is used for character recognition. The integration dictionary creating / updating means 6 stores the character image data whose character recognition result is false recognition or recognition refusal (cannot be recognized) in the collected data storage means 7 via the recognition control means 4. In this way, a sample of character image data that has been misrecognized or not recognized by the main recognition means is collected.
[0029]
When this is finished, the system control means 5 selects the integration recognition dictionary 3 for the integrated use of the secondary recognition means designated by the user and the main recognition means (step S16), and creates the integration dictionary or An update operation is instructed to the integration dictionary creating / updating means 6 (step S17). The integration dictionary creation / update means 6 creates or updates the corresponding integration dictionary 3 based on the character image data collected in the collection data storage means 7.
[0030]
When the creation of the integration dictionary is instructed, the integration dictionary creation / update unit 6 sequentially inputs the collected character image data to the recognition control unit 4, for example, and the recognition control unit 4 specifies the subordinates designated. The feature means of the character image data is extracted by the recognition means 1, and the integration dictionary 3 selected using this feature quantity is created. When instructed to update the integration dictionary, the integration dictionary creating / updating means 6 inputs, for example, the collected character image data to the recognition control means 4 in order, and the recognition control means 4 specifies the subordinates designated. Character recognition is performed by using the integration unit 3 selected as a recognition means, and the feature value extracted for the character image data whose recognition result is false recognition or recognition refusal is processed as it is or after statistical processing. It is additionally registered in the dictionary 3 or the contents of the integration dictionary 3 are corrected according to the feature amount. Thus, the integration dictionary for effectively reinforcing the weak points of the main recognition means can be created or updated on the user side as necessary.
[0031]
A means for creating or updating the single dictionary 2 may be added to the character recognition device.
[0032]
【The invention's effect】
According to the character recognition device and the character recognition processing method of the present invention, the following effects can be obtained.
(1) When two or more selected recognition means are used in an integrated manner, a weakness of the main recognition means, that is, a dictionary for enabling recognition by a subordinate recognition means that cannot recognize or misrecognize character image data. , By preparing as a dictionary (integration dictionary) for the integrated use of the subordinate recognition means with the main recognition means, there is a possibility of deteriorating the overall recognition performance of the main recognition means. Without modifying the dictionary (single dictionary), it is possible to effectively complement the weak points of the main recognition means and improve the recognition accuracy as a whole. In addition, the dictionary used for the subordinate recognition means is not fixed, and is selected according to the combination of the subordinate recognition means and the main recognition means. Therefore, the recognition means are integrated in various combinations according to the recognition environment. Even if it is used, it is possible to effectively complement the weak points of the main recognition means and achieve high recognition accuracy.
[0033]
(2) The user creates or updates a dictionary for effectively complementing the weaknesses of the main recognition means in the integrated use of the combination of necessary recognition means according to changes in the recognition environment, etc. It is possible to improve or maintain high recognition accuracy.
[0034]
(3) When the recognition speed is important, by giving priority to the recognition speed, it is possible to perform high-speed character recognition by using one recognition means alone, and when the recognition accuracy is important, the recognition is performed. By instructing precision priority, it is possible to perform highly accurate character recognition by using two or more recognition means in an integrated manner.
[0035]
(4) By indicating the recognition target to be processed, it is possible to perform character recognition by using the recognition means best suited for the recognition target or using the integrated method, so that the performance is maximized for various recognition targets. Can be made.
[0036]
(5) When the recognition speed is the most important, it is possible to perform the fastest possible character recognition for the recognition target to be processed, and the recognition speed is also important, but it requires a certain level of recognition accuracy. In this case, it is possible to perform the fastest character recognition that can maintain the recognition accuracy higher than that level for the recognition target to be processed.
[0037]
(6) When the recognition accuracy is the most important, the recognition target to be processed can be recognized with the highest possible character recognition, and the recognition accuracy is also important, but a recognition speed of a certain level or more is required. In this case, it is possible to perform character recognition with the highest accuracy capable of maintaining a recognition speed equal to or higher than the recognition target to be processed.
[Brief description of the drawings]
FIG. 1 is a block diagram showing an embodiment of a character recognition device of the present invention.
FIG. 2 is a block diagram showing an example in which the character recognition apparatus of FIG. 1 is realized by software on a computer.
FIG. 3 is a flowchart showing a part of the control flow of the system control means.
FIG. 4 is a flowchart showing a part of the control flow of the system control means.
FIG. 5 is a flowchart showing a part of the control flow of the system control means.
[Explanation of symbols]
DESCRIPTION OF SYMBOLS 1 Recognition means 2 Single dictionary 3 Integration dictionary 4 Recognition control means 5 System control means 6 Integration dictionary creation / update means 7 Collected data storage means 8 Configuration control data storage means 9 Instruction input means 100 CPU
101 Memory 102 Auxiliary Storage Device 104 Input Interface 105 Output Device P1 Recognition Program P4 Recognition Control Program P5 System Control Program P6 Integration Dictionary Creation / Update Program

Claims (6)

複数の認識手段と、該複数の認識手段のそれぞれに固有の複数の単独用辞書と、該複数の認識手段のそれぞれの他の認識手段との統合使用のための複数の統合用辞書と、認識速度の優先又は認識精度の優先を指示するための手段と、認識速度の優先が指示された場合に1つの認識手段の単独使用により文字認識を行わせる手段と、認識精度の優先が指示された場合に2つ以上の認識手段の統合使用により文字認識を行わせる手段と、1つの認識手段の単独使用による文字認識の場合に当該認識手段が用いる辞書として当該認識手段に固有の単独用辞書を選択する手段と、2つ以上の認識手段の統合使用による文字認識の場合に、当該2つ以上の認識手段中の1つの主たる認識手段が用いる辞書として当該主たる認識手段に固有の単独用辞書を選択し、他の従たる各認識手段が用いる辞書として、当該従たる各認識手段の当該主たる認識手段との統合使用のための統合用辞書を選択する手段とを具備することを特徴とする文字認識装置。A plurality of recognition means; a plurality of single dictionaries unique to each of the plurality of recognition means; a plurality of integration dictionaries for integrated use with each other recognition means of the plurality of recognition means; A means for instructing priority of speed or priority of recognition accuracy, a means for performing character recognition by using a single recognition means when a priority of recognition speed is instructed, and a priority of recognition accuracy are instructed In this case, a single dictionary unique to the recognition means is used as a dictionary used by the recognition means in the case of character recognition by integrated use of two or more recognition means and character recognition by single use of one recognition means. In the case of character recognition by the integrated use of the means for selecting and two or more recognition means, a single dictionary unique to the main recognition means is used as a dictionary used by one main recognition means of the two or more recognition means. And a means for selecting, as a dictionary used by each of the other subordinate recognition means, a dictionary for integration for use of the subordinate recognition means with the main recognition means. Recognition device. 認識対象を指示するための手段を有し、指示された認識対象に応じて単独使用又は統合使用される認識手段が選択されることを特徴とする請求項1記載の文字認識装置。2. The character recognition apparatus according to claim 1, further comprising means for indicating a recognition target, wherein the recognition means used alone or in combination is selected according to the specified recognition target. 認識対象を指示するための手段と、認識精度レベルを指示するための手段とを有し、認識速度の優先が指示された場合において、認識精度レベルが指示されたときには指示された認識対象に対し指示された認識精度レベルを満足する認識手段中で最も認識速度の速い認識手段が選択され、認識精度レベルが指示されないときには指示された認識対象に対し認識精度が最も高い認識手段が選択されることを特徴とする請求項1記載の文字認識装置。A means for instructing a recognition target and a means for instructing a recognition accuracy level. When priority is given to recognition speed, when the recognition accuracy level is instructed, The recognition means with the fastest recognition speed is selected among the recognition means satisfying the designated recognition accuracy level, and when the recognition accuracy level is not designated, the recognition means with the highest recognition accuracy is selected for the designated recognition target. The character recognition device according to claim 1. 認識対象を指示するための手段と、認識速度レベルを指示するための手段とを有し、認識精度の優先が指示された場合において、認識速度レベルが指示されたときには指示された認識対象に対し指示された認識速度レベルを満足する認識手段中で最も認識精度が高い認識手段の組合せが選択され、認識速度レベルが指示されないときには指示された認識対象に対し認識精度が最も高い認識手段の組合せが選択されることを特徴とする請求項1記載の文字認識装置。A means for instructing a recognition target and a means for instructing a recognition speed level, and when the priority of recognition accuracy is instructed, when the recognition speed level is instructed, The combination of the recognition means having the highest recognition accuracy is selected from the recognition means satisfying the designated recognition speed level. When the recognition speed level is not designated, the combination of the recognition means having the highest recognition accuracy for the designated recognition target is selected. The character recognition device according to claim 1, wherein the character recognition device is selected. 統合使用される2つ以上の認識手段中の主たる認識手段によって誤認され又は認識されないデータサンプルを収集する手段と、収集されたデータサンプルを利用して、それら2つ以上の認識手段中の従たる認識手段の、主たる認識手段との統合使用のための辞書を作成又は更新する手段とを具備することを特徴とする請求項1記載の文字認識装置。Means for collecting data samples that are misidentified or not recognized by the main recognition means in the two or more recognition means used in an integrated manner, and using the collected data samples to follow in the two or more recognition means 2. The character recognition apparatus according to claim 1, further comprising means for creating or updating a dictionary for integrated use of the recognition means with the main recognition means. 複数の認識手段と、該複数の認識手段のそれぞれに固有の複数の単独用辞書と、該複数の認識手段のそれぞれの他の認識手段との統合使用のための複数の統合用辞書とを具備する文字認識装置における文字認識処理方法であって、A plurality of recognition means, a plurality of single dictionaries unique to each of the plurality of recognition means, and a plurality of integration dictionaries for integrated use with each other recognition means of the plurality of recognition means A character recognition processing method in a character recognition device,
認識速度の優先又は認識精度の優先の指示を判定するステップと、認識速度の優先が指示された場合に1つの認識手段の単独使用により文字認識を行わせるステップと、認識精度の優先が指示された場合に2つ以上の認識手段の統合使用により文字認識を行わせるステップと、1つの認識手段の単独使用による文字認識の場合に当該認識手段が用いる辞書として当該認識手段に固有の単独用辞書を選択するステップと、2つ以上の認識手段の統合使用による文字認識の場合に、当該2つ以上の認識手段中の1つの主たる認識手段が用いる辞書として当該主たる認識手段に固有の単独用辞書を選択し、他の従たる各認識手段が用いる辞書として、当該従たる各認識手段の当該主たる認識手段との統合使用のための統合用辞書を選択するステップとを有することを特徴とする文字認識処理方法。A step of determining an instruction of priority of recognition speed or priority of recognition accuracy, a step of performing character recognition by using a single recognition means when the priority of recognition speed is instructed, and an instruction of priority of recognition accuracy are instructed. A step of causing character recognition by the integrated use of two or more recognition means in the case of single recognition, and a single dictionary unique to the recognition means as a dictionary used by the recognition means in the case of character recognition by single use of one recognition means And a single dictionary unique to the main recognition means as a dictionary used by one main recognition means of the two or more recognition means in the case of character recognition by integrated use of two or more recognition means And selecting an integration dictionary for integrated use of each subordinate recognition means with the main recognition means as a dictionary used by each other subordinate recognition means Character recognition processing method characterized by having a.
JP04315398A 1998-02-25 1998-02-25 Character recognition device and character recognition processing method Expired - Fee Related JP3771369B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP04315398A JP3771369B2 (en) 1998-02-25 1998-02-25 Character recognition device and character recognition processing method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP04315398A JP3771369B2 (en) 1998-02-25 1998-02-25 Character recognition device and character recognition processing method

Publications (2)

Publication Number Publication Date
JPH11242718A JPH11242718A (en) 1999-09-07
JP3771369B2 true JP3771369B2 (en) 2006-04-26

Family

ID=12655915

Family Applications (1)

Application Number Title Priority Date Filing Date
JP04315398A Expired - Fee Related JP3771369B2 (en) 1998-02-25 1998-02-25 Character recognition device and character recognition processing method

Country Status (1)

Country Link
JP (1) JP3771369B2 (en)

Also Published As

Publication number Publication date
JPH11242718A (en) 1999-09-07

Similar Documents

Publication Publication Date Title
JP3077765B2 (en) System and method for reducing search range of lexical dictionary
US5579408A (en) Character recognition method and apparatus
KR100242785B1 (en) Apparatus and method for data processing
US7624124B2 (en) System and method for assisting generation of business specification
JP3771369B2 (en) Character recognition device and character recognition processing method
JP3727995B2 (en) Document processing method and apparatus
US9015573B2 (en) Object recognition and describing structure of graphical objects
JPH0619962A (en) Text dividing device
JP2780654B2 (en) Address reading device
EP0724222A1 (en) Device and method for processing fuzzy data
JPH06215197A (en) Method and device for recognizing character
JPH05346974A (en) Character recognizing device
JPH0991311A (en) Information storage and retrieval device and its control method
JPH09269952A (en) Document retrieval device/method
JP2003316376A (en) Device and method for registering unknown word
JPH11316802A (en) Word recognition device, its address place name registering method, and recording medium
JPH11203410A (en) Method and device for processing image and storage medium therefor
JPH0830734A (en) Character string recognition device
JPH0612520A (en) Confirming and correcting system for character recognizing device
JPS62165269A (en) Business card filing system
JPH02249087A (en) English word retrieving device
JP2574776B2 (en) Character recognition method
JPH1040401A (en) Format analytic method in family register data preparation
JPH11316792A (en) Information processor and slip creating method
JPH0318987A (en) Dictionary registering method

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20051108

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060106

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20060207

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20060209

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100217

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110217

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120217

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130217

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130217

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140217

Year of fee payment: 8

LAPS Cancellation because of no payment of annual fees