JP3842006B2 - 帳票類判別装置、帳票類判別方法、およびこれらの方法をコンピュータに実行させるプログラムを記録したコンピュータ読み取り可能な記録媒体 - Google Patents
帳票類判別装置、帳票類判別方法、およびこれらの方法をコンピュータに実行させるプログラムを記録したコンピュータ読み取り可能な記録媒体 Download PDFInfo
- Publication number
- JP3842006B2 JP3842006B2 JP2000095514A JP2000095514A JP3842006B2 JP 3842006 B2 JP3842006 B2 JP 3842006B2 JP 2000095514 A JP2000095514 A JP 2000095514A JP 2000095514 A JP2000095514 A JP 2000095514A JP 3842006 B2 JP3842006 B2 JP 3842006B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- image data
- pixel
- feature amount
- input image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/40—Document-oriented image-based pattern recognition
- G06V30/41—Analysis of document content
- G06V30/412—Layout analysis of documents structured with printed lines or input boxes, e.g. business forms or tables
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Artificial Intelligence (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Character Input (AREA)
- Image Analysis (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Image Processing (AREA)
- Character Discrimination (AREA)
Description
【０００１】
【発明の属する技術分野】
この発明は、判別対象となる帳票類の入力画像の画像データの特徴量をあらかじめ記憶した参照画像の画像データの特徴量と比較して該帳票類を判別する帳票類判別装置、帳票類判別方法、およびこれらの方法をコンピュータに実行させるプログラムを記録したコンピュータ読み取り可能な記録媒体に関し、特に、帳票類の本質的特徴である罫線を利用して該帳票類を判別する場合に、画像の変動に起因する判別精度の低下を防ぎ、もって精度良く帳票類を判別することができる帳票類判別装置、帳票類判別方法、および記録媒体に関する。
【０００２】
【従来の技術】
従来、異なる種類の帳票を連続して印鑑照合したり、該帳票に書き込まれた文字を認識するような場合に、各帳票のフォーマットはそれぞれ異なるため、毎回帳票の種類を判別し、判別した帳票のフォーマットに基づいて印鑑照合や文字認識をおこなう必要がある。
【０００３】
ここで、各帳票の所定の位置に判別コードや判別マークをあらかじめ印刷しておき、この判別コードや判別マークを確認して帳票の種類を判別することが多いが、必ずしも各企業間で判別コードや判別マークを付与するルールが合意されているわけではないので、この判別コードや判別マークのみで帳票を正確に判別できない場合がある。
【０００４】
このため、判別コードや判別マークによることなく帳票を判別する技術が知られており、たとえば特開平４−２６８６８５号公報には、入力された帳票画像データから罫線の水平、垂直方向の線分を抽出して複数エリアに分割し、エリアごとに抽出された線分の方向、長さ、位置を用いて、ベクトルパターン化して標準パターンの特徴ベクトルと比較照合する帳票類の種類判別方法が開示されている。
【０００５】
【発明が解決しようとする課題】
しかしながら、この従来技術のように線分を抽出して特徴量とする場合には、画像の変動、たとえばスキャナの特性や回転補正などで線分が途切れてしまうことがある。このため、線分間の距離がある一定のしきい値以下であれば２線分をつなぐ補間処理などをおこなう必要が生ずる。
【０００６】
しかし、かかる２線分の距離は画像の変動によって変化するものであり、線分の距離がしきい値付近の場合には、補間処理において、参照画像の特徴量抽出時と判別処理時で異なった動作をする可能性があり、帳票を正確に判別できなくなるという問題がある。
【０００７】
具体的には、スキャナの特性や回転補正などで途切れた線分を補間する処理をおこなう場合には、所定の距離内の線分をつなぐことになるので、途切れた線分だけでなく、本来別個の２本の線分までをもつないでしまう可能性がある。たとえば、図６に示す帳票の住所欄の郵便番号記入欄の各矩形枠を、２本の水平方向の直線として捉えてしまい、登録時と異なる動作（つなぎ処理をおこなったり、おこなわなかったり）をすることにより、特徴量の変動が大きく、性能が不安定である。
【０００８】
そこで、帳票の本質的特徴である罫線を利用して該帳票を判別する場合に、画像の変動に起因する判別精度の低下をいかに低減するかが極めて重要な課題となっている。
【０００９】
この発明は、上述した従来技術による問題点を解消するためになされたものであり、帳票類の本質的特徴である罫線を利用して該帳票類を判別する場合に、画像の変動などに起因する判別精度の低下を防ぎ、もって精度良く帳票類を判別することができる帳票類判別装置、帳票類判別方法、およびこれらの方法をコンピュータに実行させるプログラムを記録したコンピュータ読み取り可能な記録媒体を提供することを目的とする。
【００１０】
【課題を解決するための手段】
上述した課題を解決し、目的を達成するため、請求項１の発明に係る帳票類判別装置は、判別対象となる帳票類の入力画像の画像データの特徴量をあらかじめ記憶した参照画像の画像データの特徴量と比較して前記帳票類を判別する帳票類判別装置において、前記入力画像または参照画像の画像データの各画素を注目画素とした水平方向及び垂直方向に連接する所定長の画素列中に占める黒画素割合を該画素列の長さを変えつつ繰り返し算出して当該注目画素に対応する複数の黒画素割合を算定する算定手段と、前記画像データを複数のブロックに分割し、該分割した各ブロックごとにブロック内に位置する各画素に対応する複数の黒画素割合を同一方向、かつ、画素列長同一のものごとにそれぞれ加算して前記画像データの特徴量を抽出する抽出手段と、を備えたことを特徴とする。
【００１１】
また、請求項２の発明に係る帳票類判別装置は、請求項１の発明において、前記抽出手段により抽出された参照画像に対応する特徴量を記憶する記憶手段と、前記抽出手段により前記入力画像に対応する特徴量が抽出された際に、該入力画像に対応する特徴量を前記記憶手段に記憶した参照画像に対応する特徴量と比較して前記帳票類を判別する判別手段と、をさらに備えたことを特徴とする。
【００１２】
また、請求項３の発明に係る帳票類判別装置は、請求項２の発明において、前記判別手段は、前記記憶手段に記憶した参照画像の特徴量と前記入力画像に対応する特徴量との類似度にしたがって複数の帳票類候補を取得する候補取得手段と、前記候補取得手段により取得された各帳票類候補の参照画像の画像データと前記入力画像の画像データに基づいて前記入力画像に対応する参照画像を特定する特定手段と、を備えたことを特徴とする。
【００１３】
また、請求項４の発明に係る帳票類判別方法は、判別対象となる帳票類の入力画像の画像データの特徴量をあらかじめ記憶した参照画像の画像データの特徴量と比較して前記帳票類を判別する帳票類判別方法において、前記入力画像または参照画像の画像データの各画素を注目画素とした水平方向及び垂直方向に連接する所定長の画素列中に占める黒画素割合を該画素列の長さを変えつつ繰り返し算出して当該注目画素に対応する複数の黒画素割合を算定する算定工程と、前記画像データを複数のブロックに分割し、該分割した各ブロックごとにブロック内に位置する各画素に対応する複数の黒画素割合を同一方向、かつ、画素列長同一のものごとにそれぞれ加算して前記画像データの特徴量を抽出する抽出工程と、を含んだことを特徴とする。
【００１４】
また、請求項５の発明に係る帳票類判別方法は、請求項４の発明において、前記抽出工程により抽出された参照画像に対応する特徴量を記憶部に格納する格納工程と、前記抽出工程により前記入力画像に対応する特徴量が抽出された際に、該入力画像に対応する特徴量を前記記憶部に格納された参照画像に対応する特徴量と比較して前記帳票類を判別する判別工程と、をさらに含んだことを特徴とする。
【００１５】
また、請求項６の発明に係る帳票類判別方法は、請求項７の発明において、前記判別工程は、前記記憶部に格納された参照画像の特徴量と前記入力画像に対応する特徴量との類似度にしたがって複数の帳票類候補を取得する候補取得工程と、前記候補取得工程により取得された各帳票類候補の参照画像の画像データと前記入力画像の画像データに基づいて前記入力画像に対応する参照画像を特定する特定工程と、を含んだことを特徴とする。
【００１６】
また、請求項７の発明に係る記録媒体は、請求項４〜６のいずれか一つに記載された方法をコンピュータに実行させるプログラムを記録したことで、そのプログラムを機械読み取り可能となり、これによって、請求項４〜６のいずれか一つの動作をコンピュータによって実現することができる。
【００１７】
【発明の実施の形態】
以下に添付図面を参照して、この発明に係る帳票類判別装置、帳票類判別方法、およびその方法をコンピュータに実行させるプログラムを記録したコンピュータ読み取り可能な記録媒体の好適な実施の形態を詳細に説明する。
【００１８】
図１は、本実施の形態で用いる帳票判別装置の構成を示す機能ブロック図である。同図に示す帳票判別装置１０は、あらかじめ参照画像の特徴量を辞書として登録しておき、判別対象となる帳票の画像を入力したならば、この入力画像の特徴量を抽出して辞書と比較することにより、帳票の種別を判定する装置である。
【００１９】
ここで、この帳票判別装置１０で用いる特徴量は、帳票にあらかじめ印刷された該帳票の本質的内容をなす罫線を考慮した黒画素割合であるが、この装置１０では、線分補間処理などはおこなっていない。その理由は、かかる線分補間処理をおこなうと判別精度が低下するおそれがあるからである。なお、この黒画素割合とは、注目画素から水平方向または垂直方向の所定区間の画素列内に含まれる黒画素の割合のことであり、画像データの各画素ごとに求める値である。
【００２０】
また、たとえば、罫線が全く同一で、印刷される文字のみが異なるというように、この罫線を考慮した黒画素割合のみでは帳票種別が判定できない場合があるので、この帳票判別装置１０では、かかる場合に特定領域内の画像データそのもの（文字など）を利用して詳細判別をおこなうこととしている。
【００２１】
図１に示すように、この帳票判別装置１０は、画像入力部１０１と、罫線特徴抽出部１０２と、辞書作成部１０３と、罫線特徴辞書１０４と、特定領域辞書１０５と、罫線特徴照合部１０６と、詳細判定部１０７と、出力部１０８とからなる。なお、この罫線特徴抽出部１０２は請求項１の算定手段および抽出手段に対応し、罫線特徴辞書１０４は請求項２の記憶手段に対応し、罫線特徴照合部１０６および詳細判定部１０７は請求項２の判別手段に対応する。
【００２２】
画像入力部１０１は、帳票の画像データを光学的に入力するスキャナであり、入力した画像データを罫線特徴抽出部１０２に出力する。なお、この画像入力部１０１では、白画素が’０’の画素値を持ち黒画素が’１’の画素値となる２値画像を罫線特徴抽出部１０２に出力するものとする。
【００２３】
罫線特徴抽出部１０２は、画像入力部１０１から受け取った２値画像データから罫線特徴（特徴量）を抽出する処理部であり、具体的には、参照画像を入力した場合には、この罫線特徴および画像データを辞書作成部１０３に出力し、判別対象となる画像を入力した場合には、この罫線特徴および画像データを罫線特徴照合部１０６に出力する。なお、参照画像の登録または入力画像の判別は、図示しない切換スイッチなどを用いておこなう。
【００２４】
辞書作成部１０３は、罫線特徴抽出部１０２から参照画像の罫線特徴および画像データを受け取った際に、これらの情報に基づいて辞書の作成または追加をおこなう処理部であり、具体的には、罫線特徴および帳票の種別を対応づけて罫線特徴辞書１０４に登録するとともに、該帳票の一部（特定領域）の画像データを帳票の種別と対応づけて特定領域辞書１０５に登録する。
【００２５】
罫線特徴辞書１０４は、各帳票の種別ごとに罫線特徴を対応づけて記憶した辞書であり、特定領域辞書１０５は、各帳票の種別ごとに特定領域の画像データを対応づけて記憶した辞書である。なお、この特定領域辞書１０５は、各帳票の種別ごとに特定領域の画像データに含まれる文字の内容をテキストデータとして記憶することもできる。この際、画像データ自身は記憶しない。
【００２６】
罫線特徴照合部１０６は、判別対象となる帳票の画像データの罫線特徴（特徴量）と罫線特徴辞書１０４に記憶した各参照画像の罫線特徴（特徴量）とを照合し、判別対象となる画像データとの距離に基づいて、複数の候補を選択して画像データとともに詳細判定部１０７に出力する処理部である。
【００２７】
なお、かかる照合処理としては、従来の文字認識などで広く使用されている手法を適用することができ、たとえばユークリッド距離などに基づいて識別することができる。
【００２８】
詳細判定部１０７は、罫線特徴照合部１０６から受け取った複数の候補のうちいずれの候補が最も入力画像に近いかを詳細判定する処理部であり、具体的には、罫線特徴照合部１０６から受け取った判別対象となる帳票の画像データから特定の領域の画像データを切り出し、この画像データを特定領域辞書１０５に登録した画像データと照合する。
【００２９】
たとえば、図７（ａ）および（ｂ）に示すように、２つの帳票の罫線が全く同一である場合には、罫線特徴だけでは帳票の種別を判定することができないので、入力画像と参照画像の各特定領域内に含まれる文字（帳票タイトルや会社名などの帳票の特徴をなす文字列やロゴなど）を切り出して比較する。
【００３０】
また、参照画像の各特定領域内に含まれる文字（帳票タイトルや会社名などの帳票の特徴をなす文字列など）を切り出して、文字認識および知識処理を施し、参照画像の特定領域として登録した文字の内容のテキストデータと比較する。
【００３１】
出力部１０８は、詳細判定部１０７から受け取った判定結果を出力する処理部である。この判定結果としては、判別対象となる帳票に最も近い登録帳票を出力することができるが、複数の候補を順番付けして出力することもできる。
【００３２】
次に、図１に示した罫線特徴抽出部１０２による罫線特徴の抽出処理についてさらに具体的に説明する。図２は、図１に示した罫線特徴抽出部１０２による罫線特徴の抽出処理の概念を説明するための説明図である。
【００３３】
同図（ａ）および（ｂ）に示すように、この罫線特徴抽出部１０２では、注目画素を中心として、水平・垂直方向それぞれについて区間Ｐｉ（ｉ＝１，２，３，…，Ｋ）（区間長ｐｉ×２+１（ドット））の中に含まれる黒画素の割合（黒画素割合）を算出している。
【００３４】
具体的には、同図（ａ）に示す水平方向の区間１の場合には、注目画素から左右に８画素までの画素値を調べる。ここでは、
区間長 ＝ ８×２＋１ ＝１７ドット
区間内の黒画素数 ＝ １１ドット
となる。
【００３５】
ただし、ノイズや垂直方向の罫線（計数方向とは違う方向の罫線）などの影響をなくすために、黒画素の連続数があるしきい値以下のものは計数しないこととする。たとえば、同図（ａ）では、黒画素ＡおよびＢはその連続数が１であるので計数しない。
【００３６】
このため、
黒画素割合 ＝ （１１―２）／１７ ＝ ０．５２９
となる。なお、水平方向の区間２および３、同図（ｂ）に示す垂直方向についても同様に求めることになる。
【００３７】
その後、帳票の画像をＭ×Ｎのブロックに分割し、該ブロック内の各画素の黒画素割合を加算して罫線特徴とする。なお、かかる罫線特徴の次元数はＭ×Ｎ×２（水平・垂直）×Ｋ次元となる。
【００３８】
この際、黒画素割合があるしきい値よりも大きいときのみ加算することとすれば、ノイズや手書き記入文字などの変動要因を省くことができる。なぜなら、手書き記入文字やノイズは、罫線と比べて短い線分の集まりであり、区間中の黒画素割合も小さくなるからである。
【００３９】
次に、図１に示した罫線特徴抽出部１０２による罫線特徴の抽出例についてさらに具体的に説明する。図３は、図１に示した罫線特徴抽出部１０２による罫線特徴の抽出例を示す説明図である。
【００４０】
同図（ａ）に示す「ロの字」の入力画像がある場合に、区間の種類を１、区間長を３ドットとし、連続数のしきい値を考えないものとすると、水平方向についての各画素の黒画素割合は同図（ｂ）に示すようになり、垂直方向についての各画素の黒画素割合は同図（ｃ）のようになる。
【００４１】
そして、同図（ｄ）に示すように画像を３×３のブロックに分割し、同図（ｂ）に示す水平方向の各画素の黒画素割合をブロックごとに加算すると、同図（ｅ）に示す罫線特徴が得られる。また、同図（ｃ）に示す垂直方向の各画素の黒画素割合をブロックごとに加算すると、同図（ｆ）に示す罫線特徴が得られる。
【００４２】
このように、この罫線特徴抽出部１０２では、黒画素割合および罫線特徴を特徴量としたので、罫線の線分の途切れを補間する処理を必要とせず、また、回転補正などの処理で罫線の線分がとぎれたとしても安定して特徴量を取得することができる。
【００４３】
また、図２に示したように区間を複数持つと、様々な長さの罫線の特徴を忠実に得ることができる。なお、本実施の形態ではおこなっていないが、特徴抽出前に入力画像について罫線を太めるような処理をおこない、回転による変動を押さえることもできる。また、ぼかし処理などの文字認識で広く知られた認識率をあげるための様々な処理を適用して、位置ずれに強い特徴量などを取得することもできる。
【００４４】
次に、帳票を判別時の比較対象として辞書登録する場合の処理手順について説明する。図４は、帳票を判別時の比較対象として辞書登録する場合の処理手順を示すフローチャートである。
【００４５】
同図に示すように、帳票を判別時の比較対象として辞書登録する場合には、まず最初に帳票の画像を画像入力部１０１から取り込み（ステップＳ４０１）、必要に応じて画像の前処理をおこなう（ステップＳ４０２）。ただし、この前処理には線分の補間処理などは含まれない。
【００４６】
その後、罫線特徴抽出部１０２が、あらかじめ指定された区間についての水平・垂直方向の黒画素割合を算定し（ステップＳ４０３）、この黒画素割合をブロックごとに加算して罫線特徴を抽出する（ステップＳ４０４）
【００４７】
そして、辞書作成部１０３は、罫線特徴抽出部１０２により抽出された罫線特徴を罫線特徴辞書１０４に登録した後（ステップＳ４０５）、この罫線特徴を罫線特徴辞書１０４に過去に登録された罫線特徴と照合して判別可能であるか否かを確認する（ステップＳ４０６〜Ｓ４０７）。
その結果、判別可能でない場合には（ステップＳ４０７否定）、特定領域辞書１０５に特定領域情報（特定領域の画像データ）を追加登録する処理を繰り返し（ステップＳ４０８）、判別可能となった時点で（ステップＳ４０７肯定）、処理を終了する。
【００４８】
たとえば、文字列によって詳細判定をおこなう場合には、あらかじめ各帳票上の特徴のある特定領域（タイトルや会社名等の文字列）内の文字列（テキストデータ）とその位置を登録することになる。
【００４９】
上記一連の処理をおこなうことにより、帳票の判別に先立って、各種帳票の罫線特徴および画像データを罫線特徴辞書１０４および特定領域辞書１０５にそれぞれ辞書登録することができる。
【００５０】
次に、図１に示した帳票判別装置１０による帳票の判別処理手順について説明する。図５は、図１に示した帳票判別装置１０による帳票の判別処理手順を示すフローチャートである。
【００５１】
同図に示すように、帳票の種別を判別する場合には、まず最初に帳票の画像を画像入力部１０１から取り込み（ステップＳ５０１）、必要に応じて画像の前処理をおこなう（ステップＳ５０２）。ただし、この前処理には線分の補間処理などは含まれない。
【００５２】
その後、罫線特徴抽出部１０２が、あらかじめ指定された区間についての水平・垂直方向の黒画素割合を算定し（ステップＳ５０３）、この黒画素割合をブロックごとに加算して罫線特徴を抽出する（ステップＳ５０４）
【００５３】
そして、罫線特徴照合部１０６が、罫線特徴抽出部１０２により抽出された罫線特徴と罫線特徴辞書１０４に登録された罫線特徴と照合して（ステップＳ５０５）、距離値が所定のしきい値以内であるか否かを調べ、この距離順にしたがって帳票の候補を近い順にソートしておく。
【００５４】
そして、所定のしきい値以内である場合には、詳細判定部１０７により詳細判定をおこなって（ステップＳ５０６）、判定結果を出力し（ステップＳ５０７）、所定のしきい値内でない場合には、そのまま詳細判定部１０７を介して判定結果を出力する（ステップＳ５０７）。
【００５５】
すなわち、かかる帳票の候補のうち、１位と２位との間があるしきい値以上離れていれば１位のものを判定結果として出力することになるが、両者が離れていないときには、特定領域の文字列を認識し、それでも駄目なら別の特定領域も認識することになる。
【００５６】
上記一連の処理をおこなうことにより、罫線特徴辞書１０４および特定領域辞書１０５に基づく罫線特徴並びに特定領域内の画像データを利用した帳票の判別をおこなうことができる。なお、特定領域内から切り出した文字列を文字認識してテキストデータと比較して判別をおこなってもよい。
【００５７】
上述してきたように、本実施の形態では、罫線特徴抽出部１０２が判別対象となる帳票の黒画素割合を求めるとともに、該黒画素割合をブロックごとに加算して罫線特徴を抽出し、罫線特徴照合部１０６が罫線特徴辞書１０４に登録済みの罫線特徴と照合して帳票を判別し、これでも判別できない場合には、詳細判定部１０７が特定領域の画像データを特定領域辞書１０５に登録した画像データ（文字など）と照合するよう構成したので、入力画像の罫線の情報の変動や手書き記入文字などの変動要因を含んでいる場合であっても、安定した特徴量を取得することができ、もって帳票の種類を精度良く判別することができる。なお、区間長としては、たとえば、１ｃｍ、２ｃｍ、４ｃｍ、８ｃｍなどを用いるとよい。
【００５８】
【発明の効果】
以上説明したように、請求項１の発明によれば、入力画像または参照画像の画像データの各画素を注目画素とした水平方向及び垂直方向に連接する所定長の画素列中に占める黒画素割合を該画素列の長さを変えつつ繰り返し算出して当該注目画素に対応する複数の黒画素割合を算定しておき、画像データを複数のブロックに分割し、該分割した各ブロックごとにブロック内に位置する各画素に対応する複数の黒画素割合を同一方向、かつ、画素列長同一のものごとにそれぞれ加算して画像データの特徴量を抽出するよう構成したので、入力画像の罫線の情報の変動や手書き記入文字などの変動要因を含んでいる場合であっても、安定した特徴量を取得することができ、もって帳票の種類を精度良く判別することが可能な帳票類判別装置が得られるという効果を奏する。
【００５９】
また、請求項２の発明によれば、抽出された参照画像に対応する特徴量を記憶手段に記憶しておき、入力画像に対応する特徴量が抽出された際に、該入力画像に対応する特徴量を記憶手段に記憶した参照画像に対応する特徴量と比較して帳票類を判別するよう構成したので、入力画像と参照画像の照合および判別を迅速かつ効率良くおこなうことが可能な帳票類判別装置が得られるという効果を奏する。
【００６０】
また、請求項３の発明によれば、記憶手段に記憶した参照画像の特徴量と入力画像に対応する特徴量との類似度にしたがって複数の帳票類候補を取得し、取得した各帳票類候補の参照画像の画像データと入力画像の画像データに基づいて入力画像に対応する参照画像を特定するよう構成したので、罫線に基づく特徴量によって帳票類が判別できない場合であっても、該帳票類に印刷された文字などに基づいて帳票類を正確に判別することが可能な帳票類判別装置が得られるという効果を奏する。
【００６１】
また、請求項４の発明によれば、入力画像または参照画像の画像データの各画素を注目画素とした水平方向及び垂直方向に連接する所定長の画素列中に占める黒画素割合を該画素列の長さを変えつつ繰り返し算出して当該注目画素に対応する複数の黒画素割合を算定しておき、画像データを複数のブロックに分割し、該分割した各ブロックごとにブロック内に位置する各画素に対応する複数の黒画素割合を同一方向、かつ、画素列長同一のものごとにそれぞれ加算して画像データの特徴量を抽出するよう構成したので、入力画像の罫線の情報の変動や手書き記入文字などの変動要因を含んでいる場合であっても、安定した特徴量を取得することができ、もって帳票の種類を精度良く判別することが可能な帳票類判別方法が得られるという効果を奏する。
【００６２】
また、請求項５の発明によれば、抽出された参照画像に対応する特徴量を記憶部に格納しておき、入力画像に対応する特徴量が抽出された際に、該入力画像に対応する特徴量を記憶手段に記憶した参照画像に対応する特徴量と比較して帳票類を判別するよう構成したので、入力画像と参照画像の照合および判別を迅速かつ効率良くおこなうことが可能な帳票類判別方法が得られるという効果を奏する。
【００６３】
また、請求項６の発明によれば、記憶部に格納した参照画像の特徴量と入力画像に対応する特徴量との類似度にしたがって複数の帳票類候補を取得し、取得した各帳票類候補の参照画像の画像データと入力画像の画像データに基づいて入力画像に対応する参照画像を特定するよう構成したので、罫線に基づく特徴量によって帳票類が判別できない場合であっても、該帳票類に印刷された文字などに基づいて帳票類を正確に判別することが可能な帳票類判別方法が得られるという効果を奏する。
【００６４】
また、請求項７の発明によれば、請求項４〜６のいずれか一つに記載された方法をコンピュータに実行させるプログラムを記録したことで、そのプログラムを機械読み取り可能となり、これによって、請求項４〜６のいずれか一つの動作をコンピュータによって実現することが可能な記録媒体が得られるという効果を奏する。
【図面の簡単な説明】
【図１】この発明の実施の形態で用いる帳票判別装置の構成を示す機能ブロック図である。
【図２】図１に示した罫線特徴抽出部による罫線特徴の抽出処理の概念を説明するための説明図である。
【図３】図１に示した罫線特徴抽出部による罫線特徴の抽出例を示す説明図である。
【図４】帳票を判別時の比較対象として辞書登録する場合の処理手順を示すフローチャートである。
【図５】図１に示した帳票判別装置による帳票の判別処理手順を示すフローチャートである。
【図６】本実施の形態で判別対象とする帳票の一例を示す図である。
【図７】図１に示した詳細判定部により詳細判定される帳票を説明するための説明図である。
【符号の説明】
１０ 帳票判別装置
１０１ 画像入力部
１０２ 罫線特徴抽出部
１０３ 辞書作成部
１０４ 罫線特徴辞書
１０５ 特定領域辞書
１０６ 罫線特徴照合部
１０７ 詳細判定部
１０８ 出力部
【発明の属する技術分野】
この発明は、判別対象となる帳票類の入力画像の画像データの特徴量をあらかじめ記憶した参照画像の画像データの特徴量と比較して該帳票類を判別する帳票類判別装置、帳票類判別方法、およびこれらの方法をコンピュータに実行させるプログラムを記録したコンピュータ読み取り可能な記録媒体に関し、特に、帳票類の本質的特徴である罫線を利用して該帳票類を判別する場合に、画像の変動に起因する判別精度の低下を防ぎ、もって精度良く帳票類を判別することができる帳票類判別装置、帳票類判別方法、および記録媒体に関する。
【０００２】
【従来の技術】
従来、異なる種類の帳票を連続して印鑑照合したり、該帳票に書き込まれた文字を認識するような場合に、各帳票のフォーマットはそれぞれ異なるため、毎回帳票の種類を判別し、判別した帳票のフォーマットに基づいて印鑑照合や文字認識をおこなう必要がある。
【０００３】
ここで、各帳票の所定の位置に判別コードや判別マークをあらかじめ印刷しておき、この判別コードや判別マークを確認して帳票の種類を判別することが多いが、必ずしも各企業間で判別コードや判別マークを付与するルールが合意されているわけではないので、この判別コードや判別マークのみで帳票を正確に判別できない場合がある。
【０００４】
このため、判別コードや判別マークによることなく帳票を判別する技術が知られており、たとえば特開平４−２６８６８５号公報には、入力された帳票画像データから罫線の水平、垂直方向の線分を抽出して複数エリアに分割し、エリアごとに抽出された線分の方向、長さ、位置を用いて、ベクトルパターン化して標準パターンの特徴ベクトルと比較照合する帳票類の種類判別方法が開示されている。
【０００５】
【発明が解決しようとする課題】
しかしながら、この従来技術のように線分を抽出して特徴量とする場合には、画像の変動、たとえばスキャナの特性や回転補正などで線分が途切れてしまうことがある。このため、線分間の距離がある一定のしきい値以下であれば２線分をつなぐ補間処理などをおこなう必要が生ずる。
【０００６】
しかし、かかる２線分の距離は画像の変動によって変化するものであり、線分の距離がしきい値付近の場合には、補間処理において、参照画像の特徴量抽出時と判別処理時で異なった動作をする可能性があり、帳票を正確に判別できなくなるという問題がある。
【０００７】
具体的には、スキャナの特性や回転補正などで途切れた線分を補間する処理をおこなう場合には、所定の距離内の線分をつなぐことになるので、途切れた線分だけでなく、本来別個の２本の線分までをもつないでしまう可能性がある。たとえば、図６に示す帳票の住所欄の郵便番号記入欄の各矩形枠を、２本の水平方向の直線として捉えてしまい、登録時と異なる動作（つなぎ処理をおこなったり、おこなわなかったり）をすることにより、特徴量の変動が大きく、性能が不安定である。
【０００８】
そこで、帳票の本質的特徴である罫線を利用して該帳票を判別する場合に、画像の変動に起因する判別精度の低下をいかに低減するかが極めて重要な課題となっている。
【０００９】
この発明は、上述した従来技術による問題点を解消するためになされたものであり、帳票類の本質的特徴である罫線を利用して該帳票類を判別する場合に、画像の変動などに起因する判別精度の低下を防ぎ、もって精度良く帳票類を判別することができる帳票類判別装置、帳票類判別方法、およびこれらの方法をコンピュータに実行させるプログラムを記録したコンピュータ読み取り可能な記録媒体を提供することを目的とする。
【００１０】
【課題を解決するための手段】
上述した課題を解決し、目的を達成するため、請求項１の発明に係る帳票類判別装置は、判別対象となる帳票類の入力画像の画像データの特徴量をあらかじめ記憶した参照画像の画像データの特徴量と比較して前記帳票類を判別する帳票類判別装置において、前記入力画像または参照画像の画像データの各画素を注目画素とした水平方向及び垂直方向に連接する所定長の画素列中に占める黒画素割合を該画素列の長さを変えつつ繰り返し算出して当該注目画素に対応する複数の黒画素割合を算定する算定手段と、前記画像データを複数のブロックに分割し、該分割した各ブロックごとにブロック内に位置する各画素に対応する複数の黒画素割合を同一方向、かつ、画素列長同一のものごとにそれぞれ加算して前記画像データの特徴量を抽出する抽出手段と、を備えたことを特徴とする。
【００１１】
また、請求項２の発明に係る帳票類判別装置は、請求項１の発明において、前記抽出手段により抽出された参照画像に対応する特徴量を記憶する記憶手段と、前記抽出手段により前記入力画像に対応する特徴量が抽出された際に、該入力画像に対応する特徴量を前記記憶手段に記憶した参照画像に対応する特徴量と比較して前記帳票類を判別する判別手段と、をさらに備えたことを特徴とする。
【００１２】
また、請求項３の発明に係る帳票類判別装置は、請求項２の発明において、前記判別手段は、前記記憶手段に記憶した参照画像の特徴量と前記入力画像に対応する特徴量との類似度にしたがって複数の帳票類候補を取得する候補取得手段と、前記候補取得手段により取得された各帳票類候補の参照画像の画像データと前記入力画像の画像データに基づいて前記入力画像に対応する参照画像を特定する特定手段と、を備えたことを特徴とする。
【００１３】
また、請求項４の発明に係る帳票類判別方法は、判別対象となる帳票類の入力画像の画像データの特徴量をあらかじめ記憶した参照画像の画像データの特徴量と比較して前記帳票類を判別する帳票類判別方法において、前記入力画像または参照画像の画像データの各画素を注目画素とした水平方向及び垂直方向に連接する所定長の画素列中に占める黒画素割合を該画素列の長さを変えつつ繰り返し算出して当該注目画素に対応する複数の黒画素割合を算定する算定工程と、前記画像データを複数のブロックに分割し、該分割した各ブロックごとにブロック内に位置する各画素に対応する複数の黒画素割合を同一方向、かつ、画素列長同一のものごとにそれぞれ加算して前記画像データの特徴量を抽出する抽出工程と、を含んだことを特徴とする。
【００１４】
また、請求項５の発明に係る帳票類判別方法は、請求項４の発明において、前記抽出工程により抽出された参照画像に対応する特徴量を記憶部に格納する格納工程と、前記抽出工程により前記入力画像に対応する特徴量が抽出された際に、該入力画像に対応する特徴量を前記記憶部に格納された参照画像に対応する特徴量と比較して前記帳票類を判別する判別工程と、をさらに含んだことを特徴とする。
【００１５】
また、請求項６の発明に係る帳票類判別方法は、請求項７の発明において、前記判別工程は、前記記憶部に格納された参照画像の特徴量と前記入力画像に対応する特徴量との類似度にしたがって複数の帳票類候補を取得する候補取得工程と、前記候補取得工程により取得された各帳票類候補の参照画像の画像データと前記入力画像の画像データに基づいて前記入力画像に対応する参照画像を特定する特定工程と、を含んだことを特徴とする。
【００１６】
また、請求項７の発明に係る記録媒体は、請求項４〜６のいずれか一つに記載された方法をコンピュータに実行させるプログラムを記録したことで、そのプログラムを機械読み取り可能となり、これによって、請求項４〜６のいずれか一つの動作をコンピュータによって実現することができる。
【００１７】
【発明の実施の形態】
以下に添付図面を参照して、この発明に係る帳票類判別装置、帳票類判別方法、およびその方法をコンピュータに実行させるプログラムを記録したコンピュータ読み取り可能な記録媒体の好適な実施の形態を詳細に説明する。
【００１８】
図１は、本実施の形態で用いる帳票判別装置の構成を示す機能ブロック図である。同図に示す帳票判別装置１０は、あらかじめ参照画像の特徴量を辞書として登録しておき、判別対象となる帳票の画像を入力したならば、この入力画像の特徴量を抽出して辞書と比較することにより、帳票の種別を判定する装置である。
【００１９】
ここで、この帳票判別装置１０で用いる特徴量は、帳票にあらかじめ印刷された該帳票の本質的内容をなす罫線を考慮した黒画素割合であるが、この装置１０では、線分補間処理などはおこなっていない。その理由は、かかる線分補間処理をおこなうと判別精度が低下するおそれがあるからである。なお、この黒画素割合とは、注目画素から水平方向または垂直方向の所定区間の画素列内に含まれる黒画素の割合のことであり、画像データの各画素ごとに求める値である。
【００２０】
また、たとえば、罫線が全く同一で、印刷される文字のみが異なるというように、この罫線を考慮した黒画素割合のみでは帳票種別が判定できない場合があるので、この帳票判別装置１０では、かかる場合に特定領域内の画像データそのもの（文字など）を利用して詳細判別をおこなうこととしている。
【００２１】
図１に示すように、この帳票判別装置１０は、画像入力部１０１と、罫線特徴抽出部１０２と、辞書作成部１０３と、罫線特徴辞書１０４と、特定領域辞書１０５と、罫線特徴照合部１０６と、詳細判定部１０７と、出力部１０８とからなる。なお、この罫線特徴抽出部１０２は請求項１の算定手段および抽出手段に対応し、罫線特徴辞書１０４は請求項２の記憶手段に対応し、罫線特徴照合部１０６および詳細判定部１０７は請求項２の判別手段に対応する。
【００２２】
画像入力部１０１は、帳票の画像データを光学的に入力するスキャナであり、入力した画像データを罫線特徴抽出部１０２に出力する。なお、この画像入力部１０１では、白画素が’０’の画素値を持ち黒画素が’１’の画素値となる２値画像を罫線特徴抽出部１０２に出力するものとする。
【００２３】
罫線特徴抽出部１０２は、画像入力部１０１から受け取った２値画像データから罫線特徴（特徴量）を抽出する処理部であり、具体的には、参照画像を入力した場合には、この罫線特徴および画像データを辞書作成部１０３に出力し、判別対象となる画像を入力した場合には、この罫線特徴および画像データを罫線特徴照合部１０６に出力する。なお、参照画像の登録または入力画像の判別は、図示しない切換スイッチなどを用いておこなう。
【００２４】
辞書作成部１０３は、罫線特徴抽出部１０２から参照画像の罫線特徴および画像データを受け取った際に、これらの情報に基づいて辞書の作成または追加をおこなう処理部であり、具体的には、罫線特徴および帳票の種別を対応づけて罫線特徴辞書１０４に登録するとともに、該帳票の一部（特定領域）の画像データを帳票の種別と対応づけて特定領域辞書１０５に登録する。
【００２５】
罫線特徴辞書１０４は、各帳票の種別ごとに罫線特徴を対応づけて記憶した辞書であり、特定領域辞書１０５は、各帳票の種別ごとに特定領域の画像データを対応づけて記憶した辞書である。なお、この特定領域辞書１０５は、各帳票の種別ごとに特定領域の画像データに含まれる文字の内容をテキストデータとして記憶することもできる。この際、画像データ自身は記憶しない。
【００２６】
罫線特徴照合部１０６は、判別対象となる帳票の画像データの罫線特徴（特徴量）と罫線特徴辞書１０４に記憶した各参照画像の罫線特徴（特徴量）とを照合し、判別対象となる画像データとの距離に基づいて、複数の候補を選択して画像データとともに詳細判定部１０７に出力する処理部である。
【００２７】
なお、かかる照合処理としては、従来の文字認識などで広く使用されている手法を適用することができ、たとえばユークリッド距離などに基づいて識別することができる。
【００２８】
詳細判定部１０７は、罫線特徴照合部１０６から受け取った複数の候補のうちいずれの候補が最も入力画像に近いかを詳細判定する処理部であり、具体的には、罫線特徴照合部１０６から受け取った判別対象となる帳票の画像データから特定の領域の画像データを切り出し、この画像データを特定領域辞書１０５に登録した画像データと照合する。
【００２９】
たとえば、図７（ａ）および（ｂ）に示すように、２つの帳票の罫線が全く同一である場合には、罫線特徴だけでは帳票の種別を判定することができないので、入力画像と参照画像の各特定領域内に含まれる文字（帳票タイトルや会社名などの帳票の特徴をなす文字列やロゴなど）を切り出して比較する。
【００３０】
また、参照画像の各特定領域内に含まれる文字（帳票タイトルや会社名などの帳票の特徴をなす文字列など）を切り出して、文字認識および知識処理を施し、参照画像の特定領域として登録した文字の内容のテキストデータと比較する。
【００３１】
出力部１０８は、詳細判定部１０７から受け取った判定結果を出力する処理部である。この判定結果としては、判別対象となる帳票に最も近い登録帳票を出力することができるが、複数の候補を順番付けして出力することもできる。
【００３２】
次に、図１に示した罫線特徴抽出部１０２による罫線特徴の抽出処理についてさらに具体的に説明する。図２は、図１に示した罫線特徴抽出部１０２による罫線特徴の抽出処理の概念を説明するための説明図である。
【００３３】
同図（ａ）および（ｂ）に示すように、この罫線特徴抽出部１０２では、注目画素を中心として、水平・垂直方向それぞれについて区間Ｐｉ（ｉ＝１，２，３，…，Ｋ）（区間長ｐｉ×２+１（ドット））の中に含まれる黒画素の割合（黒画素割合）を算出している。
【００３４】
具体的には、同図（ａ）に示す水平方向の区間１の場合には、注目画素から左右に８画素までの画素値を調べる。ここでは、
区間長 ＝ ８×２＋１ ＝１７ドット
区間内の黒画素数 ＝ １１ドット
となる。
【００３５】
ただし、ノイズや垂直方向の罫線（計数方向とは違う方向の罫線）などの影響をなくすために、黒画素の連続数があるしきい値以下のものは計数しないこととする。たとえば、同図（ａ）では、黒画素ＡおよびＢはその連続数が１であるので計数しない。
【００３６】
このため、
黒画素割合 ＝ （１１―２）／１７ ＝ ０．５２９
となる。なお、水平方向の区間２および３、同図（ｂ）に示す垂直方向についても同様に求めることになる。
【００３７】
その後、帳票の画像をＭ×Ｎのブロックに分割し、該ブロック内の各画素の黒画素割合を加算して罫線特徴とする。なお、かかる罫線特徴の次元数はＭ×Ｎ×２（水平・垂直）×Ｋ次元となる。
【００３８】
この際、黒画素割合があるしきい値よりも大きいときのみ加算することとすれば、ノイズや手書き記入文字などの変動要因を省くことができる。なぜなら、手書き記入文字やノイズは、罫線と比べて短い線分の集まりであり、区間中の黒画素割合も小さくなるからである。
【００３９】
次に、図１に示した罫線特徴抽出部１０２による罫線特徴の抽出例についてさらに具体的に説明する。図３は、図１に示した罫線特徴抽出部１０２による罫線特徴の抽出例を示す説明図である。
【００４０】
同図（ａ）に示す「ロの字」の入力画像がある場合に、区間の種類を１、区間長を３ドットとし、連続数のしきい値を考えないものとすると、水平方向についての各画素の黒画素割合は同図（ｂ）に示すようになり、垂直方向についての各画素の黒画素割合は同図（ｃ）のようになる。
【００４１】
そして、同図（ｄ）に示すように画像を３×３のブロックに分割し、同図（ｂ）に示す水平方向の各画素の黒画素割合をブロックごとに加算すると、同図（ｅ）に示す罫線特徴が得られる。また、同図（ｃ）に示す垂直方向の各画素の黒画素割合をブロックごとに加算すると、同図（ｆ）に示す罫線特徴が得られる。
【００４２】
このように、この罫線特徴抽出部１０２では、黒画素割合および罫線特徴を特徴量としたので、罫線の線分の途切れを補間する処理を必要とせず、また、回転補正などの処理で罫線の線分がとぎれたとしても安定して特徴量を取得することができる。
【００４３】
また、図２に示したように区間を複数持つと、様々な長さの罫線の特徴を忠実に得ることができる。なお、本実施の形態ではおこなっていないが、特徴抽出前に入力画像について罫線を太めるような処理をおこない、回転による変動を押さえることもできる。また、ぼかし処理などの文字認識で広く知られた認識率をあげるための様々な処理を適用して、位置ずれに強い特徴量などを取得することもできる。
【００４４】
次に、帳票を判別時の比較対象として辞書登録する場合の処理手順について説明する。図４は、帳票を判別時の比較対象として辞書登録する場合の処理手順を示すフローチャートである。
【００４５】
同図に示すように、帳票を判別時の比較対象として辞書登録する場合には、まず最初に帳票の画像を画像入力部１０１から取り込み（ステップＳ４０１）、必要に応じて画像の前処理をおこなう（ステップＳ４０２）。ただし、この前処理には線分の補間処理などは含まれない。
【００４６】
その後、罫線特徴抽出部１０２が、あらかじめ指定された区間についての水平・垂直方向の黒画素割合を算定し（ステップＳ４０３）、この黒画素割合をブロックごとに加算して罫線特徴を抽出する（ステップＳ４０４）
【００４７】
そして、辞書作成部１０３は、罫線特徴抽出部１０２により抽出された罫線特徴を罫線特徴辞書１０４に登録した後（ステップＳ４０５）、この罫線特徴を罫線特徴辞書１０４に過去に登録された罫線特徴と照合して判別可能であるか否かを確認する（ステップＳ４０６〜Ｓ４０７）。
その結果、判別可能でない場合には（ステップＳ４０７否定）、特定領域辞書１０５に特定領域情報（特定領域の画像データ）を追加登録する処理を繰り返し（ステップＳ４０８）、判別可能となった時点で（ステップＳ４０７肯定）、処理を終了する。
【００４８】
たとえば、文字列によって詳細判定をおこなう場合には、あらかじめ各帳票上の特徴のある特定領域（タイトルや会社名等の文字列）内の文字列（テキストデータ）とその位置を登録することになる。
【００４９】
上記一連の処理をおこなうことにより、帳票の判別に先立って、各種帳票の罫線特徴および画像データを罫線特徴辞書１０４および特定領域辞書１０５にそれぞれ辞書登録することができる。
【００５０】
次に、図１に示した帳票判別装置１０による帳票の判別処理手順について説明する。図５は、図１に示した帳票判別装置１０による帳票の判別処理手順を示すフローチャートである。
【００５１】
同図に示すように、帳票の種別を判別する場合には、まず最初に帳票の画像を画像入力部１０１から取り込み（ステップＳ５０１）、必要に応じて画像の前処理をおこなう（ステップＳ５０２）。ただし、この前処理には線分の補間処理などは含まれない。
【００５２】
その後、罫線特徴抽出部１０２が、あらかじめ指定された区間についての水平・垂直方向の黒画素割合を算定し（ステップＳ５０３）、この黒画素割合をブロックごとに加算して罫線特徴を抽出する（ステップＳ５０４）
【００５３】
そして、罫線特徴照合部１０６が、罫線特徴抽出部１０２により抽出された罫線特徴と罫線特徴辞書１０４に登録された罫線特徴と照合して（ステップＳ５０５）、距離値が所定のしきい値以内であるか否かを調べ、この距離順にしたがって帳票の候補を近い順にソートしておく。
【００５４】
そして、所定のしきい値以内である場合には、詳細判定部１０７により詳細判定をおこなって（ステップＳ５０６）、判定結果を出力し（ステップＳ５０７）、所定のしきい値内でない場合には、そのまま詳細判定部１０７を介して判定結果を出力する（ステップＳ５０７）。
【００５５】
すなわち、かかる帳票の候補のうち、１位と２位との間があるしきい値以上離れていれば１位のものを判定結果として出力することになるが、両者が離れていないときには、特定領域の文字列を認識し、それでも駄目なら別の特定領域も認識することになる。
【００５６】
上記一連の処理をおこなうことにより、罫線特徴辞書１０４および特定領域辞書１０５に基づく罫線特徴並びに特定領域内の画像データを利用した帳票の判別をおこなうことができる。なお、特定領域内から切り出した文字列を文字認識してテキストデータと比較して判別をおこなってもよい。
【００５７】
上述してきたように、本実施の形態では、罫線特徴抽出部１０２が判別対象となる帳票の黒画素割合を求めるとともに、該黒画素割合をブロックごとに加算して罫線特徴を抽出し、罫線特徴照合部１０６が罫線特徴辞書１０４に登録済みの罫線特徴と照合して帳票を判別し、これでも判別できない場合には、詳細判定部１０７が特定領域の画像データを特定領域辞書１０５に登録した画像データ（文字など）と照合するよう構成したので、入力画像の罫線の情報の変動や手書き記入文字などの変動要因を含んでいる場合であっても、安定した特徴量を取得することができ、もって帳票の種類を精度良く判別することができる。なお、区間長としては、たとえば、１ｃｍ、２ｃｍ、４ｃｍ、８ｃｍなどを用いるとよい。
【００５８】
【発明の効果】
以上説明したように、請求項１の発明によれば、入力画像または参照画像の画像データの各画素を注目画素とした水平方向及び垂直方向に連接する所定長の画素列中に占める黒画素割合を該画素列の長さを変えつつ繰り返し算出して当該注目画素に対応する複数の黒画素割合を算定しておき、画像データを複数のブロックに分割し、該分割した各ブロックごとにブロック内に位置する各画素に対応する複数の黒画素割合を同一方向、かつ、画素列長同一のものごとにそれぞれ加算して画像データの特徴量を抽出するよう構成したので、入力画像の罫線の情報の変動や手書き記入文字などの変動要因を含んでいる場合であっても、安定した特徴量を取得することができ、もって帳票の種類を精度良く判別することが可能な帳票類判別装置が得られるという効果を奏する。
【００５９】
また、請求項２の発明によれば、抽出された参照画像に対応する特徴量を記憶手段に記憶しておき、入力画像に対応する特徴量が抽出された際に、該入力画像に対応する特徴量を記憶手段に記憶した参照画像に対応する特徴量と比較して帳票類を判別するよう構成したので、入力画像と参照画像の照合および判別を迅速かつ効率良くおこなうことが可能な帳票類判別装置が得られるという効果を奏する。
【００６０】
また、請求項３の発明によれば、記憶手段に記憶した参照画像の特徴量と入力画像に対応する特徴量との類似度にしたがって複数の帳票類候補を取得し、取得した各帳票類候補の参照画像の画像データと入力画像の画像データに基づいて入力画像に対応する参照画像を特定するよう構成したので、罫線に基づく特徴量によって帳票類が判別できない場合であっても、該帳票類に印刷された文字などに基づいて帳票類を正確に判別することが可能な帳票類判別装置が得られるという効果を奏する。
【００６１】
また、請求項４の発明によれば、入力画像または参照画像の画像データの各画素を注目画素とした水平方向及び垂直方向に連接する所定長の画素列中に占める黒画素割合を該画素列の長さを変えつつ繰り返し算出して当該注目画素に対応する複数の黒画素割合を算定しておき、画像データを複数のブロックに分割し、該分割した各ブロックごとにブロック内に位置する各画素に対応する複数の黒画素割合を同一方向、かつ、画素列長同一のものごとにそれぞれ加算して画像データの特徴量を抽出するよう構成したので、入力画像の罫線の情報の変動や手書き記入文字などの変動要因を含んでいる場合であっても、安定した特徴量を取得することができ、もって帳票の種類を精度良く判別することが可能な帳票類判別方法が得られるという効果を奏する。
【００６２】
また、請求項５の発明によれば、抽出された参照画像に対応する特徴量を記憶部に格納しておき、入力画像に対応する特徴量が抽出された際に、該入力画像に対応する特徴量を記憶手段に記憶した参照画像に対応する特徴量と比較して帳票類を判別するよう構成したので、入力画像と参照画像の照合および判別を迅速かつ効率良くおこなうことが可能な帳票類判別方法が得られるという効果を奏する。
【００６３】
また、請求項６の発明によれば、記憶部に格納した参照画像の特徴量と入力画像に対応する特徴量との類似度にしたがって複数の帳票類候補を取得し、取得した各帳票類候補の参照画像の画像データと入力画像の画像データに基づいて入力画像に対応する参照画像を特定するよう構成したので、罫線に基づく特徴量によって帳票類が判別できない場合であっても、該帳票類に印刷された文字などに基づいて帳票類を正確に判別することが可能な帳票類判別方法が得られるという効果を奏する。
【００６４】
また、請求項７の発明によれば、請求項４〜６のいずれか一つに記載された方法をコンピュータに実行させるプログラムを記録したことで、そのプログラムを機械読み取り可能となり、これによって、請求項４〜６のいずれか一つの動作をコンピュータによって実現することが可能な記録媒体が得られるという効果を奏する。
【図面の簡単な説明】
【図１】この発明の実施の形態で用いる帳票判別装置の構成を示す機能ブロック図である。
【図２】図１に示した罫線特徴抽出部による罫線特徴の抽出処理の概念を説明するための説明図である。
【図３】図１に示した罫線特徴抽出部による罫線特徴の抽出例を示す説明図である。
【図４】帳票を判別時の比較対象として辞書登録する場合の処理手順を示すフローチャートである。
【図５】図１に示した帳票判別装置による帳票の判別処理手順を示すフローチャートである。
【図６】本実施の形態で判別対象とする帳票の一例を示す図である。
【図７】図１に示した詳細判定部により詳細判定される帳票を説明するための説明図である。
【符号の説明】
１０ 帳票判別装置
１０１ 画像入力部
１０２ 罫線特徴抽出部
１０３ 辞書作成部
１０４ 罫線特徴辞書
１０５ 特定領域辞書
１０６ 罫線特徴照合部
１０７ 詳細判定部
１０８ 出力部
Claims (7)
- 判別対象となる帳票類の入力画像の画像データの特徴量を、あらかじめ記憶した参照画像の画像データの特徴量と比較して前記帳票類を判別する帳票類判別装置において、
前記入力画像または参照画像の画像データの各画素を注目画素とした水平方向及び垂直方向に連接する所定長の画素列中に占める黒画素割合を該画素列の長さを変えつつ繰り返し算出して当該注目画素に対応する複数の黒画素割合を算定する算定手段と、
前記画像データを複数のブロックに分割し、該分割した各ブロックごとにブロック内に位置する各画素に対応する複数の黒画素割合を同一方向、かつ、画素列長同一のものごとにそれぞれ加算して前記画像データの特徴量を抽出する抽出手段と、
を備えたことを特徴とする帳票類判別装置。 - 前記抽出手段により抽出された参照画像に対応する特徴量を記憶する記憶手段と、前記抽出手段により前記入力画像に対応する特徴量が抽出された際に、該入力画像に対応する特徴量を前記記憶手段に記憶した参照画像に対応する特徴量と比較して前記帳票類を判別する判別手段と、をさらに備えたことを特徴とする請求項１に記載の帳票類判別装置。
- 前記判別手段は、前記記憶手段に記憶した参照画像の特徴量と前記入力画像に対応する特徴量との類似度にしたがって複数の帳票類候補を取得する候補取得手段と、前記候補取得手段により取得された各帳票類候補の参照画像の画像データと前記入力画像の画像データに基づいて前記入力画像に対応する参照画像を特定する特定手段と、を備えたことを特徴とする請求項２に記載の帳票類判別装置。
- 判別対象となる帳票類の入力画像の画像データの特徴量を、あらかじめ記憶した参照画像の画像データの特徴量と比較して前記帳票類を判別する帳票類判別方法において、
前記入力画像または参照画像の画像データの各画素を注目画素とした水平方向及び垂直方向に連接する所定長の画素列中に占める黒画素割合を該画素列の長さを変えつつ繰り返し算出して当該注目画素に対応する複数の黒画素割合を算定する算定工程と、
前記画像データを複数のブロックに分割し、該分割した各ブロックごとにブロック内に位置する各画素に対応する複数の黒画素割合を同一方向、かつ、画素列長同一のものごとにそれぞれ加算して前記画像データの特徴量を抽出する抽出工程と、
を含んだことを特徴とする帳票類判別方法。 - 前記抽出工程により抽出された参照画像に対応する特徴量を記憶部に格納する格納工程と、前記抽出工程により前記入力画像に対応する特徴量が抽出された際に、該入力画像に対応する特徴量を前記記憶部に格納された参照画像に対応する特徴量と比較して前記帳票類を判別する判別工程と、をさらに含んだことを特徴とする請求項４に記載の帳票類判別方法。
- 前記判別工程は、前記記憶部に格納された参照画像の特徴量と前記入力画像に対応する特徴量との類似度にしたがって複数の帳票類候補を取得する候補取得工程と、前記候補取得工程により取得された各帳票類候補の参照画像の画像データと前記入力画像の画像データに基づいて前記入力画像に対応する参照画像を特定する特定工程と、を含んだことを特徴とする請求項５に記載の帳票類判別方法。
- 前記請求項４〜６のいずれか一つに記載された方法をコンピュータに実行させるプログラムを記録したことを特徴とするコンピュータ読み取り可能な記録媒体。
Priority Applications (6)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000095514A JP3842006B2 (ja) | 2000-03-30 | 2000-03-30 | 帳票類判別装置、帳票類判別方法、およびこれらの方法をコンピュータに実行させるプログラムを記録したコンピュータ読み取り可能な記録媒体 |
| TW090105576A TW504656B (en) | 2000-03-30 | 2001-03-09 | Device and method for discrimination of forms and computer readable recording medium stored with program for allowing computer to execute the same method |
| CNB011114630A CN1162803C (zh) | 2000-03-30 | 2001-03-14 | 票单类判别装置和方法 |
| CA002341108A CA2341108A1 (en) | 2000-03-30 | 2001-03-16 | Method and apparatus for identification of documents, and computer product |
| US09/810,709 US6813381B2 (en) | 2000-03-30 | 2001-03-19 | Method and apparatus for identification of documents, and computer product |
| EP01302487A EP1139272A3 (en) | 2000-03-30 | 2001-03-19 | Method and apparatus for identification of documents, and computer product |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000095514A JP3842006B2 (ja) | 2000-03-30 | 2000-03-30 | 帳票類判別装置、帳票類判別方法、およびこれらの方法をコンピュータに実行させるプログラムを記録したコンピュータ読み取り可能な記録媒体 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2001283152A JP2001283152A (ja) | 2001-10-12 |
| JP3842006B2 true JP3842006B2 (ja) | 2006-11-08 |
Family
ID=18610410
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2000095514A Expired - Fee Related JP3842006B2 (ja) | 2000-03-30 | 2000-03-30 | 帳票類判別装置、帳票類判別方法、およびこれらの方法をコンピュータに実行させるプログラムを記録したコンピュータ読み取り可能な記録媒体 |
Country Status (6)
| Country | Link |
|---|---|
| US (1) | US6813381B2 (ja) |
| EP (1) | EP1139272A3 (ja) |
| JP (1) | JP3842006B2 (ja) |
| CN (1) | CN1162803C (ja) |
| CA (1) | CA2341108A1 (ja) |
| TW (1) | TW504656B (ja) |
Families Citing this family (57)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3925112B2 (ja) * | 2001-06-20 | 2007-06-06 | 富士ゼロックス株式会社 | 画像処理装置 |
| US20040030780A1 (en) * | 2002-08-08 | 2004-02-12 | International Business Machines Corporation | Automatic search responsive to an invalid request |
| JP4420443B2 (ja) * | 2004-03-19 | 2010-02-24 | キヤノン株式会社 | 帳票認識装置及びその制御方法、プログラム |
| US7207004B1 (en) * | 2004-07-23 | 2007-04-17 | Harrity Paul A | Correction of misspelled words |
| US8156427B2 (en) | 2005-08-23 | 2012-04-10 | Ricoh Co. Ltd. | User interface for mixed media reality |
| US9384619B2 (en) | 2006-07-31 | 2016-07-05 | Ricoh Co., Ltd. | Searching media content for objects specified using identifiers |
| US7970171B2 (en) | 2007-01-18 | 2011-06-28 | Ricoh Co., Ltd. | Synthetic image and video generation from ground truth data |
| US8335789B2 (en) | 2004-10-01 | 2012-12-18 | Ricoh Co., Ltd. | Method and system for document fingerprint matching in a mixed media environment |
| US8156115B1 (en) | 2007-07-11 | 2012-04-10 | Ricoh Co. Ltd. | Document-based networking with mixed media reality |
| US8949287B2 (en) | 2005-08-23 | 2015-02-03 | Ricoh Co., Ltd. | Embedding hot spots in imaged documents |
| US8184155B2 (en) | 2007-07-11 | 2012-05-22 | Ricoh Co. Ltd. | Recognition and tracking using invisible junctions |
| US8600989B2 (en) | 2004-10-01 | 2013-12-03 | Ricoh Co., Ltd. | Method and system for image matching in a mixed media environment |
| US9171202B2 (en) | 2005-08-23 | 2015-10-27 | Ricoh Co., Ltd. | Data organization and access for mixed media document system |
| US8510283B2 (en) | 2006-07-31 | 2013-08-13 | Ricoh Co., Ltd. | Automatic adaption of an image recognition system to image capture devices |
| US8825682B2 (en) | 2006-07-31 | 2014-09-02 | Ricoh Co., Ltd. | Architecture for mixed media reality retrieval of locations and registration of images |
| US8521737B2 (en) | 2004-10-01 | 2013-08-27 | Ricoh Co., Ltd. | Method and system for multi-tier image matching in a mixed media environment |
| US8276088B2 (en) | 2007-07-11 | 2012-09-25 | Ricoh Co., Ltd. | User interface for three-dimensional navigation |
| US8385589B2 (en) | 2008-05-15 | 2013-02-26 | Berna Erol | Web-based content detection in images, extraction and recognition |
| US9373029B2 (en) * | 2007-07-11 | 2016-06-21 | Ricoh Co., Ltd. | Invisible junction feature recognition for document security or annotation |
| US8838591B2 (en) | 2005-08-23 | 2014-09-16 | Ricoh Co., Ltd. | Embedding hot spots in electronic documents |
| US8332401B2 (en) | 2004-10-01 | 2012-12-11 | Ricoh Co., Ltd | Method and system for position-based image matching in a mixed media environment |
| US8195659B2 (en) | 2005-08-23 | 2012-06-05 | Ricoh Co. Ltd. | Integration and use of mixed media documents |
| US8176054B2 (en) | 2007-07-12 | 2012-05-08 | Ricoh Co. Ltd | Retrieving electronic documents by converting them to synthetic text |
| US8856108B2 (en) | 2006-07-31 | 2014-10-07 | Ricoh Co., Ltd. | Combining results of image retrieval processes |
| US8156116B2 (en) | 2006-07-31 | 2012-04-10 | Ricoh Co., Ltd | Dynamic presentation of targeted information in a mixed media reality recognition system |
| US7702673B2 (en) | 2004-10-01 | 2010-04-20 | Ricoh Co., Ltd. | System and methods for creation and use of a mixed media environment |
| US9530050B1 (en) | 2007-07-11 | 2016-12-27 | Ricoh Co., Ltd. | Document annotation sharing |
| US8868555B2 (en) | 2006-07-31 | 2014-10-21 | Ricoh Co., Ltd. | Computation of a recongnizability score (quality predictor) for image retrieval |
| US9405751B2 (en) | 2005-08-23 | 2016-08-02 | Ricoh Co., Ltd. | Database for mixed media document system |
| US8369655B2 (en) | 2006-07-31 | 2013-02-05 | Ricoh Co., Ltd. | Mixed media reality recognition using multiple specialized indexes |
| JP2006148578A (ja) | 2004-11-19 | 2006-06-08 | Sharp Corp | 画像処理装置、画像読取装置、及び画像記録装置 |
| US20060167929A1 (en) * | 2005-01-25 | 2006-07-27 | Amit Chakraborty | Method for optimizing archival of XML documents |
| US9020966B2 (en) | 2006-07-31 | 2015-04-28 | Ricoh Co., Ltd. | Client device for interacting with a mixed media reality recognition system |
| US8676810B2 (en) | 2006-07-31 | 2014-03-18 | Ricoh Co., Ltd. | Multiple index mixed media reality recognition using unequal priority indexes |
| US9176984B2 (en) | 2006-07-31 | 2015-11-03 | Ricoh Co., Ltd | Mixed media reality retrieval of differentially-weighted links |
| US8201076B2 (en) | 2006-07-31 | 2012-06-12 | Ricoh Co., Ltd. | Capturing symbolic information from documents upon printing |
| US9063952B2 (en) | 2006-07-31 | 2015-06-23 | Ricoh Co., Ltd. | Mixed media reality recognition with image tracking |
| US8489987B2 (en) | 2006-07-31 | 2013-07-16 | Ricoh Co., Ltd. | Monitoring and analyzing creation and usage of visual content using image and hotspot interaction |
| JP4791295B2 (ja) * | 2006-08-31 | 2011-10-12 | 富士通株式会社 | 罫線抽出プログラム、罫線抽出装置、罫線抽出方法 |
| US20100100813A1 (en) * | 2008-10-20 | 2010-04-22 | Kabushiki Kaisha Toshiba | Document processing apparatus and document processing method |
| JP5361524B2 (ja) * | 2009-05-11 | 2013-12-04 | キヤノン株式会社 | パターン認識システム及びパターン認識方法 |
| US8385660B2 (en) | 2009-06-24 | 2013-02-26 | Ricoh Co., Ltd. | Mixed media reality indexing and retrieval for repeated content |
| JP4940270B2 (ja) * | 2009-07-06 | 2012-05-30 | シャープ株式会社 | 画像形成装置 |
| US8363947B2 (en) * | 2010-07-31 | 2013-01-29 | International Business Machines Corporation | Handwritten character recognition based on frequency variations in characters |
| JP6021812B2 (ja) | 2010-10-12 | 2016-11-09 | ニューヨーク・ユニバーシティ | タイルを利用してセンシングするための装置、一連のプレートを有するセンサ、マルチタッチ表面のためのオブジェクト識別及び方法 |
| US9058331B2 (en) | 2011-07-27 | 2015-06-16 | Ricoh Co., Ltd. | Generating a conversation in a social network based on visual search results |
| US8489585B2 (en) * | 2011-12-20 | 2013-07-16 | Xerox Corporation | Efficient document processing system and method |
| JP5862396B2 (ja) * | 2012-03-22 | 2016-02-16 | 富士ゼロックス株式会社 | 帳票判別装置及びプログラム |
| JP6459812B2 (ja) * | 2015-07-10 | 2019-01-30 | 富士ゼロックス株式会社 | 情報処理装置及び情報処理プログラム |
| US10372981B1 (en) * | 2015-09-23 | 2019-08-06 | Evernote Corporation | Fast identification of text intensive pages from photographs |
| CN105184946B (zh) * | 2015-10-20 | 2017-10-20 | 山大鲁能信息科技有限公司 | 一种防止选票堆积的电子票箱及其工作方法 |
| JP2017090974A (ja) * | 2015-11-02 | 2017-05-25 | 富士ゼロックス株式会社 | 画像処理装置及びプログラム |
| US11275933B2 (en) * | 2018-08-24 | 2022-03-15 | Genpact Luxembourg S.Á R.L | Systems and methods for segmentation of report corpus using visual signatures |
| JP7468004B2 (ja) * | 2020-03-11 | 2024-04-16 | 富士フイルムビジネスイノベーション株式会社 | 帳票処理装置及びプログラム |
| JP2021152696A (ja) * | 2020-03-24 | 2021-09-30 | 富士フイルムビジネスイノベーション株式会社 | 情報処理装置及びプログラム |
| US11409981B1 (en) * | 2021-03-31 | 2022-08-09 | Intuit, Inc. | Document classification using signal processing |
| JP7638187B2 (ja) | 2021-09-24 | 2025-03-03 | 株式会社日立情報通信エンジニアリング | 計算機及び帳票種別の識別方法 |
Family Cites Families (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3096481B2 (ja) | 1991-02-22 | 2000-10-10 | グローリー工業株式会社 | 帳票類の種類判別方法 |
| GB2272594A (en) * | 1992-11-04 | 1994-05-18 | Ibm | Determining the type of document image |
| JPH0721310A (ja) * | 1993-06-30 | 1995-01-24 | Matsushita Electric Ind Co Ltd | 文書認識装置 |
| US5521991A (en) * | 1993-10-29 | 1996-05-28 | International Business Machines Corporation | Method and system for fast forms recognition of document form images |
| US6226402B1 (en) * | 1996-12-20 | 2001-05-01 | Fujitsu Limited | Ruled line extracting apparatus for extracting ruled line from normal document image and method thereof |
| US6327387B1 (en) * | 1996-12-27 | 2001-12-04 | Fujitsu Limited | Apparatus and method for extracting management information from image |
| JP3369088B2 (ja) | 1997-11-21 | 2003-01-20 | 富士通株式会社 | 紙葉鑑別装置 |
| JP4235286B2 (ja) * | 1998-09-11 | 2009-03-11 | キヤノン株式会社 | 表認識方法及び装置 |
| JP3204245B2 (ja) * | 1999-04-27 | 2001-09-04 | インターナショナル・ビジネス・マシーンズ・コーポレーション | 罫線除去方法および装置 |
-
2000
- 2000-03-30 JP JP2000095514A patent/JP3842006B2/ja not_active Expired - Fee Related
-
2001
- 2001-03-09 TW TW090105576A patent/TW504656B/zh not_active IP Right Cessation
- 2001-03-14 CN CNB011114630A patent/CN1162803C/zh not_active Expired - Fee Related
- 2001-03-16 CA CA002341108A patent/CA2341108A1/en not_active Abandoned
- 2001-03-19 EP EP01302487A patent/EP1139272A3/en not_active Withdrawn
- 2001-03-19 US US09/810,709 patent/US6813381B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| EP1139272A2 (en) | 2001-10-04 |
| CN1315715A (zh) | 2001-10-03 |
| CA2341108A1 (en) | 2001-09-30 |
| JP2001283152A (ja) | 2001-10-12 |
| US20020018071A1 (en) | 2002-02-14 |
| US6813381B2 (en) | 2004-11-02 |
| TW504656B (en) | 2002-10-01 |
| EP1139272A3 (en) | 2005-01-12 |
| CN1162803C (zh) | 2004-08-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3842006B2 (ja) | 帳票類判別装置、帳票類判別方法、およびこれらの方法をコンピュータに実行させるプログラムを記録したコンピュータ読み取り可能な記録媒体 | |
| US6778703B1 (en) | Form recognition using reference areas | |
| JP3639126B2 (ja) | 住所認識装置及び住所認識方法 | |
| US6327386B1 (en) | Key character extraction and lexicon reduction for cursive text recognition | |
| JP5522408B2 (ja) | パターン認識装置 | |
| JP4787275B2 (ja) | セグメント化ベースの認識 | |
| US5067165A (en) | Character recognition method | |
| JP2734386B2 (ja) | 文字列読み取り装置 | |
| US20090041361A1 (en) | Character recognition apparatus, character recognition method, and computer product | |
| JP3294995B2 (ja) | 帳票読取装置 | |
| JPH0830732A (ja) | 文字認識方法 | |
| JPH07105308A (ja) | 書類上の金額フィールドの位置特定方法および識別方法 | |
| JPH05242292A (ja) | 分離方法 | |
| EP2220590A1 (en) | A method for processing optical character recognition (ocr) data, wherein the output comprises visually impaired character images | |
| JP4280355B2 (ja) | 文字認識装置 | |
| Baird | Global-to-local layout analysis | |
| JP2001022883A (ja) | 文字認識方式及び該文字認識方式の機能を実現させるための記録媒体 | |
| JP3998439B2 (ja) | 画像処理装置、画像処理方法およびこれらの方法をコンピュータに実行させるプログラム | |
| JP3374762B2 (ja) | 文字認識方法及びその装置 | |
| JPH10154191A (ja) | 帳票識別方法及び装置並びに帳票識別プログラムを記録した媒体 | |
| JPH07319880A (ja) | キーワード抽出・検索装置 | |
| JP2906758B2 (ja) | 文字読取装置 | |
| JP2003323586A (ja) | 帳票フォーム登録方法および帳票認識方法 | |
| JP4132234B2 (ja) | 文字認識方法および装置および文字認識プログラムを記録した記録媒体 | |
| JP2000099631A (ja) | パターン認識装置及びパターン認識方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20051212 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20060414 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060418 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060619 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20060808 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20060809 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090818 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100818 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110818 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110818 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120818 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120818 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130818 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130818 Year of fee payment: 7 |
|
| LAPS | Cancellation because of no payment of annual fees |