JP3930192B2 - Frame detection apparatus and frame detection method - Google Patents

Frame detection apparatus and frame detection method Download PDF

Info

Publication number
JP3930192B2
JP3930192B2 JP07506799A JP7506799A JP3930192B2 JP 3930192 B2 JP3930192 B2 JP 3930192B2 JP 07506799 A JP07506799 A JP 07506799A JP 7506799 A JP7506799 A JP 7506799A JP 3930192 B2 JP3930192 B2 JP 3930192B2
Authority
JP
Japan
Prior art keywords
frame
detected
frames
detecting
different
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP07506799A
Other languages
Japanese (ja)
Other versions
JP2000268126A (en
Inventor
孝道 船岡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Original Assignee
Toshiba Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp filed Critical Toshiba Corp
Priority to JP07506799A priority Critical patent/JP3930192B2/en
Publication of JP2000268126A publication Critical patent/JP2000268126A/en
Application granted granted Critical
Publication of JP3930192B2 publication Critical patent/JP3930192B2/en
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/22Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • G06V10/225Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition based on a marking or identifier characterising the area

Description

【0001】
【発明の属する技術分野】
この発明は、郵便物に記載された郵便番号枠を検出する枠検出装置及び枠検出方法に関する。
【0002】
【従来の技術】
近年、郵便物は、宛名自動読取区分機により、区分されるようになっている。この宛名自動読取区分機は、区分機、OCR(Optical Character Reader)、及びVCS(Video Coding System)を備えている。OCRは郵便物に記録された宛先を認識し、区分機がOCRの認識結果に基づき郵便物を区分する。VCSはOCRで認識されなかった郵便物の画像を表示するとともにこの郵便物の宛先情報の入力を受け付け、区分機がVCSから入力された宛先情報に基づき郵便物を区分する。
【0003】
上記したOCRによる宛先認識では、郵便番号認識が行われている。この郵便番号認識では、まず、郵便番号枠の検出が行われ、続いて、郵便番号枠内に記載された郵便番号が認識されるようになっている。
【0004】
【発明が解決しようとする課題】
ところが、新郵便番号制度の導入に伴って次のような問題が発生した。新郵便番号制度では、従来の5桁から7桁に郵便番号の桁数が増やされた。これにより、7つの郵便番号枠を含む新郵便番号枠郡が登場した。しかし、この新郵便番号枠郡に含まれる郵便番号枠は、桁数増加の影響から、枠同士が接触していることがあり、そのため、郵便番号枠の検出精度が落ち、結果的に、郵便番号の認識精度が低下した。黒色の郵便番号枠の場合、特に、この傾向が強くなる(黒枠は郵便番号と識別しずらいため)。
【0005】
黒色の郵便番号枠を検出するアルゴリズムではまず、郵便番号が書かれている固定領域内でラベル検出を行う。このとき、規定サイズ(郵便番号枠サイズ)のラベルが規定数(5個もしくは7個)検出された場合には問題ないが、規定外のサイズのラベルが規定外の数だけ検出されたときには、枠同士が接触しているものと判断し、検出された規定外のサイズのラベルが所定数に分割される。このとき、郵便番号枠とこの枠内に記載された郵便番号が同じ色(黒色)であったり、枠内ギリギリに郵便番号が記載されていたりすると、郵便番号枠が正確に検出できなくなる。
【0006】
この発明の目的は、上記したような事情に鑑み成されたものであって、郵便番号枠を正確に検出することが可能な枠検出装置及び枠検出方法を提供することにある。
【0007】
【課題を解決するための手段】
上記課題を解決し目的を達成するために、この発明の枠検出装置及び枠検出方法は、以下のように構成されている。
【0008】
この発明の枠検出装置は、複数の枠を含む枠郡の中から、同一サイズの規定枠を二つ以上検出するとともに、この規定枠と異なるサイズの異枠を検出する第1の検出手段と、前記第1の検出手段で検出された規定枠のサイズを検出する第2の検出手段と、前記第2の検出手段で検出された規定枠のサイズに基づき、前記第1の検出手段で検出された異枠の中から複数の規定枠を検出する第3の検出手段とを備えている。
【0009】
この発明の枠検出装置は、7つの郵便番号枠を含む郵便番号枠郡の中から、同一サイズの規定枠を検出するとともに、この規定枠と異なるサイズの異枠を検出する第1の検出手段と、前記第1の検出手段で検出された規定枠のサイズを検出する第2の検出手段と、前記第1の検出手段により規定枠が3個検出され、異枠が1個検出されたとき、前記第2の検出手段で検出された規定枠のサイズ、及び前記第1の検出手段で検出された異枠の短手方向の射影に基づき、前記第1の検出手段で検出された異枠の中から4個の規定枠を検出する第3の検出手段とを備えている。
【0010】
この発明の枠検出装置は、7つの郵便番号枠を含む郵便番号枠郡の中から、同一サイズの規定枠を検出するとともに、この規定枠と異なるサイズの異枠を検出する第1の検出手段と、前記第1の検出手段で検出された規定枠の短手方向及び長手方向のサイズを検出する第2の検出手段と、前記第1の検出手段により規定枠が3個検出され、異枠が1個検出されたとき、前記第2の検出手段で検出された規定枠の短手方向及び長手方向のサイズに基づき、前記第1の検出手段で検出された異枠の長手方向の一端から一つの規定枠を検出する第3の検出手段と、前記第3の検出手段により検出された一つの規定枠を前記異枠から切り離し、一つの規定枠が切り離された後に残った残存異枠の短手方向の射影を取り、この射影に基づき残存異枠の長手方向の両端を検出する第4の検出手段と、前記第2の検出手段により検出された規定枠の短手方向及び長手方向のサイズに基づき、前記第4の検出手段により検出された残存異枠の長手方向の両端の間を3分割して、この残存異枠の中から3個の規定枠を検出する第5の検出手段と、前記第5の検出手段で検出された3個の規定枠夫々の短手方向及び長手方向の射影を取り、この射影に基づき前記第5の検出手段で検出された3個の規定枠を確定する第6の確定手段とを備えている。
【0011】
この発明の枠検出装置は、7つの郵便番号枠を含む郵便番号枠郡の中から、同一サイズの規定枠を検出するとともに、この規定枠と異なるサイズの異枠を検出する第1の検出手段と、前記第1の検出手段で検出された規定枠のサイズを検出する第2の検出手段と、前記第1の検出手段により規定枠が5個検出され、異枠が1個検出されたとき、前記第2の検出手段で検出された規定枠のサイズに基づき、前記第1の検出手段で検出された異枠の中から2個の規定枠を検出する第3の検出手段とを備えている。
【0012】
この発明の枠検出装置は、7つの郵便番号枠を含む郵便番号枠郡の中から、同一サイズの規定枠を検出するとともに、この規定枠と異なるサイズの異枠を検出する第1の検出手段と、前記第1の検出手段で検出された規定枠の短手方向及び長手方向のサイズを検出する第2の検出手段と、前記第1の検出手段により規定枠が5個検出され、異枠が1個検出されたとき、前記第2の検出手段で検出された規定枠の短手方向及び長手方向のサイズに基づき、前記第1の検出手段で検出された異枠の長手方向の両端から2個の規定枠を検出する第3の検出手段と、前記第3の検出手段で検出された2個の規定枠夫々の短手方向及び長手方向の射影を取り、この射影に基づき前記第3の検出手段で検出された2個の規定枠を確定する第4の確定手段とを備えている。
【0013】
この発明の枠検出方法は、複数の枠を含む枠郡の中から、同一サイズの規定枠を二つ以上検出するとともに、この規定枠と異なるサイズの異枠を検出する第1のステップと、前記第1のステップで検出された規定枠のサイズを検出する第2のステップと、前記第2のステップで検出された規定枠のサイズに基づき、前記第1のステップで検出された異枠の中から複数の規定枠を検出する第3のステップとを備えている。
【0014】
この発明の枠検出方法は、7つの郵便番号枠を含む郵便番号枠郡の中から、同一サイズの規定枠を検出するとともに、この規定枠と異なるサイズの異枠を検出する第1のステップと、前記第1のステップで検出された規定枠の短手方向及び長手方向のサイズを検出する第2のステップと、前記第1のステップにより規定枠が3個検出され、異枠が1個検出されたとき、前記第2のステップで検出された規定枠の短手方向及び長手方向のサイズに基づき、前記第1のステップで検出された異枠の長手方向の一端から一つの規定枠を検出する第3のステップと、前記第3のステップにより検出された一つの規定枠を前記異枠から切り離し、一つの規定枠が切り離された後に残った残存異枠の短手方向の射影を取り、この射影に基づき残存異枠の長手方向の両端を検出する第4のステップと、前記第2のステップにより検出された規定枠の短手方向及び長手方向のサイズに基づき、前記第4のステップにより検出された残存異枠の長手方向の両端の間を3分割して、この残存異枠の中から3個の規定枠を検出する第5のステップと、前記第5のステップで検出された3個の規定枠夫々の短手方向及び長手方向の射影を取り、この射影に基づき前記第5のステップで検出された3個の規定枠を確定する第6のステップとを備えている。
【0015】
この発明の枠枠検出方法は、7つの郵便番号枠を含む郵便番号枠郡の中から、同一サイズの規定枠を検出するとともに、この規定枠と異なるサイズの異枠を検出する第1のステップと、前記第1のステップで検出された規定枠の短手方向及び長手方向のサイズを検出する第2のステップと、前記第1のステップにより規定枠が5個検出され、異枠が1個検出されたとき、前記第2のステップで検出された規定枠の短手方向及び長手方向のサイズに基づき、前記第1のステップで検出された異枠の長手方向の両端から2個の規定枠を検出する第3のステップと、前記第3のステップで検出された2個の規定枠夫々の短手方向及び長手方向の射影を取り、この射影に基づき前記第3のステップで検出された2個の規定枠を確定する第4のステップとを備えている。
【0016】
【発明の実施の形態】
以下、この発明の実施の形態について図面を参照して説明する。
【0017】
図1は、郵便物処理装置の概略構成を示すブロック図である。
【0018】
図1に示す郵便物処理装置は、郵便物の画像を読取り、この読取りにより得られる郵便物画像データから宛先情報を検出して宛先を認識し、宛先の認識結果に基づき郵便物を区分する。図1に示すように郵便物処理装置には、主制御部1、区分機2、画像読取部3、OCR4、及びVCS5が設けられている。
【0019】
主制御部1は、郵便物処理装置全体を制御する。区分機2は、郵便物を一枚ずつ画像読取部3に提供する。画像読取部3は、区分機2により提供される郵便物の画像を読取り、この読取りにより得られる郵便物画像データをOCR4に提供する。OCR4は、画像読取部3により提供される郵便物画像データから宛先情報を検出して宛先を認識する。VCS5には記憶部5aが設けられており、この記憶部5aにはオンラインOCR4から提供される郵便物画像データ及び宛先認識データが蓄積される。VCS5は、記憶部5aに蓄積された郵便物画像データ及び宛先認識データに基づき、OCR4で認識されなかった郵便物に対するビデオコーディング処理を行う。VCS5には、ディスプレイ5b及びキーボード5cが設けられており、ディスプレイ5bには、OCR4で認識されなかった郵便物(郵便物画像データ)が表示され、このディスプレイに表示された郵便物に対する宛先情報の入力がキーボード5cにより受け付けられる。キーボード5cを介しての宛先情報の入力は、オペレータにより行われる。
【0020】
区分機2は、OCR4により認識された宛先に基づき、この認識された宛先に対応する郵便物を区分するとともに、VCS5のキーボード5cにより入力が受け付けられた宛先情報に基づき、この入力された宛先情報に対応する郵便物を区分する。
【0021】
上記説明した郵便物処理装置では、例えば、郵便物に対してIDコード(バーコードなど)を記録して、このIDコードにより郵便物を管理するようになっている。つまり、一つの郵便物に関する郵便物画像データ及び宛先認識データにはIDコードが割り振られており、記憶部5aにはIDコードとともに一つの郵便物に関する郵便物画像データ及び宛先認識データが蓄積される。そして、このIDコードにより、実際の郵便物との関連が保たれるようになっている。また、上記説明した郵便物処理装置では、郵便物に対してOCR4より認識された宛先を示す宛先コード(バーコードなど)、又はVCS5のキーボード5cにより受け付けられた宛先を示す宛先コード(バーコードなど)を記録して、この宛先コードにより郵便物を区分するようにもなっている。
【0022】
続いて、OCR4(枠検出装置)による宛先認識処理の中の郵便番号枠検出について説明する。
【0023】
図2に示すように、OCR4には、ラベリング処理部41、枠検出部42、サイズ検出部43、第1の規定枠検出部44、異枠両端検出部45、第2の規定枠検出部46、及び枠確定部47が設けられている。これら各部の説明は、この後、順次行うものとする。
【0024】
新郵便番号制度の導入に伴い、郵便番号が5桁から7桁に変更された。これにより、旧郵便番号枠郡(5桁の枠)よりも新郵便番号枠郡(7桁の枠)の方が一つの郵便番号枠の幅が狭い、もしくは郵便番号枠同士が接触しているケースが多く見られる。特に、黒色の新郵便番号枠郡において、上3桁とハイフンが接触している第1のケース、及び3桁目とハイフンと4桁目が接触している第2のケースを想定し、これら第1及び第2のケースにおける郵便番号枠の検出について説明する。図3は第1のケースを示し、図4は第2のケースを示す。なお、新郵便番号枠郡のフォーマットは、一般的に、上3桁が太枠で、下4桁が細枠である。つまり、下4桁の郵便番号枠の方が上3桁の郵便番号枠よりも接触する可能性が低い。この発明では、このことを利用して、郵便番号枠を検出する。
【0025】
郵便番号枠郡は郵便物(書状)の右上部分に書かれているため、右上部分の固定領域内でラベリング処理部41によりラベリング処理が行われる。このラベリング処理により検出されたラベル(枠)のサイズ及び位置関係から、検出されたラベルが規定枠(規定の郵便番号枠)に該当するかどうかが枠検出部42によりチェックされる。チェックの際に、図9に示すように、枠座標を正確に検出するためにX、Y方向の両端から射影を取り、所定のしきい値以上のものを規定枠として検出する。郵便番号枠郡の中から、規定枠に該当するラベルが5個(旧郵便番号枠、5桁)もしくは7個(新郵便番号枠、7桁)検出された場合には、郵便番号枠郡に含まれる郵便番号枠が全て検出されたものとして認識される。
【0026】
ところが、上記した第1のケースでは、ラベルの位置座標とサイズから上3桁枠とハイフンと下4桁枠の1番左の枠が接触して1つのラベルとなり、枠らしきラベルは合計4つと認識される。つまり、枠検出部42により、規定枠3つ、異枠1つが検出される。異枠とは、規定枠と異なるサイズの枠のことであり、この第1のケースでは、上3桁枠とハイフンと下4桁枠の1番左の枠が、一つの異枠として検出される。
【0027】
ここで、下4桁枠を検出する際、図5に示すように、ラベル2、3、4の短手方向(H1)及び長手方向(W1)が規定枠の条件を満たし、3つのラベルのサイズがほぼ同じであることから、サイズ検出部43によりH1、W1が検出される。
【0028】
そして、ラベル1(異枠)の右上座標(長手方向の一端)からH1、W1を除くことにより、下4桁が検出される。つまり、ラベル1(異枠)の右上座標(長手方向の一端)から、第1の規定枠検出部44により一つの規定枠が検出される。このとき、規定枠検出部44により検出された規定枠は、図9に示すように、X、Y方向の両端から射影を取り、所定のしきい値以上であることが確認される。
【0029】
この時点で、下4桁枠が検出されており、第1の規定枠検出部44により検出された一つの規定枠が異枠から切り離され、この切り離しの後に残った残存異枠は、上3桁枠とハイフンが接触したものであると予想される。このため、上3桁枠からハイフンが取り除かれる。なお、残存異枠とは、図6に示す状態の枠のことを指す。
【0030】
ハイフンの除去は、次のようにして行われる。まず、図6に示す残存異枠(ラベル1)の短手方向(Y方向)から射影を求め、所定のしきい値以上のものを上残存異枠(上3桁)の長手方向の両端として検出する。この検出は、異枠両端検出部45により行われる。そして、上3桁枠のサイズは、夫々均等であることから、残存異枠(ハイフンを取り除いたラベル1)を3当分して、3つの規定枠を検出する。この検出は、第2の規定枠検出部46により行われる。
【0031】
3当分された枠(ラベル)が夫々真の規定枠であるかどうかをチェックする必要があり、図9に示すように、X、Y方向の両端から射影を取り、真の規定枠であるかどうかが確定される。この確定処理は、枠確定部47により行われる。
【0032】
以上、枠確定部47により規定枠が確定されると、7桁の郵便番号枠の検出が完了する。
【0033】
次に、上記した第2のケースについて説明する。ラベリング処理部41及び第1の枠検出部42による処理の結果、第2のケースでは、ラベルの位置座標とサイズから3桁目の枠とハイフンと4桁目の枠が接触して1つのラベルとなり、枠らしきラベルは合計6つと認識される。つまり、枠検出部42により、規定枠5つ、異枠1つが検出される。この第2のケースでは、3桁目の枠とハイフンと4桁目の枠が、一つの異枠として検出される。
【0034】
ここで、枠検出部42により検出された規定枠(図7に示すラベル1、2、4、5、6)が、チェックされる。つまり、図9に示すように、X、Y方向の両端から射影を取り、枠が認識される。ラベル1、2、4、5、6については規定枠として検出され、サイズ検出部43により、ラベル1及びラベル6の長手方向(W2、W3)と短手方向(H2、H3)が検出される。そして、異枠と予想されるラベル3の左端の上からはW2、H2、右端の上からはW3、H3が取り除かれる。つまり、異枠の長手方向の両端から、2個の規定枠が検出される。この検出は、第2の規定枠検出部46により行われる。これにより、結果的に、ハイフンが除去される。第2の規定枠検出部46により検出された2個の枠が、夫々規定枠であるかどうかチェックする必要があり、図9に示すようにX、Y方向の両端から斜影を取り、規定枠であるかどうかが確定される。この確定処理は、枠確定部47により行われる。
【0035】
以上、枠確定部47により規定枠が確定されると、7桁の郵便番号枠の検出が完了する。
【0036】
図8に示すような接触したラベルの両端から射影を検出することにより、枠ぎりぎりに書かれた文字(郵便番号)、及び枠からはみ出した文字(郵便番号)も文字の縦を枠線と誤検出することはない。また、ラベルのサイズと位置関係から、どの枠が何個接触しているかが認識できるため、接触した黒枠についても正確に枠座標を検出することができる。
【0037】
次に、図10に示すフローチャートを参照して、この発明の枠検出処理の概要をまとめとして説明する。
【0038】
図10に示すように、まず、固定領域内画像のラベリング処理が行われる(ST1)。ラベルが5個(旧郵便番号枠、5桁)もしくは7個(新郵便番号枠、7桁)検出され(ST2、YES)、検出されたラベルが規定枠の条件を満たしている場合には(ST3、YES)、5桁又は7桁の枠検出処理が行われる(ST14)。
【0039】
ラベルが4個検出された場合には(ST2、NO)(ST4、YES)、図5に示すラベル2、3、4の短手方向(W1)及び長手方向(H1)が検出される(ST5)。図5に示すラベル1から、W1、H1が取り除かれる(ST6)。ST6で処理された後に残存する残存ラベル1の斜影から、上3桁枠の両端が検出される(ST7)。図6に示す残存ラベル1が、W1に基づき、3分割される(ST8)。分割されたラベルが規定枠の条件を満たしていれば(ST9、YES)、7桁の枠検出処理が行われる(ST14)。
【0040】
ラベルが6個検出された場合には(ST2、NO)(ST4、NO)(ST10、YES)、図7に示すラベル1及びラベル6夫々の短手方向(W2、W3)及び長手方向(H2、H3)が検出される(ST11)。図7に示すラベル3から、W2とH2、W3とH3が取り除かれる(ST12)。ST12で取り除かれた二つのラベルが規定枠の条件を満たしていれば(ST13、YES)、7桁の枠検出処理が行われる(ST14)。
【0041】
【発明の効果】
この発明によれば、郵便番号枠を正確に検出することが可能な枠検出装置及び枠検出方法を提供できる。
【図面の簡単な説明】
【図1】郵便物処理装置の概略構成を示すブロック図である。
【図2】図1に示す郵便物処理装置のOCR(枠検出装置)の概略構成を示すブロック図である。
【図3】郵便番号枠郡において、上3桁とハイフンが接触している第1のケースを示す図である。
【図4】郵便番号枠郡において、3桁目とハイフンと4桁目が接触している第2のケースを示す図である。
【図5】図3に示す第1のケースにおいて、規定枠のサイズ(W1、H1)を検出する様子を示す図である。
【図6】ラベル1からハイフンを除去した様子を示すとともに、ハイフンが除去されたラベル1のY方向の斜影を示す図である。
【図7】図4に示す第2のケースにおいて、規定枠のサイズ(W2、W3、H2、H3)を検出する様子を示す図である。
【図8】郵便番号枠に対して文字(郵便番号)がギリギリに記載された様子を示すとともに、そのときのY方向の斜影を示す図である。
【図9】郵便番号枠のX方向及びY方向を示すとともに、郵便番号枠のX方向の斜影及びY方向の斜影を示す図である。
【図10】枠検出処理を示すフローチャートである。
【符号の説明】
1…主制御部
2…区分機
3…画像読取部
4…オンラインOCR
5…VCS
5a…記憶部
5b…ディスプレイ
5c…キーボード
41…ラベリング処理部
42…枠検出部
43…サイズ検出部
44…第1の規定枠検出部
45…異枠両端検出部
46…第2の規定枠検出部
47…枠確定部
[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a frame detection device and a frame detection method for detecting a zip code frame written on a mail piece.
[0002]
[Prior art]
In recent years, postal items have been sorted by an automatic address reading sorter. This automatic address reading and sorting machine includes a sorting machine, an OCR (Optical Character Reader), and a VCS (Video Coding System). The OCR recognizes the destination recorded in the mail piece, and the sorting machine sorts the mail piece based on the recognition result of the OCR. The VCS displays an image of a mail piece that has not been recognized by the OCR and accepts input of destination information of the mail piece, and the sorting machine sorts the mail piece based on the destination information input from the VCS.
[0003]
In the above address recognition by OCR, postal code recognition is performed. In this zip code recognition, the zip code frame is first detected, and then the zip code written in the zip code frame is recognized.
[0004]
[Problems to be solved by the invention]
However, the following problems occurred with the introduction of the new postal code system. In the new postal code system, the number of postal codes has been increased from the previous 5 digits to 7 digits. This resulted in the appearance of a new postal code frame county containing seven postal code frames. However, the postal code frames included in this new postal code frame group may be in contact with each other due to the increase in the number of digits. Number recognition accuracy has decreased. This tendency is particularly strong in the case of black postal code frames (because black frames are difficult to distinguish from postal codes).
[0005]
In the algorithm for detecting a black postal code frame, first, label detection is performed in a fixed area where a postal code is written. At this time, there is no problem when a specified number (5 or 7) of labels of a specified size (postcode frame size) is detected, but when an unspecified number of labels is detected, It is determined that the frames are in contact with each other, and the detected labels having a non-standard size are divided into a predetermined number. At this time, if the postal code frame and the postal code described in the frame are the same color (black), or the postal code is described in the frame, the postal code frame cannot be accurately detected.
[0006]
An object of the present invention is to provide a frame detection device and a frame detection method that are made in view of the circumstances as described above and that can accurately detect a zip code frame.
[0007]
[Means for Solving the Problems]
In order to solve the above problems and achieve the object, a frame detection device and a frame detection method of the present invention are configured as follows.
[0008]
The frame detection apparatus according to the present invention includes a first detection unit that detects two or more defined frames of the same size from a group of frames including a plurality of frames, and detects a different frame having a size different from the defined frames. Detecting by the first detection means based on the second detection means for detecting the size of the defined frame detected by the first detection means and the size of the defined frame detected by the second detection means And a third detecting means for detecting a plurality of defined frames from the different frames.
[0009]
The frame detection device according to the present invention is a first detection means for detecting a predetermined frame having the same size from a postal code frame group including seven postal code frames and detecting a different frame having a size different from the predetermined frame. A second detection unit that detects the size of the defined frame detected by the first detection unit, and three defined frames are detected by the first detection unit, and one different frame is detected. The different frame detected by the first detection unit based on the size of the defined frame detected by the second detection unit and the short direction projection of the different frame detected by the first detection unit And third detecting means for detecting four defined frames.
[0010]
The frame detection device according to the present invention is a first detection means for detecting a predetermined frame having the same size from a postal code frame group including seven postal code frames and detecting a different frame having a size different from the predetermined frame. A second detection means for detecting the size of the prescribed frame detected by the first detection means in the short direction and the longitudinal direction, and three prescribed frames are detected by the first detection means. Is detected from one end in the longitudinal direction of the different frame detected by the first detection means based on the size in the short direction and the longitudinal direction of the defined frame detected by the second detection means. A third detecting means for detecting one prescribed frame, and one prescribed frame detected by the third detecting means is separated from the different frame, and the remaining different frames remaining after the one prescribed frame is separated. Take a projection in the short direction, and based on this projection, the length of the remaining frame A residual detection frame detected by the fourth detection means based on a short detection direction and a longitudinal size of the regulation frame detected by the second detection means; A fifth detecting means for detecting three defined frames from the remaining different frames, and three defined frames detected by the fifth detecting means. Sixth determining means for taking the projections in the short direction and the longitudinal direction of each and determining the three defined frames detected by the fifth detecting means based on the projections.
[0011]
The frame detection device according to the present invention is a first detection means for detecting a predetermined frame having the same size from a postal code frame group including seven postal code frames and detecting a different frame having a size different from the predetermined frame. A second detection unit that detects the size of the defined frame detected by the first detection unit, and when five defined frames are detected by the first detection unit and one different frame is detected. And a third detecting means for detecting two prescribed frames from the different frames detected by the first detecting means based on the size of the prescribed frames detected by the second detecting means. Yes.
[0012]
The frame detection device according to the present invention is a first detection means for detecting a predetermined frame having the same size from a postal code frame group including seven postal code frames and detecting a different frame having a size different from the predetermined frame. A second detection means for detecting the size in the short direction and the longitudinal direction of the prescribed frame detected by the first detection means, and five prescribed frames are detected by the first detection means. Is detected from both ends in the longitudinal direction of the different frame detected by the first detection means, based on the short-side and long-side sizes of the defined frame detected by the second detection means. A third detection means for detecting two defined frames and a short direction projection and a longitudinal direction projection of each of the two defined frames detected by the third detection unit are taken, and the third detection unit is based on the projection. Fourth determining means for determining two defined frames detected by the detecting means; It is provided.
[0013]
The frame detection method of the present invention includes a first step of detecting two or more defined frames of the same size from among a group of frames including a plurality of frames, and detecting a different frame of a size different from the defined frames; Based on the second step of detecting the size of the defined frame detected in the first step and the size of the defined frame detected in the second step, the different frame detected in the first step And a third step of detecting a plurality of defined frames from the inside.
[0014]
The frame detection method according to the present invention includes a first step of detecting a specified frame having the same size from a postal code frame group including seven postal code frames and detecting a different frame having a size different from the specified frame. A second step of detecting the size in the short and long directions of the defined frame detected in the first step, and three defined frames are detected by the first step, and one different frame is detected. When the first frame is detected, one predetermined frame is detected from one end in the longitudinal direction of the different frame detected in the first step based on the short-side and long-side sizes of the predetermined frame detected in the second step. Separating the one defined frame detected in the third step from the different frame, taking a projection in the short direction of the remaining different frame remaining after the one defined frame is separated, Based on this projection, the length of the remaining frame A fourth step of detecting both ends of the direction, and a longitudinal direction of the remaining different frame detected by the fourth step based on a short side direction and a longitudinal direction size of the defined frame detected by the second step A fifth step of detecting three defined frames from among the remaining different frames by dividing the space between both ends of the frame, and a short direction of each of the three defined frames detected in the fifth step And a sixth step of taking a projection in the longitudinal direction and determining the three defined frames detected in the fifth step based on the projection.
[0015]
The frame frame detection method of the present invention is a first step of detecting a specified frame of the same size from a group of postal code frames including seven postal code frames and detecting a different frame of a size different from the specified frame. A second step of detecting the size in the short direction and the longitudinal direction of the defined frame detected in the first step, and 5 defined frames are detected by the first step, and 1 different frame is detected. When detected, two defined frames from both ends in the longitudinal direction of the different frame detected in the first step based on the short and long size of the defined frame detected in the second step The projection of the short direction and the longitudinal direction of each of the two defined frames detected in the third step is taken, and 2 detected in the third step based on this projection. 4th step to determine the number of rules It is equipped with a.
[0016]
DETAILED DESCRIPTION OF THE INVENTION
Embodiments of the present invention will be described below with reference to the drawings.
[0017]
FIG. 1 is a block diagram showing a schematic configuration of a mail processing apparatus.
[0018]
The mail processing apparatus shown in FIG. 1 reads an image of a mail piece, detects address information from mail image data obtained by this reading, recognizes the address, and classifies the mail based on the recognition result of the address. As shown in FIG. 1, the mail processing apparatus includes a main control unit 1, a sorter 2, an image reading unit 3, an OCR 4, and a VCS 5.
[0019]
The main control unit 1 controls the entire mail processing apparatus. The sorter 2 provides postal items one by one to the image reading unit 3. The image reading unit 3 reads an image of a postal matter provided by the sorting machine 2 and provides postal matter image data obtained by this reading to the OCR 4. The OCR 4 recognizes the destination by detecting the destination information from the postal matter image data provided by the image reading unit 3. The VCS 5 is provided with a storage unit 5a, and mail image data and destination recognition data provided from the online OCR 4 are stored in the storage unit 5a. The VCS 5 performs video coding processing on mail pieces that have not been recognized by the OCR 4 based on the mail piece image data and destination recognition data accumulated in the storage unit 5a. The VCS 5 is provided with a display 5b and a keyboard 5c. On the display 5b, a postal matter (postal matter image data) not recognized by the OCR 4 is displayed, and address information of the postal matter displayed on this display Input is accepted by the keyboard 5c. The destination information is input through the keyboard 5c by the operator.
[0020]
The sorter 2 sorts mails corresponding to the recognized destination based on the destination recognized by the OCR 4, and also inputs the input destination information based on the destination information received by the keyboard 5c of the VCS 5. Sort mail items corresponding to.
[0021]
In the mail processing apparatus described above, for example, an ID code (bar code or the like) is recorded on the mail, and the mail is managed by this ID code. That is, an ID code is assigned to the mail image data and address recognition data related to one mail, and the mail image data and address recognition data related to one mail are stored together with the ID code in the storage unit 5a. . The ID code maintains the relationship with the actual mail. In the mail processing apparatus described above, a destination code (bar code or the like) indicating a destination recognized by the OCR 4 for the mail piece or a destination code (bar code or the like) indicating a destination received by the keyboard 5c of the VCS 5 is used. ) Is recorded, and the mail is classified by this destination code.
[0022]
Next, postcode frame detection in the destination recognition process by the OCR 4 (frame detection device) will be described.
[0023]
As shown in FIG. 2, the OCR 4 includes a labeling processing unit 41, a frame detection unit 42, a size detection unit 43, a first specified frame detection unit 44, a different frame both ends detection unit 45, and a second specified frame detection unit 46. , And a frame determining unit 47 are provided. The description of each of these parts will be made sequentially thereafter.
[0024]
With the introduction of the new postal code system, the postal code was changed from 5 digits to 7 digits. As a result, one postal code frame is narrower or the postal code frames are in contact with each other in the new postal code frame group (seven-digit frame) than in the old postal code frame group (five-digit frame). Many cases are seen. In particular, in the black new postal code frame group, assume the first case where the first three digits are in contact with the hyphen, and the second case where the third digit is in contact with the hyphen and the fourth digit. The detection of the zip code frame in the first and second cases will be described. FIG. 3 shows the first case, and FIG. 4 shows the second case. In general, the format of the new postal code frame group is a thick frame at the top 3 digits and a thin frame at the bottom 4 digits. In other words, the lower 4-digit postal code frame is less likely to come into contact than the upper 3-digit postal code frame. In the present invention, the postal code frame is detected by utilizing this fact.
[0025]
Since the postal code frame group is written in the upper right part of the postal matter (letter), the labeling processing unit 41 performs the labeling process in the fixed area in the upper right part. From the size and positional relationship of the label (frame) detected by this labeling process, the frame detection unit 42 checks whether or not the detected label corresponds to the specified frame (specified postal code frame). At the time of checking, as shown in FIG. 9, in order to accurately detect the frame coordinates, projections are taken from both ends in the X and Y directions, and those exceeding a predetermined threshold are detected as the prescribed frames. If 5 labels (old postal code frame, 5 digits) or 7 (new postal code frame, 7 digits) corresponding to the regulation frame are detected from the postal code frame group, It is recognized that all included postal code frames have been detected.
[0026]
However, in the first case described above, the leftmost frame of the upper 3 digit frame, the hyphen, and the lower 4 digit frame come into contact with each other from the position coordinates and size of the label to form one label, and there are a total of 4 labels that appear to be frames. Be recognized. That is, the frame detection unit 42 detects three defined frames and one different frame. The different frame is a frame having a size different from the specified frame. In this first case, the leftmost frame of the upper 3 digit frame, the hyphen, and the lower 4 digit frame is detected as one different frame. The
[0027]
Here, when detecting the lower four-digit frame, as shown in FIG. 5, the short direction (H1) and the long direction (W1) of the labels 2, 3, and 4 satisfy the conditions of the specified frame, Since the sizes are almost the same, H1 and W1 are detected by the size detection unit 43.
[0028]
Then, by removing H1 and W1 from the upper right coordinates (one end in the longitudinal direction) of the label 1 (different frame), the lower four digits are detected. That is, one defined frame is detected by the first defined frame detection unit 44 from the upper right coordinates (one end in the longitudinal direction) of the label 1 (different frame). At this time, the defined frame detected by the defined frame detection unit 44 is projected from both ends in the X and Y directions as shown in FIG. 9, and is confirmed to be equal to or greater than a predetermined threshold value.
[0029]
At this time, the lower four-digit frame has been detected, and one specified frame detected by the first specified frame detection unit 44 is separated from the different frame, and the remaining different frames remaining after this separation are the upper 3 frames. It is expected that the girder and the hyphen are in contact. For this reason, the hyphen is removed from the upper three-digit frame. Note that the remaining different frame refers to a frame in the state shown in FIG.
[0030]
Hyphen removal is performed as follows. First, the projection is obtained from the short side direction (Y direction) of the remaining different frame (label 1) shown in FIG. To detect. This detection is performed by the different frame both ends detection unit 45. Since the size of the upper three-digit frame is equal to each other, the remaining three different frames (label 1 from which the hyphen has been removed) are divided into three for detection of the three defined frames. This detection is performed by the second prescribed frame detection unit 46.
[0031]
3 It is necessary to check whether the allocated frames (labels) are true defined frames, respectively. As shown in FIG. 9, projections are taken from both ends in the X and Y directions to determine whether they are true defined frames. Whether it is finalized. This confirmation process is performed by the frame confirmation unit 47.
[0032]
As described above, when the specified frame is fixed by the frame determining unit 47, the detection of the 7-digit postal code frame is completed.
[0033]
Next, the above-described second case will be described. As a result of processing by the labeling processing unit 41 and the first frame detection unit 42, in the second case, the third digit frame, the hyphen, and the fourth digit frame come into contact with each other based on the position coordinates and size of the label. Thus, a total of six labels are recognized. That is, the frame detection unit 42 detects five defined frames and one different frame. In the second case, the third digit frame, the hyphen, and the fourth digit frame are detected as one different frame.
[0034]
Here, the defined frames (labels 1, 2, 4, 5, and 6 shown in FIG. 7) detected by the frame detection unit 42 are checked. That is, as shown in FIG. 9, the projection is taken from both ends in the X and Y directions, and the frame is recognized. The labels 1, 2, 4, 5, and 6 are detected as defined frames, and the size detection unit 43 detects the longitudinal direction (W2, W3) and the short direction (H2, H3) of the label 1 and label 6. . Then, W2 and H2 are removed from the upper left end of the label 3 that is expected to be a different frame, and W3 and H3 are removed from the upper right end. That is, two defined frames are detected from both ends of the different frames in the longitudinal direction. This detection is performed by the second prescribed frame detection unit 46. As a result, the hyphen is removed. It is necessary to check whether the two frames detected by the second defined frame detection unit 46 are defined frames, respectively. As shown in FIG. Is determined. This confirmation process is performed by the frame confirmation unit 47.
[0035]
As described above, when the specified frame is fixed by the frame determining unit 47, the detection of the 7-digit postal code frame is completed.
[0036]
By detecting projections from both ends of the contacted label as shown in FIG. 8, the characters written in the border (zip code) and the characters protruding from the frame (zip code) are also mistaken for the vertical character of the character as a frame line. There is no detection. Further, since it is possible to recognize how many frames are in contact with each other based on the label size and positional relationship, it is possible to accurately detect the frame coordinates for the black frame that has contacted.
[0037]
Next, the outline of the frame detection processing of the present invention will be described as a summary with reference to the flowchart shown in FIG.
[0038]
As shown in FIG. 10, first, labeling processing is performed on the image in the fixed area (ST1). When 5 labels (old postal code frame, 5 digits) or 7 (new postal code frame, 7 digits) are detected (ST2, YES), and the detected label satisfies the conditions of the specified frame ( (ST3, YES) A 5-digit or 7-digit frame detection process is performed (ST14).
[0039]
When four labels are detected (ST2, NO) (ST4, YES), the lateral direction (W1) and the longitudinal direction (H1) of labels 2, 3, and 4 shown in FIG. 5 are detected (ST5). ). W1 and H1 are removed from the label 1 shown in FIG. 5 (ST6). Both ends of the upper three-digit frame are detected from the shading of the remaining label 1 remaining after processing in ST6 (ST7). The remaining label 1 shown in FIG. 6 is divided into three based on W1 (ST8). If the divided label satisfies the conditions of the specified frame (ST9, YES), a 7-digit frame detection process is performed (ST14).
[0040]
When six labels are detected (ST2, NO) (ST4, NO) (ST10, YES), the lateral direction (W2, W3) and the longitudinal direction (H2) of each of the label 1 and the label 6 shown in FIG. , H3) are detected (ST11). W2 and H2, W3 and H3 are removed from label 3 shown in FIG. 7 (ST12). If the two labels removed in ST12 satisfy the conditions of the specified frame (ST13, YES), a 7-digit frame detection process is performed (ST14).
[0041]
【The invention's effect】
According to the present invention, it is possible to provide a frame detection device and a frame detection method capable of accurately detecting a zip code frame.
[Brief description of the drawings]
FIG. 1 is a block diagram showing a schematic configuration of a mail processing apparatus.
2 is a block diagram showing a schematic configuration of an OCR (frame detection device) of the mail processing apparatus shown in FIG. 1. FIG.
FIG. 3 is a diagram showing a first case where the first three digits are in contact with a hyphen in a postal code frame group;
FIG. 4 is a diagram showing a second case where the third digit, the hyphen, and the fourth digit are in contact with each other in the postal code frame group.
FIG. 5 is a diagram showing a state in which the size (W1, H1) of the specified frame is detected in the first case shown in FIG. 3;
FIG. 6 is a diagram showing a state in which a hyphen is removed from a label 1 and an oblique view in the Y direction of the label 1 from which a hyphen has been removed.
FIG. 7 is a diagram illustrating a state in which the size (W2, W3, H2, H3) of the specified frame is detected in the second case illustrated in FIG.
FIG. 8 is a diagram illustrating a state in which characters (postal codes) are just written on a postal code frame, and a Y-direction bevel at that time.
FIG. 9 is a diagram illustrating the X direction and the Y direction of the postal code frame, and the X direction and Y direction of the postal code frame.
FIG. 10 is a flowchart showing a frame detection process.
[Explanation of symbols]
DESCRIPTION OF SYMBOLS 1 ... Main control part 2 ... Sorting machine 3 ... Image reading part 4 ... Online OCR
5 ... VCS
5a ... Storage unit 5b ... Display 5c ... Keyboard 41 ... Labeling processing unit 42 ... Frame detection unit 43 ... Size detection unit 44 ... First prescribed frame detection unit 45 ... Different frame both ends detection unit 46 ... Second prescribed frame detection unit 47. Frame determination part

Claims (2)

7つの郵便番号枠を含む郵便番号枠郡の中から、同一サイズの規定枠を検出するとともに、この規定枠と異なるサイズの異枠を検出する第1の検出手段と、
前記第1の検出手段で検出された規定枠の短手方向及び長手方向のサイズを検出する第2の検出手段と、
前記第1の検出手段により規定枠が3個検出され、異枠が1個検出されたとき、前記第2の検出手段で検出された規定枠の短手方向及び長手方向のサイズに基づき、前記第1の検出手段で検出された異枠の長手方向の一端から一つの規定枠を検出する第3の検出手段と、
前記第3の検出手段により検出された一つの規定枠を前記異枠から切り離し、一つの規定枠が切り離された後に残った残存異枠の短手方向の射影を取り、この射影に基づき残存異枠の長手方向の両端を検出する第4の検出手段と、
前記第2の検出手段により検出された規定枠の短手方向及び長手方向のサイズに基づき、前記第4の検出手段により検出された残存異枠の長手方向の両端の間を3分割して、この残存異枠の中から3個の規定枠を検出する第5の検出手段と、
前記第5の検出手段で検出された3個の規定枠夫々の短手方向及び長手方向の射影を取り、この射影に基づき前記第5の検出手段で検出された3個の規定枠を確定する確定手段と、
を備えたことを特徴とする枠検出装置。
A first detecting means for detecting a prescription frame of the same size from among a postal code frame group including seven postcode frames, and detecting a different frame of a size different from the prescription frame ;
Second detection means for detecting the size in the short and long directions of the defined frame detected by the first detection means;
When three defined frames are detected by the first detecting means and one different frame is detected, the size of the defined frames detected by the second detecting means is determined based on the short-side and long-side sizes. Third detection means for detecting one defined frame from one end in the longitudinal direction of the different frame detected by the first detection means;
One prescribed frame detected by the third detecting means is separated from the different frame, and a short direction projection of the remaining different frame remaining after the one prescribed frame is separated is taken. A fourth detection means for detecting both ends in the longitudinal direction of the frame;
Based on the short-side and long-side sizes of the defined frame detected by the second detection unit, the space between both ends of the remaining different frame detected by the fourth detection unit is divided into three, A fifth detection means for detecting three defined frames from the remaining different frames;
The projections in the lateral direction and the longitudinal direction of the three defined frames detected by the fifth detection unit are taken, and the three defined frames detected by the fifth detection unit are determined based on the projection. A confirmation means;
A frame detection device comprising:
7つの郵便番号枠を含む郵便番号枠郡の中から、同一サイズの規定枠を検出するとともに、この規定枠と異なるサイズの異枠を検出する第1のステップと、  A first step of detecting a specified frame of the same size from among a set of postal code frames including seven postal code frames, and detecting a different frame of a size different from the specified frame;
前記第1のステップで検出された規定枠の短手方向及び長手方向のサイズを検出する第2のステップと、  A second step of detecting the lateral and longitudinal sizes of the defined frame detected in the first step;
前記第1のステップにより規定枠が3個検出され、異枠が1個検出されたとき、前記第2のステップで検出された規定枠の短手方向及び長手方向のサイズに基づき、前記第1のステップで検出された異枠の長手方向の一端から一つの規定枠を検出する第3のステップと、  When three defined frames are detected in the first step and one different frame is detected, the first frame is determined based on the short-side and long-side sizes of the defined frame detected in the second step. A third step of detecting one defined frame from one end in the longitudinal direction of the different frame detected in the step;
前記第3のステップにより検出された一つの規定枠を前記異枠から切り離し、一つの規定枠が切り離された後に残った残存異枠の短手方向の射影を取り、この射影に基づき残存異枠の長手方向の両端を検出する第4のステップと、  One prescribed frame detected in the third step is separated from the different frame, and a short direction projection of the remaining different frame remaining after the one prescribed frame is separated is taken. A fourth step of detecting both longitudinal ends of
前記第2のステップにより検出された規定枠の短手方向及び長手方向のサイズに基づき、前記第4のステップにより検出された残存異枠の長手方向の両端の間を3分割して、この残存異枠の中から3個の規定枠を検出する第5のステップと、  Based on the short-side and long-side sizes of the defined frame detected in the second step, the length of the remaining different frame detected in the fourth step is divided into three parts, and the remaining frame is divided into three. A fifth step of detecting three defined frames from among the different frames;
前記第5のステップで検出された3個の規定枠夫々の短手方向及び長手方向の射影を取り、この射影に基づき前記第5のステップで検出された3個の規定枠を確定する第6のステップと、  Taking a projection in the lateral direction and the longitudinal direction of each of the three defined frames detected in the fifth step, and determining the three defined frames detected in the fifth step based on this projection And the steps
を備えたことを特徴とする枠検出方法。  A frame detection method comprising:
JP07506799A 1999-03-19 1999-03-19 Frame detection apparatus and frame detection method Expired - Lifetime JP3930192B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP07506799A JP3930192B2 (en) 1999-03-19 1999-03-19 Frame detection apparatus and frame detection method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP07506799A JP3930192B2 (en) 1999-03-19 1999-03-19 Frame detection apparatus and frame detection method

Publications (2)

Publication Number Publication Date
JP2000268126A JP2000268126A (en) 2000-09-29
JP3930192B2 true JP3930192B2 (en) 2007-06-13

Family

ID=13565496

Family Applications (1)

Application Number Title Priority Date Filing Date
JP07506799A Expired - Lifetime JP3930192B2 (en) 1999-03-19 1999-03-19 Frame detection apparatus and frame detection method

Country Status (1)

Country Link
JP (1) JP3930192B2 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3705216B2 (en) * 2001-02-28 2005-10-12 日本電気株式会社 Character entry frame detection method, character entry frame detection device and program

Also Published As

Publication number Publication date
JP2000268126A (en) 2000-09-29

Similar Documents

Publication Publication Date Title
US5697504A (en) Video coding system
JP2713911B2 (en) Mail handling equipment
US7145093B2 (en) Method and system for image processing
US7978878B2 (en) Method of processing postal items using a separator representing a region of interest (ROI)
US20060269101A1 (en) System for processing postal items
KR100536509B1 (en) Method and device for recognition of delivery data on mail matter
US7394914B2 (en) Single pass off-line video encoding
JPH0739820A (en) Street zone recognizing device and address reading and classifying machine
JP3930192B2 (en) Frame detection apparatus and frame detection method
JP2004504139A (en) A method for processing large mail pieces with a sorting device.
JPH01159088A (en) Automatic classifying machine for mail
CN1148221A (en) Method and device for recognising address, and automatic treatment system for paper medium thereof
US6831243B2 (en) Method for sorting items according to distribution address
US7855349B2 (en) Process and device for sorting of goods
EP0726540A2 (en) Apparatus and method for video coding
JP3715459B2 (en) Mail processing apparatus and mail processing method
JPH08164365A (en) Address reader
JP2007083156A (en) Mail reading sorting machine and preference sticker treatment method
JP3088038B2 (en) Mail sorting device and mail sorting method
JP3088036B2 (en) Address reading sorting machine
JP2001225023A (en) Method for evaluating overlapping of a sheet of paper and the like and device for assorting the same
KR100828767B1 (en) Sorting apparatus, mail processing system, and sorting method
JP3476936B2 (en) Character line direction determination device
JP2002269498A (en) Recognizing device and recognizing method, and paper sheets processing device and paper sheets processing method
JPH05217015A (en) Address reader for mail

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20061205

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070205

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20070306

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20070308

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100316

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110316

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120316

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130316

Year of fee payment: 6