JP4335590B2 - 2値化処理装置 - Google Patents

2値化処理装置 Download PDF

Info

Publication number
JP4335590B2
JP4335590B2 JP2003172949A JP2003172949A JP4335590B2 JP 4335590 B2 JP4335590 B2 JP 4335590B2 JP 2003172949 A JP2003172949 A JP 2003172949A JP 2003172949 A JP2003172949 A JP 2003172949A JP 4335590 B2 JP4335590 B2 JP 4335590B2
Authority
JP
Japan
Prior art keywords
plane
luminance signal
calculating
binarization
signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2003172949A
Other languages
English (en)
Other versions
JP2005010977A (ja
Inventor
克美 井出
英夫 鎌田
俊司 坂根
一正 小松
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Fujitsu Frontech Ltd
Original Assignee
Fujitsu Ltd
Fujitsu Frontech Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd, Fujitsu Frontech Ltd filed Critical Fujitsu Ltd
Priority to JP2003172949A priority Critical patent/JP4335590B2/ja
Publication of JP2005010977A publication Critical patent/JP2005010977A/ja
Application granted granted Critical
Publication of JP4335590B2 publication Critical patent/JP4335590B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Character Input (AREA)
  • Image Processing (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は帳票読取装置に係り、特に金融機関等における帳票読取装置において入金票である赤系の帳票でも、出金票である青系の帳票でも、どちらでも文字認識に最適な2値化イメージデータを得ることができるようにした2値化処理装置に関する。
【0002】
【従来の技術】
銀行では預金等の入金のときに使用する入金票と、引出し等の出金のときに使用する出金票では、その種別を明確に識別できるように色分けされている。
【0003】
フルカラーCCD(Charge Coupled Device)を使用した読取装置により文字認識を行う場合、2値化処理を行うために帳票のR(赤)、G(緑)、B(青)信号から輝度信号(Y信号)を求め自動的に閾値を得る、つまり自動判別閾値を算出する公知の判別閾値法を採用している(例えば非特許文献1参照。)。
【0004】
Y信号を使用する目的は、入金系・出金系の帳票(以下伝票という)のような制定伝票のみならず、他の伝票(例えば電気、ガス等の公共料金や納税伝票の如き税公金用の帳票、非OCR帳票)も読取を行うために、全ての情報を出力させるようにしなければならない。
【0005】
フルカラーCCDでは、図11に示す如く、R、G、B検出用の各素子が配置されているため、メモリ上にR信号、G信号、B信号単独の平面として入力された入力信号であるRプレーン、Gプレーン、Bプレーンを展開するとき、例えばRプレーンを展開するとき、R素子間に位置するG素子、B素子部分のR信号を、その両側のR信号にもとづき補正演算(例えば両側の平均値を求める)を行って算出している。Gプレーン、Bプレーンにおいても同様である。
【0006】
このように単独のプレーンでは補正演算を行うために、情報が欠落して正確に読取れない場合があり得るので、2階調化を行う階調データはY信号で処理を行わなければならない。
【0007】
前記自動判別閾値法では、帳票の濃度レベルやバラツキによって自動的に2階調分離閾値を求めるものである。ところでY信号は、R信号、G信号、B信号に別々の係数を乗算してこれらの和を求めることにより得られるものであり、Y信号を使用した場合、すべてのカラー特性を拾っていることから、帳票の背景色によって閾値の計算結果が左右されてしまう問題がある。特に白地ではない帳票は背景部の濃度が低くなるため、最も正確に情報化したい手書き文字部分が2値化した際に情報欠落が発生し、読取り文字にカスレ部分が発生し、例えば「0」か「6」か正確に判別できないことが生じる。
【0008】
OCR制定入金系の伝票では、帳票の背景地色は白であり帳票内の文字記入枠が赤色でプレ印刷する方法と、帳票の背景地色全体を薄い赤色で文字記入枠内を白でプレ印刷する方法の両方があり、帳票全体が赤い背景色を採用しているものが存在する。この赤い背景色の伝票をY信号で見た場合には、G及びBの特性を拾っているため帳票全体が白色(入金系の背景地色が白または出金系伝票)の自動判別閾値と比較すると多少低くなり、2値化結果はカスレる傾向にある。
【0009】
例えば図12(A)に示す如き入金伝票をOCRで読取り、そのY信号を0(黒)〜255(白)に画素毎の濃度分布のヒストグラムを求めると図12(B)に示す如きものが得られるので、これにもとづき自動判別閾値を求めると矢印Thに示す閾値が得られる。このとき、図12(B)に示すヒストグラムにおいてThより右側のT部分がカスレ部分のデータである。
【0010】
したがって、このThで図13(A)に示す如き文字を読取ると、そのY信号とRプレーンの2値化合成データは、図13(B)に示す如きカスレの存在するイメージデータとなり、この例では、「0」が正確に読取ることができない場合が存在するという問題点が存在する。
【0011】
【非特許文献1】
大津展之「判別および最小2乗基準に基づく自動しきい値選定法」電子情報通信学会論文誌、J63−D,vol.4,pp349−356(1980)。
【0012】
【発明が解決しようとする課題】
本発明の目的は、前記問題点を改善して2値化データのカスレ部分を防止する2値化処理装置を提供するものである。
【0013】
【課題を解決するための手段】
前記目的を達成するため本発明の原理図を図1に示す。図1において、1は2次元カラーCCD、2はRGBプレーン分割手段、3はGプレーン保持部、4はBプレーン保持部、5はRプレーン保持部、6は輝度信号生成手段、7はY信号演算手段、8はRプレーン演算手段、9は入金系・出金系判定手段、10はRプレーン2値化手段、11は輝度信号2値化手段、12は2値化信号合成手段、13は画像出力手段、14はシェーデング補正手段である。
【0014】
本発明の前記目的は、下記の(1)〜(4)により達成することができる。
【0015】
(1)帳票を読み取るイメージ読み取り手段と、この読み取り信号にもとづきRプレーン、Gプレーン、Bプレーンを生成するカラープレーン出力信号生成手段と、このカラープレーン出力信号生成手段の出力にもとづき輝度信号を生成する輝度信号生成手段と、輝度信号のヒストグラムを生成する輝度信号ヒストグラム演算手段と、Rプレーンのヒストグラムを生成するRプレーン・ヒストグラム演算手段と、前記輝度信号ヒストグラム演算手段と前記Rプレーン・ヒストグラム演算手段の出力にもとづき読み取った帳票が赤系の入金系か青系の出金系かを判定する判定手段と、Rプレーンから自動判別閾値を算出するRプレーン閾値算出手段と、輝度信号から自動判別閾値を算出する輝度信号閾値算出手段と、輝度信号を2値化する輝度信号2値化手段と、Rプレーンを2値化するRプレーン2値化手段と、前記Rプレーン2値化手段からのRプレーン2値化出力と、前記輝度信号2値化手段からの輝度信号2値化出力を加え合わせて1つにする合成手段を具備し、前記判定手段により読み取り帳票が入金系と判定されたとき、Rプレーンから得られた自動判別閾値にもとづき輝度信号及びRプレーンをそれぞれ前記輝度信号2値化手段及び前記Rプレーン2値化手段で2値化し、入金系ではないと判定されたとき、輝度信号から得られた自動判別閾値にもとづき輝度信号及びRプレーンをそれぞれ前記輝度信号2値化手段及び前記Rプレーン2値化手段で2値化する。
【0016】
(2)帳票を読み取るイメージ読み取り手段と、この読み取り信号にもとづきRプレーン、Gプレーン、Bプレーンを生成するカラープレーン出力信号生成手段と、このカラープレーン出力信号生成手段の出力にもとづき輝度信号を生成する輝度信号生成手段と、前記輝度信号生成手段で生成した輝度信号の標準偏差を求める輝度信号標準偏差演算手段と、前記カラープレーン出力信号生成手段で生成したRプレーンの標準偏差を求めるRプレーン標準偏差演算手段と、前記輝度信号標準偏差演算手段で求めた輝度信号標準偏差と前記Rプレーン標準偏差演算手段で求めたRプレーン標準偏差の差を求める標準偏差差分演算手段と、Rプレーンから自動判別閾値を算出するRプレーン閾値算出手段と、輝度信号から自動判別閾値を算出する輝度信号閾値算出手段と、輝度信号を2値化する輝度信号2値化手段と、Rプレーンを2値化するRプレーン2値化手段と、前記Rプレーン2値化手段からのRプレーン2値化出力と、前記輝度信号2値化手段からの輝度信号2値化出力を加え合わせて1つにする合成手段を具備し、前記標準偏差差分演算手段において差が規定値以上の場合、Rプレーンから得られた自動判別閾値にもとづき輝度信号及びRプレーンをそれぞれ前記輝度信号2値化手段及び前記Rプレーン2値化手段で2値化し、規定値に達しない場合、輝度信号から得られた自動判別閾値にもとづき輝度信号及びRプレーンをそれぞれ前記輝度信号2値化手段及び前記Rプレーン2値化手段で2値化する。
【0017】
(3)帳票を読み取るイメージ読み取り手段と、この読み取り信号にもとづきRプレーン、Gプレーン、Bプレーンを生成するカラープレーン出力信号生成手段と、このカラープレーン出力信号生成手段の出力にもとづき輝度信号を生成する輝度信号生成手段と、前記輝度信号生成手段で生成した輝度信号の濃度平均を求める輝度信号濃度平均演算手段と、前記カラープレーン出力信号生成手段で生成したRプレーンの濃度平均を求めるRプレーン濃度平均演算手段と、前記輝度信号濃度平均演算手段で求めた輝度信号濃度平均と前記Rプレーン濃度平均演算手段で求めたRプレーン濃度平均の差を求める濃度平均差演算手段と、Rプレーンから自動判別閾値を算出するRプレーン閾値算出手段と、輝度信号から自動判別閾値を算出する輝度信号閾値算出手段と、輝度信号を2値化する輝度信号2値化手段と、Rプレーンを2値化するRプレーン2値化手段と、前記Rプレーン2値化手段からのRプレーン2値化出力と、前記輝度信号2値化手段からの輝度信号2値化出力を加え合わせて1つにする合成手段を具備し、前記濃度平均差演算手段において差が規定値以上の場合、Rプレーンから得られた自動判別閾値にもとづき輝度信号及びRプレーンをそれぞれ前記輝度信号2値化手段及び前記Rプレーン2値化手段で2値化し、規定値に達しない場合、輝度信号から得られた自動判別閾値にもとづき輝度信号及びRプレーンをそれぞれ前記輝度信号2値化手段及び前記Rプレーン2値化手段で2値化する。
【0018】
(4)帳票を読み取るイメージ読み取り手段と、この読み取り信号にもとづきRプレーン、Gプレーン、Bプレーンを生成するカラープレーン出力信号生成手段と、このカラープレーン出力信号生成手段の出力にもとづき輝度信号を生成する輝度信号生成手段と、輝度信号のヒストグラムを生成する輝度信号ヒストグラム演算手段と、前記輝度信号のヒストグラムから自動判別閾値を算出する輝度信号閾値算出手段と、Rプレーンのヒストグラムを生成するRプレーンヒストグラム演算手段と、前記Rプレーンのヒストグラムから自動判別閾値を算出するRプレーン閾値算出手段と、前記輝度信号閾値算出手段が算出した輝度信号の自動判別閾値と前記Rプレーン閾値算出手段が算出したRプレーンの自動判別閾値の差を求める自動判別閾値差演算手段と、輝度信号を2値化する輝度信号2値化手段と、Rプレーンを2値化するRプレーン2値化手段と、前記Rプレーン2値化手段からのRプレーン2値化出力と、前記輝度信号2値化手段からの輝度信号2値化出力を加え合わせて1つにする合成手段を具備し、前記自動判別閾値差演算手段において差が規定値以上の場合、Rプレーンから得られた自動判別閾値にもとづき輝度信号及びRプレーンをそれぞれ前記輝度信号2値化手段及び前記Rプレーン2値化手段で2値化し、規定値に達しない場合、輝度信号から得られた自動判別閾値にもとづき輝度信号及びRプレーンをそれぞれ前記輝度信号2値化手段及び前記Rプレーン2値化手段で2値化する。
【0019】
そしてこれにもとづき下記の効果を奏する。
【0020】
(1)本発明により入金系と出金系の帳票を区別することができ、しかも入金系の場合はRプレーンから求めた自動判別閾値を使用することにより輝度信号を2値化するのでカスレの発生を抑制してデータを正確に判読することができる。
【0021】
(2)さらにRプレーンを2値化したものにきれいな画像を得ることができる輝度信号を2値化したものを合成することにより、きれいな画像を用いて正確に判読することができる。
【0022】
【発明の実施の形態】
本発明の一実施の形態を図1、図2、図3により他図を参照して説明する。図1は本発明の一実施の形態を示し、図2は図1を構成するコンピュータ装置のハード構成説明図、図3は本発明の動作説明フローチャートである。
【0023】
図1において、1は2次元カラ−CCD、2はRGBプレーン分割手段、3はGプレーン保持部、4はBプレーン保持部、5はRプレーン保持部、6は輝度信号生成手段、7はY信号演算手段、8はRプレーン演算手段、9は入金系・出金系判定手段、10はRプレーン2値化手段、11は輝度信号2値化手段、12は2値化信号合成手段、13は画像出力手段、14はシェーデング補正手段である。
【0024】
2次元カラーCCD1は、入金系及び出金系の伝票をカラーデータで読み取るものである。
【0025】
RGBプレーン分割手段2は、2次元カラーCCD1で読み取った信号から、R(赤)、G(緑)、B(青)の単独のプレーンすなわち面情報を作成する。このとき、図11に示す如く、例えばR素子間に存在するG素子、B素子の位置におけるR信号の大きさを両側に位置するR素子の出力により補間してプレーンを作成する。Gプレーン、Bプレーンも同様の補間が行われて作成される。
【0026】
Gプレーン保持部3は、RGBプレーン分割手段2において、前記の如く作成されたGプレーンを一時保持するものである。
【0027】
Bプレーン保持部4、Rプレーン保持部5も、これまた前記の如く作成されたBプレーン、Rプレーンを一時保持するものである。
【0028】
輝度信号生成手段6は、前記Gプレーン保持部3、Bプレーン保持部4、Rプレーン保持部5に保持されたGプレーン、Bプレーン、Rプレーンのデータにもとづき、画素対応に輝度信号Yを得る。輝度信号Yは、周知の如く、Gプレーン、Bプレーン、Rプレーンの各画素毎の出力信号g、b、rにあらかじめ定められた係数k1 、k2 、k3 を乗算して和を求めることにより得られる。
【0029】
Y信号演算手段7は、前記輝度信号生成手段6より得られた輝度信号に対して、例えばヒストグラムを生成したり、標準偏差を求めたり、濃度平均を求める等の各種演算を行うものである。
【0030】
Rプレーン演算手段8は、前記Rプレーン保持部5に保持されたRプレーンに対して、例えばヒストグラムを生成したり、標準偏差を求めたり、濃度平均を求める等の各種演算を行うものである。
【0031】
入金系・出金系判定手段9は、2次元カラーCCD1により読み取られた伝票が入金系のものか出金系のものか判定し、2値化するための閾値を自動判別閾値により出力するものである。伝票が入金系のものか出金系のものかを判別するため、例えば図12(B)に示す如く、読取り伝票の輝度信号ヒストグラムを解析して白レベルに近い領域に双頭状のパターンが存在するかどうかを判別したり、輝度信号とRプレーンの標準偏差を求めその差があらかじめ定められた値以上か否かを求めたり、輝度信号とRプレーンの濃度平均値を求め、その差があらかじめ定められた値以上か否かを求めたり、輝度信号とRプレーンの自動判別閾値を求め、その差があらかじめ定められた値以上か否かを求めるものである。
【0032】
Rプレーン2値化手段10は、入金系・出金系判定手段9から出力された閾値にもとづきRプレーンのデータを2値化するものである。
【0033】
輝度信号2値化手段11は、入金系・出金系判定手段9から出力された閾値にもとづき輝度信号を2値化するものである。
【0034】
2値化信号合成手段12は、Rプレーン2値化手段10の2値化出力と、輝度信号2値化手段11の2値化出力とを合成するものであり、この合成したものを読取り出力とするものである。輝度信号を2値化したものの方がきれいなため、正確に画像を読み取るためには輝度信号が混在する方が良いが、省略もできる。
【0035】
画像出力手段13は、伝票に記入した文字を解読するため、2値化出力を、図示省略した文字解読手段に送出するものである。
【0036】
シューデング補正手段14は、読み取り時に伝票上に存在する影の悪影響を除くものである。伝票を2次元カラーCCD1により室内光源で読み取るとき、この2次元カラーCCD1の配置された周囲の環境により伝票上に他の器具の影が存在することがある。このような場合、伝票上に存在する影の位置があらかじめ判断できるので、その位置の伝票の読み取りデータを、影のない場合のデータと同一になるよう補正するものである。
【0037】
図1に示す実施の形態は、実際は、図2に示すコンピュータにより構成される。図1における2次元カラーCCD1とシューデング補正手段14とRGBプレーン分割手段2は図2の読み取り装置25により構成され、Gプレーン保持手段3、Bプレーン保持手段4、Rプレーン保持手段5は画像メモリ23で構成され、その他の手段、演算部等は、CPU21で構成される。そしてメモリ22はCPU21を動作させるプログラムを保持し、またCPU21が動作するための作業領域を提供する。入金系・出金系判定手段9が標準偏差にもとづき判別を行う場合にはこの判別を行うためのプログラムはメモリ22に保持されるが、補助記憶装置24には、例えばそれ以外の濃度平均で判別を行うためのプログラム等が格納されている。また図2においてキャプチャボード26は、読み取り装置25で伝票をスキャナ読取りしたデータを順次保持し、所定範囲例えば1枚のデータになるまでこれを順次保持し、所定範囲のデータになったときこれを画像メモリ23に送出するものである。
【0038】
次に本発明の実施例の動作について説明する。
【0039】
1.第1実施例
本発明の第1実施例について図1及び図3にもとづき説明する。第1実施例ではY信号演算手段7を輝度信号に対するヒストグラム生成手段として動作させ、Rプレーン演算手段8をRプレーンに対してヒストグラム生成手段として動作させ、入金系・出金系判定手段9を伝票の輝度信号ヒストグラムの形状を解読させて図12(B)に示す如く、白側のヒストグラムが双頭状の場合これを入金系の伝票であると判断させるように動作させるものである。オペレータは第1の動作にもとづき動作するよう、図示省略した入力手段により選択指示を行う。これによりプログラムが選択され、各手段が後述する動作を行うものである。
【0040】
以下に図1の第1実施例の動作を図3のフローチャートにより説明する。
【0041】
S1.オペレータは、伝票のイメージ読み取りを2次元カラーCCD1により行う。
【0042】
S2.読み取られた2次元カラーデータはシェーデング補正手段14により影補正が行われ、RGBプレーン分割手段2で画素間の前記補間が行われ、Rプレーン、Gプレーン、Bプレーンに分割されて、Rプレーン保持部5、Bプレーン保持部4、Gプレーン保持部3にそれぞれ保持される。それから輝度信号生成手段6により各画素毎にRプレーン、Bプレーン、Gプレーンの値が読み出され、それぞれ規定された係数が乗算され、和を求めることにより、各画素毎の輝度信号が得られる。
【0043】
S3.Y信号演算手段7は、この輝度信号によりヒストグラムを作成する。輝度信号を0〜255階調にレベル分けし、図12(A)に示す入金伝票に対して、図12(B)に示すヒストグラムが得られる。図12(B)において、ヒストグラムの左端が0レベル右端が255レベルである。このヒストグラムにおいて左側のピークP0 は例えば黒背景部分や記入文字等によるものであり、右側のピークP1 は入金系伝票の赤背景の成分によるものであり、更にその右側のピークP2 は入金系伝票の白背景の成分によるものである。このように入金系の伝票の輝度信号のヒストグラムは、その階調の中央より高階調側にピークが2つつまり双頭状の形状を示す特徴がある。
【0044】
S4.Rプレーン演算手段8は、Rプレーン保持部5より得られたRプレーンによりヒストグラムを作成する。これにより、図12(A)に示す入金系伝票を読込んだとき、図4(A)に示すイメージのRプレーンが得られる。そしてこれを0〜255の階調にレベル分けするとき、図4(B)に示す如きヒストグラムが得られる。図4(B)と図12(B)とを比較して、(1)輝度信号のヒストグラムは高レベル部分が双頭形状を示すのにRプレーンのヒストグラムは高レベル部分が双頭形状ではないこと、(2)輝度信号のヒストグラムでは低レベル部分のピークp0 と双頭部分の左側までの間隔S0 が、Rプレーンのヒストグラムでは低レベル部分のピークp0 と右側部分の高レベル部分のピークp1 までの間隔S1 よりも狭いことがわかる。
【0045】
S5.これら、輝度信号のヒストグラムと、Rプレーンのヒストグラムが入金系・出金系判定手段9に送出され、入金系・出金系判定手段9は、輝度信号のヒストグラムのパターンが双頭形状か否か解析される。このため、例えばヒストグラムの最高の個数値から1/2、1/3、1/4、1/5の値で水平に走査して、階調レベルより1/2以上の範囲の部分に双頭形状のヒストグラムが存在するか否かを検出する。
【0046】
S6.このようにして入金系・出金系判定手段9は、読み取り中の伝票が入金系か否かを判定する。
【0047】
S7.入金系であると判定したとき、入金系・出金系判定手段9は、Rプレーンから自動判別法で求めた閾値である自動判別閾値を算出する。このため、例えばRプレーン演算手段8から送出された、図4(B)に示す如きRプレーンに対し、例えば、低レベル部分のピークp0 と、高レベル部分のピークp1 との間隔を、低レベル部分の画素ピーク値の頂部、頂部から1/5、1/4、1/2の位置で水平方向に高レベル方向に走査して求め、その中心位置Th1 、Th2 、Th3 、Th4 の平均の階調レベルを自動判別法で求めた自動判別閾値Th0 とする。
【0048】
S8.入金系・出金系判定手段9はこのようにして得た閾値Th0 を輝度信号2値化手段11に送出する。これにもとづき輝度信号2値化手段11は、輝度信号生成手段6で生成した各画素の輝度信号を2値化する。
【0049】
S9.入金系・出金系判定手段9は、この自動判別法で求めた閾値Th0 をRプレーン2値化手段10にも送出し、Rプレーンを2値化する。
【0050】
S10.これら輝度信号の2値化データと、Rプレーンの2値化データは2値化信号合成手段12において合成される。そしてこの合成されたものが画像出力手段13に送出され、図示省略した文字読取手段に送出され、文字認識が行われることになる。
【0051】
S11.ところで、前記S6において伝票が入金系でないと判別されたとき、入金系・出金系判定手段9は、輝度信号のヒストグラムから、前記S7で説明した手法と同様の手法により自動判別閾値を算出し、これにより輝度信号及びRプレーンをそれぞれ2値化し、これらを合成して出力する。
【0052】
なお、前記2値化信号合成手段12は必ずしも使用する必要はないが、輝度信号がきれいなため、これをRプレーン2値化信号と合成することによりきれいな2値化信号が得られ、より正確な文字認識ができる。もし2値化信号合成手段12を使用しない場合は、Rプレーン2値化手段10より得られた2値化信号が出力されるものとなる。
【0053】
ところで、図5(A)に示す如き、出金系(青系)伝票の輝度信号イメージのヒストグラムを作成すると、図5(B)に示す如きものとなる。
【0054】
同じ出金系伝票のRプレーンイメージは図6(A)に示す如きものとなり、このRプレーンヒストグラムは図6(B)に示す如きものとなり前記図5(B)に示す輝度信号によるヒストグラムと略同一のものが得られる。このように出金系伝票の場合、ヒストグラム上で見ると輝度信号とRプレーンとで大きな変化が見られないことがわかる。
【0055】
2.第2実施例
本発明の第2実施例を図1及び図7にもとづき説明する。
【0056】
第2実施例では輝度信号とRプレーンのイメージ変換後、濃度分布のバラツキの差を見るものである。輝度信号イメージの分散値と、Rプレーンイメージの標準偏差を求める。両イメージがほぼ同一な値を示した場合、出金系伝票と判断できる。入金系では、図12(B)に示す如く、輝度信号のR成分を拾うため、輝度信号の分布は、図4(B)に示すRプレーンの分布と相違する。
【0057】
また出金系では図5(B)に示す輝度信号の分布と、図6(B)に示すRプレーンの分布は同一傾向である。したがって標準偏差を求めることにより、入金系伝票か、出金系伝票か判別できる。
【0058】
いま各画素の輝度階調レベルをy、平均階調をx1とし、Rプレーンの明るさの階調レベルをr、平均階調をx2としたとき、輝度信号の標準偏差S1、Rプレーンイメージの標準偏差S2はそれぞれ次式により得られる。ただしnは画素総数であり、またi=1、2・・・nである。
【0059】
S1=√(Σ(yi−x1)(yi−x1)/n)
S2=√(Σ(ri−x2)(ri−x2)/n)
第2実施例では、Y信号演算手段7を輝度信号に対する標準偏差演算手段として動作させ、Rプレーン演算手段8をRプレーンに対する標準偏差演算手段として動作させ、入金系・出金系判定手段9を輝度信号に対する標準偏差とRプレーンに対する標準偏差とがほぼ等しい場合は出金系伝票でありこれらの差が規定値以上のとき入金系伝票と判断するものである。以下の説明では規定値として1.0の例について説明しているが、これは階調レベルを0〜255に定めた場合の実験値のことであり、本発明はこれに限定されるものではない。
【0060】
第2実施例の動作について説明する。
S21、S22は、前記図3のS1、S2と同じであるので、説明を省略する。
【0061】
S23.Y信号演算手段7は、輝度信号生成手段6から得られた輝度信号により輝度信号イメージの標準偏差S1を求める。
【0062】
S24.Rプレーン演算手段8は、Rプレーン保持部5から得られたRプレーンによりRプレーンイメージの標準偏差S2を求める。
【0063】
S25.これら輝度信号イメージの標準偏差S1と、Rプレーンイメージの標準偏差S2が入金系・出金系判定手段9に送出される。入金系・出金系判定手段9は、これら標準偏差S1、S2の差を求める。
【0064】
S26.入金系・出金系判定手段9は、これら標準偏差S1とS2の差を求め、S2−S1の差が規定値(階調レベルが256の場合は1.0)に達しない場合は、差がないものとして読み取り伝票が出金系のものと判断し、規定値以上の場合は入金系伝票と判断する。
【0065】
S27.そして差が1.0以上の場合は、入金系伝票と判断したので、前記図3のS7と同様の手法により入金系・出金系判定手段9はRプレーンから自動判別閾値を算出する。
【0066】
S28、S29、S30は、前記図3のS8、S9、S10と同じであるので説明簡略化のため、説明を省略する。
【0067】
S31.前記S26において差が1.0に達しない場合は、前記図3のS11と同様にして輝度信号のヒストグラムから自動判別閾値を算出し、これにより輝度信号及びRプレーンをそれぞれ2値化し、これらを合成して出力する。
【0068】
前記と同様に、これらの合成を省略することもできる。
【0069】
3.第3実施例
本発明の第3の実施例を図1及び図8にもとづき説明する。
【0070】
第3実施例は輝度信号とRプレーンのイメージ変換後、濃度分布の平均をみるものである。輝度信号とRプレーンのヒストグラム分布が相違する場合、濃度平均においても変化が見られる。したがって輝度信号に対する平均値m1と、Rプレーンに対する平均値m2がほぼ等しい場合出金系伝票と判断することができ規定値以上の差がある場合入金系伝票と判断することができる。輝度信号に対する平均値m1と、Rプレーンに対する平均値m2はそれぞれ次式により得られる。ただしi=1、2・・・nであり、nは画素総数である。
【0071】
m1=Σyi/n
m2=Σri/n
第3実施例ではY信号演算手段7を輝度信号に対する濃度平均演算手段として動作させ、Rプレーン演算手段8をRプレーンに対する濃度平均演算手段として動作させ、入金系・出金系判定手段9を輝度信号に対する平均値m1と、Rプレーンに対する平均値m2とがほぼ等しい場合は出金系伝票であり、これらの差が規定値以上のとき入金系伝票と判断するものである。以下の説明では規定値が10の例について説明しているが、これは階調レベルを0〜255に定めた場合の実験値のことであり、本発明はこれに限定されるものではない。
【0072】
第3実施例の動作について説明する。
S41、S42は前記図3のS1、S2と同じであるので説明を省略する。
【0073】
S43.Y信号演算手段7は、輝度信号により輝度信号イメージの輝度平均m1すなわち濃度平均m1を求める。
【0074】
S44.Rプレーン演算手段8は、Rプレーン保持部5から得られたRプレーンによりRプレーンイメージの平均値m2すなわち濃度平均m2を求める。
【0075】
S45.これら輝度信号イメージの濃度平均m1と、Rプレーンイメージの濃度平均m2が入金系・出金系判定手段9に送出される。入金系・出金系判定手段9は、これらの濃度平均m1、m2の差を求める。
【0076】
S46.入金系・出金系判定手段9は、これらの濃度平均m1とm2の差を求め、m2−m1の差が規定値(階調レベルが256の場合は10)に達しない場合は、差がないものとして読み取り伝票が出金系のものと判断し、規定値以上の場合は入金系伝票と判断する。
【0077】
S47.そして差が10以上の場合は、入金系伝票と判断したので、前記図3のS7と同様の手法により入金系・出金系判定手段9は、Rプレーンから自動判別閾値を算出する。
【0078】
S48、S49、S50は、前記図3のS8、S9、S10と同じであるので説明簡略化のため説明を省略する。
【0079】
S51.前記S46において、差が10に達しない場合は、前記図3のS11と同様にして輝度信号のヒストグラムから自動判別閾値を算出し、これにより輝度信号及びRプレーンをそれぞれ2値化し、これらを合成して出力する。
【0080】
前記と同様に、これらの合成を省略することもできる。
【0081】
4.第4実施例
第4実施例ではY信号演算手段7を輝度信号に対するヒストグラム生成手段として動作させ、Rプレーン演算手段8をRプレーンに対するヒストグラム生成手段として動作させ、入金系・出金系判定手段9を輝度信号及びRプレーンからそれぞれ自動判別閾値を算出するものとして動作させる。
【0082】
第4実施例では自動判別閾値を用いて読み取った伝票の入金系・出金系を判別する。背景が赤い入金系では自動判別閾値の値が輝度信号とRプレーンで相違するため、閾値の開きが大きい場合には入金系伝票と判断できる。
【0083】
入金系伝票の輝度信号のヒストグラムは、図12(B)に示す如く、赤背景の成分にもとづくピークP1 と白背景の成分にもとづくピークP2 が存在するため、黒背景部分や記入文字等にもとづくピークP0 と前記ピークP1 の中央付近に定められる自動判別閾値th0 の階調レベルは、この赤背景の成分にもとづくP1 が存在しな場合に得られる自動判別閾値th1 よりも左側、つまり低い階調レベルのものとなる。逆の表現をすればRプレーンではRの特性(前記ピークP1 等)がドロップアウトするため、算出される自動判別閾値th1 はth0 よりも高い階調レベルのものとなり、th0 よりも右側に存在する。
【0084】
出金系伝票では、輝度信号とRプレーンのヒストグラム特性がほぼ同一のため、自動判別閾値もほぼ同一となる。
【0085】
したがって輝度信号にもとづき得られた自動判別閾値th0 とRプレーンにもとづき得られた自動判別閾値th1 とがほぼ等しい場合は出金系伝票であり、これらの差が規定値以上のとき入金系伝票と判断するものである。以下の説明では規定値が10の例について説明しているが、これは階調レベルを0〜255に定めた場合の実験値から得られたものであり、本発明はこれに限定されるものではない。
【0086】
第4実施例の動作について説明する。
S61、S62は前記図3のS1、S2と同じであるので説明を省略する。
S63は前記図3のS3と同じであるので説明を省略する。
【0087】
S64.前記図3のS11と同じであるので説明を省略する。なおこれにより求められた輝度信号の自動判別閾値th1 は、入金系・出金系判定手段9の図示省略したレジスタに一時保持される。
【0088】
S65.前記図3のS4と同じであるので説明を省略する。
【0089】
S66.前記図3のS7と同じであるので説明を省略する。なおこれにより求められたRプレーンの自動判別閾値th0 は、入金系・出金系判定手段9の図示省略したレジスタに一時保持される。
【0090】
S67.入金系・出金系判定手段9は、これらRプレーンの自動判別閾値th0 と輝度信号の自動判別閾値th1 との差を求める。
【0091】
S68.入金系・出金系判定手段9は、これらの自動判別閾値th0 とth1 との差を求め、th0 −th1 の差が規定値(階調レベルが256の場合は10)に達しない場合は、差がないものとして読み取り伝票が出金系のものと判断し、規定値以上の場合は入金系伝票と判断する。
【0092】
S69.差が10以上の場合、入金系・出金系判定手段9は入金系伝票と判断したので、前記S66で保持されたRプレーンの自動判別閾値th0 を読取る。
【0093】
S70、S71、S72は前記図3のS8、S9、S10と同様の処理をこの自動判別閾値th0 を用いて行うものであり、詳細な説明は省略する。
【0094】
S73.前記S68において差が10に達しない場合は、前記S64で保持された輝度信号による自動判別閾値th1 を読取り、これにより輝度信号及びRプレーンをそれぞれ2値化し、これらを合成して出力する。
【0095】
前記と同様にこれらの合成を省略することもできる。
【0096】
本発明は、輝度成分はR・G・B信号すべてを拾う特性を持ち、赤い帳票色の入金系伝票では、赤の輝度成分を拾うため、図12(B)に示す如く、ヒストグラムでみた場合、ピークp1 で示されるように、赤い成分の分布が存在する。また同一の帳票をRプレーンでみた場合、Rの波長特性において赤色系は高い階調成分となり、白のレベルと一体化するため、図4(B)のピークp1 で示す如く、赤の成分と白の成分がヒストグラム上で分離しないという特性を利用して、入金系伝票と出金系伝票を正確に識別するものである。
【0097】
なお出金系伝票は、図14(B)に示す如く、従来方式である輝度信号から自動判別閾値を算出して輝度信号とRプレーンをそれぞれ2値化し合成した場合と、同(C)に示す如く、本発明方式である、入金系伝票か出金系伝票かを判別したあと、輝度信号から自動判別閾値を算出して輝度信号とRプレーンをそれぞれ2値化し合成した場合とで、大きな差はなく、いずれも正確に文字認識できる。
【0098】
しかし入金系伝票については、図13(B)に示す如く輝度信号から自動判別閾値を算出して輝度信号とRプレーンを2値化合成した従来方式では2値化出力された文字にカスレが存在し、正確に文字認識ができない場合が存在するのに対し、図13(C)に示す如く、入金系伝票か出金系伝票かを判別後、入金系伝票に対してはRプレーンから自動判別閾値を算出し、輝度信号とRプレーンを2値化合成した本発明の方式がカスレが存在しないので、正確に文字認識ができることがわかる。
【0099】
このように読取り伝票が入金系か出金系か判別して、判別結果に応じて自動判別閾値の算出を切り替えることによりカスレのない画像を出力し、正確な文字読取を行うことができる。
【0100】
ところで図12(B)に示す如く、入金(赤)系伝票の輝度信号の標準偏差は51.91、濃度平均は161.10であり、図4(B)に示す如く、Rプレーンイメージの標準偏差は54.59、濃度平均は177.09であり、図5(B)に示す如く、出金(青)系伝票の輝度信号の標準偏差は64.28、濃度平均は184.20であり、図6(B)に示す如く、出金(青)系伝票のRプレーンの標準偏差は63.71、濃度平均は180.04である。
【0101】
これらより明らかに、256階調のとき、実施例2においては輝度信号とRプレーンの標準偏差が1.0以上のとき入金(赤)系伝票で、1.0未満のとき出金(青)系伝票であり、実施例3においては輝度信号とRプレーンの濃度平均が10以上のとき入金(赤)系伝票で、10未満のとき出金(青)系伝票であることがわかる。
【0102】
なお前記規定値は階調により異なるもので、図10に階調レベルの違いによる判定条件を説明する。
【0103】
標準偏差にもとづく場合、図10(A)に示す如く、階調レベルが256、128・・・16と変化するにつれて、規定値(差の値)は、1.0以上、0.5以上・・・0.1以上と変化する。濃度分布平均にもとづく場合、図10(B)に示す如く、階調レベルが256、128・・・16と変化するにつれて規定値(差の値)は、10.0以上、5.0以上・・・0.5以上と変化する。自動判別閾値は、入金系伝票の輝度信号はRの特性を拾うため低くなり、RプレーンではRの特性がドロップアウトするので高くなり、出金系伝票ではヒストグラム特性がほぼ同一のため、自動判別閾値もほぼ同一となる。階調レベルが256、128、64・・・と変化するについて、規定値(差の値)は10.0以上、5.0以上、3.0以上・・・となる。
【0104】
【発明の効果】
本発明により下記の効果を奏することができる。
【0105】
(1)本発明により入金系と出金系の帳票を区別することができ、しかも入金系の場合はRプレーンから求めた自動判別閾値を使用することにより輝度信号を2値化するのでカスレの発生を抑制してデータを正確に判読することができる。
【0106】
(2)さらにRプレーンを2値化したものにきれいな画像を得ることができる輝度信号を2値化したものを合成することにより、きれいな画像を用いて正確に判読することができる。
【図面の簡単な説明】
【図1】本発明の実施の形態である。
【図2】本発明のハード構成説明図である。
【図3】本発明の動作説明図(その1)である。
【図4】入金(赤)系伝票Rプレーンイメージ及びヒストグラム説明図である。
【図5】出金(青)系伝票の輝度信号イメージ及びヒストグラム説明図である。
【図6】出金(青)系伝票のRプレーンイメージ及びヒストグラム説明図である。
【図7】本発明の動作説明図(その2)である。
【図8】本発明の動作説明図(その3)である。
【図9】本発明の動作説明図(その4)である。
【図10】規定値説明図である。
【図11】フルカラーCCD説明図である。
【図12】入金(赤)系伝票の輝度信号イメージ及びヒストグラム説明図である。
【図13】入金系伝票2値化状態説明図である。
【図14】出金系伝票2値化状態説明図である。
【符号の説明】
1 2次元カラーCCD
2 RGBプレーン分割手段
3 Gプレーン保持部
4 Bプレーン保持部
5 Rプレーン保持部
6 輝度信号生成手段
7 Y信号演算手段
8 Rプレーン演算手段
9 入金系・出金系判定手段
10 Rプレーン2値化手段
11 輝度信号2値化手段

Claims (4)

  1. 帳票を読み取るイメージ読み取り手段と、
    この読み取り信号にもとづきRプレーン、Gプレーン、Bプレーンを生成するカラープレーン出力信号生成手段と、
    このカラープレーン出力信号生成手段の出力にもとづき輝度信号を生成する輝度信号生成手段と、
    輝度信号のヒストグラムを生成する輝度信号ヒストグラム演算手段と、
    Rプレーンのヒストグラムを生成するRプレーン・ヒストグラム演算手段と、
    前記輝度信号ヒストグラム演算手段と前記Rプレーン・ヒストグラム演算手段の出力にもとづき読み取った帳票が赤系の入金系か青系の出金系かを判定する判定手段と、
    Rプレーンから自動判別閾値を算出するRプレーン閾値算出手段と、
    輝度信号から自動判別閾値を算出する輝度信号閾値算出手段と、
    輝度信号を2値化する輝度信号2値化手段と、
    Rプレーンを2値化するRプレーン2値化手段と、
    前記Rプレーン2値化手段からのRプレーン2値化出力と、前記輝度信号2値化手段からの輝度信号2値化出力を加え合わせて1つにする合成手段を具備し、
    前記判定手段により読み取り帳票が入金系と判定されたとき、Rプレーンから得られた自動判別閾値にもとづき輝度信号及びRプレーンをそれぞれ前記輝度信号2値化手段及び前記Rプレーン2値化手段で2値化し、入金系ではないと判定されたとき、輝度信号から得られた自動判別閾値にもとづき輝度信号及びRプレーンをそれぞれ前記輝度信号2値化手段及び前記Rプレーン2値化手段で2値化することを特徴とする2値化処理装置。
  2. 帳票を読み取るイメージ読み取り手段と、
    この読み取り信号にもとづきRプレーン、Gプレーン、Bプレーンを生成するカラープレーン出力信号生成手段と、
    このカラープレーン出力信号生成手段の出力にもとづき輝度信号を生成する輝度信号生成手段と、
    前記輝度信号生成手段で生成した輝度信号の標準偏差を求める輝度信号標準偏差演算手段と、
    前記カラープレーン出力信号生成手段で生成したRプレーンの標準偏差を求めるRプレーン標準偏差演算手段と、
    前記輝度信号標準偏差演算手段で求めた輝度信号標準偏差と前記Rプレーン標準偏差演算手段で求めたRプレーン標準偏差の差を求める標準偏差差分演算手段と、
    Rプレーンから自動判別閾値を算出するRプレーン閾値算出手段と、
    輝度信号から自動判別閾値を算出する輝度信号閾値算出手段と、
    輝度信号を2値化する輝度信号2値化手段と、
    Rプレーンを2値化するRプレーン2値化手段と、
    前記Rプレーン2値化手段からのRプレーン2値化出力と、前記輝度信号2値化手段からの輝度信号2値化出力を加え合わせて1つにする合成手段を具備し、
    前記標準偏差差分演算手段において差が規定値以上の場合、Rプレーンから得られた自動判別閾値にもとづき輝度信号及びRプレーンをそれぞれ前記輝度信号2値化手段及び前記Rプレーン2値化手段で2値化し、規定値に達しない場合、輝度信号から得られた自動判別閾値にもとづき輝度信号及びRプレーンをそれぞれ前記輝度信号2値化手段及び前記Rプレーン2値化手段で2値化することを特徴とする2値化処理装置。
  3. 帳票を読み取るイメージ読み取り手段と、
    この読み取り信号にもとづきRプレーン、Gプレーン、Bプレーンを生成するカラープレーン出力信号生成手段と、
    このカラープレーン出力信号生成手段の出力にもとづき輝度信号を生成する輝度信号生成手段と、
    前記輝度信号生成手段で生成した輝度信号の濃度平均を求める輝度信号濃度平均演算手段と、
    前記カラープレーン出力信号生成手段で生成したRプレーンの濃度平均を求めるRプレーン濃度平均演算手段と、
    前記輝度信号濃度平均演算手段で求めた輝度信号濃度平均と前記Rプレーン濃度平均演算手段で求めたRプレーン濃度平均の差を求める濃度平均差演算手段と、
    Rプレーンから自動判別閾値を算出するRプレーン閾値算出手段と、
    輝度信号から自動判別閾値を算出する輝度信号閾値算出手段と、
    輝度信号を2値化する輝度信号2値化手段と、
    Rプレーンを2値化するRプレーン2値化手段と、
    前記Rプレーン2値化手段からのRプレーン2値化出力と、前記輝度信号2値化手段からの輝度信号2値化出力を加え合わせて1つにする合成手段を具備し、
    前記濃度平均差演算手段において差が規定値以上の場合、Rプレーンから得られた自動判別閾値にもとづき輝度信号及びRプレーンをそれぞれ前記輝度信号2値化手段及び前記Rプレーン2値化手段で2値化し、規定値に達しない場合、輝度信号から得られた自動判別閾値にもとづき輝度信号及びRプレーンをそれぞれ前記輝度信号2値化手段及び前記Rプレーン2値化手段で2値化することを特徴とする2値化処理装置。
  4. 帳票を読み取るイメージ読み取り手段と、
    この読み取り信号にもとづきRプレーン、Gプレーン、Bプレーンを生成するカラープレーン出力信号生成手段と、
    このカラープレーン出力信号生成手段の出力にもとづき輝度信号を生成する輝度信号生成手段と、
    輝度信号のヒストグラムを生成する輝度信号ヒストグラム演算手段と、
    前記輝度信号のヒストグラムから自動判別閾値を算出する輝度信号閾値算出手段と、
    Rプレーンのヒストグラムを生成するRプレーンヒストグラム演算手段と、
    前記Rプレーンのヒストグラムから自動判別閾値を算出するRプレーン閾値算出手段と、
    前記輝度信号閾値算出手段が算出した輝度信号の自動判別閾値と前記Rプレーン閾値算出手段が算出したRプレーンの自動判別閾値の差を求める自動判別閾値差演算手段と、
    輝度信号を2値化する輝度信号2値化手段と、
    Rプレーンを2値化するRプレーン2値化手段と、
    前記Rプレーン2値化手段からのRプレーン2値化出力と、前記輝度信号2値化手段からの輝度信号2値化出力を加え合わせて1つにする合成手段を具備し、
    前記自動判別閾値差演算手段において差が規定値以上の場合、Rプレーンから得られた自動判別閾値にもとづき輝度信号及びRプレーンをそれぞれ前記輝度信号2値化手段及び前記Rプレーン2値化手段で2値化し、規定値に達しない場合、輝度信号から得られた自動判別閾値にもとづき輝度信号及びRプレーンをそれぞれ前記輝度信号2値化手段及び前記Rプレーン2値化手段で2値化することを特徴とする2値化処理装置。
JP2003172949A 2003-06-18 2003-06-18 2値化処理装置 Expired - Fee Related JP4335590B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2003172949A JP4335590B2 (ja) 2003-06-18 2003-06-18 2値化処理装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2003172949A JP4335590B2 (ja) 2003-06-18 2003-06-18 2値化処理装置

Publications (2)

Publication Number Publication Date
JP2005010977A JP2005010977A (ja) 2005-01-13
JP4335590B2 true JP4335590B2 (ja) 2009-09-30

Family

ID=34096909

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003172949A Expired - Fee Related JP4335590B2 (ja) 2003-06-18 2003-06-18 2値化処理装置

Country Status (1)

Country Link
JP (1) JP4335590B2 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5958023B2 (ja) * 2012-03-30 2016-07-27 ブラザー工業株式会社 画像処理装置および画像処理プログラム

Also Published As

Publication number Publication date
JP2005010977A (ja) 2005-01-13

Similar Documents

Publication Publication Date Title
US7227990B2 (en) Color image processing device and color image processing method
US9870600B2 (en) Raw sensor image and video de-hazing and atmospheric light analysis methods and systems
KR101597739B1 (ko) 화상 처리 장치, 화상 처리 방법, 및 컴퓨터 판독 가능한 매체
JPH09179930A (ja) 情報再生システム、情報記録媒体、及び情報記録装置
JP4764903B2 (ja) テキストマップの中からライン構造を検出する方法および画像処理装置
US7885486B2 (en) Image processing system, method for processing image and computer readable medium
KR20080006112A (ko) 경계 영역의 선명도를 개선하는 하프토닝 방법 및 장치
JP5870745B2 (ja) 画像処理装置、二値化閾値算出方法及びコンピュータプログラム
JP2010016812A (ja) 画像処理装置、画像処理方法およびコンピューター読み取り可能な媒体
US20140086473A1 (en) Image processing device, an image processing method and a program to be used to implement the image processing
US7003160B2 (en) Image processing apparatus, image processing method, and computer readable recording medium recording image processing program for processing image obtained by picking up or reading original
JP4335590B2 (ja) 2値化処理装置
US6750986B1 (en) Color image processing method with thin-line detection and enhancement
US11570331B2 (en) Image processing apparatus, image processing method, and storage medium
JP3248965B2 (ja) 2値化しきい値決定装置
JP4454297B2 (ja) 2値化処理装置、および2値化処理方法
JP3282606B2 (ja) バーコード読取装置、方法及びプログラムを記憶した記憶媒体
JP2011155365A (ja) 画像処理装置および画像処理方法
JP3318248B2 (ja) 画質改善装置及び記録媒体
JP2004128643A (ja) 画像の傾き補正方法
JP3358133B2 (ja) 画像処理装置
JP5103436B2 (ja) 画像処理装置、画像処理方法及び画像処理プログラム
JP4653215B2 (ja) コード認識方法及び装置、電子装置、プログラム及び記憶媒体
JP2522310B2 (ja) 光学的文字読取装置
US6778296B1 (en) Color imaging processing method with boundary detection and enhancement

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20060413

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20090226

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090331

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090529

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20090529

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20090529

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20090623

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20090625

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120703

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 4335590

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120703

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130703

Year of fee payment: 4

LAPS Cancellation because of no payment of annual fees