JP4131887B2 - 帳票読み取り装置およびその制御方法 - Google Patents

帳票読み取り装置およびその制御方法 Download PDF

Info

Publication number
JP4131887B2
JP4131887B2 JP17596298A JP17596298A JP4131887B2 JP 4131887 B2 JP4131887 B2 JP 4131887B2 JP 17596298 A JP17596298 A JP 17596298A JP 17596298 A JP17596298 A JP 17596298A JP 4131887 B2 JP4131887 B2 JP 4131887B2
Authority
JP
Japan
Prior art keywords
white reference
reading
reference member
image sensor
reflected light
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP17596298A
Other languages
English (en)
Other versions
JP2000011148A (ja
Inventor
義明 竹島
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Original Assignee
Toshiba Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp filed Critical Toshiba Corp
Priority to JP17596298A priority Critical patent/JP4131887B2/ja
Publication of JP2000011148A publication Critical patent/JP2000011148A/ja
Application granted granted Critical
Publication of JP4131887B2 publication Critical patent/JP4131887B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Image Input (AREA)
  • Facsimile Scanning Arrangements (AREA)

Description

【0001】
【発明の属する技術分野】
この発明は、例えばOCRなどの帳票読み取り装置およびその制御方法に関する。
【0002】
【従来の技術】
従来、OCRでは、画像読み取りの前処理として、帳票毎に、撮像素子として使用されるCCD増幅率のコントロール及びシェージング補正などの処理が行われていた。そのために、帳票先端部には、“クリアエリア”と呼ばれる白いエリアが用意されており、CCDから出力される“クリアエリア”からの反射光出力を用いてCCD増幅率の調整などが行われる。
【0003】
しかし、このような構成においては、帳票先端部に白い“クリアエリア”を設けることが必須となるため処理可能な帳票の種類が制限されてしまうと共に、帳票毎の調整であるため時間がかかり、また帳票によってはその先端部が汚れなどによって黒ずんでいるとCCD増幅率の調整が誤って行われてしまうという問題がある。
【0004】
また、従来のOCRでは、照明光を得るための光源として蛍光灯が用いられているが、蛍光灯の劣化等により画像が暗くなって、OCRとしての文字読取率が低下するという傾向があった。これは、帳票先端部の“クリアエリア”からの反射光出力は帳票毎にバラツキがあるため、“クリアエリア”からの反射光出力を用いた制御では、蛍光灯の劣化の分だけCCD増幅率の基準値を予め高めに設定しておくといった制御を行うことが困難であったからである。また、ユーザは、文字読取率の低下が蛍光灯劣化によるものであるか否かを認識することが出来ず、蛍光灯が点灯しなくなるまで、蛍光灯の交換が行われないという問題もあった。
【0005】
【発明が解決しようとする課題】
上述したように、従来では、帳票先端部に設けられた“クリアエリア”と呼ばれる白いエリアからの反射光出力を用いてCCD増幅率を帳票毎に調整しているため、処理可能な帳票の種類が制限されてしまうなどの問題があった。
【0006】
また、蛍光灯の劣化等による光量の低下によって画像が暗くなり、文字認識率の低下などを招くという欠点があった。
この発明はこのような事情に鑑みてなされたものであり、帳票先端部の“クリアエリア”を用いることなくCCD増幅率を調整できるようにする事により、帳票先端部の“クリアエリア”の制限をなくして処理可能な帳票の種類の範囲を大幅に拡大できるようにし、また蛍光灯劣化による画像品質の低下を大幅に低減させることが可能な帳票読み取り装置およびその制御方法を提供することを目的とする。
【0007】
【課題を解決するための手段】
上述の課題を解決するため、この発明は、読み取り領域に照明光を照射する光源と、前記読み取り領域の画像を入力する撮像素子とを具備し、これら光源および撮像素子を用いて帳票を光学的に読み取る帳票読み取り装置において、前記読み取り領域の裏面側に設けられ、前記読み取り領域に設けられたスリットを通して、前記照明光が照射される第1位置および前記読み取り領域のスリットを通して前記照明光が照射されない第2位置の一方に位置設定される白基準用部材と、前記撮像素子出力の増幅率を調整するとき前記白基準用部材を第1位置に設定し、前記帳票の読み取りを行うとき前記帳票の裏あてを黒にするために前記白基準用部材を前記第2位置に設定する位置制御手段と、前記白基準用部材を第1位置に設定した状態で前記撮像素子から得られる前記白基準用部材からの反射光の出力値を白基準として使用することにより、前記撮像素子出力の増幅率を調整する手段とを具備することを特徴とする。
【0008】
この構成においては、白い棒などの白基準用部材が読み取り部に取り付けられており、CCDなどの撮像素子出力の増幅率を調整するときは、白基準用部材を照明光が照射される第1位置に設定される。この状態で撮像素子から得られる白基準用部材からの反射光の出力値を白基準として使用することにより、撮像素子出力の増幅率が調整される。そして、帳票の読み取りを行うときは、白基準用部材が照射光が照射されない第2位置に戻されるので、白基準用部材の影響を受けることなく、帳票の読み取りを行うことができる。このように読み取り部に取り付けた白棒などの白基準用部材からの反射光を白基準とすることにより、帳票先端部のクリアエリアの制限をなくし、処理可能な帳票の範囲を増やすことができる。また、この白い棒により蛍光灯の劣化等による光量の低下を検出して、CCDなどの撮像素子出力の増幅率を調整することにより、画像品質を向上させることができる。よって、帳票先端部にクリアエリアが不要となり、また蛍光灯が劣化しても安定した画像を得ることができる。
【0009】
【発明の実施の形態】
以下、図面を参照してこの発明の実施形態を説明する。
図1には、この発明の一実施形態に係る帳票読み取り装置の構成が示されている。この帳票読み取り装置は、帳票11上に記入されている文字を光学的に読みとるためのOCRとして使用されるものであり、帳票11が搬送される読み取り領域に照明光を照射する光源として使用される蛍光灯21と、読み取り領域の画像が入力して撮像する撮像素子を構成するCCDラインセンサ22と、CCDラインセンサ22の出力を増幅するための増幅部23と、本装置全体を制御する制御部24とを備えている。
【0010】
読み取り領域には、白棒101が取り付けられている。この白棒101は、CCDラインセンサ22の増幅率、つまりCCDゲインを調整するための白基準として用いられるものであり、その一端は図示のように読み取り領域の裏面側に支持され、読み取り領域のスリットを通して照明光が照射される実線の第1位置と照明光が照射されない破線の第2位置との間を回動自在に設けられている。白棒101は、制御部24からの信号によって動作する例えばソレノイドコイルを用いた電磁式の駆動機構やモータ等によって制御され、第1位置または第2位置のいずれかに位置設定される。白棒101と読み取り領域の位置関係は図2の通りである。
【0011】
すなわち、前述したように読み取り領域には図示のように帳票11の搬送方向と直交する方向に延在する細長い線状のスリットが設けられており、ここに光源として機能する蛍光灯21からの照明光が照射され、読み取り領域からの反射光がレンズを介してCCDラインセンサ22によって読みとられる。スリットは読み取り時の帳票11の裏あてを黒にするためのものであり、搬送される各帳票11の先端部を検出するために用いられる。
【0012】
白棒101は、帳票11の搬送方向に沿って回動されるように設けられており、第1位置にセットされている状態では、図示のようにスリットの裏側に位置され、白棒101からの反射光がCCDラインセンサ22によって読みとられる。一方、制御部24によって白棒101が第1位置から第2位置にリセットされると、白棒101は読み取り部から外れるので、スリットからの反射光は一切なくなり、帳票11の裏あては黒になる。
【0013】
図1の制御部24はMPUを内蔵しており、ファームウェアによる制御によって帳票読み取り装置の読み取り前処理および帳票読み取り処理などの制御を行う。
【0014】
読み取り前処理では、制御部24によって白棒101は第1位置にセットされ、これによりCCDラインセンサ22によって検出される白棒101からの反射光出力を用いて、蛍光灯21の劣化検出、白棒101からの反射光出力を白基準とする増幅部23の増幅率(CCDゲイン)の調整、シェージング補正などの処理が行われる。
【0015】
そして、このような調整が行われた後、制御部24によって白棒101は第1位置から第2位置にリセットされる。そして、帳票11の裏あてを黒にした状態で帳票読み取り処理が行われる。搬送される帳票11の先端がスリットにさしかかると、読み取り画像は黒から白に変わり、これにより帳票11の先端が検出される。制御部24は、帳票11の先端部を基準にして、帳票11から得られた画像から文字領域を検出し、そしてヒストグラムなどを用いて文字を切り出し、それを文字コードに変換してホストに出力する。
【0016】
図3には、白棒101からの反射光出力を利用したCCDゲインの調整、およびシェージング補正の原理が示されている。
図3(a)は、CCDラインセンサ22によって検出された白棒101からの反射光出力を示している。この場合、反射光として検出されるのは白棒101の位置する場所に対応する点(黒丸で図示)だけである。CCDラインセンサ22の特性や、レンズ、光源などの光学系の特性等により、CCD検出出力は、概略、図示のように読み取り領域の中央部近傍が最も大きく両端に向けて低下するという分布を有する。したがって、読み取り領域の中央部近傍における検出出力に対する、白棒101の位置における検出出力の割合は予め分かっているので、読み取り領域における白棒101の位置と、白棒101からの反射光出力値との関係から、読み取り領域の中央部近傍の検出出力値を予測し、その中央部近傍の検出出力値が理想的な値になるように増幅部23の増幅率の制御が行われる。図3(b)は、CCDゲイン調整後のCCD検出出力の特性を示している。
【0017】
この後、読み取り領域の中央部が最も大きく両端に向けて低下するというCCD検出出力の特性を、図3(c)のように平坦にするためのシェージング補正が行われる。
【0018】
このシェージング補正は、予め用意されている、CCDラインセンサ22の特性やレンズ、光源などの光学系の特性等によって決定されるシェージングデータと、白棒101からの反射光出力の検出値とに基づいて行われる。
【0019】
すなわち、読み取り領域全体に渡って各位置の検出出力がどのように分布するかは本帳票読み取り装置の特性から予め求められたシェージングデータによって与えられているので、まず、白棒101からの反射光出力値を用いて、白棒101の位置に対応する点のCCD検出出力を、読み取り領域中央部における理想的なCCD検出出力値にまで上げるために必要なCCD増幅率が基準補正量として決定され、そしてその基準補正量とシェージングデータとから、他の各点毎に、その点のCCD検出出力を読み取り領域中央部における理想的なCCD検出出力値にまで上げるために必要なCCD増幅率が決定される。このようなシェージング補正は、例えば1画素または複数画素からなるブロックなどを単位として増幅部23の増幅率を調整することなどによって行われる。
【0020】
なお、本帳票読み取り装置内における光学系のずれや照明のムラなどによる読み取り環境の変化は、読み取り領域の端部に現れやすい傾向にある。白棒101が読み取り領域の端部に設けられているのはこのためであり、これにより白棒101からの検出出力に現れる環境変化に応じた調整が可能となる。
【0021】
次に、図4のフローチャートを参照して、全体の処理の流れを説明する。
ホストから帳票読み取りが指示されると、制御部24は、読み取り処理の開始に先立って、以下の前処理を行う。すなわち、まず、蛍光灯21を点灯し(ステップS101)、次いで白棒101を第1位置にセットする(ステップS102)。そして、CCDラインセンサ22からの出力を用いて白棒101からの反射光出力値を白棒データとして検出する(ステップS103)。この後、予め用意されている蛍光灯データと白棒データとを比較する(ステップS104)。ここで、蛍光灯データは、新品の蛍光灯を点灯した際の白棒101からの反射光出力値を示している。
【0022】
この蛍光灯データと実際に白棒101から読みとられた反射光出力値との差に基づいて、蛍光灯21の劣化の度合いが調べられる。蛍光灯データの値と白棒101から読みとられた反射光出力値との差が一定値以上であれば、蛍光灯21が著しく劣化していると判定され(ステップS105のYES)、ユーザに対して蛍光灯の交換を促すためのエラー通知が行われる(ステップS106)。
【0023】
蛍光灯データの値と白棒101から読みとられた反射光出力値との差が許容範囲内であれば(ステップS105のNO)、白棒101から読みとられた反射光出力値の値が蛍光灯データの値になるように、増幅部23によるCCDゲインのレベルが、蛍光灯の劣化分だけ上昇される(ステップS107)。
【0024】
次に、読み取り領域における白棒101の位置と、白棒101からの反射光出力値との関係から、読み取り領域の中央部近傍の検出出力値を算出し、その検出出力値が理想的な値になるようにCCDゲインが微調整される(ステップS108)。
【0025】
すなわち、ステップS107では、白棒101の位置に対応する検出出力を蛍光灯の劣化分だけ上昇させるためのゲイン調整が行われているが、これはあくまで白棒101の位置のみに着目した大まかな調整であるため、これにより、読み取り領域の中央部近傍の検出出力値が理想的な値になるとは限らない。このため、ステップS108にて、読み取り領域の中央部近傍の検出出力値が理想的な値になるようにCCDゲインの調整が行われるのである。
【0026】
この後、シェージングデータと、白棒101からの反射光出力の検出値とに基づいて図3(c)で説明したようなシェージング補正が行われる(ステップS109)。そして、白棒101をリセットして第2位置に戻した後(ステップS110)、実際の帳票読み取り処理が開始される(ステップS111)。
【0027】
以上のように、本実施形態では、CCDラインセンサ22の出力の増幅率を調整するときは、白棒101は照明光が照射される第1位置に設定される。この状態でCCDラインセンサ22から得られる白棒101からの反射光の出力値を白基準として使用することにより、CCDラインセンサ22の増幅率が調整される。そして、帳票の読み取りを行うときは、白棒101は照射されない第2位置に戻されて読み取り領域から外れるので、帳票読み取りの裏あては黒になり、白棒101の影響を受けることなく、帳票11の読み取りを行うことができる。
【0028】
このように白棒101からの検出出力を用いてCCDゲインを制御することにより、帳票先端部にクリアエリアを設ける必要が無くなり、使用可能な帳票の種類の範囲を大幅に拡大できる。また、シェージングデータを予め制御部24内に用意しておくことにより、クリアエリア無しでシェージング補正を行うことが出来、品質の高い画像を得ることができる。さらに、蛍光灯の劣化による光量の低下を検出し、低下に見合った分だけCCDゲインを上げることにより、蛍光灯が劣化した際の画像品質を向上させることが可能となる。また、あらかじめ格納していた新品の蛍光灯の光量に対して蛍光灯が著しく劣化した際には、ユーザにエラー通知することにより、蛍光灯の交換を促し、蛍光灯劣化による画像品質低下を防ぐことが可能となる。
【0029】
図5には、ホストから読み取り帳票11の紙厚が指定された場合の制御処理の手順が示されている。
ホストからの帳票読み取り指示によって読み取り対象の帳票11の紙厚が指定された場合には、前述の蛍光灯劣化検出、CCDゲイン調整、シェージング補正に加え、帳票11の紙厚を考慮したCCDゲイン調整が行われる。これは、帳票11の紙厚が厚くなるほど帳票11からの反射光が強くなるという特徴を考慮したものである。
【0030】
すなわち、ホストから読み取り対象の帳票11の紙厚が指定されると(ステップS201)、制御部24は、蛍光灯21を点灯し(ステップS202)、次いで白棒101を第1位置にセットする(ステップS203)。そして、CCDラインセンサ22からの出力を用いて白棒101からの反射光出力値を白棒データとして検出する(ステップS204)。この後、ホストからの紙厚データに基づき、帳票からの標準的な反射光量に対する読み取り対象帳票からの反射光量の割合と、白棒検出出力とに基づいて、CCDゲインの調整が行われる(ステップS205)。すなわち、基本的には、帳票からの標準的な反射光量に対する読み取り対象帳票からの反射光量の割合に基づいてCCDゲインを調整するだけでよいが、実際には、このような紙厚に基づくゲイン調整は、図4で説明した読み取り前処理における調整処理の一環として行われるので、帳票からの標準的な反射光量に対する読み取り対象帳票からの反射光量の割合と、白棒検出出力とに基づいて、実際に読み取る帳票から得られた読み取り領域中央部近傍の検出出力値が、理想的な値になるようにCCDゲインの調整が行われるのである。
【0031】
そして、図4で説明したシェージング補正などを行った後、白棒101をリセットして第2位置に戻し(ステップS206)、実際の帳票読み取り処理が開始される(ステップS207)。
【0032】
このようにして、読み取り対象帳票の紙厚を考慮してCCDゲインを調整することにより、厚い紙から薄い紙まで安定した画像を得ることが出来、文字認識率を高めることが可能となる。
なお、以上の説明では、白基準用の部材として白棒101を用いたが、白い板状の部材であってもよい。
【0033】
【発明の効果】
以上説明したように、本発明によれば、白棒からの検出出力を白基準として使用してCCDゲインを調整することにより、帳票先端部の“クリアエリア”を用いることなくCCD増幅率を調整できるようになり、帳票先端部の“クリアエリア”の制限をなくして処理可能な帳票の種類の範囲を大幅に拡大できるようになる。また、また蛍光灯劣化による画像品質の低下を大幅に低減させることが可能となる。
【図面の簡単な説明】
【図1】本発明の一実施形態に係る帳票読み取り装置の構成を示す図。
【図2】同実施形態の帳票読み取り装置の読み取り領域と白棒の位置関係を示す図。
【図3】同実施形態における白棒からの反射光出力を利用したCCDゲインの調整およびシェージング補正の原理を説明するための図。
【図4】同実施形態における読み取り前処理の手順を示すフローチャート。
【図5】同実施形態における紙厚を考慮した読み取り前処理の手順を示すフローチャート。
【符号の説明】
11…帳票
21…蛍光灯
22…CCDラインセンサ
23…増幅部
24…制御部
101…白棒

Claims (7)

  1. 読み取り領域に照明光を照射する光源と、前記読み取り領域の画像を入力する撮像素子とを具備し、これら光源および撮像素子を用いて帳票を光学的に読み取る帳票読み取り装置において、
    前記読み取り領域の裏面側に設けられ、前記読み取り領域に設けられたスリットを通して、前記照明光が照射される第1位置および前記読み取り領域のスリットを通して前記照明光が照射されない第2位置の一方に位置設定される白基準用部材と、
    前記撮像素子出力の増幅率を調整するとき前記白基準用部材を第1位置に設定し、前記帳票の読み取りを行うとき前記帳票の裏あてを黒にするために前記白基準用部材を前記第2位置に設定する位置制御手段と、
    前記白基準用部材を第1位置に設定した状態で前記撮像素子から得られる前記白基準用部材からの反射光の出力値を白基準として使用することにより、前記撮像素子出力の増幅率を調整する手段とを具備することを特徴とする帳票読み取り装置。
  2. 前記スリットは帳票の搬送方向に直交する方向に延在しており、前記白基準用部材は、一端が前記読み取り領域に支持された白棒から構成され、前記第1位置においては前記スリットの端部に位置することを特徴とする請求項1記載の帳票読み取り装置。
  3. 前記白基準用部材からの反射光の出力値と予め用意されている前記帳票読み取り装置のシェージングデータとに基づいて、前記撮像素子出力のシェージング補正を行う手段をさらに具備することを特徴とする請求項1記載の帳票読み取り装置。
  4. 前記撮像素子から得られる前記白基準用部材からの反射光の出力値と、予め用意されている理想的な照明光を用いた場合の前記白基準用部材からの反射光の出力値を示すデータとに基づいて、前記撮像素子出力の増幅率を調整する手段をさらに具備することを特徴とする請求項1記載の帳票読み取り装置。
  5. 前記撮像素子から得られる前記白基準用部材からの反射光の出力値と、予め用意されている理想的な照明光を用いた場合の前記白基準用部材からの反射光の出力値を示すデータとに基づいて、前記光源の劣化の度合いを判別し、劣化が所定値よりも大きいときに光源の交換をユーザに促す手段とをさらに具備することを特徴とする請求項1記載の帳票読み取り装置。
  6. ホストから指定される読み取り対象の帳票の紙厚データに基づいて、前記撮像素子出力の増幅率を調整する手段をさらに具備することを特徴とする請求項1記載の帳票読み取り装置。
  7. 読み取り領域に照明光を照射する光源と、前記読み取り領域の画像を入力する撮像素子とを具備し、これら光源および撮像素子を用いて帳票を光学的に読み取る帳票読み取り装置の制御方法であって、
    前記帳票の読み取り処理に先だって、前記読み取り領域の裏面側に設けられた白基準用部材を、前記読み取り領域に設けられたスリットを通して前記照明光が照射される第1位置に位置設定し、
    前記白基準用部材を第1位置に設定した状態で前記撮像素子から得られる前記白基準用部材からの反射光の出力値を白基準として、前記撮像素子出力の増幅率を調整し
    前記帳票の裏あてを黒にするために前記白基準用部材を、前記読み取り領域のスリットを通して前記照明光が照射されない第2位置に戻した後に、前記帳票の読み取り処理を開始することを特徴とする制御方法。
JP17596298A 1998-06-23 1998-06-23 帳票読み取り装置およびその制御方法 Expired - Fee Related JP4131887B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP17596298A JP4131887B2 (ja) 1998-06-23 1998-06-23 帳票読み取り装置およびその制御方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP17596298A JP4131887B2 (ja) 1998-06-23 1998-06-23 帳票読み取り装置およびその制御方法

Publications (2)

Publication Number Publication Date
JP2000011148A JP2000011148A (ja) 2000-01-14
JP4131887B2 true JP4131887B2 (ja) 2008-08-13

Family

ID=16005312

Family Applications (1)

Application Number Title Priority Date Filing Date
JP17596298A Expired - Fee Related JP4131887B2 (ja) 1998-06-23 1998-06-23 帳票読み取り装置およびその制御方法

Country Status (1)

Country Link
JP (1) JP4131887B2 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3593977B2 (ja) * 2000-12-25 2004-11-24 株式会社日立製作所 画像読取装置

Also Published As

Publication number Publication date
JP2000011148A (ja) 2000-01-14

Similar Documents

Publication Publication Date Title
JPH0591258A (ja) 画像読取装置
EP0785666B1 (en) Microfilm scanner and control method therefor
JP2001223894A (ja) 画像処理装置、方法および記憶媒体
JP3607838B2 (ja) スキャナの倍率変化補償方法
JP4131887B2 (ja) 帳票読み取り装置およびその制御方法
US7746509B2 (en) Method for removing defects in scanned images
US20140347705A1 (en) Document reading apparatus, document reading method and storage medium
JPH09149256A (ja) 画像読取装置
JP2000287042A (ja) 画像読取装置の調整装置
JPH10200703A (ja) 画像入力装置
JP2000228726A (ja) 選択的に決定されるシステム応答ゲイン較正を用いた写真フィルム画像の走査方法
JP4246409B2 (ja) 画像読取装置
JP2001245109A (ja) 画像読取装置
JP3465995B2 (ja) 画像読取装置
JPH05328042A (ja) 画像読取装置
JPS6041364A (ja) 光学的読み取り装置
JP2001245106A (ja) 原稿読取装置
JP3554875B2 (ja) レーザ記録装置
JPH0922071A (ja) 画像読取装置
KR0173895B1 (ko) 전하결합소자의 광량오차 보정장치
JP2014197814A (ja) 画像読取装置、画像形成装置及び画像読取方法
JPH04263270A (ja) 画像形成装置
JP2007267031A (ja) 画像形成装置
JPH05276379A (ja) 電子画像読み取り装置
JPH01316069A (ja) 原稿読取装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20040924

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20071218

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20071225

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080220

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20080527

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20080529

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110606

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110606

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120606

Year of fee payment: 4

LAPS Cancellation because of no payment of annual fees