JP4087946B2 - 画像処理装置 - Google Patents

画像処理装置 Download PDF

Info

Publication number
JP4087946B2
JP4087946B2 JP12500798A JP12500798A JP4087946B2 JP 4087946 B2 JP4087946 B2 JP 4087946B2 JP 12500798 A JP12500798 A JP 12500798A JP 12500798 A JP12500798 A JP 12500798A JP 4087946 B2 JP4087946 B2 JP 4087946B2
Authority
JP
Japan
Prior art keywords
pixels
region
black
area
predetermined
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP12500798A
Other languages
English (en)
Other versions
JPH11317867A (ja
Inventor
文子 輿水
真一 佐藤
義和 内藤
Original Assignee
パナソニック コミュニケーションズ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニック コミュニケーションズ株式会社 filed Critical パナソニック コミュニケーションズ株式会社
Priority to JP12500798A priority Critical patent/JP4087946B2/ja
Publication of JPH11317867A publication Critical patent/JPH11317867A/ja
Application granted granted Critical
Publication of JP4087946B2 publication Critical patent/JP4087946B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Image Processing (AREA)
  • Facsimile Image Signal Circuits (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は、ファクシミリ、スキャナ等に適用可能な画像処理装置に関する。
【0002】
【従来の技術】
従来この種の装置では、2値画像データを文字画像とハーフトーン画像に分離(以下、「像域分離処理」という。)し、それぞれに対応した画像処理を行うことによって画像の質の向上が図られていた。この像域分離処理は、注目画素を含む参照エリア内における縦又は横方向の隣接する画素が、白から黒、又は黒から白へ変化する点(これを「変化点」という。)をカウントし、「カウント値」を得て、そのカウント値と所定の閾値とを比較することにより、注目画素が文字領域又はハーフトーン領域のいずれに属するかを判定することにより行われていた。具体的には、カウント値が所定の閾値より大きければハーフトーン領域であると判定し、小さければ文字領域であると判定をする。
【0003】
【発明が解決しようとする課題】
しかし、従来の画像処理装置では、縦又は横方向のカウント値のみで領域の判定をしていたため、領域を正確に判定するためには判断材料が必ずしも充分でなく、網点処理が施されたハーフトーン領域等に対しては領域を誤って判定する可能性が高いという問題点がある。
【0004】
本発明は、上記の問題点に鑑みてなされたものであり、領域を判定するための判断基準を増加させ、精度の高い像域分離処理を行うことができる画像処理装置を提供することを目的とする。
【0005】
【課題を解決するための手段】
本発明は、上記の目的を達成するために、以下のような手段を講じた。
【0006】
請求項1記載の画像処理装置の発明は、画像データから所定の領域を抽出する領域抽出手段と、前記領域中に存在する黒画素の総数をカウントする黒画素総数カウント手段と、前記領域中において黒画素が所定数連続するかどうかを検出する黒画素連続数検出手段と、前記抽出した領域中で所定の位置関係にある一組の画素が同色であるかどうかを検出する同色画素検出手段と、前記同色である画素の組数をカウントする組数カウント手段と、前記黒画素総数カウント手段によりカウントされた前記領域中の黒画素の総数が第一所定数未満の場合は前記組数カウント手段のカウント値が所定の組数の閾値以上でかつ前記黒画素連続数検出手段による黒画素の連続数が所定の黒画素連続数の閾値以下の場合に前記領域をハーフトーン領域であると判定し、前記黒画素の総数が前記第一所定数以上の場合は前記組数カウント手段のカウント値が前記組数の閾値以上であれば前記領域をハーフトーン領域であると判定する領域判定手段とを備える構成を採る。
また、請求項記載の画像領域判定方法の発明は、画像データから所定の領域を抽出し、前記抽出した領域中に存在する黒画素の総数および黒画素の連続数を検出し、前記領域中で所定の位置関係にある一組の画素が同色であるかどうかを検出し、前記同色である画素の組数をカウントし、前記検出された黒画素の総数が第一所定数未満の場合は前記カウントされた組数が所定の組数の閾値以上でかつ前記黒画素の連続数が所定の黒画素連続数の閾値以下の場合に前記領域をハーフトーン領域であると判定し、前記黒画素の総数が前記第一所定数以上の場合は前記カウントされた組数が前記組数の閾値以上であれば前記領域をハーフトーン領域であると判定する構成を採る。
【0007】
これらの構成により、対応する位置関係にある画素が同色であるディザパターンのような特定の繰り返しパターンや、対応する位置関係にある画素が異色である場合が多い文字領域を検出しやすくなるため、より正確に像域分離処理を行うことができる。
【0008】
また、請求項2記載の発明は、請求項1記載の画像処理装置において、前記領域を複数の合同な領域に分割する領域分割手段を備え、前記同色画素検出手段は、前記分割した一の領域における特定画素と、この領域と縦、横、又は斜めの少なくとも一方向に隣接する他の領域における前記特定画素と対応する位置関係にある画素とが同色であるかどうかを検出する構成を採る。
【0009】
この構成により、縦、横、斜め方向に隣接する領域における同色となる組数をカウントすることができるため、繰り返しパターンが検出し易くなり、より正確に像域分離処理を行うことが可能となる。
【0012】
また、請求項記載の発明は、請求項記載の画像処理装置において、前記領域中において白画素が所定数連続するかどうかを検出する白画素連続数検出手段を備え、前記黒画素総数カウント手段によりカウントされた前記領域中の黒画素の総数が前記第一所定数より多い第二所定数以上の場合は前記白画素連続数検出手段により検出された白画素の連続数が所定の白画素連続数の閾値以上であれば文字領域であると判定する構成を採る。
また、請求項記載の発明は、請求項記載の画像領域判定方法の発明において、前記領域中において白画素の連続数を検出し、前記黒画素総数が前記第一所定数より多い第二所定数以上の場合は前記検出された白画素の連続数が所定の白画素連続数の閾値以上であれば文字領域であると判定する構成を採る。
【0013】
この構成により、黒画素の総数が少ない場合は、黒画素の連続数を検出するのに対し、黒画素の総数が多い場合は、白画素の連続数を検出して判定することができるため、例えば、同色の画素が連続する場合がである「ディザパターン」や、同色の画素が連続する場合が多い「文字」を判定しやすくなり、像域分離処理をより正確に行うことができる。
【0014】
【発明の実施の形態】
以下、本発明の実施の形態について、図面を参照して説明する。
図1は、本発明の一実施の形態に係る画像処理装置の全体構成を示すブロック図である。本発明の一実施の形態に係る画像処理装置は、入力される2値画像データを画像メモリ100で複数ライン記憶する。この画像メモリ100は、後述する像域分離処理部200と、ハーフトーン用画像処理部300と、文字用画像処理部400とに画像データを出力する。
【0015】
像域分離処理部200は、後述するように、画像メモリ100から入力された画像データがハーフトーン画像であるか文字画像であるかを判定し、この判定結果を画像選択合成処理部500へ出力する。
【0016】
ハーフトーン用画像処理部300は、画像メモリ100から入力された画像データがハーフトーン画像であるとみなし、それに適した画像処理を行って、処理した画像データを画像選択合成処理部500へ出力する。
【0017】
文字用画像処理部400は、画像メモリ100から入力された画像データが文字画像であるとみなし、それに適した画像処理を行って、処理した画像データを画像選択合成処理部500へ出力する。
【0018】
画像選択合成処理部500は、像域分離処理部200から入力される判定結果に応じてハーフトーン用画像処理部300の出力信号又は、文字用画像処理部400の出力信号のいずれか一方を選択し、画像データを合成して出力する。
【0019】
次に、像域分離処理部200について、図2を参照して説明する。図2は、像域分離処理部200の全体構成を示すブロック図であり、参照エリアを8×8画素とした場合の構成例を示している。像域分離処理部200において、黒画素総数カウンタ201は、参照エリア中の黒画素の総数をカウントし、このカウント値を後述する第一から第五判定部に出力する。
【0020】
黒画素連続数カウンタ202は、8×8画素の参照エリア内で黒画素が5画素以上連続するかどうかを認知する。この黒画素連続数のカウントは、図3に示すように行われる。図3は、参照エリア内において連続する画素を認知する方向を示す図である。図3において、左上隅の座標を(0,0)とすると、注目画素の座標は、(4,4)である。また、左上4×4画素については、横、縦及び右斜め下方向にカウントする。右上4×4画素については、縦及び左下方向についてカウントし、左下4×4画素については、横方向のみカウントする。右下4×4画素については処理を行わない。
【0021】
本実施の形態における像域分離処理では、黒画素の総数が少ない場合、例えば、黒画素総数カウンタ201のカウント値が28以下の場合に、この黒画素連続数カウンタ202により得られたカウント値を使用する。黒画素の総数が28以下である場合は、ディザパターンでは、黒画素が5画素以上連続することはまれであることから、黒画素の連続数が5画素以上である場合は、文字領域である可能性が高くなるからである。このため、黒画素の総数が所定値以下(28以下)である場合に黒画素連続数カウンタ202によるカウント値を参照する。
【0022】
縦方向変化点カウンタ203は、参照エリア内で縦方向の変化点の数をカウントし、横方向変化点カウンタ204は、参照エリア内で横方向の変化点の数をカウントする。これらの変化点の数が多いと、通常、ハーフトーン領域である可能性が高く、少ないと、文字領域である可能性が高い。
【0023】
対角ブロック黒画素カウンタ205は、参照エリアを4×4画素に区分して斜めに隣接するエリア同士を比較し、対応する位置に黒画素が存在する場合に、その数をカウントする。同様に、対角ブロック白画素カウンタ206は、参照エリアを4×4画素に区分して斜めに隣接するエリア同士を比較し、対応する位置に白画素が存在する場合に、その数をカウントする。この対角ブロックのカウントは、図4に示すように行われる。図4は、斜めに隣接した4×4画素のエリア同士を比較して、対応する位置に黒又は白画素が存在する場合に、それぞれのカウンタの比較画素を示した図である。例えば、対角ブロックにおいて、a0とa0、a1とa1・・・、b0とb0、b1とb1・・・、を比較し、黒又は白の同じ色の画素がある場合に、カウントする。これらのカウント値が大きいほどハーフトーン領域である可能性が高くなり、小さいほど文字領域である可能性が高くなる。
【0024】
白画素連続数カウンタ207は、黒画素連続数カウンタ202と同様に、参照エリア内で白画素が5画素以上連続するかどうかを認知する。この白画素連続数のカウントは、上記の黒画素連続数のカウントと同様に行われる。すなわち、本実施の形態における像域分離処理では、黒画素の総数が多い場合、例えば、黒画素総数カウンタ201のカウント値が37以上の場合に、この白画素連続数カウンタ207により得られたカウント値を使用する。黒画素の総数が37以上である場合は、ディザパターンでは、白画素が5画素以上連続することはまれであることから、白画素の連続数が5画素以上である場合は、文字領域である可能性が高くなるからである。このため、黒画素の総数が所定値以上(37以上)である場合に白画素連続数カウンタ207によるカウント値を参照する。
【0025】
また、第一判定部208〜第五判定部212は、黒画素総数カウンタ201から入力される黒画素の総数によって、いずれか一つが動作する。例えば、参照エリア内の黒画素の総数が16以下である場合は、第一判定部208が動作し、また、黒画素の総数が37から48の間にある場合は、第四判定部211が動作し、それ以外の判定部は動作しない。また、これらの各判定部には、それぞれ異なる閾値が設定されており、入力される複数のカウント値に対して閾値判定を行う。
【0026】
次に、以上のように構成された本発明の一実施の形態に係る画像処理装置の動作について説明する。ここでは、注目画素を含む参照エリアを8×8画素として説明する。まず、図1に示すように、画像データが画像メモリ100に入力され記憶される。次に、像域分離処理部200は、画像メモリ100から注目画素を含む8×8画素の画像データを読み出す。
【0027】
像域分離処理部200では、黒画素総数カウンタ201が参照エリア内の黒画素の総数をカウントする。この黒画素の総数によって、第一判定部208〜第五判定部212のいずれか一つが動作する。
【0028】
例えば、黒画素の総数が16以下である場合、第一判定部208には、黒画素連続数カウンタ202、縦方向変化点数カウンタ203、横方向変化点数カウンタ204、対角ブロック黒画素カウンタ205、及び対角ブロック白画素カウンタ206が出力するカウント値が入力され、第一判定部208は、以下のように閾値判定を行う。なお、ここでは、黒画素の総数が少ないため、黒画素連続数カウンタ202のカウント値を第一判定部208に入力することにより、領域を判定する精度を向上させている。この場合、黒画素の連続数が多ければ文字領域、少なければハーフトーン領域である可能性が高くなる。
▲1▼ 黒画素連続数カウンタ202が出力するカウント値が4以下であり、
▲2▼ 縦方向変化点カウンタ203が出力するカウント値が4以上であり、
▲3▼ 横方向変化点カウンタ204が出力するカウント値が4以上であり、
▲4▼ 上記縦方向と横方向の変化点数の和が36以上である場合、
又は、
▲5▼ 黒画素連続数カウンタ202が出力するカウント値が4以下であり、
▲6▼ 対角ブロック黒画素カウンタ205が出力するカウント値が3以上、又は対角ブロック白画素カウンタ206が出力するカウント値が29以上であり、
▲7▼ 対角ブロック黒画素カウンタ205が出力するカウント値と対角ブロック白画素カウンタ206が出力するカウント値の和が28以上である場合に、ハーフトーン領域であると判定する。
【0029】
また、黒画素の総数が17〜28である場合、第二判定部209には、黒画素連続数カウンタ202、縦方向変化点カウンタ203、横方向変化点カウンタ204、対角ブロック黒画素カウンタ205、及び対角ブロック白画素カウンタ206が出力するカウント値が入力され、第二判定部209は、上記のように閾値判定を行う。なお、ここでも黒画素の総数が比較的少ないため、黒画素連続数カウンタ202のカウント値を第二判定部209に入力することにより、領域を判定する精度を向上させている。
【0030】
また、黒画素の総数が29〜36である場合、第三判定部210には、縦方向変化点カウンタ203、横方向変化点カウンタ204、対角ブロック黒画素カウンタ205、及び対角ブロック白画素カウンタ206が出力するカウント値が入力され、第三判定部210は、上記のように閾値判定を行う。
【0031】
また、黒画素の総数が37〜48、又は49以上である場合、第四判定部211と第五判定部212とには、縦方向変化点カウンタ203、横方向変化点カウンタ204、対角ブロック黒画素カウンタ205、対角ブロック白画素カウンタ206、及び白画素連続数カウンタ207が出力するカウント値がそれぞれ入力され、黒画素の総数が37〜48である場合は第四判定部211が、黒画素の総数が49以上である場合は第五判定部212が、それぞれ閾値判定を行う。なお、ここでは、黒画素の総数が多いため、白画素連続数カウンタ207のカウント値を第四判定部211又は第五判定部212に入力することにより、領域を判定する精度を向上させている。白画素の連続数が多ければ文字領域、少なければハーフトーン領域である可能性が高くなる。
【0032】
ここで、上記の閾値判定においては、縦方向の変化点カウンタ203、横方向の変化点カウンタ204、対角ブロック黒画素カウンタ205、及び対角ブロック白画素カウンタ206のそれぞれの出力は、全ての判定部に入力されるが、各判定部208〜212では、黒画素の総数に応じて異なる閾値が設定されているため、領域を判定する精度を高めることができる。また、黒画素の総数が少ない場合は、黒画素連続数カウンタ202が出力するカウント値を、黒画素の総数が多い場合は、白画素連続数カウンタ207が出力するカウント値を閾値判定の判断に加えているため、4×4画素のパターンの繰り返しで構成される網点処理の施されたハーフトーン領域であっても、精度の高い領域判定を行うことができる。
【0033】
このように、黒画素の総数に応じて第一判定部208〜第五判定部212のうちいずれか一つの判定部が動作し、閾値判定が行われる。閾値判定を行った判定部は、文字領域であるか、ハーフトーン領域であるかの判定結果を画像選択合成処理部500に出力する。
【0034】
画像選択合成処理部500は、像域分離処理部200から入力される判定結果が、ハーフトーン判定であれば、ハーフトーン用画像処理部300の出力を選択し、文字判定であれば、文字用画像処理部400の出力を選択し、画像を合成して出力する。
【0035】
本発明の一実施の形態に係る画像処理装置は、以上のように像域分離処理を行う。すなわち、従来の画像処理装置では、縦又は横方向のカウント値のみで領域の判定をしていたため、領域を正確に判定するためには判断材料が充分ではなかったが、本発明は、従来の像域判定基準である参照エリア内における縦又は横方向の変化点カウンタに加え、4×4画素のエリアに分け、斜めに隣接しているエリア同士を比較することによってパターンの繰り返しを認識することができると共に、参照エリア内に5画素以上連続する白又は黒画素が存在するかどうかを認知し、この認定結果と黒画素との総数を組み合わせて領域の判定をすることができるため、より精度の高い像域分離を行うことが可能となる。
【0036】
【発明の効果】
以上の説明から明らかなように、本発明によれば、画素パターンの繰り返しを認識することができると共に、黒画素の総数を像域分離の基準とすることにより既存のカウント値のみを使用する場合よりも細かな設定をすることができるため、精度の高い像域分離処理を行うことができる。また、所定以上連続する白又は黒画素を認識することができるため、より精度の高い像域分離処理を行うことができる。
【図面の簡単な説明】
【図1】本発明の一実施の形態に係る画像処理装置の全体構成を示すブロック図
【図2】上記一実施の形態に係る画像処理装置における像域分離処理部の構成を示すブロック図
【図3】上記一実施の形態に係る画像処理装置が参照エリア内において連続する画素を認知する方向を示す図
【図4】上記一実施の形態に係る画像処理装置が斜めに隣接した4×4画素のエリア同士を比較して対照となる位置に黒又は白画素が存在する場合に、それぞれのカウンタの比較画素を示した図
【符号の説明】
100 画像メモリ
200 像域分離処理部
300 ハーフトーン用画像処理部
400 文字用画像処理部
500 画像選択合成処理部
201 黒画素総数カウンタ
202 黒画素連続数カウンタ
203 縦方向変化点カウンタ
204 横方向変化点カウンタ
205 対角ブロック黒画素カウンタ
206 対角ブロック白画素カウンタ
207 白画素連続数カウンタ
208 第一判定部
209 第二判定部
210 第三判定部
211 第四判定部
212 第五判定部

Claims (5)

  1. 画像データから所定の領域を抽出する領域抽出手段と、前記領域中に存在する黒画素の総数をカウントする黒画素総数カウント手段と、前記領域中において黒画素が所定数連続するかどうかを検出する黒画素連続数検出手段と、前記抽出した領域中で所定の位置関係にある一組の画素が同色であるかどうかを検出する同色画素検出手段と、前記同色である画素の組数をカウントする組数カウント手段と、前記黒画素総数カウント手段によりカウントされた前記領域中の黒画素の総数が第一所定数未満の場合は前記組数カウント手段のカウント値が所定の組数の閾値以上でかつ前記黒画素連続数検出手段による黒画素の連続数が所定の黒画素連続数の閾値以下の場合に前記領域をハーフトーン領域であると判定し、前記黒画素の総数が前記第一所定数以上の場合は前記組数カウント手段のカウント値が前記組数の閾値以上であれば前記領域をハーフトーン領域であると判定する領域判定手段とを備えることを特徴とする画像処理装置。
  2. 前記領域を複数の合同な領域に分割する領域分割手段を備え、前記同色画素検出手段は、前記分割した一の領域における特定画素と、この領域と縦、横、又は斜めの少なくとも一方向に隣接する他の領域における前記特定画素と対応する位置関係にある画素とが同色であるかどうかを検出することを特徴とする請求項1記載の画像処理装置。
  3. 前記領域中において白画素が所定数連続するかどうかを検出する白画素連続数検出手段を備え、前記黒画素総数カウント手段によりカウントされた前記領域中の黒画素の総数が前記第一所定数より多い第二所定数以上の場合は前記白画素連続数検出手段により検出された白画素の連続数が所定の白画素連続数の閾値以上であれば文字領域であると判定することを特徴とする請求項記載の画像処理装置。
  4. 画像データから所定の領域を抽出し、前記抽出した領域中に存在する黒画素の総数および黒画素の連続数を検出し、前記領域中で所定の位置関係にある一組の画素が同色であるかどうかを検出し、前記同色である画素の組数をカウントし、前記検出された黒画素の総数が第一所定数未満の場合は前記カウントされた組数が所定の組数の閾値以上でかつ前記黒画素の連続数が所定の黒画素連続数の閾値以下の場合に前記領域をハーフトーン領域であると判定し、前記黒画素の総数が前記第一所定数以上の場合は前記カウントされた組数が前記組数の閾値以上であれば前記領域をハーフトーン領域であると判定することを特徴とする画像領域判定方法。
  5. 前記領域中において白画素の連続数を検出し、前記黒画素総数が前記第一所定数より多い第二所定数以上の場合は前記検出された白画素の連続数が所定の白画素連続数の閾値以上であれば文字領域であると判定することを特徴とする請求項記載の画像領域判定方法。
JP12500798A 1998-05-07 1998-05-07 画像処理装置 Expired - Fee Related JP4087946B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP12500798A JP4087946B2 (ja) 1998-05-07 1998-05-07 画像処理装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP12500798A JP4087946B2 (ja) 1998-05-07 1998-05-07 画像処理装置

Publications (2)

Publication Number Publication Date
JPH11317867A JPH11317867A (ja) 1999-11-16
JP4087946B2 true JP4087946B2 (ja) 2008-05-21

Family

ID=14899569

Family Applications (1)

Application Number Title Priority Date Filing Date
JP12500798A Expired - Fee Related JP4087946B2 (ja) 1998-05-07 1998-05-07 画像処理装置

Country Status (1)

Country Link
JP (1) JP4087946B2 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6744919B2 (en) * 2001-07-24 2004-06-01 Hewlett Packard Development Company, L.P. Classification of blocks for compression based on number of distinct colors

Also Published As

Publication number Publication date
JPH11317867A (ja) 1999-11-16

Similar Documents

Publication Publication Date Title
US6377711B1 (en) Methods and systems for detecting the edges of objects in raster images using diagonal edge detection
US4903316A (en) Binarizing apparatus
US6141460A (en) Method for detecting edges in an image signal
JPH05227425A (ja) 自動画像セグメンテーションの改良
JPH0750752A (ja) 画像密度変換方法及び装置
JP3576810B2 (ja) 画像処理装置
JP2004034327A (ja) 画像処理装置及びその方法
JPH0666884B2 (ja) 網点写真領域識別方法
JP4087946B2 (ja) 画像処理装置
JP3453939B2 (ja) 画像処理装置
JP2878318B2 (ja) 2値画像の像域判定方法
JPS6359272A (ja) 画像処理装置
JP3251119B2 (ja) 画像処理装置
JP2949628B2 (ja) 画像領域分離方法
JP3145145B2 (ja) 画像処理装置
JP2705934B2 (ja) 画像の縮小変換方法
JP2968276B2 (ja) 網点領域分離方法
JP2647455B2 (ja) 網点領域分離装置
JPH02103685A (ja) 網点領域分離装置
JPH0575850A (ja) 画像領域識別装置
JP2507948B2 (ja) 画像領域識別装置
JP2777379B2 (ja) 領域分離装置
JPH07115542A (ja) 画像処理装置
US20040252343A1 (en) Image processing apparatus and image processing method
JP2843185B2 (ja) しきい値決定方法及びその装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20050317

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20071101

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20071113

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20071226

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20080129

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20080222

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110228

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120229

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130228

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130228

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140228

Year of fee payment: 6

LAPS Cancellation because of no payment of annual fees