JP3868654B2 - 画像処理装置 - Google Patents

画像処理装置 Download PDF

Info

Publication number
JP3868654B2
JP3868654B2 JP04888699A JP4888699A JP3868654B2 JP 3868654 B2 JP3868654 B2 JP 3868654B2 JP 04888699 A JP04888699 A JP 04888699A JP 4888699 A JP4888699 A JP 4888699A JP 3868654 B2 JP3868654 B2 JP 3868654B2
Authority
JP
Japan
Prior art keywords
pixel
character
image
interest
image processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP04888699A
Other languages
English (en)
Other versions
JPH11341285A (ja
Inventor
敏 大内
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Co Ltd
Original Assignee
Ricoh Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ricoh Co Ltd filed Critical Ricoh Co Ltd
Priority to JP04888699A priority Critical patent/JP3868654B2/ja
Priority to US09/276,157 priority patent/US6259813B1/en
Publication of JPH11341285A publication Critical patent/JPH11341285A/ja
Application granted granted Critical
Publication of JP3868654B2 publication Critical patent/JP3868654B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/403Edge-driven scaling; Edge-based scaling
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/20Image enhancement or restoration using local operators
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/73Deblurring; Sharpening
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition
    • G06V30/16Image preprocessing
    • G06V30/162Quantising the image signal
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10004Still image; Photographic image
    • G06T2207/10008Still image; Photographic image from scanner, fax or copier
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20172Image enhancement details
    • G06T2207/20192Edge enhancement; Edge preservation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30176Document
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は、文字の特徴を抽出して多値信号で出力する画像処理装置に関する。
【0002】
【従来の技術】
一般に、デジタル複写機やファクシミリ等においては、出力画像の画質を向上させるために、文字や絵柄が混在する原稿画像の局所的な情報に基づいて像域を分離し、像域毎に適切な画像処理に切り替えることが行われている。例えば特開平3−89677号公報には、文字(特に黒文字)のコントラストを強調するために、非文字エッジ、色文字エッジ、中間彩度文字エッジ、黒文字エッジの像域毎に空間フィルタや、γ変換やスクリーン処理などを切り替えることが提案されている。また、他の従来例としては例えば特公平7−108019号公報、特公平6−18439号公報には、図8に示すように文字のエッジ度を表す多値信号を局所的に算出し、多値信号に基づいて画像処理を多段階で切り替えることが提案されている。
【0003】
【発明が解決しようとする課題】
しかしながら、上記の特開平3−89677号公報に示す従来例では、像域を0又は1の2値で分離して画像処理を切り替えるので、画像中に急激なテクスチャ変化が発生し、また、誤った像域分離を行うと画質劣化が避けられないという問題点がある。
【0004】
また、上記の特公平7−108019号公報、特公平6−18439号公報に示す従来例では、エッジ度を多値で表すので画質劣化は目につきにくいが、高々5×5画素程度のフィルタを用いてエッジ度を表すので、図8に示すようにエッジ部から背景部までのレスポンスが非常に狭い範囲で変化し、したがって、多段階であっても処理切り替えによる不自然さが依然として存在するという問題点がある。
【0005】
本発明は上記従来例の問題点に鑑み、文字らしさを多値信号で表して画像処理を行う場合に、解像度が重視される文字のエッジ部や絵柄中のエッジ部と階調性が重視される絵柄部の再現性を両立させることができる画像処理装置を提供することを目的とする。
【0006】
【課題を解決するための手段】
第1の手段に係る画像処理装置は、入力画像データの画素密度を粗くする第1の画素密度変換手段と、前記第1の画素密度変換手段の出力信号に基づいて入力画像データ中の画素が文字領域の一部であるか否かを検出する文字画像領域検出手段と、注目画素と前記文字画像領域検出手段によって文字領域の一部であると判定された画素との距離を計算する距離算出手段と、前記距離算出手段により算出されたに基づいて前記注目画素の文字らしさを表す多値信号を出力する多値信号出力手段と、前記多値信号の画素密度を元に戻す第2の画素密度変換手段と、を備え、前記距離算出手段は、前記注目画素と9×9画素のマスク内の最短の文字領域の画素間の距離disを求め、濃度を8ビットであらわしたときに前記注目画素からの距離を示す信号の値Vを、
V=255−255×dis/6
によって算出し、前記多値信号出力手段に出力することを特徴とする。
【0008】
の手段は、第1の手段において前記文字画像領域検出手段が、高濃度画素が棒状の塊の状態で存在するか否かを判定することにより、注目画素が文字領域の一部であるか否かを検出することを特徴とする。
【0009】
の手段は、第1の手段において前記文字画像領域検出手段が、黒画素の連続性と白画素の連続性をパターンマッチングすることにより、注目画素が文字領域の一部であるか否かを検出することを特徴とする。
【0010】
第4の手段は、第1の手段において前記文字画像領域検出手段が、文字の中心部において画素レベルが尾根状に連なっているか否かを判定することにより、注目画素が文字領域の一部であるか否かを検出することを特徴とする。
【0011】
【発明の実施の形態】
以下、図面を参照して本発明の実施の形態を説明する。図1は本発明に係る画像処理装置の一実施形態を示すブロック図、図2は図1の文字画素領域検出部の種々の例を示すブロック図、図3は図2(a)の塊画素検出部のエッジ強調フィルタを示す説明図、図4は図2(a)の塊画素検出部の文字検出パターンを示す説明図、図5は図1の距離算出部の処理を示す説明図である。
【0012】
図1において、画像信号入力部1はCCD素子等を用いたスキャナであり、原稿画像を読み取ってA/D変換し、各画素に対して8ビット(白=0、黒=255)の濃度リニアなデジタル画像信号を出力する。続く文字画素領域検出部2は画像信号入力部1からのデジタル画像信号に基づいて注目画素が文字領域の一部であるか否かを示す信号を出力する。
【0013】
図2(a)〜(d)を参照して文字画素領域検出部2の例を説明する。文字画素領域検出部1の一例として、図2(a)に示す塊画素検出部2aは、文字部では高濃度画素が棒状の塊の状態で存在する特性を利用して、以下の3つの処理により文字画素を検出する。先ず、前処理として画像信号入力部1からの画像信号中の注目画素と周辺画素の値を例えば図3に示すような5×3画素のエッジ強調フィルタリング処理を行う。次いでその画素値と閾値thbを比較することにより黒画素か否かを検出し、次いでこの黒画素により構成されるストロークと、図4(a)に示すような垂直方向、図4(b)に示すような水平方向、図4(c)(d)に示すような斜め方向の各ストロークのパターンとマッチングすることにより黒棒の塊部分を検出する。
【0014】
図2(b)は文字画素領域検出部2の他の例として画像信号入力部1からの信号がカラー画像信号の場合を示し、先ず、最小値算出部2bはカラー画像信号R、G、Bの最小値min(R,G,B)を算出する。次いで塊画素検出部2aはこの最小値min(R,G,B)を用いて図2(a)に示す場合と同様に文字画素領域を検出する。
【0015】
図2(c)は文字画素領域検出部2の更に他の例として、黒画素の連続性と白画素の連続性をパターンマッチングにより検出するエッジ画素検出部2cを示している。その詳細な説明は、本出願人の特開平2−292957号公報に記載されているので省略するが、基本的には文字エッジ部では黒画素が連結されて存在し、且つ白画素が連結されて存在すること利用してエッジ部か否かを検出する。なお、この方法以外に、他の公知のエッジ検出方法を用いてもよい。
【0016】
図2(d)は文字画素領域検出部2の更に他の例として、文字の尾根部に対応する画素を適当なマスクにより検出する文字尾根画素検出部2dを示している。その詳細な説明は、本出願人の特開平2−123479号公報に記載されているので省略するが、基本的には文字の中心部では画素レベルが尾根状に連なっていることを利用して検出する。
【0017】
図1に戻り、距離算出部3は文字画素領域検出部1により検出された、注目画素が文字画素(アクティブ)か又は非文字画素(ノンアクティブ)かに基づいて、注目画素からの距離に反比例するレスポンス、すなわち「文字画素が近くにある場合に大きな信号」を出力する。例えば図5に示すように、注目画素と9×9画素のマスク内の最短のアクティブ画素の間の距離disを求め、次式
V=255−255×dis/6 ・・・(1)
により注目画素の値Vを算出する。
【0018】
なお、上記(1)式の255×dis/6の「6」の根拠は以下の通りである。
上記(1)式は9×9画素のマスクを用いて、注目画素に関して、文字画素が近くにある場合に大きな信号を出し、遠くにあるときに小さな信号を出すための式である。したがって、9×9画素のマスクの外周部、すなわち最も遠いところに文字画素がある場合に最も小さな信号である「0」に近い値を出すように構成する。
【0019】
この9×9画素のマスクで、マスク外周部までの距離、言い換えるとマスク外画素までの最短距離は、マスクの縦および横方向で「5」画素分である。また、マスクの斜め方向では「7(≒5×1.1414)」画素分である。
【0020】
この「5」と「7」の平均値「6」を用いた上記(1)式を使うことによって、文字画素が近くにある場合に大きな信号を出し、遠くにあるときに小さな信号を出し、かつ、マスク内の最も遠い位置に文字画素がある場合に最も小さな信号である「0」に近い値を出すことができる。
【0021】
続く特徴量変換部4は距離算出部3により算出された注目画素の値Vをテーブルにより変換することにより、特徴量と制御する各処理との関係により自由度をもたせるために設けられている。すなわち、オペレータが特徴量変換部4内に予め設けられている複数のテーブルの1つを選択することによりユーザの好みに合ったγ変換を行うことができ、例えばS字状のγ変換テーブルを選択することにより、少々の文字らしさがあっても非文字処理を行い、文字らしさが多少強い場合には文字部により適した処理を行うことができるので、文字部のコントラストを強調処理することができる。なお、この特徴量変換部4では、上記の処理と共に量子化を行うようにしてもよい。
【0022】
次に図6、図7を参照して第2の実施形態について説明する。なお、図6に示す画像信号入力部1、文字画素領域検出部2、距離算出部3及び特徴量変換部4は図1と同じ構成であるので説明を省略する。先ず、画素密度変換部5は画像信号入力部1からの画像信号の画素密度を粗くして文字画素領域検出部2に出力するように構成され、簡単には間引き回路で構成してよい。続く文字画素領域検出部2はこの画素密度が粗い画像信号に基づいて注目画素が文字領域の一部であるか否かを示す信号を出力し、続く距離算出部3はこの信号に基づいて注目画素の値Vを算出し、続く特徴量変換部4は距離算出部3により算出された注目画素の値Vをテーブルにより変換する。続く画素密度変換部6は画素密度を元に戻して選択部8に出力するように構成され、簡単には二度書き回路で構成してよい。
【0023】
画素密度変換を行う理由は次の通りである。局所的な特徴量を用いた判定には誤判定がつきものである。また、この誤判定に伴う画質劣化を避けるために、判定を多値化して処理を多段階で行う方法も知られている。しかしながら、狭い距離の中で、例えば文字処理から絵柄処理を多段階に切り替えても画質劣化低下に対する効果は小さく、人間の目には目障り感として不快になる。この問題点はデバイスの高密度化が進むほど顕著になる。そこで、より長い距離で多段階処理を行えば良いが、単純に図5に示すマスクサイズを大きくするとラインバッファが増大する。そこで、原信号より粗い画素密度で特徴量を検出し、その結果を元の画素密度に戻すことにより上記不具合を解決することができる。
【0024】
図6に示すγテーブル群7には、一例として図7に示すように傾きが異なる8種類のγ変換テーブルT7〜T0が予め設けられている。γ変換テーブルT7は傾きが最も大きく文字用であり、γ変換テーブルT0は傾きが最も小さく絵柄用である。そして、このγ変換テーブルT7〜T0は選択部8により、画素密度変換部6からの出力信号が大きいほど傾きが大きいものが選択される。次いでγ変換処理部9はこの選択されたγ変換テーブルT7〜T0により、画像信号入力部1からの画像信号のγを変換する。ここで、γテーブル群7が8種類の場合、特徴量変換部4は特徴量を3ビットに量子化する。
【0025】
なお、γ変換処理部9は後段のプリンタ等の画像出力装置の出力階調数が8ビットの場合にはそのビット数で出力するが、出力階調数が少ない場合には8ビットを出力階調数に量子化して出力するか、またはγ変換テーブルT7〜T0の出力ビット数を予め出力階調数に合わせて低くするようにしてもよい。
【0026】
また、上記第2の実施形態では、γ変換を多段階で行う場合について説明したが、特開平3−89677号公報に示すような多段階空間フィルタや、特開平6−326859号公報に示すような多段階スクリーン処理や、特公平7−108019号公報に示すような多段階下色除去量制御などにも適用することができる。
【0027】
【発明の効果】
以上説明したように、本発明によれば、文字らしさを多値信号で表して画像処理を行う場合に、ラインバッファを増加することなく、解像度が重視される文字のエッジ部や絵柄中のエッジ部と階調性が重視される絵柄部の再現性を両立させることができる。
【図面の簡単な説明】
【図1】本発明に係る画像処理装置の一実施形態を示すブロック図である。
【図2】図1の文字画素領域検出部の種々の例を示すブロック図である。
【図3】図2(a)の塊画素検出部のエッジ強調フィルタを示す説明図である。
【図4】図2(a)の塊画素検出部の文字検出パターンを示す説明図である。
【図5】図1の距離算出部の処理を示す説明図である。
【図6】第2の実施形態の画像処理装置を示すブロック図である。
【図7】図6のガンマテーブル群を示す説明図である。
【図8】従来例の多値信号を示す説明図である。
【符号の説明】
1 画像信号入力部
2 文字画素領域検出部
2a 塊画素検出部
2c エッジ画素検出部
2d 文字尾根画素検出部
3 距離算出部
4 特徴量変換部
5,6 画素密度変換部

Claims (4)

  1. 入力画像データの画素密度を粗くする第1の画素密度変換手段と、
    前記第1の画素密度変換手段の出力信号に基づいて入力画像データ中の画素が文字領域の一部であるか否かを検出する文字画像領域検出手段と、
    注目画素と前記文字画像領域検出手段によって文字領域の一部であると判定された画素との距離を計算する距離算出手段と、
    前記距離算出手段により算出されたに基づいて前記注目画素の文字らしさを表す多値信号を出力する多値信号出力手段と、
    前記多値信号の画素密度を元に戻す第2の画素密度変換手段と、
    を備え
    前記距離算出手段は、前記注目画素と9×9画素のマスク内の最短の文字領域の画素間の距離disを求め、濃度を8ビットであらわしたときに前記注目画素からの距離を示す信号の値Vを、
    V=255−255×dis/6
    によって算出し、前記多値信号出力手段に出力することを特徴とする画像処理装置。
  2. 前記文字画像領域検出手段は、高濃度画素が棒状の塊の状態で存在するか否かを判定することにより、注目画素が文字領域の一部であるか否かを検出することを特徴とする請求項1記載の画像処理装置。
  3. 前記文字画像領域検出手段は、黒画素の連続性と白画素の連続性をパターンマッチングすることにより、注目画素が文字領域の一部であるか否かを検出することを特徴とする請求項1記載の画像処理装置。
  4. 前記文字画像領域検出手段は、文字の中心部において画素レベルが尾根状に連なっているか否かを判定することにより、注目画素が文字領域の一部であるか否かを検出することを特徴とする請求項1記載の画像処理装置。
JP04888699A 1998-03-27 1999-02-25 画像処理装置 Expired - Fee Related JP3868654B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP04888699A JP3868654B2 (ja) 1998-03-27 1999-02-25 画像処理装置
US09/276,157 US6259813B1 (en) 1998-03-27 1999-03-25 Method and apparatus for image processing using a signal of multiple scale values

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP10-81228 1998-03-27
JP8122898 1998-03-27
JP04888699A JP3868654B2 (ja) 1998-03-27 1999-02-25 画像処理装置

Publications (2)

Publication Number Publication Date
JPH11341285A JPH11341285A (ja) 1999-12-10
JP3868654B2 true JP3868654B2 (ja) 2007-01-17

Family

ID=26389226

Family Applications (1)

Application Number Title Priority Date Filing Date
JP04888699A Expired - Fee Related JP3868654B2 (ja) 1998-03-27 1999-02-25 画像処理装置

Country Status (2)

Country Link
US (1) US6259813B1 (ja)
JP (1) JP3868654B2 (ja)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6778297B1 (en) * 1999-04-12 2004-08-17 Minolta Co., Ltd. Image processing apparatus, method, and computer program product
JP2003084736A (ja) * 2001-06-25 2003-03-19 Nec Corp 液晶表示装置
JP4172616B2 (ja) * 2001-09-21 2008-10-29 株式会社リコー 画像処理装置
JP2003153006A (ja) * 2001-11-16 2003-05-23 Ricoh Co Ltd 画像処理装置
JP2004112603A (ja) * 2002-09-20 2004-04-08 Ricoh Co Ltd 画像処理装置、画像処理方法、およびコンピュータが実行するためのプログラム
JP2004193964A (ja) * 2002-12-11 2004-07-08 Ricoh Co Ltd 画像処理装置および画像処理方法およびプログラムおよび記録媒体
JP4485759B2 (ja) * 2003-06-27 2010-06-23 株式会社リコー 異常発生予測方法、状態判定装置及び画像形成装置
JP2005045404A (ja) * 2003-07-24 2005-02-17 Ricoh Co Ltd 画像処理装置、画像処理方法およびプログラム
US7110917B2 (en) 2003-11-14 2006-09-19 Ricoh Company, Ltd. Abnormality determining method, and abnormality determining apparatus and image forming apparatus using same
JP4618676B2 (ja) 2005-04-28 2011-01-26 株式会社リコー 構造化文書符号の転送方法、画像処理システム、サーバ装置、プログラム及び情報記録媒体
US20090060338A1 (en) * 2007-09-04 2009-03-05 Por-Sen Jaw Method of indexing Chinese characters
JP5148375B2 (ja) * 2008-06-10 2013-02-20 株式会社東芝 被対象認識装置および被対象認識方法
JP2009147986A (ja) * 2009-03-27 2009-07-02 Ricoh Co Ltd 画像処理装置
US9129409B2 (en) * 2009-07-29 2015-09-08 Qualcomm Incorporated System and method of compressing video content
US8611662B2 (en) * 2011-11-21 2013-12-17 Nokia Corporation Text detection using multi-layer connected components with histograms

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4567610A (en) * 1982-07-22 1986-01-28 Wayland Research Inc. Method of and apparatus for pattern recognition
US5617485A (en) 1990-08-15 1997-04-01 Ricoh Company, Ltd. Image region segmentation system
US5515451A (en) * 1992-01-08 1996-05-07 Fuji Xerox Co., Ltd. Image processing system for selectively reproducing documents
US5845008A (en) * 1994-01-20 1998-12-01 Omron Corporation Image processing device and method for identifying an input image, and copier scanner and printer including same
US5850298A (en) 1994-03-22 1998-12-15 Ricoh Company, Ltd. Image processing device eliminating background noise

Also Published As

Publication number Publication date
US6259813B1 (en) 2001-07-10
JPH11341285A (ja) 1999-12-10

Similar Documents

Publication Publication Date Title
KR100477656B1 (ko) 디지털 화질 개선 방법 및 장치
US7227990B2 (en) Color image processing device and color image processing method
US7221799B2 (en) Image processing based on degree of white-background likeliness
JP3868654B2 (ja) 画像処理装置
JPH0435167A (ja) 線画分離方法および装置
JP2007311836A (ja) 画像処理装置及びその制御方法、並びにコンピュータプログラム及びコンピュータ可読記憶媒体
US6411741B1 (en) Image processing apparatus
US8111918B2 (en) Segmentation for three-layer mixed raster content images
US7542170B2 (en) Method for enhancing print quality of halftone images
JP3142279B2 (ja) 網点領域分離装置
JP2000358166A (ja) 画像処理装置およびこれを搭載した画像読取装置と画像形成装置、並びに画像処理方法、および画像処理手順を記憶したコンピュータ読み取り可能な記憶媒体
JP2972172B2 (ja) 網点領域検出方法
JP3789243B2 (ja) 画像処理装置および方法
JP3767210B2 (ja) 原稿種判定装置及び画像処理装置
JP2001352453A (ja) 画像再生装置
JP3914796B2 (ja) 画像処理装置
JP2777378B2 (ja) 網点領域検出方法
JP2778669B2 (ja) 網点領域検出方法
JP2002232704A (ja) 画像処理装置及び画像形成装置
JP2000357237A (ja) 画像処理装置およびこれを搭載した画像読取装置と画像形成装置、並びに画像処理方法、および画像処理手順を記憶したコンピュータ読み取り可能な記憶媒体
JP2972171B2 (ja) 網点領域検出方法
JP2777379B2 (ja) 領域分離装置
JPH05176168A (ja) 適応中間調処理方式
JP3518258B2 (ja) カラー画像処理装置
JPH09130598A (ja) カラー画像形成装置

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20060309

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20060411

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060612

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20061003

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20061011

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101020

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111020

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121020

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131020

Year of fee payment: 7

LAPS Cancellation because of no payment of annual fees