JP3838981B2 - 画像処理装置、画像処理方法及び画像処理プログラム - Google Patents

画像処理装置、画像処理方法及び画像処理プログラム Download PDF

Info

Publication number
JP3838981B2
JP3838981B2 JP2003024273A JP2003024273A JP3838981B2 JP 3838981 B2 JP3838981 B2 JP 3838981B2 JP 2003024273 A JP2003024273 A JP 2003024273A JP 2003024273 A JP2003024273 A JP 2003024273A JP 3838981 B2 JP3838981 B2 JP 3838981B2
Authority
JP
Japan
Prior art keywords
color
distance
conversion
image
target pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2003024273A
Other languages
English (en)
Other versions
JP2004236157A (ja
Inventor
浩一郎 平尾
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC AccessTechnica Ltd
Original Assignee
NEC AccessTechnica Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC AccessTechnica Ltd filed Critical NEC AccessTechnica Ltd
Priority to JP2003024273A priority Critical patent/JP3838981B2/ja
Publication of JP2004236157A publication Critical patent/JP2004236157A/ja
Application granted granted Critical
Publication of JP3838981B2 publication Critical patent/JP3838981B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Image Processing (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Color Image Communication Systems (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は、画像処理装置、画像処理方法及び画像処理プログラムに係わり、特にカラー画像をモノクロ画像に変換する画像処理装置、画像処理方法及び画像処理プログラムに関する。
【0002】
【従来の技術】
複写機、プリンタ、スキャナ、ファクシミリ等の画像処理装置においては、原稿から読み取った、又は受信したカラー画像からモノクロ画像への変換することが求められる場合がある。
【0003】
従来、カラー画像のモノクロ2値画像への変換において、各画素の輝度成分だけを用いた場合、例えば、赤と青のような同じような輝度値をもつ色が隣接していると、2値画像へと変換した結果、2色の領域の違いが不明瞭になり情報が失われてしまう。また、黄色等の輝度値の高い色においては、変換時に白とみなされて変換後には情報が消失していることがあった。さらに、輝度成分だけではなく、色成分等を用いたとしても、やはり変換後に同じような濃度で表現される色が複数存在するため、上記のような領域が不明瞭となるケースが発生してしまう。
【0004】
図3にモノクロ2値変換の例を示す。図3(a)は原画像であり、これを、例えば輝度成分でモノクログレー化して2値化した場合、図3(b)のような画像となる。赤い矩形の中の黒文字が周りの赤色と判別が困難となっており、また、黄色い矩形分のデータが消えてしまう現象が発生する。
【0005】
この問題に対し、様々な解決案が提案されている。例えば、特許文献1には、カラー画像に含まれる複数の色を判別し、カラー画像に含まれる各画素について、色情報に基づいて変換後の濃度を決定し、カラーが層の各画素の色成分を、決定した濃度に変換することの記載がある(図3等)。
【0006】
また、特許文献2の図1等、特許文献3の第1図等、特許文献4の図1等、特許文献5の図2等には、異なる色でも輝度値に置きかえてモノクロ変換すると区別がつかなくなるのを防止するために、色領域を判別し、階調差を付与する画像処理装置の記載がある。
【0007】
【特許文献1】
特開2001−352454
【特許文献2】
特開2002−10090
【特許文献3】
特開昭62−088071
【特許文献4】
特開平10−155085
【特許文献5】
特開平11−339034
【0008】
【発明が解決しようとする課題】
しかし上記各特許文献に記載された技術は、その領域判定処理においてある一定のメモリを必要としコストが高く、また処理にある程度の時間を必要とする。
【0010】
【課題を解決するための手段】
本発明の画像処理装置は、カラー画像を輝度成分と色相成分を持つ色空間へ変換す
る手段と、
色の中心となる空間座標と色領域の範囲を表す空間の第1の距離とを色ごとに備えた色領域テーブルと、
色空間変換後の対象画素を中心とした水平方向の複数画素の平均を求め、平均化後の画像データの空間座標と前記色領域テーブルの空間座標との間の第2の距離を画素ごとに各色について求め、前記第2の距離が前記第1の距離以下となる色領域が存在する場合に前記第2の距離が最小となる色を対象画素の色と判定する色判定手段と、
前記対象画素の色に対応する色領域の変換後の濃度データを備えた変換濃度値テーブルと、
前記変換濃度値テーブルの濃度データに基づいて画素ごとにモノクロ画像に変換する変換手段と、を備えたものである。
【0012】
本発明の画像処理方法は、カラー画像を輝度成分と色相成分を持つ色空間へ変換するステップと、
色空間変換後の対象画素を中心とした水平方向の複数画素の平均を求めるステップと、 色の中心となる空間座標と色領域の範囲を表す空間の第1の距離とを色ごとに備えた色領域テーブルを用いて、平均化後の画像データの空間座標と前記色領域テーブルの空間座標との間の第2の距離を画素ごとに各色について求め、前記第2の距離が前記第1の距離以下となる色領域が存在する場合に前記第2の距離が最小となる色を対象画素の色と判定するステップと、
前記対象画素の色に対応する色領域の変換後の濃度データを備えた変換濃度値テーブルを用いて、該濃度データに基づいて画素ごとにモノクロ画像に変換するステップと、を備えたものである。
【0014】
本発明の画像処理プログラムは、カラー画像を輝度成分と色相成分を持つ色空間へ変換する手段と、
色空間変換後の対象画素を中心とした水平方向の複数画素の平均を求め、色の中心となる空間座標と色領域の範囲を表す空間の第1の距離とを色ごとに備えた色領域テーブルを用いて、平均化後の画像データの空間座標との間の第2の距離を画素ごとに各色について求め、前記第2の距離が前記第1の距離以下となる色領域が存在する場合に前記第2の距離が最小となる色を対象画素の色と判定する色判定手段と、
前記対象画素の色に対応する色領域の変換後の濃度データを備えた変換濃度値テーブルの濃度データに基づいて画素ごとにモノクロ画像に変換する変換手段として、コンピュータを、機能させるためのものである。
【0016】
【発明の実施の形態】
以下、本発明の実施の形態について図面を用いて詳細に説明する。
【0017】
まず、本発明の画像処理装置の一実施形態の構成を図1を用いて説明する。
【0018】
図1を参照すると、本実施形態の画像処理装置は、画像を取りこむ画像入力部100と、入力された画像の色空間変換を行う色空間変換部101、変換された色空間上で色判定を行い、その結果に従ってモノクログレーデータに変換する色判定変換部106、変換されたモノクログレーデータを2値化する2値化部107から構成される。
【0019】
また、色判定変換部106は、色の判定を行う色判定部102、色判定に標準サンプルとして使用する各色領域のデータを持つ色領域テーブル103、色判定結果に応じて特定のモノクログレーデータに変換し出力する変換部105、各色領域に対する変換後の濃度値を格納しておく変換濃度値テーブル104から構成される。
【0020】
(動作の説明)
次に上記画像処理装置の動作に関して説明する。
【0021】
画像入力部100にはカラーイメージスキャナやデジタルカメラ等の静止画像入力機器から、又は、画像データが蓄積されたメモリ等から、デジタルカラー画像データが入力される。
【0022】
この入力されたカラー画像は色空間変換部101において、RGBからL*、a*、b*又は、L、u、vといった輝度成分と色相成分を持つ色空間(CIE 1976 L*a*b* 色空間、CIE 1976 L*u*v* 色空間)へと変換される(CIE:Suppl.No.2 to CIE Publ. No.15, Colorimetry (E-1・3・1)1971,(1976))。ここで、色空間変換後の色空間は上記のL*、a*、b*のような均等色空間が歪みが少なく、その後の処理の精度が高くなるが、YCbCrやYuvといった色空間を使用しても、若干の歪みは発生するが本実施形態に与える影響はほとんどないため問題ないといえる。
【0023】
また、色空間変換部101では、従来のモノクログレーデータ変換も同時に行う。この変換処理は、RGBのG成分をモノクログレーデータとする変換や、Lab空間等の輝度成分をモノクログレーデータとする変換や、(αR+βG+γB)÷(α+β+γ)の演算での変換など、一般的なモノクログレー変換が行われる。色空間変換後の対象画素データP及びモノクログレー変換後の対象画素データPGは、両方ともに色判定変換部106へ出力される。
【0024】
色判定変換部106では、色判定及びモノクログレーデータへの変換が行われる。図2は色判定変換部106の処理を示すフローチャートである。
【0025】
以下、図1、図2を使用して説明する。色空間変換後の対象画素データPは色判定部102に入力され色の判定が行われる。ここでは、図2のステップS1〜S4、及びS6の処理が行われる。
【0026】
まず、ステップS1において、変換対象画素を中心として、水平方向に数画素分の平均値PAVEが計算される。これは、各画素毎に算出される。平均対象の画素数は、入力画像の解像度や、出力画像の画質設定などにより異なるが、600dpiの画像の場合は2〜5程度が使用可能なレベルだと思われる。この平均化により、隣接画素間の色の判定誤差を平均化しない場合に比べて小さくすることができる。また、この平均化は水平方向のみのため、ハードウエアで実現した場合、余分なメモリが必要とならない。
【0027】
次にステップS2において、ステップS1で算出した平均値PAVEと、色領域テーブル103(C_Table)内の各色領域との距離Leniが求められる。ここでiは色領域テーブル内の各色領域のインデックスとする。色領域テーブル103には、各色領域の中心となる空間座標(xi,yi,zi)とその色領域の範囲を表す空間の半径riが用意されている。したがって距離Leniは平均化後の画素の色の空間座標(x,y,z)と色領域の中心座標(xi,yi,zi)との距離として算出される。ここで距離は通常ユークリッド距離で求められるが、パスカル距離でも大きな問題はない。ハードウエアで実現する場合は、パスカル距離の方が簡単に実装可能である。この場合、色領域テーブル103の値が変わってくる。平均化後の画素の色の空間座標(x,y,z)と色領域の中心座標(xi,yi,zi)との距離を、ユークリッド距離で求めると、{(x−xi2+(y−yi2+(z−zi21/2となり、パスカル距離で求めると、(x−xi)+(y−yi)+(z−zi)となる。
【0028】
ステップS3では各色領域毎に求めた距離Leniに対し、対象画素データPAVEがその色領域に含まれているか判定する。ここで判定用の閾値として、前記色領域テーブル103に設定された半径riをそれぞれ使用して判定を行う。これは、各色領域毎に領域の範囲が異なるため、各色領域に最適な閾値を用いるためである。このステップS3の判定において、Leni≦riとなる色領域が1つでも存在する場合には、次にステップS4の処理へと進み、Leni≦riとなる色領域が存在しない場合は、次にステップS6へと進む。
【0029】
ステップS4ではLeni≦riとなったLeniの中で最小の距離を求め、その色領域のインデックスを対象画素の色IDとし変換部105へ出力する。ステップS6では変換対象の色でないことを示す識別値が色IDとされ出力される。ここで、変換対象の色でないことを示す場合、色IDとして出力しなくてもよく、そのときは別途フラグとして変換部105へと通知する。
【0030】
変換部105では最終的なモノクログレーデータPMへの変換が行われ、図2のステップS5、ステップS7の処理が行われる。
【0031】
色判定部102において対象画素データPAVEがある特定の色領域の色だと判定された場合、ステップS5では、その色IDに対応する濃度値を変換濃度値テーブル104(D_Table)から読み出し、この濃度値を対象画素のモノクログレーデータPMとする処理が行われる。ここで、変換濃度値テーブル104には、対応する色領域の変換後の濃度値Di、対応する色領域を濃度値Diに変換するかどうかを選択するフラグTFlagiが用意されている。すなわち、TFlagi=1の場合、変換後のモノクログレーデータPMは、PM=Diとなる、TFlagi=0の場合、この色領域の濃度値の置き換えが行われず、色空間変換部101で変換されたモノクログレーデータPGが用いられることになる。すなわち、PM=PGとなる。これは、逆に濃度値変換をしない色領域を指定するといった場合に使用可能である。したがって、色領域毎に変換する/しないを切替えることが可能となる。
【0032】
色判定部102において特定の色領域のデータではない、つまり変換対象のデータではないと判定された場合、ステップS7では対象画素のモノクログレーデータPMとして、色空間変換部101で変換されたモノクログレーデータPGが用いられる。
【0033】
モノクログレーデータPMに変換された対象画素は、2値化部107で2値化される。ここで、2値化方式としては、単純2値化やディザ、誤差拡散方式など一般的な方式が用いられる。
【0034】
図3に本実施形態の画像処理装置による処理結果及び、一般的なモノクロ2値変換の処理結果の例を示す。図3(a)に示す原画像に対して、一般的なモノクロ2値変換の処理結果を示す図3(b)は、黒文字と赤の背景の区別がつかなくなっており、また黄色の背景が消えてしまっている。それに対し、本実施形態の処理結果を示す図3(c)では、赤の濃度値として図3(b)より小さい濃度値を与えることにより、文字と背景が判別可能となる。また、黄色に対しては、ある程度の濃度値を与えることにより、黄色の背景が出力さるようになる。また水色領域に対しては何も変換を行わず、図3(b)と同じ濃度で出力されており、つまり、変換が必要がない領域はそのまま出力することができる。結果として図3(c)の画像は原画像の情報を色情報以外は損なうことなく、適切な濃度情報に置き換え、良好にモノクロ2値変換ができる。
【0035】
以上が上記画像処理装置の動作例であるが、色空間変換部101、色判定変換部106では、水平方向の移動平均算出以外は、隣接画素との相関がなく、各画素毎に処理が可能である。また、水平移動平均でも数画素レベルであるため、本実施形態による処理は特定のメモリを持たずラスターで処理が可能である。そのため高速に処理が行うことができる。さらに、数ラインのラインメモリの追加により、垂直方向の移動平均を行い、色判定の精度を向上させることも可能である。
【0036】
なお、色領域テーブル103のデータ数は、実装時の資源の容量や、最終的な画質のレベル設定により自由に構成できるが、概ね16色か24色、多くても32色程度で十分であると思われる。また、本実施形態では、ビジネス文書等の少ない色数で構成される文書に関して良好な結果を得ることができ、そのため、一般的なモノクロ2値変換と切替える構成を持つことにより、写真画像のような画像に対しては本実施形態の処理を行わないモノクロ2値変換を行うことで使い分けが可能となる。この場合、あらかじめ写真画像かビジネス画像かが既知であり、そのことを示すフラグ等を持っているときは、自動判別が可能であるが、写真画像かどうかを検出する処理を入れる場合は、メモリが必要となるためコストの増加となる。
【0037】
本実施形態の色判定は、ある対象サンプルがあるとき、各標準サンプルに対して距離を求め、対象サンプルを距離が最小となる標準サンプルのメンバーとみなすパターン認識技術を応用している。本実施形態では、各画素毎に色判定を行っているため、今まで領域判定で必要とされてきた、例えば、1ページ分のメモリが必要としない。その結果、ラスターで処理が可能となり、高速処理を行うことができる。
【0038】
また、色領域テーブルにおいて対象色を限定しているため、指定色のみを変換することができる。これは、カラー全色やページ内の全色に対して、意図的に濃度値を操作しても2値データではすべての判別がつくような表現はできないため、小さいテーブルを用いて、ある程度判別が必要とされるような色に対してのみ行うことで、本発明を構成する資源を小さくできる。例えば、グラフ等のオフィス文書の場合は、色数が少ないため、その基本となる色を判別できれば十分である。
【0039】
さらに、本来原稿が持っている輝度値には関係なく、指定した色を指定した濃度で表現できる。これは、モノクロ2値に変換した時点で色の持つ情報は、濃度の変化という情報に変換され、本来の輝度値で表す必要性がなくなるため、色指定と濃度指定の方法により、情報が損なわれずにモノクロ2値変換が可能である。また、極端に言えば、指定した色のみを出力したり、指定した色だけを消すこともでき、利用者の好みに応じて変換することが可能である。
【0040】
本実施形態では、デジタル画像処理装置を説明したが、デジタル画像処理としてソフトウエアで実現することも可能である。また、本実施形態は、カラースキャナを搭載したモノクロファクシミリ、モノクロコピー等にも応用することが可能である。
【0041】
図4は、図1に示した各部のように機能させ、図2に示したようなフローを実施させるためのプログラムを実行するコンピュータのブロック図を示す。
【0042】
スキャナ等から入力された画像情報はIO部120を介してDRAM等のメモリ123又はMO、ハードディスク等のディスク装置124等の記憶手段に記憶される。CPU126は前述した図1の各部として機能させ、図2のフローを記述したプログラム(ここではディスク装置124にプログラムが保存されている。)に基づいて、処理を行う。キーボード121はデータを入力する入力手段、CRT122は画像処理された画像を表示する表示手段となる。125はデータバス等のバスを示す。
【0043】
【発明の効果】
以上説明したように、本発明によれば、一般のモノクログレー変換では判別が困難となるような色を意図的にある濃度値に置き換える処理を高速で行うことができる。これにより、プレゼンテーションの文書やグラフといった比較的少ない色数ので表されるようなビジネス文書対して良好なモノクロ2値画像を得ることができる。
【図面の簡単な説明】
【図1】本発明の画像処理装置の一実施形態の構成を示すブロック図である。
【図2】色判定変換部106の処理を示すフローチャートである。
【図3】本実施形態の画像処理装置による処理結果及び、一般的なモノクロ2値変換の処理結果の例を示す図である。
【図4】図1に示した各部のように機能させ、図2に示したようなフローを実施させるためのプログラムを実行するコンピュータのブロック図である。
【符号の説明】
100 画像入力部
101 色空間変換部
102 色判定部
103 色領域テーブル
104 変換濃度値テーブル
105 変換部
106 色判定変換部
107 2値化部

Claims (4)

  1. カラー画像を輝度成分と色相成分を持つ色空間へ変換する手段と、 色の中心となる空間座標と色領域の範囲を表す空間の第1の距離とを色ごとに備えた色領域テーブルと、
    色空間変換後の対象画素を中心とした水平方向の複数画素の平均を求め、平均化後の画像データの空間座標と前記色領域テーブルの空間座標との間の第2の距離を画素ごとに各色について求め、前記第2の距離が前記第1の距離以下となる色領域が存在する場合に前記第2の距離が最小となる色を対象画素の色と判定する色判定手段と、
    前記対象画素の色に対応する色領域の変換後の濃度データを備えた変換濃度値テーブルと、
    前記変換濃度値テーブルの濃度データに基づいて画素ごとにモノクロ画像に変換する変換手段と、を備えた画像処理装置。
  2. 請求項に記載の画像処理装置において、前記色領域テーブルは対象とする色が限定されている画像処理装置。
  3. カラー画像を輝度成分と色相成分を持つ色空間へ変換するステップと、
    色空間変換後の対象画素を中心とした水平方向の複数画素の平均を求めるステップと、 色の中心となる空間座標と色領域の範囲を表す空間の第1の距離とを色ごとに備えた色領域テーブルを用いて、平均化後の画像データの空間座標と前記色領域テーブルの空間座標との間の第2の距離を画素ごとに各色について求め、前記第2の距離が前記第1の距離以下となる色領域が存在する場合に前記第2の距離が最小となる色を対象画素の色と判定するステップと、
    前記対象画素の色に対応する色領域の変換後の濃度データを備えた変換濃度値テーブルを用いて、該濃度データに基づいて画素ごとにモノクロ画像に変換するステップと、を備えた画像処理方法。
  4. カラー画像を輝度成分と色相成分を持つ色空間へ変換する手段と、
    色空間変換後の対象画素を中心とした水平方向の複数画素の平均を求め、色の中心となる空間座標と色領域の範囲を表す空間の第1の距離とを色ごとに備えた色領域テーブルを用いて、平均化後の画像データの空間座標との間の第2の距離を画素ごとに各色について求め、前記第2の距離が前記第1の距離以下となる色領域が存在する場合に前記第2の距離が最小となる色を対象画素の色と判定する色判定手段と、
    前記対象画素の色に対応する色領域の変換後の濃度データを備えた変換濃度値テーブルの濃度データに基づいて画素ごとにモノクロ画像に変換する変換手段として、コンピュータを、機能させるための画像処理プログラム。
JP2003024273A 2003-01-31 2003-01-31 画像処理装置、画像処理方法及び画像処理プログラム Expired - Fee Related JP3838981B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2003024273A JP3838981B2 (ja) 2003-01-31 2003-01-31 画像処理装置、画像処理方法及び画像処理プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2003024273A JP3838981B2 (ja) 2003-01-31 2003-01-31 画像処理装置、画像処理方法及び画像処理プログラム

Publications (2)

Publication Number Publication Date
JP2004236157A JP2004236157A (ja) 2004-08-19
JP3838981B2 true JP3838981B2 (ja) 2006-10-25

Family

ID=32952845

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003024273A Expired - Fee Related JP3838981B2 (ja) 2003-01-31 2003-01-31 画像処理装置、画像処理方法及び画像処理プログラム

Country Status (1)

Country Link
JP (1) JP3838981B2 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4529990B2 (ja) 2007-03-30 2010-08-25 ブラザー工業株式会社 画像処理プログラム及び画像処理装置
KR101024783B1 (ko) 2008-12-30 2011-03-24 포항공과대학교 산학협력단 이미지의 컬러 변환 방법 및 이미지의 컬러 변환 방법이 기록된 기록 매체
KR101074184B1 (ko) 2009-12-29 2011-10-14 포항공과대학교 산학협력단 컬러 이미지를 그레이스케일 이미지로 변환하는 방법 및 이를 수행하는 프로그램이 기록된 기록매체
JP2017038242A (ja) * 2015-08-11 2017-02-16 キヤノン株式会社 印刷装置

Also Published As

Publication number Publication date
JP2004236157A (ja) 2004-08-19

Similar Documents

Publication Publication Date Title
US7903872B2 (en) Image-processing apparatus and method, computer program, and storage medium
US7667711B2 (en) Image processing system, a method thereof, and a recording medium thereof
US20030206307A1 (en) Neutral pixel detection using color space feature vectors wherein one color space coordinate represents lightness
US20080137159A1 (en) Image forming apparatus and image quality improving method thereof
US6125200A (en) Removing non-text information from a color image
JPH09186877A (ja) 画像処理装置
JP4442651B2 (ja) 画像処理装置およびプログラム
US6661921B2 (en) Image process apparatus, image process method and storage medium
JP3838981B2 (ja) 画像処理装置、画像処理方法及び画像処理プログラム
US8363263B2 (en) Image processing apparatus and image processing method
JP4438834B2 (ja) 画像色判定装置、画像色判定方法、およびプログラム
JP2005117504A (ja) 画像処理装置および画像処理方法
US7545540B2 (en) Method and system for processing color image data
US20080055682A1 (en) Apparatus and Method for Deciding Image Color
JP2006109482A (ja) 画像処理方法、画像処理装置及び画像処理プログラム
JP4695472B2 (ja) 画像処理装置、画像形成装置、画像処理方法、プログラム及び記憶媒体
JP4571758B2 (ja) 文字認識装置、文字認識方法、画像処理装置、画像処理方法、並びにコンピュータ読み取り可能な記録媒体
JPH11136505A (ja) 画像処理装置およびその方法
JP2001352453A (ja) 画像再生装置
JP4165599B2 (ja) 画像処理装置
JP5122507B2 (ja) 画像処理装置、画像形成装置、画像処理方法、プログラム、記録媒体
JP3227152B2 (ja) カラー画像処理装置、及びカラー画像処理方法
JPH11127353A (ja) 画像処理装置及び画像処理方法
JP2005303584A (ja) 画像処理装置及び画像処理方法
JP4386110B2 (ja) 画像色判定装置、画像色判定方法、およびプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20040507

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20040521

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20060116

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20060127

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060328

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20060508

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060602

RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20060602

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20060602

A911 Transfer of reconsideration by examiner before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20060710

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20060725

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20060801

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090811

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100811

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110811

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110811

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120811

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130811

Year of fee payment: 7

LAPS Cancellation because of no payment of annual fees