JP3979370B2 - カラー画像処理装置 - Google Patents

カラー画像処理装置 Download PDF

Info

Publication number
JP3979370B2
JP3979370B2 JP2003334639A JP2003334639A JP3979370B2 JP 3979370 B2 JP3979370 B2 JP 3979370B2 JP 2003334639 A JP2003334639 A JP 2003334639A JP 2003334639 A JP2003334639 A JP 2003334639A JP 3979370 B2 JP3979370 B2 JP 3979370B2
Authority
JP
Japan
Prior art keywords
image
color image
image data
quantization table
color
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2003334639A
Other languages
English (en)
Other versions
JP2005102011A (ja
Inventor
勝巳 南野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Murata Machinery Ltd
Original Assignee
Murata Machinery Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Murata Machinery Ltd filed Critical Murata Machinery Ltd
Priority to JP2003334639A priority Critical patent/JP3979370B2/ja
Publication of JP2005102011A publication Critical patent/JP2005102011A/ja
Application granted granted Critical
Publication of JP3979370B2 publication Critical patent/JP3979370B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Color Image Communication Systems (AREA)
  • Compression Of Band Width Or Redundancy In Fax (AREA)
  • Facsimile Image Signal Circuits (AREA)

Description

この発明は、コピー機、ファクシミリ装置、コピー機能・ファクシミリ機能等の多機能を有する複合機、スキャナ装置等のカラー画像処理装置に関する。
一般に、スキャンした入力色空間(例えばRGB)を明度成分又は輝度成分を含む色空間(例えば、Lab又はYCC)に変換し、色空間の各成分に対して補正処理を施した後、出力色空間(例えば、CMYK)に変換して画像形成するようにしたカラー画像処理装置が知られている。この種のカラー画像処理装置において、従来、紙幣や有価証券等の特定画像が読み取られた場合に、これを検出判定し、忠実な再現を阻止するようにしたものがある。再現を阻止する具体法として、a.例えばベタ画像を記録出力する。b.CMYKデータの画像処理方法を変更する方法。c.判定結果を得た時点で、コピーシーケンスを中止して、その理由をユーザに通知する。等の方法が開示されている(例えば、特許文献1参照)。
特開2000−50060号公報
上記従来のa及びbの方法では、CMYKデータの画像処理方法を変更するために、特別な処理を追加したり、複雑な回路を追加したりする必要がある。また、上記cの方法では、ユーザに報知する必要があり、処理が複雑になるという問題がある。
この発明は上記問題点に着目してなされたものであって、新たに特別な処理を追加することなく、また新たに複雑な回路を追加することなく、紙幣や有価証券等の特定画像の忠実なコピーを確実に阻止できるカラー画像処理装置を提供することを目的としている。
この発明の請求項1に係るカラー画像処理装置は、非圧縮状態のカラー画像データを入力する入力手段と、入力したカラー画像データを量子化テーブルを用いて圧縮符号化する圧縮符号化手段と、圧縮符号化したカラー画像データを記憶する記憶手段と、記憶手段から読み出した圧縮符号化したカラー画像データを量子化テーブルを用いて伸張復号化する伸張復号化手段と、伸張復号化手段で伸張復号化したカラー画像データに基づいて、記録紙上にカラー画像を形成する画像形成手段と、非圧縮状態のカラー画像と特定画像との一致度合いを算出する判定手段と、この判定手段が算出した一致度合い(類似度合い)に応じて、圧縮符号化時に使用する量子化テーブルの内容に対し伸張復号化時に使用する量子化テーブルの内容の変更度合いを変えるように制御する制御手段とを備えている。
ここで、入力される非圧縮データは、自装置でスキャンした読み取りデータの他に、外部から入力される非圧縮データも含まれる。
また、この発明のカラー画像処理装置において、前記制御手段は、前記一致度合いが高ければ量子化テーブルの内で、視覚への影響が高い部分の変更量を大きくし、一致度合いが低ければ、視覚への影響が低い部分の変更量を大きくするように制御することとしても良い。
求項、請求項に係る発明によれば、紙幣や有価証券ではない原稿であって、色の分布や含まれるパターン画像が紙幣又は有価証券に類似している場合でも、原稿画像から少し変更された画像として画像形成できる(一致か非一致か2つに1つの場合、忠実に再現されるか、全く変更した内容で再現されるか、どちらかになってしまう)。
、以下、実施の形態により、この発明を更に詳細に説明する。
図1は、この発明の実施形態に係るカラー複合機の構成を示すブロック図である。この実施形態カラー複合機は、プリンタ(画像記録部)11と、画像読取部12と、主制御部(CPU)13と、表示部14と、操作部15と、ROM16と、RAM17と、画像メモリ18と、CODEC19と、NCU20と、MODEM21と、LANI/F22とを備えている。
プリンタ11は、電子写真式のカラープリンタであり、読取画像やLANI/F22を通してPC等から転送される画像データを記録上でカラー記録する。このプリンタ11は、CMYK4色の記録剤(トナー)を使用するものであり、K(黒)成分のみの記録剤を用いたモノクロプリントに加えて、CMYK4色全ての記録剤を用いたプリントも可能である。
画像読取部12は、原稿を光学的に走査して画像データを読み取る。カラー画像の読み取りも可能である。詳細を後述する。主制御部(CPU)13は、バス23より各部に接続され、ROM16に記憶されるプログラムに従い、読み取り処理、プリント処理、その他の種々の制御を実行する。表示部14は、アイコン、キーボタンの表示や、操作のために必要なメッセージ内容等を表示する。表示部14としては、主としてLCD(液晶表示装置)が使用されるが、CRT、その他の表示器を使用しても良い。
操作部15は、スタートキー15aの他、モード切替キー、テンキー、クリアキー、ストップキー等を備える。スタートキー15aは、種々の処理動作を開始するときに操作するキーである。ROM16は、装置全体の動作を制御するためのプログラム等を記憶する。RAM17は、主制御部13による制御に必要なデータ及び制御動作時に一時記憶が必要なデータ等を記憶する。画像メモリ18は、画像読取部12で読み取った画像データを圧縮状態で記憶する。更に、画像メモリ18は2値メモリであり、2値の圧縮画像データ(CMYK又はK)を記憶する。
CODEC19は、MH、MR、MMR方式等で2値データを符号化(エンコード)・復号化(デコード)する。
NCU20は、CPU13により制御されて、通信回線である電話回線網(PST)24との接続を制御する。また、NCU20は、通信相手の電話番号(FAX番号を含む)に応じたダイヤルパルスを送出する機能及び着信を検出する機能を有する。MODEM21は、ITU(国際電気通信連合)−T勧告T.30、T.4に従ったファクシミリ伝送制御手順(ファクシミリ通信手順)に基づいて、V.17、V27ter、V.29等に従った送信データの変調及び受信データの復調を行う。また、MODEM21は、V.8、V.34を用いたV.34FAXにも適用可能である。具体的には、MODEM21は、NCU20を介して電話回線網24に送出するために、デジタル信号である送信データをアナログの音声信号に変調する機能を有する。また、MODEM21は、電話回線網24からNCU20を介して受信したアナログの音声信号をデジタル信号に復調する機能を有する。LANI/F22は、LAN(ローカルエリアネットワーク)を介して、外部機器とのデータ授受を行うためのものであり、このLANI/F22を介して外部のPC(パーソナルコンピュータ)より、ネットワークプリント、ネットワークスキャナ等の要請を受ける。
画像読取部12は、図2に示すように、カラー画像データを入力するカラー画像データ入力部としてのCCD1、アナログフロントエンド(AFE)回路を含むA/D変換部2、第1の画像処理部3、第1の色空間変換部4、圧縮符号化部5、画像メモリ6、伸張復号化部7、第2の画像処理部8、第2の色空間変換部9、2値化部10を備えている。また、この画像読取部12の各部は、CPU13によって制御され、処理された画像データはプリンタ11によってプリントされる。
CCD1は、原稿の1走査線をR、G、Bに分離して読み取り、所定間隔を置いて、次の走査線画像を順次読み取る。A/D変換部2は、AFE回路でCCD1の出力をアナログ増幅する。このアナログ値をデジタルデータに変換し、多値化出力する。第1の画像処理部3では、シェーディング補正、ガンマ補正等の処理を行う。
第1の色空間変換部4は、第1の画像処理部3より出力されるRGBの画像データを、輝度成分を分離して表せるY、Cr、Cbの画像データに変換する。圧縮符号化部5は、生成したカラー画像データY、Cr、Cbを圧縮符号化する。画像メモリ6は、多値メモリであり、圧縮符号化された多値画像データを記憶する。伸張復号化部7は、画像メモリ6から読み出した圧縮符号化データを伸張復号化する。第2の画像処理部8は、Y、Cr、Cb色空間の画像データを受け、地色補正などの色補正を行う。
圧縮符号化部5は、多値データを例えばよく知られたJPEG方式で、圧縮符号化処理を行う。JPEG方式は、画像データを圧縮/符号化するのに、レベルシフト後、DCT変換、量子化テーブルを用いた量子化、ハフマンテーブルを用いたハフマン符号化を行い、更に符号化データを復号化するのに、ハフマン復号化、量子化テーブルを用いた逆量子化、逆方向DCT変換の手順を取る。ここでは、量子化テーブルを変更することによって、変換前と異なる画像を再生する。JPEGデータは、通常量子化情報を付加して記憶/出力される。量子化情報は伸張復号化するための情報であり、通常は圧縮時に使用した量子化テーブルの情報である。本発明では、特定画像と判定した場合には、付加する量子化テーブルの内容を圧縮時に使用したものと異なるものとして、付加された量子化テーブルを用いて伸張復号化した際、変換前と異なる画像が再生されるようにしている。 ここでは、原画像データをN×N(例えば8×8)ピクセル分のブロックに分割し、それぞれY、Cr、Cb成分毎にレベルシフトし、各ピクセル毎に、順方向DCT(離散コサイン変換)を行う。これにより、その1ブロックの原画像の周波数分布を得る。この得られた周波数分布の各要素を、予め設けてある量子化テーブル(Qテーブル)を参照して量子化を行う。具体的には、周波数分布の各要素を量子化テーブルの各記憶値で割算して量子化し、圧縮符号化処理を行う。 少し具体例を上げて説明する。レベルシフト後のY、Cr、Cbの例えばY成分の1ブロック(8×8)分の各要素の濃度値Wi、j(i=0〜7、j=0〜7)を、図4の(a)に示す。このブロックに対し、順方向DCTを行い、図4の(b)に示す周波数分布Ci、jを得る。この図4の(b)では、周波数分布Ci、jのi、jが小さい左上が低い周波数成分であり、i、jが大きい、右下の方が高い周波数成分を表すものである。
一方、図5の(c)に示す量子化テーブルの各値Qi、jは、左上方、つまりi、jが小さい位置で小さく、右下方、つまりi、jが大きいほど、大きくなるように設定してある。このようにして、右下方の値が大きいほど、高い周波数成分の再現品質を下げ、圧縮率を高くするようにしている。低い周波数成分に比べ、高い周波数成分の再現は、人間の視覚への影響が小さいためである。上記順方向DCTによって得られた図5の(b)に示す周波数分布Ci、jを図5の(c)に示す量子化テーブルの記憶値Qi、jで除算し、図5の(d)に示すDi、jを得る。この際、除算値を四捨五入して小数点以下は丸めている。この処理によって、右下部分、つまり周波数の高い部分の多くが0となり、カットされる。 伸張復号化部7では、上記圧縮符号化部5とは逆の処理、つまりJPEG圧縮データを伸張復号化処理を行う。量子化された圧縮符号化データDi、jに量子化テーブルの記憶値Qi、jを乗じ、周波数分布の各要素Ci、jを得る。この周波数分布データCi、jを、更に逆方向DCT変換し、逆レベルシフトし、N×Nのピクセル分の原画像データに復号する。 図4、図5の例では、図5の(d)に示すDi、jに、図5の(c)に示すQi、jを乗算し、図5の(b)〔図4の(b)〕に示す周波数分布Ci、jを得る。更に、これを図4の(a)に示す画像データWi、jに変換する。
この実施形態では、図5の(c)に示す量子化テーブルとして、量子化のためのQi、jが異なる値に設定された複数のテーブルを備えている。装置が読み取った原稿が、特定パターンの原稿であると検出すると、これに応じて読取原稿をプリント(画像形成)するのに異なる量子化テーブルによる伸張復号化を行い、異なる色、あるいは品質の異なるプリントを行うようにしている。復号時には圧縮時に使用した量子化テーブルと異なる量子化テーブルを使用する。
第2の色空間変換部9は、Y、Cr、Cb色空間の画像データを受け、3D−LUT6aによる補間により、Y、Cr、Cbの画像データをCMYKの画像データに変換する。2値化部10は、入力されるCMYK多値データを2値化して出力する。なお、伸張復号化7には、量子化テーブルを備えており、読み取られた画像データを特定画像であると判定された場合には、この量子化テーブルを変更するように構成されている。ここでは、Y、Cr、Cb成分のうち、Cr、Cb成分(色成分)のみ量子化テーブルを変更する。なお、JPEG圧縮において、輝度成分と2つの色成分とを量子化する際、一般的には2つの色成分で共通の量子化テーブルを用いる。
この回路において、コピーの場合には、画像メモリ6に記憶された多値圧縮データが伸張復号化されて、第2の画像処理部8、第2の色空間変換部9、2値化部10の順で処理されるが、スキャンやFAX送信の場合、画像メモリ6に記憶されたカラー多値データが通信回線(LANや公衆回線)を介して外部に送信される。一方、外部から画像データが入力(受信)された際、それが多値データ(JPEGデータ)の場合、画像メモリ6に記憶され、2値データの場合は画像メモリ18に記憶する。2値化部10から出力されたCMYKデータは、図2において、プリンタ11に入力されるよう簡易的に示しているが、厳密には、CODEC19で圧縮符号化されて、画像メモリ18に格納された後、プリンタ11に出力される。
次に、この実施形態化画像処理回路における画像形成時の処理動作を、図3に示すフロー図を参照して説明する。
操作部15のスタートキー15aを押すと、この処理ルーチンが開始され、ステップST1において、CCD1により原稿のRGBスキャンが実行される。この処理により読み込まれたRGBの画像データはステップST2において、A/D変換部2でA/D変換され、多値デジタルデータに変換される。次にステップST3に移行し、第1の画像処理部3で、RGB画像データに対し、シェーディング補正、ガンマ補正がなされ、第1の色空間変換部4に入力される。続いて、ステップST4へ移行する。
ステップST4においては、RGB画像データをY、Cr、Cb色空間の画像データに変換する。次に、ステップST5へ移行する。ステップST5においては、生成したカラー画像データを、圧縮符号化部5でJPEG方式により圧縮符号化する。次に、ステップST6へ移行する。ステップST6においては、圧縮符号化されたデータを画像メモリ6に記憶する。また、圧縮符号化処理とは別に、これと並列的に、ステップST7において、読み取られ、生成されたカラー画像が、予め登録されている紙幣、有価証券等の画像パターンと一致するか否かを判定する。そして、画像パターンが一致すると判定された場合には、ステップST8において、伸張復号化部7の量子化テーブルを変更する処理を行う。一方、画像パターンが一致しない場合は、量子化テーブルを変更する処理を行わない。
ステップST9においては、伸張復号化部7で画像メモリ6から読み出した圧縮符号化データの色成分Cr、Cbに量子化テーブルを参照して、伸張復号化を実行する。生成された画像データが登録済みの特定パターンと一致する場合には、それにより変更された量子化テーブルを使用し、記憶してある符号化データ〔例えば図5の(d)〕に変更した量子化テーブルのデータ〔例えば図5の(c)〕を乗算し、伸張復号化を実行する。次に、ステップST10へ移行する。ステップST10においては、第2の画像処理部8にて入力されたY、Cr、Cb画像データに対し、地色補正等の画像処理を行い、補正後のY、Cr、Cb画像データを第2の色空間変換部へ入力する。次に、ステップST11へ移行する。
ステップST11においては、第2の色空間変換部9で入力されたY、Cr、Cb画像データを3D−LUT9aによる補間を行い、CMYK色空間の画像データに変換する。次に、ステップST12へ移行する。ステップST12においては、多値CMYKデータを2値化し、プリンタ11に入力する。続いて、ステップST13へ移行する。ステップST13においては、プリンタ11で入力された2値化データをプリント処理する。
上記実施形態においては、圧縮処理と平行して、入力された(読み取られた)画像データが特定画像か否か判定しているが、これに代えて、先に特定画像であるか判定し、圧縮率を変えるようにしても良い。すなわち、非圧縮データを入力し、入力した非圧縮データについて特定画像データか否か判定し、判定後に圧縮符号化処理を行う。この際、判定結果に基づいて、圧縮率を変える(=使用する量子化テーブルを変える)。例えば、特定画像であると判定した場合、ユーザが指定した圧縮率よりも高い圧縮率となるように圧縮符号化する。そして、伸張復号時には、ユーザが特定した圧縮率に相当する量子化テーブルを使用する。結果的に、圧縮時と伸張時とで使用する量子化テーブルが異なるものとなる。
なお、上記実施形態において、原稿画像と特定画像が一致するか否かを判定し、一致した場合に量子化テーブルを変更している。しかし、この判定に代えて、原稿画像と特定画像の一致度合い(類似度合い)を算出し、その一致度合いに応じて、量子化テーブルの変更度合いを変えるようにしても良い。すなわち、一致度合いが高ければ、伸張復号化時の量子化テーブルの変更量を大きくし、一致度合いが低ければ、量子化テーブルの変更量を小さくする。
具体的には、一致度合いが高ければ、色成分に比べて輝度成分(又は明度成分)の変更量を大きくし、一致度合いが低ければ、輝度成分(又は明度成分)に比べて色成分の変更量を大きくすることができる。この場合、当然、一致度合いが高い場合、輝度成分(又は明度成分)のみを変更し、低い場合、色成分のみ変更する場合も含む。他の例としては、一致度合いが高ければ、低周波成分に相当する部分の変更量を、高周波成分に相当する部分の変更量より大きくし(低周波成分に相当する部分のみを変更する場合も含む)、一致度合いが低ければ、高周波成分に相当する部分の変更量を低周波成分に相当する部分の変更量より大きくすることができる。これは、低周波成分の変化に比べて、高周波成分の変化は視覚への影響が小さいためである。また、更に他の例として、一致度合いが高ければ、大きい値の変更量を小さい値の変更量より大きくして、一致度合いが低ければ、小さい値の変更量を大きい値の変更量より大きくすることもできる。大きい値を変更する方が視覚への影響が大きいためである。
また、上記実施形態において、量子化テーブルの全ての値を一律に変更(全ての値を同じ量だけ変更)する場合だけでなく、部分的に変更したり(一部の値を変更したり)、部分的に変更量を変えたりすることができる。
また、上記実施形態では、生成されたY、Cr、Cb色空間の画像データに圧縮符号化、伸張復号化処理を施しているが、Lab色空間(L:明度、ab:色成分)、RGB色空間であっても良い。
この発明においては、特定画像が検出されても、全く異なる画像を出力するのではなく、紙幣偽造等が防止できる程度に変更された画像(人が見て、明らかに偽造されたと分かる程度に変更された画像)を出力することができる。
この発明が実施されるカラー複合機の構成を示すブロック図である。 同実施形態カラー複合機の画像読取部の構成を示すブロック図である。 同実施形態カラー複合機の画像形成処理動作を説明するフロー図である。 同実施形態カラー複合機のDCT変換を説明する図である。 同実施形態カラー複合機の量子化を説明する図である。
符号の説明
1 CCD
2 A/D変換部
3 第1の画像処理部
4 第1の色空間変換部
5 圧縮符号化部
6 画像メモリ
7 伸張復号化部
8 第2の画像処理部
8a スタートキー
9 第2の色空間変換部
9a 3D−LUT
10 2値化部
11 プリンタ
12 画像読取部
13 CPU
14 表示部
15 操作部
16 ROM
17 RAM
18 画像メモリ
19 CODEC
20 NCU
21 MODEM
22 LANI/F

Claims (2)

  1. 非圧縮状態のカラー画像データを入力する入力手段と、
    入力したカラー画像データを量子化テーブルを用いて圧縮符号化する圧縮符号化手段と、
    圧縮符号化したカラー画像データを記憶する記憶手段と、
    記憶手段から読み出した圧縮符号化したカラー画像データを量子化テーブルを用いて伸張復号化する伸張復号化手段と、
    伸張復号化手段で伸張復号化したカラー画像データに基づいて、記録紙上にカラー画像を形成する画像形成手段と、
    非圧縮状態のカラー画像と特定画像との一致度合いを算出する判定手段と、
    この判定手段が算出した一致度合いに応じて、圧縮符号化時に使用する量子化テーブルの内容に対し伸張復号化時に使用する量子化テーブルの内容の変更度合いを変えるように制御する制御手段とを備えたことを特徴とするカラー画像処理装置。
  2. 前記制御手段は、前記一致度合いが高ければ量子化テーブルの内で、視覚への影響が高い部分の変更量を大きくし、一致度合いが低ければ、視覚への影響が低い部分の変更量を大きくするように制御することを特徴とする請求項1記載のカラー画像処理装置。
JP2003334639A 2003-09-26 2003-09-26 カラー画像処理装置 Expired - Fee Related JP3979370B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2003334639A JP3979370B2 (ja) 2003-09-26 2003-09-26 カラー画像処理装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2003334639A JP3979370B2 (ja) 2003-09-26 2003-09-26 カラー画像処理装置

Publications (2)

Publication Number Publication Date
JP2005102011A JP2005102011A (ja) 2005-04-14
JP3979370B2 true JP3979370B2 (ja) 2007-09-19

Family

ID=34462254

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003334639A Expired - Fee Related JP3979370B2 (ja) 2003-09-26 2003-09-26 カラー画像処理装置

Country Status (1)

Country Link
JP (1) JP3979370B2 (ja)

Also Published As

Publication number Publication date
JP2005102011A (ja) 2005-04-14

Similar Documents

Publication Publication Date Title
CN100438565C (zh) 图像编码方法和图像设备
JP4139154B2 (ja) 画像通信装置
JP2001346051A (ja) 画像通信装置およびその制御方法
JP6762140B2 (ja) 画像処理装置、画像形成装置、プログラム及び記録媒体
JP3979370B2 (ja) カラー画像処理装置
JPH0654203A (ja) ファクシミリ装置及び画像処理装置
JP4079167B2 (ja) 画像処理装置および画像圧縮前処理方法
JP3734082B2 (ja) 画像処理装置及び画像処理装置の画像データの格納方法
JP4042542B2 (ja) 画像読取符号化装置
JP3972871B2 (ja) カラー画像通信装置及びカラー画像通信方法
JPH07111596A (ja) 静止画像の通信装置
JP3448969B2 (ja) 画像処理装置
JP2005347909A (ja) 画像通信装置
JP2006180222A (ja) 画像処理装置
JP3702869B2 (ja) ファクシミリ装置
JP3991922B2 (ja) 画像処理装置
JP3770393B2 (ja) 画像読取記録装置
JP3879900B2 (ja) ファクシミリ装置
JPH0787332A (ja) 非可逆符号化デ―タの通信装置
JPH05122535A (ja) 画像処理装置
JP2005130142A (ja) 画像処理装置
JP2005130377A (ja) 画像送信方法及び画像送信装置
JP2005323133A (ja) 通信端末装置
JP2002232725A (ja) カラーファクシミリ装置
JP2004247982A (ja) 通信端末装置

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20060707

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20060725

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060919

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20070313

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070405

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20070517

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20070605

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20070618

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100706

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100706

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110706

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140706

Year of fee payment: 7

LAPS Cancellation because of no payment of annual fees