JP4999625B2 - 色処理装置およびその方法 - Google Patents

色処理装置およびその方法 Download PDF

Info

Publication number
JP4999625B2
JP4999625B2 JP2007256003A JP2007256003A JP4999625B2 JP 4999625 B2 JP4999625 B2 JP 4999625B2 JP 2007256003 A JP2007256003 A JP 2007256003A JP 2007256003 A JP2007256003 A JP 2007256003A JP 4999625 B2 JP4999625 B2 JP 4999625B2
Authority
JP
Japan
Prior art keywords
color
image data
correction
output
region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2007256003A
Other languages
English (en)
Other versions
JP2009089007A5 (ja
JP2009089007A (ja
Inventor
佳士 町田
浩光 西川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2007256003A priority Critical patent/JP4999625B2/ja
Publication of JP2009089007A publication Critical patent/JP2009089007A/ja
Publication of JP2009089007A5 publication Critical patent/JP2009089007A5/ja
Application granted granted Critical
Publication of JP4999625B2 publication Critical patent/JP4999625B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Processing (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Color Image Communication Systems (AREA)

Description

本発明は、画像を出力する際の色処理に関する。
同じ画像を異なる画像形成装置によって出力する場合、それら出力画像の見た目の印象を近付けるための色変換や色補正に関する画像処理技術が存在する。色変換や色補正は、画素値(例えばRGB値)をトナーやインクなどの色材量を表す、画像形成装置のデバイス値(例えばCMYK値)に変換するルックアップテーブル(LUT)を使用することが多い。このLUTはプリンタプロファイルと呼ばれる。
プリンタプロファイルは、画像形成装置が出力するカラーチャートのカラーパッチを測定した測色値を基に作成する。画像形成装置の用途に応じて、複数のプリンタプロファイルを作成する。そのため、効率よく、かつ、精度よくプリンタプロファイルを作成することが可能なカラーチャートの使用が望まれる。高効率かつ高精度のカラーチャートの構成方法として、例えば特許文献1は、カラーチャートの測定値、履歴情報および複数の特徴量間の距離を用いる方法を開示する。また、特許文献2は、プリンタの用途に応じて、カラーチャートのカラーパッチの色構成を選択する方法を開示する。
しかし、上記の技術は、出力対象の画像とは無関係にカラーチャートのカラーパッチの配置や構成を決定するため、下記の問題がある。
第一に、出力対象画像の色分布に応じてカラーパッチを配置するわけではない。その結果、一つの画像中の異なる箇所に同じ色がある場合、印刷箇所によって色が異なる現象(色むら)を補正することができない。
第二に、出力対象画像の色構成に応じてカラーパッチを構成するわけではない。その結果、出力対象の画像に対する色変換精度の高いプリンタプロファイルの作成は困難である。
特開2004-135312公報 特開2006-020252公報
本発明は、出力対象の画像に応じた色処理を行うことを目的とする。
本発明は、前記の目的を達成する一手段として、以下の構成を備える。
本発明にかかる色処理は、出力対象の画像データに基づきカラーチャートの画像データを生成し、前記生成した画像データをプリンタに出力し、前記プリンタが印刷したカラーチャートの測色データを取得し、前記取得した測色データに基づき、前記出力対象の画像データの色補正を行い、前記生成は、前記出力対象の画像データが表す画像を領域分割し、領域ごとに代表色を決定し、前記領域と前記代表色に応じたカラーチャートを生成し、前記補正は、前記領域に対応する測色データに基づき、前記領域ごとに前記色補正を行うことを特徴とする。
本発明によれば、出力対象の画像に応じた色処理を行うことができる。
以下、本発明にかかる実施例の色処理を図面を参照して詳細に説明する。
[システムの構成]
図1は実施例の色処理を行う画像処理システムの構成例を示すブロック図である。
色処理装置101は、カラーチャートの生成、および、色むらの補正を含む色補正を行う。
クライアントマシン(以下、PC)104は、パーソナルコンピュータのようなコンピュータ機器である。PC104上で稼働するプリンタドライバ105は、プリンタ102に出力すべき画像データを、プリンタ用のプリンタプロファイルに基づき、プリンタ102が解釈可能な形式の画像データ(印刷データ)に変換する。また、PC104は、測定器103を制御して、カラーチャートを測色し、測色結果を色処理装置101に送信する。
なお、各構成間の通信には、USBやIEEE1394などのシリアルバス、または、ネットワークを利用する。
[画像処理]
図2は画像処理システムの処理例を示すフローチャートである。
PC104は、印刷対象の画像データ(入力画像データ)を色処理装置101へ送信する(S101)。なお、入力画像データは、ディジタルカメラやスキャナなど画像入力デバイスから入力された画像データ、図示しないサーバから取得した画像データ、PC104上で稼働するソフトウェアによって作成された画像データなどである。
入力画像データを受信した色処理装置101は、入力画像データに基づきカラーチャートを生成する(S111)。なお、入力画像データにモザイク化処理を施してカラーチャートを生成するなどが考えられるが、色処理装置101による処理の詳細は後述する。そして、生成したカラーチャートのチャートデータをPC104に送信する(S112)。
PC104は、受信したチャートデータを、プリンタドライバ105によって印刷データに変換し(S102)、印刷データをプリンタ102に送信する(S103)。
印刷データを受信したプリンタ102は、印刷データが表す画像(この場合はカラーチャート)を印刷する(S121)。
次に、PC104は、測定器103を制御してカラーチャートの測色データを取得し(S104)、測色データを色処理装置101へ送信する(S105)。
測色データを受信した色処理装置101は、測色データに基づき入力画像データに色むら補正を施し、色むら補正した画像データ(補正画像データ)を生成する(S113)。なお、詳細は後述するが、色処理装置101は、測色データに基づき補正係数を決定して色補正を行う。そして、補正画像データをPC104に送信する(S114)。
PC104は、受信した補正画像データを、プリンタドライバ105によって印刷データに変換し(S106)、印刷データをプリンタ102に送信する(S107)。
印刷データを受信したプリンタ102は、印刷データが表す画像(この場合は色補正された画像)を印刷する(S122)。
上記では、カラーチャートの生成および色補正を色処理装置101で行う例を示したが、カラーチャートの生成および色補正をPC104が実行することも可能である。また、カラーチャートの測色データを色処理装置101に供給して、入力画像データに色補正を施す例を説明したた。しかし、測色データをプリンタ102に供給して、インクジェットプリンタの場合はノズルより吐出するインク量を制御する、使用するノズルを変更するなどを行ってもよい。また、電子写真プリンタの場合はレーザ強度を制御する、感光体上の電位を制御するなどを行ってもよい。
[カラーチャートの生成]
図3は色処理装置101によるチャートデータの生成手順の一例を示すフローチャートである。
色処理装置101は、PC104から入力画像データを受信すると(S201)、入力画像データが表す画像(入力画像)をカラーチャートのパッチ数分の領域に領域分割する(S202)。
図4は入力画像データが表す画像の一例を示す図で、例えば、入力画像データはRGB形式で各色8ビットの階調をもつとする。図5は入力画像の分割例を示す図で、例えば、パッチに対応する5×5個の領域に分割するとする。なお、パッチ数は任意である。
次に、色処理装置101は、各分割領域内の代表色を決定する(S203)。なお、分割領域内で最も出現頻度が高い色を、その領域の代表色にする。図6は分割領域の代表色(RGB値)の一例を示す図である。
分割領域の代表色は、その領域内で最も出現頻度が高い色に限らず、例えば、分割領域内の画素値の平均値を代表色にする、分割領域の中心画素の画素値を代表色にするなど、様々な代表色の決定方法が考えられる。
次に、色処理装置101は、各分割領域の代表値を対応するパッチのRGB値(色値)にしたカラーチャートの生成し(S204)、チャートデータをPC104に送信する(S205)。図7は生成されるカラーチャートの一例を示す図である。
[色補正]
図8は色処理装置101による色補正処理の一例を示すフローチャートである。
色処理装置101は、カラーチャートの理想的な測色値(以下、理想値)を計算する(S301)。なお、所定の三次元LUTと四面体補間を用いて、カラーチャートの各パッチの画素値(RGB値)を理想値(Lab値)に変換する。使用する三次元LUTは、入力値であるRGB値に対するLab値(測色値)の関係を示すテーブルである。図9は理想値(Lab値)の一例を示す図である。
次に、色処理装置101は、PC104から測色データを受信する(S302)。図10は測色データの一例を示す図である。そして、測色データの測色値と理想値の色差を計算して色補正が必要か否かを判定する(S303)。図11は色補正の要否の判定結果の一例を示す図である。色処理装置101は、パッチごとに測色データの測色値と理想値の間の色差ΔEを式(1)によって計算し、ΔE>thのパッチは色補正が必要と判定する。
ΔE = √{(Lm - Li)2 + (am - ai)2 + (bm - bi)2} …(1)
ここで、Lmambmは測色値
Liaibiは理想値
なお、ΔE>th(例えばth=1)の場合に色補正要と判定する例を説明したが、例えば、明度差ΔL=|Lm-Li|を計算して、ΔL≧th'(例えばth'=3)の場合に、色補正要と判定してもよい。
次に、色処理装置101は、入力画像データの補正値を決定する(S304)。なお、色補正不要と判定したパッチに対応する補正値は0である。逆に、色補正要と判定したパッチについては、三次元LUTを用いて、測色値Lmambmに対応するRGB値RmGmBmを算出する。そして、パッチのRGB値(RrGrBr)と測色値のRGB値(RmGmBm)の差分を計算して、差分を補正値RcGcBcにする
ΔE > th の場合
Rc = Rr - Rm
Gc = Gr - Gm
Bc =Br - Bm
ΔE ≦ thの場合
Rc = 0
Gc = 0
Bc = 0 …(2)
なお、RGB値の差分を補正値にする例を説明したが、例えば、入力画素値に応じた係数を差分に乗算した結果を補正値にするなどでもよい。
次に、色処理装置101は、入力画像データの画素値に、領域(パッチ)ごとの補正値RcGcBcを加えて補正画像データを生成し(S305)、補正画像データをPC104に送信する(S306)。ただし、各領域の代表値に一致する画素のみに補正値を加算する。あるいは、式(3)に示すように、代表値と注目画素値の比に応じた補正値を注目画素値に加算してもよい。
Ro = Ri + Rc×Ri/Rr
Go = Gi + Gc×Gi/Gr …(3)
Bo = Bi + Bc×Bi/Br
ここで、RoGoBoは補正画像データの画素値
RiGiBiは入力画像データの画素値
RrGrBrは領域の代表値(パッチのRGB値)
このように、印刷対象の画像に応じたカラーチャートを生成して、当該画像を色補正することができる。従って、色むらを補正するとともに、印刷対象の画像を高精度に色変換することができる。
以下、本発明にかかる実施例2の画像処理を説明する。なお、実施例2において、実施例1と略同様の構成については、同一符号を付して、その詳細説明を省略する。
図12は実施例2の画像処理システムの処理例を示すフローチャートである。以下では、図2に示した実施例1の処理と異なる部分を説明する。
PC104は、測色データと、チャートデータの色変換に使用したプリンタプロファイルを色処理装置101に送信する(S108)。測色データとプリンタプロファイルを受信した色処理装置101は、詳細は後述するが、測色データとプリンタプロファイルに基づき修正プリンタプロファイルを生成し(S115)、修正プリンタプロファイルをPC104に送信する(S116)。
PC104は、受信した修正プリンタプロファイルをプリンタドライバ105へ供給し、入力画像データを印刷データに変換する(S109)。
図13は修正プリンタプロファイルの作成手順の一例を示すフローチャートである。
色処理装置101は、受信したプリンタプロファイルと四面体補間を用いて、チャートデータの画素値(RGB値)に対する色材量を示すデバイス値(CMYK値)を求める(S501)。そして、プリンタプロファイルのBtoAタグと四面体補間を用いて、測色データの測色値(Lab値)に対するデバイス値(CMYK値)を求める(S502)。ただし、カラーチャートに同じ画素値のパッチが存在する場合、当該パッチの測色値を平均化した後、デバイス値を求める。
次に、色処理装置101は、画素値に対応するデバイス値と測色値に対応するデバイス値の差分を計算して、差分を補正値にする(S503)。
Cc = Cr - Cm
Mc = Mr - Mm
Yc = Yr - Ym …(4)
Kc = Kr - Km
ここで、CcMcYcKcは補正値
CrMrYrKrは画素値に対応するデバイス値
CmMmYmKmは測色値に対応するデバイス値
次に、色処理装置101は、補正値に基づき、プリンタプロファイルを補正して修正プリンタプロファイルを生成する(S504)。つまり、プリンタプロファイルの画素値に一致する格子点、または、画素値を囲む格子点(プリンタドライバ105が四面体補間を行う場合は四格子点)に対応するデバイス値に補正値を加算して、修正プリンタプロファイルを生成する。ただし、一つの格子点に対して複数の画素値が存在する場合は、それら画素値に対応する補正値の平均値を当該格子点に対応するデバイス値に加算する。
Cg = Cg + Cc
Mg = Mg + Mc
Yg = Yg + Yc …(5)
Kg = Kg + Kc
ここで、CcMcYcKcは補正値
CgMgYgKgは格子点に対応するデバイス値
なお、実施例2において、プリンタプロファイルの補正範囲は、ほぼ測色データの色域内になる。
[変形例]
上記では、画素値は各色8ビットのRGB値、測色値はCIELab値として説明した。しかし、これらに限られるわけではなく、例えば、画素値はグレイスケール値や16ビット階調値でもよいし、測色値はXYZ値でもよい。
[他の実施例]
なお、本発明は、複数の機器(例えばコンピュータ、インタフェイス機器、リーダ、プリンタなど)から構成されるシステムに適用しても、一つの機器からなる装置(例えば、複写機、ファクシミリ装置、制御装置など)に適用してもよい。
また、本発明の目的は、上記実施例の機能を実現するコンピュータプログラムを記録した記憶媒体をシステムまたは装置に供給し、そのシステムまたは装置のコンピュータ(CPUやMPU)が前記コンピュータプログラムを実行することでも達成される。この場合、記憶媒体から読み出されたソフトウェア自体が上記実施例の機能を実現することになり、そのコンピュータプログラムと、そのコンピュータプログラムを記憶する、コンピュータが読み取り可能な記憶媒体は本発明を構成する。
また、前記コンピュータプログラムの実行により上記機能が実現されるだけではない。つまり、そのコンピュータプログラムの指示により、コンピュータ上で稼働するオペレーティングシステム(OS)および/または第一の、第二の、第三の、…プログラムなどが実際の処理の一部または全部を行い、それによって上記機能が実現される場合も含む。
また、前記コンピュータプログラムがコンピュータに接続された機能拡張カードやユニットなどのデバイスのメモリに書き込まれていてもよい。つまり、そのコンピュータプログラムの指示により、第一の、第二の、第三の、…デバイスのCPUなどが実際の処理の一部または全部を行い、それによって上記機能が実現される場合も含む。
本発明を前記記憶媒体に適用する場合、その記憶媒体には、先に説明したフローチャートに対応または関連するコンピュータプログラムが格納される。
実施例の色処理を行う画像処理システムの構成例を示すブロック図、 画像処理システムの処理例を示すフローチャート、 色処理装置によるチャートデータの生成手順の一例を示すフローチャート、 入力画像データが表す画像の一例を示す図、 入力画像の分割例を示す図、 分割領域の代表色(RGB値)の一例を示す図、 カラーチャートの一例を示す図、 色処理装置による色補正処理の一例を示すフローチャート、 理想値(Lab値)の一例を示す図、 測色データの一例を示す図、 色補正の要否の判定結果の一例を示す図、 実施例2の画像処理システムの処理例を示すフローチャート、 修正プリンタプロファイルの作成手順の一例を示すフローチャートである。

Claims (5)

  1. 出力対象の画像データに基づきカラーチャートの画像データを生成する生成手段と、
    前記生成手段が生成した画像データをプリンタに出力する出力手段と、
    前記プリンタが印刷したカラーチャートの測色データを取得する取得手段と、
    前記取得手段が取得した測色データに基づき、前記出力対象の画像データの色補正を行う補正手段とを有し、
    前記生成手段は、前記出力対象の画像データが表す画像を領域分割し、領域ごとに代表色を決定し、前記領域と前記代表色に応じたカラーチャートを生成し、
    前記補正手段は、前記領域に対応する測色データに基づき、前記領域ごとに前記色補正を行うことを特徴とする色処理装置。
  2. 出力対象の画像データに基づきカラーチャートの画像データを生成する生成手段と、
    前記生成手段が生成した画像データをプリンタに出力する出力手段と、
    前記プリンタが印刷したカラーチャートの測色データを取得する取得手段と、
    前記取得手段が取得した測色データに基づき、前記出力対象の画像データの色補正を行う補正手段とを有し、
    前記生成手段は、前記カラーチャートのパッチ数に応じて前記出力対象の画像データが表す画像を領域分割し、領域ごとに代表色を決定し、前記領域と前記代表色に応じたカラーチャートを生成し、
    前記補正手段は、前記領域に対応する測色データに基づき、前記領域ごとに前記色補正を行うことを特徴とする色処理装置。
  3. 生成手段、出力手段、取得手段、補正手段を有する色処理装置の色処理方法であって、
    前記生成手段が、出力対象の画像データに基づきカラーチャートの画像データを生成し、
    前記生成手段が生成したカラーチャートの画像データを、前記出力手段がプリンタに出力し、
    前記プリンタが印刷したカラーチャートの測色データを、前記取得手段が取得し、
    前記取得手段が取得した測色データに基づき、前記補正手段が前記出力対象の画像データの色補正を行い、
    前記生成手段は、前記出力対象の画像データが表す画像を領域分割し、領域ごとに代表色を決定し、前記領域と前記代表色に応じたカラーチャートを生成し、
    前記補正手段は、前記領域に対応する測色データに基づき、前記領域ごとに前記色補正を行うことを特徴とする色処理方法。
  4. 生成手段、出力手段、取得手段、補正手段を有する色処理装置の色処理方法であって、
    前記生成手段が、出力対象の画像データに基づきカラーチャートの画像データを生成し、
    前記生成手段が生成した画像データを、前記出力手段がプリンタに出力し、
    前記プリンタが印刷したカラーチャートの測色データを、前記取得手段が取得し、
    前記取得手段が取得した測色データに基づき、前記補正手段が、前記出力対象の画像データの色補正を行い、
    前記生成手段は、前記出力対象の画像データが表す画像を領域分割し、領域ごとに代表色を決定し、前記領域と前記代表色に応じたカラーチャートを生成し、前記カラーチャートのパッチ数に応じて前記出力対象の画像データが表す画像を領域分割し、
    前記補正手段は、前記領域に対応する測色データに基づき、前記領域ごとに前記色補正を行うことを特徴とする色処理方法。
  5. コンピュータを請求項1または請求項2に記載された色処理装置の各手段として機能させるためのプログラム。
JP2007256003A 2007-09-28 2007-09-28 色処理装置およびその方法 Expired - Fee Related JP4999625B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2007256003A JP4999625B2 (ja) 2007-09-28 2007-09-28 色処理装置およびその方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007256003A JP4999625B2 (ja) 2007-09-28 2007-09-28 色処理装置およびその方法

Publications (3)

Publication Number Publication Date
JP2009089007A JP2009089007A (ja) 2009-04-23
JP2009089007A5 JP2009089007A5 (ja) 2010-11-11
JP4999625B2 true JP4999625B2 (ja) 2012-08-15

Family

ID=40661825

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007256003A Expired - Fee Related JP4999625B2 (ja) 2007-09-28 2007-09-28 色処理装置およびその方法

Country Status (1)

Country Link
JP (1) JP4999625B2 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6350055B2 (ja) * 2014-07-15 2018-07-04 富士ゼロックス株式会社 色差評価装置、画像形成装置及びプログラム
JP6834470B2 (ja) 2016-12-27 2021-02-24 富士ゼロックス株式会社 色処理装置、画像形成装置および画像形成システム

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000341499A (ja) * 1999-05-31 2000-12-08 Olympus Optical Co Ltd 色再現装置
JP2001320592A (ja) * 2000-05-08 2001-11-16 Fujitsu Ltd プリンタプロファイル作成装置とプリンタプロファイル作成方法
JP2006093987A (ja) * 2004-09-22 2006-04-06 Fuji Xerox Co Ltd カラーパッチ提供方法、色補正用データ提供方法、電子画像データ提供方法及び画像形成方法並びにこれらのシステム
JP2006129322A (ja) * 2004-11-01 2006-05-18 Dainippon Printing Co Ltd プルーフ生成装置およびプルーフ生成プログラム

Also Published As

Publication number Publication date
JP2009089007A (ja) 2009-04-23

Similar Documents

Publication Publication Date Title
US8072658B2 (en) Image processing apparatus and its method
JP5310298B2 (ja) 画像処理装置、画像形成システム、およびプログラム
US20140355017A1 (en) Color adjusting system, color adjusting method, and non-transitory computer readable recording medium stored with color adjusting program
JP6665657B2 (ja) 画像形成装置及び色変換制御プログラム並びに色変換制御方法
US9277076B2 (en) Image processing apparatus and method for performing calibration for printing
JP5578147B2 (ja) 印刷システム、印刷方法、および印刷プログラム
JP6292206B2 (ja) プロファイル生成装置及びプロファイル生成プログラム並びにカラーマッチング方法
US9019561B1 (en) Profiling data spacing for different halftone states using a single tone reproduction curve
EP2611136B1 (en) Color conversion table creating device, color conversion table creating method, and storage medium
US9332158B2 (en) Color processing apparatus, image forming apparatus, and non-transitory computer readable recording medium performing color conversion, adjustment and matching process between input color data and reproducible color data of image output device
JP4999625B2 (ja) 色処理装置およびその方法
JP6797805B2 (ja) 色合わせプリンタ
US11831845B2 (en) Image processing apparatus, information processing system, image processing method, and non-transitory computer-executable medium
US10521706B2 (en) Color verification apparatus, color verification system, and computer-readable storage medium storing a program
US8368979B2 (en) Image forming apparatus and computer readable medium for forming image
JP2008312119A (ja) カラーパッチに関する測色値の推定方法、該方法を利用したデバイス・プロファイルの作成方法および画像処理装置
JP6572568B2 (ja) 画像形成システム
JP3910323B2 (ja) プロファイル作成方法およびプロファイル作成装置
JP2005210225A (ja) 画像処理装置及び画像処理方法
JP2010114750A (ja) 画像処理システム
JP2024016587A (ja) 印刷システム、印刷方法、およびプログラム
JP2011124859A (ja) 画像処理装置及び画像処理方法
JP2009051053A (ja) キャリブレーションターゲット設定方法
JP2005022254A (ja) 画像形成装置
JP2015177380A (ja) プロファイル生成装置、プロファイル生成方法、プログラムおよび画像処理装置

Legal Events

Date Code Title Description
A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100927

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20100927

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20111024

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20111028

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20111214

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120416

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120515

R151 Written notification of patent or utility model registration

Ref document number: 4999625

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150525

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees