JP4757081B2 - 画像処理方法及び装置 - Google Patents

画像処理方法及び装置 Download PDF

Info

Publication number
JP4757081B2
JP4757081B2 JP2006105435A JP2006105435A JP4757081B2 JP 4757081 B2 JP4757081 B2 JP 4757081B2 JP 2006105435 A JP2006105435 A JP 2006105435A JP 2006105435 A JP2006105435 A JP 2006105435A JP 4757081 B2 JP4757081 B2 JP 4757081B2
Authority
JP
Japan
Prior art keywords
color
independent
color space
image
profile
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2006105435A
Other languages
English (en)
Other versions
JP2007281884A5 (ja
JP2007281884A (ja
Inventor
智宏 松井
歩 阿部
佑介 斉藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2006105435A priority Critical patent/JP4757081B2/ja
Publication of JP2007281884A publication Critical patent/JP2007281884A/ja
Publication of JP2007281884A5 publication Critical patent/JP2007281884A5/ja
Application granted granted Critical
Publication of JP4757081B2 publication Critical patent/JP4757081B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Color Image Communication Systems (AREA)
  • Color, Gradation (AREA)
  • Image Processing (AREA)
  • Facsimile Image Signal Circuits (AREA)

Description

本発明は画像処理方法及び装置に関し、例えば、プリンタの色再現処理に特徴を有する画像処理方法及び装置に関する。
プルーフ(試し刷り、校正刷り)を目的として、ターゲットである印刷機の出力特性に合わせて色変換された画像を、複写機やプリンタでプリントする場合がある。このようなプルーフを行うには、例えば、特許文献1(第1から第3実施形態)に記載された方法によって、まず、プルーフに用いられる出力デバイスにサンプル画像データを供給し印刷させる。次いで、得られたサンプル画像の各カラーパッチの測色値からプロファイルを作成する必要がある。そして、作成したプロファイルを使用して色変換を施した画像を出力デバイスでプリントすることになる。なお、プロファイルはデバイスの特性を記述するものであり、デバイス依存のデータとデバイス非依存のデータ(PCSデータ)の関係を記述するものである。以下ではICC(International Color Consortium)で決められたフォーマットに準拠したICCプロファイルを用いて説明する。ICCプロファイルには、デバイス依存のデータをPCSデータに変換するためのデータであるA2B、PCSデータをデバイス依存のデータに変換するためのデータであるB2A、デバイスの色再現範囲情報(gamuttag)などが含まれる。
ユーザが上述のようなプロファイルの調整を行う際には、調整したい色情報を指定する必要がある。特許文献1で言及されている画像処理方法に於いては、サンプル画像と並列にチャート画像を表示する事で、ユーザが調整したい色情報を指定しやすくする工夫がなされていた。
図1は、特許文献1における、上述のようなプロファイルの調整のための色変換モジュールの構成を示す。各モジュールは、例えば、後述する図9に示すようなコンピュータシステムが所定のプログラムを実行することによって実現される。図1に示すように、測色計(分光光度計)1001および測色モジュール1002によって、出力デバイスにより印刷されたサンプル画像(例えば標準的なIT8や4320CMYK画像)の各カラーパッチを測色する。測色結果は、オンラインまたはオフラインでプロファイル生成モジュール1003に供給され、ICCの定義に従う次のようなプロファイルが作成される。すなわち、出力デバイスプロファイルであるプロファイル1101D(Lab→CMYK変換LUT: BtoA0)およびプロファイル1101S(デバイス値→Lab変換LUT: AtoB0)が作成される。
プレビューモジュール1005は、次の情報をカラーマネージメントモジュール(CMM)1008に供給(または指示)して、画像1006及びコントロールチャート1007(オリジナル画像データ)に色変換を施させる。この結果、プレビュー画像が得られる。前記のCMM1008に供給(または指示)する情報は、次の通りである。まず、プルーフ対象の画像1006、コントロールチャート1007である。さらに、ターゲットデバイスに対応するプロファイル(ターゲットデバイス値→Lab変換LUT)1102である。さらに、出力デバイスのプロファイル1101Dおよび1101S、並びに、モニタプロファイル1103である。そして、プレビューモジュール1005によって、オリジナル画像と色変換後のプレビュー画像の少なくとも一方とが、モニタ画面上に表示される。
プロファイル調整モジュール1009は、プロファイル作成モジュール1003において作成された出力デバイスプロファイル1101Dおよび1101Sを、ユーザの指示に基づいて調整する。その際、ユーザは、モニタ画面上に表示されたオリジナル画像およびプレビュー画像を参照することができ、例えばプレビュー画像上の任意の1点を選択しその画素が有する色情報を取得する方法で調整を行うことができる。
特開2003-087591号公報
しかしながら、従来のように画面に表示された画像またはチャート上の任意の1点を選択し、その画素が有する色情報を取得する方法で調整を行う場合、取得される色情報は実際にルックアップテーブル上に定義されている値と異なる色情報である場合が多い。そのため、編集後にルックアップテーブルを更新しても、更新時の補間計算の影響で、ユーザが意図する色情報に変換されない場合があった。
そこで、本発明は上記問題を解決するためになされたものであり、編集後の補間計算による影響を受けずに、高精度な色変換を可能にする色情報を得ることが可能な画像処理方法及び装置を提供することを目的とする。
上記目的を達成するため、本発明は、出力デバイスから出力されたカラーパッチを測色した値に基づく、前記出力デバイスに非依存な色空間の信号を前記出力デバイスに依存する色空間の信号に変換するための第1のプロファイルを用いた画像処理方法であって、プルーフ対象の第1のオリジナル画像信号を減色した色情報を、ターゲットデバイスに依存する色空間の信号を当該ターゲットデバイスに非依存な色空間の信号に変換するためのターゲットデバイスプロファイルを用いて変換するステップと、前記第1のプロファイルにおける前記出力デバイスに非依存な色空間の信号の複数の値から、前記変換するステップによる変換で得られた信号それぞれに対し前記デバイスに非依存の色空間において取り囲むデバイス非依存値群を抽出するステップと、前記変換するステップで得られた信号それぞれに対し前記抽出するステップによる処理をした結果に従い、決まる値群をカラーチャート画像として生成するステップとを備えることを特徴とする。


本発明によれば、編集後の補間計算による影響を受けずに、高精度な色変換を可能にする色情報を得ることが可能な画像処理方法及び装置を提供することができる。
以下、本発明に係る実施例について説明する。
図9は本発明を適用した画像処理装置としてのコンピュータシステムのブロック図である。同図において、300はコンピュータシステムである。301は、ユーザーが各種指示等を入力するためのマウス及びキーボードからなる入力手段302とコンピュータシステム300とをつなぐインターフェース(I/F)である。後述するモニタとしてのディスプレイ303上に表示されるユーザインターフェース画面は、入力手段302に連動している。各プログラム実行中に、ユーザーが指示等を入力する際には、同プログラムによってディスプレイ303上に表示されるユーザインターフェース画面を参照しながら入力手段302を操作することによって、必要な情報が入力される。
304は、内部の各ブロックの動作を制御、或いは内部に記憶されたプログラムを実行することのできるCPUである。305は、あらかじめ必要な画像処理プログラム等を記憶しておくROMである。
306はCPUの作業領域を提供するRAMであって、例えば、CPUにて処理を行うために一時的にプログラムや処理対象の画像データなどを格納する。
307は処理対象の画像を表示したり、ユーザインターフェースを表示するモニタ(ディスプレイ)303の制御を行うディスプレイ制御装置である。
308は、コンピュータシステム300とCMYKプリンタ106をつなぐインターフェース(I/F)である。
309は、ハードディスク(HD)ドライブであって、各種のデータを、あらかじめ格納したり、処理後に保存したり、読み出したりする。各種のデータとしては、RAM306等に転送されるプログラムや画像データや、後述する各プロファイルがある。更に、画像編集用のプログラム、プロファイル作成プログラム、プリンタ情報、図2に示す各モジュール機能をCPU304が処理を実行することによって実現するためのプログラム等がある。
311はモデムやネットワークカード等の伝送機器であって、コンピュータシステムの各所に保持する様々なデータを外部機器へ伝送したり、外部機器からの様々なデータ(プロファイル、画像データなど)を受信したりする。
310は、伝送機器311とコンピュータシステムとをつなぐインターフェース(I/F)である。
312は、外部記憶媒体の一つであるCD(CD−R/CD−RW/DVD)に記憶されたデータを読み込み、或いは書き出すことのできるCDドライブである。
313は、310と同様にFDからの読み込み、FDへの書き出しができるFDドライブである。尚、CD,FD,DVD等に画像編集用のプログラム、プロファイル作成プログラム、プリンタ情報、図2に示す各モジュール機能実現のためのプログラム等が記憶されている場合がある。この場合には、これらのプログラムをHD309上にインストールし、必要に応じてRAM306に転送されるようになっている。
図9に示した構成上で、実施例を実行するための動作手順は、後述する図4のフローチャートに示されている。このフローチャートに示す手順を記述したコンピュータ実行可能なプログラムは、例えば、あらかじめROM305に格納しておく。または例えば、あらかじめ外部記憶装置としてのHDドライブ309に格納しておく。そして、このプログラムは、RAM306上に読み込んだのちに、CPU304により該プログラムを実行することにより実施例が実行される。
本実施例は、図1に示す構成における、プルーフに用いる出力デバイスのプロファイルについて、その処理結果を確認する際に実行するプレビュー表示を、さらに改良したことに特徴を有する。即ち、ユーザが指定する第1の画像の色情報から第2の画像を生成し、第1、第2の画像をプレビュー表示に併用するようにしたことを特徴とする。
[色変換モジュールの構成]
図2は、本実施例における、プロファイルを用いて色変換を行う構成を示す。
本実施例では、第2の画像であるチャート画像1007を、第1の画像1006の画素情報に近傍テーブル値抽出部A001による処理を行う事で作成する事を特徴としている。
図2のチャート作成部2000以外の構成要素については、特許文献1において説明されているとおりである。
[近傍テーブル値抽出部の構成]
図3は、図2のチャート作成部2000の構成を示すブロック図である。
チャート作成部2000は、近傍グリッド値抽出部A001を有し、この近傍グリッド値抽出部A001によって、プルーフ対象の画像データ1006からチャート画像データ1007を作成する。即ち、近傍グリッド値抽出部A001は、画像データ1006を、ターゲットデバイスプロファイル1102と出力デバイスプロファイル1101のテーブル情報1102a、1101aを用いて処理して、チャート画像データ1007を作成する。作成したチャート画像データ1007は、プレビューモジュール1005によってモニタ画面に表示させる。
[近傍テーブル値抽出部の処理]
図4は図3の近傍テーブル値抽出部A001における、処理の流れを示すフロー図である。
図4の処理フローにおける、各ステップについて以下に説明する。
ステップS01:
プルーフ対象の画像データ1006(デバイス依存色)を処理するに際して、モニタ画面上のユーザインターフェースを操作することによって、同画像データ1006に関して範囲指定等の前処理を行う。例えば、画像データの中から処理対象となる画素範囲を指定することで、処理対象となる画素の数を減らし、近傍テーブル抽出処理の効率化が図られる。
また、例えば、画像1006を減色処理して色数を減らす事で、画像全体における、近傍テーブル抽出処理の効率化が図られる。
したがって、本ステップS01における処理を工夫する事で様々な効果を得る事ができる。
ステップS01
ステップS01でプルーフ対象の画像1006における前処理が行われた画素の色情報をメモリに取り込む。
ステップS02
ステップS01で取得した色情報(デバイス依存色)をターゲットデバイスプロファイル1102の色変換テーブル1102aを用いて、第1のデバイス非依存色に変換する。第1のデバイス非依存色について、出力デバイスプロファイル1101のデバイス非依存色からデバイス依存色へ変換するテーブル1101aにおいて、当該第1のデバイス非依存色を取り囲むように隣接する第2のデバイス非依存色の値を抽出する。
図5は第2のデバイス非依存色の値、Lab1、Lab2、Lab3、Lab4の抽出態様を示す概念図である。入力Labは、ステップS01で取得した色情報をターゲットデバイスプロファイル1102の色変換テーブル1102aを用いて得られた第1のデバイス非依存色である。出力デバイスプロファイル1101のテーブル1101aにおいて、入力Labを取り囲むように隣接する第2のデバイス非依存色の値、Lab1、Lab2、Lab3、Lab4を抽出する。
ステップS03
ステップS02で得られた第1デバイス非依存色と、第2のデバイス非依存色との間の距離を求め、その距離に応じて第2のデバイス非依存色に点数を付加する。
図5によると、第1のデバイス非依存色である入力Labに対して、隣接する第2のデバイス非依存色Lab1、Lab2、Lab3、Lab4 との間の距離、d1、d2、d3、d4 を求める。そして、距離の短い順で、Lab1、Lab2、Lab3、Lab4に点数を付加する。
図6は入力Labに隣接する第2のデバイス非依存色Lab1、Lab2、Lab3、Lab4について、入力Labとの距離から点数が付加された例を示す表である。ここでは、Lab2<Lab1<Lab4<Lab3とする。
ステップS04
ここまでのステップS01からステップS03で処理した画素が、プレビュー画像1006の全画素中、もしくはユーザが指定した任意の範囲の画素中、における最終画素であるかどうかの判定をする。最終画素である場合、ステップS05へ処理を移す。最終画素でない場合、ステップS08を経て、次の画素についてステップS01からステップS03の処理を継続する。
ステップS05
出力デバイスプロファイル1101のデバイス非依存色からデバイス依存色へ変換するテーブル1101aにおいて、図7の例のように、蓄積された点数値を得る事ができる。
ステップS06
近傍テーブル値抽出部A001の処理を終え、チャート画像1007を作成するステップS07に移行するに際して、ユーザインターフェースからの指示によって、得られている情報を元に、テーブル情報を並び替えるなどの処理を行う。
例えば、ステップS05で確認した蓄積点数値をキーにテーブルを降順に並び替える指示を行うことができる。これによって、プレビュー画像1006の全画素もしくは任意の範囲の画素における、出力デバイスプロファイル1101のテーブル1101aを使用頻度の高い順に並べ替える。このため、プレビュー画像1006に対して影響度の高いテーブルを知る事ができる。
したがって、本ステップS06における処理を工夫する事で様々な効果を得る事ができる。
[ステップS06における用例]
例えば、ステップS06で確認した蓄積点数値がゼロであるテーブルについては、プレビュー画像1006の全画素もしくは任意の範囲の画素で使われる事のないテーブルであることを知る事ができる。また、蓄積点数順、即ち、使用頻度順に昇順または降順に並べ替えることもできる。
また例えば、出力デバイスプロファイル1101のテーブル1101aにおいて、入力側のテーブル1101a1の情報から、明度情報、色相情報、彩度情報を得る事ができ、それぞれの情報をキーとして並び替えることができる。
プレビュー画像1006の表示に際しては、明度、色相、彩度および使用頻度のいずれかに応じて昇降順に表示するか、またはこれらの並列表示もできる。
図8はステップS06における処理を選択するためのユーザインタフェースの一例である。
ステップS07
ステップS06にて並び替えや不要情報の削除等の処理が行われたテーブル情報のデバイス依存色情報1101a2を用いて、モニタ画面上に表示されるチャート画像1007を作成する。使用するサンプル画像1006から新たに作成したチャート画像1007は、当該サンプル画像1006とモニタ画面上に並列表示可能であり、当該サンプル画像1006と併用する事ができる。このように、サンプル画像1006が使用している色情報に基づいて、関連するルックアップテーブル上の色情報を抽出し、抽出された色情報をカラーチャート画像として表示することができる。これによって、ユーザは、ルックアップテーブル上の色情報を直接選択することができるようになるので、ユーザの意図する色調整をルックアップテーブルにダイレクトに反映させることができる。
チャート画像1107はメモリ上で数値データとして生成される。データは数値データとして、または、ビットマップやTIFF、JPEGなどの画像フォーマットとして、ファイル出力する事ができる。
従来の色変換モジュールの構成例を示すブロック図である。 チャート作成部構成を有する、本発明による色変換モジュールの構成例を示すブロック図である。 チャート作成部の構成を示すブロック図である。 プレビュー画像の画素情報から近傍テーブル値を抽出する処理の流れを示すフロー図である。 サンプル点の選択を説明する図である。 サンプル点に隣接するテーブルに点数が付加されることを説明する表を示す図である。 テーブルに点数が蓄積されることを説明する表を示す図である。 サンプル点の数を変化させる関数を説明する図である。 本発明を適用した画像処理装置としてのコンピュータシステムのブロック図である。

Claims (5)

  1. 出力デバイスから出力されたカラーパッチを測色した値に基づく、前記出力デバイスに非依存な色空間の信号を前記出力デバイスに依存する色空間の信号に変換するための第1のプロファイルを用いた画像処理方法であって、
    プルーフ対象の第1のオリジナル画像信号を減色した色情報を、ターゲットデバイスに依存する色空間の信号を当該ターゲットデバイスに非依存な色空間の信号に変換するためのターゲットデバイスプロファイルを用いて変換するステップと、
    前記第1のプロファイルにおける前記出力デバイスに非依存な色空間の信号の複数の値から、前記変換するステップによる変換で得られた信号それぞれに対し前記デバイスに非依存の色空間において取り囲むデバイス非依存値群を抽出するステップと、
    前記変換するステップで得られた信号それぞれに対し前記抽出するステップによる処理をした結果に従い、決まる値群をカラーチャート画像として生成するステップと
    を備えることを特徴とする画像処理方法。
  2. 前記抽出時に、前記変換するステップによる変換で得られた信号に対する前記デバイスに非依存の色空間における距離に基づき点数を蓄積した蓄積点に従い、前記値群を決め、前記カラーチャート画像として生成することを特徴とする請求項1に記載の画像処理方法。
  3. 出力デバイスから出力されたカラーパッチを測色した値に基づく、前記出力デバイスに非依存な色空間の信号を前記出力デバイスに依存する色空間の信号に変換するための第1のプロファイルを用いた画像処理装置であって、
    プルーフ対象の第1のオリジナル画像信号を減色した色情報を、ターゲットデバイスに依存する色空間の信号を当該ターゲットデバイスに非依存な色空間の信号に変換するためのターゲットデバイスプロファイルを用いて変換する手段と、
    前記第1のプロファイルにおける前記出力デバイスに非依存な色空間の信号の複数の値から、前記変換する手段による変換で得られた信号それぞれに対し前記デバイスに非依存の色空間において取り囲むデバイス非依存値群を抽出する手段と、
    前記変換する手段で得られた信号それぞれに対し前記抽出する手段による処理をした結果に従い、決まる値群をカラーチャート画像として生成する手段と
    を備えることを特徴とする画像処理装置。
  4. 前記抽出時に、前記変換する手段による変換で得られた信号に対する前記デバイスに非依存の色空間における距離に基づき点数を蓄積した蓄積点に従い、前記値群を決め、前記カラーチャート画像として生成することを特徴とする請求項3に記載の画像処理装置。
  5. 請求項1に記載の画像処理方法の各ステップをコンピュータに実行させることを特徴とするプログラム。
JP2006105435A 2006-04-06 2006-04-06 画像処理方法及び装置 Expired - Fee Related JP4757081B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2006105435A JP4757081B2 (ja) 2006-04-06 2006-04-06 画像処理方法及び装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006105435A JP4757081B2 (ja) 2006-04-06 2006-04-06 画像処理方法及び装置

Publications (3)

Publication Number Publication Date
JP2007281884A JP2007281884A (ja) 2007-10-25
JP2007281884A5 JP2007281884A5 (ja) 2010-07-22
JP4757081B2 true JP4757081B2 (ja) 2011-08-24

Family

ID=38682882

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006105435A Expired - Fee Related JP4757081B2 (ja) 2006-04-06 2006-04-06 画像処理方法及び装置

Country Status (1)

Country Link
JP (1) JP4757081B2 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5023036B2 (ja) * 2008-10-21 2012-09-12 大日本スクリーン製造株式会社 プロファイル生成装置、プロファイル生成プログラム、プロファイル生成方法、画像処理装置、画像処理プログラム、および画像処理方法
JP5531836B2 (ja) * 2009-11-10 2014-06-25 株式会社リコー 画像処理装置及びプログラム

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10300581A (ja) * 1997-04-24 1998-11-13 Toppan Printing Co Ltd 印刷物の色調管理装置とその装置を用いた色調管理方法
JP3731629B2 (ja) * 1998-03-11 2006-01-05 富士ゼロックス株式会社 画像処理装置、画像送信装置、画像処理方法、画像送信方法
JP3990859B2 (ja) * 2000-09-12 2007-10-17 キヤノン株式会社 色処理方法およびその装置
JP3720691B2 (ja) * 2000-09-12 2005-11-30 キヤノン株式会社 色処理方法および装置
JP2002094819A (ja) * 2000-09-12 2002-03-29 Canon Inc 画像処理装置およびその方法
JP3890211B2 (ja) * 2001-09-14 2007-03-07 キヤノン株式会社 画像処理方法、画像処理装置、プログラム、記憶媒体
JP2003224734A (ja) * 2002-01-29 2003-08-08 Canon Inc 画像表示装置、画像処理方法、記録媒体及びプログラム

Also Published As

Publication number Publication date
JP2007281884A (ja) 2007-10-25

Similar Documents

Publication Publication Date Title
JP4623137B2 (ja) 色処理装置、方法及びプログラム
JP3890211B2 (ja) 画像処理方法、画像処理装置、プログラム、記憶媒体
JP5968084B2 (ja) 画像処理装置及び画像処理方法並びにプログラム
JP5578157B2 (ja) 画像処理装置
JP2005175806A (ja) 画像処理装置および方法
JP2007020181A (ja) プリプレス時色整合及び補正のための方法
US8848243B2 (en) Image processing apparatus, controlling method of image processing apparatus, and storage medium
JP5539035B2 (ja) プロファイル調整装置、プロファイル調整方法およびプログラム
JP6414519B2 (ja) 画像形成装置およびプログラム
JP2006197457A (ja) カラーチャート作成方法、カラーチャート作成装置、およびカラーチャート作成プログラム、ならびに色変換定義修正方法
JP3990859B2 (ja) 色処理方法およびその装置
JP5230118B2 (ja) 階調性評価装置および階調性評価方法
JP4757081B2 (ja) 画像処理方法及び装置
JP2014212444A (ja) 印刷設定装置、及び印刷設定装置の制御プログラム
JP5023036B2 (ja) プロファイル生成装置、プロファイル生成プログラム、プロファイル生成方法、画像処理装置、画像処理プログラム、および画像処理方法
JP2003125224A (ja) プロファイルの調整装置およびその方法
JP2014134401A (ja) 画像検査システム、画像検査方法、画像検査プログラム、及び記録媒体
JP4873696B2 (ja) プリンタ間のマッチング精度を確認するための情報処理装置、方法及びプログラム
JP4208872B2 (ja) 変換データ調整方法、装置およびプログラム
JP4979819B2 (ja) 色処理装置およびその方法
JP2007143077A (ja) デバイス・プロファイルの更新方法および装置
JP5074901B2 (ja) 色処理方法および画像形成装置
JP2010021731A (ja) 画像処理装置、画像処理方法
JP4974030B2 (ja) 画像処理装置および画像処理方法
JP2007150757A (ja) 画像処理装置、画像処理装置の制御方法、コンピュータプログラム及び記憶媒体

Legal Events

Date Code Title Description
A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090406

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20090406

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100603

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20101106

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20110216

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110304

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110426

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110527

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110531

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140610

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees