JPH10294877A - 色変換方法 - Google Patents

色変換方法

Info

Publication number
JPH10294877A
JPH10294877A JP9101880A JP10188097A JPH10294877A JP H10294877 A JPH10294877 A JP H10294877A JP 9101880 A JP9101880 A JP 9101880A JP 10188097 A JP10188097 A JP 10188097A JP H10294877 A JPH10294877 A JP H10294877A
Authority
JP
Japan
Prior art keywords
color
compression
image
data
compressed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP9101880A
Other languages
English (en)
Other versions
JP4250214B2 (ja
Inventor
Fumito Takemoto
本 文 人 竹
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Holdings Corp
Original Assignee
Fuji Photo Film Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuji Photo Film Co Ltd filed Critical Fuji Photo Film Co Ltd
Priority to JP10188097A priority Critical patent/JP4250214B2/ja
Priority to US09/062,557 priority patent/US6151136A/en
Publication of JPH10294877A publication Critical patent/JPH10294877A/ja
Application granted granted Critical
Publication of JP4250214B2 publication Critical patent/JP4250214B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46Colour picture communication systems
    • H04N1/56Processing of colour picture signals
    • H04N1/60Colour correction or control
    • H04N1/6058Reduction of colour to a range of reproducible colours, e.g. to ink- reproducible colour gamut

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Color Image Communication Systems (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Image Processing (AREA)

Abstract

(57)【要約】 【課題】画像を分析することにより、色再現域圧縮の必
要な部分だけを圧縮することができ、できるだけ色再現
性を犠牲にすることがなく、画像に依存した最適な色再
現域圧縮を行うことのできる色変換方法を提供する。 【解決手段】入力媒体から得られた画像データを測色変
換して得られた画像の測色データから画像のラフデータ
を作成し、得られたラフデータから画像を分析して、出
力媒体色再現域外に存在する画素の色相ヒストグラム、
明度ヒストグラムおよび彩度ヒストグラムを求め、これ
らのヒストグラムから圧縮対象色空間および圧縮度を求
め、求められた圧縮度に依存して圧縮対象色空間を圧縮
して、画像の入力色空間を出力色空間に合わせることに
より、上記課題を解決する。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、入力色空間の色情
報を出力色空間の色情報へ変換する場合における色再現
域圧縮技術を用いた色変換方法に関する。
【0002】
【従来の技術】カラーマネジメントを考えないクローズ
な入出力デバイス一体型の従来色処理系では、入力デバ
イス各信号のダイナミックレンジは、出力デバイス各信
号のダイナミックレンジに1対1で対応する。つまりカ
ラーマネジメントを考えないクローズな色処理系では、
色再現域圧縮は自然に行われるが、制御することができ
ない。
【0003】これに対し、入力信号を一旦XYZやL*
* * のような測色信号へ変換するカラーマネジメン
トシステムでは、入出力相互の色再現範囲を考える必要
性が生じるが、色再現域圧縮を制御することが可能とな
る。例えば、図9に示すような色処理系においては、入
力デバイスから入力されるRGBなどの入力デバイス依
存データ値を入力側変換によって、一旦L* * *
どの測色データに変換し、この測色データL* * *
を出力側変換によって、今度は出力デバイスに応じたC
MYなどの出力デバイス依存データ値に変換した後、出
力デバイスに出力している。このため、測色データL*
* * において、色再現域圧縮によって、入力側の色
再現域を出力色再現域に合わせることができる。このた
め、今までに色再現域圧縮技術については、種々の方法
が提案されてきた。
【0004】例えば、特開平6−253138号公報お
よび同6−253139号公報には、色空間の部分色空
間毎に異なる色マッピング法を指定し、部分色空間の間
の連続性を保証した色再現域圧縮技術が開示されてい
る。これらの色再現圧縮技術においては、部分空間の間
の連続性を保証する方法としてコンピュータグラフィッ
クス分野のモーフィング技術を採用している。また、特
開平4−196675号公報および同4−196676
号公報には、明度は入出力色再現範囲双方の無彩色軸の
明度の広がりの比に応じて圧縮し、彩度は入出力色再現
範囲の共通領域については変換せず、周辺領域について
は入出力色再現範囲の彩度の広がりに応じて圧縮する色
再現域圧縮技術が開示されている。さらに、特開昭61
−288662号公報には、出力色再現範囲が入力色再
現範囲より小さい場合、明度および彩度を一律にある所
定の関数に従って、圧縮する色再現域圧縮技術が開示さ
れている。
【0005】
【発明が解決しようとする課題】ところで、図9に示す
ような色処理系においては測色再現(見た目通りの再
現)することが可能となるが、単に測色再現だけを行う
と、出力色再現域外の色はつぶれてしまうために、圧縮
して階調を出す必要が出てくる。しかしながら、色再現
域の圧縮が大きいと測色再現の忠実性が損なわれてしま
う。すなわち、測色再現することと色再現域を圧縮する
こと(高彩度色の階調を出すこと)は、互いにトレード
オフの関係にある。このため、測色再現を目的とした色
変換の場合、色再現域圧縮はできるだけ行わない方が良
いが、上記各公報に開示された色再現圧縮技術は、いず
れも画像に依存させないで一律に色再現域を圧縮するも
のであるため、出力媒体の色再現域内に存在している圧
縮の不要な画素に対しても圧縮が掛かってしまう欠点が
ある。すなわち、どの画像に対しても一律に色空間を圧
縮するだけであるので、結果として、効果的な画像とそ
うでない画像、特に測色再現の忠実性が損なわれた画像
が得られるという問題点が生じる。
【0006】本発明の目的は、上記従来技術の問題点を
解消し、画像を分析することにより、色再現域圧縮の必
要な部分だけを圧縮することができ、できるだけ測色再
現の忠実性を犠牲にすることなく、画像に依存した最適
な色再現域圧縮を行うことのできる色変換方法を提供す
ることにある。
【0007】
【課題を解決するための手段】上記目的を達成するため
に、本発明は入力媒体から得られた画像データを測色変
換して得られた画像の測色データを分析して、前記画像
の入力空間から出力空間へ圧縮する方式を自動的に決定
することを特徴とする色変換方法を提供するものであ
る。
【0008】ここで、前記分析される測色データは前記
画像の測色データのラフデータであるのが好ましい。ま
た、前記色空間の圧縮では、圧縮対象となる色空間、お
よび圧縮度を求め、求められた圧縮度に依存して前記圧
縮対象色空間を圧縮するのが好ましい。また、前記圧縮
対象となる色空間、および圧縮度は、前記画像の測色デ
ータから出力媒体色再現域外に存在する画素の色相ヒス
トグラム、明度ヒストグラム、および彩度ヒストグラム
から求められるのが好ましい。
【0009】また、前記圧縮対象色空間の圧縮は、色相
を一定に保ちながら、彩度を前記圧縮度に比例して圧縮
し、明度を前記圧縮度、明度および彩度に依存して圧縮
することによって行われるか、あるいは、色相を出力媒
体色材の色相へ変化させつつ、彩度を前記圧縮度に比例
して圧縮し、明度を前記圧縮度、明度および彩度に依存
して圧縮することによって行われるのが好ましい。
【0010】また、前記画像のラフデータは、セットア
ップされた後の画像データから得られるのが好ましい。
また、前記出力媒体色再現域外に存在する画素は、測色
値データを出力媒体に依存する画像データに変換する出
力側変換テーブルを用いて判断されるのが好ましい。ま
た、前記圧縮度を出力画像サイズに応じて変換させるの
が好ましい。
【0011】
【発明の実施の形態】本発明に係る色変換方法を添付の
図面に示す好適な実施の形態に基づいてさらに詳細に説
明する。図1は、本発明の色変換方法を実施する色処理
系の全体の構成の一実施形態を示すブロック図であり、
図2は、本発明の色変換方法の一実施形態を示すブロッ
ク図である。
【0012】図1に示す色処理系20は、入出力デバイ
スのデバイス依存データ信号を、一旦測色データ信号に
変換し、測色データ信号において本発明の色変換方法を
実施する色再現域圧縮を含むカラーマネージメントを行
う色処理系(カラーマネージメントシステム)であっ
て、入力デバイスのデバイス依存データ信号を測色デー
タ信号に変換する入力側測色変換部22と、測色変換さ
れた測色データ信号にセットアップを行うセットアップ
部24と、本発明の色変換方法を実施する色再現域圧縮
部10と、色再現域の圧縮によって出力色空間に合わせ
られた測色データ信号を出力デバイスのデバイス依存デ
ータ信号に変換する出力側測色変換部26とを有する。
図1に示す色処理系20は印刷分野における色処理系で
あるが、本発明はこれに限定されず、色再現域圧縮を含
むカラーマネージメントを行う公知の色処理系であって
もよい。
【0013】入力側測色変換部22は、デジタルカメラ
やスキャナなどの入力デバイスで得られたデバイス依存
データ信号、例えばRGBデータ信号、CMYデータ信
号などを測色データ信号、例えばCIEによるXYZデ
ータ信号やL* * * 信号などに変換するものであ
る。例えば図示例の入力側測色変換部22においては、
デジタルカメラによって撮影された被写体のRGB画像
データ信号を色変換マトリックス、例えば3×3色変換
マトリックスによってXYZ測色データ信号に変換し、
あるいはスキャナによって光電的に読み取られたリバー
サルフィルム原稿(RV原稿)のRGB画像データ信号
を3次元テーブル、例えば色変換ルックアップテーブル
(LUT)によってXYZ測色データ信号に変換する。
【0014】なお、本発明においては、入力デバイス
は、デジタルカメラやスキャナに限定されず、例えばテ
レビ、ビデオカメラ、テレビカメラ、コンピュータグラ
フィックスなどのような合成画像を電子的に作成するコ
ンピュータや電子製版システムの画像作成用コンピュー
タなどであってもよいし、スキャナで読み取られる原稿
もRV原稿に限定されず、例えばネガティブフィルム原
稿(ネガ原稿)、写真や印刷物などの反射原稿などであ
ってもよい。入力デバイスのデバイス依存データ信号も
RGBデータ信号やCMYデータ信号に限定されず、入
力デバイスに応じた信号であれば何でもよいし、測色デ
ータ信号もXYZデータ信号やL* * * データ信号
に限定されず、他の従来公知の測色値であってもよい。
また、データ信号の変換方法も、3×3色変換マトリッ
クスや3次元色変換テーブルに限定されず、3×4また
は3×10などの色変換マトリックスや3つの1次元L
UTなど公知色変換写像(式、関数)を用いるものであ
ってもよい。
【0015】セットアップ部24は、入力デバイスで得
られ、入力側測色変換部22によって変換された測色デ
ータ信号を、出力媒体上に最適に再現するための階調条
件を自動設定し、入力側測色変換部22で求めた測色変
換データをセットアップ済の測色変換データに変換する
ものである。図1に示すように、セットアップ部24
は、入力側測色変換部22によって変換されたXYZデ
ータ信号と等価中性濃度(以下、ENDともいう)との
順逆両方向変換を行うEND順逆変換部30と、END
データ信号を間引いてラフデータを作成するラフデータ
作成部32と、作成されたラフデータを用いて自動的に
階調条件を設定するオートセットアップ部34とを有す
る。図1において、点線で示されるパスフローは、画像
に応じたセットアップ用パラメータを設定し、設定され
たセットアップ用パラメータを用いて階調を変換するた
めの変換関数またはルックアップテーブル(LUT)を
作成する。一方、実線で示されるパスフローはこの変換
関数またはLUTを使って、入力側測色変換部22で求
めた測色変換データをセットアップ済測色変換データへ
変換する本処理のパスフローである。
【0016】図示例のセットアップ部24においては、
まず、END順逆変換部30において、入力側測色変換
部22から出力されるXYZデータ信号を等価中性濃度
(END)にEND順変換マトリックスを使って変換
し、次いで、ラフデータ作成部32において、END順
逆変換部30で得られたENDデータを間引いて、例え
ば、1画面の画像が1280×1000画素の場合、画
素数106×83(9298)画素のラフデータとす
る。ラフデータ作成部32は、後述するラフデータ作成
部14と同一の構成とするのが好ましい。その後、オー
トセットアップ部34では、オートセットアップを用い
てENDラフデータ中のハイライト(HL)濃度(最小
値)およびシャドウ(SD)濃度(最大値)を自動設定
し、それぞれ出力媒体のダイナミックレンジの最小値D
Hおよび最大値DSに(例えば露出がアンダーやオーバ
ーのフィルム原稿の濃度範囲を常に出力媒体の濃度範囲
に合わせるように)設定し、ENDラフデータを設定さ
れた階調を持つENDラフデータに変換する変換関数
(あるいは変換テーブル(1次元LUT))を作成す
る。入力側測色変換部22によって変換された測色変換
データは、END順逆変換部30においてENDデータ
へ変換され、この変換関数(またはLUT)を用いてセ
ットアップ済ENDデータを作成した後、END順逆変
換部30においてEND逆変換マトリックスを使ってセ
ットアップ済XYZデータ信号に逆変換する。こうして
セットアップ部24におけるオートセットアップは終了
する。なお、セットアップ部24における画像データの
オートセットアップの方法は上述した例に限定されるわ
けではなく、従来公知のオートセットアップの方法を適
用してもよいことはいうまでもない。
【0017】次に、出力側測色変換部26は、色再現域
圧縮部10において色空間圧縮されたXYZデータ信号
などの測色データ信号をプルーフプリンタや印刷機など
の出力デバイスで再現画像として出力するためのデバイ
ス依存データ信号、例えばCMYKデータ信号に変換す
るものである。例えば、図示例の出力側測色変換部26
においては、XYZデータ信号を3次元テーブル(3次
元LUT)によってプルーフプリンタでカラープルーフ
としてまたは印刷機で印刷物として出力するためのCM
YKデータ信号に変換している。ここでは、3次元テー
ブルとして、原シーン(被写体)に忠実な再現画像を出
力するための原シーン忠実再現3次元LUTおよび標準
的な条件で再現画像を出力する標準条件再現3次元LU
Tが例示されているが、本発明はこれに限定されるわけ
ではなく、他の3次元テーブルであってもよい。
【0018】また、入力側測色変換部22同様、この出
力側測色変換部26においても、対象とする出力デバイ
スや用いられる測色値データ、デバイス依存データおよ
び色変換方法(逆写像となるが公知の逆写像であればよ
い)なども上述例に限定されず、公知のものが適用可能
である。例えば、出力デバイスとして、写真プリンタ、
複写装置、CRTなどのディスプレイ装置などであって
もよいし、デバイス依存データとしては、CMY,RG
Bなどのデータであってもよい。
【0019】色再現域圧縮部10は、本発明の最も特徴
とする部分であって、本発明の色変換方法を実施する。
図2に示すように、色再現域圧縮部10は、セットアッ
プ後のXYZデータ信号とL* * * データ信号との
双方向変換を行う双方向変換部12と、変換されたL*
* * データ信号を間引いてラフデータを作成するラ
フデータ作成部14と、作成されたセットアップ後のラ
フデータによって画像を分析して、色再現域圧縮対象色
空間および圧縮度を設定する画像分析部16と、得られ
た色再現域圧縮対象色空間および圧縮度を用いて、色空
間を圧縮する色空間圧縮部18とを有する。図2におい
て、点線で示されるパスフローは、画像に応じた色空間
圧縮用パラメータつまり、色再現域圧縮対象色空間およ
び圧縮度を設定するパスであり、色空間圧縮に先立って
行われる予備処理のパスフローである。一方、実線で示
されるパスは、設定された色空間圧縮用パラメータを用
いてセットアップ済の測色変換データを色空間圧縮する
画像処理パスであり、画像データの圧縮を行う本処理の
パスフローである。
【0020】双方向変換部12は、本発明法による色空
間圧縮の対象とする色空間をL* * * 空間としてい
るので、入力側では、測色変換されたXYZデータをL
* * * データに変換し、出力側ではL* * *
ータをXYZデータに変換するものである。この順逆双
方向の変換は、下式に基づき計算される。 L* =116(Y/Yn )1/3−16 Y/Yn >0.008 856 ・・・(1) a* =500[( X/Xn )1/3−(Y/Yn )1/3] X/Xn >0.008 856 b* =200[( Y/Yn )1/3−(Z/Zn )1/3] Y/Yn >0.008 856 Z/Zn >0.008 856 ・・・(2) ここに、 L* :L* * * 表色系における明度指数 a* * :L* * * 表色系におけるクロマティクネ
ス指数 X,Y,Z:XYZ系における三刺激値 Xn ,Yn ,Zn :完全拡散反射面のXYZ系における
三刺激値 ただし、Y/Yn が0.008 856 以下の場合、L* は次の
式で求める。 L* =903.29( Y/Yn ) ・・・(3) X/Xn ,Y/Yn またはZ/Zn に0.008 856 以下の
値のものがあるときは、式(2)の対応する立方根の項
を、7.787(X/Xn ) +16/116 ,7.787(Y/Yn ) +
16/116 または7.787(Z/Zn ) +16/116 に置き換え
て計算する。
【0021】ラフデータ生成部14は、後段の画像分析
部16における画像分析処理を行うのに適正なデータ量
とするために、双方向変換部12で変換されたL* *
*データを間引いてラフデータを生成するものである
が、間引き率(または量)もしくはラフデータのデータ
量は、特に制限的ではなく、画像分析処理の処理量およ
び要求される精度に応じて適宜選択すればよい。
【0022】図示例の色再現域圧縮部10においては、
処理を単純化するためセットアップ部24におけるオー
トセットアップ用ラフデータと同じ画素サイズとするの
がよい。この場合、1画面の画像の各画素を縦および横
方向に対して1/6に間引きした後、さらに2×2画素
内を平均化し、最後に縦方向および横方向の画素を1/
2に間引く。その結果、1画面の画像が1280×10
00画素の場合、ラフデータの画素数は、106×83
(9298)画素となる。なお、ここで、間引き処理の
途中で平均化処理を行うのはノイズの低減を図るためで
あるが、本発明は、これに限定されず、どのようなラフ
データの生成を行ってもよい。
【0023】画像分析部16は、ラフデータ生成部14
で生成された、セットアップ後のラフデータに対し出力
媒体色再現域外の画素を抽出し、抽出した画素の色空間
内分布状況を分析し、色再現域圧縮対象色空間と圧縮度
を決定するものである。図1に示す色処理系が印刷を対
象とするものであるので、画像分析部16においては、
まず、1画面の画像の各画素のL* * * データ(ラ
フデータ)が、出力媒体である印刷物の色再現域内にあ
るか色再現域外にあるかを判断し、色再現域外にある画
素を抽出する。ここで、1画面の各画素が印刷物再現域
外(以下、単に色再現域外ともいう)か否かの判断は、
* * * データ(ラフデータ)を双方向変換部12
でXYZデータに変換した後、図1に示す出力側測色変
換部26において出力側色変換テーブル(3次元LUT
など)を用いて、出力デバイスデータであるCMYKデ
ータへ変換することにより、確認することができる。
【0024】次に、こうして得られた印刷物再現域外画
素の色相Hab* 範囲を抽出する。まず、ここでは、印
刷物再現域外画素のL* * * データから色相Hab
*(L* * * 空間のa* * 平面上の極座標の角度
方向)を計算し、色相Hab* ヒストグラムを作成し、
1:2:1移動平均法によるスムージングを掛ける。こ
うして得られた色相Hab* ヒストグラム(0°〜36
0°)の一例を図3(a)に示す。なお、ここで、色相
Hab* ヒストグラムを作成するために移動平均法によ
るスムージング処理を行うのは、単なる印刷物再現域外
画素の色相ヒストグラムでは、図3(a)に示すような
なめらかな曲線にならず、高周波成分が乗った、微細な
凹凸の激しい曲線となるため、後段において閾値によっ
て切り出される色相範囲がずれたり、逆転したりしてか
えって不正確になるからである。ここで、移動平均の比
率は、1:2:1に限定されず、他の比率であってもよ
く、公知のものから、適宜選択すればよい。
【0025】このようにして得られた印刷物再現域外画
素の色相Hab* ヒストグラムの頻度値に対してしきい
値(閾値)を設けることにより、印刷物再現域外画素の
色相Hab* 範囲を抽出する。ここでは、図3(a)に
示すような色相Hab* ヒストグラムに対して、図3
(b)に示すように閾値40(画素頻度)を設け、頻度
40以上の色相範囲として、H1 〜H2 およびH3 〜H
4 を抽出することができる。ここで、閾値40は、ラフ
データ(8298画素)である図示例の場合の値であっ
て、閾値としては、上述した40に限定されるわけでは
なく、ラフデータのデータ量(画素数)、画像の種類と
サイズ、入出力デバイスのデータの量と精度(階調)、
再現画像の要求画質等に応じて適宜設定すればよい。
【0026】このようにして求められた印刷物再現域外
画素の各色相Hab* 範囲にある画素群それぞれについ
て明度L* 累積ヒストグラムを作成し、明度L* 範囲を
求め、印刷物再現域外画素群の明度L* 範囲を抽出す
る。すなわち、図3(b)に示す色相Hab* ヒストグ
ラムから閾値40によって抽出された色相Hab* 範囲
1 〜H2 にある全画素について作成した明度L* 累積
ヒストグラムを図4(a)に、色相Hab* 範囲H3
4 にある全画素について作成した明度L* 累積ヒスト
グラムを図4(b)に示す。こうして得られた各色相範
囲H1 〜H2 およびH3 〜H4 に対応する図4(a)お
よび(b)の明度L* 累積ヒストグラムにおいて、上下
各2%の累積頻度を除いた範囲、すなわち累積頻度2〜
98%の範囲にある明度L* の範囲L1 〜L 2 およびL
3 〜L4 をそれぞれ抽出する。ここで、明度L* につい
て累積ヒストグラムを使うのは、単なるヒストグラムよ
りも抽出される明度L* の範囲がより安定するからであ
る。
【0027】なお、ここで印刷物再現域外画素群の明度
* の範囲を求める際に上下各2%の累積頻度を除くの
は、ノイズを含む恐れのある明度L* あるいは極端な
(例えば、明るすぎるまたは暗すぎる)明度L* を持つ
画素を除いて、適正な明度を持つ画素群だけにするため
である。ここで、図示例では、上下各2%の累積頻度部
分を除去しているが、本発明はこれに限定されず、画像
の種類やサイズ、階調や画質等々に応じて適宜選択すれ
ばよい。
【0028】先に求められた印刷物再現域外画素の各色
相Hab* 範囲にある画素群に対し、図5(a)に示す
ように、L* * * 空間のa* * 平面上で彩度Ca
*方向(a* * 平面上の極座標の半径方向)上の色
再現域境界上を1に規格化し、色再現域外、つまり1.
0以上へ出ている度合(色再現域外率)を表した累積ヒ
ストグラムを作成し、得られた各色相Hab* 範囲に対
応する各々の規格化彩度Cab* 累積ヒストグラム(規
格化彩度Cab* の色再現域外における色再現域外画素
の累積頻度を表わす)から圧縮率を求める。ここで、図
3(b)に示す各色相Hab* 範囲H1 〜H2 およびH
3 〜H4 に対応する規格化彩度Cab* 累積ヒストグラ
ムをそれぞれ図5(b)および(c)に示す。図5
(b)および(c)に示す各々の規格化彩度Cab*
積ヒストグラムにおいて、累積頻度25%に対応する色
再現域外における規格化彩度Cab* の値をそれぞれ求
めて、C1 およびC2 とする。ここで、彩度Cab*
累積頻度を25%としているが、本発明はこれに限定さ
れるわけではなく、画像の種類やサイズ、階調、精度、
画質等に応じて適宜選択すればよい。
【0029】このようにして圧縮率決定パラメータ(規
格化彩度値)Ci(i=1,2,・・・)を求めること
ができる。ここでiは、色再現域外画素群の各色相範囲
にある画素群の番号であり、図示例では色相範囲H1
2 に対応する番号が1、色相範囲H3 〜H4 に対応す
る番号が2である。こうして得られた規格化彩度値Ci
(i=1,2,・・・)を用いて、下記式(4)によっ
て、圧縮率Cpiを求めることができる。 Cpi=Ci−1.0 ・・・(4)
【0030】なお、圧縮率Cpiは出力画像サイズに応
じて変化させてもよい。この場合には、圧縮率Cpi
は、上記式(4)をさらに一般化した下記式(5)によ
って求めることができる。 Cpi=k(Ci−1.0) ・・・(5) ここで、kは出力画像サイズに依存した係数である。な
お、圧縮率に出力画像サイズを考慮するのは、出力画像
サイズが大きい場合には、高彩度色の階調の有無が明瞭
に視認され、再現画像の不自然さが目立つことになる
が、出力画像サイズが小さい場合には、これが視認され
ないからである。
【0031】ところで、上記式(4)および(5)で示
される圧縮率Cpiは、0.3を最大値とするのがよ
い。この理由は、圧縮率Cpiが0.3を越えて大きく
なりすぎると、色再現域内の画像の色の彩度が落ちす
ぎ、あまりにも鮮やかさのない色になりすぎ、不自然な
画像となるので好ましくない。従って、本発明において
は、圧縮率Cpiを決定するパラメータである規格化彩
度値Ciを決定する累積頻度値は圧縮率Cpiが0.3
を超えない範囲において、画像(シーン)の種類やサイ
ズ、階調や精度、要求画質等に応じて適宜選択すればよ
い。
【0032】次に、色再現域圧縮対象色空間パラメータ
から色空間の圧縮対象範囲を決定する。色再現域外画素
の色相範囲H1 〜H2 、H3 〜H4 および明度範囲L1
〜L2、L3 〜L4 などの色再現域圧縮対象色空間パラ
メータを用いて、近隣の色空間との連続性を保つことの
できる色再現域圧縮対象色空間強度(以下、単に色空間
圧縮強度という)Tiを各色相範囲の画素群i毎に決定
する。
【0033】例えば、色相Hab* 範囲H1 〜H2 およ
びこれに対応する明度L* 範囲L1〜L2 における色空
間圧縮強度Tiの一例を図6に示す。図6に示すよう
に、色再現域外として抽出された色相範囲H1 〜H2
明度範囲L1 〜L2 で囲まれる矩形内においては色空間
圧縮強度Tiを1.0に設定し、この矩形範囲を色相両
方向および明度両方向について外側方向に所定範囲、図
示例では色相方向には±20°および明度方向±20だ
け広げた矩形範囲、すなわち色相範囲H1 −20〜H2
+20および明度範囲L1 −20〜L2 +20からなる
矩形範囲において色空間圧縮強度Tiを0.0に設定し
て、両矩形範囲で囲まれる範囲の色空間に対しては、色
空間圧縮強度Tiを0.0〜1.0まで連続的に変化す
るように設定する。同様にして、色相Hab* の範囲H
3 〜H4 、およびこれに対応する明度L* の範囲L3
4 における色空間圧縮強度を設定することができる。
【0034】色空間圧縮強度Tiをこのように設定する
ことにより、色再現域圧縮対象色空間と圧縮対象でない
近隣空間との連続性を保つことができる。ところで、図
6に示す例において、色空間圧縮強度Tiを0〜1.0
まで変化させる色相範囲および明度範囲の拡張幅は、そ
れぞれ±20°および±20に設定されているが、本発
明はこれに限定されず、色再現域外画素の色相範囲およ
び明度範囲の大きさ、画像(シーン)の種類とサイズ、
階調、精度、要求画質等に応じてなめらかに近隣色空間
に連続するように適宜選択すればよい。
【0035】色空間圧縮部18は、こうして求められた
色再現域圧縮対象色空間強度Tiと先に求められていた
圧縮率Cpiを用いて、セットアップ済側色変換データ
に対して色再現域外の各色相範囲i毎に、色空間を圧縮
する。ここでは、各色相範囲i毎に、彩度Cab* は、
上記色再現域圧縮対象色空間強度Tiと圧縮率Cpiと
の積を用いて、下記式(6)に従って、線形に圧縮す
る。明度L* も、各色相範囲i毎に、上記色再現域圧縮
対象色空間強度Tiと圧縮率Cpiとの積を明度L*
彩度Cab* に依存させて、下記式(7)に従って、線
形に圧縮する。これに対し、色相Hab* は、変化させ
ず、一定に保つ。 Cab* ’=Cab* (1.0−CpiTi) ・・・(6) L* ’=L* −(1.0−CpiTi)LciCci ・・・(7) ここで、Cab* ’およびL* ’は、それぞれ色空間圧
縮後の彩度および明度であり、Cab* およびL* は、
それぞれ圧縮前の彩度および明度である。Cciおよび
Lciは、それぞれ彩度Cab* 依存関数および明度L
* 依存関数である。
【0036】本発明において用いられる明度L* 依存関
数Lciの一例を図7(a)に、彩度Cab* 依存関数
Cciの一例を図7(b)に示す。ここで、図7(a)
に示す、明度L* 依存関数Lciにおいて、明度L*
90は印刷における紙の濃度を示す定数であり、L*
10は印刷における最大インク濃度を示す。また、図7
(b)に示す彩度Cab* 依存関数Cciにおいて、関
数値Cci=1.0に飽和する彩度Cab* =50は、
印刷物再現域範囲における最大彩度値を示す。ここで、
図7(a)および(b)に示される明度依存関数Lci
および彩度依存関数Cciならびにこれらに用いられる
定数(明度L* =20,90,関数値Lci=15、彩
度Cab* =50)は、これらに限定されるわけではな
く、対象とする色処理系の入出力デバイス、入出力媒
体、画像の種類やサイズ、階調や精度、画質等の条件に
応じて適宜選択すればよい。また、これらの関数は、線
形な関数ではなく、非線形な関数であっても良いし、色
相Hab* に依存させて各定数を変化させても良い。図
7(a)および(b)に示される明度依存関数Lciお
よび彩度依存関数Cciを用いた色空間圧縮の状態を図
8に模式的に示す。彩度方向は圧縮度に比例して圧縮さ
れ、明度方向は明度と彩度に依存して圧縮されている。
【0037】以上のようにして、色空間圧縮部18にお
いては、色空間圧縮演算、具体的には色空間圧縮後の明
度L* ’および彩度Cab* ’の演算が行なわれる。双
方向変換部12で変換された全画素のセットアップ済測
色変換データ(L* * *データ)は、色再現域外画
素の色相範囲(色再現域圧縮対象色空間)の画素に対し
て上記式(6)および(7)で演算され、色空間圧縮さ
れた画像データが求められ、双方向変換部12でXYZ
データに戻される。
【0038】さらに、本発明においては、抽出された色
再現域外画素の色相範囲にはすべて本発明法による色空
間圧縮を行っているが、いくつかの色相範囲のうち、特
定の色相のもののみを選択して、あるいは同一の色相範
囲においても異なる位置にある画素群に対して、圧縮す
るもしくは圧縮しないことを外部から指示または入力す
るように構成することも可能である。もちろん、予め、
色相範囲あるいは色相、彩度および明度の各範囲を指定
しておき、圧縮するしないを自動選択させてもよい。
【0039】なお、上述した例では、色空間を圧縮する
際に、色再現域外画素の色相Hab * の範囲を描出し、
その色相範囲のみに色空間圧縮を行うが、色相Hab*
自体は変化させずに一定に保っている。しかしながら、
本発明はこれに限定されず、色相も変化させるようにし
てもよい。この場合には、色相は、出力媒体の色材の色
相へ変化させるのが好ましい。
【0040】本発明に係る色変換方法を種々の実施例を
挙げて、詳細かつ具体的に説明したが、本発明はこれに
限定されるわけではなく、本発明の要旨を逸脱しない範
囲において、種々の改良や変更が可能なことはもちろん
である。
【0041】
【発明の効果】以上詳述したように、本発明によれば、
出力媒体色再現域外に存在している画素の色相のみを圧
縮の対象としているので、他の色相の画素の色再現に影
響を与えないで、色再現域(色空間)の圧縮を行うこと
ができる。従って、本発明によれば、できるだけ測色再
現の忠実性を損なわず、近隣画素との連続性を保ちなが
ら、原画像(オリジナル、例えば被写体や原稿画像)ま
たは入力画像と同等の色階調を再現することができる。
【図面の簡単な説明】
【図1】 本発明に係る色変換方法を実施する色処理系
の全体構成を示す一実施形態を示すブロック図である。
【図2】 本発明に係る色変換方法を実施する色再現域
圧縮部の全体構造およびフローの一実施形態を示すブロ
ック図である。
【図3】 (a)および(b)は、それぞれ図2に示す
画像分析部において得られる色再現域外画素の色相Ha
* ヒストグラムの一例およびこの色相Hab * ヒスト
グラムから抽出される色再現域外画素の色相範囲の一例
を示すグラフである。
【図4】 (a)および(b)は、それぞれ図2(b)
に示す色再現域外画素群の各色相範囲に対応する明度L
* 累積ヒストグラムの一例を示すグラフである。
【図5】 (a)は、色再現域外画素群の各色相範囲に
ある画素群に対して彩度方向上の再現域境界を1に規格
化することを説明する説明図であり、(b)および
(c)は、それぞれ図2(b)に示す色再現域外画素群
の各色相範囲に対応する規格化彩度Cab* 累積ヒスト
グラムの一例を示すグラフである。
【図6】 図2に示す色空間圧縮部において得られる色
再現域圧縮対象色空間強度の一例を示すグラフである。
【図7】 (a)および(b)は、それぞれ図2に示す
色空間圧縮部において得られる明度方向の、色空間圧縮
に用いられる明度依存関数の一例および彩度依存関数の
一例を示すグラフである。
【図8】 本発明の色変換方法において実施される色空
間圧縮を説明する説明図である。
【図9】 カラーマネージメントを行う色処理系を示す
ブロック図である。
【符号の説明】
10 色再現域圧縮部 12 双方向変換部 14 ラフデータ作成部 16 画像分析部 18 色空間圧縮部 20 色処理系 22 入力側測色変換部 24 セットアップ部 26 出力側測色変換部

Claims (9)

    【特許請求の範囲】
  1. 【請求項1】入力媒体から得られた画像データを測色変
    換して得られた画像の測色データを分析して、前記画像
    の入力空間から出力空間へ圧縮する方式を自動的に決定
    することを特徴とする色変換方法。
  2. 【請求項2】前記分析される測色データは前記画像の測
    色データのラフデータであることを特徴とする請求項1
    に記載の色変換方法。
  3. 【請求項3】前記色空間の圧縮では、圧縮対象となる色
    空間、および圧縮度を求め、求められた圧縮度に依存し
    て前記圧縮対象色空間を圧縮することを特徴とする請求
    項1または2に記載の色変換方法。
  4. 【請求項4】前記圧縮対象となる色空間および圧縮度
    は、前記画像の測色データから出力媒体色再現域外に存
    在する画素の色相ヒストグラム、明度ヒストグラムおよ
    び彩度ヒストグラムから求められることを特徴とする請
    求項3に記載の色変換方法。
  5. 【請求項5】前記圧縮対象色空間の圧縮は、色相を一定
    に保ちながら、彩度を前記圧縮度に比例して圧縮し、明
    度を前記圧縮度、明度および彩度に依存して圧縮するこ
    とによって行うことを特徴とする請求項1〜4のいずれ
    かに記載の色変換方法。
  6. 【請求項6】前記圧縮対象色空間の圧縮は、色相を出力
    媒体色材の色相へ変化させつつ、彩度を前記圧縮度に比
    例して圧縮し、明度を前記圧縮度、明度および彩度に依
    存して圧縮することによって行うことを特徴とする請求
    項1〜4のいずれかに記載の色変換方法。
  7. 【請求項7】前記画像のラフデータは、セットアップさ
    れた後の画像データから得られるものであることを特徴
    とする請求項1〜6のいずれかに記載の色変換方法。
  8. 【請求項8】前記出力媒体色再現域外に存在する画素
    は、測色値データを出力媒体に依存する画像データに変
    換する出力側変換テーブルを用いて判断されることを特
    徴とする請求項1〜7のいずれかに記載の色変換方法。
  9. 【請求項9】前記圧縮度を出力画像サイズに応じて変換
    させることを特徴とする請求項1〜8のいずれかに記載
    の色変換方法。
JP10188097A 1997-04-18 1997-04-18 色変換方法 Expired - Fee Related JP4250214B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP10188097A JP4250214B2 (ja) 1997-04-18 1997-04-18 色変換方法
US09/062,557 US6151136A (en) 1997-04-18 1998-04-20 Color transforming method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP10188097A JP4250214B2 (ja) 1997-04-18 1997-04-18 色変換方法

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2007166650A Division JP2007325286A (ja) 2007-06-25 2007-06-25 色変換方法

Publications (2)

Publication Number Publication Date
JPH10294877A true JPH10294877A (ja) 1998-11-04
JP4250214B2 JP4250214B2 (ja) 2009-04-08

Family

ID=14312266

Family Applications (1)

Application Number Title Priority Date Filing Date
JP10188097A Expired - Fee Related JP4250214B2 (ja) 1997-04-18 1997-04-18 色変換方法

Country Status (2)

Country Link
US (1) US6151136A (ja)
JP (1) JP4250214B2 (ja)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1999067747A3 (en) * 1998-06-23 2000-03-09 Koninkl Philips Electronics Nv Video processing in pc uses statistically tuned color cube
US7064864B2 (en) 2000-10-10 2006-06-20 Mitsubishi Denki Kabushiki Kaisha Method and apparatus for compressing reproducible color gamut
US7082210B2 (en) 2001-02-28 2006-07-25 Mitsubishi Denki Kabushiki Kaisha Moving object detector and image monitoring system
US7091985B1 (en) 2000-05-16 2006-08-15 International Business Machines Corporation System and method for compressing color data using expandable color palette
JP2013013060A (ja) * 2011-06-28 2013-01-17 Konica Minolta Laboratory Usa Inc 拡張rgb空間へのトーンマッピングを用いた高ダイナミックレンジ画像の処理方法
JP2013223039A (ja) * 2012-04-13 2013-10-28 Ricoh Co Ltd 画像処理装置、画像処理システム、プログラム
US9113113B2 (en) 2008-05-14 2015-08-18 Thomson Licensing Method of processing of compressed image into a gamut mapped image using spatial frequency analysis
US10003720B2 (en) 2014-12-05 2018-06-19 Mitsubishi Electric Corporation Image processing apparatus and method, and program and recording medium

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6628830B1 (en) * 1998-06-24 2003-09-30 Canon Kabushiki Kaisha Image processing method and apparatus and storage medium
US6724507B1 (en) * 1998-07-02 2004-04-20 Fuji Xerox Co., Ltd. Image processing method and image processing apparatus
US6690487B1 (en) * 1998-08-20 2004-02-10 Fuji Photo Film Co., Ltd. Method and apparatus for image processing
US6266165B1 (en) * 1998-09-30 2001-07-24 Lexmark International, Inc. Method for morphing n-dimensional data using a scattered data transformation
JP3347684B2 (ja) * 1999-03-01 2002-11-20 株式会社九州エレクトロニクスシステム リアルタイム動画転送方法
US7177465B1 (en) * 1999-07-16 2007-02-13 Fuji Photo Film Co., Ltd. Method of compressing/extending color reproducing space, color reproducing method and color reproducing apparatus
EP1100256B1 (en) * 1999-11-11 2009-02-25 Panasonic Corporation Method and apparatus for gamut mapping
US6894806B1 (en) * 2000-03-31 2005-05-17 Eastman Kodak Company Color transform method for the mapping of colors in images
US7215365B2 (en) * 2001-06-25 2007-05-08 Sony Corporation System and method for effectively calculating destination pixels in an image data processing procedure
US6719392B2 (en) 2001-12-20 2004-04-13 International Business Machines Corporation Optimized color ranges in gamut mapping
DE10243554B4 (de) * 2002-09-19 2005-12-29 OCé PRINTING SYSTEMS GMBH Verfahren zur optimierten Farbwiedergabe einer farbigen Bildvorlage durch ein Farbwiedergabegerät
US6826301B2 (en) * 2002-10-07 2004-11-30 Infocus Corporation Data transmission system and method
US7167276B2 (en) * 2002-10-22 2007-01-23 Canon Kabushiki Kaisha Data conversion between color coordinate systems
JP4798945B2 (ja) * 2003-03-05 2011-10-19 トヨタ自動車株式会社 撮像装置
US7277575B2 (en) * 2003-11-25 2007-10-02 Sony Corporation System and method for effectively performing an image data transformation procedure
US8089489B2 (en) * 2004-09-30 2012-01-03 Lexmark International, Inc. Method for converting a source gamut of an image to a destination gamut
US7595920B2 (en) * 2005-02-23 2009-09-29 Brother Kogyo Kabushiki Kaisha Processing apparatus and processing method of color image information
JP4379362B2 (ja) * 2005-03-28 2009-12-09 セイコーエプソン株式会社 画像処理装置、および、階調再現方法
KR100736939B1 (ko) * 2005-10-08 2007-07-10 삼성전자주식회사 지능형 색역 관리 방법
GB2431791B (en) * 2005-10-28 2010-12-01 Hewlett Packard Development Co A proofing method and apparatus
JP4848903B2 (ja) * 2006-09-11 2011-12-28 富士ゼロックス株式会社 色処理装置、色処理方法およびプログラム
ITVA20060079A1 (it) * 2006-12-19 2008-06-20 St Microelectronics Srl Metodo di classificazione cromatica di pixel e metodo di miglioramento adattativo di un'immagine a colori
US8810876B2 (en) * 2011-10-31 2014-08-19 Electronics For Imaging, Inc. Dynamic image gamut compression by performing chroma compression while keeping lightness and hue angle constant
US10339410B1 (en) * 2016-01-13 2019-07-02 Snap Inc. Color extraction of a video stream

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0636548B2 (ja) * 1985-06-17 1994-05-11 キヤノン株式会社 カラ−画像信号処理方法
US5239370A (en) * 1990-04-24 1993-08-24 Brother Kogyo Kabushiki Kaisha Color image forming apparatus having color-correcting unit operating in accordance with a gamut of an image input medium
US5237409A (en) * 1990-09-10 1993-08-17 Brother Kogyo Kabushiki Kaisha Color image forming apparatus using color compressed color data
JPH04196676A (ja) * 1990-11-26 1992-07-16 Konica Corp 色推定方法
JPH04196675A (ja) * 1990-11-26 1992-07-16 Konica Corp 色推定方法
US5323249A (en) * 1993-01-12 1994-06-21 E. I. Du Pont De Nemours And Company Method for reproducing color images having one color gamut with a device having a different color gamut
DE69420874T2 (de) * 1993-02-12 2000-05-04 Eastman Kodak Co., Rochester Verfahren zur geräteübergreifenden Farbbildkalibrierung und -verbesserung
DE69413575T2 (de) * 1993-02-12 1999-05-20 Eastman Kodak Co., Rochester, N.Y. Verfahren und Vorrichtung zur Transformation von Eingabefarbgrössen in einen Eingabefarbraum in Ausgabefarbgrössen in einen Ausgabefarbraum
JP3436572B2 (ja) * 1993-10-27 2003-08-11 株式会社リコー 画像処理装置
JPH089172A (ja) * 1994-06-15 1996-01-12 Fuji Xerox Co Ltd カラー画像処理装置

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1999067747A3 (en) * 1998-06-23 2000-03-09 Koninkl Philips Electronics Nv Video processing in pc uses statistically tuned color cube
US7091985B1 (en) 2000-05-16 2006-08-15 International Business Machines Corporation System and method for compressing color data using expandable color palette
US7064864B2 (en) 2000-10-10 2006-06-20 Mitsubishi Denki Kabushiki Kaisha Method and apparatus for compressing reproducible color gamut
US7082210B2 (en) 2001-02-28 2006-07-25 Mitsubishi Denki Kabushiki Kaisha Moving object detector and image monitoring system
US9113113B2 (en) 2008-05-14 2015-08-18 Thomson Licensing Method of processing of compressed image into a gamut mapped image using spatial frequency analysis
JP2013013060A (ja) * 2011-06-28 2013-01-17 Konica Minolta Laboratory Usa Inc 拡張rgb空間へのトーンマッピングを用いた高ダイナミックレンジ画像の処理方法
JP2013223039A (ja) * 2012-04-13 2013-10-28 Ricoh Co Ltd 画像処理装置、画像処理システム、プログラム
US10003720B2 (en) 2014-12-05 2018-06-19 Mitsubishi Electric Corporation Image processing apparatus and method, and program and recording medium

Also Published As

Publication number Publication date
JP4250214B2 (ja) 2009-04-08
US6151136A (en) 2000-11-21

Similar Documents

Publication Publication Date Title
JP4250214B2 (ja) 色変換方法
US8199227B2 (en) Image-signal processing apparatus for performing space-variant image-signal processing
US6342951B1 (en) Gamut mapping algorithm using inverted gamma function
US8497926B2 (en) Information processing apparatus, method, and program
JP3759761B2 (ja) 鮮鋭度の変更方法及び装置
US7177465B1 (en) Method of compressing/extending color reproducing space, color reproducing method and color reproducing apparatus
US8265411B2 (en) Image recording apparatus, image recording method, image processing apparatus, image processing method and image processing system
US6650771B1 (en) Color management system incorporating parameter control channels
JPS6367687A (ja) 電子的画像処理における画像彩度の調整方法
JP4068673B2 (ja) 画像処理装置および方法
JP2000278546A (ja) 画像処理装置及び画像処理方法、色域変換テーブル作成装置及び色域変換テーブル作成方法、画像処理プログラムを記録した記録媒体、並びに色域変換テーブル作成プログラムを記録した記録媒体
JP2000152279A (ja) 拡張色域ディジタル画像を表わすために1つ以上の残りの画像を使用するシステム
JP3074206B2 (ja) 画像処理装置および方法
JPH04270565A (ja) 画像圧縮装置
US20020008762A1 (en) Method, apparatus and recording medium for image processing
JP2001014448A (ja) カラーデータ変換装置、カラーデータ変換方法およびその方法をコンピュータに実行させるプログラムを記録したコンピュータ読み取り可能な記録媒体
JPH11266358A (ja) 画像処理方法
JP2000115564A (ja) 拡張色域ディジタル画像に対して操作を行なう方法
JP2906974B2 (ja) カラー画像処理方法および装置
WO2005027532A1 (ja) 画像処理装置および画像処理方法
JP3749102B2 (ja) 画像処理装置、画像形成装置、並びに画像処理方法
JP2002218271A (ja) 画像処理装置、画像形成装置、並びに画像処理方法
JP2543857B2 (ja) カラ―画像処理装置
JPH09247483A (ja) 画像強調装置
JP2007325286A (ja) 色変換方法

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20060516

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20060606

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060731

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20060829

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20061030

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20061208

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20070424

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070625

A911 Transfer of reconsideration by examiner before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20070814

A912 Removal of reconsideration by examiner before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20070831

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20080716

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20090119

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120123

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120123

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130123

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130123

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140123

Year of fee payment: 5

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees