JP4461164B2 - 色変換装置および色変換方法 - Google Patents

色変換装置および色変換方法 Download PDF

Info

Publication number
JP4461164B2
JP4461164B2 JP2007212779A JP2007212779A JP4461164B2 JP 4461164 B2 JP4461164 B2 JP 4461164B2 JP 2007212779 A JP2007212779 A JP 2007212779A JP 2007212779 A JP2007212779 A JP 2007212779A JP 4461164 B2 JP4461164 B2 JP 4461164B2
Authority
JP
Japan
Prior art keywords
color
data
hue
hue area
area data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2007212779A
Other languages
English (en)
Other versions
JP2009049633A (ja
Inventor
周一 香川
潤 染谷
博明 杉浦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Priority to JP2007212779A priority Critical patent/JP4461164B2/ja
Priority to US12/222,731 priority patent/US8072647B2/en
Publication of JP2009049633A publication Critical patent/JP2009049633A/ja
Application granted granted Critical
Publication of JP4461164B2 publication Critical patent/JP4461164B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46Colour picture communication systems
    • H04N1/56Processing of colour picture signals
    • H04N1/60Colour correction or control
    • H04N1/6058Reduction of colour to a range of reproducible colours, e.g. to ink- reproducible colour gamut

Description

この発明は、プリンタ、ビデオプリンタあるいはディスプレイ等の画像出力装置に使用するデータ処理に係わり、中でも広色域の画像データが入力され、対応する画像を出力する画像出力装置に関わる色変換装置および方法に関する。
従来の色変換装置および色変換方法の一例が下記の特許文献1に記載されている。この従来の色変換装置および色変換方法においては、第1の色データの明度または彩度の大きさを表す特性情報を求める手段と、第1の色データを用いて、特定の色相成分に有効な第1の色相領域データを求める手段と、第1の色相領域データの値を特性情報に基づいて調整することにより第2の色相領域データを求める手段と、第1の色相領域データと第2の色相領域データとの差分に基づいて第3の色相領域データを求める手段と、第2の色相領域データおよび第3の色相領域データを演算項としたマトリクス演算を行うことにより補正量を算出する手段と、補正量に基づいて第2の色データを算出する色補正手段を備える。
特開2005−184117号公報
以下、画像出力装置としてディスプレイを例として記載する。
上記の従来の色変換装置または色変換方法によると、第1の色データの色相、明度および彩度のいずれかを色相成分毎に独立に補正することができ、また当該調整は第1の色データの明度または彩度に基づいて個別に調整することも可能となる。これにより、第1の色データにより構成される画像信号が有する色域が既知であれば、当該色域とディスプレイの有する色域との関係から、最適な色変換特性を予め設定しておくことにより、良好な画像表示が可能となる。画像信号が有する色域は、従う色空間により規定される。国際標準化されている色空間としては、sRGB(IEC 61966−2−1)などがある。また、ITU−R BT.709には、放送により配信される画像(映像)の色域の一例が規定されている。sRGBやITU−R BT.709では、一般的なCRTの有する特性を基準として色域が規定されており、赤、緑、青の3原色の色度は同一となっている。
一方、最近ではさまざまな種類のディスプレイが実用され、普及しており、従来のCRTを超える表示色域を有するものも多く見られる。また、実在する物体の色分布を考慮しても、sRGBに規定される色域は必ずしも十分ではない。これらのことから、より広い色域を規定する色空間も国際標準化されている。xvYCC(IEC 61966−2−4)がその一例である。xvYCCにおいては、それぞれ赤、緑、青を表す色データR,G,Bにおいて、100%を上回る値および0%を下回る値(負の値)を許容することにより、赤、緑、青の3原色の色度をITU−R BT.709から変更することなく、より広い色域のデータを扱うことが可能となっている。
以上の状況から、その時々で異なる色域の画像が第1の色データとして入力されることが考えられるが、従来の色変換装置および色変換方法によれば、良好な表示画像が得るためには、第1の色データの色域の情報に基づいた色変換特性を設定する必要がある。ディスプレイに色データが入力されるに際して、当該色データの色域を表す情報が付与される場合も考えられるが、多くの場合では第1の色データの色域が不明となり、さまざまな種類の画像に対する良好な画像表示の実現が困難となる。また、例えばxvYCCが規定する色域は非常に広いため、多くのシーンにおいてその色域が最大に活用される可能性は低い。すなわち、一連の画像の集合ではなく、一枚ごとの画像を考えた場合には、その色域は大きく変動することになる。
一方で、一般にディスプレイの色域はxvYCCが規定する色域を内包できるほどには大きくなく、ディスプレイの色域内に収まる色域の画像と、ディスプレイの色域を超える色域の画像とが混在することになる。また、ディスプレイの色域を超える場合でも、その度合いは様々となる。これらに対して、良好な表示画像を得るための最適な色変換特性は同一とはならず、それぞれに異なる。
本発明は、さまざまな色域の色データが入力され、当該色データの色域が不明な場合においても、それぞれに対して適切な変換特性にて色変換処理を行う色変換装置または色変換方法を得ることを目的とする。
本発明に係る色変換装置は、
それぞれ赤、緑、青を表し、0%を下回る値や100%を上回る値にもなり得る3つの第1の色データからなる画素毎の画像情報である第1の画像データを変換して、それぞれ赤、緑、青を表す3つの第2の色データからなる第2の画像データを求める色データ変換装置において、
上記第1の色データの明度または彩度を含む特性情報を算出する手段と、
上記第1の色データより複数の色相のうちの特定の色相にのみ有効な複数の第1の色相領域データを算出する手段と、
上記特性情報を用いて、上記複数の第1の色相領域データの大きさを調整して、第2の色相領域データおよび第3の色相領域データを求める手段と、
上記第1の画像データの有する色域を検出して色域情報として出力する色域情報検出手段と、
上記色域情報を参照して、上記第2の色相領域データおよび第3の色相領域データに対して与えられる、上記第1の色データを0%から100%の範囲の上記第2の色データへと変換するための所定のマトリクス係数を発生する係数発生手段と、
上記第2の色相領域データおよび第3の色相領域データと上記マトリクス係数との乗算を含むマトリクス演算を行って上記第2の色データを算出するマトリクス演算手段と
を備え
上記赤、緑、青のいずれか一つの色を表す上記第1の色データが0%を下回るときに、上記係数発生手段は、上記一つの色以外の色を表す第2の色データの算出に関わる上記マトリクス係数を大きくし、
上記赤、緑、青のいずれか一つの色を表す上記第1の色データが100%を上回るときに、上記係数発生手段は、上記一つの色を表す上記第2の色データの算出に関わる上記マトリクス係数を小さくする
ことを特徴とする。
この発明によれば、さまざまな色域の色データが入力され、当該色データの色域が不明な場合においても、それぞれに対して適切な変換特性にて色変換処理を行うことが可能となる。
実施の形態1.
図1は、この発明を実施するための実施の形態1による色変換装置の構成の一例を示すブロック図である。本実施の形態の色変更装置は、第1の色相領域データ生成手段1a、
第2の色相領域データ生成手段2a、色域情報検出手段3、係数発生手段4a、マトリクス演算手段5aを備える。
第1の色データR1、G1、B1は、それぞれ赤、緑、青を表す色データであり、100%を上回る値、0%を下回る値(負値)が発生することもある。第1の色データR1、G1、B1は第1の色相領域データ生成手段1a、第2の色相領域データ生成手段2a
および色域情報検出手段3へと入力される。
図2は、第1の色相領域データ生成手段1aの構成の一例を示すブロック図である。第1の色データR1、G1、B1はαβ算出手段(最大最小算出手段)6aおよび有彩色成分データ算出手段7へと入力される。αβ算出手段6aは、第1の色データR1、G1、B1の最大値βと最小値αを選択して出力する。出力された最大値βと最小値αは、有彩色成分データ算出手段7へと入力される。ここで、最小値αは、第1の色データR1、G1、B1に含まれる無彩色(グレイ)の成分を表すデータである。
有彩色成分データ算出手段7は、第1の色データR1、G1、B1と上記αβ算出手段6aからの出力である最大値βと最小値αを入力とし、
r=R1−α、
g=G1−α、
b=B1−α、
y=β−B1、
m=β−G1、
c=β−R1
の減算処理を行い、6つの有彩色成分データr、g、b、y、m、cを出力する。ここで、有彩色成分データr、g、b、y、m、cは、色データより無彩色の成分を除いたものであり、色データの色相、彩度の情報に関わるデータである。上記の演算により求められた有彩色成分データにおいて、r、g、bのうちの少なくとも1つ、y、m、cのうちの少なくとも1つはゼロとなり、それ以外のものは正の値となる性質がある。
例えば、最大値βがR1、最小値αがG1である場合(β=R1、α=G1)、上記の減算処理よりg=0およびc=0となり、また最大値βがR1、最小値αがB1である場合(β=R1、α=B1)は、b=0およびc=0となる。すなわち、最大、最小となるR1、G1、B1の組み合わせにより、少なくとも、r、g、bの中で1つ、y、m、cの中で1つの合計2つの値がゼロとなることになる。有彩色成分データは、第1の色相領域データ演算手段8aへと入力される。
第1の色相領域データ演算手段8aでは、下記式(1)の演算により、第1の色相領域データhr1、hg1、hb1、hc1、hm1、hy1を算出する。なお、下記式(1)において、min(A、B)はAとBの最小値を求める演算である。第1の色相領域データhr1、hg1、hb1、hc1、hm1、hy1は、それぞれ赤、緑、青、シアン、マゼンタ、イエローの各色相においてのみ有効(0とならない)となる性質がある。
Figure 0004461164
第1の色相領域データhr1、hg1、hb1、hc1、hm1、hy1は、第2の色相領域データ生成手段2aへと入力される。
図3は、第2の色相領域データ生成手段2aの構成の一例を示すブロック図である。
第1の色データR1、G1、B1は乗算係数算出手段9へと入力される。乗算係数算出手段9は、入力された第1の色データR1、G1、B1の内容を参照して、第2の色相領域データを算出するための乗算係数k2および第3の色相領域データを算出するための乗算係数k3を算出する。乗算係数算出手段9の具体的な構成例については後述する。
第2の色相領域データ演算手段10aでは、下記式(2)の演算により、第1の色相領域データの大きさを調整して第2の色相領域データhr2、hg2、hb2、hc2、hm2、hy2を算出する。
Figure 0004461164
また、第3の色相領域データ演算手段11aでは、下記式(3)の演算により、第1の色相領域データの大きさを調整して第3の色相領域データhr3、hg3、hb3、hc3、hm3、hy3を算出する。
Figure 0004461164
第2の色相領域データhr2、hg2、hb2、hc2、hm2、hy2および第3の色相領域データhr3、hg3、hb3、hc3、hm3、hy3は、マトリクス演算手段5aへと入力される。
ここで、乗算係数算出手段9の動作について述べる。図4は、乗算係数算出手段9の構成の一例を示すブロック図である。図示の乗算係数算出手段9は、特性情報算出手段12と、ルックアップテーブル(LUT)13とを有する。特性情報算出手段12には第1の色データR1、G1、B1が入力され、第1の色データR1、G1、B1の特性情報CHが算出され、ルックアップテーブル13へと出力される。特性情報CHは、第1の色データR1、G1、B1の彩度、明度、またはその両方の情報を含むデータである。
ルックアップテーブル13はメモリなどにより構成され、あらかじめ特性情報CHに対応する乗算係数k2およびk3が、特性情報CHをアドレスとして格納されている。よって、特性情報CHを読み出しアドレスとして入力することにより、対応する乗算係数が出力される。したがって、乗算係数k2およびk3は、第1の色データR1、G1、B1の彩度または明度によって値が変化する係数となる。第2の色相領域データおよび第3の色相領域データは、これらの乗算係数によって大きさが調整されることとなり、結果として第1の色データR1、G1、B1の彩度または明度によって大きさ(影響度)が変化することになる。
特性情報CHの値に対して乗算係数k2およびk3の値を適宜設定することで、例えば、第2の色相領域データは彩度の低い場合、第3の色相領域データは彩度の高い場合に特に効果を有する(値が大きくなる)データとすることができる。以上が乗算係数算出手段9の動作である。
図4のLUT13と、図3の第2の色相領域データ演算手段10a及び第3の色相領域データ演算手段11aとにより、特性情報算出手段12が出力する特性情報を用いて、複数の第1の色相領域データhr1、hg1、hb1、hc1、hm1、hy1の大きさを調整して、第2の色相領域データhr2、hg2、hb2、hc2、hm2、hy2、および第3の色相領域データhr3、hg3、hb3、hc3、hm3、hy3を求める手段が構成されている。
色域情報検出手段3は、第1の色データR1、G1、B1を入力とし、第1の色データにより構成される画像データの色域を推定乃至検出して色域情報データGmtを出力する。
図5は、色域情報検出手段3の構成の一例を示すブロック図である。図示の色域情報検出手段3は、明度算出手段14、彩度算出手段15、色相判別手段16、色相別ヒストグラム生成手段17、及び色域情報出力手段18を有する。第1の色データR1、G1、B1は、明度算出手段14、彩度算出手段15、及び色相判別手段16へと入力される。
明度算出手段14は、第1の色データR1、G1、B1から画素ごとに明度情報VAを算出して出力する。明度情報VAは、例えば第1の色データの最大値を算出すること、もしくは第1の色データのそれぞれに係数をかけて加算することで求められる。ここで、100%の白を表す第1の色データがR1=G1=B1=1.0であるとすると、例えばsRGBに準拠した第1の色データは1.0を超える値とはならないが、xvYCCに準拠した第1の色データでは1.0を超える値も発生しうる。この場合、明度情報VAも1.0を超える値となる場合もある。
彩度算出手段15は、第1の色データR1、G1、B1から画素ごとに彩度情報SAを算出して出力する。彩度情報SAは、例えば第1の色データの最大値および最小値の差分を算出すること、もしくは当該差分を最大値にて除することにて求められる。ここでは、彩度情報SAは、第1の色データの最大値および最小値の差分を最大値にて除して求められるものとする。このとき、例えばsRGBに準拠した第1の色データについては、彩度情報SAは1.0を超える値とはならないが、xvYCCに準拠した第1の色データでは、彩度情報SAは1.0を超える値となりうる。第1の色データの最小値が0%を下回る場合には、最大値と最小値の差分は当該最大値よりも大きくなることから、彩度情報SAは1.0を超える値となる。
色相判別手段16は、第1の色データR1、G1、B1から画素ごとに色相情報HUEを算出して出力する。色相情報HUEは、例えば赤、イエロー、緑、シアン、青、マゼンタの6色相に無彩色を加えた7つに分類して出力される。図6は、色相判別手段16の一例を示す図である。図示の色相判別手段16は、αβ算出手段6a、有彩色成分データ算出手段7、及び色相算出手段19を有する。
αβ算出手段6aは、第1の色データR1、G1、B1の最大値βと最小値αを選択して出力する。出力された最大値βと最小値αは、有彩色成分データ算出手段7へと入力される。
有彩色成分データ算出手段7は、第1の色データR1、G1、B1と上記αβ算出手段6aからの出力である最大値βと最小値αを入力とし、6つの有彩色成分データr、g、b、y、m、cを出力する。色相算出手段19は、6つの有彩色成分データr、g、b、y、m、cの大小関係を用いて、色相情報HUEを求める。例えば、y>bかつm>gの場合、赤の色相であると判定し、色相情報HUE=0として出力する。図7(A)〜(F)は、赤、イエロー、緑、シアン、青、マゼンタの各色相、有彩色成分データr、b、g、y、m、c、色相情報HUEを示し、図8は、各色相の判定条件の一例について示した図である。なお、有彩色成分データが全て0の場合、無彩色であると判定し、色相情報HUE=6として出力する。以上が色相判定手段16の動作である。
画素ごとに算出された明度情報VA、彩度情報SAおよび色相情報HUEは、色相別ヒストグラム生成手段17へと入力される。色相別ヒストグラム生成手段17は、色相情報HUEごとに明度情報VAおよび彩度情報SAを一定期間、例えば、数フレーム期間蓄積し、色相別ヒストグラムH(H,S,V)を生成する。例えば、H(0,S,V)は、赤の色相に対する彩度情報SA及び明度情報VAの過去数フレーム分のヒストグラムとなる。色域情報出力手段18は、色相別ヒストグラムH(H,S,V)を参照して、色域情報Gmtを算出する。上記の処理を行なうことで、ヒストグラム生成手段17は、特定の色相毎に色域情報を求めることができ、また上記の一定期間に入力される所定数の第1の色データの明度情報又は彩度情報の最大値又は最大値に準ずる値を算出することとなる。なお、一定期間を1フレーム期間としても良く、参照する期間が短いほどヒストグラム生成のためのカウント対象が少なくて済むメリットがあるが、ノイズの影響を受け安いという問題がある。
例えば、色域情報Gmtは、各色相に対する彩度情報SAの最大値又は最大値に準ずる値、および明度情報VAの最大値又は最大値に準ずる値として出力される。ここで、「最大値に準ずる値」とは、ヒストグラムにおいて各階級、例えば各データ値(各データ値で一つの階級が構成される場合)に対する度数を、データ値の大きい方からカウントして、度数のカウント値(累積値)が所定のしきい値を超えるデータ値を指す。なお、ヒストグラムの各階級が複数のデータ値で構成される場合には、度数のカウント値が所定の閾値を超える階級の代表値(例えばその階級の中央値)が最大値に準ずる値となる。
彩度情報SAの最大値自体および明度情報VAの最大値自体を用いる場合、色相別ヒストグラム生成手段17は、最大値を求める手段で置き換えることもできる。ただし、色域情報Gmtとして、彩度情報SAの最大値および明度情報VAの最大値自体を用いる場合には、構成を簡略化できる一方で、雑音から受ける影響は大きくなる。以上のように、色域情報Gmtは生成される。
色域情報Gmtは、係数発生手段4aへと入力される。係数発生手段4aは、色域情報Gmtの内容を参照して、マトリクス演算手段5aにて用いられるマトリクス係数Uを生成する。マトリクス係数Uは、第2の色相領域データにかかるマトリクス係数(A2ij)と第3の色相領域データにかかるマトリクス係数(A3ij)で構成される。マトリクス演算手段5aでは、下記式(4)にて表されるマトリクス演算を行って、第2の色データR2、G2、B2を算出する。この際、第2の色データR2、G2、B2は0%から100%の範囲にクリップ処理される。ここで、第2の色相領域データにかかるマトリクス係数(A2ij)は、i行j列のマトリクスで表され、第3の色相領域データにかかる(A3ij)はi行j列のマトリクスで表され、ともにi=1〜3、j=1〜6である。
Figure 0004461164
ここで、係数発生手段4aにおけるマトリクス係数算出の動作についてさらに述べる。係数発生手段4aでは、色域情報Gmtを参照して、上記の式(4)におけるマトリクス係数(A2ij)、(A3ij)を生成する。色域情報Gmtには、赤、イエロー、緑、シアン、青、マゼンタの各色相における、彩度情報SAおよび明度情報VAの最大値又は最大値に準ずる値が含まれる。彩度情報には各色相における補色成分の量が大きく関わる。また、明度情報には各色相における原色成分の量が大きく関わる。例えば、赤の補色はシアンであることから、赤の色相における補色成分はシアンを構成するGデータおよびBデータとなる。また、赤の色相における原色成分はRデータとなる。したがって、係数発生手段4aでは、色域情報Gmtに含まれる各色相における彩度情報を参照して、当該色相における補色成分に関わる係数を生成する。例えば、赤の色相における彩度情報を参照して、赤の色相に対するGデータおよびBデータの大きさを決定する係数(上記式(4)においてhr2またはhr3に係り、G2およびB2の算出に関わる係数)を生成する。また、色域情報Gmtに含まれる各色相における明度情報を参照して、当該色相における原色成分に関わる係数を生成する。例えば、赤における明度情報を参照して、赤の色相に対するRデータの大きさを決定する係数(上記式(4)においてhr2またはhr3に係り、R2の算出に関わる係数)を生成する。
第1の色データとしては、sRGBに準拠した色データやxvYCCに準拠した色データなど、さまざまな色データが考えられ、前述のように0%を下回る値や100%を上回る値も発生しうる。0%とは黒を表現する際のR、G、Bのデータ値であり、白を表現するためのR、G、Bのデータ値である。0%を下回る値や100%を上回る値を許容することで、より広範囲の色を表現可能となる。0%を下回る値を許容することで、より高彩度の色を表現可能となり、100%を上回る値を許容することで、より高明度の色を表現可能となる。
一方で、第2の色データは後段に備えられる画像表示手段などの特性に関連付けられたデータとなり、0%から100%の範囲のデータとなる。0%とは黒を表すデータ値であり、理想的には画像表示手段が無発光となるデータ値である。また、100%とは画像表示手段が最大発光となるデータ値であり、R、G、Bともに100%の場合に当該デバイスの持つ白色となる。本発明における色変換装置は、第1の色データを第2の色データへ変換するものであるが、第1の色データにおける0%を下回る値や100%を上回る値も含めて、0%から100%の範囲の第2の色データへとマッピングする必要がある。第2の色データにおいて0%を下回る値や100%を上回る値となることは、当該色は後段に備えられる画像表示手段などにおける表示可能な色域の範囲外であることを表しており、つぶれが発生することになる。
係数発生手段4aは、特に第1の色データにおいて0%を下回るデータ、100%を上回るデータが(多く)発生した場合に、データのつぶれを抑制しながら第2の色データへと変換する係数を発生する。第1の色データにおいて0%を下回るデータが発生した場合、例えば、R1=80%、G1=0%、B1=−20%のデータが発生した場合を考える。このとき、第1の色データの最大値は80%、最小値は−20%である。彩度情報SA=(80%−(−20%))/80%=1.25となり、1.0を超える値となる。また、上記データの色相は赤と判定されるので、画像中の赤における彩度の最大値が1.0を超える値となる。係数発生手段4aは、いずれかの色相における彩度情報の最大値が1.0を超える場合に、0%を下回る第1の色データが発生していると判断し、当該色相における補色成分に関わる係数を大きくする。
第1の色データにおいて100%を上回るデータが発生した場合、例えば、R1=120%、G1=20%、B1=0%のデータが発生した場合を考える。このとき、第1の色データの最大値は120%である。明度情報VA=120%となり、100%を超える値となる。また、上記データの色相は赤と判定されるので、画像中の赤における明度の最大値が100%を超える値となる。係数発生手段4aは、いずれかの色相における明度情報の最大値が100%を超える場合に、100%を上回る第1の色データが発生していると判断し、当該色相における原色成分に関わる係数を小さくする。
ここで、第2の色相領域データを彩度および明度が低い時に有効となるデータ、第3の色相領域データを彩度または明度が高い時に有効となるデータとなるように構成すると、係数(A2ij)は彩度および明度が低い時に有効な係数となり、係数(A3ij)は彩度または明度が高い時に有効な係数となる。この際、係数発生手段4aは、係数(A3ij)のみを色域情報Gmtの内容に応じて変更する構成も考えられる。このような構成では、0%を下回るデータが発生するような彩度の高い第1の色データが入力された場合において、全ての色(画像全体)の彩度を落とすのではなく、彩度の高い色のみの彩度を低下させることで、つぶれを改善することができ、また、画像全体として色が薄くなった印象も避けることができる。
同様に、100%を上回るデータが発生するような明度の高い第1の色データが入力された場合において、全ての色の明度を落とすのではなく、明度の高い色のみの明度を低下させることで、つぶれを改善することができ、また、画像全体として色が暗くなった印象も避けることができる。このとき、係数(A2ij)は画像表示手段の特性に応じて、あらかじめ決められた値としておけば良い。なお、以上の動作は一例として述べたものであり、必ずしもこの通りである必要はない。さらに、色域情報Gmtの内容から、第1の色データの色域が狭いと判断される場合に対して、係数発生手段4aは画像表示手段の特性に応じて決められた一定の係数を発生するように構成しても良いし、色域情報Gmtの内容に応じて変動する係数を発生するように構成しても良い。例えば、色域情報Gmtの内容から、第1の色データの彩度が低いと判断される時、当該色相における補色成分を減らすような係数を発生し、第1の色データの明度が低いと判断される時、当該色相における原色成分を増やすような係数を発生することで、全体的に色が薄いまたは暗い画像について、鮮やかな画像として表示することも可能となる。
なお、本実施の形態における色変換装置において、色域情報検出手段3は、赤、イエロー、緑、シアン、青、マゼンタの6つの色相に対して色域を検出する構成とし、第1の色相領域データ生成手段1aは、赤、イエロー、緑、シアン、青、マゼンタの6つの色相に有効なデータを算出する構成としたが、必ずしもこれに限るものではない。色相の数を減らすことで構成を簡単化できる一方、色相の数を増やすことでより細やかな制御が可能となる。また、色域を検出する色相と、色相領域データのそれぞれが有効となる色相が一致している場合、マトリクス係数の算出が容易となる。
以上のように本実施の形態の色変換装置によれば、さまざまな色域の色データが入力され、当該色データの色域が不明な場合においても、色域情報検出手段にて検出した色域情報を用いて、色変換処理に用いるマトリクス係数を発生するので、入力される色データの色域に対して適切な変換特性での色変換処理を行うことができる。特に、広い色域を有する色データに対しても、つぶれの発生を抑制し、適切な色変換処理を行うことができる。
実施の形態2.
図9は、この発明を実施するための実施の形態2による色変換装置の構成の一例を示すブロック図である。本実施の形態の色変換装置は、有彩色成分データにおいて、少なくとも、r、g、bの中で1つ、y、m、cの中で1つの合計2つの値がゼロとなることを利用し、演算量の削減を図ったものである。本実施の形態の色変更装置は、第1の色相領域データ生成手段1b、第2の色相領域データ生成手段2b、色相情報検出手段3、係数発生手段4b、マトリクス演算手段5bを備える。なお、色相情報検出手段3については、上記実施の形態1におけるものと同様のものである。第1の色データR1、G1、B1は、第1の色相領域データ生成手段1b、第2の色相領域データ生成手段2bおよび色域情報検出手段3へと入力される。
図10は、第1の色相領域データ生成手段1bの構成の一例を示すブロック図である。第1の色データR1、G1、B1はαβ算出手段6bおよび有彩色成分データ算出手段7へと入力される。αβ算出手段6bは、第1の色データR1、G1、B1の最大値βと最小値αを選択して出力するとともに、第1の色データR1、G1、B1のいずれが最大、最小であったかを示す識別符号S1を生成する。出力された最大値βと最小値αは、有彩色成分データ算出手段7へと入力される。一方、識別符号S1は、第1の色相領域データ演算手段8bへと入力されるとともに、外部へも出力される。有彩色成分データ算出手段7は、第1の色データR1、G1、B1と上記αβ算出手段6bからの出力である最大値βと最小値αを入力とし、r=R1−α、g=G1−α、b=B1−αおよびy=β−B1、m=β−G1、c=β−R1の減算処理を行い、6つの有彩色成分データr、g、b、y、m、cを出力する。
有彩色成分データにおいて、r、g、bのうちの少なくとも1つ、y、m、cのうちの少なくとも1つはゼロとなる性質がある。有彩色成分データは、第1の色相領域データ演算手段8bへと入力される。第1の色相領域データ演算手段8bは、識別符号S1の内容に基づいて、有彩色成分データr、g、b中でゼロでない2つのデータQ1、Q2と、y、m、c中でゼロでない2つのデータP1、P2を選択する。ただし、有彩色成分データr、g、bの2つ以上が0となる場合には、Q1、Q2の少なくとも一方はゼロとなり、有彩色成分データy、m、cの2つ以上が0となる場合には、P1、P2の少なくとも一方はゼロとなる。さらに、第1の色相領域データ演算手段8bは、下記式(5)の演算により、第1の色相領域データhq1、hp1を算出する。なお、下記式(5)において、min(A、B)はAとBの最小値を求める演算である。
Figure 0004461164
ここで、第1の色相領域データhq1は、hy1=min(r,g)、hm1=min(b,r)、hc1=min(g,b)のいずれかとなり、第1の色相領域データhp1は、hr1=min(y,m)、hg1=min(c,y)、hb1=min(m,c)のいずれかとなる。なお、min(A,B)は、AとBとの最小値選択を表す。第1の色相領域データhq1、hp1が、hr1、hg1、hb1、hy1、hm1、hc1のいずれとなるかは、画素により異なり、各画素において識別符号S1の内容により識別することができる。第1の色相領域データhq1およびhp1は、第2の色相領域データ生成手段2bへと送られる。
図11は、第2の色相領域データ生成手段2bの構成の一例を示すブロック図である。第1の色データR1、G1、B1は乗算係数算出手段9へと入力される。乗算係数算出手段9は、入力された第1の色データR1、G1、B1の内容を参照して、第2の色相領域データを算出するための乗算係数k2および第3の色相領域データを算出するための乗算係数k3を算出する。乗算係数算出手段9は、実施の形態1にて述べたものと同様に構成できる。第2の色相領域データ演算手段10bでは、下記式(6)の演算により、第2の色相領域データhp2、hq2を算出する。
Figure 0004461164
また、第3の色相領域データ演算手段11bでは、下記式(7)の演算により、第3の色相領域データhp3、hq3を算出する。
Figure 0004461164
第2の色相領域データ生成手段2bから出力された第2の色相領域データhq2およびhp2、第3の色相領域データhq3およびhp3は、マトリクス演算手段5bへと送られる。
色域情報検出手段3は、第1の色データR1、G1、B1を入力とし、第1の色データにより構成される画像データの色域を推定して色域情報データGmtを出力する。この動作は、上記実施の形態1に述べたものと同様である。
色域情報Gmtは、係数発生手段4bへと入力される。係数発生手段4bは、色域情報Gmtの内容を参照して、マトリクス演算手段5bにて用いられるマトリクス係数Uを生成する。この際、識別符号S1も参照して、画素ごとに出力すべきマトリクス係数を決定する。マトリクス係数Uは、第2の色相領域データにかかるマトリクス係数(A2ij)と第3の色相領域データにかかるマトリクス係数(A3ij)で構成される。マトリクス演算手段5bでは、下記式(8)にて表されるマトリクス演算を行って、第2の色データR2、G2、B2を算出する。ここで、第2の色相領域データにかかるマトリクス係数(A2ij)は、はi行j列のマトリクスで表され、第3の色相領域データにかかるマトリクス係数(A3ij)はi行j列のマトリクスで表され、ともにi=1〜3、j=1〜2である。
Figure 0004461164
以上のように本実施の形態の色変換装置によれば、さまざまな色域の色データが入力され、当該色データの色域が不明な場合においても、色域情報検出手段にて検出した色域情報を用いて、色変換処理に用いるマトリクス係数を発生するので、入力される色データの色域に対して適切な変換特性での色変換処理を行うことができる。特に、広い色域を有する色データに対しても、つぶれの発生を抑制し、適切な色変換処理を行うことができる。また、有彩色成分データの性質を利用し、各画素において必要な演算のみを行うように構成したので、演算量(回路規模)の削減が可能となる。
実施の形態3.
図12は、この発明を実施するための色域情報検出手段の別の構成例を示すブロック図である。図12に示す色域情報検出手段は、上記実施の形態1の色域情報検出手段3における明度算出手段14および彩度算出手段15をそれぞれ最大値算出手段20および最小値算出手段21に置き換えたものである。最大値算出手段20は、第1の色データR1,G1,B1のうちの最大値MX(先に述べた、符号βで表される最大値と同じ)を画素毎に算出して出力する。最小値算出手段21は、第1の色データR1,G1,B1のうちの最小値MN(先に述べた、符号αで表される最小値と同じ)を画素毎に算出して出力する。色相別ヒストグラム生成手段17では、最大値MXを明度情報VAとして、最小値MNの補数を彩度情報SAとして扱うことで、上記実施の形態1にて述べたものと同様の動作となる。
色域情報出力手段18も上記実施の形態1にて述べたものと同様の動作を行う。この際、色域情報Gmtは、各色相に対する最大値MXの、一定の期間、例えば数フレーム期間にわたる最大値又は最大値に準ずる値(従って、所定数の第1の色データの最大値又は最大値に準ずる値)、および最小値MNの補数の、一定の期間、例えば数フレーム期間にわたる最大値又は最大値に準ずる値、言い換えれば、最小値MNの一定の期間、例えば数フレーム期間にわたる最小値又は最小値に準ずる値として出力されることになる。
上記実施の形態1にて述べたのと同様に、係数発生手段4aでは、色域情報Gmtに含まれる各色相における彩度情報を参照して、当該色相における補色成分に関わる係数を生成し、明度情報を参照して、当該色相における原色成分に関わる係数を生成する。この動作はすなわち、各色相における第1の色データの最小値を参照して、当該色相における補色成分に関わる係数を生成し、第1の色データの最大値を参照して、当該色相における原色成分に関わる係数を生成することとなる。
色データの最小値には各色相における補色成分の量が大きく関わる。また、色データの最大値には各色相における原色成分の量が大きく関わる。したがって、係数発生手段4aでは、色域情報Gmtに含まれる各色相における第1の色データの最小値を参照して、当該色相における補色成分に関わる係数を生成する。例えば、赤の色相に対しては、最小となる色データはGまたはBデータである。また、赤の色相における補色はシアンであり、シアンはGおよびBデータで生成されることから、赤の色相における補色成分はGおよびBデータに関わる。よって、赤の色相における最小値が0%を下回る場合、補色成分に関わるGおよびBデータを生成するための係数を大きくすることで、第2の色データにおけるつぶれの発生を抑制できる。
また、係数発生手段では、色域情報Gmtに含まれる各色相における第1の色データの最大値を参照して、当該色相における原色成分に関わる係数を生成する。例えば、赤の色相に対しては、最大となる色データはRデータである。また、赤の色相における原色成分はRデータに関わる。よって、赤の色相における最大値が100%を上回る場合、原色成分に関わるRデータを生成するための係数を小さくすることで、第2の色データにおけるつぶれの発生を抑制できる。本実施の形態における色域情報検出手段によれば、より構成が簡単化できる。本実施の形態における色域情報検出手段の構成では、色信号の最大値、最小値といった信号量を色域情報として用いる。一方で、色域情報として彩度情報を用いる場合には演算量は多くなるが、色データの大きさに対する比率として求められる。マトリクス演算に用いるマトリクス係数も色データに対する比率を表すものであることから、マトリクス係数を決定するにあたっては、彩度情報を用いる方が適していると考えることもできる。色域情報検出手段の構成は、目的などに応じて適切な構成を選択することになる。
本発明に係る色変換装置の一実施例を示すブロック図である。 第1の色相領域データ算出手段の内部構成の一例を示すブロック図である。 第2の色相領域データ算出手段の内部構成の一例を示すブロック図である。 乗算係数算出手段の内部構成の一例を示すブロック図である。 色域情報検出手段の内部構成の一例を示すブロック図である。 色相判別手段の内部構成の一例を示すブロック図である。 (A)〜(F)は、各色相と、有彩色成分データ、及び色相情報の一例を示す図である。 各色相の判定条件の一例を示す図である。 本発明に係る色変換装置の一実施例を示すブロック図である。 第1の色相領域データ算出手段の内部構成の一例を示すブロック図である。 第2の色相領域データ算出手段の内部構成の一例を示すブロック図である。 色域情報検出手段の内部構成の一例を示すブロック図である。
符号の説明
1a、1b 第1の色相領域データ生成手段、 2a、2b 第2の色相領域データ生成手段、 3 色域情報検出手段、 4a、4b 係数発生手段、 5a、5b マトリクス演算手段、 6a、6b αβ算出手段、 7 有彩色成分データ算出手段、 8a、8b 第1の色相領域データ演算手段、 9 乗算係数算出手段、 10a、10b 第2の色相領域データ演算手段、 11a、11b 第3の色相領域データ演算手段、 12 特性情報算出手段、 13 ルックアップテーブル(LUT)、 14 明度算出手段、 15 彩度算出手段、 16 色相判別手段、 17 色相別ヒストグラム生成手段、 18 色域情報出力手段、 19 色相算出手段、 20 最大値算出手段、 21 最小値算出手段。

Claims (9)

  1. それぞれ赤、緑、青を表し、0%を下回る値や100%を上回る値にもなり得る3つの第1の色データからなる画素毎の画像情報である第1の画像データを変換して、それぞれ赤、緑、青を表す3つの第2の色データからなる第2の画像データを求める色データ変換装置において、
    上記第1の色データの明度または彩度を含む特性情報を算出する手段と、
    上記第1の色データより複数の色相のうちの特定の色相にのみ有効な複数の第1の色相領域データを算出する手段と、
    上記特性情報を用いて、上記複数の第1の色相領域データの大きさを調整して、第2の色相領域データおよび第3の色相領域データを求める手段と、
    上記第1の画像データの有する色域を検出して色域情報として出力する色域情報検出手段と、
    上記色域情報を参照して、上記第2の色相領域データおよび第3の色相領域データに対して与えられる、上記第1の色データを0%から100%の範囲の上記第2の色データへと変換するための所定のマトリクス係数を発生する係数発生手段と、
    上記第2の色相領域データおよび第3の色相領域データと上記マトリクス係数との乗算を含むマトリクス演算を行って上記第2の色データを算出するマトリクス演算手段と
    を備え
    上記赤、緑、青のいずれか一つの色を表す上記第1の色データが0%を下回るときに、上記係数発生手段は、上記一つの色以外の色を表す第2の色データの算出に関わる上記マトリクス係数を大きくし、
    上記赤、緑、青のいずれか一つの色を表す上記第1の色データが100%を上回るときに、上記係数発生手段は、上記一つの色を表す上記第2の色データの算出に関わる上記マトリクス係数を小さくする
    ことを特徴とする色変換装置。
  2. 上記色域情報検出手段は、
    複数の色相のうちの特定の色相毎の情報として上記色域情報を求めることを特徴とする請求項1に記載の色変換装置。
  3. 上記色域情報検出手段は、
    色域情報として所定数の上記第1の色データの最大値又は最大値に準ずる値を算出する手段を備え、
    上記係数発生手段は、上記最大値又は最大値に順ずる値を用いて、上記第2の色相領域データまたは第3の色相領域データのそれぞれが対応する色相における原色を構成する上記第2の色データの算出に関わるマトリクス係数を算出する
    ことを特徴とする請求項1又は2に記載の色変換装置。
  4. 上記色域情報検出手段は、色域情報として所定数の上記第1の色データの最小値又は最小値に準ずる値を算出する手段を備え、
    上記係数発生手段は、上記最小値又は最小値に準ずる値を用いて、上記第2の色相領域データまたは第3の色相領域データのそれぞれが対応する色相に対する補色を構成する上記第2の色データの算出に関わるマトリクス係数を算出する
    ことを特徴とする請求項1又は2に記載の色変換装置。
  5. 上記色域情報検出手段は、色域情報として所定数の上記第1の色データの明度の最大値又は最大値に準ずる値を算出する手段を備え、
    上記係数発生手段は、上記明度の最大値又は最大値に準ずる値を用いて、上記第2の色相領域データまたは第3の色相領域データのそれぞれが対応する色相における原色を構成する上記第2の色データの算出に関わるマトリクス係数を算出する
    ことを特徴とする請求項1又は2に記載の色変換装置。
  6. 上記色域情報検出手段は、色域情報として所定数の上記第1の色データの彩度の最大値又は最大値に準ずる値を算出する手段を備え、
    上記係数発生手段は、上記彩度の最大値又は最大値に準ずる値を用いて、上記第2の色相領域データまたは第3の色相領域データのそれぞれが対応する色相に対する補色を構成する上記第2の色データの算出に関わるマトリクス係数を算出することを特徴とする請求項1又は2に記載の色変換装置。
  7. 上記特性情報は上記第1の色データの明度の情報を含み、
    上記特性情報が上記第1の色データの明度が高いことを示す場合に、上記第2の色相領域データおよび第3の色相領域データのいずれか一方が大きくなり、
    上記係数発生手段は、上記色域情報を参照して、上記特性情報が上記第1の色データの明度が高いことを示す場合に大きくなる色相領域データに対するマトリクス係数を変化させることを特徴とする請求項3又は5に記載の色変換装置。
  8. 上記特性情報は上記第1の色データの彩度の情報を含み、
    上記特性情報が上記第1の色データの彩度が高いことを示す場合に、上記第2の色相領域データおよび第3の色相領域データのいずれか一方が大きくなり、
    上記係数発生手段は、上記色域情報を参照して、上記特性情報が上記第1の色データの彩度が高いことを示す場合に大きくなる色相領域データに対するマトリクス係数を変化させることを特徴とする請求項4又は6に記載の色変換装置。
  9. それぞれ赤、緑、青を表し、0%を下回る値や100%を上回る値にもなり得る3つの第1の色データからなる画素毎の画像情報である第1の画像データを変換して、それぞれ赤、緑、青を表す3つの第2の色データからなる第2の画像データを求める色データ変換方法において、
    上記第1の色データの明度または彩度を含む特性情報を算出するステップと、
    上記第1の色データより複数の色相のうちの特定の色相にのみ有効な複数の第1の色相領域データを算出するステップと、
    上記特性情報を用いて、上記複数の第1の色相領域データの大きさを調整して、第2の色領域データおよび第3の色相領域データを求めるステップと、
    上記第1の画像データの有する色域を検出して色域情報として出力する色域情報検出ステップと、
    上記色域情報を参照して、上記第2の色相領域データおよび第3の色相領域データに対して与えられる、上記第1の色データを0%から100%の範囲の上記第2の色データへと変換するための所定のマトリクス係数を発生する係数発生ステップと、
    上記第2の色相領域データおよび第3の色相領域データと上記マトリクス係数との乗算を含むマトリクス演算を行って上記第2の色データを算出するマトリクス演算ステップと
    を備え
    上記赤、緑、青のいずれか一つの色を表す上記第1の色データが0%を下回るときに、上記係数発生手段は、上記一つの色以外の色を表す第2の色データの算出に関わる上記マトリクス係数を大きくし、
    上記赤、緑、青のいずれか一つの色を表す上記第1の色データが100%を上回るときに、上記係数発生手段は、上記一つの色を表す上記第2の色データの算出に関わる上記マトリクス係数を小さくする
    ことを特徴とする色変換方法。
JP2007212779A 2007-08-17 2007-08-17 色変換装置および色変換方法 Expired - Fee Related JP4461164B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2007212779A JP4461164B2 (ja) 2007-08-17 2007-08-17 色変換装置および色変換方法
US12/222,731 US8072647B2 (en) 2007-08-17 2008-08-14 Color conversion apparatus and method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007212779A JP4461164B2 (ja) 2007-08-17 2007-08-17 色変換装置および色変換方法

Publications (2)

Publication Number Publication Date
JP2009049633A JP2009049633A (ja) 2009-03-05
JP4461164B2 true JP4461164B2 (ja) 2010-05-12

Family

ID=40362738

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007212779A Expired - Fee Related JP4461164B2 (ja) 2007-08-17 2007-08-17 色変換装置および色変換方法

Country Status (2)

Country Link
US (1) US8072647B2 (ja)
JP (1) JP4461164B2 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009093294A1 (ja) * 2008-01-24 2009-07-30 Panasonic Corporation 画像信号処理装置及び画像信号処理プログラム
US8624907B2 (en) * 2009-06-26 2014-01-07 Intel Corporation Graphics analysis techniques
JP7034742B2 (ja) * 2018-01-29 2022-03-14 キヤノン株式会社 画像形成装置、その方法およびプログラム

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0469860A (ja) 1990-07-11 1992-03-05 Nec Corp 可換性ディスク種類判別方法
JP3698118B2 (ja) * 2002-06-05 2005-09-21 三菱電機株式会社 色変換装置および色変換方法
JP4203791B2 (ja) 2002-12-19 2009-01-07 ソニー株式会社 撮像装置、色調整装置及び色調整方法
JP4069860B2 (ja) 2003-12-16 2008-04-02 三菱電機株式会社 色変換装置および色変換方法
JP2005192158A (ja) 2003-12-26 2005-07-14 Konica Minolta Photo Imaging Inc 画像処理方法、画像処理装置及び画像記録装置
JP4608961B2 (ja) 2004-03-08 2011-01-12 セイコーエプソン株式会社 画像処理装置、画像処理方法および画像処理プログラム
JP2007116237A (ja) * 2005-10-18 2007-05-10 Mitsubishi Electric Corp 色データ変換装置および色データ変換方法
JP2007163647A (ja) * 2005-12-12 2007-06-28 Mitsubishi Electric Corp 画像表示装置

Also Published As

Publication number Publication date
JP2009049633A (ja) 2009-03-05
US8072647B2 (en) 2011-12-06
US20090046332A1 (en) 2009-02-19

Similar Documents

Publication Publication Date Title
US8624917B2 (en) Image input unit and image input method
US8437053B2 (en) Gamut mapping using hue-preserving color space
JP4424518B2 (ja) 画像処理装置、画像処理方法および画像処理プログラム
US8902247B2 (en) Method and apparatus for brightness-controlling image conversion
US8477366B2 (en) Apparatus, method and medium outputting wide gamut space image
JP3888176B2 (ja) 色変換装置、および色変換方法
WO2010067488A1 (ja) 色補正装置および色補正方法
JP2009081617A (ja) 画像データ処理装置および画像データ処理方法
JP2014033273A (ja) 色域変換装置、デジタルカメラ、色域変換プログラムおよび色域変換方法
JP4461164B2 (ja) 色変換装置および色変換方法
JP2004328564A (ja) カラー補正装置、カラー補正方法及びカラー補正プログラム、並びにカラー補正装置を用いたデジタルカメラ
US6580822B1 (en) Device, method and record medium for color space conversion from RGB data to CMYK data
JP2009135895A (ja) 映像信号変換装置,映像表示装置,映像信号変換方法
JP4910557B2 (ja) 色変換装置、色変換方法、色変換プログラム、色変換係数作成装置、色変換係数作成方法、及び色変換係数作成プログラム
US20100328343A1 (en) Image signal processing device and image signal processing program
JP2007259434A (ja) 画像処理装置及びその方法
KR100885880B1 (ko) 실시간 영상 처리 장치 및 방법
JP4069860B2 (ja) 色変換装置および色変換方法
JP4466037B2 (ja) 画像処理装置及び画像処理方法
JP2014033274A (ja) 色域変換装置、デジタルカメラ、色域変換プログラムおよび色域変換方法
WO2004114678A1 (ja) 画像処理システム及び画像処理方法
JP4069858B2 (ja) 色変換装置および色変換方法
JP2008227958A (ja) 画像処理装置、画像処理方法および画像処理プログラム
JP2008245117A (ja) 画像処理装置、画像処理方法および画像処理プログラム
JP2008245116A (ja) 画像処理装置、画像処理方法および画像処理プログラム

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20090730

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090818

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20091006

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20091110

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20091224

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100126

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100215

R150 Certificate of patent or registration of utility model

Ref document number: 4461164

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130219

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130219

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140219

Year of fee payment: 4

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees