JP3576612B2 - 色変換処理装置 - Google Patents

色変換処理装置 Download PDF

Info

Publication number
JP3576612B2
JP3576612B2 JP30238094A JP30238094A JP3576612B2 JP 3576612 B2 JP3576612 B2 JP 3576612B2 JP 30238094 A JP30238094 A JP 30238094A JP 30238094 A JP30238094 A JP 30238094A JP 3576612 B2 JP3576612 B2 JP 3576612B2
Authority
JP
Japan
Prior art keywords
color
signal
interpolation
signals
bits
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP30238094A
Other languages
English (en)
Other versions
JPH08161468A (ja
Inventor
勝己 浅川
博明 杉浦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Priority to JP30238094A priority Critical patent/JP3576612B2/ja
Publication of JPH08161468A publication Critical patent/JPH08161468A/ja
Application granted granted Critical
Publication of JP3576612B2 publication Critical patent/JP3576612B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Image Processing (AREA)
  • Processing Of Color Television Signals (AREA)
  • Color Image Communication Systems (AREA)
  • Controls And Circuits For Display Device (AREA)

Description

【0001】
【産業上の利用分野】
本発明は、色変換処理装置に関するものである。
【0002】
【従来の技術】
図7は、従来の色変換処理装置及び色逆変換処理装置を示すブロック回路図である。図において、44,45は3次元ルックアップテーブル(以下、「LUT」と記す)である。
【0003】
次に、動作について説明する。カラーテレビジョン方式には、NTSC(National Television System Committee)方式、PAL(Phase Alternation by Line)方式、SECAM(Sequential a Memoire)方式があるが、例えばNTSC方式におけるRGB色空間の信号を、CIE 1976 L均等知覚色空間の信号に変換する方法を以下に示す。
【0004】
CIE 1976 L均等知覚色空間は、国際照明委員会(Commission Internationale del’Eclairage 略称 CIE)が1976年に推奨した知覚的にほぼ均等な歩度をもつ色空間である。まず、以下の(1),(2),(3)式に示すように、NTSC方式のRGB信号をXYZに変換する。
Figure 0003576612
【0005】
NTSC方式における基準白色はC光源(色度座標x=0.3101,y=0.3163:相関色温度約6770K)であり、C光源の三刺激値XはYを100とすると(4),(5),(6)式のようになる。
Figure 0003576612
【0006】
XYZから基準白色をC光源とするLに変換する。
Figure 0003576612
(1)式〜(16)式の変換式により、NTSC方式におけるRGB色空間の信号を、CIE 1976 L均等知覚色空間の信号に非線形変換する。
【0007】
次に、CIE 1976 L均等知覚色空間をRGB色空間の信号に逆変換する方法を以下に示す。
まず、以下の(17)式〜(20)式に示すように、基準白色をC光源とするLからXYZに変換する。
Figure 0003576612
【0008】
XYZをNTSC方式のRGB信号に変換する。
Figure 0003576612
【0009】
(1)式〜(16)式の変換式から全てのR,G,Bに対するL,a,bを算出し、変換値を3次元LUT44に記憶させる。また、(17)式〜(23)式の逆変換式からL,a,bに対する全てのR,G,Bを算出し、変換値を3次元LUT45に記憶させる。
【0010】
図8に3次元LUT44の概念図を示す。3次元LUT44により、入力信号Ri,Gi,Biの格子点に位置する出力信号L(Ri,Gi,Bi),a(Ri,Gi,Bi),b(Ri,Gi,Bi)が得られる。
【0011】
図9に3次元LUT45の概念図を示す。3次元LUT45により、入力信号Li,ai,biの格子点に位置する出力信号R(Li,ai,bi),G(Li,ai,bi),B(Li,ai,bi)が得られる。
【0012】
これらの正変換、逆変換に用いる3次元LUTの格子点数を多くするほど変換精度は高くなる。全ての入力信号に対する出力信号をLUTにより直接得る方法をダイレクトマッピング法といい、ダイレクトマッピング法を用いると、どの様な複雑な変換方法であっても、高速かつ高精度の変換が可能となる。
【0013】
しかし、例えば入力信号R,G,B、出力信号L,a,bを各々8ビットとすると、この正変換に用いる3次元LUT44の容量は384Mビットとなり、大規模な記憶手段を必要とするため、実用的ではない。一般には、入力信号の上位信号を用いてダイレクトマッピング法により数個の近傍値を得、入力信号の下位信号を用いて、数個の近傍値から出力信号を補間する方法が用いられる。
【0014】
次に、他の従来の技術について説明する。図10は、「ITEJ Technical Report Vol.16,No.31,pp.25−30」に示された他の従来の色変換処理装置を示すブロック回路図である。図において、46は3次元LUT、47は補間係数生成回路、48から55は乗算器、56は加算回路である。
【0015】
入力信号Ri,Gi,Biの上位信号Rn,Gn,Bnを3次元LUT46に入力する。また、Ri,Gi,Biの下位信号r,g,bを補間係数生成回路47に入力する。3次元LUT46の出力d,d,d,d,d,d,d,dを各々乗算器48,49,50,51,52,53,54,55に入力する。補間係数生成回路47の出力w,w,w,w,w,w,w,wを各々乗算器48,49,50,51,52,53,54,55に入力する。乗算器48,49,50,51,52,53,54,55の出力を加算回路56に入力する。加算回路56の出力の上位8ビット分dを得る。dはd,d,d,d,d,d,d,dに各々w,w,w,w,w,w,w,wを乗じて加え合わせ、補間係数を1に正規化するために下位15ビット分を切り捨てたものである。
【0016】
次に、動作について説明する。入力信号Ri,Gi,Biを各々mビットの信号、入力信号Ri,Gi,Biの上位nビット分を各々Rn,Gn,Bnとする。ただし、m>nである。3次元LUT46から入力信号Ri,Gi,Biの近傍8点の単位立方格子(Rn,Gn,Bn),(Rn+Dn,Gn,Bn),(Rn+Dn,Gn,Bn+Dn),(Rn,Gn,Bn+Dn),(Rn,Gn+Dn,Bn),(Rn+Dn,Gn+Dn,Bn),(Rn+Dn,Gn+Dn,Bn+Dn),(Rn,Gn+Dn,Bn+Dn)に位置するd,d,d,d,d,d,d,dを得る。ただし、Dnは3次元LUT46の単位立方格子の1辺の長さで2m−nである。
【0017】
次に、補間法について説明する。図11に示すように、入力信号Ri,Gi,Biの近傍8点の単位立方格子に位置する出力信号をd,d,d,d,d,d,d,dとする。入力信号Ri,Gi,Biの下位m−nビット分を各々r,g,b、単位立方格子の一辺の長さをDnとする。入力信号Ri,Gi,Biを中心としてR軸方向、G軸方向、B軸方向の3方向で8分割した直方体の体積を、各々w,w,w,w,w,w,w,wとする。入力信号Ri,Gi,Biに対する出力信号dは、式(24)のように補間される。
Figure 0003576612
この補間法を用いて、L,a,bそれぞれの補間を行なう。
【0018】
逆変換についても同様である。図12は、従来の色逆変換処理装置を示すブロック回路図である。図において、57は3次元LUT、58は補間係数生成回路、59〜66は乗算器、67は加算回路である。
【0019】
入力信号Li,ai,biの上位信号Ln,an,bnを3次元LUT57に入力する。また、Li,ai,biの下位信号l,a,bを補間係数生成回路58に入力する。3次元LUT57の出力p,p,p,p,p,p,p,pを各々乗算器59,60,61,62,63,64,65,66に入力する。補間係数生成回路58の出力v,v,v,v,v,v,v,vを各々乗算器59,60,61,62,63,64,65,66に入力する。乗算器59,60,61,62,63,64,65,66の出力を加算回路67に入力する。加算回路67の出力の上位8ビット分pを得る。pはp,p,p,p,p,p,p,pに各々v,v,v,v,v,v,v,vを乗じて加え合わせ、補間係数を1に正規化するために下位15ビット分を切り捨てたものである。
【0020】
次に、動作について説明する。入力信号Li,ai,biを各々mビットの信号、入力信号Li,ai,biの上位nビット分を各々Ln,an,bnとする。ただし、m>nである。3次元LUT57から入力信号Li,ai,biの近傍8点の単位立方格子(Ln,an,bn),(Ln,an+Dn,bn),(Ln,an+Dn,bn+Dn),(Ln,an,bn+Dn),(Ln+Dn,an,bn),(Ln+Dn,an+Dn,bn),(Ln+Dn,an+Dn,bn+Dn),(Ln+Dn,an,bn+Dn)に位置するp,p,p,p,p,p,p,pを得る。ただし、Dnは3次元LUT57の単位立方格子の1辺の長さで2m−nである。
【0021】
次に補間法について説明する。図13に示すように、入力信号Li,ai,biの近傍8点の単位立方格子に位置する出力信号をp,p,p,p,p,p,p,pとする。入力信号Li,ai,biの下位m−nビット分を各々l,a,b、単位立方格子の一辺の長さをDnとする。入力信号Li,ai,biを中心としてL軸方向、a軸方向、b軸方向の3方向で8分割した直方体の体積を、各々v,v,v,v,v,v,v,vとする。入力信号Li,ai,biに対する出力信号pは、式(25)のように補間される。
Figure 0003576612
【0022】
【発明が解決しようとする課題】
従来の色変換処理装置及び色逆変換処理装置は以上のように構成されているため、実時間またはそれに準ずる速度で色変換することは可能であるが、以下の問題点があった。
【0023】
第1に、全ての入力信号に対する出力信号をダイレクトマッピング法により得ると、高精度の変換が可能であるが、大容量のLUTを必要とする。
【0024】
第2に、LUTの容量を縮小するために、入力信号の上位信号を用いてダイレクトマッピング法により数個の近傍値を得、入力信号の下位信号を用いて、数個の近傍値から出力信号を補間する方法では、単位立方格子8点を用いる8点補間では変換精度は高いが、多くの乗算器を必要とし、回路規模が大きくなる。また、6点補間、5点補間、4点補間など、補間に用いるデータ数を減らして回路規模を小さくすると、乗算器の数は少なくなるが変換精度も低くなる。
【0025】
第3に、LUTの容量を削減するために変換値は固定小数点で記憶される。例えば8ビットの場合、変換値は0から255に丸められる。このため、変換値が小さい場合には大きな丸め誤差が含まれる。この丸め誤差を含んだ変換値を用いて補間処理を行なうため、補間値と実際の値には誤差が生ずる。特に色信号の小さい部分、つまり、暗部では補間誤差が大きくなり、変換精度は低くなる。
【0026】
本発明は、上記のような問題点を解決するためになされたもので、実時間またはそれに準ずる速度で、従来より高精度の色変換を少ない回路規模で行なうこと、および特に、暗部の変換精度を高めることができる色変換処理装置を得ることを目的とする。
【0027】
【課題を解決するための手段】
請求項1の発明に係る色変換処理装置は、第1、第2、第3の色信号で表わされる第1の3次元色空間を第4、第5、第6の色信号で表わされる第2の3次元色空間に変換する色変換処理装置において、暗部は密に、中高輝度部は粗に増加させた第1の色信号を格納した第1記憶手段と、第1の色信号を上記第1記憶手段に入力して得られる格納番号及び第2、第3の色信号を入力し、この入力信号を示す第2の3次元色空間内の点の近傍の単位格子に位置する複数点の第4、第5、第6の色信号を出力する第2記憶手段と、前記複数点の第4、第5、第6の色信号から補間信号を算出するための補間係数を生成する補間係数生成手段と、前記複数点の第4、第5、第6の色信号と前記補間係数により、第4、第5、第6の色信号を補間する補間処理手段を備えたものである。
【0028】
請求項2の発明に係る色変換処理装置は、第1、第2、第3の色信号で表わされる第1の3次元色空間を第4、第5、第6の色信号で表わされる第2の3次元色空間に変換する色変換処理装置において、色変換後の第4、第5、第6の色信号で表わされる特定色の明度を、暗部は密に、中高輝度部は粗に増加させた第1の色信号を格納した第1記憶手段と、m(mは自然数)ビットのディジタル信号である第1の色信号を上記第1記憶手段に入力して得られる格納番号k(kは自然数)及びmビットのディジタル信号である第2、第3の色信号を入力し、この入力信号を示す第2の3次元色空間内の点の近傍の単位直方格子に位置する、または位置すると仮定した8点の第4、第5、第6の色信号を出力する第2記憶手段と、前記8点の第4、第5、第6の色信号に乗ずるための補間係数を生成する補間係数生成手段と、mビットである上記第2、第3の色信号を含み、上記第1の色信号がk番目に格納されたものである場合の4点の単位平面格子に位置する第4、第5、第6の色信号に、各々前記補間係数を乗じて加え合わせた第1補間信号を出力する手段と、同様にmビットである第2、第3の色信号を含み、上記第1の色信号がk+1番目に格納されたものである場合の4点の単位平面格子に位置する第4、第5、第6の色信号に、各々前記補間係数を乗じて加え合わせた第2補間信号を出力する手段と、上記第1補間信号にk+1番目に格納された第1の色信号からmビットの第1の色信号を減じたものを乗じて、第2補間信号にmビットの第1の色信号からk番目に格納された第1の色信号を減じたものを乗じて加えることにより、第4、第5、第6の色信号を算出する補間処理手段を備えたものである。
【0029】
請求項3の発明に係る色変換処理装置は、色変換後の第4、第5、第6の色信号で表わされる無彩色の明度を、暗部は密に、中高輝度部は粗に増加させた第1の色信号を第1記憶手段に格納したものである。
【0030】
請求項4の発明に係る色変換処理装置は、第1、第2、第3の色信号が各々mビットのディジタル信号の場合、下位m−n(nは自然数でm>n)ビット分の第2、第3の色信号を中心として1辺が2m−nビットの単位平面を、第2の色信号の軸方向と第3の色信号の軸方向で、4分割した場合の4平面の面積を補間係数として出力する補間係数生成手段を備えたものである。
【0031】
請求項5の発明に係る色変換処理装置は、下位m−nビット分の第2、第3の色信号を入力して、補間信号の算出に必要な4つの補間係数を出力する補間係数生成手段を4つの記憶手段で構成したものである。
【0032】
請求項6の発明に係る色変換処理装置は、下位m−nビット分の第2、第3の色信号を入力して、補間信号の算出に必要な4つの補間係数のうち1つの補間係数を出力する記憶手段と、複数の加算器及び複数のビットシフト回路で構成され、上記記憶手段の出力信号から他の3つの補間係数を算出する補間係数生成手段を備えたものである。
【0033】
【作用】
請求項1の発明に係る色変換処理装置の第1記憶手段は、暗部は密に、中高輝度部は粗に増加させた第1の色信号を格納し、第2記憶手段は、第1の色信号を上記第1記憶手段に入力して得られる格納番号及び第2、第3の色信号を入力し、この入力信号を示す第2の3次元色空間内の点の近傍の単位格子に位置する複数点の第4、第5、第6の色信号を出力し、補間係数生成手段は、前記複数点の第4、第5、第6の色信号から補間信号を算出するための補間係数を生成し、補間処理手段は、前記複数点の第4、第5、第6の色信号と前記補間係数により、第4、第5、第6の色信号を補間するため、実時間またはそれに準ずる速度で高精度の色変換を実現し、線形補間による変換精度、特に暗部の変換精度を高めることが可能となる。
【0034】
請求項2の発明に係る色変換処理装置の第1記憶手段は、色変換後の第4、第5、第6の色信号で表わされる特定色の明度を、暗部は密に、中高輝度部は粗に増加させた第1の色信号を格納し、第2記憶手段は、m(mは自然数)ビットのディジタル信号である第1の色信号を上記第1記憶手段に入力して得られる格納番号k(kは自然数)及びmビットのディジタル信号である第2、第3の色信号を入力し、この入力信号を示す第2の3次元色空間内の点の近傍の単位直方格子に位置する、または位置すると仮定した8点の第4、第5、第6の色信号を出力し、補間係数生成手段は、前記8点の第4、第5、第6の色信号に乗ずるための補間係数を生成し、第1補間信号を出力する手段は、mビットの第2、第3の色信号を含み、第1の色信号がk番目に格納されたものである場合の4点の単位平面格子に位置する第4、第5、第6の色信号に、各々前記補間係数を乗じて加え合わせた第1補間信号を出力し、第2補間信号を出力する手段は、同様にmビットの第2、第3の色信号を含み、第1の色信号がk+1番目に格納されたものである場合の4点の単位平面格子に位置する第4、第5、第6の色信号に、各々前記補間係数を乗じて加え合わせた第2補間信号を出力し、補間処理手段は、第1補間信号にk+1番目に格納された第1の色信号からmビットの第1の色信号を減じたものを乗じて、第2補間信号にmビットの第1の色信号からk番目に格納された第1の色信号を減じたものを乗じて加えることにより、第4、第5、第6の色信号を算出するため、実時間またはそれに準ずる速度で高精度の色変換を実現し、線形補間による変換精度、特に暗部の変換精度を高めることが可能となる。
【0035】
請求項3の発明に係る色変換処理装置の第1記憶手段は、色変換後の第4、第5、第6の色信号で表わされる無彩色の明度を、暗部は密に、中高輝度部は粗に増加させた第1の色信号を格納したため、変換後の画像の色相、彩度、明度の平衡を保ったまま、明度方向の変換誤差を少なくすることが可能となる。
【0036】
請求項4の発明に係る色変換処理装置の補間係数生成手段は、第1、第2、第3の色信号が各々mビットのディジタル信号の場合、下位m−n(nは自然数でm>n)ビット分の第2、第3の色信号を中心として1辺が2m−nビットの単位平面を、第2の色信号の軸方向と第3の色信号の軸方向で、4分割した場合の4平面の面積を補間係数として出力するため、小容量の記憶手段と補間処理手段により高精度の色変換を行なうことが可能となり、回路規模を小さくすることが可能となる。
【0037】
請求項5の発明に係る色変換処理装置の補間係数生成手段は、下位m−nビット分の第2、第3の色信号を入力して、補間信号の算出に必要な4つの補間係数を出力する4つの記憶手段で構成したため、乗算器の数を減らし、回路規模を小さくすることが可能となる。
【0038】
請求項6の発明に係る色変換処理装置の補間係数生成手段は、下位m−nビット分の第2、第3の色信号を入力して、記憶手段により補間信号の算出に必要な4つの補間係数のうち1つの補間係数を出力し、上記記憶手段の出力信号と複数の加算器及び複数のビットシフト回路から他の3つの補間係数を算出するため、乗算器の数を減らし、回路規模を小さくすることが可能となる。
【0039】
【実施例】
実施例1.
図1は、本発明の実施例1による色変換処理装置を示すブロック回路図である。図において、1は3次元LUT、2は補間係数生成回路、3から12は乗算器、13,14は加算回路、15から18は加算器、19は除算器、20はLUTである。
【0040】
入力信号LiをLUT20に入力し、LUT20の出力k及び入力信号ai,biの上位信号an,bnを3次元LUT1に入力する。LUT20の出力L ,Lk+1 を加算器15に入力し、Li,Lk+1 を加算器16に入力し、Li,L を加算器17に入力する。また、ai,biの下位信号a,bを補間係数生成回路2に入力する。3次元LUT1の出力d,d,d,d,d,d,d,dを各々乗算器3,4,5,6,7,8,9,10に入力する。補間係数生成回路2の出力S,S,S,Sを各々乗算器3,4,5,6及び7,8,9,10に入力する。乗算器3,4,5,6の出力を加算回路13に入力し、乗算器7,8,9,10の出力を加算回路14に入力する。加算器16の出力及び加算回路13の出力dsを乗算器11に入力し、加算器17の出力及び加算回路14の出力ds’を乗算器12に入力する。この2つの乗算器11,12の出力を加算器18に入力する。加算器15の出力及び加算器18の出力を除算器19に入力し、出力の上位8ビット分dを得る。
【0041】
次に、動作について説明する。入力信号Li,ai,biを各々8ビットとする。入力信号LiをLUT20に入力する。図2にLUT20の概念図を示す。LUT20は、例えば、入力信号Liが200の場合、格納番号kを7、L を195、Lk+1 を213として出力する。他の場合も同様であるが、Liが243以上の場合のみ、Lk+1 を256として出力する。
【0042】
R,G,Bを各々8ビットの信号とし、R,G,B各々の信号が等しい無彩色の場合、これらの信号に対応するL,a,b(C光源を基準白色とする)は表1のようになる。このLを表2のように8ビットに正規化する。
【0043】
【表1】
Figure 0003576612
【0044】
【表2】
Figure 0003576612
【0045】
図1において、格納番号k及び入力信号ai,biの各々上位3ビット分an,bnを3次元LUT1に入力し、入力信号Li,ai,biの近傍8点の単位直方格子(k,an,bn),(k,an+Dn,bn),(k,an+Dn,bn+Dn),(k,an,bn+Dn),(k+D,an,bn),(k+D,an+Dn,bn),(k+D,an+Dn,bn+Dn),(k+D,an,bn+Dn)に位置する出力信号d,d,d,d,d,d,d,dを得る。Dnは3次元LUT1のa軸及びb軸方向の単位平面の1辺の長さで2である。DはLUT20の出力Lk+1 とL の差であり、L軸方向の単位直方格子の1辺の長さである。
【0046】
また、入力信号ai,biの各々下位5ビット分r,bを補間係数生成回路2に入力し、図3に示すような補間係数S,S,S,Sを得る。図3は、3次元LUT1の単位直方格子の上面(d,d,d,d点から成る単位平面)、下面(d,d,d,d点から成る単位平面)及び、入力信号LiのL軸における位置を示したものである。S,S,S,Sは入力信号ai,biの下位5ビット分のa,bに位置する点を中心として、1辺が2ビットの単位平面を、a軸方向とb軸方向で4分割した場合の4平面に相当する補間係数である。
Figure 0003576612
【0047】
図4は、補間係数生成回路2の構成を示す図である。図において、21,22はビット反転回路、23から26は乗算回路である。Dnはa軸及びb軸方向の単位平面の1辺の長さであるため、入力信号8ビットのうち上位3ビット分を3次元LUT1に入力する場合、Dn=2となる。したがって、Dn−aはaの全ビットを反転したものになる。同様にDn−bもbの全ビットを反転したものになる。上述したことを利用すると、ビット反転回路21,22及び乗算回路23,24,25,26により、式(26),(27),(28),(29)の演算を実現することができる。
【0048】
図1における乗算器3,4,5,6、加算回路13を用いて、第1補間信号dsを算出する。また、乗算器7,8,9,10、加算回路14を用いて、第2補間信号ds’を算出する。それぞれ、算出式は式(30),(31)で表わされる。
Figure 0003576612
(30),(31)式では、各格子点の信号に、入力信号ai,biを中心として点対称に位置する面積をそれぞれ補間係数として掛け合わせることにより、a,b平面における2つの補間信号を算出している。この2つの補間信号ds,ds’をさらにL軸で補間することにより、3次元補間を実現する。L軸方向の単位直方格子の1辺の長さをDとすると、出力信号dは式(32)のように算出される。
Figure 0003576612
【0049】
ただし、lはL と入力信号Liの差であり、加算器17により算出し、Dは加算器15により算出している。(Dn×D)で除算しているのは、補間係数を1に正規化するためである。ここで、Dnは210となるため、実際には10ビット分桁下げすることにより算出できる。式(32)の演算を乗算器11,12、加算器15,16,17,18、除算器19で実現する。D−l及び第1補間信号dsを乗算器11に入力し、l及び第2補間信号ds’を乗算器12に入力する。乗算器11,12の出力信号を加算器18に入力し、除算器19により加算器18の出力をDで除算する。この除算器19の出力の上位8ビット分dを得る。dはd,d,d,d,d,d,d,dに各々補間係数を乗じて加え合わせ、さらに、補間係数を1に正規化するために下位20ビット分を切り捨てたものである。同様の演算方法によりR,G,Bの補間処理を行なう。
【0050】
本実施例では、変換精度を向上させるために、暗部の格子点数を中高輝度部分の格子点数よりも多くしている。暗部とはこの場合、Lの小さい部分である。
3次元LUTに記憶させる変換値は、有効桁数が補償されている浮動小数点であればよいが、浮動小数点は固定小数点よりも大きな記憶手段を必要とするため、一般には固定小数点で変換値を記憶させる。このように固定小数点で変換値を記憶させると、変換値が小さい場合に丸め誤差が大きくなる。この丸め誤差を多く含んだ変換値を用いて線形補間を行なうと、実際の値と補間値との誤差は大きくなる。
【0051】
この誤差を少なくする方法は2つ考えられる。格子点数はそのままで、変換値のビット数を増やす方法と、本実施例のように暗部の格子点数を増やす方法である。前者は、暗部だけではなく中高輝度部のビット数も増やす必要があり、冗長な部分が多くなる。後者は、誤差が大きくなる暗部の格子点距離を中高輝度部よりも短くして補間誤差を小さくする方法であり、冗長な部分は少ない。
【0052】
しかし、このような暗部の補間誤差を少なくするには、負のR,G,B(実際には存在しない虚色)や、最大値をこえたR,G,Bを変換値として3次元LUTに格納する必要がある。その理由について説明する。
【0053】
CIE 1976 L均等知覚色空間からRGB色空間への変換は、RGB色空間を完全に含む3次元LUTを必要とする。この色空間の変換は非線形であり、3次元LUT中には負のR,G,B(実際には存在しない虚色)や、最大値をこえたR,G,Bが含まれる。入力値に対する3次元LUTの格子点数が十分多い場合には、このようなRGB色空間に存在しない色への変換値はどのような値であっても変換精度には大きな影響は与えないため、負のR,G,Bは0に、最大値をこえたR,G,Bは最大値に丸めるなどの方法が用いられる。しかし、入力値に対する3次元LUTの格子点数が少なく、単純に線形補間を行なう場合には、元のRGB色空間に存在しない色への変換値を0や最大値に丸めると変換精度に大きな影響を与える。
【0054】
例えば、8ビットのL,a,bを8ビットのR,G,Bに逆変換する場合を考える。33個の格子点を持ち、各格子点の変換値を0と255(最大値)で8ビットに丸めた3次元LUTと線形補間を併用して変換すると変換精度の劣化は少ないが、5個の格子点の場合では変換精度は著しく劣化する。このような変換精度の劣化は、補間に用いる複数個の変換値がRGB色空間に存在する点とRGB色空間に存在しない点が混在する場合に生ずる。これは、0から255の値で丸められた変換値を用いて線形補間するためであり、本来得られるべき値と補間値とに誤差が生ずることが起因している。3次元LUTの格子点数が十分多い場合には、このような誤差が生ずる可能性も低く、誤差自体も小さくなり問題は少ない。しかし、回路規模を縮小するために格子点数を少なくした場合には誤差が生ずる可能性が高くなり、誤差自体も大きくなり問題となる。
【0055】
実施例1では、負のR,G,B(実際には存在しない虚色)や、最大値をこえたR,G,Bを変換値として3次元LUTに記憶させることにより、線形補間による変換精度の向上を図る。例えば、変換値を10ビットに拡張して、−512から+511までの値を3次元LUTに記憶させることにより、変換精度を向上させることが可能となる。
【0056】
なお、実施例1では、CIE 1976 L均等知覚色空間からRGB色空間への変換を示したが、逆のRGB色空間からCIE 1976 L均等知覚色空間への変換では、この方法はあまり有効ではない。その理由について説明する。RGB色空間からCIE 1976 L均等知覚色空間への変換に用いる3次元LUTの暗部は、3次元で考慮する必要があり、暗部の格子点数を増やすことは効率的ではない。しかし、CIE 1976 L均等知覚色空間からRGB色空間への変換に用いる3次元LUTの暗部は、L軸方向だけを考慮すれば良いため、3次元LUTの容量の増加を少なくすることが可能となる。このように実施例1は、明度軸の分離した色空間から他の色空間に変換する場合に有効な方法であるといえる。
【0057】
実施例2.
本発明の実施例2による色変換処理装置の構成は、図1と同様であり、補間係数生成回路2における信号処理が異なる。
【0058】
次に、動作について説明する。入力信号Li,ai,biを各々8ビットとする。入力信号LiをLUT20に入力し、k,L ,Lk+1 を得る。格納番号k及び入力信号ai,biの各々上位3ビット分an,bnを3次元LUT1に入力し、入力信号Li,ai,biの近傍8点の単位直方格子(k,an,bn),(k,an+Dn,bn),(k,an+Dn,bn+Dn),(k,an,bn+Dn),(k+D,an,bn),(k+D,an+Dn,bn),(k+D,an+Dn,bn+Dn),(k+D,an,bn+Dn)に位置する出力信号d,d,d,d,d,d,d,dを得る。また、入力信号ai,biの各々下位5ビット分a,bを補間係数生成回路2に入力し、図3に示すような補間係数S,S,S,Sを得る。
【0059】
図4は、本実施例2における補間係数生成回路2の構成を示す図である。21,22はビット反転回路であり、23,24,25,26は乗算回路である。乗算回路23,24,25,26は入力a,bに対して、式(26),(27),(28),(29)に示すS,S,S,Sを出力する。入力a,bは共に5ビット、出力S,S,S,Sは10ビットであるから、乗算回路23,24,25,26をLUTで構成すると総容量は40kビットとなる。この容量では、乗算器4つを用いる方が回路規模は小さい。そこで、入力信号を上位信号と下位信号に分割して掛け算することによりLUTの縮小を行なう。
【0060】
式(33),(34)に示すように、入力a,bを上位信号a ,b と下位信号a ,b に分けると、Sは式(35)のように表わされる。
Figure 0003576612
,bは各々5ビットの信号であるから、Kを3として、a,bを上位2ビットと下位3ビットに分割する。その結果、入力3ビット、出力6ビットのLUTが16個必要となるが、容量は6kビットに縮小できる。式(35)からも明らかなように、加算器が全部で12個必要となるが、回路規模は乗算器4つを用いるよりも小さくなる。
【0061】
図5は、式(35)を実現する乗算回路25の構成を示す図である。図において、27から30は入力3ビットに対して6ビットの乗算結果を出力するLUT、31,32,33は加算器、34は6ビットシフト回路、35は3ビットシフト回路である。LUT27,28,29,30により、a ,a ,a ,a を算出する。加算器31により、a +a を算出し、6ビットシフト回路34によりa を6ビット分桁上げして、3ビットシフト回路35によりa +a を3ビット分桁上げして、これらの信号を加算器32,33により加算して、Sを算出する。乗算回路23,24,26も同様な回路構成で構成できる。
【0062】
図1において、補間係数生成回路2の出力S,S,S,Sを、それぞれ乗算器3,4,5,6及び乗算器7,8,9,10に入力し、これらの乗算器の出力を、それぞれ加算回路13,14に入力して、第1補間信号ds及び第2補間信号ds’を算出する。この2つの補間信号を、式(32)に示すようにL軸で補間することにより3次元補間を行ない、出力信号dを得る。同様の演算方法によりR,G,Bそれぞれの補間処理を行なう。
【0063】
実施例3.
本発明の実施例3による色変換処理装置の構成は、図1と同様であり、補間係数生成回路2における信号処理が異なる。
【0064】
次に、動作について説明する。入力信号Li,ai,biを各々8ビットとする。入力信号LiをLUT20に入力し、k,L ,Lk+1 を得る。格納番号k及び入力信号ai,biの各々上位3ビット分an,bnを3次元LUT1に入力し、入力信号Li,ai,biの近傍8点の単位直方格子に位置する出力信号d,d,d,d,d,d,d,dを得る。また、入力信号ai,biの各々下位5ビット分a,bを補間係数生成回路2に入力し、図3に示すような補間係数S,S,S,Sを得る。式(28)で算出される補間係数Sだけを乗算回路25から得、他の補間係数S,S,Sは式(36),(37),(38)に示すようにSを用いて算出する。Dnは2であるため、式(36),(37),(38)は加算器とビットシフト回路の組み合わせで実現できる。
Figure 0003576612
【0065】
図6は、本実施例における補間係数生成回路2の構成を示す図である。図において、36,37,38は5ビットシフト回路、39から43は加算器である。乗算回路25により補間係数Sを算出する。aを5ビットシフト回路36に入力して、出力a×2を得、加算器39によりa×2からSを減じて補間係数Sを得る。同様に5ビットシフト回路37と加算器40により補間係数Sを得る。また、aとbを加算器43により加算したものを5ビットシフト回路38に入力し、(a+b)×2を得、210とSを加算器41により加算し、加算器42により、この加算器41の出力から(a+b)×2を減じて補間係数Sを得る。乗算器4つを使用する場合に比べて、上記のような演算方法では、補間係数生成回路2を総容量1.5kビットのLUTと、加算器8個で実現でき、回路規模を縮小することが可能となる。
【0066】
図1において、補間係数生成回路2の出力S,S,S,Sを、それぞれ乗算器3,4,5,6及び乗算器7,8,9,10に入力し、これらの乗算器の出力を、それぞれ加算回路13,14に入力して、第1補間信号ds及び第2補間信号ds’を算出する。この2つの補間信号を、式(32)に示すようにL軸で補間することにより3次元補間を行ない、出力信号dを得る。同様の演算方法によりR,G,Bそれぞれの補間処理を行なう。
【0067】
上記実施例1では、入力信号をmビットのLi信号、ai信号、bi信号とする場合、下位m−nビット分のa信号、b信号を中心として、1辺が2m−nビットの単位平面を、a信号の軸方向とb信号の軸方向で4分割した場合の4平面の面積を補間係数としたが、変換前の色空間と変換後の色空間の変換特性を考慮した他の補間係数であってもよい。
【0068】
また、上記実施例1では、CIE 1976 L均等知覚色空間からの変換を示したが、CIE 1976 L均等知覚色空間、マンセル表色系など、明度軸の分離された色空間からの変換であればよい。
【0069】
また、上記実施例1では、3次元LUTの格子点数をa軸、b軸方向に9点、L軸方向には3点追加して12点とした場合を示したが、L軸方向に追加する格子点数は何点であってもよい。
【0070】
また、上記各実施例における記憶手段及びLUTは、ROM(Read Only Memory)、RAM(Random Access Memory)などの半導体素子で構成してもよいし、他の高速な記憶手段で構成してもよい。
【0071】
また、上記各実施例では、変換後の3次元色空間における無彩色方向の格子点を暗部は細かく、中高輝度部は粗くなるように配置した3次元LUTについて説明したが、特に色再現性を重視する肌色などの特定色についても同様である。基準白色がC光源の場合、CIE 1976 L均等知覚色空間における無彩色はa,bがほぼ0のL軸上に存在する。他の色の場合も同様で、特定のa,bのL軸上は明度だけが異なる色であるといえる。このため、特に色再現性を重視したい色を示すa,bのL軸上の格子点を暗部は細かく、中高輝度部は粗くなるように配置すれば、特定色の伝送精度は向上する。
【0072】
【発明の効果】
本発明は、映像情報を一方の画像入出力機器に依存する色空間から他方の画像入出力機器に依存する色空間に変換するものであって、以下の効果が得られる。
【0073】
請求項1の発明によれば、実時間またはそれに準ずる速度で、高精度の色変換を実現し、線形補間による変換精度、特に暗部の変換精度を高めることが可能となる。
【0074】
また、請求項2の発明によれば、少ない回路規模で実時間またはそれに準ずる速度で、高精度の色変換を実現し、線形補間による変換精度を高めることが可能となる。また、特定色方向の格子点を暗部は細かく、中高輝度部は粗くなるように配置した3次元LUTを用いるため、特定色の変換精度を向上させることが可能となる。
【0075】
例えば、CIE 1976 L均等知覚色空間を他の色空間に変換する場合、人間の視覚特性上、最も敏感な肌色方向の変換値を上記のような3次元LUTに配置することにより、記憶容量に対する変換精度を向上させることが可能となる。例えば、格子点数を729点、変換値を8ビット、CIE 1976 L均等知覚色空間の基準光源をC光源とする正変換用の3次元LUT、及び逆変換用の3次元LUTを用い、画像シミュレーションを行なった。評価に用いた画像は、ITE Color Matching Chart(a girl with carnation)をビデオカメラを用いてワークステーションに取り込んだ画像である。評価には、RGBからLに正変換した後、LからRGBに逆変換した処理画像と原画との色差を用いた。
【0076】
なお、色差はRGB色空間ではなく、CIE 1976 L均等知覚色空間で算出した。従来の方法である8点補間の色差は1.24、6点補間の色差は1.34、5点補間の色差は2.23、4点補間の色差は1.33、補間処理しない場合の色差は27.43となった。暗部に変換値を加え、格子点数を972点、変換値を10ビットに拡張した逆変換用の3次元LUTを用いた本発明によると色差は1.18となり、変換精度は最も良好になった。
【0077】
また、正変換した画像を逆変換して元の色空間に戻すことを伝送1回分とみなすと、伝送10回分では8点補間の色差は9.94、6点補間の色差は10.63、5点補間の色差は10.48、4点補間の色差は7.76となった。本発明によると色差は10.65であり、最も色差は大きくなるが、本発明以外の方法で画像シミュレーションした処理画像は階調が不連続となり、画像の低周波部分に偽輪郭が発生した。特に髪の部分など暗部は従来の方式では階調が完全に崩れて真っ黒になったが、本発明では暗部の劣化は抑えられた。
【0078】
さらに、図14に示すような輝度が連続的に変化するランプ関数を原画として、8点補間と本発明による方法(上記の条件)の両方でシミュレーションを行なった。図15が8点補間の方法を用いて伝送を10回繰り返した場合の処理画像の出力値であり、図16が本発明を用いて伝送を10回繰り返した場合の処理画像の出力値である。これらの結果からも明らかなように本発明の処理画像の方が階調の連続性を保っているといえる。また、図16はL軸方向の暗部の格子点を3点追加しているため、暗部の階調の崩れが改善されていることが分かる。暗部は信号が小さいため、誤差が多少大きくても色差(数値)としては表われにくいが、視感評価ではその差はよく分かる。格子点数を増加することにより、さらに暗部を改善することができるが、格子点数の増加は、回路規模の増加となるため適当な個数にする必要がある。
【0079】
請求項3の発明によれば、無彩色方向の格子点を暗部は細かく、中高輝度部は粗くなるように配置した3次元LUTを用いるため、変換後の画像において、色相、明度、彩度の平衡を保ったまま、明度方向の誤差を小さくすることが可能となる。例えば、白黒画像の場合、変換誤差による着色が少なくなる。
【0080】
請求項4の発明によれば、小容量の記憶手段と補間処理手段により色変換を行なうため、例えば入力信号を8ビットのディジタル信号として、記憶手段には入力信号の上位3ビットを入力し、入力信号の下位5ビットで補間処理を行なう場合、従来の補間方法では72個必要であった乗算器を30個に減らすことができ、回路規模を縮小することが可能となる。
【0081】
請求項5の発明によれば、例えば5ビットの信号の乗算を384ビットのLUT4個とビットシフト回路2個と加算器3個で実現でき、補間信号生成に必要な乗算器4個を総容量6kビットのLUTとビットシフト回路8個と加算器12個で実現できるため、回路規模を縮小することが可能となる。
【0082】
請求項6の発明によれば、補間係数生成回路2を複数のLUTと複数のビットシフト回路と複数の加算器で実現でき、補間係数生成回路2を総容量1.5kビットのLUTとビットシフト回路5個と加算器8個で実現できるため、回路規模を縮小することが可能となる。
【図面の簡単な説明】
【図1】本発明の実施例1、2、3における色変換処理装置を示すブロック回路図である。
【図2】実施例1におけるLUT20の概念図を示す図である。
【図3】実施例1、2、3の色変換処理装置における補間方法を示す図である。
【図4】実施例1、2における補間係数生成回路2の構成を示すブロック回路図である。
【図5】この発明の実施例2における乗算回路25の構成を示すブロック回路図である。
【図6】この発明の実施例3における補間係数生成回路2の構成を示すブロック回路図である。
【図7】従来の色変換処理装置及び色逆変換処理装置を示すブロック回路図である。
【図8】3次元LUT44の概念図を示す図である。
【図9】3次元LUT45の概念図を示す図である。
【図10】他の従来の色変換処理装置を示すブロック回路図である。
【図11】従来の色変換処理装置における補間方法を示す図である。
【図12】従来の色逆変換処理装置を示すブロック回路図である。
【図13】従来の色逆変換処理装置における補間方法を示す図である。
【図14】RGBが等しく、連続的に階調が変化するランプ関数の出力値を示す図である。
【図15】図14のランプ関数を原画として、従来の色変換方式で変換、逆変換を10回ずつ繰り返した処理画像の出力値を示す図である。
【図16】図14のランプ関数を原画として、本発明の色変換方式で変換、逆変換を10回ずつ繰り返した処理画像の出力値を示す図である。
【符号の説明】
1,44,45,46,57…3次元LUT、2,47,58…補間係数生成回路、3〜12,48〜55,59〜66…乗算器、13,14,56,67…加算回路、15〜18,31〜33,39〜43…加算器、19…除算器、20,27〜30…LUT、21,22…ビット反転回路、23〜26…乗算回路、34…6ビットシフト回路、35…3ビットシフト回路、36〜38…5ビットシフト回路。

Claims (6)

  1. 第1、第2、第3の色信号で表わされる第1の3次元色空間を第4、第5、第6の色信号で表わされる第2の3次元色空間に変換する色変換処理装置において、暗部は密に、中高輝度部は粗に増加させた第1の色信号を格納した第1記憶手段と、第1の色信号を上記第1記憶手段に入力して得られる格納番号及び第2、第3の色信号を入力し、この入力信号を示す第2の3次元色空間内の点の近傍の単位格子に位置する複数点の第4、第5、第6の色信号を出力する第2記憶手段と、前記複数点の第4、第5、第6の色信号から補間信号を算出するための補間係数を生成する補間係数生成手段と、前記複数点の第4、第5、第6の色信号と前記補間係数により、第4、第5、第6の色信号を補間する補間処理手段を備えたことを特徴とする色変換処理装置。
  2. 第1、第2、第3の色信号で表わされる第1の3次元色空間を第4、第5、第6の色信号で表わされる第2の3次元色空間に変換する色変換処理装置において、色変換後の第4、第5、第6の色信号で表わされる特定色の明度の暗部は密に、中高輝度部は粗に増加させた第1の色信号を格納した第1記憶手段と、m(mは自然数)ビットのディジタル信号である第1の色信号を上記第1記憶手段に入力して得られる格納番号k(kは自然数)及びmビットのディジタル信号である上記第2、第3の色信号を入力し、この入力信号を示す第2の3次元色空間内の点の近傍の単位直方格子に位置する、または位置すると仮定した8点の第4、第5、第6の色信号を出力する第2記憶手段と、前記8点の第4、第5、第6の色信号に乗ずるための補間係数を生成する補間係数生成手段と、mビットである上記第2、第3の色信号を含み、第1の色信号がk番目に格納されたものである場合の4点の単位平面格子に位置する第4、第5、第6の色信号に、各々前記補間係数を乗じて加え合わせた第1補間信号を出力する手段と、同様にmビットである上記第2、第3の色信号を含み、上記第1の色信号がk+1番目に格納されたものである場合の4点の単位平面格子に位置する第4、第5、第6の色信号に、各々前記補間係数を乗じて加え合わせた第2補間信号を出力する手段と、上記第1補間信号にk+1番目に格納された第1の色信号からmビットの第1の色信号を減じたものを乗じて、第2補間信号にmビットの第1の色信号からk番目に格納された第1の色信号を減じたものを乗じて加えることにより、第4、第5、第6の色信号を算出する補間処理手段を備えたことを特徴とする色変換処理装置。
  3. 色変換後の第4、第5、第6の色信号で表わされる無彩色の明度を暗部は密に、中高輝度部は粗に増加させた第1の色信号を第1記憶手段に格納したことを特徴とする請求項2記載の色変換処理装置。
  4. 第1、第2、第3の色信号が各々mビットのディジタル信号の場合、下位m−n(nは自然数でm>n)ビット分の第2、第3の色信号を中心として1辺が2m−nビットの単位平面を、第2の色信号の軸方向と第3の色信号の軸方向で、4分割した場合の4平面の面積を補間係数として出力する補間係数生成手段を備えたことを特徴とする請求項2記載の色変換処理装置。
  5. 下位m−nビット分の第2、第3の色信号を入力して、補間信号の算出に必要な4つの補間係数を出力する補間係数生成手段を4つの記憶手段で構成したことを特徴とする請求項4記載の色変換処理装置。
  6. 下位m−nビット分の第2、第3の色信号を入力して、補間信号の算出に必要な4つの補間係数のうち1つの補間係数を出力する記憶手段と、複数の加算器及び複数のビットシフト回路で構成され、上記記憶手段の出力信号から他の3つの補間係数を算出する補間係数生成手段を備えたことを特徴とする請求項4記載の色変換処理装置。
JP30238094A 1994-12-06 1994-12-06 色変換処理装置 Expired - Fee Related JP3576612B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP30238094A JP3576612B2 (ja) 1994-12-06 1994-12-06 色変換処理装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP30238094A JP3576612B2 (ja) 1994-12-06 1994-12-06 色変換処理装置

Publications (2)

Publication Number Publication Date
JPH08161468A JPH08161468A (ja) 1996-06-21
JP3576612B2 true JP3576612B2 (ja) 2004-10-13

Family

ID=17908213

Family Applications (1)

Application Number Title Priority Date Filing Date
JP30238094A Expired - Fee Related JP3576612B2 (ja) 1994-12-06 1994-12-06 色変換処理装置

Country Status (1)

Country Link
JP (1) JP3576612B2 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003263492A (ja) * 1999-10-29 2003-09-19 Kao Corp 髪色アドバイスシステム
EP1742458A1 (en) 2005-06-13 2007-01-10 Thomson Licensing Apparatus and method for image processing of digital image pixels
JP4363430B2 (ja) 2006-08-31 2009-11-11 ソニー株式会社 色域変換装置、色域変換方法

Also Published As

Publication number Publication date
JPH08161468A (ja) 1996-06-21

Similar Documents

Publication Publication Date Title
US5774112A (en) Method and apparatus for tone correction of a digital color image with preservation of the chromaticity of the image
US5241373A (en) Apparatus for correction of color signal values
EP0487304B1 (en) Color image processing
EP0651563A1 (en) Apparatus for transforming a digital color image signal
US7177469B2 (en) Color conversion device and color conversion method
WO1989000317A1 (en) Method and apparatus for correcting color
JP2903807B2 (ja) 色信号変換方法および装置
JP4016234B2 (ja) 画像処理方法および画像処理装置
KR100510308B1 (ko) 화상 처리 장치
JP3576612B2 (ja) 色変換処理装置
JP2876853B2 (ja) 色変換装置
JPH10200770A (ja) 画像データの色補正方法
Kanamori et al. Novel color transformation algorithm and its applications
JPH09168097A (ja) 画像処理装置
US5657068A (en) Color image processing apparatus and conversion method
JP2947015B2 (ja) 色変換装置及び色変換方法
JP3446497B2 (ja) 色変換方法
JP3527291B2 (ja) 色変換処理装置、色逆変換処理装置及び映像信号処理装置
JP3364813B2 (ja) 色逆変換処理装置及び映像信号処理装置
JPH05284346A (ja) 色変換装置
JPH07288707A (ja) 色変換処理装置
JPH0865528A (ja) 色変換処理装置
JP2004215222A (ja) 色変換処理装置
JP2001320593A (ja) 画像処理装置およびそれを備えた画像形成装置ならびに画像処理方法
JPH09261499A (ja) 画像処理装置及び方法

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20040625

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20040629

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20040708

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20070716

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080716

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090716

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100716

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100716

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110716

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110716

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120716

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120716

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130716

Year of fee payment: 9

LAPS Cancellation because of no payment of annual fees