JP3446497B2 - 色変換方法 - Google Patents

色変換方法

Info

Publication number
JP3446497B2
JP3446497B2 JP27044796A JP27044796A JP3446497B2 JP 3446497 B2 JP3446497 B2 JP 3446497B2 JP 27044796 A JP27044796 A JP 27044796A JP 27044796 A JP27044796 A JP 27044796A JP 3446497 B2 JP3446497 B2 JP 3446497B2
Authority
JP
Japan
Prior art keywords
dimensional
color
signal
interpolation
conversion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP27044796A
Other languages
English (en)
Other versions
JPH10126628A (ja
Inventor
克洋 金森
照夫 麓
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Corp
Panasonic Holdings Corp
Original Assignee
Panasonic Corp
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Corp, Matsushita Electric Industrial Co Ltd filed Critical Panasonic Corp
Priority to JP27044796A priority Critical patent/JP3446497B2/ja
Publication of JPH10126628A publication Critical patent/JPH10126628A/ja
Application granted granted Critical
Publication of JP3446497B2 publication Critical patent/JP3446497B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Image Processing (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Color Image Communication Systems (AREA)

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明はカラー画像処理にお
いて各所で使用される色空間変換を高速、高精度に実行
するための3次元ルックアップテーブルと3次元線形補
間を用いた色変換方法、特に視覚的に悪影響をおよぼす
リップルの除去方法に関するものである。
【0002】
【従来の技術】近年、デバイスインデペンデント色変換
が提唱されるにつれ、色を扱う機器は、機器自身の色信
号と標準とされる色信号への色空間変換を行う必要がで
てきている。色空間の変換は、逐次的なガンマ変換のよ
うな各信号の1次元変換や3色信号を3x3マトリクス
でまとめて変換するような線形変換などがある
【0003】図13に、従来技術を説明する多次元テー
ブルと補間演算を用いた色空間変換の概念図を示し以下
に説明する。図13において、1301は入力色信号、
1302は入力色信号1301の上位信号1307から
代表色の格子点を出力する3次元LUT、1303は入
力色信号1301の下位信号1308から重み係数を演
算する重み係数、1305は代表色の格子点と重み係数
から補間を行う補間演算を示している。
【0004】色変換においては、RGB空間からCIE
−LAB空間への変換する例を示すもので、入力色信号
1301は一般にRGBなどの3変数で表現され、出力
信号も3変数あるいは4変数であり、出力は便宜上1変
数として扱うこともある。
【0005】入力色信号1301は、デジタル的に上位
信号1307と下位信号1308に分割され、上位信号
1307は粗く3次元LUT1302のテーブルを引い
て入力色が囲まれる単位補間立体の複数の格子点出力1
304を出力する。一方、下位信号は、重み係数130
3により前記の単位補間立体内での代表色の点の位置か
ら補間立体各頂点への重み係数を計算する。補間演算1
305は、それらの重み付け加算による補間で補間出力
値1306が得られる。補間立体としては、入力点を囲
む周囲8点を使用する立方体1310が一般的であって
「トライ・リニア補間」と呼ばれる。その他、図13に
示すようにピラミッド(5点使用)1312、三角柱
(6点使用)1311、四面体(4点使用)1313な
どがある。
【0006】色空間変換は、数学的には3次元空間から
3次元空間、あるいは4次元空間への変換であり、これ
らを組み合わせた連鎖系で表現できることが多い。しか
し、この変換を順番に計算していくと膨大な時間を要す
る。そこで、前記のような3次元ルックアップテーブル
を利用し、それらの計算値について、代表色についてあ
らかじめ計算値をテーブル化して用い、精密な値は補間
にて近似しテーブル容量を減らそうとする試みが実用
的に行われている。補間を行うテーブルの作り方として
は、RGB空間からCMY空間への非線形カラーマスキ
ング色変換、RGB空間からCIE-LAB空間への変換にみ
られるように複雑で逐次処理的な数学式を用いて作成す
るもの、プリンタやCRTの色校正でCIE-LAB空間から
CMYK空間への変換にみられるように、色票の測定と
対応づけから実験的にテーブルとして求められるものと
の2種がある。
【0007】いずれの場合にも、補間すべきテーブルの
非線形性の度合いによっては、補間後の階調に不自然な
アーチファクトが出現し、これが主観的な評価を悪化さ
せることがある。このアーチファクトは離散テーブル間
で波をうつように規則的に発生するため、「リップル」
と呼ぶ。リップルの発生度合いは (1)色変換テーブル、色変換式、の内容 (非線形性
の度合い) (2)補間方法(立方体、四面体など)。 (3)色変換する画像 (CGなどのなめらかな階調を
もつ画像か否か) などによって異なる。リップルが出現すると画像上で美
しいなだらかな階調変化部に偽輪郭を発生させる。
【0008】補間による典型的なリップルの発生につい
ては、従来からいくつかの非線形色変換において概略は
報告されている。
【0009】例えば、2次非線形カラーマスキングの場
合には、"Color Correction Technique for Hardcopies
by 4-Neighbors Interpolation Method", Journal of
Imaging Science and Technology Vol.36,No.1,Jan/Feb
(1992) PP73-80に、立方体補間、四面体補間を行った場
合について曲線の状態と係数と誤差の関係について述べ
られている。
【0010】また、RGB空間からCIE−LAB空間
への非線形色空間変換の場合については、"Fast Color
Processor with Programmable Interpolation by small
memory(PRISM)",Journal of Electronic Imaging Vol.
2(3),1993,PP213-224にプリズム補間を行った場合の曲
線が記載されている。
【0011】また、ブラック信号発生の場合のMIN
(最小値)変換について、「斜三角柱(SLANT-PRISM)補
間法による高速色変換」1994年テレビジョン学会年
次大会25-11に、プリズム補間を行った例として報告さ
れている。
【0012】しかし、リップル除去の検討が行われたの
は、上記のMIN演算において生じるものだけであり、
その方法は補間立体を特定のものに適用したものであ
る。たとえば、USP4334240においてはピラミ
ッド補間を用い、特開平2−226867号公報におい
ては四面体補間を用い、上記第3の文献においては斜三
角柱補間を用いている。これらの特殊な補間立体を用い
ることにより、MIN演算のリップルは解消されるだけ
でなく補間誤差自身も0にすることが可能であるが、M
IN演算が適用できるのは特殊なケースの場合のみであ
り一般的に広く適用できるものではない。
【0013】
【発明が解決しようとする課題】従来、このテーブルと
補間を用いる場合、入力から最終出力までを一度に変換
してしまうことが多かった。これはテーブルを用いる利
点のうち、いかなる長さの逐次変換もテーブルアクセス
と補間という一定の短時間のうちに終了させるため、一
度に変換することによる信号精度劣化の防止のためであ
る。しかしながら、テーブル補間を一度に行うとしばし
ば補間後にリップルが現れカラー画像の品質を下げる。
従来は、MIN演算などを除き、解決法としては単にテ
ーブルの精度を細かくすることしか発明されていなかっ
た。
【0014】本発明は、従来の技術のように補間手法で
リップルをめだたなくするのではなく色変換テーブルの
作成方法を工夫することによりリップルの除去をめざす
ものである。
【0015】第1の課題として、数式表現が明確な非線
形色変換において、数学的に大域的にリップルを生じな
くすることを目的とする。
【0016】
【0017】
【課題を解決するための手段】この課題を解決するため
に本発明では、第1に計算式で与えられる非線形色変換
については、まず非線形色変換を逐次的な線形変換と1
次元変換の連鎖に分解し、これらを一度に合成して多次
元色変換テーブルを作るのではなく、色変換の連鎖系の
中からリップルを生じない変換の組み合わせだけを合成
して多次元テーブル化し、多次元テーブルルックアップ
と補間を複数繰り返していくように構成したものであ
る。
【0018】これにより、色空間の大域的にリップルを
除去することができる。
【0019】
【0020】本発明の請求項1に記載の発明は、L次元
(Lは自然数)色空間の色信号をM次元(は自然数)
色空間の色信号に非線形色変換を行う方法であって、前
記L次元色空間をディジタル的に、補間演算に用いる複
数の格子点から構成されるL次元補間立体を示す上位信
と2 L 個の前記格子点により構成される単位補間立体
を複数の小立体に分割する下位信号予め分離し、前
L次元補間立体の格子点毎に、各成分に独立な1次元
ガンマ変換を用いて、前記上位信号からL次元色信号を
得る1次元色変換処理を予め計算し、更に、前記L次元
補間立体の格子点毎の前記L次元色信号に対して、M×
L行列を用いて線形変換を行うM×L行列線形変換処理
を計算したM次元色変換値により構成されたL次元入力
M次元出力色変換テーブルを予め作成し、前記L次元色
空間の入力色信号に対応する前記単位補間立体を前記L
次元補間立体から選択し、前記単位補間立体を構成する
L 個の格子点に対応するM×2 L 個の前記M次元色変換
値をM×2 L 行列として前記L次元入力M次元出力色変
換テーブルから読み出すルックアップ処理と、前記L次
元色空間の入力色信号に対応する前記下位信号を用い
て、前記単位補間立体を2 L 個の小立体に分割し、前記
L 個の小立体の体積から2 L 個の重み係数を算出し、前
記M次元色空間の成分毎に、前記M×2 L 行列のM次元
色変換値に前記2 L 個の重み係数を乗算し、更に合算す
ることで、前記L次元色空間の入力色信号を前記M次元
色空間の色信号に変換する補間処理とを含む色変換方法
であり、数式で表現される複雑な非線形変換を系全体で
リップルなく補間計算できるという作用が得られる。
【0021】本発明の請求項2に記載の発明は、L次元
(Lは自然数)色空間内の入力色信号に対して、M×L
行例を用いるM×L行列線形変換を施したM次元色信号
を出力するM×L行列線形変換処理と、前記M次元色信
号を含むM次元色空間をディジタル的に、補間演算に用
いる複数の格子点から構成されるM次元補間立体を示す
上位信号と2 M 個の前記格子点により構成される単位補
間立体を複数の小立体に分割する下位信号予め分離
し、前記M次元補間立体の格子点毎に、各成分に独立に
1次元ガンマ変換を用いて、前記上位信号から新たなM
次元色信号を得る1次元色変換処理を予め計算し、更
に、前記M次元補間立体の格子点毎の前記新たなM次元
色信号に対して、N×(M+1)行列を用いて線形変換
を行うN×(M+1)行列線形変換処理を計算したN次
元色変換値により構成されたM次元入力N次元出力色変
換テーブルを予め作成し、前記M次元色信号に対応する
前記単位補間立体を前記M次元補間立体から選択し、前
記単位補間立体を構成する2 M 個の格子点に対応する
×2 M 個のN次元色変換値をN×2 M 行列として前記M次
元入力N次元出力色変換テーブルから読み出すルックア
ップ処理と、前記M次元色信号に対応する前記下位信号
を用いて、前記単位補間立体を2 M 個の小立体に分割
し、前記2 M 個の小立体の体積から M 個の重み係数を算
出し、前記N次元色空間の成分毎に、前記N×2 M 行列
のN次元色変換値に前記2 M 個の重み係数を乗算し、更
に合算することで、前記M次元色信号を前記N次元色空
間の色信号に変換する補間処理とを含む色変換方法とす
るものであり、例としてRGB空間からXYZ空間へ変
換し、これらをX1/31/31/3空間への変換を経て、
最終的にCIE−LAB空間への変換を行う場合などに
おいて、XYZ空間を、X1/31/31/3空間へ変換
し、最終的にCIE−LAB空間への変換を行うまでの
変換を多次元色変換テーブルとして作成し、入力RGB
信号からXYZ空間へ線形変換を行い、次にその結果に
ついて色変換テーブルをルックアップして補間すること
によりリップルなくRGB空間からCIE−LAB空間
への変換を行うことができるという作用を有する。
【0022】本発明の請求項3に記載の発明は、L次元
色空間をディジタル的に、補間演算に用いる複数の格子
点から構成されるL次元補間立体を示す上位信号と2 L
個の前記格子点により構成される単位補間立体を複数の
小立体に分割する下位信号に予め分離し、前記L次元補
間立体の格子点毎に、各成分に独立に1次元ガンマ変換
を用いて、前記上位信号からL次元色信号を得る1次元
変換処理を予め計算し、更に、前記L次元補間立体の格
子点毎の前記L次元色信号に対し、M×L行列を用い
て線形変換を行うM×L行列線形変換処理を計算した
次元色変換値により構成されたL次元入力M次元出力色
変換テーブルを予め作成し、前記L次元色空間の入力色
信号に対応する前記単位補間立体を前記L次元補間立体
から選択し、前記単位補間立体を構成する2 L 個の格子
に対するM×2 L 個のM次元色変換値をM×2 L 行列と
して前記L次元入力M次元出力色変換テーブルから読み
出すルックアップ処理と、前記L次元色空間の入力色信
に対応する前記下位信号を用いて、前記単位補間立体
を2 L 個の小立体に分割し、前記2 L 個の小立体の体積か
ら2 L 個の重み係数を算出し、前記M次元色空間の成分
毎に、前記M×2 L 行列のM次元色変換値に前記2 L 個の
重み係数を乗算し、更に合算することで、前記L次元色
空間の入力色信号をM次元色空間の色信号に変換する補
間処理と、前記M次元色空間の色信号の各成分に独立な
1次元ガンマ変換により新たなM次元色空間の色信号を
得る1次元変換処理とを含む色変換方法とするもので、
リップルなく、例えば、濃度空間DrDgDbから(C
1/γ、M1/γ、Y1/γ)空間への変換を行うことができ
るという作用を有する。
【0023】本発明の請求項4に記載の発明は、L個の
線形項とL個の自乗項とL2個(L2はL個の中から2
個を取り出す組合せの個数)のクロス項を有する非線形
2次マスキング色修正演算行列によりL次元色空間内の
入力色信号をM次元色空間内の入力色信号に変換する方
法であって、前記非線形2次マスキング色修正演算行列
を正規直交L×L行列の線形変換により対角化し、前記
L次元色空間の入力色信号を新たなL次元色信号に線形
変換するL×L線形変換処理と、前記新たなL次元色信
号を含む新たなL次元色空間をディジタル的に、補間演
算に用いる複数の格子点から構成されるL次元補間立体
を示す上位信号と2 L 個の前記格子点により構成される
単位補間立体を複数の小立体に分割する下位信号に分
し、前記新たなL次元補間立体の格子点毎に、前記正
規直交L×L行列と前記非線形2次マスキング色修正演
算行列とから計算される前記クロス項を含まない2次式
から計算したM次色変換値により構成された前記L次元
入力M次元出力色変換テーブルを予め作成し、前記新た
なL次元色信号に対応する前記上位信号を含む領域であ
る単位補間立体を前記L次元補間立体から選択し、前記
単位補間立体を構成する2 L 個の格子点に対応するM×
L 個のM次元色変換値をM×2 L 行列としてL次元入力
M次元出力色変換テーブルから読み出すルックアップ処
理と、前記新たなL次元色信号に対応する前記下位信号
を用いて、前記単位補間立体を2 L 個の小立体に分割
し、前記2 L 個の小立体の体積から L 個の重み係数を算
出し、前記M次元色空間の成分毎に、前記M×2 L 行列
のM次元色変換値に前記2 L 個の重み係数を乗算し、更
に合算することで、前記新たなL次元色信号を前記M次
元色空間の色信号に変換する補間処理とを含む色変換方
法とするもので、リップルなく非線形2次マスキング色
修正演算を実行できるという作用を有する。
【0024】
【0025】
【0026】以下、本発明の実施の形態について図1か
ら図14を用いて説明する。 (実施の形態1)実施の形態1の説明に先立ち、リップ
ル除去の原理について簡単に説明する。
【0027】まず、リップルなく補間できる変換関数の
例を簡単のため2変数の場合から説明する。一般に定数
a,b,cに対して、xのみを変数とする関数fx(x)とyのみ
を変数とする関数fy(y)を用いて
【0028】
【数1】
【0029】なる関数がリップルなく補間できる関数に
なっている。fx(x)は、非線形関数例えばγ変換あるい
はfx(x)= x1/3などであってよい。つまり、1変数の非
線形変換に3x3(3x4)マトリクスによる線形変換を施した
合成変換が求める関数であるといえる。
【0030】実際に、この関数での値を元に4点からな
る2次元線形補間(バイ・リニア補間)をした場合のリ
ップルについて調べてみる。4点補間は、次元におい
てはちょうど8点補間に相当する一般的な補間方法であ
る。図14(a)(b)に、2次元でのリップルのない
補間の概念図を示す。図14において、4頂点ABCD
での出力値(A),(B),(C),(D)は、
【0031】
【数2】
【0032】で求められる。4頂点で囲まれた正方形内
の点Pでの出力(P)を4点から補間すると、
【0033】
【数3】
【0034】となる。ここで、重み係数WA,WB,WC,WDの
意味は、図14(a)に示すように点Pについて正方形
を4つの直方体に分割した場合の各長方体の面積を全面
積d2で正規化した量を示すものである。例えば、点A
の重み係数WA(1401)は、点Aの点Pについて点対
称の位置にある直方体の面積というように、重み係数に
相当する直方体は対応する頂点から最も離れた位置にあ
るものである。重み係数の関係は、
【0035】
【数4】
【0036】である。(数2)(数3)と(数4)よ
り、
【0037】
【数5】
【0038】が成立する。ここで、重み係数[WB+WC]、
[WC+WD]の意味は、図14からわかるように、直方体2
個の面積の和であり点Pの入力座標(x,y)を用いて、
【0039】
【数6】
【0040】これと(数5)により、
【0041】
【数7】
【0042】を得る。これは、出力空間で(P)が2つの
ベクトル(A)(B),(A)(D)で作られる平面上に存在するこ
とであり、かつ入力(x,y)について直線的な変化を
することを意味する。
【0043】以上の説明をまとめると、(数3)の4点
の重みづけ加算による補間式が(数1)のような特別な
関数を補間する場合には単位補間区間において(数7)
のように単なるベクトルの線形変換となり補間が直線的
になりリップルを発生することがなくなる。(数1)を
3変数の場合にすると、定数a、b、c,dを用いて
【0044】
【数8】
【0045】が得られるが、これが実際の色変換におけ
るリップルなく補間可能な変換の例であることは同様に
証明可能である。また(数8)に似ているが
【0046】
【数9】
【0047】のように1次元変換と線形変換の順序が
(数8)と逆転している場合、例えば線形変換をした後
にその結果について1次元変換であるガンマ変換などを
施す変換では異なる変数どうしのクロス項という(数
8)にない項を生じるためにリップルを生ずる。
【0048】本発明では、以上述べた数学的性質を用
い、リップルを生じそうな変換を考慮なく1度に計算す
ることはせず、(数8)で表現される変換部だけをテー
ブル補間することにより連鎖的な色変換全体をリップ
なく計算するものである。
【0049】次に、実施の形態1について説明する。図
1は、実施の形態1におけるRGB空間からCIE
AB空間への色変換のブロック結線図を示したものであ
り、101はRGB空間、102はRGB空間からXY
Z空間への変換を行う3x3行列線形変換、106はXY
Z空間からCIE−LAB空間105に変換する合成変
換部、107は線形変換を行う色変換テーブル(1)、
108は非線形変換をリップルなく行う色変換テーブル
(2)、109は3次元補間部で構成される。
【0050】以下に、その動作について図1(a)に従
って説明する。L次元色空間(Lは自然数)であるRG
B空間101からM次元色空間(Mは自然数)である
YZ空間110への変換は、M×L行列である3x3行列
を用いる3x3行列線形変換102による変換であり、例
えば
【0051】
【数10】
【0052】となる。次に、XYZ空間110は、各変
に1次元ガンマ変換の1次元変換103を施され
る。
【0053】
【数11】
【0054】最後に、XYZ空間110からN次元色空
間(Nは自然数)であるCIE−LAB空間105へ
は、M×(N+1)行列である3×4行列の式で3×4
行列線形変換104で変換される。
【0055】
【数12】
【0056】ただし、X/X0,Y/Y0,Z/Z0 > 0.008856 の場
合であり、ここでX0,Y0,Z0は標準白色の座標である。
【0057】これをテーブルとルックアップにて実行す
る場合、全体を1つのテーブルに構成すると(数10)
と(数11)の組み合わせが線形変換後に1次元変換す
る順番になっており(数9)に示した形であるから補間
後にリップルを生じる。
【0058】これを防止するために、図1(b)のよう
に3x3行列線形変換102を色変換テーブル(1)10
7に、1次元変換103と3×4行列線形変換104と
の合成部106を色変換テーブル(2)108に対応さ
せ、色変換テーブル(1)107をルックアップして
次元補間部109で補間し、結果について色変換テーブ
ル(2)108をルックアップして3次元補間部109
で補間することを示している。ここで、色変換テーブル
(1)107は、線形変換であるため、必ずしも3次元
補間部109を用いる必要はなく、直接計算しても3次
元補間部109を用いても結果は同一である。
【0059】次に、カラーハードコピー特有の色修正、
色補正処理として非線形の色変換の例について説明す
る。図2には、L次元色空間である濃度空間DrDgD
202からM次元色空間である(C 1/γ 、M 1/γ 、Y
1/γ 空間へ変換する色変換をとりあげる。
【0060】図2(a)において、濃度空間DrDgD
b202から1次元変換203
【0061】
【数13】
【0062】により、(Dr γ 、Dg γ 、Db γ 非線
形空間へ変換し次にM×L行列である3×3行列線形
変換204
【0063】
【数14】
【0064】を行ってM次元色空間であるCMY空間へ
変換し、最後に再び1次元変換205
【0065】
【数15】
【0066】により(C 1/γ 、M 1/γ 、Y 1/γ 空間2
06へ変換するものである。図2(b)においては、
度空間DrDgDb202から(Dr γ 、Dg γ 、Db
γ 非線形空間へγ変換し、次に線形変換を行ってCM
Y空間へ変換する部分201までは、(数6)の形であ
るからリップルを生じないので合成して3次元色変換テ
ーブル207として作成し、CMY空間から(C 1/γ
1/γ 、Y 1/γ 空間へ変換する部分は1次元変換テー
ブル209として作成するものである。濃度空間DrD
gDb202から3次元色変換テーブル207をルック
アップして補間208で補間し、次にその結果につい
て1次元変換テーブル209をルックアップして補間す
ることにより、リップルなく濃度空間DrDgDb20
2から(C 1/γ 、M 1/γ 、Y 1/γ 空間206への変換
を行うことができる。
【0067】次に、よく使われる色修正方法として非線
形2次多項式色修正があり、非線形2次多項式の色修正
例について説明する。これは、
【0068】
【数16】
【0069】なる3変数Dr,Dg,Dbからなる2次
多項式で表現される色変換であり、クロス項DrDg,DgDb,
DbDrなどを持つため、この変換をテーブル化し補間した
場合にもリップルが出現する。(数16)の出力cを例
にすると、
【0070】
【数17】
【0071】などと、対称行列Aと列ベクトルaとを用
いて表現可能である。線形代数の理論によれば対称行列
Aを対角化する正規直交行列Pを用いて、
【0072】
【数18】
【0073】あるいは、
【0074】
【数19】
【0075】なる変換を施すと、(数17)はいわゆる
2次形式の標準形といわれる形
【0076】
【数20】
【0077】に変換される。ここで、λ1、λ2、λ3
Aの固有値である。この式は、
【0078】
【数21】
【0079】のように(数8)のような1変数の変換の
線形結合になっており、(Dr',Dg',Db')空間からの補間
で計算してもリップルは生じない形式が得られた。
【0080】図3では、以上の説明から図3(a)は
×9行列非線形2次多項色修正演算302(数16)を
実行する場合、図3(b)は第一に入力であるL次元色
空間の(Dr,Dg,Db)空間301を(数19)のL×L行列
である3×3行列線形変換304により(Dr',Dg',Db')
空間に変換する。図3(c)においては、この箇所をテ
ーブル(1)306とし、その後(数20)を表現する
テーブル(2)308を作成する。そしてテーブル
(1)306をルックアップして補間307で補間演
算し、その結果からテーブル(2)308をルックアッ
プして補間309で補間演算する。このようにすれば
リップル発生が未然に回避される。テーブル(1)30
は、線形演算であるから、必ずしもテーブル(1)3
06を作成することはなく直接計算してもよい。
【0081】(実施の形態2)実施の形態1では、典型
的な色変換に複雑な逐次色変換の合成を行う場合、テー
ブル補間をうまく用いて、リップルを生じないようなテ
ーブル作成の仕方について説明してきた。これらの方法
は、色変換の数学的な表現があらかじめわかっていない
と使うことができない。
【0082】そこで、実施の形態2では、実験によって
テーブルが与えられ、その数式による表現は不明であっ
て、これを補間した場合にリップルを生じてしまう場合
にも使える方法を説明する。この場合には、数学的に空
間全体にリップルを除去することは望まず視覚的に違和
感のないことを目的としてテーブルの局所的な線形化を
行うものである。
【0083】はじめに、3次元の局所線形化の例につい
て説明する。実施の形態2における「テーブルの3次元
局所的線形化」とは、入力空間内の複数の単位補間立体
において入出力関係に線形関係を成立させることであ
る。例えば、2変数から2変数への変換では入力の正方
形が変換によって平行四面体に変換されることであり、
色変換では3変数であるから入力の立方体が出力で平行
六面体になることである。このとき、図14を用いて実
施の形態1のリップル除去の原理で説明した2次元では
4点補間(バイ・リニア補間)となるが、3次元では8
点補間(トライ・リニア補間)が単に入力ベクトルの線
形の座標変換となってリップルを生じなくなる。
【0084】重要なことは、補間方法が立方体補間であ
れ、三角柱補間であれ、あるいは四面体補間であれ、線
形化された立体内ではリップルを生じることはあり得な
いということである。
【0085】3次元の局所線形化の例について図4を用
いて説明する。図4において、図4(a)は立方体ABCD
-EFGHは入力空間での1つの単位補間区間であり、図4
(b)は平行六面体(A)(B)(C)(D)-(E)(F)(G)(H)は出力
である。AからHは、3次元位置ベクトルを表現してお
り、(A)から(H)はベクトルAでの出力ベクトルを
表現するものであり、これも出力空間内での位置ベクト
ルである。
【0086】ここで平行六面体を成立させる条件を考え
る。平行六面体では12本の辺のうち4本づつが平行で
ある辺で形成されるベクトルのうち独立なものは3本に
限られる。逆に3本の独立ベクトルは平行六面体を形成
することも明らかである。3本の独立ベクトルは4点で
決定する。つまり、立体の8個の頂点において、4点の
値を保存し、それらで決まる独立ベクトル401、40
2、403を基準にして残りの4点の値を修正変更すれ
ば平行六面体となり3次元局所線形化が達成される。
【0087】次に、3次元局所線形化を実行する範囲に
ついて図5を用いて説明する。この線形化を全入力色空
間でおこなうことは、色変換の内容そのものを大幅に変
えてしまうことになる。そこで、範囲はできるたけ局所
的にし、入力のうちリップル発生が視覚に最も敏感なグ
レイ軸上の部分だけを局所的に線形化することを考え
る。
【0088】グレイ軸とは、R=G=B、あるいはDr=
Dg=Dbのように3原色入力のときそれらがそろって変化
する入力軸である。このような入力については、色変換
では通常グレイを出力することが最も重要であり、その
ためにグレイ軸上の格子点では出力値が精密に決定して
いるはずである。しかしながら補間を行うと、このグレ
イ軸上でリップルが発生する。図11では、出力3色の
格子点出力を黒点で表現してある。3本の階調曲線は格
子点間でリップルによりそれぞれ独立にあばれるため混
色のバランスは格子点上では成立しているが、格子点間
ではまったく成立しなくなる。
【0089】このとき、明度階調に輪郭が見えたり色バ
ランスが各色で崩れる色にじみ現象が発生しカラー画像
の品質を著しく低下させてしまう。リップルが除去され
た状態とは、図12に示すようにグレイ軸上の格子点で
の出力値は保存し、かつ格子点間でも出力のバランスを
保ち、結果的に直線的に補間されることをいう。
【0090】以上の考察から図6に示すように、グレイ
軸を含む単位立方体を連ねた領域だけを線形化すること
となり、立方体内のA、Gの2点だけは値を保存する。
以降、保存する点を「保存点」、変更する点を「変更
点」と呼び、以降の図では黒点での表示が保存点、白点
が変更点とする。
【0091】再び図4において、立方体ABCD=EFGHにお
いて保存点がA,B,F,G、変更点がC,E,D,H
とすると変更点での値の変更の仕方は、独立ベクトル4
01,402,403を基にして
【0092】
【数22】
【0093】となる。A、Gの2点以外の保存点をF,
B点に仮に決めたがA、Gの2点と組み合わせて独立な
ベクトルを3本形成できる別の2点でもよいはずであ
る。このまま、F,B点の2点に決定すると、グレイ軸
からみて特定の色相でテーブルが保存されバランスを欠
くことになる。
【0094】そこで、連ねた立方体ごとにB,F,E,
H,D,Cの6点を巡回するようにF,Bの2点の固定
点の役割を順番に変更していく。図7(a)〜(f)
は、単位立方体をW方向からみた図である。グレイ軸上
に存在する立方体をグレイ軸の暗いほうから順番に1個
づつ別タイプに分類し計6タイプの立方体ごとに保存点
(黒点)が2個づつ各色相を回転しながら移動していく
状態を示している。以上のようにして、グレイ軸上での
3次元局所線形化が達成される。
【0095】次に、2次元の局所線形化につき説明す
る。2次元の局所線形化とは、特定の2次元平面内の補
間方式を使用することを前提に入力空間内の特定の平面
において入出力関係に線形関係を成立させることであ
る。例えば、上述のグレイ軸の局所線形化をする場合、
3次元局所線形化では変更点が4点になり非常に多くの
点を変更しなければならず、グレイ軸でリップルが解消
されるかわりに補間誤差も増大する。なるべく変更点を
少なくするため、補間に用いる点数を減らす方がよい。
【0096】グレイ軸を含む平面を考えてグレイ軸補間
では、この平面内の補間ですむような方式を考案し、図
8を用いて説明する。図8は、三角柱補間方法を前提と
した2次元局所線形化の例である。図8(a)に示すよ
うな入力空間をRGB空間と仮定すると、三角柱の主軸
方向はR軸、分割面はG=B面になる。ここで、グレイ
軸R=G=Bは分割面内に存在するのでグレイ軸入力に
ついての補間は平面G=B上でのみ行われることを利用
する。この2次元平面内の4点のみでグレイ軸を含む単
位補間区間を設定し、各区間内で2次元の線形化をす
る。図8(b)において、立方体ABCD-EFGHは入力空間
での1つの単位補間区間であり、図8(c)はゆがんだ
立体(A)(B)(C)(D)-(E)(F)(G)(H)は出力である。点は全
て3次元位置ベクトルを表現していることは前記した通
りである。
【0097】ここで、出力立体内で三角柱補間が行われ
た結果、グレイ軸での補間結果が関与する四角形(A)(B)
(G)(H)が平行四辺形であれば線形化が成立する。平行四
辺形では4本の辺のうち2本づつが平行であるから
で形成されるベクトルのうち独立なものは2本に限られ
る。逆に2本の独立ベクトルは平行辺形を形成するこ
とも明らかである。2本の独立ベクトルは3点で決定す
る。つまり補間平面で4点のうち3点を保存し、残りの
1点だけを変更すればよい。すなわち入力立方体の8個
の頂点において7点の値を保存しただ1点の値を修正
変更すれば2次元局所線形化が達成される。
【0098】正方形ABGHにおいて保存点をA,B、Gの
3点とすると、変更点H点での値の変更の仕方は、独立
ベクトル802を用いて
【0099】
【数23】
【0100】となる。ここでグレイ軸上にのっている
A、G両点以外の保存点B点はH点でもかまわないとい
う任意性がある。保存点をなるべく平均化するために図
9のようにグレイ軸上の連なった立方体ごとにB点とH
点の片方づつを巡回して保存点としていく。このように
してグレイ軸上の2次元局所線形化が達成される。この
ように2次元の局所線形化では、3次元に比べて比較的
少ない点の変更によって線形化を実現することができ
る。一方、3次元の局所線形化では補間方法の選択に自
由度があるが、2次元では向きの決まった三角柱補間、
あるいは平面内の補間に限定される。
【0101】次に、2次元局所線形化をグレイ軸以外の
平面領域に拡大する例について図10を用いて説明す
る。これは特定の色相平面内だけ、あるいは特定の明度
平面内に局在する入力について線形化を実行する場合な
どに用いる。図中で点線1001は、グレイ軸を示し黒
点(●)で示す点が前に述べたグレイ軸上の保存点であ
る。白点(○)で示す点が前に述べた2次元線形化にて
局所線形化された変更点である。これらの変更点は、単
位補間区間である正方形の3点を決定するが、これをも
とにしてグレイ軸から離れる方向に(1)で示す点群を
変更していくことができる。その次に(2)で示す点を
変更し順次(3)、(4)、(5)、(6)の各点群を
変更することができる。以上のようにグレイ軸の線形化
を行った後、グレイ軸から対称にグレイ軸から離れる方
向で順次線形化の範囲を広げることで矛盾なく平面の線
形化を実現することができる。
【0102】
【実施例】3次元の局所線形化と2次元局所線形化
実行したテーブルの例について、実施例で説明する。図
15から図17は、入力がRGB空間である9x9x9=729
点の3次元色変換テーブルの1例であり、入力がG=B
面での出力色を表現している。すなわちの平面P1
-P2-P3-P4が表現されている。図15上の右下がり直線
1502はグレイ軸、グレイ軸を包含する点線の正方形
1501は単位補間区間である。図15は、処理前のテ
ーブル値を示す。図16は、図15に3次元局所線形化
を行ったものである。変更点は丸く囲まれており、保存
点は図15の数値そのままである。3次元線形化では区
間内の線形化が完全に行われるため、このG=B平面内
においても2次元的に線形化が行われている。グレイ軸
上では固定点のため数値は変化しないが、グレイ軸を中
心に周囲の変更点が囲んで示してある。
【0103】図17は、本平面内で2次元局所線形化を
行った結果であり、同様に変更点は丸く囲まれている。
局所線形化が行われた単位補間区間1601では、(数
23)からわかるように、
【0104】
【数24】
【0105】のように対角上での和が等しい関係が成立
している。例えば図15で最左上の単位補間区間の正方
形1501では、
【0106】
【数25】
【0107】で非成立であったものが、図16では16
01において
【0108】
【数26】
【0109】図17では、1701において
【0110】
【数27】
【0111】のように成立している。図16で、変更点
の総数は11点であるが3次元的に変更が行われている
ため実際にはこの平面以外の点も変更されている。1個
の立方体での変更点数は4であるから変更点の総数は3
2点である。図17では、変更点の総数は8点であり、
総数729点にテーブルに対して変更点が極めて少な
い。
【0112】
【発明の効果】以上のように本発明によれば、第1に計
算式で与えられる非線形色変換については、まず非線形
色変換を逐次的な線形変換と1次元変換の連鎖に分解
し、これらを一度に合成して多次元色変換テーブルを作
るのではなく、色変換の連鎖系の中からリップルを生じ
ない変換の組み合わせだけを合成して多次元テーブル化
し、多次元テーブルルックアップと補間を複数繰り返し
ていくように構成することにより、数式が明らかな一般
の非線形色変換において、非線形変換の分解により、リ
ップルの生じないテーブルの組を複数作成し、逐次的に
補間を行うことによりリップルを生じなくすることが可
能である。
【0113】
【図面の簡単な説明】
【図1】実施の形態1のRGB空間からCIE−LAB
空間への変換による色変換のブロック結線図
【図2】実施の形態1の非線形の色変換のブロック結線
【図3】実施の形態1の2次多項式非線形色修正演算の
色変換のブロック結線図
【図4】実施の形態2の3次元局所線形化を説明する図
【図5】実施の形態2の3次元局所線形化の実行する領
域を示す図
【図6】実施の形態2の3次元局所線形化による保存点
と変更点の位置を示す図
【図7】実施の形態2の3次元局所線形化による保存点
の巡回移動方法を説明する図
【図8】実施の形態2の2次元局所線形化の方法を説明
する図
【図9】実施の形態2の2次元局所線形化による保存点
の巡回移動方法を説明する図
【図10】実施の形態2の2次元局所線形化を平面に拡
張する方法を示す図
【図11】実施の形態2のグレイ軸上でのリップルを示
す図
【図12】実施の形態2のグレイ軸上でリップル除去さ
れた状態を示す図
【図13】従来の多次元テーブルルックアップと補間演
算による色変換方法の概念図
【図14】実施の形態1の2次元でのリップルない補間
の概念図
【図15】実施例による処理前のテーブル数値例の図
【図16】実施例による3次元局所線形化処理後のテー
ブル数値例の図
【図17】実施例による2次元局所線形化処理後のテー
ブル数値例の図
【符号の説明】
101 RGB空間 102 3×3行列線形変換 103 1次元変換 104 3×4行列線形変換 105 CIE−LAB空間 106 合成部 107 色変換テーブル(1) 108 色変換テーブル(2) 109 3次元補間部 202 濃度空間DrDgDb 203 次元変換 204 3×3行列線形変換 205 次元変換 206 (C 1/γ 、M 1/γ 、Y 1/γ )空間 207 3次元色変換テーブル 208 補間 209 1次元変換テーブル 302 3×9行列非線形2次多項式色修正演算 304 3×3行列線形変換 306 テーブル(1) 307、309 補間 308 テーブル(2) 1301 入力色信号 1302 3次元LUT 1303 重み付け係数 1305 補間演算 1306 補間出力値

Claims (4)

    (57)【特許請求の範囲】
  1. 【請求項1】 L次元(Lは自然数)色空間の色信号を
    M次元(は自然数)色空間の色信号に非線形色変換を
    行う方法であって、前記L次元色空間をディジタル的
    、補間演算に用いる複数の格子点から構成されるL次
    元補間立体を示す上位信号と2 L 個の前記格子点により
    構成される単位補間立体を複数の小立体に分割する下位
    信号予め分離し、前記L次元補間立体の格子点
    に、各成分に独立な1次元ガンマ変換を用いて、前記上
    位信号からL次元色信号を得る1次元色変換処理を予め
    計算し、更に、前記L次元補間立体の格子点毎の前記L
    次元色信号に対して、M×L行列を用いて線形変換を行
    うM×L行列線形変換処理を計算したM次元色変換値に
    より構成されたL次元入力M次元出力色変換テーブル
    予め作成し、前記L次元色空間の入力色信号に対応する
    前記単位補間立体を前記L次元補間立体から選択し、前
    記単位補間立体を構成する2 L 個の格子点に対応するM
    ×2 L 個の前記M次元色変換値をM×2 L 行列として前記
    L次元入力M次元出力色変換テーブルから読み出すルッ
    クアップ処理と、前記L次元色空間の入力色信号に対応
    する前記下位信号を用いて、前記単位補間立体を2 L
    の小立体に分割し、前記2 L 個の小立体の体積から2 L
    重み係数を算出し、前記M次元色空間の成分毎に、前
    記M×2 L 行列のM次元色変換値に前記2 L 個の重み係数
    を乗算し、更に合算することで、前記L次元色空間の入
    力色信号を前記M次元色空間の色信号に変換する補間処
    理とを含む色変換方法。
  2. 【請求項2】 L次元(Lは自然数)色空間内の入力色
    信号に対して、M×L行例を用いるM×L行列線形変換
    を施したM次元色信号を出力するM×L行列線形変換処
    理と、前記M次元色信号を含むM次元色空間をディジタ
    ル的に、補間演算に用いる複数の格子点から構成される
    M次元補間立体を示す上位信号と2 M 個の前記格子点に
    より構成される単位補間立体を複数の小立体に分割する
    下位信号予め分離し、前記M次元補間立体の格子点
    毎に、各成分に独立に1次元ガンマ変換を用いて、前記
    上位信号から新たなM次元色信号を得る1次元色変換処
    理を予め計算し、更に、前記M次元補間立体の格子点毎
    前記新たなM次元色信号に対して、N×(M+1)行
    列を用いて線形変換を行うN×(M+1)行列線形変換
    処理を計算したN次元色変換値により構成されたM次元
    入力N次元出力色変換テーブルを予め作成し、前記M次
    元色信号に対応する前記単位補間立体を前記M次元補間
    立体から選択し、前記単位補間立体を構成する2 M 個の
    格子点に対応するN×2 M 個のN次元色変換値をN×2 M
    行列として前記M次元入力N次元出力色変換テーブルか
    読み出すルックアップ処理と、前記M次元色信号に対
    応する前記下位信号を用いて、前記単位補間立体を2 M
    個の小立体に分割し、前記2 M 個の小立体の体積から M
    個の重み係数を算出し、前記N次元色空間の成分毎に、
    前記N×2 M 行列のN次元色変換値に前記2 M 個の重み係
    数を乗算し、更に合算することで、前記M次元色信号を
    前記N次元色空間の色信号に変換する補間処理とを含む
    色変換方法。
  3. 【請求項3】 L次元色空間をディジタル的に、補間演
    算に用いる複数の格子点から構成されるL次元補間立体
    を示す上位信号と2 L 個の前記格子点により構成される
    単位補間立体を複数の小立体に分割する下位信号に予め
    分離し、前記L次元補間立体の格子点毎に、各成分に独
    立に1次元ガンマ変換を用いて、前記上位信号からL次
    元色信号を得る1次元変換処理を予め計算し、更に、
    記L次元補間立体の格子点毎の前記L次元色信号に対し
    、M×L行列を用いて線形変換を行うM×L行列線形
    変換処理を計算したM次元色変換値により構成された
    次元入力M次元出力色変換テーブルを予め作成し、前記
    L次元色空間の入力色信号に対応する前記単位補間立体
    を前記L次元補間立体から選択し、前記単位補間立体を
    構成する2 L 個の格子点に対するM×2 L 個のM次元色変
    値をM×2 L 行列として前記L次元入力M次元出力色
    変換テーブルから読み出すルックアップ処理と、前記L
    次元色空間の入力色信号に対応する前記下位信号を用い
    て、前記単位補間立体を2 L 個の小立体に分割し、前記
    L 個の小立体の体積から2 L 個の重み係数を算出し、前
    記M次元色空間の成分毎に、前記M×2 L 行列のM次元
    色変換値に前記2 L 個の重み係数を乗算し、更に合算す
    ることで、前記L次元色空間の入力色信号をM次元色空
    間の色信号に変換する補間処理と、前記M次元色空間の
    色信号の各成分に独立な1次元ガンマ変換により新たな
    M次元色空間の色信号を得る1次元変換処理とを含む色
    変換方法。
  4. 【請求項4】 L個の線形項とL個の自乗項とL2個(
    L2はL個の中から2個を取り出す組合せの個数)のク
    ロス項を有する非線形2次マスキング色修正演算行列に
    よりL次元色空間内の入力色信号をM次元色空間内の入
    力色信号に変換する方法であって、前記非線形2次マス
    キング色修正演算行列を正規直交L×L行列の線形変換
    により対角化し、前記L次元色空間の入力色信号を新た
    なL次元色信号に線形変換するL×L線形変換処理と、
    前記新たなL次元色信号を含む新たなL次元色空間をデ
    ィジタル的に、補間演算に用いる複数の格子点から構成
    されるL次元補間立体を示す上位信号と2 L 個の前記格
    子点により構成される単位補間立体を複数の小立体に分
    割する下位信号に分離し、前記新たなL次元補間立体
    の格子点毎に、前記正規直交L×L行列と前記非線形2
    次マスキング色修正演算行列とから計算される前記クロ
    ス項を含まない2次式から計算したM次色変換値により
    構成された前記L次元入力M次元出力色変換テーブル
    予め作成し、前記新たなL次元色信号に対応する前記上
    位信号を含む領域である単位補間立体を前記L次元補間
    立体から選択し、前記単位補間立体を構成する2 L 個の
    格子点に対応するM×2 L 個のM次元色変換値をM×2 L
    行列としてL次元入力M次元出力色変換テーブルから
    み出すルックアップ処理と、前記新たなL次元色信号
    対応する前記下位信号を用いて、前記単位補間立体を2
    L 個の小立体に分割し、前記2 L 個の小立体の体積から
    L 個の重み係数を算出し、前記M次元色空間の成分毎
    に、前記M×2 L 行列のM次元色変換値に前記2 L 個の重
    み係数を乗算し、更に合算することで、前記新たなL次
    元色信号を前記M次元色空間の色信号に変換する補間処
    理とを含む色変換方法。
JP27044796A 1996-10-14 1996-10-14 色変換方法 Expired - Fee Related JP3446497B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP27044796A JP3446497B2 (ja) 1996-10-14 1996-10-14 色変換方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP27044796A JP3446497B2 (ja) 1996-10-14 1996-10-14 色変換方法

Publications (2)

Publication Number Publication Date
JPH10126628A JPH10126628A (ja) 1998-05-15
JP3446497B2 true JP3446497B2 (ja) 2003-09-16

Family

ID=17486419

Family Applications (1)

Application Number Title Priority Date Filing Date
JP27044796A Expired - Fee Related JP3446497B2 (ja) 1996-10-14 1996-10-14 色変換方法

Country Status (1)

Country Link
JP (1) JP3446497B2 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
ES2436019T3 (es) * 2006-06-26 2013-12-26 Koninklijke Philips N.V. Dispositivo para generar luz
WO2008001290A1 (en) * 2006-06-27 2008-01-03 Koninklijke Philips Electronics N.V. Color navigation system
JP4905425B2 (ja) * 2008-08-25 2012-03-28 ブラザー工業株式会社 色変換テーブルの作成方法、色変換テーブル、色変換テーブル作成プログラム及び色変換テーブル作成装置
JP2019103040A (ja) 2017-12-05 2019-06-24 セイコーエプソン株式会社 プロファイル調整方法、プロファイル調整プログラム、プロファイル調整装置、及び、プロファイル調整システム

Also Published As

Publication number Publication date
JPH10126628A (ja) 1998-05-15

Similar Documents

Publication Publication Date Title
US7227546B2 (en) Interface and method of interfacing between a parametric modelling unit and a polygon based rendering system
JP2666523B2 (ja) 色変換装置
Braun et al. Techniques for gamut surface definition and visualization
JP2903807B2 (ja) 色信号変換方法および装置
US5337166A (en) Color signal transforming apparatus
JP4016234B2 (ja) 画像処理方法および画像処理装置
JP3446497B2 (ja) 色変換方法
GB2332329A (en) Pruned and non-pruned tetrahedral interpolation for colour space conversion
JP3171081B2 (ja) 画像処理装置
EP0923048B1 (en) Apparatus for tetrahedral and pruned tetrahedral interpolation
US6031642A (en) Tetrahedral and pruned tetrahedral interpolation
JP3048227B2 (ja) 多次元補間装置
EP0969413A2 (en) Data conversion apparatus and method
JP3576612B2 (ja) 色変換処理装置
EP0923037B1 (en) Common pruned radial and pruned tetrahedral interpolation hardware implementation
JP3190545B2 (ja) 補間演算方法およびデータ変換装置
JPH05284346A (ja) 色変換装置
GB2332328A (en) Pruned and non-pruned radial interpolation for colour space conversion
JPH03229573A (ja) 色変換装置
JPH09261499A (ja) 画像処理装置及び方法
JPH11146218A (ja) 色変換処理装置
Vondran Radial and Pruned Tetrahedral Interpolation Techniques
JPH1084492A (ja) データ変換装置およびデータ変換方法
JPH0421191A (ja) 色変換装置
JPH08181874A (ja) データ変換装置およびデータ変換方法

Legal Events

Date Code Title Description
FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20070704

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080704

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090704

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090704

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100704

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110704

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110704

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120704

Year of fee payment: 9

LAPS Cancellation because of no payment of annual fees