JP3382277B2 - 画像処理装置およびその方法 - Google Patents

画像処理装置およびその方法

Info

Publication number
JP3382277B2
JP3382277B2 JP00168893A JP168893A JP3382277B2 JP 3382277 B2 JP3382277 B2 JP 3382277B2 JP 00168893 A JP00168893 A JP 00168893A JP 168893 A JP168893 A JP 168893A JP 3382277 B2 JP3382277 B2 JP 3382277B2
Authority
JP
Japan
Prior art keywords
color
image
signal
image signal
signals
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP00168893A
Other languages
English (en)
Other versions
JPH06205206A (ja
Inventor
健一 太田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP00168893A priority Critical patent/JP3382277B2/ja
Publication of JPH06205206A publication Critical patent/JPH06205206A/ja
Priority to US08/550,520 priority patent/US5673335A/en
Application granted granted Critical
Publication of JP3382277B2 publication Critical patent/JP3382277B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Image Processing (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Color Image Communication Systems (AREA)
  • Processing Or Creating Images (AREA)

Description

【発明の詳細な説明】
【0001】
【産業上の利用分野】本発明は画像処理装置およびその
方法に関し、例えば、色分解信号を処理するカラー画像
処理に関する。
【0002】
【従来の技術】現在、カラー画像を可視化出力する一般
的な装置として、カラーCRTモニタやカラーハードコ
ピー装置などがある。前者は、管面上のRGB3色の蛍
光体の発光レベルを強度変調して、加法混色により可視
画像を形成する。一方、後者は、YMCK4色の色材を
用いて、減法混色により記録紙上に可視画像を形成す
る。
【0003】
【発明が解決しようとする課題】しかし、上記従来例に
おいては、次のような問題点があつた。図7は一般的な
CRTモニタとハードコピー装置の色再現範囲を示すx
y色度図であり、上記2つの画像形成装置は、原理的に
色再現能力が異なつている。従つて、図7に示すA点と
B点の2つの色が存在する画像を、CRTモニタ上に表
示すると両色は異なる色として再現されるが、ハードコ
ピー装置で出力すると両色はともにC点で再現されてし
まい、2色の区別がつかなくなり、上記従来例において
は、結果的に、本来画像のもつている情報が失われるこ
とになつた。
【0004】そこで、カラー画像をハードコピー装置で
出力する場合、該画像に含まれる色がハードコピー装置
の色再現範囲に収まるように変換した後、出力するとい
う方法が考えられる。すなわち、図7において、A点を
D点にB点をE点に変換した後、ハードコピー装置で出
力すれば、両色の区別が付けられることになる。しか
し、上記方法においても、画像中に彩度の高い文字など
が合成されていた場合、この文字色を最高彩度として検
出してしまうことがあり、その結果、文字色とその他の
連続階調部分の色の間に、再現すべき色が存在していな
いにもかかわらず、文字色を基準として変換条件を設定
することになり、連続階調部分の色再現性が低下する問
題がある。本発明は、入力画像の連続階調部分を良好に
色再現できるようにすることを目的とする。
【0005】本発明は、上述の問題を解決するためのも
ので、非階調画像以外の階調画像部分を色再現範囲が狭
いハードコピー装置などで良好に再現することを目的と
する。
【0006】
【課題を解決するための手段】本発明は、前記の目的を
達成する一手段として、以下の構成を備える。本発明に
かかる画像処理装置は、入力画像信号によって表される
色信号から、非階調画像の色信号を除いた、残りの色信
号を検出する検出手段と、検出された色信号から入力画
像の各原色の最大値を求める手段と、広範囲の色を表す
前記入力画像信号を、色再現範囲が狭い装置用の画像信
号に変換するための変換関数を、前記各原色の最大値か
ら算出する算出手段と、前記変換関数を用いて、前記入
力画像信号を前記装置用の画像信号に変換する変換手段
とを有することを特徴とする。また、本発明にかかる画
像処理方法は、入力画像信号によって表される色信号か
ら、非階調画像の色信号を除いた、残りの色信号を検出
し、検出された色信号から入力画像の各原色の最大値を
求め、広範囲の色を表す前記入力画像信号を、色再現範
囲が狭い装置用の画像信号に変換するための変換関数
を、前記各原色の最大値から算出し、前記変換関数を用
いて、前記入力画像信号を前記装置用の画像信号に変換
することを特徴とする。
【0007】
【実施例】以下、本発明に係る一実施例の画像処理装置
を図面を参照して詳細に説明する。
【0008】
【第1実施例】図1は本実施例の構成例を示すブロツク
図である。同図において、107はCPUで、例えば1
チツプマイクロプロセツサなどで構成され、内蔵するR
OMなどに記憶されたプログラムに応じて、RAM10
9をワークメモリとした画像処理や、CPUバス107
aを介して他のブロツクの制御などを実行する。
【0009】101はセレクタ、103はマトリクス変
換回路、105はサンプリング回路で、セレクタ101
は、CPU107から選択端子Sへ入力された選択信号
に応じて、入力されたRGB信号を、マトリクス変換回
路103またはサンプリング回路105の何れかへ出力
する。なお、CPU107は、画像の色圧縮を実行する
場合はマトリクス変換回路103へ、また、画像の色分
布を検出する場合はサンプリング回路105へ、RGB
信号を導くように選択信号をセレクタ101へ送る。
【0010】サンプリング回路105は、セレクタ10
1から入力されたRGB信号を、CPU107によつて
設定されたレートでサンプリングする。106はバツフ
アで、サンプリング回路105でサンプリングされたR
GB信号を記憶する。CPU107は、バツフア106
に記憶されたRGB信号を順次読出して、その三次元ヒ
ストグラムをヒストグラムメモリ108へ書込む。な
お、三次元ヒストグラムは、RGB3色を変数として、
色の組合せの出現頻度をカウントするもので、例えば、
画像中に出現しない色の組合せに相当する座標のカウン
ト結果は0になる。
【0011】次に、CPU107は、三次元ヒストグラ
ムを参照して、孤立色の判定を行う。ある色の組合わせ
(Ri,Gi,Bi)の頻度をH(Ri,Gi,Bi)とする場合、孤
立色の定義は次のとおりである。 すなわち入力画像中に色信号RiGiBiが存在し、座標
(Ri,Gi,Bi)近傍の色空間上に色が存在しない場
合、(Ri,Gi,Bi)は孤立色である。
【0012】通常、連続階調画像に合成された文字は1
色のベタで作られることが多く、ヒストグラム上では1
座標に頻度が集中する。従つて、本実施例は、出現頻度
Hが高く、かつ、隣接する色の頻度Hが0である孤立色
は、特定色でベタ塗りされた文字などの非階調画像の色
であると判断する。次に、CPU107は、バツフア1
06に記憶されたRGB信号を順次読出して、後述する
方法によつて、上記の孤立色を除外した最も彩度の高い
色を検出する。なお、CPU107は、検出結果からマ
トリクス変換係数を後述する方法で算出し、算出された
マトリクス変換係数をマトリクス変換回路103へセツ
トする。
【0013】図2はマトリツクス変換回路103の構成
例を示すブロツク図で、画像信号は、図示しないクロツ
クやリセツト信号などによつて、各ブロツクを順次転送
される。同図において、201は最小値回路で、入力さ
れたRGB信号から最小値信号X=min(R,G,B)を出
力する。
【0014】202〜204はそれぞれ減算器で、入力
されたRGB信号と、最小値回路201から入力された
最小値信号X(X=min(R,G,B))との差を出力する。例
えば、減算器a202は、信号Rと最小値信号Xの差R
−Xを出力し、減算器b203はG−Xを、減算器c2
04はB−Xを出力する。205〜207はそれぞれラ
ツチで、減算器202〜204から入力された差信号R
−Xをそれぞれラツチする。
【0015】208〜210は乗算器で、減算器202
〜204から入力された差信号R−Xをそれぞれ乗算す
る。例えば、乗算器a208は、減算器a202から入
力された差R−Xと、乗算器b203から入力された差
G−Xとの積(R−X)(G−X)を出力し、乗算器b20
9は(G−X)(B−X)を、乗算器c210は(B−X)
(R−X)を出力する。
【0016】211はマトリクス演算回路で、ラツチ2
05〜207と乗算器208〜210とから入力された
信号と、CPU107によつてセツトされたマトリクス
係数とを、式(2)に従つて演算して、演算結果dR,d
G,dBを出力する。 ただし、RG=(R−X)(G−X) GB=(G−X)(B−X) BR=(B−X)(R−X) 212〜214は加算器で、マトリクス演算回路211
の出力dR,dG,dBと、RGB信号とを式(3)に従つ
て加算して、R'G'B'信号を出力する。
【0017】 次に、式(2)のマトリクス変換係数aijの求め方を説
明する。
【0018】マトリクス変換の目的は、入力画像に含ま
れる広範囲の色を、ハードコピー装置の色再現範囲にマ
ツピングすることにある。ここでは、赤色のマツピング
について説明するが、他の色についても略同様である。
例えば、画像信号がRGB各8ビツトで表されるとし
て、画像に含まれる最も彩度の高い赤が(R,G,B)=(2
00,15,0)であつたとする。この色は、図7の色度図上で
はRi点に当り、一般的なハードコピー装置で再現でき
る最も彩度の高い赤はRH点にあるので、このままで
は、該画像に含まれるRH点とRi点の間の色は、すべて
RH点の色として出力される。
【0019】従つて、本実施例は、画像中に含まれる最
も彩度の高い赤Riが、RH点の色(一般的に(R,G,B)
=(160,20,10)程度)になるように、画像信号をマトリ
クス変換する。その結果、RH点とRi点の間の色はRH
点よりも内側へマツピングされ、階調を維持したまま、
該画像に含まれる色をハードコピー装置の色再現領域へ
マツピングすることができる。
【0020】このような対応関係を、例えば、表1に一
例を示すように6原色すべてに設定すると、式(2)と
式(3)式とから18個の連立一次方程式が得られ、未
知数としてaijがやはり18個あるので、一義的にマト
リクス変換係数が決定できる。
【0021】
【表1】 さて、次に入力画像信号中に含まれる最も彩度の高い6
原色を検出する方法を説明する。
【0022】図3は一般的なCRTモニタとハードコピ
ー装置の色再現範囲をL***均等色空間上で模式的
に示す図である。なお、CPU107は次式によつて、
RGB信号をL***信号に変換する。 ただし、u=4X/(X+15Y+3Z) v=9Y/(X+15Y+3Z) 図3において、401で示す六面体はCRTモニタ色再
現範囲で、Rc,Gc,Bc,Cc,McおよびYcは6原色
各方向の最高再現彩度をそれぞれ示し、402で示す六
面体はハードコピー装置色再現範囲で、RH,GH,B
H,CH,MHおよびYHは6原色各方向の最高再現彩度を
それぞれ示す。
【0023】本実施例は、入力画像信号を初めにサンプ
リングして、L***均等色空間上で最も彩度の高い
色を検出し、この値から式(1)のマトリクス係数を決
定する。例えば、入力画像のある画素値が(Rs,Gs,B
s)であつたとする。まず、本実施例は、この値が孤立色
であるか否かを判定するが、孤立色は前述した方法で検
出されているので、それに当てはまるか否かを判定すれ
ばよい。判定の結果、孤立色であつた場合は以下の処理
は行わず、次のサンプリング画素へ処理を移す。また、
孤立色でなかつた場合は、(Rs,Gs,Bs)をL***
に変換する。なお、図3に示すS点は該画素値を示すも
のである。
【0024】さて、本実施例が求めるのは、入力画像信
号のうち、RGBYMC6原色それぞれで最も彩度の高
い色のRGB値である。そこで、L***均等色空間
上で図4に示すようなベクトルを考える。なお、図4は
M色方向の場合を示し、点MH,Mc,Sは図3に示すも
のと同一である。同図において、MHから画素値Sへ向
かうベクトルMHSについて、ベクトルMHMc方向の余
弦rMを求めることによつて得られるベクトルMHMc上
の点SMは、画素値SのM方向の彩度を表している。な
お、rMは次式で求めることができる。
【0025】 rM=(MHS・MHMc)/|MHMc| …(4) ただし、(X・Y):ベクトルXとYの内積 |Z|:ベクトルZの絶対値 同様にして、他の原色(R,G,B,C,Y)についても、
その方向の余弦(rR,rG,rB,rY,rc)を求めて、求
めた6つの余弦の中から最大のものを選べば、画素値S
がどの方向(色相)の色であるかがわかる。
【0026】このようにして、入力画像のすべての画
素、あるいは一定間隔でサンプリングされた孤立色でな
い画素の6原色方向の余弦の最大値を見出せば、この最
大値を与える点のL***値を逆変換したRGB値
が、求めるべき色になる。図5は以上の処理手順の一例
を示すフローチヤートである。なお、同図に示す処理
は、本実施例に画像信号が入力されると、CPU107
によつて実行されるものである。また、Xmaxは余弦の
最大値を記憶するレジスタを表し、実際には、Rmax,
Gmax,Bmax,Ymax,MmaxおよびCmaxの6レジスタ
から構成される。
【0027】同図において、CPU107は、ステツプ
S1で、入力されたRGB信号をサンプリング回路10
5へ送つて、該RGB信号を所定レートでサンプリング
させ、サンプリングされた画素をバツフア106へ記憶
させる。続いて、CPU107は、ステツプS2で、前
述したように、ヒストグラムメモリ108を用いて、バ
ツフア106に記憶されたサンプリング画素から孤立色
を検出する。
【0028】続いて、CPU107は、ステツプS3で
最大値レジスタXmaxを例えば0に初期化し、ステツプ
S4でバツフア106からサンプリング画素を1つ読出
し、ステツプS5で、読出したサンプリング画素の値が
孤立色か否かを判定して、孤立色であればステツプS1
1へジヤンプし、また、孤立色でなければステツプS6
へ進む。
【0029】孤立色でなかつた場合、CPU107は、
ステツプS6で該画素値をRGB→L***変換し、
ステツプS7で6原色方向の余弦を求め、ステツプS8
で求めた6つの余弦の最大値rxを求める。なお、最大
値rxは、rR,rG,rB,rY,r Mまたはrcの何れかであ
る。続いて、CPU107は、ステツプS9で、最大値
rxとそれに対応する最大値レジスタXmaxに記憶された
値とを比較して、rx≦XmaxであればステツプS11へ
ジヤンプし、また、rx>Xmaxであればステツプ10で
Xmaxへrxを記憶した後、ステツプS11へ進む。
【0030】続いて、CPU107は、ステツプS11
で、バツフア106に記憶したすべてのサンプリング画
素を読出したか否かを判定して、読出していないサンプ
リング画素があればステツプS4へ戻り、また、すべて
のサンプリング画素を読出した場合はステツプS12へ
進む。すべてのサンプリング画素を読出した場合、CP
U107は、ステツプS12で各最大値レジスタXmax
が表す点のL***値をRGB値に変換し、ステツプ
S13で、ステツプS12で得た各原色のRGB値を表
1に適用して、マトリクス変換係数aijを求める。
【0031】続いて、CPU107は、ステツプS14
で、ステツプS13で求めたマトリクス変換係数aijを
マトリクス変換回路103に設定して、同回路にマトリ
クス演算を実行させた後、処理を終了する。以上説明し
たように、本実施例によれば、色再現範囲の広いCRT
モニタなどに表示されたカラー画像の画像信号を、原画
像の情報を失うことなく、CRTモニタなどに比べて色
再現範囲の狭いハードコピー装置に適した画像信号に変
換することができ、さらに、該画像に彩度の高い文字が
含まれる場合でも、連続階調部分の彩度を適切に変換で
きる。
【0032】
【第2実施例】以下、本発明に係る第2実施例を説明す
る。なお、第2実施例において、第1実施例と略同様の
構成については、同一符号を付して、その詳細説明を省
略する。第1実施例においては、文字色の孤立性に着目
して、画像信号の色分布を表すヒストグラムから文字を
検出したが、第2実施例は、文字色とその背景色とが大
きく異なることに着目して検出を行うものである。
【0033】図6は上記の検出方法を説明する図であ
る。同図(a)に示すような連続階調部601と文字部
602とが合成された画像のラインab部分の画像信号
は、該画像信号の1色成分(R,GまたはB)の強度を
示すと同図(b)のようになる。この関係を利用して、
本実施例は、次の手順で文字色の検出を行う。
【0034】CPU107は、バツフア106に記憶さ
れた空間的に隣合う2組の画像信号(Ri,Gi,Bi)と(R
i+1,Gi+1,Bi+1)とを読出し、次式によつて値Dを求め
る。 D=(R1-R2)2+(G1-G2)2+(B1-B2)2 …(5) CPU107は、求めた値Dと予め決められた閾値Tと
を比較して、次の条件を満たす場合は文字色の可能性が
高いと判断する。
【0035】D>T または D=0 …(B) すなわち、例えば、図6(b)に603と604で示す
2組の画像信号の値Dは小さいので、上記条件Bには当
てはまらない。しかし、同図に604と605で示す2
組の画像信号の値Dは大きくなり、閾値Tが適切であれ
ば条件Bが成り立つ。なお、上記条件BにD=0を加え
たのは、例えば図6(b)に606と607で示す2組
の画像信号のような、文字部の内部の2組の画像信号を
参照した場合を考慮したものである。
【0036】以上説明したように、本実施例によれば第
1実施例と略同様の効果があるほか、文字色と背景色と
が大きく異なることを利用して文字色を検出するので、
ヒストグラムメモリなどを必要とせず、構成を簡略化し
て装置コストを低下できる。なお、本発明は、複数の機
器から構成されるシステムに適用しても、1つの機器か
らなる装置に適用してもよい。
【0037】また、本発明は、システムあるいは装置に
プログラムを供給することによつて達成される場合にも
適用できることはいうまでもない。
【0038】
【発明の効果】以上説明したように、本発明によれば、
入力画像信号によって表される色信号から、非階調画像
の色信号を除いた、残りの色信号を検出し、検出された
色信号から入力画像の各原色の最大値を求め、広範囲の
色を表す入力画像信号を、色再現範囲が狭い装置用の画
像信号に変換するための変換関数を、各原色の最大値か
ら算出し、変換関数を用いて、入力画像信号を前記装置
用の画像信号に変換する。従って、非階調画像の色信号
を除いた残りの色信号に基づき、入力画像信号を色再現
範囲が狭い画像信号へ変換することができ、非階調画像
以外の階調画像部分を色再現範囲が狭いハードコピー装
置などで良好に再現することができる。
【図面の簡単な説明】
【図1】本発明に係る一実施例の画像処理装置の構成例
を示すブロツク図である。
【図2】本実施例のマトリツクス変換回路の構成例を示
すブロツク図である。
【図3】一般的なCRTモニタとハードコピー装置の色
再現範囲をL***均等色空間上で模式的に示す図で
ある。
【図4】図3における画素値SのM原色方向の余弦を説
明する図である。
【図5】本実施例のCPUの処理手順の一例を示すフロ
ーチヤートである。
【図6】本発明に係る第2実施例の文字色検出方法を説
明する図である。
【図7】一般的なCRTモニタとハードコピー装置の色
再現範囲を示すxy色度図である。
【符号の説明】
101 セレクタ 103 マトリクス変換回路 105 サンプリング回路 106 バツフア 107 CPU 108 ヒストグラムメモリ 109 RAM 201 最小値回路 202〜204 減算器 205〜207 ラツチ 208〜210 乗算器 211 マトリクス演算回路 212〜214 加算器
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.7 識別記号 FI H04N 9/79 H04N 9/79 H (58)調査した分野(Int.Cl.7,DB名) H04N 1/60 H04N 1/46

Claims (3)

    (57)【特許請求の範囲】
  1. 【請求項1】 入力画像信号によって表される色信号か
    ら、非階調画像の色信号を除いた、残りの色信号を検出
    する検出手段と、 検出された色信号から入力画像の各原色の最大値を求め
    る手段と、 広範囲の色を表す前記入力画像信号を、色再現範囲が狭
    い装置用の画像信号に変換するための 変換関数を、前記
    各原色の最大値から算出する算出手段と、 前記変換関数を用いて、前記入力画像信号を前記装置用
    の画像信号に変換する変換手段とを有することを特徴と
    する画像処理装置。
  2. 【請求項2】 前記非階調画像は孤立色の判断に基づき
    決定されることを特徴とする請求項1に記載された画像
    処理装置。
  3. 【請求項3】 入力画像信号によって表される色信号か
    ら、非階調画像の色信号を除いた、残りの色信号を検出
    し、 検出された色信号から入力画像の各原色の最大値を求
    め、 広範囲の色を表す前記入力画像信号を、色再現範囲が狭
    い装置用の画像信号に変換するための変換関数を、前記
    各原色の最大値から算出し、 前記変換関数を用いて、前記入力画像信号を前記装置用
    の画像信号に変換することを特徴とする画像処理方法。
JP00168893A 1992-08-26 1993-01-08 画像処理装置およびその方法 Expired - Fee Related JP3382277B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP00168893A JP3382277B2 (ja) 1993-01-08 1993-01-08 画像処理装置およびその方法
US08/550,520 US5673335A (en) 1992-08-26 1995-10-30 Color image processing method and apparatus therefor

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP00168893A JP3382277B2 (ja) 1993-01-08 1993-01-08 画像処理装置およびその方法

Publications (2)

Publication Number Publication Date
JPH06205206A JPH06205206A (ja) 1994-07-22
JP3382277B2 true JP3382277B2 (ja) 2003-03-04

Family

ID=11508462

Family Applications (1)

Application Number Title Priority Date Filing Date
JP00168893A Expired - Fee Related JP3382277B2 (ja) 1992-08-26 1993-01-08 画像処理装置およびその方法

Country Status (1)

Country Link
JP (1) JP3382277B2 (ja)

Also Published As

Publication number Publication date
JPH06205206A (ja) 1994-07-22

Similar Documents

Publication Publication Date Title
US5181105A (en) Color image correction based on characteristics of a highlights or other predetermined image portion
US4887151A (en) Encoding apparatus for color image data with block-by-block individual quantizing or individual encoding of luminosity, structure, and color information
US6897988B1 (en) Image processing apparatus, image processing method, and storage medium for color matching
JPH06333039A (ja) エアブラシ方法及びエアブラシ装置
JP3339770B2 (ja) 色変換装置
JPH0723245A (ja) 画像処理装置
JPWO2002021849A1 (ja) 画像処理装置および表色系変換方法
JPH0591311A (ja) 色修正装置
JPH0832827A (ja) ディジタル画像の階調補正装置
JP4429439B2 (ja) カラー変換方法及び変換プロセッサ
JP3382277B2 (ja) 画像処理装置およびその方法
JPH0373668A (ja) 画像処理装置及び画像処理方法
US5657068A (en) Color image processing apparatus and conversion method
JP2000135819A (ja) プリンタにおけるグレ―値決定方法
JP2845523B2 (ja) 色推定方法
JP2848558B2 (ja) カラー画像処理装置
JP3190050B2 (ja) カラー画像処理方法
JP2543857B2 (ja) カラ―画像処理装置
JP2002094826A (ja) 画像処理装置、画像形成装置、並びに画像処理方法
JPH0646251A (ja) カラー画像処置装置及び変換方法
JP3205054B2 (ja) カラー画像処理装置及び方法
JP3162730B2 (ja) 画像処理方法
JP3150963B2 (ja) 画像処理方法
JPH1042313A (ja) 信号処理システムおよびイメージ処理装置、ならびに信号を変換するための回路
JPH0834546B2 (ja) カラ−ハ−ドコピ−における色再現方法

Legal Events

Date Code Title Description
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20021129

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20081220

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20081220

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091220

Year of fee payment: 7

LAPS Cancellation because of no payment of annual fees