JPH05258035A - 画像処理装置 - Google Patents

画像処理装置

Info

Publication number
JPH05258035A
JPH05258035A JP4052734A JP5273492A JPH05258035A JP H05258035 A JPH05258035 A JP H05258035A JP 4052734 A JP4052734 A JP 4052734A JP 5273492 A JP5273492 A JP 5273492A JP H05258035 A JPH05258035 A JP H05258035A
Authority
JP
Japan
Prior art keywords
color
colors
mixing
mixed
lut
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP4052734A
Other languages
English (en)
Other versions
JP2950003B2 (ja
Inventor
Hiroyuki Yamaji
裕之 山地
Tomihiro Yamazaki
富弘 山崎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to JP4052734A priority Critical patent/JP2950003B2/ja
Publication of JPH05258035A publication Critical patent/JPH05258035A/ja
Application granted granted Critical
Publication of JP2950003B2 publication Critical patent/JP2950003B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Landscapes

  • Processing Or Creating Images (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

(57)【要約】 【目的】 複数の色を混合して所望の色を得る。 【構成】 入力部1より混ぜ合わせる複数の元色と調合
比を指定されると、処理部4はこの指定に基づき混合色
を計算する。記憶部3は入力データと計算結果のデータ
を格納し、表示部2は記憶部3に格納したデータを表示
する。

Description

【発明の詳細な説明】
【0001】
【産業上の利用分野】本発明は、コンピュータ・グラフ
ィックス(CG)における色の混ぜ合わせによる色の指
定機能を持つ画像処理装置に関する。
【0002】
【従来の技術】近年、画像処理装置において、装置性能
の向上に伴って装置の表現し得る色数が多くなってき
た。このような装置上で任意の画素に所望の色を指定し
ようとする場合、次のような指定方法が用いられてい
た。
【0003】予め用意されている色見本又は編集中の
画像に使用中の色の中から探す。 R(赤)、G(緑)、B(青)の3色の輝度を指定す
る。もしくはH(色相)、S(彩度)、V(明度)の3
つの色度座標値を指定する等、色度座標により色を指定
する。
【0004】
【発明が解決しようとする課題】上述のように装置性能
の向上に伴って装置の表現し得る色数は多くなったが、
オペレータはそれらの色の中から所望の色を探し出すこ
とが困難になっている。これは従来の装置での色の指定
が、R、G、Bの各輝度を指定する等、コンピュータ・
グラフィックス特有の色を指定しなければならないこと
が、オペレータの色を指定する際の不便さの一因になっ
ている。
【0005】上述した2つの方法のうちでは、色見本
に望む色が無い場合があり、また多くの色見本の中か
ら、所望の色を探し出すのは困難である。またでは、
RGBなどの色度座標値による色指定は、日常生活では
使われないため、コンピュータ・グラフィックス分野に
熟練した者でなければ、欲しい色を指定することができ
ない。
【0006】本発明は、上述の問題点に鑑みてなされた
もので、複数の色を混合して所望の色を得ることのでき
る画像処理装置を提供することを目的とする。
【0007】
【課題を解決するための手段】図1は本発明の原理図で
ある。本発明は、複数の色とその調合割合を指定する入
力部1と、この入力部1への入力データにより混合色を
生成する処理部4と、前記入力データおよび前記混合色
を格納する記憶部3と、前記入力データおよび前記混合
色を出力する出力部2を備えたものである。
【0008】また、画像の各画素の色をルックアップテ
ーブルの番号で表すようにし、前記入力部1において複
数の色を指定するのに色見本より指定する場合の色見本
や前記出力部2で出力する混合後色を表すルックアップ
テーブル番号を選択するに際し、画像中に使われている
同一のルックアップテーブル番号が何画素に使用されて
いるか調べ、使用されている画素数の少ないルックアッ
プテーブル番号を選択するようにする。
【0009】また、画像の各画素の色をルックアップテ
ーブルの番号で表すようにし、前記入力部1において複
数の色を指定するのに色見本より指定する場合の色見本
や前記出力部2で出力する混合後色を表すルックアップ
テーブル番号を選択するに際し、ルックアップテーブル
の各番号間の色差を求め、色差の小さいルックアップテ
ーブル番号を選択するようにする。
【0010】
【作用】入力部1より混ぜ合わせる複数の元色と調合比
を指定し、処理部4はこの指定に基づき混合色を計算す
る。記憶部3には入力データと計算結果のデータを格納
し、出力部2は、記憶部3に格納したデータを表示した
り、プリントアウトしたりする。画素のRGB輝度は、
その値を直接記憶する場合もあるが各RGBの輝度を番
号で表し、テーブル形式としたLUT(ルックアップテ
ーブル)の番号を記憶し、また参照するようにする。こ
のため記憶部3にLUTを記憶しておく。
【0011】画面の各画素にルックアップテーブル番号
を割り当て、このルックアップテーブル番号で各画素の
色を表す場合、色見本や混合後の色を表すルックアップ
テーブル番号の色を変えると、このルックアップテーブ
ル番号と同じ番号を有する画素の色も変わってしまう。
そこで画面の画素に影響の少ないルックアップテーブル
番号を選択して色見本や混合後色を表すようにしなけれ
ばならない。この選択方法として次の2つの方法があ
る。
【0012】第1の方法は画像中に使われている同一の
ルックアップテーブル番号が何画素に使われているかを
累計して、使用画素数の少ないルックアップテーブル番
号を選択する。この方法は計算量が少ない。
【0013】第2の方法はルックアップテーブルの各番
号間の色差を求め、この色差の小さいルックアップテー
ブル番号を選択する。この方法は計算量が多くなる。
【0014】このようにして選択したルックアップテー
ブル番号を色見本や混合色を表すのに使うと、同じルッ
クアップテーブル番号の画素の色も変わってしまう。そ
こでこの色の変化をそのままにしておく、つまり混色処
理をしているときに画像が一部乱れるのを放置する場合
と、この変化をなくすため、次のようにする場合があ
る。第1の方法で選択したときは、今まで選択された番
号で表された画素は、その番号が表す色に近い色を表す
ルックアップテーブル番号に置き換えるようにする。ま
た、第2の方法で選択したときは、選択した色を表すル
ックアップテーブル番号に対して色差の小さかったルッ
クアップテーブル番号を選択されたルックアップテーブ
ル番号を有していた画素に割り当てるようにする。この
ようにすることにより、選択された番号を有する画素に
対する悪影響を少なくすることができる。
【0015】
【実施例】以下、本発明の実施例を図面を参照して説明
する。図2は本発明の実施例の構成を示す。入力部1は
混合する複数の色を指定する元色指定部11と、この色の
混合比率を指示する調合比指定部12よりなる。処理部4
は、指定された色より、必要があれば記憶部3のLUT
を参照し、また色度座標値変換をし、記憶部3にRGB
の各輝度の値として記憶すると共に表示部2の元色表示
部21に表示する。また、指定された調合比から各色の比
率を処理部4で計算し、記憶部3に記憶すると共に、表
示部2の調合比表示部22に表示する。処理部4は記憶部
3に記憶してある各色のRGB値と各色の調合比率よ
り、予め定められた混合色計算方法により混合色計算を
行い、その結果を記憶部3に記憶すると共に、表示部2
の混合色表示部23に表示する。なお、表示と共にまたは
単独で図示しないプリンタより出力するようにしてもよ
い。
【0016】ここでLUTとは、表示装置にある色を表
示するとき、その色の輝度(R,G,B)を指示する代
わりに、輝度(R,G,B)情報を順に変えて、その1
つづつに番号を割り付けてテーブル形式とし、このテー
ブルの番号を指定することにより、その色の表示を指定
するテーブルである。このテーブルの使用方法として、
各画素にこの番号を割り付けておき、この番号の輝度
(R,G,B)を変える方法や、各画素に上述のように
色を指定する度にテーブルの番号を割り付ける方法など
がある。
【0017】次に混ぜ合わせる元色の指定方法について
説明する。広く用いられている方法としては以下のよう
な方法がある。 画像処理装置の画面上に表示されている色の中から、
その色の表示位置の座標をマウス、キーボード等でカー
ソルを移動し指し示すことで、もしくはその座標値を指
定することで、表示中の色を元色として指定する。 画像処理装置上で予め持っているLUT情報の中か
ら、と同様にして元色を指定する。 画像処理装置上のLUT情報内にはないが、その装置
が表現可能な色を色見本として出力しその色をと同様
にして元色として指定する。 画像処理装置が表示可能な色をRGBの輝度、HSV
等の色度座標値を指定し、その色を元色として指定す
る。
【0018】また、各色の調合比を指定する方法には次
のような方法がある。 キーボード等から直接数値を入力する。 スクロールバーのようにグラフィカルに量を表現しう
るもので比率を指定する。
【0019】図3は編集画面の一例を示す図である。調
合比指定はスクロールバー方式を用い、調合比を元色指
定1は20%、元色指定2は80%とした状態を示す。この
混合色も表示される。
【0020】次に混色の計算について説明する。まず使
用する変数の説明をする。 RN ,GN , BN は混ぜ合わせる色のRGBの輝度(0
〜1) RMIX , MIX , MIX は、混ぜ合わせた色の輝度(0
〜1) Nは、混ぜ合わせる色の数 Fは、混ぜ合わせる色の元量を1とした時の混ぜ合わせ
色の量 Wは、全体量を1とした時の混ぜ合わせる色の比率WN
=FN /(F1 +F2 +…FN )
【0021】図4は混色計算式を表した図であり、混色
する対象に応じて選択する。計算式1は各元色Rk ,
k ,Bk とその混ぜ合わせ量Fk の積を積算し、その積
算値が1を越えた時は1として計算する場合であり、計
算式2は各輝度にその調合比を乗じて、その積算値とし
た場合であり、計算式3は単に混合しようとする色を平
均する方法である。
【0022】図2の記憶部3では、色をRGBの3つの
輝度で記憶したが装置の都合上または上述した計算式の
都合上、他の色度座標系の値やLUTの番号で記憶部す
るのが適切であればそれらの値で色を記憶する。
【0023】次に2色の元色を混合する操作手順を説明
する。まず、図3の元色指定1と元色指定2に混ぜたい
色、例えば、白と赤を前述した元色指定方法により指定
する。次にスクロールバーを用いて2色の調合比を指定
する。図3では元色指定1を20%、元色指定2を80%
とした場合を示す。この指定に基づき処理部4で混合色
を計算し、結果の色、この場合ピンクを混合色として表
示する。この色は画像処理装置の画面上に表示されてい
る色の中から、その色の表示位置の座標をマウス、キー
ボード等でカーソルを移動し、指し示すなどで、または
その座標値を指定するなどで、他の色指定部に持って行
くことができる。
【0024】次に見本色とか混合後の色を指定するLU
T番号を選択する方法について説明する。コンピュータ
の画像表示装置には、RGB各256諧調1677万色
中N色を表示できるものがる。これは、表示可能な色は
1677万色あるが、一画面に表示できるのはN色であ
るというものである。そのため、表示する画像に適合し
任意のN色を選ぶ必要がある。
【0025】この作業を画像の限定色最適化と呼んでい
る。N色のRGB情報はLUTに格納されていて、ある
色を指定する時は、RGBを直接指定するのではなく、
このLUT番号で指定する。画像中に使われているLU
TのRGB情報を変更すると、画像中でそのLUT番号
を使っている全ての色が変更されてしまう。通常、色は
画素毎に変更するのに対して、LUTを持つ装置は同じ
LUT番号を使っている全ての画素を変更してしまう。
【0026】これを防止するため、画像の乱れの少ない
ようにLUT番号を選ぶ方法を以下に述べる。 無差別に選ぶ方法で、この方法は簡単であるが、当然
のことながら選んだ結果に当たり外れがある。 LUT番号の使用状況に応じて選択する方法で、LU
T番号に対応して画像データ中に使われている画素数を
計算し、少ない画素に対応するLUT番号の順に選択す
る。
【0027】これら,の方法は選択したLUT番号
と同じ番号を有する画素は混色処理中色が変化するの
で、画像が乱れる。そこで、新しい色を使う際に現在の
画像中に全てのLUTが使われていれば、使用中の色を
似通った色に変更して未使用状態にしてから、その未使
用のLUTを新しい色として使う必要がある。
【0028】この作業を空きパレットを作成すると呼ん
でいる。空きパレットを作成するには、基本的に2通り
の方法が考えられる。画像中のどの色を空けるかを決め
るのに、基本的に2通りの方法が考えられ、それらを
,に示す。
【0029】使用頻度による方法で、画像中に使われ
ているLUTの各色が、何画素づつ使われているかを累
計して使用数の少ない色を似通った色と置き換える方法
である。これは、画素数の累算計算とLUT個数分の大
小比較をすることで空けるパレットを決定出来るので、
計算量が比較的少なくてすむ。しかし、この方法だと置
き換える似通った色がLUT中に無く変更点が目立って
しまったり、画素数が少なくても特長的な色(例えば、
夜空の星)が意に反して変更されてしまう場合がある。
【0030】LUT中の全色の色差による方法であ
る。2色の色がどれくらい似通っているかを表すのに色
差という考えがある。ある座標系を選びその距離を色差
として、小さい程似ているとするものである。LUT中
の各色についてこの色差を求めて、一番色差の小さい色
同士を1つの色に置き換えてしまう方法である。しか
し、この方法ではN個の要素を持つLUTに対して(N
−1)*N/2通りの色差計算をする必要があり計算量
がかなりのものとなる。
【0031】以上のように空けるパレットを決定するに
は、処理速度を重視する際は、品質を重視する際は
を用いるのが望ましい。
【0032】次に本実施例の動作フローを説明する。図
5は以降のフロー図で用いられる変数、定数の説明図で
ある。図6は主処理フロー図で全体のフローを表す。ま
ず初期値設定処理を行う(ステップ30) 。図 7は初期値
設定処理フローを表し、LUT番号がPNのLUT内の
R,G,B情報格納テーブル、画像データP(x,
y)、混合前色1,2のLUT番号c1 ,c2、混合比率
M、混合後色を置換するLUT番号CH、混合後色表示
LUT番号MCN、見本表示LUT番号SCN(I)、
色見本RGB情報テーブルSC(IN)に初期値を与え
る。
【0033】ここで色見本番号I=0〜7について説明
する。本実施例では0を赤、1を緑、2を青、3を黄、
4をシアン、5をマゼンタ、6を白、7を黒としてい
る。故にImax は7である。
【0034】次に画像データをロードするか調べ(ステ
ップ31) 、ロードする場合は、LUTR(PN),LUTG(PN),LUTB
(PN), P(x,y)のデータをロードし(ステップ32)
、色見本処理に入る( ステップ33) 。
【0035】図8は色見本処理フロー図である。本フロ
ーはIの各値について、色見本表示LUT番号によって
指示されたLUT番号のLUT内のR,G,B情報を、
一時、色見本表示LUT元色RGB情報退避用テーブル
に退避した後、そのLUT内のR,G,B情報のところ
に色見本RGB情報テーブルを格納する処理を行う。
【0036】次に図6に戻り、混合処理を行う(ステッ
プ34) 。図9は混合処理のフロー図で、R,G,Bにつ
いて、混合後色を表示するLUT番号のLUT内R,
G,B情報を一時BCM(N)に退避し、図4のいずれ
かの計算式で計算した混合後色RGB値をMC(N)に
格納した後これからさらに、混合後色を表示するLUT
R(MCN),LUTG(MCN),LUTB(MC
N)に格納する。
【0037】次に図6に戻り表示処理をする(ステップ
35) 。本処理は入力内容と混合した色を表示する処理で
ある。次に入力処理をする( ステップ36) 。入力処理は
混合しようとする2色とその調合比を入力する場合と、
混合色を所望の画素の色に置換する要求入力とがある。
【0038】図11は置換要求があった場合の処理を示
し、ユーザが、混色を塗りたい画素に対応するLUT番
号を入力し、このLUT番号の内容に混色後のRGB値
を入れる処理である。
【0039】次に図6に戻り処理終了要求があるか調べ
(ステップ38) 、あれば終了処理をする( ステップ38)
。図12は終了処理のフローを表し、終了処理1と終了
処理2を行う。
【0040】図13は終了処理1のフロー図で、図8でB
C(I,N)に退避した情報をLUTR(PN),LUTG(PN),LUTB
(PN)に戻す処理である。図14は終了処理2のフロー図
で、図9でBCM(N)に退避した情報をLUTR(MCN),LU
TG(MCN),LUTB(MCN) に戻す処理である。
【0041】
【発明の効果】以上の説明から明らかなように、本発明
は、混ぜ合わせる色とその調合比を指定することができ
るので、所望の色を容易に得ることができる。
【図面の簡単な説明】
【図1】本発明の原理図である。
【図2】本発明はの実施例の構成を示すブロック図であ
る。
【図3】編集画面の一例を示す図である。
【図4】混合色の計算式の例を示す図である。
【図5】実施例の動作フローで用いる変数・定数の説明
図である。
【図6】主処理フロー図である。
【図7】初期値設定フロー図である。
【図8】色見本処理フロー図である。
【図9】混合処理フロー図である。
【図10】入力処理フロー図である。
【図11】図10の置換処理フロー図である。
【図12】終了処理フロー図である。
【図13】図12の終了処理1のフロー図である。
【図14】図12の終了処理2のフロー図である。
【符号の説明】
1 入力部 2 表示部 3 記憶部 4 処理部 11 元色指定部 12 調合比指定部 21 元色表示部 22 調合比表示部 23 混合色表示部

Claims (3)

    【特許請求の範囲】
  1. 【請求項1】 複数の色とその調合割合を指定する入力
    部(1)と、この入力部(1)への入力データにより混
    合色を生成する処理部(4)と、前記入力データおよび
    前記混合色を格納する記憶部(3)と、前記入力データ
    および前記混合色を出力する出力部(2)を備えたこと
    を特徴とする画像処理装置。
  2. 【請求項2】 画像の各画素の色をルックアップテーブ
    ルの番号で表すようにし、前記入力部(1)において複
    数の色を指定するのに色見本より指定する場合の色見本
    や前記出力部(2)で出力する混合後色を表すルックア
    ップテーブル番号を選択するに際し、画像中に使われて
    いる同一のルックアップテーブル番号が何画素に使用さ
    れているか調べ、使用されている画素数の少ないルック
    アップテーブル番号を選択するようにしたことを特徴と
    する請求項1記載の画像処理装置。
  3. 【請求項3】 画像の各画素の色をルックアップテーブ
    ルの番号で表すようにし、前記入力部(1)において複
    数の色を指定するのに色見本より指定する場合の色見本
    や前記出力部(2)で出力する混合後色を表すルックア
    ップテーブル番号を選択するに際し、ルックアップテー
    ブルの各番号間の色差を求め、色差の小さいルックアッ
    プテーブル番号を選択するようにしたことを特徴とする
    請求項1記載の画像処理装置。
JP4052734A 1992-03-11 1992-03-11 画像処理装置 Expired - Lifetime JP2950003B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP4052734A JP2950003B2 (ja) 1992-03-11 1992-03-11 画像処理装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP4052734A JP2950003B2 (ja) 1992-03-11 1992-03-11 画像処理装置

Publications (2)

Publication Number Publication Date
JPH05258035A true JPH05258035A (ja) 1993-10-08
JP2950003B2 JP2950003B2 (ja) 1999-09-20

Family

ID=12923163

Family Applications (1)

Application Number Title Priority Date Filing Date
JP4052734A Expired - Lifetime JP2950003B2 (ja) 1992-03-11 1992-03-11 画像処理装置

Country Status (1)

Country Link
JP (1) JP2950003B2 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5893130A (en) * 1995-04-28 1999-04-06 Sharp Kabushiki Kaisha Image output device
WO1999067943A1 (fr) * 1998-06-23 1999-12-29 Sharp Kabushiki Kaisha Unite et procede de traitement d'images, et support sur lequel le programme de traitement des images est enregistre
JP2007279338A (ja) * 2006-04-06 2007-10-25 Sharp Corp 映像信号処理装置、映像信号処理方法及び画像表示装置
JP2011199857A (ja) * 2010-02-26 2011-10-06 Sharp Corp 画像表示装置およびオンスクリーン表示方法
JP2020112705A (ja) * 2019-01-11 2020-07-27 株式会社innochi 眼鏡用レンズ色の決定装置、眼鏡用レンズ色の決定方法、コンピュータープログラム

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5893130A (en) * 1995-04-28 1999-04-06 Sharp Kabushiki Kaisha Image output device
WO1999067943A1 (fr) * 1998-06-23 1999-12-29 Sharp Kabushiki Kaisha Unite et procede de traitement d'images, et support sur lequel le programme de traitement des images est enregistre
US7006708B1 (en) 1998-06-23 2006-02-28 Sharp Kabushiki Kaisha Image processor, image processing method, and medium on which image processing program is recorded
US7158688B2 (en) 1998-06-23 2007-01-02 Sharp Kabushiki Kaisha Image processing apparatus, image processing method, and medium on which image processing program is recorded
US7298927B2 (en) 1998-06-23 2007-11-20 Sharp Kabushiki Kaisha Image processing apparatus, image processing method, and medium on which image processing program is recorded
US7327879B2 (en) 1998-06-23 2008-02-05 Sharp Kabushiki Kaisha Image processing apparatus, image processing method, and medium on which image processing program is recorded
JP2007279338A (ja) * 2006-04-06 2007-10-25 Sharp Corp 映像信号処理装置、映像信号処理方法及び画像表示装置
JP2011199857A (ja) * 2010-02-26 2011-10-06 Sharp Corp 画像表示装置およびオンスクリーン表示方法
JP2020112705A (ja) * 2019-01-11 2020-07-27 株式会社innochi 眼鏡用レンズ色の決定装置、眼鏡用レンズ色の決定方法、コンピュータープログラム

Also Published As

Publication number Publication date
JP2950003B2 (ja) 1999-09-20

Similar Documents

Publication Publication Date Title
KR890005295B1 (ko) 색을 선택하고 발생시키기 위한 방법 및 장치
US5311212A (en) Functional color selection system
US6262817B1 (en) System and method for adjusting a color image
JP2556738B2 (ja) 色選択制御装置
US7180632B2 (en) Image processing device, image processing method, and record medium
US7061503B2 (en) In-gamut color picker
US10496349B2 (en) Profile adjustment system, profile adjustment device, and profile adjustment method
US5379129A (en) Method for compositing a source and destination image using a mask image
US7457003B1 (en) Color management for limited gamut devices
GB2305833A (en) Image processing apparatus for correcting color space coordinates and method
JP2003087591A (ja) 画像処理方法及び画像処理装置
US20030035157A1 (en) Image processing apparatus, image processing method and storage medium
US7061646B2 (en) Color correction table generating method, image processing device, image processing method and recording media
CN104835460A (zh) 图像处理设备、图像处理方法、显示面板驱动器以及显示设备
US7010161B2 (en) Image processing device, image processing method, and computer readable medium storing program for image color correction with priority to one of color reproduction and brightness
US7671871B2 (en) Graphical user interface for color correction using curves
US6084564A (en) Apparatus for determining a black point on a display unit and method of performing the same
US20080055679A1 (en) Tone Setting for Monochrome Image
JP2950003B2 (ja) 画像処理装置
US20010003456A1 (en) Image display device
JP2022062886A (ja) 印刷装置及び印刷方法
JP3566350B2 (ja) カラー画像処理方法及びデータ処理装置
US20220335662A1 (en) Contrast Ratio Color Picker
US7227552B1 (en) Image processing apparatus and method and storage medium
JPH1188712A (ja) 画像処理方法及び画像処理装置

Legal Events

Date Code Title Description
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 19990608

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080709

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090709

Year of fee payment: 10

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100709

Year of fee payment: 11

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100709

Year of fee payment: 11

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110709

Year of fee payment: 12

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110709

Year of fee payment: 12

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120709

Year of fee payment: 13

EXPY Cancellation because of completion of term
FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120709

Year of fee payment: 13