JP3469305B2 - ビデオカメラのホワイトバランス装置 - Google Patents

ビデオカメラのホワイトバランス装置

Info

Publication number
JP3469305B2
JP3469305B2 JP07505894A JP7505894A JP3469305B2 JP 3469305 B2 JP3469305 B2 JP 3469305B2 JP 07505894 A JP07505894 A JP 07505894A JP 7505894 A JP7505894 A JP 7505894A JP 3469305 B2 JP3469305 B2 JP 3469305B2
Authority
JP
Japan
Prior art keywords
white
cont
substantially white
white balance
signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP07505894A
Other languages
English (en)
Other versions
JPH07284118A (ja
Inventor
安浩 新貝
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Holdings Corp
Original Assignee
Fuji Photo Film Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuji Photo Film Co Ltd filed Critical Fuji Photo Film Co Ltd
Priority to JP07505894A priority Critical patent/JP3469305B2/ja
Publication of JPH07284118A publication Critical patent/JPH07284118A/ja
Application granted granted Critical
Publication of JP3469305B2 publication Critical patent/JP3469305B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Description

【発明の詳細な説明】 【0001】 【産業上の利用分野】本発明はビデオカメラのホワイト
バランス装置に関し、濃度の薄い単色被写体を撮影した
場合でもカラーフェリアなく良好な撮影ができるよう工
夫したものである。 【0002】 【従来の技術】ビデオカメラでは、白い被写体を撮影し
たときに白い再生画像が得られるようにホワイトバラン
ス制御をしている。ホワイトバランス制御は、カメラの
赤信号回路と青信号回路の利得の調整を、緑信号を基準
として行う。 【0003】オートホワイトバランス(AWB)回路の
中で画像積分形のオートホワイトバランス回路では、撮
像画面全体の色信号成分を積分すると、無彩色になると
いう知見をもとに制御をしている。 【0004】具体的には、赤信号R,緑信号G,青信号
Bを1フィールド毎に積分して赤積分値IR,緑積分値
IG,青積分値IBを求め、更に積分値IGに対する積
分値IRの比IR/IGと、積分値IGに対する積分値
IBの比IB/IGを求める。そして (IR/IG)=(IB/IG)=1 となるようなホワイトバランス制御信号Rcont,Bcont
を求める。そして制御信号Rcontの値に応じて赤信号R
のゲイン調整をすると共に、制御信号Bcontの値に応じ
て青信号のゲイン調整をしてホワイトバランス制御をし
ている。 【0005】前述した「画面全体を平均化すれば無彩色
(灰色)になる」という条件は、各種の色がランダムに
混入している一般の風景を撮影したときには成立する。
しかし、例えば青い空と青い海を背景とした被写体や、
赤い壁を背景とした被写体などを撮影したときには、前
述した条件は成立せず、平均すると青や赤にかたよった
色になってしまう。したがって背景が単色となっている
被写体(人物)を撮影したときに、画像積分形のホワイ
トバランス制御を行うと、画面を平均した色が無彩色で
ないにもかかわらず無彩色とみなしてホワイトバランス
制御をするため基準白レベルがズレてしまい、背景が退
色するとともにメイン被写体(人物)の色が補色(背景
色に対する補色)の方向に補正制御され、いわゆるカラ
ーフェリアが生じてしまう。 【0006】上述した不具合を解消するため従来では次
のような工夫をしている。即ちオートホワイトバランス
装置に、図8に示すような黒体放射近似曲線CBL及び
略白検出範囲A1を設定しておく。黒体放射近似曲線C
BLは、色温度の異なる光源の下で「白色」の被写体を
撮影し、この撮影信号における原色信号R,G,Bの各
々の信号レベルの積分値の比IR/IG,IB/IGの
相関関係を求めることによって得られる。黒体放射近似
曲線CBLの上下には適切なホワイトバランスを行うた
めの略白検出範囲A1を設けており、、比IR/IG,
IB/IGが略白検出範囲A1に入った場合には、この
ときの比IR/IG,IB/IGを基に得たホワイトバ
ランス制御信号Rcont,Bcontにてホワイトバランス制
御をする。ある特定の一色の割合が多い被写体を撮影し
たときには、比IR/IG,IB/IGが略白検出範囲
A1の外になり、このときには、前回のホワイトバラン
ス制御信号Rcont,Bcontを用いてホワイトバランス制
御をするようにしている。 【0007】 【発明が解決しようとする課題】ところで図8におい
て、略白検出範囲A1は広いため、単色被写体を撮影し
た場合、その単色の濃度がかなり濃いときには比IR/
IG,IB/IGが略白検出範囲A1の外に出るが、単
色の濃度が比較的薄い場合には比IR/IG,IB/I
Gが略白検出範囲A1に入ってしまうことがある。した
がって濃度の薄い単色被写体を撮影したときにはこの特
定の単色を白と誤判定してホワイトバランス制御をして
しまいカラーフェリアが生じてしまうことがあった。 【0008】本発明は、上記従来技術に鑑み、カラーフ
ェリアの発生をより少なくしたビデオカメラのホワイト
バランス装置を提供することを目的とする。 【0009】 【課題を解決するための手段】上記課題を解決する本発
明の構成は、撮像部から出力される撮像信号を処理して
得た赤信号R,緑信号G,青信号Bを積分して、赤積分
値IR,緑積分値IG,青積分値IBを求めると共に、
緑積分値IGに対する赤積分値IR及び青積分値IBの
比IR/IG,IB/IGを求める演算部と、比IR/
IG,IB/IGを基に、撮像画面を積分すると略白に
なるかどうかを判定する略白判定部と、比IR/IG,
IB/IGを基に最適なホワイトバランス制御のできる
ホワイトバランス制御信号Rcont,Bcontを演算すると
共に、前記略白判定部が略白と判定したときには最新に
演算したホワイトバランス制御信号Rcont,Bcontを出
力し、前記略白判定部が略白でないと判定したときには
以前において略白と最後に判定したときのホワイトバラ
ンス制御信号Rcont,Bcontを出力する制御値演算部
と、出力されたホワイトバランス制御信号Rcont,B
contを基に赤信号R及び青信号Bの増幅度を調整してホ
ワイトバランス制御をするホワイトバランス回路とを有
するビデオカメラのホワイトバランス装置において、被
写体輝度を求め被写体輝度が設定値以上であるときには
照明光は太陽光であると判定し、被写体輝度が設定値未
満であるときには照明光は人造光であると判定し、更に
ホワイトバランス制御信号の一方の信号の収束値から人
造光の種類を判定する照明光判定部を備え、前記略白判
定部は、比IR/IG,IB/IGをパラメータとした
判定エリアに、太陽光用の略白判定範囲及びこの太陽光
用の略白判定範囲よりも狭い各人造光用の複数の略白判
定範囲を設定しており、太陽光用の略白判定範囲及び各
人造光用の複数の略白判定範囲の中から前記照明光判定
部で判定した照明光に応じた略白判定範囲を選択し、比
IR/IG,IB/IGが選択した略白判定範囲に入る
ときには略白であると判定しそうでないときには略白で
ないと判定する機能を有することを特徴とする。 【0010】 【作用】本発明では照明光が太陽光であるか人造光であ
るか判定し、更に人造光であるときには人造光の種類を
判定し、エリアの広さの異なる略白判定範囲のうち、判
定した照明光に応じた略白判定範囲を用いて被写体が略
白であるかどうかを判定する。よって判定範囲を狭くし
た人造光照明下で、濃度の薄い単一被写体を撮影しても
カラーフェリアの発生が少なくなる。 【0011】 【実施例】以下に本発明の実施例を図面に基づき詳細に
説明する。 【0012】〈実施例のビデオカメラの回路構成〉図1
は本発明を組み込んだビデオカメラの撮像形を示す回路
図である。同図に示すようにレンズ1により形成された
光学像がCCD3の受光面に結像され、CCD3からは
撮像信号Sが出力される。撮像信号Sは、サンプルホー
ルド及びAGC回路5にてサンプルホールド処理及びゲ
イン調整され、更にA/Dコンバータ7によりデジタル
信号に変換されてから、信号処理回路部9の輝度信号処
理回路11及び色分離回路13と、更に別の色分離回路
15に入力される。 【0013】輝度信号処理回路11は、信号処理により
デジタルの輝度信号DYを作って出力し、この輝度信号
DYはD/Aコンバータ17によりアナログの輝度信号
Yに変換されて出力される。色分解回路13は、信号処
理により三種の原色信号R,G,Bを作って出力する。
原色信号R,G,Bは、ホワイトバランス制御信号R
cont,Bcontに応じホワイトバランス回路19にてホワ
イトバランス制御(ゲイン調整)され、ホワイトバラン
ス制御された原色信号R,G,Bは色信号処理回路21
により信号処理されてデジタルの色信号DCとなる。こ
の色信号DCは、D/Aコンバータ23によりアナログ
の色信号Cに変換されて出力される。 【0014】前記色分離回路15は信号処理をしてデジ
タルの輝度信号Y及び色合成信号C r ,Cb を出力す
る。この色分離回路15の後段には、積分器25及びマ
イクロコンピュータ27が接続されている。マイクロコ
ンピュータ27は、マトリクス演算部29,略白判定部
31,制御値演算部33及び照明光判定部35を有して
いる。 【0015】積分器25は、積分処理をし、輝度信号Y
を積分した輝度積分値IYと、色合成信号Cr ,Cb
それぞれ積分した色合成積分値ICr ,ICb を出力す
る。 【0016】マイクロコンピュータ27のマトリクス演
算部29は、マトリクス処理をして、積分値IY,IC
r ,ICb から緑積分値IG,赤積分値IR,青積分値
IBを求め、更に積分値IGに対する積分値IRの比I
R/IGと、積分値IGに対する積分値IBの比IB/
IGを求める。 【0017】略白判定部31は、比IR/IGと比IB
/IGの値を基に、被写体画像を平均化したときに無彩
色になるかどうか(これを「略白判定」と称す)を判定
する。この略白判定手法は本発明のポイントであり、そ
の詳細は、照明光判定部35の動作と共に後述する。 【0018】制御値演算部33は、比IR/IG,IB
/IGを基に、最適なホワイトバランス制御のできるホ
ワイトバランス制御信号Rcont,Bcontを演算する。つ
まり、 (IR/IG)=(IB/IG)=1 となるようなホワイトバランス制御信号Rcont,Bcont
を演算する。 【0019】更に制御値演算部33は、略白判定部31
により被写体画像の平均が略白であると判定されたとき
には、そのとき演算したホワイトバランス制御信号R
cont,Bcontを出力してホワイトバランス回路19に送
る。しかし略白でないと判定されたときには、以前にお
いて略白であると最後に判定されたときのホワイトバラ
ンス制御信号Rcont,Bcontを出力してホワイトバラン
ス回路19に送る。 【0020】ホワイトバランス回路19は、送られてく
るホワイトバランス制御信号Rcont,Bcontを基にホワ
イトバランス制御をする。 【0021】〈略白判定のための略白検出範囲を選択し
て略白を判定する動作〉照明光判定部35は、アイリス
の開度、電子シャッターのスピード及びAGCのゲイン
を考慮して被写体の輝度を判定する。そしてこの輝度が
あらかじめ設定した設定値以上であるときには太陽光で
照明していると判定し、前記輝度が前記設定値未満であ
るときには人造光(蛍光灯や白熱電球等)で照明してい
ると判定する。 【0022】更に照明光判定部35は、人造光で照明し
ていると判定した場合には、次にようにして人造光の種
類を判別する。即ち、図2に示すように、照明光判定部
35には、ホワイトバランス制御信号Rcontの値につい
て区間,,を設定しておき、制御信号Rcontが区
間の値であるときには白熱電球又は白色蛍光灯である
と判定し、制御信号Rcontが区間内の値であるときに
は昼白色蛍光灯であると判定し、制御信号Rcontが区間
内の値であるときには昼光色蛍光灯であると判定す
る。 【0023】上述した判定ができるのは、ホワイトバラ
ンス制御信号Rcont,Bcontは、照明光源が白熱電球で
あるときにはP1 の値に、白色蛍光灯であるときにはP
2 の値に、昼白色蛍光灯であるときにはP3 の値に、昼
光色蛍光灯であるときにはP 4 の値に収束するからであ
る。 【0024】略白判定部31には、図3〜図6に示すよ
うな、太陽光用略白検出範囲a0、白熱電球・白色蛍光
灯用略白検出範囲a1、昼白色蛍光灯用略白検出範囲a
2、昼光色蛍光灯用略白検出範囲a3が設定されてい
る。そして略白判定部31は、次表1に示すように、照
明光判定部35で判定した光源に対応した略白検出範囲
を選択する。そして比IR/IG,IB/IGが選択し
た略白検出範囲内に入るときには略白であると判定し、
比IR/IG,IB/IGが選択した略白検出範囲外に
出るときには略白でないと判定する。 【0025】 【表1】 【0026】上述したように照明光源が人造光源である
ときには略白検出範囲がa1,a2,a3と狭くなって
いるため、淡い単一色の被写体を撮影したときであって
も略白でないと判定することができ、この場合には以前
に略白であると最後に判定したときのホワイトバランス
制御信号Rcont,Bcontによりホワイトバランス制御が
行なわれる。したがって淡い単一色を白と誤判定するこ
とはなくなり、カラーフェリアを発生しにくくしてい
る。 【0027】したがって例えば白熱電球照明下で赤い紙
を撮影したとすると、追従範囲a1が濃い赤を含まない
エリア(図4で左寄りのエリア)にあるため、赤に対し
てカラーフェリアが生じにくい。また例えば昼光色蛍光
灯下で緑色の紙を撮影すると追従範囲a3が濃い緑を含
まないエリア(図6で右寄りのエリア)にあるため、緑
に対してカラーフェリアが生じにくい。 【0028】〈変形例〉上記実施例では図2に示すよう
にホワイトバランス制御信号Rcontに沿い区間を
設定して人造照明光源の種類を判別していたが、図7に
示すようにホワイトバランス制御信号Bcontに沿い区間
(1)(2)(3)を設定して人造照明光源の種類を判
別するようにしてもよい。即ち制御信号Bcontが区間
(1)内の値であるときには白熱電球又は白色蛍光灯で
あると判定し、制御信号Bcontが区間(2)内の値であ
るときには昼白色蛍光灯であると判定し、制御信号B
contが区間(3)内の値であるときには昼光色蛍光灯で
あると判定するのである。 【0029】更に制御信号Rcontまたは制御信号Bcont
の値に応じて、人造光用の各追従範囲を更に細かく設定
するようにしてもよい。 【0030】 【発明の効果】以上実施例と共に具体的に説明したよう
に本発明によれば、人造照明光で照明している場合に、
各照明光の種類に応じた狭いエリアの略白検出範囲を用
いて略白の判定をしているため、濃さが薄い単一被写体
を人造照明光下で撮影しても、カラーフェリアなく良好
な撮影ができる。
【図面の簡単な説明】 【図1】本発明の実施例に係るホワイトバランス制御装
置を搭載したビデオカメラの信号系を示すブロック図。 【図2】照明光源判定特性を示す特性図。 【図3】太陽光用略白検出範囲を示す特性図。 【図4】白熱電球・白色蛍光灯用略白検出範囲を示す特
性図。 【図5】昼白色蛍光灯用略白検出範囲を示す特性図。 【図6】昼光色蛍光灯用略白検出範囲を示す特性図。 【図7】照明光源判定特性の別の例を示す特性図。 【図8】従来技術における略白検出範囲を示す特性図。 【符号の説明】 1 レンズ 3 CCD 5 サンプルホールド及びAGC回路 7 A/Dコンバータ 9 信号処理部 11 輝度信号処理回路 13 色分離回路 15 色分離回路 17 D/Aコンバータ 19 ホワイトバランス回路 21 色信号処理回路 23 D/Aコンバータ 25 積分器 27 マイクロコンピュータ 29 マトリクス演算部 31 略白判定部 33 制御値演算部 35 照明光判定部 S 撮像信号 R,G,B 色信号 IR,IG,IB 積分値 IR/IG,IB/IG 比 Rcont,Bcont ホワイトバランス制御信号 C 色信号 Y 輝度信号
───────────────────────────────────────────────────── フロントページの続き (56)参考文献 特開 平2−194792(JP,A) 特開 平5−344530(JP,A) 特開 平5−7369(JP,A) 特開 平2−94790(JP,A) 特開 平4−79692(JP,A) 特開 平4−245889(JP,A) 特開 平5−122719(JP,A) (58)調査した分野(Int.Cl.7,DB名) H04N 9/73 H04N 9/04

Claims (1)

  1. (57)【特許請求の範囲】 【請求項1】 撮像部から出力される撮像信号を処理し
    て得た赤信号R,緑信号G,青信号Bを積分して、赤積
    分値IR,緑積分値IG,青積分値IBを求めると共
    に、緑積分値IGに対する赤積分値IR及び青積分値I
    Bの比IR/IG,IB/IGを求める演算部と、 比IR/IG,IB/IGを基に、撮像画面を積分する
    と略白になるかどうかを判定する略白判定部と、 比IR/IG,IB/IGを基に最適なホワイトバラン
    ス制御のできるホワイトバランス制御信号Rcont,B
    contを演算すると共に、前記略白判定部が略白と判定し
    たときには最新に演算したホワイトバランス制御信号R
    cont,Bcontを出力し、前記略白判定部が略白でないと
    判定したときには以前において略白と最後に判定したと
    きのホワイトバランス制御信号Rcont,Bcontを出力す
    る制御値演算部と、 出力されたホワイトバランス制御信号Rcont,Bcont
    基に赤信号R及び青信号Bの増幅度を調整してホワイト
    バランス制御をするホワイトバランス回路とを有するビ
    デオカメラのホワイトバランス装置において、 被写体輝度を求め被写体輝度が設定値以上であるときに
    は照明光は太陽光であると判定し、被写体輝度が設定値
    未満であるときには照明光は人造光であると判定し、更
    にホワイトバランス制御信号の一方の信号の収束値から
    人造光の種類を判定する照明光判定部を備え、 前記略白判定部は、比IR/IG,IB/IGをパラメ
    ータとした判定エリアに、太陽光用の略白判定範囲及び
    この太陽光用の略白判定範囲よりも狭い各人造光用の複
    数の略白判定範囲を設定しており、太陽光用の略白判定
    範囲及び各人造光用の複数の略白判定範囲の中から前記
    照明光判定部で判定した照明光に応じた略白判定範囲を
    選択し、比IR/IG,IB/IGが選択した略白判定
    範囲に入るときには略白であると判定しそうでないとき
    には略白でないと判定する機能を有することを特徴とす
    るビデオカメラのホワイトバランス装置。
JP07505894A 1994-04-13 1994-04-13 ビデオカメラのホワイトバランス装置 Expired - Fee Related JP3469305B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP07505894A JP3469305B2 (ja) 1994-04-13 1994-04-13 ビデオカメラのホワイトバランス装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP07505894A JP3469305B2 (ja) 1994-04-13 1994-04-13 ビデオカメラのホワイトバランス装置

Publications (2)

Publication Number Publication Date
JPH07284118A JPH07284118A (ja) 1995-10-27
JP3469305B2 true JP3469305B2 (ja) 2003-11-25

Family

ID=13565230

Family Applications (1)

Application Number Title Priority Date Filing Date
JP07505894A Expired - Fee Related JP3469305B2 (ja) 1994-04-13 1994-04-13 ビデオカメラのホワイトバランス装置

Country Status (1)

Country Link
JP (1) JP3469305B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7636473B2 (en) 2004-03-12 2009-12-22 Seiko Epson Corporation Image color adjustment

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2923894B1 (ja) * 1998-03-31 1999-07-26 日本電気株式会社 光源判定方法、肌色補正方法、カラー画像補正方法、光源判定装置、肌色補正装置、カラー画像補正装置及びコンピュータ読み取り可能な記録媒体
JP4422433B2 (ja) 2003-05-28 2010-02-24 オリンパス株式会社 電子カメラ及び電子カメラの信号増幅率調整方法
EP1832108A2 (en) * 2004-12-22 2007-09-12 Koninklijke Philips Electronics N.V. Automatic white balance control
JP4764163B2 (ja) * 2005-12-27 2011-08-31 株式会社東芝 監視カメラおよびそのホワイトバランス調整方法
JP4782600B2 (ja) * 2006-03-30 2011-09-28 富士フイルム株式会社 顔検出方法およびこれを用いた撮影装置
JP5091550B2 (ja) 2007-06-12 2012-12-05 株式会社エルモ社 ホワイトバランス調整装置およびホワイトバランス調整方法
KR20100000671A (ko) 2008-06-25 2010-01-06 삼성전자주식회사 영상 처리 방법

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7636473B2 (en) 2004-03-12 2009-12-22 Seiko Epson Corporation Image color adjustment

Also Published As

Publication number Publication date
JPH07284118A (ja) 1995-10-27

Similar Documents

Publication Publication Date Title
KR0132407B1 (ko) 화질제어기능을 갖는 촬상장치 및 촬상장치의 화질제어방법
JP3368041B2 (ja) 撮像装置
US20020085100A1 (en) Electronic camera
US9036046B2 (en) Image processing apparatus and method with white balance correction
US6963362B1 (en) Image pickup apparatus having flash and color adjustment control
JP3469305B2 (ja) ビデオカメラのホワイトバランス装置
US5016094A (en) White balance correction apparatus
JP3193456B2 (ja) ホワイトバランス制御装置
JP3142603B2 (ja) 画像撮影装置のホワイトバランス装置
JP3535678B2 (ja) スチルビデオカメラのホワイトバランス調整装置
JP3609138B2 (ja) ビデオカメラ
JPH08280041A (ja) 撮像装置
JP3491032B2 (ja) 電子スチルビデオカメラの自動白バランス制御回路
JP2004274367A (ja) デジタルカメラ
JP3100815B2 (ja) カメラのホワイトバランス制御方法
JP3397436B2 (ja) ビデオカメラのホワイトバランス装置
JP3027562B2 (ja) 撮像装置
JPS60214168A (ja) ビデオカメラにおける逆光補正回路
JP3378697B2 (ja) 白バランス調整装置
JP3010373B2 (ja) 撮像装置
JP3163065B2 (ja) 画像撮影装置
JPH11127450A (ja) ホワイトバランス調整装置
JP2001028760A (ja) カメラのホワイトバランス制御方法及び露出制御方法
JPH08321986A (ja) テレビジョンカメラ
JPH11168747A (ja) 撮像装置

Legal Events

Date Code Title Description
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20030826

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20070905

Year of fee payment: 4

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080905

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080905

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090905

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090905

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100905

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100905

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110905

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120905

Year of fee payment: 9

LAPS Cancellation because of no payment of annual fees