JP3131025B2 - ビデオカメラ及びその制御方法 - Google Patents

ビデオカメラ及びその制御方法

Info

Publication number
JP3131025B2
JP3131025B2 JP04147722A JP14772292A JP3131025B2 JP 3131025 B2 JP3131025 B2 JP 3131025B2 JP 04147722 A JP04147722 A JP 04147722A JP 14772292 A JP14772292 A JP 14772292A JP 3131025 B2 JP3131025 B2 JP 3131025B2
Authority
JP
Japan
Prior art keywords
signal
circuit
microcomputer
video camera
image signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP04147722A
Other languages
English (en)
Other versions
JPH05344407A (ja
Inventor
理 上田
浩史 須田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP04147722A priority Critical patent/JP3131025B2/ja
Publication of JPH05344407A publication Critical patent/JPH05344407A/ja
Priority to US08/489,255 priority patent/US5557325A/en
Application granted granted Critical
Publication of JP3131025B2 publication Critical patent/JP3131025B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/71Circuitry for evaluating the brightness variation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • H04N23/84Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/88Camera processing pipelines; Components thereof for processing colour signals for colour balance, e.g. white-balance circuits or colour temperature control

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Color Television Image Signal Generators (AREA)
  • Processing Of Color Television Signals (AREA)

Description

【発明の詳細な説明】
【0001】
【産業上の利用分野】本発明は、マイクロコンピュータ
を内蔵するビデオカメラ及びその制御方法に関するもの
である。
【0002】
【従来の技術】ビデオカメラにおいては、ホワイトバラ
ンスの調整、露出補正等のために、画面中の所定の位置
及び所定の範囲の画像信号データを抽出し、その情報に
より、ホワイトバランス及び露出を適正状態に補正する
という様な方法が取られている。この様な補正の制御及
び撮影動作全般の制御を行うために、従来より、ビデオ
カメラにはマイクロコンピュータが内蔵されている。
【0003】そして、上記の様に、画面中の所定の位置
及び所定の範囲の画像信号データを抽出する場合の方法
としては、マイクロコンピュータが、ビデオカメラから
のクロック信号や同期信号、マイクロコンピュータ自身
のクロック信号等により、撮像素子の所定の画素の位置
を算定し、それによって撮像素子の所定の範囲の映像信
号を抽出する様にしたものが知られている。
【0004】また、もう1つの方法としては、マイクロ
コンピュータが画面の所定の位置及び所定の範囲を示す
データを外部の回路に出力し、この外部の回路が自動的
にビデオカメラのクロック信号及び同期信号に基づいて
撮像素子の画素位置を算定し、画像データの抽出を行う
様にしたものも知られている。
【0005】
【発明が解決しようとする課題】しかしながら、上記の
従来例のうち前者の方法においては、マイクロコンピュ
ータは、画面の所定の位置の画像情報を抽出するため
に、その能力の多くを費やしており、ビデオカメラの他
の部分の制御を行う能力が低下するという問題点があっ
た。また、後者の方法の様に外部に回路を持つ場合にお
いても、所定の位置の画像情報の抽出が終了したことを
監視するために、マイクロコンピュータは一定の間隔で
この外部の回路を監視している必要があり、同様にその
処理能力が低下するという問題点があった。そのため、
ビデオカメラの動作を1つのマイクロコンピュータで制
御しようとした場合には、高速で制御することができ
ず、ビデオカメラの各部の動作が緩慢になるという問題
点があった。
【0006】従って、本発明は上述の課題に鑑みてなさ
れたものであり、その目的とするところは、マイクロコ
ンピュータの処理能力を低下させることがなく、高速な
動作が可能なビデオカメラ及びその制御方法を提供する
ことにある。
【0007】
【課題を解決するための手段】上述の課題を解決し、目
的を達成するために、本発明のビデオカメラは、撮像素
子と、該撮像素子から出力される全画像信号から所定の
画面範囲に対応する部分画像信号を抽出する抽出回路
と、該抽出回路の出力信号に基づいて前記全画像信号の
補正値を決定するマイクロコンピュータとを具備するビ
デオカメラであって、前記抽出回路は、該抽出回路によ
る前記部分画像信号の抽出動作が終了した時点で、前記
マイクロコンピュータに割り込み信号を出力する機能を
備えることを特徴としている。
【0008】また、この発明に係わるビデオカメラにお
いて、前記マイクロコンピュータにより決定された前記
補正値に基づいて、前記全画像信号の補正を行う補正回
路を更に具備することを特徴としている。また、本発明
のビデオカメラの制御方法は、撮像素子から出力される
全画像信号から、抽出回路によって所定の画面範囲に対
応する部分画像信号を抽出し、この抽出された部分画像
信号の情報に基づいて、前記全画像信号の補正値をマイ
クロコンピュータで決定するビデオカメラの制御方法で
あって、前記抽出回路は、該抽出回路による前記部分画
像信号の抽出動作が終了した時点で、前記マイクロコン
ピュータに割り込み信号を出力することを特徴とするビ
デオカメラの制御方法。
【0009】
【作用】以上の様に、この発明に係わるビデオカメラ及
びその制御方法は構成されているので、部分画像信号の
抽出動作が終了したところで、抽出回路がマイクロコン
ピュータに対して割り込み信号を出力することにより、
マイクロコンピュータが、常に抽出回路の動作の終了タ
イミングを監視している必要がなく、割り込み信号が出
力されてから、次の割り込み信号が出力されるまでの間
は、別の制御動作に集中することができる。従って、マ
イクロコンピュータの処理能力が向上し、ビデオカメラ
の各部の動作を高速化することが可能となる。
【0010】
【実施例】以下、本発明の好適な実施例について、添付
図面を参照して詳細に説明する。図1は、本発明に係わ
るビデオカメラの一実施例の構成を示したブロック図で
ある。図1において、参照番号1は撮像素子、2は撮像
素子1から出力されるアナログ信号をデジタル信号に変
換するA/Dコンバータ、3はA/Dコンバータ2から
出力されたデジタル信号を、輝度成分と色成分とに夫々
分離するY/C分離回路、4はY/C分離回路3から出
力された輝度成分を輝度信号に変換する輝度信号処理回
路、5はY/C分離回路3から出力された色成分を色信
号に変換する色信号処理回路、6は輝度信号処理回路4
と色信号処理回路5より夫々出力される輝度信号及び色
信号を合成してカラービデオ信号を形成する合成回路を
各々示している。
【0011】また、参照番号7は色信号処理回路5より
出力され色信号のうちの色差信号を受け取り、加工する
AWB処理回路、8はマイクロコンピュータ9とAWB
処理回路7との間のデータの授受、及びマイクロコンピ
ュータ9と色信号処理回路5とのデータの授受を行うた
めのインターフェース回路、9は画像情報からの特定の
データの抽出動作、および各部の信号処理動作等、ビデ
オカメラ各部の動作の制御を行うマイクロコンピュー
タ、20は、ビデオカメラの各部に、それぞれの動作の
タイミングを制御するためのタイミングクロックを供給
するシステムクロック発生回路を各々示している。
【0012】図2は、図1に示したAWB処理回路7、
インターフェース回路8及びマイクロコンピュータ9の
構成を更に詳細に示したブロック図である。図中、参照
番号10は色差信号(R−Y)を積分する積分回路、1
1は色差信号(B−Y)を積分する積分回路、12はシ
ステムクロック発生回路20から出力されるクロック信
号及び同期信号と、マイクロコンピュータ9から指示さ
れた位置情報及び範囲情報とに基づいて、積分回路1
0,積分回路11に対して特定のデータの取捨の指示を
行うウインドウ回路を各々示している。
【0013】また、参照番号13はマイクロコンピュー
タ9に対して積分回路10,11のうちのどちらのデー
タを渡すかを切り換えるスイッチ、14はマイクロコン
ピュータ9より送られてきた位置情報を保存しておく位
置レジスタ、15はマイクロコンピュータ9より送られ
てきた範囲情報を保存しておく範囲レジスタ、16,1
7,18は色信号処理回路5でホワイトバランスを調整
するための制御信号レジスタ、19は位置レジスタ1
4,範囲レジスタ15,制御信号レジスタ16,17,
18のうちのどのレジスタにデータを書き込むかを切り
換えるスイッチを各々示している。
【0014】次に上記の様に構成されたビデオカメラの
動作について説明する。撮像素子1により光電変換さ
れ、この撮像素子1から出力された映像信号は、A/D
コンバータ2によりデジタル信号に変換される。A/D
コンバータ2から出力されたデジタル信号はY/C分離
回路3に入力され、輝度成分と色成分とに分離される。
Y/C分離回路により分離された輝度成分と色成分のう
ち、輝度成分は輝度信号処理回路4によって輝度信号に
変換され、色成分は色信号処理回路5によって色信号に
変換される。これら輝度信号と色信号とは加算回路6に
より合成され、複合カラー映像信号として出力される。
【0015】一方、色信号処理回路5からは色差信号
(R−Y),(B−Y)がAWB処理回路7に供給さ
れ、AWB処理回路7内では、積分回路10と積分回路
11によりそれぞれの信号が積分される。また、AWB
処理回路7内では、システムクロック発生回路20から
出力されるクロック信号及び同期信号と、インターフェ
ース回路8から出力される位置情報及び範囲情報とに基
づいて、ウインドウ回路12が、ウインドウの範囲内
(範囲情報により指定された画面上の範囲内)では積分
回路10,11を「動作」状態にさせ、ウインドウの範
囲外では積分回路11,12を「停止」状態にさせる。
【0016】ウインドウ内の最後の画素の信号の積分動
作を終了したところで、ウインドウ回路12はマイクロ
コンピュータ9に対して割り込み信号を出力する。マイ
クロコンピュータ9は割り込み信号を受け取ったところ
でインターフェース回路8内のスイッチ13を切り換
え、積分回路10,11のデータをそれぞれ読み出す。
その後、マイクロコンピュータ9は、次の積分ウインド
ウを設定するために位置レジスタ14,範囲レジスタ1
5に対し新しいデータを書き込み、積分回路10,11
において、この新しいデータに基づくウインドウ内の信
号の積分動作が終了し、ウインドウ回路12から再び割
り込み信号が出力されるのを待つ。
【0017】ウインドウ回路12が割り込み信号を出力
してからの上記の一連の動作を示した図が、図3であ
る。次に、マイクロコンピュータ9は積分回路10,1
1からのデータを読み出すと、これらのデータに基づい
て、ホワイトバランスが適正状態となる様に各色成分の
バランスを計算し、色信号処理回路5内のRGBの各色
信号ゲインを調整するためのデータを制御信号レジスタ
16,17,18に書き込む。
【0018】以上の様にして、画面上の所定の位置及び
範囲の画像情報が抽出され、この抽出された画像情報に
基づいてホワイトバランスの調整が行われる。そして、
この一実施例においては、抽出された画像情報信号の積
分が終了したところで、ウインドウ回路12がマイクロ
コンピュータ9に対して割り込み信号を出力する様にさ
れている。そのため、マイクロコンピュータ9は、常に
積分回路の動作の終了タイミングを監視している必要が
なく、割り込み信号が出力されてから、次の割り込み信
号が出力されるまでの間は、別の制御動作に集中するこ
とができる。従って、マイクロコンピュータ9の処理能
力が向上することとなる。 (他の実施例)次に、本発明に係わるビデオカメラの他
の実施例について説明する。なお、この他の実施例の構
成は、一実施例と同一の部分を多く含んでいるので、一
実施例と同一部分には同一符号を付して、その説明を省
略する。
【0019】図4は、本発明に係わるビデオカメラの他
の実施例の構成を示したブロック図である。図4におい
て、参照番号21は輝度信号処理回路4から輝度信号を
受け取り、信号処理するAGC回路を示している。図5
は図4に示したAWB処理回路7、インターフェース回
路8、マイクロコンピュータ9、AGC処理回路21の
構成を詳細に示したブロック図である。
【0020】図中、参照番号22は輝度信号を積分する
積分回路、23はシステムクロック発生回路20から出
力されるクロック信号及び同期信号と、マイクロコンピ
ュータ9から指示された位置情報及び範囲情報とに基づ
いて、積分回路22に対して特定のデータの取捨の指示
を行うウインドウ回路を各々示している。また、24は
マイクロコンピュータ9より送られてきた位置情報を保
存しておく位置レジスタ、25はマイクロコンピュータ
9より送られてきた範囲情報を保存しておく範囲レジス
タ、26は輝度号処理回路4で輝度信号レベルを調整す
るための制御信号レジスタ、13は積分回路10,1
1,22のうちのどのデータをマイクロコンピュータ9
に送るかを切り換えるスイッチ、19は位置レジスタ1
4,24範囲レジスタ15,25制御信号レジスタ1
6,17,18,26のうちのどのレジスタにデータを
書き込むかを切り換えるスイッチを各々示している。
【0021】次に、上記の様に構成されたビデオカメラ
の動作について説明する。なお、一実施例と同一符号を
付した部分の動作は一実施例と同様である。輝度信号処
理回路4から出力される輝度信号は、AGC処理回路2
1にも供給され、AGC処理回路21内では、この輝度
信号が、積分回路22により積分される。また、AGC
処理回路21内では、システムクロック発生回路20か
ら出力されるクロック信号及び同期信号と、インターフ
ェース回路8から出力される位置情報及び範囲情報とに
基づいて、ウインドウ回路23が、ウインドウの範囲内
(範囲情報により指定された画面上の範囲内)では積分
回路22を「動作」状態にさせ、ウインドウの範囲外で
は積分回路22を「停止」状態にさせる。
【0022】ウインドウ内の最後の画素の信号の積分動
作を終了したところで、ウインドウ回路23はマイクロ
コンピュータ9に対して割り込み信号を出力する。マイ
クロコンピュータ9は割り込み信号を受け取ったところ
でインターフェース回路8内のスイッチ13を切り換
え、積分回路22のデータを読み出す。その後、マイク
ロコンピュータ9は、次の積分ウインドウを設定するた
めに位置レジスタ24,範囲レジスタ25に対し新しい
データを書き込み、積分回路22において、この新しい
データに基づくウインドウ内の信号の積分動作が終了
し、ウインドウ回路23から再び割り込み信号が出力さ
れるのを待つ。
【0023】マイクロコンピュータ9は積分回路22か
らのデータを読み出すと、これらのデータに基づいて、
輝度信号レベルが適正値となる様に計算し、輝度信号処
理回路4内の輝度信号ゲインを調整するためのデータを
制御信号レジスタ26に書き込む。以上の様にして、画
面上の所定の位置及び範囲の画像情報が抽出され、この
抽出された画像情報に基づいて輝度信号レベルの調整が
行われる。そして、この一実施例においては、抽出され
た画像情報信号の積分が終了したところで、ウインドウ
回路23がマイクロコンピュータ9に対して割り込み信
号を出力する様にされている。そのため、マイクロコン
ピュータ9は、常に積分回路の動作の終了タイミングを
監視している必要がなく、割り込み信号が出力されてか
ら、次の割り込み信号が出力されるまでの間は、別の制
御動作に集中することができる。従って、マイクロコン
ピュータ9の処理能力が向上することとなる。
【0024】なお、本発明はその主旨を逸脱しない範囲
で上記実施例を修正または変形したものに適用可能であ
る。
【0025】
【発明の効果】以上説明した様に、本発明のビデオカメ
ラ及びその制御方法によれば、部分画像信号の抽出動作
が終了したところで、抽出回路がマイクロコンピュータ
に対して割り込み信号を出力することにより、マイクロ
コンピュータが、常に抽出回路の動作の終了タイミング
を監視している必要がなく、割り込み信号が出力されて
から、次の割り込み信号が出力されるまでの間は、別の
制御動作に集中することができる。従って、マイクロコ
ンピュータの処理能力が向上し、ビデオカメラの各部の
動作を高速化することが可能となる。
【図面の簡単な説明】
【図1】本発明に係わるビデオカメラの一実施例の構成
を示したブロック図である。
【図2】図1に示したAWB処理回路、インターフェー
ス回路及びマイクロコンピュータの構成を更に詳細に示
したブロック図である。
【図3】ウインドウ回路が割り込み信号を出力してから
次の割り込み信号を出力するまでの動作を示した図であ
る。
【図4】本発明に係わるビデオカメラの他の実施例の構
成を示したブロック図である。
【図5】図3に示したAWB処理回路、インターフェー
ス回路、マイクロコンピュータ及びAGC処理回路の構
成を詳細に示したブロック図である。
【符号の説明】
1 撮像素子 2 A/Dコンバータ 3 Y/C分離回路 4 輝度信号処理回路 5 色信号処理回路 6 加算回路 7 AWB処理回路 13 スイッチ 14 位置レジスタ 15 範囲レジスタ 16,17,18 制御レジスタ 19 スイッチ 21 AGC処理回路 24 位置レジスタ 25 範囲レジスタ 26 制御信号レジスタ
───────────────────────────────────────────────────── フロントページの続き (58)調査した分野(Int.Cl.7,DB名) H04N 5/232 - 5/243 H04N 9/04 H04N 9/73

Claims (3)

    (57)【特許請求の範囲】
  1. 【請求項1】 撮像素子と、 該撮像素子から出力される全画像信号から所定の画面範
    囲に対応する部分画像信号を抽出する抽出回路と、 該抽出回路の出力信号に基づいて前記全画像信号の補正
    値を決定するマイクロコンピュータとを具備するビデオ
    カメラであって、 前記抽出回路は、該抽出回路による前記部分画像信号の
    抽出動作が終了した時点で、前記マイクロコンピュータ
    に割り込み信号を出力する機能を備えることを特徴とす
    るビデオカメラ。
  2. 【請求項2】 前記マイクロコンピュータにより決定さ
    れた前記補正値に基づいて、前記全画像信号の補正を行
    う補正回路を更に具備することを特徴とする請求項1に
    記載のビデオカメラ。
  3. 【請求項3】 撮像素子から出力される全画像信号か
    ら、抽出回路によって所定の画面範囲に対応する部分画
    像信号を抽出し、この抽出された部分画像信号の情報に
    基づいて、前記全画像信号の補正値をマイクロコンピュ
    ータで決定するビデオカメラの制御方法であって、 前記抽出回路は、該抽出回路による前記部分画像信号の
    抽出動作が終了した時点で、前記マイクロコンピュータ
    に割り込み信号を出力することを特徴とするビデオカメ
    ラの制御方法。
JP04147722A 1992-06-08 1992-06-08 ビデオカメラ及びその制御方法 Expired - Fee Related JP3131025B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP04147722A JP3131025B2 (ja) 1992-06-08 1992-06-08 ビデオカメラ及びその制御方法
US08/489,255 US5557325A (en) 1992-06-08 1995-06-14 Video camera and its control method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP04147722A JP3131025B2 (ja) 1992-06-08 1992-06-08 ビデオカメラ及びその制御方法

Publications (2)

Publication Number Publication Date
JPH05344407A JPH05344407A (ja) 1993-12-24
JP3131025B2 true JP3131025B2 (ja) 2001-01-31

Family

ID=15436704

Family Applications (1)

Application Number Title Priority Date Filing Date
JP04147722A Expired - Fee Related JP3131025B2 (ja) 1992-06-08 1992-06-08 ビデオカメラ及びその制御方法

Country Status (2)

Country Link
US (1) US5557325A (ja)
JP (1) JP3131025B2 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2299477A (en) * 1995-03-30 1996-10-02 Sony Uk Ltd Video filming scene correction
US6160579A (en) * 1995-08-01 2000-12-12 Canon Kabushiki Kaisha Image processing apparatus and method
JP3471250B2 (ja) * 1998-07-23 2003-12-02 富士写真フイルム株式会社 画像処理方法および装置並びに記録媒体
US20050162713A1 (en) * 2004-01-27 2005-07-28 Samsung Electronics Co., Ltd. Image-forming apparatus having a pause function and method thereof

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4719511A (en) * 1984-04-04 1988-01-12 Asahi Kogaku Kogyo Kabushiki Kaisha Exposure controlling method for television camera
JP3113259B2 (ja) * 1989-07-18 2000-11-27 富士写真フイルム株式会社 ビデオカメラの露出制御方法及び装置
US5442408A (en) * 1989-11-17 1995-08-15 Sanyo Electric Co., Ltd. White balance adjusting apparatus for automatically adjusting white balance in response to luminance information signal and color information signal obtained from image sensing device
JP2822256B2 (ja) * 1990-02-15 1998-11-11 ソニー株式会社 ビデオカメラの露光補正装置
JP2979081B2 (ja) * 1990-11-28 1999-11-15 日本フィリップス株式会社 自動露光制御方法及び装置
JP2935901B2 (ja) * 1990-12-06 1999-08-16 キヤノン株式会社 撮像装置

Also Published As

Publication number Publication date
US5557325A (en) 1996-09-17
JPH05344407A (ja) 1993-12-24

Similar Documents

Publication Publication Date Title
US7245318B2 (en) Imaging apparatus that corrects an imbalance in output levels of image data
US7982773B2 (en) Imaging apparatus capable of capturing an image with reduced light falloff at edges and method for controlling the same
JP3131025B2 (ja) ビデオカメラ及びその制御方法
JPH074017B2 (ja) 撮像装置
JPH07322120A (ja) 撮像装置
KR950008129B1 (ko) 2계통의 촬상부와 1계통의 신호 처리부를 갖고 있고 화이트 밸런스 제어가 개선된 촬상 장치
JP3359078B2 (ja) 撮像装置
JP3327614B2 (ja) 撮像装置
JP2632110B2 (ja) ビデオカメラ
JPH07123421A (ja) 撮像装置
JP3573442B2 (ja) テレビジョンカメラ
JP2614575B2 (ja) ビデオカメラ
JP4656621B2 (ja) 信号処理装置及び方法、及び撮像装置
KR100243006B1 (ko) 씨씨디 카메라의 타이밍 신호 발생기
JP2002152600A (ja) 電子カメラ装置及びマルチチャンネルクランプ回路
KR960010925B1 (ko) 영상신호 캡처(Capture) 방법 및 그 장치
JP2626285B2 (ja) テレビジョンカメラ装置
JP2782697B2 (ja) オ−トホワイトバランス回路
JP2006050308A (ja) 撮像装置
JPH0583620A (ja) ホワイトバランス回路
JP3139471B2 (ja) マルチスキャンディスプレイ
JPH1175112A (ja) 自動利得制御回路
JPH1146368A (ja) テレビジョンカメラ装置
JPH11355656A (ja) ビデオ信号処理装置
JP2000278704A (ja) デジタルカメラ

Legal Events

Date Code Title Description
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20001013

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20081117

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20081117

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091117

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101117

Year of fee payment: 10

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101117

Year of fee payment: 10

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111117

Year of fee payment: 11

LAPS Cancellation because of no payment of annual fees