JP3871368B2 - ビデオ撮影方法及び装置 - Google Patents

ビデオ撮影方法及び装置 Download PDF

Info

Publication number
JP3871368B2
JP3871368B2 JP34138495A JP34138495A JP3871368B2 JP 3871368 B2 JP3871368 B2 JP 3871368B2 JP 34138495 A JP34138495 A JP 34138495A JP 34138495 A JP34138495 A JP 34138495A JP 3871368 B2 JP3871368 B2 JP 3871368B2
Authority
JP
Japan
Prior art keywords
video
color
video image
area
luminance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP34138495A
Other languages
English (en)
Other versions
JPH08279955A (ja
Inventor
ジョン ブッシュ リチャード
アレキサンダー ロバート
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Europe BV United Kingdom Branch
Original Assignee
Sony United Kingdom Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony United Kingdom Ltd filed Critical Sony United Kingdom Ltd
Publication of JPH08279955A publication Critical patent/JPH08279955A/ja
Application granted granted Critical
Publication of JP3871368B2 publication Critical patent/JP3871368B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/64Circuits for processing colour signals
    • H04N9/73Colour balance circuits, e.g. white balance circuits or colour temperature control
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • H04N23/84Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/88Camera processing pipelines; Components thereof for processing colour signals for colour balance, e.g. white-balance circuits or colour temperature control
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/64Circuits for processing colour signals
    • H04N9/68Circuits for processing colour signals for controlling the amplitude of colour signals, e.g. automatic chroma control circuits

Description

【0001】
【発明の属する技術分野】
本発明は、ビデオ撮影方法及び装置に関するものである。本発明は特に、強さや色温度が異なる種々の光源によって照らされたシーン(場面)、又はシーンの幾つかの部分が1つ以上のかかる光源から遮断された場合のような、不均一に照明されたシーンを撮影する際に使用するものである。
【0002】
【従来の技術】
どんなシーンでも、種々異なる光源があって、各光源が固有の彩色性や強さをシーンの色々な領域に与えるのがよいであろう。これは、テレビジョン・スタジオの調整された環境外のシーンについて、特に当てはまる。
【0003】
大抵、カメラやプロセッサ等を含む一連の撮影機器は、或るシーンの最も重要な領域のみを扱うように作られている。その結果、表示された映像が、色合いの微妙な相違、最も明るい「焼けた」領域、細部が失われた領域などを含むことがある。
【0004】
これらの問題は、例えば明るい太陽光線によって屋外で、又は図1に示すように屋内で発生する。
【0005】
図1は、種々の光源を含む代表的な屋内シーンを示す。このシーンは、日光、蛍光管及びタングステン電灯を含む種々の光源によって照明されている。これらの混じり合った光源によって影が投げられ、シーンの中に種々の光源により異なる比率で照明された領域が生じている。
【0006】
この図示されたシーンには、強い日光に照らされた場所と、弱い人工ランプで照らされた場所とがある。このため、大きすぎる或る範囲の輝度をテレビジョンカメラ及び装置によって正しくしなければならない。また、日光による照明は、スタジオの色調及び照明の3200°Kの色温度に合わせてあるカメラにとって青色となるであろう。同様に、蛍光管による照明は、2900°K〜8900°Kの範囲のライン・スペクトル出力をもつので、映像の色に影響を与えるであろう。図示の色温度はすべて代表的なケルビン値で、これらの値は他の要因に応じて変化するものである。
【0007】
図2は、従来技術による補正方法を示す。以前は図2に示すように、これらの問題を、カラー及び濃度フィルタと一緒に、補正した照明器具を追加使用することによって処理してきた。混合した光源の可変光線レベルや色温度を補正することにより、テレビジョン受像機を通して見たとき、容認できる結果が得られるようにシーンを制作している。詳しくいえば、窓に濃度フィルタを配置して日光の輝度レベルを減らしたり、窓や蛍光管に色補正フィルタを配置して所望の色温度に合わせたり(蛍光管はマゼンタ色調を生じ易い)、電球を色補正したものと取替えたり、追加照明を足したりして影における細部のロスを減じている。
【0008】
この公知の方法は、セットやロケーション(野外撮影)の雰囲気を減じる傾向がある。これはまた、フィルタを広く選択する必要があり、正しくバランスの取れたシーンを組立てるのに著しく時間を要する結果、高くつく。更に、この方法は、例えばシーンを横切るカメラの移動又は一日の時間もしくは気象条件と共に変わる日光に起因するシーンの変化に対応するのに、余り適合していない。
【0009】
【発明が解決しようとする課題】
したがって、本発明の課題は、このようなシーンを撮影する改良された方法及び装置を提供することである。
【0010】
【課題を解決するための手段】
本発明は、ビデオ映像を表すビデオ映像データを生成する撮像素子及びビデオ増幅段をもつビデオカメラで撮影する方法を提供しており、その方法は、上記ビデオ映像の選択領域が指定されたことに応答して、該選択領域の輝度及び(又は)色温度を測定する第1のステップと、上記選択領域の輝度及び(又は)色に関する情報が入力されたことに応答して、該選択領域におけるピクセルの輝度及び(又は)色を調整する補正パラメータを、上記ビデオ映像内の複数の夫々の位置に対して複数計算して記憶する第2のステップと、連続するフレーム間の上記選択領域の変動を検出する第3のステップと、上記ビデオカメラのビデオ増幅段により処理する前に上記ビデオ映像データを処理することにより、上記第3のステップで検出した上記選択領域の位置に従って、上記第2のステップで記憶した該位置に対する補正パラメータを適用して該選択領域の輝度及び(又は)色を調整する第4のステップを含む。
【0011】
本発明はまた、上記の如きビデオカメラを含むビデオ装置を提供しており、その装置は、ビデオ映像を表すビデオ映像データを生成する撮像素子をもつビデオカメラと、オペレータが、上記ビデオ映像の選択領域を指定し、該選択領域の輝度及び(又は)色に関する情報を入れることができる選択手段と、上記選択された領域の輝度及び(又は)色温度を測定する手段と、上記撮像素子及び上記選択手段に接続され、上記の選択領域のビデオ映像データを処理して、上記の入れられた情報に従い上記選択領域の輝度及び(又は)色を調整する処理手段と、上記処理手段の出力に接続されたビデオ増幅器及びプロセッサとを具える。
【0013】
したがって、本発明では、フィルタを設けたり、光源を変えたり、新しい光源を入れたりしてシーンを変える必要がない。ビデオ映像信号を処理することにより、オペレータが、シーン内の輝度及び色の変異を選択的に補正して映像を容認可能なものとすることができる。
【0014】
また、この処理を、撮像素子によりビデオ映像データを生成した直後、ビデオ増幅器及びプロセッサによってその動作範囲に何らかの制限が加えられる前に行うことにより、もっとあとの段階で処理が行われた場合に生じるであろう細部のロスが回避される。
【0015】
【発明の実施の形態】
以下、図面を参照して本発明を具体的に説明する。
図1は、光源が混じり合った代表的シーンを示す図であり、図2は、従来技術による補正策を示す図である。
【0016】
図3は、本発明の一歩手前の段階を示すシステム図である。図3において、信号処理装置2は、撮像装置1からビデオ信号を受け、キー、ジョイスティック、トラッカーボール又はマウス等を含む任意の適当な制御パネル7によって制御される。
【0017】
図3のシステムでは、信号処理装置2を記録装置3及び4に接続して、未処理及び処理済の両方の信号を記録する。また、上記処理装置2を画像表示装置5及び測定表示装置6に接続して、映像信号及び測定信号を夫々表示する。
【0018】
しかし、本発明の好適な実施形態では、図5に示すように、信号処理ユニット20にビデオカメラの撮像素子10からビデオ信号を供給し、その出力をビデオカメラのビデオ増幅器12に戻すようにしている。上記ユニット20は、ビデオカメラ自体の中に挿入するため追加の回路基板を有するのがよい。こうすると、信号処理ユニット20をビデオカメラの出力処理に使用して、ビデオカメラを通常のように記録装置及び表示装置に接続できるであろう。
【0019】
これより、図4をも参照して信号処理装置2(図5の信号処理ユニット20に相当する。)を説明する。
信号処理装置2への入力ビデオ信号は、測定及び変動検出ユニット21に入力される。図示の如く、未処理信号はまた、例えば図5のビデオ増幅器12へ並列に送られ、更に処理される。ただし、信号処理装置2に入力ビデオ信号を選択的に供給又はバイパスするためにスイッチを用いてもよい。
【0020】
測定及び変動検出ユニット21は、ビデオ映像に関する情報を制御及び計算ユニット25に供給する。好適な実施例では、ビデオ映像を赤、緑及び青色成分として処理する。よって、図4に示すように、測定及び変動検出ユニット21は、RGBフレームメモリ22に接続され、赤、緑及び青色成分をRGBフレームメモリ22に供給する。
【0021】
RGBフレームメモリ22は、制御及び計算ユニット25によって制御され、ビデオ映像の赤、緑及び青色成分を、同じく制御及び計算ユニット25の制御下にある乗算器23に供給する。こうすれば、制御及び計算ユニット25は、ビデオ映像の赤、緑及び青色成分の各部分を、ビデオ映像の輝度及び色が1ピクセルずつ調整されるように、個々に加減することができる。
【0022】
乗算器23は、赤、緑及び青色成分を出力調整ユニット24に供給する。出力調整ユニット24は、処理を正確にするための追加ビデオ処理並びに制御及び計算ユニット25へのフィードバックを含んでもよい。
【0023】
出力調整ユニット24はそれから、処理した(処理済)信号を後続処理のために、例えば図3に示す如く記録装置に供給する。
【0024】
出力調整ユニット24の出力はまた、加算器28を介しモニタ出力として表示装置5(図3)に供給される。加算器28は、テキスト、カーソル及びウィンドウ情報を処理済信号出力と組合せるのに使用する。テキスト、カーソル及びウィンドウ情報は、制御及び計算ユニット25の制御の下にテキスト、カーソル及びウィンドウ発生器27により発生される。こうして、ビデオ映像はテキスト、カーソル、アウトライニング(輪郭を描くこと)等と一緒に表示される。
【0025】
ビデオ映像の種々の領域の補正に関する情報を格納するため、メモリ26を制御及び計算ユニット25に接続するのがよい。
【0026】
動作時、表示装置5において問題のある領域を指定して選択するために、制御及び計算ユニット25、テキスト、カーソル及びウィンドウ発生器27及び加算器28と共に制御パネル7を使用する。これは、オペレータが、カーソルを表示装置上で動かしてそれらの領域を囲む輪郭線を描くことにより、最も簡単に達成される。
【0027】
制御及び計算ユニット25はそれから、測定及び変動検出ユニット21と協働して、表示装置5の上に描かれた境界線の周辺における色又は輝度の移り変わりを捜し求める。このようにすると、制御及び計算ユニット25が正確な境界線を決めるため、オペレータは調整を要する領域をおおよそ特定するだけでよい。
【0028】
こうして一旦或る領域が選択されると、制御及び計算ユニット25は、測定及び変動検出ユニット21から光源の輝度及び色温度を確かめる。操作の便宜上、これらの値を図3に示す測定表示装置6に表示するか、又は図4の例におけるビデオ映像のテキストとして含めてもよい。必要ならば更に、これらの値を、選択された領域の位置に関する情報と一緒にメモリ26に格納してもよい。
【0029】
表示装置上の映像の選択領域の色具合及び輝度並びに(又は)測定した色温度及び輝度に基き、オペレータは映像の必要な調整をすることができる。例えば、明かるすぎる選択領域は、そのピクセルの輝度を減らし、細部があとで摘み取られたり失われたりするのを防ぐ。即ち、制御パネル7からの入力に従い、制御及び計算ユニット25が赤、緑及び青色成分に対する所要乗率を計算し、乗算器23にこれらの率を選択領域内のピクセルに適用させるようにする。
【0030】
本装置に何らかのファジー(fuzzy )論理回路を用い、特に照度が異なる領域間で急激な移り変わりがない場合、滑らかな変移を映像に与えるような補正率をビデオ映像に適用するのがよい。
【0031】
こうして領域の選択がすべて終わると、制御及び計算ユニット25は、測定及び変動検出ユニット21及びメモリ26と協働して、映像の各領域が移動するに従い、メモリ26に格納した補正率を、新しい位置における選択領域のピクセルに適用させるように動作する。
【0032】
該メモリに或るシーンの全体に関するデータを記憶させ、後日似たシーンが撮影されているときに思い出せるようにしてもよい。
【0033】
制御及び計算ユニット25は、測定及び変動検出ユニット21と協働して選択領域の色又は輝度における変化に応答し、或る物体が影又は異なる色温度の照明の中に移動するとき、オペレータに警告を発するか又は補正率を自動的に取消すようにするのがよい。
【0034】
また、異なる位置にある同じ物体(選択領域)に対し異なる補正率を与えることも可能である。メモリ26は、補正率と位置を記憶し、物体がそれらに近い位置の間に移動するとき、補正率が順にその中間位置で補間されたものに変わるようにしてもよい。理想的には、補間が選択領域の検出された色及び輝度に応答し、選択領域の色及び輝度が変化するに従って補正率が変化するのがよい。
【0035】
【発明の効果】
以上説明したとおり、本発明によれば、従来技術のようにフィルタを使用したり、照明器具を取替えたり、照明を増やしたりすることなく、比較的短時間で照度の変化に基くシーンの変化に対応して明るさのバランスがとれたシーンを撮影することができる。
【図面の簡単な説明】
【図1】光源が混じり合った代表的なシーンを示す図である。
【図2】従来技術による補正方法を示す図である。
【図3】本発明の一歩手前の段階を示すシステム図である。
【図4】図3の信号処理装置2の具体例を示すブロック図である。
【図5】本発明によるビデオカメラを含むビデオ装置のブロック図である。
【符号の説明】
1 撮像装置
2 信号処理装置(処理手段を含む。)
5 表示装置(画像表示装置)
7 制御パネル(選択手段に含まれる。)
7,21,25 選択手段
10 撮像素子
12 ビデオ増幅器
14 プロセッサ
20 ビデオカメラ素子に含まれる処理手段(信号処理ユニット)
10,12,14 ビデオカメラ
7,10,12,14,20 ビデオ装置
21 測定手段及び変動検出手段
25 補正パラメータ計算手段(制御及び計算ユニット)
26 メモリ

Claims (6)

  1. ビデオ映像を表すビデオ映像データを生成する撮像素子及びビデオ増幅段をもつビデオカメラで撮影する方法であって、
    上記ビデオ映像の選択領域が指定されたことに応答して、該選択領域の輝度及び(又は)色温度を測定する第1のステップと、
    上記選択領域の輝度及び(又は)色に関する情報が入力されたことに応答して、該選択領域におけるピクセルの輝度及び(又は)色を調整する補正パラメータを、上記ビデオ映像内の複数の夫々の位置に対して複数計算して記憶する第2のステップと、
    連続するフレーム間の上記選択領域の変動を検出する第3のステップと、
    上記ビデオカメラのビデオ増幅段により処理する前に上記ビデオ映像データを処理することにより、上記第3のステップで検出した上記選択領域の位置に従って、上記第2のステップで記憶した該位置に対する補正パラメータを適用して該選択領域の輝度及び(又は)色を調整する第4のステップ
    を含むビデオ撮影方法。
  2. ビデオ映像を表すビデオ映像データを生成する撮像素子をもつビデオカメラと、
    オペレータが、上記ビデオ映像の選択領域を指定し、該選択領域の輝度及び(又は)色に関する情報を入れることができる選択手段と、
    上記選択された領域の輝度及び(又は)色温度を測定する手段と、
    上記撮像素子及び上記選択手段に接続され、上記選択領域のビデオ映像データを処理して、上記の入れられた情報に従い上記選択領域の輝度及び(又は)色を調整する処理手段と、
    上記処理手段の出力に接続されたビデオ増幅器及びプロセッサと
    を具えたビデオ装置。
  3. 上記処理手段は、各選択領域に対して夫々入れられた情報に応答して、夫々の選択領域におけるピクセルの輝度及び(又は)色を調整する補正パラメータを計算する動作をする請求項2のビデオ装置。
  4. 上記夫々の選択領域の補正パラメータを記憶するメモリを更に含む請求項3のビデオ装置。
  5. 連続するフレーム間の選択された領域の変動を検出する変動検出手段を更に含む請求項2〜4のいずれか1項のビデオ装置。
  6. 上記メモリは、各選択領域に対し、上記ビデオ映像内の上記選択領域の複数の夫々の位置に対する複数の補正パラメータを記憶するよう構成され、上記処理手段は、上記選択領域の位置に従って該選択領域の輝度及び(又は)色を調整するよう構成された、請求項4に付随する場合の請求項5のビデオ装置。
JP34138495A 1995-03-30 1995-12-27 ビデオ撮影方法及び装置 Expired - Fee Related JP3871368B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
GB9506551:2 1995-03-30
GB9506551A GB2299477A (en) 1995-03-30 1995-03-30 Video filming scene correction

Publications (2)

Publication Number Publication Date
JPH08279955A JPH08279955A (ja) 1996-10-22
JP3871368B2 true JP3871368B2 (ja) 2007-01-24

Family

ID=10772181

Family Applications (1)

Application Number Title Priority Date Filing Date
JP34138495A Expired - Fee Related JP3871368B2 (ja) 1995-03-30 1995-12-27 ビデオ撮影方法及び装置

Country Status (3)

Country Link
US (1) US6064433A (ja)
JP (1) JP3871368B2 (ja)
GB (2) GB2299477A (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1186021A (ja) * 1997-09-09 1999-03-30 Fuji Photo Film Co Ltd 画像処理装置
JP2000134489A (ja) * 1998-10-26 2000-05-12 Minolta Co Ltd 画像処理装置
US7145597B1 (en) * 1999-10-28 2006-12-05 Fuji Photo Film Co., Ltd. Method and apparatus for image processing
US6999126B2 (en) * 2001-09-17 2006-02-14 Mazzapica C Douglas Method of eliminating hot spot in digital photograph
JP4428159B2 (ja) * 2003-11-05 2010-03-10 セイコーエプソン株式会社 画像データ生成装置、画質補正装置、画像データ生成方法および画質補正方法

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS58211154A (ja) * 1982-06-01 1983-12-08 Dainippon Screen Mfg Co Ltd レタツチ機能を有する画像走査記録方法及び装置
US4525736A (en) * 1982-09-13 1985-06-25 Ventures Research & Development Group Selective color modification
US4533938A (en) * 1982-12-20 1985-08-06 Rca Corporation Color modifier for composite video signals
AU597657B2 (en) * 1986-04-14 1990-06-07 Cintel Inc. Color correction with programmable window area
GB8700565D0 (en) * 1987-01-12 1987-02-18 Crosfield Electronics Ltd Video image enhancement
US5243418A (en) * 1990-11-27 1993-09-07 Kabushiki Kaisha Toshiba Display monitoring system for detecting and tracking an intruder in a monitor area
US5266984A (en) * 1991-03-22 1993-11-30 Nikon Corporation Exposure calculating apparatus for camera
US5179446A (en) * 1991-10-22 1993-01-12 Samsung Electronics Co., Ltd. Radio transmitting and receiving circuits of a video camera having a detached view finder
JP3131025B2 (ja) * 1992-06-08 2001-01-31 キヤノン株式会社 ビデオカメラ及びその制御方法

Also Published As

Publication number Publication date
GB2299477A (en) 1996-10-02
GB2299478A (en) 1996-10-02
US6064433A (en) 2000-05-16
JPH08279955A (ja) 1996-10-22
GB9506551D0 (en) 1995-05-17
GB2299478B (en) 1999-08-04
GB9603415D0 (en) 1996-04-17

Similar Documents

Publication Publication Date Title
US6160579A (en) Image processing apparatus and method
JP3784806B2 (ja) デジタルオートホワイトバランス装置
JP3368041B2 (ja) 撮像装置
US7394488B2 (en) System and method for dual white balance compensation of images
JP2003198891A (ja) 画像表示制御装置と画像表示制御方法及び撮像装置
WO2006059573A1 (ja) 色彩調整装置及び方法
JPS5857885A (ja) ホワイトバランス装置
CN110651303A (zh) 便携式色度键合成和照明调节系统
JP3847965B2 (ja) 撮像装置
AU2017218753C1 (en) Imaging device with white balance compensation and related systems and methods
JP3871368B2 (ja) ビデオ撮影方法及び装置
JP2006135381A (ja) キャリブレーション方法およびキャリブレーション装置
JPS62104389A (ja) カラ−テレビカメラのホワイトバランス調整方式
JPH08280041A (ja) 撮像装置
JP3774480B2 (ja) 撮像装置
JPH08242459A (ja) 光源情報収集装置及びこれを用いた撮像装置
JP2566425B2 (ja) 撮像装置
JP2588696B2 (ja) 自動露出補正装置
JPH09160103A (ja) ストロボ画像の色調整装置
JPH03106269A (ja) ビデオカメラの映像信号処理装置
KR20050015479A (ko) 촬상장치 및 촬상장치의 화이트 바란스 조절 방법
JPH05344419A (ja) テレシネ装置
JPH07298285A (ja) 撮像装置
JPH02141733A (ja) 自動露光制御装置
JPH02116286A (ja) カラー撮像装置

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20050914

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20050920

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20051215

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20061003

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20061017

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091027

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101027

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101027

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111027

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111027

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121027

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121027

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131027

Year of fee payment: 7

LAPS Cancellation because of no payment of annual fees