JPH1079880A - ビデオズーミング方法及びこれを採用したビデオカメラ - Google Patents

ビデオズーミング方法及びこれを採用したビデオカメラ

Info

Publication number
JPH1079880A
JPH1079880A JP9194263A JP19426397A JPH1079880A JP H1079880 A JPH1079880 A JP H1079880A JP 9194263 A JP9194263 A JP 9194263A JP 19426397 A JP19426397 A JP 19426397A JP H1079880 A JPH1079880 A JP H1079880A
Authority
JP
Japan
Prior art keywords
focus
position information
zooming
zoom
lens position
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP9194263A
Other languages
English (en)
Other versions
JP2934213B2 (ja
Inventor
▲徳▼ 源 ▲黄▼
Tokugen Ko
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of JPH1079880A publication Critical patent/JPH1079880A/ja
Application granted granted Critical
Publication of JP2934213B2 publication Critical patent/JP2934213B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/69Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Lens Barrels (AREA)
  • Automatic Focus Adjustment (AREA)
  • Studio Devices (AREA)

Abstract

(57)【要約】 【課題】 ズーミング時近距離の被写体の焦点が外れる
ことを防止するためのビデオズーミング方法及びこれを
採用したビデオカメラを提供する。 【解決手段】 ユーザーにより望遠状態が選ばれズーム
レンズをズーミングし、その際の焦点状態を点検して焦
点が合っていればズームレンズ位置情報及び応ずるフォ
ーカスレンズ位置情報をメモリしながらズーミングし、
焦点が外れると直前のメモリされたフォーカスレンズ位
置情報及び応ずるズームレンズ位置情報を用いて光学的
ズーミング及びフォーカシングし、そこから得られた映
像信号についてディジタルズーミングを行う。これによ
り、ズームレンズをズーミングする際オートフォーカシ
ングしても一定高倍率以上の範囲で近距離の被写体焦点
が外れることを防止する。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明はビデオズーミング方
法及びこれを採用したビデオカメラに係り、特にズーム
レンズを通したズーミング時一定高倍率以上の範囲でオ
ートフォーカシングしても近距離の被写体焦点が外れる
ことを防止できるビデオズーミング方法及びそのビデオ
カメラに関する。
【0002】
【従来の技術】近年、一般家庭にも幅広く普及されてい
るビデオカメラには2〜10倍率のズームレンズが使わ
れている。ズームレンズは広角から望遠までレンズの焦
点距離を連続して変化させうるが、これをズーミングと
呼ぶ。ズームレンズはいずれの被写体にピントを合わせ
てからズーミングすればピントが外れなく画像のサイズ
が変え自在になる。ビデオカメラはオートフォーカス式
のズームレンズを使用する。オートフォーカス(AF)
はカメラを被写体に向けば自動にピントを正確に合わせ
る基本原理を前提とする。ビデオカメラ用のAF機構に
ついては、“「オート機能(AF,AE,AWB)」T
V学会誌 Vol.49,No.2,pp.145〜1
49(1995)”にその内容が具体的に記載されてい
る。このようなオートフォーカス式ズームレンズを使用
するビデオカメラの従来のズーミング方法を図1に概略
的に示す。
【0003】図1は従来のビデオカメラのズーミング方
法を説明するためのフローチャートである。図1におい
て、ユーザーはビデオカメラについているT/W(望遠
/広角)スイッチを通してレンズの倍率を広角(ワイド
アングル)状態側にまたは望遠(テレフォト)状態側に
変化させうる。T/Wスイッチにおいて広角状態が選ば
れた場合、場面が次第に遠ざかり、望遠状態が選ばれた
場合は場面が次第に近づく。ビデオカメラではフォーカ
スを調整する際、まずズームインしない状態で焦点を合
わせてからズームアウトすれば焦点が外れる場合があ
る。それで、焦点を調整する際ビデオカメラはユーザー
がT/Wスイッチを通してレンズの倍率を望遠状態に選
んだかを判断する(段階101)。ビデオカメラはレン
ズ倍率が望遠状態に選ばれればズームモータを駆動して
ズームレンズをズームイン方向にズーミングする(段階
102)。ビデオカメラはズーミング時フォーカスレン
ズの位置が変わるので、AFモータを駆動してフォーカ
スレンズを自動調節することにより現在ズーム状態で被
写体の焦点が正確に合うようフォーカシングする(段階
103)。
【0004】しかし、一定倍率以上の高倍率にズーミン
グする場合、オートフォーカシングを行ってもフォーカ
スレンズの位置が変わって被写体の焦点が外れる問題点
があった。これはディジタルズーム機能を通して20倍
まで高倍率化できる最近のビデオカメラではその解決が
不可避になった。
【0005】
【発明が解決しようとする課題】本発明は前述した問題
点を解決するために案出されたもので、その目的はズー
ムレンズの高倍率状態で被写体の焦点が外れない最短距
離のズームレンズ位置及びフォーカスレンズ位置情報に
基づきディジタルズーミングするビデオカメラのズーミ
ング方法を提供することである。
【0006】本発明の他の目的は前述したズーミング方
法が具現されたビデオカメラを提供することである。
【0007】
【課題を解決するための手段】前述した目的を達成する
ために本発明によるビデオカメラのズーミング方法は、
(a)光学的ズームインを行いつつフォーカスレンズの
焦点が合っているか否かを判断する段階と、(b)段階
(a)において焦点が合っていると決定される度にその
際のズームレンズ位置情報及びフォーカスレンズ位置情
報を貯蔵する段階と、(c)段階(a)において焦点が
外れる場合、段階(b)で貯蔵されたフォーカスレンズ
位置情報及び応ずるズームレンズ位置情報を用いて光学
的ズーミング及びフォーカシングする段階と、(d)段
階(c)で得られた映像信号についてディジタルズーミ
ングを行う段階とを含む。
【0008】本発明の他の目的を達成するためにビデオ
カメラは、ズームレンズ及びフォーカスレンズを備えた
レンズ手段と、メモリと、光学的ズームイン及びフォー
カシングがなされるよう前記レンズ手段をエッジ成分に
基づき制御し、フォーカスが合う度に応ずるフォーカス
レンズ位置情報及びズームレンズ位置情報を前記メモリ
に貯蔵させ、フォーカスが合わない場合は前記メモリに
貯蔵されたフォーカスレンズ位置情報及び応ずるズーム
レンズ位置情報により前記レンズ手段を制御する制御手
段と、前記レンズ手段を通して受信される映像信号から
エッジ成分を検出して前記制御手段に供給し、前記レン
ズ手段が前記メモリに貯蔵されたフォーカスレンズ及び
ズームレンズ位置情報に基づき制御された時に受信され
る映像信号についてディジタルズーミングを行う信号処
理部とを含む。
【0009】
【発明の実施の形態】以下、添付した図面に基づき本発
明の望ましい一実施例を詳述する。図2は本発明が採用
されたビデオカメラの構成図である。同図に示したよう
に、本発明のビデオカメラはズームレンズ(図示せず)
とフォーカスレンズを有するレンズ部21と、レンズ部
21から入力される映像信号を光電変換するための電荷
結合素子(CCD)よりなった固体撮像素子22を備え
る。信号処理部23は固体撮像素子22で光電変換され
た映像信号を入力され焦点信号検波及びディジタルズー
ミングなどの必要な信号処理を行って出力する。本発明
のビデオカメラはズームレンズの倍率を選択するための
T/Wスイッチ24と、T/Wスイッチ24から倍率選
択信号を入力され、信号処理部23で検波された焦点信
号を入力される制御部25を備える。制御部25にはレ
ンズ部21の光学的なズーミングを制御するズームモー
タ26とオートフォーカシングを制御するAFモータ2
7が連結され、ディジタルズーミングを制御できるよう
信号処理部23も連結される。一方、本発明のビデオカ
メラはズーミング時焦点が合っているフォーカス状態の
データを貯蔵するためのメモリ28を備える。
【0010】図2においてユーザーはT/Wスイッチ2
4を通して所望のレンズの倍率を選択する信号を入力す
る。T/Wスイッチ24の倍率選択信号を印加される制
御部25は選択された倍率に合うようズームモータ26
とAFモータ27を駆動する。ズームモータ26はレン
ズ部21内のズームレンズをズーミングし、AFモータ
27はレンズ部21内のフォーカスレンズ位置を調整し
て焦点を合わす。レンズ部21を通して入力される被写
体から光学的映像信号は固体撮像素子22を通して光電
変換される。光電変換された映像信号は信号処理部23
で必要な信号処理がなされた後記録媒体に記録されたり
電子ビューファインダなどのモニターにディスプレイさ
れるよう出力される。
【0011】もし、ユーザーがT/Wスイッチ24を通
して高倍率の望遠状態を選択した場合に制御部25は図
3に示された過程を順に行う。図3は図2のビデオカメ
ラのズーミング方法を説明するためのフローチャートで
ある。図3において、ユーザーがT/Wスイッチ24を
通して倍率を選択すれば、制御部25はT/Wスイッチ
24から入力される倍率選択信号が望遠状態かを判断す
る(段階301)。制御部25は倍率選択信号が望遠状
態ならその高倍率に合わせてズームモータ26を駆動さ
せ、ズームモータ26はレンズ部21内のズームレンズ
を望遠状態になるようズーミングする(段階302)。
【0012】一方、レンズ部から印加される光学的映像
信号が固体撮像素子22を通して光電変換され信号処理
部23に印加されれば、信号処理部23は印加された映
像信号をハイパスフィルタリング(HPF)してエッジ
成分を検出し、これを焦点信号として制御部25に出力
する。制御部25はズーミング時に信号処理部23から
の焦点信号を用いて焦点が正確に合っているかを判断す
る(段階303)。制御部25は信号処理部23から印
加される焦点信号の大きさがピークとなる際焦点が合っ
ていると判断し、この際のズームレンズ位置情報及びフ
ォーカスレンズ位置情報をメモリ28に貯蔵する(段階
304)。その後、制御部25はズームレンズをズーム
イン方向にズーミングしつつ段階302から段階304
よりなるループを繰り返して行う。段階303におい
て、制御部25は一定高倍率以上の範囲を超えるズーム
インにより焦点が一致しなくなれば、AFモータ27を
駆動してメモリ28に貯蔵したフォーカスレンズ位置情
報のうち焦点が外れる直前の焦点に応ずるフォーカス位
置情報を用いてフォーカスレンズをフォーカシングする
(段階305)。それから、制御部25はメモリ28に
貯蔵された対応ズームレンズ位置情報を用いてレンズ部
21内のズームレンズ位置を固定し、補間法などの信号
処理を通してディジタルズーミングするよう信号処理部
23を制御する(段階306)。信号処理部23から出
力される映像信号はフィールド単位に水平及び垂直方向
に補間されその大きさが電気的に拡大される。ここで、
補間法を用いるディジタルズーム機能については幅広く
知られており、東芝社により1989年TV学会誌(撮
像素子制御による任意の倍率電子ズーム検査)に記載さ
れている。
【0013】
【発明の効果】以上述べたように、本発明によるビデオ
ズーミング方法及びこれを採用したビデオカメラは、一
定倍率以上の高倍率でズーミングする際オートフォーカ
ス機能を行ってもフォーカスレンズ位置が変わって近距
離の被写体の焦点が外れた従来の技術に比べて、高倍率
でズーミングする際焦点が合っているフォーカス位置を
覚え、焦点が外れる直前のフォーカス位置で光学的ズー
ミングの代わりにディジタルズーミングすることにより
一定高倍率以上の範囲でも近距離の被写体焦点が外れる
ことを防止する。
【図面の簡単な説明】
【図1】従来のビデオカメラのズーミング方法を説明す
るためのフローチャートである。
【図2】本発明が採用されたビデオカメラを示す構成図
である。
【図3】図2のビデオカメラのズーミング方法を説明す
るためのフローチャートである。
【符号の説明】
21 レンズ部 22 固体撮像素子 23 信号処理部 24 T/Wスイッチ 25 制御部 26 ズームモータ 27 AFモータ 28 メモリ
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.6 識別記号 庁内整理番号 FI 技術表示箇所 H04N 5/228 G02B 7/11 D

Claims (10)

    【特許請求の範囲】
  1. 【請求項1】 ビデオカメラのズーミング方法におい
    て、 (a)光学的ズームインを行いつつフォーカスレンズの
    焦点が合っているか否かを判断する段階と、 (b)段階(a)において焦点が合っていると決定され
    る度にその際のズームレンズ位置情報及びフォーカスレ
    ンズ位置情報を貯蔵する段階と、 (c)段階(a)において焦点が外れる場合、段階
    (b)で貯蔵されたフォーカスレンズ位置情報及び応ず
    るズームレンズ位置情報を用いて光学的ズーミング及び
    フォーカシングする段階と、 (d)段階(c)で得られた映像信号についてディジタ
    ルズーミングを行う段階とを含むビデオカメラのズーミ
    ング方法。
  2. 【請求項2】 前記段階(a)の光学的ズームインは望
    遠状態から始まることを特徴とする請求項1に記載のビ
    デオカメラのズーミング方法。
  3. 【請求項3】 前記段階(a)は、 (a1) 光学的ズームインにより得られる映像信号か
    らエッジ成分を検出する段階と、 (a2) 段階(a1)で検出されたエッジ成分を用い
    て焦点が合っているかを判断する段階とを含むことを特
    徴とする請求項1に記載のビデオカメラのズーミング方
    法。
  4. 【請求項4】 前記段階(c)は焦点が外れる直前の焦
    点に応ずるズームレンズ位置情報及びフォーカスレンズ
    位置情報を用いて光学的ズーミング及びフォーカシング
    を行うことを特徴とする請求項1に記載のビデオカメラ
    のズーミング方法。
  5. 【請求項5】 前記段階(d)はフィールド単位に映像
    信号を補間するディジタルズーミングを行うことを特徴
    とする請求項1に記載のビデオカメラのズーミング方
    法。
  6. 【請求項6】 ビデオカメラにおいて、 ズームレンズ及びフォーカスレンズを備えたレンズ手段
    と、 メモリと、 光学的ズームイン及びフォーカシングがなされるよう前
    記レンズ手段をエッジ成分に基づき制御し、フォーカス
    が合う度に応ずるフォーカスレンズ位置情報及びズーム
    レンズ位置情報を前記メモリに貯蔵させ、フォーカスが
    外れる場合は前記メモリに貯蔵されたフォーカスレンズ
    位置情報及び応ずるズームレンズ位置情報により前記レ
    ンズ手段を制御する制御手段と、 前記レンズ手段を通して受信される映像信号からエッジ
    成分を検出して前記制御手段に供給し、前記レンズ手段
    が前記メモリに貯蔵されたフォーカスレンズ及びズーム
    レンズ位置情報に基づき制御された時に受信される映像
    信号についてディジタルズーミングを行う信号処理部を
    含むビデオカメラ。
  7. 【請求項7】 前記制御手段は焦点が外れる直前の焦点
    に応ずるズームレンズ位置情報及びフォーカスレンズ位
    置情報を用いて光学的ズーミング及びフォーカシングを
    行うことを特徴とする請求項6に記載のビデオカメラ。
  8. 【請求項8】 前記制御手段は望遠状態から光学的ズー
    ムインを始めることを特徴とする請求項6に記載のビデ
    オカメラ。
  9. 【請求項9】 ズームイン及びズームアウトのための入
    力キーをさらに備え、前記制御手段は入力キーを通して
    前記ズームレンズが望遠状態に設定された場合、前記光
    学的ズームイン及びフォーカシング動作を始まることを
    特徴とする請求項6に記載のビデオカメラ。
  10. 【請求項10】 前記信号処理部はフィールド単位に映
    像信号を補間するディジタルズーミングを行うことを特
    徴とする請求項6に記載のビデオカメラ。
JP9194263A 1996-07-27 1997-07-18 ビデオズーミング方法及びこれを採用したビデオカメラ Expired - Fee Related JP2934213B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR30892/1996 1996-07-27
KR1019960030892A KR100197609B1 (ko) 1996-07-27 1996-07-27 비데오카메라의 줌(zoom)기능 수행방법 및 그 장치

Publications (2)

Publication Number Publication Date
JPH1079880A true JPH1079880A (ja) 1998-03-24
JP2934213B2 JP2934213B2 (ja) 1999-08-16

Family

ID=19467831

Family Applications (1)

Application Number Title Priority Date Filing Date
JP9194263A Expired - Fee Related JP2934213B2 (ja) 1996-07-27 1997-07-18 ビデオズーミング方法及びこれを採用したビデオカメラ

Country Status (4)

Country Link
US (1) US6654053B1 (ja)
JP (1) JP2934213B2 (ja)
KR (1) KR100197609B1 (ja)
CN (1) CN1072425C (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100781272B1 (ko) 2006-02-15 2007-11-30 엘지전자 주식회사 연속 줌잉 장치 및 그 방법
US7783184B2 (en) 2006-02-15 2010-08-24 Lg Electronics Inc. Optical zoom tracking apparatus and method, and computer-readable recording medium for performing the optical zoom tracking method
JP2015148763A (ja) * 2014-02-07 2015-08-20 キヤノン株式会社 自動合焦装置、および自動合焦方法

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6563543B1 (en) * 1998-03-31 2003-05-13 Hewlett-Packard Development Company, L.P. Digital camera and method of using same
FI114961B (fi) * 2001-12-31 2005-01-31 Nokia Corp Menetelmä ja laite kuvan muodostamiseksi elektronisessa laitteessa
IES20030443A2 (en) * 2003-06-16 2004-12-01 Fraudhalt Ltd A method and apparatus for determining if an optical disk originated from a valid source
US20050094021A1 (en) * 2003-11-03 2005-05-05 Demitry Gorlik Auto focus camera optical system
JP4478438B2 (ja) * 2003-11-25 2010-06-09 キヤノン株式会社 光学装置およびカメラシステム
JP4262263B2 (ja) * 2006-06-07 2009-05-13 キヤノン株式会社 撮像装置及びその制御方法
CN101201530B (zh) * 2006-12-11 2010-05-19 华晶科技股份有限公司 执行自动对焦的方法及其数字影像检索装置
US8593537B2 (en) * 2008-06-05 2013-11-26 Canon Kabushiki Kaisha Image sensing apparatus, control method thereof, and program for suppressing image deterioration caused by foreign substance
JP5352377B2 (ja) * 2009-08-10 2013-11-27 三星電子株式会社 画像処理装置及び画像処理方法
KR101594000B1 (ko) 2009-12-02 2016-02-26 삼성전자주식회사 포커스 렌즈의 이동 방향을 결정하는 오토포커싱 방법, 상기 방법을 기록한 기록 매체, 오토포커싱 장치
JP5757099B2 (ja) 2010-02-15 2015-07-29 株式会社ニコン 焦点調節装置、及び焦点調節プログラム
CN109426060A (zh) * 2017-08-21 2019-03-05 深圳光峰科技股份有限公司 投影仪自动调焦方法及投影仪

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5867217A (en) * 1992-01-08 1999-02-02 Canon Kabushiki Kaisha Photographing apparatus and lens position control device
US6236431B1 (en) * 1993-05-27 2001-05-22 Canon Kabushiki Kaisha Video camera apparatus with distance measurement area adjusted based on electronic magnification

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100781272B1 (ko) 2006-02-15 2007-11-30 엘지전자 주식회사 연속 줌잉 장치 및 그 방법
US7783184B2 (en) 2006-02-15 2010-08-24 Lg Electronics Inc. Optical zoom tracking apparatus and method, and computer-readable recording medium for performing the optical zoom tracking method
JP2015148763A (ja) * 2014-02-07 2015-08-20 キヤノン株式会社 自動合焦装置、および自動合焦方法

Also Published As

Publication number Publication date
CN1072425C (zh) 2001-10-03
KR980013284A (ko) 1998-04-30
JP2934213B2 (ja) 1999-08-16
KR100197609B1 (ko) 1999-06-15
CN1172264A (zh) 1998-02-04
US6654053B1 (en) 2003-11-25

Similar Documents

Publication Publication Date Title
US6850280B2 (en) Automatic focus adjusting device with distance measuring area selection based on discrimination of a state of focus
US5434621A (en) Object tracking method for automatic zooming and the apparatus therefor
JPH1042183A (ja) 撮像装置
JP2934213B2 (ja) ビデオズーミング方法及びこれを採用したビデオカメラ
CN110022433B (zh) 摄像设备、镜头设备及其控制方法
JP4708967B2 (ja) 撮像装置及び撮像方法
CN101472075B (zh) 摄像设备及其控制方法
US6333761B2 (en) Image pickup apparatus having focus detection area size dependent on aspect ratio
JP5339802B2 (ja) 撮像装置およびその制御方法
JP2004086160A (ja) 光学装置
JP5607458B2 (ja) 撮像装置、及びその制御方法
JP4740074B2 (ja) 撮像装置及び撮像方法
JP3179514B2 (ja) カメラ装置
JP2004093776A (ja) カメラ
JPH11211974A (ja) 撮像装置
JP2006157604A (ja) カメラ装置及び自動撮影制御プログラム
JP4564884B2 (ja) レンズ装置及び撮影装置
JP2007116305A (ja) 撮像装置、及びズーム倍率制御方法
JP2005249870A (ja) 撮像装置及び撮像方法
JP5759127B2 (ja) 焦点調節装置及び焦点調節方法
JPH0946572A (ja) 撮像装置
JP2670197B2 (ja) オートフォーカス装置
JP2006287679A (ja) 電子カメラ
JP3869689B2 (ja) オートフォーカスカメラ
JP4478438B2 (ja) 光学装置およびカメラシステム

Legal Events

Date Code Title Description
R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090528

Year of fee payment: 10

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100528

Year of fee payment: 11

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110528

Year of fee payment: 12

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120528

Year of fee payment: 13

LAPS Cancellation because of no payment of annual fees