JPH07135597A - ビデオカメラ - Google Patents

ビデオカメラ

Info

Publication number
JPH07135597A
JPH07135597A JP5282452A JP28245293A JPH07135597A JP H07135597 A JPH07135597 A JP H07135597A JP 5282452 A JP5282452 A JP 5282452A JP 28245293 A JP28245293 A JP 28245293A JP H07135597 A JPH07135597 A JP H07135597A
Authority
JP
Japan
Prior art keywords
image
distance measurement
exposure
video camera
diaphragm
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP5282452A
Other languages
English (en)
Other versions
JP3302132B2 (ja
Inventor
Taro Murakami
太郎 村上
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP28245293A priority Critical patent/JP3302132B2/ja
Publication of JPH07135597A publication Critical patent/JPH07135597A/ja
Application granted granted Critical
Publication of JP3302132B2 publication Critical patent/JP3302132B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Abstract

(57)【要約】 【目的】 自己相関方式の測距を行うビデオカメラであ
りながら、測距の際に、多重像が映らず、露出が変らな
い、スムーズな継りを持つ動画が撮影できるようにす
る。 【構成】 測距直前の画像をフレームメモリ136に記
憶させておき、測距中はフレームメモリ136に記憶し
ている画像を読み出し映像信号として、切替器139,
信号処理装置141を介して、記録装置142,電子ビ
ューファインダ143に送る。また、測距直前の露出値
をメモリ140に記憶させておき、測距終了直後は、メ
モリ140に記憶している露出値を読み出し、露出を行
う。

Description

【発明の詳細な説明】
【0001】
【産業上の利用分野】本発明は、ビデオカメラに関し、
特にその自己相関方式の測距に関するものである。
【0002】
【従来の技術】オートフォーカスを行うための測距方式
が数多く提案されている中で、撮影用のCCD等の撮像
素子の画像情報より自己相関を求め測距を行う自己相関
方式が提案されている。その原理を簡単に説明する。
【0003】図6は自己相関方式による合焦手段の要部
概略図である。131はレンズ、133は撮像素子であ
り、CCD等の光電変換素子よりなっている。同図では
撮像素子133が合焦位置にあるときを示している。1
32は2つの開口部を有した遮光部材(絞り)であり、
撮影光路中に挿脱可能に装着しており、光路中に配置し
てレンズ131の瞳を2つの領域63,64に分割して
いる(なお、遮光部材132は3つ以上の複数の開口部
を有し、瞳を3以上に分割して、3以上の画像情報を得
る場合もある。)。61はレンズ131が後ピン状態に
あるときの撮影素子133の位置を示し、62はレンズ
131が前ピン状態にあるときの撮像素子133の位置
を示している。なお通常はレンズ側が移動し、前記撮像
素子133の位置はレンズ131との相対位置を示す。
【0004】ここでレンズ131が合焦状態にあると
き、瞳領域63を通過した光束と瞳領域64を通過した
光束は、撮像素子133面上の同じ結像位置65に結像
する。レンズ131が後ピン状態にあるとき、瞳領域6
3を通過した光束は、61の位置にある撮像手段133
の結像位置66に、瞳領域64を通過した光束は同じく
撮像素子133の結像位置67にややボケた状態で結像
する。レンズ131が前ピン状態にあるとき、瞳領域6
3を通過した光束は、62の位置にある撮像素子133
の結像位置69に、瞳領域64を通過した光束は同じく
撮像素子133の結像位置68にややボケた状態で結像
する。被写体像の例を図8に示す。その(a)が合焦
時、(b)がボケた状態の像であり、ボケた状態では2
重に一部重なって映っている。
【0005】この撮像素子133の面上に結像した被写
体像に基づく自己相関を演算することにより、レンズ1
31が合焦状態にあるか否か、さらに合焦状態にない場
合には、ピントのズレ量がどれだけあるかを推定するこ
とが可能である。
【0006】即ち撮像素子133面上に結像した被写体
像に基づく信号は、走査により時間軸tを変数とする電
気信号として出力される。この信号をx(t)とする
と、自己相関C(τ)は次の式で表される。
【0007】 C(τ)=1/T×∫x(t)×x(t+τ)dt……(1) (1)式による計算結果をさらにC(0)で正規化する
ことにより、τ=0で最大値1をもつ自己相関係数C
(τ)が得られる。
【0008】こうして得られる自己相関係数C(τ)の
一例を図7に示す。図7に示す例では、自己相関係数C
(τ)はそれぞれa,b,cの3つのピークを持つ。こ
こでaはτ=0の位置であり常に最大の値をとる。ピン
トがずれている状態では、このaの他にピントのズレ量
に対応した位置にピークが表れる。aのピークを除く最
大のピーク位置に対応するτを求めると、bにおいてτ
bが求まる。τbは撮像素子133の転送時間に対応す
る画素間隔のところで強い相関を持つことを示してお
り、この画素間隔が図6における撮像素子133面上の
点66〜67、あるいは点68〜69の間隔に相当する
もので、位相差という。実際の像では図8の(b)に示
すように、2重像の間隔となる。
【0009】ピントのズレ方向の検出は、レンズ131
の瞳を二つに分割する領域63,64の瞳径を異なるも
のにすることで判定できる。たとえば、領域63の瞳径
を領域64の瞳径より小さく設定すると、瞳領域63を
通過する光束は瞳領域64を通過した光束よりも光が弱
く、また瞳領域63を通過する光束の方がボケ方も少な
くなりエッジ幅が小さくなるので図8の(b)の81に
示す方の像になり、逆に瞳領域64を通過した光束は明
るく、かつ大きくボケてエッジ幅が大きくなり、82の
像になる。撮像素子133が位置61の状態、即ち後ピ
ンの場合、撮像素子133の出力信号xの大小関係は位
置66をi、位置67をjとすると x(i)<x(j) となる。一方、撮像素子133が位置62、即ち前ピン
の場合、同じく位置68をk、位置69をlとすると、 x(k)>x(l) となる。即ち、前ピンか後ピンかによって撮像素子13
3の上の位置にある信号i,kと下の位置にある信号
j,lの相対強度が逆転する。これにより前ピン,後ピ
ンが判別できる。
【0010】以上のように画像情報の自己相関のピーク
を演算で求めることにより、撮像素子133面上に結像
した異なる瞳領域を通った光束に基づく被写体像の間隔
を求め、この間隔をレンズ131の焦点距離によって換
算することにより、ピントのズレ量が求められる。ま
た、その時の撮像素子133の信号出力からピントのズ
レ方向を求めることができる。ビデオカメラはこのよう
にして求まったピントのズレ量,ピントのズレ方向を基
に、レンズ131を光軸上で移動させることで合焦動作
を行うことができる。
【0011】以上説明したように、自己相関方式は、撮
像素子に結像した像から測距情報を得ることができ、ま
たそのための像は1画面のみでよく、瞬間的な測距がで
きることを特徴とするものである。
【0012】
【発明が解決しようとする課題】しかしながら、従来
は、自己相関方式により測距を行う場合、図5の(a)
に示す様な、通常の絞りと異なる開口部が複数ある絞り
を、光路上に挿脱する必要があり、非合焦時には図8の
(b)に示す様な多重像が撮像素子に映ってしまう。こ
のことは静止画撮影用のスチルカメラに、自己相関方式
によるオートフォーカスを行う場合には、レリーズ時に
通常の1つの開口部を持つ絞り(図2の(b),(c)
参照)に戻すことで問題はないが、動画撮影用のビデオ
カメラ等に使用する場合には、この測距時の絞りによる
多重像が、撮影される動画中に映ってしまうという問題
がある。
【0013】また絞りの開口部数を変えることにより露
光量も変わる場合が多く、測距絞りの画像のみシャッタ
スピードを変えて調節しても、微妙に明るさが変わって
しまうことがある。測距開始前と測距終了後の露出につ
いても、測距終了後に通常の1つの開口部を持つ絞りに
戻す時に、測光手段により露出を調整し直していては、
すぐに測距開始前と同じ露出にすることは困難であり、
測距開始直前と測距終了直後の画像で露出が変化してし
まうことがある。
【0014】以上のように動画撮影において、少なくと
も1画面の多重像の画面が生じ、またかつ測距中及びそ
の前後で露出が変化することになり、撮影された動画像
が測距の前後で見苦しい映像になってしまうという問題
がある。また撮影時に電子ビューファインダ上にも撮像
素子からの映像を出力させるが、前述したのと同様の理
由で撮影者が快適な撮影を行うことができないという問
題がある。
【0015】本発明はこれらの問題を克服するためにな
されたものであり、自己相関方式でも、多重像が映ら
ず、露出が変わらないスムーズな継りを持つ動画が撮影
でき、撮影者も快適な撮影が行えるビデオカメラを提供
することを目的とする。
【0016】
【課題を解決するための手段】前記目的を達成するた
め、本発明では、ビデオカメラを次の(1),(2)の
とおりに構成する。
【0017】(1)撮影用撮像素子からの画像情報によ
り自己相関方式の測距を行うビデオカメラであって、測
距直前の前記撮像素子からの画像を記録手段に記録さ
せ、測距中は前記記憶手段に記憶している画像を読み出
し映像信号として出力させる制御手段を備えたビデオカ
メラ。
【0018】(2)撮影用撮像素子からの画像情報によ
り自己相関方式の測距を行うビデオカメラであって、測
距直前の露出値を記憶手段に記憶させ、測距終了直後は
前記記憶手段に記憶している露出値を読み出し露出を行
わせる制御手段を備えたビデオカメラ。
【0019】
【作用】前記(1)の構成により、測距中は、測距直前
の画像が出力され、前記(2)の構成により、測距終了
直後は、測距直前の露出値で露出が行われる。
【0020】
【実施例】以下本発明を実施例により詳しく説明する。
【0021】図1は実施例である“ビデオカメラ”の構
成を示す図である。図示のように、レンズ131の後ろ
に図3,図4,図5に示す様な、開口部数の切替え可能
な遮光部材である絞り装置132を設ける。本実施例で
は動画撮影を行う都合上、絞り装置132は開口部の数
と露光量を切替える絞りとしてのみ使用し、シャッタは
撮像素子であるCCD133の電子シャッタを用いてい
る。
【0022】駆動装置134により、合焦となる被写体
距離が可変となるレンズ131があり、このレンズ13
1からの光が、絞り装置132を通して、CCD133
の撮像面上に結像され、CCD133は結像された画像
を映像信号に変換する。A/D変換器135はフレーム
メモリ136やマイクロプロセッサ138に映像信号が
読めるようにするためにA/D変換する。フレームメモ
リ136はA/D変換器135を通したCCD133か
らの映像信号を、少なくとも1画面分一時的に記憶でき
るようにしてあり、その記憶した内容はD/A変換器1
37を通して切替器139に出力される。
【0023】切替器139はCCD133からの直接の
信号、またはフレームメモリ136に一時的に記憶され
ていたCCD133からの信号を、マイクロプロセッサ
138からの指令によりどちらかを選択し、信号処理装
置141を通して記録装置142及び電子ビューファイ
ンダ143に出力するようになっている。信号処理装置
141は映像信号に必要な信号処理、即ち切替器139
からの信号を輝度信号,色差信号などの信号に変換する
などのビデオ信号処理を行う。記録装置142は例えば
磁気テープなどの記録媒体を用いた動画像を記録するた
めの記録装置である。電子ビューファインダ143によ
り、撮影者はビデオカメラの写している画像が見られる
ようになっている。
【0024】マイクロプロセッサ138はビデオカメラ
全体の制御を統括するCPUであり、絞り装置132,
CCD133,駆動装置134,切替器139などに指
令を送る。マイクロプロセッサ138はプログラム実行
のためのメモリ140を持ち、このメモリ140にA/
D変換器135を通した映像信号を読み込んで、自己相
関演算を行って測距情報を得たり、また絞り装置132
の開口部を切り換える際に、元の状態に戻せるようにA
E(自動露出制御)による絞り値や電子シャッタスピー
ド値を記録しておく、などのことができるように構成さ
れている。
【0025】次に図3,図4,図5を用いて、開口部数
の切替え可能な絞り装置132の構成,動作について説
明する。
【0026】図3,図4において、11は絞り羽根の駆
動を行うためのステッピングモータであり、地板16に
固定されている。12は前記ステッピングモータ11の
回転軸11aに圧入されたピニオンギアであり、地板1
6の軸16bに回転自在に嵌合支持されている絞り板1
3に噛合している。14,15は絞り羽根であり、14
a,14b,15a,15bはこれらに形成された開口
部であって、これらが絞り羽根の重なり具合により一つ
の開口部を持つ状態と二つの開口部を持つ状態に変化す
る。また一つの開口部を持つ場合はこの絞り羽根の重な
り具合により絞り径を定めることになる。
【0027】14c,15cはこれら絞り羽根に形成さ
れた長穴であり、前記絞り板13の一対の突起13a,
13bに勘合している。絞り羽根14,15は、それぞ
れ開口部14aと14b、15aと15bの左右に開け
た長穴に地板16の軸16b,16cが嵌合することに
より、絞り板13の回転に伴って互いに左右反対の方向
にスライドするようになっている。16aは地板16に
開孔された固定絞り開口である。
【0028】図5はこの絞りの開口状態を示す図であ
り、斜線部が開口部の形状を示している。(a)は測距
絞りの状態、(b)は全閉、(c)は中間の絞り、
(d)は開放の状態を示す。絞り羽根14,15の開口
部14a,14bと、15a,15b、及び地板16に
固定された開口16aの重なった部分が、実際の光を通
す開口部を作る。ステッピングモータ11を回転させる
ことにより、絞り板13の回転角に従って開口部の形状
が図5の(a)の測距絞り状態から、(b)の全閉、
(c)の中間の絞り、(d)の開放の絞りへと変化する
ようになっている。
【0029】以上のようにして構成された本実施例のビ
デオカメラの動作について図1に基づき説明する。
【0030】通常の撮影状態では、レンズ131からの
光が開口部が一つの状態の絞り装置132を通して結像
される。ビデオカメラは不図示の測光手段の露出情報か
ら適正な絞り値とシャッタスピードを求め、その絞り値
まで絞り装置132で絞り径を開けCCD133の電子
シャッタを制御する。その後は測光手段からの露出情報
の変化に応じて、絞り装置132の絞り径を変化させ
る。これらの制御により、撮像素子133に被写体が適
正な露出値で露光される。切替器139はCCD133
側を選択し、その時間に撮影されているそのままの映像
が、信号処理装置141を通して記録装置142及び電
子ビューファインダ143に出力される。
【0031】次に自己相関方式による測距状態になった
時の動作について、図2のフローチャートに従い説明す
る。
【0032】撮影者のAF動作スイッチによる入力や、
他の測距方式(例えば画像の鮮鋭度を評価する山登り方
式)を併用することにより被写体の移動などによる非合
焦状態を自動的に判断するなどの手法で、自己相関方式
のオートフォーカスを開始するのがスタートS1であ
る。
【0033】スタートS1直後は、通常の撮影状態と同
じ状態で、不図示の測光手段により得られる露出情報に
基づいた適正な絞り値で、図5の(c),(d)の様な
開口部が一つの通常の絞りになっている。この状態で、
S2では最初にCCD133が写した画像をフレームメ
モリ136に記録する。また同時にS3では、この時の
露出である絞り値及びシャッタスピードを、マイクロプ
ロセッサ138のメモリ140に記憶する。この時、開
口部が二つの測距絞り状態のシャッタスピードも計算し
て記憶しておく。
【0034】S4で切替器139をフレームメモリ13
6側に切替えることにより、この後の測距絞り状態(図
5(a))で撮影される画像は、記録装置142及び電
子ビューファインダ143には送られないようにし、S
5では代わりに既に記憶した画像をフレームメモリ13
6から読み出し、D/A変換器137,切替器139を
通して、その画像を記録装置142及び電子ビューファ
インダ143に出力され始めるようにする。
【0035】S6で絞り装置132を駆動して開口部が
二つの測距絞り状態(図5の(a))にし、S3であら
かじめ計算していたシャッタスピードにする。次のS7
では、測距絞り状態で撮影した画像を用いて自己相関演
算をするために、マイクロプロセッサ138を通してメ
モリ140に、この時撮影されている画像データを読み
込んでおく。この時の記録手段142に記録、並びに電
子ビューファインダ143に表示されているのは、フレ
ームメモリ136から読み出されている画像である。メ
モリ140に画像データを読み終ると同時にS8では、
S3で記憶した開口部が一つの通常絞り状態での絞り値
とシャッタスピードを読み出し、絞り装置132の駆動
とCCD133の制御により、この二つの設定を元に戻
す。そして、S9で切替器139をCCD133側に戻
す。
【0036】それからS10では、S7で読み込んだ画
像データを用いて、マイクロプロセッサ138で自己相
関演算を行うことにより、デフォーカス情報である位相
差を得る。以上の動作により合焦位置が求まり、次のS
11で駆動装置134によりレンズ131を合焦位置ま
で移動させ、合焦状態S12を得る。
【0037】なお、マイクロプロセッサ138を並列処
理可能なものとするか、制御用と自己相関演算用の二つ
のプロセッサを使うように装置を構成することで、S8
〜9とS10〜11を同時に実行することができ、より
速く合焦状態を得ることができる。
【0038】また本実施例ではステッピングモータ11
の速度に該当する、絞り装置132の開口部数の切替え
の速度が、Vブランキング期間内に切替えを終了できる
ように装置を構成することで、記録される動画像の中に
フレームメモリ136から読み出す画像を少なくするこ
とができ、また絞り羽根14,15の動作中の画像への
影響を防ぐことができる。
【0039】このようにして、本実施例によれば、測距
絞り状態で写した多重像の画像データのみ、直前の通常
絞りを通した画像と入れ替え、また測距直前の露出値で
測距終了直後の露出を行うため、記録される動画の継り
がスムーズになる。また撮影者にも測距動作による突然
の画面の変化がなく、不快感を与えないという効果があ
る。
【0040】なお、実施例は、記録装置と電子ビューフ
ァインダを備えているが、本発明はこれに限定されるも
のではなく、例えば記録装置を備えず、所要のビデオ信
号処理を施した信号を直接ラインに出力する、或は電子
ビューファインダを備えず、外部モニタで画像を監視
し、ビデオカメラを遠隔操作するといった形で実施する
こともできる。
【0041】
【発明の効果】以上説明したように、自己相関方式の測
距を行うビデオカメラでありながら、測距の際に、請求
項1の発明では、多重像が映らず、請求項2の発明で
は、露出が変らないというスムーズな継りを持つ動画が
撮影でき、撮影者,鑑賞者に不快感を与えることがな
い。
【図面の簡単な説明】
【図1】 実施例の構成を示すブロック図
【図2】 実施例の動作を示すフローチャート
【図3】 実施例で用いる絞り装置の斜視図
【図4】 実施例で用いる絞り装置の各素子の位置関係
を示す概略図
【図5】 実施例で用いる絞り装置の開口形状の説明図
【図6】 自己相関を用いる測距方式の説明図
【図7】 自己相関係数の一例を示す図
【図8】 測距用の絞りを通した像の例を示す図
【符号の説明】
131 レンズ 132 絞り装置 133 撮像素子 136 フレームメモリ 138 マイクロプロセッサ 139 切替器 140 メモリ

Claims (2)

    【特許請求の範囲】
  1. 【請求項1】 撮影用撮像素子からの画像情報により自
    己相関方式の測距を行うビデオカメラであって、測距直
    前の前記撮像素子からの画像を記録手段に記録させ、測
    距中は前記記憶手段に記憶している画像を読み出し映像
    信号として出力させる制御手段を備えたことを特徴とす
    るビデオカメラ。
  2. 【請求項2】 撮影用撮像素子からの画像情報により自
    己相関方式の測距を行うビデオカメラであって、測距直
    前の露出値を記憶手段に記憶させ、測距終了直後は前記
    記憶手段に記憶している露出値を読み出し露出を行わせ
    る制御手段を備えたことを特徴とするビデオカメラ。
JP28245293A 1993-11-11 1993-11-11 撮像装置 Expired - Fee Related JP3302132B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP28245293A JP3302132B2 (ja) 1993-11-11 1993-11-11 撮像装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP28245293A JP3302132B2 (ja) 1993-11-11 1993-11-11 撮像装置

Publications (2)

Publication Number Publication Date
JPH07135597A true JPH07135597A (ja) 1995-05-23
JP3302132B2 JP3302132B2 (ja) 2002-07-15

Family

ID=17652614

Family Applications (1)

Application Number Title Priority Date Filing Date
JP28245293A Expired - Fee Related JP3302132B2 (ja) 1993-11-11 1993-11-11 撮像装置

Country Status (1)

Country Link
JP (1) JP3302132B2 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001124984A (ja) * 1999-10-28 2001-05-11 Canon Inc 焦点検出装置と撮像装置
JP2009134357A (ja) * 2007-11-28 2009-06-18 Olympus Corp 画像処理装置、撮像装置、画像処理プログラム及び画像処理方法
JP2009133642A (ja) * 2007-11-28 2009-06-18 Tokyo Institute Of Technology 画像処理装置、撮像装置及び画像処理プログラム

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7518649B2 (en) 2003-09-04 2009-04-14 Canon Kabushiki Kaisha Image pickup apparatus and control method therefor, and control program

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001124984A (ja) * 1999-10-28 2001-05-11 Canon Inc 焦点検出装置と撮像装置
JP2009134357A (ja) * 2007-11-28 2009-06-18 Olympus Corp 画像処理装置、撮像装置、画像処理プログラム及び画像処理方法
JP2009133642A (ja) * 2007-11-28 2009-06-18 Tokyo Institute Of Technology 画像処理装置、撮像装置及び画像処理プログラム
US8089531B2 (en) 2007-11-28 2012-01-03 Olympus Corporation Image processor, image acquisition apparatus, storage medium of image processing program and image processing method
US8294778B2 (en) 2007-11-28 2012-10-23 Tokyo Institute Of Technology Image processor, image acquisition apparatus, and storage medium of image processing program

Also Published As

Publication number Publication date
JP3302132B2 (ja) 2002-07-15

Similar Documents

Publication Publication Date Title
JP3634232B2 (ja) デジタルスチルカメラ
JP2004109690A (ja) カメラシステムおよびカメラ
US20090102960A1 (en) Image pickup apparatus
JP4499271B2 (ja) カメラ
JP5364245B2 (ja) カメラシステム
US7116359B2 (en) Image capture device and method of controlling blur in captured images
JP2001222083A (ja) 撮像装置、撮像装置の制御方法、及び制御方法が記載されたプログラムをコンピュータに供給する媒体
JP2000180709A (ja) 測距装置
JP5236467B2 (ja) カメラシステム
JP4941141B2 (ja) 撮像装置
JP2004053686A (ja) カメラ及び合焦装置の制御方法
JP2008203428A (ja) 撮像装置
JP3302132B2 (ja) 撮像装置
JP5040498B2 (ja) カメラ
US6477327B1 (en) Camera having image pick-up device
JP2010145495A (ja) カメラシステム
JP5966299B2 (ja) 焦点検出装置およびそれを備えた撮像装置
JP5217942B2 (ja) 焦点調節装置および撮像装置
JP4006627B2 (ja) デジタルカメラ
JP2003043344A (ja) カメラおよびカメラシステム
JP2001136429A (ja) 電子カメラ
JP2007258978A (ja) デジタル一眼レフカメラ
JP2006050139A (ja) 光学機器
JP2004109831A (ja) 光学機器
JP2001333324A (ja) 撮像装置

Legal Events

Date Code Title Description
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20020402

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090426

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090426

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100426

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110426

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130426

Year of fee payment: 11

LAPS Cancellation because of no payment of annual fees