JP2762786B2 - 撮像装置 - Google Patents

撮像装置

Info

Publication number
JP2762786B2
JP2762786B2 JP3214717A JP21471791A JP2762786B2 JP 2762786 B2 JP2762786 B2 JP 2762786B2 JP 3214717 A JP3214717 A JP 3214717A JP 21471791 A JP21471791 A JP 21471791A JP 2762786 B2 JP2762786 B2 JP 2762786B2
Authority
JP
Japan
Prior art keywords
light
reflected
eyepiece
signal
detecting
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP3214717A
Other languages
English (en)
Other versions
JPH0534574A (ja
Inventor
尚樹 花田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Victor Company of Japan Ltd
Original Assignee
Victor Company of Japan Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Victor Company of Japan Ltd filed Critical Victor Company of Japan Ltd
Priority to JP3214717A priority Critical patent/JP2762786B2/ja
Publication of JPH0534574A publication Critical patent/JPH0534574A/ja
Application granted granted Critical
Publication of JP2762786B2 publication Critical patent/JP2762786B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Landscapes

  • Exposure Control For Cameras (AREA)
  • Indication In Cameras, And Counting Of Exposures (AREA)
  • Automatic Focus Adjustment (AREA)

Description

【発明の詳細な説明】
【0001】
【産業上の利用分野】本発明は、撮像装置に関するもの
である。
【0002】
【従来の技術】従来のビデオカメラ・スチルカメラ等の
撮像装置において、オートフォカス動作は、撮像素子の
中央部より得られた撮像輝度信号の高域周波数成分をハ
イパスフィルタを用いて抽出した後、これを一定期間
(例えば1フィールド期間)毎に焦点評価値として検出
し、その値が最大値をとるように撮像素子とカメラレン
ズとの距離を調整することにより行っていた。
【0003】また、オートアイリス動作は、撮像素子の
中央部より得られた撮像輝度信号を積分回路を用いて平
均化して、撮像素子に入射する光量をDC電圧値に変換
し、これに基づいて絞りの開閉を行い撮像素子に入射す
る光量を一定にしていた。
【0004】
【発明が解決しようとする課題】しかし、従来の撮像装
置において、オートフォカス,オートアイリス動作は、
撮像素子の中央部をオートフォカスエリア,オートアイ
リスエリアとして、ここから得られた撮像輝度信号に基
づいて行われていた。このため、オートフォカス動作
は、目的とする被写体がフォカスエリアの外にあると被
写体に焦点が合わず正常に動作しなかった。一方、オー
トアイリス動作は、アイリスエリア外に被写体がある
と、アイリスエリア内外で輝度の差が大きい場合には、
逆光時に被写体が黒くつぶれまた順光時に被写体が白く
飛ぶため、正常に動作しなかった。
【0005】そこで、本発明は、かかる問題点に鑑み、
撮影者が注視している被写体に基づいて動作を行う撮像
装置を提供することを目的とする。
【0006】
【課題を解決するための手段】上記課題を解決するため
に、本発明の撮像装置は、その接眼部側へ発光する発光
部と上記接眼部側にて反射された上記発光部からの反射
光及び外部からの光のみを選択的に受光する受光部と被
写体を映し出すモニタとを備えたファインダと、上記接
眼部各部分から部分反射された上記反射光を夫々受光す
る受光部から出力される受光信号に基づいて上記接眼部
における反射光量の変化を検出する第1の検出手段と、
周期性をもって上記発光部の発光動作を制御する第1の
制御手段と、上記発光動作に応じて変動する上記受光信
号から上記発光動作の周期性を検出する第2の検出手段
と、この第2の検出手段からの検出信号に応じて上記フ
ァインダを撮影者が覗いているか否かを特定して撮影者
がファインダを覗いているときには上記第1の検出手段
からの検出信号に応じて被写体における注視点を特定す
ることにより所望の撮影状態に設定するよう構成したこ
とを特徴とするもので、また、その接眼部側へ発光する
発光部と上記接眼部側にて反射された上記発光部からの
反射光及び外部からの光のみを選択的に受光する受光部
と被写体を映し出すモニタとを備えたファインダと、上
記接眼部各部分から部分反射された上記反射光を夫々受
光する受光部から出力される受光信号に基づいて上記接
眼部における反射光量の変化を検出する第1の検出手段
と、この第1の検出手段からの検出信号に応じて被写体
における注視点を特定することにより所望の撮影状態に
設定すると共に、上記第1の検出手段からの検出信号に
応じて上記モニタ上に設けた動作モードを示す注視点を
特定することによりカメラの動作を設定する制御手段と
を設けたことを特徴とするもの、更に、その接眼部側へ
発光する発光部と上記接眼部側にて反射された上記発光
部からの反射光及び外部からの光のみを選択的に受光す
る受光部と被写体を映し出すモニタとを備えたファイン
ダと、上記接眼部各部分から部分反射された上記反射光
を夫々受光する受光部から出力される受光信号に基づい
て上記接眼部における反射光量の変化を検出する第1の
検出手段と、この第1の検出手段からの検出信号に応じ
て被写体における注視点を特定することにより所望の撮
影状態に設定すると共に、上記注視点の急激な変化を防
ぐために上記第1の検出手段からの検出信号から特定の
レベル以上の信号を除去する除去手段とを設けたことを
特徴とするものである。
【0007】その接眼部側へ発光する発光部と、上記接
眼部側にて反射された上記発光部からの反射光のみ受光
する受光部とを備えたファインダと、上記接眼部各部分
から部分反射された上記反射光を夫々受光する受光部か
ら出力される受光信号に基づいて、上記接眼部における
反射光量の変化を検出する第1の検出手段と、この第1
の検出手段からの検出信号に応じて、少なくとも被写体
における注視点を特定することにより所望の撮影状態に
設定するよう構成したことを特徴とする撮像装置。
【0008】上記した撮像装置において、周期性をもっ
て上記発光部の発光動作を制御する制御手段と、上記発
光動作に応じて変動する上記受光信号から上記発光動作
の周期性を検出する第2の検出手段とを備えたことを特
徴とする撮像装置。
【0009】
【実施例】図1は本発明にかかる撮像装置の一実施例の
主要部を説明するためのブロック図、図2は赤外線発光
ダイオードとフォトダイオードとの配置図、図3は注視
点検出回路とフォトダイオードとの関係を説明するため
の回路図、図4はパルス検出回路7の動作を説明するた
めのタイミングチャート、図5は注視点の動きを説明す
るための模式図である。以下図面を参照しつつ、実施例
を説明する。
【0010】本実施例の撮像装置の概要は、ファインダ
の内部に注視点を検出するセンサを設けて、ファインダ
内のモニタ上の画像のどの部分を注視しているかを検出
し、これに基づいて、オートフォカス,オートアイリス
動作を行うものである。ここで、注視点とは撮影者が注
視している被写体の1点をいい、また、注視点エリアと
は注視点を含む一定の範囲をいうこととする。
【0011】図1において、まず、注視点エリア発生回
路系AAについて図2〜図5を参考にしつつ説明する。
【0012】注視点を検出するために、モニタ9が設け
られているファインダ1の内部に配置された赤外線発光
ダイオード2(LED)よりファインダ1の接眼部側に
ある撮影者の目に赤外線を照射して、反射した赤外線を
フォトダイオード3(PD)にて受光して光電変換した
後、後述する注視点検出回路4にて所定の処理を施して
いる。即ち、撮影者の眼球の白目部分と黒目部分とで赤
外線の反射率が相異なることに着目し、これを利用する
ものである。ここで、図2に示す如く、赤外線発光ダイ
オード1とフォトダイオード3とは配置されており、フ
ォトダイオード3は、上下方向の黒目部分の位置を特定
する役割を担う第1,第2のフォトダイオード31,3
2と、左右方向の黒目部分の位置を特定する役割を担う
第3,第4のフォトダイオード33,34とからなる。
【0013】そして、注視点検出回路4は図3(A)に
示す加算回路41と同図(B)に示す差動回路42とに
よりなり、加算回路41は、黒目部分と白目部分との境
界の下部より反射された赤外線を第1,第2のフォトダ
イオード31,32にて光電変換して得た信号を夫々加
算して上下方向検出信号41aを得る。一方、差動回路
42は、黒目部分と白目部分との境界の左右部より反射
された赤外線を第3,第4のフォトダイオード33,3
4にて夫々光電変換して得た信号を減算して左右方向検
出信号42aを得る。
【0014】そして、上下方向検出信号41aがサンプ
ルホールド回路6に供給され、一方、左右方向検出信号
42aがサンプルホールド回路6とパルス検出回路7と
に夫々供給される。ここで、後述するパルス検出回路7
は撮影者がファインダ1を覗き込んでいるか否かを検出
する役割を担うものである。さて、赤外線の発光源であ
る赤外線発光ダイオード2は、赤外線発光ダイオード駆
動回路5より供給される駆動パルス5aにより駆動され
ており、一定間隔ごとに発光を繰り返すよう動作してい
る。従って、上下方向検出信号41aと左右方向検出信
号42aとは赤外線発光ダイオード2の発光周期と同期
した信号となる。
【0015】先ず、パルス検出回路7の動作を図4を用
いて説明するに、同図(A)は左右方向検出信号42a
であり、これをパルス検出回路7中の図示しないバンド
パスフィルタを介して得たバンドパスフィルタ出力信号
を同図(B)に示す。尚、バンドパスフィルタは、左右
方向検出信号42a中の赤外線発光ダイオード2から照
射された赤外線を検出するためのものであるので、その
中心周波数は、赤外線発光ダイオード2の発光繰り返し
周波数と略一致している。そして、バンドパスフィルタ
出力信号を同図(B)中に示す電圧Vrを閾値とする図
示しないコンパレータを介して2値化した後、周波数電
圧変換して得たパルス検出回路出力信号7aを同図
(C)に示す。
【0016】このようにして、注視点エリア発生回路8
に供給されるパルス検出回路出力信号7aが、ハイレベ
ルの際は撮影者がファインダ1を覗き込んでおり、ロー
レベルの際は撮影者がファインダ1を覗き込んでおらず
外光が入射していることが判別できる。
【0017】次に、サンプルホールド回路6について説
明するに、赤外線発光ダイオード駆動回路5より供給さ
れる駆動パルス5aと同期したサンプルパルス5bを用
いて、上下,左右方向検出信号41a,42aが夫々サ
ンプルホールドされ、両信号に重畳されているパルス波
を除去して得た第1,第2のサンプルホールド回路出力
信号6a,6bを注視点エリア発生回路8に供給してい
る。
【0018】そして、注視点エリア発生回路8は、パル
ス検出回路出力信号7aがローレベルの期間は画面の中
心部にエリアを設定し、ハイレベルの際は第1,第2の
サンプルホールド回路出力信号6a,6bに基づき注視
点の動きに応じたエリアを設定する。
【0019】この動作について説明すると、第1,第2
のサンプルホールド回路出力信号6a,6bをアナログ
デジタル変換して、注視点の動きに応じた上下,左右方
向の座標を表す第1,第2の座標信号を夫々得る。この
第1,第2の座標信号に基づいて注視点の動きを図示し
たのが図5(A)である。同図(A)には急激な注視点
の動きが含まれているためこれを除去する必要があり、
このため、第1,第2の座標信号にデジタルローパスフ
ィルタを夫々施して注視点の急激な動きを除去してい
る。このようにして得た第3,第4の座標信号に基づい
て注視点の動きを図示したのが同図(B)である。そし
て、例えば、パルス検出回路出力信号7aがハイレベル
の際は注視点が属する予め分割されたエリアRを表すデ
ジタル情報を、一方、ローレベル注視点の際は画面の中
心部に相当するエリアQを表すデジタル情報を夫々注視
点エリア信号8aとして後述する第1,第2の窓回路1
9,16に夫々供給する。
【0020】このようにして、注視点エリアを決定する
ことができこれに基づいて以下に述べるオートフォカ
ス,オートアイリス動作を行う。
【0021】先ず、オートフォカス動作より説明する
に、入射光11aが、カメラレンズ11に入射し絞り1
2を介して撮像回路13中の図示せぬ撮像素子の撮像面
に結像し、ここで光電変換されて得た撮像映像信号13
aが映像信号処理回路14に供給される。
【0022】そして、映像信号処理回路14にてガンマ
補正等の周知の映像信号処理が施されて得た同期信号を
有する第1の輝度信号14aがモニタ駆動回路10に供
給されると共に、図示せぬA/D変換器を介して同期信
号を有さない第2の輝度信号14bがバンドパスフィル
タ15と第1の窓回路19と減衰回路21とに夫々供給
される。
【0023】そして、バンドパスフィルタ15にて第2
の輝度信号14b中の高域周波数成分を抽出して得たデ
ジタル値を有するバンドパスフィルタ出力信号15aが
第2の窓回路16に供給され、ここで、注視点エリア信
号8aに基づいて注視点エリア内のバンドパスフィルタ
出力信号15aを抽出して得た第2の窓回路出力信号1
6aをピークホールド回路17に供給する。
【0024】そして、ピークホールド回路17にて第2
の窓回路出力信号16aの最大値を検出して得たピーク
ホールド回路出力信号17aをマイクロコンピュータ1
8に供給し、これが最大値をとるよう即ちコントラスト
が高くなるようにフォカスモータ制御信号18aがカメ
ラレンズ11を駆動するフォカスモータ23に供給され
る。
【0025】次に、オートアイリス動作を説明するに、
第1の窓回路19に供給された第2の輝度信号14b
は、注視点エリア信号8aに基づいて注視点エリア内の
信号のみが抽出されて、第1の窓回路出力信号19aと
して第1の積分回路20に供給され、ここで、注視点エ
リア内の第1の窓回路出力信号19aを平均化して得た
第1の積分回路出力信号20aが、マイクロコンピュー
タ18に供給される。
【0026】また、減衰回路21に供給された第2の輝
度信号14bは、一定の比率で減衰されて減衰回路出力
信号21aとして、第2の積分回路22に供給され、こ
こで、減衰回路出力信号21aを平均化して得た第2の
積分回路出力信号22aが、マイクロコンピュータ18
に供給する。
【0027】そして、マイクロコンピュータ18にて第
1,第2の積分回路出力信号20a,22aを所定の比
率で加重平均し、これに基づき絞りの開口率を決定して
得たアイリスモータ制御信号18bが絞り12を駆動す
るアイリスモータ24に供給される。
【0028】このようにして、撮影者がファインダ1を
覗き込んでいる場合には注視点エリアに基づいてオート
フォカス,オートアイリス動作を行い、一方、撮影者が
ファインダを覗いていない場合は撮像画面中の一定の範
囲に基づいてオートフォカス,オートアイリス動作を行
う。
【0029】尚、上述した実施例において、第1の輝度
信号14aは色信号を含む複合映像信号であっても良い
ことは勿論である。
【0030】尚、上述した実施例において、第2の輝度
信号14bはA/D変換器を介して後段の構成に供給さ
れていたが、映像信号処理回路14からマイクロコンピ
ュータ18の間に介挿された構成をアナログ動作するこ
ととして、上記A/D変換器を省略しても良いことは勿
論である。
【0031】尚、上述した実施例において、ファインダ
1はモニタを有する電子ファインダとして説明したがこ
れに限定されるものではなく、モニタを有さない光学式
のファインダであっても良いことは勿論である。
【0032】尚、上述した実施例において、注視点エリ
ア発生回路AAはオートフォカス,オートアイリス動作
のみに用いられるものではなく、例えば、ビデオカメラ
の場合、モニタ9上に記録開始、記録終了、ズーム等の
種々の動作モードを表示し、これを注視することにより
ビデオカメラを制御してもよく、また、スチルカメラの
場合、光学式ファインダ中にシャッター、シャッタース
ピード、ズーム等の種々の動作モードを表示し、これを
注視することによりスチルカメラを制御してもいことは
勿論である。
【0033】上述したように本実施例によれば、注視点
エリアに基づいてオートフォカス,オートアイリス動作
を行うので、撮影者が見ている被写体に基づいてオート
フォカス,オートアイリス動作を行うができる。
【0034】上述したように本実施例によれば、ファイ
ンダ1内に赤外線発光ダイオード2とフォトダイオード
3とを設けたので、被写体の選択をしつつ撮影者に負担
をかけることなく注視点を検出できる。また、赤外線の
発光受光により注視点を検出するため、撮影者に負担を
かけることなく注視点を検出できると共にモニタの影響
を受けることなく確実に注視点を検出できる。
【0035】上述したように本実施例によれば、撮影者
がファインダ1を覗き込んでいるか否かを検出するパル
ス検出回路7等を備えているので、撮影者がファインダ
1を覗き込んでいない場合にも、オートフォカス,オー
トアイリス動作を行うができ、種々の態様で撮影を行う
ことができる。
【0036】
【発明の効果】上述したように本発明によれば、被写体
における注視点を特定することにより所望の撮影状態に
設定することができるので、例えば、オートフォカス及
び/又はオートアイリス動作を行う撮像装置において
は、撮影者が注視している被写体に基づいてオートフォ
カス及び/又はオートアイリス動作を行うができるとい
う効果がある。
【0037】また、本発明によれば、その接眼部側へ発
光する発光部と、上記接眼部側にて反射された上記発光
部からの反射光のみ受光する受光部とを備えたファイン
ダを設けたので、撮影すべき被写体を確認しつつ撮影者
に負担をかけることなく注視点を検出できるという効果
がある。
【0038】また、本発明によれば、周期性をもって上
記発光部の発光動作を制御する制御手段と、上記発光動
作に応じて変動する上記受光信号から上記発光動作の周
期性を検出する第2の検出手段とを備えているので、撮
影者がファインダを覗いているか否かを判別することが
でき、例えば、撮影者がファインダを覗いていないと判
別した場合は撮像画面中の一定の範囲に基づいてオート
フォカス及び/又はオートアイリス動作を行うことによ
り、種々の態様で撮影を行うことができるという効果が
ある。
【図面の簡単な説明】
【図1】本発明にかかる撮像装置の一実施例の主要部を
説明するためのブロック図である。
【図2】赤外線発光ダイオードとフォトダイオードとの
配置図である。
【図3】注視点検出回路とフォトダイオードとの関係を
説明するための回路図である。
【図4】パルス検出回路7の動作を説明するためのタイ
ミングチャートである。
【図5】注視点の動きを説明するための模式図である。
【符号の説明】
1 ファインダ 2 赤外線発光ダイオード 3 フォトダイオード 7 パルス検出回路 8 注視点エリア発生回路 5a 駆動パルス

Claims (3)

    (57)【特許請求の範囲】
  1. 【請求項1】その接眼部側へ発光する発光部と、上記接
    眼部側にて反射された上記発光部からの反射光及び外部
    からの光のみを選択的に受光する受光部と、被写体を映
    し出すモニタとを備えたファインダと、 上記接眼部各部分から部分反射された上記反射光を夫々
    受光する受光部から出力される受光信号に基づいて、上
    記接眼部における反射光量の変化を検出する第1の検出
    手段と、周期性をもって上記発光部の発光動作を制御する第1の
    制御手段と、 上記発光動作に応じて変動する上記受光信号から上記発
    光動作の周期性を検出する第2の検出手段と、 この第2の検出手段からの検出信号に応じて上記ファイ
    ンダを撮影者が覗いているか否かを特定して撮影者がフ
    ァインダを覗いているときには上記 第1の検出手段から
    の検出信号に応じて被写体における注視点を特定するこ
    とにより所望の撮影状態に設定するよう構成したことを
    特徴とする撮像装置。
  2. 【請求項2】その接眼部側へ発光する発光部と、上記接
    眼部側にて反射された上記発光部からの反射光及び外部
    からの光のみを選択的に受光する受光部と、被写体を映
    し出すモニタとを備えたファインダと、 上記接眼部各部分から部分反射された上記反射光を夫々
    受光する受光部から出力される受光信号に基づいて、上
    記接眼部における反射光量の変化を検出する第1の検出
    手段と、 この第1の検出手段からの検出信号に応じて被写体にお
    ける注視点を特定することにより所望の撮影状態に設定
    すると共に、上記第1の検出手段からの検出信号に応じ
    て上記モニタ上に設けた動作モードを示す注視点を特定
    することによりカメラの動作を設定する制御手段とを設
    けたことを特徴とする撮像装置。
  3. 【請求項3】その接眼部側へ発光する発光部と、上記接
    眼部側にて反射された上記発光部からの反射光及び外部
    からの光のみを選択的に受光する受光部と、被写体を映
    し出 すモニタとを備えたファインダと、 上記接眼部各部分から部分反射された上記反射光を夫々
    受光する受光部から出力される受光信号に基づいて、上
    記接眼部における反射光量の変化を検出する第1の検出
    手段と、 この第1の検出手段からの検出信号に応じて被写体にお
    ける注視点を特定することにより所望の撮影状態に設定
    すると共に、上記注視点の急激な変化を防ぐために上記
    第1の検出手段からの検出信号から特定のレベル以上の
    信号を除去する除去手段とを設けたことを特徴とする撮
    像装置。
JP3214717A 1991-07-31 1991-07-31 撮像装置 Expired - Lifetime JP2762786B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP3214717A JP2762786B2 (ja) 1991-07-31 1991-07-31 撮像装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP3214717A JP2762786B2 (ja) 1991-07-31 1991-07-31 撮像装置

Publications (2)

Publication Number Publication Date
JPH0534574A JPH0534574A (ja) 1993-02-12
JP2762786B2 true JP2762786B2 (ja) 1998-06-04

Family

ID=16660460

Family Applications (1)

Application Number Title Priority Date Filing Date
JP3214717A Expired - Lifetime JP2762786B2 (ja) 1991-07-31 1991-07-31 撮像装置

Country Status (1)

Country Link
JP (1) JP2762786B2 (ja)

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2859270B2 (ja) * 1987-06-11 1999-02-17 旭光学工業株式会社 カメラの視線方向検出装置
JP2911125B2 (ja) * 1988-08-31 1999-06-23 キヤノン株式会社 視線検出装置
JP3143490B2 (ja) * 1991-05-27 2001-03-07 キヤノン株式会社 視線検出装置

Also Published As

Publication number Publication date
JPH0534574A (ja) 1993-02-12

Similar Documents

Publication Publication Date Title
CN101568870B (zh) 摄像设备及其控制方法和摄像系统
JP2003248164A (ja) オートフォーカスアダプタ
JP5597078B2 (ja) 撮像装置及びその制御方法
JPH09200597A (ja) 自動焦点検出装置
JP5932474B2 (ja) 撮像装置及びその制御方法
JPH0548028B2 (ja)
JP2558174B2 (ja) カメラの手振れ検知装置
JP4997043B2 (ja) 撮像装置、方法およびプログラム
JP2009053568A (ja) 撮像装置及び撮像システム
JP2013186293A (ja) 画像生成装置および画像表示方法
JPH0630322A (ja) 自動合焦装置
JP2762786B2 (ja) 撮像装置
JP6505295B2 (ja) 撮像装置、その制御方法、および制御プログラム
JPH07143388A (ja) ビデオカメラ
KR20050053998A (ko) 스팟 상태에서의 촬상 장치의 오토 포커스 제어 장치 및그 방법
JP4377307B2 (ja) 撮影装置
US20220345611A1 (en) Image capturing apparatus and control method thereof and storage medium
KR101080408B1 (ko) Af 데이터를 이용한 촬영 장치 및 방법
JP2003287673A (ja) 撮影レンズのピント状態検出装置
JPH0993481A (ja) 交換レンズ式カメラシステム
JPH0385875A (ja) オートフォーカスカメラ
JP3204389B2 (ja) 超高感度撮像装置の感度可変システム
JP3287065B2 (ja) 自動焦点調節装置
JPH022292A (ja) 自動焦点機能付カメラ
JP2003279847A (ja) 撮影レンズのピント状態検出装置

Legal Events

Date Code Title Description
FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090327

Year of fee payment: 11

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090327

Year of fee payment: 11

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100327

Year of fee payment: 12

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110327

Year of fee payment: 13

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120327

Year of fee payment: 14

EXPY Cancellation because of completion of term
FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120327

Year of fee payment: 14