JP3768616B2 - 視線検出手段を有する機器 - Google Patents

視線検出手段を有する機器 Download PDF

Info

Publication number
JP3768616B2
JP3768616B2 JP25906296A JP25906296A JP3768616B2 JP 3768616 B2 JP3768616 B2 JP 3768616B2 JP 25906296 A JP25906296 A JP 25906296A JP 25906296 A JP25906296 A JP 25906296A JP 3768616 B2 JP3768616 B2 JP 3768616B2
Authority
JP
Japan
Prior art keywords
line
sight
size
gaze
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP25906296A
Other languages
English (en)
Other versions
JPH10104498A (ja
Inventor
浩二 井上
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP25906296A priority Critical patent/JP3768616B2/ja
Priority to US08/934,318 priority patent/US5907723A/en
Publication of JPH10104498A publication Critical patent/JPH10104498A/ja
Application granted granted Critical
Publication of JP3768616B2 publication Critical patent/JP3768616B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B13/00Viewfinders; Focusing aids for cameras; Means for focusing for cameras; Autofocus systems for cameras
    • G03B13/02Viewfinders
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B2213/00Viewfinders; Focusing aids for cameras; Means for focusing for cameras; Autofocus systems for cameras
    • G03B2213/02Viewfinders
    • G03B2213/025Sightline detection

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automatic Focus Adjustment (AREA)
  • Focusing (AREA)
  • Indication In Cameras, And Counting Of Exposures (AREA)
  • Camera Data Copying Or Recording (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は、使用者の視線を検出する視線検出装置を有する機器に係り、特に使用者の視線データに基づいて所定の動作を作動する機能を備えた機器に関する。
【0002】
【従来の技術】
従来、この種の視線検出装置には、米国特許第4109145号に記載されているように、ファインダ内における使用者の視線位置を時系列的に検出し、特定の指標に対して所定時間以上の視線の停留を検出すると、対応する機能の起動を行うものがあった。
【0003】
また、特公昭63−50349号公報には画面内を複数の領域に分割し、その各々に種々の情報に相当する指標をシンボルまたはテキストで表示を行い、前記領域への所定時間以上の視線の停留を検出した場合に対応する機能の起動を行うことが開示されている。いわゆる指標と対応する機能が一対一で対応するものであった。
【0004】
近年視線入力を用いて、撮影画面サイズを切り換え可能なカメラが提案されており、通常ファインダ内部の液晶表示部上に配置された指標に対する視線入力により、各画面サイズに合わせて液晶表示部を駆動制御し、各画面サイズに合わせるように画面上の不要部分をマスクする。
【0005】
このような画面サイズとしては、例えば、C/H/Pという3種類の画面サイズの切り換え可能なカメラにおいて、Cサイズ(Classicサイズ)と呼ばれる15.6mm×22.3mm画面サイズと、Hサイズ(High definitionサイズ)と呼ばれる15.6mm×27.4mmと、Pサイズ(Panoramaサイズ)と呼ばれる9.6mm×27.4mmの3種類の画面サイズが切り換えられるようになっている。
【0006】
【発明が解決しようとする課題】
しかしながら、上記従来例においては、視線位置を時系列で検出しているため、ファインダ内にある指標に対して所定時間以上の視線データが変化しないことを検出し、対応する所定動作を行った後、更に使用者が指標を注視し続けていると再び対応する所定動作が行われるという問題があった。
【0007】
例えば使用者がC/H/Pの画面サイズの切り換えを行う場合を例にすると、視線入力によりファインダ内部の液晶表示部上に配置された指標に対する視線入力により、液晶表示部上の画面サイズ表示を切り換える場合、画面サイズ表示が切り換えられた後も使用者が指標を見つめていると、再度視線入力が行われていると判断し、更に次の画面サイズ表示に切り換えられてしまうことになる。
【0008】
このため、使用者が指標を見続けていると時系列ごとに行われる視線検出の度に画面サイズ表示が切り換わるため、使用者が意図する画面サイズ表示に切り換えられなくなる。
【0009】
同様に、カメラの撮影モードや撮影条件の設定や解除の場合にも設定と解除が連続で切り換わるため使用者が意図する設定に切り換わらない問題があった。
【0010】
また、使用者の視線が指標付近をちらついている場合、対応する機能の起動が連続して行われるという問題があった。つまり、ファインダ内部の液晶表示部上に配置された指標に対する視線入力により液晶表示部上の画面サイズ表示を切り換える場合、指標の付近を使用者の視線がちらつくと、視線を検出する度に画面サイズ表示が切り換わるため、使用者が意図しない画面サイズ表示に切り換えられる問題があった。
【0011】
本出願に係る発明の目的は、使用者の視線の移動等により、視線位置の検出によって設定される情報の受け付けを制限し、視線により設定した状態が不用意に変更されることがない光学機器を提供することにある。
【0012】
【課題を解決するための手段】
本発明の視線検出手段を有する機器は、使用者の視線情報を逐次検出する視線検出手段と、前記視線情報に基づいて使用者が特定の指標を見ているか否かを判定する注視判定手段と、前記注視判定手段からの判定情報に基づいて所定動作を実行する動作手段と、前記所定動作が実行された後において、前記視線情報が変化するまで前記所定動作の実行を禁止する動作禁止手段とを有することを特徴としている。ここで、動作禁止手段は、注視判定手段によって使用者が特定の指標以外を見ていると判定されるまで、又は、視線検出手段による視線情報の検出ができなくなるまで、所定動作の実行を禁止することができる。
【0016】
上記の構成において、所定動作とは、撮影モードや撮影条件等の異なる動作状態切り換え動作である
【0017】
また、上記の構成において、所定動作とは、撮影モードや撮影条件等の異なる動作状態の設定と解除の切り換え動作である
【0018】
上記した構成では、視線情報が指標と一致すると判定し、所定動作が行われた後視線情報が変化しない限り、所定動作を禁止するようにしているので、例えば、視線入力を受けて一度C/H/Pの切り換えの指標を受け付けて画面サイズ表示を切り換えた後は、使用者が指標を見続けている間、画面サイズ切り換えを行わないようにすることで、使用者が意図する画面サイズ表示に容易に切り換えられる。
【0020】
【発明の実施の形態】
図1は本発明による光学機器をカメラに適用した第1の実施の形態の全体構成を示すブロック図である。
【0021】
図1において、1−1はシーケンス制御及び演算を行う制御手段としてのシステムコントローラ、1−2はデータを記憶するRAM、1−3はプログラムやデータを記憶するROM、1−4は被写体の光量を測定する測光回路、1−5は被写体までの距離を測定する測距回路、1−6はフィルムへの露光を行うシャッタドライバ、1−7はストロボ回路である。
【0022】
1−8は使用者の視線を検出する視線検出装置、1−9はファインダ内液晶表示部1−10の駆動回路であり、このファインダ内液晶表示部1−10は、透過型であってファインダ視野内に設置されている。1−11はC/H/Pの撮影画面サイズの切り換えを視線入力で行うための指標、1−12はフィルムへの露光を指示するレリーズスイッチである。
【0023】
図2はC/H/Pの各画面サイズを表したものであり、図2の(a)における画面サイズ2−1はCサイズ(Classic)を表している。同様に図2の(b)における画面サイズ2−2はHサイズ(High definition)を表し、図2の(c)における画面サイズ2−3はPサイズ(Panorama)を表している。
【0024】
図3は、ファインダ内部の状態を表しており、3−1はファインダ内部に配置された液晶表示部で、通常Hサイズの画面であり、この液晶表示部を上下または左右において、破線で示す部分までマスクすることにより、CサイズとPサイズの画面表示を行う。3−2は視線入力によりC/H/Pの画面サイズを切り換えるための指標を表している。
【0025】
図4はファインダ内部の液晶表示部をマスクした状態を表しており、図4の(a)における画面4−1はCサイズ画面で、Hサイズに対してその両側をマスクすることで表示される。また、図4の(b)における画面4−2はPサイズ画面で、Hサイズに対してその上下をマスクすることで表示される。
【0026】
図5は、システムコントローラ1−1の動作を説明するためのフローチャートである。以下、図5のフローチャートに基づいてシステムコントローラ1−1の動作を説明する。なお、以下の説明では、C/H/P切り換えを視線入力で行う場合についての動作のみを説明する。
【0027】
本動作のプログラムがスタートすると、視線検出動作を行い(5−1)、使用者の視線の検出を行う。
【0028】
(5−2)は、(5−1)で行われた視線検出の判定が行われ、視線の検出が成功している場合(5−3)に進み、視線の検出が成功していない場合は(5−4)に進む。
【0029】
(5−3)では、(5−2)における視線検出の成功の判定を受けて、視線検出の種類の判定を行う。ここではファインダ内の撮影サイズ表示を切り換えるためのCHP切り換え指標1−11の視線検出が成功したか否かの判定を行う。成功していた場合には(5−5)に進み、成功していない場合には(5−4)に進む。
【0030】
(5−4)では、(5−2)で視線検出が成功しなかった場合、または(5−3)での視線の検出において、CHPの切り換えでないとの判定を受けて、視線検出による撮影画面サイズ表示切り換え動作を保持するためのフラグEYE_LOCKの保持をクリアする(EYE_LOCK=0)。したがって、視線検出によるCHP切換えが受け付けられることになる。
【0031】
(5−5)では、(5−3)でCHP切り換えの視線検出が行われたことを受けて、フラグEYE_LOCKの状態判定を行い、フラグEYE_LOCKが保持されていない場合(EYE_LOCK=0)は(5−6)に進み、保持されている場合はフローを終了する。
【0032】
(5−6)では、(5−5)でEYE_LOCKフラグが保持されていない状態で視線検出によりCHP切り換えが判定されたことを受けて、EYE_LOCKフラグが保持される(EYE_LOCK=1)。
【0033】
(5−7)では、現在ファインダ内の液晶表示部に撮影サイズがCサイズで表示されているか否かを判定する。Cサイズが表示されている場合は、(5−8)に進み、Cサイズが表示されていない場合は(5−9)に進む。
【0034】
(5−8)では、画面サイズの切換の指示があったので、(5−7)において現在Cサイズが表示されていれば次の画面サイズに切換えるため、CHP表示をHサイズ表示に切り換える。
【0035】
(5−9)においては、(5−7)においてCサイズでないことを受けて、現在の画面サイズがHサイズであるか否かの判定をする。Hサイズが表示されている場合には(5−10)に進み、Hサイズが表示されていなければ(5−11)に進む。
【0036】
(5−10)では、(5−9)において現在Hサイズが表示されていることをうけて、CHP表示をPサイズ表示に切り換える。
【0037】
(5−11)では、(5−7)で現在C表示でないことと(5−9)で現在H表示でないことを受けてCHP表示をC表示に切り換える。
【0038】
本実施の形態においては、画面サイズの切換え動作に先立って、EYE_LOCKフラグの保持(EYE_LOCK=1)を実行し、EYE_LOCK=0の状態となるまでは、画面サイズの切換えが行えないようにしている。したがって、指標1−11を見続けていると、ステップ(5−2)→ステップ(5−3)→ステップ(5−5)→リターンのステップを繰り返すことになり、画面サイズが連続的に切り換わることがない。
【0039】
また、ファインダーから目を離したりして視線の検出ができなくなったり、指標1−11から一旦目を離したりしてCHPの切換えを行わない場合には、EYE_LOCK=0となり、新たにCHPの切換えが可能となる。
【0040】
(第2の実施の形態)
図6および図7は本発明の第2の実施の形態を示す。
【0041】
第2の実施の形態は、第1の実施の形態に対してシーケンスコントローラ1−1の動作のみを変更したものである。従って、シーケンスコントローラ1−1の動作のみを図6のフローチャートに従って説明する。
【0042】
図7は、撮影画面サイズC/H/Pの切り換えを視線入力で行うための指標1−11の変化の状態を表している。同図において、7−1は指標が点灯している状態を示しており、7−2は指標点滅した状態を示している。この7−2の点滅状態は、視線入力待ちの状態を表しており、1度目の視線入力から設定された所定時間点滅することで1度目の視線入力の受け付けを表すと同時に、2度目の視線入力の受け付け待ち状態を表している。7−3は、指標が点灯している状態で、2度目の視線入力を受けた状態を表している。
【0043】
ここでは、C/H/P切り換えを視線入力で行う場合についての動作のみを図6のフローチャートを用いて説明する。
【0044】
本動作のプログラムがスタートすると、視線検出動作を行い(6−1)、使用者の視線の検出を行う。
【0045】
(6−2)は、(6−1)で行われた視線検出の判定が行われ、視線の検出が成功している場合は(6−3)に進み、視線の検出が成功していない場合は(6−7)に進む。
【0046】
(6−3)では、(6−2)で視線検出の成功の判定を受けて、視線検出の種類の判定を行う。ここではファインダ内の撮影サイズ表示を切り換えるためのCHP切り換え指標1−11の視線検出が成功したか否かの判定を行う。成功していた場合は(6−4)に進み、成功していない場合は(6−7)に進む。
【0047】
(6−4)では、C/H/P切り換えの指標1−11が点滅しているか否かの判定を行う。ここでいう点滅している状態とは、図7の7−2で示したように1度視線入力によりC/H/P切り換えを判定した後、所定時間内に2度目の視線入力を判定するまでの間の状態である。点滅している場合は(6−5)に進み、点灯している場合は(6−6)に進む。
【0048】
(6−5)では、C/H/P切り換えの指標1−11を点灯させる。ここでは、C/H/P指標の点滅状態で(6−9)で設定されたウエイト時間経過後、再度C/H/P切り換え指標1−11による視線入力が行われたとして、指標1−11を点灯させる。
【0049】
(6−6)においては、C/H/P切り換えの指標を点滅させる。ここではC/H/P指標の点灯状態で視線の検出を受けた場合、指標を点滅して(6−9)に進む。
【0050】
(6−7)では、視線検出が成功しなかった場合や、C/H/P切り換えが選択されていない場合は、C/H/P指標を点灯してこのフローチャートを終了する。
【0051】
(6−8)では、現在ファインダ内の液晶表示部に撮影サイズがCサイズで表示されているか否かを判定する。Cサイズが表示されている場合は(6−10)に進み、Cサイズが表示されていない場合は(6−11)に進む。
【0052】
(6−9)では、C/H/P指標が点灯している場合で、C/H/P切り換えの視線入力を受けた場合、(6−6)によりC/H/Pの指標を点滅させた後に所定のウエイト時間待機した後、このフローチャートを終了する。
【0053】
(6−10)では、(6−8)において現在Cサイズが表示されていることをうけて、CHP表示をHサイズ表示に切り換える。
【0054】
(6−11)では、(6−8)においてCサイズでないことを受けて、現在の撮影サイズがHサイズであるかの判定をする。Hサイズが表示されている場合は(6−12)に進み、Hサイズが表示されていなければ(6−13)に進む。
【0055】
(6−12)では、(6−11)において現在Hサイズが表示されていることをうけて、CHP表示をPサイズ表示に切り換える。
【0056】
(6−13)では、(6−11)において現在Hサイズが表示されていないことを受けて、CHP表示をCサイズ表示に切り換える。
【0057】
上記した実施の形態では、ファインダ内部の指標を用いて撮影画面サイズを変更する例を挙げて説明したが、撮影条件や撮影モードの変更、ストロボの発光/非発光の設定、ズーム動作等に用いることもできるのは言うまでもない。
【0058】
【発明の効果】
発明によれば、使用者特定の指標を見ていると判定し、所定動作が行われた後、それ以降視線情報変化するまで(例えば、注視判定手段によって使用者が特定の指標以外を見ていると判定されるまで、又は、視線検出手段による視線情報の検出ができなくなるまで)、所定動作を禁止するので、使用者が指標を見続けている間、時系列ごとにおこなわれる視線検出の度に所定動作が行われることを防ぐ効果がある。
【図面の簡単な説明】
【図1】本発明をカメラに適用した第1の実施の形態の全体構成ブロック図。
【図2】図1のカメラのC/H/Pの各画面サイズを示す図。
【図3】図1のカメラのC/H/P切り換えファインダを示す図。
【図4】図3のファインダでのC/Pサイズが選択された場合の液晶表示部の表示状態を示す図。
【図5】第1の実施の形態におけるシステムコントローラのフローチャート。
【図6】第2の実施の形態におけるシステムコントローラのフローチャート。
【図7】第2の実施の形態における指標の変化図。
【符号の説明】
1−1 システムコントローラ
1−2 RAM
1−3 ROM
1−4 測光回路
1−5 測距回路
1−6 シャッタの駆動回路
1−7 ストロボ回路
1−8 視線検出装置
1−9 液晶表示部

Claims (4)

  1. 使用者の視線情報を逐次検出する視線検出手段と、
    前記視線情報に基づいて使用者が特定の指標を見ているか否かを判定する注視判定手段と、
    前記注視判定手段からの判定情報に基づいて所定動作を実行する動作手段と
    前記所定動作が実行された後において、前記視線情報が変化するまで前記所定動作の実行を禁止する動作禁止手段とを有することを特徴とする視線検出手段を有する機器。
  2. 請求項1において、前記動作禁止手段は、前記注視判定手段によって使用者が前記特定の指標以外を見ていると判定されるまで、又は、前記視線検出手段による視線情報の検出ができなくなるまで、前記所定動作の実行を禁止することを特徴とする視線検出手段を有する機器。
  3. 請求項1又は2において、前記所定動作とは、撮影モードや撮影条件等の異なる動作状態切り換え動作であることを特徴とする視線検出手段を有する機器。
  4. 請求項1又は2において、前記所定動作とは、撮影モードや撮影条件等の異なる動作状態の設定と解除の切り換え動作であることを特徴とする視線検出手段を有する機器。
JP25906296A 1996-09-30 1996-09-30 視線検出手段を有する機器 Expired - Fee Related JP3768616B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP25906296A JP3768616B2 (ja) 1996-09-30 1996-09-30 視線検出手段を有する機器
US08/934,318 US5907723A (en) 1996-09-30 1997-09-19 Apparatus having line-of-sight detecting device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP25906296A JP3768616B2 (ja) 1996-09-30 1996-09-30 視線検出手段を有する機器

Publications (2)

Publication Number Publication Date
JPH10104498A JPH10104498A (ja) 1998-04-24
JP3768616B2 true JP3768616B2 (ja) 2006-04-19

Family

ID=17328804

Family Applications (1)

Application Number Title Priority Date Filing Date
JP25906296A Expired - Fee Related JP3768616B2 (ja) 1996-09-30 1996-09-30 視線検出手段を有する機器

Country Status (2)

Country Link
US (1) US5907723A (ja)
JP (1) JP3768616B2 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6097373A (en) * 1997-10-28 2000-08-01 Invotek Corporation Laser actuated keyboard system
JP4054436B2 (ja) * 1998-03-31 2008-02-27 キヤノン株式会社 光学装置
US8467672B2 (en) * 2005-10-17 2013-06-18 Jeffrey C. Konicek Voice recognition and gaze-tracking for a camera
US7697827B2 (en) 2005-10-17 2010-04-13 Konicek Jeffrey C User-friendlier interfaces for a camera

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5239337A (en) * 1990-08-20 1993-08-24 Nikon Corporation Apparatus for ordering to phototake with eye-detection
US5245381A (en) * 1990-08-20 1993-09-14 Nikon Corporation Apparatus for ordering to phototake with eye-detection
US5758201A (en) * 1991-06-28 1998-05-26 Nikon Corporation Camera having line of sight detecting device
US5581323A (en) * 1993-11-29 1996-12-03 Canon Kabushiki Kaisha Optical apparatus for controlling operations based on a user's visual axis

Also Published As

Publication number Publication date
JPH10104498A (ja) 1998-04-24
US5907723A (en) 1999-05-25

Similar Documents

Publication Publication Date Title
US5245381A (en) Apparatus for ordering to phototake with eye-detection
JP3992286B2 (ja) カメラシステムおよび交換レンズ
JP3144037B2 (ja) 手振れ表示装置
US5239337A (en) Apparatus for ordering to phototake with eye-detection
JPH11249212A (ja) ブレ警告機能付カメラ
JP3768616B2 (ja) 視線検出手段を有する機器
JPH07218813A (ja) 視線検出装置を有するカメラ
JPH07128705A (ja) カメラ
US5771404A (en) Shake preventing apparatus in camera
KR19980033129A (ko) 노출 모드 선택 장치
JPH11352570A (ja) カメラ
US5434642A (en) Camera
JP3147981B2 (ja) 顕微鏡用写真撮影装置
JP3201421B2 (ja) 視線検出手段を備えたカメラ
JP3189290B2 (ja) カメラの背景描写度合判定装置
US5534966A (en) Camera in-finder display device
JPH07219016A (ja) 表示装置付きカメラ
JPH05173241A (ja) 像振れ表示機能付きカメラ
JPH03130730A (ja) オートフォーカス装置付きカメラの遠景撮影表示装置
JP3365825B2 (ja) 顕微鏡写真撮影装置
JP2582674Y2 (ja) 画面サイズ変更可能なストロボ制御回路内蔵カメラ
JP2000321486A (ja) 焦点検出装置及び自動焦点カメラ
JPH07151957A (ja) 自動焦点調節カメラ
JPH0862657A (ja) 振れ補正カメラ及び振れ補正レンズ
JP3100867B2 (ja) 実像式ファインダ装置

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20051021

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20051101

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20051216

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20060131

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20060202

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100210

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100210

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110210

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120210

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130210

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140210

Year of fee payment: 8

LAPS Cancellation because of no payment of annual fees