JPH0694984A - 光学装置 - Google Patents

光学装置

Info

Publication number
JPH0694984A
JPH0694984A JP4249802A JP24980292A JPH0694984A JP H0694984 A JPH0694984 A JP H0694984A JP 4249802 A JP4249802 A JP 4249802A JP 24980292 A JP24980292 A JP 24980292A JP H0694984 A JPH0694984 A JP H0694984A
Authority
JP
Japan
Prior art keywords
line
sight
field
finder
optical device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP4249802A
Other languages
English (en)
Other versions
JP2911686B2 (ja
Inventor
Yasuo Suda
康夫 須田
Katsunori Nakamura
勝則 中村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP4249802A priority Critical patent/JP2911686B2/ja
Publication of JPH0694984A publication Critical patent/JPH0694984A/ja
Priority to US08/819,134 priority patent/US5970258A/en
Application granted granted Critical
Publication of JP2911686B2 publication Critical patent/JP2911686B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B13/00Viewfinders; Focusing aids for cameras; Means for focusing for cameras; Autofocus systems for cameras
    • G03B13/02Viewfinders
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B2213/00Viewfinders; Focusing aids for cameras; Means for focusing for cameras; Autofocus systems for cameras
    • G03B2213/02Viewfinders
    • G03B2213/025Sightline detection

Abstract

(57)【要約】 【目的】 視線入力指標を注視して所望の撮影機能を作
動させる構成で、視線入力の誤動作を防止したカメラを
提供する。 【構成】 被写体像を観察するためのファインダー装置
と、ファインダー観察者の視線位置を検出する視線検出
装置と、該視線検出装置の出力に基づいて測距位置を決
定し、被写体像の光軸上位置を制御する自動焦点調節装
置と、前記ファインダー装置の視野内にあって撮影条件
等を表示する表示部とを備えたカメラに於て、前記ファ
インダー装置は、視野内に視線入力指標を有し、前記視
線検出装置が該視線入力指標の近傍に観察者の視線があ
ることを検出したときに、所定の作動機能を発動すると
ともに、前記ファインダー視野内の表示部は被写体像視
野の一辺に沿って配置され、さらに、前記視線入力指標
が前記自焦点調節装置の測距視野を挟んで、該情報表示
部と対向する位置に設定した。

Description

【発明の詳細な説明】
【0001】
【産業上の利用分野】本発明は、視線検出装置を備え、
この出力に基づいて所定の制御機能を発動するように構
成された一眼レフカメラ、スチールビデオカメラ、ビデ
オカメラ等の光学装置に関するものである。
【0002】
【従来の技術】従来、特開平3−87818号公報に開
示されているように、観察者の視線位置によって制御機
能を選択できる装置が知られている。このような装置を
カメラ等に応用することで、撮影条件の設定等を視線に
よって入力することができる。
【0003】また、前記の様な視線検出装置には、赤外
発光ダイオード等で、撮影者の眼球に放射照明し、CC
D等のイメージセンサーに眼球像を導いている。
【0004】更に、ファインダー視野内の表示手段とし
ては、高輝度のLEDにより、照明されている場合が多
い。
【0005】
【発明が解決しようとしている課題】ところで、一般に
カメラのファインダー視野には、被写体像観察視野に隣
接して撮影情報を表示する表示部が設けられ、撮影に際
しては、常にこの表示部と被写体像とに注意を払うこと
によって、適切な条件での撮影が可能となる。したがっ
て、ファインダー観察者は、表示部と被写体像とを交互
に観る必要があるが、この結果次のような不具合を生じ
ることが多い。即ち、人間の視覚は、網膜上に投影され
た像情報を総合的に処理した結果得られるものであり、
そこには、一瞬前に得られた像情報も加味されて認識さ
れる。実際、眼球はかなり激しい跳躍運動と停留とを繰
り返しており、視覚による注視位置と眼球運動とは完全
に一対一に関係付けられないときがあることがわかっ
た。
【0006】したがって、観察者は表示部を観ていると
意識しているにも関わらず、偶然、視線検出装置の出力
に基づいて発動する所定の制御機能のための指標上に視
線位置があると検出され、観察者の意志に反して、カメ
ラはこの所定機能を発動してしまうことが起こり得るわ
けである。
【0007】本発明は上記欠点に鑑み、視線検出装置
と、ファインダー視野内表示部を備えたカメラの様な光
学装置にあって、ファインダー観察者がこの表示部を観
ているときには発動せず、視線入力指標またはその近傍
を観たときには確実に発動する所定作動機能を実現する
ことを目的としたものである。
【0008】また、前記ファインダー視野内表示部、あ
るいは視線入力指標を撮影者が観ている事を、視線検出
手段により検知する。検知判定手段により判別され、そ
のそれぞれの表示部もしくは、指標に対応させた機能を
撮影者がとまどう事なく容易に、また確実に実行させら
れる使い勝手の良い光学装置の提供を目的とする。
【0009】更に、前記視線検出装置は、赤外発光ダイ
オード等で撮影者の眼球に放射照明しているため、撮影
者がファインダー視野内をずっと見続けている場合、こ
の赤外光により撮影者によっては、目の疲れ等、少なか
らずも引き起こす事が考えられる。
【0010】また、前記赤外発光ダイオード等で撮影者
の眼球に放射照明された眼球像はCCD等のイメージセ
ンサーで検知されているため、視線検出を行う場合にお
いて、このCCD等のイメージセンサーを駆動するに
は、高電圧、高電流源が必要となり、前記の様に撮影者
がファインダー視野内を見続けている場合、カメラ等の
光学装置においては、電池容量の消費が大となり、撮影
可能なフィルム撮影本数の低下となりうる。
【0011】また、本発明は、ファインダー視野内に配
設された光学装置の制御機能を行わせる様にした表示部
または視線入力指標に対応した表示部をもたせている事
により、視線検出手段はそのいずれが選択されているか
を判断し、更にその判断された事を撮影者が容易に確認
できる様にした表示手段をもつ光学装置の提供を目的と
する。
【0012】
【課題を解決するための手段】本発明は対象を観察する
ためのファインダー手段と、ファインダー手段を観察し
ている観察者の視線位置を検出する視線検出手段と、前
記視線検出手段の出力に基づいて測距視野を決定し、前
記測距視野に関して焦点調節信号を形成する手段と、フ
ァインダー手段の視野内に光学装置の制御機能等を表示
する表示部を備えた装置に於て、ファインダー手段は視
野内に視線入力指標を有し、前記視線検出手段は前記視
線入力指標上もしくはその近傍に観察者の視線があるこ
とを検出したときに所望の機能を動作させる信号を形成
するものとし、前記表示部はファインダー視野の一辺に
沿って設定し、更に前記視線入力指標を検出の誤認が起
きない程度、表示部から離間させている。
【0013】また、ファインダー視野内には、複数の測
距点に対応した表示部を持ち、撮影者の視線で、前記い
ずれかの測距点を決定し、その測距点に応じて焦点調節
を行う手段と、光学装置が被写体像に応じて前記いずれ
かの測距点を決定し、その測距点での焦点調節を行う手
段とを持ち、前記いずれかの焦点調節手段により合焦で
あると判断された後に、視線入力指標上の観察者の視線
の検出を行う事を特徴としている。
【0014】特に、前記いずれかの焦点調節手段により
合焦であると判断された場合には、レンズのフォーカシ
ング位置及び測光値を固定した後、視線入力指標上の観
察者の視線の検出を行う事を特徴としている。
【0015】また、前記視線の検出において、所望の機
能を動作させる事により、撮影上不適当と思われる光学
装置の撮影モード時は、前記視線検出動作を禁止する手
段を有していることを特徴とする。
【0016】更に、前記視線の検出において、ある所定
回数あるいは所定時間内に視線の検出ができない場合、
及び、前記視線の検出が可能となり所望の機能を動作さ
せた後には、前記視線の検出を停止させる視線検出停止
手段を設ける事により、電池容量の低下を防止するとと
もに、目の疲れを少なくとも低下させる様にしたもので
ある。
【0017】また、ファインダー視野内を観察する観察
者の視線位置を検出する視線検出手段は、検出判定手段
を有するとともに、ファインダー視野内の測距視野に対
応させた制御機能等を表示する表示部と、視線入力指標
部との検出判定手段を異ならせる事により、あらかじめ
設定された所望の機能に合った応答性、または信頼性の
向上を計ることを特徴とする。
【0018】また、ファインダー視野内の測距視野に対
応した表示手段と、視線入力指標の表示手段を有し、更
に、ファインダー視野内の有効領域を複数の領域に分割
し、該分割した複数の領域の輝度を測光する多分割測光
手段を有しており、前記測距視野あるいは、視線入力指
標が視線検出手段により、そのいずれかが選択されたと
きは、前記表示手段はファインダー視野内表示箇所に対
応した測光領域の値に基づき、その旨を表示することを
特徴としている。
【0019】
【実施例】図1から図11は本発明によるカメラの実施
例である。
【0020】先ず、図2(a),(b)は、本発明によ
るカメラであって、特に一眼レフカメラの例を示す図で
あり、(a)はカメラを横からみた断面図、(b)はカ
メラを後ろからみた断面図である。図中、5は一眼レフ
カメラ本体、6は一眼レフカメラ本体5からの指令に基
づいて撮影レンズの一部7を焦点調節のために、7と
7′を変倍のために光軸8方向に移動可能に保持するレ
ンズ鏡筒で、カメラ本体に着脱自在である。また、9は
撮影光束を制限する絞り装置であって、これによってい
わゆるFナンバーが規定される。
【0021】10はクイックリターン・ハーフミラー、
11は光入射面にフレネルレンズ11a、光射出面にマ
ット面11bを有したフォーカシングスクリーン、12
はペンタプリズム、13は視線検出のための赤外光を分
離するための後述するビームスプリッター、14は接眼
レンズであり、これらはファインダー系を構成してい
る。
【0022】また、16は不図示のレンズ駆動装置とと
もに自動焦点調節装置を構成する公知の複数の測距視野
を持つ焦点検出装置で、ハーフミラー10を透過した物
体光が、その背後に配設されたサブミラー15を介して
導かれる。
【0023】17はこれらのファインダー構成要素、及
び、焦点検出装置を保持し、ミラーボックスを構成する
前板である。図2(b)に示すように、前板17の側面
には発光ダイオード(以下LED)18が、光射出方向
を下に向けて取り付けられている。このLED光は可視
光であって、同じくミラーボックス側面に取り付けられ
た透明樹脂製のミラーレンズ19に入射する。ミラーレ
ンズ19は上面19aが凸面、下面19bが平面となっ
ており、平面側はアルミニウムコーティングを施した反
射面である。このように透明樹脂の内部で反射面を構成
することにより、アルミニウムより成る反射面の耐環境
性を高めることができる。ここで反射された光束は、フ
ォーカシングスクリーン11に導かれ、後述する視線入
力指標をスーパーインポーズ表示させる。
【0024】20は明るい被写体の中でも視認できる前
記LED18と同様の高輝度のスーパーインポーズ用L
EDで、発光された光は投光用プリズム21を介し、ク
イックリターンハーフミラー10で反射してフォーカシ
ングスクリーン11上の焦点検出装置の測距視野に対応
する測距視野枠をスーパーインポーズ表示させる。
【0025】また、フォーカシングスクリーン11上の
測距枠は焦点検出領域に対応して複数の位置に形成さ
れ、これを各々に対応した5つのスーパーインポーズ用
LED20(各々において、3aの測距枠はLED−L
1で、同様3bはLED−L2,3cはLED−C,3
dはLED−R1、3eはLED−R2)によって照明
される。
【0026】22,32は各々観察画面内の被写体輝度
を測定するための結像レンズと測光センサーである。
【0027】次に視線検出装置について説明する。図3
は視線検出装置の構成要素を示す斜視図である。図に於
て、13及び14は図2に示したビームスプリッターと
接眼レンズであり、ビームスプリッター13のダイクロ
イックミラー13aが視線検出に用いる赤外光を反射し
て、視線検出用の光路を形成している。40a,40b
は赤外発光ダイオード(以下IRED)で、ファインダ
ー観察者の眼球に向けて赤外光を照射する。眼球の角膜
で反射した光束は接眼レンズ14を透過し、ビームスプ
リッター13の入射面13bに入射する。ビームスプリ
ッター13の内部では、ダイクロイックミラー13aで
先ず反射し、次に入射面13で全反射した後、射出面1
3cより射出する。この射出面13cに対向して、結像
レンズ42が配設されており、エリアセンサー43の受
光部上にファインダー観察者の眼球と、IRED40
a,40bの発光部の像とを形成する。
【0028】エリアセンサー43の出力から視線位置を
求めるための処理については特開平3−109029号
公報に開示されている技術を用いれば良く、ここでは説
明を省く。
【0029】次に図4と図1を用いてカメラのファイン
ダー視野について説明する。図4は図2(a),(b)
に示したフォーカシングスクリーン11を取り出して示
す平面図である。45a〜45eは焦点検出装置の測距
視野に対応する測距視野枠であり、図に示すように画面
中央、横方向に並んだ5つの測距視野枠を有している。
フォーカシングスクリーン11上右上にある平行四辺形
の指標は視線入力指標であって、前述の視線検出装置が
この視線入力指標上またはその近傍に観察者の視線があ
ることを検出したときに、例えば被写体深度確認のため
に撮影レンズの絞り9を撮影に用いる口径まで絞り込む
絞り込み機能を発動するためのものである。これらは何
れも、フォーカシングスクリーンのマット面11b上に
微細プリズム列で形成されている。視線入力される機能
は絞り込みに限らず、AF機能の解除や、ズーミング日
中ストロボの作動等、任意のもので良い。
【0030】図1は、カメラのファインダー視野を示
し、図中1は被写体像視野、2はシャッタースピード、
絞り値、露出補正量等の撮影条件を表示する表示部で例
えば液晶表示器の画面である。3a〜3eはペンタプリ
ズム12等を通してみたフォーカシングスクリーン上の
測距枠45a〜45eである。図4と左右反転した配置
になっているのは、ペンタプリズム屋根面の作用であ
る。同様に、被写体像視野1の左上にある平行四辺形の
指標4は図4フォーカシングスクリーン上の視線入力指
標46に相当する。尚、実際の検出領域は指標より数倍
の寸法とし、指標が大きくて視界の邪魔にならない様に
している。
【0031】続いて図5及び図6を用いて視線入力指標
の構成を詳細に説明する。図5は視線入力指標の拡大詳
細図であり、図に示す通り、視線入力指標は一つの方向
に沿った、多数のプリズムにより成っている。その断面
形状は、矢印A方向からみた拡大断面図として図6に示
したように、それぞれが一つの稜線を有する三角形状の
突起の集まりである。
【0032】したがって、撮影レンズ7を通して視線入
力指標に入射した光束は、接眼レンズ14へ至る方向か
らそれるために、この部分は周囲のマット面に比べて暗
く黒線として視認される。また逆に、プリズムはフォー
カシングスクリーンの斜め下方から入射した光束を接眼
レンズ14の方向に変更する作用を有するため、この特
性を利用して視線入力指標の表示色を制御することが可
能である。先に説明したLED18に依る照明は、この
ようなスーパーインポーズ表示を実現するためのもので
ある。
【0033】また、この視線入力指標は、微小プリズム
の稜線と同一方向の線分46a,46bとこれに45度
以上の角度で交わる線分46d,46cとから成ってい
るため、表示を構成する線分が階段形状にならず、高品
位な表示とすることができる。
【0034】図7から図9を用いてLED18に依るス
ーパーインポーズ表示用照明系についてさらに詳しく説
明する。図7は、LED18とミラーレンズ19を含む
照明ユニットの構成を分解して示す斜視図である。図に
於て、50はLEDホルダーであり、LED18とミラ
ーレンズ19がそれぞれ上下の開口部50a,50bに
位置決め保持される。59及び52はLED光の漏れを
防ぐための遮光板である。
【0035】この照明ユニットは、図8に示すような形
態で、前板7にビス53,54を用いて固定される。図
2(b)に示したように、前板7に依って構成されるミ
ラーボックスの側面には開口17aがあり、ここを通し
てLED光が視線選択指標46に照射される。この時ミ
ラーレンズと視線入力指標との位置関係は、図4の様に
フォーカシングスクリーンを上からみて、照射光がミラ
ーレンズから斜め前方に向かって射出する様に設定され
ている。これは、フレネルレンズの光軸とフォーカシン
グスクリーンの中心とが一致していることから、このよ
うな位置関係をとると、視線入力指標位置に於るフレネ
ルレンズの接線と照射光との為す角が小さくなり、フレ
ネルレンズ稜線での散乱によるゴースト光を未然に防げ
るためである。
【0036】図9は、LED18、ミラーレンズ19、
視線入力指標46を通る面を、それと垂直方向からみた
時に得られる、照明ユニットの側面図である。LED1
8の光射出面上の代表的な3点から発する光線について
描いたもので、LEDを発し、ミラーレンズの面19a
から入射した光束は面19bで反射し、再び面19aを
通ってフォーカシングスクリーン11の方向へ射出す
る。このミラーレンズの作用に依って、フォーカシング
スクリーン上の照明範囲が制限され、前述したフレネル
レンズの接線と照射光との為す角が実質的に小さい範囲
のみを照明することができる様にしている。
【0037】ところで、LED18を発した光束は、最
初にミラーレンズ19の面19aに入射する際、約4パ
ーセント程度の光は反射される。この反射光がフォーカ
シングスクリーンに達すると、フレネルレンズの接線と
為す角によっては、フレネルレンズ稜線で散乱によるゴ
ースト光が発生し、ファインダー観察者に視認されるお
それがある。ここに用いたミラーレンズでは、ミラーレ
ンズの上面19aを凸面とすることによって、反射光を
発散させ、フォーカシングスクリーン上に於る反射光の
照度を低下させており、発生するゴースト光の強度を視
認できない程度に抑えることができている。
【0038】次に本実施例に用いられる制御系につい
て、図10に示すブロック図を用いて説明する。図に於
て、21は図3に示した要素を含む視線検出装置、22
はインターフェイス回路、23はマイクロプロセッシン
グユニット(MPU)、24はメモリー、25は外部入
力手段、26は露出制御装置、27は測光装置、28は
焦点検出装置、29は撮影レンズ制御のためのレンズ駆
動装置、30はファインダー内表示2やカメラの設定状
態を表示する不図示のモニター用表示等の表示装置であ
る。このレンズ駆動装置と、焦点検出装置によって、自
動焦点調節装置が構成されている。31は前述した照明
ユニットを含むLED駆動装置であり、後述するように
ファインダー観察者の視線が測距視野枠上あるいは、視
線入力指標上にあることを判別したときに、測距視野枠
及び視線入力指標の色変化表示を行う。
【0039】続いてカメラの動作をフローチャートを用
いて説明する。
【0040】図11に於て、先ずステップ100でカメ
ラの電源が投入された後、ステップ101でレリーズ釦
の半押し状態に連動してONするスイッチSW1の状態
を調べ、SW1がONになるまでこの検出を繰り返す。
【0041】SW1がONになって、ステップ102に
移行すると、ここで3は焦点検出装置28によって被写
体像のデフォーカル検出を行う。
【0042】ステップ103では、先のステップ102
の結果に基づいて、撮影レンズの合焦制御を行う。
【0043】撮影レンズ制御が終了したところで、ステ
ップ104に於て先のスイッチSW1の状態を調べ、O
FFであればステップ101に戻って再びSW1の状態
を検出し続ける。ONであれば、続くステップ105に
移行し、今度はレリーズ釦押し込み状態でONするスイ
ッチSW2の状態を調べる。
【0044】SW2がONであればステップ106に移
行して、ハーフミラー10、サブミラー15の退避、絞
り装置9の駆動、不図示のシャッターの制御といった一
連のフィルム露光動作とこれらのリセットを行う。
【0045】続くステップ107では、レリーズ釦を押
し込み状態で保持している間は新たな焦点調節動作を禁
止するため、スイッチSW1の状態を検出し、ONの間
はこのステップを繰り返し、OFF状態を検出したとこ
ろでステップ101に移行する。
【0046】先のステップ105でSW2がOFFであ
れば、ステップ108に移行して、後述のステップで発
動される絞り込み動作がすでに行われているかどうかを
調べる。ここで、すでに絞り込み中であればステップ1
04に戻り、再びSW1の検出を行う。また、絞り込み
中で無ければステップ109に移行する。
【0047】ステップ109では視線検出装置21によ
って、ファインダー観察者の視線位置を検出する。続く
ステップ110で、視線位置が視線入力指標4上又はそ
の近傍を所定回数見たか所定時間停留したかどうかを調
べ、近傍に無ければ先のステップ104に戻り、そこに
あると判別されればステップ111に移行する。
【0048】ステップ111では、照明ユニットによっ
て視線入力指標を照明し、色変化表示を行うとともに、
測光装置27によって得られた被写体の輝度情報と、外
部設定手段25によって設定されたシャッタースピード
あるいは絞り値に基づいて制御信号を形成し露出制御装
置26の構成要素である絞り装置9を駆動し、撮影と同
条件の光束による被写体像をフォーカシングスクリーン
11上につくる。したがって、ファインダー上で被写界
深度の確認を行うことができる。この絞り込み動作が終
るとステップ104に戻り、SW1の状態検出を行う。
【0049】以上説明した制御の中で、ファインダー観
察者が視線入力指標を見ているかどうかの検出は、ステ
ップ109、ステップ110で行われたが、これは焦点
調節が終了して、レリーズ釦の押し込み待ち状態、即ち
SW2 ONの待機ループの中にある。したがって、フ
ァインダー観察者は図1に示したファインダー視野の被
写体像視野1と、表示部2とに注意を払っている状態に
あり、観察者の視覚は、主被写体の位置する測距視野枠
(3a〜3eの何れか)と表示部2とを往復しているこ
とが多い。但し、前述したように人間の視覚は、網膜上
に投影された像情報を総合的に処理した結果得られるも
のであり、そこには、一瞬前に得られた像情報も加味さ
れる。視覚による注視位置と眼球運動とは完全に一対一
に関係付けられるものではない。つまり、ファインダー
観察者が測距視野枠や表示部を見ているとしても、実際
の眼球運動としては、それを中心としたかなり広い範囲
に広がっているわけである。
【0050】そこで、本実施例に於ては、先ず、ファイ
ンダー視野内の表示部2を被写体像視野1の一辺に沿っ
て配置し、次に、視線入力指標4を測距視野枠3a〜3
eを挟んで情報表示部2と対向する位置に設定すること
によって、ファインダー観察者が意識的に、視線入力指
標の近傍を観たときのみ絞り込み動作が発動するように
なるわけである。絞り込み動作は所定時間経過後に解除
される。
【0051】図12と図13は視線入力指標と撮影条件
表示部の別の配置列を描いてる。図12では視線入力指
標60を自動焦点調節装置の測距視野を挟んで撮影情報
表示部と対向する位置であって被写界視野1の外側に配
置している。
【0052】図13は視線入力指標61と63を被写界
視野1の左側に、情報表示部62を右側に配した例であ
る。視線入力指標61と63で異なる制御機能を発動さ
せても良いし、指標61で発動させ、指標63で解除さ
せる様にしても良い。また撮影条件は被写界視野1内の
縁に近接させて表示する様にしても良い。
【0053】続いて図14及び図15を基にカメラの別
の動作のフローチャートを説明する。図12に於て、先
ずカメラ内のある操作釦類が押された事を判断し、電源
をオンにし、(200)、レリーズ釦の半押し状態に連
動してONするスイッチSW1の状態を調べ(20
1)、電源オンのタイマーが切れるまでSW1のONの
検出を繰り返す。
【0054】SW1がONになるとMPU23はまずイ
ンターフェース22を介し、測光装置27を起動させフ
ァインダー内の各領域に対応した被写体輝度を算出する
(202)。この算出された値及びカメラ内に装てんさ
れたフィルムのISOコードあるいはレンズの開放FN
O等により、シャッタースピードあるいは絞り値をファ
インダー内LCD2や不図示のモニター用表示器30に
表示させる(203)。
【0055】次に視線検出装置21によって、ファイン
ダー観察者の視線位置を検出する(204)。ここでの
視線検出は、ファインダー視野内に配設された測距点に
対応する測距枠3a〜3e部の検出である。この検出に
おいて検出が成功したかどうかの判断を行ない(20
5)、成功であれば、ファインダー観察者に、どの測距
点が選択されたかをスーパーインポーズ用LED20に
よってその旨を測距枠3a〜3eの内のいずれかを照明
し表示する(206)。
【0056】表示が終了すると、上記の視線検出で選択
された測距点による焦点検出を行なう視線選択AFを完
行する(207)。ここでは焦点検出装置28によって
被写体像のデフォーカス検出を行ない、この値に基づい
て撮影レンズの合焦制御を行なう。この合焦制御で合焦
であるかの判断を行ない(208)、合焦であれば合焦
制御動作は停止し、レンズのフォーカス位置をロックす
る。
【0057】このロックされた焦点位置において、被写
体像に対するファインダー内各領域の輝度を多分割され
た測光センサー32で測光し(209)、この測光され
た値も焦点位置同様ロックされる。
【0058】次に視線で選択された測距点で(合焦した
旨を)、(209)での測光値に基づき、その測距点に
対応した明るさで測距枠45a〜45eのいずれかをス
ーパーインポーズ用LED20にて合焦点表示し(21
0)、ファインダー内LCD2やモニター用表示器へも
(209)での測光値に基づきシャッタースピード、絞
り値等の表示も行なわれ(211)、このシャッタース
ピード絞り値も又合焦点表示(210)と同様、選択さ
れた測距点に対応した明るさに重みづけを行ない決定さ
れるものである。続く(212)では、上記のロックさ
れた焦点位置、測光値を撮影条件として保持するかどう
かをSW1の状態で判別し(212)、その条件で露光
動作を行なうかどうかの判別をSW2の状態を調べる
(213)。
【0059】ここでSW2がONであれば、露光シーケ
ンスへ移行してハーフミラー10、サブミラー15の退
避、絞り装置9の駆動不図示のシャッターの制御といっ
た一連のフィルム露光動作とこれらのリセットを行なう
(220)。
【0060】先の測距枠の視線検出判断(205)に
て、成功時は視線選択AFへ移行したが、もしここで撮
影者がファインダー視野内を見ていない場合や、視線検
出装置がとらえにくい赤外光をカットする様な眼鏡等を
装着し、検出失敗となると(214)へ移行し、ここで
は同時に検出出来なかった回数を判断する。この検出回
数判断は4回であり、4回目以下であれば(204)に
戻り再度視線の検出を行なう。もし4回の視線検出でも
成功しなければカメラが独自に被写体像に応じて測距点
を決定し焦点調節を行なう自動選択AF(215)とな
る。
【0061】ここでも視線選択AF(207)同様、焦
点検出装置28によって被写体像のデフォーカス検出を
行ない、撮影レンズの合焦制御を行なう。この合焦制御
で合焦であるかの判断を行ない(216)、合焦であれ
ば合焦制御動作は停止し、レンズのフォーカス位置をロ
ックし、(209)へ移行する。もしまだ合焦条件にな
っていなければ、完全に合焦不能状態であるかを(21
7)でチェックし、合焦不能と判断されるとその旨をフ
ァインダー内LCD2等により表示する(218)。ま
た視線AFの合焦判定(208)からも同様、この不能
状態判別(217)へ入る。ここでは現在測距している
被写体に合焦出来ない事を撮影者にその旨を知らせる表
示ルーチンである。まだ測距回数も少なく、合焦不能で
ない、又は、合焦不能表示を行なうと、視線選択AF中
か、自動選択AF中かの判断を行ない(219)、視線
選択AF中であれば(207)へ、自動選択AF中であ
れば(215)へ移行し、この動作をくり返す。
【0062】(213)のSW2の状態がOFFであれ
ば、図15の方へ移行し、視線検出による絞り込みを行
なうルーチンへ入る。まず、これから始まる視線検出回
数を判断し(221)、30回以下であれば被写体を追
尾しながら測距をくり返す、いわゆる公知のAIサーボ
AFであるかの判断を行なう(222)。これは、被写
体追尾中に絞り込まれ、測距が出来なくなる事を禁止す
るためのものである。
【0063】AIサーボAFでなければ今度はファイン
ダー視野内の視線入力指標の視線検出を行なう(22
3)。
【0064】この視線検出では、指標部を連続して2回
検出したかどうかの判断を行ない(224)、それ以外
は(221)の判断により30回までの検出が行なわれ
る。
【0065】2回連続して指標部を検出すると、その旨
を撮影者に知らせるために、視線入力指標4をLED1
8にてスーパーインポーズ表示させ(226)る。この
表示もまた(209)の測光装置27によって得られた
視線入力指標部輝度に対応した表示が行なわれる。
【0066】表示が完了すると、外部設定手段25によ
って設定されたシャッタースピードあるいは絞り値に基
づいて、あるいは、(209)で得られ、ロックされて
いる測光値に基づいて露出制御装置26の構成要素であ
る絞り装置9を駆動し(127)、撮影と同条件の光束
による被写体像をフォーカシングスクリーン11上につ
くる。したがってファインダー上で被写界深度の確認を
行なうことができる。
【0067】この絞り込み動作が終了するとSW1の状
態検出を行ない(228)、ON状態であれば、SW2
がONされるまで待ち(229)、ONされると(22
0)と同様な露光シーケンスへ移行する。もし、SW2
がONされるまでにSW1がOFFされると絞り込まれ
ていた絞りを開放に戻し(231)、(201)のSW
1の状態検出へ移行する。
【0068】先の視線検出回数判定(221)におい
て、31回目になると視線検出終了を知らせるファイン
ダー内LCD表示2に表示を行ない(225)、SW1
の状態検出(212)へと戻る。又、(222)でAI
サーボAF時も同様(212)へ戻ることになる。
【0069】次にファインダー視野内表示と、測光セン
サーとの関係を図1と図16で説明する。
【0070】図16はファインダー視野内領域を16分
割にし、その各領域の輝度を測光する測光センサーの感
光部レイアウト図であり、ファインダー視野との対応は
図4のフォーカシングスクリーン11と同様光学上左右
の反転となる。ここでフォーカシングスクリーン上に配
設された測距視野枠3a〜3eは測光センサーレイアウ
ト上のA0〜A4に対応している。それぞれには、3a
はA3に、3bはA1に3CはA0に3dはA2に3e
はA4にと対応させている。又、視線入力指標4は、測
光センサーレイアウト上C13部に対応している。
【0071】このため、視線検出による測距点表示(2
06)や、その測距点による合焦表示(210)及び絞
り込み動作に移行する視線入力指標部の各スーパーイン
ポーズ表示を行なう時、この対応された測光センサーの
輝度情報を用いて照明するため、各表示枠輝度に対応し
た表示輝度を行なうことができるのである。
【0072】実際には、各表示枠輝度には、フォーカシ
ングスクリーンの拡散特性によって決定される補正が行
なわれ、装置レンズの開放FNO(AVO)によりその
補正が行なわれている。
【0073】図19は装着レンズの開放FNO(AV
O)に対する、フォーカシングスクリーン11の拡散特
性補正値(FSC)を示したものであり、AVOの値が
F3.5以上で補正が行なわれていることを表わし、例
えば、レンズの開放FNOがF4.0であれば、各測光
センサー出力から−2/8段補正がかけられる。
【0074】このため、各表示枠輝度情報は、ピント板
上での見かけの明るさ(BFS)として算出され、夫々 表示枠3aに対しBFS3a=A3+FSC 3bに対しBFS3b=A1+FSC 3cに対しBFS3c=A0+FSC 3dに対しBFS3d=A2+FSC 3eに対しBFS3e=A4+FSC 4に対しBFS4=C13+FSC となり、フォーカシングスクリーン11上の見かけの明
るさ(BFS)の値に基づいてスーパーインポーズ表示
用LEDの輝度を被写体像の輝度に応じ変化させてい
る。
【0075】図17は、ファインダー視野内測距視野枠
を表示するLED20の駆動方式の説明図であり、2段
階の電流制御とBFSの値に基づく、デューティ比にて
輝度変調をかけている。ここでLED電流IF=5mA
と40mAのあらかじめ決められた値でデューティ比T
/256で表示される。
【0076】Liは各LED毎に決定されるLEDの最
大輝度となるBFSの値であり、Ljは、LEDの輝度
特性及び、このLED光をファインダー視野内の表示枠
まで導く光学的な条件で決定される値であり、この箇所
において、IF電流の切り換えが行なわれる。
【0077】又、LiのLED最大輝度部を256と
し、各測距視野枠の輝度から求められたBFSの値でT
/256のデューティ比が決定され、ある決められた駆
動周波数にて表示される。のこ2段階の電流切り換え
は、BFSの値と、LED特性及びLED照明用光学装
置の特性を考慮してあり、カメラの測光輝度範囲内全域
でも撮影者が確認できる様にするためである。図17で
示す所のLsのBFSの値か小さくなる所まで対応させ
る意味である。
【0078】次に、視線入力指標4を表示するLED1
8の駆動方式を図18に示す。ここでLED電流がIF
=40mAと固定となり、デューティ変化させるライン
が1本になっているのは、視線入力による絞り込み動作
はファインダー視野内の被写体像が十分暗い(BFSの
値が小さい)場合は、使用されることが非常に少ないと
考えられるため、制御の簡略化を計ったもので、駆動の
基本的な考え方は、図17で示した測距点表示と同様で
ある。
【0079】尚、前述の図13で、視線入力指標61と
63に対応する様に測光センサーの分割を変え、各指標
に対する表示手段を設けることにより、制御機能の発動
時に、被写体輝度に対応した指標表示を行なう様にして
も良い。本実施例による視線入力検知を持つカメラにお
いて測距点の選択を第1に絞り込みの選択を第2の視線
検出としたが、制御機能をたとえばシャッタースピード
や絞り値、あるいは、カメラのモードを切り換える手段
とした場合は、制御機能発動を測距点検出に先だって行
なってもよい。又このような場合、露出の補正があらか
じめ設定されているときは、指線入力指標計の視線検出
は禁止させる様にすることが望ましい。更に、視線の検
出判定回数を(204)では4回中1回でも検出できた
か、(224)では連続2回の検出ができたかの判断を
行なったが、前記の様に制御機能の差によりこの回数は
設定されても良く、この回数は又、所定時間視線が停留
したかを判断するようにしてもよい。同様に、視線検出
回数も(214)では4回、(221)では30回とし
たが、電池容量、あるいは、制御機能の差により変化さ
せてもよく、所定時間で停止させるようにしてもよい。
【0080】絞り込み動作の解除は(128)のSW1
のOFFにて行なう様にしたが、ある時間を設定し、そ
の時間経過後に解除するようにしても良く、これはま
た、他の制御機能を動作させた時も同様にしてもよい。
【0081】尚、上述の実施例では一眼レフレックスカ
メラに適用した例を説明してきたが、ファインダーを撮
影レンズと別設し、又非TTLのレンジファインダー型
AF測距装置を備えるレンズシャッターカメラや、テレ
ビAF方式のようなビデオカメラあるいは監視装置等に
適用しても良い。
【0082】
【発明の効果】以上のように本発明によれば、ファイン
ダー視野内に視線検出指標を検出時に動作する機能ごと
に最適に配置したことにより、ファインダー視野内を観
察する撮影者がとまどう事なく容易に又確実に各機能を
動作させられる効果がある。又、各視線検出指標に対応
して視線検出判定基準を設けることも同様な効果とな
る。
【0083】視線の検出を指定回数あるいは所定時間に
行なえなかった場合、視線検出停止手段を設ける事によ
り、電源容量の低下を防止し、撮影者の目の疲労を少し
でも少なくする効果がある。又、視線検出不能状態を続
けることがなくなり、撮影時のわずらわしさもなくな
る。
【0084】ファインダー視野内に配設された視線検出
指標と、ファインダー視野内領域を多分割し、その指標
位置に対応した測光センサーと、各指標部を表示する表
示手段を持つことにより、撮影者の視線が意とする所に
検出されたか、又、各作動が制御されているかの判断を
撮影中に知る事ができる。
【図面の簡単な説明】
【図1】ファインダー視野の説明図。
【図2】(a)一眼レフカメラをカメラを横からみた断
面図。(b)はカメラを後ろからみた断面図。
【図3】視線検出装置の構成要素を示す斜視図。
【図4】フォーカシングスクリーンの平面図。
【図5】視線入力指標の詳細図。
【図6】視線入力指標の部分断面図。
【図7】照明ユニットの分解斜視図。
【図8】照明ユニットの前板への取付を示す斜視図。
【図9】フォーカシングスクリーンへの光照射の様子を
説明するための照明ユニットの側面図。
【図10】カメラの制御系を示すブロック図。
【図11】カメラの動作を示すフローチャート。
【図12】ファインダー視野の説明図。
【図13】ファインダー視野の説明図。
【図14】カメラの別の動作を示すフローチャート。
【図15】図14のフローチャートの続きの部分。
【図16】測光センサーの感光部レイアウト。
【図17】測距点表示用LEDの駆動方法の説明図。
【図18】視線入力指標表示用LEDの駆動方法の説明
図。
【図19】スクリーンの拡散特性の補正対応図。
【符号の説明】
1 被写界視野 2 撮影条件表示部 3a〜3e 測距視野 4 視線入力指標 5 カメラ本体 6 レンズ鏡筒 11 フォーカシングスクリーン 13 ビームスプリッター 16 焦点検出装置 40a、40b 近赤外発光ダイオード 43 視線位置検知用エリアセンサー

Claims (17)

    【特許請求の範囲】
  1. 【請求項1】 対象を観察するためのファインダー手段
    と、ファインダー手段で観察している観察者の視線位置
    を検出する視線検出手段と、前記視線検出手段の出力に
    基づいて測距視野を決定し、前記測距視野に関して焦点
    調節信号を形成する手段と、ファインダー手段の視野内
    に光学装置の制御機能を表示する表示部を備えた装置に
    於て、ファインダー手段は視野内に視線入力指標を有し
    前記視線検出手段は前記視線入力指標上もしくはその近
    傍に観察者の視線があることを検出したときに所望の機
    能を動作させる信号を形成するものとし、前記表示部は
    ファインダー視野の一辺に沿って設定し、更に前記視線
    入力指標を測距視野を挟んで前記表示部と対向する位置
    に配置したことを特徴とする光学装置。
  2. 【請求項2】 前記光学装置は一眼レフレックスカメラ
    であることを特徴とする請求項1の光学装置。
  3. 【請求項3】 対象を観察するためのファインダー手段
    と、ファインダー手段で観察している観察者の視線位置
    を検出する視線検出手段と、ファインダー手段の視野内
    に光学装置の制御機能を表示する表示部を備えた装置に
    於て、光学装置の所定機能を発動させるための信号を形
    成する視線入力指標を前記表示部から、判別混乱が起き
    ないだけ十分離してファインダー手段の視野内に配置し
    たことを特徴とする光学装置。
  4. 【請求項4】 前記視線入力指標は、前記表示部を配し
    た側に対して視野の中心より反対側になる様に離されて
    いることを特徴とする請求項3の光学装置。
  5. 【請求項5】 前記所定機能は絞り込み機能であること
    を特徴とする請求項3の光学装置。
  6. 【請求項6】 前記光学装置は一眼レフレックスカメラ
    であることを特徴とする請求項3の光学装置。
  7. 【請求項7】 対象を観察するためのファインダー手段
    と、ファインダー手段で観察している観察者の視線位置
    を検出する視線検出手段と、ファインダー手段の視野内
    に光学装置の制御機能を表示する表示部を備えた装置に
    於て、ファインダー視野内には、測距視野に対応し、前
    記視線検出手段の出力に基づいて測距視野を決定させる
    測距枠とは別の視線入力指標を配設したことを特徴とす
    る光学装置。
  8. 【請求項8】 前記表示部は、ファインダー視野の一辺
    に沿って設定し、更に前記視線入力指標は、測距視野を
    挟んで前記表示部と対向する位置に配置したことを特徴
    とする請求項7の光学装置。
  9. 【請求項9】 前記視線入力指標は、前記表示部から判
    別混乱が起きないだけ十分離してファインダー手段の視
    野内に配置したことを特徴とする請求項7の光学装置。
  10. 【請求項10】 対象を観察するためのファインダー手
    段とファインダー手段で観察している観察者の視線位置
    を検出する視野検出手段と、ファインダー視野内の測距
    視野に対応した測距視野枠と、前記視線検出手段により
    測距視野枠を決定し、前記測距視野に関して焦点調節を
    行う手段と、測距視野枠とは別の視線入力指標を備えた
    装置に於て、前記視線検出手段で視線入力指標上もしく
    は、その近傍に観察者の視線があることを検出したとき
    に所望の機能を動作させることを特徴とする光学装置。
  11. 【請求項11】 前記所望の動作は絞り込み機能である
    ことを特徴とする請求項10の光学装置。
  12. 【請求項12】 視線検出による所望の動作は、前記視
    線検出手段により選択された測距視野あるいは、前記視
    線検出が失敗したとき、光学装置が自ら決定する測距視
    野において、焦点調節の結果合焦と判断されたときに行
    われる、請求項10の光学装置。
  13. 【請求項13】 前記視線検出手段において、検出判断
    の基準が視線選択機能により異なることを特徴とする請
    求項10の光学装置。
  14. 【請求項14】 前記視線入力手段は、所定回数、所定
    時間で検出停止することを特徴とする請求項10の光学
    装置。
  15. 【請求項15】 対象を観察するためのファインダー手
    段と、ファインダー手段で観察している観察者の視線位
    置を検出する視線検出手段と、ファインダー視野内に測
    距視野に対応した測距視野枠と、視線入力指標を有し、
    前記測距視野枠と、視線入力指標部のそれぞれに表示手
    段を持ち、前記視線入力手段により選択された旨を撮影
    者に知らせることを特徴とする光学装置。
  16. 【請求項16】 ファインダー視野内の有効領域を多分
    割にし、該分割された領域の輝度を測光する多分割測光
    手段を有し、前記測距視野枠あるいは視線入力指標部が
    視線検出手段にて選択された場合、それぞれの表示位置
    に対応した測光輝度情報を用いることを特徴とする請求
    項15の光学装置。
  17. 【請求項17】 前記表示手段は、表示箇所により、駆
    動方法が異なることを特徴とする請求項15の光学装
    置。
JP4249802A 1992-07-31 1992-09-18 光学装置 Expired - Fee Related JP2911686B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP4249802A JP2911686B2 (ja) 1992-07-31 1992-09-18 光学装置
US08/819,134 US5970258A (en) 1992-07-31 1997-03-17 Optical apparatus capable of performing a desired function by gazing

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP20541992 1992-07-31
JP4-205419 1992-07-31
JP4249802A JP2911686B2 (ja) 1992-07-31 1992-09-18 光学装置

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2856299A Division JP3126700B2 (ja) 1999-02-05 1999-02-05 光学機器

Publications (2)

Publication Number Publication Date
JPH0694984A true JPH0694984A (ja) 1994-04-08
JP2911686B2 JP2911686B2 (ja) 1999-06-23

Family

ID=26515056

Family Applications (1)

Application Number Title Priority Date Filing Date
JP4249802A Expired - Fee Related JP2911686B2 (ja) 1992-07-31 1992-09-18 光学装置

Country Status (2)

Country Link
US (1) US5970258A (ja)
JP (1) JP2911686B2 (ja)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001183735A (ja) * 1999-12-27 2001-07-06 Fuji Photo Film Co Ltd 撮像装置および方法
US7234069B1 (en) 2004-03-12 2007-06-19 Altera Corporation Precise phase shifting using a DLL controlled, multi-stage delay chain
US7119319B2 (en) * 2004-04-08 2006-10-10 Canon Kabushiki Kaisha Solid-state image sensing element and its design support method, and image sensing device
US7126399B1 (en) 2004-05-27 2006-10-24 Altera Corporation Memory interface phase-shift circuitry to support multiple frequency ranges
US8467672B2 (en) * 2005-10-17 2013-06-18 Jeffrey C. Konicek Voice recognition and gaze-tracking for a camera
US7697827B2 (en) 2005-10-17 2010-04-13 Konicek Jeffrey C User-friendlier interfaces for a camera
US20090196460A1 (en) * 2008-01-17 2009-08-06 Thomas Jakobs Eye tracking system and method
JP5822456B2 (ja) 2010-11-19 2015-11-24 キヤノン株式会社 一眼レフカメラ

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4109145A (en) * 1974-05-20 1978-08-22 Honeywell Inc. Apparatus being controlled by movement of the eye
US4595990A (en) * 1980-12-31 1986-06-17 International Business Machines Corporation Eye controlled information transfer
US4648052A (en) * 1983-11-14 1987-03-03 Sentient Systems Technology, Inc. Eye-tracker communication system
JP2872292B2 (ja) * 1989-08-31 1999-03-17 キヤノン株式会社 視線検出手段を有する機器
JP2803222B2 (ja) * 1989-09-22 1998-09-24 キヤノン株式会社 視線検出装置
US5053803A (en) * 1990-02-15 1991-10-01 Canon Kabushiki Kaisha Information display apparatus for camera
US5239337A (en) * 1990-08-20 1993-08-24 Nikon Corporation Apparatus for ordering to phototake with eye-detection
US5245381A (en) * 1990-08-20 1993-09-14 Nikon Corporation Apparatus for ordering to phototake with eye-detection
US5182443A (en) * 1990-09-29 1993-01-26 Canon Kabushiki Kaisha Optical apparatus having visual axis detector and determining whether eyeglasses are worn

Also Published As

Publication number Publication date
US5970258A (en) 1999-10-19
JP2911686B2 (ja) 1999-06-23

Similar Documents

Publication Publication Date Title
US5461453A (en) Apparatus for ordering to phototake with eye-detection
US4949118A (en) Indicating apparatus within finder of single-lens reflex camera
JP2911686B2 (ja) 光学装置
US5930533A (en) Camera provided with focus detecting device
JPH08271784A (ja) 視線検出機能付き光学機器
JP3327651B2 (ja) 視線検出機能付光学装置
US5579080A (en) Camera including an apparatus for detecting a line of sight
US5752090A (en) Optical device having a line of sight detection apparatus
JP5371399B2 (ja) 撮像機器の測定領域情報表示装置
US5737642A (en) Camera having a line-of-sight detecting means
JPH07181367A (ja) マルチエリア焦点調節カメラ
JP3126700B2 (ja) 光学機器
JP4054436B2 (ja) 光学装置
JPH0954239A (ja) 視線検出機能付光学装置及びカメラ
JP3406945B2 (ja) 視線検出機能付光学装置
JPH10148864A (ja) カメラの測光装置
JPH10170814A (ja) 焦点検出装置、自動焦点調節装置及びカメラ
JPH0694980A (ja) 視線検出装置付きカメラ
JPH05232372A (ja) 視線検出装置付きカメラ
JPH05333405A (ja) ファインダー装置
JPH0961700A (ja) 視線検出手段を有するカメラ
JPH08191797A (ja) 視線検出機能付き観察装置
JPH08211476A (ja) 表示機能付き視線検出装置及びカメラ
JPH05215960A (ja) 視線検知カメラ
JPH0961701A (ja) 視線検出装置を有する光学機器

Legal Events

Date Code Title Description
FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090409

Year of fee payment: 10

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090409

Year of fee payment: 10

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100409

Year of fee payment: 11

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110409

Year of fee payment: 12

LAPS Cancellation because of no payment of annual fees