JPH08234136A - 画像観察装置 - Google Patents

画像観察装置

Info

Publication number
JPH08234136A
JPH08234136A JP7066992A JP6699295A JPH08234136A JP H08234136 A JPH08234136 A JP H08234136A JP 7066992 A JP7066992 A JP 7066992A JP 6699295 A JP6699295 A JP 6699295A JP H08234136 A JPH08234136 A JP H08234136A
Authority
JP
Japan
Prior art keywords
image
light
image observation
observation apparatus
observer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP7066992A
Other languages
English (en)
Other versions
JP3683934B2 (ja
Inventor
Atsushi Okuyama
奥山  敦
Shoichi Yamazaki
章市 山崎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP06699295A priority Critical patent/JP3683934B2/ja
Priority to US08/606,851 priority patent/US5689736A/en
Publication of JPH08234136A publication Critical patent/JPH08234136A/ja
Application granted granted Critical
Publication of JP3683934B2 publication Critical patent/JP3683934B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B13/00Viewfinders; Focusing aids for cameras; Means for focusing for cameras; Autofocus systems for cameras
    • G03B13/02Viewfinders
    • G03B13/06Viewfinders with lenses with or without reflectors

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Lenses (AREA)

Abstract

(57)【要約】 【目的】 視線入力機能付きのビデオカメラなどのファ
インダーや頭部に装着して画像を観察する視線入力機能
付きのヘッドマウントディスプレイ等に好適な画像観察
装置を得ること。 【構成】 表示手段2に表示した画像を複数の反射面を
有し、全体として正の屈折力の光学ブロックより成る光
学素子1で観察者の前方に虚像として形成し、該虚像を
観察する画像観察系と、光源3からの光束で照明した該
観察者の眼球からの反射光を該光学素子の一部を通した
後に、該光学素子の一部を介したことにより発生する非
点収差を補正する光学部材5を介して結像レンズ系4で
眼球像を受光素子6面上に形成する視線検出系と、を具
備したこと。

Description

【発明の詳細な説明】
【0001】
【産業上の利用分野】本発明は画像観察装置に関し、特
に表示手段に表示した画像の虚像を観察する観察者の眼
球の視線を検出し、該視線情報を利用して画像の観察状
態を調整するようにした、視線入力機能付きの例えばビ
デオカメラなどのファインダーや頭部に装着して画像を
観察する視線入力機能付きのヘッドマウントディスプレ
イ等に好適な画像観察装置に関するものである。
【0002】
【従来の技術】従来より、表示手段に表示した画像情報
を観察者の眼に導き、これを観察できるようにした画像
観察装置が種々知られている。そしてこのような画像観
察装置に視線検出系、即ち観察者の注視方向、いわゆる
視線を観察者の眼球の像を解析することにより検出する
ようにした光学系を設け、該視線検出系で得られる視線
情報を利用して表示手段に表示する画像情報を制御する
ようにした画像観察装置も知られている。
【0003】図10、図11はかかる画像観察装置とし
て特開平3- 101709号公報において開示されてい
るものである。図10はこの従来例の画像観察装置の観
察光学系としての光路図であり、図11はこの画像観察
装置の視線検出光学系としての光路図である。図中、2
07はCRTの表示面(CRT)である。200はプリ
ズムブロックであり、光学要素210,211,21
2,213から構成されている。201は第1凹面ミラ
ーであり、赤外光のみを反射し、その他の光は透過す
る。202は第2凹面ミラーであり、CRT207から
の狭い波長範囲の可視光は反射し、その他の波長の光は
透過する。203は第1平面ミラーであり、赤外光に対
してはハーフミラーであり、その他の光は反射する。2
04はリレーレンズである。205は第2平面ミラーで
あり、CRT207からの狭い波長範囲の可視光は反射
し、その他の可視光及び赤外光は透過する特性を持って
いる。206は点状の赤外光源、208は赤外光の受光
素子である。
【0004】この従来例の作用について説明する。まず
画像観察光学系の作用について図10によって説明す
る。CRTの表示面207に形成された画像からの光束
は第2平面ミラー205で反射し、リレーレンズ204
を通って第1平面ミラー203で反射し、第2凹面ミラ
ー202の焦点位置に中間像P1を形成する。中間像P
1からの光束はプリズムブロック200の面218に入
射し、面216で全反射した後、第2凹面ミラー202
で反射して観察者の眼Iに向かい、面216を透過し
て、面215に入射し、面214から射出して眼Iに入
射する。これにより観察者の前方に拡大された虚像を形
成している。観察者はこのCRT207の画像の虚像と
プリズムブロック200の面217、第1凹面ミラー2
01、第2凹面ミラー202、面216,215,21
4を透過してくる外界の風景219とを重ねて観察す
る。
【0005】次いで、視線検出光学系の作用を図11に
よって説明する。赤外光源206から発する赤外光束
は、第2平面ミラー205を透過し、リレーレンズ20
4を通って、第1平面ミラー203で一部反射し、プリ
ズムブロック200の面218に入射し、面216で全
反射した後、第2凹面ミラー202を透過して第1凹面
ミラー201に達し、ここで反射して観察者の眼に向か
い、第2凹面ミラー202を透過し、面216を透過し
て、面215に入射し、面214から射出して観察者の
眼Iに達し、観察者の眼を照明する。赤外光で照射され
た観察者の眼Iの映像は再びプリズムブロック200に
入射し、照射した光路を逆行し、プリズムブロック20
0を射出後、第1平面ミラー203を一部透過して受光
素子208に入射する。そして受光素子208上に結像
した眼の画像を解析して視線を検出している。
【0006】
【発明が解決しようとする課題】しかしながら従来例に
おいては、画像表示面207からの光路と眼球照明及び
視線検出の光路が同軸であり、かつ視線検出の受光素子
208の位置が、第2の凹面ミラー202の焦点位置P
1よりも遠い位置に設定されているため、CRTの表示
面207の画像はリレーレンズ204を用いて一旦中間
像を形成しなければならず、これによって画像観察光学
系の光路が長くなり、装置全体が大きくなる問題があっ
た。また、眼の像を形成する第1の凹面ミラー201と
受光素子208の間隔が長くなってしまうために、眼の
像の結像倍率が大きくなってしまい、これにより受光素
子208が大型化し、装置が大きくなってしまう問題が
あった。さらに、赤外光源206からの照明光及び眼か
らの反射赤外光は第1平面ミラー203で反射、透過す
るために、第1平面ミラー203は赤外光に対してハー
フミラーの特性が必要となり、光源206から受光素子
208に至る赤外光の利用効率が悪化してしまう問題が
あった。
【0007】本発明は、特にビデオカメラ等のファイン
ダーや観察者の頭部に装着して、表示手段に表示した画
像情報を観察出来るようにした画像観察装置、所謂ヘッ
ドマウントディスプレイなどにおいて、表示手段で表示
された画像情報を拡大観察する画像観察系と、観察者の
視線を検出する視線検出系とを適切に設定することによ
り、装置全体の小型化を実現し、更に視線情報に基づい
て画像観察系の表示手段に表示する画像情報やその他の
機能を種々と制御できる視線検出系を有した画像観察装
置の提供を目的とする。
【0008】
【課題を解決するための手段】本発明の画像観察装置
は、 (1−1)表示手段に表示した画像を複数の反射面を有
し、全体として正の屈折力の光学ブロックより成る光学
素子で観察者の前方に虚像として形成し、該虚像を観察
する画像観察系と、光源からの光束で照明した該観察者
の眼球からの反射光を該光学素子の一部を通した後に、
該光学素子の一部を介したことにより発生する非点収差
を補正する光学部材を介して結像レンズ系で眼球像を受
光素子面上に形成する視線検出系と、を具備したことを
特徴としている。
【0009】特に、(1−1−1)前記光学素子は前記
表示手段で表示した画像からの光束を入射させる入射面
と、該入射面からの光束を全反射させる第1の作用面
と、該第1の作用面からの光束を該第1の作用面側方向
へ反射させる第2の作用面、そして該第2の作用面から
の光束を出射させる該第1の作用面の一部に設けた出射
面と、を有していること。
【0010】(1−1−2)前記第2の作用面の一部の
領域に前記表示手段に表示した画像からの光束を反射さ
せる反射膜を設け、かつその一部の領域に前記観察者の
眼球からの反射光を通過させる少なくとも1つの開口部
Aを設けたこと。
【0011】(1−1−3)前記光源からの光束を前記
第2の作用面の一部に設けた開口部A´と、前記第1の
作用面とを通過させて観察者の眼球に導光しているこ
と。
【0012】(1−1−4)前記開口部A上には可視光
を反射し、赤外光を透過するダイクロイック膜が形成さ
れていること。
【0013】(1−1−5)前記開口部A内の一部の領
域には前記表示手段に表示した画像からの光束を反射さ
せる複数の反射膜が設けられていること。
【0014】(1−1−6)前記第1の作用面と前記第
2の作用面は回転非対称の曲面より成っていること。
【0015】(1−1−7)前記入射面と第1の作用面
と第2の作用面は回転対称軸を有しない3次元曲面より
構成されていること。
【0016】(1−1−8)前記第2の作用面は前記観
察者の眼球に対して上下方向又は左右方向に傾斜されて
いること。
【0017】(1−1−9)前記表示手段は該観察者の
眼球に対して上下方向又は左右方向に設けられているこ
と。
【0018】(1−1−10)前記光学部材の少なくと
も1つの面には曲率が付けられていること。
【0019】(1−1−11)前記光学部材は内部反射
面を有していること。
【0020】(1−1−12)前記光学部材はくさび形
状より成るくさびプリズム又はくさびレンズであるこ
と。
【0021】(1−1−13)前記結像レンズ系を構成
するレンズのうち少なくとも1つのレンズのレンズ面に
は回転対称な非球面が施されていること。
【0022】(1−1−14)前記光源は赤外光源であ
ること。
【0023】(1−2)表示手段に表示した画像からの
光束を入射させる入射面と、該入射面からの光束を全反
射させる第1の作用面と、該第1の作用面からの光束を
該第1の作用面側方向へ反射させる第2の作用面、そし
て該第2の作用面からの光束を出射させる該第1の作用
面の一部に設けた出射面と、を有する光学ブロックから
成る正の屈折力の光学素子を介して観察者側に導光し
て、該画像の虚像を観察する画像観察系と、光源からの
光束で観察者の眼球を照明し、該眼球からの反射光を該
光学素子の出射面と該第2の作用面に設けた少なくとも
1つの開口部Aを介して射出させた後、該光学素子を通
過させたことにより発生する非点収差を補正する為の光
学部材を介して結像レンズにより受光素子面上に眼球像
を形成し、該受光素子からの信号を用いて該観察者の眼
球の視線を検出する視線検出系とを有し、該表示手段に
表示した画像を観察する際に該視線検出系からの視線情
報を利用していることを特徴としている。
【0024】特に、(1−2−1)前記第2の作用面の
一部の領域には前記表示手段に表示した画像からの光束
を反射させる反射膜が形成されており、前記開口部Aは
該反射膜の一部の領域に設けられていること。
【0025】(1−2−2)前記光源からの光束を前記
第2の作用面の一部に設けた開口部A´と、前記第1の
作用面とを通過させて観察者の眼球に導光しているこ
と。
【0026】(1−2−3)前記開口部A上には可視光
を反射し、赤外光を透過するダイクロイック膜が形成さ
れていること。
【0027】(1−2−4)前記開口部A内の一部の領
域には前記表示手段に表示した画像からの光束を反射さ
せる複数の反射膜が設けられていること。
【0028】(1−2−5)前記第1の作用面と前記第
2の作用面は回転非対称の曲面より成っていること。
【0029】(1−2−6)前記入射面と第1の作用面
と第2の作用面は回転対称軸を有しない3次元曲面より
構成されていること。
【0030】(1−2−7)前記第2の作用面は前記観
察者の眼球に対して上下方向又は左右方向に傾斜されて
いること。
【0031】(1−2−8)前記表示手段は該観察者の
眼球に対して上下方向又は左右方向に設けられているこ
と。
【0032】(1−2−9)前記光学部材の少なくとも
1つの面には曲率が付けられていること。
【0033】(1−2−10)前記光学部材は内部反射
面を有していること。
【0034】(1−2−11)前記光学部材はくさび形
状より成るくさびプリズム又はくさびレンズであるこ
と。
【0035】(1−2−12)前記結像レンズ系を構成
するレンズのうち少なくとも1つのレンズのレンズ面に
は回転対称な非球面が施されていること。
【0036】(1−2−13)前記光源は赤外光源であ
ること。
【0037】
【実施例】図1(A)は本発明の実施例1の要部概略
図、図1(B)は図1(A)に示した光学素子の第2の
作用面の説明図である。
【0038】図中、1は光学素子(観察光学素子)であ
り、全反射面と出射面とを併用する第1の作用面a、反
射面と一部開口部(透過部)を有する第2の作用面b、
入射面としての第3の作用面cを有し、全体として正の
屈折力を有した光学ブロックより成り、基本光軸Lに対
して全体としてくさび状の形状より成っている。光学素
子1の第2の作用面bは観察者の眼Iの上下方向に対し
て傾斜しており、該第2の作用面bの一部に後述する表
示手段2で表示した画像からの光束を反射させる反射膜
Mを形成しており、かつその中央部に観察者の眼球から
の反射光を通過させる所定形状より成る開口部Aを設け
ている。
【0039】又、本実施例における光学素子1は像性能
と歪みを補正し、テレセントリックな系とする為に3つ
の作用面a,b,cをそれぞれ回転対称軸を有しない3
次元曲面で構成しており、本実施例の3つの作用面a,
b,cは基本光軸Lを含む垂直面(紙面に平行な平面)
にのみ対称な曲面形状にしている。
【0040】2は表示手段であり、例えば液晶画像表示
素子などで構成して画像(映像)を表示している。表示
手段2は観察者の上方( 第1の作用面aの傾きが図の逆
ならば下方) に配置している。
【0041】3(3a,3b)は光源としての赤外光源
であり、観察者の眼球(眼)Iの前眼部を赤外光で照明
している。赤外光源3は基本光軸(中心軸)Lを含む垂
直面(紙面に平行な平面)に対して対称に少なくとも2
個、斜め下方から観察者の眼Iを照明するように配置し
ている。
【0042】5は光学素子1の第1の作用面aと第2の
作用面bを介したときに発生する非点収差を補正する光
学部材としてのくさび形状より成るくさびプリズムであ
り、光学素子1側のプリズム面(透過面)には曲率を付
けている。本実施例では、後述するように、このくさび
プリズム5によりくさび形状より成る光学素子1で発生
する非点収差を良好に補正して高精度の視線検出を行な
っている。
【0043】4は結像レンズ系であり、2つの正レンズ
4a,4bを有しており、正レンズ4aの両レンズ面に
回転対称な非球面を施しており、観察者の眼および眼の
角膜反射像を縮小結像している。
【0044】6は受光素子であり、例えば光電変換素子
などで構成して結像レンズ系4で形成された像を検出し
ている。尚、後述する視線検出系で観察者の眼Iから絞
りに至るまでの光路を図中Eで示し、観察者の眼Iと表
示手段2の中心を結ぶ線を基本光軸Lとして示してい
る。
【0045】以上の各要素のうち、表示手段2、光学素
子1等は画像観察系の一要素を構成しており、赤外光源
3、くさびプリズム5、結像レンズ系4、受光素子6等
は視線検出系の一要素を構成している。
【0046】次に画像観察系の光学作用について説明す
る。表示手段2で表示した画像からの光束は第3の作用
面(入射面)cに入射して、第1の作用面aで全反射
し、第2の作用面bに形成された反射膜Mで反射されて
第1の作用面aに向かい、該第1の作用面aを透過・屈
折して光学素子1を射出し、観察者の視度に適合した拡
がり角( 収束角または平行) の光束となって観察者の眼
Iに入射する。これにより観察者の前方に虚像を形成し
ている。
【0047】観察者の視度に対する調整は表示手段2を
光学素子1の光軸Lに沿って平行移動することにより行
なっている。
【0048】次に視線検出系の光学作用について説明す
る。2つの赤外光源3a,3bから発した赤外光は、図
1に示すように基本光軸Lとは異なる方向から観察者の
眼球の前眼部を照明する。照明光は観察者の角膜及び瞳
孔で反射散乱され、これらの反射光は光学素子1の第1
の作用面aより入射し、第2の作用面bに形成した反射
膜Mの中央部に設けた開口部Aを通過してくさびプリズ
ム5を介し結像レンズ系4により受光素子6上に結像さ
れる。
【0049】そして角膜で反射した光はプルキンエ像を
形成し、瞳孔で散乱した光は瞳孔像を形成する。そして
受光素子6から得られるプルキンエ像と瞳孔の画像を基
に視線検出回路(不図示)によって観察者の視線方向を
検出している。尚、このときの検出方法は、例えば本出
願人が特開平3−109029号公報に開示している方
法が適用できる。
【0050】同公報では受光手段を構成する複数の光電
素子列のうちから所定の2つの光電素子列を適切に選択
し、該選択した2つの光電素子列より角膜反射像と虹彩
反射像に基づく情報を得ることにより観察者の視線を高
精度に算出している。
【0051】本実施例では前述の如く結像レンズ系4を
構成するレンズの少なくとも1つのレンズのレンズ面に
非球面を施しており、これにより軸外における結像性能
を向上させている。
【0052】本実施例の光学素子1は前述の如く基本光
軸Lに対してくさび状の形状より成っている。この為、
光学素子1で発生する非点収差を補正する為に、くさび
形状より成るくさびプリズム(非点収差を補正する光学
部材)5を結像レンズ系4に用いることによって効果的
に補正している。更に本実施例ではくさびプリズム5の
少なくとも1つの面(光学素子1側の透過面)に曲率を
付けることによって更に非点収差を良好に補正してい
る。
【0053】又、本実施例では反射膜Mに設けた開口部
が単一の場合には、結像レンズ系4の絞りを、その開口
部A近傍に設けるのが良い。これにより開口部Aの大き
さを小さくすることができ、画像観察系(観察像)に対
する中抜けを有効に防止することができる。尚望ましく
は開口部Aと絞りとが一致していることが良い。又この
開口部Aの大きさを2mmより小さく設定することによ
り、眼の瞳径よりも小さくすることができ、これにより
更に画像観察系に対する中抜けを有効に防止することが
できる。
【0054】又、本実施例では前述の如く観察者の眼I
を照明する光束に視感度の低い赤外光を用いている。そ
こで本実施例では、例えば結像レンズ系4に可視光をカ
ットする部材(レンズ)を少なくとも1つ設けることに
よって、視線の検出精度を向上させている。
【0055】図2は本発明の実施例2の要部概略図であ
る。同図において図1に示した要素と同一要素には同符
番を付している。
【0056】本実施例において前述の実施例1と異なる
点は光学素子の形状及び視線検出系の一部の構成であ
り、その他の構成及び光学的作用は略同様であり、これ
により同様な効果を得ている。
【0057】即ち、21は光学素子(観察光学素子)で
あり、全反射面と出射面とを併用する第1の作用面a、
反射面と一部開口部(透過部)を有する第2の作用面
b、入射面としての第3の作用面cを有し、全体として
正の屈折力を有した光学ブロックより成り、基本光軸L
に対して全体としてくさび状の形状より成っている。
【0058】光学素子21の第2の作用面bは観察者の
眼Iの上下方向に対して傾斜しており、該第2の作用面
bの一部に後述する表示手段2からの光束を反射させる
反射膜Mを形成しており、その中央部に観察者の眼球か
らの反射光を通過させる所定形状より成る開口部Aを設
けている。
【0059】又、光学素子21は像性能と歪みを補正
し、テレセントリックな系とする為に3つの作用面a,
b,cをそれぞれ回転対称軸を有しない3次元曲面で構
成しており、本実施例の3つの作用面a,b,cは基本
光軸Lを含む垂直面(紙面に平行な平面)にのみ対称な
曲面形状にしている。
【0060】24は結像レンズ系であり、光学素子21
の第1の作用面aと第2の作用面bを介したときに発生
する非点収差を補正する光学部材としてのくさび形状よ
り成るくさびレンズ24aと、光学素子21側のレンズ
面に回転対称な非球面を施した正レンズ(結像レンズ)
24bとを有し、該くさびレンズ24aは光学素子1の
第2の作用面bと僅かな空気間隔を隔てて配置してい
る。これにより結像レンズ系4を少ないレンズ枚数で構
成することができ、装置全体の小型化を図っている。又
このくさびレンズ24aの斜めの面(傾斜面)24a1
に曲率を付けることにより第2の作用面bで発生する偏
心収差を更に良好に補正している。更にこの傾斜面24
a1の形状を第2の作用面bの形状と同一又はそれに近
い形状とし、例えば該第2の作用面bと接合することで
傾斜面の屈折を無くすことにより、更に光学性能を向上
させている。
【0061】尚、本実施系における各要素のうち表示手
段2、光学素子21等は画像観察系の一要素を構成して
おり、赤外光源3、くさびレンズ24a、結像レンズ2
4b、受光素子6等は視線検出系の一要素を構成してい
る。
【0062】図3は本発明の実施例3の要部概略図であ
る。同図において図2に示した要素と同一要素には同符
番を付している。
【0063】本実施例では画像観察系を観察者に対して
横に展開した例であり、前述の実施例2と異なる点は光
学素子21の第2の作用面bを観察者の眼の左右方向に
対して傾斜させ、かつ表示手段2を観察者の左方(又は
右方)方向に対して配置させたことであり、その他の構
成及び光学的作用は実施例2と略同様であり、これによ
り同様な効果を得ている。
【0064】図4(A)は本発明の実施例4の要部概略
図、図4(B)は図4(A)に示した光学素子の第2の
作用面の一部分の説明図である。同図において図2に示
した要素と同一要素には同符番を付している。
【0065】本実施例において前述の実施例2と異なる
点は第2の作用面bに設けた開口部A上に赤外光を透過
させ、可視光を反射させるダイクロイック膜Dを形成
し、観察像の中抜けを更に有効に防止したことであり、
その他の構成及び光学的作用は実施例2と略同様であ
り、これにより同様な効果を得ている。
【0066】即ち、図4(B)においてAは第2の作用
面bの一部に設けた開口部であり、この開口部A上に赤
外光を透過させ、可視光を反射させるダイクロイック膜
Dを形成している。これにより本実施例では視線検出の
為の赤外光を透過させ、観察像を観察する為の可視光を
反射させることによって、画像観察系及び視線検出系を
適切に構成している。
【0067】尚、本実施例において第2の作用面の領域
M全体に表示手段に表示した画像からの光束(可視光)
を反射させ、赤外光源からの光束(赤外光)を透過させ
る反射膜(ダイクロイック膜)を施しても良い。
【0068】図5(A)は本発明の実施例5の要部概略
図、図5(B)は図5(A)に示した光学素子の第2の
作用面の説明図である。図5において図2に示した要素
と同一要素には同符番を付している。
【0069】本実施例において前述の実施例2と異なる
点は赤外光源3を光学素子21の第2の作用面bの外側
(光学素子21に対して観察者の眼Iと反対側)の位置
に設け、かつ該第2の作用面bに形成した反射膜Mの一
部に該赤外光源3から発する赤外光が通過する2つの開
口部A1,A2を設けたことであり、その他の構成及び
光学的作用は実施例2と略同様であり、これにより同様
な効果を得ている。
【0070】即ち、図5(B)においてA1,A2は各
々反射膜Mに設けた所定形状より成る開口部であり、赤
外光源3(3a,3b)から発する赤外光をこの2つの
開口部A1,A2を通過させることにより観察者の眼球
の前眼部を照明するようにしている。
【0071】本実施例における画像観察系の光学作用に
ついては前述した実施例1と同様である。ここでは視線
検出系の光学作用について説明する。
【0072】第2の作用面bの外側に設けた赤外光源3
(3a,3b)から発した赤外光は該第2の作用面bに
形成した反射膜Mの一部(図面上、下方)に設けた開口
部A´(本実施例では2つの開口部A1,A2)を通過
し、第1の作用面aを透過し・屈折して、基本光軸Lと
は異なる方向から観察者の眼球の前眼部を照明してい
る。照明光は前述の実施例2と同様に観察者の角膜、瞳
孔で反射散乱され、これらの反射光は光学素子1の第1
の作用面aより入射し、第2の作用面bの反射膜Mの中
央部に設けた開口部Aを通過してくさびレンズ24aを
通り結像レンズ24bにより受光素子6上に結像され
る。
【0073】そして角膜で反射した光はプルキンエ像を
形成し、瞳孔で散乱した光は瞳孔像を形成する。そして
受光素子6から得られるプルキンエ像と瞳孔の画像を基
に視線検出回路(不図示)によって観察者の視線方向を
検出している。
【0074】図6は本発明の実施例6の要部概略図であ
る。同図において図1に示した要素と同一要素には同符
番を付している。
【0075】本実施例において前述の実施例2と異なる
点は視線検出系の一部の構成であり、その他の構成及び
光学的作用は実施例2と略同様であり、これにより同様
な効果を得ている。
【0076】即ち、64は結像レンズ系であり、内部反
射面を有するくさび形状より成るくさびレンズ(非点収
差を補正する光学部材)64aと正レンズ(結像レン
ズ)64bとを有しており、該くさびレンズ64aの内
部反射面を利用して結像レンズ系の光軸を屈曲せしめて
いる。
【0077】本実施例におけるくさびレンズ64aは射
出面近傍に1次像を形成し、この1次像を結像レンズ6
4bにより受光素子6面上に再結像させている。これに
より本実施例では結像レンズ系を図面上、上方又は下方
に展開させることにより、装置全体の小型化を図ってい
る。
【0078】図7(A)は本発明の実施例7の要部概略
図、図7(B)は図7(A)に示した第2の作用面の説
明図、図7(C)は図7(B)に示した一部分の拡大説
明図である。同図において図2に示した要素と同一要素
には同符番を付している。
【0079】本実施例において前述の実施例2と異なる
点は第2の作用面bに形成された反射膜Mの中央付近に
所定形状より成る多数の小さな開口部Aを設けたこと
と、視線検出系の一部の構成であり、その他の構成及び
光学的作用は実施例2と略同様であり、これにより同様
な効果を得ている。
【0080】即ち、図中75は非点収差を補正する光学
部材としてのくさび形状より成るくさびプリズムであ
り、そのプリズム面(光学素子1側の透過面)に曲率を
付けている。74は結像レンズ系であり、該結像レンズ
系74を構成する少なくとも1つのレンズのレンズ面に
回転対称な非球面を施しており、観察者の眼および眼の
角膜反射像を縮小結像している。
【0081】bは光学素子21の第2の作用面であり、
図7(B),(C)に示すようにその一部に表示手段2
からの光束を反射させる反射膜Mを形成しており、かつ
その中央部に観察者の眼球からの反射光を通過させる所
定形状より成る多数の小さな開口部Aを設けている。
【0082】本実施例において画像観察系の光学作用に
ついては前述した実施例1と同様である。ここでは視線
検出系の光学作用について説明する。
【0083】赤外光源3から発した赤外光は基本光軸L
とは異なる方向から観察者の眼球の前眼部を照明する。
照明光は前述の実施例2と同様に観察者の角膜、瞳孔で
反射散乱され、これらの反射光は光学素子1の第1の作
用面aより入射し、第2の作用面bに形成した反射膜M
の中央部に設けた多数の開口部Aを通過して、くさびプ
リズム75を介し結像レンズ系74により受光素子6上
に結像される。
【0084】そして角膜で反射した光はプルキンエ像を
形成し、瞳孔で散乱した光は瞳孔像を形成する。そして
受光素子6から得られるプルキンエ像と瞳孔の画像を基
に視線検出回路(不図示)によって観察者の視線方向を
検出している。
【0085】このとき第2の作用面bにおける結像レン
ズ系74の光束有効部を大きく設定しても、開口部Aに
よる画像観察系のケラレが生じないので、該結像レンズ
系74の絞りは開口部Aに設けなくとも良い。これによ
り結像レンズ系を簡略化でき、更に小型化を図ることが
できる。
【0086】又、本実施例では図7(B),(C)に示
すように反射膜Mの中央部に多数の小さな開口部Aを設
けたが、これに限らず、例えば図8に示すように大きい
開口部LA内に多数の反射部Sm を設けるように形成し
ても本発明は前述の実施例と同様に適用することができ
る。
【0087】次の本発明の数値実施例1,2を以下に示
す。数値実施例1は前述した実施例1に、又数値実施例
2は前述した実施例2に基づいている。 数値実施例1
【0088】
【数1】 図9は本発明の数値実施例における座標系を表わす説明
図であり、dは基本光軸上の各面の間隔で、シフト、チ
ルトは基本光軸(A0 )に対する実際の面頂点(P)の
移動量(dY)と傾き(θ)を表わす。各面はシフト、
チルトで変換されたローカルな座標系で定義される。第
1面、第2面は自由曲面で、2次曲面に以下の多項式で
表わされる非球面項を有する。自由曲面を表わす式は次
のようになる。
【0089】
【数2】 第6面、第7面は回転対称の非球面で次の式で表わす。
【0090】
【数3】 各面の非球面係数は次のようになる。
【0091】
【数4】
【0092】
【数5】 数値実施例2
【0093】
【数6】 第1面、第2面は数値実施例1と同様な自由曲面であ
り、第6面は回転対称の非球面である。
【0094】各面の非球面係数は次のようになる。
【0095】
【数7】
【0096】
【数8】
【0097】
【発明の効果】本発明によれば前述の如く、特にビデオ
カメラ等のファインダーや観察者の頭部に装着して、表
示手段に表示した画像情報を観察できるようにした画像
観察装置、所謂ヘッドマウントディスプレイなどにおい
て、表示手段で表示された画像情報を拡大観察する画像
観察系と、観察者の視線を検出する視線検出系を適切に
設定することにより、装置全体の小型化を実現し、更に
視線情報に基づいて画像観察系の表示手段に表示する画
像情報やその他の機能を種々と制御できる視線検出系を
有した画像観察装置を達成することができる。
【図面の簡単な説明】
【図1】 本発明の実施例1の要部概略図
【図2】 本発明の実施例2の要部概略図
【図3】 本発明の実施例3の要部概略図
【図4】 本発明の実施例4の要部概略図
【図5】 本発明の実施例5の要部概略図
【図6】 本発明の実施例6の要部概略図
【図7】 本発明の実施例7の要部概略図
【図8】 本発明の実施例7の変形例を示す説明図
【図9】 本発明の数値実施例における座標系を表わす
説明図
【図10】 従来の画像観察装置の要部概略図
【図11】 従来の画像観察装置の要部概略図
【符号の説明】
1,21 光学素子 2 表示手段 3,53 光源 4,74 結像レンズ系 5,75 くさびプリズム 6 受光素子 24a,64a くさびレンズ 24b,64b 結像レンズ A,A1,A2,LA 開口部 M,Sm 反射膜 D ダイクロイック膜

Claims (29)

    【特許請求の範囲】
  1. 【請求項1】 表示手段に表示した画像を複数の反射面
    を有し、全体として正の屈折力の光学ブロックより成る
    光学素子で観察者の前方に虚像として形成し、該虚像を
    観察する画像観察系と、 光源からの光束で照明した該観察者の眼球からの反射光
    を該光学素子の一部を通した後に、該光学素子の一部を
    介したことにより発生する非点収差を補正する光学部材
    を介して結像レンズ系で眼球像を受光素子面上に形成す
    る視線検出系と、を具備したことを特徴とする画像観察
    装置。
  2. 【請求項2】 前記光学素子は前記表示手段で表示した
    画像からの光束を入射させる入射面と、該入射面からの
    光束を全反射させる第1の作用面と、該第1の作用面か
    らの光束を該第1の作用面側方向へ反射させる第2の作
    用面、そして該第2の作用面からの光束を出射させる該
    第1の作用面の一部に設けた出射面と、を有しているこ
    とを特徴とする請求項1の画像観察装置。
  3. 【請求項3】 前記第2の作用面の一部の領域に前記表
    示手段に表示した画像からの光束を反射させる反射膜を
    設け、かつその一部の領域に前記観察者の眼球からの反
    射光を通過させる少なくとも1つの開口部Aを設けたこ
    とを特徴とする請求項2の画像観察装置。
  4. 【請求項4】 前記光源からの光束を前記第2の作用面
    の一部に設けた開口部A´と、前記第1の作用面とを通
    過させて観察者の眼球に導光していることを特徴とする
    請求項2の画像観察装置。
  5. 【請求項5】 前記開口部A上には可視光を反射し、赤
    外光を透過するダイクロイック膜が形成されていること
    を特徴とする請求項3の画像観察装置。
  6. 【請求項6】 前記開口部A内の一部の領域には前記表
    示手段に表示した画像からの光束を反射させる複数の反
    射膜が設けられていることを特徴とする請求項3の画像
    観察装置。
  7. 【請求項7】 前記第1の作用面と前記第2の作用面は
    回転非対称の曲面より成っていることを特徴とする請求
    項2又は4の画像観察装置。
  8. 【請求項8】 前記入射面と第1の作用面と第2の作用
    面は回転対称軸を有しない3次元曲面より構成されてい
    ることを特徴とする請求項2の画像観察装置。
  9. 【請求項9】 前記第2の作用面は前記観察者の眼球に
    対して上下方向又は左右方向に傾斜されていることを特
    徴とする請求項2、3、4、7又は8の画像観察装置。
  10. 【請求項10】 前記表示手段は該観察者の眼球に対し
    て上下方向又は左右方向に設けられていることを特徴と
    する請求項1、2、3又は6の画像観察装置。
  11. 【請求項11】 前記光学部材の少なくとも1つの面に
    は曲率が付けられていることを特徴とする請求項1の画
    像観察装置。
  12. 【請求項12】 前記光学部材は内部反射面を有してい
    ることを特徴とする請求項1又は11の画像観察装置。
  13. 【請求項13】 前記光学部材はくさび形状より成るく
    さびプリズム又はくさびレンズであることを特徴とする
    請求項1、11又は12の画像観察装置。
  14. 【請求項14】 前記結像レンズ系を構成するレンズの
    うち少なくとも1つのレンズのレンズ面には回転対称な
    非球面が施されていることを特徴とする請求項1の画像
    観察装置。
  15. 【請求項15】 前記光源は赤外光源であることを特徴
    とする請求項1又は4の画像観察装置。
  16. 【請求項16】 表示手段に表示した画像からの光束を
    入射させる入射面と、該入射面からの光束を全反射させ
    る第1の作用面と、該第1の作用面からの光束を該第1
    の作用面側方向へ反射させる第2の作用面、そして該第
    2の作用面からの光束を出射させる該第1の作用面の一
    部に設けた出射面と、を有する光学ブロックから成る正
    の屈折力の光学素子を介して観察者側に導光して、該画
    像の虚像を観察する画像観察系と、 光源からの光束で観察者の眼球を照明し、該眼球からの
    反射光を該光学素子の出射面と該第2の作用面に設けた
    少なくとも1つの開口部Aを介して射出させた後、該光
    学素子を通過させたことにより発生する非点収差を補正
    する為の光学部材を介して結像レンズにより受光素子面
    上に眼球像を形成し、該受光素子からの信号を用いて該
    観察者の眼球の視線を検出する視線検出系とを有し、 該表示手段に表示した画像を観察する際に該視線検出系
    からの視線情報を利用していることを特徴とする画像観
    察装置。
  17. 【請求項17】 前記第2の作用面の一部の領域には前
    記表示手段に表示した画像からの光束を反射させる反射
    膜が形成されており、前記開口部Aは該反射膜の一部の
    領域に設けられていることを特徴とする請求項16の画
    像観察装置。
  18. 【請求項18】 前記光源からの光束を前記第2の作用
    面の一部に設けた開口部A´と、前記第1の作用面とを
    通過させて観察者の眼球に導光していることを特徴とす
    る請求項16の画像観察装置。
  19. 【請求項19】 前記開口部A上には可視光を反射し、
    赤外光を透過するダイクロイック膜が形成されているこ
    とを特徴とする請求項16、又は17の画像観察装置。
  20. 【請求項20】 前記開口部A内の一部の領域には前記
    表示手段に表示した画像からの光束を反射させる複数の
    反射膜が設けられていることを特徴とする請求項16、
    又は17の画像観察装置。
  21. 【請求項21】 前記第1の作用面と前記第2の作用面
    は回転非対称の曲面より成っていることを特徴とする請
    求項16又は18の画像観察装置。
  22. 【請求項22】 前記入射面と第1の作用面と第2の作
    用面は回転対称軸を有しない3次元曲面より構成されて
    いることを特徴とする請求項16の画像観察装置。
  23. 【請求項23】 前記第2の作用面は前記観察者の眼球
    に対して上下方向又は左右方向に傾斜されていることを
    特徴とする請求項16、17、18、21又は22の画
    像観察装置。
  24. 【請求項24】 前記表示手段は該観察者の眼球に対し
    て上下方向又は左右方向に設けられていることを特徴と
    する請求項16、17又は20の画像観察装置。
  25. 【請求項25】 前記光学部材の少なくとも1つの面に
    は曲率が付けられていることを特徴とする請求項16の
    画像観察装置。
  26. 【請求項26】 前記光学部材は内部反射面を有してい
    ることを特徴とする請求項16又は25の画像観察装
    置。
  27. 【請求項27】 前記光学部材はくさび形状より成るく
    さびプリズム又はくさびレンズであることを特徴とする
    請求項16、25又は26の画像観察装置。
  28. 【請求項28】 前記結像レンズ系を構成するレンズの
    うち少なくとも1つのレンズのレンズ面には回転対称な
    非球面が施されていることを特徴とする請求項16の画
    像観察装置。
  29. 【請求項29】 前記光源は赤外光源であることを特徴
    とする請求項16、又は18の画像観察装置。
JP06699295A 1995-02-28 1995-02-28 画像観察装置 Expired - Fee Related JP3683934B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP06699295A JP3683934B2 (ja) 1995-02-28 1995-02-28 画像観察装置
US08/606,851 US5689736A (en) 1995-02-28 1996-02-26 Image observation apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP06699295A JP3683934B2 (ja) 1995-02-28 1995-02-28 画像観察装置

Publications (2)

Publication Number Publication Date
JPH08234136A true JPH08234136A (ja) 1996-09-13
JP3683934B2 JP3683934B2 (ja) 2005-08-17

Family

ID=13332019

Family Applications (1)

Application Number Title Priority Date Filing Date
JP06699295A Expired - Fee Related JP3683934B2 (ja) 1995-02-28 1995-02-28 画像観察装置

Country Status (2)

Country Link
US (1) US5689736A (ja)
JP (1) JP3683934B2 (ja)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5917662A (en) * 1996-01-29 1999-06-29 Canon Kabushiki Kaisha Phototaking optical system and optical device
US5973858A (en) * 1996-01-29 1999-10-26 Canon Kabushiki Kaisha Reflecting optical system and optical apparatus
US5995287A (en) * 1995-09-27 1999-11-30 Canon Kabushiki Kaisha Optical element having a plurality of decentered reflecting curved surfaces, and optical instrument including the same
US6166859A (en) * 1998-08-05 2000-12-26 Canon Kabushiki Kaisha Viewfinder optical system and optical apparatus having the same
US6278554B1 (en) 1998-10-30 2001-08-21 Canon Kabushiki Kaisha Image pickup optical system
JP2002116406A (ja) * 2000-10-10 2002-04-19 Matsushita Electric Ind Co Ltd ディスプレイ装置
US6594085B2 (en) 2000-04-28 2003-07-15 Canon Kabushiki Kaisha Image display apparatus and optical system
JP2004233425A (ja) * 2003-01-28 2004-08-19 Mitsubishi Electric Corp 画像表示装置
JP2017182078A (ja) * 2012-01-24 2017-10-05 アリゾナ ボード オブ リージェンツ オン ビハーフ オブ ザ ユニバーシティ オブ アリゾナ 小型視線追従型ヘッドマウントディスプレイ
WO2020209374A1 (ja) * 2019-04-12 2020-10-15 パナソニックIpマネジメント株式会社 光学系

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3309615B2 (ja) * 1994-12-21 2002-07-29 キヤノン株式会社 画像観察装置及びこれを用いた両眼画像観察装置
US6166866A (en) 1995-02-28 2000-12-26 Canon Kabushiki Kaisha Reflecting type optical system
EP0730180B1 (en) 1995-02-28 2002-09-04 Canon Kabushiki Kaisha Reflecting type of zoom lens
JP3720464B2 (ja) * 1995-07-03 2005-11-30 キヤノン株式会社 光学素子及びそれを用いた観察系
US6144493A (en) 1996-02-23 2000-11-07 Canon Kabushiki Kaisha Optical low-pass filter and optical apparatus having the same
JPH09269527A (ja) * 1996-03-29 1997-10-14 Canon Inc 視線検出手段を有したファインダー系
JPH09274144A (ja) * 1996-04-02 1997-10-21 Canon Inc 画像表示装置
JP3792799B2 (ja) * 1996-08-27 2006-07-05 キヤノン株式会社 光学素子を有する光学系及びそれを用いた撮像装置
JP4190039B2 (ja) * 1997-01-31 2008-12-03 オリンパス株式会社 電子カメラ
US6034823A (en) * 1997-02-07 2000-03-07 Olympus Optical Co., Ltd. Decentered prism optical system
JPH10239628A (ja) * 1997-02-28 1998-09-11 Canon Inc 複合表示装置
US6760169B2 (en) 1997-05-07 2004-07-06 Olympus Corporation Prism optical element, image observation apparatus and image display apparatus
US6426841B1 (en) 1997-08-27 2002-07-30 Canon Kabushiki Kaisha Optical apparatus
JP2000098234A (ja) 1998-06-19 2000-04-07 Canon Inc 光学系及びそれを用いる画像観察装置
JP2000098293A (ja) 1998-06-19 2000-04-07 Canon Inc 画像観察装置
JP3403101B2 (ja) 1998-12-04 2003-05-06 キヤノン株式会社 クロスダイクロプリズム及びそれを有した光学系
US7586686B1 (en) 2006-04-14 2009-09-08 Oasys Technology Llc Eyepiece for head mounted display system and method of fabrication
US8355610B2 (en) * 2007-10-18 2013-01-15 Bae Systems Plc Display systems
GB0909126D0 (en) 2009-05-27 2009-07-01 Qinetiq Ltd Eye tracking apparatus
USD743089S1 (en) * 2012-05-31 2015-11-10 Olympus Corporation Illuminating prism
USD797833S1 (en) * 2015-12-03 2017-09-19 Gsn Electronic Company Ltd. Lens
US10599215B2 (en) * 2016-04-26 2020-03-24 Facebook Technologies, Llc Off-axis eye tracker
CN106019528A (zh) * 2016-08-17 2016-10-12 上海理湃光晶技术有限公司 一种轻量、广视场的成像结构设计

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5327191A (en) * 1987-06-11 1994-07-05 Asahi Kogaku Kogyo Kabushiki Kaisha Eye direction detecting apparatus
GB8916206D0 (en) * 1989-07-14 1989-11-08 Marconi Gec Ltd Helmet systems
JP2803222B2 (ja) * 1989-09-22 1998-09-24 キヤノン株式会社 視線検出装置

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5995287A (en) * 1995-09-27 1999-11-30 Canon Kabushiki Kaisha Optical element having a plurality of decentered reflecting curved surfaces, and optical instrument including the same
US6181470B1 (en) 1995-09-27 2001-01-30 Canon Kabushiki Kaisha Optical element having a plurality of decentered reflecting curved surfaces, and optical instrument including the same
US5917662A (en) * 1996-01-29 1999-06-29 Canon Kabushiki Kaisha Phototaking optical system and optical device
US5973858A (en) * 1996-01-29 1999-10-26 Canon Kabushiki Kaisha Reflecting optical system and optical apparatus
US6166859A (en) * 1998-08-05 2000-12-26 Canon Kabushiki Kaisha Viewfinder optical system and optical apparatus having the same
US6278554B1 (en) 1998-10-30 2001-08-21 Canon Kabushiki Kaisha Image pickup optical system
US6594085B2 (en) 2000-04-28 2003-07-15 Canon Kabushiki Kaisha Image display apparatus and optical system
JP2002116406A (ja) * 2000-10-10 2002-04-19 Matsushita Electric Ind Co Ltd ディスプレイ装置
JP2004233425A (ja) * 2003-01-28 2004-08-19 Mitsubishi Electric Corp 画像表示装置
JP2017182078A (ja) * 2012-01-24 2017-10-05 アリゾナ ボード オブ リージェンツ オン ビハーフ オブ ザ ユニバーシティ オブ アリゾナ 小型視線追従型ヘッドマウントディスプレイ
WO2020209374A1 (ja) * 2019-04-12 2020-10-15 パナソニックIpマネジメント株式会社 光学系

Also Published As

Publication number Publication date
US5689736A (en) 1997-11-18
JP3683934B2 (ja) 2005-08-17

Similar Documents

Publication Publication Date Title
JPH08234136A (ja) 画像観察装置
JP3309615B2 (ja) 画像観察装置及びこれを用いた両眼画像観察装置
US9345402B2 (en) Compact eye imaging and eye tracking apparatus
US8337015B2 (en) Spectacles-mounted display device
JP2001264681A (ja) ディスプレイ装置
JPH07191274A (ja) 画像表示装置
JP6670431B2 (ja) 結像光学系およびスマートグラス
JPH08292371A (ja) 反射型の光学系及びそれを用いた撮像装置
JP2002323672A (ja) 光路分割素子及びそれを用いた画像表示装置
JP2000075240A (ja) 複合表示装置
JPH0820666B2 (ja) フアインダ−装置
JPH10239628A (ja) 複合表示装置
JP2015033423A (ja) 眼科装置
KR102620615B1 (ko) 가상 화상 생성용 광학 시스템, 및 스마트글라스
JP3143553B2 (ja) ファインダー装置
JP3477279B2 (ja) 視線検出装置
JPH0694978A (ja) 視線検出装置
JPH08286144A (ja) 画像観察装置及びそれを用いた観察機器
JP2019109275A (ja) 画像表示装置
JPH02264632A (ja) 視線検出装置
JPH0356047B2 (ja)
JPH08286140A (ja) 画像表示装置
JPH09262210A (ja) 光学システム
JP2000098476A (ja) 光学系
JPH10179521A (ja) 視線/接眼検出方法及び装置並びに記憶媒体

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20041105

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20041221

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20050217

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20050517

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20050527

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090603

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090603

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100603

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110603

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120603

Year of fee payment: 7

LAPS Cancellation because of no payment of annual fees