JP3847799B2 - 視線検出系を有した表示装置 - Google Patents
視線検出系を有した表示装置 Download PDFInfo
- Publication number
- JP3847799B2 JP3847799B2 JP20426894A JP20426894A JP3847799B2 JP 3847799 B2 JP3847799 B2 JP 3847799B2 JP 20426894 A JP20426894 A JP 20426894A JP 20426894 A JP20426894 A JP 20426894A JP 3847799 B2 JP3847799 B2 JP 3847799B2
- Authority
- JP
- Japan
- Prior art keywords
- line
- detection system
- eyeball
- imaging
- observer
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Description
【０００１】
【産業上の利用分野】
本発明は視線検出系を有した表示装置に関し、特に情報視認者（観察者）の頭部に装着して表示手段で表示した映像情報（表示情報）を情報視認者の眼球に導光して該映像情報を観察するようにした、所謂ヘッドマウントディスプレーと称されるメガネ型、ゴーグル型、ヘルメット型の表示装置において、該表示手段で映像情報を表示して観察する際に、該映像情報を観察者の眼球の動き、即ち視線を検知する視線検出系からの信号を利用して種々と制御するようにしたものである。
【０００２】
【従来の技術】
従来より情報視認者（観察者）の頭部に装着して表示手段に表示した映像情報を観察者の眼球に導光して観察するようにしたヘッドマウントディスプレーと称される表示装置が種々提案されている。そしてこのような表示装置に視線検出系、即ち観察者が観察している注視点方向の軸、所謂視線（視軸）を観察者の眼球面上を照明したときに得られる眼球の反射像を利用して検出するようにした視線検出系を設け、該視線検出系で得られる視線情報を利用して表示装置に表示された映像情報を制御するようにした装置が、例えば特開平３−１０１７０９号公報で提案されている。
【０００３】
同公報ではＣＲＴ等の表示手段で表示された映像情報を結像系で１次結像面に結像させ、該１次結像面に結像させた映像情報を接眼系を介して観察するようにした光学系を用いている。一方、赤外光を発する光源を設け、該光源からの赤外光を該光学系の一部を利用して観察者の眼球に入射させている。そして眼球からの反射光束を該光学系の一部と赤外光を透過し、可視光を反射するダイクロイックミラーを介して撮像素子面上に導光し、該撮像素子からの出力信号を用いて眼球の視線（動き）を検知している。
【０００４】
【発明が解決しようとする課題】
一般にヘッドマウントディスプレーとしての表示装置は、情報視認者の頭部へ装着して個人的に用いるので装置全体が小型軽量であることが望ましい。
【０００５】
前述の特開平３−１０１７０９号公報で提案されている装置においては、表示手段で表示された映像情報を一度結像させる１次結像方式の光学系を用いている。このため視線検出系には専用の結像系が不要となるが、光学系全体が複雑化し、観察者の頭部に装着する装置としては大型化する傾向があった。
【０００６】
本発明はヘッドマウントディスプレー等の表示装置における表示手段で表示された映像情報を観察する観察系とその一部に設ける観察者の視線を検出する視線検出系の構成を適切に設定することにより、装置全体の小型化を図りつつ、視線情報に基づいて観察系の表示手段で表示する映像情報の観察状態を種々と制御することができる視線検出系を有した表示装置の提供を目的とする。
【０００７】
【課題を解決するための手段】
請求項１の発明の視野検出手段を有した表示装置は、入射面と前面と凹面とを含むプリズム体を備えた光学系と、表示手段とを有し、
該表示手段で表示された可視域の映像情報からの光束を該入射面に入射させ、該入射面からの光束を前記前面にて全反射させ、該前面からの光束を該凹面で反射させ、該凹面で反射した光束を該前面を通過させることによって、該映像情報を途中結像させずに観察者の眼球に導光し、該映像情報の虚像を観察する観察系と、
光源手段と、前記光学系とは独立に設けた結像レンズと該プリズム体の前面及び凹面とを含む結像光学系と、撮像手段とを有し、該観察者の眼球に該光源手段からの非可視光を入射させ、該結像光学系により、該眼球からの反射光束を該撮像手段面上に導光し、該撮像手段からの信号を用いて該観察者の眼球の視線を検出する視線検出系とを設け、
該視線検出系からの視線情報を利用して該表示手段に表示する映像情報を制御する視線検出系を有した表示装置において、
該プリズム体の前面及び凹面は、いずれもアジムス角度によって屈折力が異なる曲率を有した面であると共に、該結像光学系の前記観察者の眼球から前記撮像手段面への結像倍率をβとしたとき、
０．０２＜｜β｜＜０．１８
なる条件を満足することを特徴としている。
【０００８】
請求項２の発明は、請求項１の発明において、前記視線検出系は、観察者の眼球からの反射光束を前記プリズム体の前面及び凹面とダイクロイックミラー面を介した後に前記結像光学系を構成する前記光学系とは独立に設けた結像レンズに導光していることを特徴としている。
【０００９】
請求項３の発明のヘッドアップディスプレイ装置は、請求項１又は２に記載の視線検出系を有した表示装置を用いたことを特徴としている。
【００１８】
【実施例】
図１，図２は本発明の実施例１に係る観察系と視線検出系の光路を示す要部断面図である。図３は図２の要部平面図である。図４，図５は本発明を観察者の頭部に装着したときの概略図である。
【００１９】
図中、１０１は観察者、４は表示手段であり液晶表示素子等から成り可視域の映像情報を表示している。表示手段４はＣＤ−ＲＯＭ１０５やビデオカメラ１０６等の映像情報供給手段からの信号に基づいて映像情報を表示している。１０は透明の平行平面板より成る光学部材であり、その内部にはビームスプリッターとしての可視域通過で赤外域反射のダイクロイックミラー面７が設けられている。尚、ダイクロイックミラー面７の代わりに単なるハーフミラー面を用いても良い。
【００２０】
３はプリズム体であり、トーリック非球面より成る一部に全反射を利用した前面１、透明又は非透明の平面又は曲率を有した面より成る後面６、プリズム体３中に設けた半透過又は鏡面反射のトーリック非球面より成る凹面２、そして入射面５を有している。１０４は光軸（中心軸）であり、これは後述する眼球１０３の光軸と一致している。表示手段４から眼球１０３に至る光路中の各要素で、表示手段４で表示した映像情報の虚像を観察する観察系を構成している。１０２は光源手段であり、観察者１０１の眼球１０３の視線を検出する為に眼球１０３に赤外光（非可視光，波長８８０ｎｍ付近）を投光している。
【００２１】
８は結像光学系を構成する結像レンズであり、図２に示すように光源手段１０２からの赤外光を観察者１０１の眼球１０３に照射したとき、該眼球１０３の角膜からの反射光による角膜反射像と瞳孔等の結像位置等をプリズム体３と光学部材１０のダイクロイックミラー面７を介してＣＣＤ等の撮像素子９面上に結像している。結像レンズ８は表示手段４の映像情報の虚像を観察する観察系とは独立に設けている。光源手段１０２からの眼球１０３を介して撮像素子９に至る光路中の各要素で観察者１０１の眼球１０３の視線を検出する視線検出系を構成している。本実施例では以上のように、観察系と視線検出系の各要素を設定することにより、２つの系を用いたときの光学系全体の小型化を容易にしている。
【００２２】
次に図１を用いて表示手段４に表示した映像情報の虚像を観察する観察系について説明する。本実施例では表示手段４で表示された映像情報に基づく光束（可視光束）を光学部材１０のダイクロイックミラー面７を通過させプリズム体３にその入射面５より導入している。そしてプリズム体３の前面１で全反射させた後に凹面２で反射集光して前面１を通過させて観察者１０１の眼球１０３に導光している。このとき前面１、凹面２の曲率を適切に設定することにより、表示手段４に表示した映像情報を途中結像させることなく、即ち１次結像面を設けずに該映像情報の虚像を観察者１０１の前方に表示している。
【００２３】
このように本実施例では観察系を虚像タイプより構成し、これにより観察者１０１は該映像情報の虚像を観察するようにしている。尚、本実施例において凹面２を半透過面、後面６を透過面とし、後面６の曲率を適切に設定することにより、外景の画像情報と表示手段４の映像情報の虚像とを空間的に重畳して双方を同一視野で同一視度として観察するようにしても良い。
【００２４】
本実施例の観察系では、図４や図５に示すように観察者１０１が有しているＣＤ−ＲＯＭ１０５やビデオカメラ１０６等の映像情報供給手段からの映像情報を表示手段４に表示する際に、視線検出系で得られた観察者の眼球の視線情報を利用して、例えばオートフォーカス（ビデオカメラの焦点合わせ）、電子ズーム（視線方向の情報を電気的に拡大）、ズーム駆動（視線で抽出した画面寸法となるようにビデオカメラの焦点距離ｆを演算し、その焦点距離に合わす）、そしてメニュー視線選択（測光、ストロボ、パノラマ等）等の制御をしている。
【００２５】
次に図２を用いて観察者１０１の眼球１０３の視線を検出する視線検出系について説明する。光源手段１０２からの赤外光で観察者１０１の眼球１０３を照明する。眼球１０３の角膜で反射した赤外光をプリズム体３の前面１を通過させ、凹面２で反射させて前面１で全反射させた後に、入射面５より射出して光学部材１０に導光している。そして光学部材１０のダイクロイックミラー面７で反射させ、次いで光学部材１０の面１０ａで全反射させた後に結像レンズ８により撮像素子９に入射させている。
【００２６】
ここで結像レンズ８は観察系を虚像タイプとした為に結像作用がない為に用いている。これにより撮像素子９面上に眼球１０３の角膜反射像や瞳孔等の眼球１０３に関する像を形成している。そして該撮像素子９からの信号を用いて眼球１０３の視線を検出している。
【００２７】
本実施例における眼球の視線の検出方法としては、例えば本出願人が先に提案した特開平１−２７４７３６号公報や特開平３−１１４９２号公報等で開示した方法を用いている。
【００２８】
図６（Ａ），（Ｂ）は本実施例で用いているプリズム体３の要部断面図である。図６（Ａ），（Ｂ）ではプリズム体３を観察系として用いた場合を示すが、視線検出系として用いる場合は光路が逆となるだけであり、光学作用は同じである。表示手段４の表示面から垂直に発した光束４ａはプリズム体３の入射面５を介してトーリック非球面より成る前面１に入射角度４３度以上で前面１で全反射するように入射させている。前面１で全反射した光束４ａをトーリック非球面より成る凹面２に入射角度４３度以下で反射させ前面１より射出させている。
【００２９】
前面１は曲率を有しており、一部で全反射作用を行い、他の一部で透過作用をするようにしている。これにより２つの曲面を持つのと等価とし、凹面２と合わせて全体として３つの曲率を有した反射光学系を構成している。これにより光学系全体の焦点距離を短くし（後述する数値実施例では２０〜２５ｍｍ）、光学系全体の小型化を図っている。
【００３０】
本実施例では観察系と視線検出系にアジムス角度により屈折力が異なる、即ちアジムス角度により曲率が異なるトーリック面又はトーリック非球面又はアナモフィック非球面を前面１と凹面２そして入射面５に適用している。これにより凹面２への入射光線と反射光線のなす角度を大きくして光学系全体の小型化を図ったときに発生してくる偏心収差を良好に補正している。
【００３１】
前面１と後面６の曲率は光が双方の面を通過するとき、屈折力が小さいメニスカス状のレンズ形状となるようにしている。これにより後面６を介して外の風景等の画像情報を観察するときに画像情報が良好に観察されるようにしている。
【００３２】
子線断面内において前面１が負の屈折力を有するようにして凹面２の正の屈折力で発生する諸収差を補正している。ここで子線とは、設計値の眼球中心に光が導かれる表示手段の画像中心からの光路を含む面と垂直な面である（図６の紙面と垂直方向）。
【００３３】
尚、本実施例においては前面１の母線断面も負の屈折力を有するようにしても良く、これによれば子線断面を負の屈折力としたのと同様の効果が得られる。ここで母線断面とは、設計値の眼球中心に光が導かれる表示手段の画像中心からの光路を含む面である（図６の紙面内）。
【００３４】
図６（Ｂ）に示すように、前面１の面頂点における母線断面での接戦Ｌと眼球の光軸１０４と垂直で前面１の面頂点を通る線ｍとのなす角度（チルド角度）をαとしたとき、
｜α｜≦２０° ・・・・・・（１）
となるようにしている。条件式（１）の如く、角度αを２０度より小さくして、これにより表示手段４の映像情報の虚像と外の風景等の画像情報を空間的に重畳させて双方を観察するときの歪みを少なくし、かつ光軸方向のプリズムの厚さを薄くしている。
【００３５】
次に本実施例の表示手段４から眼球１０３に至る光路中に設けた各要素（入射面５、前面１、凹面２）を有する観察系及び視線検出系の前述以外の特徴について説明する。
【００３６】
(２−１)本実施例において結像レンズ８を含む結像光学系の眼球１０３から撮像素子９への結像倍率βは、
０．０２＜｜β｜＜０．１８ ・・・・・・（２）
としている。ここで条件式（２）の上限値を越えると眼球像の倍率が大きくなりすぎ撮像素子の有効径が増大してくるので良くない。また条件式（２）の下限値を越えると視線検出系の焦点距離をより短くしなければならず、この結果、諸収差の発生が多くなってきて良好なる眼球像が得られなくなってくる。
【００３７】
（２−２）観察系における母線断面と子線断面の全系の焦点距離を各々ｆｙ，ｆｘとしたとき、
０．９＜｜ｆｙ／ｆｘ｜＜１．１ ・・・・・・（３）
なる条件を満足するようにしている。これにより、どのアジムス角度においても全系の焦点距離が略一定となるようにして、表示手段で表示された映像情報の母線方向と子線方向のアスペクト比の補正を不要としている。
【００３８】
（２−３）凹面２の母線断面と子線断面の近軸曲率半径を各々Ｒｙ，Ｒｘとしたとき、
｜Ｒｘ｜＜｜Ｒｙ｜ ・・・・・・（４）
となる条件を満足するようにしている。観察系を小型にするには母線断面で凹面の光軸を眼球の光軸から時計方向に大きくチルトさせる必要がある。そうすると偏心収差が多く発生してくる。これに対して子線断面は偏心させるところが少ないので偏心収差の発生が少ない。そこで本実施例では条件式（４）で示すように、母線断面の曲率半径Ｒｙを子線断面の曲率半径Ｒｘより大きくして、即ち母線方向の屈折力を子線方向の屈折力に比べて弱くして母線断面での偏心収差を小さくしている。
【００３９】
特に本実施例において条件式（４）を
｜Ｒｘ／Ｒｙ｜＜０．８５ ・・・・・・（５）
の如く設定するのが偏心収差の補正上好ましい。
【００４０】
（２−４）プリズム体３の入射面５をトーリック面又はアナモフィック面としたときは、母線断面と子線断面の近軸曲率半径を各々Ｒｙ５，Ｒｘ５としたとき、
｜Ｒｙ５｜＜｜Ｒｘ５｜ ・・・・・・（６）
としている。入射面５の母線断面は比較的偏心収差の発生が少ない。そこで凹面２と前面１の母線断面の屈折力をあまり強くすることができない代わりに、入射面５の母線断面の屈折力を強くして、これにより観察系全体としてどのアジムス角度でも焦点距離が略一定となるようにしている。
【００４１】
（２−５）子線断面内において、光束が前面１で全反射するときのその領域での屈折力が負、凹面２の屈折力が正、前面１で透過するときのその領域での屈折力が負となるようにして良好なる光学性能を得ている。また入射面５に屈折力を付与するときは母線断面を正とするのが良く、これによれば全体としての母線断面での正の屈折力の不足を補うことができる。
【００４２】
（２−６）母線断面内において、光束が前面１で全反射するときのその領域での屈折力が負、凹面２の屈折力が正となるようにして良好なる光学性能を得ている。また入射面５に屈折力を付与するときは子線断面内において正の屈折力とするのが良く、これによれば子線断面内での収差を少なくすることができる。
【００４３】
（２−７）子線断面内において、前面１の光束が全反射するときのその領域と凹面２の曲率半径を各々Ｒｘ１，Ｒｘ２、全系の焦点距離をｆｘとしたとき、
０．１＜｜２ｆｘ／Ｒｘ１｜＜２．０ ・・・・・・（７）
０．５＜｜２ｆｘ／Ｒｘ２｜＜２．５ ・・・・・・（８）
としている。条件式（７），（８）の上限値は曲率半径Ｒｘ１，Ｒｘ２の屈折力が強くなる方向、逆に下限値は屈折力が弱くなる方向である。条件式（７）の上限値を越えると歪曲収差の補正が難しくなってくる。また下限値を越えると全反射条件を満足するのが難しくなってくる。条件式（８）の上限値を越えると非点収差の補正が難しくなってくる。また下限値を越えると光学系全体が大型化、特に光軸と平行な方向での厚さが厚くなってくるので良くない。
【００４４】
（２−８）母線断面内において、前面１の光束が全反射する領域と凹面２の曲率半径を各々Ｒｙ１，Ｒｙ２、全系の焦点距離をｆｙとしたとき
０＜｜２ｆｙ／Ｒｙ１｜＜１．０ ・・・・・・（９）
０．２＜｜２ｆｙ／Ｒｙ２｜＜２．５ ・・・・・・（１０）
としている。条件式（９），（１０）の上限値は曲率半径Ｒｙ１，Ｒｙ２の屈折力が強くなる方向、逆に下限値は屈折力が弱くなる方向である。条件式（９）の上限値を越えると偏心歪曲収差の補正が難しくなり、また下限値を越えると全反射条件を満足するのが難しくなってくる。条件式（１０）の上限値を越えると偏心非点収差の発生が多くなり、また下限値を越えるとレンズ全長が長くなり光学系全体が大型化してくるので良くない。
【００４５】
（２−９）
凹面２は眼球の光軸１０４より母線断面（Ｙ方向）で表示手段４側へ平行偏心している。これにより母線断面内での偏心歪曲収差を小さく抑えている。このときの平行偏心のシフト量（図６（Ｂ）に示すように光軸１０４から凹面２の面頂点までの距離）をＥとしたとき、
２５≦Ｅ ・・・・・・（１１）
となるようにして偏心歪曲収差を良好に補正している。
【００４６】
（２−１０）（１）式におけるチルト角度αを、
−１５°≦α≦５° ・・・・・・（１２）
としている。これにより光学系全体を効果的に小型にしている。条件式（１２）の下限値を越えると映像情報の歪みが大きくなり、また上限値を越えるとプリズム体３の光軸１０４方向の厚みが増加してくるので良くない。
【００４７】
図７〜図１０は本発明の実施例２〜５のプリズム体３近傍の視線検出系の一部を変更したときの要部概略図である。
【００４８】
図７の実施例２では実施例１に比べて、光学部材１０を観察者の眼球１０３とプリズム体３との間に設けて、それに伴い結像レンズ８と撮像素子９とを設けている点が異なっており、その他の構成は同じである。本実施例では視線検出系に偏心面がないので視線を高精度に検出することができるという特長がある。
【００４９】
図８の実施例３では実施例１に比べて、プリズム体３の内部にダイクロイック面７を傾けて設け、それに伴い結像レンズ８と撮像素子９を設けている点が異なっており、その他の構成は同じである。本実施例では部品点数を少なくして、光学系全体のより小型化を図っている。
【００５０】
図９の実施例４では実施例１に比べて、光学部材１０をプリズム体３よりも眼球１０３に対して遠方に配置している。そして凹面２を可視光反射で赤外光透過のダイクロイック膜を施している。また光学部材１０に半透過、または１００％反射またはダイクロイック膜を施した反射面１１を傾けて設け、それに伴い結像レンズ８と撮像素子９を設けている点が異なっており、その他の構成は同じである。本実施例の部材を観察者の頭部に装着したときの概略図を図１１に示す。
【００５１】
図１０の実施例５では実施例１に比べて、平行平面板より成る光学部材１０を用いずにプリズム体３の入射面５に可視光透過で赤外光反射のダイクロイックミラー７を設け、それに伴い結像レンズ８と撮像素子９を設けている点が異なっており、その他の構成は同じである。本実施例の部材を観察者の頭部に装着したときの概略図は図１２に示す。
【００５２】
尚、以上の各実施例の視線検出系を有した表示装置は、所謂ヘッドアップディスプレイ装置にそのまま適用することができる。
【００５３】
次に本実施例の数値実施例を示す。数値実施例においては、図１〜図３を参照して各要素を次のようにして示している。
（１）眼球１０３を座標系の原点（０，０）
（２）眼球１０３から光線を追跡し、視線検出系において、
ｉ＝１ 眼球
ｉ＝２ 前面１（透過面）
ｉ＝３ 凹面２
ｉ＝４ 前面１（全反射面）
ｉ＝５ 入射面５
ｉ＝６ 光学部材１０の入射面
ｉ＝７ ダイクロイック面
ｉ＝８
ｉ＝９ 光学部材１０の射出面
ｉ＝１０ 結像レンズの入射面
ｉ＝１１ 結像レンズの射出面
ｉ＝１２ 撮像素子
観察系において、
ｉ＝８ 映像情報の入射面
ｉ＝９ 映像情報の表示面
（３）ＴＡＬはトーリック非球面
ＡＡＬはアナモフィック非球面を表わしている。
【００５４】
ＴＡＬの定義は母線断面（Ｙ，Ｚ断面）が下記非球面式
【００５５】
【数１】
で、子線断面（Ｘ，Ｚ断面）は球面である。
【００５６】
またＡＡＬの定義式は
【００５７】
【数２】
である。
【００５８】
また本発明に使用しているＡＬは非球面（回転対称）であり、ＡＬの定義式は
【００５９】
【数３】
である。面頂点座標Ｙ，Ｚは眼球の面頂点を（０，０）としたときの絶対座標。母線断面チルト角度は眼球の光軸に対する各面の光軸のチルト角度（時計と反対方向を正）。反射面（全反射含）はＭを付している。ｎｄ，νｄをｄ線の屈折率とアッベ数である。
（数値実施例１）
〈視線検出系〉
【００６０】
【外１】
〈ＴＡＬ，ＡＬデータ〉
TAL2,4:K=460.670, A=-0.227E-5, B=0.179E-7, C=-0.453E-10, D=0.429E-13
TAL3 : K=1.105, A=-0.709E-6, B=-0.273E-8,C=-0.191E-11, D=0.631E-15
AL10 : K=-3.858, A=0.851E-2, B=-0.101, C=0.149, D=-0.755E-1
AL11 : K=-0.113, A=0.195, B=-0.590, C=0.471, D=-0.138
(1)α=0 (5)|Rx1/Ry1|=0.10 (8) 2fx/Rx2=-1.09 (11) E=26.3
(2)｜β｜=0.10 |Rx2/Ry2|=0.67 (9) 2fy/Ry1=-0.04
(3)｜fy/fx ｜=1.00 (7) 2fx/Rx1=-0.88 (10)2fy/Ry2=-0.36
（数値実施例２）
〈視線検出系〉
【００６１】
【外２】
〈ＴＡＬ，ＡＬデータ〉
TAL2,4:K=460.670, A=-0.227E-5, B=0.179E-7, C=-0.453E-10, D=0.429E-13
TAL3 : K=1.105, A=-0.709E-6, B=0.273E-8, C=-0.191E-11, D=0.631E-15
AL6 : K=-3.858, A=0.851E-2, B=-0.101, C=0.149, D=-0.755E-1
AL7 : K=-0.113, A=0.195, B=-0.590, C=0.471, D=-0.138
(1)α=0 (5)|Rx1/Ry1|=0.10 (8) 2fx/Rx2=-1.09 (11) E=26.3
(2)｜β｜=0.05 |Rx2/Ry2|=0.67 (9) 2fy/Ry1=-0.04
(3)｜fy/fx ｜=1.00 (7) 2fx/Rx1=-0.88 (10)2fy/Ry2=-0.36
（数値実施例３）
〈視線検出系〉
【００６２】
【外３】
〈ＡＡＬ，ＡＬデータ〉
AAL2,4:
Ky=-13763.5, AR=-0.170E-4, BR=0.406E-7, CR=-0.154E-9, DR=0.223E-12
Kx=-3.896, AP=-0.245, BP=0.416E-1, CP=0.870E-1, DP=-0.203E-1
AAL3:
Ky=1.238, AR=-0.317E-5, BR=0.248E-8, CR=-0.179E-11, DR=0.608E-15
Kx=0.279, AP=-0.249, BP=0.327E-2, CP=-0.192E-1, DP=0.181E-1
AAL5:
Ky=6.825, AR=-0.114E-4, BR=-0.402E-6, CR=0.113E-8, DR=-0.411E-10
Kx=-1.33E+6, AP=0.273E+1, BP=0.155E+1, CP=0.160E+1, DP=-0.644
AL10 : K=-3.858, A=0.851E-2, B=-0.101, C=0.149, D=-0.755E-1
AL11 : K=-0.113, A=0.195, B=-0.590, C=0.471, D=-0.138
(1)α=-10.5 (5)|Rx1/Ry1|=0.01 (8) 2fx/Rx2=-1.47 (11) E=34.8
(2)｜β｜=0.12 |Rx2/Ry2|=0.52 (9) 2fy/Ry1=-0.02
(3)｜fy/fx ｜=0.96 (7) 2fx/Rx1=-1.5 (10)2fy/Ry2=-0.73
（数値実施例４）
〈視線検出系〉
【００６３】
【外４】
〈ＡＡＬ，ＡＬデータ〉
AAL2,4:
Ky=-361850, AR=-0.183E-4, BR=0.381E-7, CR=-0.114E-9, DR=0.153E-12
Kx=-13.802, AP=-0.317, BP=-0.602E-1, CP=0.272E-1, DP=-0.211E-1
AAL3:
Ky=1.227, AR=-0.209E-5, BR=0.308E-8, CR=-0.190E-11, DR=0.505E-15
Kx=0.172, AP=0.472, BP=0.553E-1, CP=-0.265E-1, DP=0.751E-2
AAL5:
Ky=987000, AR=-0.871E-5, BR=-0.264E-6, CR=0.469E-13, DR=0.137E-11
Kx=-70.169, AP=41.763, BP=-0.395, CP=0.183E+2, DP=-0.988
AL7 : K=-3.858, A=0.851E-2, B=-0.101, C=0.149, D=-0.755E-1
AL8 : K=-0.113, A=0.195, B=-0.590, C=0.471, D=-0.138
(1)α=1.5 (5)|Rx1/Ry1|=0.005 (8) 2fx/Rx2=-1.22 (11) E=33.1
(2)｜β｜=0.10 |Rx2/Ry2|=0.56 (9) 2fy/Ry1=-0.46
(3)｜fy/fx ｜=1.00 (7) 2fx/Rx1=-0.93 (10)2fy/Ry2=-0.61
（数値実施例５）
〈視線検出系〉
【００６４】
【外５】
〈ＡＡＬ，ＡＬデータ〉
AAL2,4:
Ky=-387540, AR=-0.183E-4, BR=0.378E-7, CR=-0.117E-9, DR=0.158E-12
Kx=-20.897, AP=-0.300, BP=-0.548E-1, CP=0.326E-1, DP=-0.228E-1
AAL3:
Ky=1.213, AR=-0.224E-5, BR=0.305E-8, CR=-0.190E-11, DR=0.500E-15
Kx=0.165, AP=-0.464, BP=0.630E-1, CP=-0.251E-1, DP=0.380E-2
AAL5:
Ky=559.028, AR=-0.675E-5, BR=0.182E-6, CR=0.212E-12, DR=-0.189E-10
Kx=-99429.4, AP=0.486E+1, BP=-0.125E+1, CP=0.111E+2, DP=-0.789
AL11 : K=-3.858, A=0.851E-2, B=-0.101, C=0.149, D=-0.755E-1
AL12 : K=-0.113, A=0.195, B=-0.590, C=0.471, D=-0.138
(1)α=0.28 (5)|Rx1/Ry1|=0.005 (8) 2fx/Rx2=-1.26 (11) E=33.0
(2)｜β｜=0.11 |Rx2/Ry2|=0.55 (9) 2fy/Ry1=-0.005
(3)｜fy/fx ｜=1.00 (7) 2fx/Rx1=-0.95 (10)2fy/Ry2=-0.69
【００６５】
【発明の効果】
本発明によれば以上のように、ヘッドマウントディスプレー等の表示装置における表示手段で表示された映像情報を観察する観察系とその一部に設ける観察者の視線を検出する視線検出系の構成を適切に設定することにより、装置全体の小型化を図りつつ、視線情報に基づいて観察系の表示手段で表示する映像情報の観察状態を種々と制御することができる視線検出系を有した表示装置を達成することができる。
【図面の簡単な説明】
【図１】 本発明の実施例１の観察系の光路を示す概略図
【図２】 本発明の実施例１の視線検出系の光路を示す概略図
【図３】 本発明の実施例１の視線検出系の光路を示す概略図
【図４】 本発明の表示装置を観察者に装着したときの説明図
【図５】 本発明の表示装置を観察者に装着したときの説明図
【図６】 図１の一部分の拡大説明図
【図７】 本発明の実施例２のプリズム体近傍の要部概略図
【図８】 本発明の実施例３のプリズム体近傍の要部概略図
【図９】 本発明の実施例４のプリズム体近傍の要部概略図
【図１０】 本発明の実施例５のプリズム体近傍の要部概略図
【図１１】 本発明の実施例４の観察系と視線検出系の光路を示す概略図
【図１２】 本発明の実施例５の観察系と視線検出系の光路を示す概略図
【符号の説明】
１ 前面
２ 凹面
３ プリズム体
４ 表示手段
５ 入射面
６ 後面
７ ダイクロイックミラー面
８ 結像光学系
９ 撮像素子
１０ 光学部材
１０１ 観察者
１０２ 光源手段
１０３ 眼球
１０４ 光軸
１０５ 映像情報供給手段
【産業上の利用分野】
本発明は視線検出系を有した表示装置に関し、特に情報視認者（観察者）の頭部に装着して表示手段で表示した映像情報（表示情報）を情報視認者の眼球に導光して該映像情報を観察するようにした、所謂ヘッドマウントディスプレーと称されるメガネ型、ゴーグル型、ヘルメット型の表示装置において、該表示手段で映像情報を表示して観察する際に、該映像情報を観察者の眼球の動き、即ち視線を検知する視線検出系からの信号を利用して種々と制御するようにしたものである。
【０００２】
【従来の技術】
従来より情報視認者（観察者）の頭部に装着して表示手段に表示した映像情報を観察者の眼球に導光して観察するようにしたヘッドマウントディスプレーと称される表示装置が種々提案されている。そしてこのような表示装置に視線検出系、即ち観察者が観察している注視点方向の軸、所謂視線（視軸）を観察者の眼球面上を照明したときに得られる眼球の反射像を利用して検出するようにした視線検出系を設け、該視線検出系で得られる視線情報を利用して表示装置に表示された映像情報を制御するようにした装置が、例えば特開平３−１０１７０９号公報で提案されている。
【０００３】
同公報ではＣＲＴ等の表示手段で表示された映像情報を結像系で１次結像面に結像させ、該１次結像面に結像させた映像情報を接眼系を介して観察するようにした光学系を用いている。一方、赤外光を発する光源を設け、該光源からの赤外光を該光学系の一部を利用して観察者の眼球に入射させている。そして眼球からの反射光束を該光学系の一部と赤外光を透過し、可視光を反射するダイクロイックミラーを介して撮像素子面上に導光し、該撮像素子からの出力信号を用いて眼球の視線（動き）を検知している。
【０００４】
【発明が解決しようとする課題】
一般にヘッドマウントディスプレーとしての表示装置は、情報視認者の頭部へ装着して個人的に用いるので装置全体が小型軽量であることが望ましい。
【０００５】
前述の特開平３−１０１７０９号公報で提案されている装置においては、表示手段で表示された映像情報を一度結像させる１次結像方式の光学系を用いている。このため視線検出系には専用の結像系が不要となるが、光学系全体が複雑化し、観察者の頭部に装着する装置としては大型化する傾向があった。
【０００６】
本発明はヘッドマウントディスプレー等の表示装置における表示手段で表示された映像情報を観察する観察系とその一部に設ける観察者の視線を検出する視線検出系の構成を適切に設定することにより、装置全体の小型化を図りつつ、視線情報に基づいて観察系の表示手段で表示する映像情報の観察状態を種々と制御することができる視線検出系を有した表示装置の提供を目的とする。
【０００７】
【課題を解決するための手段】
請求項１の発明の視野検出手段を有した表示装置は、入射面と前面と凹面とを含むプリズム体を備えた光学系と、表示手段とを有し、
該表示手段で表示された可視域の映像情報からの光束を該入射面に入射させ、該入射面からの光束を前記前面にて全反射させ、該前面からの光束を該凹面で反射させ、該凹面で反射した光束を該前面を通過させることによって、該映像情報を途中結像させずに観察者の眼球に導光し、該映像情報の虚像を観察する観察系と、
光源手段と、前記光学系とは独立に設けた結像レンズと該プリズム体の前面及び凹面とを含む結像光学系と、撮像手段とを有し、該観察者の眼球に該光源手段からの非可視光を入射させ、該結像光学系により、該眼球からの反射光束を該撮像手段面上に導光し、該撮像手段からの信号を用いて該観察者の眼球の視線を検出する視線検出系とを設け、
該視線検出系からの視線情報を利用して該表示手段に表示する映像情報を制御する視線検出系を有した表示装置において、
該プリズム体の前面及び凹面は、いずれもアジムス角度によって屈折力が異なる曲率を有した面であると共に、該結像光学系の前記観察者の眼球から前記撮像手段面への結像倍率をβとしたとき、
０．０２＜｜β｜＜０．１８
なる条件を満足することを特徴としている。
【０００８】
請求項２の発明は、請求項１の発明において、前記視線検出系は、観察者の眼球からの反射光束を前記プリズム体の前面及び凹面とダイクロイックミラー面を介した後に前記結像光学系を構成する前記光学系とは独立に設けた結像レンズに導光していることを特徴としている。
【０００９】
請求項３の発明のヘッドアップディスプレイ装置は、請求項１又は２に記載の視線検出系を有した表示装置を用いたことを特徴としている。
【００１８】
【実施例】
図１，図２は本発明の実施例１に係る観察系と視線検出系の光路を示す要部断面図である。図３は図２の要部平面図である。図４，図５は本発明を観察者の頭部に装着したときの概略図である。
【００１９】
図中、１０１は観察者、４は表示手段であり液晶表示素子等から成り可視域の映像情報を表示している。表示手段４はＣＤ−ＲＯＭ１０５やビデオカメラ１０６等の映像情報供給手段からの信号に基づいて映像情報を表示している。１０は透明の平行平面板より成る光学部材であり、その内部にはビームスプリッターとしての可視域通過で赤外域反射のダイクロイックミラー面７が設けられている。尚、ダイクロイックミラー面７の代わりに単なるハーフミラー面を用いても良い。
【００２０】
３はプリズム体であり、トーリック非球面より成る一部に全反射を利用した前面１、透明又は非透明の平面又は曲率を有した面より成る後面６、プリズム体３中に設けた半透過又は鏡面反射のトーリック非球面より成る凹面２、そして入射面５を有している。１０４は光軸（中心軸）であり、これは後述する眼球１０３の光軸と一致している。表示手段４から眼球１０３に至る光路中の各要素で、表示手段４で表示した映像情報の虚像を観察する観察系を構成している。１０２は光源手段であり、観察者１０１の眼球１０３の視線を検出する為に眼球１０３に赤外光（非可視光，波長８８０ｎｍ付近）を投光している。
【００２１】
８は結像光学系を構成する結像レンズであり、図２に示すように光源手段１０２からの赤外光を観察者１０１の眼球１０３に照射したとき、該眼球１０３の角膜からの反射光による角膜反射像と瞳孔等の結像位置等をプリズム体３と光学部材１０のダイクロイックミラー面７を介してＣＣＤ等の撮像素子９面上に結像している。結像レンズ８は表示手段４の映像情報の虚像を観察する観察系とは独立に設けている。光源手段１０２からの眼球１０３を介して撮像素子９に至る光路中の各要素で観察者１０１の眼球１０３の視線を検出する視線検出系を構成している。本実施例では以上のように、観察系と視線検出系の各要素を設定することにより、２つの系を用いたときの光学系全体の小型化を容易にしている。
【００２２】
次に図１を用いて表示手段４に表示した映像情報の虚像を観察する観察系について説明する。本実施例では表示手段４で表示された映像情報に基づく光束（可視光束）を光学部材１０のダイクロイックミラー面７を通過させプリズム体３にその入射面５より導入している。そしてプリズム体３の前面１で全反射させた後に凹面２で反射集光して前面１を通過させて観察者１０１の眼球１０３に導光している。このとき前面１、凹面２の曲率を適切に設定することにより、表示手段４に表示した映像情報を途中結像させることなく、即ち１次結像面を設けずに該映像情報の虚像を観察者１０１の前方に表示している。
【００２３】
このように本実施例では観察系を虚像タイプより構成し、これにより観察者１０１は該映像情報の虚像を観察するようにしている。尚、本実施例において凹面２を半透過面、後面６を透過面とし、後面６の曲率を適切に設定することにより、外景の画像情報と表示手段４の映像情報の虚像とを空間的に重畳して双方を同一視野で同一視度として観察するようにしても良い。
【００２４】
本実施例の観察系では、図４や図５に示すように観察者１０１が有しているＣＤ−ＲＯＭ１０５やビデオカメラ１０６等の映像情報供給手段からの映像情報を表示手段４に表示する際に、視線検出系で得られた観察者の眼球の視線情報を利用して、例えばオートフォーカス（ビデオカメラの焦点合わせ）、電子ズーム（視線方向の情報を電気的に拡大）、ズーム駆動（視線で抽出した画面寸法となるようにビデオカメラの焦点距離ｆを演算し、その焦点距離に合わす）、そしてメニュー視線選択（測光、ストロボ、パノラマ等）等の制御をしている。
【００２５】
次に図２を用いて観察者１０１の眼球１０３の視線を検出する視線検出系について説明する。光源手段１０２からの赤外光で観察者１０１の眼球１０３を照明する。眼球１０３の角膜で反射した赤外光をプリズム体３の前面１を通過させ、凹面２で反射させて前面１で全反射させた後に、入射面５より射出して光学部材１０に導光している。そして光学部材１０のダイクロイックミラー面７で反射させ、次いで光学部材１０の面１０ａで全反射させた後に結像レンズ８により撮像素子９に入射させている。
【００２６】
ここで結像レンズ８は観察系を虚像タイプとした為に結像作用がない為に用いている。これにより撮像素子９面上に眼球１０３の角膜反射像や瞳孔等の眼球１０３に関する像を形成している。そして該撮像素子９からの信号を用いて眼球１０３の視線を検出している。
【００２７】
本実施例における眼球の視線の検出方法としては、例えば本出願人が先に提案した特開平１−２７４７３６号公報や特開平３−１１４９２号公報等で開示した方法を用いている。
【００２８】
図６（Ａ），（Ｂ）は本実施例で用いているプリズム体３の要部断面図である。図６（Ａ），（Ｂ）ではプリズム体３を観察系として用いた場合を示すが、視線検出系として用いる場合は光路が逆となるだけであり、光学作用は同じである。表示手段４の表示面から垂直に発した光束４ａはプリズム体３の入射面５を介してトーリック非球面より成る前面１に入射角度４３度以上で前面１で全反射するように入射させている。前面１で全反射した光束４ａをトーリック非球面より成る凹面２に入射角度４３度以下で反射させ前面１より射出させている。
【００２９】
前面１は曲率を有しており、一部で全反射作用を行い、他の一部で透過作用をするようにしている。これにより２つの曲面を持つのと等価とし、凹面２と合わせて全体として３つの曲率を有した反射光学系を構成している。これにより光学系全体の焦点距離を短くし（後述する数値実施例では２０〜２５ｍｍ）、光学系全体の小型化を図っている。
【００３０】
本実施例では観察系と視線検出系にアジムス角度により屈折力が異なる、即ちアジムス角度により曲率が異なるトーリック面又はトーリック非球面又はアナモフィック非球面を前面１と凹面２そして入射面５に適用している。これにより凹面２への入射光線と反射光線のなす角度を大きくして光学系全体の小型化を図ったときに発生してくる偏心収差を良好に補正している。
【００３１】
前面１と後面６の曲率は光が双方の面を通過するとき、屈折力が小さいメニスカス状のレンズ形状となるようにしている。これにより後面６を介して外の風景等の画像情報を観察するときに画像情報が良好に観察されるようにしている。
【００３２】
子線断面内において前面１が負の屈折力を有するようにして凹面２の正の屈折力で発生する諸収差を補正している。ここで子線とは、設計値の眼球中心に光が導かれる表示手段の画像中心からの光路を含む面と垂直な面である（図６の紙面と垂直方向）。
【００３３】
尚、本実施例においては前面１の母線断面も負の屈折力を有するようにしても良く、これによれば子線断面を負の屈折力としたのと同様の効果が得られる。ここで母線断面とは、設計値の眼球中心に光が導かれる表示手段の画像中心からの光路を含む面である（図６の紙面内）。
【００３４】
図６（Ｂ）に示すように、前面１の面頂点における母線断面での接戦Ｌと眼球の光軸１０４と垂直で前面１の面頂点を通る線ｍとのなす角度（チルド角度）をαとしたとき、
｜α｜≦２０° ・・・・・・（１）
となるようにしている。条件式（１）の如く、角度αを２０度より小さくして、これにより表示手段４の映像情報の虚像と外の風景等の画像情報を空間的に重畳させて双方を観察するときの歪みを少なくし、かつ光軸方向のプリズムの厚さを薄くしている。
【００３５】
次に本実施例の表示手段４から眼球１０３に至る光路中に設けた各要素（入射面５、前面１、凹面２）を有する観察系及び視線検出系の前述以外の特徴について説明する。
【００３６】
(２−１)本実施例において結像レンズ８を含む結像光学系の眼球１０３から撮像素子９への結像倍率βは、
０．０２＜｜β｜＜０．１８ ・・・・・・（２）
としている。ここで条件式（２）の上限値を越えると眼球像の倍率が大きくなりすぎ撮像素子の有効径が増大してくるので良くない。また条件式（２）の下限値を越えると視線検出系の焦点距離をより短くしなければならず、この結果、諸収差の発生が多くなってきて良好なる眼球像が得られなくなってくる。
【００３７】
（２−２）観察系における母線断面と子線断面の全系の焦点距離を各々ｆｙ，ｆｘとしたとき、
０．９＜｜ｆｙ／ｆｘ｜＜１．１ ・・・・・・（３）
なる条件を満足するようにしている。これにより、どのアジムス角度においても全系の焦点距離が略一定となるようにして、表示手段で表示された映像情報の母線方向と子線方向のアスペクト比の補正を不要としている。
【００３８】
（２−３）凹面２の母線断面と子線断面の近軸曲率半径を各々Ｒｙ，Ｒｘとしたとき、
｜Ｒｘ｜＜｜Ｒｙ｜ ・・・・・・（４）
となる条件を満足するようにしている。観察系を小型にするには母線断面で凹面の光軸を眼球の光軸から時計方向に大きくチルトさせる必要がある。そうすると偏心収差が多く発生してくる。これに対して子線断面は偏心させるところが少ないので偏心収差の発生が少ない。そこで本実施例では条件式（４）で示すように、母線断面の曲率半径Ｒｙを子線断面の曲率半径Ｒｘより大きくして、即ち母線方向の屈折力を子線方向の屈折力に比べて弱くして母線断面での偏心収差を小さくしている。
【００３９】
特に本実施例において条件式（４）を
｜Ｒｘ／Ｒｙ｜＜０．８５ ・・・・・・（５）
の如く設定するのが偏心収差の補正上好ましい。
【００４０】
（２−４）プリズム体３の入射面５をトーリック面又はアナモフィック面としたときは、母線断面と子線断面の近軸曲率半径を各々Ｒｙ５，Ｒｘ５としたとき、
｜Ｒｙ５｜＜｜Ｒｘ５｜ ・・・・・・（６）
としている。入射面５の母線断面は比較的偏心収差の発生が少ない。そこで凹面２と前面１の母線断面の屈折力をあまり強くすることができない代わりに、入射面５の母線断面の屈折力を強くして、これにより観察系全体としてどのアジムス角度でも焦点距離が略一定となるようにしている。
【００４１】
（２−５）子線断面内において、光束が前面１で全反射するときのその領域での屈折力が負、凹面２の屈折力が正、前面１で透過するときのその領域での屈折力が負となるようにして良好なる光学性能を得ている。また入射面５に屈折力を付与するときは母線断面を正とするのが良く、これによれば全体としての母線断面での正の屈折力の不足を補うことができる。
【００４２】
（２−６）母線断面内において、光束が前面１で全反射するときのその領域での屈折力が負、凹面２の屈折力が正となるようにして良好なる光学性能を得ている。また入射面５に屈折力を付与するときは子線断面内において正の屈折力とするのが良く、これによれば子線断面内での収差を少なくすることができる。
【００４３】
（２−７）子線断面内において、前面１の光束が全反射するときのその領域と凹面２の曲率半径を各々Ｒｘ１，Ｒｘ２、全系の焦点距離をｆｘとしたとき、
０．１＜｜２ｆｘ／Ｒｘ１｜＜２．０ ・・・・・・（７）
０．５＜｜２ｆｘ／Ｒｘ２｜＜２．５ ・・・・・・（８）
としている。条件式（７），（８）の上限値は曲率半径Ｒｘ１，Ｒｘ２の屈折力が強くなる方向、逆に下限値は屈折力が弱くなる方向である。条件式（７）の上限値を越えると歪曲収差の補正が難しくなってくる。また下限値を越えると全反射条件を満足するのが難しくなってくる。条件式（８）の上限値を越えると非点収差の補正が難しくなってくる。また下限値を越えると光学系全体が大型化、特に光軸と平行な方向での厚さが厚くなってくるので良くない。
【００４４】
（２−８）母線断面内において、前面１の光束が全反射する領域と凹面２の曲率半径を各々Ｒｙ１，Ｒｙ２、全系の焦点距離をｆｙとしたとき
０＜｜２ｆｙ／Ｒｙ１｜＜１．０ ・・・・・・（９）
０．２＜｜２ｆｙ／Ｒｙ２｜＜２．５ ・・・・・・（１０）
としている。条件式（９），（１０）の上限値は曲率半径Ｒｙ１，Ｒｙ２の屈折力が強くなる方向、逆に下限値は屈折力が弱くなる方向である。条件式（９）の上限値を越えると偏心歪曲収差の補正が難しくなり、また下限値を越えると全反射条件を満足するのが難しくなってくる。条件式（１０）の上限値を越えると偏心非点収差の発生が多くなり、また下限値を越えるとレンズ全長が長くなり光学系全体が大型化してくるので良くない。
【００４５】
（２−９）
凹面２は眼球の光軸１０４より母線断面（Ｙ方向）で表示手段４側へ平行偏心している。これにより母線断面内での偏心歪曲収差を小さく抑えている。このときの平行偏心のシフト量（図６（Ｂ）に示すように光軸１０４から凹面２の面頂点までの距離）をＥとしたとき、
２５≦Ｅ ・・・・・・（１１）
となるようにして偏心歪曲収差を良好に補正している。
【００４６】
（２−１０）（１）式におけるチルト角度αを、
−１５°≦α≦５° ・・・・・・（１２）
としている。これにより光学系全体を効果的に小型にしている。条件式（１２）の下限値を越えると映像情報の歪みが大きくなり、また上限値を越えるとプリズム体３の光軸１０４方向の厚みが増加してくるので良くない。
【００４７】
図７〜図１０は本発明の実施例２〜５のプリズム体３近傍の視線検出系の一部を変更したときの要部概略図である。
【００４８】
図７の実施例２では実施例１に比べて、光学部材１０を観察者の眼球１０３とプリズム体３との間に設けて、それに伴い結像レンズ８と撮像素子９とを設けている点が異なっており、その他の構成は同じである。本実施例では視線検出系に偏心面がないので視線を高精度に検出することができるという特長がある。
【００４９】
図８の実施例３では実施例１に比べて、プリズム体３の内部にダイクロイック面７を傾けて設け、それに伴い結像レンズ８と撮像素子９を設けている点が異なっており、その他の構成は同じである。本実施例では部品点数を少なくして、光学系全体のより小型化を図っている。
【００５０】
図９の実施例４では実施例１に比べて、光学部材１０をプリズム体３よりも眼球１０３に対して遠方に配置している。そして凹面２を可視光反射で赤外光透過のダイクロイック膜を施している。また光学部材１０に半透過、または１００％反射またはダイクロイック膜を施した反射面１１を傾けて設け、それに伴い結像レンズ８と撮像素子９を設けている点が異なっており、その他の構成は同じである。本実施例の部材を観察者の頭部に装着したときの概略図を図１１に示す。
【００５１】
図１０の実施例５では実施例１に比べて、平行平面板より成る光学部材１０を用いずにプリズム体３の入射面５に可視光透過で赤外光反射のダイクロイックミラー７を設け、それに伴い結像レンズ８と撮像素子９を設けている点が異なっており、その他の構成は同じである。本実施例の部材を観察者の頭部に装着したときの概略図は図１２に示す。
【００５２】
尚、以上の各実施例の視線検出系を有した表示装置は、所謂ヘッドアップディスプレイ装置にそのまま適用することができる。
【００５３】
次に本実施例の数値実施例を示す。数値実施例においては、図１〜図３を参照して各要素を次のようにして示している。
（１）眼球１０３を座標系の原点（０，０）
（２）眼球１０３から光線を追跡し、視線検出系において、
ｉ＝１ 眼球
ｉ＝２ 前面１（透過面）
ｉ＝３ 凹面２
ｉ＝４ 前面１（全反射面）
ｉ＝５ 入射面５
ｉ＝６ 光学部材１０の入射面
ｉ＝７ ダイクロイック面
ｉ＝８
ｉ＝９ 光学部材１０の射出面
ｉ＝１０ 結像レンズの入射面
ｉ＝１１ 結像レンズの射出面
ｉ＝１２ 撮像素子
観察系において、
ｉ＝８ 映像情報の入射面
ｉ＝９ 映像情報の表示面
（３）ＴＡＬはトーリック非球面
ＡＡＬはアナモフィック非球面を表わしている。
【００５４】
ＴＡＬの定義は母線断面（Ｙ，Ｚ断面）が下記非球面式
【００５５】
【数１】
【００５６】
またＡＡＬの定義式は
【００５７】
【数２】
【００５８】
また本発明に使用しているＡＬは非球面（回転対称）であり、ＡＬの定義式は
【００５９】
【数３】
（数値実施例１）
〈視線検出系〉
【００６０】
【外１】
TAL2,4:K=460.670, A=-0.227E-5, B=0.179E-7, C=-0.453E-10, D=0.429E-13
TAL3 : K=1.105, A=-0.709E-6, B=-0.273E-8,C=-0.191E-11, D=0.631E-15
AL10 : K=-3.858, A=0.851E-2, B=-0.101, C=0.149, D=-0.755E-1
AL11 : K=-0.113, A=0.195, B=-0.590, C=0.471, D=-0.138
(1)α=0 (5)|Rx1/Ry1|=0.10 (8) 2fx/Rx2=-1.09 (11) E=26.3
(2)｜β｜=0.10 |Rx2/Ry2|=0.67 (9) 2fy/Ry1=-0.04
(3)｜fy/fx ｜=1.00 (7) 2fx/Rx1=-0.88 (10)2fy/Ry2=-0.36
（数値実施例２）
〈視線検出系〉
【００６１】
【外２】
TAL2,4:K=460.670, A=-0.227E-5, B=0.179E-7, C=-0.453E-10, D=0.429E-13
TAL3 : K=1.105, A=-0.709E-6, B=0.273E-8, C=-0.191E-11, D=0.631E-15
AL6 : K=-3.858, A=0.851E-2, B=-0.101, C=0.149, D=-0.755E-1
AL7 : K=-0.113, A=0.195, B=-0.590, C=0.471, D=-0.138
(1)α=0 (5)|Rx1/Ry1|=0.10 (8) 2fx/Rx2=-1.09 (11) E=26.3
(2)｜β｜=0.05 |Rx2/Ry2|=0.67 (9) 2fy/Ry1=-0.04
(3)｜fy/fx ｜=1.00 (7) 2fx/Rx1=-0.88 (10)2fy/Ry2=-0.36
（数値実施例３）
〈視線検出系〉
【００６２】
【外３】
AAL2,4:
Ky=-13763.5, AR=-0.170E-4, BR=0.406E-7, CR=-0.154E-9, DR=0.223E-12
Kx=-3.896, AP=-0.245, BP=0.416E-1, CP=0.870E-1, DP=-0.203E-1
AAL3:
Ky=1.238, AR=-0.317E-5, BR=0.248E-8, CR=-0.179E-11, DR=0.608E-15
Kx=0.279, AP=-0.249, BP=0.327E-2, CP=-0.192E-1, DP=0.181E-1
AAL5:
Ky=6.825, AR=-0.114E-4, BR=-0.402E-6, CR=0.113E-8, DR=-0.411E-10
Kx=-1.33E+6, AP=0.273E+1, BP=0.155E+1, CP=0.160E+1, DP=-0.644
AL10 : K=-3.858, A=0.851E-2, B=-0.101, C=0.149, D=-0.755E-1
AL11 : K=-0.113, A=0.195, B=-0.590, C=0.471, D=-0.138
(1)α=-10.5 (5)|Rx1/Ry1|=0.01 (8) 2fx/Rx2=-1.47 (11) E=34.8
(2)｜β｜=0.12 |Rx2/Ry2|=0.52 (9) 2fy/Ry1=-0.02
(3)｜fy/fx ｜=0.96 (7) 2fx/Rx1=-1.5 (10)2fy/Ry2=-0.73
（数値実施例４）
〈視線検出系〉
【００６３】
【外４】
AAL2,4:
Ky=-361850, AR=-0.183E-4, BR=0.381E-7, CR=-0.114E-9, DR=0.153E-12
Kx=-13.802, AP=-0.317, BP=-0.602E-1, CP=0.272E-1, DP=-0.211E-1
AAL3:
Ky=1.227, AR=-0.209E-5, BR=0.308E-8, CR=-0.190E-11, DR=0.505E-15
Kx=0.172, AP=0.472, BP=0.553E-1, CP=-0.265E-1, DP=0.751E-2
AAL5:
Ky=987000, AR=-0.871E-5, BR=-0.264E-6, CR=0.469E-13, DR=0.137E-11
Kx=-70.169, AP=41.763, BP=-0.395, CP=0.183E+2, DP=-0.988
AL7 : K=-3.858, A=0.851E-2, B=-0.101, C=0.149, D=-0.755E-1
AL8 : K=-0.113, A=0.195, B=-0.590, C=0.471, D=-0.138
(1)α=1.5 (5)|Rx1/Ry1|=0.005 (8) 2fx/Rx2=-1.22 (11) E=33.1
(2)｜β｜=0.10 |Rx2/Ry2|=0.56 (9) 2fy/Ry1=-0.46
(3)｜fy/fx ｜=1.00 (7) 2fx/Rx1=-0.93 (10)2fy/Ry2=-0.61
（数値実施例５）
〈視線検出系〉
【００６４】
【外５】
AAL2,4:
Ky=-387540, AR=-0.183E-4, BR=0.378E-7, CR=-0.117E-9, DR=0.158E-12
Kx=-20.897, AP=-0.300, BP=-0.548E-1, CP=0.326E-1, DP=-0.228E-1
AAL3:
Ky=1.213, AR=-0.224E-5, BR=0.305E-8, CR=-0.190E-11, DR=0.500E-15
Kx=0.165, AP=-0.464, BP=0.630E-1, CP=-0.251E-1, DP=0.380E-2
AAL5:
Ky=559.028, AR=-0.675E-5, BR=0.182E-6, CR=0.212E-12, DR=-0.189E-10
Kx=-99429.4, AP=0.486E+1, BP=-0.125E+1, CP=0.111E+2, DP=-0.789
AL11 : K=-3.858, A=0.851E-2, B=-0.101, C=0.149, D=-0.755E-1
AL12 : K=-0.113, A=0.195, B=-0.590, C=0.471, D=-0.138
(1)α=0.28 (5)|Rx1/Ry1|=0.005 (8) 2fx/Rx2=-1.26 (11) E=33.0
(2)｜β｜=0.11 |Rx2/Ry2|=0.55 (9) 2fy/Ry1=-0.005
(3)｜fy/fx ｜=1.00 (7) 2fx/Rx1=-0.95 (10)2fy/Ry2=-0.69
【００６５】
【発明の効果】
本発明によれば以上のように、ヘッドマウントディスプレー等の表示装置における表示手段で表示された映像情報を観察する観察系とその一部に設ける観察者の視線を検出する視線検出系の構成を適切に設定することにより、装置全体の小型化を図りつつ、視線情報に基づいて観察系の表示手段で表示する映像情報の観察状態を種々と制御することができる視線検出系を有した表示装置を達成することができる。
【図面の簡単な説明】
【図１】 本発明の実施例１の観察系の光路を示す概略図
【図２】 本発明の実施例１の視線検出系の光路を示す概略図
【図３】 本発明の実施例１の視線検出系の光路を示す概略図
【図４】 本発明の表示装置を観察者に装着したときの説明図
【図５】 本発明の表示装置を観察者に装着したときの説明図
【図６】 図１の一部分の拡大説明図
【図７】 本発明の実施例２のプリズム体近傍の要部概略図
【図８】 本発明の実施例３のプリズム体近傍の要部概略図
【図９】 本発明の実施例４のプリズム体近傍の要部概略図
【図１０】 本発明の実施例５のプリズム体近傍の要部概略図
【図１１】 本発明の実施例４の観察系と視線検出系の光路を示す概略図
【図１２】 本発明の実施例５の観察系と視線検出系の光路を示す概略図
【符号の説明】
１ 前面
２ 凹面
３ プリズム体
４ 表示手段
５ 入射面
６ 後面
７ ダイクロイックミラー面
８ 結像光学系
９ 撮像素子
１０ 光学部材
１０１ 観察者
１０２ 光源手段
１０３ 眼球
１０４ 光軸
１０５ 映像情報供給手段
Claims (3)
- 入射面と前面と凹面とを含むプリズム体を備えた光学系と、表示手段とを有し、
該表示手段で表示された可視域の映像情報からの光束を該入射面に入射させ、該入射面からの光束を前記前面にて全反射させ、該前面からの光束を該凹面で反射させ、該凹面で反射した光束を該前面を通過させることによって、該映像情報を途中結像させずに観察者の眼球に導光し、該映像情報の虚像を観察する観察系と、
光源手段と、前記光学系とは独立に設けた結像レンズと該プリズム体の前面及び凹面とを含む結像光学系と、撮像手段とを有し、該観察者の眼球に該光源手段からの非可視光を入射させ、該結像光学系により、該眼球からの反射光束を該撮像手段面上に導光し、該撮像手段からの信号を用いて該観察者の眼球の視線を検出する視線検出系とを設け、
該視線検出系からの視線情報を利用して該表示手段に表示する映像情報を制御する視線検出系を有した表示装置において、
該プリズム体の前面及び凹面は、いずれもアジムス角度によって屈折力が異なる曲率を有した面であると共に、該結像光学系の前記観察者の眼球から前記撮像手段面への結像倍率をβとしたとき、
０．０２＜｜β｜＜０．１８
なる条件を満足することを特徴とする視線検出系を有した表示装置。 - 前記視線検出系は、観察者の眼球からの反射光束を前記プリズム体の前面及び凹面とダイクロイックミラー面を介した後に前記結像光学系を構成する前記光学系とは独立に設けた結像レンズに導光していることを特徴とする請求項１の視線検出系を有した表示装置。
- 請求項１又は２に記載の視線検出系を有した表示装置を用いたことを特徴とするヘッドアップディスプレイ装置。
Priority Applications (12)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP20426894A JP3847799B2 (ja) | 1994-08-05 | 1994-08-05 | 視線検出系を有した表示装置 |
| DE69534221T DE69534221T2 (de) | 1994-06-13 | 1995-06-12 | Anzeigevorrichtung |
| EP19950109058 EP0687932B1 (en) | 1994-06-13 | 1995-06-12 | Display device |
| US08/959,285 US7262919B1 (en) | 1994-06-13 | 1997-10-24 | Head-up display device with curved optical surface having total reflection |
| US09/333,998 US7345822B1 (en) | 1994-06-13 | 1999-06-16 | Head-up display device with curved optical surface having total reflection |
| KR1019990041863A KR100254730B1 (ko) | 1994-06-13 | 1999-09-29 | 관찰장치 |
| US09/511,243 US7355795B1 (en) | 1994-06-13 | 2000-02-23 | Head-up display device with curved optical surface having total reflection |
| US09/768,306 US7253960B2 (en) | 1994-06-13 | 2001-01-25 | Head-up display device with rotationally asymmetric curved surface |
| US11/766,294 US7567385B2 (en) | 1994-06-13 | 2007-06-21 | Head-up display device with curved optical surface having total reflection |
| US11/928,518 US7495836B2 (en) | 1994-06-13 | 2007-10-30 | Display device |
| US11/928,561 US7505207B2 (en) | 1994-06-13 | 2007-10-30 | Display device |
| US11/928,421 US7538950B2 (en) | 1994-06-13 | 2007-10-30 | Display device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP20426894A JP3847799B2 (ja) | 1994-08-05 | 1994-08-05 | 視線検出系を有した表示装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH0850256A JPH0850256A (ja) | 1996-02-20 |
| JP3847799B2 true JP3847799B2 (ja) | 2006-11-22 |
Family
ID=16487664
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP20426894A Expired - Fee Related JP3847799B2 (ja) | 1994-06-13 | 1994-08-05 | 視線検出系を有した表示装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3847799B2 (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2018002110A1 (fr) * | 2016-06-29 | 2018-01-04 | Institut Mines Telecom | Dispositif de mesure oculaire équipé d'un système optiquement aligné sur l'axe de vision de l'utilisateur |
Families Citing this family (27)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3666953B2 (ja) | 1995-09-27 | 2005-06-29 | キヤノン株式会社 | 光学素子 |
| JPH09211331A (ja) * | 1996-01-29 | 1997-08-15 | Canon Inc | 反射光学系 |
| JPH09211330A (ja) * | 1996-01-29 | 1997-08-15 | Canon Inc | 反射光学系 |
| JP2000098293A (ja) | 1998-06-19 | 2000-04-07 | Canon Inc | 画像観察装置 |
| JP2000056362A (ja) * | 1998-08-05 | 2000-02-25 | Canon Inc | ファインダー光学系 |
| CN1171110C (zh) * | 1999-04-02 | 2004-10-13 | 奥林巴斯株式会社 | 观察光学系统及使用了该系统的图像显示装置 |
| JP2001249301A (ja) | 2000-03-03 | 2001-09-14 | Olympus Optical Co Ltd | 観察光学系及びそれを用いた画像表示装置 |
| JP4194218B2 (ja) | 2000-04-28 | 2008-12-10 | キヤノン株式会社 | 画像表示装置および画像表示システム |
| JP2001311904A (ja) | 2000-04-28 | 2001-11-09 | Canon Inc | 画像表示装置および画像表示システム |
| KR100388819B1 (ko) * | 2000-07-31 | 2003-06-25 | 주식회사 대양이앤씨 | 헤드 마운트 디스플레이용 광학 시스템 |
| KR100386725B1 (ko) * | 2000-07-31 | 2003-06-09 | 주식회사 대양이앤씨 | 헤드 마운트 디스플레이용 광학 시스템 |
| US7019909B2 (en) | 2001-11-14 | 2006-03-28 | Canon Kabushiki Kaisha | Optical system, image display apparatus, and image taking apparatus |
| JP4095422B2 (ja) | 2002-12-04 | 2008-06-04 | キヤノン株式会社 | 画像表示装置および画像表示システム |
| JP4323822B2 (ja) | 2003-01-31 | 2009-09-02 | キヤノン株式会社 | 画像表示装置及び撮像装置 |
| JP4072456B2 (ja) | 2003-05-08 | 2008-04-09 | キヤノン株式会社 | 表示光学系、画像表示装置および画像表示システム |
| NZ627582A (en) * | 2012-01-24 | 2016-11-25 | Univ Arizona State | Compact eye-tracked head-mounted display |
| CN109445095B (zh) * | 2013-11-27 | 2021-11-23 | 奇跃公司 | 虚拟和增强现实系统与方法 |
| WO2015108161A1 (ja) * | 2014-01-17 | 2015-07-23 | 株式会社ニコン | 電子機器、撮像装置及び通信装置 |
| US10162180B2 (en) * | 2015-06-04 | 2018-12-25 | Google Llc | Efficient thin curved eyepiece for see-through head wearable display |
| CN108351527A (zh) * | 2015-09-23 | 2018-07-31 | 奇跃公司 | 采用离轴成像器的眼睛成像 |
| WO2017091477A1 (en) * | 2015-11-25 | 2017-06-01 | Google Inc. | Prism-based eye tracking |
| US11221480B2 (en) * | 2016-04-26 | 2022-01-11 | Maxell, Ltd. | Information display apparatus |
| JP7007184B2 (ja) * | 2017-12-27 | 2022-02-10 | ホヤ レンズ タイランド リミテッド | 眼鏡レンズ、ヘッドマウントディスプレイ、レンズブランクおよびセミフィニッシュトレンズブランク |
| US11137597B2 (en) | 2019-03-28 | 2021-10-05 | Samsung Electronics Co., Ltd. | Image display apparatus |
| KR20210156613A (ko) | 2020-06-18 | 2021-12-27 | 삼성전자주식회사 | 증강 현실 글라스 및 그 동작 방법 |
| JP7025075B1 (ja) * | 2021-07-14 | 2022-02-24 | ホログラム株式会社 | 拡張現実提供装置 |
| CN117310977A (zh) * | 2022-06-21 | 2023-12-29 | 北京七鑫易维信息技术有限公司 | 一种眼球追踪光学装置、系统和虚拟现实设备 |
-
1994
- 1994-08-05 JP JP20426894A patent/JP3847799B2/ja not_active Expired - Fee Related
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2018002110A1 (fr) * | 2016-06-29 | 2018-01-04 | Institut Mines Telecom | Dispositif de mesure oculaire équipé d'un système optiquement aligné sur l'axe de vision de l'utilisateur |
| FR3053235A1 (fr) * | 2016-06-29 | 2018-01-05 | Institut Mines Telecom | Dispositif de mesure oculaire equipe d'un systeme optiquement aligne sur l'axe de vision de l'utilisateur |
Also Published As
| Publication number | Publication date |
|---|---|
| JPH0850256A (ja) | 1996-02-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3847799B2 (ja) | 視線検出系を有した表示装置 | |
| EP0660155B1 (en) | Image display apparatus | |
| JP2911750B2 (ja) | 観察光学系 | |
| USRE37175E1 (en) | Image display apparatus | |
| US6317267B1 (en) | Head or face mounted image display apparatus | |
| EP1102105B1 (en) | Image display apparatus with a prism having optical power | |
| US7355795B1 (en) | Head-up display device with curved optical surface having total reflection | |
| JP3392929B2 (ja) | 映像表示装置 | |
| JP3645618B2 (ja) | 画像表示装置 | |
| JP2001264681A (ja) | ディスプレイ装置 | |
| JP2002258208A (ja) | 光学素子及びそれを用いた複合表示装置 | |
| JPH0643389A (ja) | 視覚表示装置 | |
| US20030197943A1 (en) | Optical system, image display apparatus, and image taking apparatus | |
| JP3496890B2 (ja) | 表示装置 | |
| JPH10239628A (ja) | 複合表示装置 | |
| US20020167463A1 (en) | Optical system and image displaying apparatus using the same | |
| JPH0990270A (ja) | 頭部又は顔面装着式画像表示装置 | |
| JP3486465B2 (ja) | 視覚表示装置 | |
| JP3870076B2 (ja) | 画像表示装置および撮像装置 | |
| JP3957961B2 (ja) | 画像表示装置及びそれを用いたヘッドマウントディスプレイ | |
| JP3870073B2 (ja) | 画像表示装置および撮像装置 | |
| JP4579396B2 (ja) | 画像表示装置 | |
| JPH07218859A (ja) | 映像表示装置 | |
| JP3870072B2 (ja) | 画像表示装置および撮像装置 | |
| KR100254730B1 (ko) | 관찰장치 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040210 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040412 |
|
| A02 | Decision of refusal |
Effective date: 20040608 Free format text: JAPANESE INTERMEDIATE CODE: A02 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040805 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040928 |
|
| A911 | Transfer of reconsideration by examiner before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20041001 |
|
| A912 | Removal of reconsideration by examiner before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A912 Effective date: 20050617 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060707 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20060824 |
|
| R150 | Certificate of patent (=grant) or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090901 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100901 Year of fee payment: 4 |
|
| LAPS | Cancellation because of no payment of annual fees |