JP4608996B2 - 瞳孔検出装置およびそれを備えた画像表示装置 - Google Patents

Description

本発明は、光を眼球に照射し、その眼球からの反射光を用いることにより、眼球における瞳孔の位置を検出する技術に関する。

光を眼球に照射し、その眼球からの反射光を用いることにより、眼球における瞳孔の位置を検出する技術が既に存在する。それの２つの従来例が特許文献１に開示されている。いずれの従来例においても、瞳孔の位置を検出する技術が、画像を表示するための画像表示光を観察者の瞳孔を経て網膜上に照射することにより、その網膜上に画像を直接に投影する画像表示技術と一緒に実施される。

一方の従来例においては、眼球に向けて照射された表示用ラスタ光のうちその眼球の表面において反射した光がレンズにより、位置感知ダイオードに集光される。その位置感知ダイオードは、瞳孔の位置を検出するために、眼追跡器に接続されている。このように、この従来例においては、そもそも画像を表示するための画像表示光を用いて瞳孔の位置が検出される。

他方の従来例においては、眼追跡器が赤外線光源を含んでいる。その赤外線光源は、専ら瞳孔の位置を検出するために、低輝度の赤外線により、眼球の表面を直接的にまたは間接的に照射する。眼球の表面は、結合器とレンズとＣＣＤセンサとを通して２次元画像として確認される。ＣＣＤセンサは、多数の受光素子の２次元アレイとして構成され、それら受光素子により、多数の画素の２次元アレイが構成されている。

この他方の従来例においては、そのＣＣＤセンサからの信号が瞳孔位置プロセッサによって処理される。具体的には、ＣＣＤセンサからの信号に対して瞳孔位置プロセッサが画像処理を施すことにより、瞳孔の位置が検出される。その画像処理は一般に、ＣＣＤセンサによって撮像された画像の中心または輪郭から、瞳孔の中心位置を検出する手法で行われる。

さらに、この他方の従来例においては、画像表示光が瞳孔に入射する経路とは別の経路に沿って赤外線が眼球に照射される。
特許第３４３５１６０号公報

しかしながら、先の従来例においては、瞳孔の位置を検出するために参照されるべき参照光が、画像表示光のうち眼球の表面において反射した光であるため、画像表示光の輝度が変化すれば、それに伴い、参照光の輝度も変化してしまう。そのため、この従来例には、瞳孔位置の検出精度が画像表示光の輝度に依存せざるを得ず、画像表示光の輝度が低い場合に、参照光の光量不足に起因して瞳孔位置の検出精度が低下してしまう可能性があった。

これに対し、後の従来例においては、瞳孔の位置を検出するために、ＣＣＤセンサからの信号に基づき、瞳孔位置プロセッサが画像処理を行わなければならない。そのため、この従来例には、瞳孔位置プロセッサに高速の画像処理能力が要求され、それにより、装置コストが上昇してしまう可能性があった。

以上説明した事情を背景とし、本発明は、光を眼球に照射し、その眼球からの反射光を用いることにより、眼球における瞳孔の位置を検出する技術を改善することを課題としてなされたものである。

その課題を解決するために、本発明の第１側面によれば、光を眼球に照射し、その眼球からの反射光を用いることにより、前記眼球における瞳孔の位置を検出する瞳孔検出装置であって、
光束を前記眼球に向けて出射する出射部と、
その出射部から出射した光束を主走査方向とその主走査方向と交差する副走査方向とに２次元的に走査し、それにより、互いに平行に延びる複数本の走査線を前記眼球上に形成する走査部と、
前記眼球の表面に入射した光束のうちその眼球の表面において反射した光束の強度を反射光束の強度信号として検出する検出部と、
その検出部から出力された強度信号によって表される前記反射光束の強度変化に基づき、前記瞳孔の位置を求める処理部と
を含み、
その処理部は、前記各走査線ごとに、前記信号のうち、前記反射光束の強度がしきい値を超えることを表すハイレベル部の数が２である場合に、それら２つのハイレベル部に基づき、前記瞳孔の位置を検出する瞳孔検出装置が提供される。
本発明の第２側面によれば、画像を表す可視光束を観察者の瞳孔を経て網膜上に照射することにより、その網膜上に画像を直接に投影する画像表示装置であって、
前記画像を表示するために前記可視光束を出射する表示用出射部と、
前記瞳孔の位置を検出するために、前記可視光束とは異なる非可視光束を前記眼球に向けて出射する検出用出射部と、
それら表示用出射部と検出用出射部とからそれぞれ出射した可視光束と非可視光束とを合成光束に合波する合波部と、
その合成された合成光束を主走査方向とその主走査方向と交差する副走査方向とに２次元的に走査し、それにより、互いに平行に延びる複数本の走査線を前記眼球上に形成する走査部と、
その走査部によって走査された合成光束を前記瞳孔に向かって誘導する誘導部と、
前記眼球の表面に入射した非可視光束のうちその眼球の表面において反射した非可視光束の強度を反射光束の強度信号として検出する検出部と、
その検出部から出力された強度信号によって表される前記反射光束の強度変化に基づき、前記瞳孔の位置を求め、その求められた瞳孔の位置に基づき、前記可視光束が前記眼球に向かって進行する光軸を、前記瞳孔の実際位置に追従するように制御する制御部と
を含む画像表示装置が提供される。
本発明によって下記の各態様が得られる。各態様は、項に区分し、各項には番号を付し、必要に応じて他の項の番号を引用する形式で記載する。これは、本発明が採用し得る技術的特徴の一部およびそれの組合せの理解を容易にするためであり、本発明が採用し得る技術的特徴およびそれの組合せが以下の態様に限定されると解釈すべきではない。すなわち、下記の態様には記載されていないが本明細書には記載されている技術的特徴を本発明の技術的特徴として適宜抽出して採用することは妨げられないと解釈すべきなのである。

さらに、各項を他の項の番号を引用する形式で記載することが必ずしも、各項に記載の技術的特徴を他の項に記載の技術的特徴から分離させて独立させることを妨げることを意味するわけではなく、各項に記載の技術的特徴をその性質に応じて適宜独立させることが可能であると解釈すべきである。

（１） 光を眼球に照射し、その眼球からの反射光を用いることにより、前記眼球における瞳孔の位置を検出する瞳孔検出装置であって、
光束を前記眼球に向けて出射する出射部と、
その出射部から出射した光束を主走査方向とその主走査方法と交差する副走査方向とに２次元的に走査し、それにより、互いに平行に延びる複数本の走査線を前記眼球上に形成する走査部と、
前記眼球の表面に入射した光束のうちその眼球の表面において反射した光束の強度を反射光束の強度信号として検出する検出部と、
その検出部から出力された強度信号によって表される前記反射光束の強度変化に基づき、前記瞳孔の位置を求める処理部と
を含む瞳孔検出装置。

本発明者は、光束を眼球の表面に照射し、その光束をその眼球の表面上において、主走査方向とそれと交差する副走査方向とに２次元的に走査すると、その光束が眼球の表面から反射した反射光束の強度が空間的に変化することに気が付いた。さらに、本発明者は、その変化の特性と、瞳孔の実際位置との間に一定の関係があることにも気が付いた。

このような知見に基づき、本項に係る瞳孔検出装置においては、検出部により、眼球の表面に入射した光束のうちその眼球の表面において反射した光束の強度が反射光束の強度として検出され、その検出された反射光束の強度を表す強度信号が出力される。さらに、処理部により、その検出部から出力された強度信号によって表される反射光束の強度変化に基づき、瞳孔の位置が求められる。

したがって、この瞳孔検出装置によれば、検出部から出力された信号に対して複雑な画像処理を行うことなく、瞳孔の位置を検出することが可能となる。さらに、検出部は、眼球表面からの反射光束が入射した位置を広い入射領域のもとに２次元的に検出するのではなく、その反射光束の強度を狭い入射領域のもとに検出するもので足りるため、検出部の小型化および低コスト化が容易となる。

本項における「検出部」は、例えば、眼球表面からの反射光束を集光する集光器（例えば、凸レンズ）と、その集光された反射光束を受光し、その受光された反射光束の強度を表す信号を２値信号または多値信号として検出するセンサ（例えば、フォトダイオード）とを含むように構成することが可能である。

本項における「光束」は、観察者に気付かれることなく瞳孔位置の検出を行うことが必要である場合には、非可視光束とすることが望ましいが、その必要がない場合には、可視光束とすることも可能である。

（２） 前記処理部は、前記検出部から出力された強度信号によって表される前記反射光束の強度の、前記各走査線上における位置に応じた変化と各走査線の位置に応じた変化とに基づき、前記瞳孔の位置を２次元的に検出する（１）項に記載の瞳孔検出装置。

本発明者は、光束を眼球の表面に照射し、その光束をその眼球の表面上において、主走査方向とそれと交差する副走査方向とに２次元的に走査すると、その光束が眼球の表面から反射した反射光束の強度が、各走査線上における位置に応じた変化と、眼球上における各走査線の位置に応じた変化とを示すことに気が付いた。さらに、本発明者は、それら変化の特性と、瞳孔の実際位置との間に一定の関係があることにも気が付いた。

このような知見に基づき、本項に係る瞳孔検出装置においては、眼球の表面に入射した光束のうちその眼球の表面において反射した光束の強度の、各走査線上における位置に応じた変化と各走査線の位置に応じた変化とに基づき、瞳孔の位置が２次元的に検出される。

（３） 前記光束は、前記瞳孔を含んでそれより大きい面積を有するように前記眼球の表面上に設定された走査領域において２次元的に走査されるように、前記眼球に照射される（１）または（２）項に記載の瞳孔検出装置。

眼球表面の反射率は、その全体において一様に分布しているわけではなく、例えば、瞳孔の周辺に位置する虹彩において高く、それ以外の領域においては低いというように、偏在的に分布している。したがって、眼球表面上における反射率の分布特性を利用して瞳孔位置を正確に検出するためには、眼球表面に照射されるべき光束が、瞳孔を含んでそれより大きい面積を有するように眼球表面上に設定された走査領域において２次元的に走査されるようにすることが望ましい。このような知見に基づき、本項に係る瞳孔検出装置が提案された。

（４） 前記走査部は、前記光束の入射に対して走査光を出射し、その出射された走査光は、前記走査部と前記網膜との間に想定される光軸上において前記瞳孔から設定距離離れた位置において収束するように、前記眼球に照射される（３）項に記載の瞳孔検出装置。

この瞳孔検出装置においては、走査光の、眼球表面の位置における断面が、その走査光につき、眼球表面上に設定された２次元的な走査領域に相当する。この断面が大きいほど、その走査領域も大きくなる。一方、この断面は、走査光が眼球内において、走査部と網膜との間に想定される光軸上において瞳孔から設定距離離れた位置において収束する場合には、その瞳孔の位置においてちょうど収束する場合より、大きい。

したがって、本項に係る瞳孔検出装置によれば、眼球表面が光束によって２次元的に走査される走査領域を、瞳孔を含んでそれより大きい面積を有するように設定することが容易となる。

（５） 前記処理部は、前記各走査線ごとに、前記信号のうち、前記反射光束の強度がしきい値を超えることを表すハイレベル部の数が２である場合に、それら２つのハイレベル部に基づき、前記瞳孔の位置を検出する（１）ないし（４）項のいずれかに記載の瞳孔検出装置。

眼球表面上における各走査線は、その眼球表面上における走査領域が瞳孔を含んでそれより大きい面積を有するように設定される場合には、瞳孔と、それの周辺に位置する虹彩とを通過する。眼球表面を各走査線に沿って観察した場合には、瞳孔の両側にそれぞれ、その瞳孔より反射率が高い虹彩が位置することになる。したがって、このような走査線に沿って光束が瞳孔表面を通過するように眼球表面上を走査される場合には、眼球表面からの反射光束の強度が高いことを表す２個のハイレベル部が、それほどではないローレベル部を両側から挟むように、検出部からの信号が生成される。

その生成された信号におけるそれら２個のハイレベル部間の中央位置は、複数本の走査線に平行な方向における瞳孔の中心位置を反映している。また、複数本の走査線についてそれぞれ取得された複数の信号のうち、２個のハイレベル部間の間隔が最大であるものに対応する走査線の位置は、複数本の走査線と交差する方向における瞳孔の中心位置を反映している。

このような知見に基づき、本項に係る瞳孔検出装置においては、各走査線ごとに、検出部から出力された信号のうち、反射光束の強度がしきい値を超えることを表すハイレベル部の数が２である場合に、それら２つのハイレベル部に基づき、瞳孔の位置が検出される。

（６） 前記処理部は、前記信号における前記２つのハイレベル部間の中央位置に基づき、前記主走査方向における前記瞳孔の位置を検出する主走査方向位置検出手段を含む（５）項に記載の瞳孔検出装置。

上述のように、検出部からの信号における２個のハイレベル部間の中央位置は、複数本の走査線に平行な方向における瞳孔の中心位置を反映している。このような知見に基づき、本項に係る瞳孔検出装置においては、検出部からの信号における２つのハイレベル部間の中央位置に基づき、主走査方向における瞳孔の位置が検出される。

（７） 前記処理部は、前記複数本の走査線のうち、前記信号における前記２つのハイレベル部間の間隔が実質的に最大であるものの位置に基づき、前記副走査方向における前記瞳孔の位置を検出する副走査方向位置検出手段を含む（５）または（６）項に記載の瞳孔検出装置。

前述のように、複数本の走査線についてそれぞれ検出部によって取得された複数の信号のうち、２個のハイレベル部間の間隔が最大であるものに対応する走査線の位置は、複数本の走査線と交差する方向における瞳孔の中心位置を反映している。このような知見に基づき、本項に係る瞳孔検出装置においては、複数本の走査線のうち、検出部からの信号における２つのハイレベル部間の間隔が実質的に最大であるものの位置に基づき、副走査方向における瞳孔の位置が検出される。

（８） 画像を表す可視光束を観察者の瞳孔を経て網膜上に照射することにより、その網膜上に画像を直接に投影する画像表示装置であって、
前記画像を表示するために前記可視光束を出射する表示用出射部と、
前記瞳孔の位置を検出するために、前記可視光束とは異なる非可視光束を前記眼球に向けて出射する検出用出射部と、
それら表示用出射部と検出用出射部とからそれぞれ出射した可視光束と非可視光束とを合成光束に合波する合波部と、
その合成された合成光束を主走査方向とその主走査方向と交差する副走査方向とに２次元的に走査し、それにより、互いに平行な複数本の走査線を前記眼球上に形成する走査部と、
その走査部によって走査された合成光束を前記瞳孔に向かって誘導する誘導部と、
前記眼球の表面に入射した非可視光束のうちその眼球の表面において反射した非可視光束の強度を反射光束の強度信号として検出する検出部と、
その検出部から出力された強度信号によって表される前記反射光束の強度変化に基づき、前記瞳孔の位置を求め、その求められた瞳孔の位置に基づき、前記可視光束が前記眼球に向かって進行する光軸を、前記瞳孔の実際位置に追従するように制御する制御部と
を含む画像表示装置。

本項に係る画像表示装置においては、前記（１）項に係る瞳孔検出装置と同様にして、検出部により、眼球の表面に入射した光束のうちその眼球の表面において反射した光束の強度が反射光束の強度として検出され、さらに、制御部により、その検出された反射光束の強度の変化に基づき、瞳孔の位置が求められる。

したがって、この画像表示装置によれば、検出部から出力された信号に対して複雑な画像処理を行うことなく、瞳孔の位置を検出することが可能となる。さらに、検出部は、眼球表面からの反射光束が入射した位置を広い入射領域のもとに２次元的に検出するのではなく、その反射光束の強度を狭い入射領域のもとに検出するもので足りるため、検出部の小型化および低コスト化が容易となる。

本項に係る画像表示装置においては、制御部により、さらに、その検出された瞳孔の位置に基づき、可視光束が眼球に向かって進行する光軸が、瞳孔の実際位置に追従するように制御される。

したがって、この画像表示装置によれば、走査部のうちの可動部の慣性を低減させて走査速度を高速化することが必要であるなどの理由で、その走査部から出射する可視光束を十分には小さく絞ることができず、そのために可視光束が瞳孔から外れ易い状況であっても、可視光束が常に瞳孔を通過して網膜上に到達する状態を維持することが容易となる。

この画像表示装置においては、画像表示のためには可視光束が眼球に照射される一方、瞳孔位置検出のためには非可視光束が眼球に照射される。したがって、この画像表示装置においては、観察者に気付かれることなく、瞳孔位置を検出することが可能となる。

さらに、この画像表示装置においては、それら可視光束と非可視光束とに共通に、走査部と誘導部とが設けられる。走査部から誘導部を経て眼球に至る光路がそれら可視光束と非可視光束とに共通化されているのであり、これにより、それら２種類の光束についてそれぞれ専用の光路を使用しなければならない場合に比較し、画像表示装置の小型化、単純化および低コスト化が容易となる。

本項に係る画像表示装置においては、眼球への非可視光束の照射を、眼球への可視光束の照射と同じ時期に行ったり、異なる時期に行うことが可能である。

本項に係る画像表示装置は、前記（２）ないし（７）項のいずれかに係る瞳孔検出装置と組み合わせて実施することが可能である。

（９） 前記制御部は、前記検出部から出力された強度信号によって表される前記反射光束の強度の、前記各走査線上における位置に応じた変化と各走査線の位置に応じた変化とに基づき、前記瞳孔の位置を２次元的に検出し、その検出された瞳孔の位置に基づき、前記可視光束が前記眼球に向かって進行する光軸を、前記瞳孔の実際位置に追従するように制御する（８）項に記載の画像表示装置。

本項に係る画像表示装置においては、前記（２）項に係る瞳孔検出装置と同様にして、眼球の表面に入射した光束のうちその眼球の表面において反射した光束の強度が反射光束の強度として検出され、その検出された反射光束の強度の、各走査線上における位置に応じた変化と各走査線の位置に応じた変化とに基づき、瞳孔の位置が２次元的に検出される。

（１０） 前記走査部は、前記非可視光束の入射に対して非可視走査光を出射し、
当該画像表示装置は、さらに、その出射された非可視走査光が、前記走査部と前記網膜との間に想定される光軸上において前記瞳孔から設定距離離れた位置において収束するように、前記非可視走査光の収束位置を設定する収束位置設定部を含む（９）項に記載の画像表示装置。

この画像表示装置によれば、前記（４）項に係る瞳孔検出装置と同様な作用効果を実現することが可能である。

（１１） 前記収束位置設定部は、前記誘導部に設けられる（１０）項に記載の画像表示装置。

この画像表示装置によれば、収束位置設定部が、走査部より下流側に配置されるため、走査部またはそれの上流側に配置される場合より、この収束位置設定部が可視光束に悪影響を及ぼす可能性を軽減することが容易となる。

（１２） 前記収束位置設定部は、前記誘導部のうちの下流側の部分に設けられる（１１）項に記載の画像表示装置。

この画像表示装置によれば、収束位置設定部が、誘導部のうちの下流側の部分に配置されるため、同じ誘導部のうちその下流側を除く部分またはその部分の上流側に配置される場合より、この収束位置設定部が可視光束に悪影響を及ぼす可能性を軽減することが容易となる。

（１３） 前記収束位置設定部は、波長分散性を有するガラス材料で作製されたレンズと、回折素子との少なくとも一方を含む（１１）または（１２）項に記載の画像表示装置。

この画像表示装置によれば、可視光束と非可視光束とが同じ光学素子に入射するにもかかわらず、その光学素子からの出射光束の向きを、それら可視光束と非可視光束とで互いに異ならせることが可能となる。その結果、可視光束による走査光と非可視光束による走査光とで、眼球内における各走査光の収束位置を互いに異ならせることも可能となる。

（１４） 前記誘導部は、リレー光学系を含む（８）ないし（１３）項のいずれかに記載の画像表示装置。

（１５） 前記制御部は、前記走査部より下流側に配置される（８）ないし（１４）項のいずれかに記載の画像表示装置。

この画像表示装置によれば、制御部により、可視光束の光軸のうち、その制御部と眼球との間の部分が制御されるため、その制御の影響が、可視光束の光軸のうち、走査部およびそれより上流側に位置する部分に及ばないようにすることが容易となる。

（１６） 前記制御部は、前記可視光束の入射に対して可視走査光を出射し、
前記制御部は、その出射された可視走査光の結像位置に設置され、その可視走査光が進行する光軸を偏向する偏向器を含む（１５）項に記載の画像表示装置。

（１７） 前記偏向器は、可変プリズムと、揺動ミラーと、可変回折素子との少なくとも一つを含む（１６）項に記載の画像表示装置。

（１８） 前記制御部は、前記可視光束の入射に対して可視走査光を出射し、
前記制御部は、その出射された可視走査光が進行する光軸を、その光軸に直角な方向に並進させる並進器を含む（１５）項に記載の画像表示装置。

（１９） 前記並進器は、前記光軸に対して傾斜した可動ミラーであって、前記光軸に直角な方向に並進させられるものを含む（１８）項に記載の画像表示装置。

（２０） 前記制御部は、前記瞳孔の位置の検出と前記光軸の位置の制御とを一方向において１次元的に行うものであり、
前記合成光束の断面形状は、前記一方向に直角な方向において扁平化された扁平形状である（８）ないし（１９）項のいずれかに記載の画像表示装置。

この画像表示装置は、合成光束の扁平断面形状のうち最も長い部分の寸法（例えば、長円または楕円の長軸の長さ）が瞳孔の直径以上となるように設定される態様で実施することが可能である。この態様においては、画像を描画するために、走査部が、合成光束を、上記最も長い部分が延びる方向に直角な方向において１次元的に走査すれば足りる。

したがって、この態様においては、瞳孔の位置の検出も、可視光束が眼球に向かって進行する光軸を瞳孔の実際位置に追従するように制御する追従制御も、合成光束の１次元走査方向において行えば足りる。

よって、この態様によれば、瞳孔の位置の検出および追従制御を、２次元的に行わなければならない場合より単純化することや高速化することが容易となる。

以下、本発明のさらに具体的な実施の形態のいくつかを図面に基づいて詳細に説明する。

図１には、本発明の第１実施形態に従う網膜走査型ディスプレイ（以下、「ＲＳＤ」と略称する。）が系統的に表されている。このＲＳＤは、レーザビームを観察者の眼すなわち眼球１０の瞳孔１２を経て網膜１４上に投影することにより、表示対象を虚像によって観察者に視認させる形式の画像表示装置である。具体的には、このＲＳＤは、レーザビームを、それの波面および強度を適宜変調しつつ、瞳孔１２を経て網膜１４上に結像させ、その網膜１４上においてレーザビームを２次元的に走査することにより、その網膜１４上に画像を直接に投影する。

図１に示すように、このＲＳＤは、光源ユニット２０を備え、その光源ユニット２０と観察者の眼１０との間において波面変調光学系２２と走査装置２４とをそれらの順に並んで備えている。

このＲＳＤは、さらに、瞳孔１２の位置（例えば、中心位置）を検出する瞳孔検出部３０と、その検出された瞳孔１２の位置に光源ユニット２０の光軸を追従させる光軸追従部３２とを備えている。その光軸追従部３２は、瞳孔１２の実際位置を追跡しながら網膜走査型描画を行う追跡描画のために、走査装置２４の走査光（すなわち、ＲＳＤの最終出力光）の方向（または眼１０の表面に入射する位置）を適応制御する装置である。

まず、光源ユニット２０について説明するに、光源ユニット２０は、３原色（ＲＧＢ）を有する３つのレーザビームを１つのレーザビームに集束して任意色のレーザビームを表示用レーザビーム（以下、「表示光」ともいう。）として生成するために、赤色のレーザビームを発するＲレーザ４０と、緑色のレーザビームを発するＧレーザ４２と、青色のレーザビームを発するＢレーザ４４とを備えている。この光源ユニットは、さらに、このＲＳＤの位置を基準にして瞳孔１２の位置を検出するために眼１０に照射される赤外線レーザビーム（以下、「赤外光」ともいう。）を発するＩＲレーザ４６を備えている。各レーザ４０，４２，４４，４６は、例えば、半導体レーザとして構成することが可能である。

本実施形態においては、赤色、緑色および青色のレーザビームはそれぞれ、画像表示のために眼１０に照射される可視光束の一例であり、これに対し、赤外光は、瞳孔１２の位置を検出するために眼１０に照射される非可視光束の一例である。

各レーザ４０，４２，４４，４６から出射したレーザビームは、それらを合成するために、各コリメート光学系５０，５２，５４，５６によって平行光化された後に、波長依存性を有する各ダイクロイックミラー６０，６２，６４，６６に入射させられ、それにより、各レーザビームが波長に関して選択的に反射・透過させられる。

具体的には、Ｒレーザ４０から出射した赤色レーザビームは、コリメート光学系５０によって平行光化された後に、ダイクロイックミラー６０に入射させられる。Ｇレーザ４２から出射した緑色レーザビームは、コリメート光学系５２を経てダイクロイックミラー６２に入射させられる。Ｂレーザ４４から出射した青色レーザビームは、コリメート光学系５４を経てダイクロイックミラー６４に入射させられる。ＩＲレーザ４６から出射した赤外光は、コリメート光学系５６を経てダイクロイックミラー６６に入射させられる。

それら４つのダイクロイックミラー６０，６２，６４，６６にそれぞれ入射した表示光（すなわち、３原色のレーザビーム）および赤外光は、それら４つのダイクロイックミラー６０，６２，６４，６６を代表する１つのダイクロイックミラー６０に最終的に入射して集束され、その後、結合光学系７０によって集光される。

以上、光源ユニット２０のうち光学的な部分を説明したが、以下、電気的な部分を説明する。

光源ユニット２０は、信号処理回路８０を備えている。信号処理回路８０は、外部から供給された映像信号に基づき、各レーザ４０，４２，４４を駆動するための信号処理と、後述の、レーザビームの波面を変調するための信号処理と、後述の、レーザビームの走査を行うための信号処理とを行うように設計されている。

信号処理回路８０は、外部から供給された映像信号に基づき、各レーザ４０，４２，４４（Ｒ光、Ｇ光、Ｂ光）に対応する信号成分を生成（抽出）し、各色の信号成分に基づき、各レーザドライバ９０，９２，９４を介して各レーザ４０，４２，４４に、必要な駆動信号を供給する。それにより、網膜１４上に画像が、外部から供給された映像信号に応じた適正な色と強度とを有するように投影されて表示される。

さらに、信号処理装置８０は、上記映像信号に基づき、レーザビームや赤外光の走査の基準となる同期信号も生成（抽出）して走査装置２４に供給し、また、上記映像信号に含まれる奥行き情報に基づき、後述の波面曲率変調器１１０を制御するための奥行き信号も、波面変調光学系２２に供給する。

ＩＲレーザ４６は、赤外光を常に一定の強度で出射するように駆動される。ＩＲレーザ４６から赤外光を発光させるため、信号処理回路８０は、赤外光を一定の強度で出射するための駆動信号をＩＲレーザドライバ９６を介してＩＲレーザ４６に供給する。その結果、赤外光は、表示画像の内容の如何を問わず、常に一定の光量で眼１０に入射する。これにより、入射光量の変動に起因して瞳孔位置の検出精度が低下することが抑制される。

本実施形態においては、ＩＲレーザ４６が、画像表示中、走査帰線消去期間を除く期間（水平走査帰線消去期間と垂直走査帰線消去期間とを除く期間）において、赤外光を発光するように駆動される。赤外光の発光期間をそのように選定した理由は後に詳述する。

以上説明した光源ユニット２０は、結合光学系７０において表示光と赤外光とを同一位置から出射する。それら表示光と赤外光とは、結合光学系７０において合波されて集光された後、光伝送媒体としての光ファイバ１００と、その光ファイバ１００の後端から放射されるレーザビームを平行光化するコリメート光学系１０４とをそれらの順に経て波面変調光学系２２に入射する。

その波面変調光学系２２は、光源ユニット２０から出射したレーザビームの波面曲率を変調する光学系であり、波面曲率変調器１１０を備えている。その波面曲率変調器１１０は、概念的に説明すれば、収束レンズとそれの光軸上において変位可能なミラーとの組合せを主体として構成されている。

具体的には、この波面曲率変調器１１０は、図１に示すように、コリメート光学系１０４から出射した表示光と赤外光とが入射するビームスプリッタ１１２と、そのビームスプリッタ１１２から出射した表示光を集光する収束レンズ１１４とを備え、さらに、その収束レンズ１１４から出射した表示光の波面曲率を変調するための可動ミラー１１６を備えている。

この波面曲率変調器１１０は、さらに、その可動ミラー１１６の位置を光軸上において変化させるアクチュエータ１１８を備えている。アクチュエータ１１８の一例は、圧電素子を利用する形式である。このアクチュエータ１１８は、信号処理回路８０から入力された奥行き信号（Ｚ信号）に応じて可動ミラー１１６の位置を移動させることにより、波面曲率変調器１１０から出射する表示光の波面曲率を変調する。表示光は、可動ミラー１１６において反射した後、収束レンズ１１４を通過し、その後、ビームスプリッタ１１２を通過して走査装置２４へ向かう。

それらビームスプリッタ１１２と収束レンズ１１４との間には、赤外光を選択的に反射するダイクロイックミラー１２０が設けられている。したがって、ビームスプリッタ１１２から入射した赤外光は、そのダイクロイックミラー１２０においてその入射側に戻るように反射し、再度、ビームスプリッタ１１２を通過して、走査装置２４に向かう。これにより、赤外光の波面曲率は画像表示中、変調されず、その結果、赤外光は、眼１０の表面に常に同じ面積で照射される。これにより、入射面積の変動に起因して瞳孔位置の検出精度が低下することが抑制される。

以上のように構成された波面変調光学系２２から出射した表示光と赤外光は、図１に示すように、前述の走査装置２４に入射する。この走査装置２４は、水平走査系１３０と垂直走査系１３２とを備えている。

水平走査系１３０は、表示すべき画像の１フレームごとに、各レーザビームを水平な複数の走査線に沿って水平にラスタ走査する水平走査を行う光学系である。これに対し、垂直走査系１３２は、表示すべき画像の１フレームごとに、各レーザビームを最初の走査線から最後の走査線に向かって垂直に走査する垂直走査を行う光学系である。

具体的に説明するに、水平走査系１３０は、本実施形態においては、機械的偏向を行う一方向回転ミラーとしてポリゴンミラー１３４を備えている。このポリゴンミラー１３４は、それに入射した各レーザビームの光軸と交差する回転軸線まわりに図示しないモータによって高速で回転させられる。このポリゴンミラー１３４の回転は、信号処理回路８０から供給される水平同期信号に基づいて制御される。

ポリゴンミラー１３４は、回転軸線のまわりに並んだ複数の反射面１３６を備えており、各レーザビームが１つの反射面１３６を通過するごとに１回偏向が行われる。その偏向された各レーザビームは、リレー光学系１４０によって垂直走査系１３２に伝送される。本実施形態においては、リレー光学系１４０が光路上において複数個の光学素子１４２，１４４を並んで備えている。

以上、水平走査系１３０を説明したが、垂直走査系１３２は、機械的偏向を行う揺動ミラーとしてのガルバノミラー１３０を備えている。ガルバノミラー１３０には、水平走査系１３０から出射した各レーザビームがリレー光学系１４０によって集光されて入射するようになっている。このガルバノミラー１５０は、それに入射した各レーザビームの光軸と交差する回転軸線まわりに揺動させられる。このガルバノミラー１５０の起動タイミングおよび回転速度は、信号処理回路８０から供給される垂直同期信号に基づいて制御される。

以上説明した水平走査系１３０と垂直走査系１３２との共同により、表示光と赤外光との合成光が２次元的に走査され、その走査された合成光は、リレー光学系１６０を経て観察者の眼１０に入射する。そのリレー光学系１６０は、それの光路上の上流側と下流側とにそれぞれ光学素子１６２と光学素子１６４とを備えている。各光学素子１６２，１６４は通常、レンズとして構成される。

図１に示すように、表示光と赤外光とは、結合光学系７０において合波されて集光された後、波面変調光学系２２と走査装置２４とリレー光学系１６０とをそれらの順に経て観察者の眼１０に入射する。その際、それら表示光と赤外光とは、それら結合光学系７０と眼１０との間において同一の光路を通過する。

すなわち、赤外光は、瞳孔位置を検出するために眼１０内に投入されるのであるが、この赤外光が光源ユニット２０から出射して眼１０に入射するまでに通過する光路は、表示光と同一であり、これにより、瞳孔位置を検出するためにこのＲＳＤの標準的な構成に対して追加・変更が必要な部品の点数ができる限り少なくて済むようになっているのである。

前述のように、このＲＳＤは、瞳孔検出部３０を備えている。この瞳孔検出部３０は、図２に示すように、２個の光学素子１６２，１６４間に配置された赤外光用ハーフミラー１７０と、その赤外光用ハーフミラー１７０からの反射光を集光するレンズ１７２と、そのレンズ１７２からの出射光を受光し、その出射光の強度に応じた信号を戻り光検出信号として出力するフォトダイオード１７４（光センサの一例である。）とを備えている。

そのフォトダイオード１７４に入射する光は、眼１０に入射した赤外光のうち眼１０の表面において反射して入射側に戻る戻り光（前記「反射光束」の一例である。）である。その戻り光の強度に応じ、そのフォトダイオード１７４から出力される戻り光検出信号は、戻り光の強度の経時的変化を表す時系列信号である。

ところで、前述のように、ＩＲレーザ４６は、画像表示中、走査帰線消去期間を除く期間（水平走査帰線消去期間と垂直走査帰線消去期間とを除く期間）において、赤外光を発光する。したがって、本実施形態においては、赤外光は、眼１０の表面上において、複数本の有効な水平走査線（可視光であれば観察者に視認される複数本の水平走査線）に沿ってのみ走査される。その結果、フォトダイオード１７４から出力される戻り光検出信号は、それら複数本の有効な水平走査線のそれぞれに関連付けて、互いに共通する時間スケールで取得される。有効な水平走査線と、消去された水平走査帰線とを対比すれば、走査速度が互いに異なり、このような走査速度の違いの存在にもかかわらず、戻り光検出信号に基づいて瞳孔位置を検出すると、時間スケールの違いに起因した検出誤差が招来される。

上述の赤外光用ハーフミラー１７０は、それの上流側から一緒に入射する表示光と赤外光とを下流側に向けて通過することを許容する一方、眼１０の表面において反射して赤外光用ハーフミラー１７０の下流側から赤外散乱光として入射する赤外光をレンズ１７２に向けて反射する。

この瞳孔検出部３０は、さらに、そのフォトダイオード１７４から出力された戻り光検出信号に基づき、観察者の眼１０から反射した赤外光の強度を利用して瞳孔１２の位置を決定する瞳孔位置決定回路１８０を備えている。その瞳孔位置決定回路１８０の機能については後に詳述する。

ところで、リレー光学系１６０においては、光学素子１６２が初段レンズ、光学素子１６４が終段レンズである。その終段レンズ１６４は、波長分散性（入射光の波長に屈折率従って屈折力が依存する性質）を有し、屈折率従って屈折力が長波長すなわち赤外線の波長において選択的に小さくなるガラス材料によって構成された光学素子である。この終段レンズ１６４は、表示光は、瞳孔１２（水晶体）の位置において収束するように設計される一方、赤外光は、瞳孔１２（水晶体）の位置よりわずかに奥（網膜に近い側）において収束するように設計されている。これにより、眼１０の表面においては、赤外光の方が表示光より広い領域において走査されることになる。以下、このことをさらに詳細に説明する。

図２に示すように、光束は、垂直走査系１３２により、最大走査角を振れ角として走査される。垂直走査系１３２によって走査された走査光束（すなわち、各瞬間ごとに垂直走査系１３２から出射するビーム）は、それが光軸に沿って進行する場合には、初段レンズ１６２、終段レンズ１６４および瞳孔１２を一直線に沿って進行して網膜１４に入射する。この場合、その走査光束は、断面積を有するため、初段レンズ１６２によって収束されて結像した後、終段レンズ１６４によって平行光束に復元される。その平行光束は、瞳孔１２を通過して網膜１４上に結像する。

垂直走査系１３２による走査光束（すなわち、各瞬間ごとに垂直走査系１３２から出射するビーム）が最大走査角を有する場合には、その走査光束は、表示光であるか赤外光であるかを問わず、各レンズ１６２，１６４において折れ曲がった同じ光路に沿って進行して眼１０に入射する。

ただし、垂直走査系１３２から出射する走査光束（すなわち、各瞬間ごとに垂直走査系１３２から出射するビーム）が表示光の光束である場合には、その走査光束の中心は、理想的には、瞳孔１２の中心（水晶体の中心）を通過して網膜１４に到達する。すなわち、垂直走査系１３２から出射する走査表示光（可視走査光）の光束の中心（すなわち、偏向ビームが垂直走査中に振れ角を有するように描く軌跡）は、理想的には、瞳孔１２の位置Ｐにおいて収束するのである。

これに対し、垂直走査系１３２から出射する走査光束が赤外光である場合には、垂直走査系１３２から出射する走査赤外光（非可視走査光）の光束の中心（すなわち、偏向ビームが垂直走査中に振れ角を有するように描く軌跡）は、瞳孔１２の位置より奥の位置Ｑにおいて収束する。その結果、その走査赤外光は、眼１０の表面に、瞳孔１２と虹彩１８２とを含む広い領域において照射される。

したがって、本実施形態においては、表示光と赤外光とが、光源ユニット２０と観察者の眼１０との間において共通の光路を通過するにもかかわらず、終段レンズ１６４の波長選択性により、表示光が眼１０の内部において収束する位置に悪影響を与えることなく、赤外光が、瞳孔１２および虹彩１８２を含むように眼１０の表面上に設定された２次元走査領域内において走査される。

前述のように、このＲＳＤは、さらに、光軸追従部３２を備えている。その光軸追従部３２は、光軸変更器の一例である可変プリズム１９０と、その可変プリズム１９０の形状を変化させるアクチュエータ１９２と、そのアクチュエータ１９２を駆動する駆動回路１９４とを備えている。その駆動回路１９４は、前述の瞳孔検出部３０における瞳孔位置決定回路１８０に接続されている。この光軸追従部３２は、後に詳述するが、それら可変プリズム１９０、アクチュエータ１９２および駆動回路１９４を用い、かつ、瞳孔位置決定回路１８０からの信号を参照することにより、表示光の光軸を主走査方向と副走査方向とに２次元的に変化させることにより、光軸を瞳孔１２の実際位置に追従させる。

可変プリズム１９０は、図２に示すように、２個のレンズ１６２，１６４の間において、初段レンズ１６２から出射した光の結像位置に配置されている。可変プリズム１９０が結像位置に配置される結果、初段レンズ１６２からの光がその可変プリズム１９０を通過してもその光の波面曲率が変化せずに済む。

この可変プリズム１９０は、図３に示すように、隙間を隔てて厚さ方向に互いに対向する２枚の板ガラス２００，２００を備えている。それら板ガラス２００，２００は、それらの周縁において、可撓性のジャバラ２０２（例えば、フィルム状を成す合成樹脂製のジャバラ）によって結合され、それにより、それら板ガラス２００，２００間に密閉空間が形成されている。その密閉空間は高屈折率液体２０４で充填されている。ジャバラ２０２がアクチュエータ１９２によって伸縮させられることにより、可変プリズム１９０の形状が変化させられ、それに伴い、その可変プリズム１９０に入射した表示光の出射角度も変化させられる。

図４には、瞳孔１２が、正面を正視する方向よりやや上方斜めを向く方向を向いた場合に、その瞳孔１２の位置に追従して表示光の光軸が変更される一例が示されている。このような光軸追従制御により、瞳孔１２の実際位置の如何にかかわらず、表示光が瞳孔１２を通過して網膜１４に結像される。

ここで、瞳孔位置決定回路１８０の機能を詳述する。

まず、概略的に説明すれば、この瞳孔位置決定回路１８０は、前述の戻り光の強度の、各走査線上における位置に応じた変化と、各走査線の位置に応じた変化とに基づき、瞳孔１２の位置を２次元的に検出する。

ところで、瞳孔１２の位置は戻り光の強度に基づいて決定され、その戻り光の強度は、瞳孔１２の位置と赤外光とに基づいて変化する。その赤外光の光軸は表示光の光軸と共通するため、表示光の光軸が変更されれば、それに応じて赤外光の光軸も変更される。したがって、瞳孔１２の位置は結局、変更直前の光軸の２次元位置を基準にして相対的に決定されることになる。

よく知られているように、瞳孔１２は、環状を成して拡大・収縮する虹彩１８２の中央にある丸い穴である。眼１０に光が入射すると、その光は、その瞳孔１２を通過して網膜１４に入射する。虹彩１８２は、眼１０に入射する光の量に応じて収縮・拡大することにより、瞳孔１２の直径を増加・減少させる役割を果たす。この虹彩１８２は、それへの入射光を、瞳孔１２より高い反射率で反射するという性質を有する。

観察者がこのＲＳＤを使用すれば、赤外光が観察者の眼１０の表面において各走査線に沿って走査される。その走査領域は、前述のように、瞳孔１２を含んでそれより大きい面積を有するように設定されており、よって、各走査線は、瞳孔１２とそれの周辺に位置する虹彩１８２とを通過し得る。前述の説明から明らかなように、赤外光は、虹彩１８２において強く反射するのに対し、瞳孔１２においてはほとんど反射しない。

赤外光が、瞳孔１２も虹彩１８２も通過しない走査線に沿って走査される場合には、眼１０の表面からの戻り光が、その走査線の領域全体について弱い。したがって、この場合には、フォトダイオード１７４から出力される戻り光検出信号が比較的平坦な波形を示し、その戻り光検出信号の強度（例えば、電圧）は、その走査線の領域全体についてローレベルである。

これに対し、赤外光が、虹彩１８２は通過するが瞳孔１２は通過しない走査線に沿って走査される場合には、眼１０の表面からの戻り光が、その走査線のうち虹彩１８２を通過する部分の領域については強い一方、それ以外の領域については弱い。したがって、この場合には、フォトダイオード１７４から出力される戻り光検出信号の強度が、その走査線のうちの虹彩１８２を通過する部分の領域においてのみハイレベル部を有する。すなわち、この場合には、１つの走査線に対応する戻り光検出信号が、ハイレベル部を１個のみ有し、単峰性のピークを有する信号波形を示すことになるのである。

さらに、赤外光が、瞳孔１２と虹彩１８２との双方を通過する走査線に沿って走査される場合には、眼１０の表面からの戻り光が、その走査線のうち、虹彩１８２を通過する部分の領域については強い一方、瞳孔１２を通過する部分の領域については弱い。したがって、この場合には、フォトダイオード１７４から出力される戻り光検出信号の強度が、その走査線のうち、離散的な２つの領域においてのみハイレベル部を有する。すなわち、この場合には、１本の走査線に対応する戻り光検出信号が、ハイレベル部を２個有し、双峰性のピークを有する信号波形を示すことになるのである。

対応する戻り光検出信号が２個のハイレベル部を有する走査線には、それらハイレベル部間に１個のローレベル部が存在し、このローレベル部の、当該戻り光検出信号における位置は、瞳孔１２の、主走査方向すなわち水平方向における位置を反映する。さらに、複数本の走査線のうち、瞳孔１２の一直径を通過するかそれに十分に近いものに対応する戻り光検出信号は、最長のローレベル部を有する。また、いずれかの走査線の番号が特定されれば、副走査方向すなわち垂直方向における位置が判明する。したがって、複数本の走査線のうち、対応する戻り光検出信号が最長のローレベル部を有する走査線の番号は、瞳孔１２の副走査方向すなわち垂直方向における位置を反映する。

以上説明した事実に着目することにより、この瞳孔位置決定回路１８０には、フォトダイオード１７４からの時系列信号が走査線の番号ｎに関連付けて入力され、その信号に基づき、この瞳孔位置決定回路１８０は、瞳孔１２の位置をこのＲＳＤを基準にして２次元的に決定する。

なお付言するに、この瞳孔位置決定回路１８０は、瞳孔１２が正面を正視する正面正視時に取得した瞳孔１２の位置と、非正面正視時に取得した瞳孔１２の位置との比較により、非正面正視時における視線の方向を決定するように設計することが可能である。

この瞳孔位置決定回路１８０は、上述の瞳孔位置決定機能の他に、表示光の光軸を瞳孔位置に追従させる光軸追従機能をも有する。それら機能を実現するために、この瞳孔位置決定回路１８０は、図示しないが、ＣＰＵとＲＯＭとＲＡＭとを有するコンピュータを備えており、ＲＯＭに記憶された光軸追跡制御プログラムがＣＰＵによって実行される。

図５には、その光軸追従制御プログラムの内容が概念的にフローチャートで表されている。

この光軸追跡制御プログラムは上記コンピュータによって繰り返し実行される。各回の実行時には、まず、ステップＳ１（以下、単に「Ｓ１」で表す。他のステップについても同じとする。）において、まず、今回の画像フレームについて垂直走査が開始されたか否か、すなわち、今回の画像フレームにおける最初の走査線について水平走査が開始されたか否かが判定される。今回の垂直走査が未だ開始されていない場合には、判定がＮＯとなり、直ちにこの光軸追従制御プログラムの一回の実行が終了する。これに対し、今回の画像フレームについて垂直走査が開始された場合には、判定がＹＥＳとなり、Ｓ２に移行する。

このＳ２においては、走査線番号ｎが「１」にセットさせる。その後、Ｓ３において、今回の走査線番号ｎに関連付けて、時系列信号である戻り光検出信号がフォトダイオード１７４から取り込まれる。

続いて、Ｓ４において、今回の走査線番号ｎに関連付けて取り込まれた戻り光検出信号のうち、信号強度が予め定められたしきい値より高いハイレベル部が検出される。その後、Ｓ５において、その検出されたハイレベル部の数が２個であるか否かが判定される。最初の走査線（走査線番号ｎが「１」である走査線）については、図６に示すように、その走査線が瞳孔１２と虹彩１８２との双方を通過しないため、図７において「１」の走査線番号を付して示すように、戻り光検出信号はハイレベル部を有しない。

検出されたハイレベル部の数が０個または１個である場合には、Ｓ５の判定がＮＯとなり、Ｓ６において、次回の水平走査に備えて走査線番号ｎが１だけインクリメントされ、その後、Ｓ３に戻る。このＳ３においては、次の走査線に関連付けられた戻り光検出信号がフォトダイオード１７４から取り込まれる。

同じ画像フレームについて水平走査が何回か繰り返されるうちに、走査線が、図６において「ｎ−２」の走査線番号を付して示すように、瞳孔１２と虹彩１８２とのうち虹彩１８２のみを通過する状態に至ると、戻り光検出信号が、図７において「ｎ−２」の走査線番号を付して示すように、１個のハイレベル部を有することになる。

同じ画像フレームについて水平走査がさらに何回か繰り返されるうちに、走査線が、図６において「ｎ」の走査線番号を付して示すように、瞳孔１２と虹彩１８２との双方を通過する状態に至ると、戻り光検出信号が、図７において「ｎ」の走査線番号を付して示すように、２個のハイレベル部を有することになる。

検出されたハイレベル部の数が２個である場合には、Ｓ５の判定がＹＥＳとなり、Ｓ７において、それら２個のハイレベル部のそれぞれにつき、図８（ａ）に示すように、先頭のハイレベレル部の時間幅の中心時刻ｔｍ１と、末尾のハイレベレル部の時間幅の中心時刻ｔｍ２とが計測される。その後、Ｓ８において、それら２個のハイレベル部間の隔たり時間ｔｄが中心時刻ｔｍ１とｔｍ２との差として求められる。続いて、Ｓ９において、その隔たり時間ｔｄの値が、そのときの走査線番号ｎに関連付けて前記ＲＡＭにストアされる。

その後、Ｓ１０において、今回の走査線が今回の画像フレームについての最後の走査線であるか否か、すなわち、今回の走査線番号ｎが最大値ｎｍａｘであるか否かが判定される。最大値ｎｍａｘではない場合は、判定がＮＯとなり、Ｓ６において、次の水平走査に備えて走査線番号ｎが１だけインクリメントされる。その後、Ｓ３に戻る。

Ｓ３ないしＳ１０の実行は、今回の走査線番号ｎが最大値ｎｍａｘに達するまで繰り返される。今回の走査線番号ｎが最大値ｎｍａｘに達すると、Ｓ１０の判定がＹＥＳとなる。

ここで、図８を参照することにより、瞳孔１２の位置ＬＨｃ，ＬＶｃとハイレベル部に関する時間情報ｔｍ１，ｔｍ２，ｔｄ，ｔｃとの関係を説明する。

図８（ａ）に示すように、２個のハイレベル部のうち先頭のものの中心時刻ｔｍ１にそれら２個のハイレベル部間の隔たり時間ｔｄの半値を加算すれば、それら２個のハイレベル部間の中間の時刻の、該当する戻り光検出信号の開始時刻からの経過時間ｔｃが得られる。この経過時間ｔｃは、同図（ｂ）に示すように、瞳孔中心Ｃの、該当する戻り光検出信号に対応する走査線の水平走査開始点からの距離ＬＨｃを反映する。

複数本の走査線のうち、それらについてそれぞれ取得された複数個の隔たり時間ｔｄのうちの最大値ｔｄｍａｘを有するものの番号ｎｐは、図８（ｂ）に示すように、瞳孔中心Ｃの、今回の画像フレームの垂直走査開始点からの距離ＬＶｃを反映する。

図９には、走査線番号ｎと、経過時間ｔｃおよび隔たり時間ｔｄとの関係がグラフによって示されている。走査線番号ｎの増加につれて、隔たり時間ｔｄは上に凸の傾向を示すのに対し、経過時間ｔｃはほぼ安定している。隔たり時間ｔｄは、最大値ｔｄｍａｘを有するように変化するのであり、複数本の走査線のうち、その最大値ｔｄｍａｘに対応するものの番号ｎが番号ｎｐである。この番号ｎｐが判明すれば、瞳孔中心Ｃの垂直方向位置が判明する。

以上説明した知見に基づき、図５のＳ１０の判定がＹＥＳとなると、Ｓ１１において、前記Ｓ９においてＲＡＭにストアされた複数個の隔たり時間ｔｄのうちの最大値が最大値ｔｄｍａｘとされる。続いて、Ｓ１２において、その最大値ｔｄｍａｘの半値と前記中心時刻ｔｍ１との和として前記経過時間ｔｃが求められる。その求められた経過時間ｔｃは、瞳孔中心Ｃの水平方向位置を反映する。その後、Ｓ１３において、最大値ｔｄｍａｘに関連付けられた走査線番号ｎが走査線番号ｎｐとされる。その走査線番号ｎｐは、瞳孔中心Ｃの垂直方向位置を反映する。

続いて、Ｓ１４において、Ｓ１２およびＳ１３において取得された経過時間ｔｃおよび走査線番号ｎｐに基づき、表示光の光軸が瞳孔中心Ｃに追従するように可変プリズム１９０の形状を変化させるために必要なアクチュエータ１９２の制御量が決定される。この制御量は、表示光の光軸の現在位置を、瞳孔中心Ｃに一致するように変更するためにアクチュエータ１９２が実現することが必要な制御量である。その後、Ｓ１５において、その決定された制御量を実現するために必要な信号が駆動回路１９４を介してアクチュエータ１９２に供給される。

以上で、この光軸追跡制御プログラムの一回の実行が終了する。

以上の説明から明らかなように、本実施形態においては、ＩＲレーザ４６と、走査装置２４と、赤外光用ハーフミラー１７０と、レンズ２３０と、フォトダイオード１７４と、瞳孔位置決定回路１８０とが互いに共同して前記（１）項に係る「瞳孔検出装置」の一例を構成し、ＲＳＤが前記（８）項に係る「画像表示装置」の一例を構成しているのである。

さらに、本実施形態においては、ＩＲレーザ４６が前記（１）項における「出射部」および前記（８）項における「検出用出射部」の一例を構成し、Ｒレーザ４０、Ｇレーザ４２およびＢレーザ４４がそれぞれ前記（８）項における「表示用出射部」の一例を構成しているのである。

さらに、本実施形態においては、赤外光が前記（１）項および前記（８）項における「非可視光束」の一例を構成し、表示光が前記（８）項における「可視光束」の一例を構成し、特に結合光学系７０が前記（８）項における「合波部」の一例を構成しているのである。

さらに、本実施形態においては、走査装置２４が前記（１）項および前記（８）項における「走査部」の一例を構成し、リレー光学系１６０が前記（８）項における「誘導部」の一例を構成し、特にフォトダイオード１７４が前記（１）項および（８）項における「検出部」の一例を構成しているのである。

さらに、本実施形態においては、特に可変プリズム１９０が前記（１４）項における「偏向器」の一例を構成し、瞳孔位置決定回路１８０が前記（１）項における「処理部」および前記（８）項における「制御部」の一例を構成し、終段レンズ１６４が前記（１０）ないし（１３）項のそれぞれにおける「収束位置設定部」の一例を構成しているのである。

さらに、本実施形態においては、前記コンピュータのうち、光軸追跡制御プログラムのうち図５におけるＳ１ないしＳ１２を実行する部分が前記（６）項における「主走査方向位置検出手段」の一例を構成し、光軸追跡制御プログラムのうち図５におけるＳ１ないしＳ１１およびＳ１３を実行する部分が前記（７）項における「副走査方向位置検出手段」の一例を構成しているのである。

なお付言するに、本実施形態においては、可変プリズム１９０が前記（１４）項における「偏向器」の一例として採用されているが、これに代えて可変回折素子を採用することが可能である。その可変回折素子の一例は、音響光学偏向素子ＡＯＤである。この音響光学偏向素子ＡＯＤを採用する場合、その設置位置は可変プリズム１９０の場合と同様である。

さらに付言するに、本実施形態においては、表示光と検出光との合成光が、通常のように、円を成す光束断面を有するようになっており、そのため、２次元画像を描画するために合成光の光束が２次元的に走査される。

これに対し、本実施形態の一変形例においては、表示光と検出光との合成光（少なくとも表示光）が、垂直方向に延びる長軸と水平方向に延びる短軸とを有する楕円すなわち縦長楕円を成す光束断面を有するように、本実施形態に対して変更されている。その楕円の短軸は、上述の円の直径とほぼ一致するが、その楕円の長軸は、眼１０の表面に照射された場合に瞳孔１２の直径より長いものとされている。

この変形例においては、光束断面を楕円化するために、例えば、水平走査系１３０への入射前であって、光束がほぼ平行に進行する位置に円筒レンズを挿入したり、水平走査系１３０と垂直走査系１３２との間であって、光束がほぼ平行に進行する位置にトロイダルレンズを挿入することが可能である。

したがって、この変形例においては、走査装置２４は、合成光の光束を水平方向において１次元的に走査するように、本実施形態に対して変更される。よって、瞳孔検出部３０も、同様に、瞳孔１２の実際位置を水平方向において１次元的に検出するように変更され、さらに、光軸追従部３２も、同様に、合成光の光軸を水平方向において１次元的に変更するように変更される。

したがって、この変形例においては、それら変更された瞳孔検出部３０および光軸追従部３２が互いに共同して前記（２０）項における「制御部」の一例を構成し、水平方向が同項における「一方向」の一例であり、楕円が同項における「扁平形状」の一例なのである。

さらに付言するに、本実施形態においては、画像を描画するために表示光の波面曲率が変調され、それにより、表示画像の奥行きが変更可能になっているが、そのようにすることは本発明を実施するために不可欠なことではない。

次に、本発明の第２実施形態を説明する。ただし、本実施形態は、第１実施形態と共通する要素が多く、異なる要素は、光軸を変更する要素のみであるため、異なる要素についてのみ詳細に説明し、共通する要素については同一の符号または名称を使用して引用することにより、詳細な説明を省略する。

第１実施形態においては、可変プリズム１９０により、表示光の光軸の向きが変更されることにより、表示光が眼１０に入射する位置が瞳孔１２に一致するように制御される。これに対し、本実施形態においては、図１０に示すように、表示光の光軸に対して直角な２軸まわりにそれぞれ傾斜させられる可動ミラー２２０の傾斜角を変化させることにより、表示光の光軸の向きが変更される。その可動ミラー２２０の一例は、２次元ガルバノミラーである。

具体的には、図１０に示すように、本実施形態においては、初段レンズ２２２および終段レンズ２２４が、それぞれの光軸が互いに直交するように配置されている。それらレンズ２２２，２２４の２つの光軸が互いに直交する位置にハーフミラー２２６が配置されている。ハーフミラー２２６は、初段レンズ２２２から入射した光を終段レンズ２２４から遠ざかる向きに反射する。その反射光は可動ミラー２２０に入射する。その可動ミラー２２０の中心位置は、ハーフミラー２２６から入射した光の結像位置と一致する。可動ミラー２２０への入射光は、その可動ミラー２２０において反射してハーフミラー２２６に戻り、やがて、そのハーフミラー２２６を真直ぐに通過して終段レンズ２２４に入射する。

可動ミラー２２０が自身の中心位置を通過する直交２軸まわりに傾斜させられれば、その可動ミラー２２０からの反射光が偏向され、その結果、表示光の光軸が変更される。

図１０に示すように、本実施形態においては、第１実施形態と同様に、眼１０の表面において反射した赤外光を集光するための光学素子であるレンズ２３０と、フォトダイオード２３２とが、ハーフミラー２２６に関して、初段レンズ２２２とは反対側に設置されている。ハーフミラー２２６は、眼１０の表面からの反射光をレンズ２３０に向けて反射する。

したがって、本実施形態においては、１つのハーフミラー２２６が、表示光および赤外光を走査装置２４から光軸変更器としての可動ミラー２２０に導く機能と、眼１０の表面からの反射光をフォトダイオード２３２に導く機能とを併せ持っている。

フォトダイオード２３２は、それへの入射光である戻り光の強度に応じた信号を瞳孔位置決定回路２４０に供給する。その瞳孔位置決定回路２４０は、その供給された信号に基づき、第１実施形態と同様にして、駆動回路２４２およびアクチュエータ２４４を介して可動ミラー２２０の向きを２軸まわりに制御する。その制御により、表示光の光軸が瞳孔１２の実際位置に追従させられる。

以上の説明から明らかなように、本実施形態においては、可動ミラー２２０が前記（１６）項における「偏向器」および前記（１７）項における「揺動ミラー」の一例を構成しているのである。

次に、本発明の第３実施形態を説明する。ただし、本実施形態は、第１実施形態と共通する要素が多く、異なる要素は、表示光の光軸を変更する要素のみであるため、異なる要素についてのみ詳細に説明し、共通する要素については同一の符号または名称を使用して引用することにより、詳細な説明を省略する。

第１実施形態においては、可変プリズム１９０により、表示光の光軸の向きが変更され、それにより、表示光が眼１０に照射される位置が変更される。これに対し、本実施形態においては、表示光の光軸に対して傾斜する可動ミラーをその光軸に直角な方向に並進させることにより、表示光の光軸が並進させられ、それにより、表示光が眼１０に照射される位置が変更される。

具体的には、図１１に示すように、本実施形態においては、走査装置２４に属する垂直走査系１３２とリレー光学系１６０のうちの初段レンズ１６２との間において、第１ないし第４ミラー２５０ａ，２５０ｂ，２５０ｃ，２５０ｄが、いずれも表示光の光軸に対して４５度傾斜した状態で設置されている。これにより、表示光と赤外光とは、各ミラー２５０ａ，２５０ｂ，２５０ｃ，２５０ｄに入射するごとに光軸が９０度曲げられる。

垂直走査系１３２から光が最初に入射する第１ミラー２５０ａは、固定されているが、続いて入射する第２ないし第４ミラー２５０ｂ，２５０ｃ，２５０ｄは、いずれも、表示光の光軸に直角な方向（例えば、垂直方向または水平方向）に平行移動可能に設けられている。最後に入射する第４ミラー２５０ｄ（リレー光学系１６０の直前のミラー）が平行移動させられると、表示光が観察者の眼１０に照射される位置が変更される。

単に第４ミラー２５０ｄを平行移動させると、垂直走査系１３２と初段レンズ１６２との間における表示光の光路長が変化してしまう。その変化をキャンセルするために、本実施形態においては、第４ミラー２５０ｄを平行移動させることが必要である場合には、第２および第３ミラーが第４ミラー２５０ｄと同じ向きに、第４ミラー２５０ｄの平行移動量Ｙ２の半分に等しい移動量Ｙ１で平行移動させられる。

したがって、本実施形態によれば、第２ないし第４ミラー２５０ｄの平行移動により、表示光が観察者の眼１０に照射される位置を、表示光の光路長を変化させることなく、変更することが可能である。

以上の説明から明らかなように、本実施形態においては、特に第４ミラー２５０ｄが前記（１８）項における「並進器」および前記（９７）項における「可動ミラー」の一例を構成しているのである。

以上の説明から明らかなように、本実施形態においては、特に第４ミラー２５０ｄが前記（１８）項における「並進器」および前記（１９）項における「可動ミラー」の一例を構成しているのである。

本発明の第１実施形態に従う網膜走査型ディスプレイ装置を示す系統図である。 図１に示す網膜走査型ディスプレイ装置のうち、光が走査装置２４およびリレー光学系１４０，１６０を経て、瞳孔１２が正面を向いた観察者の眼１０に向かう光路を示す光路図である。 図２における可変プリズム１９０を示す側面断面図である。 図１に示す網膜走査型ディスプレイ装置のうち、光が走査装置２４およびリレー光学系１４０，１６０を経て、瞳孔１２が斜め上方を向いた観察者の眼１０に向かう光路を示す光路図である。 図２における瞳孔位置決定回路１８０のコンピュータにより実行される光軸追従制御プログラムの内容を概念的に表すフローチャートである。 図５の光軸追従制御プログラムの実行によって瞳孔１２の位置が検出されるメカニズムを説明するために、赤外光の走査によって観察者の眼１０の表面上に描かれる軌跡を示す正面図である。 図５におけるＳ３の実行によって取り込まれる戻り光検出信号の強度と走査線番号との関係を表すグラフである。 図７に示す戻り光検出信号を表すグラフと、その戻り光検出信号の波形特性に関連付けて瞳孔１２の位置を説明するための図である。 図８における経過時間ｔｃおよび隔たり時間ｔｄが走査線番号と共に変化する様子を説明するためのグラフである。 本発明の第２実施形態に従う網膜走査型ディスプレイ装置において光軸が変更されるメカニズムを説明するための光路図である。 本発明の第３実施形態に従う網膜走査型ディスプレイ装置において光軸が変更されるメカニズムを説明するための光路図である。

符号の説明

１０ 眼
１２ 瞳孔
２４ 走査装置
４６ ＩＲレーザ
７０ 結合光学系
１４０，１６０ リレー光学系
１６４，２２４ 終段レンズ
１７０ 赤外光用ハーフミラー
１７２ レンズ
１７４，２３２ フォトダイオード
１８０，２４０ 瞳孔位置決定回路
１９０ 可変プリズム
２２０ 可動ミラー
２５３ｄ 第４ミラー

Claims (19)

1. 光を眼球に照射し、その眼球からの反射光を用いることにより、前記眼球における瞳孔の位置を検出する瞳孔検出装置であって、
   光束を前記眼球に向けて出射する出射部と、
   その出射部から出射した光束を主走査方向とその主走査方向と交差する副走査方向とに２次元的に走査し、それにより、互いに平行に延びる複数本の走査線を前記眼球上に形成する走査部と、
   前記眼球の表面に入射した光束のうちその眼球の表面において反射した光束の強度を反射光束の強度信号として検出する検出部と、
   その検出部から出力された強度信号によって表される前記反射光束の強度変化に基づき、前記瞳孔の位置を求める処理部と
   を含み、
   その処理部は、前記各走査線ごとに、前記信号のうち、前記反射光束の強度がしきい値を超えることを表すハイレベル部の数が２である場合に、それら２つのハイレベル部に基づき、前記瞳孔の位置を検出する瞳孔検出装置。
2. 前記処理部は、前記検出部から出力された強度信号によって表される前記反射光束の強度の、前記各走査線上における位置に応じた変化と各走査線の、前記副走査方向における位置に応じた変化とに基づき、前記瞳孔の位置を２次元的に検出する請求項１に記載の瞳孔検出装置。
3. 前記光束は、前記瞳孔を含んでそれより大きい面積を有するように前記眼球の表面上に設定された走査領域において２次元的に走査されるように、前記眼球に照射される請求項１または２に記載の瞳孔検出装置。
4. 前記走査部は、前記光束の入射に対して走査光を出射し、その出射された走査光は、前記走査部と前記網膜との間に想定される光軸上において前記瞳孔から設定距離離れた位置において収束するように、前記眼球に照射される請求項３に記載の瞳孔検出装置。
5. 前記処理部は、前記信号における前記２つのハイレベル部間の中央位置に基づき、前記主走査方向における前記瞳孔の位置を検出する主走査方向位置検出手段を含む請求項１に記載の瞳孔検出装置。
6. 前記処理部は、前記複数本の走査線のうち、前記信号における前記２つのハイレベル部間の間隔が実質的に最大であるものの位置に基づき、前記副走査方向における前記瞳孔の位置を検出する副走査方向位置検出手段を含む請求項１または５に記載の瞳孔検出装置。
7. 画像を表す可視光束を観察者の瞳孔を経て網膜上に照射することにより、その網膜上に画像を直接に投影する画像表示装置であって、
   前記画像を表示するために前記可視光束を出射する表示用出射部と、
   前記瞳孔の位置を検出するために、前記可視光束とは異なる非可視光束を前記眼球に向けて出射する検出用出射部と、
   それら表示用出射部と検出用出射部とからそれぞれ出射した可視光束と非可視光束とを合成光束に合波する合波部と、
   その合成された合成光束を主走査方向とその主走査方向と交差する副走査方向とに２次元的に走査し、それにより、互いに平行に延びる複数本の走査線を前記眼球上に形成する走査部と、
   その走査部によって走査された合成光束を前記瞳孔に向かって誘導する誘導部と、
   前記眼球の表面に入射した非可視光束のうちその眼球の表面において反射した非可視光束の強度を反射光束の強度信号として検出する検出部と、
   その検出部から出力された強度信号によって表される前記反射光束の強度変化に基づき、前記瞳孔の位置を求め、その求められた瞳孔の位置に基づき、前記可視光束が前記眼球に向かって進行する光軸を、前記瞳孔の実際位置に追従するように制御する制御部と
   を含む画像表示装置。
8. 前記制御部は、前記検出部から出力された強度信号によって表される前記反射光束の強度の、前記各走査線上における位置に応じた変化と各走査線の、前記副走査方向における位置に応じた変化とに基づき、前記瞳孔の位置を２次元的に検出し、その検出された瞳孔の位置に基づき、前記可視光束が前記眼球に向かって進行する光軸を、前記瞳孔の実際位置に追従するように制御する請求項７に記載の画像表示装置。
9. 前記走査部は、前記非可視光束の入射に対して非可視走査光を出射し、
   当該画像表示装置は、さらに、その出射された非可視走査光が、前記走査部と前記網膜との間に想定される光軸上において前記瞳孔から設定距離離れた位置において収束するように、前記非可視走査光の収束位置を設定する収束位置設定部を含む請求項７または８に記載の画像表示装置。
10. 前記収束位置設定部は、前記誘導部に設けられる請求項９に記載の画像表示装置。
11. 前記収束位置設定部は、前記誘導部のうちの下流側の部分に設けられる請求項１０に記載の画像表示装置。
12. 前記収束位置設定部は、波長分散性を有するガラス材料で作製されたレンズと、回折素子との少なくとも一方を含む請求項１０または１１に記載の画像表示装置。
13. 前記誘導部は、リレー光学系を含む請求項７ないし１２のいずれかに記載の画像表示装置。
14. 前記制御部は、前記走査部より下流側に配置される請求項７ないし１３のいずれかに記載の画像表示装置。
15. 前記走査部は、前記可視光束の入射に対して可視走査光を出射し、
    前記制御部は、その出射された可視走査光の結像位置に設置され、その可視走査光が進行する光軸を偏向する偏向器を含む請求項１４に記載の画像表示装置。
16. 前記偏向器は、可変プリズムと、揺動ミラーと、可変回折素子との少なくとも一つを含む請求項１５に記載の画像表示装置。
17. 前記走査部は、前記可視光束の入射に対して可視走査光を出射し、
    前記制御部は、その出射された可視走査光が進行する光軸を、その光軸に直角な方向に並進させる並進器を含む請求項１４に記載の画像表示装置。
18. 前記並進器は、前記光軸に対して傾斜した可動ミラーであって、前記光軸に直角な方向に並進させられるものを含む請求項１７に記載の画像表示装置。
19. 前記制御部は、前記瞳孔の位置の検出と前記光軸の位置の制御とを一方向において１次元的に行うものであり、
    前記合成光束の断面形状は、前記一方向に直角な方向において扁平化された扁平形状である請求項７ないし１８のいずれかに記載の画像表示装置。

Images