WO2006019028A1

WO2006019028A1 - 瞳孔検出装置およびそれを備えた画像表示装置

Info

Publication number: WO2006019028A1
Application number: PCT/JP2005/014719
Authority: WO
Inventors: Shoji Yamada
Original assignee: Brother Kogyo Kabushiki Kaisha
Priority date: 2004-08-19
Filing date: 2005-08-11
Publication date: 2006-02-23
Also published as: JP2006058505A; US20070159599A1; US7637615B2; JP4608996B2

Abstract

　光を眼球（１０）に照射し、その眼球からの反射光を用いることにより、眼球における瞳孔（１２）の位置を検出する技術を改善する。眼球（１０）の表面上における反射率の分布特性を利用して瞳孔（１２）の位置を正確に検出するために、眼球表面に照射されるべき光束を、瞳孔を含んでそれより大きい面積を有するように眼球表面上に設定された走査領域において２次元的に走査する。そのときに反射した光束の強度を反射光束の強度として検出し、その検出した反射光束の強度を表す信号を出力する。さらに、その出力された信号によって表される反射光束の強度の、各走査線上における位置に応じた変化と各走査線の位置に応じた変化とに基づき、瞳孔の位置を２次元的に検出する。

Description

明細書

瞳孔検出装置およびそれを備えた画像表示装置

技術分野

[0001] 本発明は、光を眼球に照射し、その眼球からの反射光を用いることにより、眼球における瞳孔の位置を検出する技術に関する。

背景技術

[0002] 光を眼球に照射し、その眼球からの反射光を用いることにより、眼球における瞳孔の位置を検出する技術が既に存在する。それの 2つの従来例が日本国特許第 3435 160号公報に開示されている。いずれの従来例においても、瞳孔の位置を検出する技術が、画像を表示するための画像表示光を観察者の瞳孔を経て網膜上に照射することにより、その網膜上に画像を直接に投影する画像表示技術と一緒に実施される

[0003] 一方の従来例においては、眼球に向けて照射された表示用ラスタ光のうちその眼球の表面において反射した光がレンズにより、位置感知ダイオードに集光される。その位置感知ダイオードは、瞳孔の位置を検出するために、眼追跡器に接続されている。このように、この従来例においては、そもそも画像を表示するための画像表示光を用いて瞳孔の位置が検出される。

[0004] 他方の従来例にお!、ては、眼追跡器が赤外線光源を含んで、る。その赤外線光源は、専ら瞳孔の位置を検出するために、低輝度の赤外線により、眼球の表面を直接的にまたは間接的に照射する。眼球の表面は、結合器とレンズと CCDセンサとを通して 2次元画像として確認される。 CCDセンサは、多数の受光素子の 2次元アレイとして構成され、それら受光素子により、多数の画素の 2次元アレイが構成されている

[0005] この他方の従来例においては、その CCDセンサからの信号が瞳孔位置プロセッサによって処理される。具体的には、 CCDセンサからの信号に対して瞳孔位置プロセッサが画像処理を施すことにより、瞳孔の位置が検出される。その画像処理は一般に、 CCDセンサによって撮像された画像の中心または輪郭から、瞳孔の中心位置を検出する手法で行われる。

[0006] さらに、この他方の従来例においては、画像表示光が瞳孔に入射する経路とは別の経路に沿って赤外線が眼球に照射される。

発明の開示

[0007] し力しながら、先の従来例においては、瞳孔の位置を検出するために参照されるべき参照光が、画像表示光のうち眼球の表面において反射した光であるため、画像表示光の輝度が変化すれば、それに伴い、参照光の輝度も変化してしまう。そのため、この従来例には、瞳孔位置の検出精度が画像表示光の輝度に依存せざるを得ず、画像表示光の輝度が低い場合に、参照光の光量不足に起因して瞳孔位置の検出精度が低下してしまう可能性があった。

[0008] これに対し、後の従来例においては、瞳孔の位置を検出するために、 CCDセンサ力もの信号に基づき、瞳孔位置プロセッサが画像処理を行わなければならない。そのため、この従来例には、瞳孔位置プロセッサに高速の画像処理能力が要求され、それにより、装置コストが上昇してしまう可能性があった。

[0009] 以上説明した事情を背景とし、本発明は、光を眼球に照射し、その眼球からの反射光を用いることにより、眼球における瞳孔の位置を検出する技術を改善することを課題としてなされたものである。

[0010] 本発明によって下記の各態様が得られる。各態様は、項に区分し、各項には番号を付し、必要に応じて他の項の番号を引用する形式で記載する。これは、本発明が採用し得る技術的特徴の一部およびそれの組合せの理解を容易にするためであり、本発明が採用し得る技術的特徴およびそれの組合せが以下の態様に限定されると解釈すべきではない。すなわち、下記の態様には記載されていないが本明細書には記載されている技術的特徴を本発明の技術的特徴として適宜抽出して採用することは妨げられな、と解釈すべきなのである。

[0011] さらに、各項を他の項の番号を引用する形式で記載することが必ずしも、各項に記載の技術的特徴を他の項に記載の技術的特徴から分離させて独立させることを妨げることを意味するわけではなぐ各項に記載の技術的特徴をその性質に応じて適宜独立させることが可能であると解釈すべきである。 [0012] (1) 光を眼球に照射し、その眼球力の反射光を用いることにより、前記眼球における瞳孔の位置を検出する瞳孔検出装置であって、

光束を前記眼球に向けて出射する出射部と、

その出射部から出射した光束を主走査方向とその主走査方法と交差する副走査方向とに 2次元的に走査し、それにより、互いに平行に延びる複数本の走査線を前記眼球上に形成する走査部と、

前記眼球の表面に入射した光束のうちその眼球の表面において反射した光束の強度を反射光束の強度信号として検出する検出部と、

その検出部力出力された強度信号によって表される前記反射光束の強度変化に基づき、前記瞳孔の位置を求める処理部と

を含む瞳孔検出装置。

[0013] 本発明者は、光束を眼球の表面に照射し、その光束をその眼球の表面上において、主走査方向とそれと交差する副走査方向とに 2次元的に走査すると、その光束が眼球の表面力反射した反射光束の強度が空間的に変化することに気が付いた。さらに、本発明者は、その変化の特性と、瞳孔の実際位置との間に一定の関係があることにも気が付いた。

[0014] このような知見に基づき、本項に係る瞳孔検出装置においては、検出部により、眼球の表面に入射した光束のうちその眼球の表面において反射した光束の強度が反射光束の強度として検出され、その検出された反射光束の強度を表す強度信号が出力される。さらに、処理部により、その検出部から出力された強度信号によって表される反射光束の強度変化に基づき、瞳孔の位置が求められる。

[0015] したがって、この瞳孔検出装置によれば、検出部から出力された信号に対して複雑な画像処理を行うことなぐ瞳孔の位置を検出することが可能となる。さらに、検出部は、眼球表面からの反射光束が入射した位置を広い入射領域のもとに 2次元的に検出するのではなぐその反射光束の強度を狭い入射領域のもとに検出するもので足りるため、検出部の小型化および低コストィ匕が容易となる。

[0016] 本項における「検出部」は、例えば、眼球表面力もの反射光束を集光する集光器（例えば、凸レンズ)と、その集光された反射光束を受光し、その受光された反射光束の強度を表す信号を 2値信号または多値信号として検出するセンサ（例えば、フォトダイオード)とを含むように構成することが可能である。

[0017] 本項における「光束」は、観察者に気付かれることなく瞳孔位置の検出を行うことが必要である場合には、非可視光束とすることが望ましいが、その必要がない場合には

、可視光束とすることも可能である。

[0018] (2) 前記処理部は、前記検出部から出力された強度信号によって表される前記反射光束の強度の、前記各走査線上における位置に応じた変化と各走査線の位置に応じた変化とに基づき、前記瞳孔の位置を 2次元的に検出する（1)項に記載の瞳孔検出装置。

[0019] 本発明者は、光束を眼球の表面に照射し、その光束をその眼球の表面上において、主走査方向とそれと交差する副走査方向とに 2次元的に走査すると、その光束が眼球の表面から反射した反射光束の強度が、各走査線上における位置に応じた変化と、眼球上における各走査線の位置に応じた変化とを示すことに気が付いた。さらに、本発明者は、それら変化の特性と、瞳孔の実際位置との間に一定の関係があることにも気が付いた。

[0020] このような知見に基づき、本項に係る瞳孔検出装置においては、眼球の表面に入射した光束のうちその眼球の表面にお、て反射した光束の強度の、各走査線上における位置に応じた変化と各走査線の位置に応じた変化とに基づき、瞳孔の位置が 2次元的に検出される。

[0021] (3) 前記光束は、前記瞳孔を含んでそれより大きい面積を有するように前記眼球の表面上に設定された走査領域において 2次元的に走査されるように、前記眼球に照射される (1)または（2)項に記載の瞳孔検出装置。

[0022] 眼球表面の反射率は、その全体において一様に分布しているわけではなぐ例えば、瞳孔の周辺に位置する虹彩において高ぐそれ以外の領域においては低いというように、偏在的に分布している。したがって、眼球表面上における反射率の分布特性を利用して瞳孔位置を正確に検出するためには、眼球表面に照射されるべき光束力瞳孔を含んでそれより大きい面積を有するように眼球表面上に設定された走査領域にお、て 2次元的に走査されるようにすることが望ま U、。このような知見に基づき、本項に係る瞳孔検出装置が提案された。

[0023] (4) 前記走査部は、前記光束の入射に対して走査光を出射し、その出射された走查光は、前記走査部と前記網膜との間に想定される光軸上において前記瞳孔から設定距離離れた位置にお!、て収束するように、前記眼球に照射される (3)項に記載の瞳孔検出装置。

[0024] この瞳孔検出装置においては、走査光の、眼球表面の位置における断面力その走査光につき、眼球表面上に設定された 2次元的な走査領域に相当する。この断面が大きいほど、その走査領域も大きくなる。一方、この断面は、走査光が眼球内において、走査部と網膜との間に想定される光軸上において瞳孔から設定距離離れた位置において収束する場合には、その瞳孔の位置においてちようど収束する場合より、大きい。

[0025] したがって、本項に係る瞳孔検出装置によれば、眼球表面が光束によって 2次元的に走査される走査領域を、瞳孔を含んでそれより大きい面積を有するように設定することが容易となる。

[0026] (5) 前記処理部は、前記各走査線ごとに、前記信号のうち、前記反射光束の強度力 Sしき、値を超えることを表すハイレベル部の数が 2である場合に、それら 2つのハイレベル部に基づき、前記瞳孔の位置を検出する（1)な、し (4)項の、ずれかに記載の瞳孔検出装置。

[0027] 眼球表面上における各走査線は、その眼球表面上における走査領域が瞳孔を含んでそれより大きい面積を有するように設定される場合には、瞳孔と、それの周辺に位置する虹彩とを通過する。眼球表面を各走査線に沿って観察した場合には、瞳孔の両側にそれぞれ、その瞳孔より反射率が高い虹彩が位置することになる。したがつて、このような走査線に沿って光束が瞳孔表面を通過するように眼球表面上を走査される場合には、眼球表面からの反射光束の強度が高、ことを表す 2個のハイレベル部が、それほどではないローレベル部を両側から挟むように、検出部からの信号が生成される。

[0028] その生成された信号におけるそれら 2個のハイレベル部間の中央位置は、複数本の走査線に平行な方向における瞳孔の中心位置を反映している。また、複数本の走查線につ、てそれぞれ取得された複数の信号のうち、 2個のハイレベル部間の間隔が最大であるものに対応する走査線の位置は、複数本の走査線と交差する方向における瞳孔の中心位置を反映している。

[0029] このような知見に基づき、本項に係る瞳孔検出装置においては、各走査線ごとに、検出部から出力された信号のうち、反射光束の強度がしきい値を超えることを表すノ、ィレベル部の数が 2である場合に、それら 2つのノ、ィレベル部に基づき、瞳孔の位置が検出される。

[0030] (6) 前記処理部は、前記信号における前記 2つのハイレベル部間の中央位置に基づき、前記主走査方向における前記瞳孔の位置を検出する主走査方向位置検出手段を含む（5)項に記載の瞳孔検出装置。

[0031] 上述のように、検出部力の信号における 2個のハイレベル部間の中央位置は、複数本の走査線に平行な方向における瞳孔の中心位置を反映して、る。このような知見に基づき、本項に係る瞳孔検出装置においては、検出部力もの信号における 2つのハイレベル部間の中央位置に基づき、主走査方向における瞳孔の位置が検出される。

[0032] (7) 前記処理部は、前記複数本の走査線のうち、前記信号における前記 2つのハィレベル部間の間隔が実質的に最大であるものの位置に基づき、前記副走査方向における前記瞳孔の位置を検出する副走査方向位置検出手段を含む（5)または（6 )項に記載の瞳孔検出装置。

[0033] 前述のように、複数本の走査線についてそれぞれ検出部によって取得された複数の信号のうち、 2個のハイレベル部間の間隔が最大であるものに対応する走査線の位置は、複数本の走査線と交差する方向における瞳孔の中心位置を反映して、る。このような知見に基づき、本項に係る瞳孔検出装置においては、複数本の走査線のうち、検出部力の信号における 2つのハイレベル部間の間隔が実質的に最大であるものの位置に基づき、副走査方向における瞳孔の位置が検出される。

[0034] (8) 画像を表す可視光束を観察者の瞳孔を経て網膜上に照射することにより、その網膜上に画像を直接に投影する画像表示装置であって、

前記画像を表示するために前記可視光束を出射する表示用出射部と、前記瞳孔の位置を検出するために、前記可視光束とは異なる非可視光束を前記眼球に向けて出射する検出用出射部と、

それら表示用出射部と検出用出射部とからそれぞれ出射した可視光束と非可視光束とを合成光束に合波する合波部と、

その合成された合成光束を主走査方向とその主走査方向と交差する副走査方向とに 2次元的に走査し、それにより、互いに平行な複数本の走査線を前記眼球上に形成する走査部と、

その走査部によって走査された合成光束を前記瞳孔に向かって誘導する誘導部と前記眼球の表面に入射した非可視光束のうちその眼球の表面において反射した非可視光束の強度を反射光束の強度信号として検出する検出部と、

その検出部力出力された強度信号によって表される前記反射光束の強度変化に基づき、前記瞳孔の位置を求め、その求められた瞳孔の位置に基づき、前記可視光束が前記眼球に向かって進行する光軸を、前記瞳孔の実際位置に追従するように制御する制御部と

を含む画像表示装置。

[0035] 本項に係る画像表示装置においては、前記（1)項に係る瞳孔検出装置と同様にして、検出部により、眼球の表面に入射した光束のうちその眼球の表面において反射した光束の強度が反射光束の強度として検出され、さらに、制御部により、その検出された反射光束の強度の変化に基づき、瞳孔の位置が求められる。

[0036] したがって、この画像表示装置によれば、検出部から出力された信号に対して複雑な画像処理を行うことなぐ瞳孔の位置を検出することが可能となる。さらに、検出部は、眼球表面からの反射光束が入射した位置を広い入射領域のもとに 2次元的に検出するのではなぐその反射光束の強度を狭い入射領域のもとに検出するもので足りるため、検出部の小型化および低コストィ匕が容易となる。

[0037] 本項に係る画像表示装置においては、制御部により、さらに、その検出された瞳孔の位置に基づき、可視光束が眼球に向力つて進行する光軸が、瞳孔の実際位置に追従するように制御される。 [0038] したがって、この画像表示装置によれば、走査部のうちの可動部の慣性を低減させて走査速度を高速ィヒすることが必要であるなどの理由で、その走査部から出射する可視光束の径を十分に大きくできず、そのために可視光束が瞳孔力外れ易い状況であっても、可視光束が常に瞳孔を通過して網膜上に到達する状態を維持することが容易となる。

[0039] この画像表示装置においては、画像表示のためには可視光束が眼球に照射される一方、瞳孔位置検出のためには非可視光束が眼球に照射される。したがって、この画像表示装置においては、観察者に気付かれることなぐ瞳孔位置を検出することが可能となる。

[0040] さらに、この画像表示装置においては、それら可視光束と非可視光束とに共通に、走査部と誘導部とが設けられる。走査部から誘導部を経て眼球に至る光路がそれら可視光束と非可視光束とに共通化されているのであり、これにより、それら 2種類の光束についてそれぞれ専用の光路を使用しなければならない場合に比較し、画像表示装置の小型化、単純ィ匕および低コストィ匕が容易となる。

[0041] 本項に係る画像表示装置においては、眼球への非可視光束の照射を、眼球への可視光束の照射と同じ時期に行ったり、異なる時期に行うことが可能である。

[0042] 本項に係る画像表示装置は、前記（2)ないし（7)項のいずれかに係る瞳孔検出装置と組み合わせて実施することが可能である。

[0043] (9) 前記制御部は、前記検出部から出力された強度信号によって表される前記反射光束の強度の、前記各走査線上における位置に応じた変化と各走査線の位置に応じた変化とに基づき、前記瞳孔の位置を 2次元的に検出し、その検出された瞳孔の位置に基づき、前記可視光束が前記眼球に向かって進行する光軸を、前記瞳孔の実際位置に追従するように制御する（8)項に記載の画像表示装置。

[0044] 本項に係る画像表示装置においては、前記（2)項に係る瞳孔検出装置と同様にして、眼球の表面に入射した光束のうちその眼球の表面において反射した光束の強度が反射光束の強度として検出され、その検出された反射光束の強度の、各走査線上における位置に応じた変化と各走査線の位置に応じた変化とに基づき、瞳孔の位置力^次元的に検出される。 [0045] (10) 前記走査部は、前記非可視光束の入射に対して非可視走査光を出射し、当該画像表示装置は、さらに、その出射された非可視走査光が、前記走査部と前記網膜との間に想定される光軸上において前記瞳孔から設定距離離れた位置にお

V、て収束するように、前記非可視走査光の収束位置を設定する収束位置設定部を含む (8)または（9)項に記載の画像表示装置。

[0046] この画像表示装置によれば、前記 (4)項に係る瞳孔検出装置と同様な作用効果を実現することが可能である。

[0047] (11) 前記収束位置設定部は、前記誘導部に設けられる（10)項に記載の画像表示装置。

[0048] この画像表示装置によれば、収束位置設定部が、走査部より下流側に配置されるため、走査部またはそれの上流側に配置される場合より、この収束位置設定部が可視光束に悪影響を及ぼす可能性を軽減することが容易となる。

[0049] (12) 前記収束位置設定部は、前記誘導部のうちの下流側の部分に設けられる（1 1)項に記載の画像表示装置。

[0050] この画像表示装置によれば、収束位置設定部が、誘導部のうちの下流側の部分に配置されるため、同じ誘導部のうちその下流側を除く部分またはその部分の上流側に配置される場合より、この収束位置設定部が可視光束に悪影響を及ぼす可能性を軽減することが容易となる。

[0051] (13) 前記収束位置設定部は、波長分散性を有するガラス材料で作製されたレンズと、回折素子との少なくとも一方を含む（11)または（12)項に記載の画像表示装置。

[0052] この画像表示装置によれば、可視光束と非可視光束とが同じ光学素子に入射するにもかかわらず、その光学素子力の出射光束の向きを、それら可視光束と非可視光束とで互いに異ならせることが可能となる。その結果、可視光束による走査光と非可視光束による走査光とで、眼球内における各走査光の収束位置を互いに異ならせることち可會となる。

[0053] (14) 前記誘導部は、リレー光学系を含む（8)ないし（13)項のいずれかに記載の画像表示装置。

[0054] (15) 前記制御部は、前記走査部より下流側に配置される（8)ないし（14)項のいずれかに記載の画像表示装置。

[0055] この画像表示装置によれば、制御部により、可視光束の光軸のうち、その制御部と眼球との間の部分が制御されるため、その制御の影響が、可視光束の光軸のうち、走査部およびそれより上流側に位置する部分に及ばないようにすることが容易となる

[0056] (16) 前記制御部は、前記可視光束の入射に対して可視走査光を出射し、

前記制御部は、その出射された可視走査光の結像位置に設置され、その可視走查光が進行する光軸を偏向する偏向器を含む（15)項に記載の画像表示装置。

[0057] (17) 前記偏向器は、可変プリズムと、揺動ミラーと、可変回折素子との少なくとも一つを含む（16)項に記載の画像表示装置。

[0058] (18) 前記制御部は、前記可視光束の入射に対して可視走査光を出射し、

前記制御部は、その出射された可視走査光が進行する光軸を、その光軸に直角な方向に並進させる並進器を含む（15)項に記載の画像表示装置。

[0059] (19) 前記並進器は、前記光軸に対して傾斜した可動ミラーであって、前記光軸に直角な方向に並進させられるものを含む（18)項に記載の画像表示装置。

[0060] (20) 前記制御部は、前記瞳孔の位置の検出と前記光軸の位置の制御とを一方向において 1次元的に行うものであり、

前記合成光束の断面形状は、前記一方向に直角な方向において扁平化された扁平形状である（8)ないし（ 19)項の、ずれかに記載の画像表示装置。

[0061] この画像表示装置は、合成光束の扁平断面形状のうち最も長い部分の寸法 (例えば、長円または楕円の長軸の長さ）が瞳孔の直径以上となるように設定される態様で実施することが可能である。この態様においては、画像を描画するために、走査部が

、合成光束を、上記最も長い部分が延びる方向に直角な方向において 1次元的に走查すれば足りる。

[0062] したがって、この態様においては、瞳孔の位置の検出も、可視光束が眼球に向かつて進行する光軸を瞳孔の実際位置に追従するように制御する追従制御も、合成光束の 1次元走査方向において行えば足りる。

[0063] よって、この態様によれば、瞳孔の位置の検出および追従制御を、 2次元的に行わなければならない場合より単純化することや高速化することが容易となる。

図面の簡単な説明

[0064] [図 1]図 1は、本発明の第 1実施形態に従う網膜走査型ディスプレイ装置を示す系統図である。

[図 2]図 2は、図 1に示す網膜走査型ディスプレイ装置のうち、光がガルバノミラー 150 力もリレー光学系 160を経て、瞳孔 12が正面を向いた観察者の眼 10に向力光路を示す光路図である。

[図 3]図 3は、図 2における可変プリズム 190を示す側面断面図である。

[図 4]図 4は、図 1に示す網膜走査型ディスプレイ装置のうち、光がガルバノミラー 150 力もリレー光学系 160を経て、瞳孔 12が斜め上方を向いた観察者の眼 10に向かう光路を示す光路図である。

[図 5]図 5は、図 2における瞳孔位置決定回路 180のコンピュータにより実行される光軸追従制御プログラムの内容を概念的に表すフローチャートである。

[図 6]図 6は、図 5の光軸追従制御プログラムの実行によって瞳孔 12の位置が検出されるメカニズムを説明するために、赤外光の走査によって観察者の眼 10の表面上に描かれる軌跡を示す正面図である。

[図 7]図 7は、図 5における S3の実行によって取り込まれる戻り光検出信号の強度と走査線番号との関係を表すグラフである。

[図 8]図 8は、図 7に示す戻り光検出信号を表すグラフと、その戻り光検出信号の波形特性に関連付けて瞳孔 12の位置を説明するための図である。

[図 9]図 9は、図 8における経過時間 tcおよび隔たり時間 tdが走査線番号と共に変化する様子を説明するためのグラフである。

[図 10]図 10は、本発明の第 2実施形態に従う網膜走査型ディスプレイ装置において光軸が変更されるメカニズムを説明するための光路図である。

[図 11]図 11は、本発明の第 3実施形態に従う網膜走査型ディスプレイ装置において光軸が変更されるメカニズムを説明するための光路図である。

発明を実施するための最良の形態

[0065] 以下、本発明のさらに具体的な実施の形態のいくつかを図面に基づいて詳細に説明する。

[0066] 図 1には、本発明の第 1実施形態に従う網膜走査型ディスプレイ (以下、「RSD」と略称する。）が系統的に表されている。この RSDは、レーザビームを観察者の眼すなわち眼球 10の瞳孔 12を経て網膜 14上に投影することにより、表示対象を虚像によつて観察者に視認させる形式の画像表示装置である。具体的には、この RSDは、レ一ザビームを、それの波面および強度を適宜変調しつつ、瞳孔 12を経て網膜 14上に結像させ、その網膜 14上においてレーザビームを 2次元的に走査することにより、その網膜 14上に画像を直接に投影する。

[0067] 図 1に示すように、この RSDは、光源ユニット 20を備え、その光源ユニット 20と観察者の眼 10との間において波面変調光学系 22と走査装置 24とをそれらの順に並んで備えている。

[0068] この RSDは、さらに、瞳孔 12の位置 (例えば、中心位置）を検出する瞳孔検出部 3 0と、その検出された瞳孔 12の位置に照射光束を追従させる追従部 32とを備えている。その追従部 32は、瞳孔 12の実際位置を追跡しながら網膜走査型描画を行う追跡描画のために、走査装置 24の走査光 (すなわち、 RSDの最終出力光）の方向（または眼 10の表面に入射する位置）を適応制御する装置である。

[0069] まず、光源ユニット 20について説明するに、光源ユニット 20は、 3原色 (RGB)を有する 3つのレーザビームを 1つのレーザビームに集束して任意色のレーザビームを表示用レーザビーム（以下、「表示光」ともいう。）として生成するために、赤色のレーザビームを発する Rレーザ 40と、緑色のレーザビームを発する Gレーザ 42と、青色のレ一ザビームを発する Bレーザ 44とを備えている。この光源ユニットは、さらに、この RS Dの位置を基準にして瞳孔 12の位置を検出するために眼 10に照射される赤外線レ一ザビーム（以下、「赤外光」ともいう。）を発する IRレーザ 46を備えている。各レーザ 40, 42, 44, 46は、例えば、半導体レーザとして構成することが可能である。

[0070] 本実施形態にお!、ては、赤色、緑色および青色のレーザビームはそれぞれ、画像表示のために眼 10に照射される可視光束の一例であり、これに対し、赤外光は、瞳孔 12の位置を検出するために眼 10に照射される非可視光束の一例である。

[0071] 各レーザ 40, 42, 44, 46から出射したレーザビームは、それらを合成するために、各コリメート光学系 50, 52, 54, 56によって平行光化された後に、波長依存性を有する各ダイクロイツクミラー 60, 62, 64, 66に入射させられ、それにより、各レーザビームが波長に関して選択的に反射 ·透過させられる。

[0072] 具体的には、 Rレーザ 40から出射した赤色レーザビームは、コリメート光学系 50によって平行光化された後に、ダイクロイツクミラー 60に入射させられる。 Gレーザ 42から出射した緑色レーザビームは、コリメート光学系 52を経てダイクロイツクミラー 62に入射させられる。 Bレーザ 44から出射した青色レーザビームは、コリメート光学系 54 を経てダイクロイツクミラー 64に入射させられる。 IRレーザ 46から出射した赤外光は、コリメート光学系 56を経てダイクロイツクミラー 66に入射させられる。

[0073] それら 4つのダイクロイツクミラー 60, 62, 64, 66にそれぞれ入射した表示光（すなわち、 3原色のレーザビーム）および赤外光は、それら 4つのダイクロイツクミラー 60, 62, 64, 66を代表する 1つのダイクロイツクミラー 60に最終的に入射して集束され、その後、結合光学系 70によって集光される。

[0074] 以上、光源ユニット 20のうち光学的な部分を説明したが、以下、電気的な部分を説明する。

[0075] 光源ユニット 20は、信号処理回路 80を備えて、る。信号処理回路 80は、外部から供給された映像信号に基づき、各レーザ 40, 42, 44を駆動するための信号処理と、後述の、レーザビームの波面を変調するための信号処理と、後述の、レーザビームの走査を行うための信号処理とを行うように設計されている。

[0076] 信号処理回路 80は、外部から供給された映像信号に基づき、各レーザ 40, 42, 4 4 (R光、 G光、 B光）に対応する信号成分を生成 (抽出）し、各色の信号成分に基づき、各レーザドライバ 90, 92, 94を介して各レーザ 40, 42, 44に、必要な駆動信号を供給する。それにより、網膜 14上に画像が、外部力も供給された映像信号に応じた適正な色と強度とを有するように投影されて表示される。

[0077] さらに、信号処理装置 80は、上記映像信号に基づき、レーザビームや赤外光の走查の基準となる同期信号も生成 (抽出）して走査装置 24に供給し、また、上記映像信号に含まれる奥行き情報に基づき、後述の波面曲率変調器 110を制御するための奥行き信号も、波面変調光学系 22に供給する。 [0078] IRレーザ 46は、赤外光を常に一定の強度で出射するように駆動される。 IRレーザ 4 6から赤外光を発光させるため、信号処理回路 80は、赤外光を一定の強度で出射するための駆動信号を IRレーザドライバ 96を介して IRレーザ 46に供給する。その結果、赤外光は、表示画像の内容の如何を問わず、常に一定の光量で眼 10に入射する。これにより、入射光量の変動に起因して瞳孔位置の検出精度が低下することが抑制される。

[0079] 本実施形態においては、 IRレーザ 46が、画像表示中、走査帰線消去期間を除く期間 (水平走査帰線消去期間と垂直走査帰線消去期間とを除く期間）において、赤外光を発光するように駆動される。赤外光の発光期間をそのように選定した理由は後に詳述する。

[0080] 以上説明した光源ユニット 20は、結合光学系 70において表示光と赤外光とを同一位置から出射する。それら表示光と赤外光とは、結合光学系 70において合波されて集光された後、光伝送媒体としての光ファイバ 100と、その光ファイバ 100の後端から放射されるレーザビームを平行光化するコリメート光学系 104とをそれらの順に経て波面変調光学系 22に入射する。

[0081] その波面変調光学系 22は、光源ユニット 20から出射したレーザビームの波面曲率を変調する光学系であり、波面曲率変調器 110を備えている。その波面曲率変調器 110は、概念的に説明すれば、収束レンズとそれの光軸上において変位可能なミラ一との組合せを主体として構成されて、る。

[0082] 具体的には、この波面曲率変調器 110は、図 1に示すように、コリメート光学系 104 力も出射した表示光と赤外光とが入射するビームスプリッタ 112と、そのビームスプリッタ 112から出射した表示光を集光する収束レンズ 114とを備え、さらに、その収束レンズ 114から出射した表示光の波面曲率を変調するための可動ミラー 116を備えている。

[0083] この波面曲率変調器 110は、さらに、その可動ミラー 116の位置を光軸上において変化させるァクチユエータ 118を備えている。ァクチユエータ 118の一例は、圧電素子を利用する形式である。このァクチユエータ 118は、信号処理回路 80から入力された奥行き信号 (Z信号）に応じて可動ミラー 116の位置を移動させることにより、波面曲率変調器 110から出射する表示光の波面曲率を変調する。表示光は、可動ミラー 116〖こおいて反射した後、収束レンズ 114を通過し、その後、ビームスプリッタ 112を通過して走査装置 24へ向かう。

[0084] それらビームスプリッタ 112と収束レンズ 114との間には、赤外光を選択的に反射するダイクロイツクミラー 120が設けられている。したがって、ビームスプリッタ 112から入射した赤外光は、そのダイクロイツクミラー 120にお、てその入射側に戻るように反射し、再度、ビームスプリッタ 112を通過して、走査装置 24に向かう。これにより、赤外光の波面曲率は画像表示中、変調されず、その結果、赤外光は、眼 10の表面に常に同じ面積で照射される。これにより、入射面積の変動に起因して瞳孔位置の検出精度が低下することが抑制される。

[0085] 以上のように構成された波面変調光学系 22から出射した表示光と赤外光は、図 1 に示すように、前述の走査装置 24に入射する。この走査装置 24は、水平走査系 13 0と垂直走査系 132とを備えて、る。

[0086] 水平走査系 130は、表示すべき画像の 1フレームごとに、各レーザビームを水平な複数の走査線に沿って水平にラスタ走査する水平走査を行う光学系である。これに対し、垂直走査系 132は、表示すべき画像の 1フレームごとに、各レーザビームを最初の走査線から最後の走査線に向かって垂直に走査する垂直走査を行う光学系である。

[0087] 具体的に説明するに、水平走査系 130は、本実施形態においては、機械的偏向を行う一方向回転ミラーとしてポリゴンミラー 134を備えて、る。このポリゴンミラー 134 は、それに入射した各レーザビームの光軸と交差する回転軸線まわりに図示しないモータによって高速で回転させられる。このポリゴンミラー 134の回転は、信号処理回路 80から供給される水平同期信号に基づいて制御される。

[0088] ポリゴンミラー 134は、回転軸線のまわりに並んだ複数の反射面 136を備えており、各レーザビーム力 S1つの反射面 136を通過するごとに 1回偏向が行われる。その偏向された各レーザビームは、リレー光学系 140によって垂直走査系 132に伝送される。本実施形態にぉ、ては、リレー光学系 140が光路上にぉ、て複数個の光学素子 14 2, 144を並んで備えている。 [0089] 以上、水平走査系 130を説明したが、垂直走査系 132は、機械的偏向を行う揺動ミラーとしてのガルバノミラー 150を備えている。ガルバノミラー 150には、水平走査系 130から出射した各レーザビームがリレー光学系 140によって集光されて入射するようになつている。このガルバノミラー 150は、それに入射した各レーザビームの光軸と交差する回転軸線まわりに揺動させられる。このガルバノミラー 150の起動タイミングおよび回転速度は、信号処理回路 80から供給される垂直同期信号に基づ、て制御される。

[0090] 以上説明した水平走査系 130と垂直走査系 132との共同により、表示光と赤外光との合成光が 2次元的に走査され、その走査された合成光は、リレー光学系 160を経て観察者の眼 10に入射する。そのリレー光学系 160は、それの光路上の上流側と下流側とにそれぞれ光学素子 162と光学素子 164とを備えている。各光学素子 162, 1 64は通常、レンズとして構成される。

[0091] 図 1に示すように、表示光と赤外光とは、結合光学系 70において合波されて集光された後、波面変調光学系 22と走査装置 24とリレー光学系 160とをそれらの順に経て観察者の眼 10に入射する。その際、それら表示光と赤外光とは、それら結合光学系 70と眼 10との間において同一の光路を通過する。

[0092] すなわち、赤外光は、瞳孔位置を検出するために眼 10内に投入されるのであるが、この赤外光が光源ユニット 20から出射して眼 10に入射するまでに通過する光路は、表示光と同一であり、これにより、瞳孔位置を検出するためにこの RSDの標準的な構成に対して追加'変更が必要な部品の点数ができる限り少なくて済むようになっているのである。

[0093] 前述のように、この RSDは、瞳孔検出部 30を備えている。この瞳孔検出部 30は、図 2に示すように、 2個の光学素子 162, 164間に配置された赤外光用ハーフミラー 1 70と、その赤外光用ハーフミラー 170からの反射光を集光するレンズ 172と、そのレンズ 172からの出射光を受光し、その出射光の強度に応じた信号を戻り光検出信号として出力するフォトダイオード 174 (光センサの一例である。 )とを備えている。

[0094] そのフォトダイオード 174に入射する光は、眼 10に入射した赤外光のうち眼 10の表面にお!、て反射して入射側に戻る戻り光 (前記「反射光束」の一例である。 )である。その戻り光の強度に応じ、そのフォトダイオード 174から出力される戻り光検出信号は、戻り光の強度の経時的変化を表す時系列信号である。

[0095] ところで、前述のように、 IRレーザ 46は、画像表示中、走査帰線消去期間を除く期間 (水平走査帰線消去期間と垂直走査帰線消去期間とを除く期間）において、赤外光を発光する。したがって、本実施形態においては、赤外光は、眼 10の表面上にお V、て、複数本の有効な水平走査線 (可視光であれば観察者に視認される複数本の水平走査線）に沿ってのみ走査される。その結果、フォトダイオード 174から出力される戻り光検出信号は、それら複数本の有効な水平走査線のそれぞれに関連付けて、互いに共通する時間スケールで取得される。有効な水平走査線と、消去された水平走査帰線とを対比すれば、走査速度が互いに異なり、このような走査速度の違いの存在にもかかわらず、戻り光検出信号に基づいて瞳孔位置を検出すると、時間スケールの違いに起因した検出誤差が招来される。

[0096] 上述の赤外光用ハーフミラー 170は、それの上流側から一緒に入射する表示光と赤外光とを下流側に向けて通過することを許容する一方、眼 10の表面にお、て反射して赤外光用ハーフミラー 170の下流側から赤外散乱光として入射する赤外光をレンズ 172に向けて反射する。

[0097] この瞳孔検出部 30は、さらに、そのフォトダイオード 174から出力された戻り光検出信号に基づき、観察者の眼 10から反射した赤外光の強度を利用して瞳孔 12の位置を決定する瞳孔位置決定回路 180を備えている。その瞳孔位置決定回路 180の機能については後に詳述する。

[0098] ところで、リレー光学系 160においては、光学素子 162が初段レンズ、光学素子 16 4が終段レンズである。その終段レンズ 164は、波長分散性 (入射光の波長に屈折率従って屈折力が依存する性質)を有し、屈折率従って屈折力が長波長すなわち赤外線の波長において選択的に小さくなるガラス材料によって構成された光学素子である。この終段レンズ 164は、表示光は、瞳孔 12 (水晶体）の位置において収束するように設計される一方、赤外光は、瞳孔 12 (水晶体)の位置よりわずかに奥 (網膜に近い側）において収束するように設計されている。これにより、眼 10の表面においては、赤外光の方が表示光より広い領域において走査されることになる。以下、このことをさらに詳細に説明する。

[0099] 図 2に示すように、光束は、垂直走査系 132により、最大走査角を振れ角として走查される。垂直走査系 132によって走査された走査光束 (すなわち、各瞬間ごとに垂直走査系 132から出射するビーム）は、それが光軸に沿って進行する場合には、初段レンズ 162、終段レンズ 164および瞳孔 12を一直線に沿って進行して網膜 14〖こ入射する。この場合、その走査光束は、断面積を有するため、初段レンズ 162によつて収束されて結像した後、終段レンズ 164によって平行光束に復元される。その平行光束は、瞳孔 12を通過して網膜 14上に結像する。

[0100] 垂直走査系 132による走査光束 (すなわち、各瞬間ごとに垂直走査系 132から出射するビーム）が最大走査角を有する場合には、その走査光束は、表示光であるか赤外光であるかを問わず、各レンズ 162, 164において折れ曲がった同じ光路に沿つて進行して眼 10に入射する。

[0101] ただし、垂直走査系 132から出射する走査光束 (すなわち、各瞬間ごとに垂直走査系 132から出射するビーム）が表示光の光束である場合には、その走査光束の中心は、理想的には、瞳孔 12の中心 (水晶体の中心）を通過して網膜 14に到達する。すなわち、垂直走査系 132から出射する走査表示光 (可視走査光)の光束の中心 (すなわち、偏向ビームが垂直走査中に振れ角を有するように描く軌跡）は、理想的には、瞳孔 12の位置 Pにおいて収束するのである。

[0102] これに対し、垂直走査系 132から出射する走査光束が赤外光である場合には、垂直走査系 132から出射する走査赤外光 (非可視走査光)の光束の中心 (すなわち、偏向ビームが垂直走査中に振れ角を有するように描く軌跡）は、瞳孔 12の位置より奥の位置 Qにおいて収束する。その結果、その走査赤外光は、眼 10の表面に、瞳孔 12と虹彩 182とを含む広い領域において照射される。

[0103] したがって、本実施形態においては、表示光と赤外光とが、光源ユニット 20と観察者の眼 10との間において共通の光路を通過するにもかかわらず、終段レンズ 164の波長選択性により、表示光が眼 10の内部において収束する位置に悪影響を与えることなく、赤外光が、瞳孔 12および虹彩 182を含むように眼 10の表面上に設定された 2次元走査領域内にお、て走査される。 [0104] 前述のように、この RSDは、さらに、追従部 32を備えて、る。その追従部 32は、光軸変更器の一例である可変プリズム 190と、その可変プリズム 190の形状を変化させるァクチユエータ 192と、そのァクチユエータ 192を駆動する駆動回路 194とを備えている。その駆動回路 194は、前述の瞳孔検出部 30における瞳孔位置決定回路 180 に接続されている。この追従部 32は、後に詳述するが、それら可変プリズム 190、ァクチユエータ 192および駆動回路 194を用い、かつ、瞳孔位置決定回路 180からの信号を参照することにより、表示光の光軸を主走査方向と副走査方向とに 2次元的に変化させることにより、光軸を瞳孔 12の実際位置に追従させる。

[0105] 可変プリズム 190は、図 2に示すように、 2個のレンズ 162, 164の間において、初段レンズ 162から出射した光の結像位置に配置されている。可変プリズム 190が結像位置に配置される結果、初段レンズ 162からの光がその可変プリズム 190を通過してもその光の波面曲率が変化せずに済む。

[0106] この可変プリズム 190は、図 3に示すように、隙間を隔てて厚さ方向に互いに対向する 2枚の板ガラス 200, 200を備えている。それら板ガラス 200, 200は、それらの周縁において、可撓性のジャバラ 202 (例えば、フィルム状を成す合成樹脂製のジャバラ）によって結合され、それにより、それら板ガラス 200, 200間に密閉空間が形成されている。その密閉空間は高屈折率液体 204で充填されている。ジャバラ 202がァクチユエータ 192によって伸縮させられることにより、可変プリズム 190の形状が変化させられ、それに伴い、その可変プリズム 190に入射した表示光の出射角度も変化させられる。

[0107] 図 4には、瞳孔 12が、正面を正視する方向よりやや上方斜めを向く方向を向いた場合に、その瞳孔 12の位置に追従して表示光の光軸が変更される一例が示されている。このような光軸追従制御により、瞳孔 12の実際位置の如何にかかわらず、表示光が瞳孔 12を通過して網膜 14に結像される。

[0108] ここで、瞳孔位置決定回路 180の機能を詳述する。

[0109] まず、概略的に説明すれば、この瞳孔位置決定回路 180は、前述の戻り光の強度の、各走査線上における位置に応じた変化と、各走査線の位置に応じた変化とに基づき、瞳孔 12の位置を 2次元的に検出する。 [0110] ところで、瞳孔 12の位置は戻り光の強度に基づいて決定され、その戻り光の強度は、瞳孔 12の位置と赤外光とに基づいて変化する。その赤外光の光軸は表示光の光軸と共通するため、表示光の光軸が変更されれば、それに応じて赤外光の光軸も変更される。したがって、瞳孔 12の位置は結局、変更直前の光軸の 2次元位置を基準にして相対的に決定されることになる。

[0111] よく知られているように、瞳孔 12は、環状を成して拡大'収縮する虹彩 182の中央にある丸い穴である。眼 10に光が入射すると、その光は、その瞳孔 12を通過して網膜 14に入射する。虹彩 182は、眼 10に入射する光の量に応じて収縮 ·拡大することにより、瞳孔 12の直径を増カロ'減少させる役割を果たす。この虹彩 182は、それへの入射光を、瞳孔 12より高い反射率で反射するという性質を有する。

[0112] 観察者力この RSDを使用すれば、赤外光が観察者の眼 10の表面において各走査線に沿って走査される。その走査領域は、前述のように、瞳孔 12を含んでそれより大きい面積を有するように設定されており、よって、各走査線は、瞳孔 12とそれの周辺に位置する虹彩 182とを通過し得る。前述の説明から明らかなように、赤外光は、虹彩 182にお、て強く反射するのに対し、瞳孔 12にお、てはほとんど反射しな!、。

[0113] 赤外光が、瞳孔 12も虹彩 182も通過しない走査線に沿って走査される場合には、眼 10の表面からの戻り光力その走査線の領域全体について弱い。したがって、この場合には、フォトダイオード 174から出力される戻り光検出信号が比較的平坦な波形を示し、その戻り光検出信号の強度 (例えば、電圧）は、その走査線の領域全体にっ、てローレベルである。

[0114] これに対し、赤外光が、虹彩 182は通過するが瞳孔 12は通過しない走査線に沿つて走査される場合には、眼 10の表面力もの戻り光力その走査線のうち虹彩 182を通過する部分の領域については強い一方、それ以外の領域については弱い。したがって、この場合には、フォトダイオード 174から出力される戻り光検出信号の強度が、その走査線のうちの虹彩 182を通過する部分の領域においてのみハイレベル部を有する。すなわち、この場合には、 1つの走査線に対応する戻り光検出信号が、ハイレベル部を 1個のみ有し、単峰性のピークを有する信号波形を示すことになるのである。 [0115] さらに、赤外光が、瞳孔 12と虹彩 182との双方を通過する走査線に沿って走査される場合には、眼 10の表面力もの戻り光力その走査線のうち、虹彩 182を通過する部分の領域にっ、ては強、一方、瞳孔 12を通過する部分の領域にっ、ては弱、。したがって、この場合には、フォトダイオード 174から出力される戻り光検出信号の強度力その走査線のうち、離散的な 2つの領域においてのみノ、ィレベル部を有する。すなわち、この場合には、 1本の走査線に対応する戻り光検出信号力ハイレベル部を 2個有し、双峰性のピークを有する信号波形を示すことになるのである。

[0116] 対応する戻り光検出信号が 2個のハイレベル部を有する走査線には、それらハイレベル部間に 1個のローレベル部が存在し、このローレベル部の、当該戻り光検出信号における位置は、瞳孔 12の、主走査方向すなわち水平方向における位置を反映する。さらに、複数本の走査線のうち、瞳孔 12の一直径を通過するかそれに十分に近いものに対応する戻り光検出信号は、最長のローレベル部を有する。また、いずれかの走査線の番号が特定されれば、副走査方向すなわち垂直方向における位置が判明する。したがって、複数本の走査線のうち、対応する戻り光検出信号が最長の口一レベル部を有する走査線の番号は、瞳孔 12の副走査方向すなわち垂直方向における位置を反映する。

[0117] 以上説明した事実に着目することにより、この瞳孔位置決定回路 180には、フォトダィオード 174からの時系列信号が走査線の番号 nに関連付けて入力され、その信号に基づき、この瞳孔位置決定回路 180は、瞳孔 12の位置をこの RSDを基準にして 2 次元的に決定する。

[0118] なお付言するに、この瞳孔位置決定回路 180は、瞳孔 12が正面を正視する正面正視時に取得した瞳孔 12の位置と、非正面正視時に取得した瞳孔 12の位置との比較により、非正面正視時における視線の方向を決定するように設計することが可能である。

[0119] この瞳孔位置決定回路 180は、上述の瞳孔位置決定機能の他に、表示光の光軸を瞳孔位置に追従させる光軸追従機能をも有する。それら機能を実現するために、この瞳孔位置決定回路 180は、図示しないが、 CPUと ROMと RAMとを有するコンビユータを備えており、 ROMに記憶された光軸追跡制御プログラムが CPUによって実行される。

[0120] 図 5には、その光軸追従制御プログラムの内容が概念的にフローチャートで表されている。

[0121] この光軸追跡制御プログラムは上記コンピュータによって繰り返し実行される。各回の実行時には、まず、ステップ S1 (以下、単に「S1」で表す。他のステップについても同じとする。）において、まず、今回の画像フレームについて垂直走査が開始されたか否か、すなわち、今回の画像フレームにおける最初の走査線について水平走査が開始された力否かが判定される。今回の垂直走査が未だ開始されていない場合には、判定が NOとなり、直ちにこの光軸追従制御プログラムの一回の実行が終了する。これに対し、今回の画像フレームについて垂直走査が開始された場合には、判定が YESとなり、 S 2〖こ移行する。

[0122] この S2においては、走査線番号 nが「1」にセットさせる。その後、 S3において、今回の走査線番号 nに関連付けて、時系列信号である戻り光検出信号力フォトダイォード 174から取り込まれる。

[0123] 続いて、 S4において、今回の走査線番号 nに関連付けて取り込まれた戻り光検出信号のうち、信号強度が予め定められたしきい値より高いハイレベル部が検出される。その後、 S5において、その検出されたノヽィレベル部の数が 2個である力否かが判定される。最初の走査線（走査線番号 nが「1」である走査線）については、図 6に示すように、その走査線が瞳孔 12と虹彩 182との双方を通過しないため、図 7において「1 」の走査線番号を付して示すように、戻り光検出信号はハイレベル部を有しな、。

[0124] 検出されたハイレベル部の数が 0個または 1個である場合には、 S5の判定が NOとなり、 S6において、次回の水平走査に備えて走査線番号 nが 1だけインクリメントされ、その後、 S3に戻る。この S3においては、次の走査線に関連付けられた戻り光検出信号がフォトダイオード 174から取り込まれる。

[0125] 同じ画像フレームについて水平走査が何回力繰り返されるうちに、走査線が、図 6 において「n— 2」の走査線番号を付して示すように、瞳孔 12と虹彩 182とのうち虹彩 182のみを通過する状態に至ると、戻り光検出信号が、図 7において「n— 2」の走査線番号を付して示すように、 1個のハイレベル部を有することになる。 [0126] 同じ画像フレームについて水平走査がさらに何回力繰り返されるうちに、走査線が、図 6において「n」の走査線番号を付して示すように、瞳孔 12と虹彩 182との双方を通過する状態に至ると、戻り光検出信号が、図 7において「n」の走査線番号を付して示すように、 2個のハイレベル部を有することになる。

[0127] 検出されたハイレベル部の数が 2個である場合には、 S5の判定力YESとなり、 S7 において、それら 2個のハイレベル部のそれぞれにっき、図 8 (a)〖こ示すように、先頭のハイレべレノレ部の時間幅の中心時刻 tmlと、末尾のハイレべレノレ部の時間幅の中心時刻 tm2とが計測される。その後、 S8において、それら 2個のハイレベル部間の隔たり時間 tdが中心時刻 tmlと tm2との差として求められる。続いて、 S9において、その隔たり時間 tdの値力そのときの走査線番号 nに関連付けて前記 RAMにストアされる。

[0128] その後、 S10において、今回の走査線が今回の画像フレームについての最後の走查線であるか否か、すなわち、今回の走査線番号 nが最大値 nmaxであるか否かが判定される。最大値 nmaxではない場合は、判定が NOとなり、 S6において、次の水平走査に備えて走査線番号 nが 1だけインクリメントされる。その後、 S3に戻る。

[0129] S3ないし S 10の実行は、今回の走査線番号 nが最大値 nmaxに達するまで繰り返される。今回の走査線番号 nが最大値 nmaxに達すると、 S10の判定力YESとなる。

[0130] ここで、図 8を参照することにより、瞳孔 12の位置 LHc, LVcとハイレベル部に関する時間情報 tml, tm2, td, tcとの関係を説明する。

[0131] 図 8 (a)に示すように、 2個のハイレベル部のうち先頭のものの中心時刻 tmlにそれら 2個のハイレベル部間の隔たり時間 tdの半値を加算すれば、それら 2個のハイレべル部間の中間の時刻の、該当する戻り光検出信号の開始時刻からの経過時間が得られる。この経過時間 tcは、同図（b)に示すように、瞳孔中心 Cの、該当する戻り光検出信号に対応する走査線の水平走査開始点からの距離 LHcを反映する。

[0132] 複数本の走査線のうち、それらについてそれぞれ取得された複数個の隔たり時間 t dのうちの最大値 tdmaxを有するものの番号 npは、図 8 (b)に示すように、瞳孔中心 Cの、今回の画像フレームの垂直走査開始点からの距離 LVcを反映する。

[0133] 図 9には、走査線番号 nと、経過時間 tcおよび隔たり時間 tdとの関係がグラフによつて示されている。走査線番号 nの増加につれて、隔たり時間 tdは上に凸の傾向を示すのに対し、経過時間 tcはほぼ安定している。隔たり時間 tdは、最大値 tdmaxを有するように変化するのであり、複数本の走査線のうち、その最大値 tdmaxに対応するものの番号 nが番号 npである。この番号 npが判明すれば、瞳孔中心 Cの垂直方向位置が判明する。

[0134] 以上説明した知見に基づき、図 5の S10の判定が YESとなると、 S11において、前記 S9において RAMにストアされた複数個の隔たり時間 tdのうちの最大値が最大値 t dmaxとされる。続いて、 S 12において、その最大値 tdmaxの半値と前記中心時刻 t mlとの和として前記経過時間 tcが求められる。その求められた経過時間 tcは、瞳孔中心 Cの水平方向位置を反映する。その後、 S13において、最大値 tdmaxに関連付けられた走査線番号 nが走査線番号 npとされる。その走査線番号 npは、瞳孔中心 C の垂直方向位置を反映する。

[0135] 続いて、 S14において、 S12および S13において取得された経過時間 tcおよび走查線番号 npに基づき、表示光の光軸が瞳孔中心 Cに追従するように可変プリズム 19 0の形状を変化させるために必要なァクチユエータ 192の制御量が決定される。この制御量は、表示光の光軸の現在位置を、瞳孔中心 Cに一致するように変更するためにァクチユエータ 192が実現することが必要な制御量である。その後、 S15において、その決定された制御量を実現するために必要な信号が駆動回路 194を介してァクチユエータ 192に供給される。

[0136] 以上で、この光軸追跡制御プログラムの一回の実行が終了する。

[0137] 以上の説明から明らかなように、本実施形態においては、 IRレーザ 46と、走査装置 24と、赤外光用ハーフミラー 170と、レンズ 230と、フォトダイオード 174と、瞳孔位置決定回路 180とが互いに共同して前記（1)項に係る「瞳孔検出装置」の一例を構成し、 RSDが前記（8)項に係る「画像表示装置」の一例を構成して、るのである。

[0138] さらに、本実施形態においては、 IRレーザ 46が前記（1)項における「出射部」および前記（8)項における「検出用出射部」の一例を構成し、 Rレーザ 40、 Gレーザ 42および Bレーザ 44がそれぞれ前記（8)項における「表示用出射部」の一例を構成しているのである。 [0139] さらに、本実施形態においては、赤外光が前記（1)項および前記（8)項における「非可視光束」の一例を構成し、表示光が前記（8)項における「可視光束」の一例を構成し、特に結合光学系 70が前記（8)項における「合波部」の一例を構成して、るのである。

[0140] さらに、本実施形態においては、走査装置 24が前記（1)項および前記（8)項における「走査部」の一例を構成し、リレー光学系 160が前記（8)項における「誘導部」の一例を構成し、特にフォトダイオード 174が前記（1)項および (8)項における「検出部」の一例を構成して、るのである。

[0141] さらに、本実施形態においては、特に可変プリズム 190が前記（14)項における「偏向器」の一例を構成し、前記コンピュータを有する瞳孔位置決定回路 180が前記（1) 項における「処理部」および前記（8)項における「制御部」の一例を構成し、終段レンズ 164が前記（10)な、し（13)項のそれぞれにおける「収束位置設定部」の一例を構成しているのである。

[0142] さらに、本実施形態においては、前記コンピュータのうち、光軸追跡制御プログラムのうちの図 5における S1ないし S12を実行する部分が前記（6)項における「主走査方向位置検出手段」の一例を構成し、光軸追跡制御プログラムのうちの図 5における S 1ないし SI 1および S13を実行する部分が前記（7)項における「副走査方向位置検出手段」の一例を構成して、るのである。

[0143] なお付言するに、本実施形態においては、可変プリズム 190が前記（14)項における「偏向器」の一例として採用されているが、これに代えて可変回折素子を採用することが可能である。その可変回折素子の一例は、音響光学偏向素子 AODである。この音響光学偏向素子 AODを採用する場合、その設置位置は可変プリズム 190の場合と同様である。

[0144] さらに付言するに、本実施形態においては、表示光と検出光との合成光が、通常のように、円を成す光束断面を有するようになっており、そのため、 2次元画像を描画するために合成光の光束が 2次元的に走査される。

[0145] これに対し、本実施形態の一変形例においては、表示光と検出光との合成光 (少なくとも表示光）が、垂直方向に延びる長軸と水平方向に延びる短軸とを有する楕円すなわち縦長楕円を成す光束断面を有するように、本実施形態に対して変更されている。その楕円の短軸は、上述の円の直径とほぼ一致するが、その楕円の長軸は、眼 1 0の表面に照射された場合に瞳孔 12の直径より長、ものとされて、る。

[0146] この変形例においては、光束断面を楕円化するために、例えば、水平走査系 130 への入射前であって、光束がほぼ平行に進行する位置に円筒レンズを挿入したり、水平走査系 130と垂直走査系 132との間であって、光束がほぼ平行に進行する位置にトロイダルレンズを挿入することが可能である。

[0147] したがって、この変形例においては、走査装置 24は、合成光の光束を水平方向において 1次元的に走査するように、本実施形態に対して変更される。よって、瞳孔検出部 30も、同様に、瞳孔 12の実際位置を水平方向において 1次元的に検出するように変更され、さらに、追従部 32も、同様に、合成光の光軸を水平方向において 1次元的に変更するように変更される。

[0148] したがって、この変形例においては、それら変更された瞳孔検出部 30および追従部 32が互いに共同して前記（20)項における「制御部」の一例を構成し、水平方向が同項における「一方向」の一例であり、楕円が同項における「扁平形状」の一例なのである。

[0149] さらに付言するに、本実施形態においては、画像を描画するために表示光の波面曲率が変調され、それにより、表示画像の奥行きが変更可能になっているが、そのようにすることは本発明を実施するために不可欠なことではな、。

[0150] 次に、本発明の第 2実施形態を説明する。ただし、本実施形態は、第 1実施形態と共通する要素が多ぐ異なる要素は、光軸を変更する要素のみであるため、異なる要素についてのみ詳細に説明し、共通する要素については同一の符号または名称を使用して引用することにより、詳細な説明を省略する。

[0151] 第 1実施形態においては、可変プリズム 190により、表示光の光軸の向きが変更されることにより、表示光が眼 10に入射する位置が瞳孔 12に一致するように制御される。これに対し、本実施形態においては、図 10に示すように、表示光の光軸に対して直角な 2軸まわりにそれぞれ傾斜させられる可動ミラー 220の傾斜角を変化させることにより、表示光の光軸の向きが変更される。その可動ミラー 220の一例は、 2次元ガルバノミラーである。

[0152] 具体的には、図 10に示すように、本実施形態においては、初段レンズ 222および終段レンズ 224力それぞれの光軸が互いに直交するように配置されている。それらレンズ 222, 224の 2つの光軸が互いに直交する位置にハーフミラー 226が配置されている。ノヽーフミラー 226は、初段レンズ 222から入射した光を終段レンズ 224力も遠ざかる向きに反射する。その反射光は可動ミラー 220に入射する。その可動ミラー 22 0の中心位置は、ハーフミラー 226から入射した光の結像位置と一致する。可動ミラ一 220への入射光は、その可動ミラー 220において反射してハーフミラー 226に戻り、やがて、そのハーフミラー 226を真直ぐに通過して終段レンズ 224に入射する。

[0153] 可動ミラー 220が自身の中心位置を通過する直交 2軸まわりに傾斜させられれば、その可動ミラー 220からの反射光が偏向され、その結果、表示光の光軸が変更される。

[0154] 図 10に示すように、本実施形態においては、第 1実施形態と同様に、眼 10の表面にお、て反射した赤外光を集光するための光学素子であるレンズ 230と、フォトダイオード 232と力ハーフミラー 226に関して、初段レンズ 222とは反対側に設置されている。ハーフミラー 226は、眼 10の表面からの反射光をレンズ 230に向けて反射する

[0155] したがって、本実施形態においては、 1つのハーフミラー 226が、表示光および赤外光を走査装置 24から光軸変更器としての可動ミラー 220に導く機能と、眼 10の表面からの反射光をフォトダイオード 232に導く機能とを併せ持つている。

[0156] フォトダイオード 232は、それへの入射光である戻り光の強度に応じた信号を瞳孔位置決定回路 240に供給する。その瞳孔位置決定回路 240は、その供給された信号に基づき、第 1実施形態と同様にして、駆動回路 242およびァクチユエータ 244を介して可動ミラー 220の向きを 2軸まわりに制御する。その制御により、表示光の光軸が瞳孔 12の実際位置に追従させられる。

[0157] 以上の説明から明らかなように、本実施形態においては、可動ミラー 220が前記（1 6)項における「偏向器」および前記（17)項における「揺動ミラー」の一例を構成しているのである。 [0158] 次に、本発明の第 3実施形態を説明する。ただし、本実施形態は、第 1実施形態と共通する要素が多ぐ異なる要素は、表示光の光軸を変更する要素のみであるため、異なる要素についてのみ詳細に説明し、共通する要素については同一の符号または名称を使用して引用することにより、詳細な説明を省略する。

[0159] 第 1実施形態においては、可変プリズム 190により、表示光の光軸の向きが変更され、それにより、表示光が眼 10に照射される位置が変更される。これに対し、本実施形態においては、表示光の光軸に対して傾斜する可動ミラーをその光軸に直角な方向に並進させることにより、表示光の光軸が並進させられ、それにより、表示光が眼 1 0に照射される位置が変更される。

[0160] 具体的には、図 11に示すように、本実施形態においては、走査装置 24に属する垂直走査系 132とリレー光学系 160のうちの初段レンズ 162との間にお!/、て、第 1な!ヽし第 4ミラー 250a, 250b, 250c, 250d力 Wヽずれも表示光の光軸に対して 45度傾斜した状態で設置されている。これにより、表示光と赤外光とは、各ミラー 250a, 250 b, 250c, 250dに入射するごとに光軸が 90度曲げられる。

[0161] 垂直走査系 132から光が最初に入射する第 1ミラー 250aは、固定されている力続ヽて入する 2な!ヽし 4ミラー 250b, 250c, 250di¾、ヽずれも、まの || に直角な方向（例えば、垂直方向または水平方向）に平行移動可能に設けられている。最後に入射する第 4ミラー 250d (リレー光学系 160の直前のミラー）が平行移動させられると、表示光が観察者の眼 10に照射される位置が変更される。

[0162] 単に第 4ミラー 250dを平行移動させると、垂直走査系 132と初段レンズ 162との間における表示光の光路長が変化してしまう。その変化をキャンセルするために、本実施形態においては、第 4ミラー 250dを平行移動させることが必要である場合には、第 2および第 3ミラーが第 4ミラー 250dと同じ向きに、第 4ミラー 250dの平行移動量 Y2 の半分に等しい移動量 Y1で平行移動させられる。

[0163] したがって、本実施形態によれば、第 2ないし第 4ミラー 250dの平行移動により、表示光が観察者の眼 10に照射される位置を、表示光の光路長を変化させることなぐ変更することが可能である。

[0164] 以上の説明から明らかなように、本実施形態においては、特に第 4ミラー 250dが前記（18)項における「並進器」および前記（19)項における「可動ミラー」の一例を構成しているのである。

以上、本発明の実施の形態のいくつかを図面に基づいて詳細に説明したが、これらは例示であり、前記 [発明の開示]の欄に記載の態様を始めとして、当業者の知識に基づいて種々の変形、改良を施した他の形態で本発明を実施することが可能である。

Claims

請求の範囲

[1] 光を眼球に照射し、その眼球からの反射光を用いることにより、前記眼球における瞳孔の位置を検出する瞳孔検出装置であって、

光束を前記眼球に向けて出射する出射部と、

その出射部から出射した光束を主走査方向とその主走査方向と交差する副走査方向とに 2次元的に走査し、それにより、互いに平行に延びる複数本の走査線を前記眼球上に形成する走査部と、

を含む瞳孔検出装置。

[2] 前記処理部は、前記検出部から出力された強度信号によって表される前記反射光束の強度の、前記各走査線上における位置に応じた変化と各走査線の位置に応じた変化とに基づき、前記瞳孔の位置を 2次元的に検出する請求の範囲第 1項に記載の瞳孔検出装置。

[3] 前記光束は、前記瞳孔を含んでそれより大き!、面積を有するように前記眼球の表面上に設定された走査領域において 2次元的に走査されるように、前記眼球に照射される請求の範囲第 1項に記載の瞳孔検出装置。

[4] 前記走査部は、前記光束の入射に対して走査光を出射し、その出射された走査光は、前記走査部と前記網膜との間に想定される光軸上において前記瞳孔から設定距離離れた位置において収束するように、前記眼球に照射される請求の範囲第 3項に記載の瞳孔検出装置。

[5] 前記処理部は、前記各走査線ごとに、前記信号のうち、前記反射光束の強度がしき！ヽ値を超えることを表すハイレベル部の数が 2である場合に、それら 2つのハイレべル部に基づき、前記瞳孔の位置を検出する請求の範囲第 1項に記載の瞳孔検出装置。

[6] 前記処理部は、前記信号における前記 2つのハイレベル部間の中央位置に基づき、前記主走査方向における前記瞳孔の位置を検出する主走査方向位置検出手段を含む請求の範囲第 5項に記載の瞳孔検出装置。

[7] 前記処理部は、前記複数本の走査線のうち、前記信号における前記 2つのハイレベル部間の間隔が実質的に最大であるものの位置に基づき、前記副走査方向における前記瞳孔の位置を検出する副走査方向位置検出手段を含む請求の範囲第 5項に記載の瞳孔検出装置。

[8] 画像を表す可視光束を観察者の瞳孔を経て網膜上に照射することにより、その網膜上に画像を直接に投影する画像表示装置であって、

その合成された合成光束を主走査方向とその主走査方向と交差する副走査方向とに 2次元的に走査し、それにより、互いに平行に延びる複数本の走査線を前記眼球上に形成する走査部と、

を含む画像表示装置。

[9] 前記制御部は、前記検出部から出力された強度信号によって表される前記反射光束の強度の、前記各走査線上における位置に応じた変化と各走査線の位置に応じた変化とに基づき、前記瞳孔の位置を 2次元的に検出し、その検出された瞳孔の位置に基づき、前記可視光束が前記眼球に向かって進行する光軸を、前記瞳孔の実際位置に追従するように制御する請求の範囲第 8項に記載の画像表示装置。

[10] 前記走査部は、前記非可視光束の入射に対して非可視走査光を出射し、

当該画像表示装置は、さらに、その出射された非可視走査光が、前記走査部と前記網膜との間に想定される光軸上において前記瞳孔から設定距離離れた位置にお

V、て収束するように、前記非可視走査光の収束位置を設定する収束位置設定部を含む請求の範囲第 8項に記載の画像表示装置。

[11] 前記収束位置設定部は、前記誘導部に設けられる請求の範囲第 10項に記載の画像表示装置。

[12] 前記収束位置設定部は、前記誘導部のうちの下流側の部分に設けられる請求の範囲第 11項に記載の画像表示装置。

[13] 前記収束位置設定部は、波長分散性を有するガラス材料で作製されたレンズと、回折素子との少なくとも一方を含む請求の範囲第 11項に記載の画像表示装置。

[14] 前記誘導部は、リレー光学系を含む請求の範囲第 8項に記載の画像表示装置。

[15] 前記制御部は、前記走査部より下流側に配置される請求の範囲第 8項に記載の画像表示装置。

[16] 前記走査部は、前記可視光束の入射に対して可視走査光を出射し、

前記制御部は、その出射された可視走査光の結像位置に設置され、その可視走查光が進行する光軸を偏向する偏向器を含む請求の範囲第 15項に記載の画像表示装置。

[17] 前記偏向器は、可変プリズムと、揺動ミラーと、可変回折素子との少なくとも一つを含む請求の範囲第 16項に記載の画像表示装置。

[18] 前記走査部は、前記可視光束の入射に対して可視走査光を出射し、

前記制御部は、その出射された可視走査光が進行する光軸を、その光軸に直角な方向に並進させる並進器を含む請求の範囲第 15項に記載の画像表示装置。

[19] 前記並進器は、前記光軸に対して傾斜した可動ミラーであって、前記光軸に直角な方向に並進させられるものを含む請求の範囲第 18項に記載の画像表示装置。

[20] 前記制御部は、前記瞳孔の位置の検出と前記光軸の位置の制御とを一方向において 1次元的に行うものであり、

前記合成光束の断面形状は、前記一方向に直角な方向にお、て扁平化された扁平形状である請求の範囲第 8項に記載の画像表示装置。