JP2024092949A - 視線検出装置 - Google Patents

Abstract

【課題】状況に依らず高精度に視線を検出することを可能にした視線検出装置を提供する。【解決手段】本発明の視線検出装置は、接眼レンズと、前記接眼レンズの縁に配置され、前記接眼レンズに対向する眼の画像を撮影する画像センサーと、前記接眼レンズの縁に沿って配置された複数の第１光源と、前記接眼レンズの縁に沿って配置された複数の第２光源とを有し、前記接眼レンズの光軸に垂直に交わる平面において、前記複数の第２光源のそれぞれを前記平面に投影した位置から前記光軸までの距離は、前記複数の第１光源のそれぞれを前記平面に投影した位置から前記光軸までの距離よりも長いことを特徴とする。【選択図】図８

Description

本発明は、視線検出装置に関する。

ユーザーの視線（視線位置や視線方向）を検出可能な様々な電子機器が実用化されている。例えば、仮想現実（ＶＲ）や拡張現実（ＡＲ）などの分野において、視線位置を検出し、視線位置に基づいてメニュー選択などの処理を行うヘッドマウントディスプレイが実用化されている。また、視線方向を検出し、検出した視線方向に基づいて測距点選択を行うカメラやビデオカメラなども実用化されている。

視線検出では、視線センサーはユーザーの目を撮像することによって、当該目の画像を取得する。このとき、接眼光学系の周囲に配置された光源がユーザーの目を照明する。光源からの光は角膜の表面で正反射し、視線センサーによって取得された画像に角膜反射像、いわゆるプルキンエ像（プルキニエ像）として映る。視線センサーによって取得された画像における眼球と角膜反射像の座標から、ユーザーの眼球が向く方向を算出することによって視線が検出される。

従来の電子機器（視線検出装置）では、レンズ系（光学系）の光軸の周りを一周取り囲むように複数の光源が配置されている。例えば、特許文献１には、レンズ系の光軸の周りを一周取り囲むように複数の光源が略等間隔で配置された電子機器が開示されている。

米国特許第１１１３８４２９号明細書

しかしながら、従来の視線検出（視線検出装置）では、視線センサーが取得した画像にプルキンエ像が正しく映らず、視線を高精度に検出できないことがある。

本発明は、状況に依らず高精度に視線を検出することを可能にした視線検出装置を提供することを目的とする。

本発明の視線検出装置は、接眼レンズと、前記接眼レンズの縁に配置され、前記接眼レンズに対向する眼の画像を撮影する画像センサーと、前記接眼レンズの縁に沿って配置された複数の第１光源と、前記接眼レンズの縁に沿って配置された複数の第２光源とを有し、前記接眼レンズの光軸に垂直に交わる平面において、前記複数の第２光源のそれぞれを前記平面に投影した位置から前記光軸までの距離は、前記複数の第１光源のそれぞれを前記平面に投影した位置から前記光軸までの距離よりも長いことを特徴とする。

本発明によれば、状況に依らず高精度に視線を検出することを可能にした視線検出装置を提供することができる。

第１の実施形態に係るディスプレイユニット本体の背面図である。 第１の実施形態に係るディスプレイユニット本体の斜視図である。 第１の実施形態に係るディスプレイユニット本体の断面図である。 第１の実施形態に係る照明光の反射位置を示す模式図である。 第１の実施形態に係る右視線センサーの内部構造を示す模式図である。 第２の実施形態に係る眼鏡型デバイスの背面図である。 第２の実施形態に係る眼鏡型デバイスの斜視図である。 第３の実施形態に係るディスプレイユニット本体の背面図である。 第３の実施形態に係るディスプレイユニット本体の断面図である。 第３の実施形態に係るディスプレイユニット本体の断面図である。 第３の実施形態に係る視線検出のフローチャートである。 第３の実施形態に係る視線検出のフローチャートの変形例である。 第４の実施形態に係るディスプレイユニット本体の背面図である。 第４の実施形態に係るディスプレイユニット本体の断面図である。 第４の実施形態に係るレンズの斜視図である。 第５の実施形態に係るカメラ本体の断面図である。 第５の実施形態に係るカメラ本体の断面図である。 第５の実施形態に係るＥＶＦユニットを示す模式図である。 は、第５の実施形態に係る照明光の反射位置を示す斜視図である。 は、第５の実施形態に係る照明光の反射位置を示す正面図である。 は、照明光の反射位置の比較例を示す斜視図である。 は、照明光の反射位置の比較例を示す正面図である。 は、第５の実施形態に係る照明光の反射位置を示す正面図である。

（第１の実施形態）
以下、図１～５を参照して、本発明の第１の実施形態について説明する。第１の実施形態として、視線検出装置を搭載した頭部装着型表示装置（ヘッドマウントディスプレイ）の例を説明する。

図１は、第１の実施形態に係るヘッドマウントディスプレイのディスプレイユニット本体１０１の背面図であり、図２はディスプレイユニット本体１０１の斜視図である。図１は、ディスプレイユニット本体１０１をユーザー（ヘッドマウントディスプレイを装着したユーザー）の眼球側から見た状態を示している。

ディスプレイユニット本体１０１は、ユーザーの右目の視野を制限する右開口部１４５と、ユーザーの左目の視野を制限する左開口部１４６とを有する。右開口部１４５（右開口部内）には、表示光学系である右レンズ系１０２が設けられており、左開口部１４６（左開口部内）には、表示光学系である左レンズ系１０３が設けられている。右レンズ系１０２と左レンズ系１０３のそれぞれは一番下流（ユーザー側）に接眼レンズを有している。右開口部１４５および右レンズ系１０２は、ユーザー（ヘッドマウントディスプレイを装着したユーザー）の右目に対向するように配置される。左開口部１４６および左レンズ系１０３は、ユーザー（ヘッドマウントディスプレイを装着したユーザー）の左目に対向するように配置される。

図２に示すように、右レンズ系１０２の周りには、後述の視線検出ユニットを外側から見えないように隠す赤外透過窓１０４が設けられている。同様に、左レンズ系１０３の周りには赤外透過窓１０５が設けられている。視線検出は、赤外光（赤外線）を用いて行われる。赤外透過窓１０４と赤外透過窓１０５は、可視光を透過せず且つ赤外光を透過する材料を用いて構成されている。これによって、美観に優れ（内部のユニットが視認不可能）かつ視線検出が可能な構成を実現することができる。なお、可視光を多少透過しても、
可視光の透過率よりも赤外光の透過率が高ければ、内部のユニットが視認しにくくなるため同様の効果を得ることができるが、可視光と赤外光とで透過率（遮蔽率）が大きく異なっていることが好ましい。また、本明細書及び本発明において、赤外光を透過するとは、入射した赤外光の全てを透過することをのみを指すものに限定されず、赤外光を多少遮蔽してもよい。なお、図１では、ディスプレイユニット本体１０１は、内部のユニットが見えるように赤外透過窓１０４と赤外透過窓１０５を取り外した状態になっている。

図１に示すように、右開口部１４５（右レンズ系１０２）の縁には、右開口部１４５に対向する右目の方向を向くように、右視線センサー１０６が配置されている。同様に、左開口部１４６（左レンズ系１０３）の縁には、左開口部１４６に対向する左目の方向を向くように、左視線センサー１０７が配置されている。尚、右視線センサー１０６と左視線センサー１０７とは、ユーザーの目を撮影する画像センサーである。

図５は、右視線センサー１０６の内部構造を示す模式図である。右視線センサー１０６は視線センサーレンズ１４７と視線センサーチップ１４８を含んでいる。視線センサーレンズ１４７により視線センサーチップ１４８に結像した像を用いて、視線検出のための演算が行われる。右視線センサー１０６が有する視線センサーレンズ１４７の光軸１４７ａ（視線センサーレンズ光軸）が右開口部１４５に対向する右目の方向を向くように、右視線センサー１０６が配置される。左視線センサー１０７の内部構造は、右視線センサー１０６の内部構造と略同一である。左視線センサー１０７が有する視線センサーレンズ１４７の光軸１４７ａ（視線センサーレンズ光軸）が左開口部１４６に対向する左目の方向を向くように、左視線センサー１０７が配置される。

図１の説明に戻る。右視線センサー１０６は、右開口部１４５の中心（右レンズ系１０２の光軸）を中心として、９時の位置（真上から右回りに２７０度回転した位置）に配置されている。左視線センサー１０７は、左開口部１４６の中心（左レンズ系１０３の光軸）を中心として、３時の位置（真上から右回りに９０度回転した位置）に配置されている。右視線センサー１０６と左視線センサー１０７は、略同一の高さ（上下方向の位置）に配置されている。右視線センサー１０６は右開口部１４５の左側（右目の目元付近）に配置され、左視線センサー１０７は左開口部１４６の右側（左目の目元付近）に配置される。

このように、右視線センサー１０６と左視線センサー１０７は、右レンズ系１０２の光軸と左レンズ系１０３の光軸とを通る水平線１８５上（右開口部１４５の中心と左開口部１４６の中心とを通る水平線上）に配置されている。

通常、ユーザー（ヘッドマウントディスプレイを装着したユーザー）のマブタは上下に開く。そのため、水平線１８５の方向から眼球を観察するように右視線センサー１０６と左視線センサー１０７を配置することで、視線検出の際に眼球がマブタにけられにくくなり、視線検出の成功率を高くすることができる。

図１では、右開口部１４５（右レンズ系１０２）の縁に沿って、眼球（右目）を照明する複数の光源として、複数の赤外発光ダイオード（右ＩＲＥＤ）が配置されている。同様に、左開口部１４６（左レンズ系１０３）の縁に沿って、眼球（左目）を照明する複数の光源として、複数の赤外発光ダイオード（左ＩＲＥＤ）が配置されている。

右開口部１４５（右レンズ系１０２）の周囲には、右ＩＲＥＤ１０８，１０９，１１１～１２２が配置されている。右開口部１４５の中心（右レンズ系１０２の光軸）を中心として、右ＩＲＥＤ１０８は１０時、右ＩＲＥＤ１０９は１１時、右ＩＲＥＤ１１１は１時、右ＩＲＥＤ１１２は１時半、右ＩＲＥＤ１１３は２時、右ＩＲＥＤ１１４は２時半の位
置に配置されている。右ＩＲＥＤ１１５は３時、右ＩＲＥＤ１１６は３時半、右ＩＲＥＤ１１７は４時、右ＩＲＥＤ１１８は４時半、右ＩＲＥＤ１１９は５時、右ＩＲＥＤ１２０は６時、右ＩＲＥＤ１２１は７時、右ＩＲＥＤ１２２は８時の位置に配置されている。

左開口部１４６（左レンズ系１０３）の周囲には、左ＩＲＥＤ１２３，１２４，１２６～１３７が配置されている。左開口部１４６の中心（左レンズ系１０３の光軸）を中心として、左ＩＲＥＤ１２３は２時、左ＩＲＥＤ１２４は１時、左ＩＲＥＤ１２６は１１時、左ＩＲＥＤ１２７は１０時半、左ＩＲＥＤ１２８は１０時、左ＩＲＥＤ１２９は９時半の位置に配置されている。左ＩＲＥＤ１３０は９時、左ＩＲＥＤ１３１は８時半、左ＩＲＥＤ１３２は８時、左ＩＲＥＤ１３３は７時半、左ＩＲＥＤ１３４は７時、左ＩＲＥＤ１３５は６時、左ＩＲＥＤ１３６は５時、左ＩＲＥＤ１３７は４時の位置に配置されている。

第１の実施形態では、右開口部１４５の中心（右レンズ系１０２の光軸）を中心とした３６０度の範囲のうち、右開口部１４５の中心を挟んで右視線センサー１０６とは反対の側の範囲において、１度あたりの光源の数（角度密度）が最大となっている。図１では、右視線センサー１０６が配置されている９時の位置に対向する３時の位置を中心とした１２０度の範囲（±６０度の範囲）に、１５度ピッチ（０．０６６７個／度の角度密度）で９個の右ＩＲＥＤが配置されている。９個の右ＩＲＥＤは、１時、１時半、２時、２時半、３時、３時半、４時、４時半、および５時の位置に配置された右ＩＲＥＤ１１１～１１９である。上記１２０度の範囲以外の範囲では、１５度ピッチよりも大きいピッチ（０．０６６７個／度よりも小さい角度密度）で右ＩＲＥＤが配置されている。

右開口部１４５の中心を挟んで右視線センサー１０６とは反対の側の範囲（上記１２０度の範囲）に配置された右ＩＲＥＤの数は、残りの範囲に配置されたＩＲＥＤの数より多くてもよい。図１では、右開口部１４５の中心を挟んで右視線センサー１０６とは反対の側の範囲（上記１２０度の範囲）に配置された右ＩＲＥＤの数は、残りの範囲に配置されたＩＲＥＤの数よりも３個以上多い。

同様に、左開口部１４６の中心（左レンズ系１０３の光軸）を中心とした３６０度の範囲のうち、左開口部１４６の中心を挟んで左視線センサー１０７とは反対の側の範囲において、１度あたりの光源の数（角度密度）が最大となっている。図１では、左視線センサー１０７が配置されている３時の位置に対向する９時の位置を中心とした１２０度の範囲（±６０度の範囲）に、１５度ピッチ（０．０６６７個／度の角度密度）で９個の左ＩＲＥＤが配置されている。９個の左ＩＲＥＤは、１１時、１０時半、１０時、９時半、９時、８時半、８時、７時半、および７時の位置に配置された左ＩＲＥＤ１２６～１３４である。上記１２０度の範囲以外の範囲では、１５度ピッチよりも大きいピッチ（０．０６６７個／度よりも小さい角度密度）で左ＩＲＥＤが配置されている。

左開口部１４６の中心を挟んで左視線センサー１０７とは反対の側の範囲（上記１２０度の範囲）に配置された左ＩＲＥＤの数は、残りの範囲に配置されたＩＲＥＤの数より多くてもよい。図１では、左開口部１４６の中心を挟んで左視線センサー１０７とは反対の側の範囲（上記１２０度の範囲）に配置された左ＩＲＥＤの数は、残りの範囲に配置されたＩＲＥＤの数よりも３個以上多い。

また、第１の実施形態では、右開口部１４５の下側に配置された右ＩＲＥＤの数は、右開口部１４５の上側に配置された右ＩＲＥＤの数よりも多い。図１では、１２時の位置には右ＩＲＥＤが配置されておらず、水平線１８５の下側に配置された右ＩＲＥＤの数は、水平線１８５の上側に配置された右ＩＲＥＤの数よりも多い。水平線１８５の下側には、右ＩＲＥＤ１１６、右ＩＲＥＤ１１７、右ＩＲＥＤ１１８、右ＩＲＥＤ１１９、右ＩＲＥＤ１２０、右ＩＲＥＤ１２１、右ＩＲＥＤ１２２の７つの右ＩＲＥＤが配置されている。
水平線１８５の上側には、右ＩＲＥＤ１０８、右ＩＲＥＤ１０９、右ＩＲＥＤ１１１、右ＩＲＥＤ１１２、右ＩＲＥＤ１１３、および右ＩＲＥＤ１１４の６つの右ＩＲＥＤが配置されている。

同様に、左開口部１４６の下側に配置された左ＩＲＥＤの数は、左開口部１４６の上側に配置された左ＩＲＥＤの数よりも多い。図１では、１２時の位置には左ＩＲＥＤが配置されておらず、水平線１８５の下側に配置された左ＩＲＥＤの数は、水平線１８５の上側に配置された左ＩＲＥＤの数よりも多い。水平線１８５の下側には、左ＩＲＥＤ１３１、左ＩＲＥＤ１３２、左ＩＲＥＤ１３３、左ＩＲＥＤ１３４、左ＩＲＥＤ１３５、左ＩＲＥＤ１３６、左ＩＲＥＤ１３７の７つの左ＩＲＥＤが配置されている。水平線１８５の上側には、左ＩＲＥＤ１２３、左ＩＲＥＤ１２４、左ＩＲＥＤ１２６、左ＩＲＥＤ１２７、左ＩＲＥＤ１２８、および左ＩＲＥＤ１２９の６つの左ＩＲＥＤが配置されている。

人間のマブタの動きは上マブタと下マブタで異なり、主に上マブタが下マブタに向かって下がる動きをする。眼球光軸に対する下マブタの位置の個人差が小さいが、眼球光軸に対する上マブタの位置の個人差は大きい。例えば、目の細い人の場合は、目がぱっちりした人の場合に比べ、上マブタの位置が低く眼球光軸に近い。

多くのユーザーに対して視線検出を可能とするためには、上マブタの位置が眼球光軸に近い場合でも視線検出を可能とする必要がある。しかし、上マブタの位置が眼球光軸に近い場合は、１２時の位置に配置されたＩＲＥＤからの照明光はマブタにけられてしまい、プルキンエ像（角膜反射像）として画像に映らない。一方で、上マブタの位置に比べ、下マブタの位置は個人差が小さく、眼球光軸から遠いため、６時の位置に配置されたＩＲＥＤからの照明光はマブタにけられにくく、プルキンエ像（角膜反射像、プルキニエ像）として画像に映りやすい。

このため、水平線１８５の下側（開口部の下側）に、水平線１８５の上側（開口部の上側）よりも多くのＩＲＥＤを配置することによって、多くのユーザーに対して視線検出が可能となる。

右視線センサー１０６、右ＩＲＥＤ１０８，１０９，１１１～１２２、および不図示のコントロール回路（制御部）によって、右目の視線検出ユニットが構成されている。同様に、左視線センサー１０７、左ＩＲＥＤ１２３，１２４，１２６～１３７、および不図示のコントロール回路（制御部）によって、左目の視線検出ユニットが構成されている。右目の視線検出ユニットのコントロール回路と、左目の視線検出ユニットのコントロール回路とは共通の１つのコントロール回路であってもよいし、別々のコントロール回路であってもよい。

図３は、ディスプレイユニット本体１０１を覗いているユーザーの眼球と、ディスプレイユニット本体１０１との配置を示している。図３は、右視線センサー１０６の中心と右レンズ系１０２の中心とを通る平面によって得られる断面を示す。図３には、右目とその周辺が示されている。

表示光学系である右レンズ系１０２は鏡筒１３９によって保持されている。右表示パネル１４０は、ユーザーに画像を表示するための表示パネル（表示部、表示素子）であり、有機ＥＬパネルなどである。ユーザーの眼球１４１（右目）の内部には角膜１４２がある。右表示パネル１４０から出力された像（光）は、右レンズ系１０２を通って眼球１４１に入力される（導かれる）。換言すれば、ユーザーは、右表示パネル１４０に表示された像（映像）を、右レンズ系１０２（右開口部１４５）を介して眼球１４１で視認可能である。

右視線センサー１０６の光軸は右レンズ系１０２（表示光学系）の光軸と平行ではなく、眼球１４１の方向（斜め方向）に傾いている。これによって、右視線センサー１０６の限られた画角を有効に利用し、アイポイント距離が変化しても右視線センサー１０６で眼球１４１を捕らえ続けることができる。

左目周辺の構成は、右眼周辺の上記構成と同様である。

このように、第１の実施形態では、右視線センサー１０６は、右開口部１４５（右レンズ系１０２）の周辺に配置されており、右視線センサー１０６の視線センサーレンズ光軸１４７ａは右目に向けられている。同様に、左視線センサー１０７は、左開口部１４６（左レンズ系１０３）の周辺に配置されており、左視線センサー１０７の視線センサーレンズ光軸１４７ａは左目に向けられている。

右ＩＲＥＤ１１５から発せられた照明光は、眼球１４１（右目）の角膜１４２と虹彩とを照明する。右視線センサー１０６は、眼球１４１の虹彩像を取得するとともに、光路１４３と光路１４４を通る光の像（右ＩＲＥＤ１１５の照明光が角膜１４２で正反射した正反射像、プルキンエ像）も取得する。図３では示されていないが、右レンズ系１０２の周囲に配置された他の右ＩＲＥＤからの光も虹彩と角膜を照明している。同様に、左目の角膜と虹彩も、複数の左ＩＲＥＤによって照明される。複数のＩＲＥＤによって単一の虹彩が照明されることにより、虹彩の照明むらが低減される。

図４Ａ，４Ｂは、ＩＲＥＤから発せられた赤外光（照明光）の反射位置と角膜との関係を示す模式図である。図４Ａ，４Ｂは、ディスプレイユニット本体１０１を装着したユーザーの眼球１４１（右目）をディスプレイユニット本体１０１側から見た状態を示している。右目の場合を説明するが、左目の場合も右目の場合と同様である。

右レンズ系１０２の周囲に配置された右ＩＲＥＤ１０８，１０９，１１１～１２２から発せられた赤外光は、反射位置１０８ａ，１０９ａ，１１１ａ～１２２ａで反射して、右視線センサー１０６に入射する。反射位置１０８ａ，１０９ａ，１１１ａ～１２２ａは、右ＩＲＥＤ１０８，１０９，１１１～１２２にそれぞれ対応する。

図４Ａの角膜境界線１４２２ａと図４Ｂの角膜境界線１４２２ｂとは、角膜１４２と強膜の境界を示す。角膜境界線１４２２ａ（角膜境界線１４２２ｂ）の内側は球面となっている。角膜境界線１４２２ａ（角膜境界線１４２２ｂ）の部分は、球面（角膜）から白目（強膜）に向かうなだらかな曲面となっている。角膜の広さには個人差があり、図４Ａの角膜境界線１４２２ａは、角膜が広いユーザーの角膜境界線を示し、図４Ｂの角膜境界線１４２２ｂは、角膜が狭いユーザーの角膜境界線を示す。

図４Ａ，４Ｂは、眼球１４１が正面を向いているときの状態を示す。図４Ａに示すように、角膜が広いユーザーの角膜境界線１４２２ａの内側、つまり角膜で正反射しているのは、右視線センサー１０６の対向位置を中心とした１２０度の範囲に配置された右ＩＲＥＤ１１１～１１９から発せられた光である。図４Ｂに示すように、角膜が狭いユーザーの角膜境界線１４２２ｂの内側、つまり角膜で正反射しているのは、右視線センサー１０６の対向位置を中心とした９０度の範囲に配置された右ＩＲＥＤ１１２～１１８から発せられた光である。反射位置１１２ａ～１１８ａは眼球光軸付近にあるため、右ＩＲＥＤ１１２～１１８から発せられた光は、目が回転した場合にも角膜で正反射する可能性が高い。

右ＩＲＥＤ１０８，１０９，１２０～１２２から発せられた赤外光の反射位置１０８ａ，１０９ａ，１２０ａ～１２２ａは強膜部分にある。そのため、図４Ａ，４Ｂに示すよう
にユーザーが正面を向いている状態では、右ＩＲＥＤ１０８，１０９，１２０～１２２の正反射像（プルキンエ像）は得られない。右ＩＲＥＤ１０８，１０９，１２０～１２２は、眼球１４１全体を照明したり、眼球１４１が回転したときにプルキンエ像を得たりするために設けられている。

このため、右視線センサー１０６に対向する部分に多くの右ＩＲＥＤを配置することによって、視線検出のための正反射像（プルキンエ像）を取得できる可能性が高くなり、視線検出の成功率を高くすることができる。

なお、第１の実施形態では、角膜の広い人に対応した１２０度の範囲に多くのＩＲＥＤを配置しているが、角膜の狭い人に対応した９０度の範囲に多くのＩＲＥＤを配置してもよい。多くのＩＲＥＤを配する範囲を狭めることによって、コストを低減することができる。

右視線センサー１０６によって眼球１４１（右目）の像が得られると、虹彩像内の瞳孔像とプルキンエ像の組み合わせを用いて、視線検出が行われる。例えば特許第３１８６０７２号公報に開示されている方法で視線検出が行われる。

以上述べたように、第１の実施形態によれば、ユーザーの目に対向する開口部の中心（表示光学系の光軸）を挟んで視線センサーとは反対の側の範囲において、１度あたりの光源の数が最大となっている。これによって、状況に依らず高精度に視線を検出することを可能にした頭部装着型表示装置（視線検出装置）を提供することができる。例えば、大型化せずに、ユーザーが目を振った場合にも視線検出が可能な頭部装着型表示装置を提供することができる。

（第２の実施形態）
以下、図６，７を参照して、本発明の第２の実施形態について説明する。第２の実施形態として、視線検出装置を搭載した眼鏡型デバイスの例を説明する。

図６は、第２の実施形態に係る眼鏡型デバイス２４９の背面図であり、図７は眼鏡型デバイス２４９の斜視図である。図６は、眼鏡型デバイス２４９をユーザー（眼鏡型デバイス２４９を装着したユーザー）の眼球側から見た状態を示している。

眼鏡型デバイス２４９は、フレーム２５０、右つる部２５０ａ、および左つる部２５０ｂを有する。フレーム２５０には、近視用レンズ、遠視用レンズ、減光レンズ、度無しレンズなど任意のレンズが嵌められていてもよいし、レンズが嵌められていなくてもよい。右つる部２５０ａと左つる部２５０ｂは、眼鏡型デバイス２４９をユーザーの頭部に固定するための固定部である。ユーザーは、右つる部２５０ａを右耳にかけ、左つる部２５０ｂを左耳にかけることによって、眼鏡型デバイス２４９を頭部に固定する。右側つる部２５０ａにはカメラ２５１が取り付けられており、カメラ２５１は眼鏡型デバイス２４９の正面方向に向けられている。

フレーム２５０には、右視線センサー２５２、左視線センサー２５３、右ＩＲＥＤ２５４，２５５，２５７～２６８、および左ＩＲＥＤ２６９，２７０，２７２～２８３が設けられている。カメラ２５１、右視線センサー２５２、左視線センサー２５３、右ＩＲＥＤ２５４，２５５，２５７～２６８、および左ＩＲＥＤ２６９，２７０，２７２～２８３は、不図示のコントロール回路に接続されている。眼鏡型デバイス２４９は、カメラ２５１の撮像範囲のどこに視線が向けられているかを検出する機能を有する。

図６に示すように、第２の実施形態では、第１の実施形態と同様に、ユーザーの目に対
向する開口部の中心を挟んで視線センサーとは反対の側の範囲において、１度あたりの光源の数が最大となっている。

以上述べたように、第２の実施形態によれば、第１の実施形態と同様に、ユーザーの目に対向する開口部の中心（表示光学系の光軸）を挟んで視線センサーとは反対の側の範囲において、１度あたりの光源の数が最大となっている。これによって、状況に依らず高精度に視線を検出することを可能にした眼鏡型デバイス（視線検出装置）を提供することができる。

（第３の実施形態）
以下、図８～１２を参照して、本発明の第３の実施形態について説明する。第３の実施形態として、視線検出装置を搭載した頭部装着型表示装置（ヘッドマウントディスプレイ）の例を説明する。

図８は、第３の実施形態に係るヘッドマウントディスプレイのディスプレイユニット本体３０１の背面図であり、ディスプレイユニット本体３０１をユーザー（ヘッドマウントディスプレイを装着したユーザー）の眼球側から見た状態を示している。

ディスプレイユニット本体３０１は、ユーザーの右目の視野を制限する右開口部３４５と、ユーザーの左目の視野を制限する左開口部３４６とを有する。右開口部３４５（右開口部内）には、表示光学系である右レンズ系３０２が設けられており、左開口部３４６（左開口部内）には、表示光学系である左レンズ系３０３が設けられている。右開口部３４５および右レンズ系３０２は、ユーザー（ヘッドマウントディスプレイを装着したユーザー）の右目に対向するように配置される。左開口部３４６および左レンズ系３０３は、ユーザー（ヘッドマウントディスプレイを装着したユーザー）の左目に対向するように配置される。

図８に示すように、右開口部３４５（右レンズ系３０２）の縁には、右開口部３４５に対向する右目の方向を向くように、右視線センサー３０６が配置されている。同様に、左開口部３４６（左レンズ系３０３）の縁には、左開口部３４６に対向する左目の方向を向くように、左視線センサー３０７が配置されている。

右視線センサー３０６は、右開口部３４５の中心（右レンズ系３０２の光軸）を中心として、９時の位置（真上から右回りに２７０度回転した位置）に配置されている。左視線センサー３０７は、左開口部３４６の中心（左レンズ系３０３の光軸）を中心として、３時の位置（真上から右回りに９０度回転した位置）に配置されている。右視線センサー３０６と左視線センサー３０７は、略同一の高さ（上下方向の位置）に配置されている。右視線センサー３０６は右開口部３４５の左側（右目の目元付近）に配置され、左視線センサー３０７は左開口部３４６の右側（左目の目元付近）に配置される。

このように、右視線センサー３０６と左視線センサー３０７は、右レンズ系３０２の光軸と左レンズ系３０３の光軸とを通る水平線３８５上（右開口部３４５の中心と左開口部３４６の中心とを通る水平線上）に配置されている。

通常、ユーザー（ヘッドマウントディスプレイを装着したユーザー）のマブタは上下に開く。そのため、水平線３８５の方向から眼球を観察するように右視線センサー３０６と左視線センサー３０７を配置することで、視線検出の際に眼球がマブタにけられにくくなり、視線検出の成功率を高くすることができる。

図８では、右開口部３４５（右レンズ系３０２）の縁に沿って、眼球（右目）を照明す
る複数の光源として、複数の赤外発光ダイオード（右ＩＲＥＤ）が配置されている。同様に、左開口部３４６（左レンズ系３０３）の縁に沿って、眼球（左目）を照明する複数の光源として、複数の赤外発光ダイオード（左ＩＲＥＤ）が配置されている。

右開口部３４５（右レンズ系３０２）の周囲には、第１光源群として右ＩＲＥＤ３０８～３１１，３１３，３１５，３１７，３１９～３２２が配置されており、第２光源群として右ＩＲＥＤ３８６，３８７が配置されている。第１の光源群は第２光源群の内側に配置されている。右開口部３４５の中心（右レンズ系３０２の光軸）を中心として、右ＩＲＥＤ３０８は１０時、右ＩＲＥＤ３０９は１１時、右ＩＲＥＤ３１０は１２時、右ＩＲＥＤ３１１は１時、右ＩＲＥＤ３１３は２時、右ＩＲＥＤ３１５は３時の位置に配置されている。右ＩＲＥＤ３１７は４時、右ＩＲＥＤ３１９は５時、右ＩＲＥＤ３２０は６時、右ＩＲＥＤ３２１は７時、右ＩＲＥＤ３２２は８時の位置に配置されている。右ＩＲＥＤ３８６は、右開口部３４５の中心（右レンズ系３０２の光軸）と右ＩＲＥＤ３１７とを通る直線上に配置されている。右ＩＲＥＤ３８７は、右開口部３４５の中心（右レンズ系３０２の光軸）と右ＩＲＥＤ３２０とを通る直線上に配置されている。

左開口部３４６（左レンズ系３０３）の周囲には、第１光源群として左ＩＲＥＤ３２３～３２６，３２８，３３０，３３２，３３４～３３７が配置されており、第２光源群として左ＩＲＥＤ３８８，３８９が配置されている。第１の光源群は第２光源群の内側に配置されている。左開口部３４６の中心（左レンズ系３０３の光軸）を中心として、左ＩＲＥＤ３２３は２時、左ＩＲＥＤ３２４は１時、左ＩＲＥＤ３２５は１２時、左ＩＲＥＤ３２６は１１時、左ＩＲＥＤ３２８は１０時、左ＩＲＥＤ３３０は９時の位置に配置されている。左ＩＲＥＤ３３２は８時、左ＩＲＥＤ３３４は７時、左ＩＲＥＤ３３５は６時、左ＩＲＥＤ３３６は５時、左ＩＲＥＤ３３７は４時の位置に配置されている。左ＩＲＥＤ３８８は、左開口部３４６の中心（左レンズ系３０３の光軸）と左ＩＲＥＤ３３２とを通る直線上に配置されている。左ＩＲＥＤ３８９は、左開口部３４６の中心（左レンズ系３０３の光軸）と左ＩＲＥＤ３３５とを通る直線上に配置されている。

第２光源群に含まれる右ＩＲＥＤ３８６，３８７のそれぞれから右開口部３４５までの距離は、第１光源群に含まれる右ＩＲＥＤ３０８～３１１，３１３，３１５，３１７，３１９～３２２のそれぞれから右開口部３４５までの距離よりも長い。また、右開口部３４５に対して、第１光源群に含まれる右ＩＲＥＤ３０８～３１１，３１３，３１５，３１７，３１９～３２２は、第２光源群に含まれる右ＩＲＥＤ３８６，３８７の内側に配置されている。同様に、第２光源群に含まれる左ＩＲＥＤ３８８，３８９のそれぞれから左開口部３４６までの距離は、第１光源群に含まれる左ＩＲＥＤ３２３～３２６，３２８，３３０，３３２，３３４～３３７のそれぞれから左開口部３４６までの距離よりも長い。また、左開口部３４６に対して、第１光源群に含まれる左ＩＲＥＤ３２３～３２６，３２８，３３０，３３２，３３４～３３７は、第２光源群に含まれる左ＩＲＥＤ３８８，３８９の内側に配置されている。

例えば、第１光源群に含まれる右ＩＲＥＤ３０８～３１１，３１３，３１５，３１７，３１９～３２２（複数の第１光源）は、右側の表示光学系（右レンズ系１０２）の光軸３９０から第１距離ｒ１で分布し、第２光源群に含まれる右ＩＲＥＤ３８６，３８７（複数の第２光源）は、右側の表示光学系の光軸３９０から第２距離ｒ２で分布する。そして、第２距離ｒ２は第１距離ｒ１よりも大きい。左側も同様であり、第１光源群に含まれる左ＩＲＥＤ３２３～３２６，３２８，３３０，３３２，３３４～３３７（複数の第１光源）は、左側の表示光学系（左レンズ系１０３）の光軸３９１から第１距離ｒ１で分布し、第２光源群に含まれる左ＩＲＥＤ３８８，３８９（複数の第２光源）は、左側の表示光学系の光軸３９１から第２距離ｒ２で分布する。そして、第２距離ｒ２は第１距離ｒ１よりも大きい。ここで、第１光源群に含まれる複数のＩＲＥＤそれぞれから表示光学系の光軸ま
での距離（第１距離ｒ１）は、当該光軸に垂直に交わる平面上での距離であり、第１光源群に含まれる複数のＩＲＥＤそれぞれを当該平面に投影した位置から当該光軸までの距離である。同様に、第２光源群に含まれる複数のＩＲＥＤそれぞれから表示光学系の光軸までの距離（第２距離ｒ２）は、当該光軸に垂直に交わる平面上での距離であり、第２光源群に含まれる複数のＩＲＥＤそれぞれを当該平面に投影した位置から当該光軸までの距離である。なお、第１光源群に含まれる複数のＩＲＥＤそれぞれから表示光学系の光軸までの距離は一定でなくてもよく、第２光源群に含まれる複数のＩＲＥＤそれぞれから表示光学系の光軸までの距離は一定でなくてもよい。例えば、第１光源群に含まれる複数のＩＲＥＤそれぞれから表示光学系の光軸までの距離は、距離ｒ１ａ以上かつ距離ｒ１ｂ以下の範囲でばらついていてもよい。第２光源群に含まれる複数のＩＲＥＤそれぞれから表示光学系の光軸までの距離は、距離ｒ２ａ以上かつ距離ｒ２ｂ以下の範囲でばらついていてもよい。距離ｒ１，ｒ１ａ，ｒ１ｂ，ｒ２，ｒ２ａ，ｒ２ｂは以下の式を満たす。
ｒ１ａ＜ｒ１≦ｒ１ｂ＜ｒ２ａ≦ｒ２＜ｒ２ｂ

また、第２距離ｒ２は第１距離ｒ１の１．２倍以上であることが好ましく、１．５倍以上であることがより好ましい。第１距離ｒ１と第２距離ｒ２とがばらつく場合は、第２距離ｒ２の平均距離が、第１距離ｒ１の平均距離の１．２倍以上であることが好ましく、１．５倍以上であることが好ましい。

図示されていないが、ディスプレイユニット本体３０１には、各ＩＲＥＤを制御するＣＰＵ（制御部）が備えられている。ＣＰＵは、各ＩＲＥＤに電流を流すことによって各ＩＲＥＤの点灯を制御する。また、ＣＰＵは、視線センサーの出力（プルキンエ像など）に基づいてユーザーの視線を検出する。

図９は、図８の右レンズ系３０２の光軸を通る縦断面の模式図である。図９には、右目とその周辺が示されている。図９には、右ＩＲＥＤ３１０，３２０，３８７から発せられた光の光路が示されている。なお、右視線センサー３０６は縦断面上には存在しないが、わかりやすさのために記載している。

図９では、右レンズ系３０２の上側に配置された右ＩＲＥＤ３１０からの光は、ユーザーの上マブタ３５０でけられており、角膜の表面で正反射していない。そのため、右ＩＲＥＤ３１０からの光は、右視線センサー３０６によって得られた画像に、正反射像（プルキンエ像）として映らない。これに対し、右レンズ系３０２の下側に配置された右ＩＲＥＤ３２０からの光は、上マブタ３５０や下マブタ３５１によってけられておらず、角膜の表面で正反射している。そのため、右ＩＲＥＤ３２０からの光は、右視線センサー３０６によって得られた画像に、正反射像（プルキンエ像）として映る。同様に、右レンズ系３０２の下側に配置された右ＩＲＥＤ３８７からの光は、上マブタ３５０や下マブタ３５１によってけられておらず、角膜の表面で正反射している。そのため、右ＩＲＥＤ３８７からの光は、右視線センサー３０６によって得られた画像に、正反射像（プルキンエ像）として映る。

マブタの形状は人に依って異なり、ディスプレイユニット本体３０１と目との位置関係も人に依って異なるが、光のけられには或る傾向がある。右視線センサー３０６と左視線センサー３０７が右レンズ系３０２の光軸と左レンズ系３０３の光軸とを通る水平線３８５上に配置されている場合を考える。この場合には、水平線３８５の上側に配置されたＩＲＥＤからの光よりも水平線３８５の下側に配置されたＩＲＥＤからの光のほうがマブタにけられにくい。

そこで、図８では、水平線３８５の下側（右開口部３４５や左開口部３４６の下側）に、水平線３８５の上側（右開口部３４５や左開口部３４６の上側）よりも多く、第２光源
群のＩＲＥＤを配置している。これにより、全てのＩＲＥＤからの光がマブタでけられ、正反射像（プルキンエ像）が１つも得られなくいという状況を避けることができ、視線検出の成功率を高くする（視線検出のロバスト性を高める）ことができる。なお、図８では、水平線３８５の上側（右開口部３４５や左開口部３４６の上側）に第２光源群のＩＲＥＤが１つも設けられていないが、水平線３８５の上側に第２光源群のＩＲＥＤを設けてもよい。

図９において、第１光源群に属する右ＩＲＥＤ３１０，３２０は右レンズ系３０２の内側に配置されており、第２光源群に属する右ＩＲＥＤ３８７は右レンズ系３０２の外側に配置されている。このため、右ＩＲＥＤ３１０，３２０は、右レンズ系３０２を介して外部に光を出射して、眼球３４１（右目）を照明する。右ＩＲＥＤ３８７は、右レンズ系３０２を介さずに外部に光を出射して、眼球３４１を照明する。なお、右ＩＲＥＤ３１０，３２０，３８７に限られず、第１光源群に属する右ＩＲＥＤは右レンズ系３０２を介して外部に光を出射し、第２光源群に属する右ＩＲＥＤは右レンズ系３０２を介さずに外部に光を出射する。同様に、第１光源群に属する左ＩＲＥＤは左レンズ系３０３を介して外部に光を出射し、第２光源群に属する左ＩＲＥＤは左レンズ系３０３を介さずに外部に光を出射する。

これにより、スペースの制約により第１光源群と第２光源群の両方を表示光学系（右レンズ系３０２や左レンズ系３０３）の内側に配置できない場合に、第１光源群と第２光源群の両方を表示光学系の外側に配置する場合に比べ、装置を小型化することができる。

なお、美観の観点から、第２光源群に属する各ＩＲＥＤは、可視光を透過せず且つ赤外光を透過する材料を用いて隠されていることが好ましい。但し、第１の実施形態と同様に、可視光の透過率は０に限定されず、可視光を多少透過してもよい。可視光の透過率よりも赤外光の透過率が高ければ同様の効果を得ることができるが、可視光と赤外光とで透過率（遮蔽率）が大きく異なっていることが好ましい。

ここで、第１光源群からの光が表示光学系を通過するときに、当該光の光量が低減される。特に、表示光学系が偏光反射光学系を含んでいる場合に、第１光源群からの光の光量は約半分以下に低減されることがある。このため、全てのＩＲＥＤを同じ輝度で点灯させると、表示光学系を介して眼球を照明する第１光源群の各ＩＲＥＤと、表示光学系を介さずに眼球を照明する第２光源群の各ＩＲＥＤとで、眼球を照らす照度が異なってしまう。この結果、第１光源群と第２光源群で、正反射像（プルキンエ像）の輝度が異なってしまう。このような輝度の差異は、プルキンエ像の検出に悪影響（精度の低下など）をもたらし、ひいては視線検出に悪影響（精度の低下など）をもたらす。

そこで、第３の実施形態では、ＣＰＵは、第１光源群の各ＩＲＥＤと第２光源群の各ＩＲＥＤとを異なる輝度で点灯させる。例えば、ＣＰＵは、表示光学系を介して眼球を照明する第１光源群の各ＩＲＥＤの輝度を、表示光学系で吸収される光量分だけ上げ、第１光源群の各ＩＲＥＤを、表示光学系を介さずに眼球を照明する第２光源群の各ＩＲＥＤよりも高い輝度で点灯させる。

これにより、第１光源群のプルキンエ像の輝度と第２光源群のプルキンエ像の輝度とが同等になるため、プルキンエ像の検出の精度が向上し、ひいては視線検出の精度が向上する。

図１０Ａ，１０Ｂは、右ＩＲＥＤ３１５と右視線センサー３０６とを通る横断面の模式図である。図１０Ａ，１０Ｂには、右ＩＲＥＤ３１５，３８６から発せられた光の光路が示されている。なお、右ＩＲＥＤ３８６は横断面上には存在しないが、わかりやすさのた
めに記載している。

図１０Ａは、右視線センサー３０６が配置されている方向（すなわち左側）に眼球３４１（右目）が回転した様子を示している。図１０Ｂは、右視線センサー３０６と対向する方向（すなわち右側）に眼球３４１が回転した様子を示している。

図１０Ａのように、右視線センサー３０６が配置されている方向に眼球３４１が回転した場合には、右ＩＲＥＤ３８６から発せられた光は、角膜境界線３４２２ａの外側（強膜）で反射してしまう。これに対し、右ＩＲＥＤ３１５から発せられた光は、角膜境界線３４２２ａの内側（角膜）で正反射する。

図１０Ｂのように、右視線センサー３０６と対向する方向に眼球３４１が回転した場合には、右ＩＲＥＤ３１５から発せられた光は、角膜境界線３４２２ａの外側（強膜）で反射してしまう。これに対し、右ＩＲＥＤ３８６から発せられた光は角膜境界線３４２２ａの内側（角膜）で正反射する。

このように、表示光学系の光軸３９０との距離が短いＩＲＥＤ（第１光源群）と表示光学系の光軸との距離が長いＩＲＥＤ（第２光源群）とを配置することによって、ユーザーが目を振った場合にも、高確率で正反射像（プルキンエ像）を取得することができる。ひいては、視線検出の成功率を高くする（視線検出のロバスト性を高める）ことができる。

図１０Ａのように、右視線センサー３０６が配置されている方向に眼球３４１が回転した場合には、光軸３９０との距離が短い右ＩＲＥＤ３１５（第１光源群）の正反射像を用いて視線を検出することができる。

図１０Ｂのように、右視線センサー３０６と対向する方向に眼球３４１が回転した場合には、光軸３９０との距離が長い右ＩＲＥＤ３８６（第２光源群）の正反射像を用いて視線を検出することができる。

言い換えると、ユーザーが正面を向き、角膜境界線３４２２ａの内側である角膜の中心（瞳孔の中心）と表示光学系の光軸３９０とが交わる場合、距離が長い右ＩＲＥＤ３８６（第２光源群）からユーザーの眼（角膜あるいは強膜）へ入射する光と光軸３９０とが為す角度を、距離が短い右ＩＲＥＤ３１５（第１光源群）からユーザーの眼へ入射する光と光軸３９０とが為す角度よりも大きくする。これにより、眼球３４１が右視線センサー３０６が配置されている方向に回転した場合であっても、右視線センサー３０６と対向する方向に回転した場合であっても、高確率で正反射像（プルキンエ像）を取得することができる。

図１１は、視線検出のフローチャートである。以下では、右目の視線検出について説明するが、左目の視線検出も同様に行われる。

ステップＳ３００１で、ＣＰＵは、全ての右ＩＲＥＤ（第１光源群および第２光源群）を点灯させ、右視線センサー３０６を用いて眼球３４１（右目）を撮像する。なお、複数の右ＩＲＥＤの全部を点灯させるとしたが、複数の右ＩＲＥＤの一部のみを点灯させてもよい。

ステップＳ３００２で、ＣＰＵは、ステップＳ３００１で取得した眼球３４１の画像に映る全ての反射像を用いて、第１の視線検出（視線の仮検出）を行う。眼球３４１の画像に映る反射像は、右視線センサー３０６に結像した反射像と捉えることもできる。ここでは、強膜で反射した反射像（不正確なプルキンエ像）も使用されるため、高精度に視線を
検出することはできないが、眼球３４１のおおよその回転方向と回転角は分かる。

ステップＳ３００３で、ＣＰＵは、眼球３４１が右視線センサー３０６の配置されている方向に回転したのか、右視線センサー３０６と対向する方向に回転したのかを判定する。ＣＰＵは、眼球３４１が右視線センサー３０６の配置されている方向に回転したと判定した場合に、ステップＳ３００４に処理を進め、眼球３４１が右視線センサー３０６と対向する方向に回転したと判定した場合に、ステップＳ３００５に処理を進める。

ステップＳ３００４で、ＣＰＵは、右開口部３４５との距離が短い第１光源群の反射像（正反射像）を選択し、選択した反射像を用いて第２の視線検出（視線の本検出）を行う。

ステップＳ３００５で、ＣＰＵは、右開口部３４５との距離が長い第２光源群の反射像（正反射像）を選択し、選択した反射像を用いて第２の視線検出（視線の本検出）を行う。

このように、眼球３４１の回転角に基づいて視線検出に使用する反射像を変える。これにより、常に全ての反射像を使用して視線検出を行う構成と比較して、強膜で反射した不正確なプルキンエ像を使用せずに視線検出を行うことができるため、視線検出の精度が向上する。

なお、最終的に第１光源群の反射像と第２光源群の反射像との一方のみを使用する例を説明したが、これに限られない。例えば、或る部分では第１光源群の反射像と第２光源群の反射像との一方のみを使用し、別の部分では第１光源群の反射像と第２光源群の反射像との他方のみを使用するなどしてもよい。第１光源群の反射像と第２光源群の反射像との両方が正反射像となるシーンでは、第１光源群の反射像と第２光源群の反射像との両方（全ての反射像）を用いた視線検出の結果を、最終的な結果としてもよい。

図１２は、視線検出のフローチャートの変形例である。以下では、右目の視線検出について説明するが、左目の視線検出も同様に行われる。

ステップＳ３００６で、ＣＰＵは、全ての右ＩＲＥＤ（第１光源群および第２光源群）を点灯させ、右視線センサー３０６を用いて眼球３４１（右目）を撮像する。

ステップＳ３００７で、ＣＰＵは、ステップＳ３００１で取得した眼球３４１の画像に映る全ての反射像を用いて、第１の視線検出（視線の仮検出）を行う。ここでは、強膜で反射した反射像（不正確なプルキンエ像）も使用されるため、高精度に視線を検出することはできないが、眼球３４１のおおよその回転方向と回転角は分かる。

ステップＳ３００８で、ＣＰＵは、眼球３４１が右視線センサー３０６の配置されている方向に回転したのか、右視線センサー３０６と対向する方向に回転したのかを判定する。ＣＰＵは、眼球３４１が右視線センサー３０６の配置されている方向に回転したと判定した場合に、ステップＳ３００９に処理を進め、眼球３４１が右視線センサー３０６と対向する方向に回転したと判定した場合に、ステップＳ３０１０に処理を進める。

ステップＳ３００９で、ＣＰＵは、右開口部３４５との距離が長い第２光源群を消灯し、右開口部３４５との距離が短い第１光源群のみを点灯させる。

ステップＳ３０１０で、ＣＰＵは、右開口部３４５との距離が短い第１光源群を消灯し、右開口部３４５との距離が長い第２光源群のみを点灯させる。

ステップＳ３０１１で、ＣＰＵは、複数の右ＩＲＥＤの一部を消灯させた状態で得られた眼球３４１の画像を用いて、第２の視線検出（視線の本検出）を行う。

このように、眼球３４１の回転角に基づいて視線検出に使用する右ＩＲＥＤ（点灯させる右ＩＲＥＤ）を変える。これにより、視線検出に使用しない右ＩＲＥＤを消灯することができるため、省電力化できる。

なお、最終的に第１光源群と第２光源群との一方のみを点灯させる例を説明したが、これに限られない。例えば、或る部分では第１光源群のＩＲＤＥと第２光源群のＩＲＥＤとの一方のみを点灯させ、別の部分では第１光源群のＩＲＥＤと第２光源群のＩＲＥＤとの他方のみを点灯させるなどしてもよい。第１光源群の反射像と第２光源群の反射像との両方が正反射像となるシーンでは、第１光源群と第２光源群の両方（全てのＩＲＥＤ）を点灯させて得られた視線検出の結果を、最終的な結果としてもよい。

以上述べたように、第３の実施形態によれば、表示光学系の光軸との距離が短いＩＲＥＤ（第１光源群）と表示光学系の光軸との距離が長いＩＲＥＤ（第２光源群）とが配置される。これによって、状況に依らず高精度に視線を検出することを可能にした頭部装着型表示装置（視線検出装置）を提供することができる。例えば、ユーザーが目を振った場合にも、高確率で正反射像（プルキンエ像）を取得することができる。ひいては、視線検出の成功率を高くする（視線検出のロバスト性を高める）ことができる。

なお、第３の実施形態に第１の実施形態を組み合わせてもよい。例えば、第１光源群と第２光源群の少なくとも一方に着目した場合に、ユーザーの目に対向する開口部の中心（表示光学系の光軸）を挟んで視線センサーとは反対の側の範囲において、１度あたりの光源の数を最大としてもよい。これによって、視線検出の成功率をより高くすることができる。

＜第４の実施形態＞
以下、図１３～１５を参照して、本発明の第４の実施形態について説明する。第４の実施形態として、視線検出装置を搭載した頭部装着型表示装置（ヘッドマウントディスプレイ）の例を説明する。

図１３は、第４の実施形態に係るヘッドマウントディスプレイのディスプレイユニット本体４０１の背面図である。図１４は、図１３のＡ－Ａ断面図である。図１３は、ディスプレイユニット本体１０１をユーザー（ヘッドマウントディスプレイを装着したユーザー）の眼球側から見た状態を示している。

ディスプレイユニット本体４０１は、ユーザーの右目の視野を制限する右開口部４４５と、ユーザーの左目の視野を制限する左開口部４４６とを有する。右開口部４４５（右開口部内）には、表示光学系である右レンズ系４０２が設けられており、左開口部４４６（左開口部内）には、表示光学系である左レンズ系４０３が設けられている。右開口部４４５および右レンズ系４０２は、ユーザー（ヘッドマウントディスプレイを装着したユーザー）の右目に対向するように配置される。左開口部４４６および左レンズ系４０３は、ユーザー（ヘッドマウントディスプレイを装着したユーザー）の左目に対向するように配置される。

図１３に示すように、右開口部４４５（右レンズ系４０２）の縁には、右開口部４４５に対向する右目の方向を向くように、右視線センサー４０６が配置されている。右視線センサー４０６は右レンズ系４０２の裏側に配置されており、右視線センサー４０６には、
外部から右レンズ系４０２を介して光が入射する。同様に、左開口部４４６（左レンズ系４０３）の縁には、左開口部４４６に対向する左目の方向を向くように、左視線センサー４０７が配置されている。左視線センサー４０７は左レンズ系４０３の裏側に配置されており、左視線センサー４０７には、外部から左レンズ系４０３を介して光が入射する。右視線センサー４０６と左視線センサー４０７は、赤外光にのみ感度を有しており、例えば９００ｎｍ±２０ｎｍの範囲にのみ感度を有する。尚、右視線センサー４０６と左視線センサー４０７とは光学系の光軸からずれた位置に配置されており、目の内側（目頭側）に配置されていることが好ましい。

右視線センサー４０６は、右開口部４４５の中心（右レンズ系４０２の光軸）を中心として、９時の位置（真上から右回りに２７０度回転した位置）に配置されている。左視線センサー４０７は、左開口部４４６の中心（左レンズ系４０３の光軸）を中心として、３時の位置（真上から右回りに９０度回転した位置）に配置されている。右視線センサー４０６と左視線センサー４０７は、略同一の高さ（上下方向の位置）に配置されている。右視線センサー４０６は右開口部４４５の左側（右目の目元付近）に配置され、左視線センサー４０７は左開口部４４６の右側（左目の目元付近）に配置される。

このように、右視線センサー４０６と左視線センサー４０７は、右レンズ系４０２の光軸と左レンズ系４０３の光軸とを通る水平線４８５上（右開口部４４５の中心と左開口部４４６の中心とを通る水平線上）に配置されている。

通常、ユーザー（ヘッドマウントディスプレイを装着したユーザー）のマブタは上下に開く。そのため、水平線４８５の方向から眼球を観察するように右視線センサー４０６と左視線センサー４０７を配置することで、視線検出の際に眼球がマブタにけられにくくなり、視線検出の成功率を高くすることができる。

図１３では、右開口部４４５（右レンズ系４０２）の縁に沿って、眼球（右目）を照明する複数の光源として、複数の赤外発光ダイオード（右ＩＲＥＤ）が配置されている。右ＩＲＥＤは右レンズ系４０２の裏側に配置されており、右レンズ系４０２を介して外部に光（赤外光）を出射して、眼球（右目）を照明する。同様に、左開口部４４６（左レンズ系４０３）の縁に沿って、眼球（左目）を照明する複数の光源として、複数の赤外発光ダイオード（左ＩＲＥＤ）が配置されている。左ＩＲＥＤは左レンズ系４０３の裏側に配置されており、左レンズ系４０３を介して外部に光（赤外光）を出射して、眼球（左目）を照明する。

右開口部４４５（右レンズ系４０２）の周囲には、右ＩＲＥＤ４０８，４０９，４１１～４２２が配置されている。右開口部４４５の中心（右レンズ系４０２の光軸）を中心として、右ＩＲＥＤ４０８は１０時、右ＩＲＥＤ４０９は１１時、右ＩＲＥＤ４１１は１時、右ＩＲＥＤ４１２は１時半、右ＩＲＥＤ４１３は２時、右ＩＲＥＤ４１４は２時半の位置に配置されている。右ＩＲＥＤ４１５は３時、右ＩＲＥＤ４１６は３時半、右ＩＲＥＤ４１７は４時、右ＩＲＥＤ４１８は４時半、右ＩＲＥＤ４１９は５時、右ＩＲＥＤ４２０は６時、右ＩＲＥＤ４２１は７時、右ＩＲＥＤ４２２は８時の位置に配置されている。

左開口部４４６（左レンズ系４０３）の周囲には、左ＩＲＥＤ４２３，４２４，４２６～４３７が配置されている。左開口部４４６の中心（左レンズ系４０３の光軸）を中心として、左ＩＲＥＤ４２３は２時、左ＩＲＥＤ４２４は１時、左ＩＲＥＤ４２６は１１時、左ＩＲＥＤ４２７は１０時半、左ＩＲＥＤ４２８は１０時、左ＩＲＥＤ４２９は９時半の位置に配置されている。左ＩＲＥＤ４３０は９時、左ＩＲＥＤ４３１は８時半、左ＩＲＥＤ４３２は８時、左ＩＲＥＤ４３３は７時半、左ＩＲＥＤ４３４は７時、左ＩＲＥＤ４３５は６時、左ＩＲＥＤ４３６は５時、左ＩＲＥＤ４３７は４時の位置に配置されている。

第４の実施形態では、第１の実施形態と同様に、右開口部４４５の中心（右レンズ系４０２の光軸）を挟んで右視線センサー４０６とは反対の側の範囲において、１度あたりの光源の数（角度密度）が最大となっている。同様に、左開口部４４６の中心（左レンズ系４０３の光軸）を挟んで左視線センサー４０７とは反対の側の範囲において、１度あたりの光源の数（角度密度）が最大となっている。これによって、第１の実施形態と同様の効果を得ることができる。

右視線センサー４０６、右ＩＲＥＤ４０８，４０９，４１１～４２２、および不図示のコントロール回路によって、右目の視線検出ユニットが構成されている。同様に、左視線センサー４０７、左ＩＲＥＤ４２３，４２４，４２６～４３７、および不図示のコントロール回路によって、左目の視線検出ユニットが構成されている。右目の視線検出ユニットのコントロール回路と、左目の視線検出ユニットのコントロール回路とは共通の１つのコントロール回路であってもよいし、別々のコントロール回路であってもよい。

図１４は、ディスプレイユニット本体４０１を覗いているユーザーの眼球（右目４４１Ｒおよび左目４４１Ｌ）と、ディスプレイユニット本体４０１との配置を示している。

右レンズ系４０２と左レンズ系４０３は、偏光反射光学系で構成されている。偏光反射光学系は例えば、特開２０２０－９５２０５号公報に開示されている技術を用いて実現できる。

右表示パネル４５０Ｒは有機ＥＬパネルなどの表示パネルであり、右レンズ系４０２の裏側に配置されている。ユーザーの右目４４１Ｒは、右レンズ系４０２を介して右表示パネル４５０Ｒを視認する。同様に、左表示パネル４５０Ｌは有機ＥＬパネルなどの表示パネルであり、左レンズ系４０３の裏側に配置されている。ユーザーの左目４４１Ｌは、左レンズ系４０３を介して左表示パネル４５０Ｌを視認する。

右レンズ系４０２は、右偏光パネル４５２、右第１レンズ４５３、一面（右第１レンズ４５３側の面）に右偏光ハーフミラー４５４ａを備えた右第２レンズ４５４、および右偏光反射板４５５によって構成される。同様に、左レンズ系４０３は、左偏光パネル４６２、左第１レンズ４６３、一面（左第１レンズ４６３側の面）に左偏光ハーフミラー４６４ａを備えた左第２レンズ４６４、および左偏光反射板４６５によって構成される。なお、右第２レンズ４５４と左第２レンズ４６４のユーザー側の面は平面であるとする。

右表示パネル４５０Ｒの光路は、右第２レンズ４５４の内部で折り返す表示光路４５６となる。右偏光パネル４５２、右偏光ハーフミラー４５４ａ、および右偏光反射板４５５によって反射と透過がコントロールされ、表示光路４５６が実現される。同様に、左表示パネル４５０Ｌの光路は、左第２レンズ４６４の内部で折り返す表示光路４６６となる。左偏光パネル４６２、左偏光ハーフミラー４６４ａ、および左偏光反射板４６５によって反射と透過がコントロールされ、表示光路４６６が実現される。

右ＩＲＥＤ４１５の前方（ユーザー側）には、可視光の透過率よりも赤外光の透過率が高い右マスク４５７が配置されている。ここでは、右マスク４５７は可視光を透過せず且つ赤外光を透過するマスクとするが、可視光と赤外光とで透過率（遮蔽率）が大きく異なっていれば、可視光を多少透過してもよい。図１４では右マスク４５７は右ＩＲＥＤ４１５の前に描かれているが、実際には右ＩＲＥＤ４０８，４０９，４１１～４２２と右第１レンズ４５３との間に配置されている。同様に、左ＩＲＥＤ４３０の前方（ユーザー側）には、可視光の透過率よりも赤外光の透過率が高い左マスク４６７が配置されている。ここでは、左マスク４６７も可視光を透過せず且つ赤外光を透過するマスクとするが、右マ
スク４５７と同様に、可視光と赤外光とで透過率（遮蔽率）が大きく異なっていれば、可視光を多少透過してもよい。図１４では左マスク４６７は左ＩＲＥＤ４３０の前に描かれているが、実際には左ＩＲＥＤ４２３，４２４，４２６～４３７と左第１レンズ４６３との間に配置されている。

右ＩＲＥＤ４１５から発せられた光は、右レンズ系４０２を透過して右目４４１Ｒで反射し、右レンズ系４０２を再び透過して右視線センサー４０６に入射する。この光路は右視線検出光路４６０として示されている。同様に、左ＩＲＥＤ４３０から発せられた光は、左レンズ系４０３を透過して左目４４１Ｌで反射し、左レンズ系４０３を再び透過して左視線センサー４０７に入射する。この光路は左視線検出光路４７０として示されている。

図１４において、右ＩＲＥＤ４１５から発せられた光は、右目４４１Ｒの角膜４４２Ｒと虹彩（不図示）を照明している。右視線センサー４０６は、右目４４１Ｒの虹彩像を取得するとともに、右視線検出光路４６０を通る右ＩＲＥＤ４１５の正反射像（プルキンエ像）も取得する。図１４には示されていないが、他の右ＩＲＥＤからの光も同様に右目４４１Ｒの角膜４４２Ｒと虹彩を照明する。複数の右ＩＲＥＤによって単一の虹彩が照明されるため、虹彩の照明むらは低減される。

同様に、左ＩＲＥＤ４３０から発せられた光は、左目４４１Ｌの角膜４４２Ｌと虹彩（不図示）を照明している。左視線センサー４０７は、左目４４１Ｌの虹彩像を取得するとともに、左視線検出光路４７０を通る左ＩＲＥＤ４３０の正反射像（プルキンエ像）も取得する。図１４には示されていないが、他の左ＩＲＥＤからの光も同様に左目４４１Ｌの角膜４４２Ｌと虹彩を照明する。複数の左ＩＲＥＤによって単一の虹彩が照明されるため、虹彩の照明むらは低減される。

図１４に示すように、右第１レンズ４５３の面（右表示パネル４５０Ｒ側の面）のうち、右ＩＲＥＤ４１５（複数の右ＩＲＥＤ）に対向する部分（入射面４５３ａ）と、右視線センサー４０６に対向する部分（出射面４５３ｂ）とは、異なる形状を有する。同様に、左第１レンズ４６３の面（左表示パネル４５０Ｌ側の面）のうち、左ＩＲＥＤ４３０（複数の左ＩＲＥＤ）に対向する部分（入射面４６３ａ）と、左視線センサー４０７に対向する部分（出射面４６３ｂ）とは、異なる形状を有する。

図１５は、右第１レンズ４５３と右第２レンズ４５４の斜視図である。右第１レンズ４５３は回転体の基本形状を有しており、入射面４５３ａ（第２の面と呼ぶことがある）は円錐面となっている。出射面４５３ｂ（第１の面と呼ぶことがある）の部分では、上記円錐面に三角プリズムに類似した光学補正部４７０ａが凸部として一体的に形成されている。そして、出射面４５３ｂ（右視線センサー４０６と対向する面、光学補正部４７０ａの頂面）は平面（平坦）となっている。

三角プリズムは、一般的に、波長ごとに屈折角度が変化する特性を有する。しかし、右ＩＲＥＤは限られた波長域の光（赤外光）のみを発する。また、右視線センサー４０６も限られた波長域の光（赤外光）のみを受光する。そのため、三角プリズムの上記特性（波長ごとに屈折角度が変化する特性）は無視できる。

ここで、出射面４５３ｂが平坦でなく曲率を有している場合を考える。その場合には、出射面４５３ｂからの光に光学収差が生じ、右視線センサー４０６によって受光される像が劣化してしまう。出射面４５３ｂを平坦としたことにより、光学収差を小さくすることができる。言い換えると、出射面４５３ｂは、入射面４５３ａよりも光学収差が小さい。ＩＲＥＤから発せられた光は、虹彩の広範囲を照明して反射した拡散反射光と、角膜で正
反射した正反射光に分けられる。出射面４５３ｂを平坦としたことにより、拡散反射光から、光学収差が改善された瞳孔像を検出することができる。正反射光は、点光源の反射光として扱うことができる。そのため、出射面４５３ｂを平坦としたことにより、正反射光から、光学収差が改善されたプルキンエ像を検出することもできる。その結果、瞳孔像とプルキンエ像から、視線を高精度に検出することができる。尚、出射面４５３ｂは平坦であることが好ましいが、入射面４５３ａよりも光学収差が小さければ効果を奏することができる。出射面４５３ｂの曲率半径を入射面４５３ａの曲率半径よりも大きくすることで、光学収差を軽減する効果を奏することができるが、出射面４５３ｂは平坦に近いほど大きな効果を得ることができる。

また、第４の実施形態では、入射面４５３ａの部分がプリズム形状を有していないため、右マスク４５７を配置することができる。右マスク４５７を配置することによって、ユーザーが右レンズ系４０２を覗き込んだ際に右ＩＲＥＤが視認されず、優れた美観を実現することができる。

左目側も、右目側と同様である。左第１レンズ４６３は回転体の基本形状を有しており、入射面４６３ａは円錐面となっている。出射面４６３ｂの部分では、上記円錐面に三角プリズムに類似した光学補正部が一体的に形成されている。そして、出射面４６３ｂ（左視線センサー４０７と対向する面、光学補正部の面）は平面（平坦）となっている。これにより、左目側でも、右目側と同様の効果が得られる。

以上述べたように、第４の実施形態によれば、表示光学系の面における、視線センサーの受光面へユーザーの眼からの光を出射する面が平坦とされる。これによって、視線センサーによって得られる像の光学収差を改善することができ、視線検出の精度を向上することができる。尚、第４の実施形態では、右第１レンズ４５３と光学補正部４７０ａが一体的に形成されているが、複数の光学素子によりこのような光学素子を実現してもよい。

＜第５の実施形態＞
以下、図１６～２０を参照して、本発明の第５の実施形態について説明する。第５の実施形態として、視線検出装置を搭載した撮像装置（カメラ本体）の例を説明する。第５の実施形態に係るカメラ本体は、ファインダー（ＥＶＦ（Ｅｌｅｃｔｒｏｎｉｃ ＶｉｅｗＦｉｎｄｅｒ）ユニット）を覗くユーザーの視線を検出し、カメラ本体およびユーザーの正面方向に存在する被写体を撮像する。撮影光学系の光軸に平行なカメラ本体の正面方向をＺ軸（Ｚ軸方向）とする。カメラ本体の最も基本的な標準の姿勢、いわゆる正位置において、Ｚ軸に垂直な鉛直上方向をＹ軸（Ｙ軸方向）とする。そして、右手系に従って、Ｙ軸とＺ軸に垂直な方向を、Ｘ軸（Ｘ軸方向）とする。

図１６は、第５の実施形態に係るカメラ本体５００の断面を示す模式図である。図１６は、Ｙ軸とＺ軸に平行な平面でカメラ本体５００を切断した、いわゆる中央縦断面を示す。カメラ本体５００では、不図示の撮影光学系の光軸上にシャッター５９０と撮像センサー５９１が並んでいる。撮像センサーは、カメラ本体５００の正面方向に存在する被写体を撮像する。カメラ本体５００の背面には背面モニター５９２が設けられている。背面モニター５９２は、カメラ本体５００の操作を受け付けたり、カメラ本体５００で得られた画像を鑑賞・編集したりするために、メニューや画像を表示する。背面モニター５９２はバックライト付きの液晶パネルや有機ＥＬパネルで構成される。通常の一般的なカメラと同様、ＥＶＦユニット５０１、シャッター５９０、撮像センサー５９１、および背面モニター５９２は、ＣＰＵ５９３によって制御され、各種の必要な情報の入出力処理を行う。

ＥＶＦユニット５０１は、表示パネルとしてのＥＶＦパネル５４０、表示光学系としてのＥＶＦレンズ系５０２、および眼球撮像部としての視線センサー５０６を含む。ＥＶＦ
ユニット５０１は、カメラ本体５００のユーザーが、ＥＶＦパネル５４０の表示画面を視認できるように内蔵または取り付けられている。図１６では、ユーザーが眼球５４１でＥＶＦユニット５０１を覗き込んでいる。

ＥＶＦパネル５４０は表示パネルであり、バックライト付きの有機ＥＬパネルや液晶表示パネルで構成される。ＥＶＦパネル５４０は、Ｚ軸マイナス方向に表示画面が向くように配置されている。ＥＶＦレンズ系５０２はＥＶＦパネル５４０の表示画面の前に配置されており、Ｚ軸マイナス方向に伸びた表示光学系光軸５８３（表示光学系（ＥＶＦレンズ系５０２）の光軸）に沿って配置された１枚または複数枚のレンズから構成される。ＥＶＦレンズ系５０２のレンズは、切削と研削、またはモールド成型によって製造される光学ガラスや透明な光学プラスチックレンズである。図１６では、ＥＶＦレンズ系５０２は、可視光を透過する光学レンズであるＧ１レンズ５６２、Ｇ２レンズ５６３、およびＧ３接眼レンズ５６４の３枚のレンズからなる。なお、ＥＶＦレンズ系５０２に含まれるレンズの枚数は３枚に限られず、例えば４枚や５枚などであってもよい。ＥＶＦパネル５４０の表示画面を拡大するために適切な枚数のレンズを組み合わせてＥＶＦレンズ系５０２を構成することができる。

視線センサー５０６は、ＥＶＦユニット５０１を覗き込んだ眼球５４１の像を、視線センサーチップ５４８に結像させる。視線センサー５０６は、視線センサー筐体５４６の内部に視線センサーレンズ５４７と視線センサーチップ５４８を有する。視線センサーチップ５４８は、視線センサーレンズ光軸５４７ａ（視線センサーレンズの光軸）上に配置されている。視線センサーレンズ５４７は眼球５４１の像を視線センサーチップ５４８に結像させるために必要な光学系であり、適切な光学レンズによって構成される。図１６では視線センサーレンズ５４７として１枚のレンズを示しているが、視線センサーレンズ５４７は複数のレンズを含んでいてもよい。視線センサーチップ５４８は、結像した眼球５４１の赤外光成分を含む画像をＡ／Ｄ変換し、その結果をＣＰＵ５９３に入力する画像センサーである。視線センサーチップ５４８として、例えば、いわゆるＣＭＯＳ撮像センサーやＣＣＤマトリクスセンサーが用いられる。視線センサー５０６は上記部品を一体に構成してパッケージ化した小型カメラであるが、上記部品は一体化されていなくてもよい。

図１７，１８を用いて、ＥＶＦユニット５０１についてより詳細に説明する。図１７は、カメラ本体５００の断面の一部（眼球５４１に近い部分）を示す模式図である。図１８はＥＶＦユニット５０１を眼球５４１側から見た模式図、すなわちＥＶＦユニット５０１をＺ軸プラス方向で見た模式図である。

ユーザーがＥＶＦパネル５４０の表示画面を覗くとき、図１７に示すように眼球５４１はＧ３接眼レンズ５６４の表示光学系光軸５８３付近に位置する。眼球５４１には上マブタ５５０および下マブタ５５１が被さっており、上マブタ５５０と下マブタ５５１の間から角膜５４２が露出している。このとき、Ｇ３接眼レンズ５６４の周囲に配置されたＩＲＥＤ５５２～５６１から赤外光が発せられ、当該赤外光によって眼球５４１が照明される。

Ｇ３接眼レンズ５６４の周囲には、可視光を透過せず（吸収し）且つ赤外光を透過する材料（例えば樹脂）で赤外透過カバー５０４が配置されており、赤外透過カバー５０４によって、ＩＲＥＤ５５２～５６１が外から視認できないように隠されている。赤外透過カバー５０４には、ＥＶＦパネル５４０の表示画面を視認可能にするために、Ｇ３接眼レンズ５６４を通った可視光の有効光束を通過させる開口部５４５が設けられている。開口部５４５は、可視光を透過することができればよく、物理的な開口であってもよいし、そうでなくてもよい。例えば、赤外透過カバー５０４は、Ｇ３接眼レンズ５６４に塗布された赤外透過塗料（可視光を透過せず且つ赤外光を透過する塗料）であってもよい。その場合
は、開口状に赤外透過塗料を塗らない部分を設け、その部分を開口部５４５とすればよい。また、第１の実施形態と同様に、赤外透過カバー５０４の可視光の透過率は０に限定されず、可視光の透過率よりも赤外光の透過率が高ければユーザーからＩＲＥＤ５５２～５６１が視認しにくい効果を得ることができる。第１の実施形態と同様に、可視光と赤外光の透過率の差が大きい方が好ましい。

Ｇ３接眼レンズ５６４の周囲には、眼球５４１の近接を検知するための近接センサー５４９が配置されている。近接センサー５４９は赤外光照射部と赤外光受光部を有するユニットであり、例えば照射した赤外光の反射角度や時間差、周波数を用いてＧ３接眼レンズ５６４と眼球５４１との距離を測距する。近接センサー５４９が測距した距離情報はＣＰＵ５９３に送られ、例えばＥＶＦパネル５４０やＩＲＥＤ５５２～５６１の点灯制御に必要な情報として用いられる。近接センサー５４９も赤外透過カバー５０４によって隠されている。

表示光学系光軸５８３と視線センサーレンズ光軸５４７ａは平行ではなく、角度Ｔ５１０をなす。例えば、カメラ本体５００の正位置において、視線センサー５０６は表示光学系光軸５８３の下方に位置し、視線センサーレンズ光軸５４７ａは、上方を向く。正位置は、眼球５４１の左右方向が開口部５４５の左右方向に略一致する姿勢と捉えることもできる。

眼球５４１には、上マブタ５５０と下マブタ５５１が被さっている。第１の実施形態でも説明したように、ほとんどの場合、上マブタ５５０のほうが下マブタ５５１よりも大きく厚い。そして、カメラ本体５００は、正位置で使われることが多い。そのため、正位置で下マブタ５５１側から眼球５４１を見上げるように視線センサー５０６を配置する。これによって、正位置で上マブタ５５０側から眼球５４１を見下ろすように視線センサー５０６を配置する場合に比べ、視線センサーチップ５４８に結像される眼球５４１の像がマブタによってけられる状況を抑制できる。

図１８に示すように、Ｇ３接眼レンズ５６４（または開口部５４５）の周囲を囲うように１０個のＩＲＥＤ５５２～５６１が配置されている。表示光学系光軸５８３を中心として、ＩＲＥＤ５５５は１時、ＩＲＥＤ５６１は１時半、ＩＲＥＤ５５６は２時、ＩＲＥＤ５５７は３時、ＩＲＥＤ５５８は５時の位置に配置されている。ＩＲＥＤ５５９は７時、ＩＲＥＤ５５２は９時、ＩＲＥＤ５５３は１０時、ＩＲＥＤ５６０は１０時半、ＩＲＥＤ５５４は１１時の位置に配置されている。視線センサー５０６は６時の位置に配置されている。これらの位置は、あくまでおおよその位置であり、上記時刻の位置と完全に一致する必要はない。

第５の実施形態では、第１の実施形態と同様に、ユーザーの目に対向する開口部５４５の中心を挟んで視線センサー５０６とは反対の側の範囲において、１度あたりの光源（ＩＲＥＤ）の数が最大となっている。ここで、表示光学系光軸５８３を通るＸ軸方向の水平線５８５に注目する。図１８では、水平線５８５に対して視線センサー５０６が配置されていない側（上側）に、水平線５８５に対して視線センサー５０６が配置されている側（下側）よりも多くのＩＲＥＤが配置されている。視線センサー５０６が配置されている側（水平線５８５の下側）にはＩＲＥＤ５５８とＩＲＥＤ５５９の２つのＩＲＥＤが配置されている。一方で、視線センサー５０６が配置されていない側（水平線５８５の上側）には、ＩＲＥＤ５５３、ＩＲＥＤ５５４、ＩＲＥＤ５５５、ＩＲＥＤ５５６、ＩＲＥＤ５６０、およびＩＲＥＤ５６１の６つのＩＲＥＤが配置されている。

図１９Ａ～１９Ｄは、複数のＩＲＥＤ、眼球５４１、および視線センサー５０６の関係を示す模式図である。図１９Ａ，１９Ｂは、複数のＩＲＥＤとして、図１８に示すＩＲＥ
Ｄ５５２～５５９を用いた場合（第５の実施形態）を示す。図１９Ａは、Ｇ３接眼レンズ５６４側から眼球５４１を見た斜視図であり、図１９Ｂは、Ｇ３接眼レンズ５６４側から眼球５４１を見た正面図である。図１９Ｃ，１９Ｄは、複数のＩＲＥＤとして、均等に配置されたＩＲＥＤ５５２ｂ～５５９ｂを用いた場合（比較例）を示す。図１９Ｃは、Ｇ３接眼レンズ５６４側から眼球５４１を見た斜視図であり、図１９Ｄは、Ｇ３接眼レンズ５６４側から眼球５４１を見た正面図である。なお、ＩＲＥＤ５６０，５６１は省略している。

図１９Ａ～１９Ｄにおいて、眼球５４１は表示光学系光軸５８３上に位置しており、Ｇ３接眼レンズ５６４に近接してＥＶＦパネル５４０を見ている。ＩＲＥＤ５５２～５５９（５５２ｂ～５５９ｂ）から発せられた主光線は、反射位置Ｒ５５２～Ｒ５５９（Ｒ５５２ｂ～Ｒ５５９ｂ）で反射して、視線センサー５０６に入射する。反射位置Ｒ５５２～Ｒ５５９（Ｒ５５２ｂ～Ｒ５５９ｂ）のうち、角膜５４２上の反射位置は、視線センサー５０６によって撮像された画像にプルキンエ像として映る。そのため、角膜５４２上に多く反射位置を配置することによって、視線検出の精度を向上することができる。

図１９Ａ，１９Ｂ（第５の実施形態）においては、４つの反射位置Ｒ５５２，Ｒ５５３，Ｒ５５６，Ｒ５５７が角膜５４２上に位置している。反射位置Ｒ５５３，Ｒ５５４は上マブタ５５０上に位置しており、反射位置Ｒ５５８，Ｒ５５９は下マブタ５５１上に位置している。そのため、反射位置Ｒ５５３，Ｒ５５４，Ｒ５５８，Ｒ５５９は、視線センサー５０６によって撮像された画像にプルキンエ像として映らない。

図１９Ｃ，１９Ｄ（比較例）においては、反射位置Ｒ５５２ｂ，Ｒ５５７ｂも下マブタ５５１上に位置している。そのため、角膜５４２上に位置する反射位置は、反射位置Ｒ５５３ｂ，Ｒ５５６ｂのみとなっている。

視線センサー５０６は、球状の角膜５４２を下方から見上げるように配置されている。その結果、図１９Ｄに示すように、ＩＲＥＤから発せられた主光線の反射位置は角膜５４２の下側に集中する。このような傾向は、ユーザーの目がＥＶＦユニット５０１に近接している場合に顕著に現れる。

このような理由から、第５の実施形態では、表示光学系光軸５８３を挟んで視線センサー５０６とは反対の側にＩＲＥＤを多く配置する。こうすることによって、角膜５４２の下側に集中してしまう反射位置を、角膜５４２の中心に寄せることができ、主光線が下マブタ５５１によってけられる状況を抑制することができる。

第５の実施形態では複数のＩＲＥＤを用いているが、高出力で多数のＩＲＥＤを点灯させるのがユーザーの安全上好ましくない場合がある。また、常に多数のＩＲＥＤを点灯させると、カメラ本体５００の消費電力が大きくなってしまう。そのため、点灯させるＩＲＥＤの数は多すぎないほうがよい。

図２０は、ユーザーがカメラ本体５００を反時計回りに略９０度回転させた状態、いわゆる縦位置にしてＥＶＦユニット５０１を覗き込んだ場合の、眼球５４１とＥＶＦユニット５０１の関係を示す模式図である。縦位置は、眼球５４１の左右方向が開口部５４５の上下方向に略一致する姿勢と捉えることもできる。図２０は、ＥＶＦパネル５４０側から眼球５４１を見た正面図である。眼球５４１は表示光学系光軸５８３上に位置している。図２０では、カメラ本体５００は正位置と同様に示されており、眼球５４１を反時計周りに９０度回転させている。なお、カメラ本体５００を回転方向は反時計回りに限られず、カメラ本体５００を時計回りに回転させた場合にも、以下の説明と同様の説明が可能である。

図２０において、上マブタ５５０側に配置されたＩＲＥＤ５５５，５５６，５５７，５５８，５６０にそれぞれ対応する反射位置Ｒ５５５，Ｒ５５６，Ｒ５５７，Ｒ５５８，Ｒ５６０は、上マブタ５５０上に位置する。そのため、反射位置Ｒ５５５，Ｒ５５６，Ｒ５５７，Ｒ５５８，Ｒ５６０は、視線センサー５０６によって撮像された画像にプルキンエ像として映らない。一方で、下マブタ５５１側に配置されたＩＲＥＤ５５２，５５３，５５４，５５９，５６１にそれぞれ対応する反射位置Ｒ５５２，Ｒ５５３，Ｒ５５４，Ｒ５５９，Ｒ５６１は、角膜５４２上に位置する。そのため、反射位置Ｒ５５２，Ｒ５５３，Ｒ５５４，Ｒ５５９，Ｒ５６１は、視線センサー５０６によって撮像された画像にプルキンエ像として映る。マブタの形状には個人差があるが、上述したように上マブタ５５０は下マブタ５５１よりも大きく眼球５４１を覆う傾向がある。

図２０から、縦位置の場合には、下マブタ５５１側のＩＲＥＤを点灯させることが好ましいことがわかる。しかし、縦位置撮影時にカメラ本体５００を時計回りに回転させるか、反時計回りに回転させるかはユーザーに依る。また、ＩＲＥＤは、プルキンエ像を得るためだけでなく、視線センサー５０６が眼球５４１を捕らえ必要な全体光量を確保するためにも使用される。様々なユーザーや使用状況を想定すると、点灯させるＩＲＥＤを、左右非対称ではなく、左右対称に選択することが好ましい。

ここで、図１９Ｂと図２０を比較する。正位置の場合には、図１９Ｂに示すように、上マブタ５５０と下マブタ５５１に挟まれた角膜５４２は横長に露出する（角膜５４２は、Ｘ軸方向の幅が広い状態で露出する）。一方で、縦位置の場合には、図２０に示すように、カメラ本体５００の回転方向に依らず、角膜５４２は縦長に露出する（角膜５４２は、Ｙ軸方向の幅が広い状態で露出する）。

このため、正位置の場合には、Ｙ軸のプラス側またはマイナス側で遠くに位置するＩＲＥＤ（例えばＩＲＥＤ５５４，５５５，５５８，５５９）から発せられた光は、視線センサー５０６によって撮像された画像にプルキンエ像として映る可能性が低い。同様に、縦位置の場合には、Ｘ軸のプラス側またはマイナス側で遠くに位置するＩＲＥＤ（例えばＩＲＥＤ５５２，５５３，５５６，５５７）から発せられた光は、視線センサー５０６によって撮像された画像にプルキンエ像として映る可能性が低い。

そこで、第５の実施形態では、ＣＰＵ５９３は、正位置の場合と縦位置の場合とで点灯するＩＲＥＤが切り替わるように、複数のＩＲＥＤのそれぞれを制御する。ＣＰＵ５９３は、正位置の場合には、開口部５４５の中心よりも上側に配置されたＩＲＥＤのみを含む第１光源群を点灯させ、縦位置の場合には、第１光源群とは異なる第２光源群を点灯させる。複数のＩＲＥＤの一部は、第１光源群と第２光源群の両方に含まれる。例えば、正位置の場合には、ＩＲＥＤ５５２，５５３，５５６，５５７，５６０，５６１を点灯させ、他のＩＲＥＤは消灯させる。縦位置の場合には、ＩＲＥＤ５５４，５５５，５５８，５５９，５６０，５６１を点灯させ、他のＩＲＥＤは消灯させる。なお、第５の実施形態における第１光源群と第２光源群の定義は、第３の実施形態における第１光源群と第２光源群の定義と異なる。

ここで、ＩＲＥＤ５６０，５６１から発せられた光は、ユーザーの撮影姿勢に依らず、視線センサー５０６によって撮像された画像にプルキンエ像として映る可能性が高い。そのため、ＩＲＥＤ５６０，５６１は、正位置の場合にも縦位置の場合にも点灯させる。表示光学系光軸５８３を挟んで視線センサー５０６とは反対の側で斜め方向に配置されたＩＲＥＤ（表示光学系光軸５８３を通り且つＹ軸に対して４５度±１０度に傾いた方向に配置されたＩＲＥＤ）は、常に点灯させることが好ましい。

しかし、眼球５４１が表示光学系光軸５８３から離れている場合や眼球５４１がＥＶＦユニット５０１に近接しすぎている場合など、点灯させるＩＲＥＤをユーザーの姿勢に合わせて制御しても十分な数のプルキンエ像を取得できない場合がある。そのため、得られたプルキンエ像（視線センサー５０６に結像するプルキンエ像）の数が所定数よりも少ない場合には、ＣＰＵ５９３は、得られたプルキンエ像の状況に応じて、消灯させている１つ以上のＩＲＥＤを一時的に点灯させてもよい。所定数は、視線検出に十分な数であり、例えば２個である。こうすることで、取得されるプルキンエ像の数を増やすことができ、視線検出のエラーの発生頻度を低減することができる。

以上述べたように、第５の実施形態によれば、第１の実施形態と同様に、ユーザーの目に対向する開口部の中心（表示光学系の光軸）を挟んで視線センサーとは反対の側の範囲において、１度あたりの光源の数が最大となっている。これによって、状況に依らず高精度に視線を検出することを可能にした撮像装置（視線検出装置）を提供することができる。

なお、上記実施形態（変形例を含む）はあくまで一例であり、本発明の要旨の範囲内で上記実施形態の構成を適宜変形したり変更したりすることにより得られる構成も、本発明に含まれる。上記実施形態の構成を適宜組み合わせて得られる構成も、本発明に含まれる。例えば、上記実施形態に、フォーカス（ピント）が合っている領域の輪郭を強調する画像処理（フォーカスピーキング）を組み合わせてもよい。

３０１：ディスプレイユニット本体
３０２：右レンズ系 ３０３：左レンズ系
３４５：右開口部 ３４６：左開口部
３０６：右視線センサー ３０７：左視線センサー
３０８～３１１，３１３，３１５，３１７：右ＩＲＥＤ（第１光源群）
３１９～３２２：右ＩＲＥＤ（第１光源群）
３８６，３８７：右ＩＲＥＤ（第２光源群）
３２３～３２６，３２８，３３０，３３２：左ＩＲＥＤ（第１光源群）
３３４～３３７：左ＩＲＥＤ（第１光源群）
３８８，３８９：左ＩＲＥＤ（第２光源群）
３９０，３９１：光軸

Claims (15)

1. 接眼レンズと、
   前記接眼レンズの縁に配置され、前記接眼レンズに対向する眼の画像を撮影する画像センサーと、
   前記接眼レンズの縁に沿って配置された複数の第１光源と、
   前記接眼レンズの縁に沿って配置された複数の第２光源と
   を有し、
   前記接眼レンズの光軸に垂直に交わる平面において、前記複数の第２光源のそれぞれを前記平面に投影した位置から前記光軸までの距離は、前記複数の第１光源のそれぞれを前記平面に投影した位置から前記光軸までの距離よりも長い
   ことを特徴とする視線検出装置。
2. 前記眼の角膜の中心と前記接眼レンズの光軸とが交わる場合、前記複数の第２光源のそれぞれから前記眼へ入射する光と前記光軸とが為す角度は、前記複数の第１光源のそれぞれから前記眼へ入射する光と前記光軸とが為す角度よりも大きい
   ことを特徴とする請求項１に記載の視線検出装置。
3. 前記接眼レンズの下側に配置された第２光源の数は、前記接眼レンズの上側に配置された第２光源の数よりも多い
   ことを特徴とする請求項１に記載の視線検出装置。
4. 前記複数の第１光源のそれぞれは、前記接眼レンズを介して外部に光を出射するように配置されており、
   前記複数の第２光源のそれぞれは、前記接眼レンズを介さずに外部に光を出射するように配置されている
   ことを特徴とする請求項１に記載の視線検出装置。
5. 前記複数の第１光源のそれぞれの輝度は、前記複数の第２光源のそれぞれの輝度よりも高い
   ことを特徴とする請求項４に記載の視線検出装置。
6. 前記複数の第２光源のそれぞれを前記平面に投影した位置から前記光軸までの距離は、前記複数の第１光源のそれぞれを前記平面に投影した位置から前記光軸までの距離の１．２倍以上である
   ことを特徴とする請求項１に記載の視線検出装置。
7. 前記複数の第２光源のそれぞれを前記平面に投影した位置から前記光軸までの距離は、前記複数の第１光源のそれぞれを前記平面に投影した位置から前記光軸までの距離の１．５倍以上である
   ことを特徴とする請求項１に記載の視線検出装置。
8. 前記複数の第１光源のそれぞれと前記複数の第２光源のそれぞれとを制御し、前記画像センサーの出力に基づいてユーザーの視線を検出する制御部をさらに有する
   ことを特徴とする請求項１に記載の視線検出装置。
9. 前記制御部は、
   前記複数の第１光源と前記複数の第２光源とを含む複数の光源の一部または全部に対応する、前記画像センサーに結像した複数の反射像に基づいて、前記ユーザーの視線を仮検出し、
   仮検出した視線に基づいて、前記複数の反射像の一部を選択し、
   選択した反射像に基づいて、前記ユーザーの視線を本検出する
   ことを特徴とする請求項８に記載の視線検出装置。
10. 前記制御部は、
    前記複数の第１光源と前記複数の第２光源とを含む複数の光源の一部または全部に対応する、前記画像センサーに結像した複数の反射像に基づいて、前記ユーザーの視線を仮検出し、
    仮検出した視線に基づいて、前記複数の光源の一部を消灯させ、
    前記複数の光源の一部を消灯させた状態で、前記ユーザーの視線を本検出する
    ことを特徴とする請求項８に記載の視線検出装置。
11. 前記複数の第１光源と前記複数の第２光源との少なくとも一方に着目した場合に、前記光軸を中心とした３６０度の範囲のうち、前記光軸を挟んで前記画像センサーとは反対の側の範囲において、１度あたりの光源の数が最大となっている
    ことを特徴とする請求項１に記載の視線検出装置。
12. 前記接眼レンズの光軸に対して、前記複数の第１光源は前記複数の第２光源の内側に配置されている
    ことを特徴とする請求項１に記載の視線検出装置。
13. 前記複数の第２光源のそれぞれは、赤外光を発する光源であり、可視光よりも赤外光の透過率が高い材料を用いてユーザーから隠されている
    ことを特徴とする請求項１に記載の視線検出装置。
14. 前記接眼レンズを含む光学系をさらに有し、
    前記画像センサーには、外部から前記光学系を介して光が入射し、
    前記光学系の面における、前記画像センサーに対向する部分は平坦であり、
    前記光学系の面における、前記画像センサーに対向しない部分は円錐面であり、
    前記複数の第１光源のそれぞれは、前記光学系を介して外部に光を出射するように配置されており、
    前記複数の第２光源のそれぞれは、前記光学系を介さずに外部に光を出射するように配置されており、
    前記複数の第１光源のそれぞれの輝度は、前記複数の第２光源のそれぞれの輝度よりも高く、
    前記複数の第２光源のそれぞれは、赤外光を発する光源であり、
    前記複数の第１光源と前記複数の第２光源との少なくとも一方に着目した場合に、前記接眼レンズの光軸を中心とした３６０度の範囲のうち、前記光軸を挟んで前記画像センサーとは反対の側の範囲において、１度あたりの光源の数が最大となっている
    ことを特徴とする請求項１に記載の視線検出装置。
15. 請求項１乃至１４のいずれか１項に記載の視線検出装置と、
    前記接眼レンズを介して視認可能な映像を表示する表示部と、
    を有することを特徴とする頭部装着型表示装置。

Images