WO2019239849A1 - 眼球検出装置、および画像表示装置 - Google Patents

眼球検出装置、および画像表示装置 Download PDF

Info

Publication number
WO2019239849A1
WO2019239849A1 PCT/JP2019/020646 JP2019020646W WO2019239849A1 WO 2019239849 A1 WO2019239849 A1 WO 2019239849A1 JP 2019020646 W JP2019020646 W JP 2019020646W WO 2019239849 A1 WO2019239849 A1 WO 2019239849A1
Authority
WO
WIPO (PCT)
Prior art keywords
detection
light
eyeball
control unit
cornea
Prior art date
Application number
PCT/JP2019/020646
Other languages
English (en)
French (fr)
Inventor
大川　真吾
涼 小川
進 情野
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to US17/250,159 priority Critical patent/US11474600B2/en
Priority to CN201980038086.8A priority patent/CN112219084B/zh
Publication of WO2019239849A1 publication Critical patent/WO2019239849A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/113—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Definitions

  • Detecting pupil position by image analysis requires analysis of a large amount of pixel data, which imposes a burden on calculation processing, and is disadvantageous in terms of processing speed, cost, and power consumption.
  • power consumption is large in that diffuse illumination light is used as illumination light for detection.
  • An eyeball detection device includes an irradiation unit that irradiates substantially parallel illumination light toward the cornea of an eyeball, a detection unit that detects light intensity of reflected light from the cornea, and a detection unit And a detection control unit that calculates the positional deviation of the corneal position with respect to the reference optical axis after determining the gravity center deviation in the angular direction with respect to the reference optical axis of the light intensity of the reflected light from the cornea based on the detection value.
  • the eyeball detection apparatus concerning a 1st embodiment it is an explanatory view showing an example of a detection picture and a detection value by a detecting part in case an eyeball is in the state of front view.
  • it is explanatory drawing which shows an example of the detection image and detection light quantity at the time of changing the irradiation angle of illumination light in the state of the eyeball being a front view.
  • the detecting unit 430 detects the light intensity of the reflected light L12 from the cornea 203.
  • the detection unit 430 includes a detection element such as a photodiode or an image sensor, for example.
  • the reference optical axis Z1 is a straight line including the center of curvature of the cornea 203 (corneal curvature center C1) and the rotation center of the eyeball 200 (eyeball rotation center C2) when the eyeball 200 is viewed from the front.
  • the detection control unit 450 detects the positional deviation of the center of curvature of the cornea 203 (corneal curvature center C1) with respect to the reference optical axis Z1 as the positional deviation of the corneal position.
  • the detection unit 430 has a plurality of divided detection areas. 3 and 4 show an example having four divided detection areas, the number of divided detection areas may be three or less, or five or more.
  • the detection control unit 450 can calculate the positional deviation of the corneal position based on the deviation of the center of gravity.
  • FIG. 5 shows a preferable example of the detection position by the detection unit 430 in the eyeball detection apparatus 400.
  • FIG. 6 shows an eyeball detection device 400A according to a comparative example with respect to the eyeball detection device 400 shown in FIG.
  • the detection unit 430 is disposed at substantially the same position as the focal position Pf on the detection unit 430 side of the condensing detection optical system 422.
  • the detection control unit 450 uses the detection result of the detection unit 430 based on the detection result. It becomes difficult to determine a change in the center of gravity deviation of the reflected light L12.
  • Image light forming apparatus 100 generates image light L0 and emits the generated image light L0.
  • the image light forming apparatus 100 includes a scanning mirror 101, a drawing light source 102, and a total reflection mirror 103.
  • At least the illumination light source 34 and the third reflective element 13 correspond to the irradiation unit 410 in the eyeball detection device 400 described above.
  • at least the detection element 31 corresponds to the detection unit 430 in the eyeball detection device 400 described above.
  • the configuration of the image display system in the image display device 1C has substantially the same components as the configuration of the image display device 1 according to the first embodiment. That is, the image display device 1C includes, as components of the image display system, the image light forming device 100, the first reflective element 11, the second reflective element 12, the condensing optical system 20, and the half mirror 21. And a collimator lens 104.
  • the value of the amount of light detected by the detection element 31 changes by changing the irradiation angle ⁇ of the illumination light L11.
  • the change in the value of the amount of light changes depending on the rotation angle of the eyeball 200, that is, the cornea position. Therefore, it is possible to calculate the positional deviation of the cornea position with respect to the reference optical axis Z1 based on the change in the detection value by the detection element 31 due to the change in the irradiation angle ⁇ .
  • the detection control unit 450 calculates the positional deviation of the cornea position based on the movement amount of the irradiation position of the illumination light L11 and the movement amount of the detection position.
  • the image display device 1D includes a fourth reflective element 14 and a position control unit 454 as components of the detection system.
  • the reflected light L12 from the cornea 203 is detected after passing through the wavelength cut filter 33 and the imaging lens 32 after being reflected by the third reflecting element 13 in the direction opposite to the optical path of the image light L0. Incident on the element 31.
  • the detection control unit Based on an instruction from the detection control unit, further comprising a light beam position control unit that moves the irradiation position of the illumination light on the cornea with respect to the reference optical axis,
  • the detection control unit instructs the light beam position control unit to move the irradiation position of the illumination light so that the deviation of the center of gravity in the angular direction with respect to the reference optical axis is reduced, and the irradiation of the illumination light
  • the eyeball detection device according to (1), wherein a positional shift of the corneal position is calculated based on a movement amount of the position.
  • the detection control unit Based on an instruction from the detection control unit, further comprising a light beam position control unit that moves the irradiation position of the illumination light on the cornea with respect to the reference optical axis,
  • the detection control unit A relational table of reference values of the center of gravity deviation associated with the amount of movement of the illumination light irradiation position and the positional deviation of the corneal position; With reference to the relationship table, after calculating the positional deviation of the corneal position based on the amount of movement of the irradiation position of the illumination light and the center of gravity bias determined based on the detection value by the detection unit, Calculate the optimal irradiation position for the calculated positional deviation of the cornea position with reference to the relationship table,
  • the eyeball detection device according to (1), wherein an instruction to move the irradiation position of the illumination light is given to the light beam position control unit so as to approach the calculated optimal irradiation position.
  • a light beam angle controller that changes an irradiation angle of the illumination light with respect to the reference optical axis in a state where the illumination light is irradiated to the same irradiation position with respect to the cornea;
  • the detection control unit calculates a displacement of the corneal position with respect to the reference optical axis based on a change in the detection value by the detection unit caused by changing an irradiation angle of the illumination light by the light beam angle control unit.
  • a position control unit that moves an irradiation position of the illumination light on the cornea with respect to the reference optical axis based on an instruction from the detection control unit, and that moves a detection position of light intensity by the detection unit; Prepared, The detection control unit instructs the position control unit to move the irradiation position of the illumination light and the detection position so that the deviation of the center of gravity in the angular direction with respect to the reference optical axis is reduced, and the illumination light
  • the eyeball detection device according to (1), wherein a positional shift of the corneal position is calculated based on a movement amount of the irradiation position and a movement amount of the detection position.

Abstract

本開示の眼球検出装置は、略平行の照明光を眼球の角膜に向けて照射する照射部と、角膜からの反射光の光強度を検出する検出部と、検出部による検出値に基づいて角膜からの反射光の光強度の基準光軸に対する角度方向の重心偏りを判別した後、基準光軸に対する角膜位置の位置ずれを算出する検出制御部とを備える。

Description

眼球検出装置、および画像表示装置
　本開示は、観察者の瞳位置を検出する眼球検出装置、および画像表示装置に関する。
　画像解析によって観察者の瞳位置を検出する眼球検出装置がある（特許文献１～４参照）。一方、光源からの光を走査ユニットで走査することによって画像光を生成し、生成された画像光を観察者の瞳に導く画像表示装置が開発されている。このような画像表示装置は、例えばヘッドマウントディスプレイとして利用されている。このような画像表示装置では、観察者の瞳位置に画像光を適切に導くために、眼球検出装置が用いられる。
特開２０１４－１８８３２２号公報 特開２００６－５８５０５号公報 特開平０９－３２５２６０号公報 特開平０６－５４８０７号公報
　画像解析による瞳位置検出は、多大な画素データの解析が必要であり、演算処理に負荷がかかり、処理速度、コスト、および消費電力の点で不利である。また、検出用の照明光として拡散照明光を用いる点でも消費電力が大きい。
　演算負荷や消費電力の少ない瞳位置検出を行うことが可能な眼球検出装置、および画像表示装置を提供することが望ましい。
　本開示の一実施の形態に係る眼球検出装置は、略平行の照明光を眼球の角膜に向けて照射する照射部と、角膜からの反射光の光強度を検出する検出部と、検出部による検出値に基づいて角膜からの反射光の光強度の基準光軸に対する角度方向の重心偏りを判別した後、基準光軸に対する角膜位置の位置ずれを算出する検出制御部とを備えるものである。
　本開示の一実施の形態に係る画像表示装置は、画像光を出射する画像光形成装置と、画像光を、観察者の角膜に向けて収束させる集光光学系と、眼球検出装置とを含み、眼球検出装置が、略平行の照明光を、その照射位置が画像光の収束位置と略同一位置となるように、眼球の角膜に向けて照射する照射部と、角膜からの反射光の光強度を検出する検出部と、検出部による検出値に基づいて角膜からの反射光の光強度の基準光軸に対する角度方向の重心偏りを判別した後、基準光軸に対する角膜位置の位置ずれを算出する検出制御部とを備えるものである。
　本開示の一実施の形態に係る眼球検出装置、または画像表示装置では、略平行の照明光を眼球の角膜に向けて照射され、角膜からの反射光の光強度が検出される。その検出値に基づいて角膜からの反射光の光強度の基準光軸に対する角度方向の重心偏りが判別され後、基準光軸に対する角膜位置の位置ずれが算出される。
本開示の第１の実施の形態に係る眼球検出装置の一構成例を、眼球が正面視の状態にある場合を例に示した構成図である。 第１の実施の形態に係る眼球検出装置の一構成例を、眼球が正面視の状態から変化した場合を例に示した構成図である。 第１の実施の形態に係る眼球検出装置において、眼球が正面視の状態にある場合の検出部による検出画像および検出値の一例を示す説明図である。 第１の実施の形態に係る眼球検出装置において、眼球が正面視の状態から変化した場合の検出部による検出画像および検出値の一例を示す説明図である。 第１の実施の形態に係る眼球検出装置における検出部による検出位置の好ましい例を示す構成図である。 図５に示した眼球検出装置に対する比較例を示す構成図である。 第１の実施の形態に係る画像表示装置の一構成例を、画像光の光路と共に示す構成図である。 第１の実施の形態に係る画像表示装置の一構成例を、眼球が正面視の状態にある場合の瞳位置検出時の光路と共に示す構成図である。 第１の実施の形態に係る画像表示装置の一構成例を、眼球が正面視の状態から変化した場合の瞳位置検出時の光路と共に示す構成図である。 第２の実施の形態に係る眼球検出装置の一構成例を、眼球が正面視の状態から変化した場合を例に示した構成図である。 第２の実施の形態に係る画像表示装置の一構成例を、眼球が正面視の状態から変化した場合の瞳位置検出時の光路と共に示す構成図である。 第３の実施の形態に係る眼球検出装置の一構成例を、眼球が正面視の状態から変化した場合を例に示した構成図である。 第３の実施の形態に係る画像表示装置の一構成例を、眼球が正面視の状態から変化した場合の瞳位置検出時の光路と共に示す構成図である。 第３の実施の形態に係る画像表示装置の一構成例を、眼球が正面視の状態から変化した場合において、照明光の照射位置と検出位置とを移動させた場合の瞳位置検出時の光路と共に示す構成図である。 第４の実施の形態に係る眼球検出装置において用いられる関係テーブルの一例を示す説明図である。 第４の実施の形態に係る眼球検出装置の瞳位置検出の動作の一例を示す流れ図である。 第４の実施の形態に係る眼球検出装置の瞳位置検出の動作の一例を、関係テーブルを用いて示した説明図である。 第５の実施の形態に係る眼球検出装置の一構成例を、眼球が正面視の状態から変化した場合において、照明光の照射角度を０°にした場合を例に示した構成図である。 第５の実施の形態に係る眼球検出装置の一構成例を、眼球が正面視の状態から変化した場合において、照明光の照射角度を＋方向に移動させた場合を例に示した構成図である。 第５の実施の形態に係る眼球検出装置の一構成例を、眼球が正面視の状態から変化した場合において、照明光の照射角度を－方向に移動させた場合を例に示した構成図である。 第５の実施の形態に係る画像表示装置の一構成例を、画像光の光路と共に示す構成図である。 第５の実施の形態に係る画像表示装置の一構成例を、眼球が正面視の状態にある場合の瞳位置検出時の光路と共に示す構成図である。 第５の実施の形態に係る画像表示装置において、眼球が正面視の状態で、照明光の照射角度を変化させた場合の検出画像および検出光量の一例を示す説明図である。 第５の実施の形態に係る画像表示装置において、眼球が正面視から変化した状態で、照明光の照射角度を変化させた場合の検出画像および検出光量の一例を示す説明図である。 第６の実施の形態に係る眼球検出装置の一構成例を、眼球が正面視の状態から変化した場合を例に示した構成図である。 第６の実施の形態に係る画像表示装置の一構成例を、画像光の光路と共に示す構成図である。 第６の実施の形態に係る画像表示装置の一構成例を、眼球が正面視の状態にある場合の瞳位置検出時の光路と共に示す構成図である。 第６の実施の形態に係る画像表示装置の一構成例を、眼球が正面視の状態から変化した場合の瞳位置検出時の光路と共に示す構成図である。 第６の実施の形態に係る画像表示装置の一構成例を、眼球が正面視の状態から変化した場合において、照明光の照射位置と検出位置とを移動させた場合の瞳位置検出時の光路と共に示す構成図である。
　以下、本開示の実施の形態について図面を参照して詳細に説明する。なお、説明は以下の順序で行う。
　１．第１の実施の形態
　　１．１　第１の実施の形態に係る眼球検出装置の構成および動作（図１～図６）
　　１．２　第１の実施の形態に係る画像表示装置の構成および動作（図７～図９）
　　１．３　効果
　２．第２の実施の形態（図１０～図１１）
　３．第３の実施の形態（図１２～図１４）
　４．第４の実施の形態（図１５～図１７）
　５．第５の実施の形態（図１８～図２４）
　６．第６の実施の形態（図２５～図２９）
　７．その他の実施の形態
＜１．第１の実施の形態＞
［１．１　第１の実施の形態に係る眼球検出装置の構成および動作］
（眼球検出装置の概要）
　図１および図２は、本開示の第１の実施の形態に係る眼球検出装置４００の一構成例を示している。図１には、眼球検出装置４００の一構成例を、眼球２００が正面視の状態にある場合を例に示す。図２には、眼球検出装置４００の一構成例を、眼球２００が正面視の状態から変化した場合を例に示す。
　眼球検出装置４００は、照射部４１０と、検出光学系４２０と、検出部４３０と、ハーフミラー４４０と、検出制御部４５０とを備えている。
　照射部４１０は、略平行の照明光Ｌ１１を観察者の眼球２００の角膜２０３に向けて照射する。照明光Ｌ１１は、例えば赤外光である。照射部４１０は、例えば赤外光を発するＩＲ（赤外）レーザダイオード等の照明光源を含んでいる。
　検出部４３０は、角膜２０３からの反射光Ｌ１２の光強度を検出する。検出部４３０は、例えば、フォトダイオードまたはイメージセンサ等の検出素子を含んでいる。
　ハーフミラー４４０は、照射部４１０からの照明光Ｌ１１を眼球２００の角膜２０３に向けて反射するように配置されている。また、ハーフミラー４４０は、角膜２０３からの反射光Ｌ１２を検出光学系４２０に向けて透過するように配置されている。
　検出光学系４２０は、ハーフミラー４４０と検出部４３０との間の光路上に配置されている。検出光学系４２０は、集光レンズ４２１と、集光検出光学系４２２とを有している。集光検出光学系４２２は、角膜２０３からの反射光Ｌ１２を検出部４３０に向けて集光する。
　検出制御部４５０は、検出部４３０による検出値（検出画像４６０）に基づいて角膜２０３からの反射光Ｌ１２の光強度の基準光軸Ｚ１に対する角度方向の重心偏りを判別した後、基準光軸Ｚ１に対する角膜位置の位置ずれを算出する。
　ここで、基準光軸Ｚ１は、眼球２００が正面視の状態における角膜２０３の曲率中心（角膜曲率中心Ｃ１）と眼球２００の回転中心（眼球回転中心Ｃ２）とを含む直線である。検出制御部４５０は、角膜位置の位置ずれとして、基準光軸Ｚ１に対する角膜２０３の曲率中心（角膜曲率中心Ｃ１）の位置ずれを検出する。
（検出値の例）
　図３および図４は、検出部４３０による検出画像４６０および検出値の一例を示している。図３には、眼球検出装置４００において、眼球２００が正面視の状態にある場合（図１参照）の検出画像４６０および検出値の一例を示す。図４には、眼球検出装置４００において、眼球２００が正面視の状態から変化した場合（図２参照）の検出画像４６０および検出値の一例を示す。
　検出部４３０は、複数の分割検出領域を有している。図３および図４には、４つの分割検出領域を有する例を示しているが、分割検出領域の数は３以下、または５以上であってもよい。
　検出制御部４５０は、複数の分割検出領域のそれぞれにおける受光強度の検出値に基づいて、角膜２０３からの反射光Ｌ１２の光強度の基準光軸Ｚ１に対する角度方向の重心偏りを判別する。
　図３および図４に示したように、眼球２００の変化（瞳位置の変化）に応じて、基準光軸Ｚ１に対する角度方向の重心偏りが変化する。従って、検出制御部４５０では、重心偏りに基づいて、角膜位置の位置ずれを算出することが可能となる。
　このように、眼球検出装置４００では、検出画像４６０の詳細な画像解析を行うのではなく、反射光Ｌ１２の光強度の大まかな分布（角度方向の重心偏り）を検出することによって、角膜位置の位置ずれを算出する。
（検出位置の例）
　図５は、眼球検出装置４００における検出部４３０による検出位置の好ましい例を示している。図６は、図５に示した眼球検出装置４００に対する比較例に係る眼球検出装置４００Ａを示している。
　図６に示した比較例に係る眼球検出装置４００Ａでは、検出部４３０が、集光検出光学系４２２の検出部４３０側の焦点位置Ｐｆと略同一位置に配置されている。図６に示した比較例に係る眼球検出装置４００Ａのように、焦点位置Ｐｆと略同一位置に検出部４３０が配置されている場合、検出制御部４５０において、検出部４３０による検出結果に基づいて反射光Ｌ１２の重心偏りの変化を判別することが困難となる。
　従って、図６に示した配置よりも、図５に示したように、集光検出光学系４２２の検出部４３０側の焦点位置Ｐｆから外れた位置に、検出部４３０が配置されていることが好ましい。なお、図５では、焦点位置Ｐｆに対して、集光検出光学系４２２から遠い方向に外れた位置に検出部４３０が配置されている例を示しているが、焦点位置Ｐｆに対して、集光検出光学系４２２に近い方向に外れた位置に検出部４３０が配置されていてもよい。これにより、検出制御部４５０において、検出部４３０による検出結果に基づいて反射光Ｌ１２の重心偏りの変化を判別することが容易となる。
［１．２　第１の実施の形態に係る画像表示装置の構成および動作］
　図７～図９は、第１の実施の形態に係る画像表示装置１の一構成例を示している。図７には、画像表示装置１の一構成例を、画像光Ｌ０の光路と共に示す。図８には、画像表示装置１の一構成例を、眼球２００が正面視の状態にある場合の瞳位置検出時の光路と共に示す。図９には、画像表示装置１の一構成例を、眼球２００が正面視の状態から変化した場合の瞳位置検出時の光路と共に示す。
（画像表示装置の概要）
　第１の実施の形態に係る画像表示装置１は、画像光Ｌ０を生成する画像光形成装置１００と、画像光Ｌ０を観察者の角膜２０３に向けて収束させる集光光学系２０とを備えている。画像表示装置１は、画像光形成装置１００によって生成された画像光Ｌ０を観察者の瞳孔位置に導く装置であり、例えばヘッドマウントディスプレイとして利用可能である。
　画像表示装置１は、画像光形成装置１００を備えた画像表示系（図７参照）と、観察者の瞳位置を検出する検出系（図８、図９参照）とを含んでいる。検出系は、上述の眼球検出装置４００に相当する構成を有している。検出系では、略平行の照明光Ｌ１１を、その照射位置が画像光Ｌ０の収束位置と略同一位置となるように、眼球２００の角膜２０３に向けて照射し、その角膜２０３からの反射光Ｌ１２を検出するようになっている。画像表示装置１では、照明光Ｌ１１の照射位置と画像光Ｌ０の収束位置とを略同一位置にすることにより、正確に画像光Ｌ０を特定の瞳孔位置に収束させることが可能となっている。
（画像表示系の概要）
　画像表示装置１は、画像表示系の構成要素として、画像光形成装置１００と、第１の反射素子１１と、第２の反射素子１２と、集光光学系２０と、ハーフミラー２１と、コリメータレンズ１０４と、光線位置制御部４５１とを備えている。
　画像光形成装置１００は、画像光Ｌ０を生成し、生成した画像光Ｌ０を出射する。画像光形成装置１００は、走査ミラー１０１と、描画光源１０２と、全反射ミラー１０３とを含んでいる。
　描画光源１０２は、例えばレーザダイオードからなるレーザ光源である。描画光源１０２は、Ｒ（赤色），Ｇ（緑色），Ｂ（青色）の各色光を発する複数のレーザダイオードを含んでいてもよい。描画光源１０２は、画像データに基づいて強度変調されたレーザ光を走査ミラー１０１に向けて出力する。描画光源１０２と走査ミラー１０１との間には、描画光源１０２からのレーザ光を走査ミラー１０１に導く光学系が配置されていてもよい。
　走査ミラー１０１は、例えばＭＥＭＳ（Micro Electro Mechanical Systems）ミラーで構成されている。走査ミラー１０１は、描画光源１０２からのレーザ光を画像データに基づいて２次元的に走査することで、２次元的な画像光Ｌ０を生成する。走査ミラー１０１の走査方向および走査タイミングは、画像データに基づいて制御される。
　なお、画像光形成装置１００は、このような描画光源１０２と走査ミラー１０１とを用いたレーザ走査型の装置に限らず、表示パネルとピンホールとを用いた装置であってもよい。例えば、液晶ディスプレイ（ＬＣＤ：Liquid Crystal Display）、または有機ＥＬディスプレイ（ＯＥＬＤ：Organic Electro-Luminescence Display）等の表示パネルからの画像光を集光レンズによってピンホールに集光してコリメータレンズ１０４に向けて出射するような装置であってもよい。
　コリメータレンズ１０４は、画像光形成装置１００からの各画素のビームの進行方向を平行化し、画像光Ｌ０として第１の反射素子１１に入射させる。
　第１の反射素子１１は、画像光Ｌ０に対して透過作用と反射作用とを有するハーフミラーである。画像光形成装置１００からの画像光Ｌ０は、第１の反射素子１１を介して第２の反射素子１２に入射する。
　第２の反射素子１２は、画像光Ｌ０に対して反射作用を有する全反射ミラーである。第２の反射素子１２は、第１の反射素子１１を介して入射した画像光Ｌ０を第１の反射素子１１に向けて反射し、画像光Ｌ０を第１の反射素子１１に再入射させる。
　第２の反射素子１２は、画像光形成装置１００からの画像光Ｌ０が第１の反射素子１１を透過した後の第１の透過光路上に配置されている。第１の反射素子１１は、第２の反射素子１２によって反射され、再入射した画像光Ｌ０を集光光学系２０に向けて反射するように配置されている。
　集光光学系２０は、第１の反射素子１１に再入射した後の画像光Ｌ０を、ハーフミラー２１を介して、観察者の瞳孔位置に向けて収束させる光学系である。集光光学系２０は、例えば集光レンズ等の少なくとも１つの集光素子によって構成されている。
　ハーフミラー２１は、集光光学系２０と観察者の瞳孔位置との間の光路上に配置されている。ハーフミラー２１は、観察者の眼球２００に対向するように配置されている。観察者は、ハーフミラー２１を介して画像光Ｌ０を観察することになる。これにより、画像表示装置１を例えばヘッドマウントディスプレイとして構成した場合、シースルーで外界を観察可能にしつつ、画像光形成装置１００によって形成された画像光Ｌ０を観察することが可能となる。
　検出系は、後述するように、検出素子３１と検出制御部４５０とを備えている。検出制御部４５０は、検出素子３１の検出結果に基づいて観察者の角膜位置の位置ずれを検出する。
　光線位置制御部４５１は、検出系の検出制御部４５０によって検出された角膜位置の位置ずれに基づいて、画像光Ｌ０の収束位置を適切な位置に移動させる。結果的に、照明光Ｌ１１の照射位置も適切な位置に移動させることができる。光線位置制御部４５１は、検出された角膜位置の位置ずれに基づいて、例えば、第２の反射素子１２の配置角度を制御する。これにより、観察者の瞳孔位置の移動に関わらず、画像光Ｌ０を観察者の瞳孔２０１に導くことが可能となる。
（検出系の概要）
　画像表示装置１は、検出系の構成要素として、第３の反射素子１３と、検出素子３１と、撮像レンズ３２と、波長カットフィルタ３３と、照明光源３４と、検出制御部４５０とを備えている。
　画像表示装置１において、少なくとも、照明光源３４と第３の反射素子１３とが、上述の眼球検出装置４００における照射部４１０に相当する。また、画像表示装置１において、少なくとも、検出素子３１が、上述の眼球検出装置４００における検出部４３０に相当する。
　照明光源３４は、観察者の瞳孔位置を検出するための照明光Ｌ１１を出射する。照明光Ｌ１１は、例えば赤外光である。照明光源３４は、例えば赤外光を発するＩＲ（赤外）レーザダイオードである。
　第３の反射素子１３は、ハーフミラーであり、照明光源３４から出射された照明光Ｌ１１を反射して、第１の反射素子１１に入射させる。また、第３の反射素子１３は画像光Ｌ０を透過させる。第１の反射素子１１に入射した後の照明光Ｌ１１は、画像光Ｌ０と略同一の光路上を進行し、観察者の瞳孔位置（眼球２００）に照射される。照明光Ｌ１１の照射位置は、画像光Ｌ０の収束位置と同様に、例えば第２の反射素子１２の配置角度を制御することによって観察者の瞳孔位置の変化に追従して調整される。
　照明光Ｌ１１は、眼球２００の角膜２０３において反射される。これにより、角膜２０３からの反射光Ｌ１２が生成される。
　検出素子３１は、観察者の眼球２００によって反射され、集光光学系２０を逆行し、第１の反射素子１１を透過した後の反射光Ｌ１２の第２の透過光路上に配置され、反射光Ｌ１２を検出する。第１の反射素子１１と検出素子３１との間における第２の透過光路上には、波長カットフィルタ３３と撮像レンズ３２とが配置されている。
　波長カットフィルタ３３は、照明光Ｌ１１の波長帯域以外の光をカットするフィルタであり、例えば可視光カットフィルタである。
　検出系において、検出制御部４５０は、上述の眼球検出装置４００と同様の原理により、角膜位置の位置ずれを算出する。
［１．３　効果］
　以上説明したように、第１の実施の形態に係る眼球検出装置、および画像表示装置によれば、角膜２０３からの反射光Ｌ１２の光強度の検出値に基づいて角膜２０３からの反射光Ｌ１２の光強度の基準光軸Ｚ１に対する角度方向の重心偏りを判別した後、基準光軸Ｚ１に対する角膜位置の位置ずれを算出するようにしたので、演算負荷や消費電力の少ない瞳位置検出を行うことが可能となる。
　第１の実施の形態に係る眼球検出装置、および画像表示装置によれば、検出部４３０の分割検出領域の数が少なく、画像解析を行うことなく単純な演算処理で瞳位置を検出可能となるため、画像解析によるレイテンシーおよび消費電力が改善される。また、指向性の強い反射光Ｌ１２を検出する方式であるため、照射光量に対する検出光量のロスが少なく、例えば拡散反射光を検出する方式に比べ照明光源の消費電力が低減される。第１の実施の形態に係る眼球検出装置、および画像表示装置によれば、最小限の光量（小径ビーム）で角膜２０３を照明し、最小限の検出値のみで瞳位置を検出することが可能となる。
　なお、本明細書に記載された効果はあくまでも例示であって限定されるものではなく、また他の効果があってもよい。以降の他の実施の形態の効果についても同様である。
＜２．第２の実施の形態＞
　次に、本開示の第２の実施の形態に係る眼球検出装置、および画像表示装置について説明する。なお、以下では、上記第１の実施の形態に係る眼球検出装置、および画像表示装置の構成要素と略同じ部分については、同一符号を付し、適宜説明を省略する。
（眼球検出装置の構成および動作）
　図１０は、第２の実施の形態に係る眼球検出装置４００Ｂの一構成例を示している。図１０には、眼球検出装置４００Ｂの一構成例を、眼球２００が正面視の状態から変化した場合を例に示す。
　眼球検出装置４００Ｂは、上記第１の実施の形態に係る眼球検出装置４００の構成に対して、光線位置制御部４５１をさらに備えている。光線位置制御部４５１は、検出制御部４５０からの指示に基づいて、角膜２０３に対する照明光Ｌ１１の照射位置を基準光軸Ｚ１に対して移動させる。
　眼球検出装置４００Ｂでは、検出制御部４５０は、検出部４３０による検出値に基づいて、角膜２０３からの反射光Ｌ１２の光強度の基準光軸Ｚ１に対する角度方向の重心偏りが少なくなるように、照明光Ｌ１１の照射位置を移動させる指示を光線位置制御部４５１に対して行う。また、検出制御部４５０は、照明光Ｌ１１の照射位置の移動量に基づいて、角膜位置の位置ずれを算出する。
（画像表示装置の構成および動作）
　図１１は、第２の実施の形態に係る画像表示装置１Ａの一構成例を示している。図１１には、画像表示装置１Ａの一構成例を、眼球２００が正面視の状態から変化した場合の瞳位置検出時の光路と共に示す。
　画像表示装置１Ａは、上記第１の実施の形態に係る画像表示装置１の構成と略同様に、画像光形成装置１００を備えた画像表示系と、観察者の瞳位置を検出する検出系（図１１参照）とを含んでいる。検出系は、上述の眼球検出装置４００Ｂに相当する構成を有している。
　画像表示装置１Ａでは、検出制御部４５０が、検出系の動作として、検出素子３１による検出値に基づいて、角膜２０３からの反射光Ｌ１２の光強度の基準光軸Ｚ１に対する角度方向の重心偏りが少なくなるように、照明光Ｌ１１の照射位置を移動させる指示を光線位置制御部４５１に対して行う。光線位置制御部４５１は、検出制御部４５０からの指示に基づいて、例えば第２の反射素子１２の配置角度を制御することによって、角膜２０３に対する照明光Ｌ１１の照射位置を基準光軸Ｚ１に対して移動させる。結果的に、照明光Ｌ１１の照射位置と画像光Ｌ０の収束位置とを適切な位置に移動させることができる。
　その他の構成、動作および効果は、上記第１の実施の形態に係る眼球検出装置、および画像表示装置と略同様であってもよい。
＜３．第３の実施の形態＞
　次に、本開示の第３の実施の形態に係る眼球検出装置、および画像表示装置について説明する。なお、以下では、上記第１または第２の実施の形態に係る眼球検出装置、および画像表示装置の構成要素と略同じ部分については、同一符号を付し、適宜説明を省略する。
（眼球検出装置の構成および動作）
　図１２は、第３の実施の形態に係る眼球検出装置４００Ｃの一構成例を示している。図１２には、眼球検出装置４００Ｃの一構成例を、眼球２００が正面視の状態から変化した場合を例に示す。
　眼球検出装置４００Ｃは、上記第１の実施の形態に係る眼球検出装置４００の構成に対して、光線位置制御部４５１と、検出位置制御部４５２とをさらに備えている。
　光線位置制御部４５１は、検出制御部４５０からの指示に基づいて、角膜２０３に対する照明光Ｌ１１の照射位置を基準光軸Ｚ１に対して移動させる。
　検出位置制御部４５２は、検出制御部４５０からの指示に基づいて、検出部４３０による光強度の検出位置を移動させる。
　眼球検出装置４００Ｃでは、検出制御部４５０は、検出部４３０による検出値に基づいて、角膜２０３からの反射光Ｌ１２の光強度の基準光軸Ｚ１に対する角度方向の重心偏りが少なくなるように、照明光Ｌ１１の照射位置を移動させる指示を光線位置制御部４５１に対して行う。
　また、検出制御部４５０は、照明光Ｌ１１の照射位置の移動量に基づいて、検出位置を移動させる指示を検出位置制御部４５２に対して行う。また、検出制御部４５０は、照明光Ｌ１１の照射位置の移動量と検出位置の移動量とに基づいて、角膜位置の位置ずれを算出する。
　眼球検出装置４００Ｃでは、瞳位置の変化に応じて照明光Ｌ１１の照射位置を移動させることによって、基準光軸Ｚ１上に反射光Ｌ１２を戻す。また、眼球検出装置４００Ｃでは、瞳位置の変化に応じて反射光Ｌ１２を検出部４３０の略中央位置で検出できるように、検出位置が補正される。これにより、より正確に、角膜２０３からの反射光Ｌ１２の光強度を検出することが可能となる。
（画像表示装置の構成および動作）
　図１３および図１４は、第３の実施の形態に係る画像表示装置１Ｂの一構成例を示している。図１３には、画像表示装置１Ｂの一構成例を、眼球２００が正面視の状態から変化した場合の瞳位置検出時の光路と共に示す。図１４には、画像表示装置１Ｂの一構成例を、眼球２００が正面視の状態から変化した場合において、照明光Ｌ１２の照射位置と検出位置とを移動させた場合の瞳位置検出時の光路と共に示す。
　画像表示装置１Ｂは、上記第１の実施の形態に係る画像表示装置１の構成と略同様に、画像光形成装置１００を備えた画像表示系と、観察者の瞳位置を検出する検出系（図１３、図１４参照）とを含んでいる。検出系は、上述の眼球検出装置４００Ｃに相当する構成を有している。
　画像表示装置１Ｂでは、検出制御部４５０が、検出系の動作として、検出素子３１による検出値に基づいて、角膜２０３からの反射光Ｌ１２の光強度の基準光軸Ｚ１に対する角度方向の重心偏りが少なくなるように、照明光Ｌ１１の照射位置を移動させる指示を光線位置制御部４５１に対して行う。光線位置制御部４５１は、検出制御部４５０からの指示に基づいて、例えば第２の反射素子１２の配置角度を制御することによって、角膜２０３に対する照明光Ｌ１１の照射位置を基準光軸Ｚ１に対して移動させる。結果的に、照明光Ｌ１１の照射位置と画像光Ｌ０の収束位置とを適切な位置に移動させることができる。
　また、画像表示装置１Ｂでは、検出制御部４５０が、検出系の動作として、照明光Ｌ１１の照射位置の移動量に基づいて、検出位置を移動させる指示を検出位置制御部４５２に対して行う。検出位置制御部４５２は、検出制御部４５０からの指示に基づいて、例えば検出素子３１と撮像レンズ３２との配置位置を制御することによって、検出素子３１による光強度の検出位置を移動させる。結果的に、瞳位置の変化に応じて反射光Ｌ１２を検出素子３１の略中央位置で検出できるように、検出位置が補正される。
　その他の構成、動作および効果は、上記第１の実施の形態に係る眼球検出装置、および画像表示装置と略同様であってもよい。
＜４．第４の実施の形態＞
　次に、本開示の第４の実施の形態に係る眼球検出装置、および画像表示装置について説明する。なお、以下では、上記第１ないし第３のいずれかの実施の形態に係る眼球検出装置、および画像表示装置の構成要素と略同じ部分については、同一符号を付し、適宜説明を省略する。
　第４の実施の形態に係る眼球検出装置は、上記第２の実施の形態に係る眼球検出装置４００Ｂと同様に、光線位置制御部４５１をさらに備えている。光線位置制御部４５１は、検出制御部４５０からの指示に基づいて、角膜２０３に対する照明光Ｌ１１の照射位置を基準光軸Ｚ１に対して移動させる。
　第４の実施の形態に係る眼球検出装置は、上記第２の実施の形態に係る眼球検出装置４００Ｂの構成に対して、検出制御部４５０による角膜位置の位置ずれの算出方法が異なっている。
　第４の実施の形態に係る眼球検出装置では、検出制御部４５０は、照明光Ｌ１１の照射位置の移動量と角膜位置の位置ずれとに対応付けられた重心偏りの基準値の関係テーブルを有し、その関係テーブルを参照して、照明光Ｌ１１の照射位置の移動量と検出部４３０による検出値に基づいて判別された重心偏りとに基づいて、角膜位置の位置ずれを算出する。
　図１５は、第４の実施の形態に係る眼球検出装置において用いられる関係テーブルの一例を示している。図１６には、第４の実施の形態に係る眼球検出装置の瞳位置検出の動作の一例を示す。図１７は、第４の実施の形態に係る眼球検出装置の瞳位置検出の動作の一例を、関係テーブルを用いて示す。
　以下、第４の実施の形態に係る眼球検出装置による瞳位置検出時の動作を図１６および図１７に示した動作の流れに従って説明する。
　まず、検出制御部４５０は、光線位置制御部４５１による照明光Ｌ１１の照射位置の移動量に基づいて、角膜２０３に対する現在の照明光Ｌ１１の照射位置を判別する（ステップＳ１）。図１７の例では、ステップＳ１において判別された照射位置は、基準光軸Ｚ１に対して０（ｍｍ）となっている。
　次に、検出制御部４５０は、検出部４３０による検出値に基づいて重心偏りを判別する（ステップＳ２）。次に、検出制御部４５０は、関係テーブルを参照して、角膜位置の位置ずれを算出する（ステップＳ３）。図１７の例では、例えば、検出部４３０による検出値が関係テーブルの最上段の左から２番目の重心偏りの基準値に相当していると判別され、角膜位置の位置ずれが０．８（ｍｍ）（眼球回転角度が５°）に相当する重心偏りがあると判別されている。
　次に、検出制御部４５０は、算出された角膜位置の位置ずれに最適な照射位置を関係テーブルを参照して算出し、算出された最適な照射位置に近付くように、照明光Ｌ１１の照射位置を移動させる指示を光線位置制御部４５１に対して行う（ステップＳ４）。図１７の例では、例えば、最適な照射位置は右０．５（ｍｍ）の位置であると判別されている。
　その他の構成、動作および効果は、上記第１または第２の実施の形態に係る眼球検出装置、および画像表示装置と略同様であってもよい。
＜５．第５の実施の形態＞
　次に、本開示の第５の実施の形態に係る眼球検出装置、および画像表示装置について説明する。なお、以下では、上記第１ないし第４のいずれかの実施の形態に係る眼球検出装置、および画像表示装置の構成要素と略同じ部分については、同一符号を付し、適宜説明を省略する。
（眼球検出装置の構成および動作）
　図１８～図２０は、第５の実施の形態に係る眼球検出装置４００Ｄの一構成例を示している。なお、図１８には、眼球２００が正面視の状態から変化した場合において、照明光Ｌ１１の照射角度θを０°にした場合（θ（０°））の構成例を示す。図１９には、眼球２００が正面視の状態から変化した場合において、照明光Ｌ１１の照射角度θを＋方向に移動させた場合（θ（＋））の構成例を示す。図２０には、眼球２００が正面視の状態から変化した場合において、照明光Ｌ１１の照射角度θを－方向に移動させた場合（θ（－））の構成例を示す。
　眼球検出装置４００Ｄは、上記第１の実施の形態に係る眼球検出装置４００の構成に対して、光線角度制御部４５３をさらに備えている。光線角度制御部４５３は、検出制御部４５０からの指示に基づいて、照明光Ｌ１１を角膜２０３に対して同一の照射位置に照射した状態で基準光軸Ｚ１に対する照明光Ｌ１１の照射角度θを変化させる。
　検出制御部４５０は、光線角度制御部４５３によって照明光Ｌ１１の照射角度θを変化させたことによる検出部４３０による検出値の変化に基づいて、基準光軸Ｚ１に対する角膜位置の位置ずれを算出する。
　図１８～図２０には、検出部４３０における検出画像４６０の例と共に、検出値として検出された検出光量の値を示している。図１８～図２０に示したように、照射角度θを変化させることにより、検出部４３０によって検出される光量の値は変化する。この光量の値の変化は、眼球２００の回転角度、すなわち角膜位置によって変化する。従って、照射角度θを変化させたことによる検出部４３０による検出値の変化に基づいて、基準光軸Ｚ１に対する角膜位置の位置ずれを算出することが可能となる。
　なお、第５の実施の形態に係る眼球検出装置４００Ｄでは、検出部４３０による検出値として光量を検出するので、検出部４３０の検出領域は分割されていなくてもよい。
（画像表示装置の構成および動作）
　図２１および図２２は、第５の実施の形態に係る画像表示装置１Ｃの一構成例を示している。図２１には、画像表示装置１Ｃの一構成例を、画像光Ｌ０の光路と共に示す。図２２には、画像表示装置１Ｃの一構成例を、眼球２００が正面視の状態にある場合の瞳位置検出時の光路と共に示す。
　画像表示装置１Ｃは、上記第１の実施の形態に係る画像表示装置１の構成と略同様に、画像光形成装置１００を備えた画像表示系（図２１参照）と、観察者の瞳位置を検出する検出系（図２２参照）とを含んでいる。
　画像表示装置１Ｃにおいて検出系は、上述の眼球検出装置４００Ｄに相当する構成を有している。
　画像表示装置１Ｃにおける画像表示系の構成は、上記第１の実施の形態に係る画像表示装置１の構成と略同様の構成要素を有している。すなわち、画像表示装置１Ｃは、画像表示系の構成要素として、画像光形成装置１００と、第１の反射素子１１と、第２の反射素子１２と、集光光学系２０と、ハーフミラー２１と、コリメータレンズ１０４とを備えている。
　画像表示装置１Ｃにおいて検出系は、上記第１の実施の形態に係る画像表示装置１と略同様に、検出系の構成要素として、検出素子３１と、撮像レンズ３２と、波長カットフィルタ３３と、照明光源３４と、検出制御部４５０とを備えている。
　さらに、画像表示装置１Ｃは、検出系の構成要素として、第４の反射素子１４と、アパーチャ３５と、光線角度制御部４５３とを備えている。アパーチャ３５は、検出素子３１に入射する反射光Ｌ１２のうち重心がずれた不要な光をカットするために設けられている。
　画像表示装置１Ｃにおいて検出系は、上記第１の実施の形態に係る画像表示装置１の検出系の構成に対して、第３の反射素子１３に代えて第４の反射素子１４が設けられている。また、画像表示装置１Ｃにおいて検出系は、上記第１の実施の形態に係る画像表示装置１の検出系の構成に対して、照明光源３４の配置位置が異なっている。画像表示装置１Ｃでは、第４の反射素子１４が、画像光形成装置１００内の描画光源１０２と全反射ミラー１０３との間の光路上に配置されている。第４の反射素子１４は、ハーフミラーであり、照明光源３４から出射された照明光Ｌ１１を反射して、全反射ミラー１０３に入射させる。以降の照明光Ｌ１１の眼球２００に至るまでの光路は、画像表示系の光路と同様である。また、第４の反射素子１４は描画光源１０２からの光を透過させる。
　光線角度制御部４５３は、検出制御部４５０からの指示に基づいて、例えば走査ミラー１０１の角度を制御することによって、角膜２０３に対する照明光Ｌ１１の照射角度θを変化させる。
　図２３および図２４は、画像表示装置１Ｃにおける瞳位置検出時の検出画像および検出光量の一例を示す。図２３には、画像表示装置１Ｃにおいて、眼球２００が正面視の状態で、照明光Ｌ１１の照射角度θを変化させた場合の検出画像および検出光量の一例を示す。図２４には、画像表示装置１Ｃにおいて、眼球２００が正面視から変化した状態で、照明光Ｌ１１の照射角度θを変化させた場合の検出画像および検出光量の一例を示す。
　図２３および図２４に示したように、画像表示装置１Ｃでは、照明光Ｌ１１の照射角度θを変化させることにより、検出素子３１によって検出される光量の値は変化する。この光量の値の変化は、眼球２００の回転角度、すなわち角膜位置によって変化する。従って、照射角度θを変化させたことによる検出素子３１による検出値の変化に基づいて、基準光軸Ｚ１に対する角膜位置の位置ずれを算出することが可能となる。
　その他の構成、動作および効果は、上記第１の実施の形態に係る眼球検出装置、および画像表示装置と略同様であってもよい。
＜６．第６の実施の形態＞
　次に、本開示の第６の実施の形態に係る眼球検出装置、および画像表示装置について説明する。なお、以下では、上記第１ないし第５のいずれかの実施の形態に係る眼球検出装置、および画像表示装置の構成要素と略同じ部分については、同一符号を付し、適宜説明を省略する。
（眼球検出装置の構成および動作）
　図２５は、第６の実施の形態に係る眼球検出装置４００Ｅの一構成例を示している。図２５には、眼球検出装置４００Ｅの一構成例を、眼球２００が正面視の状態から変化した場合を例に示す。
　眼球検出装置４００Ｅは、上記第１の実施の形態に係る眼球検出装置４００の構成に対して、位置制御部４５４をさらに備えている。
　位置制御部４５４は、検出制御部４５０からの指示に基づいて、角膜２０３に対する照明光Ｌ１１の照射位置を基準光軸Ｚ１に対して移動させると共に、検出部４３０による光強度の検出位置を移動させる。
　眼球検出装置４００Ｅでは、検出制御部４５０は、基準光軸Ｚ１に対する角度方向の重心偏りが少なくなるように、照明光Ｌ１１の照射位置および検出位置を移動させる指示を位置制御部４５４に対して行う。
　また、検出制御部４５０は、照明光Ｌ１１の照射位置の移動量と検出位置の移動量とに基づいて、角膜位置の位置ずれを算出する
（画像表示装置の構成および動作）
　図２６～図２９は、第６の実施の形態に係る画像表示装置１Ｄの一構成例を示している。図２６には、画像表示装置１Ｄの一構成例を、画像光Ｌ０の光路と共に示す。図２７には、画像表示装置１Ｄの一構成例を、眼球２００が正面視の状態にある場合の瞳位置検出時の光路と共に示す。図２８には、画像表示装置１Ｄの一構成例を、眼球２００が正面視の状態から変化した場合の瞳位置検出時の光路と共に示す。図２９には、画像表示装置１Ｄの一構成例を、眼球２００が正面視の状態から変化した場合において、照明光Ｌ１１の照射位置と検出位置とを移動させた場合の瞳位置検出時の光路と共に示す。
　画像表示装置１Ｄは、上記第１の実施の形態に係る画像表示装置１の構成と略同様に、画像光形成装置１００を備えた画像表示系（図２６参照）と、観察者の瞳位置を検出する検出系（図２７～図２９参照）とを含んでいる。
　画像表示装置１Ｄにおいて検出系は、上述の眼球検出装置４００Ｅに相当する構成を有している。
　画像表示装置１Ｄにおける画像表示系の構成は、上記第１の実施の形態に係る画像表示装置１の構成と略同様の構成要素を有している。すなわち、画像表示装置１Ｄは、画像表示系の構成要素として、画像光形成装置１００と、第１の反射素子１１と、第２の反射素子１２と、集光光学系２０と、ハーフミラー２１と、コリメータレンズ１０４とを備えている。
　画像表示装置１Ｄにおいて検出系は、上記第１の実施の形態に係る画像表示装置１と略同様に、検出系の構成要素として、第３の反射素子１３と、検出素子３１と、撮像レンズ３２と、波長カットフィルタ３３と、照明光源３４と、検出制御部４５０とを備えている。
　さらに、画像表示装置１Ｄは、検出系の構成要素として、第４の反射素子１４と、位置制御部４５４とを備えている。
　画像表示装置１Ｄにおいて検出系は、上記第１の実施の形態に係る画像表示装置１の検出系の構成に対して、照明光源３４の配置位置と、検出素子３１、撮像レンズ３２、および波長カットフィルタ３３の配置位置とが異なっている。画像表示装置１Ｄでは、第４の反射素子１４が、画像光形成装置１００内の描画光源１０２と全反射ミラー１０３との間の光路上に配置されている。第４の反射素子１４は、ハーフミラーであり、照明光源３４から出射された照明光Ｌ１１を反射して、全反射ミラー１０３に入射させる。以降の照明光Ｌ１１の眼球２００に至るまでの光路は、画像表示系の光路と同様である。また、第４の反射素子１４は描画光源１０２からの光を透過させる。
　画像表示装置１Ｄでは、角膜２０３からの反射光Ｌ１２は、画像光Ｌ０の光路とは逆行して第３の反射素子１３で反射した後、波長カットフィルタ３３および撮像レンズ３２を通過した後、検出素子３１に入射する。
　画像表示装置１Ｄでは、検出制御部４５０が、検出系の動作として、検出素子３１による検出値に基づいて、角膜２０３からの反射光Ｌ１２の光強度の基準光軸Ｚ１に対する角度方向の重心偏りが少なくなるように、照明光Ｌ１１の照射位置および検出位置を移動させる指示を位置制御部４５４に対して行う。位置制御部４５４は、検出制御部４５０からの指示に基づいて、例えば第２の反射素子１２の配置角度を制御することによって、角膜２０３に対する照明光Ｌ１１の照射位置および検出位置を移動させる。結果的に、照明光Ｌ１１の照射位置と画像光Ｌ０の収束位置とを適切な位置に移動させることができる。
　その他の構成、動作および効果は、上記第１の実施の形態に係る眼球検出装置、および画像表示装置と略同様であってもよい。
＜７．その他の実施の形態＞
　本開示による技術は、上記各実施の形態の説明に限定されず種々の変形実施が可能である。
　例えば、以上の各実施の形態では、本開示の眼球検出装置を画像表示装置に適用した例を挙げたが、本開示の眼球検出装置は、画像表示装置以外の装置にも適用可能である。
　例えば、本技術は以下のような構成を取ることもできる。
　以下の構成の本技術によれば、角膜からの反射光の光強度の検出値に基づいて角膜からの反射光の光強度の基準光軸に対する角度方向の重心偏りを判別した後、基準光軸に対する角膜位置の位置ずれを算出するようにしたので、演算負荷や消費電力の少ない瞳位置検出を行うことが可能となる。
（１）
　略平行の照明光を眼球の角膜に向けて照射する照射部と、
　前記角膜からの反射光の光強度を検出する検出部と、
　前記検出部による検出値に基づいて前記角膜からの反射光の光強度の基準光軸に対する角度方向の重心偏りを判別した後、前記基準光軸に対する角膜位置の位置ずれを算出する検出制御部と
　を備える
　眼球検出装置。
（２）
　前記検出制御部からの指示に基づいて、前記角膜に対する前記照明光の照射位置を前記基準光軸に対して移動させる光線位置制御部、をさらに備え、
　前記検出制御部は、前記基準光軸に対する角度方向の前記重心偏りが少なくなるように、前記照明光の照射位置を移動させる指示を前記光線位置制御部に対して行うと共に、前記照明光の照射位置の移動量に基づいて、前記角膜位置の位置ずれを算出する
　上記（１）に記載の眼球検出装置。
（３）
　前記検出制御部からの指示に基づいて、前記検出部による光強度の検出位置を移動させる検出位置制御部、をさらに備え、
　前記検出制御部は、前記基準光軸に対する角度方向の前記重心偏りが少なくなるように、前記照明光の照射位置を移動させる指示を前記光線位置制御部に対して行うと共に、前記検出位置を移動させる指示を前記検出位置制御部に対して行い、前記照明光の照射位置の移動量と前記検出位置の移動量とに基づいて、前記角膜位置の位置ずれを算出する
　上記（２）に記載の眼球検出装置。
（４）
　前記検出制御部からの指示に基づいて、前記角膜に対する前記照明光の照射位置を前記基準光軸に対して移動させる光線位置制御部、をさらに備え、
　前記検出制御部は、
　前記照明光の照射位置の移動量と前記角膜位置の位置ずれとに対応付けられた前記重心偏りの基準値の関係テーブルを有し、
　前記関係テーブルを参照して、前記照明光の照射位置の移動量と前記検出部による検出値に基づいて判別された前記重心偏りとに基づいて、前記角膜位置の位置ずれを算出した後、
　算出された前記角膜位置の位置ずれに最適な照射位置を前記関係テーブルを参照して算出し、
　算出された前記最適な照射位置に近付くように、前記照明光の照射位置を移動させる指示を前記光線位置制御部に対して行う
　上記（１）に記載の眼球検出装置。
（５）
　前記照明光を前記角膜に対して同一の照射位置に照射した状態で前記基準光軸に対する前記照明光の照射角度を変化させる光線角度制御部、をさらに備え、
　前記検出制御部は、前記光線角度制御部によって前記照明光の照射角度を変化させたことによる前記検出部による前記検出値の変化に基づいて、前記基準光軸に対する前記角膜位置の位置ずれを算出する
　上記（１）に記載の眼球検出装置。
（６）
　前記検出部は、複数の分割検出領域を有し、
　前記検出制御部は、前記複数の分割検出領域のそれぞれにおける受光強度の検出値に基づいて、前記角膜からの反射光の光強度の前記基準光軸に対する角度方向の前記重心偏りを判別する
　上記（１）ないし（４）のいずれか１つに記載の眼球検出装置。
（７）
　前記角膜からの反射光を前記検出部に向けて集光する集光検出光学系、をさらに備え、
　前記検出部は、前記集光検出光学系の前記検出部側の焦点位置から外れた位置に配置される
　上記（１）ないし（６）のいずれか１つに記載の眼球検出装置。
（８）
　前記検出制御部からの指示に基づいて、前記角膜に対する前記照明光の照射位置を前記基準光軸に対して移動させると共に、前記検出部による光強度の検出位置を移動させる位置制御部、をさらに備え、
　前記検出制御部は、前記基準光軸に対する角度方向の前記重心偏りが少なくなるように、前記照明光の照射位置および前記検出位置を移動させる指示を前記位置制御部に対して行い、前記照明光の照射位置の移動量と前記検出位置の移動量とに基づいて、前記角膜位置の位置ずれを算出する
　上記（１）に記載の眼球検出装置。
（９）
　前記基準光軸は、前記眼球が正面視の状態における前記角膜の曲率中心と前記眼球の回転中心とを含む直線である
　上記（１）ないし（８）のいずれか１つに記載の眼球検出装置。
（１０）
　前記検出制御部は、前記角膜位置の位置ずれとして、前記基準光軸に対する前記角膜の曲率中心の位置ずれを検出する
　上記（１）ないし（９）のいずれか１つに記載の眼球検出装置。
（１１）
　画像光を出射する画像光形成装置と、
　前記画像光を、観察者の角膜に向けて収束させる集光光学系と、
　眼球検出装置と
　を含み、
　前記眼球検出装置は、
　略平行の照明光を、その照射位置が前記画像光の収束位置と略同一位置となるように、前記眼球の前記角膜に向けて照射する照射部と、
　前記角膜からの反射光の光強度を検出する検出部と、
　前記検出部による検出値に基づいて前記角膜からの反射光の光強度の基準光軸に対する角度方向の重心偏りを判別した後、前記基準光軸に対する角膜位置の位置ずれを算出する検出制御部と
　を備える
　画像表示装置。
（１２）
　前記眼球検出装置によって検出された前記角膜位置の位置ずれに基づいて、前記照明光の照射位置および前記画像光の収束位置を移動させる光線位置制御部、さらに含む
　上記（１１）に記載の画像表示装置。
　本出願は、日本国特許庁において２０１８年６月１４日に出願された日本特許出願番号第２０１８－１１３７７９号を基礎として優先権を主張するものであり、この出願のすべての内容を参照によって本出願に援用する。
　当業者であれば、設計上の要件や他の要因に応じて、種々の修正、コンビネーション、サブコンビネーション、および変更を想到し得るが、それらは添付の請求の範囲やその均等物の範囲に含まれるものであることが理解される。

Claims (12)

  1. 　略平行の照明光を眼球の角膜に向けて照射する照射部と、
    　前記角膜からの反射光の光強度を検出する検出部と、
    　前記検出部による検出値に基づいて前記角膜からの反射光の光強度の基準光軸に対する角度方向の重心偏りを判別した後、前記基準光軸に対する角膜位置の位置ずれを算出する検出制御部と
    　を備える
    　眼球検出装置。
  2. 　前記検出制御部からの指示に基づいて、前記角膜に対する前記照明光の照射位置を前記基準光軸に対して移動させる光線位置制御部、をさらに備え、
    　前記検出制御部は、前記基準光軸に対する角度方向の前記重心偏りが少なくなるように、前記照明光の照射位置を移動させる指示を前記光線位置制御部に対して行うと共に、前記照明光の照射位置の移動量に基づいて、前記角膜位置の位置ずれを算出する
    　請求項１に記載の眼球検出装置。
  3. 　前記検出制御部からの指示に基づいて、前記検出部による光強度の検出位置を移動させる検出位置制御部、をさらに備え、
    　前記検出制御部は、前記基準光軸に対する角度方向の前記重心偏りが少なくなるように、前記照明光の照射位置を移動させる指示を前記光線位置制御部に対して行うと共に、前記検出位置を移動させる指示を前記検出位置制御部に対して行い、前記照明光の照射位置の移動量と前記検出位置の移動量とに基づいて、前記角膜位置の位置ずれを算出する
    　請求項２に記載の眼球検出装置。
  4. 　前記検出制御部からの指示に基づいて、前記角膜に対する前記照明光の照射位置を前記基準光軸に対して移動させる光線位置制御部、をさらに備え、
    　前記検出制御部は、
    　前記照明光の照射位置の移動量と前記角膜位置の位置ずれとに対応付けられた前記重心偏りの基準値の関係テーブルを有し、
    　前記関係テーブルを参照して、前記照明光の照射位置の移動量と前記検出部による検出値に基づいて判別された前記重心偏りとに基づいて、前記角膜位置の位置ずれを算出した後、
    　算出された前記角膜位置の位置ずれに最適な照射位置を前記関係テーブルを参照して算出し、
    　算出された前記最適な照射位置に近付くように、前記照明光の照射位置を移動させる指示を前記光線位置制御部に対して行う
    　請求項１に記載の眼球検出装置。
  5. 　前記照明光を前記角膜に対して同一の照射位置に照射した状態で前記基準光軸に対する前記照明光の照射角度を変化させる光線角度制御部、をさらに備え、
    　前記検出制御部は、前記光線角度制御部によって前記照明光の照射角度を変化させたことによる前記検出部による前記検出値の変化に基づいて、前記基準光軸に対する前記角膜位置の位置ずれを算出する
    　請求項１に記載の眼球検出装置。
  6. 　前記検出部は、複数の分割検出領域を有し、
    　前記検出制御部は、前記複数の分割検出領域のそれぞれにおける受光強度の検出値に基づいて、前記角膜からの反射光の光強度の前記基準光軸に対する角度方向の前記重心偏りを判別する
    　請求項１に記載の眼球検出装置。
  7. 　前記角膜からの反射光を前記検出部に向けて集光する集光検出光学系、をさらに備え、
    　前記検出部は、前記集光検出光学系の前記検出部側の焦点位置から外れた位置に配置される
    　請求項１に記載の眼球検出装置。
  8. 　前記検出制御部からの指示に基づいて、前記角膜に対する前記照明光の照射位置を前記基準光軸に対して移動させると共に、前記検出部による光強度の検出位置を移動させる位置制御部、をさらに備え、
    　前記検出制御部は、前記基準光軸に対する角度方向の前記重心偏りが少なくなるように、前記照明光の照射位置および前記検出位置を移動させる指示を前記位置制御部に対して行い、前記照明光の照射位置の移動量と前記検出位置の移動量とに基づいて、前記角膜位置の位置ずれを算出する
    　請求項１に記載の眼球検出装置。
  9. 　前記基準光軸は、前記眼球が正面視の状態における前記角膜の曲率中心と前記眼球の回転中心とを含む直線である
    　請求項１に記載の眼球検出装置。
  10. 　前記検出制御部は、前記角膜位置の位置ずれとして、前記基準光軸に対する前記角膜の曲率中心の位置ずれを検出する
    　請求項１に記載の眼球検出装置。
  11. 　画像光を出射する画像光形成装置と、
    　前記画像光を、観察者の角膜に向けて収束させる集光光学系と、
    　眼球検出装置と
    　を含み、
    　前記眼球検出装置は、
    　略平行の照明光を、その照射位置が前記画像光の収束位置と略同一位置となるように、前記眼球の前記角膜に向けて照射する照射部と、
    　前記角膜からの反射光の光強度を検出する検出部と、
    　前記検出部による検出値に基づいて前記角膜からの反射光の光強度の基準光軸に対する角度方向の重心偏りを判別した後、前記基準光軸に対する角膜位置の位置ずれを算出する検出制御部と
    　を備える
    　画像表示装置。
  12. 　前記眼球検出装置によって検出された前記角膜位置の位置ずれに基づいて、前記照明光の照射位置および前記画像光の収束位置を移動させる光線位置制御部、さらに含む
    　請求項１１に記載の画像表示装置。
PCT/JP2019/020646 2018-06-14 2019-05-24 眼球検出装置、および画像表示装置 WO2019239849A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US17/250,159 US11474600B2 (en) 2018-06-14 2019-05-24 Eyeball detection unit and image display apparatus
CN201980038086.8A CN112219084B (zh) 2018-06-14 2019-05-24 眼球检测单元和图像显示装置

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018113779A JP2019215305A (ja) 2018-06-14 2018-06-14 眼球検出装置、および画像表示装置
JP2018-113779 2018-06-14

Publications (1)

Publication Number Publication Date
WO2019239849A1 true WO2019239849A1 (ja) 2019-12-19

Family

ID=68842866

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/020646 WO2019239849A1 (ja) 2018-06-14 2019-05-24 眼球検出装置、および画像表示装置

Country Status (4)

Country Link
US (1) US11474600B2 (ja)
JP (1) JP2019215305A (ja)
CN (1) CN112219084B (ja)
WO (1) WO2019239849A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05232373A (ja) * 1992-02-24 1993-09-10 Olympus Optical Co Ltd カメラの視線方向検出装置
JPH05344954A (ja) * 1992-06-17 1993-12-27 Chinon Ind Inc 視線方向検出装置
JPH06230482A (ja) * 1993-02-02 1994-08-19 Olympus Optical Co Ltd カメラシステム
JP2005287782A (ja) * 2004-03-31 2005-10-20 Topcon Corp 光学系の位置合わせ装置及び方法、並びにこれを用いた三次元観察状態測定装置及び方法

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0654807A (ja) 1992-08-05 1994-03-01 Canon Inc 眼科装置
JPH09325260A (ja) 1996-06-06 1997-12-16 Canon Inc 接眼検知機能付撮像装置
JP4608996B2 (ja) 2004-08-19 2011-01-12 ブラザー工業株式会社 瞳孔検出装置およびそれを備えた画像表示装置
JP5340434B2 (ja) * 2011-02-25 2013-11-13 キヤノン株式会社 眼科装置、処理装置、眼科システム、処理方法および眼科装置の制御方法、プログラム
US8824779B1 (en) * 2011-12-20 2014-09-02 Christopher Charles Smyth Apparatus and method for determining eye gaze from stereo-optic views
JP6071304B2 (ja) * 2012-07-30 2017-02-01 キヤノン株式会社 眼科装置及びアライメント方法
JP2014188322A (ja) 2013-03-28 2014-10-06 Panasonic Corp 視線検出装置、視線検出方法及びプログラム
DK179537B1 (en) * 2015-02-04 2019-02-08 Itu Business Development A/S Tin traces and eye tracking methods
JP6750508B2 (ja) 2017-01-11 2020-09-02 住友電気工業株式会社 電力変換装置及びその高調波抑制方法
US10928894B2 (en) * 2017-02-27 2021-02-23 Nokia Technologies Oy Eye tracking

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05232373A (ja) * 1992-02-24 1993-09-10 Olympus Optical Co Ltd カメラの視線方向検出装置
JPH05344954A (ja) * 1992-06-17 1993-12-27 Chinon Ind Inc 視線方向検出装置
JPH06230482A (ja) * 1993-02-02 1994-08-19 Olympus Optical Co Ltd カメラシステム
JP2005287782A (ja) * 2004-03-31 2005-10-20 Topcon Corp 光学系の位置合わせ装置及び方法、並びにこれを用いた三次元観察状態測定装置及び方法

Also Published As

Publication number Publication date
CN112219084B (zh) 2023-02-21
US20210325961A1 (en) 2021-10-21
JP2019215305A (ja) 2019-12-19
CN112219084A (zh) 2021-01-12
US11474600B2 (en) 2022-10-18

Similar Documents

Publication Publication Date Title
KR102519000B1 (ko) 화상 표시장치
RU2018109532A (ru) Система и способ проецирования на глаз
JP2016095135A (ja) 測距装置
JP5867186B2 (ja) 虚像表示装置
RU2008135303A (ru) Головка для лазерной сварки
JP2011147612A5 (ja)
JP7302592B2 (ja) 情報検出装置、映像投影装置、情報検出方法、及び映像投影方法
WO2014129210A1 (ja) 測距装置および較正方法
JP2017026675A (ja) ヘッドアップディスプレイ
US20140246573A1 (en) Electronic device
WO2019239849A1 (ja) 眼球検出装置、および画像表示装置
US11644670B2 (en) Image display apparatus
JP2016049261A (ja) 照明撮像装置および視線検出装置
US10362938B2 (en) Fundus image forming device
JP4590916B2 (ja) 画像表示装置
WO2019088070A1 (ja) 走査型眼底撮影装置
JP6668711B2 (ja) 光源装置、画像表示装置及び物体装置
JP2016095136A (ja) 測距装置および較正方法
TWI634869B (zh) 具有瞳孔追蹤功能的影像投影裝置及其瞳孔位置追蹤裝置
US9693681B2 (en) Ophthalmic apparatus
JP6224923B2 (ja) 角膜内皮細胞撮影装置
WO2013145153A1 (ja) 画像描画装置
JP6187578B2 (ja) 虚像表示装置
JP2014106072A (ja) 測距装置
JP3251985B2 (ja) アイポインター

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19818652

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19818652

Country of ref document: EP

Kind code of ref document: A1