WO2021241073A1 - 表示装置及び表示方法 - Google Patents

表示装置及び表示方法 Download PDF

Info

Publication number
WO2021241073A1
WO2021241073A1 PCT/JP2021/015895 JP2021015895W WO2021241073A1 WO 2021241073 A1 WO2021241073 A1 WO 2021241073A1 JP 2021015895 W JP2021015895 W JP 2021015895W WO 2021241073 A1 WO2021241073 A1 WO 2021241073A1
Authority
WO
WIPO (PCT)
Prior art keywords
eyeball
display device
unit
image
light
Prior art date
Application number
PCT/JP2021/015895
Other languages
English (en)
French (fr)
Inventor
鉄平 今村
涼 小川
正則 岩崎
貴宣 小俣
克之 阿久津
至 清水
Original Assignee
ソニーグループ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーグループ株式会社 filed Critical ソニーグループ株式会社
Priority to JP2022527582A priority Critical patent/JPWO2021241073A1/ja
Priority to US17/998,976 priority patent/US11940630B2/en
Priority to CN202180036511.7A priority patent/CN115668037A/zh
Priority to KR1020227040714A priority patent/KR20230015353A/ko
Priority to DE112021002930.4T priority patent/DE112021002930T5/de
Publication of WO2021241073A1 publication Critical patent/WO2021241073A1/ja

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/12Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for looking at the eye fundus, e.g. ophthalmoscopes
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/102Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for optical coherence tomography [OCT]
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/103Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining refraction, e.g. refractometers, skiascopes
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/113Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/14Arrangements specially adapted for eye photography
    • A61B3/145Arrangements specially adapted for eye photography by video means
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B26/00Optical devices or arrangements for the control of light using movable or deformable optical elements
    • G02B26/08Optical devices or arrangements for the control of light using movable or deformable optical elements for controlling the direction of light
    • G02B26/10Scanning systems
    • G02B26/101Scanning systems with both horizontal and vertical deflecting means, e.g. raster or XY scanners
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • G02B27/0172Head mounted characterised by optical features
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00Optical elements other than lenses
    • G02B5/32Holograms used as optical elements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013Eye tracking input arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/20Scenes; Scene-specific elements in augmented reality scenes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18Eye characteristics, e.g. of the iris
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18Eye characteristics, e.g. of the iris
    • G06V40/193Preprocessing; Feature extraction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/64Constructional details of receivers, e.g. cabinets or dust covers
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0112Head-up displays characterised by optical features comprising device for genereting colour display
    • G02B2027/0116Head-up displays characterised by optical features comprising device for genereting colour display comprising devices for correcting chromatic aberration
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0138Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/014Head-up displays characterised by optical features comprising information/image processing systems
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • G02B27/0172Head mounted characterised by optical features
    • G02B2027/0174Head mounted characterised by optical features holographic
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0179Display position adjusting means not related to the information to be displayed
    • G02B2027/0187Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye

Definitions

  • This technology relates to display devices and display methods.
  • AR augmented reality
  • One of the products using this technology is a head-mounted display.
  • the head-mounted display is used by being attached to the user's head.
  • the light from the head-mounted display reaches the user's eyes, so that the image of the outside world is an image by the light from the display. The user recognizes that is superimposed.
  • Patent Document 1 proposes an image display device capable of detecting an irradiation position of light emitted from a light source on the retina and adjusting the irradiation position on the retina.
  • Patent Document 1 may not be able to further improve the controllability of image presentation according to the user's eyeball characteristics.
  • the present technology has been made in view of such a situation, and its main purpose is to provide a display device and a display method capable of further improving the controllability of image presentation according to the user's eyeball characteristics. And.
  • the present technology has, as the first aspect, Light source and A processing unit that processes the characteristic distribution of the eyeball, A monitoring unit that monitors the condition of the eyeball, A matching unit that matches the characteristic distribution of the eyeball with the state of the eyeball, An irradiation unit that irradiates a predetermined location on the retina with image display light emitted from the light source, and an irradiation unit.
  • a display device is provided.
  • the display device on the first side surface is It may further include an acquisition unit for acquiring the characteristic distribution of the eyeball.
  • the acquisition unit may be composed of at least one selected from the group consisting of a fundus camera, an OCT, a reflex meter, and a photodetector for detecting return light from an IR scan.
  • the monitoring unit can monitor the condition of the eyeball by using the corneal reflex or the fundus reflex.
  • the display device on the first side surface is A tracking unit for tracking the image display light to the movement of the eyeball may be further provided.
  • the follow-up unit may be composed of at least one selected from the group consisting of a combiner, a relay system drive unit, a mirror drive unit, and a retardation panel.
  • a coordinate system may be defined based on the characteristic distribution of the eyeball.
  • the matching unit can match the characteristic distribution of the eyeball with the state of the eyeball for which an image is to be presented via the coordinate system.
  • the coordinate system may be defined based on at least two selected from the group consisting of the first fovea of the right eye, the first blind spot of the right eye, the second fovea of the left eye and the second blind spot of the left eye.
  • the light source may be a laser light source.
  • the display device on the first side surface according to the present technology is It may also be equipped with a scanning mirror.
  • the scanning type mirror can irradiate the retina with the image display light.
  • the irradiation unit may further include a member arranged in front of the eye.
  • the member may have a see-through property and may have a see-through property.
  • the member reflects a predetermined optical element including a reflective or transmissive volume hologram, a reflective or transmissive relief hologram or a metasurface, or a predetermined light, and emits light other than the predetermined light.
  • a second optical element that transmits light may be used.
  • the wavelength dispersion compensating member may be a first optical element including a reflective or transmissive volume hologram, a reflective or transmissive relief hologram, or a metasurface.
  • this technology has the second aspect as Processing the characteristic distribution of the eyeball and Monitoring the condition of the eyeball and Matching the characteristic distribution of the eyeball with the state of the eyeball, By irradiating a predetermined place on the retina with the image display light emitted from the light source, Provides display methods, including.
  • the display method of the second aspect according to this technology is It may further include acquiring the characteristic distribution of the eyeball.
  • FIG. 1 is a diagram showing an example of a flow of displaying an image by a display device to which the present technology is applied.
  • FIG. 2 is a diagram for explaining that the positions of the fovea centralis and the blind spot change with the left-right rotation of the eyeball of the right eye.
  • FIG. 3 is a diagram for explaining the result of matching the fundus map with the state of the eyeball for which the image is to be presented.
  • FIG. 4 is a diagram for explaining the result of matching the interpolated fundus map with the state of the eyeball for which the image is to be presented.
  • FIG. 5 is a diagram showing another example of the flow of displaying an image by a display device to which the present technology is applied.
  • FIG. 1 is a diagram showing an example of a flow of displaying an image by a display device to which the present technology is applied.
  • FIG. 2 is a diagram for explaining that the positions of the fovea centralis and the blind spot change with the left-right rotation of the eyeball of the right eye.
  • FIG. 6 is a diagram for explaining what looks normal, what looks distorted (metamorphopsia), and what looks dark at the center (central scotoma).
  • FIG. 7 is a diagram for explaining that the eyeball distortion is corrected.
  • FIG. 8 is a diagram for explaining that eyeball unevenness is corrected.
  • FIG. 9 is a top view showing a configuration example of a display device to which the present technology is applied.
  • FIG. 10 is a front view showing a configuration example of a display device to which the present technology is applied.
  • FIG. 11 is a block diagram showing a configuration example of the display device of the first embodiment to which the present technology is applied.
  • FIG. 12 is a block diagram showing a configuration example of a display device according to a second embodiment to which the present technology is applied.
  • FIG. 13 is a diagram showing an example of a member arranged in front of the eyes, which is provided in a display device to which the present technology is applied.
  • FIG. 14 is a diagram showing another example of a member arranged in front of the eyes, which is provided in a display device to which the present technology is applied.
  • the present technology relates to a display device and a display method.
  • Example 2 of another technique there is an example of a technique related to laser retina direct drawing.
  • a technique related to position adjustment may be performed by pattern matching (the pattern is a retinal pattern such as a blood vessel), and therefore, the reference data may be large and the processing may be heavy.
  • the coordinate system is defined, and the display image and the display position are defined by the coordinate system, less data is required than using a pattern map. Since the display image (presentation image) and the display position (presentation position) are controlled based on the motion information of the eyeball (for example, the rotation information of the eyeball), the processing can be lighter than the pattern matching.
  • the coordinate system is, for example, the fovea centralis of the right eye (the fovea centralis of the right eye may be referred to as the first fovea), the blind spot of the right eye (the blind spot of the right eye may be referred to as the first blind spot), and the first blind spot of the left eye.
  • At least two selected from the group consisting of two foveas (the fovea centralis of the left eye may be referred to as the second fovea) and the second blind spot of the left eye (the blind spot of the left eye may be referred to as the second blind spot). It is defined based on.
  • a laser light source is used, so that a stimulus having a specific wavelength can be presented, and preferably, since the member arranged in front of the eye has a see-through property, it is possible to reach an object in the outside world. It is possible to gaze at the laser and present an unconscious stimulus, and more preferably, since a wavelength dispersion compensating member is used, the wavelength dispersion can be compensated, and exactly a predetermined point (arbitrary point) on the retina can be compensated. Stimulation is possible.
  • the members arranged in front of the eyes include, for example, a reflective or transmissive volume hologram, a reflective or transmissive relief hologram, a first optical element including a metasurface, a predetermined light is reflected, and other than the predetermined light.
  • a second optical element or the like that transmits the light of the above can be mentioned.
  • the first optical element including the meta surface may have, for example, a structure in which a dielectric or a metal is periodically arranged at narrow intervals on the surface of the first optical element, and deflects light in a specific frequency band. be able to.
  • the second optical element is a half mirror (preferably having a light transmittance of 50% or more), a bandpass filter that reflects only a specific wavelength (wavelength of a light source) and transmits the others, and reflects a specific polarization.
  • a polarized beam splitter and the like are preferably having a light transmittance of 50% or more, a bandpass filter that reflects only a specific wavelength (wavelength of a light source) and transmits the others, and reflects a specific polarization.
  • the wavelength dispersion compensating member examples include a reflective or transmissive volume hologram, a reflective or transmissive relief hologram, a first optical element including a metasurface, and the like.
  • the first optical element including the metasurface as the wavelength dispersion compensating member may also have, for example, a structure in which a dielectric or a metal is periodically arranged at narrow intervals on the surface of the first optical element. Light in a specific frequency band can be deflected.
  • the display device of the first embodiment (example 1 of the display device) according to the present technology includes a light source, a processing unit that processes the characteristic distribution of the eyeball, a monitoring unit that monitors the state of the eyeball, and a characteristic distribution of the eyeball. It is a display device including a matching unit that matches the state of the eyeball, and an irradiation unit that irradiates an image display light emitted from a light source at a predetermined position on the retina.
  • the display device of the first embodiment according to the present technology may further include a tracking unit.
  • the display device of the first embodiment according to the present technology can be applied to, for example, an eyewear display, a head-mounted display, or the like.
  • the processing unit that processes the characteristic distribution of the eyeball is, for example, the characteristic distribution information of the eyeball obtained from an external device (for example, a fundus camera, an OCT, a photodetector that detects return light from an IR scan, a reflex meter, etc.).
  • an external device for example, a fundus camera, an OCT, a photodetector that detects return light from an IR scan, a reflex meter, etc.
  • the monitoring unit can monitor the state of the eyeball using, for example, the corneal reflex or the fundus reflex, and acquire the optical axis.
  • the matching unit can acquire the deviation between the visual axis and the optical axis (Gaze Calibration) and create a map that reflects the offset.
  • the irradiation unit can be light-modulated according to a laser light source, an image display (projector), and an eyeball characteristic distribution, can adjust the amount of light according to external light, and can be controlled including distortion correction.
  • the tracking unit can follow the display image for the eye movement by eye tracking, the light beam is steered, and the irradiation image / irradiation position is changed based on the rotation information of the eyeball.
  • the fundus map is created in steps S101 to S103 shown in FIG. More specifically, in step S101, a frontal view fundus photograph is taken using a fundus camera or the like, in step S102, a fundus photograph during vertical / horizontal rotation is taken using a fundus camera or the like, and in step S103, step.
  • the foveal and blind spot positions in the respective fundus photographs taken in S101 and step S102 are detected.
  • FIG. 2 is a diagram for explaining that the positions of the fovea centralis and the blind spot change with the left-right rotation of the eyeball of the right eye.
  • FIG. 2A-2 in FIG. 2 is a photograph of the fundus of the right eye in front view in step S101
  • FIG. 2B-2 is a top view schematically showing the eyeball 20 of the right eye in front view.
  • FIG. 2A-1 in FIG. 2 is a photograph of the fundus of the right eye when the eyeball is rotated counterclockwise in step S102
  • FIG. 2B-1 is a top view schematically showing the eyeball 20 of the right eye when the eyeball is rotated counterclockwise.
  • FIG. 2A-3 in FIG. 2 is a photograph of the fundus of the right eye during clockwise rotation in step S102
  • FIG. 2B-3 is a top view schematically showing the eyeball 20 of the right eye during clockwise rotation of the eyeball. ..
  • the fovea 30-1 shown in FIG. 2A-1 moves to the left position with respect to the fovea 30-2 shown in FIG. 2A-2.
  • the blind spot 31-1 shown in FIG. 2A-1 also moves to the leftward position with respect to the blind spot 31-2 shown in FIG. 2A-2.
  • the positional relationship between 1 and the blind spot 31-1 (distance between the fovea 30-1 and the blind spot 31-1) is substantially the same.
  • the fovea 30-3 shown in FIG. 2A-3 moves to the rightward position with respect to the fovea 30-2 shown in FIG. 2A-2.
  • the blind spot 31-3 shown in FIG. 2A-3 also moves to the rightward position with respect to the blind spot 31-2 shown in FIG. 2A-2.
  • the positional relationship between 3 and the blind spot 31-3 (distance between the fovea 30-3 and the blind spot 31-3) is substantially the same.
  • step S104 Gaze Calibration is performed using the display device of the first embodiment according to the present technology, and in step S105, the deviation between the center of the optical axis of the display system and the fovea centralis is performed. Is calculated.
  • FIG. 3 is a diagram for explaining the result of matching the fundus map with the state of the eyeball for which the image is to be presented.
  • the optical axis 1 Optical Vector
  • the visual axis Gaze Vector 2 are displaced by an angle of ⁇ .
  • the optical axis 1 is the corneal normal line passing through the center of the pupil (pupil) 10
  • the visual axis 2 is the axis connecting the node (the posterior surface of the center of the crystalline lens) and the fovea centralis 30.
  • the blind spot 31 is a first quadrant 51 (for example, a region where the X-axis is in the positive direction and the Y-axis is in the positive direction), which constitutes the image display range (image angle) 50.
  • Two quadrants 52 eg, a region where the X axis is negative and the Y axis is positive
  • third quadrant 53 eg, a region where the X axis is negative and the Y axis is negative
  • the fourth quadrant 54 for example, the region where the X-axis is in the positive direction and the Y-axis is in the negative direction
  • the first quadrant 51 and the fourth quadrant 54 are present.
  • Steps S106 to S108 shown in FIG. 1 are performed in a video presentation state. More specifically, in step S106, Gaze Tracking (gaze tracking, line-of-sight tracking) is performed. For example, in step S106, the movement of the eyeball is followed, the pupil position is detected, the angle of view of a desired point is calculated, infrared light is placed on the drawing optical axis, and the fundus reflex (the blind spot and the fovea are reflected). The rate is different.) Is detected. In step S107, an interpolated fundus map is generated. The interpolated fundus map is generated by interpolating between the vertical and horizontal rotations of the eyeball.
  • the interpolated fundus map sets the positions of the fovea centralis and the blind spot during the vertical and horizontal rotation of the eyeball at a level smaller than the vertical and horizontal rotation level of the eyeball used by the fundus maps created in steps S101 to S103. Estimated and generated using a map.
  • the interpolated fundus map may be generated by using the position information of a specific eyeball or the information of the angle of view deviation.
  • an image is generated.
  • a light source for example, a laser light source
  • a mirror for example, a scanning mirror (for example, a MEMS mirror), a relay system drive unit (projection optical system), and a see-through member arranged in front of the eye.
  • a signal of the generated video is transmitted to the video display unit including the holographic optical element (hereinafter, may be referred to as HOE)).
  • the holographic optical element include a reflective or transmissive volume hologram, a reflective or transmissive relief hologram (also referred to as a surface relief hologram), and the like.
  • FIG. 4 is a diagram for explaining the result (correction result) of matching the interpolated fundus map with the state of the eyeball for which the image is to be presented.
  • the blind spot 31 is a first quadrant 51 (for example, a region where the X-axis is in the positive direction and the Y-axis is in the positive direction) and the first quadrant 51 constituting the image display range (image angle) 50.
  • Two quadrants 52 eg, a region where the X axis is negative and the Y axis is positive
  • third quadrant 53 eg, a region where the X axis is negative and the Y axis is negative
  • the fourth quadrant 54 for example, the region where the X-axis is in the positive direction and the Y-axis is in the negative direction
  • Steps S106 to S108 are repeated until a desired or predetermined image is generated, as indicated by reference numeral P1 in FIG. Step S106 (Gaze Tracking) and step S107 (generation of an interpolated fundus map) may be performed at the same time.
  • FIG. 5 another example of the flow of displaying an image by the display device of the first embodiment according to the present technology will be described.
  • step S201 Create a fundus map in step S201 shown in FIG.
  • the method of creating the fundus map created in step S201 is the same as the method of creating the fundus map created in steps S101 to S103 shown in FIG. 1 described above. Omit.
  • the eyeball characteristics are acquired in step S202 shown in FIG.
  • the acquisition of eyeball characteristics is performed using, for example, an OCT (Optical Coherence Tomography), a refractometer (objective refraction test), a photodetector for detecting return light from an IR scan, or the like.
  • OCT Optical Coherence Tomography
  • a refractometer objective refraction test
  • a photodetector for detecting return light from an IR scan or the like.
  • OCT Optical Coherence Tomography
  • a refractometer objective refraction test
  • a photodetector for detecting return light from an IR scan or the like.
  • Age-related macular degeneration is a disease in which the macula in the center of the retina is damaged due to age-related changes, photodamage, and the like, resulting in poor visibility.
  • FIG. 6 although it looks normal to normal eyes (FIG. 6A), the retina is distorted due to age-related macular degeneration (degeneration), and it looks distorted like distortion 60B (FIG. 6B). ), The visual acuity deteriorates due to age-related macular degeneration (degeneration), and the center looks dark like the central scotoma 60C (FIG. 6C).
  • step S203 Match the eye sense (eye tracking) result with the fundus map in step S203 shown in FIG. Since the matching method performed in step S203 is the same as the matching method created in steps S104 to S105 shown in FIG. 1 described above, detailed description thereof will be omitted here.
  • Steps S204 to S208 shown in FIG. 5 are performed in a video presentation state. More specifically, in step S204, Gaze Tracking (gaze tracking, line-of-sight tracking) is performed. For example, in step S204, the movement of the eyeball is followed, the pupil position is detected, the angle of view of a desired point is calculated, infrared light is placed on the drawing optical axis, and the fundus reflex (the blind spot and the fovea are reflected). The rate is different.) Is detected. In step S205, an interpolated fundus map is generated. The interpolated fundus map is generated by interpolating between the vertical and horizontal rotations of the eyeball.
  • the positions of the fovea centralis and the blind spot during the vertical and horizontal rotation of the eyeball at a level smaller than the vertical and horizontal rotation level of the eyeball used by the fundus map created in step S201 are used in the fundus map. It is estimated and generated.
  • the interpolated fundus map may be generated by using the position information of a specific eyeball or the information of the angle of view deviation.
  • step S206 the correction table for eyeball distortion is reconstructed.
  • Step S206 will be specifically described with reference to FIG. 7.
  • FIG. 7A shows an image (image) to be presented.
  • FIG. 7B shows an image (image) due to eyeball distortion.
  • FIG. 7C shows an output image (generated image) corrected by the eyeball distortion correction table.
  • step S207 eyeball unevenness is corrected.
  • Step S207 will be specifically described with reference to FIG.
  • FIG. 8A shows an image (image) to be presented.
  • FIG. 8B shows an image (image) due to eyeball unevenness.
  • FIG. 8C shows an output image (generated image) corrected by the correction of eyeball unevenness.
  • a video is generated.
  • a light source eg, laser light source
  • a mirror e.g, MEMS mirror
  • a relay system drive unit projection optical system
  • a see-through member e.g, holographic
  • the generated video signal is transmitted to the video display unit including the optical element (hereinafter, may be referred to as HOE).
  • the holographic optical element include a reflective or transmissive volume hologram, a reflective or transmissive relief hologram (also referred to as a surface relief hologram), and the like.
  • Steps S204 to S208 are repeated until a desired or predetermined image is generated, as indicated by reference numeral P5 in FIG. Step S204 (Gaze Tracking) and step S205 (generation of an interpolated fundus map) may be performed at the same time.
  • FIG. 9 is a top view of a display device according to the present technology mounted on the user's head.
  • FIG. 10 is a front view of a display device according to the present technology mounted on the user's head.
  • the display device shown in FIG. 9 includes a video display unit (also referred to as an image display unit) and a sensor that detects a change in the position of the display device with respect to the head (in the present specification, a change in the position of the display device with respect to the head).
  • the sensor that detects the above is also referred to as a "displacement sensor" or "sensor”), and includes a monitoring unit, a projection position adjusting mechanism, a control unit, and a storage unit.
  • the display device 100 has a spectacle-like shape and is configured to project image display light (sometimes referred to as image display light) to each of both eyes. That is, the display device 100 includes an image display unit that projects the image display light to the left eye and an image display unit that projects the image display light to the right eye.
  • the image display unit that projects the image display light to the left eye includes a light source unit 101L, a projection optical system 102L, and a holographic optical element (hereinafter, also referred to as HOE) 103L as an irradiation unit.
  • HOE holographic optical element
  • a combiner may be included in the display device 100 as a follow-up unit, and the combiner may structurally include a holographic optical element 103L, a half mirror, and the like.
  • the relay system drive unit (not shown), which is a follow-up unit, may be included in the projection optical system 102L.
  • the mirror drive unit and the retardation panel which are tracking units, may be arranged between the light source unit 101L and the projection optical system 102L or between the projection optical system 102L and the holographic optical element 103L. ..
  • the light source unit 101L emits image display light.
  • the light source unit 101L can include, for example, a laser light source 120L, a mirror 121L, and a scanning mirror 122L.
  • the laser light emitted from the laser light source 120L is reflected by the mirror 121L and reaches the scanning mirror 122L.
  • the scanning mirror 122L two-dimensionally scans the laser beam.
  • the scanning mirror 122L may be, for example, a MEMS mirror.
  • the scanning mirror 122L can move the direction of the laser beam at high speed so that an image is formed on the retina.
  • the projection optical system 102L adjusts the direction of the image display light so that the image display light reaches a desired region and / or position of the HOE 103L. For example, the image display light scanned by the scanning mirror 122L is converted into parallel light.
  • the HOE103L diffracts the image display light so that it is focused near the user's pupil and irradiated to the retina.
  • the HOE103L may be, for example, a reflection type diffraction element.
  • the HOE103L may have an optical property of acting as a lens for light in the wavelength range of the image display light and transmitting light having a wavelength outside the wavelength range. With the optical characteristics, the user can recognize, for example, the landscape ahead in the line-of-sight direction via the HOE103L, and can recognize the image by the image display light. That is, the image by the image display light can be superimposed on the landscape of the outside world.
  • the HOE103L examples include a hologram lens, preferably a film-shaped hologram lens, and more preferably a transparent film-shaped hologram lens.
  • the film-shaped hologram lens may be used by being attached to, for example, glass. Techniques known in the art can impart the desired optical properties to the hologram lens.
  • the HOE103L may be, for example, a volume hologram or a surface relief hologram.
  • a commercially available hologram lens may be used as the hologram lens, or the hologram lens may be manufactured by a technique known in the art.
  • the light source unit 101L, the projection optical system 102L, and the HOE103L bring the image display light to the user's left eye.
  • the display device 100 has a vine portion 109L and a rim portion 108L that are part of the shape of glasses.
  • a light source unit 101L and a projection optical system 102L are arranged on the vine portion 109L.
  • the HOE 103L is held in the rim portion 108L. More specifically, the inner rim portion 106L is held by the rim portion 108L via the projection position adjusting mechanism 105L-2 as the irradiation portion, and the projection position adjustment as the irradiation portion is held by the inner rim portion 106L.
  • the HOE 103L is held via the mechanism 105L-1.
  • the image display unit that projects the image display light to the user's right eye includes a light source unit 101R, a projection optical system 102R, and a HOE103R as an irradiation unit.
  • a combiner may be included in the display device 100 as a follow-up portion, and the combiner may structurally include a HOE103R, a half mirror, and the like.
  • the relay system drive unit (not shown), which is a follow-up unit, may be included in the projection optical system 102R.
  • the mirror drive unit and the retardation panel which are tracking units, may be arranged between the light source unit 101R and the projection optical system 102R or between the projection optical system 102R and the HOE103R.
  • the description of the light source unit 101L, the projection optical system 102L, and the HOE103L also applies to the light source unit 101R, the projection optical system 102R, and the HOE103R.
  • the light source unit 101R and the projection optical system 102R are arranged on the vine unit 109R.
  • the HOE103R is held in the rim portion 108R. More specifically, the inner rim portion 106R is held by the rim portion 108R via the projection position adjusting mechanism 105R-2 as the irradiation portion, and the projection position adjustment as the irradiation portion is held by the inner rim portion 106R.
  • the HOE103R is held via the mechanism 105R-1.
  • the rim portions 108L and 108R of the display device 100 are connected via a bridge portion 110.
  • the bridge portion 110 is a portion that touches the user's nose when the user wears the display device 100.
  • both the rim portions 108L and 108R of the display device 100 are connected to the headband portion 111.
  • the headband portion 111 is a portion that comes into contact with the crown of the user as shown in FIG. 10 when the user wears the display device 100.
  • the light source unit 101L shown in FIG. 9 includes one laser light source 120L, but the number of laser light sources included in the light source unit 101L may be two or more, for example, two to five. These plurality of laser light sources may output laser light having different wavelengths from each other.
  • the light source unit 101R includes one laser light source 120R, but the number of laser light sources included in the light source unit 101R may be two or more, for example, two to five. These plurality of laser light sources may output laser light having different wavelengths from each other.
  • the display device 100 may further include a wavelength dispersion compensating member.
  • the wavelength dispersion compensating member is, for example, a reflective or transmissive volume hologram, a reflective or transmissive relief hologram, a first optical element including a metasurface, and the like.
  • the wavelength dispersion compensating member may be arranged around the mirror 121L and / or 121R, for example, between the mirror 121L and the scanning mirror 122L and / or between the mirror 121R and the scanning mirror 122R.
  • the display device 100 further includes sensors 104L, 104R, 104C, and 104T that detect changes in the position of the display device 100 with respect to the user's head.
  • the change in position detected by these sensors may be, for example, the direction of change in position and / or the amount of change in position.
  • the sensors 104L, 104R, 104C, and 104T may be collectively referred to as a sensor 104.
  • the sensors 104L and 104R detect the horizontal position change of the display device 100 with respect to the user's head
  • the sensor 104C detects the position change of the display device 100 with respect to the user's head in the front-rear direction
  • the sensor 104T Detects a change in the position of the display device 100 with respect to the user's head in the vertical direction. As a result, the mounting deviation can be grasped three-dimensionally.
  • the display device 100 includes monitoring units 107L and 107R for detecting the line of sight of the user.
  • the monitoring units 107L and 107R may be collectively referred to as a monitoring unit 107.
  • the monitoring unit 107 can monitor the state of the eyeball by using the corneal reflex or the fundus reflex.
  • these monitoring units it is possible to adjust the position of the image presented to the user to a more appropriate position. For example, when an image presented by the display device 100 is superimposed on an image of the outside world, the image can be displayed at a more appropriate position by detecting the line of sight of the user. That is, it is preferable to include the monitoring unit 107 for presenting AR information.
  • the monitoring unit may be composed of, for example, a line-of-sight detection device.
  • the monitoring unit 107 may be, for example, an imaging type monitoring unit or a photodiode type monitoring unit. Hereinafter, these monitoring units will be described in more detail.
  • the monitoring unit 107L detects the line of sight of the user's left eye.
  • the monitoring unit 107L may be provided at any position of the rim portion 108L, for example, but if the line of sight of the left eye can be detected, the monitoring unit 107L may be provided at any position of another element (for example, the inner rim portion 106L). It may have been.
  • the monitoring unit 107L may be, for example, a photodiode type monitoring unit.
  • the photodiode-type monitoring unit can include, for example, a combination of a light source and a photodiode.
  • the light source is configured to illuminate the left eye.
  • the light source is preferably an infrared illumination light source. This can prevent the user from affecting the recognition of the image of the outside world and the recognition of the image display light.
  • the photodiode may be configured to detect light reflected from the eyeball of light emitted from the light source (particularly infrared light).
  • the photodiode may be capable of detecting, for example, a difference between the amount of reflected light in the black eye portion (pupil) and the amount of reflected light in the white eye portion (sclera).
  • the photodiode-type monitoring unit can detect the line of sight, for example, based on the area ratio of the black eye portion and the area ratio of the white eye portion detected by the photodiode.
  • the display device of the present technology includes a sensor for detecting a change in the position of the display device with respect to the head, whereby the mounting deviation can be detected. By performing the line-of-sight correction based on the mounting deviation detected by the sensor, the line-of-sight detection accuracy by the monitoring unit is improved.
  • the display device of the present technology can detect the line of sight with an accuracy of, for example, 3 mm or less, particularly 2 mm or less, and more particularly 1 mm or less. Line-of-sight detection with such accuracy is particularly preferred for image presentation by Maxwell vision.
  • the monitoring unit 107L may be an imaging type monitoring unit.
  • the image pickup type monitoring unit may include, for example, a combination of a light source and an image pickup element.
  • the light source is configured to irradiate the left eye with light, as in the photodiode system.
  • the light source is preferably an infrared illumination light source.
  • the image pickup device may be configured to be able to obtain, for example, a reflected image (so-called Purkinje image) of the light source in the eyeball (particularly the cornea) and an image capable of acquiring the center of gravity of the pupil.
  • the image pickup device may be, for example, an infrared image pickup device.
  • the monitoring unit of the imaging method can estimate the optical axis of the eyeball based on, for example, the Purkinje image and the image.
  • the monitoring unit can detect the line of sight by converting the estimated optical axis into a line of sight.
  • the display device of the present technology includes a sensor for detecting a change in the position of the display device with respect to the head, whereby the mounting deviation can be detected.
  • a correction value corresponding to the amount of mounting misalignment is prepared in advance (for example, stored in a storage unit or the like), and correction is performed using the correction value according to the occurrence of mounting misalignment.
  • the detection of mounting misalignment is less susceptible to blinking or hair or eyelashes.
  • the number of calibrations can be reduced by making corrections based on the detected mounting deviation.
  • the irradiation unit included in the display device 100 may further include projection position adjusting mechanisms 105L-1 and 105L-2 and 105R-1 and 105R-2 for adjusting the projection position of the image display light emitted from the display device 100. can.
  • these four projection position adjustment mechanisms may be collectively referred to as a projection position adjustment mechanism 105.
  • the projection position adjusting mechanism 105 may be configured to adjust the projection position of the image display light, for example, by following the line of sight.
  • the projection position adjusting mechanism 105 can adjust the projection position of the image display light according to the mounting deviation.
  • the projection position adjustment mechanism 105 can adjust the projection position of the image display light according to the rotational movement of the eyeball or the movement of the line of sight.
  • the position of the image presented to the user can be adjusted to a more appropriate position.
  • the image can be displayed at a more appropriate position by detecting the line of sight of the user. That is, it is preferable to include the monitoring unit 107 for presenting AR information.
  • the projection position adjustment mechanisms it is possible to adjust the position where the image display light is focused in the image display by Maxwell vision.
  • the projection position adjustment mechanisms 105L-1 and 105L-2 adjust the projection position of the image display light projected on the left eye.
  • the projection position adjusting mechanism 105L-1 adjusts the positional relationship between the inner rim portion 106L and the rim portion 108L in the z-axis direction. For example, the projection position adjusting mechanism 105L-1 moves the inner rim portion 106L with respect to the rim portion 108L in the z-axis direction. As a result, the position of the HOE103L in the z-axis direction is adjusted.
  • the projection position adjusting mechanism 105L-2 adjusts the positional relationship between the HOE103L and the inner rim portion 106L in the x-axis direction. For example, the projection position adjusting mechanism 105L-2 moves the HOE103L in the x-axis direction with respect to the inner rim portion 106L. As a result, the position of the HOE103L in the x-axis direction is adjusted.
  • the driving element for driving the adjustment of the positional relationship between the inner rim portion 106L and the rim portion 108L by the projection position adjusting mechanism 105L-1 in the z-axis direction may be, for example, a piezo element, an actuator, or a bimetal. Not limited to.
  • the driving element for driving the adjustment of the positional relationship between the HOE 103L and the inner rim portion 106L by the projection position adjusting mechanism 105L-2 may be, for example, a piezo element, an actuator, or a bimetal, but is limited thereto. Not done.
  • the projection position adjusting mechanism 105L-1 adjusts the positional relationship between the inner rim portion 106L and the rim portion 108L in the z-axis direction, for example, one, two, or three of the sensors 104L, 104R, 104C, and 104T. This can be done based on the change in the position of the display device 100 detected by one or all four. Further, the projection position adjusting mechanism 105L-1 may adjust the positional relationship based on the change in the position and the line of sight detected by the monitoring unit 107L.
  • the projection position adjusting mechanism 105L-2 adjusts the positional relationship between the HOE 103L and the inner rim portion 106L in the x-axis direction, for example, one, two, three of the sensors 104L, 104R, 104C, and 104T. Alternatively, it can be performed based on the change in the position of the display device 100 detected by all four. Further, the projection position adjusting mechanism 105L-2 may adjust the positional relationship based on the change in the position and the line of sight detected by the monitoring unit 107L.
  • the projection position adjustment mechanisms 105R-1 and 105R-2 adjust the projection position of the image display light projected on the right eye.
  • the adjustment may be performed in the same manner as the projection position adjusting mechanisms 105L-1 and 105L-2.
  • the display device 100 includes a control unit 112. As shown in FIG. 11, which is a block diagram showing the main components of the display device 100, the control unit 112 includes an image control unit 181, a projection position control unit 182, a line-of-sight correction unit 183, a processing unit 191 and a matching unit 192. include. Further, as described above, the display device 100 shown in FIG. 11 is arranged in front of the eyes with a light source unit 101, a sensor 104, a projection position adjusting mechanism 105 as an irradiation unit, and a monitoring unit (line-of-sight detection mechanism) 107.
  • a light source unit 101 a sensor 104
  • a projection position adjusting mechanism 105 as an irradiation unit
  • a monitoring unit line-of-sight detection mechanism
  • the irradiation unit 201 and the follow-up unit 202 include a member having a see-through property (for example, a reflective or transmissive volume hologram, a reflective or transmissive relief hologram, etc.).
  • the display device 100 does not have to include the tracking unit 202.
  • the storage unit 184 may be provided in the display device 100, but may be provided in an external device other than the display device 100.
  • FIG. 13 is a diagram showing a second optical element 300, which is an example of a member arranged in front of the eye, that reflects predetermined light and transmits light other than the predetermined light.
  • FIG. 14 is a diagram showing a second optical element 400, which is another example of a member arranged in front of the eye, that reflects predetermined light and transmits light other than the predetermined light.
  • the device shown in FIG. 13 includes a second optical element 300, a liquid crystal panel 301, and a special liquid crystal lens 302.
  • the second optical element 300 is composed of a polarizing beam splitter (PBS), and although not shown, the second optical element (polarizing beam splitter) 300 is provided with a ⁇ / 4 plate. ..
  • PBS polarizing beam splitter
  • the device shown in FIG. 13 does not have to be configured with the special liquid crystal lens 302, and instead, a lens may be configured between the liquid crystal panel 301 and the second optical element 300.
  • the polarized light (image display light) L31 from the liquid crystal panel 310 is reflected by the region H31 of the second optical element 300 and transmitted through the regions T31-1 and T31-2 of the special liquid crystal lens 302. Then, it reaches the user's eye 310 (pupil 310-1), and the polarized light (image display light) L32 from the liquid crystal panel 301 is reflected by the region H32 of the second optical element (polarized beam splitter) 300, and is a special liquid crystal.
  • FIG. 14 shows a second optical element 400, an OLED (Organic Light Emitting Diode) panel (organic EL) 401, and a lens 402.
  • the second optical element 400 is. It is an aspherical half mirror, and is composed of a first mirror member 400-1 and a second mirror member 400-2.
  • the second optical element 400 may be a combination of a half mirror 400-1 and a half mirror 400-2, or a combination of a polarizing beam splitter (PBS) 400-1 and a half mirror 400-2. good.
  • PBS polarizing beam splitter
  • a ⁇ / 4 plate may be arranged on the half mirror 400-2. .
  • the first mirror member 400-1 and / or the second mirror member 400-2 is a half mirror, the light transmittance is preferably 50% or more.
  • the light beam (image display light) L41 from the OLED (OrganicLightEmittingDiode) panel (organic EL) 401 is the region H41 of the first mirror member 400-1 constituting the second optical element 400. Reflected by -1, subsequently reflected by the region H41-2 of the second mirror member 400-2 constituting the second optical element 400, transmitted through the region T41 of the first mirror member 400-1, and passed through the user's eye. Upon reaching 410 (pupil 410-1), the light beam (image display light) L42 from the OLED panel 401 is reflected by the region H42-1 of the first mirror member 400-1 constituting the second optical element 400, and subsequently.
  • the light beam (image display light) L43 from the OLED panel 401 is reflected in the region H43-1 of the first mirror member 400-1 constituting the second optical element 400, and subsequently, the second optical element 400. It is reflected in the region H43-2 of the second mirror member 400-2, passes through the region T43 of the first mirror member 400-1, and reaches the user's eye 410 (pupil 410-1).
  • the contents relating to the two examples of the members arranged in front of the eyes included in the irradiation unit 201 described with reference to FIGS. 13 and 14 are the second embodiments according to the present technology described later. It can also be applied to the display device 100-1.
  • control unit 112 will be described.
  • the image control unit 181 controls the projection of the image display light by the image display unit.
  • the image control unit 181 drives, for example, the light source units 101L and 101R, particularly the laser light source and the scanning mirror included in these light source units, to output the image display light.
  • the image control unit 181 can acquire image data stored in, for example, the storage unit 184, and output the image display light to the light source units 101L and 101R based on the image data.
  • the image control unit 181 may correct the image data based on the change in the position of the display device 100 with respect to the head detected by the sensor 104.
  • the image control unit 181 may output the image display light to the light source units 101L and 101R based on the corrected image data. That is, the display device 100 may correct the image based on the change in the position detected by the sensor that detects the change in the position of the display device with respect to the head.
  • the projection position control unit 182 controls the projection position adjustment mechanisms 105L-1, 105L-2, 105R-1 and 105R-2, whereby the projection position of the image display light can be controlled.
  • the projection position control unit 182 is one to four of the projection position adjustment mechanisms 105L-1, 105L-2, 105R-1, and 105R-2 based on the line of sight detected by the monitoring units 107L and 107R. Can be driven to adjust the projection position of the image display light.
  • the projection position of the image display light can be adjusted so as to follow the line of sight.
  • the projection position control unit 182 adjusts one to four of the projection position adjustment mechanisms 105L-1, 105L-2, 105R-1 and 105R-2 based on the line of sight corrected by the line-of-sight correction unit 183 described later. It may be driven to adjust the projection position of the image display light. For example, the projection position of the image display light can be adjusted so as to follow the corrected line of sight.
  • the projection position control unit 182 is data on changes in the position of the display device 100 with respect to the head detected by one to four of the sensors 104L, 104R, 104C, and 104T (hereinafter, also referred to as “displacement data”). Based on the above, one to four of the projection position adjusting mechanisms 105L-1, 105L-2, 105R-1 and 105R-2 may be driven to adjust the projection position of the image display light.
  • the projection position control unit 182 can calculate the position adjustment amount by each projection position adjustment mechanism based on the displacement data and the correction coefficient, for example.
  • the projection position control unit 182 can drive each projection position adjustment mechanism so that the positional relationship is changed by the calculated position adjustment amount.
  • the projection position control unit 182 may acquire a correction coefficient from, for example, a correction table stored in advance in the storage unit 184, and use the correction coefficient for calculating the position adjustment amount.
  • the correction table may have, for example, a plurality of correction coefficients, and the projection position control unit 182 may select a predetermined correction coefficient from the plurality of correction coefficients according to the displacement data. Further, the correction table may be provided for each projection position adjusting mechanism, for example.
  • the correction table may be provided in the display device 100 in advance, or may be updated according to the user's use of the display device 100.
  • the accuracy of projection position control can be improved by selecting or updating the correction table or correction coefficient.
  • the projection position control unit 182 may use the line of sight detected by the monitoring unit or the line of sight corrected by the line of sight correction unit 183 for calculating the position adjustment amount.
  • the line-of-sight correction unit 183 corrects the line-of-sight detected by the monitoring units 107L and 107R based on the displacement data. As a result, the line-of-sight correction unit 183 makes it possible to identify the line-of-sight in consideration of the mounting deviation, and the line-of-sight detection accuracy is improved.
  • the correction may be made on the optical axis of the eyeball, on the optical axis of the eyeball, or on any other reference axis.
  • the line-of-sight correction unit 183 may also acquire a correction coefficient from, for example, a correction table stored in advance in the storage unit 184, and use the correction coefficient for the line-of-sight correction.
  • the correction table may have, for example, a plurality of correction coefficients, and the line-of-sight correction unit 183 may select a predetermined correction coefficient from these plurality of correction coefficients according to the displacement data.
  • the correction table may be provided in advance in the display device 100, or may be updated according to the use of the head-worn display device 100 by the user. The accuracy of line-of-sight correction can be improved by selecting or updating the correction table or correction coefficient.
  • the display device 100 may further include a storage unit 184.
  • the storage unit includes data related to the image display light projected by the image display unit, a correction table used for controlling the projection position by the projection position control unit 122, and a correction table used for line-of-sight correction by the line-of-sight correction unit 123. It may be stored.
  • the processing unit 191 processes the characteristic distribution information of the eyeball.
  • the characteristic distribution of the eyeball is acquired, for example, by using a fundus camera, or by using an OCT, a refractometer, or a photodetector that detects return light from an IR scan.
  • the characteristic distribution of the eyeball is qualitative (eg, the size and shape of the eyeball, the size and shape of the macula (eg, the depressed shape), the size and shape of the blind spot (eg, the depressed shape), and the tomographic shape of the retina (eg, the depressed shape).
  • the processing unit 191 can define the coordinate system based on the characteristic distribution of the eyeball. It should be noted that the processing unit 191 does not define the coordinate system based on the characteristic distribution of the eyeball, and the control unit 112, for example, the defining unit that defines the coordinate system is separate from the processing unit 191. It may be provided independently.
  • the coordinate system is defined based on at least two selected from the group consisting of the first fovea of the right eye, the first blind spot of the right eye, the second fovea of the left eye and the second blind spot of the left eye.
  • the processing unit 191 may control the display image and the display position based on the rotation information of the eyeball, and in that case, the processing can be lighter than the pattern matching.
  • the matching unit 192 matches the characteristic distribution of the eyeball with the state of the eyeball.
  • the matching unit 192 determines the characteristic distribution of the eyeball and the state of the eyeball for which the image is to be presented (the eyeball for which the image is to be presented may be referred to as a real eye) via the coordinate system described above.
  • the deviation between the visual axis and the optical axis can be acquired (Gaze Calibration), and a map reflecting the offset can be created.
  • the contents of the description of the display device of the first embodiment (display device example 1) according to the present technology will be described in the second embodiment (display device) according to the present technology, which will be described later, unless there is a technical contradiction. 2), the display method of the third embodiment (display method example 1) according to the present technology, and the display method of the fourth embodiment (display method example 2) according to the present technology. be able to.
  • the display device of the second embodiment (example 2 of the display device) includes a light source, a processing unit that processes the characteristic distribution of the eyeball, a monitoring unit that monitors the state of the eyeball, and a characteristic distribution of the eyeball.
  • a matching unit for matching the state of the eyeball, an irradiation unit for irradiating an image display light emitted from a light source at a predetermined position on the retina, and an acquisition unit for acquiring the characteristic distribution of the eyeball are provided.
  • a display device A display device.
  • the display device of the second embodiment according to the present technology is a display device in which an acquisition unit for acquiring the characteristic distribution of the eyeball is added to the display device of the first embodiment according to the present technology.
  • the display device of the second embodiment according to the present technology may further include a tracking unit.
  • the display device of the second embodiment according to the present technology can be applied to, for example, an eyewear display, a head-mounted display, or the like.
  • the processing unit that processes the characteristic distribution of the eyeball is, for example, the characteristic distribution information of the eyeball obtained from an acquisition unit (for example, a fundus camera, an OCT, a photodetector that detects return light from an IR scan, a reflex meter, etc.).
  • an acquisition unit for example, a fundus camera, an OCT, a photodetector that detects return light from an IR scan, a reflex meter, etc.
  • the monitoring unit can monitor the state of the eyeball using, for example, the corneal reflex or the fundus reflex, and acquire the optical axis.
  • the matching unit can acquire the deviation between the visual axis and the optical axis (Gaze Calibration) and create a map that reflects the offset.
  • the irradiation unit can be light-modulated according to a laser light source, an image display (projector), and an eyeball characteristic distribution, can adjust the amount of light according to external light, and can be controlled including distortion correction.
  • the tracking unit can follow the display image for the eye movement by eye tracking, the light beam is steered, and the irradiation image / irradiation position is changed based on the rotation information of the eyeball.
  • FIG. 12 is a block diagram showing the main components of the display device (display device 100-1) of the second embodiment according to the present technology.
  • the display device 100-1 includes a light source unit 101, a sensor 104, a projection position adjusting mechanism 105 as an irradiation unit, a monitoring unit (line-of-sight detection mechanism) 107, and a see-through member (for example, a member arranged in front of the eye). It includes an irradiation unit 201 including a reflection type or transmission type volume hologram, a reflection type or transmission type relief hologram, etc., a tracking unit 202, an acquisition unit 301, and a control unit 112. The display device 100-1 does not have to include the tracking unit 202.
  • the control unit 112 includes an image control unit 181, a projection position control unit 182, a line-of-sight correction unit 183, a processing unit 191 and a matching unit 192.
  • the image control unit 181 controls the projection of the image display light by the image display unit.
  • the image control unit 181 drives, for example, the light source units 101L and 101R, particularly the laser light source and the scanning mirror included in these light source units, to output the image display light.
  • the image control unit 181 can acquire image data stored in, for example, the storage unit 184, and output the image display light to the light source units 101L and 101R based on the image data.
  • the image control unit 181 may correct the image data based on the change in the position of the display device 100 with respect to the head detected by the sensor 104.
  • the image control unit 181 may output the image display light to the light source units 101L and 101R based on the corrected image data. That is, the display device 100 may correct the image based on the change in the position detected by the sensor that detects the change in the position of the display device with respect to the head.
  • the projection position control unit 182 controls the projection position adjustment mechanisms 105L-1, 105L-2, 105R-1 and 105R-2, whereby the projection position of the image display light can be controlled.
  • the projection position control unit 182 is one to four of the projection position adjustment mechanisms 105L-1, 105L-2, 105R-1, and 105R-2 based on the line of sight detected by the monitoring units 107L and 107R. Can be driven to adjust the projection position of the image display light.
  • the projection position of the image display light can be adjusted so as to follow the line of sight.
  • the projection position control unit 182 adjusts one to four of the projection position adjustment mechanisms 105L-1, 105L-2, 105R-1 and 105R-2 based on the line of sight corrected by the line-of-sight correction unit 183 described later. It may be driven to adjust the projection position of the image display light. For example, the projection position of the image display light can be adjusted so as to follow the corrected line of sight.
  • the projection position control unit 182 is data on changes in the position of the display device 100 with respect to the head detected by one to four of the sensors 104L, 104R, 104C, and 104T (hereinafter, also referred to as “displacement data”). Based on the above, one to four of the projection position adjusting mechanisms 105L-1, 105L-2, 105R-1 and 105R-2 may be driven to adjust the projection position of the image display light.
  • the projection position control unit 182 can calculate the position adjustment amount by each projection position adjustment mechanism based on the displacement data and the correction coefficient, for example.
  • the projection position control unit 182 can drive each projection position adjustment mechanism so that the positional relationship is changed by the calculated position adjustment amount.
  • the projection position control unit 182 may acquire a correction coefficient from, for example, a correction table stored in advance in the storage unit 184, and use the correction coefficient for calculating the position adjustment amount.
  • the correction table may have, for example, a plurality of correction coefficients, and the projection position control unit 182 may select a predetermined correction coefficient from the plurality of correction coefficients according to the displacement data. Further, the correction table may be provided for each projection position adjusting mechanism, for example.
  • the correction table may be provided in the display device 100 in advance, or may be updated according to the user's use of the display device 100.
  • the accuracy of projection position control can be improved by selecting or updating the correction table or correction coefficient.
  • the projection position control unit 182 may use the line of sight detected by the monitoring unit or the line of sight corrected by the line of sight correction unit 183 for calculating the position adjustment amount.
  • the line-of-sight correction unit 183 corrects the line-of-sight detected by the monitoring units 107L and 107R based on the displacement data. As a result, the line-of-sight correction unit 183 makes it possible to identify the line-of-sight in consideration of the mounting deviation, and the line-of-sight detection accuracy is improved.
  • the correction may be made on the optical axis of the eyeball, on the optical axis of the eyeball, or on any other reference axis.
  • the line-of-sight correction unit 183 may also acquire a correction coefficient from, for example, a correction table stored in advance in the storage unit 184, and use the correction coefficient for the line-of-sight correction.
  • the correction table may have, for example, a plurality of correction coefficients, and the line-of-sight correction unit 183 may select a predetermined correction coefficient from these plurality of correction coefficients according to the displacement data.
  • the correction table may be provided in advance in the display device 100, or may be updated according to the use of the head-worn display device 100 by the user. The accuracy of line-of-sight correction can be improved by selecting or updating the correction table or correction coefficient.
  • the display device 100 may further include a storage unit 184.
  • the storage unit includes data related to the image display light projected by the image display unit, a correction table used for controlling the projection position by the projection position control unit 122, and a correction table used for line-of-sight correction by the line-of-sight correction unit 123. It may be stored.
  • the processing unit 191 processes the characteristic distribution information of the eyeball.
  • the characteristic distribution of the eyeball can be acquired by the acquisition unit 301. For example, it may be acquired using a fundus camera included in the acquisition unit 301, or may be acquired using an OCT, a reflex meter, or a photodetector for detecting return light from an IR scan included in the acquisition unit 301.
  • the characteristic distribution of the eyeball is qualitative (eg, the size and shape of the eyeball, the size and shape of the macula (eg, the depressed shape), the size and shape of the blind spot (eg, the depressed shape), and the tomographic shape of the retina (eg, the depressed shape).
  • the processing unit 191 can define the coordinate system based on the characteristic distribution of the eyeball. It should be noted that the processing unit 191 does not define the coordinate system based on the characteristic distribution of the eyeball, and the control unit 112, for example, the defining unit that defines the coordinate system is separate from the processing unit 191. It may be provided independently.
  • the coordinate system is defined based on at least two selected from the group consisting of the first fovea of the right eye, the first blind spot of the right eye, the second fovea of the left eye and the second blind spot of the left eye.
  • the processing unit 191 may control the display image and the display position based on the rotation information of the eyeball, and in that case, the processing can be lighter than the pattern matching.
  • the matching unit 192 matches the characteristic distribution of the eyeball with the state of the eyeball.
  • the matching unit 192 determines the characteristic distribution of the eyeball and the state of the eyeball for which the image is to be presented (the eyeball for which the image is to be presented may be referred to as a real eye) via the coordinate system described above.
  • the deviation between the visual axis and the optical axis can be acquired (Gaze Calibration), and a map reflecting the offset can be created.
  • the display method of the third embodiment (example 1 of the display method) according to the present technology is to process the characteristic distribution of the eyeball, monitor the state of the eyeball, and determine the characteristic distribution of the eyeball and the state of the eyeball. It is a display method including matching and irradiating a predetermined place on the retina with image display light emitted from a light source.
  • the display method of the third embodiment (display method example 1) according to the present technology uses the display device (for example, display device 100) of the first embodiment (display device example 1) according to the present technology. Will be executed.
  • step S101 taking a photograph of the fundus in front view
  • step S102 taking a photograph of the fundus when rotating up, down, left and right
  • step S103 detecting the position of the fovea centralis and the blind spot in each fundus photograph
  • step S201 creating a fundus map
  • step S202 acquiring eyeball characteristics shown in 5
  • display device for example, display device 100
  • display device example 1 display device example 1
  • an external device eg, fundus camera, OCT, reflex meter, etc.
  • the display method of the fourth embodiment (example 2 of the display method) according to the present technology is to process the characteristic distribution of the eyeball, monitor the state of the eyeball, and determine the characteristic distribution of the eyeball and the state of the eyeball. It is a display method including matching, irradiating a predetermined place of the retina with an image display light emitted from a light source, and further acquiring a characteristic distribution of an eyeball. That is, the display method of the fourth embodiment according to the present technology is a display method in which the acquisition of the characteristic distribution of the eyeball is added to the display method of the third embodiment according to the present technology.
  • the display method of the fourth embodiment (display method example 2) according to the present technology is the display device (for example, display device 100-1) of the second embodiment (display device example 2) according to the present technology. Performed using.
  • FIGS. 1 and 5 described above can be applied to the flow of the display method of the fourth embodiment (example 2 of the display method) according to the present technology.
  • this technology can also have the following configurations.
  • Light source and A processing unit that processes the characteristic distribution of the eyeball A monitoring unit that monitors the condition of the eyeball, A matching unit that matches the characteristic distribution of the eyeball with the state of the eyeball, An irradiation unit that irradiates a predetermined location on the retina with image display light emitted from the light source, and an irradiation unit.
  • a display device [2] The display device according to [1], further comprising an acquisition unit for acquiring the characteristic distribution of the eyeball.
  • the acquisition unit is composed of at least one selected from the group consisting of a fundus camera, an OCT, a reflex meter, and a photodetector for detecting return light from an IR scan.
  • the monitoring unit monitors the state of the eyeball using the corneal reflex or the fundus reflex.
  • a coordinate system is defined based on the characteristic distribution of the eyeball, 4.
  • the coordinate system is defined on the basis of at least two selected from the group consisting of the first fovea of the right eye, the first blind spot of the right eye, the second fovea of the left eye and the second blind spot of the left eye, [7].
  • the display device which is an optical element.
  • the display device according to any one of [1] to [12], further comprising a wavelength dispersion compensating member.
  • the wavelength dispersion compensating member is a first optical element including a reflective or transmissive volume hologram, a reflective or transmissive relief hologram, or a metasurface.
  • the acquisition of the characteristic distribution of the eyeball is acquired using at least one selected from the group consisting of an OCT, a reflex meter, and a photodetector for detecting return light from an IR scan.
  • the image display light is made to follow the movement of the eyeball by using at least one selected from the group consisting of a combiner, a relay system drive unit, a mirror drive unit, and a retardation panel.
  • Matching the characteristic distribution of the eyeball with the state of the eyeball includes matching the characteristic distribution of the eyeball with the state of the eyeball for which an image is to be presented via the coordinate system.
  • the coordinate system is defined on the basis of at least two selected from the group consisting of the first fovea of the right eye, the first blind spot of the right eye, the second fovea of the left eye and the second blind spot of the left eye, [21].
  • Description display method [23] The display method according to any one of [15] to [22], wherein the light source is a laser light source.
  • the member reflects a predetermined optical element including a reflective or transmissive volume hologram, a reflective or transmissive relief hologram or a metasurface, or a predetermined light and transmits light other than the predetermined light.
  • the wavelength dispersion compensating member is a first optical element including a reflective or transmissive volume hologram, a reflective or transmissive relief hologram, or a metasurface.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Ophthalmology & Optometry (AREA)
  • General Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Human Computer Interaction (AREA)
  • Molecular Biology (AREA)
  • Veterinary Medicine (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biomedical Technology (AREA)
  • Public Health (AREA)
  • Medical Informatics (AREA)
  • Biophysics (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Eye Examination Apparatus (AREA)

Abstract

ユーザの眼球特性に応じた映像提示の制御性の更なる向上を実現できる表示装置を提供すること。 光源と、眼球の特性分布を処理する処理部と、該眼球の状態を監視する監視部と、該眼球の特性分布と該眼球の状態とをマッチングさせるマッチング部と、網膜の所定の場所に、該光源部から出射された映像表示光を照射する照射部と、を備える、表示装置を提供する。

Description

表示装置及び表示方法
 本技術は、表示装置及び表示方法に関する。
 近年、例えば現実の風景などの外界の光景に画像を重ねて表示する技術に注目が集まっている。当該技術は、拡張現実(AR)技術とも呼ばれる。この技術を利用した製品の一つとして、ヘッドマウントディスプレイが挙げられる。ヘッドマウントディスプレイは、ユーザの頭部に装着して使用される。ヘッドマウントディスプレイを用いた映像(画像)の表示方法では、例えば外界からの光に加えてヘッドマウントディスプレイからの光がユーザの眼に到達することで、外界の像に当該ディスプレイからの光による映像が重畳されているようにユーザは認識する。
 例えば、特許文献1では、光源から照射された光の網膜上での照射位置を検出して、網膜上での照射位置を調整することができる画像表示装置が提案されている。
国際公開第2012/169064号
 しかしながら、特許文献1で提案された技術では、ユーザの眼球特性に応じた映像提示の制御性の更なる向上が図れないおそれがある。
 そこで、本技術は、このような状況に鑑みてなされたものであり、ユーザの眼球特性に応じた映像提示の制御性の更なる向上を実現できる表示装置及び表示方法を提供することを主目的とする。
 本発明者らは、上述の目的を解決するために鋭意研究を行った結果、驚くべきことに、ユーザの眼球特性に応じて映像提示の制御性を更に向上することができることに成功し、本技術を完成するに至った。
 すなわち、本技術は、第1の側面として、
 光源と、
 眼球の特性分布を処理する処理部と、
 該眼球の状態を監視する監視部と、
 該眼球の特性分布と該眼球の状態とをマッチングさせるマッチング部と、
 網膜の所定の場所に、該光源から出射された映像表示光を照射する照射部と、
 を備える、表示装置を提供する。
 本技術に係る第1の側面の表示装置は、
 前記眼球の前記特性分布を取得する取得部を更に備えていてもよく、
 その場合、前記取得部は、眼底カメラ、OCT、レフラクトメーター及びIRスキャンからの戻り光を検知する光検知装置からなる群から選ばれる少なくとも1つから構成されてよい。
 本技術に係る第1の側面の表示装置において、
 前記監視部は、角膜反射又は眼底反射を用いて前記眼球の状態を監視することができる。
 本技術に係る第1の側面の表示装置は、
 前記眼球の運動に、前記映像表示光を追従させる追従部を更に備えていてもよく、
 その場合、前記追従部は、コンバイナ、リレー系駆動部、ミラー駆動部及び位相差パネルからなる群から選ばれる少なくとも1つから構成されてよい。
 本技術に係る第1の側面の表示装置において、
 前記眼球の前記特性分布に基づいて座標系を規定してよく、
 その場合、前記マッチング部は、該座標系を介して、前記眼球の特性分布と、映像を提示しようとする前記眼球の状態とをマッチングすることができる。
 前記座標系は、右目の第1中心窩、右目の第1盲点、左目の第2中心窩及び左目の第2盲点からなる群から選ばれる少なくとも2つに基づいて定義されてよい。
 本技術に係る第1の側面の表示装置において、
 前記光源はレーザ光源でよい。
 本技術に係る第1の側面の表示装置は、
 走査型のミラーを更に備えていてもよく、
 該走査型のミラーは、前記映像表示光を前記網膜に照射することができる。
 本技術に係る第1の側面の表示装置において、
 前記照射部は、眼前に配される部材を更に備えていてもよく、
 該部材はシースルー性を有していてよく、
 その場合、前記部材が、反射型若しくは透過型の体積ホログラム、反射型若しくは透過型のレリーフホログラム又はメタサーフェイスを含む第1光学素子、又は所定の光を反射し、該所定の光以外の光を透過する第2光学素子でよい。
 本技術に係る第1の側面の表示装置は、
 波長分散補償部材を更に備えていてもよく、
 その場合、前記波長分散補償部材は、反射型若しくは透過型の体積ホログラム、反射型若しくは透過型のレリーフホログラム又はメタサーフェイスを含む第1光学素子でよい。
 また、本技術は、第2の側面として、
 眼球の特性分布を処理することと、
 該眼球の状態を監視することと、
 該眼球の該特性分布と該眼球の状態とをマッチングさせることと、
 網膜の所定の場所に、光源から出射された映像表示光を照射することと、
 を含む、表示方法を提供する。
 本技術に係る第2の側面の表示方法は、
 前記眼球の前記特性分布を取得することを更に含んでもよい。
 本技術によれば、ユーザの眼球特性に応じた映像提示の制御性の更なる向上が実現され得る。なお、ここに記載された効果は、必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
図1は、本技術を適用した表示装置による映像の表示のフローの一例を示す図である。 図2は、右目の眼球の左右の回転に伴って、中心窩と盲点との位置が変化することを説明するための図である。 図3は、眼底マップと映像を提示しようとする眼球の状態とのマッチングをした結果を説明するための図である。 図4は、補間眼底マップと映像を提示しようとする眼球の状態とのマッチングをした結果を説明するための図である。 図5は、本技術を適用した表示装置による映像の表示のフローの別の一例を示す図である。 図6は、正常に見えること、ゆがんで見えること(変視症)及び中心が暗く見えること(中心暗点)を説明するための図である。 図7は、眼球歪みが補正されることを説明するための図である。 図8は、眼球ムラが補正されることを説明するための図である。 図9は、本技術を適用した表示装置の構成例を示す上面図である。 図10は、本技術を適用した表示装置の構成例を示す正面図である。 図11は、本技術を適用した第1の実施形態の表示装置の構成例を示すブロック図である。 図12は、本技術を適用した第2の実施形態の表示装置の構成例を示すブロック図である。 図13は、本技術を適用した表示装置が備える、眼前に配される部材の一例を示す図である。 図14は、本技術を適用した表示装置が備える、眼前に配される部材の別の一例を示す図である。
 以下、本技術を実施するための好適な形態について説明する。以下に説明する実施形態は、本技術の代表的な実施形態の一例を示したものであり、これにより本技術の範囲が狭く解釈されることはない。なお、図面を用いた説明においては、同一又は同等の要素又は部材には同一の符号を付し、重複する説明は省略する。
 なお、説明は以下の順序で行う。
 1.本技術の概要
 2.第1の実施形態(表示装置の例1)
 3.第2の実施形態(表示装置の例2)
 4.第3の実施形態(表示方法の例1)
 5.第4の実施形態(表示方法の例2)
<1.本技術の概要>
 まず、本技術の概要について説明をする。本技術は、表示装置及び表示方法に関するものである。
 本技術によると、眼球の特性分布(形状・光学特性)を取得し、分布上に規定した座標とアイセンスの結果をマッチングすることで、網膜上の所定の位置に眼球の特性分布に応じた映像表示を行うことができる。
 まず、本技術以外の他の技術の例について説明をする。
 他の技術の例1として、平面ディスプレイ・パネル拡大方式アイウェアに関する技術の例がある。この技術の例1は、焦点面が固定されているため、網膜上の刺激部位を厳密に特定できないおそれがある。また、他の技術の例2として、レーザ網膜直描に関する技術の例がある。この技術の例2において、ハーフミラーを用いると、シースルー性が低く、外界の物体を注目させるのに不適な場合があり、HOE(ホログラフィック光学素子)を用いると、画角が狭く、波長分散があり、刺激の提示範囲・精度が困難な場合がある。さらに、他の技術の例3として、位置調整(追従)に関する技術の例がある。この技術の例3は、パターンマッチング(パターンは、例えば血管などの網膜パターン)による位置調整をすることがあり、このため、参照データが大きく処理が重いことがある。
 本技術は、以上の状況を鑑みてなされたものである。
 本技術によれば、ユーザの眼球特性に応じた映像提示の制御性の更なる向上が実現され得る。また、本技術によれば、ユーザの眼球の動き(眼球運動)に応じた映像提示の制御性の更なる向上も実現され得る。
 具体的には、本技術においては、眼球の特性分布情報を取得し、座標系を規定し、座標系で表示映像、表示位置を規定するため、パターンマップを使うよりもデータが少なくて済むことができ、眼球の運動情報(例えば、眼球の回転情報)に基づいて表示映像(提示映像)及び表示位置(提示位置)を制御するため、パターンマッチングに比べて処理が軽く済むことができる。座標系は、例えば、右目の中心窩(右目の中心窩を第1中心窩と称する場合がある。)、右目の盲点(右目の盲点を第1盲点と称する場合がある。)、左目の第2中心窩(左目の中心窩を第2中心窩と称する場合がある。)及び左目の第2盲点(左目の盲点を第2盲点と称する場合がある。)からなる群から選ばれる少なくとも2つに基づいて定義される。
 また、本技術においては、好ましくは、レーザ光源を使用するため、特定波長の刺激を提示することができ、そして、好ましくは、眼前に配される部材がシースルー性を有するため、外界の物体への注視や無意識的な刺激の提示が可能であり、さらに、好ましくは、波長分散補償部材が用いられるので、波長分散を補償することができ、正確に網膜上の所定の点(任意の点)の刺激が可能である。
 眼前に配される部材としては、例えば、反射型若しくは透過型の体積ホログラム、反射型若しくは透過型のレリーフホログラム、メタサーフェイスを含む第1光学素子、所定の光を反射し、該所定の光以外の光を透過する第2光学素子等が挙げられる。メタサーフェイスを含む第1光学素子は、例えば、第1光学素子の表面に、誘電体や金属を狭い間隔で周期的に配置した構造を有してよく、特定の周波数帯域の光を、偏向させることができる。
 第2光学素子は、ハーフミラー(光透過率50%以上であることが好ましい。)、特定の波長(光源の波長)だけを反射してそれ以外は透過するバンドパスフィルター、特定の偏光を反射する偏光ビームスプリッター等が挙げられる。
 波長分散補償部材としては、例えば、反射型若しくは透過型の体積ホログラム、反射型若しくは透過型のレリーフホログラム、メタサーフェイスを含む第1光学素子等が挙げられる。波長分散補償部材としてのメタサーフェイスを含む第1光学素子も、上述したとおり、例えば、第1光学素子の表面に、誘電体や金属を狭い間隔で周期的に配置した構造を有してよく、特定の周波数帯域の光を、偏向させることができる。
 以下、本技術を実施するための好適な形態について図面を参照しながら詳細に説明する。以下に説明する実施形態は、本技術の代表的な実施形態の一例を示したものであり、これにより本技術の範囲が狭く解釈されることはない。
<2.第1の実施形態(表示装置の例1)>
 本技術に係る第1の実施形態(表示装置の例1)の表示装置は、光源と、眼球の特性分布を処理する処理部と、眼球の状態を監視する監視部と、眼球の特性分布と該眼球の状態とをマッチングさせるマッチング部と、網膜の所定の場所に、光源から出射された映像表示光を照射する照射部と、を備える、表示装置である。本技術に係る第1の実施形態の表示装置は、追従部を更に備えていてもよい。本技術に係る第1の実施形態の表示装置は、例えば、アイウェアディスプレイ、ヘッドマウントディスプレイ等に適用することができる。
 眼球の特性分布を処理する処理部は、例えば、外部装置(例えば、眼底カメラ、OCT、IRスキャンからの戻り光を検知する光検知装置、レフラクトメーター等)から得られた眼球の特性分布情報を処理する。監視部は、例えば、角膜反射又は眼底反射を用いて眼球の状態を監視し、光軸を取得することができる。マッチング部は、視軸と光軸とのずれを取得し(Gaze Calibration)、オフセットを反映したマップを作ることができる。照射部は、レーザ光源、映像表示(プロジェクタ)、眼球特性分布に応じて、光変調可能であり、外光に応じて光量調整可能であり、ひずみ補正を含む制御が可能である。追従部は、アイトラッキングによる眼球運動に対する表示映像を追従することができ、光線がステアリングされて、眼球の回転情報に基づいて照射映像・照射位置が変更される。
 まず、図1を用いて、本技術に係る第1の実施形態の表示装置による映像の表示のフローの一例を説明する。
 図1に示されるステップS101~ステップS103で眼底マップを作成する。より詳しくは、ステップS101において、眼底カメラ等を用いて正面視の眼底写真を撮影し、ステップS102において、眼底カメラ等を用いて上下左右の回転時の眼底写真を撮影し、ステップS103において、ステップS101及びステップS102において撮影がされたそれぞれの眼底写真内の中心窩及び盲点位置を検出する。
 ステップS101~S103について、図2を用いて具体的に説明する。図2は、右目の眼球の左右の回転に伴って、中心窩と盲点との位置が変化することを説明するための図である。図2中の図2A-2は、ステップS101における正面視の右目の眼底写真であり、図2B-2は、正面視における右目の眼球20を模式的に示した上面図である。図2中の図2A-1は、ステップS102における左回転時の右目の眼底写真であり、図2B-1は、眼球の左回転時の右目の眼球20を模式的に示した上面図である。図2中の図2A-3は、ステップS102における右回転時の右目の眼底写真であり、図2B-3は、眼球の右回転時の右目の眼球20を模式的に示した上面図である。
 図2A-1と図2A-2とを比較すると、図2A-2に示される中心窩30-2に対して、図2A-1に示される中心窩30-1は左方向の位置に移動し、同様に、図2A-2に示される盲点31-2に対して、図2A-1に示される盲点31-1も左方向の位置に移動する。
 なお、図2A-2に示される中心窩30-2及び盲点31-2の位置関係(中心窩30-2と盲点31-2との距離)と、図2A-1に示される中心窩30-1及び盲点31-1の位置関係(中心窩30-1と盲点31-1との距離)とは略同一である。
 図2A-3と図2A-2とを比較すると、図2A-2に示される中心窩30-2に対して、図2A-3に示される中心窩30-3は右方向の位置に移動し、同様に、図2A-2に示される盲点31-2に対して、図2A-3に示される盲点31-3も右方向の位置に移動する。
 なお、図2A-2に示される中心窩30-2及び盲点31-2の位置関係(中心窩30-2と盲点31-2との距離)と、図2A-3に示される中心窩30-3及び盲点31-3の位置関係(中心窩30-3と盲点31-3との距離)とは略同一である。
 図1に示されるステップS104~ステップS105でアイセンス(アイトラッキング)結果と眼底マップとのマッチングをする。より詳しくは、ステップS104において、本技術に係る第1の実施形態の表示装置を用いてGaze Calibration(ゲイズ・キャリブレーション)を行い、ステップS105において、表示系の光軸中心と中心窩とのずれを算出する。
 ステップS104~ステップS105について、図3を用いて具体的に説明する。図3は、眼底マップと映像を提示しようとする眼球の状態とのマッチングをした結果を説明するための図である。図3Aに示されるように、光軸1(Optical Vector)と、視軸(Gaze Vector)2とは、θの角度だけずれている。光軸1は、瞳(瞳孔)10の中心を通る角膜法線であり、視軸2は、節点(水晶体中央後面)と中心窩30とを結ぶ軸である。
 図3Bに示されるように、盲点31は、映像表示範囲(画角)50を構成する第1象限51(例えば、X軸が正方向であって、Y軸が正方向である領域)、第2象限52(例えば、X軸が負方向であって、Y軸が正方向である領域)、第3象限53(例えば、X軸が負方向であって、Y軸が負方向である領域)及び第4象限54(例えば、X軸が正方向であって、Y軸が負方向である領域)のうち、第1象限51と第4象限54とにまたがって存在している。
 図1に示されるステップS106~ステップS108は、映像提示状態で行われる。より詳しくは、ステップS106において、Gaze Tracking(ゲイズ・トラッキング、視線追跡)を行う。例えば、ステップS106で、眼球の動きに追従し、瞳孔位置検出をし、所望の点の画角を算出したり、赤外光を描画光軸に乗せ、眼底反射(盲点と中心窩とは反射率は異なる。)を検出する。ステップS107において、補間眼底マップが生成される。補間眼底マップは、眼球の上下左右回転の間を補間して生成される。例えば、補間眼底マップは、ステップS101~ステップS103において作成された眼底マップが用いた眼球の上下左右の回転レベルよりは小さいレベルの眼球の上下左右の回転時の中心窩及び盲点の位置を、眼底マップを用いて推定して生成される。なお、補間眼底マップは、特定の眼球の位置情報又は画角ずれの情報を用いて生成されてもよい。そして、ステップS108において、映像が生成される。映像が生成された後、例えば、光源(例えば、レーザ光源)、ミラー、走査型のミラー(例えば、MEMSミラー)、リレー系駆動部(投影光学系)及び眼前に配されたシースルー性を有する部材(例えば、ホログラフィック光学素子(以下、HOEと称する場合がある。))を含む映像表示部に、生成された映像の信号を送信する。ホログラフィック光学素子は、例えば、反射型又は透過型の体積(ボリューム)ホログラム、反射型又は透過型のレリーフホログラム(表面(サーフェイス)レリーフホログラムとも言う。)等が挙げられる。
 ステップS106~ステップS108について、図4を用いて具体的に説明する。図4は、補間眼底マップと映像を提示しようとする眼球の状態とのマッチングをした結果(修正結果)を説明するための図である。
 図4に示されるように、盲点31は、映像表示範囲(画角)50を構成する第1象限51(例えば、X軸が正方向であって、Y軸が正方向である領域)、第2象限52(例えば、X軸が負方向であって、Y軸が正方向である領域)、第3象限53(例えば、X軸が負方向であって、Y軸が負方向である領域)及び第4象限54(例えば、X軸が正方向であって、Y軸が負方向である領域)のうち、第4象限54に近い第1象限51内に存在している。
 ステップS106~ステップS108は、図1の参照符号P1で示されるように、所望又は所定の映像が生成されるまで繰り返して行われる。ステップS106(Gaze Tracking)とステップS107(補間眼底マップの生成)とは同時に行われてもよい。
 図5を用いて、本技術に係る第1の実施形態の表示装置による映像の表示のフローの別の一例を説明する。
 図5に示されるステップS201で眼底マップを作成する。ステップS201で作成される眼底マップの作成方法は、上記で説明をした、図1に示されるステップS101~ステップS103で作成される眼底マップの作成方法と同一であるので、ここでは詳細な説明は省略する。
 図5に示されるステップS202で眼球特性の取得が行われる。眼球特性の取得は、例えば、OCT(Optical Coherence Tomography:光干渉断層計)、レフラクトメーター(他覚的屈折検査)、IRスキャンからの戻り光を検知する光検知装置等を用いて行われる。OCTを用いることにより、網膜の断面を撮影することができる。レフラクトメーターを用いることにより、収差等の光学特性(例えば眼球歪みに関するデータ等)を得ることができ、例えば、眼の屈折度数、角膜の曲率等を測定することができる。IRスキャンからの戻り光を検知する光検知装置を用いることにより、眼底の形状等を測定することができる。眼球特性の取得により、ユーザの眼が、例えば、加齢性黄斑変性の病に冒されているかどうかを判断することができる。加齢性黄斑変性とは、年齢による変化や光障害等により、網膜の中心部の黄斑が障害されて、見え方が悪くなる病気である。例えば、図6に示されるように、正常な目では正常に見えるが(図6A)、加齢性黄斑変性(変視症)により網膜がゆがみ、ゆがみ60Bのようにゆがんで見えたり(図6B)、加齢性黄斑変性(変視症)により視力が低下して、中心暗点60Cのように中心が暗く見えたりする(図6C)。
 図5に示されるステップS203でアイセンス(アイトラッキング)結果と眼底マップとのマッチングをする。ステップS203で行われるマッチングの方法は、上記で説明をした、図1に示されるステップS104~ステップS105で行われる作成されるマッチングの方法と同一であるので、ここでは詳細な説明は省略する。
 図5に示されるステップS204~ステップS208は、映像提示状態で行われる。より詳しくは、ステップS204において、Gaze Tracking(ゲイズ・トラッキング、視線追跡)を行う。例えば、ステップS204で、眼球の動きに追従し、瞳孔位置検出をし、所望の点の画角を算出したり、赤外光を描画光軸に乗せ、眼底反射(盲点と中心窩とは反射率は異なる。)を検出する。ステップS205において、補間眼底マップが生成される。補間眼底マップは、眼球の上下左右回転の間を補間して生成される。例えば、補間眼底マップは、ステップS201において作成された眼底マップが用いた眼球の上下左右の回転レベルよりは小さいレベルの眼球の上下左右の回転時の中心窩及び盲点の位置を、眼底マップを用いて推定して生成される。なお、補間眼底マップは、特定の眼球の位置情報又は画角ずれの情報を用いて生成されてもよい。
 次に、ステップS206において、眼球歪みの補正テーブルの再構築が行われる。ステップS206について、図7を用いて具体的に説明する。図7Aには、提示したい映像(画像)が示されている。図7Bには、眼球歪みによる映像(画像)が示されている。図7Cには、眼球歪みの補正テーブルにより補正された出力映像(生成される映像)が示されている。
 ステップS207において、眼球ムラの補正が行われる。ステップS207について、図8を用いて具体的に説明する。図8Aには、提示したい映像(画像)が示されている。図8Bには、眼球ムラによる映像(画像)が示されている。図8Cには、眼球ムラの補正により補正された出力映像(生成される映像)が示されている。
 そして、ステップS208において、映像が生成される。映像が生成された後、例えば、光源(例えば、レーザ光源)、ミラー、走査型のミラー(例えば、MEMSミラー)、リレー系駆動部(投影光学系)及びシースルー性を有する部材(例えば、ホログラフィック光学素子(以下、HOEと称する場合がある。))を含む映像表示部に、生成された映像の信号を送信する。ホログラフィック光学素子は、例えば、反射型又は透過型の体積(ボリューム)ホログラム、反射型又は透過型のレリーフホログラム(表面(サーフェイス)レリーフホログラムとも言う。)等が挙げられる。
 ステップS204~ステップS208は、図5の参照符号P5で示されるように、所望又は所定の映像が生成されるまで繰り返して行われる。ステップS204(Gaze Tracking)とステップS205(補間眼底マップの生成)とは同時に行われてもよい。
 本技術に係る第1の実施形態の表示装置の構成例を、図9及び図10を用いて説明する。図9は、ユーザの頭部に装着された本技術に係る表示装置の上面図である。図10は、ユーザの頭部に装着された本技術に係る表示装置の正面図である。図9に示される表示装置は、映像表示部(画像表示部とも言う。)、頭部に対する表示装置の位置の変化を検出するセンサ(本明細書内において、頭部に対する表示装置の位置の変化を検出するセンサを「変位センサ」又は「センサ」ともいう)、監視部、投射位置調整機構、制御部、及び記憶部を含む。以下でこれらの構成要素について説明する。
(映像表示部)
 図9に示されるとおり、表示装置100は、メガネ状の形状を有し、両目のそれぞれに映像表示光(画像表示光という場合がある。)を投射するように構成されている。すなわち、表示装置100は、左目に映像表示光を投射する映像表示部及び右目に映像表示光を投射する映像表示部を含む。左目に映像表示光を投射する映像表示部は、光源部101L、投影光学系102L、及び照射部としてホログラフィック光学素子(以下、HOEともいう)103Lを含む。図示はされていないが、追従部としてコンバイナが表示装置100に含まれてよく、コンバイナに、ホログラフィック光学素子103L、ハーフミラー等が、構造的に含まれてよい。追従部であるリレー系駆動部(不図示)は、投影光学系102Lに含まれてよい。図示はされていないが、追従部であるミラー駆動部及び位相差パネルは、光源部101Lと投影光学系102Lとの間又は投影光学系102Lとホログラフィック光学素子103Lとの間に配されてよい。
 光源部101Lは映像表示光を出射する。当該映像表示光を出射するための構成として、光源部101Lは、例えばレーザ光源120L、ミラー121L、及び走査ミラー122Lを含むことができる。レーザ光源120Lから出射されたレーザ光が、ミラー121Lによって反射され、そして走査ミラー122Lに到達する。走査ミラー122Lは、当該レーザ光を二次元的に走査する。走査ミラー122Lは、例えばMEMSミラーであってよい。走査ミラー122Lは、当該レーザ光の方向を、網膜上に画像が形成されるように高速に移動させうる。
 投影光学系102Lは、当該映像表示光をHOE103Lの所望の領域及び/又は位置に到達するように、当該映像表示光の方向を調整する。例えば、走査ミラー122Lによって走査された映像表示光を平行光にする。
 HOE103Lは、当該映像表示光が、ユーザの瞳孔付近で集光されそして網膜に照射されるように回折する。HOE103Lは、例えば反射型の回折素子であってよい。HOE103Lは、当該映像表示光の波長範囲の光に対してはレンズとして働き、かつ、当該波長範囲外の波長の光は透過させる光学特性を有しうる。当該光学特性によって、ユーザは、HOE103Lを介して例えば視線方向の先の風景を認識し、かつ、当該映像表示光による画像を認識することができる。すなわち、外界の風景に、当該映像表示光による画像が重畳させることができる。HOE103Lとして、例えばホログラムレンズ、好ましくはフィルム状のホログラムレンズ、より好ましくは透明なフィルム状ホログラムレンズを挙げることができる。フィルム状のホログラムレンズは、例えばガラスなどに貼り付けて用いられてよい。当該技術分野で既知の技法により、ホログラムレンズに所望の光学特性を付与することができる。また、HOE103Lは、例えば、体積(ボリューム)ホログラム又は表面(サーフェイス)レリーフホログラムでもよい。そして、ホログラムレンズとして、市販入手可能なホログラムレンズが用いられてよく、又は、ホログラムレンズは、当該技術分野において公知の技法により製造されてもよい。
 以上のとおり、光源部101L、投影光学系102L、及びHOE103Lが、映像表示光をユーザの左目に到達させる。
 表示装置100は、メガネ形状の一部であるツル部109L及びリム部108Lを有する。ツル部109Lに、光源部101L及び投影光学系102Lが配置されている。リム部108Lに、HOE103Lが保持されている。より具体的には、リム部108Lに、照射部としての投射位置調整機構105L-2を介して内側リム部106Lが保持されており、かつ、内側リム部106Lに、照射部としての投射位置調整機構105L-1を介してHOE103Lが保持されている。
 ユーザの右目に映像表示光を投射する映像表示部は、光源部101R、投影光学系102R、及び照射部としてHOE103Rを含む。図示はされていないが、追従部としてコンバイナが表示装置100に含まれてよく、コンバイナに、HOE103R、ハーフミラー等が、構造的に含まれてよい。追従部であるリレー系駆動部(不図示)は、投影光学系102Rに含まれてよい。図示はされていないが、追従部であるミラー駆動部及び位相差パネルは、光源部101Rと投影光学系102Rとの間又は投影光学系102RとHOE103Rとの間に配されてよい。
 光源部101L、投影光学系102L、及びHOE103Lについての説明が、光源部101R、投影光学系102R、及びHOE103Rについても当てはまる。
 左目用の映像表示部と同様に、ツル部109Rに、光源部101R及び投影光学系102Rが配置されている。リム部108Rに、HOE103Rが保持されている。より具体的には、リム部108Rに、照射部としての投射位置調整機構105R-2を介して内側リム部106Rが保持されており、かつ、内側リム部106Rに、照射部としての投射位置調整機構105R-1を介してHOE103Rが保持されている。
 表示装置100のリム部108L及び108Rは、ブリッジ部110を介してつながっている。ブリッジ部110は、ユーザが表示装置100を装着したときに、ユーザの鼻にかかる部分である。また、表示装置100のリム部108L及び108Rの両方が、ヘッドバンド部111につながっている。ヘッドバンド部111は、ユーザが表示装置100を装着したときに、図10に示されるように、ユーザの頭頂部に接触する部分である。
 図9に示される光源部101Lは1つのレーザ光源120Lを含むが、光源部101Lに含まれるレーザ光源の数は2つ以上であってよく、例えば、2つ~5つであってよい。これら複数のレーザ光源は、互いに異なる波長のレーザ光を出力するものであってよい。同様に、光源部101Rは1つのレーザ光源120Rを含むが、光源部101Rに含まれるレーザ光源の数は2つ以上であってよく、例えば、2つ~5つであってよい。これら複数のレーザ光源は、互いに異なる波長のレーザ光を出力するものであってよい。レーザ光源120L及びレーザ光源120Rが用いられることにより、特定波長の刺激が提示され得る。
 表示装置100は、図示はされていないが、波長分散補償部材を更に備えてよい。波長分散補償部材は、例えば、反射型若しくは透過型の体積ホログラム、反射型若しくは透過型のレリーフホログラム、メタサーフェイスを含む第1光学素子等である。波長分散補償部材は、ミラー121L及び/又は121Rの周辺、例えば、ミラー121Lと走査ミラー122Lとの間及び/又はミラー121Rと走査ミラー122Rとの間に配されてよい。表示装置100に、波長分散補償部材が用いられると、波長分散を補償するため、正確に網膜上の(所定の点)任意の点の刺激が可能である。
(センサ)
 表示装置100はさらに、ユーザの頭部に対する表示装置100の位置の変化を検出するセンサ104L、104R、104C、及び104Tを備えている。これらセンサにより検出される位置の変化は、例えば位置の変化の方向及び/又は位置の変化の量であってよい。なお、本明細書内において、センサ104L、104R、104C、及び104Tをまとめて、センサ104と言うことがある。
 センサ104L及び104Rが、ユーザの頭部に対する表示装置100の水平方向における位置変化を検出し、センサ104Cが、ユーザの頭部に対する表示装置100の前後方向における位置変化を検出し、かつ、センサ104Tが、ユーザの頭部に対する表示装置100の上下方向における位置変化を検出する。これにより、装着ズレを三次元的に把握することができる。
(監視部(視線検出装置))
 表示装置100は、ユーザの視線を検出する監視部107L及び107Rを備える。本明細書内において、監視部107L及び107Rをまとめて、監視部107ということがある。監視部107は、角膜反射又は眼底反射を用いて前記眼球の状態を監視することができる。表示装置100がこれら監視部を含むことによって、ユーザに提示される画像の位置を、より適切な位置へと調整することが可能となる。例えば、外界の像に表示装置100により提示される画像を重畳する場合に、ユーザの視線を検出することによって、当該画像をより適切な位置に表示することができる。すなわち、監視部107を含むことは、AR情報の提示にとって好ましい。監視部は、例えば、視線検出装置から構成されてよい。
 監視部107は、例えば撮像方式の監視部であってよく又はフォトダイオード方式の監視部であってよい。以下で、これら監視部についてより詳細に説明する。
 監視部107Lは、ユーザの左目の視線を検出する。監視部107Lは、例えばリム部108Lのいずれかの位置に設けられていてよいが、左目の視線を検出することができれば、他の要素(例えば内側リム部106Lなど)のいずれかの位置に設けられていてもよい。
 監視部107Lは、例えばフォトダイオード方式の監視部であってよい。フォトダイオード方式の監視部は、例えば光源とフォトダイオードとの組合せを含むことができる。前記光源は、左目に光を照射するように構成される。前記光源は、好ましくは赤外光照明光源である。これにより、ユーザによる外界の像の認識及び映像表示光の認識に影響を及ぼすことを防ぐことができる。前記フォトダイオードは、前記光源から出射された光(特には赤外光)の眼球での反射光を検出するように構成されうる。前記フォトダイオードは、例えば黒目部分(瞳孔)での反射光量と白目部分(強膜)での反射光量との違いを検出できるものでありうる。前記フォトダイオード方式の監視部は、例えば前記フォトダイオードにより検出される黒目部分の面積割合及び白目部分の面積割合に基づき、視線を検出しうる。
 フォトダイオード方式の監視部は、装着ズレが発生しても、当該装着ズレを検出することができない。そのため、装着ズレが発生した場合には、当該監視部の視線検出精度が低下しうる。本技術の表示装置は、上記のとおり、頭部に対する表示装置の位置の変化を検出するセンサを備えており、これにより装着ズレを検出することができる。当該センサにより検出された装着ズレに基づき視線補正を行うことで、監視部による視線検出精度が向上する。本技術の表示装置は、例えば3mm以下、特には2mm以下、より特には1mm以下の精度で、視線を検出しうる。このような精度での視線検出は、マックスウェル視による画像提示にとって特に好ましい。
 代替的には、監視部107Lは、撮像方式の監視部であってもよい。撮像方式の監視部は、例えば光源と撮像素子との組合せを含むことができる。前記光源は、フォトダイオード方式の場合と同様に、左目に光を照射するように構成される。前記光源は、好ましくは赤外光照明光源である。前記撮像素子は、例えば前記光源の眼球(特には角膜)での反射像(いわゆるプルキニエ像)及び瞳孔の重心を取得可能な画像を得ることができるように構成されていてよい。前記撮像素子は、例えば赤外線用撮像素子であってよい。前記撮像方式の監視部は、例えば前記プルキニエ像と前記画像とに基づき、眼球の光軸を推定しうる。前記監視部は、当該推定された光軸を視軸に変換して、視線を検出しうる。
 前記プルキニエ像と前記画像とに基づく視線検出において、前記光源と眼球の位置関係が固定されていれば、プルキニエ像のできる位置が固定される。装着ズレは、当該位置関係のズレをもたらし、これによりプルキニエ像のできる位置が変化しうる。加えて、当該視線検出は、瞬き又は髪の毛若しくはまつ毛などの影響を受けやすい。さらに、前記視線検出において、個人差の補正のためのキャリブレーションが通常は実施されるところ、装着ズレが生じた場合には再度キャリブレーションを実施する必要が生じる。本技術の表示装置は、上記のとおり、頭部に対する表示装置の位置の変化を検出するセンサを備えており、これにより装着ズレを検出することができる。そのため、例えば装着ズレの量に応じた補正値を予め用意しておき(例えば記憶部などに記憶しておき)、装着ズレが生じたことに応じて当該補正値を用いて補正を行うことで、精度よく視線検出を行うことが可能となる。加えて、装着ズレの検出は、瞬き又は髪の毛若しくはまつ毛などの影響を受けにくい。さらに、検出された装着ズレに基づく補正を行うことで、キャリブレーションを行う回数を減らすこともできる。
(投射位置調整機構)
 表示装置100が備える照射部は、表示装置100から射出される映像表示光の投射位置を調整する投射位置調整機構105L-1及び105L-2並びに105R-1及び105R-2を、更に含むことができる。なお、本明細書内においてこれら4つの投射位置調整機構をまとめて、投射位置調整機構105という場合がある。投射位置調整機構105は、例えば視線に追従して映像表示光の投射位置を調整するように構成されていてよい。投射位置調整機構105によって、映像表示光の投射位置を装着ズレに応じて調整することができる。
 加えて、投射位置調整機構105によって、眼球の回転移動又は視線の移動に応じて映像表示光の投射位置を調整することができる。例えば、表示装置100が投射位置調整機構105を含むことによって、ユーザに提示される画像の位置を、より適切な位置へと調整することが可能となる。例えば、外界の像に表示装置100により提示される画像を重畳する場合に、ユーザの視線を検出することによって、当該画像をより適切な位置に表示することができる。すなわち、監視部107を含むことは、AR情報の提示にとって好ましい。また、これら投射位置調整機構によって、マックスウェル視による画像表示において映像表示光が集光される位置を調整することもできる。
 投射位置調整機構105L-1及び105L-2は、左目に投射される映像表示光の投射位置を調整する。投射位置調整機構105L-1は、内側リム部106Lとリム部108Lとのz軸方向における位置関係を調整する。例えば、投射位置調整機構105L-1は、内側リム部106Lを、リム部108Lに対してz軸方向に移動させる。これにより、HOE103Lのz軸方向における位置が調整される。投射位置調整機構105L-2は、HOE103Lと内側リム部106Lとのx軸方向における位置関係を調整する。例えば、投射位置調整機構105L-2は、HOE103Lを、内側リム部106Lに対してx軸方向に移動させる。これにより、HOE103Lのx軸方向における位置が調整される。
 投射位置調整機構105L-1による内側リム部106Lとリム部108Lとのz軸方向における位置関係の調整を駆動するための駆動素子は、例えばピエゾ素子、アクチュエータ、又はバイメタルであってよいが、これらに限定されない。投射位置調整機構105L-2によるHOE103Lと内側リム部106Lとのx軸方向における位置関係の調整を駆動するための駆動素子も、例えばピエゾ素子、アクチュエータ、又はバイメタルであってよいが、これらに限定されない。
 投射位置調整機構105L-1は、内側リム部106Lとリム部108Lとのz軸方向における位置関係の調整を、例えば、センサ104L、104R、104C、及び104Tのうちの1つ、2つ、3つ、又は4つ全てにより検出された表示装置100の位置の変化に基づき行いうる。また、投射位置調整機構105L-1は、前記位置関係の調整を、当該位置の変化と、監視部107Lにより検出された視線と、に基づき行ってもよい。投射位置調整機構105L-2は、HOE103Lと内側リム部106Lとのx軸方向における位置関係の調整を、例えば、センサ104L、104R、104C、及び104Tのうちの1つ、2つ、3つ、又は4つ全てにより検出された表示装置100の位置の変化に基づき行いうる。また、投射位置調整機構105L-2は、前記位置関係の調整を、当該位置の変化と、監視部107Lにより検出された視線と、に基づき行ってもよい。
 投射位置調整機構105R-1及び105R-2は、右目に投射される映像表示光の投射位置を調整する。当該調整は、投射位置調整機構105L-1及び105L-2と同様に行われてよい。
(制御部及び記憶部)
 表示装置100は、制御部112を備える。表示装置100の主な構成要素を示すブロック図である図11に示されるとおり、制御部112は、画像制御部181、投射位置制御部182、視線補正部183、処理部191及びマッチング部192を含む。また、上述したとおり、図11に示される表示装置100は、光源部101と、センサ104と、照射部としての投射位置調整機構105と、監視部(視線検出機構)107と、眼前に配されるシースルー性を有する部材(例えば、反射型若しくは透過型の体積ホログラム、反射型若しくは透過型のレリーフホログラム等)を含む照射部201と追従部202とを備える。なお、表示装置100は、追従部202を備えていなくてもよい。記憶部184は、表示装置100に備えられてもよいが、表示装置100以外の外部の装置に備えられてもよい。
 表示装置100の照射部201が備える眼前に配される部材について、上述したが、図13及び図14を用いた場合について更に詳細に説明する。
 図13は、眼前に配される部材の一例である、所定の光を反射して所定の光以外の光を透過する第2光学素子300を示す図である。図14は、眼前に配される部材の別の一例である、所定の光を反射して所定の光以外の光を透過する第2光学素子400を示す図である。
 図13に示される装置には、第2光学素子300、液晶パネル301及び特殊液晶レンズ302が構成されている。第2光学素子300は、偏光ビームスプリッター(Polarizing Beam Splitter:PBS)から構成され、図示はされていないが、第2光学素子(偏光ビームスプリッター)300には、λ/4板が配されている。図13で示される装置には、特殊液晶レンズ302が構成されていなくてもよく、その代わりに、液晶パネル301と第2光学素子300との間にレンズが構成されていてもよい。
 図13に示されるように、液晶パネル310からの偏光光線(映像表示光)L31は、第2光学素子300の領域H31で反射し、特殊液晶レンズ302の領域T31-1及びT31-2を透過し、ユーザの眼310(瞳310-1)に到達し、液晶パネル301からの偏光光線(映像表示光)L32は、第2光学素子(偏光ビームスプリッター)300の領域H32で反射し、特殊液晶レンズ302の領域T32-1及びT32-2を透過し、ユーザの眼310(瞳310-1)に到達し、ユーザは、液晶パネル301から出射された光(映像表示光(偏光光線L31及びL32))によるバーチャル(virtual)映像(画像)V13を認識する。そして、外界からの光L310及びL320は、第2光学素子300(偏光ビームスプリッター)を透過し、特殊液晶レンズ302を透過して、ユーザの眼310(瞳310-1)に到達し、ユーザは、外界からの光L310及び320によるリアリティ(reality)映像(画像)R13を認識する。すなわち、ユーザは、バーチャル(virtual)映像(画像)V13とリアリティ(reality)映像(画像)R13とが重畳されているように認識する(見える)。
 図14には、第2光学素子400、OLED(Organic Light Emitting Diode)パネル(有機EL)401及びレンズ402が示されている。第2光学素子400は。非球面ハーフミラーであり、第1ミラー部材400-1と第2ミラー部材400-2とか構成される。例えば、第2光学素子400は、ハーフミラー400-1とハーフミラー400-2との組み合わせでもよいし、偏光ビームスプリッター(Polarizing Beam Splitter:PBS)400-1とハーフミラー400-2との組み合わせでもよい。第2光学素子400が、偏光ビームスプリッター(Polarizing Beam Splitter:PBS)400-1とハーフミラー400-2との組み合わせの場合、ハーフミラー400-2には、λ/4板が配されてもよい。第1ミラー部材400-1及び/又は第2ミラー部材400-2がハーフミラーの場合、光透過率が50%以上であることが好ましい。
 図14に示されるように、OLED(Organic Light Emitting Diode)パネル(有機EL)401からの光線(映像表示光)L41は、第2光学素子400を構成する第1ミラー部材400-1の領域H41-1で反射し、続いて、第2光学素子400を構成する第2ミラー部材400-2の領域H41-2で反射し、第1ミラー部材400-1の領域T41を透過し、ユーザの眼410(瞳410-1)に到達し、OLEDパネル401からの光線(映像表示光)L42は、第2光学素子400を構成する第1ミラー部材400-1の領域H42-1で反射し、続いて、第2光学素子400を構成する第2ミラー部材400-2の領域H42-2で反射し、第1ミラー部材400-1の領域T42を透過し、ユーザの眼410(瞳410-1)に到達し、OLEDパネル401からの光線(映像表示光)L43は、第2光学素子400を構成する第1ミラー部材400-1の領域H43-1で反射し、続いて、第2光学素子400を構成する第2ミラー部材400-2の領域H43-2で反射し、第1ミラー部材400-1の領域T43を透過し、ユーザの眼410(瞳410-1)に到達し、ユーザは、OLEDパネル401から出射された光(映像表示光(光線L41、L42及びL43))によるバーチャル(virtual)映像(画像)を認識する。そして、図示はされていないが、外界からの光は、第2光学素子400を透過し、ユーザの眼410(瞳410-1)に到達し、ユーザは、外界からの光によるリアリティ(reality)映像(画像)を認識する。ユーザは、バーチャル(virtual)映像(画像)とリアリティ(reality)映像(画像)とが重畳されているように認識する。
 なお、以上のとおり、図13及び図14を用いて説明をした、照射部201が備える眼前に配される部材の2つ例に関する内容は、後述する本技術に係る第2の実施形態である表示装置100-1にも適用され得る。
 以下、制御部112について説明する。
 画像制御部181は、映像表示部による映像表示光の投射を制御する。画像制御部181は、例えば光源部101L及び101R、特にはこれら光源部に含まれるレーザ光源及び走査ミラーを駆動して、映像表示光を出力させる。画像制御部181は、例えば記憶部184に格納されている画像データを取得し、当該画像データに基づき、光源部101L及び101Rに映像表示光を出力させうる。画像制御部181は、センサ104により検出された、頭部に対する表示装置100の位置の変化に基づき、当該画像データを補正してもよい。画像制御部181は、補正後の画像データに基づき、光源部101L及び101Rに映像表示光を出力させてもよい。すなわち、表示装置100は、頭部に対する表示装置の位置の変化を検出するセンサにより検出された位置の変化に基づき画像を補正してもよい。
 投射位置制御部182は、投射位置調整機構105L-1、105L-2、105R-1、及び105R-2を制御し、これにより映像表示光の投射位置が制御されうる。例えば、投射位置制御部182は、監視部107L及び107Rにより検出された視線に基づき、投射位置調整機構105L-1、105L-2、105R-1、及び105R-2のうちの1つ~4つを駆動して、映像表示光の投射位置を調整しうる。例えば当該視線に追従するように、映像表示光の投射位置が調整されうる。投射位置制御部182は、後述の視線補正部183による補正後の視線に基づき、投射位置調整機構105L-1、105L-2、105R-1、及び105R-2のうちの1つ~4つを駆動して、映像表示光の投射位置を調整してもよい。例えば当該補正後の視線に追従するように、映像表示光の投射位置が調整されうる。投射位置制御部182は、センサ104L、104R、104C、及び104Tのうちの1つ~4つにより検出された、頭部に対する表示装置100の位置の変化に関するデータ(以下「変位データ」ともいう)に基づき、投射位置調整機構105L-1、105L-2、105R-1、及び105R-2のうちの1つ~4つを駆動して、映像表示光の投射位置を調整してもよい。
 投射位置制御部182は、例えば、前記変位データと補正係数とに基づき、各投射位置調整機構による位置調整量を算出しうる。投射位置制御部182は、算出された位置調整量だけ位置関係が変更されるように各投射位置調整機構を駆動しうる。投射位置制御部182は、例えば記憶部184に予め格納されている補正テーブルから補正係数を取得し、当該補正係数を前記位置調整量の算出のために用いてよい。当該補正テーブルは、例えば複数の補正係数を有していてよく、投射位置制御部182は、これら複数の補正係数のうちから、変位データに応じて所定の補正係数を選択しうる。また、補正テーブルは、例えば投射位置調整機構毎に設けられていてよい。当該補正テーブルは、表示装置100に予め備えられていてよく、又は、ユーザによる表示装置100の使用に応じて更新されてもよい。補正テーブル又は補正係数の選択又は更新によって、投射位置制御の精度を向上させることができる。投射位置制御部182は、前記位置調整量の算出のために、監視部により検出された視線又は視線補正部183による補正後の視線を用いてもよい。
 視線補正部183は、前記変位データに基づき、監視部107L及び107Rにより検出された視線の補正を行う。これにより、視線補正部183によって、装着ズレを考慮した視線の同定が可能となり、視線検出精度が向上する。当該補正は、眼球の光軸に対して行われてよく、眼球の視軸に対して行われてもよく、又はその他の参照軸に対して行われてもよい。視線補正部183も、例えば記憶部184に予め格納されている補正テーブルから補正係数を取得し、当該補正係数を前記視線補正のために用いてよい。当該補正テーブルは、例えば複数の補正係数を有していてよく、視線補正部183は、これら複数の補正係数のうちから、変位データに応じて所定の補正係数を選択しうる。当該補正テーブルは、表示装置100に予め備えられていてよく、又は、ユーザによる頭部装着型表示装置100の使用に応じて更新されてもよい。補正テーブル又は補正係数の選択又は更新によって、視線補正の精度を向上させることができる。
 表示装置100はさらに記憶部184を含んでいてよい。記憶部は、映像表示部により投射される映像表示光に関するデータ、投射位置制御部122による投射位置の制御に用いられる補正テーブル、及び、視線補正部123による視線補正のために用いられる補正テーブルを格納していてよい。
 処理部191は、眼球の特性分布情報を処理する。眼球の特性分布は、例えば、眼底カメラを用いて取得されたり、OCT、レフラクトメーター、又はIRスキャンからの戻り光を検知する光検知装置を用いて取得されたりする。眼球の特性分布は、形状的なもの(例えば、眼球の大きさや形状、黄斑の大きさや形状(例えば、陥没形状)、盲点の大きさや形状(例えば、陥没形状)、網膜の断層形状(例えば、凹凸形状))、質的なもの(例えば、中心窩の位置、盲点の位置、病変部位等の特徴等)、光学的なもの(例えば、眼球内の屈折、収差等)から取得され得る。処理部191は、眼球の前記特性分布に基づいて座標
系を規定することができる。なお、眼球の前記特性分布に基づいて座標系を規定することが、処理部191で行われないで、制御部112中に、例えば、座標系を規定する規定部が処理部191に対して別個独立に設けられてもよい。座標系は、右目の第1中心窩、右目の第1盲点、左目の第2中心窩及び左目の第2盲点からなる群から選ばれる少なくとも2つに基づいて定義される。座標系で表示映像、表示位置を規定するため、パターンマップを使うよりもデータが少なくて済むことができる。また、処理部191において、眼球の回転情報に基づいて表示映像及び表示位置を制御してもよく、その場合、パターンマッチングに比べて処理を軽くすることができる。
 マッチング部192は、眼球の特性分布と眼球の状態とをマッチングさせる。例えば、マッチング部192は、上述した座標系を介して、眼球の特性分布と、映像を提示しようとする眼球(映像を提示しようとする眼球を実眼と称する場合がある。)の状態と、をマッチングさせる。マッチング部192では、視軸と光軸とのずれを取得し(Gaze Calibration)、オフセットを反映したマップを作ることができる。
 以上、本技術に係る第1の実施形態(表示装置の例1)の表示装置について説明した内容は、特に技術的な矛盾がない限り、後述する本技術に係る第2の実施形態(表示装置の例2)の表示装置、本技術に係る第3の実施形態(表示方法の例1)の表示方法及び本技術に係る第4の実施形態(表示方法の例2)の表示方法に適用することができる。
<3.第2の実施形態(表示装置の例2)>
 本技術に係る第2の実施形態(表示装置の例2)の表示装置は、光源と、眼球の特性分布を処理する処理部と、眼球の状態を監視する監視部と、眼球の特性分布と該眼球の状態とをマッチングさせるマッチング部と、網膜の所定の場所に、光源から出射された映像表示光を照射する照射部と、を備え、さらに、眼球の特性分布を取得する取得部を備える、表示装置である。すなわち、本技術に係る第2の実施形態の表示装置は、本技術に係る第1の実施形態の表示装置に、眼球の特性分布を取得する取得部を加えた表示装置である。本技術に係る第2の実施形態の表示装置は、追従部を更に備えていてもよい。本技術に係る第2の実施形態の表示装置は、例えば、アイウェアディスプレイ、ヘッドマウントディスプレイ等に適用することができる。
 眼球の特性分布を処理する処理部は、例えば、取得部(例えば、眼底カメラ、OCT、IRスキャンからの戻り光を検知する光検知装置、レフラクトメーター等)から得られた眼球の特性分布情報を処理する。監視部は、例えば、角膜反射又は眼底反射を用いて眼球の状態を監視し、光軸を取得することができる。マッチング部は、視軸と光軸とのずれを取得し(Gaze Calibration)、オフセットを反映したマップを作ることができる。照射部は、レーザ光源、映像表示(プロジェクタ)、眼球特性分布に応じて、光変調可能であり、外光に応じて光量調整可能であり、ひずみ補正を含む制御が可能である。追従部は、アイトラッキングによる眼球運動に対する表示映像を追従することができ、光線がステアリングされて、眼球の回転情報に基づいて照射映像・照射位置が変更される。
 本技術に係る第2の実施形態の表示装置の構成例を、図12を用いて説明する。
 図12は、本技術に係る第2の実施形態の表示装置(表示装置100-1)の主な構成要素を示すブロック図である。
 表示装置100-1は、光源部101と、センサ104と、照射部としての投射位置調整機構105と、監視部(視線検出機構)107と、眼前に配されるシースルー性を有する部材(例えば、反射型若しくは透過型の体積ホログラム、反射型若しくは透過型のレリーフホログラム等)を含む照射部201と、追従部202と、取得部301と、制御部112とを備える。なお、表示装置100-1は、追従部202を備えていなくてもよい。
 制御部112は、画像制御部181、投射位置制御部182、視線補正部183、処理部191及びマッチング部192を含む。
 画像制御部181は、映像表示部による映像表示光の投射を制御する。画像制御部181は、例えば光源部101L及び101R、特にはこれら光源部に含まれるレーザ光源及び走査ミラーを駆動して、映像表示光を出力させる。画像制御部181は、例えば記憶部184に格納されている画像データを取得し、当該画像データに基づき、光源部101L及び101Rに映像表示光を出力させうる。画像制御部181は、センサ104により検出された、頭部に対する表示装置100の位置の変化に基づき、当該画像データを補正してもよい。画像制御部181は、補正後の画像データに基づき、光源部101L及び101Rに映像表示光を出力させてもよい。すなわち、表示装置100は、頭部に対する表示装置の位置の変化を検出するセンサにより検出された位置の変化に基づき画像を補正してもよい。
 投射位置制御部182は、投射位置調整機構105L-1、105L-2、105R-1、及び105R-2を制御し、これにより映像表示光の投射位置が制御されうる。例えば、投射位置制御部182は、監視部107L及び107Rにより検出された視線に基づき、投射位置調整機構105L-1、105L-2、105R-1、及び105R-2のうちの1つ~4つを駆動して、映像表示光の投射位置を調整しうる。例えば当該視線に追従するように、映像表示光の投射位置が調整されうる。投射位置制御部182は、後述の視線補正部183による補正後の視線に基づき、投射位置調整機構105L-1、105L-2、105R-1、及び105R-2のうちの1つ~4つを駆動して、映像表示光の投射位置を調整してもよい。例えば当該補正後の視線に追従するように、映像表示光の投射位置が調整されうる。投射位置制御部182は、センサ104L、104R、104C、及び104Tのうちの1つ~4つにより検出された、頭部に対する表示装置100の位置の変化に関するデータ(以下「変位データ」ともいう)に基づき、投射位置調整機構105L-1、105L-2、105R-1、及び105R-2のうちの1つ~4つを駆動して、映像表示光の投射位置を調整してもよい。
 投射位置制御部182は、例えば、前記変位データと補正係数とに基づき、各投射位置調整機構による位置調整量を算出しうる。投射位置制御部182は、算出された位置調整量だけ位置関係が変更されるように各投射位置調整機構を駆動しうる。投射位置制御部182は、例えば記憶部184に予め格納されている補正テーブルから補正係数を取得し、当該補正係数を前記位置調整量の算出のために用いてよい。当該補正テーブルは、例えば複数の補正係数を有していてよく、投射位置制御部182は、これら複数の補正係数のうちから、変位データに応じて所定の補正係数を選択しうる。また、補正テーブルは、例えば投射位置調整機構毎に設けられていてよい。当該補正テーブルは、表示装置100に予め備えられていてよく、又は、ユーザによる表示装置100の使用に応じて更新されてもよい。補正テーブル又は補正係数の選択又は更新によって、投射位置制御の精度を向上させることができる。投射位置制御部182は、前記位置調整量の算出のために、監視部により検出された視線又は視線補正部183による補正後の視線を用いてもよい。
 視線補正部183は、前記変位データに基づき、監視部107L及び107Rにより検出された視線の補正を行う。これにより、視線補正部183によって、装着ズレを考慮した視線の同定が可能となり、視線検出精度が向上する。当該補正は、眼球の光軸に対して行われてよく、眼球の視軸に対して行われてもよく、又はその他の参照軸に対して行われてもよい。視線補正部183も、例えば記憶部184に予め格納されている補正テーブルから補正係数を取得し、当該補正係数を前記視線補正のために用いてよい。当該補正テーブルは、例えば複数の補正係数を有していてよく、視線補正部183は、これら複数の補正係数のうちから、変位データに応じて所定の補正係数を選択しうる。当該補正テーブルは、表示装置100に予め備えられていてよく、又は、ユーザによる頭部装着型表示装置100の使用に応じて更新されてもよい。補正テーブル又は補正係数の選択又は更新によって、視線補正の精度を向上させることができる。
 表示装置100はさらに記憶部184を含んでいてよい。記憶部は、映像表示部により投射される映像表示光に関するデータ、投射位置制御部122による投射位置の制御に用いられる補正テーブル、及び、視線補正部123による視線補正のために用いられる補正テーブルを格納していてよい。
 処理部191は、眼球の特性分布情報を処理する。眼球の特性分布は、取得部301により取得され得る。例えば、取得部301が含む眼底カメラを用いて取得されたり、取得部301が含むOCT、レフラクトメーター、又はIRスキャンからの戻り光を検知する光検知装置を用いて取得されたりする。眼球の特性分布は、形状的なもの(例えば、眼球の大きさや形状、黄斑の大きさや形状(例えば、陥没形状)、盲点の大きさや形状(例えば、陥没形状)、網膜の断層形状(例えば、凹凸形状))、質的なもの(例えば、中心窩の位置、盲点の位置、病変部位等の特徴等)、光学的なもの(例えば、眼球内の屈折、収差等)から取得され得る。処理部191は、眼球の前記特性分布に基づいて座標系を規定することができる。なお、眼球の前記特性分布に基づいて座標系を規定することが、処理部191で行われないで、制御部112中に、例えば、座標系を規定する規定部が処理部191に対して別個独立に設けられてもよい。座標系は、右目の第1中心窩、右目の第1盲点、左目の第2中心窩及び左目の第2盲点からなる群から選ばれる少なくとも2つに基づいて定義される。座標系で表示映像、表示位置を規定するため、パターンマップを使うよりもデータが少なくて済むことができる。また、処理部191において、眼球の回転情報に基づいて表示映像及び表示位置を制御してもよく、その場合、パターンマッチングに比べて処理を軽くすることができる。
 マッチング部192は、眼球の特性分布と眼球の状態とをマッチングさせる。例えば、マッチング部192は、上述した座標系を介して、眼球の特性分布と、映像を提示しようとする眼球(映像を提示しようとする眼球を実眼と称する場合がある。)の状態と、をマッチングさせる。マッチング部192では、視軸と光軸とのずれを取得し(Gaze Calibration)、オフセットを反映したマップを作ることができる。
<4.第3の実施形態(表示方法の例1)>
 本技術に係る第3の実施形態(表示方法の例1)の表示方法は、眼球の特性分布を処理することと、眼球の状態を監視することと、眼球の特性分布と眼球の状態とをマッチングさせることと、網膜の所定の場所に、光源から出射された映像表示光を照射することと、を含む、表示方法である。
 本技術に係る第3の実施形態(表示方法の例1)の表示方法は、本技術に係る第1の実施形態(表示装置の例1)の表示装置(例えば、表示装置100)を用いて実行される。
 そして、本技術に係る第3の実施形態(表示方法の例1)の表示方法のフローについては、上述した図1及び図5で説明した内容が適用され得る。なお、図1に示されるステップS101(正面視の眼底写真を撮影)、ステップS102(上下左右回転時の眼底写真を撮影)及びステップS103(各眼底写真内の中心窩及び盲点位置検出)並びに図5に示されるステップS201(眼底マップの作成)及びステップS202(眼球特性の取得)は、本技術に係る第1の実施形態(表示装置の例1)の表示装置(例えば、表示装置100)以外の外部装置(例えば、眼底カメラ、OCT、レフラクトメーター等)を用いて実行されてよい。
<5.第4の実施形態(表示方法の例2)>
 本技術に係る第4の実施形態(表示方法の例2)の表示方法は、眼球の特性分布を処理することと、眼球の状態を監視することと、眼球の特性分布と眼球の状態とをマッチングさせることと、網膜の所定の場所に、光源から出射された映像表示光を照射することと、を含み、さらに、眼球の特性分布を取得することを含む、表示方法である。すなわち、本技術に係る第4の実施形態の表示方法は、本技術に係る第3の実施形態の表示方法に、眼球の特性分布を取得することを加えた表示方法である。
 本技術に係る第4の実施形態(表示方法の例2)の表示方法は、本技術に係る第2の実施形態(表示装置の例2)の表示装置(例えば、表示装置100-1)を用いて実行される。
 本技術に係る第4の実施形態(表示方法の例2)の表示方法のフローについては、上述した図1及び図5で説明した内容が適用され得る。
 なお、本技術に係る実施形態は、上述した各実施形態及に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
 また、本明細書に記載された効果はあくまでも例示であって限定されるものではなく、また他の効果があってもよい。
 また、本技術は、以下のような構成を取ることもできる。
[1]
 光源と、
 眼球の特性分布を処理する処理部と、
 該眼球の状態を監視する監視部と、
 該眼球の特性分布と該眼球の状態とをマッチングさせるマッチング部と、
 網膜の所定の場所に、該光源から出射された映像表示光を照射する照射部と、
 を備える、表示装置。
[2]
 前記眼球の前記特性分布を取得する取得部を更に備える、[1]に記載の表示装置。
[3]
 前記取得部が、眼底カメラ、OCT、レフラクトメーター及びIRスキャンからの戻り光を検知する光検知装置からなる群から選ばれる少なくとも1つから構成される、[2]に記載の表示装置。
[4]
 前記監視部が、角膜反射又は眼底反射を用いて前記眼球の状態を監視する、[1]から[3]のいずれか1つに記載の表示装置。
[5]
 前記眼球の運動に、前記映像表示光を追従させる追従部を更に備える、[1]から[4]のいずれか1つに記載の表示装置。
[6]
 前記追従部が、コンバイナ、リレー系駆動部、ミラー駆動部及び位相差パネルからなる群から選ばれる少なくとも1つから構成される、[5]に記載の表示装置。
[7]
 前記眼球の前記特性分布に基づいて座標系を規定して、
 前記マッチング部が、該座標系を介して、前記眼球の前記特性分布と、映像を提示しようとする前記眼球の状態とをマッチングさせる、[1]から[6]のいずれか1つに記載の表示装置。
[8]
 前記座標系が、右目の第1中心窩、右目の第1盲点、左目の第2中心窩及び左目の第2盲点からなる群から選ばれる少なくとも2つに基づいて定義される、[7]に記載の表示装置。
[9]
 前記光源がレーザ光源である、[1]から[8]のいずれか1つに記載の表示装置。
[10]
 走査型のミラーを更に備え、
 該走査型のミラーが、前記映像表示光を前記網膜に照射する、[1]から[9]のいずれか1つに記載の表示装置。
[11]
 前記照射部が、眼前に配される部材を更に備え、
 該部材がシースルー性を有する、[1]から[10]のいずれか1つに記載の表示装置。
[12]
 前記部材が、反射型若しくは透過型の体積ホログラム、反射型若しくは透過型のレリーフホログラム又はメタサーフェイスを含む第1光学素子、又は所定の光を反射し、該所定の光以外の光を透過する第2光学素子である、[11]に記載の表示装置。
[13]
 波長分散補償部材を更に備える、[1]から[12]のいずれか1つに記載の表示装置。
[14]
 前記波長分散補償部材が、反射型若しくは透過型の体積ホログラム、反射型若しくは透過型のレリーフホログラム又はメタサーフェイスを含む第1光学素子である、[13]に記載の表示装置。
[15]
 眼球の特性分布を処理することと、
 該眼球の状態を監視することと、
 該眼球の該特性分布と該眼球の状態とをマッチングさせることと、
 網膜の所定の場所に、光源から出射された映像表示光を照射することと、
 を含む、表示方法。
[16]
 前記眼球の前記特性分布を取得することを更に含む、[15]に記載の表示方法。
[17]
 前記眼球の前記特性分布を前記取得することが、OCT、レフラクトメーター、IRスキャンからの戻り光を検知する光検知装置からなる群から選ばれる少なくとも1つから構成されるものを用いて取得することを含む、[16]に記載の表示方法。
[18]
 該眼球の状態を前記監視することが、角膜反射又は眼底反射を用いて前記眼球の状態を監視することを含む、[15]から[17]のいずれか1つに記載の表示方法。
[19]
 前記眼球の運動に、前記映像表示光を追従させることを更に含む、[15]から[18]のいずれか1つに記載の表示方法。
[20]
 前記眼球の運動に前記映像表示光を追従させることが、コンバイナ、リレー系駆動部、ミラー駆動部及び位相差パネルからなる群から選ばれる少なくとも1つから構成されるものを用いて、追従させることを含む、[19]に記載の表示方法。
[21]
 前記眼球の前記特性分布に基づいて座標系を規定することを更に含み、
 前記眼球の前記特性分布と前記眼球の状態とをマッチングさせることが、該座標系を介して、前記眼球の前記特性分布と、映像を提示しようとする前記眼球の状態とをマッチングさせることを含む、[15]から[20]のいずれか1つに記載の表示方法。
[22]
 前記座標系が、右目の第1中心窩、右目の第1盲点、左目の第2中心窩及び左目の第2盲点からなる群から選ばれる少なくとも2つに基づいて定義される、[21]に記載の表示方法。
[23]
 前記光源がレーザ光源である、[15]から[22]のいずれか1つに記載の表示方法。
[24]
 走査型のミラーを用いて、前記映像表示光を前記網膜に照射することを含む、[15]から[23]のいずれか1つに記載の表示方法。
[25]
 シースルー性を有する部材を用意することと、
 該シースルー性を有する部材を眼前に配することと、を更に含む、[15]から[24]のいずれか1つに記載の表示方法。
[26]
 前記部材が、反射型若しくは透過型の体積ホログラム、反射型若しくは透過型のレリーフホログラム又はメタサーフェイスを含む第1光学素子、又は所定の光を反射し、該所定の光以外の光を透過する第2光学素子である、[25]に記載の表示方法。
[27]
 波長分散補償部材を用意することを更に含む、[15]から[26]のいずれか1つに記載の表示方法。
[28]
 前記波長分散補償部材が、反射型若しくは透過型の体積ホログラム又は反射型若しくは透過型のレリーフホログラム又はメタサーフェイスを含む第1光学素子である、[27]に記載の表示方法。
 1…光軸(Optical Vector)、
 2…視軸(Gaze Vector)、
 10…瞳、
 20…眼球、
 30…中心窩、
 31…盲点、
 100、100-1…表示装置、
 101…光源部、
 104…センサ、
 105…投射位置調整機構、
 107…監視部(視線検出装置)、
 112…制御部、
 181…画像制御部、
 182…投射位置制御部、
 183…視線補正部、
 191…処理部、
 192…マッチング部、
 201…照射部、
 201…追従部、
 301…取得部。

Claims (16)

  1.  光源と、
     眼球の特性分布を処理する処理部と、
     該眼球の状態を監視する監視部と、
     該眼球の特性分布と該眼球の状態とをマッチングさせるマッチング部と、
     網膜の所定の場所に、該光源から出射された映像表示光を照射する照射部と、
     を備える、表示装置。
  2.  前記眼球の前記特性分布を取得する取得部を更に備える、請求項1に記載の表示装置。
  3.  前記取得部が、眼底カメラ、OCT、レフラクトメーター及びIRスキャンからの戻り光を検知する光検知装置からなる群から選ばれる少なくとも1つから構成される、請求項2に記載の表示装置。
  4.  前記監視部が、角膜反射又は眼底反射を用いて前記眼球の状態を監視する、請求項1に記載の表示装置。
  5.  前記眼球の運動に、前記映像表示光を追従させる追従部を更に備える、請求項1に記載の表示装置。
  6.  前記追従部が、コンバイナ、リレー系駆動部、ミラー駆動部及び位相差パネルからなる群から選ばれる少なくとも1つから構成される、請求項5に記載の表示装置。
  7.  前記眼球の前記特性分布に基づいて座標系を規定して、
     前記マッチング部が、該座標系を介して、前記眼球の前記特性分布と、映像を提示しようとする前記眼球の状態とをマッチングさせる、請求項1に記載の表示装置。
  8.  前記座標系が、右目の第1中心窩、右目の第1盲点、左目の第2中心窩及び左目の第2盲点からなる群から選ばれる少なくとも2つに基づいて定義される、請求項7に記載の表示装置。
  9.  前記光源がレーザ光源である、請求項1に記載の表示装置。
  10.  走査型のミラーを更に備え、
     該走査型のミラーが、前記映像表示光を前記網膜に照射する、請求項1に記載の表示装置。
  11.  前記照射部が、眼前に配される部材を更に備え、
     該部材がシースルー性を有する、請求項1に記載の表示装置。
  12.  前記部材が、反射型若しくは透過型の体積ホログラム、反射型若しくは透過型のレリーフホログラム又はメタサーフェイスを含む第1光学素子、又は所定の光を反射し、該所定の光以外の光を透過する第2光学素子である、請求項11に記載の表示装置。
  13.  波長分散補償部材を更に備える、請求項1に記載の表示装置。
  14.  前記波長分散補償部材が、反射型若しくは透過型の体積ホログラム、反射型若しくは透過型のレリーフホログラム又はメタサーフェイスを含む第1光学素子である、請求項13に記載の表示装置。
  15.  眼球の特性分布を処理することと、
     該眼球の状態を監視することと、
     該眼球の該特性分布と該眼球の状態とをマッチングさせることと、
     網膜の所定の場所に、光源から出射された映像表示光を照射することと、
     を含む、表示方法。
  16.  前記眼球の前記特性分布を取得することを更に含む、請求項15に記載の表示方法。
PCT/JP2021/015895 2020-05-27 2021-04-19 表示装置及び表示方法 WO2021241073A1 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2022527582A JPWO2021241073A1 (ja) 2020-05-27 2021-04-19
US17/998,976 US11940630B2 (en) 2020-05-27 2021-04-19 Display apparatus and display method
CN202180036511.7A CN115668037A (zh) 2020-05-27 2021-04-19 显示装置和显示方法
KR1020227040714A KR20230015353A (ko) 2020-05-27 2021-04-19 표시 장치 및 표시 방법
DE112021002930.4T DE112021002930T5 (de) 2020-05-27 2021-04-19 Anzeigevorrichtung und anzeigeverfahren

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020-092553 2020-05-27
JP2020092553 2020-05-27

Publications (1)

Publication Number Publication Date
WO2021241073A1 true WO2021241073A1 (ja) 2021-12-02

Family

ID=78744352

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/015895 WO2021241073A1 (ja) 2020-05-27 2021-04-19 表示装置及び表示方法

Country Status (6)

Country Link
US (1) US11940630B2 (ja)
JP (1) JPWO2021241073A1 (ja)
KR (1) KR20230015353A (ja)
CN (1) CN115668037A (ja)
DE (1) DE112021002930T5 (ja)
WO (1) WO2021241073A1 (ja)

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012042793A1 (ja) * 2010-10-01 2012-04-05 パナソニック株式会社 シースルーディスプレイ装置及びシースルーディスプレイ装置を搭載した車両
WO2016039187A1 (ja) * 2014-09-08 2016-03-17 株式会社トプコン 眼科撮影装置および眼科情報処理装置
JP2017522591A (ja) * 2014-06-17 2017-08-10 トムソン ライセンシングThomson Licensing 画素配分最適化を用いた方法およびディスプレイ装置
US20170277257A1 (en) * 2016-03-23 2017-09-28 Jeffrey Ota Gaze-based sound selection
JP2018538573A (ja) * 2015-12-03 2018-12-27 アイウェイ ビジョン リミテッドEyeWay Vision Ltd. 画像投影システム
JP2019512726A (ja) * 2016-03-11 2019-05-16 フェイスブック・テクノロジーズ・リミテッド・ライアビリティ・カンパニーFacebook Technologies, Llc 眼球モデルを生成するための角膜球追跡
WO2019125575A1 (en) * 2017-12-19 2019-06-27 Akonia Holographics Llc Optical system with dispersion compensation
US20190286229A1 (en) * 2018-03-15 2019-09-19 Htc Corporation Eye tracking method, electronic device, and non-transitory computer readable storage medium
US20190324532A1 (en) * 2018-04-16 2019-10-24 North Inc. Method and system for dual mode eye tracking on wearable heads-up display
JP2019533325A (ja) * 2016-08-01 2019-11-14 フェイスブック・テクノロジーズ・リミテッド・ライアビリティ・カンパニーFacebook Technologies, Llc 視線追跡情報に基づく画像領域内の適応パラメータ
JP2019211705A (ja) * 2018-06-07 2019-12-12 株式会社リコー 光学装置、映像表示装置、及び検眼装置
US20200150443A1 (en) * 2018-11-13 2020-05-14 Facebook Technologies, Llc Pupil steering: combiner actuation systems

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5794608B2 (ja) 2010-12-24 2015-10-14 Necエナジーデバイス株式会社 放電制御装置、放電制御方法およびプログラム
JP4926300B1 (ja) 2011-06-10 2012-05-09 パイオニア株式会社 画像表示装置、画像表示方法及び画像表示プログラム
US9268406B2 (en) * 2011-09-30 2016-02-23 Microsoft Technology Licensing, Llc Virtual spectator experience with a personal audio/visual apparatus

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012042793A1 (ja) * 2010-10-01 2012-04-05 パナソニック株式会社 シースルーディスプレイ装置及びシースルーディスプレイ装置を搭載した車両
JP2017522591A (ja) * 2014-06-17 2017-08-10 トムソン ライセンシングThomson Licensing 画素配分最適化を用いた方法およびディスプレイ装置
WO2016039187A1 (ja) * 2014-09-08 2016-03-17 株式会社トプコン 眼科撮影装置および眼科情報処理装置
JP2018538573A (ja) * 2015-12-03 2018-12-27 アイウェイ ビジョン リミテッドEyeWay Vision Ltd. 画像投影システム
JP2019512726A (ja) * 2016-03-11 2019-05-16 フェイスブック・テクノロジーズ・リミテッド・ライアビリティ・カンパニーFacebook Technologies, Llc 眼球モデルを生成するための角膜球追跡
US20170277257A1 (en) * 2016-03-23 2017-09-28 Jeffrey Ota Gaze-based sound selection
JP2019533325A (ja) * 2016-08-01 2019-11-14 フェイスブック・テクノロジーズ・リミテッド・ライアビリティ・カンパニーFacebook Technologies, Llc 視線追跡情報に基づく画像領域内の適応パラメータ
WO2019125575A1 (en) * 2017-12-19 2019-06-27 Akonia Holographics Llc Optical system with dispersion compensation
US20190286229A1 (en) * 2018-03-15 2019-09-19 Htc Corporation Eye tracking method, electronic device, and non-transitory computer readable storage medium
US20190324532A1 (en) * 2018-04-16 2019-10-24 North Inc. Method and system for dual mode eye tracking on wearable heads-up display
JP2019211705A (ja) * 2018-06-07 2019-12-12 株式会社リコー 光学装置、映像表示装置、及び検眼装置
US20200150443A1 (en) * 2018-11-13 2020-05-14 Facebook Technologies, Llc Pupil steering: combiner actuation systems

Also Published As

Publication number Publication date
DE112021002930T5 (de) 2023-03-09
US20230213766A1 (en) 2023-07-06
US11940630B2 (en) 2024-03-26
CN115668037A (zh) 2023-01-31
KR20230015353A (ko) 2023-01-31
JPWO2021241073A1 (ja) 2021-12-02

Similar Documents

Publication Publication Date Title
AU2016314630B2 (en) Eye projection system and method
IL298199A (en) Methods and systems for diagnosing and treating diseases
US20190212565A1 (en) Wearable display for stereoscopic viewing
US11914156B1 (en) System and method for automatic vision correction in near-to-eye displays
WO2013082387A1 (en) Wide field-of-view 3d stereo vision platform with dynamic control of immersive or heads-up display operation
EP4154050A1 (en) Augmented and virtual reality display systems with correlated in-coupling and out-coupling optical regions
WO2021241073A1 (ja) 表示装置及び表示方法
WO2022254782A1 (ja) 視線検出装置、表示装置、視線検出システム、及び視線検出方法
WO2021106502A1 (ja) 頭部装着型表示装置、画像表示システム、及び画像表示方法
CN116322475A (zh) 视线检测设备、显示设备以及眼球感测方法
WO2022153759A1 (ja) 画像表示装置および画像表示システム
KR101534843B1 (ko) 양안용 시각 모의 실험 장치
KR101534842B1 (ko) 양안용 시각 모의 실험 장치
WO2023157481A1 (ja) 表示装置及び表示システム
US20230350197A1 (en) Line-of-sight detection device and display device
TWI819654B (zh) 改善視網膜損傷患者視力的系統
KR20160022110A (ko) 근적외선 광원을 이용한 안과 수술용 근적외선 입체 영상 시스템

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21813402

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2022527582

Country of ref document: JP

Kind code of ref document: A

122 Ep: pct application non-entry in european phase

Ref document number: 21813402

Country of ref document: EP

Kind code of ref document: A1