WO2022254782A1 - 視線検出装置、表示装置、視線検出システム、及び視線検出方法 - Google Patents
視線検出装置、表示装置、視線検出システム、及び視線検出方法 Download PDFInfo
- Publication number
- WO2022254782A1 WO2022254782A1 PCT/JP2022/003927 JP2022003927W WO2022254782A1 WO 2022254782 A1 WO2022254782 A1 WO 2022254782A1 JP 2022003927 W JP2022003927 W JP 2022003927W WO 2022254782 A1 WO2022254782 A1 WO 2022254782A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- unit
- pupil
- user
- line
- illumination
- Prior art date
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 173
- 210000001747 pupil Anatomy 0.000 claims abstract description 165
- 238000005286 illumination Methods 0.000 claims abstract description 131
- 230000033001 locomotion Effects 0.000 claims description 63
- 230000008859 change Effects 0.000 claims description 33
- 210000003128 head Anatomy 0.000 claims description 22
- 238000003384 imaging method Methods 0.000 claims description 22
- 230000009471 action Effects 0.000 claims description 17
- 210000000744 eyelid Anatomy 0.000 claims description 10
- 230000004434 saccadic eye movement Effects 0.000 claims description 10
- 238000005516 engineering process Methods 0.000 description 81
- 230000007246 mechanism Effects 0.000 description 33
- 238000012937 correction Methods 0.000 description 28
- 210000001508 eye Anatomy 0.000 description 18
- 230000006870 function Effects 0.000 description 15
- 238000004364 calculation method Methods 0.000 description 14
- 230000003287 optical effect Effects 0.000 description 14
- 238000010586 diagram Methods 0.000 description 12
- 238000000034 method Methods 0.000 description 7
- 239000006185 dispersion Substances 0.000 description 6
- 238000012545 processing Methods 0.000 description 6
- 238000006073 displacement reaction Methods 0.000 description 5
- 210000005252 bulbus oculi Anatomy 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000001678 irradiating effect Effects 0.000 description 3
- 210000001525 retina Anatomy 0.000 description 3
- 230000011218 segmentation Effects 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000004397 blinking Effects 0.000 description 2
- 230000007423 decrease Effects 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 230000004424 eye movement Effects 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000001151 other effect Effects 0.000 description 1
- 230000004461 rapid eye movement Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
Definitions
- the present technology relates to a line-of-sight detection device, a display device, a line-of-sight detection system, and a line-of-sight detection method.
- Eye sensing technology is expected to be used in various technologies. For example, in research fields, eye sensing technology is expected to be used in neuroscience, bioengineering, or medicine. In the industrial field, eye-tracking technology is expected to be used for technology transfer and UX improvement. Alternatively, iris authentication technology is expected to be used for security technology.
- Patent Literature 1 discloses a technique of performing eye tracking while sequentially switching light sources that emit light.
- Patent Document 1 there is a risk that position information regarding the pupil cannot be acquired at appropriate timing.
- the main purpose of the present technology is to provide a line-of-sight detection device, a display device including the line-of-sight detection device, a line-of-sight detection system, and a line-of-sight detection method that acquire position information about pupils at appropriate timing. .
- the present technology includes an illumination unit that illuminates a pupil with a plurality of illumination lights, a determination unit that determines timing for illuminating the illumination unit, an illumination control unit that controls the illumination unit, and an image sensor having an event-driven function. and a computing unit that computes position information about the pupil, wherein the illumination control unit causes the illumination unit to illuminate the pupil based on the determination result of the determining unit, and the imaging device controls the A line-of-sight detection device is provided in which event information is generated by receiving reflected light from a pupil, and the computing unit computes position information about the pupil based on the event information.
- the determination unit may obtain the determination result that the user's movement has occurred based on the event information, and the illumination control unit may cause the illumination unit to illuminate the pupil based on the determination result.
- the motion of the user may include an eyelid opening/closing motion, and the determination unit may obtain the determination result that the user motion has occurred when the eyelid opening/closing motion is performed.
- the movement of the user includes a change in the size of the pupil diameter, and the determination unit determines that the movement of the user occurs when the amount of change in the size of the pupil diameter is equal to or greater than a predetermined threshold. The above determination result may be obtained.
- the movement of the user may include a saccade, and the determination unit may obtain the determination result that the movement of the user has occurred when the speed of the saccade is equal to or greater than a predetermined threshold.
- the line-of-sight detection device further includes an environment detection unit that detects a user's environment, and the determination unit obtains the determination result that the user's environment has changed based on the detection result of the environment detection unit. Then, the illumination control section may cause the illumination section to illuminate the pupil based on the determination result.
- the detection result of the environment detection unit includes the illuminance, and the determination unit obtains the determination result that the user's environment has changed when the amount of change in the illuminance is equal to or greater than a predetermined threshold. good.
- the present technology provides a display device including at least a line-of-sight detection device.
- the display device further includes a motion detection unit that detects a user's motion, and the determination unit obtains the determination result that the user's motion has been performed based on the detection result of the motion detection unit. Then, the illumination control section may cause the illumination section to illuminate the pupil based on the determination result.
- the user's action includes wearing the display device on the user's head, and the determining unit determines that when the display device is worn on the user's head, the user's A result of the determination that an action has been performed may be obtained.
- the user's action includes the user's operation on the display device, and the determination unit determines whether the user's action is performed when the user's operation on the display device is performed.
- the determination result may be obtained that it is broken.
- the display device further includes an image detection unit that detects an image displayed by the display device, and the determination unit determines that the image has changed based on the detection result of the image detection unit. Then, the illumination control section may cause the illumination section to illuminate the pupil based on the determination result.
- the detection result of the image detection unit includes the brightness of the image, and the determination unit obtains the determination result that the image has changed when the amount of change in the brightness is equal to or greater than a predetermined threshold. good.
- the present technology includes an illumination unit that illuminates a pupil with a plurality of illumination lights, a determination unit that determines a timing for illuminating the illumination unit, an illumination control unit that controls the illumination unit, and an imaging device having an event-driven function. and a computation unit that computes position information about the pupil, wherein the illumination control unit causes the illumination unit to illuminate the pupil based on the determination result of the determination unit, and the imaging device and generating event information by receiving reflected light from the pupil, and the calculating unit calculates position information regarding the pupil based on the event information.
- the present technology includes determining a timing to illuminate the pupil, illuminating the pupil with a plurality of illumination lights based on the result of the determination, and using an imaging device having an event-driven function to perform the illumination of the pupil.
- a line-of-sight detection method comprising: generating event information by receiving reflected light from an eye; and calculating position information about the pupil based on the event information.
- FIG. 1 is a schematic diagram showing a configuration example of a line-of-sight detection device 107 according to a first embodiment of the present technology
- FIG. 4 is a flowchart showing an example of the flow of processing of the line-of-sight detection device 107 according to the first embodiment of the present technology
- 2 is a simplified diagram showing the configuration of a pupil 20
- FIG. It is a schematic diagram showing an example of composition of sight line detection device 107 concerning a 2nd embodiment of this art.
- FIG. 10 is a top view of a display device 100 according to a third embodiment of the present technology worn on a user's head;
- FIG. 11 is a front view of a display device 100 according to a third embodiment of the present technology worn on a user's head; It is a block diagram showing an example of composition of display 100 concerning a 3rd embodiment of this art.
- FIG. 11 is a schematic diagram showing a configuration example of a line-of-sight detection device 107 according to a fifth embodiment of the present technology
- FIG. 13 is a schematic diagram showing a configuration example of a line-of-sight detection system 200 according to a sixth embodiment of the present technology
- FIG. 16 is a flow chart showing an example of a line-of-sight detection method according to a seventh embodiment of the present technology;
- FIG. 11 is a front view of a display device 100 according to a third embodiment of the present technology worn on a user's head; It is a block diagram showing an example of composition of display 100 concerning a 3rd embodiment of this art.
- FIG. 11 is a schematic diagram showing a configuration example of a line-of-sight detection device
- the present technology uses an image sensor having an event-driven function such as a DVS (Dynamic Vision Sensor).
- DVS can contribute to reduction of power consumption because only pixels with luminance change generate event information. Furthermore, since DVS has high time resolution, event information can be generated with high accuracy.
- each pixel provided in the DVS generates event information each time there is a luminance change, so a lot of noise may occur. Due to this noise, there is a problem that the position information regarding the pupil cannot be obtained with high accuracy.
- the present technology provides a line-of-sight detection device that acquires position information about the pupil at an appropriate timing by including a determination unit that determines the timing of irradiating the pupil.
- the line-of-sight detection device according to the present technology can acquire the position information regarding the pupil with high accuracy. Furthermore, the line-of-sight detection device according to the present technology can contribute to reduction in processing delay, power consumption, and the like.
- a line-of-sight detection device includes an illumination unit that illuminates a pupil with a plurality of illumination lights, a determination unit that determines a timing to cause the illumination unit to illuminate, and an illumination control that controls the illumination unit. an imaging device having an event-driven function; and a computing unit that computes position information about the pupil, wherein the illumination control unit causes the illumination unit to display the A line-of-sight detection device that illuminates a pupil, the imaging device generates event information by receiving reflected light from the pupil, and the computing unit computes position information about the pupil based on the event information. is.
- FIG. 1 is a schematic diagram showing a configuration example of a line-of-sight detection device 107 according to the first embodiment of the present technology.
- the line-of-sight detection device 107 includes an illumination unit 1 that illuminates the pupil 20 with a plurality of illumination lights, and a determination unit that determines the timing of illuminating the illumination unit 1. 2 , an illumination control unit 3 that controls the illumination unit 1 , an image sensor 4 that has an event-driven function, and a calculation unit 5 that calculates position information regarding the pupil 20 .
- the determination unit 2 determines the timing for the illumination unit 1 to illuminate.
- a CPU Central Processing Unit
- the determination unit 2 can be realized by reading the program by this CPU.
- a learning model such as a deep neural network may be used.
- the illumination control unit 3 causes the illumination unit 1 to illuminate the pupil 20 based on the determination result of the determination unit 2 .
- the lighting control unit 3 can be realized by using a modulator or the like, for example.
- the illumination unit 1 illuminates the pupil 20 with a plurality of illumination lights.
- the illumination unit 1 can be realized by using an LED or the like, for example.
- this illumination light is preferably infrared light.
- the light emission pattern of the illumination part 1 is not restricted circularly.
- the number of illumination lights is preferably two or more, more preferably four or more. This can prevent the reflected light from being completely received due to, for example, the orientation of the eyeball. At least one illumination light can be received by having a plurality of illumination lights.
- the image sensor 4 having an event-driven function receives reflected light from the pupil 20 to generate event information.
- a DVS or the like can be used as the imaging device 4 having an event-driven function.
- the calculation unit 5 calculates position information regarding the pupil 20 based on the event information.
- the computing unit 5 computes eye movement information and/or pupil position information.
- a CPU included in a computer for example, can be used for the calculation unit 5 .
- the computing unit 5 can be realized by reading the program by this CPU.
- a learning model such as a deep neural network may be used.
- FIG. 2 is a flowchart illustrating an example of the flow of processing of the line-of-sight detection device 107 according to the first embodiment of the present technology.
- step S11 the calculation unit 5 acquires event information generated by the imaging element 4 that has received the reflected light from the pupil.
- step S12 the calculation unit 5 performs segmentation regarding the pupil based on the acquired event information. This segmentation will be described with reference to FIG.
- FIG. 3 is a simplified diagram showing the configuration of the pupil 20. As shown in FIG. As shown in FIG. 3, pupil 20 includes pupil 21 and iris 22 . Also, a Purkinje image 23 generated by light reflected from the illumination unit 1 is detected.
- the calculation unit 5 performs segmentation of each region such as the Purkinje image 23, the pupil 21, and the iris 22 based on the input event information.
- the determination unit 2 determines whether or not the user's movement has occurred.
- User movements may include, for example, eyelid opening and closing motions, changes in pupil size, saccades, wearing of the device, or manipulation of the device.
- the eyelid opening/closing motion may include winking intentionally performed in addition to blinking unconsciously. If the user makes such a movement, the line-of-sight detection device 107 may not be able to acquire the position of the pupil 21 or the like. Therefore, the timing at which such a user's movement is performed is the appropriate timing for acquiring the position information regarding the pupil.
- the information input to the determination unit 2 is not particularly limited, but event information generated by the imaging element 4 may be input to the determination unit 2, for example. Based on the event information, the determination unit 2 can obtain a determination result that the user's movement has occurred. For example, when event information with a specific waveform is input to the determination unit 2, the determination unit 2 determines that an eyelid opening/closing operation has been performed, and obtains a determination result indicating that a user's movement has occurred. By obtaining this determination result, the line-of-sight detection device 107 can acquire the position information regarding the pupil at an appropriate timing. As a result, the line-of-sight detection device 107 can acquire position information about the pupil with high accuracy.
- Non-Patent Document 1 As a technique for determining the opening and closing motion of the eyelids, for example, the technique disclosed in Non-Patent Document 1 below can be used.
- Non-Patent Document 1 "Real-Time Face & Eye Tracking and Blink Detection using Event Cameras", 2020, https://arxiv.org/abs/2010.08278
- the determination unit 2 obtains the determination result that the user has made a movement. For example, when the amount of change in the size of the pupil diameter is 2 mm or more, the determination unit 2 obtains the determination result that the user has made a movement.
- the line-of-sight detection device 107 can acquire the position information regarding the pupil at an appropriate timing. As a result, the line-of-sight detection device 107 can acquire position information about the pupil with high accuracy.
- the determination unit 2 obtains the determination result that the user's movement has occurred. For example, when the speed of the saccade is 20 degrees/second or more, the determination unit 2 obtains the determination result that the user's movement has occurred.
- the line-of-sight detection device 107 can acquire the position information regarding the pupil at an appropriate timing. As a result, the line-of-sight detection device 107 can acquire position information about the pupil with high accuracy.
- step S14 the illumination control unit 3 controls the illumination unit 1 to illuminate the pupil based on the determination result.
- the determination unit 2 obtains the determination result that the user's movement has occurred (step S13: Yes)
- the illumination control unit 3 controls the illumination unit 1 to illuminate the pupil.
- step S15 the illumination unit 1 illuminates the pupil with a plurality of illumination lights.
- step S16 the calculation unit 5 acquires event information generated by the imaging element 4 that has received the reflected light from the pupil.
- step S17 the calculation unit 5 calculates the position information of each region such as the Purkinje image 23, the pupil 21, and the iris 22 based on the event information.
- step S18 the calculation unit 5 identifies an ROI (Region of Interest) based on the position information of each region such as the Purkinje image 23, the pupil 21, and the iris 22.
- a ROI is a region identified for analysis in image data.
- step S20 the calculation unit 5 outputs three-dimensional position information regarding the pupil.
- step S13 if the determination unit 2 does not obtain the determination result that the user's movement has occurred (step S13: No), the processing from step S18 onwards is performed.
- a line-of-sight detection device according to a second embodiment of the present technology further includes an environment detection unit that detects a user's environment.
- the illumination control unit causes the illumination unit to illuminate the pupil based on the determination result.
- FIG. 4 is a schematic diagram showing a configuration example of the line-of-sight detection device 107 according to the second embodiment of the present technology.
- the line-of-sight detection device 107 further includes an environment detection unit 6 that detects the user's environment.
- an environment detection unit 6 for example, a sensor that quantifies brightness, such as an illuminance meter or an image sensor, can be used.
- the determination unit 2 Based on the detection result of the environment detection unit 6, the determination unit 2 obtains the determination result that the user's environment has changed. For example, when an illuminance meter is used as the environment detection unit 6, the detection result includes illuminance. The determination unit 2 obtains the determination result that the user's environment has changed when the amount of change in the illuminance is equal to or greater than a predetermined threshold. For example, when the illuminance after the change is 10 times or more the illuminance before the change, or when the illuminance after the change is 1/10 or less of the illuminance before the change, the determination unit 2 determines that the user's environment has changed. I get the judgment result that I did.
- the illumination control unit 3 causes the illumination unit 1 to illuminate the pupil based on the determination result.
- the line-of-sight detection device 107 can acquire the position information about the pupil at an appropriate timing.
- the line-of-sight detection device 107 can acquire position information about the pupil with high accuracy.
- the illumination unit 1 can be caused to illuminate the pupil.
- a display device is a display device including at least the line-of-sight detection device according to the first or second embodiment of the present technology.
- a display device can be applied to, for example, an eyewear display or a head-mounted display.
- a display device includes a video display unit, a sensor (also referred to as a displacement sensor) that detects the amount of change in the position of the display device with respect to the user's head, It includes a line-of-sight detection device, a projection position adjustment mechanism, a control section, a storage section, and the like according to the embodiment.
- a sensor also referred to as a displacement sensor
- FIG. 5 is a top view of the display device 100 according to the third embodiment of the present technology worn on the user's head.
- FIG. 6 is a front view of the display device 100 according to the third embodiment of the present technology worn on the user's head.
- the display device 100 includes a temple portion 109L and a rim portion 108L, which are part of an eyeglass shape.
- a light source section 101L and a projection optical system 102L are arranged in the temple section 109L.
- the rim portion 108L holds a HOE (Holographic Optical Element) 103L.
- HOE Holographic Optical Element
- the inner rim portion 106L is held by the rim portion 108L via the projection position adjusting mechanism 105L-2.
- the inner rim portion 106L holds the HOE 103L via a projection position adjusting mechanism 105L-1.
- Examples of the HOE 103L include a hologram lens, preferably a film-like hologram lens, and more preferably a transparent film-like hologram lens.
- a film-shaped hologram lens may be used by being attached to, for example, glass.
- the desired optical properties can be imparted to the holographic lens by techniques known in the art.
- a commercially available hologram lens may be used as the hologram lens, or the hologram lens may be manufactured by a technique known in the art.
- the display device 100 is configured to project image display light to each of the user's eyes. That is, the display device 100 includes a left-eye image display unit that projects image display light to the left eye and a right-eye image display unit that projects image display light to the right eye.
- the image display unit for left eye has a light source unit 101L, a projection optical system 102L, and an HOE 103L.
- the light source unit 101L emits image display light.
- the light source section 101L can include, for example, a laser light source 120L, a mirror 121L, and a scanning mirror 122L.
- the laser light emitted from the laser light source 120L is reflected by the mirror 121L and reaches the scanning mirror 122L.
- the scanning mirror 122L two-dimensionally scans the laser light.
- the scanning mirror 122L may be, for example, a MEMS mirror.
- the scanning mirror 122L can move the direction of the laser light at high speed so that an image is formed on the retina.
- the projection optical system 102L adjusts the direction of the image display light so that the image display light reaches the desired area and/or position of the HOE 103L. For example, the image display light scanned by the scanning mirror 122L is collimated.
- the HOE 103L diffracts the image display light so that it is collected near the user's pupil and illuminates the retina.
- the HOE 103L may be, for example, a reflective diffraction element.
- the HOE 103L can have an optical characteristic of acting as a lens for light within the wavelength range of the image display light and transmitting light having a wavelength outside the wavelength range. Due to the optical characteristics, the user can recognize the image by the video display light through the HOE 103L while recognizing the scenery ahead in the line-of-sight direction, for example. That is, the display device 100 can superimpose an image of the image display light on the scenery of the outside world.
- the light source unit 101L, the projection optical system 102L, and the HOE 103L can cause the image display light to reach the user's left eye.
- the right-eye image display section includes a light source section 101R, a projection optical system 102R, and an HOE 103R.
- the description of the light source section 101L, the projection optical system 102L, and the HOE 103L also applies to the light source section 101R, the projection optical system 102R, and the HOE 103R.
- a stimulus of a specific wavelength can be presented by using the laser light source 120L and the laser light source 120R.
- the light source unit 101L shown in FIG. 6 includes one laser light source 120L, but the number of laser light sources included in the light source unit 101L may be two or more, for example, two or more and five or less. you can These multiple laser light sources may output laser light of different wavelengths. Similarly, the number of laser light sources included in the light source unit 101R may be two or more, for example, two or more and five or less. These multiple laser light sources may output laser light of different wavelengths.
- the rim portions 108L and 108R included in the display device 100 are connected via the bridge portion 110.
- the bridge part 110 is a part that touches the user's nose when the user wears the display device 100 .
- the rim portions 108L and 108R of the display device 100 are connected to the headband portion 111.
- the headband portion 111 is a portion that contacts the top of the user's head when the user wears the display device 100 .
- the display device 100 may further include a wavelength dispersion compensation member. Since the chromatic dispersion compensation member compensates for chromatic dispersion, it is possible to accurately stimulate an arbitrary point (predetermined point) on the retina.
- the wavelength dispersion compensation member can be, for example, a reflective or transmissive volume hologram, a reflective or transmissive relief hologram, or the like.
- a chromatic dispersion compensation member may be arranged around the mirrors 121L and/or 121R.
- the chromatic dispersion compensation member may be arranged, for example, between mirror 121L and scanning mirror 122L and/or between mirror 121R and scanning mirror 122R.
- Display device 100 may further include sensors 104L, 104R, 104C, and 104T that detect changes in the position of display device 100 relative to the user's head.
- the change in position detected by these sensors may be, for example, the direction of change in position and/or the amount of change in position.
- the sensors 104L, 104R, 104C, and 104T are collectively referred to as the sensor 104 in this specification.
- Sensors 104L and 104R detect changes in the position of display device 100 in the horizontal direction with respect to the user's head.
- the sensor 104C detects changes in the position of the display device 100 in the front-rear direction with respect to the user's head.
- the sensor 104T detects changes in the position of the display device 100 in the vertical direction with respect to the user's head.
- the sensor 104 can detect, for example, three-dimensional dislocation of the display device 100 and re-wearing of the display device 100 by the user.
- the display device 100 can further include line-of-sight detection devices 107L and 107R that detect the user's line of sight. It should be noted that the line-of-sight detection devices 107L and 107R may be collectively referred to as the line-of-sight detection device 107 in this specification.
- the line-of-sight detection device according to the first or second embodiment of the present technology can be applied to this line-of-sight detection device 107 .
- the projection position adjustment mechanisms 105L-1 and 105L-2 and 105R-1 and 105R-2 adjust the projection positions of the image display light emitted from the display device 100.
- FIG. In this specification, these four projection position adjustment mechanisms may be collectively referred to as projection position adjustment mechanism 105 .
- the projection position adjustment mechanism 105 may be configured to adjust the projection position of the image display light, for example, following the line of sight. Alternatively, the projection position adjustment mechanism 105 can adjust the projection position of the image display light in accordance with mounting misalignment or the like.
- the projection position adjustment mechanism 105 can adjust the projection position of the image display light according to the rotational movement of the eyeball or the movement of the line of sight.
- the display device 100 can adjust the position of the image presented to the user to a more appropriate position.
- the image can be displayed at a more appropriate position by detecting the user's line of sight with the line-of-sight detection devices 107L and 107R. That is, having the line-of-sight detection device 107 is preferable for presenting AR information, for example.
- the projection position adjustment mechanism 105 can also adjust the position where the image display light is condensed in the image display by Maxwell's vision.
- the projection position adjustment mechanisms 105L-1 and 105L-2 adjust the projection position of the image display light projected to the left eye.
- the projection position adjusting mechanism 105L-1 adjusts the positional relationship in the z-axis direction between the inner rim portion 106L and the rim portion 108L. For example, the projection position adjusting mechanism 105L-1 moves the inner rim portion 106L in the z-axis direction with respect to the rim portion 108L. This adjusts the position of the HOE 103L in the z-axis direction.
- the projection position adjustment mechanism 105L-2 adjusts the positional relationship in the x-axis direction between the HOE 103L and the inner rim portion 106L. For example, the projection position adjustment mechanism 105L-2 moves the HOE 103L in the x-axis direction with respect to the inner rim portion 106L. This adjusts the position of the HOE 103L in the x-axis direction.
- a drive element for moving the inner rim portion 106L and the HOE 103L may be, for example, a piezo element, an actuator, or a bimetal, but is not limited to these.
- Projection position adjustment mechanism 105L-1 for example, based on changes in the position of display device 100 detected by one, two, three, or all four of sensors 104L, 104R, 104C, and 104T. , the positional relationship in the z-axis direction between the inner rim portion 106L and the rim portion 108L can be adjusted. Further, the projection position adjustment mechanism 105L-1 may adjust the positional relationship based on the change in the position and the line of sight detected by the line of sight detection device 107L.
- the projection position adjustment mechanism 105L-2 adjusts the position of the display device 100 detected by, for example, one, two, three, or all four of the sensors 104L, 104R, 104C, and 104T. , the positional relationship in the x-axis direction between the HOE 103L and the inner rim portion 106L can be adjusted. Further, the projection position adjustment mechanism 105L-2 may adjust the positional relationship based on the change in the position and the line of sight detected by the line of sight detection device 107L.
- the projection position adjustment mechanisms 105R-1 and 105R-2 adjust the projection position of the image display light projected to the right eye.
- the adjustment may be performed in the same manner as the projection position adjustment mechanisms 105L-1 and 105L-2.
- FIG. 7 is a block diagram showing a configuration example of the display device 100 according to the third embodiment of the present technology.
- the display device 100 has a control section 112 .
- the control unit 112 includes, for example, an image control unit 181, a projection position control unit 182, a line-of-sight correction unit 183, and the like.
- the image control unit 181 controls projection of image display light by the image display unit.
- the image control unit 181 drives, for example, the light source units 101L and 101R, particularly the laser light source and scanning mirror included in these light source units, to output image display light.
- the image control unit 181 can acquire image data stored in the storage unit 184, for example, and cause the light source units 101L and 101R to output image display light based on the image data.
- the image control unit 181 may correct the image data based on the change in the position of the display device 100 relative to the user's head detected by the sensor 104 .
- the image control section 181 may cause the light source sections 101L and 101R to output image display light based on the corrected image data. That is, the display device 100 may correct the image based on changes in position detected by a sensor that detects changes in the position of the head-mounted display device relative to the user's head.
- the projection position control unit 182 controls the projection positions of the image display light by controlling the projection position adjustment mechanisms 105L-1, 105L-2, 105R-1, and 105R-2.
- the projection position control unit 182 controls one to four of the projection position adjustment mechanisms 105L-1, 105L-2, 105R-1, and 105R-2 based on the lines of sight detected by the line-of-sight detection devices 107L and 107R. can be driven to control the projection position of the image display light.
- the projection position of the image display light can be controlled so as to follow the line of sight.
- the projection position control unit 182 adjusts one to four of the projection position adjustment mechanisms 105L-1, 105L-2, 105R-1, and 105R-2 based on the line of sight corrected by the line of sight correction unit 183, which will be described later. It may be driven to control the projection position of the image display light. For example, the projection position of the image display light can be controlled so as to follow the corrected line of sight.
- the projection position control unit 182 outputs data (hereinafter also referred to as “displacement data”) regarding changes in the position of the display device 100 relative to the user's head detected by one to four of the sensors 104L, 104R, 104C, and 104T. ), one to four of the projection position adjustment mechanisms 105L-1, 105L-2, 105R-1, and 105R-2 may be driven to control the projection position of the image display light. .
- the projection position control unit 182 can, for example, calculate the amount of position adjustment by each projection position adjustment mechanism based on the displacement data and the correction coefficient.
- the projection position control section 182 can drive each projection position adjustment mechanism so that the positional relationship is changed by the calculated position adjustment amount.
- the projection position control unit 182 may acquire a correction coefficient from a correction table stored in advance in the storage unit 184, for example, and use the correction coefficient for calculating the position adjustment amount.
- the correction table may have, for example, a plurality of correction coefficients, and the projection position control section 182 can select a predetermined correction coefficient from among these correction coefficients according to the displacement data. Further, the correction table may be provided for each projection position adjustment mechanism, for example.
- the correction table may be provided in the display device 100 in advance, or may be updated as the display device 100 is used by the user.
- the accuracy of projection position control can be improved by selecting or updating correction tables or correction factors.
- the projection position control unit 182 may use the line of sight detected by the line of sight detection device or the line of sight corrected by the line of sight correction unit 183 to calculate the position adjustment amount.
- the line-of-sight correction unit 183 corrects the lines of sight detected by the line-of-sight detection devices 107L and 107R based on the displacement data. As a result, the line-of-sight correction unit 183 can identify the line-of-sight in consideration of the mounting deviation, thereby improving the line-of-sight detection accuracy.
- the correction may be made with respect to the optical axis of the eye, may be made with respect to the visual axis of the eye, or may be made with respect to some other reference axis.
- the line-of-sight correction unit 183 may acquire a correction coefficient from a correction table stored in advance in the storage unit 184, for example, and use the correction coefficient for the line-of-sight correction.
- the display device 100 may further include a storage unit 184.
- the storage unit stores data related to image display light projected by the image display unit, a correction table used for controlling the projection position by the projection position control unit 122, and a correction table used for line-of-sight correction by the line-of-sight correction unit 123. may be stored.
- a display device includes a motion detection unit that detects a user's motion, and the determination unit determines whether the user's motion is performed based on a detection result of the motion detection unit.
- the illumination control section obtains the determination result that the pupil has been detected, and causes the illumination section to illuminate the pupil based on the determination result.
- an acceleration sensor for example, an acceleration sensor, an angular velocity sensor, an IMU (Inertial Measurement Unit), etc. can be used.
- IMU Inertial Measurement Unit
- the motion detection unit detects the user's motion, so that the line-of-sight detection device 107 can acquire position information about the pupil at an appropriate timing. As a result, the line-of-sight detection device 107 can acquire position information about the pupil with high accuracy.
- the user's action may include wearing the display device 100 on the user's head.
- the sensor 104 described in the third embodiment can also be a motion detector. The sensor 104 detects the user's action that the display device 100 is worn on the user's head.
- the determination unit 2 obtains a determination result that the user has performed an action when the display device 100 is worn on the user's head. Thereby, the line-of-sight detection device 107 can acquire the position information about the pupil at an appropriate timing. As a result, the line-of-sight detection device 107 can acquire position information about the pupil with high accuracy.
- the user corrects the displaced display device 100 to the correct position, it is an appropriate timing for acquiring the position information regarding the pupil.
- the user's action may include the user's operation on the display device 100 .
- the determination unit 2 obtains the determination result that the user's action has been performed. Thereby, the line-of-sight detection device 107 can acquire the position information about the pupil at an appropriate timing. As a result, the line-of-sight detection device 107 can acquire position information about the pupil with high accuracy.
- a display device according to a fifth embodiment of the present technology further includes an image detection unit that detects an image displayed by the display device, and the determination unit determines, based on a detection result of the image detection unit, In the display device, the illumination control section obtains the determination result that the image has changed, and causes the illumination section to illuminate the pupil based on the determination result.
- FIG. 8 is a schematic diagram showing a configuration example of the line-of-sight detection device 107 according to the fifth embodiment of the present technology.
- the line-of-sight detection device 107 further includes an image detection unit 7 that detects an image displayed by the display device 100 .
- the video detection unit 7 quantifies the brightness of the video displayed by the display device 100 in particular.
- a photodiode or the like can be used as the image detection unit 7 .
- the determination unit 2 Based on the detection result of the image detection unit 7, the determination unit 2 obtains the determination result that the image has changed.
- the detection result includes the brightness of the image.
- the determination unit 2 obtains the determination result that the image has changed. For example, when the luminance after the change is 10 times or more the luminance before the change, or when the luminance after the change is 1/10 or less of the luminance before the change, the determination unit 2 determines that the image has changed. Get the judgment result.
- the illumination control unit 3 causes the illumination unit 1 to illuminate the pupil based on the determination result.
- the line-of-sight detection device 107 can acquire the position information about the pupil at an appropriate timing.
- the line-of-sight detection device 107 can acquire position information about the pupil with high accuracy.
- the illumination unit 1 can be caused to illuminate the pupil.
- a line-of-sight detection system includes an illumination unit that illuminates a pupil with a plurality of illumination lights, a determination unit that determines timing for causing the illumination unit to illuminate, and an illumination control that controls the illumination unit. an imaging device having an event-driven function; and a computing unit that computes position information about the pupil, wherein the illumination control unit causes the illumination unit to display the A line-of-sight detection system that illuminates a pupil, the imaging device generates event information by receiving reflected light from the pupil, and the computing unit computes position information about the pupil based on the event information. is.
- FIG. 9 is a schematic diagram showing a configuration example of a line-of-sight detection system 200 according to the sixth embodiment of the present technology.
- the line-of-sight detection system 200 includes an illumination unit 1 that illuminates the pupil with a plurality of illumination lights, and a determination unit 2 that determines the timing of illuminating the illumination unit 1. , an illumination control unit 3 that controls the illumination unit 1, an image sensor 4 that has an event-driven function, and a calculation unit 5 that calculates position information regarding the pupil.
- the illumination control unit 3 causes the illumination unit 1 to illuminate the pupil based on the determination result of the determination unit 2 .
- the imaging device 4 generates event information by receiving reflected light from the pupil.
- the calculation unit 5 calculates position information regarding the pupil based on the event information.
- a line-of-sight detection method includes determining timing to illuminate the pupil, illuminating the pupil with a plurality of illumination lights based on the result of the determination, and an event-driven function.
- a line-of-sight detection method comprising: generating event information by receiving reflected light from the pupil using an image pickup device having; and calculating position information about the pupil based on the event information be.
- FIG. 10 is a flowchart illustrating an example of a line-of-sight detection method according to the seventh embodiment of the present technology.
- step S1 the determining unit 2 according to another embodiment determines the timing of illuminating the pupil.
- step S2 for example, the illumination unit 1 according to another embodiment illuminates the pupil with a plurality of illumination lights based on the determination result.
- step S3 the imaging device 4 having an event-driven function according to another embodiment generates event information by receiving reflected light from the pupil.
- step S4 the calculation unit 5 according to another embodiment calculates the position information regarding the pupil based on the event information.
- this technique can also take the following structures.
- an illumination unit that illuminates the pupil with a plurality of illumination lights; a determination unit that determines a timing for causing the illumination unit to illuminate; a lighting control unit that controls the lighting unit; an image sensor having an event-driven function; and a computing unit that computes position information about the pupil
- the illumination control unit causes the illumination unit to illuminate the pupil based on the determination result of the determination unit;
- the imaging element generates event information by receiving reflected light from the pupil, The line-of-sight detection device, wherein the computing unit computes position information about the pupil based on the event information.
- the illumination control unit causes the illumination unit to illuminate the pupil based on the determination result.
- the line-of-sight detection device according to [1].
- the movement of the user includes opening and closing motions of the eyelids,
- the determination unit obtains the determination result that the user's movement has occurred when the eyelid is opened and closed.
- the line-of-sight detection device according to [2].
- the movement of the user includes a change in the size of the pupil diameter
- the determination unit obtains the determination result that the user has made a movement when the amount of change in the size of the pupil diameter is equal to or greater than a predetermined threshold,
- the line-of-sight detection device according to [2] or [3].
- the movement of the user includes a saccade;
- the determination unit obtains the determination result that the user's movement has occurred when the speed of the saccade is equal to or greater than a predetermined threshold;
- the line-of-sight detection device according to any one of [2] to [4].
- the detection result of the environment detection unit includes illuminance, obtaining the determination result that the user's environment has changed when the amount of change in the illuminance is equal to or greater than a predetermined threshold; The line-of-sight detection device according to [6].
- a display device comprising at least the line-of-sight detection device according to any one of [1] to [7].
- the display device according to [8].
- the user's action includes wearing the display device on the user's head, The determination unit obtains the determination result that the user has performed an action when the display device is worn on the user's head.
- the user's action includes performing the user's operation on the display device,
- the determination unit obtains the determination result that the user's action has been performed when the user's operation is performed on the display device;
- the display device according to [9] or [10].
- [12] further comprising an image detection unit for detecting an image displayed by the display device,
- the determination unit obtains the determination result that the image has changed based on the detection result of the image detection unit,
- the illumination control unit causes the illumination unit to illuminate the pupil based on the determination result.
- the display device according to any one of [8] to [11].
- the detection result of the video detection unit includes the brightness of the video,
- the determination unit obtains the determination result that the image has changed when the amount of change in luminance is equal to or greater than a predetermined threshold;
- the display device according to [12].
- an illumination unit that illuminates the pupil with a plurality of illumination lights; a determination unit that determines a timing for causing the illumination unit to illuminate; a lighting control unit that controls the lighting unit; an image sensor having an event-driven function; and a computing unit that computes position information about the pupil,
- the illumination control unit causes the illumination unit to illuminate the pupil based on the determination result of the determination unit;
- the imaging element generates event information by receiving reflected light from the pupil, The line-of-sight detection system, wherein the computing unit computes position information about the pupil based on the event information.
Abstract
瞳に関する位置情報を適切なタイミングで取得すること。 複数の照明光で瞳を照明する照明部と、前記照明部に照明させるタイミングを判定する判定部と、前記照明部を制御する照明制御部と、イベントドリブン機能を有する撮像素子と、前記瞳に関する位置情報を演算する演算部と、を備えており、前記照明制御部が、前記判定部の判定結果に基づいて、前記照明部に前記瞳を照明させ、前記撮像素子が、前記瞳からの反射光の受光により、イベント情報を生成し、前記演算部が、前記イベント情報に基づいて、前記瞳に関する位置情報を演算する、視線検出装置を提供する。
Description
本技術は、視線検出装置、表示装置、視線検出システム、及び視線検出方法に関する。
瞳のセンシング技術は、様々な技術に利用されることが期待されている。例えば研究分野では、脳神経科学、生体工学、又は医学に瞳のセンシング技術が利用されることが期待されている。工業産業分野では、視線追跡技術が、技術伝承やＵＸの向上などに利用されることが期待されている。または、虹彩認証技術が、セキュリティ技術に利用されることが期待されている。
さらに、近年、開発競争が加速しているヘッドマウントディスプレイを用いたＡＲ（Augmented Reality：拡張現実）やＶＲ（Virtual Reality：仮想現実）などの技術では、瞳のセンシング技術が、Foveated Renderingや視聴可能領域（アイボックス）の拡大などに使われている。
例えば、特許文献１では、発光する光源を順次切り替えながらアイトラッキングを行う技術が開示されている。
しかしながら、例えば特許文献１などで開示されている技術では、瞳に関する位置情報を適切なタイミングで取得できないおそれがある。
そこで、本技術は、瞳に関する位置情報を適切なタイミングで取得する、視線検出装置、その視線検出装置を備えている表示装置、視線検出システム、及び視線検出方法を提供することを主目的とする。
本技術は、複数の照明光で瞳を照明する照明部と、前記照明部に照明させるタイミングを判定する判定部と、前記照明部を制御する照明制御部と、イベントドリブン機能を有する撮像素子と、前記瞳に関する位置情報を演算する演算部と、を備えており、前記照明制御部が、前記判定部の判定結果に基づいて、前記照明部に前記瞳を照明させ、前記撮像素子が、前記瞳からの反射光の受光により、イベント情報を生成し、前記演算部が、前記イベント情報に基づいて、前記瞳に関する位置情報を演算する、視線検出装置を提供する。
前記判定部が、前記イベント情報に基づいて、ユーザの動きが生じたという前記判定結果を得て、前記照明制御部が、前記判定結果に基づいて、前記照明部に前記瞳を照明させてよい。
前記ユーザの動きには、瞼の開閉動作が含まれており、前記判定部が、前記瞼の開閉動作が行われたとき、前記ユーザの動きが生じたという前記判定結果を得てよい。
前記ユーザの動きには、瞳孔径の大きさの変化が含まれており、前記判定部が、前記瞳孔径の大きさの変化量が所定の閾値以上であるとき、前記ユーザの動きが生じたという前記判定結果を得てよい。
前記ユーザの動きには、サッケードが含まれており、前記判定部が、前記サッケードの速度が所定の閾値以上であるとき、前記ユーザの動きが生じたという前記判定結果を得てよい。
前記視線検出装置が、ユーザの環境を検知する環境検知部をさらに備えており、前記判定部が、前記環境検知部の検知結果に基づいて、前記ユーザの環境が変化したという前記判定結果を得て、前記照明制御部が、前記判定結果に基づいて、前記照明部に前記瞳を照明させてよい。
前記環境検知部の検知結果には、照度が含まれており、前記判定部が、前記照度の変化量が所定の閾値以上であるとき、前記ユーザの環境が変化したという前記判定結果を得てよい。
また、本技術は、視線検出装置を少なくとも備える、表示装置を提供する。
前記表示装置が、ユーザの動作を検知する動作検知部をさらに備えており、前記判定部が、前記動作検知部の検知結果に基づいて、前記ユーザの動作が行われたという前記判定結果を得て、前記照明制御部が、前記判定結果に基づいて、前記照明部に前記瞳を照明させてよい。
前記ユーザの動作には、前記表示装置が前記ユーザの頭部に装着されることが含まれており、前記判定部が、前記表示装置が前記ユーザの頭部に装着されたとき、前記ユーザの動作が行われたという前記判定結果を得てよい。
前記ユーザの動作には、前記表示装置に対する前記ユーザの操作が行われることが含まれており、前記判定部が、前記表示装置に対する前記ユーザの操作が行われたとき、前記ユーザの動作が行われたという前記判定結果を得てよい。
前記表示装置が、前記表示装置が表示する映像を検知する映像検知部をさらに備えており、前記判定部が、前記映像検知部の検知結果に基づいて、前記映像が変化したという前記判定結果を得て、前記照明制御部が、前記判定結果に基づいて、前記照明部に前記瞳を照明させてよい。
前記映像検知部の検知結果には、映像の輝度が含まれており、前記判定部が、前記輝度の変化量が所定の閾値以上であるとき、前記映像が変化したという前記判定結果を得てよい。
また、本技術は、複数の照明光で瞳を照明する照明部と、前記照明部に照明させるタイミングを判定する判定部と、前記照明部を制御する照明制御部と、イベントドリブン機能を有する撮像素子と、前記瞳に関する位置情報を演算する演算部と、を備えており、前記照明制御部が、前記判定部の判定結果に基づいて、前記照明部に前記瞳を照明させ、前記撮像素子が、前記瞳からの反射光の受光により、イベント情報を生成し、前記演算部が、前記イベント情報に基づいて、前記瞳に関する位置情報を演算する、視線検出システムを提供する。
また、本技術は、瞳を照明するタイミングを判定することと、前記判定の結果に基づいて、複数の照明光で瞳を照明することと、イベントドリブン機能を有する撮像素子を用いて、前記瞳からの反射光の受光により、イベント情報を生成することと、前記イベント情報に基づいて、前記瞳に関する位置情報を演算することと、を含む、視線検出方法を提供する。
前記判定部が、前記イベント情報に基づいて、ユーザの動きが生じたという前記判定結果を得て、前記照明制御部が、前記判定結果に基づいて、前記照明部に前記瞳を照明させてよい。
前記ユーザの動きには、瞼の開閉動作が含まれており、前記判定部が、前記瞼の開閉動作が行われたとき、前記ユーザの動きが生じたという前記判定結果を得てよい。
前記ユーザの動きには、瞳孔径の大きさの変化が含まれており、前記判定部が、前記瞳孔径の大きさの変化量が所定の閾値以上であるとき、前記ユーザの動きが生じたという前記判定結果を得てよい。
前記ユーザの動きには、サッケードが含まれており、前記判定部が、前記サッケードの速度が所定の閾値以上であるとき、前記ユーザの動きが生じたという前記判定結果を得てよい。
前記視線検出装置が、ユーザの環境を検知する環境検知部をさらに備えており、前記判定部が、前記環境検知部の検知結果に基づいて、前記ユーザの環境が変化したという前記判定結果を得て、前記照明制御部が、前記判定結果に基づいて、前記照明部に前記瞳を照明させてよい。
前記環境検知部の検知結果には、照度が含まれており、前記判定部が、前記照度の変化量が所定の閾値以上であるとき、前記ユーザの環境が変化したという前記判定結果を得てよい。
また、本技術は、視線検出装置を少なくとも備える、表示装置を提供する。
前記表示装置が、ユーザの動作を検知する動作検知部をさらに備えており、前記判定部が、前記動作検知部の検知結果に基づいて、前記ユーザの動作が行われたという前記判定結果を得て、前記照明制御部が、前記判定結果に基づいて、前記照明部に前記瞳を照明させてよい。
前記ユーザの動作には、前記表示装置が前記ユーザの頭部に装着されることが含まれており、前記判定部が、前記表示装置が前記ユーザの頭部に装着されたとき、前記ユーザの動作が行われたという前記判定結果を得てよい。
前記ユーザの動作には、前記表示装置に対する前記ユーザの操作が行われることが含まれており、前記判定部が、前記表示装置に対する前記ユーザの操作が行われたとき、前記ユーザの動作が行われたという前記判定結果を得てよい。
前記表示装置が、前記表示装置が表示する映像を検知する映像検知部をさらに備えており、前記判定部が、前記映像検知部の検知結果に基づいて、前記映像が変化したという前記判定結果を得て、前記照明制御部が、前記判定結果に基づいて、前記照明部に前記瞳を照明させてよい。
前記映像検知部の検知結果には、映像の輝度が含まれており、前記判定部が、前記輝度の変化量が所定の閾値以上であるとき、前記映像が変化したという前記判定結果を得てよい。
また、本技術は、複数の照明光で瞳を照明する照明部と、前記照明部に照明させるタイミングを判定する判定部と、前記照明部を制御する照明制御部と、イベントドリブン機能を有する撮像素子と、前記瞳に関する位置情報を演算する演算部と、を備えており、前記照明制御部が、前記判定部の判定結果に基づいて、前記照明部に前記瞳を照明させ、前記撮像素子が、前記瞳からの反射光の受光により、イベント情報を生成し、前記演算部が、前記イベント情報に基づいて、前記瞳に関する位置情報を演算する、視線検出システムを提供する。
また、本技術は、瞳を照明するタイミングを判定することと、前記判定の結果に基づいて、複数の照明光で瞳を照明することと、イベントドリブン機能を有する撮像素子を用いて、前記瞳からの反射光の受光により、イベント情報を生成することと、前記イベント情報に基づいて、前記瞳に関する位置情報を演算することと、を含む、視線検出方法を提供する。
本技術によれば、瞳に関する位置情報を適切なタイミングで取得できる。なお、ここに記載された効果は、必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
以下、本技術を実施するための好適な形態について説明する。以下に説明する実施形態は、本技術の代表的な実施形態の一例を示したものであり、これにより本技術の範囲が狭く解釈されることはない。
説明は以下の順序で行う。
１．本技術の概要
２．第１の実施形態（視線検出装置の例１）
３．第２の実施形態（視線検出装置の例２）
４．第３の実施形態（表示装置の例１）
５．第４の実施形態（表示装置の例２）
６．第５の実施形態（表示装置の例３）
７．第６の実施形態（視線検出システムの例）
８．第７の実施形態（視線検出方法の例）
１．本技術の概要
２．第１の実施形態（視線検出装置の例１）
３．第２の実施形態（視線検出装置の例２）
４．第３の実施形態（表示装置の例１）
５．第４の実施形態（表示装置の例２）
６．第５の実施形態（表示装置の例３）
７．第６の実施形態（視線検出システムの例）
８．第７の実施形態（視線検出方法の例）
＜１．本技術の概要＞
従来、赤外光を瞳に照射して、反射された光を例えばイメージセンサなどの撮像素子が受光することにより、瞳に関する位置情報を取得する技術が用いられている。赤外光を瞳に照射することにより、瞳孔と虹彩との判別が容易になる。
従来、赤外光を瞳に照射して、反射された光を例えばイメージセンサなどの撮像素子が受光することにより、瞳に関する位置情報を取得する技術が用いられている。赤外光を瞳に照射することにより、瞳孔と虹彩との判別が容易になる。
また、例えばヘッドマウントディスプレイなどのようなウェアラブル装置が瞳に関する位置情報を取得するとき、ウェアラブル装置の消費電力を低減させることが求められる。そこで、本技術は、例えばＤＶＳ（Dynamic Vision Sensor）などのイベントドリブン機能を有する撮像素子を用いる。ＤＶＳは輝度変化があった画素のみがイベント情報を生成するため、消費電力の低減に貢献できる。さらに、ＤＶＳは時間解像度が高いため、高精度にイベント情報を生成できる。
しかし、輝度変化があるたびにＤＶＳが備える各画素がイベント情報を生成するため、ノイズが多く発生することがある。このノイズにより、瞳に関する位置情報を高精度に取得できないという問題がある。
さらに、まばたきや素早い眼球運動（サッケード）などにより、瞳に関する位置情報が一時的に取得できなくなるという問題もある。また、微小な眼球運動ではＤＶＳが生成するイベント情報が少なくなるため、瞳に関する位置情報を取得する精度が低下するという問題もある。
このような問題に対する解決策として、瞳を照射して輝度を強制的に変化させることにより、瞳に関する位置情報を強制的に取得するという解決策がある。
しかし、輝度を強制的に変化させると、ほぼ全ての画素がイベント情報を生成するため、通常時の何万倍ものイベント情報が生成される。各画素が生成するイベント情報は走査線ごとに順次読み出されるため、ほぼ全ての画素がイベント情報を生成すると、読み出しに遅延が生じるという問題が生じる。また、ＤＶＳは時間解像度が高いため、各画素が１回の照射で複数のイベント情報を生成することもあり、さらに遅延が生じる。さらに、イベント情報の生成に電力を消費するため、ほぼ全ての画素がイベント情報を生成すると、消費電力が高くなるという問題も生じる。
そこで、本技術は、瞳を照射するタイミングを判定する判定部を備えることにより、瞳に関する位置情報を適切なタイミングで取得する視線検出装置を提供する。これにより、本技術に係る視線検出装置は、瞳に関する位置情報を高精度に取得できる。さらに、本技術に係る視線検出装置は、処理の遅延の低減や、消費電力の低減などに貢献できる。
以下、本技術を実施するための好適な形態について図面を参照しながら詳細に説明する。なお、特に断りがない限り、図面において、「上」とは図中の上方向又は上側を意味し、「下」とは、図中の下方向又は下側を意味し、「左」とは図中の左方向又は左側を意味し、「右」とは図中の右方向又は右側を意味する。また、図面を用いた説明においては、同一又は同等の要素又は部材には同一の符号を付し、重複する説明は省略する。
＜２．第１の実施形態（視線検出装置の例１）＞
本技術の第１の実施形態に係る視線検出装置は、複数の照明光で瞳を照明する照明部と、前記照明部に照明させるタイミングを判定する判定部と、前記照明部を制御する照明制御部と、イベントドリブン機能を有する撮像素子と、前記瞳に関する位置情報を演算する演算部と、を備えており、前記照明制御部が、前記判定部の判定結果に基づいて、前記照明部に前記瞳を照明させ、前記撮像素子が、前記瞳からの反射光の受光により、イベント情報を生成し、前記演算部が、前記イベント情報に基づいて、前記瞳に関する位置情報を演算する、視線検出装置である。
本技術の第１の実施形態に係る視線検出装置は、複数の照明光で瞳を照明する照明部と、前記照明部に照明させるタイミングを判定する判定部と、前記照明部を制御する照明制御部と、イベントドリブン機能を有する撮像素子と、前記瞳に関する位置情報を演算する演算部と、を備えており、前記照明制御部が、前記判定部の判定結果に基づいて、前記照明部に前記瞳を照明させ、前記撮像素子が、前記瞳からの反射光の受光により、イベント情報を生成し、前記演算部が、前記イベント情報に基づいて、前記瞳に関する位置情報を演算する、視線検出装置である。
本技術の第１の実施形態に係る視線検出装置について、図１を参照しつつ説明する。図１は、本技術の第１の実施形態に係る視線検出装置１０７の構成例を示す概略図である。
図１に示される通り、本技術の第１の実施形態に係る視線検出装置１０７は、複数の照明光で瞳２０を照明する照明部１と、照明部１に照明させるタイミングを判定する判定部２と、照明部１を制御する照明制御部３と、イベントドリブン機能を有する撮像素子４と、瞳２０に関する位置情報を演算する演算部５と、を備えている。
まず、判定部２が、照明部１に照明させるタイミングを判定する。種々の判定手段については後述する。判定部２には、例えばコンピュータが備えるＣＰＵ（Central Processing Unit：中央処理装置）などが用いられることができる。このＣＰＵがプログラムを読み込むことにより、判定部２が実現できる。なお、前記プログラムの一例として、例えばディープニューラルネットワークなどの学習モデルが用いられてもよい。
次に、照明制御部３が、判定部２の判定結果に基づいて、照明部１に瞳２０を照明させる。照明制御部３は、例えば変調器などが用いられることにより実現できる。
次に、照明部１が、複数の照明光で瞳２０を照明する。照明部１は、例えばＬＥＤなどが用いられることにより実現できる。上述したように、この照明光は赤外光であることが好ましい。なお、照明部１の発光パターンは円形に限られない。
照明光は２つ以上であることが好ましく、４つ以上であることがより好ましい。これにより、例えば眼球の向きなどによって反射光が完全に受光できなくなることが防止できる。照明光が複数あることにより、少なくとも１つの照明光が受光できる。
次に、イベントドリブン機能を有する撮像素子４が、瞳２０からの反射光の受光により、イベント情報を生成する。イベントドリブン機能を有する撮像素子４として、例えばＤＶＳなどが用いられることができる。
最後に、演算部５が、前記イベント情報に基づいて、瞳２０に関する位置情報を演算する。特には、演算部５は、眼球の運動の情報及び／又は瞳孔の位置情報を演算する。演算部５には、例えばコンピュータが備えるＣＰＵなどが用いられることができる。このＣＰＵがプログラムを読み込むことにより、演算部５が実現できる。なお、前記プログラムの一例として、例えばディープニューラルネットワークなどの学習モデルが用いられてもよい。
本技術の第１の実施形態に係る視線検出装置１０７の処理の流れについて図２を参照しつつ説明する。図２は、本技術の第１の実施形態に係る視線検出装置１０７の処理の流れの例を示すフローチャートである。
図２に示される通り、ステップＳ１１において、演算部５は、瞳からの反射光を受光した撮像素子４が生成したイベント情報を取得する。
ステップＳ１２において、演算部５は、取得したイベント情報に基づいて、瞳に関するセグメンテーションを行う。このセグメンテーションについて図３を参照しつつ説明する。図３は、瞳２０の構成を示す簡略図である。図３に示される通り、瞳２０には、瞳孔２１と、虹彩２２と、が含まれている。また、照明部１からの照明光を反射した光により生じるプルキニエ像２３が検出されている。
演算部５は、入力されるイベント情報に基づいて、プルキニエ像２３、瞳孔２１、及び虹彩２２などのそれぞれの領域のセグメンテーションを行う。
再び図２を参照しつつ説明する。ステップＳ１３において、判定部２は、ユーザの動きが生じたか否かを判定する。ユーザの動きには、例えば、瞼の開閉動作、瞳孔径の大きさの変化、サッケード、装置の装着、又は装置に対する操作などが含まれてよい。瞼の開閉動作には、無意識のうちに行われるまばたきのほかに、意識的に行われるウインクが含まれてもよい。このようなユーザの動きが行われると、視線検出装置１０７が瞳孔２１などの位置を取得できなくなるおそれがある。そのため、このようなユーザの動きが行われたタイミングは、瞳に関する位置情報を取得する適切なタイミングである。
判定部２に入力される情報は特に限定されないが、例えば、撮像素子４が生成したイベント情報が判定部２に入力されてよい。判定部２は、前記イベント情報に基づいて、ユーザの動きが生じたという判定結果を得ることができる。例えば、波形が特異的なイベント情報が判定部２に入力されたとき、判定部２は、瞼の開閉動作が行われたと判定し、ユーザの動きが生じたという判定結果を得る。この判定結果が得られることにより、視線検出装置１０７は、瞳に関する位置情報を適切なタイミングで取得できる。その結果、視線検出装置１０７は、瞳に関する位置情報を高精度に取得できる。
瞼の開閉動作を判定する技術として、例えば下記の非特許文献１などで開示されている技術が用いられることができる。
非特許文献１：“Real-Time Face & Eye Tracking and Blink Detection using Event Cameras”, 2020, https://arxiv.org/abs/2010.08278
あるいは、瞳孔径の大きさの変化量が所定の閾値以上であるとき、判定部２は、ユーザの動きが生じたという判定結果を得る。例えば、瞳孔径の大きさの変化量が２ｍｍ以上であるとき、判定部２は、ユーザの動きが生じたという判定結果を得る。
この判定結果が得られることにより、視線検出装置１０７は、瞳に関する位置情報を適切なタイミングで取得できる。その結果、視線検出装置１０７は、瞳に関する位置情報を高精度に取得できる。
あるいは、サッケードの速度が所定の閾値以上であるとき、判定部２は、ユーザの動きが生じたという判定結果を得る。例えば、サッケードの速度が２０度／秒以上であるとき、判定部２は、ユーザの動きが生じたという判定結果を得る。
この判定結果が得られることにより、視線検出装置１０７は、瞳に関する位置情報を適切なタイミングで取得できる。その結果、視線検出装置１０７は、瞳に関する位置情報を高精度に取得できる。
続いて、ステップＳ１４において、照明制御部３は、前記判定結果に基づいて、瞳を照明させるように照明部１を制御する。判定部２が、ユーザの動きが生じたという判定結果を得た場合（ステップＳ１３：Ｙｅｓ）、照明制御部３は、瞳を照明させるように照明部１を制御する。
ステップＳ１５において、照明部１は、複数の照明光で瞳を照明する。
ステップＳ１６において、演算部５は、瞳からの反射光を受光した撮像素子４が生成したイベント情報を取得する。
ステップＳ１７において、演算部５は、前記イベント情報に基づいて、プルキニエ像２３、瞳孔２１、及び虹彩２２などのそれぞれの領域の位置情報を演算する。
ステップＳ１８において、演算部５は、プルキニエ像２３、瞳孔２１、及び虹彩２２などのそれぞれの領域の位置情報に基づいて、ＲＯＩ（Region of Interest：関心領域）を特定する。ＲＯＩとは、画像データにおける分析対象として特定される領域である。
ステップＳ１９において、演算部５は、プルキニエ像２３及び／又は瞳孔２１の位置情報に基づいて、瞳に関する３次元の位置情報を演算する。この位置情報は、前フレーム情報としてＲＯＩの特定（ステップＳ１８）に用いられることができる。
ステップＳ２０において、演算部５は、瞳に関する３次元の位置情報を出力する。
なお、ステップＳ１３において、判定部２が、ユーザの動きが生じたという判定結果を得なかった場合（ステップＳ１３：Ｎｏ）、ステップＳ１８以降の処理が行われる。
以上、本技術の第１の実施形態に係る視線検出装置について説明した内容は、技術的な矛盾が特にない限り、本技術の他の実施形態に適用できる。
＜３．第２の実施形態（視線検出装置の例２）＞
本技術の第２の実施形態に係る視線検出装置は、ユーザの環境を検知する環境検知部をさらに備えており、前記判定部が、前記環境検知部の検知結果に基づいて、前記ユーザの環境が変化したという前記判定結果を得て、前記照明制御部が、前記判定結果に基づいて、前記照明部に前記瞳を照明させる、視線検出装置である。
本技術の第２の実施形態に係る視線検出装置は、ユーザの環境を検知する環境検知部をさらに備えており、前記判定部が、前記環境検知部の検知結果に基づいて、前記ユーザの環境が変化したという前記判定結果を得て、前記照明制御部が、前記判定結果に基づいて、前記照明部に前記瞳を照明させる、視線検出装置である。
本技術の第２の実施形態に係る視線検出装置について、図４を参照しつつ説明する。図４は、本技術の第２の実施形態に係る視線検出装置１０７の構成例を示す概略図である。
図４に示される通り、本技術の第２の実施形態に係る視線検出装置１０７は、ユーザの環境を検知する環境検知部６をさらに備えている。環境検知部６として、例えば照度計やイメージセンサなどの明るさを数値化するセンサが用いられることができる。
判定部２は、環境検知部６の検知結果に基づいて、前記ユーザの環境が変化したという前記判定結果を得る。環境検知部６として例えば照度計が用いられるとき、前記検知結果には照度が含まれる。判定部２は、前記照度の変化量が所定の閾値以上であるとき、前記ユーザの環境が変化したという前記判定結果を得る。例えば、変化後の照度が変化前の照度の１０倍以上であるとき、又は、変化後の照度が変化前の照度の１０分の１以下であるとき、判定部２は、ユーザの環境が変化したという判定結果を得る。
照明制御部３は、前記判定結果に基づいて、照明部１に前記瞳を照明させる。これにより、視線検出装置１０７は、瞳に関する位置情報を適切なタイミングで取得できる。その結果、視線検出装置１０７は、瞳に関する位置情報を高精度に取得できる。
例えば、ユーザが暗い場所から明るい場所に移動したとき、ユーザの瞳孔径の大きさが変化したことが推定されるため、照明部１に前記瞳を照明させることができる。
以上、本技術の第２の実施形態に係る視線検出装置について説明した内容は、技術的な矛盾が特にない限り、本技術の他の実施形態に適用できる。
＜４．第３の実施形態（表示装置の例１）＞
本技術の第３の実施形態に係る表示装置は、本技術の第１又は第２の実施形態に係る視線検出装置を少なくとも備える表示装置である。本技術の第３の実施形態に係る表示装置は、例えば、アイウェアディスプレイやヘッドマウントディスプレイなどに適用できる。
本技術の第３の実施形態に係る表示装置は、本技術の第１又は第２の実施形態に係る視線検出装置を少なくとも備える表示装置である。本技術の第３の実施形態に係る表示装置は、例えば、アイウェアディスプレイやヘッドマウントディスプレイなどに適用できる。
本技術の第３の実施形態に係る表示装置は、映像表示部、ユーザの頭部に対する表示装置の位置の変化量を検出するセンサ（変位センサともいう）、本技術の第１又は第２の実施形態に係る視線検出装置、投射位置調整機構、制御部、及び記憶部などを備えている。
本技術の第３の実施形態に係る表示装置の構成例について、図５及び図６を参照しつつ説明する。図５は、ユーザの頭部に装着されている、本技術の第３の実施形態に係る表示装置１００の上面図である。図６は、ユーザの頭部に装着されている、本技術の第３の実施形態に係る表示装置１００の正面図である。
（映像表示部）
図５及び図６に示されるとおり、表示装置１００は、メガネ形状の一部であるツル部１０９Ｌ及びリム部１０８Ｌを備えている。ツル部１０９Ｌには、光源部１０１Ｌ及び投影光学系１０２Ｌが配置されている。リム部１０８Ｌには、ＨＯＥ（Holographic Optical Element：ホログラフィック光学素子）１０３Ｌが保持されている。より具体的には、リム部１０８Ｌには、投射位置調整機構１０５Ｌ－２を介して内側リム部１０６Ｌが保持されている。内側リム部１０６Ｌには、投射位置調整機構１０５Ｌ－１を介してＨＯＥ１０３Ｌが保持されている。
図５及び図６に示されるとおり、表示装置１００は、メガネ形状の一部であるツル部１０９Ｌ及びリム部１０８Ｌを備えている。ツル部１０９Ｌには、光源部１０１Ｌ及び投影光学系１０２Ｌが配置されている。リム部１０８Ｌには、ＨＯＥ（Holographic Optical Element：ホログラフィック光学素子）１０３Ｌが保持されている。より具体的には、リム部１０８Ｌには、投射位置調整機構１０５Ｌ－２を介して内側リム部１０６Ｌが保持されている。内側リム部１０６Ｌには、投射位置調整機構１０５Ｌ－１を介してＨＯＥ１０３Ｌが保持されている。
ＨＯＥ１０３Ｌとして、例えばホログラムレンズ、好ましくはフィルム状のホログラムレンズ、より好ましくは透明なフィルム状ホログラムレンズを挙げることができる。フィルム状のホログラムレンズは、例えばガラスなどに貼り付けて用いられてよい。当技術分野で既知の技法により、ホログラムレンズに所望の光学特性を付与することができる。そして、ホログラムレンズとして、市販入手可能なホログラムレンズが用いられてよく、又は、ホログラムレンズは、当技術分野において公知の技法により製造されてもよい。
表示装置１００は、ユーザの両目のそれぞれに映像表示光を投射するように構成されている。すなわち、表示装置１００は、左目に映像表示光を投射する左目用映像表示部、及び、右目に映像表示光を投射する右目用映像表示部を備えている。
左目用映像表示部は、光源部１０１Ｌ、投影光学系１０２Ｌ、及びＨＯＥ１０３Ｌを有している。
光源部１０１Ｌは映像表示光を出射する。当該映像表示光を出射するための構成として、光源部１０１Ｌは、例えばレーザ光源１２０Ｌ、ミラー１２１Ｌ、及び走査ミラー１２２Ｌを含むことができる。
レーザ光源１２０Ｌから出射されたレーザ光は、ミラー１２１Ｌによって反射され、走査ミラー１２２Ｌに到達する。走査ミラー１２２Ｌは、当該レーザ光を二次元的に走査する。走査ミラー１２２Ｌは、例えばＭＥＭＳミラーなどであってよい。走査ミラー１２２Ｌは、当該レーザ光の方向を、網膜上に画像が形成されるように高速に移動させうる。
投影光学系１０２Ｌは、当該映像表示光をＨＯＥ１０３Ｌの所望の領域及び／又は位置に到達するように、当該映像表示光の方向を調整する。例えば、走査ミラー１２２Ｌによって走査された映像表示光を平行光にする。
ＨＯＥ１０３Ｌは、当該映像表示光が、ユーザの瞳孔付近で集光されそして網膜に照射されるように回折する。ＨＯＥ１０３Ｌは、例えば反射型の回折素子であってよい。ＨＯＥ１０３Ｌは、当該映像表示光の波長範囲の光に対してはレンズとして働き、当該波長範囲外の波長の光は透過させる光学特性を有することができる。当該光学特性によって、ユーザは、ＨＯＥ１０３Ｌを介して、例えば視線方向の先の風景を認識しつつ、当該映像表示光による画像を認識することができる。すなわち、表示装置１００は、外界の風景に当該映像表示光による画像を重畳させることができる。
以上のとおり、光源部１０１Ｌ、投影光学系１０２Ｌ、及びＨＯＥ１０３Ｌは、映像表示光をユーザの左目に到達させることができる。
右目用映像表示部は、光源部１０１Ｒ、投影光学系１０２Ｒ、及びＨＯＥ１０３Ｒを含む。光源部１０１Ｌ、投影光学系１０２Ｌ、及びＨＯＥ１０３Ｌについての説明が、光源部１０１Ｒ、投影光学系１０２Ｒ、及びＨＯＥ１０３Ｒについても当てはまる。
左目用映像表示部と同様に、ツル部１０９Ｒには、光源部１０１Ｒ及び投影光学系１０２Ｒが配置されている。リム部１０８Ｒには、ＨＯＥ１０３Ｒが保持されている。より具体的には、リム部１０８Ｒには、投射位置調整機構１０５Ｒ－２を介して内側リム部１０６Ｒが保持されている。内側リム部１０６Ｒには、投射位置調整機構１０５Ｒ－１を介してＨＯＥ１０３Ｒが保持されている。
レーザ光源１２０Ｌ及びレーザ光源１２０Ｒが用いられることにより、特定波長の刺激が提示され得る。図６に示されている光源部１０１Ｌは、１つのレーザ光源１２０Ｌを含んでいるが、光源部１０１Ｌが含むレーザ光源の数は２つ以上であってよく、例えば２つ以上５つ以下であってよい。これらの複数のレーザ光源は、互いに異なる波長のレーザ光を出力するものであってよい。同様に、光源部１０１Ｒに含まれるレーザ光源の数も２つ以上であってよく、例えば２つ以上５以下であってよい。これらの複数のレーザ光源は、互いに異なる波長のレーザ光を出力するものであってよい。
表示装置１００が備えているリム部１０８Ｌ及び１０８Ｒは、ブリッジ部１１０を介して接続されている。ブリッジ部１１０は、ユーザが表示装置１００を装着しているときに、ユーザの鼻にかかる部分である。
表示装置１００のリム部１０８Ｌ及び１０８Ｒは、ヘッドバンド部１１１につながっている。ヘッドバンド部１１１は、ユーザが表示装置１００を装着しているときに、ユーザの頭頂部に接触する部分である。
図示はされていないが、表示装置１００は、波長分散補償部材を更に備えてよい。波長分散補償部材は、波長分散を補償するため、正確に網膜上の任意の点（所定の点）の刺激が可能である。波長分散補償部材は、例えば、反射型若しくは透過型の体積ホログラム、反射型若しくは透過型のレリーフホログラムなどでありうる。波長分散補償部材は、ミラー１２１Ｌ及び／又は１２１Ｒの周辺に配されてよい。波長分散補償部材は、例えば、ミラー１２１Ｌと走査ミラー１２２Ｌとの間及び／又はミラー１２１Ｒと走査ミラー１２２Ｒとの間に配されてよい。
（センサ）
表示装置１００は、ユーザの頭部に対する表示装置１００の位置の変化を検出するセンサ１０４Ｌ、１０４Ｒ、１０４Ｃ、及び１０４Ｔをさらに備えることができる。これらのセンサにより検出される位置の変化は、例えば位置の変化の方向及び／又は位置の変化の量であってよい。なお、本明細書内において、センサ１０４Ｌ、１０４Ｒ、１０４Ｃ、及び１０４Ｔを、まとめてセンサ１０４と言うことがある。
表示装置１００は、ユーザの頭部に対する表示装置１００の位置の変化を検出するセンサ１０４Ｌ、１０４Ｒ、１０４Ｃ、及び１０４Ｔをさらに備えることができる。これらのセンサにより検出される位置の変化は、例えば位置の変化の方向及び／又は位置の変化の量であってよい。なお、本明細書内において、センサ１０４Ｌ、１０４Ｒ、１０４Ｃ、及び１０４Ｔを、まとめてセンサ１０４と言うことがある。
センサ１０４Ｌ及び１０４Ｒが、ユーザの頭部に対する水平方向における表示装置１００の位置の変化を検出する。センサ１０４Ｃは、ユーザの頭部に対する前後方向における表示装置１００の位置の変化を検出する。センサ１０４Ｔは、ユーザの頭部に対する上下方向における表示装置１００の位置の変化を検出する。センサ１０４は、例えば表示装置１００の３次元的な装着ずれや、ユーザによる表示装置１００の装着し直しなどを検出できる。
（視線検出装置）
表示装置１００は、ユーザの視線を検出する視線検出装置１０７Ｌ及び１０７Ｒをさらに備えることができる。なお、本明細書内において、視線検出装置１０７Ｌ及び１０７Ｒを、まとめて視線検出装置１０７ということがある。本技術の第１又は第２の実施形態に係る視線検出装置は、この視線検出装置１０７に適用されることができる。
表示装置１００は、ユーザの視線を検出する視線検出装置１０７Ｌ及び１０７Ｒをさらに備えることができる。なお、本明細書内において、視線検出装置１０７Ｌ及び１０７Ｒを、まとめて視線検出装置１０７ということがある。本技術の第１又は第２の実施形態に係る視線検出装置は、この視線検出装置１０７に適用されることができる。
（投射位置調整機構）
投射位置調整機構１０５Ｌ－１及び１０５Ｌ－２並びに１０５Ｒ－１及び１０５Ｒ－２は、表示装置１００から射出される映像表示光の投射位置を調整する。なお、本明細書内において、これら４つの投射位置調整機構を、まとめて投射位置調整機構１０５ということがある。投射位置調整機構１０５は、例えば視線に追従して映像表示光の投射位置を調整するように構成されていてよい。あるいは、投射位置調整機構１０５は、装着ずれなどに応じて映像表示光の投射位置を調整できる。
投射位置調整機構１０５Ｌ－１及び１０５Ｌ－２並びに１０５Ｒ－１及び１０５Ｒ－２は、表示装置１００から射出される映像表示光の投射位置を調整する。なお、本明細書内において、これら４つの投射位置調整機構を、まとめて投射位置調整機構１０５ということがある。投射位置調整機構１０５は、例えば視線に追従して映像表示光の投射位置を調整するように構成されていてよい。あるいは、投射位置調整機構１０５は、装着ずれなどに応じて映像表示光の投射位置を調整できる。
加えて、投射位置調整機構１０５は、眼球の回転移動又は視線の移動に応じて映像表示光の投射位置を調整できる。例えば、投射位置調整機構１０５を備えることにより、表示装置１００は、ユーザに提示する画像の位置をより適切な位置へと調整できる。例えば、ユーザに提示する画像を外界の増に重畳させるときに、視線検出装置１０７Ｌ及び１０７Ｒがユーザの視線を検出することによって、当該画像をより適切な位置に表示することができる。すなわち、視線検出装置１０７を備えていることは、例えばＡＲ情報などの提示にとって好ましい。
また、投射位置調整機構１０５によって、マックスウェル視による画像表示において映像表示光が集光される位置を調整することもできる。
投射位置調整機構１０５Ｌ－１及び１０５Ｌ－２は、左目に投射される映像表示光の投射位置を調整する。
投射位置調整機構１０５Ｌ－１は、内側リム部１０６Ｌとリム部１０８Ｌとのｚ軸方向における位置関係を調整する。例えば、投射位置調整機構１０５Ｌ－１は、内側リム部１０６Ｌを、リム部１０８Ｌに対してｚ軸方向に移動させる。これにより、ＨＯＥ１０３Ｌのｚ軸方向における位置が調整される。
投射位置調整機構１０５Ｌ－２は、ＨＯＥ１０３Ｌと内側リム部１０６Ｌとのｘ軸方向における位置関係を調整する。例えば、投射位置調整機構１０５Ｌ－２は、ＨＯＥ１０３Ｌを、内側リム部１０６Ｌに対してｘ軸方向に移動させる。これにより、ＨＯＥ１０３Ｌのｘ軸方向における位置が調整される。
内側リム部１０６ＬやＨＯＥ１０３Ｌを移動させるための駆動素子は、例えばピエゾ素子、アクチュエータ、又はバイメタルであってよいが、これらに限定されない。
投射位置調整機構１０５Ｌ－１は、例えば、センサ１０４Ｌ、１０４Ｒ、１０４Ｃ、及び１０４Ｔのうちの１つ、２つ、３つ、又は４つ全てにより検出された表示装置１００の位置の変化に基づいて、内側リム部１０６Ｌとリム部１０８Ｌとのｚ軸方向における位置関係を調整できる。また、投射位置調整機構１０５Ｌ－１は、当該位置の変化と、視線検出装置１０７Ｌにより検出された視線と、に基づいて、前記位置関係を調整してもよい。
同様に、投射位置調整機構１０５Ｌ－２は、例えば、センサ１０４Ｌ、１０４Ｒ、１０４Ｃ、及び１０４Ｔのうちの１つ、２つ、３つ、又は４つ全てにより検出された表示装置１００の位置の変化に基づいて、ＨＯＥ１０３Ｌと内側リム部１０６Ｌとのｘ軸方向における位置関係を調整できる。また、投射位置調整機構１０５Ｌ－２は、当該位置の変化と、視線検出装置１０７Ｌにより検出された視線と、に基づいて、前記位置関係を調整してもよい。
投射位置調整機構１０５Ｒ－１及び１０５Ｒ－２は、右目に投射される映像表示光の投射位置を調整する。当該調整は、投射位置調整機構１０５Ｌ－１及び１０５Ｌ－２と同様に行われてよい。
（制御部及び記憶部）
制御部及び記憶部について、図７を用いて説明する。図７は、本技術の第３の実施形態に係る表示装置１００の構成例を示すブロック図である。図７に示される通り、表示装置１００は、制御部１１２を有する。制御部１１２は、例えば、画像制御部１８１、投射位置制御部１８２、及び視線補正部１８３などを含む。
制御部及び記憶部について、図７を用いて説明する。図７は、本技術の第３の実施形態に係る表示装置１００の構成例を示すブロック図である。図７に示される通り、表示装置１００は、制御部１１２を有する。制御部１１２は、例えば、画像制御部１８１、投射位置制御部１８２、及び視線補正部１８３などを含む。
画像制御部１８１は、映像表示部による映像表示光の投射を制御する。画像制御部１８１は、例えば光源部１０１Ｌ及び１０１Ｒ、特にはこれら光源部に含まれるレーザ光源及び走査ミラーを駆動して、映像表示光を出力させる。画像制御部１８１は、例えば記憶部１８４に格納されている画像データを取得し、当該画像データに基づき、光源部１０１Ｌ及び１０１Ｒに映像表示光を出力させうる。
画像制御部１８１は、センサ１０４により検出された、ユーザの頭部に対する表示装置１００の位置の変化に基づき、当該画像データを補正してもよい。画像制御部１８１は、補正後の画像データに基づき、光源部１０１Ｌ及び１０１Ｒに映像表示光を出力させてもよい。すなわち、表示装置１００は、ユーザの頭部に対する頭部装着型表示装置の位置の変化を検出するセンサにより検出された位置の変化に基づき画像を補正してもよい。
投射位置制御部１８２は、投射位置調整機構１０５Ｌ－１、１０５Ｌ－２、１０５Ｒ－１、及び１０５Ｒ－２の制御により映像表示光の投射位置を制御する。例えば、投射位置制御部１８２は、視線検出装置１０７Ｌ及び１０７Ｒにより検出された視線に基づき、投射位置調整機構１０５Ｌ－１、１０５Ｌ－２、１０５Ｒ－１、及び１０５Ｒ－２のうちの１つから４つを駆動して、映像表示光の投射位置を制御しうる。例えば当該視線に追従するように、映像表示光の投射位置が制御されうる。
投射位置制御部１８２は、後述の視線補正部１８３による補正後の視線に基づき、投射位置調整機構１０５Ｌ－１、１０５Ｌ－２、１０５Ｒ－１、及び１０５Ｒ－２のうちの１つから４つを駆動して、映像表示光の投射位置を制御してもよい。例えば当該補正後の視線に追従するように、映像表示光の投射位置が制御されうる。
投射位置制御部１８２は、センサ１０４Ｌ、１０４Ｒ、１０４Ｃ、及び１０４Ｔのうちの１つから４つにより検出された、ユーザの頭部に対する表示装置１００の位置の変化に関するデータ（以下「変位データ」ともいう）に基づき、投射位置調整機構１０５Ｌ－１、１０５Ｌ－２、１０５Ｒ－１、及び１０５Ｒ－２のうちの１つから４つを駆動して、映像表示光の投射位置を制御してもよい。
投射位置制御部１８２は、例えば、前記変位データと補正係数とに基づき、各投射位置調整機構による位置調整量を算出しうる。投射位置制御部１８２は、算出された位置調整量だけ位置関係が変更されるように各投射位置調整機構を駆動しうる。投射位置制御部１８２は、例えば記憶部１８４に予め格納されている補正テーブルから補正係数を取得し、当該補正係数を前記位置調整量の算出のために用いてよい。当該補正テーブルは、例えば複数の補正係数を有していてよく、投射位置制御部１８２は、これら複数の補正係数のうちから、変位データに応じて所定の補正係数を選択しうる。また、補正テーブルは、例えば投射位置調整機構毎に設けられていてよい。当該補正テーブルは、表示装置１００に予め備えられていてよく、又は、ユーザによる表示装置１００の使用に応じて更新されてもよい。補正テーブル又は補正係数の選択又は更新によって、投射位置制御の精度を向上させることができる。投射位置制御部１８２は、前記位置調整量の算出のために、視線検出装置により検出された視線又は視線補正部１８３による補正後の視線を用いてもよい。
視線補正部１８３は、前記変位データに基づき、視線検出装置１０７Ｌ及び１０７Ｒにより検出された視線の補正を行う。これにより、視線補正部１８３によって、装着ずれを考慮した視線の同定が可能となり、視線検出精度が向上する。当該補正は、眼球の光軸に対して行われてよく、眼球の視軸に対して行われてもよく、又はその他の参照軸に対して行われてもよい。視線補正部１８３も、投射位置制御部１８２と同様に、例えば記憶部１８４に予め格納されている補正テーブルから補正係数を取得し、当該補正係数を前記視線補正のために用いてよい。
表示装置１００はさらに記憶部１８４を含んでいてよい。記憶部は、映像表示部により投射される映像表示光に関するデータ、投射位置制御部１２２による投射位置の制御に用いられる補正テーブル、及び、視線補正部１２３による視線補正のために用いられる補正テーブルを格納していてよい。
以上、本技術の第３の実施形態に係る表示装置について説明した内容は、技術的な矛盾が特にない限り、本技術の他の実施形態に適用できる。
＜５．第４の実施形態（表示装置の例２）＞
本技術の第４の実施形態に係る表示装置は、ユーザの動作を検知する動作検知部を備えており、前記判定部が、前記動作検知部の検知結果に基づいて、前記ユーザの動作が行われたという前記判定結果を得て、前記照明制御部が、前記判定結果に基づいて、前記照明部に前記瞳を照明させる、表示装置である。
本技術の第４の実施形態に係る表示装置は、ユーザの動作を検知する動作検知部を備えており、前記判定部が、前記動作検知部の検知結果に基づいて、前記ユーザの動作が行われたという前記判定結果を得て、前記照明制御部が、前記判定結果に基づいて、前記照明部に前記瞳を照明させる、表示装置である。
動作検知部として、例えば、加速度センサ、角速度センサ、ＩＭＵ（Inertial Measurement Unit：慣性計測装置）などが用いられることができる。
動作検知部がユーザの動作を検知することにより、視線検出装置１０７は、瞳に関する位置情報を適切なタイミングで取得できる。その結果、視線検出装置１０７は、瞳に関する位置情報を高精度に取得できる。
前記ユーザの動作には、表示装置１００がユーザの頭部に装着されることが含まれていてよい。例えば、第３の実施形態において説明したセンサ１０４も、動作検知部でありうる。センサ１０４は、表示装置１００がユーザの頭部に装着されたというユーザの動作を検知する。
判定部２は、表示装置１００がユーザの頭部に装着されたとき、ユーザの動作が行われたという判定結果を得る。これにより、視線検出装置１０７は、瞳に関する位置情報を適切なタイミングで取得できる。その結果、視線検出装置１０７は、瞳に関する位置情報を高精度に取得できる。
例えば、装着ずれしている表示装置１００をユーザが正しい位置に直したときは、瞳に関する位置情報を取得するための適切なタイミングである。
また、前記ユーザの動作には、表示装置１００に対するユーザの操作が行われることが含まれていてよい。
判定部２は、表示装置１００に対するユーザの操作が行われたとき、ユーザの動作が行われたという判定結果を得る。これにより、視線検出装置１０７は、瞳に関する位置情報を適切なタイミングで取得できる。その結果、視線検出装置１０７は、瞳に関する位置情報を高精度に取得できる。
例えば、ユーザが表示装置１００をコントローラなどにより操作しているときは、ユーザが特定のオブジェクトを見ようとしているときであるため、瞳に関する位置情報を取得するための適切なタイミングである。
以上、本技術の第４の実施形態に係る表示装置について説明した内容は、技術的な矛盾が特にない限り、本技術の他の実施形態に適用できる。
＜６．第５の実施形態（表示装置の例３）＞
本技術の第５の実施形態に係る表示装置は、前記表示装置が表示する映像を検知する映像検知部をさらに備えており、前記判定部が、前記映像検知部の検知結果に基づいて、前記映像が変化したという前記判定結果を得て、前記照明制御部が、前記判定結果に基づいて、前記照明部に前記瞳を照明させる、表示装置である。
本技術の第５の実施形態に係る表示装置は、前記表示装置が表示する映像を検知する映像検知部をさらに備えており、前記判定部が、前記映像検知部の検知結果に基づいて、前記映像が変化したという前記判定結果を得て、前記照明制御部が、前記判定結果に基づいて、前記照明部に前記瞳を照明させる、表示装置である。
本技術の第５の実施形態に係る表示装置が備えている視線検出装置について、図８を参照しつつ説明する。図８は、本技術の第５の実施形態に係る視線検出装置１０７の構成例を示す概略図である。
図８に示される通り、本技術の第５の実施形態に係る視線検出装置１０７は、表示装置１００が表示する映像を検知する映像検知部７をさらに備えている。映像検知部７は、特に、表示装置１００が表示する映像の明るさを数値化する。映像検知部７として、例えば、フォトダイオードなどが用いられることができる。
判定部２は、映像検知部７の検知結果に基づいて、前記映像が変化したという前記判定結果を得る。映像検知部７として例えばフォトダイオードが用いられるとき、前記検知結果には映像の輝度が含まれる。判定部２は、前記輝度の変化量が所定の閾値以上であるとき、判定部２は、前記映像が変化したという前記判定結果を得る。例えば、変化後の輝度が変化前の輝度の１０倍以上であるとき、又は、変化後の輝度が変化前の輝度の１０分の１以下であるとき、判定部２は、映像が変化したという判定結果を得る。
照明制御部３は、前記判定結果に基づいて、照明部１に瞳を照明させる。これにより、視線検出装置１０７は、瞳に関する位置情報を適切なタイミングで取得できる。その結果、視線検出装置１０７は、瞳に関する位置情報を高精度に取得できる。
例えば、暗い映像から明るい映像に変化したとき、ユーザの瞳孔径の大きさが変化したことが推定されるため、照明部１に前記瞳を照明させることができる。
以上、本技術の第５の実施形態に係る表示装置について説明した内容は、技術的な矛盾が特にない限り、本技術の他の実施形態に適用できる。
＜７．第６の実施形態（視線検出システムの例）＞
本技術の第６の実施形態に係る視線検出システムは、複数の照明光で瞳を照明する照明部と、前記照明部に照明させるタイミングを判定する判定部と、前記照明部を制御する照明制御部と、イベントドリブン機能を有する撮像素子と、前記瞳に関する位置情報を演算する演算部と、を備えており、前記照明制御部が、前記判定部の判定結果に基づいて、前記照明部に前記瞳を照明させ、前記撮像素子が、前記瞳からの反射光の受光により、イベント情報を生成し、前記演算部が、前記イベント情報に基づいて、前記瞳に関する位置情報を演算する、視線検出システムである。
本技術の第６の実施形態に係る視線検出システムは、複数の照明光で瞳を照明する照明部と、前記照明部に照明させるタイミングを判定する判定部と、前記照明部を制御する照明制御部と、イベントドリブン機能を有する撮像素子と、前記瞳に関する位置情報を演算する演算部と、を備えており、前記照明制御部が、前記判定部の判定結果に基づいて、前記照明部に前記瞳を照明させ、前記撮像素子が、前記瞳からの反射光の受光により、イベント情報を生成し、前記演算部が、前記イベント情報に基づいて、前記瞳に関する位置情報を演算する、視線検出システムである。
本技術の第６の実施形態に係る視線検出システムについて図９を参照しつつ説明する。図９は、本技術の第６の実施形態に係る視線検出システム２００の構成例を示す概略図である。
図９に示される通り、本技術の第６の実施形態に係る視線検出システム２００は、複数の照明光で瞳を照明する照明部１と、照明部１に照明させるタイミングを判定する判定部２と、照明部１を制御する照明制御部３と、イベントドリブン機能を有する撮像素子４と、前記瞳に関する位置情報を演算する演算部５と、を備えている。
照明制御部３は、判定部２の判定結果に基づいて、照明部１に前記瞳を照明させる。
撮像素子４は、前記瞳からの反射光の受光により、イベント情報を生成する。
演算部５は、前記イベント情報に基づいて、前記瞳に関する位置情報を演算する。
以上、本技術の第６の実施形態に係る視線検出システムについて説明した内容は、技術的な矛盾が特にない限り、本技術の他の実施形態に適用できる。
＜８．第７の実施形態（視線検出方法の例）＞
本技術の第７の実施形態に係る視線検出方法は、瞳を照明するタイミングを判定することと、前記判定の結果に基づいて、複数の照明光で瞳を照明することと、イベントドリブン機能を有する撮像素子を用いて、前記瞳からの反射光の受光により、イベント情報を生成することと、前記イベント情報に基づいて、前記瞳に関する位置情報を演算することと、を含む、視線検出方法である。
本技術の第７の実施形態に係る視線検出方法は、瞳を照明するタイミングを判定することと、前記判定の結果に基づいて、複数の照明光で瞳を照明することと、イベントドリブン機能を有する撮像素子を用いて、前記瞳からの反射光の受光により、イベント情報を生成することと、前記イベント情報に基づいて、前記瞳に関する位置情報を演算することと、を含む、視線検出方法である。
本技術の第７の実施形態に係る視線検出方法について、図１０を参照しつつ説明する。図１０は、本技術の第７の実施形態に係る視線検出方法の一例を示すフローチャートである。
図１０に示される通り、本技術の第７の実施形態に係る視線検出方法は、ステップＳ１において、例えば他の実施形態に係る判定部２が、瞳を照明するタイミングを判定する。
次に、ステップＳ２において、例えば他の実施形態に係る照明部１が、前記判定の結果に基づいて、複数の照明光で瞳を照明する。
次に、ステップＳ３において、例えば他の実施形態に係るイベントドリブン機能を有する撮像素子４が、前記瞳からの反射光の受光により、イベント情報を生成する。
次に、ステップＳ４において、例えば他の実施形態に係る演算部５が、前記イベント情報に基づいて、前記瞳に関する位置情報を演算する。
以上、本技術の第７の実施形態に係る視線検出方法について説明した内容は、技術的な矛盾が特にない限り、本技術の他の実施形態に適用できる。
なお、本技術に係る実施形態は、上述した各実施形態及に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
また、本明細書に記載された効果はあくまでも例示であって限定されるものではなく、また他の効果があってもよい。
また、本技術は、以下のような構成を取ることもできる。
［１］
複数の照明光で瞳を照明する照明部と、
前記照明部に照明させるタイミングを判定する判定部と、
前記照明部を制御する照明制御部と、
イベントドリブン機能を有する撮像素子と、
前記瞳に関する位置情報を演算する演算部と、を備えており、
前記照明制御部が、前記判定部の判定結果に基づいて、前記照明部に前記瞳を照明させ、
前記撮像素子が、前記瞳からの反射光の受光により、イベント情報を生成し、
前記演算部が、前記イベント情報に基づいて、前記瞳に関する位置情報を演算する、視線検出装置。
［２］
前記判定部が、前記イベント情報に基づいて、ユーザの動きが生じたという前記判定結果を得て、
前記照明制御部が、前記判定結果に基づいて、前記照明部に前記瞳を照明させる、
［１］に記載の視線検出装置。
［３］
前記ユーザの動きには、瞼の開閉動作が含まれており、
前記判定部が、前記瞼の開閉動作が行われたとき、前記ユーザの動きが生じたという前記判定結果を得る、
［２］に記載の視線検出装置。
［４］
前記ユーザの動きには、瞳孔径の大きさの変化が含まれており、
前記判定部が、前記瞳孔径の大きさの変化量が所定の閾値以上であるとき、前記ユーザの動きが生じたという前記判定結果を得る、
［２］又は［３］に記載の視線検出装置。
［５］
前記ユーザの動きには、サッケードが含まれており、
前記判定部が、前記サッケードの速度が所定の閾値以上であるとき、前記ユーザの動きが生じたという前記判定結果を得る、
［２］から［４］のいずれか一つに記載の視線検出装置。
［６］
ユーザの環境を検知する環境検知部をさらに備えており、
前記判定部が、前記環境検知部の検知結果に基づいて、前記ユーザの環境が変化したという前記判定結果を得て、
前記照明制御部が、前記判定結果に基づいて、前記照明部に前記瞳を照明させる、
［１］から［５］のいずれか一つに記載の視線検出装置。
［７］
前記環境検知部の検知結果には、照度が含まれており、
前記判定部が、前記照度の変化量が所定の閾値以上であるとき、前記ユーザの環境が変化したという前記判定結果を得る、
［６］に記載の視線検出装置。
［８］
［１］から［７］のいずれか一つに記載の視線検出装置を少なくとも備える、表示装置。
［９］
ユーザの動作を検知する動作検知部をさらに備えており、
前記判定部が、前記動作検知部の検知結果に基づいて、前記ユーザの動作が行われたという前記判定結果を得て、
前記照明制御部が、前記判定結果に基づいて、前記照明部に前記瞳を照明させる、
［８］に記載の表示装置。
［１０］
前記ユーザの動作には、前記表示装置が前記ユーザの頭部に装着されることが含まれており、
前記判定部が、前記表示装置が前記ユーザの頭部に装着されたとき、前記ユーザの動作が行われたという前記判定結果を得る、
［９］に記載の表示装置。
［１１］
前記ユーザの動作には、前記表示装置に対する前記ユーザの操作が行われることが含まれており、
前記判定部が、前記表示装置に対する前記ユーザの操作が行われたとき、前記ユーザの動作が行われたという前記判定結果を得る、
［９］又は［１０］に記載の表示装置。
［１２］
前記表示装置が表示する映像を検知する映像検知部をさらに備えており、
前記判定部が、前記映像検知部の検知結果に基づいて、前記映像が変化したという前記判定結果を得て、
前記照明制御部が、前記判定結果に基づいて、前記照明部に前記瞳を照明させる、
［８］から［１１］のいずれか一つに記載の表示装置。
［１３］
前記映像検知部の検知結果には、映像の輝度が含まれており、
前記判定部が、前記輝度の変化量が所定の閾値以上であるとき、前記映像が変化したという前記判定結果を得る、
［１２］に記載の表示装置。
［１４］
複数の照明光で瞳を照明する照明部と、
前記照明部に照明させるタイミングを判定する判定部と、
前記照明部を制御する照明制御部と、
イベントドリブン機能を有する撮像素子と、
前記瞳に関する位置情報を演算する演算部と、を備えており、
前記照明制御部が、前記判定部の判定結果に基づいて、前記照明部に前記瞳を照明させ、
前記撮像素子が、前記瞳からの反射光の受光により、イベント情報を生成し、
前記演算部が、前記イベント情報に基づいて、前記瞳に関する位置情報を演算する、視線検出システム。
［１５］
瞳を照明するタイミングを判定することと、
前記判定の結果に基づいて、複数の照明光で瞳を照明することと、
イベントドリブン機能を有する撮像素子を用いて、前記瞳からの反射光の受光により、イベント情報を生成することと、
前記イベント情報に基づいて、前記瞳に関する位置情報を演算することと、を含む、視線検出方法。
［１］
複数の照明光で瞳を照明する照明部と、
前記照明部に照明させるタイミングを判定する判定部と、
前記照明部を制御する照明制御部と、
イベントドリブン機能を有する撮像素子と、
前記瞳に関する位置情報を演算する演算部と、を備えており、
前記照明制御部が、前記判定部の判定結果に基づいて、前記照明部に前記瞳を照明させ、
前記撮像素子が、前記瞳からの反射光の受光により、イベント情報を生成し、
前記演算部が、前記イベント情報に基づいて、前記瞳に関する位置情報を演算する、視線検出装置。
［２］
前記判定部が、前記イベント情報に基づいて、ユーザの動きが生じたという前記判定結果を得て、
前記照明制御部が、前記判定結果に基づいて、前記照明部に前記瞳を照明させる、
［１］に記載の視線検出装置。
［３］
前記ユーザの動きには、瞼の開閉動作が含まれており、
前記判定部が、前記瞼の開閉動作が行われたとき、前記ユーザの動きが生じたという前記判定結果を得る、
［２］に記載の視線検出装置。
［４］
前記ユーザの動きには、瞳孔径の大きさの変化が含まれており、
前記判定部が、前記瞳孔径の大きさの変化量が所定の閾値以上であるとき、前記ユーザの動きが生じたという前記判定結果を得る、
［２］又は［３］に記載の視線検出装置。
［５］
前記ユーザの動きには、サッケードが含まれており、
前記判定部が、前記サッケードの速度が所定の閾値以上であるとき、前記ユーザの動きが生じたという前記判定結果を得る、
［２］から［４］のいずれか一つに記載の視線検出装置。
［６］
ユーザの環境を検知する環境検知部をさらに備えており、
前記判定部が、前記環境検知部の検知結果に基づいて、前記ユーザの環境が変化したという前記判定結果を得て、
前記照明制御部が、前記判定結果に基づいて、前記照明部に前記瞳を照明させる、
［１］から［５］のいずれか一つに記載の視線検出装置。
［７］
前記環境検知部の検知結果には、照度が含まれており、
前記判定部が、前記照度の変化量が所定の閾値以上であるとき、前記ユーザの環境が変化したという前記判定結果を得る、
［６］に記載の視線検出装置。
［８］
［１］から［７］のいずれか一つに記載の視線検出装置を少なくとも備える、表示装置。
［９］
ユーザの動作を検知する動作検知部をさらに備えており、
前記判定部が、前記動作検知部の検知結果に基づいて、前記ユーザの動作が行われたという前記判定結果を得て、
前記照明制御部が、前記判定結果に基づいて、前記照明部に前記瞳を照明させる、
［８］に記載の表示装置。
［１０］
前記ユーザの動作には、前記表示装置が前記ユーザの頭部に装着されることが含まれており、
前記判定部が、前記表示装置が前記ユーザの頭部に装着されたとき、前記ユーザの動作が行われたという前記判定結果を得る、
［９］に記載の表示装置。
［１１］
前記ユーザの動作には、前記表示装置に対する前記ユーザの操作が行われることが含まれており、
前記判定部が、前記表示装置に対する前記ユーザの操作が行われたとき、前記ユーザの動作が行われたという前記判定結果を得る、
［９］又は［１０］に記載の表示装置。
［１２］
前記表示装置が表示する映像を検知する映像検知部をさらに備えており、
前記判定部が、前記映像検知部の検知結果に基づいて、前記映像が変化したという前記判定結果を得て、
前記照明制御部が、前記判定結果に基づいて、前記照明部に前記瞳を照明させる、
［８］から［１１］のいずれか一つに記載の表示装置。
［１３］
前記映像検知部の検知結果には、映像の輝度が含まれており、
前記判定部が、前記輝度の変化量が所定の閾値以上であるとき、前記映像が変化したという前記判定結果を得る、
［１２］に記載の表示装置。
［１４］
複数の照明光で瞳を照明する照明部と、
前記照明部に照明させるタイミングを判定する判定部と、
前記照明部を制御する照明制御部と、
イベントドリブン機能を有する撮像素子と、
前記瞳に関する位置情報を演算する演算部と、を備えており、
前記照明制御部が、前記判定部の判定結果に基づいて、前記照明部に前記瞳を照明させ、
前記撮像素子が、前記瞳からの反射光の受光により、イベント情報を生成し、
前記演算部が、前記イベント情報に基づいて、前記瞳に関する位置情報を演算する、視線検出システム。
［１５］
瞳を照明するタイミングを判定することと、
前記判定の結果に基づいて、複数の照明光で瞳を照明することと、
イベントドリブン機能を有する撮像素子を用いて、前記瞳からの反射光の受光により、イベント情報を生成することと、
前記イベント情報に基づいて、前記瞳に関する位置情報を演算することと、を含む、視線検出方法。
１ 照明部
２ 判定部
３ 照明制御部
４ 撮像素子
５ 演算部
６ 環境検知部
７ 映像検知部
２０ 瞳
２１ 瞳孔
２２ 虹彩
２３ プルキニエ像
１００ 表示装置
１０１Ｌ、１０１Ｒ 光源部
１０２Ｌ、１０２Ｒ 投影光学系
１０３Ｌ、１０３Ｒ ＨＯＥ
１０４ センサ
１０５ 投射位置調整機構
１０６Ｌ、１０６Ｒ 内側リム部
１０７ 視線検出装置
１０８Ｌ、１０８Ｒ リム部
１０９Ｌ、１０９Ｒ ツル部
１１０ ブリッジ部
１１１ ヘッドバンド部
１１２ 制御部
１８１ 画像制御部
１８２ 投射位置制御部
１８３ 視線補正部
１８４ 記憶部
２００ 視線検出システム
Ｓ１ 瞳を照明するタイミングを判定すること
Ｓ２ 複数の照明光で瞳を照明すること
Ｓ３ イベント情報を生成すること
Ｓ４ 瞳に関する位置情報を演算すること
２ 判定部
３ 照明制御部
４ 撮像素子
５ 演算部
６ 環境検知部
７ 映像検知部
２０ 瞳
２１ 瞳孔
２２ 虹彩
２３ プルキニエ像
１００ 表示装置
１０１Ｌ、１０１Ｒ 光源部
１０２Ｌ、１０２Ｒ 投影光学系
１０３Ｌ、１０３Ｒ ＨＯＥ
１０４ センサ
１０５ 投射位置調整機構
１０６Ｌ、１０６Ｒ 内側リム部
１０７ 視線検出装置
１０８Ｌ、１０８Ｒ リム部
１０９Ｌ、１０９Ｒ ツル部
１１０ ブリッジ部
１１１ ヘッドバンド部
１１２ 制御部
１８１ 画像制御部
１８２ 投射位置制御部
１８３ 視線補正部
１８４ 記憶部
２００ 視線検出システム
Ｓ１ 瞳を照明するタイミングを判定すること
Ｓ２ 複数の照明光で瞳を照明すること
Ｓ３ イベント情報を生成すること
Ｓ４ 瞳に関する位置情報を演算すること
Claims (15)
- 複数の照明光で瞳を照明する照明部と、
前記照明部に照明させるタイミングを判定する判定部と、
前記照明部を制御する照明制御部と、
イベントドリブン機能を有する撮像素子と、
前記瞳に関する位置情報を演算する演算部と、を備えており、
前記照明制御部が、前記判定部の判定結果に基づいて、前記照明部に前記瞳を照明させ、
前記撮像素子が、前記瞳からの反射光の受光により、イベント情報を生成し、
前記演算部が、前記イベント情報に基づいて、前記瞳に関する位置情報を演算する、視線検出装置。 - 前記判定部が、前記イベント情報に基づいて、ユーザの動きが生じたという前記判定結果を得て、
前記照明制御部が、前記判定結果に基づいて、前記照明部に前記瞳を照明させる、
請求項１に記載の視線検出装置。 - 前記ユーザの動きには、瞼の開閉動作が含まれており、
前記判定部が、前記瞼の開閉動作が行われたとき、前記ユーザの動きが生じたという前記判定結果を得る、
請求項２に記載の視線検出装置。 - 前記ユーザの動きには、瞳孔径の大きさの変化が含まれており、
前記判定部が、前記瞳孔径の大きさの変化量が所定の閾値以上であるとき、前記ユーザの動きが生じたという前記判定結果を得る、
請求項２に記載の視線検出装置。 - 前記ユーザの動きには、サッケードが含まれており、
前記判定部が、前記サッケードの速度が所定の閾値以上であるとき、前記ユーザの動きが生じたという前記判定結果を得る、
請求項２に記載の視線検出装置。 - ユーザの環境を検知する環境検知部をさらに備えており、
前記判定部が、前記環境検知部の検知結果に基づいて、前記ユーザの環境が変化したという前記判定結果を得て、
前記照明制御部が、前記判定結果に基づいて、前記照明部に前記瞳を照明させる、
請求項１に記載の視線検出装置。 - 前記環境検知部の検知結果には、照度が含まれており、
前記判定部が、前記照度の変化量が所定の閾値以上であるとき、前記ユーザの環境が変化したという前記判定結果を得る、
請求項６に記載の視線検出装置。 - 請求項１に記載の視線検出装置を少なくとも備える、表示装置。
- ユーザの動作を検知する動作検知部をさらに備えており、
前記判定部が、前記動作検知部の検知結果に基づいて、前記ユーザの動作が行われたという前記判定結果を得て、
前記照明制御部が、前記判定結果に基づいて、前記照明部に前記瞳を照明させる、
請求項８に記載の表示装置。 - 前記ユーザの動作には、前記表示装置が前記ユーザの頭部に装着されることが含まれており、
前記判定部が、前記表示装置が前記ユーザの頭部に装着されたとき、前記ユーザの動作が行われたという前記判定結果を得る、
請求項９に記載の表示装置。 - 前記ユーザの動作には、前記表示装置に対する前記ユーザの操作が行われることが含まれており、
前記判定部が、前記表示装置に対する前記ユーザの操作が行われたとき、前記ユーザの動作が行われたという前記判定結果を得る、
請求項９に記載の表示装置。 - 前記表示装置が表示する映像を検知する映像検知部をさらに備えており、
前記判定部が、前記映像検知部の検知結果に基づいて、前記映像が変化したという前記判定結果を得て、
前記照明制御部が、前記判定結果に基づいて、前記照明部に前記瞳を照明させる、
請求項８に記載の表示装置。 - 前記映像検知部の検知結果には、映像の輝度が含まれており、
前記判定部が、前記輝度の変化量が所定の閾値以上であるとき、前記映像が変化したという前記判定結果を得る、
請求項１２に記載の表示装置。 - 複数の照明光で瞳を照明する照明部と、
前記照明部に照明させるタイミングを判定する判定部と、
前記照明部を制御する照明制御部と、
イベントドリブン機能を有する撮像素子と、
前記瞳に関する位置情報を演算する演算部と、を備えており、
前記照明制御部が、前記判定部の判定結果に基づいて、前記照明部に前記瞳を照明させ、
前記撮像素子が、前記瞳からの反射光の受光により、イベント情報を生成し、
前記演算部が、前記イベント情報に基づいて、前記瞳に関する位置情報を演算する、視線検出システム。 - 瞳を照明するタイミングを判定することと、
前記判定の結果に基づいて、複数の照明光で瞳を照明することと、
イベントドリブン機能を有する撮像素子を用いて、前記瞳からの反射光の受光により、イベント情報を生成することと、
前記イベント情報に基づいて、前記瞳に関する位置情報を演算することと、を含む、視線検出方法。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| DE112022002900.5T DE112022002900T5 (de) | 2021-06-02 | 2022-02-02 | Sichtlinien-detektionsvorrichtung, anzeigevorrichtung, sichtlinien-detektionssystem und sichtlinien-detektionsverfahren |
| CN202280037473.1A CN117377933A (zh) | 2021-06-02 | 2022-02-02 | 视线检测装置、显示装置、视线检测系统和视线检测方法 |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2021092740 | 2021-06-02 | ||
| JP2021-092740 | 2021-06-02 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| WO2022254782A1 true WO2022254782A1 (ja) | 2022-12-08 |
Family
ID=84324088
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| PCT/JP2022/003927 WO2022254782A1 (ja) | 2021-06-02 | 2022-02-02 | 視線検出装置、表示装置、視線検出システム、及び視線検出方法 |
Country Status (3)
| Country | Link |
|---|---|
| CN (1) | CN117377933A (ja) |
| DE (1) | DE112022002900T5 (ja) |
| WO (1) | WO2022254782A1 (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116524581A (zh) * | 2023-07-05 | 2023-08-01 | 南昌虚拟现实研究院股份有限公司 | 一种人眼图像光斑分类方法、系统、设备及存储介质 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20200026349A1 (en) * | 2018-07-19 | 2020-01-23 | Samsung Electronics Co., Ltd | System and method for hybrid eye tracker |
| JP2020081449A (ja) * | 2018-11-27 | 2020-06-04 | 株式会社リコー | 眼球の傾き位置検知装置、表示装置、入力装置及び検眼装置 |
| JP2020536309A (ja) * | 2017-09-28 | 2020-12-10 | アップル インコーポレイテッドＡｐｐｌｅ Ｉｎｃ． | イベントカメラデータを使用するアイトラッキングの方法及び装置 |
-
2022
- 2022-02-02 DE DE112022002900.5T patent/DE112022002900T5/de active Pending
- 2022-02-02 CN CN202280037473.1A patent/CN117377933A/zh active Pending
- 2022-02-02 WO PCT/JP2022/003927 patent/WO2022254782A1/ja active Application Filing
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2020536309A (ja) * | 2017-09-28 | 2020-12-10 | アップル インコーポレイテッドＡｐｐｌｅ Ｉｎｃ． | イベントカメラデータを使用するアイトラッキングの方法及び装置 |
| US20200026349A1 (en) * | 2018-07-19 | 2020-01-23 | Samsung Electronics Co., Ltd | System and method for hybrid eye tracker |
| JP2020081449A (ja) * | 2018-11-27 | 2020-06-04 | 株式会社リコー | 眼球の傾き位置検知装置、表示装置、入力装置及び検眼装置 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116524581A (zh) * | 2023-07-05 | 2023-08-01 | 南昌虚拟现实研究院股份有限公司 | 一种人眼图像光斑分类方法、系统、设备及存储介质 |
| CN116524581B (zh) * | 2023-07-05 | 2023-09-12 | 南昌虚拟现实研究院股份有限公司 | 一种人眼图像光斑分类方法、系统、设备及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117377933A (zh) | 2024-01-09 |
| DE112022002900T5 (de) | 2024-03-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP3740847B1 (en) | Display systems and methods for determining registration between a display and a user's eyes | |
| KR101962302B1 (ko) | 구조화 광을 사용한 안구 추적 | |
| US8955973B2 (en) | Method and system for input detection using structured light projection | |
| US10200680B2 (en) | Eye gaze responsive virtual reality headset | |
| CN114868069A (zh) | 用电子显示器的中央凹渲染的预测性眼睛跟踪系统和方法 | |
| CN112689869A (zh) | 用于确定显示器与用户的眼睛之间的配准的显示系统和方法 | |
| US20140354514A1 (en) | Gaze tracking with projector | |
| US20130241805A1 (en) | Using Convergence Angle to Select Among Different UI Elements | |
| CN114730217A (zh) | 用于头戴式显示设备的眼睛跟踪系统 | |
| JP2022540675A (ja) | １つ以上の眼追跡カメラを用いた眼回転中心の決定 | |
| JPWO2019187808A1 (ja) | 情報処理装置、情報処理方法、及びプログラム | |
| CN116033864A (zh) | 使用非球形角膜模型的眼睛跟踪 | |
| CN113940055A (zh) | 具有视场移动控制的成像设备 | |
| WO2022254782A1 (ja) | 視線検出装置、表示装置、視線検出システム、及び視線検出方法 | |
| US20230367393A1 (en) | Line-of-sight detection device, display device, and method for sensing eyeball | |
| US20230350197A1 (en) | Line-of-sight detection device and display device | |
| US11940630B2 (en) | Display apparatus and display method | |
| WO2021106502A1 (ja) | 頭部装着型表示装置、画像表示システム、及び画像表示方法 | |
| US20240053822A1 (en) | Image display device and image display system | |
| WO2023157481A1 (ja) | 表示装置及び表示システム | |
| TWI691738B (zh) | 近眼顯示裝置 | |
| CN117980796A (zh) | 产生用于眼动追踪的闪烁和虹膜照明的技术 | |
| WO2023102500A1 (en) | Methods for controlling performance of extended reality display systems |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| 121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 22815542 Country of ref document: EP Kind code of ref document: A1 |
|
| WWE | Wipo information: entry into national phase |
Ref document number: 112022002900 Country of ref document: DE |