WO2017014137A1 - 眼球観察装置、アイウェア端末、視線検出方法及びプログラム - Google Patents

眼球観察装置、アイウェア端末、視線検出方法及びプログラム Download PDF

Info

Publication number
WO2017014137A1
WO2017014137A1 PCT/JP2016/070801 JP2016070801W WO2017014137A1 WO 2017014137 A1 WO2017014137 A1 WO 2017014137A1 JP 2016070801 W JP2016070801 W JP 2016070801W WO 2017014137 A1 WO2017014137 A1 WO 2017014137A1
Authority
WO
WIPO (PCT)
Prior art keywords
polarization
image
eyeball
infrared light
polarized
Prior art date
Application number
PCT/JP2016/070801
Other languages
English (en)
French (fr)
Inventor
明香 渡辺
雄飛 近藤
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to US15/571,997 priority Critical patent/US10413177B2/en
Priority to CN201680040857.3A priority patent/CN107847130B/zh
Priority to JP2017529578A priority patent/JP6669173B2/ja
Priority to EP16827697.0A priority patent/EP3326513A4/en
Publication of WO2017014137A1 publication Critical patent/WO2017014137A1/ja

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/113—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/14—Arrangements specially adapted for eye photography
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor

Definitions

  • the present disclosure relates to an eyeball observation device, an eyewear terminal, a line-of-sight detection method, and a program.
  • the corneal reflection method is widely used as a technique for estimating the line-of-sight direction.
  • the eyeball is irradiated with infrared light, and the direction of the line of sight is estimated using a reflection image on the corneal surface (hereinafter also referred to as “corneal reflection image”) and an image obtained by infrared imaging of the pupil.
  • corner reflection image a reflection image on the corneal surface
  • the infrared light irradiated to the eyeball is reflected on the surface of the eyeglass, and the reflected image becomes an outlier (pseudo bright spot), and the cornea reflection image and the pupil are observed. become unable.
  • Patent Document 1 discloses that the cornea is configured to transmit only light in a predetermined polarization direction or transmit light in all directions by performing on / off control of a voltage with respect to the liquid crystal panel on the front surface of the imaging device. It is disclosed to remove outliers other than the reflected image.
  • Patent Document 1 it is necessary to install a light source so that the incident angle of light from the light source is close to the Brewster angle and the degree of polarization of corneal reflection is increased. Since the incident angle changes depending on the positional relationship between the eyeball and the light source and the line-of-sight direction, it is considered that the outlier can be removed only when a specific condition is satisfied. In addition, in order to estimate the line-of-sight direction, the position of the cornea reflection image and the pupil at a certain moment is necessary. In order to follow the movement of the eyeball at high speed, it is necessary to perform switching and imaging of the pressure state of the liquid crystal panel at a sufficiently high frequency to achieve synchronization.
  • the imaging apparatus when the shutter speed is increased, the pupil detection becomes difficult due to a decrease in the light amount.
  • it is necessary to completely match the polarization directions of the light source and the imaging device it is necessary to extremely reduce the installation error of the polarizer, the imaging device, and the light source.
  • the liquid crystal panel is arranged in front of the light source and the imaging device, the size of the eyeball observation device becomes large.
  • the present disclosure proposes a new and improved eyeball observation apparatus, eyewear terminal, eye-gaze detection method, and program capable of stably acquiring an eyeball image.
  • At least one infrared light source that irradiates polarized infrared light to a user's eyeball and an image of an eyeball that is irradiated with polarized infrared light are captured, and at least three directions.
  • an eyeball observation device comprising at least one imaging device capable of simultaneously capturing the polarized images.
  • a lens provided in front of the user's eyes, at least one infrared light source that irradiates polarized infrared light to the user's eyeball, and polarized infrared light are irradiated.
  • An eyewear terminal comprising: an eyeball observation device including: at least one imaging device capable of capturing an image of an existing eyeball and simultaneously capturing polarized images in at least three directions.
  • an image of an eyeball irradiated with infrared light polarized on the user's eyeball by at least one infrared light source is captured, and at least three polarized images are simultaneously acquired. For each pixel of the polarization image, generate a polarization model representing the relationship between the polarization direction and the brightness, generate an arbitrary phase polarization image having an arbitrary polarization direction using the polarization model, and generate an arbitrary phase polarization image.
  • a gaze detection method is provided that includes estimating a gaze direction based on the gaze direction.
  • an image of an eyeball irradiated with infrared light polarized on a user's eyeball by at least one infrared light source is captured by a computer, and at least three polarized images are simultaneously displayed.
  • a program is provided for causing the gaze direction to be estimated based on the polarization image.
  • FIG. 1 is an explanatory diagram illustrating detection of pupils and bright spots that are detected in order to estimate the line-of-sight direction in the eyeball observation apparatus according to the present embodiment.
  • the eyeball observation device may be regarded as a line-of-sight detection device.
  • the eyeball is irradiated with polarized infrared light, a corneal reflection image of the infrared light is photographed, and pupils and bright spots necessary for estimating the line-of-sight direction are detected from the photographed image.
  • a pupil P and a corneal reflection image B of infrared light are detected from an image of an eyeball E photographed by the imaging device.
  • the pupil P and the corneal reflection image B are generally detected using statistical methods such as machine learning.
  • the eyeball observation apparatus estimates the optical axis by a geometric method using a three-dimensional eyeball model, and estimates the visual axis (gaze direction).
  • outliers of corneal reflection (sunlight and reflection of objects, scleral reflection by infrared light source, pseudo reflection of eyelashes, tears, etc.) and true corneal reflection Is difficult to distinguish, and the accuracy of eye-gaze estimation when an outlier is present is significantly reduced.
  • gaze estimation accuracy can be improved by using a plurality of light sources.
  • the corneal reflection image may not be observed depending on the positional relationship between the light source, the imaging device and the eyeball, the shape of the eyelid or eyeball, the line-of-sight direction, etc. Can be observed, and stable gaze estimation is possible.
  • a light source is polarized and an image is captured through a polarizing element having an angle orthogonal to the angle, thereby obtaining an eyeball image including a pupil and a cornea reflection image from which only spectacle reflection is removed.
  • a polarizing element having an angle orthogonal to the angle, thereby obtaining an eyeball image including a pupil and a cornea reflection image from which only spectacle reflection is removed.
  • the corneal reflection image is originally due to the specular reflection of the cornea, and the polarization is unchanged in the reflection of polarized light in the specular reflection.
  • a naked eye user suppresses the cornea reflection image itself when passing through a polarizer that removes the polarization direction of the light source. Further, since the polarization directions of the light source and the imaging device must be installed orthogonally, installation errors of the polarizer, the imaging device, and the light source need to be extremely small.
  • the outlier removal of the corneal reflection image for example, using a plurality of light sources, a luminescent spot having an appropriate positional relationship according to the light source arrangement and having an appropriate luminescent spot size on the image as a true corneal reflection image.
  • a detection method has been proposed (for example, Japanese Patent No. 4260715).
  • the outlier can be reduced to some extent only by the positional relationship and the bright spot size, it cannot be completely removed.
  • Patent Document 1 by controlling on / off of voltage with respect to the liquid crystal panel on the front surface of the imaging device, only light in a predetermined polarization direction is transmitted or light in all directions is transmitted. It has also been proposed to remove outliers other than the reflected image.
  • this method since the incident angle changes depending on the positional relationship between the eyeball and the light source and the line-of-sight direction, it is considered that the outlier can be removed only when a specific condition is satisfied.
  • the shutter speed of the imaging device is increased to follow high-speed eyeball movement, pupil detection becomes difficult due to a decrease in the amount of light.
  • it is necessary to completely match the polarization directions of the light source and the imaging device and when the liquid crystal panel is disposed in front of the light source and the imaging device, the size of the eyeball observation device increases.
  • the eyeball observation device it is possible to simultaneously image at least one infrared polarized light source for irradiating polarized infrared light to the eyeball using a polarizer and polarized light in three or more directions. At least one infrared transmission imaging device is used. Thereby, spectacle reflection suppression, corneal reflection image outlier removal, and corneal reflection image identification are performed, and pupils and bright spots used for gaze direction detection are detected with high accuracy.
  • the configuration and function of the eyeball observation apparatus according to the present embodiment will be described in detail.
  • FIGS. 2 to 4 are schematic explanatory diagrams showing an example of the configuration of the eyeball observation apparatus 1 (1A to 1C) according to the present embodiment.
  • FIG. 5 is an explanatory diagram illustrating an example of the imaging device 13 used in the eyeball observation device 1 according to the present embodiment.
  • the eyeball observation device 1 (1A to 1C) includes an infrared light source 11, a polarizer 12, and an imaging device 13, as shown in FIGS. At least one infrared light source 11, polarizer 12, and imaging device 13 may be provided.
  • the use of a plurality of infrared light sources 11, polarizers 12, and imaging devices 13 can improve line-of-sight estimation accuracy.
  • the polarization directions of the polarizers 12 provided corresponding to the respective infrared light sources 11 may be made different.
  • the infrared light source 11 is a light source that irradiates the eyeball E with infrared light to obtain corneal reflection, and may be an infrared LED, for example.
  • the polarizer 12 is an optical element for polarizing infrared light emitted from the infrared light source 11, and is disposed on the optical path between the infrared light source 11 and the eyeball E.
  • the imaging device 13 is a device for photographing the eyeball E irradiated with infrared light.
  • the imaging device 13 according to the present embodiment is a device capable of simultaneously imaging three or more polarization directions as shown in FIG. 5, for example (for example, Japanese Patent No. 4486703, Japanese Patent No. 4974543, etc.).
  • Polarized light is light in which an electric field and a magnetic field vibrate only in a specific direction.
  • the polarizer 12 is used to transmit / absorb polarized light in a specific direction and image it.
  • a device capable of imaging the infrared region is used as the imaging device 13.
  • the captured image acquired by the imaging device 13 is output to the gaze estimation calculation device 100 that estimates the gaze direction.
  • the positional relationship with the eyeball E is any arrangement as long as the corneal reflection of the infrared light emitted from the infrared light source 11 is incident on the imaging device 13. May be.
  • a configuration in which the infrared light source 11, the polarizer 12, and the imaging device 13 are arranged close to the eyeball E may be used as in the eyeball observation device 1A shown in FIG.
  • Such a configuration can be applied to, for example, an eyewear terminal, a head-mounted device, a scouter, or the like in which a lens is provided in front of the user's eyes when worn.
  • the infrared light source 11, the polarizer 12, and the imaging device 13 may be arranged at positions away from the eyeball E.
  • a stationary terminal separated from the eyeball for example, a display such as a television or a personal computer.
  • an optical path separating device 15 such as a half mirror may be provided between the eyeball E and the imaging device 13 as in an eyeball observation device 1C shown in FIG.
  • an optical path separating device 15 such as a half mirror may be provided between the eyeball E and the imaging device 13 as in an eyeball observation device 1C shown in FIG.
  • Such a configuration can be applied to, for example, an electronic viewfinder of a camera.
  • the configuration of the eyeball observation apparatus 1 is not limited to the configuration shown in FIGS. 2 to 4 and can irradiate the eyeball with polarized light and simultaneously capture polarized images in three directions. Any configuration may be used.
  • the device to which the eyeball observation apparatus 1 is applied is not limited to the above-described example, and may be a contact lens type device or the like, and may be configured as a device that can be attached to and detached from an eyewear terminal or the like.
  • FIG. 6 is a functional block diagram illustrating a functional configuration of the line-of-sight estimation calculation device 100 according to the present embodiment.
  • the line-of-sight estimation calculation device 100 includes an image generation unit 110, an image processing unit 120, and a line-of-sight estimation unit 130.
  • the image generation unit 110 generates a polarization image having a predetermined polarization direction from the captured image captured by the imaging device 13. As shown in FIG. 6, for example, the image generation unit 110 includes a polarization model generation unit 111, a polarization model storage unit 113, an arbitrary phase polarization image generation unit 115, and an arbitrary phase polarization image storage unit 117.
  • the polarization model generation unit 111 generates a polarization model of each pixel based on the captured image taken by the imaging device 13.
  • the captured image includes polarized light in three or more directions.
  • the polarization model generation unit 111 records the generated polarization model of each pixel in the polarization model storage unit 113 and outputs it to the arbitrary phase polarization image generation unit 115.
  • the polarization model storage unit 113 is a storage unit that stores the polarization model of each pixel generated by the polarization model generation unit 111.
  • the polarization model of each pixel stored in the polarization model storage unit 113 is used, for example, in a corneal reflection image detection process described later.
  • the arbitrary phase polarization image generation unit 115 generates a polarization image having an arbitrary phase (hereinafter also referred to as “arbitrary phase polarization image”) based on the polarization model of each pixel.
  • the arbitrary phase polarization image generation unit 115 performs processing for generating an optimal image in performing each processing in the image processing described later. For example, when detecting the eye gaze direction of a spectacle user, infrared light is reflected on the spectacle surface and becomes an outlier, so that pupil detection and bright spot detection cannot be performed normally.
  • the arbitrary phase polarization image generation unit 115 generates a polarization image having an optimum phase in performing these detections so that pupil detection and bright spot detection can be performed normally.
  • the details of the arbitrary phase polarization image generation process will be described later.
  • the arbitrary phase polarization image generation unit 115 records the generated arbitrary phase polarization image in the arbitrary phase polarization image storage unit 117.
  • the arbitrary phase polarization image storage unit 117 is a storage unit that stores the arbitrary phase polarization image generated by the arbitrary phase polarization image generation unit 115.
  • the arbitrary phase polarized image stored in the arbitrary phase polarized image storage unit 117 is used, for example, in a pupil or bright spot detection process described later.
  • the image processing unit 120 performs image processing on the arbitrary phase polarization image generated by the image generation unit 110 and acquires information necessary for estimating the line-of-sight direction.
  • the image processing unit 120 includes a pupil detection unit 121, a bright spot detection unit 123, an outlier removal unit 125, and a corneal reflection image identification unit 127.
  • the pupil detection unit 121 detects a pupil from a polarization image having a phase suitable for pupil detection.
  • the pupil detection unit 121 acquires a polarization image having a phase suitable for pupil detection (hereinafter, also referred to as “pupil detection polarization image”) from the arbitrary phase polarization image storage unit 117, and the pupil on the pupil detection polarization image. Is detected. For example, when the infrared light source 11 is arranged away from the optical axis of the imaging device 13, the pupil of the acquired captured image is observed as dark (dark pupil).
  • the pupil detection unit 121 detects, for example, an elliptical dark area (or a whitish area) as a pupil from the pupil detection polarization image. Or the pupil detection part 121 may extract a pupil part from the difference image of a bright pupil and a dark pupil.
  • the bright spot detection unit 123 detects a bright spot from the captured image.
  • the bright spot detection unit 123 for example, an area having a luminance value higher than that of the surrounding area and having a size equal to or smaller than a predetermined value and having a detection position matching the installation position of the infrared light source 11 in the image is determined as Detect as.
  • the bright spots detected by the bright spot detection unit 123 include outliers such as pseudo bright spots other than the cornea reflection image.
  • the outlier removal unit 125 removes an outlier such as a pseudo bright spot from each bright spot detected by the bright spot detection unit 123, and detects only a true cornea reflection image.
  • the outlier removal unit 125 obtains the degree of polarization using the polarization model stored in the polarization model storage unit 113 for each pixel in each bright spot area detected by the bright spot detection unit 123. Then, based on the degree of polarization, each bright spot is classified into a true cornea reflection image and an outlier. The details of the outlier removal process will be described later.
  • the cornea reflection image identification unit 127 identifies the corresponding infrared light source 11 from which light source the true cornea reflection image specified by the outlier removal unit 125 is.
  • line-of-sight estimation using corneal reflection by using a plurality of infrared light sources 11, it is possible to improve line-of-sight estimation accuracy and prevent the corneal reflection image from being observed depending on the viewpoint position.
  • the principle that the difference in polarization direction appears as the phase difference of the polarization model is applied to identify each infrared light source 11 corresponding to the cornea reflection image. Details of the corneal reflection image identification process will be described later.
  • the line-of-sight estimation unit 130 estimates the line-of-sight direction based on the corneal reflection image on the image detected by the image processing unit 120 and the pupil position.
  • the gaze direction estimation process may be performed using an existing estimation method using the cornea reflection image and the pupil position.
  • a corneal reflection method may be used in which light is applied to the user's eyeball from a light source, and the reflected light of the light on the corneal surface and the position of the pupil are detected to estimate the viewing direction.
  • FIG. 7 is a flowchart showing a gaze detection method by the eyeball observation apparatus 1 according to the present embodiment.
  • the eyeball is photographed by the imaging device 13 in a state where infrared light is irradiated from the infrared light source 11 onto the user's eyeball (S100).
  • the imaging device 13 simultaneously acquires infrared polarized light in three or more directions.
  • the imaging apparatus shown in FIG. 5 can simultaneously acquire polarized images in four directions.
  • the polarization model generation unit 111 generates a polarization model of each pixel based on the captured image captured by the imaging device 13 (S110).
  • each pixel is modeled by a cos function as shown in the following equation (1) from the luminance value and the polarization direction of each polarized image. It is known that In principle, if there are polarization images in three or more directions, they can be expressed by a cos function (see, for example, Japanese Patent No. 4974543).
  • I is a luminance value
  • Imax is a maximum luminance value
  • I min is a minimum luminance value.
  • ⁇ pol is the polarization angle of the polarizing plate of the imaging device 13, and ⁇ is the polarization angle of infrared light.
  • FIG. 8 shows a graph of the polarization model of Equation (1) representing the relationship between the polarization direction and the acquired luminance value.
  • the luminance value of the pixel becomes maximum at the polarization angle ⁇ (+ 180 °) of infrared light, and the luminance value of the pixel becomes minimum at an angle shifted by ⁇ 90 ° from the polarization angle ⁇ .
  • the polarization direction of the polarizing plate at the maximum luminance value is parallel to the polarization direction of the infrared light irradiated to the eyeball.
  • the polarization direction of the polarizing plate at the minimum luminance value is perpendicular to the polarization direction of the infrared light applied to the eyeball.
  • the polarization model generation unit 111 When the polarization model generation unit 111 generates a polarization model for each pixel, the polarization model generation unit 111 records the polarization model in the polarization model storage unit 113 and outputs it to the arbitrary phase polarization image generation unit 115. Note that when the eyeball observation apparatus 1C having the configuration including the optical path separation device 15 illustrated in FIG. 4 is used, a predetermined process assuming a polarization state by the optical path separation apparatus 15 is performed, and a polarization model is generated.
  • the polarization model may be generated based on, for example, machine learning in addition to setting based on the above formula (1).
  • the arbitrary phase polarization image generation unit 115 generates an arbitrary phase polarization image based on the polarization model of each pixel (S120).
  • the arbitrary phase polarization image generation unit 115 performs processing for generating an optimal image in performing each processing in the image processing described later. For example, when detecting the eye gaze direction of a spectacle user, infrared light is reflected on the spectacle surface and becomes an outlier, so that pupil detection and bright spot detection cannot be performed normally.
  • the arbitrary phase polarization image generation unit 115 generates an image in which the spectacle reflection that becomes noise is suppressed, and performs each detection process based on the image, thereby stably detecting the eye gaze direction of the spectacle user. Is possible.
  • the infrared light emitted from the infrared light source 11 passes through the polarizer 12 and becomes polarized light, it is reflected on the surface of the spectacle lens.
  • the reflected light is also polarized light having the same polarization direction as that of the polarized light when entering the spectacle lens.
  • the light that has passed through the spectacle lens repeats diffuse reflection within the lens and becomes non-polarized light.
  • the eyeball observation device 1 irradiates the eyeball of the spectacle user with infrared light, the reflection on the surface of the spectacle lens has many specular reflection components, and the polarized light is reflected as polarized light.
  • the polarized light is applied to the infrared light source 11 by the polarizer 12, and a polarization image obtained by photographing the eyeball by the imaging device 13 is acquired through a polarizing plate in a direction to suppress the polarized light.
  • the specular reflection component of the polarized light on the surface of the spectacle lens can be suppressed, and only the internal reflection component (that is, the reflection component on the eyeball) can be extracted.
  • the arbitrary phase polarization image generation unit 115 uses this principle to generate a polarization image having an optimum phase in performing these detections so that pupil detection and bright spot detection can be performed normally.
  • an image in which the polarization direction of the infrared light source 11 is most suppressed by generating a pixel having a minimum luminance value in the polarization model of each pixel generated in step S110, that is, An image in which the spectacle reflection is suppressed can be generated. Since the polarization model is used to generate the arbitrary phase polarization image, it is not necessary to strictly match the polarization direction of the polarizer of the infrared light source 11 and the polarization direction of the polarizing plate of the imaging device 13.
  • the pupil edge is hidden by the spectacle reflection when the spectacle reflection occurs, and it is difficult to detect the pupil by image processing.
  • the cornea reflection image used in the gaze estimation is also specular reflection on the cornea surface. Therefore, in order to observe the cornea reflection image with high accuracy, an image having a phase that does not completely suppress the polarization direction of the infrared light source 11 may be generated. Note that the luminance value and size of the cornea reflection image and the spectacle reflection depend on the light amount of the infrared light source 11. Therefore, the arbitrary phase polarization image generation unit 115 may generate an image with a phase optimum for these.
  • the rough luminescent spot detection was performed using the characteristics, such as the size of a luminescent spot, a luminance value, a position, an edge, and circularity, for example. Thereafter, a polarization image may be generated by limiting the processing region to bright spot candidate pixels. Thereby, the processing amount of the arbitrary phase polarization image generation unit 115 can be reduced. Further, for example, an average image of all polarization directions may be used for the rough bright spot detection, and for example, machine learning may be used for this processing.
  • the arbitrary phase polarization image generation unit 115 generates the polarization image for pupil detection and the polarization image for bright spot detection, and the processed image for detection is also used. It may be used. That is, the pupil detection polarization image is composed of the minimum brightness value by extracting the minimum brightness value by changing the polarization direction using the polarization model for each pixel of the polarization image, for example, as in the case of the eyeglass user described above. It may be an image.
  • the amount of light is reduced by half in the image in which the spectacle reflection is suppressed. Therefore, for example, discrimination between a spectacle user and a naked-eye user is performed, and pupil detection is performed using an image in which spectacle reflection is suppressed for a spectacle user, and using polarized images of three or more directions captured for a naked-eye user. A polarized image for use may be generated.
  • the determination is made by determining the luminance value of the eye region portion of the input image as a feature. May be.
  • specular reflection on the spectacle surface with respect to the infrared light polarized by the polarizer 12 becomes polarized light, and therefore the degree of polarization is large in the polarization model based on the degree of polarization represented by the formula (2) described later.
  • the polarization image for detecting the bright spot may be acquired as follows assuming that the polarization direction of the light source is known. First, when there are a plurality of light sources, all the light sources are polarized in different directions. Then, by generating pixels in the polarization direction of the light source to be observed for each pixel, the reflection from the outlier and other light sources is suppressed, and the polarization image having a high luminance value with high corneal reflection from the observed light sources Is generated. Thereafter, the bright spot detection unit 123 of the image processing unit 120 performs a bright spot detection process based on the generated polarization image, and detects a bright spot having a detected luminance value equal to or greater than a predetermined threshold value.
  • the cornea reflection image of At this time when a plurality of bright spots having a brightness value equal to or higher than a predetermined threshold value are detected, the bright spot having the maximum brightness value is selected as a true cornea reflection image.
  • the bright spot detection by the bright spot detection unit 123 may be performed using machine learning.
  • the luminescent spot detection polarization image is generated by the number of light sources by the arbitrary phase polarization image generation section 115, and the luminescent spot detection section 123 performs luminescent spot detection based on the polarization image.
  • the size of the bright spot and the luminance value are determined.
  • the processing region may be limited to bright spot candidate pixels to generate a polarization image. Thereby, the processing amount of the arbitrary phase polarization image generation unit 115 can be reduced. Further, for example, an average image of all polarization directions may be used for the rough bright spot detection, and for example, machine learning may be used for this processing.
  • the arbitrary phase polarization image generation unit 115 When the arbitrary phase polarization image generation unit 115 generates a pupil detection polarization image or a bright spot detection polarization image using a polarization model based on a preset condition, the arbitrary phase polarization image storage unit 117 generates these polarization images. To record.
  • the pupil detection unit 121 detects a pupil from a pupil detection polarization image having a phase suitable for pupil detection (S130). For example, when the infrared light source 11 is arranged away from the optical axis of the imaging device 13, the pupil of the acquired captured image is observed as dark (dark pupil). Alternatively, when the infrared light source 11 is installed at a location very close to the optical axis of the imaging device 13, the pupil is observed whitish due to retroreflection of the retina (bright pupil).
  • the pupil detection unit 121 detects, for example, an elliptical dark area (or a whitish area) as a pupil from the pupil detection polarization image. Or the pupil detection part 121 may extract a pupil part from the difference image of a bright pupil and a dark pupil.
  • the bright spot detection unit 123 detects a bright spot based on the bright spot detection polarization image (S140).
  • the bright spot detection unit 123 for example, an area having a luminance value higher than that of the surrounding area and having a size equal to or smaller than a predetermined value and having a detection position matching the installation position of the infrared light source 11 in the image is determined as a bright spot.
  • the bright spots detected by the bright spot detection unit 123 include outliers such as pseudo bright spots other than the cornea reflection image.
  • the outlier removal unit 125 removes outliers such as pseudo bright spots from each bright spot detected by the bright spot detection unit 123, and a true cornea reflection image is detected (S150).
  • the outlier includes, for example, a bright spot that appears when reflected by the sclera instead of the cornea of the eyeball, and a bright spot that appears when reflected by the user's lower eyelashes.
  • Other outliers include reflection of reflected light from the environment onto the eyeball, reflection of sunlight, and the like. Since these elements are elements that hinder detection of a true corneal reflection image, they are removed by the outlier removal unit 125.
  • the outlier removal unit 125 obtains the degree of polarization ⁇ using the polarization model stored in the polarization model storage unit 113 for each pixel in each bright spot area detected by the bright spot detection unit 123, and determines the degree of polarization ⁇ . Remove outliers based on size.
  • the degree of polarization ⁇ represents the degree of linear polarization of the observation light, and is represented by the following formula (2).
  • the cornea reflection image is a reflection image of the polarized light that has passed through the polarizer 12 on the cornea surface, and the degree of polarization ⁇ increases.
  • the degree of polarization ⁇ is small for the reflection of non-polarized sunlight or the reflection on the sclera.
  • FIG. 10 shows an example of a polarization model with a large degree of polarization ⁇ observed in a cornea reflection image and a polarization model with a small degree of polarization ⁇ observed in an outlier.
  • the amplitude of the polarization model of the outlier having a small degree of polarization ⁇ is smaller than the amplitude of the polarization model of the corneal reflection image having a large degree of polarization ⁇ .
  • the outlier removal unit 125 obtains the degree of polarization ⁇ based on the above equation (2), and uses the threshold processing or machine learning to determine the bright spot detected in step S140 as the true cornea. Classify into reflection image and outlier. For example, in the threshold processing, if the value of polarization degree ⁇ is less than a predetermined value, the bright spot is classified as an outlier, and if the value of polarization degree ⁇ is equal to or greater than a predetermined value, the bright spot is regarded as a true corneal reflection image. being classified.
  • step S160 Cornea reflection image identification
  • the cornea reflection image identification unit 127 identifies the corresponding infrared light source 11 from which light source the true cornea reflection image identified by the outlier removal unit 125 is (S160).
  • the process of step S160 may be executed only when infrared light is applied to the eyeball E from the plurality of infrared light sources 11.
  • the eyeball observation apparatus 1 is different in the polarization direction of the polarizer 12 installed corresponding to each infrared light source 11. Configured to do. Then, the polarization model generation unit 111 of the image generation unit 110 generates a polarization model of each infrared light source 11 and records it in the polarization model storage unit 113.
  • the polarization angle ⁇ pol of the polarizing plate of the imaging device 13 has a meaning only in the range of 0 ° ⁇ ⁇ pol ⁇ 180 ° in principle, the polarization direction of the infrared light source 11 is exclusively within this range. To decide.
  • the polarization model (Purkinje-1) of the first infrared light source and the polarization model (Purkinje-1) of the second infrared light source ( Purkinje-2) has the same amplitude and period but different phases.
  • the cornea reflection image identification part 127 identifies a cornea reflection image using the phase similarity of the polarization model of the infrared light source 11, and the polarization model of each observed cornea reflection image. That is, the infrared light source 11 having a similar phase and a high phase similarity is identified as a corresponding cornea reflection image.
  • the phase similarity may be identified by threshold processing or may be identified using machine learning.
  • the polarization direction of the infrared light source 11 may be obtained in advance by calibration, or may be set when all bright spots are observed and identification is performed easily and accurately at the time of line-of-sight estimation.
  • the calibration a polarization model of the observed corneal reflection image is obtained, and the phase of this polarization model is recorded in the light source polarization direction storage unit 20 in association with each infrared light source 11. Since the arrangement of the polarizer 12 is determined at the time of assembling the eyeball observation apparatus 1, the calibration may basically be performed once.
  • the gaze estimation unit 130 estimates the gaze direction based on the cornea reflection image on the image detected by the image processing unit 120 and the pupil position (S170). For example, the line-of-sight estimation unit 130 estimates a three-dimensional corneal curvature radius center coordinate from a cornea reflection image on an image observed with the installation position of the infrared light source 11 and the imaging device 13 known. The line-of-sight estimation unit 130 also estimates the three-dimensional pupil center coordinates from the pupil position on the image, and obtains the optical axis of the eyeball as an axis connecting these.
  • the line-of-sight estimation unit 130 performs a process of converting the optical axis obtained from the observed information into a visual axis corresponding to the human visual line direction, and obtains a three-dimensional line-of-sight vector.
  • the line-of-sight estimation unit 130 may obtain the line-of-sight vector by mapping a two-dimensional vector connecting the cornea reflection image on the image and the pupil and the line-of-sight position on the display.
  • the gaze estimation method in the gaze detection method according to the present embodiment is not particularly limited, and various existing gaze estimation methods can be used.
  • the line-of-sight detection method has been described above.
  • a polarization image suitable for each detection is used, so that the pupil or corneal reflection image can be detected with higher accuracy.
  • the imaging device 13 of the eyeball observation device 1 according to the present embodiment can simultaneously acquire polarization images in three or more directions, a polarization image for pupil detection is generated based on the polarization model of each pixel generated based on this. And a bright spot detection polarization image can be generated simultaneously.
  • specular reflection from the spectacle lens can also be removed when detecting the line of sight of the spectacle user.
  • the line-of-sight estimation method can perform line-of-sight estimation stably and accurately. Further, it is not necessary to strictly align the polarization direction of the infrared light source 11 and the polarization direction of the polarizing plate of the imaging device 13, and the application to various devices and situations is easy. It should be noted that an imaging device other than the imaging device 13 may be used to specify a gaze target, or an alert may be issued when the gaze target is to be deviated from the gaze direction.
  • the eyeball observation device of the present embodiment is not limited to use for eye gaze estimation, and may be used for an application that images an eyeball state.
  • the eyeball observation apparatus of the present embodiment for example, the user's health state or wakefulness state can be determined or estimated by determining indices and signs described later based on the captured eyeball state.
  • the eyeball observation apparatus of the present embodiment as a modified example may include an eyeball state estimation calculation apparatus instead of or in addition to the line-of-sight estimation calculation apparatus.
  • the eyeball state estimation calculation device may be regarded as a device configured to acquire eyeball state information from the captured image of the eyeball and to determine an index or a sign described later.
  • iris authentication is a technique for identifying an individual using an iris pattern. In iris authentication, it is necessary to acquire eyeball information such as pupils and irises.
  • the eyeball observation apparatus of the present embodiment it is possible to estimate an individual's health state and arousal state by observing the pupil diameter and the response of the iris. Similar to the case of detecting the line of sight, according to the eyeball observation device of the present embodiment, it is possible to remove specular reflection from the spectacle lens. Therefore, the accuracy of detection of the user's pupil and iris can be improved.
  • the parameters acquired from the eyeball image acquired by the eyeball observation apparatus of the present embodiment are compared with various indexes related to the health condition, and thereby the health condition may be determined or estimated.
  • mydriasis / miosis of the pupil occur due to the interaction between the sympathetic nerve and the parasympathetic nervous system.
  • changes in pupil dilation and miosis may be used as an index indicating the state of the autonomic nervous system.
  • a mydriasi of 5 mm or more may be used as an indicator of hypoglycemia, hypoxia, drug addiction, midbrain lifetime, cerebral hernia, cardiac arrest, and the like.
  • Miosis of 2 mm or less may be used as an indicator of early stage brain hernia or organophosphate poisoning.
  • a pinhole of 1 mm or less may be used as an indicator of bridge bleeding, drug addiction and the like. If there is a difference of 0.5 mm or more in the left and right pupil diameters, it may be considered that there is a sign of cerebral hernia. Note that mydriasis and miosis can be achieved by accurately extracting the outline of the pupil from the eyeball observation image and measuring the pupil diameter.
  • the health condition can be known by observing the condition of the iris (irisology). For example, by observing the turbidity (cholesterol ring) around the iris, it can be determined or estimated that blood cholesterol is high or lipid metabolism is difficult. Therefore, the health state of the user may be determined or estimated based on the degree of turbidity around the iris. A state where one or more sums are visible around the pupil indicates high stress. Thus, if the sum of one or more numbers is visible, it may be determined or estimated that the user is in a high stress state.
  • the eyeball observation apparatus of this embodiment it is also possible to estimate a person's arousal state by eyeball observation. Based on the change in wakefulness, the degree of fatigue, work efficiency, etc. can be grasped. In particular, it is very useful for ensuring safety to know the arousal level of drivers such as cars and trains. For example, when the degree of arousal falls and parasympathetic nervous system activity predominates over the exchange nervous system, the pupil contracts, but on the other hand, a mydriatic that counteracts the miosis is repeated. For this reason, when the arousal level is lowered, a large low frequency fluctuation occurs in the pupil diameter. Therefore, the health state and the arousal state may be determined or estimated based on the change in pupil diameter.
  • the distance to the eyeball can be measured by triangulation, and the pupil diameter can be measured accurately.
  • the imaging device can normalize facial parts such as the corners of the eyes and the eyes as marks by image processing, and observe the relative changes in the pupil diameter to check the health status. And manage arousal.
  • an imaging device and a polarized infrared light source may be incorporated in a smartphone, and personal identification and daily health management may be performed by iris authentication.
  • the user's line of sight may be detected.
  • the degree of arousal may be monitored by installing a polarized infrared light source and an infrared camera in a place where an eyeball can be observed.
  • an eyeball image can be acquired with the same configuration for a naked eye user.
  • the illuminance is insufficient by limiting the light incident on the image sensor using a polarizing plate.
  • a sensor that simultaneously acquires polarization directions of three or more directions it is possible to cope with insufficient illuminance by using an average image of all the polarization directions.
  • FIG. 13 is a hardware configuration diagram illustrating a hardware configuration of the line-of-sight estimation arithmetic device 100 according to the present embodiment.
  • the line-of-sight estimation calculation device 100 can be realized by a processing device such as a computer.
  • the line-of-sight estimation arithmetic device 100 includes a CPU (Central Processing Unit) 901, a ROM (Read Only Memory) 902, a RAM (Random Access Memory) 903, and a host bus 904a.
  • the line-of-sight estimation arithmetic device 100 includes a bridge 904, an external bus 904b, an interface 905, an input device 906, an output device 907, a storage device 908, a drive 909, a connection port 911, and a communication device 913. Is provided.
  • the CPU 901 functions as an arithmetic processing device and a control device, and controls the overall operation in the visual line estimation arithmetic device 100 according to various programs. Further, the CPU 901 may be a microprocessor.
  • the ROM 902 stores programs used by the CPU 901, calculation parameters, and the like.
  • the RAM 903 temporarily stores programs used in the execution of the CPU 901, parameters that change as appropriate during the execution, and the like. These are connected to each other by a host bus 904a including a CPU bus.
  • the host bus 904a is connected to an external bus 904b such as a PCI (Peripheral Component Interconnect / Interface) bus via a bridge 904.
  • an external bus 904b such as a PCI (Peripheral Component Interconnect / Interface) bus
  • PCI Peripheral Component Interconnect / Interface
  • the host bus 904a, the bridge 904, and the external bus 904b do not necessarily have to be configured separately, and these functions may be mounted on one bus.
  • the input device 906 includes an input means for inputting information by the user such as a mouse, keyboard, touch panel, button, microphone, switch, and lever, and an input control circuit that generates an input signal based on the input by the user and outputs the input signal to the CPU 901. Etc.
  • the output device 907 includes, for example, a liquid crystal display (LCD) device, an OLED (Organic Light Emitting Diode) device and a display device such as a lamp, and an audio output device such as a speaker.
  • LCD liquid crystal display
  • OLED Organic Light Emitting Diode
  • the storage device 908 is an example of a storage unit of the line-of-sight estimation calculation device 100, and is a device for storing data.
  • the storage device 908 may include a storage medium, a recording device that records data on the storage medium, a reading device that reads data from the storage medium, a deletion device that deletes data recorded on the storage medium, and the like.
  • the storage device 908 drives a hard disk and stores programs executed by the CPU 901 and various data.
  • the drive 909 is a storage medium reader / writer, and is built in or externally attached to the line-of-sight estimation calculation device 100.
  • the drive 909 reads information recorded on a mounted removable recording medium such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory, and outputs the information to the RAM 903.
  • the connection port 911 is an interface connected to an external device, and is a connection port with an external device capable of transmitting data by USB (Universal Serial Bus), for example.
  • the communication device 913 is a communication interface configured by a communication device or the like for connecting to the communication network 5, for example.
  • the communication device 913 may be a wireless LAN (Local Area Network) compatible communication device, a wireless USB compatible communication device, or a wire communication device that performs wired communication.
  • the cornea reflection image and the infrared light source when a plurality of infrared light sources are used are associated with each other by executing calibration.
  • the present technology is not limited to such an example.
  • the correlation with the cornea reflection image may be performed based on the angle of the polarization direction by the polarizer.
  • An eyeball observation device comprising: (2) The eyeball observation device according to (1), further including a polarization model generation unit that generates a polarization model representing a relationship between a polarization direction and luminance for each pixel of the polarization image acquired by the imaging device.
  • the eyeball observation device further including an arbitrary phase polarization image generation unit that generates an arbitrary phase polarization image having an arbitrary polarization direction from the polarization image acquired by the imaging device using the polarization model. .
  • the arbitrary phase polarization image generation unit extracts a minimum luminance value by changing a polarization direction for each pixel of the polarization image, and generates a pupil detection polarization image including the minimum luminance value.
  • the arbitrary phase polarization image generation unit extracts a maximum luminance value by changing a polarization direction for each pixel of the polarization image, and generates a bright spot detection polarization image including the maximum luminance value.
  • the said outlier removal part is an eyeball observation apparatus as described in said (6) which removes the bright spot whose said polarization degree is less than predetermined value among the detected said bright spots as an outlier.
  • a cornea reflection image identifying unit that identifies the infrared light source corresponding to the cornea reflection image acquired by removing the outlier by the outlier removal unit, based on a difference in phase of the polarization model;
  • the eyeball observation apparatus according to (6) or (7).
  • (9) In the case where a plurality of the infrared light sources are provided, at least one of the polarizers corresponding to each of the infrared light sources has a polarization direction different from that of the other polarizers, any one of (1) to (8) The eyeball observation apparatus described in 1.
  • the eyeball observation device according to any one of (1) to (9), further including a first arithmetic device that detects or estimates a user's line of sight based on the captured image of the eyeball.
  • a second computing device that acquires eyeball state information based on the captured image of the eyeball, and detects or estimates at least one of a user's health state and arousal state based on the acquired eyeball state information;
  • the eyeball observation device according to any one of (1) to (10), comprising: (12) A lens provided in front of the user's eyes; At least one infrared light source that irradiates polarized infrared light to the user's eye and an image of the eye that is irradiated with polarized infrared light, and simultaneously captures polarized images in at least three directions At least one possible imaging device; and an eyeball observation device comprising: An eyewear terminal.
  • a second computing device that acquires eyeball state information based on the captured image of the eyeball, and detects or estimates at least one of a user's health state and arousal state based on the acquired eyeball state information; The eyewear terminal according to (12) or (13).

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Ophthalmology & Optometry (AREA)
  • Surgery (AREA)
  • Public Health (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biophysics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Eye Examination Apparatus (AREA)

Abstract

【課題】安定して視線検出を行うことが可能な眼球観察装置を提供する。 【解決手段】ユーザの眼球に対して偏光された赤外光を照射する少なくとも１つの赤外光源と、偏光された赤外光が照射されている眼球の画像を撮像し、少なくとも３方向の偏光画像を同時に撮像可能な少なくとも１つの撮像装置と、を備える、眼球観察装置が提供される。

Description

眼球観察装置、アイウェア端末、視線検出方法及びプログラム
　本開示は、眼球観察装置、アイウェア端末、視線検出方法及びプログラムに関する。
　視線方向を推定する技術として、角膜反射法が広く利用されている。角膜反射法では、眼球に対して赤外光を照射し、その角膜表面における反射像（以下、「角膜反射像」ともいう。）や瞳孔を赤外撮像した画像を用いて視線方向を推定する。しかし、眼鏡ユーザの視線方向の推定においては、眼球に対して照射した赤外光が眼鏡表面で反射し、その反射像がアウトライア（擬似輝点）となって、角膜反射像や瞳孔が観察できなくなる。
　そこで、例えば、特許文献１には、撮像装置前面の液晶パネルに対する電圧のオンオフ制御を行うことで、所定の偏光方向の光のみを透過させたり、全方向の光を透過させたりして、角膜反射像以外のアウトライアを除去することが開示されている。
　また、眼球を撮像し画像処理を行うことで、虹彩認証などの個人識別を行うことや、個人の覚醒状態や健康状態を知ることができる。しかし、視線方向を推定する場合と同様、眼鏡をかけたユーザに対して赤外光を照射する場合、眼鏡表面での反射光がアウトライアとなり、瞳孔や虹彩などの観察を困難になる場合がある。
特許第３２９７５０４号公報
　しかし、上記特許文献１では、光源からの光の入射角をブリュースター角に近づけ、角膜反射の偏光度を大きくするように光源を設置する必要がある。眼球と光源との位置関係や視線方向によって入射角は変わるため、アウトライアを除去できるのは特定の条件を満たす場合に限定されると考えられる。また、視線方向を推定するためには、ある瞬間の角膜反射像と瞳孔との位置が必要である。高速な眼球の動きに追従するためには、液晶パネルの加圧状態のスイッチングと撮像とを十分に高い周波数で行い、同期をとる必要がある。しかし、撮像装置ではシャッタースピードを上げると光量低下により瞳孔検出が困難になる。また、光源と撮像装置との偏光方向を完全に一致させる必要があるため、偏光子、撮像装置、光源の設置誤差を極めて小さくする必要がある。さらに、液晶パネルを光源と撮像装置の前面に配置すると、眼球観察装置のサイズが大きくなってしまう。
　そこで、本開示では、安定して眼球画像の取得を行うことが可能な、新規かつ改良された眼球観察装置、アイウェア端末、視線検出方法及びプログラムを提案する。
　本開示によれば、ユーザの眼球に対して偏光された赤外光を照射する少なくとも１つの赤外光源と、偏光された赤外光が照射されている眼球の画像を撮像し、少なくとも３方向の偏光画像を同時に撮像可能な少なくとも１つの撮像装置と、を備える、眼球観察装置が提供される。
　また、本開示によれば、ユーザの眼前に設けられるレンズと、ユーザの眼球に対して偏光された赤外光を照射する少なくとも１つの赤外光源と、偏光された赤外光が照射されている眼球の画像を撮像し、少なくとも３方向の偏光画像を同時に撮像可能な少なくとも１つの撮像装置と、を含む眼球観察装置と、を備える、アイウェア端末が提供される。
　さらに、本開示によれば、少なくとも１つの赤外光源によりユーザの眼球に対して偏光された赤外光が照射されている眼球の画像を撮像し、少なくとも３方向の偏光画像を同時に取得すること、偏光画像の各画素につき、偏光方向と輝度との関係を表す偏光モデルを生成すること、偏光モデルを用いて、任意の偏光方向を有する任意位相偏光画像を生成すること、任意位相偏光画像に基づいて、視線方向を推定すること、を含む、視線検出方法が提供される。
　また、本開示によれば、コンピュータに、少なくとも１つの赤外光源によりユーザの眼球に対して偏光された赤外光が照射されている眼球の画像を撮像し、少なくとも３方向の偏光画像を同時に取得すること、偏光画像の各画素につき、偏光方向と輝度との関係を表す偏光モデルを生成すること、偏光モデルを用いて、任意の偏光方向を有する任意位相偏光画像を生成すること、任意位相偏光画像に基づいて、視線方向を推定すること、を実行させるためのプログラムが提供される。
　以上説明したように本開示によれば、安定して視線検出を行うことが可能となる。なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。
本開示の一実施形態に係る眼球観察装置において視線方向を推定するために検出される瞳孔及び輝点の検出を説明する説明図である。 同実施形態に係る眼球観察装置の一構成例を示す概略説明図である。 同実施形態に係る眼球観察装置の他の構成例を示す概略説明図である。 同実施形態に係る眼球観察装置の他の構成例を示す概略説明図である。 同実施形態に係る眼球観察装置で用いる撮像装置の一例を示す説明図である。 同実施形態に係る視線推定演算装置の機能構成を示す機能ブロック図である。 同実施形態に係る眼球観察装置による視線検出方法を示すフローチャートである。 式（１）の偏光モデルをグラフ化した図である。 偏光光の眼鏡レンズによる鏡面反射と拡散反射のふるまいを示す説明図である。 角膜反射像とアウトライアとの偏光モデルを示すグラフである。 角膜反射像の観察点の相違を示す説明図である。 偏光方向が異なる赤外光源の反射（角膜反射像）の偏光モデルを表すグラフである。 同実施形態に係る視線推定演算装置のハードウェア構成を示すハードウェア構成図である。
　以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
　なお、説明は以下の順序で行うものとする。
　１．概要
　　１．１．眼球観察装置の概略構成
　　１．２．検討事項
　２．装置構成
　　２．１．眼球観察装置の構成
　　２．２．視線推定演算装置
　３．視線検出方法
　４．ハードウェア構成
　＜１．概要＞
　［１．１．眼球観察装置の概略構成］
　まず、図１を参照して、本開示の一実施形態に係る眼球観察装置の概略構成について説明する。なお、図１は、本実施形態に係る眼球観察装置において視線方向を推定するために検出される瞳孔及び輝点の検出を説明する説明図である。なお、本実施形態において、眼球観察装置は、視線検出装置として見做されても良い。
　本実施形態に係る眼球観察装置では、眼球に偏光した赤外光を照射して、その赤外光の角膜反射像を撮影し、撮影画像から視線方向の推定に必要な瞳孔及び輝点を検出する。図１に示すように、撮像装置により撮影された眼球Ｅの画像から、瞳孔Ｐと赤外光の角膜反射像Ｂとを検出する。瞳孔Ｐ及び角膜反射像Ｂは、一般に、機械学習等の統計手法的を用いて検出される。そして、眼球観察装置は、検出された瞳孔Ｐと角膜反射像Ｂとに基づき、３次元眼球モデルを用いて、幾何学的手法により光軸を推定し、視軸（視線方向）を推定する。
　［１．２．検討事項］
　ここで、従来、眼鏡ユーザの視線方向の検出においては、眼球に対して照射した赤外光が眼鏡表面で反射してアウトライアとなり、瞳孔や角膜反射像が検出できず、その結果、視線方向を安定して検出することができなかった。
　また、眼鏡の装着の有無に関わらず、角膜反射像のアウトライア（太陽光や物体の映りこみ、赤外光源による強膜反射、睫毛や涙等の擬似反射等）と、真の角膜反射像とを区別することは困難であり、アウトライアが存在する場合の視線推定精度は著しく低下する。
　一方、角膜反射法を用いた視線推定では、複数の光源を用いることで視線推定精度を向上させることができる。角膜反射像は、光源、撮像装置及び眼球の位置関係や、瞼や眼球の形状、視線方向等により観察できない場合もあるが、複数光源を用いることで視線推定に必要な最低個数の角膜反射像を観察できる可能性が増え、安定した視線推定が可能となる。ただし、複数光源を用いて視線を推定するためには、上述のアウトライアを除去し、観察された角膜反射像がどの光源の反射像であるかを確実に識別する必要がある。しかし、複数の角膜反射像の一部だけが観察された場合、それがどの光源に対応する反射像であるかを正確に識別することが困難な場合もある。
　眼鏡反射に対しては、例えば、光源を偏光させて、その角度に直交する角度の偏光素子を通して画像を撮像することで、眼鏡反射だけを除去した瞳孔及び角膜反射像を含む眼球画像を取得することが可能となる（例えば、特開平７－２８９５１８号公報）。ここで、眼鏡を透過した光は反射を繰り返し無偏光となるため、眼鏡ユーザについては眼鏡反射による輝点と角膜反射像とを区別することができる。しかし、本来、角膜反射像は角膜の鏡面反射によるものであり、鏡面反射においては偏光した光の反射では偏光は不変である。つまり、眼鏡表面での鏡面反射が抑制されるのと同様に、裸眼ユーザにおいては光源の偏光方向を除去する偏光子を通してしまうと角膜反射像自体が抑制されてしまう。また、光源と撮像装置との偏光方向を直交に設置しなくてはならないため、偏光子、撮像装置及び光源の設置誤差を極めて小さくする必要がある。
　角膜反射像のアウトライア除去に関しては、例えば、複数光源を利用し、光源配置に応じた適切な位置関係にあり、かつ画像上の輝点サイズが妥当である輝点を真の角膜反射像として検出する方法が提案されている（例えば、特許４２６０７１５号明細書）。しかし、位置関係や輝点サイズだけではアウトライアを多少減らすことはできても、完全に除去することはできない。
　また、上記特許文献１のように、撮像装置前面の液晶パネルに対する電圧のオンオフ制御を行うことで、所定の偏光方向の光のみを透過させたり、全方向の光を透過させたりして、角膜反射像以外のアウトライアを除去することも提案されている。しかし、上述したように、かかる方法では、眼球と光源との位置関係や視線方向によって入射角は変わるため、アウトライアを除去できるのは特定の条件を満たす場合に限定されると考えられる。また、高速な眼球の動きに追従するために撮像装置のシャッタースピードを上げると、光量低下により瞳孔検出が困難になる。さらに、光源と撮像装置との偏光方向を完全に一致させる必要があったり、液晶パネルを光源と撮像装置の前面に配置すると、眼球観察装置のサイズが大きくなったりする。
　そこで、本実施形態に係る眼球観察装置では、偏光子を利用して眼球に偏光した赤外光を照射するための少なくとも１つの赤外偏光光源と、３方向以上の偏光を同時に撮像可能な、少なくとも１つの赤外透過撮像装置とを用いる。これにより、眼鏡反射抑制、角膜反射像のアウトライア除去、及び角膜反射像の識別を行い、視線方向検出のために用いる瞳孔及び輝点を高精度に検出する。以下、本実施形態に係る眼球観察装置の構成とその機能について詳細に説明する。
　＜２．装置構成＞
　まず、図２～図５に基づいて、本実施形態に係る眼球観察装置１のハードウェア構成例を説明する。なお、図２～図４は、本実施形態に係る眼球観察装置１（１Ａ～１Ｃ）の一構成例を示す概略説明図である。図５は、本実施形態に係る眼球観察装置１で用いる撮像装置１３の一例を示す説明図である。
　［２．１．眼球観察装置の構成］
　本実施形態に係る眼球観察装置１（１Ａ～１Ｃ）は、図２～図４に示すように、赤外光源１１と、偏光子１２と、撮像装置１３とからなる。赤外光源１１、偏光子１２、及び撮像装置１３は、少なくとも１つ設けられていればよく、原理的には複数使用することで視線推定精度を向上させることができる。また、視線検出に際し、複数の偏光方向を用いる場合は、各赤外光源１１に対応して設ける偏光子１２の偏光方向を相違させればよい。
　赤外光源１１は、角膜反射を得るために眼球Ｅに対して赤外光を照射する光源であり、例えば、赤外ＬＥＤ等であってもよい。偏光子１２は、赤外光源１１から出射された赤外光を偏光させるための光学素子であり、赤外光源１１と眼球Ｅとの間の光路上に配置される。
　撮像装置１３は、赤外光が照射されている眼球Ｅを撮影するための装置である。本実施形態に係る撮像装置１３は、例えば、図５に示すように、３方向以上の偏光方向を同時に撮像できる装置である（例えば、特許第４４８６７０３号明細書、特許第４９７４５４３号明細書等）。偏光とは、電場及び磁場が特定の方向にのみ振動する光のことである。撮像装置１３による測定では、偏光子１２を用いて特定の方向の偏光を透過／吸収させ、これを撮像する。また、視線推定においては赤外領域の画像を用いるため、撮像装置１３には赤外領域を撮像可能な装置が用いられる。撮像装置１３により取得された撮像画像は、視線方向を推定する視線推定演算装置１００に出力される。
　本実施形態に係る眼球観察装置１は、眼球Ｅとの位置関係については、赤外光源１１から出射された赤外光の角膜反射が撮像装置１３に入射する配置であれば、いかなる配置であってもよい。例えば、図２に示す眼球観察装置１Ａのように、赤外光源１１、偏光子１２、及び撮像装置１３が、眼球Ｅと近接して配置される構成であってもよい。かかる構成は、例えば装着時にユーザの眼前にレンズが設けられるアイウェア端末やヘッドマウント型デバイス、スカウター等に適用することができる。
　また、例えば図３に示す眼球観察装置１Ｂのように、赤外光源１１、偏光子１２、及び撮像装置１３が、眼球Ｅから離れた位置に配置される構成であってもよい。かかる構成は、例えば、テレビやパソコン等のディスプレイのように、眼球から離れた据え置き型端末に適用することができる。
　さらに、例えば図４に示す眼球観察装置１Ｃのように、眼球Ｅと撮像装置１３との間にハーフミラー等の光路分離装置１５を設けた構成としてもよい。かかる構成は、例えば、カメラの電子ビューファインダー等に適用することができる。
　なお、本実施形態に係る眼球観察装置１の構成は、図２～図４に示した構成に限定されるものではなく、偏光光を眼球に照射し、３方向の偏光画像を同時に撮像可能な構成であればよい。また、眼球観察装置１が適用されるデバイスも、上述の例に限定されず、例えばコンタクトレンズ型デバイス等であってもよく、アイウェア端末等に着脱可能なデバイスとして構成することもできる。
　［２．２．視線推定演算装置］
　次に、図６に基づいて、本実施形態に係る眼球観察装置１の視線推定演算装置１００の機能構成について説明する。なお、図６は、本実施形態に係る視線推定演算装置１００の機能構成を示す機能ブロック図である。
　本実施形態に係る視線推定演算装置１００は、図６に示すように、画像生成部１１０と、画像処理部１２０と、視線推定部１３０とからなる。
（画像生成部）
　画像生成部１１０は、撮像装置１３により撮影された撮像画像から、所定の偏光方向の偏光画像を生成する。画像生成部１１０は、例えば図６に示すように、偏光モデル生成部１１１と、偏光モデル記憶部１１３と、任意位相偏光画像生成部１１５と、任意位相偏光画像記憶部１１７とからなる。
　偏光モデル生成部１１１は、撮像装置１３により撮影された撮像画像に基づいて、各画素の偏光モデルを生成する。本実施形態に係る撮像画像は、３方向以上の偏光が含まれている。偏光子１２を介して出射された赤外光の角膜反射を撮像すると、取得される輝度値と偏光方向とは、後述する式（１）に示すようなｃｏｓ関数でモデル化されることが知られている。偏光モデルの詳細な説明については後述する。偏光モデル生成部１１１は、生成した各画素の偏光モデルを、偏光モデル記憶部１１３に記録するとともに、任意位相偏光画像生成部１１５へ出力する。
　偏光モデル記憶部１１３は、偏光モデル生成部１１１により生成された各画素の偏光モデルを記憶する記憶部である。偏光モデル記憶部１１３に記憶された各画素の偏光モデルは、例えば後述の角膜反射像の検出処理において利用される。
　任意位相偏光画像生成部１１５は、各画素の偏光モデルに基づいて、任意の位相の偏光画像（以下、「任意位相偏光画像」ともいう。）を生成する。任意位相偏光画像生成部１１５は、後述する画像処理において、各処理を行うに当たって最適な画像を生成する処理を行う。例えば、眼鏡ユーザの視線方向を検出する場合、赤外光が眼鏡表面で反射してアウトライアとなり、瞳孔検出や輝点検出を正常に行うことができなくなる。任意位相偏光画像生成部１１５は、瞳孔検出や輝点検出を正常に行うことができるように、これらの検出を行うに当たって最適な位相の偏光画像を生成する。なお、任意位相偏光画像の生成処理の詳細については後述する。任意位相偏光画像生成部１１５は、生成した任意位相偏光画像を、任意位相偏光画像記憶部１１７に記録する。
　任意位相偏光画像記憶部１１７は、任意位相偏光画像生成部１１５により生成された任意位相偏光画像を記憶する記憶部である。任意位相偏光画像記憶部１１７に記憶された任意位相偏光画像は、例えば後述の瞳孔あるいは輝点の検出処理において利用される。
（画像処理部）
　画像処理部１２０は、画像生成部１１０にて生成された任意位相偏光画像に対して画像処理を行い、視線方向を推定するために必要な情報を取得する。画像処理部１２０は、例えば図６に示すように、瞳孔検出部１２１と、輝点検出部１２３と、アウトライア除去部１２５と、角膜反射像識別部１２７とからなる。
　瞳孔検出部１２１は、瞳孔検出に適した位相の偏光画像から瞳孔を検出する。瞳孔検出部１２１は、任意位相偏光画像記憶部１１７より、瞳孔検出に適した位相の偏光画像（以下、「瞳孔検出用偏光画像」ともいう。）を取得し、瞳孔検出用偏光画像上の瞳孔を検出する。例えば、赤外光源１１を撮像装置１３の光軸から離して配置した場合、取得される撮像画像の瞳孔は黒っぽく観察される（暗瞳孔）。あるいは、赤外光源１１を撮像装置１３の光軸上に極めて近い場所に設置した場合、網膜の再帰反射により瞳孔は白っぽく観察される（明瞳孔）。これらを利用して、瞳孔検出部１２１は、例えば瞳孔検出用偏光画像上から楕円状の黒っぽい領域（あるいは白っぽい領域）を瞳孔として検出する。あるいは、瞳孔検出部１２１は、明瞳孔と暗瞳孔との差分画像から瞳孔部分を抽出してもよい。
　輝点検出部１２３は、撮像画像から輝点を検出する。輝点検出部１２３では、例えば、画像中において、周囲よりも輝度値が高くサイズが所定以下であり、検出位置が赤外光源１１の設置位置と所定以上の整合性がある領域を、輝点として検出する。輝点検出部１２３において検出される輝点には、角膜反射像以外の疑似輝点等のアウトライアも含まれる。
　アウトライア除去部１２５は、輝点検出部１２３にて検出された各輝点から、疑似輝点等のアウトライアを除去し、真の角膜反射像のみを検出する。アウトライア除去部１２５は、輝点検出部１２３にて検出された各輝点領域の画素に対し、偏光モデル記憶部１１３に記憶された偏光モデルを用いて偏光度を求める。そして、偏光度に基づき、各輝点を真の角膜反射像とアウトライアとに分類する。なお、アウトライア除去処理の詳細については後述する。
　角膜反射像識別部１２７は、アウトライア除去部１２５により特定された真の角膜反射像について、どの光源からの反射像であるか、対応する赤外光源１１を識別する。角膜反射を利用した視線推定では、複数の赤外光源１１を用いることで、視線推定精度を向上させたり、視点位置によって角膜反射像が観察されなくなるのを防いだりすることができる。しかし、複数の角膜反射像の一部だけが観察された場合、それがどの光源の反射像であるかを正確に識別できない場合もある。そこで、本実施形態では、偏光方向の違いが偏光モデルの位相差となって表れる原理を応用し、角膜反射像に対応する各赤外光源１１を識別する。なお、角膜反射像の識別処理の詳細については後述する。
（視線推定部）
　視線推定部１３０は、画像処理部１２０により検出された画像上の角膜反射像と瞳孔位置とに基づいて、視線方向を推定する。視線方向の推定処理は、角膜反射像と瞳孔位置とを用いる既存の推定手法を用いて行ってもよい。例えば、ユーザの眼球に対して光源から光を照射し、その光の角膜表面での反射光と瞳孔の位置とを検出して視線方向を推定する角膜反射法を用いてもよい。
　＜３．視線検出方法＞
　以下、図７に基づいて、本実施形態に係る眼球観察装置１による視線検出方法について説明する。なお、図７は、本実施形態に係る眼球観察装置１による視線検出方法を示すフローチャートである。
（Ｓ１００：画像取得）
　本実施形態に係る視線検出方法では、まず、ユーザの眼球に対して赤外光源１１から赤外光を照射した状態において、撮像装置１３により眼球を撮影する（Ｓ１００）。本実施形態に係る撮像装置１３は、３方向以上の赤外偏光を同時に取得する。例えば、図５に示す撮像装置では、４方向の偏光画像を同時に取得できる。
（Ｓ１１０：偏光モデル生成）
　次いで、偏光モデル生成部１１１により、撮像装置１３により撮影された撮像画像に基づいて、各画素の偏光モデルが生成される（Ｓ１１０）。本実施形態に係る撮像装置１３により取得された３方向以上の偏光画像を用いると、各偏光画像の輝度値と偏光方向とから、各画素を下記式（１）に示すようなｃｏｓ関数でモデル化できることが知られている。原理的には、３方向以上の偏光画像があれば、ｃｏｓ関数により表現することができる（例えば、特許第４９７４５４３号明細書参照）。なお、式（１）において、Ｉは輝度値、Ｉｍａｘは最大輝度値、Ｉｍｉｎは最小輝度値である。また、θｐｏｌは撮像装置１３の偏光板の偏光角度、φは赤外光の偏光角度である。
Figure JPOXMLDOC01-appb-M000001
　偏光方向と取得輝度値の関係を表した式（１）の偏光モデルをグラフ化したものを図８に示す。図８に示すように、赤外光の偏光角度φ（＋１８０°）において画素の輝度値は最大となり、偏光角度φから±９０°ずれた角度において画素の輝度値は最小となる。ここで、最大輝度値での偏光板の偏光方向は、眼球へ照射される赤外光の偏光方向と平行である。また、最小輝度値での偏光板の偏光方向は、眼球へ照射される赤外光の偏光方向と垂直である。
　偏光モデル生成部１１１は、各画素について偏光モデルを生成すると、偏光モデル記憶部１１３に記録するとともに、任意位相偏光画像生成部１１５へ出力する。なお、図４に示した、光路分離装置１５を備える構成の眼球観察装置１Ｃを用いる場合には、光路分離装置１５による偏光状態を想定した所定の処理を行い、偏光モデルが生成される。また、偏光モデルは、上記式（１）に基づき設定する他、例えば機械学習により生成してもよい。
（Ｓ１２０：任意位相偏光画像生成）
　次いで、任意位相偏光画像生成部１１５は、各画素の偏光モデルに基づいて、任意位相偏光画像を生成する（Ｓ１２０）。任意位相偏光画像生成部１１５は、後述する画像処理において、各処理を行うに当たって最適な画像を生成する処理を行う。例えば、眼鏡ユーザの視線方向を検出する場合、赤外光が眼鏡表面で反射してアウトライアとなり、瞳孔検出や輝点検出を正常に行うことができなくなる。この場合、任意位相偏光画像生成部１１５により、ノイズとなる眼鏡反射を抑制した画像を生成し、当該画像に基づいて各検出処理を行うことで、眼鏡ユーザの視線方向を安定して検出することが可能となる。
　より詳細に説明すると、図９に示すように、赤外光源１１から出射した赤外光が、偏光子１２を通過して偏光光となった後、眼鏡レンズの表面にて表面反射されると、その反射光も眼鏡レンズに入射したときの偏光光と同じ偏光方向の偏光光となる。一方、眼鏡レンズを透過した光は、レンズ内で拡散反射を繰り返して無偏光となる。眼球観察装置１により眼鏡ユーザの眼球に赤外光を照射した場合、眼鏡レンズの表面での反射は鏡面反射成分が多く、偏光光は偏光光のまま反射する。そこで、本実施形態では、偏光子１２により赤外光源１１に偏光をかけ、その偏光光を抑制する方向の偏光板を通して撮像装置１３により眼球を撮影した偏光画像を取得する。これにより、眼鏡レンズの表面での偏光光の鏡面反射成分を抑制して、内部反射成分（すなわち、眼球での反射成分）だけを取り出すことができる。
　かかる原理を利用し、任意位相偏光画像生成部１１５は、瞳孔検出や輝点検出を正常に行うことができるように、これらの検出を行うに当たって最適な位相の偏光画像を生成する。
　例えば、眼鏡ユーザに対しては、ステップＳ１１０にて生成された各画素の偏光モデルにおいて輝度値が最小となる画素を生成することで、赤外光源１１の偏光方向を最も抑制した画像、すなわち、眼鏡反射を抑制した画像を生成することができる。なお、任意位相偏光画像を生成するために偏光モデルを用いるために、赤外光源１１の偏光子の偏光方向と撮像装置１３の偏光板の偏光方向を厳密に合わせる必要はない。
　通常の撮影では、眼鏡反射が起こった状態では瞳孔エッジが眼鏡反射により隠れてしまい、画像処理による瞳孔検出が困難となる。しかし、本実施形態によれば、任意位相偏光画像生成部１１５により眼鏡反射を取り除いた画像を生成し、瞳孔検出を行うことが可能なため、眼鏡ユーザに対しても安定した瞳孔検出を行うことができる。
　視線推定において利用する角膜反射像も角膜表面での鏡面反射である。したがって、角膜反射像を高精度に観測するためには、赤外光源１１の偏光方向を完全には抑制しない位相の画像を生成すればよい。なお、角膜反射像と眼鏡反射の輝度値及びサイズとは赤外光源１１の光量に依存する。したがって、任意位相偏光画像生成部１１５は、これらに最適な位相で画像を生成すればよい。
　また、眼鏡ユーザについて輝点検出を行う場合には、眼鏡反射と角膜反射とが共存するため、瞳孔検出用に生成した各画素が最低輝度値となる画像を利用してもよい。これらの画像において、眼鏡レンズを通る際の屈折、及び、眼鏡と眼球との間の拡散反射により、眼鏡反射と角膜反射との偏光モデルは異なって観察される。このため、各画素で最低画素の輝度モデルを作った場合でも、眼鏡反射よりも角膜反射の方が高輝度で観察される。したがって、瞳孔検出用に生成した画像から、周囲よりも輝度値が高く、サイズや位置が所定の条件を満たす輝点を角膜反射像として検出すればよい。この検出には、機械学習を用いてもよい。
　なお、任意位相偏光画像生成部１１５により眼鏡反射を除去する処理を行う前に、例えば、輝点のサイズや輝度値、位置、エッジ、円形度等の特徴を用いて荒い輝点検出を行った後、処理領域を輝点の候補画素に限定して偏光画像生成を行ってもよい。これにより、任意位相偏光画像生成部１１５の処理量を削減することが可能となる。また、荒い輝点検出には、例えば全ての偏光方向の平均画像を用いればよく、この処理に、例えば機械学習を用いてもよい。
　一方、裸眼ユーザに対しても、眼鏡ユーザに対する上記処理と同様、任意位相偏光画像生成部１１５により瞳孔検出用偏光画像と輝点検出用偏光画像とを生成し、検出のための処理画像としても用いてもよい。すなわち、瞳孔検出用偏光画像は、例えば、上述の眼鏡ユーザの場合と同様、偏光画像の各画素につき、偏光モデルを用いて偏光方向を変化させて最小輝度値を抽出し、最小輝度値からなる画像としてもよい。
　ただし、眼鏡反射を抑制した画像は光量が半減してしまう。そこで、例えば、眼鏡ユーザと裸眼ユーザとの判別を行い、眼鏡ユーザに対しては眼鏡反射を抑制した画像を用いて、裸眼ユーザに対しては撮像した３方向以上の偏光画像を用いて瞳孔検出用偏光画像を生成してもよい。
　ユーザの眼鏡装着の有無の判別は、例えば、眼鏡反射が起きると通常眼があるべき領域に大きな高輝度の領域が観察されることから、入力画像の眼領域部分の輝度値を特徴として判別してもよい。あるいは、偏光子１２により偏光された赤外光に対する眼鏡表面での鏡面反射は偏光光となることから、後述の式（２）で表される偏光度に基づいて、偏光モデルにおいて偏光度の大きくなる領域のサイズを特徴として判別してもよい。これらの特徴を入力として、閾値処理、あるいは機械学習等でユーザの眼鏡装着の有無を判別できる。
　また、輝点検出用偏光画像は、光源の偏光方向が既知として、以下のように取得してもよい。まず、光源が複数ある場合には、全ての光源に対してそれぞれ異なる方向の偏光をかける。そして、画素毎に観察したい光源の偏光方向の画素を生成することで、アウトライア、及び、他の光源からの反射を抑制し、観察された光源からの角膜反射が高い輝度値を持つ偏光画像が生成される。その後、画像処理部１２０の輝点検出部１２３では、この生成された偏光画像に基づき輝点検出処理が行われ、検出された輝度値が所定の閾値以上の輝点を、対応する光源の真の角膜反射像とする。このとき、所定の閾値以上の輝度値を有する輝点が複数の検出された場合は、輝度値が最大の輝点が真の角膜反射像として選択される。輝点検出部１２３での輝点検出は、機械学習を用いて行ってもよい。
　光源が複数ある場合には、輝点検出用偏光画像は任意位相偏光画像生成部１１５により光源の数だけ生成され、当該偏光画像に基づき輝点検出部１２３により輝点検出が行われる。なお、輝点検出用偏光画像の作成においては、上述の眼鏡ユーザの場合と同様、任意位相偏光画像生成部１１５により眼鏡反射を除去する処理を行う前に、例えば、輝点のサイズや輝度値、位置、エッジ、円形度等の特徴を用いて荒い輝点検出を行った後、処理領域を輝点の候補画素に限定して偏光画像生成を行ってもよい。これにより、任意位相偏光画像生成部１１５の処理量を削減することが可能となる。また、荒い輝点検出には、例えば全ての偏光方向の平均画像を用いればよく、この処理に、例えば機械学習を用いてもよい。
　任意位相偏光画像生成部１１５は、予め設定された条件に基づき、偏光モデルを用いて瞳孔検出用偏光画像や輝点検出用偏光画像を生成すると、これらの偏光画像を任意位相偏光画像記憶部１１７に記録する。
（Ｓ１３０：瞳孔検出）
　ステップＳ１２０にて各種の任意位相偏光画像が生成されると、画像処理部１２０により生成された偏光画像に対する画像処理が行われ、瞳孔及び角膜反射像が取得される。まず、瞳孔検出部１２１により、瞳孔検出に適した位相の瞳孔検出用偏光画像から瞳孔が検出される（Ｓ１３０）。例えば、赤外光源１１を撮像装置１３の光軸から離して配置した場合、取得される撮像画像の瞳孔は黒っぽく観察される（暗瞳孔）。あるいは、赤外光源１１を撮像装置１３の光軸上に極めて近い場所に設置した場合、網膜の再帰反射により瞳孔は白っぽく観察される（明瞳孔）。これらを利用して、瞳孔検出部１２１は、例えば瞳孔検出用偏光画像上から楕円状の黒っぽい領域（あるいは白っぽい領域）を瞳孔として検出する。あるいは、瞳孔検出部１２１は、明瞳孔と暗瞳孔との差分画像から瞳孔部分を抽出してもよい。
（Ｓ１４０：輝点検出）
　次いで、輝点検出部１２３により、輝点検出用偏光画像に基づいて輝点が検出される（Ｓ１４０）。輝点検出部１２３では、例えば、画像中において、周囲よりも輝度値が高くサイズが所定以下であり、検出位置が赤外光源１１の設置位置と所定以上の整合性がある領域を、輝点として検出する。輝点検出部１２３において検出される輝点には、角膜反射像以外の疑似輝点等のアウトライアも含まれる。
（Ｓ１５０：アウトライア除去）
　そして、アウトライア除去部１２５により、輝点検出部１２３にて検出された各輝点から、疑似輝点等のアウトライアを除去し、真の角膜反射像が検出される（Ｓ１５０）。アウトライアには、例えば、眼球の角膜ではなく強膜で反射することで現れる輝点や、ユーザの下睫毛での反射で現れる輝点等がある。その他、アウトライアとして、環境からの反射光の眼球への映り込みや、太陽光の映り込み等がある。これらの要素は、真の角膜反射像の検出を妨げる要素であるため、アウトライア除去部１２５により除去される。
　アウトライア除去部１２５は、輝点検出部１２３にて検出された各輝点領域の画素に対し、偏光モデル記憶部１１３に記憶された偏光モデルを用いて偏光度ρを求め、偏光度ρの大きさに基づき、アウトライアを除去する。偏光度ρは、観測光の直線偏光の度合いを表し、下記式（２）にて表される。
Figure JPOXMLDOC01-appb-M000002
　本実施形態では、角膜反射像は偏光子１２を通した偏光光の角膜表面での反射像であり、偏光度ρは大きくなる。一方で、無偏光である太陽光の反射、あるいは強膜等での反射は、偏光度ρは小さくなる。ここで、図１０に、角膜反射像で観察される偏光度ρの大きい偏光モデルと、アウトライアで観察される偏光度ρの小さい偏光モデルとの例を示す。図１０に示すように、偏光度ρが大きい角膜反射像の偏光モデルの振幅と比較して、偏光度ρの小さいアウトライアの偏光モデルの振幅は小さくなっている。
　この特性を利用して、アウトライア除去部１２５は、上記式（２）に基づき偏光度ρを求め、閾値処理あるいは機械学習を用いて、ステップＳ１４０にて検出された輝点を、真の角膜反射像とアウトライアとに分類する。例えば、閾値処理では、偏光度ρの値が所定値未満であれば当該輝点はアウトライアとして分類され、偏光度ρの値が所定値以上であれば当該輝点は真の角膜反射像として分類される。
（Ｓ１６０：角膜反射像識別）
　その後、角膜反射像識別部１２７により、アウトライア除去部１２５により特定された真の角膜反射像について、どの光源からの反射像であるか、対応する赤外光源１１が識別される（Ｓ１６０）。ステップＳ１６０の処理は、複数の赤外光源１１から眼球Ｅへ赤外光が照射されている場合にのみ実行してもよい。
　角膜反射を利用した視線推定では、複数の赤外光源１１を用いることで、視線推定精度を向上させたり、視点位置によって角膜反射像が観察されなくなるのを防いだりすることができる。しかし、例えば４つの赤外光源１１から眼球Ｅに赤外光が照射されたとき、図１１左側のように４つの角膜反射像ｐ１～ｐ４が検出されるところ、図１１右側のように２つの角膜反射像ｐ１、ｐ４のみが検出されることもある。このように、複数の角膜反射像の一部だけが観察された場合、それがどの光源の反射像であるかを正確に識別できない場合もある。そこで、本実施形態では、偏光方向の違いが偏光モデルの位相差となって表れる原理を応用し、角膜反射像に対応する各赤外光源１１を識別する。
　より詳細に説明すると、まず、赤外光源１１の特定を可能にするため、本実施形態に係る眼球観察装置１は、各赤外光源１１に対応して設置する偏光子１２の偏光方向が相違するように構成される。そして、画像生成部１１０の偏光モデル生成部１１１にて、各赤外光源１１の偏光モデルを生成し、偏光モデル記憶部１１３に記録しておく。ここで、撮像装置１３の偏光板の偏光角度θｐｏｌは、原理的に０°≦θｐｏｌ＜１８０°の範囲でのみ意味を持つため、この範囲内で排他的に赤外光源１１の偏光方向を決定する。例えば、２つの赤外光源１１の偏光方向を相違させたとき、例えば図１２に示すように、第１の赤外光源の偏光モデル（Purkinje-1）と第２の赤外光源の偏光モデル（Purkinje-2）とでは、振幅及び周期は同じであるが位相の異なるものとなる。
　そして、角膜反射像識別部１２７は、赤外光源１１の偏光モデルと、観察された各角膜反射像の偏光モデルとの位相類似度を用いて、角膜反射像の識別を行う。すなわち、位相が類似し、位相類似度が高い赤外光源１１と角膜反射像とが対応するものとして識別される。位相類似度は、閾値処理により識別してもよく、機械学習を用いて識別してもよい。なお、赤外光源１１の偏光方向は、予めキャリブレーションにより求めてもよく、視線推定時に全ての輝点が観察され識別が容易かつ正確に行われたときに設定してもよい。キャリブレーションでは、観察された角膜反射像の偏光モデルを求め、この偏光モデルの位相が、各赤外光源１１と関連付けて光源偏光方向記憶部２０に記録される。なお、偏光子１２の配置は、眼球観察装置１の組立時に決定されるため、基本的にキャリブレーションは１度行えばよい。
（Ｓ１７０：視線推定）
　そして、視線推定部１３０は、画像処理部１２０により検出された画像上の角膜反射像と瞳孔位置とに基づいて、視線方向を推定する（Ｓ１７０）。例えば、視線推定部１３０は、赤外光源１１と撮像装置１３との設置位置を既知として観察された画像上の角膜反射像から３次元上の角膜曲率半径中心座標を推定する。また、視線推定部１３０は、画像上の瞳孔位置から３次元上の瞳孔中心座標を推定し、これらを結ぶ軸として眼球の光軸を求める。そして、視線推定部１３０は、観察された情報から求めた光軸を人の視線方向に相当する視軸に変換する処理を行い、３次元視線ベクトルを求める。あるいは、視線推定部１３０は、画像上の角膜反射像と瞳孔とを結ぶ２次元ベクトルとディスプレイ上の視線位置とのマッピングを行うことにより視線ベクトルを求めてもよい。本実施形態に係る視線検出方法における視線推定手法は、特に限定されるものではなく、既存の各種視線推定手法を用いることができる。
　以上、本実施形態に係る視線検出方法について説明した。本実施形態によれば、視線推定を行うにあたり瞳孔や角膜反射像を検出する際に、各検出に適した偏光画像を使用するため、より精度よく瞳孔や角膜反射像を検出することが可能となる。また、本実施形態に係る眼球観察装置１の撮像装置１３は、３方向以上の偏光画像を同時に取得することができるので、これに基づき生成された各画素の偏光モデルにより、瞳孔検出用偏光画像や輝点検出用偏光画像を、同時にそれぞれ生成することができる。また、眼鏡ユーザの視線を検出する場合にも、眼鏡レンズでの鏡面反射を除去することもできる。
　さらに、偏光モデルを用いて、角膜反射像以外のアウトライアを除去することもでき、複数の赤外光源１１を利用した場合の角膜反射像との対応付けも正確に行うことができる。このように、本実施形態に係る視線検出方法により、安定して精度よく視線推定を行うことができる。また、赤外光源１１の偏光方向と撮像装置１３の偏光板の偏光方向との厳密な位置合わせも不要であり、様々な機器や状況への適用が容易である。なお、撮像装置１３以外の撮像装置を用いて注視対象を特定したり、あるいは注視すべきであるのに視線方向から外れている場合にアラートを出したりしてもよい。
＜変形例＞
　本実施形態の眼球観察装置は、視線推定のための使用に限られず、眼球状態を撮像するアプリケーションに使用されてもよい。本実施形態の眼球観察装置によれば、例えば、撮像した眼球状態に基づいて後述の指標や兆候を判定することで、ユーザの健康状態あるいは覚醒状態を判定あるいは推定することができる。変形例としての本実施形態の眼球観察装置は、視線推定演算装置に代えて、あるいは追加で、眼球状態推定演算装置を備えていればよい。なお、眼球状態推定演算装置は、撮像した眼球の画像から眼球状態情報を取得し、後述の指標あるいは兆候を判定するように構成された装置として見做されてよい。
　本実施形態の眼球観察装置によれば、眼鏡反射を抑制し、瞳孔や虹彩を検出しやすい画像を生成することができる。なお、虹彩認証は虹彩のパターンによって個人を識別する技術である。虹彩認証においても、瞳孔や虹彩など眼球情報を取得する必要がある。
　また、本実施形態の眼球観察装置によれば、瞳孔径や虹彩の応対を観察することで個人の健康状態や覚醒状態を推定することができる。視線を検出する場合と同様、本実施形態の眼球観察装置によれば、眼鏡レンズでの鏡面反射を除去することもできる。したがって、ユーザの瞳孔や虹彩の検出の精度を向上させることができる。
　本実施形態の眼球観察装置により取得された眼球画像から取得されるパラメータは、健康状態に関連する種々の指標と比較され、これにより、健康状態の判定や推定が行われてよい。例えば、瞳孔の散瞳・縮瞳は、交感神経と副交感神経系との相互作用により起こる。したがって、瞳孔の散瞳・縮瞳の変化が自律神経系の状態を示す指標として用いられてよい。例えば、５ｍｍ以上の散瞳は低血糖・低酸素症・薬物中毒・中脳生涯・脳ヘルニア・心停止などの指標として用いられてよい。２ｍｍ以下の縮瞳は脳ヘルニアの初期・有機リン中毒などの指標として用いられてよい。１ｍｍ以下のピンホールは橋出血・麻薬中毒などの指標として用いられてよい。左右瞳孔径に０．５ｍｍ以上の差がある場合は脳ヘルニアの兆候があると見做されてよい。なお、散瞳・縮瞳は、眼球観察画像から正確に瞳孔の輪郭を抽出し、瞳孔径を測定することで可能となる。
　また、虹彩の状態を観察することでも健康状態を知ることができるとされる（虹彩学）。例えば、虹彩の回りの濁り（コレステロールリング）を観察することで血中コレステロールが高いことや脂質代謝が困難であることを判定あるいは推定することができる。したがって、虹彩の周りの濁り度合に基づいて、ユーザの健康状態が判定あるいは推定されてもよい。また、瞳孔の周りに一つまたはそれ以上の数の和が見える状態はストレスが高いことを表す。したがって、一つまたはそれ以上の数の和が見える場合に、ユーザが高ストレス状態にあると判定あるいは推定されてもよい。
　また、本実施形態の眼球観察装置によれば、眼球観察により人の覚醒状態を推定することも可能である。覚醒状態の変化に基づいて、疲労度や作業効率などが把握され得る。特に、自動車や電車などの運転手の覚醒度を把握することは安全性の確保にとって非常に有用である。例えば、覚醒度が下がり副交感神経系活動が交換神経系に対して優位になると瞳孔が収縮するが、一方で縮瞳に対抗する散瞳が繰り返される。このため、覚醒度が下がっている場合、瞳孔径に低周波の大きなゆらぎ（Ｌａｒｇｅ　Ｌｏｗ　Ｆｒｅｑｕｅｎｃｙ　Ｆｌｕｃｔｕａｔｉｏｎ）が生じる。
したがって、瞳孔径の変化に基づいて健康状態や覚醒状態が判定あるいは推定されてもよい。
　なお、２つの偏光撮像装置を用いれば、三角測量により眼球までの距離を測定し、正確に瞳孔径を測定することができる。また、日常的な個人の瞳孔径の変化を見る場合は、撮像装置は１台でも画像処理により目尻や目頭など顔パーツをマークとして正規化することで、瞳孔径の相対変化を観察し健康状態や覚醒状態の管理を行うことができる。
　このように、眼球観察によりユーザのさまざまな状態を知ることができる。本実施形態によれば、眼鏡を使用したユーザに対しても眼鏡表面の反射を除去した眼球画像を生成することができる。例えばスマートフォンに撮像装置と偏光赤外光源を組み込み、虹彩認証による個人識別、日常的な健康管理が行われてもよい。この装置構成において、健康状態あるいは覚醒状態の判定あるいは推定に加えて、ユーザの視線検出が行われてもよい。また、車や電車・飛行機など操縦者が必要な乗り物では眼球を観察できる場所に偏光赤外光源と赤外カメラを設置して覚醒度をモニタリングしてもよい。
　本実施形態の眼球観察装置によれば、裸眼ユーザに対しても同じ構成で眼球画像を取得することができる。一般的に偏光板を使って撮像センサに入射する光を制限することで照度が不足する場合がある。３方向以上の偏光方向を同時に取得するセンサを使用する場合、すべての偏光方向の平均画像を用いることで照度不足にも対応できる。
　＜４．ハードウェア構成＞
　最後に、本実施形態に係る視線推定演算装置１００のハードウェア構成例について説明する。図１３は、本実施形態に係る視線推定演算装置１００のハードウェア構成を示すハードウェア構成図である。
　本実施形態に係る視線推定演算装置１００は、上述したように、コンピュータ等の処理装置により実現することができる。視線推定演算装置１００は、図１３に示すように、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）９０１と、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）９０２と、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）９０３と、ホストバス９０４ａとを備える。また、視線推定演算装置１００は、ブリッジ９０４と、外部バス９０４ｂと、インタフェース９０５と、入力装置９０６と、出力装置９０７と、ストレージ装置９０８と、ドライブ９０９と、接続ポート９１１と、通信装置９１３とを備える。
　ＣＰＵ９０１は、演算処理装置および制御装置として機能し、各種プログラムに従って視線推定演算装置１００内の動作全般を制御する。また、ＣＰＵ９０１は、マイクロプロセッサであってもよい。ＲＯＭ９０２は、ＣＰＵ９０１が使用するプログラムや演算パラメータ等を記憶する。ＲＡＭ９０３は、ＣＰＵ９０１の実行において使用するプログラムや、その実行において適宜変化するパラメータ等を一時記憶する。これらはＣＰＵバスなどから構成されるホストバス９０４ａにより相互に接続されている。
　ホストバス９０４ａは、ブリッジ９０４を介して、ＰＣＩ（Ｐｅｒｉｐｈｅｒａｌ　Ｃｏｍｐｏｎｅｎｔ　Ｉｎｔｅｒｃｏｎｎｅｃｔ／Ｉｎｔｅｒｆａｃｅ）バスなどの外部バス９０４ｂに接続されている。なお、必ずしもホストバス９０４ａ、ブリッジ９０４および外部バス９０４ｂを分離構成する必要はなく、１つのバスにこれらの機能を実装してもよい。
　入力装置９０６は、マウス、キーボード、タッチパネル、ボタン、マイク、スイッチおよびレバーなどユーザが情報を入力するための入力手段と、ユーザによる入力に基づいて入力信号を生成し、ＣＰＵ９０１に出力する入力制御回路などから構成されている。出力装置９０７は、例えば、液晶ディスプレイ（ＬＣＤ）装置、ＯＬＥＤ（Ｏｒｇａｎｉｃ　Ｌｉｇｈｔ　Ｅｍｉｔｔｉｎｇ　Ｄｉｏｄｅ）装置およびランプなどの表示装置や、スピーカなどの音声出力装置を含む。
　ストレージ装置９０８は、視線推定演算装置１００の記憶部の一例であり、データ格納用の装置である。ストレージ装置９０８は、記憶媒体、記憶媒体にデータを記録する記録装置、記憶媒体からデータを読み出す読出し装置および記憶媒体に記録されたデータを削除する削除装置などを含んでもよい。このストレージ装置９０８は、ハードディスクを駆動し、ＣＰＵ９０１が実行するプログラムや各種データを格納する。
　ドライブ９０９は、記憶媒体用リーダライタであり、視線推定演算装置１００に内蔵、あるいは外付けされる。ドライブ９０９は、装着されている磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリ等のリムーバブル記録媒体に記録されている情報を読み出して、ＲＡＭ９０３に出力する。
　接続ポート９１１は、外部機器と接続されるインタフェースであって、例えばＵＳＢ（Ｕｎｉｖｅｒｓａｌ　Ｓｅｒｉａｌ　Ｂｕｓ）などによりデータ伝送可能な外部機器との接続口である。また、通信装置９１３は、例えば、通信網５に接続するための通信デバイス等で構成された通信インタフェースである。また、通信装置９１３は、無線ＬＡＮ（Ｌｏｃａｌ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）対応通信装置であっても、ワイヤレスＵＳＢ対応通信装置であっても、有線による通信を行うワイヤー通信装置であってもよい。
　以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
　例えば、上記実施形態では、複数の赤外光源を使用したときの角膜反射像と赤外光源との対応付けは、キャリブレーションを実行することにより行ったが、本技術はかかる例に限定されない。例えば、各赤外光源に対応する偏光子の角度のずれが既知である場合には、偏光子による偏光方向の角度に基づいて、角膜反射像との対応付けを行ってもよい。
　また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
　なお、以下のような構成も本開示の技術的範囲に属する。
（１）
　ユーザの眼球に対して偏光された赤外光を照射する少なくとも１つの赤外光源と、
　偏光された赤外光が照射されている眼球の画像を撮像し、少なくとも３方向の偏光画像を同時に撮像可能な少なくとも１つの撮像装置と、
を備える、眼球観察装置。
（２）
　前記撮像装置により取得された偏光画像の各画素につき、偏光方向と輝度との関係を表す偏光モデルを生成する偏光モデル生成部を備える、前記（１）に記載の眼球観察装置。
（３）
　前記偏光モデルを用いて、前記撮像装置により取得された偏光画像から、任意の偏光方向を有する任意位相偏光画像を生成する任意位相偏光画像生成部を備える、前記（２）に記載の眼球観察装置。
（４）
　前記任意位相偏光画像生成部は、前記偏光画像の各画素について、偏光方向を変化させて最小輝度値を抽出し、前記最小輝度値からなる瞳孔検出用偏光画像を生成する、前記（３）に記載の眼球観察装置。
（５）
　前記任意位相偏光画像生成部は、前記偏光画像の各画素について、偏光方向を変化させて最大輝度値を抽出し、前記最大輝度値からなる輝点検出用偏光画像を生成する、前記（３）または（４）に記載の眼球観察装置。
（６）
　前記輝点検出用偏光画像から輝点を検出する輝点検出部と、
　検出された輝点の偏光度に基づいて、当該輝点が角膜反射像のアウトライアを除去するアウトライア除去部と、
を備える、前記（５）に記載の眼球観察装置。
（７）
　前記アウトライア除去部は、検出された前記輝点のうち、前記偏光度が所定値未満の輝点を、アウトライアとして除去する、前記（６）に記載の眼球観察装置。
（８）
　前記アウトライア除去部によりアウトライアが除去されることで取得された角膜反射像の対応する前記赤外光源を、前記偏光モデルの位相の相違に基づき識別する、角膜反射像識別部を備える、前記（６）または（７）に記載の眼球観察装置。
（９）
　前記赤外光源を複数備える場合、前記各赤外光源に対応する偏光子のうち少なくとも１つは、他の偏光子と異なる偏光方向を有する、前記（１）～（８）のいずれか１項に記載の眼球観察装置。
（１０）
　撮像された前記眼球の画像に基づいてユーザの視線を検出あるいは推定する第１の演算装置をさらに備える、前記（１）～（９）のいずれか１項に記載の眼球観察装置。
（１１）
　撮像された前記眼球の画像に基づいて眼球状態情報を取得し、取得された前記眼球状態情報に基づいてユーザの健康状態および覚醒状態のうち少なくとも一方を検出あるいは推定する第２の演算装置をさらに備える、前記（１）～（１０）のいずれか１項に記載の眼球観察装置。
（１２）
　ユーザの眼前に設けられるレンズと、
　ユーザの眼球に対して偏光された赤外光を照射する少なくとも１つの赤外光源と、偏光された赤外光が照射されている眼球の画像を撮像し、少なくとも３方向の偏光画像を同時に撮像可能な少なくとも１つの撮像装置と、を含む眼球観察装置と、
を備える、アイウェア端末。
（１３）
　撮像された前記眼球の画像に基づいてユーザの視線を検出あるいは推定する第１の演算装置をさらに備える、前記（１２）に記載のアイウェア端末。
（１４）
　撮像された前記眼球の画像に基づいて眼球状態情報を取得し、取得された前記眼球状態情報に基づいてユーザの健康状態および覚醒状態のうち少なくとも一方を検出あるいは推定する第２の演算装置をさらに備える、前記（１２）または（１３）に記載のアイウェア端末。
（１５）
　少なくとも１つの赤外光源によりユーザの眼球に対して偏光された赤外光が照射されている眼球の画像を撮像し、少なくとも３方向の偏光画像を同時に取得すること、
　前記偏光画像の各画素につき、偏光方向と輝度との関係を表す偏光モデルを生成すること、
　前記偏光モデルを用いて、任意の偏光方向を有する任意位相偏光画像を生成すること、
　前記任意位相偏光画像に基づいて、視線方向を推定すること、
を含む、視線検出方法。
（１６）
　コンピュータに、
　少なくとも１つの赤外光源によりユーザの眼球に対して偏光された赤外光が照射されている眼球の画像を撮像し、少なくとも３方向の偏光画像を同時に取得すること、
　前記偏光画像の各画素につき、偏光方向と輝度との関係を表す偏光モデルを生成すること、
　前記偏光モデルを用いて、任意の偏光方向を有する任意位相偏光画像を生成すること、
　前記任意位相偏光画像に基づいて、視線方向を推定すること、
を実行させるためのプログラム。
　１　　　眼球観察装置
　１１　　赤外光源
　１２　　偏光子
　１３　　撮像装置
　１５　　光路分離装置
　２０　　光源偏光方向記憶部
　１００　視線推定演算装置
　１１０　画像生成部
　１１１　偏光モデル生成部
　１１３　偏光モデル記憶部
　１１５　任意位相偏光画像生成部
　１１７　任意位相偏光画像記憶部
　１２０　画像処理部
　１２１　瞳孔検出部
　１２３　輝点検出部
　１２５　アウトライア除去部
　１２７　角膜反射像識別部
　１３０　視線推定部

Claims (16)

  1. 　ユーザの眼球に対して偏光された赤外光を照射する少なくとも１つの赤外光源と、
    　偏光された赤外光が照射されている眼球の画像を撮像し、少なくとも３方向の偏光画像を同時に撮像可能な少なくとも１つの撮像装置と、
    を備える、眼球観察装置。
  2. 　前記撮像装置により取得された偏光画像の各画素につき、偏光方向と輝度との関係を表す偏光モデルを生成する偏光モデル生成部を備える、請求項１に記載の眼球観察装置。
  3. 　前記偏光モデルを用いて、前記撮像装置により取得された偏光画像から、任意の偏光方向を有する任意位相偏光画像を生成する任意位相偏光画像生成部を備える、請求項２に記載の眼球観察装置。
  4. 　前記任意位相偏光画像生成部は、前記偏光画像の各画素について、偏光方向を変化させて最小輝度値を抽出し、前記最小輝度値からなる瞳孔検出用偏光画像を生成する、請求項３に記載の眼球観察装置。
  5. 　前記任意位相偏光画像生成部は、前記偏光画像の各画素について、偏光方向を変化させて最大輝度値を抽出し、前記最大輝度値からなる輝点検出用偏光画像を生成する、請求項３に記載の眼球観察装置。
  6. 　前記輝点検出用偏光画像から輝点を検出する輝点検出部と、
    　検出された輝点の偏光度に基づいて、当該輝点が角膜反射像のアウトライアを除去するアウトライア除去部と、
    を備える、請求項５に記載の眼球観察装置。
  7. 　前記アウトライア除去部は、検出された前記輝点のうち、前記偏光度が所定値未満の輝点を、アウトライアとして除去する、請求項６に記載の眼球観察装置。
  8. 　前記アウトライア除去部によりアウトライアが除去されることで取得された角膜反射像の対応する前記赤外光源を、前記偏光モデルの位相の相違に基づき識別する、角膜反射像識別部を備える、請求項６に記載の眼球観察装置。
  9. 　前記赤外光源を複数備える場合、前記各赤外光源に対応する偏光子のうち少なくとも１つは、他の偏光子と異なる偏光方向を有する、請求項１に記載の眼球観察装置。
  10. 　撮像された前記眼球の画像に基づいてユーザの視線を検出あるいは推定する第１の演算装置をさらに備える、請求項１に記載の眼球観察装置。
  11. 　撮像された前記眼球の画像に基づいて眼球状態情報を取得し、取得された前記眼球状態情報に基づいてユーザの健康状態および覚醒状態のうち少なくとも一方を検出あるいは推定する第２の演算装置をさらに備える、請求項１に記載の眼球観察装置。
  12. 　ユーザの眼前に設けられるレンズと、
    　ユーザの眼球に対して偏光された赤外光を照射する少なくとも１つの赤外光源と、偏光された赤外光が照射されている眼球の画像を撮像し、少なくとも３方向の偏光画像を同時に撮像可能な少なくとも１つの撮像装置と、を含む眼球観察装置と、
    を備える、アイウェア端末。
  13. 　撮像された前記眼球の画像に基づいてユーザの視線を検出あるいは推定する第１の演算装置をさらに備える、請求項１２に記載のアイウェア端末。
  14. 　撮像された前記眼球の画像に基づいて眼球状態情報を取得し、取得された前記眼球状態情報に基づいてユーザの健康状態および覚醒状態のうち少なくとも一方を検出あるいは推定する第２の演算装置をさらに備える、請求項１２に記載のアイウェア端末。
  15. 　少なくとも１つの赤外光源によりユーザの眼球に対して偏光された赤外光が照射されている眼球の画像を撮像し、少なくとも３方向の偏光画像を同時に取得すること、
    　前記偏光画像の各画素につき、偏光方向と輝度との関係を表す偏光モデルを生成すること、
    　前記偏光モデルを用いて、任意の偏光方向を有する任意位相偏光画像を生成すること、
    　前記任意位相偏光画像に基づいて、視線方向を推定すること、
    を含む、視線検出方法。
  16. 　コンピュータに、
    　少なくとも１つの赤外光源によりユーザの眼球に対して偏光された赤外光が照射されている眼球の画像を撮像し、少なくとも３方向の偏光画像を同時に取得すること、
    　前記偏光画像の各画素につき、偏光方向と輝度との関係を表す偏光モデルを生成すること、
    　前記偏光モデルを用いて、任意の偏光方向を有する任意位相偏光画像を生成すること、
    　前記任意位相偏光画像に基づいて、視線方向を推定すること、
    を実行させるためのプログラム。
PCT/JP2016/070801 2015-07-17 2016-07-14 眼球観察装置、アイウェア端末、視線検出方法及びプログラム WO2017014137A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
US15/571,997 US10413177B2 (en) 2015-07-17 2016-07-14 Eyeball observation device, eyewear terminal, line-of-sight detection method, and program
CN201680040857.3A CN107847130B (zh) 2015-07-17 2016-07-14 眼球观察装置、眼镜型终端、视线检测方法以及程序
JP2017529578A JP6669173B2 (ja) 2015-07-17 2016-07-14 眼球観察装置、アイウェア端末、視線検出方法及びプログラム
EP16827697.0A EP3326513A4 (en) 2015-07-17 2016-07-14 OCULAR GLOBE OBSERVATION DEVICE, EYEWEAR TERMINAL, GUN DETECTION METHOD, AND PROGRAM

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2015142619 2015-07-17
JP2015-142619 2015-07-17
PCT/JP2016/062450 WO2017013913A1 (ja) 2015-07-17 2016-04-20 視線検出装置、アイウェア端末、視線検出方法及びプログラム
JPPCT/JP2016/062450 2016-04-20

Publications (1)

Publication Number Publication Date
WO2017014137A1 true WO2017014137A1 (ja) 2017-01-26

Family

ID=57834290

Family Applications (2)

Application Number Title Priority Date Filing Date
PCT/JP2016/062450 WO2017013913A1 (ja) 2015-07-17 2016-04-20 視線検出装置、アイウェア端末、視線検出方法及びプログラム
PCT/JP2016/070801 WO2017014137A1 (ja) 2015-07-17 2016-07-14 眼球観察装置、アイウェア端末、視線検出方法及びプログラム

Family Applications Before (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/062450 WO2017013913A1 (ja) 2015-07-17 2016-04-20 視線検出装置、アイウェア端末、視線検出方法及びプログラム

Country Status (5)

Country Link
US (1) US10413177B2 (ja)
EP (1) EP3326513A4 (ja)
JP (1) JP6669173B2 (ja)
CN (1) CN107847130B (ja)
WO (2) WO2017013913A1 (ja)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018142692A1 (ja) * 2017-01-31 2018-08-09 シャープ株式会社 撮像装置、および画像処理装置
JP2018206239A (ja) * 2017-06-08 2018-12-27 シャープ株式会社 認証装置および認証方法
WO2018234925A1 (ja) * 2017-06-23 2018-12-27 株式会社半導体エネルギー研究所 撮像装置
JP2019020991A (ja) * 2017-07-14 2019-02-07 シャープ株式会社 撮像装置、認証装置、および撮像方法
JP2019153284A (ja) * 2018-02-28 2019-09-12 パナソニックＩｐマネジメント株式会社 画像合成装置、虹彩認証システム、画像合成方法及び虹彩認証方法
CN110448267A (zh) * 2019-09-06 2019-11-15 重庆贝奥新视野医疗设备有限公司 一种多模眼底动态成像分析系统及其方法
JP2020160141A (ja) * 2019-03-25 2020-10-01 株式会社日立製作所 視線検出装置、視線検出方法、及び表示装置
JP2020166761A (ja) * 2019-03-29 2020-10-08 シャープ株式会社 撮像装置、およびその制御方法
WO2021131335A1 (ja) * 2019-12-23 2021-07-01 株式会社Ｊｖｃケンウッド 角膜反射検出装置、視線検出装置、角膜反射検出方法、及び角膜反射検出プログラム

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11138301B1 (en) * 2017-11-20 2021-10-05 Snap Inc. Eye scanner for user identification and security in an eyewear device
WO2019131303A1 (ja) * 2017-12-28 2019-07-04 シャープ株式会社 虹彩認証装置
US20210097713A1 (en) * 2018-02-27 2021-04-01 Sony Corporation Information processing device, information processing method, and program
JP2019152929A (ja) * 2018-02-28 2019-09-12 パナソニックＩｐマネジメント株式会社 認証装置及び認証方法
CN109496309B (zh) * 2018-08-07 2022-05-03 深圳市汇顶科技股份有限公司 疲劳状态的检测方法、装置及设备
CN109508679B (zh) * 2018-11-19 2023-02-10 广东工业大学 实现眼球三维视线跟踪的方法、装置、设备及存储介质
WO2020129138A1 (ja) 2018-12-18 2020-06-25 日本電気株式会社 画像処理装置、画像処理方法及び記憶媒体
US11861941B1 (en) * 2019-02-06 2024-01-02 Apple Inc. Eye camera systems with polarized light
US11326763B1 (en) 2019-02-06 2022-05-10 Apple Inc. Light-emitting diodes with optical filters
JP7216562B2 (ja) * 2019-02-07 2023-02-01 株式会社トプコン 眼科装置
CN112578556B (zh) * 2019-09-27 2023-02-21 托比股份公司 用于减少来自光学装置的不合需的反射的眼睛跟踪系统
JPWO2021106502A1 (ja) * 2019-11-29 2021-06-03
WO2021251146A1 (ja) * 2020-06-09 2021-12-16 国立大学法人静岡大学 瞳孔検出装置
WO2022072513A1 (en) * 2020-09-30 2022-04-07 Ai-Ris LLC Retinal imaging system
EP4206755A4 (en) * 2020-10-05 2024-03-06 Sony Group Corporation VISION DETECTION DEVICE AND DISPLAY DEVICE
CN112869701B (zh) * 2021-01-11 2024-03-29 上海微创医疗机器人（集团）股份有限公司 视线检测方法、手术机器人系统、控制方法和存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07289518A (ja) * 1994-04-21 1995-11-07 Canon Inc 視線検出装置、まばたき検出装置及びカメラ
JP2003225207A (ja) * 2002-02-04 2003-08-12 Minolta Co Ltd 視線検出装置
JP2006167256A (ja) * 2004-12-17 2006-06-29 National Univ Corp Shizuoka Univ 瞳孔検出装置
JP2006309291A (ja) * 2005-04-26 2006-11-09 National Univ Corp Shizuoka Univ 瞳孔検出に基づくポインティング装置及び方法

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5345281A (en) * 1992-12-17 1994-09-06 John Taboada Eye tracking system and method
US6027216A (en) * 1997-10-21 2000-02-22 The Johns University School Of Medicine Eye fixation monitor and tracker
US7280678B2 (en) * 2003-02-28 2007-10-09 Avago Technologies General Ip Pte Ltd Apparatus and method for detecting pupils
CN101099164A (zh) * 2004-12-07 2008-01-02 欧普蒂克斯技术公司 使用来自眼睛反射的虹膜成像
JP4974543B2 (ja) * 2005-08-23 2012-07-11 株式会社フォトニックラティス 偏光イメージング装置
DE102008011836A1 (de) * 2008-02-28 2009-09-03 Carl Zeiss Meditec Ag Ophthalmologisches Gerät und Verfahren zur Beobachtung, Untersuchung, Diagnose und/oder Therapie eines Auges
WO2011070708A1 (ja) * 2009-12-08 2011-06-16 パナソニック株式会社 画像処理装置
CN101803928A (zh) * 2010-03-05 2010-08-18 北京智安邦科技有限公司 基于视频的驾驶员疲劳检测装置
JP2014151025A (ja) * 2013-02-08 2014-08-25 Scalar Corp 眼球撮像装置
US9282890B2 (en) * 2013-03-15 2016-03-15 William Fabian Eye imaging apparatus
WO2014186620A1 (en) * 2013-05-15 2014-11-20 The Johns Hopkins University Eye tracking and gaze fixation detection systems, components and methods using polarized light
JP2015115041A (ja) * 2013-12-16 2015-06-22 ソニー株式会社 画像処理装置と画像処理方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07289518A (ja) * 1994-04-21 1995-11-07 Canon Inc 視線検出装置、まばたき検出装置及びカメラ
JP2003225207A (ja) * 2002-02-04 2003-08-12 Minolta Co Ltd 視線検出装置
JP2006167256A (ja) * 2004-12-17 2006-06-29 National Univ Corp Shizuoka Univ 瞳孔検出装置
JP2006309291A (ja) * 2005-04-26 2006-11-09 National Univ Corp Shizuoka Univ 瞳孔検出に基づくポインティング装置及び方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3326513A4 *

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2018142692A1 (ja) * 2017-01-31 2019-02-07 シャープ株式会社 撮像装置、および画像処理装置
WO2018142692A1 (ja) * 2017-01-31 2018-08-09 シャープ株式会社 撮像装置、および画像処理装置
JP2018206239A (ja) * 2017-06-08 2018-12-27 シャープ株式会社 認証装置および認証方法
WO2018234925A1 (ja) * 2017-06-23 2018-12-27 株式会社半導体エネルギー研究所 撮像装置
JP7171563B2 (ja) 2017-06-23 2022-11-15 株式会社半導体エネルギー研究所 撮像装置
JPWO2018234925A1 (ja) * 2017-06-23 2020-06-18 株式会社半導体エネルギー研究所 撮像装置
JP2019020991A (ja) * 2017-07-14 2019-02-07 シャープ株式会社 撮像装置、認証装置、および撮像方法
JP2019153284A (ja) * 2018-02-28 2019-09-12 パナソニックＩｐマネジメント株式会社 画像合成装置、虹彩認証システム、画像合成方法及び虹彩認証方法
JP7165909B2 (ja) 2018-02-28 2022-11-07 パナソニックＩｐマネジメント株式会社 画像合成装置、虹彩認証システム、画像合成方法及び虹彩認証方法
JP7163230B2 (ja) 2019-03-25 2022-10-31 株式会社日立製作所 視線検出装置、視線検出方法、及び表示装置
JP2020160141A (ja) * 2019-03-25 2020-10-01 株式会社日立製作所 視線検出装置、視線検出方法、及び表示装置
JP2020166761A (ja) * 2019-03-29 2020-10-08 シャープ株式会社 撮像装置、およびその制御方法
CN110448267B (zh) * 2019-09-06 2021-05-25 重庆贝奥新视野医疗设备有限公司 一种多模眼底动态成像分析系统及其方法
CN110448267A (zh) * 2019-09-06 2019-11-15 重庆贝奥新视野医疗设备有限公司 一种多模眼底动态成像分析系统及其方法
WO2021131335A1 (ja) * 2019-12-23 2021-07-01 株式会社Ｊｖｃケンウッド 角膜反射検出装置、視線検出装置、角膜反射検出方法、及び角膜反射検出プログラム

Also Published As

Publication number Publication date
US20180140187A1 (en) 2018-05-24
CN107847130B (zh) 2020-02-21
WO2017013913A1 (ja) 2017-01-26
US10413177B2 (en) 2019-09-17
CN107847130A (zh) 2018-03-27
JPWO2017014137A1 (ja) 2018-04-26
JP6669173B2 (ja) 2020-03-18
EP3326513A1 (en) 2018-05-30
EP3326513A4 (en) 2019-03-27

Similar Documents

Publication Publication Date Title
JP6669173B2 (ja) 眼球観察装置、アイウェア端末、視線検出方法及びプログラム
JP6601417B2 (ja) 情報処理装置、情報処理方法及びプログラム
EP3079560B1 (en) Method for operating an eye tracking device and eye tracking device for providing an active illumination control for improved eye tracking robustness
US7819525B2 (en) Automatic direct gaze detection based on pupil symmetry
EP2881891B1 (en) Image processing device and image processing method
de Almeida et al. Computational methodology for automatic detection of strabismus in digital images through Hirschberg test
JP4491604B2 (ja) 瞳孔検出装置
Ghosh et al. Real time eye detection and tracking method for driver assistance system
WO2006035890A1 (ja) 視線検出方法
US20220270287A1 (en) Eye gaze detection method, eye gaze detection device, and non-transitory computer readable storage medium
EP3207861A2 (en) Detection system and detection method
CN116113867B (zh) 用于确定瞳孔中心的方法和眼镜
WO2021049059A1 (ja) 画像処理方法、画像処理装置、及び画像処理プログラム
JP2021077333A (ja) 視線検出方法、視線検出装置、及び制御プログラム
JP6007543B2 (ja) 変位測定装置、変位測定方法、及びプログラム
KR100651104B1 (ko) 시선기반 컴퓨터 인터페이스 장치 및 방법
WO2015080003A1 (ja) 瞳孔検出装置、視線検出装置および瞳孔検出方法
JP6757949B1 (ja) 画像処理方法、画像処理装置、及び画像処理プログラム
WO2019167381A1 (ja) 情報処理装置、情報処理方法、およびプログラム
WO2021095278A1 (ja) 画像処理方法、画像処理装置、及び画像処理プログラム
JP6019721B2 (ja) 他覚式変位測定装置、及び他覚式変位測定方法
García-Dopico et al. Precise Non-Intrusive Real-Time Gaze Tracking System for Embedded Setups.
RU2589623C2 (ru) Способ мониторинга движения глаз и устройство для его реализации
VANGHELE et al. Gaze detection/tracking

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16827697

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2017529578

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 15571997

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 2016827697

Country of ref document: EP