WO2019176491A1 - 視線検出装置、該視線検出装置の制御方法、角膜反射像位置の検出方法、コンピュータプログラム、及び記憶媒体 - Google Patents

視線検出装置、該視線検出装置の制御方法、角膜反射像位置の検出方法、コンピュータプログラム、及び記憶媒体 Download PDF

Info

Publication number
WO2019176491A1
WO2019176491A1 PCT/JP2019/006510 JP2019006510W WO2019176491A1 WO 2019176491 A1 WO2019176491 A1 WO 2019176491A1 JP 2019006510 W JP2019006510 W JP 2019006510W WO 2019176491 A1 WO2019176491 A1 WO 2019176491A1
Authority
WO
WIPO (PCT)
Prior art keywords
unit
line
corneal reflection
face
reflection image
Prior art date
Application number
PCT/JP2019/006510
Other languages
English (en)
French (fr)
Inventor
向井　仁志
山本　和夫
正樹 諏訪
航一 木下
Original Assignee
オムロン株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by オムロン株式会社 filed Critical オムロン株式会社
Priority to EP19766611.8A priority Critical patent/EP3767581A4/en
Priority to US16/977,475 priority patent/US11903647B2/en
Priority to CN201980011822.0A priority patent/CN111684394B/zh
Publication of WO2019176491A1 publication Critical patent/WO2019176491A1/ja

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/113—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/11—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for measuring interpupillary distance or diameter of pupils
    • A61B3/111—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for measuring interpupillary distance or diameter of pupils for measuring interpupillary distance
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/11—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for measuring interpupillary distance or diameter of pupils
    • A61B3/112—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for measuring interpupillary distance or diameter of pupils for measuring diameter of pupils
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1126—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique
    • A61B5/1128—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique using image analysis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/163—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state by tracking eye movement, gaze, or pupil change
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/193—Preprocessing; Feature extraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Definitions

  • the present invention is, for example, a gaze detection device for gaze detection mounted on a driver monitoring system or used at a work site, VOR (Vestibulo-OcularuloReflex) measurement, or face authentication.
  • the present invention also relates to a gaze detection device that can also be used, a control method of the gaze detection device, a detection method of a corneal reflection image position, a computer program, and a storage medium.
  • Patent Literature 1 discloses a gaze detection device that detects a gaze direction by detecting a Purkinje image (corneal reflection image in the present application),
  • the line-of-sight detection device includes a display unit, a wide-angle camera, an illumination light source, an infrared camera, an input unit, a storage medium access device, a storage unit, and a control unit.
  • Estimating the distance from the imaging unit that generates an image of the user's face to the user's face, and the distance from the imaging unit to the user's face with respect to the interval between the imaging unit and the light source that illuminates the user's eyes In accordance with the ratio, it is determined whether or not the entire pupil of the user's eye is in a bright pupil state that is brightened by the light from the light source.
  • the corneal reflection image and the pupil centroid of the user are detected, and the user's line-of-sight direction or gaze position is detected according to the positional relationship between the pupil centroid and the corneal reflection image.
  • the present invention has been made in view of the above problems, and is a gaze detection device capable of detecting a gaze (starting point and gaze direction) with a simple configuration, a control method for the gaze detection device, and detection of a corneal reflection image position. It is an object to provide a method, a computer program, and a storage medium.
  • the visual line detection device (1) includes: A gaze detection device for detecting a gaze of a person, An imaging unit for photographing a person's face; A projection unit that projects a predetermined pattern light onto the face of the person; A control unit for controlling presence or absence of projection of the pattern light by the imaging unit and the projection unit; A line-of-sight detection processing unit that detects a line of sight from an image of a person's face imaged by the imaging unit; It is characterized by comprising.
  • the line-of-sight detection device (1) by capturing the pattern light while projecting the pattern light onto the face of the person, the line-of-sight detection can be performed even with, for example, one imaging unit (corresponding to the camera in the conventional example). It is possible to carry out shooting for If the line-of-sight detection apparatus can be configured with only one imaging unit, it is possible to reduce the manufacturing cost of the apparatus and reduce the size of the apparatus.
  • the line-of-sight detection device (2) includes the line-of-sight detection device (1), The line-of-sight detection processing unit A first calculation unit that calculates a pupil center in the eyes of the person using an image of the face that is captured by the imaging unit and on which the pattern light is not projected; A second calculation unit that calculates the position of a corneal reflection image in the eyes of the person using the face image on which the pattern light is projected, which is captured by the imaging unit; A third calculation unit that calculates a three-dimensional position vector of a predetermined part of the face using the face image on which the pattern light is projected, which is captured by the imaging unit; It is characterized by comprising.
  • the line-of-sight detection processing unit calculates the pupil center, the position of the corneal reflection image, and the three-dimensional position of the predetermined part of the face Vector calculations can be performed. Using these calculation results, it is possible to detect the line of sight (starting point and line-of-sight direction).
  • the line-of-sight detection device (3) includes the line-of-sight detection device (1) or (2), A fourth calculation unit for detecting an eye movement by detecting a temporal change of the pupil center in the human eye; A fifth calculation unit for detecting a surface shape of the face from a three-dimensional position vector of the predetermined part of the face and calculating a head movement of the person based on a change with time of the orientation of the face surface shape; And VOR (Vestibulo-Ocular Reflex) is detected using the calculated eye movement and head movement.
  • VOR Vehicle-Ocular Reflex
  • VOR induced by head movement is an involuntary eye movement that reverses the eyeball at approximately the same speed as the head movement and suppresses blurring of the retinal image.
  • the eye gaze detection device (3) since the fourth calculation unit that calculates the eye movement and the fifth calculation unit that calculates the head movement are provided, at the same speed as the head movement. It is also possible to calculate VOR, which is an involuntary eye movement that reverses the eyeball and suppresses blurring of the retinal image.
  • the line-of-sight detection device (4) includes any of the line-of-sight detection devices (1) to (3), A sixth calculation unit configured to calculate a surface shape of the person's face from a three-dimensional position vector of a predetermined part of the person's face, and performing face authentication using the calculated surface shape of the person's face; It is a feature.
  • the sixth calculation means capable of calculating the surface shape of the person's face is provided, it is possible to perform face authentication based on the surface shape of the face. Become.
  • the line-of-sight detection device (5) includes any one of the line-of-sight detection devices (1) to (4).
  • the predetermined pattern in the pattern light is a binary pattern that varies from place to place.
  • the line-of-sight detection device (5) since the pattern light is composed of, for example, a black and white binary pattern that differs from place to place, it is easy to determine a three-dimensional position vector for each place. Can be quickly performed, and line-of-sight detection, VOR detection, or face authentication can be performed in a short time.
  • the line-of-sight detection device (6) is any one of the line-of-sight detection devices (1) to (5)
  • the projection unit projects the pattern light with light in a predetermined wavelength region that is invisible
  • the imaging unit has sensitivity in the predetermined wavelength range, Furthermore, it is provided with illumination for irradiating light in the predetermined wavelength range.
  • near-infrared light can be used as the invisible light in a predetermined wavelength range.
  • Near-infrared light has a short wavelength and has a wavelength of about 0.7 to 2.5 micrometers, and is used for night vision camera lighting devices, infrared communication, vein authentication, and the like. Since the wavelength of the near infrared band is not recognized by the human eye, it does not get in the way of the human eye, and according to the line-of-sight detection device (6), the amount of near infrared light necessary for photographing is ensured. Thus, even when the amount of natural light is insufficient, it is possible to perform line-of-sight detection, VOR detection, or face authentication with high accuracy.
  • control method (1) of the gaze detection apparatus is a control method of the gaze detection apparatus (1), Turning on the projection unit and projecting pattern light onto the face of a person; Photographing the face on which the pattern light is projected by the imaging unit; Outputting the captured image captured in the step to the line-of-sight detection processing unit; Turning off the projection unit; Photographing the face on which the pattern light is not projected by the imaging unit; Outputting the captured image captured in the step to the line-of-sight detection processing unit; It is characterized by containing.
  • the control method (1) of the line-of-sight detection device even if there is only one imaging unit, the detection of the corneal reflection image position and the three-dimensional position vector of the eye from the captured image with the projection unit turned on. On the other hand, the center of the pupil can be detected from the photographed image with the projection unit turned off, and photographing for eye-gaze detection can be performed with easy control.
  • control method (2) of the gaze detection apparatus is a control method of the gaze detection apparatus (6), Turning on the projection unit and turning off the illumination; Photographing the face on which the pattern light is projected by the imaging unit; Outputting the captured image captured in the step to the line-of-sight detection processing unit; Turning off the projection unit and turning on the illumination; Photographing the face on which the pattern light is not projected by the imaging unit; Outputting the captured image captured in the step to the line-of-sight detection processing unit; It is characterized by containing.
  • the control method (2) of the line-of-sight detection device even when there is one imaging unit, the projection unit that emits pattern light is turned on, and the illumination that does not emit pattern light is turned off. It is possible to detect a corneal reflection image position and a three-dimensional eye position vector from an image captured by the imaging unit, while the projection unit is turned off and the illumination is turned on. The center of the pupil can be detected from the photographed image, and photographing for eye-gaze detection can be performed with easy control. Invisible light in a predetermined wavelength range is not recognized by the human eye, so that sufficient light quantity of the illumination necessary for photographing is secured to detect the line of sight, detect VOR, or perform face authentication with high accuracy. Will be able to do.
  • the cornea reflection image position detection method (1) is a cornea reflection image position detection method for line-of-sight detection using any of the line-of-sight detection devices (1) to (6). , Receiving a captured image and a pupil center position; Setting a search region in the vicinity of the pupil center position; Scanning the pixels in the search region pixel by pixel; Determining whether the scanned result is a maximum value of brightness; If it is determined that the dynamic range of the luminance is equal to or greater than the threshold, the step of adopting the value as a maximum value; Outputting the position of the pixel showing the maximum value closest to the pupil center as the position of the corneal reflection image; It is characterized by containing.
  • the corneal reflection image position detection method (1) it is possible to reliably detect the corneal reflection image position used to detect the line of sight even when the light quantity by the projection unit is low.
  • the detection method (2) of the corneal reflection image position uses the difference between the maximum value and the minimum value of the luminance as the dynamic range in the detection method (1) of the corneal reflection image position. It is characterized by.
  • the corneal reflection image position detection method (2) it is possible to reliably narrow down the corneal reflection image position used for detecting the line of sight even when the light quantity by the projection unit is low.
  • the detection method (3) of the corneal reflection image position uses the difference between the maximum value and the median value of the luminance in the detection method (1) of the corneal reflection image position as a dynamic range. It is characterized by.
  • the detection of the corneal reflection image position used for detecting the line of sight is made more resistant to noise even when the light amount by the projection unit is low. be able to.
  • the method (4) for detecting a corneal reflection image position includes any one of the above-described detection methods (1) to (3) for the corneal reflection image position.
  • the method includes a step of outputting the corneal reflection image position of the previous frame.
  • the corneal reflection image position detection method (4) even if it is determined that there is no maximum value that can be adopted in the luminance distribution, the output of the corneal reflection image position used to detect the line of sight is output. It can be done reliably without failure.
  • the method (5) for detecting a corneal reflection image position includes any one of the detection methods (1) to (3) for the corneal reflection image position.
  • the method includes a step of outputting a current corneal reflection image position predicted from a past frame.
  • the past frame may be, for example, several past frames.
  • the detection method (5) of the corneal reflection image position it is determined that there is no maximal value that can be adopted in the luminance distribution, and in order to detect the line of sight even when a person is moving.
  • the output of the used corneal reflection image position can be performed more appropriately.
  • the detection method (6) of the corneal reflection image position includes any of the detection methods (1) to (3) of the corneal reflection image position. If it is determined that there is one maximal value that can be adopted in the luminance distribution, a step of outputting the position as the position of the cornea reflection image is included.
  • the detection process can be simplified and the burden of the software process can be reduced.
  • the computer program (1) executes at least one computer to detect the position of the corneal reflection image for eye gaze detection using any of the eye gaze detection devices (1) to (6).
  • a computer program for causing Said at least one computer Receiving a captured image and a pupil center position; Setting a search region in the vicinity of the pupil center position; Scanning the pixels in the search region pixel by pixel; Determining whether the scanned result is a maximum value of brightness; If it is determined that the dynamic range of the luminance is equal to or greater than the threshold, the step of adopting the value as a maximum value; Outputting the position of the pixel showing the maximum value closest to the pupil center as the position of the corneal reflection image; It is characterized by executing.
  • the at least one computer can reliably detect the position of the corneal reflection image used for detecting the line of sight. .
  • the computer-readable storage medium (1) performs at least one detection processing of the position of the corneal reflection image for eye gaze detection using any of the eye gaze detection devices (1) to (6).
  • a computer-readable storage medium storing a computer program to be executed by two computers, Said at least one computer, Receiving a captured image and a pupil center position; Setting a search region in the vicinity of the pupil center position; Scanning the pixels in the search region pixel by pixel; Determining whether the scanned result is a maximum value of brightness; If it is determined that the dynamic range of the luminance is equal to or greater than the threshold, the step of adopting the value as a maximum value; Outputting the position of the pixel showing the maximum value closest to the pupil center as the position of the corneal reflection image; It is characterized by memorizing a program for executing.
  • the at least one computer by causing the at least one computer to read the program and executing the steps, the at least one computer can execute the steps even when the amount of light by the projection unit is low.
  • the computer can surely detect the position of the corneal reflection image used for detecting the line of sight.
  • FIG. 1 is the schematic schematic perspective views for demonstrating the three-dimensional position vector calculation method of the eye which the gaze detection process part in the gaze detection apparatus which concerns on embodiment performs.
  • FIG. 1 is the schematic schematic perspective views for demonstrating the three-dimensional position vector calculation method of the eye which the gaze detection process part in the gaze detection apparatus which concerns on embodiment performs.
  • FIG. 1 is the schematic schematic perspective views for demonstrating the three-dimensional position vector calculation method of the eye which the gaze detection process part in the gaze detection apparatus which concerns on embodiment performs.
  • FIG. 1 is the schematic schematic perspective views for demonstrating the three-dimensional position vector calculation method of the eye which the gaze detection process part in the gaze detection apparatus which concerns on embodiment performs.
  • FIG. 1 is the schematic schematic perspective views for demonstrating the three-dimensional position vector calculation method of the eye which the gaze detection process part in the gaze detection apparatus which concerns on embodiment performs.
  • FIG. 1 is the schematic schematic perspective views for demonstrating the three-dimensional position vector calculation method of the eye which the gaze detection process part in the gaze detection apparatus which concerns on embodiment perform
  • FIG. 6 is a graph showing a luminance distribution (horizontal direction) around a little shifted in the vertical direction. It is a flowchart which shows the cornea reflection image position detection processing operation which the gaze detection process part in the gaze detection apparatus which concerns on embodiment performs.
  • a gaze detection device for measuring gaze mounted on a driver monitoring system or used at a work site or the like, or VOR (Vestibulo-Ocular Reflex: DESCRIPTION OF THE PREFERRED EMBODIMENTS
  • VOR Vestibulo-Ocular Reflex: DESCRIPTION OF THE PREFERRED EMBODIMENTS
  • the present invention is applied to, for example, a line-of-sight detection device.
  • a conventional gaze detection device a wide-angle camera, an infrared camera, and an illumination light source are essential constituent elements for detecting a gaze direction, and two cameras are provided. For this reason, the production cost of the line-of-sight detection device has increased, and the line-of-sight detection device has also become larger.
  • the gaze detection apparatus according to the present invention performs imaging for gaze detection even with a single imaging unit (corresponding to the camera in the conventional example) by shooting while projecting pattern light onto a human face. This makes it possible to detect the line of sight (starting point and line-of-sight direction) with a simple configuration.
  • the line-of-sight detection device 1 is, for example, incorporated in and installed in a driver monitoring system (not shown) for monitoring the driving behavior of the driver of the vehicle, and is installed on the in-vehicle device side in the driver monitoring system.
  • the driver monitoring system not shown
  • the in-vehicle device is equipped with, for example, an inertial sensor that detects the inertial force of the vehicle, a GPS (Global Positioning System) receiver as a position detection unit, and a speaker as an audio output unit.
  • a communication unit, an external interface (external I / F), etc. are usually equipped.
  • the inertial sensor includes an angular velocity sensor that detects the angular velocity of the vehicle.
  • the angular velocity sensor includes at least an angular velocity corresponding to rotation around the vertical axis (yaw direction), that is, a sensor capable of detecting angular velocity data corresponding to rotation (turning) in the left-right direction of the vehicle, such as a gyro sensor (yaw rate sensor). Also called).
  • the angular velocity sensor includes a single-axis gyro sensor around the vertical axis, a two-axis gyro sensor that also detects an angular velocity around the horizontal axis in the left-right direction (pitch direction), and further, around the horizontal axis in the front-rear direction (roll direction)
  • a three-axis gyro sensor that also detects the angular velocity of) can also be employed.
  • These gyro sensors include a vibration type gyro sensor and other optical and mechanical gyro sensors.
  • the inertial sensor may include an acceleration sensor that detects the acceleration of the vehicle, and the angular velocity sensor and the acceleration sensor may be mounted in one package.
  • the acceleration sensor a three-axis acceleration sensor that detects acceleration in three directions of the XYZ axes is often adopted, but a two-axis or one-axis acceleration sensor may be used.
  • the GPS receiver receives GPS signals from artificial satellites through an antenna at a predetermined cycle, and detects current position information (latitude, longitude, altitude).
  • the position information detected by the GPS receiver is stored in the position information storage unit in association with the position detection time.
  • the device for detecting the position of the vehicle is not limited to a GPS receiver.
  • the Japanese Quasi-Zenith Satellite, Russian GLONASS, European Galileo, Chinese Compass It may be a positioning device compatible with other satellite positioning systems such as Compass).
  • the communication unit includes a communication module for outputting data to the server device via a communication network.
  • the external interface includes, for example, an interface circuit and a connection connector for exchanging data and signals with an in-vehicle device (not shown) such as an outside camera for photographing outside the vehicle.
  • an in-vehicle device such as an outside camera for photographing outside the vehicle.
  • the vehicle on which the in-vehicle device is mounted is not particularly limited, but in this application example, a vehicle managed by an operator operating various businesses can be targeted.
  • a truck managed by a carrier a bus managed by a bus operator, a taxi managed by a taxi operator, a car sharing vehicle managed by a car sharing operator, a rental car managed by a rental car operator, etc. .
  • the in-vehicle device is connected to the server device through a communication network, for example.
  • the communication network includes a wireless communication network such as a mobile phone network (3G / 4G) including a base station and a wireless LAN (Local Area Network), and also includes a wired communication network such as a public telephone network, the Internet, or a dedicated network. May be included.
  • a wireless communication network such as a mobile phone network (3G / 4G) including a base station and a wireless LAN (Local Area Network)
  • a wired communication network such as a public telephone network, the Internet, or a dedicated network. May be included.
  • a terminal device of a business operator that manages a vehicle (hereinafter referred to as a business operator terminal) is connected to a server device through a communication network so as to be communicable.
  • the business operator terminal may be a personal computer having a communication function, or may be a mobile information terminal such as a mobile phone, a smartphone, or a tablet terminal.
  • the server device accumulates information (hereinafter also referred to as direction information) such as the driver's face direction and / or line-of-sight direction acquired by the in-vehicle device, and based on the direction information, the driver's safety Perform processing to evaluate the confirmation operation. For example, the server device performs a process of evaluating the driver's safety confirmation operation at a predetermined time before the intersection approach time and a predetermined time after the intersection approach time, and stores the evaluation results.
  • direction information such as the driver's face direction and / or line-of-sight direction acquired by the in-vehicle device
  • the line-of-sight detection device 1 includes, for example, a camera unit 10, a projector unit 20 that emits pattern light, a camera unit 10, and a camera / projector control unit 30 that controls the projector unit 20.
  • the line-of-sight detection processing unit 40 that executes the line-of-sight detection processing and the storage unit 50 are configured.
  • the camera unit 10 captures an image of the driver's face, and the captured face image is processed by the line-of-sight detection processing unit 40 to detect the line of sight.
  • the line-of-sight detection device 1 although not shown in the drawing, it is possible to calculate the VOR by detecting the driver's eye movements and head movements in addition to the line-of-sight detection. It is also possible to perform face authentication by calculating with accuracy.
  • the camera unit 10 includes, for example, a lens unit, an image sensor unit, an interface unit, and a control unit that controls these units, which are not shown.
  • the image sensor section includes, for example, an image sensor such as a charge coupled device (CCD) and a complementary metal oxide semiconductor (CMOS), a filter, a microlens, and the like.
  • the imaging element unit may include an infrared sensor such as a CCD, a CMOS, or a photodiode that can form a photographed image by receiving ultraviolet or infrared light, in addition to those that can form a photographed image by receiving light in the visible region. .
  • the camera unit 10 is composed of a monocular camera.
  • the camera unit 10 captures an image at a predetermined frame rate (for example, 30 to 60 frames per second), and the image data captured by the camera unit 10 is output to the line-of-sight detection processing unit 40 via the camera / projector control unit 30. Is done.
  • a predetermined frame rate for example, 30 to 60 frames per second
  • the projector unit 20 includes a light emitting element such as an LED (Light Emitting Diode), and may include a near infrared LED so that the state of the driver can be photographed regardless of day or night. Further, the projector unit 20 is configured to include a pattern light irradiation unit (not shown) so that pattern light can be irradiated onto the surface of the driver's face.
  • the pattern light irradiation unit is controlled by a control signal from the camera / projector control unit 30.
  • the pattern light by a pattern light irradiation part is not specifically limited. Any pattern light can be used as long as it is suitable for distance measurement.
  • the pattern light described in Japanese Patent Application No. 2016-202682, which is an excellent pattern light particularly suitable for distance measurement is a black and white binary pattern previously filed by the applicant of the present invention, with the pattern light being different from place to place. Light can be mentioned.
  • the camera / projector control unit 30 includes, for example, a CPU (Central Processing Unit), a memory, and the like.
  • the camera / projector control unit 30 reads a predetermined program stored in the memory and interprets and executes the program, which will be described later. Realize.
  • the camera / projector control unit 30 controls the imaging device unit and the projector unit 20 to emit pattern light (for example, near infrared rays) from the projector unit 20 and captures the reflected light by the imaging device unit. And so on.
  • pattern light for example, near infrared rays
  • the line-of-sight detection processing unit 40 includes, for example, a CPU, a memory, and the like. For example, a predetermined program stored in the memory is read and the CPU interprets and executes the functions described below.
  • the line-of-sight detection processing unit 40 performs line-of-sight detection processing using the image data photographed by the camera unit 10, and outputs the line-of-sight detection result for each frame to the control unit on the in-vehicle device side in the driver monitoring system. The process which outputs to 50 and memorize
  • the line-of-sight detection processing unit 40 reads the corneal reflection image position in the previous frame stored in the storage unit 50, performs a line-of-sight detection process based on the read corneal reflection image position as necessary, and displays the line-of-sight detection result. Processing to output to the control unit on the in-vehicle device side in the driver monitoring system is also performed.
  • the storage unit 50 is composed of one or more storage devices such as, for example, Random Access Memory (RAM), Read Only Memory (ROM), flash memory, solid state drive (SSD), and hard disk drive (HDD).
  • RAM Random Access Memory
  • ROM Read Only Memory
  • flash memory solid state drive
  • HDD hard disk drive
  • the storage unit 50 may be configured to include a removable storage device such as a memory card.
  • the RAM and the ROM may be included in the camera / projector control unit 30.
  • FIG. 2 is a flowchart showing photographing by the camera unit 10 and lighting / extinguishing control of the projector unit 20 in the camera / projector control unit 30 according to the embodiment. This control operation is executed, for example, at a timing when photographing with the camera unit 10 is performed.
  • step S1 the projector unit 20 is turned on and pattern light is irradiated onto the driver's face.
  • step S ⁇ b> 2 the camera unit 10 captures the face of the driver irradiated with the pattern light for detecting the corneal reflection image position and calculating the three-dimensional position vector of the eye.
  • step S3 an image photographed by the camera unit 10 is output to the line-of-sight detection processing unit 40.
  • step S4 the projector unit 20 is turned off.
  • step S5 the camera unit 10 captures the face of the driver who is not irradiated with the pattern light for detecting the pupil center.
  • step S6 an image photographed by the camera unit 10 is output to the line-of-sight detection processing unit 40. Then, the process returns to step S1, and these steps are repeatedly executed at a predetermined timing.
  • a near-infrared camera unit 10A is employed instead of the camera unit 10 in the line-of-sight detection device 1, and a projector that emits pattern light Instead of the unit 20, a near infrared projector unit 20A is employed. Furthermore, a near-infrared illumination 20B that enables detection of the pupil is provided.
  • the other camera / projector control unit 30, the line-of-sight detection processing unit 40 that executes line-of-sight detection processing, and the storage unit 50 are configured in the same manner as the line-of-sight detection device 1 shown in FIG.
  • a driver's image is image
  • VOR can be calculated by detecting the driver's eye movement and head movement, or the face can be calculated by accurately calculating the three-dimensional shape of the face. Authentication is also possible.
  • the near-infrared camera unit 10A also captures an image at a predetermined frame rate (for example, 30 to 60 frames per second), and image data captured by the near-infrared camera unit 10A passes through the camera / projector control unit 30. It is output to the line-of-sight detection processing unit 40.
  • the near-infrared camera unit 10A includes, for example, a lens unit, an image sensor unit, an interface unit, and a control unit that controls these units, not shown.
  • the image sensor section includes, for example, an image sensor such as a CCD (Charge-Coupled Device) and a CMOS (Complementary Metal-Oxide Semiconductor), a filter, a microlens, and the like.
  • the imaging element unit may be a near infrared sensor such as a CCD, CMOS, or photodiode that can receive a near infrared ray to form a photographed image.
  • the near-infrared camera unit 10A may be a monocular camera or a stereo camera.
  • the near-infrared projector unit 20A includes a light emitting element such as an LED (Light Emitting Diode). Further, the near-infrared projector unit 20A includes a pattern light irradiation unit (not shown) so that pattern light can be irradiated onto the surface of the driver's face.
  • the pattern light irradiation unit is controlled by a control signal from the camera / projector control unit 30.
  • the pattern light by the pattern light irradiation unit is not particularly limited. Any pattern light can be used as long as it is suitable for distance measurement. Examples of the excellent pattern light particularly suitable for distance measurement include the pattern light described in Japanese Patent Application No. 2016-202682 filed earlier by the present applicant.
  • the camera / projector control unit 30 includes, for example, a CPU, a memory, an image processing circuit, and the like.
  • the camera / projector control unit 30 reads a predetermined program stored in the memory, and interprets and executes the program, thereby realizing the functions described below. To do.
  • the camera / projector control unit 30 controls the image sensor unit and the near-infrared projector unit 20A to irradiate near-infrared pattern light from the near-infrared projector unit 20A, and captures the reflected light by the image sensor unit. Control to perform.
  • the near-infrared camera unit 10A captures an image at a predetermined frame rate (for example, 30 to 60 frames per second), and the image data captured by the near-infrared camera unit 10A looks through the camera / projector control unit 30. It is output to the detection processing unit 40.
  • a predetermined frame rate for example, 30 to 60 frames per second
  • the line-of-sight detection processing unit 40 performs line-of-sight detection processing described later using image data captured by the near-infrared camera unit 10A, and outputs the line-of-sight detection result for each frame to the control unit on the in-vehicle device side in the driver monitoring system. At the same time, a process of outputting to the storage unit 50 and storing it is performed.
  • the line-of-sight detection processing unit 40 reads the corneal reflection image position in the previous frame stored in the storage unit 50, performs a line-of-sight detection process based on the read corneal reflection image position as necessary, and displays the line-of-sight detection result. Processing to output to the control unit on the in-vehicle device side in the driver monitoring system is also performed.
  • FIG. 4 is a flowchart showing photographing by the near-infrared camera unit 10A and lighting / extinguishing control of the near-infrared projector unit 20A and the near-infrared illumination 20B in the camera / projector control unit 30 according to the modified configuration example.
  • This control operation is executed, for example, at a timing at which photographing with the near-infrared camera unit 10A is performed.
  • step S11 the near-infrared projector unit 20A is turned on, the pattern light is irradiated on the driver's face, and the near-infrared illumination 20B for pupil detection is turned off.
  • step S12 the near-infrared camera unit 10A captures the face of the driver irradiated with the pattern light for detecting the corneal reflection image position and calculating the three-dimensional eye position vector.
  • step S13 an image photographed by the near-infrared camera unit 10A is output to the line-of-sight detection processing unit 40.
  • step S14 the near-infrared projector unit 20A is turned off while pupil center detection is performed.
  • the near-infrared illumination 20B for is turned on.
  • step S15 the near-infrared camera unit 10A captures the face of the driver who is not irradiated with the pattern light for detecting the pupil center.
  • step S16 after the image photographed by the near-infrared camera unit 10A is output to the line-of-sight detection processing unit 40, the process returns to step S11, and these steps are repeatedly executed at a predetermined timing.
  • FIG. 5 shows a functional block diagram of the line-of-sight detection processing unit 40 in FIGS. 1 and 3 according to the embodiment.
  • the line-of-sight detection processing unit 40 includes a camera image receiving unit 41, a pupil center detection unit 42, and a cornea.
  • a reflection image position detection unit 43, a three-dimensional eye position vector calculation unit 44, a line-of-sight calculation unit 45, and a storage unit / I / F 46 are included.
  • the camera image receiving unit 41 Upon receipt of the photographed image, the camera image receiving unit 41 transmits the photographed image when the projector unit 20 is turned off to the pupil center detecting unit 42, while the photographed image when the projector unit is lit is used as the corneal reflection image position detecting unit 43 and the eye
  • the data is transmitted to the three-dimensional position vector calculation unit 44.
  • the pupil center detection unit 42 detects the pupil center based on the received photographed image, and transmits the first coordinate value indicating the position of the detected pupil center to the corneal reflection image position detection unit 43 and the line-of-sight calculation unit 45.
  • the cornea reflection image position detection unit 43 detects the cornea reflection image based on the received photographed image, and transmits a second coordinate value indicating the position of the detected cornea reflection image to the line-of-sight calculation unit 45.
  • the eye three-dimensional position vector calculation unit 44 calculates a three-dimensional eye position vector based on the received captured image, and transmits the calculated three-dimensional eye position vector to the line-of-sight calculation unit 45.
  • the line-of-sight calculation unit 45 calculates a line-of-sight (starting line of sight, line-of-sight direction) based on the transmitted pupil center coordinate value, coordinate value of the cornea reflection image, and three-dimensional position vector of the eye. While outputting to the control part of the vehicle-mounted apparatus side, the coordinate value of the corneal reflection image of the present frame is transmitted to the storage unit 46 and stored therein, and the process of calling the coordinate value of the corneal reflection image of the previous frame from the storage unit 46 is performed.
  • FIG. 6 is a flowchart showing a line-of-sight detection processing operation in the line-of-sight detection processing unit 40 according to Configuration Example 3. This processing operation is executed, for example, when the camera unit 10 performs shooting and receives a captured image.
  • step S ⁇ b> 21 the camera image receiving unit 41 receives an image captured by the camera unit 10.
  • the pupil center detection unit 42 detects the pupil center from the contour of the pupil based on the received captured image.
  • the three-dimensional position vector calculation unit 44 of the eye calculates a three-dimensional position vector to the eye based on the captured image irradiated with the pattern light.
  • the cornea reflection image position detection unit 43 detects the position of the cornea reflection image based on the pupil center detected in step S22 and the captured image irradiated with the pattern light.
  • step S25 based on the pupil center detected in step S22, the position of the corneal reflection image detected in step S24, and the three-dimensional eye position vector calculated in step S23, the line-of-sight calculation unit 45
  • the line of sight (gaze start point, line of sight direction) is calculated to determine the line of sight and output to the control unit on the in-vehicle device side in the driver monitoring system.
  • step S26 the process of writing the position of the detected cornea reflection image in the storage unit 46 is performed, and then the process returns to step S21, and these steps are repeatedly executed at a predetermined timing.
  • FIGS. 7A and 7B are schematic schematic perspective views for explaining a method of calculating a three-dimensional eye position vector performed by the visual line detection processing unit 40 in the visual line detection device according to the embodiment.
  • FIG. 7A shows a state in which pattern light is applied to a person's face.
  • the three-dimensional eye position vector calculator 44 calculates a three-dimensional position vector from the camera based on the received photographed image, and the calculated three-dimensional position vector is shown in FIG. Create a 3D face figure as shown.
  • FIGS. 8A and 8B are diagrams for explaining a conventional method of detecting a corneal reflection image.
  • FIG. 8A shows a corneal reflection image formed in the vicinity of the pupil of the eye by illumination. It shows the state.
  • the luminance of the corneal reflection image is extremely high compared to the surrounding area. Therefore, a technique is used in which image processing near the pupil is performed, a set of high-luminance pixels near the pupil is extracted, and the position of the center of gravity is determined as the corneal reflection image position (FIG. 8B).
  • FIGS. 9A and 9B are schematic schematic diagrams illustrating a pattern light projection state for explaining a corneal reflection image detection process performed by the line-of-sight detection processing unit in the line-of-sight detection apparatus according to the embodiment.
  • FIG. 9A shows the situation when the cornea reflection image is in the white area of the pattern light
  • FIG. 9B shows the situation when the cornea reflection image is in the black area of the pattern light. Yes. It can be seen that the luminance of the corneal reflection image decreases when the black region of the pattern light overlaps the position of the corneal reflection image. Therefore, it can be seen that the conventional method based on the premise that the corneal reflection image has high luminance cannot be applied to the present embodiment.
  • FIG. 10 is a graph showing the luminance distribution (horizontal direction) around the cornea reflection image when the black region of the pattern light overlaps the cornea reflection image position as shown in FIG. 9B.
  • the luminance of the corneal reflection image decreases when the black region of the pattern light overlaps the corneal reflection image position, it can be seen that a sharp peak appears to some extent at the corneal reflection image position and the luminance value is maximum.
  • FIGS. 11A to 11C show the luminance distribution (horizontal direction) around the corneal reflection image slightly shifted in the vertical direction when the black region of the pattern light overlaps the position of the corneal reflection image. It is a graph. Since there may be situations as shown in FIGS. 11A to 11C, the detection of the position of the corneal reflection image is determined based on the flowchart shown in FIG.
  • FIG. 12 is a flowchart showing the detection processing operation of the corneal reflection image position performed by the line-of-sight detection processing unit.
  • step S31 a captured image and a pupil center coordinate value when the projector unit is turned on are received.
  • step S32 a search area is set near the pupil center.
  • step S33 pixels in the search area are scanned pixel by pixel.
  • scanning means that each point is traced in a certain order in order to decompose the image into a number of points and convert the brightness of each point into an electrical signal.
  • step S34 it is determined whether or not the maximum value that can be adopted in the luminance distribution is reached. If it is determined in step S34 that the maximum value that can be adopted in the luminance distribution is reached, the process proceeds to step S35, and in step S35, it is determined whether the luminance dynamic range DR is equal to or greater than a threshold value. If it is determined that the dynamic range DR is greater than or equal to the threshold value, the process proceeds to step S36, and a process of adopting the value as a maximum value is performed. Here, the difference between the maximum value and the minimum value of the luminance is adopted for the dynamic range DR.
  • step S34 determines whether or not scanning of all the pixels has been completed. If it is determined in step S35 that the luminance dynamic range DR is not greater than or equal to the threshold, and after the process of adopting the value as the maximum value is performed in step S36, the process proceeds to step S37.
  • step S37 If it is determined in step S37 that scanning of all pixels has not been completed, the process returns to step S33. If it is determined in step S37 that scanning of all pixels has been completed, the process proceeds to step S38. In step S38, it is determined whether or not there is no maximum value that can be adopted in the luminance distribution. If it is determined in step S38 that there is no maximum value that can be adopted in the luminance distribution, the process proceeds to step S39, and the corneal reflection image position of the previous frame is output.
  • step S40 it is determined whether there is one maximum value that can be adopted in the luminance distribution. If it is determined in step S40 that there is one maximum value that can be adopted in the luminance distribution, the process proceeds to step S41, and in step S41, the position is output as the corneal reflection image position.
  • step S40 determines whether there is not one maximal value that can be adopted in the luminance distribution. If it is determined in step S40 that there is not one maximal value that can be adopted in the luminance distribution, the process proceeds to step S42, where the maximal value that can be adopted is sorted by the distance from the pupil center. .
  • step S43 a process of outputting the local maximum position having the closest distance from the pupil center as the corneal reflection image position is performed.
  • an accurate distance from the camera unit 10 or 10A to the eye can be obtained, and a three-dimensional point cloud of the face surface can be obtained.
  • the direction of the face can be obtained by fitting. Since the gaze calculation using the pupil center and the cornea reflection image calculates the deviation of the gaze from the direction of the face, if the face orientation is accurately obtained by measuring the three-dimensional position vector, the gaze is calculated. This leads to finding the direction accurately.
  • the fitting is performed every frame, it is possible to calculate the change in the face direction with time, and thus it is possible to accurately calculate the head movement.
  • the pupil can be detected from the captured images of the camera units 10 and 10A, and the eye movement can be accurately obtained by detecting the temporal change of the pupil.
  • VOR induced by head movement is an involuntary eye movement that reverses the eyeball at approximately the same speed during head movement and suppresses blurring of the retinal image.
  • the line-of-sight detection device 1 according to the embodiment, as described above, the head movement can be accurately calculated, and the eye movement can also be accurately obtained, and thus it is also used as a VOR measurement device. Will be able to.
  • the line-of-sight detection device 1 can accurately detect the three-dimensional shape of the person's face surface
  • the face recognition can be performed by grasping the shape characteristics of the face. Can also be used.
  • the line-of-sight detection device for line-of-sight measurement that is mounted and used in the driver monitoring system has been described as an example.
  • the line-of-sight detection apparatus is installed at a work site in a factory or the like. It may be a gaze detection device for gaze measurement that is used.
  • the difference between the maximum value and the minimum value of the luminance is adopted for the dynamic range DR in step S35.
  • the difference between the maximum value of the luminance and the median value is used. May be adopted for the dynamic range DR.
  • step S39 if it is determined in step S38 that there is no maximum value that can be adopted in the luminance distribution, the process of outputting the corneal reflection image position of the previous frame is performed in step S39.
  • the current corneal reflection image position predicted from a past frame for example, the past several frames, is determined. You may make it output. With this processing, even when a person is moving, the output of the corneal reflection image position used for detecting the line of sight can be performed more appropriately.
  • Appendix Embodiments of the present invention can also be described as in the following supplementary notes, but are not limited thereto.
  • (Appendix 1) Illuminating the projection unit and projecting pattern light onto a person's face (S1); Photographing the face on which the pattern light is projected by the imaging unit (S2); Outputting the captured image captured in step (S2) to the line-of-sight detection processing unit (S3); Turning off the projection unit (S4); Photographing a face on which the pattern light is not projected by the imaging unit (S5); Outputting the captured image captured in step (S5) to the line-of-sight detection processing unit (S6);
  • the control method of the gaze detection apparatus (1) characterized by including these.
  • a method for detecting a corneal reflection image position for eye gaze detection using the eye gaze detecting device according to any one of the eye gaze detecting devices (1) to (6), Receiving a photographed image and pupil center position (S31); Setting a search region in the vicinity of the pupil center position (S32); Scanning the pixels in the search region pixel by pixel (S33); A step (S34) of determining whether or not the result of scanning is a maximum value of luminance; If it is determined that the dynamic range of the brightness is equal to or greater than the threshold, the step of adopting the value as a maximum value (S36); Outputting the position of the pixel showing the maximum value closest to the pupil center as the position of the corneal reflection image (S43); A method for detecting a position of a corneal reflection image, comprising:
  • the present invention can be applied to various systems for monitoring a person, for example, a driver monitoring system for monitoring a driver of a vehicle, or a system that is installed in a work site or the like to measure an operator's line of sight, etc. It can be widely used in various industrial fields.
  • Eye-gaze detection apparatus 10A Near-infrared camera part 20 Projector part 20A Near-infrared projector part 20B Near-infrared illumination 30 Camera / projector control part 40 Eye-gaze detection process part 41 Camera image receiving part 42 Pupil center detection part 43 Cornea Reflected image position detection unit 44 Eye three-dimensional position vector calculation unit 45 Eye gaze calculation unit 46 Storage unit

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Public Health (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Biomedical Technology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Surgery (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Medical Informatics (AREA)
  • Ophthalmology & Optometry (AREA)
  • Human Computer Interaction (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Multimedia (AREA)
  • Pathology (AREA)
  • Psychology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Psychiatry (AREA)
  • Hospice & Palliative Care (AREA)
  • Educational Technology (AREA)
  • Developmental Disabilities (AREA)
  • Child & Adolescent Psychology (AREA)
  • Social Psychology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Physiology (AREA)
  • Dentistry (AREA)
  • Optics & Photonics (AREA)
  • Eye Examination Apparatus (AREA)
  • Image Analysis (AREA)
  • Studio Devices (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本発明は、簡易な構成での視線（起点及び視線方向）の検出を可能とする視線検出装置を提供することを目的としており、人物の視線を検出する視線検出装置において、人物の顔を撮影する撮像部１０と、所定のパターン光を前記人物の顔に投影する投影部２０と、撮像部１０及び投影部２０による前記パターン光の投影の有無を制御する制御部３０と、前記撮像部により撮影された人物の顔の画像から視線を検出する視線検出処理部４０と、を装備する。

Description

視線検出装置、該視線検出装置の制御方法、角膜反射像位置の検出方法、コンピュータプログラム、及び記憶媒体
　本発明は、例えば、ドライバモニタリングシステムに搭載され、あるいは作業現場等に設置されて利用される視線検出のための視線検出装置、またＶＯＲ（Vestibulo-Ocular Reflex：前庭動眼反射）測定、あるいは顔認証も可能な視線検出装置、該視線検出装置の制御方法、角膜反射像位置の検出方法、コンピュータプログラム、及び記憶媒体に関する。
　特許文献１には、プルキニエ像（本願における角膜反射像）を検出することにより視線方向を検出する視線検出装置が開示されており、
　この視線検出装置は、表示部と、広角カメラと、照明光源と、赤外カメラと、入力部と、記憶媒体アクセス装置と、記憶部と、制御部とを備え、
　ユーザの顔を撮影した画像を生成する撮像部から、ユーザの顔までの距離を推定し、  前記撮像部とユーザの眼を照明する光源間の間隔に対する、前記撮像部からユーザの顔までの距離の比に応じて、ユーザの眼の瞳孔全体が前記光源からの光により明るくなる明瞳孔状態となるか否かを判定し、明瞳孔状態とならないと判定した場合に、前記画像から前記光源の角膜反射像とユーザの瞳孔重心とを検出し、該瞳孔重心と前記角膜反射像との位置関係に応じてユーザの視線方向または注視位置を検出しようとしている。
　［発明が解決しようとする課題］
　特許文献１記載の視線検出装置では、視線方向を検出するのに、広角カメラと、赤外カメラと、照明光源とを必須の構成要件としており、二台のカメラが装備されている。このため、視線検出装置の製作費が高くなり、また、視線検出装置も大形化してしまうといった課題があった。
特開２０１４－６７１０２号公報
課題を解決するための手段及びその効果
　本発明は上記課題に鑑みなされたものであって、簡易な構成での視線（起点及び視線方向）の検出を可能とする視線検出装置、該視線検出装置の制御方法、角膜反射像位置の検出方法、コンピュータプログラム、及び記憶媒体を提供することを目的としている。
　上記目的を達成するために本開示に係る視線検出装置（１）は、
　人物の視線を検出する視線検出装置であって、
　人物の顔を撮影する撮像部と、
　所定のパターン光を前記人物の顔に投影する投影部と、
　前記撮像部及び前記投影部による前記パターン光の投影の有無を制御する制御部と、
　前記撮像部により撮影された人物の顔の画像から視線を検出する視線検出処理部と、
　を含んで構成されていることを特徴としている。
　上記視線検出装置（１）によれば、前記パターン光を前記人物の顔に投影しながら撮影することにより、例えば、一つの撮像部（上記従来例におけるカメラに相当）であっても、視線検出のための撮影を実施することが可能となる。視線検出装置を構成するのに、一つの前記撮像部で済ますことができれば、装置の製作費の削減及び装置の小形化を図ることも可能となる。
　また、本開示に係る視線検出装置（２）は、上記視線検出装置（１）において、
　前記視線検出処理部が、
　前記撮像部により撮影された、前記パターン光が投影されていない前記顔の画像を用いて前記人物の目における瞳孔中心を算出する第１の算出部と、
　前記撮像部により撮影された、前記パターン光が投影された前記顔の画像を用いて前記人物の目における角膜反射像の位置を算出する第２の算出部と、
　前記撮像部により撮影された、前記パターン光が投影された前記顔の画像を用いて前記顔の所定部位の３次元位置ベクトルを算出する第３の算出部と、
　を含んで構成されていることを特徴としている。
　上記視線検出装置（２）によれば、撮像部が一つであっても、前記視線検出処理部により、瞳孔中心の算出、角膜反射像の位置の算出、前記顔の所定部位の３次元位置ベクトルの算出を実施することができる。これらの算出結果を用いれば視線（起点及び視線方向）の検出が可能となる。
　また、本開示に係る視線検出装置（３）は、上記視線検出装置（１）又は（２）において、
　前記人物の目における瞳孔中心の経時的変化を検出して眼球運動を算出する第４の算出部と、
　前記顔の所定部位の３次元位置ベクトルから顔の表面形状を検出し、この顔表面形状の向きの経時的変化に基づいて、前記人物の頭部運動を算出する第５の算出部と、
　を備え、算出された前記眼球運動及び前記頭部運動を用いてＶＯＲ（Vestibulo-Ocular Reflex）を検出することを特徴としている。
　頭部運動により誘発されるＶＯＲは、頭部運動時にそれとほぼ同じ速さで眼球を反転させ、網膜像のブレを抑制する不随意的眼球運動である。
　上記視線検出装置（３）によれば、眼球運動を算出する第４の算出部及び頭部運動を算出する第５の算出部を備えていることから、頭部運動時にそれとほぼ同じ速さで眼球を反転させ、網膜像のブレを抑制する不随意的眼球運動であるＶＯＲの算出も可能となる。
　また、本開示に係る視線検出装置（４）は、上記視線検出装置（１）～（３）のいずれかにおいて、
　前記人物の顔の所定部位の３次元位置ベクトルから前記人物の顔の表面形状を算出する第６の算出部を備え、算出された前記人物の顔の表面形状を用いて顔認証を行うことを特徴としている。
　上記視線検出装置（４）によれば、前記人物の顔の表面形状を算出することができる第６の算出手段を備えていることから、顔の表面形状に基づく顔認証をすることも可能となる。
　また、本開示に係る視線検出装置（５）は、上記視線検出装置（１）～（４）のいずれかにおいて、
　前記パターン光における所定のパターンが、場所ごとに異なる、２値模様となっていることを特徴としている。
　上記視線検出装置（５）によれば、前記パターン光が、場所ごとに異なる、例えば、白黒の２値模様から構成されていることから、場所ごとの３次元位置ベクトルの確定が容易となり、検出を素早く行えるようになり、視線の検出、ＶＯＲの検出、あるいは顔認証を短時間で行えるようになる。
　また、本開示に係る視線検出装置（６）は、上記視線検出装置（１）～（５）のいずれかにおいて、
　前記投影部は、非可視の所定の波長域の光により前記パターン光を投影するものであり、
　前記撮像部は、前記所定の波長域に感度を有するものであり、
　さらに前記所定の波長域の光を照射する照明を備えていることを特徴としている。
　非可視の所定の波長域の光としては、例えば、近赤外光を挙げることができる。近赤外光は、赤外線のうち、波長が短く、0.7～2.5マイクロメートル程度の光線をいい、暗視カメラの照明装置、赤外線通信、静脈認証などに用いられる。
　近赤外帯域の波長は、人の目では認識されないため、人に取って邪魔となることはなく、上記視線検出装置（６）によれば、撮影に必要な近赤外光の光量を確保して自然光の光量が不足していても高い精度で視線の検出、ＶＯＲの検出、あるいは顔認証を行うことが可能となる。
　また、本開示に係る視線検出装置の制御方法（１）は、前記視線検出装置（１）の制御方法であって、
　前記投影部を点灯し、人物の顔にパターン光を投影するステップと、
　前記撮像部で前記パターン光が投影された顔を撮影するステップと、
　該ステップで撮影された撮影画像を前記視線検出処理部に出力するステップと、
　前記投影部を消灯するステップと、
　前記撮像部で前記パターン光が投影されていない顔を撮影するステップと、
　該ステップで撮影された撮影画像を前記視線検出処理部に出力するステップと、
　を含んでいることを特徴としている。
　上記視線検出装置の制御方法（１）によれば、撮像部が一つであっても、前記投影部を点灯した状態での撮影画像から角膜反射像位置の検出及び眼の３次元位置ベクトルの検出が可能となり、他方、前記投影部を消灯した状態での撮影画像から瞳孔中心の検出が可能となり、容易な制御で、視線検出のための撮影を実施することができることとなる。
　また、本開示に係る視線検出装置の制御方法（２）は、前記視線検出装置（６）の制御方法であって、
　前記投影部を点灯し、前記照明を消灯するステップと、
　前記撮像部で前記パターン光が投影された顔を撮影するステップと、
　前記ステップで撮影された撮影画像を前記視線検出処理部に出力するステップと、
　前記投影部を消灯し、前記照明を点灯するステップと、
　前記撮像部で前記パターン光が投影されていない顔を撮影するステップと、
　該ステップで撮影された撮影画像を前記視線検出処理部に出力するステップと、
　を含んでいることを特徴としている。
　上記視線検出装置の制御方法（２）によれば、撮像部が一つであっても、パターン光を照射する前記投影部を点灯し、パターン光を照射しない前記照明を消灯した状態での、前記撮像部での撮影画像から角膜反射像位置の検出及び眼の３次元位置ベクトルの検出が可能となり、他方、前記投影部を消灯し、前記照明を点灯した状態での、前記撮像部での撮影画像から瞳孔中心の検出が可能となり、容易な制御で、視線検出のための撮影を実施することが可能となる。
　また、非可視の所定の波長域の光は、人の目では認識されないため、撮影に必要な前記照明の光量を十分に確保して高精度に視線の検出、ＶＯＲの検出、あるいは顔認証を行うことができることとなる。
　また、本開示に係る角膜反射像位置の検出方法（１）は、上記視線検出装置（１）～（６）のいずれかを用いた視線検出のための角膜反射像位置の検出方法であって、
　撮影画像と瞳孔中心位置を受取るステップと、
　前記瞳孔中心位置近傍に探索領域を設定するステップと、
　前記探索領域における画素を１画素ずつ走査するステップと、
　走査した結果が、輝度の極大値になっているか否かを判断するステップと、
　輝度のダイナミックレンジが閾値以上であると判断すれば、その値を極大値として採用するステップと、
　瞳孔中心からの距離が最も近い極大値を示す画素の位置を角膜反射像の位置として出力するステップと、
　を含んでいることを特徴としている。
　上記角膜反射像位置の検出方法（１）によれば、前記投影部による光量が低くても、視線を検出するために用いられる角膜反射像位置の検出を確実に行うことができる。
　また、本開示に係る角膜反射像位置の検出方法（２）は、上記角膜反射像位置の検出方法（１）において、輝度の最大値と最小値との差をダイナミックレンジとするものであることを特徴としている。
　上記角膜反射像位置の検出方法（２）によれば、前記投影部による光量が低くても、視線を検出するために用いられる角膜反射像位置を確実に絞り込むことができる。
　また、本開示に係る角膜反射像位置の検出方法（３）は、上記角膜反射像位置の検出方法（１）において、輝度の最大値と中央値との差をダイナミックレンジとするものであることを特徴としている。
　上記角膜反射像位置の検出方法（３）によれば、前記投影部による光量が低くても、視線を検出するために用いられる角膜反射像位置の検出を、よりノイズに対して強いものとすることができる。
　また、本開示に係る角膜反射像位置の検出方法（４）は、上記角膜反射像位置の検出方法（１）～（３）のいずれかにおいて、
　輝度分布における採用し得る極大値がないと判断した場合には、前フレームの角膜反射像位置を出力するステップを含んでいることを特徴としている。
　上記角膜反射像位置の検出方法（４）によれば、輝度分布における採用し得る極大値がないと判断される場合であっても、視線を検出するために用いられる角膜反射像位置の出力を失敗なく確実に行うことができる。
　また、本開示に係る角膜反射像位置の検出方法（５）は、上記角膜反射像位置の検出方法（１）～（３）のいずれかにおいて、
　輝度分布における採用し得る極大値がないと判断した場合には、過去のフレームから予測される現在の角膜反射像位置を出力するステップを含んでいることを特徴としている。
　前記過去のフレームは、例えば過去の数フレームであってもよい。
　上記角膜反射像位置の検出方法（５）によれば、輝度分布における採用し得る極大値がないと判断され、また、人物が動いているような場合であっても、視線を検出するために用いられる角膜反射像位置の出力をより妥当に行うことができる。
　また、本開示に係る角膜反射像位置の検出方法（６）は、上記角膜反射像位置の検出方法（１）～（３）のいずれかにおいて、
　輝度分布における採用し得る極大値が一つと判断すれば、その位置を角膜反射像の位置として出力するステップを含んでいることを特徴としている。
　上記角膜反射像位置の検出方法（６）によれば、検出処理を簡略化して、ソフト的処理の負担を軽減することができる。
　また、本開示に係るコンピュータプログラム（１）は、上記視線検出装置（１）～（６）のいずれかを用いた視線検出のための角膜反射像の位置の検出処理を少なくとも１つのコンピュータに実行させるためのコンピュータプログラムであって、
　前記少なくとも１つのコンピュータに、
　撮影画像と瞳孔中心位置を受取るステップと、
　前記瞳孔中心位置近傍に探索領域を設定するステップと、
　前記探索領域における画素を１画素ずつ走査するステップと、
　走査した結果が、輝度の極大値になっているか否かを判断するステップと、
　輝度のダイナミックレンジが閾値以上であると判断すれば、その値を極大値として採用するステップと、
　瞳孔中心からの距離が最も近い極大値を示す画素の位置を角膜反射像の位置として出力するステップと、
　を実行させることを特徴としている。
　上記コンピュータプログラム（１）によれば、前記投影部による光量が低くても、前記少なくとも１つのコンピュータに、視線を検出するために用いられる角膜反射像の位置の検出を確実に行なわせることができる。
　また、本開示に係るコンピュータ読み取り可能な記憶媒体（１）は、上記視線検出装置（１）～（６）のいずれかを用いた視線検出のための角膜反射像の位置の検出処理を少なくとも１つのコンピュータに実行させるためのコンピュータプログラムが記憶されたコンピュータ読み取り可能な記憶媒体であって、
　前記少なくとも１つのコンピュータに、
　撮影画像と瞳孔中心位置を受取るステップと、
　前記瞳孔中心位置近傍に探索領域を設定するステップと、
　前記探索領域における画素を１画素ずつ走査するステップと、
　走査した結果が、輝度の極大値になっているか否かを判断するステップと、
　輝度のダイナミックレンジが閾値以上であると判断すれば、その値を極大値として採用するステップと、
　瞳孔中心からの距離が最も近い極大値を示す画素の位置を角膜反射像の位置として出力するステップと、
　を実行させるためのプログラムを記憶したことを特徴としている。
　上記コンピュータ読み取り可能な記憶媒体（１）によれば、前記少なくとも１つのコンピュータに、前記プログラムを読み取らせて上記各ステップを実行させることにより、前記投影部による光量が低くても、前記少なくとも１つのコンピュータに、視線を検出するために用いられる角膜反射像の位置の検出を確実に行なわせることができる。
実施の形態に係る視線検出装置の一例を示す機能構成ブロック図である。 実施の形態に係る視線検出装置の一例におけるカメラ・プロジェクタ制御部が行う処理動作を示すフローチャートである。 実施の形態に係る視線検出装置の変形構成例の一例を示す機能構成ブロック図である。 実施の形態に係る視線検出装置の変形構成例におけるカメラ・プロジェクタ制御部が行う処理動作を示すフローチャートである。 実施の形態に係る視線検出装置における視線検出処理部の機能構成の一例を示すブロック図である。 実施の形態に係る視線検出装置における視線検出処理部が行う処理動作の概略を示すフローチャートである。 （ａ）（ｂ）は、実施の形態に係る視線検出装置における視線検出処理部が行う眼の３次元位置ベクトル算出方法を説明するための模式的概略斜視図である。 （ａ）（ｂ）は、角膜反射像検出の従来の方法を説明するための模式的概略図である。 （ａ）（ｂ）は、実施の形態に係る視線検出装置における視線検出処理部が行う角膜反射像検出処理を説明するためのパターン光投影状況を示す模式的概略図である。 実施の形態に係る視線検出装置における視線検出処理部が行う処理において、パターン光の黒領域が角膜反射像位置に重なった場合の、角膜反射像周辺の輝度分布（水平方向）を示したグラフである。 （ａ）（ｂ）（ｃ）は、実施の形態に係る視線検出装置における視線検出処理部が行う処理において、パターン光の黒領域が角膜反射像位置に重なった場合の、角膜反射像を含み、上下方向に少しずれた周辺の輝度分布（水平方向）を示したグラフである。 実施の形態に係る視線検出装置における視線検出処理部が行う角膜反射像位置検出処理動作を示すフローチャートである。
　以下、本発明に係る、例えば、ドライバモニタリングシステムに搭載され、あるいは作業現場等に設置されて利用される視線（起点及び視線方向）測定のための視線検出装置、またＶＯＲ（Vestibulo-Ocular Reflex：前庭動眼反射）測定、あるいは顔認証も可能な視線検出装置、該視線検出装置の制御方法、角膜反射像位置の検出方法、コンピュータプログラム、及び記憶媒体の実施の形態を図面に基づいて説明する。
［適用例］
　本発明は、例えば、視線検出装置に適用される。従来の視線検出装置では、視線方向を検出するのに、広角カメラと、赤外カメラと、照明光源とを必須の構成要件としており、二台のカメラが装備されている。このため、視線検出装置の製作費が高くなり、また、視線検出装置も大形化してしまっていた。
　本発明に係る視線検出装置では、パターン光を人物の顔に投影しながら撮影することにより、一つの撮像部（上記従来例におけるカメラに相当）であっても、視線検出のための撮影を実施することが可能となり、簡易な構成での視線（起点及び視線方向）の検出が可能となる。
　図１は、実施の形態に係る視線検出装置の一例を示す機能構成ブロック図である。
　視線検出装置１は、例えば、車両の運転者の運転動作をモニタリングするためのドライバモニタリングシステム（図示せず）に組み込まれ、装備されるものであり、該ドライバモニタリングシステムにおける車載装置側に搭載される。
　車載装置には、例えば、車両の慣性力を検出する慣性センサ、位置検出部としてのＧＰＳ（Global Positioning System）受信機、音声出力部としてのスピーカなどが装備される。その他、通信部、外部インターフェース（外部Ｉ／Ｆ）なども通常装備される。
　慣性センサには、車両の角速度を検出する角速度センサが含まれている。角速度センサには、少なくとも鉛直軸回り（ヨー方向）の回転に応じた角速度、すなわち、車両の左右方向への回転（旋回）に応じた角速度データを検出可能なセンサ、例えば、ジャイロセンサ（ヨーレートセンサともいう）が採用されている。
　また、角速度センサには、鉛直軸回りの１軸ジャイロセンサの他、左右方向の水平軸回り（ピッチ方向）の角速度も検出する２軸ジャイロセンサ、さらには、前後方向の水平軸回り（ロール方向）の角速度も検出する３軸ジャイロセンサも採用され得る。これらジャイロセンサには、振動式ジャイロセンサ、その他、光学式、機械式のジャイロセンサ等がある。
　また、慣性センサは、車両の加速度を検出する加速度センサを含んで構成され、角速度センサと加速度センサとが一つのパッケージに搭載されてもよい。加速度センサには、ＸＹＺ軸の３方向の加速度を検出する３軸加速度センサがよく採用されるが、２軸、１軸の加速度センサであってもよい。
　ＧＰＳ受信機は、アンテナを介して人工衛星からのＧＰＳ信号を所定周期で受信し、現在の位置情報（緯度、経度、高度）を検出する。ＧＰＳ受信機で検出された位置情報は、位置検出時刻と対応付けて位置情報記憶部に記憶される。なお、車両の自車位置を検出する装置は、ＧＰＳ受信機に限定されるものではなく、例えば、日本の準天頂衛星、ロシアのグロナス（GLONASS）、欧州のガリレオ（Galileo）、中国のコンパス（Compass）等の他の衛星測位システムに対応した測位装置であってもよい。
　通信部は、通信ネットワークを介してサーバ装置にデータ出力などを行うための通信モジュールを含んで構成される。
　外部インターフェースは、例えば、車外を撮影する車外カメラなどの車載機器（図示せず）との間でデータや信号の授受を行うためのインターフェース回路や接続コネクタなどを含んで構成される。
　車載装置が搭載される車両は、特に限定されないが、本適用例では、各種の事業を営む事業者が管理する車両が対象とされ得る。例えば、運送事業者が管理するトラック、バス事業者が管理するバス、タクシー事業者が管理するタクシー、カーシェアリング事業者が管理するカーシェア車両、レンタカー事業者が管理するレンタカーなどが対象とされ得る。
　車載装置は、例えば、通信ネットワークを介してサーバ装置と通信可能に接続される。通信ネットワークには、基地局を含む携帯電話網（３Ｇ／４Ｇ）や無線ＬＡＮ（Local Area Network）などの無線通信網が含まれ、公衆電話網などの有線通信網、インターネット、又は専用網なども含まれ得る。
　また、車両を管理する事業者の端末装置（以下、事業者端末という。）は、通信ネットワークを介してサーバ装置と通信可能に接続される。事業者端末は、通信機能を備えたパーソナルコンピュータであってもよいし、携帯電話、スマートフォン、又はタブレット端末などの携帯情報端末などであってもよい。
　サーバ装置は、車載装置で取得された車両の運転者の顔の向き及び／又は視線の向きなどの情報（以下、向き情報ともいう）を蓄積し、該向き情報に基づいて、運転者の安全確認動作を評価する処理などを行う。サーバ装置は、例えば、交差点進入時刻より前の所定時間と、交差点進入時刻より後の所定時間とにおける運転者の安全確認動作をそれぞれ評価する処理などを行い、これら評価結果を記憶する。
　そして、事業者端末から要求があった場合に、車両の運転者の安全確認動作の評価結果などの情報を、通信ネットワークを介して事業者端末に提供する処理を行う。
　［構成例］
　実施の形態に係る視線検出装置１は、図１に示したように、例えば、カメラ部１０、パターン光を照射するプロジェクタ部２０、カメラ部１０及びプロジェクタ部２０を制御するカメラ・プロジェクタ制御部３０、視線の検出処理を実行する視線検出処理部４０、及び記憶部５０を含んで構成されている。
　カメラ部１０で運転者の顔の画像が撮影され、撮影された顔画像が視線検出処理部４０で処理され、視線が検出される。本実施の形態に係る視線検出装置１では、図示していないが、視線検出の他、運転者の眼球運動及び頭部運動を検出してＶＯＲを算出することも、顔の３次元形状を高い精度で算出して顔認証を行うことも可能となっている。
　カメラ部１０は、例えば、図示しない、レンズ部、撮像素子部、インターフェース部、これら各部を制御する制御部などを含んで構成されている。前記撮像素子部は、例えば、ＣＣＤ(Charge Coupled Device)、ＣＭＯＳ(Complementary Metal Oxide Semiconductor)などの撮像素子、フィルタ、マイクロレンズなどを含んで構成されている。前記撮像素子部は、可視領域の光を受けて撮影画像を形成できるものを含む他、紫外線又は赤外線を受けて撮影画像を形成できるＣＣＤ、ＣＭＯＳ、或いはフォトダイオード等の赤外線センサであってもよい。カメラ部１０は、単眼カメラで構成されている。
　カメラ部１０は所定のフレームレート（例えば、毎秒３０～６０フレーム）で画像を撮影し、カメラ部１０で撮影された画像のデータがカメラ・プロジェクタ制御部３０を介して視線検出処理部４０へ出力される。
　プロジェクタ部２０は、ＬＥＤ(Light Emitting Diode)などの発光素子を含み、また、昼夜を問わず運転者の状態を撮影できるように近赤外ＬＥＤなどを含んで構成されていてもよい。
　また、プロジェクタ部２０では、運転者の顔の表面にパターン光を照射できるようにパターン光照射部（図示せず）を含んで構成されている。このパターン光照射部は、カメラ・プロジェクタ制御部３０からの制御信号により制御されている。
　ここで、パターン光照射部によるパターン光は特に限定されない。測距用に適したものであればどのようなパターン光であっても差し支えない。特に測距に適した優れたパターン光としては、本件出願人が先に出願した、パターン光が場所ごとに異なる、白黒の２値模様となっている、特願2016-202682号に記載のパターン光を挙げることができる。
　カメラ・プロジェクタ制御部３０は、例えば、ＣＰＵ(Central Processing Unit)、メモリなどを含んで構成され、例えばメモリに記憶されている所定のプログラムを読み出して、ＣＰＵが解釈実行することにより後述の働きを実現する。カメラ・プロジェクタ制御部３０は、前記撮像素子部やプロジェクタ部２０を制御して、プロジェクタ部２０からパターン光（例えば、近赤外線など）を照射させ、前記撮像素子部でその反射光を撮影する制御などを行う。
　視線検出処理部４０は、例えば、ＣＰＵ、メモリなどを含んで構成され、例えばメモリに記憶されている所定のプログラムを読み出して、ＣＰＵが解釈実行することにより後述の働きを実現する。視線検出処理部４０は、カメラ部１０で撮影された画像データを用いて視線検出処理を行い、フレームごとの視線検出結果を前記ドライバモニタリングシステムにおける車載装置側の制御部に出力すると共に、記憶部５０に出力して記憶させる処理を行う。また、視線検出処理部４０は、記憶部５０に記憶された前フレームにおける角膜反射像位置等を読み出し、必要に応じて読み出した角膜反射像位置に基づく視線検出処理を行い、該視線検出結果を前記ドライバモニタリングシステムにおける車載装置側の制御部に出力する処理も行う。
　記憶部５０は、例えば、Random Access Memory（ＲＡＭ）、Read Only Memory（ＲＯＭ）、フラッシュメモリ、ソリッドステートドライブ（ＳＳＤ）、ハードディスクドライブ（ＨＤＤ）など、１つ以上の記憶装置で構成されている。また、記憶部５０は、メモリーカードなどの着脱可能な記憶装置を含んで構成されていてもよい。なお、ＲＡＭ及びＲＯＭをカメラ・プロジェクタ制御部３０に含ませる構成としてもよい。
　図２は、実施の形態に係るカメラ・プロジェクタ制御部３０における、カメラ部１０による撮影、及びプロジェクタ部２０の点灯、消灯制御を示すフローチャートである。
　本制御動作は、例えば、カメラ部１０での撮影が実施されるタイミングで実行される。
　まず、ステップＳ１では、プロジェクタ部２０が点灯され、パターン光が運転者の顔に照射される。次に、ステップＳ２では、角膜反射像位置検出及び眼の３次元位置ベクトル算出のための、パターン光が照射された運転者の顔の撮影がカメラ部１０により行われる。
　その後、ステップＳ３では、カメラ部１０で撮影された画像が視線検出処理部４０に出力され、次に、ステップＳ４では、プロジェクタ部２０が消灯される。
　その後、ステップＳ５では、瞳孔中心検出のための、パターン光が照射されていない運転者の顔の撮影がカメラ部１０により行われる。
　その後、ステップＳ６において、カメラ部１０で撮影された画像が視線検出処理部４０に出力された後、ステップＳ１に戻り、これらのステップが所定のタイミングで繰り返し実行される。
　［変形構成例］
　変形構成例に係る視線検出装置１Ａでは、図３に示したように、例えば、視線検出装置１におけるカメラ部１０に代えて近赤外カメラ部１０Ａが採用されており、パターン光を照射するプロジェクタ部２０に代えて近赤外プロジェクタ部２０Ａが採用されている。さらに瞳孔の検出を可能にする近赤外照明２０Ｂを備えている。その他のカメラ・プロジェクタ制御部３０、視線の検出処理を実行する視線検出処理部４０、及び記憶部５０は図１に示した視線検出装置１と同様に構成されている。
　近赤外カメラ部１０Ａで運転者の画像が撮影され、撮影された画像が視線検出処理部４０で処理され、視線が検出される。変形構成例に係る視線検出装置１Ａにおいても、視線検出の他、運転者の眼球運動及び頭部運動を検出してＶＯＲを算出することも、顔の３次元形状を高精度に算出して顔認証を行うことも可能となっている。
　近赤外カメラ部１０Ａにおいても所定のフレームレート（例えば、毎秒３０～６０フレーム）で画像を撮影し、近赤外カメラ部１０Ａで撮影された画像のデータがカメラ・プロジェクタ制御部３０を介して視線検出処理部４０へ出力されるようになっている。
　近赤外カメラ部１０Ａは、例えば、図示しない、レンズ部、撮像素子部、インターフェース部、これら各部を制御する制御部などを含んで構成されている。前記撮像素子部は、例えば、ＣＣＤ(Charge Coupled Device)、ＣＭＯＳ(Complementary Metal Oxide Semiconductor)などの撮像素子、フィルタ、マイクロレンズなどを含んで構成されている。前記撮像素子部は、近赤外線を受けて撮影画像を形成できるＣＣＤ、ＣＭＯＳ、或いはフォトダイオード等の近赤外線センサであってもよい。近赤外カメラ部１０Ａは、単眼カメラでもよいし、ステレオカメラであってもよい。
　近赤外プロジェクタ部２０Ａは、ＬＥＤ(Light Emitting Diode)などの発光素子を含んで構成されている。
　また、近赤外プロジェクタ部２０Ａでは、運転者の顔の表面にパターン光を照射できるようにパターン光照射部（図示せず）を含んで構成されている。このパターン光照射部は、カメラ・プロジェクタ制御部３０からの制御信号により制御されている。
　ここでも、パターン光照射部によるパターン光は特に限定されない。測距用に適したものであればどのようなパターン光であっても差し支えない。特に測距に適した優れたパターン光としては、本件出願人が先に出願した、特願2016-202682号に記載のパターン光を挙げることができる。
　カメラ・プロジェクタ制御部３０は、例えば、ＣＰＵ、メモリ、画像処理回路などを含んで構成され、例えばメモリに記憶されている所定のプログラムを読み出して、ＣＰＵが解釈実行することにより後述の働きを実現する。カメラ・プロジェクタ制御部３０は、前記撮像素子部や近赤外プロジェクタ部２０Ａを制御して、近赤外プロジェクタ部２０Ａから近赤外線のパターン光を照射させ、前記撮像素子部でその反射光を撮影する制御などを行う。近赤外カメラ部１０Ａは所定のフレームレート（例えば、毎秒３０～６０フレーム）で画像を撮影し、近赤外カメラ部１０Ａで撮影された画像のデータがカメラ・プロジェクタ制御部３０を介して視線検出処理部４０へ出力されるようになっている。
　視線検出処理部４０は、近赤外カメラ部１０Ａで撮影された画像データを用いて後述の視線検出処理を行い、フレームごとの視線検出結果を前記ドライバモニタリングシステムにおける車載装置側の制御部に出力すると共に、記憶部５０に出力して記憶させる処理を行う。また、視線検出処理部４０は、記憶部５０に記憶された前フレームにおける角膜反射像位置等を読み出し、必要に応じて読み出した角膜反射像位置に基づく視線検出処理を行い、該視線検出結果を前記ドライバモニタリングシステムにおける車載装置側の制御部に出力する処理も行う。
　図４は、変形構成例に係るカメラ・プロジェクタ制御部３０における、近赤外カメラ部１０Ａによる撮影、近赤外プロジェクタ部２０Ａ、及び近赤外照明２０Ｂの点灯、消灯制御を示すフローチャートである。
　本制御動作は、例えば、近赤外カメラ部１０Ａでの撮影が実施されるタイミングで実行される。
　ステップＳ１１では、近赤外プロジェクタ部２０Ａが点灯され、パターン光が運転者の顔に照射される一方、瞳孔検出用の近赤外照明２０Ｂが消灯される。次に、ステップＳ１２では、角膜反射像位置検出及び眼３次元位置ベクトル算出のための、パターン光が照射された運転者の顔の撮影が近赤外カメラ部１０Ａにより実施される。
　次に、ステップＳ１３において、近赤外カメラ部１０Ａで撮影された画像が視線検出処理部４０に出力され、次にステップＳ１４においては、近赤外プロジェクタ部２０Ａが消灯される一方、瞳孔中心検出のための近赤外照明２０Ｂが点灯される。
　次に、ステップＳ１５では、瞳孔中心検出のための、パターン光が照射されていない運転者の顔の撮影が近赤外カメラ部１０Ａにより実施される。
　次に、ステップＳ１６においては、近赤外カメラ部１０Ａで撮影された画像が視線検出処理部４０に出力された後、ステップＳ１１に戻り、これらのステップが所定のタイミングで繰り返し実行される。
　［視線検出処理部の構成例］
　図５は、実施の形態に係る図１及び図３における視線検出処理部４０の機能構成ブロック図を示しており、視線検出処理部４０は、カメラ画像受取部４１、瞳孔中心検出部４２、角膜反射像位置検出部４３、眼の３次元位置ベクトル算出部４４、視線算出部４５、及び記憶部・Ｉ／Ｆ４６を含んで構成されている。
　カメラ画像受取部４１は撮影画像を受取ると、プロジェクタ部２０消灯時の撮影画像を瞳孔中心検出部４２に送信する一方、プロジェクタ部点灯時の撮影画像を角膜反射像位置検出部４３、及び眼の３次元位置ベクトル算出部４４に送信する。
　瞳孔中心検出部４２では、受取った撮影画像を基に瞳孔中心を検出し、検出した瞳孔中心の位置を示す第１の座標値を角膜反射像位置検出部４３、及び視線算出部４５に送信する。
　角膜反射像位置検出部４３では、受取った撮影画像を基に角膜反射像を検出し、検出した角膜反射像の位置を示す第２の座標値を視線算出部４５に送信する。
　眼の３次元位置ベクトル算出部４４では、受取った撮影画像を基に眼の３次元位置ベクトルを算出し、算出した眼の３次元位置ベクトルを視線算出部４５に送信する。
　視線算出部４５では、送信されてきた瞳孔中心座標値、角膜反射像の座標値、及び眼の３次元位置ベクトルに基づいて視線（視線の起点、視線方向）を算出し、前記ドライバモニタリングシステムにおける車載装置側の制御部に出力する一方、現フレームの角膜反射像の座標値を記憶部４６に送信してメモリし、前フレームの角膜反射像の座標値を記憶部４６から呼び出す処理を行う。
　図６は、構成例３に係る視線検出処理部４０における視線検出処理動作を示すフローチャートである。
　本処理動作は、例えば、カメラ部１０での撮影が実施され、撮影画像を受け取ったタイミングで実行される。
　まず、ステップＳ２１において、カメラ画像受取部４１がカメラ部１０での撮影画像を受け取る。次にステップＳ２２において、受け取った撮影画像に基づいて瞳孔中心検出部４２が瞳孔の輪郭から瞳孔中心を検出する。
　一方、ステップＳ２３においては、パターン光が照射された撮影画像に基づいて眼の３次元位置ベクトル算出部４４が眼までの３次元位置ベクトルを算出する。次にステップＳ２４において、ステップＳ２２において検出された瞳孔中心、及びパターン光が照射された撮影画像に基づいて角膜反射像位置検出部４３が角膜反射像の位置を検出する。
　次に、ステップＳ２５において、ステップＳ２２において検出された瞳孔中心、ステップＳ２４において検出された角膜反射像の位置、及びステップＳ２３において算出された眼の３次元位置ベクトルに基づいて、視線算出部４５が視線（視線起点、視線方向）を算出して視線を決定し、前記ドライバモニタリングシステムにおける車載装置側の制御部に出力する。
　また、ステップＳ２６において、検出された角膜反射像の位置を記憶部４６に書き込む処理を行った後、ステップＳ２１に戻り、これらのステップが所定のタイミングで繰り返し実行される。
　図７（ａ）（ｂ）は、実施の形態に係る視線検出装置における視線検出処理部４０が行う眼の３次元位置ベクトル算出方法を説明するための模式的概略斜視図である。
　図７（ａ）は、人物の顔にパターン光が照射された状態を示している。
　パターン光が照射されると、眼の３次元位置ベクトル算出部４４では、受取った撮影画像を基にカメラからの３次元位置ベクトルを算出し、算出した３次元位置ベクトルから図７（ｂ）に示すような３次元顔形状の図を作成する。
　図８（ａ）（ｂ）は、角膜反射像検出の従来の方法を説明するための図であり、図８（ａ）は、照明の照射により目の瞳孔近傍に角膜反射像が形成されている状態を示している。このように角膜反射像は周辺と比べると輝度が極端に高くなっている。そのため瞳孔近傍の画像処理を行い、瞳孔近傍の高輝度画素の集合を抽出し、その重心位置を角膜反射像位置として確定する（図８（ｂ））手法が用いられている。
　図９（ａ）（ｂ）は、実施の形態に係る視線検出装置における視線検出処理部が行う角膜反射像検出処理を説明するためのパターン光投影状況を示す模式的概略図である。
　図９（ａ）は、角膜反射像がパターン光の白領域にある場合の状況を示しており、図９（ｂ）は、角膜反射像がパターン光の黒領域にある場合の状況を示している。
　パターン光の黒領域が角膜反射像の位置に重なると角膜反射像の輝度が低下しているのがわかる。そのため、角膜反射像が高輝度であることを前提とした従来の手法は本実施の形態には適用できないことがわかる。
　図１０は、図９（ｂ）に示したように、パターン光の黒領域が角膜反射像位置に重なった場合の、角膜反射像周辺の輝度分布（水平方向）を示したグラフである。パターン光の黒領域が角膜反射像位置に重なると角膜反射像の輝度が低下するとは言え、角膜反射像位置では、ある程度急峻なピークが現れ、輝度値が極大となっていることがわかる。
　図１１（ａ）～（ｃ）は、パターン光の黒領域が角膜反射像の位置に重なった場合の、角膜反射像を含む、上下方向に少しずれた周辺の輝度分布（水平方向）を示したグラフである。
　図１１（ａ）～（ｃ）に示したような状況もあり得ることから、角膜反射像の位置の検出を、図１２に示すフローチャートに基づく検出とした。
　図１２は、視線検出処理部が行う角膜反射像位置の検出処理動作を示すフローチャートである。
　まず、ステップＳ３１において、プロジェクタ部点灯時の撮影画像と瞳孔中心座標値を受け取る。次にステップＳ３２では、瞳孔中心近傍に探索領域を設定する。次にステップＳ３３では、探索領域の画素を１画素ずつ走査する。ここで走査とは、画像を多くの点に分解し，それぞれの点の明暗などを電気信号に変換するために，一定の順序で各点をたどることを意味している。
　次に、ステップＳ３４では、輝度分布における採用し得る極大値となっているか否かが判断される。ステップＳ３４において、輝度分布において採用し得る極大値となっていると判断されれば、次にステップＳ３５に進み、ステップＳ３５では、輝度のダイナミックレンジＤＲが閾値以上であるか否かが判断され、ダイナミックレンジＤＲが閾値以上であると判断されれば、次にステップＳ３６に進み、その値を極大値として採用する処理が行われる。ここでダイナミックレンジＤＲには、輝度の最大値と最小値との差が採用されている。
　他方、ステップＳ３４において、輝度分布において採用し得る極大値となっていないと判断されれば、次にステップＳ３７に進み、ステップＳ３７では、全画素の走査が完了したか否かが判断される。
　また、ステップＳ３５において、輝度のダイナミックレンジＤＲが閾値以上ではないと判断された場合、及びステップＳ３６において、その値を極大値として採用する処理が行われた後もステップＳ３７に進む。
　ステップＳ３７において、全画素の走査が完了していないと判断されれば、ステップＳ３３に戻り、他方、ステップＳ３７において、全画素の走査が完了したと判断されれば、次にステップＳ３８に進む。
　ステップＳ３８では、輝度分布における採用し得る極大値がない場合か否かが判断される。ステップＳ３８において、輝度分布における採用し得る極大値がない場合と判断されれば、ステップＳ３９に進み、前フレームの角膜反射像位置が出力される。
　ステップＳ３８において、輝度分布における採用し得る極大値がある場合と判断されれば、次にステップＳ４０に進み、ステップＳ４０では、輝度分布における採用し得る極大値が一つか否かが判断される。ステップＳ４０において、輝度分布における採用し得る極大値が一つと判断されれば、次にステップＳ４１に進み、ステップＳ４１では、その位置が角膜反射像位置として出力される。
　他方、ステップＳ４０において、輝度分布における採用し得る極大値が一つではないと判断されれば、次にステップＳ４２に進み、採用し得る極大値を瞳孔中心からの距離でソートする処理が行われる。次に、ステップＳ４３では、瞳孔中心からの距離が最も近い極大値位置を角膜反射像位置として出力する処理が行われる。
　上記したような処理を行うことにより、角膜反射像位置の検出が正確に行われる。
　なお、上記したステップＳ３１～ステップＳ４３の処理は、図６に示した、視線検出処理のステップＳ２４における角膜反射像位置の検出処理の内容を詳しく説明したものとなっている。
　ここでは、眼３次元位置ベクトルの算出方法の詳細は記載しないが、パターン光を用いた詳細な３次元位置ベクトルの算出方法は、本件出願人が先に出願した特願2016-202682号に詳細に記載されており、例えば、該出願明細書記載の方法を採用することができる。
　パターン光を用いた詳細な３次元位置ベクトルの測定により、カメラ部１０，１０Ａから眼までの正確な距離が求まると共に、顔表面の３次元点群が得られ、この点群に顔表面のモデルをフィッティングさせれば、顔の向きを求めることができる。
　瞳孔中心と角膜反射像を用いた視線の算出は、視線の顔の向き方向からのずれを算出しているので、３次元位置ベクトルの測定により、顔の向きを正確に求めておけば、視線方向が正確に求まることに繋がる。
　また、前記フィッティングを毎フレーム行えば、顔の向きの経時変化を算出することができ、これにより頭部運動を正確に算出することもできることとなる。
　また、カメラ部１０，１０Ａにおける撮影画像により、瞳孔が検出され、瞳孔の経時変化を検出すれば眼球運動を正確に求めることができる。
　一方、頭部運動により誘発されるＶＯＲは、頭部運動時にそれとほぼ同じ速さで眼球を反転させ、網膜像のブレを抑制する不随意的眼球運動である。
　実施の形態に係る視線検出装置１によれば、上記したように、頭部運動を正確に算出することができ、また、眼球運動を正確に求めることもできることから、ＶＯＲ測定装置としても使用することができることとなる。
　また、実施の形態に係る視線検出装置１は、人物の顔表面の３次元形状も正確に検出できることから、顔の形状特徴を把握して顔認証を実施することができ、人物の顔認証装置としても使用できることとなる。
　視線の算出方法としては、例えば、「大野健彦他、“２点補正による簡易キャリブレーションを実現した視線測定システム”、情報処理学会論文誌、Ｖｏｌ．４４，Ｎｏ．４，ｐｐ．1136-1149（2003）」に詳細に紹介されており、当該論文記載の方法を採用してもよい。なお、本発明における視線の算出方法は、この論文に記載された方法に限定されず、他の方法でもよい。
　また、ＶＯＲ測定の詳細については、「西山潤平他、“前庭動眼反射による眠気予兆検出”、生体医工学学会論文誌、Ｖｏｌ．４８，Ｎｏ．１，ｐｐ．1-10（2010，Feb．）」に詳細に紹介されており、当該論文記載の方法を採用することができる。なお、本発明におけるＶＯＲの測定方法は、この論文に記載された方法に限定されず、他の方法でもよい。
　以上、本発明の実施の形態を詳細に説明したが、上記説明はあらゆる点において本発明の例示に過ぎない。本発明の範囲を逸脱することなく、種々の改良や変更を行うことができることは言うまでもない。
　上記実施の形態では、ドライバモニタリングシステムに搭載されて利用される視線測定のための視線検出装置を例に挙げて説明したが、別の実施の形態では、工場などにおける作業現場等に設置されて利用される視線測定のための視線検出装置であってもよい。
　また、上記実施の形態では、ステップＳ３５におけるダイナミックレンジＤＲには、輝度の最大値と最小値との差が採用されたが、別の実施の形態では、輝度の最大値と中央値との差をダイナミックレンジＤＲに採用してもよい。かかる設定により、視線を検出するために用いられる角膜反射像位置の検出を、よりノイズに対して強いものとすることができる。
　また、上記実施の形態では、ステップＳ３８において、輝度分布における採用し得る極大値がないと判断されれば、ステップＳ３９において、前フレームの角膜反射像位置が出力される処理がなされたが、別の実施の形態では、ステップＳ３８において、輝度分布における採用し得る極大値がないと判断されれば、ステップＳ３９において、過去のフレーム、例えば過去の数フレームから予測される現在の角膜反射像位置を出力するようにしてもよい。かかる処理にすれば、人物が動いているような場合であっても、視線を検出するために用いられる角膜反射像位置の出力をより妥当に行うことができる。
［付記］
　本発明の実施の形態は、以下の付記の様にも記載され得るが、これらに限定されない。
（付記１）
　投影部を点灯し、人物の顔にパターン光を投影するステップ（Ｓ１）と、
　撮像部で前記パターン光が投影された顔を撮影するステップ（Ｓ２）と、
　ステップ（Ｓ２）で撮影された撮影画像を視線検出処理部に出力するステップ（Ｓ３）と、
　投影部を消灯するステップ（Ｓ４）と、
　撮像部で前記パターン光が投影されていない顔を撮影するステップ（Ｓ５）と、
　ステップ（Ｓ５）で撮影された撮影画像を視線検出処理部に出力するステップ（Ｓ６）と、
　を含んでいることを特徴とする視線検出装置（１）の制御方法。
（付記２）
　視線検出装置（１）～（６）のいずれかに記載の視線検出装置を用いた視線検出のための角膜反射像位置の検出方法であって、
　撮影画像と瞳孔中心位置を受取るステップ（Ｓ３１）と、
　前記瞳孔中心位置近傍に探索領域を設定するステップ（Ｓ３２）と、
　前記探索領域における画素を１画素ずつ走査するステップ（Ｓ３３）と、
　走査した結果が、輝度の極大値になっているか否かを判断するステップ（Ｓ３４）と、
　輝度のダイナミックレンジが閾値以上であると判断すれば、その値を極大値として採用するステップ（Ｓ３６）と、
　瞳孔中心からの距離が最も近い極大値を示す画素の位置を角膜反射像の位置として出力するステップ（Ｓ４３）と、
　を含んでいることを特徴とする角膜反射像位置の検出方法。
（付記３）
　視線検出装置（１）を用いた視線検出のための角膜反射像の位置の検出処理を少なくとも１つのコンピュータに実行させるためのコンピュータプログラムであって、
　少なくとも１つのコンピュータに、
　撮影画像と瞳孔中心位置を受取るステップ（Ｓ３１）と、
　瞳孔中心位置近傍に探索領域を設定するステップ（Ｓ３２）と、
　探索領域における画素を１画素ずつ走査するステップ（Ｓ３３）と、
　走査した結果が、輝度の極大値になっているか否かを判断するステップ（Ｓ３４）と、
　輝度のダイナミックレンジが閾値以上であると判断（Ｓ３５）すれば、その値を極大値として採用するステップ（Ｓ３６）と、
　瞳孔中心からの距離が最も近い極大値を示す画素の位置を角膜反射像の位置として出力するステップ（Ｓ４３）と、
　を実行させることを特徴とする角膜反射像の位置の検出のためのコンピュータプログラム。
　本発明は、人をモニタリングする各種システムなどに適用可能であり、例えば、車両の運転者をモニタリングするためのドライバモニタリングシステム、又は作業現場等に設置されて作業者の視線を測定するシステムなど、様々な産業分野において広く利用することができる。
１　視線検出装置
１０　カメラ部
１０Ａ　近赤外カメラ部
２０　プロジェクタ部
２０Ａ　近赤外プロジェクタ部
２０Ｂ　近赤外照明
３０　カメラ・プロジェクタ制御部
４０　視線検出処理部
４１　カメラ画像受取部
４２　瞳孔中心検出部
４３　角膜反射像位置検出部
４４　眼の３次元位置ベクトル算出部
４５　視線算出部
４６　記憶部

Claims (16)

  1. 　人物の顔を撮影する撮像部と、
    　所定のパターン光を前記人物の顔に投影する投影部と、
    　前記撮像部及び前記投影部による前記パターン光の投影の有無を制御する制御部と、
    　前記撮像部により撮影された人物の顔の画像から視線を検出する視線検出処理部と、
    　を含んで構成されていることを特徴とする視線検出装置。
  2. 　前記視線検出処理部が、
    　前記撮像部により撮影された、前記パターン光が投影されていない前記顔の画像を用いて前記人物の目における瞳孔中心を算出する第１の算出部と、
    　前記撮像部により撮影された、前記パターン光が投影された前記顔の画像を用いて前記人物の目における角膜反射像の位置を算出する第２の算出部と、
    　前記撮像部により撮影された、前記パターン光が投影された前記顔の画像を用いて前記顔の所定部位の３次元位置ベクトルを算出する第３の算出部と、
    　を含んで構成されていることを特徴とする請求項１記載の視線検出装置。
  3. 　前記人物の目における瞳孔中心の経時的変化を検出して眼球運動を算出する第４の算出部と、
    　前記顔の所定部位の３次元位置ベクトルから顔の表面形状を検出し、この表面形状の向きの経時的変化に基づいて、前記人物の頭部運動を算出する第５の算出部と、
    　を備え、算出された前記眼球運動及び前記頭部運動を用いてＶＯＲ（Vestibulo-Ocular Reflex）を検出することを特徴とする請求項１又は請求項２記載の視線検出装置。
  4. 　前記人物の顔の所定部位の３次元位置ベクトルから前記人物の顔の表面形状を算出する第６の算出部を備え、算出された前記人物の顔の表面形状を用いて顔認証を行うことを特徴とする請求項１又は請求項２記載の視線検出装置。
  5. 　前記パターン光における所定のパターンが、場所ごとに異なる、２値模様となっていることを特徴とする請求項１又は請求項２記載の視線検出装置。
  6. 　前記投影部は、非可視の所定の波長域の光により前記パターン光を投影するものであり、
    　前記撮像部は、前記所定の波長域に感度を有するものであり、
    　さらに前記所定の波長域の光を照射する照明を備えていることを特徴とする請求項１又は請求項２記載の視線検出装置。
  7. 　前記投影部を点灯し、人物の顔にパターン光を投影するステップと、
    　前記撮像部で前記パターン光が投影された顔を撮影するステップと、
    　前記ステップで撮影された撮影画像を前記視線検出処理部に出力するステップと、
    　前記投影部を消灯するステップと、
    　前記撮像部で前記パターン光が投影されていない顔を撮影するステップと、
    　前記ステップで撮影された撮影画像を前記視線検出処理部に出力するステップと、
    　を含んでいることを特徴とする請求項１記載の視線検出装置の制御方法。
  8. 　前記投影部を点灯し、前記照明を消灯するステップと、
    　前記撮像部で前記パターン光が投影された顔を撮影するステップと、
    　前記ステップで撮影された撮影画像を前記視線検出処理部に出力するステップと、
    　前記投影部を消灯し、前記照明を点灯するステップと、
    　前記撮像部で前記パターン光が投影されていない顔を撮影するステップと、
    　前記ステップで撮影された撮影画像を前記視線検出処理部に出力するステップと、
    　を含んでいることを特徴とする請求項６記載の視線検出装置の制御方法。
  9. 　請求項１又は請求項２記載の視線検出装置を用いた視線検出のための角膜反射像位置の検出方法であって、
    　撮影画像と瞳孔中心位置を受取るステップと、
    　前記瞳孔中心位置近傍に探索領域を設定するステップと、
    　前記探索領域における画素を１画素ずつ走査するステップと、
    　走査した結果が、輝度の極大値になっているか否かを判断するステップと、
    　輝度のダイナミックレンジが閾値以上であると判断すれば、その値を極大値として採用するステップと、
    　瞳孔中心からの距離が最も近い極大値を示す画素の位置を角膜反射像の位置として出力するステップと、
    　を含んでいることを特徴とする角膜反射像位置の検出方法。
  10. 　輝度の最大値と最小値との差をダイナミックレンジとするものであることを特徴とする請求項９記載の角膜反射像位置の検出方法。
  11. 　輝度の最大値と中央値との差をダイナミックレンジとするものであることを特徴とする請求項９記載の角膜反射像位置の検出方法。
  12. 　輝度分布における採用し得る極大値がないと判断した場合には、前フレームの角膜反射像位置を出力するステップを含んでいることを特徴とする請求項９記載の角膜反射像位置の検出方法。
  13. 　輝度分布における採用し得る極大値がないと判断した場合には、過去のフレームから予測される現在の角膜反射像位置を出力するステップを含んでいることを特徴とする請求項９記載の角膜反射像位置の検出方法。
  14. 　輝度分布における採用し得る極大値が一つと判断すれば、その位置を角膜反射像位置として出力するステップを含んでいることを特徴とする請求項９記載の角膜反射像位置の検出方法。
  15. 　請求項１又は請求項２記載の視線検出装置を用いた視線検出のための角膜反射像の位置の検出処理を少なくとも１つのコンピュータに実行させるためのコンピュータプログラムであって、
    　前記少なくとも１つのコンピュータに、
    　撮影画像と瞳孔中心位置を受取るステップと、
    　前記瞳孔中心位置近傍に探索領域を設定するステップと、
    　前記探索領域における画素を１画素ずつ走査するステップと、
    　走査した結果が、輝度の極大値になっているか否かを判断するステップと、
    　輝度のダイナミックレンジが閾値以上であると判断すれば、その値を極大値として採用するステップと、
    　瞳孔中心からの距離が最も近い極大値を示す画素の位置を角膜反射像の位置として出力するステップと、
    　を実行させることを特徴とする角膜反射像の位置の検出のためのコンピュータプログラム。
  16. 　請求項１又は請求項２記載の視線検出装置を用いた視線検出のための角膜反射像の位置の検出処理を少なくとも１つのコンピュータに実行させるためのコンピュータプログラムが記憶されたコンピュータ読み取り可能な記憶媒体であって、
    　前記少なくとも１つのコンピュータに、
    　撮影画像と瞳孔中心位置を受取るステップと、
    　前記瞳孔中心位置近傍に探索領域を設定するステップと、
    　前記探索領域における画素を１画素ずつ走査するステップと、
    　走査した結果が、輝度の極大値になっているか否かを判断するステップと、
    　輝度のダイナミックレンジが閾値以上であると判断すれば、その値を極大値として採用するステップと、
    　瞳孔中心からの距離が最も近い極大値を示す画素の位置を角膜反射像の位置として出力するステップと、
    　を実行させるためのプログラムを記憶したことを特徴とするコンピュータ読み取り可能な記憶媒体。
PCT/JP2019/006510 2018-03-15 2019-02-21 視線検出装置、該視線検出装置の制御方法、角膜反射像位置の検出方法、コンピュータプログラム、及び記憶媒体 WO2019176491A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
EP19766611.8A EP3767581A4 (en) 2018-03-15 2019-02-21 GAZE DETECTOR, METHOD FOR CONTROLLING THE GAZE DETECTOR, METHOD FOR DETECTING THE POSITION OF A CORNEAL REFLECTION IMAGE, COMPUTER PROGRAM AND STORAGE MEDIA
US16/977,475 US11903647B2 (en) 2018-03-15 2019-02-21 Gaze detector, method for controlling gaze detector, method for detecting corneal reflection image position, and storage medium
CN201980011822.0A CN111684394B (zh) 2018-03-15 2019-02-21 视线检测装置、角膜反射像位置的检测方法以及存储介质

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018-047460 2018-03-15
JP2018047460A JP6717330B2 (ja) 2018-03-15 2018-03-15 視線検出装置、該視線検出装置の制御方法、角膜反射像位置の検出方法、及びコンピュータプログラム

Publications (1)

Publication Number Publication Date
WO2019176491A1 true WO2019176491A1 (ja) 2019-09-19

Family

ID=67906583

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/006510 WO2019176491A1 (ja) 2018-03-15 2019-02-21 視線検出装置、該視線検出装置の制御方法、角膜反射像位置の検出方法、コンピュータプログラム、及び記憶媒体

Country Status (5)

Country Link
US (1) US11903647B2 (ja)
EP (1) EP3767581A4 (ja)
JP (1) JP6717330B2 (ja)
CN (1) CN111684394B (ja)
WO (1) WO2019176491A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110853031B (zh) * 2019-11-20 2023-04-11 航天科技控股集团股份有限公司 汽车组合仪表指示灯点亮的排他检测方法
TWI722872B (zh) * 2020-04-17 2021-03-21 技嘉科技股份有限公司 人臉辨識裝置以及人臉辨識方法
TWI746184B (zh) 2020-09-25 2021-11-11 宏碁股份有限公司 利用視線方向調整顯示模式的顯示裝置及其操作方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07104170A (ja) * 1993-09-30 1995-04-21 Olympus Optical Co Ltd 視線検出装置
JP2012115505A (ja) * 2010-12-01 2012-06-21 Fujitsu Ltd 視線検出装置及び視線検出方法
JP2013106645A (ja) * 2011-11-17 2013-06-06 Toyota Central R&D Labs Inc 視線計測装置及びプログラム
JP2014067102A (ja) 2012-09-24 2014-04-17 Fujitsu Ltd 視線検出装置、視線検出用コンピュータプログラム及び表示装置
JP2016202682A (ja) 2015-04-24 2016-12-08 任天堂株式会社 情報処理プログラム、情報処理装置、情報処理システムおよび情報処理装置の制御方法

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0846836A (ja) 1994-07-29 1996-02-16 Canon Inc 視線検出方法及び装置並びに撮像装置
EP2359748B1 (en) 2008-09-18 2020-04-08 Chubu University Educational Foundation Sleepiness signal detector
EP2338416B1 (en) 2008-09-26 2019-02-27 Panasonic Intellectual Property Corporation of America Line-of-sight direction determination device and line-of-sight direction determination method
JP5529660B2 (ja) 2010-07-20 2014-06-25 パナソニック株式会社 瞳孔検出装置及び瞳孔検出方法
JP5966467B2 (ja) * 2012-03-15 2016-08-10 株式会社リコー 測距装置
WO2013175595A1 (ja) * 2012-05-23 2013-11-28 パイオニア株式会社 三次元顔計測装置、制御方法、プログラム、及び記憶媒体
CN103679180B (zh) * 2012-09-19 2017-06-16 武汉元宝创意科技有限公司 一种基于单摄像头单光源的视线追踪方法
KR101444538B1 (ko) * 2012-10-26 2014-09-24 주식회사 에스원 3차원 얼굴 인식 시스템 및 그의 얼굴 인식 방법
US10198645B2 (en) * 2014-11-13 2019-02-05 Intel Corporation Preventing face-based authentication spoofing
JP6452236B2 (ja) 2014-12-08 2019-01-16 国立大学法人静岡大学 眼球識別装置及び眼球識別方法
JP6536324B2 (ja) * 2015-09-30 2019-07-03 富士通株式会社 視線検出システム、視線検出方法および視線検出プログラム
US9924866B2 (en) * 2016-01-11 2018-03-27 Heptagon Micro Optics Pte. Ltd. Compact remote eye tracking system including depth sensing capacity
EP3479293A4 (en) * 2016-06-29 2020-03-04 Seeing Machines Limited SYSTEMS AND METHODS FOR PERFORMING LOOK TRACKING
CN107665040A (zh) 2016-07-27 2018-02-06 Fove股份有限公司 视线检测系统、偏移检测方法、偏移检测程序

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07104170A (ja) * 1993-09-30 1995-04-21 Olympus Optical Co Ltd 視線検出装置
JP2012115505A (ja) * 2010-12-01 2012-06-21 Fujitsu Ltd 視線検出装置及び視線検出方法
JP2013106645A (ja) * 2011-11-17 2013-06-06 Toyota Central R&D Labs Inc 視線計測装置及びプログラム
JP2014067102A (ja) 2012-09-24 2014-04-17 Fujitsu Ltd 視線検出装置、視線検出用コンピュータプログラム及び表示装置
JP2016202682A (ja) 2015-04-24 2016-12-08 任天堂株式会社 情報処理プログラム、情報処理装置、情報処理システムおよび情報処理装置の制御方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
NISHIYAMA JUNPEI: "Prediction of Drowsiness by the Vestibulo-Ocular Reflex", TRANSACTIONS OF JAPANESE SOCIETY FOR MEDICAL AND BIOLOGICAL ENGINEERING, vol. 48, no. 1, February 2010 (2010-02-01), pages 1 - 10, XP055626495
OHNO TAKEHIKO: "Just Look at Two Points: A Gaze Tracking System with Easy Calibration", TRANSACTIONS OF INFORMATION PROCESSING SOCIETY OF JAPAN, vol. 44, no. 4, 2003, pages 1136 - 1149
See also references of EP3767581A4

Also Published As

Publication number Publication date
US11903647B2 (en) 2024-02-20
CN111684394A (zh) 2020-09-18
EP3767581A4 (en) 2022-05-11
JP6717330B2 (ja) 2020-07-01
JP2019159982A (ja) 2019-09-19
EP3767581A1 (en) 2021-01-20
CN111684394B (zh) 2024-08-02
US20210052156A1 (en) 2021-02-25

Similar Documents

Publication Publication Date Title
JP6036065B2 (ja) 注視位置検出装置及び注視位置検出方法
CN107615755B (zh) 头戴式显示器、平视显示器和影像显示方法
JP5230748B2 (ja) 視線方向判定装置及び視線方向判定方法
US20190269321A1 (en) Motion sickness estimation device, motion sickness prevention device, and motion sickness estimation method
WO2019176491A1 (ja) 視線検出装置、該視線検出装置の制御方法、角膜反射像位置の検出方法、コンピュータプログラム、及び記憶媒体
JP2013219541A (ja) 撮影システムおよび撮影方法
CN109774722A (zh) 信息处理装置、方法和程序、驾驶员监控系统及保存媒体
CN110194173B (zh) 乘员监视装置
WO2019176492A1 (ja) 算出システム、情報処理装置、運転支援システム、指標算出方法、コンピュータプログラム、及び記憶媒体
JP2018101212A (ja) 車載器および顔正面度算出方法
JP2019159642A (ja) 車載機、運転評価装置、これらを備えた運転評価システム、データ送信方法、及びデータ送信プログラム
US11137600B2 (en) Display device, display control method, and display system
JP7135913B2 (ja) 運転評価画面の表示方法、プログラム、運転評価システム、及び運転評価画面
JP2017138645A (ja) 視線検出装置
JP6496917B2 (ja) 視線測定装置および視線測定方法
JP2018004325A (ja) 注視点検出装置、注視点検出方法、注視点検出システム、及び車両
JP6950597B2 (ja) 車載機、運転評価システム、情報処理方法、及びプログラム
JP7060841B2 (ja) 運転評価装置、運転評価方法、及び運転評価プログラム
JP2022012829A (ja) ドライバモニタ装置及びドライバモニタ方法
JP7063045B2 (ja) 視線検出装置、視線検出方法及び視線検出プログラム
JP2005018405A (ja) 目画像撮像装置
CN110758237A (zh) 电子装置及行车安全提醒方法
US12067907B2 (en) Position information acquisition device, head-mounted display, and position information acquisition method
US20230358892A1 (en) Position information acquisition system, position information acquisition method, and position information acquisition device
CN108995592B (zh) 汽车影像系统

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19766611

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 2019766611

Country of ref document: EP

ENP Entry into the national phase

Ref document number: 2019766611

Country of ref document: EP

Effective date: 20201015