WO2012042580A1 - 視線推定装置 - Google Patents

視線推定装置 Download PDF

Info

Publication number
WO2012042580A1
WO2012042580A1 PCT/JP2010/007245 JP2010007245W WO2012042580A1 WO 2012042580 A1 WO2012042580 A1 WO 2012042580A1 JP 2010007245 W JP2010007245 W JP 2010007245W WO 2012042580 A1 WO2012042580 A1 WO 2012042580A1
Authority
WO
WIPO (PCT)
Prior art keywords
line
sight
unit
gaze
measurement
Prior art date
Application number
PCT/JP2010/007245
Other languages
English (en)
French (fr)
Inventor
兼司 岡
宗太郎 築澤
Original Assignee
パナソニック株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニック株式会社 filed Critical パナソニック株式会社
Priority to EP10847169.9A priority Critical patent/EP2457499B1/en
Priority to CN201080019815.4A priority patent/CN102548465B/zh
Priority to US13/240,200 priority patent/US8503737B2/en
Publication of WO2012042580A1 publication Critical patent/WO2012042580A1/ja

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/113—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/163—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state by tracking eye movement, gaze, or pupil change
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/18—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state for vehicle drivers or machine operators
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30041—Eye; Retina; Ophthalmic
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30268—Vehicle interior
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems

Definitions

  • the present invention relates to a gaze estimation apparatus that estimates a gaze direction of a person from an image obtained by photographing an area near the face of the person with a photographing apparatus, and more specifically, an error is included in a gaze measurement result obtained by the gaze measurement apparatus. Also in this case, the present invention relates to a gaze estimation apparatus having a function of estimating a gaze direction with high accuracy by smoothing a measurement result.
  • the driver's gaze direction is estimated from an image of the area near the driver's face using an in-vehicle camera installed in the car, and the driver's look-aside state is determined based on the measured gaze direction.
  • a system for giving a warning to the driver has been devised. In such a system, it is necessary to accurately estimate the line-of-sight direction.
  • the line-of-sight estimation devices are roughly classified into two types, one that performs line-of-sight estimation from an image obtained by enlarging the periphery of the eye, and one that performs line-of-sight estimation from an image obtained by photographing the periphery of the face including the entire face at a wide angle. Separated.
  • the one that performs gaze estimation from an image captured by enlarging the periphery of the eye can estimate gaze with high accuracy, but has the disadvantage that gaze estimation cannot be performed if the head moves. Yes, it is not suitable for estimating the driver's line of sight.
  • those that perform line-of-sight estimation from an image of the entire face captured at a wide angle can perform line-of-sight estimation even when the head moves relatively freely, and are suitable for driver's line-of-sight estimation, Since the number of pixels and the resolution for the eye area are low, the eye-gaze estimation accuracy is likely to deteriorate.
  • a line-of-sight estimation apparatus that performs line-of-sight estimation from an image obtained by photographing the entire face at a wide angle estimates the line-of-sight direction of the person by detecting the center position of the photographed person's pupil.
  • erroneous pupil detection frequently occurs in a low-luminance portion around the eye region.
  • the line-of-sight measurement result is like a surge current as shown in FIG. Therefore, even if a highly accurate smoothing process is performed on such a line-of-sight measurement result, a large error cannot be removed, and the accuracy of the line-of-sight estimation result decreases.
  • the line-of-sight measurement result after smoothing is often delayed by several frames from the actual measurement value, resulting in a problem that the real-time property is deteriorated.
  • the object of the present invention is to obtain a highly accurate gaze estimation result in which errors are suppressed without delay even when the gaze measurement result includes a large error due to erroneous pupil detection as shown in FIG.
  • An object is to provide a gaze estimation apparatus.
  • An eye gaze estimation apparatus includes an image input unit that captures an area near a face including eyes and captures the image as an image, a gaze measurement unit that measures a gaze direction based on the captured image, and the gaze measurement unit.
  • a gaze measurement result holding unit that holds a gaze measurement result measured in the past
  • a representative value extraction unit that extracts a representative value of a past gaze measurement result held in the gaze measurement result holding unit
  • the representative value extraction unit Whether the representative value or the line-of-sight measurement result is gaze-estimated depending on whether or not the difference D between the representative value extracted by the line-of-sight and the line-of-sight measurement result measured by the line-of-sight measurement unit is less than a predetermined threshold T.
  • a line-of-sight determining unit determined as a result.
  • the line-of-sight estimation apparatus uses the line-of-sight measurement result as the line-of-sight estimation result when the difference D between the line-of-sight measurement result and the representative value is less than the threshold T, and the difference D is greater than or equal to the threshold T. Since the gaze measurement result includes a large error such as that caused by erroneous pupil detection, a highly accurate gaze estimation result with a suppressed error can be obtained without delay. Can do.
  • the eye gaze estimation apparatus further includes a threshold value determining unit that determines the threshold value T, and the threshold value determining unit includes a maximum eyeball rotation angle P that may move the eye during one frame, and a pupil region.
  • the threshold value determining unit includes a maximum eyeball rotation angle P that may move the eye during one frame, and a pupil region.
  • a minimum angle Q of the difference D when a pupil is erroneously detected outside may be set, and a value not less than the maximum eyeball rotation angle P and not more than the minimum angle Q may be determined as the threshold T.
  • the line-of-sight estimation apparatus can appropriately determine the threshold T used to select either the line-of-sight measurement result or the representative value, and can stably obtain a high-precision line-of-sight estimation result. Can do.
  • the threshold value determination unit may set the maximum eyeball rotation angle P based on a known value relating to the stretching speed of the muscle that controls eye movement.
  • the line-of-sight estimation apparatus can set the maximum eyeball rotation angle P referred to for determining the threshold value T as a constant, so that the time required for determining the threshold value T can be shortened.
  • the threshold value determination unit may finely adjust the maximum eyeball rotation angle P based on a result output in the past from at least one of the line-of-sight measurement unit and the line-of-sight determination unit.
  • the gaze estimation apparatus of the present invention finely adjusts the maximum eyeball rotation angle P based on at least one of the gaze measurement result and the gaze estimation result, so that the accuracy of the maximum eyeball rotation angle P can be improved.
  • the threshold value determination unit is based on an angle formed by a straight line connecting the center of the pupil to the center of the eyeball, a straight line connecting a point on the iris outline and the center of the eyeball, and the maximum eyeball rotation angle P.
  • the minimum angle Q may be set.
  • This configuration enables the line-of-sight estimation apparatus of the present invention to set the minimum angle Q that is referred to in order to determine the threshold value T.
  • the representative value extracting unit may extract a median value of the line-of-sight measurement result held by the line-of-sight measurement result holding unit as the representative value.
  • the line-of-sight estimation apparatus of the present invention can obtain the line-of-sight estimation result in which the error is suppressed without delay even when a line-of-sight measurement result with a large error is obtained.
  • the threshold value determination unit calculates an iris radius, and based on the calculated iris radius, a straight line connecting the center of the pupil to the center of the eyeball, and a point on the iris contour to the center of the eyeball.
  • the angle formed by the connecting straight line may be calculated.
  • the line-of-sight estimation apparatus of the present invention can stably and accurately obtain a line-of-sight estimation result even when there are individual differences in the driver's iris radius.
  • the line-of-sight estimation apparatus of the present invention further includes an irradiation unit that irradiates a region near the face including the eyes, and the threshold value determination unit performs irradiation by the irradiation unit in accordance with a timing for calculating the radius of the iris.
  • the state may be changed.
  • the line-of-sight estimation apparatus of the present invention can obtain a face peripheral image with stable brightness, while calculating the iris radius, the driver receives only natural light containing a lot of visible light.
  • the radius of the iris can be calculated based on the image.
  • the line-of-sight estimation apparatus may further include a time series filter that smoothes the value determined by the line-of-sight determination unit.
  • the line-of-sight estimation apparatus of the present invention can obtain a high-precision line-of-sight estimation result in which errors are further suppressed.
  • a gaze estimation apparatus capable of obtaining a high-accuracy gaze estimation result in which errors are suppressed without delay even when a large error due to erroneous pupil detection is included in the gaze measurement result. can do.
  • the block diagram which shows schematic structure of the gaze estimation apparatus in the 1st Embodiment of this invention.
  • the conceptual diagram which shows the face periphery image as an input image with respect to the gaze measurement part which comprises the gaze estimation apparatus in the 1st Embodiment of this invention.
  • the graph which shows the relationship between the difference of the gaze measurement result and representative value of the gaze estimation apparatus in the 1st Embodiment of this invention, and the generation frequency of each difference The block diagram which shows the structure of the threshold value determination part which comprises the gaze estimation apparatus in the 1st Embodiment of this invention. Schematic diagram of the eyeball The flowchart which shows operation
  • the conceptual diagram which shows the processing result of each part of the gaze estimation apparatus at the time of a gaze stop in the 1st Embodiment of this invention The conceptual diagram which shows the processing result of each part of the gaze estimation apparatus at the time of gaze movement in the 1st Embodiment of this invention
  • FIG. 1 is a block diagram showing a configuration of a line-of-sight estimation apparatus 200 according to the first embodiment of the present invention.
  • the line-of-sight estimation device 200 is provided, for example, in a passenger compartment of an automobile and is connected to an external alarm device.
  • the warning device warns the driver by giving a warning. It has become.
  • a gaze estimation apparatus 200 includes an image input unit 201 that captures the periphery of the driver's face, a gaze measurement unit 202 that measures the driver's gaze direction from an image of the periphery of the driver's face, and gaze measurement. And a line-of-sight estimation unit 203 that smoothes the line-of-sight measurement result representing the measurement result of the unit 202 and estimates the driver's line-of-sight direction.
  • the image input unit 201 is configured by a photographing apparatus including an image sensor such as a CCD (Charge Coupled Devices) or a CMOS (Complementary Metal Oxide Semiconductor), and can photograph a subject in front.
  • the image input unit 201 is installed at a location where an area near the driver's face can be imaged, for example, on the steering wheel of a car or on the dashboard so that the area around the driver's face can be captured.
  • the line-of-sight measurement unit 202 and the line-of-sight estimation unit 203 include, for example, a processor such as a CPU (Central Processing Unit) or a DSP (Digital Signal Processor), a RAM (Random Access Memory), a ROM (Read Only Memory), and an input / output interface. It is comprised by the provided electronic control apparatus.
  • a processor such as a CPU (Central Processing Unit) or a DSP (Digital Signal Processor), a RAM (Random Access Memory), a ROM (Read Only Memory), and an input / output interface. It is comprised by the provided electronic control apparatus.
  • the ROM stores a program for causing the electronic control device to function as the line-of-sight measurement unit 202 and the line-of-sight estimation unit 203. That is, when the processor executes a program stored in the ROM using the RAM as a work area, the electronic control device functions as the line-of-sight measurement unit 202 and the line-of-sight estimation unit 203.
  • the line-of-sight measurement unit 202 measures the driver's line-of-sight direction when the driver's face periphery is imaged from the image around the face captured by the image input unit 201. Below, the example of a measurement of the gaze direction by the gaze measurement part 202 is demonstrated.
  • the line-of-sight measuring unit 202 detects at least the end points 302 and 303 of one eye in a face peripheral image 301 in which a region around the driver's face as shown in FIG. 2 is captured.
  • the line-of-sight measurement unit 202 stores in advance a standard image of the eye end point as a template, and searches the face peripheral image 301 based on the template image, thereby determining the end points 302 and 303 of the eye. It comes to detect.
  • the line-of-sight measurement unit 202 passes through the eye end points 302 and 303, cuts out a rectangle having a size corresponding to the distance between the eye end points 302 and 303, and enlarges the eye region image 401 as shown in FIG. To get to.
  • the line-of-sight measurement unit 202 detects the center 404 of the pupil (hereinafter simply referred to as “pupil center”) 404 in the eye region image 401.
  • the line-of-sight measurement unit 202 extracts low-luminance pixels from the eye region image 401, groups the extracted pixels, extracts pupil region candidates, and calculates the area of each pupil region candidate.
  • a candidate for a pupil region having an area closest to a preset pupil area is selected as the pupil region, and the center of the selected pupil region is detected as the pupil center 404.
  • the line-of-sight measurement unit 202 detects the line-of-sight direction based on the eye endpoints 402 and 403 and the pupil center 404 in the eye region image 401. For example, the line-of-sight measurement unit 202 calculates the angle of the line of sight in the horizontal direction depending on how much the pupil center 404 is laterally deviated with respect to the eye endpoints 402 and 403.
  • the line-of-sight measurement unit 202 has an eye end point 402 in the eye region image 401 obtained from the face peripheral image 301 photographed by the image input unit 201 every time the driver has a plurality of predetermined angles facing the driver. By maintaining the positional relationship between the 403 and the pupil center 404 in advance, a more accurate line-of-sight angle may be calculated.
  • the gaze estimation unit 203 estimates the driver's gaze direction after smoothing the gaze measurement result representing the measurement result by the gaze measurement unit 202.
  • the line-of-sight estimation unit 203 outputs the estimated result to the alarm device.
  • a gaze estimation unit 203 extracts a gaze measurement result holding unit 211 that holds gaze measurement results for the past several frames measured by the gaze measurement unit 202, and representative values of gaze measurement results for the past several frames.
  • the line-of-sight measurement result holding unit 211 holds the line-of-sight measurement results for the past several frames.
  • the number of line-of-sight measurement results held by the line-of-sight measurement result holding unit 211 can be arbitrarily set.
  • the line-of-sight measurement result holding unit 211 has the number of frames for one second. Assume that the line-of-sight measurement result is retained.
  • the representative value extraction unit 212 extracts a representative value representative of the gaze measurement results for the past several frames from the past gaze measurement results held in the gaze measurement result holding unit 211.
  • the representative value extraction unit 212 extracts the median value of the line-of-sight measurement results held in the line-of-sight measurement result holding unit 211 as a representative value.
  • the representative value extracting unit 212 represents the median value of the line-of-sight measurement result. By setting the value, it is possible to extract a representative value that is less affected by the error included in the visual line measurement result.
  • the line-of-sight determination unit 213 determines the line-of-sight direction. Specifically, the line-of-sight determination unit 213 first calculates a difference D between the line-of-sight measurement result A measured by the line-of-sight measurement unit 202 and the representative value B extracted by the representative value extraction unit 212. Yes.
  • the line-of-sight determination unit 213 determines whether or not the calculated difference D is less than the threshold T, and when it is determined that the difference D is less than the threshold T, the line-of-sight measurement result A is determined as the line-of-sight direction. It is like that. On the other hand, when it is determined that the difference D is not less than the threshold T, that is, greater than or equal to the threshold T, the line-of-sight determination unit 213 determines the representative value B as the line-of-sight direction.
  • the line-of-sight determining unit 213 outputs the determined line-of-sight direction as a line-of-sight estimation result to the alarm device.
  • the line-of-sight direction determined by the line-of-sight determination unit 213 may be input to the alarm device as it is, or a smoothing process with a small delay is performed using a time series filter such as an average value filter or a Kalman filter. Then, the alarm device may be input.
  • the threshold value determination unit 214 determines the threshold value T based on the maximum eyeball rotation angle P per frame and the minimum angle Q of the difference D when a pupil is erroneously detected outside the pupil region.
  • FIG. 4 shows a typical example of a graph when the difference D is plotted on the horizontal axis and the frequency of occurrence of the difference D is plotted on the vertical axis when the line-of-sight measurement is actually performed.
  • a solid line 901 indicates a graph when the line-of-sight measurement result is correct
  • a broken line 902 indicates a graph when erroneous measurement is performed due to erroneous detection of the pupil outside the pupil region. From this graph, the maximum eyeball rotation angle P can be considered as the upper limit value of the solid line 901, and the minimum angle Q can be considered as the lower limit value of the broken line 902.
  • the threshold value determination unit 214 includes a maximum eyeball rotation angle determination unit 801, an erroneous measurement difference minimum value determination unit 802, and a threshold setting unit 803, as shown in FIG.
  • the maximum eyeball rotation angle determination unit 801 determines the maximum eyeball rotation angle P.
  • This maximum eyeball rotation angle P can be considered as a constant value based on a medically known value relating to the stretching speed of the muscle that controls the eye movement. Specifically, since the general maximum eyeball speed is set to 300 degrees per second, when taking a gaze measurement by capturing an image at 30 frames per second, the maximum eyeball rotation angle P per frame is 10 degrees. It is determined.
  • the maximum eyeball rotation angle determination unit 801 determines the maximum eyeball rotation angle based on past output histories such as a history of gaze measurement results of the gaze measurement unit 202 and a history of gaze estimation results of the gaze determination unit 213, for example. P may be finely adjusted.
  • the maximum eyeball rotation angle determination unit 801 when the maximum eyeball rotation angle determination unit 801 is too large compared to the past history, the maximum eyeball rotation angle determination unit 801 performs a process of reducing the maximum eyeball rotation angle P by a certain minute value. Also good.
  • the error measurement minimum difference determination unit 802 determines the minimum angle Q.
  • the erroneous measurement time difference minimum value determination unit 802 determines the known The minimum angle Q is determined using the value.
  • the erroneous measurement difference minimum value determination unit 802 connects a straight line connecting the pupil center 1001 to the eyeball center 1002 and a straight line connecting the point 1003 on the iris outline to the eyeball center 1002.
  • An angle (hereinafter referred to as “iris angle”) 1004 is calculated, and the minimum angle Q is determined based on the calculated iris angle 1004 and the maximum eyeball rotation angle P.
  • the iris angle 1004 depends on the eyeball radius 1005 and the iris radius 1006.
  • the eyeball radius 1005 has little variation between individuals, and the iris radius 1006 has relatively little variation. It can be set to a constant value based on such known values.
  • the iris angle 1004 is 30 degrees.
  • the erroneous measurement difference minimum value determination unit 802 also considers the maximum eyeball rotation angle P. For example, when the maximum eyeball rotation angle P is determined to be 10 degrees, the minimum angle Q is determined to be 20 degrees. Yes.
  • the erroneous measurement difference minimum value determination unit 802 may calculate the iris radius 1006 by image processing and calculate the iris angle 1004 based on the calculation result. For example, in FIG. 3, the error measurement minimum difference determination unit 802 extracts pixels corresponding to the iris by grouping pixels smaller than a certain luminance around the pupil center 404 detected by the line-of-sight measurement unit 202, An iris contour on the image may be obtained by circularly approximating the extracted pixels.
  • the actual size of the iris contour can be derived from the face peripheral image 301.
  • the time difference minimum value determination unit 802 calculates an iris radius 1006 from the face peripheral image 301 based on the focal length of the image input unit 201, the pixel pitch of the image sensor, and the distance from the photographing device to the periphery of the eyes. Also good.
  • the erroneous measurement difference minimum value determination unit 802 calculates the distance from the imaging device to the periphery of the eye by performing stereo distance measurement processing using two cameras whose positional relationships are known, for example. You may make it calculate.
  • the threshold value setting unit 803 is configured to determine an arbitrary one angle between the maximum eyeball rotation angle P and the minimum angle Q as the threshold value T. For example, the threshold setting unit 803 can determine the threshold T as 15 degrees when the maximum eyeball rotation angle P is determined as 10 degrees and the minimum angle Q is determined as 20 degrees.
  • the threshold value setting unit 803 may change the threshold value T in consideration of the result of estimating the head movement amount. For example, the threshold setting unit 803 may set the threshold T large in consideration of the high possibility that the line-of-sight direction is also largely moved when the head is rotated in the left-right direction. In this case, the threshold setting unit 803 may estimate the movement amount of the head based on the movement amounts of the end points 402 and 403 of the eyes.
  • the line-of-sight determination unit 213 calculates a difference D between the line-of-sight measurement result A of the line-of-sight measurement unit 202 and the representative value B extracted by the representative value extraction unit 212 (S501).
  • the line-of-sight determining unit 213 determines whether or not the difference D is less than the threshold T determined by the threshold determining unit 214 (S502).
  • the line-of-sight measurement result A is output as the line-of-sight estimation result from the line-of-sight determination unit 213 (S503).
  • the representative value B is output from the line-of-sight determination unit 213 as the line-of-sight estimation result (S504).
  • the extracted representative value is included in the line-of-sight measurement result A as shown in the graph 602. Error is suppressed.
  • the graph 604 is obtained as the line-of-sight estimation result.
  • the graph 604 indicating the line-of-sight estimation result coincides with the representative value graph 602, which indicates that the error included in the line-of-sight estimation result is suppressed.
  • a graph 701 represents that the line-of-sight direction changes at a constant speed.
  • the graph 702 indicating the extracted representative value varies in the same manner as the graph 701.
  • the graph 704 is obtained as the visual line estimation result.
  • the graph 704 indicating the line-of-sight estimation result matches the graph 701 of the line-of-sight measurement result, and thus indicates that the delay in the line-of-sight estimation result is suppressed.
  • the line-of-sight determination unit 213 can suppress a large error included in the line-of-sight estimation result as shown in FIG. 8, and is included in the line-of-sight estimation result even when the line of sight moves as shown in FIG. Error can be suppressed without delay.
  • the line-of-sight estimation apparatus 200 has a case where the difference D between the line-of-sight measurement result A and the representative value B extracted by the representative value extraction unit 212 is less than the threshold T.
  • the representative value B is the line-of-sight estimation result. Even when an error is included, a highly accurate gaze estimation result in which the error is suppressed can be obtained without delay.
  • the line-of-sight estimation apparatus 1100 As shown in FIG. 10, the line-of-sight estimation apparatus 1100 according to the second embodiment of the present invention, in addition to the configuration requirements of the line-of-sight estimation apparatus 200 according to the first embodiment of the present invention, An irradiation unit 1101 that irradiates a region near the face including
  • the irradiation unit 1101 is configured by a light that emits light in the near-infrared region, and is provided, for example, in the vicinity of the image input unit 201 so that its optical axis passes through the eyes of the driver.
  • Light in the near-infrared region is invisible to the driver, but is detected by an image sensor such as a CCD or CMOS.
  • the image input unit 201 reflects the light emitted from the irradiation unit 1101 in the vicinity of the driver's face area, and can capture an image of the reflected light.
  • the threshold value determination unit 214 determines the illumination state of the irradiation unit 1101 according to the timing at which the iris radius 1006 is calculated by image processing in order for the erroneous measurement difference minimum value determination unit 802 to determine the iris angle 1004. Is supposed to change.
  • the irradiation unit 1101 When the irradiation unit 1101 receives a timing signal indicating that the calculation of the iris radius 1006 is started from the erroneous measurement difference minimum value determination unit 802 of the threshold determination unit 214, the irradiation unit 1101 stops the irradiation. Thereby, the image input unit 201 can acquire an image in a state where the driver receives only natural light containing a lot of visible light, and the erroneous measurement difference minimum value determination unit 802 uses the image to determine the iris angle. 1004 can be calculated.
  • the irradiation unit 1101 when the irradiation unit 1101 receives a timing signal indicating that the calculation of the iris radius 1006 has ended from the erroneous measurement difference minimum value determination unit 802, the irradiation unit 1101 restarts irradiation.
  • the reflectance of light in the iris is lower in the visible light region than in the near infrared light region, when the infrared luminance is high, as shown in FIG.
  • the brightness of the iris decreases, and the brightness difference between the iris and the sclera (white eye) increases. Therefore, the calculation result of the iris radius 1006 can be stabilized by controlling the irradiation by the irradiation unit 1101 as described above.
  • the line-of-sight estimation apparatus 1100 according to the second embodiment of the present invention can obtain the same effects as those of the line-of-sight estimation apparatus 200 according to the first embodiment of the present invention. Even when there is an individual difference in the iris radius 1006, a stable and highly accurate gaze estimation result can be obtained without delay.
  • each functional block used in the description of each of the above embodiments is typically configured by an LSI (Large Scale Integration) that is an integrated circuit. Each of these functional blocks may be individually made into one chip.
  • the LSI may be referred to as an IC (Integrated Circuit), a system LSI, a super LSI, or an ultra LSI depending on the degree of integration.
  • the line-of-sight estimation apparatus of the present invention may be configured by a dedicated circuit or a general-purpose processor in addition to the LSI.
  • the line-of-sight estimation apparatus of the present invention is configured by an FPGA (Field Programmable Gate Array) that can be programmed after LSI manufacturing, or a reconfigurable processor that can reconfigure the connection and setting of circuit cells inside the LSI. May be.
  • FPGA Field Programmable Gate Array
  • the gaze estimation apparatus of the present invention can output a gaze estimation result with high accuracy
  • the gaze estimation apparatus of the present invention is useful as a device that can be used for a side-by-side alarm and oversight detection using a vehicle-mounted camera.
  • the line-of-sight estimation apparatus of the present invention can be used not only for in-vehicle use but also for a wide range of uses such as operation of AV equipment such as a television, and human behavior analysis in a surveillance camera.
  • Gaze estimation device 201
  • Image input unit 202
  • Gaze measurement unit 203
  • Gaze estimation unit 211
  • Gaze measurement result holding unit 212
  • Representative value extraction unit 213
  • Gaze decision unit 214
  • Threshold decision unit 301
  • Face peripheral images 302, 303, 402, 403 End point 401 Eye region image 404, 1001 Pupil center 601, 701 Graph showing gaze measurement result 602, 702 Graph showing representative value 603, 703 Graph showing threshold processing 604, 704 Graph showing gaze estimation result 801
  • Threshold value setting unit 901 Graph when measurement result is correct 902 Graph when error measurement is performed 1002 Eyeball center 1003
  • One point on iris contour 1004
  • Iris angle 1005
  • Eyeball radius 1006

Abstract

　視線計測結果に瞳孔の誤検出に起因するような大きな誤差が含まれる場合でも、誤差が抑制された高精度な視線推定結果を遅延なく得ることができる視線推定装置を提供する。視線推定装置２００は、人物を撮影して画像を取り込む画像入力部２０１と、撮影された画像をもとに視線方向を計測する視線計測部２０２と、過去に計測された視線計測結果を保持する視線計測結果保持部２１１と、過去の視線計測結果の代表値を抽出する代表値抽出部２１２と、該代表値と該視線計測結果との差分が所定の閾値未満であるか否かにより、該代表値と該視線計測結果とのいずれかを視線推定結果として決定する視線決定部２１３とを備える。

Description

視線推定装置
　本発明は、人物の顔付近の領域を撮影装置により撮影した画像から該人物の視線方向を推定する視線推定装置に関し、より詳しくは、視線計測装置によって得られた視線計測結果に誤差が含まれる場合にも計測結果を平滑化することにより、精度良く視線方向を推定する機能を有する視線推定装置に関する。
　近年、自動車内に設置された車載用カメラを用いて運転者の顔付近の領域を撮影した画像から運転者の視線方向を推定し、計測した視線方向をもとに運転者の脇見状態を判定することにより、運転者に警告を与えるシステムが考案されてきている。このようなシステムでは精度良く視線方向を推定することが必要となる。
　視線推定装置は、大きく２種類に分類され、目周辺を拡大して撮影した画像から視線推定を行うものと、顔全体を含む顔周辺を広角に撮影した画像から視線推定を行うものとに大別される。
　このうち、目周辺を拡大して撮影した画像から視線推定を行うものは、高精度な視線推定が可能である一方で、頭部が動くと視線推定を行うことができなくなってしまうという欠点があり、運転者の視線推定には不適である。
　これに対し、顔全体を広角に撮影した画像から視線推定を行うものは、頭部が比較的自由に動いても視線推定を行うことができ、運転者の視線推定には適しているが、目領域に対する画素数や解像度が低くなるため、視線推定の精度が劣化しやすいという特徴がある。
　一般的に、顔全体を広角に撮影した画像から視線推定を行う視線推定装置は、撮影された人物の瞳孔の中心位置を検出することにより該人物の視線方向を推定する。このとき、目領域の解像度の低さが原因で、目領域周辺の低輝度部分で瞳孔の誤検出が頻繁に発生する。
　その結果として、瞳孔の誤検出による大きな誤差が視線計測結果に多く含まれることとなる。このため、精度良く視線方向を推定するためには、一旦得られた視線計測結果をそのまま出力するのではなく、平滑化することにより誤差の影響を除去する必要がある。
　このため、従来、何らかの信号処理技術を用いて、視線計測結果を平滑化する手法が提案されている。例えば、精度の良い視線推定結果を得るために、ウェーブレット解析を用いた平滑化処理を行うものがある（例えば、特許文献１参照）。
特許第３７６０９６０号公報
　しかしながら、上述した従来の技術では、視線計測結果に大きな誤差が含まれる場合に、平滑化が不十分となる。具体的には、実際に発生した瞳孔の誤検出を分析すると、瞳孔の誤検出は、目尻や虹彩輪郭の位置など、瞳孔の中心位置とは大きく離れた位置に、数フレームに１回程度の頻度で発生する場合がほとんどである。
　例えば、視線計測結果は、図１３に示すように、サージ電流のようになる。したがって、このような視線計測結果に対して高精度な平滑化処理を行ったとしても、大きな誤差を除去することはできず、視線推定結果の精度は低下してしまう。
　また、平滑化処理を行った場合には、平滑化後の視線計測結果が、実際の計測値よりも数フレーム分遅延することが多く、リアルタイム性が低下することが問題となる。
　本発明の目的は、図１３のように視線計測結果に瞳孔の誤検出に起因するような大きな誤差が含まれる場合でも、誤差が抑制された高精度な視線推定結果を遅延なく得ることができる視線推定装置を提供することを目的とする。
　本発明の視線推定装置は、目を含む顔付近の領域を撮影して画像として取り込む画像入力部と、撮影された画像をもとに視線方向を計測する視線計測部と、前記視線計測部で過去に計測された視線計測結果を保持する視線計測結果保持部と、前記視線計測結果保持部に保持された過去の視線計測結果の代表値を抽出する代表値抽出部と、前記代表値抽出部により抽出された代表値と前記視線計測部により計測された視線計測結果との差分Ｄが所定の閾値Ｔ未満であるか否かにより、前記代表値と前記視線計測結果とのいずれかを視線推定結果として決定する視線決定部と、を備えた構成を有している。
　この構成により、本発明の視線推定装置は、視線計測結果と代表値との差分Ｄが閾値Ｔ未満である場合には、視線計測結果を視線推定結果とし、差分Ｄが閾値Ｔ以上である場合には、代表値を視線推定結果とするため、視線計測結果に瞳孔の誤検出に起因するような大きな誤差が含まれる場合でも、誤差が抑制された高精度な視線推定結果を遅延なく得ることができる。
　なお、本発明の視線推定装置は、前記閾値Ｔを決定する閾値決定部を更に備え、前記閾値決定部は、１フレームの間に視線が動く可能性がある最大眼球回転角度Ｐと、瞳孔領域外に瞳孔を誤検出した場合における差分Ｄの最小角度Ｑを設定した上で、前記最大眼球回転角度Ｐ以上かつ前記最小角度Ｑ以下の値を前記閾値Ｔとして決定するようにしてもよい。
　この構成により、本発明の視線推定装置は、視線計測結果と代表値のいずれかを選択するかに用いる閾値Ｔを適切に決定することができ、高精度な視線推定結果を安定して得ることができる。
　また、前記閾値決定部は、眼球運動を制御する筋肉の伸縮速度に関する既知の値に基づいて、前記最大眼球回転角度Ｐを設定するようにしてもよい。
　この構成により、本発明の視線推定装置は、閾値Ｔを決定するために参照される最大眼球回転角度Ｐを定数とすることができるため、閾値Ｔの決定にかかる時間を短縮することができる。
　また、前記閾値決定部は、前記視線計測部および前記視線決定部の少なくとも一方から過去に出力された結果に基づいて、前記最大眼球回転角度Ｐを微調整するようにしてもよい。
　この構成により、本発明の視線推定装置は、視線計測結果および視線推定結果の少なくとも一方に基づいて、最大眼球回転角度Ｐを微調整するため、最大眼球回転角度Ｐの精度を向上させることができる。
　また、前記閾値決定部は、瞳孔の中心から眼球の中心までを結ぶ直線と、虹彩輪郭上の一点から前記眼球の中心までを結ぶ直線とがなす角度、および、前記最大眼球回転角度Ｐに基づいて、前記最小角度Ｑを設定するようにしてもよい。
　この構成により、本発明の視線推定装置は、閾値Ｔを決定するために参照される最小角度Ｑを設定することができる。
　また、前記代表値抽出部は、前記視線計測結果保持部が保持する視線計測結果の中央値を前記代表値として抽出するようにしてもよい。
　この構成により、本発明の視線推定装置は、誤差が大きい視線計測結果が得られた場合でも、誤差が抑制された視線推定結果を遅延なく得ることができる。
　また、前記閾値決定部は、虹彩半径を算出し、算出した虹彩半径に基づいて、前記瞳孔の中心から前記眼球の中心までを結ぶ直線と、前記虹彩輪郭上の一点から前記眼球の中心までを結ぶ直線とがなす角度を算出するようにしてもよい。
　この構成により、本発明の視線推定装置は、運転者の虹彩半径に個人差がある場合でも安定して高精度な視線推定結果を得ることができる。
　また、本発明の視線推定装置は、前記目を含む顔付近の領域を照射する照射部を更に備え、前記閾値決定部は、前記虹彩の半径を計算するタイミングに合わせて、前記照射部による照射の状態を変更させるようにしてもよい。
　この構成により、本発明の視線推定装置は、輝度が安定した顔周辺画像を得ることができる一方で、虹彩の半径を計算するときには、可視光を多く含む自然光のみを運転者が受けた状態の画像に基づいて虹彩の半径を算出することができる。
　また、本発明の視線推定装置は、前記視線決定部によって決定された値を平滑化する時系列フィルタを更に備えるようにしてもよい。
　この構成により、本発明の視線推定装置は、誤差がより抑制された高精度な視線推定結果を得ることができる。
　本発明によれば、視線計測結果に瞳孔の誤検出に起因するような大きな誤差が含まれる場合でも、誤差が抑制された高精度な視線推定結果を遅延なく得ることができる視線推定装置を提供することができる。
本発明の第１の実施の形態における視線推定装置の概略構成を示すブロック図 本発明の第１の実施の形態における視線推定装置を構成する視線計測部に対する入力画像としての顔周辺画像を示す概念図 本発明の第１の実施の形態における視線推定装置を構成する視線計測部に対する入力画像から目周辺を切り出し拡大した目領域画像を示す図 本発明の第１の実施の形態における視線推定装置の視線計測結果と代表値との差分と各差分の発生頻度との関係を示すグラフ 本発明の第１の実施の形態における視線推定装置を構成する閾値決定部の構成を示すブロック図 眼球の模式図 本発明の第１の実施の形態における視線推定装置を構成する視線決定部の動作を示すフロー図 本発明の第１の実施の形態における視線静止時の視線推定装置の各部の処理結果を示す概念図 本発明の第１の実施の形態における視線移動時の視線推定装置の各部の処理結果を示す概念図 本発明の第２の実施の形態における視線推定装置の概略構成を示すブロック図 本発明の第２の実施の形態における視線推定装置に対する近赤外光照射環境下での入力画像を示す図 本発明の第２の実施の形態における視線推定装置に対する可視光照射環境下での入力画像を示す図 一般的な視線計測結果を示すグラフ
　以下に、本発明の実施の形態における視線推定装置について、図面を参照しながら説明する。なお、以下に示す実施の形態において、同一の構成要素には同一の符号を付し、その説明は省略する。
　（第１の実施の形態）
　図１は、本発明の第１の実施の形態に係る視線推定装置２００の構成を示すブロック図である。視線推定装置２００は、例えば、自動車の車室内に設けられ、外部の警報装置と接続される。この警報装置は、視線推定装置２００の視線推定結果に基づいて、運転者が正面を長時間向かなかったと判断した場合には、運転者に対して警告を行うことにより注意を喚起するようになっている。
　図１において、視線推定装置２００は、運転者の顔周辺を撮影する画像入力部２０１と、運転者の顔周辺を撮影した画像から運転者の視線方向を計測する視線計測部２０２と、視線計測部２０２による計測結果を表す視線計測結果を平滑化して運転者の視線方向を推定する視線推定部２０３とを備えている。
　画像入力部２０１は、ＣＣＤ（Charge Coupled Devices）又はＣＭＯＳ（Complementary Metal Oxide Semiconductor）等のイメージセンサを備えた撮影装置によって構成されており、前方の被写体を撮影することができる。画像入力部２０１は、運転者の顔周辺が撮影できるように、例えば、車のハンドルの上やダッシュボード上のような運転者の顔付近の領域を撮影できる場所に設置される。
　視線計測部２０２および視線推定部２０３は、例えば、ＣＰＵ（Central Processing Unit）やＤＳＰ（Digital Signal Processor）等のプロセッサ、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、および、入出力インターフェイスを備えた電子制御装置によって構成されている。
　ＲＯＭには、当該電子制御装置を視線計測部２０２および視線推定部２０３として機能させるためのプログラムが記憶されている。すなわち、プロセッサがＲＡＭを作業領域としてＲＯＭに記憶されたプログラムを実行することにより、当該電子制御装置は、視線計測部２０２および視線推定部２０３として機能する。
　視線計測部２０２は、運転者の顔周辺が画像入力部２０１によって撮影された顔周辺画像から、撮影されたときの運転者の視線方向を計測するようになっている。以下に、視線計測部２０２による視線方向の計測例について説明する。
　視線計測部２０２は、図２に示すような運転者の顔周辺の領域が撮影された顔周辺画像３０１の中で少なくとも片方の目の端点３０２、３０３を検出するようになっている。例えば、視線計測部２０２は、目の端点の標準的な画像をテンプレートとして予め保持しておき、そのテンプレート画像をもとに顔周辺画像３０１内を探索することにより、目の端点３０２、３０３を検出するようになっている。
　また、視線計測部２０２は、目の端点３０２、３０３を通り、目の端点３０２、３０３間の距離に応じたサイズの矩形を切り出し、拡大することにより、図３に示すような目領域画像４０１を取得するようになっている。ここで、視線計測部２０２は、目領域画像４０１内で、瞳孔の中心（以下、単に「瞳孔中心」という）４０４を検出するようになっている。
　例えば、視線計測部２０２は、目領域画像４０１の中で輝度が低い画素を抽出し、抽出した画素をグルーピングすることによって瞳孔領域の候補を抽出した上で、各瞳孔領域の候補の面積を算出し、予め設定された瞳孔の面積に最も近い面積を有する瞳孔領域の候補を瞳孔領域として選択し、選択した瞳孔領域の中心を瞳孔中心４０４として検出するようになっている。
　視線計測部２０２は、目領域画像４０１における目の端点４０２、４０３および瞳孔中心４０４に基づいて、視線方向を検出するようになっている。例えば、視線計測部２０２は、目の端点４０２、４０３に対して、瞳孔中心４０４がどの程度左右に偏っているかにより、視線の水平方向の角度を算出するようになっている。
　なお、視線計測部２０２は、予め定められた複数の角度を運転手に向いてもらうたびに、画像入力部２０１によって撮影された顔周辺画像３０１から得た目領域画像４０１における目の端点４０２、４０３および瞳孔中心４０４の位置関係を予め保持しておくことにより、より正確な視線角度を算出するようにしてもよい。
　視線計測部２０２による計測結果には、図１３に示したように大きな誤差が含まれているものがある。このため、視線推定部２０３は、視線計測部２０２による計測結果を表す視線計測結果を平滑化した上で、運転者の視線方向を推定するようになっている。また、視線推定部２０３は、推定した結果を警報装置に出力するようになっている。
　図１において、視線推定部２０３は、視線計測部２０２によって計測された過去数フレーム分の視線計測結果を保持する視線計測結果保持部２１１と、過去数フレーム分の視線計測結果の代表値を抽出する代表値抽出部２１２と、視線方向を決定する視線決定部２１３と、視線決定部２１３によって参照される閾値を決定する閾値決定部２１４とを有する。
　視線計測結果保持部２１１は、過去数フレーム分の視線計測結果を保持するようになっている。ここで、視線計測結果保持部２１１が保持する視線計測結果の数については、任意に設定することができるが、本実施の形態において、視線計測結果保持部２１１は、１秒分のフレーム数の視線計測結果を保持するものとする。
　代表値抽出部２１２は、視線計測結果保持部２１１に保持された過去の視線計測結果から過去数フレーム分の視線計測結果を代表する代表値を抽出するようになっている。本実施の形態において、代表値抽出部２１２は、視線計測結果保持部２１１に保持されている視線計測結果の中央値を代表値として抽出するようになっている。
　視線計測結果保持部２１１に保持された視線計測結果には、図１３に示すサージ電流のような大きな誤差が含まれることが多いため、代表値抽出部２１２は、視線計測結果の中央値を代表値とすることにより、視線計測結果に含まれる誤差の影響が小さい代表値を抽出することができる。
　視線決定部２１３は、視線方向を決定するようになっている。具体的には、視線決定部２１３は、まず、視線計測部２０２によって計測された視線計測結果Ａと、代表値抽出部２１２によって抽出された代表値Ｂとの差分Ｄを算出するようになっている。
　また、視線決定部２１３は、算出した差分Ｄが閾値Ｔ未満であるか否かを判断し、差分Ｄが閾値Ｔ未満であると判断した場合には、視線計測結果Ａを視線方向として決定するようになっている。一方、差分Ｄが閾値Ｔ未満でない、すなわち、閾値Ｔ以上であると判断した場合には、視線決定部２１３は、代表値Ｂを視線方向として決定するようになっている。
　また、視線決定部２１３は、決定した視線方向を視線推定結果として警報装置に出力するようになっている。ここで、視線決定部２１３が決定した視線方向をそのまま警報装置に入力させるようにしてもよいし、例えば、平均値フィルタやカルマンフィルタ等の時系列フィルタを用いて、遅延が少ない平滑化処理を施した上で警報装置に入力させてもよい。
　閾値決定部２１４は、１フレームあたりの最大眼球回転角度Ｐと、瞳孔領域外に瞳孔を誤検出した場合における差分Ｄの最小角度Ｑとに基づいて、閾値Ｔを決定するようになっている。
　ここで、最大眼球回転角度Ｐおよび最小角度Ｑと、閾値Ｔとの関係について、図４を参照して説明する。図４は、実際に視線計測を行った場合に、横軸に差分Ｄを取り、縦軸に差分Ｄの発生頻度を取ったときのグラフの典型例を示している。
　ここで、実線９０１は、視線計測結果が正しかったときのグラフを示し、破線９０２は、瞳孔領域外に瞳孔を誤検出したことによって誤計測したときのグラフを示している。このグラフから、最大眼球回転角度Ｐは実線９０１の上限値、最小角度Ｑは破線９０２の下限値として考えることができる。
　このように、一般的に、最小角度Ｑは最大眼球回転角度Ｐより大きくなることが実験的にわかっているため、最大眼球回転角度Ｐと最小角度Ｑとの間に閾値Ｔを定めることにより、差分Ｄが正しい計測結果によるものか、誤計測によるものかを判断することができる。
　具体的な構成として、閾値決定部２１４は、図５に示すように、最大眼球回転角度決定部８０１と、誤計測時差分最小値決定部８０２と、閾値設定部８０３とを有している。
　最大眼球回転角度決定部８０１は、最大眼球回転角度Ｐを決定するようになっている。この最大眼球回転角度Ｐは、眼球運動を制御する筋肉の伸縮速度に関する医学的な既知の値をもとに一定値と考えることができる。具体的には、一般的な最大眼球速度は毎秒３００度とされているため、毎秒３０フレームで画像を撮影して視線計測を行う場合には、１フレームあたりの最大眼球回転角度Ｐは１０度と定められる。
　なお、最大眼球回転角度決定部８０１は、例えば、視線計測部２０２の視線計測結果の履歴および視線決定部２１３の視線推定結果の履歴などのような過去の出力履歴に基づいて、最大眼球回転角度Ｐを微調整するようにしてもよい。
　例えば、最大眼球回転角度決定部８０１は、最大眼球回転角度Ｐが過去の履歴と比較して大き過ぎる場合には、最大眼球回転角度Ｐを一定な微小値分小さくするといった処理を行うようにしてもよい。
　誤計測時差分最小値決定部８０２は、最小角度Ｑを決定するようになっている。ここで、瞳孔領域外に瞳孔を誤検出する場合のほとんどは、虹彩輪郭上またはその外側に発生することが実験的に既知であるため、誤計測時差分最小値決定部８０２は、その既知の値を利用して最小角度Ｑを決定するようになっている。
　具体的には、誤計測時差分最小値決定部８０２は、図６に示すように、瞳孔中心１００１から眼球中心１００２までを結ぶ直線と、虹彩輪郭上の一点１００３から眼球中心１００２までを結ぶ直線とがなす角度（以下、「虹彩角度」という）１００４を算出し、算出した虹彩角度１００４と、最大眼球回転角度Ｐとに基づいて最小角度Ｑを決定するようになっている。
　ここで、虹彩角度１００４は、眼球半径１００５や虹彩半径１００６に依存するが、一般成人において、眼球半径１００５は個人間の変動がほとんどなく、虹彩半径１００６についても変動が比較的少ないため、医学的な既知の値をもとに一定値とすることができる。
　一般的に、虹彩半径１００６は６ｍｍ、眼球半径１００５は１２ｍｍであるため、虹彩角度１００４は３０度となる。誤計測時差分最小値決定部８０２は、最大眼球回転角度Ｐも考慮し、例えば、最大眼球回転角度Ｐが１０度と定められた場合には、最小角度Ｑを２０度と定めるようになっている。
　なお、誤計測時差分最小値決定部８０２は、虹彩半径１００６を画像処理により算出し、その算出結果をもとに虹彩角度１００４を算出するようにしてもよい。例えば、図３において、誤計測時差分最小値決定部８０２は、視線計測部２０２によって検出される瞳孔中心４０４周辺で一定輝度よりも小さい画素をグルーピングすることにより虹彩に対応する画素を抽出し、抽出した画素を円形近似することにより、画像上での虹彩輪郭を求めるようにしてもよい。
　また、画像入力部２０１の焦点距離、イメージセンサの画素ピッチ、および、カメラから目周辺までの距離が既知であれば、虹彩輪郭の実寸を顔周辺画像３０１から導出することができるため、誤計測時差分最小値決定部８０２は、画像入力部２０１の焦点距離、イメージセンサの画素ピッチ、および、撮影装置から目周辺までの距離に基づいて顔周辺画像３０１から虹彩半径１００６を算出するようにしてもよい。
　この場合には、誤計測時差分最小値決定部８０２は、例えば、互いの位置関係が既知の２台のカメラを用いて、ステレオ測距処理を行うことにより撮影装置から目周辺までの距離を算出するようにしてもよい。
　閾値設定部８０３は、最大眼球回転角度Ｐと最小角度Ｑとの間の任意の１つの角度を閾値Ｔとして決定するようになっている。例えば、閾値設定部８０３は、最大眼球回転角度Ｐが１０度と定められ、最小角度Ｑが２０度と定められた場合には、閾値Ｔを１５度に決定することができる。
　なお、閾値設定部８０３は、頭部の移動量を推定した結果を考慮して閾値Ｔを変動させるようにしてもよい。例えば、閾値設定部８０３は、頭部が左右方向に回転移動したときには、視線方向も大きく移動している可能性が高いことを考慮して、閾値Ｔを大きく定めるようにしてもよい。この場合には、閾値設定部８０３は、目の端点４０２、４０３の移動量に基づいて、頭部の移動量の推定するようにしてもよい。
　以上のように構成された視線決定部２１３の動作を図７に示すフロー図を参照しながら説明する。
　まず、視線計測部２０２の視線計測結果Ａと、代表値抽出部２１２によって抽出された代表値Ｂとの差分Ｄが視線決定部２１３によって計算される（Ｓ５０１）。次に、差分Ｄが閾値決定部２１４によって決定された閾値Ｔ未満であるか否かが視線決定部２１３によって判断される（Ｓ５０２）。
　ここで、差分Ｄが閾値Ｔ未満であると判断された場合には、視線計測結果Ａが視線決定部２１３から視線推定結果として出力される（Ｓ５０３）。一方、差分Ｄが閾値Ｔ未満でないと判断された場合には、代表値Ｂが視線推定結果として視線決定部２１３から出力される（Ｓ５０４）。
　このように動作する視線決定部２１３による視線推定結果の出力例について図８を用いて詳細に説明する。視線計測結果Ａを時系列でプロットすると、例えば、グラフ６０１に示すように、視線計測結果Ａには、大きな誤差が含まれるものがある。
　ここで、グラフ６０１の各フレームの代表値として所定フレーム分の計測結果の中央値が代表値として抽出されると、抽出された代表値は、グラフ６０２に示すように、視線計測結果Ａに含まれる誤差が抑制されている。
　その後、グラフ６０１とグラフ６０２とを比較していくと、グラフ６０３に示すように、双方の差分Ｄが閾値Ｔ以上となっているところがあるため、視線推定結果としてグラフ６０４が得られる。このように、視線推定結果を示すグラフ６０４は、代表値のグラフ６０２と一致するため、視線推定結果に含まれる誤差が抑制されていることを示している。
　次に、視線決定部２１３の他の出力例を図９を用いて説明する。グラフ７０１は、視線方向が一定の速度で変化していることを表している。ここで、グラフ７０１の各フレームの代表値として所定フレーム分の計測結果の中央値が抽出されると、抽出された代表値を示すグラフ７０２は、グラフ７０１と同様に変動する。
　その後、グラフ７０１とグラフ７０２とを比較していくと、グラフ７０３に示すように、双方の差分Ｄが常に閾値Ｔ未満となっているため、視線推定結果としてグラフ７０４が得られる。このように、視線推定結果を示すグラフ７０４は、視線計測結果のグラフ７０１と一致するため、視線推定結果の遅延が抑制されていることを示す。
　以上のように、視線決定部２１３は、図８に示すように、視線推定結果に含まれる大きな誤差を抑制することができ、図９に示すように、視線移動時にも、視線推定結果に含まれる誤差を遅延なく抑制することができる。
　このように、本発明の第１の実施の形態に係る視線推定装置２００は、視線計測結果Ａと、代表値抽出部２１２によって抽出された代表値Ｂとの差分Ｄが閾値Ｔ未満である場合には、視線計測結果Ａを視線推定結果とし、差分Ｄが閾値Ｔ以上である場合には、代表値Ｂを視線推定結果とするため、視線計測結果に瞳孔の誤検出に起因するような大きな誤差が含まれる場合でも、誤差が抑制された高精度な視線推定結果を遅延なく得ることができる。
　（第２の実施の形態）
　図１０に示すように、本発明の第２の実施の形態に係る視線推定装置１１００は、本発明の第１の実施の形態に係る視線推定装置２００の構成要件に加えて、運転者の目を含む顔付近の領域を照射する照射部１１０１を備えている。
　照射部１１０１は、近赤外線領域の光を発光するライトによって構成され、その光軸が運転者の目を通るように、例えば、画像入力部２０１の近傍に設けられている。近赤外線領域の光は、運転者には不可視であるが、ＣＣＤやＣＭＯＳ等のイメージセンサには検知される。このため、画像入力部２０１は、照射部１１０１から照射された光が運転者の顔領域付近で反射し、反射した光の像を撮影することができる。
　本実施の形態において、閾値決定部２１４は、誤計測時差分最小値決定部８０２が虹彩角度１００４を決定するために、虹彩半径１００６を画像処理により算出するタイミングに応じて照射部１１０１の照明状態を変更するようになっている。
　照射部１１０１は、閾値決定部２１４の誤計測時差分最小値決定部８０２から虹彩半径１００６の算出を開始することを表すタイミング信号を受信すると、照射を中止するようになっている。これにより、可視光を多く含む自然光のみを運転者が受けた状態で画像入力部２０１が画像を取得することができ、誤計測時差分最小値決定部８０２は、その画像を用いて、虹彩角度１００４を算出することができる。
　一方、照射部１１０１は、誤計測時差分最小値決定部８０２から虹彩半径１００６の算出が終了したことを表すタイミング信号を受信すると、照射を再開するようになっている。
　ここで、虹彩における光の反射率は、近赤外光領域よりも可視光領域の方が低いため、近赤外光照射時には、図１１に示すように、虹彩の輝度が高い場合であっても、可視光下では、図１２に示すように、虹彩の輝度が低くなり、虹彩と強膜（白目）部分との輝度差が大きくなる。したがって、照射部１１０１による照射を上述したように制御することにより、虹彩半径１００６の算出結果を安定させることができる。
　このように、本発明の第２の実施の形態に係る視線推定装置１１００は、本発明の第１の実施の形態に係る視線推定装置２００と同様な効果を得ることができると共に、運転者の虹彩半径１００６に個人差がある場合でも安定して高精度な視線推定結果を遅延なく得ることができる。
　なお、上記各実施の形態においては、本発明の視線推定装置をソフトウェアで構成する場合を例にとって説明したが、本発明の視線推定装置は、ハードウェアで構成することも可能である。この場合、上記各実施の形態の説明に用いた各機能ブロックは、典型的には集積回路であるＬＳＩ（Large Scale Integration）によって構成される。これら各機能ブロックは、個別に１チップ化されてもよい。ここで、ＬＳＩは、集積度の違いにより、ＩＣ（Integrated Circuit）、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。
　また、本発明の視線推定装置は、ＬＳＩによって構成する他に、専用回路または汎用プロセッサによって構成してもよい。例えば、ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Field Programmable Gate Array）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサによって本発明の視線推定装置を構成してもよい。
　さらには、半導体技術の進歩または派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて、本発明の視線推定装置の各機能ブロックの集積化を行ってもよい。
　本発明の視線推定装置は、精度の高い視線推定結果を出力することができるため、車載用カメラを用いた脇見警報や見落とし検知に利用できるものとして有用である。また、本発明の視線推定装置は、車載用途のみならず、テレビなどのＡＶ機器操作や、監視カメラにおける人物行動解析など幅広い用途に用いることができる。
　２００、１１００　視線推定装置
　２０１　画像入力部
　２０２　視線計測部
　２０３　視線推定部
　２１１　視線計測結果保持部
　２１２　代表値抽出部
　２１３　視線決定部
　２１４　閾値決定部
　３０１　顔周辺画像
　３０２、３０３、４０２、４０３　目の端点
　４０１　目領域画像
　４０４、１００１　瞳孔中心
　６０１、７０１　視線計測結果を示すグラフ
　６０２、７０２　代表値を示すグラフ
　６０３、７０３　閾値処理を示すグラフ
　６０４、７０４　視線推定結果を示すグラフ
　８０１　最大眼球回転角度決定部
　８０２　誤計測時差分最小値決定部
　８０３　閾値設定部
　９０１　計測結果が正しいときのグラフ
　９０２　誤計測のときのグラフ
　１００２　眼球中心
　１００３　虹彩輪郭上の一点
　１００４　虹彩角度
　１００５　眼球半径
　１００６　虹彩半径
　１１０１　照射部

Claims (9)

  1. 　目を含む顔付近の領域を撮影して画像として取り込む画像入力部と、
    　撮影された画像をもとに視線方向を計測する視線計測部と、
    　前記視線計測部で過去に計測された視線計測結果を保持する視線計測結果保持部と、
    　前記視線計測結果保持部に保持された過去の視線計測結果の代表値を抽出する代表値抽出部と、
    　前記代表値抽出部により抽出された代表値と前記視線計測部により計測された視線計測結果との差分Ｄが所定の閾値Ｔ未満であるか否かにより、前記代表値と前記視線計測結果とのいずれかを視線推定結果として決定する視線決定部と、を備えた視線推定装置。
  2. 　前記閾値Ｔを決定する閾値決定部を更に備え、
    　前記閾値決定部は、１フレームの間に視線が動く可能性がある最大眼球回転角度Ｐと、瞳孔領域外に瞳孔を誤検出した場合における差分Ｄの最小角度Ｑを設定した上で、前記最大眼球回転角度Ｐ以上かつ前記最小角度Ｑ以下の値を前記閾値Ｔとして決定することを特徴とする請求項１に記載の視線推定装置。
  3. 　前記閾値決定部は、眼球運動を制御する筋肉の伸縮速度に関する既知の値に基づいて、前記最大眼球回転角度Ｐを設定することを特徴とする請求項２に記載の視線推定装置。
  4. 　前記閾値決定部は、前記視線計測部および前記視線決定部の少なくとも一方から過去に出力された結果に基づいて、前記最大眼球回転角度Ｐを微調整することを特徴とする請求項３に記載の視線推定装置。
  5. 　前記閾値決定部は、瞳孔の中心から眼球の中心までを結ぶ直線と、虹彩輪郭上の一点から前記眼球の中心までを結ぶ直線とがなす角度、および、前記最大眼球回転角度Ｐに基づいて、前記最小角度Ｑを設定することを特徴とする請求項２に記載の視線推定装置。
  6. 　前記代表値抽出部は、前記視線計測結果保持部が保持する視線計測結果の中央値を前記代表値として抽出することを特徴とする請求項１に記載の視線推定装置。
  7. 　前記閾値決定部は、虹彩半径を算出し、算出した虹彩半径に基づいて、前記瞳孔の中心から前記眼球の中心までを結ぶ直線と、前記虹彩輪郭上の一点から前記眼球の中心までを結ぶ直線とがなす角度を算出することを特徴とする請求項５に記載の視線推定装置。
  8. 　前記目を含む顔付近の領域を照射する照射部を更に備え、
    　前記閾値決定部は、前記虹彩の半径を計算するタイミングに合わせて、前記照射部による照射の状態を変更させることを特徴とする請求項７に記載の視線推定装置。
  9. 　前記視線決定部によって決定された値を平滑化する時系列フィルタを更に備えたことを特徴とする請求項１に記載の視線推定装置。
PCT/JP2010/007245 2010-09-27 2010-12-14 視線推定装置 WO2012042580A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
EP10847169.9A EP2457499B1 (en) 2010-09-27 2010-12-14 Line-of-sight estimation device
CN201080019815.4A CN102548465B (zh) 2010-09-27 2010-12-14 视线估计装置
US13/240,200 US8503737B2 (en) 2010-09-27 2011-09-22 Visual line estimating apparatus

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2010215331A JP5466610B2 (ja) 2010-09-27 2010-09-27 視線推定装置
JP2010-215331 2010-09-27

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US13/240,200 Continuation US8503737B2 (en) 2010-09-27 2011-09-22 Visual line estimating apparatus

Publications (1)

Publication Number Publication Date
WO2012042580A1 true WO2012042580A1 (ja) 2012-04-05

Family

ID=45892086

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2010/007245 WO2012042580A1 (ja) 2010-09-27 2010-12-14 視線推定装置

Country Status (4)

Country Link
EP (1) EP2457499B1 (ja)
JP (1) JP5466610B2 (ja)
CN (1) CN102548465B (ja)
WO (1) WO2012042580A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104778390A (zh) * 2014-01-10 2015-07-15 由田新技股份有限公司 身份认证系统及其方法

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102799277B (zh) * 2012-07-26 2015-06-10 深圳先进技术研究院 一种基于眨眼动作的人机交互方法及系统
CN104180995A (zh) * 2013-05-24 2014-12-03 上海汽车集团股份有限公司 一种扫描车辆整车视野的装置以及方法
CN103337171B (zh) * 2013-06-15 2018-04-10 广东安达交通工程有限公司 一种交通综合监控系统及其监控方法
KR101470243B1 (ko) * 2013-11-15 2014-12-05 현대자동차주식회사 시선 검출 장치 및 그 시선 검출 방법
KR101628543B1 (ko) * 2014-11-26 2016-06-08 현대자동차주식회사 시선추적장치 및 그의 추적정확도 측정방법
WO2016098406A1 (ja) * 2014-12-17 2016-06-23 ソニー株式会社 情報処理装置、情報処理方法及びプログラム
EP3305176A1 (en) 2016-10-04 2018-04-11 Essilor International Method for determining a geometrical parameter of an eye of a subject
CN112597872A (zh) * 2020-12-18 2021-04-02 深圳地平线机器人科技有限公司 视线角度估计方法和装置、存储介质、电子设备
WO2023139975A1 (ja) * 2022-01-21 2023-07-27 日本電気株式会社 眼球運動測定装置、眼球運動測定プログラムを格納した非一時的なコンピュータ可読媒体及び眼球運動測定方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0796803A (ja) * 1993-08-04 1995-04-11 Nissan Motor Co Ltd 車両用インタフェース
JP2004334784A (ja) * 2003-05-12 2004-11-25 Nissan Motor Co Ltd 確認動作検出装置及び警報システム
JP2007268164A (ja) * 2006-03-31 2007-10-18 National Univ Corp Shizuoka Univ 視線移動検出方法及び視線移動検出装置
JP2007301087A (ja) * 2006-05-10 2007-11-22 Gen Tec:Kk 車両運転者の視線方向の検出方法又は同装置
JP2009181424A (ja) * 2008-01-31 2009-08-13 Nec Corp 画像処理装置、画像処理方法及び画像処理プログラム

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2950546B2 (ja) * 1988-08-31 1999-09-20 キヤノン株式会社 視線検出装置及び視線検出装置を有するカメラ
JP4551766B2 (ja) * 2002-10-15 2010-09-29 ボルボ テクノロジー コーポレイション 被験者の頭及び目の動きを分析する方法及び装置
US8406479B2 (en) * 2006-07-14 2013-03-26 Panasonic Corporation Visual axis direction detection device and visual line direction detection method
JP4420002B2 (ja) * 2006-09-14 2010-02-24 トヨタ自動車株式会社 視線先推定装置
CA2685976C (en) * 2007-05-23 2013-02-19 The University Of British Columbia Methods and apparatus for estimating point-of-gaze in three dimensions
CN101788848B (zh) * 2009-09-29 2012-05-23 北京科技大学 用于视线追踪系统的眼部特征参数检测方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0796803A (ja) * 1993-08-04 1995-04-11 Nissan Motor Co Ltd 車両用インタフェース
JP2004334784A (ja) * 2003-05-12 2004-11-25 Nissan Motor Co Ltd 確認動作検出装置及び警報システム
JP2007268164A (ja) * 2006-03-31 2007-10-18 National Univ Corp Shizuoka Univ 視線移動検出方法及び視線移動検出装置
JP2007301087A (ja) * 2006-05-10 2007-11-22 Gen Tec:Kk 車両運転者の視線方向の検出方法又は同装置
JP2009181424A (ja) * 2008-01-31 2009-08-13 Nec Corp 画像処理装置、画像処理方法及び画像処理プログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP2457499A4 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104778390A (zh) * 2014-01-10 2015-07-15 由田新技股份有限公司 身份认证系统及其方法

Also Published As

Publication number Publication date
EP2457499B1 (en) 2016-11-02
JP2012065997A (ja) 2012-04-05
EP2457499A4 (en) 2014-04-09
CN102548465B (zh) 2015-12-16
JP5466610B2 (ja) 2014-04-09
EP2457499A1 (en) 2012-05-30
CN102548465A (zh) 2012-07-04

Similar Documents

Publication Publication Date Title
JP5466610B2 (ja) 視線推定装置
EP2541493B1 (en) Pupil detection device and pupil detection method
JP5538160B2 (ja) 瞳孔検出装置及び瞳孔検出方法
US9330325B2 (en) Apparatus and method for reducing noise in fingerprint images
US20200210733A1 (en) Enhanced video-based driver monitoring using phase detect sensors
JP2003098424A (ja) 画像処理測距装置
CN106934804B (zh) 图像清晰度检测方法及装置
JP6601351B2 (ja) 視線計測装置
US8503737B2 (en) Visual line estimating apparatus
US8983147B2 (en) Eyelid detection device
US11210773B2 (en) Information processing apparatus, information processing method, and storage medium for defect inspection and detection
JP2018156408A (ja) 画像認識撮像装置
US10593044B2 (en) Information processing apparatus, information processing method, and storage medium
WO2019021876A1 (ja) 車載カメラのキャリブレーション装置及び方法
JP2011134119A (ja) 車両周辺監視装置
JP5519413B2 (ja) 瞳孔隠蔽状態検出装置及びそれを備えた車載カメラ
JP4111080B2 (ja) 脇見状態検出装置
JP4151624B2 (ja) 瞳孔検出装置、虹彩認証装置及び瞳孔検出方法
JP6169446B2 (ja) 視線検出装置
JP6737213B2 (ja) 運転者状態推定装置、及び運転者状態推定方法
JP5655491B2 (ja) 開眼状態検出装置
JP2004310396A (ja) 画像処理装置
US20230017607A1 (en) Imaging apparatus
JP5743635B2 (ja) 異物検知装置
TWI621554B (zh) 基線可調式立體視覺裝置

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 201080019815.4

Country of ref document: CN

REEP Request for entry into the european phase

Ref document number: 2010847169

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 2010847169

Country of ref document: EP

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 10847169

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE