WO2013008303A1 - 赤目検出装置 - Google Patents

赤目検出装置 Download PDF

Info

Publication number
WO2013008303A1
WO2013008303A1 PCT/JP2011/065823 JP2011065823W WO2013008303A1 WO 2013008303 A1 WO2013008303 A1 WO 2013008303A1 JP 2011065823 W JP2011065823 W JP 2011065823W WO 2013008303 A1 WO2013008303 A1 WO 2013008303A1
Authority
WO
WIPO (PCT)
Prior art keywords
eye
red
template
opening degree
degree
Prior art date
Application number
PCT/JP2011/065823
Other languages
English (en)
French (fr)
Inventor
清人 埴田
嘉修 竹前
Original Assignee
トヨタ自動車株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by トヨタ自動車株式会社 filed Critical トヨタ自動車株式会社
Priority to US14/232,175 priority Critical patent/US9177202B2/en
Priority to DE112011105439.4T priority patent/DE112011105439B4/de
Priority to JP2013523727A priority patent/JP5737400B2/ja
Priority to PCT/JP2011/065823 priority patent/WO2013008303A1/ja
Publication of WO2013008303A1 publication Critical patent/WO2013008303A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/193—Preprocessing; Feature extraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30041—Eye; Retina; Ophthalmic
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30216—Redeye defect

Definitions

  • the present invention relates to a red-eye detection device that detects red-eye by template matching using a red-eye template.
  • the driver's line of sight is detected by capturing the driver's face with a camera fixed to the steering column of the vehicle and detecting the driver's black eye position from the captured image. Things have been done.
  • the red-eye phenomenon occurs at night when the amount of light outside the vehicle is low. Therefore, in order to detect the driver's line of sight at night when the amount of light outside the vehicle is small, it is necessary to detect the driver's red eyes from the image information.
  • red-eye detection has been performed by template matching using a red-eye template (see, for example, Patent Document 1).
  • the red-eye shape in the image changes depending on the degree of eye opening. For this reason, if template matching is performed using a single red-eye template, the red-eye cannot be appropriately detected depending on the degree of eye opening. On the other hand, if template matching is performed using a large number of red-eye templates corresponding to all eye opening degrees, the processing speed is significantly reduced, which is not realistic.
  • an object of the present invention is to provide a red-eye detection device that can accurately detect red-eye even if the shape of the red-eye changes depending on the degree of eye opening.
  • a red-eye detection device is a red-eye detection device that detects red eyes from an image obtained by capturing a face by template matching using a red-eye template, and includes a red-eye template generation unit that generates a red-eye template corresponding to the degree of eye opening. .
  • the red-eye template corresponding to the degree of eye opening is generated, so that the red eye can be accurately detected even if the shape of the red eye changes depending on the degree of eye opening.
  • the red-eye template generation means can update the red-eye template used for the next template matching with the generated red-eye template.
  • the red eye template corresponding to the degree of eye opening can be used in the next template matching, the accuracy of red eye detection can be improved.
  • an eye opening degree calculating means for calculating the eye opening degree from the image.
  • the reliability of an eye opening degree can be improved by calculating
  • the eye opening degree calculating means may calculate the eye opening degree based on a relative eye opening degree in which the closed eye state is 0% and the open eye state is 100%.
  • the distance from the upper eyelid to the lower eyelid in the face image varies depending on the distance from the camera and individual differences. Therefore, by expressing the eye opening degree as a relative eye opening degree in this way, the eye opening degree can be normalized even if the distance from the upper eyelid to the lower eyelid in the image varies depending on the distance from the camera or individual differences. , Can properly generate a red-eye template.
  • a sleepiness level estimating means for estimating the degree of eye opening according to the sleepiness level.
  • the degree of eye opening can be obtained indirectly from the degree of sleepiness. And by estimating the eye opening degree according to the sleepiness degree, even if the eye opening degree changes depending on the sleepiness degree, the red eye can be accurately detected.
  • the vehicle further includes an outside light amount detecting means for detecting a light amount outside the vehicle, an eye opening degree detecting means for calculating an eye opening degree from the face image, and a black eye detecting means for detecting a black eye from the face image.
  • a red-eye template of a size to be generated can be generated. Black eyes are easier to detect than red eyes, and red-eye phenomenon does not occur in times when the amount of light outside the vehicle is high, so by learning the correlation between the degree of eye opening and the size of black eyes during such times, Correlation can be learned.
  • the red-eye template having a size corresponding to the degree of eye opening is generated with reference to the correlation in a time zone when the amount of light outside the vehicle is low, a red-eye template corresponding to the degree of eye opening can be generated with higher accuracy. .
  • the red eye can be accurately detected even if the shape of the red eye changes depending on the degree of eye opening.
  • the red-eye detection device is mounted on a driving support control device that detects driving eyes and performs driving support control.
  • FIG. 1 is a diagram illustrating a block configuration of the red-eye detection device according to the first embodiment.
  • the red-eye detection device 1 according to the first embodiment includes an image sensor 10 and an ECU (Electronic Control Unit) 20.
  • ECU Electronic Control Unit
  • the image sensor 10 is a sensor that images a driver's face.
  • the image sensor 10 for example, a CCD camera fixed to a steering column of a vehicle is used.
  • An image (face image) captured by the image sensor 10 is composed of image information representing the position and color information of each pixel. Then, the image sensor 10 outputs image information of the captured image to the ECU 20.
  • the ECU 20 is a computer of an automobile device that performs electronic control, and includes a CPU (Central Processing Unit), a ROM (Read Only Memory), a RAM (Random Access Memory), and other input / output interfaces. .
  • a CPU Central Processing Unit
  • ROM Read Only Memory
  • RAM Random Access Memory
  • the ECU 20 is connected to the image sensor 10 and includes a face position / face feature point detection unit 21, a red eye detection unit 22, an eye opening degree calculation unit 23, a relative eye opening degree calculation unit 24, and a red eye template update unit 25. .
  • the face position / face feature point detection unit 21 has a function of detecting a feature point of a driver's face from an image captured by the image sensor 10. More specifically, the face position / face feature point detection unit 21 first uses the entire image captured by the image sensor 10 as a search range, and uses a statistical method such as neural network or boosting. Discover the location. Then, the face position / face feature point detection unit 21 sets a face position area including the found face position, and determines a face feature point from the set face position area by a statistical method such as neural network or boosting. To detect. Examples of facial feature points include the right eye corner, right eye head, left eye corner, left eye head, nasal cavity center, and left and right mouth edges. The detection of each feature point of the face is not limited to this method, and other known methods may be used.
  • the red eye detection unit 22 has a function of performing red eye detection by template matching using a red eye template. Specifically, the red-eye detection unit 22 first sets the face position set by the face position / face feature point detection unit 21 based on the feature points of the corners of the eyes and the eyes detected by the face position / face feature point detection unit 21. Set the red-eye search area from the area. Then, the red eye detection unit 22 detects red eyes from the red eye search region by template matching using a red eye template.
  • the eye opening degree calculation unit 23 has a function of calculating an eye opening degree that indicates the degree to which the driver's eyes are open. More specifically, the eye opening degree calculation unit 23 generates an image in which the edge is emphasized by filtering the face position region set by the face position / face feature point detection unit 21. The eye opening degree calculation unit 23 projects a plurality of curves connecting the corners of the eyes and the eyes on the generated edge image, and detects the positions of the upper eyelid and the lower eyelid from the edge intensity on the curve. The eye opening degree calculation unit 23 calculates the eye opening degree [pix] using the difference between the upper eyelid position and the lower eyelid position. This eye opening degree is expressed in units of pixels of pixels.
  • the relative eye opening degree calculation unit 24 has a function of calculating the relative eye opening degree [%] in a ratio where the closed eye state is 0% and the eye opening state is 100% from the eye opening degree of the pixel unit calculated by the eye opening degree calculation unit 23. is doing.
  • the red-eye template update unit 25 has a function of updating the red-eye template based on the relative eye opening degree calculated by the relative eye opening degree calculation unit 24. More specifically, the red-eye template update unit 25 generates a red-eye template corresponding to the relative eye opening degree calculated by the relative eye opening degree calculation unit 24. Then, the red-eye template update unit 25 updates the red-eye template used for the next template matching with the generated red-eye template.
  • FIG. 2 is a flowchart showing the red-eye detection processing operation of the red-eye detection apparatus according to the first embodiment.
  • the process shown in FIG. 2 is performed under the control of the ECU 20, and is repeatedly performed at a predetermined interval from the timing when the ignition is turned on until the ignition is turned off, for example.
  • the series of processing units shown in FIG. 2 is called a frame. Therefore, the current frame means a series of processes shown in FIG. 2 performed this time, and the previous frame means a series of processes shown in FIG. 2 performed last time.
  • the ECU 20 inputs an image of the driver imaged by the image sensor 10 (step S11).
  • step S11 an image F1 shown in FIG. 3 captured by the image sensor 10 is input.
  • FIG. 3 is an example of an image captured by the image sensor.
  • the ECU 20 detects a face position / face feature point (step S12).
  • the face position / face feature point detection unit 21 performs the processing in step S12.
  • the face position / face feature point detection unit 21 uses the entire image F1 input in step S11 as a search range to find a face position by a statistical method such as neural network or boosting.
  • the face position / face feature point detector 21 sets a face position region G1.
  • FIG. 4 is a schematic diagram for explaining a face feature point detection method, and shows a face position region G1.
  • the face position area G1 is an area including the found face position, and is an area of the image F1.
  • the face position / face feature point detection unit 21 uses the set face position region G1 as a search range, and a statistical technique such as neural network or boosting, the right eye corner, right eye head, left eye corner, left eye head, nasal cavity center , Feature points such as left and right mouth edges are detected.
  • a statistical technique such as neural network or boosting, the right eye corner, right eye head, left eye corner, left eye head, nasal cavity center , Feature points such as left and right mouth edges are detected.
  • step S13 determines whether or not the current flow is the first time. If the ECU 20 determines that the current flow is the first time (step S13: YES), the process proceeds to step S14. If the ECU 20 determines that the current flow is not the first time (step S13: NO), the process proceeds to step S15.
  • step S14 detects a red eye by template matching using the red eye template prepared in advance next (step S14).
  • the red-eye template prepared in advance is a template showing red eyes when the degree of eye opening is 100%.
  • the red-eye detection unit 22 performs the process of step S14. First, the red-eye detection unit 22 sets a red-eye search region from the face position region G1 (see FIG. 4) set in step S12.
  • FIG. 5 is a schematic diagram for explaining a red-eye detection method. As shown in FIG.
  • the red-eye search region G2 includes, for example, a line segment arranged outside the corner of the eye and extending in the vertical direction, a line segment arranged inside the eye and extending in the vertical direction, and the corner of the eye and the corner of the eye A rectangle defined by a line segment that is arranged above the line segment that connects the two and extends in the left-right direction, and a line segment that is arranged below the line segment that connects the corners of the eyes and the eyes and extends in the left-right direction. It becomes an area.
  • the red-eye detection unit 22 detects the red-eye candidate C by template matching the red-eye search area G2 using a red-eye template prepared in advance. Note that the red-eye detection unit 22 detects a pixel pattern that exceeds a predetermined threshold by template matching as a red-eye candidate C.
  • the red-eye detection unit 22 detects the true red-eye R as the red-eye candidate C and also detects the LED light L as the red-eye candidate C. As a result, in step S14, two red-eye candidates C are detected. Therefore, the red-eye detection unit 22 determines the red-eye candidate C of the pixel pattern having the highest matching degree with the red-eye template as the red-eye R.
  • the ECU 20 that has determined that the current flow is the first time in the above-described step S13 detects the red eye by template matching using the red-eye template updated in the previous frame (step S15).
  • the red eye template updated in the previous frame is the red eye template updated in step S18 (details will be described later) in the previous frame.
  • the processing in step S15 is performed by the red-eye detection unit 22 as in step S14.
  • the process in step S15 is basically the same as the process in step S14, and only the red-eye template to be used is different. For this reason, detailed description of step S15 is omitted.
  • step S16 the ECU 20 calculates an eye opening degree (step S16).
  • the process of step S16 is performed by the eye opening degree calculation unit 23.
  • the eye opening degree calculation unit 23 detects upper and lower eyelids from the feature points of the eyes and outer corners detected in step S12.
  • FIG. 6 is a schematic diagram for explaining a method for detecting upper and lower eyelids.
  • the eye opening degree calculation unit 23 applies an Sobel filter, for example, to the face position region G1 set in step S12 to generate an edge image G3 that is an image with emphasized edges.
  • the eye opening degree calculation unit 23 projects a plurality of curves starting from the feature points of the corner of the eye and the eye detected in step S12, and calculates the intensity of the edge on the curve (pixel value of the edge image). To do. For example, a Bezier curve is used as the curve.
  • the eye opening degree calculation unit 23 selects a curve having a strong edge strength from the calculated edge strengths, and sets them as an upper eyelid curve and a lower eyelid curve. At this time, the eye opening degree calculation unit 23 excludes the curve below the red eye R detected in step S14 or S15 from the upper eyelid candidate, and the curve above the red eye R detected in step S14 or S15 Exclude from candidates
  • the eye opening degree calculation unit 23 calculates the Y coordinate of the middle point of the upper eyelid curve and the Y coordinate of the middle point of the lower eyelid curve, and calculates the eye opening degree [pix] based on the difference between the Y coordinates of the upper and lower eyelid curves. .
  • the eye opening degree is a value of a pixel unit of a pixel. Note that the method for calculating the degree of eye opening is not limited to this method, and other known methods may be used.
  • step S17 the ECU 20 calculates a relative degree of eye opening [%] in a ratio where the closed eye state is 0% and the eye opening state is 100% from the eye opening degree [pix] calculated in step S16 (step S17).
  • the process of step S17 is performed by the relative eye opening degree calculation unit 24.
  • FIG. 7 is a schematic diagram for explaining a method for calculating the relative eye opening degree, and shows a time-eye opening degree graph showing a waveform K1 of the eye opening degree over time.
  • the relative opening degree calculation unit 24 sets predetermined opening degrees as the opening threshold A1 and the closing threshold A2 in advance, and uses the opening degree [pix] calculated in step S16 as the opening degree ⁇ time. Plot on the graph.
  • the relative eye opening degree calculation unit 24 updates the average value of the eye opening degree higher than the preset eye opening threshold A1 as the eye opening threshold A1, and also calculates the average eye opening degree lower than the preset eye closing threshold A2.
  • the relative opening degree calculation unit 24 calculates the relative opening degree [%] at a ratio in which the updated eye opening threshold A1 is 100% and the updated eye closing threshold A2 is 0% from the eye opening degree calculated by the eye opening degree calculation unit 23. calculate.
  • step S18 the ECU 20 updates the red-eye template according to the relative eye opening degree calculated in step S18 (step S18).
  • the processing in step S18 is performed by the red-eye template update unit 25.
  • FIG. 8 is a schematic diagram showing the relationship between the relative eye opening degree and the red-eye template shape.
  • the shape of the red eye that appears in the image is proportional to the relative degree of eye opening. That is, if the relative opening degree is 100%, the red eye appearing in the image has a shape of 100%, and if the relative opening degree is 75%, the red eye appearing in the image has a shape of 75%, and the relative opening degree is If it is 50%, the red eye appearing in the image has a shape of 50%, and if the relative opening degree is 0%, no red eye appears in the image. Therefore, the red-eye template updating unit 25 generates a red-eye template having a shape corresponding to the relative eye opening degree calculated in step S17, and updates the red-eye template used for template matching of the next frame with the generated red-eye template.
  • the red-eye template update unit 25 compares the relative eye opening degree calculated in step S17 in the previous frame with the relative eye opening degree calculated in step S17 in the current frame, and compares the previous frame with the current eye opening degree. It is determined whether or not the relative opening degree has changed between the frames. If the red-eye template update unit 25 determines that the relative eye opening degree has not changed between the previous frame and the current frame, the red-eye template is not updated and the process of step S18 ends. On the other hand, if the red eye template update unit 25 determines that the relative opening degree has changed between the previous frame and the current frame, the red eye template having a shape corresponding to the relative opening degree calculated in step S17 in the current frame is obtained. Generate and update the red-eye template used for template matching of the next frame with the generated red-eye template.
  • the red-eye template update unit 25 may select a registered red-eye template instead of generating a red-eye template. More specifically, a plurality of types of red-eye templates having a shape corresponding to a predetermined relative eye opening degree are registered in advance. After that, when the process is started, the red-eye template updating unit 25 selects a red-eye template having a shape corresponding to the relative eye opening degree calculated in step S17 in the current frame from the plurality of registered red-eye templates in step S18. To do. Then, the red-eye template update unit 25 updates the red-eye template used for template matching of the next frame with the selected red-eye template.
  • the red-eye detection device 1 since the red-eye template corresponding to the relative degree of eye opening is generated, the red eye is accurately detected even if the shape of the red eye changes depending on the degree of eye opening. can do.
  • the accuracy of red eye detection can be improved.
  • the eye opening degree is normalized even if the distance from the upper eyelid to the lower eyelid in the face image differs depending on the distance from the image sensor 10 to the driver's face or individual differences. Therefore, a red-eye template can be appropriately generated.
  • the reliability of the eye opening degree can be improved.
  • the second embodiment is basically the same as the first embodiment, but differs from the first embodiment in that the degree of eye opening is estimated based on the sleepiness level. For this reason, below, only the part which is different from 1st Embodiment is demonstrated, and description of the part similar to 1st Embodiment is abbreviate
  • FIG. 9 is a diagram illustrating a block configuration of the red-eye detection device according to the second embodiment.
  • the red-eye detection device 2 according to the second embodiment includes an image sensor 10 and an ECU 30.
  • the ECU 30 is a computer of an automobile device that performs electronic control, and includes a CPU, a memory such as a ROM and a RAM, an input / output interface, and the like.
  • the ECU 30 is connected to the image sensor 10 and includes a face position / face feature point detection unit 31, a red eye detection unit 32, an eye opening degree calculation unit 33, a drowsiness estimation unit 34, and a red eye template update unit 35.
  • the face position / face feature point detection unit 31, the red eye detection unit 32, and the eye opening degree calculation unit 33 are the face position / face feature point detection unit 21, the red eye detection unit 22, and the eye opening degree calculation unit 23 in the first embodiment, respectively. It is the same.
  • the sleepiness estimation unit 34 has a function of calculating a blink feature amount from the eye opening degree calculated by the eye opening degree calculation unit 23 and estimating the degree of sleepiness (sleepiness degree) of the driver based on the calculated blink feature amount. ing.
  • As the blink feature value a time during which the eyes are closed in a predetermined time is used.
  • the sleepiness estimation unit 34 estimates the driver's sleepiness level using the relationship between the sleepiness level learned in advance and the blink feature amount.
  • the red-eye template update unit 35 has a function of updating the red-eye template based on the sleepiness level estimated by the sleepiness estimation unit 34. More specifically, a plurality of types of red-eye templates having a shape corresponding to a predetermined relative eye opening degree are registered in advance. The red-eye template updating unit 35 selects a red-eye template corresponding to the sleepiness level estimated by the sleepiness estimation unit 34 from the plurality of registered red-eye templates. Then, the red-eye template updating unit 35 updates the red-eye template used for the next template matching with the selected red-eye template. That is, the red-eye template update unit 35 indirectly estimates the degree of eye opening from the sleepiness level estimated by the sleepiness estimation unit 34.
  • the red-eye template updating unit 35 generates a red-eye template corresponding to the estimated eye opening degree by selecting from a plurality of registered red-eye templates, and the red-eye template used for the next template matching with the generated red-eye template. Update the template.
  • FIG. 10 is a flowchart illustrating the red-eye detection processing operation of the red-eye detection apparatus according to the second embodiment.
  • the process shown in FIG. 10 is performed under the control of the ECU 30, and is repeatedly performed at a predetermined interval from the timing when the ignition is turned on until the ignition is turned off, for example.
  • a series of processing units shown in FIG. 10 is referred to as a frame. Therefore, the current frame means a series of processes shown in FIG. 10 performed this time, and the previous frame means a series of processes shown in FIG. 10 performed last time.
  • step S21 the ECU 30 inputs an image of the driver imaged by the image sensor 10 (step S21).
  • the process of step S21 is the same as the process of step S11 in the first embodiment.
  • step S22 the ECU 30 detects a face position / face feature point.
  • the process of step S22 is the same as the process of step S12 in the first embodiment.
  • step S23 determines whether or not the current flow is the first time.
  • step S23: YES determines that the current flow is the first time
  • step S24 determines that the current flow is not the first time
  • step S25 the ECU 30 proceeds to step S25.
  • step S24 detects a red eye by template matching using the red eye template prepared in advance next (step S24).
  • the process of step S24 is the same as the process of step S14 in the first embodiment.
  • the ECU 30 that has determined that the current flow is the first time in step S23 detects red eyes by template matching using the red-eye template updated in the previous frame (step S25).
  • the red eye template updated in the previous frame is the red eye template updated in step S28 (details will be described later) in the previous frame.
  • the processing in step S25 is performed by the red-eye detection unit 22 as in step S24.
  • the process in step S25 is basically the same as the process in step S24, and only the red-eye template to be used is different. For this reason, detailed description of step S25 is omitted.
  • step S26 the ECU 30 calculates the eye opening degree (step S26).
  • the process of step S26 is the same as the process of step S16 in the first embodiment.
  • the ECU 30 estimates the driver's sleepiness level (step S27).
  • the drowsiness estimation unit 34 performs the process of step S27.
  • the drowsiness estimation unit 34 calculates a blink feature amount that is a feature amount correlated with sleepiness based on the degree of eye opening calculated in step S26.
  • the blink feature amount is a physical quantity obtained by acquiring a closed eye period in an eye state in a predetermined period (for example, 10 seconds) and calculating a ratio of the closed eye period to the predetermined period.
  • the sleepiness estimation unit 34 estimates the driver's sleepiness level based on the calculated blink feature amount.
  • FIG. 11 is a schematic diagram for explaining a method for calculating the blink feature amount, and shows a time-opening degree graph showing an eye-opening degree waveform K2 over time.
  • periods T1 and T2 are periods in which the degree of eye opening is equal to or less than the eye closing threshold A2, that is, the eye closing period.
  • a period T3 is a section in which the degree of eye opening could not be detected in step S26.
  • the drowsiness estimation unit 34 sets a predetermined period excluding the period T3, and calculates the ratio of the closed eye period to the set predetermined period as the blink feature amount.
  • the drowsiness estimating unit 34 calculates the blink feature amount by excluding information on the period in which the degree of eye opening is not detected in step S26.
  • a feature quantity other than the blink feature quantity may be calculated as long as the physical quantity has a correlation with sleepiness.
  • FIG. 12 is a schematic diagram for explaining the sleepiness level estimation method, and shows the relationship between the blink feature amount and the probability density.
  • FIG. 12 shows the statistical distribution (probability density with respect to the blinking feature amount) of each sleepiness expressed by two-level evaluation, where SA is the statistical distribution when the sleepiness is low, and SB is the statistical distribution when the sleepiness is high. It is said.
  • the statistical distributions SA and SB are acquired by, for example, prior learning performed in offline processing.
  • the drowsiness estimation unit 34 calculates the probability density of the statistical distribution SA and the statistical distribution SB when the blink feature amount is R1, and the magnitude relationship of the calculated probability density To estimate sleepiness.
  • the sleepiness level can be expressed by, for example, a 6-level evaluation of 0 to 5. In this case, for example, a sleepiness level of 0 is completely awake, a sleepiness level of 1 is not sleepy, a sleepiness level of 2 is hardly sleepy, a sleepiness level of 3 is slightly sleepy, a sleepiness level of 4 is quite sleepy, and a sleepiness level 5 becomes almost asleep.
  • step S28 the ECU 30 updates the red-eye template according to the sleepiness level estimated in step S27 (step S28).
  • the processing in step S28 is performed by the red-eye template update unit 35.
  • FIG. 13 is a schematic diagram showing the relationship between the sleepiness level and the red-eye template shape.
  • the degree of eye opening of a person changes depending on the sleepiness level, and the eye opening degree decreases as the sleepiness level increases. That is, when the sleepiness level is low, the degree of eye opening increases, so the shape of the red eye appearing in the driver's face image increases.
  • the sleepiness level is high, the degree of eye opening decreases, and the red eye appearing in the driver's face image. The shape of becomes smaller. Therefore, as shown in FIG. 13, a plurality of red-eye templates corresponding to the sleepiness level are registered in the red-eye template update unit 35.
  • Each of the registered red-eye templates has a shape corresponding to the sleepiness level and a red-eye shape corresponding to the degree of eye opening corresponding to the sleepiness level. Then, the red-eye template updating unit 35 selects a red-eye template with an eye opening degree corresponding to the sleepiness estimated in step S27 from the plurality of registered red-eye templates, and uses the selected red-eye template for the next frame. Update the red-eye template used for template matching. That is, the red-eye template update unit 35 estimates the eye opening degree according to the sleepiness degree, and updates the red eye template based on the estimated eye opening degree.
  • the red-eye template updating unit 35 compares the sleepiness level estimated in step S27 in the previous frame with the sleepiness level estimated in step S27 in the current frame, and the previous frame and the current frame are compared. It is determined whether or not the sleepiness level has changed. If the red-eye template update unit 35 determines that the sleepiness level has not changed between the previous frame and the current frame, the red-eye template is not updated, and the process of step S28 ends. On the other hand, when determining that the sleepiness level has changed between the previous frame and the current frame, the red-eye template update unit 35 selects a red-eye template having a shape corresponding to the sleepiness level estimated in step S27 in the current frame. The red eye template used for template matching of the next frame is updated with the selected red eye template.
  • the red-eye template updating unit 35 may generate a red-eye template from scratch instead of selecting a red-eye template from registration information. Specifically, the red-eye template update unit 35 estimates the shape of the red eye from the sleepiness estimated in step S27, and generates a red-eye template having the estimated shape. Then, the red-eye template update unit 35 updates the red-eye template used for template matching of the next frame with the generated red-eye template.
  • the correlation between the sleepiness level and the red-eye pattern is learned in a certain period immediately after the start of processing, and in step S28, the red-eye template update unit 35 is based on the learned correlation between the sleepiness level and the red-eye pattern.
  • a red-eye template may be generated.
  • the eye opening degree can be obtained indirectly from the sleepiness degree. Furthermore, even if the degree of eye opening varies depending on the sleepiness level, red eyes can be accurately detected.
  • the third embodiment is basically the same as the first embodiment, but learns the correlation between the degree of eye opening and the size of the red eye, and updates the red eye template based on the learned correlation. This is different from the first embodiment. For this reason, below, only the part which is different from 1st Embodiment is demonstrated, and description of the part similar to 1st Embodiment is abbreviate
  • FIG. 14 is a diagram showing a block configuration of a red-eye detection device according to the third embodiment.
  • the red-eye detection device 3 according to the third embodiment includes an image sensor 10, an illuminance sensor 40, and an ECU 50.
  • the illuminance sensor 40 is a sensor that measures the amount of light outside the vehicle.
  • the light quantity outside the vehicle is the light quantity outside the vehicle. For this reason, the amount of light outside the vehicle increases during the daytime, and the amount of light outside the vehicle decreases at night.
  • the illuminance sensor 40 for example, a photoelectric conversion element fixed near the window of the vehicle is used. Then, the illuminance sensor 40 outputs the measured outside light amount to the ECU 50.
  • the ECU 50 is a computer of an automobile device that performs electronic control, and includes a CPU, a memory such as a ROM and a RAM, and an input / output interface.
  • the ECU 50 is connected to the image sensor 10 and the illuminance sensor 40, and is a day / night determination unit 51, a face position / face feature point detection unit 52, a red eye detection unit 53, an eye opening degree calculation unit 54, a black eye size learning unit 55, and a red eye.
  • a template update unit 56 is provided.
  • the red-eye detection unit 53 and the eye opening degree calculation unit 54 are the same as the red eye detection unit 22 and the eye opening degree calculation unit 23 in the first embodiment, respectively.
  • the day / night determination unit 51 has a function of determining whether it is daytime when the amount of light outside the vehicle is high or nighttime when the amount of light outside the vehicle is low.
  • the day / night determination unit 51 determines day / night based on, for example, the amount of light outside the vehicle output from the illuminance sensor 40 or the total luminance of the image output from the image sensor 10.
  • the face position / face feature point detection unit 52 is basically the same as the face position / face feature point detection unit 21 in the first embodiment, but further detects black eyes and calculates the size of the detected black eyes. It has a function.
  • the detection of black eyes can be performed by, for example, template matching using a black eye template.
  • the black eye size learning unit 55 has a function of learning a correlation between the size of the black eye detected by the face position / face feature point detecting unit 52 and the eye opening degree calculated by the eye opening degree calculating unit 54.
  • the red-eye template update unit 56 has a function of estimating the eye opening degree and updating the red eye template based on the estimated eye opening degree and the correlation between the eye opening degree learned by the black eye size learning unit 55 and the size of the black eye. ing.
  • FIG. 15 is a flowchart illustrating the red-eye detection processing operation of the red-eye detection apparatus according to the third embodiment.
  • the process shown in FIG. 15 is performed under the control of the ECU 50, and is repeatedly performed at a predetermined interval from the timing when the ignition is turned on until the ignition is turned off, for example.
  • a series of processing units shown in FIG. 15 is referred to as a frame. Therefore, the current frame means a series of processes shown in FIG. 15 performed this time, and the previous frame means a series of processes shown in FIG. 15 performed last time.
  • step S31 the ECU 50 inputs an image of the driver imaged by the image sensor 10 (step S31).
  • the process of step S31 is the same as the process of step S11 in the first embodiment.
  • step S32 the ECU 50 detects a face position / face feature point.
  • the process of step S32 is the same as the process of step S12 in the first embodiment.
  • step S33 the ECU 50 determines whether it is night (step S33).
  • the process of step S33 is performed by the day / night determination unit 51.
  • the day / night determination unit 51 determines day / night based on the amount of light outside the vehicle output from the illuminance sensor 40, the image output from the image sensor 10, and the like.
  • the day / night determination unit 51 first acquires the amount of light outside the vehicle output from the illuminance sensor 40.
  • the day / night determination unit 51 determines that it is daytime when the light amount outside the vehicle is higher than a predetermined threshold value, and determines that it is nighttime when the light amount outside the vehicle is equal to or less than the predetermined threshold value.
  • the day / night determination unit 51 first acquires the image output from the image sensor 10. Then, the day / night determination unit 51 calculates the total luminance of each pixel constituting the image, determines that it is daytime when the total luminance is higher than a predetermined threshold, and the total luminance is equal to or lower than the predetermined threshold. Is determined to be night.
  • step S33: NO If the ECU 50 determines that it is daytime (step S33: NO), it proceeds to step S34, and if it is determined that it is nighttime (step S33: YES), it proceeds to step S37.
  • step S34 calculates an eye opening degree next (step S34).
  • the process of step S34 is the same as the process of step S16 in the first embodiment.
  • the ECU 50 detects black eyes (step S35).
  • the face position / face feature point detection unit 52 performs the process of step S35.
  • the face position / face feature point detection unit 52 sets a black eye search area from the face position area G1 (see FIG. 4) set in step S32.
  • the black eye search area is the same as the red eye search area G2 (see 5).
  • the face position / face feature point detection unit 52 detects black eyes from the black eye search region by template matching using a black eye template.
  • the black eye detection method is not limited to this method, and other known methods may be used.
  • the face position / face feature point detection unit 52 calculates the size of the black eye of the part not hidden behind the eyelids.
  • FIG. 16 is a schematic diagram for explaining a black eye size calculation method.
  • the degree of eye opening calculated in step S34 is calculated by the difference between the Y coordinate of the midpoint of the upper eyelid curve and the Y coordinate of the midpoint of the lower eyelid curve.
  • the calculated degree of eye opening does not always match the size of the black eye that is not hidden behind the eyelid. Therefore, when detecting the black eye, the face position / face feature point detection unit 52 detects the uppermost Y coordinate and the lowermost Y coordinate of the detected black eye, and calculates the difference between the detected Y coordinates. . Then, the face position / face feature point detection unit 52 sets the calculation result as the size of the black eye that is not hidden behind the eyelid.
  • step S36 the ECU 50 learns the correlation between the degree of eye opening and the size of the black eye (step S36).
  • the process of step S36 is performed by the black eye size learning unit 55.
  • FIG. 17 is an eye opening-black eye size graph showing the correlation between the eye opening degree and the size of the black eye.
  • the black eye size learning unit 55 has an eye opening degree-black eye size graph shown in FIG. Then, the black eye size learning unit 55 plots the black eye size detected in step S35 with respect to the eye opening degree calculated in step S34 in the eye opening degree-black eye size graph shown in FIG. Learn the size. Then, the black eye size learning unit 55 calculates the average value of the eye size and the standard deviation ⁇ with respect to the degree of eye opening.
  • step S37 the ECU 50 that has determined that it is nighttime in step S33 described above next updates the red-eye template (step S37).
  • the process of step S37 is performed by the red-eye template update unit 56.
  • FIG. 18 is a schematic diagram for explaining a method of estimating an eye opening degree. As shown in FIG. 18, the red-eye template update unit 56 first records the value of the eye opening degree detected in the past frame, and estimates the eye opening degree in the current frame using a filter such as a Kalman filter or a particle filter. To do. Note that the eye opening degree estimation method is not limited to this method, and other known methods may be used.
  • the red-eye template updating unit 56 refers to the eye opening-black eye size graph learned in step S36, and calculates the size of the black eye at the estimated eye opening degree.
  • the red-eye template updating unit 56 may calculate the size of one black eye using the average value of the eye opening degree-black eye size graph, or using the standard deviation ⁇ of the eye opening degree-black eye size graph. A plurality of black eye sizes may be calculated.
  • the red-eye template update unit 56 generates a red-eye template having the calculated black-eye size. If a plurality of black eye sizes are calculated, a plurality of red eye templates are also generated. Then, the red-eye template update unit 25 updates the red-eye template used for the current template matching with the generated red-eye template.
  • Step S38 is performed by the red-eye template update unit 56.
  • the process in step S38 is basically the same as the process in step S14 in the first embodiment, and only the red-eye template to be used is different. For this reason, detailed description of step S38 is omitted.
  • the red-eye detection device 3 As described above, according to the red-eye detection device 3 according to the third embodiment, during the daytime when the amount of light outside the vehicle is high, the correlation between the size of the eyes and the degree of eye opening is learned, and at night when the amount of light outside the vehicle is low, With reference to this correlation, a red-eye template having a size corresponding to the degree of eye opening is generated, so that a red-eye template corresponding to the degree of eye opening can be generated with higher accuracy.
  • the present invention has been described above, but the present invention is not limited to the above embodiment.
  • the first to third embodiments have been described as separate objects, but some or all of them may be combined as appropriate.
  • the first embodiment is more accurate than the second embodiment, and the second embodiment has a lower processing load than the first embodiment, so the first implementation is performed when the sleepiness level is low. It is good also as what performs the process of a form and performs the process of 2nd Embodiment, when a sleepiness degree becomes high.
  • the eye opening degree estimation process performed in the third embodiment may be performed in the first or second embodiment.
  • It can be used as a red-eye detection device that detects red eyes by template matching using red-eye templates.
  • Red eye detection apparatus 10 ... Image sensor (light quantity detection means outside a vehicle), 20 ... ECU, 21 ... Face position and face feature point detection part, 22 ... Red eye detection part (red eye detection means), 23 ... Eye opening degree calculation (Open eye degree calculation means), 24 ... relative eye opening degree calculation part, 25 ... red eye template update part (red eye template generation means), 30 ... ECU, 31 ... face position / face feature point detection part, 32 ... red eye detection part ( Red eye detection means), 33... Eye opening degree calculation section (eye opening degree calculation means), 34. Drowsiness estimation section (drowsiness degree estimation means), 35... Red eye template update section (red eye template generation means), 40. Detection means), 50...
  • ECU 51. Day / night determination part (light quantity outside vehicle detection means), 52. Face position / face feature point detection part (black eye detection means), 53. Red eye detection part (red eye detection means), 54. Degree calculation unit (degree of eye opening Output means), 55 ... black eye size learning section, 56 ... red eye template update section (red eye template generation means), L ... LED light, R ... red eye, C ... red eye candidate, F1 ... image, G1 ... face position area, G2 ... Red eye search region, G3 ... edge image, A1 ... open eye threshold, A2 ... closed eye threshold, SA ... statistic distribution statistical distribution when sleepiness is low, SB ... statistic distribution statistical distribution when sleepiness is high.

Landscapes

  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Ophthalmology & Optometry (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)

Abstract

　赤目の形状が開眼度によって変化しても赤目を正確に検出することができる赤目検出装置を提供することを課題とする。　画像センサ１０に接続されたＥＣＵ２０は、ドライバの顔の特徴点を検出する顔位置・顔特徴点検出部２１と、赤目テンプレートを用いたテンプレートマッチングにより赤目検出を行う赤目検出部２２と、開眼度を算出する開眼度算出部２３と、閉眼状態を０％及び開眼状態を１００％とした割合の相対開眼度を算出する相対開眼度算出部２４と、相対開眼度に基づいて赤目テンプレートを生成するとともに、この生成した赤目テンプレートで次回のテンプレートマッチングに用いる赤目テンプレートを更新する赤目テンプレート更新部２５と、を備える。

Description

赤目検出装置
　本発明は、赤目テンプレートを用いたテンプレートマッチングにより赤目を検出する赤目検出装置に関する。
　従来から、車両の衝突を事前に回避するために、車両のステアリングコラムに固定したカメラでドライバの顔を撮像し、この撮像した画像からドライバの黒目位置を検出することによりドライバの視線を検出することが行われている。
　ところで、車外光量の低い夜間などは、赤目現象が生じる。このため、車外光量の小さい夜間にドライバの視線を検出するためには、画像情報からドライバの赤目を検出する必要がある。
　そこで、従来は、赤目テンプレートを用いたテンプレートマッチングにより赤目の検出を行っていた（例えば、特許文献１参照）。
特開２００７－２８１８４７号公報
　しかしながら、画像に写る赤目の形状は開眼度によって変化する。このため、単一の赤目テンプレートを用いてテンプレートマッチングを行うと、開眼度によっては赤目を適切に検出することができない。一方、あらゆる開眼度に対応して多数のる赤目テンプレートを用いてテンプレートマッチングを行うと、処理速度が著しく低下するため、現実的ではない。
　そこで、本発明は、赤目の形状が開眼度によって変化しても赤目を正確に検出することができる赤目検出装置を提供することを課題とする。
　本発明に係る赤目検出装置は、赤目テンプレートを用いたテンプレートマッチングにより顔を撮像した画像から赤目を検出する赤目検出装置であって、開眼度に対応する赤目テンプレートを生成する赤目テンプレート生成手段を有する。
　本発明に係る赤目検出装置によれば、開眼度に応じた赤目テンプレートを生成するため、赤目の形状が開眼度によって変化しても赤目を正確に検出することができる。
　この場合、赤目テンプレート生成手段は、生成した赤目テンプレートで、次回のテンプレートマッチングに用いる赤目テンプレートを更新するものとすることができる。これにより、次回のテンプレートマッチングでは開眼度に対応した赤目テンプレートを用いることができるため、赤目検出の確度を向上することができる。
　また、画像から開眼度を算出する開眼度算出手段を更に有するものとすることができる。このように、画像から直接的に開眼度を求めることで、開眼度の信頼性を向上することができる。
　この場合、開眼度算出手段は、閉眼状態を０％及び開眼状態を１００％とした相対開眼度に基づいて開眼度を算出するものとすることができる。顔画像における上瞼から下瞼までの距離は、カメラからの距離や個人差によって異なる。そこで、このように開眼度を相対開眼度で表すことで、カメラからの距離や個人差によって画像における上瞼から下瞼までの距離が異なったとしても、開眼度を正規化することができるため、適切に赤目テンプレートを生成することができる。
　また、眠気度に応じて開眼度を推定する眠気度推定手段を更に有するものとすることができる。通常、眠気度によって開眼度が変わってくるため、眠気度から間接的に開眼度を求めることができる。そして、眠気度に応じて開眼度を推定することで、眠気度によって開眼度が変化しても、赤目を正確に検出することができる。
　また、車外光量を検出する車外光量検出手段と、顔画像から開眼度を算出する開眼度検出手段と、顔画像から黒目を検出する黒目検出手段と、を更に有し、赤目テンプレート生成手段は、車外光量が検出した車外光量が高い時間帯に、開眼度と黒目の大きさとの相関関係を学習し、車外光量が検出した車外光量が低い時間帯に、相関関係を参照して開眼度に対応する大きさの赤目テンプレートを生成するものとすることができる。赤目よりも黒目の方が検出し易く、車外光量が高い時間帯は赤目現象が生じないため、このような時間帯に開眼度と黒目の大きさとの相関関係を学習することで、適切に当該相関関係を学習することができる。そして、車外光量が低い時間帯に、当該相関関係を参照して、開眼度に対応する大きさの赤目テンプレートを生成するため、より高い確度で開眼度に対応した赤目テンプレートを生成することができる。
　本発明によれば、赤目の形状が開眼度によって変化しても赤目を正確に検出することができる。
第１の実施形態に係る赤目検出装置のブロック構成を示した図である。 第１の実施形態に係る赤目検出装置の赤目検出処理動作を示すフローチャートである。 画像センサが撮像した画像情報の一例を示した図である。 顔位置領域の一例を示した図である。 赤目の検出方法を説明するための概要図である。 上下瞼の検出方法を説明するための概要図である。 相対開眼度の算出方法を説明するための概要図である。 相対開眼度と赤目テンプレート形状との関係を示した概要図である。 第２の実施形態に係る赤目検出装置のブロック構成を示した図である。 第２の実施形態に係る赤目検出装置の赤目検出処理動作を示すフローチャートである。 瞬き特徴量の算出方法を説明するための概要図である。 眠気度の推定方法を説明するための概要図である。 眠気度と赤目テンプレート形状との関係を示した概要図である。 第３の実施形態に係る赤目検出装置のブロック構成を示した図である。 第３の実施形態に係る赤目検出装置の赤目検出処理動作を示すフローチャートである。 黒目のサイズの算出方法を説明するための概要図である。 開眼度と黒目のサイズとの相関関係を示したグラフである。 開眼度の推定方法を説明するための概要図である。
　以下、図面を参照して、本発明に係る赤目検出装置の実施の形態を説明する。なお、各図において同一又は相当する要素については同一の符号を付し、重複する説明を省略する。
　本実施形態に係る赤目検出装置は、ドライバの視線を検出して運転支援制御を行う運転支援制御装置などに搭載されるものである。
［第１の実施形態］
　図１は、第１の実施形態に係る赤目検出装置のブロック構成を示した図である。図１に示すように、第１の実施形態に係る赤目検出装置１は、画像センサ１０と、ＥＣＵ（Ｅｌｅｃｔｒｏｎｉｃ　Ｃｏｎｔｒｏｌ　Ｕｎｉｔ）２０と、を備えている。
　画像センサ１０は、ドライバの顔を撮像するセンサである。画像センサ１０としては、例えば、車両のステアリングコラムに固定されたＣＣＤカメラ等が用いられる。画像センサ１０が撮像した画像（顔画像）は、各画素の位置や色情報などを表す画像情報で構成されている。そして、画像センサ１０は、撮像した画像の画像情報をＥＣＵ２０へ出力する。
　ＥＣＵ２０は、電子制御を行う自動車デバイスのコンピュータであり、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）やＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）等のメモリ、及び入出力インターフェイスなどを備えて構成されている。
　このＥＣＵ２０は、画像センサ１０に接続されており、顔位置・顔特徴点検出部２１、赤目検出部２２、開眼度算出部２３、相対開眼度算出部２４及び赤目テンプレート更新部２５を備えている。
　顔位置・顔特徴点検出部２１は、画像センサ１０が撮像した画像から、ドライバの顔の特徴点を検出する機能を有している。具体的に説明すると、顔位置・顔特徴点検出部２１は、まず、画像センサ１０が撮像した画像全体を探索範囲として、ニューラルネットワーク（Ｎｅｕｒａｌ　Ｎｅｔｗｏｒｋ）やブースティング（Ｂｏｏｓｔｉｎｇ）等の統計手法により顔位置を発見する。そして、顔位置・顔特徴点検出部２１は、この発見した顔位置を含む顔位置領域を設定し、この設定した顔位置領域から、ニューラルネットワークやブースティング等の統計手法により顔の特徴点を検出する。顔の特徴点としては、例えば、右目尻、右目頭、左目尻、左目頭、鼻腔中心、左右口端等が挙げられる。なお、顔の各特徴点の検出は、この手法に限られるものではなく、公知の他の手法を用いてもよい。
　赤目検出部２２は、赤目テンプレートを用いたテンプレートマッチングにより赤目検出を行う機能を有している。具体的に説明すると、赤目検出部２２は、まず、顔位置・顔特徴点検出部２１が検出した目尻及び目頭の特徴点に基づいて、顔位置・顔特徴点検出部２１が設定した顔位置領域から、赤目探索領域を設定する。そして、赤目検出部２２は、赤目テンプレートを用いたテンプレートマッチングにより、赤目探索領域から赤目を検出する。
　開眼度算出部２３は、ドライバの眼が開いている度合いを示す開眼度を算出する機能を有している。具体的に説明すると、開眼度算出部２３は、顔位置・顔特徴点検出部２１が設定した顔位置領域にフィルタをかけてエッジを強調した画像を生成する。そして、開眼度算出部２３は、生成されたエッジ画像上に目尻及び目頭を結ぶ複数の曲線を投影し、その曲線上のエッジ強度から上瞼及び下瞼の位置を検出する。そして、開眼度算出部２３は、上瞼の位置と下瞼の位置との差分を用いて開眼度［ｐｉｘ］を算出する。この開眼度は、画素のピクセル（ｐｉｘｅｌ）単位で表される。
　相対開眼度算出部２４は、開眼度算出部２３が算出したピクセル単位の開眼度から、閉眼状態を０％及び開眼状態を１００％とした割合の相対開眼度［％］を算出する機能を有している。
　赤目テンプレート更新部２５は、相対開眼度算出部２４で算出された相対開眼度に基づいて赤目テンプレートを更新する機能を有している。具体的に説明すると、赤目テンプレート更新部２５は、相対開眼度算出部２４で算出された相対開眼度に対応する赤目テンプレートを生成する。そして、赤目テンプレート更新部２５は、この生成した赤目テンプレートで、次回のテンプレートマッチングに用いる赤目テンプレートを更新する。
　次に、第１の実施形態に係る赤目検出装置１の動作について説明する。図２は、第１の実施形態に係る赤目検出装置の赤目検出処理動作を示すフローチャートである。図２に示す処理は、ＥＣＵ２０の制御により行われ、例えば、イグニッションオンされたタイミングからイグニッションオフされるまでの間、所定の間隔で繰返し行われる。なお、図２に示す一連の処理の単位をフレームという。このため、今回のフレームとは、今回行う図２に示す一連の処理を意味し、前回のフレームとは、前回行った図２に示す一連の処理を意味する。
　図２に示すように、まず、ＥＣＵ２０は、画像センサ１０が撮像したドライバの画像を入力する（ステップＳ１１）。ステップＳ１１では、画像センサ１０が撮像した図３に示す画像Ｆ１を入力する。図３は、画像センサが撮像した画像の一例である。
　次に、ＥＣＵ２０は、顔位置・顔特徴点を検出する（ステップＳ１２）。ステップＳ１２の処理は、顔位置・顔特徴点検出部２１が行う。顔位置・顔特徴点検出部２１は、まず、ステップＳ１１で入力した画像Ｆ１の全体を探索範囲として、ニューラルネットワークやブースティング等の統計手法により顔位置を発見する。次に、顔位置・顔特徴点検出部２１は、顔位置領域Ｇ１を設定する。図４は、顔の特徴点検出方法を説明するための概要図であり、顔位置領域Ｇ１を示している。図４に示すように、顔位置領域Ｇ１は、この発見した顔位置を含む領域であり、画像Ｆ１の一領域である。そして、顔位置・顔特徴点検出部２１は、この設定した顔位置領域Ｇ１を探索範囲として、ニューラルネットワークやブースティング等の統計手法により、右目尻、右目頭、左目尻、左目頭、鼻腔中心、左右口端等の特徴点を検出する。
　次に、ＥＣＵ２０は、今回のフローが初回であるか否かを判定する（ステップＳ１３）。そして、ＥＣＵ２０は、今回のフローが初回であると判定すると（ステップＳ１３：ＹＥＳ）、ステップＳ１４に進み、今回のフローが初回ではないと判定すると（ステップＳ１３：ＮＯ）、ステップＳ１５に進む。
　ステップＳ１３において今回のフローが初回であると判定したＥＣＵ２０は、次に、事前に用意されている赤目テンプレートを用いたテンプレートマッチングにより赤目を検出する（ステップＳ１４）。事前に用意されている赤目テンプレートとは、開眼度が１００％であるときの赤目を示したテンプレートである。ステップＳ１４の処理は、赤目検出部２２が行う。赤目検出部２２は、まず、ステップＳ１２において設定した顔位置領域Ｇ１（図４参照）から、赤目探索領域を設定する。図５は、赤目の検出方法を説明するための概要図である。図５に示すように、赤目探索領域Ｇ２は、例えば、目尻よりも外側に配置されて上下方向に延びる線分と、目頭よりも内側に配置されて上下方向に延びる線分と、目尻と目頭とを結ぶ線分よりも上側に配置されて左右方向に延びる線分と、目尻と目頭とを結ぶ線分よりも下側に配置されて左右方向に延びる線分と、により画成される矩形領域となる。そして、赤目検出部２２は、事前に用意されている赤目テンプレートを用いて赤目探索領域Ｇ２をテンプレートマッチングすることにより、赤目候補Ｃを検出する。なお、赤目検出部２２は、テンプレートマッチングにより所定の閾値を超えた画素パターンを赤目候補Ｃとして検出する。
　ここで、図５に示す赤目探索領域Ｇ２を見てみる。すると、赤目探索領域Ｇ２には、ドライバの目や瞼に反射したＬＥＤ光Ｌが映り込んでいる。このＬＥＤ光Ｌの画素パターンは、赤目Ｒの画素パターンと近似している。このため、赤目検出部２２は、本当の赤目Ｒを赤目候補Ｃとして検出するとともに、このＬＥＤ光Ｌも赤目候補Ｃとして検出する。その結果、ステップＳ１４では、２つの赤目候補Ｃが検出される。そこで、赤目検出部２２は、赤目テンプレートとのマッチング度が最も高い画素パターンの赤目候補Ｃを赤目Ｒと判定する。
　一方、上述したステップＳ１３において今回のフローが初回であると判定したＥＣＵ２０は、次に、前回のフレームで更新された赤目テンプレートを用いたテンプレートマッチングにより赤目を検出する（ステップＳ１５）。前回のフレーム（処理）で更新された赤目テンプレートとは、前回のフレームにおけるステップＳ１８（詳細は後述する）で更新された赤目テンプレートである。ステップＳ１５の処理は、ステップＳ１４と同様に赤目検出部２２が行う。なお、ステップＳ１５の処理は、基本的にステップＳ１４の処理と同様であり、用いる赤目テンプレートのみが異なる。このため、ステップＳ１５の詳細な説明は省略する。
　次に、ＥＣＵ２０は、開眼度を算出する（ステップＳ１６）。ステップＳ１６の処理は、開眼度算出部２３が行う。開眼度算出部２３は、まず、ステップＳ１２で検出した目頭及び目尻の特徴点から上下瞼を検出する。
　ここで、図６を参照して、上下瞼の検出方法について説明する。図６は、上下瞼の検出方法を説明するための概要図である。図６に示すように、開眼度算出部２３は、ステップＳ１２で設定した顔位置領域Ｇ１に対して、例えばソーベルフィルタを適用して、エッジを強調した画像であるエッジ画像Ｇ３を生成する。次に、開眼度算出部２３は、ステップＳ１２で検出した目尻及び目頭の特徴点を始点及び終点とする複数の曲線を投影し、その曲線上のエッジの強度（エッジ画像の画素値）を算出する。曲線として、例えば、ベジェ曲線が用いられる。そして、開眼度算出部２３は、算出されたエッジ強度の中からエッジ強度が強い曲線を選択し、上瞼曲線，下瞼曲線とする。このとき、開眼度算出部２３は、ステップＳ１４又はＳ１５で検出した赤目Ｒよりも下側の曲線は上瞼の候補から除外し、ステップＳ１４又はＳ１５で検出した赤目Ｒよりも上側の曲線は下瞼の候補から除外する。
　そして、開眼度算出部２３は、上瞼曲線の中点のＹ座標及び下瞼曲線の中点のＹ座標を算出し、上下瞼のＹ座標の差分に基づいて開眼度［ｐｉｘ］を算出する。開眼度は、画素のピクセル（ｐｉｘｅｌ）単位の値となる。なお、開眼度の算出方法は、この手法に限られるものではなく、公知の他の手法を用いてもよい。
　次に、ＥＣＵ２０は、ステップＳ１６で算出した開眼度［ｐｉｘ］から、閉眼状態を０％及び開眼状態を１００％とした割合の相対開眼度［％］を算出する（ステップＳ１７）。ステップＳ１７の処理は、相対開眼度算出部２４が行う。
　ここで、図７を参照して、相対開眼度の算出方法について説明する。図７は、相対開眼度の算出方法を説明するための概要図であり、時間経過に伴う開眼度の波形Ｋ１を示した時間－開眼度グラフを示している。図７に示すように、相対開眼度算出部２４は、予め所定の開眼度を開眼閾値Ａ１及び閉眼閾値Ａ２として設定しておき、ステップＳ１６で算出された開眼度［ｐｉｘ］を開眼度－時間グラフにプロットしていく。次に、相対開眼度算出部２４は、予め設定した開眼閾値Ａ１よりも高い開眼度の平均値を開眼閾値Ａ１として更新し、また、予め設定した閉眼閾値Ａ２よりも低い開眼度の平均値を閉眼閾値Ａ２として更新する。そして、相対開眼度算出部２４は、開眼度算出部２３が算出した開眼度から、更新した開眼閾値Ａ１を１００％及び更新した閉眼閾値Ａ２を０％とした割合の相対開眼度［％］を算出する。
　次に、ＥＣＵ２０は、ステップＳ１８で算出した相対開眼度に応じて赤目テンプレートを更新する（ステップＳ１８）。ステップＳ１８の処理は、赤目テンプレート更新部２５が行う。
　ここで、図８を参照して、赤目テンプレートの更新処理について説明する。図８は、相対開眼度と赤目テンプレート形状との関係を示した概要図である。図８に示すように、画像に写る赤目の形状は、相対開眼度に比例する。すなわち、相対開眼度が１００％であれば、画像に写る赤目は１００％の形状であり、相対開眼度が７５％であれば、画像に写る赤目は７５％の形状であり、相対開眼度が５０％であれば、画像に写る赤目は５０％の形状であり、相対開眼度が０％であれば、画像には赤目が写らない。そこで、赤目テンプレート更新部２５は、ステップＳ１７で算出した相対開眼度に対応した形状の赤目テンプレートを生成し、この生成した赤目テンプレートで、次回のフレームのテンプレートマッチングに用いる赤目テンプレートを更新する。
　具体的に説明すると、赤目テンプレート更新部２５は、前回のフレームにおけるステップＳ１７で算出した相対開眼度と、今回のフレームにおけるステップＳ１７で算出した相対開眼度とを比較し、前回のフレームと今回のフレームとで相対開眼度が変化したか否かを判定する。そして、赤目テンプレート更新部２５は、前回のフレームと今回のフレームとで相対開眼度が変化していないと判定すると、赤目テンプレートを更新することなくステップＳ１８の処理を終了する。一方、赤目テンプレート更新部２５は、前回のフレームと今回のフレームとで相対開眼度が変化していると判定すると、今回のフレームにおけるステップＳ１７で算出した相対開眼度に対応した形状の赤目テンプレートを生成し、この生成した赤目テンプレートで、次回のフレームのテンプレートマッチングに用いる赤目テンプレートを更新する。
　なお、ステップＳ１８において、赤目テンプレート更新部２５は、赤目テンプレートを生成する代わりに、登録された赤目テンプレートを選択するものとしてもよい。具体的に説明すると、予め所定の相対開眼度に対応した形状の赤目テンプレートを複数種類登録しておく。その後処理が開始されると、赤目テンプレート更新部２５は、ステップＳ１８において、登録した複数の赤目テンプレートの中から、今回のフレームにおけるステップＳ１７で算出した相対開眼度に対応した形状の赤目テンプレートを選択する。そして、赤目テンプレート更新部２５は、この選択した赤目テンプレートで、次回のフレームのテンプレートマッチングに用いる赤目テンプレートを更新する。
　以上説明したように、第１の実施形態に係る赤目検出装置１によれば、相対開眼度に応じた赤目テンプレートを生成するため、赤目の形状が開眼度によって変化しても赤目を正確に検出することができる。
　また、次回のテンプレートマッチングでは、相対開眼度に対応した赤目テンプレートを用いることができるため赤目検出の確度を向上することができる。
　また、開眼度を相対開眼度で表すことで、画像センサ１０からドライバの顔までの距離や個人差によって顔画像における上瞼から下瞼までの距離が異なったとしても、開眼度を正規化することができるため、適切に赤目テンプレートを生成することができる。
　また、画像から直接的に開眼度を求めることで、開眼度の信頼性を向上することができる。
［第２の実施形態］
　次に、第２の実施形態に係る赤目検出装置２について説明する。第２の実施形態は、第１の実施形態と基本的には同様であるが、眠気度に基づいて開眼度を推定する点で第１の実施形態と相違する。このため、以下では、第１の実施形態と相違する部分のみを説明し、第１の実施形態と同様の部分の説明を省略する。
　図９は、第２の実施形態に係る赤目検出装置のブロック構成を示した図である。図９に示すように、第２の実施形態に係る赤目検出装置２は、画像センサ１０と、ＥＣＵ３０と、を備えている。
　ＥＣＵ３０は、電子制御を行う自動車デバイスのコンピュータであり、ＣＰＵ、ＲＯＭやＲＡＭ等のメモリ、及び入出力インターフェイスなどを備えて構成されている。
　このＥＣＵ３０は、画像センサ１０に接続されており、顔位置・顔特徴点検出部３１、赤目検出部３２、開眼度算出部３３、眠気推定部３４及び赤目テンプレート更新部３５を備えている。
　顔位置・顔特徴点検出部３１、赤目検出部３２及び開眼度算出部３３は、それぞれ、第１の実施形態における顔位置・顔特徴点検出部２１、赤目検出部２２及び開眼度算出部２３と同様である。
　眠気推定部３４は、開眼度算出部２３が算出した開眼度から瞬き特徴量を算出し、この算出した瞬き特徴量に基づいて運転者の眠気の度合い（眠気度）を推定する機能を有している。瞬き特徴量としては、所定時間における目を閉じている時間などが用いられる。眠気推定部３４は、例えば、事前に学習した眠気度と瞬き特徴量との関係を用いて、運転者の眠気度を推定する。
　赤目テンプレート更新部３５は、眠気推定部３４が推定した眠気度に基づいて赤目テンプレートを更新する機能を有している。具体的に説明すると、予め、所定の相対開眼度に対応した形状の赤目テンプレートを複数種類登録しておく。赤目テンプレート更新部３５は、この登録した複数の赤目テンプレートの中から、眠気推定部３４が推定した眠気度に対応する赤目テンプレートを選択する。そして、赤目テンプレート更新部３５は、この選択した赤目テンプレートで、次回のテンプレートマッチングに用いる赤目テンプレートを更新する。すなわち、赤目テンプレート更新部３５は、眠気推定部３４が推定した眠気度から間接的に開眼度を推定する。そして、赤目テンプレート更新部３５は、この推定した開眼度に対応する赤目テンプレートを、登録された複数の赤目テンプレートから選択することで生成し、この生成した赤目テンプレートで、次回のテンプレートマッチングに用いる赤目テンプレートを更新する。
　次に、第２の実施形態に係る赤目検出装置２の動作について説明する。図１０は、第２の実施形態に係る赤目検出装置の赤目検出処理動作を示すフローチャートである。図１０に示す処理は、ＥＣＵ３０の制御により行われ、例えば、イグニッションオンされたタイミングからイグニッションオフされるまでの間、所定の間隔で繰返し行われる。なお、図１０に示す一連の処理の単位をフレームという。このため、今回のフレームとは、今回行う図１０に示す一連の処理を意味し、前回のフレームとは、前回行った図１０に示す一連の処理を意味する。
　図１０に示すように、まず、ＥＣＵ３０は、画像センサ１０が撮像したドライバの画像を入力する（ステップＳ２１）。ステップＳ２１の処理は、第１の実施形態におけるステップＳ１１の処理と同様である。
　次に、ＥＣＵ３０は、顔位置・顔特徴点を検出する（ステップＳ２２）。ステップＳ２２の処理は、第１の実施形態におけるステップＳ１２の処理と同様である。
　次に、ＥＣＵ３０は、今回のフローが初回であるか否かを判定する（ステップＳ２３）。そして、ＥＣＵ３０は、今回のフローが初回であると判定すると（ステップＳ２３：ＹＥＳ）、ステップＳ２４に進み、今回のフローが初回ではないと判定すると（ステップＳ２３：ＮＯ）、ステップＳ２５に進む。
　ステップＳ２３において今回のフローが初回であると判定したＥＣＵ３０は、次に、事前に用意されている赤目テンプレートを用いたテンプレートマッチングにより赤目を検出する（ステップＳ２４）。ステップＳ２４の処理は、第１の実施形態におけるステップＳ１４の処理と同様である。
　一方、ステップＳ２３において今回のフローが初回であると判定したＥＣＵ３０は、次に、前回のフレームで更新された赤目テンプレートを用いたテンプレートマッチングにより赤目を検出する（ステップＳ２５）。前回のフレームで更新された赤目テンプレートとは、前回のフレームにおけるステップＳ２８（詳細は後述する）で更新された赤目テンプレートである。ステップＳ２５の処理は、ステップＳ２４と同様に赤目検出部２２が行う。なお、ステップＳ２５の処理は、基本的にステップＳ２４の処理と同様であり、用いる赤目テンプレートのみが異なる。このため、ステップＳ２５の詳細な説明は省略する。
　次に、ＥＣＵ３０は、開眼度を算出する（ステップＳ２６）。ステップＳ２６の処理は、第１の実施形態におけるステップＳ１６の処理と同様である。
　次に、ＥＣＵ３０は、運転者の眠気度を推定する（ステップＳ２７）。ステップＳ２７の処理は、眠気推定部３４が行う。眠気推定部３４は、まず、ステップＳ２６で算出した開眼度に基づいて、眠気と相関関係のある特徴量である瞬き特徴量を算出する。瞬き特徴量は、所定の期間（例えば１０秒）における眼の状態のうち、閉眼状態となっていた閉眼期間を取得し、所定の期間に対する閉眼期間の割合を算出した物理量とする。そして、眠気推定部３４は、この算出した瞬き特徴量に基づいて運転者の眠気度を推定する。
　ここで、図１１を参照して瞬き特徴量の算出方法について説明する。図１１は、瞬き特徴量の算出方法を説明するための概要図であり、時間経過に伴う開眼度の波形Ｋ２を示した時間－開眼度グラフを示している。図１１において、期間Ｔ１及びＴ２は、開眼度が閉眼閾値Ａ２以下となった期間、すなわち閉眼期間である。また、図１１において、期間Ｔ３は、ステップＳ２６において開眼度を検出できなかった区間である。この場合、眠気推定部３４は、期間Ｔ３を除く所定期間を設定し、設定された所定期間に対して閉眼期間が占める割合を瞬き特徴量として算出する。すなわち、眠気推定部３４は、ステップＳ２６において開眼度が未検出とされた期間の情報を除外して瞬き特徴量を算出する。なお、ステップＳ２７では、眠気と相関関係のある物理量であれば瞬き特徴量以外の特徴量を算出してもよい。
　ここで、図１２を参照して、運転者の眠気度の推定方法について説明する。図１２は、眠気度の推定方法を説明するための概要図であり、瞬き特徴量と確率密度との関係を示している。図１２では、２段階評価で表した各眠気度の統計分布（瞬き特徴量に対する確率密度）を示しており、眠気度が低い場合の統計分布をＳＡ、眠気度が高い場合の統計分布をＳＢとしている。統計分布ＳＡ，ＳＢは、例えば、オフライン処理で行われる事前学習で取得される。ここで、算出した瞬き特徴量をＲ１とすると、眠気推定部３４は、瞬き特徴量がＲ１である場合の統計分布ＳＡ及び統計分布ＳＢの確率密度を算出し、この算出した確率密度の大小関係によって眠気度を推定する。なお、眠気度の算出方法は、この手法に限られるものではなく、公知の他の手法を用いてもよい。なお、眠気度は、例えば０～５の６段階評価で表すことができる。この場合、例えば、眠気度０は完全に覚醒した状態、眠気度１は眠くない状態、眠気度２は殆ど眠くない状態、眠気度３はやや眠い状態、眠気度４はかなり眠い状態、眠気度５は殆ど寝ているに近い状態となる。
　次に、ＥＣＵ３０は、ステップＳ２７で推定した眠気度に応じて赤目テンプレートを更新する（ステップＳ２８）。ステップＳ２８の処理は、赤目テンプレート更新部３５が行う。
　ここで、図１３を参照して、赤目テンプレートの更新処理について説明する。図１３は、眠気度と赤目テンプレート形状との関係を示した概要図である。通常、人は、眠気度によって開眼度が変化し、眠気度が高いほど開眼度が小さくなる。すなわち、眠気度が低ければ、開眼度が大きくなるためドライバの顔画像に写っている赤目の形状が大きくなり、眠気度が高ければ、開眼度が小さくなるためドライバの顔画像に写っている赤目の形状が小さくなる。そこで、図１３に示すように、赤目テンプレート更新部３５には、眠気度に対応した複数の赤目テンプレートが登録されている。この登録されている各赤目テンプレートは、それぞれ眠気度に対応した形状であって、眠気度に対応する開眼度に対応した赤目の形状となっている。そして、赤目テンプレート更新部３５は、この登録された複数の赤目テンプレートの中から、ステップＳ２７で推定した眠気度に対応した開眼度の赤目テンプレートを選択し、この選択した赤目テンプレートで、次回のフレームのテンプレートマッチングに用いる赤目テンプレートを更新する。すなわち、赤目テンプレート更新部３５は、眠気度に応じて開眼度を推定し、この推定した開眼度に基づいて赤目テンプレートを更新する。
　具体的に説明すると、赤目テンプレート更新部３５は、前回のフレームにおけるステップＳ２７で推定した眠気度と、今回のフレームにおけるステップＳ２７で推定した眠気度とを比較し、前回のフレームと今回のフレームとで眠気度が変化したか否かを判定する。そして、赤目テンプレート更新部３５は、前回のフレームと今回のフレームとで眠気度が変化していないと判定すると、赤目テンプレートを更新することなくステップＳ２８の処理を終了する。一方、赤目テンプレート更新部３５は、前回のフレームと今回のフレームとで眠気度が変化していると判定すると、今回のフレームにおけるステップＳ２７で推定した眠気度に対応した形状の赤目テンプレートを選択し、この選択した赤目テンプレートで、次回のフレームのテンプレートマッチングに用いる赤目テンプレートを更新する。
　なお、ステップＳ２８において、赤目テンプレート更新部３５は、登録情報から赤目テンプレートを選択する代わりに、赤目テンプレートを一から生成するものとしてもよい。具体的に説明すると、赤目テンプレート更新部３５は、ステップＳ２７で推定した眠気度から赤目の形状を推定し、この推定した形状の赤目テンプレートを生成する。そして、赤目テンプレート更新部３５は、この生成した赤目テンプレートで、次回のフレームのテンプレートマッチングに用いる赤目テンプレートを更新する。
　また、処理開始直後の一定期間に、眠気度と赤目パターンとの相関関係を学習しておき、ステップＳ２８では、赤目テンプレート更新部３５が、この学習した眠気度と赤目パターンの相関関係に基づいて、赤目テンプレートを生成することとしてもよい。
　以上説明したように、第２の実施形態に係る赤目検出装置２によれば、眠気度から間接的に開眼度を求めることができる。更に、眠気度によって開眼度が変化しても、赤目を正確に検出することができる。
［第３の実施形態］
　次に、第３の実施形態に係る赤目検出装置３について説明する。第３の実施形態は、第１の実施形態と基本的には同様であるが、開眼度と赤目のサイズとの相関関係を学習し、この学習した相関関係に基づいて赤目テンプレートを更新する点で第１の実施形態と相違する。このため、以下では、第１の実施形態と相違する部分のみを説明し、第１の実施形態と同様の部分の説明を省略する。
　図１４は、第３の実施形態に係る赤目検出装置のブロック構成を示した図である。図１４に示すように、第３の実施形態に係る赤目検出装置３は、画像センサ１０と、照度センサ４０と、ＥＣＵ５０と、を備えている。
　照度センサ４０は、車外光量を計測するセンサである。車外光量とは、車両の外側の光量である。このため、昼間は車外光量が高くなり、夜間は車外光量が低くなる。照度センサ４０としては、例えば、車両の窓付近に固定された光電変換素子等が用いられる。そして、照度センサ４０は、計測した車外光量をＥＣＵ５０へ出力する。
　ＥＣＵ５０は、電子制御を行う自動車デバイスのコンピュータであり、ＣＰＵ、ＲＯＭやＲＡＭ等のメモリ、及び入出力インターフェイスなどを備えて構成されている。
　このＥＣＵ５０は、画像センサ１０及び照度センサ４０に接続されており、昼夜判定部５１、顔位置・顔特徴点検出部５２、赤目検出部５３、開眼度算出部５４、黒目サイズ学習部５５及び赤目テンプレート更新部５６を備えている。
　赤目検出部５３及び開眼度算出部５４は、それぞれ、第１の実施形態における赤目検出部２２及び開眼度算出部２３と同様である。
　昼夜判定部５１は、車外光量の高い昼間か車外光量の低い夜間かを判定する機能を有している。昼夜判定部５１は、例えば、照度センサ４０から出力された車外光量や、画像センサ１０から出力された画像の合計輝度などに基づいて、昼夜を判定する。
　顔位置・顔特徴点検出部５２は、基本的に第１の実施形態における顔位置・顔特徴点検出部２１と同様であるが、更に黒目を検出するとともに、検出した黒目のサイズを算出する機能を有している。なお、黒目の検出は、例えば、黒目テンプレートを用いたテンプレートマッチングなどにより行うことができる。
　黒目サイズ学習部５５は、顔位置・顔特徴点検出部５２が検出した黒目のサイズと開眼度算出部５４が算出した開眼度との相関関係を学習する機能を有している。
　赤目テンプレート更新部５６は、開眼度を推定するとともに、推定した開眼度と黒目サイズ学習部５５が学習した開眼度と黒目のサイズとの相関関係とに基づいて赤目テンプレートを更新する機能を有している。
　次に、第３の実施形態に係る赤目検出装置３の動作について説明する。図１５は、第３の実施形態に係る赤目検出装置の赤目検出処理動作を示すフローチャートである。図１５に示す処理は、ＥＣＵ５０の制御により行われ、例えば、イグニッションオンされたタイミングからイグニッションオフされるまでの間、所定の間隔で繰返し行われる。なお、図１５に示す一連の処理の単位をフレームという。このため、今回のフレームとは、今回行う図１５に示す一連の処理を意味し、前回のフレームとは、前回行った図１５に示す一連の処理を意味する。
　図１５に示すように、まず、ＥＣＵ５０は、画像センサ１０が撮像したドライバの画像を入力する（ステップＳ３１）。ステップＳ３１の処理は、第１の実施形態におけるステップＳ１１の処理と同様である。
　次に、ＥＣＵ５０は、顔位置・顔特徴点を検出する（ステップＳ３２）。ステップＳ３２の処理は、第１の実施形態におけるステップＳ１２の処理と同様である。
　次に、ＥＣＵ５０は、夜間であるか否かを判定する（ステップＳ３３）。ステップＳ３３の処理は、昼夜判定部５１が行う。昼夜判定部５１は、照度センサ４０から出力された車外光量や、画像センサ１０から出力された画像などに基づいて、昼夜を判定する。照度センサ４０から出力された車外光量に基づいて昼夜を判定する場合、昼夜判定部５１は、まず、照度センサ４０から出力された車外光量を取得する。そして、昼夜判定部５１は、この車外光量が所定の閾値よりも高い場合は昼間であると判定し、この車外光量が所定の閾値以下である場合は夜間であると判定する。一方、画像センサ１０から出力された画像に基づいて昼夜を判定する場合、昼夜判定部５１は、まず、画像センサ１０から出力された画像を取得する。そして、昼夜判定部５１は、この画像を構成する各画素の合計輝度を算出し、合計輝度が所定の閾値よりも高い場合は昼間であると判定し、合計輝度が所定の閾値以下である場合は夜間であると判定する。
　そして、ＥＣＵ５０は、昼間であると判定すると（ステップＳ３３：ＮＯ）、ステップＳ３４に進み、夜間であると判定すると（ステップＳ３３：ＹＥＳ）、ステップＳ３７に進む。
　ステップＳ３３において昼間であると判定したＥＣＵ５０は、次に、開眼度を算出する（ステップＳ３４）。ステップＳ３４の処理は、第１の実施形態におけるステップＳ１６の処理と同様である。
　次に、ＥＣＵ５０は、黒目を検出する（ステップＳ３５）。ステップＳ３５の処理は、顔位置・顔特徴点検出部５２が行う。顔位置・顔特徴点検出部５２は、まず、ステップＳ３２において設定した顔位置領域Ｇ１（図４参照）から、黒目探索領域を設定する。黒目探索領域は、赤目探索領域Ｇ２（５参照）と同様である。また、顔位置・顔特徴点検出部５２は、黒目テンプレートを用いたテンプレートマッチングなどにより、黒目探索領域から黒目を検出する。なお、黒目の検出方法は、この手法に限られるものではなく、公知の他の手法を用いてもよい。そして、顔位置・顔特徴点検出部５２は、瞼に隠れていない部分の黒目のサイズを算出する。
　ここで、図１６を参照して、黒目のサイズの算出方法について説明する。図１６は、黒目のサイズの算出方法を説明するための概要図である。図１６に示すように、ステップＳ３４で算出される開眼度は、上瞼曲線の中点のＹ座標と下瞼曲線の中点のＹ座標との差分により算出されるため、必ずしも、このように算出される開眼度と瞼に隠れていない部分の黒目のサイズとが一致するとは限らない。そこで、顔位置・顔特徴点検出部５２は、黒目を検出すると、この検出した黒目における最上端のＹ座標と最下端のＹ座標とを検出し、この検出した両Ｙ座標の差分を算出する。そして、顔位置・顔特徴点検出部５２は、この算出結果を瞼に隠れていない部分の黒目のサイズとする。
　次に、ＥＣＵ５０は、開眼度と黒目のサイズとの相関関係を学習する（ステップＳ３６）。ステップＳ３６の処理は、黒目サイズ学習部５５が行う。図１７は、開眼度と黒目のサイズとの相関関係を示した開眼度－黒目サイズグラフである。黒目サイズ学習部５５は、図１７に示す開眼度－黒目サイズグラフを有している。そして、黒目サイズ学習部５５は、ステップＳ３４で算出した開眼度に対するステップＳ３５で検出した黒目のサイズを、図１７に示す開眼度－黒目サイズグラフにプロットしていくことで、開眼度に対する黒目のサイズを学習する。そして、黒目サイズ学習部５５は、開眼度に対する黒目のサイズの平均値と標準偏差σとを算出する。
　一方、上述したステップＳ３３において夜間であると判定したＥＣＵ５０は、次に、赤目テンプレートを更新する（ステップＳ３７）。ステップＳ３７の処理は、赤目テンプレート更新部５６が行う。図１８は、開眼度の推定方法を説明するための概要図である。図１８に示すように、赤目テンプレート更新部５６は、まず、過去のフレームで検出した開眼度の値を記録しておき、カルマンフィルタやパーティクルフィルタなどのフィルタを用いて今回のフレームにおける開眼度を推測する。なお、開眼度の推測方法は、この手法に限られるものではなく、公知の他の手法を用いてもよい。次に、赤目テンプレート更新部５６は、ステップＳ３６で学習した開眼度－黒目のサイズグラフを参照して、推測した開眼度における黒目のサイズを算出する。このとき、赤目テンプレート更新部５６は、開眼度－黒目のサイズグラフの平均値を用いて、１つの黒目のサイズを算出してもよく、開眼度－黒目のサイズグラフの標準偏差σを用いて複数の黒目のサイズを算出してもよい。次に、赤目テンプレート更新部５６は、この算出した黒目のサイズの赤目テンプレートを生成する。なお、黒目のサイズを複数個算出した場合は、赤目テンプレートも複数個生成する。そして、赤目テンプレート更新部２５は、この生成した赤目テンプレートで、今回のテンプレートマッチングに用いる赤目テンプレートを更新する。
　次に、ＥＣＵ５０は、ステップＳ３７で更新した赤目テンプレートを用いたテンプレートマッチングにより赤目を検出する（ステップＳ３８）。ステップＳ３８は、赤目テンプレート更新部５６が行う。なお、ステップＳ３８の処理は、基本的に第１の実施形態におけるステップＳ１４の処理と同様であり、用いる赤目テンプレートのみが異なる。このため、ステップＳ３８の詳細な説明は省略する。
　以上説明したように、第３の実施形態に係る赤目検出装置３によれば、車外光量が高い昼間に、開眼度に対する黒目のサイズの相関関係を学習しておき、車外光量が低い夜間に、この相関関係を参照して、開眼度に対応するサイズの赤目テンプレートを生成するため、より高い確度で開眼度に対応した赤目テンプレートを生成することができる。
　以上、本発明の好適な実施形態について説明したが、本発明は上記実施形態に限定されるものではない。例えば、第１～第３の実施形態は別物として説明したが、一部又は全部を適宜組み合わせてもよい。例えば、第１の実施形態は、第２の実施形態よりも精度が高く、第２の実施形態は、第１の実施形態処理も処理負荷が低いため、眠気度が低いときは第１の実施形態の処理を行い、眠気度が高くなると第２の実施形態の処理を行うものとしてもよい。また、第３の実施形態で行った開眼度の推測処理を、第１又は第２の実施形態で行ってもよい。
　赤目テンプレートを用いたテンプレートマッチングにより赤目を検出する赤目検出装置として利用可能である。
　１～３…赤目検出装置、１０…画像センサ（車外光量検出手段）、２０…ＥＣＵ、２１…顔位置・顔特徴点検出部、２２…赤目検出部（赤目検出手段）、２３…開眼度算出部（開眼度算出手段）、２４…相対開眼度算出部、２５…赤目テンプレート更新部（赤目テンプレート生成手段）、３０…ＥＣＵ、３１…顔位置・顔特徴点検出部、３２…赤目検出部（赤目検出手段）、３３…開眼度算出部（開眼度算出手段）、３４…眠気推定部（眠気度推定手段）、３５…赤目テンプレート更新部（赤目テンプレート生成手段）、４０…照度センサ（車外光量検出手段）、５０…ＥＣＵ、５１…昼夜判定部（車外光量検出手段）、５２…顔位置・顔特徴点検出部（黒目検出手段）、５３…赤目検出部（赤目検出手段）、５４…開眼度算出部（開眼度算出手段）、５５…黒目サイズ学習部、５６…赤目テンプレート更新部（赤目テンプレート生成手段）、Ｌ…ＬＥＤ光、Ｒ…赤目、Ｃ…赤目候補、Ｆ１…画像、Ｇ１…顔位置領域、Ｇ２…赤目探索領域、Ｇ３…エッジ画像、Ａ１…開眼閾値、Ａ２…閉眼閾値、ＳＡ…眠気度が低い場合の統計分布統計分布、ＳＢ…眠気度が高い場合の統計分布統計分布。

Claims (6)

  1. 　赤目テンプレートを用いたテンプレートマッチングにより顔画像から赤目を検出する赤目検出装置であって、
    　開眼度に対応する赤目テンプレートを生成する赤目テンプレート生成手段を有する、赤目検出装置。
  2. 　前記赤目テンプレート生成手段は、生成した赤目テンプレートで、次回のテンプレートマッチングに用いる赤目テンプレートを更新する、
    請求項１に記載の赤目検出装置。
  3. 　前記顔画像から開眼度を算出する開眼度算出手段を更に有する、請求項１に記載の赤目検出装置。
  4. 　前記開眼度算出手段は、閉眼状態を０％及び開眼状態を１００％とした相対開眼度に基づいて開眼度を算出する、
    請求項３に記載の赤目検出装置。
  5. 　眠気度に応じて開眼度を推定する眠気度推定手段を更に有する、請求項１に記載の赤目検出装置。
  6. 　車外光量を検出する車外光量検出手段と、
    　前記顔画像から開眼度を算出する開眼度検出手段と、
    　前記顔画像から黒目を検出する黒目検出手段と、
    を更に有し、
    　赤目テンプレート生成手段は、前記車外光量が検出した車外光量が高い時間帯に、開眼度と黒目の大きさとの相関関係を学習し、前記車外光量が検出した車外光量が低い時間帯に、前記相関関係を参照して開眼度に対応する大きさの赤目テンプレートを生成する、
    請求項１に記載の赤目検出装置。
PCT/JP2011/065823 2011-07-11 2011-07-11 赤目検出装置 WO2013008303A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
US14/232,175 US9177202B2 (en) 2011-07-11 2011-07-11 Red-eye detection device
DE112011105439.4T DE112011105439B4 (de) 2011-07-11 2011-07-11 Rote-Augen-Erfassungsvorrichtung
JP2013523727A JP5737400B2 (ja) 2011-07-11 2011-07-11 赤目検出装置
PCT/JP2011/065823 WO2013008303A1 (ja) 2011-07-11 2011-07-11 赤目検出装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2011/065823 WO2013008303A1 (ja) 2011-07-11 2011-07-11 赤目検出装置

Publications (1)

Publication Number Publication Date
WO2013008303A1 true WO2013008303A1 (ja) 2013-01-17

Family

ID=47505622

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2011/065823 WO2013008303A1 (ja) 2011-07-11 2011-07-11 赤目検出装置

Country Status (4)

Country Link
US (1) US9177202B2 (ja)
JP (1) JP5737400B2 (ja)
DE (1) DE112011105439B4 (ja)
WO (1) WO2013008303A1 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014206874A (ja) * 2013-04-12 2014-10-30 株式会社デンソー 開眼状態判定装置
CN107176169A (zh) * 2016-03-11 2017-09-19 丰田自动车株式会社 车辆的自动驾驶控制系统
JP2019079096A (ja) * 2017-10-20 2019-05-23 株式会社デンソー 状態改善装置、状態改善方法、及び制御プログラム
JP2020009360A (ja) * 2018-07-12 2020-01-16 トヨタ自動車株式会社 乗員状態認識装置
JP2020021250A (ja) * 2018-07-31 2020-02-06 キヤノン株式会社 撮像装置およびその制御方法

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9846807B1 (en) * 2014-12-31 2017-12-19 Morphotrust Usa, Llc Detecting eye corners
US10089525B1 (en) 2014-12-31 2018-10-02 Morphotrust Usa, Llc Differentiating left and right eye images
TWI536279B (zh) * 2015-04-22 2016-06-01 緯創資通股份有限公司 人眼偵測方法及系統
DE102015225109A1 (de) * 2015-12-14 2017-06-14 Robert Bosch Gmbh Verfahren und Vorrichtung zum Klassieren von Augenöffnungsdaten zumindest eines Auges eines Insassen eines Fahrzeugs und Verfahren und Vorrichtung zum Erfassen einer Schläfrigkeit und/oder eines Sekundenschlafes eines Insassen eines Fahrzeugs
CN107103271A (zh) * 2016-02-23 2017-08-29 芋头科技（杭州）有限公司 一种人脸检测方法
US10065651B2 (en) 2016-05-10 2018-09-04 Samsung Electronics Co., Ltd Electronic device and method for determining a state of a driver
WO2018033137A1 (zh) * 2016-08-19 2018-02-22 北京市商汤科技开发有限公司 在视频图像中展示业务对象的方法、装置和电子设备
AU2018421183A1 (en) 2018-04-25 2020-07-02 Beijing Didi Infinity Technology And Development Co., Ltd. Systems and methods for blink action recognition based on facial feature points
JP7328089B2 (ja) * 2019-09-05 2023-08-16 トヨタ自動車株式会社 閉眼判定装置
JP7127661B2 (ja) * 2020-03-24 2022-08-30 トヨタ自動車株式会社 開眼度算出装置

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004234494A (ja) * 2003-01-31 2004-08-19 Fujitsu Ltd 眼の追跡装置、眼の追跡方法、眼の状態判定装置、眼の状態判定方法及びコンピュータプログラム

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH01158579A (ja) * 1987-09-09 1989-06-21 Aisin Seiki Co Ltd 像認識装置
JP3426060B2 (ja) * 1995-07-28 2003-07-14 三菱電機株式会社 顔画像処理装置
JP2907120B2 (ja) * 1996-05-29 1999-06-21 日本電気株式会社 赤目検出補正装置
USRE39539E1 (en) * 1996-08-19 2007-04-03 Torch William C System and method for monitoring eye movement
FR2773521B1 (fr) * 1998-01-15 2000-03-31 Carlus Magnus Limited Procede et dispositif pour surveiller en continu l'etat de vigilance du conducteur d'un vehicule automobile, afin de detecter et prevenir une tendance eventuelle a l'endormissement de celui-ci
US6278491B1 (en) * 1998-01-29 2001-08-21 Hewlett-Packard Company Apparatus and a method for automatically detecting and reducing red-eye in a digital image
US7024035B1 (en) * 1999-09-07 2006-04-04 Fuji Photo Film Co., Ltd. Method of setting region to be subjected to red eye correction and red eye correcting method
US7146026B2 (en) * 2002-06-04 2006-12-05 Hewlett-Packard Development Company, L.P. Image correction system and method
US8682097B2 (en) * 2006-02-14 2014-03-25 DigitalOptics Corporation Europe Limited Digital image enhancement with reference images
US20050220346A1 (en) * 2004-03-30 2005-10-06 Fuji Photo Film Co., Ltd. Red eye detection device, red eye detection method, and recording medium with red eye detection program
US20060008169A1 (en) * 2004-06-30 2006-01-12 Deer Anna Y Red eye reduction apparatus and method
US7627146B2 (en) * 2004-06-30 2009-12-01 Lexmark International, Inc. Method and apparatus for effecting automatic red eye reduction
US7403654B2 (en) * 2004-10-04 2008-07-22 Arcsoft, Inc. Enhanced automatic red eye removal
JP4687150B2 (ja) 2005-03-08 2011-05-25 日産自動車株式会社 直射光検出装置
US7253739B2 (en) * 2005-03-10 2007-08-07 Delphi Technologies, Inc. System and method for determining eye closure state
US20070036438A1 (en) * 2005-08-15 2007-02-15 Lexmark International, Inc. Methods and systems for identifying red eye pairs
JP4708250B2 (ja) 2006-04-06 2011-06-22 富士フイルム株式会社 赤目補正処理システム、赤目補正処理方法、および赤目補正処理プログラム
JP4883783B2 (ja) * 2006-12-22 2012-02-22 キヤノン株式会社 画像処理装置およびその方法
JP4895797B2 (ja) * 2006-12-26 2012-03-14 アイシン精機株式会社 瞼検出装置、瞼検出方法及びプログラム
JP4888838B2 (ja) * 2008-05-12 2012-02-29 トヨタ自動車株式会社 運転者撮像装置および運転者撮像方法
JP5210773B2 (ja) * 2008-09-16 2013-06-12 トヨタ自動車株式会社 眠気判定装置及びプログラム
JP4788786B2 (ja) * 2009-02-09 2011-10-05 株式会社デンソー 眠気検出装置，プログラムおよび眠気検出方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004234494A (ja) * 2003-01-31 2004-08-19 Fujitsu Ltd 眼の追跡装置、眼の追跡方法、眼の状態判定装置、眼の状態判定方法及びコンピュータプログラム

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014206874A (ja) * 2013-04-12 2014-10-30 株式会社デンソー 開眼状態判定装置
CN107176169A (zh) * 2016-03-11 2017-09-19 丰田自动车株式会社 车辆的自动驾驶控制系统
JP2019079096A (ja) * 2017-10-20 2019-05-23 株式会社デンソー 状態改善装置、状態改善方法、及び制御プログラム
JP2020009360A (ja) * 2018-07-12 2020-01-16 トヨタ自動車株式会社 乗員状態認識装置
JP2020021250A (ja) * 2018-07-31 2020-02-06 キヤノン株式会社 撮像装置およびその制御方法

Also Published As

Publication number Publication date
JPWO2013008303A1 (ja) 2015-02-23
DE112011105439T5 (de) 2014-03-27
US20140147019A1 (en) 2014-05-29
DE112011105439B4 (de) 2021-06-17
JP5737400B2 (ja) 2015-06-17
US9177202B2 (en) 2015-11-03

Similar Documents

Publication Publication Date Title
JP5737400B2 (ja) 赤目検出装置
US9405982B2 (en) Driver gaze detection system
JP6338701B2 (ja) 瞬間的な眠りを検出するデバイス、方法およびコンピュータプログラム
JP5790762B2 (ja) 瞼検出装置
US8055016B2 (en) Apparatus and method for normalizing face image used for detecting drowsy driving
JP5737401B2 (ja) 瞼検出装置
JP4912206B2 (ja) 画像処理方法、画像処理装置、画像処理システム及びコンピュータプログラム
JP5737399B2 (ja) 赤目判定装置
JP2009116742A (ja) 車載用画像処理装置、画像処理方法、および、プログラム
JP2008065776A (ja) 居眠り検知装置、居眠り検知方法
JP4992823B2 (ja) 顔検出装置及び顔検出方法
JP4989249B2 (ja) 目検知装置、居眠り検知装置及び目検知装置の方法
JP4776581B2 (ja) 入眠状態検知方法、入眠状態検知装置、入眠状態検知システム及びコンピュータプログラム
JP2010244156A (ja) 画像特徴量検出装置及びこれを用いた視線方向検出装置
JP2009205283A (ja) 画像処理装置、画像処理方法及び画像処理プログラム
JP2004192552A (ja) 開閉眼判定装置
WO2017159215A1 (ja) 情報処理装置及び情報処理方法
JP2011125620A (ja) 生体状態検出装置
JPH1044824A (ja) 車両運転者の開閉眼判定装置
JP5035139B2 (ja) 眼画像処理装置
JP4781292B2 (ja) 閉眼検知装置、居眠り検知装置、閉眼検知方法及び閉眼検知のためのプログラム
JP5655491B2 (ja) 開眼状態検出装置
JP2011086051A (ja) 眼位置認識装置
JP2023012283A (ja) 顔検出装置
JP2000331172A (ja) 顔画像処理装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 11869381

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2013523727

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 112011105439

Country of ref document: DE

Ref document number: 1120111054394

Country of ref document: DE

WWE Wipo information: entry into national phase

Ref document number: 14232175

Country of ref document: US

122 Ep: pct application non-entry in european phase

Ref document number: 11869381

Country of ref document: EP

Kind code of ref document: A1