WO2013008304A1 - 瞼検出装置 - Google Patents

瞼検出装置 Download PDF

Info

Publication number
WO2013008304A1
WO2013008304A1 PCT/JP2011/065824 JP2011065824W WO2013008304A1 WO 2013008304 A1 WO2013008304 A1 WO 2013008304A1 JP 2011065824 W JP2011065824 W JP 2011065824W WO 2013008304 A1 WO2013008304 A1 WO 2013008304A1
Authority
WO
WIPO (PCT)
Prior art keywords
eye
red
eyelid
detection unit
detection
Prior art date
Application number
PCT/JP2011/065824
Other languages
English (en)
French (fr)
Inventor
清人 埴田
嘉修 竹前
Original Assignee
トヨタ自動車株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by トヨタ自動車株式会社 filed Critical トヨタ自動車株式会社
Priority to JP2013523728A priority Critical patent/JP5737401B2/ja
Priority to PCT/JP2011/065824 priority patent/WO2013008304A1/ja
Priority to US14/131,555 priority patent/US8983147B2/en
Priority to DE112011105435.1T priority patent/DE112011105435B4/de
Publication of WO2013008304A1 publication Critical patent/WO2013008304A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/193—Preprocessing; Feature extraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30041—Eye; Retina; Ophthalmic
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30216—Redeye defect

Definitions

  • the present invention relates to a wrinkle detection device that detects the position of the upper and lower eyelids from a face image.
  • Patent Document 1 a wrinkle detection device that detects the position of the upper and lower eyelids from a face image in order to detect an open eye state or the like is known (for example, see Patent Document 1).
  • the eyelid detection apparatus described in Patent Document 1 prevents erroneous detection of the position of the upper and lower eyelids by excluding the red eye edge from the upper eyelid and the lower eyelid.
  • an object of the present invention is to provide a eyelid detection device that can prevent erroneous detection of the position of the upper and lower eyelids even when a pixel pattern similar to the pixel pattern of the red eye exists in the vicinity of the red eye.
  • the wrinkle detection device is a wrinkle detection device having wrinkle detection means for detecting the position of the upper and lower wrinkles from the face image, and is assumed to have skin from the position of the upper and lower wrinkles detected by the wrinkle detection means.
  • a red eye candidate is searched within the range, and when the red eye candidate is searched within the range, the eye detection means determines that the detection by the eye detection means is an error.
  • the eyelid detection means when a pixel pattern similar to the red eye pixel pattern exists in the vicinity of the red eye, the eyelid detection means sets an unnecessary edge generated around the pixel pattern as the position of the upper and lower eyelids. If there is a red-eye candidate within the range where it is assumed that there is skin from the detected position of the upper and lower eyelids, the eyelid detection means determines that the detection of the eyelid detection means is an error. Therefore, erroneous detection of the position of the upper and lower eyelids can be prevented.
  • the eyelid determining means can set the range for searching for red-eye candidates to be equal to or less than the red-eye diameter. In this way, by setting the range in which the eyelid determining means searches for the red eye candidate to be equal to or less than the diameter of the red eye, it is possible to reduce the influence of the white skin portion whose pixel value is similar to the red eye portion. And can be clearly distinguished.
  • the image processing apparatus may further include a red eye detection unit that detects red eyes from the face image, and the eyelid determination unit may set a range for searching for red eye candidates to be equal to or less than a diameter of the red eye detected by the red eye detection unit. .
  • the diameter of the red eye in the face image varies depending on the distance from the camera and individual differences. Therefore, by setting the range in which the eyelid determination means searches for the red eye candidate to be equal to or less than the diameter of the red eye detected from the face image, even if the diameter of the red eye in the face image varies depending on the distance from the camera or individual differences, The red eye candidate and the skin can be clearly distinguished.
  • the present invention it is possible to prevent erroneous detection of the upper and lower eyelid positions even when a pixel pattern similar to the red-eye pixel pattern exists in the vicinity of the red-eye.
  • the eyelid detection device is mounted on a driving assistance control device that performs driving assistance control of a vehicle by estimating the drowsiness level of the driver from the degree of eye opening calculated from the position of the upper and lower eyelids.
  • the position of the upper and lower eyelids means the position of the upper eyelid and the position of the lower eyelid.
  • FIG. 1 is a diagram showing a block configuration of a wrinkle detection apparatus according to the embodiment.
  • the wrinkle detection apparatus 1 includes an image sensor 10, an illuminance sensor 20, and an ECU (Electronic Control Unit) 30.
  • ECU Electronic Control Unit
  • the image sensor 10 is a sensor that images a driver's face.
  • the image sensor 10 for example, a CCD camera fixed to a steering column of a vehicle is used.
  • An image (face image) captured by the image sensor 10 is composed of image information representing the position and color information of each pixel. Then, the image sensor 10 outputs image information of the captured image to the ECU 30.
  • the illuminance sensor 20 is a sensor that measures the amount of light outside the vehicle.
  • the light quantity outside the vehicle is the light quantity outside the vehicle. For this reason, the amount of light outside the vehicle increases during the daytime, and the amount of light outside the vehicle decreases at night.
  • the illuminance sensor 20 for example, a photoelectric conversion element fixed near the window of the vehicle is used. The illuminance sensor 20 then outputs the measured outside vehicle light amount to the ECU 30.
  • the ECU 30 is a computer of an automotive device that performs electronic control, and includes a CPU (Central Processing Unit), a ROM (Read Only Memory), a RAM (Random Access Memory), and an input / output interface. .
  • a CPU Central Processing Unit
  • ROM Read Only Memory
  • RAM Random Access Memory
  • the ECU 30 is connected to the image sensor 10 and the illuminance sensor 20, and is a day / night determination unit 31, a face position / face feature point detection unit 32, a red eye detection unit 33, a eyelid detection unit 34, a eyelid determination unit 35, and an eye opening degree calculation.
  • a portion 36 is provided.
  • the day / night determination unit 31 has a function of determining whether it is daytime when the light intensity outside the vehicle is high or nighttime when the light intensity outside the vehicle is low.
  • the day / night determination unit 31 determines day / night based on, for example, the amount of light outside the vehicle output from the illuminance sensor 20 or the total luminance of the image output from the image sensor 10.
  • the face position / face feature point detection unit 32 has a function of detecting a feature point of a driver's face from an image captured by the image sensor 10. More specifically, the face position / face feature point detection unit 32 first uses the entire image captured by the image sensor 10 as a search range, and uses a statistical method such as neural network or boosting. Discover the location. Then, the face position / face feature point detection unit 32 sets a face position area including the found face position, and determines a face feature point from the set face position area by a statistical method such as neural network or boosting. To detect. Examples of facial feature points include the right eye corner, right eye head, left eye corner, left eye head, nasal cavity center, and left and right mouth edges. The detection of each feature point of the face is not limited to this method, and other known methods may be used.
  • the red-eye detection unit 33 has a function of performing red-eye detection by template matching using a red-eye template. Specifically, the red-eye detection unit 33 first sets the face position set by the face position / face feature point detection unit 32 based on the feature points of the corners of the eyes and the eyes detected by the face position / face feature point detection unit 32. Set the red-eye search area from the area. Then, the red eye detection unit 33 detects red eyes from the red eye search region by template matching using a red eye template. The detection of red eyes is not limited to this method, and other known methods may be used.
  • the wrinkle detection unit 34 has a function of detecting the position of the upper and lower wrinkles. More specifically, the eyelid detection unit 34 applies, for example, a Sobel filter to the face position region set by the red-eye detection unit 33, and generates an edge image that is an image in which edges are emphasized. Then, the eyelid detection unit 34 projects a plurality of curves starting from the feature points of the corners of the eyes and the eyes detected by the face position / face feature point detection unit 32 on the edge image, and the edge strength ( The position of the upper and lower eyelids is detected from the pixel value of the edge image). The detection of the position of the upper and lower eyelids is not limited to this method, and other known methods may be used.
  • the eyelid detection unit 34 excludes the lower curve than the red eye detected by the red eye detection unit 33 from the candidates for the upper eyelid, and more than the red eye detected by the red eye detection unit 33.
  • the upper curve has a function of excluding it from the lower eyelid candidate.
  • the wrinkle determination unit 35 has a function of determining the position of the upper and lower wrinkles detected by the wrinkle detection unit 34. More specifically, the eyelid determination unit 35 searches for a red eye candidate within a range where it is assumed that there is skin from the position of the upper and lower eyelids detected by the eyelid detection unit 34. Then, when a red eye candidate is searched for within this range, eyelid determination unit 35 determines that eyelid detection unit 34 has erroneously detected the position of the upper and lower eyelids.
  • the eye opening degree calculation unit 36 has a function of calculating an eye opening degree indicating the degree of opening of the driver's eyes. Specifically, the eye opening degree calculation unit 36 calculates the difference between the position of the upper eyelid and the position of the lower eyelid detected by the eyelid detection unit 34 as the degree of eye opening [pix]. This eye opening degree is expressed in units of pixels of pixels. The calculation of the degree of eye opening is not limited to this method, and other known methods may be used.
  • FIG. 2 is a flowchart illustrating wrinkle detection processing operation of the wrinkle detection device according to the embodiment.
  • the processing shown in FIG. 2 is performed by the control of the ECU 30 during a time period in which the day / night determination unit 31 determines that it is nighttime. For example, it is repeated at a predetermined interval from the timing when the ignition is turned on until the ignition is turned off. Done.
  • the ECU 30 inputs an image of the driver imaged by the image sensor 10 (step S1).
  • step S1 an image F1 shown in FIG. 3 captured by the image sensor 10 is input.
  • FIG. 3 is an example of an image captured by the image sensor.
  • the ECU 30 detects a face position / face feature point (step S2).
  • the face position / face feature point detection unit 32 performs the process of step S2.
  • the face position / face feature point detection unit 32 uses the entire image F1 input in step S1 as a search range to find a face position by a statistical method such as neural network or boosting.
  • the face position / face feature point detector 32 sets a face position region G1.
  • FIG. 4 is a schematic diagram for explaining a face feature point detection method, and shows a face position region G1.
  • the face position area G1 is an area including the found face position, and is an area of the image F1.
  • the face position / face feature point detection unit 32 uses the set face position region G1 as a search range, and a statistical technique such as neural network or boosting, the right eye corner, right eye head, left eye corner, left eye head, nasal cavity center , Feature points such as left and right mouth edges are detected.
  • a statistical technique such as neural network or boosting, the right eye corner, right eye head, left eye corner, left eye head, nasal cavity center , Feature points such as left and right mouth edges are detected.
  • the ECU 30 detects red eyes by template matching using a red-eye template prepared in advance (step S3).
  • the red-eye detection unit 33 performs the process in step S3.
  • the red-eye detection unit 33 sets a red-eye search region G2 from the face position region G1 (see FIG. 4) set in step S2.
  • FIG. 5 is a schematic diagram for explaining a red-eye detection method. As shown in FIG.
  • the red-eye search region G2 includes, for example, a line segment arranged outside the corner of the eye and extending in the vertical direction, a line segment arranged inside the eye and extending in the vertical direction, and the corner of the eye and the corner of the eye A rectangle defined by a line segment that is arranged above the line segment that connects the two and extends in the left-right direction, and a line segment that is arranged below the line segment that connects the corners of the eyes and the eyes and extends in the left-right direction. It becomes an area.
  • the red-eye detection unit 33 detects a red-eye candidate C by template matching the red-eye search region G2 using a red-eye template prepared in advance.
  • the red-eye detection unit 33 detects a pixel pattern that exceeds a predetermined threshold by template matching as a red-eye candidate C.
  • the red eye detection unit 33 detects the true red eye R as the red eye candidate C and also detects the LED light L as the red eye candidate C. As a result, in step S3, two red-eye candidates C are detected. Therefore, the red eye detection unit 33 determines the red eye candidate C of the pixel pattern having the highest matching degree with the red eye template as the red eye R.
  • the ECU 30 detects the position of the upper eyelid and the position of the lower eyelid (step S4).
  • the wrinkle detecting unit 34 performs the process of step S4.
  • FIG. 6 is a schematic diagram for explaining a method for detecting upper and lower eyelids.
  • the wrinkle detection unit 34 generates, for example, a Sobel filter on the face position region G ⁇ b> 1 set in step S ⁇ b> 2 to generate an edge image G ⁇ b> 3 that is an image with enhanced edges.
  • the eyelid detection unit 34 projects a plurality of curves having the start and end points of the feature points of the corner of the eye and the eye detected in step S2, and calculates the edge strength (pixel value of the edge image) on the curve.
  • a Bezier curve is used as the curve.
  • the eyelid detection unit 34 selects a curve having a strong edge strength from the calculated edge strengths, and sets the upper eyelid curve Q1 indicating the position of the upper eyelid and the lower eyelid curve Q2 indicating the position of the lower eyelid. At this time, the eyelid detection unit 34 excludes the lower red eye (lower than the center position of the red eye) curve (for example, the curve q1) detected in step S3 from the upper eyelid candidate, and detects the red eye detected in step S3. The upper curve (above the center position of the red eye) (for example, the curve q2) is excluded from the lower eyelid candidates.
  • step S5 the ECU 30 determines whether or not the detection of the position of the upper and lower eyelids performed by the eyelid detection unit 34 in step S4 is correct (step S5).
  • the wrinkle determination unit 35 performs the process of step S5.
  • FIG. 7 is a schematic diagram for explaining erroneous detection of the position of the upper and lower eyelids.
  • the eyelid detection unit 34 may erroneously detect the curve projected on the edge generated around the boundary of the pixel pattern of the LED light L as the upper eyelid curve Q1 or the lower eyelid curve Q2.
  • the lower eyelid curve Q2 shows a curve projected on the lower eyelid, but the upper eyelid curve Q1 is not the upper eyelid but on the edge generated around the boundary of the pixel pattern of the LED light L. Shows the projected curve. For this reason, the erroneously detected LED light L exists between the upper eyelid curve Q1 and the lower eyelid curve Q2, and the true red eye R exists above the upper eyelid curve Q1.
  • the eyelid determination unit 35 first searches for a red eye candidate within the range where the upper eyelid curve Q1 and the lower eyelid curve Q2 are assumed to have upper eyelid and lower eyelid skin.
  • FIG. 8 and 9 are schematic diagrams for explaining a method for searching for red-eye candidates.
  • FIG. 8 shows a case where the position of the upper and lower eyelids is correctly detected
  • FIG. 9 shows a case where the position of the upper eyelid is erroneously detected.
  • the wrinkle determination unit 35 first determines a predetermined range in which it is assumed that there is upper and lower eyelid skin from the upper eyelid curve Q1 and the lower eyelid curve Q2 detected in step S4.
  • the search range G4 is set. Further, the search range G4 is a range not more than the diameter of the red eye from the upper eyelid curve Q1 and the lower eyelid curve Q2. Therefore, the eyelid determining unit 35 sets a range that is not more than the diameter of the red eye on the upper side (Y direction) from the upper eyelid curve Q1 as the search range G4 of the upper eyelid curve Q1.
  • the eyelid determining unit 35 sets a range that is not more than the diameter of the red eye from the lower eyelid curve Q2 to the lower side (opposite to the Y direction) as the search range G4 of the lower eyelid curve Q2.
  • the search range G4 of the upper eyelid curve Q1 is a range of 10 pixels or less above each pixel of the upper eyelid curve Q1
  • the search range G4 of the lower eyelid curve Q2 Is a range of 10 pixels downward from each pixel of the lower eyelid curve Q2.
  • the search range G4 of the upper eyelid curve Q1 may be only pixels on the upper eyelid curve Q1
  • the search range G4 of the lower eyelid curve Q2 may be only pixels on the lower eyelid curve Q2. 8 and 9, only the search range G4 of the upper eyelid curve Q1 is shown, and the display of the search range G4 of the lower eyelid curve Q2 is omitted.
  • the wrinkle determination unit 35 adds the pixel values of one or a plurality of pixels having the same X coordinate in the search range G4 of the upper wrinkle curve Q1.
  • the eyelid determination unit 35 adds together the pixel values of one or more pixels having the same X coordinate in the search range G4 of the lower eyelid curve Q2.
  • the eyelid determination unit 35 generates a distribution in the X direction of the summed pixel value K.
  • FIG. 10 is a diagram showing a distribution of pixel values in the X direction in the case of FIG.
  • FIG. 11 is a diagram showing a distribution of pixel values in the X direction in the case of FIG. 10 and 11, the pixel value K is high for the red-eye pixel and the white skin pixel, and the pixel value K is low for the black shadow pixel near the eyelid.
  • the search range G4 is occupied by a black shadow portion near the eyelids, and therefore the distribution of the pixel value K in the X direction Appears as a flat curve without exceeding a predetermined threshold.
  • the pixel value of the real red-eye R portion becomes high. It appears as a curve in which the R portion becomes a convex portion exceeding a predetermined threshold.
  • the predetermined threshold value is a value between the pixel value of the pixel in the red eye part and the pixel value of the pixel in the black shadow part near the eyelid, and for example, an intermediate value between these pixel values is adopted.
  • the eyelid determination unit 35 has a portion that exceeds a predetermined threshold in the distribution of the pixel values K in the X direction, and the width of the convex portion that exceeds the predetermined threshold is equal to or less than the maximum width of the red eye. Is a determination condition as to whether or not there is a red-eye candidate in the search range G4.
  • the maximum width of the red eye can be obtained by measuring in advance. For example, 20 pixels are set.
  • the eyelid determination unit 35 determines that no red-eye candidate exists in the search range G4, and the eyelid detection unit 34 correctly detects the position of the upper and lower eyelids. It is determined that On the other hand, when the distribution of the pixel value K in the X direction satisfies the above condition, the eyelid determination unit 35 determines that a red-eye candidate exists in the search range G4, and the eyelid detection unit 34 erroneously detects the position of the upper and lower eyelids. judge.
  • step S6 If it is determined in step S5 that the eyelid detection unit 34 has correctly detected the position of the upper eyelid and the position of the lower eyelid (step S5: YES), the ECU 30 then calculates the eye opening degree (step S6).
  • the process of step S6 is performed by the eye opening degree calculation unit 36.
  • the eye opening degree calculation unit 36 calculates the Y coordinate of the middle point of the upper eyelid curve Q1 detected in step S4 and the Y coordinate of the middle point of the lower eyelid curve Q2, and the eye opening degree [ pix] is calculated.
  • the eye opening degree is a value of a pixel unit of a pixel. Note that the method for calculating the degree of eye opening is not limited to this method, and other known methods may be used. Then, the wrinkle detection process ends.
  • step S5 determines that the eyelid detection unit 34 does not calculate the eye opening degree. Notify other processing devices that the detection of the position of the upper and lower eyelids has failed, or that the position of the upper and lower eyelids detected by the eyelid detector 34 is low in reliability. In this case, since it is highly likely that the red-eye detection unit 33 has failed to detect the red eye, the ECU 30 determines that the red-eye detection unit 33 has failed to detect the red-eye, or the red-eye detected by the red-eye detection unit 33. Is notified to other processing devices. Then, the wrinkle detection process ends.
  • the eyelid detection unit 34 when the LED light L having a pixel pattern similar to the pixel pattern of the redeye R exists in the vicinity of the redeye R, the eyelid detection unit 34 An unnecessary edge generated around the pixel pattern of the LED light L may be erroneously detected as the position of the upper and lower eyelids, but the red eye candidate exists within the range where the skin is assumed from the detected position of the upper and lower eyelids Then, since the eyelid determination unit 35 determines that the detection of the eyelid detection unit 34 is an error, it is possible to prevent erroneous detection of the position of the upper and lower eyelids.
  • the range in which the eyelid determining unit 35 searches for the red-eye candidate is equal to or less than the diameter of the red-eye, it is possible to reduce the influence of the white skin portion whose pixel value is similar to the red-eye portion. It can be clearly distinguished.
  • the range in which the eyelid determination unit 35 searches for red-eye candidates is equal to or less than the diameter of the red-eye detected by the red-eye detection unit 33, even if the red-eye diameter in the image varies depending on the distance from the image sensor 10 or individual differences. Appropriately distinguish between red eye candidates and skin.
  • the eyelid determination unit 35 adopts a condition that there is a location exceeding a predetermined threshold in the distribution of the pixel values K in the X direction as a determination condition as to whether or not a red-eye candidate exists in the search range G4. Thus, it can be appropriately determined that a red-eye candidate exists in the search range G4.
  • the wrinkle determination unit 35 determines that the width of the portion exceeding the predetermined threshold in the distribution of the pixel values K in the X direction is the maximum red-eye width.
  • the eyelid detection unit 35 has been described as setting the range for searching for red-eye candidates to a range equal to or less than the red-eye diameter.
  • the red-eye candidates can be appropriately detected from the search region G4, A larger range may be set.
  • It can be used as a wrinkle detection device having a wrinkle detection means for detecting the position of the upper eyelid and the position of the lower eyelid from the face image.
  • SYMBOLS 1 Haze detection apparatus, 10 ... Image sensor, 20 ... Illuminance sensor, 30 ... ECU, 31 ... Day / night determination part, 32 ... Face position / face feature point detection part, 33 ... Red eye detection part (red eye detection means), 34 ... Wrinkle detection unit (wrinkle detection unit), 35 ... Wrinkle determination unit (wrinkle determination unit), 36 ... Eye opening degree calculation unit, F1 ... Face image, G1 ... Face position region, G2 ... Red-eye search region, G3 ... Edge image, G4 ... Search range, R ... Red eye, L ... LED light, C ... Red eye candidate, Q1 ... Upper eyelid curve, Q2 ... Lower eyelid curve.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Ophthalmology & Optometry (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Traffic Control Systems (AREA)

Abstract

　赤目の近傍に赤目の画素パターンに類似した画素パターンが存在しても上下瞼の位置を誤検出するのを防止することができる瞼検出装置を提供することを課題とする。　画像センサ１０及び照度センサ２０に接続されたＥＣＵ３０は、昼夜を判定する昼夜判定部３１と、ドライバの顔の特徴点を検出する顔位置・顔特徴点検出部３２と、赤目を検出する赤目検出部３３と、上下瞼の位置を検出する瞼検出部３４と、瞼検出部３４が検出した上下瞼の位置を判定する瞼判定部３５と、開眼度を算出する開眼度算出部３６と、を備える。そして、瞼判定部３５は、瞼検出部３４が検出された上下瞼の位置から皮膚があると想定される範囲内で赤目候補を探索し、この範囲内で赤目候補が探索されると、瞼検出部３４が上下瞼の位置を誤検出したと判定する。

Description

瞼検出装置
　本発明は、顔画像から上下瞼の位置を検出する瞼検出装置に関する。
　従来、開眼状態の検出などを行うために、顔画像から上下瞼の位置を検出する瞼検出装置が知られている（例えば、特許文献１参照）。特許文献１に記載の瞼検出装置は、赤目のエッジを上瞼及び下瞼から除外することで、上下瞼の位置の誤検出を防止するものである。
特開２００８－１５８９２２号公報
　しかしながら、実際には、顔画像に赤目候補となり得る画素パターンが２以上存在する場合がある。
　このため、従来の瞼検出装置では、赤目では無い方の画素パターンを赤目として誤検出すると、赤目の誤検出に引きずられて、上瞼の位置及び下瞼の位置も誤検出するという問題がある。
　そこで、本発明は、赤目の近傍に赤目の画素パターンに類似した画素パターンが存在しても上下瞼の位置の誤検を防止することができる瞼検出装置を提供することを課題とする。
　本発明に係る瞼検出装置は、顔画像から上下瞼の位置を検出する瞼検出手段を有する瞼検出装置であって、瞼検出手段により検出された上下瞼の位置から皮膚があると想定される範囲内で赤目候補を探索し、当該範囲内で赤目候補が探索されると瞼検出手段の検出は誤りであると判定する瞼判定手段を有する。
　本発明に係る瞼検出装置によれば、赤目の近傍に赤目の画素パターンに類似した画素パターンが存在すると、瞼検出手段は、この画素パターンの周辺に生じた不要なエッジを上下瞼の位置として誤検出することがあるが、この検出した上下瞼の位置から皮膚があると想定される範囲内に赤目候補が存在すれば、瞼判定手段により、瞼検出手段の検出は誤りであると判定するため、上下瞼の位置の誤検出を防止することができる。
　そして、瞼判定手段は、赤目候補を探索する範囲を赤目の直径以下に設定するものとすることができる。このように、瞼判定手段が赤目候補を探索する範囲を赤目の直径以下に設定することで、画素値が赤目部分に類似した白い肌部分の影響を小さくすることができるため、赤目候補と皮膚とを明確に区別することができる。
　また、顔画像から赤目を検出する赤目検出手段を更に有し、瞼判定手段は、赤目候補を探索する範囲を、赤目検出手段により検出された赤目の直径以下に設定するものとすることができる。顔画像における赤目の直径は、カメラからの距離や個人差によって異なる。そこで、瞼判定手段が赤目候補を探索する範囲を、顔画像から検出した赤目の直径以下に設定することで、カメラからの距離や個人差によって顔画像における赤目の直径が異なっても、適切に赤目候補と皮膚とを明確に区別することができる。
　本発明によれば、赤目の近傍に赤目の画素パターンに類似した画素パターンが存在しても上下瞼の位置を誤検出するのを防止することができる。
実施形態に係る瞼検出装置のブロック構成を示した図である。 実施形態に係る瞼検出装置の赤目検出処理動作を示すフローチャートである。 画像センサが撮像した画像情報の一例を示した図である。 顔位置領域の一例を示した図である。 赤目の検出方法を説明するための概要図である。 上下瞼の検出方法を説明するための概要図である。 上下瞼の位置の誤検出を説明するための概要図である。 赤目候補の探索方法を説明するための概要図である。 赤目候補の探索方法を説明するための概要図である。 図８の場合のＸ方向における画素値の分布を示した図である。 図９の場合のＸ方向における画素値の分布を示した図である。
　以下、図面を参照して、本発明に係る瞼検出装置の実施の形態を説明する。なお、各図において同一又は相当する要素については同一の符号を付し、重複する説明を省略する。
　本実施形態に係る瞼検出装置は、上下瞼の位置から算出される開眼度からドライバの眠気度を推定して車両の運転支援制御を行う運転支援制御装置などに搭載されるものである。なお、上下瞼の位置とは、上瞼の位置及び下瞼の位置をいう。
　図１は、実施形態に係る瞼検出装置のブロック構成を示した図である。図１に示すように、実施形態に係る瞼検出装置１は、画像センサ１０と、照度センサ２０と、ＥＣＵ（Ｅｌｅｃｔｒｏｎｉｃ　Ｃｏｎｔｒｏｌ　Ｕｎｉｔ）３０と、を備えている。
　画像センサ１０は、ドライバの顔を撮像するセンサである。画像センサ１０としては、例えば、車両のステアリングコラムに固定されたＣＣＤカメラ等が用いられる。画像センサ１０が撮像した画像（顔画像）は、各画素の位置や色情報などを表す画像情報で構成されている。そして、画像センサ１０は、撮像した画像の画像情報をＥＣＵ３０へ出力する。
　照度センサ２０は、車外光量を計測するセンサである。車外光量とは、車両の外側の光量である。このため、昼間は車外光量が高くなり、夜間は車外光量が低くなる。照度センサ２０としては、例えば、車両の窓付近に固定された光電変換素子等が用いられる。そして、照度センサ２０は、計測した車外光量をＥＣＵ３０へ出力する。
　ＥＣＵ３０は、電子制御を行う自動車デバイスのコンピュータであり、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）やＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）等のメモリ、及び入出力インターフェイスなどを備えて構成されている。
　このＥＣＵ３０は、画像センサ１０及び照度センサ２０に接続されており、昼夜判定部３１、顔位置・顔特徴点検出部３２、赤目検出部３３、瞼検出部３４、瞼判定部３５及び開眼度算出部３６を備えている。
　昼夜判定部３１は、車外光量の高い昼間か車外光量の低い夜間かを判定する機能を有している。昼夜判定部３１は、例えば、照度センサ２０から出力された車外光量や、画像センサ１０から出力された画像の合計輝度などに基づいて、昼夜を判定する。
　顔位置・顔特徴点検出部３２は、画像センサ１０が撮像した画像から、ドライバの顔の特徴点を検出する機能を有している。具体的に説明すると、顔位置・顔特徴点検出部３２は、まず、画像センサ１０が撮像した画像全体を探索範囲として、ニューラルネットワーク（Ｎｅｕｒａｌ　Ｎｅｔｗｏｒｋ）やブースティング（Ｂｏｏｓｔｉｎｇ）等の統計手法により顔位置を発見する。そして、顔位置・顔特徴点検出部３２は、この発見した顔位置を含む顔位置領域を設定し、この設定した顔位置領域から、ニューラルネットワークやブースティング等の統計手法により顔の特徴点を検出する。顔の特徴点としては、例えば、右目尻、右目頭、左目尻、左目頭、鼻腔中心、左右口端等が挙げられる。なお、顔の各特徴点の検出は、この手法に限られるものではなく、公知の他の手法を用いてもよい。
　赤目検出部３３は、赤目テンプレートを用いたテンプレートマッチングにより赤目検出を行う機能を有している。具体的に説明すると、赤目検出部３３は、まず、顔位置・顔特徴点検出部３２が検出した目尻及び目頭の特徴点に基づいて、顔位置・顔特徴点検出部３２が設定した顔位置領域から、赤目探索領域を設定する。そして、赤目検出部３３は、赤目テンプレートを用いたテンプレートマッチングにより、赤目探索領域から赤目を検出する。なお、赤目の検出は、この手法に限られるものではなく、公知の他の手法を用いてもよい。
　瞼検出部３４は、上下瞼の位置を検出する機能を有している。具体的に説明すると、瞼検出部３４は、赤目検出部３３が設定した顔位置領域に、例えばソーベルフィルタを適用して、エッジを強調した画像であるエッジ画像を生成する。そして、瞼検出部３４は、顔位置・顔特徴点検出部３２が検出した目尻及び目頭の特徴点を始点及び終点とする複数の曲線をエッジ画像に投影し、その曲線上のエッジの強度（エッジ画像の画素値）から、上下瞼の位置を検出する。なお、上下瞼の位置の検出は、この手法に限られるものではなく、公知の他の手法を用いてもよい。
　また、瞼検出部３４は、上下瞼の位置を検出するに際して、赤目検出部３３が検出した赤目よりも下側の曲線は上瞼の候補から除外し、赤目検出部３３が検出した赤目よりも上側の曲線は下瞼の候補から除外する機能を有している。
　瞼判定部３５は、瞼検出部３４が検出した上下瞼の位置の判定を行う機能を有している。具体的に説明すると、瞼判定部３５は、瞼検出部３４が検出された上下瞼の位置から皮膚があると想定される範囲内で赤目候補を探索する。そして、瞼判定部３５は、この範囲内で赤目候補が探索されると、瞼検出部３４が上下瞼の位置を誤検出したと判定する。
　開眼度算出部３６は、ドライバの眼が開いている度合いを示す開眼度を算出する機能を有している。具体的に説明すると、開眼度算出部３６は、瞼検出部３４が検出した上瞼の位置と下瞼の位置との差分を開眼度［ｐｉｘ］として算出する。この開眼度は、画素のピクセル（ｐｉｘｅｌ）単位で表される。なお、開眼度の算出は、この手法に限られるものではなく、公知の他の手法を用いてもよい。
　次に、実施形態に係る瞼検出装置１の動作について説明する。図２は、実施形態に係る瞼検出装置の瞼検出処理動作を示すフローチャートである。図２に示す処理は、昼夜判定部３１が夜間であると判定した時間帯に、ＥＣＵ３０の制御により行われ、例えば、イグニッションオンされたタイミングからイグニッションオフされるまでの間、所定の間隔で繰返し行われる。
　図２に示すように、まず、ＥＣＵ３０は、画像センサ１０が撮像したドライバの画像を入力する（ステップＳ１）。ステップＳ１では、画像センサ１０が撮像した図３に示す画像Ｆ１を入力する。図３は、画像センサが撮像した画像の一例である。
　次に、ＥＣＵ３０は、顔位置・顔特徴点を検出する（ステップＳ２）。ステップＳ２の処理は、顔位置・顔特徴点検出部３２が行う。顔位置・顔特徴点検出部３２は、まず、ステップＳ１で入力した画像Ｆ１の全体を探索範囲として、ニューラルネットワークやブースティング等の統計手法により顔位置を発見する。次に、顔位置・顔特徴点検出部３２は、顔位置領域Ｇ１を設定する。図４は、顔の特徴点検出方法を説明するための概要図であり、顔位置領域Ｇ１を示している。図４に示すように、顔位置領域Ｇ１は、この発見した顔位置を含む領域であり、画像Ｆ１の一領域である。そして、顔位置・顔特徴点検出部３２は、この設定した顔位置領域Ｇ１を探索範囲として、ニューラルネットワークやブースティング等の統計手法により、右目尻、右目頭、左目尻、左目頭、鼻腔中心、左右口端等の特徴点を検出する。
　次に、ＥＣＵ３０は、事前に用意されている赤目テンプレートを用いたテンプレートマッチングにより赤目を検出する（ステップＳ３）。ステップＳ３の処理は、赤目検出部３３が行う。赤目検出部３３は、まず、ステップＳ２において設定した顔位置領域Ｇ１（図４参照）から、赤目探索領域Ｇ２を設定する。図５は、赤目の検出方法を説明するための概要図である。図５に示すように、赤目探索領域Ｇ２は、例えば、目尻よりも外側に配置されて上下方向に延びる線分と、目頭よりも内側に配置されて上下方向に延びる線分と、目尻と目頭とを結ぶ線分よりも上側に配置されて左右方向に延びる線分と、目尻と目頭とを結ぶ線分よりも下側に配置されて左右方向に延びる線分と、により画成される矩形領域となる。そして、赤目検出部３３は、事前に用意されている赤目テンプレートを用いて赤目探索領域Ｇ２をテンプレートマッチングすることにより、赤目候補Ｃを検出する。なお、赤目検出部３３は、テンプレートマッチングにより所定の閾値を超えた画素パターンを赤目候補Ｃとして検出する。
　ここで、図５に示す赤目探索領域Ｇ２を見てみる。すると、赤目探索領域Ｇ２には、ドライバの目や瞼に反射したＬＥＤ光Ｌが映り込んでいる。また、ドライバがメガネをかけていると、メガネのフレームやレンズに反射したＬＥＤ光Ｌも映り込む。このＬＥＤ光Ｌの画素パターンは、赤目Ｒの画素パターンと近似している。このため、赤目検出部３３は、本当の赤目Ｒを赤目候補Ｃとして検出するとともに、このＬＥＤ光Ｌも赤目候補Ｃとして検出する。その結果、ステップＳ３では、２つの赤目候補Ｃが検出される。そこで、赤目検出部３３は、赤目テンプレートとのマッチング度が最も高い画素パターンの赤目候補Ｃを赤目Ｒと判定する。
　次に、ＥＣＵ３０は、上瞼の位置及び下瞼の位置を検出する（ステップＳ４）。ステップＳ４の処理は、瞼検出部３４が行う。
　ここで、図６を参照して、ステップＳ４における上下瞼の検出方法について説明する。図６は、上下瞼の検出方法を説明するための概要図である。図６に示すように、瞼検出部３４は、ステップＳ２で設定した顔位置領域Ｇ１に対して、例えばソーベルフィルタを適用して、エッジを強調した画像であるエッジ画像Ｇ３を生成する。次に、瞼検出部３４は、ステップＳ２で検出した目尻及び目頭の特徴点を始点及び終点とする複数の曲線を投影し、その曲線上のエッジの強度（エッジ画像の画素値）を算出する。曲線として、例えば、ベジェ曲線が用いられる。そして、瞼検出部３４は、算出されたエッジ強度の中からエッジ強度が強い曲線を選択し、上瞼の位置を示す上瞼曲線Ｑ１及び下瞼の位置を示す下瞼曲線Ｑ２とする。このとき、瞼検出部３４は、ステップＳ３で検出した赤目の下側（赤目の中心位置よりも下側）の曲線（例えば、曲線ｑ１）は上瞼の候補から除外し、ステップＳ３で検出した赤目の上側（赤目の中心位置よりも上側）の曲線（例えば、曲線ｑ２）は下瞼の候補から除外する。
　次に、ＥＣＵ３０は、ステップＳ４において瞼検出部３４が行った上下瞼の位置の検出が正しいか否かを判定する（ステップＳ５）。ステップＳ５の処理は、瞼判定部３５が行う。
　ここで、図７を参照して、ステップＳ４において上下瞼の位置を誤検出する一例について説明する。図７は、上下瞼の位置の誤検出を説明するための概要図である。図７に示すように、赤目探索領域Ｇ２にＬＥＤ光Ｌが写り込んでいると、ＬＥＤ光Ｌの画素パターンの境界周辺に不要なエッジが発生する。すると、ＬＥＤ光Ｌの画素パターンの境界周辺に生じたエッジ上に投影された曲線のエッジ強度が高くなる。このため、瞼検出部３４は、ＬＥＤ光Ｌの画素パターンの境界周辺に生じたエッジ上に投影された曲線を、上瞼曲線Ｑ１又は下瞼曲線Ｑ２と誤検出する可能性がある。図７を見ると、下瞼曲線Ｑ２は、下瞼に投影された曲線を示しているが、上瞼曲線Ｑ１は、上瞼ではなく、ＬＥＤ光Ｌの画素パターンの境界周辺に生じたエッジ上に投影された曲線を示している。このため、上瞼曲線Ｑ１と下瞼曲線Ｑ２との間には、誤検出されたＬＥＤ光Ｌが存在し、本当の赤目Ｒは、上瞼曲線Ｑ１の上側に存在している。
　そこで、瞼判定部３５は、まず、上瞼曲線Ｑ１及び下瞼曲線Ｑ２から上瞼及び下瞼の皮膚があると想定される範囲内において赤目候補を探索する。
　ここで、図８及び図９を参照して、ステップＳ５における赤目候補の探索方法について詳しく説明する。図８及び図９は、赤目候補の探索方法を説明するための概要図である。図８は、上下瞼の位置を正しく検出した場合を示しており、図９は、上瞼の位置を誤検出した場合を示している。
　図８及び図９に示すように、瞼判定部３５は、まず、ステップＳ４において検出した上瞼曲線Ｑ１及び下瞼曲線Ｑ２から上瞼及び下瞼の皮膚があると想定される所定の範囲を、探索範囲Ｇ４として設定する。更に、この探索範囲Ｇ４は、上瞼曲線Ｑ１及び下瞼曲線Ｑ２から赤目の直径以下の範囲となる。このため、瞼判定部３５は、上瞼曲線Ｑ１から上側（Ｙ方向）に赤目の直径以下となる範囲を上瞼曲線Ｑ１の探索範囲Ｇ４として設定する。また、瞼判定部３５は、下瞼曲線Ｑ２から下側（Ｙ方向の反対方向）に赤目の直径以下となる範囲を下瞼曲線Ｑ２の探索範囲Ｇ４として設定する。例えば、赤目Ｒの直径が最大１０ピクセルである場合は、上瞼曲線Ｑ１の探索範囲Ｇ４が、上瞼曲線Ｑ１の各画素から上側に１０ピクセル以下の範囲となり、下瞼曲線Ｑ２の探索範囲Ｇ４が、下瞼曲線Ｑ２の各画素から下側に１０ピクセルの範囲となる。この場合、上瞼曲線Ｑ１の探索範囲Ｇ４は上瞼曲線Ｑ１上の画素のみであってもよく、下瞼曲線Ｑ２の探索範囲Ｇ４は下瞼曲線Ｑ２上の画素のみであってもよい。なお、図８及び図９では、上瞼曲線Ｑ１の探索範囲Ｇ４のみを示しており、下瞼曲線Ｑ２の探索範囲Ｇ４の表示を省略している。
　瞼判定部３５は、次に、上瞼曲線Ｑ１の探索範囲Ｇ４においてＸ座標が同一となる１又は複数の画素の画素値を合算する。また、瞼判定部３５は、下瞼曲線Ｑ２の探索範囲Ｇ４においてＸ座標が同一となる１又は複数の画素の画素値を合算する。そして、瞼判定部３５は、図１０及び図１１に示すように、この合算した画素値ＫのＸ方向における分布を生成する。図１０は、図８の場合のＸ方向における画素値の分布を示した図である。図１１は、図９の場合のＸ方向における画素値の分布を示した図である。なお、図１０及び図１１において、赤目部分の画素や白い肌部分の画素は画素値Ｋが高くなり、瞼付近の黒い影の部分の画素は画素値Ｋが低くなる。
　図８及び図１０に示すように、瞼検出部３４が上下瞼の位置を正しく検出した場合は、探索範囲Ｇ４が瞼付近の黒い影の部分で占められるため、Ｘ方向における画素値Ｋの分布は、所定の閾値を超えることなく、平坦な曲線として表れる。一方、図１１に示すように、瞼検出部３４が上瞼の位置を誤検出した場合は、本当の赤目Ｒの部分の画素値が高くなるため、Ｘ方向における画素値Ｋの分布は、赤目Ｒの部分が所定の閾値を超える凸部分となった曲線として表れる。所定の閾値は、赤目部分の画素の画素値と瞼付近の黒い影の部分の画素の画素値との間の値であって、例えば、これらの画素値の中間の値が採用される。
　そこで、瞼判定部３５は、Ｘ方向における画素値Ｋの分布において、所定の閾値を超える箇所が存在し、かつ、この所定の閾値を超える凸部分の幅が、赤目の最大幅以下であることを、探索範囲Ｇ４内に赤目候補が存在するか否かの判定条件とする。赤目の最大幅は、事前に計測することで求めることができ、例えば、２０ピクセルが設定される。
　そして、瞼判定部３５は、Ｘ方向における画素値Ｋの分布が上記の条件を満たさないと、探索範囲Ｇ４に赤目候補が存在しないと判定し、瞼検出部３４が上下瞼の位置を正しく検出したと判定する。一方、瞼判定部３５は、Ｘ方向における画素値Ｋの分布が上記の条件を満たすと、探索範囲Ｇ４に赤目候補が存在すると判定し、瞼検出部３４が上下瞼の位置を誤検出したと判定する。
　ステップＳ５において、瞼検出部３４が上瞼の位置及び下瞼の位置を正しく検出したと判定すると（ステップＳ５：ＹＥＳ）、ＥＣＵ３０は、次に、開眼度を算出する（ステップＳ６）。ステップＳ６の処理は、開眼度算出部３６が行う。開眼度算出部３６は、ステップＳ４において検出した上瞼曲線Ｑ１の中点のＹ座標及び下瞼曲線Ｑ２の中点のＹ座標を算出し、上下瞼のＹ座標の差分に基づいて開眼度［ｐｉｘ］を算出する。開眼度は、画素のピクセル（ｐｉｘｅｌ）単位の値となる。なお、開眼度の算出方法は、この手法に限られるものではなく、公知の他の手法を用いてもよい。そして、瞼検出処理を終了する。
　一方、ステップＳ５において、瞼検出部３４が上瞼の位置及び下瞼の位置を誤検出したと判定すると（ステップＳ５：ＮＯ）、ＥＣＵ３０は、開眼度を算出することなく、瞼検出部３４が上下瞼の位置の検出に失敗したこと、又は、瞼検出部３４が検出した上下瞼の位置は信頼性が低いことを、他の処理装置に通知する。この場合、赤目検出部３３が赤目の検出にも失敗している可能性が極めて高いため、ＥＣＵ３０は、赤目検出部３３が赤目の検出に失敗したこと、又は、赤目検出部３３が検出した赤目の信頼性が低いことを、他の処理装置に通知する。そして、瞼検出処理を終了する。
　以上説明したように、本実施形態に係る瞼検出装置１によれば、赤目Ｒの近傍に赤目Ｒの画素パターンに類似した画素パターンのＬＥＤ光Ｌなどが存在すると、瞼検出部３４は、このＬＥＤ光Ｌの画素パターンの周辺に生じた不要なエッジを上下瞼の位置として誤検出することがあるが、この検出した上下瞼の位置から皮膚があると想定される範囲内に赤目候補が存在すれば、瞼判定部３５により、瞼検出部３４の検出は誤りであると判定するため、上下瞼の位置の誤検出を防止することができる。
　また、瞼判定部３５が赤目候補を探索する範囲を赤目の直径以下にすることで、画素値が赤目部分に類似した白い肌部分の影響を小さくすることができるため、赤目候補と皮膚とを明確に区別することができる。
　更に、瞼判定部３５が赤目候補を探索する範囲を、赤目検出部３３が検出した赤目の直径以下にすることで、画像センサ１０からの距離や個人差によって画像における赤目の直径が異なっても、適切に赤目候補と皮膚とを明確に区別することができる。
　また、瞼判定部３５が、探索範囲Ｇ４内に赤目候補が存在するか否かの判定条件として、Ｘ方向における画素値Ｋの分布において、所定の閾値を超える箇所が存在するとの条件を採用することで、探索範囲Ｇ４内に赤目候補が存在することを適切に判定することができる。
　更に、瞼判定部３５が、探索範囲Ｇ４内に赤目候補が存在するか否かの判定条件として、Ｘ方向における画素値Ｋの分布において、所定の閾値を超える箇所の幅が、赤目の最大幅以下であるとの条件を採用することで、所定の閾値を超えた原因が、白い肌によるものか赤目候補によるものかを適切に区別することができる。
　以上、本発明の好適な実施形態について説明したが、本発明は上記実施形態に限定されるものではない。例えば、瞼検出部３５は、赤目候補を探索する範囲として、赤目の直径以下の範囲に設定するものとして説明したが、探索領域Ｇ４から赤目候補を適切に検出することができれば、赤目の直径よりも大きい範囲を設定してもよい。
　顔画像から上瞼の位置及び下瞼の位置を検出する瞼検出手段を有する瞼検出装置として利用可能である。
　１…瞼検出装置、１０…画像センサ、２０…照度センサ、３０…ＥＣＵ、３１…昼夜判定部、３２…顔位置・顔特徴点検出部、３３…赤目検出部（赤目検出手段）、３４…瞼検出部（瞼検出手段）、３５…瞼判定部（瞼判定手段）、３６…開眼度算出部、Ｆ１…顔画像、Ｇ１…顔位置領域、Ｇ２…赤目探索領域、Ｇ３…エッジ画像、Ｇ４…探索範囲、Ｒ…赤目、Ｌ…ＬＥＤ光、Ｃ…赤目候補、Ｑ１…上瞼曲線、Ｑ２…下瞼曲線。

Claims (3)

  1. 　顔画像から上下瞼の位置を検出する瞼検出手段を有する瞼検出装置であって、
    　前記瞼検出手段により検出された上下瞼の位置から皮膚があると想定される範囲内で赤目候補を探索し、当該範囲内で赤目候補が探索されると前記瞼検出手段の検出は誤りであると判定する瞼判定手段を有する、瞼検出装置。
  2. 　前記瞼判定手段は、赤目候補を探索する前記範囲を赤目の直径以下に設定する、請求項１に記載の瞼検出装置。
  3. 　顔画像から赤目を検出する赤目検出手段を更に有し、
    　前記瞼判定手段は、赤目候補を探索する前記範囲を、前記赤目検出手段により検出された赤目の直径以下に設定する、請求項１に記載の瞼検出装置。
PCT/JP2011/065824 2011-07-11 2011-07-11 瞼検出装置 WO2013008304A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2013523728A JP5737401B2 (ja) 2011-07-11 2011-07-11 瞼検出装置
PCT/JP2011/065824 WO2013008304A1 (ja) 2011-07-11 2011-07-11 瞼検出装置
US14/131,555 US8983147B2 (en) 2011-07-11 2011-07-11 Eyelid detection device
DE112011105435.1T DE112011105435B4 (de) 2011-07-11 2011-07-11 Augenliderfassungsvorrichtung

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2011/065824 WO2013008304A1 (ja) 2011-07-11 2011-07-11 瞼検出装置

Publications (1)

Publication Number Publication Date
WO2013008304A1 true WO2013008304A1 (ja) 2013-01-17

Family

ID=47505623

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2011/065824 WO2013008304A1 (ja) 2011-07-11 2011-07-11 瞼検出装置

Country Status (4)

Country Link
US (1) US8983147B2 (ja)
JP (1) JP5737401B2 (ja)
DE (1) DE112011105435B4 (ja)
WO (1) WO2013008304A1 (ja)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5999013B2 (ja) * 2013-04-12 2016-09-28 株式会社デンソー 開眼状態判定装置
JP6227996B2 (ja) * 2013-12-18 2017-11-08 浜松ホトニクス株式会社 計測装置及び計測方法
US10089525B1 (en) * 2014-12-31 2018-10-02 Morphotrust Usa, Llc Differentiating left and right eye images
US10007845B2 (en) 2015-07-06 2018-06-26 Pixart Imaging Inc. Eye state detecting method and eye state detecting system
WO2018033137A1 (zh) * 2016-08-19 2018-02-22 北京市商汤科技开发有限公司 在视频图像中展示业务对象的方法、装置和电子设备
CN110168610B (zh) * 2017-01-17 2023-07-21 三菱电机株式会社 眼睑检测装置、瞌睡判定装置、及眼睑检测方法
US11200417B2 (en) * 2018-02-13 2021-12-14 Mitsubishi Electric Corporation Determination apparatus and method to enhance accuracy in determining the presence of an erroneously detected eyelid
DE102019209200A1 (de) * 2019-06-26 2020-12-31 Robert Bosch Gmbh Verfahren und Vorrichtung zum Bestimmen eines Mittelpunkts und einer Augenöffnung eines Auges eines Insassen eines Fahrzeugs

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008158922A (ja) * 2006-12-26 2008-07-10 Aisin Seiki Co Ltd 瞼検出装置、瞼検出方法及びプログラム

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4414401B2 (ja) * 2006-02-10 2010-02-10 富士フイルム株式会社 顔特徴点検出方法および装置並びにプログラム
JP4845698B2 (ja) * 2006-12-06 2011-12-28 アイシン精機株式会社 眼部検出装置、眼部検出方法及びプログラム
JP5655491B2 (ja) * 2010-10-18 2015-01-21 トヨタ自動車株式会社 開眼状態検出装置

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008158922A (ja) * 2006-12-26 2008-07-10 Aisin Seiki Co Ltd 瞼検出装置、瞼検出方法及びプログラム

Also Published As

Publication number Publication date
JP5737401B2 (ja) 2015-06-17
JPWO2013008304A1 (ja) 2015-02-23
DE112011105435B4 (de) 2022-07-07
DE112011105435T5 (de) 2014-03-27
US8983147B2 (en) 2015-03-17
US20140112580A1 (en) 2014-04-24

Similar Documents

Publication Publication Date Title
JP5737401B2 (ja) 瞼検出装置
US9177202B2 (en) Red-eye detection device
JP5790762B2 (ja) 瞼検出装置
JP4203512B2 (ja) 車両周辺監視装置
JP4263737B2 (ja) 歩行者検知装置
US20120154588A1 (en) Lane departure warning system and method
JP5737399B2 (ja) 赤目判定装置
WO2007077682A1 (ja) 車両及びレーンマーク検出装置
WO2012144020A1 (ja) 瞼検出装置、瞼検出方法及びプログラム
US20150169969A1 (en) Object detection device for area around vehicle
JP2010244156A (ja) 画像特徴量検出装置及びこれを用いた視線方向検出装置
JP3823782B2 (ja) 先行車両認識装置
JP2009265722A (ja) 顔向き検知装置
WO2010010926A1 (ja) 特徴点追跡方法及び特徴点追跡装置
JP5091897B2 (ja) 停止線検出装置
JP4198542B2 (ja) 顔有無判定装置及び顔有無判定プログラム
JP2010061375A (ja) 物体認識装置及びプログラム
KR101484170B1 (ko) Hud 영상 평가시스템 및 그 평가방법
JP3844750B2 (ja) 赤外線画像認識装置、及び赤外線画像認識装置を用いた警報装置
JP5035139B2 (ja) 眼画像処理装置
JP5655491B2 (ja) 開眼状態検出装置
JP2008171079A (ja) 画像処理装置
JP2024001527A (ja) 画像認識装置および画像認識方法
JP2010205076A (ja) 眼検出装置、及び当該装置において用いられる方法
JP2011095827A (ja) 眼部検出装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 11869421

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2013523728

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 14131555

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 112011105435

Country of ref document: DE

Ref document number: 1120111054351

Country of ref document: DE

122 Ep: pct application non-entry in european phase

Ref document number: 11869421

Country of ref document: EP

Kind code of ref document: A1