WO2013005560A1 - 瞼検出装置、瞼検出方法及びプログラム - Google Patents

瞼検出装置、瞼検出方法及びプログラム Download PDF

Info

Publication number
WO2013005560A1
WO2013005560A1 PCT/JP2012/065435 JP2012065435W WO2013005560A1 WO 2013005560 A1 WO2013005560 A1 WO 2013005560A1 JP 2012065435 W JP2012065435 W JP 2012065435W WO 2013005560 A1 WO2013005560 A1 WO 2013005560A1
Authority
WO
WIPO (PCT)
Prior art keywords
edge
driver
eyelid
distance
candidate
Prior art date
Application number
PCT/JP2012/065435
Other languages
English (en)
French (fr)
Inventor
和行 大野
崇 平槇
Original Assignee
アイシン精機株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by アイシン精機株式会社 filed Critical アイシン精機株式会社
Priority to US14/128,211 priority Critical patent/US20140126776A1/en
Priority to EP12807396.2A priority patent/EP2728550A4/en
Publication of WO2013005560A1 publication Critical patent/WO2013005560A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K28/00—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions
    • B60K28/02—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver
    • B60K28/06—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver responsive to incapacity of driver
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems

Definitions

  • the present invention relates to a wrinkle detection device, a wrinkle detection method, and a program, and more particularly, to a wrinkle detection device that detects wrinkles from an eye image, and a wrinkle detection method and program for detecting wrinkles from an eye image.
  • JP 2009-125518 A Japanese Patent Laid-Open No. 9-230436
  • the apparatus disclosed in Patent Document 1 generates a difference image from a photograph showing a driver's face. Then, this apparatus determines that the driver is blinking when there is an afterimage of wrinkles in the difference image. However, if the entire face of the driver has moved, an afterimage of wrinkles may appear in the difference image even though the wrinkles are not moving. In such a case, with the apparatus disclosed in Patent Document 1, it is considered difficult to accurately determine whether or not the driver is blinking.
  • the driver blinks using the fact that the intensity of the reflected light reflected by the driver's eyes changes between when the eyes are open and when the eyes are closed. Determine if you are.
  • the intensity of light incident on the driver's eyes changes with changes in the surrounding environment of the driver, the intensity of reflected light changes regardless of whether or not there is blinking. In such a case, it is considered that it is difficult for the device disclosed in Patent Document 2 to accurately determine whether the driver is blinking or not.
  • the present invention has been made under the above-described circumstances, and an object thereof is to accurately detect a driver's wrinkle.
  • a wrinkle detection device includes: Edge detection means for detecting an edge from an image of a driver's face sequentially photographed in a predetermined period; Extraction means for extracting, from the detected edges, a first edge that is a candidate for the upper eyelid edge of the driver and a second edge that is a candidate for the lower eyelid edge; Pairing means for pairing the first edge and the second edge; A threshold value calculating means for calculating a threshold value that is larger than the minimum value of the distance and smaller than the maximum value of the distance in accordance with a change in the distance between the paired first edge and the second edge; Based on the number of times the distance is greater than or equal to the threshold, it is determined whether or not to exclude the first edge from the upper edge candidate of the driver, and the second edge is the lower edge of the driver A decision means for deciding whether or not to exclude from the candidates, Based on the determination result by the determination means, the first edge and the second edge are excluded, and the upper edge and lower edge
  • the wrinkle detection method includes: A step of detecting an edge from an image of a driver's face that is sequentially photographed in a predetermined period; Extracting a first edge that is a candidate for an upper eyelid edge and a second edge that is a candidate for a lower eyelid edge from the detected edge; Pairing the first edge and the second edge; Calculating a threshold value that is greater than the minimum value of the distance and smaller than the maximum value of the distance in response to a change in the distance between the paired first edge and the second edge; Based on the number of times the distance is greater than or equal to the threshold, it is determined whether or not to exclude the first edge from the upper edge candidate of the driver, and the second edge is the lower edge of the driver Determining whether to exclude from the candidates, Based on the determination result, the first edge and the second edge are excluded, and the upper edge and the lower edge of the driver from the remaining pairs of the first edge and the second edge Detecting a pair of including.
  • the program according to the third aspect of the present invention is: On the computer, A procedure for detecting an edge from a driver's face image that is sequentially photographed during a predetermined period; Extracting a first edge that is a candidate for the upper eyelid edge and a second edge that is a candidate for the lower eyelid edge from the detected edge; Pairing the first edge with the second edge; Calculating a threshold value that is larger than the minimum value of the distance and smaller than the maximum value of the distance in accordance with a change in the distance between the paired first edge and the second edge; Based on the number of times the distance is greater than or equal to the threshold, it is determined whether or not to exclude the first edge from the upper edge candidate of the driver, and the second edge is the lower edge of the driver A procedure to decide whether or not to exclude from candidates, Based on the determination result, the first edge and the second edge are excluded, and the upper edge and the lower edge of the driver from the remaining pairs of the first edge and the second edge To find a pair of Is executed.
  • the eyelid edge candidates are extracted and paired from the edges detected from the driver's face image. Then, a pair of driver's eyelid edges is detected based on the temporal change in the distance between the paired edges. For this reason, even if the driver moves the face for a moment or the surrounding environment changes temporarily, the edge of the driver's eyelid can be accurately detected by observing the temporal change for a certain period. As a result, the driver's arousal level can be accurately determined.
  • FIG. 1 It is a block diagram of the wrinkle detection apparatus which concerns on 1st Embodiment. It is a figure which shows the image image
  • FIG. 1 is a block diagram illustrating a schematic configuration of a wrinkle detection device 10 according to the present embodiment.
  • the eyelid detection device 10 is a device that detects an eyelid of the driver from an image in which the driver's face is captured.
  • the wrinkle detection device 10 includes a calculation device 20 and a photographing device 30.
  • the photographing device 30 is a device that converts an image acquired by photographing a subject into an electrical signal and outputs the electrical signal.
  • the imaging device 30 is attached to, for example, a steering column or a steering.
  • an image IM photographed by the photographing device 30 is shown.
  • the mounting angle and the angle of view of the photographing device 30 are adjusted so that the face of the driver 50 seated in the driver's seat of the vehicle is positioned at the approximate center of the field of view.
  • the photographing device 30 photographs the face of the driver 50 at a predetermined sampling period, and outputs image information related to the image obtained by photographing to the arithmetic device 20.
  • the imaging device 30 outputs image information relating to, for example, four images per second.
  • an XY coordinate system having the origin at the lower left corner of the image IM is defined, and the following description will be given using the XY coordinate system as appropriate.
  • the computing device 20 is a computer having a CPU (Central Processing Unit) 21, a main storage unit 22, an auxiliary storage unit 23, a display unit 24, an input unit 25, and an interface unit 26.
  • CPU Central Processing Unit
  • the CPU 21 reads and executes the program stored in the auxiliary storage unit 23. Specific operations of the CPU 21 will be described later.
  • the main storage unit 22 has a volatile memory such as a RAM (Random Access Memory).
  • the main storage unit 22 is used as a work area for the CPU 21.
  • the auxiliary storage unit 23 has a non-volatile memory such as a ROM (Read Only Memory), a magnetic disk, or a semiconductor memory.
  • the auxiliary storage unit 23 stores programs executed by the CPU 21, various parameters, and the like.
  • the auxiliary storage unit 23 sequentially stores information about the image output from the imaging device 30 and information including the processing result by the CPU 21.
  • the display unit 24 has a display unit such as an LCD (Liquid Crystal Display).
  • the display unit 24 displays the processing result of the CPU 21 and the like.
  • the input unit 25 has an input key and a pointing device such as a touch panel.
  • the operator's instruction is input via the input unit 25 and is notified to the CPU 21 via the system bus 27.
  • the interface unit 26 includes a serial interface or a LAN (Local Area Network) interface.
  • the imaging device 30 is connected to the system bus 27 via the interface unit 26.
  • FIG. 3 corresponds to a series of processing algorithms of the wrinkle detection processing program executed by the CPU 21.
  • the operation of the eyelid detection device 10 will be described with reference to FIG.
  • a series of processes shown in the flowchart of FIG. 3 is periodically executed when, for example, the ignition switch of the vehicle is turned on.
  • step S201 the CPU 21 resets the counter value N of the built-in counter to zero.
  • CPU 21 has the image information of the sequentially stored image IM N in the auxiliary storage unit 23 obtains, for detecting the edge of the image IM N. Detection of the edge is performed by executing image processing using the Sobel filter for the image IM N.
  • CPU 21 first uses the horizontal edge detection operator shown in FIG. 4, the pixels to calculate a respective edge values constituting the image IM N.
  • This edge value becomes + (positive value) when the luminance of the pixel on the upper side (+ Y side) of the pixel whose edge value is to be calculated is high and the luminance of the lower pixel ( ⁇ Y side) is low.
  • This edge value becomes negative (negative value) when the luminance of the pixel on the upper side (+ Y side) of the pixel whose edge value is to be calculated is low and the luminance of the lower side ( ⁇ Y side) is high.
  • the CPU 21 extracts pixels whose edge value is equal to or greater than the first threshold value and pixels whose edge value is equal to or smaller than the second threshold value.
  • CPU 21 uses the vertical edge detection operator shown in FIG. 5, to calculate the pixel of each edge value constituting the image IM N.
  • This edge value becomes + (positive value) when the luminance of the pixel on the left side ( ⁇ X side) of the pixel whose edge value is to be calculated is high and the luminance of the pixel on the right side (+ X side) is low.
  • This edge value becomes-(a negative value) when the luminance of the pixel on the left side (-X side) of the pixel whose edge value is to be calculated is low and the luminance of the pixel on the right side (+ X side) is high. . Therefore, the CPU 21 extracts pixels composed of pixels having an edge value equal to or larger than the first threshold value and pixels having an edge value equal to or smaller than the second threshold value.
  • An edge 60A indicated by a broken line is a plus edge composed of pixels whose sum of edge values is +.
  • An edge 60B indicated by a solid line is a minus edge composed of pixels whose sum of edge values is ⁇ .
  • the CPU 21 detects continuous edges. Specifically, the CPU 21 groups pixels adjacent to each other with the same positive / negative polarity of the edge value among the pixels extracted in step S203. Thereby, a plurality of pixel groups composed of a plurality of pixels are defined. Next, the CPU 21 detects, as a continuous edge, a group whose horizontal direction (X-axis direction) length is greater than or equal to a threshold value from among a plurality of pixel groups.
  • an edge 60A 5 shown in FIG. 7 is continuous in the X-axis direction, and is constituted by the pixel polarity +.
  • the edge 60A 5 the pixel groups polarity adjacent to each other is composed of pixels equal, it is detected as a continuous edge.
  • edges 60A and 60B indicated by broken lines and solid lines in FIG. 6 are detected.
  • the CPU 21 calculates the center of gravity and the length of each of the edges 60A and 60B.
  • the CPU 21 when determining the center of gravity of the edge 60A 1 , uses the X coordinates, X 1 and X 2 of the points D 1 and D 2 at both ends of the edge 60A 1 , The X coordinate AX 1 of the center of gravity SA 1 is calculated by performing the calculation represented by the following equation (1). Then, CPU 21 is an X-coordinate and AX 1, calculates a point on the upper edge 60A 1 as the centroid SA 1.
  • AX 1 (X 1 + X 2 ) / 2 (1)
  • CPU 21 when determining the center of gravity of the edge 60B 1 is X-coordinate of the points at both ends of the edge 60B 1 D 3, D 4, with X 3, X 4, represented by the following formula (2) by performing the operation, and calculates the X coordinate BX 1 centroid SB 1. Then, the CPU 21 calculates the X coordinate as BX 1 and the point on the edge 60B 1 as the center of gravity SB 1 .
  • the lengths of the edges 60A and 60B can be obtained, for example, by calculating the length of the curve fitted to the edges 60A and 60B.
  • the CPU 21 performs edge pairing. Although there are individual differences between individuals, the size of the cocoon can be roughly predicted. Therefore, the CPU 21 extracts candidates for eyelid edges based on the sizes (widths) of the edges 60A and 60B in the X-axis direction. As a result, extremely long edges or extremely short edges are excluded from the eyelid edge candidates.
  • the CPU 21 determines the edges 60A, 60A, 60B in which the difference between the lateral centroid positions of the edge 60A and the edge 60B is less than or equal to the reference value, and the distance between the centroid SA of the edge 60A and the centroid SB of the edge 60B is less than or equal to the reference value. 60B sets are extracted.
  • CPU 21 calculates the X-coordinate AX 1 of the center of gravity SA 1 edge 60A 1, the difference df 11 of the X-coordinate BX 1 of the center of gravity SB 1 edge 60B 1. Further, CPU 21 calculates the center of gravity SA 1 edge 60A 1, the distance d 11 between the center of gravity SB 1 edge 60B 1. Then, CPU 21, the difference df 11 and the distance d 11 is, when each is less than a predetermined reference value, to pair edge 60A 1 and the edge 60B 1.
  • the CPU 21 performs the above-described processing between each edge 60A i and each edge 60B j , thereby pairing the edge 60A i and the edge 60B j .
  • the edge 60A 1 and the edge 60B 1, the edge 60A 2 and the edge 60B 2, edge 60A 3 and the edge 60B 3, edge 60A 4 and the edge 60B 4, and an edge 60A 5 and the edge Each 60B 5 is paired.
  • edge 60A 1 is a top edge of the right eyebrow of the driver 50, edge 60B 1, the lower edge of the right eyebrow.
  • Edge 60A 2 is a top edge of the left eyebrow of the driver 50, edge 60B 2, the lower edge of the left eyebrow.
  • Edge 60A 3 is an edge of the right eye on the eyelid of the driver 50, edge 60B 3 is an edge of the right under the eyes eyelid.
  • Edge 60A 4 is an edge of the left eye on the eyelid of the driver 50, edge 60B 4 is a left edge under eyes eyelid.
  • Edge 60A 5 is a top edge of the upper lip of the driver 50, edge 60B 5, the lower edge of the lower lip.
  • the CPU 21 associates the distance d ij between the paired edges 60A i and 60B j with the time t N when the image IM N was captured, and stores it as data Dij N (d ij , t N ). Store in unit 23. Thereby, the data Dij N (d ij , t N ) is stored in time series.
  • step S207 the CPU 21 determines whether or not the counter value N is 20 or more. If the determination in step S207 is negative (step S207: No), the CPU 21 returns to step S202. Thereafter, the CPU 21 repeatedly executes the processing from step S202 to step S207. As a result, processing such as edge detection and edge pairing is performed for each of the images IM 1 to IM 20 .
  • the data Dij N (d ij , t N ) is stored in the auxiliary storage unit 23 in time series.
  • image information related to four images IM per second is output to the computing device 20. Therefore, these data Dij 1 (d ij , t 1 ) to Dij 20 (d ij , t 20 ) are data when the driver 50 is observed for about 5 seconds.
  • step S207 determines whether the determination in step S207 is affirmed (step S207: Yes). If the determination in step S207 is affirmed (step S207: Yes), the CPU 21 proceeds to step S208.
  • step S208 the CPU 21 detects a pair of an upper eyelid edge and a lower eyelid edge from the paired edges. Specifically, the CPU 21 detects a pair of an upper eyelid edge and a lower eyelid edge by performing a first process, a second process, a third process, and a fourth process described later.
  • FIG. 9 shows points plotted in a coordinate system in which the vertical axis is distance d and the horizontal axis is time. These points are defined by the data Dij N (d ij , t N ) corresponding to the upper eyelid edge and the lower eyelid edge.
  • the series of data Dij N (d ij , t N ) is obtained when blinking is performed between time t 1 and time t 2 .
  • the distance d between the eyelid edge and lower eyelid edges on the driver 50 becomes the threshold value th 1 or more.
  • the distance d between the eyelid edge and lower eyelid edges on the driver 50 is smaller than the threshold value th 1.
  • the data Dij N (d ij , t N ) is data corresponding to the upper eyelid edge and the lower eyelid edge
  • the data Dij N (d ij , having a distance dij greater than or equal to the threshold th 1 is used.
  • the number M1 of t N) is the data Dij N (d ij with the threshold th 1 is smaller than the distance d ij, dominant than the number of t N).
  • the CPU 21 reads data Dij N (d ij , t N ) from the auxiliary storage unit 23. Then, the CPU 21 uses the minimum value d MIN and the maximum value d MAX of the distance d ij from the read data Dij N (d ij , t N ), and performs the calculation represented by the following equation (3): The threshold th (th 1 , th 2 , th 3 ) is calculated.
  • the CPU 21 counts the number M (M1, M2) of data Dij N (d ij , t N ) having a distance d ij equal to or greater than the threshold th.
  • M the number of data Dij N (d ij , t N ) having a distance d ij equal to or greater than the threshold th.
  • the CPU 21 selects an edge pair corresponding to the read data Dij N (d ij , t N ) as an upper edge edge and lower eyelid edge candidate.
  • the CPU 21 sets the edge pair corresponding to the data Dij N (d ij , t N ) to the upper eyelid edge and the lower eyelid edge. Exclude from candidates.
  • the data shown in FIG. 10 is data related to a pair of edges by a frame of glasses, for example. For this reason, in the above-described processing, a pair of glasses frames or the like is excluded from the candidates.
  • Second process As can be seen from FIG. 9, when the driver 50 blinks, the distance d becomes equal to or less than a predetermined reference value V1 min (for example, 3.5). Therefore, the CPU 21 extracts the minimum value d MIN of the distance d ij from the data Dij N (d ij , t N ) read from the auxiliary storage unit 23. Then, the CPU 21 compares the minimum value d MIN with the reference value V1 min . When the minimum value d MIN of the distance d ij is larger than the reference value V1 min , the CPU 21 determines the pair of edges corresponding to the data Dij N (d ij , t N ) as the upper eyelid edge. Exclude from candidate lower edge.
  • V1 min for example, 3.5
  • the CPU 21 corresponds to the data Dij N (d ij , t N ).
  • the edge pair is excluded from the upper eyelid edge and lower eyelid edge candidates.
  • the data shown in FIG. 11 is data related to a pair of the upper edges 60A 1 and 60A 2 of the eyebrows and the lower edges 60B 1 and 60B 2 , for example. For this reason, the pair of eyebrow edges is excluded from the candidates in the above-described processing.
  • the CPU 21 determines that the edge pair corresponding to the data Dij N (d ij , t N ) is the upper edge and the lower edge. Are excluded from the edge candidates.
  • the data shown in FIG. 12 is data related to a pair of the upper edges 60A 1 and 60A 2 of the eyebrows and the lower edges 60B 1 and 60B 2 , for example. For this reason, the pair of eyebrow edges is excluded from the candidates in the above-described processing.
  • ⁇ 4th process The distance d when the driver 50 opens his eyes converges to a substantially constant value (here, 9) as can be seen with reference to FIG. Therefore, the CPU 21 performs the calculation represented by the above formula (3) using the minimum value d MIN and the maximum value d MAX of the distance d ij from the read data Dij N (d ij , t N ), The threshold th 3 is calculated. Then, the CPU 21 calculates a variance vr of the data Dij N (d ij , t N ) having a distance d ij that is equal to or greater than the threshold th 3 .
  • the CPU 21 selects an edge pair corresponding to the read data Dij N (d ij , t N ) as an upper eyelid edge and lower eyelid edge candidate.
  • the CPU 21 calculates the variance vr of the data Dij N (d ij , t N ) corresponding to the points shown in FIG.
  • the CPU 21 determines the edge pair corresponding to the read data Dij N (d ij , t N ) as the upper eyelid edge and the lower eyelid edge. Exclude from candidates.
  • a pair of eyebrow edges, a pair of lips edges, and the like are excluded.
  • upper eyelid edge 60A 3 shown in FIG. 9, 60A 4 and the lower eyelid of the edge 60B 3 data corresponding to 60B 4 Dij N (d ij, t N) only remain without being excluded. Therefore, CPU 21 detects the remaining data Dij N (d ij, t N ) to the corresponding edge 60A 3 and the right eye on the eyelid and right under eyes eyelid pairs edge 60B 3 edge pairs without being excluded . Further, CPU 21 detects the pair of edges 60A 4 and the edge 60B 4 as a pair of edges of the left eye on the eyelid and left under eyes eyelid.
  • the CPU 21 finishes detecting the pair of eyelid edges of the driver 50, the CPU 21 ends the series of processes. Later, CPU 21 is included in the image IM that is output from the imaging device 30, a pair of edge 60A 3 and the edge 60B 3, observing the pair of edges 60A 4 and the edge 60B 4 as eyelid edges of both eyes. Then, the CPU 21 samples the number of blinks of the driver 50, the interval, and the like. For example, when the distance d 33 between the edge 60A 3 and the edge 60B 3 or the distance d 44 between the edge 60A 4 and the edge 60B 4 becomes equal to or smaller than a predetermined threshold and then becomes a certain size, the CPU 21 determines that the driver 50 It can be determined that a blink has occurred.
  • the CPU 21 outputs the blink sampling result to, for example, an external device. This makes it possible to monitor the awakening level of the driver 50 who drives the vehicle.
  • the distance d between the edges detected and paired from the image IM is sequentially calculated. Then, based on the calculated change in the distance d, candidates with low accuracy as a pair of eyelid edges are excluded. A pair of edges finally remaining as a result of this exclusion is detected as a pair of upper and lower eyelid edges. For this reason, detection is performed in consideration of not only the characteristics close to the edge of the eyelid but also the behavior as the eyelid. Accordingly, it is possible to accurately detect the edge of the eyelid of the driver 50.
  • a pair of edges by a frame of glasses does not become a candidate for the edge of the eyelid.
  • the edge of the eyelid of the driver 50 can be accurately detected.
  • the variance vr of the data Dij N (d ij , t N ) corresponding to the points shown in FIG. 13 is larger than a predetermined reference value V3 min , the data Dij N (d ij , t N ) is excluded from the candidates for the upper eyelid edge and the lower eyelid edge.
  • a pair of lip edges or the like is not a candidate for a heel edge.
  • the edge of the eyelid of the driver 50 can be accurately detected.
  • the wrinkle detection apparatus 10A according to the present embodiment is different from the wrinkle detection apparatus 10 according to the first embodiment in that the arithmetic device 20 is configured by hardware that executes each of a series of processes. As shown in FIG. 14, the arithmetic device 20 includes a storage unit 20a, an edge detection unit 20b, a continuous edge detection unit 20c, a calculation unit 20d, a pairing unit 20e, and a detection unit 20f.
  • the storage unit 20a sequentially stores information related to the image output from the imaging device 30, and information including the processing results of the units 20b to 20f.
  • the edge detection unit 20b acquires the image information of the image IM N sequentially stored in the storage unit 20a, and detects the edge of the image IM N. This edge detection is performed by executing image processing using a Sobel filter on the image IM.
  • the continuous edge detector 20c detects a continuous edge. Specifically, the continuous edge detection unit 20c groups pixels adjacent to each other with the same edge value polarity among the pixels extracted by the edge detection unit 20b. Thereby, a plurality of pixel groups composed of a plurality of pixels are defined. Next, the continuous edge detection unit 20c detects, as a continuous edge, a group having a length in the horizontal direction (X-axis direction) equal to or greater than a threshold value from among a plurality of pixel groups. As a result, edges 60A and 60B indicated by broken lines and solid lines in FIG. 6 are detected.
  • the calculation unit 20d calculates the centroids SA and SB and the lengths of the edges 60A and 60B, respectively.
  • the pairing unit 20e performs edge pairing. Although there are individual differences between individuals, the size of the cocoon can be roughly predicted. Therefore, the pairing unit 20e extracts eyelid edge candidates based on the sizes (widths) of the edges 60A i and 60B j in the X-axis direction. Next, the pairing unit 20e, the difference in center of gravity of the lateral edge 60A i and edge 60B j is not less than the reference value, and the distance of the center of gravity SB j of the center of gravity SA i and edge 60B j of the edge 60A i A pair of edges 60A i and 60B j whose and are less than or equal to the reference value is extracted.
  • the pairing unit 20e associates the distance d ij between the paired edges 60A i and 60B j with the time t N when the image IM N is captured, and uses the data as D ij N (d ij , t N ). And stored in the auxiliary storage unit 23. Thereby, the data Dij N (d ij , t N ) is stored in time series.
  • the detecting unit 20f detects a pair of an upper eyelid edge and a lower eyelid edge from the paired edges. Specifically, the detection unit 20f detects the pair of the upper eyelid edge and the lower eyelid edge by performing the above-described first processing, second processing, third processing, and fourth processing. Then, the detection unit 20f outputs the detection result to, for example, an external device.
  • the distance d between the edges detected and paired from the image IM is sequentially calculated. Then, based on the calculated change in the distance d, candidates with low accuracy as a pair of eyelid edges are excluded. A pair of edges finally remaining as a result of this exclusion is detected as a pair of upper and lower eyelid edges. For this reason, detection is performed in consideration of not only the characteristics close to the edge of the eyelid but also the behavior as the eyelid. Accordingly, it is possible to accurately detect the edge of the eyelid of the driver 50.
  • the photographing apparatus 30 outputs image information regarding four images per second.
  • the imaging device 30 outputs image information relating to a number of images equal to the frame rate
  • the computing device 20 determines the edge of the eyelid based on the time-series data of all the image information output for 20 seconds. It is good also as performing the process for detecting a pair.
  • the threshold th is calculated based on the above formula (3).
  • the calculation formula is an example, and the threshold th may be calculated using another formula.
  • the functions of the arithmetic unit 20 according to the above embodiment can be realized by dedicated hardware or by a normal computer system.
  • the programs stored in the auxiliary storage unit 23 of the arithmetic unit 20 are a flexible disk, a CD-ROM (Compact Disk-Read-Only Memory), a DVD (Digital Versatile Disk), an MO (Magneto-Optical).
  • a device that executes the above-described processing may be configured by storing and distributing in a computer-readable recording medium such as disk) and installing the program in the computer.
  • the wrinkle detection apparatus, wrinkle detection method, and program of the present invention are suitable for detecting wrinkles.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Ophthalmology & Optometry (AREA)
  • General Health & Medical Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Abstract

　ドライバの顔が写る画像から検出され、ペアリングされたエッジ同士の距離が順次算出される。そして、算出された距離の変化に基づいて、瞼のエッジのペアとしての確度が低い候補が除外されていく。その結果、最終的に残ったエッジのペアが、上瞼のエッジと下瞼のエッジのペアとして検出される。このため、瞼のエッジに近い特徴だけでなく、瞼としての振る舞いを考慮した検出を行うことができる。したがって、ドライバの瞼のエッジを、正確に検出することが可能となる。

Description

瞼検出装置、瞼検出方法及びプログラム
　本発明は、瞼検出装置、瞼検出方法及びプログラムに関し、更に詳しくは、眼の画像から瞼を検出する瞼検出装置、眼の画像から瞼を検出するための瞼検出方法及びプログラムに関する。
　近年、交通事故の発生件数は依然として高い水準にある。事故の原因は様々であるが、居眠り運転等、覚醒度が低下した状態でドライバが車両の運転を行うことも、事故を誘発する原因の１つである。そこで、ドライバの覚醒度を判定する際の指標となる瞼の動きを、精度良く検出するための技術が種々提案されている（例えば特許文献１及び２参照）。
特開２００９－１２５５１８号公報 特開平９－２３０４３６号公報
　特許文献１に開示された装置は、ドライバの顔が写る写真から差分画像を生成する。そして、この装置は、差分画像に瞼の残像がある場合に、ドライバが瞬きをしているものと判断する。しかしながら、ドライバの顔全体が動いてしまった場合には、瞼が動いていないにもかかわらず、差分画像に瞼の残像が現れることがある。このような場合には、特許文献１に開示された装置では、ドライバが瞬きをしているかどうかを、正確に判断することが困難になると考えられる。
　特許文献２に開示された装置は、ドライバの眼によって反射される反射光の強度が、眼が開いているときと、閉じているときとで変化することを利用して、ドライバが瞬きをしているかどうかを判断する。しかしながら、ドライバの周囲環境の変化にともなって、ドライバの眼に入射する光の強度が変化すると、瞬きの有無にかかわらず、反射光の強度が変化してしまう。このような場合には、特許文献２に開示された装置では、ドライバが瞬きしているかどうかを、正確に判断することが困難になると考えられる。
　本発明は、上述の事情の下になされたもので、ドライバの瞼を正確に検出することを目的とする。
　上記目的を達成するために、本発明の第１の観点に係る瞼検出装置は、
　所定の期間に順次撮影されるドライバの顔の画像から、エッジを検出するエッジ検出手段と、
　検出された前記エッジから、前記ドライバの上瞼のエッジの候補となる第１エッジと、下瞼のエッジの候補となる第２エッジとを抽出する抽出手段と、
　前記第１エッジと、前記第２エッジとをペアリングするペアリング手段と、
　ペアリングされた前記第１エッジと前記第２エッジとの距離の変化に応じて、前記距離の最小値よりも大きく、前記距離の最大値よりも小さい閾値を算出する閾値算出手段と、
　前記距離が前記閾値以上となる回数に基づいて、前記第１エッジを前記ドライバの上瞼のエッジの候補から除外するか否かを決定するとともに、前記第２エッジを前記ドライバの下瞼のエッジの候補から除外するか否かを決定する決定手段と、
　前記決定手段による決定結果に基づいて、前記第１エッジと前記第２エッジとを除外し、残りの第１エッジと第２エッジとのペアの中から、前記ドライバの上瞼のエッジと下瞼のエッジのペアを検出する検出手段と、
　を備える。
　本発明の第２の観点に係る瞼検出方法は、
　所定の期間に順次撮影されるドライバの顔の画像から、エッジを検出する工程と、
　検出された前記エッジから、前記ドライバの上瞼のエッジの候補となる第１エッジと、下瞼のエッジの候補となる第２エッジとを抽出する工程と、
　前記第１エッジと、前記第２エッジとをペアリングする工程と、
　ペアリングされた前記第１エッジと前記第２エッジとの距離の変化に応じて、前記距離の最小値よりも大きく、前記距離の最大値よりも小さい閾値を算出する工程と、
　前記距離が前記閾値以上となる回数に基づいて、前記第１エッジを前記ドライバの上瞼のエッジの候補から除外するか否かを決定するとともに、前記第２エッジを前記ドライバの下瞼のエッジの候補から除外するか否かを決定する工程と、
　前記決定の結果に基づいて、前記第１エッジと前記第２エッジとを除外し、残りの第１エッジと第２エッジとのペアの中から、前記ドライバの上瞼のエッジと下瞼のエッジのペアを検出する工程と、
　を含む。
　本発明の第３の観点に係るプログラムは、
　コンピュータに、
　所定の期間に順次撮影されるドライバの顔の画像から、エッジを検出する手順と、
　検出された前記エッジから、前記ドライバの上瞼のエッジの候補となる第１エッジと、下瞼のエッジの候補となる第２エッジとを抽出する手順と、
　前記第１エッジと、前記第２エッジとをペアリングする手順と、
　ペアリングされた前記第１エッジと前記第２エッジとの距離の変化に応じて、前記距離の最小値よりも大きく、前記距離の最大値よりも小さい閾値を算出する手順と、
　前記距離が前記閾値以上となる回数に基づいて、前記第１エッジを前記ドライバの上瞼のエッジの候補から除外するか否かを決定するとともに、前記第２エッジを前記ドライバの下瞼のエッジの候補から除外するか否かを決定する手順と、
　前記決定の結果に基づいて、前記第１エッジと前記第２エッジとを除外し、残りの第１エッジと第２エッジとのペアの中から、前記ドライバの上瞼のエッジと下瞼のエッジのペアを検出する手順と、
　を実行させる。
　本発明によれば、ドライバの顔の画像から検出されたエッジの中から、瞼のエッジの候補が抽出され、ペアリングされる。そして、ペアリングされたエッジ同士の距離の時間的な変化に基づいて、ドライバの瞼のエッジのペアが検出される。このため、ドライバが一瞬顔を動かしたり、周囲環境が一時的に変化したりしても、時間的な変化を一定期間観察することで、正確にドライバの瞼のエッジを検出することができる。その結果、ドライバの覚醒度を正確に判定することが可能となる。
第１の実施形態に係る瞼検出装置のブロック図である。 撮影装置によって撮影された画像を示す図である。 ＣＰＵによって実行される一連の処理を示すフローチャートである。 水平エッジ検出オペレータを示す図である。 垂直エッジ検出オペレータを示す図である。 画像から検出されたエッジを示す図である。 瞼のエッジの候補を示す図である。 エッジ間の距離を算出する手順を説明するための図である。 瞼のエッジを検出するための手順を説明するための図である。 瞼のエッジを検出するための手順を説明するための図である。 瞼のエッジを検出するための手順を説明するための図である。 瞼のエッジを検出するための手順を説明するための図である。 瞼のエッジを検出するための手順を説明するための図である。 第２の実施形態に係る瞼検出装置のブロック図である。
《第１の実施形態》
　以下、本発明の第１の実施形態を、図面を参照しつつ説明する。図１は本実施形態に係る瞼検出装置１０の概略的な構成を示すブロック図である。瞼検出装置１０は、ドライバの顔が写る画像から、当該ドライバの瞼を検出する装置である。図１に示されるように、瞼検出装置１０は、演算装置２０と、撮影装置３０を有している。
　撮影装置３０は、被写体を撮影することにより取得した画像を電気信号に変換して出力する装置である。撮影装置３０は、例えばステアリングコラム上或いはステアリングに取り付けられている。図２には、撮影装置３０によって撮影された画像ＩＭが示されている。画像ＩＭを参照するとわかるように、この撮影装置３０の取り付け角や画角は、車両の運転席に着座するドライバ５０の顔が、視野のほぼ中心に位置するように調整されている。そして、撮影装置３０は、ドライバ５０の顔を所定のサンプリング周期で撮影し、撮影して得た画像に関する画像情報を演算装置２０へ出力する。本実施形態では、撮影装置３０は、例えば１秒間に４枚の画像に関する画像情報を出力する。
　ここで、説明の便宜上、画像ＩＭの左下のコーナーを原点とするＸＹ座標系を定義し、以下、適宜ＸＹ座標系を用いた説明を行う。
　図１に戻り、演算装置２０は、ＣＰＵ（Central Processing Unit）２１、主記憶部２２、補助記憶部２３、表示部２４、入力部２５、及びインターフェイス部２６を有するコンピュータである。
　ＣＰＵ２１は、補助記憶部２３に記憶されたプログラムを読み出して実行する。ＣＰＵ２１の具体的な動作については後述する。
　主記憶部２２は、ＲＡＭ（Random Access Memory）等の揮発性メモリを有している。主記憶部２２は、ＣＰＵ２１の作業領域として用いられる。
　補助記憶部２３は、ＲＯＭ（Read Only Memory）、磁気ディスク、半導体メモリ等の不揮発性メモリを有している。補助記憶部２３は、ＣＰＵ２１が実行するプログラム、及び各種パラメータなどを記憶している。また、補助記憶部２３は、撮影装置３０から出力される画像に関する情報、及びＣＰＵ２１による処理結果などを含む情報を順次記憶する。
　表示部２４は、ＬＣＤ（Liquid Crystal Display）などの表示ユニットを有している。表示部２４は、ＣＰＵ２１の処理結果等を表示する。
　入力部２５は、入力キーや、タッチパネル等のポインティングデバイスを有している。オペレータの指示は、入力部２５を介して入力され、システムバス２７を経由してＣＰＵ２１へ通知される。
　インターフェイス部２６は、シリアルインターフェイスまたはＬＡＮ（Local Area Network）インターフェイス等を含んで構成されている。撮影装置３０は、インターフェイス部２６を介してシステムバス２７に接続される。
　図３のフローチャートは、ＣＰＵ２１によって実行される瞼検出処理プログラムの一連の処理アルゴリズムに対応している。以下、図３を参照しつつ、瞼検出装置１０の動作について説明する。図３のフローチャートに示される一連の処理は、例えば車両のイグニッションスイッチがオンになると、定期的に実行される。また、以下の説明では撮影装置３０によって、図２に示される画像ＩＭ等が撮影されたものとする。
　まず、ステップＳ２０１では、ＣＰＵ２１は、内蔵するカウンタのカウンタ値Ｎを零にリセットする。
　次のステップＳ２０２では、ＣＰＵ２１は、カウンタ値Ｎをインクリメントする。
　次のステップＳ２０３では、ＣＰＵ２１は、補助記憶部２３に順次蓄積された画像ＩＭＮの画像情報を取得し、画像ＩＭＮのエッジを検出する。このエッジの検出は、画像ＩＭＮに対してソーベルフィルタを用いた画像処理を実行することにより行われる。
　具体的には、ＣＰＵ２１は、まず、図４に示される水平エッジ検出オペレータを用いて、画像ＩＭＮを構成する画素それぞれのエッジ値を算出する。このエッジ値は、エッジ値の算出対象となる画素の上側（＋Ｙ側）の画素の輝度が高く、下側（－Ｙ側）の画素の輝度が低い場合に＋（正の値）になる。そして、このエッジ値は、エッジ値の算出対象となる画素の上側（＋Ｙ側）の画素の輝度が低く、下側（－Ｙ側）の画素の輝度が高い場合に－（負の値）になる。そこで、ＣＰＵ２１は、エッジ値が第１の閾値以上の画素と、エッジ値が第２の閾値以下の画素を抽出する。
　次に、ＣＰＵ２１は、図５に示される垂直エッジ検出オペレータを用いて、画像ＩＭＮを構成する画素それぞれのエッジ値を算出する。このエッジ値は、エッジ値の算出対象となる画素の左側（－Ｘ側）の画素の輝度が高く、右側（＋Ｘ側）の画素の輝度が低い場合に＋（正の値）になる。そして、このエッジ値は、エッジ値の算出対象となる画素の左側（－Ｘ側）の画素の輝度が低く、右側（＋Ｘ側）の画素の輝度が高い場合に－（負の値）になる。そこで、ＣＰＵ２１は、エッジ値が第１の閾値以上の画素からなる画素と、エッジ値が第２の閾値以下の画素を抽出する。
　上述のようにＣＰＵ２１によって抽出される画素は、図６に破線及び実線で示されるエッジ６０Ａ，６０Ｂを構成する。破線で示されるエッジ６０Ａは、エッジ値の合計が＋の画素からなるプラスエッジである。また、実線で示されるエッジ６０Ｂは、エッジ値の合計が－の画素からなるマイナスエッジである。
　次のステップＳ２０４では、ＣＰＵ２１は、連続エッジの検出を行う。具体的には、ＣＰＵ２１は、ステップＳ２０３で抽出した画素のうち、エッジ値の正負の極性が等しく、相互に隣接する画素をグループ化する。これにより、複数の画素からなる画素群が複数規定される。次に、ＣＰＵ２１は、複数の画素群の中から横方向（Ｘ軸方向）の長さが閾値以上のグループを連続エッジとして検出する。
　例えば、図７に示されるエッジ６０Ａ５は、Ｘ軸方向に連続し、極性が＋の画素によって構成される。ＣＰＵ２１によるエッジ検出が行われると、エッジ６０Ａ５に代表されるように、相互に隣接し極性が等しい画素からなる画素群が、連続エッジとして検出される。これにより、図６に破線及び実線で示されるエッジ６０Ａ，６０Ｂが検出される。
　次のステップＳ２０５では、ＣＰＵ２１は、エッジ６０Ａ，６０Ｂそれぞれの重心、及び長さを算出する。
　例えば、図８を参照するとわかるように、ＣＰＵ２１は、エッジ６０Ａ１の重心を求める場合には、エッジ６０Ａ１の両端の点Ｄ１、Ｄ２のＸ座標、Ｘ１，Ｘ２を用いて、次式（１）で示される演算を行うことで、重心ＳＡ１のＸ座標ＡＸ１を算出する。そして、ＣＰＵ２１は、Ｘ座標をＡＸ１とし、エッジ６０Ａ１上にある点を重心ＳＡ１として算出する。
ＡＸ１＝（Ｘ１＋Ｘ２）／２　…（１）
　同様に、ＣＰＵ２１は、エッジ６０Ｂ１の重心を求める場合には、エッジ６０Ｂ１の両端の点Ｄ３、Ｄ４のＸ座標、Ｘ３，Ｘ４を用いて、次式（２）で示される演算を行うことで、重心ＳＢ１のＸ座標ＢＸ１を算出する。そして、ＣＰＵ２１は、Ｘ座標をＢＸ１とし、エッジ６０Ｂ１上にある点を重心ＳＢ１として算出する。
ＢＸ１＝（Ｘ３＋Ｘ４）／２　…（２）
　また、エッジ６０Ａ，６０Ｂの長さは、例えば、エッジ６０Ａ，６０Ｂにフィッティングした曲線の長さを算出することにより求めることができる。
　次のステップＳ２０６では、ＣＰＵ２１は、エッジのペアリングを行う。瞼の大きさは、個人相互間で個体差はあるが、概ねその大きさを予測することができる。そこで、ＣＰＵ２１は、エッジ６０Ａ，６０ＢのＸ軸方向の大きさ（幅）に基づいて、瞼のエッジの候補を抽出する。これにより、極端に長いエッジや、極端に短いエッジが、瞼のエッジの候補から除外される。
　次に、ＣＰＵ２１は、エッジ６０Ａとエッジ６０Ｂの横方向の重心位置の差が基準値以下であり、かつ、エッジ６０Ａの重心ＳＡとエッジ６０Ｂの重心ＳＢの距離が基準値以下であるエッジ６０Ａ，６０Ｂの組を抽出する。
　例えば、図８を参照するとわかるように、ＣＰＵ２１は、エッジ６０Ａ１の重心ＳＡ１のＸ座標ＡＸ１と、エッジ６０Ｂ１の重心ＳＢ１のＸ座標ＢＸ１との差ｄｆ１１を算出する。また、ＣＰＵ２１は、エッジ６０Ａ１の重心ＳＡ１と、エッジ６０Ｂ１の重心ＳＢ１との距離ｄ１１を算出する。そして、ＣＰＵ２１は、差ｄｆ１１と距離ｄ１１が、それぞれ所定の基準値以下である場合に、エッジ６０Ａ１とエッジ６０Ｂ１をペアリングする。
　ＣＰＵ２１は、上述の処理を、各エッジ６０Ａｉと各エッジ６０Ｂｊとの間で行うことで、エッジ６０Ａｉとエッジ６０Ｂｊのペアリングを行う。これにより、図７を参照するとわかるように、エッジ６０Ａ１とエッジ６０Ｂ１、エッジ６０Ａ２とエッジ６０Ｂ２、エッジ６０Ａ３とエッジ６０Ｂ３、エッジ６０Ａ４とエッジ６０Ｂ４、及びエッジ６０Ａ５とエッジ６０Ｂ５がそれぞれペアリングされる。
　なお、エッジ６０Ａ１は、ドライバ５０の右眉の上側のエッジであり、エッジ６０Ｂ１は、右眉の下側のエッジである。エッジ６０Ａ２は、ドライバ５０の左眉の上側のエッジであり、エッジ６０Ｂ２は、左眉の下側のエッジである。エッジ６０Ａ３は、ドライバ５０の右眼上瞼のエッジであり、エッジ６０Ｂ３は、右眼下瞼のエッジである。エッジ６０Ａ４は、ドライバ５０の左眼上瞼のエッジであり、エッジ６０Ｂ４は、左眼下瞼のエッジである。エッジ６０Ａ５は、ドライバ５０の上唇の上側のエッジであり、エッジ６０Ｂ５は、下唇の下側のエッジである。
　また、ＣＰＵ２１は、ペアリングされたエッジ６０Ａｉ，６０Ｂｊ同士の距離ｄｉｊを、画像ＩＭＮが撮影された時間ｔＮと関連付けて、データＤｉｊＮ（ｄｉｊ，ｔＮ）として、補助記憶部２３へ記憶する。これにより、データＤｉｊＮ（ｄｉｊ，ｔＮ）が、時系列的に保存される。
　次のステップＳ２０７では、ＣＰＵ２１は、カウンタ値Ｎが２０以上か否かを判断する。ステップＳ２０７での判断が否定された場合は（ステップＳ２０７：Ｎｏ）、ＣＰＵ２１は、ステップＳ２０２へ戻る。以降、ＣＰＵ２１は、ステップＳ２０２～ステップＳ２０７までの処理を繰り返し実行する。これにより、画像ＩＭ１～ＩＭ２０について、それぞれエッジの検出、エッジのペアリング等の処理が行われる。そして、データＤｉｊＮ（ｄｉｊ，ｔＮ）が、補助記憶部２３へ時系列的に保存される。
　本実施形態では、演算装置２０に対して、１秒間に４枚の画像ＩＭに関する画像情報が出力される。このため、これらのデータＤｉｊ１（ｄｉｊ，ｔ１）～Ｄｉｊ２０（ｄｉｊ，ｔ２０）は、約５秒間ドライバ５０を観察したときのデータとなる。
　一方、ステップＳ２０７での判断が肯定された場合は（ステップＳ２０７：Ｙｅｓ）、ＣＰＵ２１は、ステップＳ２０８へ移行する。
　ステップＳ２０８では、ＣＰＵ２１は、ペアリングされたエッジの中から、上瞼のエッジと下瞼のエッジとのペアを検出する。具体的には、ＣＰＵ２１は、後述する第１処理、第２処理、第３処理、及び第４処理を行うことで、上瞼のエッジと下瞼のエッジとのペアを検出する。
　例えば、図９には、縦軸を距離ｄとし、横軸を時間とする座標系にプロットされた点が示されている。これらの点は、上瞼のエッジと下瞼のエッジに対応するデータＤｉｊＮ（ｄｉｊ，ｔＮ）によって規定される点である。また、この一連のデータＤｉｊＮ（ｄｉｊ，ｔＮ）は、時刻ｔ１から時刻ｔ２までの間に、瞬きが行われたときのものである。
　図９に示されるように、ドライバ５０の眼が開いているときには、ドライバ５０の上瞼のエッジと下瞼のエッジとの距離ｄは、閾値ｔｈ１以上になる。一方、ドライバ５０の眼が閉じているときには、ドライバ５０の上瞼のエッジと下瞼のエッジとの距離ｄが、閾値ｔｈ１よりも小さくなる。
　そして、データＤｉｊＮ（ｄｉｊ，ｔＮ）が、上瞼のエッジと下瞼のエッジに対応するデータである場合には、閾値ｔｈ１以上の距離ｄｉｊをもつデータＤｉｊＮ（ｄｉｊ，ｔＮ）の数Ｍ１が、閾値ｔｈ１より小さい距離ｄｉｊをもつデータＤｉｊＮ（ｄｉｊ，ｔＮ）の数よりも支配的になる。
《第１処理》
　そこで、ＣＰＵ２１は、補助記憶部２３からデータＤｉｊＮ（ｄｉｊ，ｔＮ）を読み出す。そして、ＣＰＵ２１は、読み出したデータＤｉｊＮ（ｄｉｊ，ｔＮ）の中から、距離ｄｉｊの最小値ｄＭＩＮと最大値ｄＭＡＸを用いて、次式（３）で示される演算を行い、閾値ｔｈ（ｔｈ１，ｔｈ２，ｔｈ３）を算出する。
ｔｈ＝ｄＭＩＮ＋（（ｄＭＡＸ－ｄＭＩＮ）／３）　…（３）
　そして、ＣＰＵ２１は、閾値ｔｈ以上の距離ｄｉｊをもつデータＤｉｊＮ（ｄｉｊ，ｔＮ）の数Ｍ（Ｍ１、Ｍ２）をカウントする。そして、Ｍの値が、基準値よりも少ない場合には、ＣＰＵ２１は、読み出したデータＤｉｊＮ（ｄｉｊ，ｔＮ）に対応するエッジのペアを、上瞼のエッジと下瞼のエッジの候補から除外する。
　例えば、図１０に示されるように、閾値ｔｈ２よりも小さい距離ｄｉｊをもつデータＤｉｊＮ（ｄｉｊ，ｔＮ）の数Ｍ２が、閾値ｔｈ２以上の距離ｄｉｊをもつデータＤｉｊＮ（ｄｉｊ，ｔＮ）の数よりも支配的である場合には、ＣＰＵ２１は、当該データＤｉｊＮ（ｄｉｊ，ｔＮ）に対応するエッジのペアを、上瞼のエッジと下瞼のエッジの候補から除外する。図１０に示されるデータは、例えば眼鏡のフレームによるエッジのペアに関連するデータである。このため、上述の処理で、眼鏡のフレームによるペア等が候補から除外される。
《第２処理》
　図９を参照するとわかるように、ドライバ５０が瞬きをすると、距離ｄは、所定の基準値Ｖ１ｍｉｎ（例えば３．５）以下になる。そこで、ＣＰＵ２１は、補助記憶部２３から読み出したデータＤｉｊＮ（ｄｉｊ，ｔＮ）の中から、距離ｄｉｊの最小値ｄＭＩＮを抽出する。そして、ＣＰＵ２１は、この最小値ｄＭＩＮと基準値Ｖ１ｍｉｎとを比較する。距離ｄｉｊの最小値ｄＭＩＮの方が、基準値Ｖ１ｍｉｎよりも大きい場合には、ＣＰＵ２１は、当該データＤｉｊＮ（ｄｉｊ，ｔＮ）に対応するエッジのペアを、上瞼のエッジと下瞼のエッジの候補から除外する。
　例えば、図１１に示されるように、距離ｄｉｊの最小値ｄＭＩＮの方が、基準値Ｖ１ｍｉｎよりも大きい場合には、ＣＰＵ２１は、当該データＤｉｊＮ（ｄｉｊ，ｔＮ）に対応するエッジのペアを、上瞼のエッジと下瞼のエッジの候補から除外する。図１１に示されるデータは、例えば眉毛の上側のエッジ６０Ａ１，６０Ａ２と下側のエッジ６０Ｂ１，６０Ｂ２のペアに関連するデータである。このため、上述の処理で、眉毛のエッジのペアが候補から除外される。
《第３処理》
　図９に示されるように、ドライバ５０が眼を開いているときの距離ｄと、眼を閉じているときの距離ｄとの差は、ある程度の大きさ（例えば６）になる。そこで、ＣＰＵ２１は、補助記憶部２３から読み出したデータＤｉｊＮ（ｄｉｊ，ｔＮ）の中から、距離ｄｉｊの最大値ｄＭＡＸと、距離ｄｉｊの最小値ｄＭＩＮとを抽出する。そして、ＣＰＵ２１は、最大値ｄＭＡＸと最小値ｄＭＩＮとの差ｄｆｆ（＝ｄＭＡＸ－ｄＭＩＮ）と、基準値Ｖ２ｍｉｎとを比較する。比較の結果、差ｄｆｆの方が、基準値Ｖ２ｍｉｎよりも小さい場合には、ＣＰＵ２１は、当該データＤｉｊＮ（ｄｉｊ，ｔＮ）に対応するエッジのペアを、上瞼のエッジと下瞼のエッジの候補から除外する。
　例えば、図１２を参照するとわかるように、最大値ｄＭＡＸと最小値ｄＭＩＮとの差ｄｆｆ（＝ｄＭＡＸ－ｄＭＩＮ）が比較的小さく、基準値Ｖ２ｍｉｎよりも小さい場合には、ＣＰＵ２１は、当該データＤｉｊＮ（ｄｉｊ，ｔＮ）に対応するエッジのペアを、上瞼のエッジと下瞼のエッジの候補から除外する。図１２に示されるデータは、例えば眉毛の上側のエッジ６０Ａ１，６０Ａ２と下側のエッジ６０Ｂ１，６０Ｂ２のペアに関連するデータである。このため、上述の処理で、眉毛のエッジのペアが候補から除外される。
《第４処理》
　ドライバ５０が眼を開いているときの距離ｄは、図９を参照するとわかるように、概ね一定の値（ここでは９）に収束する。そこで、ＣＰＵ２１は、読み出したデータＤｉｊＮ（ｄｉｊ，ｔＮ）の中から、距離ｄｉｊの最小値ｄＭＩＮと最大値ｄＭＡＸとを用いて上記式（３）で示される演算を行い、閾値ｔｈ３を算出する。そして、ＣＰＵ２１は、閾値ｔｈ３以上の距離ｄｉｊをもつデータＤｉｊＮ（ｄｉｊ，ｔＮ）の分散ｖｒを算出する。この分散ｖｒが所定の基準値Ｖ３ｍｉｎより大きい場合には、ＣＰＵ２１は、読み出したデータＤｉｊＮ（ｄｉｊ，ｔＮ）に対応するエッジのペアを、上瞼のエッジと下瞼のエッジの候補から除外する。
　例えば、ＣＰＵ２１は、図１３に塗りつぶして示される点に対応するデータＤｉｊＮ（ｄｉｊ，ｔＮ）の分散ｖｒを算出する。そして、この分散ｖｒが所定の基準値Ｖ３ｍｉｎより大きい場合には、ＣＰＵ２１は、読み出したデータＤｉｊＮ（ｄｉｊ，ｔＮ）に対応するエッジのペアを、上瞼のエッジと下瞼のエッジの候補から除外する。図１３に示されるデータは、例えば上唇のエッジ６０Ａ５と、下唇のエッジ６０Ｂ５のペアに関連するデータである。このため、上述の処理で、唇のエッジのペアが候補から除外される。
　ＣＰＵ２１によって、第１処理～第４処理が実行されると、眉毛のエッジのペアや、唇のエッジのペアなどが除外される。これにより、例えば図９に示される上瞼のエッジ６０Ａ３，６０Ａ４と下瞼のエッジ６０Ｂ３，６０Ｂ４に対応するデータＤｉｊＮ（ｄｉｊ，ｔＮ）だけが除外されることなく残る。そこで、ＣＰＵ２１は、除外されることなく残ったデータＤｉｊＮ（ｄｉｊ，ｔＮ）に対応するエッジ６０Ａ３とエッジ６０Ｂ３のペアを右眼上瞼と右眼下瞼のエッジのペアとして検出する。また、ＣＰＵ２１は、エッジ６０Ａ４とエッジ６０Ｂ４のペアを左眼上瞼と左眼下瞼のエッジのペアとして検出する。
　ＣＰＵ２１は、ドライバ５０の瞼のエッジのペアの検出が終了すると、一連の処理を終了する。以降、ＣＰＵ２１は、撮影装置３０から出力される画像ＩＭに含まれる、エッジ６０Ａ３とエッジ６０Ｂ３のペアと、エッジ６０Ａ４とエッジ６０Ｂ４のペアを両眼の瞼のエッジとして観察する。そして、ＣＰＵ２１は、ドライバ５０の瞬き回数や、間隔などをサンプリングする。例えばエッジ６０Ａ３とエッジ６０Ｂ３との距離ｄ３３、或いはエッジ６０Ａ４とエッジ６０Ｂ４との距離ｄ４４が、所定の閾値以下となりその後一定の大きさとなった場合に、ＣＰＵ２１は、ドライバ５０が瞬きをしたと判断することができる。
　ＣＰＵ２１は、瞬きのサンプリング結果を、例えば外部装置等へ出力する。これにより、車両を運転するドライバ５０の覚醒度等を監視することが可能となる。
　以上説明したように、本第１の実施形態では、画像ＩＭから検出され、ペアリングされたエッジ同士の距離ｄが順次算出される。そして、算出された距離ｄの変化に基づいて、瞼のエッジのペアとしての確度が低い候補が除外されていく。この除外の結果として最終的に残ったエッジのペアが、上瞼のエッジと下瞼のエッジのペアとして検出される。このため、瞼のエッジに近い特徴だけでなく、瞼としての振る舞いを考慮した検出が行われる。したがって、ドライバ５０の瞼のエッジを、正確に検出することが可能となる。
　具体的には、例えば、図１０に示されるように、閾値ｔｈ２よりも小さい距離ｄｉｊをもつデータＤｉｊＮ（ｄｉｊ，ｔＮ）の数Ｍ２が、閾値ｔｈ２以上の距離ｄｉｊをもつデータＤｉｊＮ（ｄｉｊ，ｔＮ）の数よりも支配的である場合には、当該データＤｉｊＮ（ｄｉｊ，ｔＮ）に対応するエッジのペアが、上瞼のエッジと下瞼のエッジの候補から除外される。これにより、例えば眼鏡のフレームによるエッジのペア等が、瞼のエッジの候補となることがなくなる。その結果、ドライバ５０の瞼のエッジを、正確に検出することが可能となる。
　また、例えば、図１１に示されるように、距離ｄｉｊの最小値ｄＭＩＮの方が、基準値Ｖ１ｍｉｎよりも大きい場合には、データＤｉｊＮ（ｄｉｊ，ｔＮ）に対応するエッジのペアが、上瞼のエッジと下瞼のエッジの候補から除外される。これにより、眉毛のエッジのペア等が、瞼のエッジの候補となることがなくなる。その結果、ドライバ５０の瞼のエッジを、正確に検出することが可能となる。
　また、例えば、図１２を参照するとわかるように、最大値ｄＭＡＸと最小値ｄＭＩＮとの差ｄｆｆ（＝ｄＭＡＸ－ｄＭＩＮ）が比較的小さく、基準値Ｖ２ｍｉｎよりも小さい場合には、データＤｉｊＮ（ｄｉｊ，ｔＮ）に対応するエッジのペアが、上瞼のエッジと下瞼のエッジの候補から除外される。これにより、眉毛のエッジのペア等が、瞼のエッジの候補となることがなくなる。その結果、ドライバ５０の瞼のエッジを、正確に検出することが可能となる。
　また、例えば、図１３に塗りつぶして示される点に対応するデータＤｉｊＮ（ｄｉｊ，ｔＮ）の分散ｖｒが所定の基準値Ｖ３ｍｉｎより大きい場合には、当該データＤｉｊＮ（ｄｉｊ，ｔＮ）に対応するエッジのペアが、上瞼のエッジと下瞼のエッジの候補から除外される。これにより、唇のエッジのペア等が、瞼のエッジの候補となることがなくなる。その結果、ドライバ５０の瞼のエッジを、正確に検出することが可能となる。
《第２の実施形態》
　次に、本発明の第２の実施形態を、図面を参照しつつ説明する。なお、第１の実施形態と同一又は同等の構成については、同等の符号を用いるとともに、その説明を省略又は簡略する。
　本実施形態に係る瞼検出装置１０Ａは、演算装置２０が、一連の処理それぞれを実行するハードウエアで構成されている点で、第１の実施形態に係る瞼検出装置１０と相違している。図１４に示されるように、演算装置２０は、記憶部２０ａ、エッジ検出部２０ｂ、連続エッジ検出部２０ｃ、算出部２０ｄ、ペアリング部２０ｅ、及び検出部２０ｆを有している。
　記憶部２０ａは、撮影装置３０から出力される画像に関する情報、及び上記各部２０ｂ～２０ｆの処理結果などを含む情報を順次記憶する。
　エッジ検出部２０ｂは、記憶部２０ａに順次蓄積される画像ＩＭＮの画像情報を取得し、画像ＩＭＮのエッジを検出する。このエッジの検出は、画像ＩＭに対してソーベルフィルタを用いた画像処理を実行することにより行われる。
　連続エッジ検出部２０ｃは、連続エッジの検出を行う。具体的には、連続エッジ検出部２０ｃは、エッジ検出部２０ｂによって抽出された画素のうち、エッジ値の極性が等しく、相互に隣接する画素をグループ化する。これにより、複数の画素からなる画素群が複数規定される。次に、連続エッジ検出部２０ｃは、複数の画素群の中から横方向（Ｘ軸方向）の長さが閾値以上のグループを連続エッジとして検出する。これにより、図６に破線及び実線で示されるエッジ６０Ａ，６０Ｂが検出される。
　算出部２０ｄは、エッジ６０Ａ，６０Ｂそれぞれの重心ＳＡ，ＳＢ、及び長さを算出する。
　ペアリング部２０ｅは、エッジのペアリングを行う。瞼の大きさは、個人相互間で個体差はあるが、概ねその大きさを予測することができる。そこで、ペアリング部２０ｅは、エッジ６０Ａｉ，６０ＢｊのＸ軸方向の大きさ（幅）に基づいて、瞼のエッジの候補を抽出する。次に、ペアリング部２０ｅは、エッジ６０Ａｉとエッジ６０Ｂｊの横方向の重心位置の差が基準値以下であり、かつ、エッジ６０Ａｉの重心ＳＡｉとエッジ６０Ｂｊの重心ＳＢｊの距離とが基準値以下であるエッジ６０Ａｉ，６０Ｂｊの組を抽出する。
　また、ペアリング部２０ｅは、ペアリングされたエッジ６０Ａｉ，６０Ｂｊ同士の距離ｄｉｊを、画像ＩＭＮが撮影された時間ｔＮと関連付けて、データＤｉｊＮ（ｄｉｊ，ｔＮ）として、補助記憶部２３へ記憶する。これにより、データＤｉｊＮ（ｄｉｊ，ｔＮ）が、時系列的に保存される。
　検出部２０ｆは、ペアリングされたエッジの中から、上瞼のエッジと下瞼のエッジとのペアを検出する。具体的には、検出部２０ｆは、上述した第１処理、第２処理、第３処理、及び第４処理を行うことで、上瞼のエッジと下瞼のエッジとのペアを検出する。そして、検出部２０ｆは、検出結果を例えば外部装置等へ出力する。
　以上説明したように、本第２の実施形態では、画像ＩＭから検出され、ペアリングされたエッジ同士の距離ｄが順次算出される。そして、算出された距離ｄの変化に基づいて、瞼のエッジのペアとしての確度が低い候補が除外されていく。この除外の結果として最終的に残ったエッジのペアが、上瞼のエッジと下瞼のエッジのペアとして検出される。このため、瞼のエッジに近い特徴だけでなく、瞼としての振る舞いを考慮した検出が行われる。したがって、ドライバ５０の瞼のエッジを、正確に検出することが可能となる。
　以上、本発明の実施形態について説明したが、本発明は上記実施形態によって限定されるものではない。
　例えば、上記実施形態では、撮影装置３０は、１秒間に４枚の画像に関する画像情報を出力することとした。これに限らず、撮影装置３０は、フレームレートに等しい数の画像に関する画像情報を出力し、演算装置２０は、２０秒間に出力される画像情報すべての時系列データに基づいて、瞼のエッジのペアを検出するための処理を実行することとしてもよい。
　上記実施形態では、閾値ｔｈを上記式（３）に基づいて算出した。当該算出式は一例であり、他の式を用いて閾値ｔｈを算出することとしてもよい。
　上記実施形態に係る演算装置２０の機能は、専用のハードウエアによっても、通常のコンピュータシステムによっても実現することができる。
　上記第１の実施形態において演算装置２０の補助記憶部２３に記憶されているプログラムは、フレキシブルディスク、ＣＤ－ＲＯＭ（Compact Disk Read-Only Memory）、ＤＶＤ（Digital Versatile Disk）、ＭＯ（Magneto-Optical disk）等のコンピュータで読み取り可能な記録媒体に格納して配布し、そのプログラムをコンピュータにインストールすることにより、上述の処理を実行する装置を構成することとしてもよい。
　なお、本発明は、本発明の広義の精神と範囲を逸脱することなく、様々な実施形態及び変形が可能とされるものである。また、上述した実施形態は、本発明を説明するためのものであり、本発明の範囲を限定するものではない。
　本出願は、２０１１年７月１日に出願された日本国特許出願２０１１－１４７４７０号に基づく。本明細書中に日本国特許出願２０１１－１４７４７０号の明細書、特許請求の範囲、図面全体を参照として取り込むものとする。
　本発明の瞼検出装置、瞼検出方法及びプログラムは、瞼の検出に適している。
　１０，１０Ａ　瞼検出装置
　２０　　演算装置
　２０ａ　記憶部
　２０ｂ　エッジ検出部
　２０ｃ　連続エッジ検出部
　２０ｄ　算出部
　２０ｅ　ペアリング部
　２０ｆ　検出部
　２１　ＣＰＵ
　２２　主記憶部
　２３　補助記憶部
　２４　表示部
　２５　入力部
　２６　インターフェイス部
　２７　システムバス
　３０　撮影装置
　５０　ドライバ
　６０Ａ，６０Ｂ　エッジ
　Ｄ　　点
　Ｄｉｊ　データ
　Ｆ　　顔
　ＩＭ　画像
　ＳＡ，ＳＢ　重心

Claims (7)

  1. 　所定の期間に順次撮影されるドライバの顔の画像から、エッジを検出するエッジ検出手段と、
    　検出された前記エッジから、前記ドライバの上瞼のエッジの候補となる第１エッジと、下瞼のエッジの候補となる第２エッジとを抽出する抽出手段と、
    　前記第１エッジと、前記第２エッジとをペアリングするペアリング手段と、
    　ペアリングされた前記第１エッジと前記第２エッジとの距離の変化に応じて、前記距離の最小値よりも大きく、前記距離の最大値よりも小さい閾値を算出する閾値算出手段と、
    　前記距離が前記閾値以上となる回数に基づいて、前記第１エッジを前記ドライバの上瞼のエッジの候補から除外するか否かを決定するとともに、前記第２エッジを前記ドライバの下瞼のエッジの候補から除外するか否かを決定する決定手段と、
    　前記決定手段による決定結果に基づいて、前記第１エッジと前記第２エッジとを除外し、残りの第１エッジと第２エッジとのペアの中から、前記ドライバの上瞼のエッジと下瞼のエッジのペアを検出する検出手段と、
    　を備える瞼検出装置。
  2. 　前記閾値算出手段は、
    　ペアリングされた前記第１エッジと前記第２エッジとの距離の最大値と最小値とに基づいて、前記閾値を算出する請求項１に記載の瞼検出装置。
  3. 　前記決定手段は、
    　前記第１エッジと前記第２エッジとの距離の分散が、所定の基準値よりも大きい場合に、前記第１エッジを前記ドライバの上瞼のエッジの候補から除外し、前記第２エッジを前記ドライバの下瞼のエッジの候補から除外することを決定する請求項１又は２に記載の瞼検出装置。
  4. 　前記決定手段は、
    　前記第１エッジと前記第２エッジとの距離の最小値が、所定の基準値よりも大きい場合に、前記第１エッジを前記ドライバの上瞼のエッジの候補から除外し、前記第２エッジを前記ドライバの下瞼のエッジの候補から除外することを決定する請求項１乃至３のいずれか一項に記載の瞼検出装置。
  5. 　前記決定手段は、
    　前記第１エッジと前記第２エッジとの距離の最大値と最小値との差が、所定の基準値よりも小さい場合に、前記第１エッジを前記ドライバの上瞼のエッジの候補から除外し、前記第２エッジを前記ドライバの下瞼のエッジの候補から除外することを決定する請求項１乃至４のいずれか一項に記載の瞼検出装置。
  6. 　所定の期間に順次撮影されるドライバの顔の画像から、エッジを検出する工程と、
    　検出された前記エッジから、前記ドライバの上瞼のエッジの候補となる第１エッジと、下瞼のエッジの候補となる第２エッジとを抽出する工程と、
    　前記第１エッジと、前記第２エッジとをペアリングする工程と、
    　ペアリングされた前記第１エッジと前記第２エッジとの距離の変化に応じて、前記距離の最小値よりも大きく、前記距離の最大値よりも小さい閾値を算出する工程と、
    　前記距離が前記閾値以上となる回数に基づいて、前記第１エッジを前記ドライバの上瞼のエッジの候補から除外するか否かを決定するとともに、前記第２エッジを前記ドライバの下瞼のエッジの候補から除外するか否かを決定する工程と、
    　前記決定の結果に基づいて、前記第１エッジと前記第２エッジとを除外し、残りの第１エッジと第２エッジとのペアの中から、前記ドライバの上瞼のエッジと下瞼のエッジのペアを検出する工程と、
    　を含む瞼検出方法。
  7. 　コンピュータに、
    　所定の期間に順次撮影されるドライバの顔の画像から、エッジを検出する手順と、
    　検出された前記エッジから、前記ドライバの上瞼のエッジの候補となる第１エッジと、下瞼のエッジの候補となる第２エッジとを抽出する手順と、
    　前記第１エッジと、前記第２エッジとをペアリングする手順と、
    　ペアリングされた前記第１エッジと前記第２エッジとの距離の変化に応じて、前記距離の最小値よりも大きく、前記距離の最大値よりも小さい閾値を算出する手順と、
    　前記距離が前記閾値以上となる回数に基づいて、前記第１エッジを前記ドライバの上瞼のエッジの候補から除外するか否かを決定するとともに、前記第２エッジを前記ドライバの下瞼のエッジの候補から除外するか否かを決定する手順と、
    　前記決定の結果に基づいて、前記第１エッジと前記第２エッジとを除外し、残りの第１エッジと第２エッジとのペアの中から、前記ドライバの上瞼のエッジと下瞼のエッジのペアを検出する手順と、
    　を実行させるためのプログラム。
PCT/JP2012/065435 2011-07-01 2012-06-15 瞼検出装置、瞼検出方法及びプログラム WO2013005560A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US14/128,211 US20140126776A1 (en) 2011-07-01 2012-06-15 Eyelid detection device, eyelid detection method, and recording medium
EP12807396.2A EP2728550A4 (en) 2011-07-01 2012-06-15 EYEWEAR DETECTION DEVICE, EYE DETECTION METHOD, AND PROGRAM

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2011-147470 2011-07-01
JP2011147470A JP2013015970A (ja) 2011-07-01 2011-07-01 瞼検出装置、瞼検出方法及びプログラム

Publications (1)

Publication Number Publication Date
WO2013005560A1 true WO2013005560A1 (ja) 2013-01-10

Family

ID=47436917

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2012/065435 WO2013005560A1 (ja) 2011-07-01 2012-06-15 瞼検出装置、瞼検出方法及びプログラム

Country Status (4)

Country Link
US (1) US20140126776A1 (ja)
EP (1) EP2728550A4 (ja)
JP (1) JP2013015970A (ja)
WO (1) WO2013005560A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112740302A (zh) * 2018-09-20 2021-04-30 五十铃自动车株式会社 车辆用监视装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008158922A (ja) * 2006-12-26 2008-07-10 Aisin Seiki Co Ltd 瞼検出装置、瞼検出方法及びプログラム
JP2008192100A (ja) * 2007-02-08 2008-08-21 Aisin Seiki Co Ltd 瞼検出装置及びプログラム
JP2008226189A (ja) * 2007-03-15 2008-09-25 Aisin Seiki Co Ltd 特徴点検出装置及びプログラム
JP2008226047A (ja) * 2007-03-14 2008-09-25 Aisin Seiki Co Ltd 瞼検出装置及びプログラム
JP2010224637A (ja) * 2009-03-19 2010-10-07 Toyota Central R&D Labs Inc 眠気判定装置及びプログラム

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4137969B2 (ja) * 2006-12-04 2008-08-20 アイシン精機株式会社 眼部検出装置、眼部検出方法及びプログラム
US8045766B2 (en) * 2007-02-16 2011-10-25 Denso Corporation Device, program, and method for determining sleepiness
JP4259585B2 (ja) * 2007-03-08 2009-04-30 株式会社デンソー 眠気判定装置，プログラムおよび眠気判定方法
JP5262243B2 (ja) * 2008-03-31 2013-08-14 アイシン精機株式会社 眼開閉判別装置、及びプログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008158922A (ja) * 2006-12-26 2008-07-10 Aisin Seiki Co Ltd 瞼検出装置、瞼検出方法及びプログラム
JP2008192100A (ja) * 2007-02-08 2008-08-21 Aisin Seiki Co Ltd 瞼検出装置及びプログラム
JP2008226047A (ja) * 2007-03-14 2008-09-25 Aisin Seiki Co Ltd 瞼検出装置及びプログラム
JP2008226189A (ja) * 2007-03-15 2008-09-25 Aisin Seiki Co Ltd 特徴点検出装置及びプログラム
JP2010224637A (ja) * 2009-03-19 2010-10-07 Toyota Central R&D Labs Inc 眠気判定装置及びプログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP2728550A4 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112740302A (zh) * 2018-09-20 2021-04-30 五十铃自动车株式会社 车辆用监视装置
CN112740302B (zh) * 2018-09-20 2023-03-24 五十铃自动车株式会社 车辆用监视装置

Also Published As

Publication number Publication date
US20140126776A1 (en) 2014-05-08
EP2728550A4 (en) 2015-05-13
EP2728550A1 (en) 2014-05-07
JP2013015970A (ja) 2013-01-24

Similar Documents

Publication Publication Date Title
US10810438B2 (en) Setting apparatus, output method, and non-transitory computer-readable storage medium
EP2698762B1 (en) Eyelid-detection device, eyelid-detection method, and program
JP6573193B2 (ja) 判定装置、判定方法、および判定プログラム
US20160232399A1 (en) System and method of detecting a gaze of a viewer
KR20160046495A (ko) 외부 물체의 움직임과 연관된 이벤트에 응답하여 화면을 디스플레이하는 장치 및 방법
JPWO2013008305A1 (ja) 瞼検出装置
JP2015232746A (ja) 皺検出装置および皺検出方法
EP3440592A1 (en) Method and system of distinguishing between a glance event and an eye closure event
JP5644414B2 (ja) 覚醒度判定装置、覚醒度判定方法及びプログラム
CN110211021B (zh) 图像处理装置、图像处理方法和存储介质
Thulasimani et al. Real time driver drowsiness detection using opencv and facial landmarks
JP2009064395A (ja) ポインティングデバイス、操作者の注視位置とカーソルの位置との誤差の補正をコンピュータに実行させるためのプログラムおよびそのプログラムを記録したコンピュータ読み取り可能な記録媒体
JP5703068B2 (ja) 顔検出方法および顔検出装置、ならびに、プログラム
JP2012068948A (ja) 顔属性推定装置およびその方法
WO2013005560A1 (ja) 瞼検出装置、瞼検出方法及びプログラム
CN109901716B (zh) 视线点预测模型建立方法、装置及视线点预测方法
CN109657550B (zh) 一种疲劳度检测方法及装置
US20230171370A1 (en) Determining display zoom level
CN116086396A (zh) 一种获取距离的方法、装置、系统及存储介质
Daniluk et al. Eye status based on eyelid detection: A driver assistance system
JP7019394B2 (ja) 視認対象検知装置、視認対象検知方法、およびプログラム
JP6897467B2 (ja) 視線検出装置、視線検出プログラム、及び視線検出方法
KR100651104B1 (ko) 시선기반 컴퓨터 인터페이스 장치 및 방법
US20200008713A1 (en) Walking support system, walking support method, and program
Horak et al. Eyes detection and tracking for monitoring driver vigilance

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 12807396

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 14128211

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 2012807396

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE