WO2013035704A1 - 居眠り検出方法と装置 - Google Patents

居眠り検出方法と装置 Download PDF

Info

Publication number
WO2013035704A1
WO2013035704A1 PCT/JP2012/072497 JP2012072497W WO2013035704A1 WO 2013035704 A1 WO2013035704 A1 WO 2013035704A1 JP 2012072497 W JP2012072497 W JP 2012072497W WO 2013035704 A1 WO2013035704 A1 WO 2013035704A1
Authority
WO
WIPO (PCT)
Prior art keywords
eye
time
blink
dozing
threshold time
Prior art date
Application number
PCT/JP2012/072497
Other languages
English (en)
French (fr)
Inventor
清実 中村
博史 高野
Original Assignee
富山県
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富山県 filed Critical 富山県
Priority to JP2013532609A priority Critical patent/JP5679066B2/ja
Priority to KR1020147003739A priority patent/KR101604232B1/ko
Priority to US14/342,720 priority patent/US9286515B2/en
Priority to CN201280043229.2A priority patent/CN103974656B/zh
Priority to EP12829487.3A priority patent/EP2754393A4/en
Publication of WO2013035704A1 publication Critical patent/WO2013035704A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1103—Detecting eye twinkling
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/163—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state by tracking eye movement, gaze, or pupil change
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/18—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state for vehicle drivers or machine operators
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/48—Other medical applications
    • A61B5/4806—Sleep evaluation
    • A61B5/4809—Sleep detection, i.e. determining whether a subject is asleep or not
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7271—Specific aspects of physiological measurement analysis
    • A61B5/7282—Event detection, e.g. detecting unique waveforms indicative of a medical condition
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K28/00—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions
    • B60K28/02—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver
    • B60K28/06—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver responsive to incapacity of driver
    • B60K28/066—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver responsive to incapacity of driver actuating a signalling device
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02—Alarms for ensuring the safety of persons
    • G08B21/06—Alarms for ensuring the safety of persons indicating a condition of sleep, e.g. anti-dozing alarms
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0077—Devices for viewing the surface of the body, e.g. camera, magnifying lens

Definitions

  • the present invention relates to a dozing detection method and apparatus for detecting dozing that is a state in which a person's arousal is reduced.
  • a method for detecting dozing for example, a method has been proposed in which blinking swarms in which a plurality of eyes are closed in a short time within one second is detected to detect a decrease in arousal.
  • SEM Small Eye Movement
  • a detection method for determining that the degree of arousal has been reduced is disclosed.
  • Blink swarms and SEM are characteristic phenomena that appear at the beginning of sleep, and a combination of these is used to determine a decrease in arousal level.
  • a blink detection unit that detects a blink of a person to be detected, and a blink interval between the blink and the blink just before the blink are detected by the blink detection unit.
  • Blinks that occur within a predetermined time, and blink determination means for determining blinks with long eyes closed for a predetermined time or longer, and blinks with long eyes closed from the blinks of the blinks
  • a wakefulness detection device is provided that includes wakefulness reduction determination means for determining the degree of wakefulness based on the time until.
  • Patent Document 3 is based on an imaging unit that continuously captures an area including the eyes of a determination target person and an image that is continuously captured by the imaging unit in order to accurately detect a cluster blink. Based on the opening degree detecting means for detecting the time series data of the soot opening and the time series data of the soot opening detected by the opening detecting means, the opening degree of the soot is continuously predetermined.
  • Clustered blinks in which the maximum and minimum values are extracted from a range that is less than the threshold value, and the interval between blinks detected by the threshold set between the extracted maximum and minimum values is within a predetermined time
  • a drowsiness determination device comprising: swarm detection means for detecting blinking and drowsiness determination means for determining a drowsiness state of the person to be determined based on a detection result of the swarm blink detection means .
  • Non-Patent Documents 1 and 2 in order to detect a dozing state based only on the blink feature, the relationship between the eye closure time of the first blink and the sleepiness expression value during blink blinking was investigated. As a result, it is shown that when the arousal level is lowered, the eye closing time of the first blink is extended.
  • the blink cluster detection of the inventions disclosed in Patent Documents 1 and 2 of the background art described above is generally performed from one minimum value of the closed eye to the following.
  • the time to the minimum value was measured as the blink interval TO p (i).
  • the determination reference value Th O is set to 1 second, for example, and the case where the inter-blink interval TO p (i) is equal to or less than the determination reference value Th O is defined as a blink blink.
  • the inter-blink interval TO p (i) is measured including the time from the minimum value of the closed eye state to the open eye and the time from the open eye state to the extreme value of the closed eye. It was not possible to detect a cluster blink that caused the time for opening the eye to be long, and the blink cluster could not be detected accurately.
  • the detection method disclosed in Patent Document 3 detects time series data of the soot opening, and based on the detected time series data of the soot opening, the opening of the soot continues to be a predetermined threshold value. Since blink blinking is determined from a range that is less than the range, it is difficult to accurately measure the eyelid opening degree in a semi-closed eye state, and measurement errors are likely to occur.
  • Non-Patent Documents 1 and 2 the reference for detecting the dozing state and the detection timing of the real time from the blinking eye closing time in the blink blink are not shown, and the dozing state cannot be accurately determined. . Furthermore, in the determination of the dozing state based only on the eye closing time of the first blink in the blink blinking, there is a problem that the dozing detection accuracy is low and the dozing detection timing is delayed.
  • the present invention has been made in view of the problems of the background art described above, and can detect a blink swarm accurately with a relatively simple device, and can improve the detection speed and accuracy of dozing. It is an object to provide a detection method and apparatus.
  • the present invention measures the state of the human eye from the closed eye to the open eye, with the almost open state as the eye opening time and the other as the eye closing time, which is relative to the average blink interval in the wakefulness state of healthy adults.
  • Short time is defined as the first threshold time (judgment clustering determination value Th O )
  • a relatively long time is set as the second threshold time (drowsiness) compared to the average eye closure time in the awake state of healthy adults.
  • Th C1 Defined as a determination criterion Th C1 ), and when an eye opening equal to or shorter than the first threshold time is detected (s2), blinks before and after that are defined as blink blinks, and among the blinks during blink blinks,
  • Th C1 a determination criterion
  • This is a dozing detection method in which when the eye-closing time of a blink that occurs after an eye opening time that is less than or equal to one threshold time reaches the second threshold time or more (s5), it is determined to be a doze state.
  • the eye-closing time of the blink that occurs before the eye opening that is equal to or less than the first threshold time is equal to or greater than the second threshold time (s3), it is immediately determined to be a doze state.
  • This is a dozing detection method.
  • the eye closing time that is relatively longer than the second threshold time is set as a third threshold time, and the blinking eye closing time that occurs after the eye opening is less than or equal to the first threshold time among the blinks in the blink eye cluster.
  • the time reaches the third threshold time (the dozing criterion Th C2 ) or more (s6) it is immediately determined to be a dozing state.
  • the eye closing time relatively longer than the second threshold time is set as the third threshold time, and the eye opening longer than the first threshold time is detected in the detection of the eye opening time, before the blink immediately before that occurs
  • the previous blink is determined to be a blink other than a blink swarm
  • the eye closing time of a blink other than the blink swarm is the third threshold time or more In (s9), it is immediately determined to be a doze state.
  • the eye closing time relatively longer than the second threshold time is set as a third threshold time, and when the eye opening time is detected, the eye opening longer than the first threshold time is detected, and the eye closing time immediately after blinking is detected. When the time reaches the third threshold time or more (s11), it is immediately determined to be a doze state.
  • the third threshold time may be, for example, an eye closing time that is relatively longer than the average eye closing time of blinks other than the blink eye cluster in the awake state of a healthy adult.
  • the total closed eye time obtained as the sum of the closed eye time of the blink during the blink cluster and the closed eye time of the blink other than the blink cluster is relatively longer than the third threshold time, for example, It is good also as a state.
  • the total eye closing time may be obtained by adding a weight to each of the eye closing times of the blink during the blinking blink and the blinks other than the blink blinking.
  • the present invention recognizes the position of a person's eyes and detects a state from the eyes closed to the eyes open, and a state in which the eyes of the person are almost opened by the eye closure detection means is an eye opening time
  • Blink time measuring means for measuring a time other than as a closed eye time, and a relatively short time compared to an average blink interval in an awake state of a healthy adult is a first threshold time (judgment cluster determination reference value Th O 2 )
  • a relatively long time compared to the average eye closure time in the awake state of a healthy adult is defined as a second threshold time (a dozing criterion Th C1 )
  • eye opening equal to or less than the first threshold time is defined as
  • the blink before and after that is defined as a blink swarm
  • the blink swarm discriminating means for discriminating the blink swarm based on the blink time measured by the blink time measuring means, and the blink swarm If detected, the blink swarm
  • a dozing device comprising: a dozing determination
  • the dozing detection means includes: the blinking eye closing time that occurs before the eye opening that is equal to or less than the first threshold time out of the blinks during the blink blinking;
  • the present invention is a dozing detection device including a dozing determination unit that immediately assumes a dozing state when the second threshold time is exceeded.
  • the eye closing time that is relatively longer than the second threshold time is set as a third threshold time
  • the dozing determination means includes the first blink among the blinks of the blink blink detected by the blink blink determination means.
  • the dozing determination unit detects the eye opening longer than the first threshold time by the blink time measuring unit
  • the immediately preceding blink is determined to be a blink other than the blink swarm, and the eye closing time of the blink other than the blink swarm is the If the time is equal to or longer than the third threshold time, the device immediately enters a doze state.
  • the eye closing time relatively longer than the second threshold time is set as a third threshold time
  • the dozing determination means detects eye opening longer than the first threshold time by the blink time measuring means, Immediately after that, when the eye-closing time of blinking reaches the third threshold time or more, a doze state is immediately set.
  • the third threshold time may be, for example, an eye closing time that is relatively longer than the average eye closing time of blinks other than the blink eye cluster in the awake state of a healthy adult.
  • the dozing determination means includes the eye closing time of the blink during the blink blink detected by the blink blink detection means and the eye closing time of a blink other than the blink blink detected by the blink time measurement means.
  • the doze determining means can also be obtained by adding the total eye closure time to the blinking eye during the blink cluster and the eye closure time of the blink other than the eyebrow crowding.
  • a dozing detection device having alarm means for issuing a dozing alarm based on the determination result of the dozing state may be used.
  • the present invention is applicable to a vehicle equipped with the dozing detection device.
  • the drowsiness detection method and apparatus of the present invention can detect snoozing accurately and quickly with a simple apparatus at low cost. As a result, it is possible to detect a driver's nap early in a vehicle or the like and improve driving safety.
  • the graph (a) which shows the sleepiness expression value of one Example of this invention, the graph (b) which shows the total eye closure time of the blink during blink blink, the graph (c) which shows the average eye closure time of a single eye blink, the eye blink It is a graph (d) which shows the total eye closure time of a cluster blink and a single blink.
  • FIGS. 1 to 7 show an embodiment of the present invention.
  • a dozing detection device 30 of this embodiment has a photographing unit 32 composed of a CCD camera or the like for photographing the face of a driver 31, for example.
  • a driver monitor ECU 33 in which a dozing detection algorithm for detecting blinks and the like by processing an image generated by the photographing unit 32 is provided.
  • the driver monitor ECU 33 is connected to a navigation system 34 for visually urging an alarm when a wakefulness level is displayed or when a sleep state occurs.
  • the driver monitor ECU 33 urges the speaker 35 to give an alarm even by sound when the driver 31 becomes doze.
  • the driver monitor ECU 33 performs brake control of the vehicle by the brake control device 36 when the driver 31 continues to fall asleep.
  • the driver monitor ECU 33 includes a CPU, a ROM that stores programs such as control routines, a RAM that stores data, and a storage device such as a hard disk that stores other programs and data.
  • the doze detection function provided in the driver monitor ECU 33 processes the image captured by the photographing unit 32 to detect the blink defined by the present invention, and the eye opening time and the eye closure of the blink detected by the eye closure detection means.
  • Blink time measuring means for measuring time
  • blink blinking discriminating means for discriminating blink blinks based on the blink time measured by the blink time measuring means
  • doze discrimination for determining doze based on these measurement results It is comprised by the execution program of the dozing detection algorithm which consists of means.
  • the detection and determination of the dozing state is performed as shown in the flowchart of FIG. 4 based on the definition of the eye closing time at the time of the blinking blinking illustrated in FIG.
  • the eye-opening time TO (i) (i is a natural number) is measured by the blinking eye cluster detection means provided in the driver monitor ECU 33 (s1).
  • a closed eye state is detected by the closed eye detection means during the measurement, and it is checked whether or not the determined eye opening time TO (i) is equal to or less than the determination reference value Th 2 O which is the first threshold time (s2).
  • the eye opening time TO (i) is equal to or less than the determination reference value Th O for the blink eye cluster, the blinks occurring before and after the eye opening state are determined as the blink eye cluster.
  • the dozing determination unit determines that the eye is closed when the eye-closing time TC (i ⁇ 1) of the blink occurring before this eye-opening state is equal to or greater than the dozing criterion Th C1 that is the second threshold time. (S3).
  • a state in which the eyes are almost opened is defined as an eye opening time, and the rest is defined as an eye closing time.
  • a relatively short time compared with the average blink interval in the awake state of a healthy adult is defined as a first threshold time (judgment cluster determination reference value Th O ).
  • a relatively long time is defined as the second threshold time (a dozing criterion Th C1 ) compared to the average eye closure time in the awake state of a healthy adult.
  • the eye closing time TC (i) is measured by the blinking clustering discrimination means (s4). If the closed eye time TC (i) is equal to or greater than the dozing criterion Th C1 , it is immediately determined that the patient is in a dozing state (s5). Further, if the eye closing time TC (i) is equal to or more than another dozing criterion Th C2 that is a third threshold time longer than the second threshold time (a dozing criterion Th C2 > a dozing criterion Th C1 ). Immediately, it is determined that the patient is dozing (s6).
  • the eye-closing time TC (i) is determined by the eye-blink grouping determining means (s7).
  • the third threshold time is set to a relatively long eye closing time than the second threshold time, but is appropriately relative to, for example, the average eye closing time of blinks other than the blink swarm in the awake state of a healthy adult. It may be a long eye-closing time.
  • the eye opening time TO (i) is longer than the determination reference value Th O for the blinking eye cluster
  • the eye opening time TO (i ⁇ 1) before the blink immediately before the eye opening state is the determination reference value Th O for the eye blink clustering.
  • the blink immediately before the eye-opening state is a blink other than the blink swarm (s8).
  • the eye closing time TC (i ⁇ 1) immediately before the eye-opening state is equal to or longer than the dozing criterion Th C2 , it is determined that it is a dozing state (s9).
  • the eye-closing time TC (i) is measured by the blinking cluster detection unit (s10).
  • the closed eye time TC (i) is equal to or greater than the dozing criterion Th C2 , it is immediately determined that the patient is in a dozing state (s11). Thereafter, when the eye-opening state is detected by the eye-closing detecting means, it is determined that the blinking has ended, and the eye-closing time TC (i) is determined by the eye-blink grouping determining means (s12).
  • the eye position detection method binarizes the face grayscale image acquired by the photographing unit 32 by threshold processing, and performs template matching on the binarized image using the one-eye partial template 20 shown in FIG.
  • template matching for example, a residual successive detection method is used.
  • the diameter of the cornea of the adult eye 24 is about 11 mm (length: 9.3 to 11 mm, width: 10.6 to 12 mm). Since the size of the iris 22 which is a black eye substantially matches the cornea size, in this embodiment, the size of the iris 22 is set to 11 mm in diameter.
  • the one-eye portion template 20 is configured by a cruciform straight line, and is set to have a horizontal width of 11 mm and a vertical width of 6 mm on the screen of the monitor 16, for example. The number of pixels per mm is calculated based on the number of pixels by drawing a straight line of a certain length on the monitor 16.
  • 1 mm is 4.2 pixels, 11 mm is about 46 pixels, and 6 mm is about 25 pixels.
  • the template matching is performed by moving the one-eye portion template 20 by four pixels.
  • the matching degree of the horizontal width of the one-eye portion template 20 is compared for each pixel of the image, and the matching degree of the vertical width is compared with that of skipping one pixel, and the matching degree of 90% or more of the horizontal width and 40% or more of the vertical width is simultaneously satisfied.
  • the part where the one-eye part template 20 overlaps is determined to be eye-catching.
  • the template matching by the one-eye partial template 20 may erroneously detect some prominent areas on the image.
  • the features around the eyes 24 are used as check items, and as shown in FIG.
  • the check point a at the position of the eyebrow 28 is between 25 and 50 mm above the center of the one-eye portion template 20 in consideration of differences due to individual differences in the human face.
  • the check point b between them is also 15 to 27 mm
  • the check point c below the eyes 24 is also 15 to 22 mm.
  • the check point b is determined by comparing with the threshold value based on the binarized pixel values. As a result, it is determined from the binarized image data that there is no black portion immediately above the eye 24, a black portion by the eyebrow 28 is detected above, and no black portion below the eye 24.
  • the degree of matching of these check items is 10% or more at the position of the eyebrow 28 compared with the threshold value based on the pixel value in the upper part of the eye 24, and between the eyebrow 28 and the eye 24.
  • a matching degree of 20% or more is obtained at the position of, and a matching degree of 20% or more is obtained at the position below the eye 24, it is determined that the condition conformity around the eye 24 is satisfied.
  • the final determination that the eye is 24 is determined by template matching using the one-eye partial template 20 and feature check items around the eye 24.
  • the blink of the eye 24 is detected.
  • the blink detection as shown in FIGS. 2A and 3A, the blink is detected from a change in the area of the iris 22 which is a black eye.
  • the area of the iris 22 is measured from the grayscale image acquired by the photographing unit 12. Then, the area measurement of the iris 22 is less than a predetermined threshold value S th, for example, stores the maximum value of the area of the iris 22, the open-eye state from its maximum value, for example, 5-15% preferably 10% less area as the threshold value S th Determine whether or not.
  • the degree of matching between the width of the iris 22 and the one-eye part template 20 satisfies, for example, 85 to 95%, preferably 90% or more, it is determined that the eye 22 is eye-open. Is considered to be consistent.
  • the eye is closed, as shown in FIG. 7, a long black portion is formed in the lateral direction by the eyelashes 26. Therefore, in order to prevent a large area from being measured, the horizontal measurement range of the area of the iris 22 is one eye.
  • the width of the partial template 20 is assumed.
  • the vertical measurement range is that there are many matching points of the one-eye portion template 20 in the iris 22, so that the match point is deviated from the center of the iris 22, and from the center of the one-eye portion template 20.
  • the range is 50 pixels in the vertical direction.
  • the iris area measurement procedure is to measure the area of the iris 22 after the eye 24 is recognized. It moves to the left from the center position of the one-eye partial template 20 until the pixel density value becomes equal to or higher than the binarization threshold value of the iris 22, and the movement distance is calculated. Next, the distance is calculated in the same way in the right direction, and the sum of the left and right movement distances is defined as the horizontal width of the iris 22. Then, the same operation is repeated on the upper side of the one-eye partial template 20 within the measurement range, and the lateral width is summed. In the same manner, the lateral width is added to the lower side of the one-eye portion template 20. This measurement is performed in the same manner when the eyes are closed.
  • the measurement range in the horizontal direction is the horizontal width of the one-eye portion template 20, and a dark portion whose pixel density value is equal to or less than the binarization threshold value of the iris 22 is the vertical width of the eyelash 26 in the vertical direction. Accordingly, the area of the iris 22 when the eye is opened is a larger value within the measurement range than when the eyelash 26 when the eye is closed.
  • the sum of the dark portions where the pixel density value is less than or equal to the binarization threshold value of the iris 22 (the portion within the movement distance) within the measurement range of FIG. 7 is equal to or greater than the predetermined threshold value S th shown in FIGS. If so, it is determined that the iris 22 is open. Further, if this sum is equal to or less than the threshold value Sth, it is assumed that the eye is closed.
  • the method of using the dozing detection device 30 of this embodiment is provided in the vicinity of the driver's seat of an automobile, train, or other work machine, the driver is photographed by the photographing unit 32, and the above first threshold time (determination reference value) is used.
  • a blink blink is detected by a process based on Th O
  • any of the blinking eye closure times during the blink blink is equal to or longer than a second threshold time (sleeping criterion Th C1 )
  • the eye is closed when the eye-closing time of blinks other than the blink swarm is equal to or longer than the third threshold time (the dozing criterion Th C2 ).
  • the safety of driving a car or the like can be greatly improved.
  • the time from the minimum value of the closed eye to the minimum value is measured as the interval between eye blinks TO p (i).
  • an irregular method for measuring the time from the start of the closed eye to the start of the next closed eye as the inter-blink interval TO p (i), or from the end of the closed eye to the end of the next closed eye There is an anomalous method of measuring time as the blink interval TO p (i).
  • these irregular measurement methods cannot detect clustered blinks including closed eyes for a long time, they do not solve the problems of the above-described general blink detection method. It can be said that the blinking swarm detection method is superior in detecting doze.
  • the dozing detection device of this embodiment detects a blink cluster by a first threshold time (determination reference value Th O ) using only the eye opening time as a criterion, and the eye-closing time of each blink in the blink cluster is a second In the threshold time (slumber criterion Th C1 ), the eye-closure time of blinks other than the blink cluster is determined by the third threshold time (snaps criterion Th C2 ), so that the dozing state is determined early, Contributes to the reliable prevention of snoozing.
  • FIG. 8 shows a schematic diagram of an experimental apparatus equipped with a dozing detection device.
  • a computer 14 in which a photographing unit 12 composed of a CCD camera or the like for photographing the face of the subject 11 and a dozing detection program for detecting blinks by processing an image generated by the photographing unit 12 is installed. It consists of The computer 14 is connected to a monitor 16 such as a liquid crystal display that displays captured images.
  • a screen 18 for displaying the field of view during driving includes a seat 13 on which the subject 11 sits, a handle 15, an instrument display unit 17, an accelerator 19, and the like, and has a configuration similar to that of a normal automobile.
  • a sleepiness expression value which is a relative index representing the arousal level of the subject 11 during the experiment
  • the facial expression of the subject 11 during the experiment was recorded.
  • the degree of sleepiness was judged by two observers, and the sleepiness expression value (Rated Sleepiness) of the test subject 11 was digitized by scoring.
  • the average of the judgment values of the two persons was taken as a sleepiness expression value, and smoothed by a 30-second moving average every 5 seconds and described in the graph.
  • the numerical value of the drowsiness expression value was attached with the following numerical values. 5. It ’s not sleepy at all 4). A little sleepy 3. Sleepy 2. Looks pretty sleepy 1. Sleeping
  • the determination reference value Th O for blinking swarms defined as the first threshold time is set to 1 second.
  • FIG. 9 the distribution of the first eye closure time (upper stage) according to the definition of the blink cluster according to the present invention and the conventional blink cluster for two subjects (Sub.1-1, Sub.2-1).
  • the distribution (lower stage) of the 1st eye closure time by a definition is shown.
  • the vertical axis represents the first eye closing time of blink blinks
  • the horizontal axis represents the drowsiness expression value. From FIG. 9, when the drowsiness expression value is 2 to 3, the first eye closure time of the blink group in the definition of the present invention (FIG. 2A) and the conventional blink definition (FIG. 2B) is compared.
  • FIG. 10 shows the distribution of the second eye closure time (upper stage) according to the definition of eyebrow swarm according to the present invention and another conventional subject (Sub.8-1, Sub.6-2).
  • the distribution (lower stage) of the 2nd eye closure time by the definition of eye cluster is shown.
  • the vertical axis represents the second eye closure time of blink blinks
  • the horizontal axis represents the drowsiness expression value. From FIG. 10, when the drowsiness expression value is 2 to 3, the second eye closure time of the blink group in the definition of the present invention (FIG. 2A) and the conventional blink definition (FIG.
  • the dozing criterion Th C1 defined as the second threshold time in the embodiment is set to 1 second.
  • the third threshold time was set to 2 seconds as a closed eye time relatively longer than the second threshold time.
  • the third threshold time was used as a dozing judgment standard for blinks (single blinks) other than blink blinks.
  • FIG. 11 shows dozing detection by the dozing detection method of the present invention.
  • the subject (Sub.1-1) detects blink blinks immediately after the start of the experiment ( ⁇ mark), After that, at the first time point (1086 seconds) when the second closed eye ( ⁇ mark) was first detected for 1 second or longer, it was determined to be asleep.
  • the sleepiness expression value of the subject goes up and down around 3, indicating that the subject is enduring sleepiness.
  • the detection method of the present invention accurately detects the dozing. It was confirmed.
  • FIG. 12 shows the case of the subject (Sub.5-1), and a blinking cluster is detected immediately after the start of the experiment (marked with ⁇ ) as in the case of the subject (Sub.1-1).
  • the sleepiness expression value is close to 3, and since the sleepiness expression value is further lowered, it can be understood that it is time to enter a doze state, and the detection method of the present invention makes it possible to accurately doze. It was confirmed that it was detected.
  • a blink cluster was detected immediately after the start of the experiment (marked with ⁇ ), and the closed eye time of a single blink that was not a blink cluster was detected for 2 seconds or more (gray ⁇ At the first time point (marked) (454 seconds), it was determined to be asleep. At this time, the sleepiness expression value is close to 2 and the sleepiness expression value still fluctuates around 3. Therefore, it is understood that it is time to enter the doze state, and the doze is accurately detected. I found out.
  • FIG. 14 shows the difference in dozing detection time between the present invention and the conventional method for the subject (Sub.3-2) in FIG.
  • the time interval from the time immediately after the occurrence of the blink cluster to the end time of the long-term eye closure is within 10 seconds in the definition of the blink cluster shown in FIG.
  • the time at the earliest part that was 10 seconds or less was recorded.
  • the dozing since the dozing was detected (gray ⁇ mark) by the determination of the eye closing time of 2 seconds or more in the present invention, the dozing could be detected at an early timing (454 seconds).
  • the detection time of dozing is 939 seconds from the start of measurement, which is later than the method according to the present invention.
  • FIG. 15 shows the result of measuring the dozing detection time according to the present invention and the conventional method for another subject (Sub.2-2).
  • the present invention was able to detect doze (gray ⁇ mark) based on the determination that the eye closure time was 2 seconds or longer for a single blink, and to detect doze early (781 seconds).
  • the detection time is 1129 seconds after the start of the measurement, which is later than the method according to the present invention.
  • the determination is first made that the first closed eye of the blink blink is 1 second or longer (gray ⁇ mark) and the second closed eye is 1 second or longer ( ⁇ mark). It can be seen from the time points that both appear to detect dozing earlier than the conventional method, and from this point it can also be seen that the method according to the present invention can detect dozing earlier.
  • FIG. 16 shows the time transition of the sleepiness expression value of the subject (Sub.1-1) in FIG. 11, and FIG. 16 (a) shows the blinking swarm occurrence position ( ⁇ ) by the detection method according to the present invention
  • FIG. (B) illustrates the blinking swarm occurrence position (O) according to the conventional method
  • FIG. 16 (a) shows a portion where the first closed eye (gray ⁇ ) and the second closed eye in the blinking eye blinks for more than 1 second ( ⁇ ).
  • FIG. 16B shows a blinking swarm occurrence position ( ⁇ ) according to the conventional method and a spot (gray ⁇ ) where the eye-closing time of blinking is 1 second or more.
  • a to E indicate the time points when the long-term closed eye after blinking is 10 seconds or less.
  • the conventional method has the fastest detection time of dozing, and is 1315 seconds indicated by point A after the start of the experiment.
  • the first time point (first ⁇ ) when the second closed eye in the blinking eye cluster is 1 second or more, which is 1086 seconds after the start of the experiment.
  • a snooze is detected.
  • the first time point (first gray ⁇ ) in which the first closed eye in the blink blinking is 1 second or longer is seen, it is detected earlier than in the case of the conventional method. I understand.
  • FIG. 17 shows an example of another embodiment using an experimental apparatus (FIG. 8) having the configuration of the dozing detection apparatus of the present invention.
  • FIG. 17 shows the experimental results of the subject (Sub.8-1).
  • FIG. 17A shows the drowsiness expression value
  • FIG. 17B shows the total sum of the eye closure times of all blinks in the blinking cluster.
  • the closed eye time (seconds) shows the average closed eye time (seconds) in 30 seconds for a single blink
  • FIG. 17 (d) shows the closed eye times (seconds) of all blinks in the blink eye cluster.
  • the time transition of the total eye closure time (second) which added the average eye closure time in 30 seconds of a single blink is shown.
  • the total eye closing time T sum may be obtained by adding various weights, such as .5.
  • the dozing detection device of the present invention is not limited to the above-described embodiments, and blink detection may be performed by a method other than the above, by detecting two or more blinks consecutive in a short time. It may be a blink blink.
  • the definition of the eye opening time and the eye closing time and the determination reference value of the present invention include values rounded off to the nearest decimal point. Specifically, for example, a range from 0.5 seconds to less than 1.5 seconds is included. This is included in the definition of 1 second of the present invention, and this range may be 1 second.

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Veterinary Medicine (AREA)
  • Molecular Biology (AREA)
  • Public Health (AREA)
  • Animal Behavior & Ethology (AREA)
  • Surgery (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Psychiatry (AREA)
  • Physiology (AREA)
  • Developmental Disabilities (AREA)
  • Educational Technology (AREA)
  • Social Psychology (AREA)
  • Psychology (AREA)
  • Child & Adolescent Psychology (AREA)
  • Hospice & Palliative Care (AREA)
  • General Physics & Mathematics (AREA)
  • Ophthalmology & Optometry (AREA)
  • Dentistry (AREA)
  • Transportation (AREA)
  • Business, Economics & Management (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Emergency Management (AREA)
  • Signal Processing (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Artificial Intelligence (AREA)
  • Mechanical Engineering (AREA)
  • Anesthesiology (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)

Abstract

　簡単な装置で、正確に瞬目群発を検出することができ、居眠りの検出早さ及び精度を向上させた居眠り検出方法と装置である。人の目の閉眼から開眼までの状態のうち、ほぼ開眼した状態を開眼時間とし、それ以外を閉眼時間とする。健常成人の覚醒状態における平均瞬目間間隔に比べて相対的に短い時間を第一の閾値時間とする。健常成人の覚醒状態における平均閉眼時間に比べて相対的に長い時間を第二の閾値時間とする。前記第一の閾値時間以下の開眼を検出した場合にその前後の瞬きを瞬目群発とする。前記瞬目群発中の瞬きのうち、前記第一の閾値時間以下の開眼時間の後に生じた瞬きの閉眼時間が、前記第二の閾値時間以上に達した場合に居眠り状態と判断する。前記瞬目群発中の瞬きのうち、前記第一の閾値時間以下の開眼の前に生じた瞬きの閉眼時間が、前記第二の閾値時間以上の場合に直ちに居眠り状態と判断する。前記第二の閾値時間より相対的に長い閉眼の場合にも居眠り状態と判断する。

Description

居眠り検出方法と装置
　この発明は、人の覚醒が低下した状態である居眠りを検出する居眠り検出方法と装置に関する。
　従来、居眠りを検出する方法として、例えば１秒以内の短時間に、複数回の閉眼が生じる状態である瞬目群発を検出して、覚醒が低下していることを検出する方法が提案されている。例えば特許文献１には、目の瞬きである瞬目の群発を検出してから所定時間以内に閉瞼を伴うゆっくりとした眼球の横移動であるＳＥＭ（Slow Eye Movement）を検出した場合に、覚醒度が低下している（居眠りしている）と判定する検出方法が開示されている。瞬目の群発やＳＥＭは、入眠初期に現れる特徴的な現象であり、これらを組み合わせて覚醒度の低下を判定している。
　特許文献２には、被検出者の瞬目を検出する瞬目検出手段と、前記瞬目検出手段により検出された瞬目から、該瞬目とその直前の瞬目との瞬目間間隔が所定時間以内で起こった瞬目群発の瞬目、及び所定時間以上の長時間閉眼を伴う瞬目を判定する瞬目判定手段と、前記瞬目群発の瞬目から前記長時間閉眼を伴う瞬目までの時間に基づいて覚醒低下度を判定する覚醒低下判定手段とを備えた覚醒低下検出装置が開示されている。
　しかし特許文献２に記載された検出方法の場合、通常の瞬目と群発性瞬目とを分けずに瞬目を抽出しており、抽出方法が群発性瞬目に関して特化されていない。このため、特許文献２に記載された検出方法では、群発性瞬目時に多く見られる閉眼から半眼に折り返して閉眼に戻るような瞬目現象を逃してしまい、群発性瞬目を精度良く検出することができないという問題があった。
　そこで、特許文献３は、群発性瞬目を精度良く検出するために、判定対象者の眼を含む領域を連続して撮像する撮像手段と、前記撮像手段により連続して撮像された画像に基づいて、瞼の開度の時系列データを検出する開度検出手段と、前記開度検出手段によって検出された瞼の開度の時系列データに基づいて、前記瞼の開度が持続して所定の閾値未満となる範囲から、極大値及び極小値を抽出し、抽出された極大値及び極小値の間に設定された閾値で検出される瞬目間間隔が所定時間以内となる群発性瞬目を検出する群発性瞬目検出手段と、前記群発性瞬目検出手段による検出結果に基づいて、前記判定対象者の眠気状態を判定する眠気状態判定手段とから成る眠気判定装置を提案している。
　一方、非特許文献１，２では、瞬きの特徴のみに基づく居眠り状態を検出するために、瞬目群発中の第１瞬目の閉眼時間と眠気表情値の関係を調査したものである。その結果、覚醒度が低下すると、第１瞬目の閉眼時間が延びることが示されている。
特開２００６－１３６５５６号公報 特開２００８－７３３３５号公報 特開２０１０－２２４６３７号公報
平成22年度電気関係学会北陸支部連合大会講演論文集B-3 平成22年度日本生体医工学会北陸支部大会講演論文集pp.25~26
　上記背景技術の特許文献１，２に開示された発明の瞬目群発の検出は、図２（ｂ）、図３（ｂ）に示すように、一般的に閉眼の一つの極小値から次の極小値までの時間を瞬目間間隔TOp(i)として測定していた。そして、判定基準値ThOを例えば１秒とし、瞬目間間隔TOp(i)が判定基準値ThO以下の間隔の場合を瞬目群発と定義していた。この場合の瞬目間間隔TOp(i)は、閉眼状態の極小値から開眼まで及び開眼状態から閉眼の極値までの時間も含めて測定しているため、瞼を閉じる動作の時間や瞼を開く動作の時間が長くなる群発性の瞬目を検出できず、正確に瞬目群発を検出できないものであった。
　特許文献３に開示された検出方法は、瞼の開度の時系列データを検出し、検出された瞼の開度の時系列データに基づいて、前記瞼の開度が持続して所定の閾値未満となる範囲から瞬目群発を判断しているため、半閉眼状態の瞼の開度を正確に測定することが困難であり、測定誤差も生じやすいものである。
　非特許文献１，２では、瞬目群発中の瞬きの閉眼時間から居眠り状態を検出するための基準や実時間の検出タイミングが示されておらず、精確に居眠り状態を判断できるものではなかった。さらに、瞬目群発中の第１瞬目の閉眼時間のみに基づく居眠り状態の判定では、居眠り検出精度が低く、居眠り検出タイミングに遅延が生じる問題がある。
　この発明は、上記背景技術の問題点に鑑みてなされたものであり、比較的簡単な装置で、正確に瞬目群発を検出することができ、居眠りの検出早さ及び精度を向上させた居眠り検出方法と装置を提供することを目的とする。
　この発明は、人の目の閉眼から開眼までの状態のうち、ほぼ開眼した状態を開眼時間とし、それ以外を閉眼時間として測定し、健常成人の覚醒状態における平均瞬目間間隔に比べて相対的に短い時間を第一の閾値時間（瞬目群発の判定基準値ＴｈＯ）として定義し、健常成人の覚醒状態における平均閉眼時間に比べて相対的に長い時間を第二の閾値時間（居眠り判定基準ＴｈＣ１）として定義し、前記第一の閾値時間以下の開眼を検出した場合（ｓ２）にその前後の瞬きを瞬目群発と定義し、前記瞬目群発中の瞬きのうち、前記第一の閾値時間以下の開眼時間の後に生じた瞬きの閉眼時間が、前記第二の閾値時間以上に達した場合（ｓ５）に居眠り状態と判断する居眠り検出方法である。
　また、前記瞬目群発中の瞬きのうち、前記第一の閾値時間以下の開眼の前に生じた瞬きの閉眼時間が、前記第二の閾値時間以上の場合（ｓ３）に直ちに居眠り状態と判断する居眠り検出方法である。
　前記第二の閾値時間より相対的に長い閉眼時間を第三の閾値時間として設定し、前記瞬目群発中の瞬きのうち、前記第一の閾値時間以下の開眼の後に生じた瞬きの閉眼時間が、前記第三の閾値時間（居眠り判定基準ＴｈＣ２）以上に達した場合（ｓ６）に直ちに居眠り状態と判断するものである。
　前記第二の閾値時間より相対的に長い閉眼時間を第三の閾値時間として設定し、前記開眼時間の検出に際して前記第一の閾値時間より長い開眼を検出した場合、その直前の瞬きが生じる前の開眼時間が前記第一の閾値時間より長い場合に、前記直前の瞬きを瞬目群発以外の瞬きと判定し、前記瞬目群発以外の瞬きの閉眼時間が前記第三の閾値時間以上の場合（ｓ９）に直ちに居眠り状態と判断するものである。
　前記第二の閾値時間より相対的に長い閉眼時間を第三の閾値時間として設定し、前記開眼時間の検出に際して前記第一の閾値時間より長い開眼を検出し、その直後の瞬きの閉眼時間が前記第三の閾値時間以上に達した場合（ｓ１１）に直ちに居眠り状態と判断するものである。前記第三の閾値時間は、例えば、健常成人の覚醒状態における前記瞬目群発以外の瞬きの平均閉眼時間より相対的に長い閉眼時間としても良い。
　また、前記瞬目群発中の瞬きの前記閉眼時間と前記瞬目群発以外の瞬きの前記閉眼時間の和として得られる合計閉眼時間が、例えば前記第三の閾値時間より相対的に長い場合に居眠り状態としても良い。さらに、前記合計閉眼時間は、前記瞬目群発中の瞬きと前記瞬目群発以外の瞬きの前記閉眼時間にそれぞれ重みをかけて足し合わせることにより求められるものでも良い
　またこの発明は、人の目の位置を認識して、目の閉眼から開眼までの状態を検出する閉眼検出手段と、前記閉眼検出手段により人の目がほぼ開眼した状態を開眼時間とし、それ以外を閉眼時間として測定する瞬目時間測定手段とを備え、健常成人の覚醒状態における平均瞬目間間隔に比べて相対的に短い時間を第一の閾値時間（瞬目群発の判定基準値ＴｈＯ）として定義し、健常成人の覚醒状態における平均閉眼時間に比べて相対的に長い時間を第二の閾値時間（居眠り判定基準ＴｈＣ１）として定義し、前記第一の閾値時間以下の開眼を検出した場合にその前後の瞬きを瞬目群発と定義し、前記瞬目時間測定手段により測定した瞬きの時間を基に前記瞬目群発を判別する瞬目群発判別手段と、前記瞬目群発を検出した場合、前記瞬目群発中の瞬きのうち、前記第一の閾値時間以下の開眼の後に生じた瞬きの閉眼時間が前記第二の閾値時間以上に達した場合に居眠り状態であるとする居眠り判別手段とを備えた居眠り検出装置である。
　また、前記居眠り判別手段は、前記瞬目群発中の瞬きのうち、前記瞬目群発中の瞬きのうち、前記第一の閾値時間以下の開眼の前に生じた瞬きの閉眼時間が、前記第二の閾値時間以上の場合に直ちに居眠り状態であるとする居眠り判別手段とを備えた居眠り検出装置である。
　前記第二の閾値時間より相対的に長い閉眼時間を第三の閾値時間として設定し、前記居眠り判別手段は、前記瞬目群発判別手段により検出された前記瞬目群発の瞬きのうち、前記第一の閾値時間以下の開眼の後に生じた瞬きの閉眼時間が、前記第三の閾値時間（居眠り判定基準ＴｈＣ２）以上に達した場合に直ちに居眠り状態であるとするものである。
　前記第二の閾値時間より相対的に長い閉眼時間を第三の閾値時間として設定し、前記居眠り判別手段は、前記瞬目時間測定手段により、前記第一の閾値時間より長い開眼を検出した場合、その直前の瞬きが生じる前の開眼時間が前記第一の閾値時間より長い場合に、前記直前の瞬きを瞬目群発以外の瞬きと判定し、前記瞬目群発以外の瞬きの閉眼時間が前記第三の閾値時間以上の場合に直ちに居眠り状態とするものである。
　前記第二の閾値時間より相対的に長い閉眼時間を第三の閾値時間として設定し、前記居眠り判別手段は、前記瞬目時間測定手段により、前記第一の閾値時間より長い開眼を検出し、その直後の瞬きの閉眼時間が前記第三の閾値時間以上に達した場合に直ちに居眠り状態とするものである。前記第三の閾値時間は、例えば、健常成人の覚醒状態における前記瞬目群発以外の瞬きの平均閉眼時間より相対的に長い閉眼時間としても良い。
　前記居眠り判別手段は、前記瞬目群発判別手段により検出された前記瞬目群発中の瞬きの前記閉眼時間と、前記瞬目時間測定手段により検出された前記瞬目群発以外の瞬きの前記閉眼時間の和として得られる合計閉眼時間が、例えば前記第三の閾値時間より相対的に長い場合に居眠り状態とするものである。前記居眠り判別手段は、前記合計閉眼時間を前記瞬目群発中の瞬きと前記瞬目群発以外の瞬きの前記閉眼時間にそれぞれ重みをかけて足し合わせることでも求められる。
　また、前記居眠り状態の判断結果に基づき、居眠り警報を発する警報手段を備えた居眠り検出装置としても良い。
　さらにこの発明は、前記居眠り検出装置を備えた車両に適用可能なものである。
　この発明の居眠り検出方法と装置は、簡単な装置でコストもかからず、正確且つ迅速な居眠り検出が可能となる。これにより、乗り物等の運転手の居眠りを早期に発見し、運転の安全性を高めることが出来る。
この発明の一実施形態の居眠り検出装置の模式図である。 この発明の一実施形態の居眠り検出方法の瞬目の定義（ａ）と、従来の瞬目の定義（ｂ）を示すタイムチャートである。 閉眼時間が長い場合について、この発明の一実施形態の居眠り検出方法の瞬目の検出（ａ）と、従来の瞬目の検出（ｂ）を示すタイムチャートである。 この発明の一実施形態の居眠り検出方法を示すフローチャートである。 この発明の一実施形態の居眠り検出装置の目検出方法に用いるテンプレートの模式図である。 この発明の一実施形態の居眠り検出装置の目検出方法の原理を示す図である。 この発明の一実施形態の居眠り検出装置の瞬目検出方法を示す写真と模式図である。 この発明の一実施形態における実施例を示すための実験装置の模式図である。 ２名の被験者について、この発明による瞬目群発の定義による第１閉眼時間の分布と、従来の瞬目群発の定義による第１閉眼時間の分布である。 ２名の被験者について、この発明による瞬目群発の定義による第２閉眼時間の分布と、従来の瞬目群発の定義による第２閉眼時間の分布である。 この発明の一実施例による実験結果における居眠り検出結果を示すグラフである。 この発明の一実施例による実験結果における居眠り検出結果を示すグラフである。 この発明の一実施例による実験結果における居眠り検出結果を示すグラフである。 この発明の一実施例と従来の技術による居眠り検出の時間を示すグラフである。 この発明の一実施例と従来の技術による居眠り検出の時間を示すグラフである。 この発明の一実施例の居眠り検出を示すグラフ（ａ）と、従来の技術による居眠り検出を示すグラフ（ｂ）である。 この発明の一実施例の眠気表情値を示すグラフ（ａ）、瞬目群発中の瞬きの合計閉眼時間を示すグラフ（ｂ）、単独瞬目の平均閉眼時間を示すグラフ（ｃ）、瞬目群発の瞬きと単独瞬目の合計閉眼時間を示すグラフ（ｄ）である。
　以下、この発明の実施形態について図面に基づいて説明する。図１～図７はこの発明の一実施形態を示すもので、この実施形態の居眠り検出装置３０は、図１に示すように、例えばドライバー３１の顔を撮影するＣＣＤカメラ等からなる撮影部３２と、撮影部３２により生成される画像を処理して瞬目の検出等を行う居眠り検出アルゴリズムが実装されたドライバーモニターＥＣＵ３３を備えている。ドライバーモニターＥＣＵ３３は、覚醒レベルの表示や居眠り状態になった場合に視覚的に警報を促すためのナビゲーションシステム３４に接続されている。また、ドライバーモニターＥＣＵ３３は、ドライバー３１が居眠り状態になった場合、スピーカ３５により音でも警報を促す。さらに、ドライバーモニターＥＣＵ３３は、ドライバー３１の居眠り状態が続いた場合、ブレーキ制御装置３６により、車両のブレーキ制御を行う。
　ドライバーモニターＥＣＵ３３は、ＣＰＵと、制御ルーチン等のプログラムを記憶したＲＯＭ、データ等を記憶するＲＡＭ、及びその他のプログラムやデータを記憶したハードディスク等の記憶装置を備えている。
　ドライバーモニターＥＣＵ３３に設けられた居眠り検出機能は、撮影部３２が撮像した画像を処理して、この発明により定義した瞬きを検出する閉眼検出手段と、閉眼検出手段が検出した瞬きの開眼時間と閉眼時間を計る瞬目時間測定手段と、瞬目時間測定手段により測定した瞬きの時間を基に瞬目群発を判別する瞬目群発判別手段と、これらの測定結果を基に居眠りを判定する居眠り判別手段とから成る居眠り検出アルゴリズムの実行プログラムにより構成されている。
　居眠り状態の検出及び判定は、図２（ａ）に示す瞬目群発時の閉眼時間の定義により、図４のフローチャートに示すように判定する。まず、ドライバーモニターＥＣＵ３３に設けられた瞬目群発判別手段により開眼時間ＴＯ（ｉ）（ｉは自然数）を計測する（ｓ１）。計測中に閉眼検出手段により閉眼状態が検出され、確定した開眼時間ＴＯ（ｉ）が、第一の閾値時間である判定基準値ＴｈＯ以下であるか否かを調べる（ｓ２）。開眼時間ＴＯ（ｉ）が瞬目群発の判定基準値ＴｈＯ以下の時、この開眼状態の前に発生した瞬きと後に発生する瞬きを瞬目群発として判定する。この実施形態では、判定基準値ＴｈＯ＝１秒である。この時、居眠り判別手段により、この開眼状態の前に発生した瞬きの閉眼時間ＴＣ（ｉ－１）が、第二の閾値時間である居眠り判定基準ＴｈＣ１以上であれば居眠り状態であると判定する（ｓ３）。ここでは、人の目の閉眼から開眼までの状態のうち、ほぼ開眼した状態を開眼時間とし、それ以外を閉眼時間とする。そして、健常成人の覚醒状態における平均瞬目間間隔に比べて相対的に短い時間を第一の閾値時間（瞬目群発の判定基準値ＴｈＯ）と定義する。また、健常成人の覚醒状態における平均閉眼時間に比べて相対的に長い時間を第二の閾値時間（居眠り判定基準ＴｈＣ１）として定義する。
　次に、瞬目群発判別手段により閉眼時間ＴＣ（ｉ）を計測する（ｓ４）。閉眼時間ＴＣ（ｉ）が居眠り判定基準ＴｈＣ１以上になれば、直ちに居眠り状態であると判定する（ｓ５）。また、閉眼時間ＴＣ（ｉ）が、前記第二の閾値時間より長い第三の閾値時間であるもう一つの居眠り判定基準ＴｈＣ２以上（居眠り判定基準ＴｈＣ２＞居眠り判定基準ＴｈＣ１）となれば、直ちに居眠り状態であると判定する（ｓ６）。その後、閉眼検出手段により開眼状態が検出された時、瞬きが終了したと判断して、瞬目群発判別手段により閉眼時間ＴＣ（ｉ）が確定する（ｓ７）。ここで、第三の閾値時間は、前記第二の閾値時間より相対的に長い閉眼時間に設定するが、適宜、例えば健常成人の覚醒状態における前記瞬目群発以外の瞬きの平均閉眼時間より相対的に長い閉眼時間としても良い。
　一方、開眼時間ＴＯ（ｉ）が瞬目群発の判定基準値ＴｈＯより長い時、この開眼状態の直前の瞬きの前の開眼時間ＴＯ（ｉ－１）が瞬目群発の判定基準値ＴｈＯより長い時、この開眼状態の直前の瞬きを瞬目群発以外の瞬きと判定する（ｓ８）。さらに、この開眼状態の直前の瞬きの閉眼時間ＴＣ（ｉ－１）が、居眠り判定基準ＴｈＣ２以上であれば居眠り状態であると判定する（ｓ９）。次に、瞬目群発判別手段により閉眼時間ＴＣ（ｉ）を計測する（ｓ１０）。閉眼時間ＴＣ（ｉ）が居眠り判定基準ＴｈＣ２以上になれば、直ちに居眠り状態であると判定する（ｓ１１）。その後、閉眼検出手段により開眼状態が検出された時、瞬きが終了したと判断して、瞬目群発判別手段により閉眼時間ＴＣ（ｉ）が確定する（ｓ１２）。
　ここで、瞬目検出方法の例を以下に説明する。先ず目の位置検出方法は、撮影部３２で取得した顔の濃淡画像を閾値処理により２値化し、２値化画像に対して、図５に示す片目部分テンプレート２０によるテンプレートマッチングを行う。このテンプレートマッチングには、例えば残差逐次検出法を用いる。
　一般に、図５に示すように成人の目２４の角膜の直径は約１１ｍｍ（縦９．３～１１ｍｍ、横１０．６～１２ｍｍ）である。黒目である虹彩２２のサイズは角膜サイズとほぼ一致することから、この実施形態では、虹彩２２のサイズを直径１１ｍｍと設定している。片目部分テンプレート２０は十字形の直線で構成され、例えばモニタ１６の画面上で横幅１１ｍｍ、縦幅６ｍｍに設定されている。１ｍｍあたりのピクセル数は、モニタ１６上で一定の長さの直線を引き、そのピクセル数を基に計算する。この実施形態では、１ｍｍは４．２ピクセルとなり、１１ｍｍは約４６ピクセル、６ｍｍは約２５ピクセルに相当する。このような十字形の片目部分テンプレート２０を用いることにより、目２４の傾きがあっても、円形の虹彩２２には影響せず、虹彩２２との正確なマッチングを得ることができる。
　この実施形態では処理の高速化のため、例えば４画素ずつ片目部分テンプレート２０を移動させテンプレートマッチングを行う。片目部分テンプレート２０の横幅のマッチング度は、画像の１ピクセルずつ比べ、縦幅のマッチング度は１ピクセル飛ばしに比較し、横幅の９０％以上、縦幅の４０％以上のマッチング度が同時に満たされた時に、片目部分テンプレート２０が重なった部分が目らしいと判定する。
　また、片目部分テンプレート２０によるテンプレートマッチングは、画像上のいくつかの目らしい領域を間違えて検出する恐れがある。その間違い対策として、目２４の周りの特徴をチェック項目として用い、図６に示すように、片目部分テンプレート２０の上下において、眉２８の有無を判断材料とした。例えば、虹彩２２を１１ｍｍとした場合、人の顔の個人差による違いを考慮して、眉２８の位置のチェックポイントａは片目部分テンプレート２０の中心から上２５～５０ｍｍの間、眉２８と目２４との間のチェックポイントｂは同じく１５～２７ｍｍ、目２４の下のチェックポイントｃは、同じく１５～２２ｍｍとし、各２値化されたピクセルの値を基に閾値と比較して判別する。これにより目２４の直上では黒い部分が無く、その上方に眉２８による黒部分が検知され、目２４の下方には黒部分がないということを、２値化された画像データから目検知の判断材料とすることができる。
　これらのチェック項目のマッチング度は、目２４の上の部分おいて、ピクセルの値を基にした閾値と比較して、眉２８の位置でマッチング度が１０％以上、眉２８と目２４の間の位置でマッチング度が２０％以上、目２４の下の位置ではマッチング度が２０％以上のマッチングが得られたとき、目２４の周りの条件適合性が満たされると判定する。そして、目２４であるとする最終判定は、片目部分テンプレート２０によるテンプレートマッチングと目２４の回りの特徴チェック項目により判定する。
　目２４を検出した後、目２４の瞬きを検出する。瞬目検出は、図２（ａ）、図３（ａ）に示すように、黒目である虹彩２２の面積の変化から、瞬目を検出している。瞬目検出は、撮影部１２により取得した濃淡画像から、虹彩２２の面積を測定する。そして、虹彩２２の面積測定結果が所定の閾値Ｓｔｈ以下、例えば虹彩２２の面積の最大値を記憶し、その最大値から例えば５～１５％好ましくは１０％少ない面積を閾値Ｓｔｈとして開眼状態か否かを判断する。
　虹彩２２の面積の測定は、目２４の２値画像をスキャンして行う。先ず、虹彩２２と片目部分テンプレート２０の横幅のマッチング度が例えば８５～９５％好ましくは９０％以上満たしているときに目らしいと判定し、開眼時の虹彩２２の横幅と片目部分テンプレート２０の横幅は一致したと考える。また、閉眼時には、図７に示すように、まつげ２６によって横方向に長い黒の部分ができるので、面積を多く測定してしまうことを防ぐために、虹彩２２の面積の横方向の測定範囲は片目部分テンプレート２０の横幅とする。また縦方向の測定範囲は、虹彩２２の中に片目部分テンプレート２０のマッチする点がいくつも存在することから、マッチポイントが虹彩２２の中心からずれることを考慮し、片目部分テンプレート２０の中心から上下方向に例えば５０ピクセルの範囲とする。
　虹彩面積測定の手順は、目２４の認識後、虹彩２２の面積測定を行う。片目部分テンプレート２０の中心位置から左に、ピクセル濃度値が虹彩２２の２値化閾値以上になるまで移動し、その移動距離を計算する。次に、右方向にも同様にして距離を計算し、左右の移動距離の和を虹彩２２の横幅とする。そして、測定範囲内で片目部分テンプレート２０の上側で同様の作業を繰り返し、横幅を合計する。また片目部分テンプレート２０の下側でも同様にして、横幅を合計する。この測定は、閉眼時も同様に行われる。閉眼時は、横方向に長くまつげ２６による黒い部分が表れる。しかし、横方向の測定範囲は、片目部分テンプレート２０の横幅であり、ピクセル濃度値が虹彩２２の２値化閾値以下の濃い部分は、縦方向にまつげ２６の上下幅となる。従って、開眼時の虹彩２２の面積は、測定範囲内で、閉眼時のまつげ２６を測定した場合よりも大きい値となる。
　これにより、図７の測定範囲内でピクセル濃度値が虹彩２２の２値化閾値以下の濃い箇所（前記移動距離内の部分）の合計が、図２、図３に示す所定の閾値Ｓｔｈ以上であれば、虹彩２２であるとして開眼状態とする。また、この合計が閾値Ｓｔｈ以下であれば、閉眼状態であるとする。
　この実施形態の居眠り検出装置３０の使用方法は、自動車や電車、その他の作業機械の運転席の近傍に設け、撮影部３２により運転者を撮影し、上記の第一の閾値時間（判定基準値ＴｈＯ）を基準とした処理により瞬目群発を検出し、その瞬目群発中の瞬きの閉眼時間の何れかが第二の閾値時間（居眠り判定基準ＴｈＣ１）以上である場合に、居眠りと判断し、さらに、瞬目群発以外の瞬きの閉眼時間が第三の閾値時間（居眠り判定基準ＴｈＣ２）以上の場合も居眠りと判断する。これにより、自動車等の運転の安全性を大幅に向上させることができる。
　前記一般的な瞬目群発検出法では、図２（ｂ）、図３（ｂ）に示すように、閉眼の極小値から極小値までの時間を瞬目間間隔ＴＯｐ（ｉ）として測定していたが、この他に、閉眼の開始から次の閉眼の開始までの時間を瞬目間間隔ＴＯｐ（ｉ）として測定する変則的な方法や、閉眼の終了から次の閉眼の終了までの時間を瞬目間間隔ＴＯｐ（ｉ）として測定する変則的な方法がある。しかし、これらの変則的な測定方法では、長時間の閉眼を含む群発性の瞬目を検出できないので、前記の一般的な瞬目群発検出方法が持つ問題を解決しておらず、本発明による瞬目群発検出方法の方が居眠り検出において優れていると言える。
　この実施形態の居眠り検出装置は、開眼時間のみを判定基準として第一の閾値時間（判定基準値ＴｈＯ）により瞬目群発を検出し、瞬目群発中の各々の瞬きの閉眼時間は第二の閾値時間（居眠り判定基準ＴｈＣ１）で、瞬目群発以外の瞬きの閉眼時間は第三の閾値時間（居眠り判定基準ＴｈＣ２）で判定することにより、居眠り状態の判別が早期に行なわれ、居眠りの確実な防止に貢献する。
　次に、この発明の居眠り検出装置の構成を備えた実験装置による実施例について説明する。図８に居眠り検出装置を備えた実験装置の模式図を示す。実験装置には、被験者１１の顔を撮影するＣＣＤカメラ等からなる撮影部１２と、撮影部１２により生成される画像を処理して瞬目の検出等を行う居眠り検出プログラムがインストールされたコンピュータ１４で構成されている。コンピュータ１４は、撮影画像を表示する液晶ディスプレイ等のモニタ１６に接続されている。また、運転中の視界を表示するスクリーン１８が設けられ、被験者１１が座るシート１３と、ハンドル１５、計器表示部１７、及びアクセル１９等を有し、通常の自動車と同様の構成を備えている。また、実験中の被験者１１の覚醒度を表す相対的指標である眠気表情値を得るために、実験中の被験者１１の顔表情を録画した。ここでは、複数の被験者１１について、２名の観察者により眠気の程度を判断し、採点により被験者１１の眠気表情値（Rated Sleepiness）を数値化した。さらに、グラフでは、２名の判定値の平均を眠気表情値とし、５秒ごとの３０秒移動平均により平滑化を行いグラフに記載した。眠気表情値の数値化は、以下の数値を付して行った。
５．全く眠くなさそう 
４．やや眠そう 
３．眠そう 
２．かなり眠そう 
１．眠っている 
　実施例では、第一の閾値時間として定義される瞬目群発の判定基準値ＴｈＯを１秒に設定した。先ず図９に、２名の被験者（Sub.1-1，Sub.2-1）について、本発明による瞬目群発の定義による第１閉眼時間の分布（上段）と、従来の瞬目群発の定義による第１閉眼時間の分布（下段）を示す。縦軸は瞬目群発の第１閉眼時間、横軸は眠気表情値である。図９より、眠気表情値が２～３のとき、本発明の定義（図２（ａ））と従来の瞬目の定義（図２（ｂ））の瞬目群発の第１閉眼時間を比べると、本発明の定義による上段のグラフの方が１秒以上の閉眼を伴う瞬目群発が多くなっていることが分かる。また、図１０に、別の２名の被験者（Sub.8-1，Sub.6-2）について、本発明による瞬目群発の定義による第２閉眼時間の分布（上段）と、従来の瞬目群発の定義による第２閉眼時間の分布（下段）を示す。縦軸は瞬目群発の第２閉眼時間、横軸は眠気表情値である。図１０より、眠気表情値が２～３のとき、本発明の定義（図２（ａ））と従来の瞬目の定義（図２（ｂ））の瞬目群発の第２閉眼時間を比べると、本発明の定義による上段のグラフの方が１秒以上の閉眼を伴う瞬目群発が多くなっていることが分かる。これらは本発明の瞬目群発の定義では、開眼時のみを瞬目間間隔としているため、長時間の閉眼を含む瞬目群発を検出できるが、図３（ｂ）に示すように、従来の定義では、開眼時間に加えて閉眼から開眼までの過程や開眼から閉眼までの過程も瞬目間間隔に含まれているため、長時間の閉眼を含む瞬目群発が検出されないからであると考えられる。これにより、本発明の瞬目群発の定義による居眠り検知が、より正確に行われる可能性があることが分かった。よって、上記の第１閉眼時間の分布と第２閉眼時間の分布結果に基づき、実施例では第二の閾値時間として定義される居眠り判定基準ＴｈＣ１を１秒に設定した。また、第三の閾値時間（居眠り判定基準ＴｈＣ２）は第二の閾値時間より相対的に長い閉眼時間として２秒に設定した。実施例ではこの第三の閾値時間（居眠り判定基準ＴｈＣ２）は瞬目群発以外の瞬き（単独瞬目）の居眠り判定基準として用いた。
　図１１は、本発明の居眠り検出方法による居眠り検出を示したもので、図１１によれば、被験者（Sub.1-1）は、実験開始直後から瞬目群発が検出され（●印）、その後最初に第２閉眼（▽印）が１秒以上検出された最初の時点（１０８６秒）で、居眠りと判断した。この時、被験者の眠気表情値は３を中心に上下しており、被験者が眠気を我慢していることがわかる。さらに、その後眠気表情値が２まで下がっていることから、運転に支障をきたす居眠り状態に入る前を検出できていることが分かり、本発明の検出方法により正確に居眠りを検出していることが確かめられた。
　図１２は、被験者（Sub.5-1）の場合であり、被験者（Sub.1-1）と同様に実験開始直後から瞬目群発が検出され（●印）ている。その後、最初に第１閉眼（灰色▽印）が１秒以上検出された最初の時点（３２２秒）で、居眠りと判断した。このときの状態は、眠気表情値で３近くを示しており、その後さらに眠気表情値が下がっていることから、居眠り状態に入る時期であることが分かり、本発明の検出方法により正確に居眠りを検出していることが確かめられた。
　図１３に示す被験者（Sub.3-2）の場合も、実験開始直後から瞬目群発が検出され（●印）、瞬目群発ではない単独瞬目の閉眼時間が２秒以上検出（灰色△印）された最初の時点（４５４秒）で、居眠りと判断した。このときの状態は、眠気表情値で２近くを示しており、その後も眠気表情値が３前後で振れていることから、居眠り状態に入る時期であることが分かり、正確に居眠りを検出していることが分かった。
　図１４は、図１３の被験者（Sub.3-2）について、本発明と従来の方法による居眠り検出時間の差を示す。従来法は特許文献２に開示された方法により、図２（ｂ）に示す瞬目群発の定義で瞬目群発発生直後の時間から、長時間閉眼終了時間までの時間間隔が１０秒以内となった箇所のうち、最も早く１０秒以下となった箇所の時間を記した。これによれば、本発明では単独瞬目の閉眼時間２秒以上の判定により居眠りを検出（灰色△印）したことから、居眠りを早期のタイミング（４５４秒）で検出できた。これに対して、従来法では、居眠りの検出時期が測定開始から９３９秒であり、本発明による方法と比較して遅いことが確かめられた。
　図１５は、他の被験者（Sub.2-2）について、本発明と従来の方法による居眠り検出時間を測定した結果を示す。この被験者の場合も、本発明は単独瞬目の閉眼時間２秒以上の判定により居眠りを検出（灰色△印）し、早期（７８１秒）に居眠りを検出することができた。これに対して、従来法では、検出時期が測定開始から１１２９秒後であり、本発明による方法と比較して遅いことが分かった。さらに、本発明の検出方法では、図１５に示すように、瞬目群発の第１閉眼が１秒以上（灰色▽印）、及び第２閉眼が１秒以上（▽印）の判定が最初に表れた時点を見ても、共に従来法よりも早期に居眠りを検出していることが分かり、この点からも本発明による方法は、早期に居眠りを検出可能であることが分かる。
　図１６は、図１１の被験者（Sub.1-1）の眠気表情値の時間推移を示すもので、図１６（ａ）が本発明による検出方法による瞬目群発発生位置（●）、図１６（ｂ）には従来法による瞬目群発発生位置（○）を図示している。図１６（ａ）では瞬目群発の第１閉眼（灰色▽）、第２閉眼が１秒以上（▽）となった箇所が図示されている。図１６（ｂ）は従来法による瞬目群発発生位置（○）と瞬きの閉眼時間が１秒以上となった箇所（灰色△）が図示されている。
　図１６（ｂ）の従来の方法によるグラフでは、瞬目群発後の長時間閉眼が１０秒以下の時点をＡ～Ｅで示す。従来法では、居眠り検出時期の最も速いもので、実験開始後、Ａ点で示す１３１５秒であった。これに対して、本発明の方法では、図１６（ａ）に示すように、瞬目群発における第２閉眼が１秒以上あった最初の時点（最初の▽）である、実験開始後１０８６秒で居眠りの検出が行われている。さらに、本発明の場合、瞬目群発における第１閉眼が１秒以上あった最初の時点（最初の灰色▽）をみても、従来の方法による場合と比較して、早期に検出していることが分かる。
　次に、本発明の居眠り検出装置の構成を備えた実験装置（図８）による別の実施形態における実施例を図１７に示す。図１７は被験者（Sub.8-1）の実験結果であり、図１７（ａ）には眠気表情値、図１７（ｂ）には瞬目群発中のすべての瞬きの閉眼時間を加算した合計閉眼時間（秒）、図１７（ｃ）には単独瞬目の３０秒間での平均閉眼時間（秒）、図１７（ｄ）には瞬目群発中のすべての瞬きの閉眼時間（秒）と、単独瞬目の３０秒間での平均閉眼時間を加算した合計閉眼時間（秒）の時間推移を示している。この結果より、覚醒度が低下するに従い、合計閉眼時間が伸長していることがわかる。また、覚醒度が低下している間は、常に合計閉眼時間が長くなっている。このことから、瞬目群発と単独瞬目の合計閉眼時間を計測することにより居眠り状態を安定して検出できることが分かる。また、式（１）に示すように、瞬目群発中の第ｊ番目の瞬きの閉眼時間をＴＢ（ｊ）、単独瞬目の平均閉眼時間をＴIとし、これらの閉眼時間にそれぞれ重み（ＷＢ（ｊ），ＷI）をかけて足し合わせることにより合計閉眼時間Ｔｓｕｍを求めてもよい。図１７に示す実施例では、ＷＢ（ｊ）＝１，ＷI＝１としているが、この他、例えばＷＢ（ｊ）＝０．５～１．５，ＷI＝０．５～１．５とするなど各々の重みを様々に変えて足し合わせて合計閉眼時間Ｔｓｕｍを求めてもよい。
Figure JPOXMLDOC01-appb-M000001
　なお、本発明の居眠り検出装置は前記各実施の形態に限定されるものではなく、瞬目検出は、上記以外の方法によっても良く、短時間に連続する２回以上の瞬目を検出して瞬目群発としても良い。また、この発明の開眼時間及び閉眼時間の定義及び判定基準値は、小数点以下を四捨五入した数値も含むものであり、具体的には、例えば０．５秒以上１．５秒未満までの範囲がこの発明の１秒の定義に含まれるものであり、この範囲を１秒としても良い。
１０　居眠り検出実験装置
１１　被験者
１２，３２　撮影部
１４　パーソナルコンピュータ
１６　モニタ
３０　居眠り検出装置
３１　ドライバー
３３　ドライバーモニターＥＣＵ
３４　ナビゲーションシステム
３５　スピーカ
３６　ブレーキ制御装置
 

Claims (18)

  1. 　人の目の閉眼から開眼までの状態のうち、ほぼ開眼した状態を開眼時間とし、それ以外を閉眼時間として測定し、
    　健常成人の覚醒状態における平均瞬目間間隔に比べて相対的に短い時間を第一の閾値時間として定義し、
    　健常成人の覚醒状態における平均閉眼時間に比べて相対的に長い時間を第二の閾値時間として定義し、
    　前記第一の閾値時間以下の開眼を検出した場合にその前後の瞬きを瞬目群発と定義し、
    　前記瞬目群発中の瞬きのうち、前記第一の閾値時間以下の開眼時間の後に生じた瞬きの閉眼時間が、前記第二の閾値時間以上に達した場合に居眠り状態と判断することを特徴とする居眠り検出方法。
  2. 　前記瞬目群発中の瞬きのうち、前記第一の閾値時間以下の開眼の前に生じた瞬きの閉眼時間が、前記第二の閾値時間以上の場合に直ちに居眠り状態と判断する請求項１記載の居眠り検出方法。
  3. 　前記第二の閾値時間より相対的に長い閉眼時間を第三の閾値時間として設定し、前記瞬目群発中の瞬きのうち、前記第一の閾値時間以下の開眼の後に生じた瞬きの閉眼時間が、前記第三の閾値時間以上に達した場合に直ちに居眠り状態と判断する請求項１記載の居眠り検出方法。
  4. 　前記第二の閾値時間より相対的に長い閉眼時間を第三の閾値時間として設定し、前記開眼時間の検出に際して前記第一の閾値時間より長い開眼を検出した場合、その直前の瞬きが生じる前の開眼時間が前記第一の閾値時間より長い場合に、前記直前の瞬きを瞬目群発以外の瞬きと判定し、前記瞬目群発以外の瞬きの閉眼時間が前記第三の閾値時間以上の場合に直ちに居眠り状態と判断する請求項１記載の居眠り検出方法。
  5. 　前記第二の閾値時間より相対的に長い閉眼時間を第三の閾値時間として設定し、前記開眼時間の検出に際して前記第一の閾値時間より長い開眼を検出し、その直後の瞬きの閉眼時間が前記第三の閾値時間以上に達した場合に直ちに居眠り状態と判断する請求項１記載の居眠り検出方法。
  6. 　前記第三の閾値時間は、健常成人の覚醒状態における前記瞬目群発以外の瞬きの平均閉眼時間より相対的に長い閉眼時間であるとする請求項３，４又は５記載の居眠り検出方法。
  7. 　前記瞬目群発中の瞬きの前記閉眼時間と前記瞬目群発以外の瞬きの前記閉眼時間の和として得られる合計閉眼時間が、前記第三の閾値時間より相対的に長い場合に居眠り状態とする請求項６記載の居眠り検出方法。
  8. 　前記合計閉眼時間は、前記瞬目群発中の瞬きと前記瞬目群発以外の瞬きの前記閉眼時間にそれぞれ重みをかけて足し合わせることにより求められる請求項７記載の居眠り検出方法。
  9. 　人の目の位置を認識して、目の閉眼から開眼までの状態を検出する閉眼検出手段と、
    　前記閉眼検出手段により人の目がほぼ開眼した状態を開眼時間とし、それ以外を閉眼時間として測定する瞬目時間測定手段とを備え、
    　健常成人の覚醒状態における平均瞬目間間隔に比べて相対的に短い時間を第一の閾値時間として定義し、
    　健常成人の覚醒状態における平均閉眼時間に比べて相対的に長い時間を第二の閾値時間として定義し、
    　前記第一の閾値時間以下の開眼を検出した場合にその前後の瞬きを瞬目群発と定義し、
    　前記瞬目時間測定手段により測定した瞬きの時間を基に前記瞬目群発を判別する瞬目群発判別手段と、
    　前記瞬目群発を検出した場合、前記瞬目群発中の瞬きのうち、前記第一の閾値時間以下の開眼の後に生じた瞬きの閉眼時間が前記第二の閾値時間以上に達した場合に居眠り状態であるとする居眠り判別手段とを備えたことを特徴とする居眠り検出装置。
  10. 　前記居眠り判別手段は、前記瞬目群発判別手段により検出された前記瞬目群発の瞬きのうち、前記第一の閾値時間以下の開眼の前に生じた瞬きの閉眼時間が前記第二の閾値時間以上の場合に直ちに居眠り状態であるとする請求項９に記載の居眠り検出装置。
  11. 　前記第二の閾値時間より相対的に長い閉眼時間を第三の閾値時間として設定し、前記居眠り判別手段は、前記瞬目群発判別手段により検出された前記瞬目群発の瞬きのうち、前記第一の閾値時間以下の開眼の後に生じた瞬きの閉眼時間が、前記第三の閾値時間以上に達した場合に直ちに居眠り状態であるとする請求項９記載の居眠り検出装置。
  12. 　前記第二の閾値時間より相対的に長い閉眼時間を第三の閾値時間として設定し、前記居眠り判別手段は、前記瞬目時間測定手段により、前記第一の閾値時間より長い開眼を検出した場合、その直前の瞬きが生じる前の開眼時間が前記第一の閾値時間より長い場合に、前記直前の瞬きを瞬目群発以外の瞬きと判定し、前記瞬目群発以外の瞬きの閉眼時間が前記第三の閾値時間以上の場合に直ちに居眠り状態とする請求項９記載の居眠り検出装置。
  13. 　前記第二の閾値時間より相対的に長い閉眼時間を第三の閾値時間として設定し、前記居眠り判別手段は、前記瞬目時間測定手段により、前記第一の閾値時間より長い開眼を検出し、その直後の瞬きの閉眼時間が前記第三の閾値時間以上に達した場合に直ちに居眠り状態とする請求項９記載の居眠り検出装置。
  14. 　前記第三の閾値時間は、健常成人の覚醒状態における前記瞬目群発以外の瞬きの平均閉眼時間より相対的に長い閉眼時間であるとする請求項１１，１２又は１３記載の居眠り検出装置。
  15. 　前記居眠り判別手段は、前記瞬目群発判別手段により検出された前記瞬目群発中の瞬きの前記閉眼時間と、前記瞬目時間測定手段により検出された前記瞬目群発以外の瞬きの前記閉眼時間の和として得られる合計閉眼時間が、前記第三の閾値時間より相対的に長い場合に居眠り状態とする請求項１４記載の居眠り検出装置。
  16. 　前記居眠り判別手段は、前記合計閉眼時間を前記瞬目群発中の瞬きと前記瞬目群発以外の瞬きの前記閉眼時間にそれぞれ重みをかけて足し合わせることにより求める請求項１５記載の居眠り検出装置。
  17. 　前記居眠り状態の判断結果に基づき、居眠り警報を発する警報手段を備えた請求項９乃至１６のいずれかに記載の居眠り検出装置。
  18. 　請求項９乃至１７のいずれかに記載の居眠り検出装置を備えたことを特徴とする車両。
     
PCT/JP2012/072497 2011-09-05 2012-09-04 居眠り検出方法と装置 WO2013035704A1 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2013532609A JP5679066B2 (ja) 2011-09-05 2012-09-04 居眠り検出方法と装置
KR1020147003739A KR101604232B1 (ko) 2011-09-05 2012-09-04 졸음검출방법과 장치
US14/342,720 US9286515B2 (en) 2011-09-05 2012-09-04 Doze detection method and apparatus thereof
CN201280043229.2A CN103974656B (zh) 2011-09-05 2012-09-04 瞌睡检测方法和设备
EP12829487.3A EP2754393A4 (en) 2011-09-05 2012-09-04 METHOD AND DEVICE FOR DETECTING SOMNOLENCE

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2011-192591 2011-09-05
JP2011192591 2011-09-05
JP2011-249662 2011-11-15
JP2011249662 2011-11-15

Publications (1)

Publication Number Publication Date
WO2013035704A1 true WO2013035704A1 (ja) 2013-03-14

Family

ID=47832149

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2012/072497 WO2013035704A1 (ja) 2011-09-05 2012-09-04 居眠り検出方法と装置

Country Status (6)

Country Link
US (1) US9286515B2 (ja)
EP (1) EP2754393A4 (ja)
JP (1) JP5679066B2 (ja)
KR (1) KR101604232B1 (ja)
CN (1) CN103974656B (ja)
WO (1) WO2013035704A1 (ja)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103280072A (zh) * 2013-05-30 2013-09-04 苏州福丰科技有限公司 一种防疲劳驾驶装置
JP2015213634A (ja) * 2014-05-12 2015-12-03 学校法人慶應義塾 瞬き検出システムおよび方法
JP2017068576A (ja) * 2015-09-30 2017-04-06 パナソニックＩｐマネジメント株式会社 状態判定装置、閉眼判定装置、状態判定方法、状態判定プログラムおよび記録媒体
CN106716515A (zh) * 2014-09-11 2017-05-24 株式会社电装 驾驶员状态判定装置
US20170143253A1 (en) * 2014-06-20 2017-05-25 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Device, method and computer program for detecting momentary sleep
JP2017176641A (ja) * 2016-03-31 2017-10-05 オムロンオートモーティブエレクトロニクス株式会社 顔画像処理装置および顔画像処理システム
JP2021149488A (ja) * 2020-03-19 2021-09-27 いすゞ自動車株式会社 画像記憶制御装置及び画像記憶制御方法

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5418579B2 (ja) * 2011-12-06 2014-02-19 株式会社デンソー 開閉眼検出装置
KR102068049B1 (ko) * 2013-05-13 2020-01-20 삼성전자주식회사 영상 처리 장치 및 영상 처리 방법
DE102013222645A1 (de) * 2013-11-07 2015-05-07 Robert Bosch Gmbh Erkennungssystem in einem Fahrzeug zur Erfassung der Sprachaktivität eines Fahrzeuginsassen
WO2016103469A1 (ja) * 2014-12-26 2016-06-30 横浜ゴム株式会社 衝突回避システム及び衝突回避方法
US20160343229A1 (en) * 2015-05-18 2016-11-24 Frank Colony Vigilance detection method and apparatus
CN105030244B (zh) * 2015-06-29 2018-05-11 杭州镜之镜科技有限公司 一种眨眼的检测方法和检测系统
CN205440259U (zh) * 2016-03-25 2016-08-10 深圳市兼明科技有限公司 基于虹膜识别的安全驾驶装置
CN105869356B (zh) * 2016-06-15 2018-08-21 上海帝仪科技有限公司 一种铁路司机工作状态的评估干预系统及方法
US10503252B2 (en) 2016-09-26 2019-12-10 Ihab Ayoub System and method for eye-reactive display
US10281980B2 (en) 2016-09-26 2019-05-07 Ihab Ayoub System and method for eye-reactive display
US10346697B2 (en) * 2016-12-21 2019-07-09 Hyundai America Technical Center, Inc Driver state monitoring using corneal reflection detection
CN106725322B (zh) * 2016-12-22 2020-10-30 东软集团股份有限公司 确定处于睡眠临界区的方法及装置
JP6482746B2 (ja) * 2017-01-17 2019-03-13 三菱電機株式会社 瞼検出装置、居眠り判定装置、および瞼検出方法
WO2019123569A1 (ja) * 2017-12-20 2019-06-27 日本電気株式会社 眠気推定装置、眠気推定方法、および眠気推定プログラム記録媒体
US11786694B2 (en) 2019-05-24 2023-10-17 NeuroLight, Inc. Device, method, and app for facilitating sleep
JP2021131708A (ja) * 2020-02-19 2021-09-09 いすゞ自動車株式会社 運転支援装置
WO2022061403A1 (en) * 2020-09-22 2022-03-31 Sdip Holdings Pty Ltd Devices and processing systems configured to enable assessment of a condition of a human subject based on sensorimotor gating of blinks
DE102021111465A1 (de) * 2021-05-04 2022-11-10 Bayerische Motoren Werke Aktiengesellschaft Ermittlung einer müdigkeit einer person auf basis einer lidschlaganalyse
US11830259B2 (en) * 2021-08-24 2023-11-28 Nvidia Corporation Robust state estimation
US12122392B2 (en) 2021-08-24 2024-10-22 Nvidia Corporation Context-based state estimation
CN113967014B (zh) * 2021-12-22 2022-04-08 成都航空职业技术学院 基于大数据的学生行为分析装置、系统及方法
CN115869547B (zh) * 2022-12-19 2024-03-26 光朗(海南)生物科技有限责任公司 一种可识别睁闭眼状态的近视治疗设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006136556A (ja) 2004-11-12 2006-06-01 Toyota Motor Corp 居眠り検出装置及び検出方法
JP2008073335A (ja) 2006-09-22 2008-04-03 Toyota Central R&D Labs Inc 覚醒低下検出装置及び覚醒低下検出プログラム
JP2010068848A (ja) * 2008-09-16 2010-04-02 Toyota Central R&D Labs Inc 眠気判定装置及びプログラム
WO2010107066A1 (ja) * 2009-03-19 2010-09-23 アイシン精機株式会社 眠気判定装置及びプログラム

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3350296B2 (ja) * 1995-07-28 2002-11-25 三菱電機株式会社 顔画像処理装置
JP2000199703A (ja) 1999-01-06 2000-07-18 Niles Parts Co Ltd 眼の状態検出装置、居眠り運転警報装置
US6575902B1 (en) * 1999-01-27 2003-06-10 Compumedics Limited Vigilance monitoring system
JP4896002B2 (ja) * 2005-03-01 2012-03-14 パナソニック株式会社 電子表示媒体および電子表示媒体に用いられる画面表示制御方法
CN1830389A (zh) * 2006-04-21 2006-09-13 太原理工大学 疲劳驾驶状态监控装置及方法
JP4677963B2 (ja) * 2006-09-11 2011-04-27 トヨタ自動車株式会社 居眠り検知装置、居眠り検知方法
CN101968917B (zh) * 2006-10-13 2013-04-24 丰田自动车株式会社 车载警告装置
JP4492652B2 (ja) 2007-07-26 2010-06-30 トヨタ自動車株式会社 眠気状態判断装置
JP5050794B2 (ja) 2007-11-14 2012-10-17 トヨタ自動車株式会社 眠気検知装置、眠気検知方法
JP2009223752A (ja) * 2008-03-18 2009-10-01 Hyundai Motor Co Ltd 居眠り運転危険判定装置
JP4727688B2 (ja) * 2008-04-23 2011-07-20 トヨタ自動車株式会社 覚醒度推定装置
JP5078815B2 (ja) * 2008-09-12 2012-11-21 株式会社豊田中央研究所 開眼度推定装置
WO2010092860A1 (ja) * 2009-02-13 2010-08-19 トヨタ自動車株式会社 生体状態推定装置及び車両制御装置
JP2010184067A (ja) * 2009-02-13 2010-08-26 Toyota Motor Corp 生体状態推定装置
JP5642945B2 (ja) * 2009-05-29 2014-12-17 浜松ホトニクス株式会社 瞬目計測装置
US8952819B2 (en) * 2013-01-31 2015-02-10 Lytx, Inc. Direct observation event triggering of drowsiness

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006136556A (ja) 2004-11-12 2006-06-01 Toyota Motor Corp 居眠り検出装置及び検出方法
JP2008073335A (ja) 2006-09-22 2008-04-03 Toyota Central R&D Labs Inc 覚醒低下検出装置及び覚醒低下検出プログラム
JP2010068848A (ja) * 2008-09-16 2010-04-02 Toyota Central R&D Labs Inc 眠気判定装置及びプログラム
WO2010107066A1 (ja) * 2009-03-19 2010-09-23 アイシン精機株式会社 眠気判定装置及びプログラム
JP2010224637A (ja) 2009-03-19 2010-10-07 Toyota Central R&D Labs Inc 眠気判定装置及びプログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
"Heisei 22 nendo nihon seitaiikougakkai hokurikusibutaikai kouen ronbunshuu", pages: 25 - 26

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103280072A (zh) * 2013-05-30 2013-09-04 苏州福丰科技有限公司 一种防疲劳驾驶装置
JP2015213634A (ja) * 2014-05-12 2015-12-03 学校法人慶應義塾 瞬き検出システムおよび方法
US20170143253A1 (en) * 2014-06-20 2017-05-25 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Device, method and computer program for detecting momentary sleep
CN106716515A (zh) * 2014-09-11 2017-05-24 株式会社电装 驾驶员状态判定装置
CN106716515B (zh) * 2014-09-11 2019-06-07 株式会社电装 驾驶员状态判定装置
JP2017068576A (ja) * 2015-09-30 2017-04-06 パナソニックＩｐマネジメント株式会社 状態判定装置、閉眼判定装置、状態判定方法、状態判定プログラムおよび記録媒体
JP2017176641A (ja) * 2016-03-31 2017-10-05 オムロンオートモーティブエレクトロニクス株式会社 顔画像処理装置および顔画像処理システム
JP2021149488A (ja) * 2020-03-19 2021-09-27 いすゞ自動車株式会社 画像記憶制御装置及び画像記憶制御方法
JP7392536B2 (ja) 2020-03-19 2023-12-06 いすゞ自動車株式会社 画像記憶制御装置及び画像記憶制御方法

Also Published As

Publication number Publication date
EP2754393A4 (en) 2015-05-06
CN103974656A (zh) 2014-08-06
KR101604232B1 (ko) 2016-03-17
US20140205149A1 (en) 2014-07-24
US9286515B2 (en) 2016-03-15
JPWO2013035704A1 (ja) 2015-03-23
CN103974656B (zh) 2016-10-12
EP2754393A1 (en) 2014-07-16
JP5679066B2 (ja) 2015-03-04
KR20140066162A (ko) 2014-05-30

Similar Documents

Publication Publication Date Title
JP5679066B2 (ja) 居眠り検出方法と装置
US8433095B2 (en) Drowsiness detector
KR101293411B1 (ko) 졸음 판정 장치 및 프로그램
US7948387B2 (en) Drowsiness determination apparatus, program, and method
Devi et al. Driver fatigue detection based on eye tracking
JP2010068848A (ja) 眠気判定装置及びプログラム
JP4743137B2 (ja) 眠気判定装置及びプログラム
JP2010128649A (ja) 覚醒状態判断装置及び覚醒状態判断方法
US20090027212A1 (en) Drowsy state determination device and method
JP6387892B2 (ja) 眠気検知装置
JP4811255B2 (ja) 状態推定装置
JP2013513155A (ja) 目の追跡及び運転者の覚醒度を識別する費用対効果が高くロバストなシステム及び方法
Liu et al. Driver fatigue detection through pupil detection and yawing analysis
JP2008246013A (ja) 眠気検知装置
JP5333284B2 (ja) 生体状態判定装置
Nakamura et al. Detection of driver's drowsy facial expression
JP4776581B2 (ja) 入眠状態検知方法、入眠状態検知装置、入眠状態検知システム及びコンピュータプログラム
CN110097012B (zh) 基于N-range图像处理算法的眼动参数监测的疲劳检测方法
JP5139470B2 (ja) 眠気度推定装置および眠気度推定方法
EP3056375B1 (en) Sleepiness detecting device
Mašanović et al. Driver monitoring using the in-vehicle camera
JP5189893B2 (ja) 瞬目種別識別装置、瞬目種別識別方法、及び瞬目種別識別プログラム
JP5050794B2 (ja) 眠気検知装置、眠気検知方法
JP6604266B2 (ja) 眠気検知装置
JP2006136556A (ja) 居眠り検出装置及び検出方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 12829487

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 20147003739

Country of ref document: KR

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 2012829487

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 14342720

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2013532609

Country of ref document: JP

Kind code of ref document: A