WO2015064980A1 - 동작, 안면, 눈, 입모양 인지를 통한 2단계 졸음운전 방지 장치 - Google Patents

동작, 안면, 눈, 입모양 인지를 통한 2단계 졸음운전 방지 장치 Download PDF

Info

Publication number
WO2015064980A1
WO2015064980A1 PCT/KR2014/010118 KR2014010118W WO2015064980A1 WO 2015064980 A1 WO2015064980 A1 WO 2015064980A1 KR 2014010118 W KR2014010118 W KR 2014010118W WO 2015064980 A1 WO2015064980 A1 WO 2015064980A1
Authority
WO
WIPO (PCT)
Prior art keywords
drowsiness
driver
driving
stage
unit
Prior art date
Application number
PCT/KR2014/010118
Other languages
English (en)
French (fr)
Inventor
김재철
고재관
박수진
김우창
이창희
Original Assignee
김재철
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 김재철 filed Critical 김재철
Priority to CN201480059248.3A priority Critical patent/CN105764735A/zh
Priority to US15/032,695 priority patent/US20160272217A1/en
Priority to JP2016552381A priority patent/JP2016539446A/ja
Publication of WO2015064980A1 publication Critical patent/WO2015064980A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/169—Holistic features and representations, i.e. based on the facial image taken as a whole
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K28/00—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions
    • B60K28/02—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver
    • B60K28/06—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver responsive to incapacity of driver
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K28/00—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions
    • B60K28/02—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver
    • B60K28/06—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver responsive to incapacity of driver
    • B60K28/066—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver responsive to incapacity of driver actuating a signalling device
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q9/00—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W40/09—Driving style or behaviour
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/01—Satellite radio beacon positioning systems transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/13—Receivers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/143—Sensing or illuminating at different wavelengths
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/166—Detection; Localisation; Normalisation using acquisition arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/193—Preprocessing; Feature extraction
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W2040/0818—Inactivity or incapacity of driver
    • B60W2040/0827—Inactivity or incapacity of driver due to sleepiness
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo or light sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/22—Psychological state; Stress level or workload
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/221—Physiology, e.g. weight, heartbeat, health or special needs
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00—Input parameters relating to data
    • B60W2556/45—External transmission of data to or from the vehicle
    • B60W2556/50—External transmission of data to or from the vehicle for navigation systems

Definitions

  • the present invention relates to a device for preventing two-stage drowsiness through motion, facial eyes, and mouth shape recognition. After determining whether the user moves forward using a GPS device, the user starts to detect the user's drowsiness only when driving forward. By using the infrared depth sensor and infrared camera at the same time, the driver's motion, face, eyes and yawning shape can be used to determine whether drowsy driving is more accurate. Except for the case, in order to detect an accurate drowsiness operation, one or more of the conditions of the first stage are satisfied after the first stage of judging the precursor stage of drowsiness and the second stage of judging the execution stage of drowsiness. to a final judgment to finally asleep at the wheel as long as they meet one or more of the 2-step condition and a step of the method of step 2 It relates to a drowsy driving prevention device used.
  • Conventional drowsiness operation prevention device is "drowsiness operation prevention method and apparatus using the driver's pupil detection” that outputs an alarm signal by judging drowsiness operation based on the size and circularity of the pupil only for the pupil area (Registration No. 10- 1139963) and “Drowsiness Driving Prevention System Using Face Recognition Technology and Drowsiness Driving Prevention System Using It”, which compares and analyzes the vector template of the driver's face generated by the face image reader and the stored vector template of driver. 10-0778059), and when the vehicle's speed is far from the average speed, it is suspected that the driver is drowsy and connects the driver with a telephone call to prevent drowsiness to prevent drowsy driving.
  • Method (Publication No. 10-2012-0086572).
  • the method of comparing and analyzing the driver's vector template and the pre-stored driver's vector template is judged to be drowsy driving only if it is different from the pre-stored driver's vector template. It is difficult to distinguish whether or not it is different from the pre-stored vector template, so it is easy to have a drowsy driving result in inaccurate results.
  • the conventional technology judges the driver's pupil area only or judges the drowsy driving only by opening / closing the eyes, so that there is an obstacle such as sunglasses or glasses, so it is impossible to judge the drowsiness at all.
  • the accuracy is very low because there is a disadvantage of staring elsewhere, closing eyes, or judging all closed eyes.
  • the conventional drowsiness driving prevention method that determines that the vehicle speed is more than the average speed is drowsy driving, when the driving speed deviates much from the average speed for reasons other than drowsiness, or the surrounding environment acts as an obstacle to the movement of the vehicle. In situations where speed or speed is not recognized, it is impossible to determine whether drowsiness or fatal disadvantage is inferior.
  • An object of the present invention starts to detect the user's drowsiness only when driving forward after determining whether the user is driving forward using the GPS device, using the infrared depth sensor and the infrared camera at the same time the driver's motion, face, eyes
  • the first step is to detect the drowsiness.
  • Drowsy driving is finally performed only when one or more of the conditions of the first stage are satisfied through the second stage of judging the first stage of judging and the execution stage of drowsiness, and then one or more of the conditions of the second stage are subsequently met. as defined and determined, to a drowsy driving prevention device that uses a step-by-step method of the step 2.
  • the present invention provides a driving determination unit for determining whether the vehicle is moving forward, a photographing unit for photographing the driver's state, a drowsiness determination unit for determining whether the user is drowsy driving, an alarm unit for sending a warning to the user, and photographing with the above driving determination unit.
  • the driving determination unit receives the current position coordinate information of the vehicle from the GPS terminal and compares it with the position coordinate information of the previous few seconds to improve the state of the vehicle.
  • the first step is to determine whether the driver's drowsiness is a precursor of drowsiness through the driver's motion and face, and the recognition of the pupil and mouth only when the vehicle is moving forward by determining whether the vehicle is moving forward or backward. Process and the second stage of judging whether or not the completed drowsiness execution behavior is included. After it is determined that there is a precursor to drowsiness, the user is finally judged to be drowsy driving only when it is determined that there is a drowsy execution behavior in the second step of judging, and a warning sound is generated.
  • the drowsiness determining unit is configured to determine whether the drowsy driving is received by receiving the image information and the 3D depth information of the sensor from the infrared camera and the infrared depth sensor only when the determination of the driving determining unit is the forward driving state.
  • the first step of determining the precursor behavior of drowsiness is to first detect the contour of the driver's face from the image and sensor information received from the photographing unit, and then again detect the position of the mouth, head, nose, and neck to yawn. Calculates the period of drowsiness, calculates the speed and period of nods, or detects eye position and recognizes the outline of the pupil and the whites and blacks of the pupil, and calculates the speed and period of blinking to predict drowsiness It is characterized by determining the presence or absence.
  • the closed state of the pupil of the driver lasts for a predetermined time only for the driver determined to satisfy one of the first criteria for determining drowsiness of the drowsiness, or If the gaze does not look at the front for more than a certain time or the time that the head is leaned over a certain angle lasts for a certain time, it is determined that there is a drowsy execution behavior.
  • the present invention has the following effects by generating a warning sound by finally determining whether the driver is drowsy with a drowsiness determination method using a GPS terminal and a two-step drowsiness determination method using an infrared camera and an infrared depth sensor.
  • drowsy driving measurement is possible at night by using infrared camera and infrared depth sensor, and only warning sound is generated when judging drowsy driving by using warning sound notification device. It can protect your life by awakening the driver's drowsiness to prevent drowsy driving.
  • FIG. 1 is a block diagram of a drowsiness operation prevention device according to an embodiment of the present invention.
  • Figure 2 is a flow chart for determining whether the driving of the driving forward in accordance with an embodiment of the present invention.
  • FIG. 3 is a flowchart illustrating a first stage drowsiness precursor behavior determination of a drowsiness determination unit according to an embodiment of the present invention
  • FIG. 4 is a flowchart illustrating a second stage drowsiness execution behavior of the drowsiness determination unit according to an embodiment of the present invention
  • FIG. 5 is a flow chart for determining drowsiness precursor behavior in a cycle of yawning according to an embodiment of the present invention.
  • FIG. 6 is a flow chart for determining drowsiness precursor behavior at a rate and a period of a nod in accordance with an embodiment of the present invention.
  • FIG. 7 is a flow chart for determining drowsiness precursor behavior at a rate and a period of blinking eyes according to an exemplary embodiment of the present invention.
  • FIG. 8 is a flowchart illustrating a sleepiness execution behavior as a duration of a closed state of a pupil according to an exemplary embodiment of the present invention.
  • FIG. 9 is a flowchart illustrating a drowsiness execution behavior with a duration of a state in which a line of sight does not look at the front according to an embodiment of the present invention.
  • FIG. 10 is a flow chart for determining sleepiness execution behavior as the duration of bowing down according to an embodiment of the present invention.
  • 11 is a comprehensive configuration of the drowsiness determination process of the drowsiness determination unit through the photographing unit (infrared camera and infrared depth sensor) according to an embodiment of the present invention.
  • the second stage of judging whether or not the completed drowsiness execution behavior is divided into two stages of judging. It is a device that prevents drowsy driving through the operation, facial, eyes, and mouth recognition to make a final decision that the driver is drowsy and beeps.
  • the driving determination unit for determining whether the vehicle is traveling forward the photographing unit for photographing the driver's state, the drowsiness determination unit for determining whether the user is drowsy driving, warning the user It is composed of a controller for controlling the sending alarm unit, the upper driving judgment unit and the photographing unit, the drowsiness determination unit and the alarm unit.
  • the driving judgment unit that determines whether the vehicle is moving forward receives the current position coordinate information of the vehicle from the GPS terminal, and compares the position coordinate information of the previous few seconds to determine whether the vehicle is moving forward, driving backward or stopped. It is characterized by judging. 2 is a flow chart for determining whether the driving determination unit is moving forward or forward, receiving position information transmitted from the satellite for each time zone from the GPS terminal, and storing coordinate values for each time zone of the vehicle to compare the position coordinate values for each time zone to move forward, stop, and reverse. Determine whether or not.
  • a driver who concentrates backwards for a short period of time in a short period of time is unlikely to drowsy during a short while driving backwards, so it is not necessary to judge whether the driver is drowsy when actually driving backwards.
  • To judge drowsy driving If the coordinate value of front and rear coordinates does not change, it is determined that the vehicle is stopped. If the coordinates before and after each time zone are consistently changed in the same direction (or not in the reverse direction and in the direction in which the vehicle can rotate) for a predetermined time or more, it is determined that the vehicle is moving forward.
  • the photographing unit for capturing the driver's state is composed of an infrared camera receiving the driver's face state image information as shown in FIG. 11 and an infrared depth sensor receiving three-dimensional depth information.
  • the driver receives facial state image information and transmits it to the drowsiness judging device in order to recognize the driver's face outline, eye outline, pupil white and black color even in a dark place, and the infrared depth sensor is bright as well as dark place In order to accurately determine the position of the upper body, head, face, eyes and mouth and specific movements of the driver and receives the three-dimensional depth information and transmits to the drowsiness determination.
  • the drowsiness determination unit for determining whether the user is drowsy is composed of a first stage drowsiness precursor determination unit and a second stage drowsiness execution determination unit as shown in Fig. 1, the drowsiness determination unit is infrared only when the determination of the driving determination unit is a forward driving state Image information and 3D depth information of the sensor are received from the camera and the infrared depth sensor to determine whether drowsy driving is performed, and the first step determination process is performed using the driver's motion information, facial information, and eye and mouth information.
  • the first step of determining the precursor behavior of drowsiness is first detected the contour of the driver's face from the image information received from the imaging unit and the three-dimensional depth information of the sensor as shown in Figure 3, and then again the mouth, head, nose, neck Detect position to calculate driver's yawn cycle, calculate head nodding speed and period, or detect eye position and recognize pupil's outline and pupil's white and black spots By calculating, we judge whether there is a precursor to drowsiness.
  • One of the criteria for determining the drowsiness of the drowsiness behavior is the cycle of yawning, after determining the position of the driver's mouth using the image and sensor information received from the photographing unit as shown in FIG. 5, whether the driver's mouth yawns. If the number of yawns of the driver is found more than the reference number within a certain time, it is determined that there is a precursor to drowsiness.
  • the drowsiness determination unit determines the position of the driver's mouth after recognizing the driver's face through the information transmitted from the photographing unit.
  • the shape of the mouth is examined, for example, if the mouth is opened more than 50% of the complete circle or the lower jaw is lowered by a certain degree than usual, it is judged as one yawn and a certain yawn. It is determined that the driver dwells more than a certain number of times (for example, two times) within the time (for example, two minutes) as the drowsy driving precursor stage.
  • One of the criteria for determining drowsiness is 'speed and period of nod to the head' that the driver's head is leaned back over a certain angle using the image and sensor information received from the photographing unit as shown in FIG. If it is regarded as a nod of the meeting, and the time when the first nod is made slow enough to take more than the reference time, it is counted as a "nodding of drowsiness", when the above "prediction of drowsiness" occurs more than the reference number of times within a certain time. I think there is a precursor to drowsiness.
  • the drowsiness determination unit recognizes the driver's face through the information transmitted from the photographing unit, and then grabs each point of the head, nose, and neck. After that, the angle is measured using the connection line (straight line) of head and neck and the connection line (straight line) of head and nose. For example, if your head leans down over 30 degrees and then returns, it is considered as one nod and the time required for that one nod is stored. If the above time of nodding takes more than a certain time (e.g., 3 seconds or more), it is regarded and stored as a "nodding drowsiness of drowsiness". This is a method of determining that there is a precursor to drowsiness when a certain number of times (eg, two or more times) occurs.
  • a certain number of times e.g., two or more times
  • one of the criteria for determining the drowsiness behavior 'speed and cycle of blinking eyes' is that the eyes of the driver is covered again by a certain portion using the image and sensor information received from the photographing unit as shown in Figure 1 It is regarded as a meeting eye blink, and only when the time for which the first eye blink is made late becomes longer than the reference time, it is counted as a "predictive blink of drowsiness", and the above "predictive blink of drowsiness" occurs more than the reference number of times within a predetermined time. In some cases it may be a precursor to drowsiness.
  • the drowsiness judging unit recognizes the driver's eye outline, the whites and blacks of the eyes through the information transmitted from the photographing unit, and then, for example, if the pupils are covered by more than 50% and then floats by more than 50%. When returning to, it is regarded as one blink and saves the time taken for the blink.
  • a certain reference time for example, 1 second or more
  • this premature blink of drowsiness is determined within a certain time period (for example, within 1 minute). This is a method of determining that there is a precursor to drowsiness when a certain number of times (eg, two or more times) occurs.
  • the second step of determining whether or not the drowsiness execution behavior when the closed state of the pupil of the driver for a certain time only for a driver who has passed the first step, which is a precursor of drowsiness, or the gaze If the user does not watch the front for more than a certain time, or if the time that the head is leaned over a certain angle lasts for a certain time, it is determined that there is an execution behavior of drowsiness.
  • the present invention is characterized in that if a behavior similar to that of the second stage is detected without the precursor of the first stage drowsiness, it is not judged as drowsy driving.
  • the closed state of the driver's pupil which is one of the criteria for the execution of drowsiness, is analyzed by the driver's pupil using the image information transmitted from the photographing unit as shown in FIG. It is determined whether it is continuously closed, and whether or not the frontal gaze of the gaze, which is one of the criterion of execution behavior of drowsiness, is analyzed by the driver's eyes using the image information transmitted from the photographing unit as shown in FIG.
  • the angle of the hill which is one of the criterion for the execution behavior of the drowsiness, is determined by using the image transmitted from the photographing unit as shown in FIG. Measure the angle of the user's head by calculating the angle between the control point and the nose control point If it inclined above a certain angle to a judgment of the execution phase of drowsiness.
  • the alarm unit that warns the user is a preliminary warning sound when it is determined that the first action of drowsiness, the first stage, as shown in FIG. Send to tell that the drowsy driving status.
  • the controller that controls the driving determining unit, the photographing unit, the drowsiness determining unit, and the alarm unit transmits a recording stop command to the photographing unit when the driving unit determines whether the driving unit is forwarded or stops as shown in FIG. 1.
  • the sensing command is sent to the photographing unit, and the judgment determination of the presence of the first stage drowsiness precursor behavior is sent to the drowsiness determination unit, and after receiving the first stage drowsiness precursor behavior from the drowsiness determination unit.

Abstract

본 발명은 사용자의 차량의 주행상태를 측정하는 GPS 장치를 포함하는 주행판단부와 사용자의 얼굴을 관찰할 수 있는 위치에 설치된 적외선 심도 센서와 적외선 카메라를 포함하는 촬영부에서 찍은 영상 및 3차원 깊이 정보를 전송받아 졸음판단부에서 제1단계 판단으로 사용자의 하품의 주기 고개의 끄덕임의 속도와 주기, 및 눈깜박임의 속도와 주기를 판단하여 졸음의 전조 행동이 있다고 판단되는 경우 "예비경고"를 출력한 후, 그 다음 제2단계 판단으로서 눈동자의 폐쇄상태, 시선의 정면주시 여부, 고개의 각도를 검사해 졸음의 실행 행동이 있는 경우 경고부를 통해 "본 경고"를 출력함으로써, 동작, 안면, 눈동자, 입모양 등 다양한 판단기준을 통하여 2단계에 걸친 단계적 판단으로 졸음으로 인한 것이 아닌 눈동자 폐쇄상태나 시선이 정면을 향하지 않거나 고개가 숙여지는 경우를 제외하고 오직 졸음운전 행위만을 정확하게 판단해내어 졸음운전을 통한 교통사고 및 인명피해와 경제적 손실을 미연에 방지할 수 있다.

Description

동작, 안면, 눈, 입모양 인지를 통한 2단계 졸음운전 방지 장치
본 발명은 동작, 안면 눈, 입모양 인지를 통한 2단계 졸음운전 방지 장치에 관한 것으로, GPS 장치를 사용하여 사용자의 전진 주행 여부를 판단한 후 전진 주행 중일 때에만 사용자의 졸음상태를 감지하기 시작하며, 적외선 심도센서와 적외선 카메라를 동시에 이용하여 운전자의 동작, 안면, 눈, 하품하는 입모양을 인지하여 보다 정확하게 졸음운전 여부를 판단하며, 졸음운전이 아닌 이유로 눈을 감거나 시선이 다른 곳을 보는 경우를 제외시켜 정확한 졸음운전을 감지해 내기 위해 먼저 졸음의 전조단계를 판단하는 제1단계와 졸음의 실행단계를 판단하는 제2단계를 단계적으로 거쳐 제1단계 조건 중 하나 이상을 충족하고 그 이후에 제2단계 조건 중 하나 이상을 충족하는 경우에 한해서 최종적으로 졸음운전으로 확정 판단하는 2단계의 단계적인 방법을 사용하는 졸음운전 방지 장치에 관한 것이다.
종래의 졸음운전 방지 장치는 눈동자 영역만을 대상으로 특히 눈동자의 크기 및 원형도에 근거하여 졸음운전을 판단하여 경보신호를 출력하는 “운전자 눈동자 검출을 이용한 졸음운전 방지 방법 및 장치”(등록번호 10-1139963)와 얼굴영상 판독부에서 생성된 운전자 얼굴의 벡터템플리트와 저장된 운전자의 벡터템플리트를 비교 분석하여 졸음상태를 확인하는 “얼굴인식기술을 이용한 졸음운전 방지장치 및 이를 이용한 졸음운전 방지시스템”(등록번호 10-0778059), 그리고 차량의 주행속도가 평균 속도에서 많이 벗어나면 운전자가 졸고 있는지를 의심하여 운전자에게 졸음 방지를 위한 전화통화를 연결함으로써 졸음운전을 방지하는 “차량 주행 안내 장치의 졸음 운전 방지 방법”(공개번호 10-2012-0086572) 등이 있다.
그러나 이와 같은 종래 기술은 차량이 멈춰 있을 때도 작동하여 운전자가 정차 중인 차량에서 눈을 감거나 다른 곳을 응시할 경우에도 졸음운전 중인 것으로 판단하여 운전자에게 불편을 줄 수 있고, 후진하는 차량에서 운전자가 차량 뒤를 쳐다보거나 백미러를 볼 경우에도 눈동자가 다른 곳을 응시한다는 이유로 졸음운전으로 잘못 판단할 수 있는 단점이 있다.
또한 얼굴 영상 판독부에서 생성된 운전자의 벡터템플리트와 미리 저장된 운전자의 벡터템플리트를 비교 분석하는 방법은 미리 저장된 운전자의 벡터템플리트와 다르기만 하면 졸음운전으로 판단하여 그것이 정확하게 졸음에 의한 것인지 다른 이유에 의한 것인지 구별이 어렵고, 미리 저장된 벡터템플리트와 달라졌다는 이유만으로 졸음운전으로 속단하는 것은 부정확한 결과를 가져 올 수 있다는 단점이 있다.
그리고 종래의 기술은 운전자의 눈동자 영역만 판단하거나 눈동자의 개폐 여부로만 졸음운전을 판단함으로써 선글라스나 안경 등 장애물이 있어 눈을 인식하지 못하는 상황에는 아예 졸음판단이 불가능할 뿐 아니라 사용자가 졸음이 아닌 다른 이유로 다른 곳을 응시하거나 눈을 감거나, 눈동자가 폐쇄된 모든 상황을 졸음으로 판단해 버리는 단점이 있어 정확도가 무척 낮다. 또한 차량의 속도가 평균속도 이상인 경우를 졸음운전이 있다고 판단하는 종래의 졸음운전 방지 방법은 운전자가 졸음이 아닌 다른 이유로 주행속도가 평균속도에서 많이 벗어나는 경우 또는 주변 환경이 장애물로 작용하여 차량의 움직임이나 속도를 인식하지 못하는 상황에서는 졸음 여부 판단이 불가능하거나 정확도가 떨어지는 치명적인 단점이 있다.
본 발명의 목적은 GPS 장치를 사용하여 사용자의 전진 주행 여부를 판단한 후 전진 주행 중일 때에만 사용자의 졸음상태를 감지하기 시작하고, 적외선 심도센서와 적외선 카메라를 동시에 이용하여 운전자의 동작, 안면, 눈, 하품하는 입모양을 인지하여 보다 정확하게 졸음운전 여부를 판단하며, 졸음운전이 아닌 이유로 눈을 감거나 시선이 다른 곳을 보는 경우를 제외시켜 정확한 졸음운전을 감지해 내기 위해 먼저 졸음의 전조단계를 판단하는 제1단계와 졸음의 실행단계를 판단하는 제2단계를 단계적으로 거쳐 제1단계 조건 중 하나 이상을 충족하고 그 이후에 제2단계 조건 중 하나 이상을 충족하는 경우에 한해서 최종적으로 졸음운전으로 확정 판단하는 2단계의 단계적인 방법을 사용하는 졸음운전 방지 장치에 관한 것이다.
본 발명은 차량의 전진 주행여부를 판단하는 주행판단부, 운전자의 상태를 촬영하는 촬영부, 사용자의 졸음운전 여부를 판단하는 졸음판단부, 사용자에게 경고를 보내는 경보부, 그리고 위 주행판단부와 촬영부, 졸음판단부 및 경보부를 제어하는 컨트롤러로 구성된 졸음운전 방지 장치에 있어서, 상기 주행판단부는 GPS단말기로부터 차량의 현재의 위치 좌표정보를 받아 이전 몇 초간의 위치 좌표정보와 비교하여 차량의 상태가 전진주행 중인지, 후진주행 중인지 정차 중인지를 여부를 판단하여, 차량이 전진 주행 중인 경우에 한하여 운전자의 동작 및 안면, 그리고 눈동자와 입모양의 인지를 통하여 졸음의 전조 행동 유무를 판단하는 제1단계 판단과정과 완성된 졸음의 실행 행동 유무를 판단하는 제2단계 판단과정을 포함하며, 제1단계 판단과정에서 졸음의 전조행동이 있다고 판단된 후에 제2단계 판단과정에서 졸음의 실행 행동이 있다고 판단되는 경우에만 사용자가 졸음운전을 하고 있다고 최종 판단하고 경고음을 내도록 하는 것을 특징으로 한다.
바람직하게, 졸음판단부는 주행판단부의 판단이 전진 주행 상태일 때만 적외선 카메라 및 적외선 심도 센서로부터 영상 정보 및 센서의 3차원 깊이 정보를 전송받아 졸음운전 여부를 판단하도록 하는 것으로, 제1단계 판단과정으로 상기 운전자의 졸음의 전조 행동 유무를 인지하고, 제2단계 판단과정으로 졸음의 실행 행동 유무를 판단하는 방법으로, 제1단계를 거쳐 제2단계로 이행된 경우에 한해서 최종적으로 졸음운전으로 확정하는 단계적 판단을 특징으로 한다.
바람직하게, 졸음의 전조 행동을 판단하는 제1단계는 촬영부로부터 전송받은 영상 및 센서 정보로부터 먼저 운전자의 얼굴 윤곽을 검출한 후, 다시 입, 머리, 코, 목의 위치를 검출하여 운전자의 하품의 주기를 계산하거나, 고개의 끄덕임의 속도와 주기를 계산하거나, 또는 눈 위치를 검출한 후 눈동자의 외곽선과 눈동자의 흰자위와 검은자위를 인식하여 눈 깜빡임의 속도와 주기를 계산함으로써 졸음의 전조 행동 유무를 판단하는 특징으로 한다.
바람직하게, 졸음의 실행 행동 유무를 판단하는 제2단계는, 상기 제1단계 졸음의 전조 행동 판단 기준 중 하나를 충족한다고 판단된 운전자에 한해서 해당 운전자의 눈동자의 폐쇄상태가 일정시간 이상 지속되거나 또는 시선이 일정시간 이상 정면을 주시하지 않고 있거나 또는 고개가 일정각도 이상 숙여져 있는 시간이 일정 시간이상 지속될 경우 졸음의 실행 행동이 있다고 판단하는 것을 특징으로 한다.
본 발명은 GPS단말기를 이용한 차량의 주행여부 판단 및 적외선 카메라와 적외선 심도 센서를 이용한 2단계의 졸음판단 방법으로 운전자의 졸음 여부를 최종 판단하여 경고음을 발생시킴으로써 아래와 같은 효과를 갖는다.
첫째, GPS단말기의 좌표 값의 변화를 활용하여 운전자의 차량이 전진 주행하고 있는 상태에서만 졸음운전 여부를 판단하여 정확한 졸음운전 판단이 가능하게 한다.
둘째, 단지 눈동자만을 인식하거나 눈동자의 단순한 개폐 여부만 졸음 판단의 요소로 삼는 것이 아니라, 운전자의 하품의 주기와 눈 깜빡임의 속도와 주기 및 고개의 각도와 고개의 끄덕임의 속도와 주기를 결합하여 졸음여부를 더욱 정확하게 판단하여 기존 시스템들의 인식률이 떨어지는 단점을 효과적으로 개선하였다.
셋째, 제1단계 졸음의 전조단계를 거쳐 제2단계 졸음의 실행단계로 진행된 경우에만 졸음운전으로 최종 판단하는 2단계에 걸친 단계적 졸음판단 방법에 의하여 졸음운전이 아닌 불필요한 상황에 경고신호가 나오는 오류와 불편함을 없애는 효과를 가져온다.
넷째, 적외선 카메라와 적외선 심도 센서를 이용하여 야간에도 졸음운전 측정이 가능하도록 하였고, 경고음 알림 장치를 이용하여 졸음운전 전조행위 판단시 예비경고음만을 발생시키고, 최종 졸음운전 실행 행동 판단시에 비로소 본경고음을 발생시켜 운전자의 졸음을 깨워 졸음운전을 방지함으로써 생명을 보호할 수 있다.
도 1은 본 발명의 실시예에 따른 졸음운전 방지 장치의 구성도.
도 2는 본 발명의 실시예에 따른 주행 판단부의 전진 주행 여부 판단 흐름도.
도 3은 본 발명의 실시예에 따른 졸음판단부의 제 1단계 졸음 전조행동 판단 흐름도.
도 4는 본 발명의 실시예에 따른 졸음판단부의 제 2단계 졸음 실행행동 판단 흐름도.
도 5는 본 발명의 실시예에 따른 하품의 주기로 졸음 전조행동 판단 흐름도.
도 6은 본 발명의 실시예에 따른 고개 끄덕임의 속도와 주기로 졸음 전조행동 판단 흐름도.
도 7은 본 발명의 실시예에 따른 눈 깜빡임의 속도와 주기로 졸음 전조행동 판단 흐름도.
도 8은 본 발명의 실시예에 따른 눈동자의 폐쇄상태의 지속시간으로 졸음실행행동 판단 흐름도.
도 9는 본 발명의 실시예에 따른 시선이 정면을 주시하지 않는 상태의 지속시간으로 졸음 실행행동 판단 흐름도.
도 10은 본 발명의 실시예에 따른 고개의 숙여짐의 지속시간으로 졸음 실행행동 판단 흐름도.
도 11은 본 발명의 실시예에 따른 촬영부(적외선 카메라와 적외선 심도센서)를 통한 졸음판단부의 졸음판단 과정에 관한 종합구성도.
본 발명을 첨부된 도면을 참조하여 상세히 설명하면 다음과 같다.
본 발명은 도 1에서 볼 수 있듯이 졸음운전 방지 장치에 있어서, 전진 주행 중인 차량에서 운전자의 동작 및 안면, 그리고 눈동자와 입모양의 인지를 통하여, 졸음의 전조 행동 유무를 판단하는 제1단계 판단과정과 완성된 졸음의 실행 행동 유무를 판단하는 제2단계 판단과정으로 나누어 제1단계 판단과정에서 졸음의 전조행동이 있다고 판단된 후에 제2단계 판단과정에서 졸음의 실행 행동이 있다고 판단되는 경우에만 사용자가 졸음운전을 하고 있다고 최종 판단하고 경고음을 내도록 하는 동작, 안면, 눈, 입모양 인지를 통한 2단계 졸음운전 방지 장치이다.
구체적으로 설명하면, 본 발명은 도 1에서와 같이 차량의 전진 주행여부를 판단하는 주행판단부, 운전자의 상태를 촬영하는 촬영부, 사용자의 졸음운전 여부를 판단하는 졸음판단부, 사용자에게 경고를 보내는 경보부, 그리고 위 주행판단부와 촬영부, 졸음판단부 및 경보부를 제어하는 컨트롤러로 구성된다.
여기서 차량의 전진 주행여부를 판단하는 주행판단부는 GPS단말기로부터 차량의 현재의 위치 좌표정보를 받아 이전 몇 초간의 위치 좌표정보와 비교하여 차량의 상태가 전진주행 중인지, 후진주행 중인지, 정차 중인지를 여부를 판단하는 것을 특징으로 하고 있다. 도 2는 위 주행판단부의 전진 주행 여부 판단 흐름도인 바, 시간대 별로 위성에서 송신한 위치정보를 GPS단말기로부터 받아 차량의 시간대 별 좌표값을 저장하여 시간대 별 위치 좌표값을 비교함으로써 전진, 정지, 후진 여부를 판단한다. 정상적인 차량주행의 경우 오랜 시간동안 (예컨대 5분이상) 계속하여 후진주행을 하는 경우는 거의 없고, 설령 그렇게 오랜 시간동안 후진 주행한다고 하더라도 운전자의 시선이나 고개는 차량 뒷면의 장애물을 보기 위해 의식적으로 뒤를 돌아보거나 정면이 아닌 차량 백미러를 오랜 시간 보고 있을 것이 분명하기 때문에 이러한 경우까지 졸음운전 판단을 실행할 경우 의식적인 고개 돌림이나 눈동자의 시선 돌림이 무의식적인 졸음운전의 행동으로 오인될 오류가 발생할 확률도 높고, 대부분 집중하여 짧은 시간동안 후진을 하는 운전자가 후진 주행 중인 잠깐 사이에 졸음운전을 할 가능성도 희박하여 실제로 후진 주행 중일 때 졸음운전 여부를 판단할 필요성도 크지 않기 때문에 오직 차량이 전진 주행 중일 때에만 졸음운전을 판단하기 위해 예컨대, 시간대별 전후 좌표값이 변화가 없다면 정차 중인 것으로 판단하고, 시간대별 전후 좌표값을 비교할 때 좌표값이 갑자기(또는 잠시 좌표값의 변화가 없다가) 종전 진행방향과 역방향으로 변한다면 후진 주행으로 판단하며, 시간대별 전후 좌표값이 일정시간 이상 계속하여 같은 방향으로(또는 역방향이 아니고 차량이 회전할 수 있는 각도 내의 방향으로) 일관되게 변한다면 전진 주행 중인 것으로 판단한다.
또한 상기 운전자의 상태를 촬영하는 촬영부는 도 11과 같이 상기 운전자의 안면 상태 영상정보를 입력 받는 적외선 카메라와 3차원 깊이 정보를 입력 받는 적외선 심도 센서로 구성되는 바, 적외선 카메라는 밝은 곳은 물론, 어두운 곳에서도 상기 운전자의 얼굴 윤곽 및 눈의 외곽선, 눈동자의 흰자위와 검은자위 인식을 위하여 안면 상태 영상정보를 입력 받아 졸음판단부에 전송하는 기능을 하고, 적외선 심도 센서는 밝은 곳은 물론, 어두운 곳에서도 상기 운전자의 상체, 머리, 안면, 눈과 입의 위치 및 구체적인 움직임을 정확하게 판단하기 위하여 3차원 깊이 정보를 입력 받아 졸음판단부에 전송하는 기능을 한다.
그리고 상기 사용자의 졸음 여부를 판단하는 졸음판단부는 도 1과 같이 제 1단계 졸음전조 판단부와 제 2단계 졸음 실행 판단부로 구성되는 바, 졸음판단부는 상기 주행판단부의 판단이 전진 주행 상태일 때만 적외선 카메라 및 적외선 심도 센서로부터 영상 정보 및 센서의 3차원 깊이 정보를 전송받아 졸음운전 여부를 판단하고, 먼저 상기 운전자의 동작정보, 안면정보와 눈 및 입모양 정보를 이용하여 제1단계 판단과정으로 상기 운전자의 졸음의 전조 행동 유무를 인지하고, 그 다음 제2단계 판단과정으로 졸음의 실행 행동 유무를 판단하는 방법으로, 제1단계를 거쳐 제2단계로 이행된 경우에 한해서 최종적으로 졸음운전으로 확정하는 단계적 판단을 특징으로 한다.
여기서 졸음의 전조 행동을 판단하는 제1단계는 도 3과 같이 촬영부로부터 전송받은 영상 정보 및 센서의 3차원 깊이 정보로부터 먼저 운전자의 얼굴 윤곽을 검출한 후, 다시 입, 머리, 코, 목의 위치를 검출하여 운전자의 하품의 주기를 계산하거나 고개의 끄덕임의 속도와 주기를 계산하거나, 또는 눈 위치를 검출한 후 눈동자의 외곽선과 눈동자의 흰자위와 검은자위를 인식하여 눈 깜빡임의 속도와 주기를 계산함으로써 졸음의 전조 행동 유무를 판단한다.
졸음의 전조 행동 판단 기준 중 하나인 ‘하품의 주기’는 도 5와 같이 촬영부로부터 전달받은 영상 및 센서 정보를 이용하여 운전자의 입의 위치를 파악한 후, 운전자의 입모양이 하품을 하는 것인지 여부를 파악하여 운전자의 하품의 횟수가 일정시간 내에 기준횟수 이상 발견될 경우 졸음의 전조 행동이 있다고 판단한다. 좀 더 구체적으로 설명하면 졸음판단부는 촬영부로부터 전송되어 온 정보를 통하여 운전자의 안면을 인식 후 운전자의 입의 위치를 판단한다. 그리고 이후 입의 모양을 검사하는데, 예컨대 완전 원형 대비 50% 이상 입이 벌어지거나 아래턱이 평상시보다 일정 정도 이상 내려가 있는 상태가 일정시간(예컨대 1초)이상 지속되는 경우에 1회의 하품이라 판단하고 일정 시간(예컨대 2분) 내에 운전자가 하품을 일정 횟수(예컨대 2회) 이상 하는 것을 졸음운전 전조단계로 판단한다.
졸음의 전조 행동 판단 기준 중 하나인 ‘고개의 끄덕임의 속도와 주기’는 도 6과 같이 촬영부로부터 전달받은 영상 및 센서 정보를 이용하여 운전자의 고개가 일정 각도 이상 숙여졌다가 다시 복귀하는 것을 1회의 끄덕임으로 간주하고, 상기 1회의 고개 끄덕임이 이루어지는 시간이 기준 시간 이상 소요될 정도로 느려질 경우만을 “졸음의 전조 끄덕임”으로 계산하여, 위 “졸음의 전조 끄덕임”이 일정 시간 내에 기준 횟수 이상 일어날 경우에 졸음의 전조 행동이 있다고 판단한다. 좀 더 구체적으로 설명하면 졸음판단부는 촬영부로부터 전송된 정보를 통하여 운전자의 안면을 인식 후 머리, 코, 목의 각 포인트를 잡는다. 이후 머리와 목의 연결선(직선)과 머리와 코의 연결선(직선)을 이용하여 각도를 측정한다. 예컨대 만약 30도 이상 고개가 아래로 숙여졌다가 다시 복귀하게 되면 이를 1회의 끄덕임으로 간주하고 그 1회의 끄덕임이 이루어진 소요시간을 저장한다. 위 1회의 고개 끄덕임이 이루어진 시간이 일정 기준 시간 이상(예컨대 3초 이상) 소요되는 경우에는 이를 “졸음의 전조 끄덕임”으로 파악하여 저장하고, 이러한 졸음의 전조 끄덕임이 일정 시간 내에(예컨대 3분 내에) 일정 횟수 이상(예컨대 2회 이상) 일어날 경우 졸음의 전조 행동이 있다고 판단하는 방법이다.
그리고 졸음의 전조 행동 판단 기준 중 하나인 ‘눈 깜빡임의 속도와 주기’는 도 7과 같이 촬영부로부터 전달받은 영상 및 센서 정보를 이용하여 운전자의 눈동자가 일정 부분 이상 가려졌다가 다시 보여지는 것을 1회의 눈 깜빡임으로 간주하고, 상기 1회의 눈 깜빡임이 이루어지는 시간이 기준 시간 이상 소요될 정도로 늦어질 경우만을 “졸음의 전조 깜빡임”으로 계산하여, 위 “졸음의 전조 깜빡임”이 일정 시간 내에 기준 횟수 이상 일어날 경우에 졸음의 전조 행동이 있다고 판단한다. 좀 더 구체적으로 설명하면 졸음판단부는 촬영부로부터 전송된 정보를 통하여 운전자의 눈의 외곽선, 눈동자의 흰자위와 검은자위 인식한 후, 예컨대 만약 눈동자가 50% 이상 가려졌다가 다시 50% 이상 떠지는 형태로 복귀하게 되면 이를 1회의 눈깜박임으로 간주하고 그 1회의 눈깜박임이 이루어진 소요시간을 저장한다. 위 1회의 눈깜박임이 이루어진 시간이 일정 기준 시간 이상(예컨대 1초 이상) 소요되는 경우에는 이를 “졸음의 전조 깜박임”으로 파악하여 계산하고, 이러한 졸음의 전조 깜박임이 일정 시간 내에(예컨대 1분 내에) 일정 횟수 이상(예컨대 2회 이상) 일어날 경우 졸음의 전조 행동이 있다고 판단하는 방법이다.
한편, 졸음의 실행 행동 유무를 판단하는 제2단계는, 도 4와 같이 졸음의 전조단계인 상기 제1단계를 거친 운전자에 한해서 해당 운전자의 눈동자의 폐쇄상태가 일정시간 이상 지속될 경우, 또는 시선이 일정시간 이상 정면을 주시하지 않고 있는 경우, 또는 고개가 일정각도 이상 숙여져 있는 시간이 일정 시간이상 지속될 경우 졸음의 실행 행동이 있다고 판단하는 것을 특징으로 한다. 본 발명은 만약 제1단계 졸음의 전조 행동이 없이 바로 제2단계의 행동과 유사한 행동이 감지되는 경우에는 이를 졸음운전으로 판단하지 않는다는 점이 중요한 특징이다. 왜냐하면 제1단계 졸음의 전조 행동이 없이 바로 제2단계의 행동을 보이는 경우는 졸음이 아닌 다른 이유로 백미러나 창문 밖을 보거나 룸미러를 보거나 음악을 들으며 고개를 끄덕이는 경우 등 무수히 많기 때문에 이러한 행동을 졸음운전으로 인한 숙성된 졸음상태를 나타내는 제2단계의 행동들과 구분해서 판별할 수 있게 하기 위함이다.
졸음의 실행 행동 판단기준 중 하나인 운전자의 눈동자의 폐쇄상태는, 도 8과 같이 촬영부로부터 전달받은 영상정보를 이용하여 운전자의 눈동자를 분석하여 운전자의 눈동자가 일정 정도 이상 감김 상태로 일정 시간 이상 지속적으로 폐쇄되어 있는지를 판단하고, 졸음의 실행 행동 판단기준 중 하나인 시선의 정면주시 여부는, 도 9와 같이 촬영부로부터 전달받은 영상정보를 이용하여 운전자의 눈동자를 분석하여 운전자가 정면을 주시하지 않는다고 판단되는 시간이 일정 시간 이상 지속되는 경우 졸음의 실행단계로 판단하며, 졸음의 실행 행동 판단기준 중 하나인 고개의 각도는, 도 10과 같이 촬영부로부터 전송받은 영상을 이용하여 운전자의 머리 기준점과 코 기준점의 각도를 계산하여 사용자의 고개의 각도를 측정한 후 기준시간 이상 지속적으로 일정 각도이상 기울어져 있는 경우 졸음의 실행단계로 판단한다.
그리고 사용자에게 경고를 하는 경보부는 도 1과 같이 제1단계인 졸음의 전조 행동이 판단되었을 때에는 예비 경고음을, 제1단계를 거쳐서 제2단계의 졸음의 실행 행동이 판단되었을 경우에는 본 경고음을 운전자에게 보내서 졸음운전상태임을 알려주는 것을 특징으로 한다.
또한 상기 주행판단부와 촬영부, 졸음판단부 및 경보부를 제어하는 컨트롤러는, 도 1과 같이 주행판단부로부터 전진 주행여부를 전달받아 정차 중이거나 후진 주행 중인 경우에는 촬영부에 촬영중지 명령을 전송하고, 전진 주행인 경우에 한해서 촬영부에 감지 명령을, 졸음판단부에는 제1단계 졸음 전조 행동의 유무 판단 명령을 각 전송하고, 졸음판단부로부터 제1단계 졸음 전조 행동이 있음을 전달받은 후에는 경보부에 예비 경고음을 보내도록 지시함과 동시에 졸음판단부에 제2단계 졸음 실행 행동의 유무 판단 명령을 전송하고, 졸음판단부로부터 제1단계를 거쳐서 제2단계 졸음의 실행 행동이 있음을 전달받은 경우에는 경보부에 본 경고음을 운전자에게 보내도록 지시하는 것을 특징으로 한다.

Claims (15)

  1. 차량의 전진 주행여부를 판단하는 주행판단부, 운전자의 상태를 촬영하는 촬영부, 사용자의 졸음운전 여부를 판단하는 졸음판단부, 사용자에게 경고를 보내는 경보부, 그리고 위 주행판단부와 촬영부, 졸음판단부 및 경보부를 제어하는 컨트롤러로 구성된 졸음운전 방지 장치에 있어서, 상기 주행판단부는 GPS단말기로부터 차량의 현재의 위치 좌표정보를 받아 이전 몇 초간의 위치 좌표정보와 비교하여 차량의 상태가 전진주행 중인지, 후진주행 중인지 정차 중인지를 여부를 판단하여, 차량이 전진 주행 중인 경우에 한하여 운전자의 동작 및 안면, 그리고 눈동자와 입모양의 인지를 통하여 졸음의 전조 행동 유무를 판단하는 제1단계 판단과정과 완성된 졸음의 실행 행동 유무를 판단하는 제2단계 판단과정을 포함하며, 제1단계 판단과정에서 졸음의 전조행동이 있다고 판단된 후에 제2단계 판단과정에서 졸음의 실행 행동이 있다고 판단되는 경우에만 사용자가 졸음운전을 하고 있다고 최종 판단하고 경고음을 내도록 하는 동작, 안면, 눈, 입모양 인지를 통한 2단계 졸음운전 방지 장치.
  2. 청구항 1에 있어서, 상기 운전자의 상태를 촬영하는 촬영부는
    상기 운전자의 안면 상태 영상정보를 입력 받는 적외선 카메라와 3차원 깊이 정보를 입력 받는 적외선 심도 센서로 구성됨을 특징으로 하는 동작, 안면, 눈, 입모양 인지를 통한 2단계 졸음운전 방지 장치.
  3. 청구항 2에 있어서, 적외선 카메라는
    밝은 곳은 물론, 어두운 곳에서도 상기 운전자의 얼굴 윤곽 및 눈의 외곽선, 눈동자의 흰자위와 검은자위 인식을 위하여 안면 상태 영상정보를 입력 받아 졸음판단부에 전송하는 기능을 하는 동작, 안면, 눈, 입모양 인지를 통한 2단계 졸음운전 방지 장치.
  4. 청구항 2에 있어서, 적외선 심도 센서는
    밝은 곳은 물론, 어두운 곳에서도 상기 운전자의 상체, 머리, 안면, 눈과 입의 위치 및 움직임을 정확하게 판단하기 위하여 3차원 깊이 정보를 입력 받아 졸음판단부에 전송하는 기능을 하는 동작, 안면, 눈, 입모양 인지를 통한 2단계 졸음운전 방지 장치.
  5. 청구항 1에 있어서, 상기 사용자의 졸음 여부를 판단하는 졸음판단부는
    상기 주행판단부의 판단이 전진 주행 상태일 때만 적외선 카메라 및 적외선 심도 센서로부터 영상 정보 및 센서의 3차원 깊이 정보를 전송받아 졸음운전 여부를 판단하도록 하는 것으로, 제1단계 판단과정으로 상기 운전자의 졸음의 전조 행동 유무를 인지하고, 제2단계 판단과정으로 졸음의 실행 행동 유무를 판단하는 방법으로, 제1단계를 거쳐 제2단계로 이행된 경우에 한해서 최종적으로 졸음운전으로 확정하는 단계적 판단을 특징으로 하는 동작, 안면, 눈, 입모양 인지를 통한 2단계 졸음운전 방지 장치.
  6. 청구항 5에 있어서,
    졸음의 전조 행동을 판단하는 제1단계는 촬영부로부터 전송받은 영상 및 센서 정보로부터 먼저 운전자의 얼굴 윤곽을 검출한 후, 다시 입, 머리, 코, 목의 위치를 검출하여 운전자의 하품의 주기를 계산하거나, 고개의 끄덕임의 속도와 주기를 계산하거나, 또는 눈 위치를 검출한 후 눈동자의 외곽선과 눈동자의 흰자위와 검은자위를 인식하여 눈 깜빡임의 속도와 주기를 계산함으로써 졸음의 전조 행동 유무를 판단하는 특징을 가지는 동작, 안면, 눈, 입모양 인지를 통한 2단계 졸음운전 방지 장치.
  7. 청구항 6에 있어서,
    졸음의 전조 행동 판단 기준 중 하나인 ‘하품의 주기’는 촬영부로부터 전달받은 영상 및 센서 정보를 이용하여 운전자의 입의 위치를 파악한 후, 운전자의 입모양 또는 아래 턱의 벌어짐의 정도로 하품을 하는 것인지 여부를 파악하여 운전자의 하품의 횟수가 일정시간 내에 기준횟수 이상 발견될 경우 졸음의 전조 행동이 있다고 판단하는 동작, 안면, 눈, 입모양 인지를 통한 2단계 졸음운전 방지 장치.
  8. 청구항 6에 있어서,
    졸음의 전조 행동 판단 기준 중 하나인 ‘고개의 끄덕임의 속도와 주기’는 촬영부로부터 전달받은 영상 및 센서 정보를 이용하여 운전자의 고개가 일정 각도 이상 숙여졌다가 다시 복귀하는 것을 1회의 끄덕임으로 간주하고, 상기 1회의 고개 끄덕임이 이루어지는 시간이 기준 시간 이상 소요될 정도로 느려질 경우만을 “졸음의 전조 끄덕임”으로 계산하여, 위 “졸음의 전조 끄덕임”이 일정 시간 내에 기준 횟수 이상 일어날 경우에 졸음의 전조 행동이 있다고 판단하는 동작, 안면, 눈, 입모양 인지를 통한 2단계 졸음운전 방지 장치.
  9. 청구항 6에 있어서,
    졸음의 전조 행동 판단 기준 중 하나인 ‘눈 깜빡임의 속도와 주기’는 촬영부로부터 전달받은 영상 및 센서 정보를 이용하여 운전자의 눈동자가 일정 부분 이상 가려졌다가 다시 보여지는 것을 1회의 눈 깜빡임으로 간주하고, 상기 1회의 눈 깜빡임이 이루어지는 시간이 기준 시간 이상 소요될 정도로 늦어질 경우만을 “졸음의 전조 깜빡임”으로 계산하여, 위 “졸음의 전조 깜빡임”이 일정 시간 내에 기준 횟수 이상 일어날 경우에 졸음의 전조 행동이 있다고 판단하는 동작, 안면, 눈, 입모양 인지를 통한 2단계 졸음운전 방지 장치.
  10. 청구항 5에 있어서,
    졸음의 실행 행동 유무를 판단하는 제2단계는, 상기 제1단계 졸음의 전조 행동 판단 기준 중 하나를 충족한다고 판단된 운전자에 한해서 해당 운전자의 눈동자의 폐쇄상태가 일정시간 이상 지속되거나 또는 시선이 일정시간 이상 정면을 주시하지 않고 있거나 또는 고개가 일정각도 이상 숙여져 있는 시간이 일정 시간이상 지속될 경우 졸음의 실행 행동이 있다고 판단하는 것을 특징으로 하는 동작, 안면, 눈, 입모양 인지를 통한 2단계 졸음운전 방지 장치.
  11. 청구항 10에 있어서,
    졸음의 실행 행동 판단기준 중 하나인 운전자의 ‘눈동자의 폐쇄상태’는, 촬영부로부터 전달받은 영상정보를 이용하여 운전자의 눈동자를 분석하여 운전자의 눈동자가 일정 정도 이상 감김 상태로 일정 시간 이상 지속적으로 폐쇄되어 있는지를 판단하는 동작, 안면, 눈, 입모양 인지를 통한 2단계 졸음운전 방지 장치.
  12. 청구항 10에 있어서,
    졸음의 실행 행동 판단기준 중 하나인 ‘시선의 정면주시 여부’는, 촬영부로부터 전달받은 영상정보를 이용하여 운전자의 눈동자를 분석하여 운전자가 정면을 주시하지 않는다고 판단되는 시간이 일정 시간 이상 지속되는 경우 졸음의 실행단계로 판단하는 동작, 안면, 눈, 입모양 인지를 통한 2단계 졸음운전 방지 장치.
  13. 청구항 10에 있어서,
    졸음의 실행 행동 판단기준 중 하나인 ‘고개의 각도’는, 촬영부로부터 전송받은 영상을 이용하여 운전자의 머리 기준점과 코 기준점의 각도를 계산하여 사용자의 고개의 각도를 측정한 후 고개가 기준시간 이상 지속적으로 일정 각도이상 기울어져 있는 경우 졸음의 실행단계로 판단하는 동작, 안면, 눈, 입모양 인지를 통한 2단계 졸음운전 방지 장치.
  14. 청구항 1에 있어서, 사용자에게 경고를 하는 경보부는
    제1단계인 졸음의 전조 행동이 판단되었을 때에는 예비 경고음을, 제1단계를 거쳐서 제2단계의 졸음의 실행 행동이 판단되었을 경우에는 본 경고음을 운전자에게 보내서 졸음운전상태임을 알려주는 것을 특징으로 하는 동작, 안면, 눈, 입모양 인지를 통한 2단계 졸음운전 방지 장치.
  15. 청구항 1에 있어서, 상기 주행판단부와 촬영부, 졸음판단부 및 경보부를 제어하는 컨트롤러는,
    주행판단부로부터 전진 주행여부를 전달받아 정차 중이거나 후진 주행 중인 경우에는 촬영부에 촬영중지 명령을 전송하고, 전진 주행인 경우에 한해서 촬영부에 감지 명령을, 졸음판단부에는 제1단계 졸음 판단 명령을 각 전송하고, 졸음판단부로부터 제1단계 졸음 전조 행동이 있음을 전달받은 후에는 졸음판단부에 제2단계 졸음판단 명령을 전송하고 경보부에 예비 경고음을 보내도록 지시하며, 졸음판단부로부터 제1단계를 거쳐서 제2단계 졸음의 실행 행동이 있음을 전달받은 경우에는 경보부에 본 경고음을 운전자에게 보내도록 지시하는 것을 특징으로 하는 동작, 안면, 눈, 입모양 인지를 통한 2단계 졸음운전 방지 장치.
PCT/KR2014/010118 2013-10-29 2014-10-27 동작, 안면, 눈, 입모양 인지를 통한 2단계 졸음운전 방지 장치 WO2015064980A1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201480059248.3A CN105764735A (zh) 2013-10-29 2014-10-27 通过对于动作、面部、眼睛、嘴型的认知的2步骤预防瞌睡驾驶装置
US15/032,695 US20160272217A1 (en) 2013-10-29 2014-10-27 Two-step sleepy driving prevention apparatus through recognizing operation, front face, eye, and mouth shape
JP2016552381A JP2016539446A (ja) 2013-10-29 2014-10-27 動作と、顔面と、目及び口形状の認知を通じた２段階に亘っての居眠り運転の防止装置

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2013-0129628 2013-10-29
KR1020130129628A KR101386823B1 (ko) 2013-10-29 2013-10-29 동작, 안면, 눈, 입모양 인지를 통한 2단계 졸음운전 방지 장치

Publications (1)

Publication Number Publication Date
WO2015064980A1 true WO2015064980A1 (ko) 2015-05-07

Family

ID=50658101

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2014/010118 WO2015064980A1 (ko) 2013-10-29 2014-10-27 동작, 안면, 눈, 입모양 인지를 통한 2단계 졸음운전 방지 장치

Country Status (5)

Country Link
US (1) US20160272217A1 (ko)
JP (1) JP2016539446A (ko)
KR (1) KR101386823B1 (ko)
CN (1) CN105764735A (ko)
WO (1) WO2015064980A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105844252A (zh) * 2016-04-01 2016-08-10 南昌大学 一种面部关键部位的疲劳检测方法

Families Citing this family (40)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102391502B1 (ko) 2014-11-27 2022-04-28 삼성전자주식회사 사용자 상태에 기반한 주변 전자 장치 제어 방법 및 그 전자 장치
AU2015369563B2 (en) 2014-12-27 2021-09-02 Gentex Corporation System and method for detecting surface vibrations
US9811993B2 (en) * 2015-04-23 2017-11-07 Wichita State University Vehicle operator impairment detection system and method
KR101693708B1 (ko) 2015-07-14 2017-01-09 한국생산기술연구원 헤드서포트
US11144756B2 (en) * 2016-04-07 2021-10-12 Seeing Machines Limited Method and system of distinguishing between a glance event and an eye closure event
US10262219B2 (en) 2016-04-21 2019-04-16 Hyundai Motor Company Apparatus and method to determine drowsiness of a driver
US10474145B2 (en) 2016-11-08 2019-11-12 Qualcomm Incorporated System and method of depth sensor activation
US11065958B2 (en) * 2017-01-03 2021-07-20 Transportation Ip Holdings, Llc Control system and method
KR101950476B1 (ko) * 2017-04-25 2019-04-29 만도헬라일렉트로닉스(주) 운전자 상태 감지 시스템, 운전자 상태 감지 방법 및 운전자 감지 시스템을 장착한 차량
KR20180124381A (ko) * 2017-05-11 2018-11-21 현대자동차주식회사 운전자의 상태 판단 시스템 및 그 방법
US11117515B2 (en) * 2017-05-19 2021-09-14 Yazaki Corporation Monitoring system
KR101775874B1 (ko) * 2017-07-10 2017-09-19 동의대학교 산학협력단 깊이정보 기반의 안면인식 자동차제어방법
DE102017211931B4 (de) * 2017-07-12 2022-12-29 Volkswagen Aktiengesellschaft Verfahren zum Anpassen zumindest eines Betriebsparameters eines Kraftfahrzeugs, System zum Anpassen zumindest eines Betriebsparameters eines Kraftfahrzeugs und Kraftfahrzeug
CN109508576B (zh) * 2017-09-14 2021-03-26 杭州海康威视数字技术股份有限公司 一种异常驾驶行为检测方法、装置及电子设备
KR102288753B1 (ko) * 2017-10-23 2021-08-11 현대모비스 주식회사 운전자 모니터링 장치 및 방법
FR3074942B1 (fr) * 2017-12-08 2021-04-02 Valeo Comfort & Driving Assistance Procede de determination de l'etat d'un individu a partir du traitement d'images de sa tete et dispositif associe
KR102444666B1 (ko) 2017-12-20 2022-09-19 현대자동차주식회사 차량용 3차원 입체 영상의 제어 방법 및 장치
JP6888542B2 (ja) * 2017-12-22 2021-06-16 トヨタ自動車株式会社 眠気推定装置及び眠気推定方法
CN108216254B (zh) * 2018-01-10 2020-03-10 山东大学 基于面部图像与脉搏信息融合的路怒情绪识别方法
JP6933161B2 (ja) * 2018-03-02 2021-09-08 日本電気株式会社 画像処理装置、画像処理方法、プログラム
CN109383516A (zh) * 2018-09-13 2019-02-26 行为科技(北京)有限公司 一种基于用户行为分析的异常分析行为检测系统
JP7180227B2 (ja) * 2018-09-20 2022-11-30 いすゞ自動車株式会社 車両用監視装置
CN110956060A (zh) * 2018-09-27 2020-04-03 北京市商汤科技开发有限公司 动作识别、驾驶动作分析方法和装置及电子设备
CN111079476B (zh) * 2018-10-19 2024-03-26 上海商汤智能科技有限公司 驾驶状态分析方法和装置、驾驶员监控系统、车辆
CN111079475A (zh) * 2018-10-19 2020-04-28 上海商汤智能科技有限公司 驾驶状态检测方法和装置、驾驶员监控系统、车辆
KR20200057891A (ko) * 2018-11-16 2020-05-27 현대자동차주식회사 차량 주행 보조 제어 장치, 그를 포함한 시스템 및 그 방법
CN109670421B (zh) * 2018-12-04 2021-04-16 青岛小鸟看看科技有限公司 一种疲劳状态检测方法和装置
FR3090172B1 (fr) 2018-12-13 2020-11-20 Continental Automotive France Procédé de détermination d’un niveau de vigilance d’un conducteur
CN110046560B (zh) * 2019-03-28 2021-11-23 青岛小鸟看看科技有限公司 一种危险驾驶行为检测方法和相机
WO2020241944A1 (ko) * 2019-05-31 2020-12-03 엘지전자 주식회사 차량 제어 방법 및 차량을 제어하는 지능형 컴퓨팅 디바이스
KR102630485B1 (ko) 2019-06-18 2024-02-01 엘지전자 주식회사 차량 제어 방법
CN110390285A (zh) * 2019-07-16 2019-10-29 广州小鹏汽车科技有限公司 驾驶员分神检测方法、系统及车辆
CN110606090A (zh) * 2019-09-05 2019-12-24 成都亿盟恒信科技有限公司 一种基于疲劳检测的驾驶员监控系统及方法
KR102320484B1 (ko) * 2020-05-06 2021-11-04 타이아(주) 운전 부주의 모니터링 시스템
CN111814613A (zh) * 2020-06-24 2020-10-23 浙江大华技术股份有限公司 一种人脸识别方法、设备及计算机可读存储介质
KR20220005297A (ko) * 2020-07-06 2022-01-13 주식회사 씽크아이 차량에 설치되는 인캐빈 안전센서 및 그 서비스 플랫폼 제공 방법
CN111986443A (zh) * 2020-08-31 2020-11-24 上海博泰悦臻网络技术服务有限公司 一种疲劳驾驶的监测装置及方法
DE112020007803T5 (de) * 2020-11-27 2023-11-16 Mitsubishi Electric Corporation Schlafdetektionsvorrichtung und Schlafdetektionsverfahren
KR102442203B1 (ko) 2022-03-30 2022-09-08 라이트하우스(주) 얼굴 인식 및 아이 트래킹에 기반한 운전자 졸음 예측 방법, 장치 및 시스템
CN116077798B (zh) * 2023-04-10 2023-07-28 南京信息工程大学 一种基于语音诱导与计算机视觉相结合的催眠方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20050108216A (ko) * 2004-05-12 2005-11-16 삼성전자주식회사 카메라를 휴대단말기의 졸음운전방지 방법
JP2012040134A (ja) * 2010-08-18 2012-03-01 Iwate Prefectural Univ 自動車運転中の居眠り予兆検知システム、および自動車運転中の居眠り予兆検知方法
KR20130039150A (ko) * 2011-10-11 2013-04-19 현대모비스 주식회사 운전자 졸음 방지 시스템 및 방법
KR20130054636A (ko) * 2011-11-17 2013-05-27 현대모비스 주식회사 적외선 카메라 및 3ｄ 모델링을 이용한 운전자 자세 감시 장치 및 방법

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3115457B2 (ja) * 1993-08-16 2000-12-04 三菱電機株式会社 運転者異常事態発生警報装置
FR2773521B1 (fr) * 1998-01-15 2000-03-31 Carlus Magnus Limited Procede et dispositif pour surveiller en continu l'etat de vigilance du conducteur d'un vehicule automobile, afin de detecter et prevenir une tendance eventuelle a l'endormissement de celui-ci
JP4337130B2 (ja) * 1999-06-10 2009-09-30 マツダ株式会社 運転装置の制御装置
CN101090482B (zh) * 2006-06-13 2010-09-08 唐琎 一种基于图象处理和信息融合技术的驾驶员疲劳监测系统及方法
CN100462047C (zh) * 2007-03-21 2009-02-18 汤一平 基于全方位计算机视觉的安全驾驶辅助装置
KR100778059B1 (ko) * 2007-05-22 2007-11-21 (주)텔릭스타 얼굴인식기술을 이용한 졸음운전 방지장치 및 이를 이용한 졸음운전 방지시스템
JP2008296682A (ja) * 2007-05-30 2008-12-11 Katsuya Ikuta 車載危険運転監視装置、危険運転集中監視システム、および、危険運転阻止しシステム
JP5007975B2 (ja) * 2007-07-13 2012-08-22 国立大学法人名古屋大学 居眠り検知装置
JP2012084068A (ja) * 2010-10-14 2012-04-26 Denso Corp 画像解析装置
JP2013156707A (ja) * 2012-01-26 2013-08-15 Nissan Motor Co Ltd 運転支援装置
CN102622600A (zh) * 2012-02-02 2012-08-01 西南交通大学 基于面像与眼动分析的高速列车驾驶员警觉度检测方法
KR20140025812A (ko) * 2012-08-22 2014-03-05 삼성전기주식회사 졸음 운전 감지 장치 및 방법
US20150025917A1 (en) * 2013-07-15 2015-01-22 Advanced Insurance Products & Services, Inc. System and method for determining an underwriting risk, risk score, or price of insurance using cognitive information

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20050108216A (ko) * 2004-05-12 2005-11-16 삼성전자주식회사 카메라를 휴대단말기의 졸음운전방지 방법
JP2012040134A (ja) * 2010-08-18 2012-03-01 Iwate Prefectural Univ 自動車運転中の居眠り予兆検知システム、および自動車運転中の居眠り予兆検知方法
KR20130039150A (ko) * 2011-10-11 2013-04-19 현대모비스 주식회사 운전자 졸음 방지 시스템 및 방법
KR20130054636A (ko) * 2011-11-17 2013-05-27 현대모비스 주식회사 적외선 카메라 및 3ｄ 모델링을 이용한 운전자 자세 감시 장치 및 방법

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105844252A (zh) * 2016-04-01 2016-08-10 南昌大学 一种面部关键部位的疲劳检测方法
CN105844252B (zh) * 2016-04-01 2019-07-26 南昌大学 一种面部关键部位的疲劳检测方法

Also Published As

Publication number Publication date
JP2016539446A (ja) 2016-12-15
US20160272217A1 (en) 2016-09-22
CN105764735A (zh) 2016-07-13
KR101386823B1 (ko) 2014-04-17

Similar Documents

Publication Publication Date Title
WO2015064980A1 (ko) 동작, 안면, 눈, 입모양 인지를 통한 2단계 졸음운전 방지 장치
EP2564777B1 (en) Method for classification of eye closures
EP1721782B1 (en) Driving support equipment for vehicles
CN110211335B (zh) 用于对车辆的驾驶员的微睡进行识别的方法和装置
KR101950476B1 (ko) 운전자 상태 감지 시스템, 운전자 상태 감지 방법 및 운전자 감지 시스템을 장착한 차량
JP2013152700A (ja) ドライバモニタ装置
EP2860665A2 (en) Face detection apparatus, and face detection method
JP2009223752A (ja) 居眠り運転危険判定装置
JP2016057839A (ja) 顔向き検出装置及び車両用警告システム
KR20120074820A (ko) 얼굴 인식 기능을 이용한 차량 제어 시스템
US8879790B2 (en) Image processing device and drowsiness assessment device
CN111434553A (zh) 制动系统、方法、装置、疲劳驾驶模型的训练方法和装置
US20180201276A1 (en) Driver condition detection system
CN108021875A (zh) 一种车辆驾驶员个性化疲劳监测及预警方法
US20220309808A1 (en) Driver monitoring device, driver monitoring method, and driver monitoring-use computer program
KR20190134909A (ko) 주행상황 판단 정보 기반 운전자 상태 인식 장치 및 방법
JP5050794B2 (ja) 眠気検知装置、眠気検知方法
JPH0793700A (ja) 運転者状態監視装置
KR20190044818A (ko) 운전자 모니터링 장치 및 방법
KR20110052453A (ko) 운전자 졸음 판단 및 경고 장치 및 방법
JP7019394B2 (ja) 視認対象検知装置、視認対象検知方法、およびプログラム
JPWO2020255238A1 (ja) 情報処理装置、プログラム及び情報処理方法
JP2020144573A (ja) 運転者監視装置
JP2020013554A (ja) 覚醒度判定装置
JP2019079285A (ja) 安全運転促進装置及び安全運転促進方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 14859183

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2016552381

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 15032695

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 14859183

Country of ref document: EP

Kind code of ref document: A1