KR20200018838A - System and method for representing dangerous driving - Google Patents

System and method for representing dangerous driving Download PDF

Info

Publication number
KR20200018838A
KR20200018838A KR1020180094145A KR20180094145A KR20200018838A KR 20200018838 A KR20200018838 A KR 20200018838A KR 1020180094145 A KR1020180094145 A KR 1020180094145A KR 20180094145 A KR20180094145 A KR 20180094145A KR 20200018838 A KR20200018838 A KR 20200018838A
Authority
KR
South Korea
Prior art keywords
information
driver
driving
state
vehicle
Prior art date
Application number
KR1020180094145A
Other languages
Korean (ko)
Other versions
KR102573904B1 (en
Inventor
박선홍
오영달
류동운
Original Assignee
한국자동차연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국자동차연구원 filed Critical 한국자동차연구원
Priority to KR1020180094145A priority Critical patent/KR102573904B1/en
Publication of KR20200018838A publication Critical patent/KR20200018838A/en
Application granted granted Critical
Publication of KR102573904B1 publication Critical patent/KR102573904B1/en

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • B60W50/14Means for informing the driver, warning the driver or prompting a driver intervention
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K28/00Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions
    • B60K28/02Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver
    • B60K28/06Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver responsive to incapacity of driver
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02Alarms for ensuring the safety of persons
    • G08B21/08Alarms for ensuring the safety of persons responsive to the presence of persons in a body of water, e.g. a swimming pool; responsive to an abnormal condition of a body of water
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W2040/0818Inactivity or incapacity of driver
    • B60W2040/0827Inactivity or incapacity of driver due to sleepiness
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W2040/0818Inactivity or incapacity of driver
    • B60W2040/0863Inactivity or incapacity of driver due to erroneous selection or response of the driver
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W2040/0872Driver physiology
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • B60W50/14Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/143Alarm means

Abstract

The present invention relates to a system and a method for preventing dangerous driving due to drowsiness or carelessness of a driver. The system for preventing dangerous driving according to the present invention includes: a driver information acquisition module that acquires driver information; and an ECU module that determines driver′s conditions using the driver information, vehicle driving information, and a pre-trained classification model, and provides warnings for careless driving or drowsy driving.

Description

위험 운전 방지 시스템 및 그 방법{SYSTEM AND METHOD FOR REPRESENTING DANGEROUS DRIVING}Dangerous driving prevention system and its method {SYSTEM AND METHOD FOR REPRESENTING DANGEROUS DRIVING}

본 발명은 운전자의 졸음 또는 부주의로 인한 위험 운전을 방지하는 시스템 및 그 방법에 관한 것이다. The present invention relates to a system and method for preventing dangerous driving due to drowsiness or carelessness of a driver.

미국 고속도로 안전 협회(NTHSA)에 따르면, 매년 전세계적으로 교통사고로 인해 사망하는 인원수는 120만명 이상인 것으로 집계되며, 이 중 휴먼 에러에 의한 교통사고가 전체 사고 중 94%의 비율인 것으로 조사되었다. According to the National Highway Safety Association (NTHSA), more than 1.2 million people die every year from traffic accidents worldwide, of which 94% of all accidents are caused by human error.

휴먼 에러는 과속, 난폭운전, 음주운전, 운전 부주의, 졸음 운전 등이다. Human errors include speeding, violent driving, drunk driving, careless driving, and drowsy driving.

종래 기술에 따르면 운전자의 부주의나 졸음 운전을 판단하기 위하여, 운전자의 고개 움직임, 눈의 깜빡임, 생체 신호 등을 사용한다. According to the prior art, in order to determine the driver's carelessness or drowsy driving, the driver's head movement, blinking eyes, vital signs, and the like are used.

그러나, 주행 환경에서 필연적으로 발생되는 차체의 진동, 실제로는 부주의 또는 졸음으로 인한 것이 아니지만 그와 유사한 운전자의 움직임(예컨대 좌/우회전 상황에서 전방 도로가 아닌 전측방을 주시하는 경우, 또는 동승자와 대화를 하며 고개를 끄덕이는 경우 등)으로 인해 그 인식률이 저하되거나 오인식이 발생되며, 그에 따라 주행 중 운전자에게 불필요한 경고를 제공하여 신뢰성이 확보되지 못하고, 결과적으로 해당 기술이 상용화되지 못하는 문제점이 있다. However, vibrations inevitably occurring in the driving environment, not really due to inattention or drowsiness, but similar driver movements (for example, when looking at the front side rather than the road ahead in a left / right turn situation, or talking with a passenger) The recognition rate is lowered or a misrecognition occurs due to the case of nodding, etc.), thereby providing an unnecessary warning to the driver while driving and thus failing to secure the reliability and, as a result, the technology cannot be commercialized. .

본 발명은 전술한 문제점을 해결하기 위하여 제안된 것으로, 운전자의 상태 정보와 차량의 주행 정보를 이용하여, 정상 상태, 부주의 상태, 졸음 상태, 예외 상태(좌/우회전 시, 차선 변경 등의 상황이어서, 위험운전임을 알리는 경고 제공을 비활성화시켜야 하는 상태)를 기준으로 운전자의 상태를 판단함으로써, 운전자 상태 판단에 대한 오인식 및 미인식을 최소화하고, 위험 상황 경고의 신뢰성을 높이는 것이 가능한 위험 운전 방지 시스템 및 그 방법을 제공하는데 그 목적이 있다. The present invention has been proposed to solve the above-described problems, using the driver's state information and the driving information of the vehicle, the normal state, careless state, drowsiness state, exception state (when turning left / right, lane change, etc.) The dangerous driving prevention system capable of minimizing false recognition and unrecognized recognition of the driver's status and increasing the reliability of the warning of the dangerous situation by determining the driver's condition based on the state in which the warning of the dangerous driving should be deactivated). The purpose is to provide a method.

본 발명에 따른 위험 운전 방지 시스템은 운전자 정보를 획득하는 운전자 정보 획득 모듈 및 운전자 정보, 차량 주행 정보와 기학습된 분류 모델을 이용하여 운전자 상태를 판단하고, 부주의 운전 또는 졸음 운전에 대한 경고를 제공하는 ECU 모듈을 포함하는 것을 특징으로 한다. The dangerous driving prevention system according to the present invention determines a driver's condition by using a driver information acquisition module for acquiring driver information, driver information, vehicle driving information, and a pre-learned classification model, and provides a warning about careless driving or drowsy driving. It characterized in that it comprises an ECU module.

본 발명의 실시예에 따르면, 고개 움직임, 눈의 개폐, 웨어러블 밴드를 통한 생체 신호 등 단일 팩터(factor)를 사용한 종래 기술에 따른 운전자 상태 판단 기술과 비교하여 볼 때, 복수의 운전자 정보를 융합하여 판단함으로써 판단의 정확도를 향상시키는 효과가 있다. According to an embodiment of the present invention, when compared to the driver state determination technology according to the prior art using a single factor, such as head movement, opening and closing of eyes, and a biosignal through a wearable band, a plurality of driver information may be converged. Judgment has the effect of improving the accuracy of judgment.

운전자 정보와 차량 주행 정보를 융합하여 운전자 상태를 분류하고, 위험 운전(부주의 운전, 졸음 운전)여부를 판단하여 그에 대한 경고를 제공함으로써, 경고 제공의 신뢰성을 높이고, 그에 따라 운전자의 수용도를 높이는 효과가 있다. By combining driver information and vehicle driving information, the driver's condition is classified, and whether or not dangerous driving (inadvertent driving or drowsy driving) is provided and warning is provided, thereby increasing the reliability of providing the warning and thus increasing the driver's acceptance. It works.

본 발명의 효과는 이상에서 언급한 것들에 한정되지 않으며, 언급되지 아니한 다른 효과들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.The effects of the present invention are not limited to those mentioned above, and other effects that are not mentioned will be clearly understood by those skilled in the art from the following description.

도 1은 본 발명의 실시예에 따른 위험 운전 방지 시스템을 나타내는 블록도이다.
도 2는 본 발명의 실시예에 따른 안경 타입의 운전자 정보 획득 모듈을 나타내는 예시도이다.
도 3은 본 발명의 실시예에 따른 ECU 모듈의 CPU를 나타내는 블록도이다.
도 4는 본 발명의 실시예에 따른 위험 운전 방지 방법을 나타내는 순서도이다.
1 is a block diagram illustrating a dangerous driving prevention system according to an exemplary embodiment of the present invention.
2 is an exemplary view showing a driver information obtaining module of a glasses type according to an embodiment of the present invention.
3 is a block diagram illustrating a CPU of an ECU module according to an embodiment of the present invention.
4 is a flowchart illustrating a dangerous driving prevention method according to an exemplary embodiment of the present invention.

본 발명의 전술한 목적 및 그 이외의 목적과 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. BRIEF DESCRIPTION OF THE DRAWINGS The above and other objects, advantages and features of the present invention, and methods of achieving them will be apparent with reference to the embodiments described below in detail with the accompanying drawings.

그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 이하의 실시예들은 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 목적, 구성 및 효과를 용이하게 알려주기 위해 제공되는 것일 뿐으로서, 본 발명의 권리범위는 청구항의 기재에 의해 정의된다. However, the present invention is not limited to the embodiments disclosed below, but may be implemented in various forms, and only the following embodiments are provided to those skilled in the art to which the present invention pertains. It is merely provided to easily show the configuration and effects, the scope of the invention is defined by the claims.

한편, 본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성소자, 단계, 동작 및/또는 소자가 하나 이상의 다른 구성소자, 단계, 동작 및/또는 소자의 존재 또는 추가됨을 배제하지 않는다.Meanwhile, the terminology used herein is for the purpose of describing particular embodiments only and is not intended to be limiting of the invention. In this specification, the singular also includes the plural unless specifically stated otherwise in the phrase. As used herein, “comprises” and / or “comprising” refers to the presence of one or more other components, steps, operations and / or devices in which the mentioned components, steps, operations and / or devices are known. Or does not exclude addition.

도 1은 본 발명의 실시예에 따른 위험 운전 방지 시스템을 나타내는 블록도이다. 1 is a block diagram illustrating a dangerous driving prevention system according to an exemplary embodiment of the present invention.

본 발명의 실시예에 따른 위험 운전 방지 시스템은 운전자 정보를 획득하는 운전자 정보 획득 모듈(100) 및 운전자 정보, 차량 주행 정보와 기학습된 분류 모델을 이용하여 운전자 상태를 판단하고, 부주의 운전 또는 졸음 운전에 대한 경고를 제공하는 ECU 모듈(200)을 포함한다. The dangerous driving prevention system according to an exemplary embodiment of the present invention determines a driver's state by using the driver information acquisition module 100 for acquiring the driver information, the driver information, the vehicle driving information, and the pre-learned classification model, and careless driving or drowsiness. ECU module 200 that provides a warning about operation.

후술하는 도 2에 도시된 바와 같이, 운전자 정보 획득 모듈(100)은 운전자가 착용하는 안경 타입인 것이 바람직하며, 이 경우 제1 자이로 센서(110), 카메라(121: RGB 카메라, 122: 적외선 카메라)를 포함하는 안경 타입의 운전자 정보 획득 모듈을 이용하여 운전자의 얼굴 움직임 정보, 맥파 정보, 눈의 개폐/눈이 크기 정보를 획득한다. As shown in FIG. 2, the driver information acquisition module 100 is preferably a type of glasses worn by a driver. In this case, the first gyro sensor 110, the camera 121: an RGB camera, and the 122: an infrared camera. The driver's face motion information, pulse wave information, and opening / closing / eye size information of the driver are acquired by using the glasses type driver information acquisition module.

다른 실시예로서, 제1 자이로 센서는 운전자가 착용하는 안경의 일측에 배치되고, 카메라는 차내에 별도로 배치되어 운전자의 얼굴 움직임 정보, 맥파 정보, 안구 정보를 획득하는 것이 가능하며, 심박수 정보는 별도의 웨어러블 기기로부터 획득되는 것 역시 가능하다. In another embodiment, the first gyro sensor may be disposed on one side of the glasses worn by the driver, and the camera may be separately disposed in the vehicle to obtain driver's face movement information, pulse wave information, and eye information, and heart rate information may be separately provided. It is also possible to obtain from a wearable device.

도 1을 참조하면, 운전자 정보 획득 모듈(100)은 제1 자이로 센서(110), 카메라(120), 제1 통신부(130)를 포함하여, 제1 자이로 센서(110)는 수평방향, 수직 방향에 대한 운전자의 얼굴 움직임을 센싱하고, 카메라(120)는 운전자의 눈의 개폐 또는 크기, 맥파 정보를 센싱하며, 제1 통신부(130)는 센싱된 운전자 정보를 ECU 모듈(200)로 전송한다. Referring to FIG. 1, the driver information acquisition module 100 may include a first gyro sensor 110, a camera 120, and a first communication unit 130, and the first gyro sensor 110 may have a horizontal direction and a vertical direction. Sensing the driver's face movement with respect to, the camera 120 senses the opening and closing or size of the driver's eyes, pulse wave information, the first communication unit 130 transmits the sensed driver information to the ECU module 200.

제1 통신부(130)는 센싱된 정보를 블루투스를 통해 전송하는 것이 바람직하며, ECU 모듈(200)의 제2 통신부(230)뿐 아니라 페어링된 PC, 스마트폰 등으로 센싱된 정보를 전송하는 것이 가능하다. Preferably, the first communication unit 130 transmits the sensed information through Bluetooth, and transmits the sensed information to the paired PC, smartphone, etc. as well as the second communication unit 230 of the ECU module 200. Do.

ECU 모듈(200)은 차량 움직임 정보를 획득하는 제2 자이로 센서(210), 운전자 정보 및 차량 주행 정보를 기학습된 분류 모델에 입력시켜 위험 상황 여부 및 운전자 상태를 판단하는 제2 CPU(220), 제2 통신부(230)를 포함한다. The ECU module 200 inputs a second gyro sensor 210 for acquiring vehicle movement information, driver information, and vehicle driving information to a pre-learned classification model to determine whether a dangerous situation and a driver state are present. , A second communication unit 230.

제2 통신부(230)는 제1 통신부(130)를 통해 전송되는 운전자 정보를 수신하고, 경고 명령 신호를 운전자 정보 획득 모듈(100), 차량 디바이스 또는 외부 서버로 전송한다. The second communication unit 230 receives driver information transmitted through the first communication unit 130, and transmits a warning command signal to the driver information obtaining module 100, the vehicle device, or an external server.

제2 통신부(230)로부터 경고 명령 신호를 전송 받은 운전자 정보 획득 모듈(100), 차량 디바이스는 진동, 소리, 경고 메시지 등을 통해 운전자에게 부주의 운전 또는 졸음 운전에 대한 경고를 제공한다. The driver information obtaining module 100 and the vehicle device, which have received the warning command signal from the second communication unit 230, provide the driver with warning about careless driving or drowsy driving through vibration, sound, and warning messages.

제2 통신부(230)는 주행 차량의 자율주행시스템에 경고 명령 신호를 전달하여, 운전자로부터 운전 제어권을 이양 받아 자율 주행이 이루어지도록 하는 것이 가능하며(목적지까지 자율 주행을 하거나, 운전자의 부주의 또는 졸음 운전이 해소된 것으로 판단할 때까지 자율 주행을 하거나, 졸음 쉼터로 주행 차량을 대피하는 등 다양한 양태의 자율 주행이 가능함), 외부 서버로 경고 명령 신호를 전송함으로써 응급 상황(예컨대 운전자가 정신을 잃은 상황 등)에 대한 구조 지원 요청을 하는 것 역시 가능하다. The second communication unit 230 transmits a warning command signal to the autonomous driving system of the driving vehicle, so that autonomous driving can be performed by transferring control of the driver from the driver (autonomous driving to the destination, or inattention or drowsiness of the driver). Autonomous driving in various modes is possible, such as autonomous driving until it is determined that driving is resolved, or evacuation of a vehicle to sleepy shelter, or by sending a warning command signal to an external server for emergency situations (e.g. It is also possible to request rescue assistance for situations, etc.).

제2 자이로 센서(210)는 차량의 움직임을 센싱하고, ECU 모듈(200)은 제2 자이로 센서(210)를 통해 획득한 차량의 움직임 정보와 제1 자이로 센서(110)가 획득한 운전자의 얼굴 움직임 정보를 비교하여, 차량 안에서의 운전자 움직임을 파악한다.The second gyro sensor 210 senses the movement of the vehicle, and the ECU module 200 detects the movement information of the vehicle acquired through the second gyro sensor 210 and the face of the driver acquired by the first gyro sensor 110. By comparing the motion information, the driver's movement in the vehicle is identified.

ECU 모듈(200)의 CPU(220)는 CAN Transceiver를 통해 수신한 차량의 IVN 정보와, 운전자 정보 획득 모듈(100)로부터 수신한 운전자 정보를 이용하여, 기학습된 분류 모델(Classification Model)을 통해 운전자의 부주의 운전 또는 졸음 운전 여부를 판단한다. The CPU 220 of the ECU module 200 uses the IVN information of the vehicle received through the CAN transceiver and the driver information received from the driver information acquisition module 100, through a classification model previously learned. Determines whether the driver is inadvertent or drowsy driving.

본 발명의 실시예에 따르면, ECU 모듈(200)은 단독 factor가 아닌 운전자의 얼굴 움직임, 눈의 개폐 상태 및 눈의 크기 정보, 심박수 정보를 융합하여 운전자 상태 판단에 대한 오인식 및 미인식을 최소화한다. According to an embodiment of the present invention, the ECU module 200 minimizes misperception and unrecognition of driver's state determination by fusing driver's face movement, eye open / closed state and eye size information, and heart rate information instead of sole factor. .

하기 [표 1]은 졸음 운전 여부를 판단하기 위해 단독 factor를 사용한 경우와, 다양한 운전자 정보 및 차량 정보를 융합하여 판단한 경우의 판단 정확도를 나타낸다. [Table 1] below shows the determination accuracy when the single factor is used to determine whether drowsy driving is determined and when the convergence of various driver information and vehicle information is performed.

FactorFactor VisionVision Bio-SignalBio-Signal Vehicle dataVehicle data Vision & BioVision & Bio Vision & VehicleVision & vehicle Vehicle & BioVehicle & Bio AllAll Classification ModelClassification Model AccuracyAccuracy Decision TreeDecision tree 82.882.8 87.087.0 81.281.2 94.694.6 94.594.5 89.489.4 96.596.5 SVMSVM 80.780.7 62.862.8 67.567.5 86.586.5 82.782.7 68.168.1 86.786.7 KNNKNN 83.583.5 88.388.3 88.488.4 84.884.8 94.594.5 91.291.2 95.495.4

본 발명의 실시예에 따른 ECU 모듈(200)은 차량의 주행 정보와 운전자 정보 획득 모듈(100)로부터 수신한 운전자 정보를 융합하여 위험 상황 여부 및 운전자 상태를 판단함으로써, 주행 중이 아닌 경우, 좌/우회전의 경우, 차선 변경의 경우 등에는 경고 제공을 비활성화한다. ECU module 200 according to an embodiment of the present invention by combining the driving information of the vehicle and the driver information received from the driver information acquisition module 100 to determine whether the dangerous situation and the driver state, if not driving, left / In case of a right turn, in case of a lane change, etc., the warning is deactivated.

또한, 운전자 정보와 ADAS 정보(전방 차량과의 거리, 차선에서의 횡방향 위치 등)를 활용하여 부주의 운전 또는 졸음 운전 여부를 판단하고, 그에 대한 경고를 제공한다. In addition, the driver information and the ADAS information (distance from the front vehicle, the lateral position in the lane, etc.) are used to determine whether inadvertent driving or drowsy driving, and to provide a warning about it.

이하, 도 2를 참조하여, 본 발명의 실시예에 따른 안경 타입의 운전자 정보 획득 모듈을 설명한다. Hereinafter, with reference to FIG. 2, a driver information obtaining module of a glasses type according to an embodiment of the present invention will be described.

운전자 정보 획득 모듈(100)은 제1 자이로 센서(110), RGB 카메라(121), 적외선 카메라(122), 제1 통신부(130), 제1 CPU(140), 배터리(150)를 포함한다. The driver information acquisition module 100 includes a first gyro sensor 110, an RGB camera 121, an infrared camera 122, a first communication unit 130, a first CPU 140, and a battery 150.

적외선 카메라(122)는 운전자의 시야 가림을 최소화하기 위하여 안경 렌즈의 아래 부분에 설치되어, 운전자의 눈의 개폐 또는 눈의 크기에 관한 정보를 획득한다. The infrared camera 122 is installed at the lower portion of the spectacle lens in order to minimize the occlusion of the driver's field of view, and acquires information regarding the opening and closing of the driver's eyes or the size of the eyes.

제1 자이로 센서(110)는 운전자 얼굴의 수평, 수직 방향 움직임을 센싱한다. The first gyro sensor 110 senses horizontal and vertical movements of the driver's face.

RGB 카메라(121)는 운전자의 맥파 정보를 센싱한다. The RGB camera 121 senses pulse wave information of the driver.

제1 CPU(140)는 제1 자이로 센서(110), RGB 카메라(121), 적외선 카메라(122)로부터 운전자 정보를 획득하고, 제1 통신부(130)는 전술한 바와 같이 블루투스 방식으로 운전자 정보를 ECU 모듈(200)로 전송한다. The first CPU 140 obtains driver information from the first gyro sensor 110, the RGB camera 121, and the infrared camera 122, and the first communication unit 130 obtains the driver information using the Bluetooth method as described above. Transmit to ECU module 200.

이하, 도 3을 참조하여, 본 발명의 실시예에 따른 ECU 모듈의 제2 CPU에 대해 설명한다. Hereinafter, the second CPU of the ECU module according to the embodiment of the present invention will be described with reference to FIG. 3.

제2 CPU(220)는 운전자 정보와 차량 주행 정보를 수신하는 입력부(221)와, 운전자 정보 및 차량 주행 정보를 기학습된 분류 모델에 입력시켜 위험 상황 여부 및 운전자 상태를 판단하는 위험운전 판단부(222) 및 경고 제공 명령 신호를 전송하는 출력부(223)를 포함한다. The second CPU 220 inputs an input unit 221 for receiving driver information and vehicle driving information, and a dangerous driving determination unit for determining whether a dangerous situation and a driver state are input by inputting the driver information and vehicle driving information to a previously learned classification model. 222 and an output unit 223 for transmitting a warning providing command signal.

입력부(221)는 운전자 정보 획득 모듈(100)이 획득한 운전자 정보와, CAN Transceiver를 통해 수신한 차량 주행 정보를 수신하여, 이들을 위험운전 판단부(222)로 전달한다. The input unit 221 receives the driver information acquired by the driver information acquisition module 100 and the vehicle driving information received through the CAN transceiver and transmits them to the dangerous driving determination unit 222.

위험운전 판단부(222)는 위험 상황 여부를 판단하는 위험 상황 판단부(222-1)와, 위험 상황 시의 운전자 상태를 분류하여 판별하는 운전자 상태 판단부(222-2)를 포함한다. The dangerous driving determination unit 222 includes a dangerous situation determination unit 222-1 for determining whether or not a dangerous situation, and a driver state determination unit 222-2 for classifying and determining a driver state in a dangerous situation.

위험운전 판단부(222)는 운전자 정보에 포함되는 운전자의 얼굴 움직임 정보와 차량 주행 정보에 포함되는 차량 움직임 정보를 이용하여, 위험 상황 여부를 판단하며, 예컨대, 제1 자이로 센서(110)를 통해 획득된 운전자의 얼굴 움직임이 전방 기준으로 기설정된 각도(예컨대 30도) 이상 왼쪽으로 벗어나는 경우라 하더라도, 제2 자이로 센서(210)를 통해 획득된 주행 차량의 움직임 정보(비교대상 정보)가 좌회전 또는 좌측으로 유턴하는 경우라면, 이를 운전자의 부주의 상태로 판별하지 않고, 정상 상태로 판별한다. The dangerous driving determination unit 222 may determine whether a dangerous situation is performed by using the face movement information of the driver included in the driver information and the vehicle movement information included in the vehicle driving information, for example, through the first gyro sensor 110. Even if the acquired driver's face movement deviates to the left by more than a predetermined angle (for example, 30 degrees) based on the forward basis, the movement information (compare target information) of the driving vehicle acquired through the second gyro sensor 210 is turned left or In the case of making a U-turn to the left, it is determined as a normal state without discriminating it as a careless state of the driver.

위험운전 판단부(222)는 차내에 배치된 별도의 디바이스 또는 운전자 정보 획득 모듈(100)에 배치되는 마이크 등을 통해 차내 사운드 정보를 획득하고, 이를 제1 자이로 센서(110)를 통해 획득된 운전자의 고개 움직임 정보와 융합하여, 운전자 상태를 판단한다. The dangerous driving determination unit 222 acquires sound information in the vehicle through a separate device disposed in the vehicle or a microphone disposed in the driver information acquisition module 100, and obtains the sound information from the vehicle through the first gyro sensor 110. The driver's state is determined by fusion with the head movement information of the camera.

예컨대, 운전자가 동승자와 대화를 하며 동의의 표시로 고개를 끄덕이거나, 음악에 맞춰 고개를 끄덕이는 경우, 졸음 운전으로 오인식될 수 있다.For example, when the driver nods his head as a sign of consent or talks with his passenger, he may be mistaken for drowsy driving.

즉, 제1 자이로 센서(110)를 통해 획득된 운전자의 고개 움직임 정보를 졸음 운전 판단을 위한 단일 팩터로 사용하는 경우, 졸음운전인 것으로 오인식할 수 있기 때문에, 본 발명의 실시예에 따른 위험운전 판단부(222)는 제1 자이로 센서(110)를 통해 획득된 운전자의 고개 움직임 정보에만 의존하지 않고, 이를 비교대상 정보인 차내 사운드 정보와 함께 분류 모델에 입력시킴으로써, 오인식을 방지하는 것이 가능하다. That is, when the head motion information of the driver acquired through the first gyro sensor 110 is used as a single factor for the determination of drowsiness driving, it may be mistaken as drowsy driving, and thus dangerous driving according to an embodiment of the present invention. The determination unit 222 does not rely only on the head movement information of the driver acquired through the first gyro sensor 110, and inputs it to the classification model together with the vehicle sound information, which is the comparison target information, to prevent misrecognition. .

본 발명의 실시예에 따른 분류 모델은 랜덤 포레스트 학습에 따른 복수의 트리 구조를 포함하는 것으로, 위험운전 판단부(222)는 운전자 정보와 차량 주행 정보를 입력 변수로 하는 bagging tree 기반의 분류 모델을 이용하여, 정상 상태, 부주의 상태, 졸음 상태, 예외 상태의 기준으로 분류되는 운전자 상태를 판단한다. The classification model according to an embodiment of the present invention includes a plurality of tree structures according to random forest learning. The dangerous driving determination unit 222 may use a bagging tree-based classification model using driver information and vehicle driving information as input variables. The driver's state is determined by using the normal state, the careless state, the drowsiness state, and the exception state.

위험운전 판단부(222)는 전술한 운전자 정보 및 차량 주행 정보에 대한 전처리 가공을 수행하여 입력 데이터를 산출한다.The dangerous driving determination unit 222 calculates input data by performing preprocessing on the above-described driver information and vehicle driving information.

예컨대 눈 감김 데이터를 가공하여 눈 감긴 시간 및 1분당 눈 감은 시간을 입력 데이터로 산출하고, 이를 분류 모델에 입력시킨다.For example, the closed data is processed to calculate the closed time and the closed time per minute as input data, which is input to the classification model.

하기 [표 2]는 본 발명의 실시예에 따른 bagging tree 기반의 분류 모델에 입력되는 변수를 나열한 것이다. Table 2 below lists the variables input to the bagging tree-based classification model according to an embodiment of the present invention.

No.No. 입력 변수Input variables 설명Explanation 단위unit 취득 모듈Acquisition module 비고Remarks 1One EyeLidOpeningEyeLidOpening 눈 감김Eyes closed 0:미인식, 1:Open, 2:Close0: Unrecognized, 1: Open, 2: Close 적외선
카메라
infrared ray
camera
--
22 Head_Direction_Horizontal_degHead_Direction_Horizontal_deg 얼굴 수평방향 움직임Face horizontal movement DegDeg 자이로 센서Gyro sensor -- 33 HeartRateHeartrate 심박수Heart rate 회/minTimes / min RGB 카메라RGB camera -- 44 VelocityVelocity 속도speed KphKph 차량vehicle -- 55 APSAPS 엑셀페달밟은
정도
Excel pedal
Degree
%% 차량vehicle --
66 Engine_RPMEngine_RPM RpmRpm 77 Brake_SWBrake_SW 0:off, 1:on0: off, 1: on 88 Long_AccelLong_accel 종방향 가속도Longitudinal acceleration m/s2m / s2 차량vehicle -- 99 Lat_AccelLat_accel 횡방향 가속도Lateral acceleration m/s2m / s2 차량vehicle -- 1010 TurnSignalTurnsignal 방향지시등Turn indicator 0:off, 1:on0: off, 1: on 차량vehicle -- 1111 ClacClosedTimesClacClosedTimes 눈 감긴 시간Closed time secsec -- 1번 데이터를
이용하여 가공
1 data
Processing using
1212 ClacPerclosClacPerclos 1분당
눈감은 시간
Per minute
Closed time
-- -- 1번 데이터를
이용하여 가공
1 data
Processing using
1313 ClacDistractionTimesClacDistractionTimes 전방주시
이탈 시간
Forward
Breakaway time
secsec -- 2번 데이터를
이용하여 가공
Data 2
Processing using
1414 ZigzagDetectionZigzagDetection 지그재그 운전 검출Zigzag operation detection 0:not detected, 1:detected0: not detected, 1: detected -- 차량의 ADAS 카메라를 통해 취득된 차선과의 거리를 이용하여 가공Processing using the distance from the lane acquired through the vehicle's ADAS camera 1515 SafeDistanceSafeDistance 안전거리 미확보 검출Safety distance not detected 0:not detected, 1:detected0: not detected, 1: detected -- 차량의 ADAS 카메라를 통해 취득된 전방차량과의 거리를 이용하여 가공Processing using distance from front vehicle acquired through ADAS camera of vehicle 1616 FCWarning_ECUFCWarning_ECU 전방추돌경고Forward collision warning 0:no warning
1:warning
0: no warning
1: warning
차량vehicle
1717 LDWarning_ECULDWarning_ECU 차선이탈경고Lane Departure Warning 0:no warning1:warning0: no warning1: warning 차량vehicle 1818 HR_ClacVariable1HR_ClacVariable1 심박수 변이량Heart rate variability -- -- 3번 데이터를
이용하여 가공
Data 3
Processing using

배깅(bagging)은 bootstrap aggregating의 약자로, 부트스트랩(bootstrap)을 통해 조금씩 다른 훈련 데이터에 대해 훈련된 기초 분류기(base learner)들을 결합(aggregating)시키는 방법이다.Bagging, which stands for bootstrap aggregating, is a method of aggregating trained base learners for slightly different training data through bootstrap.

본 발명의 실시예에 따른 분류 모델로 분류 대상 데이터가 입력되면, 각각의 트리의 분류기에 입력시켜 판단 결과를 산출하고, 각각의 판단 결과를 이용한 voting을 통해 운전자 상태에 대한 최종 판단이 이루어진다. When classification target data is input to a classification model according to an exemplary embodiment of the present invention, a determination result is inputted to a classifier of each tree to calculate a determination result, and a final determination of a driver's state is performed through voting using each determination result.

본 발명의 실시예에 따르면, 위험운전 판단부(222)의 판단 결과는 0(정상 상태), 1(부주의 상태), 2(졸음 상태), 3(예외 상태: 좌/우회전 또는 램프 구간 등)이 될 수 있다. According to an exemplary embodiment of the present invention, the result of the determination of the dangerous driving determination unit 222 may be 0 (normal state), 1 (careless state), 2 (sleepiness state), 3 (exception state: left / right turn or ramp section). This can be

본 발명의 실시예에 따르면, bagging treee는 기설정된 개수(예: 30개)의 Tree구조를 가지며, 이 중 하나의 트리 구조는 다음 [표 3]과 같다. According to an embodiment of the present invention, the bagging treee has a predetermined number of tree structures (for example, 30), one of which is shown in Table 3 below.

1 if LDWarning_ECU<2 then node 2 elseif LDWarning_ECU>=2 then node 3 else 0
2 if Long_Accel<5.82231 then node 4 elseif Long_Accel>=5.82231 then node 5 else 0
3 if HeartRate<88.5 then node 6 elseif HeartRate>=88.5 then node 7 else 3
4 if ClacPerclos<0.369167 then node 8 elseif ClacPerclos>=0.369167 then node 9 else 0
5 if Velocity<60.5 then node 10 elseif Velocity>=60.5 then node 11 else 0
6 if Velocity<59.5 then node 12 elseif Velocity>=59.5 then node 13 else 3
7 if ClacPerclos<0.558333 then node 14 elseif ClacPerclos>=0.558333 then node 15 else 0
8 if ClacPerclos<0.220833 then node 16 elseif ClacPerclos>=0.220833 then node 17 else 0
9 if ClacClosedTimes<0.04585 then node 18 elseif ClacClosedTimes>=0.04585 then node 19 else 0
10 if EyeLidOpening<1.5 then node 20 elseif EyeLidOpening>=1.5 then node 21 else 0
11 if EyeLidOpening<1.5 then node 22 elseif EyeLidOpening>=1.5 then node 23 else 0
12 if Engine_RPM<1223.5 then node 24 elseif Engine_RPM>=1223.5 then node 25 else 0
13 if HR_ClacVariable1<5.9691 then node 26 elseif HR_ClacVariable1>=5.9691 then node 27 else 3
14 if Engine_RPM<1260 then node 28 elseif Engine_RPM>=1260 then node 29 else 0
15 if HR_ClacVariable1<7.05243 then node 30 elseif HR_ClacVariable1>=7.05243 then node 31 else 2
16 if Engine_RPM<275 then node 32 elseif Engine_RPM>=275 then node 33 else 0
17 if Engine_RPM<1567 then node 34 elseif Engine_RPM>=1567 then node 35 else 0
18 if FCWarning_ECU<0.5 then node 36 elseif FCWarning_ECU>=0.5 then node 37 else 0
19 if Head_Direction_Horizontal_deg<-0.5 then node 38 elseif Head_Direction_Horizontal_deg>=-0.5 then node 39 else 0
20 if Engine_RPM<806.5 then node 40 elseif Engine_RPM>=806.5 then node 41 else 0
21 if Velocity<38.5 then node 42 elseif Velocity>=38.5 then node 43 else 0
22 if Head_Direction_Horizontal_deg<-6.5 then node 44 elseif Head_Direction_Horizontal_deg>=-6.5 then node 45 else 0
23 if ClacPerclos<0.300833 then node 46 elseif ClacPerclos>=0.300833 then node 47 else 0
24 if HeartRate<55.5 then node 48 elseif HeartRate>=55.5 then node 49 else 0
25 if APS<47 then node 50 elseif APS>=47 then node 51 else 2
26 if TurnSignal<0.5 then node 52 elseif TurnSignal>=0.5 then node 53 else 3
27 if Head_Direction_Horizontal_deg<-69.5 then node 54 elseif Head_Direction_Horizontal_deg>=-69.5 then node 55 else 3
28 if HeartRate<90.5 then node 56 elseif HeartRate>=90.5 then node 57 else 2
29 if APS<19 then node 58 elseif APS>=19 then node 59 else 0
...
69679 if HeartRate<69.5 then node 69696 elseif HeartRate>=69.5 then node 69697 else 3
69680 class = 0
69681 class = 2
69682 if Head_Direction_Horizontal_deg<-1 then node 69698 elseif Head_Direction_Horizontal_deg>=-1 then node 69699 else 3
69683 class = 3
69684 class = 0
69685 class = 3
69686 class = 3
69687 if Engine_RPM<1284.5 then node 69700 elseif Engine_RPM>=1284.5 then node 69701 else 2
69688 class = 0
69689 class = 3
69690 class = 3
69691 class = 0
69692 if ClacPerclos<0.233333 then node 69702 elseif ClacPerclos>=0.233333 then node 69703 else 2
69693 if ClacPerclos<0.2275 then node 69704 elseif ClacPerclos>=0.2275 then node 69705 else 0
69694 class = 0
69695 class = 2
69696 class = 0
69697 class = 3
69698 class = 3
69699 if ClacPerclos<0.314167 then node 69706 elseif ClacPerclos>=0.314167 then node 69707 else 0
69700 class = 2
69701 if Velocity<71.5 then node 69708 elseif Velocity>=71.5 then node 69709 else 2
69702 class = 0
69703 class = 2
69704 class = 0
69705 if Lat_Accel<155.364 then node 69710 elseif Lat_Accel>=155.364 then node 69711 else 0
69706 class = 0
69707 class = 3
69708 class = 0
69709 if Head_Direction_Horizontal_deg<-1 then node 69712 elseif Head_Direction_Horizontal_deg>=-1 then node 69713 else 2
69710 class = 0
69711 class = 2
69712 class = 2
69713 if HR_ClacVariable1<1.38248 then node 69714 elseif HR_ClacVariable1>=1.38248 then node 69715 else 2
69714 class = 3
69715 class = 2
1 if LDWarning_ECU <2 then node 2 elseif LDWarning_ECU> = 2 then node 3 else 0
2 if Long_Accel <5.82231 then node 4 elseif Long_Accel> = 5.82231 then node 5 else 0
3 if HeartRate <88.5 then node 6 elseif HeartRate> = 88.5 then node 7 else 3
4 if ClacPerclos <0.369167 then node 8 elseif ClacPerclos> = 0.369167 then node 9 else 0
5 if Velocity <60.5 then node 10 elseif Velocity> = 60.5 then node 11 else 0
6 if Velocity <59.5 then node 12 elseif Velocity> = 59.5 then node 13 else 3
7 if ClacPerclos <0.558333 then node 14 elseif ClacPerclos> = 0.558333 then node 15 else 0
8 if ClacPerclos <0.220833 then node 16 elseif ClacPerclos> = 0.220833 then node 17 else 0
9 if ClacClosedTimes <0.04585 then node 18 elseif ClacClosedTimes> = 0.04585 then node 19 else 0
10 if EyeLidOpening <1.5 then node 20 elseif EyeLidOpening> = 1.5 then node 21 else 0
11 if EyeLidOpening <1.5 then node 22 elseif EyeLidOpening> = 1.5 then node 23 else 0
12 if Engine_RPM <1223.5 then node 24 elseif Engine_RPM> = 1223.5 then node 25 else 0
13 if HR_ClacVariable1 <5.9691 then node 26 elseif HR_ClacVariable1> = 5.9691 then node 27 else 3
14 if Engine_RPM <1260 then node 28 elseif Engine_RPM> = 1260 then node 29 else 0
15 if HR_ClacVariable1 <7.05243 then node 30 elseif HR_ClacVariable1> = 7.05243 then node 31 else 2
16 if Engine_RPM <275 then node 32 elseif Engine_RPM> = 275 then node 33 else 0
17 if Engine_RPM <1567 then node 34 elseif Engine_RPM> = 1567 then node 35 else 0
18 if FCWarning_ECU <0.5 then node 36 elseif FCWarning_ECU> = 0.5 then node 37 else 0
19 if Head_Direction_Horizontal_deg <-0.5 then node 38 elseif Head_Direction_Horizontal_deg> =-0.5 then node 39 else 0
20 if Engine_RPM <806.5 then node 40 elseif Engine_RPM> = 806.5 then node 41 else 0
21 if Velocity <38.5 then node 42 elseif Velocity> = 38.5 then node 43 else 0
22 if Head_Direction_Horizontal_deg <-6.5 then node 44 elseif Head_Direction_Horizontal_deg> =-6.5 then node 45 else 0
23 if ClacPerclos <0.300833 then node 46 elseif ClacPerclos> = 0.300833 then node 47 else 0
24 if HeartRate <55.5 then node 48 elseif HeartRate> = 55.5 then node 49 else 0
25 if APS <47 then node 50 elseif APS> = 47 then node 51 else 2
26 if TurnSignal <0.5 then node 52 elseif TurnSignal> = 0.5 then node 53 else 3
27 if Head_Direction_Horizontal_deg <-69.5 then node 54 elseif Head_Direction_Horizontal_deg> =-69.5 then node 55 else 3
28 if HeartRate <90.5 then node 56 elseif HeartRate> = 90.5 then node 57 else 2
29 if APS <19 then node 58 elseif APS> = 19 then node 59 else 0
...
69679 if HeartRate <69.5 then node 69696 elseif HeartRate> = 69.5 then node 69697 else 3
69680 class = 0
69681 class = 2
69682 if Head_Direction_Horizontal_deg <-1 then node 69698 elseif Head_Direction_Horizontal_deg> =-1 then node 69699 else 3
69683 class = 3
69684 class = 0
69685 class = 3
69686 class = 3
69687 if Engine_RPM <1284.5 then node 69700 elseif Engine_RPM> = 1284.5 then node 69701 else 2
69688 class = 0
69689 class = 3
69690 class = 3
69691 class = 0
69692 if ClacPerclos <0.233333 then node 69702 elseif ClacPerclos> = 0.233333 then node 69703 else 2
69693 if ClacPerclos <0.2275 then node 69704 elseif ClacPerclos> = 0.2275 then node 69705 else 0
69694 class = 0
69695 class = 2
69696 class = 0
69697 class = 3
69698 class = 3
69699 if ClacPerclos <0.314167 then node 69706 elseif ClacPerclos> = 0.314167 then node 69707 else 0
69700 class = 2
69701 if Velocity <71.5 then node 69708 elseif Velocity> = 71.5 then node 69709 else 2
69702 class = 0
69703 class = 2
69704 class = 0
69705 if Lat_Accel <155.364 then node 69710 elseif Lat_Accel> = 155.364 then node 69711 else 0
69706 class = 0
69707 class = 3
69708 class = 0
69709 if Head_Direction_Horizontal_deg <-1 then node 69712 elseif Head_Direction_Horizontal_deg> =-1 then node 69713 else 2
69710 class = 0
69711 class = 2
69712 class = 2
69713 if HR_ClacVariable1 <1.38248 then node 69714 elseif HR_ClacVariable1> = 1.38248 then node 69715 else 2
69714 class = 3
69715 class = 2

본 발명의 실시예에 따른 위험운전 판단부(222)는 전술한 바와 같이 기설정된 개수의 Tree구조에서 출력된 결과를 통해, vote 방식으로 최종 운전자 상태에 대한 판단을 수행한다. The dangerous driving determination unit 222 according to the exemplary embodiment of the present invention performs the determination on the final driver state by a vote method through the result output from the predetermined number of Tree structures as described above.

예를 들어, 주행 차량의 속도가 60kph이고, 운전자가 눈을 계속 감고 있는 상황에서 ClacClosedTimes가 5초 이상이면 졸음상태인 것으로 판단한다.For example, when the speed of the traveling vehicle is 60 kph and the driver keeps his eyes closed, if ClacClosedTimes is 5 seconds or more, it is determined that he is drowsy.

또한 같은 차속에서 ClacPerclos가 0.4 이상이고, HR_ClacVariable1이 10이상이면 졸음으로 판단한다. 또한, 같은 차속에서 Head_Direction_Horizontal_deg가 30 이상인 상태에서 ClacDistractionTimes이 3초 이상이면, 부주의 상태인 것으로 판단한다. In the same vehicle speed, if ClacPerclos is more than 0.4 and HR_ClacVariable1 is more than 10, it is judged as drowsiness. In addition, if the ClacDistractionTimes is 3 seconds or more in a state where Head_Direction_Horizontal_deg is 30 or more at the same vehicle speed, it is determined that the vehicle is in a careless state.

본 발명의 실시예에 따른 위험운전 판단부(222)는 다양한 도로에서의 노면의 진동 크기, 주/야간 주행 시간대, 터널 주행 상황 등 다양한 차량의 주행 상황을 고려하여 분류 모델에 포함되는 트리 구조 중 운전자 상태 판단을 위한 트리를 선별하여 채택한다. The dangerous driving determination unit 222 according to an embodiment of the present invention is a tree structure included in the classification model in consideration of driving conditions of various vehicles such as road oscillation magnitude, day / night driving time zone, tunnel driving situation, etc. on various roads. Select and adopt tree for driver status judgment.

주행 차량의 운전자 상태 정보를 판단하여 그 상황에 따라 경고를 제공하기 위해서는, 짧은 연산 속도뿐 아니라 신뢰성 있는 판단 결과를 동시에 확보하는 것이 중요하다.In order to determine driver status information of a traveling vehicle and provide a warning according to the situation, it is important to secure not only a short calculation speed but also a reliable judgment result.

따라서, 주행 환경을 고려하여 볼 때, 신뢰성이 떨어질 것으로 예측되는 트리 구조는 제외시키고, 나머지 트리 구조의 운전자 상태 판단을 수행함으로써, 연산 속도의 향상뿐 아니라 판단 결과에 대한 신뢰성을 높이는 것이 가능하다. Accordingly, in consideration of the driving environment, it is possible to exclude the tree structure predicted to be unreliable and to perform the driver state determination of the remaining tree structure, thereby improving not only the operation speed but also the reliability of the determination result.

다른 실시예로서, 위험운전 판단부(222)는 운전자 상태를 최종적으로 판단함에 있어서, 주행 환경 정보를 고려하여 각 트리 구조로부터 산출되는 vote 결과에 상이한 가중치를 부여하는 것이 가능하다. In another exemplary embodiment, the dangerous driving determination unit 222 may give different weights to vote results calculated from each tree structure in consideration of driving environment information in finally determining a driver's state.

예컨대, 노면의 진동이 심한 경우에는 제1 자이로 센서(110)를 이용하여 획득된 운전자의 얼굴 움직임 정보를 입력 변수로 하는 트리 구조에 의해 산출되는 결과에 상대적으로 낮은 가중치를 부여한다.For example, when the road surface vibration is severe, a relatively low weight is given to a result calculated by a tree structure having the driver's face motion information obtained using the first gyro sensor 110 as an input variable.

즉, 운전자의 상태에 대한 최종 판단을 수행함에 있어서, 각 트리 구조로부터 산출되는 결과를 동일한 비중으로 산입하는 것이 아니라, 해당 주행 환경에서 신뢰성이 높을 것으로 기대되는 트리 구조의 결과에 대해서는 상대적으로 높은 가중치를 부여하고, 이를 최종 판단에 적용함으로써, vote 방식으로 산출되는 운전자 상태에 대한 최종 판단 결과의 신뢰성을 높이는 효과가 있다. In other words, in performing the final judgment on the driver's condition, the result calculated from each tree structure is not counted with the same weight, but the weight of the tree structure that is expected to be highly reliable in the driving environment is relatively high. And by applying this to the final judgment, it is effective to increase the reliability of the final judgment result for the driver state calculated by the vote method.

도 4는 본 발명의 실시예에 따른 위험 운전 방지 방법을 나타내는 순서도이다. 4 is a flowchart illustrating a dangerous driving prevention method according to an exemplary embodiment of the present invention.

본 발명의 실시예에 따른 위험 운전 방지 방법은 운전자 정보 및 차량의 주행 정보를 획득하는 단계(S100)와, 운전자 정보, 차량의 주행 정보와 기학습된 분류 모델을 이용하여 위험상황 여부와 운전자의 상태 판단 결과를 산출하는 단계(S200) 및 운전자의 상태 판단 결과가 부주의 운전 또는 졸음 운전에 해당하는 경우, 경고를 제공하는 단계(S300)를 포함한다. According to an embodiment of the present invention, a method for preventing dangerous driving includes obtaining driver information and driving information of a vehicle (S100), using driver information, driving information of a vehicle, and a classification model that has been learned. Calculating a state determination result (S200); and providing a warning (S300) when the state determination result of the driver corresponds to careless driving or drowsy driving.

S100 단계는 운전자 정보 획득 모듈로부터 운전자의 얼굴 움직임 정보, 눈 감김 정보, 심박수 정보 중 적어도 어느 하나를 포함하는 운전자 정보를 획득한다. In operation S100, driver information including at least one of driver's face movement information, eye closure information, and heart rate information is acquired from the driver information acquisition module.

전술한 바와 같이, 운전자 정보 획득 모듈은 안경 타입인 것으로, 제1 자이로 센서, 적외선 카메라, RGB 카메라를 포함하여 운전자 정보를 획득하는 것이 가능하며, 다른 실시예로서 안경 타입의 운전자 정보 획득 모듈에는 제1 자이로 센서가 배치되고, 운전자의 안구 정보와 심박수 정보는 차내 별도 배치되는 카메라 또는 별도의 웨어러블 디바이스로부터 획득되는 것 역시 가능하다. As described above, the driver information acquisition module may be a glasses type, and may acquire driver information including a first gyro sensor, an infrared camera, and an RGB camera. One gyro sensor is arranged, the eye information and heart rate information of the driver can also be obtained from a camera or a separate wearable device that is disposed separately in the vehicle.

S200 단계는 차량의 움직임 정보 또는 차내 사운드 정보를 이용하여 운전자의 얼굴 움직임이 경고 대상인지 여부를 판단한다. Step S200 determines whether the driver's face movement is a warning target by using the movement information of the vehicle or the sound information in the vehicle.

운전자의 고개가 끄덕거리는 것은 졸음 운전의 경우뿐 아니라, 동승자와 대화를 하며 동의를 할 때 이루어질 수도 있고, 음악을 틀고 그에 따라 고개를 끄덕거리는 것일 수도 있다. The driver's nod may be made not only in the case of drowsy driving, but also when talking and agreeing with a passenger, or playing music and nodding accordingly.

따라서, S200 단계는 제2 자이로 센서를 통해 획득된 차량의 움직임 정보 또는 별도의 마이크를 통해 획득되는 차내 사운드 정보를 비교대상 정보로 이용함으로써, 제1 자이로 센서를 통해 획득되는 운전자의 고개 움직임 정보가 졸음 운전 판단을 위한 유의미한 팩터인지 여부를 확인한다. Therefore, in step S200, the motion information of the driver's head obtained through the first gyro sensor is obtained by using the vehicle's motion information obtained through the second gyro sensor or the in-car sound information obtained through a separate microphone as the comparison target information. Determine whether this is a significant factor for determining drowsy driving.

S200 단계는 랜덤 포레스트 학습에 따른 복수의 트리 구조를 포함하는 분류 모델을 이용하여, 정상 상태, 부주의 상태, 졸음 상태 및 예외 상태의 분류를 기준으로 운전자의 상태를 판단한다. In step S200, the driver's state is determined based on the classification of the normal state, the careless state, the drowsiness state, and the exception state using a classification model including a plurality of tree structures according to random forest learning.

S200 단계는 운전자 정보 및 차량 주행 정보를 입력 변수로 하는 bagging tree 기반의 분류 모델을 이용하여 운전자 상태를 판단하며, 이 때 차량의 주행 상황을 고려하여 분류 모델에 포함되는 트리 중 해당 주행 상황에서 신뢰성이 높을 것으로 기대되는 트리를 선별하여 채택하거나, 해당 주행 상황을 고려하여 각 트리 구조로부터 산출되는 vote 결과에 상이한 가중치를 부여하고 최종 판단을 수행함으로써, 연산 속도 향상 및 판단 결과에 대한 신뢰성 확보 효과가 있다. In step S200, the driver state is determined using a classification model based on bagging tree using the driver information and vehicle driving information as input variables, and at this time, the reliability of the driving condition among the trees included in the classification model is considered in consideration of the driving conditions of the vehicle. By selecting and adopting the tree that is expected to be high, or by assigning different weights to the vote result calculated from each tree structure in consideration of the driving situation and performing the final judgment, it is possible to improve the computation speed and secure the reliability of the judgment result. have.

S300 단계는 운전자 상태가 부주의 운전 또는 졸음 운전인 경우, 경고를 제공하는 것으로, 경고는 운전자 정보 획득 모듈에 배치된 스피커 또는 진동체를 통해 제공되거나, 차량 내 디바이스를 활용하여 경고음, 시트 진동, 경고 메시지 등의 방식으로 제공되는 것이 가능하다. The step S300 is to provide a warning when the driver's condition is inadvertent driving or drowsy driving, and the warning is provided through a speaker or a vibrating body disposed in the driver information acquisition module, or by utilizing a device in the vehicle, warning sounds, seat vibrations, and warnings. It is possible to be provided in a manner such as a message.

S300 단계는 운전자에게 경고를 제공함과 더불어, 차량의 자율주행 시스템에 운전 제어권 이양이 필요하다는 요청 신호를 전송하여, 부주의 또는 졸음 운전 상태에서 자율주행으로 전환되도록 한다.The step S300 provides a warning to the driver, and also transmits a request signal to the autonomous driving system of the vehicle to request the transfer of driving control, so that the vehicle can be converted to autonomous driving from a careless or drowsy driving state.

이제까지 본 발명의 실시예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다. So far looked at the center of the embodiments of the present invention. Those skilled in the art will appreciate that the present invention can be implemented in a modified form without departing from the essential features of the present invention. Therefore, the disclosed embodiments should be considered in descriptive sense only and not for purposes of limitation. The scope of the present invention is shown in the claims rather than the foregoing description, and all differences within the scope will be construed as being included in the present invention.

100: 운전자 정보 획득 모듈 110: 제1 자이로 센서
120: 카메라 121: RGB 카메라
122: 적외선 카메라 130: 제1 통신부
140: 제1 CPU 150: 배터리
200: ECU 모듈 210: 제2 자이로 센서
220: 제2 CPU 221: 입력부
222: 위험운전 판단부 222-1: 위험상황 판단부
222-2: 운전자 상태 판단부 223: 출력부
230: 제2 통신부
100: driver information acquisition module 110: first gyro sensor
120: camera 121: RGB camera
122: infrared camera 130: first communication unit
140: first CPU 150: battery
200: ECU module 210: second gyro sensor
220: second CPU 221: input unit
222: Dangerous driving judgment unit 222-1: Dangerous situation determination unit
222-2: driver state determination unit 223: output unit
230: second communication unit

Claims (16)

운전자 정보를 획득하는 운전자 정보 획득 모듈; 및
상기 운전자 정보, 차량 주행 정보와 기학습된 분류 모델을 이용하여 운전자 상태를 판단하고, 부주의 운전 또는 졸음 운전에 대한 경고를 제공하는 ECU 모듈
을 포함하는 위험 운전 방지 시스템.
A driver information obtaining module for obtaining driver information; And
ECU module for determining the driver's condition by using the driver information, vehicle driving information and the pre-learned classification model and providing a warning about careless driving or drowsy driving
Dangerous driving prevention system comprising a.
제1항에 있어서,
상기 운전자 정보 획득 모듈은 얼굴의 움직임 정보, 눈 감김 정보, 심박수 정보 중 적어도 어느 하나를 획득하여 이를 상기 ECU 모듈로 전송하는 것
인 위험 운전 방지 시스템.
The method of claim 1,
The driver information obtaining module obtains at least one of face motion information, eye closure information, and heart rate information and transmits it to the ECU module.
Dangerous driving prevention system.
제1항에 있어서,
상기 ECU 모듈은 상기 운전자 정보 및 차량 주행 정보를 상기 기학습된 분류 모델에 입력시키되, 상기 기학습된 분류 모델은 랜덤 포레스트 학습에 따른 복수의 트리 구조를 포함하는 것
인 위험 운전 방지 시스템.
The method of claim 1,
The ECU module inputs the driver information and vehicle driving information to the previously learned classification model, wherein the previously learned classification model includes a plurality of tree structures according to random forest learning.
Dangerous driving prevention system.
제3항에 있어서,
상기 ECU 모듈은 상기 운전자 정보 및 차량 주행 정보를 입력 변수로 하는 bagging tree기반의 분류 모델을 이용하여 상기 운전자 상태를 판단하되, 정상 상태, 부주의 상태, 졸음 상태, 예외 상태로 상기 운전자 상태를 분류하여 판단하는 것
인 위험 운전 방지 시스템.
The method of claim 3,
The ECU module determines the driver state by using a bagging tree-based classification model using the driver information and vehicle driving information as input variables, and classifies the driver state into a normal state, a careless state, a drowsy state, and an exception state. Judging
Dangerous driving prevention system.
제3항에 있어서,
상기 ECU 모듈은 비교대상 정보와, 상기 운전자 정보 획득 모듈에 포함되는 제1 자이로 센서를 이용하여 획득한 운전자의 고개 움직임 정보를 이용하여, 상기 고개 움직임 정보가 경고 대상인지 여부를 판단하고, 상기 비교대상 정보는 제2 자이로 센서를 이용하여 획득된 차량의 움직임 정보이거나, 차내 사운드 정보인 것
인 위험 운전 방지 시스템.
The method of claim 3,
The ECU module determines whether the head motion information is a warning object by using comparison object information and head motion information of a driver acquired using a first gyro sensor included in the driver information acquisition module, and compares the head motion information with a warning object. The target information is motion information of the vehicle acquired using the second gyro sensor or sound information of the vehicle.
Dangerous driving prevention system.
제3항에 있어서,
상기 ECU 모듈은 주행 환경 정보를 고려하여 상기 기학습된 분류 모델에 포함되는 트리 구조를 선별하여 채택하는 것
인 위험 운전 방지 시스템.
The method of claim 3,
The ECU module selects and adopts a tree structure included in the previously learned classification model in consideration of driving environment information.
Dangerous driving prevention system.
(a) 운전자 정보 및 차량의 주행 정보를 획득하는 단계;
(b) 상기 운전자 정보, 차량의 주행 정보와 기학습된 분류 모델을 이용하여 위험상황 여부와 운전자의 상태 판단 결과를 산출하는 단계; 및
(c) 상기 운전자의 상태 판단 결과가 부주의 운전 또는 졸음 운전에 해당하는 경우, 경고를 제공하는 단계
를 포함하는 위험 운전 방지 방법.
(a) obtaining driver information and driving information of the vehicle;
(b) calculating a risk situation and a driver's state determination result using the driver information, driving information of the vehicle, and a previously learned classification model; And
(c) providing a warning if the driver's state determination result corresponds to inadvertent driving or drowsy driving;
Dangerous driving prevention method comprising a.
제7항에 있어서,
상기 (a) 단계는 운전자의 얼굴 움직임 정보, 눈 감김 정보, 심박수 정보 중 적어도 어느 하나를 포함하는 상기 운전자 정보를 획득하는 것
인 위험 운전 방지 방법.
The method of claim 7, wherein
In the step (a), obtaining the driver information including at least one of a driver's face movement information, eye closure information, and heart rate information.
To prevent dangerous driving.
제7항에 있어서,
상기 (b) 단계는 차량의 움직임 정보 또는 차내 사운드 정보를 이용하여 상기 운전자의 얼굴 움직임이 경고 대상인지 여부를 판단하는 것
인 위험 운전 방지 방법.
The method of claim 7, wherein
In the step (b), it is determined whether the driver's face movement is a warning target by using the movement information of the vehicle or the sound information of the vehicle.
To prevent dangerous driving.
제7항에 있어서,
상기 (b) 단계는 랜덤 포레스트 학습에 따른 복수의 트리 구조를 포함하는 상기 분류 모델을 이용하여, 정상 상태, 부주의 상태, 졸음 상태 및 예외 상태의 분류에 대하여 상기 운전자의 상태를 판단하는 것
인 위험 운전 방지 방법.
The method of claim 7, wherein
Step (b) is to determine the driver's state with respect to the classification of steady state, careless state, drowsiness state and exception state using the classification model including a plurality of tree structures according to random forest learning.
To prevent dangerous driving.
제10항에 있어서,
상기 (b) 단계는 주행 환경 정보를 고려하여 상기 기학습된 분류 모델에 포함되는 로직을 선별하여 채택하고, 상기 운전자의 상태 판단 결과를 산출하는 것
인 위험 운전 방지 방법.
The method of claim 10,
In step (b), the logic included in the previously learned classification model is selected in consideration of driving environment information, and the result of determining the state of the driver is calculated.
To prevent dangerous driving.
제7항에 있어서,
상기 (c) 단계는 상기 경고를 차량 내 디바이스 또는 운전자의 웨어러블 디바이스를 통해 제공하는 것
인 위험 운전 방지 방법.
The method of claim 7, wherein
In step (c), the warning is provided through a device in a vehicle or a wearable device of a driver.
To prevent dangerous driving.
운전자 정보와 차량 주행 정보를 수신하는 입력부;
상기 운전자 정보 및 차량 주행 정보를 기학습된 분류 모델에 입력시켜 위험 상황 여부 및 운전자 상태를 판단하는 위험운전 판단부; 및
상기 위험 상황 여부 및 운전자 상태에 대한 판단 결과에 따른 경고 제공 명령 신호를 전송하는 출력부
를 포함하는 위험 운전 방지 ECU 모듈.
An input unit to receive driver information and vehicle driving information;
A dangerous driving determination unit configured to input the driver information and the vehicle driving information into a classification model learned in advance to determine whether a dangerous situation and a driver state are present; And
Output unit for transmitting a warning providing command signal according to the determination result of the dangerous situation and the driver status
Dangerous driving prevention ECU module comprising a.
제13항에 있어서,
상기 위험운전 판단부는 상기 운전자 정보에 포함되는 운전자의 얼굴 움직임 정보와 상기 차량 주행 정보에 포함되는 차량 움직임 정보를 이용하여, 상기 위험 상황 여부를 판단하는 것
인 위험 운전 방지 ECU 모듈.
The method of claim 13,
The dangerous driving determination unit determines whether the dangerous situation using the face movement information of the driver included in the driver information and the vehicle movement information included in the vehicle driving information.
Dangerous driving prevention ECU module.
제13항에 있어서,
상기 위험운전 판단부는 상기 운전자 정보와 차량 주행 정보를 입력 변수로 하는 bagging tree 기반의 분류 모델을 이용하여, 정상 상태, 부주의 상태, 졸음 상태, 예외 상태로 분류되는 상기 운전자 상태를 판단하는 것
인 위험 운전 방지 ECU 모듈.
The method of claim 13,
The dangerous driving determination unit determines a driver state classified into a normal state, a careless state, a drowsiness state, and an exception state using a bagging tree based classification model using the driver information and vehicle driving information as input variables.
Dangerous driving prevention ECU module.
제13항에 있어서,
상기 위험운전 판단부는 주행 환경 정보를 고려하여 상기 분류 모델에 포함되는 트리 구조 중 운전자 상태 판단을 위한 트리를 선별하여 채택하는 것
인 위험 운전 방지 ECU 모듈.
The method of claim 13,
The dangerous driving determination unit selects and adopts a tree for determining a driver's state among tree structures included in the classification model in consideration of driving environment information.
Dangerous driving prevention ECU module.
KR1020180094145A 2018-08-13 2018-08-13 System and method for representing dangerous driving KR102573904B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180094145A KR102573904B1 (en) 2018-08-13 2018-08-13 System and method for representing dangerous driving

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180094145A KR102573904B1 (en) 2018-08-13 2018-08-13 System and method for representing dangerous driving

Publications (2)

Publication Number Publication Date
KR20200018838A true KR20200018838A (en) 2020-02-21
KR102573904B1 KR102573904B1 (en) 2023-09-01

Family

ID=69670958

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180094145A KR102573904B1 (en) 2018-08-13 2018-08-13 System and method for representing dangerous driving

Country Status (1)

Country Link
KR (1) KR102573904B1 (en)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102192881B1 (en) * 2020-05-18 2020-12-18 주식회사 버틀러 System and method for analyzing service of driver
KR102249816B1 (en) * 2020-05-18 2021-05-10 주식회사 버틀러 System and method for providing driving service of driver
CN114132329A (en) * 2021-12-10 2022-03-04 智己汽车科技有限公司 Driver attention maintaining method and system
KR20220063021A (en) * 2020-11-09 2022-05-17 주식회사 엘지유플러스 Apparatus for processing danger notice, control method thereof
KR20230118376A (en) * 2022-02-04 2023-08-11 라온피플 주식회사 Method and apparatus for detecting drowsy driving

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140127977A (en) * 2013-04-26 2014-11-05 주식회사 라이프사이언스테크놀로지 Apparatus for Judgment of Drowsy Driving using Bio Signal
KR20150085335A (en) * 2014-01-15 2015-07-23 한국전자통신연구원 Big Data based UX Learning Test Bed System for Interaction between Driver and Car
US20170071495A1 (en) * 2013-04-22 2017-03-16 Personal Neuro Devices Inc. Methods and devices for brain activity monitoring supporting mental state development and training
KR20170136887A (en) * 2016-06-02 2017-12-12 한국산업기술대학교산학협력단 Method for recognizing driver's drowsiness, and apparatus for recognizing drowsiness
KR20180055643A (en) * 2016-11-16 2018-05-25 삼성전자주식회사 Method and device for generating information regarding driving assistance

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170071495A1 (en) * 2013-04-22 2017-03-16 Personal Neuro Devices Inc. Methods and devices for brain activity monitoring supporting mental state development and training
KR20140127977A (en) * 2013-04-26 2014-11-05 주식회사 라이프사이언스테크놀로지 Apparatus for Judgment of Drowsy Driving using Bio Signal
KR20150085335A (en) * 2014-01-15 2015-07-23 한국전자통신연구원 Big Data based UX Learning Test Bed System for Interaction between Driver and Car
KR20170136887A (en) * 2016-06-02 2017-12-12 한국산업기술대학교산학협력단 Method for recognizing driver's drowsiness, and apparatus for recognizing drowsiness
KR20180055643A (en) * 2016-11-16 2018-05-25 삼성전자주식회사 Method and device for generating information regarding driving assistance

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102192881B1 (en) * 2020-05-18 2020-12-18 주식회사 버틀러 System and method for analyzing service of driver
KR102249816B1 (en) * 2020-05-18 2021-05-10 주식회사 버틀러 System and method for providing driving service of driver
KR20220063021A (en) * 2020-11-09 2022-05-17 주식회사 엘지유플러스 Apparatus for processing danger notice, control method thereof
CN114132329A (en) * 2021-12-10 2022-03-04 智己汽车科技有限公司 Driver attention maintaining method and system
CN114132329B (en) * 2021-12-10 2024-04-12 智己汽车科技有限公司 Driver attention maintaining method and system
KR20230118376A (en) * 2022-02-04 2023-08-11 라온피플 주식회사 Method and apparatus for detecting drowsy driving

Also Published As

Publication number Publication date
KR102573904B1 (en) 2023-09-01

Similar Documents

Publication Publication Date Title
KR102573904B1 (en) System and method for representing dangerous driving
US10338584B2 (en) Autonomous driving control system for vehicle
US10246014B2 (en) System and method for driver distraction determination
JP7424305B2 (en) Information processing device, information processing method, and program
JP7080598B2 (en) Vehicle control device and vehicle control method
CN106663377B (en) The driving of driver is unable to condition checkout gear
CN111361552B (en) Automatic driving system
US11685390B2 (en) Assistance method and assistance system and assistance device using assistance method that execute processing relating to a behavior model
US20160355190A1 (en) Driving assist device
CN106471556A (en) The driving of driver is unable to condition checkout gear
US10528833B1 (en) Health monitoring system operable in a vehicle environment
JP6693427B2 (en) Driver status detector
US10558875B2 (en) System and method for determining state of driver
JP2015099406A (en) Driving support device
KR20190143074A (en) Apparatus and method for monitoring vehicle operation
JP5493451B2 (en) Degree of consciousness determination device and alarm device
WO2019137913A1 (en) Method for crash prevention for an automotive vehicle comprising a driving support system
US20230277404A1 (en) System and method for guiding visually impaired person for walking using 3d sound point
KR101344885B1 (en) The apparatus of safety driving for vehicle and method for controlling the same
KR20220014945A (en) System and method for monitering driver
RU2703341C1 (en) Method for determining hazardous conditions on public roads based on monitoring the situation in the cabin of a vehicle
JP2012018527A (en) Vehicle state recording device
JP2021014235A (en) Vehicle notification control device and vehicle notification control method
US20220319201A1 (en) Act-of-looking-aside determination device
JP2019008800A (en) Detector of driving disabled state of driver

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant