KR101500010B1 - Sensing System of driver's sleepiness and tireness - Google Patents

Sensing System of driver's sleepiness and tireness Download PDF

Info

Publication number
KR101500010B1
KR101500010B1 KR1020090115603A KR20090115603A KR101500010B1 KR 101500010 B1 KR101500010 B1 KR 101500010B1 KR 1020090115603 A KR1020090115603 A KR 1020090115603A KR 20090115603 A KR20090115603 A KR 20090115603A KR 101500010 B1 KR101500010 B1 KR 101500010B1
Authority
KR
South Korea
Prior art keywords
driver
state
determination unit
reaction
preceding vehicle
Prior art date
Application number
KR1020090115603A
Other languages
Korean (ko)
Other versions
KR20110059019A (en
Inventor
정호철
이병준
김삼용
Original Assignee
현대자동차주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 현대자동차주식회사 filed Critical 현대자동차주식회사
Priority to KR1020090115603A priority Critical patent/KR101500010B1/en
Publication of KR20110059019A publication Critical patent/KR20110059019A/en
Application granted granted Critical
Publication of KR101500010B1 publication Critical patent/KR101500010B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02—Alarms for ensuring the safety of persons
    • G08B21/06—Alarms for ensuring the safety of persons indicating a condition of sleep, e.g. anti-dozing alarms

Abstract

본 발명의 운전자 졸음 및 피로 감지 시스템은 운전자의 상태를 관찰하는 카메라와 상기 운전자 상태를 다수의 레벨로 판단하는 제 1 판단부와 상기 운전자의 반응특성을 추출하는 레이더부와 상기 운전자의 반응특성을 다수의 레벨로 판단하는 제 2 판단부 및 상기 운전자의 상태 및 상기 운전자의 반응상태를 감지하여 경보메세지를 전달하는 경보판단부를 포함하여, 운전자 상태 및 운전자의 반응특성을 이용하여 졸음 또는 피로를 감지함으로써 위험상황에 노출되는 운전자에게 적절하게 경고하도록 하여 대형 사고를 예방할 수 있는 효과를 제공한다. A driver's sleepiness and fatigue detection system according to the present invention includes a camera for observing a driver's state, a first determination unit for determining the driver's state at a plurality of levels, a radar unit for extracting a reaction characteristic of the driver, A second determination unit for determining a plurality of levels, and an alarm determination unit for sensing a state of the driver and a reaction state of the driver and delivering an alarm message, wherein the driver determines the drowsiness or fatigue Thereby providing an appropriate warning to the driver exposed to the dangerous situation, thereby preventing the occurrence of a major accident.

졸음운전, 감지 시스템 Drowsiness driving, detection system

Description

운전자 졸음 및 피로 감지 시스템{Sensing System of driver's sleepiness and tireness}[0001] The present invention relates to a driver's sleepiness and tiredness sensing system,

본 발명은 운전자 졸음 및 피로 감지 시스템에 관한 것으로, 운전자의 상태 및 반응특성을 이용하여 졸음 및 피로를 감지하여 위험성을 경고하는 시스템에 관한 것이다. The present invention relates to a driver's sleepiness and fatigue detection system, and more particularly, to a system for warning of drowsiness and fatigue by using a driver's state and reaction characteristics to warn of a danger.

일반적으로, 졸음운전은 운전자의 감각기능을 저하시켜서 안전운전을 저해하는 최대의 요소이다. 그러나, 종래에는 졸음운전을 방지하기 위한 장치가 없어, 졸음운전을 방지할 수 없다는 문제점이 있다. 졸음운전의 방지여부는 전적으로 운전자의 판단에 의존하게 되는데, 큰 문제는 운전자 본인도 인지하지 못하는 사이에 졸음운전을 하게되어 운전자의 판단 이전에 사고가 발생활 확률이 높아지게 된다.In general, drowsy driving is the greatest factor that disturbs the driver's sensory function and hinders safe driving. However, in the past, there is no apparatus for preventing drowsiness operation, and there is a problem that drowsiness operation can not be prevented. Whether or not to prevent drowsiness depends entirely on the driver's judgment. A major problem is that the driver himself / herself is not able to recognize the driver's sleeping drive, and the probability of an accident is raised before the driver's judgment.

졸음운전을 방지하기 위해서는 충분한 휴식이 절대적으로 필요하여, 졸리운 감이 있을 시에는 즉시 운행을 멈추고 휴식을 취하여야 하나, 휴식할 여건이 되지 않거나 시간이 촉박할 경우에는 운행을 강행하게 되고, 이로인해 사고를 유발하게 된다. In order to prevent drowsiness driving, it is absolutely necessary to have enough rest. When there is a sense of sleepiness, stop the operation immediately and take a rest, but if it is not possible to rest or when time is short, Causing an accident.

한편, 자동차에는 운전자나 탑승자를 위해서 각종 편의 시설들이 마련되어 있다. 대개 이러한 편의 시설들은 전장품인 관계로 인스트루먼트 패널에 조작 스위치가 구비되며 전장품 이외의 편의 시설들 로서 흡연자를 위한 애쉬 트레이와 시거 라이터잭, 간단한 물품을 보관할 수 있는 공간인 글로우브 박스나 콘솔 박스, 음료 등을 먹기 편하게 컵을 지지해주는 컵 홀더 등이 바로 이러한 편의 시설에 속한다. 최근에는 이러한 편의 시설이 고급화되어 열선이 내장된 시트, 보조석 에어백 장치와 네비게이션 시스템등이 선택사양이나 기본품목으로 구비되어 있다. On the other hand, the automobile has various facilities for the driver and the passenger. Generally, these facilities are equipped with operation switches on the instrument panel due to the electrical equipment. Facilities other than electrical equipment include ash trays and cigar lighter jacks for smokers, glow box or console box which can store simple goods, drinks And cup holders that support the cups for easy eating. In recent years, these facilities have been advanced and equipped with optional seats, assisted seat airbags and navigation systems as optional and basic items.

이외에도, 운전자가 피로를 느끼거나, 졸음을 느낄시에 피로나 졸음을 방지하기 위한 장치가 제공된다. 장시간 주행을 행한 경우 피로가 누적되어 운전자가 쉽게 피곤함을 느끼게 되는데 이러한 경우에 등이나 어깨등을 안마 할 수 있게 하는 여러 형태의 안마 시트가 있는바, 기존의 자동차용 안마 시트는 운전중 피로를 줄여주기 위한 수단으로써, 단순한 안마 기능만을 제공하였다. In addition, there is provided an apparatus for preventing fatigue or drowsiness when the driver feels fatigue or feels drowsy. When driving for a long time, fatigue accumulates and the driver feels tired easily. In this case, there are various types of massage sheets that can massage the back or shoulder. In the conventional automobile massage sheet, As a means for giving, only a simple massage function was provided.

또한, 종래의 졸음 방지 기구는 운전자의 얼굴에서 눈의 감김을 영상처리로 감지하여 경고음을 내는 기능을 제공하였다. 그런데, 종래의 자동차용 안마 시트는 운전자가 피곤함을 느낄때 안마기를 직접 구동해야 하는 불편함이 있었으며, 운전자가 졸음을 느끼는 시점이 아니더라도 안마 기능이 작동되어 운전에 방해를 주는 문제점이 있었다. 이 뿐만 아니라, 운전자의 졸음으로 차선이 변경되는 경우 레이더를 활용하여 근접 거리 위험을 감지하지만, 차선이 변경되는 원인이 운전자의 졸음이 아닌 경우에도 감지되는 문제가 있다. In addition, the conventional drowsiness prevention mechanism provides a function of detecting the wind-up of the eyes on the driver's face by image processing and emitting a warning sound. However, the conventional massage pad for automobile has the inconvenience of driving the massage machine directly when the driver feels tired, and there is a problem that the massage function is operated even when the driver does not feel drowsy, which interferes with the driving. In addition, when the lane changes due to the driver's sleepiness, the radar is used to detect the proximity distance danger, but there is also a problem in that the cause of the lane change is not the driver's sleepiness.

이와 같이, 종래 기술에 따른 졸음 방지 시스템들은 실제 운전자의 졸음 및 피로가 근본원인으로 파악되지 않고 차량상태로만 운전자의 졸음을 추정하여 사고 발생을 방지하고자 하기 때문에 실제 운전자의 상태 및 반응특성을 인지하여 사고발생을 방지하기가 어려운 문제가 있다.As described above, since the drowsiness prevention systems according to the related art attempt to prevent the occurrence of an accident by estimating the sleepiness of the driver only in the vehicle state without being perceived as the root cause of the actual driver's drowsiness and fatigue, There is a problem that it is difficult to prevent an accident from occurring.

본 발명은 차선 이탈정도의 운전자 차량 상태를 통하여 졸음 운전으로 인한 사고를 예방하는 종래 기술에 따른 시스템을 이용함으로써 실제 운전자의 졸음으로 인한 위험상황이 아닌 경우 수반되는 경보들이 운전자의 운전을 방해하는 문제를 해결하고자 한다. The present invention utilizes a system according to the prior art to prevent an accident caused by drowsiness operation through a driver's vehicle state of a lane departure degree, so that alerts accompanied when the driver is not in a dangerous state due to drowsiness of the driver, .

본 발명의 운전자 졸음 및 피로 감지 시스템은 운전자의 상태를 관찰하는 카메라와 상기 운전자 상태를 다수의 레벨로 판단하는 제 1 판단부와 상기 운전자의 반응특성을 추출하는 레이더부와 상기 운전자의 반응특성을 다수의 레벨로 판단하는 제 2 판단부 및 상기 운전자의 상태 및 상기 운전자의 반응상태를 감지하여 경보메세지를 전달하는 경보판단부를 포함하는 것을 특징으로 한다.A driver's sleepiness and fatigue detection system according to the present invention includes a camera for observing a driver's state, a first determination unit for determining the driver's state at a plurality of levels, a radar unit for extracting a reaction characteristic of the driver, A second determination unit for determining a plurality of levels, and an alarm determination unit for sensing a state of the driver and a reaction state of the driver and delivering an alarm message.

그리고, 상기 카메라는 적외선 카메라를 포함하는 것을 특징으로 한다.Further, the camera includes an infrared camera.

그리고, 상기 제 1 판단부는 상기 운전자눈의 개도(開度), 눈을 깜박이는 평균지속시간, 눈을 깜박이는 주기, PERCLOS(Percent Eye Close), 1분간 눈을 깜박이는 횟수, 1분간 하품하는 횟수 또는 고개를 끄덕이는 횟수로부터 판단하는 것을 특징으로 한다.The first judging unit measures the opening degree of the driver's eyes, the average duration of blinking eyes, the blinking period of the eyes, the PERCLOS (Percent Eye Close), the number of blinking of eyes for one minute, The number of times or the number of times the head nods.

그리고, 상기 레이더부는 선행차를 감지하여 상기 선행차 출발 후 반응시간 및 상기 선행차 제동 후 반응시간을 추출하는 것을 특징으로 한다.The radar unit senses the preceding vehicle and extracts the reaction time after the departure of the preceding vehicle and the reaction time after the preceding vehicle braking.

그리고, 상기 제 2 판단부는 상기 운전자의 정상 주행시 반응특성과 비교하 여 판단하는 것을 특징으로 한다.The second determination unit compares the response characteristics of the driver with the normal driving characteristics of the driver.

본 발명은 운전자 상태 및 운전자의 반응특성을 이용하여 졸음 또는 피로를 감지함으로써 위험상황에 노출되는 운전자에게 적절하게 경고하도록 하여 대형 사고를 예방할 수 있는 효과를 제공한다. The present invention provides an effect of preventing a large accident by appropriately warning a driver who is exposed to a dangerous situation by detecting drowsiness or fatigue by using the driver's condition and the reaction characteristic of the driver.

이하에서는 본 발명의 실시예에 따라 첨부된 도면을 참조하여 상세히 설명하기로 한다.Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings.

도 1은 본 발명에 따른 시스템을 나타낸 개략도이다.1 is a schematic diagram illustrating a system according to the present invention.

도 1에 도시된 바와 같이, 본 발명의 시스템(100)은 카메라(110), 레이더부(120) 및 경보판단부(130)를 포함한다. 본 발명은 카메라(110)를 통해서 운전자의 상태를 검출하고, 레이더부(120)를 통해서 운전자의 반응특성을 검출하여 졸음 및 피로 상태의 운전자를 위험상태로부터 벗어나도록 한다. As shown in FIG. 1, the system 100 of the present invention includes a camera 110, a radar unit 120, and an alarm determination unit 130. The present invention detects the driver's state through the camera 110 and detects the reaction characteristics of the driver through the radar unit 120 so that the driver in the drowsiness and fatigue state is released from the dangerous state.

먼저, 카메라(110)를 통하여 운전자 상태를 관찰한다(112). 예를들면 운전자 영상을 입력받아 얼굴, 눈, 입 주변 등을 관찰하는 것이 바람직하다. 여기서, 카메라는 적외선 카메라(infrared rays camera)인 것이 바람직하다. First, the driver status is observed through the camera 110 (112). For example, it is desirable to input the driver's image and observe the face, eyes, mouth, and the like. Here, the camera is preferably an infrared rays camera.

이와 같이 카메라로 관찰된 운전자의 상태는 졸음 및 피로 특징을 추출(114)하기 위하여 운전자의 부주의로 판단할 것인지, 졸음 또는 피로로 인한 것인지 나누어 판단되는 것이 바람직하다. 먼저, 운전자의 부주의로 판단되어 추출되는 경우는 운전자 얼굴 방향각을 산출하거나 한눈 팔기의 여부를 판단하여 산출하는 것이 바람직하다. 즉, 운전자의 습관적인 행동 또는 돌발적인 부주의한 행동들을 파악하여 이러한 행동들이 검출될 때는 경고되지 않도록 하여 운전자가 주행중에 방해받지 않도록 한다. 운전자의 부주의로 판단되는 경우에는 후에 설명되는 운전자 반응 특성을 추출할 때 반영되지 않도록 하는 것이 바람직하다. In this way, it is preferable that the state of the driver observed by the camera is determined by dividing whether the driver is careless or drowsy or fatigued in order to extract the sleepiness and fatigue characteristic 114. First, in the case where it is determined that the driver is careless and extracted, it is preferable to calculate the driver's face direction angle or to determine whether or not he / she is bidding. In other words, identify the driver 's habitual behavior or sudden careless behavior so as not to be warned when these actions are detected so that the driver is not disturbed while driving. In the case where it is determined that the driver is careless, it is preferable not to reflect the driver reaction characteristics described later.

운전자의 상태가 졸음 또는 피로로 판단되는 경우에는 운전자 눈의 개도(開度), 눈을 깜박이는 평균지속시간, 눈을 깜박이는 주기, PERCLOS(Percent Eye Close), 1분간 눈을 깜박이는 횟수, 1분간 하품하는 횟수 또는 고개를 끄덕이는 횟수로부터 판단하여 산출하는 것이 바람직하다. When the driver's condition is judged to be drowsiness or fatigue, the degree of opening of the eyes of the driver, the average duration of the blinking of the eyes, the period of blinking of the eyes, the PERCLOS (Percent Eye Close), the number of blinking, It is preferable to calculate it by judging from the number of times of yawning for one minute or the number of nodding of the head.

상술한 바와 같은 특징을 이용하여 운전자 상태를 DS 레벨(driver status)로 판단부(116)에서 판단한다. 운전자 상태는 5가지 DS 레벨로 나뉘는 것이 바람직하다. DS 레벨 1은 운전자의 표정이 풍부하거나, 시선의 이동이 빈번하거나, 눈의 깜박임의 주기가 안정적인 경우의 운전자 상태를 나타내는 것이 바람직하다. DS 레벨 2는 DS 레벨 1과 큰 차이는 없지만 시선 이동의 움직임이 둔해거나, 눈꺼풀이 무겁고 눈의 개안정도가 DS 레벨 1 보다 낮아지는 경우의 운전자 상태를 나타내는 것이 바람직하다. DS 레벨 3은 눈깜박임의 횟수가 감소되었다가 증가되는 경우 즉, 무의식 속에서 눈깜박임의 횟수가 감소되었다가 의식상태로 돌아와 다시 증가되어 눈깜박의 주기가 불안정해지거나, 눈의 개안정도가 현저히 낮아지고, 하품을 하는 경우의 운전자 상태를 의미하는 것이 바람직하다. DS 레벨 4는 시선 변화량이 적고, 폐안 시간이 3초이상으로 길어지며, 하품의 발생이 빈번히 일어나는 경우의 운전자 상태를 의미하는 것이 바람직하다. DS 레벨 5는 폐안이 빈번해지고 고개를 끄덕이 는 경우의 운전자 상태를 의미하는 것이 바람직하다. 그리고, 운전자 상태를 상술한 5가지 DS 레벨 중 하나로 판단한다.The driver status is determined as a DS level (driver status) by the determination unit 116 using the above-described characteristic. The driver status is preferably divided into five DS levels. It is preferable that the DS level 1 indicates the driver's condition when the expression of the driver is abundant, the movement of the line of sight is frequent, or the period of flickering of the eyes is stable. The DS level 2 is preferably not the same as the DS level 1, but preferably indicates the driver status when the movement of the eye movement is dull, the eyelid is heavy, and the eye stability of the eye is lower than the DS level 1. In DS level 3, when the number of eye flicker is decreased and then increased, that is, when the number of blinking of eye is decreased in unconscious state, it returns to conscious state and then increases again, It is preferable that it means the driver's condition when lowered and yawned. The DS level 4 preferably indicates the driver's state when the gaze change amount is small, the closing time is longer than 3 seconds, and frequent occurrence of yawning occurs. DS level 5 is preferably the driver's condition when the lungs are frequent and nodding. Then, the driver status is determined to be one of the five DS levels described above.

레이더부(120)를 통하여 선행차를 감지한다(122). 예를들면 선행차의 출발 또는 제동을 감지한다. 그리고, 이를 이용하여 운전자 반응특성을 추출한다(124). 예를 들면 선행차 출발 후 반응시간 또는 선행차 제동후 반응시간을 이용하여 추출할 수 있다. 여기서, 운전 부주의로 판단되는 요소들은 운전자 반응특성에서 무시되는 것이 바람직하다. 운전자 반응특성을 추출하는데는 운전자의 정상 주행시 반응특성과 비교되는 것이 바람직하다. 보다 구체적으로 정상 주행 시 선행차 출발 후 반응시간 또는 선행차 제동 후 반응시간과 비교하여 정상 주행 시의 반응시간보다 길어지는 경우 운전자가 졸음 상태에 놓여진 경우로 판단하는 것이 바람직하다.And detects the preceding vehicle through the radar unit 120 (122). For example, detecting the start or braking of the preceding vehicle. Then, the driver response characteristic is extracted using this (124). For example, it can be extracted using the reaction time after the departure of the preceding vehicle or the reaction time after the preceding vehicle braking. Here, it is preferable that the elements judged to be inadvertently driven are ignored in the driver response characteristic. It is desirable to compare the response characteristics of the driver during normal driving in extracting the driver response characteristics. More specifically, it is preferable to determine that the driver is in a drowsy state when the reaction time after the preceding vehicle starts in normal driving or the reaction time after the preceding vehicle braking is longer than the reaction time during normal driving.

상술한 바와 같은 특징을 이용하여 운전자 반응특성을 DR 레벨(driver reaction)로 판단부(126)에서 판단한다. 운전자 반응특성은 5가지 DR 레벨로 나뉘는 것이 바람직하다. DR 레벨 1 및 DR 레벨 2는 엑셀레이터(accelerator) 또는 브레이크(break) 동작이 자연스럽거나, 스티어링(streeing)의 조타가 치밀하여 차량의 진동이 적은 경우를 나타내는 것이 바람직하다. DR 레벨 3은 스티어링의 조타를 하지않게 되어 차량이 차선에 가까워지거나 선행차 추종시에 차간거리의 균형이 깨지는 경우를 나타내는 것이 바람직하다. DR 레벨 4의 경우는 스티어링의 조타가 매끄럽지 못해서 차량의 진동이 커지거나, 차량의 중앙부에 차선이 들어오게 되거나, 선행차 추종시에 차간거리의 균형이 깨지는 정도가 증가하게 되거나, 엑셀레이터 또는 브레이크 반응속도가 느려지는 경우를 나타내는 것이 바람직하다. DR 레벨 5 는 운전자의 반응속도가 느려져 선행차와 추돌하거나, 커브 시 방향을 바꾸기 어려운 경우를 나타내는 것이 바람직하다. 여기서, 정상 주행 시 선행차 출발 후 반응시간 또는 선행차 제동 후 반응시간과 비교하여 정상 주행 시의 반응시간보다 길어지는 경우 DR 레벨이 한단계씩 올라가는 것이 바람직하다. The driver reaction characteristic is determined by the determination unit 126 as a DR reaction (driver reaction) using the above-described characteristic. The driver response characteristics are preferably divided into five DR levels. The DR level 1 and the DR level 2 preferably indicate a case where accelerator or break operation is natural or the steering of the steering is dense and vibration of the vehicle is small. It is preferable that the DR level 3 indicates that the steering is not steered and the vehicle approaches the lane or the balance of the inter-vehicle distance is broken at the time of following the preceding vehicle. In the case of the DR level 4, the steering of the steering is not smooth, so that the vibration of the vehicle may increase, the lane may enter the center of the vehicle, the degree of the balance of the inter-vehicle distance may be increased at the time of following the preceding vehicle, It is preferable to indicate the case where the speed is slow. It is preferable that the DR level 5 indicates a case where the reaction speed of the driver is slowed so as to collide with the preceding vehicle or to change the direction at the curve. Here, it is preferable that the DR level is increased by one level when the reaction time after the preceding vehicle start in the normal running or the reaction time after the preceding vehicle braking is longer than the reaction time in the normal running.

이어서, 경보판단부(130)에서는 운전자 상태를 나타내는 DS 레벨 중 어느 한 DS 레벨과 운전자 반응특성을 나타내는 DR 레벨 중 어느 한 DR 레벨의 평균을 이용하여 경보메세지를 전달한다. DS 레벨과 DR 레벨의 평균값이 증가할수록 TTC(time to collision) 경보거리는 증가하는 것이 바람직하다. 따라서, DS 레벨과 DR 레벨이 높아 운전자가 위험상태에 놓이는 경우에는 차량이 충돌하기 이전에 경고메세지를 전달하여 운전자가 위험상태로부터 빠르게 벗어날 수 있도록 하는 것이다. 예를 들어, DS 레벨과 DR 레벨의 평균이 낮은 경우에는 높은 경우보다 운전자가 덜 위험상태에 놓이게 되므로 TTC 경보거리가 감소하게 된다. 즉, DS 레벨과 DR 레벨의 평균이 낮은 경우에는운전자가 위험상태로부터 벗어나는데 많은 시간이 소요되지 않지만, DS 레벨과 DR 레벨의 평균이 높은 경우에는 운전자가 위험상태로부터 벗어니는데 많은 시간이 소요되므로 TTC 경보거리를 증가시켜 운전자에게 경고메세지를 전달하는 것이 바람직하다.Then, the alarm determination unit 130 transmits an alarm message using an average of any one of the DS levels indicating the driver status and the DR level indicating the driver reaction characteristics. It is preferable that the TTC (time to collision) alarm distance increases as the average value of the DS level and the DR level increases. Therefore, if the driver is in a dangerous state due to the high level of DS and DR, the warning message is transmitted before the vehicle collides, so that the driver can quickly get out of the dangerous state. For example, if the average of the DS level and the DR level is low, the TTC alarm distance is reduced because the driver is in a less dangerous state than in the high case. That is, when the average of the DS level and the DR level is low, it takes a long time for the driver to get out of the dangerous state. However, if the average of the DS level and the DR level is high, It is desirable to increase the TTC alarm distance and to transmit a warning message to the driver.

상술한 바와 같이, 본원발명의 운전자 졸음 및 피로 감지 시스템은 운전자의 상태 및 운전자의 반응특성을 반영하여 졸음 및 피로를 판단하여 경보메세지를 전달함으로써, 졸음으로 인해 위험상황에 노출되는 운전자에게 적절하게 경고하도록 하여 대형 사고를 예방할 수 있다. As described above, the driver's sleepiness and fatigue detection system of the present invention determines the drowsiness and fatigue by reflecting the state of the driver and the reaction characteristics of the driver, and transmits an alarm message to the driver who is exposed to the dangerous situation due to drowsiness It is possible to prevent large accidents by warning.

도 1은 본 발명에 따른 시스템을 나타낸 개략도.1 is a schematic diagram showing a system according to the invention;

Claims (5)

운전자의 상태를 관찰하는 카메라;A camera for observing the state of the driver; 상기 운전자 상태를 다수의 레벨로 판단하는 제 1 판단부;A first determination unit for determining the driver state at a plurality of levels; 선행차를 감지하여 상기 선행차 출발 후 반응시간 또는 상기 선행차 제동 후 반응시간을 포함하는 상기 운전자의 반응특성을 추출하는 레이더부;A radar unit detecting the preceding vehicle and extracting the reaction characteristics of the driver including the reaction time after the departure of the preceding vehicle or the reaction time after the preceding vehicle braking; 상기 운전자의 반응특성을 다수의 레벨로 판단하는 제 2 판단부; 및A second determination unit determining the reaction characteristics of the driver at a plurality of levels; And 상기 운전자의 상태 및 상기 운전자의 반응상태를 감지하여 경보메세지를 전달하는 경보판단부를 포함하는 것을 특징으로 하는 운전자 졸음 및 피로 감지 시스템.And an alarm determination unit for sensing the state of the driver and the reaction state of the driver and delivering an alarm message to the driver. 청구항 1에 있어서,The method according to claim 1, 상기 카메라는 적외선 카메라를 포함하는 것을 특징으로 하는 운전자 졸음 및 피로 감지 시스템.Wherein the camera comprises an infrared camera. 청구항 1에 있어서,The method according to claim 1, 상기 제 1 판단부는 The first determination unit 상기 운전자눈의 개도(開度), 눈을 깜박이는 평균지속시간, 눈을 깜박이는 주기, PERCLOS(Percent Eye Close), 1분간 눈을 깜박이는 횟수, 1분간 하품하는 횟수 또는 고개를 끄덕이는 횟수로부터 판단하는 것을 특징으로 하는 운전자 졸음 및 피로 감지 시스템.The degree of opening of the driver's eye, the average duration of flashing eyes, the period of blinking of eyes, the Percent Eye Close (PERCLOS), the number of blinks per minute, the number of times of yawning for one minute, And determining the number of times of the sleepiness and fatigue of the driver based on the number of times. 삭제delete 청구항 1에 있어서,The method according to claim 1, 상기 제 2 판단부는 The second determination unit 상기 운전자의 정상 주행시 반응특성과 비교하여 판단하는 것을 특징으로 하는 운전자 졸음 및 피로 감지 시스템.And comparing the response characteristic of the driver with the response characteristic of the driver during normal driving.
KR1020090115603A 2009-11-27 2009-11-27 Sensing System of driver's sleepiness and tireness KR101500010B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020090115603A KR101500010B1 (en) 2009-11-27 2009-11-27 Sensing System of driver's sleepiness and tireness

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020090115603A KR101500010B1 (en) 2009-11-27 2009-11-27 Sensing System of driver's sleepiness and tireness

Publications (2)

Publication Number Publication Date
KR20110059019A KR20110059019A (en) 2011-06-02
KR101500010B1 true KR101500010B1 (en) 2015-03-09

Family

ID=44394219

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020090115603A KR101500010B1 (en) 2009-11-27 2009-11-27 Sensing System of driver's sleepiness and tireness

Country Status (1)

Country Link
KR (1) KR101500010B1 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190005486A (en) 2017-07-07 2019-01-16 만도헬라일렉트로닉스(주) Vehicle control apparatus and vehicle control method
KR20200131692A (en) 2019-05-14 2020-11-24 경북대학교 산학협력단 Method for sensing of drowsiness condition and apparatus thereof

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101487801B1 (en) * 2013-05-30 2015-02-05 여태운 Method for detecting sleepiness
KR101526672B1 (en) * 2013-07-24 2015-06-05 현대자동차주식회사 Apparatus and method for determining drowsy state
CN104828113A (en) * 2015-04-30 2015-08-12 中国北车集团大连机车车辆有限公司 Control method of locomotive driver alerting device
KR20160133179A (en) * 2015-05-12 2016-11-22 자동차부품연구원 Method and Apparatus For Dangerous Driving Conditions Detection Based On Integrated Human Vehicle Interface
US20210403051A1 (en) * 2019-06-05 2021-12-30 Lg Electronics Inc. Method for controlling autonomous vehicle
CN112220480B (en) * 2020-10-21 2023-08-04 合肥工业大学 Driver state detection system based on millimeter wave radar and camera fusion and vehicle
CN116439710B (en) * 2023-04-11 2023-10-20 中国人民解放军海军特色医学中心 Ship driver fatigue detection system and method based on physiological signals

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10188200A (en) * 1996-12-27 1998-07-21 Michihiro Kannonji Device and method for preventing rear-end collision
JP2008077189A (en) * 2006-09-19 2008-04-03 Toyota Central R&D Labs Inc Falling asleep while diving prevention device and program
JP2008181327A (en) * 2007-01-24 2008-08-07 Toyota Motor Corp Device and method for preventing doze
JP2008212298A (en) * 2007-03-01 2008-09-18 Toyota Central R&D Labs Inc Sleepiness judging apparatus and program

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10188200A (en) * 1996-12-27 1998-07-21 Michihiro Kannonji Device and method for preventing rear-end collision
JP2008077189A (en) * 2006-09-19 2008-04-03 Toyota Central R&D Labs Inc Falling asleep while diving prevention device and program
JP2008181327A (en) * 2007-01-24 2008-08-07 Toyota Motor Corp Device and method for preventing doze
JP2008212298A (en) * 2007-03-01 2008-09-18 Toyota Central R&D Labs Inc Sleepiness judging apparatus and program

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190005486A (en) 2017-07-07 2019-01-16 만도헬라일렉트로닉스(주) Vehicle control apparatus and vehicle control method
US10953893B2 (en) 2017-07-07 2021-03-23 Mando-Hella Electronics Corporation Vehicle control apparatus and vehicle control method
KR20200131692A (en) 2019-05-14 2020-11-24 경북대학교 산학협력단 Method for sensing of drowsiness condition and apparatus thereof

Also Published As

Publication number Publication date
KR20110059019A (en) 2011-06-02

Similar Documents

Publication Publication Date Title
KR101500010B1 (en) Sensing System of driver's sleepiness and tireness
US10875536B2 (en) Coordinated vehicle response system and method for driver behavior
US11377094B2 (en) System and method for responding to driver behavior
JP6303907B2 (en) Driver monitoring device
US10569649B2 (en) In-vehicle control apparatus
JP5942761B2 (en) Driving support device and driving support method
CN1802273B (en) Method and arrangement for controlling vehicular subsystems based on interpreted driver activity
JP4400624B2 (en) Dozing prevention device and method
US9767374B2 (en) Driver check apparatus
JP2007265377A (en) Driver state determining device and driving support device
WO2014149657A1 (en) Coordinated vehicle response system and method for driver behavior
JP2016045714A (en) On-vehicle control device
US8427295B2 (en) Vehicle-installed display system and control method thereof
JP5177102B2 (en) Driving assistance device
JP2014092965A (en) Occupant monitoring device
KR20150086911A (en) Method for determining drunk driving, drunk driving prevention apparatus using the same and control method thereof
JP2008305190A (en) Doze warning device and car
JP4051813B2 (en) Information device
WO2009060172A1 (en) Detecting driver impairment
CN112124320A (en) Vehicle control method and system and vehicle
JP2017084071A (en) On-vehicle machine
KR102425632B1 (en) Method for controlling power sliding doors of vehicles
CN113879319B (en) Drowsiness sign notification system
GB2613002A (en) Method and system of vehicle occupants stress detection by using a pressure sensor network
JP2023072268A (en) Driver state determination method and device

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20180227

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20190227

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20200227

Year of fee payment: 6