KR19990050659A

KR19990050659A - Drowsy driving judgment method of drowsy driving alarm system

Info

Publication number: KR19990050659A
Application number: KR1019970069793A
Authority: KR
Inventors: 여정학
Original assignee: 정몽규; 현대자동차 주식회사
Priority date: 1997-12-17
Filing date: 1997-12-17
Publication date: 1999-07-05

Abstract

차량의 운행중 검출된 운전자 눈 개폐 동작에 따라 졸음운전을 판단하는 졸음운전 경보 시스템의 졸음 판정 방법에 관한 것으로, 검출된 운전자 영상으로부터 눈을 추적한 뒤 일정 시간 동안 검출된 운전자 눈 높이의 평균값에 따라 운전자 눈의 평균 높이를 검출한 뒤, 그에 따라 눈 개폐 판단 기준값과 각성도 기준값을 설정하고, 검출되는 운전자 눈 높이와 설정된 눈 개폐 판단 기준값을 비교하여 운전자 높이가 설정된 눈 개폐 판단 기준값보다 작을 경우에는 각성도를 증가하고, 그렇지 않을 경우에는 각성도를 감소시킨 후, 증감된 각성도와 설정된 각성도 기준값을 비교하여 졸음운전을 판단하므로 노이즈에 의한 급격한 각성도 변화를 방지하여 잘못된 졸음운전 판단을 방지할 수 있으므로 졸음운전 판정에 신뢰성을 줄 수 있다.The present invention relates to a drowsiness determination method of a drowsiness driving warning system that determines drowsiness driving according to a driver's eye opening / closing motion detected while driving a vehicle. When the average height of the driver's eyes is detected, the eye open / close determination reference value and the arousal reference value are set accordingly, and when the detected driver's eye height is compared with the set eye open / close determination reference value, If the awakening is increased, otherwise, the awakening is decreased, then the drowsy operation is judged by comparing the increased and decreased arousal with the set arousal reference value, thereby preventing the sudden awakening change due to noise, thereby preventing the wrong drowsy driving judgment. It can give reliability to the determination of drowsy driving.

Description

Drowsy driving judgment method of drowsy driving alarm system

본 발명은 졸음운전 경보 시스템에 관한 것으로, 더욱 상세하게는 차량의 운행중 검출된 운전자 눈 개폐 동작에 따라 졸음운전을 판단하는 졸음운전 경보 시스템의 졸음 판정 방법에 관한 것이다.The present invention relates to a drowsiness driving warning system, and more particularly, to a drowsiness determination method of a drowsiness driving warning system for determining a drowsiness driving according to a driver's eye opening / closing operation detected during the operation of a vehicle.

현대 사회에서 차량의 폭발적인 증가와 더불어 각종 교통사고에 의한 사망자도 증가하는 추세다. 이러한 교통사고 사망자를 최대한 줄이기 위하여 세계 각국은 ASV(advanced safety vehicle;선진 안전 자동차) 개발에 많은 노력을 하고 있다.In addition to the explosion of vehicles in modern society, the number of deaths from traffic accidents is increasing. To minimize the number of traffic accident deaths, countries around the world are making great efforts to develop advanced safety vehicles (ASVs).

ASV는 교통사고 사망자를 줄이는 차, 운전자의 피로를 덜어주는 차, 운전하기 쉬운 차로서 자동차의 안정성 향상과 보행자 보호를 위해 사고를 미리 방지하는 것을 그 기본 개념으로 하고 있다. 그리고 이에 적용된 안전 기술은 졸음운전 경보 시스템, 야간 장애물 감지 시스템, 차의 위험상태 경보 시스템 등이 있다.ASV is a car that reduces traffic fatalities, reduces driver fatigue, and is easy to drive. Its basic concept is to prevent accidents in order to improve vehicle stability and protect pedestrians. Safety technologies applied to the vehicle include drowsiness driving alarm systems, night obstacle detection systems, and danger warning systems for cars.

이중 졸음운전 경보 시스템은 CCD 카메라를 통한 운전자의 상태 즉, 운전자 눈 깜박임 등의 거동 상태에 따른 영상 분석과 운전자의 브레이크, 조향 스위치 등의 각종 조작류 스위치의 신호를 이용하여 졸음운전을 판단한 뒤 운전자에게 경보하여 줌으로써 졸음운전을 방해하여 안정된 차량 운행을 할 수 있도록 한다.The dual drowsy driving warning system determines the drowsy driving by analyzing the image according to the driver's status through the CCD camera, that is, the driver's eye blinking, and the signals of various operation switches such as the driver's brake and steering switch. By alerting the user, it prevents drowsy driving and enables stable vehicle operation.

이때 운전자 눈 깜박임 즉, 눈의 개폐 동작에 따른 졸음 운전 판단은 운전자가 일정 시간 이상 눈을 감고 있는 것이 자주 발생하면 졸음운전이라 판단하여 졸음운전 경보를 한다.At this time, when the driver's eyes blink, that is, drowsy driving judgment according to the opening and closing operation of the eyes, if the driver frequently closes the eyes for a predetermined time, it is determined that it is drowsy driving and alerts drowsy driving.

전술한 바와 같은 졸음운전 경보 시스템의 운전자 눈 개폐 동작에 따른 졸음운전 판단에서는 단순히 운전자가 눈을 감고 시간과 그 발생 빈도수에 따른 각성도에 따라 졸음운전을 판단하였기 때문에 영상 정보에 노이즈가 있을 경우 각성도가 급격한 변화를 하여 졸음운전으로 잘못 판단하는 등의 단점이 있었다.In the drowsy driving judgment according to the driver's eye opening / closing operation of the drowsy driving alarm system as described above, since the driver simply closes the eyes and judges the drowsy driving according to the awakening according to the time and the frequency of occurrence of the drowsy driving, the arousal degree is noisy in the image information. There were disadvantages such as making a sudden change and misjudged as drowsy driving.

본 발명은 이러한 문제점을 해결하기 위하여 안출한 것으로, 그 목적은 차량의 운행중 검출되는 운전자의 눈 개폐 동작에 따라 외부 노이즈의 영향을 배제하여 정확한 졸음운전을 판정할 수 있도록 하는 데 있다.The present invention has been made to solve such a problem, the object of the present invention is to determine the drowsiness driving by removing the influence of external noise in accordance with the eye opening and closing operation of the driver detected during the operation of the vehicle.

도 1은 본 발명에 따른 졸음운전 경보 시스템을 개략적으로 도시한 블록 구성도이고,1 is a block diagram schematically showing a drowsy driving warning system according to the present invention,

도 2는 본 발명의 일 실시예에 따른 졸음운전 경보 시스템의 졸음 판정 방법을 개략적으로 도시한 동작 순서도이고,2 is an operation flowchart schematically showing a drowsiness determination method of the drowsiness operation warning system according to an embodiment of the present invention,

도 3은 본 발명의 일 실시예에 따라 눈의 높이를 구하는 상태를 도시한 것이고,3 illustrates a state of obtaining eye height according to an embodiment of the present invention.

도 4는 본 발명의 일 실시예에 따라 연산되는 졸음지수인 각성도를 도시한 신호 파형도이다.FIG. 4 is a signal waveform diagram illustrating an awakening rate which is a drowsiness index calculated according to an embodiment of the present invention.

이와 같은 목적을 달성하기 위하여 본 발명은, 검출된 운전자 영상으로부터 눈을 추적한 뒤 일정 시간 동안 검출된 운전자 눈 높이의 평균값에 따라 운전자 눈의 평균 높이를 검출한 뒤, 그에 따라 눈 개폐 판단 기준값과 각성도 기준값을 설정한다. 그리고, 검출되는 운전자 눈 높이와 설정된 눈 개폐 판단 기준값을 비교하여 운전자 높이가 설정된 눈 개폐 판단 기준값보다 작을 경우에는 각성도를 증가하고, 그렇지 않을 경우에는 각성도를 감소시킨다. 이후, 증감된 각성도와 설정된 각성도 기준값을 비교하여 졸음운전을 판단한다.In order to achieve the above object, the present invention detects the average height of the driver's eyes according to the average value of the driver's eye height detected for a predetermined time after tracking the eyes from the detected driver's image, and accordingly, the eye opening and closing reference value and Sets the arousal reference value. Then, the driver's eye height is detected and the set eye opening / closing determination reference value is compared, and when the driver's height is smaller than the set eye opening / closing determination reference value, the arousal degree is increased, otherwise the arousal degree is decreased. Thereafter, the drowsiness operation is determined by comparing the increased or decreased arousal with the set arousal reference value.

이하, 첨부된 도면을 참조로 하여 본 발명에 따른 바람직한 일 실시예를 설명하면 다음과 같다.Hereinafter, exemplary embodiments of the present invention will be described with reference to the accompanying drawings.

도 1에서 알 수 있는 바와 같이 본 발명에 따른 졸음운전 경보 시스템은 CCD 카메라(10)와 졸음운전 판단부(20), 경보부(30)로 이루어진다.As can be seen in FIG. 1, the drowsy driving warning system according to the present invention includes a CCD camera 10, a drowsy driving determining unit 20, and an alarm unit 30.

CCD 카메라(10)는 차량 운행중 운전자의 거동 상태를 검출하여 그에 따른 영상 신호를 출력한다.The CCD camera 10 detects a driver's behavior while driving the vehicle and outputs an image signal accordingly.

졸음운전 판단부(20)는 CCD 카메라(10)로부터 인가되는 운전자 영상 신호를 분석하여 운전자의 눈을 검출한 다음 눈의 개폐 동작에 따른 각성도를 연산하여 운전자의 졸음운전을 판단한다.The drowsy driving determination unit 20 detects the driver's eyes by analyzing the driver's image signal applied from the CCD camera 10, and then calculates the arousal degree according to the opening / closing operation of the eyes to determine the driver's drowsy driving.

경보부(30)는 졸음운전 판단부(20)의 신호를 따라 경보를 출력하여 운전자의 졸음운전을 방해하여 안정된 운행을 할 수 있도록 한다.The alarm unit 30 outputs an alarm according to the signal of the drowsy driving determining unit 20 to prevent a drowsy driving of the driver so that stable driving can be performed.

상기와 같이 구성된 졸음운전 경보 시스템에서 본 발명의 일 실시예인 졸음운전 경보 시스템의 졸음 판정 방법을 도 2와 도 3, 도 4를 참조하여 상세히 설명하면 다음과 같다.The drowsiness determination method of the drowsiness operation warning system according to an embodiment of the present invention in the drowsy driving alarm system configured as described above will be described in detail with reference to FIGS. 2, 3, and 4.

차량의 운행중 CCD 카메라(10)에서 운전자의 얼굴 영상을 검출하여 그레이 레벨(GRAY LEVEL)의 영상 신호로 송신하면 졸음운전 판단부(20)는 수신된 그레이 레벨의 운전자의 얼굴 영상을 이진(BINARY) 영상화 한 다음 운전자의 눈을 검출한다. 그리고, 도 3에서와 같이 눈의 아래 위 높이(1 ∼ 10)의 평균값에 의해 눈의 높이를 연산하고, 일정 시간 동안 연산된 눈 높이를 평균하여 운전자에 따른 눈의 평균 높이를 검출한다(S1).When the driver's face image is detected by the CCD camera 10 while the vehicle is driving and transmitted as an image signal of gray level, the drowsy driving determination unit 20 binarizes the received face image of the driver of the gray level. After imaging it detects the driver's eyes. As shown in FIG. 3, the height of the eyes is calculated using the average value of the heights 1 to 10 of the upper and lower eyes, and the average height of the eyes according to the driver is detected by averaging the height of the eyes calculated for a predetermined time (S1). ).

운전자에 따른 눈의 평균 높이가 검출되면(S1) 그에 따라 설정된 맵에 의해 눈 개폐 판단 기준값과 졸음 지수인 각성도의 기준값을 설정한다(S2). 그리고, 이때 검출되는 도 3과 같은 운전자 눈 영상 정보에 따라 운전자의 눈 높이를 연산하여 설정된 눈 개폐 판단 기준값과 비교한다(S3).When the average height of the snow according to the driver is detected (S1), the reference value of the eye opening / closing determination reference value and the arousal index, which is a drowsiness index, is set by the map set accordingly (S2). Then, the eye height of the driver is calculated based on the driver's eye image information as shown in FIG. 3 and compared with the set eye open / close determination reference value (S3).

이때, 연산되는 운전자 눈 높이가 설정된 눈 개폐 판단 기준값보다 작으면 다음의 수학식 1과 같이 각성도를 증가시키고(S4), 운전자 눈 높이가 설정된 눈 개폐 판단 기준값보다 크면 다음의 수학식 2와 같이 각성도를 감소시킨다(S5).At this time, if the driver's eye height calculated is smaller than the set eye open / close determination reference value, the arousal degree is increased as shown in Equation 1 below (S4). Reduce (S5).

각성도 = 각성도×(1-0.05)+0.05Awakening = Awakening × (1-0.05) +0.05

각성도 = 각성도×0.95Awakening = Awakening × 0.95

이와 같이 운전자의 눈 높이에 따라 각성도를 증감시킬 경우 운전자가 눈을 가끔 깜박거리거나 거의 정상적으로 운전할 시에는 도 4에서와 같이 각성도가 일정한 수렴값에 수렴이 된다.As such, when the arousal is increased or decreased according to the height of the driver's eyes, the arousal converges to a constant convergence value as shown in FIG.

또한, 운전자 영상에 노이즈가 있어 잘못된 영상 정보에 의해 매우 적거나 큰 눈의 높이가 설정되어 입력되어도 각성도의 변화가 급격하게 일어나지 않는다.In addition, there is noise in the driver's image, and even if very small or large eye height is set and inputted by wrong image information, the change in the arousal does not occur suddenly.

이러한 상황에서 운행중 운전자가 졸게 되어 눈을 일정 시간 이상 오래 감고 있을 경우에는 상기 수학식 1에 의해 각성도가 서서히 증가된다.In this situation, when the driver sleeps while driving and eyes are closed for a predetermined time or longer, the arousal is gradually increased by Equation 1.

각성도가 증가되어 도 4에서와 같이 설정된 각성도 기준값 이상이 되면(S6) 졸음운전 판단부(20)는 소정의 신호로 경보부(30)를 동작시켜 운전자에게 졸음 경보를 하여(S7) 운전자의 졸음운전을 방해하여 안정된 차량 운행을 할 수 있도록 한다.When the arousal degree is increased and becomes equal to or greater than the set arousal reference value as shown in FIG. 4 (S6), the drowsy driving determination unit 20 operates the alarm unit 30 with a predetermined signal to give the driver a drowsy alarm (S7). Interfere with driving to ensure stable vehicle operation.

이와 같이 본 발명은 졸음운전 판단의 기준인 각성도를 눈의 높이에 따라 증감시킴으로써 노이즈에 의한 급격한 각성도 변화를 방지하여 잘못된 졸음운전 판단을 방지할 수 있으므로 졸음운전 판정에 신뢰성을 줄 수 있다.As described above, according to the present invention, the arousal degree, which is a criterion for the determination of the drowsiness operation, is increased or decreased according to the height of the eye, thereby preventing a sudden change in the arousal degree due to noise, thereby preventing false drowsy driving judgments, thereby making it possible to provide reliability in the drowsiness driving judgment.

Claims

Detecting an average height of the driver's eyes after tracking the eyes from the detected driver's image;

Setting the eye open / close determination reference value and the arousal reference value according to the average height of the driver's eyes detected in the step, and then comparing the detected driver's eye height with the set eye open / close determination reference value;

Increasing the arousal degree if the driver's height detected in the step is smaller than the set eye open / closed determination reference value; otherwise, decreasing the arousal degree;

The drowsiness operation judgment method of the drowsiness operation alarm system, characterized in that the step of determining the drowsiness operation by comparing the increased and decreased arousal and the set arousal reference value.

The method according to claim 1, wherein the driver's eye height in the step is calculated by the average value of the interval between the upper and lower parts of each eye part drowsiness driving judgment method of the drowsiness driving alarm system.

The method of claim 1, wherein the average height of the driver's eyes in the step is calculated according to the average value of the driver's eye height detected for a predetermined time.

The method of claim 1, wherein the increase and decrease of the arousal degree in the step is made by the following equation.

Increased alertness:

Awakening = Awakening × (1-0.05) +0.05

Decreased alertness:

Awakening = Awakening × 0.95