KR20220140288A

KR20220140288A - Drowsy driving detection device and control method thereof

Info

Publication number: KR20220140288A
Application number: KR1020210046597A
Authority: KR
Inventors: 이중재
Original assignee: 티맵모빌리티 주식회사
Priority date: 2021-04-09
Filing date: 2021-04-09
Publication date: 2022-10-18
Also published as: KR102501112B1

Abstract

The present invention realizes a specified and new type of drowsy driving detection technology which can determine whether there is drowsy driving of a driver at high reliability without an error based on a change in an interval between an eye and an eyebrow from a face image of the driver. The drowsy driving detection device comprises: a checking unit checking the interval between the eye and the eyebrow from a face of the driver driving a moving body; a monitoring unit monitoring a changed size where the interval is changed and a time value related to a change of the interval based on the checked interval between the eye and the eyebrow; and a determination unit determining whether there is the drowsy driving of the driver based on the monitored changed size and the monitored time value.

Description

Drowsy driving detection device and operation method of drowsy driving detection device {DROWSY DRIVING DETECTION DEVICE AND CONTROL METHOD THEREOF}

본 발명은, 운전자의 졸음 운전을 감지하는 기술에 관한 것으로, 더욱 상세하게는 운전자의 얼굴 이미지로부터 눈과 눈썹 간 간격의 변화를 기준으로 오차 없이 높은 신뢰도로 졸음 운전 여부를 판단해낼 수 있는 새로운 방식의 졸음 운전 감지 기술에 관한 것이다.The present invention relates to a technology for detecting a driver's drowsy driving, and more particularly, a new method for determining whether drowsy driving with high reliability without error based on a change in the distance between the eyes and eyebrows from the driver's face image of drowsy driving detection technology.

차량 등의 이동체를 운전하는 운전자는 운전 중 다양한 사고 위험에 노출되나 그 중 운전자의 졸음에 의한 사고는 충분히 예방할 수 있는 사고임에도 불구하고 그 사고 발생이 여전히 줄지 않고 있다.Drivers who drive moving objects such as vehicles are exposed to various accidents while driving, but among them, accidents due to driver's drowsiness are preventable accidents, but the number of accidents is still not decreasing.

이에, 졸음 운전을 예방하기 위한 다양한 기술들이 등장하였다.Accordingly, various technologies for preventing drowsy driving have emerged.

이처럼 등장한 기존의 졸음 운전 예방을 위한 기술은, 운전자 머리 또는 얼굴 또는 눈의 주시 방향 등을 모니터링하여 운전자가 전방을 주시하지 않고 머리 또는 얼굴 또는 눈의 주시 방향이 전방이 아닌 다른 방향을 향하는지 여부로 졸음 운전 여부를 판정하는 방식이 대부분이며, 졸음 운전 판정 시 경고 알람을 출력하여 졸음 운전 중인 운전자의 졸음을 깨우고 있다.The existing technology for preventing drowsy driving that has appeared in this way monitors the direction of gaze of the driver's head or face or eyes, and whether the driver's gaze is directed in a direction other than forward without the driver looking ahead. Most of these methods are used to determine whether driving while drowsy, and when drowsy driving is determined, a warning alarm is output to wake up the drowsy driver.

즉, 기존의 기술은 대부분 운전자가 전방을 주시하는지를 기준으로 졸음 운전 여부를 판정하는 방식이다.That is, most of the existing technologies are a method of determining whether driving while drowsy based on whether the driver looks ahead.

헌데, 실제로 사람이 졸고 있을 때를 살펴보면, 종종 머리 또는 얼굴 또는 눈의 주시 방향은 여전히 전방을 주시하고 있으면서도 졸고 있을 수 있다.However, when looking at when a person is actually dozing, often the gaze direction of the head, face, or eyes may be dozing while still looking forward.

예컨대, 머리 또는 얼굴 또는 눈의 주시 방향은 여전히 전방을 주시하면서, 눈만 감고 졸고 있는 경우도 있고 눈을 천천히 깜박거리면서 서서히 졸고 있는 경우도 있을 수 있다.For example, while the gaze direction of the head, face, or eyes is still looking forward, there may be cases in which only the eyes are closed, and there are cases in which the eyes are slowly blinking and the eyes are slowly dozing off.

이처럼 운전자가 여전히 전방을 주시한 상태로 졸고 있는 경우라면, 기존의 기술들은 운전자의 졸음 운전을 판정해내지 못할 것이므로 운전자의 졸음에 의한 사고를 예방할 수 없는 한계를 갖는다.As such, if the driver is still drowsy while looking ahead, the existing technologies cannot determine the driver's drowsy driving, so there is a limit in preventing an accident caused by the driver's drowsiness.

결국, 운전자의 졸음 운전 여부를 판단해내는데 있어서, 오판이나 누락 없는 높은 신뢰도로 졸음 운전 여부를 판단해낼 수 있는 구체화되고 새로운 방식의 기술이 필요한 시점이다.After all, in determining whether a driver is drowsy driving, it is a time for a detailed and new technology that can determine whether a driver is drowsy driving with high reliability without misjudgment or omission.

본 발명은 상기한 사정을 감안하여 창출된 것으로서, 본 발명에서 해결하고자 하는 과제는 운전자의 얼굴 이미지로부터 눈과 눈썹 간 간격의 변화를 기준으로 오차 없이 높은 신뢰도로 졸음 운전 여부를 판단해낼 수 있는 구체화되고 새로운 방식의 졸음 운전 감지 기술을 제공하는 것이다.The present invention was created in view of the above circumstances, and the problem to be solved by the present invention is to determine whether drowsy driving with high reliability without error based on the change in the distance between the eyes and eyebrows from the driver's face image. and to provide a new type of drowsy driving detection technology.

상기 목적을 달성하기 위한 본 발명의 제 1 관점에 따른 졸음운전 감지장치는, 주행 중인 이동체를 운전하는 운전자의 얼굴에서, 눈과 눈썹 간 간격을 확인하는 확인부; 상기 확인한 눈과 눈썹 간 간격을 근거로, 상기 간격이 변경되는 변경 크기 및 상기 간격의 변경과 관련된 시간값을 모니터링하는 모니터링부; 및 상기 모니터링한 변경 크기 및 시간값을 근거로, 상기 운전자의 졸음 운전 여부를 판단하는 판단부를 포함한다.According to a first aspect of the present invention, there is provided an apparatus for detecting drowsy driving, comprising: a checking unit for checking a distance between eyes and eyebrows in a face of a driver who drives a moving object in motion; a monitoring unit configured to monitor a change size at which the interval is changed and a time value related to the change of the interval based on the checked interval between the eyes and the eyebrows; and a determination unit configured to determine whether the driver is drowsy driving based on the monitored change size and time value.

구체적으로, 상기 모니터링부는, 상기 눈과 눈썹 간 간격의 변경 크기가 눈을 감는 간격으로 기 정의된 특정 변경 크기인 경우, 상기 눈과 눈썹 간 간격이 최대 간격으로 유지되는 유지 시간값 및 상기 눈과 눈썹 간 간격이 최소 간격에서 최대 간격으로 변경되는 동안 소요되는 소요 시간값 중 적어도 하나를 모니터링할 수 있다.Specifically, when the change size of the distance between the eyes and the eyebrows is a specific change size predefined as the eye closing interval, the monitoring unit is configured to: At least one of the time values required while the interval between the eyebrows is changed from the minimum interval to the maximum interval may be monitored.

구체적으로, 상기 판단부는, 상기 눈과 눈썹 간 간격의 변경 크기가 상기 특정 변경 크기인 경우에 모니터링한 상기 유지 시간값이 기 정의된 제1 임계 시간 이상이면, 상기 운전자의 졸음 운전으로 판단할 수 있다.Specifically, the determination unit may determine the driver's drowsy driving if the monitored holding time value is greater than or equal to a predefined first threshold time when the change size of the distance between the eyes and the eyebrows is the specific change size. have.

구체적으로, 상기 판단부는, 상기 눈과 눈썹 간 간격의 변경 크기가 상기 특정 변경 크기인 경우에 모니터링한 상기 소요 시간값이 기 정의된 제2 임계 시간 이상인 경우가 소정 횟수 반복되면, 상기 운전자의 졸음 운전으로 판단할 수 있다.Specifically, the determination unit may be configured to: When a case in which the monitored time value is equal to or greater than a predetermined second threshold time is repeated a predetermined number of times when the change size of the distance between the eyes and the eyebrows is the specific change size, the driver's drowsiness It can be judged by driving.

구체적으로, 상기 운전자에 대해, 임의의 분석 시간 동안 촬영한 다수의 얼굴 이미지로부터 확인되는 눈과 눈썹 간 간격을 분석하여 얼굴 크기 별로 눈을 감는 간격을 특정하는 변경 크기를 정의하는 분석부를 더 포함할 수 있다.Specifically, for the driver, it may further include an analysis unit defining a change size specifying the eye closing interval for each face size by analyzing the distance between the eyes and the eyebrows confirmed from a plurality of face images taken for a certain analysis time. can

구체적으로, 상기 분석부는, 상기 다수의 얼굴 이미지를 얼굴 크기 별로 구분하고, 얼굴 크기 별로 눈과 눈썹 간 간격을 분석하여 가장 많이 분포하는 간격 군집의 대표값을 최소 간격으로 설정하고 가장 먼 간격을 최대 간격으로 설정하며, 상기 얼굴 크기 별로, 상기 최소 간격에서 상기 최대 간격으로 변경되는 변경 크기를 계산하여 눈을 감는 간격으로 특정할 수 있다.Specifically, the analysis unit classifies the plurality of face images by face size, analyzes the distance between the eyes and eyebrows for each face size, sets a representative value of the most distributed interval cluster as the minimum interval, and sets the furthest interval to the maximum. The interval may be set, and a change size changed from the minimum interval to the maximum interval may be calculated for each face size and specified as an eye closing interval.

구체적으로, 상기 특정 변경 크기는, 상기 얼굴 크기 별로 기 정의된 변경 크기 중, 졸음 운전 여부의 판단 대상으로 촬영한 운전자의 얼굴 이미지의 얼굴 크기와 매칭되는 특정 얼굴 크기에 기 특정된 변경 크기일 수 있다.Specifically, the specific change size may be a change size specified in advance for a specific face size matching the face size of a face image of a driver photographed as a target for determining whether driving while drowsy, among the change sizes predefined for each face size. have.

구체적으로, 상기 모니터링부는, 졸음 운전 여부의 판단 대상으로 촬영한 운전자의 얼굴 이미지의 얼굴 크기를 상기 얼굴 크기 별로 기 정의된 변경 크기 중 특정 얼굴 크기에 매칭시켜 보정하고, 상기 보정된 상기 얼굴 이미지에서 눈과 눈썹 간 간격의 변경 크기를 모니터링하며, 상기 특정 변경 크기는, 상기 특정 얼굴 크기에 기 특정된 변경 크기일 수 있다.Specifically, the monitoring unit corrects the face size of the driver's face image photographed as a target of drowsy driving by matching it with a specific face size among the change sizes predefined for each face size, and in the corrected face image The change size of the interval between the eyes and the eyebrows is monitored, and the specific change size may be a change size previously specified for the specific face size.

상기 목적을 달성하기 위한 본 발명의 제 2 관점에 따른 졸음운전 감지장치의 동작 방법은, 주행 중인 이동체를 운전하는 운전자의 얼굴에서, 눈과 눈썹 간 간격을 확인하는 간격확인단계; 상기 확인한 눈과 눈썹 간 간격을 근거로, 상기 간격이 변경되는 변경 크기 및 상기 간격의 변경과 관련된 시간값을 모니터링하는 모니터링단계; 및 상기 모니터링한 변경 크기 및 시간값을 근거로, 상기 운전자의 졸음 운전 여부를 판단하는 판단단계를 포함한다.According to a second aspect of the present invention, there is provided an operating method of a device for detecting drowsy driving, comprising: checking a gap between eyes and eyebrows in a face of a driver who drives a moving object while driving; a monitoring step of monitoring a change size at which the interval is changed and a time value related to the change of the interval based on the checked interval between the eye and the eyebrow; and a determination step of determining whether the driver is drowsy driving based on the monitored change size and time value.

구체적으로, 상기 모니터링단계는, 상기 눈과 눈썹 간 간격의 변경 크기가 눈을 감는 간격으로 기 정의된 특정 변경 크기인 경우, 상기 눈과 눈썹 간 간격이 최대 간격으로 유지되는 유지 시간값 및 상기 눈과 눈썹 간 간격이 최소 간격에서 최대 간격으로 변경되는 동안 소요되는 소요 시간값 중 적어도 하나를 모니터링할 수 있다.Specifically, in the monitoring step, when the change size of the distance between the eyes and the eyebrows is a specific change size predefined as the eye closing interval, a holding time value at which the distance between the eyes and the eyebrows is maintained at the maximum interval and the eye At least one of the value of the time taken while the interval between the eyebrows and the eyebrows is changed from the minimum interval to the maximum interval may be monitored.

구체적으로, 상기 판단단계는, 상기 눈과 눈썹 간 간격의 변경 크기가 상기 특정 변경 크기인 경우에 모니터링한 상기 유지 시간값이 기 정의된 제1 임계 시간 이상이면, 상기 운전자의 졸음 운전으로 판단하거나, 상기 눈과 눈썹 간 간격의 변경 크기가 상기 특정 변경 크기인 경우에 모니터링한 상기 소요 시간값이 기 정의된 제2 임계 시간 이상인 경우가 소정 횟수 반복되면, 상기 운전자의 졸음 운전으로 판단할 수 있다.Specifically, the determining step may include determining that the driver is drowsy driving if the monitored holding time value is greater than or equal to a pre-defined first threshold time when the change size of the distance between the eyes and the eyebrows is the specific change size, or , when the change size of the interval between the eyes and the eyebrows is the specific change size, if the monitored time required is equal to or longer than a predefined second threshold time is repeated a predetermined number of times, it may be determined that the driver is drowsy driving. .

구체적으로, 상기 운전자에 대해, 임의의 분석 시간 동안 촬영한 다수의 얼굴 이미지로부터 확인되는 눈과 눈썹 간 간격을 분석하여 얼굴 크기 별로 눈을 감는 간격을 특정하는 변경 크기를 정의하는 분석단계를 더 포함할 수 있다.Specifically, for the driver, an analysis step of defining a change size specifying an eye closing interval for each face size by analyzing the distance between the eyes and the eyebrows confirmed from a plurality of face images taken for an arbitrary analysis time is further included. can do.

구체적으로, 상기 분석단계는, 상기 다수의 얼굴 이미지를 얼굴 크기 별로 구분하고, 얼굴 크기 별로 눈과 눈썹 간 간격을 분석하여 가장 많이 분포하는 간격 군집의 대표값을 최소 간격으로 설정하고 가장 먼 간격을 최대 간격으로 설정하며, 상기 얼굴 크기 별로, 상기 최소 간격에서 상기 최대 간격으로 변경되는 변경 크기를 계산하여 눈을 감는 간격으로 특정할 수 있다.Specifically, the analysis step divides the plurality of face images by face size, analyzes the distance between the eyes and eyebrows for each face size, sets a representative value of the most distributed interval cluster as the minimum interval, and sets the furthest interval It is set to the maximum interval, and for each face size, a change size that is changed from the minimum interval to the maximum interval may be calculated to specify the eye closing interval.

본 발명의 졸음운전 감지장치 및 졸음운전 감지장치의 동작 방법에 따르면, 운전자의 얼굴 이미지로부터 눈과 눈썹 간 간격의 변화를 기준으로 하여 오차 없는 높은 신뢰도로 졸음 운전 여부를 판단해낼 수 있는 구체화되고 새로운 방식의 졸음 운전 감지 기술을 실현할 수 있다.According to the device for detecting drowsy driving and the operation method of the device for detecting drowsy driving of the present invention, it is possible to determine whether or not drowsy driving with high reliability without error based on the change in the distance between the eyes and eyebrows from the driver's face image. drowsy driving detection technology can be realized.

이렇듯, 본 발명에서는, 눈과 눈썹 간 간격의 변화를 기준으로 하는 높은 신뢰도의 졸음 운전 감지 기술을 구체화하여 실현함으로써, 운전자의 졸음에 의한 사고를 보다 강력하게 예방할 수 있는 효과를 도출한다.As such, in the present invention, a high-reliability drowsy driving detection technology based on the change in the distance between the eyes and the eyebrows is materialized and realized, thereby deriving the effect of more powerfully preventing accidents caused by the driver's drowsiness.

도 1은 본 발명의 일 실시예에 따른 졸음운전 감지장치의 구성을 보여주는 블록도이다.
도 2는 본 발명에서 졸음 운전 여부 감지 시 눈과 눈썹 간 간격 변화를 기준으로 사용하는 방식을 설명하기 위한 그래프이다.
도 3은 본 발명의 일 실시예에 따른 졸음운전 감지방법이 동작하는 흐름을 보여주는 흐름도이다.1 is a block diagram showing the configuration of an apparatus for detecting drowsy driving according to an embodiment of the present invention.
2 is a graph for explaining a method of using a change in the distance between the eyes and the eyebrows as a reference when detecting whether driving is drowsy in the present invention.
3 is a flowchart illustrating an operation of a method for detecting a drowsy driving according to an embodiment of the present invention.

이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예에 대하여 설명한다.Hereinafter, preferred embodiments of the present invention will be described with reference to the accompanying drawings.

본 발명은, 운전자의 졸음 운전을 감지하는 기술에 관한 것이다.The present invention relates to a technology for detecting a driver's drowsy driving.

이처럼 운전자가 여전히 전방을 주시한 상태로 졸고 있는 경우 등 예외 상황이라면, 기존의 기술들은 운전자의 졸음 운전을 판정해내지 못할 것이므로 운전자의 졸음에 의한 사고를 예방할 수 없는 한계를 갖는다.In exceptional circumstances, such as a case in which the driver is sleeping while still looking ahead, existing technologies cannot determine the driver's drowsy driving, so there is a limit in preventing an accident caused by the driver's drowsiness.

이에, 본 발명에서는, 운전자의 졸음 운전 여부를 판단해내는데 있어, 운전자가 여전히 전방을 주시한 상태로 졸고 있는 경우 등 예외 상황에서도, 오판이나 누락 없는 높은 신뢰도로 졸음 운전 여부를 판단해낼 수 있는 새로운 방식의 졸음 운전 감지 기술을 제안한다.Accordingly, in the present invention, in determining whether the driver is drowsy driving, even in exceptional circumstances, such as when the driver is asleep while still looking ahead A drowsy driving detection technology is proposed.

특히, 본 발명은, 사람(운전자)이 눈을 감을 경우 눈썹으로부터 눈꺼풀의 최고 지점이 멀어져 눈과 눈썹 간 간격이 커지는 점, 운전 중에 졸린 상태라면 운전자가 우선 눈을 감지 않기 위해 노력하기 때문에 눈을 감는 속도가 느려지는 등 졸릴 때의 특이점에 주목하고 있다.In particular, in the present invention, when a person (driver) closes his/her eyes, the highest point of the eyelids moves away from the eyebrows, thereby increasing the distance between the eyes and eyebrows. It pays attention to singularities when drowsy, such as a slow winding speed.

즉, 본 발명은, 졸릴 때 눈(눈꺼풀 최고 지점)과 눈썹 간의 간격이 특이하게 변하는 점을 감안하여, 눈과 눈썹 간 간격의 변화를 기준으로 졸음 운전 여부를 판단해낼 수 있는 구체화된 졸음 운전 감지 기술을 실현하고자 한다.That is, the present invention provides a detailed drowsy driving detection capable of determining whether driving while drowsy based on the change in the distance between the eyes and eyebrows, taking into account that the distance between the eyes (the highest point of the eyelids) and the eyebrows changes when drowsy. We want to realize the technology.

구체적으로, 본 발명에서는, 본 발명의 제안 기술 즉 눈과 눈썹 간 간격의 변화를 기준으로 하는 졸음 운전 감지 기술을 실현하는, 졸음운전 감지장치(100)를 제안한다.Specifically, the present invention proposes a drowsy driving detecting device 100 that realizes the proposed technique of the present invention, that is, the drowsy driving detecting technique based on the change in the distance between the eyes and the eyebrows.

도 1에 도시된 바와 같이, 본 발명에서 제안하는 졸음운전 감지장치(100)는, 확인부(110), 모니터링부(120), 판단부(130)를 포함한다.As shown in FIG. 1 , the drowsy driving detection device 100 proposed by the present invention includes a check unit 110 , a monitoring unit 120 , and a determination unit 130 .

더 나아가, 졸음운전 감지장치(100)는, 분석부(140), 서비스부(150)를 더 포함할 수 있다.Furthermore, the drowsy driving detection device 100 may further include an analysis unit 140 and a service unit 150 .

이러한 졸음운전 감지장치(100)의 구성 전체 내지는 적어도 일부는 하드웨어 모듈 형태 또는 소프트웨어 모듈 형태로 구현되거나, 하드웨어 모듈과 소프트웨어 모듈이 조합된 형태로도 구현될 수 있다.All or at least a part of the configuration of the drowsy driving detection device 100 may be implemented in the form of a hardware module or a software module, or may be implemented in a form in which a hardware module and a software module are combined.

여기서, 소프트웨어 모듈이란, 예컨대 졸음운전 감지장치(100) 내에서 연산을 제어하는 프로세서에 의해 실행되는 명령어로 이해될 수 있으며, 이러한 명령어는 졸음운전 감지장치(100) 내 메모리에 탑재된 형태를 가질 수 있을 것이다.Here, the software module may be understood as, for example, an instruction executed by a processor for controlling operations in the drowsy driving detection device 100 , and such a command may be mounted in a memory in the drowsy driving detection device 100 . will be able

결국, 본 발명의 일 실시예에 따른 졸음운전 감지장치(100)는 전술한 구성을 통해, 본 발명에서 제안하는 기술 즉 눈과 눈썹 간 간격의 변화를 기준으로 하는 졸음 운전 감지 기술을 실현한다 하겠다.After all, the device 100 for detecting drowsy driving according to an embodiment of the present invention realizes the technology proposed in the present invention, that is, the technology for detecting drowsy driving based on the change in the distance between the eyes and the eyebrows, through the above-described configuration. .

이하에서는 졸음운전 감지장치(100) 내 각 구성에 대해 보다 구체적으로 설명하기로 한다.Hereinafter, each configuration in the drowsy driving detection device 100 will be described in more detail.

구체적인 설명에 앞서, 본 발명의 졸음운전 감지장치(100)는, 운전자(1)의 단말장치(10)에 구현될 수 있으며, 단말장치(10) 및 외부의 별도 장치(예: 서버)에 분산 구현될 수도 있다.Prior to the detailed description, the drowsy driving detecting device 100 of the present invention may be implemented in the terminal device 10 of the driver 1 and distributed to the terminal device 10 and an external separate device (eg, a server). may be implemented.

확인부(110)는, 주행 중인 이동체를 운전하는 운전자(1)의 얼굴에서, 눈과 눈썹 간 간격을 확인하는 기능을 담당한다.The check unit 110 is responsible for checking the distance between the eyes and the eyebrows on the face of the driver 1 who drives the moving object while driving.

보다 구체적으로 설명하면, 확인부(110)는, 운전자(1)의 얼굴을 촬영하는 촬영장치로부터 촬영된 얼굴 이미지를 제공받을 수 있고, 이처럼 제공받은 얼굴 이미지에서 눈과 눈썹 간 간격을 확인할 수 있다.More specifically, the confirmation unit 110 may receive a photographed face image from a photographing device for photographing the face of the driver 1, and may check the distance between the eyes and the eyebrows in the provided facial image. .

이때, 촬영장치는, 이동체 내에서 운전자(1)의 얼굴을 촬영할 수 있도록 구현된 장치라면 어떤 종류의 장치이든 무관할 것이다.In this case, as long as the photographing apparatus is implemented to photograph the face of the driver 1 in a moving object, any type of apparatus may be used.

다만, 도 1에서는 운전자(1)의 단말장치(10)에 탑재된 카메라를 촬영장치로 하는 예를 도시하고 있으며, 이에 단말장치(10)는 카메라가 촬영한 운전자(1)의 얼굴 이미지를 졸음운전 감지장치(100, 특히 확인부(10))로 전달할 수 있다.However, FIG. 1 shows an example in which a camera mounted on the terminal device 10 of the driver 1 is used as a photographing device, and thus the terminal device 10 drowsiness in the face image of the driver 1 captured by the camera. It can be transmitted to the driving detection device 100, in particular, the confirmation unit 10).

이에, 확인부(110)는, 운전자(1)의 얼굴을 촬영하여 제공되는 운전자(1)의 얼굴 이미지에서, 눈(눈꺼풀 최고 지점)과 눈썹 간 간격을 확인할 수 있다.Accordingly, the check unit 110 may check the distance between the eyes (the highest point of the eyelids) and the eyebrows in the face image of the driver 1 provided by photographing the face of the driver 1 .

한편, 본 발명에서는, 운전자(1)의 얼굴을 촬영한 영상에서 얼굴 이미지를 인식하는 기술 및 얼굴 이미지로부터 눈(눈꺼풀 최고 지점)과 눈썹 간 간격을 인식하는 기술에 대해 제한을 두지 않으며, 기존의 다양한 인식 기술을 채용할 수 있다.On the other hand, in the present invention, the technology for recognizing a face image from an image of the driver 1's face and for recognizing the distance between the eyes (the highest point of the eyelids) and the eyebrows from the face image are not limited, and the existing Various recognition techniques can be employed.

모니터링부(120)는, 확인부(110)에서 확인하는 눈과 눈썹 간 간격을 근거로, 그 간격이 변경되는 변경 크기 및 그 간격의 변경과 관련된 시간값을 모니터링하는 기능을 담당한다.The monitoring unit 120 is responsible for monitoring the size of a change in the interval and a time value related to the change in the interval based on the interval between the eye and the eyebrow checked by the verification unit 110 .

구체적으로 설명하면, 모니터링부(120)는, 운전자(1)의 얼굴 이미지에서 확인되는 눈과 눈썹 간 간격을 지속적으로 모니터링하여, 눈과 눈썹 간 간격이 변경되는 변경 크기와 그 간격의 변경과 관련된 시간값을 모니터링할 수 있다.More specifically, the monitoring unit 120 continuously monitors the distance between the eyes and the eyebrows confirmed in the face image of the driver 1 , and relates to the change size of the change in the distance between the eyes and the eyebrows and the change in the distance. Time values can be monitored.

보다 구체적인 일 실시예를 설명하면, 모니터링부(120)는, 눈과 눈썹 간 간격이 변경되는 변경 크기가 눈을 감는 간격으로 기 정의된 특정 변경 크기인지를 모니터링할 수 있다.To describe a more specific embodiment, the monitoring unit 120 may monitor whether the change size by which the interval between the eyes and the eyebrows is changed is a predetermined specific change size as the eye closing interval.

즉, 모니터링부(120)는, 눈과 눈썹 간 간격의 변화(변경 크기)를 기준으로, 눈과 눈썹 간 간격의 변경 크기를 특정 변경 크기와 비교하여 운전자(1)가 눈을 감았는지 여부를 모니터링하는 것이다.That is, the monitoring unit 120 compares the change size of the distance between the eyes and the eyebrows with a specific change size based on the change (change size) of the distance between the eyes and the eyebrows to determine whether the driver 1 closes the eyes. to monitor.

여기서, 눈을 감는 간격으로 기 정의된 특정 변경 크기에 대해서는, 후술에서 구체적으로 설명하겠다.Here, the specific change size predefined for the eye closing interval will be described in detail later.

모니터링부(120)는, 눈과 눈썹 간 간격의 변경 크기가 눈을 감는 간격으로 기 정의된 특정 변경 크기인 경우 즉 운전자(1)가 눈을 감았다고 판단되는 경우, 금번 눈과 눈썹 간 간격의 변경 과정에서 눈과 눈썹 간 간격이 최대 간격으로 유지되는 유지 시간값 및 눈과 눈썹 간 간격이 최소 간격에서 최대 간격으로 변경되는 동안 소요되는 소요 시간값 중 적어도 하나를 모니터링할 수 있다.When the change size of the distance between the eyes and the eyebrows is a specific change size predefined as the eye closing interval, that is, when it is determined that the driver 1 closes the eyes, the monitoring unit 120 determines the distance between the eyes and the eyebrows. During the change process, at least one of a holding time value for maintaining the distance between the eyes and the eyebrows at the maximum distance and a time required for changing the distance between the eyes and the eyebrows from the minimum distance to the maximum distance may be monitored.

앞서 언급한 바 있듯이, 사람(운전자)이 눈을 감을 경우 눈썹으로부터 눈꺼풀의 최고 지점이 멀어져 눈과 눈썹 간 간격이 커지므로, 눈과 눈썹 간 간격이 변경되는 경우 그 간격의 최소 간격은 눈(눈꺼풀의 최고 지점)과 눈썹이 가장 가까울 때 즉 눈을 가장 크게 뜨고 있을 때의 간격이고, 그 간격의 최대 간격은 눈(눈꺼풀의 최고 지점)과 눈썹이 가장 멀 때 즉 눈을 가장 작게 뜨거나 감았을 때의 간격일 것이다.As mentioned earlier, when a person (driver) closes his/her eyes, the highest point of the eyelids moves away from the eyebrows, thereby increasing the distance between the eyes and the eyebrows. is the distance between the highest point of the eyebrows) and the eyebrows closest to it, that is, when the eyes are wide open, and the maximum distance between the eyes is the distance between the eyes (the highest point of the eyelids) and the eyebrows, that is, when the eyes are the smallest open or closed. will be the time interval.

이러한 점을 감안할 때, 운전자가 운전 중에 졸린 상태라면, 눈을 깜빡일 때 감았다가 즉시 뜨기 어려워 감고 있는 시간일 길어질 것이며, 눈과 눈썹 간 간격이 최대 간격(눈을 가장 작게 뜨거나 감았을 때)으로 유지되는 유지 시간값은 졸리지 않은 평상 시 보다 졸린 상태에서 길어질 것이다.Considering this, if the driver is drowsy while driving, closing his eyes when he blinks and then closing his eyes immediately becomes longer, so the closing time will be longer. The maintained holding time value will be longer in the sleepy state than in the normal non-drowsy state.

또한, 운전자가 운전 중에 졸린 상태라면, 졸지 않기 위해 눈을 감지 않고자 노력할 것이므로 눈을 감았다가 뜨는 속도가 느려질 것이며, 눈과 눈썹 간 간격이 최소 간격(눈을 가장 크게 뜨고 있을 때)에서 최대 간격(눈을 가장 작게 뜨거나 감았을 때)으로 변경되는 동안 소요되는 소요 시간값은 평상 시 보다 졸린 상태에서 길어질 것이다.Also, if the driver is sleepy while driving, he will try not to close his eyes so as not to fall asleep, so closing and opening his eyes will be slower, and the distance between the eyes and the eyebrows will be the minimum (when the eyes are wide open) and the maximum distance ( The time required during the change to the smallest eye opening or closing) will be longer in the sleepy state than usual.

도 2는 본 발명에서 졸음 운전 여부를 판단(감지)하는데 눈과 눈썹 간 간격의 변화를 기준으로 사용할 수 있는 근거를 설명하기 위한 그래프이다.FIG. 2 is a graph for explaining reasons that can be used as a reference for the change in the distance between the eyes and the eyebrows in determining (sensing) whether driving while drowsy in the present invention.

도 2에서는, 설명의 판의 상, 졸리지 않은 평상 시 눈과 눈썹 간 간격의 변화를 왼쪽에 도시하고 있고, 졸린 상태에서 눈과 눈썹 간 간격의 변화를 오른쪽에 도시하고 있다.In FIG. 2 , the change in the distance between the eyes and the eyebrows in a normal, non-drowsy state is shown on the left, and the change in the distance between the eyes and the eyebrows in the sleepy state is shown on the right.

도 2에서와 같이, 졸리지 않은 평상 시에는, 눈과 눈썹 간 간격의 변화를 보면, 눈과 눈썹 간 간격이 최대 간격(눈을 가장 작게 뜨거나 감았을 때)으로 유지되는 유지 시간(푸른색 도시)이 짧고, 눈과 눈썹 간 간격이 최소 간격(눈을 가장 크게 뜨고 있을 때)에서 최대 간격(눈을 가장 작게 뜨거나 감았을 때)으로 변경되는 동안 소요되는 소요 시간(초록색 도시)이 짧은 것을 알 수 있다.As shown in FIG. 2 , in normal times when you are not sleepy, if you look at the change in the distance between the eyes and the eyebrows, the holding time (shown in blue) at which the distance between the eyes and the eyebrows is maintained at the maximum interval (when the eyes are opened or closed the smallest). ) is short, and the time it takes for the distance between the eyebrows to change from the minimum (when the eyes are widest) to the maximum (when the eyes are open or closed) is short (shown in green). Able to know.

반면, 졸린 상태에서는, 눈과 눈썹 간 간격의 변화를 보면, 눈과 눈썹 간 간격이 최대 간격(눈을 가장 작게 뜨거나 감았을 때)으로 유지되는 유지 시간(붉은색 도시)이 평상 시보다 길고, 눈과 눈썹 간 간격이 최소 간격(눈을 가장 크게 뜨고 있을 때)에서 최대 간격(눈을 가장 작게 뜨거나 감았을 때)으로 변경되는 동안 소요되는 소요 시간(보라색 도시)이 평상 시보다 긴 것을 알 수 있다.On the other hand, in the sleepy state, when looking at the change in the distance between the eyes and the eyebrows, the maintenance time (shown in red) at which the distance between the eyes and the eyebrows is maintained at the maximum distance (when the eyes are the smallest open or closed) is longer than usual. , that the elapsed time (purple city) is longer than usual while the distance between the eyes and the eyebrows changes from the minimum gap (when the eyes are widest) to the maximum gap (when the eyes are opened or closed the smallest) Able to know.

이러한 점에 기인하여, 모니터링부(120)는, 눈과 눈썹 간 간격의 변화(변경 크기)를 기준으로, 운전자(1)가 눈을 감았을 때 눈을 감은 상태로 유지된 시간(유지 시간값) 및/또는 눈을 감는 속도 달리 말하면 눈을 감을 때 소요되는 시간(소요 시간값)을 모니터링하는 것이다.Due to this, the monitoring unit 120 determines the amount of time (holding time value) for the driver 1 to keep their eyes closed when the driver 1 closes their eyes, based on the change (change size) of the interval between the eyes and the eyebrows. ) and/or eye closing speed, in other words, monitoring the time it takes to close the eyes (time elapsed value).

판단부(130)는, 모니터링부(120)에서 모니터링한 눈과 눈썹 간 간격의 변경 크기 및 시간값을 근거로, 운전자(1)의 졸음 운전 여부를 판단하는 기능을 담당한다.The determination unit 130 is responsible for determining whether the driver 1 is drowsy driving based on the change size and time value of the distance between the eyes and the eyebrows monitored by the monitoring unit 120 .

구체적인 실시예를 설명하면, 판단부(130)는, 눈과 눈썹 간 간격의 변경 크기가 특정 변경 크기인 경우에 모니터링한 유지 시간값이 기 정의된 제1 임계 시간 이상이면, 운전자(1)의 졸음 운전으로 판단할 수 있다.In a specific embodiment, the determination unit 130 is configured to control the driver 1 if the monitored holding time value is greater than or equal to a predetermined first threshold time when the change size of the interval between the eyes and the eyebrows is the specific change size. It can be considered as drowsy driving.

예를 들면, 판단부(130)는, 운전자(1)의 눈과 눈썹 간 간격의 변경 크기가 특정 변경 크기인 경우 즉 운전자(1)가 눈을 감을 때의 경우에 모니터링된 유지 시간값 즉 눈을 감은 상태로 유지된 시간이, 기 정의된 제1 임계 시간 이상인지 판단한다.For example, when the change size of the distance between the eyes and the eyebrows of the driver 1 is a specific change size, that is, when the driver 1 closes the eyes, the determination unit 130 may configure the monitored holding time value, that is, the eyes. It is determined whether the time maintained in the winding state is equal to or greater than a predefined first threshold time.

여기서, 제1 임계 시간은 통상적으로 운전자(1)가 졸리지 않는 평상 시에 눈을 감았다가 즉시 뜨는 경우에 눈을 감을 상태로 유지되는 시간(예: X 초) 보다 긴 시간으로 정의될 수 있으며, 예를 들면 3초로 정의될 수 있다.Here, the first threshold time may be defined as a time longer than the time (eg, X seconds) for which the driver 1 normally closes his/her eyes and then immediately opens the eyes when the driver 1 is not sleepy. For example, it can be defined as 3 seconds.

이에, 판단부(130)는, 운전자(1)가 눈을 감을 때의 경우에 모니터링된 유지 시간값 즉 눈을 감은 상태로 유지된 시간이 제1 임계 시간(예: 3초) 이상이라고 판단되면, 운전자(1)의 졸음 운전으로 판단할 수 있다.Accordingly, if the determination unit 130 determines that the monitored holding time value, that is, the time maintained with the eyes closed, is equal to or longer than the first threshold time (eg, 3 seconds) when the driver 1 closes his/her eyes. , it may be determined that the driver 1 is drowsy driving.

또한, 판단부(130)는, 눈과 눈썹 간 간격의 변경 크기가 특정 변경 크기인 경우에 모니터링한 소요 시간값이 기 정의된 제2 임계 시간 이상인 경우가 소정 횟수 반복되면, 운전자(1)의 졸음 운전으로 판단할 수 있다.In addition, the determination unit 130 is configured to repeat the predetermined number of times the case where the monitoring required time value is greater than or equal to a predetermined second threshold time when the change size of the interval between the eyes and the eyebrows is a specific change size. It can be considered as drowsy driving.

예를 들면, 판단부(130)는, 운전자(1)의 눈과 눈썹 간 간격의 변경 크기가 특정 변경 크기인 경우 즉 운전자(1)가 눈을 감을 때의 경우에 모니터링된 소요 시간값 즉 눈을 감을 때 소요되는 시간이, 기 정의된 제2 임계 시간 이상인지 및 제2 임계 시간 이상인 경우가 소정 횟수(예: N회) 반복되는지 판단한다.For example, when the change size of the distance between the eyes and the eyebrows of the driver 1 is a specific change size, that is, when the driver 1 closes the eyes, the determination unit 130 may be configured to monitor the required time value, that is, the eyes. It is determined whether the time required for winding is equal to or longer than a pre-defined second threshold time, and whether or not the case is repeated a predetermined number of times (eg, N times) or longer than the second threshold time.

여기서, 제2 임계 시간은 통상적으로 운전자(1)가 졸리지 않는 평상 시에 눈을 감았다가 즉시 뜨는 경우 눈을 감을 때 소요되는 시간(예: Y 초) 보다 긴 시간으로 정의될 수 있으며, 예를 들면 0.5초로 정의될 수 있다.Here, the second threshold time may be defined as a time longer than the time required to close the eyes (eg, Y seconds) when the driver 1 normally closes his/her eyes and immediately opens them during normal times when the driver 1 is not sleepy, for example, It can be defined as 0.5 seconds.

이에, 판단부(130)는, 운전자(1)가 눈을 감을 때의 경우에 모니터링된 소요 시간값 즉 눈을 감은 때 소요되는 시간이 제2 임계 시간(예: 0.5초) 이상이라고 판단되며 이때 소요 시간값이 제2 임계 시간(예: 0.5초) 이상인 경우가 N회 반복된 경우라면, 운전자(1)의 졸음 운전으로 판단할 수 있다.Accordingly, the determination unit 130 determines that the monitored required time value when the driver 1 closes his/her eyes, that is, the time required to close his/her eyes, is equal to or greater than the second threshold time (eg, 0.5 seconds), and at this time If the case in which the required time value is longer than the second threshold time (eg, 0.5 seconds) is repeated N times, it may be determined that the driver 1 is drowsy driving.

서비스부(150)는, 판단부(130)에서 운전자(1)의 졸음 운전으로 판단한 경우 운전자(1)에게 경고 알람을 제공함으로써, 운전자(1)의 주위를 환기시켜 졸음 운전을 예방할 수 있도록 한다.When the determination unit 130 determines that the driver 1 is drowsy driving, the service unit 150 provides a warning alarm to the driver 1 to rouse the driver 1 to prevent drowsy driving. .

예를 들면, 서비스부(150)는, 운전자(1)의 주위를 환기시킬 수 있는 이동체 내 장치, 예컨대 단말장치(10)와 연동하여 경고 화면 및 경고 소리 중 적어도 하나를 출력함으로써, 운전자(1)에게 경고 알람을 제공할 수 있다.For example, the service unit 150 outputs at least one of a warning screen and a warning sound in conjunction with an in-mobile device capable of ventilating the driver 1 , for example, the terminal device 10 , thereby generating the driver 1 . ) can provide a warning alarm.

이상 설명한 바와 같이, 본 발명에서는, 졸릴 때 눈(눈꺼풀 최고 지점)과 눈썹 간의 간격이 특이하게 변하는 점에 기인하여, 운전자의 얼굴 이미지로부터 눈과 눈썹 간 간격의 변화를 기준으로 졸음 운전 여부를 판단하는 구체적인 구성을 실현하고 있다.As described above, in the present invention, due to the fact that the distance between the eyes (the highest point of the eyelids) and the eyebrows changes when drowsy, it is determined whether driving drowsy based on the change in the distance between the eyes and the eyebrows from the driver's face image A specific configuration is being realized.

이로써, 본 발명에서는, 운전자의 졸음 운전 여부를 판단해내는데 있어, 운전자가 여전히 전방을 주시한 상태로 졸고 있는 경우 등 예외 상황에서도, 오판이나 누락 없이 높은 신뢰도로 졸음 운전 여부를 판단해낼 수 있는 구체화되고 새로운 방식의 졸음 운전 감지 기술을 실현할 수 있다.Accordingly, in the present invention, in determining whether the driver is drowsy driving, it is possible to determine whether the driver is drowsy driving with high reliability without misjudgment or omission even in exceptional circumstances, such as when the driver is still drowsy while looking ahead and a new type of drowsy driving detection technology can be realized.

한편, 이하에서는, 전술에서 간단히 언급한 눈을 감는 간격으로 기 정의된 특정 변경 크기에 대하여 설명하겠다.Meanwhile, in the following, a specific change size predefined for the eye closing interval briefly mentioned above will be described.

본 발명의 졸음운전 감지장치(100)는, 눈을 감는 간격으로서의 특정 변경 크기를, 운전자(1)의 얼굴 이미지 분석 기반의 눈과 눈썹 간 간격의 변화 패턴을 이용하여 도출하여 정의하고자 한다.The drowsy driving detection device 100 of the present invention intends to define a specific change size as an eye closing interval by deriving and using a change pattern of the eye-brow interval based on the facial image analysis of the driver 1 .

이를 위해, 분석부(140)는, 운전자(1)에 대해, 임의의 분석 시간 동안 촬영한 다수의 얼굴 이미지로부터 확인되는 눈과 눈썹 간 간격을 분석하여, 얼굴 크기 별로 눈을 감는 간격을 특정하는 변경 크기를 정의할 수 있다.To this end, the analysis unit 140 analyzes the distance between the eyes and the eyebrows identified from a plurality of face images taken during an arbitrary analysis time for the driver 1 to specify the eye closing interval for each face size. You can define the size of the change.

이때, 임의의 분석 시간은, 눈을 감는 간격을 특정하기 위해 필요한 다수의 얼굴 이미지를 촬영 및 분석할 수 있는 정도의 시간을 의미하며, 기 정해 놓은 시간일 수도 있고 얼굴 크기 별로 눈을 감는 간격으로서의 특정 변경 크기를 정의하는데 까지 걸리는 유동적인 시간일 수도 있다.In this case, the arbitrary analysis time means a time enough to shoot and analyze a number of face images required to specify the eye closing interval, and may be a predetermined time or as the eye closing interval for each face size. It can also be a flexible amount of time it takes to define a specific change size.

또한, 분석 시간 동안 분석을 통해 특정 변경 크기를 도출 및 정의하는 시점은, 졸음 운전 여부의 판단 대상이 되는 운전자(1)가 금번 운전을 시작하는 시작 시점일 수 있다.In addition, a time point at which a specific change size is derived and defined through analysis during the analysis time may be a start time point at which the driver 1, a target for determining whether driving while drowsy, starts driving this time.

물론, 분석 시간 동안 분석을 통해 특정 변경 크기를 도출 및 정의하는 시점은, 운전자(1)가 과거에 운전하는 동안의 어느 시점일 수도 있다.Of course, the time point at which a specific change size is derived and defined through analysis during the analysis time may be any time point while the driver 1 was driving in the past.

본 발명에서 특정 변경 크기를 도출 및 정의하는 과정에 대해 보다 구체적으로 설명하면, 분석부(140)는, 분석 시간 동안 촬영한 다수의 얼굴 이미지를 얼굴 크기 별로 구분하고, 얼굴 크기 별로 눈과 눈썹 간 간격을 분석하여 가장 많이 분포하는 간격 군집의 대표값을 최소 간격으로 설정하고 가장 먼 간격을 최대 간격으로 설정할 수 있다.To describe the process of deriving and defining a specific change size in the present invention, the analysis unit 140 classifies a plurality of face images taken during the analysis time by face size, and between the eyes and eyebrows for each face size. By analyzing the interval, the representative value of the most distributed interval cluster can be set as the minimum interval and the furthest interval can be set as the maximum interval.

이렇게 되면, 분석 시간 동안 촬영한 다수의 얼굴 이미지를 근거로, 얼굴 크기 별로 최소 간격/최대 간격이 설정될 것이다.In this case, the minimum interval/maximum interval will be set for each face size based on a plurality of face images taken during the analysis time.

그리고, 분석부(140)는, 얼굴 크기 별로, 최소 간격에서 최대 간격으로 변경되는 변경 크기를 계산하여 눈을 감는 간격으로 특정할 수 있다.Then, the analyzer 140 may calculate a change size that is changed from the minimum interval to the maximum interval for each face size and specify the eye closing interval.

이렇게 되면, 동일한 운전자(1)에 대하여, 얼굴 크기 별로 눈을 감는 간격으로서의 특정 변경 크기(최대 간격 - 최소 간격)가 정의될 수 있다.In this way, for the same driver 1, a specific change size (maximum interval - minimum interval) as an eye closing interval for each face size can be defined.

전술의 설명과 같이, 본 발명의 졸음운전 감지장치(100)는, 운전자(1)에 대하여, 얼굴 이미지 분석 기반의 눈과 눈썹 간 간격의 변화 패턴을 이용하여, 얼굴 크기 별 특정 변경 크기를 정의할 수 있다.As described above, the drowsy driving detection device 100 of the present invention defines a specific change size for each face size by using the change pattern of the distance between the eyes and the eyebrows based on the facial image analysis for the driver 1 . can do.

이하에서는 설명의 편의 상, 서로 다른 얼굴 크기(예: A,B,C) 별로 특정 변경 크기를 정의한 실시예를 가정하여 설명하겠다.Hereinafter, for convenience of description, an embodiment in which specific change sizes are defined for different face sizes (eg, A, B, C) will be described.

이처럼 얼굴 이미지 분석 기반의 눈과 눈썹 간 간격의 변화 패턴을 이용하여 얼굴 크기(예: A,B,C) 별 특정 변경 크기를 기 정의하는 실시예에 따르면, 모니터링부(120)는, 확인부(110)에서 확인되는 눈과 눈썹 간 간격의 변경 크기와 비교할 특정 변경 크기로서, 전술과 같이 얼굴 크기 별로 기 정의된 변경 크기 중 금번 촬영된 운전자(1)의 얼굴 이미지의 얼굴 크기와 매칭되는 특정 얼굴 크기에 기 특정된 변경 크기를 사용할 수 있다.As described above, according to the embodiment in which a specific change size for each face size (eg, A, B, C) is previously defined using a change pattern of the interval between the eyes and eyebrows based on facial image analysis, the monitoring unit 120 may As a specific change size to be compared with the change size of the distance between the eyes and the eyebrows confirmed in 110, as described above, among the change sizes predefined for each face size, a specific size matching the face size of the face image of the driver 1 taken this time A pre-specified change size may be used for the face size.

즉, 모니터링부(120)는, 전술과 같이 얼굴 크기 별로 기 정의된 변경 크기 중에서 금번 졸음 운전 여부의 판단 대상으로 촬영한 운전자(1)의 얼굴 이미지의 얼굴 크기가 A이고 이와 동일한 특정 얼굴 크기(얼굴 크기 A)가 있다면, 해당하는 특정 얼굴 크기(얼굴 크기 A)의 특정된 변경 크기를 금번 촬영한 운전자(1)의 얼굴 이미지에서 확인한 눈과 눈썹 간 간격의 변경 크기와 비교할 특정 변경 크기로서 사용하는 것이다.That is, as described above, the monitoring unit 120 determines that the face size of the face image of the driver 1 photographed as a target for determining whether or not drowsy driving among the change sizes previously defined for each face size is A, and the same specific face size ( If there is a face size A), use the specified change size of that specific face size (face size A) as the specific change size to compare with the change size of the eye-brow gap seen in the face image of the driver 1 taken this time. will do

물론, 얼굴 크기(예: A,B,C) 별로 기 정의된 변경 크기 중에서, 금번 촬영된 운전자(1)의 얼굴 이미지의 얼굴 크기와 동일한 특정 얼굴 크기가 존재하지 않을 수도 있다.Of course, among the change sizes predefined for each face size (eg, A, B, C), a specific face size identical to the face size of the face image of the driver 1 photographed this time may not exist.

이 경우, 모니터링부(120)는, 금번 졸음 운전 여부의 판단 대상으로 촬영한 운전자(1)의 얼굴 이미지의 얼굴 크기가 D라고 가정할 때, 금번 촬영한 얼굴 이미지의 얼굴 크기(예: D)를 얼굴 크기(예: A,B,C) 별로 기 정의된 변경 크기 중 특정 얼굴 크기(예: 얼굴 크기B)에 매칭시켜 보정하고(운전자(1)의 얼굴 이미지의 얼굴 크기 D->B), 이렇게 보정된 얼굴 이미지에서 눈과 눈썹 간 간격의 변경 크기를 모니터링할 수 있다.In this case, when it is assumed that the face size of the face image of the driver 1 photographed as a target for determining whether or not driving drowsy this time is D, the monitoring unit 120 performs the face size (eg, D) of the currently photographed face image. is matched to a specific face size (e.g., face size B) among the predefined change sizes for each face size (e.g., A, B, C) (face size D->B of the driver’s (1) face image) , it is possible to monitor the size of the change in the distance between the eyes and the eyebrows in the corrected face image.

즉, 모니터링부(120)는, 금번 촬영한 운전자(1)의 얼굴 이미지의 얼굴 크기(예: D)를 특정 얼굴 크기(예: 얼굴 크기B)와 같은 크기가 되도록 보정하며, 이렇게 얼굴 크기가 D->B로 보정된 얼굴 이미지 내 눈과 눈썹 간 간격의 변경 크기 역시 얼굴 크기가 보정되는 보정 비율에 따라서 보정될 것이므로, 보정된 얼굴 이미지에서 눈과 눈썹 간 간격의 변경 크기를 모니터링할 수 있다.That is, the monitoring unit 120 corrects the face size (eg, D) of the face image of the driver 1 taken this time to be the same size as the specific face size (eg, face size B). The size of the change in the distance between the eyes and the eyebrows in the face image corrected by D->B will also be corrected according to the correction ratio at which the face size is corrected, so the size of the change in the distance between the eyes and the eyebrows in the corrected face image can be monitored. .

그리고, 모니터링부(120)는, 앞서 보정 기준으로 사용한 특정 얼굴 크기(예: 얼굴 크기B)에 특정된 변경 크기를, 앞서 보정된 얼굴 이미지에서 모니터링한 눈과 눈썹 간 간격의 변경 크기와 비교할 특정 변경 크기로서 사용하는 것이다.In addition, the monitoring unit 120 compares the change size specified for the specific face size (eg, face size B) previously used as the correction standard with the change size of the interval between the eyes and the eyebrows monitored in the previously corrected face image. It is to be used as the change size.

이때, 얼굴 크기(예: A,B,C) 별로 기 정의된 변경 크기 중 보정 기준으로 사용할 특정 얼굴 크기(예: 얼굴 크기B)를 선택하는 방식은 다양할 수 있으며, 일 예를 들면 금번 촬영한 운전자(1)의 얼굴 이미지의 얼굴 크기(예: D)와 가장 유사한 얼굴 크기를 선택할 수 있다.In this case, there may be various methods for selecting a specific face size (eg, face size B) to be used as a correction standard among the predefined change sizes for each face size (eg, A, B, C). It is possible to select a face size that is most similar to the face size (eg D) in the face image of one driver 1 .

이상 설명과 같이, 본 발명에서는, 눈과 눈썹 간 간격의 변화를 기준으로 졸음 운전 여부를 판단하는데 있어, 판단 근거로 사용하는 특정 변경 크기(눈을 감는 간격)를 졸음 운전 여부의 판단 대상인 실제 운전자의 얼굴 분석을 통해 실시간으로 특정/정의하며, 더 나아가 운전자의 착석 위치나 자세 등으로 인한 촬영 환경까지 고려하여 얼굴 크기 별로 특정/정의함으로써, 운전자의 착석 위치나 자세 등으로 인한 예외 상황에서도 오판이나 누락 없는 높은 신뢰도로 졸음 운전 여부를 판단해낼 수 있을 것이다.As described above, in the present invention, in judging whether to drive while drowsy based on the change in the distance between the eyes and the eyebrows, a specific change size (the interval between closing the eyes) used as the basis for the determination is the actual driver who is the target of drowsy driving. It specifies/defines in real time through face analysis of the driver, and furthermore, by considering the shooting environment caused by the driver's sitting position or posture, specifying/defining by face size, even in exceptional situations due to the driver's sitting position or posture, It will be possible to determine whether driving while drowsy with high reliability without omission.

이렇듯, 본 발명에서는, 운전자가 여전히 전방을 주시한 상태로 졸고 있는 경우, 운전자의 착석 위치나 자세 등으로 인한 촬영 환경 변화 등 예외 상황에서도, 오판이나 누락 없는 높은 신뢰도로 졸음 운전 여부를 판단해낼 수 있는 구체화되고 새로운 방식의 졸음 운전 감지 기술을 실현하고 있다.As such, in the present invention, when the driver is dozing while still looking ahead, even in exceptional circumstances such as a change in the shooting environment due to the driver's sitting position or posture, it can be determined with high reliability without misjudgment or omission. It is realizing a concrete and new method of drowsy driving detection technology.

한편, 전술 및 후술에서 언급하는 눈과 눈썹 간 간격은, 표현하기에 따라 눈과 눈썹 간 간격은 눈과 눈썹 간 두께, 높이, 폭, 넓이 등으로 표현될 수 있을 것이다.Meanwhile, the distance between the eyes and the eyebrows mentioned above and below may be expressed as the thickness, height, width, width, etc. between the eyes and the eyebrows, depending on the expression.

설명의 편의 상, 본 발명의 졸음운전 감지방법을 수행하는 주체로, 졸음운전 감지장치(100)를 언급하여 설명하겠다.For convenience of description, the drowsy driving detection device 100 will be referred to as a subject performing the method for detecting drowsy driving of the present invention.

본 발명의 졸음운전 감지 기술(방법)에 따르면, 졸음운전 감지장치(100)는 이동체(예: 차량)을 운전하는 운전자(1)를 감지하면 운전자(1)의 얼굴 촬영을 개시한다(S10).According to the drowsy driving detection technology (method) of the present invention, the drowsy driving detection device 100 starts photographing the face of the driver 1 when detecting the driver 1 driving a moving object (eg, a vehicle) (S10) .

예컨대, 운전자(1)를 감지하면, 이동체(예: 차량) 내에서 운전자(1)의 얼굴을 촬영할 수 있도록 구현된 단말장치(10)에 탑재된 카메라가 운전자(1)의 얼굴 촬영을 개시할 수 있다.For example, when the driver 1 is detected, the camera mounted in the terminal device 10 implemented to photograph the face of the driver 1 in a moving object (eg, a vehicle) starts photographing the face of the driver 1 . can

본 발명의 졸음운전 감지 기술(방법)에 따르면, 졸음운전 감지장치(100)는 운전자(1)의 얼굴을 촬영하여 제공되는 운전자(1)의 얼굴 이미지에서 눈(눈꺼풀 최고 지점)과 눈썹 간 간격을 확인할 수 있다.According to the drowsy driving detection technology (method) of the present invention, the drowsy driving detection device 100 captures the driver's face and provides a distance between the eyes (the highest point of the eyelids) and the eyebrows in the driver's face image provided. can confirm.

일 실시예에 따르면, 운전자(1)가 금번 운전을 시작하여 얼굴 촬영이 개시된 시점에, 졸음운전 감지장치(100)는, 운전자(1)의 얼굴 이미지 분석 기반의 눈과 눈썹 간 간격의 변화 패턴을 이용하여 눈을 감는 간격으로서의 특정 변경 크기를 도출 및 정의할 수 있다(S20).According to an exemplary embodiment, when the driver 1 starts driving this time and the face photographing is started, the drowsy driving detection device 100 generates a pattern of changes in the distance between the eyes and the eyebrows based on the driver 1's facial image analysis. can be used to derive and define a specific change size as an eye closing interval (S20).

구체적으로 설명하면, 졸음운전 감지장치(100)는, 운전자(1)에 대해, 임의의 분석 시간 동안 촬영한 다수의 얼굴 이미지로부터 확인되는 눈과 눈썹 간 간격을 분석하여, 얼굴 크기 별로 눈을 감는 간격을 특정하는 변경 크기를 정의할 수 있다.Specifically, the drowsy driving detection device 100 analyzes the distance between the eyes and the eyebrows confirmed from a plurality of face images taken for a certain analysis time for the driver 1, and closes the eyes for each face size. You can define a change size that specifies the interval.

더 구체적으로 설명하면, 졸음운전 감지장치(100)는, 분석 시간 동안 촬영한 다수의 얼굴 이미지를 얼굴 크기 별로 구분하고, 얼굴 크기 별로 눈과 눈썹 간 간격을 분석하여 가장 많이 분포하는 간격 군집의 대표값을 최소 간격으로 설정하고 가장 먼 간격을 최대 간격으로 설정할 수 있다.More specifically, the drowsy driving detection device 100 classifies a plurality of face images taken during the analysis time by face size, and analyzes the distance between the eyes and eyebrows for each face size to represent the most distributed interval cluster. You can set the value to the minimum interval and set the furthest interval to the maximum interval.

그리고, 졸음운전 감지장치(100)는, 얼굴 크기 별로, 최소 간격에서 최대 간격으로 변경되는 변경 크기를 계산하여 눈을 감는 간격으로 특정할 수 있다.Also, the drowsy driving detecting apparatus 100 may calculate a change size changed from a minimum interval to a maximum interval for each face size and specify the eye closing interval.

전술의 설명과 같이, 졸음운전 감지장치(100)는, 운전자(1)에 대하여, 얼굴 이미지 분석 기반의 눈과 눈썹 간 간격의 변화 패턴을 이용하여, 얼굴 크기 별 특정 변경 크기를 정의할 수 있다(S20).As described above, the drowsy driving detection device 100 may define a specific change size for each face size using a change pattern of an eye-brow interval based on facial image analysis for the driver 1 . (S20).

본 발명의 졸음운전 감지 기술(방법)에 따르면, 졸음운전 감지장치(100)는, 눈을 감는 간격으로서의 특정 변경 크기 정의 후, 운전자(1)의 얼굴 이미지에서 실시간으로 확인되는 눈과 눈썹 간 간격을 지속적으로 모니터링하여, 눈과 눈썹 간 간격이 변경되는 변경 크기와 그 간격의 변경과 관련된 시간값을 모니터링한다(S30).According to the drowsy driving detection technology (method) of the present invention, the drowsy driving detection device 100 defines the distance between the eyes and the eyebrows that is checked in real time in the face image of the driver 1 after defining a specific change size as the eye closing interval. by continuously monitoring the change size at which the interval between the eyes and the eyebrows is changed and the time value associated with the change of the interval (S30).

구체적으로, 졸음운전 감지장치(100)는, 실시간으로 확인되는 눈과 눈썹 간 간격이 변경되는 변경 크기가 눈을 감는 간격으로 기 정의된 특정 변경 크기인지를 모니터링할 수 있다.Specifically, the drowsy driving detecting apparatus 100 may monitor whether the change size in which the interval between the eyes and the eyebrows checked in real time is changed is a predetermined specific change size as the eye closing interval.

즉, 졸음운전 감지장치(100)는, 눈과 눈썹 간 간격의 변화(변경 크기)를 기준으로, 눈과 눈썹 간 간격의 변경 크기를 특정 변경 크기와 비교하여 운전자(1)가 눈을 감았는지 여부를 모니터링하는 것이다.That is, the drowsy driving detection device 100 compares the change size of the eye-brow interval with a specific change size based on the change (change size) of the eye-brow interval to determine whether the driver 1 closes his/her eyes. to monitor whether

이때, 졸음운전 감지장치(100)는, 눈과 눈썹 간 간격의 변경 크기와 비교할 특정 변경 크기로서, 전술의 S20단계에서 얼굴 크기 별로 기 정의된 변경 크기 중 금번 촬영된 운전자(1)의 얼굴 이미지의 얼굴 크기와 매칭되는 특정 얼굴 크기에 기 특정된 변경 크기를 사용할 수 있다.At this time, the drowsy driving detecting device 100 is a specific change size to be compared with the change size of the distance between the eyes and the eyebrows, and the face image of the driver 1 taken this time among the change sizes predefined for each face size in step S20 above. A previously specified change size may be used for a specific face size matching the face size of .

물론, 얼굴 크기 별로 기 정의된 변경 크기 중에서, 금번 촬영된 운전자(1)의 얼굴 이미지의 얼굴 크기와 동일한 특정 얼굴 크기가 존재하지 않을 수도 있다.Of course, among the change sizes predefined for each face size, a specific face size identical to the face size of the face image of the driver 1 photographed this time may not exist.

이 경우, 졸음운전 감지장치(100)는, 금번 졸음 운전 여부의 판단 대상으로 촬영한 운전자(1)의 얼굴 이미지의 얼굴 크기를 얼굴 크기 별로 기 정의된 변경 크기 중 특정 얼굴 크기에 매칭시켜 보정하고, 이렇게 보정된 얼굴 이미지에서 눈과 눈썹 간 간격의 변경 크기를 모니터링할 수 있다.In this case, the drowsy driving detection device 100 corrects the face size of the face image of the driver 1 photographed as the target for determining whether drowsy driving this time by matching it with a specific face size among the change sizes predefined for each face size. , it is possible to monitor the size of the change in the distance between the eyes and the eyebrows in the corrected face image.

즉, 졸음운전 감지장치(100)는, 금번 촬영한 운전자(1)의 얼굴 이미지의 얼굴 크기를 특정 얼굴 크기와 같은 크기가 되도록 보정하며, 이렇게 얼굴 크기가 보정된 얼굴 이미지 내 눈과 눈썹 간 간격의 변경 크기 역시 얼굴 크기가 보정되는 보정 비율에 따라서 보정될 것이므로, 보정된 얼굴 이미지에서 눈과 눈썹 간 간격의 변경 크기를 모니터링할 수 있다.That is, the drowsy driving detecting device 100 corrects the face size of the face image of the driver 1 taken this time to be the same size as the specific face size, and the distance between the eyes and the eyebrows in the face image with the face size corrected in this way. Since the change size of will also be corrected according to the correction rate at which the face size is corrected, it is possible to monitor the change size of the distance between the eyes and the eyebrows in the corrected face image.

그리고, 졸음운전 감지장치(100)는, 앞서 보정 기준으로 사용한 특정 얼굴 크기의 특정된 변경 크기를, 앞서 보정한 눈과 눈썹 간 간격의 변경 크기와 비교할 특정 변경 크기로서 사용할 수 있다.In addition, the drowsy driving detecting device 100 may use the specified change size of the specific face size used as the correction standard as the specific change size to be compared with the previously corrected change size of the eye-brow distance.

이에, 졸음운전 감지장치(100)는, 실시간으로 확인되는 눈과 눈썹 간 간격의 변경 크기가 눈을 감는 간격으로서의 특정 변경 크기이거나 그 이상인지 여부를 모니터링하고, 눈과 눈썹 간 간격의 변경 과정에서 눈과 눈썹 간 간격이 최대 간격으로 유지되는 유지 시간값 및 눈과 눈썹 간 간격이 최소 간격에서 최대 간격으로 변경되는 동안 소요되는 소요 시간값 중 적어도 하나를 모니터링할 수 있다(S30).Accordingly, the drowsy driving detection device 100 monitors whether the change size of the interval between the eyes and the eyebrows checked in real time is a specific change size or more as the interval for closing the eyes, and in the process of changing the interval between the eyes and the eyebrows At least one of a maintenance time value for maintaining the interval between the eyes and eyebrows at the maximum interval and a time required for changing the interval between the eyes and eyebrows from the minimum interval to the maximum interval may be monitored ( S30 ).

본 발명의 졸음운전 감지 기술(방법)에 따르면, 졸음운전 감지장치(100)는, S30단계의 모니터링을 기반으로, 눈과 눈썹 간 간격의 변경 크기가 눈을 감는 간격으로서의 특정 변경 크기이거나 그 이상인 경우(S40 Yes), 즉 운전자(1)가 눈을 감았다고 판단되는 경우(S40 Yes), 금번 눈과 눈썹 간 간격의 변경 과정에서의 유지 시간값 및 소요 시간값 중 적어도 하나를 근거로 졸음 운전 여부를 판단한다.According to the drowsy driving detection technology (method) of the present invention, the drowsy driving detection device 100, based on the monitoring in step S30, determines that the change size of the interval between the eyes and the eyebrows is equal to or greater than a specific change size as the eye closing interval. In case (S40 Yes), that is, when it is determined that the driver 1 has closed his eyes (S40 Yes), drowsy driving based on at least one of a holding time value and a required time value in the process of changing the distance between the eyes and eyebrows decide whether

구체적으로, 졸음운전 감지장치(100)는, 눈과 눈썹 간 간격의 변경 크기가 특정 변경 크기인 경우(또는, 특정 변경 크기 이상인 경우)에 모니터링한 유지 시간값이 기 정의된 제1 임계 시간 이상이면(S50 Yes), 운전자(1)의 졸음 운전으로 판단할 수 있다(S70).Specifically, the drowsy driving detection device 100, when the change size of the interval between the eyes and the eyebrows is a specific change size (or greater than or equal to the specific change size), the monitored holding time value is greater than or equal to a predefined first threshold time On the other hand (S50 Yes), it may be determined that the driver 1 is drowsy driving (S70).

예를 들면, 졸음운전 감지장치(100)는, 운전자(1)의 눈과 눈썹 간 간격의 변경 크기가 특정 변경 크기인 경우(또는, 특정 변경 크기 이상인 경우) 즉 운전자(1)가 눈을 감을 때의 경우에 모니터링된 유지 시간값 즉 눈을 감은 상태로 유지된 시간이, 기 정의된 제1 임계 시간 이상인지 판단한다.For example, the drowsy driving detecting apparatus 100 may detect when the change size of the distance between the driver 1's eyes and the eyebrows is a specific change size (or greater than or equal to the specific change size), that is, when the driver 1 closes his/her eyes. In this case, it is determined whether the monitored holding time value, that is, the time the eyes are kept in a closed state, is equal to or greater than a predefined first threshold time.

이에, 졸음운전 감지장치(100)는, 운전자(1)가 눈을 감을 때의 경우에 모니터링된 유지 시간값 즉 눈을 감은 상태로 유지된 시간이 제1 임계 시간(예: 3초) 이상이라고 판단되면, 운전자(1)의 졸음 운전으로 판단할 수 있다.Accordingly, the drowsy driving detection device 100 determines that the monitored holding time value, that is, the time maintained with the eyes closed, is longer than or equal to the first threshold time (eg, 3 seconds) when the driver 1 closes his/her eyes. If it is determined, it may be determined that the driver 1 is drowsy driving.

한편, 졸음운전 감지장치(100)는, 눈과 눈썹 간 간격의 변경 크기가 특정 변경 크기인 경우 유지 시간값이 제1 임계 시간 이상이 아니더라도(S50 No), 그때의 소요 시간값이 기 정의된 제2 임계 시간 이상인 경우가 소정 횟수(N회) 반복되면(S60 Yes), 운전자(1)의 졸음 운전으로 판단할 수 있다(S70).On the other hand, the drowsy driving detection device 100, when the change size of the interval between the eyes and the eyebrows is a specific change size, even if the holding time value is not equal to or greater than the first threshold time (S50 No), the required time value at that time is a predefined If the case of the second threshold time or longer is repeated a predetermined number of times (N times) (S60 Yes), it may be determined that the driver 1 is drowsy driving (S70).

이에, 졸음운전 감지장치(100)는, 운전자(1)가 눈을 감을 때의 경우에 모니터링된 소요 시간값 즉 눈을 감은 때 소요되는 시간이 제2 임계 시간(예: 0.5초) 이상이라고 판단되며 이때 소요 시간값이 제2 임계 시간(예: 0.5초) 이상인 경우가 N회 반복된 경우라면, 운전자(1)의 졸음 운전으로 판단할 수 있다.Accordingly, the drowsy driving detection device 100 determines that the monitored time value, ie, the time required to close the eyes, is equal to or greater than the second threshold time (eg, 0.5 seconds) when the driver 1 closes his/her eyes. In this case, if the case in which the required time value is longer than the second threshold time (eg, 0.5 seconds) is repeated N times, it may be determined that the driver 1 is drowsy driving.

반면, 졸음운전 감지장치(100)는, 소요 시간값이 기 정의된 제2 임계 시간 이상이라도 소정 횟수(N회) 반복되지 않은 경우라면(S60 No), 반복 횟수를 1 증가시킨 후(S90) S30단계의 모니터링을 지속할 것이다.On the other hand, the drowsy driving detection device 100 increases the number of repetitions by 1 (S90) if the required time value is not repeated a predetermined number of times (N times) even if the time required is equal to or longer than a predefined second threshold time (S60 No). Monitoring of step S30 will continue.

그리고, 본 발명의 졸음운전 감지 기술(방법)에 따르면, 졸음운전 감지장치(100)는, S50 또는 S60단계에서 운전자(1)의 졸음 운전으로 판단한 경우 운전자(1)에게 경고 알람을 제공함으로써, 운전자(1)의 주위를 환기시켜 졸음 운전을 예방할 수 있도록 한다(S70).And, according to the drowsy driving detection technology (method) of the present invention, the drowsy driving detection device 100 provides a warning alarm to the driver 1 when it is determined that the driver 1 is drowsy driving in step S50 or S60, It ventilates the surroundings of the driver 1 to prevent drowsy driving (S70).

전술과 같은 본 발명의 졸음운전 감지 기술(방법)에 따르면, 졸음운전 감지장치(100)는, 금번 시작된 운전이 종료되기 전 졸음운전 감지 기능이 오프되지 않는 한(80 No), S30단계의 모니터링을 지속하여 그 이후 단계를 통해 졸음 운전 여부를 계속해서 판단(감지)할 것이다.According to the drowsy driving detection technology (method) of the present invention as described above, the drowsy driving detection device 100 monitors the step S30 unless the drowsy driving detection function is turned off before the currently started driving is ended (80 No). It will continue to determine (detect) whether driving while drowsy through subsequent steps.

이상 설명한 바와 같이, 본 발명에 따르면, 운전자의 얼굴 이미지로부터 눈과 눈썹 간 간격의 변화를 기준으로 하여 오차 없는 높은 신뢰도로 졸음 운전 여부를 판단해낼 수 있는 구체화되고 새로운 방식의 졸음 운전 감지 기술을 실현할 수 있다.As described above, according to the present invention, it is possible to realize a concrete and new method of detecting drowsy driving that can determine whether or not drowsy driving with high reliability without errors based on the change in the distance between the eyes and eyebrows from the driver's face image. can

본 발명의 일 실시예에 따른 졸음운전 감지방법은, 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.The method for detecting drowsy driving according to an embodiment of the present invention may be implemented in the form of a program command that can be executed through various computer means and recorded in a computer-readable medium. The computer-readable medium may include program instructions, data files, data structures, etc. alone or in combination. The program instructions recorded on the medium may be specially designed and configured for the present invention, or may be known and available to those skilled in the art of computer software. Examples of the computer-readable recording medium include magnetic media such as hard disks, floppy disks and magnetic tapes, optical media such as CD-ROMs and DVDs, and magnetic such as floppy disks. - includes magneto-optical media, and hardware devices specially configured to store and execute program instructions, such as ROM, RAM, flash memory, and the like. Examples of program instructions include not only machine language codes such as those generated by a compiler, but also high-level language codes that can be executed by a computer using an interpreter or the like. The hardware devices described above may be configured to operate as one or more software modules to carry out the operations of the present invention, and vice versa.

지금까지 본 발명을 바람직한 실시 예를 참조하여 상세히 설명하였지만, 본 발명이 상기한 실시 예에 한정되는 것은 아니며, 이하의 특허청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 누구든지 다양한 변형 또는 수정이 가능한 범위까지 본 발명의 기술적 사상이 미친다 할 것이다.Although the present invention has been described in detail with reference to preferred embodiments so far, the present invention is not limited to the above-described embodiments, and without departing from the gist of the present invention as claimed in the following claims, the technical field to which the present invention pertains It will be said that the technical idea of the present invention extends to a range where various modifications or modifications can be made by anyone having ordinary knowledge in the present invention.

본 발명의 졸음운전 감지장치 및 졸음운전 감지방법에 따르면, 눈과 눈썹 간 간격의 변화를 기준으로 하여 오차 없는 높은 신뢰도로 졸음 운전 여부를 판단해낼 수 있는 구체화되고 새로운 방식의 졸음 운전 감지 기술을 실현하는 점에서, 기존 기술의 한계를 뛰어 넘음에 따라 관련 기술에 대한 이용만이 아닌 적용되는 장치의 시판 또는 영업의 가능성이 충분할 뿐만 아니라 현실적으로 명백하게 실시할 수 있는 정도이므로 산업상 이용가능성이 있는 발명이다.According to the device for detecting drowsy driving and the method for detecting drowsy driving of the present invention, a concrete and new method of detecting drowsy driving that can determine whether or not drowsy driving is performed with high reliability without error based on the change in the distance between the eyes and eyebrows is realized In this regard, as it goes beyond the limits of existing technologies, it is not only the use of the related technology, but also the possibility of marketing or business of the applied device is sufficient, and it is an invention with industrial applicability because it can be clearly implemented in reality. .

100 : 졸음운전 감지장치
110 : 확인부 120 : 모니터링부
130 : 판단부 140 : 분석부
150 : 서비스부100: drowsy driving detection device
110: confirmation unit 120: monitoring unit
130: judgment unit 140: analysis unit
150: service department

Claims

a check unit that checks the distance between the eyes and the eyebrows in the face of the driver who drives the moving object in motion;
a monitoring unit configured to monitor a change size at which the interval is changed and a time value associated with the change of the interval based on the checked interval between the eye and the eyebrow; and
and a determination unit determining whether the driver is drowsy driving based on the monitored change size and time value.

The method of claim 1,
The monitoring unit,
When the change size of the interval between the eyes and the eyebrows is a specific change size predefined as the eye closing interval,
Drowsy driving detection, characterized in that monitoring at least one of a holding time value for maintaining the distance between the eyes and eyebrows at a maximum interval and a time required for changing the distance between the eyes and eyebrows from a minimum interval to a maximum interval Device.

3. The method of claim 2,
The judging unit,
Drowsy driving detection device, characterized in that when the change size of the distance between the eyes and the eyebrows is the specific change size and the monitored holding time value is equal to or greater than a first threshold time, it is determined that the driver is drowsy driving. .

3. The method of claim 2,
The judging unit,
When the change size of the interval between the eyes and the eyebrows is the specific change size, and the case where the monitored time required is equal to or longer than a predefined second threshold time is repeated a predetermined number of times, it is determined that the driver is drowsy driving Drowsy driving detection device.

3. The method of claim 2,
For the driver, it further comprises an analysis unit defining a change size specifying the eye closing interval for each face size by analyzing the eye and eyebrow interval identified from a plurality of face images taken during an arbitrary analysis time. Drowsy driving detection device.

6. The method of claim 5,
The analysis unit,
Classifying the plurality of face images by face size, analyzing the distance between the eyes and eyebrows for each face size, setting the representative value of the most distributed interval cluster as the minimum interval, and setting the furthest interval as the maximum interval,
The device for detecting drowsy driving, characterized in that for each face size, a change size changed from the minimum interval to the maximum interval is calculated and specified as an eye closing interval.

6. The method of claim 5,
The monitoring unit,
The face size of the driver's face image taken as a target for determining whether driving while drowsy is corrected by matching a specific face size among the change sizes predefined for each face size, and changing the distance between the eyes and the eyebrows in the corrected face image monitor the size,
The specific change size is
Drowsy driving detection device, characterized in that the change size specified in the specific face size.

an interval checking step of checking the distance between the eyes and the eyebrows in the face of the driver driving the moving object in motion;
a monitoring step of monitoring a change size at which the interval is changed and a time value related to the change of the interval based on the checked interval between the eye and the eyebrow; and
and determining whether the driver is drowsy driving based on the monitored change size and time value.

9. The method of claim 8,
The monitoring step is
When the change size of the interval between the eyes and the eyebrows is a specific change size predefined as the eye closing interval,
Drowsy driving detection, characterized in that monitoring at least one of a holding time value for maintaining the distance between the eyes and eyebrows at a maximum interval and a time required for changing the distance between the eyes and eyebrows from a minimum interval to a maximum interval How the device works.

10. The method of claim 9,
The judging step is
When the change size of the interval between the eyes and the eyebrows is the specific change size and the monitored holding time value is equal to or greater than a predefined first threshold time, it is determined that the driver is drowsy driving,
When the change size of the interval between the eyes and the eyebrows is the specific change size, and the case where the monitored time required is equal to or longer than a predefined second threshold time is repeated a predetermined number of times, it is determined that the driver is drowsy driving How to operate a drowsy driving detection device.

10. The method of claim 9,
An analysis step of defining a change size specifying an eye closing interval for each face size by analyzing the distance between the eyebrows and the eyebrows confirmed from a plurality of face images taken for an arbitrary analysis time for the driver How to operate a drowsy driving detection device.

12. The method of claim 11,
The analysis step is
Classifying the plurality of face images by face size, analyzing the distance between the eyes and eyebrows for each face size, setting the representative value of the most distributed interval cluster as the minimum interval, and setting the furthest interval as the maximum interval,
The operating method of the drowsy driving detection device, characterized in that for each face size, a change size changed from the minimum interval to the maximum interval is calculated and the eye closing interval is specified.

A computer program stored on a medium in combination with hardware to execute each step of any one of claims 8 to 12.