KR20240008151A

KR20240008151A - Driver Drowsiness Monitoring System Using Smart Band

Info

Publication number: KR20240008151A
Application number: KR1020220085183A
Authority: KR
Inventors: 최정주; 봉주성
Original assignee: 주식회사 차바치
Priority date: 2022-07-11
Filing date: 2022-07-11
Publication date: 2024-01-18

Abstract

본 발명은 졸음 운전에 의한 교통 사고를 미연에 예방하기 위하여 스마트 밴드를 착용한 운전자의 생체 신호 데이터를 수집하여 졸음 여부를 판단하되, 운전자의 나이와 체중, 신장 등과 같은 운전자 특성 데이터에 따른 임계치를 기반으로 하여 졸음 여부를 매우 정확하게 판단할 수 있는 스마트 밴드를 이용한 운전자 졸음 감시 시스템에 관한 것으로, 운전자의 생체 신호를 측정하는 센서 모듈과, 휴대용 사용자 단말기와 무선 통신망을 통하여 데이터 및 제어신호를 송수신하는 제1 통신 모듈을 구비하는 스마트 밴드; 서버 및 상기 스마트 밴드와 무선 통신망을 통하여 데이터 및 제어신호를 송수신하는 제2 통신 모듈과, 상기 스마트 밴드에서 전송된 운전자의 생체 신호를 바탕으로 운전자의 졸음 여부를 판단하는 판단 모듈을 구비하는 휴대용 사용자 단말기; 및 상기 휴대용 사용자 단말기와 무선 통신망을 통하여 데이터 및 제어신호를 송수신하는 제3 통신 모듈과, 상기 휴대용 사용자 단말기로부터 각 운전자 특성 데이터와 생체 신호를 수신하여 저장하는 데이터베이스와, 상기 데이터베이스에 저장된 다수의 운전자 특성 데이터와 생체 신호를 기반으로 해당 운전자의 졸음 여부를 판단하는 임계치를 생성하는 예측 모듈을 구비하는 서버;를 포함하는 것을 특징으로 한다.In order to prevent traffic accidents caused by drowsy driving, the present invention collects biosignal data of drivers wearing smart bands to determine whether they are drowsy, and sets a threshold according to driver characteristic data such as the driver's age, weight, and height. It is about a driver drowsiness monitoring system using a smart band that can very accurately determine whether drowsiness is based on a sensor module that measures the driver's vital signs, and transmits and receives data and control signals through a portable user terminal and a wireless communication network. A smart band having a first communication module; A portable user equipped with a server and a second communication module that transmits and receives data and control signals through a wireless communication network with the smart band, and a judgment module that determines whether the driver is drowsy based on the driver's biological signals transmitted from the smart band. terminal; and a third communication module that transmits and receives data and control signals with the portable user terminal through a wireless communication network, a database that receives and stores each driver characteristic data and biometric signals from the portable user terminal, and a plurality of drivers stored in the database. A server having a prediction module that generates a threshold for determining whether the driver is drowsy based on characteristic data and biological signals.

Description

Driver Drowsiness Monitoring System Using Smart Band}

본 발명은 스마트 밴드를 이용한 운전자 졸음 감시 시스템에 관한 것으로, 보다 상세하게는 졸음 운전에 의한 교통 사고를 미연에 예방하기 위하여 스마트 밴드를 착용한 운전자의 생체 신호 데이터를 수집하여 졸음 여부를 판단하되, 운전자의 나이와 체중, 신장 등과 같은 운전자 특성 데이터에 따른 임계치를 기반으로 하여 졸음 여부를 매우 정확하게 판단할 수 있는 스마트 밴드를 이용한 운전자 졸음 감시 시스템에 관한 것이다.The present invention relates to a driver drowsiness monitoring system using a smart band. More specifically, in order to prevent traffic accidents caused by drowsy driving, bio-signal data of drivers wearing smart bands is collected to determine whether or not the driver is drowsy. This relates to a driver drowsiness monitoring system using a smart band that can very accurately determine drowsiness based on thresholds based on driver characteristic data such as the driver's age, weight, height, etc.

일반적으로 졸음 운전에 의한 교통사고는 대형사고로 이어지는 경우가 대다수인데, 특히 트럭이나 버스 등 대형 차량을 장거리 운행하는 운전자는 항상 졸음 운전의 위험에 노출되어 있으며, 대형 차량에 의한 졸음 운전 사고는 90% 이상이 사망 사고인 것으로 알려져 있다.In general, most traffic accidents caused by drowsy driving lead to major accidents. In particular, drivers who drive large vehicles such as trucks or buses over long distances are always exposed to the risk of drowsy driving, and drowsy driving accidents caused by large vehicles occur in 90% of cases. It is known that more than % are fatal accidents.

장거리 운행하는 차량의 운전자는 졸음 운전을 예방하고 운전자의 건강을 위해서 일정 시간 간격으로 운행 중 휴식 시간을 가져야 하는 것이 권장되지만, 시간에 쫓기거나 기타의 이유로 잘 지켜지고 있지 않는 것이 현실이다.Drivers of vehicles traveling long distances are recommended to take breaks during driving at regular intervals to prevent drowsy driving and to ensure the driver's health, but the reality is that this is not observed well due to time constraints or other reasons.

이에 운전자의 상태를 감시하여 졸음 운전을 예방하고자 다양한 형태의 시도가 이루어지고 있는데, 카메라를 기반으로 운전자의 얼굴을 인식하고 눈깜빡임이나 얼굴 근육의 변화 등을 바탕으로 졸음 여부를 판단하여 운전자에게 경고를 주는 시스템이 대표적이다.Accordingly, various attempts are being made to prevent drowsy driving by monitoring the driver's condition. Based on the camera, the driver's face is recognized, and the driver is warned whether he or she is drowsy based on blinking or changes in facial muscles. A representative example is the system that gives.

그러나, 이와 같은 카메라를 기반으로 하는 시스템은 외부 빛으로 인한 잡음에 취약하고, 운전자마다 졸음으로 나타나는 행동 패턴이 다양하여 정확도가 매우 떨어질 뿐만 아니라, 운전자가 선글라스를 착용하고 있는 경우나 야간에 운전을 하는 경우에는 졸음 여부를 판단하기 불가능하다는 문제점을 가지고 있었다.However, such a camera-based system is vulnerable to noise caused by external light, and the accuracy is very low due to the various behavioral patterns of drowsiness for each driver. In addition, not only is the system very poor in accuracy, but it is also difficult to operate when the driver is wearing sunglasses or driving at night. In this case, there was a problem that it was impossible to determine whether the person was drowsy.

본 발명은 상술한 문제점을 해결하기 위한 것으로써, 졸음 운전에 의한 교통 사고를 미연에 예방하기 위하여 스마트 밴드를 착용한 운전자의 생체 신호 데이터를 수집하여 졸음 여부를 판단하되, 운전자의 나이와 체중, 신장 등과 같은 운전자 특성 데이터에 따른 임계치를 기반으로 하여 졸음 여부를 매우 정확하게 판단할 수 있는 스마트 밴드를 이용한 졸음 운전 감시 시스템을 제공하는데 목적이 있다.The present invention is intended to solve the above-mentioned problems. In order to prevent traffic accidents caused by drowsy driving, bio-signal data of a driver wearing a smart band is collected to determine whether the driver is drowsy, and the driver's age and weight are determined. The purpose is to provide a drowsy driving monitoring system using a smart band that can very accurately determine drowsiness based on thresholds based on driver characteristic data such as height, etc.

상술한 기술적 과제를 해결하기 위한 스마트 밴드를 이용한 졸음 운전 감시 시스템은, 운전자의 생체 신호를 측정하는 센서 모듈과, 휴대용 사용자 단말기와 무선 통신망을 통하여 데이터 및 제어신호를 송수신하는 제1 통신 모듈을 구비하는 스마트 밴드; 서버 및 상기 스마트 밴드와 무선 통신망을 통하여 데이터 및 제어신호를 송수신하는 제2 통신 모듈과, 상기 스마트 밴드에서 전송된 운전자의 생체 신호를 바탕으로 운전자의 졸음 여부를 판단하는 판단 모듈을 구비하는 휴대용 사용자 단말기; 및 상기 휴대용 사용자 단말기와 무선 통신망을 통하여 데이터 및 제어신호를 송수신하는 제3 통신 모듈과, 상기 휴대용 사용자 단말기로부터 각 운전자 특성 데이터와 생체 신호를 수신하여 저장하는 데이터베이스와, 상기 데이터베이스에 저장된 다수의 운전자 특성 데이터와 생체 신호를 기반으로 해당 운전자의 졸음 여부를 판단하는 임계치를 생성하는 예측 모듈을 구비하는 서버;를 포함하는 것을 특징으로 한다.The drowsy driving monitoring system using a smart band to solve the above-mentioned technical problems is equipped with a sensor module that measures the driver's biological signals and a first communication module that transmits and receives data and control signals through a portable user terminal and a wireless communication network. smart band that does; A portable user equipped with a server and a second communication module that transmits and receives data and control signals through a wireless communication network with the smart band, and a judgment module that determines whether the driver is drowsy based on the driver's biological signals transmitted from the smart band. terminal; and a third communication module that transmits and receives data and control signals with the portable user terminal through a wireless communication network, a database that receives and stores each driver characteristic data and biometric signals from the portable user terminal, and a plurality of drivers stored in the database. A server having a prediction module that generates a threshold for determining whether the driver is drowsy based on characteristic data and biological signals.

이때, 상기 졸음 운전 감시 시스템은 운전자의 안면 영상을 촬영하는 카메라 모듈과, 상기 휴대용 사용자 단말기와 유선 또는무선 통신망을 통하여 데이터 및 제어신호를 송수신하는 제4 통신 모듈을 구비하며, 자동차의 실내에 장착되는 촬상 장치;가 더 포함되며, 상기 휴대용 사용자 단말기의 판단 모듈은 상기 촬상 장치에서 전송된 운전자의 안면 영상과 상기 스마트 밴드에서 전송된 운전자의 생체 신호를 바탕으로 운전자의 졸음 여부를 판단하는 것을 특징으로 한다.At this time, the drowsy driving monitoring system includes a camera module that captures an image of the driver's face, and a fourth communication module that transmits and receives data and control signals through the portable user terminal and a wired or wireless communication network, and is installed inside the car. An imaging device is further included, wherein the determination module of the portable user terminal determines whether the driver is drowsy based on the driver's facial image transmitted from the imaging device and the driver's biometric signals transmitted from the smart band. Do it as

또한, 상기 촬상 장치의 카메라 모듈은 운전자의 안면과 자동차의 후방을 동시에 촬영하며, 상기 촬상 장치는 상기 카메라 모듈에서 촬영한 영상에서 운전자의 안면 영상과 자동차의 후방 영상을 분리하는 영상 처리 모듈이 더 구비되는 것을 특징으로 한다.In addition, the camera module of the imaging device simultaneously images the driver's face and the rear of the car, and the imaging device further includes an image processing module that separates the driver's face image and the rear image of the car from the image captured by the camera module. It is characterized by being provided.

또한, 상기 휴대용 사용자 단말기의 판단 모듈은, 상기 촬상 장치로부터 전송된 운전자의 안면 영상으로부터 운전자의 졸음 여부를 판단하는 단계; 운전자의 졸음이 의심되는 경우 또는 졸음 여부를 판단하기 불가능한 경우, 상기 스마트 밴드로 제어 신호를 전송하여 제1 기간 동안 운전자의 생체 신호를 측정하도록 명령하는 단계; 상기 스마트 밴드로부터 제1 기간 동안 측정된 제1 생체 신호 데이터를 전송받는 단계; 상기 스마트 밴드로 제어 신호를 전송하여 제2 기간 동안 운전자의 생체 신호를 측정하도록 명령하는 단계; 상기 스마트 밴드로부터 제2 기간 동안 측정된 제2 생체 신호 데이터를 전송받는 단계; 상기 제1 생체 신호 데이터와 제2 생체 신호 데이터를 바탕으로 정규화된 졸음 판단 데이터를 산출하는 단계; 및 상기 서버로부터 전송받은 해당 운전자의 졸음 여부 판단의 임계치와 상기 졸음 판단 데이터를 비교하여 최종적으로 졸음 여부를 판단하는 단계;를 수행하는 것을 특징으로 한다.Additionally, the determination module of the portable user terminal may include determining whether the driver is drowsy from the driver's facial image transmitted from the imaging device; If the driver's drowsiness is suspected or it is impossible to determine whether the driver is drowsy, transmitting a control signal to the smart band to command the smart band to measure the driver's vital signs during a first period; Receiving first biosignal data measured during a first period from the smart band; transmitting a control signal to the smart band to command the smart band to measure the driver's vital signs during a second period; Receiving second biosignal data measured during a second period from the smart band; calculating normalized drowsiness judgment data based on the first and second biosignal data; and finally determining whether the driver is drowsy by comparing the drowsiness determination data with a threshold value for determining whether the driver is drowsy received from the server.

한편, 상기 휴대용 사용자 단말기는, 상기 판단 모듈에서 운전자의 졸음을 판단한 경우, 13~20Hz 대의 저베타파 백색 소음을 생성하는 각성 모듈이 더 포함되는 것을 특징으로 한다.Meanwhile, the portable user terminal is characterized in that it further includes an awakening module that generates low beta wave white noise in the 13 to 20 Hz range when the determination module determines that the driver is drowsy.

본 발명은 스마트 밴드를 이용하여 운전자의 생체 신호를 측정하고, 이를 휴대용 사용자 단말기를 통하여 서버로 전송하여 운전자의 나이나 신장, 체중 등 운전자 특성 데이터와 함께 데이터베이스에 저장함으로써 운전자의 졸음 여부를 일률적인 기준으로 판단하는 것이 아니라 운전자의 특성에 맞는 임계치를 생성하여 매우 정확하게 졸음 여부를 판단할 수 있다는 장점이 있다.The present invention measures the driver's vital signs using a smart band, transmits them to a server through a portable user terminal, and stores them in a database along with driver characteristic data such as the driver's age, height, and weight, thereby uniformly determining whether the driver is drowsy. It has the advantage of being able to determine drowsiness very accurately by creating a threshold that matches the driver's characteristics rather than judging based on a standard.

또한, 본 발명은 자동차 내부에 장착되는 촬상 장치를 통하여 운전자의 안면과 함께 자동차의 후방을 동시에 촬영하여 운전자의 안면 영상은 생체 신호와 함께 졸음 운전을 판단하는 데이터로, 자동차의 후방 영상은 안전 운행을 위한 데이터로 사용함으로써, 운전자의 졸음 여부를 보다 복합적으로 판단할 수 있을 뿐만 아니라 블랙박스나 운전자 지원 시스템(ADAS) 등을 운영하는 데에도 사용할 수 있다는 다른 장점이 있다.In addition, the present invention simultaneously captures the driver's face and the rear of the car through an imaging device mounted inside the car, so that the driver's facial image is used as data for determining drowsy driving along with vital signs, and the rear image of the car is used to determine safe driving. Another advantage is that by using it as data, not only can it be used to determine whether the driver is drowsy in a more complex way, but it can also be used to operate a black box or driver assistance system (ADAS).

또한, 본 발명은 촬상 장치에서 쵤영된 운전자의 안면 영상을 분석하여 1차적으로 운전자의 졸음 여부를 판단하고, 졸음 운전이 의심되는 경우나 운전자의 졸음 여부를 판단하기 불가능한 경우에만 스마트 밴드로 제어 신호를 전송하여 운전자의 생체 신호 데이터를 수집하여 운전자의 졸음 여부를 판단함으로써, 스마트 밴드를 통하여 항상 운전자의 생체 신호 데이터를 수집할 필요가 없어 스마트 밴드의 소비 전력을 획기적으로 줄일 수 있다는 또 다른 장점이 있다.In addition, the present invention primarily determines whether the driver is drowsy by analyzing the driver's facial image captured by the imaging device, and sends a control signal to the smart band only when drowsy driving is suspected or when it is impossible to determine whether the driver is drowsy. Another advantage is that the power consumption of the smart band can be dramatically reduced by transmitting and collecting the driver's vital signal data to determine whether the driver is drowsy, eliminating the need to always collect the driver's vital signal data through the smart band. there is.

또한, 본 발명은 스마트 밴드를 통하여 1회 수집된 생체 신호 데이터만을 가지고 운전자의 졸음 여부를 판단하는 것이 아니라, 일차적으로 제1 기간 동안 생체 신호 데이터를 수집하고, 이차적으로 제2 기간 동안 생체 신호 데이터를 수집하는 등 복수회 동안 생체 신호 데이터를 수집하여 정규화된 졸음 판단 데이터를 산출하여 이를 임계치와 비교함으로써 매우 정확하게 졸음 여부를 판단할 수 있다는 또 다른 장점이 있다.In addition, the present invention does not determine whether the driver is drowsy using only biosignal data collected once through a smart band, but primarily collects biosignal data during a first period, and secondarily collects biosignal data during a second period. Another advantage is that drowsiness can be determined very accurately by collecting biosignal data multiple times, calculating normalized drowsiness judgment data, and comparing this with the threshold.

도 1은 본 발명의 일실시예에 따른 스마트 밴드를 이용한 운전자 졸음 감시 시스템의 블록 구성도이다.
도 2는 본 발명의 일실시예에 따른 졸음 여부 판단 방법의 순서도이다.
도 3은 본 발명의 일실시예에 따른 정규화된 졸음 판단 데이터의 그래프이다.Figure 1 is a block diagram of a driver drowsiness monitoring system using a smart band according to an embodiment of the present invention.
Figure 2 is a flowchart of a method for determining whether someone is drowsy according to an embodiment of the present invention.
Figure 3 is a graph of normalized drowsiness judgment data according to an embodiment of the present invention.

이하에서 개시되는 본 발명에 의한 실시예들은 본 발명의 특징과 효과, 그것들을 달성하기 위한 방법을 명확하게 하기 위한 목적으로 예시된 것으로서 특정한 실시 형태에 한정하려는 것이 아니며, 본 발명의 기술적 사상 및 범위에 포함되는 모든 변경, 균등물 또는 대체물을 포함하는 것으로 이해되어야 한다.The embodiments according to the present invention disclosed below are illustrative for the purpose of clarifying the features and effects of the present invention and methods for achieving them, and are not intended to be limited to specific embodiments, and are not intended to limit the technical spirit and scope of the present invention. It should be understood to include any changes, equivalents or substitutes contained in.

본 발명에 의한 실시예에서 "포함하다" 또는 "가지다" 등의 용어는 명세서 상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.In the embodiments of the present invention, terms such as "comprise" or "have" are intended to designate the presence of features, numbers, steps, operations, components, parts, or a combination thereof described in the specification, but are intended to indicate the presence of one or more of the features, numbers, steps, operations, components, parts, or combinations thereof. It should be understood that this does not exclude in advance the presence or addition of other features, numbers, steps, operations, components, parts, or combinations thereof.

본 발명에 의한 실시예에서 사용되는 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로서 본 발명에 의한 실시예를 한정하려는 의도가 아니며, 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한 복수의 표현을 포함한다.The terms used in the embodiments according to the present invention are only used to describe specific embodiments and are not intended to limit the embodiments according to the present invention, and singular expressions are used as plural expressions unless the context clearly indicates otherwise. Includes.

본 발명에 의한 실시예에서 다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함하여 여기에서 사용되는 모든 용어는 본 발명이 속하는 기술분야에서 일반적인 지식을 가진 사람에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다.Unless otherwise defined in the embodiments of the present invention, all terms used herein, including technical or scientific terms, have the same meaning as generally understood by a person with general knowledge in the technical field to which the present invention pertains. Have.

일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 발명에 의한 실시예에서 명백하게 정의되지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.Terms such as those defined in commonly used dictionaries should be interpreted as having meanings consistent with the meanings in the context of the related technology, and unless clearly defined in the embodiments of the present invention, they should not be idealized or excessively formal. It is not interpreted as meaning.

이하에서는 본 발명의 구체적인 실시예를 첨부된 도면을 참조하여 상세하게 설명하도록 한다.Hereinafter, specific embodiments of the present invention will be described in detail with reference to the attached drawings.

도 1을 참조하면, 본 발명의 일실시예에 따른 스마트 밴드(100)를 이용한 운전자 졸음 감시 시스템(10)은 운전자의 생체 신호를 측정하기 위한 스마트 밴드(100)와, 운전자의 안면 영상을 촬영하기 위한 촬상 장치(200)와, 상기 스마트 밴드(100)와 촬상 장치(200)로부터 각각 생체 신호 데이터와 안면 영상 데이터를 수신하는 휴대용 사용자 단말기(300)와, 상기 휴대용 사용자 단말기(300)로부터 생체 신호 데이터를 수신하여 저장하여 임계치를 생성하는 서버(400)를 포함하여 구성된다.Referring to FIG. 1, the driver drowsiness monitoring system 10 using the smart band 100 according to an embodiment of the present invention includes a smart band 100 for measuring the driver's biological signals and a facial image of the driver. an imaging device 200 for receiving biometric signal data and facial image data from the smart band 100 and the imaging device 200, respectively, and a portable user terminal 300 receiving biometric data from the portable user terminal 300. It is configured to include a server 400 that receives and stores signal data and generates a threshold.

이때, 상기 스마트 밴드(100)는 운전자의 생체 신호를 측정하기 위하여 센서 모듈(120)을 구비하고 있는데, 운전자의 졸음 여부를 판단하는데 사용될 수 있는 생체 신호를 측정할 수 있는 장치이면 어느 것이나 사용될 수 있을 것이며, 운전자의 심전도나 혈류량, 맥박, 광용적맥파 등의 생체 신호를 측정할 수 있는 장치가 바람직할 것이다.At this time, the smart band 100 is equipped with a sensor module 120 to measure the driver's biosignals. Any device that can measure biosignals that can be used to determine whether the driver is drowsy can be used. It would be desirable to have a device that can measure vital signs such as the driver's electrocardiogram, blood flow, pulse, and photoplethysmography.

상기 스마트 밴드(100)의 센서 모듈(120)에서 측정된 운전자의 생체 신호는 상기 휴대용 사용자 단말기(300)로 전송되어 졸음 여부를 판단하는데 사용되는데, 상기 스마트 밴드(100)와 휴대용 사용자 단말기(300) 간에 통신을 위하여 각각 제1 통신 모듈(110)과 제2 통신 모듈(310)이 구비되어 있다.The driver's biosignals measured by the sensor module 120 of the smart band 100 are transmitted to the portable user terminal 300 and used to determine whether or not the driver is drowsy. The smart band 100 and the portable user terminal 300 ) are provided with a first communication module 110 and a second communication module 310, respectively, for communication between them.

상기 스마트 밴드(100)의 제1 통신 모듈(110)과 상기 휴대용 사용자 단말기(300)의 제2 통신 모듈(310) 간에는 무선 통신망을 통하여 데이터와 제어신호 등이 송수신되는데, 일반적으로 근거리 무선 통신에 많이 사용되는 블루투스 통신망을 통해 연결하는 것이 바람직할 것이다.Data and control signals are transmitted and received between the first communication module 110 of the smart band 100 and the second communication module 310 of the portable user terminal 300 through a wireless communication network. Generally, short-range wireless communication is used. It would be preferable to connect via the widely used Bluetooth communication network.

상기 휴대용 사용자 단말기(300)로는 필요한 데이터를 분석하고 처리할 수 있는 중앙처리장치를 구비하고 구동 프로그램을 설치할 수 있는 장치이면 어느 것이나 사용될 수 있을 것인데, 대표적으로는 현재 널리 보급되어 있는 스마트폰 단말기가 사용될 수 있을 것이다.The portable user terminal 300 can be any device that has a central processing unit that can analyze and process necessary data and can install a driving program. A representative example is the currently widely used smartphone terminal. It could be used.

상기 휴대용 사용자 단말기(300)는 상기 스마트 밴드(100)의 센서 모듈(120)에서 측정한 운전자의 생체 신호를 상기 서버(400)로 전송하게 되는데, 상기 휴대용 사용자 단말기(300)의 제2 통신 모듈(310)과 상기 서버(400)의 제3 통신 모듈(410)은 무선통신망을 통하여 데이터와 각종 신호를 송수신하게 되는데, 대용량의 데이터를 신속하게 송수신하기 위해서는 4세대 또는 5세대 이동통신망을 포함하여 연결하는 것이 바람직할 것이다.The portable user terminal 300 transmits the driver's biological signals measured by the sensor module 120 of the smart band 100 to the server 400, and the second communication module of the portable user terminal 300 (310) and the third communication module 410 of the server 400 transmit and receive data and various signals through a wireless communication network. In order to quickly transmit and receive large amounts of data, a 4th or 5th generation mobile communication network is used. It would be desirable to connect.

상기 서버(400)는 상기 스마트 밴드(100)를 착용하고 있는 다수의 운전자로부터 생체 신호를 전송받게 되는데, 단순히 운전자의 생체 신호만을 전송받아 저장하는 것이 아니라 운전자의 나이와 성별, 신장, 체중 등 운전자 특성 데이터와 함께 전송받아 데이터베이스(420)에 저장하게 된다.The server 400 receives biometric signals from multiple drivers wearing the smart band 100. It does not simply receive and store the driver's biosignals, but also receives and stores information about the driver, such as the driver's age, gender, height, and weight. It is transmitted along with the characteristic data and stored in the database 420.

이는 운전자의 나이나 성별, 신장, 체중 등에 따라 각성 상태나 졸음 상태의 생체 신호가 다양하게 나타나기 때문에, 이를 지속적으로 수집하여 머신 러닝 등의 기술을 적용하여 최대한 정확한 판단 기준을 산출하기 위함이다.This is because biosignals in the awake or drowsy state appear in various ways depending on the driver's age, gender, height, weight, etc., so this is continuously collected and technology such as machine learning is applied to calculate the most accurate judgment standard.

상기 휴대용 사용자 단말기(300)가 상기 서버(400)에 접속하는 경우, 상기 서버(400)의 예측 모듈(430)은 상기 휴대용 사용자 단말기(300)에서 전송되는 운전자 특성 데이터에 대응되는 졸음 여부를 판단하기 위한 임계치를 생성하여 상기 휴대용 사용자 단말기(300)로 전송하게 된다.When the portable user terminal 300 connects to the server 400, the prediction module 430 of the server 400 determines whether the driver is drowsy corresponding to the driver characteristic data transmitted from the portable user terminal 300. A threshold for this is generated and transmitted to the portable user terminal 300.

상기 휴대용 사용자 단말기(300)는 상기 서버(400)로부터 전송받은 임계치를 기준으로 상기 스마트 밴드(100)에서 수집된 운전자의 생체 신호 데이터를 비교하여 졸음 여부를 신속하고 정확하게 판단하게 되며, 수집된 운전자의 생체 신호 데이터는 상기 서버(400)로 전송되어 데이터베이스(420)를 업데이트하고 학습 자료로 사용된다.The portable user terminal 300 compares the driver's biosignal data collected from the smart band 100 based on the threshold value transmitted from the server 400 to quickly and accurately determine whether the driver is drowsy. The biosignal data is transmitted to the server 400 to update the database 420 and is used as learning material.

한편, 상기 스마트 밴드(100)는 일종의 웨어러블 장치로써 운전자가 손목에 착용하게 되는데, 장치의 특성상 운전자가 착용하고 있거나 운전하는 동안에 항상 상기 센서 모듈(120)을 통하여 운전자의 생체 신호를 측정하고, 제1 통신 모듈(110)을 통하여 데이터 등을 전송하는 경우 배터리의 소모가 빨라질 수 밖에 없을 것이다.Meanwhile, the smart band 100 is a type of wearable device that the driver wears on the wrist. Due to the nature of the device, it always measures the driver's biological signals through the sensor module 120 while the driver is wearing it or driving. 1 When data, etc. are transmitted through the communication module 110, battery consumption will inevitably accelerate.

이에 따라 상기 스마트 밴드(100)의 효율적 구동이 필요하게 되는데, 본 발명의 일실시예에서는 먼저 상기 촬상 장치(200)의 카메라 모듈(220)에서 촬영한 운전자의 안면 영상을 바탕으로 운전자의 졸음 여부를 1차적으로 판단하도록 한다.Accordingly, efficient operation of the smart band 100 is required. In one embodiment of the present invention, it is first determined whether the driver is drowsy based on the driver's facial image captured by the camera module 220 of the imaging device 200. should be judged primarily.

즉, 평상 시에는 상기 스마트 밴드(100)의 센서 모듈(120)을 통해서는 운전자의 생체 신호를 측정하고 있지 않다가, 상기 촬상 장치(200)의 카메라 모듈(220)에서 촬영한 운전자의 안면 영상을 분석한 결과 졸음 운전이 의심되거나 졸음 운전 여부를 판단하기 불가능한 경우에만 상기 휴대용 사용자 단말기(300)에서 상기 스마트 밴드(100)로 제어 신호를 전송하여 상기 센서 모듈(120)이 작동하도록 하는 것이다.That is, in normal times, the driver's biological signals are not measured through the sensor module 120 of the smart band 100, but the driver's facial image captured by the camera module 220 of the imaging device 200 As a result of the analysis, only when drowsy driving is suspected or it is impossible to determine whether drowsy driving is performed, a control signal is transmitted from the portable user terminal 300 to the smart band 100 to operate the sensor module 120.

상기 촬상 장치(200)는 자동차의 실내에 장착되어 자동차에서 공급되는 전력으로 구동되기 때문에 전력의 소모를 걱정할 필요가 없으며, 상기 촬상 장치(200)의 카메라 모듈(220)에서 촬영된 운전자의 안면 영상은 상기 휴대용 사용자 단말기(300)로 전송되어 졸음 여부를 판단하는데 사용된다.Since the imaging device 200 is mounted inside the car and driven by power supplied from the car, there is no need to worry about power consumption, and the driver's facial image captured by the camera module 220 of the imaging device 200 is transmitted to the portable user terminal 300 and used to determine whether or not the person is drowsy.

물론, 상기 휴대용 사용자 단말기(300)에서 운전자의 안면 영상을 분석하여 졸음 여부를 판단하는 것이 아니라, 상기 촬상 장치(200) 내에서 운전자의 안면 영상을 분석하여 졸음 여부를 판단한 후 그 결과만을 상기 휴대용 사용자 단말기(300)로 전송하도록 구성할 수도 있을 것이다.Of course, rather than determining whether the driver is drowsy by analyzing the facial image of the driver in the portable user terminal 300, the portable user terminal 300 analyzes the facial image of the driver to determine whether or not the driver is drowsy, and only the result is used in the portable user terminal 300. It may also be configured to transmit to the user terminal 300.

이와 같이 상기 휴대용 사용자 단말기(300)와 촬상 장치(200) 간에도 각종 데이터나 신호를 주고 받아야 하기 때문에, 상기 촬상 장치(200)에는 제4 통신 모듈(210)을 구비하여 두었으며, 상기 촬상 장치(200)의 제4 통신 모듈(210)은 블루투스 등 근거리 무선 통신이나 유선 통신을 통하여 상기 휴대용 사용자 단말기(300)와 연결될 수 있을 것이다.In this way, since various data or signals must be exchanged between the portable user terminal 300 and the imaging device 200, the imaging device 200 is equipped with a fourth communication module 210, and the imaging device ( The fourth communication module 210 of 200 may be connected to the portable user terminal 300 through short-range wireless communication such as Bluetooth or wired communication.

한편, 상기 촬상 장치(200)의 카메라 모듈(220)은 단순히 운전자의 안면 영상만을 촬영하도록 구성할 수도 있지만, 보다 효율적이고 안전한 차량 운행을 위하여 상기 카메라 모듈(220)로 운전자의 안면과 차량의 후방을 동시에 촬영하도록 구성하는 것도 바람직할 것이다.Meanwhile, the camera module 220 of the imaging device 200 may be configured to simply capture images of the driver's face, but for more efficient and safe vehicle operation, the camera module 220 can capture the driver's face and the rear of the vehicle. It would also be desirable to configure it to film simultaneously.

이와 같이 상기 카메라 모듈(220)에서 운전자의 안면과 차량의 후방을 동시에 촬영하는 경우, 상기 휴대용 사용자 단말기(300)로 전체 영상을 전송하는 것이 아니라 영상 처리 모듈(230)에서 먼저 운전자의 안면 영상과 차량의 후방 영상을 분리한 후, 운전자의 안면 영상 데이터만 전송하도록 한다.In this way, when the camera module 220 simultaneously captures the driver's face and the rear of the vehicle, rather than transmitting the entire image to the portable user terminal 300, the image processing module 230 first captures the driver's face image and After separating the rear image of the vehicle, only the driver's facial image data is transmitted.

이와 같이 운전자의 안면 영상과 차량의 후방 영상을 하나의 카메라 모듈(220)로 동시에 촬영하여 영상 처리 모듈(230)에서 분리하도록 구성함으로써, 운전자의 안면 영상은 졸음 여부를 판단하는데 사용하고, 차량의 후방 영상은 별도로 저장하여 블랙박스 용도로 사용하거나 차량의 운전자 지원 시스템(ADAS)의 데이터로 사용하여 안전 운행에 도움이 되도록 할 수 있을 것이다.In this way, the driver's facial image and the vehicle's rear image are simultaneously captured by one camera module 220 and separated in the image processing module 230, so that the driver's facial image is used to determine whether the driver is drowsy and the vehicle's The rear view video can be saved separately and used as a black box or as data for the vehicle's driver assistance system (ADAS) to help drive safely.

이와 같이 운전자의 안면 영상과 생체 신호를 이용하여 운전자의 졸음 여부를 판단하는 경우, 웨어러블 장치인 스마트 밴드(100)의 전력 소모를 줄일 수 있고 신속하고 정확하게 운전자의 졸음 여부를 판단할 수 있을 것인데, 상기 휴대용 사용자 단말기(300)의 판단 모듈(320)은 단순히 상기 스마트 밴드(100)에서 전송되는 1회의 생체 신호 데이터를 이용하여 졸음 여부를 판단하지 않는다.In this way, if the driver's facial image and biometric signals are used to determine whether the driver is drowsy, the power consumption of the smart band 100, which is a wearable device, can be reduced and it will be possible to quickly and accurately determine whether the driver is drowsy. The determination module 320 of the portable user terminal 300 does not simply determine whether the user is drowsy using one-time bio-signal data transmitted from the smart band 100.

즉, 먼저 운전자의 안면 영상을 분석한 결과, 졸음 운전이 의심되거나 기타 이유로 졸음 여부를 판단하기 불가능한 경우, 상기 휴대용 사용자 단말기(300)는 상기 스마트 밴드(100)로 제어 신호를 전송하여 제1 기간 동안 측정된 제1 생체 신호를 측정하도록 명령하며, 측정된 제1 생체 신호를 전송받는다.That is, as a result of first analyzing the driver's facial image, if drowsy driving is suspected or if it is impossible to determine whether drowsiness is present for other reasons, the portable user terminal 300 transmits a control signal to the smart band 100 to A command is given to measure the first biological signal measured during the operation, and the measured first biological signal is transmitted.

이후, 상기 휴대용 사용자 단말기(300)는 다시 상기 스마트 밴드(100)로 제어 신호를 전송하여 제2 기간 동안 측정된 제2 생체 신호를 측정하도록 명령하며, 측정된 제2 생체 신호를 전송받게 되며, 상기 휴대용 사용자 단말기(300)의 판단모듈은 제1 생체 신호 데이터와 제2 생체 신호 데이터를 바탕으로 미리 설정된 알고리즘을 통하여 정규화된 졸음 판단 데이터를 산출하게 된다.Thereafter, the portable user terminal 300 transmits a control signal again to the smart band 100 to command the smart band 100 to measure the second biological signal measured during the second period, and the measured second biological signal is received, The determination module of the portable user terminal 300 calculates normalized drowsiness determination data through a preset algorithm based on the first biosignal data and the second biosignal data.

상기 휴대용 사용자 단말기(300)의 판단모듈은 이와 같은 정규화된 졸음 판단 데이터를 상기 서버(400)에서 전송된 임계치와 비교하여 최종적으로 운전자의 졸음 여부를 매우 정확하게 판단할 수 있게 된다.The determination module of the portable user terminal 300 compares this normalized drowsiness determination data with the threshold value transmitted from the server 400, and is ultimately able to very accurately determine whether the driver is drowsy.

본 발명의 일실시예에서는 2회의 생체 신호 데이터를 정규화하여 졸음 판단 데이터를 산출하도록 구성하였지만, 3회 이상 복수회의 생체 신호 데이터를 정규화하여 졸음 판단 데이터를 산출할 수 있음은 물론이다. 다만, 복수회의 생체 신호 데이터를 정규화하는 것이 정확한 판단을 하는데는 유용하겠지만, 운전자의 졸음 여부 판단은 매우 신속하게 이루어져야 하는 것을 고려하여 2회 내지 3회가 적당할 것이다.In one embodiment of the present invention, the drowsiness judgment data is calculated by normalizing the bio-signal data twice. However, it is of course possible to calculate the drowsiness judgment data by normalizing the bio-signal data three or more times. However, normalizing biosignal data multiple times may be useful for making an accurate judgment, but considering that the determination of whether the driver is drowsy must be made very quickly, two or three times would be appropriate.

한편, 운전자의 졸음 여부를 판단만 하는 경우, 졸음 운전에 의한 교통 사고를 예방할 수 없기 때문에, 본 발명의 일실시예에서는 운전자를 졸음으로부터 각성시키기 위하여 상기 휴대용 사용자 단말기(300)에 각성 모듈(330)을 구비하여 두었다.Meanwhile, when only determining whether the driver is drowsy, traffic accidents caused by drowsy driving cannot be prevented. Accordingly, in one embodiment of the present invention, an awakening module 330 is installed in the portable user terminal 300 to awaken the driver from drowsiness. ) was provided.

상기 각성 모듈(330)은 운전자에게 매우 시끄러운 경고음이나 경고 음성을 발현하여 운전자가 졸음에서 각성하도록 할 수도 있겠지만, 운전자의 뇌파 중 베타파에 동조되는 주파수의 백색 소음을 생성하여 보다 효율적으로 운전자를 각성시키는 것이 바람직할 것이다. 사람의 뇌파는 알파파와 베타파, 델타파 등으로 구분되는데, 사람의 정신 상태에 따라 상이한 뇌파가 발현되며, 본 발명의 일실시예에서는 상기 각성 모듈(330)에서 베타파 중에서도 13~20 Hz 대의 저베타파 백색소음을 생성함으로써, 운전자의 뇌파가 동조되어 효과적으로 각성될 수 있도록 구성하였다.The awakening module 330 may generate a very loud warning sound or warning voice to wake the driver from drowsiness, but it wakes the driver more efficiently by generating white noise at a frequency that is synchronized with beta waves among the driver's brain waves. It would be advisable to do so. Human brain waves are divided into alpha waves, beta waves, delta waves, etc., and different brain waves are expressed depending on the person's mental state. In one embodiment of the present invention, the awakening module 330 produces 13 to 20 Hz range of beta waves. By generating low beta wave white noise, the driver's brain waves are synchronized to effectively awaken them.

이상에서 본 발명을 구체적인 실시예를 들어 상세하게 설명하였지만, 이는 본 발명의 바람직한 실시예를 예시적으로 설명한 것이지 본 발명을 한정한 것은 아니다. 따라서, 본 발명이 속하는 기술분야에서 일반적인 지식을 가진 사람이라면 본 발명의 기술적 사상의 범주를 벗어나지 않는 범위 내에서 여러가지 다양한 변형이 제공될 수 있다.Although the present invention has been described in detail through specific examples above, this is an illustrative description of preferred embodiments of the present invention and does not limit the present invention. Accordingly, a person with general knowledge in the technical field to which the present invention pertains may make various modifications without departing from the scope of the technical idea of the present invention.

10 - 운전자 졸음 감시 시스템
100 - 스마트 밴드
110 - 제1 통신 모듈 120 - 센서 모듈
200 - 촬상 장치
210 - 제4 통신 모듈 220 - 카메라 모듈
230 - 영상 처리 모듈
300 - 휴대용 사용자 단말기
310 - 제2 통신 모듈 320 - 판단 모듈
330 - 각성 모듈
400 - 서버
410 - 제3 통신 모듈 420 - 데이터베이스
430 - 예측 모듈10 - Driver drowsiness monitoring system
100 - Smart Band
110 - first communication module 120 - sensor module
200 - imaging device
210 - fourth communication module 220 - camera module
230 - Image processing module
300 - Portable user terminal
310 - second communication module 320 - judgment module
330 - Awakening Module
400 - Server
410 - Third communication module 420 - Database
430 - Prediction module

Claims

A smart band including a sensor module that measures the driver's biological signals and a first communication module that transmits and receives data and control signals through a portable user terminal and a wireless communication network;
A portable user equipped with a server and a second communication module that transmits and receives data and control signals through a wireless communication network with the smart band, and a judgment module that determines whether the driver is drowsy based on the driver's biological signals transmitted from the smart band. terminal; and
A third communication module that transmits and receives data and control signals with the portable user terminal through a wireless communication network, a database that receives and stores driver characteristic data and biometric signals from the portable user terminal, and a plurality of driver characteristics stored in the database. A driver drowsiness monitoring system using a smart band, comprising a server having a prediction module that generates a threshold for determining whether the driver is drowsy based on data and biosignals.

In claim 1,
It has a camera module that captures an image of the driver's face, and a fourth communication module that transmits and receives data and control signals through the portable user terminal and a wired or wireless communication network, and is mounted inside the car. ;
Driver drowsiness monitoring using a smart band, wherein the determination module of the portable user terminal determines whether the driver is drowsy based on the driver's facial image transmitted from the imaging device and the driver's biological signals transmitted from the smart band. system.

In claim 2,
The camera module of the imaging device simultaneously photographs the driver's face and the rear of the car,
A driver drowsiness monitoring system using a smart band, wherein the imaging device further includes an image processing module that separates the driver's face image and the rear image of the car from the image captured by the camera module.

In claim 3,
The decision module of the portable user terminal is,
determining whether the driver is drowsy from the driver's facial image transmitted from the imaging device;
If the driver's drowsiness is suspected or it is impossible to determine whether the driver is drowsy, transmitting a control signal to the smart band to command the smart band to measure the driver's vital signs during a first period;
Receiving first biosignal data measured during a first period from the smart band;
transmitting a control signal to the smart band to command the smart band to measure the driver's vital signs during a second period;
Receiving second biosignal data measured during a second period from the smart band;
calculating normalized drowsiness judgment data based on the first and second biosignal data; and
A driver drowsiness monitoring system using a smart band, comprising comparing the drowsiness determination data with a threshold for determining whether the driver is drowsy received from the server and finally determining whether the driver is drowsy.

According to any one of claims 1 to 4,
The portable user terminal,
When the determination module determines that the driver is drowsy, the driver drowsiness monitoring system further includes an awakening module that generates low beta wave white noise in the 13 to 20 Hz range.