KR101005339B1 - System of drowsy driving recognition based on the personalized template of a driver - Google Patents

System of drowsy driving recognition based on the personalized template of a driver Download PDF

Info

Publication number
KR101005339B1
KR101005339B1 KR1020090120490A KR20090120490A KR101005339B1 KR 101005339 B1 KR101005339 B1 KR 101005339B1 KR 1020090120490 A KR1020090120490 A KR 1020090120490A KR 20090120490 A KR20090120490 A KR 20090120490A KR 101005339 B1 KR101005339 B1 KR 101005339B1
Authority
KR
South Korea
Prior art keywords
drowsy driving
template
driving
drowsy
driver
Prior art date
Application number
KR1020090120490A
Other languages
Korean (ko)
Inventor
전병훈
Original Assignee
휴잇테크놀러지스 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 휴잇테크놀러지스 주식회사 filed Critical 휴잇테크놀러지스 주식회사
Priority to KR1020090120490A priority Critical patent/KR101005339B1/en
Application granted granted Critical
Publication of KR101005339B1 publication Critical patent/KR101005339B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02—Alarms for ensuring the safety of persons
    • G08B21/06—Alarms for ensuring the safety of persons indicating a condition of sleep, e.g. anti-dozing alarms

Landscapes

  • Business, Economics & Management (AREA)
  • Tourism & Hospitality (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Strategic Management (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • General Health & Medical Sciences (AREA)
  • Economics (AREA)
  • General Business, Economics & Management (AREA)
  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Emergency Management (AREA)
  • Traffic Control Systems (AREA)

Abstract

PURPOSE: A system of drowsy driving recognition based on the personalized template of a driver is provided to prevent a car accident by monitoring the drowsy driving in real time. CONSTITUTION: According to the variation of drowsy driving monitoring environment, a drowsy driving monitoring terminal(100) generates a drowsy driving prevention template personalized to a driver. The drowsy driving monitoring terminal monitors a drowsy driving symptom by analyzing the generated template. A drowsy driving prevention service server(300) provides an optimal prevention template and drowsy driving diagnosis intelligence information. A template generation simulator for drowsy driving prevention(200) generates the drowsy driving prevention template of each driver.

Description

개인화된 템플릿 기반의 지능형 졸음운전 감시시스템{System of drowsy driving recognition based on the personalized template of a driver}Intelligent Drowsy Driving Recognition System based on personalized template

본 발명은 지능형 졸음운전 감시시스템에 관한 것으로, 특히 개인화된 템플릿(personalized template) 기반의 지능형 졸음운전 감시시스템에 관련한다.The present invention relates to an intelligent drowsy driving monitoring system, and more particularly, to an intelligent drowsy driving monitoring system based on a personalized template.

일반적으로, 카메라 영상기반의 졸음운전 인식방법에 있어서 운전자의 시선추적, 눈 깜박임, 눈의 개폐상태, 눈의 타원형상(가령, 대한민국특허 제10-0716370호), 눈의 면적(가령, 대한민국특허 제10-0644456호) 등을 개별요소별 또는 복합요소별로 주기적으로 감시하고 측정하는 많은 방법이 제시되고 있다.In general, in the camera image-based drowsiness driving recognition method of the driver eye tracking, eye blinking, eyes open and closed state, the oval shape of the eye (eg, Korean Patent No. 10-0716370), the area of the eye (eg, Korean Patent 10-0644456) have been proposed to monitor and measure periodically by individual or composite elements.

그러나, 졸음운전의 특성상 운전자가 졸음상태에 빠지는 경우 차량의 속도제어능력을 상실하는바, 초기에 졸음운전징후를 파악하여 1 ~ 2초 내에 졸음운전으로 인한 사고가능성을 차단하기 위해서는 고성능 중앙처리장치(CPU) 등과 같은 실시간 처리를 위한 시스템적 성능요건이 요구되기 때문에, 이를 개선하기 위한 대안으로 대한민국특허 제10-0617777호에서는 저장된 눈의 표준 템플릿을 이용한 눈의 신속 한 검출을 제시하고 있다.However, due to the nature of drowsy driving, when the driver falls into drowsiness, the vehicle loses the speed control capability. In order to identify the drowsy driving symptom at an early stage and to block the possibility of accidents caused by drowsy driving within one to two seconds, a high performance central processing unit As a system performance requirement for real-time processing such as (CPU) is required, Korean Patent No. 10-0617777 proposes a rapid detection of the eye using a standard template of the stored eye as an alternative to improve this.

그러나, 종래의 졸음운전인식에 관련된 특허의 문제점은, 졸음운전인식을 위한 눈의 구성요소, 가령 시선, 동공, 눈꺼풀 개폐상태, 깜박임 등의 변화와 얼굴 및 머리의 움직임 등의 변화를 실시간으로 지속적 감시 및 측정하기 위해서는 고성능의 컴퓨팅 자원이 요구되므로 차량에 장착될 장치로서의 실용성 및 경제성 확보에 어려움이 있어 보급되지 못하고 있다.However, the problem associated with the conventional drowsiness driving recognition is that the eye components for drowsiness driving recognition, such as eyeballs, pupils, eyelid opening / closing, blinking, and changes in face and head movements in real time are continuously maintained. Since high-performance computing resources are required for monitoring and measuring, it is difficult to secure practicality and economical efficiency as a device to be mounted in a vehicle, and thus it is not widely distributed.

또한, 사전 저장된 표준 템플릿을 이용한 눈의 검출방식 역시 개인별 신체적 특성의 차이가 큰 다인종 사회에서는 인식률의 편차가 심할 뿐만 아니라, 개인별 졸음운전 징후 또는 성향 역시 표준화하여 적용하기에는 어려움이 있다. In addition, the detection method of the eye using the pre-stored standard template also has a severe variation in the recognition rate in a multi-racial society with a large difference in individual physical characteristics, and it is difficult to standardize and apply drowsy driving signs or inclinations.

더욱이, 저장된 표준 템플릿에 근사하지 않은 경우, 동일 방식의 졸음운전 감시장치의 성능이 급속히 저하될 수 있다. Moreover, when not approximating the stored standard template, the performance of the drowsy driving monitoring apparatus of the same type can be rapidly degraded.

또한, 눈 검출에만 한정되어 입력된 영상에서 눈의 검출이 용이하지 않은 경우에는 대체수단이 없게 되며, 가령 미국의 장거리 화물차의 경우와 같이 동일 차량의 운전자가 수시로 바뀌거나, 또는 타인 운전의 경우에는 운전자의 신체조건 및 인종, 감시카메라와의 각도 등이 변화하므로 인식률과 인식속도에서도 한계가 있다. 졸음운전 영상감시장치가 차량 내에 고정 설치되어 있을 경우, 미등록 운전자는 물론이고 동일한 운전자일지라도 다양한 운전자세 변화, 예컨대, 좌석의 전후 상하 위치 또는 자세 변경이 있을 경우, 동 장치가 사전에 학습하지 않은 운전자의 졸음운전 형상의 변화를 추적하기 위해서는 과도한 시스템 자원을 요구하게 되고, 이는 결국 실시간 졸음운전 인식 및 사고예방의 목적을 달성하기 어렵게 만드는 원 인으로 작용한다. In addition, there is no alternative means when the eye is not easy to detect in the input image limited to the eye detection only. For example, when the driver of the same vehicle changes frequently or when driving another person, as in the case of a long-distance truck in the United States, As the driver's physical condition, race, and angle with the surveillance camera change, there is a limit in recognition rate and speed. When the drowsiness driving video surveillance device is fixedly installed in a vehicle, the driver who has not learned beforehand in the case of various driver posture changes, for example, a change in the front, rear, up and down positions or postures of the seat, even for the unregistered driver as well as the same driver. In order to track changes in the drowsy driving pattern, excessive system resources are required, which makes it difficult to achieve the goal of real-time drowsy driving recognition and accident prevention.

따라서, 본 발명의 목적은 운전자 개인별로 소유 및 유지되는 장치의 제약을 극복하고 졸음운전 인식률 및 정확도를 향상시킬 수 있는 졸음운전 감시시스템을 제공하는 것이다.Accordingly, an object of the present invention is to provide a drowsy driving monitoring system capable of overcoming the limitations of devices owned and maintained for each driver and improving drowsy driving recognition rate and accuracy.

본 발명의 다른 목적은 실시간 졸음운전 징후 감시에 요구되는 컴퓨팅 자원을 최소화하고, 인식속도를 높일 수 있는 졸음운전 감시시스템을 제공하는 것이다.Another object of the present invention is to provide a drowsy driving monitoring system which can minimize the computing resources required for real-time drowsy driving sign monitoring and increase the recognition speed.

본 발명의 또 다른 목적은 차량 운행 중 운전자세 및 운전패턴의 변화 등에도 능동적으로 대응하여 지능형 졸음운전감시 단말장치에서 스스로 개인화 졸음운전예방 템플릿을 지속적으로 수집, 갱신 및 유지하고 이를 바탕으로 졸음운전 징후를 더욱 정교하게 분석할 수 있는 학습능력을 증가시켜가는 지능형 졸음운전 감시시스템을 제공하는 것이다.It is another object of the present invention to continuously collect, update and maintain a personalized drowsy driving prevention template in the intelligent drowsy driving monitoring terminal device by actively responding to changes in driver's tax and driving pattern while driving a vehicle, and drowsy driving based on this. It is to provide an intelligent drowsy driving monitoring system that increases the learning ability to analyze the symptoms more precisely.

본 발명의 또 다른 목적은 졸음운전 사고예방 서비스 서버와 결합하여 상기 서비스 서버에서 다수의 졸음운전감시 단말장치 및 운전자를 관리하고 졸음운전에 따른 사고위험을 중앙관제센터에서 자동으로 인지하고 대응 예방조치를 가능하게 하는 지능형 졸음운전 감시시스템을 제공하는 것이다.Another object of the present invention is to manage a plurality of drowsy driving monitoring terminal devices and drivers in the service server in combination with a drowsy driving accident prevention service server automatically recognizes the risk of drowsy driving accidents in the central control center and take countermeasures It is to provide an intelligent drowsy driving monitoring system that enables.

본 발명에서는, 고정각도에서의 일반인을 대상으로 하는 표준 눈 템플릿이 아닌, 졸음운전감시환경 변화, 예를 들면, 운전자 또는 차량 변경, 운전자세 및 운전패턴의 변화 등에 능동적으로 적응하여 운전자 개개인의 신속한 눈의 검출은 물론 각기 상이한 졸음운전징후에 따른 눈의 구성요소, 가령 눈썹, 동공, 홍채, 눈꺼풀, 눈의 개폐상태, 깜박임의 변화와 코, 입, 얼굴 및 머리 등의 안면 구성요소의 형상변화 정보를 인식하여 개인화된 졸음운전예방 템플릿으로 데이터베이스화하고, 운전자의 차량운행 상황정보와 결합하여 개인화된 졸음운전진단지능정보를 데이터베이스화하는 과정을 스스로 수행하고, 운전자의 졸음운전 여부에 대한 의사결정 과정을 학습하는 지능형 졸음운전 감시시스템을 제시한다In the present invention, it is not a standard eye template for the general public at a fixed angle, but instead of a drowsy driving monitoring environment, for example, a driver or a vehicle change, a driver's attitude and a change in driving pattern, the driver's personal speed Eye detection, as well as eye components according to different drowsy driving symptoms, such as eyebrows, pupils, irises, eyelids, eye open / closed state, flickering and facial component changes such as nose, mouth, face and head Recognize the information into a database of personalized drowsy driving prevention templates, perform the process of databaseting personalized drowsy driving diagnosis intelligence information by combining with the driver's vehicle driving situation information, and make decisions about whether the driver drowsy driving Presenting an intelligent drowsy driving monitoring system to learn the process

운전자 개인화된 졸음운전예방 템플릿은 차량 내에 장착되어 있는 지능형 졸음운전감시 단말장치 또는 별도의 차량주행 시뮬레이션장치 및 공간을 이용하여 사전 생성 및 등록할 수 있으며, 차량 주행 전 또는 주행 중에 카메라와 운전자 눈과 또는 기타 운전자의 안면 구성요소와의 투사각은 물론 이의 형상 변화에 따라 수시로 보정되고 추가될 수 있도록 한다. 이때 투사각 변화의 감지는 운전자가 카메라를 응시하였을 때 시선 측정각도, 운전자의 개별 눈 형상, 눈썹 형상, 또는 코, 입, 얼굴 및 머리 등의 운전자 안면 구성요소의 2차원 또는 3차원 기하학적 특성의 변화량 등을 측정하여 활용한다.The driver's personalized drowsy driving prevention template can be pre-created and registered by using the intelligent drowsy driving monitoring terminal or a separate vehicle driving simulation device and space installed in the vehicle. Alternatively, the angle of projection with other driver's facial components, as well as its shape change, can be corrected and added from time to time. At this time, the detection of the change in the projection angle is the amount of change in the two-dimensional or three-dimensional geometrical characteristics of the driver's face components such as the eye measurement angle, the driver's individual eye shape, the eyebrow shape, or the nose, mouth, face, and head when the driver gazes at the camera. Measure and use your back.

운전자 개인화된 졸음운전진단 지능정보는 운행 중 차량에서 수집된 차량운행상황정보, 가령, 운전시간대, 총주행시간 및 거리, 도로구조, 날씨, 기타 차량운행과 관계된 정보와 운전자 개인의 운전성향정보, 가령, 운전자의 성별, 나이, 운전자세, 졸음운전 취약시간대, 기타 운전관련 개인신상정보를 종합하여 개인별로 특성화된 졸음운전징후 판단 의사결정규칙, 기준값, 위험도, 대응조치 등을 개인화된 졸음운전예방 템플릿과의 상관관계 관점에서 분석 및 추론한 것으로서 졸음운전판단과 인식을 위한 지식의 기반이 된다.Driver's personalized drowsy driving diagnosis intelligence information includes vehicle operation status information collected from the vehicle during driving, such as driving time zone, total driving time and distance, road structure, weather, other vehicle driving information, driver's driving propensity information, For example, personalized drowsiness driving prevention decision rules, reference values, risks, and countermeasures by combining the gender, age, driver's tax, drowsy driving time zone, and other personal information related to driving. Analysis and reasoning in terms of correlation with the template provide the basis for knowledge of drowsy driving judgment and recognition.

이러한 개인화된 졸음운전진단 지능정보는 지능형 졸음운전감시 단말장치에서 제공된 개인화된 졸음운전예방 템플릿과 차량운행상황정보, 그리고 졸음운전 사고예방 서비스서버에서 유지하고 있는 운전자 개인의 운전성향정보와 결합하여 서비스 서버에서 가공하여 단말장치에 제공하는 것을 기본으로 하며, 서비스 서버가 가용하지 않을 시에는 단일 또는 복수의 운전자를 대상으로 단말장치 자체적으로 전체 또는 제한된 범위 내에서 생성 및 유지할 수 있다. The personalized drowsy driving diagnosis intelligence information is combined with the personalized drowsy driving prevention template provided by the intelligent drowsy driving monitoring terminal device, the vehicle operation status information, and the driver's driving propensity information maintained by the drowsy driving accident prevention service server. Based on processing by the server and providing it to the terminal device, when the service server is not available, the terminal device itself may be generated and maintained within the entire or limited range for a single or multiple drivers.

생성된 개인화된 졸음운전예방 템플릿은 지능형 졸음운전감시 단말장치에 저장됨과 동시에 차량운행 상황정보와 함께 졸음운전 사고예방 서비스서버로 휴대인터넷망, 가령 와이브로 또는 모바일 와이맥스, HSPA, LTE 등을 포함한 유무선통신망을 통하여 전송되어 유지 및 갱신되고, 졸음운전감시환경 변화, 가령, 운전자교체 또는 차량 변경, 운전자세 및 운전패턴의 변화 등이 있을 경우, 변경된 졸음운전 감시환경에 대응되는 운전자의 개인화된 해당 졸음운전예방 템플릿과 졸음운전진단 지능정보가 서비스 서버에서 단말장치로 다운로드 되어 단말장치가 변경된 졸음운전감시 및 인식환경에 최적화되도록 한다. 이를 위해 단말장치와 서비스 서버는 양방향으로 휴대인터넷 또는 무선데이터통신망을 개설하게 되며, 보완적으로 다양한 무선이동통신망 2G, 3G, 4G의 통신기능을 활용할 수 있도록 단말장치에 해당통신부를 구현한다.The generated personalized drowsy driving prevention template is stored in the intelligent drowsy driving monitoring terminal and at the same time as the drowsy driving accident prevention service server along with vehicle driving status information, the mobile Internet network, such as WiBro or mobile WiMAX, HSPA, LTE, etc. The driver's personalized drowsy driving corresponding to the changed drowsy driving monitoring environment is transmitted and maintained by the user through a change in the drowsy driving monitoring environment, for example, a driver change or a vehicle change, a driver's tax and a driving pattern change. Prevention templates and drowsy driving diagnosis intelligence information are downloaded from the service server to the terminal device so that the terminal device is optimized for the changed drowsy driving monitoring and recognition environment. To this end, the terminal device and the service server establish a portable Internet or wireless data communication network in both directions, and complementarily implement a corresponding communication unit in the terminal device to utilize communication functions of various wireless mobile communication networks 2G, 3G, and 4G.

여기서, 개인화된 졸음운전예방 템플릿이란 해당 운전자의 졸음운전 징후를 인식하기 위한 영상기반의 눈의 구성요소를 포함한 코, 입, 얼굴 및 머리 등의 안면 구성요소의 형상변화 정보를 차량에 장착될 영상카메라의 투사각도 및 거리 변화에 대응하여 차량운행 전 또는 운행 중에 생성시켜 데이터베이스화한 정보로서 이를 이용하여 졸음운전 징후와의 상관관계를 단말장치는 물론 서비스 서버에서 자동화하여 판별할 수 있다. 이때 형상변화 정보라 함은, 예를 들면, 카메라의 위치가 운전자 전방기준 상방 +15도, 0도, 하방 -15도, 좌측 20도, 0도, 우측 20도와 같이 상하좌우 카메라와 운전자 시선을 기준으로 하여 운전자의 비졸음상태(차량 운행 직전) 또는 졸음상태에서 눈의 개폐상태에서의 상하 눈꺼풀의 형상(높이, 생성곡선 등), 눈썹의 생성곡선, 시선각, 동공과 홍채의 위치, 코와 입의 생성곡선, 얼굴 및 머리의 생성곡선과 같은 기하학적 수치정보를 비롯하여 영상패턴정보 등을 부가적으로 포함하며, 운전자 개인별 주행상황별 눈깜박임 관련정보를 포함한다. 또한, 운전자 개인별 얼굴형상적 특성 기반의 고유한 졸음운전예방 템플릿 최적 측정단위 정보, 예를 들면, 상대적으로 눈의 개폐 상하크기가 큰 백인과 작은 동양인 정보와 수반되는 졸음운전징후 판단기준이 되는 임계값(Threshold Values)을 포함하며, 상기의 기하학적 수치정보는 휴대인터넷 및 무선이동통신망의 낮은 대역폭에도 단말장치와 서비스 서버 간의 통신지연을 발생시키지 않도록 졸음운전형상변화를 표시하는 스크립트 구문형식의 정보로 구성된다.Here, the personalized drowsy driving prevention template is an image to be mounted on the vehicle to change the shape information of facial components such as nose, mouth, face and head including the image-based eye components for recognizing the drowsy driving signs of the driver. Correspondence with drowsy driving signs can be automatically determined from the terminal device as well as the service server by using the information generated by the database before or during the vehicle in response to the change in the projection angle and the distance of the camera. In this case, the shape change information may include, for example, a camera's position up, down, left, and right, and the driver's eyes, such as +15 degrees, 0 degrees, -15 degrees, 20 degrees, left, 20 degrees, and 20 degrees. As a guide, the shape of the upper and lower eyelids (height, creation curves, etc.), the eyebrow creation curve, eye angle, pupil angle and iris position, nose In addition to the geometrical numerical information, such as the generation curve of the mouth, the generation curve of the face and head, including the image pattern information, and the like, and the eye blinking information for each driving situation. In addition, a unique drowsiness driving prevention template based on personal facial features of each driver, the optimal measurement unit information, for example, the threshold of the drowsiness driving symptom accompanying the information of Caucasians and small Asians with relatively large opening and closing sizes of eyes. The numerical value of the above-mentioned geometric information is in the form of a script syntax that indicates a change in drowsy driving shape so as not to cause communication delay between the terminal device and the service server even in the low bandwidth of the mobile Internet and the wireless mobile communication network. It is composed.

운전자 개인화된 안전운전 템플릿이란 개인화된 졸음운전예방 템플릿 중에서 차량 내 장착된 졸음운전감시 카메라와 운전자 간의 투사각도 및 거리에 대응되는 비졸음상태의 템플릿을 지칭한다. 만약 대응되는 템플릿이 존재치 않을 경우는 지능형 졸음운전감시 단말장치를 통하여 즉시(On the spot) 생성될 수 있다.The driver personalized safe driving template refers to a template of a non-drowsiness state corresponding to the projection angle and distance between the drowsy driving monitoring camera mounted in the vehicle and the driver among the personalized drowsy driving prevention templates. If the corresponding template does not exist, it may be generated on the spot through the intelligent drowsy driving monitoring terminal.

본 발명은 운전자의 졸음운전을 실시간으로 감시하고 그 징후를 조기에 인식하여 운전자가 실제로 졸음운전상황에 도달하기 전에 졸음운전으로 인한 사고를 미연에 방지할 수 있는 기술로서, 고속버스, 물류트럭 등과 같은 공용운전차량에서도 운전자 개인별 맞춤형 졸음운전인식 단말장치의 구현이 가능하고, 경량 알고리즘화, 저사양화 실현이 가능할 뿐만 아니라, 졸음운전인식률의 정확도를 동시에 제고할 수 있다. The present invention monitors the driver's drowsy driving in real time and recognizes the signs early to prevent the drowsiness accident before the driver actually reaches the drowsy driving situation. In the same common driving vehicle, it is possible to implement a personalized drowsy driving recognition terminal device for each driver, to realize a lightweight algorithm and low specification, and to improve the accuracy of the drowsy driving recognition rate at the same time.

또한, 휴대인터넷 등 무선데이터통신망을 이용하여 졸음운전 중앙관제를 위한 서비스 서버와 상시 양방향 통신을 통하여 운전자의 졸음운전징후를 원격에서도 감지하고 대응예방조치를 가능하게 하여 물류 및 승객운송기업 등의 고질적인 졸음운전사고위험을 원격에서 효과적으로 제어 감독할 수 있다.In addition, by using wireless data communication network such as mobile internet, service server for central control of drowsy driving and constant two-way communication, the driver's drowsy driving symptoms can be detected remotely and preventive measures can be performed to prevent the logistics and passenger transportation companies. Effectively and remotely control the risk of drowsy driving accidents.

또한, 차량 운전자가 수시로 변경되는 사업용 차량, 가령 기업용 승용차, 물류트럭, 고속버스 등에 하나의 졸음운전감시 단말장치만을 설치하여도 다수 운전자의 졸음운전 징후를 정교하게 감시 및 인식할 수 있다. In addition, even if only one drowsy driving monitoring terminal device is installed in a business vehicle, such as a corporate passenger car, a logistics truck, and a highway bus, which the vehicle driver changes from time to time, the drowsiness driving signs of a plurality of drivers can be precisely monitored and recognized.

더욱이, 고성능의 컴퓨팅자원(예컨대, CPU)을 이용하지 않고서도 지속적으로 변경되는 졸음운전감시환경 변화, 예를 들면, 운전자 또는 차량 변경, 운전자세 및 운전패턴의 변화 등에 능동적으로 적응하는 지능형 졸음운전감시 단말장치의 구성이 가능하여 고정밀 인식률과 경제성 및 상용성을 동시에 확보할 수 있다.Moreover, intelligent drowsy driving actively adapts to changes in the drowsy driving monitoring environment that continuously changes without using high-performance computing resources (e.g., CPUs), for example, changes to drivers or vehicles, changes in driver's tax and driving patterns. Surveillance terminal device can be configured to ensure high precision recognition rate, economic feasibility and compatibility.

또한, 저렴한 가격의 단말장치를 일반인에게도 보급할 수 있어 졸음운전사고를 예방할 뿐만 아니라, 그 사고로 기인한 직.간접적인 사회적 비용, 가령 교통체증비용, 사고처리비용, 보험료, 졸음운전방지를 위한 사회간접자본투자비용 등을 절감할 수 있다.In addition, low-cost terminal equipment can be distributed to the general public to prevent drowsy driving accidents, and also to prevent direct or indirect social costs, such as traffic jam costs, accident handling costs, insurance premiums, and drowsiness driving prevention. Social overhead capital investment costs can be reduced.

또한, 양방향 휴대인터넷통신망 또는 이동통신망을 이용하여 주행 중 카메라와 운전자 간의 투사각의 변화에 따른 운전자의 전방주시태만 방지 장치로의 활용과, 차량 내 돌발적 위난 상황에 대한 중앙관제센터의 원격감시와 초기 대응 시스템으로서의 서비스 제공을 활성화할 수 있다.In addition, by using two-way portable internet communication network or mobile communication network, it is utilized as a device to prevent the driver's forward blindness according to the change of the angle of projection between the camera and the driver while driving, and the remote control and initial monitoring of the central control center for the unexpected situation in the vehicle Service provision as a corresponding system can be activated.

또한, 저용량 스크립트 구문형식의 졸음운전예방 템플릿 송수신으로 전송지연을 최소화하여 2G와 같은 일반 협대역 이동통신망에서도 단말장치와 서비스 서버 간의 원활한 통신이 가능하여 졸음운전사고를 사전에 감지하고 예방조치가 가능한 이동통신망을 이용한 새로운 킬러 서비스 제공할 수 있다.In addition, low-dose script syntax-type drowsiness prevention template transmission / reception minimizes transmission delay, enabling smooth communication between terminal equipment and service server in general narrowband mobile communication networks such as 2G. It can provide a new killer service using a mobile communication network.

이하, 첨부한 도면을 참조하여 본 발명의 실시 예를 상세하게 설명한다.Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings.

도 1은 본 발명에 따른 졸음운전 감시시스템의 구성을 나타내는 블록도이다.1 is a block diagram showing the configuration of a drowsy driving monitoring system according to the present invention.

도시된 바와 같이, 개인화 템플릿 기반의 졸음운전 감시시스템은 졸음운전감시 단말장치(100)와, 졸음운전 사고예방 서비스서버(300), 및 졸음운전예방 템플릿생성 시뮬레이션장치(200)를 포함한다.As illustrated, the drowsy driving monitoring system based on the personalization template includes a drowsy driving monitoring terminal device 100, a drowsy driving accident prevention service server 300, and a drowsy driving prevention template generation simulation device 200.

졸음운전감시 단말장치(100)는 졸음운전 감시환경 변화, 예를 들면, 운전자 또는 차량의 변경, 운전자세 및 운전패턴의 변화 등에 능동적으로 적응하여 스스로 운전자에 개인화된 졸음운전예방 템플릿(이하, 예방 템플릿이라 함)을 실시간과 온라인으로 생성, 저장, 전송, 및 수신하고, 생성된 템플릿을 분석하고 학습하여 졸음운전 징후를 감시하고 인식하는 기능을 한다.The drowsy driving monitoring terminal device 100 adaptively adapts to changes in the drowsy driving monitoring environment, for example, a change in a driver or a vehicle, a change in driver's tax, and a driving pattern. Templates are created, stored, transmitted, and received in real time and online, and the generated templates are analyzed and learned to monitor and recognize drowsy driving signs.

졸음운전 사고예방 서비스서버(300)는 졸음운전감시 단말장치(100)에서 전송된 예방 템플릿을 데이터베이스화하고 차량운행상황 정보와 운전자 개인의 운전성향 정보와 종합하여 운전자의 졸음운전 감시환경 변화 또는 예방 템플릿 요소의 변화에 따라 졸음운전감시 단말장치(100)의 요구에 즉각적으로 해당 최적 예방 템플릿과 졸음운전진단지능정보를 연결된 통신망을 통하여 전송 서비스한다.The drowsy driving accident prevention service server 300 is a database of the prevention template transmitted from the drowsy driving monitoring terminal device 100 and changes or prevents the driver's drowsy driving monitoring environment by combining the vehicle operation status information and the driver's personal propensity information. According to the change of the template element, the optimal prevention template and the drowsy driving diagnosis intelligence information are immediately transmitted to the request of the drowsy driving monitoring terminal 100 through a connected communication network.

또한, 졸음운전예방 템플릿생성 시뮬레이션장치(200)는 예방 템플릿의 생성작업을 용이하게 하기 위하여 별도의 예방 템플릿 생성장치를 이용하여 다수 운전자의 개별 졸음운전예방 템플릿을 생성하고 이를 졸음운전 사고예방 서비스서버(300)에 배치(Batch) 방식으로 통신망을 통하여 전송한다.In addition, the drowsiness driving prevention template generation simulation device 200 generates individual drowsiness driving prevention templates of a plurality of drivers by using a separate prevention template generating device in order to facilitate the generation of the prevention template, drowsy driving accident prevention service server The batch 300 is transmitted through a communication network in a batch manner.

1. 졸음운전감시 단말장치(100)1. Drowsy driving monitoring terminal device (100)

도 2는 본 발명에 따른 졸음운전감시 단말장치(100)의 구성을 나타내는 블록도이다.2 is a block diagram showing the configuration of the drowsy driving monitoring terminal device 100 according to the present invention.

졸음운전감시 단말장치(100)는, 졸음운전 감시영상 획득/처리부(110), 졸음운전예방 템플릿 생성/저장부(120), 졸음운전 인식부(130), 유무선 통신부(140) 및 중앙제어부(170)를 포함하며, 개인화된 졸음운전예방 템플릿 DB(150)와 개인화된 졸음운전 진단지능 DB(160)를 구비한다.The drowsy driving monitoring terminal device 100, the drowsy driving monitoring image acquisition / processing unit 110, drowsy driving prevention template generation / storage unit 120, drowsy driving recognition unit 130, wired and wireless communication unit 140 and the central control unit ( 170, the personalized drowsy driving prevention template DB 150 and personalized drowsy driving diagnostics DB (160).

졸음운전 감시영상 획득/처리부(110)Drowsiness driving surveillance image acquisition / processing unit 110

졸음운전 감시영상 획득/처리부(110)는 카메라 영상 기반의 졸음운전 감시를 위한 주야간 감시 카메라와 획득된 운전자의 안면 영상을 디지털화하고 졸음운전예방 템플릿의 생성 및 비교에 최적화된 형태로 분해변환 처리기능을 수행한다. 여기서, 카메라는 선택적으로 PTZ(Pan, Tilt, Zoom) 기능을 가질 수 있다. The drowsy driving surveillance image acquisition / processing unit 110 digitizes the day and night surveillance camera for acquiring drowsy driving based on a camera image and the driver's face image, and performs a decomposition conversion processing function in an optimized form for generating and comparing a drowsy driving prevention template. Do this. Here, the camera may optionally have a PTZ (Pan, Tilt, Zoom) function.

졸음운전 감시영상 획득/처리부(110)는 물리적으로 졸음운전감시 단말장치(100)의 다른 부분과 분리되어 차량 내 별도의 위치에 설치할 수 있고 상호 간에는 근거리 무선통신 또는 유선으로 통신한다. The drowsy driving surveillance image acquisition / processing unit 110 may be physically separated from other parts of the drowsy driving monitoring terminal device 100 and installed at a separate location in the vehicle, and communicate with each other by short-range wireless communication or wired.

졸음운전예방 템플릿 생성/저장부(120)Drowsy driving prevention template generation / storage unit 120

졸음운전예방 템플릿 생성/저장부(120)는 졸음운전 감시영상 획득/처리부(110)에서 분해 변환처리된 영상을 졸음운전 감시를 위한 다차원 변수, 즉 차량에 장착된 영상카메라의 투사각도와 거리를 변화시켜가며 대응시킨 해당 운전자 개인별 눈의 구성요소의 형상변화, 즉 눈의 개폐상태, 얼굴 및 머리각도 변화에 따른 눈 곡선의 형태, 동공 및 홍채의 위치, 시선 각, 눈썹 곡선의 형태, 코와 입의 곡선형태 등과 눈의 깜박임, 얼굴과 머리의 형상변화 등을 기하학적 수치정보 방식의 스크립트 구문형식으로 생성 및 저장하고, 보완적으로 영상패턴 형식으로도 저장한다.The drowsy driving prevention template generation / storage unit 120 changes the projection angle and the distance of the multi-dimensional variable, that is, the video camera mounted on the vehicle, to the drowsy driving surveillance image acquisition / processing unit 110 for drowsy driving monitoring. The shape of the eye components according to the driver's individual eyes, that is, the shape of the eye curve according to the opening and closing state of the eye, the change of the face and head angle, the position of the pupil and iris, the line of sight, the shape of the eyebrow curve, the nose and mouth It creates and stores the curved shape of, and the blinking of the eyes and the shape change of the face and head in the script syntax form of the geometrical numerical information method, and also complements the image pattern form.

여기서, 기하학적 수치정보 방식의 스크립트 구문형식이란, 눈썹, 동공, 홍채, 눈꺼풀, 좌측 눈, 우측 눈, 코, 또는 입 등과 같은 눈 및 안면 구성요소를 표현하는 객체명과, 점, 선, 원, 호, 타원, 사각형, 또는 다각형 등과 같은 그래픽 특성과 이를 드로잉하기 위한 좌표, 각도, 크기 정보 등을 포함하는 기하학적 수치정보 방식의 그래픽 명령문을 의미한다. Here, the geometric syntax information script syntax form is an object name representing an eye and facial component such as an eyebrow, a pupil, an iris, an eyelid, a left eye, a right eye, a nose, or a mouth, and a dot, line, circle, arc. It refers to a graphic statement of geometrical numerical information method including graphic characteristics such as, ellipses, squares, or polygons and coordinates, angles, and size information for drawing the same.

졸음운전예방 템플릿 생성/저장부(120)는 졸음운전 감시환경 변화, 예를 들면, 운전자 또는 차량의 변경, 운전자세 및 운전패턴의 변화 등으로 졸음운전 인식부(130)에서 학습되지 않은 새로운 졸음운전감시 매개변수, 예컨대 운전자와 카메라 간의 기준 투사각변화, 거리변화, 또는 기타 졸음운전예방 템플릿 요소의 변화 등이 인지될 경우, 졸음운전 사고예방 서비스서버(300)에 해당 각도, 거리, 자세패턴, 형상변화 등의 값을 제공하여 졸음운전예방 템플릿을 요청하고, 만약 졸음운전 사고예방 서비스서버(300)에서 졸음운전감시 매개변수 변화량에 근사값의 졸음운전예방 템플릿이 가용하지 않을 경우 즉시 새로운 졸음운전예방 템플릿을 생성 및 저장하고 이를 졸음운전 사고예방 서비스서버(300)에 전송하여 저장토록 한다. The drowsy driving prevention template generation / storage unit 120 is a new drowsiness that is not learned by the drowsy driving recognition unit 130 due to a change in the drowsy driving monitoring environment, for example, a change of a driver or a vehicle, a change in a driver's tax, and a driving pattern. When the driving monitoring parameters, for example, the change in the reference projection angle, the distance change, or other change in the drowsy driving prevention template element between the driver and the camera, are recognized, the corresponding angle, distance, attitude pattern, Requests drowsy driving prevention template by providing values such as shape change, and if a drowsy driving prevention template of the drowsiness driving prevention parameter approximates to the drowsy driving monitoring parameter change amount in the drowsy driving accident prevention service server 300, a new drowsy driving prevention immediately Create and save a template and transmit it to the drowsy driving accident prevention service server 300 to be stored.

이때 설치된 카메라와 운전자와의 투사각은 운전자의 운행허가 및 시작시점에서 운전자가 카메라를 주시하고 획득된 영상에서 운전자의 눈 또는 안면 구성요소의 각도에 따른 형상변화 및 시선을 확인함으로써 계산될 수 있다. 구체적으로, 카메라는 운전자의 전방을 중심으로 도 3의 카메라 투사방향 예시와 같이 상하좌우 가변적 위치에 유연하게 설치되어 운전자를 투사하게 되고, 운전자의 교체 또는 운전자의 자세변화에 따라 카메라 설치 위치를 변경 또는 이동해야 하는 제약성이 없다. 이때, 카메라의 투사각도 변화에는 제한을 두지 않는다. At this time, the projection angle between the installed camera and the driver may be calculated by the driver looking at the camera at the driver's permission and starting point, and confirming the shape change and the line of sight according to the angle of the driver's eyes or face components in the acquired image. Specifically, the camera is flexibly installed at the variable positions up, down, left and right about the front of the driver as shown in the example of the projection direction of the camera as shown in FIG. Or there is no constraint to move. At this time, the change in the projection angle of the camera is not limited.

카메라가 설치된 상하좌우 위치에 따라 카메라에 투영된 운전자 눈의 구성요소 또는 안면 구성요소 등의 형상변화를 측정하고 졸음운전예방 템플릿을 생성한 다. 이때의 각각 변화된 형상은 도 4의 카메라 투영 운전자 눈의 구성요소 형상변화 예시와 같이 상기 계산된 투사각에 Y축 또는 X축에 대칭하여 일대일 대응된다. According to the up, down, left, and right positions where the camera is installed, the shape change of the driver's eyes or face components projected on the camera is measured, and a drowsy driving prevention template is generated. At this time, the changed shape corresponds one-to-one to the calculated projection angle symmetrically on the Y-axis or the X-axis as shown in the example of the shape change of the component of the camera projection driver's eye of FIG. 4.

예를 들면, 도 3의 "우하향 30°"의 투사각도를 가진 카메라의 설치에 일대일 대응되는 눈의 구성요소 형상은 도 4의 "카메라 좌상향 30°감시"에 매핑된다. 또한, 도 3의 예시에서 각 형상은 눈의 개폐상태에 대한 형상과 연결된다. 도 5의 눈의 개폐상태 형상 예시는 도 4의 "카메라 중앙전방 감시" 형상에 대응된 눈의 개폐상태의 형상 변화이다. 눈의 개폐상태의 형상 변화를 나타내는 형상의 수는 제한하지 않는다.For example, the component shape of the eye that corresponds one-to-one to the installation of a camera having a projection angle of "30 degrees right downward" in FIG. 3 is mapped to "camera left upward 30 degrees surveillance" in FIG. In addition, in the example of FIG. 3, each shape is connected to a shape of an open / closed state of the eye. An example of the shape of the open / closed state of the eye of FIG. 5 is a change in the shape of the open / closed state of the eye corresponding to the shape of “camera center front monitoring” of FIG. 4. The number of shapes representing the shape change in the open / closed state of the eye is not limited.

도 5의 예시 형태로 눈썹, 코, 입 등의 기타 안면 구성요소에도 운전자와 카메라 간의 각도, 거리변화, 운전자의 자세변화에 따라 다양한 형상변화를 동일한 방식으로 적용할 수 있다.In the exemplary form of FIG. 5, various shape changes may be applied to other facial components, such as an eyebrow, a nose, and a mouth, according to angles, distance changes, and posture changes of the driver and the camera in the same manner.

졸음운전 인식부(130)Drowsiness driving recognition unit 130

졸음운전 인식부(130)는, 졸음운전감시 환경변화에 대응하여 졸음운전 사고예방 서비스서버(300)로부터 수신된 개인화된 졸음운전진단 지능DB(160)와 졸음운전예방 템플릿 생성/저장부(120)가 생성하여 개인화된 졸음운전예방 템플릿DB(150)에 저장한 정보를 참조하여 졸음운전예방 템플릿 생성/저장부(120)가 차량운행 중 실시간으로 측정한 운전자의 졸음운전예방 템플릿 구성요소들의 변화량을 비교 분석하고, 비졸음 상태에서의 졸음운전예방 템플릿과의 차이 또는 졸음운전 상태에서의 졸음운전예방 템플릿과의 근사치 정도에 따라서 졸음운전 징후를 판단 및 인식하며 대응 경보조치를 발령한다. The drowsiness operation recognition unit 130 is a personalized drowsiness operation diagnosis intelligent DB 160 and the drowsiness operation prevention template generation / storage unit 120 received from the drowsy driving accident prevention service server 300 in response to the drowsy driving monitoring environment change. The amount of change of the driver's drowsy driving prevention template elements measured by the drowsy driving prevention template generating / storing unit 120 in real time while driving the vehicle with reference to information generated by the user and stored in the personalized drowsy driving prevention template DB 150. Compares and analyzes and determines the drowsy driving symptoms according to the difference between the drowsy driving prevention template in the non-drowsy state or the approximate value of the drowsy driving prevention template in the drowsy driving state and issues a corresponding alarm action.

만약 개인화된 졸음운전예방 템플릿DB(150)에 졸음운전감시 매개변수에 근사한 템플릿이 존재하지 않을 시에는 졸음운전예방 템플릿 생성/저장부(120)에 해당 템플릿이 존재하지 않음을 신호처리하고 임시로 가장 근접한 개인화된 졸음운전예방 템플릿을 이용하여 인식처리한다. 여기서, 졸음운전 사고예방 서비스서버(300)로부터의 개인화된 졸음운전진단 지능DB 정보가 가용하지 않을 경우를 대비하여 운행 중 수집되는 제한된 범위의 차량운행 상황정보와 운전자 개인의 운전 성향정보를 기초로 한 제한된 졸음운전진단 지능DB(Limited Intelligent DB of Drowsy Driving Analysis)를 구비할 수 있다.If there is no template approximating the drowsy driving monitoring parameter in the personalized drowsy driving prevention template DB 150, signal processing that the corresponding template does not exist in the drowsy driving prevention template generation / storage 120 and temporarily Recognition is performed using the nearest personalized drowsy driving prevention template. In this case, the personalized drowsy driving diagnosis intelligent DB information from the drowsy driving accident prevention service server 300 is based on a limited range of vehicle driving situation information and driver's driving propensity information collected during the driving in case the information is not available. A limited drowsy driving diagnostic DB may be provided.

유무선통신부(140)Wired and wireless communication department (140)

유무선통신부(140)는, 졸음운전예방 템플릿 생성/저장부(120)에서 생성한 졸음운전예방 템플릿을 졸음운전 사고예방 서비스서버(300)로 전송하거나 졸음운전 사고예방 서비스서버(300)로부터 개인화된 졸음운전예방 템플릿을 수신하는 기능과, 졸음운전 인식부(130)에서 졸음운전 진단을 위해 요구되는 개인화된 졸음운전진단 지능DB 정보를 졸음운전 사고예방 서비스서버(300)에 요청하여 수신하며, 차량운행 상황정보 등을 졸음운전 사고예방 서비스서버(300)에 송신하여 이 서비스서버(300)에서 개인화된 졸음운전진단 지능DB 정보를 축적할 수 있도록 한다. 또한, 유무선통신부(140)는, 졸음운전 인식부(130)에서 처리된 졸음운전 징후를 졸음운전 사고예방 서비스서버(300)에 전송하고 대응되는 졸음운전 예방퇴치 콘텐츠 또는 조치를 졸음운전 사고예방 서비스서버(300)로부터 수신하여 졸음운전감시 단말장치(100)에서 졸음운전 경보발령을 가능하게 하기 위한 유무선 통신모듈로서 와이브 로(일명 모바일 와이맥스), HSPA, TETRA, LTE, 또는 기타 네트워크를 이용한 휴대인터넷 통신기능과, WCDMA, CDMA/GSM, TD-SCDMA, LTE, 기타의 네트워크 형태를 갖는 이동통신망 통신기능과, 와이파이(WiFi), DSRC, 블루투스, UMB, 기타 근거리 무선데이터 통신기능을 갖는 모든 무선 통신 모듈과 USB 등과 같은 유선 인터페이스를 갖는 통신기능을 복합적으로 구비할 수 있다.The wired / wireless communication unit 140 transmits the drowsy driving prevention template generated by the drowsy driving prevention template generation / storage unit 120 to the drowsy driving accident prevention service server 300 or personalized from the drowsy driving accident prevention service server 300. A function of receiving a drowsy driving prevention template and a drowsy driving diagnosis intelligent DB information required for a drowsy driving diagnosis from the drowsy driving recognition unit 130 to request and receive a drowsy driving accident prevention service server 300, and receive a vehicle The driving situation information and the like are transmitted to the drowsy driving accident prevention service server 300 so that the personalized drowsy driving diagnosis intelligent DB information can be accumulated in the service server 300. In addition, the wired / wireless communication unit 140 transmits the drowsy driving sign processed by the drowsy driving recognition unit 130 to the drowsy driving accident prevention service server 300 and transmits the corresponding drowsy driving prevention content or action to the drowsy driving accident prevention service. Portable by using WiBro (aka Mobile WiMAX), HSPA, TETRA, LTE, or other network as a wired / wireless communication module for receiving drowsy driving warning from the server 300 and enabling drowsy driving warning in the terminal device 100. Internet communication, WCDMA, CDMA / GSM, TD-SCDMA, LTE, and other mobile network communication functions with other network types, Wi-Fi (WiFi), DSRC, Bluetooth, UMB, and other short-range wireless data communication. A communication function having a wired interface, such as a communication module and a USB, may be provided in combination.

개인화된 졸음운전예방 템플릿DB(150)와 개인화된 졸음운전진단 지능DB(160)Personalized drowsy driving prevention template DB (150) and personalized drowsy driving diagnostic DB (160)

개인화된 졸음운전예방 템플릿DB(150)는, 졸음운전예방 템플릿 생성/저장부(120)와 연동하여 상기 정의된 졸음운전예방 템플릿을 저장, 갱신, 및 검색하는 기능을 제공하며, 개인화된 졸음운전진단 지능DB(160)는 졸음운전 인식부(130)에서 각 운전자를 대상으로 졸음운전 징후를 판단하기 위한 추가 가공정보, 즉 졸음운전예방 템플릿의 졸음운전징후 대비 시계열적 변화, 졸음운전징후 단계별 기준값 및 변화량, 위험도, 대응조치 등의 정보와, 운행 중 차량에서 수집된 차량운행 상황정보, 가령, 운전시간대, 총주행시간 및 거리, 도로구조, 날씨, 기타 차량운행과 관계된 정보와 운전자 개인의 운전성향정보, 가령, 운전자의 성별, 나이, 운전자세, 졸음운전 취약시간대, 기타 운전관련 개인신상정보를 각 정보간 상관관계 관점에서 분석. 추론할 수 있는 지식정보를 개인별로 특성화된 졸음운전징후 판단 의사결정 규칙방식으로 가공 및 처리한 것으로서, 졸음운전 인식부(130)의 요청에 따라서 졸음운전 사고예방 서비스서버(300)로부터 수신하여 유지함을 원칙으로 하고, 선택적으로 지능형 졸음운전감시 단말장치(100)에서 독립적으로 생성 및 유지할 수 있으나 그 범위는 단말장치의 성능에 종속적이다.Personalized drowsy driving prevention template DB 150, in conjunction with the drowsy driving prevention template generation / storage unit 120 provides a function to store, update, and retrieve the defined drowsy driving prevention template, personalized drowsy driving The diagnostic intelligence DB 160 is further processing information for determining drowsy driving signs for each driver in the drowsy driving recognition unit 130, that is, time-series change compared to the drowsy driving symptom of the drowsy driving prevention template, and the reference value for each drowsy driving symptom. Information such as the amount of change, risk, and countermeasures, vehicle operation status information collected from the vehicle during operation, such as driving time zone, total driving time and distance, road structure, weather, and other vehicle-related information and driving of the individual driver. Analysis of propensity information, such as driver's gender, age, driver's tax, drowsy driving time zone, and other driving-related personal information in terms of correlation among each information. As a result of processing and processing knowledge information that can be deduced by the drowsy driving symptom decision rule method specialized for each individual, it is received and maintained from the drowsy driving accident prevention service server 300 at the request of the drowsy driving recognition unit 130. In principle, it can be selectively generated and maintained independently in the intelligent drowsy driving monitoring terminal 100, but the range is dependent on the performance of the terminal.

중앙 제어부(170)Central control unit 170

중앙 제어부(170)는 졸음운전감시 단말장치(100)를 통합 제어하고 졸음운전 사고예방 서비스서버(300)와 연결하여 단말장치(100)를 최적의 운전자 개인화된 졸음운전예방 템플릿과 졸음운전진단 지능DB 정보를 유지하도록 관리한다.The central control unit 170 controls the drowsy driving monitoring terminal device 100 and connects the drowsy driving accident prevention service server 300 to connect the terminal device 100 to the optimal driver personalized drowsy driving prevention template and drowsy driving diagnosis intelligence. Manage to maintain DB information.

2. 졸음운전예방 템플릿생성 시뮬레이션장치(200)2. Drowsy driving prevention template generation simulation device (200)

도 6은 본 발명에 따른 졸음운전예방 템플릿생성 시뮬레이션장치(200)의 구성을 나타내는 블록도이다.6 is a block diagram showing the configuration of the drowsiness operation prevention template generation simulation apparatus 200 according to the present invention.

졸음운전예방 템플릿생성 시뮬레이션장치(200)는 졸음운전감시 단말장치(100)가 차량에 장착되어 주행 전 또는 주행 중 탑승운전자 개인의 졸음운전예방 템플릿을 생성하는 것과는 달리, 단일 또는 다수 운전자를 대상으로 미리 비졸음 상태 또는 졸음상태에서의 개인화된 졸음운전예방 템플릿을 생성하고 졸음운전 사고예방 서비스서버(300)에 DB화할 수 있는 독립적인 장치이다.The drowsiness driving prevention template generation simulation apparatus 200 targets a single or multiple driver, unlike the drowsiness driving prevention terminal device 100 mounted on the vehicle to generate a drowsy driving prevention template for each driver before or during driving. It is an independent device that can create a personalized drowsiness operation prevention template in a drowsy state or a sleepy state in advance and make DB on the drowsy driving accident prevention service server 300.

도 6을 참조하면, 졸음운전예방 템플릿생성 시뮬레이션장치(200)는 차량주행 시뮬레이션부(210), 졸음운전예방 템플릿 영상획득/처리부(220), 졸음운전예방 템플릿 생성/저장부(230), 및 유무선 통신부(240)로 구성된다.Referring to FIG. 6, the drowsy driving prevention template generation simulation apparatus 200 includes a vehicle driving simulation unit 210, a drowsy driving prevention template image acquisition / processing unit 220, a drowsy driving prevention template generation / storage unit 230, and Wired and wireless communication unit 240 is configured.

차량주행 시뮬레이션부(210)Vehicle driving simulation unit 210

차량주행 시뮬레이션부(210)는 운전자와 차량에 장착될 카메라 위치와의 투사각 및 거리 변화에 따른 졸음운전예방 템플릿 생성을 위해 실질적인 운전환경 및 조건을 모형화한다.The vehicle driving simulation unit 210 models the actual driving environment and conditions for generating a drowsy driving prevention template according to the change in the projection angle and the distance between the driver and the camera position to be mounted on the vehicle.

졸음운전예방 템플릿 영상획득/처리부(220)Drowsy driving prevention template image acquisition / processing unit 220

졸음운전예방 템플릿 영상획득/처리부(220)는 차량주행 시뮬레이션부(210)와 카메라 영상 기반의 졸음운전감시에 이용되는 졸음운전예방 템플릿 생성을 위한 운전자의 안면 영상 획득용 졸음운전감시 카메라와 획득된 영상을 디지털화하고 졸음운전예방 템플릿의 생성 및 비교에 최적화된 형태로 분해 변환처리기능을 수행한다.The drowsy driving prevention template image acquisition / processing unit 220 acquires a drowsy driving surveillance camera for acquiring a face image of a driver for generating a drowsiness driving prevention template used for the vehicle driving simulation unit 210 and the camera image based drowsiness driving monitoring. Digitally digitizes the image and performs the transformation conversion processing in a form optimized for the generation and comparison of drowsy driving prevention templates.

졸음운전예방 템플릿 생성/저장부(230)Drowsy driving prevention template generation / storage unit 230

졸음운전예방 템플릿 생성/저장부(230)는, 졸음운전예방 템플릿 영상획득/처리부(220)에서 분해 변환처리된 영상을 졸음운전감시를 위한 다차원변수, 즉 차량에 장착될 영상카메라의 투사각도와 거리를 변화시켜 가며 사전에 대응시킨 해당 운전자 개인별 눈의 구성요소 형상변화, 가령 눈의 개폐상태, 얼굴 및 머리각도 변화에 따른 눈 곡선의 형태, 동공 및 홍채의 위치, 시선각, 눈썹 곡선의 형태, 코와 입의 곡선형태 등과, 눈의 깜박임, 얼굴과 머리 형상변화 등을 기하학적 수치정보방식의 스크립트 구문형식으로 생성 및 저장하고, 보완적으로 영상패턴 형식으로도 저장한다.The drowsy driving prevention template generation / storage unit 230 is a multi-dimensional variable for monitoring the drowsy driving of the drowsy driving prevention template image acquisition / processing unit 220, that is, the projection angle and the distance of the image camera to be mounted on the vehicle. Change the shape of the components of the eyes of each driver in advance and change the shape of the eye curve according to the opening / closing state of the eye, the face and the head angle, the position of the pupil and iris, the eye angle, the shape of the eyebrow curve, It creates and stores the shape of nose and mouth curves, eye flickers, facial and head shape changes in the form of scripts of geometrical numerical information methods, and complementarily stores them in the image pattern format.

유무선통신부(240)Wired and wireless communication department (240)

유무선통신부(240)는 졸음운전예방 템플릿 생성/저장부(230)와, 생성완료된 졸음운전예방 템플릿을 졸음운전 사고예방 서비스서버(300)에 유무선통신망을 이용하여 전송한다. The wired / wireless communication unit 240 transmits the drowsy driving prevention template generation / storage unit 230 and the generated drowsy driving prevention template to the drowsy driving accident prevention service server 300 using the wired / wireless communication network.

3. 졸음운전 사고예방 서비스서버(300)3. Drowsy driving accident prevention service server (300)

도 7은 본 발명에 따른 졸음운전 사고예방 서비스서버(300)의 구성을 나타내는 블록도이다.7 is a block diagram showing the configuration of the drowsy driving accident prevention service server 300 according to the present invention.

도시된 바와 같이, 졸음운전 사고예방 서비스서버(300)는 유무선 통신부(311), 졸음운전예방 템플릿 생성시뮬레이션장치관리부(312), 졸음운전예방 템플릿 생성시뮬레이션장치관리부(312), 지능형 졸음운전감시 단말장치 실시간관리부(313), 졸음운전진단 지식가공부(314), 졸음운전예방 템플릿 등록관리부(315), 졸음운전예방 템플릿/진단 지능제공부(316), 및 서비스서버 중앙제어부(317)로 구성된다.As shown, drowsy driving accident prevention service server 300 is wired and wireless communication unit 311, drowsy driving prevention template generation simulation device management unit 312, drowsy driving prevention template generation simulation device management unit 312, intelligent drowsy driving monitoring terminal Device real-time management unit 313, drowsy driving diagnostic knowledge processing unit 314, drowsy driving prevention template registration management unit 315, drowsy driving prevention template / diagnostic intelligence providing unit 316, and the service server central control unit 317 .

유무선 통신부(311)Wired and wireless communication unit (311)

유무선 통신부(311)는 유선통신망, 이동통신망, 휴대인터넷통신망, 또는 기타 무선통신망을 통하여 지능형 졸음운전감시 단말장치(100)와 실시간 양방향으로 접속하여 통신하고 부가적으로 졸음운전예방 템플릿 생성시뮬레이션장치(200)와 통신한다.The wired / wireless communication unit 311 is connected to the intelligent drowsy driving monitoring terminal device 100 in real-time bidirectional communication through a wired communication network, a mobile communication network, a portable Internet communication network, or other wireless communication network, and additionally generates a drowsy driving prevention template. 200).

졸음운전예방 템플릿 생성시뮬레이션장치관리부(312)Drowsy driving prevention template generation simulation device management unit (312)

졸음운전예방 템플릿 생성시뮬레이션장치관리부(312)는 시뮬레이션장치(200)의 속성과 기능을 관리 및 제어하고 시뮬레이션 장치(200)에서 졸음운전예방 템플릿을 생성 및 등록할 수 있는 온라인 지원기능을 제공한다.The drowsy driving prevention template generation simulation apparatus management unit 312 provides an online support function to manage and control the properties and functions of the simulation apparatus 200, and to create and register the drowsy driving prevention template in the simulation apparatus 200.

지능형 졸음운전감시 단말장치 실시간관리부(313)Intelligent drowsiness driving monitoring device real-time management unit (313)

지능형 졸음운전감시 단말장치 실시간관리부(313)는 다양한 유형의 지능형 졸음운전감시 단말장치(100)의 속성과 ID를 등록, 관리 및 확인하고 단말장치(100)와 차량 주행 중 양방향 통신을 통한 실시간 졸음운전예방 템플릿, 졸음운전진단 지능DB 정보, 차량주행 상황정보를 교환하고, 단말장치(100)로의 졸음운전예방 콘텐츠 서비스를 가능하게 하는 응용계층의 통신프로토콜을 제어한다.The intelligent drowsy driving monitoring terminal device real-time management unit 313 registers, manages and confirms the attributes and IDs of the various types of the drowsy driving monitoring terminal device 100 and real-time drowsiness through two-way communication with the terminal device 100 while driving the vehicle. The driving prevention template, the drowsy driving diagnosis intelligent DB information, and the vehicle driving situation information are exchanged, and the communication protocol of the application layer that enables the drowsy driving prevention content service to the terminal device 100 is controlled.

졸음운전 진단 지식가공부(314)Drowsy driving diagnostic knowledge processing department (314)

졸음운전 진단 지식가공부(314)는 지능형 졸음운전감시 단말장치(100)로부터 수신되는 차량운행 상황정보, 운전자 개인의 운전성향정보와 개인화된 졸음운전예방 템플릿DB(318) 정보, 기타정보 등을 독립적으로 결합하여 가공처리하고 개인화된 졸음운전진단 지능DB(319)에 저장, 갱신 및 유지한다.The drowsy driving diagnosis knowledge processing unit 314 independently of the vehicle dwelling situation information received from the intelligent drowsy driving monitoring terminal device 100, the driver's personal propensity information and personalized drowsy driving prevention template DB 318 information, and other information. Combined, processed, and stored, updated and maintained in the personalized drowsy operation diagnostic intelligence DB (319).

졸음운전예방 템플릿 등록관리부(315) Drowsy driving prevention template registration management unit (315)

졸음운전예방 템플릿 등록관리부(315)는 지능형 졸음운전감시 단말장치(100) 또는 졸음운전예방 템플릿 생성시뮬레이션장치(200)에서 생성되어 전송된 개인화된 졸음운전예방 템플릿을 등록된 운전자 개인별로 분류하고, 등록, 갱신, 및 저장하여 DB화 시키는 기능을 담당한다.The drowsy driving prevention template registration management unit 315 classifies the individual drowsy driving prevention template generated and transmitted by the intelligent drowsy driving monitoring terminal device 100 or the drowsy driving prevention template generating simulation device 200 by registered drivers, It is in charge of registering, updating, and storing and making DB.

졸음운전예방 템플릿/진단 지능제공부(316)Drowsy driving prevention template / diagnostic intelligence provider (316)

졸음운전예방 템플릿/진단 지능제공부(316)는 지능형 졸음운전감시 단말장치(100)로부터 요청된 졸음운전 감시환경 변화, 예를 들면, 운전자 또는 차량 변경, 운전자세 및 운전패턴의 변화 등으로 인한 새로운 졸음운전감시 매개변수, 예컨대 운전자와 카메라 간의 기준 투사각변화, 거리변화, 또는 기타의 졸음운전예방 템플릿 요소의 변화 등에 대응되는 개인화된 졸음운전예방 템플릿DB 정보와 개인화 된 졸음운전진단 지능DB 정보를 단말장치(100)로 제공한다.The drowsy driving prevention template / diagnostic intelligence providing unit 316 is a result of the drowsy driving monitoring environment requested by the intelligent drowsy driving monitoring terminal 100, for example, a driver or vehicle change, a driver's tax, and a change in driving pattern. Personalized drowsiness driving prevention template DB information and personalized drowsiness driving diagnosis intelligent DB information corresponding to new drowsy driving monitoring parameters, such as changes in the reference projection angle between the driver and the camera, distance changes, or other changes in drowsy driving prevention template elements. Provided to the terminal device (100).

서비스서버 중앙제어부(317)Service server central control unit (317)

서비스서버 중앙제어부(317)는 상기 전체 서버장치를 제어하고, 각 단위장치를 통합.연결하는 응용기능을 수행한다. The service server central controller 317 controls the entire server device and performs an application function of integrating and connecting each unit device.

서비스 서버(300)의 데이터베이스Database of service server 300

졸음운전예방 템플릿 등록관리부(315)에서 확인된 운전자 개인별 졸음운전예방 템플릿은 개인화된 졸음운전예방 템플릿DB(318)에 데이터베이스화되어 유지되고, 졸음운전진단 지식가공부(314)에서 가공처리된 정보는 개인화된 졸음운전진단 지능DB(319)에 데이터베이스화되어 유지되며, 다양한 유형의 다수의 지능형 졸음운전감시 단말장치(100)의 속성 및 ID 정보는 지능형 졸음운전감시 단말장치정보DB(320)에 유지관리된다. The drowsy driving prevention template for each driver confirmed by the drowsy driving prevention template registration management unit 315 is maintained in the database to the personalized drowsy driving prevention template DB 318, the information processed in the drowsy driving diagnostic knowledge processing unit 314 The personalized drowsy driving diagnosis database DB 319 is maintained and maintained, and the attributes and ID information of the various types of intelligent drowsy driving monitoring terminal 100 is maintained in the intelligent drowsy driving monitoring terminal information DB 320 Managed.

도 8은 졸음운전감시 단말장치(100)와 졸음운전 사고예방 서비스서버(300) 간에서 개인화된 템플릿기반 졸음운전 사고예방 템플릿기반 서비스 진행을 나타낸다. 8 illustrates a personalized template-based drowsiness driving accident prevention template-based service progress between the drowsiness driving monitoring terminal device 100 and the drowsy driving accident prevention service server 300.

도시된 바와 같이, 먼저, 지능형 졸음운전감시 단말장치(100)가 졸음운전 사고예방 서비스서버(300)에 유무선 통신망을 이용하여 접속을 요청한다. As shown, first, the intelligent drowsy driving monitoring terminal device 100 requests the drowsy driving accident prevention service server 300 to connect to the drowsy driving accident prevention service server 300 using a wired or wireless communication network.

서비스 서버(300)는 단말장치(100)의 속성을 확인하고 서비스가입 유무를 확인하여 접속을 허가한다.The service server 300 checks the property of the terminal device 100 and checks whether there is a service subscription, and permits access.

단말장치(100)는 탑승 운전자의 ID정보를 송신하고 인증을 요청하며, 서비스 서버(300)는 탑승 운전자의 정보를 확인하고 인증을 허가한다.The terminal device 100 transmits ID information of the driver and requests authentication, and the service server 300 checks the driver information and permits authentication.

이어 단말장치(100)가 카메라와 탑승 운전자 간의 기준투사각을 측정하고, 탑승 운전자의 졸음운전예방 템플릿과 졸음운전진단 지능DB 정보를 단말장치(100)에서 확인하고 서비스 서버(300)와 동기화하여 갱신 및 유지한다.Subsequently, the terminal device 100 measures a reference projection angle between the camera and the driver, and checks the drowsy driving prevention template and the drowsy driving diagnosis intelligence DB information of the driver in the terminal device 100 and updates it by synchronizing with the service server 300. And maintain.

단말장치(100)는 갱신 또는 확인된 졸음운전예방 템플릿과 졸음운전진단 지능DB 정보를 이용하여 졸음운전감시를 실행한다. 이때, 단말장치(100)와 서비스 서버(300)에서 카메라와 운전자 간의 측정된 투사각, 거리, 또는 졸음운전예방 템플릿 요소에 대응하는 졸음운전예방 템플릿 정보가 가용하지 않을 때에는 즉시 단말장치(100)에서 졸음운전예방 템플릿을 생성하고 서비스 서버(300)에 전송한다.The terminal device 100 executes the drowsy driving monitoring by using the updated or confirmed drowsy driving prevention template and the drowsy driving diagnostic intelligence DB information. At this time, when the drowsy driving prevention template information corresponding to the measured projection angle, the distance, or the drowsy driving prevention template element measured between the camera and the driver in the terminal device 100 and the service server 300 is not available, the terminal device 100 immediately returns to the terminal device 100. The drowsy driving prevention template is generated and transmitted to the service server 300.

서비스 서버(300)는 단말장치(100)에서 갱신된 졸음운전예방 템플릿에 대응하는 졸음운전진단 지능DB 정보를 갱신한다.The service server 300 updates the drowsy driving diagnosis intelligent DB information corresponding to the drowsy driving prevention template updated by the terminal device 100.

졸음운전감시 결과 졸음운전징후로 판단되었을 때, 단말장치(100)는 졸음운전예방. 퇴치경보 발령과 동시에 서비스 서버(300)로 졸음운전징후 측정값을 전송한다.When it is determined that the drowsy driving symptom is a drowsy driving symptom, the terminal apparatus 100 prevents drowsy driving. Simultaneously with the elimination alarm, the service server 300 transmits the drowsy driving symptom measurement value.

단말장치(100)는 졸음운전예방 및 퇴치를 위한 콘텐츠 및 조치사항을 서비스서버(300)로부터 전송받아 실현한다.The terminal device 100 receives and implements contents and measures for preventing and preventing drowsy driving from the service server 300.

이상에서는 본 발명의 실시 예를 중심으로 설명하였지만, 당업자의 수준에서 다양한 변경을 가할 수 있음은 물론이다. 따라서, 본 발명의 권리범위는 상기한 실시 예에 한정되어 해석될 수 없으며, 이하에 기재되는 특허청구범위에 의해 해석되어야 한다.In the above description, the embodiment of the present invention has been described, but various changes can be made at the level of those skilled in the art. Therefore, the scope of the present invention should not be construed as being limited to the above embodiment, but should be interpreted by the claims described below.

도 1은 본 발명에 따른 졸음운전 감시시스템의 구성을 나타내는 블록도이다.1 is a block diagram showing the configuration of a drowsy driving monitoring system according to the present invention.

도 2는 본 발명에 따른 졸음운전감시 단말장치(100)의 구성을 나타내는 블록도이다.2 is a block diagram showing the configuration of the drowsy driving monitoring terminal device 100 according to the present invention.

도 3은 카메라의 투사방향을 예시하는 도면이다.3 is a diagram illustrating a projection direction of a camera.

도 4는 카메라 투영 운전자 눈의 구성요소 형상변화를 나타내는 도면이다.4 is a view showing the shape change of the components of the camera projection driver's eyes.

도 5는 눈의 개폐상태 형상을 예시하는 도면이다.5 is a diagram illustrating an open / closed state shape of an eye.

도 6은 본 발명에 따른 졸음운전예방 템플릿생성 시뮬레이션장치(200)의 구성을 나타내는 블록도이다.6 is a block diagram showing the configuration of the drowsiness operation prevention template generation simulation apparatus 200 according to the present invention.

도 7은 본 발명에 따른 졸음운전 사고예방 서비스서버(300)의 구성을 나타내는 블록도이다.7 is a block diagram showing the configuration of the drowsy driving accident prevention service server 300 according to the present invention.

도 8은 졸음운전감시 단말장치(100)와 졸음운전 사고예방 서비스서버(300) 간에서 개인화된 템플릿기반 졸음운전 사고예방 템플릿기반 서비스 진행을 나타낸다. 8 illustrates a personalized template-based drowsiness driving accident prevention template-based service progress between the drowsiness driving monitoring terminal device 100 and the drowsy driving accident prevention service server 300.

Claims (11)

차량에 설치되는 졸음운전감시 단말장치와, 상기 단말장치와 유무선 통신망을 통하여 연결되는 졸음운전 사고예방 서비스서버를 포함하며,A drowsy driving monitoring terminal device installed in a vehicle, and the drowsy driving accident prevention service server connected to the terminal device through a wired or wireless communication network, 상기 단말장치는 카메라 영상 기반의 졸음운전 감시를 위한 주야간 감시 카메라와 획득된 운전자의 안면 영상을 디지털화하고 졸음운전예방 템플릿의 생성 및 비교할 수 있도록 분해변환 처리기능을 수행하는 졸음운전 감시영상 획득/처리부와; 상기 졸음운전 감시영상 획득/처리부에서 분해 변환처리된 영상을 졸음운전 감시를 위한 카메라의 투사각도와 거리를 변화시켜가며 대응시킨 운전자 개인별 눈의 구성요소의 형상변화인 다차원 변수를 기하학적 수치정보 방식의 그래픽 명령문인 기하학적 수치정보 방식의 스크립트 구문형식으로 생성 및 저장하는 졸음운전예방 템플릿 생성/저장부와; 졸음운전감시 환경변화에 대응하여 상기 서비스서버로부터 수신된 개인화된 졸음운전진단 지능DB와 상기 졸음운전예방 템플릿 생성/저장부가 생성하여 개인화된 졸음운전예방 템플릿DB에 저장한 정보를 참조하여 상기 졸음운전예방 템플릿 생성/저장부가 차량운행 중 실시간으로 측정한 운전자의 졸음운전예방 템플릿의 변화량을 비교 분석하고, 비졸음 상태에서의 졸음운전예방 템플릿과의 차이 또는 졸음운전 상태에서의 졸음운전예방 템플릿과의 근사치 정도에 따라서 졸음운전 징후를 판단 및 인식하며 대응 경보조치를 발령하는 졸음운전 인식부와; 상기 졸음운전예방 템플릿 생성/저장부에서 생성한 졸음운전예방 템플릿을 상기 서비스서버로 전송하거나 상기 서비스서버로부터 개인화된 졸음운전예방 템플릿을 수신하고, 상기 졸음운전 인식부에서 졸음운전 진단을 위해 요구되는 개인화된 졸음운전진단 지능DB 정보를 상기 서비스서버에 요청하여 수신하며, 차량운행 상황정보를 상기 서비스서버에 송신하는 유무선통신부; 및 상기 단말장치를 통합 제어하고 상기 서비스서버와 연결하여 상기 단말장치가 운전자 개인화된 졸음운전예방 템플릿과 졸음운전진단 지능DB 정보를 유지하도록 관리하는 중앙 제어부를 포함하며; The terminal apparatus obtains and processes a drowsy driving surveillance image which performs a resolution conversion processing function so as to digitize the day and night surveillance camera for camera-based drowsy driving monitoring and the acquired driver's facial image and to generate and compare a drowsy driving prevention template. Wow; The multi-dimensional variable, which is the shape change of the individual eye components of the driver, corresponding to changing the projection angle and the distance of the camera for the drowsy driving monitoring by converting the image processed by the drowsy driving surveillance image acquisition / processing to the graphic according to the geometrical numerical information method A drowsy driving prevention template generating / storing unit for generating and storing a statement in a script syntax form of a geometrical numerical information method; Drowsiness operation monitoring drowsy operation by referring to the personalized drowsiness operation diagnosis intelligent DB received from the service server and the drowsiness operation prevention template generation / storage unit generated by the service server in response to environmental changes and stored in the personalized drowsiness operation prevention template DB The prevention template generation / storage compares and analyzes the amount of change in the driver's drowsy driving prevention template measured in real time during vehicle operation, and compares the difference with the drowsiness driving prevention template in the drowsy state or the drowsy driving prevention template in the drowsy driving state. A drowsy driving recognition unit for judging and recognizing the drowsy driving symptom according to an approximate degree and issuing a corresponding alarm measure; The drowsy driving prevention template generated by the drowsy driving prevention template generating / storage unit is transmitted to the service server or receives a personalized drowsy driving prevention template from the service server, and the drowsy driving recognition unit is required for diagnosis of drowsy driving A wired / wireless communication unit for requesting and receiving personalized drowsy driving diagnosis intelligent DB information from the service server and transmitting vehicle driving status information to the service server; And a central control unit for controlling and controlling the terminal device to maintain the drowsy driving prevention template and the drowsy driving diagnosis intelligent DB information, wherein the terminal device is connected to the service server. 상기 졸음운전 사고예방 서비스서버는 상기 단말장치에서 전송된 상기 개인화된 졸음운전예방 템플릿을 데이터베이스화하고 운행 중 차량에서 수집된 차량운행상황 정보와 운전자 개인의 운전습관 정보를 종합하여 상기 운전자의 졸음운전 감시환경 변화 또는 개인화된 졸음운전예방 템플릿 요소의 변화에 따라 상기 단말장치의 요구에 즉각적으로 해당 졸음운전예방 템플릿과 졸음운전진단지능정보를 상기 유무선 통신망을 통하여 전송 서비스하는 것을 특징으로 하는 개인화된 템플릿 기반의 지능형 졸음운전 감시시스템.The drowsy driving accident prevention service server makes a database of the personalized drowsy driving prevention template transmitted from the terminal device and combines the vehicle driving status information collected from the vehicle and the driving habit information of the individual driver while driving the drowsy driving of the driver. The personalized template, which transmits the drowsy driving prevention template and the drowsy driving diagnostic intelligence information through the wired / wireless network immediately according to the change of the monitoring environment or the personalized drowsy driving prevention template element. Intelligent drowsy driving monitoring system. 삭제delete 삭제delete 청구항 1에 있어서,The method according to claim 1, 단일 또는 다수 운전자를 대상으로 미리 비졸음 상태 또는 졸음상태에서의 개인화된 졸음운전예방 템플릿을 생성하고 상기 서비스서버에 DB화하는 졸음운전예방 템플릿생성 시뮬레이션장치를 추가로 포함하는 것을 특징으로 하는 개인화된 템플릿 기반의 지능형 졸음운전 감시시스템.Personalized drowsiness prevention template for generating a personalized drowsiness driving prevention template in a dormant state or drowsiness for a single or multiple drivers in advance and DB into the service server, characterized in that it further comprises a personalized device Template based intelligent drowsiness driving monitoring system. 청구항 4에 있어서,The method according to claim 4, 상기 졸음운전예방 템플릿생성 시뮬레이션장치는,The drowsy driving prevention template generation simulation device, 운전자와 차량에 장착될 카메라 위치와의 투사각 및 거리 변화에 따른 졸음운전예방 템플릿 생성을 위해 상기 차량운행상황 정보와 운전자 개인의 운전습관 정보를 종합하여 모형화하는 차량주행 시뮬레이션부;A vehicle driving simulation unit modeling the vehicle driving status information and the driver's personal driving habit information to generate a drowsy driving prevention template according to a change in projection angle and distance between a driver and a camera position to be mounted on a vehicle; 상기 차량주행 시뮬레이션부와 카메라 영상 기반의 졸음운전감시에 이용되는 졸음운전예방 템플릿 생성을 위한 운전자의 안면 영상 획득용 졸음운전감시 카메라와 획득된 영상을 디지털화하고 졸음운전예방 템플릿의 생성 및 비교할 수 있는 형태로 분해 변환처리기능을 수행하는 졸음운전예방 템플릿 영상획득/처리부;The drowsy driving monitoring camera for acquiring a face image of the driver for generating a drowsiness driving prevention template used for the drowsy driving monitoring based on the camera image and the camera image can be digitized and the generation and comparison of the drowsy driving prevention template Drowsiness operation prevention template image acquisition / processing unit performing a decomposition conversion processing function in the form; 상기 졸음운전예방 템플릿 영상획득/처리부에서 분해 변환처리된 영상을 졸음운전감시를 위한 카메라의 투사각도와 거리를 변화시켜가며 대응시킨 운전자 개인별 눈의 구성요소의 형상변화인 다차원 변수를 기하학적 수치정보 방식의 그래픽 명령문인 기하학적 수치정보 방식의 스크립트 구문형식으로 생성 및 저장하고, 보완적으로 영상패턴 형식으로도 저장하는 졸음운전예방 템플릿 생성/저장부; 및The image obtained / processed by the drowsy driving prevention template image acquisition / processing unit changes the projection angle and distance of the camera for the drowsy driving monitoring and changes the shape of the constituent elements of the individual driver's eyes by geometrical numerical information method. A drowsy driving prevention template generation / storage unit for generating and storing in the form of a script syntax of a geometrical numerical information method which is a graphic statement, and complementarily also storing in a video pattern format; And 상기 졸음운전예방 템플릿 생성/저장부와, 생성완료된 졸음운전예방 템플릿을 상기 서비스서버에 유무선통신망을 이용하여 전송하는 유무선통신부를 포함하는 것을 특징으로 하는 개인화된 템플릿 기반의 지능형 졸음운전 감시시스템.And a drowsy driving prevention template generation / storage unit and a wired / wireless communication unit for transmitting the generated drowsy driving prevention template to the service server using a wired / wireless communication network. 청구항 1 또는 5에 있어서,The method according to claim 1 or 5, 상기 다차원 변수는, 차량에 장착된 영상카메라의 투사각도와 거리를 변화시켜가며 대응시킨 해당 운전자 개인별 눈의 구성요소의 형상변화, 눈의 깜박임, 및 얼굴과 머리의 형상변화를 포함하며, The multi-dimensional variable includes changes in the shape of the eye components, blinking of the eyes, and shape of the face and the head corresponding to each driver by changing the projection angle and distance of the image camera mounted on the vehicle. 상기 눈의 구성요소의 형상변화는 눈의 개폐상태, 얼굴 및 머리각도 변화에 따른 눈 곡선의 형태, 동공 및 홍채의 위치, 시선 각, 눈썹 곡선의 형태, 코와 입의 곡선형태를 포함하는 것을 특징으로 하는 개인화된 템플릿 기반의 지능형 졸음운전 감시시스템.The shape change of the components of the eye includes the shape of the eye curve, the position of the pupil and iris, the eye angle, the shape of the eyebrow curve, and the shape of the nose and mouth according to the opening and closing state of the eye, the face and head angle changes. Intelligent drowsy driving monitoring system based on personalized template. 청구항 1 또는 5에 있어서,The method according to claim 1 or 5, 상기 기하학적 수치정보 방식의 스크립트 구문형식이란, 눈썹, 동공, 홍채, 눈꺼풀, 좌측 눈, 우측 눈, 코, 또는 입을 포함하는 눈 및 안면 구성요소를 표현하는 객체명과, 점, 선, 원, 호, 타원, 사각형, 또는 다각형을 포함하는 그래픽 특성과 이를 드로잉하기 위한 좌표, 각도, 크기 정보를 포함하는 기하학적 수치정보 방식의 그래픽 명령문을 의미하는 것을 특징으로 하는 개인화된 템플릿 기반의 지능형 졸음운전 감시시스템.The script syntax form of the geometric numerical information method includes an object name representing an eye and a face component including an eyebrow, a pupil, an iris, an eyelid, a left eye, a right eye, a nose, or a mouth, a dot, a line, a circle, an arc, An intelligent drowsy driving monitoring system based on a personalized template, characterized by a graphic statement including an ellipse, a rectangle, or a polygon, and a geometric numerical information method including coordinate, angle, and size information for drawing the same. 삭제delete 삭제delete 삭제delete 청구항 4에 있어서,The method according to claim 4, 상기 서비스 서버는,The service server, 유선통신망, 이동통신망, 휴대인터넷통신망, 또는 기타 무선통신망을 통하여 상기 단말장치와 실시간 양방향으로 접속하여 통신하는 유무선 통신부;A wired / wireless communication unit communicating with the terminal device in real time and bi-directionally through a wired communication network, a mobile communication network, a portable Internet communication network, or other wireless communication networks; 상기 졸음운전예방 템플릿생성 시뮬레이션장치(200)의 속성과 기능을 관리 및 제어하고 시뮬레이션 장치(200)에서 졸음운전예방 템플릿을 생성 및 등록할 수 있는 온라인 지원기능을 제공하는 졸음운전예방 템플릿 생성 시뮬레이션장치관리부;Drowsiness prevention template generation simulation device that manages and controls the properties and functions of the drowsiness prevention template generation simulation device 200 and provides an online support function to create and register the drowsiness operation prevention template in the simulation device 200 Management; 상기 단말장치의 속성과 ID를 등록, 관리 및 확인하고 상기 단말장치와 차량 주행 중 양방향 통신을 통한 실시간 졸음운전예방 템플릿, 졸음운전진단 지능DB 정보, 차량주행 상황정보를 교환하고, 상기 단말장치로의 졸음운전예방 콘텐츠 서비스를 가능하게 하는 응용계층의 통신프로토콜을 제어하는 지능형 졸음운전감시 단말장치 실시간관리부;Register, manage and confirm the attributes and ID of the terminal device, and exchange the real-time drowsy driving prevention template, the drowsy driving diagnosis intelligence DB information, and the vehicle driving status information through two-way communication with the terminal device. Intelligent drowsy driving monitoring terminal device real-time management unit for controlling the communication protocol of the application layer to enable the drowsy driving prevention content services of; 상기 단말장치로부터 수신되는 차량운행 상황정보, 운전자 개인의 운전성향정보와 상기 개인화된 졸음운전예방 템플릿DB 정보, 기타정보를 독립적으로 결합하여 가공처리하고 개인화된 졸음운전진단 지능DB에 저장, 갱신 및 유지하는 졸음운전 진단 지식가공부;The vehicle driving status information received from the terminal device, the driver's individual driving tendency information, the personalized drowsy driving prevention template DB information, and other information are independently processed to be processed and stored in the personalized drowsy driving diagnosis intelligent DB. Drowsy driving diagnostic knowledge processing unit to maintain; 상기 단말장치 또는 상기 생성시뮬레이션장치에서 생성되어 전송된 개인화된 졸음운전예방 템플릿을 등록된 운전자 개인별로 분류하고, 등록, 갱신, 및 저장하여 DB화 시키는 졸음운전예방 템플릿 등록관리부;A drowsy driving prevention template registration manager configured to classify, register, update, and store a personalized drowsiness driving prevention template generated and transmitted by the terminal device or the generation simulation device for each registered driver; 상기 단말장치로부터 요청된 졸음운전 감시환경 변화로 인한 새로운 졸음운전감시 매개변수에 대응되는 개인화된 졸음운전예방 템플릿DB 정보와 개인화된 졸음운전진단 지능DB 정보를 상기 단말장치에 제공하는 졸음운전예방 템플릿/진단 지능제공부; 및 Drowsy driving prevention template that provides personalized drowsy driving prevention template DB information and personalized drowsy driving diagnostic intelligence DB information corresponding to the new drowsy driving monitoring parameter due to the change of the drowsy driving monitoring environment requested by the terminal device. Diagnostic intelligence; And 상기 유무선 통신부, 졸음운전예방 템플릿생성 시뮬레이션장치관리부, 지능형 졸음운전감시 단말장치 실시간관리부, 졸음운전 진단 지식 가공부, 졸음운전예방 템플릿 등록관리부, 졸음운전예방 템플릿/진단 지능 제공부를 제어하고, 각 단말장치를 통합 및 연결하는 응용기능을 수행하는 서비스서버 중앙제어부를 포함하는 것을 특징으로 하는 개인화된 템플릿 기반의 지능형 졸음운전 감시시스템.The wired / wireless communication unit, drowsiness operation prevention template generation simulation device management unit, intelligent drowsiness operation monitoring terminal device real-time management unit, drowsiness operation diagnostic knowledge processing unit, drowsiness operation prevention template registration management unit, drowsiness operation prevention template / diagnostic intelligence providing unit, each terminal Intelligent drowsy driving monitoring system based on a personalized template, characterized in that it comprises a service server central control unit for performing application functions to integrate and connect the device.
KR1020090120490A 2009-12-07 2009-12-07 System of drowsy driving recognition based on the personalized template of a driver KR101005339B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020090120490A KR101005339B1 (en) 2009-12-07 2009-12-07 System of drowsy driving recognition based on the personalized template of a driver

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020090120490A KR101005339B1 (en) 2009-12-07 2009-12-07 System of drowsy driving recognition based on the personalized template of a driver

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020100088512A Division KR20110065304A (en) 2010-09-09 2010-09-09 System and method of drowsy driving recognition based on the personalized template of a driver

Publications (1)

Publication Number Publication Date
KR101005339B1 true KR101005339B1 (en) 2011-01-04

Family

ID=43615699

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020090120490A KR101005339B1 (en) 2009-12-07 2009-12-07 System of drowsy driving recognition based on the personalized template of a driver

Country Status (1)

Country Link
KR (1) KR101005339B1 (en)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180065333A (en) * 2016-12-07 2018-06-18 광주대학교산학협력단 The apparatus to prevent drowsiness while driving
JP2018183248A (en) * 2017-04-24 2018-11-22 アルパイン株式会社 Drowsiness determination device
CN113361553A (en) * 2020-03-06 2021-09-07 株式会社理光 Image processing method, image processing apparatus, storage medium, and system

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20050103662A (en) * 2004-04-27 2005-11-01 주식회사 케이티프리텔 Method and apparatus for preventing drowsiness driving
KR20070107373A (en) * 2006-05-03 2007-11-07 정양권 The intelligent safety driver management method and system

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20050103662A (en) * 2004-04-27 2005-11-01 주식회사 케이티프리텔 Method and apparatus for preventing drowsiness driving
KR20070107373A (en) * 2006-05-03 2007-11-07 정양권 The intelligent safety driver management method and system

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180065333A (en) * 2016-12-07 2018-06-18 광주대학교산학협력단 The apparatus to prevent drowsiness while driving
JP2018183248A (en) * 2017-04-24 2018-11-22 アルパイン株式会社 Drowsiness determination device
CN113361553A (en) * 2020-03-06 2021-09-07 株式会社理光 Image processing method, image processing apparatus, storage medium, and system
CN113361553B (en) * 2020-03-06 2024-02-02 株式会社理光 Image processing method, image processing apparatus, storage medium, and system

Similar Documents

Publication Publication Date Title
US11688203B2 (en) Systems and methods for providing visual allocation management
KR102305914B1 (en) Driving management methods and systems, in-vehicle intelligent systems, electronic devices, media
KR102297162B1 (en) Vehicle control methods and systems, in-vehicle intelligent systems, electronic devices, media
KR102391279B1 (en) Driving condition monitoring method and device, driver monitoring system and vehicle
CN111417990B (en) System and method for vehicle fleet management in a fleet of vehicles using driver-oriented imaging devices to monitor driver behavior
Kaplan et al. Driver behavior analysis for safe driving: A survey
US11526165B1 (en) Systems and methods for remotely controlling operation of a vehicle
US10339401B2 (en) System and methods of monitoring driver behavior for vehicular fleet management in a fleet of vehicles using driver-facing imaging device
JP7324716B2 (en) Information processing device, mobile device, method, and program
CN111989729B (en) Information processing apparatus, mobile apparatus, information processing system, method, and program
US20180072327A1 (en) Systems and methods for using an attention buffer to improve resource allocation management
CN112041910A (en) Information processing apparatus, mobile device, method, and program
US20140222245A1 (en) System and method for reducing driving skill atrophy
KR101276770B1 (en) Advanced driver assistance system for safety driving using driver adaptive irregular behavior detection
US20200213560A1 (en) System and method for a dynamic human machine interface for video conferencing in a vehicle
US10666901B1 (en) System for soothing an occupant in a vehicle
KR101005339B1 (en) System of drowsy driving recognition based on the personalized template of a driver
KR20110065304A (en) System and method of drowsy driving recognition based on the personalized template of a driver
CA3023698A1 (en) System and methods of monitoring driver behavior for vehicular fleet management in a fleet of vehicles using driver-facing imaging device
US11912307B2 (en) Monitoring head movements of drivers tasked with monitoring a vehicle operating in an autonomous driving mode
WO2021262166A1 (en) Operator evaluation and vehicle control based on eyewear data
US20240051585A1 (en) Information processing apparatus, information processing method, and information processing program
CN117227740B (en) Multi-mode sensing system and method for intelligent driving vehicle
Tahoor et al. Driver Drowsiness Detection for Safety Assistance

Legal Events

Date Code Title Description
A201 Request for examination
A302 Request for accelerated examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
A107 Divisional application of patent
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant
N231 Notification of change of applicant
FPAY Annual fee payment

Payment date: 20131224

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20141112

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20151228

Year of fee payment: 6

LAPS Lapse due to unpaid annual fee