KR101298197B1 - Vsdt rearview mirror for sleepiness prevention - Google Patents

Vsdt rearview mirror for sleepiness prevention Download PDF

Info

Publication number
KR101298197B1
KR101298197B1 KR20130016705A KR20130016705A KR101298197B1 KR 101298197 B1 KR101298197 B1 KR 101298197B1 KR 20130016705 A KR20130016705 A KR 20130016705A KR 20130016705 A KR20130016705 A KR 20130016705A KR 101298197 B1 KR101298197 B1 KR 101298197B1
Authority
KR
South Korea
Prior art keywords
driver
vsdt
unit
sensor
data
Prior art date
Application number
KR20130016705A
Other languages
Korean (ko)
Inventor
윤근진
Original Assignee
주식회사 자이언트스타
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 자이언트스타 filed Critical 주식회사 자이언트스타
Priority to KR20130016705A priority Critical patent/KR101298197B1/en
Priority to PCT/KR2013/006382 priority patent/WO2014126304A1/en
Application granted granted Critical
Publication of KR101298197B1 publication Critical patent/KR101298197B1/en

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K28/00Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions
    • B60K28/02Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver
    • B60K28/06Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver responsive to incapacity of driver
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/12Mirror assemblies combined with other articles, e.g. clocks
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K28/00Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions
    • B60K28/02Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K28/00Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions
    • B60K28/02Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver
    • B60K28/06Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver responsive to incapacity of driver
    • B60K28/066Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver responsive to incapacity of driver actuating a signalling device
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/02Rear-view mirror arrangements
    • B60R1/04Rear-view mirror arrangements mounted inside vehicle
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/20Scenes; Scene-specific elements in augmented reality scenes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/59Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/12Mirror assemblies combined with other articles, e.g. clocks
    • B60R2001/1253Mirror assemblies combined with other articles, e.g. clocks with cameras, video cameras or video screens
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/12Mirror assemblies combined with other articles, e.g. clocks
    • B60R2001/1276Mirror assemblies combined with other articles, e.g. clocks with radio receivers, loud-speakers or buzzers

Abstract

PURPOSE: A vehicle using speed data transmission (VSDT) room mirror having a function to prevent sleepiness is provided to arouse a driver's caution by judge a drive while drowsy and to efficiently prevent dangers of the drive while drowsy. CONSTITUTION: A VSDT room mirror having a function to prevent sleepiness comprises a VSDT control unit (100), an imaging unit (200), a sound output unit (300), a data storing unit (400), a sensor module (500), and a wireless communication unit (600). The VSDT control unit includes a sleepiness warning unit, a pattern comparing unit, a sleepiness detection unit, and an accident judging module. The imaging unit includes a camera (210), an optical sensor (220), an ultrasonic sensor (230), and an infrared sensor (240). The sound output unit delivers the sound to a driver by outputting the sound when the VSDT control unit outputs a warning signal for a drive while drowsy to the driver. The data storing unit determines images filmed by the imaging unit to a result value converted to the image data of the driver through the VSDT control unit. The sensor module includes a speed sensor, an acceleration sensor, an inclination sensor, and an oxygen detecting sensor. The wireless communication unit notifies to a server of related organization or insurance company if the vehicle is speeding or is in an accident. [Reference numerals] (100) VSDT control unit; (200) Imaging unit; (210) Camera; (220) Optical sensor; (230) Ultrasonic sensor; (240) Infrared sensor; (300) Sound output unit; (301) Sound output device; (400) Data storing unit; (500) Sensor module; (600) Wireless communication unit; (AA) Sleepiness warning unit; (BB) Pattern comparing unit; (CC) Sleepiness detecting unit; (DD) Accident determination module

Description

졸음 방지 기능을 구비하는 VSDT 룸 미러{VSDT rearview mirror for sleepiness prevention}VSDT rearview mirror for sleepiness prevention

본 발명은 졸음방지 기능을 구비하는 VSDT 룸미러에 관한 것으로, 보다 상세하게는 차량에 구비된 룸미러에 내장되는 촬상부를 통해 운전자의 졸음이 확인되면, 운전자에게 경고를 발생시키고, 발생된 경고에 대한 운전자의 반응을 유도하는 졸음방지 기능을 구비하는 VSDT룸미러에 관한 것이다.The present invention relates to a VSDT room mirror having a drowsiness prevention function, and more particularly, when the driver's drowsiness is confirmed through an imaging unit built in the room mirror provided in the vehicle, a warning is generated to the driver, It relates to a VSDT room mirror having a drowsiness prevention function to induce a driver's response to.

자동차는 인류의 이동시간 단축과 이동거리 향상, 두가지 목표를 가지고 발전해왔다. 이러한 자동차의 발전이 가져다준 이동성의 향상은 인류의 발전과 생활권의 확대와 아울러 생활의 수준까지 향상되는 결과를 가져왔으며, 자동차를 하나의 재산과 생활공간의 연장으로 인식함에 따라 자동차의 역할은 더욱 편안하고, 안전함을 원하게 되었다. Automobiles have evolved with two goals: reducing human travel time and improving distance. The improvement of mobility brought by the development of automobiles has resulted in the development of human beings and the expansion of living rights as well as the standard of living.As the automobile is recognized as an extension of property and living space, the role of automobiles is further increased. I wanted to be comfortable and safe.

최근 자동차의 발전은 IT산업과 접목되어 인간중심의 기술발전과 사고의 위험으로부터 보호하기 위해 발전되어왔다. 가령 운전자의 운전습관을 기억하여 엑셀레이터의 반응에 대한 엔진 rpm의 조정, 브레이크 타이밍 등을 데이터로 저장하고, 운전자에게 맞는 데이터값을 출력함에 따라 자동차의 특성을 운전자의 운전 성향에 맞추기도 하며, 자동차의 운행방향에 따른 차선을 감지하고, 진행 차선의 이탈 시 음성 등 경고음을 발생하여 사고의 위험으로부터 운전자를 보호하는 방법 등이 제시되고 있다.Recently, the development of automobiles has been developed to be connected with the IT industry to protect human-centered technological development and accident risk. For example, the driver's driving habits are memorized, and the engine rpm adjustment and brake timing for the accelerator's response are stored as data, and the data values suitable for the driver are output to adjust the characteristics of the vehicle to the driver's driving tendency. A method of detecting a lane according to the driving direction of the vehicle and generating a warning sound such as a sound when a departure of the progress lane is carried out has been proposed.

그러나 운전자의 안전과 안락함을 보장하기 위한 장치들이 운전자의 주의를 환기시키고, 운전집중도를 떨어트려, 운전자가 원인이 되는 사고를 유발하기도 한다. 이러한 사고중 졸음운전이 원인이 되어 발생하는 사고는 운전자가 사고순간 대처하지 못하고 발생하기 때문에 대형사고로 이어지는 경우가 많다. However, devices to ensure the driver's safety and comfort can draw attention to the driver, reduce the driver's concentration, and cause the driver to cause an accident. Accidents caused by drowsy driving during these accidents often lead to large-scale accidents because drivers do not cope with accidents.

이러한 문제에 대해 한국 공개특허 제 2011-0059019에서는 운전자가 졸음운전을 하는 경우를 판단하는 방법으로 운전자의 상태를 관찰하는 카메라와 주행하는 차선의 이탈을 감지하는 카메라부를 구비하고, 상기 카메라를 통해 운전자의 졸음을 단계별로 판단하거나, 차선의 이탈이 감지된 경우 상기 졸음을 판단한 단계에 따라 앞차와의 거리 등을 계산하여 졸음의 단계를 구분 짓는 방법을 제안한 바 있다.In this regard, Korean Patent Laid-Open Publication No. 2011-0059019 includes a camera for observing a driver's condition and a camera unit for detecting departure of a driving lane as a method of determining a case where a driver is drowsy driving, and the driver through the camera. According to the step of determining the drowsiness of step by step, or when the departure of the lane is detected, the method of distinguishing the stage of the drowsiness by calculating the distance with the front car according to the step of determining the drowsiness.

한국 공개특허 제 2011-0059019는 운전자의 졸음상태를 판단하고 운전자에게 경고를 취함으로써 졸음운전으로 인한 사고를 예방할 수 있다. 그러나 차량의 상태와 운전자의 피드백 없이 조건만으로 운전자의 상태를 판단하여, 운전자의 상태가 정상의 범위에 속하는 경우에도 졸음운전상태로 잘못된 판단을 하는 경우가 발생하고, 각기 다른 운전자에 따른 조건을 충족하지 못하며, 사고 발생시 졸음운전이 원이 되었는지를 판단하기 어렵다.Korean Laid-Open Patent Publication No. 2011-0059019 can prevent an accident due to drowsy driving by determining a drowsy state of a driver and warning the driver. However, if the driver's condition is judged only by the condition without the driver's condition and the driver's feedback, there is a case where the driver's condition falls into the normal range and the driver's drowsy driving state is wrong. It is difficult to determine whether drowsy driving is the cause of an accident.

본 발명의 목적은 운전자가 졸음운전을 하게 된 경우를 판단하여 운전자의 주의를 환기시킬 뿐만 아니라 졸음방지 기능을 구비한 룸미러에서 발생하는 경고에 대응하는 반응을 입력받아, 운전자에 따른 반응 기준값을 산출하고 저장, 비교하여, 운전자가 졸음운전의 위험으로부터 효율적으로 극복할 수 있도록 하는 방법을 제공함에 있다.An object of the present invention is to determine the case where the driver has a drowsy driving, not only to draw attention to the driver, but also to receive a response corresponding to a warning generated in a room mirror having a drowsiness prevention function, and to receive a response reference value according to the driver. By calculating, storing, and comparing, the present invention provides a method that enables the driver to effectively overcome the risk of drowsy driving.

상기 목적은 본 발명에 따라 음성출력 장치 및 하프미러를 구비하는 케이스에 수납되며, 상기 케이스에서 상기 하프미러 방향으로 촬상 방향이 설정된 촬상장치를 통해 운전자 영상을 획득하는 촬상부; 운전자에게 졸음운전 방지 및 졸음운전 상태를 탈출하도록 경고 음성을 출력하는 경고 음성 출력부; 차량의 속도, 가속도, 기울기 값 및 실내 산소량 중 적어도 하나를 검출하는 센서모듈; 상기 운전자 영상에서 안면을 감지하여 상기 안면에 대한 안면 영상을 추출하여 상기 운전자의 머리 움직임, 운전자 몸체 움직임, 및 안구 깜빡임 횟수 중 적어도 하나가 미리 설정된 기준 범위를 이탈 시, 상기 운전자를 졸음운전 상태인 것으로 판단하여 졸음운전 신호를 생성하고, 상기 음성 출력부로 상기 졸음운전 신호를 전달하여 경고 음성을 출력하도록 하며, 상기 센서모듈의 검출값을 토대로 차량의 과속, 충돌 여부 및 실내 산소량 중 적어도 하나를 판단하는 것을 특징으로 하는 VSDT 제어부; 상기 VSDT 제어부의 판단결과 차량이 과속하거나 충돌 발생 시, 이를 보험사서버 및 차량사고를 담당하는 관계기관 서버 중 어느 하나에 통보하는 무선통신부; 상기 차량의 과속, 충돌 여부 및 상기 촬상부에 의해 촬상된 안면영상에 대한 정보 중 적어도 하나를 저장하는 데이터 저장부;를 포함하며, 상기 VSDT 제어부는, 상기 운전자에 의한 응답음성이 상기 음성 출력부에서 출력된 경고 음성에 대응하지 않는 경우 상기 졸음운전 신호를 생성하고, 상기 센서모듈은, 초음파센서, 적외선센서, Multi-Tech센서, 산소량 검출 센서 중 적어도 하나를 포함하고, 상기 촬상부는, 상기 촬상부의 외주연을 따라 상기 초음파센서, 적외선센서 및 Multi-Tech센서 중 적어도 하나가 1개 내지 20개 배열되는 졸음 감지 기능을 구비하는 VSDT 룸미러에 의해 달성된다. According to an aspect of the present invention, an object is accommodated in a case including an audio output device and a half mirror, and an imaging unit for acquiring a driver image through an imaging device in which an imaging direction is set in the half mirror direction in the case; A warning voice output unit configured to output a warning voice to prevent a drowsy driving state and escape from a drowsy driving state to a driver; A sensor module for detecting at least one of a speed, an acceleration, an inclination value, and an indoor oxygen amount of the vehicle; When the face image is detected from the driver image, the face image of the face is extracted, and when at least one of the head movement, the driver body movement, and the number of eye blinks of the driver deviates from a preset reference range, the driver is in a drowsy driving state. Generate a drowsy driving signal and transmit the drowsy driving signal to the voice output unit to output a warning voice, and determine at least one of the vehicle's speeding, collision, and indoor oxygen amount based on the detection value of the sensor module. VSDT control unit, characterized in that; A wireless communication unit for notifying any one of an insurance company server and a related agency server in charge of a vehicle accident when the vehicle speeds or crashes as a result of the determination of the VSDT controller; And a data storage unit for storing at least one of information about a speed of the vehicle, whether there is a collision, and information about a face image captured by the imaging unit, wherein the VSDT control unit includes a response voice by the driver. When not corresponding to the warning sound output from the generation of the drowsy driving signal, the sensor module, at least one of the ultrasonic sensor, infrared sensor, Multi-Tech sensor, oxygen amount detection sensor, the imaging unit, At least one of the ultrasonic sensor, the infrared sensor, and the multi-tech sensor along the negative outer circumference is achieved by a VSDT room mirror having a drowsiness detection function in which 1-20 are arranged.

본 발명에 따르면, 운전자가 졸음운전을 하게 될 경우 운전자에게 피드백을 요구함에 따라 운전자의 주의를 환기 키기고, 졸음운전으로 인한 대형사고의 발생을 예방할 수 있다. According to the present invention, when the driver makes a drowsy driving, the driver's attention can be aroused by requesting feedback from the driver, and a large accident caused by the drowsy driving can be prevented.

도 1은 본 발명의 일 실시 예에 따른졸음 방지 기능을 구비하는 VSDT 룸 미러에 대한 개념도를 도시한다.
도 2는 본 발명의 일 실시예에 따른 졸음 방지 기능을 구비하는 VSDT 룸 미러를 도시한다.
도 3은 본 발명의 일 실시예에 따른 졸음 방지 기능을 구비하는 VSDT 룸 미러, 보험사 서버 및 관계기관 서버의 접속 관계에 대한 개략적인 개념도를 도시한다.
도 4는 본 발명의 일 실시예에 따른 졸음방지 기능을 구비하는 VSDT 룸 미러의 운전자 대응 예시도를 도시한다.
도 5는 본 발명의 실시예에 따른 졸음 방지 기능을 구비하는 VSDT 룸 미러의 블록개념도를 도시한다.
도 6은 본 발명의 실시예에 따른 졸음 방지 기능을 구비하는 VSDT 룸 미러의 흐름도를 도시한다.
도 7은 본 발명의 일 실시예에 따른 졸음방지 기능을 구비하는 VSDT 룸 미러에 대한 사시도를 도시한다.
도 8은 본 발명의 일 실시예에 따른 졸음방지 기능을 구비하는 VSDT 룸 미러에 대한 산소 검출량에 따른 공기순환 예시도를 도시한다.
1 is a conceptual diagram illustrating a VSDT room mirror having a drowsiness preventing function according to an embodiment of the present invention.
2 illustrates a VSDT room mirror having a sleepiness prevention function according to an embodiment of the present invention.
3 is a schematic conceptual diagram of a connection relationship between a VSDT room mirror having a drowsiness prevention function, an insurance company server, and a related agency server according to an embodiment of the present invention.
4 is an exemplary driver response diagram of a VSDT room mirror having a drowsiness preventing function according to an embodiment of the present invention.
5 is a block diagram of a VSDT room mirror having a sleepiness prevention function according to an embodiment of the present invention.
6 shows a flowchart of a VSDT room mirror having a drowsiness prevention function according to an embodiment of the present invention.
7 illustrates a perspective view of a VSDT room mirror having a drowsiness preventing function according to an embodiment of the present invention.
8 illustrates an example of air circulation according to an oxygen detection amount for a VSDT room mirror having a drowsiness prevention function according to an embodiment of the present invention.

본 명세서에서 언급하는 VSDT는, Vehicle using Speed Data Transmission의 약자로서, 차량의 속도정보를 관계기관 서버나 보험사 서버로 전송하는 전송 장치를 지칭할 수 있다. 그러나 이는 운전자의 졸음운전을 방지함으로써 차량 사고 감소에 기여한다는 측면에서 기재된 것으로 이 외에, VSDT 장치는 차량 충돌사고 및 차량 전복사고를 보험사 서버나 관계기관 서버로 제공하는 기능을 구비할 수 있다. VSDT, referred to herein, stands for Vehicle using Speed Data Transmission, and may refer to a transmission device that transmits vehicle speed information to a related agency server or an insurance company server. However, this has been described in terms of contributing to the reduction of vehicle accidents by preventing the driver's drowsy driving, and in addition to this, the VSDT device may have a function of providing a vehicle crash accident and a vehicle rollover accident to an insurance company server or a related agency server.

여기서, 관계기관 서버는, 경찰청 서버 및 112나 119와 같은 교통사고 접수처리 기관의 서버를 의미할 수 있으며, 이 외에도, 각 나라별로 교통사고를 접수 처리하는 기관의 서버를 의미할 수 있다. 다만 한정하지는 않는다.Here, the related agency server may mean a server of a police agency server and a traffic accident reception processing institution such as 112 or 119, and in addition, it may mean a server of an agency that receives and handles traffic accidents for each country. However, it is not limited.

본 명세서에서 언급되는 센서 네트워크는 센서가 센서 값을 무선 전송하도록 구성되는 무선 네트워크를 지칭할 수 있다. 센서 네트워크에 의해 차량에 장착되는 센서(예컨대, 속도 센서, 충격감지 센서 및 기울기 감지 센서)는 무선으로 센서 값을 외부로 송신할 수 있다. The sensor network referred to herein may refer to a wireless network where a sensor is configured to wirelessly transmit sensor values. Sensors (eg, speed sensors, shock sensors, and tilt sensors) mounted to a vehicle by the sensor network may wirelessly transmit sensor values to the outside.

본 명세서에서 언급되는 차량은, 버스, 트럭, 승합차 및 승용차 중 어느 하나를 지칭할 수 있다. The vehicle referred to herein may refer to any one of a bus, a truck, a van and a passenger car.

본 명세서에서 언급되는 음편은 음성 파형이 주어지게 되면, 지정된 매 시간(본 명세서에서는 1/100초 내지 1/10초)단위로 그 시점에 있는 약 0.02초 내지 0.2초 정도 길이의 음성 파형을 의미할 수 있다.When the sound wave referred to in the present specification is given to a sound waveform, it means a sound waveform having a length of about 0.02 seconds to 0.2 seconds at that point in time every designated time (1/100 second to 1/10 second in the present specification). can do.

이하, 도면을 참조하여 본 발명을 상세히 설명하도록 한다.Hereinafter, the present invention will be described in detail with reference to the drawings.

도 1은 본발명의 일 실시 예에 따른 졸음 방지 기능을 구비하는 VSDT 룸 미러에 대한 개념도를 도시한다.1 is a conceptual diagram illustrating a VSDT room mirror having a drowsiness preventing function according to an embodiment of the present invention.

도1을 참조하면, 차량의 운행을 위해 차량의 전원을 인가할 때, 졸음 방지 기능을 구비하는 VSDT 룸 미러(50)가 동작을 수행할 수 있다. 졸음 방지 기능을 구비하는 VSDT 룸 미러(50)에 내장된 촬상부(200)에서 촬상된 이미지를 제어부(100)가 전달받아, 촬상된 이미지에서 운전자의 탑승확인(운전자 존재 여부), 운전자의 머리 위치, 눈꺼풀의 위치, 운전자 몸체 위치 등을 판단할 수 있는 이미지 데이터를 생성한다. 여기서 제어부(100)는 운전자가 운행을 시작한 것을 판단하는 기준으로, 자동차의 ECU와 같은 자동차제어부에서 출발을 알리는 신호를 전달받거나, 운전자가 자동차를 운행하기 위하여 자동차의 전원을 ON의 상태로 전환하였을 경우. 차량 전원부와 연결된 졸음 방지 기능을 구비하는 VSDT 룸 미러(50)의 전원부로 전원이 인가되었을 경우, 졸음 방지 기능을 구비하는 VSDT 룸 미러(50)에 내장된 GPS가 이동을 감지하여 자동차의 움직임이 확인된 경우 중 어느 하나에 해당하는 경우에 운전자가 운행을 시작한 상태로 판단할 수 있다.Referring to FIG. 1, when the vehicle is powered for driving of the vehicle, the VSDT room mirror 50 having a sleepiness prevention function may perform an operation. The controller 100 receives an image captured by the imaging unit 200 embedded in the VSDT room mirror 50 having a drowsiness prevention function, and checks the driver's boarding (whether the driver is present) or the head of the driver in the captured image. Generates image data to determine the position, eyelid position, driver body position, and the like. Herein, the control unit 100 receives a signal indicating a departure from an automobile control unit such as an ECU of a vehicle as a reference for determining that the driver has started driving, or the driver has switched the power of the vehicle to the ON state to drive the vehicle. Occation. When power is applied to the power supply unit of the VSDT room mirror 50 having the drowsiness prevention function connected to the vehicle power supply unit, the GPS built into the VSDT room mirror 50 having the drowsiness prevention function detects the movement and the movement of the vehicle is prevented. In any case, the driver may determine that the driver has started driving.

자동차의 움직임이 확인되면, 촬상부(200)는 운전자의 눈꺼풀의 깜빡임, 안면의 움직임, 몸체의 움직임 중 어느 하나를 감지하고, 촬상한 이미지를 제어부(100)로 전송할 수 있다. 여기서 촬상부(200)는 운전자의 눈꺼풀의 움직임과 머리의 움직임, 운전자 몸체 움직임 중 어느 하나에 해당되는 움직임을 촬상하기 위한 방법으로 카메라의 초점을 단초점렌즈, 다초점렌즈 중 어느 하나에 해당되는 렌즈를 구비하고, 운전자의 앉은키에 따라 운전자의 안면, 몸체, 눈꺼풀에 초점을 맞출 수 있다.When the movement of the vehicle is confirmed, the imaging unit 200 may detect any one of flickering of the driver's eyelid, facial movement, and body movement, and transmit the captured image to the controller 100. Here, the imaging unit 200 is a method for capturing a movement corresponding to any one of the movement of the eyelid, the movement of the head of the driver, and the movement of the driver's body, so that the focus of the camera corresponds to any one of a short focal lens and a multifocal lens. A lens can be provided and the driver's face, body and eyelids can be focused according to the driver's sitting height.

제어부(100)는 촬상부(200)에 의해 촬상된 눈꺼풀의 움직임과 머리의 움직임, 이미지 데이터를 좌표값으로 컨버팅하여, 데이터 저장부(400)부로 컨버팅된 결과값을 보낼 수 있다. 데이터 저장부(400)에 저장된 데이터는 단위시간당 운전자 눈꺼풀 움직임의 값, 머리 움직임의 좌표값, 운전자 몸체 움직임의 좌표값 중 어느 하나에 해당 될 수 있으며, 데이터 저장부(400)에 저장된 운전자 데이터를 바탕으로 제어부(100)는 운전자 눈꺼풀 움직임의 주기값, 머리 움직임 좌표값의 평, 몸체움직임 좌표값의 평균값을 산출해낼 수 있다. 산출된 눈꺼풀 움직임의 주기값, 머리 움직임의 평균값, 몸체 움직임의 평균값은 각 운전자별로 별도의 데이터로 데이터 저장부(400)에 저장될 수 있으며, 저장된 데이터를 기준으로 실제 운전자 눈꺼풀의 깜빡이는 주기와 저장된 눈꺼풀 움직임의 주기값을 비교하거나 또는 실제 운전자의 머리 움직임의 좌표값과 저장된 머리 움직임의 평균, 실제 운전자의 몸체 움직임의 좌표값과 저장된 몸체 움직임의 평균 중 어느 하나를 비교하여 운전자의 졸음운전 상태를 판단하는 기준으로 사용될 수 있다.The controller 100 may convert the movement of the eyelid, the movement of the head, and the image data captured by the imaging unit 200 to coordinate values, and may transmit the converted value to the data storage unit 400. The data stored in the data storage unit 400 may correspond to any one of a driver eyelid movement value, a head movement coordinate value, a driver body movement coordinate value per unit time, and the driver data stored in the data storage unit 400. The controller 100 may calculate the average value of the driver's eyelid movement period value, the head movement coordinate value plane, and the body movement coordinate value. The calculated period value of the eyelid movement, the average value of the head movement, the average value of the body movement can be stored in the data storage unit 400 as separate data for each driver, and based on the stored data and the blinking cycle of the actual driver's eyelid The driver's drowsy driving state by comparing the periodic value of the stored eyelid movement or by comparing the coordinate of the actual driver's head movement with the average of the stored head movement, the coordinate of the actual driver's body movement and the average of the stored body movement. Can be used as a criterion for determining

여기서 운전자 눈꺼풀 깜빡임의 주기 값은 1초 내치 180초당 깜빡이는 횟수일 수 있고, 머리 움직임과 몸체 움직임의 평균값은 X축의 평균값과 Y축의 평균값으로 각각 저장될 수 있다.Here, the cycle value of the driver's eyelid blinking may be the number of blinks per 1 second to 180 seconds, and the average value of the head movement and the body movement may be stored as the average value of the X axis and the average value of the Y axis, respectively.

상기 제어부(100)의 판단에 따라 운전자가 졸음운전 상태라고 판단되었을 경우 제어부(110)는 운전자에게 음성 경고음을 전달할 수 있다. 여기서 음성 경고음은 운전자의 가청 주파수 범위에 속하며, 운전자 자신의 육성이 녹음된 경고 멘트, 미리 녹음된 음성 경고 멘트, 전자경고음, 긴급상황을 알리는 경고음, 자동차 경음기 중 어느 하나에 해당 될 수 있으며, 음성 경고음에 대응하는 운전자 반응이 마이크(130)를 통해 운전자의 음성신호가 전달될 경우 제어부(400)는 운전자가 졸음운전 상태가 아님을 판단할 수 있다. 여기서 운전자 음성신호는 운전자의 육성신호인 경우를 지칭할 수 있으며, 음성 경고음에 대응하는 운전자 반응의 판단은 제어부가 미리 녹음된 운전자의 육성음, 경고 단어 재생음, 경고 문장 재생음 중 어느 하나에 대한 패턴을, 운전자가 반응하는 육성음과 1/10초 내지 1/100초의 시간에 해당하는 음편을 비교하여 정확도가 50% 내지 100% 일 경우 정상상태로 판단할 수 있다.When it is determined that the driver is a drowsy driving state according to the determination of the controller 100, the controller 110 may transmit a voice warning sound to the driver. Here, the voice warning sound belongs to the driver's audible frequency range, and the driver's own voice may correspond to any one of the recorded warning message, the pre-recorded voice warning message, the electronic warning sound, the emergency warning sound, and the car horn. When the driver's response corresponding to the warning sound is transmitted to the driver through the microphone 130, the controller 400 may determine that the driver is not a drowsy driving state. Here, the driver's voice signal may refer to a case in which the driver's voice is raised, and the determination of the driver's response corresponding to the voice warning sound may be performed by the control unit. By comparing the sound sound corresponding to the driver's response with the sound corresponding to the time of 1/10 seconds to 1/100 seconds, it can be determined as the normal state when the accuracy is 50% to 100%.

운전자가 음성 경고음에 대응하는 반응이 마이크(130)를 통해 음성신호를 전달받지 못한 경우, 제어부(100)는 운전자가 졸음운전 상태라고 판단하고 음성출력부(300)를 통한 경고 신호를 전송하게 된다.When the driver does not receive a voice signal through the microphone 130 in response to the voice warning sound, the controller 100 determines that the driver is drowsy driving state and transmits a warning signal through the voice output unit 300. .

여기서 음성출력부(300)를 통한 운전자 경고 음성은 운전자의 선택에 따라 음성신호, 전자적 신호, 기계적 신호 중 어느 하나에 해당 될 수 있다. 여기서 경고 음성의 송출은 운전자의 음성이 담긴 사용자 음성경고 신호, 미리 설정된 음성경고 신호, 차량의 크락션이 울리는 크락션 경고 신호 중 어느 하나에 해당 될 수 있으며, 전자적 신호의 송출은 헤드업디스플레이로 경고 영상 송출, 차량 디스플레이 장치로 경고 영상 송출, 차량에 구비된 비상등 점멸신호 송출 중 어느 하나에 해당될 수 있다. 또한 기계적 신호는 스티어링 휠의 진동신호, 시트의 진동신호 중 어느 하나에 해당 될 수 있다.Here, the driver warning voice through the voice output unit 300 may correspond to any one of a voice signal, an electronic signal, and a mechanical signal according to the driver's selection. Here, the transmission of the warning voice may correspond to any one of a user voice warning signal containing a driver's voice, a preset voice warning signal, and a crash warning signal in which the vehicle's crash occurs, and the transmission of the electronic signal is a warning image through the head-up display. It may correspond to any one of the transmission, the warning image transmission to the vehicle display device, the emergency light flashing signal transmission provided in the vehicle. In addition, the mechanical signal may correspond to any one of the vibration signal of the steering wheel, the vibration signal of the seat.

음성출력부(300)를 통한 졸음운전 경고 신호에 대응하는 운전자의 반응은 운전자의 육성 신호, 스티어링 휠의 터치신호, 기어봉의 터치신호, 운전석 제어부의 터치신호 중 어느 하나에 해당하는 경우를 지칭할 수 있으며, 운전자의 반응이 없는 경우 제어부(100)는 운전자가 졸음운전을 수행하고 있다고 판단하여, 음성출력부(300)를 통한 졸음운전 경고 신호를 복합적으로 전송할 수 있다.The driver's response to the drowsy driving warning signal through the voice output unit 300 may refer to a case corresponding to any one of a driver's development signal, a touch signal of a steering wheel, a touch signal of a gear rod, and a touch signal of a driver's seat controller. If there is no driver's response, the controller 100 determines that the driver is performing a drowsy driving, and may transmit a drowsy driving warning signal through the voice output unit 300.

도 2는 본 발명의 일 실시예에 따른 졸음 방지 기능을 구비하는 VSDT 룸 미러를 도시한다.2 illustrates a VSDT room mirror having a sleepiness prevention function according to an embodiment of the present invention.

도 2를 참조하면, 촬상부(200)를 통한 운전자의 머리 좌표와 몸체의 좌표, 눈꺼풀 움직임을 감지하는 방법을 도시한다. 여기서 운전자의 눈꺼풀 움직임의 감지는 카메라(210)에서 촬상된 영상에서 운전자의 눈꺼풀 위치확인을 위한 초점을 맞추고, 촬상된 이미지에서 눈꺼풀의 위치가 확인되면 눈꺼풀의 깜빡임을 감지하기 위하여 초당 16프레임 내지 100프레임으로 촬상을 할 수 있다. 이때 촬상된 이미지에서 윗눈꺼풀과 아래 눈꺼풀의 간격값을 추출하기 위하여 VSDT 제어부(100)로 촬상된 이미지를 전송하여 윗눈꺼풀과 아래 눈꺼풀의 간격값을 추출해낼 수 있다.Referring to FIG. 2, a method of detecting a head coordinate, a body coordinate, and an eyelid movement of a driver through the imaging unit 200 is illustrated. Here, the detection of the eyelid movement of the driver focuses on the position of the driver's eyelid in the image captured by the camera 210, and when the position of the eyelid is confirmed in the captured image, the frame is detected at 16 frames per second to 100 blinks per second. Imaging can be performed with a frame. In this case, in order to extract an interval value between the upper and lower eyelids from the captured image, the captured image may be transmitted to the VSDT controller 100 to extract an interval value between the upper and lower eyelids.

여기서 추출된 눈꺼풀의 간격값은 데이터 저장부(400)에 저장될 수 있다. 저장된 눈꺼풀의 간격값은 주기값을 산출하기 위한 기초 데이터로 활용되어 VSDT 제어부(100)에서 운전자의 눈꺼풀 깜빡임 주기값을 계산할 수 있다. 여기서 운전자 눈꺼풀 깜빡임 주기는 1초 내치 180초당 깜빡이는 횟수일 수 있으며, 산출된 운전자 눈꺼풀 깜빡임 주기값에서 평균 주기값을 산출하여 운전자의 눈꺼풀 깜빡임의 기준으로 활용할 수 있다.The interval value of the extracted eyelid may be stored in the data storage 400. The stored interval value of the eyelid may be used as basic data for calculating the period value, and the VSDT controller 100 may calculate the eyelid blinking period value of the driver. Here, the driver eyelid blinking cycle may be the number of blinks per 1 second within 180 seconds, and the average period value may be calculated from the calculated driver eyelid blinking cycle value and used as a criterion of the driver's eyelid blinking.

운전자의 머리 좌표는 카메라를 통해 촬상된 이미지에서 운전자의 안면의 위치를 추출하여 좌,우의 움직임값 및 전,후의 움직임 값을 추출해 낼 수 있다.The head coordinates of the driver may extract the position of the driver's face from the image captured by the camera to extract the left and right movement values and the front and rear movement values.

여기서 운전자 안면의 위치 추출은 카메라를 통해 촬상된 이미지를 전달받은 VSDT 제어부(100)에서 운전자의 안면의 위치를 추출하고, 추출된 안면 위치값의 X축 방향의 중심점을 운전자 안면 위치 좌표값, 안면 위치값의 Y축 방향의 중심점을 운전자 안면위치 좌표값으로 선택하여 운전자 안면 위치 좌표값(X축, Y축)을 산출할 수 있으며, 산출된 운전자의 안면위치 좌표값(X축, Y축)을 2회 내지 30회 산출하고, 산출된 좌표값(X축, Y축)의 평균 좌표값을 산출하여 운전자 안면 위치 기준 좌표값을 계산하여 적용할 수 있다. Here, the position extraction of the driver's face extracts the position of the driver's face from the VSDT controller 100 receiving the image captured by the camera, and uses the center point in the X-axis direction of the extracted face position value as the driver's face position coordinate value and face. The driver's face position coordinate values (X-axis, Y-axis) can be calculated by selecting the center point in the Y-axis direction of the position value as the driver's face position coordinate value, and the calculated face position coordinate values (X-axis, Y-axis) of the driver May be calculated 2 to 30 times, the average coordinate value of the calculated coordinate values (X-axis, Y-axis) is calculated, and the driver's face position reference coordinate value may be calculated and applied.

또한 운전자의 몸체 좌표는 카메라를 통해 촬상된 이미지에서 운전자의 몸체 위치를 추출하여 좌,우의 움직임값 및 전,후의 움직임 값을 추출해 낼 수 있다.In addition, the body coordinates of the driver may extract the left and right movement values and the front and rear movement values by extracting the position of the driver's body from the image captured by the camera.

여기서 운전자 몸체의 위치 추출은 카메라를 통해 촬상된 이미지를 전달받은 VSDT 제어부(100)에서 운전자 몸체의 위치를 추출하고, 추출된 몸체 위치값의 X축 방향의 중심점을 운전자 몸체 위치 X축 좌표값, 몸체 위치값의 Y축 방향의 중심점을 운전자 몸체 위치 Y축 좌표값으로 선택하여 운전자 안면 위치 좌표값(X축, Y축)을 산출할 수 있으며, 산출된 운전자의 몸체 위치 좌표값(X축, Y축)을 2회 내지 30회 산출하고, 산출된 좌표값(X축, Y축)의 평균 좌표값을 산출하여 운전자 몸체 위치 기준 좌표값으로 적용할 수 있다. Here, the position extraction of the driver body extracts the position of the driver body from the VSDT control unit 100 that has received the image captured by the camera, and the center point of the extracted body position value in the X axis direction of the driver body position X axis coordinate value, The driver's face position coordinate value (X axis, Y axis) can be calculated by selecting the center point in the Y axis direction of the body position value as the driver body position Y axis coordinate value, and the calculated body position coordinate values (X axis, Y-axis) may be calculated 2 to 30 times, and the average coordinate value of the calculated coordinate values (X-axis, Y-axis) may be calculated and applied as the driver's body position reference coordinate value.

도 3은 본 발명의 일 실시예에 따른 졸음 방지 기능을 구비하는 VSDT 룸 미러(50) 장치, 보험사 서버 및 관계기관 서버의 접속 관계에 대한 개략적인 개념도를 도시한다. 3 is a schematic conceptual diagram of a connection relationship between a VSDT room mirror 50 device having an drowsiness preventing function, an insurance company server, and a related institution server according to an embodiment of the present invention.

도 3을 참조하면, 실시예에 따른 졸음 방지 기능을 구비하는 VSDT 룸 미러(50)는 차량 내부 전면 유리에 장착되는 것으로서, 차량의 속도정보 및 위치정보를 포함하는 차량 신고정보를 생성하고 이동통신 기지국(60)을 통해 생성된 사고정보를 관계기관 서버(70) 또는 보험사 서버(80)로 제공할 수 있다. Referring to FIG. 3, the VSDT room mirror 50 having a drowsiness prevention function according to an embodiment is mounted on a vehicle front windshield, and generates vehicle notification information including speed information and location information of a vehicle and performs mobile communication. The accident information generated through the base station 60 may be provided to the related institution server 70 or the insurance company server 80.

졸음 방지 기능을 구비하는 VSDT 룸 미러(50)는 이동통신 기지국(60)과 무선 데이터 통신을 수행하기 위해 무선통신부를 내장할 수 있다. 내장되는 무선통신부는 한국 및 미국의 경우 CDMA 통신기기일 수 있고, 유럽의 경우, GSM 통신기기일 수 있다. 내장되는 무선 통신부는,The VSDT room mirror 50 having a sleepiness prevention function may include a wireless communication unit to perform wireless data communication with the mobile communication base station 60. The embedded wireless communication unit may be a CDMA communication device in Korea and the United States, and may be a GSM communication device in Europe. The built-in wireless communication unit,

1) 차량에 사고가 충돌사고가 발생하거나, 1) An accident or collision with the vehicle

2) 차량에 전복사고가 발생하거나, 2) A vehicle rollover accident occurs,

3) 차량이 과속으로 기준횟수(예컨데 1회 내지 20회) 이상 주행할 때,3) When the vehicle travels more than the standard number of times (eg 1 to 20 times) at speed

관계기관 서버(70)로 통보하거나, 보험사 서버(80)로 통보할 수 있다.The related organization server 70 may be notified or the insurance company server 80 may be notified.

여기서, 1) 내지 3)은 차량 자체에 대한 사고를 통보하는 것을 나타내고 있으며, 졸음 방지 기능을 구비하는 VSDT 룸 미러(50)에서 운전자의 졸음운전이 감지되고, 사고가 발생할 경우 데이터 저장부(400)에 저장된 졸음운전 데이터를 기준으로 사고의 원인에 대한 정보를 제공하고, 원천적으로 졸음운전으로 인해 발생되는 사고를 예방할 수 있다.Here, 1) to 3) indicate that the vehicle is notified of an accident, the driver's drowsy driving is detected in the VSDT room mirror 50 having a drowsiness prevention function, and when an accident occurs, the data storage unit 400 It provides information on the cause of an accident based on drowsy driving data stored in), and can prevent accidents caused by drowsy driving.

도 4는 본 발명의 일 실시예에 따른 졸음방지 기능을 구비하는 VSDT 룸 미러의 운전자 대응 예시도를 도시한다.4 is an exemplary driver response diagram of a VSDT room mirror having a drowsiness preventing function according to an embodiment of the present invention.

도 4를 참조하면 카메라(210)가 운전자의 머리 움직임, 안구의 움직임, 운전자 몸체 움직임 중 어느 하나를 감지하는 범위의 예시일 수 있다. 운전자의 몸체와 머리 전체를 범위로 설정하고 운전자의 움직임에 따라 카메라(210)의 초점이 맞춰지며, 운전자 눈꺼풀의 깜빡임, 운전자 머리의 움직임, 운전자의 몸체 움직임 중 어느 하나를 촬상할 수 있다.Referring to FIG. 4, the camera 210 may be an example of a range in which any one of the driver's head movement, eyeball movement, and driver body movement is detected. The entire body of the driver and the head is set in a range, and the camera 210 is focused according to the movement of the driver, and any one of flickering of the driver's eyelid, movement of the driver's head, and movement of the driver's body can be captured.

여기서 찰상된 이미지를 바탕으로 운전자의 눈꺼풀의 깜빡임 기준 데이터, 머리 움직임 기준 데이터, 몸체 움직임 기준 데이터 중 어느 하나의 기준 범위를 벗어난 경우 VSDT제어부는 운전자를 졸음운전 상태로 인식하고 운전자에게 경고 음성을 송출할 수 있다. 여기서 운전자가 경고 음성에 대한 적절한 대응이 없을 경우 음성신호의 출력레벨이 이전 출력 대비 증가할 수 있으며, 운전자의 반응이 있을경우 졸음운전 상태를 탈출한 것으로 인식할 수 있다.If the driver's eyelid flickering reference data, head movement reference data, or body movement reference data is outside the reference range based on the scratched image, the VSDT control unit recognizes the driver as drowsy driving status and sends a warning sound to the driver. can do. Here, when the driver does not have a proper response to the warning voice, the output level of the voice signal may increase compared to the previous output, and when the driver reacts, it may be recognized that the driver has escaped the drowsy driving state.

도 5는 실시예에 따른 졸음 방지 기능을 구비하는 VSDT 룸 미러의 블록개념도를 도시한다. 5 is a block diagram of a VSDT room mirror having a drowsiness preventing function according to an embodiment.

도 5를 참조하면, VSDT 제어부(100), 촬상부(200), 음성출력부(300), 데이터 저장부(400), 센서모듈(500), 무선 통신부(600)을 구비한다.Referring to FIG. 5, a VSDT controller 100, an imaging unit 200, an audio output unit 300, a data storage unit 400, a sensor module 500, and a wireless communication unit 600 are provided.

제어부(100)는 졸음 경고부, 패턴비교부, 졸음검출부, 사고 판단모듈을 구비한다.The control unit 100 includes a drowsiness warning unit, a pattern comparison unit, a drowsiness detection unit, and an accident determination module.

촬상부(200)는 카메라(210), 광센서(220), 초음파센서(230), 적외선센서(240)를 구비한다.The imaging unit 200 includes a camera 210, an optical sensor 220, an ultrasonic sensor 230, and an infrared sensor 240.

카메라(210)는 운전자의 이미지를 촬상하는 카메라로 100만 내지 500만화소의 픽셀로 촬상할 수 있으며, 5단계로 초점 조절이 가능할 수 있다.The camera 210 is a camera for capturing an image of a driver, and may capture 1 million to 5 million pixels of pixels, and the focus may be adjusted in five steps.

카메라(210)의 초점은 단초점 렌즈의 경우, 운전자의 몸체, 운전자의 머리, 운전자 눈꺼풀 중 어느 하나를 기준으로 설정될 수 있으며 다초점 렌즈의 경우 운전자의 운전자의 몸체, 운전자의 머리, 운전자 눈꺼풀을 모두 초점으로 잡을 수 있다.The focus of the camera 210 may be set based on any one of the driver's body, the driver's head, and the driver's eyelid in the case of the short focus lens, and the driver's driver's body, the driver's head, and the driver's eyelid in the case of the multifocal lens. You can focus all of them.

카메라(210)의 둘레를 따라 등간격 배열되며, 광센서(220), 초음파센서(230), 적외선센서(240)중 어느 하나의 센서를 구비하여 카메라(210)가 운전자의 이미지를 촬상할 수 없는 경우(가령 조도가 낮아 운전자의 식별이 어려운 경우, 급격한 조도의 변화 또는 터널진입 등으로 카메라가 운전자의 머리, 몸체, 눈꺼풀의 식별이 어려운 경우 등)수행하게 되며, 광센서(220), 초음파센서(230), 적외선센서(240) 중 어느 한가지의 센서를 구비하여 배열되는 것은 아니다. 가령 광선서(220), 초음파센서(230), 적외선센서(230)가 각각 한개씩 배열될 수 있으며, 당업자, 운전자의 요구사항에 따라 적절한 배열이 가능할 수 있다.It is arranged at equal intervals along the circumference of the camera 210, and provided with any one of the light sensor 220, the ultrasonic sensor 230, the infrared sensor 240, the camera 210 can take an image of the driver. If the driver is difficult to identify (for example, when the camera is difficult to identify the driver's head, body, or eyelid due to sudden changes in the illumination or tunnel entry), light sensor 220, ultrasound The sensor 230 and the infrared sensor 240 are not arranged with any one of the sensors. For example, one light beam 220, one ultrasonic sensor 230, one infrared sensor 230 may be arranged, each may be appropriately arranged according to the requirements of those skilled in the art, the driver.

음성출력부(300)는 VSDT 제어부(100)에서 운전자를 졸음운전 상태로 인식하여 운전자에게 졸음운전 경고 신호를 출력하면, 출력되는 졸음운전 신호를 운전자가 청취가 가능한 가청주파수 범위에 속하는 음성신호로 컨버팅하는 역할을 수행 하며, 음성출력은 음성출력장치(301)를 통해 최종적으로 운전자에게 전달될 수 있다.The voice output unit 300 recognizes the driver as a drowsy driving state in the VSDT control unit 100 and outputs a drowsy driving warning signal to the driver, and outputs the drowsy driving signal as a voice signal belonging to an audible frequency range in which the driver can listen. It performs the role of converting, the voice output can be finally delivered to the driver through the voice output device (301).

여기서 졸음 운전 경고 신호는 운전자 자신의 육성이 녹음된 경고 멘트, 미리 녹음된 음성 경고 멘트, 전자음, 긴급상황을 알리는 경고음, 욕설 중 어느 하나에 해당 될 수 있으며, 운전자가 졸음운전 경고 신호에 대응하는 반응을 마이크(130)를 통해 전달받을 경우 제어부(100)는 운전자가 졸음운전 상태가 아님을 판단할 수 있다. 여기서 졸음운전 경고 신호에 대응하는 반응은 운전자의 육성신호인 경우를 지칭할 수 있으며, 운전자가 졸음운전 경고 신호에 대응하는 반응을 마이크(130)를 통해 졸음운전 경고 신호에 대응하는 반응을 전달받지 못한 경우, 제어부(100)는 운전자가 졸음운전 상태라고 판단하고 음성출력부(300)를 통한 경고 신호를 전송할 수 있다.The drowsy driving warning signal may correspond to any one of a recorded warning message, a pre-recorded voice warning message, an electronic sound, an alarm sounding an emergency situation, and abusive language. The driver may respond to a drowsy driving warning signal. When receiving the response through the microphone 130, the controller 100 may determine that the driver is not a drowsy driving state. Herein, the response corresponding to the drowsy driving warning signal may refer to a case of a driver's training signal, and the driver does not receive a response corresponding to the drowsy driving warning signal through the microphone 130. If not, the controller 100 may determine that the driver is a drowsy driving state and transmit a warning signal through the voice output unit 300.

데이터 저장부(400)는 촬상부(200)를 통해 촬상된 영상을 VSDT 제어부(100)를 통하여 운전자 이미지값 데이터로 컨버팅된 결과값을 저장할 수 있다. 여기서 데이터 저장부(400)에 저장되는 데이터는 단위시간당 운전자 눈꺼풀 움직임의 값, 머리 움직임의 좌표값 , 운전자 몸체 움직임 좌표값, 속도 데이터, 가속도 데이터, 기울기 데이터, 운전자 경고 음성 데이터, 사용자 음성 녹음 데이터 중 어느 하나에 해당 될 수 있으며, 데이터 저장부(400)에 저장된 운전자의 머리 움직임 데이터, 운전자 몸체 움직임 데이터, 운전자의 안구 깜빡임 감지 데이터, 속도 데이터, 가속도 데이터, 기울기 데이터, 운전자 경고 음성 데이터, 사용자 음성 녹음 데이터는 각 운전자별로 별도의 데이터로 데이터 저장부(400)에 저장될 수 있으며, 저장된 운전자별 저장 데이터를 기준으로 실제 운전자 눈꺼풀의 깜빡이는 주기와 저장된 눈꺼풀 움직임의 주기값을 비교하거나 또는 실제 운전자의 머리 움직임의 좌표 평균값과 저장된 머리 움직임의 좌표 평균값, 실제 운전자의 몸체 움직임의 좌표 평균값과 저장된 몸체 움직임의 좌표 평균값을 비교하여 운전자의 졸음운전 상태를 판단하는 기준으로 사용될 수 있다.The data storage unit 400 may store a result value converted from the image captured by the image capturing unit 200 into driver image value data through the VSDT control unit 100. Here, the data stored in the data storage unit 400 is the value of the driver's eyelid movement per unit time, the coordinates of the head movement, the coordinates of the body movement of the driver, the velocity data, the acceleration data, the tilt data, the driver warning voice data, the user voice recording data It may correspond to any one of the driver's head motion data, driver body motion data, driver's eye flicker detection data, speed data, acceleration data, tilt data, driver warning voice data, the user stored in the data storage unit 400 The voice recording data may be stored in the data storage unit 400 as separate data for each driver, and compares the cycle value of the blinking cycle of the actual driver's eyelid with the stored eyelid movement based on the stored driver-specific stored data, or Coordinate average value and low of driver's head movement By comparing the coordinates of the head coordinate average value the average value, the body-coordinate average value and the stored body motion of the motion of the real driver of the motion can be used as criteria for determining the driving condition of the driver drowsiness.

센서모듈(500)은 속도 센서, 가속도 센서, 및 기울기 센서, 산소량 검출 센서를 포함하여 구성될 수 있다. 센서모듈(500)은 속도, 가속도 및 기울기 각각에 대한 개별 센서가 인쇄회로 기판에 마운트되거나, 하나로 통합된 형태의 센서가 인쇄회로 기판에 마운트될 수 있다. 산소량 검출 센서는 인쇄회로 기판에 마운트 되거나, 별도의 위치(룸미러 내부)The sensor module 500 may include a speed sensor, an acceleration sensor, a tilt sensor, and an oxygen amount detection sensor. The sensor module 500 may include a sensor for each of speed, acceleration, and inclination, mounted on a printed circuit board, or a sensor integrated into one. Oxygen sensor can be mounted on a printed circuit board or in a separate location (inside the room mirror)

무선통신부(600)는 한국 및 미국의 경우 CDMA 통신기기일 수 있고, 유럽의 경우, GSM 통신기기일 수 있다. 내장되는 무선 통신부(600)는 차량에 충돌사고가 발생하거나, 전복사고가 발생하거나, 과속으로 기준횟수(예컨데 1회 내지 20회) 이상 주행시 관계기관 서버(70)나 보험사 서버(80)는 사고를 일으키거나, 또는 사고를 일으킬 위험성이 큰 차량을 식별하고, 차량의 위치정보를 인지할 필요가 있다. 본 발명에 따른 졸음 방지 기능을 구비하는 VSDT 룸 미러(50)는 차량의 차량 번호, GPS 위치정보 및 무선통신부(600)에 할당되는 무선 통신번호를 관계기관 서버(70)나 보험사 서버(80)로 제공할 수 있다.The wireless communication unit 600 may be a CDMA communication device in Korea and the United States, and may be a GSM communication device in Europe. The built-in wireless communication unit 600 may cause an accident in a vehicle, a rollover accident, or an excessive speed of driving at a reference frequency (for example, 1 to 20 times) or more. It is necessary to identify vehicles having a high risk of causing an accident, or to cause an accident, and to recognize vehicle location information. VSDT room mirror 50 having a sleepiness prevention function according to the present invention is the vehicle number of the vehicle, GPS location information and the wireless communication number assigned to the wireless communication unit 600, the relevant authority server 70 or insurance company server 80 Can be provided as

여기서, 무선 통신번호는, 차량에 할당되는 고유의 전화번호를 의미하는 것으로서, 휴대폰 및 스마트폰과 같은 휴대단말기에 부여되는 것과 유사한 구조의 이동통신 번호를 지칭할 수 있다. 예컨대, 대한민국에서 운용되는 휴대단말기의 번호체게는 010-XXXX-XXXX와 같은 형태이므로, 차량에 부여되는 무선 통신번호는 700-XXXX-XXXX와 같은 형태 또는 501-XXXX-XXXX과 같은 형태로 구현될 수 있다. Here, the wireless communication number refers to a unique telephone number assigned to a vehicle and may refer to a mobile communication number having a structure similar to that given to portable terminals such as mobile phones and smart phones. For example, since the number of the mobile terminal operating in Korea is in the form of 010-XXXX-XXXX, the wireless communication number assigned to the vehicle may be implemented in the form of 700-XXXX-XXXX or in the form of 501-XXXX-XXXX. Can be.

기재한 무선 통신번호의 예는 본 발명에 대한 설명과 이해의 편의를 위해 예시한 것일 뿐, 다양한 번호체계를 가질 수 있으며, 전기통신사업법의 범위를 벗어나지 않는 무선사업자의 무선 통신번호를 부여받을 수 있으며, 무선 통신에서의 식별을 위한 무선장치 고유의 MAC(Media Access Control) Address를 보유할 수 있다.Examples of the wireless communication numbers described are just examples for convenience of explanation and understanding of the present invention, may have various numbering systems, and may be given a wireless communication number of a wireless service provider without departing from the scope of the telecommunications business law. It may have a MAC (Media Access Control) address unique to the wireless device for identification in wireless communication.

도 6은 본 발명의 실시예에 따른 졸음 방지 기능을 구비하는 VSDT 룸 미러의 흐름도를 도시한다. 6 shows a flowchart of a VSDT room mirror having a drowsiness prevention function according to an embodiment of the present invention.

도 6을 참조하면 차량의 전원이 인가되고 센서모듈(500)에서 차량의 이동을 감지하여 주행판단(S701)을 할 수 있다. 판단결과 주행중일 경우 촬상부(200)에서 운전자 안면 촬상을 시작 할 수 있다(S702). 다음으로 운전자의 안면을 인식(S703)상태를 판단할 수 있다. 판단결과 운전자의 안면이 인식되지 않은 경우 보조광원을 동작(S704)시켜 안면 감지 카메라(210)에 조도를 높여 촬상이 가능하게 할 수 있다. 판단결과 운전자의 안면이 인식된 경우, 제어부에서 운전자의 이미지 데이터를 획득(S706)하였는가를 판단할 수 있다. 판단결과 운전자의 이미지 데이터를 획득하지 못하였을 경우 움직임 감지센서가 동작(S705)할 수 있다.Referring to FIG. 6, the power of the vehicle is applied and the sensor module 500 detects the movement of the vehicle to determine the driving (S701). As a result of the determination, when driving, the imaging unit 200 may start imaging the driver's face (S702). Next, the state of recognition of the driver's face may be determined (S703). As a result of the determination, when the driver's face is not recognized, the auxiliary light source may be operated (S704) to increase the illuminance of the face sensing camera 210 to enable imaging. As a result of the determination, when the face of the driver is recognized, the controller may determine whether the driver acquires image data of the driver (S706). If it is determined that the driver does not acquire the image data, the motion sensor may operate (S705).

여기서 움직임 감지센서는 초음파센서, 적외선센서, Multi-Tech센서 중 어느 하나를 지칭할 수 있으며, 운전자의 움직임을 감지하여 신호를 발생시킬 수 있는 모든 수단을 지칭할 수 있다.The motion sensor may refer to any one of an ultrasonic sensor, an infrared sensor, and a multi-tech sensor, and may refer to any means capable of generating a signal by detecting a driver's movement.

판단결과 운전자의 이미지 데이터를 획득하였을 경우 When the driver's image data is acquired as a result of the judgment

다음으로 운전자의 졸음운전 상태를 판단(S707)할 수 있다. 운전자의 졸음운전 상태 판단(S707)은 실제 운전자 눈꺼풀의 깜빡이는 주기와 저장된 눈꺼풀 움직임의 주기값을 비교하거나 또는 실제 운전자의 머리 움직임의 좌표 평균값과 저장된 머리 움직임의 좌표 평균값, 실제 운전자의 몸체 움직임의 좌표 평균값과 저장된 몸체 움직임의 좌표 평균값을 비교하여 운전자의 졸음운전 상태를 판단하는 기준으로 사용될 수 있다. 판단결과 운전자가 졸음운전 상태가 아닌 경우 사고판단 단계(S711)로 이동할 수 있다. 판단결과 운전자가 졸음운전 상태인 경우 촬상부(200)에서 촬상된 운전자 이미지 데이터를 데이터 저장부(400)에 컨버팅된 데이터로 저장할 수 있다. 여기서 컨버팅된 데이터는 단위시간당 운전자 눈꺼풀 움직임의 값, 머리 움직임의 좌표값 , 운전자 몸체 움직임 좌표값, 속도 데이터, 가속도 데이터, 기울기 데이터, 운전자 경고 음성 데이터, 사용자 음성 녹음 데이터 중 어느 하나에 해당 될 수 있으며, 데이터 저장부(400)에 저장된 운전자의 머리 움직임 데이터, 운전자 몸체 움직임 데이터, 운전자의 안구 깜빡임 감지 데이터, 속도 데이터, 가속도 데이터, 기울기 데이터, 운전자 경고 음성 데이터, 사용자 음성 녹음 데이터는 각 운전자별로 별도의 데이터로 데이터 저장부(400)에 저장될 수 있으며, 저장된 운전자별 저장 데이터를 기준으로 실제 운전자 눈꺼풀의 깜빡이는 주기와 저장된 눈꺼풀 움직임의 주기값을 비교하거나 또는 실제 운전자의 머리 움직임의 좌표 평균값과 저장된 머리 움직임의 좌표 평균값, 실제 운전자의 몸체 움직임의 좌표 평균값과 저장된 몸체 움직임의 좌표 평균값을 비교하여 운전자의 졸음운전 상태를 판단하는 기준으로 사용될 수 있다.Next, the driver's drowsy driving state may be determined (S707). The driver's drowsy driving state judgment (S707) compares the blinking period of the actual driver's eyelid with the period value of the stored eyelid movement, or compares the average value of the coordinates of the head movement of the actual driver with the coordinates of the stored head movement, and the body movement of the actual driver. It can be used as a criterion for determining the drowsy driving state of the driver by comparing the coordinate average value and the coordinate average value of the stored body movement. As a result of the determination, when the driver is not in the drowsy driving state, the driver may move to the accident determination step (S711). As a result of the determination, when the driver is in the drowsy driving state, the driver image data captured by the imaging unit 200 may be stored as converted data in the data storage unit 400. The converted data may correspond to any one of driver eyelid movement value, head movement coordinate value, driver body movement coordinate value, speed data, acceleration data, tilt data, driver warning voice data and user voice recording data per unit time. The driver's head movement data, driver's body movement data, driver's eye flicker detection data, speed data, acceleration data, tilt data, driver warning voice data, and user voice recording data stored in the data storage unit 400 may be stored for each driver. The data may be stored in the data storage unit 400 as separate data, and the period value of the blinking cycle of the actual driver's eyelid and the stored eyelid movement is compared based on the stored driver-specific stored data, or the coordinate average value of the actual driver's head movement. And left of stored head movements The table average value, the coordinate average value of the actual body movement of the driver and the stored coordinate average value of the body movement can be compared to be used as a criterion for determining the drowsy driving state of the driver.

다음으로 운전자를 졸음운전 상태로부터 탈출하거나, 예방할 수 있도록 운자에게 경고음성 출력(S709)을 수행할 수 있다. Next, a warning sound output S709 may be performed to the walker to escape or prevent the driver from drowsy driving state.

다음으로 운전자의 반응을 확인(S710)하여 졸음운전 여부를 확인할 수 있다.Next, by checking the driver's response (S710) it can be determined whether the drowsy driving.

판단결과 운전자의 반응이 없는 경우 경고음성 단계(S713)를 판단할 수 있다. 여기서 경고음성은 최초 경고 음성의 출력보다 이후에 수행되는 경고 음성의 출력이 더 클 수 있다.If there is no driver's response as a result of the determination, the warning sound step S713 may be determined. Here, the warning voice may be louder than the output of the initial warning voice.

판단결과 운전자의 반응이 있는 경우, If there is a driver response,

다음으로 차량의 센서모듈(500)을 통해 사고유무를 판단(S711)할 수 있다.Next, the presence or absence of an accident may be determined through the sensor module 500 of the vehicle (S711).

판단결과 사고발생 상태라고 판단되면 마지막단계로 관계기관과 통신(S712)을 통해 차량의 현재 위치와 사고발생의 메세지를 전달할 수 있다.As a result of the determination, if it is determined that the accident occurs, the last step may communicate the current location of the vehicle and the message of the accident through communication with the related organization (S712).

도 7은 본 발명의 일 실시예에 따른 졸음방지 기능을 구비하는 VSDT 룸 미러에 대한 사시도를 도시한다.7 illustrates a perspective view of a VSDT room mirror having a drowsiness preventing function according to an embodiment of the present invention.

도 7을 참조하면 D1의 방향(운전석 방향)으로 초점이 설정된 카메라(210)가 촬상한 운전자의 눈꺼풀 깜빡임 데이터, 머리 움직임 데이터, 몸체 움직임 데이터를 제어부(100)에서 판단하여 운전자가 졸음운전 상태로 판단될 경우, 음성출력부(300)를 통해 운전자에게 경고 음성을 송출하고 마이크(130)를 통해 운전자의 반응을 감지할 수 있다. 여기서 운전자의 머리 움직임 데이터, 운전자 몸체 움직임 데이터, 운전자의 안구 깜빡임 감지 데이터, 속도 데이터, 가속도 데이터, 기울기 데이터, 운전자 경고 음성 데이터, 사용자 음성 녹음 데이터는 각각 눈꺼풀 깜빡임 데이터의 주기값, 머리 움직임 데이터의 기준값, 몸체 움직임 데이터의 기준값을 산출하기 위하여 데이터 저장부(400)에 저장될 수 있다.Referring to FIG. 7, the controller 100 determines eyelid blinking data, head movement data, and body movement data of the driver captured by the camera 210 having the focus set in the direction D1 (the driver's seat direction), and the driver may enter into a drowsy driving state. If it is determined, a warning voice may be transmitted to the driver through the voice output unit 300 and the driver's response may be sensed through the microphone 130. The driver's head movement data, driver's body movement data, driver's eye blink detection data, speed data, acceleration data, tilt data, driver warning voice data, and user voice recording data are respectively the periodic values of the eyelid blink data and head movement data. The reference value may be stored in the data storage 400 to calculate a reference value of the body motion data.

도 8은 본 발명의 일 실시예에 따른 졸음방지 기능을 구비하는 VSDT 룸 미러에 대한 산소 검출량에 따른 공기순환 예시도를 도시한다.8 illustrates an example of air circulation according to an oxygen detection amount for a VSDT room mirror having a drowsiness prevention function according to an embodiment of the present invention.

도 8을 참조하면 센서모듈에 있는 산소량 검출 센서가 차량 실내 산소량의 측정값을 제어부(100)로 전달하고, 측정값을 전달받은 제어부는 차량 실내의 산소량이 15% 내지 19% 미만인 경우 차량 실내공기의 순환을 위해 차량의 창문 내림이나 외기가 들어올 수 있도록 공조기의 상태를 외부 공기 유입 상태로 변환하는 신호를 차량의 ECU 또는 차량 제어부로 전달할 수 있다. 또한 산소량 검출 센서 측정결과, 외부 공기가 유입되어 차량 실내의 산소량이 19% 이상인 경우 제어부는 차량의 ECU 또는 차량 제어부로 외부공기가 더 이상 유입되지 않도록 차량의 창문을 올리거나, 공조기의 외부 공기 유입 상태를 순환 상태로 변경할 수 있다.Referring to FIG. 8, when the oxygen amount detection sensor in the sensor module transmits the measured value of the oxygen content of the vehicle to the controller 100, and the control unit receives the measured value, the oxygen content of the vehicle interior is less than 15% to 19% of the vehicle indoor air. A signal for converting the state of the air conditioner to the state of inflow of the external air may be transmitted to the ECU or the vehicle controller of the vehicle so that the window of the vehicle or the outside air may enter for circulation. In addition, when the measurement result of the oxygen detection sensor, when the outside air is inflow and the oxygen content of the vehicle interior is more than 19%, the control unit raises the window of the vehicle so that the outside air no longer flows into the ECU or the vehicle control unit of the vehicle, or the outside air inflow of the air conditioner You can change the state to a circular state.

100 : VSDT 제어부 130 : 마이크
200 : 촬상부
300 : 음성출력부
400 : 데이터 저장부
500 : 센서모듈
600 : 무선 통신부
100: VSDT control unit 130: microphone
200: imaging unit
300: audio output unit
400: data storage
500: sensor module
600: wireless communication unit

Claims (17)

음성출력 장치 및 하프미러를 구비하는 케이스에 수납되며,
상기 케이스에서 상기 하프미러 방향으로 촬상 방향이 설정된 촬상장치를 통해 운전자 영상을 획득하는 촬상부;
운전자에게 졸음운전 방지 및 졸음운전 상태를 탈출하도록 경고 음성을 출력하는 경고 음성 출력부;
차량의 속도, 가속도, 기울기 값 및 실내 산소량 중 적어도 하나를 검출하는 센서모듈;
상기 운전자 영상에서 안면을 감지하고 상기 안면에 대한 안면 영상을 토대로 판단되는 상기 운전자의 머리 움직임, 운전자 몸체 움직임 및 안구 깜빡임 횟수 중 적어도 하나가 미리 설정된 기준 범위를 이탈 시, 상기 운전자를 졸음운전 상태인 것으로 판단하여 졸음운전 신호를 생성하고, 상기 음성 출력부로 상기 졸음운전 신호를 전달하여 경고 음성을 출력하도록 하며,
상기 센서모듈의 검출값을 토대로 차량의 과속, 충돌 여부 및 실내 산소량 중 적어도 하나를 판단하는 것을 특징으로 하는 VSDT 제어부;
상기 VSDT 제어부의 판단결과 차량이 과속하거나 충돌 발생 시, 이를 보험사서버 및 차량사고를 담당하는 관계기관 서버 중 어느 하나에 통보하는 무선통신부;
상기 차량의 과속, 충돌 여부 및 상기 촬상부에 의해 촬상된 안면영상에 대한 정보 중 적어도 하나를 저장하는 데이터 저장부;를 포함하며,
상기 VSDT 제어부는,
상기 운전자에 의한 응답음성이 상기 음성 출력부에서 출력된 경고 음성에 대응하지 않는 경우 상기 졸음운전 신호를 생성하고,
상기 센서모듈은, 초음파센서, 적외선센서, Multi-Tech센서, 산소량 검출 센서 중 적어도 하나를 포함하고,
상기 촬상부는, 상기 촬상부의 외주연을 따라 상기 초음파센서, 적외선센서 및 Multi-Tech센서 중 적어도 하나가 1개 내지 20개 배열되는 것을 특징으로 하는 졸음 감지 기능을 구비하는 VSDT 룸미러.
It is stored in a case having a voice output device and a half mirror,
An imaging unit for acquiring a driver image through an imaging device in which an imaging direction is set in the half mirror direction in the case;
A warning voice output unit configured to output a warning voice to prevent a drowsy driving state and escape from a drowsy driving state to a driver;
A sensor module for detecting at least one of a speed, an acceleration, an inclination value, and an indoor oxygen amount of the vehicle;
When the face is detected in the driver image and at least one of the head movement, the driver body movement, and the number of eye blinks of the driver determined based on the face image of the face deviates from a preset reference range, the driver is in a drowsy driving state. It is determined to generate a drowsy driving signal, and transmits the drowsy driving signal to the voice output unit to output a warning voice,
A VSDT controller for determining at least one of an overspeed of a vehicle, a collision, and an indoor oxygen amount based on a detection value of the sensor module;
A wireless communication unit for notifying any one of an insurance company server and a related agency server in charge of a vehicle accident when the vehicle speeds or crashes as a result of the determination of the VSDT controller;
And a data storage configured to store at least one of information about a speeding of the vehicle, a collision, and a face image captured by the imaging unit.
The VSDT control unit,
Generating a drowsy driving signal when the response voice by the driver does not correspond to the warning voice output from the voice output unit;
The sensor module includes at least one of an ultrasonic sensor, an infrared sensor, a multi-tech sensor, and an oxygen amount detection sensor.
The imaging unit, VSDT room mirror having a drowsiness detection function, characterized in that at least one of the ultrasonic sensor, infrared sensor and Multi-Tech sensor is arranged along the outer periphery of the imaging unit.
삭제delete 제1항에 있어서,
상기 VSDT 제어부는,
상기 촬상부, 상기 초음파센서, 상기 적외선센서 및 상기 Multi-Tech센서 중 적어도 하나를 통해 상기 운전자의 머리 움직임, 운전자 몸체 움직임, 안구 깜빡임 중 적어도 하나를 감지하는 것을 특징으로 하는 졸음 감지 기능을 구비하는 VSDT 룸미러.
The method of claim 1,
The VSDT control unit,
And having at least one of a head movement, a driver's body movement, and eye blinking of the driver through at least one of the imaging unit, the ultrasonic sensor, the infrared sensor, and the multi-tech sensor. VSDT Room Mirrors.
삭제delete 제1항에 있어서,
상기 음성 출력부는,
운전자가 졸음운전 상태라고 판단될 때,
상기 음성 출력부를 통해 경고 음성을 출력하고, 상기 경고 음성에 대응하는 운전자의 반응이 없을 경우 운전자를 졸음운전 지속상태로 판단하여, 상기 운전자에게 제공되는 음성신호의 출력레벨이 이전 출력 대비 증가하는 것을 특징으로 하는 졸음 감지 기능을 구비하는 VSDT 룸미러.
The method of claim 1,
The audio output unit,
When it is determined that the driver is drowsy,
The driver may output a warning voice through the voice output unit and determine that the driver is in a drowsy driving state when there is no response from the driver corresponding to the warning voice, thereby increasing the output level of the voice signal provided to the driver compared to the previous output. VSDT room mirror with drowsiness detection.
제1항에 있어서,
상기 VSDT 제어부는,
상기 촬상부에 의해 촬상된 이미지를 통해, 상기 안구가 1초 내지 180초당 깜빡이는 횟수를 지정 주기로 하여 상기 안구가 깜빡이는 주기의 2회 내지 30회에 대한 평균 주기 값의 10% 내지 50% 값에 해당되는 경우 운전자를 졸음운전 상태로 판단하는 것을 특징으로 하는 졸음 감지 기능을 구비하는 VSDT 룸미러.
The method of claim 1,
The VSDT control unit,
A value of 10% to 50% of an average period value for 2 to 30 times of the eye blinking cycle by specifying the number of times the eye blinks per 1 second to 180 seconds through the image picked up by the imaging unit. VSDT room mirror having a drowsiness detection function characterized in that the driver is determined to be a drowsy driving state.
제1항에 있어서,
상기 VSDT 제어부는,
상기 촬상부, 상기 초음파센서, 상기 적외선센서 및 상기 Multi-Tech센서 중 어느 하나 이상에 의해 상기 운전자의 기준위치 대비 상기 운전자 몸체의 움직임이 좌,우로 1mm 내지 20cm의 움직임 및 기준위치 대비 상기 운전자의 안면 움직임이 상,하로 1mm 내지 20cm의 움직임 중 어느 하나의 움직임이 감지된 경우 상기 운전자를 졸음운전 상태로 판단하는 것을 특징으로 하는 졸음 감지 기능을 구비하는 VSDT 룸미러.
The method of claim 1,
The VSDT control unit,
At least one of the imaging unit, the ultrasonic sensor, the infrared sensor, and the multi-tech sensor moves the body of the driver relative to the reference position of the driver from 1 mm to 20 cm and to the reference position. The VSDT room mirror having a drowsiness detection function, wherein the face movement is determined to be a drowsy driving state when any one of 1 mm to 20 cm of movement is detected.
제7항에 있어서,
상기 운전자의 기준위치는,
상기 운전자가 운전석 최초 탑승 후 1초 내지 180초 동안 상기 운전자의 몸체 움직임의 좌, 우 움직임 평균값, 상기 운전자 머리 움직임의 상, 하 움직임 평균값 중 어느 하나인 것을 특징으로 하는 졸음 감지 기능을 구비하는 VSDT 룸미러.
The method of claim 7, wherein
The reference position of the driver,
VSDT having a drowsiness detection function, wherein the driver is any one of an average value of left and right movements of the body movement of the driver and an average value of upper and lower movements of the head movement of the driver for 1 second to 180 seconds after the first driver's seat. Room mirror.
제1항에 있어서,
상기 음성 출력 장치는,
상기 음성 출력부에서 음성 경고신호를 전달받아 상기 운전자에게 경고 신호를 출력하는 것을 특징으로 하는 졸음 감지 기능을 구비하는 VSDT 룸미러.
The method of claim 1,
The audio output device,
The VSDT room mirror having a drowsiness detection function, wherein the voice output signal is received from the voice output unit and outputs a warning signal to the driver.
제1항에 있어서,
상기 데이터 저장부는,
상기 운전자의 머리 움직임 데이터, 상기 운전자 몸체 움직임 데이터, 상기 운전자의 안구 깜빡임 감지 데이터, 속도 데이터, 가속도 데이터, 기울기 데이터, 사용자 음성 녹음 데이터 중 적어도 하나를 구비하는 것을 특징으로 하는 졸음 감지 기능을 구비하는 VSDT 룸미러.
The method of claim 1,
The data storage unit stores,
And at least one of the head movement data of the driver, the body motion data of the driver, eye blink detection data of the driver, speed data, acceleration data, tilt data, and user voice recording data. VSDT Room Mirrors.
제1항에 있어서,
상기 촬상부는,
100만 화소 내지 500만 화소 및 5단계의 초점조절이 가능한 카메라가 구비되는 것을 특징으로 하는 졸음 감지 기능을 구비하는 VSDT 룸미러.
The method of claim 1,
Wherein,
VSDT room mirror having a drowsiness detection function, characterized in that a camera capable of adjusting the focus of five to five million pixels and five stages.
제1항에 있어서,
상기 촬상부는,
상기 운전자를 향하는 상기 케이스 면의 테두리에 보조 광원을 더 포함하는 것을 특징으로 하는 졸음 감지 기능을 구비하는 VSDT 룸미러.
The method of claim 1,
Wherein,
And a drowsiness detection function further comprising an auxiliary light source on an edge of the case surface facing the driver.
제12항에 있어서,
상기 보조 광원에서 투사되는 빛을 확산시키는 확산필터를 더 포함하는 것을 특징으로 하는 졸음 감지 기능을 구비하는 VSDT 룸미러.
The method of claim 12,
A VSDT room mirror having a drowsiness detection function further comprising a diffusion filter for diffusing light projected from the auxiliary light source.
제12항에 있어서,
상기 보조 광원은,
LED인 것을 특징으로 하는 졸음 감지 기능을 구비하는 VSDT 룸미러.
The method of claim 12,
The auxiliary light source,
VSDT room mirror with drowsiness detection, characterized in that the LED.
제12항에 있어서,
상기 보조 광원은,
상기 촬상장치의 촬상 시 조도가 낮아 상기 운전자의 머리 움직임, 상기 운전자의 몸체 움직임, 상기 운전자의 안구 깜빡임 중 적어도 하나의 감지가 어려울 때 구동되는 것을 특징으로 하는 졸음 감지 기능을 구비하는 VSDT 룸미러.
The method of claim 12,
The auxiliary light source,
The VSDT room mirror having a drowsiness detection function, characterized in that it is driven when it is difficult to detect at least one of the head movement of the driver, the body movement of the driver, the eye blink of the driver when the imaging device is low illumination.
제1항에 있어서,
상기 제어부는,
산소량 검출 센서에서 측정한 산소 검출 데이터를 전달받아 차량 실내의 산소량이 15% 내지 19% 미만인 경우 실내 공기가 순환하도록 하는 것을 특징으로 하는 졸음 감지 기능을 구비하는 VSDT 룸미러.
The method of claim 1,
The control unit,
The VSDT room mirror having a drowsiness detection function, characterized in that the indoor air is circulated when the oxygen detection data measured by the oxygen amount detection sensor is received and the oxygen content of the vehicle interior is less than 15% to 19%.
제1항에 있어서,
상기 제어부는,
실내 공기의 순환을 위하여 차량 ECU(Electronic Control Unit)로 외기 공기 순환 장치, 창문 열기, 선루프 열기 중 어느 하나 이상의 동작을 수행하는 신호를 전달하는 것을 특징으로 하는 졸음 감지 기능을 구비하는 VSDT 룸미러.
The method of claim 1,
The control unit,
VSDT room mirror with drowsiness detection, which transmits a signal for performing any one or more operations of an outdoor air circulation device, window opening, and sunroof opening to a vehicle ECU (Electronic Control Unit) for circulation of indoor air .
KR20130016705A 2013-02-18 2013-02-18 Vsdt rearview mirror for sleepiness prevention KR101298197B1 (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR20130016705A KR101298197B1 (en) 2013-02-18 2013-02-18 Vsdt rearview mirror for sleepiness prevention
PCT/KR2013/006382 WO2014126304A1 (en) 2013-02-18 2013-07-17 Vsdt rearview mirror having sleepiness prevention function

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR20130016705A KR101298197B1 (en) 2013-02-18 2013-02-18 Vsdt rearview mirror for sleepiness prevention

Publications (1)

Publication Number Publication Date
KR101298197B1 true KR101298197B1 (en) 2013-08-20

Family

ID=49220902

Family Applications (1)

Application Number Title Priority Date Filing Date
KR20130016705A KR101298197B1 (en) 2013-02-18 2013-02-18 Vsdt rearview mirror for sleepiness prevention

Country Status (2)

Country Link
KR (1) KR101298197B1 (en)
WO (1) WO2014126304A1 (en)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105313784A (en) * 2015-12-07 2016-02-10 邵良玉 Safety-type automobile rearview mirror
KR20160051421A (en) * 2014-11-03 2016-05-11 현대모비스 주식회사 Apparatus for driving impairment handling
KR20210009089A (en) * 2019-07-16 2021-01-26 이규석 System for Warning Sleepiness Protection and Connecting Automatic Call of Driver
KR20220011816A (en) * 2019-06-18 2022-02-03 엘지전자 주식회사 vehicle control method

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016200076A1 (en) * 2015-06-08 2016-12-15 삼성전자 주식회사 Portable electronic device and operating method therefor
CN113568509A (en) 2015-06-08 2021-10-29 北京三星通信技术研究有限公司 Portable electronic device and operation method thereof
US11170240B2 (en) * 2019-01-04 2021-11-09 Cerence Operating Company Interaction system and method
CN114533049A (en) * 2022-02-24 2022-05-27 重庆长安汽车股份有限公司 Fatigue detection system and method based on single OMS camera

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11304428A (en) * 1998-04-22 1999-11-05 Matsushita Electric Ind Co Ltd Driver monitor device and automobile drive support system
KR100950541B1 (en) * 2008-12-01 2010-03-30 유현호 A rear view mirror
KR20110076745A (en) * 2009-12-28 2011-07-06 한국과학기술원 Drowsy driving warning apparatus and its method

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5689241A (en) * 1995-04-24 1997-11-18 Clarke, Sr.; James Russell Sleep detection and driver alert apparatus

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11304428A (en) * 1998-04-22 1999-11-05 Matsushita Electric Ind Co Ltd Driver monitor device and automobile drive support system
KR100950541B1 (en) * 2008-12-01 2010-03-30 유현호 A rear view mirror
KR20110076745A (en) * 2009-12-28 2011-07-06 한국과학기술원 Drowsy driving warning apparatus and its method

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160051421A (en) * 2014-11-03 2016-05-11 현대모비스 주식회사 Apparatus for driving impairment handling
KR102317237B1 (en) 2014-11-03 2021-10-26 현대모비스 주식회사 Apparatus for driving impairment handling
CN105313784A (en) * 2015-12-07 2016-02-10 邵良玉 Safety-type automobile rearview mirror
KR20220011816A (en) * 2019-06-18 2022-02-03 엘지전자 주식회사 vehicle control method
KR102630485B1 (en) * 2019-06-18 2024-02-01 엘지전자 주식회사 Vehicle control methods
KR20210009089A (en) * 2019-07-16 2021-01-26 이규석 System for Warning Sleepiness Protection and Connecting Automatic Call of Driver
KR102258332B1 (en) 2019-07-16 2021-05-31 이종명 System for Warning Sleepiness Protection and Connecting Automatic Call of Driver

Also Published As

Publication number Publication date
WO2014126304A1 (en) 2014-08-21

Similar Documents

Publication Publication Date Title
KR101298197B1 (en) Vsdt rearview mirror for sleepiness prevention
US10298741B2 (en) Method and device for assisting in safe driving of a vehicle
US20230030426A1 (en) Systems and methods for adjustment of vehicle sub-systems based on monitoring of vehicle occupant(s)
EP2893867B1 (en) Detecting visual inattention based on eye convergence
US11223381B2 (en) Phone docking station mounted on a vehicle for enhanced driving safety
US8406457B2 (en) Monitoring device, monitoring method, control device, control method, and program
EP3424756A1 (en) Integrated vehicle monitoring system
KR20160144306A (en) Portable electronic device and method thereof
WO2018046015A1 (en) Alarm method, device and terminal for vehicle
US20180229654A1 (en) Sensing application use while driving
JP5082834B2 (en) Aside look detection device and method, and program
EP3518200A1 (en) Method for motorcycle accident detection and notification
KR20160147559A (en) Driver assistance apparatus for vehicle and Vehicle
US11198389B1 (en) Systems and methods for detecting and reducing distracted driving
KR101546893B1 (en) System for checking doze at the vehicle
KR101911632B1 (en) Smart bike system and method for operating thereof
CN112534487A (en) Information processing apparatus, moving object, information processing method, and program
US20140118131A1 (en) Monitoring and warning system for vehicles
KR102051136B1 (en) Artificial intelligence dashboard robot base on cloud server for recognizing states of a user
JP5935759B2 (en) Driver status determination system
JP7114953B2 (en) In-vehicle device, driving evaluation device, driving evaluation system provided with these, data transmission method, and data transmission program
JP2015026255A (en) Driving support system and driving support method
JP7331632B2 (en) Driving support device, driving support method, and driving support program
CN114701503A (en) Method, device and equipment for adjusting driving behavior of vehicle driver and storage medium
US20200031277A1 (en) Electronic device and method for issuing warnings as to driving safety

Legal Events

Date Code Title Description
A201 Request for examination
A302 Request for accelerated examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20160812

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20180911

Year of fee payment: 6