KR101763389B1 - Driver distraction warning system and method - Google Patents

Driver distraction warning system and method Download PDF

Info

Publication number
KR101763389B1
KR101763389B1 KR1020160084920A KR20160084920A KR101763389B1 KR 101763389 B1 KR101763389 B1 KR 101763389B1 KR 1020160084920 A KR1020160084920 A KR 1020160084920A KR 20160084920 A KR20160084920 A KR 20160084920A KR 101763389 B1 KR101763389 B1 KR 101763389B1
Authority
KR
South Korea
Prior art keywords
driver
vehicle
face direction
face
driving information
Prior art date
Application number
KR1020160084920A
Other languages
Korean (ko)
Inventor
황인석
심상현
Original Assignee
(주) 이즈테크놀로지
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주) 이즈테크놀로지 filed Critical (주) 이즈테크놀로지
Priority to KR1020160084920A priority Critical patent/KR101763389B1/en
Application granted granted Critical
Publication of KR101763389B1 publication Critical patent/KR101763389B1/en

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K28/00—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions
    • B60K28/02—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver
    • B60K28/06—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver responsive to incapacity of driver
    • B60K28/066—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver responsive to incapacity of driver actuating a signalling device
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/10—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to vehicle motion
    • B60W40/105—Speed
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • G06K9/00845—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02—Alarms for ensuring the safety of persons
    • G08B21/06—Alarms for ensuring the safety of persons indicating a condition of sleep, e.g. anti-dozing alarms
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/18—Status alarms
    • G08B21/182—Level alarms, e.g. alarms responsive to variables exceeding a threshold

Abstract

본 발명은 운전 부주의 경고 방법 및 시스템에 관한 것으로, 본 발명에 따른 방법은 차량 운행 정보를 제공받는 단계, 운전자 얼굴 방향 각도를 제공받는 단계, 그리고 차량 운행 정보와 운전자 얼굴 방향 각도를 기초로 운전자의 부주의 여부를 판단하는 단계를 포함한다. 차량 속도가 빨라지거나 선행 차량과 거리가 짧아지면 정상으로 판단하는 운전자 얼굴 방향 각도 범위가 좁아질 수 있다. 본 발명에 의하면 차량의 주행 속도의 변화에 따라 적절하게 경고 발생 여부를 가변시킴으로써 운전자 부주의 여부를 정확하게 판단할 수 있다. 또한 운전자 부주의 정보를 차량 운행 정보와 함께 제공함으로써 사고 발생 시 과실 여부 등을 정확하게 판단할 수 있고, 평소에도 차량의 운행 관리 등에 활용할 수 있다.The present invention relates to a method and system for carelessness warning, wherein the method includes receiving vehicle driving information, receiving a driver's face angle, and determining a driver's face angle based on the vehicle driving information and the driver's face angle. And judging whether it is careless. If the vehicle speed is increased or the distance from the preceding vehicle is shortened, the driver's face direction angle range that is judged to be normal may be narrowed. According to the present invention, it is possible to accurately determine whether a driver is careless by varying whether or not a warning is generated appropriately according to a change in the running speed of the vehicle. In addition, by providing driver inattention information together with vehicle driving information, it is possible to accurately determine whether or not an accident has occurred, and it can be used for vehicle management and the like.

Description

운전 부주의 경고 방법 및 시스템{DRIVER DISTRACTION WARNING SYSTEM AND METHOD}[0001] DRIVER DISTRACTION WARNING SYSTEM AND METHOD [0002]

본 발명은 운전 부주의 경고 방법 및 시스템에 관한 것으로, 보다 자세하게는 차량 운행 정보에 기초하여 경고 발생 조건을 가변시키는 운전 부주의 경고 방법 및 시스템에 관한 것이다.BACKGROUND OF THE INVENTION 1. Field of the Invention [0001] The present invention relates to a driving neglect warning method and system, and more particularly, to a driving neglect warning method and system for varying a warning generating condition based on vehicle driving information.

차량을 주행 중인 운전자가 졸음, 물건 찾기 등 기타 이유로 전방을 주시하지 않고 부주의하게 운전하게 될 경우 사람이 사망하는 등 대형 사고로 발생할 가능성이 매우 높다.It is very likely that a driver who is driving a vehicle is likely to suffer a major accident such as a person dying if the driver inadvertently drives without observing the front due to drowsiness, finding things or other reasons.

이러한 문제를 해결하기 위한 방법으로 운전자의 얼굴 영상을 획득하여 눈 영역에서 눈꺼풀의 모양을 통해 졸음 여부를 감지하거나, 복잡한 알고리즘을 통해 운전자의 시선을 검출해내는 방법 등이 제시되고 있다.In order to solve this problem, it is proposed to acquire the face image of the driver to detect the drowsiness through the shape of the eyelids in the eye area, and to detect the driver's gaze through a complicated algorithm.

그런데 기존의 방법은 차량의 주행 속도로 단순하게 차량의 정지 또는 주행 여부만을 판단하고 이를 기초로 운전자가 부주의한 경우에 경고를 발생시키는 정도에 그치고 있으며, 차량의 주행 속도의 변화에 따라 적절하게 경고 발생 여부를 가변시키는 방법은 제시되고 있지 못하였다.However, in the conventional method, only the driving speed of the vehicle determines whether the vehicle is stopped or running, and a warning is generated when the driver is careless on the basis of the driving speed. On the other hand, There has been no suggestion of how to vary the occurrence.

한국공개특허 제2013-0057166호(공개일 2013.05.31)Korean Patent Laid-Open Publication No. 2013-0057166 (published on May 31, 2013)

따라서 본 발명이 해결하고자 하는 기술적 과제는 차량의 주행 속도의 변화에 따라 적절하게 경고 발생 여부를 가변시킬 수 있는 운전 부주의 경고 방법 및 시스템을 제공하는 것이다.SUMMARY OF THE INVENTION Accordingly, the present invention has been made to solve the above-mentioned problems occurring in the prior art.

이러한 기술적 과제를 해결하기 위한 본 발명의 한 실시예에 따른 운전 부주의 경고 방법은 차량 운행 정보를 제공받는 단계, 운전자 얼굴 방향 각도를 제공받는 단계, 그리고 상기 차량 운행 정보와 상기 운전자 얼굴 방향 각도를 기초로 운전자의 부주의 여부를 판단하는 단계를 포함한다.According to an aspect of the present invention, there is provided a driver's negligence warning method including receiving vehicle driving information, receiving a driver's facial direction angle, And determining whether the driver is careless.

상기 차량 운행 정보는 차량 속도 또는 선행 차량 정보를 포함할 수 있다.The vehicle driving information may include vehicle speed or preceding vehicle information.

상기 차량 속도가 빨라지거나 선행 차량과 거리가 짧아지면 정상으로 판단하는 운전자 얼굴 방향 각도 범위가 좁아질 수 있다.When the vehicle speed is increased or the distance from the preceding vehicle is shortened, the driver's face direction angle range which is judged to be normal can be narrowed.

상기 운전자 얼굴 방향 각도는, 운전자 얼굴 영상에서 구해진 좌측 눈, 우측 눈 및 코의 각 영역 중심점을 이용하여 아래 수학식에 의해 구해질 수 있다.The driver's face direction angle can be obtained by the following equation using the center points of the left eye, right eye, and nose obtained from the driver's face image.

Figure 112016065091293-pat00001
Figure 112016065091293-pat00001

Figure 112016065091293-pat00002
Figure 112016065091293-pat00002

여기서, r은 정면을 기준으로 얼굴 방향이 이루는 각도이고, xN1은 코 영역 중심의 x 좌표값, xP1은 우측 눈 영역 중심의 x 좌표값, xP2는 좌측 눈 영역 중심의 x 좌표값이며, r > 0 이면 얼굴 방향이 우측 방향을 이루고, r < 이면 얼굴 방향이 좌측 방향일 수 있다.Here, r is the angle formed by the face direction with respect to the front face, x N1 is the x coordinate value of the center of the nose region, x P1 is the x coordinate value of the center of the right eye region, and x P2 is the x coordinate value of the center of the left eye region , r> 0, the face direction is the right direction, and if r <, the face direction may be the left direction.

상기 방법은 차량에 소정 크기 이상의 충격이 감지되면, 상기 차량 운행 정보와 상기 운전자 부주의 판단 정보를 매핑하여 기록하는 단계를 더 포함할 수 있다.The method may further include the step of mapping the vehicle driving information and the driver inattention determination information when the vehicle is sensed an impact of a predetermined magnitude or more.

상기 방법은 운전자가 부주의한 것으로 판단될 때마다, 상기 차량 운행 정보와 상기 운전자 부주의 판단 정보를 매핑하여 기록하는 단계를 더 포함할 수 있다.The method may further include mapping and recording the vehicle driving information and the driver inattention determination information whenever the driver is determined to be careless.

이러한 기술적 과제를 해결하기 위한 본 발명의 한 실시예에 따른 운전 부주의 경고 시스템은, 차량 운행 정보를 생성하는 차량 운행 정보 제공부, 운전자 얼굴 방향 각도를 계산하는 얼굴 방향 계산부, 그리고 상기 차량 운행 정보와 상기 운전자 얼굴 방향 각도를 기초로 운전자의 부주의 여부를 판단하는 제어부를 포함한다.According to an aspect of the present invention, there is provided a driving carelessness warning system including: a vehicle driving information providing unit for generating vehicle driving information; a face direction calculating unit calculating a driver's face direction angle; And a controller for determining whether the driver is careless based on the driver's face direction angle.

상기 시스템은 차량에 소정 크기 이상의 충격이 감지되면, 상기 차량 운행 정보와 상기 운전자 부주의 판단 정보를 매핑하여 기록하는 기록부를 더 포함할 수 있다.The system may further include a recording unit for mapping and recording the vehicle driving information and the driver inattention determination information when an impact of a predetermined size or greater is detected in the vehicle.

상기 시스템은 운전자가 부주의한 것으로 판단될 때마다, 상기 차량 운행 정보와 상기 운전자 부주의 판단 정보를 매핑하여 기록하는 기록부를 더 포함할 수 있다.The system may further include a recording unit for mapping and recording the vehicle driving information and the driver inattention determination information whenever the driver is determined to be careless.

본 발명에 의하면 차량의 주행 속도의 변화에 따라 적절하게 경고 발생 여부를 가변시킴으로써 운전자 부주의 여부를 정확하게 판단할 수 있다. 또한 운전자 부주의 정보를 차량 운행 정보와 함께 제공함으로써 사고 발생 시 과실 여부 등을 정확하게 판단할 수 있고, 평소에도 차량의 운행 관리 등에 활용할 수 있다.According to the present invention, it is possible to accurately determine whether a driver is careless by varying whether or not a warning is generated appropriately according to a change in the running speed of the vehicle. In addition, by providing driver inattention information together with vehicle driving information, it is possible to accurately determine whether or not an accident has occurred, and it can be used for vehicle management and the like.

도 1은 본 발명의 일 실시예에 따른 운전 부주의 경고 시스템의 구성을 나타낸 블록도이다.
도 2는 본 발명의 일 실시예에 따른 얼굴 영상에서 얼굴 영역을 검출한 것을 예시한 도면이다.
도 3은 본 발명의 일 실시예에 따른 얼굴 방향 검출 알고리즘을 설명하기 위해 제공되는 도면이다.
도 4는 본 발명의 일 실시예에 따른 얼굴 방향 각도를 구하는 방법을 설명하기 위해 제공되는 흐름도이다.
도 5는 본 발명의 일 실시예에 따른 운전 부주의 경고 시스템의 동작을 설명하기 위해 제공되는 흐름도이다.1 is a block diagram showing a configuration of a driving carelessness warning system according to an embodiment of the present invention.
FIG. 2 is a diagram illustrating detection of a face region in a face image according to an exemplary embodiment of the present invention. Referring to FIG.
3 is a view for explaining a face direction detection algorithm according to an embodiment of the present invention.
4 is a flow chart for explaining a method for obtaining a face direction angle according to an embodiment of the present invention.
5 is a flow chart for explaining the operation of the inattentive warning system according to an embodiment of the present invention.

그러면 첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다.Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings so that those skilled in the art can easily carry out the present invention.

도 1은 본 발명의 일 실시예에 따른 운전 부주의 경고 시스템의 구성을 나타낸 블록도이다.1 is a block diagram showing a configuration of a driving carelessness warning system according to an embodiment of the present invention.

도 1을 참고하면, 본 발명에 따른 운전 부주의 경고 시스템(100)은 제1 카메라(110), 얼굴 방향 계산부(120), 차량 운행 정보 제공부(130), 제어부(140), 경고부(150)를 포함하며, 실시예에 따라서 제2 카메라(160), 기록부(170) 및 통신부(180)를 더 포함할 수 있다.Referring to FIG. 1, a driving carelessness warning system 100 according to the present invention includes a first camera 110, a face direction calculation unit 120, a vehicle driving information providing unit 130, a control unit 140, 150, and may further include a second camera 160, a recording unit 170, and a communication unit 180 according to an embodiment.

제1 카메라(110)는 운전자의 얼굴을 촬영하여 얼굴 영상을 획득할 수 있다.The first camera 110 can acquire the face image by photographing the face of the driver.

제1 카메라(110)는 운전자의 얼굴을 촬영할 수 있도록 차량의 실내에 설치될 수 있다. 운전자가 운전석에 앉아서 정면을 바라볼 때 운전자의 얼굴 정면을 촬영할 수 있는 위치에 카메라(110)가 설치되는 것이 바람직하나, 운전자가 운전할 때 전방을 주시하는데 장애가 되지 않는 위치에 설치될 수도 있다.The first camera 110 may be installed in the interior of the vehicle so as to photograph the face of the driver. It is preferable that the camera 110 is installed at a position where the front face of the driver can be photographed when the driver sits in the driver's seat and sees the front face. However, the camera 110 may be installed at a position where the driver does not obstruct the front view when driving.

얼굴 방향 계산부(120)는 제1 카메라(110)에서 촬영된 얼굴 영상을 이용하여 운전자의 얼굴 방향 각도를 계산할 수 있다. 얼굴 방향 계산부(120)에서 운전자 얼굴 방향 각도를 계산하는 방법에 대해서는 아래에서 자세히 설명한다.The face direction calculation unit 120 may calculate the face direction angle of the driver using the face image photographed by the first camera 110. [ A method for calculating the driver's face direction angle in the face direction calculation unit 120 will be described in detail below.

차량 운행 정보 제공부(130)는 차량의 주행 속도를 포함하는 차량 운행 정보를 생성하여 제공할 수 있다. 차량 운행 정보는 차량 주행 속도 외에도 조향각 정보, 기어 위치 정보, 브레이크 정보 또는 충격 감지 정보 등을 포함할 수 있다.The vehicle driving information providing unit 130 may generate and provide vehicle driving information including the traveling speed of the vehicle. The vehicle driving information may include steering angle information, gear position information, brake information, or shock detection information in addition to the vehicle running speed.

차량 운행 정보 제공부(130)는 차량에 장착된 ECU(electronic control unit)(도시하지 않음)로부터 차량 주행 속도, 조향각 정보, 기어 위치 정보, 브레이크 정보 등을 제공받을 수 있으며, 실시예에 따라 차량에 장착된 GPS 모듈(도시하지 않음)로부터 수신되는 GPS 신호로부터 차량 주행 속도를 계산할 수도 있다. 그 외에도 차량에 자이로 센서나 기타 충격 감지 센서가 장착된 경우, 차량 운행 정보 제공부(130)는 충격 감지 정보를 생성하여 제공할 수도 있다.The vehicle driving information providing unit 130 may receive vehicle running speed, steering angle information, gear position information, and brake information from an electronic control unit (ECU) (not shown) mounted on the vehicle. The vehicle speed may be calculated from the GPS signal received from a GPS module (not shown) mounted on the vehicle. In addition, when the vehicle is equipped with a gyro sensor or other shock detection sensor, the vehicle driving information providing unit 130 may generate and provide shock detection information.

실시예에 따라서 차량 운행 정보 제공부(130)는 차량의 전방, 후방 또는 측방을 촬영하는 제2 카메라(160)로부터 획득된 차량 주변 영상을 처리하여 차량의 전방을 운행하는 선행 차량과의 거리를 검출하여 차량 운행 정보로 제공할 수 있다. 물론 차량에 적외선 센서, 초음파 센서 또는 레이저 센서 등을 장착하고, 해당 센서로부터 측정된 선행 차량과의 거리를 차량 운행 정보로 제공하는 것도 가능하다. 또한 선행 차량뿐만 아니라 차량의 후방 또는 측방에 위치한 외부 차량과의 거리를 검출하여 차량 운행 정보로 제공할 수도 있다.According to the embodiment, the vehicle driving information providing unit 130 processes the vehicle periphery image obtained from the second camera 160 photographing the front, rear, or side of the vehicle to calculate the distance from the preceding vehicle that travels in front of the vehicle And can provide the information as vehicle driving information. Of course, it is also possible to mount an infrared sensor, an ultrasonic sensor, a laser sensor or the like on the vehicle, and to provide the distance to the preceding vehicle measured from the sensor as vehicle driving information. It is also possible to detect the distance to an external vehicle located at the rear or side of the vehicle as well as the preceding vehicle and provide the information as vehicle driving information.

한편 제1 카메라(110)에서 촬영된 운전자 얼굴 영상도 차량 운행 정보에 포함할 수 있다.Meanwhile, the driver's face image photographed by the first camera 110 may be included in the vehicle driving information.

제어부(140)는 운전 부주의 경고 시스템(100)의 전체적인 동작을 제어한다. 특히 본 발명에 따른 제어부(140)는 차량 운행 정보와 운전자 얼굴 방향 각도를 기초로 운전자의 부주의 여부를 판단할 수 있다. 운전자가 부주의한 것으로 판단되면, 제어부(140)는 경고부(150)를 통해 운전자의 주의를 환기시키도록 경고를 발생시킬 수 있다.The control unit 140 controls the overall operation of the driving carelessness warning system 100. In particular, the control unit 140 according to the present invention can determine whether the driver is careless based on the vehicle driving information and the driver's face direction angle. If it is determined that the driver is careless, the control unit 140 may generate a warning through the warning unit 150 to alert the driver.

차량의 속도가 빨라지면 운전자의 시야각이 좁아지므로 속도가 올라갈수록 운전자가 더 주의를 기울여야 한다. 따라서 제어부(140)는 차량의 속도가 빨라질수록 정상으로 판단하는 운전자 얼굴 방향 각도 범위를 좁게 설정하는 것이 바람직하다. 마찬가지로 제어부(140)는 선행 차량과 거리가 짧아질수록 정상으로 판단하는 운전자 얼굴 방향 각도 범위를 좁게 설정하는 것이 바람직하다.As the speed of the vehicle increases, the angle of view of the driver becomes narrower, so the driver should pay more attention as the speed increases. Therefore, it is preferable that the controller 140 sets the driver's face direction angle range to be normal as the vehicle speed increases. Likewise, the controller 140 preferably sets the driver's face direction angle range that is determined to be normal as the distance from the preceding vehicle becomes shorter.

경고부(150)는 시각적 방법, 촉각적 방법 또는 청각적 방법이나 복합적인 방법으로 경고를 출력할 수 있는 장치가 이용될 수 있다. 예컨대 경고부(150)는 스피커, LED 램프 또는 진동 모터 등이 이용될 수 있다. 진동 모터는 핸들에 진동을 주거나 사용자가 착석한 의자에 진동을 줄 수 있게 설치할 수 있다.The warning unit 150 may be a device capable of outputting a warning by a visual method, a tactile method, an auditory method, or a combination method. For example, the warning unit 150 may be a speaker, an LED lamp, a vibration motor, or the like. Vibration motors can be installed to give vibrations to the steering wheel or to allow the user to vibrate the seated chair.

제2 카메라(160)는 차량의 전방, 후방 또는 측방 등 차량의 주변을 촬영할 수 있도록 차량의 실내 또는 외부에 하나 또는 복수 개가 장착될 수 있다.The second camera 160 may be mounted in the interior or the exterior of the vehicle so that the second camera 160 can photograph the surroundings of the vehicle such as the front, rear, or side of the vehicle.

기록부(170)는 제2 카메라(160)에서 촬영된 영상을 기록하는 기능을 수행할 수 있다.The recording unit 170 may perform a function of recording an image photographed by the second camera 160.

제2 카메라(160)와 기록부(170)는 일반적으로 블랙박스로 알려진 것과 같은 기능을 수행하는 장치로 구현될 수도 있다.The second camera 160 and the recording unit 170 may be implemented as an apparatus that performs a function generally known as a black box.

제어부(140)는 차량에 미리 정해진 크기 이상의 충격이 감지되면, 충격이 감지될 때의 차량 운행 정보와 운전자 부주의 판단 정보를 매핑하여 기록부(170)에 기록할 수 있다. 물론 제어부(140)는 충격이 감지되었을 때 제2 카메라(160)에서 촬영된 영상을 차량 운행 정보와 운전자 부주의 판단 정보와 함께 기록부(170)에 기록할 수도 있다. 또한 실시예에 따라서 제1 카메라(110)에 의해 촬영된 운전자 얼굴 영상도 함께 기록하는 것도 가능하다. 물론 제2 카메라(160)가 차량에 장착되지 않은 경우에는 차량 운행 정보와 운전자 부주의 판단 정보만을 기록부(170)에 기록하는 것도 가능하다.The control unit 140 may map the vehicle driving information when the impact is detected and the driver inattention determination information to the recording unit 170 when an impact of a predetermined magnitude or more is detected in the vehicle. Of course, the control unit 140 may record the image photographed by the second camera 160 in the recording unit 170 together with the vehicle operation information and the driver inattention determination information when an impact is detected. It is also possible to record the driver's face image photographed by the first camera 110 according to the embodiment. Of course, when the second camera 160 is not mounted on the vehicle, it is also possible to record only the vehicle driving information and the driver inattention determination information in the recording unit 170. [

통신부(180)는 운전 부주의 경고 시스템(100)이 통신망(도시하지 않음)을 통해 보험사, 경찰서, 차량 소유자 서버 또는 기타 기관에서 운영하는 외부 서버(도시하지 않음)로 충격이 감지될 때의 차량 운행 정보와 운전자 부주의 판단 정보를 전송하는 것을 지원할 수 있다. 물론 운전 부주의 경고 시스템(100)은 충격이 감지되었을 때 차량 주변 영상 및 운전자 얼굴 영상을 함께 전송하는 것도 가능하다.The communication unit 180 may be configured to allow the driver's carelessness warning system 100 to detect an impact upon an external server (not shown) operated by an insurance company, a police station, a vehicle owner server, or other organization through a communication network Information and driver's carelessness determination information. Of course, the driver's carelessness warning system 100 may also transmit the vehicle periphery image and the driver's face image when an impact is detected.

통신부(180)는 2G, 3G, 4G, 와이브로 등의 이동통신이나 와이파이(Wi-Fi) 또는 블루투스(bluetooth)(BT) 등의 근거리 통신 기능을 지원할 수 있다. 또한 통신부(180)는 IEEE802.11p 규격 또는 IEEE P1609 규격에 따른 WAVE(Wireless Access in Vehicular Environment) 통신을 지원할 수 있다.The communication unit 180 may support mobile communication such as 2G, 3G, 4G, and WiBro, or a short-range communication function such as Wi-Fi or Bluetooth. Also, the communication unit 180 can support WAVE (Wireless Access in Vehicular Environment) communication according to the IEEE802.11p standard or the IEEE P1609 standard.

보험사는 차량으로부터 전송된 차량 운행 정보, 운전자 부주의 판단 정보 등을 기초로 운전자의 과실 여부를 판단할 수 있으며, 보험료 할인을 제공하는데 이용하는 것도 가능하다.The insurance company can determine whether the driver is negligent based on the vehicle driving information transmitted from the vehicle, driver's carelessness judgment information, or the like, and can also be used to provide a premium discount.

버스 회사, 택시 회사 등을 포함한 차량 소유자는 서버에 수집된 차량 운행 정보, 운전자 부주의 판단 정보 등을 기초로 운전자를 관리할 수 있다.The vehicle owner, including the bus company, the taxi company, etc., can manage the driver based on the vehicle driving information collected on the server, the driver inattention information, and the like.

그 외에도 운전 부주의 경고 시스템(100)을 통해 수집된 차량 운행 정보 및 운전자 부주의 판단 정보를 다양하게 이용하는 것이 가능하다.In addition, it is possible to use the vehicle driving information and the driver inattention determination information collected through the driving carelessness warning system 100 in various ways.

그러면 본 발명에 따른 운전 부주의 경고 시스템(100)의 운전자 얼굴 방향 각도 계산 방법에 대해서 보다 자세히 설명한다.A method for calculating the driver's face direction angle of the driving carelessness warning system 100 according to the present invention will now be described in detail.

도 2는 본 발명의 일 실시예에 따른 얼굴 영상에서 얼굴 영역을 검출한 것을 예시한 도면이다.FIG. 2 is a diagram illustrating detection of a face region in a face image according to an exemplary embodiment of the present invention. Referring to FIG.

도 2를 참고하면, (a)는 운전자가 우측 방향을 바라보고 있는 경우를 나타내고, (b)는 운전자가 정면 방향을 바라보고 있는 경우를 나타내며, (c)는 운전자가 좌측 방향을 바라보고 있는 경우를 나타낸다.Referring to FIG. 2, (a) shows a case in which the driver looks in the right direction, (b) shows a case in which the driver looks in the front direction, Respectively.

도 2에서 녹색 사각형은 얼굴 영상에서 검출된 우측 눈 영역 및 좌측 눈 영역을 나타내고, 파란색 사각형은 얼굴 영상에서 검출된 코 영역을 나타낸다.In FIG. 2, a green rectangle represents a right eye region and a left eye region detected from a face image, and a blue rectangle represents a nose region detected from a face image.

도 3은 본 발명의 일 실시예에 따른 얼굴 방향 검출 알고리즘을 설명하기 위해 제공되는 도면이다.3 is a view for explaining a face direction detection algorithm according to an embodiment of the present invention.

도 3을 참고하면, 우측 눈 영역(ER)에서 중심점(P1)의 x 좌표값(xP1)을 구하고, 좌측 눈 영역(EL)에서 중심점(P2)의 x 좌표값(xP2)을 구하고, 코 영역(N)에서 중심점(N1)의 x 좌표값(xN1)을 구할 수 있다.Referring to Figure 3, to obtain the x-coordinate value (x P1) of the center point (P1) in the right eye region (E R), the x coordinate value (x P2) of the center point (P2) in the left eye area (E L) , And the x coordinate value (x N1 ) of the center point N1 in the nose region N can be obtained.

그러면 각 영역의 중심점의 x 좌표값을 아래 수학식 1에 적용함으로써 얼굴 방향 검출부(130)는 운전자의 얼굴 방향 각도를 검출할 수 있다. Then, by applying the x-coordinate value of the center point of each area to Equation 1 below, the face direction detecting unit 130 can detect the direction angle of the driver's face.

Figure 112016065091293-pat00003
Figure 112016065091293-pat00003

Figure 112016065091293-pat00004
Figure 112016065091293-pat00004

여기서, r은 정면을 기준으로 얼굴 방향이 이루는 각도이고, xN1은 코 영역 중심의 x 좌표값, xP1은 우측 눈 영역 중심의 x 좌표값, xP2는 좌측 눈 영역 중심의 x 좌표값이며, r > 0 이면 얼굴 방향이 우측 방향을 이루고, r < 이면 얼굴 방향이 좌측 방향이다.Here, r is the angle formed by the face direction with respect to the front face, x N1 is the x coordinate value of the center of the nose region, x P1 is the x coordinate value of the center of the right eye region, and x P2 is the x coordinate value of the center of the left eye region , r> 0, the face direction is the right direction, and if r <, the face direction is the left direction.

수학식 1에 의하면 각 영역의 중심점의 x 좌표값에 대해서만 계산에 이용하므로, y 좌표값은 이용하지 않아도 되어 종래 알고리즘보다 계산이 보다 간단해지면서도, 운전자가 전방 주시를 하고 있지 않은 정도를 검출하는데 충분한 정확도를 제공할 수 있다.According to Equation (1), since only the x-coordinate value of the center point of each area is used for the calculation, the y-coordinate value is not used, so that the calculation is simpler than the conventional algorithm, Sufficient accuracy can be provided.

카메라(110)가 운전자의 얼굴 정면에 설치된 경우, 운전자가 정면을 바라볼 때 수학식 1에 의해 구해지는 얼굴 방향 각도가 0°로 구해질 수 있으나, 실제 카메라(110)는 운전자 얼굴의 정면에 장착되기 어려우므로 얼굴 방향 각도를 보정할 필요가 있을 수 있다.When the camera 110 is installed on the front of the driver's face, the angle of the face obtained by the equation (1) can be obtained as 0 ° when the driver looks at the front face. However, Since it is difficult to mount, it may be necessary to correct the face direction angle.

실시예에 따라서 시작 모드를 수행하여 기준 얼굴 방향 각도를 구하고, 주행 모드 상에서 수학식 1에 의해 구해지는 얼굴 방향 각도를 기준 얼굴 방향 각도를 적용하여 보정하도록 구현하는 것도 가능하다. 물론 시작 모드를 생략하고 바로 주행 모드로 동작하여 수학식 1에 의해 구해지는 얼굴 방향 각도를 운전자 부주의 여부 판단에 이용하도록 구현하는 것도 가능하다.According to the embodiment, it is also possible to implement the start mode to obtain the reference face direction angle, and to correct the face direction angle obtained by Equation 1 in the running mode by applying the reference face direction angle. Of course, it is also possible to omit the start mode and operate in the running mode immediately, and to use the face direction angle obtained by Equation (1) to determine whether or not the driver is carelessness.

이하에서는 시작 모드와 주행 모드로 구분하여 운전자의 얼굴 방향 각도를 구하는 방법에 대해서 설명한다.Hereinafter, a method of obtaining the direction angle of the driver's face by dividing into the start mode and the driving mode will be described.

도 4는 본 발명의 일 실시예에 따른 얼굴 방향 각도를 구하는 방법을 설명하기 위해 제공되는 흐름도이다.4 is a flow chart for explaining a method for obtaining a face direction angle according to an embodiment of the present invention.

도 4를 참고하면, 먼저 운전자가 운전석에 착석하여 시작 명령을 입력하면(S410), 제어부(140)는 시작 모드로 동작하면서, 운전자가 정면을 바라볼 수 있도록 "정면을 바라보세요"와 같은 안내 메시지를 스피커 또는 모니터(도시하지 않음) 등을 통해 출력되게 한다(S420).4, when the driver sits in the driver's seat and inputs a start command (S410), the controller 140 operates in the start mode and displays guidance such as "Look straight ahead" The message is output through a speaker or a monitor (not shown) (S420).

다음으로 제어부(140)는 시작 모드에서 획득된 얼굴 영상에 대해서 얼굴 방향 계산부(120)가 수학식 1에 따른 얼굴 방향 검출 알고리즘을 적용하여 얼굴 방향 각도를 구하도록 할 수 있다(S430).Next, the controller 140 may determine the face direction angle by applying the face direction detection algorithm according to Equation 1 to the face image obtained in the start mode (S430).

단계(S430)에서 구해진 얼굴 방향 각도가 미리 정해진 범위를 벗어나면(S440-N), 제어부(140)는 다시 단계(S420) 내지 단계(S440)를 반복되게 한다. 예컨대 시작 모드에서 검출된 얼굴 방향 각도가 미리 정해진 범위(예컨대 -10°~ 10°) 내에 있을 때까지 단계(S420) 내지 단계(S440)를 반복되게 할 수 있다. 시작 모드에서 검출된 얼굴 방향 각도가 기준 범위에서 벗어난 경우에는 운전자에게 "다시 정면을 바라보세요"와 같은 메시지를 출력하여 기준 얼굴 방향 각도를 다시 설정하도록 할 수 있다.If the face direction angle obtained in step S430 is out of a predetermined range (S440-N), the controller 140 repeats steps S420 to S440. For example, steps S420 to S440 may be repeated until the detected face direction angle in the start mode is within a predetermined range (e.g., -10 ° to 10 °). If the face direction angle detected in the start mode deviates from the reference range, a message such as "Look forward again" may be output to the driver to reset the reference face direction angle.

한편 단계(S430)에서 구해진 얼굴 방향 각도가 미리 정해진 범위이면(S440-Y), 제어부(140)는 단계(S430)에서 구해진 얼굴 방향 각도를 기준 얼굴 방향 각도로 설정한다(S450).If the face direction angle obtained in step S430 is a predetermined range (S440-Y), the controller 140 sets the face direction angle obtained in step S430 as the reference face direction angle (S450).

다음으로 제어부(140)는 얼굴 방향 계산부(120)가 주행 모드 상에서 획득된 얼굴 영상에 수학식 1에 따른 얼굴 방향 검출 알고리즘을 적용하여 얼굴 방향 각도를 구하게 할 수 있다(S460).Next, the control unit 140 may obtain the face direction angle by applying the face direction detection algorithm according to Equation (1) to the face image obtained in the traveling mode by the face direction calculation unit 120 (S460).

실시예에 따라서 얼굴 방향 계산부(120)는 단계(S460)에서 구해진 얼굴 방향 각도에 기준 얼굴 방향 각도를 이용하여 보정된 얼굴 방향 각도를 구할 수 있다(S470).According to the embodiment, the face direction calculation unit 120 may calculate the corrected face direction angle using the reference face direction angle with respect to the face direction angle obtained in step S460 (S470).

도 5는 본 발명의 일 실시예에 따른 운전 부주의 경고 시스템의 동작을 설명하기 위해 제공되는 흐름도이다.5 is a flow chart for explaining the operation of the inattentive warning system according to an embodiment of the present invention.

도 5를 참고하면, 먼저 제어부(140)는 차량 운행 정보 제공부(130)로부터 차량 운행 정보를 제공받을 수 있다(S510). Referring to FIG. 5, first, the control unit 140 receives vehicle driving information from the vehicle driving information providing unit 130 (S510).

다음으로 제어부(140)는 얼굴 방향 계산부(120)로부터 운전자 얼굴 방향 각도를 제공받을 수 있다(S520). 물론 실시예에 따라서 단계(S510)와 단계(S520)는 동시에 이루어지거나 그 순서가 바뀔 수도 있으며, 미리 정해진 주기마다 반복적으로 차량 운행 정보 제공부(130)와 얼굴 방향 계산부(120)로부터 제공받을 수 있다.Next, the control unit 140 may receive the driver's face direction angle from the face direction calculation unit 120 (S520). Of course, depending on the embodiment, steps S510 and S520 may be performed at the same time or may be changed in order, and may be repeatedly provided from the vehicle driving information providing unit 130 and the face direction calculating unit 120 .

이후 제어부(140)는 차량 운행 정보와 운전자 얼굴 방향 각도를 기초로 운전자의 부주의 여부를 판단할 수 있다(S530). 단계(S530)에서 제어부(140)는 차량의 속도가 빨라질수록 정상으로 판단하는 운전자 얼굴 방향 각도 범위를 좁게 설정하는 것이 바람직하다. 마찬가지로 제어부(140)는 선행 차량과 거리가 짧아질수록 정상으로 판단하는 운전자 얼굴 방향 각도 범위를 좁게 설정하는 것이 바람직하다.Thereafter, the controller 140 may determine whether the driver is careless based on the vehicle driving information and the driver's face direction angle (S530). In step S530, it is preferable that the controller 140 sets the driver's face direction angle range to be normal as the vehicle speed increases. Likewise, the controller 140 preferably sets the driver's face direction angle range that is determined to be normal as the distance from the preceding vehicle becomes shorter.

다음으로 제어부(140)는 운전자가 부주의 한 것으로 판단되면(S540-Y), 경고부(150)를 통해 경고를 발생시킬 수 있다(S550).Next, if it is determined that the driver is careless (S540-Y), the control unit 140 can generate a warning through the warning unit 150 (S550).

한편 제어부(140)는 단계(S510) 내지 단계(S540)을 반복하다가 차량 충격이 감지되면(S560-Y), 기록부(170)에 차량 운행 정보와 운전자 부주의 판단 정보를 매핑하여 기록할 수 있다(S570). 운전자 부주의 판단 정보에 운전자 얼굴 방향 각도 정보를 포함시킬 수 있으며, 차량 운행 정보에 제1 카메라(110) 또는 제2 카메라(160)에서 촬영된 영상을 포함시킬 수도 있다.On the other hand, if the vehicle impact is detected (S560-Y), the controller 140 repeats steps S510 to S540 and maps the vehicle driving information and the driver inattention determination information to the recording unit 170 S570). The driver's carelessness judgment information may include the driver's face direction angle information and the vehicle driving information may include the image photographed by the first camera 110 or the second camera 160. [

실시예에 따라서 경고를 발생시킬 때마다(S550), 차량 운행 정보와 운전자 부주의 판단 정보를 매핑하여 기록할 수 있다(S570). 운전자 부주의 판단 정보에 운전자 얼굴 방향 각도 정보를 포함시킬 수도 있다.Whenever an alarm is generated according to the embodiment (S550), the vehicle operation information and the driver inattention determination information may be mapped and recorded (S570). The driver's carelessness judgment information may include the driver's face direction angle information.

한편 제어부(140)는 기록부(170)에 기록된 차량 운행 정보와 운전자 부주의 판단 정보를 통신망을 통해 실시간으로 또는 미리 정해진 주기마다 또는 사용자에 의해 정보 전송이 선택되었을 때 외부 서버로 전송하는 것도 가능하다.Meanwhile, the control unit 140 can transmit the vehicle driving information and the driver inattention determination information recorded in the recording unit 170 to the external server through the communication network in real time, at predetermined time intervals, or when information transmission is selected by the user .

본 발명의 실시예는 다양한 컴퓨터로 구현되는 동작을 수행하기 위한 프로그램 명령을 포함하는 컴퓨터로 읽을 수 있는 매체를 포함한다. 이 매체는 앞서 설명한 운전 부주의 경고 방법을 실행시키기 위한 프로그램을 기록한다. 이 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 이러한 매체의 예에는 하드디스크, 플로피디스크 및 자기 테이프와 같은 자기 매체, CD 및 DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 자기-광 매체, 롬, 램, 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 구성된 하드웨어 장치 등이 있다. 또는 이러한 매체는 프로그램 명령, 데이터 구조 등을 지정하는 신호를 전송하는 반송파를 포함하는 광 또는 금속선, 도파관 등의 전송 매체일 수 있다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.Embodiments of the present invention include a computer-readable medium having program instructions for performing various computer-implemented operations. This medium records a program for executing the driving carelessness warning method described above. The medium may include program instructions, data files, data structures, etc., alone or in combination. Examples of such media include magnetic media such as hard disks, floppy disks and magnetic tape, optical recording media such as CD and DVD, programmed instructions such as floptical disk and magneto-optical media, ROM, RAM, And a hardware device configured to store and execute the program. Or such medium may be a transmission medium, such as optical or metal lines, waveguides, etc., including a carrier wave that transmits a signal specifying a program command, data structure, or the like. Examples of program instructions include machine language code such as those produced by a compiler, as well as high-level language code that can be executed by a computer using an interpreter or the like.

이상에서 본 발명의 바람직한 실시예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속하는 것이다.While the present invention has been particularly shown and described with reference to exemplary embodiments thereof, it is to be understood that the invention is not limited to the disclosed exemplary embodiments, Of the right.

Claims (12)

차량 운행 정보를 제공받는 단계,
운전자 얼굴 방향 각도를 제공받는 단계,
상기 차량 운행 정보와 상기 운전자 얼굴 방향 각도를 기초로 운전자의 부주의 여부를 판단하는 단계, 그리고
차량에 소정 크기 이상의 충격이 감지되거나 운전자가 부주의한 것으로 판단될 때마다, 상기 차량 운행 정보와 상기 운전자 부주의 판단 정보를 매핑하여 기록하는 단계
를 포함하고,
상기 운전자 부주의 판단 정보는 상기 운전자 얼굴 방향 각도를 포함하며,
상기 차량 운행 정보는 차량 속도 또는 선행 차량 정보를 포함하고,
상기 차량 속도가 빨라지거나 선행 차량과 거리가 짧아지면 정상으로 판단하는 운전자 얼굴 방향 각도 범위가 좁아지며,
상기 운전자 얼굴 방향 각도는, 운전자 얼굴 영상에서 구해진 좌측 눈, 우측 눈 및 코의 각 영역 중심점을 이용하여 아래 수학식에 의해 구해지고,
Figure 112017038971246-pat00005

Figure 112017038971246-pat00006

여기서, r은 정면을 기준으로 얼굴 방향이 이루는 각도이고, xN1은 코 영역 중심의 x 좌표값, xP1은 우측 눈 영역 중심의 x 좌표값, xP2는 좌측 눈 영역 중심의 x 좌표값이며, r > 0 이면 얼굴 방향이 우측 방향을 이루고, r < 이면 얼굴 방향이 좌측 방향인 운전 부주의 경고 방법.Receiving vehicle driving information,
Receiving a driver's face direction angle,
Determining whether the driver is careless based on the vehicle driving information and the driver's face direction angle, and
A step of mapping and recording the vehicle driving information and the driver inattention determination information whenever an impact of a predetermined size or more is detected in the vehicle or when it is determined that the driver is careless
Lt; / RTI &gt;
Wherein the driver's carelessness determination information includes the driver's face direction angle,
Wherein the vehicle driving information includes vehicle speed or preceding vehicle information,
If the vehicle speed becomes faster or the distance to the preceding vehicle becomes shorter, the driver's face direction angle range that is judged to be normal becomes narrower,
The driver's face direction angle is obtained by the following equation using the center point of each region of the left eye, right eye, and nose obtained from the driver's face image,
Figure 112017038971246-pat00005

Figure 112017038971246-pat00006

Here, r is the angle formed by the face direction with respect to the front face, x N1 is the x coordinate value of the center of the nose region, x P1 is the x coordinate value of the center of the right eye region, and x P2 is the x coordinate value of the center of the left eye region , r> 0, the face direction is the right direction, and if r <, the face direction is the left direction. 삭제delete 삭제delete 삭제delete 삭제delete 삭제delete 차량 운행 정보를 생성하는 차량 운행 정보 제공부,
운전자 얼굴 방향 각도를 계산하는 얼굴 방향 계산부,
상기 차량 운행 정보와 상기 운전자 얼굴 방향 각도를 기초로 운전자의 부주의 여부를 판단하는 제어부, 그리고
차량에 소정 크기 이상의 충격이 감지되거나 운전자가 부주의한 것으로 판단될 때마다, 상기 차량 운행 정보와 상기 운전자 부주의 판단 정보를 매핑하여 기록하는 기록부
를 포함하고,
상기 운전자 부주의 판단 정보는 상기 운전자 얼굴 방향 각도를 포함하며,
상기 차량 운행 정보는 차량 속도 또는 선행 차량 정보를 포함하고,
상기 차량 속도가 빨라지거나 선행 차량과 거리가 짧아지면 정상으로 판단하며,
상기 운전자 얼굴 방향 각도는,
운전자 얼굴 영상에서 구해진 좌측 눈, 우측 눈 및 코의 각 영역 중심점을 이용하여 아래 수학식에 의해 구해지고,
Figure 112017038971246-pat00007

Figure 112017038971246-pat00008

여기서, r은 정면을 기준으로 얼굴 방향이 이루는 각도이고, xN1은 코 영역 중심의 x 좌표값, xP1은 우측 눈 영역 중심의 x 좌표값, xP2는 좌측 눈 영역 중심의 x 좌표값이며, r > 0 이면 얼굴 방향이 우측 방향을 이루고, r < 이면 얼굴 방향이 좌측 방향인 운전 부주의 경고 시스템.Vehicle driving information generating means for generating vehicle driving information,
A face direction calculation unit for calculating a driver face direction angle,
A controller for determining whether the driver is careless based on the vehicle driving information and the driver's face direction angle;
A recording unit for mapping and recording the vehicle driving information and the driver inattention determination information whenever an impact of a predetermined size or more is detected in the vehicle or the driver is determined to be careless,
Lt; / RTI &gt;
Wherein the driver's carelessness determination information includes the driver's face direction angle,
Wherein the vehicle driving information includes vehicle speed or preceding vehicle information,
If the vehicle speed becomes faster or the distance from the preceding vehicle becomes shorter, it is judged as normal,
The driver's face direction angle
Using the center point of each area of the left eye, the right eye and the nose obtained from the driver's face image,
Figure 112017038971246-pat00007

Figure 112017038971246-pat00008

Here, r is the angle formed by the face direction with respect to the front face, x N1 is the x coordinate value of the center of the nose region, x P1 is the x coordinate value of the center of the right eye region, and x P2 is the x coordinate value of the center of the left eye region , r> 0, the face direction is the right direction, and if r <, the face direction is the left direction. 삭제delete 삭제delete 삭제delete 삭제delete 삭제delete
KR1020160084920A 2016-07-05 2016-07-05 Driver distraction warning system and method KR101763389B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020160084920A KR101763389B1 (en) 2016-07-05 2016-07-05 Driver distraction warning system and method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160084920A KR101763389B1 (en) 2016-07-05 2016-07-05 Driver distraction warning system and method

Publications (1)

Publication Number Publication Date
KR101763389B1 true KR101763389B1 (en) 2017-07-31

Family

ID=59419103

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160084920A KR101763389B1 (en) 2016-07-05 2016-07-05 Driver distraction warning system and method

Country Status (1)

Country Link
KR (1) KR101763389B1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102180933B1 (en) * 2019-12-11 2020-11-19 광주과학기술원 A Method and Apparatus for Accidental Negligence Evaluation of Accident Image Using Deep Learning

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003291688A (en) * 2002-04-03 2003-10-15 Denso Corp Display method, driving support device and program
JP2005196567A (en) * 2004-01-08 2005-07-21 Nissan Motor Co Ltd Face direction detecting device
JP5008494B2 (en) * 2007-08-07 2012-08-22 ヤマハ発動機株式会社 Caution information presentation system and motorcycle

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003291688A (en) * 2002-04-03 2003-10-15 Denso Corp Display method, driving support device and program
JP2005196567A (en) * 2004-01-08 2005-07-21 Nissan Motor Co Ltd Face direction detecting device
JP5008494B2 (en) * 2007-08-07 2012-08-22 ヤマハ発動機株式会社 Caution information presentation system and motorcycle

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102180933B1 (en) * 2019-12-11 2020-11-19 광주과학기술원 A Method and Apparatus for Accidental Negligence Evaluation of Accident Image Using Deep Learning
WO2021118047A1 (en) * 2019-12-11 2021-06-17 광주과학기술원 Method and apparatus for evaluating accident fault in accident image by using deep learning

Similar Documents

Publication Publication Date Title
CN105989749B (en) System and method for prioritizing driver alerts
CN107415938B (en) Controlling autonomous vehicle functions and outputs based on occupant position and attention
JP6342856B2 (en) Vehicle control device
KR102051142B1 (en) System for managing dangerous driving index for vehicle and method therof
JP6497915B2 (en) Driving support system
US20180105184A1 (en) Vehicle control system
CN111361552B (en) Automatic driving system
CN103781696B (en) Driver assistance system for supporting driver in the related situation of collision
EP2687407B1 (en) Apparatus and method for localizing sound image for vehicle&#39;s driver
FI124068B (en) A method to improve driving safety
US11485380B2 (en) Method and control device for warning a driver of a motor vehicle and motor vehicle with such a control device
JP2012084108A (en) Driver&#39;s gaze direction-associated front collision risk warning system, method thereof, and vehicle utilizing the same
JP6269360B2 (en) Driving support system and driving support method
WO2020031695A1 (en) Information processing device, mobile body, information processing method, and program
JP2016066231A (en) Collision prevention device, collision prevention method, collision prevention program, and recording medium
WO2019131116A1 (en) Information processing device, moving device and method, and program
KR20210037791A (en) Autonomous driving apparatus and method
JP4421668B2 (en) Imaging control apparatus, imaging control method, imaging control program, and recording medium
KR20210037790A (en) Autonomous driving apparatus and method
KR20180126224A (en) vehicle handling methods and devices during vehicle driving
KR101763389B1 (en) Driver distraction warning system and method
CN112519786A (en) Apparatus and method for evaluating eye sight of occupant
JP5742201B2 (en) Driving support device, driving support method, and driving support program
JP2019105941A (en) Travel support method and travel support device
JP2020095356A (en) Abnormality detection device, abnormality detection system and abnormality detection program

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant