KR20210119243A - Blackbox System for Detecting Drowsy Driving and Careless Driving and Method thereof - Google Patents
Blackbox System for Detecting Drowsy Driving and Careless Driving and Method thereof Download PDFInfo
- Publication number
- KR20210119243A KR20210119243A KR1020200035929A KR20200035929A KR20210119243A KR 20210119243 A KR20210119243 A KR 20210119243A KR 1020200035929 A KR1020200035929 A KR 1020200035929A KR 20200035929 A KR20200035929 A KR 20200035929A KR 20210119243 A KR20210119243 A KR 20210119243A
- Authority
- KR
- South Korea
- Prior art keywords
- driver
- driving
- event
- black box
- image
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G07—CHECKING-DEVICES
- G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
- G07C5/00—Registering or indicating the working of vehicles
- G07C5/08—Registering or indicating performance data other than driving, working, idle, or waiting time, with or without registering driving, working, idle or waiting time
- G07C5/0841—Registering performance data
- G07C5/085—Registering performance data using electronic data carriers
- G07C5/0866—Registering performance data using electronic data carriers the electronic data carrier being a digital video recorder in combination with video camera
-
- G06K9/00845—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
- G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Traffic Control Systems (AREA)
Abstract
Description
본 발명은 졸음운전 및 부주의 운전 감시 서비스를 제공할 수 있는 블랙박스 시스템 및 그 서비스 제공방법에 관한 것이다.The present invention relates to a black box system capable of providing a service for monitoring drowsy driving and careless driving, and a method for providing the service.
자동차 운전 중에 졸음이나 부주의로 운전자의 주의가 산만해지면 필연적으로 사고로 이어진다. 운전 중 졸음뿐만 아니라 운전 중 흡연, 운전 중 주의산만 등 잠시라도 전방 주시를 게을리하면 곧 사고로 이어질 수 있다. 이런 상황을 운전자 개인의 주의에만 맡기기에는 그 부주의의 결과가 지대하기 때문에, 다양한 운전보조장치들이 개발되고 있다. When the driver is distracted by drowsiness or carelessness while driving a car, it inevitably leads to an accident. In addition to drowsiness while driving, smoking while driving or distraction while driving, neglecting to keep an eye on the front even for a short time can lead to an accident. Since the consequences of negligence are too great to leave such a situation to the driver's individual attention, various driving assistance devices are being developed.
졸음운전이나 부주의 운전을 인식하는 방식은 여러 가지가 있는데, 카메라로 운전자를 촬영하여 영상을 분석하는 방식이 주로 사용되고, 지능형운전자보조시스템(ADAS: Advanced Driver Assistance Systems)을 이용해 차선 이탈 정보를 받아 부주의 상황을 인식하기도 한다. 영상을 분석하는 방식은 운전자의 얼굴, 특히 눈의 움직임을 촬영하여 운전자가 졸음 상태인지 또는 부주의 상태인지를 개별 알고리즘에 따라 판단한다. 졸음이나 주의 산만 상태가 인식되면, 자체 장치나 자동차 내부 시스템을 이용하여 시각적, 청각적, 촉각적인 방법으로 운전자에게 경고한다. 운전보조장치가 제공하는 경고로 상황이 개선되지 않고 운전자의 졸음이나 부주의 상태가 지속될 수 있다. 이런 때는 운전자의 상태를 외부에 전달할 필요도 있다.There are several methods for recognizing drowsy driving or careless driving. The main method is to take a picture of the driver with a camera and analyze the image. Also aware of the situation. The image analysis method determines whether the driver is drowsy or inattentive according to an individual algorithm by photographing the driver's face, especially the movement of the eyes. When a state of drowsiness or distraction is recognized, it warns the driver in a visual, auditory, or tactile manner using its own device or internal system. Warnings provided by driving aids do not improve the situation and the driver's state of drowsiness or inattention may persist. In this case, it is also necessary to communicate the driver's state to the outside.
졸음, 부주의와 관련된 운전보조장치는 자동차 제조사가 차량에 내장할 수도 있고, 시판되는 자동차에 부가 장착하는 방식으로 구현될 수도 있다. 부가 장착하는 방식의 운전보조장치 대부분은 스탠드 얼론(Stand Alone)으로 동작하도록 제작되어 운전석의 대시보드 상부 또는 계기판 앞에 설치하도록 구현된다. 이유는 운전자의 얼굴 높이보다 낮아 운전자 얼굴(특히 눈 부분)을 촬영하기에 가장 좋은 고정 위치이기 때문이다. 다만, 종래처럼, 차량의 운전석 대시보드 상단 또는 계기판 앞에 설치할 경우에는 차량의 핸들 등이 계속 또는 반복적으로 영상에 나타나서 잡음으로 작용한다. 그럼에도, 대시보드와 계기판에 카메라를 설치하는 것은, 차량의 핸들 등이 간섭하지 않는 위치가 대부분 운전자의 눈보다 높은 위치가 되는데, 이런 위치에서 촬영한 영상에서는 운전자의 얼굴의 눈을 정확하게 인식하는 것이 용이하지 않기 때문이다. The driving assistance device related to drowsiness and inattention may be embedded in a vehicle by an automobile manufacturer or may be implemented in a manner that is additionally installed in a commercially available vehicle. Most of the additionally mounted driving assistance devices are manufactured to operate as stand-alone and are implemented to be installed on the dashboard of the driver's seat or in front of the instrument panel. The reason is that it is lower than the height of the driver's face and is the best fixed position to photograph the driver's face (especially the eyes). However, as in the prior art, when installed on the top of the dashboard or in front of the dashboard of the vehicle, the steering wheel of the vehicle continuously or repeatedly appears on the image and acts as noise. Nevertheless, when installing the camera on the dashboard and instrument panel, the position where the steering wheel of the vehicle does not interfere is mostly higher than the driver's eyes. because it's not easy.
한편, 자동차마다 대시보드와 계기판의 높이가 다르고, 운전자의 앉은 키와 핸들의 위치와의 관계 등이 운전자마다 다르기 때문에, 이런 류의 운전보조장치는 개별 자동차에 특화되어 제작된다. 따라서 모든 자동차에 일반적으로 적용할 수 있는 장치가 없다. On the other hand, since the height of the dashboard and the instrument panel is different for each car, and the relationship between the driver's seated height and the position of the steering wheel is different for each driver, this type of driving assistance device is specially manufactured for each vehicle. Therefore, there is no device that is generally applicable to all automobiles.
한편, 차량에는 전후방을 촬영하여 운전 상황이나 전후방 상황을 기록하는 블랙박스가 있다. 블랙박스는 내장 카메라나 외장 카메라를 연결하여 기록함으로써 충돌 이벤트 등이 있을 때 해당 상황을 확인할 수 있도록 하는 장치다. On the other hand, the vehicle has a black box that records the driving situation or the front and rear conditions by photographing the front and rear. A black box is a device that connects and records a built-in camera or an external camera so that when there is a crash event, the situation can be checked.
본 발명의 목적은, 졸음운전 및 부주의 운전 감시 서비스를 제공할 수 있는 블랙박스 시스템 및 그 서비스 제공방법을 제공함에 있다. It is an object of the present invention to provide a black box system capable of providing a drowsy driving and careless driving monitoring service and a service providing method thereof.
상기 목적을 달성하기 위한 본 발명의 블랙박스 시스템은 GPS 모듈, 제1 카메라 및 블랙박스를 포함한다. GPS 모듈은 차량의 위치정보와 차량의 운행정보를 생성하고, 제1 카메라는 전면창의 상단에 마련되며, 적외선 엘이디를 구비하여 운전자를 향해 적외선을 조사한 상태에서 운전자를 촬영하여 적외선 영상을 생성한다. The black box system of the present invention for achieving the above object includes a GPS module, a first camera and a black box. The GPS module generates location information of the vehicle and operation information of the vehicle, and the first camera is provided at the top of the front window, and an infrared LED is provided to photograph the driver while irradiating infrared toward the driver to generate an infrared image.
블랙박스는 상기 운행 데이터를 기초로 상기 차량이 운행 중으로 확인될 때, 상기 제1 카메라로부터 기설정된 프레임 속도로 입력되는 이미지에 대해 영상처리를 수행하여 얼굴 및 눈 부분의 상태를 인식함으로써 운전자의 졸음 운전상태 또는 부주의 운전상태를 확인한 경우에 이벤트를 생성하여 외부의 서비스 서버에게 제공한다. When it is confirmed that the vehicle is driving based on the driving data, the black box performs image processing on an image input from the first camera at a preset frame rate to recognize the state of the face and eyes, thereby causing the driver's drowsiness. When the driving state or careless driving state is checked, an event is generated and provided to the external service server.
실시 예에 따라, 상기 블랙박스는 영상처리부와 이벤트생성부를 포함한다. 영상처리부는 상기 영상처리를 수행하되, 상기 기설정된 프레임 속도로 입력되는 이미지 중에서 운전자가 눈을 감은 것으로 인식된 이미지에 대해 제1 인식정보를 생성하여 이벤트생성부에게 제공한다. 이벤트생성부는 기설정된 제1 기준시간 이상 연속하여 상기 제1 인식정보가 확인되면 졸음 운전에 관한 제1 이벤트를 생성한다. According to an embodiment, the black box includes an image processing unit and an event generation unit. The image processing unit performs the image processing, but generates first recognition information for an image recognized as the driver's eyes closed from among the images input at the preset frame rate, and provides the first recognition information to the event generator. The event generator generates a first event related to drowsy driving when the first recognition information is continuously confirmed for a predetermined first reference time or longer.
실시 예에 따라, 상기 영상처리부는 상기 기설정된 프레임 속도로 입력되는 이미지 중에서 운전자가 전방이 아닌 곳을 주시하는 것으로 인식된 이미지에 대해 제2 인식정보를 생성하며, 상기 이벤트생성부는 기설정된 제2 기준시간 이상 상기 제2 인식정보가 확인되는 상황이 기설정된 기준 횟수이상 반복적으로 나타나면 운전자의 부주의 운전에 대한 제2 이벤트를 생성하여 상기 서비스 서버에게 제공한다. According to an embodiment, the image processing unit generates second recognition information for an image recognized that the driver is gazing at a location other than the front among the images input at the preset frame rate, and the event generator generates a preset second recognition information. When the situation in which the second recognition information is checked for more than a reference time is repeatedly performed for more than a preset reference number, a second event for the driver's careless driving is generated and provided to the service server.
본 발명의 블랙박스 시스템은 차량에 설치되는 블랙박스를 이용하여 운전자를 촬영하고 그 촬영 이미지에 대한 영상처리를 통해 졸음운전 또는 부주의 운전 형태를 인식할 수 있다. 졸음 또는 부주의 운전이 인식되면, 블랙박스 시스템은 경고음을 출력하거나 운전자 휴대 단말기로 전화를 걸거나, 가족들의 음성을 들려주는 등 운전에 집중할 수 있도록 하는 대응조치를 자동으로 제공한다. The black box system of the present invention may photograph a driver using a black box installed in a vehicle, and recognize a form of drowsy driving or careless driving through image processing for the captured image. When drowsy or careless driving is recognized, the black box system automatically provides countermeasures to focus on driving, such as outputting a warning sound, making a phone call to the driver's mobile terminal, or listening to family members' voices.
한편, 본 발명에 따라 인식한 운전자의 운전 습관 중에서 졸음 또는 각종 부주의 운전 상태 등은 서비스 서버에 계속 누적되어 기록됨으로써 운전자의 운전 습관 등을 분석할 수 있는 자료로 활용할 수 있다. Meanwhile, among the driving habits of the driver recognized according to the present invention, drowsiness or various careless driving states are continuously accumulated and recorded in the service server, so that the driver's driving habits can be analyzed and utilized as data.
예를 들어, 사업장에 소속되어 기업의 차량을 운행하는 운전자에 대해서는 운전 습관에 대한 안전교육 자료로 사용할 수 있을 뿐만 아니라, 졸음 또는 부주의 운전이 인식될 때마다 감점 포인트 등을 적용함으로써 운전 습관 개선에 기여할 수 있다. 이를 통해, 교통사고율을 줄이는데 획기적으로 기여할 수 있다.For example, it can be used as a safety training material for driving habits for drivers who are affiliated with a business place and operate a company vehicle. can contribute Through this, it can significantly contribute to reducing the traffic accident rate.
도 1은 본 발명의 블랙박스 및 서비스 서버의 블록도,
도 2는 차량에 설치되는 본 발명의 블랙박스 설치도면,
도 3은 운전 감시 서비스에 사용되는 적외선 영상의 예, 그리고
도 4는 본 발명의 일 실시 예에 따른 졸음운전 및 부주의 운전 감시 서비스의 설명에 제공되는 흐름도이다. 1 is a block diagram of a black box and a service server of the present invention;
2 is a black box installation view of the present invention installed in a vehicle;
3 is an example of an infrared image used for a driving monitoring service, and
4 is a flowchart provided to explain a drowsy driving and careless driving monitoring service according to an embodiment of the present invention.
도 1 및 도 2를 참조하면, 본 발명의 운전 감시 시스템(100)은 차량(10) 내부에 설치되는 제1 카메라(110), 지피에스(GPS) 모듈(130) 및 블랙박스(150)와, 무선 네트워크(30)를 통해 블랙박스(150)와 연결되는 서비스 서버(190)를 포함한다. 제1 카메라(110), GPS 모듈(130) 및 블랙박스(150)는 차량(10) 내부에 설치되며, 제1 카메라(110)와 GPS 모듈(130)은 블랙박스(150)에 연결된다. 무선 네트워크(30)는 일반적인 엘티이(LTE)뿐만 아니라, LoRa, Sigfox, Ingenu, LTE-M, NB-IOT 등의 저전력 광대역 네트워크도 사용할 수도 있다.1 and 2, the
제1 카메라(110)는 운전자의 졸음운전 및 부주의 운전을 인식하기 위한 수단으로써 운전자를 촬영한다. 제1 카메라(110)는 블랙박스(150)에 연결되어 있어서 운전자를 촬영한 영상출력은 블랙박스(150)로 입력된다. 아래에서 설명하는 영상처리부(171)가 제1 카메라(110)의 영상을 영상처리하여 운전자의 행동을 분석하게 되므로, 제1 카메라(110)의 영상은 영상처리부(171)가 영상처리를 통해 운전자의 행동을 분석할 수 있을 정도의 해상도를 가지는 것이 좋다. 한편, 도 3에 도시된 것처럼, 화면에 운전자의 얼굴이 기설정된 비율 이상으로 충분히 크게 촬영되는 것이 좋다. The
제1 카메라(110)는 적외선을 통과시키는 적외선 필터(미도시)를 구비하여 적외선 영상을 생성하며, 운전자를 향해 적외선을 출사하는 적외선 엘이디(111)를 구비한다. 적외선은 대략 850nm 내지 940nm 대역을 사용할 수 있다. 적외선 엘이디(111)가 운전자를 비추는 동안, 제1 카메라(110)는 운전자에서 반사되는 적외선으로 도 3과 같은 적외선 영상을 획득한다. The
종래와 달리, 제1 카메라(110)는 차량(10)의 전면창(11)에 설치한다. 전면창(11) 중에서는 운전석 전방부분 상단이 운전자를 촬영하기에 적합하다. 제1 카메라(110)가 전면창(11) 상단에 설치됨으로써, 제1 카메라(110)와 운전자 사이에 방해물이 없는 상태로 운전자를 촬영할 수 있다. 종래처럼 차량의 운전석 대시보드(13) 상단에 설치하는 것이 아니기 때문에, 차량의 핸들이나 운전자의 손과 팔이 영상에 반복적으로 나타나거나 아예 고정된 상태로 영상에 나타나는 문제가 발생하지 않는다. Unlike the prior art, the
다만, 운전자 전방 상단에 카메라를 설치하면 운전자의 동작, 특히 눈의 깜박임 등을 인식하는데 어려움이 있다. 이 문제를 해결하기 위해, 인공지능 기술의 딥러닝(Deep Learning) 엔진을 이용하여 운전자 전방 상단에서 촬영하여 인식되는 얼굴의 크기와 각도가 달라질 때의 영상을 분석할 수 있는데, 딥러닝은 연산처리가 많아 고성능 프로세서가 필요하다. 본 발명은 고성능 프로세서를 사용하지 않고도 이 문제를 해결하기 위해, 제1 카메라(110)가 적외선 영상을 생성하도록 설계하였다. 우선 적외선 영상은 주야간 구분없이 사용할 수 있는 것과 더불어, 도 3에서 확인할 수 있는 것처럼 얼굴 주변 이미지를 제거하는 효과가 있다. 따라서 아래의 영상처리부(171)가 영상처리가 매우 용이해진다. 뿐만 아니라, 적외선 영상은 눈이나 코의 윤곽이 명확하고 잡음이 제거되는 특징이 있어서, 운전자의 동작을 인식하는데 유리하다. However, if the camera is installed in the upper part in front of the driver, it is difficult to recognize the driver's motion, especially the blinking of the eyes. To solve this problem, using the deep learning engine of artificial intelligence technology, it is possible to analyze the image when the size and angle of the recognized face are different by shooting from the upper front of the driver. Many require a high-performance processor. In the present invention, in order to solve this problem without using a high-performance processor, the
더불어, 제1 카메라(110)는 차량(10)의 전면창(11) 상단에 설치함에 따라 차량(10)의 전면창(11) 중앙 상단에 설치하는 블랙박스(150)와 용이하게 연결할 수 있어서, 완성차에 본 발명의 블랙박스(150)를 설치하기도 좋다. In addition, as the
GPS 모듈(130)은 차량(10) 내부에 설치되며 GPS 위성으로부터 GPS 신호를 수신하고 차량의 위치(좌표), 속도 및 차량의 진행방향와 같은 '운행 데이터'를 수집하고 계산한다. 운행 데이터는 아래에서 설명하는 본 발명의 운행 중 서비스를 위해 차량(10)이 운행 중인지 여부를 확인하는데 사용된다. GPS 모듈(130)은 운행 데이터의 계산을 위해 운행데이터계산부(131)를 포함한다. 운행데이터계산부(131)는 GPS 신호를 이용하여 종래에 알려진 방법으로 운행 데이터를 계산하여 블랙박스(150)에게 제공한다. The
한편, 도 1 및 도 2에서 GPS 모듈(130)은 블랙박스(150)와 별도의 구성으로 도시되어 있다. 그러나 실시 예에 따라 GPS 모듈(130)은 블랙박스(150)에 내장될 수도 있다.Meanwhile, in FIGS. 1 and 2 , the
블랙박스(150)는 내장 카메라(159)를 구비한 영상녹화장치로서 차량(10) 내에 설치되어 차량 전방을 촬영하여 녹화한다. 더불어 본 발명의 블랙박스(150)는 제1 카메라(110) 및 GPS 모듈(130)과 연결되어 제1 카메라(110)가 촬영한 영상을 처리하면서 네트워크(30)로 연결된 서비스 서버(190)와 함께 본 발명의 졸음운전 및 부주의 운전 경고 서비스를 운전자에게 제공한다. 실시 예에 따라, 블랙박스(150)에는 부가적으로 차량의 후방/ 좌우측을 촬영하는 부가 카메라(50)들을 더 연결할 수 있지만, 본 발명의 필수적인 구성은 아니다. The
도 2를 참조하면, 블랙박스(150)는 통신부(151), 입력부(153), 표시부(155), SD 카드(157), 내장 카메라(159), 출력부(161) 및 제어부(170)를 포함한다. Referring to FIG. 2 , the
통신부(151)는 서비스 서버(190)에 접속할 수 있는 무선 네트워크 수단으로서, 엘티이 뿐만 아니라 다양한 저전력 광대역 통신망 등을 사용할 수 있다. 통신부(151)는 네트워크(30)가 허용하는 대역폭에 따라 제1 카메라(110)가 촬영한 스틸 이미지(Still Image) 또는 동영상 파일까지도 서비스 서버(190)로 전송할 수 있다. 예를 들어, 저전력 광대역 통신망의 경우에는 동영상 파일을 전송하기는 어렵고 스틸 이미지를 전송한다. 실시 예에 따라 통신부(151)는 블랙박스(150)와 분리하여 외장 형태로 구현될 수도 있다.The
입력부(153)는 운전자로부터 각종 제어명령을 입력받기 위한 버튼 등이 해당하고, 표시부(155)는 제어부(170)의 제어에 따라 각종 정보를 시각적으로 표시할 수 있는 엘시디(LCD), 오엘이디(OLED) 등이 해당하며, 내장 카메라(159) 또는 제1 카메라(110)가 촬영한 영상을 표시할 수 있다. SD 카드(157)에는 내장 카메라(159)가 촬영한 영상뿐만 아니라 제1 카메라(110)가 촬영한 적외선 영상의 전부 또는 일부가 저장된다. The
내장 카메라(159)는 차량의 전방을 촬영하여 녹화하는 블랙박스의 기본 동작을 위한 카메라로서 블랙박스 본체 내부에 내장된다. 내장 카메라(159)는 기설정된 프레임 속도에 맞추어 전방을 촬영함으로써 동영상 또는 스틸 이미지를 생성한다. 아래에서 설명하는 것처럼, 내장 카메라(159)를 이용한 블랙박스(150)의 기본 기능에 대하여는 따로 설명하지 않는다. The built-in
출력부(161)는 음성 및 비프음 등의 소리를 출력하거나 이벤트 신호를 외부장치(예:진동 시트)로 출력한다. The
제어부(170)는 본 발명의 블랙박스(150)의 전반적인 동작을 제어한다. 따라서 제어부(170)는 내장 카메라(159) 및/또는 부가 카메라(50)를 이용한 차량 주변 영상촬영 및 녹화 기능을 수행한다. 다만, 본 발명은 블랙박스(150)의 기본 기능에 대한 것이 아니라 졸음운전, 부주의 운전 방지의 부가기능에 관한 것이므로, 내장 카메라(159)와 부가 카메라(50)에 기초한 블랙박스 고유의 기능은 설명을 생략하지 않으며, 본 발명의 졸음운전, 부주의 운전 방지 기능의 설명에 필요한 정도에서 간단히 설명한다. The
전원부(미도시)는 블랙박스(150)의 동작을 위한 직류 동작 전원을 제공한다. 전원부는 내장 배터리를 주전원으로 사용할 수도 있지만, 차량(10)의 휴즈박스(미도시)를 통해 차량(10)의 직류 전원(V+)을 공급받아 직류 동작전원을 공급할 수도 있다. The power supply unit (not shown) provides DC operation power for the operation of the
제어부(170)는 본 발명의 졸음운전, 부주의 운전 방지기능을 위해, 영상처리부(171) 및 이벤트생성부(173)를 포함한다. The
영상처리부(171)는 제1 카메라(110)가 기설정된 프레임 속도(예컨대 30 FPS)로 제공하는 이미지(동영상)에서 졸음운전, 부주의 운전의 판단에 필요한 객체 인식을 수행하고, 그 인식한 결과를 인식정보로 이벤트생성부(173)에게 제공한다. 영상처리부(171)는 이러한 처리를 위해 제1 카메라(110)가 제공하는 모든 이미지를 영상처리하여 운전자의 얼굴과 눈만 아니라 기타 주요 관심객체(담배, 무선전화기 등)를 인식한다. 실시 예에 따라서, 영상처리부(171)는 이벤트생성부(173)의 제어에 따라 차량이 운행 중일 때에만 이러한 영상처리를 수행할 수도 있다. The
영상처리부(171)가 개별 이미지에서 객체와 객체의 동작을 인식하는 방법은 종래에 이미 개발되고 널리 알려졌으며, 본 발명에서는 종래에 널리 알려진 영상처리기법을 그대로 사용해도 무방하다. 한편, 제1 카메라(110)가 제공하는 적외선 영상은 얼굴 부분이외의 영상 정보가 거의 없고 얼굴 외곽선과 눈의 외곽선이 뚜렷하기 때문에, 운전자의 얼굴을 인식하고 눈의 움직임을 인식하는 것이 컬러이미지를 사용하는 것에 비해 상대적으로 용이하다. A method for the
이벤트생성부(173)는 GPS 모듈(130)이 제공하는 운행 데이터를 이용하여 차량(10)이 운행 중인지를 판단하고, 차량이 운행 중인 경우에 한해 졸음운전 및 부주의 안전 감시 서비스와 관련된 감시 이벤트를 생성한다. 이벤트생성부(173)는 생성된 감시 이벤트(또는 그 정보)를 통신부(151)를 이용하여 네트워크(30)를 경유하여 서비스 서버(190)에게 제공한다.The
감시 이벤트에는 (1) 운전자 졸음운전 상태를 판단하기 위한 제1 이벤트 및/또는 (2) 기타 운전자의 부주의 운전 상태를 판단하기 위한 제2 이벤트가 포함된다. 이하에서는 도 3을 참조하여, 이벤트생성부(173)에 의해 수행되는 본 발명의 졸음운전 및 부주의 안전 감시 서비스 제공방법을 상세하게 설명한다.The monitoring event includes (1) a first event for determining a driver's drowsy driving state and/or (2) a second event for determining another driver's careless driving state. Hereinafter, a method of providing a drowsy driving and careless safety monitoring service according to the present invention performed by the
<운행 데이터의 수신: S401><Receiving operation data: S401>
이벤트생성부(173)는 GPS 모듈(130)로부터 운행 데이터를 주기적으로 수신하여 차량(10)이 운행 중인지 여부를 판단한다. The
실시 예에 따라, 차량(10)이 운행 중이면서 일정 속도 이상인지를 판단할 수도 있다. 예를 들어, 차량을 주차하기 위해서 얼굴을 좌우나 후방으로 돌릴 때 전방 미주시 이벤트가 발생할 수 있는데 차량 속도가 30 Km 이상인 조건이 있으면, 주차중에는 감시 이벤트를 생성하지 않는다. 졸음, 휴대폰 통화, 흡연 등의 이벤트 동작 시나리오도 유사한 GPS 속도를 적용할 수 있다.According to an embodiment, it may be determined whether the
<제1 카메라를 이용한 영상 분석:S403><Video analysis using the first camera: S403>
영상처리부(171)는 제1 카메라(110)가 기설정된 프레임 속도로 제공하는 이미지(동영상)에서 운전자의 얼굴과 눈 뿐만 아니라 기타 주요 관심객체(담배, 무선전화기 등)를 1차 인식한다. 얼굴, 눈과 함께 기타 관심객체가 인식된 이미지에 대해서는 눈을 감은 상태인지 여부, 얼굴 또는 눈이 전방이 아닌 다른 곳을 주시하는지 여부, 담배나 무선 전화기가 인식되는지 여부를 인식하고, 모든 이미지에 대해 그 인식정보를 이벤트생성부(173)에게 제공한다. The
한편 영상처리부(171)는 이미지로부터 감시 대상을 인식하지 못한 경우에도 인식정보를 생성함으로써 모든 이미지에 대해 인식정보를 제공할 수도 있고, 인식결과가 있는 경우에만 인식정보를 제공할 수도 있다. 실시 예에 따라, 영상처리부(171)는 제1 카메라(110)가 제공하는 모든 영상에 대해 영상처리를 수행하는 것이 아니라, 이벤트생성부(173)가 차량(10)이 운행을 개시함에 따라 영상처리부(171)에게 감시를 요청한 경우에 한해 제1 카메라 영상을 처리하고 인식정보를 생성할 수도 있다. 어떤 경우에도, 인식정보는 한 개 이미지 단위로 제공된다. Meanwhile, the
<제1 이벤트 또는 제2 이벤트의 생성조건 판단: S405, S407><Determining the generation condition of the first event or the second event: S405, S407>
차량이 운행 중이면, 이벤트생성부(173)는 영상처리부(171)가 제공하는 인식정보를 누적하고 분석함으로써, 제1 이벤트 및/또는 제2 이벤트 생성 조건을 판단한다. 제1 이벤트와 제2 이벤트 생성 조건은 얼마든지 다양하게 설정할 수 있다. When the vehicle is being driven, the
제1 이벤트는 예를 들어, 제1 기준 시간(예컨대, 3초)이상 눈을 감은 상태가 지속되는지 여부로 판단할 수 있다. 만약 3초 이상 눈을 감은 상태가 지속되면 졸음운전으로 판단하고 제1 카메라(110)가 초당 30 프레임(fps=30)의 이미지를 생성하는 경우라면, 이벤트생성부(173)는 연속하는 90 프레임의 이미지의 인식결과에서 운전자가 눈을 감고 있다는 '제1 인식정보'가 계속 확인되면, 졸음운전으로 판단할 수 있다.The first event may be determined by, for example, whether the state in which the eyes are closed continues for more than a first reference time (eg, 3 seconds). If the state with the eyes closed continues for more than 3 seconds, it is determined as drowsy driving and if the
제2 이벤트는 예를 들어, 제2 기준시간(예컨대, 2초)이상 얼굴이 전방이 아닌 다른 곳을 주시하는 상태가 기준 횟수(예컨대, 4회 이상) 이상 반복적으로 나타나면 부주의 운전에 해당하는 것으로 설정할 수 있다. 이벤트생성부(173)는 연속으로 제공되는 60 프레임의 이미지(2초 동안의 이미지)의 인식결과에서 운전자가 다른 곳을 주시하는 '제2 인식정보'가 계속 확인되고, 일정 시간범위 내에 동일/유사한 형태의 인식결과가 제공되는 것이 4회 이상 반복되면, 부주의 운전으로 판단할 수 있다.The second event is, for example, the second reference time (eg, 2 seconds) or more when the state in which the face is looking at a place other than the front is repeated the reference number of times (eg, 4 or more) or more, which corresponds to careless driving. can be set. The
또한, 예를 들어, 제3 기준시간(예컨대, 10초)이상 담배나 휴대 전화기가 연속 또는 비연속적으로 인식되면 부주의 운전에 해당하는 것으로 설정할 수 있다. 예를 들어, 이벤트생성부(173)는 연속으로 제공되는 300 프레임의 이미지(10초 동안의 이미지)의 인식결과에서 연속적 또는 비연속적으로 담배나 휴대 전화기가 인식된 '제3 인식정보'가 확인되면, 부주의 운전으로 판단할 수 있다.Also, for example, if a cigarette or a mobile phone is continuously or discontinuously recognized for more than a third reference time period (eg, 10 seconds), it may be set to correspond to careless driving. For example, the
<제1 이벤트 또는 제2 이벤트의 생성: S409, S411><Generation of the first event or the second event: S409, S411>
이벤트생성부(173)는 S405 단계의 판단결과가 제1 이벤트 생성조건 또는 제2 이벤트 생성조건에 해당하면, 제1 이벤트 및/또는 제2 이벤트를 생성한다. The
<제1 이벤트 또는 제2 이벤트를 서비스 서버에게 전송: S413> <Send the first event or the second event to the service server: S413>
이벤트생성부(173)는 제1 이벤트 및/또는 제2 이벤트를 SD 카드(157)에 저장함과 더불어, 통신부(151)를 이용하여 서비스 서버(190)에게 전송한다. The
제1 이벤트의 경우, 이벤트생성부(173)는 졸음운전 상태를 확인할 수 있는 제1 이벤트 상태정보를 생성하여, 해당 제1 이벤트가 발생한 전체 이미지(동영상) 또는 그 중 몇 장의 스틸 이미지를 서비스 서버(190)에게 제공한다. In the case of the first event, the
제2 이벤트의 경우, 이벤트생성부(173)는 부주의 운전 상태를 확인할 수 있는 제2 이벤트 상태정보를 생성하여, 해당 제2 이벤트가 발생한 전체 이미지(동영상) 또는 그 중 몇 장의 스틸 이미지를 서비스 서버(190)에게 제공한다. 제2 이벤트는 여러 종류가 있기 때문에, 제2 이벤트 상태정보의 내용도 부주의 운전의 종류에 따라 다르게 설정할 수 있다. In the case of the second event, the
실시 예에 따라, 제1 이벤트 상태정보와 제2 이벤트 상태정보에는 GPS 모듈(130)이 제공하는 차량 운행 데이터(위치, 속도, 방향정보 등)가 포함될 수도 있다.According to an embodiment, the first event state information and the second event state information may include vehicle driving data (location, speed, direction information, etc.) provided by the
한편, 서비스 서버(190)로 이벤트 정보를 제공하는 것 이외에도, 이벤트생성부(173)는 제1 이벤트 및/또는 제2 이벤트에 따라 긴급 대응조치를 수행할 수 있다. 예컨대 이벤트생성부(173)는 경보 메시지나 기저장된 음성을 출력할 수 있고, 특별한 조명을 점등하여 운전자의 주의를 상기시킬 수도 있다. Meanwhile, in addition to providing event information to the
<서비스 서버의 이벤트 정보 축적: S415><Accumulation of event information in the service server: S415>
서비스 서버(190)는 특정 블랙박스(150)로부터 주기적 또는 비주기적으로 제1 이벤트 상태정보 및/또는 제2 이벤트 상태정보를 수신하면, 내부의 데이터 서버에 저장하고 관리하며, 기본적인 대응 조치를 수행한다. When the
또한, 서비스 서버(190)는 특정 블랙박스(또는 운전자)로부터 장기간에 걸쳐 수집한 제1 이벤트 상태정보와 제2 이벤트 상태정보를 이용하여 운전자 데이터를 생성할 수 있다. In addition, the
이상의 방법으로 본 발명의 이벤트생성부(173)에 의한 졸음운전 및 부주의 운전 감시 서비스가 수행된다. 제1 이벤트와 제2 이벤트의 생성에 따라, 제어부(170) 또는 서비스 서버(190)는 다양한 사고 예방조치를 취할 수 있다. In the above method, the drowsy driving and careless driving monitoring service by the
실시 예: 서비스 서버Example: service server
서비스 서버(190)는 본 발명의 블랙박스(150)에 의한 졸음/부주의 운전 감시 서비스를 전체적으로 운용하며, 그 동작을 위하여 운전자를 등록받아 관리할 수 있다. 운전자 등록을 통해, 서비스 서버(190)는 블랙박스 식별번호와 운전자 정보를 상호 매칭하여 저장하고 관리한다. 여기서, 운전자 정보는 운전자 식별번호, 로그인 아이디와 패스워드, 차량번호 등과 같은 기본 정보뿐만 아니라 운전자 휴대 단말기(190)의 전화번호, MAC 어드레스 등이 포함된다. The
졸음/부주의 운전 감시 서비스와 관련하여, 서비스 서버(190)가 수행할 수 있는 조치들은 다음과 같다. In relation to the drowsy/inattentive driving monitoring service, actions that the
(1) 운전자 주의 상기를 위한 즉시 조치(1) Immediate action to remind drivers
1차적으로, 서비스 서버(190)는 제1 이벤트 상태정보와 제2 이벤트 상태정보를 접수하면, 사고 예방을 위하여 운전자의 주의를 상기시키기 위한 조치를 취할 수 있다. First, when the
서비스 서버(190)는 기설정된 경고 메시지나 음성을 블랙박스(150)에게 전송하여 출력하도록 제어할 수도 있고, 운전자의 휴대 전화기(미도시)로 전화를 걸수도 있고, 기저장된 제3자에게 전화를 걸어 해당 사실을 통지할 수도 있다. The
(2) 빅데이터 기반의 운전자 운전 습관 분석(2) Big data-based driver driving habits analysis
서비스 서버(190)는 장기간 저장된 제1 이벤트 상태정보와 제2 이벤트 상태정보를 이용하여 운전자의 운전 습관, 행동 양식에 대한 포괄적인 정보를 생성할 수 있다. 이렇게 생성된 자료들은 운전자의 운전습관과 관련된 재교육 자료로 사용될 수도 있다. The
한편, 만약 제1 이벤트 또는 제2 이벤트 중에 차량 사고가 발생했다면, 서비스 서버(190)가 저장하고 관리 중인 제1 이벤트 상태정보와 제2 이벤트 상태정보와 부가적으로 저장된 이미지 또는 동영상는 졸음/ 부주의 운전이 사고를 유발한 것인지 여부를 확인하는 자료로 활용될 수 있다. On the other hand, if a vehicle accident occurs during the first event or the second event, the first event status information and the second event status information stored and managed by the
예를 들어, 서비스 서버(190)는 해당 운전자에 대한 감점 포인트를 기록할 수 있다. 제1 이벤트 상태정보를 접수하면 감점 2점, 제2 이벤트 상태정보를 접수하면 감점 1점 또는 2점 식이다. 이렇게 일정 기간 저장된 감점 포인트는 해당 운전자의 운전 습관 재교육 등을 위한 수단으로 사용될 수 있다. 서비스 서버(190)는 해당 운전자의 누적 감점 포인트를 블랙박스(150)와 사용자 휴대폰으로 다시 전송하여 운전자가 확인할 수 있도록 한다.For example, the
이상에서는 본 발명의 바람직한 실시 예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시 예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어서는 안 될 것이다.In the above, preferred embodiments of the present invention have been illustrated and described, but the present invention is not limited to the specific embodiments described above, and it is common in the technical field to which the present invention pertains without departing from the gist of the present invention as claimed in the claims. Various modifications may be made by those having the knowledge of, of course, and these modifications should not be individually understood from the technical spirit or perspective of the present invention.
Claims (4)
차량의 위치정보와 운행 데이터를 생성하는 GPS 모듈;
전면창의 상단에 마련되며, 적외선 엘이디를 구비하여 운전자를 향해 적외선을 조사한 상태에서 운전자를 촬영하여 적외선 영상을 생성하는 제1 카메라; 및
상기 운행 데이터를 기초로 상기 차량이 운행 중으로 확인될 때, 상기 제1 카메라로부터 기설정된 프레임 속도로 입력되는 이미지에 대해 영상처리를 수행하여 얼굴 및 눈 부분의 상태를 인식함으로써 운전자의 졸음 운전상태 또는 부주의 운전상태를 확인한 경우에 이벤트를 생성하여 외부의 서비스 서버에게 제공하는 블랙박스를 포함하는 것을 특징으로 하는 블랙박스 시스템.
In the black box system installed in a vehicle,
a GPS module for generating vehicle location information and driving data;
a first camera provided at the top of the front window and having an infrared LED to photograph the driver while irradiating infrared toward the driver to generate an infrared image; and
When it is confirmed that the vehicle is in operation based on the driving data, image processing is performed on the image input from the first camera at a preset frame rate to recognize the state of the face and eyes, so that the driver's drowsy driving state or A black box system comprising a black box that generates an event when the careless driving state is checked and provides the event to an external service server.
상기 블랙박스는,
상기 영상처리를 수행하되, 상기 기설정된 프레임 속도로 입력되는 이미지 중에서 운전자가 눈을 감은 것으로 인식된 이미지에 대해 제1 인식정보를 생성하여 이벤트생성부에게 제공하는 영상처리부; 및
기설정된 제1 기준시간 이상 연속하여 상기 제1 인식정보가 확인되면 운전자의 졸음운전에 관한 제1 이벤트를 생성하는 상기 이벤트생성부를 포함하는 것을 특징으로 하는 블랙박스 시스템.
According to claim 1,
The black box is
an image processing unit that performs the image processing, and generates first recognition information for an image recognized that the driver has closed eyes among the images input at the preset frame rate and provides the first recognition information to the event generator; and
and the event generating unit generating a first event related to the driver's drowsy driving when the first recognition information is continuously confirmed for more than a preset first reference time.
상기 영상처리부는 상기 기설정된 프레임 속도로 입력되는 이미지 중에서 운전자가 전방이 아닌 곳을 주시하는 것으로 인식된 이미지에 대해 제2 인식정보를 생성하며,
상기 이벤트생성부는 기설정된 제2 기준시간 이상 상기 제2 인식정보가 확인되는 상황이 기설정된 기준 횟수이상 반복적으로 나타나면 운전자의 부주의 운전에 대한 제2 이벤트를 생성하여 상기 서비스 서버에게 제공하는 것을 특징으로 하는 블랙박스 시스템.
3. The method of claim 2,
The image processing unit generates second recognition information for an image recognized as the driver is gazing at a place other than the front from among the images input at the preset frame rate,
The event generating unit generates a second event for the driver's careless driving and provides it to the service server when the situation in which the second recognition information is checked for more than a preset second reference time is repeated more than a preset reference number of times black box system.
상기 블랙박스는, 상기 상기 운행 데이터를 기초로 상기 차량이 기설정된 속도 이상으로 운행 중으로 확인될 때, 상기 제1 카메라로부터 기설정된 프레임 속도로 입력되는 이미지에 대해 영상처리를 수행하여 얼굴 및 눈 부분의 상태를 인식함으로써 운전자의 졸음 운전상태 또는 부주의 운전상태를 확인한 경우에 이벤트를 생성하는 것을 특징으로 하는 블랙박스 시스템. According to claim 1,
The black box performs image processing on an image input from the first camera at a preset frame rate when it is determined based on the driving data that the vehicle is driving at a preset speed or more, so as to face and eye parts A black box system, characterized in that it generates an event when the driver's drowsy driving state or careless driving state is confirmed by recognizing the state of the
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020200035929A KR20210119243A (en) | 2020-03-24 | 2020-03-24 | Blackbox System for Detecting Drowsy Driving and Careless Driving and Method thereof |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020200035929A KR20210119243A (en) | 2020-03-24 | 2020-03-24 | Blackbox System for Detecting Drowsy Driving and Careless Driving and Method thereof |
Publications (1)
Publication Number | Publication Date |
---|---|
KR20210119243A true KR20210119243A (en) | 2021-10-05 |
Family
ID=78077825
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020200035929A KR20210119243A (en) | 2020-03-24 | 2020-03-24 | Blackbox System for Detecting Drowsy Driving and Careless Driving and Method thereof |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR20210119243A (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20230086824A (en) * | 2021-12-08 | 2023-06-16 | 한국자동차연구원 | Apparatus for evaluating image based object recognition algorithm of vehicle and method thereof |
-
2020
- 2020-03-24 KR KR1020200035929A patent/KR20210119243A/en not_active Application Discontinuation
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20230086824A (en) * | 2021-12-08 | 2023-06-16 | 한국자동차연구원 | Apparatus for evaluating image based object recognition algorithm of vehicle and method thereof |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US12033446B2 (en) | Safety for vehicle users | |
CN109791739B (en) | Carsickness estimation device, carsickness prevention device, and carsickness estimation method | |
US10298741B2 (en) | Method and device for assisting in safe driving of a vehicle | |
US11223381B2 (en) | Phone docking station mounted on a vehicle for enhanced driving safety | |
EP3006297B1 (en) | Driving characteristics diagnosis device, driving characteristics diagnosis system, driving characteristics diagnosis method, information output device, and information output method | |
US9460601B2 (en) | Driver distraction and drowsiness warning and sleepiness reduction for accident avoidance | |
US10666901B1 (en) | System for soothing an occupant in a vehicle | |
WO2019087507A1 (en) | Distracted driving suppression system | |
CN111717083B (en) | Vehicle interaction method and vehicle | |
EP3324378A1 (en) | Electronic safety system and method for detecting a vehicle driver's attention | |
KR102494530B1 (en) | Camera Apparatus Installing at a Car for Detecting Drowsy Driving and Careless Driving and Method thereof | |
US20230174074A1 (en) | In-cabin safety sensor installed in vehicle and method of providing service platform thereof | |
US20180022357A1 (en) | Driving recorder system | |
KR20210119243A (en) | Blackbox System for Detecting Drowsy Driving and Careless Driving and Method thereof | |
US20190149777A1 (en) | System for recording a scene based on scene content | |
JP2019159642A (en) | On-vehicle machine, driving evaluation device, driving evaluation system provided with them, data transmission method, and data transmission program | |
JP7135913B2 (en) | Driving evaluation screen display method, program, driving evaluation system, and driving evaluation screen | |
KR20160063653A (en) | System for preventing drowsy drive | |
JP2014238707A (en) | Driver state determination system | |
KR20220005290A (en) | In-Cabin Security Sensor and Platform Service Method therefor | |
WO2021005975A1 (en) | State determination device, on-vehicle instrument, driving assessment system, state determination method, and program | |
JP2015026255A (en) | Driving support system and driving support method | |
JP7060841B2 (en) | Operation evaluation device, operation evaluation method, and operation evaluation program | |
KR102588904B1 (en) | In-Cabin Security Sensor Installed at a Car | |
KR20180012580A (en) | Driver status check system using a smart-phone camera and method thereof |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
E601 | Decision to refuse application |