KR102161908B1 - Driver status monitor method and apparatus - Google Patents

Driver status monitor method and apparatus Download PDF

Info

Publication number
KR102161908B1
KR102161908B1 KR1020190010049A KR20190010049A KR102161908B1 KR 102161908 B1 KR102161908 B1 KR 102161908B1 KR 1020190010049 A KR1020190010049 A KR 1020190010049A KR 20190010049 A KR20190010049 A KR 20190010049A KR 102161908 B1 KR102161908 B1 KR 102161908B1
Authority
KR
South Korea
Prior art keywords
driver
feature extraction
determined
facial feature
eye
Prior art date
Application number
KR1020190010049A
Other languages
Korean (ko)
Other versions
KR20200092739A (en
Inventor
이윤기
정형구
최효림
정여빈
Original Assignee
주식회사 에프에스솔루션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 에프에스솔루션 filed Critical 주식회사 에프에스솔루션
Priority to KR1020190010049A priority Critical patent/KR102161908B1/en
Publication of KR20200092739A publication Critical patent/KR20200092739A/en
Application granted granted Critical
Publication of KR102161908B1 publication Critical patent/KR102161908B1/en

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06KRECOGNITION OF DATA; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K9/00Methods or arrangements for reading or recognising printed or written characters or for recognising patterns, e.g. fingerprints
    • G06K9/00624Recognising scenes, i.e. recognition of a whole field of perception; recognising scene-specific objects
    • G06K9/00832Recognising scenes inside a vehicle, e.g. related to occupancy, driver state, inner lighting conditions
    • G06K9/00845Recognising the driver's state or behaviour, e.g. attention, drowsiness
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06KRECOGNITION OF DATA; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K9/00Methods or arrangements for reading or recognising printed or written characters or for recognising patterns, e.g. fingerprints
    • G06K9/00221Acquiring or recognising human faces, facial parts, facial sketches, facial expressions
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06KRECOGNITION OF DATA; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K9/00Methods or arrangements for reading or recognising printed or written characters or for recognising patterns, e.g. fingerprints
    • G06K9/00597Acquiring or recognising eyes, e.g. iris verification
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation

Abstract

본 발명은 운전자 상태 모니터링 방법 및 장치를 개시한다. 본 발명에 따르면, 운전자 상태 모니터링 장치로서, 프로세서 및 상기 프로세서에 연결되는 메모리를 포함하되, 상기 메모리는, 상기 차량 내에 설치된 카메라를 통해 운전자에 대한 영상을 획득하고, 미리 설정된 크기 및 비율을 갖는 얼굴 특징 추출 필터를 이용하여 상기 획득된 영상에서 얼굴 후보 영역을 결정하고, 상기 결정된 얼굴 후보 영역에서 안경의 착용 여부를 고려하여 운전자의 눈 영역을 탐색하고, 상기 탐색된 눈 영역을 이용하여 운전자가 졸음 상태 또는 전방 주시 태만 상태인지 여부를 결정하도록, 상기 프로세서에 의해 실행 가능한 프로그램 명령어들을 저장하는 운전자 상태 모니터링 장치가 제공된다.The present invention discloses a driver condition monitoring method and apparatus. According to the present invention, a driver condition monitoring device includes a processor and a memory connected to the processor, wherein the memory acquires an image of the driver through a camera installed in the vehicle, and has a face having a preset size and ratio. A face candidate region is determined from the acquired image using a feature extraction filter, the driver's eye region is searched in consideration of whether glasses are worn in the determined face candidate region, and the driver is drowsy using the searched eye region. A driver condition monitoring device is provided that stores program instructions executable by the processor to determine whether it is in a state or a negligent forward-looking state.

Description

운전자 상태 모니터링 방법 및 장치{Driver status monitor method and apparatus}Driver status monitor method and apparatus TECHNICAL FIELD

본 발명은 운전자 상태 모니터링 방법 및 장치에 관한 것이다. The present invention relates to a method and apparatus for monitoring driver conditions.

차량의 운행 시 운전자의 졸음, 부주의나 시계의 불량, 후방 차량의 전방 주시 의무 위반 등으로 교통사고가 빈번하게 발생하고 있다. Traffic accidents frequently occur due to the driver's drowsiness, carelessness or poor visibility, and violation of the obligatory forward look of the vehicle behind the vehicle.

이를 방지하기 위해 최근 차량에 지능형 운전자 보조 시스템(Advanced Driver Assistance Systems, ADAS)이 장착되고 있다. To prevent this, vehicles are recently equipped with Advanced Driver Assistance Systems (ADAS).

지능형 운전자 보조 시스템은 첨단 감지 센서와 GPS, 통신, 지능형 영상 장비 등을 이용하여 주행 중 일부 상황을 차량 스스로 인지하여 상황을 판단, 자동차를 제어하거나 운전자가 미리 위험요소를 감지할 수 있도록 소리, 불빛, 진동 등으로 알려주는 운전자 보조 시스템이다.The Intelligent Driver Assistance System uses advanced detection sensors, GPS, communication, and intelligent video equipment to recognize some situations while driving by itself to determine the situation, control the car or detect dangers in advance by sound and light. It is a driver assistance system that informs you by vibration, etc.

이 중 운전자 상태 모니터링(Driver Status Monitoring: DSM) 시스템은 차량 내부의 카메라가 운전자의 영상을 처리하여 운전자의 졸음 여부, 전방 주시 태만 상태에 있는지를 판단한다. Among them, the Driver Status Monitoring (DSM) system determines whether the driver is drowsy or is in a state of neglect of looking forward by processing the driver's image by a camera inside the vehicle.

운전자 상태 모니터링 시스템은 졸음 또는 전방 주시 태만 상태인 경우를 빠르게 판단하여 운전자에게 알람을 제공해야 하는데, 지금까지의 시스템은 인식 속도가 늦어 빠른 알람을 제공하지 못하는 문제점이 있다. The driver condition monitoring system must quickly determine a case of drowsiness or negligent looking forward and provide an alarm to the driver. However, the conventional system has a problem in that it cannot provide a fast alarm due to a slow recognition speed.

등록특허 10-1551262Registered Patent 10-1551262

상기한 종래기술의 문제점을 해결하기 위해, 운전자 상태에 대한 인식 속도를 높일 수 있는 운전자 상태 모니터링 방법 및 장치를 제안하고자 한다. In order to solve the above problems of the prior art, a method and apparatus for monitoring a driver's condition capable of increasing the recognition speed of a driver's condition is proposed.

상기한 바와 같은 목적을 달성하기 위하여, 본 발명의 일 실시예에 따르면, 운전자 상태 모니터링 장치로서, 프로세서; 및 상기 프로세서에 연결되는 메모리를 포함하되, 상기 메모리는, 상기 차량 내에 설치된 카메라를 통해 운전자에 대한 영상을 획득하고, 미리 설정된 크기 및 비율을 갖는 얼굴 특징 추출 필터를 이용하여 상기 획득된 영상에서 얼굴 후보 영역을 결정하고, 상기 결정된 얼굴 후보 영역에서 안경의 착용 여부를 고려하여 운전자의 눈 영역을 탐색하고, 상기 탐색된 눈 영역을 이용하여 운전자가 졸음 상태 또는 전방 주시 태만 상태인지 여부를 결정하도록, 상기 프로세서에 의해 실행 가능한 프로그램 명령어들을 저장하는 운전자 상태 모니터링 장치가 제공된다. In order to achieve the above object, according to an embodiment of the present invention, a driver condition monitoring apparatus, comprising: a processor; And a memory connected to the processor, wherein the memory acquires an image of a driver through a camera installed in the vehicle, and uses a face feature extraction filter having a preset size and ratio to obtain a face from the acquired image. To determine a candidate region, to search for an eye region of the driver in consideration of whether or not to wear glasses in the determined face candidate region, and to determine whether the driver is in a drowsy state or a negligent forward gaze state by using the searched eye region, A driver condition monitoring device is provided that stores program instructions executable by the processor.

상기 프로그램 명령어들은, 초기 시점에 서로 다른 크기와, 서로 다른 가로 및 세로 비율을 갖는 복수의 얼굴 특징 추출 필터를 랜덤하게 생성하고, 상기 획득된 영상에 상기 랜덤하게 생성된 복수의 얼굴 특징 추출 필터를 적용하여 얼굴 탐색 성공률이 가장 높은 얼굴 특징 추출 필터를 결정하고, 상기 결정된 얼굴 특징 추출 필터를 이용하여 상기 획득된 영상에서 얼굴 후보 영역을 결정할 수 있다. The program instructions randomly generate a plurality of facial feature extraction filters having different sizes and different horizontal and vertical ratios at an initial point of view, and apply the randomly generated plurality of facial feature extraction filters to the obtained image. By applying the facial feature extraction filter having the highest face search success rate, a facial feature extraction filter may be determined, and a face candidate region in the obtained image may be determined using the determined facial feature extraction filter.

상기 프로그램 명령어들은, 상기 결정된 얼굴 후보 영역에서 눈 영역 탐색 영역 및 브릿지 탐색 영역을 설정하고, 상기 브릿지 탐색 영역 내에 브릿지가 존재하는지 여부를 판단하고, 상기 브릿지가 존재하는 경우, 탐색된 브릿지를 기준으로 안경테를 탐색하고, 상기 안경테의 위치에 기초하여 선정된 눈 영역의 미리 설정된 개수의 프레임에서의 밝기 및 위치를 고려한 제1 값과 현재 프레임에서 눈 영역의 밝기 및 위치를 고려한 제2 값을 비교하여 눈 영역을 탐색할 수 있다. The program instructions set an eye area search area and a bridge search area in the determined face candidate area, determine whether a bridge exists in the bridge search area, and if the bridge exists, based on the searched bridge. By searching for an eyeglass frame, comparing a first value that considers the brightness and position in a preset number of frames of the eye region selected based on the position of the eyeglass frame and a second value that considers the brightness and position of the eye region in the current frame You can explore the eye area.

상기 제1 계산값은 상기 미리 설정된 프레임 각각의 눈 영역의 평균 밝기값, 밝기 분산값, 위치 평균값 및 이들의 분산값이고, 상기 제2 계산값은 현재 프레임에서 눈 영역의 밝기값, 밝기 분산값, 위치값 및 이들의 분산값일 수 있다. The first calculated value is an average brightness value, a brightness variance value, a position average value, and a variance value of the eye region of each of the preset frames, and the second calculated value is a luminance value and a luminance variance value of the eye region in the current frame. , Position values, and variance values thereof.

상기 프로그램 명령어들은, 상기 눈 영역으로부터 눈꺼풀을 탐색하고, 탐색된 눈꺼풀의 상태를 통해 운전자의 눈이 감긴 상태인지 여부를 판단하고, 눈이 감긴 상태가 미리 설정된 시간 동안 계속되는 경우 졸음 상태로 판단하여 알람을 생성할 수 있다. The program instructions search for an eyelid from the eye area, determine whether the driver's eyes are closed through the state of the searched eyelid, and determine whether the driver's eyes are closed for a preset time, and determine as a drowsy state and an alarm. Can be created.

상기 프로그램 명령어들은, 상기 눈 영역으로부터 코를 탐색하고, 미간의 위치와 코의 수평 축 위치 차이를 통해 얼굴의 회전각을 계산하고, 상기 회전각이 미리 설정된 임계치보다 큰 상태가 미리 설정된 시간 동안 계속되는 경우 전방 주시 태만 상태인 것으로 판단하여 알람을 생성할 수 있다. The program instructions, search the nose from the eye area, calculate the rotation angle of the face through the difference between the position of the glabellar and the horizontal axis of the nose, and the state where the rotation angle is greater than a preset threshold continues for a preset time. In this case, an alarm can be generated by determining that the forward gaze is negligent.

본 발명의 다른 측면에 따르면, 운전자 상태 모니터링 방법으로서, 운전자의 얼굴에 맞는 크기 및 비율을 갖는 얼굴 특징 추출 필터를 결정하는 단계; 상기 차량 내에 설치된 카메라를 통해 운전자에 대한 영상을 획득하는 단계; 상기 결정된 얼굴 특징 추출 필터를 이용하여 상기 획득된 영상에서 얼굴 후보 영역을 결정하는 단계; 상기 결정된 얼굴 후보 영역에서 안경의 착용 여부를 고려하여 운전자의 눈 영역을 탐색하는 단계; 및 상기 탐색된 눈 영역을 이용하여 운전자가 졸음 상태 또는 전방 주시 태만 상태인지 여부를 결정하는 단계를 포함하는 운전자 상태 모니터링 방법이 제공된다. According to another aspect of the present invention, there is provided a driver condition monitoring method, comprising: determining a facial feature extraction filter having a size and ratio suitable for a driver's face; Obtaining an image of a driver through a camera installed in the vehicle; Determining a face candidate region from the obtained image using the determined facial feature extraction filter; Searching for an eye area of a driver in consideration of whether glasses are worn in the determined facial candidate area; And determining whether the driver is in a drowsy state or a negligent forward-looking state by using the searched eye area.

본 발명에 따르면, 사전에 운전자의 얼굴에 맞는 얼굴 특징 추출 필터를 사용하기 때문에 연산 속도를 한층 향상시킬 수 있다. According to the present invention, since a facial feature extraction filter suitable for the driver's face is used in advance, the computation speed can be further improved.

또한, 본 발명에 따르면 안경의 착용 여부를 판단하여 눈 영역을 검출하기 때문에 운전자 상태를 정확히 모니터링할 수 있는 장점이 있다. In addition, according to the present invention, since the eye area is detected by determining whether glasses are worn, there is an advantage in that the driver's state can be accurately monitored.

도 1은 본 발명의 바람직한 일 실시예에 따른 운전자 상태 모니터링 장치의 구성을 도시한 도면이다.
도 2는 본 실시예에 따른 서로 다른 크기 및 비율을 갖는 얼굴 특징 추출 필터를 도시한 도면이다.
도 3은 본 실시예에 따른 얼굴 특징 추출 필터 생성 과정에 대한 순서도이다.
도 4는 본 발명의 일 실시예에 따른 안경 착용 여부를 고려한 눈 탐색 과정의 순서도이다.
도 5는 본 실시예에 따른 안경 착용 여부 및 눈의 탐색 과정을 설명하기 위한 도면이다.
도 6은 본 실시예에 따른 눈꺼풀 탐색 과정을 설명하기 위한 도면이다.
도 7은 본 실시예에 따른 전방 주시 태만 상태를 검출하는 과정을 설명하기 위한 도면이다.
1 is a view showing the configuration of a driver condition monitoring apparatus according to an embodiment of the present invention.
2 is a diagram illustrating facial feature extraction filters having different sizes and ratios according to the present embodiment.
3 is a flowchart illustrating a process of generating a filter for extracting facial features according to the present embodiment.
4 is a flowchart of an eye search process in consideration of whether or not to wear glasses according to an embodiment of the present invention.
5 is a view for explaining whether glasses are worn and an eye search process according to the present embodiment.
6 is a diagram for explaining an eyelid search process according to the present embodiment.
7 is a diagram for explaining a process of detecting a negligent forward gaze state according to the present embodiment.

본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세하게 설명하고자 한다.In the present invention, various modifications may be made and various embodiments may be provided, and specific embodiments will be illustrated in the drawings and described in detail.

그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. However, this is not intended to limit the present invention to a specific embodiment, it is to be understood to include all changes, equivalents, and substitutes included in the spirit and scope of the present invention.

본 발명은 차량 내부에 설치된 카메라를 통해 운전자에 대한 영상을 획득하고, 획득된 영상에서 얼굴 및 얼굴 내 객체(부위)를 빠르게 탐색하여 운전자의 상태를 모니터링하고, 필요한 경우 알람을 제공한다. The present invention acquires an image of a driver through a camera installed inside a vehicle, quickly searches for a face and an object (part) within the face from the acquired image to monitor the driver's state, and provides an alarm if necessary.

도 1은 본 발명의 바람직한 일 실시예에 따른 운전자 상태 모니터링 장치의 구성을 도시한 도면이다. 1 is a view showing the configuration of a driver condition monitoring apparatus according to an embodiment of the present invention.

도 1에 도시된 바와 같이, 본 실시예에 따른 운전자 상태 모니터링 장치는 프로세서(100), 메모리(102), 카메라(104) 및 알람부(106)를 포함할 수 있다. As shown in FIG. 1, the driver condition monitoring apparatus according to the present embodiment may include a processor 100, a memory 102, a camera 104, and an alarm unit 106.

프로세서(100)는 컴퓨터 프로그램을 실행할 수 있는 CPU(central processing unit)나 그밖에 가상 머신 등을 포함할 수 있다. The processor 100 may include a central processing unit (CPU) capable of executing a computer program or a virtual machine.

메모리(102)는 고정식 하드 드라이브나 착탈식 저장 장치와 같은 불휘발성 저장 장치를 포함할 수 있다. 착탈식 저장 장치는 컴팩트 플래시 유닛, USB 메모리 스틱 등을 포함할 수 있다. 메모리(102)는 각종 랜덤 액세스 메모리와 같은 휘발성 메모리도 포함할 수 있다.The memory 102 may include a nonvolatile storage device such as a fixed hard drive or a removable storage device. The removable storage device may include a compact flash unit, a USB memory stick, or the like. Memory 102 may also include volatile memories such as various random access memories.

이와 같은 메모리(102)에는 프로세서(100)에 의해 실행 가능한 프로그램 명령어들이 저장된다. Program instructions executable by the processor 100 are stored in the memory 102.

본 실시예에 따른 프로그램 명령어들은, 차량에 설치된 카메라(104)를 통해 입력된 영상에서 얼굴을 검출하고, 눈, 코 및 얼굴 회전각도 등을 검출하여 운전자가 졸음 상태 또는 전방 주시 태만 상태인지를 판단한다. Program commands according to the present embodiment detect a face from an image input through the camera 104 installed in the vehicle, and determine whether the driver is in a drowsy state or a negligent state of looking forward by detecting eye, nose, and face rotation angles. do.

또한, 졸음 상태 또는 전방 주시 태만 상태가 미리 설정된 시간 동안 계속될 때 알람부(106)를 통해 알람이 출력되도록 한다. In addition, when the drowsy state or the negligent looking forward state continues for a preset time, an alarm is output through the alarm unit 106.

여기서, 카메라는 광학 카메라 또는 적외선 카메라를 모두 포함할 수 있다. Here, the camera may include both an optical camera or an infrared camera.

운전자의 얼굴은 카메라의 설치 위치, 차량의 종류 및 운전 자세 등에 따라 달라지기 때문에 운전자의 얼굴에 해당하는 특징을 검출하는데 오랜 시간이 소요될 수 있다. Since the driver's face varies depending on the installation location of the camera, the type of vehicle, and the driving posture, it may take a long time to detect a feature corresponding to the driver's face.

이를 위해, 본 발명의 바람직한 일 실시예에 따르면, 얼굴 특징 검출을 위한 다양한 크기 및 비율의 얼굴 특징 추출 필터가 사용된다. To this end, according to a preferred embodiment of the present invention, facial feature extraction filters of various sizes and ratios for detecting facial features are used.

도 2는 본 실시예에 따른 서로 다른 크기 및 비율을 갖는 얼굴 특징 추출 필터를 도시한 도면이다. 2 is a diagram illustrating facial feature extraction filters having different sizes and ratios according to the present embodiment.

운전자 상태 모니터링 장치는, 운전자 상태 모니터링 실행 초기에 도 2와 같은 다양한 크기 및 가로 및 세로의 비율을 갖는 얼굴 특징 추출 필터를 사용하여 운전자의 얼굴을 탐색하고, 각 크기 및 비율 별로 얼굴 탐색 성공률을 판단한다. The driver condition monitoring device searches for a driver's face using a face feature extraction filter having various sizes and ratios of width and height as shown in FIG. 2 at the beginning of the driver condition monitoring execution, and determines a face search success rate for each size and ratio. do.

운전자 상태 모니터링 장치는 실행 초기 시점에, 하나의 프레임에서 서로 다른 크기 및 비율의 얼굴 특징 추출 필터를 통해 스캔을 수행하여 얼굴 탐색 성공률이 높은 얼굴 특징 추출 필터를 결정한다. The driver condition monitoring apparatus determines a face feature extraction filter having a high face search success rate by performing a scan through a face feature extraction filter having different sizes and ratios in one frame at an initial time point of execution.

이때, 운전자 상태 모니터링 장치는 각 필터 내에 얼굴에 해당하는 특징이 검출되는지 여부를 판단하여 얼굴 탐색 성공률을 결정하며, 운전자의 얼굴 크기 및 비율에 근접한 얼굴 특징 추출 필터를 결정한다. In this case, the driver condition monitoring apparatus determines whether or not a feature corresponding to a face is detected in each filter to determine a face search success rate, and determines a face feature extraction filter close to the driver's face size and ratio.

본 실시예에 따르면, 운전자에 맞는 비율의 얼굴 특징 추출 필터를 미리 결정하여 운전자의 얼굴을 탐색하기 때문에 연산량을 대폭 감소시킬 수 있다. According to the present embodiment, since a facial feature extraction filter having a ratio suitable for the driver is determined in advance and the driver's face is searched, the amount of computation can be significantly reduced.

운전자 상태 모니터링 장치는 카메라(104)를 통해 연속적으로 입력되는 영상에서 상기와 같이 결정된 얼굴 특징 추출 필터를 이용하여 얼굴을 탐색한다. The driver condition monitoring apparatus searches for a face from images continuously input through the camera 104 using the facial feature extraction filter determined as described above.

본 실시예에 따른 얼굴 특징 탐색에는 Haar Adaboost 알고리즘이 적용될 수 있고, 얼굴 특징 추출 필터는 Haar 필터일 수 있다. The Haar Adaboost algorithm may be applied to the facial feature search according to the present embodiment, and the facial feature extraction filter may be a Haar filter.

이하에서는, 본 실시예에 따른 필터에 대해 상세하게 설명한다. Hereinafter, the filter according to the present embodiment will be described in detail.

바람직하게 카메라(104)는 적외선 카메라일 수 있고, 운전자 상태 모니터링 장치는 적외선 카메라를 통해 입력된 흑백 이미지에서 적분 이미지를 생성하고, 음영 차이 기반의 Haar 필터를 이용한 약분류기로 구성된 강분류기를 통해 얼굴 위치 후보를 탐색한다. 이는 캐스케이드(Cascade) 분류기를 이용한 얼굴 특징 탐색 과정으로 정의할 수 있다. Preferably, the camera 104 may be an infrared camera, and the driver condition monitoring device generates an integral image from the black-and-white image input through the infrared camera, and faces through a strong classifier composed of a weak classifier using a Haar filter based on the difference in shadow. Search for location candidates. This can be defined as a facial feature search process using a cascade classifier.

Haar 필터들은 강화학습을 통해 생성된다. Haar filters are created through reinforcement learning.

도 3은 본 실시예에 따른 얼굴 특징 추출 필터 생성 과정에 대한 순서도이다. 3 is a flowchart illustrating a process of generating a filter for extracting facial features according to the present embodiment.

보다 상세하게, 운전자 상태 모니터링 장치는 위치(x, y)와 넓이(w) 높이(h), 그리고 사용하는 특징에 대한 정보를 포함하는 복수의 Haar 필터 마스크를 랜덤으로 생성한다(단계 300). 여기서, 위치, 넓이 및 높이가 크기 및 비율로 정의될 수 있다. In more detail, the driver condition monitoring apparatus randomly generates a plurality of Haar filter masks including information on the location (x, y), width (w), height (h), and features to be used (step 300). Here, the location, width, and height may be defined as a size and a ratio.

운전자 상태 모니터링 장치는 단계 300에서 생성된 각 Haar 필터 마스크를 포지티브 샘플과 네거티브 샘플에 적용하여 필터링 결과값을 저장한다(단계 302). The driver condition monitoring apparatus stores a filtering result value by applying each Haar filter mask generated in step 300 to the positive sample and the negative sample (step 302).

이후, 각 필터 마스크의 위치, 넓이 및 높이를 변경하여 Haar 필터 마스크를 추가로 생성하고(단계 304), 추가로 생성된 Haar 필터 마스크에 대한 필터링 결과값을 추가적으로 계산한다(단계 306).Thereafter, a Haar filter mask is additionally generated by changing the position, width, and height of each filter mask (step 304), and a filtering result value for the additionally generated Haar filter mask is additionally calculated (step 306).

다음으로 단계 300에서 생성한 Haar 필터 마스크와 단계 304에서 추가로 생성한 Haar 필터 마스크를 평가 함수를 통해 평가한다(단계 308).Next, the Haar filter mask generated in step 300 and the Haar filter mask additionally generated in step 304 are evaluated through an evaluation function (step 308).

평가 함수는 아래의 수식과 같이 표현된다. The evaluation function is expressed as the following equation.

Figure 112019009346523-pat00001
Figure 112019009346523-pat00001

여기서,

Figure 112019009346523-pat00002
는 포지티브 샘플에 대한 필터링 결과값의 분산이고,
Figure 112019009346523-pat00003
는 네거티브 샘플에 대한 필터링 결과값의 분산이며, k는 현재 필터 마스크의 인덱스이다. here,
Figure 112019009346523-pat00002
Is the variance of the filtering result for the positive sample,
Figure 112019009346523-pat00003
Is the variance of the filtering result for negative samples, and k is the index of the current filter mask.

운전자 상태 모니터링 장치는 Score 함수의 값을 기반으로 평가 함수에 의해 우수한 것으로 판정된 필터 마스크로 교체한다(단계 310). The driver condition monitoring device replaces the filter mask with the filter mask determined to be excellent by the evaluation function based on the value of the Score function (step 310).

이후, 교체된 필터 마스크를 초기값으로 두고 상기한 단계 308를 반복 수행하고, 일정 횟수를 만족하거나 모든 필터 마스크의 변화가 없게되면 반복을 중지한다. Thereafter, step 308 is repeatedly performed with the replaced filter mask as an initial value, and the repetition is stopped when a certain number of times is satisfied or all filter masks are not changed.

전술한 소정 크기 및 비율을 갖는 얼굴 특징 추출 필터는 도 3의 과정을 통해 결정된 Haar 필터들의 집합이다. The above-described facial feature extraction filter having a predetermined size and ratio is a set of Haar filters determined through the process of FIG. 3.

미리 설정된 크기 및 비율을 갖는 얼굴 특징 추출 필터를 통해 얼굴 후보 영역에 결정되는 경우, 운전자 상태 모니터링 장치는 신체 비율을 고려하여 눈 탐색 영역을 설정하여 눈을 탐색한다. When a face candidate region is determined through a facial feature extraction filter having a preset size and ratio, the driver condition monitoring apparatus searches for eyes by setting an eye search region in consideration of the body ratio.

눈 영역의 탐색에 있어서 운전자가 안경 등을 착용한 경우에는 빛의 반사로 인해 얼굴 인식에 오류가 발생할 수 있다. When the driver wears glasses or the like in the search of the eye area, an error may occur in face recognition due to reflection of light.

본 실시예에 따르면, 운전자 상태 모니터링의 신뢰도를 높일 수 있도록 운전자가 안경을 착용하고 있는지 여부를 우선적으로 판단한다. According to the present embodiment, it is first determined whether the driver is wearing glasses so as to increase the reliability of driver condition monitoring.

도 4는 본 발명의 일 실시예에 따른 안경 착용 여부를 고려한 눈 탐색 과정의 순서도이다. 4 is a flowchart of an eye search process in consideration of whether or not to wear glasses according to an embodiment of the present invention.

도 4를 참조하면, 얼굴 후보 영역에서 눈 탐색 영역을 설정한다(단계 400). Referring to FIG. 4, an eye search area is set in a face candidate area (step 400).

도 5는 본 실시예에 따른 안경 착용 여부 및 눈의 탐색 과정을 설명하기 위한 도면이다. 5 is a view for explaining whether glasses are worn and an eye search process according to the present embodiment.

도 5에 도시된 바와 같이, 얼굴 후보 영역 내에 소정 크기를 가진 영역이 눈 탐색 영역(500)으로 설정될 수 있다. As shown in FIG. 5, an area having a predetermined size in the face candidate area may be set as the eye search area 500.

안경 착용 여부를 판단하기 위해, 운전자 상태 모니터링 장치는 눈 탐색 영역(500) 내에 브릿지 탐색 영역(502)을 설정한다(단계 402). In order to determine whether to wear glasses, the driver condition monitoring device sets a bridge search area 502 in the eye search area 500 (step 402).

브릿지 탐색 영역(502)는 눈 탐색 영역(500)의 중앙 부분에 소정 크기로 설정될 수 있다. The bridge search area 502 may be set to a predetermined size in the center of the eye search area 500.

운전자 상태 모니터링 장치는 브릿지 탐색 영역(502) 내에서 수직/수평 경계 부분의 밝기 변화를 통해 브릿지가 존재하는지 여부를 판단한다(단계 404). The driver condition monitoring apparatus determines whether or not a bridge exists through a change in brightness of the vertical/horizontal boundary in the bridge search area 502 (step 404).

브릿지(504)가 탐색되는 경우, 탐색된 브릿지(504)를 기준으로 안경테를 탐색한다(단계 406).When the bridge 504 is searched, the spectacle frame is searched based on the searched bridge 504 (step 406).

안경테(506)가 탐색되는 경우, 운전자 상태 모니터링 장치는 안경테(506)의 위치에 기초하여 선정된 눈 영역(508)의 최근 소정 개수의 프레임에서의 평균 밝기값, 밝기 분산값, 위치 평균값(사각형 중심점) 및 상기한 각 항목들의 분산값을 포함하는 제1 값을 산출한다(단계 408). 여기서, 단계 408는 현재 프레임에 인접한 미리 설정된 개수의 프레임 각각의 눈 영역에 대한 밝기 및 눈 위치에 대한 누적값을 산출하는 과정이다.When the spectacle frame 506 is searched, the driver condition monitoring apparatus includes an average brightness value, a luminance dispersion value, and a position average value (rectangle) in the last predetermined number of frames of the eye region 508 selected based on the position of the spectacle frame 506 A center point) and a first value including a variance value of each of the above items is calculated (step 408). Here, step 408 is a process of calculating the cumulative value of the brightness and eye position of each eye area of a preset number of frames adjacent to the current frame.

이후, 상기한 누적값을 현재 프레임의 눈 영역에 대해 계산된 제2 값들과 비교하여 신뢰도를 계산한다(단계 410).Thereafter, the accumulated value is compared with the second values calculated for the eye area of the current frame to calculate the reliability (step 410).

여기서, 제2 값은 현재 프레임 눈 영역의 밝기값, 밝기 분산값, 위치값(눈 영역의 중심점) 및 이들의 분산값일 수 있다. Here, the second value may be a brightness value, a brightness dispersion value, a position value (a center point of the eye region), and a dispersion value of the eye region of the current frame.

신뢰도 계산 식은 다음과 같다. . The equation for calculating the reliability is as follows. .

Figure 112019009346523-pat00004
Figure 112019009346523-pat00004

여기서, zscore는 z 점수 값을 의미하고, w는 각 zscore를 조절하는 가중치이다. 각 눈에 대한 r 값이 계산되면 양 눈의 r 값을 비율을 통해 눈 영역을 결정한다. .Here, zscore means a z score value, and w is a weight controlling each zscore. When the r value for each eye is calculated, the eye area is determined through the ratio of the r values for both eyes. .

브릿지(504)가 탐색되지 않으면 기존 알고리즘을 이용하여 눈 영역을 탐색한다. If the bridge 504 is not searched, the eye region is searched using an existing algorithm.

눈 영역이 탐색된 이후, 운전자 상태 모니터링 장치는 눈 영역으로부터 눈꺼풀을 탐색한다. After the eye area is searched, the driver condition monitoring device searches the eyelid from the eye area.

도 6은 본 실시예에 따른 눈꺼풀 탐색 과정을 설명하기 위한 도면이다. 6 is a diagram for explaining an eyelid search process according to the present embodiment.

도 6을 참조하면, 눈꺼풀 탐색을 위해 영상을 수직 방향으로 하향 및 상향 이동하며 수직 경계 성분을 탐색한다. Referring to FIG. 6, an image is vertically moved downward and upward to search for an eyelid, and a vertical boundary component is searched.

상기한 탐색 과정을 통해 상안검과 하안검의 차이를 계산하고, 이를 통해 눈이 감긴 상태인지를 판단한다. Through the above-described search process, the difference between the upper and lower eyelids is calculated, and through this, it is determined whether the eyes are closed.

운전자 상태 모니터링 장치는 눈이 감긴 상태가 미리 설정된 시간 동안 계속될 때 알람부(106)를 통해 알람을 출력한다. The driver condition monitoring device outputs an alarm through the alarm unit 106 when the closed condition continues for a preset time.

또한, 본 실시예에 따른 운전자 상태 모니터링 장치는, 코와 얼굴 각도를 계산하여 운전자가 전방 주시 태만 상태인지 여부를 판단한다. In addition, the driver condition monitoring apparatus according to the present exemplary embodiment determines whether the driver is in a negligent forward-looking state by calculating nose and face angles.

도 7은 본 실시예에 따른 전방 주시 태만 상태를 검출하는 과정을 설명하기 위한 도면이다. 7 is a diagram for explaining a process of detecting a negligent forward gaze state according to the present embodiment.

도 7을 참조하면, 상기와 같이 계산된 눈 영역(700)과 겹치지 않는 얼굴의 하단부를 코 탐색 영역(702)으로 설정한다. Referring to FIG. 7, a lower portion of the face that does not overlap with the eye region 700 calculated as described above is set as the nose search region 702.

코 탐색을 위해 수평 경계 및 수직 경계 기반의 Haar 필터를 이용한 분류기가 사용될 수 있다. A classifier using a Haar filter based on a horizontal boundary and a vertical boundary can be used for nose search.

운전자 상태 모니터링 장치는 미간의 위치(704)와 코의 수평 축 위치 차이를 계산하고, 코의 위치와 얼굴 중심부(706)에서 일정 거리를 두고 있다고 가정하여 얼굴의 회전각을 계산한다. The driver condition monitoring device calculates the difference between the position of the eyebrows 704 and the horizontal axis of the nose, and calculates the rotation angle of the face assuming that the position of the nose and the center of the face 706 are at a certain distance.

얼굴의 회전각이 미리 설정된 시간 동안 임계치보다 큰 경우 운전자 상태 모니터링 장치는 운전자가 전방 주시 태만 상태인 것으로 판단하여 알람을 생성한다.When the rotation angle of the face is greater than the threshold for a preset time, the driver condition monitoring device determines that the driver is in a negligent forward-looking state and generates an alarm.

상기한 본 발명의 실시예는 예시의 목적을 위해 개시된 것이고, 본 발명에 대한 통상의 지식을 가지는 당업자라면 본 발명의 사상과 범위 안에서 다양한 수정, 변경, 부가가 가능할 것이며, 이러한 수정, 변경 및 부가는 하기의 특허청구범위에 속하는 것으로 보아야 할 것이다.The above-described embodiments of the present invention have been disclosed for the purpose of illustration, and those skilled in the art who have ordinary knowledge of the present invention will be able to make various modifications, changes, and additions within the spirit and scope of the present invention, and such modifications, changes and additions It should be seen as belonging to the following claims.

Claims (7)

  1. 운전자 상태 모니터링 장치로서,
    프로세서; 및
    상기 프로세서에 연결되는 메모리를 포함하되,
    상기 메모리는,
    차량 내에 설치된 카메라를 통해 운전자에 대한 영상을 획득하고,
    미리 설정된 크기 및 비율을 갖는 얼굴 특징 추출 필터를 이용하여 상기 획득된 영상에서 얼굴 후보 영역을 결정하고,
    상기 결정된 얼굴 후보 영역에서 안경의 착용 여부를 고려하여 운전자의 눈 영역을 탐색하고,
    상기 탐색된 눈 영역을 이용하여 운전자가 졸음 상태 또는 전방 주시 태만 상태인지 여부를 결정하도록,
    상기 프로세서에 의해 실행 가능한 프로그램 명령어들을 저장하되,
    상기 프로그램 명령어들은,
    초기 시점에 서로 다른 크기와, 서로 다른 가로 및 세로 비율을 갖는 복수의 얼굴 특징 추출 필터를 랜덤하게 생성하고,
    상기 획득된 영상에 상기 랜덤하게 생성된 복수의 얼굴 특징 추출 필터를 적용하여 얼굴 탐색 성공률이 가장 높은 얼굴 특징 추출 필터를 결정하고,
    상기 결정된 얼굴 특징 추출 필터를 이용하여 상기 획득된 영상에서 얼굴 후보 영역을 결정하는 운전자 상태 모니터링 장치.
    As a driver condition monitoring device,
    Processor; And
    Including a memory connected to the processor,
    The memory,
    Acquires an image of the driver through a camera installed in the vehicle,
    Determine a face candidate region from the obtained image using a facial feature extraction filter having a preset size and ratio,
    In the determined face candidate region, the driver's eye region is searched in consideration of whether glasses are worn,
    To determine whether the driver is drowsy or neglected to look forward using the searched eye area,
    Store program instructions executable by the processor,
    The program instructions,
    Randomly generate a plurality of facial feature extraction filters having different sizes and different horizontal and vertical ratios at the initial viewpoint,
    A facial feature extraction filter having the highest face search success rate is determined by applying the plurality of randomly generated facial feature extraction filters to the acquired image,
    A driver condition monitoring device that determines a face candidate region from the obtained image using the determined facial feature extraction filter.
  2. 삭제delete
  3. 제1항에 있어서,
    상기 프로그램 명령어들은,
    상기 결정된 얼굴 후보 영역에서 눈 영역 탐색 영역 및 브릿지 탐색 영역을 설정하고,
    상기 브릿지 탐색 영역 내에 브릿지가 존재하는지 여부를 판단하고,
    상기 브릿지가 존재하는 경우, 탐색된 브릿지를 기준으로 안경테를 탐색하고,
    상기 안경테의 위치에 기초하여 선정된 눈 영역의 미리 설정된 개수의 프레임에서의 밝기 및 위치를 고려한 제1 계산값과 현재 프레임에서 눈 영역의 밝기 및 위치를 고려한 제2 계산값을 비교하여 눈 영역을 탐색하는 운전자 상태 모니터링 장치.
    The method of claim 1,
    The program instructions,
    Set an eye area search area and a bridge search area in the determined face candidate area,
    It is determined whether or not a bridge exists in the bridge search area,
    If the bridge is present, the eyeglass frame is searched based on the searched bridge,
    The eye region is determined by comparing a first calculated value that considers brightness and position in a preset number of frames of the eye region selected based on the position of the spectacle frame and a second calculated value that considers the brightness and position of the eye region in the current frame. Driver condition monitoring device to navigate.
  4. 제3항에 있어서,
    상기 제1 계산값은 상기 미리 설정된 프레임 각각의 눈 영역의 평균 밝기값, 밝기 분산값, 위치 평균값 및 이들의 분산값이고,
    상기 제2 계산값은 현재 프레임에서 눈 영역의 밝기값, 밝기 분산값, 위치값 및 이들의 분산값인 운전자 상태 모니터링 장치.
    The method of claim 3,
    The first calculated value is an average brightness value, a brightness dispersion value, a position average value, and a dispersion value thereof of the eye region of each of the preset frames,
    The second calculated value is a brightness value, a brightness dispersion value, a position value, and a dispersion value of the eye area in the current frame.
  5. 제1항에 있어서,
    상기 프로그램 명령어들은,
    상기 눈 영역으로부터 눈꺼풀을 탐색하고,
    탐색된 눈꺼풀의 상태를 통해 운전자의 눈이 감긴 상태인지 여부를 판단하고,
    눈이 감긴 상태가 미리 설정된 시간 동안 계속되는 경우 졸음 상태로 판단하여 알람을 생성하는 운전자 상태 모니터링 장치.
    The method of claim 1,
    The program instructions,
    Search for the eyelid from the eye area,
    Determines whether the driver's eyes are closed based on the detected eyelid condition,
    A driver condition monitoring device that determines that the eyes are closed and generates an alarm if the condition continues for a preset period of time.
  6. 제1항에 있어서,
    상기 프로그램 명령어들은,
    상기 눈 영역으로부터 코를 탐색하고,
    미간의 위치와 코의 수평 축 위치 차이를 통해 얼굴의 회전각을 계산하고,
    상기 회전각이 미리 설정된 임계치보다 큰 상태가 미리 설정된 시간 동안 계속되는 경우 전방 주시 태만 상태인 것으로 판단하여 알람을 생성하는 운전자 상태 모니터링 장치.
    The method of claim 1,
    The program instructions,
    Search the nose from the eye area,
    The rotation angle of the face is calculated through the difference between the position of the eyebrows and the horizontal axis of the nose,
    A driver condition monitoring device configured to generate an alarm by determining that the rotation angle is greater than the preset threshold and continues for a preset period of time.
  7. 운전자 상태 모니터링 방법으로서,
    (a) 운전자의 얼굴에 맞는 크기 및 비율을 갖는 얼굴 특징 추출 필터를 결정하는 단계;
    (b) 차량 내에 설치된 카메라를 통해 운전자에 대한 영상을 획득하는 단계;
    (c) 상기 결정된 얼굴 특징 추출 필터를 이용하여 상기 획득된 영상에서 얼굴 후보 영역을 결정하는 단계;
    (d) 상기 결정된 얼굴 후보 영역에서 안경의 착용 여부를 고려하여 운전자의 눈 영역을 탐색하는 단계; 및
    (e) 상기 탐색된 눈 영역을 이용하여 운전자가 졸음 상태 또는 전방 주시 태만 상태인지 여부를 결정하는 단계를 포함하되,
    상기 (a) 단계는, 초기 시점에 서로 다른 크기와, 서로 다른 가로 및 세로 비율을 갖는 복수의 얼굴 특징 추출 필터를 랜덤하게 생성하고,
    상기 획득된 영상에 상기 랜덤하게 생성된 복수의 얼굴 특징 추출 필터를 적용하여 얼굴 탐색 성공률이 가장 높은 얼굴 특징 추출 필터를 결정하고,
    상기 (b) 단계는, 상기 결정된 얼굴 특징 추출 필터를 이용하여 상기 획득된 영상에서 얼굴 후보 영역을 결정하는 운전자 상태 모니터링 방법.



    As a driver condition monitoring method,
    (a) determining a facial feature extraction filter having a size and ratio suitable for the driver's face;
    (b) obtaining an image of the driver through a camera installed in the vehicle;
    (c) determining a face candidate region from the obtained image using the determined facial feature extraction filter;
    (d) searching for a driver's eye area in consideration of whether glasses are worn in the determined face candidate area; And
    (e) determining whether the driver is in a drowsy state or a negligent forward-looking state by using the searched eye area,
    In the step (a), a plurality of facial feature extraction filters having different sizes and different horizontal and vertical ratios at an initial viewpoint are randomly generated,
    A facial feature extraction filter having the highest face search success rate is determined by applying the plurality of randomly generated facial feature extraction filters to the acquired image,
    In the step (b), a driver condition monitoring method of determining a face candidate region in the obtained image using the determined facial feature extraction filter.



KR1020190010049A 2019-01-25 2019-01-25 Driver status monitor method and apparatus KR102161908B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190010049A KR102161908B1 (en) 2019-01-25 2019-01-25 Driver status monitor method and apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190010049A KR102161908B1 (en) 2019-01-25 2019-01-25 Driver status monitor method and apparatus

Publications (2)

Publication Number Publication Date
KR20200092739A KR20200092739A (en) 2020-08-04
KR102161908B1 true KR102161908B1 (en) 2020-10-05

Family

ID=72048963

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190010049A KR102161908B1 (en) 2019-01-25 2019-01-25 Driver status monitor method and apparatus

Country Status (1)

Country Link
KR (1) KR102161908B1 (en)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002274265A (en) * 2001-03-22 2002-09-25 Honda Motor Co Ltd Mirror adjusting device
JP2008194309A (en) * 2007-02-14 2008-08-28 Aisin Seiki Co Ltd Eye detector, nap detector, and method of eye detector
JP2008269182A (en) * 2007-04-18 2008-11-06 Fujitsu Ltd Image processing method, image processor, image processing system, and computer program

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8570176B2 (en) 2008-05-28 2013-10-29 7352867 Canada Inc. Method and device for the detection of microsleep events

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002274265A (en) * 2001-03-22 2002-09-25 Honda Motor Co Ltd Mirror adjusting device
JP2008194309A (en) * 2007-02-14 2008-08-28 Aisin Seiki Co Ltd Eye detector, nap detector, and method of eye detector
JP2008269182A (en) * 2007-04-18 2008-11-06 Fujitsu Ltd Image processing method, image processor, image processing system, and computer program

Also Published As

Publication number Publication date
KR20200092739A (en) 2020-08-04

Similar Documents

Publication Publication Date Title
US9405982B2 (en) Driver gaze detection system
Ma et al. Robust precise eye location under probabilistic framework
US8233670B2 (en) System and method for traffic sign recognition
Azim et al. Fully automated real time fatigue detection of drivers through fuzzy expert systems
US8442339B2 (en) Method and device for selecting images in a sequence of iris images received in a stream
CN100592322C (en) An automatic computer authentication method for photographic faces and living faces
KR100455294B1 (en) Method for detecting user and detecting motion, and apparatus for detecting user within security system
KR101498114B1 (en) Device and method for detecting pedestrains
US7720285B2 (en) Head detecting apparatus, head detecting method, and head detecting program
KR101386823B1 (en) 2 level drowsy driving prevention apparatus through motion, face, eye,and mouth recognition
US7839292B2 (en) Real-time driving danger level prediction
EP1589485B1 (en) Object tracking and eye state identification method
JP6343808B2 (en) Visual field calculation device and visual field calculation method
KR100738522B1 (en) Apparatus and method for distinction between camera movement and object movement and extracting object in video surveillance system
US20140354684A1 (en) Symbology system and augmented reality heads up display (hud) for communicating safety information
EP2535224B1 (en) Driving support equipment for vehicles
US8224035B2 (en) Device, method and program for detecting eye
US9733703B2 (en) System and method for on-axis eye gaze tracking
US10853675B2 (en) Driving state monitoring methods and apparatuses, driver monitoring systems, and vehicles
CN105654753A (en) Intelligent vehicle-mounted safe driving assistance method and system
JP4137969B2 (en) Eye detection device, eye detection method, and program
US7916904B2 (en) Face region detecting device, method, and computer readable recording medium
JP4372804B2 (en) Image processing device
US8351658B2 (en) Eyelid detection apparatus and programs therefor
US7620216B2 (en) Method of tracking a human eye in a video image

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant