KR101788211B1 - Face landmark detection method and apparatus for drive state monitoring - Google Patents

Face landmark detection method and apparatus for drive state monitoring Download PDF

Info

Publication number
KR101788211B1
KR101788211B1 KR1020160095060A KR20160095060A KR101788211B1 KR 101788211 B1 KR101788211 B1 KR 101788211B1 KR 1020160095060 A KR1020160095060 A KR 1020160095060A KR 20160095060 A KR20160095060 A KR 20160095060A KR 101788211 B1 KR101788211 B1 KR 101788211B1
Authority
KR
South Korea
Prior art keywords
facial feature
face
facial
driver
feature points
Prior art date
Application number
KR1020160095060A
Other languages
Korean (ko)
Inventor
고병철
남재열
곽준영
정미라
신주석
Original Assignee
계명대학교 산학협력단
이래오토모티브시스템 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 계명대학교 산학협력단, 이래오토모티브시스템 주식회사 filed Critical 계명대학교 산학협력단
Priority to KR1020160095060A priority Critical patent/KR101788211B1/en
Application granted granted Critical
Publication of KR101788211B1 publication Critical patent/KR101788211B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06K9/00268—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K28/00—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions
    • B60K28/02—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver
    • G06K9/00288—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification

Abstract

본 발명은 운전자 상태 모니터링을 위한 얼굴 특징점 검출 방법 및 장치에 관한 것으로서, 보다 구체적으로는 외부의 조명 환경 변화 및 운전자의 얼굴 가려짐에 유연한 운전자 얼굴 특징점 검출 방법으로서, (3) 카메라를 통해 입력된 영상으로부터 전처리 과정을 통해 검출된 운전자의 코 위치를 이용하여, 얼굴 특징점(landmarks) 검출을 위한 초기 mean shape 모델의 위치가 설정되고, 상기 설정된 초기 mean shape 모델에서 얼굴 특징점들이 설정되는 단계, (4) 상기 단계 (3)을 통해 설정된 각각의 얼굴 특징점들에 대하여, 미리 학습된 Weighted Random Forest Regressor(이하, Weighted RF Regressor)에 의해 각각의 단계에서 각각의 얼굴 특징점들이 이동되어야 할 오프셋이 계산되고, 상기 계산된 오프셋을 바탕으로 각각의 단계에서 각각의 얼굴 특징점들의 위치가 갱신되어 최종적인 얼굴 특징점들의 위치가 예측되는 단계, (5) 상기 단계 (4)를 통해 예측된 얼굴 특징점들 간의 사이각 및 거리비를 바탕으로 최적의 얼굴 모델이 검출되는 단계, 및 (6) 상기 단계 (4)를 통해 예측된 최종적인 얼굴 특징점들의 위치와 상기 단계 (5)를 통해 검출된 최적의 얼굴 모델이 결합되어, 최종 얼굴 특징점들이 검출되는 단계를 포함하는 것을 그 구성상의 특징으로 한다.
본 발명에서 제안하고 있는 운전자 상태 모니터링을 위한 얼굴 특징점 검출 방법 및 장치에 따르면, Cascade 방법 기반으로 BRF 분류기와 Haar-like 특징 및 OCS-LBP 특징을 이용하여, 입력 영상으로부터 얼굴 영역 및 코의 위치를 검출함으로써, 외부 조명 변화에 영향을 덜 받으며 보다 정확하게 운전자의 얼굴 영역 및 코의 위치를 검출할 수 있다.
또한, 본 발명에서는, 단계적 포즈 회귀(Cascade Pose Regression) 방법을 통해 예측된 최종 얼굴 특징점들의 위치와, 예측된 최종 얼굴 특징점들 간의 공간적 관계성을 이용하여 검출한 최적의 얼굴 모델을 결합해서 최종 얼굴 특징점들을 검출함으로써, 안경, 선글라스 및 머리카락 등으로 인한 얼굴 가려짐에 영향을 덜 받으며 보다 정확하게 운전자의 얼굴 특징점들을 검출할 수 있다.The present invention relates to a method and apparatus for detecting facial feature points for driver condition monitoring, and more particularly, to a method for detecting a facial feature point of a driver who is flexible in changing an external lighting environment and a face of a driver, (3) A position of an initial mean shape model for detecting facial feature points is set using a nose position of a driver detected through a preprocessing process from an image and facial feature points are set in the set initial mean shape model; ) For each facial feature point set through the step (3), the offset to which each facial feature point should be shifted at each step is calculated by a Weighted Random Regressor (hereinafter referred to as Weighted Random Regressor) Based on the calculated offset, the position of each facial feature point is updated at each step, (5) an optimal face model is detected based on the angle between the facial feature points estimated through the step (4) and the distance ratio, and (6) the step The final facial feature points are detected by combining the positions of the final facial feature points predicted through the step (4) with the optimal facial model detected through the step (5).
According to the method and apparatus for detecting a facial feature point for monitoring a driver condition proposed in the present invention, a face region and a nose position are detected from an input image using a BRF classifier, Haar-like feature, and OCS-LBP feature based on a Cascade method It is possible to detect the position of the face region of the driver and the position of the nose more precisely without being influenced by an external illumination change.
Also, in the present invention, the optimal face models detected are combined using the spatial relationship between the positions of the final facial feature points predicted through the cascade positive regression method and the predicted final facial feature points, By detecting feature points, it is less affected by face clipping due to glasses, sunglasses, and hair, and more accurately detects the facial feature points of a driver.

Description

운전자 상태 모니터링을 위한 얼굴 특징점 검출 방법 및 장치{FACE LANDMARK DETECTION METHOD AND APPARATUS FOR DRIVE STATE MONITORING}TECHNICAL FIELD [0001] The present invention relates to a facial feature point detection method and apparatus for monitoring a driver's condition,

본 발명은 운전자 상태 모니터링을 위한 얼굴 특징점 검출 방법 및 장치에 관한 것으로서, 보다 구체적으로는 외부 조명 환경 변화 및 얼굴 가려짐에 유연한 운전자 상태 모니터링을 위한 얼굴 특징점 검출 방법 및 장치에 관한 것이다.The present invention relates to a method and apparatus for detecting a facial feature point for driver condition monitoring, and more particularly, to a method and apparatus for detecting facial feature point for flexible driver condition monitoring in an external illumination environment change and facial blindness.

차량의 운행에 따른 교통사고 사망자를 최대한 줄이기 위하여 세계 각국에서 선진 안전 자동차(ASV: Advanced Safety Vehicle)에 관한 연구에 많은 노력을 기울이고 있다. 이러한, 선진 안전 자동차는 교통사고 사망자를 줄이는 차, 운전자의 피로를 덜어주는 차, 또는 운전하기 쉬운 차로서, 차량의 안정성 향상과 보행자 보호를 위해 사고를 미리 방지하는 것을 그 기본 개념으로 하고 있으며, 이를 위해 적용된 안전 기술은 운전자 상태 감시 시스템, 야간 장애물 감지 시스템 및 차의 위험상태 경보 시스템 등이 있다.
In order to reduce the number of traffic accident deaths caused by the vehicle's operation, we are making great efforts to study Advanced Safety Vehicle (ASV) in various countries around the world. These advanced safety vehicles are based on the concept of preventing accidents in advance to improve the stability of the vehicle and protect pedestrians as vehicles that reduce traffic accident deaths, Safety technologies applied for this include driver condition monitoring system, nighttime obstacle detection system, and car hazard monitoring system.

이 중, 운전자 상태 감시 시스템은, 차량 내부에 장착된 카메라를 통한 운전자의 상태를 판단한 뒤 운전자에게 경보하여 운전자가 안전 운행을 할 수 있도록 도와주는 시스템으로, 운전자의 상태를 판단하기 위해서는 카메라를 통해 입력되는 영상으로부터 운전자의 얼굴을 정확히 검출하여 분석하는 것이 필수적이다. 하지만, 종래의 카메라를 통해 입력되는 영상으로부터 얼굴을 검출하는 방식은, 외부 조명 환경 변화 및 얼굴 가려짐의 영향 때문에, 얼굴을 정확히 검출하는데 한계가 있었다.
Among these, the driver condition monitoring system is a system that helps the driver to make a safe driving by warning the driver after determining the driver's condition through the camera mounted inside the vehicle. In order to determine the driver's condition, It is essential to accurately detect and analyze the driver's face from the input image. However, the conventional method of detecting a face from an image input through a camera has a limitation in accurately detecting the face because of the influence of external environment change and face cloaking.

이와 같은 얼굴 검출과 관련하여, 등록특허 제10-1619661호(발명의 명칭: 운전자의 얼굴 방향 검출 방법, 등록일자: 2016년 05월 02일) 등이 개시된바 있다.Regarding such face detection, Japanese Patent Registration No. 10-1619661 (entitled: Method of detecting the driver's face direction, registration date: May 02, 2016) has been disclosed.

본 발명은 기존에 제안된 방법들의 상기와 같은 문제점들을 해결하기 위해 제안된 것으로서, Cascade 방법 기반으로 Boosted Random Forest(이하, BRF라 함) 분류기와 Haar-like 특징 및 Orientation Center Symmetric Local Binary Pattern(이하, OCS-LBP라 함) 특징을 이용하여, 입력 영상으로부터 얼굴 영역 및 코의 위치를 검출함으로써, 외부 조명 변화에 영향을 덜 받으며 보다 정확하게 운전자의 얼굴 영역 및 코의 위치를 검출할 수 있는, 운전자 상태 모니터링을 위한 얼굴 특징점 검출 방법 및 장치를 제공하는 것을 그 목적으로 한다.
The present invention has been proposed in order to solve the above-mentioned problems of the previously proposed methods, and it has been proposed to use a Boosted Random Forest (BRF) classifier, a Haar-like feature and an Orientation Center Symmetric Local Binary Pattern , And OCS-LBP), it is possible to detect the position of the face region and the nose from the input image, thereby making it possible to more accurately detect the position of the face region and the nose of the driver, It is another object of the present invention to provide a method and apparatus for detecting facial feature points for status monitoring.

또한, 본 발명에서는, 단계적 포즈 회귀(Cascade Pose Regression) 방법을 통해 예측된 최종 얼굴 특징점들의 위치와, 예측된 최종 얼굴 특징점들 간의 공간적 관계성을 이용하여 검출한 최적의 얼굴 모델을 결합해서 최종 얼굴 특징점들을 검출함으로써, 안경, 선글라스 및 머리카락 등으로 인한 얼굴 가려짐에 영향을 덜 받으며 보다 정확하게 운전자의 얼굴 특징점들을 검출할 수 있는, 운전자 상태 모니터링을 위한 얼굴 특징점 검출 방법 및 장치를 제공하는 것을 다른 목적으로 한다.Also, in the present invention, the optimal face models detected are combined using the spatial relationship between the positions of the final facial feature points predicted through the cascade positive regression method and the predicted final facial feature points, The present invention provides a method and apparatus for detecting a facial feature point for driver's condition monitoring that can detect a facial feature point of a driver more accurately and is less affected by facial blindness caused by glasses, sunglasses, .

상기한 목적을 달성하기 위한 본 발명의 특징에 따른, 운전자 상태 모니터링을 위한 얼굴 특징점 검출 방법은,According to an aspect of the present invention, there is provided a method for detecting a facial feature point for driver condition monitoring,

외부의 조명 환경 변화 및 운전자의 얼굴 가려짐에 유연한 운전자 얼굴 특징점 검출 방법으로서,There is provided a method for detecting a driver's facial feature point that is flexible in changing an external illumination environment and masking a face of a driver,

(3) 카메라를 통해 입력된 영상으로부터 전처리 과정을 통해 검출된 운전자의 코 위치를 이용하여, 얼굴 특징점(landmarks) 검출을 위한 초기 mean shape 모델의 위치가 설정되고, 상기 설정된 초기 mean shape 모델에서 얼굴 특징점들이 설정되는 단계;(3) a position of an initial mean shape model for detecting facial feature points is set using a nose position of a driver detected through a preprocessing process from an image input through a camera, Setting minutiae points;

(4) 상기 단계 (3)을 통해 설정된 각각의 얼굴 특징점들에 대하여, 미리 학습된 Weighted Random Forest Regressor(이하, Weighted RF Regressor)에 의해 각각의 단계에서 각각의 얼굴 특징점들이 이동되어야 할 오프셋이 계산되고, 상기 계산된 오프셋을 바탕으로 각각의 단계에서 각각의 얼굴 특징점들의 위치가 갱신되어 최종적인 얼굴 특징점들의 위치가 예측되는 단계;
(5) 상기 단계 (4)를 통해 예측된 얼굴 특징점들 중 추출된 3개의 얼굴특징점들 간의 사이각 및 거리비와, 얼굴 모델 별로 정의된 가우시안 확률 밀도 함수(Probabilistic Density Function)와의 공간적 상관관계에 따른 확률값 검출을 통해 최적의 얼굴 모델이 결정되는 단계; 및(4) For each facial feature point set through the step (3), an offset to which each facial feature point should be shifted in each step is calculated by a Weighted Random Forest Regressor (hereinafter referred to as a Weighted RF Regressor) A position of each facial feature point is updated at each step based on the calculated offset, and a position of a final facial feature point is predicted;
(5) The spatial correlation between the angle and distance ratio between the extracted three facial feature points and the Gaussian probability density function defined by the face model, predicted through step (4) Determining an optimal face model by detecting a probability value according to the detected face model; And

(6) 상기 단계 (4)를 통해 예측된 최종적인 얼굴 특징점들의 위치와 상기 단계 (5)를 통해 결정된 최적의 얼굴 모델이 결합되어, 최종 얼굴 특징점들이 검출되는 단계를 포함하는 것을 특징으로 한다.(6) The final facial feature points are detected by combining the positions of the final facial feature points predicted through step (4) with the optimal facial model determined through step (5).

삭제delete

바람직하게는, 상기 전처리 과정은,Preferably, the pre-

(1) 상기 카메라를 통해 입력된 영상으로부터 운전자의 얼굴 영역이 검출되는 단계; 및(1) detecting a face region of a driver from an image input through the camera; And

(2) 상기 단계 (1)을 통해 검출된 운전자의 얼굴 영역 내에서 운전자의 코 위치가 검출되는 단계를 포함할 수 있다.
(2) detecting the driver's nose position within the face region of the driver detected through the step (1).

더욱 바람직하게는,More preferably,

상기 단계 (1)은,The step (1)

(1-1) 상기 카메라를 통해 입력된 영상에서 슬라이딩 윈도우 방법을 통해 Haar-like 특징 벡터들이 추출되는 단계;(1-1) extracting Haar-like feature vectors through a sliding window method on an image input through the camera;

(1-2) 상기 단계 (1-1)을 통해 추출된 Haar-like 특징 벡터들이 Boosted Random Forest(이하, BRF라 함) 분류기의 입력 벡터로 사용되어 얼굴 영역 후보가 포함된 윈도우가 선별되는 단계;(1-2) The Haar-like feature vectors extracted through the step (1-1) are used as the input vectors of the Boosted Random Forest (hereinafter, referred to as BRF) classifier to select the window including the face region candidates ;

(1-3) 상기 단계 (1-2)를 통해 선별된 윈도우에서 슬라이딩 윈도우 방법을 통해 Orientation Center Symmetric Local Binary Pattern(이하, OCS-LBP라 함) 특징 벡터들이 추출되는 단계;(1-3) extracting an Orientation Center Symmetric Local Binary Pattern (hereinafter referred to as OCS-LBP) feature vectors through a sliding window method in a window selected in the step (1-2);

(1-4) 상기 단계 (1-3)을 통해 추출된 OCS-LBP 특징 벡터들이 BRF 분류기의 입력 벡터로 사용되어 최종 얼굴 영역 후보가 포함된 윈도우들이 선별되는 단계; 및(1-4) the OCS-LBP feature vectors extracted through the step (1-3) are used as input vectors of the BRF classifier to select windows including the final face region candidates; And

(1-5) 상기 단계 (1-4)를 통해 선별된 윈도우들이 병합되어, 최종 얼굴 영역이 검출되는 단계를 포함하며,(1-5) merging the selected windows through the step (1-4), and detecting a final face area,

상기 단계 (2)는,The step (2)

(2-1) 상기 단계 (1)을 통해 검출된 운전자의 얼굴 영역 내에서 슬라이딩 윈도우 방법을 통해 Haar-like 특징 벡터들이 추출되는 단계;(2-1) extracting Haar-like feature vectors through the sliding window method in the face region of the driver detected through the step (1);

(2-2) 상기 단계 (2-1)을 통해 추출된 Haar-like 특징 벡터들이 BRF 분류기의 입력 벡터로 사용되어 코 영역 후보가 포함된 윈도우가 선별되는 단계;(2-2) selecting a window including the nose region candidate by using Haar-like feature vectors extracted through the step (2-1) as an input vector of the BRF classifier;

(2-3) 상기 단계 (2-2)를 통해 선별된 윈도우에서 슬라이딩 윈도우 방법을 통해 OCS-LBP 특징 벡터들이 추출되는 단계;(2-3) extracting OCS-LBP feature vectors through a sliding window method in the selected window through the step (2-2);

(2-4) 상기 단계 (2-3)을 통해 추출된 OCS-LBP 특징 벡터들이 BRF 분류기의 입력 벡터로 사용되어 최종 코 영역 후보가 포함된 윈도우들이 선별되는 단계; 및(2-4) The OCS-LBP feature vectors extracted in the step (2-3) are used as input vectors of the BRF classifier to select windows including the final nose region candidate; And

(2-5) 상기 단계 (2-4)를 통해 선별된 윈도우들이 병합되어, 최종 코의 위치가 검출되는 단계를 포함할 수 있다.
(2-5) The selected windows may be merged through the step (2-4), and the position of the final nose may be detected.

바람직하게는, 상기 얼굴 특징점들은,Advantageously,

얼굴 표정이나 가려짐에 따른 변화에 강인한 지점에 위치한 얼굴 특징점들과, 얼굴 표정이나 가려짐에 따른 변화에 약한 지점에 위치한 얼굴 특징점들로 구성될 수 있다.
Facial feature points located at points that are robust to changes due to facial expression or occlusion, and facial feature points located at weak points due to facial expression or occlusion.

바람직하게는, 상기 단계 (4)에서,Preferably, in said step (4)

상기 단계 (3)을 통해 설정된 각각의 얼굴 특징점들은, 단계적 포즈 회귀(Cascade Pose Regression, CPR) 방법을 통해 각각의 위치가 갱신될 수 있다.
Each of the facial feature points set through the step (3) can be updated by a cascade positive regression (CPR) method.

바람직하게는, 상기 단계 (4)에서는,Preferably, in the step (4)

슬라이딩 윈도우의 크기가 변경되어, 각각의 단계에서 각각의 얼굴 특징점들로부터 OCS-LBP 특징 벡터들이 추출될 수 있다.
The size of the sliding window is changed so that OCS-LBP feature vectors can be extracted from each facial feature point at each step.

바람직하게는, 상기 얼굴 모델은,Preferably, the face model includes:

얼굴이 정면을 향하는 Front shape 모델, 얼굴이 좌를 향하는 Left yaw shape 모델, 얼굴이 우를 향하는 Right yaw shape 모델, 얼굴이 정면을 향하며 왼쪽으로 기운 Left roll shape 모델, 및 얼굴이 정면을 향하며 오른쪽으로 기운 Right roll shape 모델을 포함할 수 있다.
Front shape model with facial front, Left yaw shape model with face left, Right yaw shape model with face to right, Left roll shape model with face to front face to left, Right roll shape model can be included.

삭제delete

삭제delete

삭제delete

삭제delete

더욱더 바람직하게는, 상기 각각의 얼굴 모델에서 추출된 3개의 얼굴 특징점들은,Still more preferably, the three facial feature points extracted from each facial model,

얼굴 표정이나 가려짐에 따른 변화에 강인한 지점에 위치한 얼굴 특징점들일 수 있다.
It can be facial feature points located at strong points in facial expressions or changes due to occlusion.

바람직하게는, 상기 단계 (5)에서,Preferably, in said step (5)

상기 단계 (4)를 통해 예측된 얼굴 특징점들 중, 얼굴 표정이나 가려짐에 따른 변화에 강인한 지점에 위치한 얼굴 특징점들 간의 사이각 및 거리비를 바탕으로 최적의 얼굴 모델이 검출될 수 있다.
The optimal facial model can be detected based on the facial expression predicted through the step (4), and the angle between the facial feature points located at the strong points in the change due to the facial feature or the facial feature and the distance ratio.

상기한 목적을 달성하기 위한 본 발명의 다른 특징에 따른, 운전자 상태 모니터링을 위한 얼굴 특징점 검출 장치는,According to another aspect of the present invention, there is provided an apparatus for detecting a facial feature point,

적어도 하나 이상의 프로세서와, 상기 프로세서에 의한 외부의 조명 환경 변화 및 운전자의 얼굴 가려짐에 유연한 운전자 얼굴 특징점 검출 장치에 있어서,A driver's facial feature point detecting apparatus characterized by comprising: at least one processor; and a driver's facial feature point detecting apparatus,

상기 프로세서는,The processor comprising:

카메라를 통해 입력된 영상으로부터 운전자의 얼굴 영역을 검출하고,The face region of the driver is detected from the image input through the camera,

상기 검출된 운전자의 얼굴 영역 내에서 운전자의 코 위치를 검출하고,Detecting a driver's nose position within the detected face region of the driver,

상기 검출된 운전자의 코 위치를 이용하여, 얼굴 특징점 검출을 위한 초기 mean shape 모델의 위치를 설정하고, 상기 설정된 초기 mean shape 모델에서 얼굴 특징점들을 설정하고,
미리 학습된 Weighted RF Regressor를 통해 각각의 단계에서 각각의 얼굴 특징점들이 이동되어야 할 오프셋을 계산하고, 상기 계산된 오프셋을 바탕으로 각각의 단계에서 각각의 얼굴 특징점들의 위치를 갱신하여 최종적인 얼굴 특징점들의 위치를 예측하고,
상기 예측된 얼굴 특징점들 중 추출된 3개의 얼굴특징점들 간의 사이각 및 거리비와 얼굴 모델 별로 정의된 가우시안 확률 밀도 함수(Probabilistic Density Function)와의 공간적 상관관계에 따른 확률값 검출을 통해 최적의 얼굴 모델을 결정하며,Setting a position of an initial mean shape model for detecting a face feature point using the detected driver's nose position, setting facial feature points in the set initial mean shape model,
A weighted RF regressor which is previously learned calculates the offset at which each facial feature point should be moved at each step, and updates the position of each facial feature point at each step based on the calculated offset, Predict location,
The optimal face model is obtained by detecting probability values according to the spatial correlation between the angle and distance ratio between the extracted three facial feature points and the Gaussian probability density function defined for each face model And,

상기 예측된 최종적인 얼굴 특징점들의 위치와 상기 결정된 최적의 얼굴 모델을 결합하여, 최종 얼굴 특징점들을 검출하도록 구현된 것을 특징으로 한다.And combines the predicted final facial feature points with the determined optimal facial model to detect final facial feature points.

삭제delete

삭제delete

바람직하게는, 상기 얼굴 특징점들은,Advantageously,

얼굴 표정이나 가려짐에 따른 변화에 강인한 지점에 위치한 얼굴 특징점들과, 얼굴 표정이나 가려짐에 따른 변화에 약한 지점에 위치한 얼굴 특징점들로 구성될 수 있다.
Facial feature points located at points that are robust to changes due to facial expression or occlusion, and facial feature points located at weak points due to facial expression or occlusion.

바람직하게는, 상기 프로세서는,Advantageously,

상기 초기 mean shape 모델에서 설정된 얼굴 특징점들이, 단계적 포즈 회귀방법을 통해 각각의 위치가 갱신되도록 구현될 수 있다.
The facial feature points set in the initial mean shape model may be updated such that each position is updated through a stepwise pose regression method.

바람직하게는, 상기 얼굴 모델은,Preferably, the face model includes:

얼굴이 정면을 향하는 Front shape 모델, 얼굴이 좌를 향하는 Left yaw shape 모델, 얼굴이 우를 향하는 Right yaw shape 모델, 얼굴이 정면을 향하며 왼쪽으로 기운 Left roll shape 모델, 및 얼굴이 정면을 향하며 오른쪽으로 기운 Right roll shape 모델을 포함할 수 있다.
Front shape model with facial front, Left yaw shape model with face left, Right yaw shape model with face to right, Left roll shape model with face to front face to left, Right roll shape model can be included.

삭제delete

삭제delete

삭제delete

삭제delete

더욱더 바람직하게는, 상기 각각의 얼굴 모델에서 추출된 3개의 얼굴 특징점들은,Still more preferably, the three facial feature points extracted from each facial model,

얼굴 표정이나 가려짐에 따른 변화에 강인한 지점에 위치한 얼굴 특징점들일 수 있다.
It can be facial feature points located at strong points in facial expressions or changes due to occlusion.

바람직하게는, 상기 프로세서는,Advantageously,

상기 예측된 얼굴 특징점들 중, 얼굴 표정이나 가려짐에 따른 변화에 강인한 지점에 위치한 얼굴 특징점들 간의 사이각 및 거리비를 바탕으로 최적의 얼굴 모델을 검출하도록 구현될 수 있다.
An optimal face model may be detected on the basis of the face angle of the predicted facial feature points and the angle and distance ratio between the facial feature points located at points that are robust to the change due to occlusion.

바람직하게는, 상기 프로세서는,Advantageously,

상기 카메라를 통해 입력된 영상에서 슬라이딩 윈도우 방법을 통해 Haar-like 특징 벡터들을 추출하고,Extracts Haar-like feature vectors from a video input through the camera through a sliding window method,

상기 추출된 Haar-like 특징 벡터들을 BRF 분류기의 입력 벡터로 사용하여 얼굴 영역 후보가 포함된 윈도우를 선별하고,Using the extracted Haar-like feature vectors as an input vector of the BRF classifier, a window including a face region candidate is selected,

상기 선별된 윈도우에서 슬라이등 윈도우 방법을 통해 OCS-LBP 특징 벡터들을 추출하고,Extracting OCS-LBP feature vectors through a window method such as a slice in the selected window,

상기 추출된 OCS-LBP 특징 벡터들을 BRF 분류기의 입력 벡터로 사용하여 최종 얼굴 영역 후보가 포함된 윈도우들을 선별하며,The extracted OCS-LBP feature vectors are used as input vectors of the BRF classifier to select windows including the final face region candidates,

상기 최종 얼굴 영역 후보가 포함된 윈도우들로 선별된 윈도우들을 병합하여, 최종 얼굴 영역을 검출하도록 구현될 수 있다.And merging the windows selected by the windows including the final face region candidate to detect the final face region.

본 발명에서 제안하고 있는 운전자 상태 모니터링을 위한 얼굴 특징점 검출 방법 및 장치에 따르면, Cascade 방법 기반으로 BRF 분류기와 Haar-like 특징 및 OCS-LBP 특징을 이용하여, 입력 영상으로부터 얼굴 영역 및 코의 위치를 검출함으로써, 외부 조명 변화에 영향을 덜 받으며 보다 정확하게 운전자의 얼굴 영역 및 코의 위치를 검출할 수 있다.
According to the method and apparatus for detecting a facial feature point for monitoring a driver condition proposed in the present invention, a face region and a nose position are detected from an input image using a BRF classifier, Haar-like feature, and OCS-LBP feature based on a Cascade method It is possible to detect the position of the face region of the driver and the position of the nose more precisely without being influenced by an external illumination change.

또한, 본 발명에서는, 단계적 포즈 회귀 방법을 통해 예측된 최종 얼굴 특징점들의 위치와, 예측된 최종 얼굴 특징점들 간의 공간적 관계성을 이용하여 검출한 최적의 얼굴 모델을 결합해서 최종 얼굴 특징점들을 검출함으로써, 안경, 선글라스 및 머리카락 등으로 인한 얼굴 가려짐에 영향을 덜 받으며 보다 정확하게 운전자의 얼굴 특징점들을 검출할 수 있다.In the present invention, by detecting the final facial feature points by combining the detected optimal facial models using the predicted final facial feature points position and the predicted final facial feature points through the stepwise pose regression method, It is less affected by facial blindness caused by glasses, sunglasses, and hair, and more accurately detects the facial feature points of the driver.

도 1은 본 발명의 일실시예에 따른 운전자 상태 모니터링을 위한 얼굴 특징점 검출 방법의 전체적인 흐름을 도시한 도면.
도 2는 본 발명의 일실시예에 따른 운전자 상태 모니터링을 위한 얼굴 특징점 검출 방법에서, 입력된 영상으로부터 운전자의 얼굴 영역이 검출되는 과정을 도시한 도면.
도 3은 본 발명의 일실시예에 따른 운전자 상태 모니터링을 위한 얼굴 특징점 검출 방법에서, 검출된 얼굴 영역 내에서 운전자의 코 위치가 검출되는 과정을 도시한 도면.
도 4는 본 발명의 일실시예에 따른 운전자 상태 모니터링을 위한 얼굴 특징점 검출 방법에서, 본 발명에서 사용된 19개의 얼굴 특징점들의 모습을 도시한 도면.
도 5는 본 발명의 일실시예에 따른 운전자 상태 모니터링을 위한 얼굴 특징점 검출 방법에서, 단계적 포즈 회귀 방법을 통해 각각의 얼굴 특징점들의 위치가 갱신되는 모습을 도시한 도면.
도 6은 본 발명의 일실시예에 따른 운전자 상태 모니터링을 위한 얼굴 특징점 검출 방법에서, 본 발명에서 사용된 5개의 얼굴 모델의 모습을 도시한 도면.
도 7은 본 발명의 일실시예에 따른 운전자 상태 모니터링을 위한 얼굴 특징점 검출 방법에서, 얼굴 특징점들 간의 사이각 및 거리비를 추출하고, 추출된 사이각 및 거리비를 이용하여 추출된 확률 모델의 모습을 도시한 도면.
도 8은 본 발명의 일실시예에 따른 운전자 상태 모니터링을 위한 얼굴 특징점 검출 방법에서, Front shape 모델에 대한 관계 확률 모델의 모습을 도시한 도면.BRIEF DESCRIPTION OF THE DRAWINGS FIG. 1 is a flowchart illustrating a method for detecting a facial feature point for driver condition monitoring according to an exemplary embodiment of the present invention.
2 is a view illustrating a process of detecting a face region of a driver from an input image in a face feature point detection method for driver condition monitoring according to an embodiment of the present invention.
FIG. 3 illustrates a process of detecting a driver's nose position within a detected face region in a face feature point detection method for driver condition monitoring according to an exemplary embodiment of the present invention. FIG.
FIG. 4 is a view illustrating a face feature point detection method for driver condition monitoring according to an exemplary embodiment of the present invention, which is used in the present invention. FIG.
FIG. 5 is a diagram illustrating a method of detecting a location of each facial feature point through a stepwise pose regression method in a facial feature point detection method for driver condition monitoring according to an exemplary embodiment of the present invention. FIG.
FIG. 6 is a diagram illustrating a method of detecting facial feature points for driver condition monitoring according to an exemplary embodiment of the present invention, which is used in the present invention. FIG.
FIG. 7 is a flowchart illustrating a method of detecting facial feature points for driver status monitoring according to an embodiment of the present invention. Referring to FIG. 7, the facial feature points are extracted from the facial feature points, Fig.
FIG. 8 is a diagram illustrating a relationship probability model for a Front shape model in a method of detecting a face feature point for driver status monitoring according to an embodiment of the present invention. FIG.

이하에서는 첨부된 도면을 참조하여 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있도록 바람직한 실시예를 상세히 설명한다. 다만, 본 발명의 바람직한 실시예를 상세하게 설명함에 있어, 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략한다. 또한, 유사한 기능 및 작용을 하는 부분에 대해서는 도면 전체에 걸쳐 동일 또는 유사한 부호를 사용한다.
Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings so that those skilled in the art can easily carry out the present invention. In the following detailed description of the preferred embodiments of the present invention, a detailed description of known functions and configurations incorporated herein will be omitted when it may make the subject matter of the present invention rather unclear. The same or similar reference numerals are used throughout the drawings for portions having similar functions and functions.

덧붙여, 명세서 전체에서, 어떤 부분이 다른 부분과 ‘연결’되어 있다고 할 때, 이는 ‘직접적으로 연결’되어 있는 경우뿐만 아니라, 그 중간에 다른 소자를 사이에 두고 ‘간접적으로 연결’되어 있는 경우도 포함한다. 또한, 어떤 구성요소를 ‘포함’한다는 것은, 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있다는 것을 의미한다.
In addition, in the entire specification, when a part is referred to as being 'connected' to another part, it may be referred to as 'indirectly connected' not only with 'directly connected' . Also, to "include" an element means that it may include other elements, rather than excluding other elements, unless specifically stated otherwise.

도 1은 본 발명의 일실시예에 따른 운전자 상태 모니터링을 위한 얼굴 특징점 검출 방법의 전체적인 흐름을 도시한 도면이다. 도 1에 도시된 바와 같이, 본 발명의 일실시예에 따른 운전자 상태 모니터링을 위한 얼굴 특징점 검출 방법은, (1) 카메라를 통해 입력된 영상으로부터 운전자의 얼굴 영역이 검출되는 단계(S100), (2) 단계 S100을 통해 검출된 운전자의 얼굴 영역 내에서 운전자의 코 위치가 검출되는 단계(S200), (3) 단계 S200 통해 검출된 운전자의 코 위치를 이용하여, 얼굴 특징점 검출을 위한 초기 mean shape 모델의 위치가 설정되고, 설정된 초기 mean shape 모델에서 얼굴 특징점들이 설정되는 단계(S300), (4) 단계 S300을 통해 설정된 각각의 얼굴 특징점들은, 미리 학습된 Weighted RF Regressor에 의해 각각의 단계에서 각각의 얼굴 특징점들이 이동되어야 할 오프셋이 계산되고, 계산된 오프셋을 바탕으로 각각의 단계에서 각각의 얼굴 특징점들의 위치가 갱신되어 최종적인 얼굴 특징점들의 위치가 예측되는 단계(S400), (5) 단계 S400을 통해 예측된 얼굴 특징점들 간의 사이각 및 거리비를 바탕으로 최적의 얼굴 모델이 검출되는 단계(S500), 및 (6) 단계 S400을 통해 예측된 최종적인 얼굴 특징점들의 위치와 단계 S500을 통해 검출된 최적의 얼굴 모델이 결합되어, 최종 얼굴 특징점들이 검출되는 단계를 포함하여 구성될 수 있다. 이하에서는, 본 발명의 일실시예에 따른 운전자 상태 모니터링을 위한 얼굴 특징점 검출 방법의 각각의 단계에 대하여 도면을 참조하여 상세히 설명하기로 한다.
FIG. 1 is a flowchart illustrating a method of detecting a facial feature point for driver status monitoring according to an exemplary embodiment of the present invention. Referring to FIG. As shown in FIG. 1, a facial feature point detecting method for driver condition monitoring according to an embodiment of the present invention includes (1) detecting a face region of a driver from an image input through a camera, 2) step S200 in which the driver's nose position is detected in the face region of the driver detected in step S100, and (3) initial mean shape for face feature point detection using the driver's nose position detected in step S200 The model position is set, the facial feature points are set in the set initial mean shape model (S300), and (4) the respective facial feature points set through the step S300 are determined by the previously learned Weighted RF Regressor at each step The position of each facial feature point is updated at each step based on the calculated offset, and the final facial feature point (S500) in which the optimal face model is detected based on the angle between the facial feature points and the distance ratio between the facial feature points predicted through step S400, and (6) step S400, And the final face feature points are detected by combining the positions of the final face feature points predicted through step S500 and the optimal face model detected through step S500. Hereinafter, each step of the facial feature point detection method for driver condition monitoring according to an embodiment of the present invention will be described in detail with reference to the drawings.

단계 S100에서는 카메라를 통해 입력된 영상으로부터 운전자의 얼굴 영역이 검출될 수 있다. 도 2는 본 발명의 일실시예에 따른 운전자 상태 모니터링을 위한 얼굴 특징점 검출 방법에서, 입력된 영상으로부터 운전자의 얼굴 영역이 검출되는 과정을 도시한 도면이다. 도 2에 도시된 바와 같이, 입력된 영상으로부터 운전자의 얼굴 영역을 검출하는 과정은, (1-1) 카메라를 통해 입력된 영상에서 슬라이딩 윈도우 방법을 통해 Haar-like 특징 벡터들이 추출되는 단계(S110), (1-2) 단계 S110을 통해 추출된 Haar-like 특징 벡터들이 BRF 분류기의 입력 벡터로 사용되어 얼굴 영역 후보가 포함된 윈도우가 선별되는 단계(S120), (1-3) 단계 S120을 통해 선별된 윈도우에서 슬라이딩 윈도우 방법을 통해 OCS-LBP 특징 벡터들이 추출되는 단계(S130), (1-4) 단계 S130을 통해 추출된 OCS-LBP 특징 벡터들이 BRF 분류기의 입력 벡터로 사용되어 최종 얼굴 영역 후보가 포함된 윈도우들이 선별되는 단계(S140), 및 (1-5) 단계 S140을 통해 선별된 윈도우들이 병합되어, 최종 얼굴 영역이 검출되는 단계(S150)를 포함하여 구성될 수 있다.
In step S100, the face region of the driver can be detected from the image input through the camera. 2 is a diagram illustrating a process of detecting a face region of a driver from an input image in a face feature point detection method for driver condition monitoring according to an embodiment of the present invention. 2, the process of detecting the face region of the driver from the input image includes the steps of (1-1) extracting Haar-like feature vectors through a sliding window method on an image input through a camera (S110 ), (1-2) a step S120 in which a Haar-like feature vector extracted through step S110 is used as an input vector of the BRF classifier to select a window including a face region candidate, (1-3) step S120, OCS-LBP feature vectors are extracted through a sliding window method in a selected window, (S130), (1-4) OCS-LBP feature vectors extracted through step S130 are used as input vectors of a BRF classifier, (S140), and (S150) in which the selected windows are merged through the step (S1-5) and the final face area is detected (S150).

단계 S200에서는 단계 S100을 통해 검출된 운전자의 얼굴 영역 내에서 운전자의 코 위치가 검출될 수 있다. 도 3은 본 발명의 일실시예에 따른 운전자 상태 모니터링을 위한 얼굴 특징점 검출 방법에서, 검출된 얼굴 영역 내에서 운전자의 코 위치가 검출되는 과정을 도시한 도면이다. 도 3에 도시된 바와 같이, 검출된 운전자의 얼굴 영역 내에서 운전자의 코 위치가 검출되는 과정은, (2-1) 단계 S100을 통해 검출된 운전자의 얼굴 영역 내에서 슬라이딩 윈도우 방법을 통해 Haar-like 특징 벡터들이 추출되는 단계(S210), (2-2) 단계 S210을 통해 추출된 Haar-like 특징 벡터들이 BRF 분류기의 입력 벡터로 사용되어 코 영역 후보가 포함된 윈도우가 선별되는 단계(S220), (2-3) 단계 S220을 통해 선별된 윈도우에서 슬라이딩 윈도우 방법을 통해 OCS-LBP 특징 벡터들이 추출되는 단계(S230), (2-4) 단계 S230을 통해 추출된 OCS-LBP 특징 벡터들이 BRF 분류기의 입력 벡터로 사용되어 최종 코 영역 후보가 포함된 윈도우들이 선별되는 단계, 및 (2-5) 단계 S240을 통해 선별된 윈도우들이 병합되어, 최종 코의 위치가 검출되는 단계를 포함하여 구성될 수 있다.
In step S200, the driver's nose position can be detected within the face area of the driver detected through step S100. FIG. 3 is a diagram illustrating a process of detecting a driver's nose position within a detected face region in a method of detecting a face feature point for driver condition monitoring according to an exemplary embodiment of the present invention. Referring to FIG. As shown in FIG. 3, the process of detecting the driver's nose position within the detected driver's face area is performed by (2-1) searching the Haar- like feature vectors are extracted (step S210), (2-2) step S220 in which the Haar-like feature vectors extracted through step S210 are used as input vectors of the BRF classifier, , (2-3) OCS-LBP feature vectors are extracted through a sliding window method in a window selected in step S220, (2-4) step (2-4), OCS-LBP feature vectors extracted in step S230 are extracted from BRF A window in which the final nose region candidate is used is used as the input vector of the classifier, and (2-5) the selected windows are merged through step S240, and the position of the final nose is detected .

단계 S300에서는 단계 S200을 통해 검출된 운전자의 코 위치를 이용하여, 얼굴 특징점(landmarks) 검출을 위한 초기 mean shape 모델의 위치가 설정되고, 설정된 초기 means shape 모델에서 얼굴 특징점들이 설정될 수 있다. 여기서, 얼굴 특징점들은, 얼굴 표정이나 가려짐에 따른 변화에 강인한 지점에 위치한 얼굴 특징점들과, 얼굴 표정이나 가려짐에 따른 변화에 약한 지점에 위치한 얼굴 특징점들로 구성될 수 있다. 도 4는 본 발명의 일실시예에 따른 운전자 상태 모니터링을 위한 얼굴 특징점 검출 방법에서, 본 발명에서 사용된 19개의 얼굴 특징점들의 모습을 도시한 도면이다. 도 4에서 빨간색으로 표시된 얼굴 특징점들은 얼굴 표정이나 가려짐에 따른 변화에 강인한 지점에 위치한 얼굴 특징점들이고, 파란색으로 표시된 얼굴 특징점들은 얼굴 표정이나 가려짐에 따른 변화에 약한 지점에 위치한 얼굴 특징점들이다.
In step S300, the position of the initial mean shape model for detecting the facial feature points is set using the nose position of the driver detected through step S200, and facial feature points may be set in the set initial means shape model. Here, the facial feature points may be composed of facial feature points located at a strong point in the change due to facial expression or occlusion, and facial feature points located at weak points due to facial expression or occlusion. FIG. 4 is a view showing the facial feature point detection method for driver condition monitoring according to an embodiment of the present invention. In Fig. 4, facial feature points indicated in red are facial feature points located at strong points in facial expressions or changes due to occlusion, facial feature points indicated in blue are facial feature points located at weak points in facial expressions or changes due to occlusion.

단계 S400에서 단계 S300을 통해 설정된 각각의 얼굴 특징점들은, 단계적 포즈 회귀 방법을 통해 각각의 위치가 갱신될 수 있다. 여기서, 단계적 포즈 회귀 방법을 통해 각각의 얼굴 특징점들의 위치가 갱신되는 과정 중 매 단계에서는, 슬라이딩 윈도우의 크기가 변경되어, 각각의 얼굴 특징점들로부터 OCS-LBP 특징 벡터들이 추출될 수 있다.
The respective facial feature points set through the steps S300 through S300 can be updated by the stepwise pose regression method. Here, during the process of updating the position of each facial feature point through the stepwise pose regression method, the size of the sliding window is changed at each step, and OCS-LBP feature vectors may be extracted from each facial feature point.

도 5는 본 발명의 일실시예에 따른 운전자 상태 모니터링을 위한 얼굴 특징점 검출 방법에서, 단계적 포즈 회귀 방법을 통해 각각의 얼굴 특징점들의 위치가 갱신되는 모습을 도시한 도면이다. 단계 S400에서 단계 S300을 통해 설정된 각각의 얼굴 특징점들은, 단계적 포즈 회귀 방법을 통해 도 5에 도시된 바와 같이, 매 단계마다 각각의 얼굴 특징점들의 위치가 갱신될 수 있다. 좀 더 구체적으로, 단계 S400에서는, 단계 S300을 통해 설정된 각각의 얼굴 특징점들에 대하여, 미리 학습된 Weighted RF Regressor에 의해, 각각의 단계에서 각각의 얼굴 특징점들이 이동되어야 할 오프셋이 계산되고, 계산된 오프셋을 바탕으로 각각의 단계에서 각각의 얼굴 특징점들의 위치가 갱신되어 최종적인 얼굴 특징점들의 위치가 예측될 수 있다.
FIG. 5 is a diagram illustrating a state in which the positions of respective facial feature points are updated through a stepwise pose regression method in a facial feature point detection method for driver condition monitoring according to an exemplary embodiment of the present invention. The position of each facial feature point set in step S400 through step S300 may be updated at each step as shown in Fig. 5 through a stepwise pose regression method. More specifically, in step S400, for each facial feature point set in step S300, an offset by which each facial feature point is to be shifted in each step is calculated by a weighted RF regressor that has been previously learned, The position of each facial feature point is updated at each step based on the offset, and the position of the final facial feature point can be predicted.

단계 S500에서는, 단계 S400을 통해 예측된 얼굴 특징점들 간의 사이각 및 거리비를 바탕으로 최적의 얼굴 모델이 검출될 수 있다. 좀 더 구체적으로, 단계 S500에서는, 단계 S400을 통해 예측된 최종 얼굴 특징점들 중, 얼굴 표정이나 가려짐에 따른 변화에 강인한 지점에 위치한 얼굴 특징점들 간의 사이각 및 거리비와, 본 발명에서 사용되는 5개의 얼굴 모델 별로 정의된 가우시안 확률 밀도 함수와의 상관관계를 통해 최적의 얼굴 모델이 결정될 수 있다.
In step S500, an optimal face model may be detected based on the angle between the facial feature points and the distance ratio estimated through step S400. More specifically, in step S500, among the final facial feature points predicted through step S400, the angle and distance ratio between the facial feature points located at points that are robust to changes due to facial expression or occlusion, The optimal face model can be determined through correlation with the Gaussian probability density function defined for each of five face models.

도 6은 본 발명의 일실시예에 따른 운전자 상태 모니터링을 위한 얼굴 특징점 검출 방법에서, 본 발명에서 사용된 5개의 얼굴 모델의 모습을 도시한 도면이다. 본 발명에서는 도 6에 도시된 바와 같이, 얼굴이 정면을 향하는 Front shape 모델 ①, 얼굴이 좌를 향하는 Left yaw shape 모델 ②, 얼굴이 우를 향하는 Right yaw shape 모델 ③, 얼굴이 정면을 향하며 왼쪽으로 기운 Left roll shape 모델 ④, 및 얼굴이 정면을 향하며 오른쪽으로 기운 Right roll shape 모델 ⑤이 사용될 수 있다.
FIG. 6 is a view showing a face model of five faces used in the present invention in a face feature point detection method for driver condition monitoring according to an embodiment of the present invention. In the present invention, as shown in FIG. 6, a front shape model with a face facing the front, a left yaw shape model with a face facing left, a right yaw shape model with a face facing right, Right roll shape model ④, and Right roll shape model ⑤ with face facing right and leaning to the right can be used.

또한, 얼굴 모델 별로 정의된 가우시안 확률 밀도 함수는, 각각의 얼굴 모델에서 추출된 얼굴 표정이나 가려짐에 따른 변화에 강인한 지점에 위치한 얼굴 특징점들 중, 추출된 3개의 얼굴 특징점들 간의 사이각 및 거리비를 이용하여, 해당 얼굴 모델에 대한 공간적 관계를 나타낸 것이다. 이하에서는, 얼굴 특징점들 간의 사이각 및 거리각이 추출되고, 추출된 사이각 및 거리비를 이용하여 추출된 확률 모델에 대해 도 7 및 도 8을 참조하여 설명하기로 한다.
In addition, the Gaussian probability density function defined by each face model is a function of the facial expression extracted from each facial model or the distance between the extracted facial feature points and the distance And the spatial relationship of the face model using the ratio. Hereinafter, the inter-angle and distance angle between the facial feature points are extracted, and the extracted probability model using the extracted inter-angle and distance ratios will be described with reference to FIGS. 7 and 8. FIG.

도 7은 본 발명의 일실시예에 따른 운전자 상태 모니터링을 위한 얼굴 특징점 검출 방법에서, 얼굴 특징점들 간의 사이각 및 거리비를 추출하고, 추출된 사이각 및 거리비를 이용하여 추출된 확률 모델의 모습을 도시한 도면이고, 도 8은 본 발명의 일실시예에 따른 운전자 상태 모니터링을 위한 얼굴 특징점 검출 방법에서, Front shape 모델에 대한 관계 확률 모델의 모습을 도시한 도면이다.
FIG. 7 is a flowchart illustrating a method of detecting facial feature points for driver status monitoring according to an embodiment of the present invention. Referring to FIG. 7, the facial feature points are extracted from the facial feature points, FIG. 8 is a diagram illustrating a relationship probability model for a Front shape model in a method of detecting a facial feature point for driver condition monitoring according to an embodiment of the present invention. Referring to FIG.

본원발명에서는, 실시예에 따라 도 7(a)에 도시된 바와 같이, 얼굴 특징점 j,k가 존재할 때, 코 중앙에 위치한 얼굴 특징점 i를 중심으로, 두 얼굴 특징점 j,k의 사이각은 Rα,i,j,k = α(vi,j - vi,k), 거리비는 Rρ,i,j,k = vi,j / vi,k로 정의되어 추출될 수 있다. 이렇게 추출된 사이각과 거리비는 얼굴 영역의 회전이나 크기 변화에도 그 값이 일정하게 유지되므로 강인한 공간적 관계를 추출할 수 있다. 또한, 추출된 사이각 및 거리비를 이용하여 도 7 (b)에 도시된 얼굴 모델에 대한 공간적 관계 모델인 가우시안 확률 밀도 함수를 추출할 수 있다. 더 나아가, 실시예에 따라, Front shape 모델에서 추출된 얼굴 표정이나 가려짐에 따른 변화에 강인한 지점에 위치한 얼굴 특징점들 중 추출된 3개의 얼굴 특징점들 간의 사이각 및 거리비를 이용하여, 도 8에 도시된 바와 같이, Front shape 모델에 대한 공간적 관계를 나타내는 관계 확률 모델을 추출할 수 있다.
7A, when the facial feature points j and k exist, the angle between the facial feature points j and k centered on the facial feature point i located at the nose of the nose is R α, i, j, k = α (v i, j - v i, k), the distance ratio R ρ, i, j, k = v i, j / v i, may be extracted is defined as k. The extracted angle of intersection and distance ratio can be extracted because the value is kept constant even when the rotation or size of the face area is changed. In addition, the Gaussian probability density function, which is a spatial relation model for the face model shown in FIG. 7 (b), can be extracted using the extracted angle and distance ratio. Furthermore, according to the embodiment, by using the angle between the extracted three facial feature points and the distance ratio between the face facial features extracted from the Front shape model and the facial feature points located at the strong points of the variation according to the clipping, The relationship probability model representing the spatial relationship with respect to the Front shape model can be extracted.

단계 S600에서는, 단계 S400을 통해 예측된 최종적인 얼굴 특징점들의 위치와, 단계 S500을 통해 검출된 최적의 얼굴 모델이 결합되어, 최종 얼굴 특징점들이 검출될 수 있다.
In step S600, the position of the final facial feature points predicted through step S400 and the optimal face model detected through step S500 are combined, and the final facial feature points can be detected.

한편, 실시예에 따라 상술한 운전자 상태 모니터링을 위한 얼굴 특징점 검출 방법은, 적어도 하나 이상의 프로세서와, 해당 프로세서에 의한 운전자 상태 모니터링을 위한 얼굴 특징점 검출 장치로 구현될 수 있다.
Meanwhile, the method for detecting the facial feature point for the driver condition monitoring according to the embodiment may be implemented by at least one processor and the facial feature point detecting apparatus for monitoring the driver condition by the processor.

이상 설명한 것과 같이, 본 발명에서 제안하고 있는 운전자 상태 모니터링을 위한 얼굴 특징점 검출 방법 및 장치에 따르면, Cascade 방법 기반으로 BRF 분류기와 Haar-like 특징 및 OCS-LBP 특징을 이용하여, 입력 영상으로부터 얼굴 영역 및 코의 위치를 검출함으로써, 외부 조명 변화에 영향을 덜 받으며 보다 정확하게 운전자의 얼굴 영역 및 코의 위치를 검출할 수 있다.
As described above, according to the method and apparatus for detecting a facial feature point for monitoring the driver condition proposed in the present invention, the BRF classifier, Haar-like feature, and OCS-LBP feature based on the Cascade method, And by detecting the position of the nose, it is possible to detect the position of the face region and the nose of the driver with less influence on the external illumination change and more accurately.

또한, 본 발명에서는, 단계적 포즈 회귀 방법을 통해 예측된 최종 얼굴 특징점들의 위치와, 예측된 최종 얼굴 특징점들 간의 공간적 관계성을 이용하여 검출한 최적의 얼굴 모델을 결합해서 최종 얼굴 특징점들을 검출함으로써, 안경, 선글라스 및 머리카락 등으로 인한 얼굴 가려짐에 영향을 덜 받으며 보다 정확하게 운전자의 얼굴 특징점들을 검출할 수 있다.
In the present invention, by detecting the final facial feature points by combining the detected optimal facial models using the predicted final facial feature points position and the predicted final facial feature points through the stepwise pose regression method, It is less affected by facial blindness caused by glasses, sunglasses, and hair, and more accurately detects the facial feature points of the driver.

이상 설명한 본 발명은 본 발명이 속한 기술분야에서 통상의 지식을 가진 자에 의하여 다양한 변형이나 응용이 가능하며, 본 발명에 따른 기술적 사상의 범위는 아래의 특허청구범위에 의하여 정해져야 할 것이다.The present invention may be embodied in many other specific forms without departing from the spirit or essential characteristics of the invention.

S100: 카메라를 통해 입력된 영상으로부터 운전자의 얼굴 영역이 검출되는 단계
S110: 카메라를 통해 입력된 영상에서 슬라이딩 윈도우 방법을 통해 Haar-like 특징 벡터들이 추출되는 단계
S120: 단계 S110을 통해 추출된 Haar-like 특징 벡터들이 BRF 분류기의 입력 벡터로 사용되어 얼굴 영역 후보가 포함된 윈도우가 선별되는 단계
S130: 단계 S120을 통해 선별된 윈도우에서 슬라이딩 윈도우 방법을 통해 OCS-LBP 특징 벡터들이 추출되는 단계
S140: 단계 S130을 통해 추출된 OCS-LBP 특징 벡터들이 BRF 분류기의 입력 벡터로 사용되어 최종 얼굴 영역 후보가 포함된 윈도우들이 선별되는 단계
S150: 단계 S140을 통해 선별된 윈도우들이 병합되어, 최종 얼굴 영역이 검출되는 단계
S200: 단계 S100을 통해 검출된 운전자의 얼굴 영역 내에서 운전자의 코 위치가 검출되는 단계
S210: 단계 S100을 통해 검출된 운전자의 얼굴 영역 내에서 슬라이딩 윈도우 방법을 통해 Haar-like 특징 벡터들이 추출되는 단계
S220: 단계 S210을 통해 추출된 Haar-like 특징 벡터들이 BRF 분류기의 입력 벡터로 사용되어 코 영역 후보가 포함된 윈도우가 선별되는 단계
S230: 단계 S220을 통해 선별된 윈도우에서 슬라이딩 윈도우 방법을 통해 OCS-LBP 특징 벡터들이 추출되는 단계
S240: 단계 S230을 통해 추출된 OCS-LBP 특징 벡터들이 BRF 분류기의 입력 벡터로 사용되어 최종 코 영역 후보가 포함된 윈도우들이 선별되는 단계
S250: 단계 S240을 통해 선별된 윈도우들이 병합되어, 최종 코의 위치가 검출되는 단계
S300: 단계 S200을 통해 검출된 운전자의 코 위치를 이용하여, 얼굴 특징점 검출을 위한 초기 mean shape 모델의 위치가 설정되고, 설정된 초기 mean shape 모델에서 얼굴 특징점들이 설정되는 단계
S400: 단계 S300을 통해 설정된 각각의 얼굴 특징점들은, 미리 학습된 Weighted RF Regressor에 의해 각각의 단계에서 각각의 얼굴 특징점들이 이동되어야 할 오프셋이 계산되고, 계산된 오프셋을 바탕으로 각각의 단계에서 각각의 얼굴 특징점들의 위치가 갱신되어 최종적인 얼굴 특징점들의 위치가 예측되는 단계
S500: 단계 S400을 통해 예측된 얼굴 특징점들 간의 사이각 및 거리비를 바탕으로 최적의 얼굴 모델이 검출되는 단계
S600: 단계 S400을 통해 예측된 최종적인 얼굴 특징점들의 위치와 단계 S500을 통해 검출된 최적의 얼굴 모델이 결합되어, 최종 얼굴 특징점들이 검출되는 단계S100: the face region of the driver is detected from the image input through the camera
S110: the Haar-like feature vectors are extracted through the sliding window method on the image input through the camera
S120: The Haar-like feature vectors extracted through step S110 are used as input vectors of the BRF classifier, and a window including a face region candidate is selected
S130: the OCS-LBP feature vectors are extracted through the sliding window method in the selected window through step S120
S140: OCS-LBP feature vectors extracted through step S130 are used as input vectors of the BRF classifier, and windows including the final face region candidates are selected
S150: the selected windows are merged in step S140, and a final face area is detected
S200: The driver's nose position is detected in the face region of the driver detected through step S100
S210: The Haar-like feature vectors are extracted through the sliding window method in the face region of the driver detected through step S100
S220: Haar-like feature vectors extracted through step S210 are used as input vectors of the BRF classifier, and a window including a nose region candidate is selected
S230: the OCS-LBP feature vectors are extracted through the sliding window method in the selected window through step S220
S240: OCS-LBP feature vectors extracted through step S230 are used as input vectors of the BRF classifier, and windows including the final nose region candidate are selected
S250: the selected windows are merged in step S240, and the position of the final nose is detected
S300: the position of the initial mean shape model for detecting the face feature point is set using the driver's nose position detected in step S200, and the face feature points are set in the set initial mean shape model
S400: Each facial feature point set in step S300 is calculated by a weighted RF regressor which has been previously learned, and an offset to which each facial feature point should be shifted at each step is calculated. Based on the calculated offset, The position of the facial feature points is updated and the position of the final facial feature points is predicted
S500: an optimal face model is detected based on the angle between the facial feature points and the distance ratio estimated through step S400
S600: The position of the final facial feature points predicted through step S400 is combined with the optimal face model detected through step S500, and the final facial feature points are detected

Claims (20)

외부의 조명 환경 변화 및 운전자의 얼굴 가려짐에 유연한 운전자 얼굴 특징점 검출 방법으로서,
(3) 카메라를 통해 입력된 영상으로부터 전처리 과정을 통해 검출된 운전자의 코 위치를 이용하여, 얼굴 특징점(landmarks) 검출을 위한 초기 mean shape 모델의 위치가 설정되고, 상기 설정된 초기 mean shape 모델에서 얼굴 특징점들이 설정되는 단계;
(4) 상기 단계 (3)을 통해 설정된 각각의 얼굴 특징점들에 대하여, 미리 학습된 Weighted Random Forest Regressor(이하, Weighted RF Regressor)에 의해 각각의 단계에서 각각의 얼굴 특징점들이 이동되어야 할 오프셋이 계산되고, 상기 계산된 오프셋을 바탕으로 각각의 단계에서 각각의 얼굴 특징점들의 위치가 갱신되어 최종적인 얼굴 특징점들의 위치가 예측되는 단계;
(5) 상기 단계 (4)를 통해 예측된 얼굴 특징점들 중 추출된 3개의 얼굴특징점들 간의 사이각 및 거리비와, 얼굴 모델 별로 정의된 가우시안 확률 밀도 함수(Probabilistic Density Function)와의 공간적 상관관계에 따른 확률값 검출을 통해 최적의 얼굴 모델이 결정되는 단계; 및
(6) 상기 단계 (4)를 통해 예측된 최종적인 얼굴 특징점들의 위치와 상기 단계 (5)를 통해 결정된 최적의 얼굴 모델이 결합되어, 최종 얼굴 특징점들이 검출되는 단계를 포함하는 것을 특징으로 하는, 운전자 상태 모니터링을 위한 얼굴 특징점 검출 방법.
There is provided a method for detecting a driver's facial feature point that is flexible in changing an external illumination environment and masking a face of a driver,
(3) a position of an initial mean shape model for detecting facial feature points is set using a nose position of a driver detected through a preprocessing process from an image input through a camera, Setting minutiae points;
(4) For each facial feature point set through the step (3), an offset to which each facial feature point should be shifted in each step is calculated by a Weighted Random Forest Regressor (hereinafter referred to as a Weighted RF Regressor) A position of each facial feature point is updated at each step based on the calculated offset, and a position of a final facial feature point is predicted;
(5) The spatial correlation between the angle and distance ratio between the extracted three facial feature points and the Gaussian probability density function defined by the face model, predicted through step (4) Determining an optimal face model by detecting a probability value according to the detected face model; And
(6) combining the positions of the final facial feature points predicted through the step (4) with the optimal facial model determined through the step (5), and detecting the final facial feature points. Facial feature point detection method for driver status monitoring.
제1항에 있어서, 상기 전처리 과정은,
(1) 상기 카메라를 통해 입력된 영상으로부터 운전자의 얼굴 영역이 검출되는 단계; 및
(2) 상기 단계 (1)을 통해 검출된 운전자의 얼굴 영역 내에서 운전자의 코 위치가 검출되는 단계를 포함하는 것을 특징으로 하는, 운전자 상태 모니터링을 위한 얼굴 특징점 검출 방법.
The method according to claim 1,
(1) detecting a face region of a driver from an image input through the camera; And
(2) detecting the driver's nose position within the face region of the driver detected through the step (1).
제2항에 있어서,
상기 단계 (1)은,
(1-1) 상기 카메라를 통해 입력된 영상에서 슬라이딩 윈도우 방법을 통해 Haar-like 특징 벡터들이 추출되는 단계;
(1-2) 상기 단계 (1-1)을 통해 추출된 Haar-like 특징 벡터들이 Boosted Random Forest(이하, BRF라 함) 분류기의 입력 벡터로 사용되어 얼굴 영역 후보가 포함된 윈도우가 선별되는 단계;
(1-3) 상기 단계 (1-2)를 통해 선별된 윈도우에서 슬라이딩 윈도우 방법을 통해 Orientation Center Symmetric Local Binary Pattern(이하, OCS-LBP라 함) 특징 벡터들이 추출되는 단계;
(1-4) 상기 단계 (1-3)을 통해 추출된 OCS-LBP 특징 벡터들이 BRF 분류기의 입력 벡터로 사용되어 최종 얼굴 영역 후보가 포함된 윈도우들이 선별되는 단계; 및
(1-5) 상기 단계 (1-4)를 통해 선별된 윈도우들이 병합되어, 최종 얼굴 영역이 검출되는 단계를 포함하며,
상기 단계 (2)는,
(2-1) 상기 단계 (1)을 통해 검출된 운전자의 얼굴 영역 내에서 슬라이딩 윈도우 방법을 통해 Haar-like 특징 벡터들이 추출되는 단계;
(2-2) 상기 단계 (2-1)을 통해 추출된 Haar-like 특징 벡터들이 BRF 분류기의 입력 벡터로 사용되어 코 영역 후보가 포함된 윈도우가 선별되는 단계;
(2-3) 상기 단계 (2-2)를 통해 선별된 윈도우에서 슬라이딩 윈도우 방법을 통해 OCS-LBP 특징 벡터들이 추출되는 단계;
(2-4) 상기 단계 (2-3)을 통해 추출된 OCS-LBP 특징 벡터들이 BRF 분류기의 입력 벡터로 사용되어 최종 코 영역 후보가 포함된 윈도우들이 선별되는 단계; 및
(2-5) 상기 단계 (2-4)를 통해 선별된 윈도우들이 병합되어, 최종 코의 위치가 검출되는 단계를 포함하는 것을 특징으로 하는, 운전자 상태 모니터링을 위한 얼굴 특징점 검출 방법.
3. The method of claim 2,
The step (1)
(1-1) extracting Haar-like feature vectors through a sliding window method on an image input through the camera;
(1-2) The Haar-like feature vectors extracted through the step (1-1) are used as the input vectors of the Boosted Random Forest (hereinafter, referred to as BRF) classifier to select the window including the face region candidates ;
(1-3) extracting an Orientation Center Symmetric Local Binary Pattern (hereinafter referred to as OCS-LBP) feature vectors through a sliding window method in a window selected in the step (1-2);
(1-4) the OCS-LBP feature vectors extracted through the step (1-3) are used as input vectors of the BRF classifier to select windows including the final face region candidates; And
(1-5) merging the selected windows through the step (1-4), and detecting a final face area,
The step (2)
(2-1) extracting Haar-like feature vectors through the sliding window method in the face region of the driver detected through the step (1);
(2-2) selecting a window including the nose region candidate by using Haar-like feature vectors extracted through the step (2-1) as an input vector of the BRF classifier;
(2-3) extracting OCS-LBP feature vectors through a sliding window method in the selected window through the step (2-2);
(2-4) The OCS-LBP feature vectors extracted in the step (2-3) are used as input vectors of the BRF classifier to select windows including the final nose region candidate; And
(2-5) The method of detecting a facial feature point for driver condition monitoring, comprising the step of merging selected windows through the step (2-4) and detecting a position of a final nose.
제1항에 있어서, 상기 얼굴 특징점들은,
얼굴 표정이나 가려짐에 따른 변화에 강인한 지점에 위치한 얼굴 특징점들과, 얼굴 표정이나 가려짐에 따른 변화에 약한 지점에 위치한 얼굴 특징점들로 구성되는 것을 특징으로 하는, 운전자 상태 모니터링을 위한 얼굴 특징점 검출 방법.
The method according to claim 1,
Wherein the facial feature points are located at points that are robust to changes due to facial expression or occlusion and facial feature points located at weak points due to facial expression or occlusion. Way.
제1항에 있어서, 상기 단계 (4)에서,
상기 단계 (3)을 통해 설정된 각각의 얼굴 특징점들은, 단계적 포즈 회귀(Cascade Pose Regression, CPR) 방법을 통해 각각의 위치가 갱신되는 것을 특징으로 하는, 운전자 상태 모니터링을 위한 얼굴 특징점 검출 방법.
2. The method of claim 1, wherein in step (4)
Wherein each facial feature point set through the step (3) is updated through a cascade positive regression (CPR) method.
제1항에 있어서, 상기 단계 (4)에서는,
슬라이딩 윈도우의 크기가 변경되어, 각각의 단계에서 각각의 얼굴 특징점들로부터 OCS-LBP 특징 벡터들이 추출되는 것을 특징으로 하는, 운전자 상태 모니터링을 위한 얼굴 특징점 검출 방법.
The method according to claim 1, wherein in the step (4)
Wherein the size of the sliding window is changed so that OCS-LBP feature vectors are extracted from each facial feature point at each step.
제1항에 있어서, 상기 얼굴 모델은,
얼굴이 정면을 향하는 Front shape 모델, 얼굴이 좌를 향하는 Left yaw shape 모델, 얼굴이 우를 향하는 Right yaw shape 모델, 얼굴이 정면을 향하며 왼쪽으로 기운 Left roll shape 모델, 및 얼굴이 정면을 향하며 오른쪽으로 기운 Right roll shape 모델을 포함하는 것을 특징으로 하는, 운전자 상태 모니터링을 위한 얼굴 특징점 검출 방법.
The method of claim 1,
Front shape model with facial front, Left yaw shape model with face left, Right yaw shape model with face to right, Left roll shape model with face to front face to left, A right roll shape model for the driver condition monitoring.
삭제delete 삭제delete 제1항에 있어서, 상기 각각의 얼굴 모델에서 추출된 3개의 얼굴 특징점들은,
얼굴 표정이나 가려짐에 따른 변화에 강인한 지점에 위치한 얼굴 특징점들인 것을 특징으로 하는, 운전자 상태 모니터링을 위한 얼굴 특징점 검출 방법.
2. The method according to claim 1, wherein the three facial feature points extracted from the respective face models,
Wherein the feature points are facial feature points located at points that are robust to changes due to facial expressions or occlusions.
제1항에 있어서, 상기 단계 (5)에서,
상기 단계 (4)를 통해 예측된 얼굴 특징점들 중, 얼굴 표정이나 가려짐에 따른 변화에 강인한 지점에 위치한 얼굴 특징점들 간의 사이각 및 거리비를 바탕으로 최적의 얼굴 모델이 검출되는 것을 특징으로 하는, 운전자 상태 모니터링을 위한 얼굴 특징점 검출 방법.
2. The method of claim 1, wherein in step (5)
An optimal facial model is detected based on facial features estimated from the step (4), and a facial feature point between the facial feature points and a distance ratio between the facial feature points. , Facial feature point detection method for driver status monitoring.
적어도 하나 이상의 프로세서와, 상기 프로세서에 의한 외부의 조명 환경 변화 및 운전자의 얼굴 가려짐에 유연한 운전자 얼굴 특징점 검출 장치에 있어서,
상기 프로세서는,
카메라를 통해 입력된 영상으로부터 운전자의 얼굴 영역을 검출하고,
상기 검출된 운전자의 얼굴 영역 내에서 운전자의 코 위치를 검출하고,
상기 검출된 운전자의 코 위치를 이용하여, 얼굴 특징점 검출을 위한 초기 mean shape 모델의 위치를 설정하고, 상기 설정된 초기 mean shape 모델에서 얼굴 특징점들을 설정하고,
미리 학습된 Weighted RF Regressor를 통해 각각의 단계에서 각각의 얼굴 특징점들이 이동되어야 할 오프셋을 계산하고, 상기 계산된 오프셋을 바탕으로 각각의 단계에서 각각의 얼굴 특징점들의 위치를 갱신하여 최종적인 얼굴 특징점들의 위치를 예측하고,
상기 예측된 얼굴 특징점들 중 추출된 3개의 얼굴특징점들 간의 사이각 및 거리비와 얼굴 모델 별로 정의된 가우시안 확률 밀도 함수(Probabilistic Density Function)와의 공간적 상관관계에 따른 확률값 검출을 통해 최적의 얼굴 모델을 결정하며,
상기 예측된 최종적인 얼굴 특징점들의 위치와 상기 결정된 최적의 얼굴 모델을 결합하여, 최종 얼굴 특징점들을 검출하도록 구현된 것을 특징으로 하는, 운전자 상태 모니터링을 위한 얼굴 특징점 검출 장치.
A driver's facial feature point detecting apparatus characterized by comprising: at least one processor; and a driver's facial feature point detecting apparatus,
The processor comprising:
The face region of the driver is detected from the image input through the camera,
Detecting a driver's nose position within the detected face region of the driver,
Setting a position of an initial mean shape model for detecting a face feature point using the detected driver's nose position, setting facial feature points in the set initial mean shape model,
A weighted RF regressor which is previously learned calculates the offset at which each facial feature point should be moved at each step, and updates the position of each facial feature point at each step based on the calculated offset, Predict location,
The optimal face model is obtained by detecting probability values according to the spatial correlation between the angle and distance ratio between the extracted three facial feature points and the Gaussian probability density function defined for each face model And,
And combines the predicted final facial feature points with the determined optimal facial model to detect final facial feature points.
제12항에 있어서, 상기 얼굴 특징점들은,
얼굴 표정이나 가려짐에 따른 변화에 강인한 지점에 위치한 얼굴 특징점들과, 얼굴 표정이나 가려짐에 따른 변화에 약한 지점에 위치한 얼굴 특징점들로 구성되는 것을 특징으로 하는, 운전자 상태 모니터링을 위한 얼굴 특징점 검출 장치.
13. The method of claim 12,
Wherein the facial feature points are located at points that are robust to changes due to facial expression or occlusion and facial feature points located at weak points due to facial expression or occlusion. Device.
제12항에 있어서, 상기 프로세서는,
상기 초기 mean shape 모델에서 설정된 얼굴 특징점들이, 단계적 포즈 회귀(Cascade Pose Regression, CPR) 방법을 통해 각각의 위치가 갱신되도록 구현된 것을 특징으로 하는, 운전자 상태 모니터링을 위한 얼굴 특징점 검출 장치.
13. The system of claim 12,
Wherein the facial feature points set in the initial mean shape model are updated so that each position is updated through a cascade positive regression (CPR) method.
제12항에 있어서, 상기 얼굴 모델은,
얼굴이 정면을 향하는 Front shape 모델, 얼굴이 좌를 향하는 Left yaw shape 모델, 얼굴이 우를 향하는 Right yaw shape 모델, 얼굴이 정면을 향하며 왼쪽으로 기운 Left roll shape 모델, 및 얼굴이 정면을 향하며 오른쪽으로 기운 Right roll shape 모델을 포함하는 것을 특징으로 하는, 운전자 상태 모니터링을 위한 얼굴 특징점 검출 장치.
13. The method according to claim 12,
Front shape model with facial front, Left yaw shape model with face left, Right yaw shape model with face to right, Left roll shape model with face to front face to left, A right roll shape model for the driver's condition monitoring.
삭제delete 삭제delete 제12항에 있어서, 상기 각각의 얼굴 모델에서 추출된 3개의 얼굴 특징점들은,
얼굴 표정이나 가려짐에 따른 변화에 강인한 지점에 위치한 얼굴 특징점들인 것을 특징으로 하는, 운전자 상태 모니터링을 위한 얼굴 특징점 검출 장치.
13. The method according to claim 12, wherein the three facial feature points extracted from the respective face models include:
Wherein the feature points are facial feature points located at points that are robust to changes due to facial expressions or occlusions.
제12항에 있어서, 상기 프로세서는,
상기 예측된 얼굴 특징점들 중, 얼굴 표정이나 가려짐에 따른 변화에 강인한 지점에 위치한 얼굴 특징점들 간의 사이각 및 거리비를 바탕으로 최적의 얼굴 모델을 검출하도록 구현된 것을 특징으로 하는, 운전자 상태 모니터링을 위한 얼굴 특징점 검출 장치.
13. The system of claim 12,
And an optimal face model is detected on the basis of a face angle between the predicted facial feature points and a facial feature point located at a point strong at a change due to occlusion and a distance ratio, A facial feature point detector for detecting facial feature points.
제12항에 있어서, 상기 프로세서는,
상기 카메라를 통해 입력된 영상에서 슬라이딩 윈도우 방법을 통해 Haar-like 특징 벡터들을 추출하고,
상기 추출된 Haar-like 특징 벡터들을 BRF 분류기의 입력 벡터로 사용하여 얼굴 영역 후보가 포함된 윈도우를 선별하고,
상기 선별된 윈도우에서 슬라이등 윈도우 방법을 통해 OCS-LBP 특징 벡터들을 추출하고,
상기 추출된 OCS-LBP 특징 벡터들을 BRF 분류기의 입력 벡터로 사용하여 최종 얼굴 영역 후보가 포함된 윈도우들을 선별하며,
상기 최종 얼굴 영역 후보가 포함된 윈도우들로 선별된 윈도우들을 병합하여, 최종 얼굴 영역을 검출하도록 구현된 것을 특징으로 하는, 운전자 상태 모니터링을 위한 얼굴 특징점 검출 장치.13. The system of claim 12,
Extracts Haar-like feature vectors from a video input through the camera through a sliding window method,
Using the extracted Haar-like feature vectors as an input vector of the BRF classifier, a window including a face region candidate is selected,
Extracting OCS-LBP feature vectors through a window method such as a slice in the selected window,
The extracted OCS-LBP feature vectors are used as input vectors of the BRF classifier to select windows including the final face region candidates,
And the final face region is detected by merging the windows selected by the windows including the final face region candidate.
KR1020160095060A 2016-07-26 2016-07-26 Face landmark detection method and apparatus for drive state monitoring KR101788211B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020160095060A KR101788211B1 (en) 2016-07-26 2016-07-26 Face landmark detection method and apparatus for drive state monitoring

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160095060A KR101788211B1 (en) 2016-07-26 2016-07-26 Face landmark detection method and apparatus for drive state monitoring

Publications (1)

Publication Number Publication Date
KR101788211B1 true KR101788211B1 (en) 2017-10-20

Family

ID=60298978

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160095060A KR101788211B1 (en) 2016-07-26 2016-07-26 Face landmark detection method and apparatus for drive state monitoring

Country Status (1)

Country Link
KR (1) KR101788211B1 (en)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109308727A (en) * 2018-09-07 2019-02-05 腾讯科技（深圳）有限公司 Virtual image model generating method, device and storage medium
WO2020175729A1 (en) * 2019-02-26 2020-09-03 연세대학교 산학협력단 Apparatus and method for detecting facial feature point by using gaussian feature point map and regression scheme
KR20210013793A (en) * 2019-07-29 2021-02-08 한양대학교 산학협력단 Deception detection method using biometric information
KR102430071B1 (en) 2022-02-08 2022-08-05 국방과학연구소 Image preprocessing method and apparatus based on labeling bounding box
KR102515011B1 (en) * 2022-11-15 2023-03-29 주식회사 디비엔텍 Method and system for improving performance of de-identification of personal information in video

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109308727A (en) * 2018-09-07 2019-02-05 腾讯科技（深圳）有限公司 Virtual image model generating method, device and storage medium
WO2020175729A1 (en) * 2019-02-26 2020-09-03 연세대학교 산학협력단 Apparatus and method for detecting facial feature point by using gaussian feature point map and regression scheme
KR20210013793A (en) * 2019-07-29 2021-02-08 한양대학교 산학협력단 Deception detection method using biometric information
KR102350068B1 (en) * 2019-07-29 2022-01-10 한양대학교 산학협력단 Deception detection method using biometric information
KR102430071B1 (en) 2022-02-08 2022-08-05 국방과학연구소 Image preprocessing method and apparatus based on labeling bounding box
KR102515011B1 (en) * 2022-11-15 2023-03-29 주식회사 디비엔텍 Method and system for improving performance of de-identification of personal information in video

Similar Documents

Publication Publication Date Title
KR101788211B1 (en) Face landmark detection method and apparatus for drive state monitoring
CN106652465B (en) Method and system for identifying abnormal driving behaviors on road
US10372972B2 (en) Face detection apparatus, face detection method, and program
US10467487B1 (en) Fusion-based traffic light recognition for autonomous driving
US11628844B2 (en) System and method for providing vehicle safety distance and speed alerts under slippery road conditions
US20120300078A1 (en) Environment recognizing device for vehicle
KR101982298B1 (en) Method and apparatus for detecting sudden moving objecj appearance at vehicle
US20170259814A1 (en) Method of switching vehicle drive mode from automatic drive mode to manual drive mode depending on accuracy of detecting object
JP4425642B2 (en) Pedestrian extraction device
KR101240499B1 (en) Device and method for real time lane recogniton and car detection
CN111016929A (en) Method and device for warning about the danger of a lane change of a vehicle
JP6722084B2 (en) Object detection device
JP2007328630A (en) Object candidate region detector, object candidate region detection method, pedestrian recognition system, and vehicle control device
KR20160065703A (en) Method and system for detection of sudden pedestrian crossing for safe driving during night time
KR102161908B1 (en) Driver status monitor method and apparatus
CN108482367A (en) A kind of method, apparatus and system driven based on intelligent back vision mirror auxiliary
KR101818542B1 (en) System for improving the reliability of the recognition of traffic lane and method thereof
JP2017151694A (en) Safety confirmation diagnostic system and safety confirmation diagnostic method
KR101914362B1 (en) Warning system and method based on analysis integrating internal and external situation in vehicle
CN113119960B (en) System and method for providing vehicle safety distance and speed warning under road-slip condition
JP2014146267A (en) Pedestrian detection device and driving support device
KR20190134909A (en) The apparatus and method for Driver Status Recognition based on Driving Status Decision Information
Hariri et al. Vision based smart in-car camera system for driver yawning detection
KR20100056883A (en) An adaptive cruise control system sensing a wedging vehicle
Zhang et al. Real-time lane departure warning system based on principal component analysis of grayscale distribution and risk evaluation model

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant