KR101215751B1

KR101215751B1 - face rotation angle detection method and apparatus

Info

Publication number: KR101215751B1
Application number: KR1020090064930A
Authority: KR
Inventors: 이성주; 김재희; 조재익
Original assignee: 주식회사 만도
Priority date: 2009-07-16
Filing date: 2009-07-16
Publication date: 2012-12-26
Also published as: KR20110007418A

Abstract

본 발명의 실시예는 얼굴 회전각 검출 방법 및 장치에 관한 것이다.Embodiments of the present invention relate to a method and apparatus for detecting a face rotation angle.

본 발명의 실시예는 얼굴에 대한 영상을 검출하여 입력 영상을 생성하는 영상 검출기; 입력 영상으로부터 얼굴 영역을 검출하여 얼굴 영상을 생성하는 전처리기; 및 얼굴 영상의 수평 에지 및 수직 에지 중 하나 이상을 분석하여 추출되는 얼굴 특징을 기초로 얼굴에 대한 상하 회전각 및 좌우 회전각 중 하나 이상을 검출하는 회전각 검출기를 포함하는 것을 특징으로 하는 회전각 검출 장치를 제공한다.An embodiment of the present invention provides an image detector for detecting an image of a face and generating an input image; A preprocessor configured to detect a face region from the input image and generate a face image; And a rotation angle detector configured to detect one or more of up and down rotation angles and left and right rotation angles with respect to the face based on a facial feature extracted by analyzing one or more of horizontal and vertical edges of the face image. It provides a detection device.

본 발명의 실시예에 의하면, 복잡한 얼굴 특징들을 추출하여 회전각을 검출하는 방식보다 안정적으로 얼굴의 상하좌우의 회전각을 검출할 수 있다. 또한, 사람이 안경을 착용하거나 콧수염을 기르는 등의 방해물이 얼굴에 존재하는 경우에도, 얼굴의 상하 회전각을 더욱 정확하게 검출할 수 있다.According to an embodiment of the present invention, the angle of rotation of the upper, lower, left, and right sides of the face can be detected more stably than the method of detecting the rotation angle by extracting complex facial features. In addition, even when an obstacle such as a person wearing glasses or a mustache is present on the face, the vertical rotation angle of the face can be detected more accurately.

얼굴, 상하, 좌우, 회전각, 히스토그램, 평균, 표준편차, 경계선, 중심선 Face, top, bottom, left, right, rotation angle, histogram, mean, standard deviation, boundary, centerline

Description

Face Rotation Angle Detection Method and Apparatus

본 발명의 실시예는 얼굴 회전각 검출 방법 및 장치에 관한 것이다. 더욱 상세하게는, 운전자 감시 시스템에서 필요로 하는 운전자의 시선 방향 유추 및 졸음 여부 판단에 사용되는 운전자 얼굴의 상하 및 좌우 회전각을 측정하는 장치와 방법에 관한 것이다.Embodiments of the present invention relate to a method and apparatus for detecting a face rotation angle. More specifically, the present invention relates to an apparatus and a method for measuring the up, down, left and right rotation angles of a driver's face used for inferring the driver's gaze direction and determining whether drowsiness is required by the driver monitoring system.

최근 휴먼 머신 인터페이스(HMI: Human Machine Interface) 기술의 발달로 사람의 얼굴에 대한 영상을 처리하는 다양한 응용 시스템에 대한 관심이 고조되고 있다. 사람의 얼굴에 대한 영상을 처리하는 응용으로서는, 예를 들어 인물 사진의 자동 정렬, 유사한 방향성을 가지는 사람의 얼굴 찾기, 사람이 얼굴을 좌우 또는 상하로 의도적으로 움직이는 상황을 자동으로 인식하는 헤드 제스쳐(Head Gesture) 인식 등이 있을 수 있다.Recently, with the development of the Human Machine Interface (HMI) technology, interest in various application systems for processing images of a human face is increasing. As an application for processing an image of a face of a person, for example, a head gesture that automatically recognizes a portrait of a person, finds a face of a person having a similar orientation, and automatically recognizes a situation in which the person intentionally moves the face from side to side or up and down ( Head Gesture) recognition.

특히, 헤드 제스쳐 인식에 관한 응용은 차량의 운전자 감시 시스템에 적용될 수 있는데, 차량을 운전하는 운전자의 시선 방향을 유추하여 운전자의 조향 의도를 파악하거나 운전자의 졸음 여부를 판단하는 등 유용하게 활용될 수 있다. 이와 같 이, 운전자 얼굴의 상하 좌우의 회전각을 측정하는 기술로서는 얼굴의 눈, 코, 입 등과 같은 구체적인 특징의 기하학적 위치 관계를 분석하는 방법(이하 '기하학적 위치 관계 분석 방법'이라 칭함)과 얼굴 영상의 블록별 방위(Orientation)를 분석하는 방법(이하 '블록별 방위 분석 방법'이라 칭함) 등이 이용될 수 있다.In particular, the application of the head gesture recognition may be applied to a driver monitoring system of a vehicle, and may be usefully used to determine a driver's steering intention or to determine whether the driver is sleepy by inferring the driver's gaze direction. have. As such, as a technique for measuring up, down, left, and right rotation angles of the driver's face, a method of analyzing geometric positional relationships of specific features such as eyes, nose, and mouth of the face (hereinafter referred to as 'geometric positional analysis method') and face A method of analyzing an orientation of blocks of an image (hereinafter, referred to as a method of analyzing blocks of blocks) may be used.

기하학적 위치 관계 분석 방법은, 운전자의 얼굴이 상하로 회전함에 따라 눈, 코, 입, 이마선 등과 같은 얼굴의 특징들도 함께 이동할 때, 얼굴의 특징들의 위치 관계를 분석하여 얼굴의 좌우 및 상하 회전각을 측정한다. 블록별 방위 분석 방법은, 운전자의 얼굴이 상하, 좌우로 회전하면서 발생되는 회전각에 따라 변화하는 얼굴 영상의 블록별 방위 정보의 변화를 분석하여 얼굴의 상하 좌우의 회전각을 유추한다.The geometric positional relationship analysis method analyzes the positional relationship of facial features such as eyes, nose, mouth, and forehead lines as the driver's face rotates up and down, thereby analyzing the positional relationship of the facial features. Measure the angle. The block analysis method for each block analyzes the change of the block information of blocks of the face image that changes according to the rotation angle generated while the driver's face rotates up and down and left and right, and infers the rotation angles of the face up, down, left, and right.

하지만, 기하학적 위치 관계 분석 방법은, 운전자가 안경을 착용하거나 콧수염을 기르거나 입을 움직이거나 이마선이 들어나지 않는 경우와 같은 경우에는, 얼굴의 특징들을 정확하게 검출하지 못하여 상하 회전각을 유추하는 정확도가 낮아지는 문제점이 있다. 또한, 블록별 방위 분석 방법은 기하학적 위치 관계 분석 방법과는 달리 얼굴의 구체적인 특징을 찾지 않아도 되어, 기하학적 위치 관계 분석 방법과 비교할 때 상대적으로 안정적인 장점이 있다. 하지만, 블록별 방위 분석 방법도 운전자가 안경을 착용하거나 콧수염을 기르거나 입을 움직이는 경우 등과 같은 경우에도 블록별 방위 정보가 변하여 얼굴의 상하 좌우의 회전각을 유추하는 정확도가 낮아지는 문제점이 있다.However, the geometric position relation analysis method has an accuracy of inferring the upper and lower rotation angles by failing to accurately detect facial features, such as when a driver wears glasses, a mustache, moves his mouth, or does not have a forehead. There is a problem of being lowered. In addition, unlike the geometric positional relationship analysis method, the orientation analysis method for each block does not need to find specific features of the face, which is relatively stable compared with the geometric positional relationship analysis method. However, even in the case of a block orientation analysis method, even when the driver wears glasses, a mustache, or moves the mouth, there is a problem that the accuracy of inferring rotation angles of the top, bottom, left, and right sides of the face is lowered by changing the block orientation information.

전술한 문제점을 해결하기 위해 본 발명의 실시예는, 간단한 얼굴 특징을 이용하면서도 얼굴에 방해물이 있는 경우에도 얼굴의 상하 및 좌우의 회전각을 안정적이고 정확하게 검출하는 데 주된 목적이 있다.In order to solve the above problems, embodiments of the present invention have a main purpose to stably and accurately detect the rotation angles of the upper and lower sides and the left and right sides of the face even when there are obstacles on the face while using simple facial features.

전술한 목적을 달성하기 위해 본 발명의 실시예는, 얼굴에 대한 영상을 검출하여 입력 영상을 생성하는 영상 검출기; 입력 영상으로부터 얼굴 영역을 검출하여 얼굴 영상을 생성하는 전처리기; 및 얼굴 영상의 수평 에지 및 수직 에지 중 하나 이상을 분석하여 추출되는 얼굴 특징을 기초로 얼굴에 대한 상하 회전각 및 좌우 회전각 중 하나 이상을 검출하는 회전각 검출기를 포함하는 것을 특징으로 하는 회전각 검출 장치를 제공한다.In order to achieve the above object, an embodiment of the present invention, an image detector for detecting an image of the face to generate an input image; A preprocessor configured to detect a face region from the input image and generate a face image; And a rotation angle detector configured to detect one or more of up and down rotation angles and left and right rotation angles with respect to the face based on a facial feature extracted by analyzing one or more of horizontal and vertical edges of the face image. It provides a detection device.

또한, 본 발명의 실시예의 다른 목적에 의하면, 얼굴에 대한 영상을 검출하여 입력 영상을 생성하는 단계; 입력 영상으로부터 얼굴 영역을 검출하여 얼굴 영상을 생성하는 단계; 얼굴 영상으로부터 수평 에지 영상을 추출하고 이진화하여 생성되는 이진화 영상으로부터 얻어지는 히스토그램의 평균 및 표준편차를 얼굴 특징으로 추출하는 단계; 및 얼굴 특징을 기초로 얼굴에 대한 상하 회전각을 검출하는 단계를 포함하는 것을 특징으로 하는 회전각 검출 방법을 제공한다.In addition, according to another object of the embodiment of the present invention, detecting the image of the face to generate an input image; Generating a face image by detecting a face region from the input image; Extracting a mean and standard deviation of a histogram obtained from a binarized image generated by binarizing and extracting a horizontal edge image from the face image as a facial feature; And detecting a vertical rotation angle of the face based on the facial feature.

또한, 본 발명의 또 다른 목적에 의하면, 얼굴에 대한 영상을 검출하여 입력 영상을 생성하는 단계;상기 입력 영상으로부터 얼굴 영역을 검출하여 얼굴 영상을 생성하는 단계; 얼굴 영상으로부터 수직 에지 영상을 추출하고 이진화하여 생성되 는 이진화 영상으로부터 얻어지는 얼굴의 좌우 경계선 및 중심선을 얼굴 특징으로 추출하는 단계; 및 얼굴 특징을 기초로 얼굴에 대한 좌우 회전각을 검출하는 단계를 포함하는 것을 특징으로 하는 회전각 검출 방법을 제공한다.In addition, according to another object of the present invention, the method comprising: generating an input image by detecting an image of a face; generating a face image by detecting a face region from the input image; Extracting a left and right boundary line and a center line of the face obtained from the binarized image generated by binarizing and extracting a vertical edge image from the face image as face features; And detecting a left and right rotation angle with respect to the face based on the facial feature.

이상에서 설명한 바와 같이 본 발명의 실시예에 의하면, 복잡한 얼굴 특징들을 추출하여 회전각을 검출하는 방식보다 안정적으로 얼굴의 상하좌우의 회전각을 검출할 수 있다. 또한, 사람이 안경을 착용하거나 콧수염을 기르는 등의 방해물이 얼굴에 존재하는 경우에도, 얼굴의 상하 회전각을 더욱 정확하게 검출할 수 있다.As described above, according to the exemplary embodiment of the present invention, the angle of rotation of the upper, lower, left, and right sides of the face can be detected more stably than the method of detecting the rotation angle by extracting complex facial features. In addition, even when an obstacle such as a person wearing glasses or a mustache is present on the face, the vertical rotation angle of the face can be detected more accurately.

이하, 본 발명의 일부 실시예들을 예시적인 도면을 통해 상세하게 설명한다. 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명의 실시예를 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 실시예에 대한 이해를 방해한다고 판단되는 경우에는 그 상세한 설명은 생략한다.Hereinafter, some embodiments of the present invention will be described in detail with reference to exemplary drawings. In adding reference numerals to the components of each drawing, it should be noted that the same reference numerals are assigned to the same components as much as possible even though they are shown in different drawings. In the following description of the embodiments of the present invention, a detailed description of known functions and configurations incorporated herein will be omitted when it may make the difference that the embodiments of the present invention are not conclusive.

또한, 본 발명의 실시예의 구성 요소를 설명하는 데 있어서, 제 1, 제 2, A, B, (a), (b) 등의 용어를 사용할 수 있다. 이러한 용어는 그 구성 요소를 다른 구성 요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성 요소의 본질이나 차례 또는 순서 등이 한정되지 않는다. 어떤 구성 요소가 다른 구성요소에 "연결", "결합" 또는 "접속"된다고 기재된 경우, 그 구성 요소는 그 다른 구성요소에 직접적 으로 연결되거나 접속될 수 있지만, 각 구성 요소 사이에 또 다른 구성 요소가 "연결", "결합" 또는 "접속"될 수도 있다고 이해되어야 할 것이다.In describing the components of the embodiment of the present invention, terms such as first, second, A, B, (a), and (b) may be used. These terms are intended to distinguish the constituent elements from other constituent elements, and the terms do not limit the nature, order or order of the constituent elements. If a component is described as being "connected", "coupled" or "connected" to another component, that component may be directly connected or connected to that other component, but there is another component between each component. It will be understood that may be "connected", "coupled" or "connected".

도 1은 본 발명의 일 실시예에 따른 얼굴 회전각 검출 장치를 간략하게 나타낸 블록 구성도이다.1 is a block diagram schematically illustrating an apparatus for detecting a face rotation angle according to an embodiment of the present invention.

본 발명의 일 실시예에 따른 얼굴 회전각 검출 장치(100)는 사람 얼굴의 상하좌우의 회전각을 검출하는 장치로서, 사람 얼굴을 촬영한 영상으로부터 얼굴이 상하좌우로 얼마만큼의 각도만큼 회전되는지를 검출하기 위한 장치이다. 얼굴 회전각 검출 장치(100)는 운전자 감시 시스템 등과 같이 얼굴에 대한 영상을 처리하는 다양한 응용에서 활용될 수 있다. 예를 들어, 얼굴 회전각 검출 장치(100)는 차량의 운전자의 시선을 감지하여 조향, 제동, 회피 등의 의도를 감지하거나 운전자의 졸음 등을 감지하여, 운전자가 편리하고 안전하게 운전하도록 보조하는 조향 시스템, 제동 시스템 등의 내부에 독립적인 하드웨어 컴퓨터 시스템으로 구현되거나 해당 시스템 내의 컴퓨터의 기록장치에 저장되는 소프트웨어를 구성하는 프로그램 모듈로서 구현될 수 있다.The apparatus 100 for detecting a face rotation angle according to an embodiment of the present invention is a device for detecting an angle of rotation of up, down, left, and right of a human face, and how much the face rotates up, down, left, and right from an image of a human face. It is a device for detecting. The face rotation angle detection device 100 may be utilized in various applications for processing an image of a face, such as a driver monitoring system. For example, the apparatus 100 for detecting a face rotation angle detects a driver's gaze of a vehicle and detects an intention such as steering, braking, or avoiding a driver's drowsiness, or a driver's drowsiness to assist a driver in driving conveniently and safely. The system may be implemented as an independent hardware computer system in a system, a braking system, or a program module constituting software stored in a recording device of a computer in the system.

이러한 얼굴 회전각 검출 장치(100)는 얼굴에 대한 영상을 검출하여 입력 영상(Input Image)을 생성하는 영상 검출기(Image Dectector, 110), 입력 영상으로부터 얼굴 영역(Face Region)을 검출하여 얼굴 영상(Face Image)을 생성하는 전처리기(Preprocessor, 120) 및 얼굴 영상의 수평 에지(Horizontal Edge) 및 수직 에지(Vertical Edge) 중 하나 이상을 분석하여 추출되는 얼굴 특징(Face Feature)을 기초로 얼굴에 대한 상하 회전각(Up-and-Down Rotation Angle) 및 좌우 회전 각(Right-and-Left Rotation Angle) 중 하나 이상을 검출하는 회전각 검출기(Rotation Angle Detector, 130)를 포함하여 구성될 수 있다. 이와 같은 얼굴 회전각 검출 장치(100)를 구성하는 구성 요소들은 각각이 컴퓨터 시스템을 가지는 독립적인 하드웨어로 구현될 수도 있지만 얼굴 회전각 검출 장치(100)라는 하드웨어에서 각 기능을 수행하는 프로그램 모듈로서 구현될 수도 있다.The apparatus 100 for detecting a face rotation angle detects an image of a face and generates an input image, and detects a face region from the input image. Preprocessor 120 that generates a face image and a face feature extracted by analyzing one or more of a horizontal edge and a vertical edge of a face image. It may include a rotation angle detector (130) for detecting one or more of the up-and-down rotation angle and the right-and-left rotation angle. The components constituting the face rotation angle detection device 100 may be implemented as independent hardware each having a computer system, but may be implemented as a program module for performing each function in hardware called the face rotation angle detection device 100. May be

영상 검출기(110)는 카메라 등과 같은 촬영 장치로 구현될 수 있으며, 사람의 얼굴을 촬영하고 촬영된 영상을 입력 영상으로서 생성하여 전처리기(120)로 출력한다. 이러한 영상 검출기(110)는 예를 들어, 차량의 계기판 부근과 같이, 촬영하고자 하는 사람의 얼굴을 아래쪽에서 촬영할 수 있도록 설치되어는 것이 바람직하다. 즉, 영상 검출기(110)는 사람의 얼굴의 전면의 수직 방향에서 소정의 각도만큼 아래에서 얼굴 방향을 바라보며 설치되는 것이 바람직하다.The image detector 110 may be implemented as a photographing device such as a camera. The image detector 110 photographs a face of a person, generates a photographed image as an input image, and outputs the captured image to the preprocessor 120. The image detector 110 is preferably installed such that the face of a person to be photographed can be photographed from below, for example, near the instrument panel of the vehicle. That is, the image detector 110 may be installed to face the face from below by a predetermined angle in the vertical direction of the front face of the person.

전처리기(120)는 영상 검출기(110)로부터 입력되는 입력 영상으로부터 얼굴 영역 이외의 영역에서 발생하는 잡음(Noise)를 최소화하기 위해 얼굴 영역을 검출하여 얼굴 영상을 생성하는데, 아다부스트 알고리즘(Adaboost)과 적응적 템플릿 매칭(Adaptive Template Matching) 방법을 결합하여 입력 영상으로부터 얼굴 영역을 검출할 수 있다.The preprocessor 120 generates a face image by detecting a face region from the input image input from the image detector 110 to minimize noise generated in a region other than the face region. And a face region may be detected from the input image by combining an adaptive template matching method.

회전각 검출기(130)는 전처리기(120)로부터 입력되는 얼굴 영상으로부터 수평 에지 영상(Horizontal Edge Image)을 추출하고 이진화(Binarization)하여 생성되는 이진화 영상(Binarized Image)으로부터 얻어지는 히스토그램(Histogram)의 평균(Average) 및 표준편차(Standard Deviation)를 얼굴 특징으로 추출하고, 얼굴 특 징을 기초로(즉, 히스토그램의 평균 및 표준편차를 이용하여) 얼굴의 상하 회전각을 검출할 수 있다. 이때, 회전각 검출기(130)는 히스토그램의 평균 및 표준편차를 정면 얼굴에 대해 정규화(Regularization)하고 정규화된 히스토그램의 평균 및 표준편차를 이용하여 최종적인 얼굴의 상하 회전각을 검출할 수 있다.The rotation angle detector 130 extracts a horizontal edge image from the face image input from the preprocessor 120 and averages the histogram obtained from the binarized image generated by binarization. (Average) and Standard Deviation can be extracted as facial features, and the vertical rotation angle of the face can be detected based on the facial features (ie, using the histogram mean and standard deviation). In this case, the rotation angle detector 130 may normalize the mean and standard deviation of the histogram with respect to the front face, and detect the final up and down rotation angle of the final face by using the average and standard deviation of the normalized histogram.

또한, 회전각 검출기(130)는 전처리기(120)로부터 입력되는 얼굴 영상으로부터 수직 에지 영상(Vertical Edge Image)을 추출하고 이진화하여 생성되는 이진화 영상으로부터 얻어지는 얼굴의 좌우 경계선(Right-and-Left Border Line) 및 중심선(Center Line)을 얼굴 특징으로서 추출하고, 추출된 얼굴 특징을 기초로(즉, 추출된 얼굴의 좌우 경계선 및 중심선을 이용하여) 얼굴의 좌우 회전각을 검출할 수 있다.In addition, the rotation angle detector 130 extracts a vertical edge image from the face image input from the preprocessor 120 and extracts the vertical edge image from the binarized image. The left-and-left border of the face is obtained. A line and a center line may be extracted as face features, and the left and right rotation angles of the face may be detected based on the extracted face features (that is, using the left and right boundary lines and the center line of the extracted face).

이를 위해, 회전각 검출기(130)는 전처리기(120)로부터 입력되는 얼굴 영상을 기준 관심 지역으로 설정하고, 기준 관심 지역을 기초로 외곽 관심 지역과 중심 관심 지역을 설정하며, 외곽 관심 지역을 이진화하여 좌우 경계선을 검출하고, 중심 관심 지역을 이진화하여 중심선을 검출할 수 있다. 또한, 회전각 검출기(130)는 외곽 관심 지역을 좌 영역 및 우 영역으로 나누고 각 영역을 이진화하여 좌우 경계선을 검출할 수 있다. 여기서, 외곽 관심 지역은 기준 관심 지역을 상하좌우로 확장하여 설정될 수 있으며, 중심 관심 지역은 기준 관심 지역을 소정의 비율로 축소하여 설정될 수 있다.To this end, the rotation angle detector 130 sets a face image input from the preprocessor 120 as a reference region of interest, sets an outer region of interest and a central region of interest based on the reference region of interest, and binarizes the outer region of interest. The left and right boundary lines can be detected, and the center line can be detected by binarizing the central region of interest. In addition, the rotation angle detector 130 may divide the outer region of interest into a left region and a right region and binarize each region to detect left and right boundary lines. Here, the outer region of interest may be set by extending the reference region of interest up, down, left, and right, and the center region of interest may be set by reducing the reference region of interest by a predetermined ratio.

또한, 회전각 검출기(130)는 수평 에지 영상 및 수직 에지 영상을 이진화할 때, 피타일 임계치(P-Tile Threshold)를 이용하여 이진화할 수 있다.In addition, when the rotation angle detector 130 binarizes the horizontal edge image and the vertical edge image, the rotation angle detector 130 may binarize using a P-Tile threshold.

이하에서는 본 발명의 일 실시예에 따른 얼굴 회전각 검출 장치(100)가 차량의 운전자 감시 시스템 등과 같이 운전자의 시선 유추나 졸음 감시 등을 통해 조향이나 제동을 보조하는 운전 및 주차 보조 시스템에 장착되는 것으로 예를 들어, 본 발명의 일 실시예에 따른 얼굴 회전각 검출 방법을 설명한다. 다만, 이러한 예는 설명의 편의를 위한 것일 뿐, 본 발명의 일 실시예에 따른 얼굴 회전각 검출 장치(100)와 얼굴 회전각 검출 방법은 다른 다양한 응용에서도 적용될 수 있다.Hereinafter, the facial rotation angle detection device 100 according to an embodiment of the present invention is mounted to a driving and parking assistance system that assists steering or braking through a driver's eye analogy or drowsiness monitoring, such as a driver monitoring system of a vehicle. As an example, a face rotation angle detection method according to an embodiment of the present invention will be described. However, this example is only for convenience of description, and the facial rotation angle detecting apparatus 100 and the facial rotation angle detecting method according to an embodiment of the present invention may be applied to various other applications.

도 2는 본 발명의 일 실시예에 따른 얼굴의 상하 회전각 검출 방법을 설명하기 위한 순서도이다.2 is a flowchart illustrating a vertical rotation angle detection method of a face according to an embodiment of the present invention.

얼굴 회전각 검출 장치(100)는 차량의 운전석 계기판 부근에 장착된 카메라 및 조명을 이용하여 운전자의 얼굴에 대한 영상을 검출하여 입력 영상을 생성한다(S210). 여기서, 영상을 검출하기 위한 카메라는 반드시 계기판 부근에 설치되어야 하는 것은 아니며 운전자의 얼굴의 아래쪽에서 얼굴 방향으로 설치되면 된다.The apparatus 100 for detecting a face rotation angle detects an image of a driver's face using a camera and a light mounted near a dashboard of a driver's seat of the vehicle to generate an input image (S210). Here, the camera for detecting the image does not necessarily need to be installed near the instrument panel, but may be installed in the direction of the face from the lower side of the driver's face.

입력 영상에는 운전자의 얼굴 이외에도 창문이나 창문에 비치는 여러 배경도 나타나게 된다. 따라서, 입력 영상에서 얼굴이 나타내는 영역 즉, 얼굴 영역 이외의 영역에서 발생하는 잡음(즉, 창문이나 창문에 비치는 여러 배경들에 의한 영상)을 최소화하기 위해, 입력 영상으로부터 얼굴 영역을 추출하여 얼굴 영상을 생성한다(S220). 이와 같이, 입력 영상으로부터 얼굴 영역을 추출하기 위해, 얼굴 회전각 검출 장치(100)는 아다부스트 알고리즘과 적응적 템플릿 매칭 방법을 결합하여 사용할 수 있다.In addition to the driver's face, the input image also shows a window or backgrounds reflected on the window. Therefore, in order to minimize noise (that is, a window or an image caused by various backgrounds reflected on the window) generated in an area other than the face area in the input image, the face area is extracted from the input image. To generate (S220). As such, in order to extract the face region from the input image, the face rotation angle detection apparatus 100 may use a combination of an AdBoost algorithm and an adaptive template matching method.

아다부스트 알고리즘을 이용한 얼굴 영역 추출 과정을 예시적으로 나타낸 도 3을 참조하면, 아다부스트 알고리즘은 여러 개의 약한 분류기(Weak Classifier, F₁, F₂, …, F_N , 310, 312, 314)를 조합하여 구성되는 강한 분류기(Strong Classifier)를 이용하여 얼굴을 검출하는 알고리즘이다. 여기서, 제 1 약한 분류기(F1, 310)는 입력 영상에서 얼굴로 유추되는 일부 영역의 영상(즉, 일부 영상)을 입력받아, 입력된 일부 영상이 얼굴과 약간이라도 유사하면 얼굴 영역의 영상(즉, 얼굴 영상)으로 인식하고, 전혀 얼굴이 아니라고 판단되면 얼굴 영역의 영상이 아닌 것(즉, 비얼굴 영상)으로 판단한다. F_N은 F₁에 비해 엄격하게 얼굴 여부를 판단하는 분류기이다. 즉, F₁에 의해 얼굴 영상으로 인식된 영상은 F2에 의해 더 엄격한 판단 기준으로 얼굴과 유사한지 여부가 판단되며, 계속해서 얼굴 영상으로 판단되는 경우, F₃, F₄ 등의 분류기를 통해 점점 더 엄격한 판단 기준에 따라 얼굴과 유사한지 여부가 판단되며, F_N 분류기에서 가장 엄격한 판단 기준에 따라 얼굴과 유사한지 여부를 판단하여 최종적인 얼굴 영상을 추출한다.Referring to FIG. 3, which illustrates an example of a face region extraction process using the Adaboost algorithm, the Adaboost algorithm uses a plurality of weak classifiers (Weak Classifier, F ₁ , F ₂ ,..., F _N , 310, 312, 314). It is an algorithm for detecting a face using a strong classifier composed of a combination. Here, the first weak classifiers F1 and 310 may receive an image (ie, some images) of a partial region inferred as a face from the input image, and if the inputted partial image is slightly similar to the face, the image of the face region (ie, If it is determined that it is not a face at all, it is determined that it is not an image of the face region (ie, a non-face image). F _N is a classifier that judges the face more strictly than F ₁ . That is, it is determined whether the image recognized as the face image by F ₁ is similar to the face on the basis of stricter judgment by F2, and if it is determined as the face image continuously, it is gradually obtained through the classifiers such as F ₃ and F ₄ . It is determined whether or not it is similar to a face according to a stricter criterion, and the final face image is extracted by determining whether it is similar to a face according to the strictest criterion in the F _N classifier.

템플릿 매칭 방법은 전체의 입력 영상에서 얼굴에 대한 템플릿을 이동시켜 가면서 영상 간 거리를 측정하여 거리가 가장 짧은 곳에 얼굴이 존재한다고 판단하는 방법이다. 적응적 템플릿 매칭 방법은 템플릿 매칭 방법과 같이 얼굴 영역을 판단하지만, 고정적인 얼굴에 대한 템플릿을 사용하는 것이 아니라 프레임마다 얼굴에 대한 템플릿을 업데이트하여 사용하는 방법이다. 적응적 템플릿 매칭 방법은 아다부스트에 비해 속도가 빠른 장점이 있지만, 정확한 템플릿이 먼저 존재해야 하는 문제점이 있다.The template matching method is a method of determining that a face exists at the shortest distance by measuring a distance between images while moving a template for a face in the entire input image. In the adaptive template matching method, the face region is determined like the template matching method, but the template for the face is updated for each frame instead of using the template for the fixed face. The adaptive template matching method has the advantage of being faster than Adaboost, but there is a problem that an accurate template must exist first.

따라서, 본 발명의 일 실시예에서는 아다부스트를 이용하여 먼저 얼굴 영역을 찾고 찾아진 얼굴 영역의 영상을 얼굴에 대한 템플릿으로 설정하며, 이후에 입력되는 영상에서는 적응적 템플릿 매칭을 이용함으로써, 입력 영상에서 얼굴 영상을 추출한다. 또한, 템플릿 매칭을 수행할 때 한 번 매칭이 잘못되면 이후의 영상에서 계속적으로 오류(Error)가 전파(Propagation)되는 것을 방지하기 위해 리셋(Resaet) 함수를 두고, 리셋해야 할 경우에는 아다부스트로 얼굴을 검출하는 방식을 사용함으로써, 결과적으로 회전된 얼굴도 정확하고 빠르게 검출할 수 있다.Accordingly, in an embodiment of the present invention, the face region is first found by using AD Boost, and the image of the found face region is set as a template for the face, and the input image is then used by using adaptive template matching. Extract face image from. In addition, when performing a template matching, if the matching is wrong once, the reset function is set to prevent the error from being propagated continuously in the subsequent image. By using a face detection method, the rotated face can be detected accurately and quickly as a result.

다시 도 2를 참조하면, 얼굴 회전각 검출 장치(100)는 생성된 얼굴 영상에서 수평 에지를 분석하여 추출되는 얼굴 특징을 기초로 얼굴의 상하 회전각을 검출한다(S230). 이를 위해, 얼굴 회전각 검출 장치(100)는 얼굴 영상으로부터 수평 에지 영상을 추출하고 이진화하여 생성되는 이진화 영상으로부터 얻어지는 히스토그램의 평균 및 표준편차를 얼굴 특징으로 추출하고, 추출된 얼굴 특징을 기초로 얼굴에 대한 상하 회전각을 검출할 수 있다.Referring back to FIG. 2, the apparatus 100 for detecting face rotation angle detects an up and down rotation angle of a face based on a facial feature extracted by analyzing horizontal edges in the generated face image (S230). To this end, the apparatus 100 for detecting a face rotation angle extracts a mean and standard deviation of a histogram obtained from a binarized image generated by binarizing and extracting a horizontal edge image from a face image, and extracts a face based on the extracted face feature. The up and down rotation angle with respect to can be detected.

본 발명의 일 실시예에 따른 얼굴의 상하 회전각을 검출하는 과정을 예시적으로 나타낸 도 4를 참조하면, 얼굴 회전각 검출 장치(100)는 4A에 나타낸 바와 같은 얼굴 영상을 소벨 마스크(Sobel Mask)와 같은 콘볼루션 마스크(Convolution Mask)를 이용하여 콘볼루션하여 수평 방향의 에지 영상인 수평 에지 영상을 획득하고 이진화하여, 4B에 나타낸 바와 같은 이진화 영상을 생성한다. 얼굴 회전각 검출 장치(100)는 4B에 나타낸 바와 같은 이진화 영상을 수평 방향으로 프로젝 션(Projection)하여 4B 및 4C에 나타낸 바와 같은 히스토그램을 구하고, 히스토그램의 정면 대비 평균과 표준편차의 변화량을 구하여 상하 회전각을 나타내는 비선형 함수의 입력 벡터를 구하고, 분류(Classification) 또는 회귀(Regression) 등을 이용하여 비선형 함수를 구하여 상하 회전각을 구하며, 상하 회전각을 정면에 대한 회전각으로 정규화하여 최종적인 얼굴의 상하 회전각을 구할 수 있다. 이하에서는 도 5 및 도 6을 통해 도 4를 통해 전술한 얼굴의 상하 회전각을 검출하는 과정을 상세히 설명한다.Referring to FIG. 4 exemplarily illustrating a process of detecting a vertical rotation angle of a face according to an embodiment of the present invention, the apparatus 100 for detecting a facial rotation angle may include a face mask as shown in 4A. Convolution using a convolution mask such as) to obtain a horizontal edge image, which is an edge image in the horizontal direction, and binarize to generate a binarized image as shown in 4B. The face rotation angle detection device 100 projects a binarized image as shown in 4B in the horizontal direction to obtain a histogram as shown in 4B and 4C, and obtains a change in the mean and standard deviation of the histogram relative to the front of the histogram. Obtain the input vector of the nonlinear function representing the rotation angle, obtain the nonlinear function using classification or regression, etc. to obtain the up and down rotation angle, and normalize the up and down rotation angle by the rotation angle about the front face. The vertical rotation angle of can be obtained. Hereinafter, a process of detecting the vertical rotation angle of the face described above with reference to FIGS. 5 and 6 will be described in detail.

단계 S220에서 전술한 바와 같이 얼굴 영상이 생성되면, 얼굴 회전각 검출 장치(100)는 얼굴 영상의 수평 방향 에지 영상인 수평 에지 영상을 구한다. 수평 에지 영상은 M×N 크기의 영상으로서, 수학식 1과 같이 수평 에지 영상

는 얼굴 영상

와 콘볼루션 마스크(Convolution Mask)

의 콘볼루션으로 얻을 수 있다.When the face image is generated as described above in operation S220, the face rotation angle detection apparatus 100 obtains a horizontal edge image that is a horizontal edge image of the face image. The horizontal edge image is an M × N size image, and the horizontal edge image as shown in Equation 1

Face image

And Convolution Mask

Can be obtained by convolution of.

수학식 1에서,

는 M×N 크기의 수평 에지 영상을 나타내며,

는 M×N 크기의 얼굴 영상을 나타내며,

은 M×N 크기의 콘볼루션 마스크를 나타내며,

이고,

이다. 또한, 콘볼루션 마스크

은 소벨 마스크(Sobel Mask), 프리윗 마스크(Prewitt Mask), 로버트 마스크(Roberts Mask)를 사용할 수 있다.In Equation 1,

Represents a horizontal edge image of size M × N.

Represents an M × N face image,

Represents a convolution mask of size M × N,

ego,

to be. Also, convolution mask

The Sobel Mask, Prewitt Mask, and Roberts Mask may be used.

얼굴 회전각 검출 장치(100)는 수평 에지 영상을 피타일 임계치(P-Tile Threshold) 방법을 이용하여 이진화하여 이진화 영상

를 얻는다. 피타일 임계치 방법은 전체의 입력 영상에서 에지(Edge) 강도가 상위 P % 내에 드는 픽셀(Pixel)은 '1'의 값을 가지고, 나머지 픽셀들은 '0'의 값을 가지는 것으로 이진화한다.The apparatus 100 for detecting face rotation angle binarizes a horizontal edge image by using a P-Tile threshold method.

Get The pitile threshold method binarizes a pixel having an edge intensity within an upper P% of the entire input image having a value of '1' and the remaining pixels having a value of '0'.

피타일 임계치 방법을 이용하여 이진화 영상

가 얻어지면, 얼굴 회전각 검출 장치(100)는 이진화 영상을 수평 방향으로 프로젝션(Projection)하여 히스토그램

를 수학식 2와 같이 얻을 수 있다.Binarized Image Using Pytile Threshold Method

Is obtained, the facial rotation angle detection device 100 projects the histogram by projecting the binarized image in the horizontal direction.

Can be obtained as in Equation 2.

얼굴 회전각 검출 장치(100)는 수학식 2를 통해 얻어진 히스토그램의 평균

및 표준편차

를 각각 수학식 3과 수학식 4를 통해 구할 수 있다.The face rotation angle detection device 100 is an average of the histogram obtained through the equation (2)

And standard deviation

Can be obtained through Equation 3 and Equation 4, respectively.

얼굴의 상하 회전 시의 수평 에지 영상의 이진화 영상의 변화를 예시적으로 나타낸 도 5를 참조하면, 운전자가 정면을 바라볼 때, 위쪽을 바라볼 때, 아래쪽을 바라볼 때, 각각에 대한 얼굴 특징의 변화를 알 수 있다. 5A, 5B 및 5C는 각각 운전자가 정면을 바라볼 때, 위쪽을 바라볼 때 및 아래쪽을 바라볼 때의 수평 에지 영상의 이진화 영상을 나타낸 것이다.Referring to FIG. 5, which illustrates a change in the binarized image of the horizontal edge image when the face is rotated up and down, the facial features for each of the driver when looking at the front, when looking upward, when looking downward You can see the change. 5A, 5B and 5C show the binarized images of the horizontal edge image when the driver faces the front, the upper side and the lower side, respectively.

즉, 본 발명의 일 실시예에서는 카메라가 차량의 계기판 부근에 설치되어 카메라가 얼굴보다 아래쪽에 위치할 수 있으므로, 5B에 나타낸 바와 같이 얼굴이 위쪽으로 회전하는 경우 눈, 코, 입, 눈썹과 같은 얼굴 특징들이 위쪽으로 이동하면서 몰린다. 따라서, 얼굴이 위쪽으로 회전하는 경우, 히스토그램의 평균과 표준편차가 작아지는 특성이 있다. 반면, 5C에 나타낸 바와 같이 얼굴이 아래쪽을 회전할 경우 얼굴 특징들이 아래쪽으로 이동하면서 넓게 퍼지기 때문에, 히스토그램의 평균과 표준편차가 커지는 특성이 있다.That is, in one embodiment of the present invention, since the camera is installed near the instrument panel of the vehicle, the camera may be positioned below the face, such as eyes, nose, mouth, and eyebrows when the face is rotated upward as shown in 5B. Facial features are driven as they move upwards. Therefore, when the face rotates upward, the histogram has a characteristic of decreasing the mean and standard deviation. On the other hand, as shown in 5C, when the face rotates downward, the facial features move downward and spread widely, so that the mean and the standard deviation of the histogram become large.

얼굴의 상하 회전 시에 대한 히스토그램의 평균 및 표준편차와 정면 대비 평균 및 표준편차를 예시적으로 나타낸 도 6을 참조하면, 전술한 바와 같이 얼굴의 상하 회전의 방향이 위쪽인지 또는 아래쪽인지 여부에 따른 히스토그램의 평균 및 표준편차와 정면 대비 평균 및 표준편차를 알 수 있다. 6A는 얼굴이 상하 방향으로 다양하게 회전된 경우의 입력 영상을 나타낸 것이고, 6B는 6A에 나타낸 각 경우에 대한 히스토그램의 평균과 표준편차를 나타낸 것이며, 6C는 6A에 나타낸 각 경우에 대한 히스토그램의 정면 대비 평균과 표준편차를 나타낸 것이다.Referring to FIG. 6 exemplarily showing the mean and standard deviation of the histogram and the mean and standard deviation relative to the front when the face is rotated up and down, according to whether the direction of the up and down rotation of the face is upward or downward. The mean and standard deviation of the histogram and the mean and standard deviation from the front can be seen. 6A shows the input image when the face is rotated in various directions up and down, 6B shows the mean and standard deviation of the histogram for each case shown in 6A, and 6C shows the front of the histogram for each case shown in 6A. The contrast mean and standard deviation are shown.

도 6을 통해, 얼굴의 회전 방향이 위쪽일수록 히스토그램의 평균 및 표준편차가 작아지고, 얼굴의 회전 방향이 아래쪽일수록 히스토그램의 평균 및 표준편차가 커짐을 알 수 있다. 따라서, 얼굴 회전각 검출 장치(100)는 히스토그램의 평균 및 표준편차의 변화량을 통해 얼굴의 상하 회전각을 유추할 수 있다.6, it can be seen that the mean and standard deviation of the histogram decreases as the face rotates upward, and the mean and standard deviation of the histogram increases as the face rotates downward. Therefore, the facial rotation angle detecting apparatus 100 may infer the vertical rotation angle of the face through the change amount of the mean and standard deviation of the histogram.

하지만, 이러한 히스토그램의 평균 및 표준편차는 사람이 안경을 착용하거나 콧수염을 기르는 경우 등에는 수평 방향 에지에 의해 그 값이 달라질 수 있으며, 그에 따라 얼굴의 상하 회전각이 왜곡되어 유추될 수 있다. 이러한 문제점을 해결하기 위해, 얼굴 회전각 검출 장치(100)는 히스토그램의 평균

및 표준편차

에 정면 얼굴(즉, 상하 회전각이 '0°'인 경우)에서 구한 히스토그램의 평균

및 표준편차

를 빼줘서 정면 얼굴 대비 평균의 변화량 및 표준 편차의 변화량을 각각 수학식 5 및 수학식 6을 통해 구함으로써, 안경이나 콧수염 등 얼굴의 다른 방해물에 대한 영향을 정규화할 수 있다.However, the average and standard deviation of the histogram may be inferred by a horizontal edge when a person wears glasses or a mustache, and thus may be inferred by distorting the vertical rotation angle of the face. In order to solve this problem, the facial rotation angle detection device 100 is an average of the histogram

And standard deviation

Mean of the histogram from the front face (i.e. when the tilt angle is '0 °')

And standard deviation

By subtracting the change amount of the mean and the standard deviation compared to the front face through the equations (5) and (6), respectively, it is possible to normalize the influence on the other obstacles of the face, such as glasses or mustache.

실제의 주행 환경에서는 운전자가 정면을 보고 있는 경우가 대부분이므로, 정면 얼굴에서의 평균

및 표준 편차

는 입력되는 영상의 프레임에서 구한 평균 및 표준 편차의 이동 평균(Moving Average)으로 구할 수 있다.As the driver often looks at the front in the actual driving environment, the average at the front face

And standard deviation

May be obtained as a moving average of averages and standard deviations obtained from frames of an input image.

이와 같이, 정면 얼굴 대비 평균 및 표준편차의 변화량을 구하면, 상하 회전각을 구하기 위한 비선형 함수의 입력 벡터

를 수학식 7과 같이 구할 수 있다.As described above, when the average and standard deviation of the front face are obtained, the input vector of the nonlinear function for obtaining the vertical rotation angle is obtained.

May be obtained as shown in Equation 7.

이때, 상하 회전각

와 입력 벡터

사이의 관계를 표현하는 비선형 함수

를 구하면, 상하 회전각

는 수학식 8을 통해 구할 수 있다.At this time, the vertical rotation angle

And input vector

Nonlinear functions expressing the relationship between

If you find, the angle of rotation

Can be obtained from Equation 8.

만약, 상하 회전각이 이산적인 값이면, 비선형 함수

는 서포트 벡터 머신(Support Vector Machine)과 같은 분류(Classification) 방법으로 구해질 수 있으며, 상하 회전각이 연속적인 값이면, 비선형 함수

는 서포트 벡터 리그레션(Support Vector Regression)과 같은 회귀(Regression) 방법으로 구해질 수 있다. 최종적으로 운전자가 정면을 보고 있더라도 상하 회전각이 0°가 나오지 않을 수 있으므로, 정면일 때의 상하 회전각

을 일종의 오프셋(Offset)값으로 현재 상하 회전각에서 빼줘서 정규화하여 최종적인 상하 회전각

을 수학식 9를 통해 구해질 수 있다.If the vertical rotation angle is a discrete value, nonlinear function

Can be obtained by the same classification method as the Support Vector Machine. If the vertical rotation angle is a continuous value, the nonlinear function

Can be obtained by a regression method such as Support Vector Regression. Finally, even if the driver is looking at the front, the vertical rotation angle may not be 0 °, so the vertical rotation angle at the front

Is a kind of offset value, subtracted from the current vertical rotation angle, and normalized to final final rotation angle.

It can be obtained through the equation (9).

실제의 주행 환경에서는 운전자가 정면을 보고 있을 경우가 대부분이므로 정면일 때의 상하 회전각

은 상하 회전각

의 이동 평균으로 구해질 수 있다.In a real driving environment, the driver often looks at the front, so the up and down angle of rotation in the front

Silver vertical rotation angle

Can be calculated as the moving average of.

도 7은 본 발명의 일 실시예에 따른 얼굴의 상하 회전각 검출 방법을 설명하기 위한 순서도이다.7 is a flowchart illustrating a vertical rotation angle detection method of a face according to an embodiment of the present invention.

본 발명의 일 실시예에 따른 얼굴 회전각 검출 장치(100)는 얼굴의 좌우 회전각을 검출하기 위해, 얼굴에 대한 영상을 검출하여 입력 영상을 생성하고(S710), 입력 영상으로부터 얼굴 영역을 추출하여 얼굴 영상을 생성한다(S720). 단계 S710 및 단계 S720은 도 2를 통해 전술한 단계 S210 및 단계 S220과 동일 또는 유사하므로 상세한 설명은 생략한다.In order to detect the left and right rotation angles of the face, the apparatus 100 for detecting face rotation angle according to an embodiment of the present invention generates an input image by detecting an image of the face (S710) and extracts a face region from the input image. To generate a face image (S720). Steps S710 and S720 are the same as or similar to steps S210 and S220 described above with reference to FIG. 2, and thus a detailed description thereof will be omitted.

얼굴 영상이 생성되면, 얼굴 회전각 검출 장치(100)는 얼굴 영상에서 수직 에지를 분석하여 추출되는 얼굴 특징을 기초로 얼굴의 좌우 회전각을 검출한다(S730). 이를 위해, 얼굴 회전각 검출 장치(100)는 얼굴 영상으로부터 수직 에지 영상을 추출하고 이진화하여 생성되는 이진화 영상으로부터 얻어지는 얼굴의 좌우 경계선 및 중심선을 얼굴 특징으로 추출하고, 추출된 얼굴 특징을 기초로 얼굴에 대한 좌우 회전각을 검출할 수 있다.When the face image is generated, the face rotation angle detecting apparatus 100 detects the left and right rotation angles of the face based on the facial features extracted by analyzing the vertical edges in the face image (S730). To this end, the apparatus 100 for detecting a face rotation angle extracts a left and right boundary line and a center line of a face obtained from a binarized image generated by extracting and binarizing a vertical edge image from a face image, and extracts a face based on the extracted face feature. It is possible to detect the left and right rotation angle with respect to.

본 발명의 일 실시예에 따른 얼굴의 좌우 회전각을 검출하는 과정을 예시적으로 나타낸 도 8을 참조하면, 얼굴 회전각 검출 장치(100)는 8A에 나타낸 바와 같은 얼굴 영상에서 8B에 나타낸 바와 같이 관심 지역을 설정하여 8C에 나타낸 바와 같이 얼굴의 좌우 경계선 및 중심선을 얼굴 특징으로서 추출하고, 추출된 좌우 경계선 및 중심선을 원통 얼굴 모델에 적용하여 좌우 회전각을 구하고, 이를 정면 회전각으로 정규화하여 최종적인 좌우 회전각을 구한다. 이하에서는 도 9 내지 도 14를 통해 도 8을 통해 전술한 얼굴의 좌우 회전각을 검출하는 과정을 상세히 설명한 다.Referring to FIG. 8, which illustrates a process of detecting left and right rotation angles of a face according to an embodiment of the present disclosure, the face rotation angle detection apparatus 100 may be configured as shown in 8B in a face image as shown in 8A. Set the region of interest and extract the left and right borders and centerline of the face as face features as shown in 8C, apply the extracted left and right borders and centerline to the cylindrical face model to obtain the left and right turn angles, and normalize them to the front turn angles. Find the right and left rotation angle. Hereinafter, a process of detecting the left and right rotation angles of the face described above with reference to FIGS. 8 through 14 will be described in detail.

얼굴 회전각 검출 장치(100)는 단계 S720에서 얼굴 영상을 생성하면, 얼굴 영상으로부터 얼굴의 좌우 경계선 및 중심선을 얼굴 특징으로서 추출하기 위한 관심 지역(ROI: Region of Interest)을 도 9와 같이 설정한다. 얼굴 특징을 추출하기 위해 설정된 관심 지역을 예시적으로 나타낸 도 9를 참조하면, 전체의 입력 영상에서 세 개의 관심 지역이 설정된다.When the face rotation angle detecting apparatus 100 generates the face image in operation S720, the face rotation angle detecting apparatus 100 sets a region of interest (ROI) for extracting the left and right boundary lines and the center line of the face as face features from the face image as shown in FIG. 9. . Referring to FIG. 9, which illustrates an ROI set up to extract facial features, three ROIs are set in the entire input image.

제 2 관심 지역은 얼굴 검출 결과를 통해 얻은 얼굴 영상의 얼굴 영역으로 설정된다. 제 1 관심 지역은 얼굴의 좌우 경계선을 찾기 위한 관심 지역으로서, 제 2 관심 지역 즉, 얼굴 검출 결과를 통해 얻은 얼굴 영상의 얼굴 영역을 상하좌우로 확장하여 설정된다. 제 3 관심 지역은 얼굴의 중심선을 찾기 위한 관심 지역으로서, 제 2 관심 지역을 소정의 비율로 축소하여 설정된다. 이때, 제 3 관심 지역은 도 10과 같이 설정될 수 있다. 이때, 회전된 얼굴에서도 얼굴의 코 영역을 찾기 위해, 제 3 관심 지역은 지난 프레임의 회전각에 따라 도 11과 같이 회전된 방향에 맞춰서 이동시킨 위치에 설정될 수 있다. 이와 같이, 관심 지역의 설정이 완료된 후, 얼굴 회전각 검출 장치(100)는 제 1 관심 지역의 영상을 수직 방향으로 에지 오퍼레이터(Edge Operator)로 처리한 후, 이진화하여 수직 에지 영상을 얻는다. 이때, 이진화는 피타일 임계치 방법이 사용될 수 있다.The second region of interest is set as the face region of the face image obtained through the face detection result. The first region of interest is a region of interest for finding the left and right boundary lines of the face, and is set by extending the second region of interest, ie, the face region of the face image obtained through the face detection result. The third region of interest is a region of interest for finding the centerline of the face and is set by reducing the second region of interest at a predetermined ratio. In this case, the third region of interest may be set as shown in FIG. 10. In this case, the third region of interest may be set at a position moved in accordance with the rotation direction as shown in FIG. 11 according to the rotation angle of the last frame in order to find the nose region of the face even in the rotated face. As described above, after the setting of the region of interest is completed, the facial rotation angle detecting apparatus 100 processes the image of the first region of interest with an edge operator in the vertical direction and then binarizes to obtain a vertical edge image. At this time, the binarization may be used a phytile threshold method.

한편, 낮과 같이 운전자 쪽의 창문에 강한 태양빛이 있는 경우 빛이 비치는 곳의 에지가 상대적으로 강하므로, 제 1 관심 지역의 영상 전체를 피타일 임계치 방법으로 이진화하는 경우, 빛이 비치지 않는 곳의 에지가 잘 나타나지 않는 문제 점이 있다. 이러한 문제점을 해결하기 위해, 얼굴 회전각 검출 장치(100)는 제 1 관심 지역을 좌 영역과 우 영역으로 나누고 나누어진 각 영역의 영상을 피타일 임계치 방법으로 이진화함으로써, 좌우의 에지가 모두 잘 검출되도록 할 수 있다.On the other hand, if there is a strong sunlight in the driver's side of the window, such as daytime, the edge of the light shining is relatively strong, so when binarizing the entire image of the first region of interest by the pitile threshold method, the place where no light shines There is a problem that the edges of the edges do not appear well. In order to solve this problem, the facial rotation angle detecting apparatus 100 divides the first region of interest into a left region and a right region and binarizes the divided images by the pitile threshold method, so that the left and right edges are well detected. You can do that.

소벨 필터링(Sbel Filtering)을 이용하여 얻어진 수직 에지 영상의 이진화 영상을 나타낸 도 12를 참조하면, 빛이 강하게 비치치 않는 곳의 에지가 잘 나타나지 않는 것을 알 수 있다. 12A는 제 1 관심 지역의 영상을 나타낸 것이고, 12C는 제 1 관심 지역의 영상 전체를 소벨 필터링을 통해 얻어진 수직 에지 영상의 이진 영상을 나타낸 것이다. 12C를 통해, 제 1 관심 지역의 영상 전체를 필터링하여 얻어진 수직 에지의 영상의 이진 영상에서는 빛이 강하게 비치는 곳의 에지가 잘 나타나지만, 빛이 강하게 비치지 않는 곳의 에지는 상대적으로 잘 나타나지 않는 것을 알 수 있다. 12B는 제 1 관심 지역의 영상의 수직 에지 영상을 나타낸 것이고, 12D는 12B에 나타낸 수직 에지 영상을 좌 영역과 우 영역으로 나누어 이진화한 이진화 영상을 나타낸 것이다. 12D를 통해, 제 1 관심 지역의 영상을 두 영역으로 나누어 이진화함으로써, 좌우의 에지가 모두 잘 나타남을 알 수 있다.Referring to FIG. 12, which shows a binarized image of a vertical edge image obtained by using Sbel Filtering, it can be seen that an edge where a light is not strongly reflected does not appear well. 12A shows an image of the first ROI, and 12C shows a binary image of the vertical edge image obtained through Sobel filtering of the entire image of the first ROI. Through 12C, the binary image of the image of the vertical edge obtained by filtering the entire image of the first region of interest shows that the edge of the light is strong but the edge of the light is not relatively strong. Can be. 12B represents a vertical edge image of the image of the first region of interest, and 12D represents a binarized image obtained by binarizing the vertical edge image illustrated in 12B into a left region and a right region. Through 12D, by dividing the image of the first region of interest into two regions, it can be seen that the left and right edges are well represented.

얼굴 회전각 검출 장치(100)는 전술한 바와 같이 얻어진 수직 에지 영상의 이진화 영상을 수직 방향으로 프로젝션하여 히스토그램을 얻고, 얻어진 히스토그램의 피크(Peak)로 좌우 경계선을 찾을 수 있으며, 제 3 관심 지역의 영상을 피타일 임계치 방법을 이용하여 얼굴의 콧구멍과 배경으로 이진화한 후 콧구멍의 x좌표 즉, 수평 좌표의 평균으로 얼굴의 중심선을 찾을 수 있다.The apparatus 100 for detecting the rotation angle of the face obtains a histogram by projecting the binarized image of the vertical edge image obtained as described above in the vertical direction, and finds the left and right boundary lines by the peak of the obtained histogram, After the image is binarized using the pittile threshold method, the centerline of the face can be found by the average of the x-coordinate of the nostril, that is, the horizontal coordinate.

이와 같이, 얼굴의 좌우 경계선과 중심선이 얼굴 특징으로서 추출되면, 얼굴 회전각 검출 장치(100)는 도 13에 나타낸 바와 같은 원통 얼굴 모델에 얼굴 특징인 얼굴의 좌우 경계선과 중심선을 적용함으로써, 수학식 10과 같이 얼굴의 좌우 회전각을 검출할 수 있다.As described above, when the left and right boundary lines and the center line of the face are extracted as the face features, the face rotation angle detecting apparatus 100 applies the left and right boundary lines and the center line of the face features to the cylindrical face model as shown in FIG. As shown in FIG. 10, the left and right rotation angles of the face can be detected.

수학식 10에서,

는 좌우 회전각을 나타내고, x _r 은 우측 경계선의 좌표를 나타내며, x _l 은 좌측 경계선의 좌표를 나타내며, x _c 은 중심선의 좌표를 나타낸다.In Equation 10,

Represents the left and right rotation angle, x _r represents the coordinates of the right border, x _l represents the coordinates of the left border, and x _c represents the coordinates of the center line.

사용자가 정면을 보고 있더라도 좌우 회전각이 0°가 되지 않을 수 있으므로, 최종적인 얼굴의 좌우 회전각은 정면을 보고 있을 때의 좌우 회전각을 일종의 오프셋값으로 현재의 좌우 회전각에서 빼줘서 정규화될 수 있다. 정면을 보고 있을 때의 좌우 회전각은 운전 중에 운전자들이 대부분 정면을 본다고 가정한 상태에서, 유추한 좌우 회전각이 -10° 내지 +10°일 때의 회전각들을 이동 평균하여 유추될 수 있다. 정면 회전각으로 정규화된 경우와 정규화되지 않은 경우의 히스토그램을 나타낸 도 14를 참조하면, 에스터메이티드 투루스(ET: Estimated Truth)에 따른 좌우 회전각과 그라운드 투루스(GT: Ground Truth)에 따른 좌우 회전각의 비교를 통해, 정규화된 경우의 에스터메이티드 투루스에 따른 좌우 회전각이 실제 좌우 회전각의 그라운드 투루스와 유사함을 확인할 수 있다.Since the left and right rotation angle may not be 0 ° even if the user is looking at the front, the final left and right rotation angle is normalized by subtracting the left and right rotation angle when looking at the front from the current left and right rotation angle as a kind of offset value. Can be. The left and right rotation angles when looking at the front can be inferred by moving average of the rotation angles when the inferred left and right rotation angles are from -10 ° to + 10 ° while assuming that drivers mostly look at the front while driving. Referring to FIG. 14, which shows a histogram of the normalized and non-normalized front rotation angles, the left and right rotation angles according to the Estimated Truth (ET) and the left and right rotations according to the Ground Truth (GT). By comparing the rotation angles, it can be seen that the left and right rotation angles according to the esterified tours in the normalized case are similar to the ground tours of the actual left and right rotation angles.

이상에서 전술한 바와 같이, 본 발명의 일 실시예에 따르면, 얼굴의 좌우 경계선과 중심선, 히스토그램의 평균 및 표준편차의 변화량 등과 같은 간단한 얼굴 특징을 추출하여 얼굴의 상하 회전각과 좌우 회전각을 검출함으로써, 눈, 코, 입 등과 같은 복잡한 얼굴 특징들을 추출하여 회전각을 검출하는 방식보다 안정적으로 얼굴의 상하좌우의 회전각을 검출할 수 있다. 또한, 히스토그램의 평균 및 표준편차를 정면에서의 히스토그램의 평균 및 표준편차에 대해 정규화하여 그 변화량으로 상하 회전각을 검출함으로써, 사람이 안경을 착용하거나 콧수염을 기르는 등의 방해물이 얼굴에 존재하는 경우에도, 얼굴의 상하 회전각을 더욱 정확하게 검출할 수 있다.As described above, according to an embodiment of the present invention, by extracting simple facial features such as the left and right boundary line and the center line of the face, the average amount of the histogram and the amount of change of the standard deviation, etc. By extracting complex facial features such as eyes, nose and mouth, the angle of rotation of the face can be detected more stably than the method of detecting the angle of rotation. In addition, the average and standard deviation of the histogram is normalized to the average and standard deviation of the histogram, and the up and down rotation angle is detected by the amount of change, so that an obstacle such as a person wearing glasses or a mustache is present on the face. In addition, the vertical rotation angle of the face can be detected more accurately.

이상에서, 본 발명의 실시예를 구성하는 모든 구성 요소들이 하나로 결합하거나 결합하여 동작하는 것으로 설명되었다고 해서, 본 발명이 반드시 이러한 실시예에 한정되는 것은 아니다. 즉, 본 발명의 목적 범위 안에서라면, 그 모든 구성 요소들이 하나 이상으로 선택적으로 결합하여 동작할 수도 있다. 또한, 그 모든 구성 요소들이 각각 하나의 독립적인 하드웨어로 구현될 수 있지만, 각 구성 요소들의 그 일부 또는 전부가 선택적으로 조합되어 하나 또는 복수 개의 하드웨어에서 조합된 일부 또는 전부의 기능을 수행하는 프로그램 모듈을 갖는 컴퓨터 프로그램으로서 구현될 수도 있다. 그 컴퓨터 프로그램을 구성하는 코드들 및 코드 세그먼트들은 본 발명의 기술 분야의 당업자에 의해 용이하게 추론될 수 있을 것이다. 이러한 컴퓨터 프로그램은 컴퓨터가 읽을 수 있는 저장매체(Computer Readable Media)에 저장되어 컴퓨터에 의하여 읽혀지고 실행됨으로써, 본 발명의 실시예를 구현할 수 있다. 컴퓨터 프로그램의 저장매체로서는 자기 기록매체, 광 기록매체, 캐리어 웨이브 매체 등이 포함될 수 있다.While the present invention has been described in connection with what is presently considered to be the most practical and preferred embodiment, it is to be understood that the invention is not limited to the disclosed embodiments. In other words, within the scope of the present invention, all of the components may be selectively operated in combination with one or more. In addition, although all of the components may be implemented as one independent hardware, some or all of the components may be selectively combined to perform a part or all of the functions in one or a plurality of hardware. As shown in FIG. Codes and code segments constituting the computer program may be easily inferred by those skilled in the art. Such a computer program may be stored in a computer readable storage medium and read and executed by a computer, thereby implementing embodiments of the present invention. As the storage medium of the computer program, a magnetic recording medium, an optical recording medium, a carrier wave medium, or the like may be included.

또한, 이상에서 기재된 "포함하다", "구성하다" 또는 "가지다" 등의 용어는, 특별히 반대되는 기재가 없는 한, 해당 구성 요소가 내재할 수 있음을 의미하는 것이므로, 다른 구성 요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있는 것으로 해석되어야 한다. 기술적이거나 과학적인 용어를 포함한 모든 용어들은, 다르게 정의되지 않는 한, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미가 있다. 사전에 정의된 용어와 같이 일반적으로 사용되는 용어들은 관련 기술의 문맥상의 의미와 일치하는 것으로 해석되어야 하며, 본 발명에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.Furthermore, the terms "comprises", "comprising", or "having" described above mean that a component can be implanted unless otherwise specifically stated, But should be construed as including other elements. All terms, including technical and scientific terms, have the same meaning as commonly understood by one of ordinary skill in the art to which this invention belongs, unless otherwise defined. Terms used generally, such as terms defined in a dictionary, should be interpreted to coincide with the contextual meaning of the related art, and shall not be interpreted in an ideal or excessively formal sense unless explicitly defined in the present invention.

이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.The foregoing description is merely illustrative of the technical idea of the present invention, and various changes and modifications may be made by those skilled in the art without departing from the essential characteristics of the present invention. Therefore, the embodiments disclosed in the present invention are intended to illustrate rather than limit the scope of the present invention, and the scope of the technical idea of the present invention is not limited by these embodiments. The protection scope of the present invention should be interpreted by the following claims, and all technical ideas within the equivalent scope should be interpreted as being included in the scope of the present invention.

도 1은 본 발명의 일 실시예에 따른 얼굴 회전각 검출 장치를 간략하게 나타낸 블록 구성도,1 is a block diagram schematically showing an apparatus for detecting a face rotation angle according to an embodiment of the present invention;

도 2는 본 발명의 일 실시예에 따른 얼굴의 상하 회전각 검출 방법을 설명하기 위한 순서도,2 is a flowchart illustrating a vertical rotation angle detection method of a face according to an embodiment of the present invention;

도 3은 아다부스트 알고리즘을 이용한 얼굴 영역 추출 과정을 설명하기 위한 예시도,3 is an exemplary diagram for explaining a process of extracting a face region using an Adaboost algorithm;

도 4는 본 발명의 일 실시예에 따른 얼굴의 상하 회전각을 검출하는 과정을 설명하기 위한 예시도,4 is an exemplary view for explaining a process of detecting the vertical rotation angle of the face according to an embodiment of the present invention,

도 5는 얼굴의 상하 회전 시의 수평 에지 영상의 이진화 영상의 변화를 예시나타낸 예시도,5 is an exemplary view illustrating a change of a binarized image of a horizontal edge image when the face is rotated up and down;

도 6은 얼굴의 상하 회전 시에 대한 히스토그램의 평균 및 표준편차와 정면 대비 평균 및 표준편차를 나타낸 예시도,6 is an exemplary view showing the mean and standard deviation of the histogram and the mean and standard deviation from the front when the face rotates up and down;

도 7은 본 발명의 일 실시예에 따른 얼굴의 상하 회전각 검출 방법을 설명하기 위한 순서도,7 is a flowchart illustrating a vertical rotation angle detection method of a face according to an embodiment of the present invention;

도 8은 본 발명의 일 실시예에 따른 얼굴의 좌우 회전각을 검출하는 과정을 설명하기 위한 예시도,8 is an exemplary view for explaining a process of detecting the left and right rotation angle of the face according to an embodiment of the present invention,

도 9는 본 발명의 일 실시예에 따라 얼굴의 좌우 경계선 및 중심선을 추출하기 위해 설정되는 관심 지역을 나타낸 예시도,9 is an exemplary view illustrating a region of interest set to extract left and right borders and a centerline of a face according to an embodiment of the present invention;

도 10은 본 발명의 일 실시예에 따라 제 3 관심 지역을 설정하는 모습을 나 타낸 예시도,10 is an exemplary view illustrating a state of setting a third ROI according to an embodiment of the present invention;

도 11은 본 발명의 일 실시예에 따라 회전 방향으로 바이어스된 제 3 관심 지역을 나타낸 예시도,11 is an exemplary view showing a third ROI biased in a rotational direction according to an embodiment of the present invention;

도 12는 본 발명의 일 실시예에 따라 소벨 필터링하여 얻어진 수직 에지 영상의 이진화 영상을 나타낸 예시도,12 is an exemplary diagram illustrating a binarization image of a vertical edge image obtained by Sobel filtering according to an embodiment of the present invention;

도 13은 본 발명의 일 실시예에 따른 원통 얼굴 모델을 나타낸 예시도,13 is an exemplary view showing a cylindrical face model according to an embodiment of the present invention;

도 14는 본 발명의 일 실시예에 따라 정면 회전각으로 정규화된 경우와 정규화되지 않은 경우의 히스토그램을 나타낸 예시도이다.14 is an exemplary view showing a histogram when normalized to the front rotation angle and when not normalized according to an embodiment of the present invention.

< 도면의 주요 부분에 대한 부호의 설명 >Description of the Related Art

100: 얼굴 회전각 검출 장치 110: 영상 검출기100: face rotation angle detection device 110: image detector

120: 전처리기 130: 회전각 검출기120: preprocessor 130: rotation angle detector

Claims

An image detector for detecting an image of a face and generating an input image;

A preprocessor configured to detect a face region from the input image and generate a face image; And

Set the face image as a reference region of interest, set an outer region of interest and a central region of interest based on the reference region of interest, binarize the outer region of interest to detect left and right boundary lines of the face, and determine the center region of interest. Rotation angle detector for detecting the center line of the face by binarization and detecting the left and right rotation angles with respect to the face based on the left and right boundary lines and the center line.

Rotation angle detection device comprising a.

delete

The method of claim 1, wherein the rotation angle detector,

And dividing the outer region of interest into a left region and a right region, and binarizing each region to detect the left and right boundary lines.

The method of claim 1,

The outer region of interest is set by extending the reference region of interest up, down, left, and right, and the center region of interest is set by reducing the reference region of interest by a predetermined ratio.

The method of claim 1, wherein the rotation angle detector,

Rotation angle detection device characterized in that the binarization using the P-Tile Threshold.

delete

Generating an input image by detecting an image of a face;

Generating a face image by detecting a face region from the input image;

Set the face image as a reference region of interest, set an outer region of interest and a central region of interest based on the reference region of interest, binarize the outer region of interest to detect left and right boundary lines of the face, and determine the center region of interest. Binarizing the centerline of the face; And

Detecting left and right rotation angles of the face based on the left and right boundary lines and the center line;

Rotation angle detection method comprising a.