KR101862661B1

KR101862661B1 - Gradient-based Eye Detection Method using Non-pupil Region Labeling

Info

Publication number: KR101862661B1
Application number: KR1020170013706A
Authority: KR
Inventors: 곽노윤; 이동규; 박성빈
Original assignee: 백석대학교산학협력단; (주)임픽스
Priority date: 2017-01-31
Filing date: 2017-01-31
Publication date: 2018-05-31

Abstract

Disclosed is an eye detection method for providing outstanding detection accuracy while consuming a relatively small amount of calculation. The eye detection method obtains a face region using Haar-like features and AdaBoost, determines left and right side eye detection regions using geometric features of a face, conducts histogram equalization on Gaussian-filtered inverse intensity images of the eye detection regions, obtains pupil candidate regions using a result of the histogram equalization, removes regions of an eyeglasses frame, eyebrows and hair of low brightness from the pupil candidate regions using a non-pupil region labeling technique since the regions may be included in the pupil candidate regions, accumulates a scalar product between a normalized displacement vector of only the pupil candidate regions, not all eye detection regions, and a gradient vector of edge pixels in the eye detection regions, and detects positions of maximum scalar product accumulation values as the centers of left and right eyes.

Description

[0001] Gradient-based Eye Detection Method using Non-pupil Region Labeling [

본 발명은 그레이디언트 기반 눈 검출 방법에 관한 것으로, 특히 비동공 영역 레이블링을 이용하여 기존의 그레이디언트 기반 눈 검출 방법보다 개선된 검출 정확도와 연산 속도를 제공하는 기술에 관련한다.The present invention relates to a gradient-based eye detection method, and more particularly to techniques for providing improved detection accuracy and computation speed over existing gradient-based eye detection methods using non-pupil region labeling.

최근 들어 스마트폰에 고성능 카메라가 장착되면서 얼굴인식 혹은 시선인식 응용 분야는 컴퓨터 비전 기술의 대표주자로 날로 부상하고 있다. 이를 제품에 접목시켜 상용화한 사례를 어렵지 않게 찾아볼 수 있다. In recent years, as smart phones have been equipped with high-performance cameras, facial recognition or vision recognition applications are emerging as a representative of computer vision technology. It is not difficult to find an example of commercialization of this product.

최근의 컴퓨터 비전 기술은 사람의 외형뿐만 아니라 얼굴, 홍채, 동공, 표정을 점점 더 정교하게 분석하고 이해하는 기술로 발전하고 있다. 얼굴인식 혹은 시선인식에서 정확한 눈 검출은 시스템의 성능을 좌우하는 매우 중요한 요소이다. 특히 눈의 위치를 통해 획득된 시선 정보를 활용하여 운전자 모니터링, 게임 인터페이스, HCI, UX/UI 등에도 응용될 수 있으므로 눈의 위치를 검출하는 것은 독립된 연구 주제로서 많은 알고리즘이 제안되어 왔다.Recent computer vision technology is evolving into a technique of analyzing and understanding more and more precisely human face, face, iris, pupil, facial expression. Accurate eye detection in face recognition or gaze recognition is a very important factor that determines the performance of the system. Especially, since it can be applied to driver monitoring, game interface, HCI, UX / UI, etc. using the eye information obtained through the eye position, many algorithms have been proposed as independent research subjects for detecting eye position.

Zhu 등은 다양한 조명 변화에서도 눈 검출이 가능하도록 Mean Shift와 SVM(Support Vector Machine)을 결합한 방법을 제안하였다. 또 다른 대표적인 눈 검출 방법으로는, Viola 등과 Rainer 등이 제안한, 얼굴 검출에 사용되는 Haar-like 특징과 AdaBoost 알고리즘을 사용하여 눈의 위치를 검출하는 방법이 있다. Zhu et al. Proposed a method of combining mean shift and SVM (Support Vector Machine) to enable eye detection in various illumination changes. As another representative eye detection method, there is a method of detecting the eye position using Haar-like feature used in face detection and AdaBoost algorithm proposed by Viola et al. And Rainer et al.

하지만, 이 방법들은 연산 복잡도가 과도하거나 혹은 검출률이 저조하기에 이에 대한 대안으로, Kim 등은 대비 연산자(contrast operator)를 이용한 휴대형 이동기기 용도의 Rapid Eye Detection 알고리즘을 제안하고 있다. 계산 속도가 빠른 장점이 있지만 동공의 크기가 일정 정도 확보돼야 하고 안경 착용 등에 취약한 단점이 있다. However, Kim et al. Proposed a Rapid Eye Detection algorithm for portable mobile devices using a contrast operator because these methods have an excessive computational complexity or a low detection rate. Although the calculation speed is advantageous, there is a disadvantage that the size of the pupil must be secured to a certain extent and it is vulnerable to wearing glasses.

한편, Rapid Eye Detection 알고리즘을 개량한 눈 검출 방법도 제안되어 있지만 안경 착용 시 성능 개선 폭이 매우 제한적이고 저해상도나 저조도에서 검출 성능이 현저히 저하되는 문제가 있다. On the other hand, although an eye detection method improved by the rapid eye detection algorithm has been proposed, there is a problem that the performance improvement is very limited when the spectacles are worn and the detection performance is significantly deteriorated at low resolution or low light.

반면에 F. Timm과 E. Barth에 의해 제안한 그레이디언트 기반 눈 검출 방법은 웹캠으로 촬영한 저해상도 영상에서도 안경 착용의 유무나 실내 혹은 야외에 상관없이 비교적 양호한 검출 성능을 제공하는 강점이 있다. On the other hand, the gradient-based eye detection method proposed by F. Timm and E. Barth has the advantage of providing relatively good detection performance regardless of wearing glasses or indoors or outdoors even in low-resolution images taken with a webcam.

이 방법은 눈의 동공이나 홍채는 원형 윤곽을 갖는다는 기하학적 특성을 활용한 것이다. 눈 탐색 영역 내 에지 화소들의 그레이디언트 벡터와 정규 변위 벡터 간의 내적을 누적한 후 최대 내적 누적값의 위치를 좌우 눈의 중심으로 검출한다. 하지만, 내적의 누적 연산 과정에서 많은 시간이 소요되는 문제점이 있다. This method utilizes the geometric property that the pupil or iris of the eye has a circular contour. The position of the maximum internal cumulative value is detected as the center of the right and left eyes after accumulating the inner product between the gradient vector and the normal displacement vector of the edge pixels in the eye search region. However, there is a problem that it takes a long time to accumulate the inner product.

이를 구체적으로 설명하면, F. Timm과 E. Barth이 제안한 그레이디언트 기반 눈 검출 방법은 그레이디언트 벡터 필드(gradient vector field)의 특성을 분석해 원형 객체의 중심을 검출할 수 있음에 착안한 것이다. Specifically, the gradient-based eye detection method proposed by F. Timm and E. Barth is based on the fact that the center of a circular object can be detected by analyzing the characteristics of a gradient vector field .

우선, Haar 유사 특징과 AdaBoost를 이용하여 얼굴 영역을 구하고 사람의 눈 위치가 있는 얼굴의 좌우 상단에 일정 크기 사각형을 각각 좌측과 우측의 눈 탐색 영역으로 지정해 해당 영역에서 좌우의 동공 중심을 검출한다. First, the facial region is obtained by using Haar similar features and AdaBoost, and the left and right pupil centers are detected in the corresponding region by designating a certain size rectangle as the left and right eye search regions on the left and right upper and lower sides of the face having the human eye position, respectively.

도 1은 어두운 원형 객체와 밝은 배경은 각각 홍채(iris)와 공막(sclera)을 비유한 것으로, 도 1의 좌측 사례에서 x _i 는 눈 탐색 영역 내에서 중심이 될 수 있는 화소들의 위치로서 동공 중심 후보점을 의미한다. 여기서 x _i 는 에지점의 위치, 변위 벡터(displacement vector), d _i 는 c와 x _i 사이의 거리 벡터, g _i 는 에지점 x _i 의 그레이디언트 벡터(gradient vector)이다. 1, a dark circle object and a light background correspond to an iris and a sclera, respectively. In the left-hand example of FIG. 1, x _i denotes a position of a pixel that can be centered in the eye search region, Means a candidate point. Where x _i is the position of the edge point, displacement vector, d _i is the distance vector between c and x _i , and g _i is the gradient vector of the edge point x _i .

좌측 예에서는 변위 벡터 d _i 와 그레이디언트 벡터 g _i 는 방향이 상이하다. 반면에 우측 예에서 두 벡터의 방향은 동일하다. 이는 우측 c가 원형 객체의 중심을 지나는 직선상에 위치함을 의미한다. 중심을 지나는 또 다른 직선이 우측 c의 위치에서 교차한다면 이 지점은 원형 객체의 중심임이 명백하다.In the left example, the displacement vector d _i and the radial vector g _i are different in direction. On the other hand, the directions of the two vectors in the right example are the same. This means that the right side c lies on a straight line passing through the center of the circular object. If another straight line passing through the center crosses at the position of the right c , it is obvious that this point is the center of the circular object.

먼저, 식 (1)과 같이 각 화소의 수직 및 수평 방향의 1차 미분을 통해 에지 맵을 구하고 모든 에지 x _i 에서의 그레이디언트 벡터 g _i 를 구한다. 식 (2)와 같이 거리 차이를 성분으로 하는 변위 벡터 d _i 를 눈 탐색 영역 내의 각 동공 중심 후보점 c와 각 에지점 x _i 를 이용하여 구한다. 변위 벡터는 동공 중심 후보점 c와 에지점 x _i 간의 거리에 영향을 받기 때문에 변위 벡터 d _i 의 크기를 식 (3)과 같이 정규화한다. 동공 중심 후보점 c와 에지점 x _i 간의 정규 변위 벡터(normalized displacement vector)

와 에지점 x _i 에서의 그레이디언트 벡터 g _i 를 이용한 내적값은 cosθ에만 의존하게 된다. θ=0°일 때 최대가 되기 때문에 그레이디언트 벡터 g _i 와 같은 방향에 있는 동공 중심 후보점 c에 큰 내적값이 누적·저장된다. First, to obtain an edge map from the first derivative of the vertical and horizontal directions of the pixel as shown in equation (1) calculates a gradient vector g _i x _i at every edge. As shown in equation (2), the displacement vector d _i , which is a component of the distance difference, is obtained by using each of the pupil center candidate points c and each edge point x _i in the eye search region. Since the displacement vector is affected by the distance between the pupil center candidate point c and the edge point x _i , the magnitude of the displacement vector d _i is normalized as in Eq. (3). A normalized displacement vector between the pupil center candidate point c and the edge point x _i ,

And the edge point Grady inner product value with the gradient vector g _i at x _i is dependent only cosθ. Since θ becomes the maximum when θ = 0 °, a large inner product value is accumulated and stored in the pupil center candidate point c in the same direction as the gradient vector g _i .

이상의 과정을 모든 에지점을 대상으로 취하여 식 (5)와 같이 가장 큰 최대 내적 누적값의 위치 c ^* 를 동공의 중심(눈의 중심)으로 검출한다.Taking all the edge points as above, the position c ^* of the largest maximum internal cumulative value is detected as the center of the pupil (center of the eye) as shown in equation (5).

하지만 안경 착용 시, 에지 영역은 주로 안경테 부분에 나타나게 되고 이에 따라 최대 내적 누적값은 동공의 중심이 아닌 안경테의 중심이 될 확률이 낮지 않다. 그래서 눈 탐색 영역에서 상대적으로 어두운 동공 영역의 가중치를 높이기 위해 역 밝기 가중치를 이용한다. 이 역 밝기 가중치는 식 (6)처럼 눈 탐색 영역

의 가우시안 필터링된 역 밝기 영상(inverse intensity image)으로 구한다. 앞서 구한 내적 누적값에 식 (6)의 역 밝기 가중치

를 곱해 내적 누적값을 갱신한 후, 식 (7)의 최대 내적 누적값의 위치 c ^* 를 동공의 중심(눈의 중심)으로 검출한다. 물론, 내적 누적값은 눈의 원형 윤곽만으로 검출되는 것이 이상적이다. 하지만 일상적인 환경에서는 안경테나 눈썹의 윤곽, 잡음 등의 영향에 노출될 수밖에 없다. 식 (6)의 역 밝기 가중치를 사용하면 어두운 동공 부분이 역 밝기 연산으로 인해 큰 가중치를 갖게 된다. However, when the glasses are worn, the edge area appears mainly on the frame part, so that the maximum internal cumulative value is not likely to be the center of the frame, not the center of the pupil. Thus, we use reverse brightness weights to increase the weight of the relatively dark pupil region in the eye search region. This inverse brightness weight is expressed by Equation (6)

Inverse intensity image of the Gaussian filter. The inverse brightness weight of Eq. (6)

And the position c ^* of the maximum internal cumulative value of equation (7) is detected as the center of the pupil (center of the eye). Of course, it is ideal that the intrinsic cumulative value is detected only in the circular contour of the eye. However, in everyday environment, it is exposed to the effects of eyeglass frames, eyebrow contours, and noise. Using the inverse brightness weights of Eq. (6), the dark pupil portion has a large weight due to the inverse brightness operation.

기존의 그레이디언트 기반 눈 검출 방법은 이상과 같은 내적 누적 연산 과정에서 상대적으로 과도한 연산 시간이 소요되는 단점이 있다. 다시 말해서, 눈 탐색 영역 내 각각의 화소 c는 모든 에지 화소들의 그레이디언트 벡터와 자신의 정규 변위 벡터 간의 내적을 누적해야 하는 부담이 있다.The existing gradient-based eye detection method has a disadvantage in that it requires a relatively long calculation time in the internal cumulative calculation process as described above. In other words, each pixel c in the eye search region has a burden of accumulating the inner product between the gradient vector of all the edge pixels and its normal displacement vector.

따라서, 본 발명의 목적은 개선된 검출 정확도와 연산 속도를 제공하는 그레이디언트 기반 눈 검출 방법을 제공하는 것이다.Accordingly, it is an object of the present invention to provide a gradient-based eye detection method that provides improved detection accuracy and computation speed.

상기의 목적은, 입력 영상에서 얼굴 영역을 검출하는 단계; 상기 검출된 얼굴 영역을 이용하여 좌측 및 우측 눈 탐색 영역을 지정하는 단계; 상기 지정된 각 눈 탐색 영역으로부터 동공 후보 영역을 검출하는 단계; 상기 검출된 동공 후보 영역 중에서 상기 각 눈 탐색 영역의 테두리와 연결되어 있는 영역을 비동공 영역으로 레이블링하는 단계; 상기 레이블링된 비동공 영역을 상기 검출된 동공 후보 영역으로부터 제거하는 단계; 수평 및 수직 미분 마스크를 이용해 에지 맵을 구하여 에지 여부를 판정하는 단계; 및 상기 레이블링된 비동공 영역이 제거된 동공 후보 영역에서 내적 누적 연산을 수행하는 단계를 포함하는 것을 특징으로 하는 그레이디언트 기반 눈 검출 방법에 의해 달성된다.The above object may be accomplished by a method of detecting a face region, comprising: detecting a face region in an input image; Designating left and right eye search regions using the detected face region; Detecting a pupil candidate region from each of the designated eye search regions; Labeling an area connected to a rim of each eye search area among the detected pupil candidate areas as a non-pupil area; Removing the labeled non-pupil region from the detected pupil candidate region; Determining an edge by obtaining an edge map using horizontal and vertical differential masks; And performing an intrinsic cumulative operation in the pupil candidate region from which the labeled non-pupil region has been removed.

바람직하게, 상기 동공 후보 영역은, 상기 각 눈 탐색 영역의 가우시안 필터링된 역 밝기 영상을 히스토그램 평활화 및 정규화한 값을 이용하여 검출할 수 있다.Preferably, the pupil candidate region may be detected using histogram smoothing and normalized values of the Gaussian filtered inverse brightness image of each eye search region.

바람직하게, 상기 에지 맵에서 각 화소의 에지값이 임계값보다 크거나 같으면 에지(edge)로 판정하고 그렇지 않으면 비에지(non-edge)로 판정할 수 있다.Preferably, if the edge value of each pixel in the edge map is greater than or equal to a threshold value, it is determined as an edge, otherwise, it can be determined as a non-edge.

바람직하게, 상기 내적 누적 연산을 수행하는 단계에서, 상기 레이블링된 비동공 영역을 제외한 동공 후보 영역에서만 정규 변위 벡터를 취해 상기 각 눈 탐색 영역 내 모든 그레이디언트 벡터와의 내적을 구한 후, 누적 연산을 수행하여 내적 누적값을 구하고, 각각의 상기 내적 누적값에 대응되는 역 밝기 가중치를 곱해 내적 누적값을 갱신한 후, 최대 내적 누적값의 위치를 좌우 눈의 중심으로 검출할 수 있다.Preferably, in performing the inner accumulative accumulation operation, the normal displacement vector is taken only in the pupil candidate region excluding the labeled non-pupil region to obtain the inner product with all the gradient vectors in the respective eye search regions, To obtain the inner cumulative value, multiply the inverse brightness weight corresponding to each inner cumulative value to update the inner cumulative value, and detect the position of the maximum inner cumulative value as the center of the left and right eyes.

바람직하게, 상기 얼굴 영역을 검출하는 단계는, 초기 얼굴 템플릿을 입력 영상의 좌상단 시작점에 중첩해 놓고 겹쳐진 부분과의 상호 상관도(cross correlation)를 구하는 단계; 상기 시작점에서부터 한 화소씩 옮겨가면서 상호 상관도가 가장 높은 위치를 얼굴 영역으로 검출하는 단계; 및 상호 상관도가 일정 값 이상이면 계속하여 템플릿 정합을 진행하고, 그렇지 않으면 얼굴 영역을 재검출하고 새로운 얼굴 템플릿으로 갱신해 템플릿 정합을 수행하는 단계로 이루어질 수 있다.Preferably, the step of detecting the face region includes: superposing an initial face template on a left upper end starting point of the input image and obtaining a cross correlation with the overlapping portion; Detecting a position having the highest cross-correlation degree as a face region while moving from the starting point by one pixel; And if the crosscorrelation is equal to or greater than a predetermined value, the template matching is continued. Otherwise, the face region is re-detected and a new face template is updated to perform template matching.

바람직하게, 상기 얼굴 영역이 검출되지 않으면 상호 상관도를 낮춰서 템플릿 정합을 진행하고, 상기 낮춘 상호 상관도에서도 얼굴 영역이 검출되지 않으면 영상에 얼굴 영역이 없다고 판별할 수 있다.Preferably, if the face region is not detected, template matching is performed by lowering the degree of cross correlation, and if the face region is not detected in the lowered cross-correlation degree, it can be determined that there is no face region in the image.

상기한 구성에 의하면, 재귀적 레이블링(recursive labeling)을 통해 동공 후보 영역 중에서 각 눈 탐색 영역의 테두리와 연결되어 있는 영역을 비동공 영역으로 레이블링하고, 레이블링된 비동공 영역을 동공 후보 영역에서 제거함으로써 동공 검출 시 연산 속도와 검출 정확도를 개선할 수 있다.According to the above-described configuration, the region connected to the rim of each eye search region in the pupil candidate region is reclassified as a non-pupil region through recursive labeling, and the labeled non-pupil region is removed from the pupil candidate region It is possible to improve the calculation speed and detection accuracy at the time of pupil detection.

도 1은 도 1은 어두운 원형 객체와 밝은 배경은 각각 홍채(iris)와 공막(sclera)을 비유한 예시도이다.
도 2는 본 발명에 따른 눈 검출 방법을 보여주는 플로차트이다.
도 3은 적응형 템플릿 정합에 기반한 얼굴 영역 검출을 나타내는데, 도 3(a)은 안경을 착용한 상태이고 도 3(b)은 안경을 착용하지 않은 상태이다.
도 4는 지정된 좌측 및 우측 눈 탐색 영역을 나타내는데, 도 4(a)는 안경을 착용한 상태이고, 도 4(b)는 안경을 착용하지 않은 상태를 나타낸다.
도 5는 정규화 영상을 대상으로 서로 다른 값으로 임계처리해 구한 이진 영상으로, 상부는 안경을 착용한 상태를 나타내고, 하부는 안경을 착용하지 않은 상태를 나타낸다.
도 6은 제안된 방법의 비동공 영역 레이블링을 적용한 사례를 예시한 것으로, 도 6(a)은 원본 영상을 나타내고, 도 6(b)과 6(c)은 각각 원본 영상을 입력받아 종래의 방법과 이 실시 예에 의한 방법을 적용해 검출한 동공 후보 영역을 나타낸다.
도 7(a)은 미분 마스크를 나타내고, 도 7(b)과 7(c)은 각각 수평 및 수직 에지 맵을 나타낸다.
도 8은 안경 착용 시(좌측)와 미착용 시(우측)를 구분한 내적 누적 영상을 나타내는데, 도 8(a) 내지 8(c)은 종래의 방법에 의한 경우를 나타내고, 8(d)은 본 발명에 의한 경우를 나타낸다.
도 9는 본 발명의 눈 검출 방법을 적용한 눈 검출 결과를 예시한 것이다. FIG. 1 shows an example in which a dark circular object and a bright background are compared with an iris and a sclera, respectively.
2 is a flowchart showing an eye detection method according to the present invention.
FIG. 3 shows face region detection based on adaptive template matching. FIG. 3 (a) shows a state wearing glasses, and FIG. 3 (b) shows a state where glasses are not worn.
Fig. 4 shows designated left and right eye search areas. Fig. 4 (a) shows a state wearing glasses, and Fig. 4 (b) shows a state where glasses are not worn.
FIG. 5 is a binary image obtained by thresholding the normalized image to different values. The upper part shows a state wearing glasses, and the lower part shows a state in which no glasses are worn.
6 (a) and 6 (b) illustrate a case where the non-pupil region labeling of the proposed method is applied. FIG. 6 (a) And the pupil candidate region detected by applying the method according to this embodiment.
Fig. 7 (a) shows a differential mask, and Figs. 7 (b) and 7 (c) show horizontal and vertical edge maps, respectively.
8 (a) to 8 (c) show the case of the conventional method, and Fig. 8 (d) shows the internal cumulative image obtained when the glasses are worn (left side) Fig.
FIG. 9 illustrates eye detection results using the eye detection method of the present invention.

본 발명에서 사용되는 기술적 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아님을 유의해야 한다. 또한, 본 발명에서 사용되는 기술적 용어는 본 발명에서 특별히 다른 의미로 정의되지 않는 한, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 의미로 해석되어야 하며, 과도하게 포괄적인 의미로 해석되거나 과도하게 축소된 의미로 해석되지 않아야 한다. 또한, 본 발명에서 사용되는 기술적인 용어가 본 발명의 사상을 정확하게 표현하지 못하는 잘못된 기술적 용어일 때에는, 당업자가 올바르게 이해할 수 있는 기술적 용어로 대체되어 이해되어야 할 것이다. 또한, 본 발명에서 사용되는 일반적인 용어는 사전에 정의되어 있는 바에 따라, 또는 전후 문맥상에 따라 해석되어야 하며, 과도하게 축소된 의미로 해석되지 않아야 한다.It is noted that the technical terms used in the present invention are used only to describe specific embodiments and are not intended to limit the present invention. In addition, the technical terms used in the present invention should be construed in a sense generally understood by a person having ordinary skill in the art to which the present invention belongs, unless otherwise defined in the present invention, Should not be construed as interpreted or interpreted in an excessively reduced sense. In addition, when a technical term used in the present invention is an erroneous technical term that does not accurately express the concept of the present invention, it should be understood that technical terms can be understood by those skilled in the art. In addition, the general terms used in the present invention should be interpreted according to a predefined or prior context, and should not be construed as being excessively reduced.

이하, 첨부한 도면을 참조하여 본 발명을 상세하게 설명한다.DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS The present invention will now be described in detail with reference to the accompanying drawings.

도 2는 본 발명에 따른 눈 검출 방법을 보여주는 플로차트이다.2 is a flowchart showing an eye detection method according to the present invention.

<얼굴 영역 검출><Face Area Detection>

이 실시 예에서, Haar-like 특징과 AdaBoost 알고리즘 그리고 적응형 템플릿 정합을 이용해 입력 영상에서 얼굴 영역을 검출한다(단계 S21). In this embodiment, the face region is detected in the input image using Haar-like feature, AdaBoost algorithm, and adaptive template matching (step S21).

도 3은 적응형 템플릿 정합에 기반한 얼굴 영역 검출을 나타내는데, 도 3(a)은 안경을 착용한 상태이고 도 3(b)은 안경을 착용하지 않은 상태이다. FIG. 3 shows face region detection based on adaptive template matching. FIG. 3 (a) shows a state wearing glasses, and FIG. 3 (b) shows a state where glasses are not worn.

얼굴 영역을 검출하기 위해 초기 얼굴 템플릿을 새로운 얼굴 템플릿으로 적응적으로 갱신하는 적응형 템플릿 정합을 수행한다. In order to detect the face region, adaptive template matching is performed to adaptively update the initial face template to a new face template.

우선, 얼굴 영역의 검출과 초기 얼굴 템플릿을 얻기 위해 Haar-like 특징과 AdaBoost 알고리즘을 사용한다. 이어서 초기 얼굴 템플릿을 입력 영상의 좌상단 시작점에 중첩해 놓고 겹쳐진 부분과의 상호 상관도(cross correlation)를 구한다. First, Haar-like feature and AdaBoost algorithm are used to detect face area and obtain initial face template. Next, the initial face template is superimposed on the left upper end starting point of the input image, and the cross correlation with the overlapped portion is obtained.

시작점에서부터 한 화소씩 옮겨가면서 상호 상관도가 가장 높은 위치를 얼굴 영역으로 검출한다. 이때 상호 상관도가 0.8 이상이면 계속하여 템플릿 정합을 진행하고, 그렇지 않으면 Haar-like 특징과 AdaBoost 알고리즘을 이용해 얼굴 영역을 재검출하고 새로운 얼굴 템플릿으로 갱신해 템플릿 정합을 수행한다. The location with the highest cross-correlation is detected as the face area while moving one pixel from the starting point. If the cross correlation is 0.8 or more, the template matching is continued. Otherwise, the face region is re-detected using the Haar-like feature and AdaBoost algorithm, and the template is updated by renewing the new face template.

이 단계에서도 얼굴이 검출되지 않으면 상호 상관도의 기준값을 0.6으로 더 낮춰서 템플릿 정합을 진행한다. 낮춘 상호 상관도에서도 얼굴이 검출되지 않으면 영상에 얼굴이 없다고 판별한다. If the face is not detected at this stage, the reference value of the cross correlation is further lowered to 0.6, and template matching proceeds. If the face is not detected in the reduced cross correlation, it is determined that there is no face in the image.

템플릿 정합으로만 얼굴 추적을 진행하게 되면 유사한 부분이 점점 바뀌어 얼굴 영역이 정확히 검출되지 않을 수 있다. 따라서 상호 상관도가 기준값 이상이더라도 100프레임 주기로 Haar-like 특징과 AdaBoost 알고리즘을 통해 얼굴 영역을 재검출하고 얼굴 템플릿을 갱신하는 과정을 반복한다. If the face tracking is performed only by template matching, similar portions may be changed and the face region may not be correctly detected. Therefore, even if the cross-correlation is more than the reference value, the facial region is re-detected through Haar-like feature and AdaBoost algorithm at 100 frame period and the process of updating the face template is repeated.

<눈 탐색 영역 지정><Specifying the eye search area>

도 4는 지정된 좌측 및 우측 눈 탐색 영역을 나타내는데, 도 4(a)는 안경을 착용한 상태이고, 도 4(b)는 안경을 착용하지 않은 상태를 나타낸다.Fig. 4 shows designated left and right eye search areas. Fig. 4 (a) shows a state wearing glasses, and Fig. 4 (b) shows a state where glasses are not worn.

입력 영상에서 얼굴 영역을 검출한 후, 이를 이용해 도 4와 같이 좌측 및 우측 눈 탐색 영역을 기하학적인 상대적 위치 지정 방식으로 설정한다(단계 S22). After detecting the face region in the input image, the left and right eye search regions are set to a geometric relative position specifying method as shown in FIG. 4 (Step S22).

얼굴 영역의 크기에 비례적으로 가변되도록 각 눈 탐색 영역을 지정함으로써, 카메라와 얼굴 간의 거리에 무관하게 안정적으로 눈 탐색 영역 내에 눈 영역을 포함시킬 수 있다.It is possible to stably include the eye region in the eye search region irrespective of the distance between the camera and the face by designating each eye search region so as to vary proportionally to the size of the face region.

<동공 후보 영역 검출><Pupil Candidate Region Detection>

각 눈 탐색 영역의 가우시안 필터링된 역 밝기 영상을 히스토그램 평활화 및 정규화한 값을 이용해 동공 후보 영역을 검출한다(단계 S23).The pupil candidate region is detected using histogram smoothing and normalized values of the Gaussian filtered inverse brightness image of each eye search region (step S23).

이 실시 예에 의하면, 검출된 동공 후보 영역에 비동공 영역 레이블링 기법을 적용하여 눈 탐색 영역의 내적 계산에서 제외되는 화소수를 늘림으로써 그 증가 비율만큼 연산 속도를 개선하고 우수한 검출 정확도를 가질 수 있다. According to this embodiment, by applying the non-pupil region labeling technique to the detected pupil candidate region, the number of pixels excluded from the inner product calculation of the eye search region is increased, so that the calculation rate can be improved by the increase rate and excellent detection accuracy can be obtained .

상기의 식 (6)과 같이 눈 탐색 영역

의 영상

을 구한 후, 가우시안 필터링

을 취한다.

를 식 (8)과 같이 히스토그램 평활화를 취한 후, 식 (9)와 같이

의 최대값을 이용해 정규화 영상

을 구한다.As shown in Equation (6) above,

Image of

, And then Gaussian filtering

Lt; / RTI >

(8), the histogram smoothing is performed as shown in equation (9)

The normalized image

.

이후 실험적으로 구한 소정의 임계값을 이용해 동공의 중심을 포함하는 동공 후보 영역과 그 이외의 영역인 비동공 영역으로 구분한다. Thereafter, the pupil candidate region including the center of the pupil and the non-pupil region other than the pupil region are separated by using a predetermined threshold value obtained experimentally.

도 5는 정규화 영상

를 대상으로 서로 다른 값으로 임계처리해 구한 이진 영상으로, 상부는 안경을 착용한 상태를 나타내고, 하부는 안경을 착용하지 않은 상태를 나타낸다.FIG.

The upper part shows a state wearing glasses, and the lower part shows a state in which no glasses are worn.

여기서, 밝은 곳은 동공의 중심을 포함하는 동공 후보 영역이고 어두운 곳은 비동공 영역이다. 임계값이 작을수록 비동공 영역의 면적이 점진적으로 증가한다. 그림 5(a)는 0.9의 임계값을 이용해 이진화한 영상을 나타낸 것이다. Here, a bright spot is a pupil candidate region including the center of the pupil, and a dark spot is a non-pupil region. The smaller the threshold value, the more gradually the area of the non-pupil region increases. Figure 5 (a) shows an image binarized using a threshold of 0.9.

<비동공 영역 레이블링><Non-pupil area labeling>

동공 후보 영역 중에서 각 눈 탐색 영역의 테두리와 연결되어 있는 영역을 비동공 영역으로 레이블링한다(단계 S24).An area connected to the rim of each eye search area in the pupil candidate area is labeled as a non-pupil area (step S24).

그림 5의 안경 착용 영상을 참고할 때, 낮은 명도의 안경테 부분이 동공 후보 영역에 포함되는 것을 관찰할 수 있다. 이 경우 안경테가 동공으로 잘못 검출될 수 있으므로 비동공 영역 레이블링을 통해 동공 후보 영역에서 제거할 필요가 있다. When we refer to the spectacle wear image of Fig. 5, we can observe that the low-light spectacle frame part is included in the pupil candidate area. In this case, since the spectacle frame may be erroneously detected as a pupil, it is necessary to remove it from the pupil candidate region through non-pupil region labeling.

다시 말해, 안경테나 눈썹, 머리카락 등의 영역은 눈 탐색 영역의 상하좌우 테두리에 접하는 경우가 많은 반면에 동공 부위는 테두리와 접하지 않은 상태에서 눈 탐색 영역의 내측에 위치하는 경우가 대부분이다. 이를 감안해 이 실시 예에서는 재귀적 레이블링(recursive labeling)을 통해 동공 후보 영역 중에서 눈 탐색 영역의 테두리와 연결되어 있는 영역을 비동공 영역으로 레이블링한다. In other words, the regions such as eyeglasses, eyebrows, and hair are often tangent to the upper, lower, left, and right edges of the eye search region, whereas the pupil region is located inside the eye search region without touching the border. In this embodiment, in this embodiment, the region connected to the rim of the eye search region among the pupil candidate regions is labeled as a non-pupil region through recursive labeling.

각 눈 탐색 영역의 상하좌우 테두리와 연결관계를 갖는 영역만을 씨앗(seed) 삼아 선택적으로 레이블링을 수행하기 때문에 고속 처리가 가능하다. 이렇게 레이블링된 비동공 영역을 동공 후보 영역에서 제거함으로써 동공 검출 시 연산 속도와 검출 정확도를 개선할 수 있다.Since only the regions having connection relation with the upper, lower, left and right edges of each eye search region are seeded, selective labeling is performed, so that high-speed processing is possible. By removing the labeled non-pupil region from the pupil candidate region, it is possible to improve the calculation speed and detection accuracy at the time of pupil detection.

도 6은 제안된 방법의 비동공 영역 레이블링을 적용한 사례를 예시한 것으로, 도 6(a)은 원본 영상을 나타내고, 도 6(b)과 6(c)은 각각 원본 영상을 입력받아 종래의 방법과 이 실시 예에 의한 방법을 적용해 검출한 동공 후보 영역을 나타낸다.6 (a) and 6 (b) illustrate a case where the non-pupil region labeling of the proposed method is applied. FIG. 6 (a) And the pupil candidate region detected by applying the method according to this embodiment.

종래의 방법을 사용해 산출한 동공 후보 영역을 보면 도 6(b)과 같이 안경테가 동공 후보 영역에 포함됨을 확인할 수 있다. 반면, 이 실시 예에 의하면, 도 6(c)와 같이, 동공 이외의 영역이 제거되고 동공 위주로만 남는 것을 알 수 있다. It can be confirmed that the eyeglass frame is included in the pupil candidate region as shown in Fig. 6 (b) by looking at the pupil candidate region calculated using the conventional method. On the other hand, according to this embodiment, as shown in Fig. 6 (c), it can be seen that the region other than the pupil is removed and only the pupil remains.

<에지 맵 산출>&Lt; Edge map calculation >

수평 및 수직 미분 마스크를 이용해 에지 맵

을 구하여 에지 여부를 판정한다(단계 S25).Edge maps using horizontal and vertical differential masks

(Step S25).

도 7(a)은 미분 마스크를 나타내고, 도 7(b)과 7(c)은 각각 수평 및 수직 에지 맵을 나타낸다.Fig. 7 (a) shows a differential mask, and Figs. 7 (b) and 7 (c) show horizontal and vertical edge maps, respectively.

도 7(a)의 수평 및 수직 마스크를 이용하여 에지 맵

을 구한 다음, 식 (11)과 같이 에지 맵에서 각 화소의 에지값

이 임계값

보다 크거나 같으면 에지(edge)로 판정하고 그렇지 않으면 비에지(non-edge)로 판정한다. The horizontal and vertical masks of Figure 7 (a)

(11), the edge value of each pixel in the edge map

This threshold

If it is greater than or equal to the edge, it is determined to be an edge, otherwise, it is determined to be non-edge.

해상도나 조명 조건의 변화로 인한 오차를 줄이기 위해 임계값

은 각각 식 (10)과 같이 에지 맵의 평균

과 표준편차

를 이용해 동적으로 정한다. To reduce errors due to changes in resolution or lighting conditions,

(10), the average of the edge maps

And standard deviation

. &Lt; / RTI >

<내적 누적 연산><Internal Cumulative Operation>

이 실시 예에서, 동공 후보 영역에서만 내적 누적 연산을 수행한다(단계 S26).In this embodiment, an intrinsic cumulative operation is performed only in the pupil candidate region (step S26).

통상의 그레이디언트 기반 눈 검출 방법은 원칙적으로 각 눈 탐색 영역 내 정규 변위 벡터와 모든 그레이디언트 벡터 간의 내적을 누적한 후, 역 밝기 가중치를 곱해 내적 누적값을 갱신한 다음에 최대 내적 누적값의 위치를 좌우 눈의 중심으로 검출한다. In general, the gradient-based eye detection method is a method in which the inner product between the normal displacement vector and all the gradient vectors in each eye search area is accumulated, and then the inner cumulative value is updated by multiplying the reverse brightness weight, Is detected as the center of the left and right eyes.

그러나, 눈 탐색 영역의 전역에서 정규 변위 벡터들을 취할 경우엔 내적 누적 연산 과정에서 많은 시간이 소요될 뿐만 아니라 검출 정확도도 저하되는 문제점이 있다. However, when the normal displacement vectors are taken in the entire region of the eye search region, not only a long time is required in the internal accumulation calculation process, but also the detection accuracy is deteriorated.

이 실시 예에서, 눈 탐색 영역의 가우시안 필터링된 역 밝기 영상을 히스토그램 평활화하여 정규화한 후 임계처리를 통해 동공 후보 영역과 비동공 영역을 구분한다. In this embodiment, the Gaussian filtered inverted brightness image of the eye search region is normalized by histogram smoothing, and then the pupil candidate region and the non-pupil region are distinguished through the thresholding process.

하지만, 낮은 명도의 안경테나 눈썹, 머리카락과 같은 영역이 후보 영역에 포함될 수 있으므로 비동공 영역 레이블링 기법을 이용해 동공 후보 영역에서 제거한 후, 전체 눈 탐색 영역이 아닌 동공 후보 영역에서만 내적 누적 연산을 수행한다. 다시 말해서, 레이블링된 비동공 영역을 제외한 동공 후보 영역에서만 정규 변위 벡터를 취해 눈 탐색 영역 내 모든 그레이디언트 벡터들과의 내적을 구한 후, 누적 연산을 수행하여 내적 누적값을 구한다. However, since regions such as eyeglasses, eyebrows, and hair of low brightness may be included in the candidate regions, they are removed from the pupil candidate region using the non-pupil region labeling technique, and then intrinsic cumulative calculation is performed only in the pupil candidate regions . In other words, the normal displacement vector is taken only in the pupil candidate region excluding the labeled non-pupil region to obtain the inner product with all the gradient vectors in the eye search region, and then the cumulative calculation is performed to obtain the inner cumulative value.

각각의 내적 누적값에 대응되는 역 밝기 가중치를 곱해 내적 누적값을 갱신한 후, 최대 내적 누적값의 위치를 좌우 눈의 중심으로 검출한다. The inward cumulative value is updated by multiplying the inverse brightness weight corresponding to each internal cumulative value, and the position of the maximum internal cumulative value is detected as the center of the left and right eyes.

<눈 검출 방법의 시뮬레이션><Simulation of eye detection method>

본 발명에 따른 눈 검출 방법의 성능 평가를 위해 Intel Core i7, 8GB RAM 환경에서 MS Visual Studio 2013, OpenCV 2.4.9를 이용해 웹캠을 통해 촬영한 4,837장의 시험 영상을 대상으로 시뮬레이션을 수행하였다. In order to evaluate the performance of the eye detection method according to the present invention, simulation was performed on 4,837 test images taken with a webcam using Intel Core i7 and 8GB RAM environment using MS Visual Studio 2013 and OpenCV 2.4.9.

시험 영상은 안경을 착용하거나 혹은 미착용한 참여자로부터 각각 2,080장 및 2,757장을 촬영한 것으로, 약 25∼45㎝ 거리에서 실내조명 하의 정상 조도(약 400 lux)에서 총 4,837장을 촬영한 얼굴 영상을 사용했다. The test images consisted of 2,080 and 2,757 photographs taken with or without eyeglasses. The images were taken at a distance of about 25 ~ 45 ㎝ from the normal illuminance (about 400 lux) Used.

도 8은 안경 착용 시(좌측)와 미착용 시(우측)를 구분한 내적 누적 영상을 나타내는데, 도 8(a) 내지 8(c)은 종래의 방법에 의한 경우를 나타내고, 8(d)은 본 발명에 의한 경우를 나타낸다. 8 (a) to 8 (c) show the case of the conventional method, and Fig. 8 (d) shows the internal cumulative image obtained when the glasses are worn (left side) Fig.

도 8(a)의 종래의 방법은 전체 영상을 대상으로 내적 누적 연산을 수행하므로 눈 탐색 영역의 전역에 걸쳐 누적 내적값이 분포하는 것을 확인할 수 있고, 도 8(b)과 8(c)의 개선된 종래의 방법의 내적 누적 영상을 보면, 이중 에지맵을 사용하기 때문에 에지 영역에서는 내적값을 누적하지 않지만, 비동공 영역임에도 불구하고 검은 안경테에는 평탄 영역이기에 여전히 누적 내적값이 분포함을 알 수 있다. The conventional method of FIG. 8A confirms that cumulative inner values are distributed over the entire region of the eye search region by carrying out the intrinsic cumulative calculation with respect to the whole image. In the method of FIGS. 8 (b) and 8 In the internal cumulative image of the improved conventional method, since the double edge map is used, the edge value does not accumulate the intrinsic value. However, since the black frame is a flat area despite the non-pupil area, .

반면, 도 8(d)에 의하면, 안경테나 눈썹, 머리카락과 같은 비동공 영역이 대부분 제거된 상태에서 동공을 중심으로 한 영역에서 내적 누적 연산이 수행됨을 알 수 있다. 이와 같이 비동공 영역 레이블링을 도입함으로써 기존의 방법들에 비해 개선된 검출 정확도와 연산 속도를 제공할 수 있다.On the other hand, according to FIG. 8 (d), it can be seen that the intrinsic cumulative calculation is performed in a region centered on the pupil in a state where most non-pupil regions such as eyeglass frames, eyebrows and hair are removed. By introducing such non-pervious area labeling, improved detection accuracy and computation speed can be provided compared to the conventional methods.

도 9는 본 발명의 눈 검출 방법을 적용한 눈 검출 결과를 예시한 것이다. FIG. 9 illustrates eye detection results using the eye detection method of the present invention.

안경 착용 시와 미착용 시를 구분하지 않고 비교적 정확하게 좌우측의 동공을 검출하고 있음을 알 수 있다. It can be seen that pupils on the left and right sides are detected relatively accurately without distinguishing between when wearing glasses and when not wearing glasses.

대부분의 눈 검출 방법에서 안경 착용은 눈 검출 정확도를 저하시키는 주요한 원인이다. 본 발명의 눈 검출 방법은 비동공 영역 레이블링 과정에서 눈 탐색 영역의 테두리에 접한 안경테가 자연스레 제거되는 장점이 있으며, 그 결과 눈 검출 정확도와 연산 속도를 동시에 제고시킨다.The wearing of spectacles in most eye detection methods is a major cause of poor eye detection accuracy. The eye detection method of the present invention is advantageous in that the eyeglass frame adjacent to the edge of the eye search region is naturally removed in the process of labeling the non-pupil region, and as a result, the eye detection accuracy and the calculation speed are simultaneously enhanced.

<표 1>은 본 발명과 종래의 방법의 눈 검출 성능을 비교한 것이다. Table 1 compares the eye detection performance of the present invention and the conventional method.

프레임당 평균 처리 시간은 안경 착용 또는 미착용 시험 영상들의 처리 속도 평균을 구한 것이다. 종래의 방법 1로는 초당 처리 프레임 수(fps)가 안경 착용 시 11.4장, 안경 미착용 시 13.8장, 개선된 종래의 방법 2는 안경 착용 시 12.8장, 안경 미착용 시 17.5장, 개선된 종래의 방법 3은 안경 착용 시 17.2장, 안경 미착용 시 23.8장 정도 처리할 수 있다. The average processing time per frame is obtained by averaging the processing speed of test images for wearing or not wearing glasses. In the conventional method 1, the number of frames per second (fps) was 11.4 sheets when wearing glasses, 13.8 sheets when not wearing glasses, 12.8 sheets when wearing glasses, 17.5 sheets when wearing glasses, Can handle about 17.2 sheets when wearing glasses and 23.8 sheets when not wearing glasses.

반면, 본 발명의 방법으로는 초당 처리 프레임 수가 안경 착용 시 21.3장, 안경 미착용 시 29.4장까지 처리할 수 있다. On the other hand, in the method of the present invention, the number of frames per second can be processed up to 21.3 sheets when wearing glasses and 29.4 sheets when not wearing glasses.

방 법
구 분 Way
division 종래의 방법 1Conventional Method 1 종래의 방법 2Conventional Method 2 종래의 방법 3Conventional Method 3 본 발명의 방법The method of the present invention 안경 착용
(2,080장)Wear glasses
(2,080 sheets) 검출률(%)Detection rate (%) 96.9296.92 97.4097.40 97.0197.01 99.4799.47 프레임 당 처리시간(msec)Processing time per frame (msec) 9696 7878 5858 4747 안경 미착용
(2,757장)Not wearing glasses
(2,757) 검출률(%)Detection rate (%) 99.2099.20 98.7498.74 99.7099.70 99.9299.92 프레임 당 처리시간(msec)Processing time per frame (msec) 7272 5757 4242 3434

또한, 본 발명의 방법은 종래의 방법 1 내지 3에 비해 비슷하거나 다소 우수한 정확도를 제공하면서, 안경 착용 시엔 각각 약 51%, 39.7% 및 19% 정도의 연산 성능이 개선되고, 안경 미착용 시엔 각각 약 52.8%, 40.4%, 및 19% 정도의의 연산 성능이 개선되는 장점이 있다. In addition, the method of the present invention improves the calculation performance of about 51%, 39.7%, and 19%, respectively, when the glasses are worn, while providing a similar or somewhat better accuracy as compared with the conventional methods 1 to 3, 52.8%, 40.4%, and 19%, respectively.

이상에서는 본 발명의 실시 예를 중심으로 설명하였지만, 당업자의 수준에서 다양한 변경을 가할 수 있음은 물론이다. 따라서, 본 발명의 권리범위는 상기한 실시 예에 한정되어 해석될 수 없으며, 이하에 기재되는 특허청구범위에 의해 해석되어야 한다.While the present invention has been particularly shown and described with reference to exemplary embodiments thereof, it is to be understood that the invention is not limited to the disclosed exemplary embodiments. Accordingly, the scope of the present invention should not be construed as being limited to the embodiments described above, but should be construed in accordance with the following claims.

삭제delete

Claims

Detecting a face region in an input image;
Designating left and right eye search regions using the detected face region;
Detecting a pupil candidate region from each of the designated eye search regions;
Labeling an area connected to a rim of each eye search area among the detected pupil candidate areas as a non-pupil area;
Removing the labeled non-pupil region from the detected pupil candidate region;
Determining an edge by obtaining an edge map using horizontal and vertical differential masks; And
Performing an intrinsic cumulative operation in the pupil candidate region from which the labeled non-pupil region has been removed,
In performing the intrinsic cumulative operation,
A normalized displacement vector is obtained only in the pupil candidate region excluding the labeled non-pupil region, an inner product with all the gradient vectors in each eye search region is obtained, and cumulative calculation is performed to obtain an inner cumulative value,
Wherein the position of the maximum internal cumulative value is detected as the center of the right and left eyes after the internal cumulative value is updated by multiplying each of the internal cumulative values by the inverse brightness weight.

Detecting a face region in an input image;
Designating left and right eye search regions using the detected face region;
Detecting a pupil candidate region from each of the designated eye search regions;
Labeling an area connected to a rim of each eye search area among the detected pupil candidate areas as a non-pupil area;
Removing the labeled non-pupil region from the detected pupil candidate region;
Determining an edge by obtaining an edge map using horizontal and vertical differential masks; And
Performing an intrinsic cumulative operation in the pupil candidate region from which the labeled non-pupil region has been removed,
The step of detecting the face region comprises:
Superimposing the initial face template on the left upper end starting point of the input image and obtaining a cross correlation with the overlapping portion;
Detecting a position having the highest cross-correlation degree as a face region while moving from the starting point by one pixel; And
And if the cross correlation is not less than a predetermined value, proceeding to template matching, and if not, redetecting the face region and updating the face region with a new face template to perform template matching.

In claim 2,
Wherein if the face region is not detected, template matching is performed by lowering the degree of cross correlation, and if no face region is detected in the lowered cross-correlation degree, it is determined that there is no face region in the image.

[Claim 2]
Wherein the pupil candidate region is detected using histogram smoothing and normalized values of the Gaussian filtered inverse brightness image of each eye search region.

[Claim 2]
Edge is determined to be an edge if the edge value of each pixel in the edge map is greater than or equal to a threshold value, and otherwise to be non-edge.

delete