KR101882181B1

KR101882181B1 - Gradient-based Eye Detection Method using Pupil Region Labeling in the Direction of Concentric Circles

Info

Publication number: KR101882181B1
Application number: KR1020170013708A
Authority: KR
Inventors: 곽노윤; 이동규; 박성빈; 정진호
Original assignee: 백석대학교산학협력단; (주)임픽스
Priority date: 2017-01-31
Filing date: 2017-01-31
Publication date: 2018-07-27

Abstract

Disclosed is an eye detection method which provides superior detection accuracy while requiring a relatively low amount of computation. Haar-like feature and AdaBoost are used to find the face region, then the left and right eye search regions are designated using the geometric features of the face and a histogram smoothing is performed on a Gaussian filtered inverse intensity image of the eye search region, and the pupil candidate region is obtained using the histogram smoothing. Then, since regions such as eyeglass frames, eyebrows, and hair with low brightness may be included in a candidate region, through a pupil region labeling in the concentric circular direction, the internal product between a regular displacement vector only in the labeled pupil region rather than overall eye search regions and a gradient vector of the edge pixels in the eye search region is accumulated, and thereafter, the position of a maximum internal product accumulated value is detected on the center of the left and right eyes.

Description

[0001] Gradient-based Eye Detection Method using Pupil Region Labeling in the Direction of Concentric Circles [

본 발명은 그레이디언트 기반 눈 검출 방법에 관한 것으로, 특히 동심원 방향의 동공 영역 레이블링을 이용하여 기존의 그레이디언트 기반 눈 검출 방법보다 개선된 검출 정확도와 연산 속도를 제공하는 기술에 관련한다.The present invention relates to a gradient-based eye detection method, and more particularly to a technique for providing improved detection accuracy and operation speed over existing gradient-based eye detection methods using pupil area labeling in a concentric circular direction.

최근 들어 스마트폰에 고성능 카메라가 장착되면서 얼굴인식 혹은 시선인식 응용 분야는 컴퓨터 비전 기술의 대표주자로 날로 부상하고 있다. 이를 제품에 접목시켜 상용화한 사례를 어렵지 않게 찾아볼 수 있다. In recent years, as smart phones have been equipped with high-performance cameras, facial recognition or vision recognition applications are emerging as a representative of computer vision technology. It is not difficult to find an example of commercialization of this product.

최근의 컴퓨터 비전 기술은 사람의 외형뿐만 아니라 얼굴, 홍채, 동공, 표정을 점점 더 정교하게 분석하고 이해하는 기술로 발전하고 있다. 얼굴인식 혹은 시선인식에서 정확한 눈 검출은 시스템의 성능을 좌우하는 매우 중요한 요소이다. 특히 눈의 위치를 통해 획득된 시선 정보를 활용하여 운전자 모니터링, 게임 인터페이스, HCI, UX/UI 등에도 응용될 수 있으므로 눈의 위치를 검출하는 것은 독립된 연구 주제로서 많은 알고리즘이 제안되어 왔다.Recent computer vision technology is evolving into a technique of analyzing and understanding more and more precisely human face, face, iris, pupil, facial expression. Accurate eye detection in face recognition or gaze recognition is a very important factor that determines the performance of the system. Especially, since it can be applied to driver monitoring, game interface, HCI, UX / UI, etc. using the eye information obtained through the eye position, many algorithms have been proposed as independent research subjects for detecting eye position.

Zhu 등은 다양한 조명 변화에서도 눈 검출이 가능하도록 Mean Shift와 SVM(Support Vector Machine)을 결합한 방법을 제안하였다. 또 다른 대표적인 눈 검출 방법으로는, Viola 등과 Rainer 등이 제안한, 얼굴 검출에 사용되는 Haar-like 특징과 AdaBoost 알고리즘을 사용하여 눈의 위치를 검출하는 방법이 있다. Zhu et al. Proposed a method of combining mean shift and SVM (Support Vector Machine) to enable eye detection in various illumination changes. As another representative eye detection method, there is a method of detecting the eye position using Haar-like feature used in face detection and AdaBoost algorithm proposed by Viola et al. And Rainer et al.

하지만, 이 방법들은 연산 복잡도가 과도하거나 혹은 검출률이 저조하기에 이에 대한 대안으로, Kim 등은 대비 연산자(contrast operator)를 이용한 휴대형 이동기기 용도의 Rapid Eye Detection 알고리즘을 제안하고 있다. 계산 속도가 빠른 장점이 있지만 동공의 크기가 일정 정도 확보돼야 하고 안경 착용 등에 취약한 단점이 있다. However, Kim et al. Proposed a Rapid Eye Detection algorithm for portable mobile devices using a contrast operator because these methods have an excessive computational complexity or a low detection rate. Although the calculation speed is advantageous, there is a disadvantage that the size of the pupil must be secured to a certain extent and it is vulnerable to wearing glasses.

한편, Rapid Eye Detection 알고리즘을 개량한 눈 검출 방법도 제안되어 있지만 안경 착용 시 성능 개선 폭이 매우 제한적이고 저해상도나 저조도에서 검출 성능이 현저히 저하되는 문제가 있다. On the other hand, although an eye detection method improved by the rapid eye detection algorithm has been proposed, there is a problem that the performance improvement is very limited when the spectacles are worn and the detection performance is significantly deteriorated at low resolution or low light.

반면에 F. Timm과 E. Barth에 의해 제안한 그레이디언트 기반 눈 검출 방법은 웹캠으로 촬영한 저해상도 영상에서도 안경 착용의 유무나 실내 혹은 야외에 상관없이 비교적 양호한 검출 성능을 제공하는 강점이 있다. On the other hand, the gradient-based eye detection method proposed by F. Timm and E. Barth has the advantage of providing relatively good detection performance regardless of wearing glasses or indoors or outdoors even in low-resolution images taken with a webcam.

이 방법은 눈의 동공이나 홍채는 원형 윤곽을 갖는다는 기하학적 특성을 활용한 것이다. 눈 탐색 영역 내 에지 화소들의 그레이디언트 벡터와 정규 변위 벡터 간의 내적을 누적한 후 최대 내적 누적값의 위치를 좌우 눈의 중심으로 검출한다. 하지만, 내적의 누적 연산 과정에서 많은 시간이 소요되는 문제점이 있다. This method utilizes the geometric property that the pupil or iris of the eye has a circular contour. The position of the maximum internal cumulative value is detected as the center of the right and left eyes after accumulating the inner product between the gradient vector and the normal displacement vector of the edge pixels in the eye search region. However, there is a problem that it takes a long time to accumulate the inner product.

이를 구체적으로 설명하면, F. Timm과 E. Barth이 제안한 그레이디언트 기반 눈 검출 방법은 그레이디언트 벡터 필드(gradient vector field)의 특성을 분석해 원형 객체의 중심을 검출할 수 있음에 착안한 것이다. Specifically, the gradient-based eye detection method proposed by F. Timm and E. Barth is based on the fact that the center of a circular object can be detected by analyzing the characteristics of a gradient vector field .

우선, Haar 유사 특징과 AdaBoost를 이용하여 얼굴 영역을 구하고 사람의 눈 위치가 있는 얼굴의 좌우 상단에 일정 크기 사각형을 각각 좌측과 우측의 눈 탐색 영역으로 지정해 해당 영역에서 좌우의 동공 중심을 검출한다. First, the facial region is obtained by using Haar similar features and AdaBoost, and the left and right pupil centers are detected in the corresponding region by designating a certain size rectangle as the left and right eye search regions on the left and right upper and lower sides of the face having the human eye position, respectively.

도 1은 어두운 원형 객체와 밝은 배경은 각각 홍채(iris)와 공막(sclera)을 비유한 것으로, 도 1의 좌측 사례에서 x _i 는 눈 탐색 영역 내에서 중심이 될 수 있는 화소들의 위치로서 동공 중심 후보점을 의미한다. 여기서 x _i 는 에지점의 위치, 변위 벡터(displacement vector), d _i 는 c와 x _i 사이의 거리 벡터, g _i 는 에지점 x _i 의 그레이디언트 벡터(gradient vector)이다. 1, a dark circle object and a light background correspond to an iris and a sclera, respectively. In the left-hand example of FIG. 1, x _i denotes a position of a pixel that can be centered in the eye search region, Means a candidate point. Where x _i is the position of the edge point, displacement vector, d _i is the distance vector between c and x _i , and g _i is the gradient vector of the edge point x _i .

좌측 예에서는 변위 벡터 d _i 와 그레이디언트 벡터 g _i 는 방향이 상이하다. 반면에 우측 예에서 두 벡터의 방향은 동일하다. 이는 우측 c가 원형 객체의 중심을 지나는 직선상에 위치함을 의미한다. 중심을 지나는 또 다른 직선이 우측 c의 위치에서 교차한다면 이 지점은 원형 객체의 중심임이 명백하다.In the left example, the displacement vector d _i and the radial vector g _i are different in direction. On the other hand, the directions of the two vectors in the right example are the same. This means that the right side c lies on a straight line passing through the center of the circular object. If another straight line passing through the center crosses at the position of the right c , it is obvious that this point is the center of the circular object.

먼저, 식(1)과 같이 각 화소의 수직 및 수평 방향의 1차 미분을 통해 에지 맵을 구하고 모든 에지 x _i 에서의 그레이디언트 벡터 g _i 를 구한다. 식(2)와 같이 거리 차이를 성분으로 하는 변위 벡터 d _i 를 눈 탐색 영역 내의 각 동공 중심 후보점 c와 각 에지점 x _i 를 이용하여 구한다. 변위 벡터는 동공 중심 후보점 c와 에지점 x _i 간의 거리에 영향을 받기 때문에 변위 벡터 d _i 의 크기를 식(3)과 같이 정규화한다. 동공 중심 후보점 c와 에지점 x _i 간의 정규 변위 벡터(normalized displacement vector)

와 에지점 x _i 에서의 그레이디언트 벡터 g _i 를 이용한 내적값은 cosθ에만 의존하게 된다. θ=0°일 때 최대가 되기 때문에 그레이디언트 벡터 g _i 와 같은 방향에 있는 동공 중심 후보점 c에 큰 내적값이 누적·저장된다. First, to obtain an edge map from the first derivative of the vertical and horizontal directions of the pixel as shown in equation (1) calculates a gradient vector g _i x _i at every edge. As shown in equation (2), the displacement vector d _i , which is a component of the distance difference, is obtained by using each of the pupil center candidate points c and each edge point x _i in the eye search region. Since the displacement vector is affected by the distance between the pupil center candidate point c and the edge point x _i , the magnitude of the displacement vector d _i is normalized as in Eq. (3). A normalized displacement vector between the pupil center candidate point c and the edge point x _i ,

And the edge point Grady inner product value with the gradient vector g _i at x _i is dependent only cosθ. Since θ becomes the maximum when θ = 0 °, a large inner product value is accumulated and stored in the pupil center candidate point c in the same direction as the gradient vector g _i .

이상의 과정을 모든 에지점을 대상으로 취하여 식(5)와 같이 가장 큰 최대 내적 누적값의 위치 c ^* 를 동공의 중심(눈의 중심)으로 검출한다.Taking all the edge points as above, the position c ^* of the largest maximum internal cumulative value is detected as the center of the pupil (center of the eye) as shown in equation (5).

하지만 안경 착용 시, 에지 영역은 주로 안경테 부분에 나타나게 되고 이에 따라 최대 내적 누적값은 동공의 중심이 아닌 안경테의 중심이 될 확률이 낮지 않다. 그래서 눈 탐색 영역에서 상대적으로 어두운 동공 영역의 가중치를 높이기 위해 역 밝기 가중치를 이용한다. 이 역 밝기 가중치는 식(6)처럼 눈 탐색 영역

의 가우시안 필터링된 역 밝기 영상(inverse intensity image)으로 구한다. 앞서 구한 내적 누적값에 식(6)의 역 밝기 가중치

를 곱해 내적 누적값을 갱신한 후, 식(7)의 최대 내적 누적값의 위치 c ^* 를 동공의 중심(눈의 중심)으로 검출한다. 물론, 내적 누적값은 눈의 원형 윤곽만으로 검출되는 것이 이상적이다. 하지만 일상적인 환경에서는 안경테나 눈썹의 윤곽, 잡음 등의 영향에 노출될 수밖에 없다. 식(6)의 역 밝기 가중치를 사용하면 어두운 동공 부분이 역 밝기 연산으로 인해 큰 가중치를 갖게 된다. However, when the glasses are worn, the edge area appears mainly on the frame part, so that the maximum internal cumulative value is not likely to be the center of the frame, not the center of the pupil. Thus, we use reverse brightness weights to increase the weight of the relatively dark pupil region in the eye search region. This inverse brightness weight is expressed by Equation (6)

Inverse intensity image of the Gaussian filter. The inverse brightness weight of Eq. (6)

And the position c ^* of the maximum internal cumulative value of equation (7) is detected as the center of the pupil (center of the eye). Of course, it is ideal that the intrinsic cumulative value is detected only in the circular contour of the eye. However, in everyday environment, it is exposed to the effects of eyeglass frames, eyebrow contours, and noise. Using the inverse brightness weights of Eq. (6), the dark pupil portion has a large weight due to the inverse brightness operation.

기존의 그레이디언트 기반 눈 검출 방법은 이상과 같은 내적 누적 연산 과정에서 상대적으로 과도한 연산 시간이 소요되는 단점이 있다. 다시 말해서, 눈 탐색 영역 내 각각의 화소 c는 모든 에지 화소들의 그레이디언트 벡터와 자신의 정규 변위 벡터 간의 내적을 누적해야 하는 부담이 있다.The existing gradient-based eye detection method has a disadvantage in that it requires a relatively long calculation time in the internal cumulative calculation process as described above. In other words, each pixel c in the eye search region has a burden of accumulating the inner product between the gradient vector of all the edge pixels and its normal displacement vector.

따라서, 본 발명의 목적은 개선된 검출 정확도와 연산 속도를 제공하는 그레이디언트 기반 눈 검출 방법을 제공하는 것이다.Accordingly, it is an object of the present invention to provide a gradient-based eye detection method that provides improved detection accuracy and computation speed.

상기의 목적은, 입력 영상에서 얼굴 영역을 검출하는 단계; 상기 검출된 얼굴 영역을 이용하여 좌측 및 우측 눈 탐색 영역을 지정하는 단계; 상기 지정된 각 눈 탐색 영역으로부터 동공 후보 영역을 검출하는 단계; 상기 검출된 동공 후보 영역 중에서 상기 각 눈 탐색 영역의 중앙에서부터 동심원 방향으로 확장해가면서 제한된 화소수만큼만 동공 영역으로 레이블링하는 단계; 수평 및 수직 미분 마스크를 이용해 에지 맵을 구하여 에지 여부를 판정하는 단계; 및 상기 레이블링된 동공 영역에서 내적 누적 연산을 수행하여 내적 누적값을 산출하여 좌우 눈의 중심으로 검출하는 단계를 포함하는 것을 특징으로 하는 그레이디언트 기반 눈 검출 방법에 의해 달성된다.The above object may be accomplished by a method of detecting a face region, comprising: detecting a face region in an input image; Designating left and right eye search regions using the detected face region; Detecting a pupil candidate region from each of the designated eye search regions; Labeling the detected pupil candidate regions from the center of each eye search region to a pupil region only in a limited number of pixels while expanding in a concentric direction; Determining an edge by obtaining an edge map using horizontal and vertical differential masks; And performing an intrinsic cumulative operation on the labeled pupil region to calculate an intrinsic cumulative value and detecting the intrinsic cumulative value as the center of the right and left eyes.

바람직하게, 상기 동공 후보 영역은, 상기 각 눈 탐색 영역의 가우시안 필터링된 역 밝기 영상을 히스토그램 평활화하여 정규화한 후 임계처리를 통해 검출할 수 있다.Preferably, the pupil candidate region may be normalized by performing histogram smoothing on the Gaussian filtered inverse brightness image of each eye search region, and may be detected through a thresholding process.

바람직하게, 상기 에지 맵에서 각 화소의 에지값이 임계값보다 크거나 같으면 에지(edge)로 판정하고 그렇지 않으면 비에지(non-edge)로 판정할 수 있다.Preferably, if the edge value of each pixel in the edge map is greater than or equal to a threshold value, it is determined as an edge, otherwise, it can be determined as a non-edge.

바람직하게, 상기 내적 누적 연산을 수행하는 단계에서, 상기 레이블링된 동공 영역에서만 정규 변위 벡터를 취해 상기 각 눈 탐색 영역 내 모든 그레이디언트 벡터와의 내적을 구한 후, 누적 연산을 수행하여 내적 누적값을 구하고, 각각의 상기 내적 누적값에 대응되는 역 밝기 가중치를 곱해 내적 누적값을 갱신한 후, 최대 내적 누적값의 위치를 좌우 눈의 중심으로 검출할 수 있다.Preferably, in performing the inner accumulative accumulation operation, the normal displacement vector is taken only in the labeled pupil region, and the inner product with all the gradient vectors in the respective eye search regions is obtained, And the inward cumulative value is multiplied by the inverse brightness weight corresponding to each of the inward cumulative values, and the position of the maximum internal cumulative value is detected as the center of the left and right eyes.

바람직하게, 상기 내적 누적 평균의 산출은, 좌측 및 우측 눈 탐색 영역에서 최대 내적 누적값의 위치를 중심으로 소정 화소 크기의 국부 블록 마스크를 지정한 후, 상기 블록 마스크에 포함된 화소의 내적 누적값을 합산한 다음 상기 블록 마스크의 크기로 나눠 구할 수 있다.Preferably, the calculation of the intrinsic cumulative averages is performed by designating a local block mask of a predetermined pixel size centered on the position of the maximum internal cumulative value in the left and right eye search regions, and then calculating an inner cumulative value of the pixels included in the block mask And then divided by the size of the block mask.

바람직하게, 상기 얼굴 영역을 검출하는 단계는, 초기 얼굴 템플릿을 입력 영상의 좌상단 시작점에 중첩해 놓고 겹쳐진 부분과의 상호 상관도(cross correlation)를 구하는 단계; 상기 시작점에서부터 한 화소씩 옮겨가면서 상호 상관도가 가장 높은 위치를 얼굴 영역으로 검출하는 단계; 및 상호 상관도가 일정 값 이상이면 계속하여 템플릿 정합을 진행하고, 그렇지 않으면 얼굴 영역을 재검출하고 새로운 얼굴 템플릿으로 갱신해 템플릿 정합을 수행하는 단계로 이루어질 수 있다.Preferably, the step of detecting the face region includes: superposing an initial face template on a left upper end starting point of the input image and obtaining a cross correlation with the overlapping portion; Detecting a position having the highest cross-correlation degree as a face region while moving from the starting point by one pixel; And if the crosscorrelation is equal to or greater than a predetermined value, the template matching is continued. Otherwise, the face region is re-detected and a new face template is updated to perform template matching.

바람직하게, 상기 얼굴 영역이 검출되지 않으면 상호 상관도를 낮춰서 템플릿 정합을 진행하고, 상기 낮춘 상호 상관도에서도 얼굴 영역이 검출되지 않으면 영상에 얼굴 영역이 없다고 판별할 수 있다.Preferably, if the face region is not detected, template matching is performed by lowering the degree of cross correlation, and if the face region is not detected in the lowered cross-correlation degree, it can be determined that there is no face region in the image.

바람직하게, 내적 누적 평균을 그레이디언트 벡터의 개수로 나눈 값과 눈 개폐 임계값을 비교해 눈의 개폐 여부를 판단하는 단계를 더 포함할 수 있다.The method may further include comparing the eye cumulative threshold with a value obtained by dividing the cumulative cumulative average by the number of the gradient vectors, and determining whether the eyes are open or closed.

상기한 구성에 의하면, 재귀적 레이블링(recursive labeling)을 통해 동공 후보 영역 중에서 각 눈 탐색 영역의 중앙에서부터 동심원 방향으로 확장해가면서 제한된 화소수만큼만 동공 영역으로 레이블링함으로써 동공 검출 시 연산 속도와 검출 정확도를 개선할 수 있다.According to the above configuration, by recursive labeling, the pupil region is expanded from the center of each eye search region to the pupil region by expanding in the concentric direction from the pupil candidate region to the limited number of pixels, Can be improved.

또한, 눈 개폐 판단 알고리즘에 의하면, 그레이디언트 벡터의 개수가 많을수록 내적 누적 평균이 상대적으로 커짐에 착안하여 내적 누적 평균을 그레이디언트 벡터의 개수로 나눠 보정된 내적 누적 평균을 구하고 이를 통해 눈 개폐 여부를 판단함으로써 눈 개폐 판단 성능을 개선할 수 있다.In addition, according to the eye opening / closing determination algorithm, the internal cumulative average is relatively increased as the number of the gradient vectors is larger, and the cumulative cumulative average is obtained by dividing the cumulative cumulative average by the number of the gradient vectors. It is possible to improve the eye opening / closing determination performance.

도 1은 도 1은 어두운 원형 객체와 밝은 배경은 각각 홍채(iris)와 공막(sclera)을 비유한 예시도이다.
도 2는 본 발명에 따른 눈 검출 방법을 보여주는 플로차트이다.
도 3은 적응형 템플릿 정합에 기반한 얼굴 영역 검출을 나타내는데, 도 3(a)은 안경을 착용한 상태이고 도 3(b)은 안경을 착용하지 않은 상태이다.
도 4는 지정된 좌측 및 우측 눈 탐색 영역을 나타내는데, 도 4(a)는 안경을 착용한 상태이고, 도 4(b)는 안경을 착용하지 않은 상태를 나타낸다.
도 5는 정규화 영상을 대상으로 서로 다른 값으로 임계처리해 구한 이진 영상으로, 상부는 안경을 착용한 상태를 나타내고, 하부는 안경을 착용하지 않은 상태를 나타낸다.
도 6은 제안된 방법의 동공 영역 레이블링을 적용한 사례를 예시한 것으로, 도 6(a)은 원본 영상을 나타내고, 도 6(b)과 6(c)은 각각 원본 영상을 입력받아 종래의 방법과 이 실시 예에 의한 방법을 적용해 검출한 동공 후보 영역과 레이블링된 동공 영역을 나타낸다.
도 7(a)은 미분 마스크를 나타내고, 도 7(b)과 7(c)은 각각 수평 및 수직 에지 맵을 나타낸다.
도 8은 동공 중심 영역의 국부 블록 마스크를 나타내는데, 도 8(a)은 눈 뜬 상태를 나타내고, 도 8(b)은 눈 감은 상태를 나타낸다.
도 9는 미보정된 내적 누적 평균을 이용한 눈 개폐 판단 그래프이다.
도 10은 미보정된 내적 누적 평균을 이용한 눈 개폐 판단 그래프이다.
도 11은 안경 착용 시(좌측)와 미착용 시(우측)를 구분한 내적 누적 영상을 나타내는데, 도 11(a) 내지 11(c)은 종래의 방법에 의한 경우를 나타내고, 11(d)은 본 발명에 의한 경우를 나타낸다.
도 12는 본 발명의 눈 검출 방법을 적용한 동공 검출 영상을 예시한 것이다.
도 13은 실험 영상을 통한 눈 개폐 판단 결과를 나타낸 것이다.FIG. 1 shows an example in which a dark circular object and a bright background are compared with an iris and a sclera, respectively.
2 is a flowchart showing an eye detection method according to the present invention.
FIG. 3 shows face region detection based on adaptive template matching. FIG. 3 (a) shows a state wearing glasses, and FIG. 3 (b) shows a state where glasses are not worn.
Fig. 4 shows designated left and right eye search areas. Fig. 4 (a) shows a state wearing glasses, and Fig. 4 (b) shows a state where glasses are not worn.
FIG. 5 is a binary image obtained by thresholding the normalized image to different values. The upper part shows a state wearing glasses, and the lower part shows a state in which no glasses are worn.
6 (a) and 6 (b) illustrate an example of applying the proposed method to pupil area labeling. FIG. 6 (a) The pupil candidate region and the labeled pupil region detected by applying the method according to this embodiment are shown.
Fig. 7 (a) shows a differential mask, and Figs. 7 (b) and 7 (c) show horizontal and vertical edge maps, respectively.
Fig. 8 shows a local block mask in the pupil center region. Fig. 8 (a) shows a state in which the eye is opened, and Fig. 8 (b) shows a state in which the eye is kept closed.
9 is a graph of an eye opening / closing judgment using an uncorrected cumulative average.
10 is a graph of an eye opening / closing judgment using an uncorrected cumulative average.
11 (a) to 11 (c) show the case of the conventional method, and 11 (d) show the internal cumulative image obtained when the glasses are worn (left side) Fig.
FIG. 12 illustrates a pupil detection image to which the eye detection method of the present invention is applied.
FIG. 13 shows the result of eye opening / closing determination based on an experimental image.

본 발명에서 사용되는 기술적 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아님을 유의해야 한다. 또한, 본 발명에서 사용되는 기술적 용어는 본 발명에서 특별히 다른 의미로 정의되지 않는 한, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 의미로 해석되어야 하며, 과도하게 포괄적인 의미로 해석되거나 과도하게 축소된 의미로 해석되지 않아야 한다. 또한, 본 발명에서 사용되는 기술적인 용어가 본 발명의 사상을 정확하게 표현하지 못하는 잘못된 기술적 용어일 때에는, 당업자가 올바르게 이해할 수 있는 기술적 용어로 대체되어 이해되어야 할 것이다. 또한, 본 발명에서 사용되는 일반적인 용어는 사전에 정의되어 있는 바에 따라, 또는 전후 문맥상에 따라 해석되어야 하며, 과도하게 축소된 의미로 해석되지 않아야 한다.It is noted that the technical terms used in the present invention are used only to describe specific embodiments and are not intended to limit the present invention. In addition, the technical terms used in the present invention should be construed in a sense generally understood by a person having ordinary skill in the art to which the present invention belongs, unless otherwise defined in the present invention, Should not be construed as interpreted or interpreted in an excessively reduced sense. In addition, when a technical term used in the present invention is an erroneous technical term that does not accurately express the concept of the present invention, it should be understood that technical terms can be understood by those skilled in the art. In addition, the general terms used in the present invention should be interpreted according to a predefined or prior context, and should not be construed as being excessively reduced.

이하, 첨부한 도면을 참조하여 본 발명을 상세하게 설명한다.DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS The present invention will now be described in detail with reference to the accompanying drawings.

도 2는 본 발명에 따른 눈 검출 방법을 보여주는 플로차트이다.2 is a flowchart showing an eye detection method according to the present invention.

<얼굴 영역 검출><Face Area Detection>

이 실시 예에서, Haar-like 특징과 AdaBoost 알고리즘 그리고 적응형 템플릿 정합을 이용해 입력 영상에서 얼굴 영역을 검출한다(단계 S21). In this embodiment, the face region is detected in the input image using Haar-like feature, AdaBoost algorithm, and adaptive template matching (step S21).

도 3은 적응형 템플릿 정합에 기반한 얼굴 영역 검출을 나타내는데, 도 3(a)은 안경을 착용한 상태이고 도 3(b)은 안경을 착용하지 않은 상태이다. FIG. 3 shows face region detection based on adaptive template matching. FIG. 3 (a) shows a state wearing glasses, and FIG. 3 (b) shows a state where glasses are not worn.

얼굴 영역을 검출하기 위해 초기 얼굴 템플릿을 새로운 얼굴 템플릿으로 적응적으로 갱신하는 적응형 템플릿 정합을 수행한다. In order to detect the face region, adaptive template matching is performed to adaptively update the initial face template to a new face template.

우선, 얼굴 영역의 검출과 초기 얼굴 템플릿을 얻기 위해 Haar-like 특징과 AdaBoost 알고리즘을 사용한다. 이어서 초기 얼굴 템플릿을 입력 영상의 좌상단 시작점에 중첩해 놓고 겹쳐진 부분과의 상호 상관도(cross correlation)를 구한다. First, Haar-like feature and AdaBoost algorithm are used to detect face area and obtain initial face template. Next, the initial face template is superimposed on the left upper end starting point of the input image, and the cross correlation with the overlapped portion is obtained.

시작점에서부터 한 화소씩 옮겨가면서 상호 상관도가 가장 높은 위치를 얼굴 영역으로 검출한다. 이때 상호 상관도가 0.8 이상이면 계속하여 템플릿 정합을 진행하고, 그렇지 않으면 Haar-like 특징과 AdaBoost 알고리즘을 이용해 얼굴 영역을 재검출하고 새로운 얼굴 템플릿으로 갱신해 템플릿 정합을 수행한다. The location with the highest cross-correlation is detected as the face area while moving one pixel from the starting point. If the cross correlation is 0.8 or more, the template matching is continued. Otherwise, the face region is re-detected using the Haar-like feature and AdaBoost algorithm, and the template is updated by renewing the new face template.

이 단계에서도 얼굴이 검출되지 않으면 상호 상관도의 기준값을 0.6으로 더 낮춰서 템플릿 정합을 진행한다. 낮춘 상호 상관도에서도 얼굴이 검출되지 않으면 영상에 얼굴이 없다고 판별한다. If the face is not detected at this stage, the reference value of the cross correlation is further lowered to 0.6, and template matching proceeds. If the face is not detected in the reduced cross correlation, it is determined that there is no face in the image.

템플릿 정합으로만 얼굴 추적을 진행하게 되면 유사한 부분이 점점 바뀌어 얼굴 영역이 정확히 검출되지 않을 수 있다. 따라서 상호 상관도가 기준값 이상이더라도 100프레임 주기로 Haar-like 특징과 AdaBoost 알고리즘을 통해 얼굴 영역을 재검출하고 얼굴 템플릿을 갱신하는 과정을 반복한다. If the face tracking is performed only by template matching, similar portions may be changed and the face region may not be correctly detected. Therefore, even if the cross-correlation is more than the reference value, the facial region is re-detected through Haar-like feature and AdaBoost algorithm at 100 frame period and the process of updating the face template is repeated.

<눈 탐색 영역 지정><Specifying the eye search area>

도 4는 지정된 좌측 및 우측 눈 탐색 영역을 나타내는데, 도 4(a)는 안경을 착용한 상태이고, 도 4(b)는 안경을 착용하지 않은 상태를 나타낸다.Fig. 4 shows designated left and right eye search areas. Fig. 4 (a) shows a state wearing glasses, and Fig. 4 (b) shows a state where glasses are not worn.

입력 영상에서 얼굴 영역을 검출한 후, 이를 이용해 도 4와 같이 좌측 및 우측 눈 탐색 영역을 기하학적인 상대적 위치 지정 방식으로 설정한다(단계 S22). After detecting the face region in the input image, the left and right eye search regions are set to a geometric relative position specifying method as shown in FIG. 4 (Step S22).

얼굴 영역의 크기에 비례적으로 가변되도록 각 눈 탐색 영역을 지정함으로써, 카메라와 얼굴 간의 거리에 무관하게 안정적으로 눈 탐색 영역 내에 눈 영역을 포함시킬 수 있다.It is possible to stably include the eye region in the eye search region irrespective of the distance between the camera and the face by designating each eye search region so as to vary proportionally to the size of the face region.

<동공 후보 영역 검출><Pupil Candidate Region Detection>

각 눈 탐색 영역의 가우시안 필터링된 역 밝기 영상을 히스토그램 평활화하여 정규화한 후 임계 처리를 통해 동공 후보 영역을 검출한다(단계 S23).The Gaussian filtered inverse brightness image of each eye search area is normalized by histogram smoothing, and the pupil candidate area is detected through the thresholding process (step S23).

상기의 식(6)과 같이 눈 탐색 영역

의 영상

을 구한 후, 가우시안 필터링

을 취한다.

를 식(8)과 같이 히스토그램 평활화를 취한 후, 식(9)와 같이

의 최대값을 이용해 정규화 영상

을 구한다.As shown in Equation (6) above,

Image of

, And then Gaussian filtering

Lt; / RTI >

(8), the histogram smoothing is performed as shown in equation (9)

The normalized image

.

이후 실험적으로 구한 소정의 임계값을 이용해 동공의 중심을 포함하는 동공 후보 영역과 그 이외의 영역인 비동공 영역으로 구분한다. Thereafter, the pupil candidate region including the center of the pupil and the non-pupil region other than the pupil region are separated by using a predetermined threshold value obtained experimentally.

도 5는 정규화 영상

를 대상으로 서로 다른 값으로 임계처리해 구한 이진 영상으로, 상부는 안경을 착용한 상태를 나타내고, 하부는 안경을 착용하지 않은 상태를 나타낸다.FIG.

The upper part shows a state wearing glasses, and the lower part shows a state in which no glasses are worn.

여기서, 밝은 곳은 동공의 중심을 포함하는 동공 후보 영역이고 어두운 곳은 비동공 영역이다. 임계값이 작을수록 비동공 영역의 면적이 점진적으로 증가한다. 그림 5(a)는 0.9의 임계값을 이용해 이진화한 영상을 나타낸 것이다. Here, a bright spot is a pupil candidate region including the center of the pupil, and a dark spot is a non-pupil region. The smaller the threshold value, the more gradually the area of the non-pupil region increases. Figure 5 (a) shows an image binarized using a threshold of 0.9.

<동공 영역 레이블링><Labeling of pupil area>

동공 후보 영역 중에서 각 눈 탐색 영역의 중앙에서부터 동심원 방향으로 확장해가면서 제한된 화소수만큼만 동공 영역으로 레이블링한다(단계 S24).In the pupil candidate region, only the limited number of pixels are labeled as pupil regions while expanding from the center of each eye search region to the concentric direction (Step S24).

그림 5의 안경 착용 영상을 참고할 때, 낮은 명도의 안경테 부분이 동공 후보 영역에 포함되는 것을 관찰할 수 있다. 이 경우 안경테가 동공으로 잘못 검출될 수 있으므로 동공 영역 레이블링을 통해 이를 제거할 필요가 있다.When we refer to the spectacle wear image of Fig. 5, we can observe that the low-light spectacle frame part is included in the pupil candidate area. In this case, since the spectacle frame may be erroneously detected as a pupil, it is necessary to remove it through the pupil area labeling.

통상, 동공의 중심은 각각 좌우측 눈 탐색 중앙 영역의 저명도 평탄 영역 인근에 위치한다. 이에 착안하여 눈 탐색 영역의 중앙에서부터 동심원 방향으로 확장해 가면서 제한된 화소 수만큼만 동공 영역으로 레이블링한다.Normally, the center of the pupil is located near the low brightness flat region of the left and right eye search central regions, respectively. As a result, the number of pixels is limited to the pupil region while expanding from the center of the eye search region to the concentric direction.

다시 말해, 안경테나 눈썹, 머리카락 등의 영역은 눈 탐색 영역의 상하좌우 테두리에 접하는 경우가 많은 반면에 동공 부위는 테두리와 접하지 않은 상태에서 눈 탐색 영역의 내측에 위치하는 경우가 대부분이다. 이를 감안해 이 실시 예에서는 재귀적 레이블링(recursive labeling)을 통해 동공 후보 영역 중에서 각 눈 탐색 중앙 영역을 중심으로 일정 범위 내의 영역을 동공 영역으로 레이블링한다.In other words, the regions such as eyeglasses, eyebrows, and hair are often tangent to the upper, lower, left, and right edges of the eye search region, whereas the pupil region is located inside the eye search region without touching the border. In this embodiment, in this embodiment, a region within a certain range centering on each eye search central region is labeled as a pupil region in the pupil candidate region through recursive labeling.

이때, 동공은 눈 탐색 영역의 중심보다 일정비율 위쪽에 위치한다는 점을 감안했다. 이렇게 선정한 위치를 중심으로 일정 윈도우 영역에 존재하는 영역만을 씨앗(seed) 삼아 선택적으로 레이블링을 수행한다.At this time, the pupil is located at a certain rate higher than the center of the eye search region. Only the region existing in the certain window region around the selected position is seeded and selectively labeled.

윈도우 영역에 존재하는 씨앗이 안경테, 눈썹, 머리카락 등 비동공 영역과 연결이 되어 있을 경우 한 덩어리로 레이블링 될 수 있다. 따라서 이 실시 예에서는 동공 영역으로 레이블링되는 화소 수를 눈 탐색 영역의 총 화소수의 7% 이하로 제한하고 있는데, 이에 한정되지는 않는다.Seeds present in the window region can be labeled as a lump if they are associated with nonpopular regions such as eyeglass frames, eyebrows, and hair. Therefore, in this embodiment, the number of pixels labeled in the pupil region is limited to 7% or less of the total number of pixels in the eye search region, but the present invention is not limited thereto.

상기와 같이, 동공 영역 레이블링을 통하여 비동공 영역을 동공 후보 영역에서 제거함으로써 동공 검출 시 연산 속도와 검출 정확도를 개선할 수 있다.As described above, by removing the non-pupil region from the pupil candidate region through the pupil region labeling, it is possible to improve the calculation speed and detection accuracy at the time of pupil detection.

도 6은 제안된 방법의 동공 영역 레이블링을 적용한 사례를 예시한 것으로, 도 6(a)은 원본 영상을 나타내고, 도 6(b)과 6(c)은 각각 원본 영상을 입력받아 종래의 방법과 이 실시 예에 의한 방법을 적용해 검출한 동공 후보 영역과 레이블링된 동공 영역을 나타낸다.6 (a) and 6 (b) illustrate an example of applying the proposed method to pupil area labeling. FIG. 6 (a) The pupil candidate region and the labeled pupil region detected by applying the method according to this embodiment are shown.

종래의 방법을 사용해 산출한 동공 후보 영역을 보면 도 6(b)과 같이 안경테가 동공 후보 영역에 포함됨을 확인할 수 있다. 반면, 이 실시 예에 의하면, 도 6(c)와 같이, 레이블링된 동공 영역에는 동공 이외의 영역이 제거되고 동공 위주로만 남는 것을 알 수 있다.It can be confirmed that the eyeglass frame is included in the pupil candidate region as shown in Fig. 6 (b) by looking at the pupil candidate region calculated using the conventional method. On the other hand, according to this embodiment, as shown in FIG. 6 (c), it can be seen that a region other than the pupil is removed in the labeled pupil region and only the pupil is left.

<에지 맵 산출>&Lt; Edge map calculation >

수평 및 수직 미분 마스크를 이용해 에지 맵

을 구하여 에지 여부를 판정한다(단계 S25).Edge maps using horizontal and vertical differential masks

(Step S25).

도 7(a)은 미분 마스크를 나타내고, 도 7(b)과 7(c)은 각각 수평 및 수직 에지 맵을 나타낸다.Fig. 7 (a) shows a differential mask, and Figs. 7 (b) and 7 (c) show horizontal and vertical edge maps, respectively.

도 7(a)의 수평 및 수직 마스크를 이용하여 에지 맵

을 구한 다음, 식(11)과 같이 에지 맵에서 각 화소의 에지값

이 임계값

보다 크거나 같으면 에지(edge)로 판정하고 그렇지 않으면 비에지(non-edge)로 판정한다. The horizontal and vertical masks of Figure 7 (a)

( 11), the edge value of each pixel in the edge map

This threshold

If it is greater than or equal to the edge, it is determined to be an edge, otherwise, it is determined to be non-edge.

해상도나 조명 조건의 변화로 인한 오차를 줄이기 위해 임계값

은 각각 식(10)과 같이 에지 맵의 평균

과 표준편차

를 이용해 동적으로 정한다. To reduce errors due to changes in resolution or lighting conditions,

( 10), the average of the edge maps

And standard deviation

. &Lt; / RTI >

<내적 누적 연산><Internal Cumulative Operation>

이 실시 예에서, 레이블링된 동공 영역에서만 내적 누적 연산을 수행한다(단계 S26).In this embodiment, an intrinsic cumulative operation is performed only in the labeled pupil region (step S26).

통상의 그레이디언트 기반 눈 검출 방법은 원칙적으로 각 눈 탐색 영역 내 정규 변위 벡터와 모든 그레이디언트 벡터 간의 내적을 누적한 후, 역 밝기 가중치를 곱해 내적 누적값을 갱신한 다음에 최대 내적 누적값의 위치를 좌우 눈의 중심으로 검출한다. In general, the gradient-based eye detection method is a method in which the inner product between the normal displacement vector and all the gradient vectors in each eye search area is accumulated, and then the inner cumulative value is updated by multiplying the reverse brightness weight, Is detected as the center of the left and right eyes.

그러나, 눈 탐색 영역의 전역에서 정규 변위 벡터들을 취할 경우엔 내적 누적 연산 과정에서 많은 시간이 소요될 뿐만 아니라 검출 정확도도 저하되는 문제점이 있다. However, when the normal displacement vectors are taken in the entire region of the eye search region, not only a long time is required in the internal accumulation calculation process, but also the detection accuracy is deteriorated.

앞서 설명한 바와 같은 동공 영역 레이블링 단계에서, 각 눈 탐색 영역의 중앙에서부터 동심원 방향으로 확장해 가면서 제한된 화소 수만큼만 동공 영역으로 레이블링하면, 내적 누적 연산 단계에서는 이 영역에 국한해 내적 누적 연산을 수행한다. 다시 말해, 전체 눈 탐색 영역이 아닌 레이블링된 동공 영역에서만 정규 변위 벡터를 취해 눈 탐색 영역 내 모든 그레이디언트 벡터와의 내적을 구한 후 누적 연산을 수행하여 내적 누적값을 구한다. 각각의 내적 누적값에 대응되는 역 밝기 가중치를 곱해 내적 누적값을 갱신한 후, 최대 내적 누적값의 위치를 좌우 눈의 중심으로 검출한다. In the pupil area labeling step as described above, if the pupil area is labeled only by the limited number of pixels while expanding from the center of each eye search area to the concentric direction, the intrinsic cumulative operation step performs intrinsic cumulative operation on this area. In other words, the normalized displacement vector is obtained only in the labeled pupil region, not the entire eye search region, and the inner product with all the gradient vectors in the eye search region is obtained. The inward cumulative value is updated by multiplying the inverse brightness weight corresponding to each internal cumulative value, and the position of the maximum internal cumulative value is detected as the center of the left and right eyes.

이상의 과정을 통해 눈 검출 정확도와 연산 속도를 효과적으로 개선할 수 있다.Through the above process, the eye detection accuracy and the calculation speed can be effectively improved.

<눈의 개폐 판단><Judgment of opening and closing eyes>

눈의 개폐 여부를 판단한다(단계 S27).It is determined whether or not the eye is opened or closed (step S27).

이를 위해 좌측 및 우측 눈 탐색 영역에서 최대 내적 누적값의 위치를 중심으로 소정 화소 크기(예컨대, 7×7 화소 크기)의 국부 블록 마스크를 지정한 후, 이 블록 마스크에 포함된 화소의 내적 누적값을 합산한 다음에 블록 마스크의 크기로 나눠 평균을 구한다. For this purpose, a local block mask of a predetermined pixel size (for example, a 7 × 7 pixel size) centered on the position of the maximum internal cumulative value in the left and right eye search regions is designated, and the internal cumulative value of the pixels included in the block mask is The sum is then divided by the size of the block mask to obtain the average.

이후, 이 내적 누적 평균을 그레이디언트 벡터의 개수로 나눈 값과 눈 개폐 임계값을 비교해 눈의 개폐 여부를 판단한다. Thereafter, the value obtained by dividing the cumulative cumulative average by the number of gradient vectors is compared with the eye opening / closing threshold to determine whether the eye is opened or closed.

통계적으로 동일한 사람의 동공 영역에서 구한 내적 누적 평균의 크기는 도 8과 같이 눈을 뜨면 커지고 감으면 작아진다. 또한, 같은 조건일 때 그 값은 안경 착용 시에 커지고 눈과 동공의 크기에 비례해 커진다. 하지만, 내적 누적 평균은 개인간의 편차가 심하기 때문에 단순히 이 값을 기준으로 눈 개폐 여부를 판단하면 일정 수준 이하로 오분류 확률을 낮추기 어렵다. The magnitude of the cumulative average obtained from the pupil region of the statistically identical person increases as the eye opens and decreases as the eye as shown in Fig. Also, at the same condition, the value increases when wearing glasses and increases in proportion to the size of the eye and the pupil. However, since the cumulative average of intrinsic values is large, it is difficult to lower the probability of misclassification to below a certain level by simply judging whether the eye is open or closed based on this value.

하나의 내적 누적값은 레이블링된 동공 영역의 각 정규 변위 벡터와 눈 탐색 영역 내 모든 그레이디언트 벡터를 곱해 누적하는 방식으로 계산되므로 그레이디언트 벡터의 개수가 많을수록 내적 누적값이 상대적으로 커진다. 즉, 그레이디언트 벡터의 개수는 내적값을 누적하는 연산 횟수이다. 따라서 식(12)와 같이 내적 누적 평균

을 그레이디언트 벡터의 개수

로 나눠 보정된 내적 누적 평균

을 구함으로써 이러한 편차를 효과적으로 줄일 수 있다. One internal cumulative value is calculated by multiplying each normal displacement vector of the labeled pupil region by all the gradient vectors in the eye search region and accumulating them, so that the larger the number of gradient vectors, the larger the internal cumulative value becomes. That is, the number of gradient vectors is the number of operations for accumulating the inner product value. Therefore, as in equation (12)

The number of gradient vectors

The average internal cumulative average

The deviation can be effectively reduced.

이때, 각 프레임 단위로 보정된 내적 누적 평균을 그대로 사용할 수도 있다. 하지만 식(13)처럼 일정 구간의 직전 프레임들과 현 프레임의 보정된 내적 누적 평균값들을 대상으로 미디언 필터링(median filtering)을 취해 현 프레임의 보정된 내적 누적 평균을 갱신하면, 노이즈나 비정상적인 동작에 따른 악영향을 적절하게 억제해 안정된 동작을 유도할 수 있다. 이 실시 예에서는, 현 프레임을 포함해 5프레임 단위로 미디언 필터링을 수행해 현 프레임의 보정된 내적 누적 평균을 갱신한다.At this time, the internal cumulative average corrected for each frame may be used as it is. However, if the modified cumulative average of the current frame is updated by performing median filtering on the corrected cumulative average values of the immediately preceding frames and the current frame of a predetermined interval as in Equation (13), noise or abnormal motion So that stable operation can be induced. In this embodiment, median filtering is performed on a 5-frame-by-frame basis including the current frame to update the corrected intrinsic cumulative average of the current frame.

한편, 눈 개폐 여부를 판단하기 위해서 눈 개폐 임계값을 구할 필요가 있다. 새로운 프레임이 입력될 때마다 미디언 필터링 시보다는 상대적으로 긴 소정의 직전 프레임 구간과 현 프레임의 보정된 내적 누적 평균값들을 합산하고 프레임 수로 나눠 프레임 구간 평균을 구한다. 이 실시 예에서는, 현 프레임을 포함해 50프레임 단위로 평균 연산을 수행해 현 프레임의 프레임 구간 평균을 구한다. 이때, 프레임 구간 평균을 구할 시, 감은 눈으로 판단된 프레임의 보정된 내적 누적 평균값은 제외함으로써 눈을 뜬 상태의 프레임 구간 평균을 구할 수 있다. On the other hand, in order to judge whether or not the eye is open or closed, it is necessary to determine the eye open / close threshold value. Each time a new frame is input, a relatively long previous frame interval and a corrected average cumulative average value of the current frame are summed and divided by the number of frames to obtain a frame interval average. In this embodiment, an average operation is performed in units of 50 frames including the current frame to obtain the average frame interval of the current frame. At this time, when the average of the frame intervals is obtained, the average of the frame intervals in the opened state can be obtained by excluding the corrected accumulated average value of the frames judged as the eyes that have been blinded.

이와 같이 구한 프레임 구간 평균은 다음 프레임이 입력될 때마다 프레임 구간을 중첩시켜 가면서 그 값을 갱신함으로써 안경의 착탈 여부나 인물의 변경 혹은 조명의 가변에 적응적으로 대응할 수 있다. 눈 개폐 임계값

은 식(14)와 같이 이 프레임 구간 평균에 비례 계수

를 곱해 각 프레임 단위로 결정된다. 본 논문에서는 이 비례 계수로서 실험적으로 구한 0.75를 사용하고 있다. The average of the frame intervals obtained as described above can adaptively cope with the attachment / detachment of the glasses, the change of the person, or the variation of the illumination by updating the value while superimposing the frame interval each time the next frame is inputted. Eye open / close threshold

(14), the proportionality coefficient

And is determined on a frame-by-frame basis. In this paper, we use the experimentally obtained 0.75 as the proportional coefficient.

최종적으로, 식(15)와 같이 각 프레임의 보정된 내적 누적 평균값이 눈 개폐 임계값보다 크면 눈을 뜬 상태로 판단하고, 그렇지 않으면 눈을 감은 상태로 판단한다. Finally, if the corrected cumulative average value of each frame is larger than the eye opening / closing threshold value as in Equation (15), it is determined that the eye is in a floating state. Otherwise, it is determined that the eye is closed.

도 9는 미 보정된 내적 누적 평균을 이용한 눈 개폐 판단 그래프를 나타내고, 도 10은 그레이디언트 벡터의 개수로 보정한 내적 누적 평균을 이용해 눈 개폐 판단 여부를 나타낸 그래프이다. 도 10에서 보정된 내적 누적 평균값이 눈 개폐 임계값보다 크면 눈을 뜬 상태로 판단하는데, 양호한 눈 개폐 판단 성능을 제공하고 있음을 확인할 수 있다.9 is a graph showing an eye opening / closing judgment graph using an uncorrected internal cumulative average, and FIG. 10 is a graph showing whether an eye opening / closing judgment is made using an internal cumulative average corrected by the number of radial vectors. If the corrected cumulative average value in FIG. 10 is larger than the eye opening / closing threshold value, it is determined that the eyes are open, and it can be confirmed that a good eye opening / closing determination performance is provided.

<눈 검출 방법의 시뮬레이션><Simulation of eye detection method>

성능 평가를 위해 AMD A10-5750M APU, 8GB RAM 환경에서 Microsoft Visual C++ 2013, OpenCV 2.4.9를 이용해 시뮬레이션을 수행하였다. 시험 영상은 CMOS 웹캠을 통해 획득한 얼굴 영상으로, 약 45∼55cm 거리에서 정상 조도(약 400 lux)의 실내조명 상태에서 촬영한 것이다. 시험 영상은 안경 착용과 미착용의 총 6,374장의 얼굴 영상들로, 각각 1,848장과 2,757장으로 구성된 640×360 크기의 4,605장과, 각각 1,103장과 666장으로 구성된 640×480 크기의 1,769장이다.For performance evaluation, simulation was performed using AMD A10-5750M APU, Microsoft Visual C ++ 2013 and OpenCV 2.4.9 in 8GB RAM environment. The test image is a face image acquired through a CMOS webcam and is photographed at a distance of about 45 to 55 cm under normal illumination (about 400 lux). The test image is a total of 6,374 facial images for wearing and not wearing glasses. It consists of 4,605 pieces of 640x360 size and 1,769 pieces of 640x480 size consisting of 1,103 pieces and 666 pieces, respectively, consisting of 1,848 pieces and 2,757 pieces.

도 11은 안경 착용 시(좌측)와 미착용 시(우측)를 구분한 내적 누적 영상을 나타내는데, 도 11(a) 내지 11(c)은 종래의 방법에 의한 경우를 나타내고, 11(d)은 본 발명에 의한 경우를 나타낸다. 11 (a) to 11 (c) show the case of the conventional method, and 11 (d) show the internal cumulative image obtained when the glasses are worn (left side) Fig.

도 11(a)의 종래의 방법은 전체 영상을 대상으로 내적 누적 연산을 수행하므로 눈 탐색 영역의 전역에 걸쳐 누적 내적값이 분포하는 것을 확인할 수 있고, 도 11(b)과 11(c)의 개선된 종래의 방법의 내적 누적 영상을 보면, 도 11(b)은 이중 에지맵을 사용하기 때문에 에지 영역에서는 내적값을 누적하지 않고, 도 11(c)은 동공 후보 영역을 산출하여 내적값을 누적하지만 검은 안경테에는 평탄 영역이기에 비동공 영역임에도 불구하고 여전히 내적 누적값이 분포함을 알 수 있다.11 (a), it can be confirmed that cumulative internal values are distributed over the entire area of the eye search region because the internal cumulative calculation is performed on the entire image, 11 (b) does not accumulate the inner product values in the edge region because the double edge map is used in FIG. 11 (b), and the pupil candidate region is calculated in the inner cumulative image of the improved conventional method. However, since the black frame is a flat area, it can be seen that the non-pupil region still contains the internal cumulative value.

반면, 도 11(d)에 의하면, 안경테나 눈썹, 머리카락과 같은 비동공 영역이 대부분 제거된 상태에서 동공을 중심으로 한 영역에서 내적 누적 연산이 수행됨을 알 수 있다. 이와 같이 동공 영역 레이블링을 도입함으로써 기존의 방법들에 비해 개선된 검출 정확도와 연산 속도를 제공할 수 있다.On the other hand, according to FIG. 11 (d), it can be seen that the intrinsic cumulative calculation is performed in a region centered on the pupil in the state where most of non-pupil regions such as eyeglass frames, eyebrows and hair are removed. By introducing the pupil area labeling in this manner, improved detection accuracy and computation speed can be provided compared with the conventional methods.

도 12는 본 발명의 눈 검출 방법을 적용한 눈 검출 결과를 예시한 것이다. FIG. 12 illustrates eye detection results using the eye detection method of the present invention.

안경 착용 시와 미착용 시를 구분하지 않고 비교적 정확하게 좌우측의 동공을 검출하고 있음을 알 수 있다. It can be seen that pupils on the left and right sides are detected relatively accurately without distinguishing between when wearing glasses and when not wearing glasses.

대부분의 눈 검출 방법에서 안경 착용은 눈 검출 정확도를 저하시키는 주요한 원인이다. 본 발명의 눈 검출 방법은 동공 영역 레이블링 과정에서 눈 탐색 영역의 테두리에 접한 안경테가 자연스레 제거되는 장점이 있으며, 그 결과 눈 검출 정확도와 연산 속도를 동시에 제고시킨다.The wearing of spectacles in most eye detection methods is a major cause of poor eye detection accuracy. The eye detection method of the present invention is advantageous in that the eyeglass frame adjacent to the edge of the eye search area is naturally removed in the process of labeling the pupil area, and as a result, the eye detection accuracy and the calculation speed are simultaneously enhanced.

<표 1>은 본 발명과 종래의 방법의 눈 검출 성능을 비교한 것이다. Table 1 compares the eye detection performance of the present invention and the conventional method.

프레임당 평균 처리 시간은 안경 착용 또는 미착용 시험 영상들의 처리 속도 평균을 구한 것이다. 종래의 방법 1로는 초당 처리 프레임 수(fps)가 안경 착용 시 11.9장, 안경 미착용 시 13.5장, 개선된 종래의 방법 2는 안경 착용 시 14.1장, 안경 미착용 시 18.9장, 개선된 종래의 방법 3은 안경 착용 시 30.3장, 안경 미착용 시 33.3장, 개선된 종래의 방법 4는 안경 착용 시 37장, 안경 미착용 시 34.5장 정도 처리할 수 있다. The average processing time per frame is obtained by averaging the processing speed of test images for wearing or not wearing glasses. In the conventional method 1, the number of frames per second (fps) was 11.9 sheets when wearing glasses, 13.5 sheets when not wearing glasses, 14.1 sheets when wearing glasses, 18.9 sheets when wearing glasses, 30.3 in the case of wearing glasses, 33.3 in the case of wearing no glasses, 37 in the improved conventional method 4, and 34.5 in the case of not wearing glasses.

반면, 본 발명의 방법으로는 초당 처리 프레임 수가 안경 착용 시 41.7장, 안경 미착용 시 45.5장까지 처리할 수 있다. On the other hand, in the method of the present invention, the number of frames per second can be processed up to 41.7 sheets when wearing glasses and 45.5 sheets when not wearing glasses.

방 법
구 분 Way
division 종래의 방법 1Conventional Method 1 종래의 방법 2Conventional Method 2 종래의 방법 3Conventional Method 3 종래의 방법 4Conventional method 4 본 발명의 방법The method of the present invention 안경 착용
(2,080장)Wear glasses
(2,080 sheets) 검출률(%)Detection rate (%) 97.3597.35 97.9097.90 97.5697.56 99.3999.39 99.9799.97 프레임당 처리시간 (msec)Processing time per frame (msec) 8484 7171 3333 2727 2424 안경 미착용
(2,757장)Not wearing glasses
(2,757) 검출률(%)Detection rate (%) 94.6294.62 94.3394.33 94.6094.60 99.5099.50 99.9199.91 프레임당 처리시간 (msec)Processing time per frame (msec) 7474 5555 3030 2929 2222

또한, 본 발명의 방법은 종래의 방법 1 내지 4에 비해 다소 우수한 정확도를 제공하면서, 안경 착용 시엔 각각 약 71.4%, 66.2%, 22.3% 및 11.1% 정도의 연산 속도가 개선되고, 안경 미착용 시에는 70.3%, 60%, 26.7%, 24.1%씩 개선되는 장점이 있다. In addition, while the method of the present invention provides somewhat better accuracy than the conventional methods 1 to 4, the computing speed is improved by about 71.4%, 66.2%, 22.3%, and 11.1%, respectively, when glasses are worn, 70.3%, 60%, 26.7%, and 24.1%, respectively.

또한, 표 2와 같이 제안된 눈 개폐 판단 방법을 적용해 눈 개폐 판단 성능을 측정하면, 0.971의 정확률과 0.981의 재현율을 얻을 수 있다. 도 13은 실험 영상을 통한 눈 개폐 판단 결과를 나타낸 것이다.In addition, as shown in Table 2, when the proposed eye opening / closing determination method is applied to measure the eye opening / closing determination performance, a precision of 0.971 and a recall ratio of 0.981 can be obtained. FIG. 13 shows the result of eye opening / closing determination based on an experimental image.

개폐 판단
구분 Opening and closing judgment
division 눈 뜬 영상A snowy image 눈 감은 영상Eyes closed 입력영상
(총 943장)Input image
(Total 943 sheets) 눈 뜬 영상(635장)Eye-clad image (635 images) 623623 1212 눈 감은 영상(308장)Images with eyes closed (308 pages) 1818 290290 정확률(precision)Precision 0.9720.972 재현율(recall)Recall 0.9810.981

이상에서는 본 발명의 실시 예를 중심으로 설명하였지만, 당업자의 수준에서 다양한 변경을 가할 수 있음은 물론이다. 따라서, 본 발명의 권리범위는 상기한 실시 예에 한정되어 해석될 수 없으며, 이하에 기재되는 특허청구범위에 의해 해석되어야 한다.While the present invention has been particularly shown and described with reference to exemplary embodiments thereof, it is to be understood that the invention is not limited to the disclosed exemplary embodiments. Accordingly, the scope of the present invention should not be construed as being limited to the embodiments described above, but should be construed in accordance with the following claims.

Claims

Detecting a face region in an input image;
Designating left and right eye search regions using the detected face region;
Detecting a pupil candidate region from each of the designated eye search regions;
Labeling the detected pupil candidate regions from the center of each eye search region to a pupil region only in a limited number of pixels while expanding in a concentric direction;
Determining an edge by obtaining an edge map using horizontal and vertical differential masks; And
Performing intrinsic cumulative computation on the labeled pupil region to calculate an intrinsic cumulative value and detecting the intrinsic cumulative value as the center of the left and right eyes,
In performing the intrinsic cumulative operation,
Calculating an inner product with respect to all the gradient vectors in each of the eye search regions by taking a normal displacement vector only in the labeled pupil region, performing cumulative calculation to obtain an inner cumulative value,
Wherein the position of the maximum internal cumulative value is detected as the center of the right and left eyes after the internal cumulative value is updated by multiplying each of the internal cumulative values by the inverse brightness weight.

In claim 1,
Wherein the pupil candidate region is normalized by performing histogram smoothing on the Gaussian filtered inverse brightness image of each eye search region and then detected through thresholding.

In claim 1,
Edge is determined to be an edge if the edge value of each pixel in the edge map is greater than or equal to a threshold value, and otherwise to be non-edge.

Detecting a face region in an input image;
Designating left and right eye search regions using the detected face region;
Detecting a pupil candidate region from each of the designated eye search regions;
Labeling the detected pupil candidate regions from the center of each eye search region to a pupil region only in a limited number of pixels while expanding in a concentric direction;
Determining an edge by obtaining an edge map using horizontal and vertical differential masks; And
Performing intrinsic cumulative computation on the labeled pupil region to calculate an intrinsic cumulative value and detecting the intrinsic cumulative value as the center of the left and right eyes,
The step of detecting the face region comprises:
Superimposing the initial face template on the left upper end starting point of the input image and obtaining a cross correlation with the overlapping portion;
Detecting a position having the highest cross-correlation degree as a face region while moving from the starting point by one pixel; And
And if the cross correlation is not less than a predetermined value, proceeding to template matching, and if not, redetecting the face region and updating the face region with a new face template to perform template matching.

In claim 4,
Wherein if the face region is not detected, template matching is performed by lowering the degree of cross correlation, and if no face region is detected in the lowered cross-correlation degree, it is determined that there is no face region in the image.

In claim 1 or 4,
Further comprising the step of determining whether the eye is opened or closed by comparing a value obtained by dividing the cumulative cumulative average by the number of gradient vectors and an eye opening / closing threshold value.

In claim 6,
The calculation of the internal cumulative average may be performed by:
A local block mask of a predetermined pixel size is designated in the left and right eye search regions with the position of the maximum internal cumulative value as a center, then the internal cumulative values of the pixels included in the block mask are summed and divided by the size of the block mask Wherein the gradient-based eye detection method comprises the steps of:

delete