KR100903096B1 - Eye detection method using eye verification and correction - Google Patents

Eye detection method using eye verification and correction Download PDF

Info

Publication number
KR100903096B1
KR100903096B1 KR1020070063837A KR20070063837A KR100903096B1 KR 100903096 B1 KR100903096 B1 KR 100903096B1 KR 1020070063837 A KR1020070063837 A KR 1020070063837A KR 20070063837 A KR20070063837 A KR 20070063837A KR 100903096 B1 KR100903096 B1 KR 100903096B1
Authority
KR
South Korea
Prior art keywords
eye
detected
mct
candidate region
candidate
Prior art date
Application number
KR1020070063837A
Other languages
Korean (ko)
Other versions
KR20080114361A (en
Inventor
최인호
김대진
Original Assignee
포항공과대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 포항공과대학교 산학협력단 filed Critical 포항공과대학교 산학협력단
Priority to KR1020070063837A priority Critical patent/KR100903096B1/en
Publication of KR20080114361A publication Critical patent/KR20080114361A/en
Application granted granted Critical
Publication of KR100903096B1 publication Critical patent/KR100903096B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/193—Preprocessing; Feature extraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/255—Detecting or recognising potential candidate objects based on visual cues, e.g. shapes

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Ophthalmology & Optometry (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)

Abstract

본 발명에 의한 눈 검증 및 눈 위치 보정을 통한 눈 검출 방법은, 입력된 얼굴 영상에서 눈이 존재할 가능성이 있는 눈 후보 영역을 추출하는 단계; 추출한 각각의 눈 후보 영역에서 눈 검출 특징점을 통하여 눈 후보를 검출하는 단계; 각각의 눈 후보 영역에서 검출된 각각의 눈 후보와 반대편 눈 후보 영역간의 MCT 기반 상관맵에서 상관값이 피크값을 가지면 눈 후보가 정상적으로 검출된 것으로 판단하는 눈 검증 단계; 및 한쪽 눈의 후보가 잘못 검출된 경우, 정상적으로 검출된 눈과 반대편 눈 후보 영역간의 MCT 기반 상관맵에서 상관값이 피크값을 갖는 해당 좌표값으로 잘못 검출된 눈의 위치를 보정하는 단계를 포함함을 특징으로 한다. An eye detection method through eye verification and eye position correction according to the present invention includes extracting an eye candidate region in which an eye may exist in an input face image; Detecting eye candidates through eye detection feature points in each extracted eye candidate region; An eye verification step of determining that the eye candidate is normally detected when the correlation value has a peak value in the MCT-based correlation map between each eye candidate region detected in each eye candidate region and the opposite eye candidate region; And if the candidate of one eye is incorrectly detected, correcting the position of the wrongly detected eye with the corresponding coordinate value having the peak value in the MCT-based correlation map between the normally detected eye and the opposite eye candidate region. It is characterized by.

본 발명의 눈 검출 방법은 한 쪽 눈만 정확하게 검출된 경우에도 잘못 검출된 다른 쪽의 눈의 위치를 패턴 상관맵에서 피크값의 좌표값으로 보정하여 정확하게 찾을 수 있기 때문에, 조명, 환경 변화에 매우 강인하며, 빠른 속도로 검출할 수 있는 효과를 제공한다.The eye detection method of the present invention is very robust to lighting and environmental changes, even when only one eye is correctly detected, since the position of the wrongly detected eye is corrected by the coordinate value of the peak value in the pattern correlation map. In addition, it provides an effect that can be detected at high speed.

Description

눈 검증 및 눈 위치 보정을 이용한 눈 검출 방법{Eye detection method using eye verification and correction} Eye detection method using eye verification and correction

도 1은 본 발명에 의한 눈 검출 방법을 설명하기 위한 흐름도이다.1 is a flowchart illustrating an eye detection method according to the present invention.

도 2는 본 발명에 적용된 MCT를 설명하기 위한 도면이다. 2 is a view for explaining the MCT applied to the present invention.

도 3은 본 발명에 적용된 MCT 기반 패턴을 설명하기 위한 도면이다. 3 is a view for explaining the MCT-based pattern applied to the present invention.

도 4a 및 도 4b는 MCT 기반 패턴 상관맵을 설명하기 위한 도면이다.4A and 4B are diagrams for explaining an MCT-based pattern correlation map.

도 5a 및 도 5b는 본 발명에 의한 눈 위치 보정을 설명하기 위한 도면이다. 5A and 5B are views for explaining eye position correction according to the present invention.

본 발명은 얼굴 분석 및 인증 시스템 상에서 수행되는 눈 검출 방법에 관한 것으로서, 보다 상세하게는 입력된 얼굴 영상에서 눈 검출 후에 한쪽 눈이 잘못 검출된 경우에도 MCT(Modified Census Transform) 기반 패턴 상관맵을 적용하여 잘못 검출된 눈의 위치를 보정하여 정확하게 검출할 수 있는 눈 검증 및 눈 위치 보정을 이용한 눈 검출 방법에 관한 것이다. The present invention relates to an eye detection method performed on a face analysis and authentication system, and more particularly, to apply an MCT (Modified Census Transform) based pattern correlation map even when one eye is incorrectly detected after eye detection in an input face image. The present invention relates to an eye detection method using eye verification and eye position correction that can accurately detect an incorrectly detected eye position.

일반적으로 얼굴 분석 시스템은 입력된 얼굴 영상에 존재하는 얼굴의 특징을 파악하여 각 특징점을 분석하는 시스템을 의미하며, 얼굴 인증 시스템은 입력된 얼 굴 영상에 존재하는 얼굴이 저장된 데이터베이스 중에서 누구의 얼굴인지를 판별하는 시스템으로 얼굴 기반의 신원 확인 시스템을 의미한다. In general, a face analysis system refers to a system that analyzes each feature point by identifying features of a face present in an input face image, and a face authentication system indicates whose face is stored in a database in which a face existing in an input face image is stored. This is a system for determining a face-based identity verification system.

이러한 얼굴 분석 및 인증 시스템에 입력되는 얼굴 영상은 크기, 위치, 회전 상태가 통상 일정하지 않기 때문에 데이터베이스에 저장되어 있는 얼굴 영상과 비교하는 것이 불가능하므로 데이터베이스에 저장된 얼굴 영상과 같은 크기와 위치, 회전 상태로 통일시키는 정규화 과정이 선행되어야 한다. Since the face images input to the face analysis and authentication system are not usually constant in size, position, and rotation state, they cannot be compared with the face images stored in the database. Normalization process must be preceded.

얼굴 영상의 정규화 과정에서는 얼굴 영역내의 특징점이 필요하며, 얼굴 영역내의 특징점을 기준으로 입력된 얼굴 영상의 크기를 데이터베이스에 저장된 얼굴 영상의 크기와 같도록 작업을 한다. 이 경우, 얼굴 영역 내에서 눈은 아주 안정적이며 변화가 거의 없는 특징점으로 정규화 작업에 매우 유용하며, 찾은 눈의 위치가 정확하면 정확할수록 정규화가 잘 되기 때문에 얼굴 분석 및 인증 시스템의 성능은 향상된다. In the normalization process of the face image, the feature points in the face area are required, and the size of the input face image based on the feature points in the face area is equal to the size of the face image stored in the database. In this case, the eye is very stable and little change in the face area, which is very useful for normalization work, and the more accurate the position of the eye is found, the better the normalization is, which improves the performance of the face analysis and authentication system.

종래 기술로서 눈검출 장치 및 방법(국내특허번호: 0552709)에서는 입력 영상에서 윤곽선정보를 이용하여 눈의 후보를 찾고, 찾은 눈 후보들에 대한 윤곽선의 기하학적인 정보를 이용하여 눈 후보를 판별하였다. 그러나 이 방법은 조명 변화에 민감하고 양쪽 눈을 정확하게 찾았을 경우에만 눈 검출이 성공한 것으로 판단하는데 한쪽 눈을 잘못 찾았을 경우에는 다른 대체 검출 방법이 없기 때문에 눈 검출을 실패하게 되는 문제점이 있었다. In the prior art, an eye detection apparatus and method (Domestic Patent No. 0552709) finds a candidate of an eye using contour information in an input image, and determines an eye candidate using geometric information of an outline of the found eye candidates. However, this method is susceptible to changes in lighting and only when both eyes are found correctly, it is determined that the eye detection is successful. When one eye is incorrectly detected, there is a problem in that the eye detection fails because there is no alternative detection method.

본 발명이 이루고자 하는 기술적 과제는 조명 변화에 강인하며 검출된 눈에 대한 검증과 보정 처리를 통하여, 한쪽 눈만 올바르게 검출한 경우에도 다른 쪽 눈을 정확하게 찾을 수 있는 눈 검증 및 눈 위치 보정을 통한 눈 검출 방법을 제공하는 데 있다. The technical problem to be achieved by the present invention is robust to light changes and through the verification and correction process for the detected eye, even if only one eye is correctly detected eye detection through eye verification and eye position correction to find the other eye correctly To provide a way.

상기한 기술적 과제를 달성하기 위한 눈 검증 및 눈 위치 보정을 통한 눈 검출 방법은, Eye detection method through eye verification and eye position correction to achieve the above technical problem,

입력된 얼굴 영상에서 눈이 존재할 가능성이 있는 눈 후보 영역을 추출하는 단계; 추출한 각각의 눈 후보 영역에서 눈 검출 특징점을 통하여 눈 후보를 검출하는 단계; 각각의 눈 후보 영역에서 검출된 각각의 눈 후보와 반대편 눈 후보 영역간의 MCT 기반 상관맵에서 상관값이 피크값을 가지면 눈 후보가 정상적으로 검출된 것으로 판단하는 눈 검증 단계; 및 한쪽 눈의 후보가 잘못 검출된 경우, 정상적으로 검출된 눈과 반대편 눈 후보 영역간의 MCT 기반 상관맵에서 상관값이 피크값을 갖는 해당 좌표값으로 잘못 검출된 눈의 위치를 보정하는 단계를 포함함을 특징으로 한다. Extracting an eye candidate region in which an eye may exist in the input face image; Detecting eye candidates through eye detection feature points in each extracted eye candidate region; An eye verification step of determining that the eye candidate is normally detected when the correlation value has a peak value in the MCT-based correlation map between each eye candidate region detected in each eye candidate region and the opposite eye candidate region; And if the candidate of one eye is incorrectly detected, correcting the position of the wrongly detected eye with the corresponding coordinate value having the peak value in the MCT-based correlation map between the normally detected eye and the opposite eye candidate region. It is characterized by.

또한, 상기 학습 알고리즘은 AdaBoost 알고리즘임을 특징으로 한다.In addition, the learning algorithm is characterized in that the AdaBoost algorithm.

또한, 상기 MCT 기반의 패턴 상관맵에서의 좌, 우측 눈 후보 영역에서의 패턴간의 상관은 다음 수학식과 같이 In addition, the correlation between the patterns in the left and right eye candidate regions in the MCT-based pattern correlation map is expressed by the following equation.

Figure 112007046974933-pat00001
Figure 112007046974933-pat00001

해밍거리를 이용하여 산출되며, 여기서, PA(x,y), PB(x,y)는 각각 좌, 우측 눈 후보 영역에서의 패턴의 좌표값임을 특징으로 한다.Calculated using a Hamming distance, where P A (x, y) and P B (x, y) are the coordinate values of the pattern in the left and right eye candidate regions, respectively.

상기 눈 검증 단계는 상기 눈 검출 단계에서 검출된 한쪽 눈 후보와 다른 쪽 눈 후보 영역간의 MCT기반 패턴 상관맵에서 상관값이 피크값을 가질 경우에 눈으로 검증함을 특징으로 한다. The eye verification step is characterized in that the eye is verified when the correlation value has a peak value in the MCT-based pattern correlation map between one eye candidate region and the other eye candidate region detected in the eye detection step.

또한, 눈 검출 단계와는 별도로, 눈 검출 단계에서 사용할 눈 특징점들에 대한 데이터를 학습하는 단계를 포함할 수 있다. Also, apart from the eye detection step, the method may include learning data on eye feature points to be used in the eye detection step.

본 발명의 눈 검출 방법은 얼굴 분석 및 인증 시스템에서 사용되도록 구현할 수 있으며, 일반 PC환경 및 임베디드 시스템에서 사용할 수 있다. The eye detection method of the present invention can be implemented to be used in a face analysis and authentication system, and can be used in general PC environments and embedded systems.

이하 첨부 도면을 참조하여 본 발명의 바람직한 일 실시예를 상세히 설명하기로 한다. Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings.

도 1은 본 발명에 의한 눈 검출 방법을 설명하기 위한 흐름도이다.1 is a flowchart illustrating an eye detection method according to the present invention.

눈 검출 방법은 얼굴에서 왼쪽 눈 후보영역과 오른쪽 눈 후보영역을 추출하는 단계(100), 추출한 각각의 영역 내에서 눈 후보를 검출하는 단계(102), 검출된 각각의 눈 후보에 대해서 눈인지 아닌지를 판별하는 검증 단계(104), 검증한 결과에 대해서 잘못 검출된 눈이면 위치를 올바르게 보정하는 단계(106), 눈 검출 결과를 출력하는 단계(108)로 이루어져 있다.The eye detection method includes extracting a left eye candidate region and a right eye candidate region from a face (100), detecting an eye candidate within each extracted region (102), and whether or not it is an eye for each detected eye candidate. A verification step 104 for determining a step, correcting a position 106 if the eye is incorrectly detected with respect to the verification result, and outputting the eye detection result 108.

도 1에서 눈 후보 영역 추출 단계(100)는 평균적인 얼굴들의 기하학 정보를 바탕으로 얼굴의 좌우가 대칭이 되는 수직선과 눈이 존재 할 수 있는 얼굴영역의 수평선으로 두 후보 영역을 분리하는 단계이다.The eye candidate region extraction step 100 of FIG. 1 is a step of separating the two candidate regions into a vertical line in which the left and right faces are symmetrical and a horizontal line in the face region in which the eyes may exist based on the geometrical information of the average faces.

추출된 후보 영역 내에서 좌, 우측 각각의 눈을 찾는 눈 검출 단계(102)는 MCT기반의 AdaBoost 알고리즘을 적용한다. 이 단계에서 사용하는 눈 검출 특징점 데이터는 눈과 눈이 아닌 수많은 영상의 MCT를 가지고 AdaBoost 알고리즘으로 학습을 하여 얻어 낼 수 있다. 102 단계에서는 각각의 눈 후보 영역 내에서 하나의 눈 후보를 검출한다. In the eye detection step 102 of finding left and right eyes in the extracted candidate region, an MCT-based AdaBoost algorithm is applied. The eye detection feature point data used in this step can be obtained by learning with AdaBoost algorithm with MCT of numerous images other than eyes and eyes. In step 102, one eye candidate is detected in each eye candidate region.

눈 검증 단계(104)는 눈 검출 단계(102)에서 좌측과 우측 눈에 대한 후보영역 각각에서 검출한 눈 후보를 MCT기반의 패턴 상관맵을 이용하여 검증한다.The eye verification step 104 verifies the eye candidate detected in each of the candidate areas for the left and right eyes in the eye detection step 102 using an MCT-based pattern correlation map.

눈 위치를 보정하는 단계(106)에서는 눈 검증 단계(104)에서 잘못 검출된 눈으로 판별된 한쪽 눈 후보의 위치를 반대 쪽 눈 후보 영역의 MCT기반의 패턴 상관맵의 정보를 이용하여 올바른 눈 위치로 보정하여 눈 검출 성능을 향상시킨다.In step 106, the eye position is corrected using the MCT-based pattern correlation map information of the other eye candidate region. Improve the eye detection performance by correcting.

도 1과 위의 본 발명에 대한 개략적인 설명을 바탕으로 본 발명의 각 단계를 상세히 설명하기로 한다. Each step of the present invention will be described in detail with reference to FIG. 1 and the schematic description of the present invention above.

도 1의 눈 후보 영역을 분리하는 단계(100)에서는 입력된 얼굴 영상에 대해서 평균적인 얼굴 영상의 대칭성을 이용하여 얼굴 영상을 좌우로 분리를 하며, 각각의 분리된 좌우 영상 중에서 상측에 해당하는 1/2 부분을 선택하여 왼쪽과 오른쪽 눈의 후보 영역으로 추출한다. In the separating of the eye candidate region of FIG. 1, the face image is separated left and right using an average face image symmetry with respect to the input face image, and 1 corresponding to the upper side among the separated left and right images. Select / 2 part to extract as candidate area of left and right eyes.

여기서 각각의 후보 영역을 추출함으로서 얼굴 영상 전체에서 눈을 찾는 방법 대신에 눈이 존재할 만한 후보 영역에서만 눈 검출을 수행하여 눈 검출 시간을 단축시키고 효율성을 높일 수 있다. 또한 각각의 후보 영역은 눈 검증 단계에서의 MCT기반의 패턴 상관맵을 구하는데 사용된다. Here, by extracting each candidate region, instead of a method of finding eyes in the entire face image, eye detection may be performed only in candidate regions where eyes may exist to shorten eye detection time and increase efficiency. In addition, each candidate region is used to obtain an MCT-based pattern correlation map in the eye verification step.

눈 검출 단계(102)에서는 입력 얼굴 영상을 MCT로 변환한 영상에서 AdaBoost 학습 알고리즘을 통하여 얻어진 눈 검출 특징점 데이터를 통해서 각각의 눈 후보 영역에서 눈 후보를 검출한다. In the eye detection step 102, an eye candidate is detected in each eye candidate region through eye detection feature point data obtained through an AdaBoost learning algorithm in an image of an input face image converted into an MCT.

도 2는 본 발명에 적용되는 MCT를 설명하기 위한 도면이다. MCT는 입력 영상에서의 특정한 위치의 픽셀 부근의 3×3의 픽셀 블록(20)을 기반으로 한 휘도의 평균값과 3×3의 각각의 픽셀의 휘도를 비교하여 0 또는 1값으로 변환을 하여 최종적으로 9개의 0, 1로 이루어진 9비트 2진수를 10진수로 변환한 결과이다. 2 is a view for explaining the MCT applied to the present invention. The MCT compares the average value of the luminance based on the 3 × 3 pixel block 20 near the pixel at the specific position in the input image with the luminance of each pixel of the 3 × 3 and converts the result to 0 or 1, resulting in a final value. This is the result of converting a 9-bit binary number consisting of nine zeros and ones to a decimal number.

MCT는 다음과 같은 수학식 1로 나타낼 수 있다.MCT may be represented by Equation 1 below.

Figure 112007046974933-pat00002
Figure 112007046974933-pat00002

여기서

Figure 112007046974933-pat00003
는 접합 연산자이고, N'은 픽셀의 개수, I는 빛의 밝기를 나타내며, x는 픽셀 매트릭스 3×3에서 가운데 점의 벡터이며, y는 3×3에서 각 픽셀의 벡터를 나타내며, 좌표값 (x', y')으로 표기할 수 있다. here
Figure 112007046974933-pat00003
Is the junction operator, N 'is the number of pixels, I is the brightness of the light, x is the vector of the center points in the pixel matrix 3x3, y is the vector of each pixel at 3x3, and the coordinate value ( x ', y').

또한, C는 비교 함수로서 다음 수학식 2로 나타낼 수 있다. In addition, C may be represented by the following equation (2) as a comparison function.

Figure 112007046974933-pat00004
Figure 112007046974933-pat00004

도 2는 본 발명에 적용된 MCT(Modified Census Transform)를 설명하기 위한 도면으로서, 3×3의 픽셀 집합이 0, 1과의 집합으로 어떻게 변화하는지를 나타내고 있다. FIG. 2 is a diagram for explaining Modified Census Transform (MCT) applied to the present invention and shows how a 3 × 3 pixel set changes to a 0 and 1 set.

눈 검출 단계(102)에서 사용할 눈 검출 특징점 데이터 학습은 다수의 눈 영상과 눈이 아닌 영상을 AdaBoost 학습을 하여 얻을 수 있다. AdaBoost학습을 통하여 얻어진 분류기(classifier)는 수학식 1의 MCT로부터 다음 수학식 3으로 유도될 수 있다.Eye detection feature point data learning to be used in the eye detection step 102 may be obtained by AdaBoost learning of a plurality of eye images and non-eye images. A classifier obtained through AdaBoost learning may be derived from Equation 1 from MCT of Equation 1.

Figure 112007046974933-pat00005
Figure 112007046974933-pat00005

여기서, xt는 전체 영상에 있어서 각각 3×3 픽셀 블록에 대한 정 가운데 픽셀의 위치를 나타낸다. 상기 분류기를 이용하여 눈 검출 단계(102)에서 각각의 눈 후보 영역에서 눈 후보를 검출한다. 해당하는 눈 후보의 특징점들의 MCT값에 대한 픽셀 분류기의 합인 전체 분류기 H(Γ)가 사전에 설정된 임계치보다 작은 경우에는 해당 영역이 눈인 것으로 판단한다. Here, x t represents the position of the right center pixel with respect to the 3x3 pixel block in the whole image. The eye classifier detects an eye candidate in each eye candidate region using the classifier. If the total classifier H (Γ), which is the sum of the pixel classifiers for the MCT values of the feature points of the corresponding eye candidates, is smaller than a preset threshold, the corresponding region is determined to be an eye.

이와 같이 하여 각각의 눈 후보 영역에서 임계치가 가장 작은 해당 영역을 눈 후보 영역이라고 판단하여 눈 검출 단계(102)의 결과로 선택한다. In this way, the corresponding region having the smallest threshold value in each eye candidate region is determined as the eye candidate region and selected as the result of the eye detection step 102.

눈 검증 단계(104)에서는 눈 검출 단계(102)에서 검출한 눈 후보와 반대편 눈 후보 영역간의 MCT기반의 패턴 상관을 구하여 MCT기반의 패턴 상관맵을 생성한다. 여기서 MCT기반의 패턴이란 임의의 픽셀에서의 3×3 픽셀 블록(20)의 평균 밝기와 각각의 픽셀 밝기를 비교하여 0, 1의 패턴, 즉 각각의 픽셀에 대한 평균 밝기값인 90.1 보다 클 경우에는 1, 작을 경우에는 0으로 변환시킨 값을 갖는 픽셀 블 록(22)을 말한다. 도 2에서 64는 블록(22)의 이진값을 십진수로 표현하였을 경우의 값을 나타내며, MCT기반의 패턴 상관맵이란 눈 후보 영역의 각각의 위치와 눈 후보에 대한 MCT기반 패턴 상관을 계산한 것을 말한다. In the eye verification step 104, the MCT-based pattern correlation map is generated by obtaining the MCT-based pattern correlation between the eye candidate detected in the eye detection step 102 and the opposite eye candidate region. Here, the MCT-based pattern is compared with the average brightness of each 3 × 3 pixel block 20 at each pixel and the brightness of each pixel, and is larger than the pattern of 0, 1, that is, the average brightness value of each pixel is 90.1. 1 is a pixel block 22 having a value converted to 0 when small. In FIG. 2, 64 represents a value when the binary value of the block 22 is expressed in decimal, and the MCT-based pattern correlation map is calculated by calculating the MCT-based pattern correlation for each position and eye candidate of the eye candidate region. Say.

도 3은 MCT기반의 패턴을 설명하기 위한 것으로 3×3의 픽셀 블록이 MCT기반의 패턴으로 변화하는 일예를 도시한 도면이다. 도 2와 동일하게 3×3 픽셀 블록(30)의 MCT기반의 패턴이란 임의의 픽셀에서의 3×3 픽셀 블록(30)의 평균 밝기값인 39.4와 각각의 픽셀 밝기를 비교하여 도 2의 블록(22)과 같이 산출한 0, 1의 패턴을 2진수의 값(32)으로 표현한 것이다. FIG. 3 is a diagram illustrating an MCT-based pattern, and illustrates an example in which a 3 × 3 pixel block is changed to an MCT-based pattern. As in FIG. 2, the MCT-based pattern of the 3 × 3 pixel block 30 is a block of FIG. 2 by comparing each pixel brightness with 39.4, which is an average brightness value of the 3 × 3 pixel block 30 in an arbitrary pixel. The pattern of 0 and 1 computed as (22) is expressed by the binary value (32).

MCT기반의 패턴 P(x,y)는 다음과 같은 수학식 4로 표현한다.MCT-based pattern P (x, y) is expressed by the following equation (4).

Figure 112007046974933-pat00006
Figure 112007046974933-pat00006

여기서, b0 내지 b8은 2진수 값으로서, 도 3의 9개의 2진수 값(32)과 대응된다. 2진수 값은 다음 수학식 5로서 산출되며, 비교함수 C는 수학식 2와 동일하다.Here, b 0 to b 8 are binary values and correspond to nine binary values 32 of FIG. 3. The binary value is calculated as Equation 5 below, and the comparison function C is the same as Equation 2.

Figure 112007046974933-pat00007
Figure 112007046974933-pat00007

Figure 112007046974933-pat00008
Figure 112007046974933-pat00008

좌측과 우측의 얼굴 영상에서의 두 패턴 PA, PB 간의 상관은 수학식 6과 같이 해밍거리를 이용하여 다음 수학식 5와 같이 구할 수 있다.Correlation between two patterns P A and P B in the left and right face images may be obtained as shown in Equation 5 using Hamming distance as shown in Equation 6.

Figure 112007046974933-pat00009
Figure 112007046974933-pat00009

여기서, ρx,y 값은 0 내지 1의 사이 값을 갖는다. Here, the value of ρ x, y has a value between 0 and 1.

도 4a 및 도 4b는 MCT기반 패턴 상관맵을 설명하기 위한 도면으로서, 도 4a는 입력된 얼굴 영상에서 우측 눈에 대한 MCT기반 패턴 상관맵을 나타내며 도 4b는 좌측 눈썹에 대한 MCT기반 패턴 상관맵을 나타낸다. 4A and 4B are diagrams for explaining an MCT-based pattern correlation map. FIG. 4A shows an MCT-based pattern correlation map for the right eye in the input face image, and FIG. 4B shows an MCT-based pattern correlation map for the left eyebrow. Indicates.

MCT기반의 패턴 상관맵에서의 임계값을 이용하여 눈과 눈이 아닌 것에 대하여 판단할 수 있으며, 이 결과를 통하여 눈 후보가 눈인지 아닌지를 판별한다. 판별식은 다음 수학식 7과 같으며 R과

Figure 112007046974933-pat00010
는 상관 값의 비율과 그 임계값을 각각 나타낸다.The threshold value in the MCT-based pattern correlation map can be used to determine whether the eye and the eye are not, and the result determines whether the eye candidate is an eye or not. The discriminant is represented by Equation 7 below and R and
Figure 112007046974933-pat00010
Denotes the ratio of the correlation value and its threshold value, respectively.

Figure 112007046974933-pat00011
Figure 112007046974933-pat00011

눈이 정확하게 검출되었을 경우에는 도 4a와 같이 높은 상관값의 비율로서 예리한 피크가 생성되며, 예컨대, 눈이 우측 눈썹 위치에 있는 것으로 잘못 검출되었을 경우에는 도 4b와 같이 완만한 상관맵이 생성된다. When the eye is detected correctly, a sharp peak is generated as a ratio of a high correlation value as shown in FIG. 4A. For example, when the eye is incorrectly detected as being in the right eyebrow position, a smooth correlation map is generated as shown in FIG. 4B.

눈 위치 보정 단계(106)에서는 눈 검증 단계(104)에서 검증한 눈 후보에 대하여 눈 위치를 보정한다. 눈 검증 단계(104)를 통하여 4가지 다른 검증 결과를 얻을 수 있으며, 세부적으로 얼굴 영상의 좌측 눈 후보 영역과 우측 눈 후보 영역에 대해서 1) 눈과 눈, 2) 눈과 눈이 아닌 것, 3) 눈이 아닌 것과 눈, 4) 서로 눈이 아닌 경우의 검증 결과를 얻을 수 있다. The eye position correction step 106 corrects the eye position with respect to the eye candidate verified in the eye verification step 104. Four different verification results can be obtained through the eye verification step 104. Specifically, for the left eye candidate area and the right eye candidate area of the face image, 1) eyes and eyes, 2) eyes and non-eyes, 3 Verification results can be obtained for non-eye and 4) non-eye.

여기서 2)와 3)의 검증 결과에서는 눈 검증 단계(104)에서 얻은 MCT기반의 패턴 상관맵에서 피크값의 좌표를 통하여 잘못 검출된 눈의 위치를 보정할 수 있다. In the verification results of 2) and 3), an incorrectly detected eye position may be corrected through coordinates of peak values in the MCT-based pattern correlation map obtained in the eye verification step 104.

도 5a 및 도 5b는 본 발명에 의한 눈 위치 보정을 설명하기 위한 도면이다.5A and 5B are views for explaining eye position correction according to the present invention.

예컨대, 눈 검증 단계(104)에서 한쪽 눈이 잘못 검출된 것으로 판명된 경우, 올바르게 검출된 눈의 영역(A)을 기준으로 눈 검출에 실패한 좌측 눈 후보 영역과 MCT 기반으로 상관 맵을 하면, 올바르게 검출된 눈의 영역(A)의 눈동자와 일치하는 좌측 눈 후보의 특정 영역의 좌표에서 도 4a에서 도시된 바와 같이 첨예한 피크값을 갖는 패턴이 형성된다. For example, when one eye is found to have been incorrectly detected in the eye verification step 104, if the correlation map is based on the MCT based on the left eye candidate area that fails to detect the eye based on the correctly detected eye area A, A pattern having a sharp peak value is formed as shown in FIG. 4A at the coordinates of the specific area of the left eye candidate that coincides with the pupil of the detected area A of the eye.

이때, 잘못 검출된 좌측 눈(B)의 위치 좌표를 피크값을 갖는 패턴의 좌표값으로 대체하면 좌측 눈(C)의 정확한 위치로의 보정이 가능하여 도 5b와 같이 양쪽 눈을 정확히 검출할 수 있다. At this time, if the position coordinate of the left eye B, which is incorrectly detected, is replaced with the coordinate value of the pattern having the peak value, the left eye C can be corrected to the correct position, so that both eyes can be accurately detected as shown in FIG. 5B. have.

상술한 바와 같이, 본 발명의 눈 검출 방법은 한 쪽 눈만 정확하게 검출된 경우에도 잘못 검출된 다른 쪽의 눈의 위치를 패턴 상관맵에서 피크값의 좌표값으 로 보정하면 정확한 눈의 위치를 찾을 수 있기 때문에, 조명, 환경 변화에 매우 강인하며, 빠른 속도로 검출할 수 있는 효과를 제공한다. As described above, even if only one eye is accurately detected, the eye detection method of the present invention can find the correct eye position by correcting the position of the wrongly detected eye with the coordinate value of the peak value in the pattern correlation map. Therefore, it is very robust to lighting and environmental changes, and provides an effect that can be detected at high speed.

Claims (5)

입력된 얼굴 영상의 좌, 우측의 얼굴 영역에서 눈이 존재할 가능성이 있는 눈 후보 영역을 추출하는 단계; Extracting an eye candidate region in which eyes may be present in the left and right face regions of the input face image; 추출한 각각의 눈 후보 영역에서 눈 검출 특징점을 통하여 눈 후보를 검출하는 단계; Detecting eye candidates through eye detection feature points in each extracted eye candidate region; 각각의 눈 후보 영역에서 검출된 각각의 눈 후보와 반대편 눈 후보 영역간의 MCT 기반 상관맵을 통하여 눈 후보가 정상적으로 검출된 것으로 판단하는 눈 검증 단계; 및An eye verification step of determining that an eye candidate is normally detected through an MCT based correlation map between each eye candidate detected in each eye candidate region and an opposite eye candidate region; And 한쪽 눈의 후보가 잘못 검출된 경우, 정상적으로 검출된 눈과 반대편 눈 후보 영역간의 MCT 기반 상관맵에서 상관값이 피크값을 갖는 해당 좌표값으로 잘못 검출된 눈의 위치를 보정하는 단계를 포함함을 특징으로 하는 눈 검증 및 눈 위치 보정을 이용한 눈 검출 방법.Correcting the position of an incorrectly detected eye with a corresponding coordinate value having a peak value in an MCT-based correlation map between a normally detected eye and an opposite eye candidate region when a candidate of one eye is incorrectly detected. Eye detection method using eye verification and eye position correction characterized in that. 제 1항에 있어서, 상기 눈 검출하는 단계에서 눈 검출 특징점 데이터는 입력된 얼굴 영상을 MCT로 변환한 영상에서 학습 알고리즘을 통하여 구함을 특징으로 하는 눈 검증 및 눈 위치 보정을 이용한 눈 검출 방법.The eye detection method according to claim 1, wherein the eye detection feature point data is obtained by using a learning algorithm on an image obtained by converting an input face image into an MCT in the eye detection step. 제 2항에 있어서, 상기 학습 알고리즘은 AdaBoost 알고리즘임을 특징으로 하는 눈 검증 및 눈 위치 보정을 이용한 눈 검출 방법. The eye detection method of claim 2, wherein the learning algorithm is an AdaBoost algorithm. 제 1항에 있어서, 상기 눈 검증 단계는 각각의 눈 후보와 반대편 눈 후보 영역간의 MCT 기반 상관맵에서 상관값이 피크값을 가지면 해당 눈 후보가 정상적으로 검출된 것으로 판단함을 특징으로 하는 눈 검증 및 눈 위치 보정을 이용한 눈 검출 방법. The eye verification method of claim 1, wherein the eye verification step determines that the eye candidate is normally detected when the correlation value has a peak value in the MCT-based correlation map between each eye candidate and the opposite eye candidate region. Eye detection method using eye position correction. 제 1항에 있어서, 상기 MCT 기반의 패턴 상관맵에서의 좌, 우측 눈 후보 영역에서의 패턴간의 상관은 다음 수학식과 같이 The method of claim 1, wherein the correlation between the patterns in the left and right eye candidate regions in the MCT-based pattern correlation map is expressed by the following equation.
Figure 112007046974933-pat00012
Figure 112007046974933-pat00012
 해밍거리를 이용하여 산출되며, 여기서, PA(x,y), PB(x,y)는 각각 좌, 우측 눈 후보 영역에서의 패턴의 좌표값임을 특징으로 하는 눈 검증 및 눈 위치 보정을 이용한 눈 검출 방법.Calculated using the Hamming distance, where P A (x, y) and P B (x, y) are the coordinate values of the pattern in the left and right eye candidate regions, respectively. Eye detection method used.
KR1020070063837A 2007-06-27 2007-06-27 Eye detection method using eye verification and correction KR100903096B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020070063837A KR100903096B1 (en) 2007-06-27 2007-06-27 Eye detection method using eye verification and correction

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020070063837A KR100903096B1 (en) 2007-06-27 2007-06-27 Eye detection method using eye verification and correction

Publications (2)

Publication Number Publication Date
KR20080114361A KR20080114361A (en) 2008-12-31
KR100903096B1 true KR100903096B1 (en) 2009-06-16

Family

ID=40371461

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020070063837A KR100903096B1 (en) 2007-06-27 2007-06-27 Eye detection method using eye verification and correction

Country Status (1)

Country Link
KR (1) KR100903096B1 (en)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101051434B1 (en) * 2009-12-30 2011-07-22 전자부품연구원 Eye Recognition Method for Recognizing Eye Region from Face Image
KR101694820B1 (en) 2010-05-07 2017-01-23 삼성전자주식회사 Method and apparatus of recognizing location of user
KR101501410B1 (en) * 2014-02-28 2015-03-12 주식회사 에스원 Method for detecting a position of eye

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1196379A (en) 1997-09-18 1999-04-09 Nissan Motor Co Ltd Eye position detector
JP2000339476A (en) 1999-05-28 2000-12-08 Oki Electric Ind Co Ltd Eye position and face position detection device
JP2001022933A (en) 1999-07-07 2001-01-26 Mitsubishi Electric Corp Face image processor using two-dimensional template
KR20050111183A (en) * 2004-05-21 2005-11-24 삼성전자주식회사 Apparatus and method for detecting eyes

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1196379A (en) 1997-09-18 1999-04-09 Nissan Motor Co Ltd Eye position detector
JP2000339476A (en) 1999-05-28 2000-12-08 Oki Electric Ind Co Ltd Eye position and face position detection device
JP2001022933A (en) 1999-07-07 2001-01-26 Mitsubishi Electric Corp Face image processor using two-dimensional template
KR20050111183A (en) * 2004-05-21 2005-11-24 삼성전자주식회사 Apparatus and method for detecting eyes

Also Published As

Publication number Publication date
KR20080114361A (en) 2008-12-31

Similar Documents

Publication Publication Date Title
US9953211B2 (en) Image recognition apparatus, image recognition method and computer-readable medium
KR100651753B1 (en) Method for detecting eye using characteristics of symmetry and moment and apparatus thereof
US9864756B2 (en) Method, apparatus for providing a notification on a face recognition environment, and computer-readable recording medium for executing the method
US9262614B2 (en) Image processing device, image processing method, and storage medium storing image processing program
US9183447B1 (en) Object detection using candidate object alignment
US7929771B2 (en) Apparatus and method for detecting a face
US9563821B2 (en) Method, apparatus and computer readable recording medium for detecting a location of a face feature point using an Adaboost learning algorithm
US8325998B2 (en) Multidirectional face detection method
Kawulok et al. Precise multi-level face detector for advanced analysis of facial images
Abate et al. BIRD: Watershed based iris detection for mobile devices
US20180075291A1 (en) Biometrics authentication based on a normalized image of an object
Min et al. Eyelid and eyelash detection method in the normalized iris image using the parabolic Hough model and Otsu’s thresholding method
JP2016157420A (en) Image template masking
US20150146991A1 (en) Image processing apparatus and image processing method of identifying object in image
KR101515928B1 (en) Apparatus and method for face recognition using variable weight fusion
KR101074953B1 (en) Method for hybrid face recognition using pca and gabor wavelet and system thereof
KR100552709B1 (en) Apparatus and method for detecting eyes
US9087231B2 (en) Object determination device
US20060126939A1 (en) Apparatus and method for recognizing an image
KR100903096B1 (en) Eye detection method using eye verification and correction
KR20140078163A (en) Apparatus and method for recognizing human from video
CN112507767A (en) Face identification method and related computer system
JP6772059B2 (en) Electronic control devices, electronic control systems and electronic control methods
KR102026410B1 (en) Sytem for marker recognition and method therefor
KR20070041816A (en) An apparatus and method for detecting direction of fingerprint using morphology

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20130410

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20140326

Year of fee payment: 6

LAPS Lapse due to unpaid annual fee