KR101523765B1 - Enhanced Method for Detecting Iris from Smartphone Images in Real-Time - Google Patents
Enhanced Method for Detecting Iris from Smartphone Images in Real-Time Download PDFInfo
- Publication number
- KR101523765B1 KR101523765B1 KR1020130104817A KR20130104817A KR101523765B1 KR 101523765 B1 KR101523765 B1 KR 101523765B1 KR 1020130104817 A KR1020130104817 A KR 1020130104817A KR 20130104817 A KR20130104817 A KR 20130104817A KR 101523765 B1 KR101523765 B1 KR 101523765B1
- Authority
- KR
- South Korea
- Prior art keywords
- pupil
- eye
- circle
- detected
- detection
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
- G06V40/19—Sensors therefor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
- G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
- G06V10/446—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering using Haar-like filters, e.g. using integral image techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/48—Extraction of image or video features by mapping characteristic values of the pattern into a parameter space, e.g. Hough transformation
Abstract
스마트폰 영상에서 개선된 실시간 눈동자 검출 방법이 개시된다. 스마트폰 영상에서 개선된 실시간 눈동자 검출 방법은, 스마트폰의 영상(input images)을 입력받고, haar-like feature로 학습된 얼굴 및 눈 검출기를 이용하여 얼굴 영역과 눈 영역을 검출하고(face detection, eye detection)하며, 눈동자를 검출하기 위해 영상의 전처리 과정(preprocessing eye image)을 수행하는 단계; 상기 전처리 과정에서 첫 번째 프레임이 아닌 경우에 이전에 검출된 눈의 위치와 현재 검출된 눈의 위치 간의 차이를 구하여 이전에 검출된 얼굴 영역의 위치를 계산된 차이만큼 이동시켜 얼굴을 트래킹하고(face tracking), 얼굴의 전후 이동에 따라 눈동자크기의 변화를 줄이기 위해 검출된 눈 영역을 일정한 크기로 정규화하는 단계(normalize eye region); 다양한 조명 환경에서 눈동자 검출율과 성능을 향상시키기 위해 히스토그램 평활화(histogram equalization) 및 임계값(threadhold)에 의해 눈 이미지(eye image)를 흑과 백으로 이진화(binarization) 하는 단계; 눈동자를 검출하기 위해 먼저 검출할 원의 반지름 범위를 지정하기 위해 이진화 된 눈 영역의 영상에서 눈의 양쪽 끝점을 검출하는 단계(detect eye corners); 눈동자의 직경과 안구의 직경의 비율이 1 : 2.5 라는 점과 양쪽 끝점 간 거리를 이용하여 최소 범위의 눈동자 반지름 범위를 추정하고, 이를 통해 일정범위 내에서의 허프 원 변환(hough circle transform) 알고리듬을 수행하여 눈동자 후보들(candidate iris)을 검출하는 단계; 및 상기 검출된 눈동자 후보들에 대하여 눈동자의 위치를 결정하기 위해 눈동자 후보들의 중심점(x,y)와 반지름 r을 갖는 원에 내접하는 사각 영역에 대하여 평균 픽셀 값을 계산하고, 눈동자가 검출되면, 평균값이 일정 임계값 이하로 나타나는 눈동자 후보들 중에서 가장 낮은 평균을 보이는 위치를 눈동자의 위치(iris position)로 결정하는 단계를 포함한다. 이에 따라, 스마트폰 기반 실시간 생체인식 기술에 활용하여 눈동자를 검출하기 위해 입력 영상에서 얼굴과 눈을 검출하고, 눈 영역의 크기에 따라 눈동자의 크기가 변하는 것을 방지하도록 일정크기로 눈 영역을 정규화하며, 다양한 조명환경에서 눈동자가 검출이 가능하도록 히스토그램 평활화를 실시하고, 눈의 양쪽 끝점간의 거리를 구하여 영상에서 실제 눈동자의 크기를 포함하는 최소한의 눈동자 크기 범위를 계산하여 눈동자 검출시 허프 원 변환(hough circle transform)에 적용하여 연산량을 최소화하였으며 스마트폰 영상의 실시간 눈동자 검출에서 허프 원 변환 연산의 연산량 축소를 통한 눈동자 검출 속도 및 검출율이 개선되었다. An improved real-time pupil detection method in a smartphone image is disclosed. The improved real-time pupil detection method of a smartphone image receives input images of a smartphone, detects a facial region and an eye region using facial and eye detectors learned as a haar-like feature (face detection, performing a preprocessing eye image to detect a pupil; In the preprocessing process, the difference between the position of the previously detected eye and the position of the currently detected eye is obtained, and the position of the previously detected face region is shifted by the calculated difference to track the face a normalize eye region to normalize the detected eye region to reduce a change in the pupil size according to the back and forth movement of the face; Binarizing an eye image in black and white by histogram equalization and a threshold value to improve pupil detection rate and performance in various illumination environments; Detecting eye corners in the image of the binarized eye region to specify the radius range of the circle to be detected first to detect the pupil; The ratio of the diameter of the pupil to the diameter of the eyeball is 1: 2.5 and the distance between the two endpoints is used to estimate the minimum range of the pupil radius, and the hough circle transform algorithm within a certain range is estimated To detect candidate iris; And calculating an average pixel value for a square area in contact with a circle having a center point (x, y) and a radius r of the pupil candidates in order to determine the position of the pupil with respect to the detected pupil candidates, Determining an iris position of the pupil with a lowest average among the pupil candidates having a predetermined threshold value or less. Accordingly, in order to detect a pupil by utilizing a smart phone based real-time biometric recognition technology, a face and an eye are detected from an input image, and the eye region is normalized to a certain size to prevent the size of the pupil from changing according to the size of the eye region , Histogram smoothing is performed so that the pupil can be detected in various illumination environments, and the distance between both end points of the eye is obtained. Then, a minimum pupil size range including the actual pupil size is calculated from the image, circle transform, and the detection speed and detection rate of pupil are improved by reducing the computational complexity of Hough transform in the real - time pupil detection of smart phone images.
Description
본 발명은 스마트폰 영상에서 개선된 실시간 눈동자 검출 방법에 관한 것으로, 보다 상세하게는 스마트폰 기반 실시간 생체인식 기술에 활용하여 눈동자를 검출하기 위해 입력 영상에서 얼굴과 눈을 검출하고, 눈 영역의 크기에 따라 눈동자의 크기가 변하는 것을 방지하도록 일정크기로 눈 영역을 정규화하며, 다양한 조명환경에서 눈동자가 검출이 가능하도록 히스토그램 평활화를 실시하고, 눈의 양쪽 끝점간의 거리를 구하여 영상에서 실제 눈동자의 크기를 포함할 수 있는 최소한의 눈동자 크기 범위를 계산하여 눈동자 검출시 허프 원 변환(hough circle transform)에 적용하여 연산량을 최소화하였으며, 스마트폰 영상의 실시간 눈동자 검출에서 허프 원 변환 연산의 연산량 축소를 통한 눈동자 검출 속도 및 검출율이 개선된 스마트폰 영상에서 개선된 실시간 눈동자 검출 방법에 관한 것이다.
The present invention relates to an improved real-time pupil detection method in a smartphone image, and more particularly, to a smart-phone-based real-time biometric recognition technology for detecting a pupil by detecting a face and an eye in an input image, Normalize the eye region to a certain size so as to prevent the size of the pupil from varying, perform histogram smoothing so that the pupil can be detected in various illumination environments, and calculate the distance between both end points of the eye, The computation amount is minimized by applying the minimum pupil size range that can be included to the hough circle transform in detecting the pupil, and the pupil detection through reduction of the computation amount of the Hough transform in the real time pupil detection of the smartphone image Improved in smartphone video with improved speed and detection rate It relates to a time pupil detection method.
최근, IT융합기술의 발전에 따라 다양한 산업에서 생체인식 기술을 IT기술과 융합한 신 기술을 선보이고 있다. 특히 눈동자 인식 기술을 이용하여 스마트 디바이스의 화면을 제어할 수 있는 아이 스크롤링(eye scrolling), 아이 포즈(eye pause)와 같은 사용자 편의 제공 기술이 등장하고 있다. 또한 스마트카에서 IT기술 융합으로 운전자의 안전운전 서비스가 가능한 고 안전 지능형차량(Advanced Safety Vehicle : ASV)의 개발이 활발하게 이루어지고 있다. ASV 개발에는 여러 가지 안전기술이 탑재되며, 이 기술은 사고 예방 및 회피, 충돌 등 위험상황으로부터 운전자 및 탑승자를 보호하여 교통사고 및 피해를 줄일 수 있는 기술로 평가되고 있다.Recently, according to the development of IT convergence technology, various technologies are showing new technologies that combine biometrics technology with IT technology in various industries. In particular, user convenience technologies such as eye scrolling and eye pause that can control the screen of a smart device using a pupil recognition technology are emerging. In addition, the development of high safety intelligent vehicle (ASV) that can provide driver 's safe driving service through IT convergence in smart car is actively being developed. ASV development is equipped with various safety technologies, and it is evaluated as a technology that can reduce traffic accidents and damage by protecting the driver and passengers from accident prevention, avoidance, collision and other dangerous situations.
주요 안전기술 중 하나인 시선추적 시스템은 운전자 상태를 감시하는 시스템으로 운전자 정면에 설치된 카메라를 이용해서 운전자의 눈, 입과 같은 얼굴의 특징점을 추출하여 내부의 분석 장치에 의해 운전자의 졸음상태, 주시방향, 깜박임 등을 감지하여 위험상황으로 판단될 경우 운전자에게 경고하는 기술이다.Eye tracking system, which is one of the major safety technologies, is a system that monitors the driver's condition. It extracts facial feature points such as the driver's eyes and mouth by using the camera installed on the driver's front, Direction, and flicker, and warns the driver when a dangerous situation is determined.
이러한 기술들을 사용하기 위해 얼굴 검출, 눈 검출, 입 검출, 눈꺼풀 검출 등이 실시간으로 이루어져야 하며, 차량 외부로부터의 조명, 날씨 등 다양하게 변하는 조명환경에서 강건하게 검출할 수 있어야 한다. In order to use these technologies, face detection, eye detection, mouth detection, and eyelid detection should be performed in real time, and robust detection should be possible in various illumination environments such as illumination from outside the vehicle and weather.
기존에 연구된 눈동자 검출 방법은 눈 영역에서의 영역분할(segmentation) 방법과 눈동자의 형태를 이용한 검출 방법 등이 있다. 영역분할을 이용한 눈동자 검출 방법은 영상의 색상이나 명도를 이용하여 검출하는 방법으로 단순히 눈동자의 영역을 검출하기 위해 이 방법이 적합하지만, 눈동자의 중심점 및 눈동자의 크기와 같은 부가적인 정보를 얻기 위해 별도의 계산을 필요로 한다. 또한, 눈동자의 형태를 이용한 눈동자 검출의 대표적인 방법이 허프 원 변환을 이용한 방법인데, 눈동자가 원의 형태를 갖고 있다는 특징을 이용하여 눈동자를 검출한다. 이 방법은 형태적 특징을 이용하여 눈동자를 검출하게 되므로 눈동자 검출 후 중심점 및 반지름과 같은 부가적인 정보를 얻을 수 있다는 것이 장점이지만 원의 검출 시 지정되는 반지름의 범위가 넓을수록 또는 이미지의 복잡도가 높을수록 계산량이 많아지고 검출율이 떨어진다는 단점이 존재한다. Conventionally, the method of detecting a pupil is a segmentation method in the eye region and a detection method using a pupil shape. The method of detecting a pupil using the segmentation method is a method of detecting using the color or brightness of an image. In order to detect the region of the pupil simply, this method is suitable. However, in order to obtain additional information such as the center of the pupil and the size of the pupil, Lt; / RTI > In addition, a representative method of pupil detection using a pupil shape is a method using Hough transform, and pupils are detected using the feature that pupils have a circle shape. In this method, the pupil is detected using the morphological feature. Therefore, it is advantageous to obtain additional information such as the center point and radius after detection of the pupil. However, when the radius of the circle is wider or the image has a higher complexity There is a disadvantage that the amount of calculation increases and the detection rate decreases.
눈동자 검출 방법 중에 Retno Supriyanti가 최근에 발표한 제안한 방법은 검출되는 눈 영역의 크기에 따라 눈동자의 크기가 변하는 것을 고려하지 않고 반지름 범위를 넓게 지정하므로 검출되는 눈동자의 위치가 실제 눈동자의 위치와 일치하지 않는 문제가 있었다. Retno Supriyanti recently proposed a method for detecting pupil, which does not take into consideration the size of the pupil depending on the size of the detected eye region, and designates a wide range of radii. Therefore, the position of the detected pupil does not coincide with the position of the pupil There was no problem.
Klaus Toennies가 제안한 방법은 카메라의 초점 거리 값을 이용하여 카메라와 눈동자의 거리가 0.5m에서 5m 사이에 있다는 것을 가정하고, 해당 거리와 눈동자의 직경에 대한 비율을 계산하여 반지름 범위를 지정하게 되므로 넓은 반지름 범위를 사용하게 되어 연산량이 많다는 문제가 있었다.The method proposed by Klaus Toennies uses the focal length of the camera, assuming that the distance between the camera and the pupil is between 0.5m and 5m, calculates the ratio of the distance to the diameter of the pupil, There is a problem that the calculation amount is large because the radius range is used.
1. 관련 연구1. Related Research
1.1 Face detection algorithm1.1 Face detection algorithm
기존의 얼굴 등의 객체 검출 방법에는 대표적으로 haar-like feature를 이용한 검출 방법과 MCT(Modified Census Transform)영상을 이용한 검출 방법이 있으며, 두 방법 모두 adaboost를 기반으로한 객체 분류기(classifier) 생성 방법이다.Conventional face detection methods include haar-like feature detection and MCT (Modified Census Transform) detection. Both methods are based on adaboost, which is an object classifier generation method .
Haar-like feature 방법은 Viola와 Jones가 제안한 haar-like feature에 의해 검출할 객체의 특징들을 학습시켜 약 분류기(weak classifier)를 만들며, 약 분류기에 의해 강 분류기(strong classifier)를 생성하고 만들어진 강 분류기를 선형구조(cascade)로 연결하여 입력된 영상에서 객체를 검출하는 방법이다.The Haar-like feature method generates weak classifiers by learning the features of the objects to be detected by the haar-like features proposed by Viola and Jones, generates strong classifiers by weak classifiers, Is connected to a cascade, and the object is detected in the input image.
특징 값은 Haar-Like Feature의 흰 영역에 포함되는 픽셀들의 합에서 검은 영역에 포함되는 픽셀의 합의 차로 표현된다. 또한 이러한 픽셀의 합 계산은 적분 영상에 의해 매우 빠른 속도로 연산되며, haar-like feature에 의해 계산된 특징 값들을 adaboost 알고리즘에 적용하여 객체를 검출하기 위한 분류기를 생성한다. The feature value is represented by the difference of the sum of the pixels included in the black region from the sum of the pixels included in the white region of the Haar-Like Feature. In addition, the summation of these pixels is computed very fast by the integral image, and the feature values calculated by the haar-like feature are applied to the adaboost algorithm to generate a classifier for detecting the object.
Adaboost 알고리즘은 여러 개의 약 분류기(weak classifier)를 선형 조합하여 강 분류기(strong classifier)를 만드는 알고리즘으로, 여러번의 반복을 통하여 약 분류기를 생성한다. 이 때 약 분류기가 나타내는 에러를 최소화 하는 약 분류기를 획득하기 위하여 이전의 약 분류기에서 나타낸 오류 값이 클수록 더 높은 가중치를 주어 다음 약 분류기 생성 시 더 개선되어야할 분류기로 판단하여 오류 값을 점점 최소화 시키는 새로운 약 분류기를 생성하고 최종적으로 생성된 여러 개의 약 분류기들을 선형 조합하여 강 분류기를 생성한다. 생성된 강 분류기는 결정 트리 형태로 만들어지며 객체 검출 시 각 스테이지마다 존재하는 특징들의 위치와 임계값을 이용하여 검출할 객체인지 판별하게 되며, 모든 스테이지에 대하여 특징 값을 비교할 필요 없이 검출할 객체의 주요 몇 개의 특징만을 고려하여 판별하는데 이용한다.The Adaboost algorithm is an algorithm that creates a strong classifier by linearly combining several weak classifiers. The Adaboost algorithm generates a weak classifier by iteration over several iterations. In order to obtain a weak classifier that minimizes the error indicated by the weak classifier, the higher the error value shown in the former weak classifier is, the higher the weight is given to determine the classifier to be improved in the next weak classifier, We generate a new weak classifier and generate a strong classifier by linearly combining several weak classifiers that are finally generated. The generated strong classifier is made in the form of a decision tree, and it is determined whether the object is to be detected by using the positions and thresholds of the features existing in each stage at the time of object detection. It is used to distinguish only a few key features.
이러한 특징 기반의 얼굴 검출 방법은 다양한 조명에서도 얼굴 검출이 가능하다는 장점이 있으며, Jianguo Li가 최근에 발표한 방법은 SURF(Speeded Up Robust Features) 알고리즘을 기반으로 얼굴의 특징을 학습하여 에러를 발생시키는 약 분류기를 최소화하여 최종적으로 얻어지는 강 분류기 성능을 향상시켰다. 이 방법은 얼굴 검출 시 haar-like feature보다 더 적은 개수의 특징점을 이용하여 기존의 얼굴 검출 방법보다 향상된 검출 속도와 검출율을 나타낸다.This feature-based face detection method has the merit that face detection is possible in various illumination. Jianguo Li's recent method is to learn the feature of face based on SURF (Speeded Up Robust Features) The weak classifiers were minimized to improve the performance of the final steel separator. This method shows improved detection rate and detection rate over face detection method by using fewer number of feature points than face detection method.
1.2 허프 원 변환(hough circle transform)1.2 Hough circle transform
허프 원 변환은 영상에서 원의 형태를 검출하기 위해 중심점과 반지름을 찾는 방법으로 도 1에 도시된 바와 같이 반지름 r을 갖는 원 C에 대해서 원의 둘레에 위치하는 n개의 점을 중심으로 같은 r의 값을 갖는 n개의 원을 그렸을 때 n개의 원들이 서로 교차하는 지점 Pc(point of cross)를 알 수 있으며, 원 C의 중심이 가장 많은 교차점을 갖게 된다.The Hough transform is a method of finding a center point and a radius to detect the shape of a circle in an image. As shown in FIG. 1, for a circle C having a radius r, When you draw n circles with values, you can see the point P C where the n circles cross each other, and the center of circle C has the greatest number of intersections.
즉, 반지름 r의 값을 갖는 원 Cn의 중심점 (x, y)는 점(a, b)에서 반지름 r의 크기를 갖는 원의 둘레에 존재한다. 이를 식으로 표현하면 아래 수학식(1)과 같다.That is, the center point (x, y) of the circle Cn having the radius r exists around the circle having the radius r at the point (a, b). This can be expressed by the following equation (1).
이 때, 점(x, y)가 위치할 수 있는 원의 중심(a, b)는 반지름 r과 0~360°까지의 값에 대하여 다음과 같이 수학식(2)로 표현할 수 있다.At this time, the center (a, b) of the circle where the point (x, y) can be located can be expressed by the following equation (2) with respect to the radius r and the values from 0 to 360 degrees.
위 Equation 수학식(2)를 이용하여 원의 중심점을 찾기 위해 먼저 입력 영상의 외곽선(edge) 정보를 추출한다. 따라서 추출된 외곽선의 모든 점(x, y)에 대해 반지름 r의 크기 일 때, 0~360°까지의 값을 갖는 지점 (a, b)에 대해 hough space에 투표(vote)를 실시하여 높은 투표값이 나타나는 위치가 원의 중심점임을 알 수 있다.Above Equation (2) is used to extract the edge information of the input image first to find the center point of the circle. Therefore, for all the points (x, y) of the extracted outline, when the radius r is the size, the hough space is voted for the points (a, b) You can see that the position where the value appears is the center point of the circle.
상기한 문제점을 해결하기 위한 본 발명의 목적은 스마트폰 기반 실시간 생체인식 기술에 활용하여 눈동자를 검출하기 위해 입력 영상에서 얼굴과 눈을 검출하고, 눈 영역의 크기에 따라 눈동자의 크기가 변하는 것을 방지하기 위해 일정크기로 눈 영역을 정규화하며, 다양한 조명환경에서 눈동자가 검출이 가능하도록 히스토그램 평활화를 실시하고, 눈의 양쪽 끝점간의 거리를 구하여 영상에서의 실제 눈동자의 크기를 포함할 수 있는 최소한의 눈동자 크기 범위를 계산하여 허프 원 변환에 적용하여 연산량을 최소화하였으며, 눈 영상의 보정을 통해 복잡도를 낮추고, 눈의 양쪽 끝점 간의 거리를 구하여 원 검출 시 반지름 범위를 최소화함으로써 눈동자 검출의 계산량을 줄여 실시간에서 빠르게 눈동자를 검출하는, 스마트폰 영상에서 개선된 실시간 눈동자 검출 방법을 제공하는 것이다.
An object of the present invention to solve the above-mentioned problems is to provide a method and apparatus for detecting face and eye in an input image in order to detect a pupil by utilizing a smart phone-based real-time biometric recognition technology and to prevent the size of a pupil from changing The histogram smoothing is performed so that the pupil can be detected in various illumination environments and the distance between both end points of the eye is obtained to obtain a minimum pupil size that can include the actual pupil size in the image The calculation range of the size is applied to the Hough circle transformation to minimize the calculation amount. The complexity is reduced through the correction of the eye image and the distance between the two end points of the eye is obtained. By minimizing the radius range during the circle detection, Improved implementation of smartphone images to detect pupils rapidly To provide an eye detection method.
본 발명의 목적을 달성하기 위해, 스마트폰 영상에서 개선된 실시간 눈동자 검출 방법은, 스마트폰의 영상(input images)을 입력받고, haar-like feature로 학습된 얼굴 및 눈 검출기를 이용하여 얼굴 영역과 눈 영역을 검출하고(face detection, eye detection)하며, 눈동자(iris)를 검출하기 위해 영상의 전처리 과정(preprocessing eye image)을 수행하는 제1 단계; 상기 전처리 과정에서 첫 번째 프레임이 아닌 경우에 이전에 검출된 눈의 위치와 현재 검출된 눈의 위치 간의 차이를 구하여 이전에 검출된 얼굴 영역의 위치를 계산된 차이만큼 이동시켜 얼굴을 트래킹하고(face tracking), 얼굴의 전후 이동에 따라 눈동자크기의 변화를 줄이기 위해 검출된 눈 영역을 일정한 크기로 정규화하는 제2 단계(normalize eye region); 다양한 조명 환경에서 눈동자 검출율과 성능을 향상시키기 위해 히스토그램 평활화(histogram equalization) 및 임계값(threadhold)에 의해 눈 이미지(eye image)를 흑과 백으로 이진화(binarization) 하는 제3 단계; 눈동자를 검출하기 위해 먼저 검출할 원의 반지름 범위를 지정하기 위해 이진화 된 눈 영역의 영상에서 눈의 양쪽 끝점을 검출하는 제4 단계(detect eye corners); 눈동자의 직경과 안구의 직경의 비율이 1 : 2.5 라는 점과 양쪽 끝점 간 거리를 이용하여 최소 범위의 눈동자 반지름 범위를 추정하고, 이를 통해 일정범위 내에서의 허프 원 변환(hough circle transform) 알고리듬을 수행하여 눈동자 후보들(candidate iris)을 검출하는 제5 단계; 및 상기 검출된 눈동자 후보들에 대하여 눈동자의 위치를 결정하기 위해 눈동자 후보들의 중심점(x,y)와 반지름 r을 갖는 원에 내접하는 사각 영역에 대하여 평균 픽셀 값을 계산하고, 눈동자가 검출되면, 평균값이 일정 임계값 이하로 나타나는 눈동자 후보들 중에서 가장 낮은 평균을 보이는 위치를 눈동자의 위치(iris position)로 결정하는 제6 단계를 포함한다. In order to accomplish the object of the present invention, an improved real-time pupil detection method for a smartphone image is a method for detecting input of a smartphone image (input images), using face and eye detectors learned as a haar- A first step of detecting a region of eyes (face detection, eye detection), and performing a preprocessing eye image of an image to detect an iris; In the preprocessing process, the difference between the position of the previously detected eye and the position of the currently detected eye is obtained, and the position of the previously detected face region is shifted by the calculated difference to track the face a second step (normalize eye region) for normalizing the detected eye region to a predetermined size in order to reduce the change in pupil size according to the back and forth movement of the face; A third step of binarizing an eye image in black and white by histogram equalization and a threshold value to improve pupil detection rate and performance in various illumination environments; A fourth step of detecting both end points of the eye in the image of the binarized eye region to specify a radius range of the circle to be detected first to detect the pupil; The ratio of the diameter of the pupil to the diameter of the eyeball is 1: 2.5 and the distance between the two endpoints is used to estimate the minimum range of the pupil radius, and the hough circle transform algorithm within a certain range is estimated A fifth step of detecting candidate iris; And calculating an average pixel value for a square area in contact with a circle having a center point (x, y) and a radius r of the pupil candidates in order to determine the position of the pupil with respect to the detected pupil candidates, And a sixth step of determining an iris position of the pupil with a lowest average among the pupil candidates appearing below the predetermined threshold value.
상기 얼굴 검출과 상기 눈동자 검출은 haar-like feature 방법을 사용하는 것을 특징으로 한다. Wherein the face detection and the pupil detection use a haar-like feature method.
상기 눈동자 후보 검출은 허프 원 변환(hough circle transform) 알고리듬을 사용하는 것을 특징으로 한다. The pupil candidate detection is characterized by using a hough circle transform algorithm.
상기 제1 단계는 상기 눈 영역 검출 시 얼굴영역 내에서 눈의 특징을 갖고 있는 영역이 존재하면 양쪽 눈 외에 오검출 영역이 검출될 수 있으므로, 이를 방지하기 위해 검출된 얼굴 영역을 상단 영역과 하단 영역으로 나누어 상단 영역에서 검출된 눈 영역만을 올바르게 검출된 눈 영역으로 판단하며, 검출된 눈 영역들의 위치 관계를 이용하여 오른쪽 눈, 왼쪽 눈을 결정하는 것을 특징으로 한다. In the first step, when there is an area having an eye feature in the face area at the time of detecting the eye area, an erroneous detection area may be detected in addition to both eyes. To prevent this, the detected face area is divided into an upper area and a lower area And the right eye and the left eye are determined based on the positional relationship of the detected eye regions.
상기 제2 단계는, 정규화 된 눈 영역에서 눈썹 및 노이즈 등으로 인한 눈동자 검출의 정확도 저하를 방지하고 알고리즘의 연산량을 최소화하기 눈 영역을 수평으로 4등분하여 중심부의 2개 영역을 관심영역(ROI:Region of Interest)으로 설정하는 것을 특징으로 한다. The second step is to prevent the degradation of eyeball detection accuracy due to eyebrows and noise in the normalized eye region and to divide the eye region horizontally to minimize the computation amount of the algorithm, Region of Interest).
상기 제 2 단계는 상기 허프 원 변환(hough circle transform) 알고리듬을 사용하여 눈동자 후보 검출 시, 얼굴의 전후 이동에 따라 눈 영역의 크기가 변하게 되는데, 이에 따라 눈동자의 크기 또한 변하게 되므로 검출된 눈 영역은 In the second step, when the pupil candidate is detected using the hough circle transform algorithm, the size of the eye region is changed according to the back and forth movement of the face. Accordingly, the size of the pupil is also changed,
수학식(3) 
(W'과 H'은 정규화시킬 눈 영역의 가로 값, 세로 값, 현재 검출된 눈 영역의 가로 값과 세로 값인 W와 H를 이용하여 정규화를 시키기 위한 가로 비율 값 SW와 세로 비율 값 SH를 계산)을 사용하여 일정 크기로 정규화시켜 눈동자의 크기를 항상 일정한 크기로 나타나게 함으로써 허프 원 변환 시 검출할 원의 반지름 범위의 변화를 최소화하여 상기 허프 원 변환의 계산량을 줄여 눈동자 검출 성능을 향상시킨 것을 특징으로 한다. (W 'and H' are a horizontal value and a vertical value of the eye region to be normalized, a horizontal ratio value S W and a vertical ratio value S H for normalizing using the horizontal and vertical values of the currently detected eye region, , The pupil size is always displayed at a constant size, thereby minimizing the variation of the radius of the circle to be detected in the Huffone transform, thereby improving the pupil detection performance by reducing the calculation amount of the Huffone transform .
상기 제 5 단계는 추정된 반지름 범위를 이용하여 허프 원 변환(hough circle transform)을 수행하여 눈동자의 후보 위치를 검출하며, 눈동자 후보 위치 중 눈동자의 위치를 찾기 위해 원 내부의 평균 픽셀 값을 계산하여 눈동자의 위치를 결정하게 되는데, 히스토그램 평활화로 보정된 눈 영상에서 눈동자 영역은 항상 가장 어둡게 나타난다는 특징을 이용하여 후보 눈동자 위치에서의 실제 눈동자 위치를 찾아 눈동자의 위치를 결정하는 것을 특징으로 한다. In the fifth step, a hough circle transform is performed using the estimated radius range to detect a candidate position of the pupil. An average pixel value in a circle is calculated to find the position of the pupil among the pupil candidate positions The position of the pupil is determined by locating the actual pupil position at the candidate pupil position using the feature that the pupil region always appears darkest in the eye image corrected by the histogram smoothing.
상기 6 단계에서 눈동자의 위치를 결정하는 알고리즘(Algorithm for searching iris)은In
① 중심점 (x, y)와 반지름 r을 갖는 원 C를 원소로 하는 눈동자의 후보들의 집합 SC를 
② 집합 SC의 각각의 원소C1,C2,...,Cn 들에 대하여 다음 수학식(7)에 의해 원에 내접하는 정사각형 R1,R2,...,Rn을 구하는 단계;(2) For each of the elements C 1 , C 2 , ..., C n of the set S C , we obtain squares R 1 , R 2 , ..., R n in the circle by the following equation step;
③ 수학식(7) 
④ 직사각형 
⑤ 집합 
⑥ 집합 
위 알고리즘 ① 단계에서는 허프 원 변환을 통해 얻은 눈동자의 후보들을 집합 SC로 구성하며 하나의 후보는 원의 중심점 x, y와 반지름 값 r을 갖고, ② 단계에서는 원에 내접하는 정사각형을 구하며, 정사각형 Ri는 정사각형의 좌상단 꼭지점 위치 x',y'과 가로, 세로 값 width, height를 가지며, ③ 단계에서는 중심점 (x,y) 와 반지름이 r인 원에 내접하는 정사각형을 수평으로 등분하여 아래쪽의 직사각형을 선택하며, ④ 단계에서 이 직사각형 내부에 위치하는 픽셀들의 평균값의 집합 
In the step (1), the pupil candidates obtained through the Hough transform are composed of the set S C. One candidate has the center point x, y and the radius value r of the circle. In the
본 발명에 따른 스마트폰 영상에서 개선된 실시간 눈동자 검출 방법은 스마트폰 기반 실시간 생체인식 기술에 활용하여 눈동자를 검출하기 위해 입력 영상에서 얼굴과 눈을 검출하고, 눈 영역의 크기에 따라 눈동자의 크기가 변하는 것을 방지하기 위해 일정크기로 눈 영역을 정규화하며, 다양한 조명환경에서 눈동자가 검출이 가능하도록 히스토그램 평활화를 실시하고, 눈의 양쪽 끝점간의 거리를 구하여 영상에서의 실제 눈동자의 크기를 포함할 수 있는 최소한의 눈동자 크기 범위를 계산하여 눈동자 검출시 허프 원 변환에 적용함으로써 연산량을 최소화 하였으며, 눈 영상의 보정을 통해 복잡도를 낮추고, 눈의 양쪽 끝점 간의 거리를 구하여 원 검출 시 반지름 범위를 최소화함으로써 눈동자 검출의 계산량을 줄여 실시간에서 빠른 눈동자 검출 방법을 제공하는 효과가 있다. The improved real-time pupil detection method in the smartphone image according to the present invention detects the face and the eyes in the input image in order to detect the pupil by utilizing the smart phone-based real-time biometric recognition technology and measures the size of the pupil Normalizing the eye region to a certain size in order to prevent the eye from changing, performing histogram smoothing so that the pupil can be detected in various illumination environments, and calculating the distance between both end points of the eye to include the actual pupil size in the image By minimizing the amount of computation by applying the minimum pupil size range to the Hough circle transformation when detecting the pupil, the complexity is reduced through correction of the eye image, and the distance between both ends of the eye is obtained. In the real time. There is an effect of providing the law.
제안된 방법은 스마트폰 기반 실시간 생체인식 기술에 활용하여 눈동자를 검출하기 위해 입력 영상에서 haar-like feature 방법을 사용하여 얼굴과 눈을 검출하고, 눈 영역의 크기에 따라 눈동자의 크기가 변하는 것을 방지하도록 일정크기로 눈 영역을 정규화하며, 다양한 조명환경에서 눈동자가 검출이 가능하도록 히스토그램 평활화를 실시하고, 눈의 양쪽 끝점간의 거리를 구하여 영상에서 실제 눈동자의 크기를 포함할 수 있는 최소한의 눈동자 크기 범위를 계산하여 눈동자 검출시 허프 원 변환(hough circle transform)에 적용하여 연산량을 최소화하였으며, 밝은 조명과 어두운 조명에서 실험한 결과 기존 방법들과 비교하여 눈동자 검출 속도는 40% 이상, 검출율은 14% 이상 향상되었고, 스마트폰 영상의 실시간 눈동자 검출에서 허프 원 변환 연산의 연산량 축소를 통한 눈동자 검출 속도 및 검출율이 개선되었다.
The proposed method is applied to smart phone based real-time biometric recognition technology to detect eyes by detecting face and eye using haar-like feature method in input image and preventing the size of pupil from changing according to the size of eye area Normalizing the eye region to a certain size, performing histogram smoothing so that pupils can be detected in various illumination environments, and calculating a distance between both end points of the eye to obtain a minimum pupil size range The detection rate of pupil was more than 40% and the detection rate was more than 14% compared with the conventional methods. In the case of the pupil detection, the calculation amount was minimized by applying it to the hough circle transform. And in the real-time pupil detection of the smartphone image, The pupil detection rate and the detection rate is improved through small.
도 1은 허프 원 변환 실시예(hough circle transform example)를 나타낸 도면이다.
도 2는 본 발명에 따른 스마트폰 영상에서 개선된 실시간 눈동자 검출 방법의 알고리듬을 나타낸 플로챠트이다.
도 3은 얼굴과 눈이 검출된 눈 영역들의 위치 관계를 이용하여 오른쪽 눈, 왼쪽 눈을 결정하는 화면이다.
도 4는 눈의 좌표를 사용한 얼굴 트래킹(Face tracking by using eyes coordination)을 나타낸 도면이다.
도 5는 눈 영역 스케일의 정규화(Normalization of eye region scale)를 나타낸 도면이다.
도 6은 정규화 된 눈 영역에서 눈썹 및 노이즈 등으로 인한 눈동자 검출의 정확도 저하를 방지하고 알고리즘의 연산량을 최소화하기 위해 눈 영역을 수평으로 4등분하여 중심부의 2개 영역을 관심영역(ROI)으로 설정한 눈 영역의 관심영역(ROI of eye region)을 나타낸 도면이다.
도 7은 눈 이미지의 히스토그램 평활화(Histogram equalization of eye image)를 나타낸 도면이다.
도 8은 보정된 눈 영역 영상에서 눈동자와 눈의 외곽선 추출을 위해 밝은 조명 상태에서의 눈 영역 영상에서 눈동자와 눈의 외곽선 영역이 추출되는 최적의 임계값(threshold)을 실험을 통하여 지정하고, 임계값을 이용하여 이미지의 히스토그램을 구하고 눈 이미지 이진화(Eye image binarization)를 한 도면이다.
도 9는 보정된 눈 영역 영상에서 눈동자와 눈의 외곽선 추출을 위해 어두운 조명 상태에서의 눈 영역 영상에서 눈동자와 눈의 외곽선 영역이 추출되는 최적의 임계값(threshold)을 실험을 통하여 지정하고, 임계값을 이용하여 이미지의 히스토그램을 구하고 눈 이미지 이진화(Eye image binarization)를 한 도면이다.
도 10은 눈 이미지의 이진화(Binarization of eye image) 한 도면이다.
도 11은 눈동자를 포함하는 눈동자 범위를 구하기 위해 이진화 처리된 눈 영상에서 가장 오른쪽에 위치한 검은 픽셀과 가장 왼쪽에 위치한 검은 픽셀을 눈의 양쪽 끝점으로 추출(Extraction eye corners)하는 도면이다.
도 12는 눈동자 반지름 범위 계산(Calculation iris radius range)을 나타낸 도면이다.
도 13은 최대 눈동자 직경은 표 1과 같이 영상의 최초 10 프레임 동안 최소 눈동자 직경에 값을 1부터 10까지 증가시켜가면서 더했을 때, 가장 높은 검출율을 나타내는 α값을 결정하는 도면이다.
도 14는 전처리과정이 모두 끝난 후, 추정된 반지름 범위를 이용하여 허프 원 변환(hough circle transform)을 수행하여 눈동자의 후보 위치를 검출해내는 도면이다.
도 15는 임계값(threadhold)에 의한 이진화 된 눈 이미지(binary eye image)를 나타낸 도면이다.
도 16은 중심점 (x,y) 와 반지름이 r인 원에 내접하는 정사각형을 나타낸 도면이다.
도 17은 도 16과 같이 정사각형에서의 평균값을 구하게 될 경우 눈꺼풀에 의하여 평균값이 커지게 되어 눈동자의 검출율이 떨어지므로 하단부의 직사각형의 영역을 사용하는 도면이다.
도 18은 좌표계에서 눈동자의 위치(iris position)를 결정하는 도면이다.
도 19는 밝은 조명 상태에서 얼굴 검출과 눈을 검출하여 오른쪽 눈과 왼쪽 눈의 눈동자를 검출한 결과 화면이다.
도 20은 어두운 조명 상태에서 얼굴 검출과 눈을 검출하여 오른쪽 눈과 왼쪽 눈의 검출한 결과 화면이다.
도 21은 강한 조명환경이나 노이즈에 의해 눈의 양쪽 끝점을 올바르게 추정할 수 없는 경우, 눈동자의 크기 범위를 잘못 추정하므로 정확한 눈동자 검출이 어려웠던 화면(False detection of iris)이다. 1 is a diagram illustrating a hough circle transform example.
FIG. 2 is a flowchart illustrating an algorithm of an improved real-time pupil detection method in a smartphone image according to the present invention.
FIG. 3 is a screen for determining the right eye and the left eye using the positional relationship between the eyes and the eyes.
FIG. 4 is a diagram showing face tracking by using eyes coordination using eye coordinates. FIG.
5 is a diagram showing a normalization of eye region scale.
FIG. 6 is a diagram illustrating an example in which the eye region is divided into four halves in order to minimize the accuracy of detection of the pupil due to eyebrows and noise in the normalized eye region, and the two regions in the central region are set as ROIs And a ROI of an eye region.
FIG. 7 is a diagram illustrating a histogram equalization of an eye image. FIG.
FIG. 8 is a graph illustrating an example of an optimal threshold for extracting a pupil and an eye contour in an eye region image in a bright illumination state in order to extract a pupil and an eye contour in a corrected eye region image, And a histogram of the image is obtained by using the value of the eye image binarization.
FIG. 9 is a graph showing an optimal threshold value for extracting the pupil and eye contour regions in the eye region image in the dark illumination state for extracting the pupil and the eye contour in the corrected eye region image, And a histogram of the image is obtained by using the value of the eye image binarization.
10 is a view of a binarization of an eye image.
FIG. 11 is a diagram for extracting black pixels located at the rightmost position and black pixels located at the leftmost position in the binarized eye image to extreme eye corners to obtain a pupil range including the pupil.
FIG. 12 is a diagram showing a calculation iris radius range. FIG.
FIG. 13 is a diagram for determining the value of alpha which represents the highest detection rate when the maximum pupil diameter is increased while increasing the value to the minimum pupil diameter from 1 to 10 during the first 10 frames of the image as shown in Table 1. FIG.
FIG. 14 is a diagram showing a candidate position of a pupil by performing a hough circle transform using an estimated radius range after the preprocessing process is completed.
15 is a diagram showing a binary eye image by a threshold value.
16 is a diagram showing a square in contact with a circle having a center point (x, y) and a radius r.
FIG. 17 is a diagram using a rectangular region at the lower end because the average value of the eyeball becomes larger when the average value in the square is obtained as shown in FIG. 16, and the detection rate of the pupil is lowered.
18 is a diagram for determining the position of the pupil in the coordinate system.
FIG. 19 is a result screen of detecting the eyes of the right eye and the eyes of the left eye by detecting faces and eyes in a bright illumination state.
20 is a result screen of detecting the right eye and the left eye by detecting faces and detecting eyes in a dark illumination state.
FIG. 21 is a view (False detection of iris) in which it is difficult to accurately detect a pupil due to incorrect estimation of the pupil size range when both ends of the eye can not be correctly estimated due to a strong illumination environment or noise.
이하, 본 발명의 바람직한 실시예를 첨부된 도면을 참조하여 발명의 구성 및 동작을 상세하게 설명한다. Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings.
도 2는 본 발명에 따른 스마트폰 영상에서 개선된 실시간 눈동자 검출 방법의 알고리듬을 나타낸 플로챠트이다. FIG. 2 is a flowchart illustrating an algorithm of an improved real-time pupil detection method in a smartphone image according to the present invention.
스마트폰 영상에서 개선된 실시간 눈동자 검출 방법은 도 2에 도시된 바와 같이, 스마트폰 입력 영상에서 얼굴 검출, 눈 검출, 눈동자 검출과 같은 순서로 처리된다. 얼굴 검출과 눈 검출은 haar-like feature 방법을 사용하며, 눈동자(iris) 검출은 허프 원 변환(hough circle transform) 알고리듬을 사용한다. The improved real-time pupil detection method in the smartphone image is processed in the order of face detection, eye detection, and pupil detection in the smartphone input image as shown in FIG. Face detection and eye detection use a haar-like feature method, and eye iris detection uses a hough circle transform algorithm.
상기 방법은, 스마트폰의 입력 영상(input images)(S10)을 먼저 haar-like feature로 학습된 얼굴 및 눈 검출기를 이용하여 얼굴 영역과 눈 영역을 검출하고(face detection, eye detection)(S11, S12) 눈동자를 검출하기 위해 영상의 전처리 과정(preprocessing eye image)을 수행한다(S13). The method includes first detecting input images S10 of the smartphone using facial and eye detectors learned as a haar-like feature, and detecting facial regions and eye regions (S11, S12) A preprocessing eye image of the image is performed to detect the pupil (S13).
전처리 과정에서는 첫 번째 프레임이 아닌 경우에 이전에 검출된 눈의 위치와 현재 검출된 눈의 위치 간의 차이를 구하여 이전에 검출된 얼굴 영역의 위치를 계산된 차이만큼 이동시켜 얼굴을 트래킹한다(face tracking)(S14). 다음으로 얼굴의 전후 이동에 따라 눈동자크기 변화를 줄이기 위해 검출된 눈 영역을 일정한 크기로 정규화시키며(normalize eye region)(S15), 다양한 조명 환경에서 눈동자 검출율과 성능을 향상시키기 위해 히스토그램 평활화(histogram equalization) 및 임계값(threadhold)에 의해 눈 이미지(eye image)를 흑과 백으로 이진화(binarization)를 수행한다(S16). In the preprocessing process, when the frame is not the first frame, the difference between the position of the previously detected eye and the position of the currently detected eye is obtained, and the position of the previously detected face region is shifted by the calculated difference to track the face ) (S14). Next, in order to reduce the size change of the pupil according to the movement of the face, the detected eye region is normalized to a predetermined size (S15). In order to improve the pupil detection rate and performance in various illumination environments, histogram smoothing binarization of the eye image in black and white is performed by equalization and threshold value (S16).
눈동자를 검출하기 위해 먼저 검출할 원의 반지름 범위를 지정해야 하며, 이는 양쪽 눈 끝점간의 거리를 이용하여 구해진다. 눈의 양쪽 끝점은 이진화 된 눈 영역의 영상에서 가장 오른쪽에 위치한 검은 픽셀과 가장 왼쪽에 위치한 검은 픽셀을 확인하여 눈의 양쪽 끝점을 검출한다(detect eye corners)(S17). 일반적으로 눈동자의 직경과 안구의 직경의 비율이 1 : 2.5 라는 점과 양쪽 끝점 간 거리를 이용하여 최소 범위의 눈동자 반지름 범위를 추정하고, 이를 통해 일정범위 내에서의 허프 원 변환(hough circle transform) 알고리듬을 수행하여 눈동자 후보들(candidate iris)을 검출한다(S18).To detect the pupil, we first have to specify the radius range of the circle to be detected, which is obtained by using the distance between the end points of both eyes. Both end points of the eye detect both the black pixel located at the rightmost position and the black pixel located at the leftmost position in the image of the binarized eye region (detector eye corners) (S17). In general, the ratio of the diameter of the pupil to the diameter of the eyeball is 1: 2.5, and the range of the pupil radius is estimated using the distance between the two endpoints. Through this, the hough circle transform within a certain range is estimated. Algorithm to detect pupil candidates (candidate iris) (S18).
마지막으로 검출된 눈동자 후보들에 대하여 눈동자(iris)의 위치를 결정하기 위해 도 17에 도시된 바와 같이 눈동자 후보들의 중심점(x,y)와 반지름 r을 갖는 원에 내접하는 사각 영역에 대하여 평균 픽셀 값을 계산하고(S19), 눈동자가 검출되면(S20) 평균값이 일정 임계값 이하로 나타나는 눈동자 후보들 중에서 가장 낮은 평균을 보이는 위치를 눈동자의 위치(iris position)로 결정한다(S21). In order to determine the position of the iris with respect to the finally detected pupil candidates, as shown in Fig. 17, the average pixel value (x, y) is calculated for a rectangular area inwardly in contact with a circle having a center point (S19). If a pupil is detected (S20), the iris position of the pupil is determined as the position of the pupil with the lowest average among the pupil candidates whose average value is below a predetermined threshold (S21).
2. 제안하는 방법2. Suggested method
2. 1 눈동자 검출 방법2. 1 pupil detection method
눈동자 검출을 위해 먼저 얼굴 및 눈 영역 검출이 우선 수행되며 이 과정에서 haar-like feature 방법을 사용하여 얼굴 및 눈 영역을 검출한다. 눈 영역 검출 시 얼굴영역 내에서 눈의 특징을 갖고 있는 영역이 존재하면 양쪽 눈 외에 오검출 영역이 검출될 수 있으므로, 이를 방지하기 위해 도 3에 도시된 바와 같이 검출된 얼굴 영역을 상단 영역과 하단 영역으로 나누어 상단 영역에서 검출된 눈 영역만을 올바르게 검출된 눈 영역으로 판단한다. 또한, 검출된 눈 영역들의 위치 관계를 이용하여 오른쪽 눈, 왼쪽 눈을 결정한다. In order to detect pupil, face and eye region detection is performed first, and face and eye regions are detected using haar-like feature method. When an eye region is detected, if there is an eye region in the face region, an erroneous detection region may be detected in addition to both eyes. To prevent this, the detected face region is divided into an upper region and a lower region And determines only the eye region detected in the upper region as a correctly detected eye region. Further, the right eye and the left eye are determined using the positional relationship of the detected eye regions.
도 3은 얼굴과 눈이 검출된 눈 영역들의 위치 관계를 이용하여 오른쪽 눈, 왼쪽 눈을 결정하는 화면이다.FIG. 3 is a screen for determining the right eye and the left eye using the positional relationship between the eyes and the eyes.
본 발명에서는 얼굴 트래킹(face tracking)을 위해 도 4에 도시된 바와 같이 이전에 검출된 양쪽 눈의 위치와 현재 검출된 양쪽 눈의 위치의 차를 구하여 얼굴 영역의 차 위치 만큼 갱신한다. 따라서, 첫 프레임 또는 눈을 검출하지 못했을 때에만 얼굴 검출 알고리즘을 수행하도록 함으로써 전체적인 알고리즘 성능이 향상되도록 하였다.In the present invention, as shown in FIG. 4, for face tracking, the difference between the positions of both eyes detected previously and the positions of both eyes currently detected is obtained and updated by the difference position of the face region. Therefore, the face detection algorithm is performed only when the first frame or eye is not detected, thereby improving the overall algorithm performance.
도 4는 눈의 좌표를 사용한 얼굴 트래킹(Face tracking by using eyes coordination)을 나타낸 도면이다. FIG. 4 is a diagram showing face tracking by using eyes coordination using eye coordinates. FIG.
허프 원 변환 알고리듬을 사용하여 눈동자 후보 검출 시, 얼굴의 전후 이동에 따라 눈 영역의 크기가 변하게 되는데, 이에 따라 눈동자의 크기 또한 변하게 되므로 검출된 눈 영역은 수학식(3)을 사용하여 도 5에 도시된 바와 같이 일정 크기로 정규화시켜 눈동자의 크기를 항상 일정한 크기로 나타나게 함으로써 허프 원 변환 시 검출할 원의 반지름 범위의 변화를 최소화할 수 있다. 본 발명에서는 실험을 통하여 눈동자 검출 속도 및 정확성에서 만족할 수준의 성능을 보이는 크기로 정규화하였다. 수학식(3)에서 W'과 H'은 정규화시킬 눈 영역의 가로 값, 세로 값이며, 현재 검출된 눈 영역의 가로 값과 세로 값인 W와 H를 이용하여 정규화를 시키기 위한 가로 비율 값 SW와 세로 비율 값 SH를 구할 수 있다.In the detection of the pupil candidate using the Hough transform algorithm, the size of the eye region is changed according to the forward / backward movement of the face. Accordingly, since the size of the pupil is also changed, the detected eye region is calculated using Equation (3) As shown in the figure, the size of the pupil is constantly normalized to a predetermined size so that the variation of the radius of the circle to be detected in the Hough transform can be minimized. In the present invention, the test is normalized to a size that satisfies a satisfactory level in detection speed and accuracy of the pupil. In Equation (3), W 'and H' are the horizontal and vertical values of the eye region to be normalized. The horizontal and vertical ratio values S W And the vertical ratio value S H can be obtained.
도 5는 눈 영역 스케일의 정규화(Normalization of eye region scale)를 나타낸 도면이다. 5 is a diagram showing a normalization of eye region scale.
또한, 정규화 된 눈 영역에서 눈썹 및 노이즈 등으로 인한 눈동자 검출의 정확도 저하를 방지하고 알고리즘의 연산량을 최소화하기 위해 도 6에 도시된 바와 같이 눈 영역을 수평으로 4등분하여 중심부의 2개 영역을 관심영역(ROI:Region of Interest)으로 설정하였다.In order to prevent degradation of eyeball detection accuracy due to eyebrows and noise in the normalized eye region and to minimize the amount of computation of the algorithm, as shown in FIG. 6, the eye region is horizontally divided into four quarters, Region (ROI: Region of Interest).
도 6은 정규화 된 눈 영역에서 눈썹 및 노이즈 등으로 인한 눈동자 검출의 정확도 저하를 방지하고 알고리즘의 연산량을 최소화하기 위해 눈 영역을 수평으로 4등분하여 중심부의 2개 영역을 관심영역(ROI)으로 설정한 눈 영역의 관심영역(ROI of eye region)을 나타낸 도면이다. FIG. 6 is a diagram illustrating an example in which the eye region is divided into four halves in order to minimize the accuracy of detection of the pupil due to eyebrows and noise in the normalized eye region, and the two regions in the central region are set as ROIs And a ROI of an eye region.
또한, 관심영역(ROI:Region of Interest)으로 설정된 눈 영역을 도 7(A)와 같이 grayscale로 변환하고, 조명에 강인하게 눈동자를 검출하기 위해서는 영상의 조명 및 대비개선이 필요하므로 도 7(B)와 같이 히스토그램 평활화(histogram equalization)를 이용하여 눈 영역 영상의 대비를 보정하였다. 7 (B), since it is necessary to improve the illumination and contrast of the image in order to convert the eye region set as the region of interest (ROI) into grayscale as shown in FIG. 7A and to detect the eye stronger than the illumination, ) Were used to correct the contrast of the eye region images using histogram equalization.
도 7은 눈 이미지의 히스토그램 평활화(Histogram equalization of eye image)를 나타낸 도면이다. FIG. 7 is a diagram illustrating a histogram equalization of an eye image. FIG.
보정된 눈 영역 영상에서 눈동자와 눈의 외곽선 추출을 위해 도 8과 도 9와 같이 밝은 조명 상태와 어두운 조명 상태에서의 눈 영역 영상에서 눈동자와 눈의 외곽선 영역이 추출되는 최적의 임계값(threshold)을 실험을 통하여 지정하고, 임계값을 이용하여 이미지의 히스토그램을 구하고 눈 이미지를 이진화 하였을 때, 도 10과 같이 불필요한 피부 영역은 제거되고 눈동자와 외곽선 영역만 추출되는 것을 알 수 있다.In order to extract the outline of the pupil and the eye in the corrected eye region image, an optimal threshold value for extracting the outline region of the pupil and the eye is extracted from the eye region image in the bright illumination state and the dark illumination state as shown in FIGS. 8 and 9, When the histogram of the image is obtained using the threshold value and the eye image is binarized, it can be seen that the unnecessary skin area is removed as shown in FIG. 10, and only the pupil and the outline area are extracted.
도 8은 보정된 눈 영역 영상에서 눈동자와 눈의 외곽선 추출을 위해 밝은 조명 상태에서의 눈 영역 영상에서 눈동자와 눈의 외곽선 영역이 추출되는 최적의 임계값(threshold)을 실험을 통하여 지정하고, 임계값을 이용하여 이미지의 히스토그램을 구하고 눈 이미지 이진화(Eye image binarization)를 한 도면이다. FIG. 8 is a graph illustrating an example of an optimal threshold for extracting a pupil and an eye contour in an eye region image in a bright illumination state in order to extract a pupil and an eye contour in a corrected eye region image, And a histogram of the image is obtained by using the value of the eye image binarization.
도 9는 보정된 눈 영역 영상에서 눈동자와 눈의 외곽선 추출을 위해 어두운 조명 상태에서의 눈 영역 영상에서 눈동자와 눈의 외곽선 영역이 추출되는 최적의 임계값(threshold)을 실험을 통하여 지정하고, 임계값을 이용하여 이미지의 히스토그램을 구하고 눈 이미지 이진화(Eye image binarization)를 한 도면이다. FIG. 9 is a graph showing an optimal threshold value for extracting the pupil and eye contour regions in the eye region image in the dark illumination state for extracting the pupil and the eye contour in the corrected eye region image, And a histogram of the image is obtained by using the value of the eye image binarization.
도 10은 눈 이미지의 이진화(Binarization of eye image) 한 도면이다. 10 is a view of a binarization of an eye image.
눈동자를 포함하는 눈동자 범위를 구하기 위해 이진화 처리 된 눈 영상에서 가장 오른쪽에 위치한 검은 픽셀과 가장 왼쪽에 위치한 검은 픽셀을 도 11과 같이 눈의 양쪽 끝점으로 추출한다.In order to obtain the pupil range including the pupil, the black pixel located at the rightmost position and the black pixel located at the leftmost position in the binarized eye image are extracted at both ends of the eye as shown in FIG.
도 11은 눈동자를 포함하는 눈동자 범위를 구하기 위해 이진화 처리된 눈 영상에서 가장 오른쪽에 위치한 검은 픽셀과 가장 왼쪽에 위치한 검은 픽셀을 눈의 양쪽 끝점으로 추출(Extraction eye corners)하는 도면이다. FIG. 11 is a diagram for extracting black pixels located at the rightmost position and black pixels located at the leftmost position in the binarized eye image to extreme eye corners to obtain a pupil range including the pupil.
검출된 양쪽 끝점에서 눈동자의 크기 범위는 도 12와 수학식(4), (5), (6)에 의해 구해진다. Px와 Py는 눈의 왼쪽 끝점의 x, y값을 나타내며, P'x와 P'y 는 눈의 오른쪽 끝점의 x, y값을 나타낸다. 이를 이용하여 두 점간의 차이 x, y와 두 끝점간의 거리 L을 구한다. The range of the size of the pupil at the detected end points is obtained by the equations (4), (5), and (6) shown in FIG. P x and P y are the x and y values of the left end of the eye, and P ' x and P' y are the x and y values of the right end of the eye. Using this, we obtain the distance L between the two points x, y and the two end points.
도 12는 눈동자 반지름 범위 계산(Calculation iris radius range)을 나타낸 도면이다. Δx는 x축선 상에서의 양쪽 눈꼬리의 거리 값, Δy는 y축선 상에서의 양쪽 눈꼬리의 거리 값, 2r은 최소 눈동자 지름, r은 최소 눈동자의 반지름, L은 양쪽 눈꼬리간 거리, α값은 눈동자를 검출하는 허프 원 변환(hough circle transform) 알고리듬에서 사용되는 영상에서 원(circle)을 검출하기 위해 최대 눈동자 지름을 구하기 위해 계산된 값이다. FIG. 12 is a diagram showing a calculation iris radius range. FIG. Δx is the distance of both eye tails on the x axis, Δy is the distance of both eye tails on the y axis, 2r is the minimum pupil diameter, r is the radius of the minimum pupil, L is the distance between both tails, Is the value calculated to obtain the maximum pupil diameter to detect a circle in the image used in the hough circle transform algorithm.
일반적으로, 사람의 눈동자 직경은 10mm 정도이며, 안구의 직경은 25mm로 1 : 2.5의 비율을 갖는데, 여기서 두 끝점간 거리 L은 안구를 감싸고 있는 피부에 의해 구해진 거리이므로 안구의 직경보다 항상 작다는 가정을 할 수 있다. 따라서 비율 값을 사용하여 두 끝점간의 거리 L을 2.5로 나누었을 때 구해지는 눈동자의 직경은 실제 눈동자의 직경보다 항상 작으므로 이를 눈동자 검출을 위한 최소 눈동자 직경으로 지정한다. 최대 눈동자 직경은 표 1과 같이 영상의 최초 10 프레임 동안 최소 눈동자 직경에 값을 1부터 10까지 증가시켜가면서 더했을 때, 가장 높은 검출율을 나타내는 α값을 도 13과 같이 지정한다.In general, the pupil diameter is about 10 mm, and the diameter of the eyeball is 25 mm, which is 1: 2.5, where the distance L between the two ends is the distance taken by the skin surrounding the eyeball, I can make a home. Therefore, since the diameter of the pupil obtained when the distance L between the two end points is divided by 2.5 using the ratio value is smaller than the diameter of the actual pupil, it is designated as the pupil diameter for pupil detection. As shown in Table 1, when the maximum pupil diameter is increased while increasing the value to the minimum pupil diameter from 1 to 10 during the first 10 frames of the image, an a value indicating the highest detection rate is designated as shown in FIG.
도 13은 최대 눈동자 직경은 표 1과 같이 영상의 최초 10 프레임 동안 최소 눈동자 직경에 값을 1부터 10까지 증가시켜가면서 더했을 때, 가장 높은 검출율을 나타내는 α값을 결정하는 도면이다. FIG. 13 is a diagram for determining the value of alpha which represents the highest detection rate when the maximum pupil diameter is increased while increasing the value to the minimum pupil diameter from 1 to 10 during the first 10 frames of the image as shown in Table 1. FIG.
전처리과정이 모두 끝나면 추정된 반지름 범위를 이용하여 허프 원 변환을 수행하여 도 14와 같이 눈동자의 후보 위치를 검출해낸다.When the preprocessing process is completed, Hough transform is performed using the estimated radius range to detect the candidate position of the pupil as shown in FIG.
도 14는 전처리과정이 모두 끝난 후, 추정된 반지름 범위를 이용하여 허프 원 변환(hough circle transform)을 수행하여 눈동자의 후보 위치를 검출해내는 도면이다. FIG. 14 is a diagram showing a candidate position of a pupil by performing a hough circle transform using an estimated radius range after the preprocessing process is completed.
도 15는 임계값(threadhold)에 의한 이진화 된 눈 이미지(binary eye image)를 나타낸 도면이다. 15 is a diagram showing a binary eye image by a threshold value.
눈동자 후보 위치 중 눈동자의 위치를 찾기 위해 원 내부의 평균 픽셀 값을 계산하여 눈동자의 위치를 결정하게 되는데, 도 15와 같이 히스토그램 평활화로 보정된 눈 영상에서 눈동자 영역은 항상 가장 어둡게 나타난다는 특징을 이용하여 후보 눈동자 위치에서의 실제 눈동자 위치를 찾게 된다. 눈동자의 위치를 결정하는 알고리즘은 다음과 같다. The position of the pupil is determined by calculating the average pixel value in the circle to find the position of the pupil among the pupil candidate positions. In the eye image corrected by the histogram smoothing as shown in FIG. 15, the pupil region is always darkest And finds the actual pupil position at the candidate pupil position. The algorithm for determining the position of the pupil is as follows.
[Algorithm for searching iris][Algorithm for searching iris]
① 중심점 (x, y)와 반지름 r을 갖는 원 C를 원소로 하는 눈동자의 후보들의 집합 SC를 구한다. ① Find the set S C of pupil candidates whose origin is the circle C with the center point (x, y) and radius r.
② 집합 SC의 각각의 원소C1,C2,...,Cn 들에 대하여 다음 수학식(7)에 의해 원에 내접하는 정사각형 R1,R2,...,Rn을 구한다.(2) For each of the elements C 1 , C 2 , ..., C n of the set S C , squares R 1 , R 2 , ..., R n inwardly tangent to the circle are obtained by the following equation .
③ 구해진 R1,R2,...,Rn에 대하여 다음 수학식 (8)에 의해 n개의 직사각형 
④ 직사각형 
⑤ 집합 
⑥ 집합 
위 알고리즘 ① 단계에서는 허프 원 변환을 통해 얻은 눈동자의 후보들을 집합 SC로 구성하며 하나의 후보는 원의 중심점 x, y와 반지름 값 r을 갖는다. ② 단계에서는 원에 내접하는 정사각형을 도 16과 같이 구하며, 정사각형 Ri는 정사각형의 좌상단 꼭지점 위치 x',y'과 가로, 세로 값 width, height를 가진다.In the step (1), the pupil candidates obtained through the Hough transform are composed of the set S C , and one candidate has the center points x and y of the circle and the radius value r. In the step (2), a square inside the circle is obtained as shown in FIG. 16, and a square R i has an upper left vertex position x ', y' of the square and a horizontal and vertical width and height.
도 16은 중심점 (x,y) 와 반지름이 r인 원에 내접하는 정사각형을 나타낸 도면이다. 16 is a diagram showing a square in contact with a circle having a center point (x, y) and a radius r.
③ 단계에서는 도 17과 같이 중심점 (x,y)와 반지름 r을 갖는 원에 내접하는 정사각형을 수평으로 등분하여 아래쪽의 직사각형(R' =1/2 R, 여기서 R은 정사각형의 가로, 세로 길이)을 선택하며, ④ 단계에서 이 직사각형 내부에 위치하는 픽셀들의 평균값의 집합 
도 17은 도 16과 같이 정사각형에서의 평균값을 구하게 될 경우 눈꺼풀에 의하여 평균값이 커지게 되어 눈동자의 검출율이 떨어지므로 하단부의 직사각형의 영역을 사용하는 도면이다. FIG. 17 is a diagram using a rectangular region at the lower end because the average value of the eyeball becomes larger when the average value in the square is obtained as shown in FIG. 16, and the detection rate of the pupil is lowered.
또한, 눈동자 영역의 평균 픽셀값은 도 15와 같이 20이하 임을 알 수 있으므로, ⑤ 단계에서 임계값 T를 20으로 지정하여 만족하지 않는 후보위치를 제외하며, ⑥ 단계에서 남은 후보 위치들의 개수가 1개이면 후보에 해당되는 원 C를 눈동자의 위치로 선택한다. 이 때, 눈동자의 후보 위치가 2개 이상일 경우 가장 낮은 평균값을 나타내는 후보를 눈동자의 위치로 하여 도 18과 같이 찾을 수 있게 된다. In addition, since it is known that the average pixel value of the pupil region is 20 or less as shown in FIG. 15, the threshold T is set to 20 in
도 18은 좌표계에서 눈동자의 위치(iris position)를 결정하는 도면이다.
18 is a diagram for determining the position of the pupil in the coordinate system.
3. 실험결과 3. Experimental Results
제안한 방법은 밝은 조명상태와 어두운 조명상태에서 실험하였다. The proposed method was tested under bright and dark lighting conditions.
도 19는 밝은 조명 상태에서 얼굴 검출과 눈을 검출하여 오른쪽 눈과 왼쪽 눈의 눈동자를 검출한 결과이고, 도 20은 어두운 조명 상태에서 얼굴 검출과 눈을 검출하여 오른쪽 눈과 왼쪽 눈의 검출한 결과이다. FIG. 19 is a result of detecting the eyes of the right eye and the left eye by detecting faces and eyes in a bright illumination state, FIG. 20 is a view showing the result of detection of the right eye and the left eye to be.
본 발명에서 제안하는 방법은 편의를 위해 일반적으로 사용되고 있는 OpenCV를 이용하여 구현하였으며, 처리 환경은 1.6GHz Quad-Core, 2GB RAM의 안드로이드 기반 스마트폰에서 640*480 크기의 영상을 사용하였다. The method proposed by the present invention is implemented using OpenCV, which is generally used for convenience. In the processing environment, an image of 640 * 480 size is used in an Android-based smartphone of 1.6GHz Quad-Core and 2GB RAM.
표 2는 조명의 상태가 밝을 때와 어두울 때 100 프레임 길이의 정면만 응시하고 있는 눈동자 영상에 대해 기존의 Kalus Toennies 방법과 Retno Supriyanti 방법 및 본 발명에서 제안하는 방법으로 눈동자를 검출하였을 때의 검출 속도와 검출율을 나타낸다. Kalus Toennies가 제안한 방법은 일반적인 실내 조명에 대해서만 고려하였기 때문에 어두운 조명에서는 눈동자를 검출할 수 없었다. Table 2 shows the results of the Kalus Toennies method and Retno Supriyanti method and the method proposed in the present invention for the pupil image gazing only at the front face of 100 frames when the illumination state is bright and dark, And detection rate. The method proposed by Kalus Toennies was considered only for general indoor lighting, so pupils could not be detected in dark lighting.
또한, 제안한 방법에서도 도 21과 같이 강한 조명환경이나 노이즈에 의해 눈의 양쪽 끝점을 올바르게 추정할 수 없는 경우 눈동자의 크기 범위를 잘못 추정하므로 정확한 눈동자 검출이 어려웠다.Also, even in the proposed method, if the both ends of the eye can not be correctly estimated by the strong illumination environment or noise as shown in FIG. 21, it is difficult to accurately detect the pupil due to incorrect estimation of the pupil size range.
도 21은 강한 조명환경이나 노이즈에 의해 눈의 양쪽 끝점을 올바르게 추정할 수 없는 경우 눈동자의 크기 범위를 잘못 추정하여 정확한 눈동자 검출이 어려웠던 화면(False detection of iris)이다.
FIG. 21 is a screen (False detection of iris) in which it is difficult to accurately detect the pupil due to incorrect estimation of the size range of the pupil when both ends of the eye can not be correctly estimated due to a strong illumination environment or noise.
3. 결론 및 향후 연구방향3. Conclusion and Future Directions
본 발명은 haar-like feature 방법을 사용하여 얼굴 및 눈 영역을 검출하고, 눈 영역의 크기 정규화 및 양쪽 눈 끝점 검출을 통해 눈동자의 크기 범위를 추정함으로써 허프 원 변환(hough circle transform)에서의 계산량을 줄여 눈동자 검출 성능을 향상시켰다. 또한, 히스토그램 평활화(histogram equalization)를 이용하여 다양한 조명환경에서도 눈동자 검출이 가능하도록 하였다. 하지만 강한 조명에 의해 눈의 특징점이 소실되거나, 노이즈 등의 이유로 눈의 양쪽 끝점이 올바르게 검출되지 않는 경우에는 눈동자 크기 범위가 잘못 추정될 수 있다. 향후 연구에서는 조명에 견고한 정확한 눈의 양쪽 끝점을 추출하는 방법에 대하여 연구를 추진할 예정이다.
The present invention detects facial and eye regions using the haar-like feature method, estimates the size range of the pupil by normalizing the size of the eye region and detecting both eye ends to calculate the amount of calculation in the hough circle transform Thereby improving pupil detection performance. In addition, histogram equalization can be used to detect pupil in various illumination environments. However, if the eye's feature points are lost due to strong illumination, or if both ends of the eye are not detected correctly due to noise or the like, the pupil size range may be erroneously estimated. Future research will focus on how to extract both ends of the eye that are robust to illumination.
전술한 바와 같이 본 발명의 방법은 프로그램으로 구현되어 컴퓨터의 소프트웨어를 이용하여 읽을 수 있는 형태로 기록매체(CD-ROM, RAM, ROM, 메모리 카드, 하드 디스크, 광자기 디스크, 스토리지 디바이스 등)에 저장될 수 있다. As described above, the method of the present invention can be implemented as a program and recorded on a recording medium (CD-ROM, RAM, ROM, memory card, hard disk, magneto-optical disk, storage device, etc.) Lt; / RTI >
이상에서 설명한 바와 같이, 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진자가 하기의 특허청구범위에 기재된 본 발명의 기술적 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 또는 변형하여 실시할 수 있다.
While the present invention has been particularly shown and described with reference to exemplary embodiments thereof, it is clearly understood that the same is by way of illustration and example only and is not to be taken in conjunction with the present invention. The present invention can be variously modified or modified.
α: 눈동자를 검출하는 허프 원 변환(hough circle transform) 알고리듬에서 사용되는 영상에서 원(circle)을 검출하기 위해 최대 눈동자 지름을 구하기 위해 계산된 값α: The calculated value to obtain the maximum pupil diameter to detect a circle in the image used in the hough circle transform algorithm that detects the pupil
Claims (8)
스마트폰의 영상(input images)을 입력받고, haar-like feature로 학습된 얼굴 및 눈 검출기를 이용하여 얼굴 영역과 눈 영역을 검출하고(face detection, eye detection)하며, 눈동자(iris)를 검출하기 위해 영상의 전처리 과정(preprocessing eye image)을 수행하는 제1 단계;
전처리 과정에서 첫 번째 프레임이 아닌 경우에 이전에 검출된 눈의 위치와 현재 검출된 눈의 위치 간의 차이를 구하여 이전에 검출된 얼굴 영역의 위치를 계산된 차이만큼 이동시켜 얼굴을 트래킹하고(face tracking), 얼굴의 전후 이동에 따라 눈동자크기의 변화를 줄이기 위해 검출된 눈 영역을 일정한 크기로 정규화하는 제2 단계(normalize eye region);
다양한 조명 환경에서 눈동자 검출율과 성능을 향상시키기 위해 히스토그램 평활화(histogram equalization) 및 임계값(threadhold)에 의해 눈 이미지(eye image)를 흑과 백으로 이진화(binarization) 하는 제3 단계;
눈동자를 검출하기 위해 먼저 검출할 원의 반지름 범위를 지정하기 위해 이진화 된 눈 영역의 영상에서 가장 오른쪽에 위치한 검은 픽셀과 가장 왼쪽에 위치한 검은 픽셀을 확인하여 눈의 양쪽 끝점을 검출하는 제4 단계(detect eye corners);
눈동자의 직경과 안구의 직경의 비율이 1 : 2.5 라는 점과 양쪽 끝점 간 거리를 이용하여 최소 범위의 눈동자 반지름 범위를 추정하고, 이를 통해 일정범위 내에서의 허프 원 변환(hough circle transform)을 수행하여 눈동자 후보들(candidate iris)을 검출하는 제5 단계; 및
상기 검출된 눈동자 후보들에 대하여 눈동자의 위치를 결정하기 위해 눈동자 후보들의 중심점(x,y)와 반지름 r을 갖는 원에 내접하는 사각 영역에 대하여 평균 픽셀 값을 계산하고, 눈동자가 검출되면, 평균값이 일정 임계값 이하로 나타나는 눈동자 후보들 중에서 가장 낮은 평균을 보이는 위치를 눈동자의 위치(iris position)로 결정하는 제6 단계;
를 포함하는 스마트폰 영상에서 개선된 실시간 눈동자 검출 방법.A real-time pupil detection method improved in a smartphone image,
(Face detection and eye detection) using a facial and eye detector learned in a haar-like feature, and detecting a pupil (iris) A first step of performing a preprocessing eye image of the input image;
In the preprocessing process, the difference between the position of the previously detected eye and the position of the currently detected eye is obtained, and the position of the previously detected face region is shifted by the calculated difference to track the face (face tracking A second step (normalize eye region) for normalizing the detected eye region to a predetermined size in order to reduce a change in the size of the pupil according to the back and forth movement of the face;
A third step of binarizing an eye image in black and white by histogram equalization and a threshold value to improve pupil detection rate and performance in various illumination environments;
In order to detect a pupil, a fourth step of detecting both the black pixels located at the rightmost position and the black pixels located at the leftmost position in the image of the binarized eye region to designate the radius range of the circle to be detected first detect eye corners);
The ratio of the diameter of the pupil to the diameter of the eyeball is 1: 2.5 and the distance between both endpoints is used to estimate the minimum range of the pupil radius, thereby performing a hough circle transform within a certain range A fifth step of detecting pupil candidates (candidate iris); And
In order to determine the position of the pupil with respect to the detected pupil candidates, an average pixel value is calculated with respect to a rectangular area which is in contact with a circle having a center point (x, y) and a radius r of the pupil candidates, and when the pupil is detected, A sixth step of determining a position of the pupil with the lowest average among the pupil candidates appearing below a predetermined threshold as an iris position;
The method comprising the steps of:
상기 얼굴 검출과 상기 눈동자 검출은
haar-like feature 방법을 사용하는 것을 특징으로 하는 스마트폰 영상에서 개선된 실시간 눈동자 검출 방법.The method according to claim 1,
The face detection and pupil detection
haar-like feature method according to the present invention.
상기 눈동자(iris) 후보 검출은
허프 원 변환(hough circle transform) 알고리듬을 사용하는 것을 특징으로 하는 스마트폰 영상에서 개선된 실시간 눈동자 검출 방법.The method according to claim 1,
The iris candidate detection
Wherein a hough circle transform algorithm is used.
상기 제1 단계는
상기 눈 영역 검출 시 얼굴영역 내에서 눈의 특징을 갖고 있는 영역이 존재하면 양쪽 눈 외에 오검출 영역이 검출될 수 있으므로, 이를 방지하기 위해 검출된 얼굴 영역을 상단 영역과 하단 영역으로 나누어 상단 영역에서 검출된 눈 영역만을 올바르게 검출된 눈 영역으로 판단하며, 검출된 눈 영역들의 위치 관계를 이용하여 오른쪽 눈, 왼쪽 눈을 결정하는 것을 특징으로 하는 스마트폰 영상에서 개선된 실시간 눈동자 검출 방법.The method according to claim 1,
The first step
In the detection of the eye area, if there is an area having an eye feature in the face area, an erroneous detection area may be detected in addition to both eyes. To prevent this, the detected face area is divided into an upper area and a lower area, And the right eye and the left eye are determined based on the positional relationship of the detected eye regions.
상기 제2 단계는,
정규화 된 눈 영역에서 눈썹 및 노이즈 등으로 인한 눈동자 검출의 정확도 저하를 방지하고 알고리즘의 연산량을 최소화하기 눈 영역을 수평으로 4등분하여 중심부의 2개 영역을 관심영역(ROI:Region of Interest)으로 설정하는 것을 특징으로 하는 스마트폰 영상에서 개선된 실시간 눈동자 검출 방법.The method according to claim 1,
The second step comprises:
In order to prevent the degradation of accuracy of detection of pupil due to eyebrows and noise in the normalized eye area and to minimize the computation amount of the algorithm, the eye area is divided into 4 parts horizontally and the two areas of the center part are set as ROI Wherein the real-time pupil detection method is improved in a smartphone image.
상기 제 2 단계는
상기 허프 원 변환(hough circle transform) 알고리듬을 사용하여 눈동자 후보 검출 시, 얼굴의 전후 이동에 따라 눈 영역의 크기가 변하게 되는데, 이에 따라 눈동자의 크기 또한 변하게 되므로 검출된 눈 영역은
수학식(3)
(W'과 H'은 정규화시킬 눈 영역의 가로 값, 세로 값, 현재 검출된 눈 영역의 가로 값과 세로 값인 W와 H를 이용하여 정규화를 시키기 위한 가로 비율 값 SW와 세로 비율 값 SH를 계산)을 사용하여 일정 크기로 정규화시켜 눈동자의 크기를 항상 일정한 크기로 나타나게 함으로써 허프 원 변환 시 검출할 원의 반지름 범위의 변화를 최소화하여 상기 허프 원 변환의 계산량을 줄여 눈동자 검출 성능을 향상시킨 것을 특징으로 하는 스마트폰 영상에서 개선된 실시간 눈동자 검출 방법.The method according to claim 1 or 3,
The second step
When the pupil candidate is detected using the hough circle transform algorithm, the size of the eye region is changed according to the forward / backward movement of the face. Accordingly, since the size of the pupil is also changed,
Equation (3)
(W 'and H' are a horizontal value and a vertical value of the eye region to be normalized, a horizontal ratio value S W and a vertical ratio value S H for normalizing using the horizontal and vertical values of the currently detected eye region, , The pupil size is always displayed at a constant size, thereby minimizing the variation of the radius of the circle to be detected in the Huffone transform, thereby improving the pupil detection performance by reducing the calculation amount of the Huffone transform Wherein the real-time pupil detection method is improved in a smartphone image.
상기 제 5 단계는
추정된 반지름 범위를 이용하여 허프 원 변환(hough circle transform)을 수행하여 눈동자의 후보 위치를 검출하며, 눈동자 후보 위치 중 눈동자의 위치를 찾기 위해 원 내부의 평균 픽셀 값을 계산하여 눈동자의 위치를 결정하게 되는데, 히스토그램 평활화로 보정된 눈 영상에서 눈동자 영역은 항상 가장 어둡게 나타난다는 특징을 이용하여 후보 눈동자 위치에서의 실제 눈동자 위치를 찾아 눈동자의 위치를 결정하는 것을 특징으로 하는 스마트폰 영상에서 개선된 실시간 눈동자 검출 방법.The method according to claim 1,
The fifth step
A hough circle transform is performed using the estimated radius range to detect the candidate position of the pupil. The position of the pupil is determined by calculating the average pixel value in the circle to find the position of the pupil among the pupil candidate positions Wherein the pupil area is always darkest in the eye image corrected by the histogram smoothing, and the position of the pupil is determined by finding the actual pupil position at the candidate pupil position. Pupil detection method.
상기 6 단계에서
눈동자의 위치를 결정하는 알고리즘(Algorithm for searching iris)은
① 중심점 (x, y)와 반지름 r을 갖는 원 C를 원소로 하는 눈동자의 후보들의 집합 SC를
② 집합 SC의 각각의 원소C1,C2,...,Cn 들에 대하여 다음 수학식(7)에 의해 원에 내접하는 정사각형 R1,R2,...,Rn을 구하는 단계;
③ 수학식(7)
④ 직사각형
⑤ 집합
⑥ 집합
위 알고리즘 ① 단계에서는 허프 원 변환을 통해 얻은 눈동자의 후보들을 집합 SC로 구성하며 하나의 후보는 원의 중심점 x, y와 반지름 값 r을 갖고, ② 단계에서는 원에 내접하는 정사각형을 구하며, 정사각형 Ri는 정사각형의 좌상단 꼭지점 위치 x',y'과 가로, 세로 값 width, height를 가지며, ③ 단계에서는 중심점 (x,y) 와 반지름이 r인 원에 내접하는 정사각형을 수평으로 등분하여 아래쪽의 직사각형을 선택하며, ④ 단계에서 이 직사각형 내부에 위치하는 픽셀들의 평균값의 집합
In step 6 above
An algorithm for searching the pupil's position (Algorithm for searching iris)
The set of pupil candidates S C , whose elements are the circle C with the center point (x, y) and radius r
(2) For each of the elements C 1 , C 2 , ..., C n of the set S C , we obtain squares R 1 , R 2 , ..., R n in the circle by the following equation step;
(3) Equation (7)
④ Rectangle
⑤ Set
⑥ Set
In the step (1), the pupil candidates obtained through the Hough transform are composed of the set S C. One candidate has the center point x, y and the radius value r of the circle. In the step 2, a square in the circle is obtained. R i has the upper left vertex position x ', y' of the square and the horizontal and vertical values width and height. In step ③, the square inside the circle with the center point (x, y) and the radius r is divided horizontally, A rectangle is selected, and in step 4, a set of averages of pixels located inside the rectangle
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020130104817A KR101523765B1 (en) | 2013-09-02 | 2013-09-02 | Enhanced Method for Detecting Iris from Smartphone Images in Real-Time |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020130104817A KR101523765B1 (en) | 2013-09-02 | 2013-09-02 | Enhanced Method for Detecting Iris from Smartphone Images in Real-Time |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20150027393A KR20150027393A (en) | 2015-03-12 |
| KR101523765B1 true KR101523765B1 (en) | 2015-05-29 |
Family
ID=53022735
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020130104817A KR101523765B1 (en) | 2013-09-02 | 2013-09-02 | Enhanced Method for Detecting Iris from Smartphone Images in Real-Time |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR101523765B1 (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10869028B2 (en) | 2016-10-05 | 2020-12-15 | Samsung Electronics Co., Ltd. | Object tracking method and apparatus and three-dimensional (3D) display apparatus using the same |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101717222B1 (en) * | 2015-04-24 | 2017-03-17 | 가천대학교 산학협력단 | System for detecting gaze and method therefor |
| KR101997479B1 (en) | 2015-10-20 | 2019-10-01 | 삼성전자주식회사 | Detecting method and apparatus of biometrics region for user authentication |
| KR101866867B1 (en) * | 2016-12-07 | 2018-06-14 | 주식회사 쓰리이 | Method for detecting center of pupil |
| KR101969766B1 (en) * | 2017-07-24 | 2019-04-17 | 주식회사 제이투씨 | Apparatus and method for recognizing iris |
-
2013
- 2013-09-02 KR KR1020130104817A patent/KR101523765B1/en active IP Right Grant
Non-Patent Citations (4)
| Title |
|---|
| 논문1 * |
| 논문2 * |
| 논문3 * |
| 논문4 * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10869028B2 (en) | 2016-10-05 | 2020-12-15 | Samsung Electronics Co., Ltd. | Object tracking method and apparatus and three-dimensional (3D) display apparatus using the same |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20150027393A (en) | 2015-03-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8837773B2 (en) | Apparatus which detects moving object from image and method thereof | |
| Ghimire et al. | A robust face detection method based on skin color and edges | |
| KR101653278B1 (en) | Face tracking system using colar-based face detection method | |
| KR101523765B1 (en) | Enhanced Method for Detecting Iris from Smartphone Images in Real-Time | |
| US9646215B2 (en) | Eye part detection apparatus | |
| US10521659B2 (en) | Image processing device, image processing method, and image processing program | |
| CN105956578A (en) | Face verification method based on identity document information | |
| Min et al. | Eyelid and eyelash detection method in the normalized iris image using the parabolic Hough model and Otsu’s thresholding method | |
| Kawulok et al. | Precise multi-level face detector for advanced analysis of facial images | |
| CN110728185B (en) | Detection method for judging existence of handheld mobile phone conversation behavior of driver | |
| CN103425985B (en) | A kind of face wrinkles on one's forehead detection method | |
| TWI415032B (en) | Object tracking method | |
| KR100664956B1 (en) | Method and apparatus for eye detection | |
| Gilly et al. | A survey on license plate recognition systems | |
| CN111553214B (en) | Method and system for detecting smoking behavior of driver | |
| Feng et al. | Iris localization with dual coarse-to-fine strategy | |
| Guo et al. | Iris extraction based on intensity gradient and texture difference | |
| Alkassar et al. | Efficient eye corner and gaze detection for sclera recognition under relaxed imaging constraints | |
| Ohkawa et al. | Fast Combined Separability Filter for Detecting Circular Objects. | |
| Rajeshwari et al. | Survey on skin based face detection on different illumination, poses and occlusion | |
| Tao et al. | Automatic localization of human eyes in complex background | |
| CN110321828B (en) | Front vehicle detection method based on binocular camera and vehicle bottom shadow | |
| Poursaberi et al. | Modified multiscale vesselness filter for facial feature detection | |
| Akrout et al. | Three-dimensional head-pose estimation for smart Iris recognition from a calibrated camera | |
| CN107180244B (en) | Image detection method and device based on cascade classifier |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| AMND | Amendment | ||
| E601 | Decision to refuse application | ||
| AMND | Amendment | ||
| GRNT | Written decision to grant | ||
| X701 | Decision to grant (after re-examination) |