KR101712673B1 - Apparatus and Method for Detecting Center of Pupil - Google Patents

Apparatus and Method for Detecting Center of Pupil Download PDF

Info

Publication number
KR101712673B1
KR101712673B1 KR1020100110944A KR20100110944A KR101712673B1 KR 101712673 B1 KR101712673 B1 KR 101712673B1 KR 1020100110944 A KR1020100110944 A KR 1020100110944A KR 20100110944 A KR20100110944 A KR 20100110944A KR 101712673 B1 KR101712673 B1 KR 101712673B1
Authority
KR
South Korea
Prior art keywords
candidate region
pupil
center
pupil center
algorithm
Prior art date
Application number
KR1020100110944A
Other languages
Korean (ko)
Other versions
KR20120049605A (en
Inventor
이희경
차지훈
김진웅
박강령
조철우
권수영
이현창
이원오
Original Assignee
한국전자통신연구원
동국대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원, 동국대학교 산학협력단 filed Critical 한국전자통신연구원
Priority to KR1020100110944A priority Critical patent/KR101712673B1/en
Publication of KR20120049605A publication Critical patent/KR20120049605A/en
Application granted granted Critical
Publication of KR101712673B1 publication Critical patent/KR101712673B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/155—Segmentation; Edge detection involving morphological operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/344—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving models

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Studio Devices (AREA)

Abstract

동공 중심 검출 장치 및 방법이 개시된다. 본 발명의 실시예들에 따르면, 사용자의 동공 중심을 검출하기 위해서 아다부스트 알고리즘 및 캠쉬프트 알고리즘 중 적어도 하나를 선택적으로 적용하여 후보 영역을 검출함으로써, 처리 속도를 감소시키고, 검출 성공률을 높일 수 있다. 또한, 후보 영역에 대해서 원형 검출 알고리즘을 적용하여 초기 동공 중심을 검출하고, 초기 동공 중심에 대해서 지역적 이진화 과정, 라벨링 과정 및 무게중심 연산 과정을 순차적으로 적용하여 동공 중심을 검출함으로써, 동공의 불규칙한 모양 및 관찰 형태에 상관 없이 정확한 동공 중심을 검출할 수 있다.A pupil center detecting apparatus and method are disclosed. According to embodiments of the present invention, by selectively applying at least one of an adaboost algorithm and a camshift algorithm to detect a pupil center of a user to detect a candidate region, the processing speed can be reduced and the detection success rate can be increased . In addition, by detecting a pupil center by applying a circular detection algorithm to the candidate region, detecting the pupil center by sequentially applying a regional binarization process, a labeling process, and a gravity center calculation process to the initial pupil center, And the exact pupil center can be detected regardless of the observation form.

Description

동공 중심 검출 장치 및 방법{Apparatus and Method for Detecting Center of Pupil}BACKGROUND OF THE INVENTION 1. Field of the Invention [0001] The present invention relates to an apparatus and method for detecting a pupil center,

본 발명에 따른 실시예들은 동공 중심 검출 장치 및 방법에 관한 것으로서, 보다 구체적으로는 실시간으로 사용자의 동공 중심을 검출할 수 있는 장치 및 방법에 관한 것이다.Embodiments of the present invention relate to a pupil center detection apparatus and method, and more particularly, to an apparatus and method for detecting a pupil center of a user in real time.

최근 컴퓨터, IPTV 등 다양한 분야에서 사용자가 어느 위치를 응시하고 있는지를 파악하기 위한 기술에 대한 연구 활동이 활발하다. In recent years, research activities have been actively conducted on technologies for understanding where users are gazing in various fields such as computer and IPTV.

이러한 사용자의 시선을 파악하기 위한 방법 중 하나로서, 사용자의 동공 중심을 검출함으로써, 사용자의 시선을 파악하는 방법이 있다. As one method for grasping such a user's gaze, there is a method of grasping the user's gaze by detecting the center of the user's pupil.

동공의 중심 검출을 위한 종래기술에는 입력된 눈 영상을 HSV 칼라 변환 후 V 영상에 대하여 Otsu 방법을 적용하여 이진화하고 능동 외곽선 모델을 이용하여 동공 영역을 검출하는 방법, 입력된 눈 영상에서 원형 검출 방법을 이용하여 영상 내에서 원 형태의 영역을 찾고 그 영역을 기준으로 일정 영역을 이진화하여 이진화된 영상의 무게중심을 구하는 방법 등이 있다.Conventional techniques for detecting the center of a pupil include a method of binarizing the inputted eye image by applying the Otsu method to the V image after HSV color transformation and detecting the pupil region using the active contour model, And finding a center of gravity of the binarized image by binarizing a certain region based on the region.

하지만 상술한 것과 같은 종래 방법으로는 고해상도의 눈 영상에서 동공 중심을 추적하기에는 처리 속도의 문제나 영상 내에서 눈 이외의 다른 부분(눈썹, 안경테 등)이 들어 왔을 시 눈 영역 검출의 문제, 이진화 임계치를 수동 설정해야 하는 등의 문제가 있다. However, according to the conventional method as described above, it is difficult to track the center of the pupil in the high-resolution eye image, the problem of the detection of the eye region when a portion other than the eye (eyebrows, eyeglass frames, etc.) There is a problem in that it is necessary to manually set the temperature.

본 발명의 실시예들은 사용자의 동공 중심을 검출하기 위해서 아다부스트 알고리즘 및 캠쉬프트 알고리즘 중 적어도 하나를 선택적으로 적용하여 후보 영역을 검출함으로써, 처리 속도를 감소시키고, 검출 성공률을 높이는데 그 목적이 있다.Embodiments of the present invention aim to reduce the processing speed and increase the detection success rate by selectively applying at least one of the adaboost algorithm and the camshift algorithm to detect the pupil center of the user to detect the candidate region .

또한, 본 발명의 실시예들은 후보 영역에 대해서 원형 검출 알고리즘을 적용하여 초기 동공 중심을 검출하고, 초기 동공 중심에 대해서 지역적 이진화 과정, 라벨링 과정 및 무게중심 연산 과정을 순차적으로 적용하여 동공 중심을 검출함으로써, 동공의 불규칙한 모양 및 관찰 형태에 상관 없이 정확한 동공 중심을 검출하는데 그 목적이 있다.In addition, embodiments of the present invention detect an initial pupil center by applying a circular detection algorithm to a candidate region, sequentially apply a local binarization process, a labeling process, and a center-of-gravity process to the initial pupil center to detect a pupil center Thereby detecting an accurate pupil center irrespective of irregular shapes and observation forms of the pupil.

본 발명의 일실시예에 따른 동공 중심 검출 장치는 아다부스트(AdaBoost) 알고리즘 및 캠쉬프트(CAMShift) 알고리즘 중 적어도 하나를 적용하여, 사용자에 대한 눈 영상으로부터 상기 사용자의 동공 중심을 검출하기 위한 후보 영역을 검출하는 후보영역 검출부 및 상기 후보 영역에 대해서 원형 검출 알고리즘을 적용하여 초기 동공 중심을 검출하고, 상기 초기 동공 중심에 대해서 지역적 이진화 과정, 라벨링 과정 및 무게중심 연산 과정을 순차적으로 적용하여 상기 동공 중심을 검출하는 동공중심 검출부를 포함한다.The pupil center detecting apparatus according to an embodiment of the present invention may include at least one of an AdaBoost algorithm and a CAMShift algorithm to detect a pupil center of the user from an eye image of the user, And a circular detection algorithm is applied to the candidate region to detect an initial pupil center, and sequentially applying a local binarization process, a labeling process, and a center-of-gravity process to the initial pupil center, And a pupil center detecting unit for detecting the pupil center.

사용자의 동공 중심을 검출하기 위해서 아다부스트 알고리즘 및 캠쉬프트 알고리즘 중 적어도 하나를 선택적으로 적용하여 후보 영역을 검출함으로써, 처리 속도를 감소시키고, 검출 성공률을 높일 수 있다.By selectively applying at least one of the adaboost algorithm and the camshift algorithm to detect the pupil center of the user, the candidate region can be detected, thereby reducing the processing speed and increasing the detection success rate.

또한, 후보 영역에 대해서 원형 검출 알고리즘을 적용하여 초기 동공 중심을 검출하고, 초기 동공 중심에 대해서 지역적 이진화 과정, 라벨링 과정 및 무게중심 연산 과정을 순차적으로 적용하여 동공 중심을 검출함으로써, 동공의 불규칙한 모양 및 관찰 형태에 상관 없이 정확한 동공 중심을 검출할 수 있다.In addition, by detecting a pupil center by applying a circular detection algorithm to the candidate region, detecting the pupil center by sequentially applying a regional binarization process, a labeling process, and a gravity center calculation process to the initial pupil center, And the exact pupil center can be detected regardless of the observation form.

도 1은 본 발명의 일실시예에 따른 동공 중심 검출 장치의 구성을 나타내는 도면이다.
도 2는 본 발명의 일실시예에 따른 눈 영상을 나타내는 도면이다.
도 3은 본 발명의 일실시예에 따른 후보 영역을 나타내는 도면이다.
도 4는 본 발명의 일실시예에 따른 동공중심 검출부가 사용자의 초기 동공 중심을 검출하는 동작을 나타내는 도면이다.
도 5는 본 발명의 일실시예에 따른 동공중심 검출부가 지역적 이진화 과정, 라벨링 과정 및 무게중심 연산 과정을 순차적으로 적용하는 동작을 나타내는 도면이다.
도 6은 본 발명의 일실시예에 따른 동공 중심을 기준으로 하여 기설정된 크기의 지역적 이진화 과정이 적용되는 적용 영역에 대한 그레이 히스토그램을 나타내는 도면이다.
도 7은 본 발명의 일실시예에 따른 동공 중심 검출 방법을 나타내는 흐름도이다.1 is a view showing a configuration of a pupil center detecting apparatus according to an embodiment of the present invention.
2 is a view showing an eye image according to an embodiment of the present invention.
3 is a diagram illustrating a candidate region according to an embodiment of the present invention.
4 is a diagram illustrating an operation in which the pupil center detecting unit according to an embodiment of the present invention detects a user's initial pupil center.
FIG. 5 is a diagram illustrating an operation of sequentially applying a local binarization process, a labeling process, and a center-of-gravity calculation process to the pupil center detection unit according to an embodiment of the present invention.
FIG. 6 is a diagram illustrating a gray histogram of an application region to which a localized binarization process based on a center of a pupil is applied according to an exemplary embodiment of the present invention. Referring to FIG.
7 is a flowchart illustrating a pupil center detection method according to an embodiment of the present invention.

이하에서, 본 발명에 따른 실시예를 첨부된 도면을 참조하여 상세하게 설명한다. 그러나, 본 발명이 실시예들에 의해 제한되거나 한정되는 것은 아니다. 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다.Hereinafter, embodiments according to the present invention will be described in detail with reference to the accompanying drawings. However, the present invention is not limited to or limited by the embodiments. Like reference symbols in the drawings denote like elements.

도 1은 본 발명의 일실시예에 따른 동공 중심 검출 장치의 구성을 나타내는 도면이다.1 is a view showing a configuration of a pupil center detecting apparatus according to an embodiment of the present invention.

도 1을 참조하면, 본 발명의 일실시예에 따른 동공 중심 검출 장치(100)는 후보영역 검출부(110) 및 동공중심 검출부(120)를 포함한다.Referring to FIG. 1, the apparatus 100 for detecting a center of a pupil according to an embodiment of the present invention includes a candidate region detecting unit 110 and a pupil center detecting unit 120.

일실시예에 따른 동공 중심 검출 장치(100)는 TV(130)에 설치된 카메라(131)로부터 사용자(140)에 대한 눈 영상을 입력 받을 수 있다. 눈 영상은 사용자(140)의 눈에 대한 영상이 포함된 영상을 나타낸다.The pupil center detection apparatus 100 according to an exemplary embodiment may receive a snow image of a user 140 from a camera 131 installed on the TV 130. [ The eye image represents an image including an image of the eye of the user 140.

실시예에 따라서는, 카메라(131)는 적외선 차단 필터가 제거되고 적외선 투과(가시광선 차단)필터가 부착되어, 적외선에 의해 조산된 물체만을 영상으로 촬영할 수 있다. 또한, 카메라(131)는 고배율 렌즈가 부착되어, 사용자(140)의 눈 주위 부분을 확대하여 촬영할 수 있다. 이하 도 2를 참조하여, 본 발명의 일실시예에 따른 눈 영상에 대해서 상세히 설명한다.
According to the embodiment, the infrared ray blocking filter is removed from the camera 131 and an infrared ray transmitting (visible ray blocking) filter is attached, so that only the object preliminarily illuminated by infrared rays can be photographed. In addition, the camera 131 is attached with a high magnification lens, and can magnify and photograph a portion around the eyes of the user 140. Hereinafter, an eye image according to an embodiment of the present invention will be described in detail with reference to FIG.

도 2는 본 발명의 일실시예에 따른 눈 영상을 나타내는 도면이다. 2 is a view showing an eye image according to an embodiment of the present invention.

제1 영상(210)은 카메라에 의해 촬영된 사용자의 눈에 대한 영상이 포함된 눈 영상을 나타낸다. The first image 210 represents an eye image including an image of the user's eye photographed by the camera.

실시예에 따라서는, 카메라는 고배율 렌즈가 부착되어, 사용자의 눈 주위 부분(211)을 확대하여 촬영할 수 있다. 제2 영상(220)은 카메라에 의해 촬영된 사용자의 눈 주위 부분(211)에 대한 영상을 나타낸다.
According to the embodiment, the camera is attached with a high magnification lens, and can enlarge and photograph the user's eye peripheral portion 211. [ The second image 220 represents an image of the user's eye-surrounding part 211 photographed by the camera.

다시 도 1을 참조하면, 후보영역 검출부(110)는 아다부스트(AdaBoost) 알고리즘 및 캠쉬프트(CAMShift) 알고리즘 중 적어도 하나를 적용하여, 사용자(140)에 대한 눈 영상으로부터 사용자(140)의 동공 중심을 검출하기 위한 후보 영역을 검출한다. 또한, 후보영역 검출부(110)는 검출된 후보 영역의 중심 좌표 값을 검출할 수 있다.Referring again to FIG. 1, the candidate region detection unit 110 may apply at least one of an AdaBoost algorithm and a CAMShift algorithm to extract a pupil center of the user 140 from the eye image of the user 140 A candidate region for detecting the candidate region is detected. Also, the candidate region detection unit 110 can detect the center coordinate value of the detected candidate region.

후보 영역을 검출하지 않고, 사용자(140)에 대한 눈 영상에 대해서 원형 검출 알고리즘을 적용하여 바로 동공 중심을 검출하는 경우, 처리 속도가 저하되어 실시간으로 동공 중심을 검출할 수 없다. 따라서, 본 발명의 일실시예에 따른 동공 중심 검출 장치(100)는 아다부스트(AdaBoost) 알고리즘 및 캠쉬프트(CAMShift) 알고리즘 중 적어도 하나를 적용하여, 사용자(140)에 대한 눈 영상으로부터 사용자(140)의 동공 중심을 검출하기 위한 후보 영역을 검출한다.
If the center of the pupil is directly detected by applying the circular detection algorithm to the eye image of the user 140 without detecting the candidate region, the processing speed is lowered and the pupil center can not be detected in real time. Accordingly, the pupil center detection apparatus 100 according to an exemplary embodiment of the present invention may apply at least one of an AdaBoost algorithm and a CAMShift algorithm so that a user 140 Of the pupil center of the pupil region.

본 발명의 일측에 따르면, 후보영역 검출부(110)는 사용자(140)에 대한 전체 눈 영상(예를 들어, 도 2의 제1 영상(210))의 축소 영상(예를 들어, 전체 영상의 1/5 크기로 축소된 영상)(예를 들어, 도 2의 제2 영상(220))을 생성한 이후, 아다부스트(AdaBoost) 알고리즘 및 캠쉬프트(CAMShift) 알고리즘 중 적어도 하나를 적용하여, 축소 영상으로부터 사용자(140)의 동공 중심을 검출하기 위한 후보 영역을 검출할 수 있다.According to one aspect of the present invention, the candidate region detection unit 110 may detect a reduced image of the entire eye image (for example, the first image 210 in FIG. 2) for the user 140 (for example, (For example, the second image 220 shown in FIG. 2), and then applying at least one of an AdaBoost algorithm and a CAMShift algorithm, A candidate region for detecting the pupil center of the user 140 can be detected.

즉, 사용자(140)에 대한 전체 눈 영상은 사용자(140)의 눈 외에도 눈썹, 앞머리카락 등을 포함할 수 있어 검출의 정확성이 떨어질 수 있다. 따라서, 본 발명의 일측에 따르면, 후보영역 검출부(110)는 축소 영상을 생성한 이후, 아다부스트(AdaBoost) 알고리즘 및 캠쉬프트(CAMShift) 알고리즘 중 적어도 하나를 적용하여, 축소 영상으로부터 사용자(140)의 동공 중심을 검출하기 위한 후보 영역을 검출할 수 있다.
That is, the entire eye image of the user 140 may include eyebrows, forehead hair, etc. in addition to the eyes of the user 140, and the accuracy of the detection may be deteriorated. Therefore, according to one aspect of the present invention, the candidate region detection unit 110 generates at least one of an AdaBoost algorithm and a CAMShift algorithm after generating a reduced image, It is possible to detect a candidate region for detecting the pupil center of the pupil.

아다부스트 알고리즘은 일종의 템플릿 매칭으로써 훈련 단계와 실행 단계로 구성된다. 훈련 단계에서는 특정 물체의 특징점들을 추출하고, 학습한 것을 바탕으로 통계적인 모형을 만든다. 즉, 검사 대상과 유사한 물체를 포함하고 있는 샘플영상과 포함하고 있지 않은 샘플 영상을 입력 받아 학습 샘플 집합으로 사용한다. 학습 과정 동안 샘플들로부터 검출 하고자 하는 물체의 서로 다른 특징점들이 추출되고 이 특징점들은 물체를 분류 할 수 있는 고유의 특징점이 되어 약한 분류기(weak classifier)를 구성한다. 또한, 약한 분류기들의 결합을 통하여 강한 부류기(strong classifier)를 구성한다. 실행 단계에서는 입력된 영상을 매칭 확률이 높은 약한 분류기를 적용하고, 순차적으로 매칭 확률이 낮은 강한 분류기를 사용 함으로써 찾고자 하는 물체를 검출한다.
The AdaBoost algorithm is a kind of template matching that consists of a training phase and an execution phase. In the training phase, the feature points of a specific object are extracted and a statistical model is created based on the learning. That is, a sample image including an object similar to an object to be inspected and a sample image not including the object are used as a set of learning samples. During the learning process, different feature points of the object to be detected are extracted from the samples, and these feature points become the unique feature points for classifying the objects, forming a weak classifier. It also forms a strong classifier through the combination of weak classifiers. In the execution step, a weak classifier with a high matching probability is applied to the input image, and a strong classifier having a low matching probability is sequentially used to detect an object to be searched.

캠쉬프트(CAMShift) 알고리즘은 컬러 세그먼트(Color Segment) 기반의 민쉬프트(MeanShift) 알고리즘을 실시간 추적 등에 사용하기 위해 확장 된 것으로, 그레이 히스토그램(Gray Histogram)을 이용하여 검출한다. 민쉬프트(MeanShift) 알고리즘에서처럼 영상 전체 영역을 검색 하는 것이 아니라, 영상에서 추적할 물체의 영역을 예측 하여 검색 영역을 지정한다. 지정된 검색영역의 색 모델을 HSV의 색조(Hue)값으로 변환한다. 색조값은 조명의 영향을 적게 받으나, 물체의 식별이 어려울 정도로 매우 어둡거나 밝은 경우를 제외하고 지정된 검색 영역 그레이 히스토그램을 구한다. 따라서, 이 정보를 바탕으로 물체를 추적 하게 된다.
The CAMShift algorithm is extended to use the ColorSegment based MeanShift algorithm for real-time tracking, and detects it using a gray histogram. As in the MeanShift algorithm, rather than searching the entire image area, the search area is specified by predicting the area of the object to be tracked in the image. The color model of the designated search area is converted into a hue value of HSV. The hue value is determined by obtaining a gray scale histogram of the designated search area, except that it is less affected by illumination but very dark or bright enough to make it difficult to identify the object. Therefore, the object is tracked based on this information.

본 발명의 일측에 따르면, 후보영역 검출부(110)는 사용자(140)에 대한 눈 영상의 첫 번째 프레임에 대해서는, 아다부스트(AdaBoost) 알고리즘을 적용하여 사용자(140)에 대한 눈 영상으로부터 후보 영역을 검출할 수 있다. 또한, 후보영역 검출부(110)는 사용자(140)에 대한 눈 영상의 두 번째 프레임 이후의 프레임에 대해서는, 사용자(140)의 눈 영상의 현재 프레임의 이전 프레임으로부터 검출된 후보 영역의 중심 좌표가 없는 경우, 아다부스트(AdaBoost) 알고리즘을 적용하여 사용자(140)에 대한 눈 영상으로부터 후보 영역을 검출할 수 있다.According to one aspect of the present invention, the candidate region detection unit 110 applies an AdaBoost algorithm to the first frame of the eye image for the user 140 to extract a candidate region from the eye image for the user 140 Can be detected. In addition, the candidate region detection unit 110 detects a candidate region in which the center coordinates of the candidate region detected from the previous frame of the current frame of the eye image of the user 140 are not present for the frame after the second frame of the eye image for the user 140 The candidate region can be detected from the eye image of the user 140 by applying the AdaBoost algorithm.

또한, 후보영역 검출부(110)는 아다부스트 알고리즘을 적용하여 검출된 후보 영역의 중심 좌표 값을 검출할 수 있다.In addition, the candidate region detection unit 110 may detect the center coordinate value of the candidate region detected by applying the adaboost algorithm.

도 3은 본 발명의 일실시예에 따른 후보 영역을 나타내는 도면이다.3 is a diagram illustrating a candidate region according to an embodiment of the present invention.

도 3을 참조하면, 본 발명의 일실시예에 따른 후보영역 검출부는 아다부스트 알고리즘을 적용하여, 사용자에 대한 눈 영상(310)으로부터 후보 영역(320)을 검출할 수 있다.
Referring to FIG. 3, the candidate region detecting unit according to an embodiment of the present invention can detect the candidate region 320 from the eye image 310 for the user by applying the AdaBoost algorithm.

다시 도 1을 참조하면, 본 발명의 일측에 따른 후보영역 검출부(110)는 사용자(140)에 대한 눈 영상의 두 번째 이후의 프레임에 대해서는, 사용자(140)의 눈 영상의 현재 프레임의 이전 프레임으로부터 검출된 후보 영역의 중심 좌표가 있는 경우, 캠쉬프트 알고리즘을 적용하여 사용자(140)에 대한 눈 영상으로부터 후보 영역을 검출할 수 있다. 이 때, 후보영역 검출부(110)는 검출된 후보 영역의 중심 좌표에 근거하여, 캠쉬프트 알고리즘이 적용될 검색 영역을 지정할 수 있다.Referring to FIG. 1 again, the candidate region detection unit 110 according to an embodiment of the present invention detects a candidate frame region of a current frame of a current image of a user 140, The candidate region can be detected from the eye image of the user 140 by applying the cam shift algorithm. At this time, the candidate region detecting unit 110 can designate a search region to which the camshift algorithm is to be applied, based on the center coordinates of the detected candidate region.

또한, 후보영역 검출부(110)는 캠쉬프트 알고리즘을 적용하여 검출된 후보 영역의 중심 좌표 값을 검출할 수 있다. Also, the candidate region detection unit 110 may detect the center coordinate value of the candidate region detected by applying the cam shift algorithm.

또한, 후보영역 검출부(110)는 캠쉬프트 알고리즘을 적용하여 검출된 후보 영역의 그레이 히스토그램값을 검출하고, 저장할 수 있다. 이 때, 후보영역 검출부(110)는 사용자(140)에 대한 눈 영상의 현재 프레임으로부터 검출된 그레이 히스토그램값과 이전 프레임으로부터 검출된 그레이 히스토그램값을 비교할 수 있다. 만약, 매칭률이 기설정된 기준값(예를 들어, 90%) 미만이 되는 경우, 후보영역 검출부(110)는 다시 아다부스트 알고리즘을 적용하여, 사용자(140)에 대한 눈 영상으로부터 후보 영역을 검출할 수 있다.Also, the candidate region detection unit 110 may detect and store the gray histogram value of the candidate region detected by applying the cam shift algorithm. At this time, the candidate region detection unit 110 may compare the gray histogram value detected from the current frame of the eye image for the user 140 with the gray histogram value detected from the previous frame. If the matching rate is less than a preset reference value (for example, 90%), the candidate region detecting unit 110 applies the adaboost algorithm again to detect a candidate region from the eye image of the user 140 .

다시 도 3을 참조하면, 본 발명의 일실시예에 따른 후보영역 검출부는 캠쉬프트 알고리즘을 적용하여, 사용자에 대한 눈 영상(310)으로부터 후보 영역(330)을 검출할 수 있다.
Referring again to FIG. 3, the candidate region detecting unit according to an embodiment of the present invention may detect the candidate region 330 from the eye image 310 for the user by applying a cam shift algorithm.

다시 도 1을 참조하면, 본 발명의 일실시예에 따른 후보영역 검출부(110)가 아다부스트 알고리즘 및 캠쉬프트 알고리즘 중 적어도 하나를 사용하는 이유는, 아다부스트 알고리즘을 적용하는 경우의 후보 영역 검출은 캠쉬프트 알고리즘을 적용하는 경우에 비해 검출 정확도가 높지만, 후보 영역의 검출의 처리 시간이 상대적으로 길게 소요되어(80ms 정도)로 실시간 처리가 요구되는 환경에서는 적용이 적합하지 않다. 또한, 캠쉬프트 알고리즘을 적용하는 경우의 후보 영역 검출은 아다부스트 알고리즘을 적용하는 경우에 비해 처리 시간은 빠르지만(9ms 정도), 캠쉬프트 알고리즘이 적용되기 위한 물체 검출 예상 영역이 필요하므로 단독으로 사용되기 어려운 단점이 있다. 따라서, 본 발명의 일실시예에 따른 후보영역 검출부(110)는 사용자(140)에 대한 가장 첫번째 눈 영상에 대해서, 아다부스트 알고리즘을 적용하여 후보 영역을 검출 하고, 다음 영상에 대해서 첫번째 영상으로부터 검출된 후보 영역을 캠쉬프트의 검색 영역으로 지정하여 사용할 수 있다.
1, the reason why the candidate region detection unit 110 according to an embodiment of the present invention uses at least one of an adaboost algorithm and a camshift algorithm is that candidate region detection in the case of applying the adaboost algorithm The detection accuracy is higher than the case of applying the camshift algorithm, but the processing time of the detection of the candidate region is relatively long (about 80 ms), which is not suitable for an environment requiring real-time processing. In the case of applying the camshift algorithm, the candidate region detection is faster than the case of applying the AdaBoost algorithm (about 9 ms), but requires an object detection region to be applied to the camshift algorithm. . Therefore, the candidate region detection unit 110 according to an embodiment of the present invention detects candidate regions by applying an adaboost algorithm to the first eye image for the user 140, and detects candidate regions from the first image The candidate region can be designated as the search region of the cam shift and used.

동공중심 검출부(120)는 검출된 후보 영역에 대해서 원형 검출 알고리즘을 적용하여 초기 동공 중심을 검출한다. 또한, 동공중심 검출부(120)는 동공의 반지름을 검출할 수 있다. 또한, 동공중심 검출부(120)는 동공 중심을 기준으로 하여 기설정된 크기의 지역적 이진화 과정이 적용되는 적용 영역에 대한 그레이 히스토그램을 검출할 수 있다.The pupil center detecting unit 120 detects the initial pupil center by applying a circular detection algorithm to the detected candidate region. Further, the pupil center detecting unit 120 can detect the radius of the pupil. Also, the pupil center detecting unit 120 can detect a gray histogram of an application region to which a localized binarization process of a predetermined size is applied based on the pupil center.

동공중심 검출부(120)는 초기 동공 중심에 대해서 지역적 이진화 과정, 라벨링 과정 및 무게중심 연산 과정을 순차적으로 적용하여 사용자(140)의 동공 중심을 검출한다.The pupil center detecting unit 120 detects the pupil center of the user 140 by sequentially applying a local binarization process, a labeling process, and a gravity center calculating process to the initial pupil center.

이하 도 4 내지 도 7을 참조하여, 동공중심 검출부(120)가 사용자(140)의 동공 중심을 검출하는 단계에 대해서 상세히 설명한다.
4 to 7, the step of detecting the pupil center of the user 140 by the pupil center detecting unit 120 will be described in detail.

도 4는 본 발명의 일실시예에 따른 동공중심 검출부가 사용자의 초기 동공 중심을 검출하는 동작을 나타내는 도면이다.4 is a diagram illustrating an operation in which the pupil center detecting unit according to an embodiment of the present invention detects a user's initial pupil center.

도 4를 참조하면, 본 발명의 일실시예에 따른 동공중심 검출부(120)는 검출된 후보 영역에 대한 중심 좌표 값에 기반하여, 사용자(140)에 대한 눈 영상(410)에서 홍채 크기의 영역에 대해서 반사광을 소거하는 작업을 수행할 수 있다. Referring to FIG. 4, the pupil center detecting unit 120 according to an exemplary embodiment of the present invention detects an area of the iris size from the eye image 410 for the user 140 based on the center coordinate value of the detected candidate region, It is possible to perform an operation of erasing the reflected light.

영상(420)은 눈 영상(410)에서 반사광이 소거된 영상을 나타낸다.The image 420 represents an image in which the reflected light is erased from the eye image 410.

또한, 동공중심 검출부(120)는 반사광이 소거된 영상(420)의 검출된 후보 영역에 대해서 원형 검출 알고리즘을 적용하여 초기 동공 중심(431)을 검출할 수 있다. 또한, 동공중심 검출부(120)는 동공의 반지름을 검출할 수 있다. 또한, 동공중심 검출부(120)는 동공 중심을 기준으로 하여 기설정된 크기의 영역에 대한 그레이 히스토그램을 검출할 수 있다.In addition, the pupil center detection unit 120 can detect the initial pupil center 431 by applying a circular detection algorithm to the detected candidate region of the image 420 from which the reflected light is canceled. Further, the pupil center detecting unit 120 can detect the radius of the pupil. In addition, the pupil center detecting unit 120 may detect a gray histogram of a region of a predetermined size based on the pupil center.

영상(430)은 원형 검출 알고리즘이 적용되어 초기 동공 중심(431)이 검출된 영상을 나타낸다.
The image 430 represents an image in which the original pupil center 431 is detected by applying a circular detection algorithm.

동공의 모양은 원의 형태로 단순화 하기에는 불규칙적인 모양을 가지고 있고, 카메라의 위치에 대한 동공의 위치에 따라 타원의 형태로 관찰될 수 있다. 또한, 조명의 반사광이 동공의 경계에 위치할 때에는 동공의 중심 위치가 정확하게 추출되지 않을 수 있다.The shape of the pupil has an irregular shape to simplify the shape of the circle, and can be observed in the form of an ellipse depending on the position of the pupil relative to the position of the camera. Further, when the reflected light of the illumination is located at the boundary of the pupil, the center position of the pupil may not be accurately extracted.

따라서, 동공중심 검출부(120)는 검출된 초기 동공 중심(431)에 대해서 지역적 이진화 과정, 라벨링 과정 및 무게중심 연산 과정을 순차적으로 적용하여 사용자(140)의 동공 중심을 검출한다. Accordingly, the pupil center detecting unit 120 detects the pupil center of the user 140 by sequentially applying a local binarization process, a labeling process, and a gravity center calculating process to the detected initial pupil center 431.

본 발명의 일측에 따르면, 동공중심 검출부(120)는 지역적 이진화 과정의 임계치를 결정하기 위하여 P-타일(P-Tile) 방법을 이용할 수 있다.
According to an aspect of the present invention, the pupil center detection unit 120 may use a P-tile method to determine a threshold value of a local binarization process.

도 5는 본 발명의 일실시예에 따른 동공중심 검출부가 지역적 이진화 과정, 라벨링 과정 및 무게중심 연산 과정을 순차적으로 적용하는 동작을 나타내는 도면이다.FIG. 5 is a diagram illustrating an operation of sequentially applying a local binarization process, a labeling process, and a center-of-gravity calculation process to the pupil center detection unit according to an embodiment of the present invention.

도 6은 본 발명의 일실시예에 따른 동공 중심을 기준으로 하여 기설정된 크기의 지역적 이진화 과정이 적용되는 적용 영역에 대한 그레이 히스토그램을 나타내는 도면이다.
FIG. 6 is a diagram illustrating a gray histogram of an application region to which a localized binarization process based on a center of a pupil is applied according to an exemplary embodiment of the present invention. Referring to FIG.

도 5를 참조하면, 본 발명의 일실시예에 따른 동공중심 검출부(120)는 P-타일 방법을 이용하기 위해서, 원형 검출 알고리즘을 적용하여 검출한 동공 반지름 r(510)을 이용하여 동공 영역에 대한 픽셀 수를 연산할 수 있다(하기 [수식 1] 참조).5, in order to use the P-tile method, the pupil center detecting unit 120 according to an exemplary embodiment of the present invention uses a circular detection algorithm to detect a pupil radius r (510) (See Equation 1 below).

[수식 1][Equation 1]

동공 영역의 픽셀 수 = πr2
Number of pixels in the pupil region =? R 2

또한, 동공중심 검출부(120)는 동공 중심을 기준으로 하여 기설정된 크기(가로 W(521), 세로 H(522))의 지역적 이진화 과정이 적용되는 적용 영역(520)에 대한 그레이 히스토그램(600)을 연산하고, 저장할 수 있다. 또한, 동공중심 검출부(120)는 적용 영역(520)에 대한 동공 영역의 픽셀 수의 비율을 연산할 수 있다(하기 [수식 2] 참조).The pupil center detection unit 120 detects a gray histogram 600 for an application region 520 to which a regional binarization process of a predetermined size (width W (521) and height H (522)) is applied, Can be calculated and stored. In addition, the pupil center detection unit 120 can calculate the ratio of the number of pixels in the pupil region to the application region 520 (see Equation 2 below).

[수식 2] [Equation 2]

동공 영역의 픽셀 수 비율 = (πr2 )/(W x H)
The ratio of the number of pixels in the pupil region = (? R 2 ) / (W x H)

동공중심 검출부(120)는 연산된 동공 영역의 픽셀 수 비율을 이용하여 영역(520) 내의 어두운 부분부터 동공 영역의 픽셀 수 비율만큼 그레이 히스토그램(600) 내에서 연산한다. 이 때, 동공중심 검출부(120)는 그레이 히스토그램 값을 임계치로 결정할 수 있고, 결정된 임계치를 이용하여 지역적 이진화 과정을 수행할 수 있다.The pupil center detection unit 120 calculates the gray histogram 600 by the ratio of the number of pixels in the pupil region to the dark portion in the region 520 using the ratio of the number of pixels in the calculated pupil region. At this time, the pupil center detecting unit 120 can determine the gray histogram value as a threshold value, and can perform the local binarization process using the determined threshold value.

영상(530)은 P-타일 방법에 의해 결정된 임계치에 의한 지역적 이진화 과정이 수행된 결과 영상을 나타낸다.
The image 530 represents a result image obtained by performing a local binarization process based on a threshold determined by the P-tile method.

이 후, 동공중심 검출부(120)는 영상(530)에 대해서 라벨링 과정 및 무게중심 연산 과정을 순차적으로 적용하여 최종적인 동공 중심(540)을 검출할 수 있다.
Thereafter, the pupil center detecting unit 120 may detect the final pupil center 540 by sequentially applying a labeling process and a gravity center calculating process to the image 530.

도 7은 본 발명의 일실시예에 따른 동공 중심 검출 방법을 나타내는 흐름도이다.7 is a flowchart illustrating a pupil center detection method according to an embodiment of the present invention.

도 7을 참조하면, 본 발명의 일실시예에 따른 동공 중심 검출 방법은 TV에 설치된 카메라로부터 사용자에 대한 눈 영상을 입력 받을 수 있다(710). 눈 영상은 사용자의 눈에 대한 영상이 포함된 영상을 나타낸다.Referring to FIG. 7, a pupil center detection method according to an embodiment of the present invention can receive an eye image of a user from a camera installed in a TV (710). The eye image represents an image including an image of the user's eyes.

실시예에 따라서는, 카메라는 적외선 차단 필터가 제거되고 적외선 투과(가시광선 차단)필터가 부착되어, 적외선에 의해 조산된 물체만을 영상으로 촬영할 수 있다. 또한, 카메라는 고배율 렌즈가 부착되어, 사용자의 눈 주위 부분을 확대하여 촬영할 수 있다.
According to the embodiment, the infrared ray blocking filter is removed and the infrared ray transmitting (visible ray blocking) filter is attached to the camera, so that only the object preliminarily illuminated by the infrared ray can be photographed. In addition, the camera has a high magnification lens attached thereto, so that the user can enlarge and photograph a portion around the user's eyes.

동공 중심 검출 방법은 아다부스트(AdaBoost) 알고리즘 및 캠쉬프트(CAMShift) 알고리즘 중 적어도 하나를 적용하여, 사용자에 대한 눈 영상으로부터 사용자의 동공 중심을 검출하기 위한 후보 영역을 검출한다. 또한, 동공 중심 검출 방법은 검출된 후보 영역의 중심 좌표 값을 검출할 수 있다.The pupil center detection method detects at least one of an AdaBoost algorithm and a CAMShift algorithm to detect a candidate region for detecting a user's pupil center from an eye image for a user. Also, the pupil center detection method can detect the center coordinate value of the detected candidate region.

후보 영역을 검출하지 않고, 사용자에 대한 눈 영상에 대해서 원형 검출 알고리즘을 적용하여 바로 동공 중심을 검출하는 경우, 처리 속도가 저하되어 실시간으로 동공 중심을 검출할 수 없다. 따라서, 본 발명의 일실시예에 따른 동공 중심 검출 방법은 아다부스트(AdaBoost) 알고리즘 및 캠쉬프트(CAMShift) 알고리즘 중 적어도 하나를 적용하여, 사용자에 대한 눈 영상으로부터 사용자의 동공 중심을 검출하기 위한 후보 영역을 검출한다.
In the case of detecting the center of the pupil by applying the circular detection algorithm to the eye image of the user without detecting the candidate region, the processing speed is lowered and the pupil center can not be detected in real time. Accordingly, the pupil center detection method according to an exemplary embodiment of the present invention applies at least one of an AdaBoost algorithm and a CAMShift algorithm to detect a pupil center of a user from an eye image of a user Area.

본 발명의 일측에 따르면, 동공 중심 검출 방법은 사용자에 대한 전체 눈 영상의 축소 영상(예를 들어, 전체 영상의 1/5 크기로 축소된 영상)을 생성한 이후, 아다부스트(AdaBoost) 알고리즘 및 캠쉬프트(CAMShift) 알고리즘 중 적어도 하나를 적용하여, 축소 영상으로부터 사용자의 동공 중심을 검출하기 위한 후보 영역을 검출할 수 있다(720).According to one aspect of the present invention, a pupil center detection method includes generating a reduced image (e.g., an image reduced to 1/5 of the entire image) of the entire eye image with respect to a user, A CAMShift algorithm may be applied to detect a candidate region for detecting the user's pupil center from the reduced image (720).

즉, 사용자에 대한 전체 눈 영상은 사용자의 눈 외에도 눈썹, 앞머리카락 등을 포함할 수 있어 검출의 정확성이 떨어질 수 있다. 따라서, 본 발명의 일측에 따르면, 동공 중심 검출 방법은 축소 영상을 생성한 이후, 아다부스트(AdaBoost) 알고리즘 및 캠쉬프트(CAMShift) 알고리즘 중 적어도 하나를 적용하여, 축소 영상으로부터 사용자의 동공 중심을 검출하기 위한 후보 영역을 검출할 수 있다.
That is, the entire eye image for the user may include eyebrows, forehead hair, etc. in addition to the eyes of the user, so that the accuracy of detection may deteriorate. Therefore, according to one aspect of the present invention, after generating a reduced image, the pupil center detection method may employ at least one of an AdaBoost algorithm and a CAMShift algorithm to detect the pupil center of the user from the reduced image It is possible to detect a candidate region for performing the search.

아다부스트 알고리즘은 일종의 템플릿 매칭으로써 훈련 단계와 실행 단계로 구성된다. 훈련 단계에서는 특정 물체의 특징점들을 추출하고, 학습한 것을 바탕으로 통계적인 모형을 만든다. 즉, 검사 대상과 유사한 물체를 포함하고 있는 샘플영상과 포함하고 있지 않은 샘플 영상을 입력 받아 학습 샘플 집합으로 사용한다. 학습 과정 동안 샘플들로부터 검출 하고자 하는 물체의 서로 다른 특징점들이 추출되고 이 특징점들은 물체를 분류 할 수 있는 고유의 특징점이 되어 약한 분류기(weak classifier)를 구성한다. 또한, 약한 분류기들의 결합을 통하여 강한 부류기(strong classifier)를 구성한다. 실행 단계에서는 입력된 영상을 매칭 확률이 높은 약한 분류기를 적용하고, 순차적으로 매칭 확률이 낮은 강한 분류기를 사용 함으로써 찾고자 하는 물체를 검출한다.
The AdaBoost algorithm is a kind of template matching that consists of a training phase and an execution phase. In the training phase, the feature points of a specific object are extracted and a statistical model is created based on the learning. That is, a sample image including an object similar to an object to be inspected and a sample image not including the object are used as a set of learning samples. During the learning process, different feature points of the object to be detected are extracted from the samples, and these feature points become the unique feature points for classifying the objects, forming a weak classifier. It also forms a strong classifier through the combination of weak classifiers. In the execution step, a weak classifier with a high matching probability is applied to the input image, and a strong classifier with a low matching probability is sequentially used to detect an object to be searched.

캠쉬프트(CAMShift) 알고리즘은 컬러 세그먼트(Color Segment) 기반의 민쉬프트(MeanShift) 알고리즘을 실시간 추적 등에 사용하기 위해 확장 된 것으로, 그레이 히스토그램(Gray Histogram)을 이용하여 검출한다. 민쉬프트(MeanShift) 알고리즘에서처럼 영상 전체 영역을 검색 하는 것이 아니라, 영상에서 추적할 물체의 영역을 예측 하여 검색 영역을 지정한다. 지정된 검색영역의 색 모델을 HSV의 색조(Hue)값으로 변환한다. 색조값은 조명의 영향을 적게 받으나, 물체의 식별이 어려울 정도로 매우 어둡거나 밝은 경우를 제외하고 지정된 검색 영역 그레이 히스토그램을 구한다. 따라서, 이 정보를 바탕으로 물체를 추적 하게 된다.
The CAMShift algorithm is extended to use the ColorSegment based MeanShift algorithm for real-time tracking, and detects it using a gray histogram. As in the MeanShift algorithm, rather than searching the entire image area, the search area is specified by predicting the area of the object to be tracked in the image. The color model of the designated search area is converted into a hue value of HSV. The hue value is determined by obtaining a gray scale histogram of the designated search area, except that it is less affected by illumination but very dark or bright enough to make it difficult to identify the object. Therefore, the object is tracked based on this information.

본 발명의 일측에 따르면, 동공 중심 검출 방법은 입력 받은 영상이 사용자에 대한 눈 영상의 첫 번째 프레임인지 여부를 판단할 수 있다(730).
According to one aspect of the present invention, the pupil center detection method may determine whether the input image is the first frame of the eye image for the user (730).

동공 중심 검출 방법은 입력 받은 영상이 사용자에 대한 눈 영상의 첫 번째 프레임인 경우, 아다부스트(AdaBoost) 알고리즘을 적용하여 사용자에 대한 눈 영상으로부터 후보 영역을 검출할 수 있다(740). In the pupil center detection method, if the input image is the first frame of the eye image for the user, the candidate region can be detected from the eye image for the user by applying the AdaBoost algorithm (740).

또한, 동공 중심 검출 방법은 입력 받은 영상이 사용자에 대한 눈 영상의 두 번째 프레임 이후의 프레임인 경우, Pre_eye_count가 True값인지 여부를 판단할 수 있다(750).In addition, if the input image is a frame after the second frame of the eye image for the user, the pupil center detection method can determine whether Pre_eye_count is a True value (750).

Pre_eye_count가 True값이라는 의미는 이전 프레임으로부터 후보 영역이 검출되었고, 검출된 후보 영역에 대한 중심 좌표 및 그레이 히스토그램이 연산되어, 캠쉬프트 알고리즘을 적용할 검색 영역을 지정할 수 있는 경우이다.
If Pre_eye_count is a true value, the candidate region is detected from the previous frame, and the center coordinates and the gray histogram of the detected candidate region are computed to specify a search region to which the camshift algorithm is to be applied.

동공 중심 검출 방법은 입력 받은 영상이 사용자에 대한 눈 영상의 두 번째 프레임 이후의 프레임인 경우로서, Pre_eye_count가 True값이 아닌 경우(즉, False값인 경우), 아다부스트(AdaBoost) 알고리즘을 적용하여 사용자에 대한 눈 영상으로부터 후보 영역을 검출할 수 있다(740).In the pupil center detection method, when the input image is a frame after the second frame of the eye image for the user and the Pre_eye_count is not a true value (i.e., it is a false value), an AdaBoost algorithm is applied to the user The candidate region may be detected 740 from the eye image.

또한, 동공 중심 검출 방법은 아다부스트 알고리즘을 적용하여 검출된 후보 영역의 중심 좌표 값을 검출할 수 있다.
Also, the pupil center detection method can detect the center coordinate value of the candidate region detected by applying the AdaBoost algorithm.

동공 중심 검출 방법은 입력 받은 영상이 사용자에 대한 눈 영상의 두 번째 프레임 이후의 프레임인 경우로서, Pre_eye_count가 True값인 경우, 캠쉬프트 알고리즘을 적용하여 사용자에 대한 눈 영상으로부터 후보 영역을 검출할 수 있다(751). 이 때, 동공 중심 검출 방법은 검출된 후보 영역의 중심 좌표에 근거하여, 캠쉬프트 알고리즘이 적용될 검색 영역을 지정할 수 있다.In the pupil center detection method, when the input image is a frame after the second frame of the eye image for the user, and the Pre_eye_count is a true value, the camshift algorithm can be applied to detect the candidate region from the eye image for the user (751). At this time, the pupil center detection method can designate a search area to which the camshift algorithm is applied, based on the center coordinates of the detected candidate region.

또한, 동공 중심 검출 방법은 캠쉬프트 알고리즘을 적용하여 검출된 후보 영역의 중심 좌표 값을 검출할 수 있다. Also, the pupil center detection method can detect the center coordinate value of the detected candidate region by applying the cam shift algorithm.

또한, 동공 중심 검출 방법은 캠쉬프트 알고리즘을 적용하여 검출된 후보 영역의 그레이 히스토그램값을 검출하고, 저장할 수 있다(752). In addition, the pupil center detection method can detect and store the gray histogram value of the candidate region detected by applying the cam shift algorithm (752).

이 때, 동공 중심 검출 방법은 사용자에 대한 눈 영상의 현재 프레임으로부터 검출된 그레이 히스토그램값과 이전 프레임으로부터 검출된 그레이 히스토그램값을 비교할 수 있다(753). At this time, the pupil center detection method can compare the gray histogram value detected from the current frame of the eye image with respect to the user and the gray histogram value detected from the previous frame (753).

만약, 매칭률이 기설정된 기준값(예를 들어, 90%) 미만이 되는 경우, 동공 중심 검출 방법은 다시 아다부스트 알고리즘을 적용하여, 사용자에 대한 눈 영상으로부터 후보 영역을 검출할 수 있다.
If the matching rate is less than a preset reference value (for example, 90%), the pupil center detection method can again detect the candidate region from the eye image for the user by applying the AdaBoost algorithm.

본 발명의 일실시예에 따른 동공 중심 검출 방법이 아다부스트 알고리즘 및 캠쉬프트 알고리즘 중 적어도 하나를 사용하는 이유는, 아다부스트 알고리즘을 적용하는 경우의 후보 영역 검출은 캠쉬프트 알고리즘을 적용하는 경우에 비해 검출 정확도가 높지만, 후보 영역의 검출의 처리 시간이 상대적으로 길게 소요되어(80ms 정도)로 실시간 처리가 요구되는 환경에서는 적용이 적합하지 않다. 또한, 캠쉬프트 알고리즘을 적용하는 경우의 후보 영역 검출은 아다부스트 알고리즘을 적용하는 경우에 비해 처리 시간은 빠르지만(9ms 정도), 캠쉬프트 알고리즘이 적용되기 위한 물체 검출 예상 영역이 필요하므로 단독으로 사용되기 어려운 단점이 있다. 따라서, 본 발명의 일실시예에 따른 동공 중심 검출 방법은 사용자에 대한 가장 첫번째 눈 영상에 대해서, 아다부스트 알고리즘을 적용하여 후보 영역을 검출 하고, 다음 영상에 대해서 첫번째 영상으로부터 검출된 후보 영역을 캠쉬프트의 검색 영역으로 지정하여 사용할 수 있다.
The reason that the pupil center detection method according to an embodiment of the present invention uses at least one of the adaboost algorithm and the camshift algorithm is that the candidate region detection in the case of applying the adaboost algorithm is less effective than the camshift algorithm The detection accuracy is high, but it is not suitable for an environment in which the processing time of the candidate region is relatively long (about 80 ms) and real-time processing is required. In the case of applying the camshift algorithm, the candidate region detection is faster than the case of applying the AdaBoost algorithm (about 9 ms), but requires an object detection region to be applied to the camshift algorithm. . Accordingly, in the pupil center detection method according to an embodiment of the present invention, the candidate region is detected by applying the Adaboost algorithm to the first eye image for the user, and the candidate region detected from the first image with respect to the next image is detected as the cam It can be used as a search area of shift.

본 발명의 일실시예에 따른 동공 중심 검출 방법은 검출된 후보 영역에 대한 중심 좌표 값에 기반하여, 사용자에 대한 눈 영상에서 홍채 크기의 영역에 대해서 반사광을 소거하는 작업을 수행할 수 있다(760).The pupil center detection method according to an embodiment of the present invention can perform the operation of erasing the reflected light for the iris size region in the eye image for the user based on the center coordinate value for the detected candidate region ).

또한, 동공 중심 검출 방법은 반사광이 소거된 영상의 검출된 후보 영역에 대해서 원형 검출 알고리즘을 적용하여 초기 동공 중심을 검출할 수 있다(770). 또한, 동공 중심 검출 방법은 동공의 반지름을 검출할 수 있다. 또한, 동공 중심 검출 방법은 동공 중심을 기준으로 하여 기설정된 크기의 영역에 대한 그레이 히스토그램을 검출할 수 있다.
In addition, the pupil center detection method can detect the initial pupil center by applying a circular detection algorithm to the detected candidate region of the image in which the reflected light is canceled (770). Also, the pupil center detection method can detect the radius of the pupil. Also, the pupil center detection method can detect a gray histogram for a predetermined size region based on the pupil center.

동공의 모양은 원의 형태로 단순화 하기에는 불규칙적인 모양을 가지고 있고, 카메라의 위치에 대한 동공의 위치에 따라 타원의 형태로 관찰될 수 있다. 또한, 조명의 반사광이 동공의 경계에 위치할 때에는 동공의 중심 위치가 정확하게 추출되지 않을 수 있다.The shape of the pupil has an irregular shape to simplify the shape of the circle, and can be observed in the form of an ellipse depending on the position of the pupil relative to the position of the camera. Further, when the reflected light of the illumination is located at the boundary of the pupil, the center position of the pupil may not be accurately extracted.

따라서, 동공 중심 검출 방법은 검출된 초기 동공 중심에 대해서 지역적 이진화 과정, 라벨링 과정 및 무게중심 연산 과정을 순차적으로 적용하여 사용자의 동공 중심을 검출한다.
Accordingly, the pupil center detection method detects a pupil center of a user by sequentially applying a local binarization process, a labeling process, and a gravity center calculation process to the detected initial pupil center.

본 발명의 일측에 따르면, 동공 중심 검출 방법은 지역적 이진화 과정의 임계치를 결정하기 위하여 P-타일(P-Tile) 방법을 이용할 수 있다(780).
According to one aspect of the present invention, the pupil center detection method may use a P-Tile method to determine a threshold of the local binarization process (780).

본 발명의 일실시예에 따른 동공 중심 검출 방법은 P-타일 방법을 이용하기 위해서, 원형 검출 알고리즘을 적용하여 검출한 동공 반지름 r을 이용하여 동공 영역에 대한 픽셀 수를 연산할 수 있다.In order to use the P-tile method, the pupil center detection method according to an embodiment of the present invention can calculate the number of pixels for the pupil region using the detected pupil radius r by applying a circular detection algorithm.

또한, 동공 중심 검출 방법은 동공 중심을 기준으로 하여 기설정된 크기(가로 W, 세로 H)의 지역적 이진화 과정이 적용되는 적용 영역에 대한 그레이 히스토그램을 연산하고, 저장할 수 있다. 또한, 동공 중심 검출 방법은 적용 영역에 대한 동공 영역의 픽셀 수의 비율을 연산할 수 있다.
In addition, the pupil center detection method can calculate and store a gray histogram of an application region to which a regional binarization process of a predetermined size (width W, length H) is applied based on the pupil center. Also, the pupil center detection method can calculate the ratio of the number of pixels in the pupil region to the applied region.

동공 중심 검출 방법은 연산된 동공 영역의 픽셀 수 비율을 이용하여 영역 내의 어두운 부분부터 동공 영역의 픽셀 수 비율만큼 그레이 히스토그램 내에서 연산한다. 이 때, 동공 중심 검출 방법은 그레이 히스토그램 값을 임계치로 결정할 수 있고, 결정된 임계치를 이용하여 지역적 이진화 과정을 수행할 수 있다.
The pupil center detection method calculates within the gray histogram the ratio of the number of pixels in the dark area to the number of pixels in the pupil area using the ratio of the number of pixels in the calculated pupil area. At this time, the pupil center detection method can determine the gray histogram value as the threshold value, and can perform the local binarization process using the determined threshold value.

이 후, 동공 중심 검출 방법은 영상에 대해서 라벨링 과정 및 무게중심 연산 과정을 순차적으로 적용하여 최종적인 동공 중심을 검출할 수 있다(790).Thereafter, the pupil center detection method can detect the final pupil center by sequentially applying a labeling process and a gravity center calculation process to the image (790).

또한, 동공 중심 검출 방법은 그레이 히스토그램을 검출 및 저장할 수 있다(791). 이후, 동공 중심 검출 방법은 다시 눈 영상에 대한 다음 프레임을 입력 받을 수 있고, 단계(710)부터 단계(791) 사이를 반복 수행할 수 있다.
Also, the pupil center detection method can detect and store a gray histogram (791). Thereafter, the pupil center detection method can receive the next frame for the eye image again, and repeat steps 710 to 791. [

본 발명에 따른 실시예들은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(Floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.Embodiments according to the present invention may be implemented in the form of program instructions that can be executed through various computer means and recorded in a computer-readable medium. The computer-readable medium may include program instructions, data files, data structures, and the like, alone or in combination. The program instructions recorded on the medium may be those specially designed and constructed for the present invention or may be available to those skilled in the art of computer software. Examples of the computer-readable recording medium include magnetic media such as a hard disk, a floppy disk, and a magnetic tape; optical media such as CD-ROM and DVD; magnetic recording media such as a floppy disk; Magneto-optical media, and hardware devices specifically configured to store and execute program instructions such as ROM, RAM, flash memory, and the like. Examples of program instructions include machine language code such as those produced by a compiler, as well as high-level language code that can be executed by a computer using an interpreter or the like. The hardware devices described above may be configured to operate as one or more software modules to perform the operations of the present invention, and vice versa.

이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.While the invention has been shown and described with reference to certain preferred embodiments thereof, it will be understood by those of ordinary skill in the art that various changes in form and details may be made therein without departing from the spirit and scope of the invention as defined by the appended claims. This is possible.

그러므로, 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.Therefore, the scope of the present invention should not be limited to the described embodiments, but should be determined by the equivalents of the claims, as well as the claims.

100: 동공 중심 검출 장치
110: 후보영역 검출부
120: 동공중심 검출부
130: TV
140: 사용자100: pupil center detecting device
110: candidate region detection unit
120: Pupil center detector
130: TV
140: User

Claims (9)

눈 영상으로부터 동공을 적어도 포함하는 후보 영역을 검출하는 후보영역 검출부; 및
상기 후보 영역에 대해서 원형 검출 알고리즘을 적용하여 초기의 동공 중심을 검출하고, 상기 초기의 동공 중심에 대해, 지역적 이진화 과정, 라벨링 과정 및 무게중심 연산 과정을 순차적으로 적용하여 얻은 결과를, 최종의 동공 중심으로서 검출하는 동공중심 검출부
를 포함하고,
상기 후보영역 검출부는,
상기 눈 영상의 첫 번째 프레임에 대해, 아다부스트(AdaBoost) 알고리즘을 적용하여, 상기 후보 영역을 검출하고,
상기 눈 영상의 두 번째 프레임 이후의 프레임에 대해, 현재의 프레임의 이전 프레임으로부터 검출된 후보 영역 내 동공의 중심 좌표가 있는 경우,
ⅰ)상기 현재 프레임으로부터 검출된 그레이 히스토그램값과 상기 이전 프레임으로부터 검출된 그레이 히스토그램값을 비교하여, 매칭률이 기설정된 기준값 미만이면, 상기 아다부스트 알고리즘을 재적용하여 상기 후보 영역을 검출하고,
ⅱ)상기 매칭률이 상기 기준값 이상이면, 상기 중심 좌표에 근거하여 검색 영역을 지정하는 캠쉬프트(CAMShift) 알고리즘을 적용하여, 상기 후보 영역을 검출하는
동공 중심 검출 장치.A candidate region detecting unit for detecting a candidate region including at least a pupil from an eye image; And
The initial pupil center is detected by applying a circular detection algorithm to the candidate region, and the result obtained by sequentially applying the local binarization process, the labeling process, and the center-of-gravity process to the initial pupil center, The pupil center detecting unit
Lt; / RTI >
Wherein the candidate region detection unit comprises:
An AdaBoost algorithm is applied to the first frame of the eye image to detect the candidate region,
When there is a center coordinate of a pupil in a candidate region detected from a previous frame of the current frame for a frame after the second frame of the eye image,
I) comparing a gray histogram value detected from the current frame with a gray histogram value detected from the previous frame, and if the matching rate is less than a preset reference value, re-applying the adaboost algorithm to detect the candidate region,
Ii) if the matching rate is equal to or greater than the reference value, applying a CAMShift algorithm to designate a search area based on the center coordinates to detect the candidate region
A pupil center detecting device. 제1항에 있어서,
상기 후보영역 검출부는,
상기 동공의 특징점을 이용하여 상기 동공을 검출하는 아다부스트 알고리즘, 및
상기 눈 영상에 대한 그레이 히스토그램값을 이용하여, 상기 동공을 추적하는 캠쉬프트 알고리즘
중 적어도 하나의 알고리즘을 적용하여, 상기 눈 영상으로부터 상기 후보 영역을 검출하는
동공 중심 검출 장치.The method according to claim 1,
Wherein the candidate region detection unit comprises:
An adaboost algorithm for detecting the pupil using characteristic points of the pupil, and
A camshift algorithm for tracking the pupil using a gray histogram value for the eye image,
The candidate region is detected from the eye image by applying at least one algorithm
A pupil center detecting device. 제1항에 있어서,
상기 후보영역 검출부는,
상기 눈 영상의 두 번째 프레임 이후의 프레임에 대해, 현재 프레임의 이전 프레임으로부터 검출된 후보 영역 내 동공의 중심 좌표가 없는 경우,
상기 아다부스트 알고리즘을 재적용하여 상기 후보 영역을 검출하는
동공 중심 검출 장치.The method according to claim 1,
Wherein the candidate region detection unit comprises:
If there is no center coordinate of the pupil in the candidate region detected from the previous frame of the current frame for the frame after the second frame of the eye image,
The adaboost algorithm is reapplied to detect the candidate region
A pupil center detecting device. 삭제delete 삭제delete 삭제delete 눈 영상으로부터 동공을 적어도 포함하는 후보 영역을 검출하는 단계; 및
상기 후보 영역에 대해서 원형 검출 알고리즘을 적용하여 초기의 동공 중심을 검출하고, 상기 초기의 동공 중심에 대해, 지역적 이진화 과정, 라벨링 과정 및 무게중심 연산 과정을 순차적으로 적용하여 얻은 결과를, 최종의 동공 중심으로서 검출하는 단계
를 포함하고,
상기 후보 영역을 검출하는 단계는,
상기 눈 영상의 첫 번째 프레임에 대해, 아다부스트 알고리즘을 적용하여, 상기 후보 영역을 검출하는 단계;
상기 눈 영상의 두 번째 프레임 이후의 프레임에 대해, 현재의 프레임의 이전 프레임으로부터 검출된 후보 영역 내 동공의 중심 좌표가 있는 경우,
ⅰ)상기 현재 프레임으로부터 검출된 그레이 히스토그램값과 상기 이전 프레임으로부터 검출된 그레이 히스토그램값을 비교하여, 매칭률이 기설정된 기준값 미만이면, 상기 아다부스트 알고리즘을 재적용하여 상기 후보 영역을 검출하는 단계; 및
ⅱ)상기 매칭률이 상기 기준값 이상이면, 상기 중심 좌표에 근거하여 검색 영역을 지정하는 캠쉬프트 알고리즘을 적용하여, 상기 후보 영역을 검출하는 단계
를 포함하는 동공 중심 검출 방법.Detecting a candidate region including at least a pupil from an eye image; And
The initial pupil center is detected by applying a circular detection algorithm to the candidate region, and the result obtained by sequentially applying the local binarization process, the labeling process, and the center-of-gravity process to the initial pupil center, Detecting as a center
Lt; / RTI >
Wherein the step of detecting the candidate region comprises:
Applying an adaboost algorithm to the first frame of the eye image to detect the candidate region;
When there is a center coordinate of a pupil in a candidate region detected from a previous frame of the current frame for a frame after the second frame of the eye image,
I) comparing the gray histogram value detected from the current frame with the gray histogram value detected from the previous frame, and if the matching rate is less than a preset reference value, re-applying the adaboost algorithm to detect the candidate region; And
Ii) detecting the candidate region by applying a camshift algorithm that specifies a search region based on the center coordinates if the matching rate is greater than or equal to the reference value
And detecting the pupil center of the pupil. 제7항에 있어서,
상기 후보 영역을 검출하는 단계는,
상기 눈 영상의 두 번째 프레임 이후의 프레임에 대해, 현재 프레임의 이전 프레임으로부터 검출된 후보 영역 내 동공의 중심 좌표가 없는 경우,
상기 아다부스트 알고리즘을 재적용하여 상기 후보 영역을 검출하는 단계
를 더 포함하는 동공 중심 검출 방법.8. The method of claim 7,
Wherein the step of detecting the candidate region comprises:
If there is no center coordinate of the pupil in the candidate region detected from the previous frame of the current frame for the frame after the second frame of the eye image,
And re-applying the AdaBoost algorithm to detect the candidate region
Further comprising the steps of: 삭제delete
KR1020100110944A 2010-11-09 2010-11-09 Apparatus and Method for Detecting Center of Pupil KR101712673B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020100110944A KR101712673B1 (en) 2010-11-09 2010-11-09 Apparatus and Method for Detecting Center of Pupil

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020100110944A KR101712673B1 (en) 2010-11-09 2010-11-09 Apparatus and Method for Detecting Center of Pupil

Publications (2)

Publication Number Publication Date
KR20120049605A KR20120049605A (en) 2012-05-17
KR101712673B1 true KR101712673B1 (en) 2017-03-06

Family

ID=46267358

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100110944A KR101712673B1 (en) 2010-11-09 2010-11-09 Apparatus and Method for Detecting Center of Pupil

Country Status (1)

Country Link
KR (1) KR101712673B1 (en)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102037417B1 (en) * 2013-08-13 2019-10-28 삼성전자주식회사 Method of capturing an iris image, Computer readable storage medium of recording the method and an iris image capture device
KR101979725B1 (en) 2016-01-04 2019-05-17 한국전자통신연구원 Apparatus and Method for Detecting Center of Pupil based on degree of circle of open curve
CN108509825A (en) * 2017-02-27 2018-09-07 苏文电能科技有限公司 A kind of Face tracking and recognition method based on video flowing
KR102214411B1 (en) * 2019-03-29 2021-02-09 상명대학교산학협력단 Apparatus and method to virtual wearing for lenses
KR20210045533A (en) 2019-10-16 2021-04-27 삼성디스플레이 주식회사 Pupil detecting device

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
Adaboost 기반의 실시간 고속 얼굴검출 및 추적시스템의 개발
Adaboost를 이용한 모바일 환경에서의 홍채인식을 위한 눈 검출에 관한 연구, 전자공학회논문지*
HMD(Head Mounted Display)에서 시선 추적을 통한 3차원 게임 조작 방법 연구, 전자공학회논문지*
적응적 Boosting과 CAMShift 알고리즘을 이용한 실시간 고속 얼굴 검출 및 추적 시스템의 개발, 제어로봇시스템학회*

Also Published As

Publication number Publication date
KR20120049605A (en) 2012-05-17

Similar Documents

Publication Publication Date Title
Alshaqaqi et al. Driver drowsiness detection system
KR100668303B1 (en) Method for detecting face based on skin color and pattern matching
JP4216668B2 (en) Face detection / tracking system and method for detecting and tracking multiple faces in real time by combining video visual information
JP4845698B2 (en) Eye detection device, eye detection method, and program
KR100809431B1 (en) Method and apparatus for detecting eye in face region
KR101653278B1 (en) Face tracking system using colar-based face detection method
KR101697161B1 (en) Device and method for tracking pedestrian in thermal image using an online random fern learning
KR101712673B1 (en) Apparatus and Method for Detecting Center of Pupil
CN105512618B (en) Video tracing method
CN103413120A (en) Tracking method based on integral and partial recognition of object
KR101449744B1 (en) Face detection device and method using region-based feature
CN111368682B (en) Method and system for detecting and identifying station caption based on master RCNN
KR102641117B1 (en) Method and apparatus of augmenting image
CN104134078A (en) Automatic selection method for classifiers in people flow counting system
WO2022110917A1 (en) Method for determining driving state of driver, computer storage medium, and electronic device
Ahmed et al. Traffic sign detection and recognition model using support vector machine and histogram of oriented gradient
KR101523765B1 (en) Enhanced Method for Detecting Iris from Smartphone Images in Real-Time
CN109446935B (en) Iris positioning method for iris recognition in long-distance traveling
CN112347967B (en) Pedestrian detection method fusing motion information in complex scene
Deshmukh et al. Real-time traffic sign recognition system based on colour image segmentation
CN104517300A (en) Vision judgment tracking method based on statistical characteristic
Xu et al. Efficient eye states detection in real-time for drowsy driving monitoring system
Bagherian et al. Extract of facial feature point
CN102339377B (en) Quick human-eye positioning method and device
JP2017202038A (en) Discrimination device, discrimination method, and discrimination program

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
FPAY Annual fee payment

Payment date: 20200128

Year of fee payment: 4