KR20100119420A - Apparatus and method for detecting eye location using eye descriptor - Google Patents
Apparatus and method for detecting eye location using eye descriptor Download PDFInfo
- Publication number
- KR20100119420A KR20100119420A KR1020090038526A KR20090038526A KR20100119420A KR 20100119420 A KR20100119420 A KR 20100119420A KR 1020090038526 A KR1020090038526 A KR 1020090038526A KR 20090038526 A KR20090038526 A KR 20090038526A KR 20100119420 A KR20100119420 A KR 20100119420A
- Authority
- KR
- South Korea
- Prior art keywords
- pupil
- eye position
- descriptor
- face image
- similarity
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
- G06V40/19—Sensors therefor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
- G06V40/162—Detection; Localisation; Normalisation using pixel segmentation or colour matching
Abstract
Description
본 발명은 눈동자 서술자를 이용한 눈 위치 검출 장치 및 그 방법에 관한 것으로, 더욱 상세하게는 얼굴 영상과 미리 학습된 눈동자 서술자와의 비교를 통해 눈동자 유사도를 계산하고 그 계산된 눈동자 유사도를 이용하여 기하학적인 눈 위치를 검출함으로써, 주변 조명 변화에 강인하고 낮은 복잡도를 가지면서 정확하게 눈 위치를 검출할 수 있는, 눈동자 서술자를 이용한 눈 위치 검출 장치 및 그 방법에 관한 것이다.The present invention relates to an apparatus for detecting eye position using a pupil descriptor and a method thereof, and more particularly, to calculate pupil similarity through comparison of a face image with a pre-learned pupil descriptor, and to calculate geometrical similarity using the calculated pupil similarity. By detecting the eye position, the present invention relates to an eye position detecting device using a pupil descriptor and a method thereof, which is robust to ambient light changes and capable of accurately detecting eye position with low complexity.
최근, 영화와 디지털 멀티미디어 방송(DMB: Digital Multimedia Broadcasting) 등과 같은 3차원 콘텐츠에 대한 관심이 증가하고 있다. 이로 인하여 3차원 콘텐츠와 관련된 영상 기술에 대한 필요성이 점점 증가되고 있는 추세에 있다. 일반적으로 3차원 영상 시스템은 컬러 필터 안경을 이용하여 각각의 눈에 다른 영상 신호를 전송한다. 이는 사용자가 영상을 입체적으로 느낄 수 있도록 도와 주 기 위함이다.Recently, interest in three-dimensional content such as movies and digital multimedia broadcasting (DMB) has increased. As a result, the need for an image technology related to 3D content is increasing. In general, a 3D imaging system transmits different image signals to each eye using color filter glasses. This is to help the user to feel the image in three dimensions.
하지만, 이러한 3차원 영상 시스템은 사용자가 컬러 필터 안경과 같이 불편한 안경을 착용해야 하거나 고가의 장비를 추가로 구입해야 하는 등의 불편함이 존재한다. 이에 따라, 추가적인 장비를 착용하지 않고 3차원 콘텐츠를 이용하기 위해서는 입력 영상에서 사용자의 눈 위치를 검출하는 기술이 필수적으로 요구된다. 종래 기술에 의한 눈 위치 검출 기술 또는 다음과 같은 다양한 기술들이 있다.However, such a three-dimensional imaging system has the inconvenience that the user must wear inconvenient glasses, such as color filter glasses or purchase additional expensive equipment. Accordingly, in order to use 3D content without wearing additional equipment, a technique for detecting an eye position of a user from an input image is required. The eye position detection technique according to the prior art or various techniques as follows.
종래의 눈 검출 기술에는, 일정 영역의 픽셀 밝기값을 기초로 하여 추출된 특징값을 통해 눈의 위치를 검출하는 기술과, 얼굴영역에서 눈이 가지는 색상 정보인 평균 밝기 및 분산을 이용하여 눈의 위치를 검출하는 기술이 있다.In the conventional eye detection technology, the eye position is detected using feature values extracted based on pixel brightness values of a predetermined region, and the average brightness and variance, which is the color information of the eye in the face region, There is a technique for detecting the position.
픽셀 밝기값을 이용한 눈 검출 기술은 일정 영역의 픽셀 밝기값을 이용하여 특징값을 추출하며, 이렇게 추출된 특징값과 학습된 눈 정보의 특징값의 비교를 통해서 최종 눈 위치를 검출하게 된다. 이러한 눈 검출 기술은 비교적 정확하게 눈의 위치를 검출할 수 있지만, 특징값 추출에 많은 계산을 필요로 한다는 문제점이 있다.An eye detection technique using pixel brightness values extracts feature values using pixel brightness values of a predetermined region, and detects the final eye position by comparing the extracted feature values with those of learned eye information. This eye detection technique can detect the position of the eye relatively accurately, but has a problem in that a lot of calculation is required for feature value extraction.
이러한 눈의 위치 검출 기술 중에서 하-라이크 피춰(Haar-like feature)를 이용하여 눈 위치를 검출하는 기술은 주변 조명 변화에 강인하나 높은 복잡도를 가진다. 이로 인하여 하-라이크 피춰 기술은 휴대용 기기에는 이용하기 곤란하다는 문제가 있다. 이는 휴대용 기기가 적은 자원을 이용하기 때문이다.Among these eye position detection techniques, a technique for detecting eye position using a haar-like feature is robust to ambient light changes but has a high complexity. For this reason, the low-like feature has a problem that it is difficult to use in a portable device. This is because portable devices use less resources.
이와는 달리, 휴대용 기기 등에 적합한 눈의 위치 검출 기술로는 색상 정보를 이용하는 눈의 위치 검출 기술이 있다. 이러한 색상 정보를 이용한 눈의 위치 검출 기술은 영상에서 눈이 가지는 색상의 평균 및 분산 정보를 이용하여 눈 위치를 분리해낸다. 그리고 이러한 눈의 위치 검출 기술은 낮은 복잡도를 가지나, 색상 정보를 이용하기 때문에 주변 조명 변화나 카메라의 자동 화이트 밸런스(AWB: Auto White Balance)로 인해 낮은 정확도를 가지는 문제가 있다.In contrast, an eye position detection technique suitable for a portable device or the like includes an eye position detection technique using color information. The eye position detection technology using the color information separates the eye position using the average and variance information of the color of the eye in the image. In addition, such eye position detection technology has a low complexity, but because of using color information, there is a problem of low accuracy due to the change of ambient light or the auto white balance (AWB) of the camera.
그러므로 주변 조명 변화에 강인한 눈 위치 검출 기술이 절실히 요구된다. 또한, 주변 조명 변화에 강인한 눈 위치 검출 기술은 휴대용 개인 단말 기기에 적용할 수 있도록 낮은 복잡도를 가져야 한다.Therefore, there is an urgent need for an eye position detection technique that is robust to changes in ambient lighting. In addition, the eye position detection technology, which is robust against changes in ambient lighting, must have a low complexity to be applied to portable personal terminal devices.
즉, 색상 정보를 이용한 눈 검출 기술은 얼굴영역에서 눈이 가지는 색상 정보인 평균 밝기 및 분산을 이용하여 눈을 분리하여 최종 눈의 위치를 검출하게 된다. 이러한 눈 검출 기술은 단순히 눈이 가지는 색상 정보만을 이용하기 때문에 낮은 복잡도를 가진다. 하지만, 이러한 눈 검출 기술은 주변 조명 등의 변화가 있을 시에 오류가 자주 발생하는 문제점이 있다.That is, the eye detection technology using the color information detects the position of the final eye by separating the eyes using the average brightness and the dispersion, which is the color information of the eyes in the face region. This eye detection technique has low complexity because it only uses color information of the eye. However, such an eye detection technique has a problem that an error frequently occurs when there is a change in the ambient light.
종합해 보면, 종래의 눈 인식 기술들은 높은 복잡도로 인하여 개인용 멀티미디어 기기에 적용하기 곤란하다는 문제점이 있다. 또한, 종래의 눈 인식 기술은 낮은 복잡도를 가진 알고리즘의 경우 주변 조명 환경 등에 취약하여 정확도가 낮다는 문제점이 있다. 따라서 종래의 눈 검출 기술은 높은 복잡도를 가지면서도 낮은 정확도로 인해 다양한 영상 기기(예를 들면, VCR, 비디오 등)에서 촬영되는 영상을 통해 실시간으로 눈을 검출하지 못한다는 문제점이 있다.Taken together, conventional eye recognition technologies have a problem in that they are difficult to apply to personal multimedia devices due to their high complexity. In addition, the conventional eye recognition technology has a problem in that the accuracy is low in the case of the algorithm having a low complexity because it is vulnerable to the ambient lighting environment. Therefore, the conventional eye detection technology has a problem that the eye can not be detected in real time through the image taken by various imaging devices (for example, VCR, video, etc.) due to the high complexity and low accuracy.
따라서 상기와 같은 종래 기술은 높은 복잡도를 가진 경우에 개인용 멀티미디어 기기에 적용하기 곤란하며, 낮은 복잡도를 가진 알고리즘의 경우에 주변 조명 환경 등에 취약하여 정확도가 낮다는 문제점이 있으며, 이러한 문제점을 해결하고자 하는 것이 본 발명의 과제이다.Therefore, the prior art as described above has a problem that it is difficult to apply to a personal multimedia device in the case of high complexity, and in the case of an algorithm with low complexity, the accuracy is low because it is vulnerable to the surrounding lighting environment and the like. It is a subject of the present invention.
따라서 본 발명은 얼굴 영상과 미리 학습된 눈동자 서술자와의 비교를 통해 눈동자 유사도를 계산하고 그 계산된 눈동자 유사도를 이용하여 기하학적인 눈 위치를 검출함으로써, 주변 조명 변화에 강인하고 낮은 복잡도를 가지면서 정확하게 눈 위치를 검출할 수 있는, 눈동자 서술자를 이용한 눈 위치 검출 장치 및 그 방법을 제공하는데 그 목적이 있다.Therefore, the present invention calculates pupil similarity by comparing face images with pre-learned pupil descriptors, and detects geometric eye positions using the calculated pupil similarity, thereby being robust to ambient lighting changes and having low complexity. SUMMARY OF THE INVENTION An object of the present invention is to provide an eye position detecting apparatus using the pupil descriptor and a method thereof capable of detecting the eye position.
본 발명의 목적들은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 본 발명의 다른 목적 및 장점들은 하기의 설명에 의해서 이해될 수 있으며, 본 발명의 실시예에 의해 보다 분명하게 알게 될 것이다. 또한, 본 발명의 목적 및 장점들은 특허 청구 범위에 나타낸 수단 및 그 조합에 의해 실현될 수 있음을 쉽게 알 수 있을 것이다.The objects of the present invention are not limited to the above-mentioned objects, and other objects and advantages of the present invention which are not mentioned can be understood by the following description, and will be more clearly understood by the embodiments of the present invention. Also, it will be readily appreciated that the objects and advantages of the present invention may be realized by the means and combinations thereof indicated in the claims.
본 발명은 상기 문제점을 해결하기 위하여, 얼굴 영상과 미리 학습된 눈동자 서술자와의 비교를 통해 눈동자 유사도를 계산하고 그 계산된 눈동자 유사도를 이용하여 기하학적인 눈 위치를 검출하는 것을 특징으로 한다.In order to solve the above problem, the pupil image similarity is calculated by comparing the face image with a pre-learned pupil descriptor, and the geometric eye position is detected using the calculated pupil similarity.
더욱 구체적으로, 본 발명의 장치는, 눈 위치 검출 장치에 있어서, 입력영상에서 얼굴 영상을 검출하기 위한 얼굴 영상 검출 수단; 상기 검출된 얼굴 영상과 미리 학습된 눈동자 서술자와의 비교를 통해 눈동자 유사도를 계산하고 상기 계산된 눈동자 유사도를 이용하여 상기 검출된 얼굴 영상에서의 눈 위치를 계산하기 위한 유사도 계산 수단; 및 상기 계산된 얼굴 영상에서의 눈 위치로부터 기하학적인 사용자의 눈 위치를 계산하기 위한 눈 위치 계산 수단을 포함한다.More specifically, the apparatus of the present invention, the eye position detection device, comprising: face image detection means for detecting a face image in the input image; Similarity calculation means for calculating pupil similarity by comparing the detected face image with a pre-learned pupil descriptor and calculating eye position in the detected face image using the calculated pupil similarity; And eye position calculation means for calculating the eye position of the geometric user from the eye position in the calculated face image.
또한, 상기 본 발명의 장치는, 복수의 얼굴 영상에서 미리 지정된 눈 위치의 픽셀들에 대한 학습을 통해 눈동자 서술자를 학습하기 위한 눈동자 서술자 학습 수단을 더 포함한다.In addition, the apparatus of the present invention further includes pupil descriptor learning means for learning the pupil descriptor through learning about pixels at predetermined eye positions in the plurality of face images.
한편, 본 발명의 방법은, 눈 위치 검출 방법에 있어서, 입력영상에서 얼굴 영상을 검출하는 얼굴 영상 검출 단계; 상기 검출된 얼굴 영상과 미리 학습된 눈동자 서술자와의 비교를 통해 눈동자 유사도를 계산하고 상기 계산된 눈동자 유사도를 이용하여 상기 검출된 얼굴 영상에서의 눈 위치를 계산하는 유사도 계산 단계; 및 상기 계산된 얼굴 영상에서의 눈 위치로부터 기하학적인 사용자의 눈 위치를 계산하는 눈 위치 계산 단계를 포함한다.On the other hand, the method of the present invention, the eye position detection method, the face image detection step of detecting a face image from the input image; A similarity calculation step of calculating a pupil similarity by comparing the detected face image with a pre-learned pupil descriptor and calculating eye position in the detected face image using the calculated pupil similarity; And an eye position calculation step of calculating an eye position of a geometric user from an eye position in the calculated face image.
또한, 상기 본 발명의 방법은, 복수의 얼굴 영상에서 미리 지정된 눈 위치의 픽셀들에 대한 학습을 통해 눈동자 서술자를 학습하는 눈동자 서술자 학습 단계를 더 포함한다.The method may further include a pupil descriptor learning step of learning a pupil descriptor through learning about pixels of a predetermined eye position in a plurality of face images.
상기와 같은 본 발명은, 얼굴 영상과 미리 학습된 눈동자 서술자와의 비교를 통해 눈동자 유사도를 계산하고 그 계산된 눈동자 유사도를 이용하여 기하학적인 눈 위치를 검출함으로써, 주변 조명 변화에 강인하고 낮은 복잡도를 가지면서 정확하게 눈 위치를 검출할 수 있는 효과가 있다.As described above, the present invention calculates pupil similarity through comparison between a face image and a pre-learned pupil descriptor, and detects geometric eye position using the calculated pupil similarity, thereby making it possible to achieve low complexity and low complexity. It has the effect of detecting the eye position with accuracy.
또한, 본 발명은, 밝기 차이로 인한 눈동자 서술자를 미리 학습함으로써, 주변 조명 변화 또는 카메라의 자동 화이트 밸런스(AWB: Auto White Balance) 등의 변화에 대한 정확도 하락을 최소화할 수 있는 효과가 있다.In addition, the present invention, by pre-learning the pupil descriptors due to the difference in brightness, there is an effect that can be minimized the drop in accuracy for changes in the ambient light or changes in the camera Auto White Balance (AWB).
더 나아가, 본 발명은 다양한 정지 영상 및 동영상에서 효과적으로 눈 위치를 판단할 수 있으며, 주변 영역의 밝기 차이만을 이용하기 때문에 낮은 복잡도를 가지므로 고사양의 멀티미디어 기기뿐만 아니라, 임베디드(Embedded) 시스템, 개인용 휴대단말 기기와 같은 다양한 멀티미디어 기기에도 용이하게 적용할 수 있는 효과가 있다.Furthermore, the present invention can effectively determine the eye position in various still images and videos, and has a low complexity because only the brightness difference of the surrounding area is used, so that not only a high-end multimedia device, but also an embedded system, a personal portable device There is an effect that can be easily applied to various multimedia devices, such as a terminal device.
상술한 목적, 특징 및 장점은 첨부된 도면을 참조하여 상세하게 후술되어 있는 상세한 설명을 통하여 보다 명확해 질 것이며, 그에 따라 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 것이다. 또한, 본 발명을 설명함에 있어서 본 발명과 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에 그 상세한 설명을 생략하기로 한다. 이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 실시예를 상세히 설명하기로 한다.BRIEF DESCRIPTION OF THE DRAWINGS The above and other objects, features and advantages of the present invention will become more apparent from the following detailed description of the present invention when taken in conjunction with the accompanying drawings, It can be easily carried out. In the following description, well-known functions or constructions are not described in detail since they would obscure the invention in unnecessary detail. Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings.
본 발명의 목적은 종래의 기술들의 문제점을 보완하여 다양한 멀티미디어 기기에 사용할 수 있도록 낮은 복잡도를 가지면서 주변 조명 변화에 강인하고 정확하게 눈 위치를 검출하는데 그 목적이 있다.SUMMARY OF THE INVENTION An object of the present invention is to robustly detect changes in eye position and to accurately detect eye positions while having low complexity to be used in various multimedia devices by supplementing the problems of the conventional technologies.
도 1 은 본 발명에 따른 눈동자 서술자를 이용한 눈 위치 검출 장치의 일실시예 구성도이다.1 is a block diagram of an embodiment of an eye position detection apparatus using a pupil descriptor according to the present invention.
도 1에 도시된 바와 같이, 본 발명에 따른 눈동자 서술자를 이용한 눈 위치 검출 장치(100)는 얼굴영역 검출부(110), 유사도 계산부(120), 눈 위치 계산부(130) 및 눈동자 서술자 학습부(140)를 포함한다.As shown in FIG. 1, the eye
이하, 본 발명에 따른 눈동자 서술자를 이용한 눈 위치 검출 장치(100)의 구성요소 각각에 대하여 살펴보기로 한다.Hereinafter, each component of the eye
먼저, 얼굴영역 검출부(110)는 입력영상 데이터(101)를 입력받고 그 입력영상 데이터(101)에서 얼굴영역을 검출하여 그 얼굴영역에 해당하는 얼굴 영상(102)을 유사도 계산부(120)로 전달한다.First, the
그러면, 유사도 계산부(120)는 얼굴영역 검출부(110)로부터 전달받은 얼굴 영상(102)과 미리 학습된 눈동자 서술자(103)를 이용하여 눈동자 유사도를 계산한다. 그리고 유사도 계산부(120)는 눈동자 유사도 중에서 눈 위치에 해당하는 픽셀을 모든 확률을 기반으로 계산한다. 여기서, 유사도 계산부(120)는 미리 학습된 눈동자 서술자(103)를 눈동자 서술자 학습부(140)로부터 미리 전달받거나, 유사도 계산 과정마다 전달받을 수 있다.Then, the
이어서, 눈 위치 계산부(130)는 유사도 계산부(120)에서 계산된 눈 위치에 해당하는 픽셀이 포함된 지점을 이용하여 사용자의 눈이 실제로 위치한 지점의 기하학적인 눈 위치(예를 들면, 눈의 3차원 좌표)를 계산한다. 즉, 눈 위치 계산부(130)는 카메라로부터 양쪽 눈 방향의 각도와 양쪽 눈 사이의 거리 등을 이용하여 기하학적인 눈 위치를 계산한다. 그리고 눈 위치 계산부(130)는 계산된 실제 기하학적인 눈 위치에 대한 눈 위치 데이터(104)를 출력한다.Subsequently, the
눈동자 위치에 대한 학습 과정을 살펴보면, 눈동자 서술자 학습부(140)는 복수의 얼굴 영상 또는 복수의 사용자의 눈 위치에 대한 영상을 미리 입력받고 이를 이용하여 해당 사용자의 눈동자 위치에 대한 눈동자 서술자(103)를 학습한다. 즉, 눈동자 서술자 학습부(140)는 다양한 사용자의 눈동자 서술자를 추출하여 평균적인 눈동자 특성을 구하거나 표준이 되는 눈동자 서술자를 선택함으로써, 일반적인 눈동자 위치에 대한 눈동자 서술자(103)를 학습한다.Looking at the learning process for the pupil position, the
눈 위치 검출 장치(100)에서 눈 위치 검출을 위하여, 일반적인 사용자에 맞게 추출된 눈동자 서술자(103)는 유사도 계산부(120)에서의 눈동자 유사도 계산에 이용된다. 이렇게 학습된 눈동자 서술자(103)는 눈동자 서술자 학습부(140)에 저장되거나 유사도 계산부(120)로 전달되게 된다. 그러면, 유사도 계산부(120)는 얼굴 영상(102)에서 눈동자 서술자(103)를 이용하여 눈동자 유사도를 계산한다.In order to detect the eye position in the eye
도 2 는 본 발명에 따른 눈 위치 검출을 위한 눈동자 서술자의 일실시예 예시도이다.Figure 2 is an exemplary illustration of a pupil descriptor for eye position detection in accordance with the present invention.
도 2에 도시된 바와 같이, 눈동자 서술자 학습부(140)는 눈 위치의 검출을 위한 눈동자 서술자(103)를 얼굴 영상(102)에서 9개 영역(예를 들면, 9개로 등분된 R1 내지 R9)(201)의 밝기 정보를 이용하여 계산한다. 눈동자 서술자(103)에 포함되는 서술자의 9개 변수(C1 내지 C9)는 하기의 [수학식 1]과 같이 계산된다.As illustrated in FIG. 2, the
여기서, 는 눈동자 서술자의 i번째 변수, 는 i번째 영역의 평균 밝기값, 은 5번째 영역의 밝기값을 제외한 평균 밝기값을 나타낸다.here, Is the i variable of the pupil descriptor, Is the average brightness value in the i area, Denotes the average brightness value excluding the brightness value of the fifth region.
또한, 는 하기의 [수학식 2]와 같이 표현된다.Also, Is expressed by Equation 2 below.
여기서, 는 x번째 픽셀의 밝기값, 은 i번째 영역의 픽셀수를 나타낸다.here, Is the brightness value of the xth pixel, Represents the number of pixels in the i-th area.
또한, 는 하기의 [수학식 3]과 같이 표현된다.Also, Is expressed by Equation 3 below.
여기서, 는 i번째 영역의 평균 밝기값을 나타낸다.here, Denotes an average brightness value of the i-th region.
상기의 [수학식 1]을 통해 계산된 서술자의 각 변수들()은 이후 밝기값의 최대값으로 나누어 주어 정규화 과정을 거치게 된다. 정규화된 변수는 '-1' 내지 '1'의 값을 갖게 된다.Each variable of the descriptor calculated by the above [Equation 1] ( ) Is then divided by the maximum value of the brightness value for normalization. The normalized variable has a value of '-1' to '1'.
이후, 눈동자 서술자 학습부(140)는 미리 입력된 영상의 얼굴영역에서 눈동자 검출을 위해서 눈동자 서술자 학습과정을 수행하여 정확한 눈동자 위치의 눈동자 서술자(103)를 추출한다. 그리고 추출된 눈동자 서술자(103)는 유사도 계산부(120)로 전달되게 된다.Thereafter, the
한편, 유사도 계산부(120)는 미리 학습된 눈동자 서술자(103)와 새롭게 입력된 얼굴 영상(102)의 각 픽셀에서 계산된 눈동자 서술자를 비교하여 각 픽셀에서의 눈동자 유사도를 하기의 [수학식 4]와 같이 계산한다.Meanwhile, the
여기서, 는 x번째 픽셀에서의 눈동자 유사도, 는 학습된 눈동자 서술자와 입력 영상의 x번째 픽셀에서 계산된 눈동자 서술자의 i번째 변수의 차이를 나타낸다.here, Is the pupil similarity at the x pixel, Denotes the difference between the trained pupil descriptor and the i-th variable of the pupil descriptor calculated at the x-th pixel of the input image.
또한, 는 하기의 [수학식 5]와 같이 표현된다.Also, Is expressed by Equation 5 below.
여기서, 는 학습된 눈동자 서술자와 입력 영상의 x번째 픽셀에서 계산된 눈동자 서술자의 i번째 변수의 차이, 눈동자 서술자인 는 입력된 위치 x번째 픽셀에서 추출된 i번째 변수의 값, 는 사용자의 눈에서 학습된 눈동자 서술자의 i번째 변수의 값을 나타낸다.here, Is the difference between the trained pupil descriptor and the i-th variable of the pupil descriptor computed at the x-th pixel of the input image, Is the value of the i th variable extracted from the x th pixel of the input position, Denotes the value of the i th variable of the pupil descriptor learned from the user's eyes.
도 3a 내지 도 3b 는 본 발명에 따른 도 1의 유사도 계산부에서 계산된 유사도에 대한 일실시예 결과도이다.3A to 3B are diagrams illustrating exemplary results of the similarity calculated by the similarity calculator of FIG. 1 according to the present invention.
도 3a에 도시된 바와 같이, 얼굴 영상(301)의 각 픽셀에서 계산된 눈동자 서술자와 학습된 눈동자 서술자(103)와의 비교를 통해 계산된 눈동자 유사도 결과(302)가 나타나 있다.As shown in FIG. 3A, the
또한, 얼굴 영상(301)과 학습된 눈동자 서술자(103)와의 비교를 통해 계산된 눈동자 유사도 결과(302) 중에서 눈동자에 대응되는 임계값을 이용하여 계산된 눈 위치를 나타내는 눈 위치의 유사도 계산 결과(303)가 도 3a에 나타나 있다. 여기서, 눈 위치의 유사도 계산 결과(303) 중에서 눈동자에 대응되는 임계값을 초과한 픽셀이 포함된 눈 위치(304, 305)가 도 3a에 나타나 있다.Also, a similarity calculation result of an eye position indicating an eye position calculated using a threshold value corresponding to the pupil among the pupil similarity results 302 calculated by comparing the
한편, 도 3b에는 얼굴 영상(301)의 각 픽셀에 대한 눈동자 유사도 결과(302)가 3차원 정보로 표현되어 나타나 있다.Meanwhile, in FIG. 3B, the
도 3b의 3차원 정보 중에서 눈 위치에 근접한 유사도를 가지는 픽셀이 포함된 눈 위치(304, 305)는 전체 얼굴 영상(301)의 3차원 그래프 상에서 유사도가 '1'과 근접한 지점(311, 312)과 대응된다.The eye positions 304 and 305 including pixels having similarities close to the eye position among the three-dimensional information of FIG. 3B are
도 3a에 나타난 얼굴 영상(301), 얼굴 영상(301)의 눈동자 유사도 결과(302) 및 눈 위치의 유사도 결과(303)를 구하는 과정을 도 4를 참조하여 살펴보기로 한다.A process of obtaining the
도 4 는 본 발명에 따른 눈동자 서술자를 이용한 눈 위치 검출 방법에 대한 일실시예 흐름도이다.4 is a flowchart illustrating a method for detecting eye position using a pupil descriptor according to the present invention.
먼저, 눈동자 서술자 학습부(140)는 복수의 얼굴 영상 또는 복수의 사용자의 눈 위치에 대한 영상을 미리 입력받아 미리 지정된 사용자의 눈동자 위치의 픽셀들에 대한 학습을 통해 눈동자 서술자(103)를 학습한다(402). 즉, 눈동자 서술자 학습부(140)는 다양한 사용자의 눈동자 서술자를 추출하여 평균적인 눈동자 특성을 구하거나 표준이 되는 눈동자 서술자를 선택함으로써, 일반적인 눈동자 위치에 대한 눈동자 서술자(103)를 학습한다.First, the
이후, 얼굴영역 검출부(110)는 입력영상 데이터(101)를 입력받아 얼굴영역에 해당하는 얼굴 영상(301)을 검출한다(404).Thereafter, the
그리고 유사도 계산부(120)는 얼굴영역 검출부(110)에서 검출된 얼굴 영상(301)과 눈동자 서술자 학습부(140)에서 학습된 눈동자 서술자(103)와의 비교를 통해 얼굴 영상(301)의 각 픽셀에 대한 눈동자 유사도를 계산하고 그 계산 결과에 따른 눈동자 유사도 결과(302)를 생성한다(404).The
이어서, 유사도 계산부(120)는 생성된 눈동자 유사도 결과(302) 중에서 눈 위치(304, 305)를 계산한다(406). 여기서, 눈 위치(304, 305)는 눈동자 유사도 결과(302) 중에서 미리 설정된 눈동자에 대응되는 임계값을 초과하는 픽셀이 포함된 지점이다.Next, the
이후, 눈 위치 계산부(130)는 유사도 계산부(120)에서 계산된 눈 위치에 해당하는 픽셀이 포함된 지점을 이용하여 사용자의 눈이 실제로 위치한 지점의 기하학적인 눈 위치(예를 들면, 눈의 3차원 좌표)를 계산한다(408). 즉, 눈 위치 계산부(130)는 카메라로부터 양쪽 눈 방향의 각도와 양쪽 눈 사이의 거리 등을 이용하여 기하학적인 눈 위치를 계산한다.Thereafter, the
이와 더불어, 본 발명은 다양한 멀티미디어 기기에 적용되어 눈 위치를 검출할 수 있어, 정지 영상 및 동영상에서 눈동자 서술자를 추출하여 눈 위치를 판단하여 얼굴을 인식하는 분야 등 다양한 분야에 유용하게 이용될 수 있다.In addition, the present invention can be applied to various multimedia devices to detect the eye position, and can be usefully used in various fields such as the field recognition by extracting the eye descriptor from the still image and the moving image to determine the eye position. .
한편, 전술한 바와 같은 본 발명의 방법은 컴퓨터 프로그램으로 작성이 가능하다. 그리고 상기 프로그램을 구성하는 코드 및 코드 세그먼트는 당해 분야의 컴퓨터 프로그래머에 의하여 용이하게 추론될 수 있다. 또한, 상기 작성된 프로그램 은 컴퓨터가 읽을 수 있는 기록매체(정보저장매체)에 저장되고, 컴퓨터에 의하여 판독되고 실행됨으로써 본 발명의 방법을 구현한다. 그리고 상기 기록매체는 컴퓨터가 판독할 수 있는 모든 형태의 기록매체를 포함한다.On the other hand, the method of the present invention as described above can be written in a computer program. And the code and code segments constituting the program can be easily inferred by a computer programmer in the art. In addition, the written program is stored in a computer-readable recording medium (information storage medium), and read and executed by a computer to implement the method of the present invention. The recording medium may include any type of computer readable recording medium.
이상에서 설명한 본 발명은, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 있어 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 여러 가지 치환, 변형 및 변경이 가능하므로 전술한 실시예 및 첨부된 도면에 의해 한정되는 것이 아니다.The present invention described above is capable of various substitutions, modifications, and changes without departing from the technical spirit of the present invention for those skilled in the art to which the present invention pertains. It is not limited by the drawings.
도 1 은 본 발명에 따른 눈동자 서술자를 이용한 눈 위치 검출 장치의 일실시예 구성도,1 is a block diagram of an embodiment of an eye position detection apparatus using a pupil descriptor according to the present invention;
도 2 는 본 발명에 따른 눈 위치 검출을 위한 눈동자 서술자의 일실시예 예시도,2 is a diagram illustrating an embodiment of a pupil descriptor for eye position detection according to the present invention;
도 3a 내지 도 3b 는 본 발명에 따른 도 1의 유사도 계산부에서 계산된 유사도에 대한 일실시예 결과도,3A to 3B are diagrams illustrating examples of the similarity calculated by the similarity calculator of FIG. 1 according to the present invention;
도 4 는 본 발명에 따른 눈동자 서술자를 이용한 눈 위치 검출 방법에 대한 일실시예 흐름도이다.4 is a flowchart illustrating a method for detecting eye position using a pupil descriptor according to the present invention.
* 도면의 주요 부분에 대한 부호의 설명* Explanation of symbols for the main parts of the drawings
100: 눈 위치 검출 장치 110: 얼굴 영상 검출부100: eye position detection device 110: face image detection unit
120: 유사도 계산부 130: 눈 위치 계산부120: similarity calculation unit 130: eye position calculation unit
140: 눈동자 서술자 학습부140: pupil descriptor learning unit
Claims (16)
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020090038526A KR101079184B1 (en) | 2009-04-30 | 2009-04-30 | Apparatus and method for detecting eye location using eye descriptor |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020090038526A KR101079184B1 (en) | 2009-04-30 | 2009-04-30 | Apparatus and method for detecting eye location using eye descriptor |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20100119420A true KR20100119420A (en) | 2010-11-09 |
KR101079184B1 KR101079184B1 (en) | 2011-11-02 |
Family
ID=43405483
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020090038526A KR101079184B1 (en) | 2009-04-30 | 2009-04-30 | Apparatus and method for detecting eye location using eye descriptor |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR101079184B1 (en) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101046677B1 (en) * | 2011-03-15 | 2011-07-06 | 동국대학교 산학협력단 | Methods for tracking position of eyes and medical head lamp using thereof |
KR101274324B1 (en) * | 2010-11-23 | 2013-06-13 | 한국전자통신연구원 | Apparatus for detecting eye using gaze tracking and method therefore |
US9684828B2 (en) | 2013-07-04 | 2017-06-20 | Samsung Electronics Co., Ltd | Electronic device and eye region detection method in electronic device |
-
2009
- 2009-04-30 KR KR1020090038526A patent/KR101079184B1/en not_active IP Right Cessation
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101274324B1 (en) * | 2010-11-23 | 2013-06-13 | 한국전자통신연구원 | Apparatus for detecting eye using gaze tracking and method therefore |
KR101046677B1 (en) * | 2011-03-15 | 2011-07-06 | 동국대학교 산학협력단 | Methods for tracking position of eyes and medical head lamp using thereof |
WO2012124893A2 (en) * | 2011-03-15 | 2012-09-20 | 동국대학교 산학협력단 | Method for tracking eye position and medical headlamp using same |
WO2012124893A3 (en) * | 2011-03-15 | 2012-11-22 | 동국대학교 산학협력단 | Method for tracking eye position and medical headlamp using same |
US9033505B2 (en) | 2011-03-15 | 2015-05-19 | Dongguk University Industry-Academic Cooperation Foundation | Method of tracking a position of an eye and a medical head lamp using the same |
US9684828B2 (en) | 2013-07-04 | 2017-06-20 | Samsung Electronics Co., Ltd | Electronic device and eye region detection method in electronic device |
Also Published As
Publication number | Publication date |
---|---|
KR101079184B1 (en) | 2011-11-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8792722B2 (en) | Hand gesture detection | |
US8750573B2 (en) | Hand gesture detection | |
US9965860B2 (en) | Method and device for calibration-free gaze estimation | |
KR100947990B1 (en) | Gaze Tracking Apparatus and Method using Difference Image Entropy | |
US20210133468A1 (en) | Action Recognition Method, Electronic Device, and Storage Medium | |
US11106903B1 (en) | Object detection in image data | |
US9471831B2 (en) | Apparatus and method for face recognition | |
US20130279813A1 (en) | Adaptive interest rate control for visual search | |
JP6007682B2 (en) | Image processing apparatus, image processing method, and program | |
KR20180138300A (en) | Electronic device for providing property information of external light source for interest object | |
WO2023010758A1 (en) | Action detection method and apparatus, and terminal device and storage medium | |
US10254831B2 (en) | System and method for detecting a gaze of a viewer | |
WO2019015344A1 (en) | Image saliency object detection method based on center-dark channel priori information | |
US20190304136A1 (en) | Gaze point estimation processing apparatus, gaze point estimation model generation apparatus, gaze point estimation processing system, and gaze point estimation processing method | |
CN111476783A (en) | Image processing method, device and equipment based on artificial intelligence and storage medium | |
KR20120044484A (en) | Apparatus and method for tracking object in image processing system | |
CN112446322B (en) | Eyeball characteristic detection method, device, equipment and computer readable storage medium | |
CN107977636B (en) | Face detection method and device, terminal and storage medium | |
CN111325107A (en) | Detection model training method and device, electronic equipment and readable storage medium | |
JP2014128003A (en) | Image recognition device, and control method and program thereof | |
Terven et al. | Robust head gestures recognition for assistive technology | |
KR101079184B1 (en) | Apparatus and method for detecting eye location using eye descriptor | |
EP3757878A1 (en) | Head pose estimation | |
EP2998928B1 (en) | Apparatus and method for extracting high watermark image from continuously photographed images | |
Thabet et al. | Algorithm of local features fusion and modified covariance-matrix technique for hand motion position estimation and hand gesture trajectory tracking approach |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant | ||
LAPS | Lapse due to unpaid annual fee |