KR101079184B1 - 눈동자 서술자를 이용한 눈 위치 검출 장치 및 그 방법 - Google Patents

Abstract

본 발명은 눈동자 서술자를 이용한 눈 위치 검출 장치 및 그 방법에 관한 것으로, 얼굴 영상과 미리 학습된 눈동자 서술자와의 비교를 통해 눈동자 유사도를 계산하고 그 계산된 눈동자 유사도를 이용하여 기하학적인 눈 위치를 검출함으로써, 주변 조명 변화에 강인하고 낮은 복잡도를 가지면서 정확하게 눈 위치를 검출할 수 있는, 눈동자 서술자를 이용한 눈 위치 검출 장치 및 그 방법을 제공하고자 한다.

이를 위하여, 본 발명은 눈 위치 검출 장치에 있어서, 입력영상에서 얼굴 영상을 검출하기 위한 얼굴 영상 검출 수단; 상기 검출된 얼굴 영상과 미리 학습된 눈동자 서술자와의 비교를 통해 눈동자 유사도를 계산하고 상기 계산된 눈동자 유사도를 이용하여 상기 검출된 얼굴 영상에서의 눈 위치를 계산하기 위한 유사도 계산 수단; 및 상기 계산된 얼굴 영상에서의 눈 위치로부터 기하학적인 사용자의 눈 위치를 계산하기 위한 눈 위치 계산 수단을 포함한다.

눈동자 서술자, 눈 위치 검출, 얼굴 영상, 눈동자 유사도, 눈동자 서술자 학 습, 낮은 복잡도, 조명 변화

Description

눈동자 서술자를 이용한 눈 위치 검출 장치 및 그 방법{APPARATUS AND METHOD FOR DETECTING EYE LOCATION USING EYE DESCRIPTOR}

본 발명은 눈동자 서술자를 이용한 눈 위치 검출 장치 및 그 방법에 관한 것으로, 더욱 상세하게는 얼굴 영상과 미리 학습된 눈동자 서술자와의 비교를 통해 눈동자 유사도를 계산하고 그 계산된 눈동자 유사도를 이용하여 기하학적인 눈 위치를 검출함으로써, 주변 조명 변화에 강인하고 낮은 복잡도를 가지면서 정확하게 눈 위치를 검출할 수 있는, 눈동자 서술자를 이용한 눈 위치 검출 장치 및 그 방법에 관한 것이다.

최근, 영화와 디지털 멀티미디어 방송(DMB: Digital Multimedia Broadcasting) 등과 같은 3차원 콘텐츠에 대한 관심이 증가하고 있다. 이로 인하여 3차원 콘텐츠와 관련된 영상 기술에 대한 필요성이 점점 증가되고 있는 추세에 있다. 일반적으로 3차원 영상 시스템은 컬러 필터 안경을 이용하여 각각의 눈에 다른 영상 신호를 전송한다. 이는 사용자가 영상을 입체적으로 느낄 수 있도록 도와 주 기 위함이다.

하지만, 이러한 3차원 영상 시스템은 사용자가 컬러 필터 안경과 같이 불편한 안경을 착용해야 하거나 고가의 장비를 추가로 구입해야 하는 등의 불편함이 존재한다. 이에 따라, 추가적인 장비를 착용하지 않고 3차원 콘텐츠를 이용하기 위해서는 입력 영상에서 사용자의 눈 위치를 검출하는 기술이 필수적으로 요구된다. 종래 기술에 의한 눈 위치 검출 기술 또는 다음과 같은 다양한 기술들이 있다.

종래의 눈 검출 기술에는, 일정 영역의 픽셀 밝기값을 기초로 하여 추출된 특징값을 통해 눈의 위치를 검출하는 기술과, 얼굴영역에서 눈이 가지는 색상 정보인 평균 밝기 및 분산을 이용하여 눈의 위치를 검출하는 기술이 있다.

픽셀 밝기값을 이용한 눈 검출 기술은 일정 영역의 픽셀 밝기값을 이용하여 특징값을 추출하며, 이렇게 추출된 특징값과 학습된 눈 정보의 특징값의 비교를 통해서 최종 눈 위치를 검출하게 된다. 이러한 눈 검출 기술은 비교적 정확하게 눈의 위치를 검출할 수 있지만, 특징값 추출에 많은 계산을 필요로 한다는 문제점이 있다.

이러한 눈의 위치 검출 기술 중에서 하-라이크 피춰(Haar-like feature)를 이용하여 눈 위치를 검출하는 기술은 주변 조명 변화에 강인하나 높은 복잡도를 가진다. 이로 인하여 하-라이크 피춰 기술은 휴대용 기기에는 이용하기 곤란하다는 문제가 있다. 이는 휴대용 기기가 적은 자원을 이용하기 때문이다.

이와는 달리, 휴대용 기기 등에 적합한 눈의 위치 검출 기술로는 색상 정보를 이용하는 눈의 위치 검출 기술이 있다. 이러한 색상 정보를 이용한 눈의 위치 검출 기술은 영상에서 눈이 가지는 색상의 평균 및 분산 정보를 이용하여 눈 위치를 분리해낸다. 그리고 이러한 눈의 위치 검출 기술은 낮은 복잡도를 가지나, 색상 정보를 이용하기 때문에 주변 조명 변화나 카메라의 자동 화이트 밸런스(AWB: Auto White Balance)로 인해 낮은 정확도를 가지는 문제가 있다.

그러므로 주변 조명 변화에 강인한 눈 위치 검출 기술이 절실히 요구된다. 또한, 주변 조명 변화에 강인한 눈 위치 검출 기술은 휴대용 개인 단말 기기에 적용할 수 있도록 낮은 복잡도를 가져야 한다.

즉, 색상 정보를 이용한 눈 검출 기술은 얼굴영역에서 눈이 가지는 색상 정보인 평균 밝기 및 분산을 이용하여 눈을 분리하여 최종 눈의 위치를 검출하게 된다. 이러한 눈 검출 기술은 단순히 눈이 가지는 색상 정보만을 이용하기 때문에 낮은 복잡도를 가진다. 하지만, 이러한 눈 검출 기술은 주변 조명 등의 변화가 있을 시에 오류가 자주 발생하는 문제점이 있다.

종합해 보면, 종래의 눈 인식 기술들은 높은 복잡도로 인하여 개인용 멀티미디어 기기에 적용하기 곤란하다는 문제점이 있다. 또한, 종래의 눈 인식 기술은 낮은 복잡도를 가진 알고리즘의 경우 주변 조명 환경 등에 취약하여 정확도가 낮다는 문제점이 있다. 따라서 종래의 눈 검출 기술은 높은 복잡도를 가지면서도 낮은 정확도로 인해 다양한 영상 기기(예를 들면, VCR, 비디오 등)에서 촬영되는 영상을 통해 실시간으로 눈을 검출하지 못한다는 문제점이 있다.

따라서 상기와 같은 종래 기술은 높은 복잡도를 가진 경우에 개인용 멀티미디어 기기에 적용하기 곤란하며, 낮은 복잡도를 가진 알고리즘의 경우에 주변 조명 환경 등에 취약하여 정확도가 낮다는 문제점이 있으며, 이러한 문제점을 해결하고자 하는 것이 본 발명의 과제이다.

따라서 본 발명은 얼굴 영상과 미리 학습된 눈동자 서술자와의 비교를 통해 눈동자 유사도를 계산하고 그 계산된 눈동자 유사도를 이용하여 기하학적인 눈 위치를 검출함으로써, 주변 조명 변화에 강인하고 낮은 복잡도를 가지면서 정확하게 눈 위치를 검출할 수 있는, 눈동자 서술자를 이용한 눈 위치 검출 장치 및 그 방법을 제공하는데 그 목적이 있다.

본 발명의 목적들은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 본 발명의 다른 목적 및 장점들은 하기의 설명에 의해서 이해될 수 있으며, 본 발명의 실시예에 의해 보다 분명하게 알게 될 것이다. 또한, 본 발명의 목적 및 장점들은 특허 청구 범위에 나타낸 수단 및 그 조합에 의해 실현될 수 있음을 쉽게 알 수 있을 것이다.

본 발명은 상기 문제점을 해결하기 위하여, 얼굴 영상과 미리 학습된 눈동자 서술자와의 비교를 통해 눈동자 유사도를 계산하고 그 계산된 눈동자 유사도를 이용하여 기하학적인 눈 위치를 검출하는 것을 특징으로 한다.

더욱 구체적으로, 본 발명의 장치는, 눈 위치 검출 장치에 있어서, 입력영상에서 얼굴 영상을 검출하기 위한 얼굴 영상 검출 수단; 상기 검출된 얼굴 영상과 미리 학습된 눈동자 서술자와의 비교를 통해 눈동자 유사도를 계산하고 상기 계산된 눈동자 유사도를 이용하여 상기 검출된 얼굴 영상에서의 눈 위치를 계산하기 위한 유사도 계산 수단; 및 상기 계산된 얼굴 영상에서의 눈 위치로부터 기하학적인 사용자의 눈 위치를 계산하기 위한 눈 위치 계산 수단을 포함한다.

또한, 상기 본 발명의 장치는, 복수의 얼굴 영상에서 미리 지정된 눈 위치의 픽셀들에 대한 학습을 통해 눈동자 서술자를 학습하기 위한 눈동자 서술자 학습 수단을 더 포함한다.

한편, 본 발명의 방법은, 눈 위치 검출 방법에 있어서, 입력영상에서 얼굴 영상을 검출하는 얼굴 영상 검출 단계; 상기 검출된 얼굴 영상과 미리 학습된 눈동자 서술자와의 비교를 통해 눈동자 유사도를 계산하고 상기 계산된 눈동자 유사도를 이용하여 상기 검출된 얼굴 영상에서의 눈 위치를 계산하는 유사도 계산 단계; 및 상기 계산된 얼굴 영상에서의 눈 위치로부터 기하학적인 사용자의 눈 위치를 계산하는 눈 위치 계산 단계를 포함한다.

또한, 상기 본 발명의 방법은, 복수의 얼굴 영상에서 미리 지정된 눈 위치의 픽셀들에 대한 학습을 통해 눈동자 서술자를 학습하는 눈동자 서술자 학습 단계를 더 포함한다.

상기와 같은 본 발명은, 얼굴 영상과 미리 학습된 눈동자 서술자와의 비교를 통해 눈동자 유사도를 계산하고 그 계산된 눈동자 유사도를 이용하여 기하학적인 눈 위치를 검출함으로써, 주변 조명 변화에 강인하고 낮은 복잡도를 가지면서 정확하게 눈 위치를 검출할 수 있는 효과가 있다.

또한, 본 발명은, 밝기 차이로 인한 눈동자 서술자를 미리 학습함으로써, 주변 조명 변화 또는 카메라의 자동 화이트 밸런스(AWB: Auto White Balance) 등의 변화에 대한 정확도 하락을 최소화할 수 있는 효과가 있다.

더 나아가, 본 발명은 다양한 정지 영상 및 동영상에서 효과적으로 눈 위치를 판단할 수 있으며, 주변 영역의 밝기 차이만을 이용하기 때문에 낮은 복잡도를 가지므로 고사양의 멀티미디어 기기뿐만 아니라, 임베디드(Embedded) 시스템, 개인용 휴대단말 기기와 같은 다양한 멀티미디어 기기에도 용이하게 적용할 수 있는 효과가 있다.

상술한 목적, 특징 및 장점은 첨부된 도면을 참조하여 상세하게 후술되어 있는 상세한 설명을 통하여 보다 명확해 질 것이며, 그에 따라 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 것이다. 또한, 본 발명을 설명함에 있어서 본 발명과 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에 그 상세한 설명을 생략하기로 한다. 이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 실시예를 상세히 설명하기로 한다.

본 발명의 목적은 종래의 기술들의 문제점을 보완하여 다양한 멀티미디어 기기에 사용할 수 있도록 낮은 복잡도를 가지면서 주변 조명 변화에 강인하고 정확하게 눈 위치를 검출하는데 그 목적이 있다.

도 1 은 본 발명에 따른 눈동자 서술자를 이용한 눈 위치 검출 장치의 일실시예 구성도이다.

도 1에 도시된 바와 같이, 본 발명에 따른 눈동자 서술자를 이용한 눈 위치 검출 장치(100)는 얼굴영역 검출부(110), 유사도 계산부(120), 눈 위치 계산부(130) 및 눈동자 서술자 학습부(140)를 포함한다.

이하, 본 발명에 따른 눈동자 서술자를 이용한 눈 위치 검출 장치(100)의 구성요소 각각에 대하여 살펴보기로 한다.

먼저, 얼굴영역 검출부(110)는 입력영상 데이터(101)를 입력받고 그 입력영상 데이터(101)에서 얼굴영역을 검출하여 그 얼굴영역에 해당하는 얼굴 영상(102)을 유사도 계산부(120)로 전달한다.

그러면, 유사도 계산부(120)는 얼굴영역 검출부(110)로부터 전달받은 얼굴 영상(102)과 미리 학습된 눈동자 서술자(103)를 이용하여 눈동자 유사도를 계산한다. 그리고 유사도 계산부(120)는 눈동자 유사도 중에서 눈 위치에 해당하는 픽셀을 모든 확률을 기반으로 계산한다. 여기서, 유사도 계산부(120)는 미리 학습된 눈동자 서술자(103)를 눈동자 서술자 학습부(140)로부터 미리 전달받거나, 유사도 계산 과정마다 전달받을 수 있다.

이어서, 눈 위치 계산부(130)는 유사도 계산부(120)에서 계산된 눈 위치에 해당하는 픽셀이 포함된 지점을 이용하여 사용자의 눈이 실제로 위치한 지점의 기하학적인 눈 위치(예를 들면, 눈의 3차원 좌표)를 계산한다. 즉, 눈 위치 계산부(130)는 카메라로부터 양쪽 눈 방향의 각도와 양쪽 눈 사이의 거리 등을 이용하여 기하학적인 눈 위치를 계산한다. 그리고 눈 위치 계산부(130)는 계산된 실제 기하학적인 눈 위치에 대한 눈 위치 데이터(104)를 출력한다.

눈동자 위치에 대한 학습 과정을 살펴보면, 눈동자 서술자 학습부(140)는 복수의 얼굴 영상 또는 복수의 사용자의 눈 위치에 대한 영상을 미리 입력받고 이를 이용하여 해당 사용자의 눈동자 위치에 대한 눈동자 서술자(103)를 학습한다. 즉, 눈동자 서술자 학습부(140)는 다양한 사용자의 눈동자 서술자를 추출하여 평균적인 눈동자 특성을 구하거나 표준이 되는 눈동자 서술자를 선택함으로써, 일반적인 눈동자 위치에 대한 눈동자 서술자(103)를 학습한다.

눈 위치 검출 장치(100)에서 눈 위치 검출을 위하여, 일반적인 사용자에 맞게 추출된 눈동자 서술자(103)는 유사도 계산부(120)에서의 눈동자 유사도 계산에 이용된다. 이렇게 학습된 눈동자 서술자(103)는 눈동자 서술자 학습부(140)에 저장되거나 유사도 계산부(120)로 전달되게 된다. 그러면, 유사도 계산부(120)는 얼굴 영상(102)에서 눈동자 서술자(103)를 이용하여 눈동자 유사도를 계산한다.

도 2 는 본 발명에 따른 눈 위치 검출을 위한 눈동자 서술자의 일실시예 예시도이다.

도 2에 도시된 바와 같이, 눈동자 서술자 학습부(140)는 눈 위치의 검출을 위한 눈동자 서술자(103)를 얼굴 영상(102)에서 9개 영역(예를 들면, 9개로 등분된 R1 내지 R9)(201)의 밝기 정보를 이용하여 계산한다. 눈동자 서술자(103)에 포함되는 서술자의 9개 변수(C₁ 내지 C₉)는 하기의 [수학식 1]과 같이 계산된다.

여기서,

는 눈동자 서술자의 i번째 변수,

는 i번째 영역의 평균 밝기값,

은 5번째 영역의 밝기값을 제외한 평균 밝기값을 나타낸다.

또한,

는 하기의 [수학식 2]와 같이 표현된다.

여기서,

는 x번째 픽셀의 밝기값,

은 i번째 영역의 픽셀수를 나타낸다.

또한,

는 하기의 [수학식 3]과 같이 표현된다.

여기서,

는 i번째 영역의 평균 밝기값을 나타낸다.

상기의 [수학식 1]을 통해 계산된 서술자의 각 변수들(

)은 이후 밝기값의 최대값으로 나누어 주어 정규화 과정을 거치게 된다. 정규화된 변수는 '-1' 내지 '1'의 값을 갖게 된다.

이후, 눈동자 서술자 학습부(140)는 미리 입력된 영상의 얼굴영역에서 눈동자 검출을 위해서 눈동자 서술자 학습과정을 수행하여 정확한 눈동자 위치의 눈동자 서술자(103)를 추출한다. 그리고 추출된 눈동자 서술자(103)는 유사도 계산부(120)로 전달되게 된다.

한편, 유사도 계산부(120)는 미리 학습된 눈동자 서술자(103)와 새롭게 입력된 얼굴 영상(102)의 각 픽셀에서 계산된 눈동자 서술자를 비교하여 각 픽셀에서의 눈동자 유사도를 하기의 [수학식 4]와 같이 계산한다.

여기서,

는 x번째 픽셀에서의 눈동자 유사도,

는 학습된 눈동자 서술자와 입력 영상의 x번째 픽셀에서 계산된 눈동자 서술자의 i번째 변수의 차이를 나타낸다.

또한,

는 하기의 [수학식 5]와 같이 표현된다.

여기서,

는 학습된 눈동자 서술자와 입력 영상의 x번째 픽셀에서 계산된 눈동자 서술자의 i번째 변수의 차이, 눈동자 서술자인

는 입력된 위치 x번째 픽셀에서 추출된 i번째 변수의 값,

는 사용자의 눈에서 학습된 눈동자 서술자의 i번째 변수의 값을 나타낸다.

도 3a 내지 도 3b 는 본 발명에 따른 도 1의 유사도 계산부에서 계산된 유사도에 대한 일실시예 결과도이다.

도 3a에 도시된 바와 같이, 얼굴 영상(301)의 각 픽셀에서 계산된 눈동자 서술자와 학습된 눈동자 서술자(103)와의 비교를 통해 계산된 눈동자 유사도 결과(302)가 나타나 있다.

또한, 얼굴 영상(301)과 학습된 눈동자 서술자(103)와의 비교를 통해 계산된 눈동자 유사도 결과(302) 중에서 눈동자에 대응되는 임계값을 이용하여 계산된 눈 위치를 나타내는 눈 위치의 유사도 계산 결과(303)가 도 3a에 나타나 있다. 여기서, 눈 위치의 유사도 계산 결과(303) 중에서 눈동자에 대응되는 임계값을 초과한 픽셀이 포함된 눈 위치(304, 305)가 도 3a에 나타나 있다.

한편, 도 3b에는 얼굴 영상(301)의 각 픽셀에 대한 눈동자 유사도 결과(302)가 3차원 정보로 표현되어 나타나 있다.

도 3b의 3차원 정보 중에서 눈 위치에 근접한 유사도를 가지는 픽셀이 포함된 눈 위치(304, 305)는 전체 얼굴 영상(301)의 3차원 그래프 상에서 유사도가 '1'과 근접한 지점(311, 312)과 대응된다.

도 3a에 나타난 얼굴 영상(301), 얼굴 영상(301)의 눈동자 유사도 결과(302) 및 눈 위치의 유사도 결과(303)를 구하는 과정을 도 4를 참조하여 살펴보기로 한다.

도 4 는 본 발명에 따른 눈동자 서술자를 이용한 눈 위치 검출 방법에 대한 일실시예 흐름도이다.

먼저, 눈동자 서술자 학습부(140)는 복수의 얼굴 영상 또는 복수의 사용자의 눈 위치에 대한 영상을 미리 입력받아 미리 지정된 사용자의 눈동자 위치의 픽셀들에 대한 학습을 통해 눈동자 서술자(103)를 학습한다(402). 즉, 눈동자 서술자 학습부(140)는 다양한 사용자의 눈동자 서술자를 추출하여 평균적인 눈동자 특성을 구하거나 표준이 되는 눈동자 서술자를 선택함으로써, 일반적인 눈동자 위치에 대한 눈동자 서술자(103)를 학습한다.

이후, 얼굴영역 검출부(110)는 입력영상 데이터(101)를 입력받아 얼굴영역에 해당하는 얼굴 영상(301)을 검출한다(404).

그리고 유사도 계산부(120)는 얼굴영역 검출부(110)에서 검출된 얼굴 영상(301)과 눈동자 서술자 학습부(140)에서 학습된 눈동자 서술자(103)와의 비교를 통해 얼굴 영상(301)의 각 픽셀에 대한 눈동자 유사도를 계산하고 그 계산 결과에 따른 눈동자 유사도 결과(302)를 생성한다(404).

이어서, 유사도 계산부(120)는 생성된 눈동자 유사도 결과(302) 중에서 눈 위치(304, 305)를 계산한다(406). 여기서, 눈 위치(304, 305)는 눈동자 유사도 결과(302) 중에서 미리 설정된 눈동자에 대응되는 임계값을 초과하는 픽셀이 포함된 지점이다.

이후, 눈 위치 계산부(130)는 유사도 계산부(120)에서 계산된 눈 위치에 해당하는 픽셀이 포함된 지점을 이용하여 사용자의 눈이 실제로 위치한 지점의 기하학적인 눈 위치(예를 들면, 눈의 3차원 좌표)를 계산한다(408). 즉, 눈 위치 계산부(130)는 카메라로부터 양쪽 눈 방향의 각도와 양쪽 눈 사이의 거리 등을 이용하여 기하학적인 눈 위치를 계산한다.

이와 더불어, 본 발명은 다양한 멀티미디어 기기에 적용되어 눈 위치를 검출할 수 있어, 정지 영상 및 동영상에서 눈동자 서술자를 추출하여 눈 위치를 판단하여 얼굴을 인식하는 분야 등 다양한 분야에 유용하게 이용될 수 있다.

한편, 전술한 바와 같은 본 발명의 방법은 컴퓨터 프로그램으로 작성이 가능하다. 그리고 상기 프로그램을 구성하는 코드 및 코드 세그먼트는 당해 분야의 컴퓨터 프로그래머에 의하여 용이하게 추론될 수 있다.　또한, 상기 작성된 프로그램 은 컴퓨터가 읽을 수 있는 기록매체(정보저장매체)에 저장되고, 컴퓨터에 의하여 판독되고 실행됨으로써 본 발명의 방법을 구현한다. 그리고 상기 기록매체는 컴퓨터가 판독할 수 있는 모든 형태의 기록매체를 포함한다.

이상에서 설명한 본 발명은, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 있어 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 여러 가지 치환, 변형 및 변경이 가능하므로 전술한 실시예 및 첨부된 도면에 의해 한정되는 것이 아니다.

도 1 은 본 발명에 따른 눈동자 서술자를 이용한 눈 위치 검출 장치의 일실시예 구성도,

도 2 는 본 발명에 따른 눈 위치 검출을 위한 눈동자 서술자의 일실시예 예시도,

도 3a 내지 도 3b 는 본 발명에 따른 도 1의 유사도 계산부에서 계산된 유사도에 대한 일실시예 결과도,

도 4 는 본 발명에 따른 눈동자 서술자를 이용한 눈 위치 검출 방법에 대한 일실시예 흐름도이다.

* 도면의 주요 부분에 대한 부호의 설명

100: 눈 위치 검출 장치 110: 얼굴 영상 검출부

120: 유사도 계산부 130: 눈 위치 계산부

140: 눈동자 서술자 학습부

Claims (16)

1. 눈 위치 검출 장치에 있어서,

   입력영상에서 얼굴 영상을 검출하기 위한 얼굴 영상 검출 수단;

   상기 검출된 얼굴 영상의 픽셀에서 계산된 눈동자 서술자의 변수와 이와 대응되는 미리 학습된 눈동자 서술자의 변수를 비교하여 눈동자 유사도를 계산하고 상기 계산된 눈동자 유사도 중에서 미리 설정된 눈동자 유사도의 임계값을 초과하는 픽셀이 포함된 지점을 상기 검출된 얼굴 영상에서의 눈 위치로 계산하기 위한 유사도 계산 수단; 및

   상기 유사도 계산 수단에 의해 계산된 얼굴 영상에서의 눈 위치로부터 기하학적인 사용자의 눈 위치를 계산하기 위한 눈 위치 계산 수단

   을 포함하는 눈 위치 검출 장치.
2. 제 1 항에 있어서,

   복수의 얼굴 영상에서 미리 지정된 눈 위치의 픽셀들에 대한 학습을 통해 눈동자 서술자를 학습하기 위한 눈동자 서술자 학습 수단

   을 더 포함하는 눈 위치 검출 장치.
3. 제 2 항에 있어서,

   상기 눈동자 서술자 학습 수단은,

   상기 복수의 얼굴 영상이 분할된 영역의 밝기 정보를 이용하여 눈동자 서술자를 계산하는 눈 위치 검출 장치.
4. 제 3 항에 있어서,

   상기 눈동자 서술자 학습 수단은,

   상기 분할된 영역의 평균 밝기값을 나타내는 변수를 이용하여 눈동자 서술자를 계산하는 눈 위치 검출 장치.
5. 삭제
6. 삭제
7. 제 1 항에 있어서,

   상기 눈 위치 계산 수단은,

   상기 사용자의 양쪽 눈 방향의 각도 또는 상기 사용자의 양쪽 눈 사이의 거리를 이용하여 상기 기하학적인 사용자의 눈 위치를 계산하는 눈 위치 검출 장치.
8. 제 1 항에 있어서,

   상기 얼굴 영상 검출 수단은,

   상기 사용자가 카메라를 통해 실시간으로 촬영되는 상기 사용자의 입력영상에서 얼굴 영상을 검출하는 눈 위치 검출 장치.
9. 눈 위치 검출 방법에 있어서,

   입력영상에서 얼굴 영상을 검출하는 얼굴 영상 검출 단계;

   상기 검출된 얼굴 영상의 픽셀에서 계산된 눈동자 서술자의 변수와 미리 학습된 눈동자 서술자의 변수를 비교하여 눈동자 유사도를 계산하고 상기 계산된 눈동자 유사도 중에서 미리 설정된 눈동자 유사도의 임계값을 초과하는 픽셀이 포함된 지점을 상기 검출된 얼굴 영상에서의 눈 위치로 계산하는 유사도 계산 단계; 및

   상기 유사도 계산 단계에서 계산된 얼굴 영상에서의 눈 위치로부터 기하학적인 사용자의 눈 위치를 계산하는 눈 위치 계산 단계

   를 포함하는 눈 위치 검출 방법.
10. 제 9 항에 있어서,

    복수의 얼굴 영상에서 미리 지정된 눈 위치의 픽셀들에 대한 학습을 통해 눈동자 서술자를 학습하는 눈동자 서술자 학습 단계

    을 더 포함하는 눈 위치 검출 방법.
11. 제 10 항에 있어서,

    상기 눈동자 서술자 학습 단계는,

    상기 복수의 얼굴 영상이 분할된 영역의 밝기 정보를 이용하여 눈동자 서술자를 계산하는 눈 위치 검출 방법.
12. 제 11 항에 있어서,

    상기 눈동자 서술자 학습 단계는,

    상기 분할된 영역의 평균 밝기값을 나타내는 변수를 이용하여 눈동자 서술자를 계산하는 눈 위치 검출 방법.
13. 삭제
14. 삭제
15. 제 9 항에 있어서,

    상기 눈 위치 계산 단계는,

    상기 사용자의 양쪽 눈 방향의 각도 또는 상기 사용자의 양쪽 눈 사이의 거리를 이용하여 상기 기하학적인 사용자의 눈 위치를 계산하는 눈 위치 검출 방법.
16. 제 9 항에 있어서,

    상기 얼굴 영상 검출 단계는,

    상기 사용자가 카메라를 통해 실시간으로 촬영되는 상기 사용자의 입력영상에서 얼굴 영상을 검출하는 눈 위치 검출 방법.

Images