KR20120006819A

KR20120006819A - 시선 추적 방법 및 이를 적용하는 장치

Info

Publication number: KR20120006819A
Application number: KR1020100067480A
Authority: KR
Inventors: 이의철
Original assignee: 한국기초과학지원연구원
Priority date: 2010-07-13
Filing date: 2010-07-13
Publication date: 2012-01-19

Abstract

개시된 시선 추적 방법은 카메라로부터 취득된 영상에서 눈 영역을 추출한 후 눈 영역에서 각막 반사광 및 동공의 중심을 추출한다. 사용자는 캘리브레이션 과정으로써 얼굴을 화면의 중심에 위치하고 화면의 네 구석 지점을 응시하는 과정을 거친다. 이 때 추출된 각막 반사광 위치와 동궁 중심의 차이를 구한다. 네 개의 차이값과 대응되는 모니터 네 구석 지점의 화면 논리 좌표간의 사상 관계를 기하학적 변환(geometric transform) 방법을 통해 구한다. 그 후 취득되는 눈 영상에서 안구 반사광 위치와 동공 중심의 차이를 구해서 미리 구해진 사상 관계에 대입하여, 화면 상의 현재 응시위치를 실시간으로 계산한다. 특징적인 단계로서 눈 영역에서 추가적으로 눈의 양 꼬리점을 추출하여, 얼굴 움직임 량을 추정할 수 있다.

Description

시선 추적 방법 및 이를 적용하는 장치{Gaze detection method and system adopting the same}

사용자의 응시 위치 추적 방법 및 이를 적용하는 장치에 관련한 것으로서, 상세하게 구조가 간단하고 효율적인 사용자 응시 위치 추적 방법 및 이를 적용하는 장치에 관련한다.

특허문헌 1은 컴퓨터 비전 기반의 시선 추적 방법에 관련한다. 이 방법은 사용자의 얼굴 및 눈에 대한 특성 값에 대한 룩업 테이블을 사용 전 구성 한다. 실제 시선 추적에 있어서는, 얼굴방향 및 홍채의 중심점을 측정한 후, 상기 특성 값과 상기 측정값을 비교하여 시선 방향을 계산한다. 시선 방향은 측정된 얼굴 방향 좌표계 및 홍채 중심 좌표계의 합성에 의해 계산된다. 얼굴 방향 측정은 T자 스틱형 참조모델을 착용하여 정확한 각도를 찾아내고, 홍채의 중심점은 홍채의 색깔 분포 분석에 의한 홍채색깔의 무게중심을 구하여, 그 무게중심을 시작으로 업/다운 스캐닝함으로써, 타원형 홍채 에지 내의 가장 긴 수평라인을 찾고, 그 수평라인의 중심점을 홍채의 중심점으로 결정한다. 그러나, 이 방법은 다양한 얼굴 및 눈에 대한 특성 값을 미리 측정하여 룩업 테이블을 구성하는데 있어서 신뢰성을 높이기 위해서는 수 많은 특성들에 대한 특성을 미리 고려하고 수집해야 하는 제약이 있으며, 홍채 영역이 눈꺼풀에 의해 가려지는 경우 시선 추적 정확도가 떨어질 수 있다.

특허문헌 2에 개시된 종래 기술은 사용자의 얼굴을 복수의 특징 점에 의한 특징 면으로 파악하여 이 특징 면의 병진 및 회전에 의해 사용자의 얼굴의 방향을 인식함으로써 시선을 추적한다. 그 결과 신뢰도가 매우 높고 정확한 응시 위치 추적 시스템이 일반 사용이 가능할 만큼 저렴한 가격으로 제공될 수 있다. 그러나, 얼굴의 특징 점 만을 이용하고 안구의 회전은 고려하지 않기 때문에 직관적인 시선 추적 인터페이스라고 할 수 없으며, 목적한 위치에 커서를 움직이기 위해서는 고개를 지속적으로 움직여야 한다.

비특허논문 [1]은 2대의 카메라로 구성한 스테레오 카메라 장치 및 3개의 적외선 조명을 이용하여 안구의 3차원 위치를 추정하고, 이를 통해 시선 벡터를 구하여 2차원 평면 화면상의 시선 위치를 구하는 방법을 제안한다. 이 방법의 수행을 위해서는, 스테레오 카메라 구성을 위해 2대의 카메라 간 캘리브레이션 과정이 선행되어야 하며, 3개의 조명간 위치가 정확하게 설정되어야 한다. 이러한 방법은 다수의 카메라 및 조명 장치를 구축하기 위한 비용이 많이 소요되며, 또한 3차원 연산을 수행해야 하므로 처리 시간이 오래 걸린다.

상기와 같은 방법들 외에서 많은 종류의 시선 추적 방법(비특허 문헌 [1~10])들이 제안되고 있으나, 다수의 카메라 및 조명을 사용함으로 인한 경제적인 문제점 [1-3], 3차원 연산을 수행하는데 필요한 높은 계산 복잡도 [1], 얼굴에 카메라 장치를 착용함으로 인한 편의성의 저하 [3][4], 카메라와 조명의 위치관계를 정확하게 설정해야 하는 캘리브레이션 과정 [1][5], 시선 추적 장치를 사용하기 전 수행하는 복잡한 단계의 사용자 캘리브레이션 [6][7], 얼굴 움직임에 의해 발생하는 오차 [2-4]의 문제가 있다.

KR

100311605

B1

KR

100325365

B1

S. W. Shih and J. Liu, "A Novel Approach to 3-D Gaze Tracking Using Stereo Cameras," IEEE Transactions on Systems, Man and Cybernetics, Part B, vol. 34, no. 1, pp. 234-245, Feb. 2004 D. H. Yoo and M. J. Chung, "Non-intrusive eye gaze estimation without knowledge of eyepose" in Proc. 6th IEEE Int. Conf. on Automatic Face and Gesture Recognition, pp. 785-790, 2004. Y. J. Ko, E. C. Lee, and K. R. Park, "A robust gaze detection method by compensating for facial movements based on corneal specularities," Pattern Recogn. Lett. 29, 10, 1474-1485 2008. Cheol Woo Cho, Ji Woo Lee, Eui Chul Lee, Kang Ryoung Park, "A Robust Gaze Tracking Method by Using Frontal Viewing and Eye Tracking Cameras", Optical Engineering, Vol. 48, No. 12, 127202, Dec. 2009. Eui Chul Lee, Kang Ryoung Park, "A Robust Eye Gaze Tracking Method based on a Virtual Eyeball Model" Machine Vision and Applications,Vol. 20, Issue 5, pp. 319-337, July, 2009. Richard N. Aslin and Bob McMurray,"Automated Corneal-Reflection Eye Tracking in Infancy: Methodological Developments and Applications to Cognition Lawrence Erlbaum Associates, Inc., INFANCY, 6(2), 155~163, 2004. John David Smith, "ViewPointer: Lightweight Calibration-Free Eye Tracking for Ubiquitous Handsfree Deixis" A thesis of Master of Science, Queen's University, September 2005. Viola, P. and Jones, M.J. "Robust real-time face detection". Int. J. Comput. Vis. 57, 137-154 (2004). 박성효, 조달호, 박강령, "Adaboost를 이용한 모바일 환경에서의 홍채인식을 위한 눈 검출에 관한 연구" 대한전자공학회 논문지, 제 45권 CI편 제 4호, pp. 1~11, 2008년 7월. R. C. Gonzalez and R. E. Woods, Digital Image Processing, 2nd ed., Prentice-Hall, Englewood Cliffs, NJ, 2002. N.Otsu, "A Tlreshold Selection Method from Gray-Level Histograms", IEEE Transactions on SMC, Vol. SMC-9, No. 1, pp. 62-66, Jan. 1979.

본 발명의 실시 예들에 따르면, 단일 카메라 및 단일 적외선 조명을 이용하면서도 정확하고도 신속한 시선 추적이 가능한 방법 및 이를 적용한 장치가 제안된다.

제안하는 방법은 적어도 하나의 눈이 포함되도록 취득된 영상으로부터 영상처리 방법을 통해 동공의 중심 및 조명에 의한 각막 반사광의 위치를 추출하여 이들의 위치 관계를 통해 시선 위치를 계산한다. 사용자는 화면의 4개 구석 지점을 응시하는 사용자 캘리브레이션 과정을 거치며, 이후 얼굴 움직임에 의해 생기는 사용자 캘리브레이션 정보는 한 쪽 눈의 양쪽 눈꼬리 지점을 추적하여 보정을 수행한다. 결과적으로, 단일 카메라 및 단일 조명을 이용하여, 얼굴 움직임이 허용되는 시선 추적 방법을 구현하는 것이 가능하다.

얼굴에 어떠한 장치도 착용하지 않고, 사용자가 응시하는 화면 주변에 단일 카메라 및 단일 적외선 조명 하나만을 설치하여 시선 추적을 수행할 수 있도록 하여, 장치의 복잡도를 최소화 하여 경제적인 효율성을 증대하고, 3차원이 아닌 2차원 영상 분석을 수행함으로 인한 계산 복잡도의 최소화를 통한 실시간 동작이 가능하며, 비착용형 장치이므로 사용자의 편의성을 극대화하고, 4지점을 바라보는 간단한 사용자 캘리브레이션으로 인한 학습의 용이성을 보장한다. 또한 양 눈 꼬리를 추적하여, 얼굴 움직임으로 인한 오차를 보정하므로, 얼굴 움직임에 영향을 받지 않는 시선 추적을 수행할 수 있다.

도 1a은 본 발명의 시선 추적 방법을 수행하는 시선 추적 장치(20)의 개략적 구성을 보인다.
도 1b는 도 1a에 도시된 장치에서, 사용자의 시선, 모니터의 화면, 조명장치 및 카메라와의 관계를 개략적으로 보인다.
도 2는 본 발명에 따른 시선 추적 방법의 각 단계 별로 획득된 영상을 예시적으로 나타낸다.
도 3은 본 발명의 실시 예에 따른 시선 추적 방법의 흐름도이다.
도 4는 Adaboost를 이용한 특징 검출의 예를 보인다.
도 5는 본 발명의 실시 예에 따라, 안구에서 동공 중심 검출 과정을 보인다.
도 6은 본 발명의 실시 예에 따라, 안구에서 홍채 주위의 반사광 검출 과정을 보인다.
도 7은 본 발명의 실시 예에 따라 눈 꼬리 검출 방법을 보인다.

이하 첨부된 도면을 참조하면서 본 발명의 실시 예들에 따른 시선 추적 방법 및 이를 적용하는 장치에 대하여 설명한다.

기본적으로 본 발명의 시선 추적 방법은 하나의 조명 및 하나의 카메라를 이용할 수 있다. 하나의 카메라를 이용한 시선 추적 방법에 있어서, 시선 위치의 계산은 기본적으로 조명이 적외선인 경우, 동공 중심 추출, 동공 주위 조명 반사광 중심 및 안구 양측 눈꼬리 영역의 추출, 또는 조명이 가시광선인 경우, 홍체 중심 추출, 홍체 주위 조명 반사광 중심 및 안구 양측 눈꼬리 영역의 추출을 포함할 수 있다.

먼저 도 1a은 본 발명의 시선 추적 방법을 수행하는 시선 추적 장치(20)의 개략적 구성을 보인다.

시선 추적 장치(20)는 기본적으로 컴퓨터 기반의 장치로서, 컴퓨터(25)에 연결되는 모니터(21), 사용자(10, 도 1b 참조) 등이 조작하는 외부 입력 장치 중의 하나인 마우스(26), 키보드(24) 및 영상 획득 장치인 카메라(22) 및 사용자(10)의 얼굴을 조명하는 조명장치(23)를 포함한다. 도 1b는 사용자(10)의 시선(11), 모니터(21)의 화면(21a), 조명장치(23) 및 카메라(22)와의 관계를 개략적으로 보인다.

도 1a, 1b에 도시된 바와 같이 본 발명에서는 하나의 카메라(22)를 이용하며, 이 카메라(22)는 사용자(10)의 상반신 특히 얼굴을 가장 잘 잡을 수 있는 위치에 설치한다. 일반적으로 사용자(10)는 모니터 약간 내려보는 자세로 취하는 경우가 대부분이므로 모니터(21)의 하부 중앙부분에 설치한다.

또한, 조명 장치(23)는 사용자(10)의 얼굴을 포함하는 상반신을 조명하는 것으로, 이의 설치 위치는 사용자(10)의 상반신을 최적으로 조명할 수 있는 위치, 예를 들어 예를 들어 모니터(21) 상단 중앙부분에 설치될 수 있다. 이러한 조명 장치(23)는 가시광선 또는 적외선을 조사할 수 있다. 가시광선의 경우 동공이 아닌 홍체가 그 추출 대상이 될 수 있다.

여기에서 다른 실시 예에 따르면, 상기 카메라(22)와 조명 장치(23)의 위치가 서로 바뀜으로써 카메라(22)가 모니터(21)의 상단 중앙에, 조명 장치(23)는 모니터(21)의 하단 중앙에 배치될 수 도 있다.

이하, 도 2, 도 3을 참조하면서, 영상 획득 및 영상 신호 처리에 따른 시선 추적 방법을 설명한다. 도 2는 각 단계 별 획득된 영상이며, 도 3은 본 발명의 일 실시 예에 따른 시선 추적 방법의 흐름도이다.

도 3의 흐름도를 살펴보면, 첫 단계(310)에서 모니터(21) 하단(또는 상단)에 설치된 카메라(22)를 통해 모니터(21)의 화면을 응시하고 있는 사용자(10)의 상반신 영상을 획득한다. 여기에서, 상반신 영상이라 함은 얼굴 영역을 포함하는 영상을 의미한다. 이때 적외선 조명은 얼굴 영역의 영상을 처리하기에 충분한 조사각과 파워를 가지는 것이어야 한다. 취득된 상반신 영상의 일례는 도 2의 (가)와 같다.

취득된 상반신 영상에서 얼굴 영역을 추출한다(320). 도 2의 (가)에서 사각형 영역이 추출 대상 얼굴 영역을 나타내며, 도 2의 (나)는 추출된 얼굴 영역의 일 례를 보인다. 이와 같이 얼굴 영역을 추출하기 위해서는 Adaboost (Adaptive Boosting) 방법을 사용한다. 부스팅(Boosting)은 많은 약한 분류기 (Weak Classifier)를 결합함으로써 정확도가 높은 강한 분류기(Strong Classifier)를 찾는 방법으로, 대표적인 boosting 알고리즘이 상기 Adaboost이다. Adaboost 는 단순하여 빠른 성능으로 비교적 높은 정확도로 얼굴을 검출하여 실시간에서도 작동한다. 도 4는 Adaboost를 이용한 특징 검출의 예를 보인다. 도 4에 도시된 바와 같이 눈 영역은 코와 볼 영역 보다 더 어둡다는 특성을 이용하고, 다음으로 눈은 콧등에 비해 더 어둡다는 점을 이용하여 얼굴을 검출한다. 비특허문헌 8은 이러한 Adaboost에 대해 기술하며, 이를 참고한 방법에 의해 상기와 같이 얼굴 영역을 추출할 수 있다.

얼굴 영역이 추출된 후, 다시 Adaboost 방법을 이용하여 눈 영역을 추출한다(330). 눈 영역의 추출을 위해서는 눈의 특징이 반영된 약한 분류기들을 통해 학습된 정보를 활용한다. 정상적인 얼굴 영상의 경우, 양 눈 영역이 추출되겠지만, 양 눈은 같은 곳을 응시하며, 양 눈의 각막의 곡률이 유사하기 때문에 한 쪽 눈 영역의 정보만을 이용한다. 사각형 형태로 추출된 눈 영역 및 해당 부분의 영상은 도 2의 (나), (다)와 같다. 이 방법에 관련하여서는 비특허문헌 [9]을 참조할 수 있다.

눈 영역이 추출된 후에는 동공 중심 추출, 반사광 추출, 안구 양측 눈꼬리 추출을 위한 다음 단계(340)로 이행한다. 도 5는 동공 검출 과정을 보이는 것으로서, (가)는 원형 템플릿 매칭을 통한 초기 동공 검출을 보이며, (나)는 초기 동공 중심 기준 사각 영역에서의 이진화 결과를 보이며, 그리고 (다)는 모폴로지 연산 후 결정된 최종 동공 영역과 영역의 무게중심(+)을 나타내 보이다..

추출된 눈 영역에서 동공 중심을 추출하기 위한 과정(341)은 다음과 같다. 먼저 도 5의 (가)에 나타내 보인 바와 같이 원형 템플릿 매칭을 통해 초기 동공 영역을 결정한다. 원형 템플릿 매칭 방법은 아래의 식으로 설명되며, 이에 대해서는 비특허문헌 [4]가 참조될 수 있다.

여기에서, I(x, y) 은 (x, y) 위치에서의 영상의 밝기를 나타내고, (x ₀ , y ₀ ) 와 r 은 원형 템플릿의 중심과 반지름을 나타낸다. 결국 두 개의 원형 템플릿 각각의 밝기 합의 차가 최대가 되는 지점을 동공 영역으로 결정하는 것이다. 하지만 동공은 시선 위치 및 카메라 촬영 각도에 따라 원이 아닌 타원의 형태로 나타날 수 있기 때문에, 원형 템플릿 매칭 방법으로 결정된 위치가 정확하다고 할 수 없다. 따라서, 결정된 위치를 기준으로 도 5 (나)와 같이 지역적 이진화 과정을 수행한다. 사각 지역 영역은 동공 영역 (전경)과 동공이 아닌 영역 (배경)의 두 종류로 분류되므로 이진화의 임계치는 Gonzalez가 제안한 방법(참조: 비특허문헌 [10]) 및 비특허 문헌[11])가 제안한 임계값 자동 결정 방법을 사용한다. 지역적 이진화 후에는 눈썹이나 그림자에 의한 노이즈 영역이 존재할 수 있으며, 반사광이 동공 영역 내부에 존재할 경우 뚫린 형태로 나타날 수 있다. 이를 해결하기 위해, 이진화된 영역에 대해서 라벨링 (Component Labeling) 방법을 수행하여, 서로 인접된 영역들에 identity를 부여한 후, 가장 넓이가 큰 영역을 남기고 다른 identity를 가지는 영역을 제거함으로써, 노이즈 영역을 제거한다. 최종적으로 구멍난 영역을 채우기 위해 모폴로지 닫힘 연산 (morphological closing operation)을 수행한다. 결과적으로 도 5의 (다)와 같이 흑색 영역의 무게 중심을 구하여, 최종 동공 중심으로 결정한다(341).

도 3의 흐름도에서, 추출된 눈 영역에서 반사광 영역을 추출하기 위한 과정(342)은 다음과 같다

도 6은 안구에서 홍체 주위의 반사광 검출 과정을 보이는 것으로서, (가)는 원형 템플릿 매칭으로 검출된 초기 동공 위치를 기준으로 정의된 사각 영역에서 이진화를 수행한 결과를 보이며, (나)는 이진화 후 역상을 취하고, 라벨링 수행 후 가장 큰 영역을 남긴 결과를 보이며, (다)는 흑화소의 무게중심을 계산하여 결정된 반사광의 중심 위치(+)를 나타내 보인다.

반사광 영역의 추출을 위해서는 도 6의 (가)와 같이 원형 템플릿으로 검출된 동공 영역을 기준으로 정의된 지역적 사각 영역에서, 동공 검출을 위한 이진화에서 사용한 임계치와는 다른 값을 통해 이진화를 수행한다. 조명의 반사광은 그 밝기가 동공 또는 홍채의 영역과는 뚜렷이 구별될 정도로 매우 밝기 때문에, 픽셀의 밝기 값이 가질 수 있는 최대값(예: 255)에 매우 가까운 값(예: 250)을 임계치로 사용함으로써, 이진화 후 조명의 반사광만이 구분될 수 있도록 한다. 이진화를 수행한 결과는 도 6의 (가)와 같다. 라벨링 방법이 흑화소를 객체로 판단한다고 한다면, 이진화 결과에 역상을 취한다. 동공 검출과정과 마찬가지로 라벨링을 수행한 후 가장 큰 영역만을 남김으로써, 도 6의 (나)와 같이 각막의 비균일면 또는 수분, 4^th 푸르키네 반사광 (Purkinje image)에 의한 노이즈를 제거한다. 이들 노이즈 성분은 곡률이 작은 면에 생기거나, 수정체의 후면에 의해 생기는 조명의 반사광이므로 검출하고자 하는 반사광에 비해 그 크기가 충분히 작다고 할 수 있다. 흑화소의 무게중심을 계산함으로써 결정된 반사광의 중심은 도 6의 (다)에 표시된 바와 같다.

추출된 눈 영역에서 안구 양측의 눈꼬리를 추출하기 위한 과정(343)은 다음과 같다. 도 7은 눈 꼬리 검출 방법을 보이는 것으로서, (가)는 왼쪽 눈꼬리를 검출하기 위한 템플릿이며, (나)는 오른쪽 눈꼬리를 검출하기 위한 템플릿이다. 그리고, 도 7의 (다) 는 80 ×60픽셀로 축소된 영상에서 (가), (나) 템플릿을 통해 눈 꼬리(+)를 검출한 예를 보인다. 이와 같이, 눈 꼬리를 추출하기 위해서는 눈 꼬리의 특성이 반영된 마스크 기반 템플릿 매칭 방법을 사용한다. 템플릿 매칭의 복잡도를 최소화하기 위해 영상의 크기를 축소하는 과정을 거칠 수 있다. 양 눈 꼬리를 추출하기 위한 템플릿은 도 7의 (가), (나)와 같은 형태를 사용하며, 이들 템플릿 각각은 눈의 좌우 꼬리를 검출하기 위해 사용된다. 템플릿을 컨볼루션(convolution) 연산한 결과가 최대값이 되는 지점을 눈 꼬리 지점으로 결정한다. 각 템플릿이 적용되는 구역은 동공 중심을 기준으로 좌우 영역이다.

상기와 같은 과정(340)을 통해서 동공과 반사광의 중심을 검출하였으므로 단계 350의 계산 단계에서, 동공의 중심좌표 (x _p , y _p )와 반사광의 중심좌표 (x _r , y _r )의 차를 통해 동공-반사광 벡터 (x _pr , y _pr )을 구할 수 있다(단계 351). 또한, 양 눈 꼬리의 위치를 통해 얼굴 움직임 량을 측정할 수 있다(단계 352). 상반신 영상을 대비, 초기 캘리브레이션 과정에서 양 눈 꼬리점을 잇는 선분의 중심 좌표를 (x _ic , y _ic )라고 가정하고, 시선 추적 진행 중, 중심 좌표를 (x _cc , y _cc )라고 가정할 때, 얼굴의 가로-세로 방향 이동량 (X _f , Y _f )는 (w ₁ (x _ic -x _cc ), w ₁ (y _ic -y _cc ))로 정의될 수 있다. 또한, 양 눈꼬리 점 사이의 거리가 d라고 가정하면, 깊이 방향의 얼굴 이동량 Z _f 는 w ₂ d로 나타낼 수 있다. 여기서 w ₁ 과 w ₂ 는 영상공간에서 실제공간으로 대응되는 변환상수로 정의할 수 있으며, 카메라 광학적 요소에 의존적인 값으로써, 카메라 캘리브레이션 또는 경험적인 방법으로 결정될 수 있다.

도 3에서, 사용자 캘리브레이션 과정(370)은 시선 추적을 시작하기 전 모니터(21)의 화면의 네 구석 지점을 응시하는 단계로 진행된다. 각 단계에서, 동공-반사광 벡터((x _pr1 , y _pr1 ), (x _pr2 , y _pr2 ), (x _pr3 , y _pr3 ), (x _pr4 , y _pr4 ))를 저장한다.

사용자 캘리브레이션 과정에서 결정된 4개의 동공-반사광 벡터와 응시한 화면의 네 지점(도 1 참조)에 대한 픽셀 좌표(0, 0), (W, 0), (W, H), (0, H))간의 대응관계를 통해 기하학적 변환(geometric transform) 행렬을 구한다(380)(비특허문헌 [10] 참조). W와 H는 화면의 가로 세로의 픽셀 공간 해상도를 의미한다. 화면 네 지점의 픽셀 좌표는 아래 수식에서 (x _m1 , y _m1 ), (x _m2 , y _m2 ), (x _m3 , y _m3 ), (x _m4 , y _m4 )로 전개한다.

기하학적 변환은 왜곡된 형태의 사각형간의 변환을 네 개의 대응되는 꼭지점들의 관계를 통해 8개의 변환계수로 설명할 수 있는 변환 방법이다. 화면의 꼭지점과 동공-반사광 벡터의 관계는 다음과 같이 정의된다.

위의 수식을 행렬 형태로 표현하면 다음과 같다.

사상행렬 T 는 양변에 V 의 역행렬을 곱해서 구해질 수 있다.

한편, 얼굴 움직임 (X _f , Y _f , Z _f )에 따라 안구의 위치 또한 바뀌므로 사상행렬 T 또한 알맞게 변경(계산)되어야 한다(단계 380). 하지만 사상행렬은 네 점 사이의 관계를 비선형적으로 반영하고 있으므로, 어떤 값을 얼만큼 바꿔야 하는지를 판단할 수 없다. 따라서 얼굴 움직임이 발생했을 때의 최종 시선 위치 (G _x , G _y )는 아래와 같이 구해질 수 있다(단계 360).

위의 수식에서 Z _i 를 초기 얼굴의 깊이 방향 위치라고 가정하면 얼굴의 깊이 방향 이동량 Z _f 는{(Z _i + Z _f )/Z _i }를 통해 1을 중심으로 한 weight 값으로 나타나게 된다. 즉, 얼굴이 화면에서 멀어지면 사상행렬을 통해 계산된 화면상의 시선 위치에서 화면 중앙쪽으로 보정되게 되며, 반대로 얼굴이 화면에서 가까워지면 계산된 시선 위치에서 중앙으로부터 멀어지게 보정된다. c 는 실제 공간에서의 가로 세로 방향의 얼굴 이동량을 화면 좌표계에서의 이동량으로 변경하는 상수로써, 실험적으로 결정될 수 있다.

10: 사용자
20: 시선추적장치
21: (컴퓨터용) 모니터
22: 카메라
23: 조명장치

Claims

화면을 응시하는 사용자의 얼굴 영상을 취득하는 단계; 그리고
상기 얼굴 영상으로부터 사용자의 눈꼬리 위치를 추출하여 얼굴의 움직임을 계산하는 단계;를 포함하는 시선 추적 방법.
제 1 항에 있어서,
얼굴 영상으로부터, 눈 영역을 추출하는 단계;
상기 눈 영역으로부터 동공 중심을 추출하는 단계; 그리고
추출된 상기 눈꼬리 위치와 상기 안구 동공 중심 위치로 부서 상기 사용자의를 더 시선 위치를 계산하는 단계;를 더 포함하는 것을 특징으로 하는 시선 추적 방법.
제 1 항에 있어서,
얼굴 영상으로부터, 눈 영역을 추출하는 단계;
상기 눈 영역으로부터 동공 중심을 추출하는 단계;
상기 눈 영역으로부터 반사광 중심을 추출하는 단계; 그리고
추출된 상기 눈꼬리 위치, 안구 동공 중심, 반사광 중심으로부터 상기 사용자의 시선 위치를 계산하는 단계;를 더 포함하는 것을 특징으로 하는 시선 추적 방법.
제 3 항에 있어서,
상기 시선 위치를 계산하는 단계 전에, 상기 동공 중심과 반사광 중심으로부터 동공 중심-반사광 벡터를 구하는 단계;를 더 포함하는 것을 특징으로 하는 시선 추적 방법.
제 1 항 내지 제 4 항에 있어서,
상기 사용자의 얼굴 영상을 하나의 카메라로 취득하는 것을 특징으로 하는 시선 추적 방법.
제 1 항 내지 제 4 항에 있어서,
상기 사용자의 얼굴 영상을 하나의 조명 장치와 하나의 카메라로 취득하는 것을 특징으로 하는 시선 추적 방법.
제 6 항에 있어서,
상기 조명장치는 적외선를 조사하는 것을 특징으로 하는 시선 추적방법.
제 2 항 내지 제 4 항 중의 어느 한 항에 있어서,
상기 동공의 중심 검출 시, 컴포넌트 라벨링과 모폴로지 연상에 의해 노이즈 요소를 제거하는 것을 특징으로 하는 시선 추적 방법.
제 8 항에 있어서,
상기 눈꼬리 검출시 마스크 기반 템플릿 매칭을 적용하는 것을 특징으로 하는 시선 추적 방법.
제 1 항 내지 제 4 항 중의 어느 한 항에 있어서,
상기 눈꼬리 검출시 마스크 기반 템플릿 매칭을 적용하는 것을 특징으로 하는 시선 추적 방법.
사용자가 응시하는 화면을 가지는 모니터;
상기 사용자의 얼굴을 조명하는 조명 장치;
상기 사용자의 얼굴 영상을 획득하는 카메라; 그리고
상기 얼굴 영상으로부터 사용자의 눈꼬리 위치를 추출하여 이를 사용자 시선의 계산에 반영하는 연산 처리부를 가지는 컴퓨터;를 구비하는 시선 추적 장치.
제 11 항에 있어서,
상기 연산 처리부는:
얼굴 영상으로부터, 눈 영역을 추출하고, 이 눈 영역으로부터 동공 중심을 계산하고,
상기 눈꼬리 위치와 상기 안구 동공 중심 위치를 연산해 사용자의 시선 위치를 얻는 것을 특징으로 하는 시선 추적 장치.
제 11 항에 있어서,
상기 연산 처리부는:
얼굴 영상으로부터, 눈 영역을 추출하고, 이 눈 영역으로부터 반사광 중심과 동공 중심을 계산하고,
상기 눈꼬리 위치, 안구 동공 중심, 반사광 중심 위치를 연산하여 상기 사용자의 시선 위치를 얻는 것을 특징으로 하는 시선 추적 장치.
제 13 항에 있어서,
상기 연산 처리부는, 상기 시선 위치를 계산하기 전에 상기 동공 중심과 반사광 중심으로부터 동공 중심-반사광 벡터를 구하는 것을 특징으로 하는 시선 추적 장치.
제 11 항 내지 제 12 항에 있어서,
상기 카메라는 하나인 것을 특징으로 하는 시선 추적 장치.
제 11 항 내지 제 12 항에 있어서,
상기 카메라와 조명장치는 공히 하나인 것을 특징으로 하는 시선 추적 장치.