KR20100038897A

KR20100038897A - 눈동자 시선 추정 장치 및 추정 방법

Info

Publication number: KR20100038897A
Application number: KR1020080098056A
Authority: KR
Inventors: 이수영; 최충환; 장원일; 익발 나딤
Original assignee: 한국과학기술원
Priority date: 2008-10-07
Filing date: 2008-10-07
Publication date: 2010-04-15
Also published as: KR100960269B1

Abstract

본 발명은 디스플레이 화면을 바라보는 사용자의 시선을 추정하는 장치 및 방법에 관한 것으로,

본 발명에 따른 눈동자 시선 추정 장치는, 일정한 주파수를 가지고 화면을 디스플레이하는 디스플레이부, 상기 디스플레이부에서 디스플레이되는 화면의 정보가 반사된 사용자의 눈동자를 촬영하기 위한 눈동자 촬영부, 상기 디스플레이부의 화면 정보와 상기 눈동자 촬영부로 촬영된 영상 정보를 수신하고, 상기 두 정보로부터 사용자의 응시 방향을 추정하는 영상 정보 처리부를 포함한다.

시선, eye tracking, 눈동자

Description

눈동자 시선 추정 장치 및 추정 방법{Apparatus of estimating user's gaze and the method thereof}

본 발명은 디스플레이 화면을 바라보는 사용자의 시선을 추정하는 장치 및 방법에 관한 것으로, 보다 상세하게는 사용자의 눈동자에 반사된 디스플레이 영상의 잔상을 측정하여, 눈동자에 반사된 화면과 눈동자 중심점의 상대적 위치 관계로부터 눈동자가 응시하는 모니터 상의 위치를 찾고, 이를 이용한 컴퓨터 인터페이스에 관한 것이다.

눈의 응시점을 추정하는 종래의 기술로서 가장 처음에 하나의 적외선을 이용하여 적외선의 반사에 의한 눈의 각막에 나타나는 밝은 점과 눈의 동공의 위치를 이용하여 눈의 응시 방향을 추정하는 기술이 미국에 특허등록 US Patent 3, 462,604호에 개시되어 있다.

또한, 컴퓨터 모니터의 4개의 모서리에 각각의 적외선 LED가 부착되고, 상기 적외선 LED로부터 방출되는 적외선에 의해 눈의 각막에 반사되어 나타나는 네 개의 밝은 점들이 모니터 스크린 상에 의해 투영된 것으로 가정한 상태에서 동공의 중심 위치에 해당하는 스크린 상의 한 점을 추정하는 것을 특징으로 하는 눈 응시점 추정방법이 한국공개특허 특2003-0069531호에 개시되어 있다. 그리고, 눈의 깜빡임이나 일정 지점을 오래 응시하는 것으로 사용자의 의도를 반영하는 메뉴 선택 시스템이 한국공개특허 특2006-0027717호에 개시되어 있다.

그러나, 이러한 종래의 방법들은 하나 이상의 적외선 LED를 필요로 하기 때문에, 디스플레이 화면 주변에 추가적인 설치가 필요하다는 불편함이 있으며, 한 쪽 눈에서 얻어지는 정보만을 사용하기 때문에 정밀하지 않다는 문제점이 있다.

또한, 기존의 방식은 단순히 눈을 깜박이거나 한 곳을 오랫동안 응시하는지 판별하여 특정 메뉴를 선택하는 방식을 취하기 때문에, 눈이 피로하여 눈을 깜박이거나 한 가지 지문을 오랫동안 읽게 되면 오작동이 유발된다는 문제점이 있다.

본 발명은 상기한 바와 같은 과제를 해결하기 위해 안출된 것으로, 디스플레이 화면 주변에 적외선 LED와 같은 추가적인 장비의 설치를 요구하지 않으면서도 한 곳을 오랫동안 응시하면서 생기는 오작동의 우려가 없으며 모든 휴대 통신 장치에 적용 가능한 눈동자 시선 추정 장치 및 추정 방법, 그리고 상기 눈동자 시선 추정 장치가 내장된 휴대 통신 장치를 제공하는 것을 그 목적으로 한다.

상기한 바와 같은 목적을 달성하기 위한 본 발명에 따른 눈동자 시선 추정 장치는,

일정한 주파수를 가지고 화면을 디스플레이하는 디스플레이부; 상기 디스플레이부에서 디스플레이되는 화면의 정보가 반사된 사용자의 눈동자를 촬영하기 위한 눈동자 촬영부; 상기 디스플레이부의 화면 정보와 상기 눈동자 촬영부로 촬영된 영상 정보를 수신하고, 상기 두 정보로부터 사용자의 응시 방향을 추정하는 영상 정보 처리부를 포함한다.

여기서, 상기 눈동자 촬영부는 고속 카메라인 것을 특징으로 한다. 이때, 상기 고속 카메라는 상기 디스플레이부 화면의 2배 이상의 프래임 비율(frame rate)로 사용자의 눈동자를 촬영하는 것이 바람직하다.

또한, 상기 영상 정보 처리부는, 다수의 프래임 쌍에서 얻은 영상 정보 거리차의 절대값을 더하여 상기 디스플레이부의 화면 영상을 획득하기 위한 화면 영상 획득 모듈; 상기 획득된 화면 영상으로 사용자의 눈동자 중심을 찾기 위한 눈동자 중심 추출 모듈; 홍채의 중심점과 눈동자에 반사된 화면 정보로부터 안구의 위치와 방향을 추정하고 이를 이용하여 사용자 눈동자의 응시점 정보를 산출하는 응시점 추정 모듈;을 포함하는 것을 특징으로 한다. 여기서, 상기 눈동자 중심 추출 모듈은 허프 변환(hugh transform) 알고리즘과 엘립스 피팅(ellipse fitting) 알고리즘을 수행하는 것이 바람직하다.

또한, 상기 영상 정보 처리부는 사용자의 두 눈으로부터 각각의 응시점 정보를 수신하고, 이를 병합하는 응시점 병합 모듈을 더 포함할 수 있다.

또한, 상기 영상 정보 처리부는 상기 응시점 정보를 이용하여 상기 디스플레이부의 화면 상에 표시된 영상 아이템에 대한 명령을 수행하는 명령 수행 모듈을 더 포함할 수 있다.

본 발명에 따른 눈동자 시선 추정 방법은,

디스플레이 화면이 반사된 사용자의 눈동자를 촬영하는 단계; 상기 디스플레이 화면에 관한 정보와 촬영된 사용자의 눈동자 정보를 수신하는 단계; 상기 눈동자 정보의 거리차의 절대값을 더하여 디스플레이의 화면 영상을 획득하는 단계; 상기 획득된 화면 영상으로 사용자의 눈동자 중심을 찾는 단계; 홍채의 중심점과 눈 동자에 반사된 디스플레이 화면 정보로부터 안구의 위치와 방향을 추정하고 이를 이용하여 사용자 눈동자의 응시점 정보를 산출하는 단계를 포함한다.

여기서, 상기 눈동자 중심을 찾는 단계는 허프 변환(hugh transform) 알고리즘과 엘립스 피팅(ellipse fitting : 타원근사) 알고리즘을 수행하는 것을 특징으로 한다.

또한, 상기 눈동자 시선 추정 방법은 사용자의 두 눈으로부터 각각의 응시점 정보를 수신하고, 이를 병합하는 단계를 더 포함할 수 있다.

또한, 상기 눈동자 시선 추정 방법은 상기 응시점 정보를 이용하여 상기 디스플레이부의 화면 상에 표시된 영상 아이템에 대한 명령을 수행하는 단계를 더 포함할 수 있다.

본 발명에 따른 휴대 통신 장치는 상기의 눈동자 시선 추정 장치가 내장된 것을 특징으로 한다.

상기한 바와 같은 본 발명에 따른 눈동자 시선 추정 장치 및 방법에 의하면,

적외선 LED 등의 외부 광원을 추가하지 않고 디스플레이 영상만으로 눈동자 추적을 수행 가능한 장점이 있고, 눈동자의 움직임에 의해 영상 아이템에 대한 명령을 수행할 수도 있다는 장점이 있으며, 디스플레이 영상 전체를 사용하여 사용자 의 눈동자 시선을 추정함으로써 광원의 수 증가에 의한 성능 향상이 용이하다는 장점이 있으며, 사용자의 양쪽 눈 모두에 적용할 수 있기 때문에 그 정밀도가 향상된다는 장점이 있다.

이하, 첨부된 도면을 참조하여 본 발명의 실시예를 상세히 설명한다. 우선, 도면들 중 동일한 구성요소 또는 부품들은 가능한 한 동일한 참조부호를 나타내고 있음에 유의해야 한다. 본 발명을 설명함에 있어서 관련된 공지기능 혹은 구성에 대한 구체적인 설명은 본 발명의 요지를 모호하게 하지 않기 위해 생략한다.

도 1은 본 발명에 따른 눈동자 시선 추정 장치를 개략적으로 도시한 도이고, 도 2 내지 도 4는 디스플레이 화면에서 한 프레임당 비춰지는 화면과 눈동자 촬영부로 촬영하여 얻은 영상에서 눈을 확대하여 도시한 것으로, 각 도에서 (a)는 디스플레이 화면, (b)는 (a)의 디스플레이 화면이 눈에 비친 것을 도시한 도이고, 도 5는 다수의 프래임 쌍에서 얻은 영상 정보 거리차의 절대값을 더하여 디스플레이의 화면 영상을 획득한 것을 도시한 도이고, 도 6은 눈동자의 움직임 패턴을 도시한 것으로, 화살표는 상, 하, 좌, 우의 화면 스크롤에 해당하는 눈동자의 움직임을 도시한 도이고, 도 7은 눈동자의 움직임 패턴을 도시한 것으로, 화살표는 영상 아이템(메뉴)의 선택 또는 취소에 해당하는 눈동자의 움직임을 도시한 도이고, 도 8은 본 발명에 따른 눈동자 시선 추정 방법을 도시한 순서도이다.

도 1에 도시된 바와 같이, 본 발명에 따른 눈동자 시선 추정 장치는, 디스플레이부(10), 눈동자 촬영부(20), 영상 정보 처리부(30)를 포함한다.

상기 디스플레이부(10)는 일정한 주파수를 가지고 화면을 디스플레이하는 것으로, 컴퓨터 장치의 모니터나 휴대 통신 기기(휴대폰, PDA, 노트북 컴퓨터 등)에서 화면을 보여주는 부분이다.

상기 눈동자 촬영부(20)는 상기 디스플레이부(10)에서 디스플레이되는 화면의 정보가 반사된 사용자의 눈동자를 촬영하기 위한 것으로, 상기 눈동자 촬영부(20)는 예를 들어 고속 카메라일 수 있다. 이때, 상기 고속 카메라는 상기 디스플레이부 화면의 2배 이상의 프래임 비율(frame rate)로 사용자의 눈동자를 촬영하는 것이 바람직하다.

상기 영상 정보 처리부(30)는 상기 디스플레이부(10)의 화면 정보와 상기 눈동자 촬영부(20)로 촬영된 영상 정보를 수신하고, 상기 두 정보로부터 사용자의 응시 방향을 추정한다.

상기 영상 정보 처리부(30)를 보다 상세히 설명하면, 상기 영상 정보 처리부(30)는 화면 영상 획득 모듈, 눈동자 중심 추출 모듈, 응시점 추정 모듈을 포함하고, 응시점 병합 모듈과 명령 수행 모듈을 더 포함할 수 있다.

상기 화면 영상 획득 모듈은 다수의 프래임 쌍에서 얻은 영상 정보 거리차의 절대값을 더하여 상기 디스플레이부의 화면 영상을 획득하고, 상기 눈동자 중심 추출 모듈은 상기 획득된 화면 영상으로 사용자의 눈동자 중심을 찾는다.

이때, 상기 눈동자 중심 추출 모듈은 허프 변환(hugh transform) 알고리즘과 엘립스 피팅(ellipse fitting) 알고리즘을 수행하여 사용자의 눈동자 중심을 찾는다. 상기 허프 변환 알고리즘은 투표 기법으로 이미지로부터 선, 원 등의 특정 패턴을 찾아내는 방법이다. 여기서는 이미지의 픽셀들로부터 가장 많은 픽셀을 포함하는 원의 중심점 및 반경을 계산한다. 또한 상기 엘립스 피팅 알고리즘은 이미지의 픽셀들이 이루는 궤적과 가장 유사한 타원을 찾는 방법이다. 이미지의 밝은 점들의 좌표값들의 집합으로부터 행렬 연산을 이용하여 가장 작은 오차를 갖는 타원식을 찾아낸다.

상기 응시점 추정 모듈은 홍채의 중심점과 눈동자에 반사된 화면 정보로부터 안구의 위치와 방향을 추정하고 이를 이용하여 사용자 눈동자의 응시점 정보를 산출한다. 기존의 방식들은 모니터의 4개의 모서리에 특별한 신호를 주는 발광체(예:적외선)를 부착하여서 기준점을 정해주는 반면에 본 발명에서는 특별한 신호를 주는 발광체를 따로 부착하지 않고, 모니터가 만드는 사각형의 빛으로부터 임의로 광원 위치를 정할 수 있다. 예를 들면, 가장 간단하게 광원 위치를 정하는 방법은 모니터의 4개의 모서리에 광원이 있다고 가정하는 것이다. 광원의 수를 더 늘리고 싶다면, 임의로 각 모서리의 중점에 광원이 1개씩 더 있다고 생각한다면, 광원의 수를 8개로도 늘릴 수 있다. 따라서 위치를 초기에 임의로 정하고, 그 광원 위치를 기준으로 화면 정보를 얻는다.

상기 응시점 병합 모듈은 상기 응시점 추정 모듈로부터 산출된 사용자 눈동자의 두 눈에 대한 응시점 정보를 수신하고, 이를 병합하여 산출된 응시점 정보의 정확성을 향상시킨다. 응시점 정보의 병합은 두 눈에 의해서 얻어진 응시점의 평균 혹은 평균에서 응시점에 가까운 눈에서 얻어진 응시점에 더 치우친 지점을 선택하여 수행된다.

상기 명령 수행 모듈은 상기 응시점 정보를 이용하여 상기 디스플레이부의 화면 상에 표시된 영상 아이템에 대한 명령을 수행한다.

이하, 상기와 같이 구성되는 본 발명의 눈동자 시선 추정 장치의 동작 과정과 본 발명의 눈동자 시선 추정 방법에 대해 도 1 내지 도 8을 참조하여 설명한다.

도 1을 참조하면, 일정 주파수를 가지고 화면을 보여주는 디스플레이부(10)(예를 들면, 컴퓨터의 모니터 또는 휴대폰의 액정)와 상기 디스플레이 화면의 아래에 위치하며, 사용자의 눈동자를 디스플레이 화면의 두 배 이상의 프레임 비율(frame rate)로 찍는 눈동자 촬영부(20)(예를 들면 고속 카메라)와 상기 디스플레이부와 눈동자 촬영부의 정보를 받아서 처리하는 영상 정보 처리부로 구성된다.

본 발명은 사용자가 바라보고 있는 응시 방향을 추정하는 것이 목적이다. 고속 카메라를 이용하여 눈에 비친 디스플레이 화면의 정보를 얻는다. 그리고 눈동자의 중심과 눈동자에 비친 모니터의 상대적인 위치를 이용하여 눈동자의 시선을 추정한다.

먼저, 디스플레이 화면이 반사된 사용자의 눈동자를 촬영한다.(S10)

그 다음, 디스플레이 화면에 관한 정보와 촬영된 사용자의 눈동자 정보를 수신한다.(S20) 도 2, 도 3, 도 4에서 각각의 (a)는 실제 디스플레이 화면에서 한 프레임당 비춰주는 화면 정보이다. 그리고, 도 2, 도 3, 도 4에서 각각의 (b)는 고성능 고속 카메라로 얻은 영상에서 눈을 확대한 부분인 눈동자 정보이며, 도 2, 도 3, 도 4 각각의 (a)에서의 디스플레이 화면이 눈에 비친 것을 도시한 것이다. 시간의 흐름상, 인접한 두 프레임에서 영상의 차이는 눈동자에 비친 모니터의 차이일 뿐이며, 그 양은 미세하다. 따라서, 여러 프레임 쌍에서 얻은 영상 정보 차이의 절대값을 더하면 도 5에 도시된 바와 같이 실제 모니터 전체의 영상을 얻을 수가 있다.(S30) 두 프레임에서 얻은 영상의 정보는 모니터의 일부분에 해당되는 정보이다. 여러 프레임에서 얻은 이러한 부분적인 정보들을 더하면, 실제 모니터 전체에 해당되는 영상을 얻을 수 있게 된다.

도 5는 구해진 완벽한 모니터의 영상을 기준으로 눈의 크기 만한 사각형의 영상을 잘라낸 것이다. 상기 영상을 이용하여 Hugh Transform 알고리즘과 Ellipse fitting 알고리즘을 수행하여 눈동자의 중심을 찾는다.(S40) 상기 허프 변환 알고리즘은 투표 기법으로 이미지로부터 선, 원 등의 특정 패턴을 찾아내는 방법이다. 여기서는 이미지의 픽셀들로부터 가장 많은 픽셀을 포함하는 원의 중심점 및 반경을 계산한다. 또한 상기 엘립스 피팅 알고리즘은 이미지의 픽셀들이 이루는 궤적과 가장 유사한 타원을 찾는 방법이다. 이미지의 밝은 점들의 좌표값들의 집합으로부 터 행렬 연산을 이용하여 가장 작은 오차를 갖는 타원식을 찾아낸다.

그 다음, 눈동자의 중심점과 반사된 영상의 위치 관계로부터 눈의 응시 방향을 찾는다. 즉, 홍채의 중심점과 눈동자에 반사된 디스플레이 화면 정보로부터 안구의 위치와 방향을 추정하고 이를 이용하여 사용자 눈동자의 응시점 정보를 산출한다.(S50) 홍채의 중심점과 눈동자에 반사된 다수의 광원의 위치 정보를 이용하여 눈동자 중심의 광학 좌표를 구하고, 광학 좌표를 변환하여 실제의 좌표를 재구축하여 안구가 응시하는 위치와 방향을 구하는 방법이 "Elias D. Guestrin의 'General Theory of Remote Gaze Estimation Using the Pupil Center and Corneal Reflections'에서 개시된 바 있고, 이를 본 명세서에서 인용하여 일체화한다.

그 다음, 사용자의 두 눈으로부터 각각의 응시점 정보를 수신하고, 이를 병합하여 응시점의 정확성을 높인다.(S60) 병합하는 방법은 두 눈에 의해서 얻어진 응시점의 평균 혹은 평균에서 응시점에 가까운 눈에서 얻어진 응시점에 더 치우친 지점을 선택하는 방식으로 수행한다.

그 다음, 상기 응시점 정보(한쪽 눈 만의 응시점 정보 또는 양쪽 눈의 응시점 정보)를 이용하여 상기 디스플레이부의 화면 상에 표시된 영상 아이템에 대한 명령을 수행한다.(S70) 즉, 상기의 과정을 통해 얻은 응시점 위치와 이동 정보, 깜박임 등의 눈의 움직임을 종합적으로 판별하여 선택, 취소, 화면 스크롤 등의 다양 한 명령을 수행한다.

도 6과 도 7은 눈동자의 움직임 패턴 및 음성에 대응하는 명령 수행의 예이다. 도 6에서의 화살표는 상, 하, 좌, 우의 화면 스크롤에 해당하는 눈동자의 움직임을 나타낸 것이다. 예를 들어 마우스의 포인트는 사용자의 눈동자가 움직이는 방향에 대응하여 움직이게 되는 것을 의미한다. 도 7은 메뉴의 선택 및 취소에 해당하는 눈동자의 움직임을 나타낸다. 예를 들어 사용자의 눈동자가 'Ｏ'를 그리면 메뉴의 '선택'을 의미하고, 'Ｘ'를 그리면 메뉴의 '취소'를 의미한다.

전술한 바와 같은 구성과 동작 방법을 수행하는 본 발명의 눈동자 시선 추정 장치는 널리 사용되고 있는 카메라가 부착된 휴대폰이나, PDA, 노트북 등 휴대 통신 장치에 내장되어 사용될 수 있다.

이상과 같이 본 발명에 따른 눈동자 시선 추정 장치 및 추정 방법을 예시한 도면을 참조로 하여 설명하였으나, 본 명세서에 개시된 실시예와 도면에 의해 본 발명이 한정되는 것은 아니며, 본 발명의 기술사상 범위내에서 당업자에 의해 다양한 변형이 이루어질 수 있음은 물론이다.

도 1은 본 발명에 따른 눈동자 시선 추정 장치를 개략적으로 도시한 도이고,

도 2 내지 도 4는 디스플레이 화면에서 한 프레임당 비춰지는 화면과 눈동자 촬영부로 촬영하여 얻은 영상에서 눈을 확대하여 도시한 것으로, 각 도에서 (a)는 디스플레이 화면, (b)는 (a)의 디스플레이 화면이 눈에 비친 것을 도시한 도이고,

도 5는 다수의 프래임 쌍에서 얻은 영상 정보 거리차의 절대값을 더하여 디스플레이의 화면 영상을 획득한 것을 도시한 도이고,

도 6은 눈동자의 움직임 패턴을 도시한 것으로, 화살표는 상, 하, 좌, 우의 화면 스크롤에 해당하는 눈동자의 움직임을 도시한 도이고,

도 7은 눈동자의 움직임 패턴을 도시한 것으로, 화살표는 영상 아이템(메뉴)의 선택 또는 취소에 해당하는 눈동자의 움직임을 도시한 도이고,

도 8은 본 발명에 따른 눈동자 시선 추정 방법을 도시한 순서도이다.

<도면의 주요부분에 대한 부호의 설명>

10 : 디스플레이부 20 : 눈동자 촬영부

30 : 영상 정보 처리부

Claims

일정한 주파수를 가지고 화면을 디스플레이하는 디스플레이부;

상기 디스플레이부에서 디스플레이되는 화면의 정보가 반사된 사용자의 눈동자를 촬영하기 위한 눈동자 촬영부; 및

상기 디스플레이부의 화면 정보와 상기 눈동자 촬영부로 촬영된 영상 정보를 수신하고, 상기 두 정보로부터 사용자의 응시 방향을 추정하는 영상 정보 처리부

를 포함하는 눈동자 시선 추정 장치.
청구항 1에 있어서,

상기 눈동자 촬영부는 고속 카메라인 것을 특징으로 하는 눈동자 시선 추정 장치.
청구항 2에 있어서,

상기 고속 카메라는 상기 디스플레이부 화면의 2배 이상의 프래임 비율(frame rate)로 사용자의 눈동자를 촬영하는 것을 특징으로 하는 눈동자 시선 추정 장치.
청구항 1에 있어서,

상기 영상 정보 처리부는,

다수의 프래임 쌍에서 얻은 영상 정보 거리차의 절대값을 더하여 상기 디스플레이부의 화면 영상을 획득하기 위한 화면 영상 획득 모듈;

상기 획득된 화면 영상으로 사용자의 눈동자 중심을 찾기 위한 눈동자 중심 추출 모듈; 및

홍채의 중심점과 눈동자에 반사된 화면 정보로부터 안구의 위치와 방향을 추정하고 이를 이용하여 사용자 눈동자의 응시점 정보를 산출하는 응시점 추정 모듈;

을 포함하는 것을 특징으로 하는 눈동자 시선 추정 장치.
청구항 4에 있어서,

상기 눈동자 중심 추출 모듈은 허프 변환(hugh transform) 알고리즘과 엘립스 피팅(ellipse fitting) 알고리즘을 수행하는 것을 특징으로 하는 눈동자 시선 추정 장치.
청구항 4에 있어서,

상기 영상 정보 처리부는 사용자의 두 눈으로부터 각각의 응시점 정보를 수 신하고, 이를 병합하는 응시점 병합 모듈을 더 포함하는 것을 특징으로 하는 눈동자 시선 추정 장치.
청구항 4에 있어서,

상기 영상 정보 처리부는 상기 응시점 정보를 이용하여 상기 디스플레이부의 화면 상에 표시된 영상 아이템에 대한 명령을 수행하는 명령 수행 모듈을 더 포함하는 것을 특징으로 하는 눈동자 시선 추정 장치.
청구항 1 내지 청구항 7 중 어느 한 항의 눈동자 시선 추정 장치가 내장된 휴대 통신 장치.
디스플레이 화면이 반사된 사용자의 눈동자를 촬영하는 단계;

상기 디스플레이 화면에 관한 정보와 촬영된 사용자의 눈동자 정보를 수신하는 단계;

상기 눈동자 정보의 거리차의 절대값을 더하여 디스플레이의 화면 영상을 획득하는 단계;

상기 획득된 화면 영상으로 사용자의 눈동자 중심을 찾는 단계;

홍채의 중심점과 눈동자에 반사된 디스플레이 화면 정보로부터 안구의 위치와 방향을 추정하고 이를 이용하여 사용자 눈동자의 응시점 정보를 산출하는 단계

를 포함하는 눈동자 시선 추정 방법.
청구항 9에 있어서,

상기 눈동자 중심을 찾는 단계는 허프 변환(hugh transform) 알고리즘과 엘립스 피팅(ellipse fitting) 알고리즘을 수행하는 것을 특징으로 하는 눈동자 시선 추정 방법.
청구항 9에 있어서,

상기 눈동자 시선 추정 방법은 사용자의 두 눈으로부터 각각의 응시점 정보를 수신하고, 이를 병합하는 단계를 더 포함하는 것을 특징으로 하는 눈동자 시선 추정 방법.
청구항 9에 있어서,

상기 눈동자 시선 추정 방법은 상기 응시점 정보를 이용하여 상기 디스플레이부의 화면 상에 표시된 영상 아이템에 대한 명령을 수행하는 단계를 더 포함하는 것을 특징으로 하는 눈동자 시선 추정 방법.