KR102093198B1 - 시선 인식을 이용한 사용자 인터페이스 방법 및 장치 - Google Patents

시선 인식을 이용한 사용자 인터페이스 방법 및 장치 Download PDF

Info

Publication number
KR102093198B1
KR102093198B1 KR1020130018394A KR20130018394A KR102093198B1 KR 102093198 B1 KR102093198 B1 KR 102093198B1 KR 1020130018394 A KR1020130018394 A KR 1020130018394A KR 20130018394 A KR20130018394 A KR 20130018394A KR 102093198 B1 KR102093198 B1 KR 102093198B1
Authority
KR
South Korea
Prior art keywords
gaze
user
user interface
interface method
position
Prior art date
Application number
KR1020130018394A
Other languages
English (en)
Other versions
KR20140104661A (ko
Inventor
최창규
서성주
박준아
박두식
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020130018394A priority Critical patent/KR102093198B1/ko
Publication of KR20140104661A publication Critical patent/KR20140104661A/ko
Application granted granted Critical
Publication of KR102093198B1 publication Critical patent/KR102093198B1/ko

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013Eye tracking input arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 – G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/1613Constructional details or arrangements for portable computers
    • G06F1/1633Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/1686Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being an integrated camera
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304Detection arrangements using opto-electronic means
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06KRECOGNITION OF DATA; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K9/00Methods or arrangements for reading or recognising printed or written characters or for recognising patterns, e.g. fingerprints
    • G06K9/36Image preprocessing, i.e. processing the image information without deciding about the identity of the image
    • G06K9/46Extraction of features or characteristics of the image

Abstract

일 실시예에 따른 시선 인식을 이용한 사용자 인터페이스 방법 및 장치가 개시된다. 시선 인식을 이용한 사용자 인터페이스 방법은 카메라를 이용하여 사용자의 눈동자를 포함하는 영상을 획득하는 단계, 상기 사용자의 눈동자를 포함하는 영상을 이용하여 상기 사용자의 시선 위치를 추정하는 단계, 및 디스플레이 상의 적어도 하나의 토글(toggle) 영역에 대한 상기 사용자의 시선 위치를 기초로 디바이스를 상기 사용자의 시선에 의하여 제어할 수 있는 시선 조작 기능의 활성화 여부를 결정하는 단계를 포함할 수 있다.

Description

시선 인식을 이용한 사용자 인터페이스 방법 및 장치{METHOD AND APPARATUS FOR USER INTERFACE USING GAZE INTERACTION}

아래의 실시예들은 시선 인식을 이용한 사용자 인터페이스 방법 및 장치에 관한 것이다.

현재, 대부분의 시선 인식 기술들은 두 개 이상의 외부 광원들과 두 개 이상의 카메라를 이용하여 사용자의 바라보는 시선을 추정할 수 있다.

그리고, 정보 기술의 발전에 따라, 이러한 시선 인식 기술들은 다양한 분야에서 활용되고 있다. 예를 들어, 광고 분야에서는 소비자들에게 광고 시안들을 보여 주고 소비자들이 바라보는 위치에 대한 정보 및 바라보는 시간에 대한 정보를 수집함으로써, 사람들이 제품, 광고 모델, 회사 브랜드 중 어느 것을 많이 바라보는지 평가할 수 있다. 또한, 마케팅 분야에서는, 사람들에게 디바이스에 다수의 컨텐츠들을 제공하고, 사람들이 관심을 가지고 오래 바라보는 컨텐츠에 대해 사용자 선호도 점수를 높게 책정할 수 있다. 그리고, 점점 더 많은 분야에서 이러한 시선 인식 기술이 활용될 것으로 예상된다.

이에 따라, 최근에는 사용자의 시선을 보다 정확하게 인식하고, 시선 인식 기술을 보다 편리하게 이용하기 위한 많은 연구가 진행되고 있다.

일 실시예에 따른 시선 인식을 이용한 사용자 인터페이스 방법은 카메라를 이용하여 사용자의 눈동자를 포함하는 영상을 획득하는 단계, 상기 사용자의 눈동자를 포함하는 영상을 이용하여 상기 사용자의 시선 위치를 추정하는 단계 및 디스플레이 상의 적어도 하나의 토글(toggle) 영역에 대한 상기 사용자의 시선 위치를 기초로 디바이스를 상기 사용자의 시선에 의하여 제어할 수 있는 시선 조작 기능의 활성화 여부를 결정하는 단계를 포함할 수 있다.

상기 카메라를 이용하여 사용자의 눈동자를 포함하는 영상을 획득하는 단계는 상기 디스플레이 내부에 포함된 적어도 두 개의 내부 광원들을 기초로 상기 사용자의 눈동자를 포함하는 영상을 획득할 수 있다.

상기 적어도 하나의 토글 영역은 적어도 하나의 캘리브레이션 포인트를 포함할 수 있다.

상기 적어도 하나의 토글 영역은 상기 디스플레이 상에 표시되는 복수의 객체들 중 적어도 하나를 포함할 수 있다.

상기 사용자의 시선 위치를 추정하는 단계는 상기 사용자의 눈동자를 포함하는 영상을 기초로 상기 적어도 두 개의 내부 광원들 각각이 상기 눈동자 각각에 맺히는 영역인 적어도 두 개의 글린트(Glint)들의 위치를 추출하는 단계, 상기 적어도 두 개의 내부 광원들 및 상기 적어도 두 개의 글린트들의 위치를 이용하여 상기 눈동자 각각에 대한 각막 중심(Cornea Center)의 위치를 계산하는 단계, 상기 눈동자 각각에 대한 각막 중심의 위치를 이용하여 상기 눈동자 각각에 대한 동공 중심(Pupil Center)의 위치를 계산하는 단계, 상기 각막 중심의 위치 및 상기 동공 중심의 위치를 이용하여 상기 눈동자 각각에 대한 광축(Optical Axis)의 방향을 계산하는 단계, 상기 광축의 방향을 기초로 상기 눈동자 각각에 대한 시축(Visual Axis)의 방향을 계산하는 단계 및 상기 눈동자 각각에 대한 상기 시축의 교차점을 이용하여 상기 시선 위치를 식별하는 단계를 포함할 수 있다.

일 실시예에 따른 시선 인식을 이용한 사용자 인터페이스 방법은 적어도 하나의 외부 광원에 의한 노이즈를 제거하는 단계를 더 포함할 수 있다.

상기 적어도 하나의 외부 광원에 의한 노이즈를 제거하는 단계는 상기 사용자의 눈동자를 포함하는 영상을 분석하는 단계 및 상기 분석 결과를 이용하여 상기 적어도 두 개의 내부 광원들과 상기 적어도 하나의 외부 광원을 분리하는 단계를 포함할 수 있다.

상기 적어도 하나의 외부 광원에 의한 노이즈를 제거하는 단계는 상기 적어도 두 개의 내부 광원의 위치, 컬러 및 모양 중 적어도 하나를 변경하는 단계 및 상기 변경된 적어도 두 개의 내부 광원을 기초로 상기 사용자의 시선 위치를 추정하는 단계를 더 포함할 수 있다.

상기 시선 조작 기능의 활성화 여부를 결정하는 단계는 상기 시선 위치와 상기 적어도 하나의 토글 영역이 매칭되는지 판단하는 단계 및 상기 판단 결과를 기초로 상기 시선 조작 기능을 활성화 모드 또는 비활성화 모드로 설정하는 단계를 포함할 수 있다.

상기 시선 위치와 상기 적어도 하나의 토글 영역이 매칭되는지 판단하는 단계는 미리 정해진 시간 동안 상기 시선 위치와 상기 적어도 하나의 토글 영역이 매칭되는지 판단하는 단계를 더 포함할 수 있다.

상기 시선 위치와 상기 적어도 하나의 토글 영역이 매칭되는지 판단하는 단계는 미리 정해진 패턴에 따라 상기 시선 위치와 상기 적어도 하나의 토글 영역이 매칭되는지 판단하는 단계를 더 포함할 수 있다.

상기 시선 조작 기능의 활성화 여부를 결정하는 단계는 상기 시선 조작 기능의 기본값을 상기 비활성화 모드로 설정하는 단계, 상기 판단 결과, 상기 시선 위치와 상기 적어도 하나의 토글 영역이 매칭되는 경우, 상기 시선 조작 기능을 미리 정해진 시간 동안 상기 활성화 모드로 설정하는 단계를 더 포함할 수 있다.

일 실시예에 따른 시선 인식을 이용한 사용자 인터페이스 방법은 상기 디스플레이의 복수의 꼭지점 영역들 중 적어도 두 개의 꼭지점 영역들을 상기 적어도 두 개의 내부 광원들로 설정하는 단계를 더 포함할 수 있다.

일 실시예에 따른 시선 인식을 이용한 사용자 인터페이스 방법은 디스플레이 내부에 포함된 적어도 두 개의 내부 광원들 및 카메라를 이용하여 사용자의 눈동자를 포함하는 영상을 획득하는 단계 및 상기 사용자의 눈동자를 포함하는 영상을 이용하여 상기 사용자의 시선 위치를 추정하는 단계를 포함할 수 있다.

일 실시예에 따른 시선 인식을 이용한 사용자 인터페이스 장치는 디스플레이, 카메라, 상기 카메라를 이용하여 사용자의 눈동자를 포함하는 영상을 획득하는 영상 획득부, 상기 사용자의 눈동자를 포함하는 영상을 이용하여 상기 사용자의 시선 위치를 추정하는 시선 위치 추정부 및 상기 디스플레이 상의 적어도 하나의 토글 영역에 대한 상기 사용자의 시선 위치를 기초로 디바이스를 상기 사용자의 시선에 의하여 제어할 수 있는 시선 조작 기능의 활성화 여부를 결정하는 모드 결정부를 포함할 수 있다.

일 실시예에 따른 시선 인식을 이용한 사용자 인터페이스 장치는 디스플레이, 상기 디스플레이 내부에 포함된 적어도 두 개의 내부 광원들, 카메라, 상기 적어도 두 개의 내부 광원들 및 상기 카메라를 이용하여 사용자의 눈동자를 포함하는 영상을 획득하는 영상 획득부 및 상기 사용자의 눈동자를 포함하는 영상을 이용하여 상기 사용자의 시선 위치를 추정하는 시선 위치 추정부를 포함할 수 있다.

도 1은 일 실시예에 따른 시선 인식을 이용한 사용자 인터페이스 방법을 나타낸 동작 흐름도이다.
도 2는 일 실시예에 따른 시선 위치의 추정을 설명하기 위한 도면이다.
도 3 및 도 4는 일 실시예에 따른 시선 인식을 이용한 사용자 인터페이스 방법에 대한 구체적인 실시예를 설명하기 위한 도면이다.
도 5는 일 실시예에 따른 시선 인식을 이용한 사용자 인터페이스 장치를 나타낸 블록도이다.

이하, 실시예들을 첨부된 도면을 참조하여 상세하게 설명한다. 그러나, 본 발명이 일 실시예들에 의해 제한되거나 한정되는 것은 아니다. 또한, 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다.

도 1은 일 실시예에 따른 시선 인식을 이용한 사용자 인터페이스 방법을 나타낸 동작 흐름도이다.

도 1을 참조하면, 일 실시예에 따른 시선 인식을 이용한 사용자 인터페이스 방법(이하, 시선 인식을 이용한 사용자 인터페이스 방법)은 카메라를 이용하여 사용자의 눈동자를 포함하는 영상을 획득할 수 있다(110). 여기서, 카메라는 디바이스 내부에 포함될 수 있고, 디바이스 외부에 위치할 수도 있다. 그리고, 디바이스는 디스플레이 및 복수의 다른 구성들로 이루어질 수 있으며, 모바일 디바이스, 텔레비전, 테블릿(Tablet), PC 모니터, 디지털 정보 디스플레이(Digital Information Display), 의료 영상 디스플레이, 홀로그래픽 디스플레이(Holographic Display), 멀티뷰 3D 디스플레이(Multi-view 3D Display) 등을 포함할 수 있다. 또한, 디스플레이는 디바이스에서 문자, 도형 또는 영상과 같은 데이터를 표시하는 장치를 의미할 수 있다.

그리고, 카메라는 사용자의 눈동자를 포함하는 영상을 촬영할 수 있다. 이 경우, 사용자의 눈동자를 포함하는 영상을 촬영하는 카메라의 개수는 적어도 하나 이상일 수 있다.

그리고, 사용자의 시선 위치를 정확하게 인식하기 위하여, 시선 인식을 이용한 사용자 인터페이스 방법은 광원을 기초로 사용자의 눈동자를 포함하는 영상을 획득할 수 있다. 구체적으로, 시선 인식을 이용한 사용자 인터페이스 방법은 적어도 두 개의 내부 광원을 기초로 카메라를 이용하여 사용자의 눈동자를 포함하는 영상을 획득할 수 있다. 여기서, 내부 광원들은 디스플레이 내부의 점 광원을 포함할 수 있다. 보다 구체적으로, 시선 인식을 이용한 사용자 인터페이스 방법은 디스플레이의 복수의 꼭지점 영역들 중 적어도 두 개의 꼭지점 영역들을 적어도 두 개의 내부 광원들로 설정할 수 있다. 예를 들어, 디스플레이가 사각형인 경우, 시선 인식을 이용한 사용자 인터페이스 방법은 네 개의 꼭지점 영역들 중 두 개의 꼭지점 영역들을 내부 광원들로 설정할 수 있다. 이에 따라, 별도의 광원을 사용하지 않고, 디스플레이에서 나오는 빛을 광원으로 사용함으로써, 모바일 디바이스 등과 같은 저전력을 요구하는 시스템에서 전력 효율성이 증가할 수 있다. 또한, 외부 광원에 의한 노이즈는 내부 광원을 사용함으로써 용이하게 제거될 수 있다. 예를 들어, 모바일 디바이스의 경우, 일반적으로 사용자는 모바일 디바이스의 디스플레이 부분을 보고 있으므로, 모바일 디바이스의 카메라의 방향이 위쪽으로 향하는 경우가 많을 수 있다. 이에 따라, 카메라가 실내 조명 등 외부 광원을 접할 가능성이 많을 수 있고, 따라서, 노이즈가 발생할 가능성이 증가할 수 있다. 이 때, 시선 인식을 이용한 사용자 인터페이스 방법은 디스플레이에 표시되는 영상에 대한 정보를 미리 파악할 수 있고, 이에 따라, 디스플레이 내부의 내부 광원들과 외부 광원의 분리를 보다 효과적으로 수행할 수 있다.

또한, 시선 인식을 이용한 사용자 인터페이스 방법은 사용자의 눈동자를 포함하는 영상을 이용하여 사용자의 시선 위치를 추정할 수 있다(120). 구체적으로, 시선 인식을 이용한 사용자 인터페이스 방법은 사용자의 눈동자를 포함하는 영상을 기초로 적어도 두 개의 글린트들의 위치를 추출할 수 있다. 여기서, 글린트들은 적어도 두 개의 내부 광원들 각각이 눈동자 각각에 맺히는 영역을 의미할 수 있다. 따라서, 눈동자 하나당 글린트들의 수는 내부 광원들의 수와 동일할 수 있다. 예를 들어, 내부 광원이 두 개인 경우, 각각의 내부 광원들이 눈동자 각각에 맺힐 수 있다. 따라서, 눈동자 하나의 글린트들의 수는 내부 광원들의 수와 같은 두 개일 수 있다.

그리고, 시선 인식을 이용한 사용자 인터페이스 방법은 적어도 두 개의 내부 광원들 및 적어도 두 개의 글린트들의 위치를 이용하여 눈동자 각각에 대한 각막 중심(Cornea Center)의 위치를 계산할 수 있다. 구체적으로, 시선 인식을 이용한 사용자 인터페이스 방법은 두 개의 내부 광원들 중 하나의 내부 광원인 제1 내부 광원, 제1 내부 광원이 맺히는 각막 표면(cornea surface) 및 제1 내부 광원에 대응하는 제1 글린트 영상을 포함하는 제1 평면을 추출할 수 있다. 그리고, 두 개의 내부 광원들 중 나머지 내부 광원인 제2 내부 광원과 대응하는 제2 평면을 추출할 수 있고, 제1 평면과 제2 평면의 교차점을 이용하여 각막 중심을 계산할 수 있다.

보다 구체적으로, 각막은 광원에 대한 반사면과 같은 역할을 수행할 수 있고, 반사의 법칙에 따라 입사 광선과 반사 광선은 동일한 평면 위에 있고 입사각과 반사각의 크기는 동일할 수 있으므로, 다음과 같은 수학식 1을 이용하여 제1 평면을 추출할 수 있다.

[수학식 1]

Figure 112013015593832-pat00001

여기서,

Figure 112013015593832-pat00002
은 제1 글린트 영상의 위치를 나타내는
Figure 112013015593832-pat00003
방향의 단위 벡터를 의미할 수 있다. 그리고,
Figure 112013015593832-pat00004
Figure 112013015593832-pat00005
방향의 단위 벡터를 나타낼 수 있다. 여기서.
Figure 112013015593832-pat00006
은 두 개의 내부 광원들 중 제1 내부 광원을 나타낼 수 있고,
Figure 112013015593832-pat00007
은 제1 내부 광원에 대한 입사점에서의 각막 표면의 법선을 나타낼 수 있다. 그리고,
Figure 112013015593832-pat00008
Figure 112013015593832-pat00009
방향의 입사점에서의 법선 백터(normal vector)를 의미할 수 있다. 또한,
Figure 112013015593832-pat00010
는 각막 중심을 나타낼 수 있다. 그리고, 시선 인식을 이용한 사용자 인터페이스 방법은
Figure 112013015593832-pat00011
을 이용하여 제1 내부 광원, 제1 내부 광원이 맺히는 각막 표면 및 제1 글린트 영상을 포함하는 제1 평면을 생성할 수 있다.

그리고, 제1 평면과 마찬가지로, 다음과 같은 수학식 2 및 이용하여 제2 평면을 추출할 수 있다.

[수학식 2]

Figure 112013015593832-pat00012

여기서,

Figure 112013015593832-pat00013
는 제2 글린트 영상의 위치를 나타내는
Figure 112013015593832-pat00014
방향의 단위 벡터를 의미할 수 있다. 그리고,
Figure 112013015593832-pat00015
Figure 112013015593832-pat00016
방향의 단위 벡터를 나타낼 수 있다. 또한,
Figure 112013015593832-pat00017
는 제2 내부 광원을 의미할 수 있고,
Figure 112013015593832-pat00018
는 제2 내부 광원에 대한 입사점에서의 각막 표면의 법선을 나타낼 수 있다. 그리고,
Figure 112013015593832-pat00019
Figure 112013015593832-pat00020
방향의 입사점에서의 법선 백터를 의미할 수 있다. 그리고, 시선 인식을 이용한 사용자 인터페이스 방법은 제2 평면 역시
Figure 112013015593832-pat00021
를 이용하여 생성할 수 있다.

그리고, 시선 인식을 이용한 사용자 인터페이스 방법은 제1 평면과 제2 평면을 이용하여 제1 평면과 제2 평면의 교차선인

Figure 112013015593832-pat00022
를 추정할 수 있다. 그리고, 각막 중심을 추출하기 위해, 시선 인식을 이용한 사용자 인터페이스 방법은 각막 곡률반경인
Figure 112013015593832-pat00023
를 계산할 수 있다. 여기서,
Figure 112013015593832-pat00024
는 다음과 같은 수학식 3을 이용하여 계산할 수 있다.

[수학식 3]

Figure 112013015593832-pat00025

여기서,

Figure 112013015593832-pat00026
Figure 112013015593832-pat00027
는 각각 제1 내부 광원 및 제2 내부 광원을 이용하여 추정된 각막 중심을 의미할 수 있다. 그리고,
Figure 112013015593832-pat00028
,
Figure 112013015593832-pat00029
Figure 112013015593832-pat00030
는 동일할 수 있다(
Figure 112013015593832-pat00031
). 따라서, 시선 인식을 이용한 사용자 인터페이스 방법은 이를 이용하여
Figure 112013015593832-pat00032
를 생성할 수 있다. 그리고, 시선 인식을 이용한 사용자 인터페이스 방법은
Figure 112013015593832-pat00033
Figure 112013015593832-pat00034
를 이용하여 각막 중심
Figure 112013015593832-pat00035
의 위치를 계산할 수 있다.

그리고, 시선 인식을 이용한 사용자 인터페이스 방법은 눈동자 각각에 대한 각막 중심의 위치를 이용하여 눈동자 각각에 대한 동공 중심(Pupil Center)의 위치를 계산할 수 있다. 구체적으로, 특정 평면

Figure 112013015593832-pat00036
에 동공이 포함되어 있음을 가정한 경우, 동공 중심 역시 평면
Figure 112013015593832-pat00037
에 위치할 수 있다. 그리고, 각막 중심
Figure 112013015593832-pat00038
와 동공 중심
Figure 112013015593832-pat00039
의 거리는
Figure 112013015593832-pat00040
일 수 있으므로, 평면
Figure 112013015593832-pat00041
는 다음의 수학식 4와 같이 나타낼 수 있다.

[수학식 4]

Figure 112013015593832-pat00042

여기서,

Figure 112013015593832-pat00043
는 카메라에 대한 3차원 점인
Figure 112013015593832-pat00044
을 의미할 수 있다. 그리고, 동공은 각막으로부터 반사된 빛을 투영할 수 있으므로, 시선 인식을 이용한 사용자 인터페이스 방법은 각막으로부터 반사된 빛들인
Figure 112013015593832-pat00045
을 계산할 수 있고, 이를 이용하여 동공의 컨투어(contour) 점들을 나타내는
Figure 112013015593832-pat00046
를 결정할 수 있다. 그리고, 각각의 동공의 컨투어 점과 동공 중심의 거리는 일정할 수 있고, 이는 다음의 수학식 5와 같이 나타낼 수 있다.

[수학식 5]

Figure 112013015593832-pat00047

여기서,

Figure 112013015593832-pat00048
는 동공의 컨투어(contour) 점들인
Figure 112013015593832-pat00049
와 동공 중심
Figure 112013015593832-pat00050
사이의 거리를 나타낼 수 있다. 이에 따라, 시선 인식을 이용한 사용자 인터페이스 방법은 수학식 4 및 수학식 5를 만족하는 동공 중심
Figure 112013015593832-pat00051
를 계산할 수 있다.

그리고, 시선 인식을 이용한 사용자 인터페이스 방법은 각막 중심의 위치 및 동공 중심의 위치를 이용하여 눈동자 각각에 대한 광축(Optical Axis)의 방향을 계산할 수 있다. 여기서, 광축은 해부학적인 눈동자의 방향을 의미할 수 있다. 그리고, 광축은 동공 중심 및 각막 중심을 잇는 선을 의미할 수 있으므로, 시선 인식을 이용한 사용자 인터페이스 방법은 동공 중심 및 각막 중심을 잇는 선을 추출함으로써, 광축의 방향을 계산할 수 있다.

그리고, 시선 인식을 이용한 사용자 인터페이스 방법은 광축의 방향을 기초로 눈동자 각각에 대한 시축(Visual Axis)의 방향을 계산할 수 있다. 여기서, 시축은 사용자가 실제로 물체를 바라보는 방향을 의미할 수 있다. 그리고, 각막의 굴절에 의하여, 영상이 눈동자의 중심와(fovea)에 맺힐 수 있으므로, 시축은 중심와와 각막 중심을 잇는 직선을 의미할 수 있다.

구체적으로, 광축과 시축은 앵귤러 오프셋

Figure 112013015593832-pat00052
만큼의 각도 차이가 존재할 수 있다. 그리고, 앵귤러 오프셋
Figure 112013015593832-pat00053
는 다음의 수학식 6을 이용하여 계산할 수 있다.

[수학식 6]

Figure 112013015593832-pat00054

여기서,

Figure 112013015593832-pat00055
는 캘리브레이션 포인트를 의미할 수 있다. 보다 구체적으로, 눈동자의 모양 및 각막의 굴절률 등은 개인차가 존재할 수 있다. 따라서, 정확한 시축 방향의 계산을 위해, 시선 인식을 이용한 사용자 인터페이스 방법은 캘리브레이션 포인트
Figure 112013015593832-pat00056
와 각막 중심
Figure 112013015593832-pat00057
를 연결하는 선을 시축으로 정의할 수 있고, 이를 이용하여 앵귤러 오프셋
Figure 112013015593832-pat00058
를 계산할 수 있다. 그리고, 계산된 앵귤러 오프셋
Figure 112013015593832-pat00059
을 이용하여, 광축으로부터 앵귤러 오프셋
Figure 112013015593832-pat00060
만큼의 각도 차이가 있는 시축을 계산할 수 있다.

그리고, 시선 인식을 이용한 사용자 인터페이스 방법은 상술한 바와 같이 눈동자 각각에 대해 시축을 생성할 수 있고, 눈동자 각각에 대한 시축의 교차점을 이용하여 사용자의 시선 위치를 식별할 수 있다. 예를 들어, 시선 인식을 이용한 사용자 인터페이스 방법은 사용자의 왼쪽 눈동자에 대한 시축인 제1 시축 및 오른쪽 눈동자에 대한 시축인 제2 시축의 방향을 계산할 수 있다. 그리고, 제1 시축과 제2 시축의 교차점을 추출할 수 있고, 이러한 교차점의 위치를 사용자가 실제로 바라보는 화면상의 위치로 설정할 수 있다.

그리고, 시선 인식을 이용한 사용자 인터페이스 방법은 적어도 하나의 외부 광원에 의한 노이즈를 제거할 수 있다. 구체적으로, 시선 인식을 이용한 사용자 인터페이스 방법은 사용자의 눈동자를 포함하는 영상을 분석할 수 있다. 그리고, 분석 결과를 이용하여 적어도 두 개의 내부 광원들과 적어도 하나의 외부 광원을 분리할 수 있다. 예를 들어, 외부 광원에 의한 글린트가 발생한 경우, 시선 인식을 이용한 사용자 인터페이스 방법은 사용자의 눈동자를 포함하는 영상을 분석하여 영상의 구성, 컬러 또는 모양 등을 파악할 수 있다. 그리고, 내부 광원들과 외부 광원을 분리함으로써 외부 광원에 의한 글린트를 식별할 수 있고, 이러한 외부 광원에 의한 글린트를 제거하거나, 외부 광원에 의한 글린트가 아닌 내부 광원들에 의한 글린트들만을 이용하여 시선 인식을 수행함으로써, 외부 광원에 의한 노이즈를 제거할 수 있다.

그리고, 외부 광원에 의한 노이즈가 발생하는 경우, 시선 인식을 이용한 사용자 인터페이스 방법은 적어도 두 개의 내부 광원의 위치, 컬러 및 모양 중 적어도 하나를 변경할 수 있고, 변경된 적어도 두 개의 내부 광원을 기초로 사용자의 시선 위치를 추정할 수 있다. 예를 들어, 외부 광원에 의한 글린트와 내부 광원들에 의한 글린트들을 구분하기 어려운 경우, 시선 인식을 이용한 사용자 인터페이스 방법은 외부 광원과 구분되도록 적어도 두 개의 내부 광원의 위치, 컬러 및 모양 중 적어도 하나를 변경할 수 있다. 그리고, 변경된 적어도 두 개의 내부 광원에 의한 글린트들만을 이용하여 노이즈가 제거된 정확한 시선 인식을 수행할 수 있다.

또한, 시선 인식을 이용한 사용자 인터페이스 방법은 디스플레이 상의 적어도 하나의 토글(toggle) 영역에 대한 사용자의 시선 위치를 기초로 시선 조작 기능의 활성화 여부를 결정할 수 있다(130). 여기서, 시선 조작 기능은 시선을 이용하여 디바이스의 인터페이스를 제어할 수 있는 기능을 의미할 수 있다. 그리고, 적어도 하나의 토글 영역은 시선 조작 기능의 활성화 또는 비활성화의 결정을 위해 디스플레이 상에 존재하는 특정 영역일 수 있다. 이에 따라, 사용자는 손 또는 기타 다른 도구를 이용하지 않고, 시선만으로 시선 조작 기능의 활성화 여부를 결정할 수 있다.

그리고, 적어도 하나의 토글 영역은 적어도 하나의 캘리브레이션 포인트를 포함할 수 있다. 이에 따라, 토글 영역을 캘리브레이션 포인트로 이용함으로써, 보다 정밀하게 사용자의 시선 위치를 추정할 수 있다.

추가적으로, 적어도 하나의 토글 영역은 디스플레이 상에 표시되는 복수의 객체들 중 적어도 하나를 포함할 수 있다. 여기서, 복수의 객체는 디스플레이 상에 표시되는 문자, 도형, 영상 등과 같은 모든 데이터를 의미할 수 있다. 예를 들어, 적어도 하나의 토글 영역은 디스플레이 상에 표시되는 상태 표시줄을 포함할 수 있다. 여기서, 상태 표시줄은 디바이스의 상태를 사용자에게 알려주는 구성일 수 있다. 일반적으로, 상태 표시줄은 디스플레이 상에 항상 표시될 수 있으므로, 사용자는 용이하게 시선 방향을 상태 표시줄로 이동할 수 있다. 이에 따라, 사용자는 보다 편리하게 시선을 이용하여 시선 조작 기능을 활성화 또는 비활성화 시킬 수 있다.

또한, 일 실시예는 디스플레이 상에 표시되는 복수의 객체들 중 적어도 하나를 캘리브레이션 포인트로도 이용할 수 있다. 예를 들어, 적어도 하나의 캘리브레이션 포인트는 프로그레스 바(progress bar)를 포함할 수 있다. 여기서, 프로그레스 바는 디바이스의 진행 상태(예를 들어, 다운로드 진행 상태)를 나타내는 구성을 의미할 수 있다. 이와 같이, 프로그레스 바가 캘리브레이션 포인트인 경우, 사용자는 프로그레스 바의 끝 부분을 응시할 수 있고, 이를 이용하여 캘리브레이트 함으로써, 시선 인식을 이용한 사용자 인터페이스 방법은 보다 정확하게 사용자의 시선 위치를 추정할 수 있다. 다른 예로서, 시선 인식을 이용한 사용자 인터페이스 방법은 마우스 포인터 또는 프로그램 동작 중에 표시되는 아이콘(예컨대, 모래시계 아이콘)을 캘리브레이션 포인트로 이용할 수 있고, 온라인 페이지의 로딩중에 표시되는 아이콘(예컨대, 소용돌이 아이콘)을 캘리브레이션 포인트로 이용할 수도 있다.

그리고, 시선 인식을 이용한 사용자 인터페이스 방법은 시선 위치와 적어도 하나의 토글 영역이 매칭되는지 판단할 수 있다. 여기서, 시선 위치와 적어도 하나의 토글 영역의 매칭은 사용자가 적어도 하나의 토글 영역을 바라보는 것을 의미할 수 있다. 그리고, 시선 인식을 이용한 사용자 인터페이스 방법은 판단 결과를 기초로 시선 조작 기능을 활성화 모드 또는 비활성화 모드로 설정할 수 있다. 예를 들어, 시선 인식을 이용한 사용자 인터페이스 방법은 시선 조작 기능의 현재 모드를 식별할 수 있고, 시선 위치와 적어도 하나의 토글 영역이 매칭 여부의 판단 결과에 따라, 시선 조작 기능의 모드를 설정할 수 있다. 구체적인 예로서, 시선 조작 기능이 비활성화 모드로 모드일 때, 시선 위치와 적어도 하나의 토글 영역이 매칭하는 경우, 시선 조작 기능은 활성화 모드로 변경될 수 있다. 이 때, 시선 위치와 적어도 하나의 토글 영역이 매칭되지 않는 경우에는, 비활성화 모드가 유지될 수 있다. 그리고, 활성화 모드 상태에서 다시 사용자가 적어도 하나의 토글 영역을 바라보는 경우, 시선 조작 기능은 비활성화 모드로 변경될 수 있다. 다른 예로서, 시선 조작 기능이 비활성화 모드일 때, 사용자가 적어도 하나의 토글 영역을 응시함으로써, 시선 조작 기능은 활성화 모드로 변경될 수 있다. 그리고, 미리 정해진 활성화 모드 시간(예를 들면, 1초) 동안 사용자가 적어도 하나의 토글 영역을 응시하지 않는 경우, 시선 조작 기능은 비활성화 모드로 변경될 수 있다.

그리고, 시선 인식을 이용한 사용자 인터페이스 방법은 미리 정해진 시간 동안 시선 위치와 적어도 하나의 토글 영역이 매칭되는지 판단할 수 있다. 예를 들어, 미리 정해진 시간이 3초일 때, 사용자가 적어도 하나의 토글 영역을 2초 동안 응시하는 경우, 시선 인식을 이용한 사용자 인터페이스 방법은 시선 위치와 적어도 하나의 토글 영역이 매칭되지 않은 것으로 판단할 수 있다.

그리고, 시선 인식을 이용한 사용자 인터페이스 방법은 미리 정해진 패턴에 따라 시선 위치와 적어도 하나의 토글 영역이 매칭되는지 판단할 수 있다. 예를 들어, 토글 영역이 세 개 이고(예를 들어, 제1 토글 영역, 제2 토글 영역 및 제3 토글 영역), 미리 정해진 패턴이 ‘제3 토글 영역―제1 토글 영역―제2 토글 영역’의 순서로 시선 위치를 매칭시키는 것인 경우, 시선 인식을 이용한 사용자 인터페이스 방법은 미리 정해진 패턴에 따라 사용자가 토글 영역들을 응시한 경우에만 시선 위치와 토글 영역들이 매칭된 것으로 판단할 수 있다. 따라서, 사용자가 ‘제3 토글 영역―제1 토글 영역―제2 토글 영역’의 순서로 응시하는 경우에는 시선 위치와 토글 영역들이 매칭되지 않은 것으로 판단할 수 있다.

그리고, 시선 인식을 이용한 사용자 인터페이스 방법은 시선 조작 기능의 기본값을 비활성화 모드로 설정할 수 있다. 이는, 시선 위치와 적어도 하나의 토글 영역이 매칭되지 않은 경우에는 항상 비활성화 모드를 유지하는 것을 의미할 수 있다. 그리고, 시선 위치와 적어도 하나의 토글 영역이 매칭되는지 여부를 판단할 수 있고, 판단 결과, 시선 위치와 적어도 하나의 토글 영역이 매칭되는 경우, 시선 조작 기능을 미리 정해진 시간 동안 활성화 모드로 설정할 수 있다. 예를 들어, 시선 조작 기능은 기본적으로 비활성화 모드로 설정될 수 있다. 이 때, 사용자가 적어도 하나의 토글 영역을 응시하는 경우, 시선 조작 기능은 미리 정해진 시간(예를 들어, 2초)동안 활성화 모드로 변경될 수 있다. 그리고, 미리 정해지 시간이 종료된 경우, 시선 조작 기능은 기본값인 비활성화 모드로 변경될 수 있다.

도 2는 일 실시예에 따른 시선 위치의 추정을 설명하기 위한 도면이다.

도 2를 참조하면, 그림 210에서, 모바일 디바이스는 디스플레이 내부에 두 개의 내부 광원들(211, 212), 토글 영역(221) 및 캘리브레이션 포인트(222)를 포함할 수 있고, 디스플레이 외부에 카메라(217)를 포함할 수 있다. 구체적으로, 사용자의 눈동자에 두 개의 내부 광원들(211, 212) 각각이 맺힘으로써 사용자의 왼쪽 눈동자에는 두 개의 글랜트들(213, 214)이 발생할 수 있고, 오른쪽 눈동자 역시 두 개의 글랜트들(215, 216)이 발생할 수 있다. 그리고, 시선 인식을 이용한 사용자 인터페이스 방법은 카메라를 이용하여 글랜드들이 발생한 사용자의 눈동자를 포함하는 영상을 획득할 수 있다. 그리고, 획득한 영상을 기초로 글랜트들의 위치, 각막 중심의 위치, 동공 중심의 위치, 광축의 방향 및 시축의 방향을 계산함으로써, 사용자의 시선 위치를 식별할 수 있다. 이 때, 캘리브레이션 포인트(222)는 토글 영역(221)의 상단 모서리에 위치할 수 있다. 일 실시예에서, 시선 인식을 이용한 사용자 인터페이스 방법은 캘리브레이션 포인트(222)를 깜빡이게 함으로써, 사용자가 캘리브레이션 포인트(222)를 응시하도록 할 수 있고, 이를 통해 보다 정확하게 시선 위치의 추정을 할 수 있다.

그리고, 그림 250에서, 모바일 디바이스는 그림 210과 마찬가지로 디스플레이 외부에 카메라(257)를 포함할 수 있고, 디스플레이 내부에 두 개의 내부 광원들(251, 252)을 포함할 수 있다. 그러나, 그림 250의 모바일 디바이스는 프로그레스 바(261)를 포함할 수 있다. 이 때, 프로그레스 바(261)는 토글 영역으로도 이용될 수 있다. 그리고, 캘리브레이션 포인트(262)는 프로그레스 바(261)의 끝부분에 위치할 수 있다. 예를 들어, 디스플레이에 프로그레스 바(261)가 표시된 경우, 사용자는 자연스럽게 프로그레스 바(261)의 끝부분을 응시할 수 있다. 이에 따라, 사용자가 응시하는 부분을 캘리브레이션 포인트(262)로 설정함으로써, 카메라(257)는 캘리브레이션 포인트(262)를 응시하는 영상을 획득할 수 있고, 이를 통해 시선 인식을 이용한 사용자 인터페이스 방법은 정확하게 사용자의 시선 위치를 추정할 수 있다.

도 3 및 도 4는 일 실시예에 따른 시선 인식을 이용한 사용자 인터페이스 방법에 대한 구체적인 실시예를 설명하기 위한 도면이다.

도 3을 참조하면, 모바일 디바이스(310)는 카메라(311), 디스플레이 및 디스플레이 상에 위치하는 네 개의 토글 영역들(321 내지 324)을 포함할 수 있다. 여기서, 네 개의 토글 영역들(321 내지 324)은 디스플레이 상에 표시될 수도 있고, 디스플레이 상에 표시되지 않을 수도 있다.

구체적인 예로서, 사용자는 모바일 디바이스(310)를 이용하여 AAA 사이트에 접속한 후, BB를 검색할 수 있다. 그리고, 모바일 디바이스(310)는 검색 결과 페이지를 표시할 수 있다. 이 때, 검색 결과 페이지의 로딩이 느려지는 경우, 디스플레이 상에는 ‘로딩중입니다’라는 텍스트와 함께 소용돌이 아이콘(331)이 표시될 수 있다. 이 경우, 사용자는 자연스럽게 소용돌이 아이콘(331)을 응시할 수 있다. 이에 따라, 시선 인식을 이용한 사용자 인터페이스 방법은 소용돌이 아이콘(331)을 캘리브레이션 포인트로 이용할 수 있고, 이에 따라, 보다 정확하게 사용자의 시선 위치를 추정할 수 있다.

그리고, 로딩 후에, 모바일 디바이스(350)는 검색 결과 페이지를 표시할 수 있고, 사용자는 시선 조작 기능을 이용하여 모바일 디바이스(350)의 인터페이스를 조작할 수 있다. 보다 구체적으로, 사용자는 미리 정해진 시간(예를 들어, 1초) 및 미리 정해진 패턴에 따라 제1 토글 영역(371)―제2 토글 영역(372)―제4 토글 영역(374)―제3 토글 영역(373)의 순서로 토글 영역들(371 내지 374)을 각각 1초 이상 응시할 수 있다. 이에 따라, 시선 인식을 이용한 사용자 인터페이스 방법은 시선 조작 기능을 활성화 모드로 설정할 수 있다.

그리고, 시선 조작 기능이 활성화 모드일 때, 사용자가 디스플레이의 하단 부분을 응시하는 경우, 시선 인식을 이용한 사용자 인터페이스 방법은 미리 정해진 규칙에 따라 디스플레이에 표시되는 검색 결과 페이지를 천천히 아래로 스크롤 시킬 수 있다. 또는, 미리 정해진 규칙에 따라 사용자가 응시하는 특정 영역을 선택할 수도 있다.

다른 예로서, 모바일 디바이스(350)가 잠금 상태인 경우, 시선 인식을 이용한 사용자 인터페이스 방법은 시선 인식을 이용하여 모바일 디바이스(350)의 잠금 상태를 해제할 수 있다. 구체적으로, 모바일 디바이스(350)가 잠금 상태일 때, 사용자는 미리 정해진 시간 및 미리 정해진 패턴에 따라 네 개의 영역들을 각각 응시할 수 있다. 그리고, 시선 위치와 네 개의 토글 영역들이 매칭되었다고 판단된 경우, 시선 인식을 이용한 사용자 인터페이스 방법은 모바일 디바이스(350)의 잠금 상태를 해제할 수 있다.

도 4를 참조하면, 디바이스(410)(예를 들어, PC 모니터 또는 스마트 TV)는 카메라(411) 및 디스플레이를 포함할 수 있다. 그리고, 디스플레이 상에는 온라인 주소창(421), 온라인 페이지 및 두 개의 시선 조작 영역들(422, 423)이 표시될 수 있다. 여기서, 시선 조작 영역은 시선 조작 기능이 활성화 모드인 경우, 디바이스(410)의 인터페이스를 조작하기 위한 영역을 의미할 수 있다. 구체적으로, 온라인 주소창(421)은 토글 영역 및 갤리브레이션 포인트일 수 있다. 예를 들어, 사용자가 온라인 주소창(421)을 응시하는 경우, 온라인 주소창(421)은 토글 영역으로 이용됨으로써 시선 위치와 토글 영역(421)이 매칭된 것으로 판단할 수 있고, 이에 따라, 시선 인식을 이용한 사용자 인터페이스 방법은 시선 조작 기능을 활성화 시킬 수 있다. 그리고, 사용자가 온라인 주소창(4210)의 끝부분을 응시함으로써, 온라인 주소창(421)은 캘리브레이션 포인트의 역할을 할 수 있고, 이에 따라, 보다 정확한 시선 위치의 추정이 가능할 수 있다. 다른 예로서, 디바이스의 온라인 브라우저가 동작 중인 경우, 디스플레이 상에는 모래시계 아이콘(431)이 표시될 수 있다. 이 경우, 사용자의 시선은 자연스럽게 모래시계 아이콘(431)에 위치할 수 있으므로, 시선 인식을 이용한 사용자 인터페이스 방법은 모래시계 아이콘(431)을 캘리브레이션 포인트로 설정함으로써, 정밀하게 사용자의 시선 위치를 추정할 수 있다.

그리고, 시선 조작 기능 활성화 모드에서, 사용자가 제1 시선 조작 영역(422)을 응시하는 경우, 시선 인식을 이용한 사용자 인터페이스 방법은 미리 정해진 규칙에 따라, 디스플레이에 표시되는 영상을 캡쳐할 수 있다. 그리고, 사용자가 제2 시선 조작 영역(423)을 응시하는 경우, 시선 인식을 이용한 사용자 인터페이스 방법은 디스플레이에 표시되는 웹 페이지의 다음 웹 페이지를 표시할 수 있다. 또한, 사용자는 시선 조작 영역을 이용하여, 웹 페이지의 복사, 붙여넣기 등 편집과 관련된 기능을 이용할 수도 있다.

도 5는 일 실시예에 따른 시선 인식을 이용한 사용자 인터페이스 장치를 나타낸 블록도이다.

도 5를 참조하면, 일 실시예에 따른 시선 인식을 이용한 사용자 인터페이스 장치는 디스플레이(510) 및 카메라(520)를 포함할 수 있다.

또한, 영상 획득부(530)는 카메라(520)를 이용하여 사용자의 눈동자를 포함하는 영상을 획득할 수 있다.

또한, 시선 위치 추정부(540)는 사용자의 눈동자를 포함하는 영상을 이용하여 사용자의 시선 위치를 추정할 수 있다.

또한, 모드 결정부(550)는 디스플레이 상의 적어도 하나의 토글 영역에 대한 사용자의 시선 위치를 기초로 디바이스를 상기 사용자의 시선에 의하여 제어할 수 있는 시선 조작 기능의 활성화 여부를 결정할 수 있다.

도 5에 도시된 일 실시예에 따른 시선 인식을 이용한 사용자 인터페이스 장치에는 도 1 내지 도 4를 통해 설명된 내용이 그대로 적용될 수 있으므로, 보다 상세한 내용은 생략한다.

실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.

이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.

그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

211, 212: 두 개의 내부 광원들
221: 토글 영역
222: 캘리브레이션 포인트
213 내지 216: 글린트들
251, 252: 두 개의 내부 광원들
261: 프로그레스 바(또는, 토글 영역)
262: 캘리브레이션 포인트
253 내지 256: 글린트들
321 내지 324, 371 내지 374: 네 개의 토글 영역들
331: 소용돌이 아이콘
421: 온라인 주소창
422, 423: 시선 조작 영역
431: 모래시계 아이콘

Claims (15)

  1. 디스플레이 내부에 포함된 적어도 두 개의 내부 광원들을 기초로 카메라를 이용하여 사용자의 눈동자를 포함하는 영상을 획득하는 단계;
    상기 사용자의 눈동자를 포함하는 영상에 포함된 상기 적어도 두 개의 내부 광원들과 적어도 하나의 외부 광원을 분리함으로써, 상기 적어도 하나의 외부 광원에 의한 노이즈를 제거하는 단계; 및
    상기 노이즈 제거된 영상을 이용하여 상기 사용자의 시선 위치를 추정하는 단계
    를 포함하는 시선 인식을 이용한 사용자 인터페이스 방법.
  2. 제1항에 있어서,
    상기 디스플레이 상의 적어도 하나의 토글(toggle) 영역에 대한 상기 사용자의 시선 위치를 기초로 디바이스를 상기 사용자의 시선에 의하여 제어할 수 있는 시선 조작 기능의 활성화 여부를 결정하는 단계
    를 더 포함하는,
    시선 인식을 이용한 사용자 인터페이스 방법.
  3. 제2항에 있어서,
    상기 적어도 하나의 토글 영역은
    적어도 하나의 캘리브레이션 포인트를 포함하는 시선 인식을 이용한 사용자 인터페이스 방법.
  4. 제2항에 있어서,
    상기 적어도 하나의 토글 영역은
    상기 디스플레이 상에 표시되는 복수의 객체들 중 적어도 하나를 포함하는 시선 인식을 이용한 사용자 인터페이스 방법.
  5. 제1항에 있어서,
    상기 사용자의 시선 위치를 추정하는 단계는
    상기 노이즈 제거된 영상을 기초로 상기 적어도 두 개의 내부 광원들 각각이 상기 눈동자 각각에 맺히는 영역인 적어도 두 개의 글린트(Glint)들의 위치를 추출하는 단계;
    상기 적어도 두 개의 내부 광원들 및 상기 적어도 두 개의 글린트들의 위치를 이용하여 상기 눈동자 각각에 대한 각막 중심(Cornea Center)의 위치를 계산하는 단계;
    상기 눈동자 각각에 대한 각막 중심의 위치를 이용하여 상기 눈동자 각각에 대한 동공 중심(Pupil Center)의 위치를 계산하는 단계;
    상기 각막 중심의 위치 및 상기 동공 중심의 위치를 이용하여 상기 눈동자 각각에 대한 광축(Optical Axis)의 방향을 계산하는 단계;
    상기 광축의 방향을 기초로 상기 눈동자 각각에 대한 시축(Visual Axis)의 방향을 계산하는 단계; 및
    상기 눈동자 각각에 대한 상기 시축의 교차점을 이용하여 상기 시선 위치를 식별하는 단계
    를 포함하는 시선 인식을 이용한 사용자 인터페이스 방법.
  6. 삭제
  7. 제1항에 있어서,
    상기 적어도 하나의 외부 광원에 의한 노이즈를 제거하는 단계는
    상기 적어도 두 개의 내부 광원의 위치, 컬러 및 모양 중 적어도 하나를 변경하는 단계
    를 더 포함하는 시선 인식을 이용한 사용자 인터페이스 방법.
  8. 제2항에 있어서,
    상기 시선 조작 기능의 활성화 여부를 결정하는 단계는
    상기 시선 위치와 상기 적어도 하나의 토글 영역이 매칭되는지 판단하는 단계; 및
    상기 시선 위치와 상기 적어도 하나의 토글 영역이 매칭되는지 여부를 기초로 상기 시선 조작 기능을 활성화 모드 또는 비활성화 모드로 설정하는 단계
    를 포함하는 시선 인식을 이용한 사용자 인터페이스 방법.
  9. 제8항에 있어서,
    상기 시선 위치와 상기 적어도 하나의 토글 영역이 매칭되는지 판단하는 단계는
    미리 정해진 시간 동안 상기 시선 위치와 상기 적어도 하나의 토글 영역이 매칭되는지 판단하는 단계
    를 더 포함하는 시선 인식을 이용한 사용자 인터페이스 방법.
  10. 제8항에 있어서,
    상기 시선 위치와 상기 적어도 하나의 토글 영역이 매칭되는지 판단하는 단계는
    미리 정해진 패턴에 따라 상기 시선 위치와 상기 적어도 하나의 토글 영역이 매칭되는지 판단하는 단계
    를 더 포함하는 시선 인식을 이용한 사용자 인터페이스 방법.
  11. 제8항에 있어서,
    상기 시선 조작 기능의 활성화 여부를 결정하는 단계는
    상기 시선 조작 기능의 기본값을 상기 비활성화 모드로 설정하는 단계;
    상기 시선 위치와 상기 적어도 하나의 토글 영역이 매칭되는 경우, 상기 시선 조작 기능을 미리 정해진 시간 동안 상기 활성화 모드로 설정하는 단계
    를 더 포함하는 시선 인식을 이용한 사용자 인터페이스 방법.
  12. 제1항에 있어서,
    상기 디스플레이의 복수의 꼭지점 영역들 중 적어도 두 개의 꼭지점 영역들을 상기 적어도 두 개의 내부 광원들로 설정하는 단계
    를 더 포함하는 시선 인식을 이용한 사용자 인터페이스 방법.
  13. 삭제
  14. 디스플레이;
    카메라; 및
    상기 디스플레이 내부에 포함된 적어도 두 개의 내부 광원들을 기초로 상기 카메라를 이용하여 사용자의 눈동자를 포함하는 영상을 획득하고,
    상기 사용자의 눈동자를 포함하는 영상에 포함된 상기 적어도 두 개의 내부 광원들과 적어도 하나의 외부 광원을 분리함으로써 상기 적어도 하나의 외부 광원에 의한 노이즈를 제거하며,
    상기 노이즈 제거된 영상을 이용하여 상기 사용자의 시선 위치를 추정하는 적어도 하나의 프로세서
    를 포함하는 시선 인식을 이용한 사용자 인터페이스 장치.
  15. 제14항에 있어서,
    상기 적어도 하나의 프로세서는
    상기 디스플레이 상의 적어도 하나의 토글(toggle) 영역에 대한 상기 사용자의 시선 위치를 기초로 디바이스를 상기 사용자의 시선에 의하여 제어할 수 있는 시선 조작 기능의 활성화 여부를 결정하는,
    시선 인식을 이용한 사용자 인터페이스 장치.
KR1020130018394A 2013-02-21 2013-02-21 시선 인식을 이용한 사용자 인터페이스 방법 및 장치 KR102093198B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020130018394A KR102093198B1 (ko) 2013-02-21 2013-02-21 시선 인식을 이용한 사용자 인터페이스 방법 및 장치

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR1020130018394A KR102093198B1 (ko) 2013-02-21 2013-02-21 시선 인식을 이용한 사용자 인터페이스 방법 및 장치
US14/164,617 US10324524B2 (en) 2013-02-21 2014-01-27 Method and apparatus for user interface using gaze interaction
US16/438,899 US20190294241A1 (en) 2013-02-21 2019-06-12 Method and apparatus for user interface using gaze interaction

Publications (2)

Publication Number Publication Date
KR20140104661A KR20140104661A (ko) 2014-08-29
KR102093198B1 true KR102093198B1 (ko) 2020-03-25

Family

ID=51350808

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130018394A KR102093198B1 (ko) 2013-02-21 2013-02-21 시선 인식을 이용한 사용자 인터페이스 방법 및 장치

Country Status (2)

Country Link
US (2) US10324524B2 (ko)
KR (1) KR102093198B1 (ko)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2929413B1 (en) 2012-12-06 2020-06-03 Google LLC Eye tracking wearable devices and methods for use
US9594488B2 (en) * 2013-12-12 2017-03-14 Google Inc. Interactive display of high dynamic range images
JP2015153302A (ja) * 2014-02-18 2015-08-24 ソニー株式会社 表示制御装置、表示制御方法および記録媒体
EP3140779A4 (en) 2014-05-09 2017-11-29 Google LLC Systems and methods for using eye signals with secure mobile communications
US10564714B2 (en) 2014-05-09 2020-02-18 Google Llc Systems and methods for biomechanically-based eye signals for interacting with real and virtual objects
CN104038489A (zh) * 2014-06-06 2014-09-10 北京智谷睿拓技术服务有限公司 生物认证方法及生物认证装置
CN110266977A (zh) * 2014-06-10 2019-09-20 株式会社索思未来 半导体集成电路和图像显示的控制方法
KR20160071139A (ko) * 2014-12-11 2016-06-21 삼성전자주식회사 시선 캘리브레이션 방법 및 그 전자 장치
US10146303B2 (en) * 2015-01-20 2018-12-04 Microsoft Technology Licensing, Llc Gaze-actuated user interface with visual feedback
EP3051386A1 (en) * 2015-01-30 2016-08-03 4tiitoo GmbH Eye tracking system and method
WO2016146488A1 (en) * 2015-03-13 2016-09-22 SensoMotoric Instruments Gesellschaft für innovative Sensorik mbH Method for automatically identifying at least one user of an eye tracking device and eye tracking device
JP2016192121A (ja) * 2015-03-31 2016-11-10 ソニー株式会社 制御装置、制御方法及びコンピュータプログラム
US20170329397A1 (en) * 2016-05-12 2017-11-16 Rovi Guides, Inc. Systems and methods for navigating a media guidance application using gaze control
US10521013B2 (en) * 2018-03-01 2019-12-31 Samsung Electronics Co., Ltd. High-speed staggered binocular eye tracking systems
KR20190082688A (ko) 2019-06-20 2019-07-10 엘지전자 주식회사 시선 추적을 이용한 디스플레이 제어방법 및 디스플레이 제어장치

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101165764B1 (ko) * 2011-05-31 2012-07-18 주식회사 넥서스칩스 Eye-tracking을 이용한 컨버전스 자동 조절 장치 및 그 방법

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6603491B2 (en) * 2000-05-26 2003-08-05 Jerome H. Lemelson System and methods for controlling automatic scrolling of information on a display or screen
KR101098687B1 (ko) * 2004-09-23 2011-12-23 엘지전자 주식회사 이동 통신 단말기의 눈동자 추적을 이용한 기능 실행 방법
US8775975B2 (en) * 2005-09-21 2014-07-08 Buckyball Mobile, Inc. Expectation assisted text messaging
JP2009512009A (ja) * 2005-10-10 2009-03-19 トビイ テクノロジー アーベー 広範囲の動作距離を有するアイトラッカー
US8125312B2 (en) * 2006-12-08 2012-02-28 Research In Motion Limited System and method for locking and unlocking access to an electronic device
WO2008097933A1 (en) * 2007-02-04 2008-08-14 Miralex Systems Incorporated Systems and methods for gaze tracking using multiple images
EP2150170B1 (en) * 2007-05-23 2016-05-11 Mirametrix Inc. Methods and apparatus for estimating point-of-gaze in three dimensions
US20100079508A1 (en) * 2008-09-30 2010-04-01 Andrew Hodge Electronic devices with gaze detection capabilities
KR100960269B1 (ko) * 2008-10-07 2010-06-07 한국과학기술원 눈동자 시선 추정 장치 및 추정 방법
US20100118200A1 (en) * 2008-11-10 2010-05-13 Geoffrey Michael Gelman Signage
EP2309307A1 (en) * 2009-10-08 2011-04-13 Tobii Technology AB Eye tracking using a GPU
KR101230265B1 (ko) 2010-03-29 2013-02-06 에스케이플래닛 주식회사 타인의 시선인식에 따른 단말의 정보표시방법 및 그 단말
US8982160B2 (en) 2010-04-16 2015-03-17 Qualcomm, Incorporated Apparatus and methods for dynamically correlating virtual keyboard dimensions to user finger size
KR20120085461A (ko) 2011-01-24 2012-08-01 주식회사 인프라웨어 시각을 이용한 문자 입력 방법
US8235529B1 (en) 2011-11-30 2012-08-07 Google Inc. Unlocking a screen using eye tracking information
US8710986B2 (en) * 2012-01-19 2014-04-29 Utechzone Co., Ltd. Gaze tracking password input method and device utilizing the same
US20150109191A1 (en) * 2012-02-16 2015-04-23 Google Inc. Speech Recognition
EP2929413B1 (en) * 2012-12-06 2020-06-03 Google LLC Eye tracking wearable devices and methods for use

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101165764B1 (ko) * 2011-05-31 2012-07-18 주식회사 넥서스칩스 Eye-tracking을 이용한 컨버전스 자동 조절 장치 및 그 방법

Also Published As

Publication number Publication date
US20140232638A1 (en) 2014-08-21
US10324524B2 (en) 2019-06-18
KR20140104661A (ko) 2014-08-29
US20190294241A1 (en) 2019-09-26

Similar Documents

Publication Publication Date Title
US9881026B2 (en) Method and apparatus for identifying input features for later recognition
US9773170B2 (en) Pupil detection
US9311527B1 (en) Real time eye tracking for human computer interaction
JP6741719B2 (ja) 画像ベース検索
US9645397B2 (en) Use of surface reconstruction data to identify real world floor
US20190073829A1 (en) Safety for Wearable Virtual Reality Devices via Object Detection and Tracking
EP3172649B1 (en) Anti-trip when immersed in a virtual reality environment
Pfeuffer et al. Pursuit calibration: Making gaze calibration less tedious and more flexible
JP6356157B2 (ja) Hmdのための人体ジェスチャーベースの領域および体積の選択
US9857589B2 (en) Gesture registration device, gesture registration program, and gesture registration method
JP6480434B2 (ja) デジタルデバイスとの対話のための直接的なポインティング検出のためのシステムおよび方法
US10372751B2 (en) Visual search in real world using optical see-through head mounted display with augmented reality and user interaction tracking
JP6079832B2 (ja) ヒューマンコンピュータインタラクションシステム、手と手指示点位置決め方法、及び手指のジェスチャ決定方法
US9400553B2 (en) User interface programmatic scaling
US10019074B2 (en) Touchless input
WO2017118075A1 (zh) 人机交互系统、方法及装置
US9075453B2 (en) Human eye controlled computer mouse interface
EP2994812B1 (en) Calibration of eye location
US9189095B2 (en) Calibrating eye tracking system by touch input
EP2813922A1 (en) Visibility improvement method based on eye tracking, machine-readable storage medium and electronic device
CN103703472B (zh) 用于确定视频中的对象的部位及相关属性的方法和系统
CN102812416B (zh) 指示输入装置、指示输入方法、程序、记录介质以及集成电路
US9165381B2 (en) Augmented books in a mixed reality environment
US9846803B2 (en) Makeup supporting device, makeup supporting system, makeup supporting method, and non-transitory computer-readable recording medium
US20150323998A1 (en) Enhanced user interface for a wearable electronic device

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant