KR102359602B1 - 디스플레이를 위한 시선 입력 방법 및 이를 수행하는 장치들 - Google Patents

디스플레이를 위한 시선 입력 방법 및 이를 수행하는 장치들 Download PDF

Info

Publication number
KR102359602B1
KR102359602B1 KR1020200029594A KR20200029594A KR102359602B1 KR 102359602 B1 KR102359602 B1 KR 102359602B1 KR 1020200029594 A KR1020200029594 A KR 1020200029594A KR 20200029594 A KR20200029594 A KR 20200029594A KR 102359602 B1 KR102359602 B1 KR 102359602B1
Authority
KR
South Korea
Prior art keywords
symbol
movement
gaze
eyes
user
Prior art date
Application number
KR1020200029594A
Other languages
English (en)
Other versions
KR20210114202A (ko
Inventor
이기혁
안성근
손정민
이상윤
Original Assignee
한국과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국과학기술원 filed Critical 한국과학기술원
Priority to KR1020200029594A priority Critical patent/KR102359602B1/ko
Priority to US16/830,727 priority patent/US11023042B1/en
Publication of KR20210114202A publication Critical patent/KR20210114202A/ko
Application granted granted Critical
Publication of KR102359602B1 publication Critical patent/KR102359602B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1423—Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0132—Head-up displays characterised by optical features comprising binocular systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0132—Head-up displays characterised by optical features comprising binocular systems
    • G02B2027/0136—Head-up displays characterised by optical features comprising binocular systems with a single image source for both eyes
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features

Abstract

디스플레이를 위한 시선 입력 방법 및 이를 수행하는 장치들이 개시된다. 일 실시예에 따른 디스플레이를 위한 시선 입력 방법은 사용자의 시선을 감지하여 디스플레이를 통해 사용자의 양안에 디스플레이된 심볼을 이동시키는 단계와, 상기 양안이 상기 심볼의 움직임에 따라 이향 운동하여 수렴 또는 발산하는지 여부를 판단하는 단계와, 상기 판단 결과에 기초하여 상기 시선이 상기 심볼을 응시하고 있는지 여부를 결정하는 단계를 포함한다.

Description

디스플레이를 위한 시선 입력 방법 및 이를 수행하는 장치들{METHOD FOR INPUTTING THE GAZE FOR DISPLAY AND APPARATUSES PERFORMING THE SAME}
아래 실시예들은 디스플레이를 위한 시선 입력 방법 및 이를 수행하는 장치들에 관한 것이다.
양안 접안 디스플레이는 증강 현실 및 가상 현실을 위해 개발되는 얼굴 착용형 장치일 수 있다. 예를 들어, 얼굴 착용형 장치는 증강 현실 및 가상 현실 기술 구현을 위한 필수적인 장치일 수 있다. 얼굴 착용형 장치는 증강 현실 및 가상 현실 기술들에 대한 시장의 기대를 고려할 때 빠르게 보편화 될 수 있는 잠재력을 가진 장치일 수 있다.
양안 접안 디스플레이는 사용자의 양 눈 앞에 위치한 장치이기에 사용자의 양 눈의 움직임을 추적하기에 적합할 수 있다. 예를 들어, 시선 추적 장치 제조사들은 안경 형태의 시선 추적 장치와 시선 추적이 가능한 증강현실 및 가상현실 디스플레이 장치들을 상품화한 바가 있다. 이러한 시장의 흐름을 고려하면 양안 접안 디스플레이 장치에서 시선 추적을 바탕으로 한 상호작용 양상은 향후 점차 보편화될 기술일 수 있다.
대표적인 시선 입력 방법은 버튼 입력을 위해 특정 버튼을 일정시간 동안 응시하는 기법이 있다. 이때, 시선 입력 방법은 대상을 바라보는 행위가 입력 의도를 가진 행위로 가정하는 입력 방식일 수 있다.
실시예들은 사용자의 시선의 움직임이 심볼의 움직임에 따라 이향 운동하는지 여부에 기초하여 사용자의 시선이 심볼을 응시하는지 여부를 결정하는 기술을 제공할 수 있다.
다만, 기술적 과제는 상기 기술적 과제로 한정되는 것은 아니며, 또 다른 기술적 과제들이 존재할 수 있다.
일 실시예에 따른 디스플레이를 위한 시선 입력 방법은 사용자의 시선을 감지하여 디스플레이를 통해 사용자의 양안에 디스플레이된 심볼을 이동시키는 단계와, 상기 양안이 상기 심볼의 움직임에 따라 이향 운동하여 수렴 또는 발산하는지 여부를 판단하는 단계와, 상기 판단 결과에 기초하여 상기 시선이 상기 심볼을 응시하고 있는지 여부를 결정하는 단계를 포함한다.
상기 시선 입력 방법은 상기 시선이 상기 심볼을 응시하는 경우, 상기 심볼에 대응하는 입력을 제공하는 단계를 더 포함할 수 있다.
상기 심볼은 상기 시선에 대응하는 위치에 디스플레이될 수 있다.
상기 심볼은 상기 사용자의 좌안에 제1 디스플레이를 통해 디스플레이된 좌안 심볼과, 상기 사용자의 우안에 제2 디스플레이를 통해 디스플레이된 우안 심볼을 포함할 수 있다.
상기 이동시키는 단계는 상기 좌안 심볼을 상기 제1 디스플레이에 디스플레이하는 단계와, 상기 우안 심볼을 상기 제2 디스플레이에 디스플레이하는 단계와, 상기 좌안 심볼 및 상기 우안 심볼을 서로 상이하게 이동시키는 단계를 포함할 수 있다.
상기 서로 상이하게 이동시키는 단계는 상기 좌안 심볼과 상기 우안 심볼을 상기 양안의 좌우 방향으로 서로 멀어지거나 가까워지게 이동시키는 단계를 포함할 수 있다.
상기 좌안 심볼의 이동 변화량과 상기 우안 심볼의 이동 변화량은 서로 동일할 수 있다.
상기 판단하는 단계는 상기 양안의 움직임을 감지하는 단계와, 상기 좌안 심볼 및 상기 우안 심볼의 움직임과 상기 양안의 움직임이 유사한지 여부를 판단하는 단계와, 움직임이 유사한 경우, 상기 양안의 움직임이 상기 좌안 심볼 및 상기 우안 심볼의 움직임에 따른 이향 운동에 의해 상기 양안의 초점이 변화하는 움직임인지 여부를 판단하는 단계를 포함할 수 있다.
상기 좌안 심볼 및 상기 우안 심볼의 움직임과 상기 양안의 움직임이 유사한지 여부를 판단하는 단계는 상기 좌안 심볼의 이동 방향 및 이동 변화량과 상기 좌안의 이동 방향 및 이동 변화량을 비교하여 제1 유사도를 계산하는 단계와, 상기 우안 심볼의 이동 방향 및 이동 변화량과 상기 우안의 이동 방향 및 이동 변화량을 비교하여 제2 유사도를 계산하는 단계와, 상기 제1 유사도 및 상기 제2 유사도에 기초하여 제3 유사도 를 계산하는 단계와, 상기 제3 유사도에 기초하여 상기 좌안 심볼 및 상기 우안 심볼의 움직임과 상기 양안의 움직임이 유사한지 여부를 판단하는 단계를 포함할 수 있다.
상기 시선 입력 방법은 상기 시선이 상기 심볼을 응시하지 않는 경우, 상기 시선을 재감지된 시선에 대응하는 심볼의 이동을 통해 상기 재감지된 시선이 상기 재감지된 시선에 대응하는 심볼을 응시하고 있는지 여부를 판단하는 단계를 더 포함할 수 있다.
일 실시예에 따른 디스플레이를 위한 시선 입력 장치는 인스트럭션들을 포함하는 메모리와, 상기 인스트럭션들을 실행하기 위한 컨트롤러를 포함하고, 상기 컨트롤러는 사용자의 시선을 감지하여 디스플레이를 통해 사용자의 양안에 디스플레이된 심볼을 이동시키고, 상기 양안이 상기 심볼의 움직임에 따라 이향 운동하여 수렴 또는 발산하는지 여부를 판단하고, 상기 판단 결과에 기초하여 상기 시선이 상기 심볼을 응시하고 있는지 여부를 결정할 수 있다.
상기 컨트롤러는 상기 시선이 상기 심볼을 응시하는 경우, 상기 심볼에 대응하는 입력을 제공할 수 있다.
상기 심볼은 상기 시선에 대응하는 위치에 디스플레이될 수 있다.
상기 심볼은 상기 사용자의 좌안에 제1 디스플레이를 통해 디스플레이된 좌안 심볼과, 상기 사용자의 우안에 제2 디스플레이를 통해 디스플레이된 우안 심볼을 포함할 수 있다.
상기 컨트롤러는 상기 좌안 심볼을 상기 제1 디스플레이에 디스플레이하고, 상기 우안 심볼을 상기 제2 디스플레이에 디스플레이하고, 상기 좌안 심볼 및 상기 우안 심볼을 서로 상이하게 이동시킬 수 있다.
상기 컨트롤러는 상기 좌안 심볼과 상기 우안 심볼을 상기 양안의 좌우 방향으로 서로 멀어지거나 가까워지게 이동시킬 수 있다.
상기 좌안 심볼의 이동 변화량과 상기 우안 심볼의 이동 변화량은 서로 동일할 수 있다.
상기 컨트롤러는 상기 양안의 움직임을 감지하고, 상기 좌안 심볼 및 상기 우안 심볼의 움직임과 상기 양안의 움직임이 유사한지 여부를 판단하고, 상기 좌안 심볼 및 상기 우안 심볼의 움직임과 상기 양안의 움직임이 유사한 경우, 상기 양안의 움직임이 수렴 또는 발산에 의해 상기 양안의 초점이 변화하는 움직임인지 여부를 판단할 수 있다.
상기 컨트롤러는 상기 좌안 심볼의 이동 방향 및 이동 변화량과 상기 좌안의 이동 방향 및 이동 변화량을 비교하여 제1 유사도를 계산하고, 상기 우안 심볼의 이동 방향 및 이동 변화량과 상기 우안의 이동 방향 및 이동 변화량을 비교하여 제2 유사도를 계산하고, 상기 제1 유사도 및 상기 제2 유사도에 기초하여 제3 유사도를 계산하고, 상기 제3 유사도에 기초하여 상기 좌안 심볼 및 상기 우안 심볼의 움직임과 상기 양안의 움직임이 유사한지 여부를 판단할 수 있다.
일 실시예에 따른 시선 입력 시스템은 사용자의 양안에 접안된 디스플레이와, 시선 입력 장치를 포함하고, 상기 시선 입력 장치는 상기 사용자의 시선을 감지하여 상기 디스플레이를 통해 상기 사용자의 양안에 디스플레이된 심볼을 이동시키고, 상기 양안이 상기 심볼의 움직임에 따라 이향 운동하여 수렴 또는 발산하는지 여부를 판단하고, 상기 판단 결과에 기초하여 상기 시선이 상기 심볼을 응시하고 있는지 여부를 결정할 수 있다.
도 1은 사용자의 시선을 설명하기 위한 일 예를 나타낸다.
도 2는 일 실시예에 따른 시선 입력 시스템의 개략적인 블록도를 나타낸다.
도 3은 도 2에 도시된 디스플레이를 설명하기 위한 일 예를 나타낸다.
도 4는 도 2에 도시된 시선 입력 장치의 개략적인 블록도를 나타낸다.
도 5a는 발산하는 이향 동작을 설명하기 위한 일 예를 나타낸다.
도 5b는 발산하는 이향 동작을 유발하기 위한 심볼의 움직임을 나타낸다.
도 5c는 발산하는 이향 동작에 따른 사용자의 인식을 설명하기 위한 일 예를 나타낸다.
도 6a는 수렴하는 이향 동작을 설명하기 위한 일 예를 나타낸다.
도 6b는 수렴하는 이향 동작을 유발하기 위한 심볼의 움직임을 나타낸다.
도 6c는 수렴하는 이향 동작에 따른 사용자의 인식을 설명하기 위한 일 예를 나타낸다.
도 7a는 심볼의 발산 및 수렴 구간을 설명하기 위한 일 예를 나타낸다.
도 7b는 유발된 시선 움직임을 설명하기 위한 일 예를 나타낸다.
도 8은 도 1에 도시된 시선 입력 장치의 동작을 설명하기 위한 순서도를 나타낸다.
이하에서, 첨부된 도면을 참조하여 실시예들을 상세하게 설명한다. 그러나, 실시예들에는 다양한 변경이 가해질 수 있어서 특허출원의 권리 범위가 이러한 실시예들에 의해 제한되거나 한정되는 것은 아니다. 실시예들에 대한 모든 변경, 균등물 내지 대체물이 권리 범위에 포함되는 것으로 이해되어야 한다.
실시예에서 사용한 용어는 단지 설명을 목적으로 사용된 것으로, 한정하려는 의도로 해석되어서는 안된다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 명세서 상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
제1 또는 제2등의 용어를 다양한 구성요소들을 설명하는데 사용될 수 있지만, 구성요소들은 용어들에 의해서 한정되어서는 안 된다. 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만, 예를 들어 실시예의 개념에 따른 권리 범위로부터 이탈되지 않은 채, 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소는 제1 구성요소로도 명명될 수 있다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
또한, 첨부 도면을 참조하여 설명함에 있어, 도면 부호에 관계없이 동일한 구성 요소는 동일한 참조부호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 실시예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 실시예의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
도 1은 사용자의 시선을 설명하기 위한 일 예를 나타낸다.
사용자는 얼굴형 착용 장치인 HDM을 착용하여 증강 현실 및/또는 가상 현실 등의 시각 콘텐츠를 제공받고, 시선을 통해 시선 입력을 수행할 수 있다. 얼굴형 착용 장치는 양안 접안 디스플레이를 통해 사용자에게 시간 콘텐츠를 제공할 수 있다.
양안 접안 디스플레이가 투명 또는 반투명하고, 사용자가 어느 한 점을 일정 시간 동안 응시하고 있는 경우에는 마이다스 터치 문제가 발생될 수 있다. 마이다스 터치 문제는 사용자의 시선의 응시점이 입력 의도를 갖고 디스플레이 상의 대상을 바라보는 것인지 입력 의도를 갖지 않고 그 너머의 실제 환경에 위치한 실제 대상을 바라보고 있는 것인지 모호해지는 문제점일 수 있다.
마이다스 터치 문제는 특히 양안 접안 디스플레이가 접안 투시형 디스플레이 장치(Near-eye Optical See Through Display)인 경우에 문제점이 더 커질 수 있다. 이러한 마이다스 터치 문제를 해결하기 위해 실시예에 따른 디스플레이를 위한 시선 입력 방법을 제안한다. 실시예에 따른 디스플레이를 위한 시선 입력 방법은 디스플레이를 통해 양안에 특정 심볼을 제공할 때 특정 심볼의 움직임에 따른 양안의 움직임을 이용할 수 있다.
사용자가 특정 심볼을 바라보거나(Fixation) 사용자의 시선이 특정 심볼을 따라가는(Smooth Pursuit) 경우, 사용자의 눈의 움직임은 특정 심볼의 움직임과 유사한 움직임을 띄게 될 수 있다. 이하에서는 특정 심볼의 움직임과 유사한 사용자의 시선(또는 사용자의 양안)의 움직임을 '유발된 시선 움직임(유발된 양안 움직임)' 이라 표현하도록 한다. 유발된 시선 움직임은 일상 생활 중에 쉽게 나타나지 않는 이향 운동에 의한 움직임일 수 있다.
사용자가 양안 접안 디스플레이가 제공하는 3차원 공간 상의 특정 대상인 특정 심볼을 바라보고, 특정 심볼이 사용자의 양안을 이향 운동하게 움직이는 경우, 사용자의 양안은 특정 심볼의 움직임과 유사하게 이향 운동(vergence)하여 '유발된 시선 움직임'이 발생할 수 있다. 이향 운동은 사용자의 양안이 하나의 시상(양안 단일시; Binocular Single Vision)을 얻기 위해서 수렴(Convergence) 또는 발산(Divergence)하게 되는 움직임일 수 있다.
도 2는 일 실시예에 따른 시선 입력 시스템의 개략적인 블록도를 나타내고, 도 3은 도 2에 도시된 디스플레이를 설명하기 위한 일 예를 나타낸다.
시선 입력 시스템(10)은 디스플레이(100) 및 시선 입력 장치(300)를 포함한다. 시선 입력 시스템(10)은 사용자에게 증강 현실 및/또는 가상 현실 등의 다양한 시각 콘텐츠를 제공할 수 있는 장치일 수 있다. 예를 들어, 시선 입력 시스템(10)은 사용자가 착용 가능한 HMD(head mounded display)일 수 있다.
디스플레이(100)는 얼굴형 착용 장치에 적용 가능한 양안 접안 투시형 디스플레이일 수 있다. 디스플레이(100)는 사용자에게 증강 현실 및/또는 가상 현실 등의 다양한 시각 콘텐츠를 사용자의 양안에 디스플레이할 수 있다.
디스플레이(100)는 제1 디스플레이(110) 및 제2 디스플레이(130)를 포함할 수 있다. 제1 디스플레이(110)는 사용자의 좌안(또는 왼쪽 눈)에 접안된 좌안 접안 디스플레이이고, 제2 디스플레이(130)는 사용자의 우안(또는 오른쪽 눈)에 접안된 우안 접안 디스플레이일 수 있다.
시선 입력 장치(300)는 사용자의 시선이 디스플레이(100)에 디스플레이되는 객체를 응시하는지 또는 디스플레이(100) 넘어 존재하는 객체(예를 들어, 실제 환경의 객체)를 응시하는지를 구분하여 시선에 따른 적절한 입력을 제공할 수 있다.
예를 들어, 시선 입력 장치(300)는 사용자의 시선의 움직임이 심볼의 움직임에 따라 이향 운동하는지 여부에 기초하여 사용자의 시선이 심볼을 응시하는지 여부를 결정할 수 있다. 이때, 시선 입력 장치(300)는 사용자의 시선의 응시 지점이 2차원 공간 상(또는 2차원 평면 공간(x-y plane))에서 고정되지만, 시선의 심도 변화가 z축으로 변화하여 심볼이 앞 혹은 뒤로 움직이는 것으로 인지되게 좌안 심볼 및 우안 심볼을 이동시킬 수 있다. 심볼은 2차원 평면 공간 상 매우 작은 범위에서 움직이게 될 수 있다.
이에, 시선 입력 장치(300)는 마이다스 터치라고 불리는 사용자의 의도치 않은 어떠한 입력, 즉 마이다스 터치를 극복하고, 사용자의 시선에 대응하는 입력을 정확하게 제공할 수 있다.
또한, 시선 입력 장치(300)는 사용자의 시각적인 산만함을 적게하여 사용자가 디스플레이(100)와 상호 작용하지 않는 작업을 수행하는 경우에 방해가 되지 않게할 수 있다.
이하에서는 사용자가 얼굴 착용형 장치인 HMD를 사용하고, 얼굴 착용형 장치에 디스플레이(100) 및 시선 입력 장치(300)가 포함되어 있다고 가정하도록 한다. HMD에 디스플레이(100) 및 시선 입력 장치(300)가 포함되어 있을 수 있지만, 이에 한정하는 것은 아니다. 디스플레이(100)와 시선 입력 장치(300)는 HMD와 구별되게 독립적으로 구현되어 HMD에 장착될 수 있다. 이때, 디스플레이(100)는 HMD 및 시선 입력 장치(300)와 통신을 수행할 수 있다. 시선 입력 장치(300)는 HMD 및 디스플레이(100)와 통신을 수행할 수 있다.
도 4는 도 2에 도시된 시선 입력 장치의 개략적인 블록도를 나타낸다.
시선 입력 장치(300)는 메모리(310) 및 컨트롤러(330)를 포함할 수 있다.
메모리(310)는 컨트롤러(330)에 의해 실행가능한 인스트럭션들(또는 프로그램)을 저장할 수 있다. 예를 들어, 인스트럭션들은 컨트롤러(330)의 동작 및/또는 컨트롤러(330)의 각 구성의 동작을 실행하기 위한 인스트럭션들을 포함할 수 있다.
컨트롤러(330)는 메모리(310)에 저장된 데이터를 처리할 수 있다. 컨트롤러(330)는 메모리(310)에 저장된 컴퓨터로 읽을 수 있는 코드(예를 들어, 소프트웨어) 및 컨트롤러(330)에 의해 유발된 인스트럭션(instruction)들을 실행할 수 있다.
컨트롤러(330)는 목적하는 동작들(desired operations)을 실행시키기 위한 물리적인 구조를 갖는 회로를 가지는 하드웨어로 구현된 데이터 처리 장치일 수 있다. 예를 들어, 목적하는 동작들은 프로그램에 포함된 코드(code) 또는 인스트럭션들(instructions)을 포함할 수 있다.
예를 들어, 하드웨어로 구현된 데이터 처리 장치는 마이크로프로세서(microprocessor), 중앙 처리 장치(central processing unit), 프로세서 코어(processor core), 멀티-코어 프로세서(multi-core processor), 멀티프로세서(multiprocessor), ASIC(Application-Specific Integrated Circuit), FPGA(Field Programmable Gate Array)를 포함할 수 있다.
컨트롤러(330)는 시선 입력 장치(300)의 전반적인 동작을 제어할 수 있다. 예를 들어, 컨트롤러(330)는 메모리(310)의 동작을 제어할 수 있다.
컨트롤러(330)는 사용자의 시선을 감지하여 디스플레이(100)를 통해 사용자의 양안에 디스플레이된 심볼을 이동시킬 수 있다.
심볼은 사용자의 시선에 대응하는 위치에 디스플레이된 심볼일 수 있다. 심볼은 좌안 심볼 및 우안 심볼을 포함할 수 있다. 좌안 심볼 및 우안 심볼은 심볼의 형태와 유사한(또는 동일한) 형태의 심볼로 동일한 시각적인 형태일 수 있다.
예를 들어, 컨트롤러(330)는 디스플레이(100)의 그래픽 사용자 인터페이스를 통해 심볼을 이동시킬 수 있다. 그래픽 사용자 인터페이스는 시각적인 심볼의 움직임을 제공하는 인터페이스일 수 있다.
먼저, 컨트롤러(330)는 좌안 심볼 및 우안 심볼을 사용자의 양안에 디스플레이할 수 있다. 예를 들어, 컨트롤러(330)는 사용자의 좌안에 좌안 심볼이 디스플레이되도록 좌안 심볼을 제1 디스플레이(110)에 디스플레이할 수 있다. 컨트롤러(330)는 사용자의 우안에 우안 심볼이 디스플레이되도록 우안 심볼을 제2 디스플레이(130)에 디스플레이할 수 있다.
이후에, 컨트롤러(330)는 사용자의 양안에 서로 다른 시각 자극을 제공하여 사용자의 양안이 이향 운동하게 하기 위해서 좌안 심볼 및 우안 심볼을 서로 상이하게 이동시킬 수 있다.
예를 들어, 컨트롤러(330)는 사용자의 양안이 이향 운동하게 좌안 심볼 및 우안 심볼을 서로 상이한 방향으로 이동시켜 사용자의 양안의 좌우 방향으로 서로 멀어지거나 가까워지게 이동시킬 수 있다. 좌안 심볼과 우안 심볼은 양안의 좌우 방향인 가로축 상에서 서로 반대 방향으로 움직일 수 있다. 좌안 심볼의 이동 변화량과 우안 심볼의 이동 변화량은 서로 동일할 수 있다.
컨트롤러(330)는 사용자의 시선의 움직임(또는 양안의 움직임)을 감지하여 시선의 움직임이 심볼의 움직임에 따른 유발된 시선 움직임인지 여부를 판단할 수 있다. 이때, 컨트롤러(330)는 사용자의 시선을 지속적으로 추적하여 감지할 수 있다. 컨트롤러(330)는 유발된 사용자의 시선 움직임을 판별하는 알고리즘을 이용할 수 있다. 알고리즘은 사용자의 양안 각각의 시선 움직임을 관측하여 양안 움직임 패턴과 심볼 움직임 패턴을 비교하여 사용자의 시선이 유발된 시선 움직임인지 여부를 판단할 수 있다.
예를 들어, 컨트롤러(330)는 사용자의 양안이 수렴하거나 발산하는 정도와 좌안 심볼 및 우안 심볼이 멀어지거나 가까워지는 정도를 비교하여 사용자의 시선이 유발된 시선 움직임인지 여부를 판별할 수 있다. 컨트롤러(330)는 좌안과 우안의 시선 위치(또는 좌안과 우안의 움직임)이 좌안 심볼 및 우안 심볼과 얼마나 비슷하게 움직이는지 각각 체크하여 사용자의 시선이 유발된 시선 움직임인지 여부를 판별할 수 있다.
구체적으로, 컨트롤러(330)는 좌안 심볼 및 우안 심볼의 움직임과 사용자의 양안의 움직임이 유사한지 여부를 판단할 수 있다.
컨트롤러(330)는 사용자의 좌안 및 우안의 응시점을 계산할 수 있다. 이때, 응시점은 3차원 안구 모델을 계산하거나 동공의 2차원 위치를 측정하는 방식으로 얻어질 수 있다. 3차원 안구 모델을 계산하는 방식은 사용자의 양안 각각의 시선 방향(또는 시선 벡터)와 양안의 3차원 위치를 바탕으로 양안 시선 벡터의 교차점을 계산하여 양안 단일시가 얻어진 공간의 위치(또는 응시점)을 계산할 수 있다.
컨트롤러(330)는 좌안 심볼의 이동 방향 및 이동 변화량과 좌안의 이동 방향 및 이동 변화량을 비교하여 좌안 심볼의 움직임과 좌안의 움직임 간의 제1 유사도를 계산할 수 있다. 컨트롤러(330)는 우안 심볼의 이동 방향 및 이동 변화량과 우안의 이동 방향 및 이동 변화량을 비교하여 우안 심볼의 움직임과 우안의 움직임 간의 제2 유사도를 계산할 수 있다. 좌안 및 우안의 이동 방향 및 이동 변화량은 응시점 계산으로부터 획득될 수 있다.
컨트롤러(330)는 제1 유사도 및 제2 유사도에 기초하여 심볼의 움직임과 양안의 움직임 간의 제3 유사도(또는 최종 유사도)를 계산할 수 있다. 컨트롤러(330)는 제3 유사도에 기초하여 좌안 심볼 및 우안 심볼의 움직임과 양안의 움직임이 유사한지 여부를 판단할 수 있다. 특정 시간 범위 내에서 두 움직임(심볼과 양안의 움직임) 사이의 유사도가 특정 기준을 만족하는 경우, 컨트롤러(330)는 사용자의 시선(또는 양안)의 움직임을 심볼에 의해 유발된 시선 움직임으로 판단할 수 있다.
사용자의 양안의 움직임이 유발된 양안 움직임인 경우, 컨트롤러(330)는 유발된 양안 움직임이 좌안 심볼 및 우안 심볼의 움직임에 따른 이향 운동에 의해 양안의 초점이 변화하는 움직임인지 여부를 판단할 수 있다. 좌안 심볼과 우안 심볼이 서로 멀어지게 이동하고, 사용자의 양안이 좌안 심볼 및 우안 심볼의 움직임과 유사하게 발산하는 이향 운동인 경우, 컨트롤러(330)는 유발된 양안 움직임이 좌안 심볼 및 우안 심볼의 움직임에 따른 발산 이향 운동이라고 판단할 수 있다. 좌안 심볼과 우안 심볼이 서로 가까워지게 이동하고, 사용자의 양안이 좌안 심볼 및 우안 심볼의 움직임과 유사하게 수렴하는 이향 운동인 경우, 컨트롤러(330)는 유발된 양안 움직임이 좌안 심볼 및 우안 심볼의 움직임에 따른 수렴 이향 운동이라고 판단할 수 있다.
상술한 판단 방법은 한가지 예로 두 움직임(심볼과 양안의 움직임) 사이의 유사성을 판단하는 어떤 다른 알고리즘이 활용될 수 있다.
컨트롤러(330)는 판단 결과에 기초하여 사용자의 시선이 심볼을 응시하고 있는지 여부를 결정할 수 있다. 예를 들어, 컨트롤러(330)는 사용자의 시선의 움직임이 유발된 시선 움직임이고, 사용자의 양안이 심볼에 따른 이향운동에 의해 양안의 초점이 변화하는 움직임인 경우, 사용자의 시선이 심볼을 응시하고 있다고 결정할 수 있다.
결과적으로, 컨트롤러(330)는 사용자의 시선 움직임이 유발된 시선 움직임인지 아닌지를 판단하여 사용자가 특정 시선 움직임을 유발하기 위한 시각적인 심볼에 응시(또는 집중)한 것인지 아닌지를 판단할 수 있다.
이때, 심볼로 인해 유발된 눈 움직임은 수의적으로 재현하기 어려운 눈 움직임이며, 해당 눈 움직임은 일상에서의 자연스러운 눈 움직임과 구분되는 눈 움직임이다.
이에, 컨트롤러(330)는 사용자가 심볼을 응시하는지 여부에 따라 사용자가 디스플레이 상의 대상을 보는 것인지, 디스플레이 너머의 다른 대상을 보는 것인지 판별할 수 있다.
컨트롤러(330)는 심볼의 응시여부에 기초하여 시선 입력을 제공할 수 있다. 사용자의 시선이 심볼을 응시하는 경우, 컨트롤러(330)는 심볼에 대응하는 입력을 제공할 수 있다. 사용자의 시선이 심볼을 응시하지 않는 경우, 컨트롤러(330)는 사용자의 시선을 재감지하여 상술한 과정을 반복함으로써, 재감지된 시선 움직임으로부터 재감지된 시선에 대응하는 심볼을 응시하고 있는지 여부를 판단할 수 있다. 예를 들어, 컨트롤러(330)는 재감지된 시선에 대응하는 심볼의 이동을 통해 재감지된 시선이 재감지된 시선에 대응하는 심볼을 응시하고 있는지 여부를 판단할 수 있다.
도 5a는 발산하는 이향 동작을 설명하기 위한 일 예를 나타내고, 도 5b는 발산하는 이향 동작을 유발하기 위한 심볼의 움직임을 나타내고, 도 5c는 발산하는 이향 동작에 따른 사용자의 인식을 설명하기 위한 일 예를 나타낸다.
도 5a를 참조하면, 사용자가 3차원 공간 상에 위치하고, 사용자로부터 멀어지는 대상을 바라보는 경우, 사용자의 양안은 발산하는 이향 운동이 유발될 수 있다.
도 5b를 참조하면, 컨트롤러(330)는 도 5a와 같이 사용자의 양안에 대상에 대응하는 심볼의 움직임에 따른 유발된 시선 움직임이 발생하도록 심볼의 좌안 심볼 및 우안 심볼을 x축으로 서로 멀어지게 이동시킬 수 있다.
사용자가 대상을 응시하는 경우, 사용자의 좌안과 우안은 양안 단일시를 얻기 위해서 각각 좌안 심볼과 우안 심볼의 움직임을 따라 가게 될 수 있다. 이에, 사용자의 양안은 좌안 심볼 및 우안 심볼의 움직임을 따라 발산하는 이향 운동이 유발될 수 있다. 이때, 사용자는 심볼이 2차원 공간(X-Y plane) 상에서 고정되고, 수직한 Z 축으로만 움직이는 것으로 인지할 수 있다.
따라서, 컨트롤러(330)는 1) 사용자의 양안의 응시점이 2차원 공간 상에서 고정되어 응시점의 2차원 좌표가 안정적으로 고정되어 있는가와 2) 사용자의 양안이 심볼과 동일한 형태로 발산하고 있는가를 만족하는지 여부만을 판단하여 사용자의 시선의 움직임이 '유발된 시선 움직임'인지 여부를 결정할 수 있다. 두 가지 경우가 만족되는 경우, 컨트롤러(330)는 사용자의 시선 움직임이 심볼에 의해서 발산하는 '유발된 시선 움직임'이라고 판단할 수 있다.
사용자가 대상을 응시하고 있지 않은 경우, 사용자의 양안은 발산하는 이향 운동이 유발되지 않거나 양안에 발생한 발산하는 이향 운동이 좌안 심볼 및 우안 심볼의 움직임과 다른 움직임 패턴으로 움직일 수 있다.
도 5c를 참조하면, 사용자가 대상을 응시하여 심볼의 움직임에 따라 발산하는 '유발된 시선 움직임'이 발생한 경우, 사용자는 대상이 사용자로부터 멀어지는 것으로 인지(또는 인식)할 수 있다.
도 6a는 수렴하는 이향 동작을 설명하기 위한 일 예를 나타내고, 도 6b는 수렴하는 이향 동작을 유발하기 위한 심볼의 움직임을 나타내고, 도 6c는 수렴하는 이향 동작에 따른 사용자의 인식을 설명하기 위한 일 예를 나타낸다.
도 6a를 참조하면, 사용자가 3차원 공간 상에 위치하고, 사용자에게 가까워지는 대상을 바라보는 경우, 사용자의 양안은 수렴하는 이향 운동이 유발될 수 있다.
도 6b를 참조하면, 컨트롤러(330)는 도 6a와 같이 사용자의 양안에 대상에 대응하는 심볼의 움직임에 따른 유발된 시선 움직임이 발생하도록 심볼의 좌안 심볼 및 우안 심볼을 x축으로 서로 가까워지게 이동시킬 수 있다.
사용자가 대상을 응시하는 경우, 사용자의 좌안과 우안은 양안 단일시를 얻기 위해서 각각 좌안 심볼과 우안 심볼의 움직임을 따라 가게 될 수 있다. 이에, 사용자의 양안은 좌안 심볼 및 우안 심볼의 움직임을 따라 수렴하는 이향 운동이 유발될 수 있다. 이때, 사용자는 심볼이 2차원 공간(X-Y plane) 상에서 고정되고, 수직한 Z 축으로만 움직이는 것으로 인지할 수 있다.
따라서, 컨트롤러(330)는 1) 사용자의 응시점이 2차원 공간 상에서 고정되어 응시점의 2차원 좌표가 안정적으로 고정되어 있는 가와 2) 사용자의 양안이 심볼과 동일한 형태로 수렴하고 있는가를 만족하는지 여부만을 판단하여 사용자의 시선의 움직임이 '유발된 시선 움직임'인지 여부를 결정할 수 있다. 두 가지 경우가 만족되는 경우, 컨트롤러(330)는 사용자의 시선 움직임이 심볼에 의해서 수렴하는 '유발된 시선 움직임'이라고 판단할 수 있다.
사용자가 대상을 응시하고 있지 않은 경우, 사용자의 양안은 수렴하는 이향 운동이 유발되지 않거나 양안에 발생한 수렴하는 이향 운동이 좌안 심볼 및 우안 심볼의 움직임과 다른 움직임 패턴으로 움직일 수 있다.
도 6c를 참조하면, 사용자가 대상을 응시하여 심볼의 움직임에 따라 수렴하는 '유발된 시선 움직임'이 발생한 경우, 사용자는 대상이 사용자로부터 가까워지는 것으로 인지(또는 인식)할 수 있다.
도 7a는 심볼의 발산 및 수렴 구간을 설명하기 위한 일 예를 나타내고, 도 7b는 유발된 시선 움직임을 설명하기 위한 일 예를 나타낸다.
도 7a를 참조하면, 좌안 심볼과 우안 심볼은 그래프1(graph1)과 같이 발산하는 움직임(diverge)과 수렴하는 움직임(converge)이 반복될 수 있다. 이때, 그래프1(graph1)의 x축은 시간이고, y축은 좌안 심볼 및 우안 심볼의 기준점으로부터의 가로축 상 위치를 의미할 수 있다.
좌안 심볼과 우안 심볼은 sinusoidal(정형파)하게 멀어지거나 가까워질 수 있다. 상술한 바와 같이 좌안 심볼과 우안 심볼이 멀어지거나 가까워지는 형태가 정형파 형태이지만, 이에 한정하는 것은 아니다. 예를 들어, 좌안 심볼과 우안 심볼이 멀어지거나 가까워지는 형태는 삼각파 등 다양한 파형의 형태일 수 있다. 사용자의 양안에는 좌안 심볼과 우안 심볼이 멀어지는 경우에 발산하는 이향 운동이 유발되고, 가까워지는 경우에 수렴하는 이향 운동이 유발될 수 있다.
도 7b를 참조하면, 좌안 심볼 및 우안 심볼이 특정 패턴으로 지속적으로 움직이고 있는 도중에, 음영진 영역(또는 특정 시간 범위)에서와 같이, 사용자의 양안의 응시점 위치가 심볼들의 움직임과 비슷한 패턴으로 나타나게 되는 경우, 컨트롤러(330)는 사용자가 양안 심볼을 보고 있는 것으로 판단할 수 있다.
도 8은 도 1에 도시된 시선 입력 장치의 동작을 설명하기 위한 순서도를 나타낸다.
컨트롤러(330)는 사용자의 시선을 감지하여 사용자의 좌안에 대응하는 좌안 심볼과 사용자의 우안에 대응하는 우안 심볼을 서로 상이한 방향으로 멀어지거나 가까워지게 이동시킬 수 있다(810).
컨트롤러(330)는 심볼을 이동시킨 후 사용자의 시선의 움직임을 감지할 수 있다(830).
컨트롤러(330)는 사용자의 시선의 움직임이 좌안 심볼 및 우안 심볼의 움직임에 따른 유발된 시선 움직임인지 여부를 판단하고, 사용자의 시선이 유발된 시선 움직임에 따른 발산 또는 수렴하는 이향 운동이 유발되었는지 여부를 판단할 수 있다.
사용자의 시선의 움직임이 유발된 시선 움직임이고, 발산 또는 수렴하는 이향 운동이 유발된 경우, 컨트롤러(330)는 심볼에 대응하는 입력을 제공할 수 있다.
사용자의 시선의 움직임이 유발된 시선 움직임이 아니고, 발산 또는 수렴하는 이향 운동이 유발되지 않은 경우, 컨트롤러(330)는 사용자의 시선의 움직임을 재감지하여 재감지된 시선에 대해 상술한 과정을 반복하여 수행할 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
이상과 같이 실시예들이 비록 한정된 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기를 기초로 다양한 기술적 수정 및 변형을 적용할 수 있다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 청구범위의 범위에 속한다.

Claims (18)

  1. 시선 입력 장치의 디스플레이를 위한 시선 입력 방법에 있어서,
    상기 시선 입력 장치가 사용자의 시선을 감지하여 디스플레이를 통해 사용자의 양안에 디스플레이된 심볼을 이동시키는 단계;
    상기 시선 입력 장치가 상기 양안이 상기 심볼의 움직임에 따라 이향 운동하여 수렴 또는 발산하는지 여부를 판단하는 단계; 및
    상기 시선 입력 장치가 상기 판단 결과에 기초하여 상기 시선이 상기 심볼을 응시하고 있는지 여부를 결정하는 단계
    를 포함하고,
    상기 심볼은,
    상기 사용자의 좌안에 제1 디스플레이를 통해 디스플레이된 좌안 심볼; 및
    상기 사용자의 우안에 제2 디스플레이를 통해 디스플레이된 우안 심볼
    을 포함하고,
    상기 이동시키는 단계는,
    상기 좌안 심볼을 상기 제1 디스플레이에 디스플레이하는 단계;
    상기 우안 심볼을 상기 제2 디스플레이에 디스플레이하는 단계; 및
    상기 좌안 심볼 및 상기 우안 심볼을 서로 상이하게 이동시키는 단계
    를 포함하는, 디스플레이를 위한 시선 입력 방법.
  2. 제1항에 있어서,
    상기 시선 입력 장치가 상기 시선이 상기 심볼을 응시하는 경우, 상기 심볼에 대응하는 입력을 제공하는 단계
    를 더 포함하는 시선 입력 방법.
  3. 제1항에 있어서,
    상기 심볼은 상기 시선에 대응하는 위치에 디스플레이되는 시선 입력 방법.
  4. 삭제
  5. 삭제
  6. 제1항에 있어서,
    상기 서로 상이하게 이동시키는 단계는,
    상기 좌안 심볼과 상기 우안 심볼을 상기 양안의 좌우 방향으로 서로 멀어지거나 가까워지게 이동시키는 단계
    를 포함하는 시선 입력 방법.
  7. 제1항에 있어서,
    상기 판단하는 단계는,
    상기 양안의 움직임을 감지하는 단계;
    상기 좌안 심볼 및 상기 우안 심볼의 움직임과 상기 양안의 움직임이 유사한지 여부를 판단하는 단계; 및
    움직임이 유사한 경우, 상기 양안의 움직임이 상기 좌안 심볼 및 상기 우안 심볼의 움직임에 따른 이향 운동에 의해 상기 양안의 초점이 변화하는 움직임인지 여부를 판단하는 단계
    를 포함하는 시선 입력 방법.
  8. 제7항에 있어서,
    상기 좌안 심볼 및 상기 우안 심볼의 움직임과 상기 양안의 움직임이 유사한지 여부를 판단하는 단계는,
    상기 좌안 심볼의 이동 방향 및 이동 변화량과 상기 좌안의 이동 방향 및 이동 변화량을 비교하여 제1 유사도를 계산하는 단계;
    상기 우안 심볼의 이동 방향 및 이동 변화량과 상기 우안의 이동 방향 및 이동 변화량을 비교하여 제2 유사도를 계산하는 단계;
    상기 제1 유사도 및 상기 제2 유사도에 기초하여 제3 유사도를 계산하는 단계; 및
    상기 제3 유사도에 기초하여 상기 좌안 심볼 및 상기 우안 심볼의 움직임과 상기 양안의 움직임이 유사한지 여부를 판단하는 단계
    를 포함하는 시선 입력 방법.
  9. 제1항에 있어서,
    상기 시선 입력 장치가 상기 시선이 상기 심볼을 응시하지 않는 경우, 상기 시선을 재감지된 시선에 대응하는 심볼의 이동을 통해 상기 재감지된 시선이 상기 재감지된 시선에 대응하는 심볼을 응시하고 있는지 여부를 판단하는 단계
    를 더 포함하는 시선 입력 방법.
  10. 인스트럭션들을 포함하는 메모리; 및
    상기 인스트럭션들을 실행하기 위한 컨트롤러
    를 포함하고,
    상기 컨트롤러는,
    사용자의 시선을 감지하여 디스플레이를 통해 사용자의 양안에 디스플레이된 심볼을 이동시키고, 상기 양안이 상기 심볼의 움직임에 따라 이향 운동하여 수렴 또는 발산하는지 여부를 판단하고, 상기 판단 결과에 기초하여 상기 시선이 상기 심볼을 응시하고 있는지 여부를 결정하고,
    상기 심볼은,
    상기 사용자의 좌안에 제1 디스플레이를 통해 디스플레이된 좌안 심볼; 및
    상기 사용자의 우안에 제2 디스플레이를 통해 디스플레이된 우안 심볼
    을 포함하고,
    상기 컨트롤러는,
    상기 좌안 심볼을 상기 제1 디스플레이에 디스플레이하고, 상기 우안 심볼을 상기 제2 디스플레이에 디스플레이하고, 상기 좌안 심볼 및 상기 우안 심볼을 서로 상이하게 이동시키는, 시선 입력 장치.
  11. 제10항에 있어서,
    상기 컨트롤러는,
    상기 시선이 상기 심볼을 응시하는 경우, 상기 심볼에 대응하는 입력을 제공하는 시선 입력 장치.
  12. 제10항에 있어서,
    상기 심볼은 상기 시선에 대응하는 위치에 디스플레이되는 시선 입력 장치.
  13. 삭제
  14. 삭제
  15. 제10항에 있어서,
    상기 컨트롤러는,
    상기 좌안 심볼과 상기 우안 심볼을 상기 양안의 좌우 방향으로 서로 멀어지거나 가까워지게 이동시키는 시선 입력 장치.
  16. 제10항에 있어서,
    상기 컨트롤러는,
    상기 양안의 움직임을 감지하고, 상기 좌안 심볼 및 상기 우안 심볼의 움직임과 상기 양안의 움직임이 유사한지 여부를 판단하고, 상기 좌안 심볼 및 상기 우안 심볼의 움직임과 상기 양안의 움직임이 유사한 경우, 상기 양안의 움직임이 수렴 또는 발산에 의해 상기 양안의 초점이 변화하는 움직임인지 여부를 판단하는 시선 입력 장치.
  17. 제16항에 있어서,
    상기 컨트롤러는,
    상기 좌안 심볼의 이동 방향 및 이동 변화량과 상기 좌안의 이동 방향 및 이동 변화량을 비교하여 제1 유사도를 계산하고, 상기 우안 심볼의 이동 방향 및 이동 변화량과 상기 우안의 이동 방향 및 이동 변화량을 비교하여 제2 유사도를 계산하고, 상기 제1 유사도 및 상기 제2 유사도에 기초하여 제3 유사도를 계산하고, 상기 제3 유사도에 기초하여 상기 좌안 심볼 및 상기 우안 심볼의 움직임과 상기 양안의 움직임이 유사한지 여부를 판단하는 시선 입력 장치.
  18. 사용자의 양안에 접안된 제1 디스플레이 및 제2 디스플레이를 포함하는 디스플레이; 및
    시선 입력 장치
    를 포함하고,
    상기 시선 입력 장치는
    상기 사용자의 시선을 감지하여 상기 디스플레이를 통해 상기 사용자의 양안에 디스플레이된 심볼을 이동시키고, 상기 양안이 상기 심볼의 움직임에 따라 이향 운동하여 수렴 또는 발산하는지 여부를 판단하고, 상기 판단 결과에 기초하여 상기 시선이 상기 심볼을 응시하고 있는지 여부를 결정하고,
    상기 심볼은,
    상기 사용자의 좌안에 상기 제1 디스플레이를 통해 디스플레이된 좌안 심볼; 및
    상기 사용자의 우안에 상기 제2 디스플레이를 통해 디스플레이된 우안 심볼
    을 포함하고,
    상기 시선 입력 장치는,
    상기 좌안 심볼을 상기 제1 디스플레이에 디스플레이하고, 상기 우안 심볼을 상기 제2 디스플레이에 디스플레이하고, 상기 좌안 심볼 및 상기 우안 심볼을 서로 상이하게 이동시키는, 시선 입력 시스템.
KR1020200029594A 2020-03-10 2020-03-10 디스플레이를 위한 시선 입력 방법 및 이를 수행하는 장치들 KR102359602B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020200029594A KR102359602B1 (ko) 2020-03-10 2020-03-10 디스플레이를 위한 시선 입력 방법 및 이를 수행하는 장치들
US16/830,727 US11023042B1 (en) 2020-03-10 2020-03-26 Method for inputting gaze for display and devices performing the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200029594A KR102359602B1 (ko) 2020-03-10 2020-03-10 디스플레이를 위한 시선 입력 방법 및 이를 수행하는 장치들

Publications (2)

Publication Number Publication Date
KR20210114202A KR20210114202A (ko) 2021-09-23
KR102359602B1 true KR102359602B1 (ko) 2022-02-08

Family

ID=76094752

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200029594A KR102359602B1 (ko) 2020-03-10 2020-03-10 디스플레이를 위한 시선 입력 방법 및 이를 수행하는 장치들

Country Status (2)

Country Link
US (1) US11023042B1 (ko)
KR (1) KR102359602B1 (ko)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150310657A1 (en) 2014-04-29 2015-10-29 Ibrahim Eden Display device viewer gaze attraction
US20150355815A1 (en) 2013-01-15 2015-12-10 Poow Innovation Ltd Dynamic icons

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107087431B (zh) * 2014-05-09 2021-02-05 谷歌有限责任公司 用于辨别眼睛信号和连续生物识别的系统和方法
CN108780223B (zh) * 2016-03-11 2019-12-20 脸谱科技有限责任公司 用于生成眼睛模型的角膜球跟踪
EP3511803B1 (en) * 2018-01-10 2021-11-03 Samsung Electronics Co., Ltd. Method and apparatus to determine trigger intent of user

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150355815A1 (en) 2013-01-15 2015-12-10 Poow Innovation Ltd Dynamic icons
US20150310657A1 (en) 2014-04-29 2015-10-29 Ibrahim Eden Display device viewer gaze attraction

Also Published As

Publication number Publication date
KR20210114202A (ko) 2021-09-23
US11023042B1 (en) 2021-06-01

Similar Documents

Publication Publication Date Title
KR102368661B1 (ko) 사용자 인터페이스 디바이스들의 표현들을 이용한 뉴럴 네트워크 트레이닝
JP7443332B2 (ja) ユーザカテゴリ化による多深度平面ディスプレイシステムのための深度平面選択
EP3631567B1 (en) Eye tracking calibration techniques
US10234935B2 (en) Mediation of interaction methodologies in immersive environments
JP6904973B2 (ja) 姿勢および複数のｄｏｆコントローラを用いた３ｄ仮想オブジェクトとの相互作用
EP3311249B1 (en) Three-dimensional user input
US20190237044A1 (en) Eclipse cursor for mixed reality displays
US9465991B2 (en) Determining lens characteristics
JP2021511723A (ja) 眼の回転中心決定、深度平面選択、およびディスプレイシステム内のレンダリングカメラ位置付け
CN111819522A (zh) 用于混合现实显示器中的虚拟内容的遮挡光标
US11340695B2 (en) Converting a 2D positional input into a 3D point in space
US20180143693A1 (en) Virtual object manipulation
EP3172646A1 (en) Smart placement of virtual objects to stay in the field of view of a head mounted display
JP2023504207A (ja) ユーザ識別に基づいて頭部搭載型ディスプレイシステムを動作させるためのシステムおよび方法
CN116033864A (zh) 使用非球形角膜模型的眼睛跟踪
KR102359602B1 (ko) 디스플레이를 위한 시선 입력 방법 및 이를 수행하는 장치들
WO2022020434A1 (en) Eye tracking using alternate sampling
Yi et al. Deep: 3d gaze pointing in virtual reality leveraging eyelid movement
Finnigan Gaze Tracking in the Plane
JP2024500740A (ja) オブジェクトの選択の方法及びシステム

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant