KR102417968B1 - 시선-기반 사용자 상호작용 - Google Patents

시선-기반 사용자 상호작용 Download PDF

Info

Publication number
KR102417968B1
KR102417968B1 KR1020207006018A KR20207006018A KR102417968B1 KR 102417968 B1 KR102417968 B1 KR 102417968B1 KR 1020207006018 A KR1020207006018 A KR 1020207006018A KR 20207006018 A KR20207006018 A KR 20207006018A KR 102417968 B1 KR102417968 B1 KR 102417968B1
Authority
KR
South Korea
Prior art keywords
gaze
affordance
user
user input
location
Prior art date
Application number
KR1020207006018A
Other languages
English (en)
Other versions
KR20200035103A (ko
Inventor
아비 바-지브
라이언 에스. 부르고뉴
데빈 윌리암 찰머스
루이스 알. 델리즈 센테노
라훌 나이르
티모시 알. 오리올
알렉시스 팔란기에
Original Assignee
애플 인크.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 애플 인크. filed Critical 애플 인크.
Priority to KR1020227022762A priority Critical patent/KR20220100102A/ko
Publication of KR20200035103A publication Critical patent/KR20200035103A/ko
Application granted granted Critical
Publication of KR102417968B1 publication Critical patent/KR102417968B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1423—Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • H04B5/70—
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye

Abstract

눈의 시선을 이용하여 사용자 인터페이스 객체들과 상호작용하기 위한 예시적인 프로세스에서, 제1 객체와 연관된 어포던스가 디스플레이된다. 시선 방향 또는 시선 깊이가 결정된다. 시선 방향 또는 시선 깊이가 어포던스에 대한 시선에 대응한다고 결정되는 동안, 어포던스 상에 행동을 취하기 위한 사용자 명령을 표현하는 제1 입력이 수신되고, 제1 입력을 수신하는 것에 응답하여 어포던스가 선택된다.

Description

시선-기반 사용자 상호작용
관련 출원에 대한 상호 참조
본 출원은: 2017년 9월 29일 출원되고, 발명의 명칭이 "Accessing Functions of External Devices Using Reality Interfaces"인, 미국 특허 제62/566,073호, 2017년 9월 29일 출원되고, 발명의 명칭이 "Controlling External Devices Using Reality Interfaces"인, 미국 특허 제62/566,080호, 2017년 9월 29일 출원되고, 발명의 명칭이 "Gaze-based User Interactions"인, 미국 특허 제62/566,206호, 및 2018년 9월 21일에 출원되고, 발명의 명칭이 "Gaze-based User Interactions"인, 미국 특허 제62/734,678호에 대한 우선권을 주장하며, 이들은 모든 목적에 대하여 전체적으로 참조로서 본 명세서에 포함된다.
1. 분야
본 개시내용은 일반적으로 전자 디바이스와 상호작용하기 위한 사용자 인터페이스들, 더 구체적으로는 눈의 시선을 이용하여 전자 디바이스와 상호작용하는 것에 관한 것이다.
2. 관련기술
종래 전자 디바이스들은 사용자로부터 입력들을 수신하기 위한 키보드, 버튼, 조이스틱, 및 터치-스크린과 같은 입력 메커니즘들을 사용한다. 일부 종래 디바이스들은 또한 사용자의 입력에 응답하여 콘텐츠를 디스플레이하는 스크린을 포함한다. 이러한 입력 메커니즘들 및 디스플레이들은 사용자가 전자 디바이스와 상호작용하기 위한 인터페이스를 제공한다.
본 개시내용은 눈의 시선을 이용하여 전자 디바이스와 상호작용하기 위한 기술들을 기재하고 있다. 일부 실시예들에 따라, 사용자는 자신의 눈을 이용하여 전자 디바이스 상에 디스플레이되는 사용자 인터페이스 객체들과 상호작용한다. 기술들은, 일부 예시적인 실시예들에서, 사용자로 하여금 주시(primarily eye)의 시선 및 눈의 제스처들(예컨대, 눈의 움직임, 깜빡임, 및 응시하기)을 이용하여 디바이스를 동작하게 함으로써, 더 자연스럽고 효과적인 인터페이스를 제공한다. 사용자의 눈의 시선의 위치의 불확실성 및 불안정성으로 인해 눈의 시선을 이용하여 지정된 위치를 정확하게 위치파악하는 것이 어려울 수 있기 때문에, 눈의 시선을 이용하여 (예컨대, 객체를 선택 또는 배치하기 위하여) 초기 위치를 빠르게 지정하고 이어서 눈의 시선을 사용하지 않고 지정된 위치를 이동시키기 위한 기술들이 또한 기재된다. 이 기술들은 데스크톱 컴퓨터, 랩톱, 태블릿, 및 스마트폰과 같은 디바이스들 상의 종래 사용자 인터페이스들에 적용될 수 있다. 기술들은 또한 컴퓨터-생성 현실(가상 현실 및 혼합 현실을 포함) 디바이스들 및 애플리케이션들에 유리하며, 이는 아래 더 상세하게 기술되는 바와 같다.
일부 실시예들에 따라, 제1 디스플레이된 객체와 연관된 어포던스가 디스플레이되고, 시선 방향 또는 시선 깊이가 결정된다. 시선 방향 또는 시선 깊이가 어포던스에 대한 시선에 대응하는지 결정이 이루어진다. 시선 방향 또는 시선 깊이가 어포던스에 대한 시선에 대응한다고 결정되는 동안 어포던스 상에 행동을 취하기 위한 명령어를 표현하는 제1 입력이 수신되고, 어포던스는 제1 입력을 수신하는 것에 응답하여 선택된다.
일부 실시예들에 따라, 제1 어포던스 및 제2 어포던스가 동시에 디스플레이되고, 하나 이상의 눈의 제1 시선 방향 또는 제1 시선 깊이가 결정된다. 제1 시선 방향 또는 제1 시선 깊이가 제1 어포던스 및 제2 어포던스 둘 모두에 대한 시선에 대응하는지 결정이 이루어진다. 제1 시선 방향 또는 제1 시선 깊이가 제1 어포던스 및 제2 어포던스 둘 모두에 대한 시선에 대응한다는 결정하는 것에 응답하여, 제1 어포던스 및 제2 어포던스는 확대된다.
일부 실시예들에 따라, 전자 디바이스는 3차원 컴퓨터 생성 현실 환경의 시야를 디스플레이하는 데 적응되고 시야는 관점으로부터 렌더링된다. 제1 객체가 제2 객체와 동시에 디스플레이되는데, 여기서 제1 객체는 관찰 위치에서 제2 객체보다 더 가까이 제시된다. 시선 위치가 결정된다. 시선 위치가 제1 객체에 대한 시선에 대응한다는 결정에 따라, 제2 객체의 디스플레이가 시각적으로 변경된다. 시선 위치가 제2 객체에 대한 시선에 대응한다는 결정에 따라, 제1 객체의 디스플레이가 시각적으로 변경된다.
일부 실시예들에 따라, 제1 시기에 제1 사용자 입력이 수신된다. 제1 사용자 입력을 수신하는 것에 응답하여, 제1 시기의 시선 위치에 대응하는 제1 위치에 선택 포인트가 지정된다. 선택 포인트의 지정을 유지하는 동안, 제2 사용자 입력이 수신된다. 제2 사용자 입력을 수신하는 것에 응답하여, 선택 포인트는 제1 위치와 상이한 제2 위치로 이동되며, 선택 포인트를 제2 위치로 이동시키는 것은 시선 위치에 기초하지 않는다. 선택 포인트가 제2 위치에 있는 동안, 제3 사용자 입력이 수신된다. 제3 사용자 입력을 수신하는 것에 응답하여, 선택 포인트는 제2 위치에서 확인된다.
일부 실시예들에 따라, 제1 시기에 제1 사용자 입력이 수신된다. 제1 사용자 입력을 수신하는 것에 응답하여, 제1 시기의 시선 위치에 대응하는 복수의 객체들 중 제1 객체가 지정된다. 제1 객체의 지정을 유지하는 동안, 제2 사용자 입력이 수신된다. 제2 사용자 입력을 수신하는 것에 응답하여, 제1 객체의 지정은 중지되고 복수의 객체들 중 제2 객체가 지정되는데, 제2 객체를 지정하는 것은 시선 위치에 기초하지 않는다. 제2 객체의 지정을 유지하는 동안, 제3 사용자 입력이 수신된다. 제3 사용자 입력을 수신하는 것에 응답하여, 제2 객체가 선택된다.
일부 실시예들에 따라, 객체가 선택된다. 객체의 선택을 유지하는 동안, 제1 시기에 제1 사용자 입력이 수신된다. 제1 사용자 입력을 수신하는 것에 응답하여, 제1 시기의 시선 위치에 기초하여 배치 포인트가 제1 위치에 지정되는데, 제1 위치는 제1 시기의 시선 위치에 대응한다. 배치 포인트의 지정을 유지하는 동안, 제2 사용자 입력이 수신된다. 제2 사용자 입력을 수신하는 것에 응답하여, 배치 포인트는 제1 위치와 상이한 제2 위치로 이동되며, 배치 포인트를 제2 위치로 이동시키는 것은 시선 위치에 기초하지 않는다. 제3 사용자 입력이 수신되고, 제3 사용자 입력을 수신하는 것에 응답하여, 선택된 객체는 제2 위치에 배치된다.
다양하게 기술된 실시예들의 보다 양호한 이해를 위해, 유사한 도면 부호들이 도면 전체에 걸쳐서 대응 부분들을 나타내는 하기의 도면들과 관련하여 하기의 발명을 실시하기 위한 구체적인 내용이 참조되어야 한다.
도 1a 및 도 1b는 가상 현실 및 혼합 현실을 포함하는, 다양한 컴퓨터-생성 현실 기술들에 사용하기 위한 예시적인 시스템들을 도시한다.
도 1c 내지 도 1e는 모바일 디바이스의 형태의 시스템의 실시예들을 도시한다.
도 1f 내지 도 1h는 헤드 마운트 디스플레이(HMD) 디바이스들의 형태로 시스템의 실시예들을 도시한다.
도 1i는 헤드-업 디스플레이(HUD) 디바이스의 형태의 시스템의 실시예를 도시한다.
도 2는 다양한 실시예들에 따라, 사용자가 객체를 보는 것을 도시한다.
도 3은 다양한 실시예들에 따라, 눈의 시선을 이용하여 전자 디바이스와 상호작용하기 위한 사용자 인터페이스를 도시한다.
도 4는 다양한 실시예들에 따라, 눈의 시선을 이용하여 전자 디바이스와 상호작용하기 위한 사용자 인터페이스를 도시한다.
도 5는 다양한 실시예들에 따라, 눈의 시선을 이용하여 전자 디바이스와 상호작용하기 위한 사용자 인터페이스를 도시한다.
도 6은 다양한 실시예들에 따라, 눈의 시선을 이용하여 전자 디바이스와 상호작용하기 위한 사용자 인터페이스를 도시한다.
도 7은 다양한 실시예들에 따라, 눈의 시선을 이용하여 전자 디바이스와 상호작용하기 위한 사용자 인터페이스를 도시한다.
도 8은 다양한 실시예들에 따라, 눈의 시선을 이용하여 전자 디바이스와 상호작용하기 위한 사용자 인터페이스를 도시한다.
도 9는 다양한 실시예들에 따라, 눈의 시선을 이용하여 전자 디바이스와 상호작용하기 위한 사용자 인터페이스를 도시한다.
도 10은 다양한 실시예들에 따라, 눈의 시선을 이용하여 전자 디바이스와 상호작용하기 위한 사용자 인터페이스를 도시한다.
도 11은 다양한 실시예들에 따라, 눈의 시선을 이용하여 전자 디바이스와 상호작용하기 위한 사용자 인터페이스를 도시한다.
도 12는 다양한 실시예들에 따라, 눈의 시선을 이용하여 전자 디바이스와 상호작용하기 위한 사용자 인터페이스를 도시한다.
도 13은 다양한 실시예들에 따라, 눈의 시선을 이용하여 전자 디바이스와 상호작용하기 위한 사용자 인터페이스를 도시한다.
도 14는 다양한 실시예들에 따라, 눈의 시선을 이용하여 전자 디바이스와 상호작용하기 위한 사용자 인터페이스를 도시한다.
도 15는 다양한 실시예들에 따라, 눈의 시선을 이용하여 전자 디바이스와 상호작용하기 위한 사용자 인터페이스를 도시한다.
도 16은 다양한 실시예들에 따라, 눈의 시선을 이용하여 전자 디바이스와 상호작용하기 위한 예시적인 프로세스의 흐름도를 도시한다.
도 17은 다양한 실시예들에 따라, 눈의 시선을 이용하여 전자 디바이스와 상호작용하기 위한 예시적인 프로세스의 흐름도를 도시한다.
도 18은 다양한 실시예들에 따라, 눈의 시선을 이용하여 전자 디바이스와 상호작용하기 위한 예시적인 프로세스의 흐름도를 도시한다.
도 19a 내지 도 19y는 다양한 실시예들에 따라, 눈의 시선을 이용하여 전자 디바이스와 상호작용하기 위한, 사용자 인터페이스를 도시한다.
도 20은 다양한 실시예들에 따라, 눈의 시선을 이용하여 전자 디바이스와 상호작용하기 위한 예시적인 프로세스의 흐름도를 도시한다.
도 21은 다양한 실시예들에 따라, 눈의 시선을 이용하여 전자 디바이스와 상호작용하기 위한 예시적인 프로세스의 흐름도를 도시한다.
도 22는 다양한 실시예들에 따라, 눈의 시선을 이용하여 전자 디바이스와 상호작용하기 위한 예시적인 프로세스의 흐름도를 도시한다.
이하의 설명은 예시적인 방법들, 파라미터들 등을 기재하고 있다. 그러나, 이러한 설명이 본 개시내용의 범주에 대한 제한으로서 의도되지 않고 그 대신에 예시적인 실시예들의 설명으로서 제공된다는 것을 인식해야 한다.
가상 현실 및 혼합 현실(물리적 환경으로부터의 감각적인 입력들을 포함함)을 포함하는 다양한 컴퓨터-생성 현실 기술들에 관련된 시스템들을 이용하기 위한 전자 시스템들 및 기술들의 다양한 실시예들이 기술된다.
물리적 환경(또는 실제 환경)은 사람들이 전자 시스템들의 도움 없이 감지 및/또는 상호작용할 수 있는 물리적 세계를 지칭한다. 물리적 공원과 같은 물리적 환경들은 물리적 물품들(또는 물리적 객체들 또는 실제 객체들), 예컨대 물리적 나무들, 물리적 건물들, 및 물리적 사람들을 포함한다. 사람들은, 예컨대 시각, 촉각, 청각, 맛, 및 냄새를 통해, 물리적 환경을 직접 감지하고/하거나 그와 상호작용할 수 있다.
대조적으로, 컴퓨터-생성 현실(computer-generated reality, CGR) 환경은 사람들이 전자 시스템을 통해 감지하고/하거나 그와 상호작용하는 완전히 또는 부분적으로 모사된 환경을 지칭한다. CGR에서, 사람의 물리적 움직임들, 또는 이들의 표현들의 서브세트가 추적되고, 이에 응답하여, CGR 환경에서 모사된 하나 이상의 가상 객체들의 하나 이상의 특성들이 적어도 하나의 물리 법칙에 따르는 방식으로 조정된다. 예를 들어, CGR 시스템은 사람이 고개를 돌리는 것을 검출할 수 있고, 이에 응답하여, 그 사람에게 제시되는 그래픽 콘텐츠 및 음장(acoustic field)을 물리적 환경에서 그러한 뷰들 및 소리들이 변화하는 방식과 유사한 방식으로 조정할 수 있다. 일부 상황들에서(예를 들어, 접근성 이유들 때문에), CGR 환경 내의 가상 객체(들)의 특성(들)에 대한 조정들은 물리적 움직임들의 표현들(예를 들어, 음성 커맨드들)에 응답하여 이루어질 수 있다.
사람은, 시각, 청각, 촉각, 미각, 및 후각을 포함하는 그들의 감각들 중 임의의 하나를 사용하여 CGR 객체를 느끼고 그리고/또는 그것과 상호작용할 수 있다. 예를 들어, 사람은 3D 공간에서 오디오 소스들의 인지 지점을 제공하는 3D 또는 공간적 오디오 환경을 생성하는 오디오 객체들을 느끼고 그리고/또는 그것과 상호작용할 수 있다. 다른 예에서, 오디오 객체들은 오디오 투과성을 가능하게 할 수 있으며, 이는 선택적으로, 물리적 환경으로부터의 주변 소리들을 컴퓨터-생성 오디오와 함께 또는 그것 없이 포함한다. 일부 CGR 환경들에서, 사람은 오디오 객체들만을 느끼고 그리고/또는 오직 그것과 상호작용할 수 있다.
CGR의 예들은 가상 현실 및 혼합 현실을 포함한다.
가상 현실(VR) 환경(또는 가상 환경)은 하나 이상의 감각들에 대한 컴퓨터-생성 감각 입력들에 전적으로 기초하도록 설계된 모사된 환경을 지칭한다. VR 환경은 사람이 감지하고/하거나 그와 상호작용할 수 있는 복수의 가상 객체들을 포함한다. 예를 들어, 나무들, 빌딩들, 및 사람들을 표현하는 아바타들의 컴퓨터-생성 형상화가 가상 객체들의 예들이다. 사람은, 컴퓨터-생성 환경 내의 사람의 존재의 시뮬레이션을 통해 그리고/또는 컴퓨터-생성 환경 내의 사람의 신체적 움직임들의 서브세트의 시뮬레이션을 통해 VR 환경에서 가상 객체들을 느끼고 그리고/또는 그것과 상호작용할 수 있다.
컴퓨터-생성 감각 입력들에 전적으로 기초하도록 설계되는 VR 환경과는 대조적으로, 혼합 현실(MR) 환경은 컴퓨터-생성 감각 입력들(예를 들어, 가상 객체들)을 포함하는 것에 부가하여, 물리적 환경으로부터의 감각 입력들, 또는 그들의 표현을 포함하도록 설계된 모사된 환경을 지칭한다. 가상 연속체(virtuality continuum)에서, 혼합 현실 환경은 한쪽의 전체 물리적 환경과 다른 쪽의 가상 현실 환경 사이의 임의의 곳에 있지만, 포함하지는 않는다.
일부 MR 환경들에서, 컴퓨터-생성 감각 입력들은 물리적 환경으로부터의 감각 입력들의 변화들에 응답할 수 있다. 또한, MR 환경을 제시하기 위한 일부 전자 시스템들은 물리적 환경에 대한 위치 및/또는 배향을 추적하여 가상 객체들이 실제 객체들(즉, 물리적 환경으로부터의 물리적 물품들 또는 물리적 물품들의 표현들)과 상호작용할 수 있게 할 수 있다. 예를 들어, 시스템은 움직임들을 고려하여 가상 나무가 물리적 땅에 대하여 고정되어 있는 것처럼 보이도록 할 수 있다.
혼합 현실들의 예들은 증강 현실 및 증강 가상을 포함한다.
증강 현실(AR) 환경은 하나 이상의 가상 객체들이 물리적 환경, 또는 물리적 환경의 표현 위에 중첩되어 있는 모사된 환경을 지칭한다. 예를 들어, AR 환경을 제시하기 위한 전자 시스템은 사람이 직접 물리적 환경을 볼 수 있는 투명 또는 반투명 디스플레이를 가질 수 있다. 시스템은 가상 객체들을 투명 또는 반투명 디스플레이 상에 제시하도록 구성되어, 사람은, 시스템을 사용하여, 물리적 환경 위에 중첩된 가상 객체들을 인지하게 할 수 있다. 대안적으로, 시스템은 불투명 디스플레이 및 물리적 환경의 표현들인, 물리적 환경의 이미지들 또는 비디오를 캡처하는 하나 이상의 이미징 센서들을 가질 수 있다. 시스템은 이미지들 또는 비디오를 가상 객체들과 합성하고, 합성물을 불투명 디스플레이 상에 제시한다. 사람은, 시스템을 사용하여, 물리적 환경의 이미지들 또는 비디오에 의해 물리적 환경을 간접적으로 보고, 물리적 환경 위에 중첩된 가상 객체들을 인지한다. 본 명세서에 사용되는 바와 같이, 불투명 디스플레이 상에 도시되는 물리적 환경의 비디오는 "패스-스루 비디오"로 불리는데, 이는 시스템이 하나 이상의 이미지 센서(들)를 사용하여 물리적 환경의 이미지들을 캡처하고, AR 환경을 불투명 디스플레이 상에 제시할 시에 이들 이미지들을 사용하는 것을 의미한다. 추가로 대안적으로, 시스템은 가상 객체들을 물리적 환경에, 예를 들어, 홀로그램으로서 또는 물리적 표면 상에 투영하는 투영 시스템을 가질 수 있어서, 사람이 시스템을 사용하여 물리적 환경 위에 중첩된 가상 객체들을 인지하게 한다.
증강 현실 환경은 또한 물리적 환경의 표현이 컴퓨터-생성 감각 정보에 의해 변환되는 모사된 환경을 지칭한다. 예를 들어, 패스-스루 비디오를 제공할 시에, 시스템은 하나 이상의 센서 이미지들을 변환하여 이미징 센서들에 의해 캡처된 관점과 상이한 선택 관점(예를 들어, 시점)을 부과할 수 있다. 다른 예로서, 물리적 환경의 표현은 그것의 일부분들을 그래픽적으로 수정(예를 들어, 확대)함으로써 변환될 수 있어서, 수정된 일부분은 원래 캡처된 이미지들의 대표적인 버전일 수 있지만, 실사 버전은 아닐 수 있다. 추가적인 예로서, 물리적 환경의 표현은 그것들의 일부분들을 그래픽적으로 제거하거나 또는 흐리게 함으로써 변환될 수 있다.
증강 가상(AV) 환경은 가상 또는 컴퓨터 생성 환경이 물리적 환경으로부터의 하나 이상의 감각 입력들을 포함하는 모사된 환경을 지칭한다. 감각 입력들은 물리적 환경의 하나 이상의 특성들의 표현들일 수 있다. 예를 들어, AV 공원은 가상 나무들 및 가상 빌딩들을 가질 수 있지만, 사람들의 얼굴들은 물리적 사람들을 찍은 이미지들로부터 실사처럼 재현될 수 있다. 다른 예로서, 가상 객체는 하나 이상의 이미징 센서들에 의해 이미징되는 물리적 물품의 형상 또는 색상을 채용할 수 있다. 추가적인 예로서, 가상 객체는 물리적 환경에서 태양의 위치에 부합하는 그림자들을 채용할 수 있다.
사람이 다양한 CGR 환경들을 느끼고 그리고/또는 그들과 상호작용할 수 있게 하는 많은 상이한 유형들의 전자 시스템들이 존재한다. 예들은 헤드 장착형 시스템들, 투영-기반 시스템들, 헤드-업(head-up) 디스플레이(HUD)들, 디스플레이 기능이 통합된 차량 앞유리들, 디스플레이 기능이 통합된 창문들, 사람의 눈들에 배치되도록 설계된 렌즈들로서 형성된 디스플레이들(예를 들어, 콘택트 렌즈들과 유사함), 헤드폰들/이어폰들, 스피커 어레이들, 입력 시스템들(예를 들어, 햅틱 피드백이 있거나 또는 없는 웨어러블 또는 핸드헬드 제어기들), 스마트폰들, 태블릿들, 및 데스크톱/랩톱 컴퓨터들을 포함한다. 헤드 장착형 시스템은 하나 이상의 스피커(들) 및 통합 불투명 디스플레이를 가질 수 있다. 대안적으로, 헤드 장착형 시스템은 외부 불투명 디스플레이(예를 들어, 스마트폰)를 수용하도록 구성될 수 있다. 헤드 장착형 시스템은 물리적 환경의 이미지들 또는 비디오를 캡처하기 위한 하나 이상의 이미징 센서들, 및/또는 물리적 환경의 오디오를 캡처하기 위한 하나 이상의 마이크로폰들을 포함할 수 있다. 헤드 장착형 시스템은 불투명 디스플레이보다는, 투명 또는 반투명 디스플레이를 가질 수 있다. 투명 또는 반투명 디스플레이는 이미지들을 표현하는 광이 사람의 눈들로 지향되는 매체를 가질 수 있다. 디스플레이는 디지털 광 프로젝션, OLED들, LED들, uLED들, 실리콘 액정 표시장치, 레이저 스캐닝 광원, 또는 이들 기술들의 임의의 조합을 이용할 수 있다. 매체는 광학 도파관, 홀로그램 매체, 광학 조합기, 광학 반사기, 또는 이들의 임의의 조합일 수 있다. 일 실시예에서, 투명 또는 반투명 디스플레이는 선택적으로 불투명하게 되도록 구성될 수 있다. 투영-기반 시스템들은 그래픽 이미지들을 사람의 망막 상에 투영하는 망막 투영 기술을 이용할 수 있다. 투영 시스템들은 또한 가상 객체들을 물리적 환경에, 예를 들어, 홀로그램으로서 또는 물리적 표면 상에 투영하도록 구성될 수 있다.
도 1a 및 도 1b는 가상 현실 및 혼합 현실을 포함하는, 다양한 컴퓨터-생성 현실 기술들에 사용하기 위한 예시적인 시스템(100)을 도시한다.
일부 실시예들에서, 도 1a에 도시된 바와 같이, 시스템(100)은 디바이스(100a)를 포함한다. 디바이스(100a)는 다양한 컴포넌트들, 예컨대, 프로세서(들)(102), RF 회로부(들)(104), 메모리(들)(106), 이미지 센서(들)(108), 배향 센서(들)(110), 마이크로폰(들)(112), 위치 센서(들)(116), 스피커(들)(118), 디스플레이(들)(120), 및 터치-감응형 표면(들)(122)을 포함한다. 이러한 컴포넌트들은 옵션적으로 디바이스(100a)의 통신 버스(들)(150)를 통해 통신한다.
일부 실시예들에서, 시스템(100)의 구성요소들이 기지국 디바이스(예컨대, 원격 서버, 모바일 디바이스, 또는 랩톱과 같은 컴퓨팅 디바이스)에서 구현되고, 시스템(100)의 다른 구성요소들이 사용자에 의해 착용되도록 설계된 헤드-마운트 디스플레이(HMD) 디바이스에 구현되며, HMD 디바이스는 기지국 디바이스와 통신한다. 일부 실시예들에서, 디바이스(100a)는 기지국 디바이스 또는 HMD 디바이스에서 구현된다.
도 1b에 도시된 바와 같이, 일부 실시예들에서, 시스템(100)은, 예컨대, 유선 연결 또는 무선 연결을 통해 통신하는 2 개의(또는 그 이상의) 디바이스들을 포함한다. 제1 디바이스(100b)(예컨대, 기지국 디바이스)는 프로세서(들)(102), RF 회로부(들)(104), 및 메모리(들)(106)를 포함한다. 이러한 컴포넌트들은 옵션적으로 디바이스(100b)의 통신 버스(들)(150)를 통해 통신한다. 제2 디바이스(100c)(예컨대, 헤드-마운트 디바이스)는 다양한 컴포넌트들, 예컨대, 프로세서(들)(102), RF 회로부(들)(104), 메모리(들)(106), 이미지 센서(들)(108), 배향 센서(들)(110), 마이크로폰(들)(112), 위치 센서(들)(116), 스피커(들)(118), 디스플레이(들)(120), 및 터치-감응형 표면(들)(122)을 포함한다. 이러한 컴포넌트들은 옵션적으로 디바이스(100c)의 통신 버스(들)(150)를 통해 통신한다.
일부 실시예들에서, 시스템(100)은 도 1c 내지 도 1e에서 디바이스(100a)에 관하여 기술되는 실시예들과 같은, 모바일 디바이스이다. 일부 실시예들에서, 시스템(100)은 도 1f 내지 도 1h에서 디바이스(100a)에 관하여 기술되는 실시예들과 같은, 헤드-마운트 디스플레이(HMD) 디바이스이다. 일부 실시예들에서, 시스템(100)은 도 1i에서 디바이스(100a)에 관하여 기술되는 실시예들과 같은, 웨어러블 HUD 디바이스이다.
시스템(100)은 프로세서(들)(102) 및 메모리(들)(106)를 포함한다. 프로세서(들)(102)는 하나 이상의 일반 프로세서들, 하나 이상의 그래픽 프로세서들, 및/또는 하나 이상의 디지털 신호 프로세서들을 포함한다. 일부 실시예들에서, 메모리(들)(106)는 아래에 기재된 기술들을 수행하기 위하여 프로세서(들)(102)에 의해 실행되도록 구성된 컴퓨터-판독가능 명령어들을 저장하는 하나 이상의 비일시적 컴퓨터-판독가능 저장 매체들(예컨대, 플래시 메모리, 랜덤 액세스 메모리)이다.
시스템(100)은 RF 회로부(들)(104)를 포함한다. RF 회로부(들)(104)는 옵션적으로 전자 디바이스들과 통신하기 위한 회로부, 인터넷, 인트라넷과 같은 네트워크들, 및/또는 셀룰러 네트워크들 및 무선 로컬 영역 네트워크들(LAN)과 같은 무선 네트워크를 포함한다. RF 회로부(들)(104)는 옵션적으로 블루투스®와 같은 근거리 통신 및/또는 단거리 통신을 이용하여 통신하기 위한 회로부를 포함한다.
시스템(100)은 디스플레이(들)(120)를 포함한다. 일부 실시예들에서, 디스플레이(들)(120)는 제1 디스플레이(예컨대, 좌안 디스플레이 패널) 및 제2 디스플레이(예컨대, 우안 디스플레이 패널)를 포함하며, 각각의 디스플레이는 사용자의 각각의 눈에 이미지들을 디스플레이한다. 대응하는 이미지들은 제1 디스플레이 및 제2 디스플레이 상에 동시에 디스플레이된다. 옵션적으로, 대응하는 이미지들은 상이한 시점들로부터의 동일한 물리적 객체들의 동일한 가상 객체들 및/또는 표현들을 포함하여, 사용자에게 디스플레이들 상의 객체들의 깊이의 착각을 일으키는 시차 효과를 야기한다. 일부 실시예들에서, 디스플레이(들)(120)는 단일 디스플레이를 포함한다. 대응하는 이미지들은 사용자의 각각의 눈에 대하여 단일 디스플레이의 제1 영역 및 제2 영역 상에 동시에 디스플레이된다. 옵션적으로, 대응하는 이미지들은 상이한 시점들로부터의 동일한 물리적 객체들의 동일한 가상 객체들 및/또는 표현들을 포함하여, 사용자에게 단일 디스플레이 상의 객체들의 깊이의 착각을 일으키는 시차 효과를 야기한다.
일부 실시예들에서, 시스템(100)은 탭 입력 및 스와이프 입력과 같은 사용자 입력들을 수신하기 위한 터치-감응형 표면(들)(122)을 포함한다. 일부 실시예들에서, 디스플레이(들)(120) 및 터치-감응형 표면(들)(122)은 터치-감응형 디스플레이(들)를 포함한다.
시스템(100)은 이미지 센서(들)(108)를 포함한다. 이미지 센서(들)(108)는 옵션적으로 실제 환경으로부터 물리적 객체들의 이미지들을 획득하도록 동작가능한 전하 결합 소자(CCD) 센서들, 및/또는 상보성 금속-산화물-반도체(CMOS) 센서들과 같은 하나 이상의 가시광 이미지 센서를 포함한다. 이미지 센서(들)는 또한 옵션적으로 실제 환경으로부터 적외선 광을 검출하기 위한 수동형 IR 센서 또는 능동형 IR 센서와 같은 하나 이상의 적외선(IR) 센서(들)를 포함한다. 예를 들어, 능동형 IR 센서는 적외선 광을 실제 환경으로 방출하기 위한 IR 도트 방출기와 같은 IR 방출기를 포함한다. 이미지 센서(들)(108)는 또한 옵션적으로 실제 환경에서 물리적 객체들의 움직임을 포착하도록 구성된 하나 이상의 이벤트 카메라(들)를 포함한다. 이미지 센서(들)(108)는 또한 옵션적으로 시스템(100)으로부터 물리적 객체들의 거리를 검출하도록 구성된 하나 이상의 깊이 센서(들)를 포함한다. 일부 실시예들에서, 시스템(100)은 CCD 센서, 이벤트 카메라, 및 깊이 센서를 조합하여 사용하여 시스템(100) 주위의 물리적 환경을 검출한다. 일부 실시예들에서, 이미지 센서(들)(108)는 제1 이미지 센서 및 제2 이미지 센서를 포함한다. 제1 이미지 센서 및 제2 이미지 센서는 옵션적으로 2 개의 별개의 시야로부터 실제 환경에서의 물리적 객체들의 이미지들을 캡처하도록 구성된다. 일부 실시예들에서, 시스템(100)은 이미지 센서(들)(108)를 사용하여 손 제스처들과 같은 사용자 입력들을 수신한다. 일부 실시예들에서, 시스템(100)은 이미지 센서(들)(108)를 사용하여 실제 환경에서의 시스템(100) 및/또는 디스플레이(들)(120)의 위치 및 배향을 검출한다. 예를 들어, 시스템(100)은 이미지 센서(들)(108)를 사용하여 실제 환경에서의 하나 이상의 고정된 객체들에 대한 디스플레이(들)(120)의 위치 및 배향을 추적한다.
일부 실시예들에서, 시스템(100)은 마이크로폰(들)(112)을 포함한다. 시스템(100)은 마이크로폰(들)(112)을 사용하여 사용자 및/또는 사용자의 실제 환경으로부터의 소리를 검출한다. 일부 실시예들에서, 마이크로폰(들)(112)은, 예컨대, 주변 소음을 식별하거나 또는 실제 환경의 공간에서 음원을 위치파악하기 위하여 옵션적으로 나란히 동작하는 마이크로폰들의 어레이(복수의 마이크로폰들을 포함)를 포함한다.
시스템(100)은 시스템(100) 및/또는 디스플레이(들)(120)의 배향 및/또는 이동을 검출하기 위하여 배향 센서(들)(110)를 포함한다. 예를 들어, 시스템(100)은 배향 센서(들)(110)를 사용하여, 예컨대, 실제 환경에서의 물리적 객체들에 대한 시스템(100) 및/또는 디스플레이(들)(120)의 위치 및/또는 배향의 변화를 추적한다. 배향 센서(들)(110)는 옵션적으로 하나 이상의 자이로스코프들 및/또는 하나 이상의 가속도계들을 포함한다.
도 1c 내지 도 1e는 디바이스(100a)의 형태의 시스템(100)의 실시예들을 도시한다. 도 1c 내지 도 1e에서, 디바이스(100a)는 셀룰러 폰과 같은 모바일 디바이스이다. 도 1c는 디바이스(100a)가 가상 현실 기술을 수행하는 것을 도시한다. 디바이스(100a)는, 디스플레이(120) 상에, 태양(160a), 새들(160b), 및 해변(160c)과 같은 가상 객체들을 포함하는 가상 환경(160)을 디스플레이하고 있다. 가상 환경(160)의 디스플레이되는 가상 환경(160) 및 가상 객체들(예컨대, 160a, 160b, 160c)은 모두 컴퓨터-생성 이미지이다. 주의할 점은 도 1c에 도시되는 가상 현실 환경은, 실제 환경(180)의 이러한 구성요소들이 디바이스(100a)의 이미지 센서(들)(108)의 시야 내에 있더라도, 물리적 사람(180a) 및 물리적 나무(180b)와 같은 실제 환경(180)의 물리적 객체들의 표현들을 포함하지 않는다는 것이다.
도 1d는 디바이스(100a)가 패스-스루 비디오를 이용하여 혼합 현실 기술, 및 특히 증강 현실 기술을 수행하는 것을 도시한다. 디바이스(100a)는, 디스플레이(120) 상에, 가상 객체들과 함께 실제 환경(180)의 표현(170)을 디스플레이하고 있다. 실제 환경(180)의 표현(170)은 사람(180a)의 표현(170a) 및 나무(180b)의 표현(170b)을 포함한다. 예를 들어, 디바이스는 디스플레이(120) 상에서 디스플레이하기 위하여 패스-스루되는 실제 환경(180)의 이미지들을 캡처하는 이미지 센서(들)(108)를 사용한다. 디바이스(100a)는 디바이스(100a)에 의해 생성되는 가상 객체인, 모자(160d)를 사람(180a)의 표현(170a)의 머리 위에 오버레이한다. 디바이스(100a)는 디바이스(100a)의 위치 및/또는 배향에 대한 물리적 객체들의 위치 및/또는 배향을 추적하여, 가상 객체들이 증강 현실 환경에서 실제 환경의 물리적 객체들과 상호작용하게 한다. 이 실시예에서, 디바이스(100a)는 디바이스(100a)와 사람(180a)이 서로에 대하여 이동할 때에도, 디바이스(100a) 및 사람(180a)의 움직임을 고려하여 모자(160d)가 사람(180a)의 표현(170a)의 머리 위에 있는 것처럼 디스플레이한다.
도 1e는 디바이스(100a)가 혼합 현실 기술, 및 특히 증강 가상 기술을 수행하는 것을 도시한다. 디바이스(100a)는, 디스플레이(120) 상에, 물리적 객체들의 표현들과 함께 가상 환경(160)을 디스플레이하고 있다. 가상 환경(160)은 가상 객체들(예컨대, 태양(160a), 새들(160b)) 및 사람(180a)의 표현(170a)을 포함한다. 예를 들어, 디바이스(100a)는 이미지 센서(들)(108)을 사용하여 실제 환경(180)에서의 사람(180a)의 이미지들을 캡처한다. 디바이스(100a)는 디스플레이(120) 상의 디스플레이를 위하여 가상 환경(160)에 사람(180a)의 표현(170a)을 배치한다. 디바이스(100a)는 옵션적으로 디바이스(100a)의 위치 및/또는 배향에 대한 물리적 객체들의 위치 및/또는 배향을 추적하여 가상 객체들이 실제 환경(180)의 물리적 객체들과 상호작용하게 한다. 이 실시예에서, 디바이스(100a)는 디바이스(100a) 및 사람(180a)의 움직임을 고려하여 모자(160d)가 사람(180a)의 표현(170a)의 머리 위에 있는 것처럼 디스플레이한다. 특히, 이 실시예에서, 디바이스(100a)는 혼합 현실 기술을 수행함에 있어서 나무(180b)도 또한 디바이스(100a)의 이미지 센서(들)의 시야에 있더라도 나무(180b)의 표현을 디스플레이하지 않는다.
도 1f 내지 도 1h는 디바이스(100a)의 형태의 시스템(100)의 실시예들을 도시한다. 도 1f 내지 도 1h에서, 디바이스(100a)는 사용자의 머리에 착용되도록 구성된 HMD 디바이스이고, 사용자의 각각의 눈은 해당 디스플레이(120a, 120b)를 보게 된다. 도 1f는 디바이스(100a)가 가상 현실 기술을 수행하는 것을 도시한다. 디바이스(100a)는, 디스플레이들(120a, 120b) 상에, 태양(160a), 새들(160b), 및 해변(160c)과 같은 가상 객체들을 포함하는 가상 환경(160)을 디스플레이하고 있다. 디스플레이되는 가상 환경(160) 및 가상 객체들(예컨대, 160a, 160b, 160c)은 컴퓨터-생성 이미지이다. 이 실시예에서, 디바이스(100a)는 디스플레이(120a) 및 디스플레이(120b) 상에 대응하는 이미지들을 동시에 디스플레이한다. 대응하는 이미지들은 상이한 시점들로부터의 동일한 가상 환경(160) 및 가상 객체들(예컨대, 160a, 160b, 160c)을 포함하여, 사용자에게 디스플레이들 상의 객체들의 깊이의 착각을 일으키는 시차 효과를 야기한다. 주의할 점은, 도 1f에 도시된 가상 현실 환경은 가상 현실 기술을 수행함에 있어서, 사람(180a) 및 나무(180b)가 디바이스(100a)의 이미지 센서(들)의 시야 내에 있더라도, 사람(180a) 및 나무(180b)와 같은 실제 환경의 물리적 객체들의 표현들을 포함하지 않는다는 것이다.
도 1g는 디바이스(100a)가 패스-스루 비디오를 이용하여 증강 현실 기술을 수행하는 것을 도시한다. 디바이스(100a)는, 디스플레이들(120a, 120b) 상에, 가상 객체들과 함께 실제 환경(180)의 표현(170)을 디스플레이하고 있다. 실제 환경(180)의 표현(170)은 사람(180a)의 표현(170a) 및 나무(180b)의 표현(170b)을 포함한다. 예를 들어, 디바이스(100a)는 디스플레이(120a, 120b) 상에서 디스플레이하기 위하여 패스-스루되는 실제 환경(180)의 이미지들을 캡처하는 이미지 센서(들)(108)를 사용한다. 디바이스(100a)는 디스플레이들(120a, 120b)의 각각에 디스플레이하기 위하여 사람(180a)의 표현(170a)의 머리 상에 컴퓨터-생성 모자(160d)(가상 객체)를 오버레이하고 있다. 디바이스(100a)는 디바이스(100a)의 위치 및/또는 배향에 대한 물리적 객체들의 위치 및/또는 배향을 추적하여 가상 객체들이 실제 환경(180)의 물리적 객체들과 상호작용하게 한다. 이 실시예에서, 디바이스(100a)는 디바이스(100a) 및 사람(180a)의 움직임을 고려하여 모자(160d)가 사람(180a)의 표현(170a)의 머리 위에 있는 것처럼 디스플레이한다.
도 1h는 디바이스(100a)가 패스-스루 비디오를 이용하여 혼합 현실 기술, 및 특히 증강 가상 기술을 수행하는 것을 도시한다. 디바이스(100a)는, 디스플레이들(120a, 120b) 상에, 물리적 객체들의 표현들과 함께 가상 환경(160)을 디스플레이하고 있다. 가상 환경(160)은 가상 객체들(예컨대, 태양(160a), 새들(160b)) 및 사람(180a)의 표현(170a)을 포함한다. 예를 들어, 디바이스(100a)는 이미지 센서(들)(108)을 사용하여 사람(180a)의 이미지들을 캡처한다. 디바이스(100a)는 디스플레이들(120a, 120b) 상의 디스플레이를 위하여 가상 환경에서 사람(180a)의 표현(170a)을 배치한다. 디바이스(100a)는 옵션적으로 디바이스(100a)의 위치 및/또는 배향에 대한 물리적 객체들의 위치 및/또는 배향을 추적하여 가상 객체들이 실제 환경(180)의 물리적 객체들과 상호작용하게 한다. 이 실시예에서, 디바이스(100a)는 디바이스(100a) 및 사람(180a)의 움직임을 고려하여 모자(160d)가 사람(180a)의 표현(170a)의 머리 위에 있는 것처럼 디스플레이한다. 특히, 이 실시예에서, 디바이스(100a)는 혼합 현실 기술을 수행함에 있어서 나무(180b)도 또한 디바이스(100a)의 이미지 센서(들)(108)의 시야에 있더라도 나무(180b)의 표현을 디스플레이하지 않는다.
도 1i는 디바이스(100a)의 형태의 시스템(100)의 실시예를 도시한다. 도 1i에서, 디바이스(100a)는 사용자의 머리에 착용되도록 구성된 HUD 디바이스(예컨대, 안경 디바이스)이고, 사용자의 각각의 눈은 해당 헤드-업 디스플레이(120c, 120d)를 보게 된다. 도 1i는 디바이스(100a)가 헤드-업 디스플레이들(120c, 120d)을 이용하여 증강 현실 기술을 수행하는 것을 도시한다. 헤드-업 디스플레이들(120c, 120d)은 (적어도 부분적으로) 투명 디스플레이여서, 사용자가 헤드-업 디스플레이들(120c, 120d)과 조합하여 실제 환경(180)을 볼 수 있게 한다. 디바이스(100a)는, 헤드-업 디스플레이들(120c, 120d)의 각각에서, 가상 모자(160d)(가상 객체)를 디스플레이하고 있다. 디바이스(100a)는 디바이스(100a)의 위치 및/또는 배향에 관하여 그리고 사용자의 눈들에 관하여 실제 환경에서의 물리적 객체들의 위치 및/또는 배향을 추적하여 가상 객체들이 실제 환경(180)의 물리적 객체들과 상호작용할 수 있게 한다. 이 실시예에서, 디바이스(100a)는 디바이스(100a)의 움직임, 디바이스(100a)에 대한 사용자의 눈들의 움직임, 및 사람(180a)의 움직임을 고려하여 사용자에게 모자(160d)가 사람(180a)의 머리 위에 있는 것처럼 보이는 디스플레이들(120c, 120d) 상의 위치에 모자(160d)를 디스플레이한다.
이제 도 2 내지 도 15를 참조하여, 눈의 시선을 이용하여 전자 디바이스와 상호작용하는 예시적인 기술들이 기술된다.
도 2는 사용자(200)의 시선이 객체(210)에 포커싱되는 사용자(200)의 평면도를 도시한다. 사용자의 시선은 사용자의 눈들의 각각의 시각적 축들에 의해 한정된다. 시각적 축들의 방향은 사용자의 시선 방향을 정의하고, 축들이 수렴하는 거리는 시선 깊이를 정의한다. 시선 방향은 시선 벡터 또는 가시선(line-of-sight)으로 지칭될 수 있다. 도 2에서, 시선 방향은 객체(210)의 방향이고, 시선 깊이는 사용자에 대한 거리(D)이다.
일부 실시예들에서, 사용자의 각막의 중심, 사용자의 동공의 중심, 및/또는 사용자의 안구의 회전의 중심을 결정하여 사용자의 눈의 시각적 축의 위치를 결정하고, 그럼으로써 사용자의 시선 방향 및/또는 시선 깊이를 결정하는 데 사용될 수 있다. 일부 실시예들에서, 시선 깊이는 사용자의 눈들의 시각적 축들의 수렴점(또는 사용자의 눈들의 시각적 축들 사이의 최소 거리의 위치) 또는 사용자의 눈(들)의 초점의 일부 다른 측정에 기초하여 결정된다. 옵션적으로, 시선 깊이는 사용자의 눈들이 포커싱되는 거리를 추정하는 데 사용된다.
도 2에서, 광선들(201A, 201B)이사용자(200)의 좌안 및 우안의 시각적 축들을 따라 각각 캐스팅되고, 옵션적으로 광선 캐스팅으로 지칭되는 것에서의 사용자의 시선 방향 및/또는 시선 깊이를 결정하는 데 사용된다. 도 2는 또한 각각 각크기(203A, 203B)를 갖는 원추들(202A, 202B)을 도시한다. 원추들(202A, 202B)은 또한 사용자(200)의 좌안 및 우안의 시각적 축들을 따라 각각 캐스팅되고, 옵션적으로 원추 캐스팅으로 지칭되는 것에서의 사용자의 시선 방향 및/또는 시선 깊이를 결정하는 데 사용된다. 시선 방향 및 시선 깊이는 종종 눈의 모션, 센서 모션, 샘플링 주파수, 센서 지연, 센서 해상도, 센서 오정렬 등과 같은 원인들로 인해, 절대적인 정확도 또는 정밀도로 결정될 수는 없다. 따라서, 일부 실시예들에서, 각도 해상도 또는 (추정된) 각도 오차는 시선 방향과 연관된다. 일부 실시예들에서, 깊이 해상도가 시선 깊이와 연관된다. 옵션적으로, 원추(들)의 각크기(예컨대, 원추들(202a, 202B)의 각각의 각크기(203A, 203B))는 사용자의 시선 방향의 각도 해상도를 나타낸다.
도 3은 디스플레이(302)를 구비한 전자 디바이스(300)를 도시한다. 전자 디바이스(300)는 가상 객체(306)를 포함하는 가상 환경(304)을 디스플레이한다. 일부 실시예들에서, 환경(304)은 CGR 환경(예컨대, VR 또는 MR 환경)이다. 도시된 실시예에서, 객체(306)는 사용자(200)가 시신을 이용하여 상호작용할 수 있는 어포던스이다. 일부 실시예들에서, 어포던스(306)는 물리적 객체(예컨대, 어포던스(306)와의 상호작용을 통해 제어될 수 있는 기기 또는 기타 디바이스)와 연관된다. 도 3은 또한 사용자(200)의 시선 방향을 나타내는, 사용자(200) 위에서 본 모습을 나타낸다. 사용자의 눈들의 각각의 시각적 축들은 가상 환경(304)의 디스플레이되는 표현의 평면 상에 외삽되며, 이는 디바이스(300)의 디스플레이(302)의 평면에 대응한다. 스팟(308)은 디스플레이(302) 상의 사용자(200)의 시선 방향을 나타낸다.
도 3에 도시된 바와 같이, 사용자(200)의 시선 방향은 어포던스(306)의 방향에 대응한다. 용어 "어포던스"는 사용자가 상호작용할 수 있는 그래픽 사용자 인터페이스 객체를 지칭한다. 어포던스들의 예는 사용자-상호작용 이미지들(예컨대, 아이콘), 버튼, 및 텍스트(예컨대, 하이퍼링크)를 포함한다. 전자 디바이스(300)는 사용자(200)의 시선 방향을 결정하도록 구성된다. 디바이스(300)는 사용자를 향해 지향되는 센서로부터 데이터를 캡처하고 센서로부터 캡처된 데이터에 기초하여 시선 방향을 결정한다. 도 9 내지 도 12에 관하여 아래 기술되는 실시예와 같은, 장면(300)의 3차원 표현이 나타나는 일부 실시예들에서, 디바이스(300)는 또한 (또는 대안적으로) 시선 깊이 및 시선 깊이가 어포던스(306)에 대응하는지 여부를 결정한다. 옵션적으로, 시선 깊이가 어포던스의 깊이에 대응하는지 여부를 결정하는 것은 적어도 부분적으로 시선 깊이의 깊이 해상도에 기초한다.
도시된 실시예에서, 디바이스(300)는 이미지 센서(310)를 포함하는데, 이는 사용자(200)를 향해 지향되고 사용자(200)의 눈들의 이미지 데이터를 캡처한다. 일부 실시예들에서, 디바이스(300)는 시간 경과에 따른 검출된 광의 세기의 변화에 기초하여 사용자(예컨대, 사용자의 눈들)로부터 이벤트 데이터를 검출하고 이벤트 데이터를 이용하여 시선 방향 및/또는 시선 깊이를 결정하는 이벤트 카메라를 포함한다. 옵션적으로, 디바이스(300) (예컨대, 이미지 데이터 및 이벤트 데이터를 캡처하도록 구성된 이미지 센서 및 별도의 이벤트 카메라 또는 센서로부터의) 이미지 데이터 및 이벤트 데이터 둘 모두를 이용하여 시선 방향 및/또는 시선 깊이를 결정한다. 옵션적으로, 디바이스(300)는 광선 캐스팅 및/또는 원추 캐스팅을 이용하여 시선 방향 및/또는 시선 깊이를 결정한다.
시선 방향에 기초하여, 디바이스(300)는 시선 방향이 어포던스(306)에 대응한다고 결정하는데, 그 이유는 시선 방향이 어포던스(306)와 동일한 방향이기 때문이다(예컨대, 사용자(200)의 눈들로부터 캐스팅된 광선들 또는 원추들이 적어도 부분적으로 어포던스(306)와 교차하거나 또는 어포던스(306)의 오차 마진 내에 있음). 옵션적으로, 시선 방향이 어포던스(306)에 대응한다고 결정하는 것은 적어도 부분적으로 시선 방향의 각도 해상도에 기초한다. 장면의 3차원 표현이 나타나는 일부 실시예들에서, 디바이스(300)는 또한 (또는 대안적으로) 시선 깊이가 어포던스(306)의 깊이에 대응하는지 여부를 결정한다. 옵션적으로, 시선 깊이가 어포던스의 깊이에 대응하는지 여부를 결정하는 것은 적어도 부분적으로 시선 깊이의 깊이 해상도에 기초한다. 옵션적으로, 어포던스(306)는 또한 시선 깊이에 (또는 시선 깊이의 깊이 해상도에 기초하는 깊이 범위 내에) 위치한다.
일부 실시예들에서, 시선 방향 및/또는 시선 깊이는 시선 방향 및/또는 시선 깊이가 더 이상 어포던스와 중첩되지 않는 후에도 어포던스에 대한 시선에 계속해서 대응한다고 결정된다(예컨대, 시선 방향 및/또는 시선 깊이가 초기에 어포던스에 대한 시선에 대응한다고 결정되면, 시선 방향 및/또는 시선 깊이는 적어도 사전결정된 길이의 시간 동안 또는 사용자가 어포던스로부터 멀리 쳐다본 후 사전결정된 길이의 시간 동안 어포던스에 대한 시선에 대응한다고 간주됨).
시선 방향이 어포던스(306)에 대한 시선에 대응한다고 결정되는 동안, 디바이스(300)는 제1 객체에 대응하는 어포던스 상에서 행동을 취하기 위한 명령을 나타내는 입력("확인 행동"으로 지칭됨)을 수신한다. 예를 들어, 확인 행동은 사용자(200)가 어포던스(306)를 보고 있다고 결정되는 동안 수신된다.
확인 행동을 수신하는 것에 응답하여, 디바이스(300)는 어포던스(306)를 선택한다. 즉, 어포던스(306)는 사용자가 어포던스(306)를 보는 것과 확인 행동을 제공하는 것의 조합에 응답하여 선택된다. 확인 행동은 허위 양성(예컨대, 사용자(200)가 어포던스(306)를 선택하거나 그 위에 행동하기를 원한다고 디바이스(300)가 부정확하게 결정하는 것)을 방지하는 데 유익하다. 확인 행동의 비제한적인 예들은 눈의 제스처, 신체 제스처, 음성 입력, 제어기 입력, 또는 이들의 조합을 포함한다.
눈의 제스처의 예들은 한번의 깜빡임, 여러번 깜빡임, 사전결정된 횟수의 깜빡임, 사전결정된 길이의 시간 내의 사전결정된 횟수의 깜빡임, 사전결정된 지속시간의 깜빡임(예컨대, 1 초 동안 눈 감기), 깜빡임 패턴(예컨대, 한 번의 느린 깜빡임 뒤에 두 번의 빠른 깜빡임), 윙크, 특정 눈으로 윙크, 윙크 패턴(예컨대, 좌측, 우측, 좌측, 각각 특정 지속시간), 사전결정된 눈의 모션(예컨대, 빠르게 올려 보기), "길게" 보기 또는 응시(예컨대, 어포던스(306)의 방향으로 (또는 어포던스(306)에 대응하는 방향으로) 사전결정된 길이의 시간 동안 시선 방향을 계속해서 유지하기), 또는 일부 다른 사전결정된 기준을 충족하는 눈의 모션을 포함한다.
손 제스처의 예들은 어포던스(306)의 위치에 대응하는 위치(예컨대, 사용자와 어포던스(306)의 디스플레이 사이)에 손을 배치, 손 흔들기, (예컨대, 어포던스(306)를) 가리키는 모션, 또는 사전정의된 모션 패턴을 갖는 제스처를 포함한다. 일부 실시예들에서, 손 제스처 확인 행동은 손 제스처의 위치에 따라 달라진다(예컨대, 손 제스처는 특정 위치에 있어야 함). 일부 실시예들에서, 손 제스처 확인 행동은 손 제스처의 위치에 따라 달라지지 않는다(예컨대, 손 제스처는 위치-독립적임).
음성 입력의 예는 음성 명령(예컨대, "그거 집어 올려" 또는 "라이트 켜")을 포함한다. 일부 실시예들에서, 음성 입력은 명시적으로 어포던스(306)와 연관된 객체를 식별한다(예컨대, "박스를 선택"). 일부 실시예들에서, 음성 입력은 어포던스와 연관된 객체를 명시적으로 식별하고, 대신에 달리 불분명한 대명사를 사용하여 객체를 지칭한다(예컨대, "그거 잡아").
제어기 입력에 관하여, 일부 실시예들에서, 디바이스(300)는, 예를 들어, 버튼, 트리거, 조이스틱, 스크롤 휠, 노브, 키보드, 또는 터치-감응형 표면(예컨대, 터치패드 또는 터치-감응형 디스플레이)을 통해 입력들을 수신하도록 구성된 제어기와 통신한다. 일부 실시예들에서, 제어기 및 디바이스(300)는 무선으로 또는 유선 연결을 통해 연결된다. 제어기 입력의 예들은 버튼 누르기, 트리거 당기기, 조이스틱 움직임, 스크롤 휠 회전, 노브 회전, 키보드 상의 버튼 누르기, 또는 터치-감응형 표면 상의 접촉 또는 제스처(예컨대, 탭 또는 스와이프)를 포함한다.
일부 실시예들에서, 어포던스(306)를 선택하는 것은 어포던스(306) 상에 포커스를 맞추는 것을 포함한다. 옵션적으로, 디바이스(300)는 어포던스(306)가 선택되었다는 표시를 제공한다. 일부 실시예들에서, 표시는 오디오 출력(예컨대, 삐 소리), 시각적 표시(예컨대, 선택된 어포던스에 테두리를 그리거나 또는 하이라이트함), 또는 햅틱 출력을 포함한다. 옵션적으로, 어포던스(306)는 사전결정된 길이의 시간 동안 선택된 상태를 유지한다(예컨대, 사전결정된 길이의 시간 동안 어포던스(306) 상에 포커스가 유지됨). 옵션적으로, 어포던스(306)는 선택해제 입력이 수신될 때까지 선택된 상태를 유지한다. 일부 실시예들에서, 선택해제 입력은 확인 행동과 동일한 입력이다. 일부 실시예들에서, 선택해제 입력은 확인 행동과 상이한 입력이다. 일부 실시예들에서, 선택해제 입력은 본 명세서에 기술된 예시적인 입력들과 같은, 눈의 제스처, 신체 제스처, 음성 입력, 제어기 입력, 또는 이들의 조합 또는 일부분을 포함한다.
일부 실시예들에서, 어포던스(306)는 어포던스(306)와 연관된 행동(또는 그것과 연관되는 객체)이 수행될 때까지 선택된 상태를 유지한다. 도 4는 어포던스(306) 상에서 수행되는 예시적인 행동을 도시한다. 어포던스(306)가 선택되어 있는 동안, 디바이스(300)는 입력(예컨대, 위에서 기술된 예시적인 입력들과 같은, 눈의 제스처, 신체 제스처, 음성 입력, 제어기 입력, 또는 이들의 조합 또는 일부분)을 수신한다. 도시된 예에서, 입력은 사용자의 시선 방향이 디스플레이(302) 상에서 위치(308)로부터 도 4에 도시된 위치(400)로 이동하도록 사용자(200)가 사용자의 눈들의 위치를 변경하는 것을 포함한다. 입력을 수신하는 것에 응답하여, 디바이스(300)는 입력에 따라 어포던스(306)와 연관된 행동을 수행한다. 일부 실시예들에서, 어포던스(306)와 연관된 행동이 디바이스(300)로 하여금 어포던스(306)를 선택하게 하는 입력에 응답하여 수행된다(예컨대, 어포던스(306)를 선택하는 것은 어포던스(306)와 연관된 행동을 수행하는 것을 포함함). 도 4에 도시된 예에서, 디바이스(300)는 사용자(200)의 시선 방향의 변화에 따라 어포던스(306)를 이동시키는데, 즉, 도 3에 도시된 어포던스(306)의 위치로부터 도 4에 도시된 위치로 어포던스(306)를 디스플레이(302) 상에서 위로 그리고 좌측으로 병진시킨다.
어포던스를 이동시키는 것뿐만 아니라, 예시적인 행동들은 어포던스 또는 어포던스와 연관된 객체의 표현을 변형(예컨대, 어포던스(306)의 돌리기, 비틀기, 늘리기, 압축하기, 확대하기, 및/또는 축소하기) 및 어포던스와 연관된 디바이스의 상태를 변경(예컨대, 램프를 온 또는 오프함)하는 것을 포함한다. 예를 들어, 일부 실시예들에서, 어포던스는 온도조절기와 연관된 가상 다이얼이다. 사용자가 가상 다이얼을 선택하고 이어서 온도조절기의 온도를 조절할 수 있다. 일부 실시예들에서, 어포던스의 위치(또는 이와 연관된 객체)의 일부 양태는 객체가 이동될 때 자동으로 결정된다. 예를 들어, 초기에 수평 표면 상에 편평하게 놓인 가상 그림 액자가 벽으로 이동되면, 액자는 벽에 대하여 편평하게 놓이도록 자동으로 수직 배향으로 회전된다.
이제 도 5를 참조하면, 가까이 이격된 객체들을 분별 및 선택하는 것과 관련된 기술들이 기재되어 있다. 도 5는 디바이스(300) 상에 디스플레이된 가상 환경(500)을 도시한다. 일부 실시예들에서, 환경(500)은 CGR 환경(예컨대, VR 또는 MR 환경)이다. 가상 환경(500)은 어포던스(502) 및 어포던스(504)를 포함하며, 각각은 가상 테이블(506)의 상부 상의 해당 박스와 연관되고 디스플레이(302) 상에 동시에 디스플레이된다. 파선으로 된 원은 디바이스(300)에 의해 결정되는 사용자(200)의 시선 방향(508)을 나타낸다. 원의 반경은 시선 방향(508)의 각도의 불확실성을 나타낸다. 도 5에 도시된 바와 같이, 시선 방향(508)은 어포던스(502) 및 어포던스(504) 둘 모두와 중첩되는데, 이는 사용자(200)가 어포던스들 중 하나에 관심이 있음을 나타낸다. 시선 방향(508)이 어포던스(502)를 향해 약간 더 지향되는 경우에도, 시선 방향(508)의 각도의 불확실성은 어포던스(502)와 어포던스(504) 사이의 각도 분리보다 크고, 이는 디바이스(300)가 시선 방향(508)이 어포던스(502) 및 어포던스(504) 중 특정한 것에 대응한다는 충분히 높은 수준의 신뢰도로 결정하는 것을 방지한다. 다시 말해서, 디바이스(300)는 어떤 어포던스를 사용자(200)가 선택하기를 원하는지 충분한 신뢰도를 갖고 분별할 수 없다. 대신, 디바이스(200)는 시선 방향(508)이 어포던스(502) 및 어포던스(504) 둘 모두에 대응한다고 결정한다. 장면의 3차원 표현이 나타나는 일부 실시예들에서, 어포던스들 사이의 깊이 분리는 시선 위치의 각도 해상도 또는 깊이 해상도보다 작을 수 있다.
시선 방향(508)이 어포던스(502) 및 어포던스(504) 둘 모두에 대응한다고 결정하는 것에 응답하여, 디바이스(300)는 어포던스(502) 및 어포던스(504)를 확대한다. 도 6은 확대(예컨대, 줌인)된 후의 어포던스(502) 및 어포던스(504)를 도시한다. 어포던스(502) 및 어포던스(504)는 그것들이 마치 테이블(506)의 상부로부터 이동되어 사용자(200)에 더 가까이 위치설정된 것처럼 보인다. 도 6에서, 어포던스(502) 및 어포던스(504)는 그것들의 상대적인 크기 및 위치는 동일하게 유지되도록 동일한 양만큼 확대된다(예컨대, 어포던스(502)는 계속해서 어포던스(504)의 앞에 있는 것처럼 보임). 어포던스(502) 및 어포던스(504)를 줌인하는 것은 어포던스(502) 및 어포던스(504)의 각크기를 증가시키고, 어포던스(502)와 어포던스(504) 사이의 각분리를 증가시킨다. 옵션적으로, 줌잉의 양은 어포던스들의 크기 및/또는 시선 방향의 해상도에 기초한다(예컨대, 어포던스(502) 및 어포던스(504)는 어포던스(504)가 사전결정된 최소 크기가 되도록 확대됨). 일부 실시예들에서, 어포던스(502) 및 어포던스(504)는 줌잉되어 디바이스(300)가 (사전결정된 수준의 신뢰도로) 어포던스 사용자(200)가 어떤 것에 포커싱하려고 시도하고 있는지 분별할 수 있도록 한다.
일부 실시예들에서, 어포던스(502) 및 어포던스(504)는 사용자(200)의 시선이 사전정의된 기준을 충족한다는 결정에 따라 확대된다(예컨대, 시선 방향(508)은 사전결정된 길이의 시간 동안 또는 사전정의된 윈도의 시간 내에 사전결정된 길이의 시간 동안(예컨대, 4 초 윈도 동안 3 초) 연속적으로 어포던스(502) 및 어포던스(504) 둘 모두에 대응함). 일부 실시예들에서, 시선 방향(508)이 어포던스(502) 및 어포던스(504) 둘 모두에 대응하는 동안, 어포던스(502) 및 어포던스(504)는 디바이스(300)가 입력(예컨대, 전술된 바와 같은 눈의 제스처, 손 제스처, 음성 입력, 또는 제어기 입력)을 수신하는 것에 응답하여 확대된다. 이러한 방식으로, 사용자(200)는 디바이스가 콘텐츠를 줌할 때 개선된 제어를 가질 수 있다. 또한, 이러한 방식으로, 디바이스(300)는 시선 모호성을 분별하기 위하여 줌잉 기능을 호출하는 경우들을 해상도가 필요한 경우로 감소 또는 제한함으로써, 사용자의 부담을 줄이고 사용자의 경험을 개선할 수 있다. 옵션적으로, 시선 방향에 대응하는 어포던스들은 입력에 따라 확대된다(예컨대, 길게 및/또는 세게 버튼 누르기는 짧게 및/또는 살짝 버튼 누르기보다 더 확대됨). 일부 실시예들에서, 어포던스들은 음성 명령(예컨대, "40% 줌인 해")에 따라 확대된다. 이를 통해, 사용자(200)는 줌잉에 대한 개선된 제어를 가질 수 있다.
어포던스(502) 및 어포던스(504)를 확대하는 것은 사용자(200)에게 개선된 어포던스들의 모습을 제공하고, 사용자(200)가 더 용이하고 신뢰성있게 어포던스들 중 하나를 선택하게 한다. 예를 들어, 도 6에 도시된 바와 같이, 어포던스(502) 및 어포던스(504)가 확대된 후에, 사용자(200)는 그는 어포던스(502)를 선택하기를 원한다고 결정하고, 시선 방향(510)의 그의 가시선을 어포던스(502) 상에 이동시킨다. 특히, 시선 방향(510)은 더 이상 어포던스(504)와 중첩되지 않는다. 따라서, 디바이스(300)는 (예컨대, 상대적으로 높은 정도의 신뢰도로) 시선 방향(510)이 어포던스(502)의 방향에 대응한다(그리고 어포던스(504)의 방향에 대응하지 않음)고 결정한다. 시선 방향(510)이 확대된 어포던스(502)의 방향에 대응한다고 결정되는 동안, 사용자(200)는 전술된 확인 행동들 중 하나와 같은 확인 행동으로 어포던스(502)를 선택한다. 옵션적으로, 디바이스(300)는 확대된 어포던스(502)를 선택하기 위한 사용자(200)에 의한 입력을 확인하는 것에 응답하여, 그리고 그에 따라 및/또는 어포던스(502)가 선택되어 있는 동안 추가적인 입력에 응답하여 어포던스(502)와 연관된 행동을 수행한다. 확대된 어포던스(502)를 선택하기 위한 사용자(200)에 의한 입력을 확인하는 것에 응답하여, 디바이스(300)는 옵션적으로 어포던스(502) 및 어포던스(504)를 축소시켜(예컨대, 줌 아웃) 이전 상태(예컨대, 도 5에 도시된, 확대하기 전의 크기 및 위치)로 되돌아간다. 일부 실시예들에서, 어포던스(502)는 이전 상태로 축소된 이후에 선택된 상태를 유지한다.
도 5 및 도 6에 관하여 위에 기술된 실시예에서, 디바이스(300)는 어포던스들(502, 504)만 확대한다. 일부 실시예들에서, 디바이스(300)는 어포던스(502) 및 어포던스(504)를 확대하는 것뿐만 아니라 어포던스(502) 및 어포던스(504)를 둘러싸는 환경의 적어도 일부분의 확대된 모습을 디스플레이한다. 도 7은 디바이스(300)가 시선 방향(508)에 대응하는 어포던스들을 둘러싸고 포함하는 가상 환경(500)의 일부분을 결정하는 예시적인 실시예를 도시한다. 그 부분은 직사각형(700)에 의해 지정되고, 예를 들어, 어포던스들(502, 504)뿐만 아니라 테이블(506)의 일부분을 포함한다. 도 8에 도시된 바와 같이, 시선 방향(508)이 어포던스(502) 및 어포던스(504) 둘 모두에 대응한다는 결정에 응답하여, 디바이스(300)는 어포던스(502) 및 어포던스(504)를 포함하는, 직사각형(700)에 의해 지정되는 가상 환경(500)의 일부분을 확대한다. 가상 환경(500)의 일부분이 어포던스들(502, 504)을 따라 확대되지만, 어포던스들은 도 5 및 도 6에 관하여 기술된 바와 같이 또한 선택되고 작동될 수 있다. 또한, 전술된 실시예들이 가상 환경을 참조하지만, 유사한 기술들이 혼합 현실 환경을 포함하는, 다른 CGR 환경에 적용될 수 있다. 예를 들어, 일부 실시예들에서, 디바이스는 물리적 환경의 사용자의 라이스 화면 상에 오버레이되는 어포던스들(502, 504)을 디스플레이하는 투명 디스플레이를 포함한다. 디바이스는 또한 사용자 눈 데이터를 캡처하기 위한 사용자 센서 및 어포던스들(502, 504)이 디스플레이되는 물리적 환경의 이미지들을 캡처하기 위한 장면 센서를 포함한다. 사용자의 시선 방향이 어포던스들(502, 504)에 대응한다는 결정에 응답하여, 예시적인 디바이스는 어포던스들(502, 504)을 둘러싸는 적어도 물리적 환경의 데이터를 캡처하고 어포던스들(502, 504)을 둘러싸는 물리적 환경의 확대된 표현(예컨대, 이미지)을 디스플레이한다.
전술된 실시예들에서, 어포던스들(502, 504)은 가상 환경의 2차원 표현으로 디스플레이된다. 일부 실시예들에서, 어포던스들은 환경의 3차원(3D) 표현으로, 예를 들어, 도 1f 내지 도 1h에 도시된 가상 현실 HMD(100a) 상에 디스플레이된다. 도 9는 가상 환경(902) HMD(900) 상에 디스플레이되는 3D 표현을 도시한다. 일부 실시예들에서, 환경(902)은 CGR 환경(예컨대, VR 또는 MR 환경)이다. 가상 환경(902)은 어포던스(904) 및 어포던스(906)를 포함한다. 어포던스(904)는 제1 깊이를 가지며, 어포던스(906)는 어포던스(904)의 제1 깊이보다 깊은 제2 깊이를 갖는다. 가상 환경(902)이 3D 표현이기 때문에, 디바이스(900)는 사용자의 눈들로부터 캡처된 데이터에 기초하여 시선 위치를 결정하며, 이는 도시된 실시예에서 시선 방향 및 시선 깊이를 포함한다. 일부 실시예들에서, 시선 위치를 결정하는 것은 시선 방향을 결정하는 것을 포함하지만, 반드시 시선 깊이를 포함하는 것은 아니다. 일부 실시예에서, 시선 위치를 결정하는 것은 시선 깊이를 결정하는 것을 포함하지만, 반드시 시선 방향을 포함하는 것은 아니다.
도 9에서, 시선 위치(908)를 둘러싸는 원통의 반경은 시선 방향의 각도 해상도를 나타내고, 원통의 길이는 시선 깊이의 깊이 해상도(예컨대, 시선 깊이의 불확실성)를 나타낸다. 시선 방향에 기초하여, 각도 해상도, 시선 깊이, 및 깊이 해상도, 디바이스(900)는 어포던스(904) 및/또는 어포던스(906)의 위치가 시선 위치에 대응하는지 결정한다. 일부 실시예들에서, 디바이스(900)는 시선 깊이에 상관 없이 시선 방향(및 옵션적으로 각도 해상도)에 기초하거나, 또는 시선 방향에 상관 없이 시선 깊이(및 옵션적으로 깊이 해상도)에 기초하여 어포던스(904) 및/또는 어포던스(906)의 위치가 시선 위치에 대응하는지 결정한다.
일부 실시예들에서, 디바이스(900)는 시선 위치가 어포던스(904) 및 어포던스(906) 둘 모두에 대응한다는 결정에 응답하여 더 멀리 있는 어포던스(예컨대, 어포던스(906))의 디스플레이를 향상시킨다. 도 10에 도시된 실시예에 따라, 어포던스(906)를 어포던스(904)에 비해 더 밝게 함으로써(예컨대, 어포던스(906)의 밝기를 증가시키거나, 어포던스(904)의 밝기를 감소시키거나, 또는 이들을 조합) 어포던스(906)는 향상된다. 일부 실시예들에서, 어포던스를 향상시키는 것은 어포던스의 시각적 외관 자체를 변경하는 것을 포함한다(예컨대, 어포던스를 더 밝게 하거나 또는 어포던스의 색상을 변경함). 일부 실시예들에서, 어포던스를 향상시키는 것은 환경의 다른 양태들의 시각적 외관을 열화시키는 것을 포함한다(예컨대, 다른 어포던스 또는 주위 환경을 흐릿하게 보이게 만듬). 유사하게, 3D 환경의 2D 표현에서, 더 작은 객체 또는 3D 환경에서 더 깊은 깊이 값을 갖는 객체가 옵션적으로 향상된다.
일부 실시예들에서, 디바이스(900)가 시선 위치(908)이 어포던스(904) 및 어포던스(906) 둘 모두에 대응한다고(예컨대, 디바이스(900)가 사용자가 어떤 어포던스를 보고 있는지 분별할 수 없다고) 결정하는 것에 응답하여, 디바이스(900)는 어포던스(904) 및 어포던스(906)를 확대한다. 3D 표현을 제공하는 일부 실시예들에서, 어포던스를 사용자를 향해 이동시키고 사용자에 더 가까이 보이는 깊이에서 어포던스를 디스플레이함으로써 어포던스가 사용자의 관점으로부터 확대된다. 도 11은 도 6에서 도시된 실시예와 유사한 실시예를 도시하며, 여기서 어포던스(904) 및 어포던스(906)는 그것들의 상대적인 크기 및 위치를 유지하면서 확대된다(예컨대, 사용자에 더 가까이 이동됨). 도 12는 어포던스(904) 및 어포던스(906)는 확대되고 서로에 대하여 위치재설정되어 어포던스(904) 및 어포던스(906)가 동일한 깊이에서 나란히 디스플레이되도록 하는 실시예를 도시한다. 유사 기술이 또한 환경의 2D 표현에 적용될 수 있음이 인식되어야 한다. 예를 들어, 시선 방향(508)이 도 5에 관하여 전술된 바와 같이 어포던스(502) 및 어포던스(504) 둘 모두에 대한 시선에 대응한다고 결정되면, 어포던스(502) 및 어포던스(504)는 옵션적으로 서로에 대하여 상이한 양만큼 확대되고/되거나 서로에 대하여 위치재설정되어 어포던스(502) 및 어포던스(504)가 나란히 디스플레이되도록 한다. 또한, 어포던스(904) 및 어포던스(906)가 확대되면, 디바이스(900)는 업데이트된 시선 위치가 확대된 어포던스들 중 하나에 대응하는지 추가로 결정하고, 도 3 및 도 4 및 도 6 내지 도 8에 관하여 이전에 기재된 기술들과 유사한 방식으로 어포던스를 선택 및/또는 그것에 행동을 수행할 수 있다.
이제 도 13을 참조하면, 객체 깊이에 기초하여 객체들의 디스플레이를 변경하기 위한 기술들이 기재된다. 도 13은 다시 디바이스(300)를 도시한다. 디바이스(300)는 객체(1302) 및 객체(1304)가 동시에 디스플레이되는 환경(1300)(예컨대, CGR 환경)을 디스플레이한다. 도 13에 도시된 바와 같이, 객체(1302)는 객체(1304)보다 더 가까이 보인다(예컨대, 더 얕은 깊이 값을 가짐). 또한, 도 13에 디스플레이되는 관점에서 보면, 객체(1302)는 부분적으로 객체(1304)의 모습을 가로막는다. 시선 위치(1306)는 객체(1302) 상에 위치한다. 시선 위치(1306)는 옵션적으로 시선 방향 또는 시선 깊이, 또는 둘 모두를 포함한다. 전술된 기술들 중 어느 하나에 따라, 디바이스(300)는 옵션적으로 시선 방향 또는 시선 깊이, 또는 둘 모두에 기초하여, 시선 위치가 객체(1302) 및/또는 객체(1304)에 대응하는지 결정한다.
디바이스(300)는 시각적으로 시선 위치(1306)가 객체(1302) 또는 객체(1304)에 대응하는지 여부에 기초하여 객체(1302) 및/또는 객체(1304)를 변경한다. 디바이스(300)는 전술된 기술들 중 어느 하나에 따라 시선 위치(1306)가 객체(1302) 또는 객체(1304)에 대응하는지 결정한다. 일부 실시예들에서, 시선 위치(1306)가 객체(1302)에 대응한다는 결정에 응답하여, 디바이스(300)는 객체(1304)의 디스플레이를 시각적으로 변경하고; 시선 위치(1306)가 객체(1304)에 대응한다는 결정에 응답하여, 디바이스(300)는 객체(1302)의 디스플레이를 시각적으로 변경한다. 예를 들어, 사용자의 포커스가, 방향 또는 깊이, 또는 둘 모두에 의해 결정될 때, 객체들 중 하나 위에 있다고 결정되는 경우, 사용자의 포커스의 객체를 강조하기 위하여 다른 객체의 시각적 외관이 변경된다. 도 14에 도시된 바와 같이, 디바이스(300)는 시선 위치(1306)이 객체(1302)에 대응한다고 결정하고, 이에 응답하여, 시각적으로 객체(1302)를 강조 및/또는 객체(1304)를 덜 강조하는 방식으로 객체(1304)를 변경한다. 객체를 덜 강조하도록 객체를 시각적으로 변경하는 예들은 객체를 흐리게 또는 뿌옇게 보이게 만들거나, 객체의 해상도를 떨어뜨리거나, 객체의 밝기를 줄이거나, 객체의 콘트라스트를 낮추거나, 객체의 투명도를 높이거나, 객체를 디스플레이하는 것을 중단하는 것을 포함한다. 일부 실시예들에서, 디바이스(300)는 입력(예컨대, 눈의 제스처, 손 제스처, 음성 입력, 또는 제어기 입력)을 수신하고, 시선 위치(1306)가 객체(1302) 또는 객체(1304)에 각각 대응한다고 결정하는 것에 응답하여 객체(1302) 또는 객체(1304)를 시각적으로 변경한다. 옵션적으로, 디바이스(300)는 두 객체들의 방향이 시선 방향에 대응한다는 결정에 따라 객체(1302) 및 객체(1304)를 변경하여, 객체들 중 하나가 다른 하나를 가로막을 가능성이 있다는 것과 객체들을 구별하는 것이 유리할 것임을 나타낸다.
옵션적으로, 디바이스(300)는 또한 시선 위치에 대응하는 객체의 디스플레이(예컨대, 객체(1302))를 시각적으로 변경하여 객체의 외관을 향상시킨다. 객체를 시각적으로 향상시키는 예들은 객체를 더 선명하게 하거나, 객체의 해상도를 올리거나, 객체의 밝기를 높이거나, 객체의 콘트라스트를 증가시키거나, 객체의 투명도를 낮추거나, 객체를 하이라이트하거나, 객체가 나타나게 하는 것을 포함한다.
도 15에서, 사용자는 그의 시선 위치를 1306에서 객체(1304)에 대응하는 위치(1500)로 이동시켰다. 이에 응답하여, 디바이스(300)는 객체(1302)를 시각적으로 변경하고, 객체(1304)를 초기에 도 13에 디스플레이된 외관으로 복구시켰다. 도 15에 도시된 실시예에서, 디바이스(300)는 객체(1302)를 반투명하게 만들어 사용자가 자신이 포커싱하려고 시도하고 있는 객체를 더 잘 볼 수 있도록 한다. 옵션적으로, 디바이스(300)는 객체(1302)를 제거하여 객체(1304)의 가로막히지 않은 모습을 제공한다.
도 2 내지 도 15에 관하여 전술된 실시예들은 예시이고 제한하도록 의도되지 않는다는 것이 인식되어야 한다. 예를 들어, 도 2 내지 도 12의 실시예들이 가상 환경에 관하여 기술되어 있지만, 기술들은 혼합 현실 환경을 포함하는, 다른 CGR 환경에 유사하게 적용될 수 있다.
이제 도 16을 참조하면, 눈의 시선을 이용하여 전자 디바이스와 상호작용하기 위한 예시적인 프로세스(1600)의 흐름도가 도시된다. 프로세스(1600)는 사용자 디바이스(예컨대, 100a, 300, 또는 900)를 이용하여 수행될 수 있다. 사용자 디바이스는, 예를 들어, 핸드헬드 모바일 디바이스, 헤드-마운트 디바이스, 또는 헤드-업 디바이스이다. 일부 실시예들에서, 프로세스(1600)는 베이스 디바이스와 같은 다른 디바이스에 통신가능하게 결합되는 사용자 디바이스와 같은 둘 이상의 전자 디바이스들을 이용하여 수행된다. 이 실시예들에서, 프로세스(1600)의 동작들은 임의의 방식으로 사용자 디바이스와 다른 디바이스 사이에 분배된다. 또한, 사용자 디바이스의 디스플레이는 투명하거나 또는 불투명할 수 있다. 프로세스(1600)는 가상 현실 및 혼합 현실 환경을 포함하는 CGR 환경, 및 가상 객체들 또는 물리적 객체들에 대응하는 어포던스들에 적용될 수 있다. 프로세스(1600)의 블록들이 도 16의 특정 순서대로 도시되어 있지만, 이 블록들은 다른 순서대로 수행될 수 있다. 또한, 프로세스(1600)의 하나 이상의 블록들은 부분적으로 수행되거나, 옵션적으로 수행되거나, 다른 블록(들)과 조합될 수 있고/있거나 추가적인 블록들이 수행될 수 있다.
블록(1602)에서, 디바이스는 제1 객체(예컨대, 디스플레이된 객체)와 연관된 어포던스를 디스플레이한다.
블록(1604)에서, 디바이스는 (예컨대, 하나 이상의 눈에서) 시선 방향 또는 시선 깊이를 결정한다. 일부 실시예들에서, 데이터가 사용자를 향해 지향되는 센서로부터 캡처되고, 시선 방향 또는 시선 깊이는 센서로부터 캡처된 데이터에 기초하여 결정된다. 일부 실시예들에서, 시선 방향 또는 시선 깊이를 결정하는 것은 시선 방향을 결정하는 것을 포함한다. 일부 실시예들에서, 시선 방향 또는 시선 깊이를 결정하는 것은 시선 깊이를 결정하는 것을 포함한다. 옵션적으로, 시선 방향 또는 시선 깊이는 광선 캐스팅 또는 원추 캐스팅을 이용하여 결정된다. 옵션적으로, 원추 캐스팅에 사용되는 원추의 각크기는 시선 방향의 각도 해상도에 기초한다.
블록(1606)에서, 디바이스는 시선 방향 또는 시선 깊이가 어포던스에 대한 시선에 대응하는지 결정한다. 일부 실시예들에서, 시선 방향 또는 시선 깊이가 어포던스의 깊이에 대응한다고 결정하는 것은 시선이 어포던스로 지향된다고 결정하는 것을 포함한다. 일부 실시예들에서, 시선이 어포던스로 지향된다고 결정하는 것은 적어도 부분적으로 시선 방향의 각도 해상도에 기초한다. 일부 실시예들에서, 시선 방향 또는 시선 깊이가 어포던스에 대한 시선에 대응한다고 결정하는 것은 시선 깊이가 어포던스의 깊이에 대응한다고 결정하는 것을 포함한다. 일부 실시예들에서, 시선 깊이가 어포던스의 깊이에 대응한다고 결정하는 것은 적어도 부분적으로 시선 깊이의 깊이 해상도에 기초한다.
블록(1608)에서, 시선 방향 또는 시선 깊이가 어포던스에 대한 시선에 대응한다고 결정되는 동안, 디바이스는 제1 객체에 대응하는 어포던스 상에 행동을 취하기 위한 명령을 표현하는 제1 입력을 수신한다. 일부 실시예들에서, 제1 입력은 눈의 제스처, 손 제스처, 음성 입력, 및/또는 제어기 입력을 포함한다.
블록(1610)에서, 디바이스는 제1 입력을 수신하는 것에 응답하여 어포던스를 선택한다. 옵션적으로, 어포던스가 선택되는 동안, 제2 입력이 수신되고, 제2 입력을 수신하는 것에 응답하여 그리고 제2 입력에 따라 선택된 어포던스와 연관된 행동이 수행된다. 일부 실시예들에서, 제2 입력은 눈의 제스처, 손 제스처, 음성 입력, 또는 제어기 상의 입력을 포함한다.
이제 도 17을 참조하면, 눈의 시선을 이용하여 전자 디바이스와 상호작용하기 위한 예시적인 프로세스(1700)의 흐름도가 도시된다. 프로세스(1700)는 사용자 디바이스(예컨대, 100a, 300, 또는 900)를 이용하여 수행될 수 있다. 사용자 디바이스는, 예를 들어, 핸드헬드 모바일 디바이스, 헤드-마운트 디바이스, 또는 헤드-업 디바이스이다. 일부 실시예들에서, 프로세스(1700)는 베이스 디바이스와 같은 다른 디바이스에 통신가능하게 결합되는 사용자 디바이스와 같은 둘 이상의 전자 디바이스들을 이용하여 수행된다. 이 실시예들에서, 프로세스(1700)의 동작들은 임의의 방식으로 사용자 디바이스와 다른 디바이스 사이에 분배된다. 또한, 사용자 디바이스의 디스플레이는 투명하거나 또는 불투명할 수 있다. 프로세스(1700)는 가상 현실 및 혼합 현실 환경을 포함하는 CGR 환경, 및 가상 객체들 또는 물리적 객체들에 대응하는 어포던스들에 적용될 수 있다. 프로세스(1700)의 블록들이 도 17의 특정 순서대로 도시되어 있지만, 이 블록들은 다른 순서대로 수행될 수 있다. 또한, 프로세스(1700)의 하나 이상의 블록들은 부분적으로 수행되거나, 옵션적으로 수행되거나, 다른 블록(들)과 조합될 수 있고/있거나 추가적인 블록들이 수행될 수 있다.
블록(1702)에서, 디바이스는 제1 어포던스 및 제2 어포던스를 디스플레이한다. 옵션적으로, 제1 어포던스 및 제2 어포던스는 동시에 디스플레이된다. 일부 실시예들에서, 제1 어포던스 및 제2 어포던스는 제1 어포던스 및 제2 어포던스를 포함하는 환경(예컨대, CGR 환경)의 2차원 표현 또는 3차원 표현과 함께 디스플레이된다. 옵션적으로, 제1 어포던스는 환경의 3차원 표현의 제1 깊이에서 디스플레이되고, 제2 어포던스는 환경의 3차원 표현의 제2 깊이에서 디스플레이되는데, 제1 깊이는 제2 깊이와 상이하다.
블록(1704)에서, 디바이스는 (예컨대, 하나 이상의 눈에서) 제1 시선 방향 또는 제1 시선 깊이를 결정한다. 일부 실시예들에서, 데이터가 사용자를 향해 지향되는 센서로부터 캡처되고, 시선 방향 또는 시선 깊이는 센서로부터 캡처된 데이터에 기초하여 결정된다. 옵션적으로, 시선 방향 또는 시선 깊이는 광선 캐스팅 또는 원추 캐스팅을 이용하여 결정된다. 일부 실시예들에서, 원추 캐스팅에 사용되는 원추의 각크기는 시선 방향의 각도 해상도에 기초한다.
블록(1706)에서, 디바이스는 제1 시선 방향 또는 제1 시선 깊이가 제1 어포던스 및 제2 어포던스 둘 모두에 대한 시선에 대응하는지 결정한다. 옵션적으로, 제1 시선 방향 또는 제1 시선 깊이가 제1 어포던스 및 제2 어포던스 둘 모두에 대응한다고 결정하는 것에 응답하여, 제1 어포던스의 디스플레이는 제1 깊이가 제2 깊이보다 깊은 것에 따라 향상되고; 제2 어포던스의 디스플레이는 제2 깊이가 제1 깊이보다깊은 것에 따라 향상된다. 일부 실시예들에서, 시선 방향이 결정되고, 시선 방향 또는 시선 깊이가 제1 어포던스 및 제2 어포던스 둘 모두에 대응한다고 결정하는 것은 시선 방향이 제1 어포던스 및 제2 어포던스 둘 모두에 대응한다고 결정하는 것을 포함한다. 옵션적으로, 시선 방향이 제1 어포던스 및 제2 어포던스 둘 모두에 대응한다고 결정하는 것은 적어도 부분적으로 시선 방향의 각도 해상도에 기초한다. 일부 실시예들에서, 시선 방향 또는 시선 깊이를 결정하는 것은 시선 깊이를 결정하는 것을 포함하고, 시선 방향 또는 시선 깊이가 제1 어포던스 및 제2 어포던스 둘 모두에 대응한다고 결정하는 것은 시선 깊이가 제1 어포던스 및 제2 어포던스 둘 모두에 대응한다고 결정하는 것을 포함한다. 옵션적으로, 시선 깊이가 제1 어포던스 및 제2 어포던스 둘 모두에 대응한다고 결정하는 것은 적어도 부분적으로 시선 깊이의 깊이 해상도에 기초한다.
블록(1708)에서, 디바이스는 제1 시선 방향 또는 제1 시선 깊이가 제1 어포던스 및 제2 어포던스 둘 모두에 대한 시선에 대응한다는 결정에 응답하여 제1 어포던스 및 제2 어포던스를 확대한다. 일부 실시예들에서, 제1 어포던스 및 제2 어포던스는 사용자의 시선이 사전정의된 기준을 충족한다는 결정에 따라 확대된다. 일부 실시예들에서, 제3 입력이 수신되고, 제1 시선 방향 또는 제1 시선 깊이가 제1 어포던스 및 제2 어포던스 둘 모두에 대응한다고 결정하고 제3 입력을 수신하는 것에 응답하여 제1 어포던스 및 제2 어포던스는 확대된다. 일부 실시예들에서, 제3 입력은 눈의 제스처, 손 제스처, 음성 입력, 또는 제어기 입력을 포함한다. 일부 실시예들에서, 제1 어포던스 및 제2 어포던스를 확대하는 것은 제1 어포던스 및 제2 어포던스를 둘러싼 환경(예컨대, CGR 환경)의 적어도 일부분의 확대된 모습을 디스플레이하는 것을 포함한다. 일부 실시예들에서, 제1 어포던스 및 제2 어포던스를 둘러싼 환경의 적어도 일부분의 확대된 모습은 가상 환경의 표현이다. 일부 실시예들에서, 제1 어포던스 및 제2 어포던스를 둘러싼 환경의 적어도 일부분의 확대된 모습은 물리적 환경의 표현이다. 일부 실시예들에서, 제1 어포던스 및 제2 어포던스를 확대하는 것은 환경의 3차원 표현의 제3 깊이에서 제1 어포던스를 디스플레이하는 것 및 환경의 3차원 표현의 제4 깊이에서 제2 어포던스를 디스플레이하는 것을 포함하며, 제3 깊이는 제4 깊이와 동일하다.
옵션적으로, 제1 어포던스 및 제2 어포던스를 확대한 후, 제2 시선 방향 또는 제2 시선 깊이가 결정되고, 제2 시선 방향 또는 제2 시선 깊이는 제1 어포던스에 대한 시선에 대응한다고 결정된다. 제2 시선 방향 또는 제2 시선 깊이가 제1 어포던스에 대한 시선에 대응한다고 결정되는 동안, 제1 어포던스 상에 행동을 취하기 위한 사용자 명령을 표현하는 제1 입력이 수신되고, 제1 입력을 수신하는 것에 응답하여 제1 어포던스가 선택된다. 옵션적으로, 제1 입력은 눈의 제스처, 손 제스처, 음성 입력, 또는 제어기 입력을 포함한다.
일부 실시예들에서, 제1 어포던스 또는 제2 어포던스는 제1 입력을 수신하는 것에 응답하여 축소된다. 옵션적으로, 제1 어포던스가 선택되는 동안, 제2 입력이 수신되고, 제2 입력에 따라 제1 어포던스와 연관된 행동이 제2 입력을 수신하는 것에 응답하여 수행된다. 일부 실시예들에서, 제2 입력은 눈의 제스처, 손 제스처, 음성 입력, 또는 제어기 입력을 포함한다.
이제 도 18을 참조하면, 눈의 시선을 이용하여 전자 디바이스와 상호작용하기 위한 예시적인 프로세스(1800)의 흐름도가 도시된다. 프로세스(1800)는 사용자 디바이스(예컨대, 100a, 300, 또는 900)를 이용하여 수행될 수 있다. 사용자 디바이스는, 예를 들어, 핸드헬드 모바일 디바이스, 헤드-마운트 디바이스, 또는 헤드-업 디바이스이다. 일부 실시예들에서, 프로세스(1800)는 베이스 디바이스와 같은 다른 디바이스에 통신가능하게 결합되는 사용자 디바이스와 같은 둘 이상의 전자 디바이스들을 이용하여 수행된다. 이 실시예들에서, 프로세스(1800)의 동작들은 임의의 방식으로 사용자 디바이스와 다른 디바이스 사이에 분배된다. 또한, 사용자 디바이스의 디스플레이는 투명하거나 또는 불투명할 수 있다. 프로세스(1800)는 가상 현실 및 혼합 현실 환경을 포함하는 CGR 환경, 및 가상 객체들, 물리적 객체들, 및 이들의 표현에 적용될 수 있다. 프로세스(1800)의 블록들이 도 18의 특정 순서대로 도시되어 있지만, 이 블록들은 다른 순서대로 수행될 수 있다. 또한, 프로세스(1800)의 하나 이상의 블록들은 부분적으로 수행되거나, 옵션적으로 수행되거나, 다른 블록(들)과 조합될 수 있고/있거나 추가적인 블록들이 수행될 수 있다.
디바이스는 3차원 컴퓨터 생성 현실 환경의 시야를 디스플레이하도록 구성된다. 시야는 관점으로부터 렌더링되고, 블록(1802)에서, 디바이스는 제1 객체 및 제2 객체를 디스플레이한다. 옵션적으로, 제1 객체 및 제2 객체는 동시에 디스플레이된다. 일부 실시예들에서, 제1 객체 및 제2 객체는 제1 객체가 관점으로부터 제2 객체에 더 가까워 보이도록(예컨대, 존재하도록) 디스플레이된다.
블록(1804)에서, 디바이스는 (예컨대, 하나 이상의 눈에서) 시선 위치를 결정한다. 일부 실시예들에서, 데이터가 사용자를 향해 지향되는 센서로부터 캡처되고, 시선 위치는 센서로부터 캡처된 데이터에 기초하여 결정된다. 일부 실시예들에서, 시선 위치는 광선 캐스팅 또는 원추 캐스팅을 이용하여 결정된다. 옵션적으로, 원추 캐스팅에 사용되는 원추의 각크기는 시선 방향의 각도 해상도에 기초한다.
블록(1806)에서, 디바이스는 시선 위치가 제1 객체 또는 제2 객체에 대한 시선에 대응하는지 결정한다. 일부 실시예들에서, 시선 방향이 결정되고, 시선 위치가 제1 객체 또는 제2 객체에 대한 시선에 대응한다고 결정하는 것은 시선이 객체 또는 제2 객체에 지향된다고 결정하는 것을 포함한다. 옵션적으로, 시선이 제1 객체 또는 제2 객체에 지향되는지 결정하는 것은 적어도 부분적으로 시선 방향의 각도 해상도에 기초한다. 일부 실시예들에서, 시선 깊이가 결정되고, 시선 위치가 제1 객체 또는 제2 객체에 대한 시선에 대응한다고 결정하는 것은 시선 깊이가 제1 객체 또는 제2 객체의 깊이에 대응한다고(예컨대, 시야에 존재함) 결정하는 것을 포함한다. 옵션적으로, 시선 깊이가 제1 객체 또는 제2 객체의 깊이에 대응한다고 결정하는 것은적어도 부분적으로 시선 깊이의 깊이 해상도에 기초한다.
블록(1808)에서, 디바이스는 시선 위치가 제1 객체에 대한 시선에 대응한다는 결정에 따라 제2 객체의 디스플레이를 시각적으로 변경한다. 일부 실시예들에서, 시선 위치가 제1 객체에 대한 시선에 대응한다고 결정 및 입력을 수신하는 것에 응답하여 제2 객체가 변경된다. 입력은 옵션적으로 눈의 제스처, 손 제스처, 음성 입력, 또는 제어기 입력을 포함한다. 옵션적으로, 디바이스는 제1 객체의 디스플레이(예컨대, 디스플레이 해상도)를 향상시킨다. 옵션적으로, 제2 객체를 시각적으로 변경한 후, 디바이스는 사용자의 제2 시선 위치를 결정하고, 제2 시선 위치가 제2 객체에 대한 시선에 대응한다는 결정에 따라, 제1 객체의 디스플레이를 시각적으로 변경하고, 제2 객체를 그것의 초기 외관에 따라 디스플레이한다.
블록(1810)에서, 디바이스는 시선 위치가 제2 객체에 대한 시선에 대응한다는 결정에 따라 제1 객체의 디스플레이를 시각적으로 변경한다. 일부 실시예들에서, 시선 위치가 제2 객체에 대한 시선에 대응한다고 결정 및 입력을 수신하는 것에 응답하여 제1 객체가 변경된다. 입력은 옵션적으로 눈의 제스처, 손 제스처, 음성 입력, 또는 제어기 입력을 포함한다. 옵션적으로, 디바이스는 제2 객체의 디스플레이(예컨대, 디스플레이 해상도)를 향상시킨다.
전술된 방법들(1600, 1700, 및/또는 1800)의 특징부들을 수행하기 위한 실행가능 명령어들은, 옵션적으로, 일시적인 또는 비일시적 컴퓨터-판독가능 저장 매체(예컨대, 메모리(들)(106)) 또는 하나 이상의 프로세서들(예컨대, 프로세서(들)(102))에 의한 실행을 위해 구성된 기타 컴퓨터 프로그램 제품에 포함된다. 또한, 방법(1600)의 일부 동작들(예컨대, 블록(1610))은, 옵션적으로, 방법(1700) 및/또는 방법(1800)에 포함되고, 방법(1700)의 일부 동작들(예컨대, 블록(1708))은, 옵션적으로, 방법(1600) 및/또는 방법(1800)에 포함되고, 방법(1800)의 일부 동작들(예컨대, 블록들(1806, 1808, 및/또는 1810))은, 옵션적으로, 방법(1600) 및/또는 방법(1700)에 포함된다.
도 19a 내지 도 19y를 참조하여, 예컨대, CGR 환경에서 객체들(예컨대, 가상 객체들, 물리적 객체들, 및 가상 및 물리적 객체들에 대응하는 어포던스들)을 선택 및/또는 배치하기 위한 이중-모달리티를 제공하는 기술들이 기재되어 있다. 제1 모드(예컨대, "시선-결합" 모드)에서, 위치 또는 객체는 사용자의 시선의 위치에 기초하여 초기에 지정된다. 초기 지정 후에, 제2 모드(예컨대, "시선-결합해제" 모드)는 지정된 위치를 이동시키거나 또는 시선 이용 없이 상이한 객체를 지정하는 데 사용된다. 시선 위치가 사용자에 의해 빠르게 이동될 수 있으며, 이는 일반적 영역을 빠르게 식별하는 것을 효과적으로 만든다. 전술된 바와 같이, 그러나, 사용자의 시선의 위치에 불확실성이 존재하며, 이는 시선을 이용하여 정밀한 위치를 지정하는 것을 어렵게 한다. 추정된 시선 위치에서 지속적인 시각 표시자를 디스플레이하는 것은 정밀한 위치를 지정하는 데 비효과적일 수 있는데, 그 이유는 표시자가 사용자를 산만하게 하고 사용자의 시선이 바람직한 지정 포인트 사에 포커싱하기 보다는 표시자를 따라가게 만들 수 있기 때문이다. 이중-모달리티 기술은 사용자가 대략적인 초기 지정을 빠르게 실행하게 하고, 이어서 시선에 독립적인(예컨대, 수동 입력에만 기초하여) 미세한 조정을 하여 특정 지점 또는 객체를 지정한다.
도 19a는 디바이스(1900)를 이용하여 가상 환경(1902)과 상호작용하는 사용자(200)를 도시한다. 일부 실시예들에서, 환경(1902)은 CGR 환경(예컨대, VR 또는 MR 환경)이다. 디바이스(1900)는 가상 현실 HMD(1900a) 및 입력 디바이스(1900b)를 포함한다. 일부 실시예들에서, HMD(1900a)는 디바이스(100a)(예컨대, 도 1f 내지 도 1i)이고 입력 디바이스(1900b)는 (예컨대, 도 1a 및 도 1b에 도시된 통신 버스(들)(150)를 통해) HMD(1900a)와 통신한다. 화면(1902a)은 HMD(1900a) 상에서 사용자(200)에 디스플레이되는 가상 환경(1902)의 화면을 도시하며, 화면(1902b)은 사용자(200)를 포함하는 가상 환경(1902)의 관점을 도시한다. 도 19a는 또한 입력 디바이스(1900b)를 도시하며, 이는 사용자(200)가 가상 환경(1902)과 상호작용하기 위한 입력들을 제공하게 하는 터치-감응형 표면(1904)(예컨대, 도 1a 및 도 1b의 터치-감응형 표면(122))을 포함한다. 디바이스(1900)는 사용자(200)의 시선(1906)(예컨대, 시선 방향 및/또는 시선 깊이)(전술된 바와 같음)을 결정하기 위한 센서(들)(예컨대, HMD(1900A) 상의 이미지 센서(들))을 포함한다. 일부 실시예들에서, 디바이스(1900)는 눈의 제스처들, 신체 제스처들, 및 음성 입력들(이에 제한되지 않음)을 포함하는 다양한 유형들의 사용자 입력들을 검출하도록 구성된 센서(들)를 포함한다. 일부 실시예들에서, 입력 디바이스는 버튼 입력들(예컨대, 위, 아래, 좌, 우, 입력 등)을 수신하도록 구성된 제어기를 포함한다.
가상 환경(1902)은 사진 무더기(1908)를 포함하며, 이는 테이블(1912) 위에 놓인 개별적인 사진들(1908a 내지 1908e)을 포함한다. 화면(1902b)에 보이는 시선(1906)은 사용자(200)가 사진 무더기(1908)를 보고 있음을 나타낸다. 일부 실시예들에서, 시선(1906)을 나타내는 라인들은 가상 환경(1902)에서 보이지 않으며, 이는 예를 들어 화면(1902a)에 보이는 바와 같다.
도 19a에 도시된 바와 같이, 시선(1906)이 사진 무더기(1908)를 향하는 동안, 디바이스(1900)는 사용자 입력(1910a)(예컨대, 터치-감응형 표면(1904) 상의 터치 제스처)을 수신한다. 일부 실시예들에서, 사용자 입력(1910a)은 터치-감응형 표면(1904) 상의 터치 제스처뿐만 아니라, 또는 이 대신에 눈의 제스처, 신체 제스처, 음성 입력, 제어기 입력, 또는 이들의 조합을 포함한다.
일부 실시예들에서, 사용자 입력(1910a)에 대한 응답은 사용자 입력(1910a)의 특성들에 따라 달라진다. 예를 들어, 사용자 입력(1910a)이 제1 유형의 입력(예컨대, 터치-감응형 표면(1904) 상의 탭)이라는 결정에 따라, 전체 사진 무더기(1908)가 선택되며, 이는 도 19b의 사진 무더기(1908) 주위에 포커스 표시자(1914)(예컨대, 굵은 경계)에 의해 표시되는 바와 같다. 일부 실시예들에서, 디바이스(1900)는 추가적인 입력(예컨대, 나가기 버튼의 선택)을 수신하는 것에 응답하여 사진 무더기(1908)를 선택해제한다.
대안적으로, 사용자 입력(1910a)이 상이한 유형의 입력(예컨대, 터치-감응형 표면(1904) 상의 터치 및 홀드)이라는 결정에 따라, 도 19c에 도시된 바와 같이, 사용자(200)는 무더기(1908)로부터 특정 사진을 더 용이하게 선택할 수 있도록 사진들(1908a 내지 1908e)이 제시된다. 도 19c에서, 사진들(1908a 내지 1908e)은 테이블(1912)로부터 이동되어 위로 제시되고 사용자(200)의 시야의 중간에 펼쳐진다. 사용자 입력(1910a)을 수신하는 것에 응답하여, 제일 좌측 위치에 있는 사진(1908a)이 지정된다(예컨대, 잠정적으로 선택됨). 사진(1908a)의 지정은 포커스 표시자(1914)에 의해 표시되며, 이는 사진(1908a) 주위에 굵은 경계를 포함한다. 일부 실시예들에서, 포커스 표시자(1914)는 지정된 객체를 시각적으로 식별하는 포인터, 커서, 도트, 구, 하이라이팅, 테두리, 또는 잔상 이미지를 포함한다. 일부 실시예들에서, 디바이스(1900)는 추가적인 입력(예컨대, 나가기 버튼의 선택 또는 터치의 리프트오프)을 수신하는 것에 응답하여, 사진(1908a)을 지정해제하고 사진들(1908)을 테이블(1912)로 복귀시킨다.
도 19b 및 도 19c에 도시된 응답은 둘 모두 시선(1906)에 기초하며, 더 구체적으로는, 사용자 입력(1910a)의 시기의 사용자(200)의 시선 위치에 기초한다. 사용자(200)의 시선 위치가 사진 무더기(1908) 상에 위치함으로 인해 사진 무더기(1908)는 선택되거나(도 19b) 또는 지정되고 추가 선택을 위하여 재제시된다. 사용자 입력에 대한 응답이 시선(1906)에 기초하면, 디바이스(1900)는 시선-결합 모드에 있고 사용자(200)의 시선(1906)은 사용자 입력과 결합된다. 시선-결합 모드는 도 19a에서 시선(1906)이 실선으로 표시됨으로써 표시된다.
일부 실시예들에서, 사용자 입력(1910a)에 대한 응답은 시선(1906)이 하나 초과의 선택가능한 객체에 대응하는지 여부에 따라 달라진다. 일부 실시예들에서, 디바이스(1900)는 선택될 객체에 대하여 불명확성 또는 불확실성이 있으면 선택을 확인하지 않는다. 예를 들어, 시선(1906)의 위치가 복수의 분별되지 않는 선택가능한 객체들(예컨대, 사진 무더기(1908))에 대응한다는 결정에 따라, 디바이스(1900)는 사진들(1908a 내지 1908e)을 디스플레이하고 사진(1908a)(도 19c)을 지정한다. 일부 그러한 실시예들에서, 시선(1906)의 위치가 단지 하나의 선택가능한 객체(예컨대, 아래 기술되는 도 19m에 도시된 머그(1918))에 대응한다는 결정에 따라, 디바이스(1900)는 (예컨대, 객체를 지정하거나 또는 선택을 추가로 다듬을 수 있는 능력을 제공하는 대신) 하나의 선택가능한 객체를 선택한다.
도시된 실시예에서, 사용자 입력(1910a)을 수신하는 것에 응답하여, 디바이스(1900)는 또한 사용자 입력에 대한 응답이 사용자(200)의 시선(1906)에 기초하지 않고 시선(1906)이 추가 사용자 입력으로부터 결합해제되는 시선-결합해제 모드로 전환된다. 시선-결합해제 모드는 도 19c에서 시선(1906)이 파선에 의해 도시됨으로써 표시된다.
도 19d를 참조하면, 사진(1908a)이 지정되는 동안, 디바이스(1900)는 사용자 입력(1910b)을 수신한다. 도 19d에서, 사용자 입력(1910b)은 좌-우 스와이프 또는 드래그 제스처를 포함한다. 일부 실시예들에서, 사용자 입력(1910b)은 사용자 입력(1910a)의 연속이다(예컨대, 사용자 입력(1910a)은 터치-감응형 표면(1904) 상에 유지되는 접촉을 포함하고, 사용자 입력(1910b)은 접촉의 이동을 포함함). 일부 실시예들에서, 사용자 입력(1910b)은 방향 버튼 누르기 또는 구두 명령("오른쪽으로 이동해")을 포함한다. 사용자 입력(1910b)을 수신하는 것에 응답하여, 포커스 표시자(1914)는 사진(1908b)을 지정하기 위한 사용자 입력(1910b)에 따라(예컨대, 방향으로) 사진(1908a)으로부터 이동되며, 이는 도 19e에 도시된 바와 같다.
특히, 시선(1906)이 결합해제되기 때문에, 시선(1906)이 사용자 입력(1910b)의 시기에 사진(1908a) 상에 위치설정되어 있음에도 불구하고 사용자 입력(1910b)을 수신하는 것에 응답하여 사진(1908b)이 지정된다. 포커스 표시자(1914)는 시선(1906)의 위치에 대응하지 않는 위치(예컨대, 객체)로 이동된다. 더 일반적으로, 사진(1908b)을 지정하기 위하여 포커스 표시자(1914)를 이동하는 것이 시선(1906)에 기초하지 않는다. 일부 실시예들에서, 포커스 표시자(1914)는 사용자 입력(1910b)의 특성들(예컨대, 위치, 방향, 속도, 지속시간 등)에만 기초하여 이동된다.
도 19e에 도시된 바와 같이, 시선(1906)은 결합해제된 상태를 유지하고, 시선(1906)이 사진(1908a) 상에 있는 동안, 추가 사용자 입력(1910c)을 수신하는 것에 응답하여, 포커스 표시자(1914)는 사진(1908b)으로부터 이동되어 사진(1908c)을 지정하며, 이는 도 19f에 도시된 바와 같다.
도 19g를 참조하면, 사진(1908c)이 지정되고, 디바이스(1900)는 사용자 입력(1910d)(예컨대, 클릭, 더블 탭, 또는 손가락 리프트오프)을 수신한다. 사용자 입력(1910d)을 수신하는 것에 응답하여, 현재 지정된 객체, 사진(1908c)이 선택된다. 사용자 입력(1910d)을 수신하는 것에 응답하여, 포커스 표시자(1914)는 사진(1908c) 상에 남아있고, 다른 사진들(1908a, 1908b, 1908d, 1908e)은 테이블(1912)로 복귀하며, 이는 도 19h에 도시된 바와 같다. 또한, 사용자(200)의 시선(1906)은 사용자 입력(1910d)을 수신하는 것에 응답하여 재결합된다.
도 19a 내지 도 19h에 관하여 기재된 기술은 사용자(200)가 사진들(1908)이 테이블(1912) 상에 쌓여있을 때(예컨대, 시선 위치의 불확실성으로 인해) 시선만으로 구분이 어려울 수 있는 특정 객체(예컨대, 사진들(1908) 중 하나)를 효과적으로 선택할 수 있는 이중-모드 동작을 제공한다. 사용자(200)는 시선(1906)을 이용하여 빠르게 객체들의 그룹을 지정할 수 있고, 이어서 시선(1906)으로부터 독립적인 입력들을 이용하여 객체들의 그룹을 탐색하고 특정물을 선택할 수 있다.
도 19i를 참조하면, 사진(1908c)의 선택을 유지하는 동안, 사용자(200)는 사진(1908f)과 사진(1908g) 사이의 환경(1902)의 벽(1916) 상의 위치로 시선(1906)을 이동시킨다. 시선(1906)의 이동에 응답하여, 사진(1908c)은 시선 위치에 대응하는 위치로 이동된다. 일부 실시예들에서, 사진(1908c)을 위한 배치 위치가 지정 또는 선택될 때까지 사진(1908c)은 도 19i에 도시된 위치에 남아있거나 또는 아래 기술된 바와 같이 (예컨대, 가상 환경(1902)의 사용자(200)의 시야를 가로막지 않도록) 이동 및/또는 시각적으로 수정된다.
사진(1908c)이 도 19i에 도시된 바와 같이 위치설정되어 있는 동안, 디바이스(1900)는 사용자 입력(1910e)(예컨대, 터치-감응형 표면(1904) 상의 터치)을 수신한다. 사용자 입력(1910e)을 수신하는 것에 응답하여, 사진(1908c)을 위한 배치 위치가 사용자 입력(1910e)의 시기의 시선(1906)의 위치에 기초하여 지정된다. 도 19j에 도시된 바와 같이, 사용자 입력(1910e)을 수신하는 것에 응답하여, 선택된 사진(1908c)은 시선(1906)의 위치에 배치되어 선택된 상태를 유지하고, 시선(1906)은 결합해제된다. 일부 실시예들에서, 배치 위치는 포인터, 커서, 도트, 구, 하이라이팅, 테두리, 또는 (예컨대, 배치되어 있는 객체의) 잔상 이미지에 의해 표시된다.
일부 실시예들에서, 사용자 입력(1910e)에 대한 응답은 사용자 입력(1910e)의 특성들에 따라 달라진다. 일부 실시예들에서, 제1 유형의 입력(예컨대, 터치-감응형 표면(1904) 상의 터치)을 포함하는 사용자 입력(1910e)에 따라, 디바이스(1900)는 벽(1916) 상에 사진(1908c)을 위한 잠정적인 배치 위치를 지정하고, 전술된 바와 같이, 사진(1908c)은 선택된 상태를 유지하고, 시선(1906)은 결합해제되며; 제2 유형의 입력(예컨대, 터치-감응형 표면(1904) 상의 클릭)을 포함하는 사용자 입력(1910e)에 따라, 사진(1908c)은 벽(1916) 상에 배치되고, 사진(1908c)은 선택해제되고, 시선(1906)은 재결합된다. 따라서, 상이한 입력들을 이용함으로써, 사용자(200)는 잠정적인 배치 위치를 지정하고 사진(1908c)의 선택을 유지하여 추가적인 입력(아래 논의됨)으로 위치를 조정하거나 또는 시선 위치를 배치 위치로서 받아들이고 사진(1908c)을 선택해제하는 것을 선택할 수 있다.
도 19j를 다시 참조하면, 사진(1908c)이 선택되고 초기에 지정된 위치에 위치설정된 상태를 유지하는 동안, 디바이스(1900)는 하향 스와이프 또는 드래그 제스처를 포함하는 사용자 입력(1910f)을 수신한다. 사용자 입력(1910f)을 수신하는 것에 응답하여, 사진(1908c)은 사용자 입력(1910f)에 따라 그리고 시선(1906)의 위치에 독립적으로 아래로 이동되며, 이는 도 19k에 도시된 바와 같다. 이 기술에 따라, 사용자(200)는 시선(1906)을 이용하여 빠르고 대략적으로 초기 배치 위치를 지정하고 이어서 시선에 의존하지 않는 위치로 미세한 조정을 행할 수 있다. 사진(1908c)이 바람직한 위치에 들면(예컨대, 사진(1908f) 및 사진(1908g)과 정렬됨), 사용자(200)는 입력(1910g)을 제공한다. 입력(1910g)에 응답하여, 도 19k 내의 사진(1908c)의 위치는 최종 배치 위치로서 선택되고 시선(1906)은 재결합된다. 도 19l에 도시된 바와 같이, 사용자 입력(1910g)을 수신하는 것에 응답하여, 포커스가 사진(1908c)으로부터 제거되고(사진(1908c)은 선택해제됨), 사용자(200)가 시선(1906)을 상이한 위치로 이동시키는 동안 사진(1908c)은 선택된 배치 위치에 남아있다.
이제 도 19m을 참조하면, 가상 환경(1902)은 도 19l에 도시된 바와 같이, 머그(1918)가 추가된 채로 구성된다. 도 19m에서, 시선(1906)이 머그(1918)와 사진 무더기(1908) 사이에 위치설정되어 있는 동안, 디바이스(1900)는 사용자 입력(1910h)(예컨대, 터치-감응형 표면(1904) 상의 터치, 버튼 누르기, 또는 신체 제스처)을 수신한다. 사용자 입력(1910h)을 수신하는 것에 응답하여, 포커스 표시자(1920)에 의해 표현되는 선택 포인트는 시선(1906)의 위치에 대응하는 위치에 지정되며, 이는 도 19n 도시된 바와 같다. 일부 실시예들에서, 포커스 표시자(1920)는 포인터, 커서, 도트, 또는 구를 포함한다. 일부 실시예들에서, 시선(1906)은 사용자 입력(예컨대, 가장 최근 측정 또는 추정된 위치) 이전 또는 사용자 입력에 후속하여(예컨대, 응답하여) 결정된다(예컨대, 측정 또는 추정됨).
일부 실시예들에서, 사용자 입력(1910h)에 대한 응답은 상황적이다. 일부 실시예들에서, 응답은 무엇이 선 위치에 위치하고 있는가에 기초한다. 예를 들어, 디바이스(1900)는 사용자 입력(1910h)의 시기의 시선 위치에 객체, 복수의 분별되지 않는 객체들, 메뉴 어포던스가 있는지 또는 객체가 없는지에 따라 상이하게 응답할 수 있다. 예를 들어, 디바이스(1900)가 사전결정된 양의 확실성을 갖고 시선(1906)이 사진 무더기(1908)에 대응한다고 결정하는 경우, 포커스 표시자(1914)는 포커스 표시자(1920) 대신에 도 19a 내지 도 19c를 참조하여 기술되는 바와 같이 디스플레이된다. 일부 실시예들에서, 복수의 객체들은 객체(예컨대, 아래 기술된 메뉴 어포던스(1924))와 연관된 메뉴 옵션들을 포함한다.
일부 실시예들에서, 응답은 객체가 현재 선택되어 있는지 여부에 기초한다. 예를 들어, 객체가 현재 선택되어 있지 않은 경우, 디바이스(1900)는 선택 모드로 동작하고, 선택 행동을 수행할 수 있고(예컨대, 객체를 선택(도 19b), 선택 포인트를 지정(도 19n), 또는 선택할 다수의 객체들을 디스플레이함(도 19c)); 객체가 현재 선택되어 있는 경우, 디바이스(1900)는 배치 모드에서 동작하고, 배치 행동을 수행할 수 있다(예컨대, 객체를 시선 위치에 배치 또는 선택된 객체의 잔상 이미지를 지정된 배치 위치에 디스플레이함; 예컨대, 상기 도 19h 내지 도 19j 및 아래 도 19p 및 도 19q의 설명 참조).
도 19n을 참조하면, 포커스 표시자(1920)는 사용자 입력(1910h)의 시기의 시선(1906)의 위치에 대응하는 다수의 선택가능한 객체들이 있다는 결정에 따라 디스플레이된다. 예를 들어, 디바이스(1900)가 충분한 확실성을 갖고 시선(1906)이 사진 무더기(1908) 또는 머그(1918)에 대응하는지 결정할 수 없는 경우, 포커스 표시자(1920)는 사용자(200)는 사용자가 어느 객체를 선택하기를 바라는지 명확히 하도록 디스플레이된다. 도시된 실시예에서, 사용자(200)는 머그(1918)를 선택하기를 바라고, 사용자 입력(1910i)을 제공하는데, 이는 포커스 표시자(1920)를 머그(1918)로 이동시키기 위한 터치-감응형 표면(1904) 상의 우측-좌측 스와이프 또는 드래그 제스처를 포함한다. 사용자 입력(1910i)을 수신하는 것에 응답하여, 선택 포인트는 머그(1918)에 대응하는 위치로 이동되며, 이는 도 19o에서 포커스 표시자(1920)로 표시되는 바와 같다. 선택 포인트가 머그(1918) 상에 위치설정되어 있는 동안, 디바이스(1900)는 사용자 입력(1910j)(예컨대, 클릭)을 수신한다. 사용자 입력(1910j)을 수신하는 것에 응답하여, 선택 포인트는 확인되고, 선택 포인트의 현재 위치에 대응하는 객체가 선택된다. 도 19p에 도시된 바와 같이, 머그(1918) 주위에 포커스 표시자(1915)(예컨대, 하이라이팅)에 의해 표시된 바와 같이, 머그(1918)가 선택되고, 시선(1906)이 재결합된다.
도 19p에 도시된 바와 같이, 머그(1918)가 선택된 상태를 유지하는 동안, 사용자(200)는 시선(1906)을 테이블(1922)로 이동시킨다. 도시된 실시예에서, 머그(1918)는 동일한 위치에서 디스플레이되는 상태를 유지한다(예컨대, 시선(1906)이 결합되어 있어도 시선(1906)과 함께 이동되지 않음).
시선(1906)이 도 19p에 도시된 바와 같이 위치설정되어 있는 동안, 디바이스(1900)는 사용자 입력(1910k)을 수신한다. 사용자 입력(1910k)을 수신하는 것에 응답하여, 배치 포인트가 시선(1906)에 대응하는 위치에서 포커스 표시자(1920)에 의해 지정되고, 시선(1906)은 도 19q에 도시된 바와 같이 결합해제된다. 일부 실시예들에서, 포커스 표시자(1920)는 포인터, 커서, 도트, 구, 하이라이팅, 테두리, 또는 선택된 객체의 잔상 이미지(예컨대, 머그(1918))를 포함한다.
일부 실시예들에서, 머그(1918)가 선택되어 있는 동안, 사용자 입력에 대한 응답(1910k)은 사용자 입력(1910k)의 시기의 시선(1906)의 위치에 대응하는 하나 초과의 배치 위치가 있는지 여부에 따라 달라진다. 도 19p에서, 배치 포인트는 시선(1906)의 위치가 복수의 유망한 선택가능한 배치 위치들에 대응한다는 결정에 따라 지정된다(예컨대, 시선 위치에 또는 그 근처에 다양한 유망한 배치 위치가 있는 경우, 디바이스(1900)는 선택된 객체에 대한 배치 위치를 확인하지 않음). 일부 실시예들에서, 시선(1906)의 위치가 단지 하나의 선택가능한 배치 위치에 대응한다는 결정에 따라, 그리고 사용자 입력(1910k)을 수신하는 것에 응답하여, 디바이스(1900)는 선택된 객체를 시선 위치에 배치하고, 객체를 선택해제하고, 시선(1906)을 재결합시킨다.
도 19q를 참조하면, 배치 포인트가 지정되어 있는 동안, 디바이스(1900)는 사용자 입력(1910l)을 수신하는데, 이는 터치-감응형 표면(1904) 상에서 위로 그리고 오른쪽으로 끄는 대각방향 스와이프 또는 드래그 제스처를 포함한다. 사용자 입력(1910l)을 수신하는 것에 응답하여, 배치 포인트는 사용자 입력(1910l)을 따라 이동되며, 이는 도 19r에 도시된 바와 같이, 테이블(1922)의 중심을 향해 이동하는 포커스 표시자(1920)에 의해 표시되는 바와 같다. 배치 포인트는 사용자 입력(1910m)을 수신하는 것에 응답하여 확인되고, 선택된 객체(예컨대, 머그(1918))는 테이블(1922) 상의 확인된 배치 포인트에 배치되며, 이는 도 19s에 도시된 바와 같다. 시선(1906)은 또한 사용자 입력(1910m)을 수신하는 것에 응답하여 재결합된다.
이제 도 19t를 참조하면, 가상 환경(1902)은 도 19m에 도시된 바와 같이, 메뉴 어포던스(1924)를 추가한 채로 구성되며, 이는 메뉴 어포던스(1924)의 부근에서 객체들(예컨대, 테이블(1912), 사진들(1908), 및 머그(1918))과 연관된다. 도 19t에서, 시선(1906)이 메뉴 어포던스(1924) 상에 위치설정되어 있는 동안, 디바이스(1900)는 사용자 입력(1910n)(예컨대, 터치)을 수신한다. 사용자 입력(1910n)을 수신하는 것에 응답하여, 메뉴 어포던스(1924)가 선택되고, 시선(1906)은 사용자 입력으로부터 결합해제되는데, 이는 도 19u에 도시된 바와 같다.
메뉴 어포던스(1924)의 선택은 메뉴 옵션들(1926a 내지 1926d)의 디스플레이를 야기하며, 이는 시선(1906)에 독립적인 입력을 이용하여 순환 및 선택될 수 있다. 도 19u에 도시된 바와 같이, 메뉴 어포던스(1924)의 선택에 응답하여 포커스 표시자(1928)(예컨대, 굵은 경계)를 이용하여 메뉴 옵션(1926a)(테이블 선택)이 초기에 지정된다.
도 19v에 도시된 바와 같이, 디바이스(1900)는 사용자 입력(1910o)을 수신하는데, 이는 하향 스와이프 또는 드래그 제스처를 포함한다. 사용자 입력(1910o)을 수신하는 것에 응답하여, 포커스 표시자(1928)는 시선(1906)의 위치에 상관없이 사용자 입력(1910o)을 따라 메뉴 옵션(1926a)(테이블 선택)으로부터 아래로 메뉴 옵션(1926b)(사진 선택)으로 이동하며, 이는 도 19w에 도시된 바와 같다.
도 19w에서, 디바이스(1900)는 사용자 입력(1910p)을 수신하는데, 이는 추가적인 하향 이동을 포함한다. 사용자 입력(1910p)을 수신하는 것에 응답하여, 포커스 표시자(1928)는 다시 시선(1906)의 위치에 상관없이 사용자 입력(1910p)을 따라 메뉴 옵션(1926b)(사진 선택)으로부터 아래로 메뉴 옵션(1926c)(머그 선택)으로 이동하며, 이는 도 19x에 도시된 바와 같다.
도 19x에서, 메뉴 옵션(1926C)이 지정되어 있는 동안, 디바이스(1900)는 사용자 입력(1910q)을 수신한다. 사용자 입력(1910q)을 수신하는 것에 응답하여, 메뉴 옵션(1926c)에 대응하는 객체가 선택되고, 이는 도 19y에 도시된 바와 같다. 도 19y에서, 사용자 입력(1910r)을 수신하는 것에 응답하여, 머그(1918)가 선택되고 사용자(200)의 시야의 중심으로 이동된다.
또한, 도 19a 내지 도 19y를 참조하여 전술된 실시예들이 가상 환경을 참조하지만, 유사한 기술들이 혼합 현실 환경을 포함하는, 다른 CGR 환경에 적용될 수 있다.
이제 도 20을 참조하면, 눈의 시선을 이용하여 전자 디바이스와 상호작용하기 위한 예시적인 프로세스(2000)의 흐름도가 도시된다. 프로세스(2000)는 사용자 디바이스(예컨대, 100a, 300, 900, 또는 1900)를 이용하여 수행될 수 있다. 사용자 디바이스는, 예를 들어, 핸드헬드 모바일 디바이스, 헤드-마운트 디바이스, 또는 헤드-업 디바이스이다. 일부 실시예들에서, 프로세스(2000)는 베이스 디바이스와 같은 다른 디바이스에 통신가능하게 결합되는 사용자 디바이스와 같은 둘 이상의 전자 디바이스들을 이용하여 수행된다. 이 실시예들에서, 프로세스(2000)의 동작들은 임의의 방식으로 사용자 디바이스와 다른 디바이스 사이에 분배된다. 또한, 사용자 디바이스의 디스플레이는 투명하거나 또는 불투명할 수 있다. 프로세스(2000)는 가상 현실 및 혼합 현실 환경을 포함하는 CGR 환경, 및 가상 객체들, 물리적 객체들, 및 가상 및 물리적 객체들에 대응하는 표현들(예컨대, 어포던스들)에 적용될 수 있다. 프로세스(2000)의 블록들이 도 20의 특정 순서대로 도시되어 있지만, 이 블록들은 다른 순서대로 수행될 수 있다. 또한, 프로세스(2000)의 하나 이상의 블록들은 부분적으로 수행되거나, 옵션적으로 수행되거나, 다른 블록(들)과 조합될 수 있고/있거나 추가적인 블록들이 수행될 수 있다.
블록(2002)에서, 디바이스는 제1 시기에 제1 사용자 입력(예컨대, 터치-감응형 표면 상의 접촉, 버튼 누르기, 또는 신체 제스처)을 수신한다. 블록(2004)에서, 제1 사용자 입력을 수신하는 것에 응답하여, 디바이스는 제1 시기의 시선 위치에 기초하여 제1 위치에 선택 포인트를 지정하며, 제1 위치는 제1 시기의 시선 위치에 대응한다. 일부 실시예들에서, 제1 시기의 시선 위치는 제1 사용자 입력(예컨대, 가장 최근 측정 또는 추정된 위치) 이전 또는 제1 사용자 입력에 후속하여(예컨대, 응답하여) 결정된다(예컨대, 측정 또는 추정됨).
일부 실시예들에서, 포커스 표시자가 시선 위치에 디스플레이된다. 일부 실시예들에서, 포커스 표시자는 포인터, 커서, 도트, 구, 하이라이팅, 테두리, 또는 (예컨대, 지정 또는 선택된 객체(들)의) 잔상 이미지를 포함한다. 일부 실시예들에서, 포커스 표시자는 시선 위치에서 객체에 대응하는 선택 포인트를 지정한다. 일부 실시예들에서, 디바이스는 제1 사용자 입력에 응답하여 사용자 입력으로부터 시선을 결합해제한다.
일부 실시예들에서, 제1 입력에 대한 응답은 상황적이다(예컨대, 응답은 시선 위치에 무엇이 위치하고 있는지(예컨대, 객체, 복수의 분별되지 않는 객체들, 메뉴 어포던스, 또는 객체 없음) 또는 객체가 현재 선택되어 있는지 여부에 기초함). 예를 들어, 객체가 현재 선택되지 않은 경우, 디바이스는 선택 모드에서 동작하고 선택 행동을 수행하는 반면(예컨대, 다수의 객체들이 선택을 위하여 디스플레이됨), 객체가 현재 선택되어 있는 경우, 디바이스는 배치 모드로 동작하고 배치 행동을 수행한다(예컨대, 선택된 객체의 잔상 이미지는 잠정적인 배치 위치에 디스플레이됨).
일부 실시예들에서, 선택 포인트는 제1 위치는 복수의 선택가능한 객체들에 대응한다는 결정에 따라 제1 위치에 지정된다. 일부 실시예들에서, 복수의 객체들은 사용자의 시선에 기초하여 분별될 수 없는 가까이 이격된 객체들의 그룹이다. 일부 실시예들에서, 복수의 객체들은 시선 위치에서 객체(예컨대, 메뉴 어포던스)와 연관된 메뉴 옵션들이다. 예를 들어, 디바이스는 선택될 객체에 관하여 불명확성 또는 불확실성이 있다고 결정되는 경우 객체의 선택을 확인하는 것이 아니라 선택 포인트를 잠정적으로 지정한다. 일부 그러한 실시예들에서, 제1 사용자 입력을 수신하는 것에 응답하여, 제1 위치는 단지 하나의 선택가능한 객체에 대응한다는 결정에 따라, 디바이스는 (예컨대, 선택 포인트를 제1 위치에 지정하는 대신에) 하나의 선택가능한 객체를 선택한다.
일부 실시예들에서, 선택 포인트는 제1 사용자 입력이 제1 유형의 입력(예컨대, 터치-감응형 표면 상의 터치, 버튼 누르기, 또는 신체 제스처)이라는 결정에 따라 제1 위치에 지정된다. 일부 그러한 실시예들에서, 제1 사용자 입력을 수신하는 것에 응답하여 그리고 제1 사용자 입력이 제1 유형의 입력과 상이한 제2 유형의 입력(예컨대, 터치-감응형 표면 상의 클릭(터치와 대조됨), 상이한 버튼 누르기, 또는 상이한 신체 제스처)이라는 결정에 따라, 디바이스는 제1 위치에서 선택 포인트를 확인한다.
선택 포인트의 지정을 유지하는 동안, 디바이스는 블록들(2006, 2008, 2010, 2012)의 동작들을 수행한다. 블록(2006)에서, 디바이스는 제2 사용자 입력(예컨대, 터치-감응형 표면 상의 접촉의 이동 또는 방향 버튼 누르기)을 수신한다. 블록(2008)에서, 제2 사용자 입력을 수신하는 것에 응답하여, 디바이스는 선택 포인트를 제1 위치와 상이한 제2 위치로 이동시키며, 선택 포인트를 제2 위치로 이동시키는 것은 시선 위치에 기초하지 않는다. 예를 들어, 디바이스는 포커스 표시자를 상이한 객체, 선택 포인트, 또는 배치 포인트로 이동시킨다. 일부 실시예들에서, 선택 포인트는 제2 입력의 특성들(예컨대, 위치, 방향, 속도, 지속시간 등)에만 기초하여 이동된다. 일부 실시예들에서, 선택 포인트의 이동은 시선 위치에 독립적이다(기초하지 않음). 일부 실시예들에서, 제2 위치는 제2 사용자 입력과 연관된 시선 위치와 상이하다.
일부 실시예들에서, 디바이스가 제1 모드(예컨대, 사용자 입력에 대한 응답이 사용자의 시선에 기초하는 시선-결합 모드)에 있는 동안 제1 사용자 입력이 수신되고, 선택 포인트는 디바이스가 제1 모드에 있음에 따라 제1 위치에 지정된다. 일부 그러한 실시예들에서, 제1 사용자 입력을 수신하는 것에 응답하여, 디바이스는 제1 모드에서 제2 모드로 전환된다(예컨대, 시선이 추가적인 입력으로부터 결합해제되어 사용자 입력에 대한 응답이 사용자의 시선에 기초하지 않는 시선-결합해제 모드). 일부 그러한 실시예들에서, 디바이스가 제2 모드에 있는 동안 제2 입력이 수신되고, 선택 포인트는 디바이스가 제2 모드에 있음에 따라 제2 위치로 이동된다.
블록(2010)에서, 선택 포인트가 제2 위치에 있는 동안, 디바이스는 제3 사용자 입력(예컨대, 클릭, 더블 탭, 또는 터치-감응형 표면으로부터의 접촉 리프트오프)을 수신한다. 블록(2012)에서, 제3 사용자 입력을 수신하는 것에 응답하여, 디바이스는 제2 위치에서 선택 포인트를 확인한다. 일부 실시예들에서, 확인 시 디바이스는 입력을 시선과 재결합한다(예컨대, 시선-결합해제 모드에서 시선-결합 모드로 전환). 일부 실시예들에서, 디바이스가 제2 모드(시선-결합해제 모드)에 있는 동안 제3 입력이 수신되고, 디바이스가 제2 모드에 있음에 따라 선택 포인트는 제2 위치에서 확인된다.
일부 실시예들에서, 선택 포인트를 확인하는 것은 선택 포인트위 위치(예컨대, 제2 위치)에 대응하는 객체를 선택한다. 예를 들어, 제3 사용자 입력을 수신하는 것에 응답하여, 디바이스는 제2 위치에 대응하는 객체를 선택한다.
일부 실시예들에서, 선택 포인트를 확인하는 것은 선택 포인트의 위치에 객체를 배치한다. 예를 들어, 제1 사용자 입력을 수신하기 전에, 디바이스는 제2 위치와 상이한 제3 위치에서 객체를 선택하고, 제3 사용자 입력을 수신하는 것에 응답하여, 제2 위치에 객체를 배치한다. 일부 실시예들에서, 제1 사용자 입력을 수신하기 전에, 디바이스는 제2 위치와 상이한 제3 위치에서 객체를 선택하고, 선택 포인트는 제1 위치는 복수의 선택가능한 배치 위치들에 대응한다는 결정에 따라 제1 위치에 지정된다(예컨대, 디바이스는 선택될 위치에 관해 불명확성 또는 불확실성이 있으면 배치 위치를 확인하지 않음). 일부 그러한 실시예들에서, 제1 사용자 입력을 수신하는 것에 응답하여 그리고 제1 위치는 단지 하나의 선택가능한 배치 위치에 대응한다는 결정에 따라, 디바이스는 하나의 선택가능한 배치 위치에 객체를 배치한다(예컨대, 하나의 옵션만 있는 경우 디바이스는 배치 위치를 지정하는 것을 잠정적으로 건너뛴다).
일부 실시예들에서, 제1 사용자 입력은 제2 사용자 입력 또는 제3 사용자 입력과 동일한 유형의 입력이다. 일부 실시예들에서, 한번의 탭 또는 버튼 누르기는 포인트 또는 객체(들)를 지정하는 데 사용되고, 다른 한번의 탭 또는 동일한 버튼 누르기는 지정된 포인트 또는 객체(들)를 확인하는 데 사용된다. 일부 실시예들에서, 디바이스는 디바이스가 동작 중인 모드(예컨대, 선택 모드 또는 배치 모드)에 기초하여 어떤 행동이 취해질 지 결정한다.
이제 도 21을 참조하면, 눈의 시선을 이용하여 전자 디바이스와 상호작용하기 위한 예시적인 프로세스(2100)의 흐름도가 도시된다. 프로세스(2100)는 사용자 디바이스(예컨대, 100a, 300, 900, 또는 1900)를 이용하여 수행될 수 있다. 사용자 디바이스는, 예를 들어, 핸드헬드 모바일 디바이스, 헤드-마운트 디바이스, 또는 헤드-업 디바이스이다. 일부 실시예들에서, 프로세스(2100)는 베이스 디바이스와 같은 다른 디바이스에 통신가능하게 결합되는 사용자 디바이스와 같은 둘 이상의 전자 디바이스들을 이용하여 수행된다. 이 실시예들에서, 프로세스(2100)의 동작들은 임의의 방식으로 사용자 디바이스와 다른 디바이스 사이에 분배된다. 또한, 사용자 디바이스의 디스플레이는 투명하거나 또는 불투명할 수 있다. 프로세스(2100)는 가상 현실 및 혼합 현실 환경을 포함하는 CGR 환경, 및 가상 객체들, 물리적 객체들, 및 가상 및 물리적 객체들에 대응하는 표현들(예컨대, 어포던스들)에 적용될 수 있다. 프로세스(2100)의 블록들이 도 21의 특정 순서대로 도시되어 있지만, 이 블록들은 다른 순서대로 수행될 수 있다. 또한, 프로세스(2100)의 하나 이상의 블록들은 부분적으로 수행되거나, 옵션적으로 수행되거나, 다른 블록(들)과 조합될 수 있고/있거나 추가적인 블록들이 수행될 수 있다.
블록(2102)에서, 디바이스는 제1 시기에 제1 사용자 입력을 수신한다. 블록(2104)에서, 제1 사용자 입력을 수신하는 것에 응답하여, 디바이스는 시선 위치에 기초하여 복수의 객체들 중 제1 객체를 지정한다(예컨대, 복수의 객체들의 위치는 제1 시기의 시선 위치에 대응함). 일부 실시예들에서, 포커스 표시자가 제1 객체를 지정한다. 일부 실시예들에서, 복수의 객체들은 하이라이트 또는 확대되거나 또는 시선 위치에서 메뉴 어포던스에 대응하는 메뉴 옵션들이 디스플레이된다.
일부 실시예들에서, 제1 시기의 시선 위치가 하나 초과의 객체(예컨대, 복수의 객체들)에 대한 시선에 대응한다는 결정에 따라 제1 객체가 지정된다. 예를 들어, 디바이스는 선택될 객체에 대한 불명확성 또는 불확실성이 있는 경우 선택을 확인하지 않는다. 일부 그러한 실시예들에서, 제1 사용자 입력을 수신하는 것에 응답하여 그리고 제1 시기의 시선 위치가 단지 하나의 선택가능한 객체에 대한 시선에 대응한다는 결정에 따라, 디바이스는 하나의 선택가능한 객체를 선택한다.
일부 실시예들에서, 제1 사용자 입력은 디바이스가 제1 모드(예컨대, 사용자 입력에 대한 응답이 사용자의 시선에 기초하는 시선-결합 모드)에 있는 동안 수신되고, 전자 디바이스가 제1 모드에 있음에 따라 제1 객체가 지정된다. 일부 그러한 실시예들에서, 제1 사용자 입력을 수신하는 것에 응답하여, 디바이스는 제1 모드에서 제2 모드로 전환된다(예컨대, 시선이 추가적인 입력으로부터 결합해제되어 사용자 입력에 대한 응답이 사용자의 시선에 기초하지 않는 시선-결합해제 모드로 전환됨). 일부 그러한 실시예들에서, 전자 디바이스가 제2 모드에 있는 동안 제2 입력이 수신되고, 전자 디바이스가 제2 모드에 있음에 따라 제2 객체가 지정된다.
일부 실시예들에서, 제1 사용자 입력이 제1 유형의 입력(예컨대, 터치-감응형 표면 상의 터치, 버튼 누르기, 또는 신체 제스처)이라는 결정에 따라 제1 객체가 지정된다. 일부 그러한 실시예들에서, 제1 사용자 입력을 수신하는 것에 응답하여 그리고 제1 사용자 입력이 제1 유형의 입력과 상이한 제2 유형의 입력(예컨대, 터치-감응형 표면 상의 클릭(터치와 대조됨), 상이한 버튼 누르기, 또는 상이한 신체 제스처)이라는 결정에 따라, 디바이스는 복수의 객체들을 선택한다.
제1 객체의 지정을 유지하는 동안, 디바이스는 블록들(2106, 2108)의 동작들을 수행한다. 블록(2106)에서, 디바이스는 제2 사용자 입력을 수신한다. 블록(2108)에서, 제2 사용자 입력을 수신하는 것에 응답하여, 디바이스는 제1 객체의 지정을 중단하고 복수의 객체들 중 제2 객체를 지정하며(예컨대, 포커스 표시자를 상이한 객체로 이동시킴), 제2 객체를 지정하는 것은 시선 위치에 기초하지 않는다. 일부 실시예들에서, 제2 객체는 제2 사용자 입력의 특성들(예컨대, 위치, 방향, 속도, 지속시간 등)에만 기초하여 선택된다. 일부 실시예들에서, 제2 사용자 입력은 제2 시기에 있고, 제2 시기의 제2 객체의 위치는 제2 시기의 시선 위치와 상이하다.
제2 객체의 지정을 유지하는 동안, 디바이스는 블록들(2110, 2112)의 동작들을 수행한다. 블록(2110)에서, 디바이스는 제3 사용자 입력을 수신한다. 블록(2112)에서, 제3 사용자 입력을 수신하는 것에 응답하여, 디바이스는 제2 객체를 선택한다.
일부 실시예들에서, 제2 객체를 선택한 후, 디바이스는 제2 시기에 제4 사용자 입력을 수신한다. 제4 사용자 입력을 수신하는 것에 응답하여 그리고 제4 사용자 입력이 제1 유형의 입력이라는 결정에 따라, 디바이스는 제2 시기의 시선 위치에 제2 객체를 배치한다. 제4 사용자 입력을 수신하는 것에 응답하여 그리고 제4 사용자 입력이 제1 유형의 입력과 상이한 제2 유형의 입력이라는 결정에 따라, 디바이스는 제2 시기의 시선 위치에 대응하는 배치 포인트를 지정한다. 일부 그러한 실시예들에서 배치 위치의 지정을 유지하는 동안, 디바이스는 제5 사용자 입력을 수신하고, 제5 사용자 입력을 수신하는 것에 응답하여, 배치 포인트의 현재 위치에 제2 객체를 배치한다.
일부 실시예들에서, 제1 사용자 입력은 제2 사용자 입력 또는 제3 사용자 입력과 동일한 유형의 입력이다. 일부 실시예들에서, 한번의 탭 또는 버튼 누르기는 제1 객체를 지정하는 데 사용되고, 다른 한번의 탭 또는 동일한 버튼 누르기는 제2 객체를 선택하는 데 사용된다.
이제 도 22를 참조하면, 눈의 시선을 이용하여 전자 디바이스와 상호작용하기 위한 예시적인 프로세스(2200)의 흐름도가 도시된다. 프로세스(2200)는 사용자 디바이스(예컨대, 100a, 300, 900, 또는 1900)를 이용하여 수행될 수 있다. 사용자 디바이스는, 예를 들어, 핸드헬드 모바일 디바이스, 헤드-마운트 디바이스, 또는 헤드-업 디바이스이다. 일부 실시예들에서, 프로세스(2200)는 베이스 디바이스와 같은 다른 디바이스에 통신가능하게 결합되는 사용자 디바이스와 같은 둘 이상의 전자 디바이스들을 이용하여 수행된다. 이 실시예들에서, 프로세스(2200)의 동작들은 임의의 방식으로 사용자 디바이스와 다른 디바이스 사이에 분배된다. 또한, 사용자 디바이스의 디스플레이는 투명하거나 또는 불투명할 수 있다. 프로세스(2200)는 가상 현실 및 혼합 현실 환경을 포함하는 CGR 환경, 및 가상 객체들, 물리적 객체들, 및 가상 및 물리적 객체들에 대응하는 표현들(예컨대, 어포던스들)에 적용될 수 있다. 프로세스(2200)의 블록들이 도 22의 특정 순서대로 도시되어 있지만, 이 블록들은 다른 순서대로 수행될 수 있다. 또한, 프로세스(2200)의 하나 이상의 블록들은 부분적으로 수행되거나, 옵션적으로 수행되거나, 다른 블록(들)과 조합될 수 있고/있거나 추가적인 블록들이 수행될 수 있다.
블록(2202)에서, 디바이스는 객체를 선택한다(예컨대, 프로세스(2100)에 기술된 바와 같음). 객체의 선택을 유지하는 동안, 디바이스는 블록들(2204, 2206, 2208, 2210, 2212, 2214)의 동작들을 수행한다. 블록(2204)에서, 디바이스는 제1 시기에 제1 사용자 입력을 수신한다. 블록(2206)에서, 제1 사용자 입력을 수신하는 것에 응답하여, 디바이스는 제1 시기의 시선 위치에 기초하여 제1 위치에 배치 포인트를 지정하며, 제1 위치는 제1 시기의 시선 위치에 대응한다.
일부 실시예들에서, 배치 포인트는 제1 사용자 입력이 제1 유형의 입력(예컨대, 터치-감응형 표면 상의 터치, 버튼 누르기, 또는 신체 제스처)이라는 결정에 따라 제1 위치에 지정된다. 일부 그러한 실시예들에서, 제1 사용자 입력을 수신하는 것에 응답하여 그리고 제1 사용자 입력이 제1 유형의 입력과 상이한 제2 유형의 입력(예컨대, 터치-감응형 표면 상의 클릭(터치와 대조됨), 상이한 버튼 누르기, 또는 상이한 신체 제스처)이라는 결정에 따라, 디바이스는 제1 위치에 선택된 객체를 배치한다.
일부 실시예들에서, 제1 위치가 복수의 선택가능한 배치 위치들에 대응한다는 결정에 따라 배치 포인트가 제1 위치에 지정된다(예컨대, 디바이스는 배치를 위해 선택될 위치에 관해 불명확성 또는 불확실성이 있으면 배치 위치를 확인하지 않음). 일부 그러한 실시예들에서, 제1 사용자 입력을 수신하는 것에 응답하여 그리고 제1 위치는 단지 하나의 선택가능한 배치 위치에 대응한다는 결정에 따라, 디바이스는 하나의 선택가능한 배치 위치에 선택된 객체를 배치한다.
배치 포인트의 지정을 유지하는 동안, 디바이스는 블록들(2208, 2210, 2212, 2214)의 동작들을 수행한다. 블록(2208)에서, 디바이스는 제2 사용자 입력을 수신한다. 블록(2210)에서, 제2 사용자 입력을 수신하는 것에 응답하여, 디바이스는 배치 포인트를 제1 위치와 상이한 제2 위치로 이동시키며, 배치 포인트를 제2 위치로 이동시키는 것은 시선 위치(예컨대, 제2 사용자 입력의 시기의 시선 위치)에 기초하지 않는다. 일부 실시예들에서, 제2 위치는 제2 사용자 입력과 연관된 시선 위치와 상이하다.
일부 실시예들에서, 전자 디바이스가 제1 모드(예컨대, 사용자 입력에 대한 응답이 시선 위치에 기초하는 시선-결합 모드)에 있는 동안 제1 사용자 입력이 수신되고, 배치 포인트는 전자 디바이스가 제1 모드에 있음에 따라 제1 위치에 지정된다. 일부 그러한 실시예들에서, 제1 사용자 입력을 수신하는 것에 응답하여, 디바이스는 제1 모드에서 제2 모드로 전환된다(예컨대, 제1 입력에 응답하여 시선이 추가적인 입력으로부터 결합해제되어 사용자 입력에 대한 응답이 사용자의 시선에 기초하지 않는 시선-결합해제 모드로 전환됨). 일부 그러한 실시예들에서, 전자 디바이스가 제2 모드에 있는 동안 제2 사용자 입력이 수신되고, 배치 포인트는 전자 디바이스가 제2 모드에 있음에 따라 제2 위치로 이동된다.
블록(2212)에서, 디바이스는 제3 사용자 입력을 수신한다. 블록(2214)에서, 제3 사용자 입력을 수신하는 것에 응답하여, 디바이스는 선택된 객체를 제2 위치에 배치하고, 옵션적으로, 객체를 선택해제한다. 일부 실시예들에서, 제1 사용자 입력은 제2 사용자 입력 또는 제3 사용자 입력과 동일한 유형의 입력이다. 일부 실시예들에서, 한번의 탭 또는 버튼 누르기는 배치 포인트를 제1 위치에 지정하는 데 사용되고, 다른 한번의 탭 또는 동일한 버튼 누르기는 선택된 객체를 제2 위치에 배치하는 데 사용된다.
전술된 프로세스들(2000, 2100, 및/또는 2200)의 특징부들을 수행하기 위한 실행가능 명령어들은, 옵션적으로, 일시적인 또는 비일시적 컴퓨터-판독가능 저장 매체(예컨대, 메모리(들)(106)) 또는 하나 이상의 프로세서들(예컨대, 프로세서(들)(102))에 의한 실행을 위해 구성된 기타 컴퓨터 프로그램 제품에 포함된다. 프로세스(2000)의 일부 동작들은, 옵션적으로, 프로세스(2100) 및/또는 프로세스(2200)에 포함되거나(예컨대, 블록(2004) 및/또는 블록(2008)은 블록(2104) 및/또는 블록(2108)에 각각 포함됨), 프로세스(2100)의 일부 동작들은, 옵션적으로, 프로세스(2000) 및/또는 프로세스(2200)에 포함되고(예컨대, 블록(2202)은 블록(2112)을 포함함), 프로세스(2200)의 일부 동작들은, 옵션적으로, 프로세스(2000) 및/또는 프로세스(2100)에 포함된다(예컨대, 블록(2112)은 블록(2202)을 포함함). 또한, 프로세스들(2000, 2100, 및/또는 2200)의 일부 동작들(예컨대, 블록들(2004, 2008, 2104, 2108, 2206, 및/또는 2210))은, 옵션적으로, 프로세스들(1600, 1700, 및/또는 1800)에 포함되고, 프로세스들(1600, 1700, 및/또는 1800)의 일부 동작들(예컨대, 블록들(1604, 1606, 1704, 1706, 1804, 및/또는 1806))은, 옵션적으로, 프로세스들(2000, 2100, 및/또는 2200)에 포함된다.
위에 기재된 바와 같이, 본 기술의 일 양태는 사용자의 시선에 관한 데이터의 사용을 수반한다. 본 기술에서 시선 정보는 사용자들의 이익에 사용될 수 있다. 예를 들어, 사용자의 시선은 컴퓨터 생성 현실 환경의 특정 부분 상의 사용자의 포커스를 추론하고 사용자가 시야의 일부분에서 특정 객체들과 상호작용하도록 하는 데 사용될 수 있다. 그러나, 일부 사용자들이 시선 정보가 민감하거나 또는 개인적인 본성이라고 생각할 수 있는 것도 가능하다.
CGR 시스템에 의해 검출되는 시선 정보를 수집, 사용, 전송, 저장, 또는 다른 방식으로 영향을 주는 개체들은 잘 확립된 프라이버시 정책 및/또는 프라이버시 관례를 준수해야 한다. 특히, 그러한 엔티티들은, 대체로 개인 정보 데이터를 사적이고 안전하게 유지시키기 위한 산업적 또는 행정적 요건들을 충족시키거나 넘어서는 것으로 인식되는 프라이버시 정책들 및 관례들을 구현하고 지속적으로 이용해야 한다. 그러한 정책들은 사용자들에 의해 쉽게 액세스가능해야 하고, 데이터의 수집 및/또는 이용이 변화함에 따라 업데이트되어야 한다. 사용자들로부터의 시선 정보는 엔티티의 적법하며 적정한 사용들을 위해 수집되어야 하고, 이들 적법한 사용들을 벗어나서 공유되거나 판매되지 않아야 한다. 또한, 그러한 수집/공유는 사용자들의 통지된 동의를 수신한 후에 발생해야 한다. 부가적으로, 그러한 엔티티들은 그러한 정보 데이터에 대한 액세스를 보호하고 안전하게 하며 시선 정보 데이터에 대한 액세스를 갖는 다른 사람들이(존재하는 경우) 그들의 프라이버시 정책들 및 절차들을 고수한다는 것을 보장하기 위한 임의의 필요한 단계들을 취하는 것을 고려해야 한다. 게다가, 그러한 엔티티들은 널리 인정된 프라이버시 정책들 및 관례들에 대한 그들의 고수를 증명하기 위해 제3자들에 의해 그들 자신들이 평가를 받을 수 있다. 추가로, 정책들 및 관례들은 수집되고/되거나 액세스되는 특정 타입들의 시선 정보 데이터에 대해 조정되고, 관할구역 특정 고려사항들을 비롯한 적용가능한 법률들 및 표준들에 적응되어야 한다.
본 개시내용은 또한 사용자들이 선택적으로 시선 정보의 사용, 또는 그에 대한 액세스를 차단하는 실시예들을 고려한다. 본 기술을 구현하는 개체들은 사용자들이 서비스 등록 중간에 또는 그 이후로 언제든지 시선 정보의 사용의 참여의 "동의함" 또는 "동의하지 않음"을 선택하도록 하면서 소정 특징부들이 제공될 수 있는지 결정할 수 있다. "동의" 및 "동의하지 않음" 옵션들을 제공하는 것에 더하여, 본 발명은 시선 정보의 액세스 또는 이용에 관한 통지들을 제공하는 것을 고려한다. 예를 들어, 사용자는 앱을 다운로드할 때 그들의 개인적인 시선 데이터가 액세스될 것이라고 통지받을 수 있다. 사용자들은 또한 일부 시선 정보가 소정 특징부들을 제공하는 데 사용되고 있는 이유에 관하여 투명하게 교육될 수 있다. 예를 들어, 시선 정보를 이용하여 사용자가 어디를 보고 있는지 결정하는 가상 현실 시스템들에서, 사용자에게 그들의 시선 정보가 시스템이 가상 환경의 어떤 시야를 렌더링해야 하는지 결정하는 데 사용되고 있는지 알려줌으로써, 사용자로 하여금 시선 정보의 사용을 허용할 시기에 관해 통지된 결정을 내리게 할 수 있다.
그럼에도 불구하고, 의도하지 않은 또는 인가되지 않은 액세스 또는 이용의 위험을 최소화하는 방식으로 시선 정보 데이터가 관리되고 처리되어야 한다는 것이 본 발명의 의도이다. 데이터의 수집을 제한하고 데이터가 더 이상 필요하지 않게 되면 데이터를 삭제함으로써 위험이 최소화될 수 있다. 추가로, 그리고 적용가능할 때, 사용자의 프라이버시를 보호하기 위해 데이터 식별해제가 사용될 수 있다. 비식별화는, 적절한 시기에, 특정 식별자들(예컨대, 사용자 이름, 디바이스 이름 등)을 제거하고, 저장된 데이터의 양 또는 특수성을 제어하고(예컨대, 좌표계에서 사용자가 보고 있는 곳의 수리적 좌표를 수집하지만, 해당 좌표에서 어떤 콘텐츠가 보여지고 있는지에 관한 정보는 수집되지 않음), 데이터가 어떻게 저장되는지 제어하는(예컨대, 국지적), 및/또는 기타 방법들에 의해 이용가능할 수 있다.
특정 실시 형태들에 대한 전술한 설명들은 예시 및 설명의 목적으로 제시되었다. 이들은 총망라하거나 청구범위의 범주를 개시된 정확한 형태로 제한하고자 하는 것이 아니며, 상기 교시를 고려하여 많은 수정 및 변형이 가능하다는 것을 이해하여야 한다.

Claims (41)

  1. 전자 디바이스에 의해 수행되는 방법으로서,
    제1 시기에 제1 사용자 입력을 수신하는 단계;
    상기 제1 사용자 입력을 수신하는 것에 응답하여, 상기 제1 시기의 시선 위치에 대응하는 복수의 객체들 중 제1 객체를 지정하는 단계;
    상기 제1 객체의 지정을 유지하는 동안, 제2 사용자 입력을 수신하는 단계;
    상기 제2 사용자 입력을 수신하는 것에 응답하여:
    상기 제1 객체의 지정을 중지하는 단계; 및
    상기 복수의 객체들 중 제2 객체를 지정하는 단계 - 상기 제2 객체를 지정하는 단계는 상기 시선 위치에 기초하지 않음 -; 및
    상기 제2 객체의 지정을 유지하는 동안, 제3 사용자 입력을 수신하는 단계;
    상기 제3 사용자 입력을 수신하는 것에 응답하여, 상기 제2 객체를 선택하는 단계;
    상기 제2 객체를 선택한 후에, 제2 시기에 제4 사용자 입력을 수신하는 단계; 및
    상기 제4 사용자 입력을 수신하는 것에 응답하여:
    상기 제2 시기의 시선 위치가 복수의 선택가능한 배치 위치들에 대응한다는 결정에 따라, 상기 제2 시기의 상기 시선 위치에 대응하는 배치 포인트를 지정하는 단계; 및
    상기 제2 시기의 시선 위치가 하나의 선택가능한 배치 위치에 대응한다는 결정에 따라, 상기 제2 시기의 상기 시선 위치에 상기 제2 객체를 배치하는 단계를 포함하는, 방법.
  2. 제1항에 있어서, 상기 제1 시기의 상기 시선 위치가 하나 초과의 선택가능한 객체에 대한 시선에 대응한다는 결정에 따라 상기 제1 객체가 지정되며, 상기 방법은:
    상기 제1 사용자 입력을 수신하는 것에 응답하여:
    상기 제1 시기의 상기 시선 위치가 단지 하나의 선택가능한 객체에 대한 시선에 대응한다는 결정에 따라, 상기 하나의 선택가능한 객체를 선택하는 단계를 추가로 포함하는, 방법.
  3. 삭제
  4. 제1항에 있어서,
    상기 배치 포인트의 지정을 유지하는 동안, 제5 사용자 입력을 수신하는 단계; 및
    상기 제5 사용자 입력을 수신하는 것에 응답하여, 상기 배치 포인트의 현재 위치에 상기 제2 객체를 배치하는 단계를 추가로 포함하는, 방법.
  5. 제1항에 있어서, 상기 제1 사용자 입력은 상기 전자 디바이스가 제1 모드에 있는 동안 수신되고, 상기 전자 디바이스가 상기 제1 모드에 있음에 따라 상기 제1 객체가 지정되고; 상기 방법은:
    상기 제1 사용자 입력을 수신하는 것에 응답하여, 상기 전자 디바이스를 상기 제1 모드에서 제2 모드로 전환하는 단계 - 상기 제2 사용자 입력은 상기 전자 디바이스가 상기 제2 모드에 있는 동안 수신되고, 상기 전자 디바이스가 상기 제2 모드에 있음에 따라 상기 제2 객체가 지정됨 -를 추가로 포함하는, 방법.
  6. 제1항에 있어서, 상기 제1 사용자 입력은 상기 제2 사용자 입력 또는 상기 제3 사용자 입력과 동일한 유형의 입력인, 방법.
  7. 제1항에 있어서, 상기 제2 사용자 입력은 제2 시기에 있고, 상기 제2 시기의 상기 제2 객체의 위치는 상기 제2 시기의 시선 위치와 상이한, 방법.
  8. 삭제
  9. 전자 디바이스의 하나 이상의 프로세서들에 의해 실행되도록 구성된 하나 이상의 프로그램들을 저장하는 컴퓨터-판독가능 저장 매체로서, 상기 하나 이상의 프로그램들은 제1항, 제2항 및 제4항 내지 제7항 중 어느 한 항의 방법을 수행하기 위한 명령어들을 포함하는, 컴퓨터-판독가능 저장 매체.
  10. 전자 디바이스로서,
    하나 이상의 프로세서들; 및
    상기 하나 이상의 프로세서들에 의해 실행되도록 구성된 하나 이상의 프로그램들을 저장하는 메모리를 포함하고, 상기 하나 이상의 프로그램들은 제1항, 제2항 및 제4항 내지 제7항 중 어느 한 항의 방법을 수행하기 위한 명령어들을 포함하는, 전자 디바이스.
  11. 삭제
  12. 삭제
  13. 삭제
  14. 삭제
  15. 삭제
  16. 삭제
  17. 삭제
  18. 삭제
  19. 삭제
  20. 삭제
  21. 삭제
  22. 삭제
  23. 삭제
  24. 삭제
  25. 삭제
  26. 삭제
  27. 삭제
  28. 삭제
  29. 삭제
  30. 삭제
  31. 삭제
  32. 삭제
  33. 삭제
  34. 삭제
  35. 삭제
  36. 삭제
  37. 삭제
  38. 삭제
  39. 삭제
  40. 삭제
  41. 삭제
KR1020207006018A 2017-09-29 2018-09-28 시선-기반 사용자 상호작용 KR102417968B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020227022762A KR20220100102A (ko) 2017-09-29 2018-09-28 시선-기반 사용자 상호작용

Applications Claiming Priority (9)

Application Number Priority Date Filing Date Title
US201762566080P 2017-09-29 2017-09-29
US201762566073P 2017-09-29 2017-09-29
US201762566206P 2017-09-29 2017-09-29
US62/566,080 2017-09-29
US62/566,206 2017-09-29
US62/566,073 2017-09-29
US201862734678P 2018-09-21 2018-09-21
US62/734,678 2018-09-21
PCT/US2018/053428 WO2019067902A1 (en) 2017-09-29 2018-09-28 USER INTERACTIONS BASED ON THE LOOK

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020227022762A Division KR20220100102A (ko) 2017-09-29 2018-09-28 시선-기반 사용자 상호작용

Publications (2)

Publication Number Publication Date
KR20200035103A KR20200035103A (ko) 2020-04-01
KR102417968B1 true KR102417968B1 (ko) 2022-07-06

Family

ID=63858220

Family Applications (3)

Application Number Title Priority Date Filing Date
KR1020207006018A KR102417968B1 (ko) 2017-09-29 2018-09-28 시선-기반 사용자 상호작용
KR1020237022376A KR20230106727A (ko) 2017-09-29 2018-09-28 시선-기반 사용자 상호작용
KR1020227022762A KR20220100102A (ko) 2017-09-29 2018-09-28 시선-기반 사용자 상호작용

Family Applications After (2)

Application Number Title Priority Date Filing Date
KR1020237022376A KR20230106727A (ko) 2017-09-29 2018-09-28 시선-기반 사용자 상호작용
KR1020227022762A KR20220100102A (ko) 2017-09-29 2018-09-28 시선-기반 사용자 상호작용

Country Status (6)

Country Link
US (10) US11086581B2 (ko)
EP (3) EP4235263A3 (ko)
JP (3) JP6938772B2 (ko)
KR (3) KR102417968B1 (ko)
CN (5) CN111052046B (ko)
WO (4) WO2019067902A1 (ko)

Families Citing this family (53)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2017100670C4 (en) 2016-06-12 2019-11-21 Apple Inc. User interfaces for retrieving contextually relevant media content
JP7149289B2 (ja) 2017-04-19 2022-10-06 マジック リープ， インコーポレイテッド ウェアラブルシステムのためのマルチモード実行およびテキスト編集
EP4235263A3 (en) 2017-09-29 2023-11-29 Apple Inc. Gaze-based user interactions
US10586434B1 (en) * 2017-10-25 2020-03-10 Amazon Technologies, Inc. Preventing unauthorized access to audio/video recording and communication devices
CN107977586B (zh) * 2017-12-22 2021-04-13 联想(北京)有限公司 显示内容处理方法、第一电子设备以及第二电子设备
US11544782B2 (en) 2018-05-06 2023-01-03 Strong Force TX Portfolio 2018, LLC System and method of a smart contract and distributed ledger platform with blockchain custody service
DK180171B1 (en) 2018-05-07 2020-07-14 Apple Inc USER INTERFACES FOR SHARING CONTEXTUALLY RELEVANT MEDIA CONTENT
CN112041788A (zh) 2018-05-09 2020-12-04 苹果公司 使用眼睛注视来选择文本输入字段
DK201970535A1 (en) 2019-05-06 2020-12-21 Apple Inc Media browsing user interface with intelligently selected representative media items
SE1950580A1 (en) * 2019-05-15 2020-10-13 Tobii Ab Method and system for dwell-less, hands-free interaction with a selectable object
CN112292726B (zh) * 2019-05-22 2022-02-22 谷歌有限责任公司 用于沉浸式环境中对象分组和操纵的方法、系统和介质
US11200305B2 (en) * 2019-05-31 2021-12-14 International Business Machines Corporation Variable access based on facial expression configuration
JP7301615B2 (ja) * 2019-06-17 2023-07-03 キヤノン株式会社 電子機器およびその制御方法
US11216233B2 (en) * 2019-08-06 2022-01-04 Motorola Mobility Llc Methods and systems for replicating content and graphical user interfaces on external electronic devices
CN110716641B (zh) * 2019-08-28 2021-07-23 北京市商汤科技开发有限公司 交互方法、装置、设备以及存储介质
US10943388B1 (en) * 2019-09-06 2021-03-09 Zspace, Inc. Intelligent stylus beam and assisted probabilistic input to element mapping in 2D and 3D graphical user interfaces
JP7436505B2 (ja) 2019-09-27 2024-02-21 アップル インコーポレイテッド 仮想オブジェクトの制御
CN111092795B (zh) * 2019-11-18 2022-04-01 北京小米移动软件有限公司 功能控制方法、功能控制装置及计算机可读存储介质
CN114902104A (zh) * 2019-12-27 2022-08-12 佳能株式会社 电子设备、电子设备控制方法、程序和存储介质
DK202070616A1 (en) 2020-02-14 2022-01-14 Apple Inc User interfaces for workout content
US20210326094A1 (en) * 2020-04-17 2021-10-21 Michael E. Buerli Multi-device continuity for use with extended reality systems
CN111722708B (zh) * 2020-04-29 2021-06-08 中国人民解放军战略支援部队信息工程大学 一种基于眼动的多维地理信息自适应智能交互方法及装置
GB2609863A (en) * 2020-05-06 2023-02-15 Apple Inc 3D photos
US11423621B1 (en) * 2020-05-21 2022-08-23 Facebook Technologies, Llc. Adaptive rendering in artificial reality environments
CN111586459B (zh) * 2020-05-22 2022-10-14 北京百度网讯科技有限公司 一种控制视频播放的方法、装置、电子设备及存储介质
KR20210111860A (ko) * 2020-05-22 2021-09-13 베이징 바이두 넷컴 사이언스 앤 테크놀로지 코., 엘티디. 비디오 재생 제어 방법, 장치, 전자 설비 및 저장매체
CN116438510A (zh) * 2020-06-26 2023-07-14 苹果公司 用于内容应用程序的设备、方法和图形用户界面
US20210407203A1 (en) * 2020-06-29 2021-12-30 Ilteris Canberk Augmented reality experiences using speech and text captions
CN115997154A (zh) * 2020-06-29 2023-04-21 苹果公司 氛围驱动的用户体验
GB202009876D0 (en) * 2020-06-29 2020-08-12 Microsoft Technology Licensing Llc Visual interface for a computer system
GB202009874D0 (en) * 2020-06-29 2020-08-12 Microsoft Technology Licensing Llc Visual interface for a computer system
WO2022014170A1 (ja) * 2020-07-13 2022-01-20 ソニーグループ株式会社 情報処理装置、情報処理方法、および情報処理システム
CN115836271A (zh) * 2020-07-14 2023-03-21 苹果公司 生成用于工作空间的建议内容
CN111985417A (zh) * 2020-08-24 2020-11-24 中国第一汽车股份有限公司 功能部件识别方法、装置、设备及存储介质
WO2022055821A1 (en) * 2020-09-11 2022-03-17 Sterling Labs Llc Method of displaying user interfaces in an environment and corresponding electronic device and computer readable storage medium
AU2021349382B2 (en) * 2020-09-25 2023-06-29 Apple Inc. Methods for adjusting and/or controlling immersion associated with user interfaces
KR20230050466A (ko) 2020-09-25 2023-04-14 애플 인크. 사용자 인터페이스들을 내비게이팅하기 위한 방법들
WO2022103421A1 (en) * 2020-11-16 2022-05-19 Google Llc System and method for casting content
EP4195005A1 (en) 2020-12-17 2023-06-14 Samsung Electronics Co., Ltd. Electronic device and operation method of electronic device
US11762458B2 (en) * 2021-02-15 2023-09-19 Sony Group Corporation Media display device control based on eye gaze
CN113010018B (zh) * 2021-04-20 2022-09-20 歌尔股份有限公司 交互控制方法、终端设备及存储介质
US20220374067A1 (en) * 2021-05-19 2022-11-24 International Business Machines Corporation Augmented reality based power management
DE112022003302T5 (de) * 2021-06-28 2024-04-18 Apple Inc. Verfahren und systeme zum ändern einer anzeige basierend auf benutzereingabe und -blick
CN114116110A (zh) * 2021-07-20 2022-03-01 上海诺司纬光电仪器有限公司 基于增强现实的智能界面
US11635808B2 (en) * 2021-08-12 2023-04-25 International Business Machines Corporation Rendering information in a gaze tracking device on controllable devices in a field of view to remotely control
WO2023049418A2 (en) * 2021-09-24 2023-03-30 Apple Inc. Devices, methods, and graphical user interfaces for interacting with media and three-dimensional environments
US20230107097A1 (en) * 2021-10-06 2023-04-06 Fotonation Limited Method for identifying a gesture
US20230130770A1 (en) * 2021-10-26 2023-04-27 Meta Platforms Technologies, Llc Method and a system for interacting with physical devices via an artificial-reality device
US20230152899A1 (en) * 2021-11-15 2023-05-18 Samsung Electronics Co., Ltd. Wearable device for communicating with at least one counterpart device according to trigger event and control method therefor
US20230315193A1 (en) * 2022-03-31 2023-10-05 Lenovo (Singapore) Pte. Ltd. Direction of user input to virtual objects based on command metadata
CN115209057B (zh) * 2022-08-19 2023-05-23 荣耀终端有限公司 一种拍摄对焦方法及相关电子设备
US20240103687A1 (en) * 2022-09-24 2024-03-28 Apple Inc. Methods for interacting with user interfaces based on attention
CN115562497B (zh) * 2022-11-04 2024-04-05 浙江舜为科技有限公司 增强现实信息交互方法、增强现实设备和存储介质

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080307360A1 (en) 2007-06-08 2008-12-11 Apple Inc. Multi-Dimensional Desktop

Family Cites Families (84)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2062911A1 (en) * 1991-05-17 1992-11-18 Stephen C. Gates Computer graphics system and method for auto-tresselating graphic objects
US5638501A (en) 1993-05-10 1997-06-10 Apple Computer, Inc. Method and apparatus for displaying an overlay image
US5664133A (en) 1993-12-13 1997-09-02 Microsoft Corporation Context sensitive menu system/menu behavior
US6300965B1 (en) * 1998-02-17 2001-10-09 Sun Microsystems, Inc. Visible-object determination for interactive visualization
JP4839598B2 (ja) * 2003-10-30 2011-12-21 ブラザー工業株式会社 画像表示装置
US8965460B1 (en) * 2004-01-30 2015-02-24 Ip Holdings, Inc. Image and augmented reality based networks using mobile devices and intelligent electronic glasses
KR101181766B1 (ko) 2005-12-23 2012-09-12 엘지전자 주식회사 이동통신 단말기에서의 메뉴 표시 방법, 및 그 방법을구현하기 위한 이동통신 단말기
KR100820639B1 (ko) * 2006-07-25 2008-04-10 한국과학기술연구원 시선 기반 3차원 인터랙션 시스템 및 방법 그리고 3차원시선 추적 시스템 및 방법
US9571625B2 (en) * 2009-08-11 2017-02-14 Lg Electronics Inc. Electronic device and control method thereof
US9916006B2 (en) * 2010-07-23 2018-03-13 Telepatheye Inc. Eye-wearable device user interface and method
US8408706B2 (en) * 2010-12-13 2013-04-02 Microsoft Corporation 3D gaze tracker
GB2489454A (en) * 2011-03-29 2012-10-03 Sony Corp A method of annotating objects in a displayed image
JP6126076B2 (ja) * 2011-03-29 2017-05-10 クアルコム，インコーポレイテッド 各ユーザの視点に対する共有デジタルインターフェースのレンダリングのためのシステム
AU2011205223C1 (en) * 2011-08-09 2013-03-28 Microsoft Technology Licensing, Llc Physical interaction with virtual objects for DRM
US9342610B2 (en) * 2011-08-25 2016-05-17 Microsoft Technology Licensing, Llc Portals: registered objects as virtualized, personalized displays
US9323325B2 (en) * 2011-08-30 2016-04-26 Microsoft Technology Licensing, Llc Enhancing an object of interest in a see-through, mixed reality display device
CA2847975A1 (en) 2011-09-07 2013-03-14 Tandemlaunch Technologies Inc. System and method for using eye gaze information to enhance interactions
US20130241805A1 (en) 2012-03-15 2013-09-19 Google Inc. Using Convergence Angle to Select Among Different UI Elements
CN104246682B (zh) 2012-03-26 2017-08-25 苹果公司 增强的虚拟触摸板和触摸屏
US9041622B2 (en) * 2012-06-12 2015-05-26 Microsoft Technology Licensing, Llc Controlling a virtual object with a real controller device
EP2696259B1 (en) * 2012-08-09 2021-10-13 Tobii AB Fast wake-up in a gaze tracking system
CN104603673B (zh) 2012-09-03 2017-03-15 Smi创新传感技术有限公司 头戴式系统以及使用头戴式系统计算和渲染数字图像流的方法
US20140152558A1 (en) * 2012-11-30 2014-06-05 Tom Salter Direct hologram manipulation using imu
US9977492B2 (en) * 2012-12-06 2018-05-22 Microsoft Technology Licensing, Llc Mixed reality presentation
US9202313B2 (en) * 2013-01-21 2015-12-01 Microsoft Technology Licensing, Llc Virtual interaction with image projection
EP2962175B1 (en) 2013-03-01 2019-05-01 Tobii AB Delay warp gaze interaction
KR20140110584A (ko) * 2013-03-08 2014-09-17 삼성전자주식회사 증강 현실 제공 방법, 저장 매체 및 휴대 단말
US20140320592A1 (en) * 2013-04-30 2014-10-30 Microsoft Corporation Virtual Video Camera
WO2015017242A1 (en) 2013-07-28 2015-02-05 Deluca Michael J Augmented reality based user interfacing
US10451874B2 (en) * 2013-09-25 2019-10-22 Seiko Epson Corporation Image display device, method of controlling image display device, computer program, and image display system
TWI526878B (zh) * 2013-10-04 2016-03-21 大同股份有限公司 控制電子裝置的方法、手持電子裝置與監控系統
JP5825328B2 (ja) 2013-11-07 2015-12-02 コニカミノルタ株式会社 透過型ｈｍｄを有する情報表示システム及び表示制御プログラム
US10048748B2 (en) 2013-11-12 2018-08-14 Excalibur Ip, Llc Audio-visual interaction with user devices
US10558262B2 (en) * 2013-11-18 2020-02-11 Tobii Ab Component determination and gaze provoked interaction
JP6210023B2 (ja) 2013-11-28 2017-10-11 株式会社Ｊｖｃケンウッド 視線検出支援装置および視線検出支援方法
US9201578B2 (en) * 2014-01-23 2015-12-01 Microsoft Technology Licensing, Llc Gaze swipe selection
EP3097459A1 (en) * 2014-01-24 2016-11-30 Sony Corporation Face tracking for a mobile device
US20160018654A1 (en) * 2014-01-24 2016-01-21 Osterhout Group, Inc. See-through computer display systems
US20160371888A1 (en) * 2014-03-10 2016-12-22 Bae Systems Plc Interactive information display
US10203762B2 (en) * 2014-03-11 2019-02-12 Magic Leap, Inc. Methods and systems for creating virtual and augmented reality
US11138793B2 (en) 2014-03-14 2021-10-05 Magic Leap, Inc. Multi-depth plane display system with reduced switching between depth planes
US9804753B2 (en) * 2014-03-20 2017-10-31 Microsoft Technology Licensing, Llc Selection using eye gaze evaluation over time
KR20150118813A (ko) * 2014-04-15 2015-10-23 삼성전자주식회사 햅틱 정보 운용 방법 및 이를 지원하는 전자 장치
KR102248474B1 (ko) * 2014-04-30 2021-05-07 삼성전자 주식회사 음성 명령 제공 방법 및 장치
US9766715B2 (en) * 2014-05-01 2017-09-19 Seiko Epson Corporation Head-mount type display device, control system, method of controlling head-mount type display device, and computer program
US9727136B2 (en) * 2014-05-19 2017-08-08 Microsoft Technology Licensing, Llc Gaze detection calibration
EP2947546A1 (en) 2014-05-20 2015-11-25 Alcatel Lucent Module for implementing gaze translucency in a virtual scene
EP2950510B1 (en) * 2014-05-28 2018-07-11 Samsung Electronics Co., Ltd Apparatus and method for controlling internet of things devices
US9904055B2 (en) * 2014-07-25 2018-02-27 Microsoft Technology Licensing, Llc Smart placement of virtual objects to stay in the field of view of a head mounted display
US10067561B2 (en) * 2014-09-22 2018-09-04 Facebook, Inc. Display visibility based on eye convergence
JP6201956B2 (ja) * 2014-10-24 2017-09-27 株式会社Ｊｖｃケンウッド 視線検出装置および視線検出方法
US10353532B1 (en) * 2014-12-18 2019-07-16 Leap Motion, Inc. User interface for integrated gestural interaction and multi-user collaboration in immersive virtual reality environments
US10921896B2 (en) 2015-03-16 2021-02-16 Facebook Technologies, Llc Device interaction in augmented reality
JP6491517B2 (ja) * 2015-03-31 2019-03-27 Kddi株式会社 画像認識ａｒ装置並びにその姿勢推定装置及び姿勢追跡装置
US20160292759A1 (en) * 2015-04-01 2016-10-06 Audatex Gmbh System and method for estimating collision damage to a car
US9652897B2 (en) * 2015-06-25 2017-05-16 Microsoft Technology Licensing, Llc Color fill in an augmented reality environment
EP3118722B1 (en) * 2015-07-14 2020-07-01 Nokia Technologies Oy Mediated reality
US20170038829A1 (en) 2015-08-07 2017-02-09 Microsoft Technology Licensing, Llc Social interaction for remote communication
GB2561455B (en) * 2015-08-15 2022-05-18 Google Llc Systems and methods for biomechically-based eye signals for interacting with real and virtual objects
US10101803B2 (en) * 2015-08-26 2018-10-16 Google Llc Dynamic switching and merging of head, gesture and touch input in virtual reality
AU2016324039B2 (en) * 2015-09-16 2021-09-30 Magic Leap, Inc. Head pose mixing of audio files
US10630965B2 (en) 2015-10-02 2020-04-21 Microsoft Technology Licensing, Llc Calibrating a near-eye display
KR20170055295A (ko) * 2015-11-11 2017-05-19 엘지전자 주식회사 이동 단말기 및 그 이동 단말기의 제어 방법
US20170153701A1 (en) * 2015-12-01 2017-06-01 Thalmic Labs Inc. Systems, devices, and methods for wearable heads-up displays as wireless controllers
US10229540B2 (en) * 2015-12-22 2019-03-12 Google Llc Adjusting video rendering rate of virtual reality content and processing of a stereoscopic image
WO2017111234A1 (en) * 2015-12-23 2017-06-29 Samsung Electronics Co., Ltd. Method for electronic device to control object and electronic device
US20170185156A1 (en) * 2015-12-29 2017-06-29 Microsoft Technology Licensing, Llc Hand tracking for user interface operation at-a-distance
US10708573B2 (en) * 2016-01-04 2020-07-07 Occipital, Inc. Apparatus and methods for three-dimensional sensing
US10063560B2 (en) 2016-04-29 2018-08-28 Microsoft Technology Licensing, Llc Gaze-based authentication
US10268266B2 (en) 2016-06-29 2019-04-23 Microsoft Technology Licensing, Llc Selection of objects in three-dimensional space
US10198855B2 (en) 2016-07-20 2019-02-05 Colopl, Inc. Method of providing virtual space, method of providing virtual experience, system and medium for implementing the methods
US10110678B2 (en) 2016-08-19 2018-10-23 Sony Corporation System and method for data communication based on image processing
CN106371206A (zh) * 2016-08-31 2017-02-01 安徽协创物联网技术有限公司 一种广视角虚拟现实装置
JP6373920B2 (ja) 2016-09-14 2018-08-15 株式会社バンダイナムコエンターテインメント シミュレーションシステム及びプログラム
KR102499139B1 (ko) * 2016-09-21 2023-02-13 삼성전자주식회사 이미지를 표시하는 전자 장치 및 그 제어 방법
US11132840B2 (en) * 2017-01-16 2021-09-28 Samsung Electronics Co., Ltd Method and device for obtaining real time status and controlling of transmitting devices
US10520782B2 (en) 2017-02-02 2019-12-31 James David Busch Display devices, systems and methods capable of single-sided, dual-sided, and transparent mixed reality applications
CN106951069A (zh) * 2017-02-23 2017-07-14 深圳市金立通信设备有限公司 一种虚拟现实界面的控制方法及虚拟现实设备
JP6919222B2 (ja) 2017-02-27 2021-08-18 セイコーエプソン株式会社 表示装置、及び、表示装置の制御方法
US11175735B2 (en) 2017-07-24 2021-11-16 Adobe Inc. Choice-based analytics that combine gaze and selection data
EP4235263A3 (en) 2017-09-29 2023-11-29 Apple Inc. Gaze-based user interactions
JP6730363B2 (ja) 2018-04-13 2020-07-29 ファナック株式会社 操作訓練システム
CN112041788A (zh) 2018-05-09 2020-12-04 苹果公司 使用眼睛注视来选择文本输入字段
US20200301553A1 (en) * 2019-03-22 2020-09-24 Sony Interactive Entertainment Inc. Establishing and using virtual assets on tangible objects in augmented reality (ar) and virtual reality (vr)

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080307360A1 (en) 2007-06-08 2008-12-11 Apple Inc. Multi-Dimensional Desktop

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
S. Stellmach & R. Dachselt, "Look & Touch: Gaze-supported Target Acquisition,"In the Proc. of the CHI’12, pp. 2981-2990, 2012.05.10.*

Also Published As

Publication number Publication date
CN111052042B (zh) 2022-06-07
EP3665550A1 (en) 2020-06-17
JP2020532796A (ja) 2020-11-12
WO2019067902A1 (en) 2019-04-04
US11188286B2 (en) 2021-11-30
CN114995644A (zh) 2022-09-02
EP4235263A2 (en) 2023-08-30
WO2019067901A3 (en) 2019-05-09
US20230393796A1 (en) 2023-12-07
US20220083303A1 (en) 2022-03-17
CN114924651A (zh) 2022-08-19
US20210365228A1 (en) 2021-11-25
US11714592B2 (en) 2023-08-01
CN111052042A (zh) 2020-04-21
WO2019067899A1 (en) 2019-04-04
US11132162B2 (en) 2021-09-28
CN111052046A (zh) 2020-04-21
US20200201444A1 (en) 2020-06-25
JP2021193585A (ja) 2021-12-23
US20220012002A1 (en) 2022-01-13
US20230325140A1 (en) 2023-10-12
US11137967B2 (en) 2021-10-05
US11762619B2 (en) 2023-09-19
CN111052043B (zh) 2022-04-12
CN111052043A (zh) 2020-04-21
US20230376261A1 (en) 2023-11-23
WO2019067895A1 (en) 2019-04-04
KR20220100102A (ko) 2022-07-14
US11086581B2 (en) 2021-08-10
WO2019067901A2 (en) 2019-04-04
JP6938772B2 (ja) 2021-09-22
EP4325278A2 (en) 2024-02-21
EP4235263A3 (en) 2023-11-29
US20200225746A1 (en) 2020-07-16
US20200225747A1 (en) 2020-07-16
KR20200035103A (ko) 2020-04-01
CN111052046B (zh) 2022-06-03
KR20230106727A (ko) 2023-07-13
JP2023179485A (ja) 2023-12-19
US20200192622A1 (en) 2020-06-18
US11762620B2 (en) 2023-09-19

Similar Documents

Publication Publication Date Title
KR102417968B1 (ko) 시선-기반 사용자 상호작용
AU2021347112B2 (en) Methods for manipulating objects in an environment
US20220253136A1 (en) Methods for presenting and sharing content in an environment
CN110968187B (zh) 由外围设备启用的远程触摸检测
CN112041788A (zh) 使用眼睛注视来选择文本输入字段
US11893154B2 (en) Systems, methods, and graphical user interfaces for updating display of a device relative to a user's body
US20230316634A1 (en) Methods for displaying and repositioning objects in an environment
US20230343049A1 (en) Obstructed objects in a three-dimensional environment
US20230221833A1 (en) Methods for displaying user interface elements relative to media content
US20230336865A1 (en) Device, methods, and graphical user interfaces for capturing and displaying media
US20240103614A1 (en) Devices, methods, for interacting with graphical user interfaces
US20240028177A1 (en) Devices, methods, and graphical user interfaces for interacting with media and three-dimensional environments
WO2024064388A1 (en) Devices, methods, for interacting with graphical user interfaces
WO2023049111A1 (en) Devices, methods, and graphical user interfaces for interacting with three-dimensional environments
KR20240047458A (ko) 미디어 및 3차원 환경들과의 상호작용을 위한 디바이스들, 방법들 및 그래픽 사용자 인터페이스들

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right