KR20210005913A - 물리적 입력 디바이스들을 가상 객체들로서 디스플레이 - Google Patents

물리적 입력 디바이스들을 가상 객체들로서 디스플레이 Download PDF

Info

Publication number
KR20210005913A
KR20210005913A KR1020207033785A KR20207033785A KR20210005913A KR 20210005913 A KR20210005913 A KR 20210005913A KR 1020207033785 A KR1020207033785 A KR 1020207033785A KR 20207033785 A KR20207033785 A KR 20207033785A KR 20210005913 A KR20210005913 A KR 20210005913A
Authority
KR
South Korea
Prior art keywords
input
physical
representation
displaying
displayed
Prior art date
Application number
KR1020207033785A
Other languages
English (en)
Other versions
KR102459238B1 (ko
Inventor
폴 플라 아이. 코네사
얼 올슨
아론 피. 톰슨
Original Assignee
애플 인크.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 애플 인크. filed Critical 애플 인크.
Publication of KR20210005913A publication Critical patent/KR20210005913A/ko
Application granted granted Critical
Publication of KR102459238B1 publication Critical patent/KR102459238B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/02—Input arrangements using manually operated switches, e.g. using keyboards or dials
    • G06F3/023—Arrangements for converting discrete items of information into a coded form, e.g. arrangements for interpreting keyboard generated codes as alphanumeric codes, operand codes or instruction codes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03547—Touch pads, in which fingers can move on a surface
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04886—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus

Abstract

본 개시내용은 컴퓨터-생성 현실(CGR) 환경에서 물리적 입력 디바이스들의 표현들을 디스플레이하고 물리적 입력 디바이스들의 표현들 상에 시각적 피처들을 오버레이하기 위한 기법들에 관한 것이다. 본 기법들은 CGR 환경에서 가상 애플리케이션을 디스플레이하는 것, 및 디스플레이된 가상 애플리케이션에서 입력 필드를 검출하는 것에 응답하여, 디스플레이된 애플리케이션의 적어도 일부분을 물리적 입력 디바이스의 표현 상에 디스플레이하는 것을 포함한다. 디스플레이된 애플리케이션의 적어도 일부분은 검출된 입력 필드를 포함한다. 물리적 입력 디바이스에서 수신된 입력을 검출하는 것에 응답하여, 입력 필드는 입력으로 업데이트되고, 업데이트된 입력 필드가 디스플레이된다.

Description

물리적 입력 디바이스들을 가상 객체들로서 디스플레이
관련 출원의 상호 참조
본 출원은 2018년 6월 5일자로 출원되고 발명의 명칭이 "Displaying Physical Input Devices as Augmented-Reality Objects in a Mixed-Reality Environment"인 미국 가출원 제62/680,819호 및 2019년 5월 13일자로 출원되고 발명의 명칭이 "Displaying Physical Input Devices as Virtual Objects"인 미국 출원 제16/410,547호의 이익을 주장하며, 이 두 출원들의 내용은 본 명세서에 그 전체가 참고로서 포함된다.
기술분야
본 개시내용은 일반적으로 컴퓨터-생성 현실(computer-generated reality, CGR) 환경들에 관한 것으로, 보다 구체적으로는 CGR 환경들에서의 전자 제품들의 표현들에 관한 것이다.
모바일 폰들과 같은 디바이스들은 다양한 작업들을 수행하기 위해 컴퓨터 애플리케이션들을 실행한다. 사용자들은 애플리케이션 사용자 인터페이스들을 사용하여 컴퓨터 애플리케이션들과 상호작용한다. 사용자들은 입력 데이터를 제공하기 위해 키보드들과 같은 입력 디바이스들을 사용하여 애플리케이션 사용자 인터페이스들과 상호작용한다. 예를 들어, 사용자들은 애플리케이션 사용자 인터페이스들을 사용하여 컴퓨터 애플리케이션들에 정보를 입력하기 위해 키보드와 상호작용한다. 다른 예의 경우, 컴퓨터 애플리케이션들은 애플리케이션 사용자 인터페이스들을 사용하여 수신된 사용자의 입력에 기초하여 피드백을 생성한다.
물리적 입력 디바이스들의 표현들을 디스플레이하고 컴퓨터-생성 현실(CGR) 환경들에서 물리적 입력 디바이스들의 표현들 상에 시각적 피처들을 오버레이하기 위한 기법들이 본 명세서에서 기술된다. 일부 실시예들에서, 본 기법들은, 디스플레이를 갖는 전자 디바이스에서, 컴퓨터-생성 현실(CGR) 환경의 디스플레이된 애플리케이션에서 입력 필드를 검출하는 것에 응답하여, 디스플레이된 애플리케이션의 적어도 일부분 - 디스플레이된 애플리케이션의 적어도 일부분은 검출된 입력 필드를 포함함 - 을 물리적 입력 디바이스의 표현 상에 디스플레이하는 것; 물리적 입력 디바이스에서 수신된 입력을 검출하는 것에 응답하여, 입력을 이용하여 입력 필드를 업데이트하는 것; 및 업데이트된 입력 필드를 디스플레이하는 것을 포함한다.
일부 실시예들에서, 입력은 물리적 입력 디바이스의 표현 상에 디스플레이된 입력 필드의 위치에 대응하는 물리적 입력 디바이스 상의 위치에서의 터치 입력을 포함한다. 일부 실시예들에서, 터치 입력은 강도(intensity) 컴포넌트를 가지며, 강도는 임계치를 초과한다. 일부 실시예들에서, 터치 입력은 물리적 입력 디바이스 상의 스와이프이다.
일부 실시예들에서, 업데이트된 입력 필드를 디스플레이하는 것은 애플리케이션 내에 업데이트된 입력 필드를 디스플레이하는 것을 포함한다.
일부 실시예들에서, 업데이트된 입력 필드를 디스플레이하는 것은 물리적 입력 디바이스 상의 입력 필드 내에 업데이트된 입력 필드를 디스플레이하는 것을 포함한다.
일부 실시예들에서, 본 기법들은, 물리적 입력 디바이스에서 수신된 입력을 검출하는 것에 응답하여, 햅틱 피드백을 생성하는 것을 추가로 포함한다.
일부 실시예들에서, 본 기법들은 디스플레이된 애플리케이션에서 입력 필드를 검출하는 것에 응답하여, 물리적 입력 디바이스의 표현 상에, 가상 키보드 키들을 디스플레이하는 것을 추가로 포함한다.
일부 실시예들에서, 입력은 가상 키보드 키의 디스플레이된 위치에 대응하는 물리적 입력 디바이스 상의 위치에서의 터치 입력을 포함한다.
일부 실시예들에서, 물리적 입력 디바이스는 물리적 키보드 키들을 갖는 물리적 키보드이고, 가상 키보드 키들은 검출된 입력 필드가 텍스트-엔트리 필드라는 결정에 따라 디스플레이되며, 각자의 디스플레이된 키보드 키들은 위에 그들이 디스플레이되는 물리적 키보드 키들과 상이한 값을 가진다.
일부 실시예들에서, 물리적 입력 디바이스는 터치-감응형 표면이다. 일부 그러한 실시예들에서, 터치-감응형 표면은 디스플레이 컴포넌트를 포함하지 않는다.
일부 실시예들에서, 물리적 입력 디바이스는 전자 디바이스의 외부에 있다.
일부 실시예들에서, 입력을 이용하여 입력 필드를 업데이트하는 것은, 물리적 입력 디바이스에서 입력을 나타내는 입력 데이터를 수신하는 것, 및 수신된 입력 데이터에 따라 입력 필드를 업데이트하는 것을 포함한다.
일부 실시예들에서, 디스플레이된 애플리케이션의 일부분을 물리적 입력 디바이스의 표현 상에 디스플레이하는 것은, CGR 환경에서, 물리적 입력 디바이스의 표현 상에 위치설정된(positioned) 검출된 입력 필드를 디스플레이하는 것을 포함한다.
일부 실시예들에서, 본 기법들은, 검출된 입력 필드가 텍스트-엔트리 필드라는 결정에 따라, 디스플레이된 애플리케이션의 적어도 일부분을 물리적 입력 디바이스의 표현 상에 디스플레이하는 것이, CGR 환경에서, 물리적 입력 디바이스의 표현 상에 위치설정된 가상 텍스트 박스를 디스플레이하는 것을 포함하는 것을 추가로 포함한다.
일부 실시예들에서, 본 기법들은, 검출된 입력 필드가 디지털 서명 필드라는 결정에 따라, 디스플레이된 애플리케이션의 적어도 일부분을 물리적 입력 디바이스의 표현 상에 디스플레이하는 것이, CGR 환경에서, 물리적 입력 디바이스의 표현 상에 위치설정된 가상 디지털 서명 박스를 디스플레이하는 것을 포함하는 것을 추가로 포함한다.
일부 실시예들에서, 본 기법들은, 검출된 입력 필드가 하나 이상의 라디오 버튼을 포함한다는 결정에 따라, 디스플레이된 애플리케이션의 적어도 일부분을 물리적 입력 디바이스의 표현 상에 디스플레이하는 것이, CGR 환경에서, 물리적 입력 디바이스의 표현 상에 위치설정된 하나 이상의 가상 라디오 버튼을 디스플레이하는 것을 포함하는 것을 추가로 포함한다.
일부 실시예들에서, CGR 환경에서 물리적 입력 디바이스들의 표현들을 디스플레이하고 물리적 입력 디바이스들의 표현들 상에 시각적 피처들을 오버레이하기 위한 디바이스는, 하나 이상의 프로세서, 및 하나 이상의 프로세서에 의해 실행되도록 구성된 하나 이상의 프로그램을 저장하는 메모리를 포함한다. 하나 이상의 프로그램은, CGR 환경의 디스플레이된 애플리케이션에서 입력 필드를 검출하는 것에 응답하여, 디스플레이된 애플리케이션의 적어도 일부분 - 디스플레이되는 애플리케이션의 적어도 일부분은 검출된 입력 필드를 포함함 - 을 물리적 입력 디바이스의 표현 상에 디스플레이하고; 물리적 입력 디바이스에서 수신된 입력을 검출하는 것에 응답하여, 입력을 이용하여 입력 필드를 업데이트하고; 업데이트된 입력 필드를 디스플레이하기 위한 명령어들을 포함한다.
일부 실시예들에서, 하나 이상의 프로세서에 의해 실행되도록 구성된 하나 이상의 프로그램을 저장하는 비일시적(또는, 옵션적으로, 일시적) 컴퓨터-판독가능 저장 매체는, CGR 환경에서 물리적 입력 디바이스들의 표현들을 디스플레이하고 물리적 입력 디바이스들의 표현들 상에 시각적 피처들을 오버레이한다. 하나 이상의 프로그램은, 디스플레이를 갖는 전자 디바이스에서, CGR 환경의 디스플레이된 애플리케이션에서 입력 필드를 검출하는 것에 응답하여, 디스플레이된 애플리케이션의 적어도 일부분 - 디스플레이된 애플리케이션의 적어도 일부분은 검출된 입력 필드를 포함함 - 을 물리적 입력 디바이스의 표현 상에 디스플레이하고; 물리적 입력 디바이스에서 수신된 입력을 검출하는 것에 응답하여, 입력을 이용하여 입력 필드를 업데이트하고; 업데이트된 입력 필드를 디스플레이하기 위한 명령어들을 포함한다.
하기의 설명에서, 그의 일부를 형성하고 몇몇 실시예들을 예시하는 첨부의 도면들이 참조된다. 다른 실시예들이 활용될 수 있고 본 개시의 범주로부터 벗어남이 없이 구조적 및 동작적 변경들이 이루어질 수 있다는 것이 이해된다. 상이한 도면들에서 동일한 참조 부호들의 사용은 유사하거나 동일한 항목들을 나타낸다.
도 1a 및 도 1b는 다양한 컴퓨터-생성 현실 기술들에서 사용하기 위한 예시적인 시스템을 도시한다.
도 2a 내지 도 2f는 CGR 환경에서 물리적 입력 디바이스들의 표현들을 디스플레이하고 물리적 입력 디바이스들의 표현들 상에 시각적 피처들을 오버레이하는 디바이스를 도시한다.
도 3은 CGR 환경에서 물리적 입력 디바이스들의 표현들을 디스플레이하고 물리적 입력 디바이스들의 표현들 상에 시각적 피처들을 오버레이하기 위한 예시적인 기법을 도시한다.
도 4a 및 도 4b는 CGR 환경에서 물리적 입력 디바이스들의 표현들을 디스플레이하고 물리적 입력 디바이스들의 표현들 상에 시각적 피처들을 오버레이하는 디바이스를 도시한다.
도 5는 CGR 환경에서 물리적 입력 디바이스들의 표현들을 디스플레이하고 물리적 입력 디바이스들의 표현들 상에 시각적 피처들을 오버레이하기 위한 예시적인 기법을 도시한다.
전자 시스템들 및 그러한 시스템들을 다양한 컴퓨터-생성 현실 기술들과 관련하여 사용하기 위한 기법들의 다양한 실시예들이 기술된다. 특히, 본 개시내용은 CGR 환경에서 물리적 입력 디바이스들의 표현들을 디스플레이하고 물리적 입력 디바이스들의 표현들 상에 시각적 피처들을 오버레이하기 위한 기법들을 제공한다. 본 기법들은, CGR 환경에서 가상 애플리케이션을 디스플레이하는 것, 및 디스플레이된 가상 애플리케이션에서 입력 필드를 검출하는 것에 응답하여, 디스플레이된 애플리케이션의 적어도 일부분을 물리적 입력 디바이스의 표현 상에 투영하는 것을 포함한다. 디스플레이된 애플리케이션의 적어도 일부분은 검출된 입력 필드를 포함한다. 물리적 입력 디바이스에서 수신된 입력을 검출하는 것에 응답하여, 입력 필드는 입력을 이용하여 업데이트되고, 업데이트된 입력 필드가 디스플레이된다.
물리적 환경(또는 실제 환경)은 사람들이 전자 시스템들의 도움 없이 감지 및/또는 상호작용할 수 있는 물리적 세계를 지칭한다. 물리적 공원과 같은 물리적 환경들은 물리적 물품들(또는 물리적 객체들 또는 실제 객체들), 예컨대 물리적 나무들, 물리적 건물들, 및 물리적 사람들을 포함한다. 사람들은, 예컨대 시각, 촉각, 청각, 미각, 및 후각을 통해, 물리적 환경을 직접 감지하고 그리고/또는 그와 상호작용할 수 있다.
대조적으로, 컴퓨터-생성 현실(CGR) 환경은 사람들이 전자 시스템을 통해 감지하고/하거나 그와 상호작용하는 완전히 또는 부분적으로 시뮬레이션된 환경을 지칭한다. CGR에서, 사람의 물리적 모션들, 또는 이들의 표현들의 서브세트가 추적되고, 이에 응답하여, CGR 환경에서 시뮬레이션된 하나 이상의 가상 객체의 하나 이상의 특성이 적어도 하나의 물리 법칙에 따르는 방식으로 조정된다. 예를 들어, CGR 시스템은 사람이 고개를 돌리는 것을 검출할 수 있고, 이에 응답하여, 그 사람에게 제시되는 그래픽 콘텐츠 및 음장(acoustic field)을 물리적 환경에서 그러한 뷰들 및 소리들이 변화하는 방식과 유사한 방식으로 조정할 수 있다. 일부 상황들에서(예를 들어, 접근성 이유들 때문에), CGR 환경에서의 가상 객체(들)의 특성(들)에 대한 조정들은 물리적 모션들의 표현들(예를 들어, 음성 커맨드들)에 응답하여 이루어질 수 있다.
사람은, 시각, 청각, 촉각, 미각, 및 후각을 포함하는 그들의 감각들 중 임의의 하나를 사용하여 CGR 객체를 감지하고/하거나 그와 상호작용할 수 있다. 예를 들어, 사람은 3D 공간에서 오디오 소스들의 인지 지점을 제공하는 3D 또는 공간적 오디오 환경을 생성하는 오디오 객체들을 느끼고 그리고/또는 그것과 상호작용할 수 있다. 다른 예에서, 오디오 객체들은 오디오 투명성을 가능하게 할 수 있으며, 이는 선택적으로, 물리적 환경으로부터의 주변 소리들을 컴퓨터-생성 오디오와 함께 또는 그것 없이 통합한다. 일부 CGR 환경들에서, 사람은 오디오 객체들만을 감지하고/하거나 그와 상호작용할 수 있다.
CGR의 예들은 가상 현실 및 혼합 현실을 포함한다.
가상 현실(VR) 환경(또는 가상 환경)은 하나 이상의 감각에 대한 컴퓨터-생성 감각 입력들에 전적으로 기초하도록 설계된 시뮬레이션된 환경을 지칭한다. VR 환경은 사람이 감지하고 그리고/또는 상호작용할 수 있는 복수의 가상 객체들을 포함한다. 예를 들어, 나무들, 빌딩들, 및 사람들을 표현하는 아바타들의 컴퓨터-생성 형상화가 가상 객체들의 예들이다. 사람은, 컴퓨터-생성 환경에서의 사람의 존재의 시뮬레이션을 통해 그리고/또는 컴퓨터-생성 환경에서의 사람의 신체적 움직임들의 서브세트의 시뮬레이션을 통해 VR 환경에서 가상 객체들을 감지하고/하거나 그와 상호작용할 수 있다.
컴퓨터-생성 감각 입력들에 전적으로 기초하도록 설계되는 VR 환경과는 대조적으로, 혼합 현실(MR) 환경은 컴퓨터-생성 감각 입력들(예를 들어, 가상 객체들)을 포함하는 것에 부가하여, 물리적 환경으로부터의 감각 입력들, 또는 그들의 표현을 통합하도록 설계된 시뮬레이션된 환경을 지칭한다. 가상 연속체(virtuality continuum)에서, MR 환경은 한쪽의 완전히 물리적인 환경과 다른 쪽의 VR 환경 사이의 임의의 곳에 있지만, 포함하지는 않는다.
일부 MR 환경들에서, 컴퓨터-생성 감각 입력들은 물리적 환경으로부터의 감각 입력들의 변화들에 응답할 수 있다. 또한, MR 환경을 제시하기 위한 일부 전자 시스템들은 물리적 환경에 대한 위치 및/또는 배향을 추적하여 가상 객체들이 실제 객체들(즉, 물리적 환경으로부터의 물리적 물품들 또는 물리적 물품들의 표현들)과 상호작용할 수 있게 할 수 있다. 예를 들어, 시스템은 움직임들을 고려하여 가상 나무가 물리적 땅에 대하여 고정되어 있는 것처럼 보이도록 할 수 있다.
혼합 현실들의 예들은 증강 현실 및 증강 가상을 포함한다.
증강 현실(AR) 환경은 하나 이상의 가상 객체가 물리적 환경, 또는 그의 표현 위에 중첩되어 있는 시뮬레이션된 환경을 지칭한다. 예를 들어, AR 환경을 제시하기 위한 전자 시스템은 사람이 직접 물리적 환경을 볼 수 있는 투명 또는 반투명 디스플레이를 가질 수 있다. 시스템은 투명 또는 반투명 디스플레이 상에 가상 객체들을 제시하도록 구성되어, 사람이, 시스템을 사용하여, 물리적 환경 위에 중첩된 가상 객체들을 지각하도록 할 수 있다. 대안적으로, 시스템은 불투명 디스플레이 및 물리적 환경의 표현들인, 물리적 환경의 이미지들 또는 비디오를 캡처하는 하나 이상의 이미징 센서를 가질 수 있다. 시스템은 이미지들 또는 비디오를 가상 객체들과 합성하고, 합성물을 불투명 디스플레이 상에 제시한다. 사람은, 시스템을 사용하여, 물리적 환경의 이미지들 또는 비디오에 의해 물리적 환경을 간접적으로 보고, 물리적 환경 위에 중첩된 가상 객체들을 지각한다. 본 명세서에 사용되는 바와 같이, 불투명 디스플레이 상에 보여지는 물리적 환경의 비디오는 "패스-스루(pass-through) 비디오"로 불리는데, 이는 시스템이 하나 이상의 이미지 센서(들)를 사용하여 물리적 환경의 이미지들을 캡처하고, AR 환경을 불투명 디스플레이 상에 제시할 시에 이들 이미지들을 사용하는 것을 의미한다. 추가로 대안적으로, 시스템은 가상 객체들을 물리적 환경에, 예를 들어, 홀로그램으로서 또는 물리적 표면 상에 투영하는 투영 시스템을 가질 수 있어서, 사람이 시스템을 사용하여 물리적 환경 위에 중첩된 가상 객체들을 지각하게 한다.
증강 현실 환경은 또한 물리적 환경의 표현이 컴퓨터-생성 감각 정보에 의해 변환되는 시뮬레이션된 환경을 지칭한다. 예를 들어, 패스-스루 비디오를 제공할 시에, 시스템은 하나 이상의 센서 이미지를 변환하여 이미징 센서들에 의해 캡처된 관점과 상이한 선택 관점(예를 들어, 시점)을 부과할 수 있다. 다른 예를 들어, 물리적 환경의 표현은 그것의 일부들을 그래픽적으로 수정(예컨대, 확대)함으로써 변환될 수 있고, 수정된 부분은 원래 캡처된 이미지들의 대표적인 버전일 수 있지만, 실사 버전은 아닐 수 있다. 추가적인 예로서, 물리적 환경의 표현은 그의 일부들을 그래픽적으로 제거하거나 또는 흐리게 함으로써 변환될 수 있다.
증강 가상(AV) 환경은 가상 또는 컴퓨터 생성 환경이 물리적 환경으로부터의 하나 이상의 감각 입력을 포함하는 시뮬레이션된 환경을 지칭한다. 감각 입력들은 물리적 환경의 하나 이상의 특성의 표현들일 수 있다. 예를 들어, AV 공원은 가상 나무들 및 가상 빌딩들을 가질 수 있지만, 사람들의 얼굴들은 물리적 사람들을 촬영한 이미지들로부터 실사처럼 재현될 수 있다. 다른 예로서, 가상 객체는 하나 이상의 이미징 센서에 의해 이미징되는 물리적 물품의 형상 또는 색상을 채용할 수 있다. 추가적인 예로서, 가상 객체는 물리적 환경에서 태양의 포지션에 부합하는 그림자들을 채용할 수 있다.
사람이 다양한 CGR 환경들을 감지하고/하거나 그와 상호작용할 수 있게 하는 많은 상이한 유형들의 전자 시스템들이 존재한다. 예들은 헤드 장착형 시스템들, 투영-기반 시스템들, 헤드-업(head-up) 디스플레이(HUD)들, 디스플레이 능력이 통합된 차량 앞유리들, 디스플레이 능력이 통합된 창문들, 사람의 눈들에 배치되도록 설계된 렌즈들로서 형성된 디스플레이들(예를 들어, 콘택트 렌즈들과 유사함), 헤드폰들/이어폰들, 스피커 어레이들, 입력 시스템들(예를 들어, 햅틱 피드백이 있거나 또는 없는 웨어러블 또는 핸드헬드 제어기들), 스마트폰들, 태블릿들, 및 데스크톱/랩톱 컴퓨터들을 포함한다. 헤드 장착형 시스템은 하나 이상의 스피커(들) 및 통합 불투명 디스플레이를 가질 수 있다. 대안적으로, 헤드 장착형 시스템은 외부 불투명 디스플레이(예를 들어, 스마트폰)를 수용하도록 구성될 수 있다. 헤드 장착형 시스템은 물리적 환경의 이미지들 또는 비디오를 캡처하기 위한 하나 이상의 이미징 센서, 및/또는 물리적 환경의 오디오를 캡처하기 위한 하나 이상의 마이크로폰을 포함할 수 있다. 헤드 장착형 시스템은 불투명 디스플레이보다는, 투명 또는 반투명 디스플레이를 가질 수 있다. 투명 또는 반투명 디스플레이는 이미지들을 표현하는 광이 사람의 눈들로 지향되는 매체를 가질 수 있다. 디스플레이는 디지털 광 프로젝션, OLED들, LED들, uLED들, 실리콘 액정 표시장치, 레이저 스캐닝 광원, 또는 이들 기술들의 임의의 조합을 이용할 수 있다. 매체는 광학 도파관, 홀로그램 매체, 광학 조합기, 광학 반사기, 또는 이들의 임의의 조합일 수 있다. 일 실시예에서, 투명 또는 반투명 디스플레이는 선택적으로 불투명하게 되도록 구성될 수 있다. 투영-기반 시스템들은 그래픽 이미지들을 사람의 망막 상에 투영하는 망막 투영 기술을 이용할 수 있다. 투영 시스템들은 또한 가상 객체들을 물리적 환경에, 예를 들어, 홀로그램으로서 또는 물리적 표면 상에 투영하도록 구성될 수 있다.
도 1a 및 도 1b는 다양한 컴퓨터-생성 현실 기술들에서 사용하기 위한 예시적인 시스템(100)을 도시한다.
일부 실시예들에서, 도 1a에 도시된 바와 같이, 시스템(100)은 디바이스(100a)를 포함한다. 디바이스(100a)는 다양한 컴포넌트들, 예컨대, 프로세서(들)(102), RF 회로부(들)(104), 메모리(들)(106), 이미지 센서(들)(108), 배향 센서(들)(110), 마이크로폰(들)(112), 위치 센서(들)(116), 스피커(들)(118), 디스플레이(들)(120), 및 터치-감응형 표면(들)(122)을 포함한다. 이러한 컴포넌트들은 옵션적으로 디바이스(100a)의 통신 버스(들)(150)를 통해 통신한다.
일부 실시예들에서, 시스템(100)의 구성요소들이 기지국 디바이스(예컨대, 원격 서버, 모바일 디바이스, 또는 랩톱과 같은 컴퓨팅 디바이스)에서 구현되고, 시스템(100)의 다른 구성요소들이 폰 또는 태블릿에 구현되며, 폰 또는 태블릿은 기지국 디바이스와 통신한다. 일부 실시예들에서, 디바이스(100a)는 기지국 디바이스 또는 폰 또는 태블릿에서 구현된다. 일부 실시예들에서, 폰 또는 태블릿은 대신에 사용자에 의해 착용되도록 설계된 헤드 장착형 디스플레이(HMD) 디바이스일 수 있다.
도 1b에 도시된 바와 같이, 일부 실시예들에서, 시스템(100)은, 예컨대, 유선 연결 또는 무선 연결을 통해 통신하는 2 개의(또는 그 이상의) 디바이스들을 포함한다. 제1 디바이스(100b)(예컨대, 기지국 디바이스)는 프로세서(들)(102), RF 회로부(들)(104), 및 메모리(들)(106)를 포함한다. 이러한 컴포넌트들은 옵션적으로 디바이스(100b)의 통신 버스(들)(150)를 통해 통신한다. 제2 디바이스(100c)(예컨대, 폰 또는 태블릿)는 다양한 컴포넌트들, 예컨대, 프로세서(들)(102), RF 회로부(들)(104), 메모리(들)(106), 이미지 센서(들)(108), 배향 센서(들)(110), 마이크로폰(들)(112), 위치 센서(들)(116), 스피커(들)(118), 디스플레이(들)(120), 및 터치-감응형 표면(들)(122)을 포함한다. 이러한 컴포넌트들은 옵션적으로 디바이스(100c)의 통신 버스(들)(150)를 통해 통신한다.
일부 실시예들에서, 시스템(100)은 폰 또는 태블릿과 같은 모바일 디바이스이다. 일부 실시예들에서, 시스템(100)은 헤드 장착형 디스플레이(HMD) 디바이스이다.
시스템(100)은 프로세서(들)(102) 및 메모리(들)(106)를 포함한다. 프로세서(들)(102)는 하나 이상의 범용 프로세서, 하나 이상의 그래픽 프로세서, 및/또는 하나 이상의 디지털 신호 프로세서를 포함한다. 일부 실시예들에서, 메모리(들)(106)는 아래에 기재된 기법들을 수행하기 위하여 프로세서(들)(102)에 의해 실행되도록 구성된 컴퓨터-판독가능 명령어들을 저장하는 하나 이상의 비일시적 컴퓨터-판독가능 저장 매체(예컨대, 플래시 메모리, 랜덤 액세스 메모리)이다.
시스템(100)은 RF 회로부(들)(104)를 포함한다. RF 회로부(들)(104)는 옵션적으로 전자 디바이스들과 통신하기 위한 회로부, 인터넷, 인트라넷과 같은 네트워크들, 및/또는 셀룰러 네트워크들 및 무선 로컬 영역 네트워크들(LAN)과 같은 무선 네트워크를 포함한다. RF 회로부(들)(104)는 옵션적으로 블루투스®와 같은 근거리 통신 및/또는 단거리 통신을 이용하여 통신하기 위한 회로부를 포함한다.
시스템(100)은 디스플레이(들)(120)를 포함한다. 일부 실시예들에서, 디스플레이(들)(120)는 제1 디스플레이(예컨대, 좌안 디스플레이 패널) 및 제2 디스플레이(예컨대, 우안 디스플레이 패널)를 포함하며, 각각의 디스플레이는 사용자의 각각의 눈에 이미지들을 디스플레이한다. 대응하는 이미지들은 제1 디스플레이 및 제2 디스플레이 상에 동시에 디스플레이된다. 옵션적으로, 대응하는 이미지들은 상이한 시점들로부터의 동일한 물리적 객체들의 동일한 가상 객체들 및/또는 표현들을 포함하여, 사용자에게 디스플레이들 상의 객체들의 깊이의 착각을 일으키는 시차 효과를 야기한다. 일부 실시예들에서, 디스플레이(들)(120)는 단일 디스플레이를 포함한다. 대응하는 이미지들은 사용자의 각각의 눈에 대하여 단일 디스플레이의 제1 영역 및 제2 영역 상에 동시에 디스플레이된다. 옵션적으로, 대응하는 이미지들은 상이한 시점들로부터의 동일한 물리적 객체들의 동일한 가상 객체들 및/또는 표현들을 포함하여, 사용자에게 단일 디스플레이 상의 객체들의 깊이의 착각을 일으키는 시차 효과를 야기한다. 일부 실시예들에서, 디스플레이(들)(120)는 차단 층을 갖거나 갖지 않는 투명 첨가제 디스플레이를 포함한다.
일부 실시예들에서, 시스템(100)은 탭 입력들 및 스와이프 입력들과 같은 사용자 입력들을 수신하기 위한 터치-감응형 표면(들)(122)을 포함한다. 일부 실시예들에서, 디스플레이(들)(120) 및 터치-감응형 표면(들)(122)은 터치-감응형 디스플레이(들)를 형성한다.
시스템(100)은 이미지 센서(들)(108)를 포함한다. 이미지 센서(들)(108)는 옵션적으로 실제 환경으로부터 물리적 객체들의 이미지들을 획득하도록 동작가능한 전하 결합 소자(CCD) 센서들, 및/또는 상보성 금속-산화물-반도체(CMOS) 센서들과 같은 하나 이상의 가시광 이미지 센서를 포함한다. 이미지 센서(들)는 또한 옵션적으로 실제 환경으로부터 적외선 광을 검출하기 위한 수동형 IR 센서 또는 능동형 IR 센서와 같은 하나 이상의 적외선(IR) 센서(들)를 포함한다. 예를 들어, 능동형 IR 센서는 적외선 광을 실제 환경으로 방출하기 위한 IR 도트 방출기와 같은 IR 방출기를 포함한다. 이미지 센서(들)(108)는 또한 옵션적으로 실제 환경에서 물리적 객체들의 움직임을 포착하도록 구성된 하나 이상의 이벤트 카메라(들)를 포함한다. 이미지 센서(들)(108)는 또한 옵션적으로 시스템(100)으로부터 물리적 객체들의 거리를 검출하도록 구성된 하나 이상의 깊이 센서(들)를 포함한다. 일부 실시예들에서, 시스템(100)은 CCD 센서들, 이벤트 카메라들, 및 깊이 센서들을 조합하여 사용하여 시스템(100) 주위의 물리적 환경을 검출한다. 일부 실시예들에서, 이미지 센서(들)(108)는 제1 이미지 센서 및 제2 이미지 센서를 포함한다. 제1 이미지 센서 및 제2 이미지 센서는 옵션적으로 2 개의 별개의 관점들로부터 실제 환경에서의 물리적 객체들의 이미지들을 캡처하도록 구성된다. 일부 실시예들에서, 시스템(100)은 이미지 센서(들)(108)를 사용하여 손 제스처들과 같은 사용자 입력들을 수신한다. 일부 실시예들에서, 시스템(100)은 이미지 센서(들)(108)를 사용하여 실제 환경에서의 시스템(100) 및/또는 디스플레이(들)(120)의 포지션 및 배향을 검출한다. 예를 들어, 시스템(100)은 이미지 센서(들)(108)를 사용하여 실제 환경에서의 하나 이상의 고정된 객체에 대한 디스플레이(들)(120)의 포지션 및 배향을 추적한다.
일부 실시예들에서, 시스템(100)은 마이크로폰(들)(112)을 포함한다. 시스템(100)은 마이크로폰(들)(112)을 사용하여 사용자 및/또는 사용자의 실제 환경으로부터의 소리를 검출한다. 일부 실시예들에서, 마이크로폰(들)(112)은, 예컨대, 주변 소음을 식별하거나 또는 실제 환경의 공간에서 음원을 위치파악하기 위하여 옵션적으로 나란히 동작하는 마이크로폰들의 어레이(복수의 마이크로폰들을 포함)를 포함한다.
시스템(100)은 시스템(100) 및/또는 디스플레이(들)(120)의 배향 및/또는 움직임을 검출하기 위하여 배향 센서(들)(110)를 포함한다. 예를 들어, 시스템(100)은 배향 센서(들)(110)를 사용하여, 예컨대, 실제 환경에서의 물리적 객체들에 대한 시스템(100) 및/또는 디스플레이(들)(120)의 포지션 및/또는 배향의 변화를 추적한다. 배향 센서(들)(110)는 옵션적으로 하나 이상의 자이로스코프 및/또는 하나 이상의 가속도계를 포함한다.
디바이스(100a)는, 그리기 애플리케이션, 프레젠테이션 애플리케이션, 워드 프로세싱 애플리케이션, 웹사이트 제작 애플리케이션, 디스크 저작 애플리케이션, 스프레드시트 애플리케이션, 게임 애플리케이션, 전화 애플리케이션, 화상 회의 애플리케이션, 이메일 애플리케이션, 인스턴트 메시징 애플리케이션, 운동 지원 애플리케이션, 사진 관리 애플리케이션, 디지털 카메라 애플리케이션, 디지털 비디오 카메라 애플리케이션, 웹 브라우징 애플리케이션, 디지털 음악 재생기 애플리케이션, 디지털 비디오 재생기 애플리케이션 및/또는 네비게이션 애플리케이션들 중 하나 이상과 같은 다양한 애플리케이션들을 지원하도록 구성된다. 디바이스(100a)가 여기에 열거된 예들 이외의 애플리케이션들을 지원할 수 있음을 이해해야 한다. 애플리케이션들이 CGR 환경에서 가상 객체들로서 나타날 수 있음을 또한 이해해야 한다.
일부 실시예들에서, 디바이스(100a)는, 실제 환경에서, (예컨대, 이미지 센서(들)(108)를 사용하여) 제스처들 또는 사용자로부터의 다른 입력을 검출함으로써 애플리케이션들 또는 다른 가상 객체들과 사용자의 상호작용을 용이하게 한다. 예를 들어, 이미지 센서(들)(108)를 사용하여, 디바이스(100a)는 실제 환경에서 사용자의 손 및/또는 손가락들의 포지션, 또는 일련의 움직임들을 검출할 수 있다. 이어서, 디바이스(100a)는 이러한 검출된 포지션들 및/또는 움직임들을, CGR 환경에서 디스플레이되는 애플리케이션(예컨대, 가상 애플리케이션)과 같은 가상 객체와 인터페이싱하기 위한 입력으로서 해석한다. 이러한 방식으로, 디바이스(100a)는 실제 환경에서 제스처들 또는 모션들을 수행함으로써, 사용자가 CGR 환경에서 디스플레이된 가상 애플리케이션, 및/또는 다른 가상 객체들과 상호작용할 수 있게 한다.
일부 실시예들에서, 현실 세계에서의 하나 이상의 물리적 객체의 표현들이 CGR 환경에서 디바이스(100a)의 디스플레이(120) 상에 디스플레이되어, 사용자는 CGR 환경에서 물리적 객체(들)를 볼 수 있고, 따라서 실제 세계에서 물리적 객체(들)와 상호작용할 수 있다. 실제 세계에서의 물리적 객체(들)와 사용자 상호작용의 결과로서 디바이스(100a)에서 수신된 입력 데이터는 디바이스(100a)에 의해 사용되어 사용자가 CGR 환경에서 애플리케이션들 및/또는 다른 가상 객체들과 인터페이싱할 수 있게 한다. 일부 실시예들에서, 디바이스(100a)가 (예컨대, 이미지 센서(들)(108)를 사용하여) 실제 환경에서 하나 이상의 물리적 객체와 관련된 제스처들(예컨대, 실제 환경에서 사용자의 손 및/또는 손가락들의 포지션, 또는 일련의 움직임들)을 검출할 때, 이러한 입력 데이터가 디바이스(100a)에 의해 생성된다. 예를 들어, 물리적 키보드의 하나 이상의 키에 대응하는 위치(들)에서 디바이스(100a)에 의해 (예컨대, 이미지 센서(들)(108)을 사용하여) 검출된 손가락 제스처들은 물리적 키보드의 각자의 키(들)에 대응하는 사용자 입력들로서 해석된다. 보다 구체적으로, 물리적 키보드의 특정 키의 활성화를 (예컨대, 이미지 센서(들)(108)를 사용하여) 검출하는 것은 디바이스(100a)가 입력 필드 내로의 엔트리를 위해 그 특정 키를 포함하는 입력 스트링을 생성하게 한다. 바로 아래에서 논의되는 것과 같은 일부 실시예들에서, 물리적 키보드는 사용자에 의해 활성화된 키를 식별함으로써 물리적 키보드에서 사용자 입력을 검출하고, 물리적 키보드는, 디바이스(100a)에 의한, 입력 필드 내로의 엔트리를 위해, 활성화된 키를 (예컨대, 통신 버스(들)(150)를 사용하여) 디바이스(100a)에 통신한다. 그러한 실시예들에서, 입력 데이터는 실제 세계에서의 물리적 디바이스에 의해 생성되고, (예컨대, 통신 버스(들)(150)를 사용하여) 디바이스(100a)에 통신된다. 디바이스(100a)는 입력 데이터를 수신하고, 전술한 바와 같이, 사용자가 CGR 환경에서 애플리케이션(들) 및/또는 다른 가상 객체들과 인터페이싱할 수 있게 하기 위해 입력 데이터를 프로세싱한다.
일부 실시예들에서, 디바이스(100a)는 물리적 객체들로부터의 입력을 수신함으로써, CGR 환경에서 애플리케이션들 또는 다른 가상 객체들과의 사용자 상호작용을 용이하게 하며, 여기서 입력은 물리적 객체들(예컨대, 물리적 키보드 또는 물리적 트랙패드)에 의해 검출되었다. 일부 실시예들에서, 디바이스(100a)는 제스처들을 또한 검출하지 않으면서 물리적 객체(들)로부터 입력을 수신한다. 예를 들어, 키보드 또는 트랙패드와 같은 물리적 디바이스는 (예컨대, 통신 버스(들)(150)를 사용하여) 디바이스(100a)에 사용자 입력을 송신한다. 일부 실시예들에서, 디바이스(100a)는 위에서 논의된 바와 같이 물리적 객체(들)로부터 입력을 수신하고, 사용자로부터의 제스처들을 (예컨대 이미지 센서(들)(108)를 사용하여) 검출함으로써 획득된 데이터를 이용하여 수신된 입력을 보충한다. 그러한 물리적 객체들의 표현들은, 옵션적으로, CGR 환경에서 디스플레이된다.
일부 실시예들에서, 디바이스(100a)는 물리적 객체의 표현 상에 또는 그 주위에(예컨대 근처 또는 인접하게) 위치설정된 하나 이상의 가상 객체를 디스플레이함으로써 물리적 객체들의 표현들을 증강시킨다. 예를 들어, 도 2a 내지 도 2f와 관련하여 하기에서 논의되는 바와 같이, 디바이스(100a)는 가상 애플리케이션의 일부분을 물리적 트랙패드의 표현 상에 디스플레이한다. 다른 예로서, 도 4a 및 도 4b와 관련하여 하기에서 논의된 바와 같이, 디바이스(100a)는 가상의 입력 제어들의 세트를 물리적 키보드의 표현 상에 디스플레이(오버레이)한다. 일부 실시예들에서, 가상 객체들은 물리적 객체의 표현을 오버레이하여 디스플레이된다(예컨대, 물리적 객체의 표현의 위에 위치되는 것으로서 디스플레이됨). 일부 실시예들에서, 오버레이된 가상 객체 또는 옵션적으로 그의 일부분은, 물리적 객체의 표현이 오버레이된 가상 객체(또는 오버레이된 가상 객체의 일부분)에 의해 흐릿해지도록 불투명하다. 일부 실시예들에서, 오버레이된 가상 객체 또는 옵션적으로 그의 일부분은, 물리적 객체의 표현이 오버레이된 가상 객체(또는 오버레이된 가상 객체의 일부분)에 의해 부분적으로 흐릿해지도록 반-불투명(semi-opaque)하다. 그러한 실시예들에서, 물리적 객체의 표현의 부분들은 물리적 객체의 표현을 오버레이하는 디스플레이된 가상 객체를 통해 볼 수 있다(예컨대, 식별가능하다). 도 2a 내지 도 2f, 그리고 도 4a 및 도 4b는 CGR 환경에서 물리적 입력 디바이스들의 표현들을 디스플레이(120) 상에 디스플레이하고 물리적 입력 디바이스들의 표현들 상에 시각적 피처들을 오버레이하는 디바이스(100a)를 도시한다. 다시 말하면, 디바이스(100a)는, CGR 환경에서, 물리적 입력 디바이스의 표현과 연관된 하나 이상의 가상 피처를 갖는 물리적 입력 디바이스의 표현을 디스플레이한다. 도 2a 내지 도 2f, 그리고 도 4a 및 도 4b에서, 디바이스(100a)는 단일 디스플레이 컴포넌트(디스플레이(120))를 갖는 폰 또는 태블릿 디바이스로서 도시되어 있다. 그러나, 디바이스(100a)는 CGR 환경을 디스플레이하도록 구성된 임의의 디바이스, 예컨대 HMD 디바이스, 또는 물리적 객체들이 디스플레이를 통해 직접 보일 수 있으며 가상 객체들이 투명 디스플레이 상에 디스플레이되거나 달리 보일 수 있는 투명 디스플레이를 갖는 디바이스일 수 있다는 것을 이해해야 한다.
도 2a 내지 도 2f, 그리고 도 4a 및 도 4b에 도시된 각각의 물리적 입력 디바이스는 디바이스(100a) 외부의, 실제 환경에서의 물리적 객체이다. 물리적 입력 디바이스는 가상 객체 및 물리적 객체의 표현의 조합으로서 CGR 환경에서 디스플레이된다(또는, 대안적으로, 물리적 객체는 투명 디스플레이를 통해서와 같이 디스플레이를 통해 직접 보일 수 있다). 예를 들어, 일부 실시예들에서, 디바이스(100a)는 물리적 입력 디바이스의 표현을 증강시켜 하나 이상의 가상(예컨대, 컴퓨터-생성) 속성 또는 피처가 CGR 환경의 컴포넌트로서 디스플레이(120) 상에 디스플레이되고 물리적 입력 디바이스의 표현과 연관되도록 한다. 일부 예들에서, 디바이스(100a)는 가상 애플리케이션의 일부분의 이미지를 생성하고, CGR 환경에서의 물리적 트랙패드의 표현의 디스플레이된 위치에 대응하는 디스플레이(120) 상의 포지션에 이미지를 디스플레이한다. 일부 예들에서, 디바이스(100a)는 사용자 입력 기능과 연관된 다양한 키보드 키들의 이미지를 생성하고, CGR 환경에서 물리적 키보드의 표현의 각자의 키들의 디스플레이된 위치에 대응하는 디스플레이(120) 상의 포지션에 이미지를 디스플레이한다. 대안적으로, 디스플레이는 투명하고, 키보드 키들은 투명 디스플레이를 통해 물리적 키보드가 보일 수 있는 위치에 대응하는 디스플레이 상의 포지션에 디스플레이된다.
일부 실시예들에서, 디바이스(100a)는 디스플레이(120) 상에 가상 애플리케이션을 생성하고 디스플레이한다. 가상 애플리케이션은 CGR 환경의 컴포넌트로서 디스플레이(120) 상에 디바이스(100a)에 의해 디스플레이되는 컴퓨터-생성 사용자 인터페이스(UI)이다. 디바이스(100a)는, 예를 들어, 애플리케이션의 시각적 외관, 애플리케이션의 디스플레이된 배향, 애플리케이션의 동작, 애플리케이션의 컴포넌트들, 및 애플리케이션의 다양한 컴포넌트들의 기능성과 같은 다양한 속성들을 갖는 가상 애플리케이션을 생성한다. 일부 실시예들에서, 디바이스(100a)는 애플리케이션의 다양한 컴포넌트들을 검출하고, 애플리케이션의 검출된 컴포넌트들에 기초하여 동작들을 수행한다. 예를 들어, 디바이스(100a)는, 아래에서 더 상세히 논의되는 바와 같이, 실제 환경에서 물리적 입력 디바이스를 식별하고, 디스플레이된 애플리케이션의 입력 필드를 검출하는 것에 응답하여, 디바이스(100a)가 CGR 환경에서 물리적 입력 디바이스의 표현을 증강시켜, 디바이스(100a)가 (그의 증강된 기능성에 따라) 실제 환경에서 물리적 입력 디바이스를 사용하여 제공된 입력(예컨대, 사용자 입력)을 수신할 수 있고, 가상 애플리케이션의 입력 필드를 업데이트할 수 있다.
일부 실시예들에서, 애플리케이션의 디스플레이된 배향은 사용자의 실제 위치, 또는 (예컨대, 디바이스(100a)의 위치에 기초한) 사용자의 예측 또는 예상된 위치에 대해 CGR 환경에서 디스플레이되는 애플리케이션의 배향(예컨대, 각도 또는 포지션)을 포함한다. 예를 들어, 가상 애플리케이션은 사용자를 향하도록 배향되어, 사용자가 애플리케이션을 용이하게 볼 수 있다. 보다 구체적으로, 사용자는, 일부 실시예들에서, (예컨대, 사용자가 디바이스(100a)를 착용하고 있기 때문에) 디바이스(100a)와 병치되어 있는 것으로 추정되고, 따라서, 애플리케이션은 디바이스(100a)를 향하도록 배향된다. 일부 실시예들에서, 사용자의 위치(실제, 예측, 예상, 또는 다른 것)는 하나 이상의 인자, 예컨대 디바이스(100a)의 위치 또는 포지션 및/또는 CGR 환경을 포함하는 하나 이상의 물리적 객체의 위치 또는 포지션에 기초하여 근사화된다. 예를 들어, 일부 실시예들에서, 사용자의 예상 위치는 위에 애플리케이션이 투영되게 위치설정된 물리적 키보드 또는 물리적 트랙패드의 표현 근처에 있는 것으로 결정된다.
이제 도 2a 내지 도 2f를 참조하면, 디바이스(100a)는 물리적 테이블 상부 표면(212) 상에 위치설정된 물리적 입력 디바이스(210)(예컨대, 트랙패드)를 (예컨대, 이미지 센서(들)(108)를 사용하여) 검출하고, 디스플레이(120) 상에, 물리적 테이블 상부 표면의 표현(222) 상에 위치설정된 물리적 입력 디바이스의 표현(221)을 디스플레이한다. 대안적으로, 도 2a 내지 도 2f와 관련하여 논의된 실시예들은 투명 디스플레이를 갖는 디바이스를 포함할 수 있고, 가상 객체들이 투명 디스플레이 상에 디스플레이되는 반면, 물리적 객체들은 투명 디스플레이를 통해 보일 수 있다. 물리적 입력 디바이스의 표현(221)은, 물리적 테이블 상부 표면의 표현(222)에 대해, 물리적 테이블 상부 표면(212)에 대한 물리적 입력 디바이스(210)의 포지션과 동일한 포지션을 가진다. 디바이스(100a)는 또한 가상 애플리케이션(201)을 디스플레이한다. 가상 애플리케이션(201)은 입력 필드들(201a 내지 201d)을 포함한다. 입력 필드들(201a 내지 201d) 중 하나 이상을 검출하는 것에 응답하여, 디바이스(100a)는 가상 애플리케이션(201)의 일부분(201')을 물리적 입력 디바이스의 표현(221) 상에 디스플레이(예컨대 투영)하며, 이 부분(201')은 검출된 입력 필드들(201a 내지 201d)을 포함한다. 예를 들어, 도 2a에 도시된 바와 같이, 물리적 입력 디바이스의 표현(221) 상에 투영되는 가상 애플리케이션의 일부분(201')은 검출된 입력 필드들(201a, 201b)의 투영들(201a', 201b')을 포함한다. 이어서, 디바이스(100a)는 (예컨대, 통신 버스(들)(150)를 사용하여) 물리적 입력 디바이스(210)로부터 입력(예컨대, 사용자 입력)(예컨대, 물리적 입력 디바이스(210)와의 사용자 상호작용을 검출하는 물리적 입력 디바이스(210)에 의해 검출된 입력)을 수신하고, 입력 필드들(201a 내지 201d/201a' 내지 201d′)을 업데이트한다.
일부 실시예들에서, 물리적 입력 디바이스들(예컨대, 트랙패드(210), 키보드(410))은 디바이스(100a) 외부에 있고(예컨대, 디바이스(100a)와는 별개임), 실제 환경에서, 예를 들어, 터치스크린 디스플레이와 같은 디스플레이 컴포넌트를 포함하지 않는다. 이와 같이, 디바이스(100a)는 물리적 입력 디바이스를, CGR 환경에서, 물리적 입력 디바이스의 표현으로 변환하도록, 그러나 실제 환경에서 물리적 입력 디바이스에는 결여되어 있는 추가된 디스플레이 능력들을 갖게 변환하도록, 구성된다. 디바이스(100a)는 또한 가상 피처들(예컨대, 입력 기능들)을 물리적 입력 디바이스의 표현과 연관시킴으로써 CGR 환경에서의 물리적 입력 디바이스의 표현의 기능성을 증강시킬 수 있다. 예를 들어, 실제 환경에서 터치-감응형 표면을 갖고 디스플레이 능력을 갖지 않는 트랙패드(예컨대, 트랙패드(210))가 CGR 환경에서 디바이스(100a)에 의해 증강되어, 실제 환경에서 물리적 트랙패드 상의 터치 입력들이 CGR 환경에서 트랙패드의 표현 상에 디스플레이된 콘텐츠와 연관되도록 트랙패드의 표현 상에 위치설정된 컴퓨터 애플리케이션(예컨대, 애플리케이션(201))의 적어도 일부분(예컨대, 201')의 디스플레이를 통합한다. 이러한 방식으로, 디바이스(100a)는 CGR 환경에서 물리적 입력 디바이스(예컨대, 트랙패드)의 기능성을 커스터마이징함으로써(예컨대, 물리적 입력 디바이스의 표현 상에 디스플레이된 애플리케이션의 외관을 커스터마이징함으로써) 시스템(100)의 동작을 향상시킨다. 예를 들어, 디바이스(100a)는, 가상 피처들을 생성 및 디스플레이하고 그들 가상 피처들을 CGR 환경에서 디스플레이되는 특정 애플리케이션에 대해 커스터마이징되는 방식으로 물리적 입력 디바이스들과 연관시키는 것을 통해, 시스템(100)을 향상시킨다. 물리적 입력 디바이스의 표현을 증강시켜 CGR 환경에서 그것의 기능성을 커스터마이징함으로써, 디바이스(100a)는 추가의 디스플레이된 제어 옵션들(예컨대, 메뉴 옵션들 등)을 이용하여 CGR 환경을 클러터링하지 않으면서 컴퓨터 애플리케이션(예컨대, 201)과 인터페이싱하기 위한 커스터마이징된 제어 옵션들을 사용자들에게 제시한다. 이는 (예컨대, 증강된 물리적 입력 디바이스를 작동시키고/그와 인터페이싱할 때 사용자가 적절한 입력들을 제공하는 것을 돕고 사용자 실수들을 감소시킴으로써) 디바이스(100a)의 작동성을 향상시키고 사용자-디바이스 인터페이스를 더 효율적으로 만드는데, 이는 추가적으로, 사용자가 디바이스(100a)를 더 신속하고 효율적으로 사용하는 것을 가능하게 함으로써 디바이스(100a)의 전력 사용량을 감소시키고 배터리 수명을 개선시킨다.
도 2a를 참조하면, 디바이스(100a)는 (예컨대, 이미지 센서(들)(108)를 사용하여) 실제 환경에서 물리적 테이블 상부 표면(212) 상에 위치설정된 물리적 트랙패드(210)를 검출한다. 트랙패드(210)는 (예컨대, 터치-감응형 표면에 의해 제공되는) 터치 감응 능력을 갖지만 디스플레이 컴포넌트 및 임의의 디스플레이 능력들이 없는, 실제 환경에서의 물리적 입력 디바이스이다. 디바이스(100a)는, 디스플레이(120) 상에 보여지는 CGR 환경에서, 테이블 상부 표면(212)의 표현(222), 테이블 상부 표면의 표현(222) 상에 위치설정된 트랙패드(210)의 표현(221), 및 테이블 상부 표면의 표현(222) 상에 투영된 가상 애플리케이션(201)을 디스플레이한다. 일부 실시예들에서, 도 2a 내지 도 2f에 도시된 바와 같이, 디바이스(100a)는, CGR 환경에서, 벽 또는 테이블 상부 표면과 같은 물리적 표면의 표현 상에 가상 애플리케이션(201)을 오버레이한다. 일부 실시예들에서, 디바이스(100a)는 가상 애플리케이션(201)을 가상 표면 상에 오버레이하여 가상 애플리케이션(201)이 CGR 환경에서 떠 있는 것처럼 보인다. 가상 애플리케이션(201)은, 예를 들어 워드 프로세싱 애플리케이션, PDF(Portable Document Format) 애플리케이션, 또는 웹 브라우징 애플리케이션을 사용하여 수정될 수 있는, 사용자 동의를 실행하기 위한 양식을 포함한다. 가상 애플리케이션(201)은 (예컨대, 사용자 입력에 기초하여) "동의" 옵션을 선택하기 위한 라디오 버튼인 입력 필드(201a), (예컨대, 사용자 입력에 기초하여) "거절" 옵션을 선택하기 위한 라디오 버튼인 입력 필드(201b), 사용자 동의 양식을 위한 서명을 수신하기 위한 디지털 서명 필드인 입력 필드(201c), 및 날짜를 수신하기 위한 텍스트-엔트리 필드인 입력 필드(201d)를 포함한다.
디바이스(100a)는 디스플레이된 가상 애플리케이션(201) 내의 입력 필드들(201a 내지 201d)을 검출하고, 혼합 환경에서 트랙패드의 표현(221) 상에, 검출된 입력 필드들(201a 내지 201d) 중 하나 이상을 포함하는 가상 애플리케이션의 부분(201')을 (예컨대, 동시에) 디스플레이한다. 예를 들어, 도 2a에 도시된 바와 같이, 입력 필드들(201a, 201b)을 검출하는 것에 응답하여, 디바이스(100a)는 CGR 환경에서 트랙패드의 표현(221) 상에 입력 필드(201a)의 투영(201a') 및 입력 필드(201b)의 투영(201b')을 포함하는 부분(201')을 각자의 입력 필드들(201a, 201b)에 대응하는 "동의" 및 "거절" 텍스트와 함께 디스플레이한다.
이제 도 2b를 참조하면, 디바이스(100a)는 "동의" 라디오 버튼(201a)의 선택/활성화에 대응하는 입력(예컨대, 사용자 입력)을 수신한다. 구체적으로, 물리적 트랙패드(210)는 CGR 환경에서 트랙패드의 표현(221) 상의 입력 필드(201a)의 투영(201a')의 디스플레이된 위치에 대응하는 물리적 트랙패드(210) 상의 위치에서 입력(215)(예컨대 점선 원으로 나타낸 사용자 입력)을 수신한다. 입력(215)은 예를 들어, 터치-및-리프트 제스처, 터치-및-홀드 제스처, 터치-및-슬라이드(예컨대, 스와이프) 제스처, 또는 강도 컴포넌트를 갖는 터치 입력과 같은 터치 입력일 수 있으며, 여기서 강도는 임계치를 초과한다(예컨대, 강도(힘 또는 압력)를 갖는 트랙패드(210) 상의 터치 입력으로서, 접촉의 강도는 트랙패드의 터치-감응형 표면 아래에 있거나 그에 인접해 있는 하나 이상의 힘 또는 압력 센서를 사용하여 결정되거나 측정되는 값들의 범위를 가짐). 일부 실시예들에서, 입력(예컨대, 사용자 입력)은 이들 터치 입력들 중 하나 이상을 포함한다.
디바이스(100a)가 CGR 환경에서 트랙패드의 표현(221) 상에 가상 애플리케이션의 부분(201')을 디스플레이하고, CGR 환경에서 트랙패드의 표현(221)의 위치 및 포지션이 실제 환경에서 물리적 트랙패드(210)의 실제 위치에 대응하기 때문에, 사용자는 실제 환경에서 트랙패드(210)에 대한 입력 필드들의 투영들(201a', 201b')의 위치들을 정확하게 결정할 수 있다(그리고, 실제로, CGR 환경에서 볼 수 있다). 디바이스(100a)는 (예컨대, 통신 버스(들)(150)를 사용하여) 물리적 트랙패드(210)로부터 터치 입력을 수신하고, 트랙패드(210) 상의 터치 입력(215)의 위치를 CGR 환경에서 트랙패드의 표현(221) 상에 디스플레이된 가상 콘텐츠(예컨대, 가상 애플리케이션의 부분(201'))의 위치와 연관시켜, 실제 환경에서 터치 입력(215)이 CGR 환경에서 "동의" 옵션과 연관된 라디오 버튼 입력 필드의 투영(201a')의 위치에 대응한다는 것을 결정한다. 일부 실시예들에서, 디바이스(100a)는 입력(예컨대, 사용자 입력)(예컨대, 터치 입력(215))을 검출하는 것에 응답하여 피드백을 제공한다. 예를 들어, 디바이스(100a)는 입력에 의해 수행되는 선택을 나타내기 위해 오디오(예컨대, "클릭" 사운드)를 생성한다. 옵션적으로, 디바이스(100a)는 트랙패드(210)에서 진동(예컨대, 마우스 클릭을 나타냄)을 생성하기 위해 커맨드를 통신(예컨대, 통신 버스(들)(150)를 사용)하여 햅틱 피드백을 제공한다. 일부 예들에서, 디바이스(100a)는 입력(예컨대, 사용자 입력)의 수신에 응답하여(그리고 그를 나타내기 위해) CGR 환경에서 시각적 피드백을 디스플레이한다.
터치 입력(215)이 "동의" 옵션과 연관된 라디오 버튼 입력 필드의 투영(201a')에 대응한다고 결정하는 것에 응답하여, 디바이스(100a)는 터치 입력(215)을 입력 필드(201a)의 선택으로서 해석하고, 그에 따라 입력 필드(201a)를 업데이트한다. 예를 들어, 도 2b에 도시된 바와 같이, 디바이스(100a)는 입력 필드(201a)의 선택을 도시하기 위해 가상 애플리케이션(201) 상에 디스플레이된 입력 필드(201a)를 어둡게 한다. 일부 실시예들에서, 디바이스(100a)는 또한 가상 애플리케이션의 디스플레이된 부분(201') 상의 "동의" 라디오 버튼의 투영(201a')을 어둡게 한다. 터치 입력(215)이 입력 필드(201b)의 선택으로서 해석되지 않았기 때문에, 디바이스(100a)는 투영(201b') 또는 입력 필드(201b)를 어둡게 하지 않는다.
도 2c 및 도 2d에 도시된 바와 같이, 디바이스(100a)는 입력 필드(201c)를 검출하고, CGR 환경에서 트랙패드의 표현(221) 상에, 사용자 동의 양식에 서명하기 위한 디지털 서명 필드인 입력 필드(201c)의 투영(201c')을 포함하는 가상 애플리케이션(201)의 부분(201')을 디스플레이한다. 디바이스(100a)는 가상 애플리케이션(201) 상에 어두운 라디오 버튼 입력 필드(201a) 및 비수정된 라디오 버튼 입력 필드(201b)를 디스플레이한다. 일부 실시예들에서, 도 2c 및 도 2d에 도시된 바와 같이, 디바이스(100a)는 트랙패드의 표현(221) 상에 디스플레이되는 부분(201')의 경계를 표현하는 표시자(225)를 가상 애플리케이션(201) 상에 디스플레이한다. 표시자(225)는 디바이스(100a)에 의해 검출된 입력 필드를 사용자에게 하이라이트하고, 물리적 입력 디바이스(예컨대, 트랙패드)의 표현(221) 상에 디스플레이되는 가상 애플리케이션의 일부분의 시각적 표현을 제공한다.
도 2d에 도시된 바와 같이, 디바이스(100a)는 디지털 서명 필드에 서명하기 위한 입력(예컨대, 사용자 입력)을 수신한다. 물리적 트랙패드(210)는 CGR 환경에서 트랙패드의 표현(221) 상의 입력 필드(201c)의 투영(201c')의 디스플레이된 위치에 대응하는 물리적 트랙패드(210) 상의 위치에서 (점선으로 나타낸) 터치 입력(217)을 수신한다. 옵션적으로, 터치 입력(217)은 예를 들어, 터치-및-리프트 제스처, 터치-및-홀드 제스처, 터치-및-슬라이드(예컨대, 스와이프) 제스처, 또는 강도 컴포넌트를 갖는 터치 입력과 같은 터치 입력이며, 여기서 강도는 임계치를 초과한다(예컨대, 강도(힘 또는 압력)를 갖는 트랙패드(210) 상의 터치 입력으로서, 접촉의 강도는 트랙패드의 터치-감응형 표면 아래에 있거나 그에 인접해 있는 하나 이상의 힘 또는 압력 센서를 사용하여 결정되거나 측정되는 값들의 범위를 가짐).
디바이스(100a)가 CGR 환경에서 트랙패드의 표현(221) 상에 가상 애플리케이션의 부분(201')을 디스플레이하고, CGR 환경에서 트랙패드의 표현(221)의 위치 및 포지션이 실제 환경에서 물리적 트랙패드(210)의 실제 위치에 대응하기 때문에, 사용자는 실제 환경에서 트랙패드(210)에 대한 입력 필드의 투영(201c')의 위치를 정확하게 결정할 수 있다(그리고, 실제로, CGR 환경에서 볼 수 있다). 이는 사용자가 CGR 환경에서 디지털 서명을 기입하기 위해 물리적 트랙패드(210)의 터치-감응형 표면을 따라 그들의 손가락을 정확하게 트레이스할 수 있게 한다. 디바이스(100a)는 (예컨대, 통신 버스(들)(150)를 사용하여) 물리적 트랙패드(210)로부터 터치 입력을 수신하고, 트랙패드(210) 상의 터치 입력(217)의 움직임을 CGR 환경에서 트랙패드의 표현(221) 상에 디스플레이된 가상 콘텐츠(예컨대, 부분(201'))의 위치와 연관시켜, 실제 환경에서 터치 입력(217)이 CGR 환경에서 디지털 서명 입력 필드의 투영(201c') 상의 서명에 대응한다는 것을 결정한다. 일부 실시예들에서, 디바이스(100a)는 터치 입력(217)을 검출하는 것에 응답하여 피드백을 제공한다.
터치 입력(217)을 수신하는 것에 응답하여, 디바이스(100a)는 터치 입력을 디지털 서명으로서 해석하고 그에 따라 입력 필드(201c)를 업데이트한다. 예를 들어, 도 2d에 도시된 바와 같이, 디바이스(100a)는 가상 애플리케이션(201) 내의 디지털 서명 입력 필드(201c) 상에 디지털 서명(227)을 디스플레이한다. 일부 실시예들에서, 디바이스(100a)는 또한 가상 애플리케이션의 부분(201') 상에 디스플레이되는 디지털 서명 입력 필드의 투영(201c') 상에 디지털 서명(227)을 (예컨대, 동시에) 디스플레이한다. 일부 실시예들에서, 디바이스(100a)는 터치 입력(217)을 검출하는 것과 동시에 입력 필드(201c)를 업데이트한다. 일부 실시예들에서, 디바이스(100a)는 터치 입력(217)이 완료된 후에 입력 필드(201c)를 업데이트한다(예컨대, 입력의 리프트-오프가 검출된다).
도 2e 및 도 2f에 도시된 바와 같이, 디바이스(100a)는 입력 필드(201d)를 검출하고, CGR 환경에서 트랙패드의 표현(221) 상에, 입력 필드(201d)의 "날짜:" 텍스트(228)를 포함하는 가상 애플리케이션(201)의 부분(201'), 및 날짜 입력을 수신하기 위한 텍스트-엔트리 필드인 입력 필드(201d)의 투영(201d')을 디스플레이한다. 디바이스(100a)는 입력 필드(201d)가 텍스트-엔트리 필드인 것을 결정하고, 이에 응답하여, CGR 환경에서 트랙패드의 표현(221) 상에 가상 키보드(229)를 디스플레이한다. 일부 실시예들에서, 도 2e 및 도 2f에 도시된 바와 같이, 디바이스(100a)는 가상 애플리케이션의 부분(201') 및 입력 필드(및 텍스트(228))의 포함된 투영(201d')에 더하여 가상 키보드(229)를 디스플레이한다. 다른 실시예들에서, 디바이스(100a)는, 입력 필드(및 텍스트(228))의 투영(201d') 대신에, 또는 가상 애플리케이션의 부분(201') 대신에, 가상 키보드(229)를 디스플레이한다. 도 2e에 도시된 바와 같이, 디바이스(100a)는 또한 가상 애플리케이션(201) 상에 어두워진 라디오 버튼 입력 필드(201a), 비수정된 라디오 버튼 입력 필드(201b), 및 서명된 디지털 서명 입력 필드(201c)를 디스플레이한다.
도 2f에 도시된 바와 같이, 디바이스(100a)는 텍스트-엔트리 입력 필드의 텍스트를 기입하기 위한 입력(예컨대, 사용자 입력)을 수신한다. 물리적 트랙패드(210)는 CGR 환경에서의 트랙패드의 표현(221) 상에 디스플레이된 가상 키보드(229) 상의 키들의 각자의 디스플레이된 위치들에 대응하는 물리적 트랙패드(210) 상의 위치들에서 (점선으로 나타낸) 터치 입력들(219A, 219B, 219C)을 수신한다. 각자의 사용자 입력들(219A 내지 210C) 각각은 옵션적으로 예를 들어, 터치-및-리프트 제스처, 터치-및-홀드 제스처, 터치-및-슬라이드(예컨대, 스와이프) 제스처, 또는 강도 컴포넌트를 갖는 터치 입력과 같은 터치 입력이며, 여기서 강도는 임계치를 초과한다(예컨대, 강도(힘 또는 압력)를 갖는 트랙패드(210) 상의 터치 입력으로서, 접촉의 강도는 트랙패드의 터치-감응형 표면 아래에 있거나 그에 인접해 있는 하나 이상의 힘 또는 압력 센서를 사용하여 결정되거나 측정되는 값들의 범위를 가짐).
디바이스(100a)가 CGR 환경에서 트랙패드의 표현(221) 상에 가상 키보드(229)를 디스플레이하고, CGR 환경에서의 트랙패드의 표현(221)의 위치 및 포지션이 실제 환경에서 물리적 트랙패드(210)의 실제 위치에 대응하기 때문에, 사용자는 실제 환경에서 트랙패드(210)에 대한 가상 키보드(229)의 키들의 위치들을 정확하게 결정할 수 있다(그리고, 실제로, CGR 환경에서 볼 수 있다). 디바이스(100a)는 (예컨대, 통신 버스(들)(150)를 사용하여) 물리적 트랙패드(210)로부터의 터치 입력을 수신하고, 트랙패드(210) 상의 각자의 터치 입력들(219A 내지 219C) 각각의 위치들을 CGR 환경에서 트랙패드의 표현(221) 상에 디스플레이된 가상 키보드(229)의 키들의 위치들과 연관시킨다. 이러한 방식으로, 디바이스(100a)는 실제 환경에서 터치 입력들(219A 내지 219C)이 CGR 환경에서 각자 "D," "E" 및 "C" 키들의 위치들에 대응한다고 결정한다. 일부 실시예들에서, 디바이스(100a)는 사용자 입력(예컨대, 터치 입력들(219))을 검출하는 것에 응답하여 피드백을 제공한다. 예를 들어, 디바이스(100a)는 가상 키보드 키의 선택을 나타내기 위해 오디오(예컨대, "클릭" 사운드)를 생성한다. 디바이스(100a)는 옵션적으로 트랙패드(210)에서 진동(예컨대, 키 누름을 나타냄)을 생성하기 위해 커맨드를 통신(예컨대, 통신 버스(들)(150)를 사용)하여 햅틱 피드백을 제공한다. 일부 예들에서, 디바이스(100a)는 입력(예컨대, 사용자 입력)의 수신을 나타내기 위해 CGR 환경에서 시각적 피드백을 디스플레이한다.
터치 입력(219A)이 가상 키보드(229) 상의 "D" 키의 위치에 대응한다고 결정하는 것에 응답하여, 디바이스(100a)는 가상 키보드(229) 상의 "D" 키의 선택으로서 터치 입력(219A)을 해석하고, 그에 따라 입력 필드(201d)를 업데이트한다. 예를 들어, 도 2f에 도시된 바와 같이, 디바이스(100a)는 가상 애플리케이션(201) 상에 디스플레이된 텍스트-엔트리 입력 필드(201d)에 "D" 문자를 디스플레이한다. 터치 입력들(219B, 219C)이 각자 가상 키보드(229) 상의 "E" 및 "C" 키들의 위치들에 대응한다고 결정하는 것에 응답하여, 디바이스(100a)는 터치 입력들(219B, 219C)을 각자 가상 키보드(229) 상의 "E" 및 "C" 키들의 선택들로서 해석하고, 도 2f에 도시된 바와 같이, 가상 애플리케이션(201) 상에 디스플레이된 텍스트-엔트리 입력 필드(201d) 내에 "E" 및 "C" 문자들을 포함하도록 입력 필드(201d)를 업데이트한다. 일부 실시예들에서, 디바이스(100a)는 트랙패드의 표현(221) 상에 텍스트-엔트리 필드(201d)에 대한 업데이트들을 디스플레이한다. 예를 들어, 도 2f에 도시된 바와 같이, 글자들 "DEC"는 텍스트-엔트리 입력 필드의 투영(201d')에 보여진다.
도 3은 CGR 환경에서 물리적 입력 디바이스들의 표현들을 디스플레이하고 물리적 입력 디바이스들의 표현들 상에 시각적 피처들을 오버레이하기 위한 예시적인 기법(300)을 도시한다. 일부 실시예들에서, 이 기법은 도 1a 및 도 1b, 그리고 도 2a 내지 도 2f를 참조하여 기술된 시스템(100)에 의해 수행된다.
디바이스(예컨대, 100a)는 CGR 환경에서 애플리케이션(예컨대, 가상 애플리케이션)(예컨대, 201)(예컨대, 웹 브라우저, PDF, 메시징 애플리케이션 등)을 디스플레이한다. 일부 실시예들에서, 애플리케이션은 애플리케이션을 CGR 환경에서 물리적 표면의 표현 상에 투영하거나, 또는 애플리케이션을 CGR 환경에서 가상 표면 상에 투영함으로써 디스플레이된다.
블록(304)에서, 디스플레이된 애플리케이션에서 입력 필드(예컨대, 텍스트 입력 필드(201d), 데이터(예컨대, 디지털 서명) 엔트리 필드(201c), 라디오 버튼(201a, 201b))를 검출하는 것에 응답하여, 디바이스(예컨대, 100a)는 디스플레이된 애플리케이션(예컨대, 201)의 적어도 일부분(예컨대, 201')을 물리적 입력 디바이스(예컨대, 210)의 표현(예컨대, 221) 상에 디스플레이(예컨대, 투영)하며, 디스플레이된 애플리케이션의 부분은 검출된 입력 필드(예컨대, 201a′, 201b′, 201c′, 201d′)를 포함한다. 일부 실시예들에서, 물리적 입력 디바이스는, 트랙패드(예컨대, 210), 또는 디스플레이 컴포넌트를 포함하지 않으며 CGR 환경을 보기/디스플레이하기 위한 전자 디바이스(예컨대, 100a) 및 본래 그 위에 가상 애플리케이션이 디스플레이되는 표면(예컨대, 테이블 상부(212)) 둘 모두와 별개이고 떨어져 있는(예컨대, 외부의) 다른 물리적(예컨대, 가상이 아님), 터치-감응형 표면이다.
일부 실시예들에서, 본 기법은 디스플레이된 애플리케이션(예컨대, 201) 내의 입력 필드(예컨대, 201a, 201b, 201c, 201d)를 검출하는 것에 응답하여, 물리적 입력 디바이스의 표현(예컨대, 221) 상에 가상 키보드 키들(예컨대, 229)을 디스플레이하는 디바이스(예컨대, 100a)를 추가로 포함한다. 일부 실시예들에서, 도 2f에 도시된 바와 같이 디스플레이된 애플리케이션 및 포함된 입력 필드(예컨대, 201d')의 부분(예컨대, 201')에 더하여 가상 키보드(예컨대, 소프트 키보드)가 물리적 입력 디바이스의 표현 상에 디스플레이/투영된다. 일부 실시예들에서, 가상 키보드는 가상 입력 필드 대신에 또는 디스플레이된 애플리케이션 대신에 물리적 입력 디바이스의 표현 상에 디스플레이/투영된다.
일부 실시예들에서, 입력은 가상 키보드 키의 디스플레이된 위치에 대응하는 물리적 입력 디바이스(예컨대, 210) 상의 위치에서의 터치 입력(예컨대, 219A 내지 219C)을 포함한다. 일부 실시예들에서, 도 2e 및 도 2f에 도시된 것과 같이, 입력 필드(예컨대, 201d')의 투영은 하나 이상의 가상 키를 갖는 가상 키보드(예컨대, 소프트 키보드(229))와 함께 디스플레이되고, 입력은 가상 키들 중 하나 이상이 디스플레이되는 위치에 대응하는 물리적 입력 디바이스 상의 위치에서의 사용자 터치를 포함한다. 일부 실시예들에서, 가상 키보드 키들은 검출된 입력 필드가 텍스트-엔트리 필드(예컨대, 201d)라는 결정에 따라 디스플레이된다. 일부 실시예들에서, 물리적 입력 디바이스는 물리적 키보드 키들을 갖는 물리적 키보드이고, 각자의 디스플레이된 키보드 키들은 위에 그들이 디스플레이되는 물리적 키보드 키들과는 상이한 값을 가진다(예컨대, 물리적 키보드 키들은 숫자 키패드에 대응하는 키들의 서브세트를 포함하고, 디스플레이된 키들은 숫자 키패드를 위한 키들 위에 디스플레이되는 편집 기능들(예컨대, 복사 커맨드, 붙여넣기 커맨드 등)로서 디스플레이된다).
일부 실시예들에서, 물리적 입력 디바이스는 터치-감응형 표면(예컨대, 트랙패드(210))이다. 일부 실시예들에서, 터치-감응형 표면은 디스플레이 컴포넌트(예컨대, 디스플레이 스크린 또는 터치스크린 디스플레이)를 포함하지 않는다. 일부 실시예들에서, 물리적 입력 디바이스(예컨대, 210)는 전자 디바이스(예컨대, 100a) 외부에 있다.
일부 실시예들에서, 디스플레이된 애플리케이션의 적어도 일부분(예컨대, 201')을 물리적 입력 디바이스(예컨대, 210)의 표현(예컨대, 221) 상에 투영하는 것은, CGR 환경 내에, 물리적 입력 디바이스의 표현 상에 위치설정된(예컨대, 오버레이된) 검출된 입력 필드(예컨대, 201a′, 201b′, 201c′, 201d′)의 투영을 디스플레이하는 것을 포함한다.
일부 실시예들에서, 본 기법은, 검출된 입력 필드가 텍스트-엔트리 필드(예컨대, 201d)라는 결정에 따라, CGR 환경에서, 물리적 입력 디바이스의 표현 상에 위치설정된(예컨대, 오버레이된) 가상 텍스트 박스(예컨대, 201d')를 디스플레이하는 것을 포함하여, 디스플레이된 애플리케이션의 적어도 일부분(예컨대, 201')을 물리적 입력 디바이스의 표현(예컨대, 221) 상에 디스플레이하는 디바이스(예컨대, 100a)를 추가로 포함한다.
일부 실시예들에서, 본 기법은, 검출된 입력 필드가 디지털 서명 필드(예컨대, 201c)라는 결정에 따라, CGR 환경에서, 물리적 입력 디바이스의 표현 상에 위치설정된(예컨대, 오버레이된) 가상 디지털 서명 박스(예컨대, 201c')를 디스플레이하는 것을 포함하여, 디스플레이된 애플리케이션의 적어도 일부분(예컨대, 201')을 물리적 입력 디바이스의 표현(예컨대, 221) 상에 디스플레이하는 디바이스(예컨대, 100a)를 추가로 포함한다.
일부 실시예들에서, 본 기법은, 검출된 입력 필드가 하나 이상의 라디오 버튼(예컨대, 201a, 201b)을 포함한다는 결정에 따라, CGR 환경에서, 물리적 입력 디바이스의 표현 상에 위치설정된(예컨대, 오버레이된) 하나 이상의 가상 라디오 버튼(예컨대, 201a', 201b')을 디스플레이하는 것을 포함하여, 디스플레이된 애플리케이션의 적어도 일부분(예컨대, 201')을 물리적 입력 디바이스의 표현(예컨대, 221) 상에 디스플레이하는 디바이스(예컨대, 100a)를 추가로 포함한다. 일부 실시예들에서, 디스플레이된 애플리케이션의 적어도 일부분을 물리적 입력 디바이스의 표현 상에 디스플레이하는 것은, CGR 환경에서, 검출된 입력 필드의 하나 이상의 라디오 버튼과 연관된 텍스트를 디스플레이하는 것을 추가로 포함한다.
블록(306)에서, 물리적 입력 디바이스(예컨대, 210)에서 수신된 입력(예컨대, 215, 217, 219A 내지 219C)을 검출하는 것에 응답하여, 디바이스(100a)는 입력을 이용하여 입력 필드(예컨대, 201a, 201b, 201c, 201d)를 업데이트한다. 예를 들어, 전자 디바이스는, 사용자 스와이프 제스처 또는 터치 제스처가 트랙패드(예컨대, 210), 또는 디스플레이 컴포넌트를 포함하지 않으며 CGR 환경을 보기/디스플레이하기 위한 전자 디바이스 및 본래 그 위에 가상 애플리케이션이 디스플레이되는 표면(예컨대, 212) 둘 모두의 외부에 있는 다른 물리적(예컨대, 가상이 아님), 터치-감응형 표면에서 수신되었다는 것을 검출한다. 전자 디바이스는 물리적 입력 디바이스에서 입력을 나타내는 입력 데이터를 수신하고, 입력 데이터를 사용하여 입력 필드를 업데이트한다.
일부 실시예들에서, 입력(예컨대, 215, 217, 219A 내지 219C)은 물리적 입력 디바이스의 표현(예컨대, 221) 상에 디스플레이된 입력 필드(예컨대, 201a′, 201b', 201c, 201d')의 투영의 위치에 대응하는 물리적 입력 디바이스(예컨대, 210) 상의 위치에서의 터치 입력을 포함한다. 일부 실시예들에서, 투영된 입력 필드는 물리적 입력 디바이스의 표현 상에 디스플레이된 가상 텍스트 박스(예컨대, 텍스트 입력 필드(201d'))이고, 입력은, (예컨대, 텍스트-엔트리 커서를 위치설정하기 위해) CGR 환경에서 가상 텍스트 박스가 디스플레이되는 위치에 대응하는 실제 환경에서 물리적 입력 디바이스 상의 위치에서의 사용자 터치를 포함한다. 일부 실시예들에서, 투영된 입력 필드는 물리적 입력 디바이스의 표현 상에 디스플레이된 가상 디지털 서명 박스(예컨대, 201c')이고, 입력은, CGR 환경에서 가상 디지털 서명 박스가 디스플레이되는 위치에 대응하는 실제 환경에서 물리적 입력 디바이스 상의 위치에서의 사용자 터치(예컨대, 217)를 포함한다. 일부 실시예들에서, 투영된 입력 필드는 물리적 입력 디바이스 상에 디스플레이된 하나 이상의 가상 라디오 버튼(예컨대, 201a', 201b')을 포함하고, 입력은, CGR 환경에서 하나 이상의 가상 라디오 버튼이 디스플레이되는 위치에 대응하는 실제 환경에서 물리적 입력 디바이스 상의 위치에서의 사용자 터치(예컨대, 215)를 포함한다. 일부 실시예들에서, 터치 입력은 강도 컴포넌트를 가진다. 일부 실시예들에서, 터치 입력은 물리적 입력 디바이스 상의 스와이프이다.
일부 실시예들에서, 본 기법은, 물리적 입력 디바이스(예컨대, 210)에서 수신된 입력(예컨대, 215, 217, 219A 내지 219C)을 검출하는 것에 응답하여, 햅틱 피드백을 생성하는 디바이스(예컨대, 100a)를 추가로 포함한다. 예를 들어, 디바이스는(예컨대, 통신 버스(들)(150)를 사용하여) 입력 디바이스와 통신하여 진동과 같은 물리적 피드백을 제공한다. 일부 실시예들에서, 햅틱 피드백은 마우스 버튼, 트랙패드 상의 버튼, 또는 키보드 상의 키를 클릭할 때와 같은 클릭 응답을 모방한다. 일부 실시예들에서, 햅틱 피드백은 클릭 사운드와 같은 청각적 피드백을 포함한다.
일부 실시예들에서, 입력을 이용하여 입력 필드를 업데이트하는 디바이스(예컨대, 100a)는 물리적 입력 디바이스(예컨대, 210)에서의 입력(예컨대, 215, 217, 219A 내지 219C)을 나타내는 입력 데이터를 수신하는 것, 및 수신된 입력 데이터에 따라 입력 필드(예컨대, 201a, 201b, 201c, 201d)를 업데이트하는 것을 포함한다.
블록(308)에서, 디바이스(예컨대, 100a)는 업데이트된 입력 필드(예컨대, 201a, 201b, 201c, 201d)를 디스플레이한다. 일부 실시예들에서, 업데이트된 입력 필드는 애플리케이션(예컨대, 도 2f에 도시된 바와 같이 201a, 201c, 201d) 내에 디스플레이된다. 일부 실시예들에서, 업데이트된 입력 필드는 물리적 입력 디바이스(예컨대, 210)의 표현(예컨대, 221) 상에 디스플레이된 입력 필드의 투영(예컨대, 201a′, 201b′, 201c′, 201d') 내에 디스플레이된다. 일부 실시예들에서, 업데이트된 입력 필드는 애플리케이션, 및 물리적 입력 디바이스의 표현 상에 투영된 애플리케이션의 부분(예컨대, 201')에 디스플레이된 투영된 입력 필드 둘 모두에 디스플레이된다.
일부 실시예들에서, 업데이트된 입력 필드를 디스플레이하는 것은 애플리케이션(예컨대, 201) 내에 업데이트된 입력 필드를 디스플레이하는 것을 포함한다. 예를 들어, 디스플레이된 애플리케이션 내에 디스플레이된 입력 필드(예컨대, 201a, 201b, 201c, 201d)는 사용자로부터의 입력을 포함하도록 업데이트된다. 일부 실시예들에서, 업데이트된 입력 필드는 (예컨대, 도 2f에 도시된 바와 같이) 사용자에 의해 기입된 텍스트를 갖는 텍스트 박스(예컨대, 201d)로서 디스플레이된다. 일부 실시예들에서, 업데이트된 입력 필드는 사용자에 의해 기입된 텍스트(예컨대, 디지털 서명(227))를 갖는 디지털 서명 박스(예컨대, 201c)로서 디스플레이된다. 일부 실시예들에서, 업데이트된 입력 필드는 사용자에 의해 선택된 하나 이상의 라디오 버튼(예컨대, 201a)으로서 디스플레이된다.
일부 실시예들에서, 업데이트된 입력 필드를 디스플레이하는 것은, 물리적 입력 디바이스(예컨대, 210)의 표현(예컨대, 221) 상에 투영된 애플리케이션의 부분(예컨대, 201') 내에 디스플레이된 입력 필드(예컨대, 201a', 201b', 201c', 201d')의 투영 내에 업데이트된 입력 필드를 디스플레이하는 것을 포함한다. 예를 들어, 물리적 입력 디바이스의 표현 상에 디스플레이된/투영된 입력 필드의 투영은 사용자로부터의 입력을 포함하도록 업데이트된다. 일부 실시예들에서, 업데이트된 입력 필드는 (예컨대, 도 2f에 도시된 바와 같이) 사용자에 의해 기입된 텍스트를 갖는 텍스트 박스(예컨대, 201d')의 표현으로서 디스플레이된다. 일부 실시예들에서, 업데이트된 입력 필드는 사용자에 의해 기입된 텍스트(예컨대, 디지털 서명)를 갖는 디지털 서명 박스(예컨대, 201c')의 표현으로서 디스플레이된다. 일부 실시예들에서, 업데이트된 입력 필드는 사용자에 의해 선택된 하나 이상의 라디오 버튼(예컨대, 201a')으로서 디스플레이된다.
도 4a 및 도 4b에 도시된 바와 같이, 디바이스(100a)는 물리적 테이블 상부 표면(212) 상에 위치설정된 물리적 입력 디바이스(410)(예컨대, (기능 키들(415)을 포함하는) 키들을 갖는 키보드)를 (예컨대, 이미지 센서(들)(108)를 사용하여) 검출하고, 디스플레이(120) 상에, 물리적 테이블 상부 표면의 표현(222) 상에 위치설정된 물리적 입력 디바이스의 표현(421)을 디스플레이한다. 물리적 입력 디바이스의 표현(421)은 물리적 테이블 상부 표면의 표현(222)에 대해, 물리적 테이블 상부 표면(212)에 대한 물리적 입력 디바이스(410)의 포지션과 동일한 포지션을 가진다. 또한, 키보드(410)의 표현(421)은 키보드(410) 상의 모든 키들의 표현(421a)을 포함하고(기능 키들(415)의 표현(425) 및 숫자 키들의 표현을 포함함), 각각의 키보드 키의 각각의 표현(421a)은 키보드의 표현(421)에 대해, 물리적 키보드(410)에 대한 대응하는 물리적 키의 포지션과 동일한 포지션을 갖는다.
디바이스(100a)는 또한 제1 상태(401a)를 갖는 가상 애플리케이션(401)을 디스플레이한다. 디바이스(100a)는 가상 애플리케이션의 현재(제1) 상태(401a)에 특정된 입력 제어들의 제1 세트를 결정하고, 입력 제어들의 제1 세트를 물리적 입력 디바이스의 표현(421) 상에 투영한다. 가상 애플리케이션의 제2 상태(401b)(예컨대, 가상 애플리케이션의 제1 상태 또는 상이한 애플리케이션 모두에 대한 업데이트)를 검출하는 것에 응답하여, 디바이스(100a)는 가상 애플리케이션의 제2 상태(401b)에 특정된 입력 제어들의 제2 세트를 결정하고, 입력 제어들의 제2 세트를 물리적 입력 디바이스의 표현(421) 상에 투영한다.
일부 실시예들에서, 물리적 입력 디바이스들(예컨대, 트랙패드(210), 키보드(410))은 디바이스(100a) 외부에 있고(예컨대, 디바이스(100a)와는 별개임), 실제 환경에서, 예를 들어, 터치스크린 디스플레이와 같은 디스플레이 컴포넌트를 포함하지 않는다. 이와 같이, 디바이스(100a)는 물리적 입력 디바이스를, CGR 환경에서, 물리적 입력 디바이스의 표현으로 변환하되, 실제 환경에서 물리적 디바이스에는 결여되어 있는 추가된 디스플레이 능력들을 갖게 변환할 수 있다. 디바이스(100a)는 또한 가상 피처들(예컨대, 입력 기능들 또는 입력 제어들)을 물리적 입력 디바이스의 표현과 연관시킴으로써 CGR 환경에서 물리적 입력 디바이스의 기능성을 증강시킬 수 있다. 예를 들어, 실제 환경에서, 번호를 기입하도록 프로그래밍된 키(예를 들어, 숫자 키 9)를 갖는 물리적 키보드는 상이한 기능(예컨대, 예를 들어, 컴퓨터 애플리케이션이 워드 프로세싱 애플리케이션인 경우 복사 또는 붙여넣기 커맨드)을 키와 연관시킴으로써 CGR 환경에서 디바이스(100a)에 의해 재구성될 수 있다. 또한, 디바이스(100a)는, CGR 환경에서 키보드 키의 표현 상에, 커스터마이징된 기능의 가상 표현(예컨대, 키보드 키의 표현 상에 디스플레이된 복사 또는 붙여넣기 아이콘)을 디스플레이한다. 따라서, 디바이스(100a)는 가상 피처들을 생성 및 디스플레이하고 그들 가상 피처들을, CGR 환경에서 디스플레이되는 특정 애플리케이션에 커스터마이징되는 방식으로 물리적 입력 디바이스들과 연관시키는 것을 통해, CGR 환경에서 물리적 입력 디바이스들의 기능성을 커스터마이징함으로써 시스템(100)의 동작을 향상시킨다. 물리적 입력 디바이스를 증강시켜 CGR 환경에서 그것의 기능성을 커스터마이징함으로써, 디바이스(100a)는 추가의 디스플레이된 제어 옵션들(예컨대, 메뉴 옵션들 등)을 이용하여 CGR 환경을 클러터링하지 않으면서 컴퓨터 애플리케이션(예컨대, 401)과 인터페이싱하기 위한 커스터마이징된 제어 옵션들을 사용자에게 제시한다. 이는 (예컨대, 증강된 물리적 입력 디바이스를 작동시키고/그와 인터페이싱할 때 사용자가 적절한 입력들을 제공하는 것을 돕고 사용자 실수들을 감소시킴으로써) 디바이스(100a)의 작동성을 향상시키고 사용자-디바이스 인터페이스를 더 효율적으로 만드는데, 이는 추가적으로, 사용자가 디바이스(100a)를 더 신속하고 효율적으로 사용하는 것을 가능하게 함으로써 디바이스(100a)의 전력 사용량을 감소시키고 배터리 수명을 개선시킨다.
이제 도 4a를 참조하면, 디바이스(100a)는 (예컨대, 이미지 센서(들)(108)를 사용하여) 실제 환경에서 물리적 테이블 상부 표면(212) 상에 위치설정된 물리적 키보드(410)를 검출한다. 키보드(410)는 (예컨대, 키보드 키들(410a) 및 기능 키들(415)에 의해 제공되는) 사용자-입력 능력을 갖지만 디스플레이 컴포넌트 및 임의의 디스플레이 능력들이 없는, 실제 환경에서의 물리적 입력 디바이스이다. 디바이스(100a)는, 디스플레이(120) 상에 보여지는 CGR 환경에서, 테이블 상부 표면(212)의 표현(222), 테이블 상부 표면의 표현(222) 상에 위치설정된 키보드(410)의 표현(421), 및 테이블 상부 표면의 표현(222) 상에 투영된 가상 애플리케이션(401)을 디스플레이한다. 일부 실시예들에서, 도 4a 및 도 4b에 도시된 바와 같이, 디바이스(100a)는, CGR 환경에서, 벽 또는 테이블 상부 표면과 같은 물리적 표면의 표현 상에 가상 애플리케이션(401)을 투영한다. 일부 실시예들에서, 디바이스(100a)는 가상 애플리케이션(401)을 가상 표면 상에 투영하여, 가상 애플리케이션(401)이 예를 들어 CGR 환경에서 떠 있는 것처럼 보인다.
도 4a에 도시된 바와 같이, 가상 애플리케이션(401)은 텍스트를 기입하기 위한 텍스트-입력 필드(403)를 갖는 제1 상태(401a)에 도시된 메시징 애플리케이션이다. 디바이스(100a)는 가상 애플리케이션의 상태에 특정된 입력 제어들의 세트를 결정하도록 구성된다. 따라서, 디바이스(100a)는 가상 애플리케이션(401)의 현재 상태(401a)가 텍스트-엔트리 필드(403) 내에 텍스트를 기입/수신하기 위한 것임을 결정한다. 이러한 결정에 응답하여, 디바이스(100a)는 텍스트를 기입/수신하는 것에 대응하는 입력 기능들(예컨대, 커맨드들 또는 데이터)의 세트를 결정하고, CGR 환경에서 키보드의 표현(421) 상에 그러한 입력 기능들의 가상 표현을 디스플레이한다. 예를 들어, 디바이스(100a)는 현재 텍스트-엔트리 상태(401a)에 대한 입력 기능들의 세트가 텍스트 입력 필드(403) 내에 숫자들, 글자들, 및 구두점을 기입하는 것을 포함하지만, 복사, 잘라내기, 또는 붙여넣기 동작과 같은 편집 동작들을 포함하지는 않는다는 것을 결정한다. 따라서, 도 4a에서, 디바이스(100a)는 키보드 키들(숫자 키패드를 포함함)의 각자의 표현들(421a) 각각 상에 가상 글자, 숫자, 또는 구두점 마크를 디스플레이하지만, 예를 들어, 편집 동작들과 연관된 것들과 같은 임의의 불필요한 입력 기능들의 표현을 디스플레이하지 않는다. 이와 같이, 디바이스(100a)는 각각의 기능 키의 표현들(425)과 연관된 임의의 입력 기능들이 무관하다고 결정하고, 따라서 (예컨대, 물리적 키보드 키들 상에 존재하는 모든 표시들을 디스플레이된 표현들(425)로부터 생략시킴으로써, 또는 키보드 키의 표현을 흐릿하게 하는 가상 피처를 디스플레이하여 그것이 블랭크로 보이게 함으로써) 기능 키의 각각의 표현(425)을 블랭크로서 디스플레이하여, 기능 키들의 표현들(425)이 애플리케이션의 현재 상태(401a)에 대해 비활성이라는 것을 표시한다. 이러한 방식으로, 디바이스(100a)는 가상 애플리케이션(401)의 현재 상태(예컨대, 401a)와 인터페이싱하기 위해 원하는 또는 필요한 입력 기능들만이 사용자에게 제공되도록 물리적 입력 디바이스에 의해 제공되는 기능성을 커스터마이징한다.
디바이스(100a)는 사용자에 의해 활성화된 물리적 키보드 키들이, 실제 환경에서, CGR 환경에서의 각자의 키의 표현과 연관된 입력(만약 존재하는 경우)을 제공하도록 키보드의 디스플레이된 표현(421)의 기능성을 물리적 키보드(410)와 연관시킴으로써 물리적 키보드(410)에 의해 제공된 기능성을 수정한다. 예를 들어, 사용자가 실제 환경에서 글자 "H"에 대응하는 물리적 키보드 키를 활성화하는 경우, 디바이스(100a)는 CGR 환경에서 그 키와 연관된 입력 기능을 실행한다. 도 4a의 예에 따르면, 디바이스(100a)는, 키보드의 표현(421)의 글자 키들의 표현들(421a)이 물리적 키보드(410)의 키들에 대응하기 때문에, 물리적 키보드(410)로부터의 입력을 글자 "H"로서 해석할 것이다. 유사하게, 사용자가 기능 키들(415) 중 하나에 대응하는 물리적 키보드 키를 활성화하는 경우, 디바이스(100a)는 기능 키들의 표현들(425)이 CGR 환경에서 비활성 이기 때문에 그 입력을 무시할 것이다. 이 예에서, CGR 환경에서 글자 "H"의 표현이 실제 환경에서 "H" 키보드 키에 대응하지만, 키보드 키들의 표현들과 연관된 입력 기능들은 물리적 키보드(410)의 키들에 대응하는 것들만이 아니라 임의의 원하는 입력 기능들일 수 있다는 것을 이해해야 한다. 예를 들어, 디바이스(100a)는 물리적 키보드(410)의 "H" 키가 CGR 환경에서 글자 "Q"를 기입하는 입력 함수에 대응하도록 입력 기능들을 구성할 수 있다. 다른 예로서, 디바이스(100a)는 물리적 키보드(410)의 "H" 키가 아래에서 더 상세히 논의되는 바와 같이 복사 또는 붙여넣기 커맨드를 수행하는 입력 기능에 대응하도록 입력 기능들을 구성할 수 있다.
이제 도 4b를 참조하면, 디바이스(100a)는 텍스트 "now" 가 선택되는 가상 애플리케이션(401)의 제2 상태(401b)를 검출한다(405). 디바이스(100a)는 텍스트가 선택될 때 수행될 커맨드들에 대응하는 입력 기능들의 세트를 결정하고, CGR 환경에서 키보드의 표현(421) 상에 그러한 입력 기능들의 가상 표현을 디스플레이한다. 예를 들어, 디바이스(100a)는 애플리케이션의 현재 텍스트-선택 상태(401b)에 대한 입력 기능들의 세트가, 숫자들, 글자들, 구두점들의 기입, 및 복사, 잘라내기, 및 붙여넣기 동작들을 포함하는 다양한 편집 동작들을 포함한다는 것을 결정한다. 따라서, 도 4b에서, 디바이스(100a)는 키보드 키들(숫자 키패드를 포함함)의 각자의 표현들(421a) 각각 상에 가상 글자, 숫자, 또는 구두점 마크를 디스플레이하고, 각자 복사, 잘라내기, 또는 붙여넣기 동작의 가상 표현(425a, 425b, 425c)을 디스플레이하기 위해 기능 키들의 표현들(425) 중 선택된 표현들을 업데이트한다. 이러한 방식으로, 디바이스(100a)는 물리적 입력 디바이스(예컨대, 키보드(410))의 표현(421) 상에 디스플레이된(그리고 그와 연관된) 가상 피처들을 수정한다.
도 4a 및 도 4b에 도시된 실시예는 디바이스(100a)가 단일의 가상 애플리케이션(애플리케이션(401))의 상이한 상태들(401a, 401b)을 검출하는 것에 기초하여 상이한 입력 제어들의 세트들을 결정하는 것을 도시하지만, 그러한 결정들은 상이한 애플리케이션을 모두 함께 검출하는 것에 기초하여 이루어질 수 있다는 것을 이해해야 한다. 예를 들어, 디바이스(100a)는 제1 애플리케이션(예컨대, 웹 브라우저 애플리케이션)과 인터페이싱하기 위한 입력 제어들의 제1 세트를 결정할 수 있고, 가상 애플리케이션이 제1 애플리케이션과는 상이한 제2 애플리케이션(예컨대, 사진 편집 애플리케이션)으로 변경됨을 검출하는 것에 응답하여, 제2 애플리케이션과 인터페이싱하기 위한 입력 제어들의 제2 세트를 결정할 수 있다. 디바이스(100a)에 의해 결정되는 입력 제어들이 본 명세서에 개시된 것들로 제한되지 않지만, 그러한 명령어들이 가상 애플리케이션의 현재 상태와 관련되어 있는 한, 가상 애플리케이션의 현재 상태와 인터페이싱하기 위한 임의의 컴퓨터 실행가능 명령어들을 포함할 수 있다는 것을 또한 이해해야 한다.
도 5는 CGR 환경(예컨대, 증강 현실, 가상 현실)에서 물리적 입력 디바이스들의 표현들을 디스플레이하고 물리적 입력 디바이스들의 표현들 상에 시각적 피처들을 오버레이하기 위한 예시적인 기법(500)을 도시한다. 일부 실시예들에서, 이 기법은 도 1a 및 도 1b, 그리고 도 4a 및 도 4b를 참조로 기술된 시스템(100)에 의해 수행된다.
블록(502)에서, 디바이스(예컨대, 100a)는 CGR 환경에서 애플리케이션(예컨대, 가상 애플리케이션(예컨대, 401))(예컨대, 웹 브라우저, PDF, 메시징 애플리케이션, 사진 편집 애플리케이션 등)을 디스플레이한다. 일부 실시예들에서, 애플리케이션은 가상 애플리케이션을 CGR 환경에서 물리적 표면의 표현 상에 투영하거나, 가상 애플리케이션을 CGR 환경에서 가상 표면 상에 투영함으로써 디스플레이된다.
블록(504)에서, 디스플레이된 애플리케이션(예컨대, 401)의 제1 상태(예컨대, 401a)를 검출하는 것에 응답하여, 디바이스(예컨대, 100a)는 디스플레이된 애플리케이션의 제1 상태에 특정된 입력 제어들의 제1 세트(예컨대, 숫자들, 글자들, 구두점)를 결정하고, CGR 환경에서 물리적 입력 디바이스(예컨대, 410)의 표현(예컨대, 421) 상에 애플리케이션의 제1 상태에 특정된 입력 제어들의 제1 세트만을 디스플레이한다. 그러한 실시예의 일례가 도 4a에 도시되어 있는데, 여기서 디바이스(100a)는 텍스트-엔트리 상태(401a)에 대한 입력 기능들의 세트가 텍스트-엔트리 필드(403) 내로 숫자들, 글자들, 및 구두점을 기입하는 것을 포함하지만, 복사, 잘라내기, 또는 붙여넣기 동작과 같은 편집 동작들은 포함하지 않는다는 것을 결정한다.
블록(506)에서, 디스플레이된 애플리케이션(예컨대, 401)의 제2 상태(예컨대, 401b)를 검출하는 것에 응답하여, 디바이스(예컨대, 100a)는 디스플레이된 애플리케이션의 제2 상태에 특정된 입력 제어들의 제1 세트와는 상이한 입력 제어들의 제2 세트(예컨대, 숫자들, 글자들, 구두점, 잘라내기, 복사, 및 붙여넣기 동작들과 같은 편집 동작들)를 결정하고, CGR 환경에서 물리적 입력 디바이스(예컨대, 410)의 표현(예컨대, 421) 상에 애플리케이션의 제2 상태에 특정된 입력 제어들의 제2 세트만을 디스플레이한다. 그러한 실시예의 일례가 도 4b에 도시되어 있는데, 여기서 디바이스(100a)는 애플리케이션의 텍스트-선택 상태(401b)에 대한 입력 기능들의 세트가, 숫자들, 글자들, 구두점들의 기입, 및 복사, 잘라내기, 및 붙여넣기 동작들을 포함하는 다양한 편집 동작들을 포함한다는 것을 결정한다.
일부 실시예들에서, 물리적 입력 디바이스는 키보드(예컨대, 410)이고, CGR 환경에서 키보드의 표현(예컨대, 421)은, 실제 환경에서 키보드 상의 물리적 키들(예컨대, 410a, 415)의 위치들에 대응하는 키보드 키들(예컨대, 421a, 425)의 표현들을 포함하는 키보드의 표현을 포함한다. 일부 실시예들에서, 디바이스(100a)는, 실제 환경에서 키보드의 물리적 키의 활성화를 검출하는 것에 응답하여, 실제 환경에서 활성화된 물리적 키에 대응하는 CGR 환경에서의 키보드 키의 표현과 연관된 커맨드를 실행한다.
일부 실시예들에서, 디바이스(예컨대, 100a)는, 제1 애플리케이션(예컨대, 제1 가상 애플리케이션)으로부터 제2 애플리케이션(예컨대, 제2 가상 애플리케이션)으로의 전환을 검출하는 것에 응답하여, CGR 환경에서 키보드의 표현(예컨대, 421) 상에 디스플레이된 제어 기능들의 디스플레이된 세트를 업데이트한다. 일부 실시예들에서, 제1 애플리케이션은 웹 브라우저 애플리케이션이고, 입력 제어들의 제1 세트는 웹 브라우저 제어들(예컨대, 다음 페이지, 이전 페이지, 로드, 정지, 리프레시 등)이다. 일부 실시예들에서, 제2 애플리케이션은 사진 편집 애플리케이션이고, 입력 제어들의 제2 세트는 편집 제어들(예컨대, 인핸스, 잘라내기, 붙여넣기, 삽입, 선택 등)이다.
본 발명이 본 명세서에 제공된 실시예를 참조하여 도시되고 설명되었지만, 본 발명의 범주로부터 벗어남이 없이 형태 및 상세 사항에 있어서의 다양한 변경이 이루어질 수 있음이 당업자에 의해 이해될 것이다.

Claims (25)

  1. 전자 디바이스로서,
    디스플레이;
    하나 이상의 프로세서; 및
    상기 하나 이상의 프로세서에 의해 실행되도록 구성된 하나 이상의 프로그램을 저장하는 메모리를 포함하며, 상기 하나 이상의 프로그램은,
    컴퓨터-생성 현실(computer-generated reality, CGR) 환경의 디스플레이된 애플리케이션에서 입력 필드를 검출하는 것에 응답하여, 상기 디스플레이된 애플리케이션의 적어도 일부분 - 상기 디스플레이된 애플리케이션의 상기 적어도 일부분은 상기 검출된 입력 필드를 포함함 - 을 물리적 입력 디바이스의 표현 상에 디스플레이하고;
    상기 물리적 입력 디바이스에서 수신된 입력을 검출하는 것에 응답하여, 상기 입력을 이용하여 상기 입력 필드를 업데이트하고;
    상기 업데이트된 입력 필드를 디스플레이하기 위한 명령어들을 포함하는, 전자 디바이스.
  2. 제1항에 있어서, 상기 입력은 상기 물리적 입력 디바이스의 상기 표현 상에 디스플레이된 상기 입력 필드의 위치에 대응하는 상기 물리적 입력 디바이스 상의 위치에서의 터치 입력을 포함하는, 전자 디바이스.
  3. 제1항에 있어서, 상기 업데이트된 입력 필드를 디스플레이하는 것은 상기 애플리케이션 내에 상기 업데이트된 입력 필드를 디스플레이하는 것을 포함하는, 전자 디바이스.
  4. 제1항에 있어서, 상기 업데이트된 입력 필드를 디스플레이하는 것은 상기 물리적 입력 디바이스의 상기 표현 상의 상기 입력 필드 내에 상기 업데이트된 입력 필드를 디스플레이하는 것을 포함하는, 전자 디바이스.
  5. 제1항에 있어서, 상기 하나 이상의 프로그램은,
    상기 물리적 입력 디바이스에서 수신된 상기 입력을 검출하는 것에 응답하여, 햅틱 피드백을 생성하기 위한 명령어들을 추가로 포함하는, 전자 디바이스.
  6. 제1항에 있어서, 상기 하나 이상의 프로그램은,
    상기 디스플레이된 애플리케이션에서 상기 입력 필드를 검출하는 것에 응답하여, 상기 물리적 입력 디바이스의 상기 표현 상에, 키보드 키들을 디스플레이하기 위한 명령어들을 추가로 포함하는, 전자 디바이스.
  7. 제6항에 있어서, 상기 입력은 키보드 키의 디스플레이된 위치에 대응하는 상기 물리적 입력 디바이스 상의 위치에서의 터치 입력을 포함하는, 전자 디바이스.
  8. 제6항에 있어서,
    상기 물리적 입력 디바이스는 물리적 키보드 키들을 갖는 물리적 키보드이고,
    상기 키보드 키들은 상기 검출된 입력 필드가 텍스트-엔트리 필드라는 결정에 따라 디스플레이되고,
    각자의 디스플레이된 키보드 키들은 위에 그들이 디스플레이되는 상기 물리적 키보드 키들과 상이한 값을 갖는, 전자 디바이스.
  9. 제1항에 있어서, 상기 물리적 입력 디바이스는 터치-감응형 표면인, 전자 디바이스.
  10. 제9항에 있어서, 상기 터치-감응형 표면은 디스플레이 컴포넌트를 포함하지 않는, 전자 디바이스.
  11. 제1항에 있어서, 상기 물리적 입력 디바이스는 상기 전자 디바이스의 외부에 있는, 전자 디바이스.
  12. 제1항에 있어서, 상기 입력을 이용하여 상기 입력 필드를 업데이트하는 것은,
    상기 물리적 입력 디바이스에서 상기 입력을 나타내는 입력 데이터를 수신하는 것; 및
    상기 수신된 입력 데이터에 따라 상기 입력 필드를 업데이트하는 것을 포함하는, 전자 디바이스.
  13. 제1항에 있어서, 상기 디스플레이된 애플리케이션의 상기 적어도 일부분을 상기 물리적 입력 디바이스의 상기 표현 상에 디스플레이하는 것은, 상기 CGR 환경에서, 상기 물리적 입력 디바이스의 상기 표현 상에 위치설정된(positioned) 상기 검출된 입력 필드를 디스플레이하는 것을 포함하는, 전자 디바이스.
  14. 제1항에 있어서, 상기 하나 이상의 프로그램은,
    상기 검출된 입력 필드가 텍스트-엔트리 필드라는 결정에 따라, 상기 디스플레이된 애플리케이션의 상기 적어도 일부분을 상기 물리적 입력 디바이스의 상기 표현 상에 디스플레이하는 것이, 상기 CGR 환경에서, 상기 물리적 입력 디바이스의 상기 표현 상에 위치설정된 텍스트 박스를 디스플레이하는 것을 포함하도록 하는 명령어들을 추가로 포함하는, 전자 디바이스.
  15. 제1항에 있어서, 상기 하나 이상의 프로그램은,
    상기 검출된 입력 필드가 디지털 서명 필드라는 결정에 따라, 상기 디스플레이된 애플리케이션의 상기 적어도 일부분을 상기 물리적 입력 디바이스의 상기 표현 상에 디스플레이하는 것이, 상기 CGR 환경에서, 상기 물리적 입력 디바이스의 상기 표현 상에 위치설정된 디지털 서명 박스(digital signature box)를 디스플레이하는 것을 포함하도록 하는 명령어들을 추가로 포함하는, 전자 디바이스.
  16. 제1항에 있어서, 상기 하나 이상의 프로그램은,
    상기 검출된 입력 필드가 하나 이상의 라디오 버튼을 포함한다는 결정에 따라, 상기 디스플레이된 애플리케이션의 적어도 일부분을 상기 물리적 입력 디바이스의 상기 표현 상에 디스플레이하는 것이, 상기 CGR 환경에서, 상기 물리적 입력 디바이스의 상기 표현 상에 위치설정된 하나 이상의 라디오 버튼을 디스플레이하는 것을 포함하도록 하는 명령어들을 추가로 포함하는, 전자 디바이스.
  17. 제16항에 있어서, 상기 디스플레이된 애플리케이션의 상기 적어도 일부분을 상기 물리적 입력 디바이스의 상기 표현 상에 디스플레이하는 것은, 상기 CGR 환경에서, 상기 검출된 입력 필드의 상기 하나 이상의 라디오 버튼과 연관된 텍스트를 디스플레이하는 것을 추가로 포함하는, 전자 디바이스.
  18. 디스플레이를 갖는 전자 디바이스의 하나 이상의 프로세서에 의해 실행되도록 구성된 하나 이상의 프로그램을 저장하는 비일시적 컴퓨터-판독가능 저장 매체로서, 상기 하나 이상의 프로그램은,
    컴퓨터-생성 현실(CGR) 환경의 디스플레이된 애플리케이션에서 입력 필드를 검출하는 것에 응답하여, 상기 디스플레이된 애플리케이션의 적어도 일부분 - 상기 디스플레이된 애플리케이션의 상기 적어도 일부분은 상기 검출된 입력 필드를 포함함 - 을 물리적 입력 디바이스의 표현 상에 디스플레이하고;
    상기 물리적 입력 디바이스에서 수신된 입력을 검출하는 것에 응답하여, 상기 입력을 이용하여 상기 입력 필드를 업데이트하고;
    상기 업데이트된 입력 필드를 디스플레이하기 위한 명령어들을 포함하는, 비일시적 컴퓨터-판독가능 저장 매체.
  19. 제18항에 있어서, 상기 디스플레이된 애플리케이션의 상기 적어도 일부분을 상기 물리적 입력 디바이스의 상기 표현 상에 디스플레이하는 것은, 상기 CGR 환경에서, 상기 물리적 입력 디바이스의 상기 표현 상에 위치설정된 상기 검출된 입력 필드를 디스플레이하는 것을 포함하는, 비일시적 컴퓨터-판독가능 저장 매체.
  20. 제18항에 있어서, 상기 하나 이상의 프로그램은,
    상기 검출된 입력 필드가 텍스트-엔트리 필드라는 결정에 따라, 상기 디스플레이된 애플리케이션의 상기 적어도 일부분을 상기 물리적 입력 디바이스의 상기 표현 상에 디스플레이하는 것이, 상기 CGR 환경에서, 상기 물리적 입력 디바이스의 상기 표현 상에 위치설정된 텍스트 박스를 디스플레이하는 것을 포함하도록 하는 명령어들을 추가로 포함하는, 비일시적 컴퓨터-판독가능 저장 매체.
  21. 제18항에 있어서, 상기 하나 이상의 프로그램은,
    상기 검출된 입력 필드가 디지털 서명 필드라는 결정에 따라, 상기 디스플레이된 애플리케이션의 상기 적어도 일부분을 상기 물리적 입력 디바이스의 상기 표현 상에 디스플레이하는 것이, 상기 CGR 환경에서, 상기 물리적 입력 디바이스의 상기 표현 상에 위치설정된 디지털 서명 박스를 디스플레이하는 것을 포함하도록 하는 명령어들을 추가로 포함하는, 비일시적 컴퓨터-판독가능 저장 매체.
  22. 제18항에 있어서, 상기 하나 이상의 프로그램은,
    상기 검출된 입력 필드가 하나 이상의 라디오 버튼을 포함한다는 결정에 따라, 상기 디스플레이된 애플리케이션의 적어도 일부분을 상기 물리적 입력 디바이스의 상기 표현 상에 디스플레이하는 것이, 상기 CGR 환경에서, 상기 물리적 입력 디바이스의 상기 표현 상에 위치설정된 하나 이상의 라디오 버튼을 디스플레이하는 것을 포함하도록 하는 명령어들을 추가로 포함하는, 비일시적 컴퓨터-판독가능 저장 매체.
  23. 방법으로서,
    디스플레이를 갖는 전자 디바이스에서,
    컴퓨터-생성 현실(CGR) 환경의 디스플레이된 애플리케이션에서 입력 필드를 검출하는 것에 응답하여, 상기 디스플레이된 애플리케이션의 적어도 일부분 - 상기 디스플레이된 애플리케이션의 상기 적어도 일부분은 상기 검출된 입력 필드를 포함함 - 을 물리적 입력 디바이스의 표현 상에 디스플레이하는 단계;
    상기 물리적 입력 디바이스에서 수신된 입력을 검출하는 것에 응답하여, 상기 입력을 이용하여 상기 입력 필드를 업데이트하는 단계; 및
    상기 업데이트된 입력 필드를 디스플레이하는 단계를 포함하는, 방법.
  24. 제23항에 있어서, 상기 디스플레이된 애플리케이션의 상기 적어도 일부분을 상기 물리적 입력 디바이스의 상기 표현 상에 디스플레이하는 단계는, 상기 CGR 환경에서, 상기 물리적 입력 디바이스의 상기 표현 상에 위치설정된 상기 검출된 입력 필드를 디스플레이하는 단계를 포함하는, 방법.
  25. 제23항에 있어서,
    상기 검출된 입력 필드가 텍스트-엔트리 필드라는 결정에 따라, 상기 디스플레이된 애플리케이션의 상기 적어도 일부분을 상기 물리적 입력 디바이스의 상기 표현 상에 디스플레이하는 단계가, 상기 CGR 환경에서, 상기 물리적 입력 디바이스의 상기 표현 상에 위치설정된 텍스트 박스를 디스플레이하는 단계를 포함하는 것을 추가로 포함하는, 방법.
KR1020207033785A 2018-06-05 2019-05-21 물리적 입력 디바이스들을 가상 객체들로서 디스플레이 KR102459238B1 (ko)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201862680819P 2018-06-05 2018-06-05
US62/680,819 2018-06-05
US16/410,547 2019-05-13
US16/410,547 US11500452B2 (en) 2018-06-05 2019-05-13 Displaying physical input devices as virtual objects
PCT/US2019/033253 WO2019236280A1 (en) 2018-06-05 2019-05-21 Displaying physical input devices as virtual objects

Publications (2)

Publication Number Publication Date
KR20210005913A true KR20210005913A (ko) 2021-01-15
KR102459238B1 KR102459238B1 (ko) 2022-10-27

Family

ID=68693931

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020207033785A KR102459238B1 (ko) 2018-06-05 2019-05-21 물리적 입력 디바이스들을 가상 객체들로서 디스플레이

Country Status (5)

Country Link
US (2) US11500452B2 (ko)
EP (1) EP3782014A1 (ko)
JP (1) JP7033218B2 (ko)
KR (1) KR102459238B1 (ko)
WO (1) WO2019236280A1 (ko)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11500452B2 (en) 2018-06-05 2022-11-15 Apple Inc. Displaying physical input devices as virtual objects
US20190385372A1 (en) * 2018-06-15 2019-12-19 Microsoft Technology Licensing, Llc Positioning a virtual reality passthrough region at a known distance
US11733824B2 (en) * 2018-06-22 2023-08-22 Apple Inc. User interaction interpreter
US10809910B2 (en) 2018-09-28 2020-10-20 Apple Inc. Remote touch detection enabled by peripheral device
US11599717B2 (en) 2020-03-20 2023-03-07 Capital One Services, Llc Separately collecting and storing form contents
US11308266B1 (en) * 2020-10-20 2022-04-19 Google Llc Augmented reality assisted physical form completion

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170300116A1 (en) * 2016-04-15 2017-10-19 Bally Gaming, Inc. System and method for providing tactile feedback for users of virtual reality content viewers
KR20170130602A (ko) * 2015-09-16 2017-11-28 구글 엘엘씨 증강 현실 및/또는 가상 현실에서의 터치 스크린 호버 검출
KR20180002208A (ko) * 2016-06-29 2018-01-08 엘지전자 주식회사 단말기 및 그 제어 방법
KR20180025402A (ko) * 2016-08-30 2018-03-09 주식회사 악어스캔 오프라인 문서 추적 방법 및 문서 추적 시스템

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101650520A (zh) * 2008-08-15 2010-02-17 索尼爱立信移动通讯有限公司 移动电话的可视激光触摸板和方法
US20100177035A1 (en) * 2008-10-10 2010-07-15 Schowengerdt Brian T Mobile Computing Device With A Virtual Keyboard
JP4702441B2 (ja) 2008-12-05 2011-06-15 ソニー株式会社 撮像装置及び撮像方法
DE102010031878A1 (de) 2009-07-22 2011-02-10 Logitech Europe S.A. System und Verfahren zur entfernten virtuellen auf-einen-Schirm-Eingabe
US8564621B2 (en) * 2010-08-11 2013-10-22 International Business Machines Corporation Replicating changes between corresponding objects
US9052804B1 (en) 2012-01-06 2015-06-09 Google Inc. Object occlusion to initiate a visual search
US20130194188A1 (en) 2012-01-31 2013-08-01 Research In Motion Limited Apparatus and method of facilitating input at a second electronic device
BR112015005692A2 (pt) 2012-09-21 2017-07-04 Sony Corp dispositivo de controle, e, meio de armazenamento.
US9141211B2 (en) 2013-01-09 2015-09-22 Lenovo (Singapore) Pte. Ltd. Touchpad operational mode
US9253375B2 (en) 2013-04-02 2016-02-02 Google Inc. Camera obstruction detection
US20140362110A1 (en) 2013-06-08 2014-12-11 Sony Computer Entertainment Inc. Systems and methods for customizing optical representation of views provided by a head mounted display based on optical prescription of a user
US10324563B2 (en) 2013-09-24 2019-06-18 Hewlett-Packard Development Company, L.P. Identifying a target touch region of a touch-sensitive surface based on an image
US9649558B2 (en) 2014-03-14 2017-05-16 Sony Interactive Entertainment Inc. Gaming device with rotatably placed cameras
KR102243656B1 (ko) 2014-09-26 2021-04-23 엘지전자 주식회사 모바일 디바이스, hmd 및 시스템
WO2016064435A1 (en) 2014-10-24 2016-04-28 Usens, Inc. System and method for immersive and interactive multimedia generation
US10286308B2 (en) * 2014-11-10 2019-05-14 Valve Corporation Controller visualization in virtual and augmented reality environments
US10317989B2 (en) 2016-03-13 2019-06-11 Logitech Europe S.A. Transition between virtual and augmented reality
US20190050132A1 (en) * 2016-10-11 2019-02-14 Hewlett-Packard Development Company, L.P. Visual cue system
EP3539087B1 (en) 2016-11-14 2022-11-02 Logitech Europe S.A. A system for importing user interface devices into virtual/augmented reality
EP3324270A1 (en) 2016-11-16 2018-05-23 Thomson Licensing Selection of an object in an augmented reality environment
US10169973B2 (en) 2017-03-08 2019-01-01 International Business Machines Corporation Discontinuing display of virtual content and providing alerts based on hazardous physical obstructions
US10514801B2 (en) 2017-06-15 2019-12-24 Microsoft Technology Licensing, Llc Hover-based user-interactions with virtual objects within immersive environments
US10691945B2 (en) 2017-07-14 2020-06-23 International Business Machines Corporation Altering virtual content based on the presence of hazardous physical obstructions
US10484530B2 (en) 2017-11-07 2019-11-19 Google Llc Sensor based component activation
US11500452B2 (en) 2018-06-05 2022-11-15 Apple Inc. Displaying physical input devices as virtual objects
US10809910B2 (en) 2018-09-28 2020-10-20 Apple Inc. Remote touch detection enabled by peripheral device

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170130602A (ko) * 2015-09-16 2017-11-28 구글 엘엘씨 증강 현실 및/또는 가상 현실에서의 터치 스크린 호버 검출
US20170300116A1 (en) * 2016-04-15 2017-10-19 Bally Gaming, Inc. System and method for providing tactile feedback for users of virtual reality content viewers
KR20180002208A (ko) * 2016-06-29 2018-01-08 엘지전자 주식회사 단말기 및 그 제어 방법
KR20180025402A (ko) * 2016-08-30 2018-03-09 주식회사 악어스캔 오프라인 문서 추적 방법 및 문서 추적 시스템

Also Published As

Publication number Publication date
CN112136096A (zh) 2020-12-25
US11954245B2 (en) 2024-04-09
US20190369714A1 (en) 2019-12-05
WO2019236280A1 (en) 2019-12-12
US11500452B2 (en) 2022-11-15
EP3782014A1 (en) 2021-02-24
JP7033218B2 (ja) 2022-03-09
KR102459238B1 (ko) 2022-10-27
JP2021524971A (ja) 2021-09-16
US20230273674A1 (en) 2023-08-31

Similar Documents

Publication Publication Date Title
KR102459238B1 (ko) 물리적 입력 디바이스들을 가상 객체들로서 디스플레이
KR102562285B1 (ko) 사용자 인터페이스와 연관된 몰입을 조정 및/또는 제어하기 위한 방법
CN111448542B (zh) 显示应用程序
US11302086B1 (en) Providing features of an electronic product in an augmented reality environment
US11429246B2 (en) Device, method, and graphical user interface for manipulating 3D objects on a 2D screen
US11720171B2 (en) Methods for navigating user interfaces
US20200103961A1 (en) IMU for Touch Detection
US11367416B1 (en) Presenting computer-generated content associated with reading content based on user interactions
CN110968248B (zh) 生成用于视觉触摸检测的指尖的3d模型
US11393164B2 (en) Device, method, and graphical user interface for generating CGR objects
CN112136096B (zh) 将物理输入设备显示为虚拟对象
US20230095282A1 (en) Method And Device For Faciliating Interactions With A Peripheral Device
US20230376110A1 (en) Mapping a Computer-Generated Trackpad to a Content Manipulation Region
US20240103687A1 (en) Methods for interacting with user interfaces based on attention
US20240152256A1 (en) Devices, Methods, and Graphical User Interfaces for Tabbed Browsing in Three-Dimensional Environments
CN116888562A (zh) 将计算机生成的触控板映射到内容操纵区域
CN117222971A (zh) 基于手指操纵数据和肢体跟踪数据的多手指手势

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right