KR20220030294A - 인공 현실 환경들에서 주변 디바이스를 사용하는 가상 사용자 인터페이스 - Google Patents

인공 현실 환경들에서 주변 디바이스를 사용하는 가상 사용자 인터페이스 Download PDF

Info

Publication number
KR20220030294A
KR20220030294A KR1020227004212A KR20227004212A KR20220030294A KR 20220030294 A KR20220030294 A KR 20220030294A KR 1020227004212 A KR1020227004212 A KR 1020227004212A KR 20227004212 A KR20227004212 A KR 20227004212A KR 20220030294 A KR20220030294 A KR 20220030294A
Authority
KR
South Korea
Prior art keywords
user interface
virtual
peripheral device
artificial reality
virtual user
Prior art date
Application number
KR1020227004212A
Other languages
English (en)
Inventor
샬린 메리 아틀라스
마크 테라노
채드 오스틴 브램웰
카린 바이니오
Original Assignee
페이스북 테크놀로지스, 엘엘씨
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 페이스북 테크놀로지스, 엘엘씨 filed Critical 페이스북 테크놀로지스, 엘엘씨
Publication of KR20220030294A publication Critical patent/KR20220030294A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/163—Wearable computers, e.g. on a belt
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/1686—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being an integrated camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/451—Execution arrangements for user interfaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/005—General purpose rendering architectures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0132—Head-up displays characterised by optical features comprising binocular systems
    • G02B2027/0134—Head-up displays characterised by optical features comprising binocular systems of stereoscopic type
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00—Aspects of interface with display user

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Optics & Photonics (AREA)
  • Computer Graphics (AREA)
  • Multimedia (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

일반적으로, 본 개시내용은 사용자들이 물리적 주변 디바이스를 사용하여 상호작용할 수 있는 가상 사용자 인터페이스를 생성 및 제시하기 위한 인공 현실 시스템들 및 기법들을 설명한다. 일부 예들에서, 인공 현실 시스템은 이미지 데이터를 캡처하도록 구성된 이미지 캡처 디바이스; 인공 현실 콘텐츠를 출력하도록 구성된 머리-장착 디스플레이(HMD); 이미지 데이터로부터 주변 디바이스를 검출하도록 구성된 사용자 인터페이스 엔진으로서, 사용자 인터페이스 엔진은 하나 이상의 가상 사용자 인터페이스 요소들을 포함하는 가상 사용자 인터페이스를 생성하도록 구성되는, 사용자 인터페이스 엔진; 및 인공 현실 콘텐츠를 렌더링하고, 인공 현실 환경에서 주변 디바이스의 포지션에 관련하여 잠겨진 사용자 인터페이스 포지션에서, HMD에서의 디스플레이를 위한 가상 사용자 인터페이스를 렌더링하도록 구성된 렌더링 엔진을 포함한다.

Description

인공 현실 환경들에서 주변 디바이스를 사용하는 가상 사용자 인터페이스
본 개시내용은 일반적으로 가상 현실, 혼합 현실 및/또는 가상 현실 시스템들과 같은 인공 현실 시스템들에 관한 것으로, 보다 구체적으로 인공 현실 환경들의 사용자 인터페이스들에 관한 것이다.
인공 현실 시스템들은 컴퓨터 게이밍, 건강 및 안전, 산업 및 교육과 같은 많은 분야들의 애플리케이션들로 점점 일반화되고 있다. 몇 가지 예로서, 인공 현실 시스템들은 모바일 디바이스들, 게이밍 콘솔들, 개인용 컴퓨터들, 영화관들 및 테마 파크들에 통합되고 있다. 일반적으로, 인공 현실은 예를 들어, 가상 현실(VR), 증강 현실(AR), 혼합 현실(MR), 하이브리드 현실, 또는 이들의 일부 조합 및/또는 파생물들을 포함할 수 있는, 사용자에게 제시 전에 일부 방식으로 조정된 현실 형태이다.
일반적인 인공 현실 시스템들은 콘텐츠를 렌더링하고 사용자들에게 디스플레이하기 위한 하나 이상의 디바이스들을 포함한다. 일 예로서, 인공 현실 시스템은 사용자에 의해 착용되고 인공 현실 콘텐츠를 사용자에게 출력하도록 구성된 머리 장착 디스플레이(HMD)를 포함할 수 있다. 인공 현실 콘텐츠는 컴퓨터-생성 콘텐츠 또는 캡처된 콘텐츠(예를 들어, 현실-세계 비디오 및/또는 이미지들)와 결합된 생성된 콘텐츠를 포함할 수 있다. 동작 동안, 사용자는 일반적으로 인공 현실 시스템과 상호작용하여 인공 현실 환경의 가상 현실 콘텐츠와 상호작용한다.
본 발명은 이미지 데이터를 캡처하도록 구성된 이미지 캡처 디바이스, 인공 현실 콘텐츠를 출력하도록 구성된 머리-장착 디스플레이(HMD) 및 이미지 데이터로부터 주변 디바이스를 검출하도록 구성된 사용자 인터페이스 엔진을 포함하는 인공 현실 시스템에 관한 것이다. 사용자 인터페이스 엔진은 하나 이상의 가상 사용자 인터페이스 요소들을 포함하는 가상 사용자 인터페이스를 생성하도록 구성된다. 또한, 렌더링 엔진은 인공 현실 콘텐츠를 렌더링하고, 인공 현실 환경에서 주변 디바이스의 포지션에 관하여 잠겨진 사용자 인터페이스 포지션에서, HMD에서의 디스플레이를 위한 가상 사용자 인터페이스를 렌더링하도록 구성된다.
일 실시예에서, 인공 현실 시스템은 가상 사용자 인터페이스 요소들 중 하나에 대응하는 포지션에서 사용자에 의해 수행된 사용자 인터페이스 제스처를 검출하도록 구성되는 제스처 검출기를 더 포함할 수 있고, 인공 현실 시스템은 사용자 인터페이스 제스처에 응답하여, 가상 사용자 인터페이스 요소들 중 하나와 연관된 하나 이상의 동작들을 수행하도록 구성될 수 있다.
인공 현실 시스템은 주변 디바이스를 더 포함할 수 있고, 주변 디바이스는 사용자에 의한 하나 이상의 입력들을 수신하도록 구성된 존재-감지 인터페이스를 포함할 수 있다. 제스처 검출기는 하나 이상의 입력들에 기반하여, 사용자 인터페이스 제스처를 검출하도록 구성될 수 있다.
하나 이상의 동작들을 수행하기 위해, 사용자 인터페이스 엔진은 하나 이상의 수정된 가상 사용자 인터페이스 요소들을 포함하는 수정된 가상 사용자 인터페이스를 생성하기 위해 가상 사용자 인터페이스를 수정하도록 구성될 수 있고 렌더링 엔진은 사용자 인터페이스 포지션에서, HMD에서의 디스플레이하기 위해 수정된 가상 사용자 인터페이스를 렌더링하도록 구성될 수 있다.
실시예에서, 렌더링 엔진은 가상 사용자 인터페이스를 주변 디바이스의 표면에 오버레이하여 렌더링하도록 구성될 수 있다.
주변 디바이스의 표면은 존재-감지 인터페이스를 포함할 수 있다.
일 실시예에서, 인공 현실 시스템은 주변 디바이스를 더 포함할 수 있고, 주변 디바이스는 디스플레이를 포함하지 않는다.
실시예에서, 인공 현실 시스템은 주변 디바이스를 더 포함할 수 있고, 주변 디바이스는 디스플레이를 포함할 수 있다. 가상 사용자 인터페이스 엔진은 주변 디바이스로 하여금 디스플레이를 비활성화하게 하기 위해 주변 디바이스에 통신을 전송하도록 구성될 수 있다.
실시예에서, 인공 현실 시스템은 주변 디바이스를 더 포함할 수 있고, 주변 디바이스는 디스플레이를 포함할 수 있다. 가상 사용자 인터페이스 엔진은 디스플레이가 비활성화되었다는 표시를 수신하도록 구성될 수 있다. 가상 사용자 인터페이스를 생성하기 위해, 가상 사용자 인터페이스 엔진은 표시에 기반하여, 디스플레이가 비활성화된다는 결정에 응답하여 가상 사용자 인터페이스를 생성하도록 구성될 수 있다.
일 실시예에서, 인공 현실 시스템은 주변 디바이스를 더 포함할 수 있고, 주변 디바이스는 가상 사용자 인터페이스 요소들 중 하나에 대응하는 포지션에서 사용자에 의해 수행되는 사용자 인터페이스 제스처를 검출하도록 구성된 제스처 검출기를 포함할 수 있다. HMD는 사용자 인터페이스 제스처에 응답하여, 가상 사용자 인터페이스 요소들 중 하나와 연관된 하나 이상의 동작들을 수행하도록 구성될 수 있다.
실시예에서, 인공 현실 시스템은 가상 사용자 인터페이스 상의 포지션들에 대응하는 포지션들에서 사용자에 의해 수행된 드로잉 제스처(drawing gesture)를 검출하도록 구성된 제스처 검출기를 더 포함할 수 있다. 가상 사용자 인터페이스 엔진은 드로잉 제스처에 응답하여, 가상 사용자 인터페이스 상의 포지션들에서 가상 마킹을 포함하는 수정된 가상 사용자 인터페이스를 생성하도록 구성될 수 있고 렌더링 엔진은 사용자 인터페이스 포지션에서, HMD에 표시하기 위해 수정된 가상 사용자 인터페이스를 렌더링하도록 구성될 수 있다.
일 실시예에서, 주변 디바이스는 스마트폰, 스마트워치, 또는 태블릿 컴퓨터 중 하나를 포함할 수 있다.
또한, 본 발명은
- 머리-장착 디스플레이(HMD)를 포함하는 인공 현실 시스템에 의해, 이미지 캡처 디바이스를 통해 이미지 데이터를 획득하는 단계로서, HMD는 인공 현실 콘텐츠를 출력하도록 구성되는, 상기 이미지 데이터를 획득하는 단계,
- 인공 현실 시스템에 의해, 이미지 데이터로부터 주변 디바이스를 검출하는 단계,
- 인공 현실 시스템에 의해, 하나 이상의 가상 사용자 인터페이스 요소들을 포함하는 가상 사용자 인터페이스를 생성하는 단계; 및
- 인공 현실 시스템에 의해, 인공 현실 콘텐츠, 및 인공 현실 환경에서 주변 디바이스의 포지션에 관련하여 잠겨진 사용자 인터페이스 포지션에서, HMD에서의 디스플레이를 위한 가상 사용자 인터페이스를 렌더링하는 단계를 포함하는 방법에 관한 것이다.
실시예에서, 방법은
- 인공 현실 시스템에 의해, 가상 사용자 인터페이스 요소들 중 하나에 대응하는 포지션에서 사용자에 의해 수행된 사용자 인터페이스 제스처를 검출하는 단계 및
- 사용자 인터페이스 제스처에 응답하여 인공 현실 시스템에 의해, 가상 사용자 인터페이스 요소들 중 하나와 연관된 하나 이상의 동작들을 수행하는 단계를 더 포함할 수 있다.
방법은 주변 디바이스의 존재-감지 인터페이스에서, 사용자에 의한 하나 이상의 입력을 수신하는 단계를 더 포함할 수 있고, 검출하는 단계는 하나 이상의 입력들에 기반하여, 사용자 인터페이스 제스처를 검출하는 단계를 포함한다.
하나 이상의 동작들을 수행하는 단계는 하나 이상의 수정된 가상 사용자 인터페이스 요소들을 포함하는 수정된 가상 사용자 인터페이스를 생성하기 위해 가상 사용자 인터페이스를 수정하는 단계를 포함할 수 있고 방법은 사용자 인터페이스 포지션에서, HMD에서의 디스플레이를 위해 수정된 가상 사용자 인터페이스를 렌더링하는 단계를 더 포함할 수 있다.
방법의 실시예에서, 주변 디바이스는 디스플레이를 포함하지 않는다.
일 실시예에서, 방법은 HMD로부터 주변 디바이스로, 주변 디바이스가 디스플레이를 턴 오프하게 하는 통신을 전송하는 단계를 더 포함할 수 있다.
일 실시예에서, 방법은 주변 디바이스에 의해, 가상 사용자 인터페이스 요소들 중 하나에 대응하는 포지션에서 사용자에 의해 수행된 사용자 인터페이스 제스처를 검출하는 단계 및 사용자 인터페이스 제스처에 응답하여 인공 현실 시스템에 의해, 가상 사용자 인터페이스 요소들 중 하나와 연관된 하나 이상의 동작들을 수행하는 단계를 더 포함할 수 있다.
본 발명은 또한 실행될 때, 인공 현실 콘텐츠를 출력하도록 구성된 머리-장착 디스플레이(HMD)를 포함하는 인공 현실 시스템의 하나 이상의 프로세서들이,
- 하나 이상의 가상 사용자 인터페이스 요소들을 포함하는 가상 사용자 인터페이스를 생성하게 하고,
- 인공 현실 콘텐츠 및 인공 현실 환경에서 주변 디바이스의 포지션에 관련하여 잠겨진 사용자 인터페이스 포지션에서, HMD에서 디스플레이하기 위한 가상 사용자 인터페이스를 렌더링하게 하고,
- 가상 사용자 인터페이스 요소들 중 하나에 대응하는 포지션에서 사용자에 의해 수행된 사용자 인터페이스 제스처를 검출하게 하고,
- 사용자 인터페이스 제스처에 응답하여, 가상 사용자 인터페이스 요소들 중 하나와 연관된 하나 이상의 동작들을 수행하게 하는 명령들을 포함하는 비-일시적 컴퓨터-판독가능 매체에 관한 것이다.
일반적으로, 본 개시내용은 사용자들이 물리적 주변 디바이스를 사용하여 상호작용할 수 있는 가상 사용자 인터페이스를 생성 및 제시하기 위한 인공 현실(AR) 시스템들 및 기법들을 설명한다. AR 시스템은 HMD, 안경 또는 다른 디스플레이 디바이스에 의한 디스플레이를 위해, 가상 사용자 인터페이스가 주변 디바이스에 잠겨진 AR 콘텐츠를 렌더링한다. 즉, AR 시스템은 물리적 환경에서 물리적 주변 디바이스의 포지션 및 포즈에 기반하고 이에 대응하는 인공 현실 환경에서의 포지션 및 포즈에서 하나 이상의 가상 사용자 인터페이스 요소들을 갖는 가상 사용자 인터페이스를 렌더링할 수 있다. 이러한 방식으로, 인공 현실 환경의 가상 사용자 인터페이스는 물리적 주변 디바이스를 추적할 수 있다. 가상 사용자 인터페이스 요소들은 다양한 예들에서, 가상 버튼들, 가상 키보드, 가상 드로잉 인터페이스, 가상 선택가능 메뉴, 또는 사용자가 참여하는 현재 AR 애플리케이션들에 기반하여 컨텍스트-구동될 수 있는 다른 사용자-선택가능 가상 사용자 인터페이스 요소들을 포함할 수 있다. 주변 디바이스는 하나 이상의 존재-감지 표면들을 갖는 컴퓨팅 디바이스일 수 있다.
AR 시스템들은 주변 디바이스의 포즈 추적 및 이미지-기반 제스처 검출 및/또는 존재-감지 표면 같은 주변 디바이스의 하나 이상의 입력 디바이스들을 통해 AR 시스템에 입력을 제공하기 위해 사용자에 의해 조작 및 달리 상호작용될 수 있는, 사용자가 주변 디바이스에 오버레이된 가상 사용자 인터페이스의 가상 사용자 인터페이스 요소들을 통해 주변 디바이스와 상호작용할 수 있게 할 수 있다. 예를 들어, 사용자는 가상 사용자 인터페이스 요소들에 관하여 사용자 인터페이스 제스처를 수행하기 위해 물리적 주변 디바이스에 렌더링된 가상 사용자 인터페이스와 상호작용할 수 있다. 예를 들어, 사용자는 AR 시스템이 가상 사용자 인터페이스의 가상 사용자 인터페이스 버튼을 렌더링하는 인공 현실 환경에서의 포지션에 대응하는 주변 디바이스 상의 물리적 위치에서 자신의 손가락을 누를 수 있다. 이 예에서, AR 시스템은 이 사용자 인터페이스 제스처를 검출하고 가상 사용자 인터페이스 버튼의 검출된 누르기에 대응하는 동작을 수행한다. AR 시스템은 또한 예를 들어 제스처와 함께 가상 사용자 인터페이스 버튼의 누름을 애니메이션화할 수 있다.
기법들은 적어도 하나의 실제 애플리케이션을 제공하는 하나 이상의 기술적 개선들을 제공할 수 있다. 예를 들어, 기법들은 사용자가 인공 현실 환경에서 자유롭게-부유하는 가상 사용자 인터페이스들과 대조적으로, 햅틱 피드백을 제공하는 물리적 주변 디바이스에서 가상으로 렌더링된 사용자 인터페이스 요소들에 관하여 세분화된 사용자 입력들을 제공할 수 있게 할 수 있다. 이것은 제스처 검출의 정밀도를 단순화 및 개선하고 보다 즐거운 사용자 경험을 제공할 수 있다. 또한, 주변 디바이스는 자체 디스플레이에 사용자 인터페이스 요소들을 디스플레이하지 않을 수 있고 디스플레이를 포함하지 않을 수도 있다. 그러므로, 기법들은 사용자로부터 정밀한 입력들을 수신하기 위해 예를 들어 스마트폰 또는 태블릿의 존재-감지 디스플레이에서 생성 및 디스플레이될 필요가 있는 별도의 인터페이스를 제거함으로써 전력 소비를 추가로 감소시키고 AR 애플리케이션을 단순화할 수 있다.
일부 예들에서, 인공 현실 시스템은 이미지 데이터를 캡처하도록 구성된 이미지 캡처 디바이스; 인공 현실 콘텐츠를 출력하도록 구성된 머리-장착 디스플레이(HMD); 이미지 데이터로부터 주변 디바이스를 검출하도록 구성된 사용자 인터페이스 엔진으로서, 사용자 인터페이스 엔진은 하나 이상의 가상 사용자 인터페이스 요소들을 포함하는 가상 사용자 인터페이스를 생성하도록 구성되는, 사용자 인터페이스 엔진; 및 인공 현실 콘텐츠를 렌더링하고, 인공 현실 환경에서 주변 디바이스의 포지션에 관련하여 잠겨진 사용자 인터페이스 포지션에서, HMD에서의 디스플레이를 위한 가상 사용자 인터페이스를 렌더링하도록 구성된 렌더링 엔진을 포함한다.
일부 예들에서, 방법은 머리-장착 디스플레이(HMD)를 포함하는 인공 현실 시스템에 의해, 이미지 데이터를 이미지 캡처 디바이스를 통해 획득하는 단계로서, HMD는 인공 현실 콘텐츠를 출력하도록 구성된, 이미지 데이터를 이미지 캡처 디바이스를 통해 획득하는 단계; 인공 현실 시스템에 의해, 이미지 데이터로부터 주변 디바이스를 검출하는 단계; 인공 현실 시스템에 의해, 하나 이상의 가상 사용자 인터페이스 요소들을 포함하는 가상 사용자 인터페이스를 생성하는 단계; 및 인공 현실 시스템에 의해, 인공 현실 콘텐츠, 및 인공 현실 환경에서 주변 디바이스의 포지션에 관련하여 잠겨진 사용자 인터페이스 포지션에서, HMD에서의 디스플레이를 위해 가상 사용자 인터페이스를 렌더링하는 단계를 포함한다.
일부 예들에서, 비-일시적 컴퓨터-판독가능 매체는, 실행될 때, 인공 현실 콘텐츠를 출력하도록 구성된 머리-장착 디스플레이(HMD)를 포함하는 인공 현실 시스템의 하나 이상의 프로세서들이: 하나 이상의 가상 사용자 인터페이스 요소들을 포함하는 가상 사용자 인터페이스를 생성하게 하고; 인공 현실 콘텐츠 및 인공 현실 환경에서 주변 디바이스의 포지션에 관련하여 잠겨진 사용자 인터페이스 포지션에서, HMD에서의 디스플레이를 위해 가상 사용자 인터페이스를 렌더링하게 하고; 가상 사용자 인터페이스 요소들 중 하나에 대응하는 포지션에서 사용자에 의해 수행된 사용자 인터페이스 제스처를 검출하게 하고; 사용자 인터페이스 제스처에 응답하여, 가상 사용자 인터페이스 요소들 중 하나와 연관된 하나 이상의 동작들을 수행하게 하는 명령들을 포함한다.
하나 이상의 예들의 세부사항들은 첨부 도면들 및 하기 설명에 기재되어 있다. 다른 특징들, 목적들, 및 장점들은 설명 및 도면들 및 청구항들로부터 자명할 것이다.
도 1a는 본 개시내용의 기법들에 따른 머리-장착 디스플레이(HMD) 및 주변 디바이스를 포함하는 예시적인 인공 현실 시스템을 묘사하는 예시이다.
도 1b는 본 개시내용의 기법들에 따른 예시적인 인공 현실 시스템을 묘사하는 예시이다.
도 2a는 본 개시내용의 기법들에 따른, 예시적인 HMD 및 예시적인 주변 디바이스를 묘사하는 예시이다.
도 2b는 본 개시내용의 기법들에 따른, 예시적인 HMD를 묘사하는 예시이다.
도 3은 본 개시내용의 기법들에 따른 도 1a, 도 1b의 인공 현실 시스템의 콘솔, HMD 및 주변 디바이스의 예시적인 구현들을 도시하는 블록도이다.
도 4는 본 개시내용의 기법들 따른 도 1a, 도 1b의 인공 현실 시스템의 HMD에 의해 사용자 인터페이스 생성이 수행되는 예를 묘사하는 블록도이다.
도 5는 본 개시내용의 양태들에 따른 주변 디바이스의 동작들을 예시하는 흐름도이다.
도 6은 본 개시내용의 양태들에 따른 인공 현실 콘텐츠와 상호작용하는 것을 예시하는 예시적인 HMD 디스플레이들이다.
도 7a-도 7c는 본 개시내용의 양태들에 따른 주변 디바이스 상에서 수행되는 사용자 인터페이스 제스처의 검출에 응답하여 하나 이상의 동작들의 수행을 예시하는 예시적인 HMD 디스플레이들이다.
도 8a-도 8i는 본 개시내용의 양태들에 따른 가상 레이저 포인터를 사용한 인공 현실 콘텐츠와의 다양한 상호작용들을 예시하는 예시적인 HMD 디스플레이이다.
도 9는 본 개시내용의 기법들에 따른, 예시적인 주변 디바이스 및 가상 사용자 인터페이스를 예시하는 블록도이다.
유사한 참조 문자들은 설명 및 도면들 전체에 걸쳐 유사한 요소들을 지칭한다.
도 1a는 본 개시내용의 기법들에 따른 예시적인 인공 현실 시스템을 묘사하는 예시이다. 도 1a의 예에서, 인공 현실 시스템(10)은 HMD(112), 콘솔(106), 및 주변 디바이스(136)를 포함하고, 하나 이상의 외부 센서들(90)을 포함할 수 있다. 도시된 바와 같이, HMD(112)는 일반적으로 사용자(110)에 의해 착용되고 인공 현실 콘텐츠(122)를 사용자(110)에게 제시하기 위한 전자 디스플레이 및 광학 어셈블리를 포함한다. 또한, HMD(112)는 HMD(112)의 모션을 추적하기 위한 하나 이상의 센서들(예를 들어, 가속도계)을 포함하고 주위 물리적 환경의 이미지 데이터를 캡처하기 위한 하나 이상의 이미지 캡처 디바이스들(138((예를 들어 카메라들, 라인 스캐너들)을 포함할 수 있다. 이 예에서, 콘솔(106)은 게임 콘솔, 워크스테이션, 데스크톱 컴퓨터 또는 랩톱과 같은 단일 컴퓨팅 디바이스로서 도시된다. 다른 예들에서, 콘솔(106)은 분산 컴퓨팅 네트워크, 데이터 센터, 또는 클라우드 컴퓨팅 시스템과 같은 복수의 컴퓨팅 디바이스들에 걸쳐 분산될 수 있다. 콘솔(106), HMD(112), 및 센서들(90)은 이 예에 도시된 바와 같이, 네트워크(104)를 통해 통신가능하게 결합될 수 있고, 네트워크(104)는 Wi-Fi, 메시 네트워크 또는 단거리 무선 통신 매체, 또는 이들의 조합과 같은 유선 또는 무선 네트워크들일 수 있다. HMD(112)가 이 예에서 콘솔(106)과 통신하는, 예를 들어, 콘솔(106)과 테더링하거나 무선 통신하는 것으로 도시되지만, 일부 구현들에서 HMD(112)는 독립형 모바일 인공 현실 시스템으로서 동작한다.
일반적으로, 인공 현실 시스템(10)은 사용자(110)에게 디스플레이하기 위해 인공 현실 콘텐츠(122)를 렌더링하기 위해 현실-세계 3D 물리적 환경으로부터 캡처된 정보를 사용한다. 도 1a의 예에서, 사용자(110)는 콘솔(106) 및/또는 HMD(112) 상에서 실행되는 인공 현실 애플리케이션에 의해 구성되고 렌더링된 인공 현실 콘텐츠(122)를 본다. 일부 예들에서, 인공 현실 콘텐츠(122)는 현실-세계 이미지(예를 들어, 손(132), 주변 디바이스(136), 벽들(121)) 및 가상 객체들(예를 들어, 가상 콘텐츠 아이템들(124, 126) 및 가상 사용자 인터페이스(137))의 혼합을 포함하여 혼합 현실 및/또는 증강 현실을 생성할 수 있다. 일부 예들에서, 가상 콘텐츠 아이템들(124, 126)은 인공 현실 콘텐츠(122) 내의 특정 포지션에 매핑(예를 들어, 고정, 잠김, 배치)될 수 있다. 가상 콘텐츠 아이템에 대한 포지션은 예를 들어 벽들(121) 또는 지구 중 하나에 대해 고정될 수 있다. 가상 콘텐츠 아이템에 대한 포지션은 예를 들어 주변 디바이스(136) 또는 사용자에 관련하여 가변적일 수 있다. 일부 예들에서, 인공 현실 콘텐츠(122) 내의 가상 콘텐츠 아이템의 특정 포지션은 현실 세계, 물리적 환경(예를 들어, 물리적 객체의 표면 상의) 내의 포지션과 연관된다.
도 1a에 도시된 예에서, 가상 콘텐츠 아이템들(124, 126)은 벽(121) 상의 포지션들에 매핑된다. 도 1a의 예는 또한 가상 콘텐츠 아이템(124)이 인공 현실 콘텐츠(122) 내에서만 벽(121)에 부분적으로 나타나는 것을 도시하고, 이는 이 가상 콘텐츠가 현실 세계, 물리적 환경에 존재하지 않는다는 것을 예시한다. 가상 사용자 인터페이스(137)는 주변 디바이스(136)의 표면에 매핑된다. 결과적으로, AR 시스템(10)은 인공 현실 환경에서 주변 디바이스(136)의 포지션에 관련하여 잠겨진 사용자 인터페이스 포지션에서, 인공 현실 콘텐츠(122)의 일부로서 HMD(112)에서의 디스플레이를 위한 가상 사용자 인터페이스(137)를 렌더링한다. 도 1a는 가상 사용자 인터페이스(137)가 인공 현실 콘텐츠(122) 내에서만 주변 디바이스(136)에 나타나는 것을 도시하고, 이는 이 가상 콘텐츠가 현실 세계, 물리적 환경에 존재하지 않음을 예시한다. 본원에 사용된 바와 같이, 주변 디바이스(136) 또는 다른 물리적 객체의 포지션에 '잠겨진’ 가상 요소는 인공 현실 환경의 일부이거나 그렇지 않으면 인공 현실 환경에서 물리적 객체에 묶인 것으로 보이도록 물리적 객체의 포지션에 관련한 포지션에서 렌더링된다.
일부 구현들에서, 인공 현실 시스템(10)은 가상 콘텐츠 아이템들(124, 126)(예를 들어, GIF, 사진들, 애플리케이션들, 라이브-스트림들, 비디오들, 텍스트, 웹-브라우저, 드로잉들, 애니메이션들, 데이터 파일들의 표현들, 또는 임의의 다른 가시 매체)을 가상 표면에 생성 및 렌더링한다. 가상 표면은 평면 또는 다른 현실-세계 표면과 연관될 수 있다(예를 들어, 가상 표면은 벽 테이블 또는 천장과 같은 물리적 평면 표면에 대응하고 이에 잠겨짐). 도 1a에 도시된 예에서, 가상 표면은 벽(121)과 연관된다. 다른 예들에서, 가상 표면은 표면의 일부(예를 들어, 벽(121)의 일부)와 연관될 수 있다. 일부 예들에서, 가상 표면 내에 포함된 가상 콘텐츠 아이템들만이 렌더링된다. 다른 예들에서, 가상 표면은 (예를 들어, 가상 평면으로서 또는 가상 표면에 대응하는 경계로서) 생성되고 렌더링된다. 일부 예들에서, 가상 표면은 가상 또는 현실-세계 물리적 환경에서 부유하는 것으로 렌더링될 수 있다(예를 들어, 특정 현실-세계 표면과 연관되지 않음).
인공 현실 시스템(10)은 가상 콘텐츠 아이템들의 위치의 적어도 일부가 사용자(110)의 시야(130)에 있다는 결정에 응답하여 하나 이상의 가상 콘텐츠 아이템들을 렌더링할 수 있다. 예를 들어, 인공 현실 시스템(10)은 주변 디바이스(136)가 사용자(110)의 시야(130) 내에 있는 경우에만 가상 사용자 인터페이스(137)를 렌더링할 수 있다.
동작 동안, 인공 현실 애플리케이션은 기준 프레임, 일반적으로 HMD(112)의 보기 관점에 대한 포즈 정보를 추적 및 계산함으로써 사용자(110)에게 디스플레이하기 위한 인공 현실 콘텐츠(122)를 구성한다. HMD(112)를 기준 프레임으로 사용하고, HMD(112)의 현재 추정된 포즈에 의해 결정된 현재 시야(130)에 기반하여, 인공 현실 애플리케이션은 일부 예들에서 적어도 부분적으로 사용자(110)의 현실-세계 3D 물리적 환경에 오버레이될 수 있는 3D 인공 현실 콘텐츠를 렌더링한다. 이 프로세스 동안, 인공 현실 애플리케이션은 움직임 정보 및 사용자 커맨드들과 같은 HMD(112)로부터 수신된 감지 데이터를 사용하고, 일부 예에서는 사용자(110)에 의한 모션 및/또는 사용자(110)에 관한 피처 추적 정보(feature tracking information) 같은, 현실 세계 물리적 환경 내의 3D 정보를 캡처하기 위해 외부 카메라들과 같은 임의의 외부 센서들(90)로부터의 데이터를 사용한다. 감지된 데이터에 기반하여, 인공 현실 애플리케이션은 HMD(112)의 기준 프레임에 대한 현재 포즈를 결정하고, 현재 포즈에 따라 인공 현실 콘텐츠(122)를 렌더링한다.
인공 현실 시스템(10)은 사용자의 현실-세계 응시 추적, 또는 다른 조건들에 의해 결정될 수 있는 바와 같이, 사용자(110)의 현재 시야(130)에 기반하여 가상 콘텐츠 아이템들의 생성 및 렌더링을 트리거할 수 있다. 보다 구체적으로, HMD(112)의 이미지 캡처 디바이스들(138)은 이미지 캡처 디바이스들(138)의 시야(130) 내에 있는 현실 세계 물리적 환경의 객체들을 나타내는 이미지 데이터를 캡처한다. 시야(130)는 일반적으로 HMD(112)의 보기 관점에 대응한다. 일부 예들에서, 인공 현실 애플리케이션은 혼합 현실 및/또는 증강 현실을 포함하는 인공 현실 콘텐츠(122)를 제시한다. 도 1a에 도시된 바와 같이, 인공 현실 애플리케이션은 인공 현실 콘텐츠(122) 내와 같이 가상 객체들과 함께 시야(130) 내에 있는 사용자(110)의 주변 디바이스(136), 손(132), 및/또는 팔(134)의 부분과 같은 현실-세계 객체들의 이미지들을 렌더링할 수 있다. 다른 예들에서, 인공 현실 애플리케이션은 인공 현실 콘텐츠(122) 내의 시야(130) 내에 있는 사용자(110)의 주변 디바이스(136), 손(132), 및/또는 팔(134)의 부분들의 가상 표현들을 렌더링할 수 있다(예를 들어, 현실-세계 객체들을 가상 객체들로서 렌더링함). 어느 하나의 예에서, 사용자(110)는 인공 현실 콘텐츠(122) 내의 시야(130) 내에 있는 자신의 손(132), 팔(134), 주변 디바이스(136) 및/또는 임의의 다른 현실-세계 객체들의 부분들을 볼 수 있다. 다른 예들에서, 인공 현실 애플리케이션은 사용자의 손(132) 또는 팔(134)의 표현들을 렌더링하지 않을 수 있다.
동작 동안, 인공 현실 시스템(10)은 HMD(112)의 이미지 캡처 디바이스들(138)에 의해 캡처된 이미지 데이터 내에서 객체 인식을 수행하여 사용자(110)의 개별 손가락들 또는 엄지, 및/또는 팔(134)의 모두 또는 일부 부분들을 선택적으로 식별하는 것을 포함하여, 주변 디바이스(136), 손(132)을 식별한다. 또한, 인공 현실 시스템(10)은 시간의 슬라이딩 창에 걸쳐 주변 디바이스(136), 손(132)(선택적으로 손의 특정 디지트(digit)들을 포함함) 및/또는 팔(134)의 부분들의 포지션, 배향 및 구성을 추적한다. 일부 예들에서, 주변 디바이스(136)는 주변 디바이스(136)의 모션 또는 배향을 추적하기 위한 하나 이상의 센서들(예를 들어, 가속도계들)을 포함한다.
본 개시내용의 기법들에 따르면, 인공 현실 시스템(10)은 사용자들이 "주변 디바이스"로 지칭되는 물리적 디바이스를 사용하여 상호작용할 수 있는 가상 사용자 인터페이스(137)를 제시한다. 주변 디바이스(136)는 AR 시스템(10)이 가상 사용자 인터페이스(137)를 오버레이하는 표면을 갖는 물리적 현실-세계 디바이스이다. 즉, AR 시스템(10)은 가상 사용자 인터페이스(137)가 주변 디바이스(136)의 표면인 것처럼 보이거나 주변 디바이스(136)의 표면과 병치된 것처럼 보이도록 포지션 및 배향에서 가상 사용자 인터페이스(137)를 가상으로 렌더링한다. 이와 관련하여, 주변 디바이스(136)는 가상 사용자 인터페이스(137)와 같은 가상 콘텐츠에 대한 스테이지로서 동작한다. 주변 디바이스(136)는 존재-감지 표면의 위치들을 터치하거나 호버링(hovering)하는 하나 이상의 객체들(예를 들어, 손가락들, 스타일러스)의 존재를 검출함으로써 사용자 입력들을 검출하기 위한 하나 이상의 존재-감지 표면들을 포함할 수 있다. 일부 예들에서, 주변 디바이스(136)는 존재-감지 디스플레이일 수 있는 출력 디스플레이를 포함할 수 있다. AR 시스템(10)은 가상 사용자 인터페이스(137)를 렌더링할 때 주변 디바이스(136)가 출력 디스플레이를 비활성화(즉, 턴 오프)하게 할 수 있다. AR 시스템(10)은 일부 예들에서, 출력 디스플레이가 비활성화될 때만 가상 사용자 인터페이스(137)를 렌더링할 수 있다. 일부 예들에서, 주변 디바이스(136)는 그러나 출력 디스플레이를 포함하지 않는다.
일부 예들에서, 주변 디바이스(136)는 스마트폰, 태블릿 컴퓨터, PDA(personal data assistant), 또는 다른 핸드-헬드 디바이스일 수 있다. 일부 예들에서, 주변 디바이스(136)는 스마트워치, 스마트링, 또는 다른 웨어러블 디바이스일 수 있다. 주변 디바이스(136)는 또한 키오스크 또는 다른 고정식 또는 이동식 시스템의 일부일 수 있다. 주변 디바이스(136)는 콘텐츠를 스크린에 출력하기 위한 디스플레이 디바이스를 포함하거나 포함하지 않을 수 있다. 주변 디바이스(136)는 하나 이상의 유선 또는 무선 통신 링크들(예를 들어, Wi-Fi, 블루투스와 같은 근거리 무선 통신의 근거리 통신)를 사용하여 HMD(112) 및/또는 콘솔(106)과 통신할 수 있다.
AR 시스템(10)은 가상 사용자 인터페이스(137)가 주변 디바이스(136)의 표면에 잠겨진 AR 콘텐츠를 HMD, 안경 또는 다른 디스플레이 디바이스(112)에 렌더링한다. 즉, AR 시스템(10)은 물리적 환경(130)에서의 물리적 주변 디바이스(136)의 포지션 및 배향에 기반하고 이에 대응하는 가상 환경 내의 포지션 및 배향에서 하나 이상의 가상 사용자 인터페이스 요소들을 갖는 가상 사용자 인터페이스(137)를 렌더링할 수 있다. 예를 들어, 주변 디바이스(136)가 수직 포지션("세로방향 모드"로 지칭됨)에 배치되는 경우, AR 시스템(10)은 가상 사용자 인터페이스를 세로방향 모드 및 주변 디바이스(136)의 포지션 및 배향에 대응하는 위치에 렌더링할 수 있다. 주변 디바이스(136)가 수평 포지션("가로방향 모드"라고 지칭됨)에 배치되는 경우, AR 시스템(10)은 가상 사용자 인터페이스를 가로방향 모드 및 주변 디바이스(136)의 포지션 및 배향에 대응하는 위치에 렌더링할 수 있다. 이러한 방식으로, 가상 환경에서 렌더링되는 가상 사용자 인터페이스는 주변 디바이스(136)가 사용자에게 주변 디바이스(136)의 표면 상에 가상 사용자 인터페이스(137)를 출력하고 있는 것처럼 보이도록 핸드헬드 물리적 주변 디바이스(136)를 추적할 수 있다.
가상 사용자 인터페이스(137)는 하나 이상의 가상 사용자 인터페이스 요소들을 포함한다. 가상 사용자 인터페이스 요소들은 예를 들어 가상 드로잉 인터페이스(142), 선택가능 메뉴(144)(예를 들어, 드롭-다운 메뉴), 가상 버튼들(146), 방향 패드(148), 키보드 또는 다른 사용자-선택가능 사용자 인터페이스 요소들, 글리프(glyph)들, 디스플레이 요소들, 콘텐츠, 사용자 인터페이스 제어부 등을 포함할 수 있다. 가상 사용자 인터페이스(137)에 대한 특정 가상 사용자 인터페이스 요소들은 사용자가 참여하는 현재 AR 애플리케이션들에 기반하여 컨텍스트-구동될 수 있다.
사용자가 주변 디바이스(136)에 오버레이된 가상 사용자 인터페이스(137)의 가상 사용자 인터페이스 요소들 중 하나에 대응하는 위치에서 가상 환경에서 사용자 인터페이스 제스처를 수행하면, AR 시스템(10)은 사용자 인터페이스를 검출하고 동작들을 수행한다. 예를 들어, 사용자는 AR 시스템(10)이 가상 사용자 인터페이스(137) 상의 가상 사용자 인터페이스 버튼(146)을 렌더링하는 가상 환경에서의 포지션에 대응하는 주변 디바이스(136) 상의 물리적 위치에서 자신의 손가락을 누를 수 있다. 이 예에서, AR 시스템(10)은 이 가상 버튼 누름 제스처를 검출하고 가상 사용자 인터페이스 버튼(146)의 검출된 누름에 대응하는 동작을 수행한다. AR 시스템(10)은 또한 예를 들어 버튼 누름 제스처와 함께 가상 사용자 인터페이스 버튼의 누름을 애니메이션화할 수 있다.
AR 시스템(10)은 이미지 캡처 디바이스들(138) 및/또는 외부 카메라들의 내측-외측 또는 외측-내측 추적 시스템을 사용하여 사용자 인터페이스 제스처들 및 다른 제스처들을 검출할 수 있다. AR 시스템(10)은 대안적으로 또는 추가로, 존재-감지 표면을 사용하여 사용자 인터페이스 제스처들 및 다른 제스처들을 검출할 수 있다. 즉, 주변 디바이스(136)의 존재-감지 인터페이스는 사용자 인터페이스 제스처를 구성하는 사용자 입력들을 수신할 수 있다.
주변 디바이스(136)는 사용자가 상호작용(예를 들어, 터치, 손가락을 가로질러 드래그, 잡기 등)할 수 있는 물리적 표면을 가짐으로써 터치-기반 사용자 상호작용에 햅틱 피드백을 제공한다. 또한, 주변 디바이스(136)는 출력 디바이스를 사용하여 사용자 상호작용의 다른 표시들을 출력할 수 있다. 예를 들어, 가상 사용자 인터페이스 버튼(146)의 검출된 누름에 응답하여, 주변 디바이스(136)는 진동 또는 "클릭" 노이즈를 출력할 수 있거나, 주변 디바이스(136)는 콘텐츠를 생성하고 디스플레이에 출력할 수 있다.
일부 예들에서, 사용자는 AR 시스템(10)이 가상 사용자 인터페이스(137)의 가상 드로잉 인터페이스(142)를 렌더링하는 가상 환경에서의 포지션들에 대응하는 주변 디바이스(136) 상의 물리적 위치들을 따라 자신의 손가락을 누르고 드래그할 수 있다. 이 예에서, AR 시스템(10)은 이 드로잉 제스처를 검출하고 가상 환경의 포지션들에서 가상 표시들을 생성 및 렌더링하는 것과 같이 가상 드로잉 인터페이스(142)의 검출된 누르기 및 드래그에 따라 동작을 수행한다. 이러한 방식으로, AR 시스템(10)은 가상 사용자 인터페이스(137)를 사용하여 주변 디바이스(136) 상에서 드로잉 또는 쓰기를 시뮬레이트한다.
일부 예들에서, 사용자는 AR 시스템(10)이 가상 선택가능 메뉴(144)를 렌더링하는 가상 환경에서의 포지션에 대응하는 주변 디바이스(136) 상의 물리적 위치에서 그들의 손가락을 누를 수 있다. 이 예에서, AR 시스템(10)은 이 사용자 인터페이스 제스처를 검출하고 가상 선택가능 메뉴(144)의 검출된 누름에 따라 동작을 수행한다. 가상 선택가능 메뉴(144)는 드롭-다운 메뉴, 파이 메뉴, 리스트 메뉴, 또는 복수의 선택가능 아이템들을 포함하는 임의의 메뉴를 포함할 수 있다. 일부 예들에서, 가상 선택가능 메뉴(144)는 사용자가 가상 선택가능 메뉴(144)의 주 메뉴에서 아이템을 선택할 때, AR 시스템(10)이 메인 메뉴에서 선택된 아이템에 대응하는 하나 이상의 아이템들의 서브-메뉴를 렌더링하도록 서브-메뉴를 포함하고, 하나 이상의 아이템들은 사용자에 의해 추가로 선택가능하다. 이러한 방식으로, AR 시스템(10)은 가상 사용자 인터페이스(137)를 사용하여 주변 디바이스(136) 상의 메뉴와의 상호작용을 시뮬레이트한다.
일부 예들에서, 사용자는 AR 시스템(10)이 가상 방향 패드(148)를 렌더링하는 가상 환경에서의 포지션에 대응하는 주변 디바이스(136) 상의 물리적 위치에서 그들의 손가락을 누를 수 있다. 이 예에서, AR 시스템(10)은 이 사용자 인터페이스 제스처를 검출하고 가상 방향 패드(148)의 검출된 누름에 따라 동작을 수행한다. 이러한 방식으로, AR 시스템(10)은 가상 사용자 인터페이스(137)를 사용하여 주변 디바이스(136) 상의 방향 패드와의 상호작용을 시뮬레이트한다.
따라서, 본 개시내용의 기법들은 인공 현실 시스템에 의해 콘텐츠를 렌더링 및 디스플레이하는 컴퓨터-관련 분야에 대한 특정 기술 개선들을 제공하고, 이는 하나 이상의 실현가능한 애플리케이션들을 제공할 수 있다. 예를 들어, 본원에 설명된 인공 현실 시스템들은 주변 디바이스(136)의 표면에 잠긴 가상 사용자 인터페이스(137)를 생성 및 렌더링하고 주변 디바이스(136)에 관하여 사용자(110)에 의해 수행된 제스처들을 검출하여 인공 현실 애플리케이션의 사용자(110) 같은 사용자에게 고품질 인공 현실 경험을 제공할 수 있다.
또한, 본원에 설명된 AR 시스템들은 사용자에게 자가-햅틱 피드백을 제공하는 제스처들을 검출하도록 구성될 수 있다. 예를 들어, 사용자(110)의 각 손(132) 상의 하나 이상의 손가락들은 인공 현실 콘텐츠에서 가상 사용자 인터페이스(137)의 특정 가상 사용자 인터페이스 요소와의 상호작용의 일부로서 물리적 세계에서 주변 디바이스(136)를 터치하거나 대략적으로 터치할 수 있다. 사용자 손(132)의 하나 이상의 손가락들과 주변 디바이스 사이의 터치는 물리적 키보드의 버튼 또는 다른 물리적 입력 디바이스와 같은 물리적 사용자 입력 객체와 직접 상호작용할 때 사용자가 느끼는 감각의 시뮬레이션을 사용자에게 제공할 수 있다.
다른 예로서, 본원에 설명된 AR 시스템들은 인공 현실 환경에서 자유롭게-부유하는 가상 사용자 인터페이스들과 대조적으로, 사용자가 햅틱 피드백을 제공하는 주변 디바이스(136) 상에서 가상으로 렌더링된 가상 사용자 인터페이스 요소들과 관련하여 세분화된 사용자 입력들을 제공할 수 있게 한다. 이것은 제스처 검출의 정밀도를 단순화하고 개선시킬 수 있다. 또한, 주변 디바이스(136)는 자신의 디스플레이에 사용자 인터페이스 요소들을 디스플레이하지 않을 수 있고 디스플레이를 포함하지 않을 수도 있다. 그러므로, 기법들은 사용자로부터 정밀한 입력들을 수신하기 위해 예를 들어 스마트폰 또는 태블릿의 존재-감지 디스플레이에서 생성 및 디스플레이될 필요가 있는 별도의 인터페이스를 제거함으로써 전력 소비를 추가로 감소시키고 AR 애플리케이션을 단순화할 수 있다. 일부 예들에서, 존재-감지 표면을 사용한 사용자 입력들의 수신은 이미지-기반 제스처 검출 기법들보다 더 정밀한 제스처 검출을 제공할 수 있다.
도 1b는 본 개시내용의 기법들에 따른 다른 예시적인 인공 현실 시스템(20)을 묘사하는 예시이다. 도 1a의 인공 현실 시스템(10)과 유사하게, 도 1b의 인공 현실 시스템(20)은 인공 현실 환경에서 주변 디바이스(136)의 포지션에 잠겨진 가상 사용자 인터페이스(137)를 제시 및 제어할 수 있다.
도 1b의 예에서, 인공 현실 시스템(20)은 외부 카메라들(102A 및 102B)(집합적으로 "외부 카메라들(102)"), HMD들(112A-112C)(집합적으로 "HMD들(112)"), 제어기들(114A 및 114B)(집합적으로 "제어기들(114)"), 콘솔(106), 물리적 주변 디바이스(136), 및 센서들(90)을 포함한다. 도 1b에 도시된 바와 같이, 인공 현실 시스템(20)은 콘솔(106) 및/또는 HMD들(112)에서 실행되는 인공 현실 애플리케이션이 각 사용자에 대한 대응하는 참조 프레임의 현재 보기 관점에 기반하여 사용자들(110A-110C)(집합적으로 "사용자들(110)") 각각에게 인공 현실 콘텐츠를 제시하는 다중-사용자 환경을 나타낸다. 즉, 이 예에서, 인공 현실 애플리케이션은 HMD들(112) 각각에 대한 참조 프레임에 대한 포즈 정보를 추적 및 계산함으로써 인공 콘텐츠를 구성한다. 인공 현실 시스템(20)은 카메라들(102), HMD들(112), 및 제어기들(114)로부터 수신된 데이터를 사용하여 HMD들(112)의 대응하는 참조 프레임에 대한 업데이트된 포즈 정보를 계산하는 데 사용하기 위해 사용자들(110)에 의한 모션 및/또는 사용자들(110) 및 객체들(108)에 관련한 추적 정보와 같은 현실-세계 물리적 3D 환경 내의 3D 정보를 캡처한다. 일 예로서, 인공 현실 애플리케이션은 HMD(112C)에 대해 결정된 현재 보기 관점에 기반하여, 가상 객체들(128A-128C)(집합적으로 "가상 객체들(128)")를 갖는 인공 현실 콘텐츠(122)를 현실 세계 객체들(108A-108C)(집합적으로, "현실 세계 객체들(108)") 위에 공간적으로 오버레이되는 것으로 렌더링할 수 있다. 또한, HMD(112C)의 관점에서, 인공 현실 시스템(20)은 각각 사용자들(110A, 110B)에 대한 추정된 포지션들에 기반하여 아바타들(120A, 120B)을 렌더링한다.
HMD들(112) 각각은 인공 현실 시스템(20) 내에서 동시에 동작한다. 도 1b의 예에서, 사용자들(110) 각각은 인공 현실 애플리케이션의 "플레이어" 또는 "참가자"일 수 있고, 사용자들(110) 중 임의의 사용자는 인공 현실 애플리케이션의 "관람자" 또는 "관찰자"일 수 있다. HMD(112C)는 사용자(110C)의 손(132) 및/또는 팔(134)을 추적하고 시야(130) 내에 있는 손(132)의 부분을 인공 현실 콘텐츠(122) 내의 가상 손(136)으로 렌더링함으로써 도 1a의 HMD(112)와 실질적으로 유사하게 동작할 수 있다. HMD(112B)는 사용자(110B)에 의해 유지되는 제어기들(114)로부터 사용자 입력들을 수신할 수 있다. 일부 예들에서, 제어기(114A 및/또는 114B)는 도 1a의 주변 디바이스(136)에 대응하고 도 1a의 주변 디바이스(136)와 실질적으로 유사하게 동작할 수 있다. HMD(112A)는 또한 도 1a의 HMD(112)와 실질적으로 유사하게 동작하고 사용자(110A)의 손들(132A, 132B)에 의한 주변 디바이스(136) 상에서 또는 이와 함께 수행되는 제스처들 형태의 사용자 입력들을 수신할 수 있다. HMD(112B)는 사용자(110B)에 의해 유지되는 제어기들(114)로부터 사용자 입력들을 수신할 수 있다. 제어기들(114)은 블루투스와 같은 단거리 무선 통신의 근거리 통신을 사용하거나, 유선 통신 링크들을 사용하거나, 또는 다른 유형들의 통신 링크들을 사용하여 HMD(112B)와 통신할 수 있다.
도 1a에 관하여 위에서 논의된 예들과 유사한 방식으로, 인공 현실 시스템(20)의 콘솔(106) 및/또는 HMD(112C)는 주변 디바이스(136)의 표면에 잠겨진 포지션에서 가상 사용자 인터페이스(136)를 생성 및 렌더링한다. 즉, 콘솔(106) 및/또는 HMD(112D)는 물리적 환경에서의 물리적 주변 디바이스(136)의 포지션 및 배향에 기반하고 이에 대응하는 가상 환경 내의 포지션 및 배향에서 하나 이상의 가상 사용자 인터페이스 요소들을 갖는 가상 사용자 인터페이스(137)를 렌더링할 수 있다.
도 1b에 도시된 바와 같이, HMD(112C)의 하나 이상의 이미지 캡처 디바이스들(138)을 통해 캡처된 이미지 데이터에 추가하여 또는 대안으로, 외부 카메라들(102)로부터의 입력 데이터는 손의 디지트들(손가락들, 엄지)의 개별 및/또는 조합들의 움직임들을 포함하여, 주변 디바이스(136) 및/또는 사용자(110C)의 손(132) 같은 사용자들(110)의 손들 및 팔들의 특정 모션들, 구성들, 포지션들, 및/또는 배향들을 추적하고 검출하는 데 사용될 수 있다. 이러한 방식으로, AR 시스템(20)은 가상 사용자 인터페이스(137)가 물리적 환경에서 주변 디바이스(136)의 움직임들과 함께 가상 환경에서 움직이는 것을 보장하기 위해 주변 디바이스(136)를 추적하면서 주변 디바이스(136)의 표면에 가상 사용자 인터페이스(137)를 오버레이할 수 있다.
일부 양태들에서, 인공 현실 애플리케이션은 콘솔(106)에서 실행될 수 있고, HMD(112A)의 사용자에 의해 수행될 수 있는 입력 제스처들을 식별하기 위해 손(132B)의 구성들, 포지션들, 및/또는 배향들을 분석하기 위해 이미지 캡처 디바이스들(102A 및 102B)을 활용할 수 있다. 유사하게, HMD(112C)는 HMD(112C)의 사용자에 의해 수행될 수 있는 제스처들을 입력하기 위해 주변 디바이스(136) 및 손(132C)의 구성들, 포지션들, 및/또는 배향들을 분석하기 위해 이미지 캡처 디바이스(138)를 활용할 수 있다. 일부 예들에서, 주변 디바이스(136)는 주변 디바이스(136)의 모션 또는 배향을 추적하기 위한 하나 이상의 센서들(예를 들어, 가속도계들)을 포함한다. 인공 현실 애플리케이션은 도 1a와 관련하여 위에서 설명된 것과 유사한 방식으로 이러한 제스처들에 응답하여 가상 콘텐츠 아이템들 및/또는 사용자 요소들을 렌더링할 수 있다.
이미지 캡처 디바이스들(102 및 138)은 가시 광 스펙트럼, 적외선 스펙트럼, 또는 다른 스펙트럼의 이미지들을 캡처할 수 있다. 객체들, 객체 포즈들, 및 제스처들을 식별하기 위한 본원에 설명된 이미지 프로세싱은 예를 들어 적외선 이미지들, 가시 광 스펙트럼 이미지들 등을 프로세싱하는 것을 포함할 수 있다.
가상 사용자 인터페이스(137)는 주변 디바이스(136)의 표면에 매핑된다. 결과적으로, AR 시스템(10)은 인공 현실 환경에서 주변 디바이스(136)의 포지션에 관련하여 잠겨진 사용자 인터페이스 포지션에서, 인공 현실 콘텐츠(122)의 일부로서 HMD(112C)에서의 디스플레이를 위한 가상 사용자 인터페이스(137)를 렌더링한다. 도 1b는 가상 사용자 인터페이스(137)가 인공 현실 콘텐츠(122) 내에서만 주변 디바이스(136)에 나타나는 것을 도시하고, 이는 이 가상 콘텐츠가 현실 세계, 물리적 환경에 존재하지 않음을 예시한다.
도 2a는 본 개시내용의 기법들에 따른, 예시적인 HMD(112) 및 예시적인 주변 디바이스(136)를 묘사하는 예시이다. 도 2a의 HMD(112)는 도 1a 및 도 1b의 HMD들(112) 중 임의의 것의 예일 수 있다. HMD(112)는 도 1a, 도 1b의 인공 현실 시스템들(10, 20)과 같은 인공 현실 시스템의 일부일 수 있거나, 본원에 설명된 기법들을 구현하도록 구성된 독립형 모바일 인공 현실 시스템으로서 동작할 수 있다.
이 예에서, HMD(112)는 전면 강성체 및 HMD(112)를 사용자에게 고정하기 위한 밴드를 포함한다. 또한, HMD(112)는 인공 현실 콘텐츠를 사용자에게 제시하도록 구성된 내부-지향 전자 디스플레이(203)를 포함한다. 전자 디스플레이(203)는 액정 디스플레이들(LCD), 양자점 디스플레이, 도트 매트릭스 디스플레이, 발광 다이오드(LED) 디스플레이들, 유기 발광 다이오드(OLED) 디스플레이들, 음극선관(CRT) 디스플레이들, 전자-잉크, 또는 흑백, 컬러 또는 시각적 출력을 생성할 수 있는 임의의 다른 유형의 디스플레이 같은 임의의 적합한 디스플레이 기술일 수 있다. 일부 예들에서, 전자 디스플레이는 사용자의 각각의 눈에 별도의 이미지들을 제공하기 위한 입체 디스플레이이다. 일부 예들에서, HMD(112)의 전면 강성체에 관련한 디스플레이(203)의 알려진 배향 및 포지션은 HMD(112) 및 사용자의 현재 보기 관점에 따라 인공 현실 콘텐츠를 렌더링하기 위해 HMD(112)의 포지션 및 배향을 추적할 때, 로컬 원점으로 또한 지칭되는 참조 프레임으로 사용된다. 다른 예들에서, HMD(112)는 안경 또는 고글 같은 다른 착용가능 머리 장착 디스플레이들의 형태를 취할 수 있다.
도 2a에 추가로 도시된 바와 같이, 이 예에서 HMD(112)는 HMD(112)의 현재 가속도를 나타내는 데이터를 출력하는 하나 이상의 가속도계들(또한 관성 측정 유닛들 또는 "IMU들"로 지칭됨), HMD(112)의 위치를 나타내는 데이터를 출력하는 GPS 센서들, 다양한 객체들로부터 HMD(112)의 거리들을 나타내는 데이터를 출력하는 레이더 또는 소나 센서들, 또는 물리적 환경 내에서 HMD(112) 또는 다른 객체들의 위치 또는 배향의 표시들을 제공하는 다른 센서들과 같은 하나 이상의 모션 센서들(206)을 더 포함한다. 또한, HMD(112)는 물리적 환경을 나타내는 이미지 데이터를 출력하도록 구성된 비디오 카메라들, 레이저 스캐너들, 도플러 레이더 스캐너들, 깊이 스캐너들 등과 같은 통합 이미지 캡처 디바이스들(138A 및 138B)(집합적으로, "이미지 캡처 디바이스들(138)")을 포함할 수 있다. 보다 구체적으로, 이미지 캡처 디바이스들(138)은 일반적으로 HMD(112)의 보기 관점에 대응하는 이미지 캡처 디바이스들(138)의 시야(130A, 130B) 내에 있는 물리적 환경의 객체들(주변 디바이스(136) 및/또는 손(132)을 포함함)을 나타내는 이미지 데이터를 캡처한다. HMD(112)는 내부 전원 및 감지 데이터를 프로세싱하고 인공-현실 콘텐츠를 디스플레이(203)에 제시하기 위한 프로그래밍가능 동작들을 실행하기 위한 운영 환경을 제공하기 위해 하나 이상의 프로세서들, 메모리 및 하드웨어를 갖는 하나 이상의 인쇄-회로 기판들을 포함할 수 있는 내부 제어 유닛(210)을 포함한다.
일부 예들에서, 제어 유닛(210)은 감지된 데이터(예를 들어, 이미지 캡처 디바이스들(138)에 의해 캡처된 이미지 데이터, GPS 센서들로부터의 포지션 정보)에 기반하여, 이미지 캡처 디바이스들(138)의 시야(130A, 130B) 내에 포함된 포지션과 연관된 하나 이상의 가상 콘텐츠 아이템들(예를 들어, 도 1a의 가상 콘텐츠 아이템들(124, 126))을 포함하는 가상 표면을 디스플레이(203) 상에서의 디스플레이를 위해 생성 및 렌러링하도록 구성된다. 도 1a-도 1b를 참조하여 설명된 바와 같이, 가상 콘텐츠 아이템은 현실-세계 환경 내의 물리적 표면과 연관된 가상 표면 내의 포지션과 연관될 수 있고, 제어 유닛(210)은 가상 콘텐츠(또는 그 일부)와 연관된 포지션이 시야(130A, 130B) 내에 있다는 결정에 응답하여 디스플레이(203)에서의 디스플레이를 위해 가상 콘텐츠 아이템(또는 그 일부)을 렌더링하도록 구성될 수 있다. 일부 예들에서, 가상 표면은 평면 또는 다른 표면(예를 들어, 벽) 상의 포지션과 연관되고, 제어 유닛(210)은 그러한 부분들이 시야(130A, 130B) 내에 있을 때 그 가상 표면 내에 포함된 임의의 가상 콘텐츠 아이템들의 부분들을 생성 및 렌더링할 것이다.
일부 예들에서, 본원에 설명된 기법들에 따라, 제어 유닛(210)은 감지된 데이터에 기반하여, 사용자에 의해 수행된 특정 제스처 또는 제스처들의 조합을 식별하고, 이에 응답하여 동작을 수행하도록 구성된다. 예를 들어, 하나의 식별된 제스처에 응답하여, 제어 유닛(210)은 주변 디바이스(136)에 관련하여 잠긴 포지션에서 전자 디스플레이(203) 상에서의 디스플레이를 위한 특정 사용자 인터페이스를 생성 및 렌더링할 수 있다. 예를 들어, 제어 유닛(210)은 주변 디바이스(136)의 표면(220) 상의 하나 이상의 사용자 인터페이스 요소들(예를 들어, 가상 버튼들)를 포함하는 사용자 인터페이스를 생성하고 렌더링할 수 있다. 본원에 설명된 바와 같이, 본 개시내용의 기법들에 따라, 제어 유닛(210)은 주변 디바이스(136) 및/또는 사용자의 손(132), 손가락들, 엄지, 팔 또는 다른 부분을 식별하고, 사용자에 의해 수행된 미리-정의된 제스처들을 식별하기 위해 주변 디바이스(136) 및/또는 사용자의 식별된 부분(들)의 움직임들, 포지션들, 구성 등을 추적하기 위해 이미지 캡처 디바이스(138)에 의해 캡처된 이미지 데이터 내에서 객체 인식을 수행할 수 있다. 미리-정의된 제스처를 식별하는 것에 응답하여, 제어 유닛(210)은 사용자 인터페이스와 연관된 옵션 세트로부터 옵션을 선택하는 것(예를 들어, 사용자 인터페이스 메뉴에서 옵션을 선택하는 것), 제스처를 입력으로 변환하는 것(예를 들어, 예를 들어, 캐릭터들), 애플리케이션을 개시하는 것, 가상 콘텐츠를 조작하는 것(예를 들어, 가상 콘텐츠 아이템을 이동, 회전), 가상 마킹들을 생성 및 렌더링하는 것, 레이저 포인터를 생성 및 렌더링하는 것, 또는 달리 콘텐츠를 디스플레이하는 것 등 같은 일부 동작을 취한다. 예를 들어, 제어 유닛(210)은 사용자 인터페이스를 드러내기 위한 "트리거"로 지정된 미리-정의된 제스처(예를 들어, 주변 디바이스를 가로방향 또는 수평 배향으로 돌리는 것(도시되지 않음))를 검출하는 것에 응답하여 메뉴 같은 사용자 인터페이스를 동적으로 생성 및 제시할 수 있다. 일부 예들에서, 제어 유닛(210)은 감지된 데이터에 기반하여, 렌더링된 사용자 인터페이스(예를 들어, 가상 사용자 인터페이스 요소에 대해 수행된 탭핑 제스처)에 관련한 사용자 입력을 검출한다. 일부 예들에서, 제어 유닛(210)은 객체 인식, 모션 추적 및 제스처 검출, 또는 이들의 임의의 부분을 수행할 수 있는 콘솔(106)과 같은 외부 디바이스로부터의 지시에 응답하여 이러한 기능들을 수행한다.
예로서, 제어 유닛(210)은 주변 디바이스(136)에 관하여 사용자들에 의해 수행될 수 있는 사용자 인터페이스 제스처, 선택 제스처, 스탬핑 제스처, 병진 제스처, 회전 제스처, 드로잉 제스처, 포인팅 제스처 등을 식별하기 위해 주변 디바이스(136), 손(132) 및/또는 팔(134)의 구성들, 포지션들, 움직임들 및/또는 배향들을 분석하기 위해 이미지 캡처 디바이스들(138A 및 138B)을 활용할 수 있다. 제어 유닛(210)은 가상 사용자 인터페이스(가상 사용자 인터페이스 요소들을 포함함) 및/또는 가상 표면(임의의 가상 콘텐츠 아이템들을 포함함)을 렌더링하고 이후에 더 상세히 설명되는 바와 같이 주변 디바이스에 관하여 사용자에 의해 수행되는 사용자 인터페이스 제스처, 선택 제스처, 스탬핑 제스처, 병진 제스처, 회전 제스처, 및 드로잉 제스처의 검출에 기반하여 사용자가 가상 사용자 인터페이스 및/또는 가상 표면과 인터페이싱할 수 있게 한다.
일 예에서, 본원에 설명된 기법들에 따르면, 주변 디바이스(136)의 표면(220)은 터치 및/또는 호버 입력을 검출하기 위해 용량성, 전도성, 저항성, 음향 또는 다른 기술을 사용하는 표면과 같은 존재-감지 표면이다. 일부 예들에서, 주변 디바이스(136)의 표면(220)은 터치스크린(예를 들어, 용량성 터치스크린, 저항성 터치스크린, 표면 탄성파(SAW) 터치스크린, 적외선 터치스크린, 광학 이미징 터치스크린, 음향 펄스 인식 터치스크린, 또는 임의의 다른 터치스크린)이다. 이러한 예에서, 주변 디바이스(136)는 표면(220) 상의 사용자 입력(예를 들어, 터치 또는 호버 입력)을 검출할 수 있다. 일부 예들에서, 표면(220)은 디스플레이를 포함하지 않고 주변 디바이스(136)는 디스플레이를 포함하지 않는다.
표면(220)에 터치스크린을 갖는 예들에서, 주변 디바이스(136)는 무선 통신 링크들(예를 들어, Wi-Fi, 블루투스 같은 근거리 무선 통신의 근거리 통신), 유선 통신 링크들(도시되지 않음), 또는 다른 유형들의 통신 링크들을 사용하여 검출된 사용자 입력을 HMD(112)(및/또는 도 1a의 콘솔(106))에 통신할 수 있다. 일부 예들에서, 주변 디바이스(136)는 가상 콘텐츠와 상호작용하기 위해(예를 들어, 가상 사용자 인터페이스 요소를 선택하고, 가상 사용자 인터페이스 요소들을 통해 스크롤하기 위해) 하나 이상의 입력 디바이스들(222)(예를 들어, 버튼들, 트랙볼, 스크롤 휠)을 포함할 수 있다.
도 2b는 본 개시내용의 기법들에 따른 예시적인 HMD(112)를 묘사하는 예시이다. 도 2b에 도시된 바와 같이, HMD(112)는 안경 형태를 취할 수 있다. 도 2a의 HMD(112)는 도 1a 및 도 1b의 HMD들(112) 중 임의의 것의 예일 수 있다. HMD(112)는 도 1a, 도 1b의 인공 현실 시스템들(10, 20)과 같은 인공 현실 시스템의 일부일 수 있거나, 본원에 설명된 기법들을 구현하도록 구성된 독립형 모바일 인공 현실 시스템으로서 동작할 수 있다.
이 예에서, HMD(112)는 HMD(112)가 사용자의 코 및 사용자에게 HMD(112)를 고정하기 위해 사용자의 귀 위로 연장되는 관자놀이(또는 "팔")에 놓이게 하도록 하는 브리지를 포함하는 전면 프레임을 포함하는 안경이다. 또한, 도 2b의 HMD(112)는 인공 현실 콘텐츠를 사용자에게 제시하도록 구성된 내부-지향 전자 디스플레이들(203A 및 203B)(집합적으로, "전자 디스플레이들(203)")을 포함한다. 전자 디스플레이들(203)은 액정 디스플레이들(LCD), 양자점 디스플레이, 도트 매트릭스 디스플레이, 발광 다이오드(LED) 디스플레이들, 유기 발광 다이오드(OLED) 디스플레이들, 음극선관(CRT) 디스플레이들, 전자-잉크, 또는 흑백, 컬러 또는 시각적 출력을 생성할 수 있는 임의의 다른 유형의 디스플레이 같은 임의의 적합한 디스플레이 기술일 수 있다. 도 2b에 도시된 일부 예에서, 전자 디스플레이들(203)은 사용자의 각각의 눈에 별도의 이미지들을 제공하기 위한 입체 디스플레이를 형성한다. 일부 예들에서, HMD(112)의 전면 프레임에 관련한 디스플레이(203)의 알려진 배향 및 포지션은 HMD(112) 및 사용자의 현재 보기 관점에 따라 인공 현실 콘텐츠를 렌더링하기 위해 HMD(112)의 포지션 및 배향을 추적할 때, 로컬 원점으로 또한 지칭되는 참조 프레임으로 사용된다.
도 2b에 추가로 도시된 바와 같이, 이 예에서 HMD(112)는 HMD(112)의 현재 가속도를 나타내는 데이터를 출력하는 하나 이상의 가속도계들(또한 관성 측정 유닛들 또는 "IMU들"로 지칭됨), HMD(112)의 위치를 나타내는 데이터를 출력하는 GPS 센서들, 다양한 객체들로부터 HMD(112)의 거리들을 나타내는 데이터를 출력하는 레이더 또는 소나 센서들, 또는 물리적 환경 내에서 HMD(112) 또는 다른 객체들의 위치 또는 배향의 표시들을 제공하는 다른 센서들과 같은 하나 이상의 모션 센서들(206)을 더 포함한다. 또한, HMD(112)는 물리적 환경을 나타내는 이미지 데이터를 출력하도록 구성된 비디오 카메라들, 레이저 스캐너들, 도플러 레이더 스캐너들, 깊이 스캐너들 등과 같은 통합 이미지 캡처 디바이스들(138A 및 138B)(집합적으로, "이미지 캡처 디바이스들(138)")을 포함할 수 있다. HMD(112)는 내부 전원 및 감지 데이터를 프로세싱하고 인공-현실 콘텐츠를 디스플레이(203)에 제시하기 위한 프로그래밍가능 동작들을 실행하기 위한 운영 환경을 제공하기 위해 하나 이상의 프로세서들, 메모리 및 하드웨어를 갖는 하나 이상의 인쇄-회로 기판들을 포함할 수 있는 내부 제어 유닛(210)을 포함한다.
도 3은 도 1a, 도 1b의 인공 현실 시스템(10, 20)의 콘솔(106), HMD(112) 및 주변 디바이스(136)의 예시적인 구현들을 도시하는 블록도이다. 도 3의 예에서, 콘솔(106)은 HMD(112) 및/또는 외부 센서들로부터 수신된 모션 데이터 및 이미지 데이터, 및 일부 경우들에서 주변 디바이스(136)에 의해 수신된 사용자 입력의 표시들 같은 적어도 감지된 데이터에 기반하여 본원에 설명된 기법들에 따라 HMD(112)에 대한 포즈 추적, 제스처 검출, 및 사용자 인터페이스 생성 및 렌더링을 수행한다.
이 예에서, HMD(112)는 하나 이상의 프로세서들(302) 및 메모리(304)를 포함하고, 이는 일부 예들에서 예를 들어 내장형 실시간 멀티태스킹 운영 체제 또는 다른 유형의 운영 체제일 수 있는 운영 체제(305)를 실행하기 위한 컴퓨터 플랫폼을 제공한다. 차례로, 운영 체제(305)는 애플리케이션 엔진(340)을 포함하는 하나 이상의 소프트웨어 구성요소들(307)을 실행하기 위한 멀티태스킹 운영 환경을 제공한다. 도 2a 및 도 2b의 예들에 관련하여 논의된 바와 같이, 프로세서들(302)은 전자 디스플레이(203), 모션 센서들(206) 및 이미지 캡처 디바이스들(138)에 결합된다. 일부 예들에서, 프로세서들(302) 및 메모리(304)는 별개의 이산 구성요소들일 수 있다. 다른 예들에서, 메모리(304)는 단일 집적 회로 내에서 프로세서들(302)과 함께 배치된 온-칩 메모리일 수 있다.
일반적으로, 콘솔(106)은 HMD(112)에 대한 제스처 검출 및 사용자 인터페이스 및/또는 가상 콘텐츠 생성을 수행하기 위해 카메라들(102)(도 1b) 및/또는 HMD(112)(도 1a, 도 2a, 도 2b)의 이미지 캡처 디바이스들(138)로부터 수신된 추적 정보 및 이미지를 프로세싱하는 컴퓨팅 디바이스이다. 일부 예들에서, 콘솔(106)은 워크스테이션, 데스크톱 컴퓨터, 랩톱, 게임 시스템과 같은 단일 컴퓨팅 디바이스이다. 일부 예들에서, 프로세서들(312) 및/또는 메모리(314)와 같은 콘솔(106)의 적어도 일부는 컴퓨팅 시스템들, 서버들, 및 컴퓨팅 디바이스들 사이에서 데이터를 송신하기 위해, 클라우드 컴퓨팅 시스템, 데이터 센터에 걸쳐, 또는 인터넷, 다른 공용 또는 사설 통신 네트워크, 예를 들어, 광대역, 셀룰러, Wi-Fi, 및/또는 다른 유형들의 통신 네트워크들 같은 네트워크에 걸쳐 분산될 수 있다.
도 3의 예에서, 콘솔(106)은 하나 이상의 프로세서들(312) 및 메모리(314)를 포함하고, 이는 일부 예들에서 예를 들어 멀티태스킹 운영 체제 또는 다른 유형의 운영 체제일 수 있는 운영 체제(316)를 실행하기 위한 컴퓨터 플랫폼을 제공한다. 차례로, 운영 체제(316)는 하나 이상의 소프트웨어 구성요소들(317)을 실행하기 위한 멀티태스킹 운영 환경을 제공한다. 프로세서들(312)은 키보드, 게임 제어기들, 디스플레이 디바이스들, 이미지 캡처 디바이스들, HMD들 등과 같은 외부 디바이스들과 통신하기 위한 하나 이상의 I/O 인터페이스들을 제공하는 I/O 인터페이스들(315)에 결합된다. 또한, 하나 이상의 I/O 인터페이스들(315)은 네트워크(104)와 같은 네트워크와 통신하기 위한 하나 이상의 유선 또는 무선 네트워크 인터페이스 제어기(NIC)들을 포함할 수 있다.
콘솔(106)의 소프트웨어 애플리케이션들(317)은 전체 인공 현실 애플리케이션을 제공하도록 동작한다. 이 예에서, 소프트웨어 애플리케이션들(317)은 애플리케이션 엔진(320), 렌더링 엔진(322), 제스처 검출기(324), 포즈 추적기(326), 및 사용자 인터페이스 엔진(328)을 포함한다.
일반적으로, 애플리케이션 엔진(320)은 인공 현실 애플리케이션, 예를 들어 원격회의 애플리케이션, 게이밍 애플리케이션, 내비게이션 애플리케이션, 교육 애플리케이션, 훈련 또는 시뮬레이션 애플리케이션들, 또는 다른 애플리케이션을 제공하고 제시하는 기능을 포함한다. 애플리케이션 엔진(320)은 예를 들어 콘솔(106) 상에서 인공 현실 애플리케이션을 구현하기 위한 하나 이상의 소프트웨어 패키지들, 소프트웨어 라이브러리들, 하드웨어 드라이버들, 및/또는 애플리케이션 프로그램 인터페이스(API)들을 포함할 수 있다. 애플리케이션 엔진(320)에 의한 제어에 응답하여, 렌더링 엔진(322)은 HMD(112)의 애플리케이션 엔진(340)에 의해 사용자에게 디스플레이하기 위한 3D 인공 현실 콘텐츠를 생성한다.
애플리케이션 엔진(320) 및 렌더링 엔진(322)은 포즈 추적기(326)에 의해 결정된 바와 같이, 참조 프레임, 일반적으로 HMD(112)의 보기 관점에 대한 현재 포즈 정보에 따라 사용자(110)에게 디스플레이하기 위한 인공 콘텐츠를 구성한다. 현재 보기 관점에 기반하여, 렌더링 엔진(322)은 일부 경우들에서 사용자(110)의 현실-세계 3D 환경에 적어도 부분적으로 오버레이될 수 있는 3D 인공 현실 콘텐츠를 구성한다. 이 프로세스 동안, 포즈 추적기(326)는 사용자(110)에 의한 모션, 및/또는 사용자(110)에 관련한 특징 추적 정보와 같은 현실 세계 환경 내의 3D 정보를 캡처하기 위해 움직임 정보 및 사용자 커맨드들과 같은 HMD(112)로부터 수신된 감지 데이터에 대해 동작할 수 있고, 일부 예들에서는 외부 카메라들 같은 임의의 외부 센서들(90)(도 1a, 도 1b)로부터의 데이터에 대해 동작할 수 있다. 감지된 데이터에 기반하여, 포즈 추적기(326)는 HMD(112)의 참조 프레임에 대한 현재 포즈를 결정하고, 현재 포즈에 따라, 하나 이상의 I/O 인터페이스들(315)을 통해 사용자(110)에게 디스플레이하기 위한 HMD(112)로 통신을 위한 인공 현실 콘텐츠를 구성한다.
포즈 추적기(326)는 주변 디바이스(136)에 대한 현재 포즈를 결정하고, 현재 포즈에 따라 주변 디바이스(136)에 잠겨진 가상 콘텐츠와 연관된 소정 기능을 트리거할 수 있다(예를 들어, 가상 콘텐츠 아이템을 가상 표면에 배치하고, 가상 콘텐츠 아이템을 조작하고, 하나 이상의 가상 마킹들을 생성 및 렌더링하고, 레이저 포인터를 생성 및 렌더링함). 일부 예들에서, 포즈 추적기(326)는 가상 콘텐츠의 렌더링을 트리거하기 위해 HMD(112)가 가상 표면(예를 들어, 가상 핀보드)에 대응하는 물리적 포지션에 근접하는지 여부를 검출한다.
사용자 인터페이스 엔진(328)은 인공 현실 환경에서 렌더링하기 위한 가상 사용자 인터페이스들을 생성하도록 구성된다. 사용자 인터페이스 엔진(328)은 도 1a에 관하여 위에서 설명된 요소들(142, 144, 146, 및 148)과 같은 하나 이상의 가상 사용자 인터페이스 요소들(329)을 포함하는 가상 사용자 인터페이스를 생성한다. 렌더링 엔진(322)은 주변 디바이스(136)에 대한 현재 포즈에 기반하여, 인공 현실 환경에서 주변 디바이스(136)의 포지션에 관련하여 잠겨진, 인공 현실 환경에서 사용자 인터페이스 포지션에서 가상 사용자 인터페이스를 렌더링하도록 구성된다. 사용자 인터페이스 포지션은 존재-감지 표면들(220) 중 하나의 포지션일 수 있고, 렌더링 엔진(322)은 가상 사용자 인터페이스가 인공 현실 환경에서 존재-감지 표면(220) 상에 오버레이되는 것처럼 보이도록, 가상 사용자 인터페이스를 스케일링, 회전 및 달리 변환하여 존재-감지 표면(220)의 포즈, 크기 및 관점과 일치하도록 투영을 적용할 수 있다. 사용자 인터페이스 엔진(328)은 가상 사용자 인터페이스를 부분적으로 투명하게 생성하여, 존재-감지 표면(220)이 사용자에게 보이도록 할 수 있다. 이 투명도는 구성할 수 있다.
콘솔(106)은 이 가상 사용자 인터페이스 및 다른 인공 현실 콘텐츠를 통신 채널을 통해 HMD(112)에서의 디스플레이를 위해 HMD(112)로 출력할 수 있다. 렌더링 엔진(322)은 주변 디바이스(136)에 대한 포즈 정보를 수신하여 존재-감지 표면들(220) 중 하나의 포지션과 같은 주변 디바이스(136)의 포지션과 일치하도록 사용자 인터페이스 포지션 및 포즈를 지속적으로 업데이트한다.
이미지 캡처 디바이스들(138 또는 102), 존재-감지 표면들(220), 또는 다른 센서 디바이스들 중 임의의 것으로부터의 감지된 데이터에 기반하여, 제스처 검출기(324)는 사용자(110)에 의해 수행된 하나 이상의 제스처들을 식별하기 위해 주변 디바이스(136) 및/또는 사용자의 객체들(예를 들어, 손들, 팔들, 손목들, 손가락들, 손바닥들, 엄지들)의 추적된 모션들, 구성들, 포지션들, 및/또는 배향들을 분석한다. 보다 구체적으로, 제스처 검출기(324)는 주변 디바이스(136) 및/또는 사용자(110)의 손 및/또는 팔을 식별하고, 사용자(110)에 의해 수행된 제스처들을 식별하기 위해 HMD(112)에 관련한 주변 디바이스(136), 손, 및/또는 팔의 움직임들을 추적하기 위해 HMD(112)의 이미지 캡처 디바이스들(138) 및/또는 센서들(90) 및 외부 카메라들(102)에 의해 캡처된 이미지 데이터 내에서 인식된 객체들을 분석할 수 있다. 일부 예들에서, 제스처 검출기(324)는 캡처된 이미지 데이터에 기반하여 주변 디바이스(136), 손, 디지트들, 및/또는 팔의 포지션 및 배향에 대한 변화들을 포함하는 움직임을 추적하고, 사용자(110)에 의해 수행되는 제스처 또는 제스처들의 조합을 검출하기 위해 제스처 라이브러리(330)의 하나 이상의 엔트리들에 객체들의 모션 벡터들을 비교할 수 있다. 일부 예들에서, 제스처 검출기(324)는 주변 디바이스의 존재-감지 표면(들)에 의해 검출된 사용자 입력들을 수신하고 주변 디바이스(136)에 관하여 사용자(110)에 의해 수행된 하나 이상의 제스처들을 검출하기 위해 사용자 입력을 프로세싱할 수 있다.
제스처 검출기(324) 및 제스처 라이브러리(330)는 제스처들을 검출하기 위해 주변 디바이스(136) 상의 사용자 입력들을 프로세싱하기 위해 전체적으로 또는 부분적으로 주변 디바이스(136)에 배포될 수 있다. 그러한 경우들에서, 존재-감지 표면(들)(220)은 표면의 위치들에서 사용자 입력들을 검출한다. 제스처 검출기(324)를 실행하는 주변 디바이스(136)는 제스처 라이브러리(330)의 하나 이상의 제스처들을 검출하기 위해 사용자 입력들을 프로세싱할 수 있다. 주변 디바이스(136)는 검출된 제스처들의 표시들을 콘솔(106) 및/또는 HMD(112)로 전송하여 콘솔(106) 및/또는 HMD(112)가 응답하여 하나 이상의 동작들을 수행하게 할 수 있다. 주변 디바이스(136)는 대안적으로 또는 추가적으로, 표면의 위치에서 사용자 입력들의 표시들을 콘솔(106)에 전송할 수 있고, 제스처 검출기(324)는 제스처 라이브러리(330)의 하나 이상의 제스처들을 검출하기 위해 사용자 입력들을 프로세싱할 수 있다.
제스처 라이브러리(330)의 일부 엔트리들은 제스처를, 주변 디바이스(136), 사용자의 손, 특정 손가락들, 엄지들, 손목들 및/또는 팔들의 상대적 경로 또는 공간 병진들 및 회전들과 같은 모션의 시리즈 또는 패턴으로서 각각 정의할 수 있다. 제스처 라이브러리(330)의 일부 엔트리들은 각각 특정 시간에 또는 일정 기간에 걸쳐 주변 디바이스, 사용자의 손 및/또는 팔들(또는 그 일부들)의 구성, 포지션 및/또는 배향으로 제스처를 정의할 수 있다. 제스처 라이브러리(330)의 일부 엔트리들은 시간에 따라 주변 디바이스(136)의 존재-감지 표면(들)(220)에 의해 검출된 제스처를 하나 이상의 사용자 입력들로서 각각 정의할 수 있다. 제스처들 유형의 다른 예들이 가능하다. 또한, 제스처 라이브러리(330)의 엔트리들 각각은 정의된 제스처 또는 일련의 제스처들에 대해, 개인의 실시간 시선 추적에 의해 결정될 수 있는 바와 같은 HMD(112)의 현재 시야에 대한 공간적 관계들, 사용자에 의해 현재 관찰하고 있는 특정 영역에 대한 공간적 관계들, HMD(112)의 현재 시야 내에서 주변 디바이스(136)의 포즈, 디스플레이되는 인공 콘텐츠의 유형들, 실행되는 애플리케이션들의 유형들 등 같은 동작을 트리거하기 위해 제스처 또는 일련의 제스처들에 대해 요구된 조건들을 지정할 수 있다.
제스처 라이브러리(330)의 엔트리들의 각각은 정의된 제스처들 또는 제스처들의 조합들/시리즈들 각각에 대해, 소프트웨어 애플리케이션들(317)에 의해 수행될 원하는 응답 또는 동작을 추가로 특정할 수 있다. 예를 들어, 본 개시내용의 기법들에 따르면, 소정의 특수 제스처들은, 미리 정의된 제스처 중 하나를 검출하는 것에 응답하여, 사용자 인터페이스 엔진(328)이 사용자에게 디스플레이되는 인공 현실 콘텐츠에 대한 오버레이로서 사용자 인터페이스를 동적으로 생성하도록 미리 정의될 수 있어, 사용자(110)가 인공 현실 콘텐츠와 상호작용하는 동안에도 HMD(112) 및/또는 콘솔(106)을 구성하기 위한 사용자 인터페이스를 쉽게 호출하게 한다. 다른 예들에서, 특정 제스처들은 입력 제공, 가상 객체들 선택(가상 콘텐츠 아이템들 및/또는 사용자 인터페이스 요소들 포함), 가상 객체 병진(예를 들어, 이동, 회전), 가상 객체들 변경(예를 들어, 스케일링, 주석 달기), 가상 마킹들 형성, 애플리케이션들 개시, 및 다른 동작들 같은 다른 동작들과 연관될 수 있다.
예로서, 제스처 라이브러리(330)는 사용자 인터페이스 활성화 제스처, 메뉴 스크롤링 제스처, 선택 제스처, 스탬핑 제스처, 병진 제스처, 회전 제스처, 드로잉 제스처, 및/또는 지향 제스처 같은 주변 디바이스 제스처를 설명하는 엔트리들을 포함할 수 있다. 이러한 제스처들 중 일부는 또한 가상 사용자 인터페이스를 사용하여 수행될 수 있다. 예를 들어, 사용자는 주변 디바이스 제스처(주변 디바이스의 포즈들을 조작) 또는 사용자 인터페이스 제스처(가상 사용자 인터페이스와 상호작용)로 드로잉 제스처를 수행할 수 있다. 제스처 검출기(324)는 주변 디바이스(136)에 관하여 사용자들에 의해 수행될 수 있는 사용자 인터페이스 제스처, 선택 제스처, 스탬핑 제스처, 병진 제스처, 회전 제스처, 드로잉 제스처, 지향 제스처 등을 식별하기 위해 주변 디바이스(136) 및/또는 사용자 손의 구성들, 포지션들, 모션들, 및/또는 배향들을 분석하도록 이미지 캡처 디바이스(138)로부터의 이미지 데이터를 프로세싱할 수 있다.
제스처 검출기(324)는 사용자 인터페이스 엔진(328)에 의해 생성된 가상 사용자 인터페이스의 가상 사용자 인터페이스 요소들 중 하나에 대응하는 포지션에서 사용자에 의해 수행된 사용자 인터페이스 제스처를 검출할 수 있다. 예를 들어, 렌더링 엔진(322)은 물리적 환경에서 주변 디바이스(136)의 포지션에 대응하는 인공 현실 환경에서의 포지션에서 가상 사용자 인터페이스를 렌더링할 수 있다. 렌더링 엔진(322)은 주변 디바이스(136) 상의 위치들의 포지션에 또한 대응하는 가상 사용자 인터페이스 내의 포지션들에서 사용자 인터페이스 요소들을 렌더링한다. 가상 사용자 인터페이스 요소의 포지션들 중 하나에서 사용자에 의해 수행된 제스처는 가상 사용자 인터페이스 요소에 관하여 수행된 제스처의 표시이다. 예를 들어, 사용자는 인공 현실 환경에서 가상 버튼에 의해 둘러싸이고 오버레이되는 주변 디바이스(136) 상의 위치에서 버튼 누름 사용자 인터페이스 제스처를 수행할 수 있다. 가상 사용자 인터페이스 요소에 대응하는 포지션에서 사용자에 의해 수행되는 검출된 사용자 인터페이스 제스처에 응답하여, 인공 현실 시스템은 가상 사용자 인터페이스 요소와 연관된 하나 이상의 동작들을 수행할 수 있다.
동작들은 예를 들어 애플리케이션 개시 또는 애플리케이션 내의 일부 동작 수행, 가상 사용자 인터페이스 수정, 사용자 인터페이스 요소들 중 하나와 같은 인공 현실 콘텐츠에 애니메이션화, 애플리케이션 닫기, 디스플레이를 위해 인공 현실 출력, 애플리케이션 구성, 애플리케이션 수정, 또는 콘솔(106), HMD(112), 또는 주변 디바이스(136)에 의한 다른 동작을 포함할 수 있다.
가상 사용자 인터페이스 요소에 대응하고 검출된 제스처가 수행된 포지션은 존재-감지 표면(220) 상의 위치일 수 있다. 사용자 인터페이스 엔진(328)은 가상 사용자 인터페이스의 가상 사용자 인터페이스 요소들에 대한 존재-감지 표면(220) 상의 위치들의 매핑을 저장할 수 있다. 존재-감지 표면(220)의 위치에서 검출된 제스처의 표시를 수신하는 것에 응답하여, 사용자 인터페이스 엔진(328)은 그 위치를 가상 사용자 인터페이스 요소에 매핑할 수 있다. 이어서, 인공 현실 시스템은 가상 사용자 인터페이스 요소와 연관된 하나 이상의 동작들을 수행할 수 있다.
일부 예들에서, 가상 사용자 인터페이스 요소에 대응하고 검출된 제스처가 수행된 포지션은 존재-감지 표면이 아닌 주변 디바이스(136) 상의 위치일 수 있다. 사용자 인터페이스 엔진(328)은 가상 사용자 인터페이스의 가상 사용자 인터페이스 요소들에 대한 주변 디바이스 상의 위치들의 매핑을 저장할 수 있다. 주변 디바이스(136)의 위치에서 검출된 제스처의 표시를 수신하는 것에 응답하여, 사용자 인터페이스 엔진(328)은 그 위치를 가상 사용자 인터페이스 요소에 매핑할 수 있다. 이어서, 인공 현실 시스템은 가상 사용자 인터페이스 요소와 연관된 하나 이상의 동작들을 수행할 수 있다.
검출된 제스처에 응답하여, 가상 사용자 인터페이스 엔진(322)은 가상 사용자 인터페이스를 수정할 수 있다. 가상 사용자 인터페이스 엔진(322)은 검출된 선택 제스처에 응답하여 선택 리스트를 드롭 다운하고, 버튼 누름 제스처에 응답하여 버튼 누름을 애니메이션화하고, 가상 사용자 인터페이스의 위치들에서 마킹들을 생성하고, 사용자 인터페이스들과 연관된 다른 사용자 인터페이스-유형 애니메이션들 또는 수정들을 생성할 수 있다. 렌더링 엔진(322)은 주변 디바이스(136)에 잠겨진 적절한 사용자 인터페이스 포지션에서 수정된 가상 사용자 인터페이스를 렌더링한다.
도 3의 예에서, 주변 디바이스(136)는 하나 이상의 프로세서들(346) 및 메모리(344)를 포함하고, 이는 일부 예들에서 예를 들어 내장형 실시간 멀티태스킹 운영 체제 또는 다른 유형의 운영 체제일 수 있는 운영 체제(342)를 실행하기 위한 컴퓨터 플랫폼을 제공한다. 차례로, 운영 체제(346)는 하나 이상의 소프트웨어 구성요소들을 실행하기 위한 멀티태스킹 운영 환경을 제공한다. 일부 예들에서, 주변 디바이스(136)는 하나 이상의 존재-감지 표면들(220)(예를 들어, 터치 및/또는 호버 입력을 검출하기 위해 용량성, 전도성, 저항성, 음향 및/또는 다른 기술을 사용하는 하나 이상의 표면들)을 포함한다. 하나 이상의 양태들에서, 주변 디바이스(136)는 존재-감지 표면(220)에서 터치 및/또는 호버 입력을 검출하고, 그 입력을 (예를 들어, 프로세서들(346)에서) 프로세싱하고 터치 및/또는 호버 입력을 통신하고 그 입력에 관한 정보(그 입력에 관한 위치 정보를 포함함)를 콘솔(106) 및/또는 HMD(112)에 통신하도록 구성될 수 있다. 도 2a의 예와 관련하여 논의된 바와 같이, 존재-감지 표면(들)(220)은 터치스크린(예를 들어, 용량성 터치스크린, 저항성 터치스크린, 표면 탄성파(SAW) 터치스크린, 적외선 터치스크린, 광학 이미징 터치스크린, 음향 펄스 인식 터치스크린, 또는 임의의 다른 터치스크린)을 포함할 수 있다. 도 3에 추가로 도시된 바와 같이, 이 예에서, 주변 디바이스(136)는 주변 디바이스(136)의 현재 가속도를 나타내는 데이터를 출력하는 하나 이상의 가속도계들(또한 IMU들이라고 지칭됨)과 같은 하나 이상의 모션 센서들(348), 주변 디바이스의 위치 또는 포지션을 나타내는 데이터를 출력하는 GPS 센서들, 다양한 객체들(예를 들어, 벽 또는 다른 표면)로부터 주변 디바이스(136)의 거리들을 나타내는 데이터를 출력하는 레이더 또는 소나, 또는 물리적 환경 내의 주변 디바이스 또는 다른 객체들의 위치, 포지션, 및/또는 배향의 표시들을 제공하는 다른 센서들을 더 포함한다. 일부 예들에서, 프로세서들(346)은 존재-감지 표면(들)(220) 및 모션 센서들(246)에 결합된다. 일부 예들에서, 프로세서들(346) 및 메모리(344)는 별개의 이산 구성요소들일 수 있다. 다른 예들에서, 메모리(344)는 단일 집적 회로 내에서 프로세서들(346)과 함께 배치된 온-칩 메모리일 수 있다. 하나 이상의 양태들에서, 주변 디바이스(136)는 HMD와 공존할 수 있고, 일부 예에서, 가상 환경에서 HMD에 대한 보조 입력/출력 디바이스로서 동작할 수 있다. 일부 예들에서, 주변 디바이스(136)는 HMD(112) 및/또는 콘솔(106)의 기능들 중 일부가 오프로드되는 인공 현실 공동-프로세싱 디바이스로서 동작할 수 있다. 하나 이상의 양태들에서, 주변 디바이스(136)는 스마트폰, 태블릿, 또는 임의의 다른 핸드-헬드 디바이스일 수 있다.
일부 예들에서, 프로세서들(302, 312, 346) 각각은 멀티-코어 프로세서, 제어기, 디지털 신호 프로세서(DSP), 주문형 집적 회로(ASIC), FPGA(field-programmable gate array), 또는 동등한 이산 또는 집적 논리 회로 중 임의의 하나 이상을 포함할 수 있다. 메모리(304, 314, 344)는 RAM(random-access memory), ROM(read-only memory), PROM(programmable read-only memory), EPROM(erasable programmable read-only memory), EEPROM(electronically erasable programmable read-only memory), 및 플래시 메모리 같은 데이터 및 실행가능 소프트웨어 명령들을 저장하기 위한 임의의 형태의 메모리를 포함할 수 있다.
주변 디바이스(136)가 터치스크린인 존재-감지 표면(220) 같은 출력 디스플레이를 포함하면, 콘솔(106)은 출력 디스플레이를 비활성화(즉, 턴 오프)하도록 지시하는 통신을 주변 디바이스(136)에 전송할 수 있다. 렌더링 엔진(322)은 일부 예들에서, 주변 디바이스(136)에 대한 출력 디스플레이가 비활성화될 때만 가상 사용자 인터페이스(137)를 렌더링할 수 있다.
도 4는 본 개시내용의 기법들 따른 도 1a, 도 1b의 인공 현실 시스템들의 HMD(112)에 의해 사용자 인터페이스 생성이 수행되는 예를 묘사하는 블록도이다.
이 예에서, 도 3과 유사하게, HMD(112)는 하나 이상의 프로세서들(302) 및 메모리(304)를 포함하고, 이는 일부 예들에서 예를 들어 내장형 실시간 멀티태스킹 운영 체제 또는 다른 유형의 운영 체제일 수 있는 운영 체제(305)를 실행하기 위한 컴퓨터 플랫폼을 제공한다. 차례로, 운영 체제(305)는 하나 이상의 소프트웨어 구성요소들(417)을 실행하기 위한 멀티태스킹 운영 환경을 제공한다. 또한, 프로세서(들)(302)는 전자 디스플레이(203), 모션 센서들(206), 및 이미지 캡처 디바이스들(138)에 결합된다.
도 4의 예에서, 소프트웨어 구성요소들(417)은 전체 인공 현실 애플리케이션을 제공하도록 동작한다. 이 예에서, 소프트웨어 애플리케이션들(417)은 애플리케이션 엔진(440), 렌더링 엔진(422), 제스처 검출기(424), 포즈 추적기(426), 및 사용자 인터페이스 엔진(428)을 포함한다. 다양한 예들에서, 소프트웨어 구성요소들(417)은 사용자(110)에게 디스플레이를 위해 인공 콘텐츠 상에, 또는 이의 일부로서 오버레이되는 가상 사용자 인터페이스들을 구성하도록 도 3의 콘솔(106)의 대응 구성요소들(예를 들어, 애플리케이션 엔진(320), 렌더링 엔진(322), 제스처 검출기(324), 포즈 추적기(326), 및 사용자 인터페이스 엔진(328))과 유사하게 동작하다.
도 3과 관련하여 설명된 예들과 유사하게, 사용자 인터페이스 엔진(428)은 인공 현실 환경에서 렌더링하기 위한 가상 사용자 인터페이스를 생성하도록 구성된다. 사용자 인터페이스 엔진(428)은 도 1a에 관하여 위에서 설명된 요소들(142, 144, 146, 및 148)와 같은 하나 이상의 가상 사용자 인터페이스 요소들(429)을 포함하는 가상 사용자 인터페이스를 생성한다. 렌더링 엔진(422)은 주변 디바이스(136)에 대한 현재 포즈에 기반하여, 인공 현실 환경에서 주변 디바이스(136)의 포지션에 관련하여 잠겨진, 인공 현실 환경에서 사용자 인터페이스 포지션에서 가상 사용자 인터페이스를 렌더링하도록 구성된다. 사용자 인터페이스 포지션은 존재-감지 표면들(220) 중 하나의 포지션일 수 있고, 렌더링 엔진(422)은 가상 사용자 인터페이스가 인공 현실 환경에서 존재-감지 표면(220) 상에 오버레이되는 것처럼 보이도록, 가상 사용자 인터페이스를 스케일링, 회전 및 달리 변환하여 존재-감지 표면(220)의 포즈, 크기 및 관점과 일치하도록 투영을 적용할 수 있다. 사용자 인터페이스 엔진(428)은 가상 사용자 인터페이스를 부분적으로 투명하게 생성하여, 존재-감지 표면(220)이 사용자에게 보이도록 할 수 있다. 이 투명도는 구성할 수 있다.
도 3과 관련하여 설명된 예들과 유사하게, 이미지 캡처 디바이스들(138 또는 102), 주변 디바이스(136)의 존재-감지 표면들, 또는 다른 센서 디바이스들 중 임의의 것으로부터 감지된 데이터에 기반하여, 제스처 검출기(424)는 사용자(110)에 의해 수행된 하나 이상의 제스처들을 식별하기 위해 주변 디바이스(136) 및/또는 사용자의 객체들(예를 들어, 손들, 팔들, 손목들, 손바닥들, 엄지들)의 추적된 모션들, 구성들, 포지션들, 및/또는 배향들을 분석한다. 보다 구체적으로, 제스처 검출기(424)는 주변 디바이스(136) 및/또는 사용자(110)의 손 및/또는 팔을 식별하고, 사용자(110)에 의해 수행된 제스처들을 식별하기 위해 HMD(112)에 관련한 주변 디바이스(136), 손, 및/또는 팔의 움직임들을 추적하기 위해 HMD(112)의 이미지 캡처 디바이스들(138) 및/또는 센서들(90) 및 외부 카메라들(102)에 의해 캡처된 이미지 데이터 내에서 인식된 객체들을 분석할 수 있다. 일부 예들에서, 제스처 검출기(424)는 캡처된 이미지 데이터에 기반하여 주변 디바이스(136), 손, 디지트들, 및/또는 팔의 포지션 및 배향에 대한 변화들을 포함하는 움직임을 추적하고, 사용자(110)에 의해 수행되는 제스처 또는 제스처들의 조합을 검출하기 위해 제스처 라이브러리(430)의 하나 이상의 엔트리들에 객체들의 모션 벡터들을 비교할 수 있다. 일부 예들에서, 제스처 검출기(424)는 주변 디바이스의 존재-감지 표면(들)에 의해 검출된 사용자 입력들을 수신하고 주변 디바이스(136)에 관하여 사용자(110)에 의해 수행된 하나 이상의 제스처들을 검출하기 위해 사용자 입력을 프로세싱할 수 있다.
제스처 검출기(424)는 캡처된 이미지 데이터에 기반하여 주변 디바이스, 손(디지트들을 포함함), 및/또는 팔의 포지션 및 배향에 대한 변화들을 포함하는 움직임을 추적하고, 사용자(110)에 의해 수행된 제스처 또는 제스처들의 조합을 검출하기 위해 객체들의 모션 벡터들을 제스처 라이브러리(430)의 하나 이상의 엔트리들에 비교할 수 있다. 제스처 라이브러리(430)는 도 3의 제스처 라이브러리(330)와 유사하다. 제스처 검출기(424)의 모든 기능 중 일부는 주변 디바이스(136)에 의해 실행될 수 있다.
도 5는 본 개시내용의 기법들 중 하나 이상의 양태들에 따라, 인공 현실 시스템에 대한 동작의 예시적인 모드를 예시하는 흐름도이다. 동작(500) 모드의 동작들은 이 예에서 인공 현실 시스템(10)에 관련하여 설명되지만 도 1a, 도 1b의 인공 현실 시스템들(10, 20) 같은 본원에 설명된 임의의 인공 현실 시스템의 하나 이상의 구성요소들에 의해 수행될 수 있다. 예를 들어, 동작들의 일부 또는 모두는 포즈 추적기(도 3 및 도 4의 326, 426), 제스처 검출기(도 3 및 도 4의 324, 424), 사용자 인터페이스 엔진(도 3 및 도 4의 328, 428), 및 렌더링 엔진(도 3 및 도 4의 322, 422) 중 하나 이상에 의해 수행될 수 있다.
인공 현실 시스템(10)은 하나 이상의 이미지 캡처 디바이스(502)로부터 이미지 데이터를 획득하고 HMD(112)의 시야에서 주변 디바이스(136)를 검출하기 위해 이미지 데이터를 프로세싱한다(504). 인공 현실 시스템(10)은 하나 이상의 가상 사용자 인터페이스 요소들(506)을 갖는 가상 사용자 인터페이스(137)를 생성한다. 인공 현실 시스템(10)은 인공 현실 환경에서 주변 디바이스(136)의 포지션에 관련하여 잠겨진 사용자 인터페이스 포지션에서, 가상 사용자 인터페이스(137)를 HMD(112)에서의 디스플레이를 위해 렌더링한다(508). 인공 현실 시스템(10)은 또한 가상 사용자 인터페이스(137)가 렌더링된 주변 디바이스 표현에 오버레이된 것으로 렌더링되어, 주변 디바이스 또는 그 표현(예를 들어, 주변 디바이스 아바타)을 렌더링할 수 있다.
인공 현실 시스템(10)은 가상 사용자 인터페이스 요소들 중 하나에 대응하는 인공 현실 환경의 포지션에서 사용자 인터페이스 제스처를 검출한다(510). 사용자 인터페이스 제스처에 응답하여, 인공 현실 시스템(10)은 가상 사용자 인터페이스 요소와 연관된 하나 이상의 동작들을 수행한다.
도 6은 본 개시내용의 양태들에 따라 인공 현실 콘텐츠와 상호작용하는 것을 예시하는 예시적인 HMD 디스플레이(600)이다. 도 6의 예시된 예에서, HMD의 렌더링 엔진은 HMD에서의 디스플레이를 위해 주변 디바이스(136)의 표면 상에 오버레이된 가상 사용자 인터페이스(602)를 렌더링할 수 있다. 도 6에 예시된 예에서, 인공 현실 시스템은 가상 콘텐츠 아이템(616)이 활성인 동안 가상 사용자 인터페이스(602)를 생성하고 렌더링한다. 하나 이상의 양태들에서, 가상 사용자 인터페이스(602)는 활성 가상 콘텐츠 아이템(616)에 주석을 달기 위한 하나 이상의 가상 요소들(604A-604D)(집합적으로 "가상 요소들(604)")을 포함한다. 사용자는 주변 디바이스(136) 상에 렌더링된 가상 요소들(604) 중 하나 이상에 대응하는 포지션에서 사용자 인터페이스 제스처를 수행할 수 있다. 하나 이상의 양태들에서, 주석달기 제스처는 요소들(604A-604D) 중 하나를 선택(예를 들어, 가상으로 터치하거나 누르는 것)하는 손(132)(또는 손(132)의 하나 이상의 손가락들)을 포함한다. 예를 들어, 사용자는 가상 콘텐츠 아이템에 대한 사용자의 반응을 나타내는 "이모티콘"(예를 들어, 요소들(604A, 604B) 중 임의의 것)을 선택함으로써 활성 가상 콘텐츠 아이템(616)에 주석을 달 수 있다.
HMD는 렌더링된 가상 요소들(604)에 대응하는 포지션에서 사용자에 의해 수행된 사용자 인터페이스 제스처를 검출한다. 하나 이상의 양태에서, 주변 디바이스(136)의 표면 상에서 수행된 터치 제스처들은 위에서 언급된 바와 같이, 인공 현실 시스템의 이미지 캡처 디바이스에 의해 캡처된 이미지 데이터로부터 검출될 수 있다. 하나 이상의 양태들에서, 주변 디바이스(136)의 표면은 위에서 언급된 바와 같이, 주변 디바이스(136)가 터치 제스처들을 검출하는 존재-감지 표면이다.
요소(604A)를 선택하거나 터치하는 사용자 인터페이스 제스처를 검출하는 것에 응답하여, 인공 현실 시스템은 사용자가 활성 가상 콘텐츠 아이템(616)에 주석을 달아 사용자가 가상 콘텐츠 아이템(616)을 "사랑한다" 또는 "좋아한다"는 것을 나타내는 것 같은 하나 이상의 동작들을 수행할 것이다. 일부 예들에서, "사랑한다" 또는 "좋아한다"라는 주석은 가상 콘텐츠 아이템(616)에 반영되거나(예를 들어, 요소(608)는 도 6에 도시된 바와 같이 가상 콘텐츠 아이템(616) 위에 생성됨) 또는 가상 콘텐츠 아이템(616)에 근접하여(예를 들어, 인접하여) 반영될 것이다. 다른 예에서, 사용자는 가상 콘텐츠 아이템에 대해 코멘트함으로써 활성 가상 콘텐츠 아이템(616)에 주석을 달 수 있다. 예를 들어, 사용자는 요소(604C)를 선택할 수 있고 인공 현실 시스템은, 요소(604C)의 선택 제스처를 검출하는 것에 응답하여, 사용자가 활성 가상 콘텐츠 아이템(616)에 관한 코멘트를 입력하기 위한 가상 키보드를 생성 및 렌더링할 수 있다. 하나 이상의 양태들에서, 입력된 코멘트는 가상 콘텐츠 아이템(616)을 통해 또는 가상 콘텐츠 아이템(616)에 근접하여(예를 들어, 인접하여) 반영될 것이다. 하나 이상의 양태들에서, 가상 사용자 인터페이스(602)는 HMD에서의 디스플레이를 위해 렌더링된다(예를 들어, 가상 사용자 인터페이스(602)는 도 6에 도시된 바와 같이 HMD에 의해 주변 디바이스(136)의 표면 상에 오버레이됨). 하나 이상의 양태들에서, 가상 사용자 인터페이스(602)는 (예를 들어, 주변 디바이스(136)의 디스플레이 또는 터치스크린에서) 주변 디바이스(136)에 의한 디스플레이를 위해 렌더링된다. 하나 이상의 양태에서, 인공 현실 시스템은 주변 디바이스(136)의 어떠한 표현도 렌더링하지 않을 수 있다. 하나 이상의 양태들에서, 활성 가상 콘텐츠 아이템은 활성 표시자(610)(예를 들어, 경계, 하이라이팅, 음영, 및/또는 사용자가 특정 가상 콘텐츠 아이템을 조작하거나 그렇지 않으면 상호작용할 수 있다는 임의의 다른 표시)를 포함하여 사용자가 해당 가상 콘텐츠 아이템에 주석을 달 수 있음을 나타낼 수 있다.
도 7a는 본 개시내용의 양태들에 따른 가상 드로잉 표면 모드를 예시하는 예시적인 HMD 디스플레이(700)이다. 도 7a에 예시된 예에서, 인공 현실 시스템의 렌더링 엔진은 HMD에서의 디스플레이를 위해 주변 디바이스(136)의 표면 상에 오버레이된 가상 사용자 인터페이스(702)를 렌더링할 수 있다. 이 예에서, 가상 사용자 인터페이스(702)는 HMD에 의해 출력된 인공 현실 콘텐츠(예를 들어, 인공 현실 콘텐츠(122))와 상호작용하거나 그렇지 않으면 참여하기 위한 가상 드로잉 인터페이스 또는 텍스트 입력 인터페이스를 포함할 수 있다. 이 예에서, 사용자는 손의 검지(132B)로 주변 디바이스(136)와 상호작용(예를 들어, 터치 사용자 인터페이스 제스처를 수행)하고 있다. 하나 이상의 양태들에서, 주변 디바이스(136)의 표면 상에서 수행된 터치 사용자 인터페이스 제스처들은 위에서 언급된 바와 같이, 인공 현실 시스템의 이미지 캡처 디바이스에 의해 캡처된 이미지 데이터로부터 검출될 수 있다. 하나 이상의 양태들에서, 주변 디바이스(136)의 표면은 위에서 언급된 바와 같이, 주변 디바이스(136)가 터치 사용자 인터페이스 제스처들을 검출하는 존재-감지 표면이다. 이 예에서, 인공 현실 시스템은 가상 드로잉 인터페이스에 대응하는 포지션들에서 사용자에 의해 수행된 터치 사용자 인터페이스 제스처(예를 들어, 이 경우 드로잉 제스처)를 검출한다. 예를 들어, 사용자는 가상 사용자 인터페이스(702)의 포지션에서 손의 검지(132B)를 눌러 주변 디바이스(136)와 상호작용하고, 손가락을 가상 사용자 인터페이스(702)의 다른 위치로 드래그하고, 손가락을 놓을 수 있다.
주변 디바이스(136)의 표면에서 사용자 입력(예를 들어, 드로잉 제스처)을 검출하는 것에 응답하여, 인공 현실 시스템은 도 7a의 인공 콘텐츠(122)에 예시된 바와 같이 드로잉 제스처들이 수행되는 주변 디바이스(136)의 표면의 위치들에서 HMD에서의 디스플레이를 위한 가상 마크들(706)을 포함하는 수정된 가상 사용자 인터페이스를 생성한다. 예를 들어, 인공 현실 시스템은 사용자가 가상 사용자 인터페이스(702)의 초기 포지션에서 검지를 누르고 가상 사용자 인터페이스(702)의 다른 포지션으로 드래그된 포지션들에서 가상 마크들(706)을 생성하고 렌더링한다.
도 7a에 도시된 바와 같이, 가상 마킹들(706)은 인공 현실 콘텐츠(122) 외측에 존재하지 않고(예를 들어, HMD 없이는 볼 수 없음), 인공 현실 환경에서 주변 디바이스(136)의 포지션에 관련하여 잠겨진 사용자 인터페이스 포지션에서 렌더링된다. 하나 이상의 양태들에서, 가상 마킹들(706)은 터치 입력이 검출될 때 생성되고 렌더링된다. 예를 들어, 도 7b는 도 7a에 도시된 것보다 늦은 시간에서의 HMD 디스플레이(710)를 예시한다. 이 예에서, 사용자는 도 7b의 인공 현실 콘텐츠(122)에 도시된 바와 같이 주변 디바이스(136)의 표면 상의 터치 제스처로 "안녕하세요!"라는 문구를 완성했다. 인공 현실 시스템은 수정된 가상 사용자 인터페이스(712)를 생성하고 수정된 가상 사용자 인터페이스(712)를 적절한 사용자 인터페이스 포지션 및 주변 디바이스(136)의 현재 포지션 및 포즈에 잠겨진 포즈로 렌더링한다.
도 7c는 본 개시내용의 양태들에 따른, 주변 디바이스(136) 상의 인공 콘텐츠에 대한 다양한 조작들을 수행하기 위한 가상 드로잉 표면 모드를 예시하는 예시적인 HMD 디스플레이(720)이다. 도 7c의 예시된 예에서, 인공 현실 시스템은 주변 디바이스(136)를 사용하는 인공 현실 콘텐츠에 대한 다양한 조작들에 대응하는 사용자 인터페이스 제스처들에 기반하여, HMD에서의 디스플레이를 위해 주변 디바이스(136)의 표면에 오버레이된 수정된 가상 사용자 인터페이스(722)를 렌더링할 수 있다. 이 예에서, 인공 현실 시스템은 조작된 가상 마킹들(예를 들어, 스케일링, 병진 또는 회전된 가상 마킹들)을 포함하는 수정된 가상 사용자 인터페이스(722)를 생성하고 렌더링할 수 있다.
예를 들어, 사용자는 주변 디바이스(136)를 사용하여 가상 마킹들에 관련한 다양한 조작들을 수행하기 위해 주변 디바이스(136)에 관련한 사용자 인터페이스 제스처들을 수행할 수 있다. 사용자는 주변 디바이스(136)에 렌더링된 가상 마킹들을 확장하거나 축소하기 위해 핀치-투-줌(pinch-to-zoom) 제스처와 같은 터치 사용자 인터페이스 제스처들을 수행할 수 있다. 예를 들어, 사용자는 가상 사용자 인터페이스(722)의 2개의 포지션들에서 손의 엄지(132A) 및 손의 엄지(132B)를 누를 수 있고 손가락들을 서로 더 가깝게 "핀칭"하거나(마킹들 또는 다른 가상 사용자 인터페이스 요소들을 줌 아웃하거나 축소하기 위해) 손가락들을 더 벌릴 수 있다(마킹들 또는 다른 가상 사용자 인터페이스 요소들을 줌 인하거나 확대하기 위해). 사용자는 가상 마킹들을 회전(예를 들어, 가상 사용자 인터페이스(722)에 2개의 손가락들을 놓고 손가락들의 배치를 회전)하거나 가상 마킹들을 이동(예를 들어, 가상 사용자 인터페이스(722)의 2개의 손가락들을 놓고 한 방향으로 2개의 손가락들을 슬라이딩)시키는 것과 같은 주변 디바이스(136) 상의 가상 마킹들을 조작하기 위한 다른 사용자 인터페이스 제스처들을 수행할 수 있다. 다른 예들(도시되지 않음)에서, 사용자는 또한 전체 또는 다른 가상 사용자 인터페이스 요소들로서 가상 사용자 인터페이스에 대한 다양한 조작들을 수행할 수 있다.
하나 이상의 양태에서, 주변 디바이스(136)의 표면 상에서 수행된 터치 제스처들은 위에서 언급된 바와 같이, 인공 현실 시스템의 이미지 캡처 디바이스에 의해 캡처된 이미지 데이터로부터 검출될 수 있다. 하나 이상의 양태들에서, 주변 디바이스(136)의 표면은 위에서 언급된 바와 같이, 주변 디바이스(136)가 터치 제스처들을 검출하는 존재-감지 표면이다.
사용자 입력(예를 들어, 사용자 인터페이스 제스처)을 검출하는 것에 응답하여, 인공 현실 시스템은 사용자 입력에 기반하여 수정된 가상 마킹들(예를 들어, 확대된 가상 마킹들)을 포함하는 수정된 가상 사용자 인터페이스를 생성하는 것과 같은 하나 이상의 동작들을 수행할 수 있다.
가상 마킹들(706)은 인공 현실 콘텐츠(122) 외측에 존재하지 않고(예를 들어, HMD 없이는 볼 수 없음 인공 현실 환경에서 주변 디바이스(136)의 포지션에 관련하여 잠겨진 사용자 인터페이스 포지션에서 렌더링된다. 하나 이상의 양태들에서, 가상 마킹들(706)은 터치 입력이 검출될 때 생성되고 렌더링된다. 예를 들어, 가상 마킹들(706)은 각각 손들의 엄지들(132A, 132B)이 벌려짐에 따라 확대될 수 있다.
도 8a는 본 개시내용의 양태들에 따른 가상 사용자 인터페이스(802) 및 가상 포인터(804)를 예시하는 예시적인 HMD 디스플레이(800)이다. 도 8a에 예시된 예에서, 인공 현실 시스템의 렌더링 엔진은 HMD에서의 디스플레이를 위해 주변 디바이스(136) 및 가상 포인터(804)의 표면 상에 오버레이된 가상 사용자 인터페이스(802)를 렌더링할 수 있다. 예를 들어, 인공 현실 콘텐츠(122)는 주변 디바이스(136)와 물리적 벽(121)에 대응하는 가상 표면 상의 위치(805) 사이의 라인을 따라 가상 포인터(804)를 포함한다. 하나 이상의 양태들에서, 가상 포인터(805)는 실선을 나타낼 수 있지만, 동일하거나 상이한 길이들의 하나 이상의 부분들로 분할된 라인과 같은 임의의 종류의 라인을 나타낼 수 있다. 하나 이상의 양태들에서, 가상 포인터(804)는 직선일 필요는 없고 끝에서 적어도 한 지점을 갖는 자유형일 수 있다. 도 8a에 예시된 예들에서, 가상 표면은 또한 인공 현실 콘텐츠 아이템들(816, 124, 및 126)을 포함한다.
하나 이상의 양태들에서, 인공 현실 콘텐츠 아이템들은 GIF들, 사진들, 애플리케이션들, 라이브-스트림들, 비디오들, 텍스트, 웹-브라우저, 드로잉들, 애니메이션들, 데이터 파일들의 표현들, 또는 임의의 다른 가시적 미디어를 포함할 수 있다. 하나 이상의 양태들에서, 인공 현실 시스템은 HMD에서의 디스플레이를 위해 주변 디바이스(136)의 표면 상에 오버레이된 가상 포인터(805)를 갖는 가상 사용자 인터페이스(802)를 생성 및 렌더링한다. 하나 이상의 양태들에서, 가상 사용자 인터페이스(802)는 드로우 요소(806), 이동 요소(808), 회전 요소(810), 스케일 요소(812), 및/또는 설정 요소(814)와 같은 가상 요소들을 포함한다. 하나 이상의 양태들에서, 가상 사용자 인터페이스(802)는 사용자 인터페이스 요소들의 다른 조합들을 포함할 수 있다. 하나 이상의 양태들에서, 가상 사용자 인터페이스(802)는 HMD에서의 디스플레이를 위해 렌더링된다(예를 들어, 가상 사용자 인터페이스(802)는 도 8a에 도시된 바와 같은 인공 현실 시스템에 의해 주변 디바이스(136)의 표면 상에 오버레이됨).
도 8b는 본 개시내용의 양태들에 따른 포인터 드로잉 제스처를 예시하는 예시적인 HMD 디스플레이(820)이다. 도 8b에 예시된 예에서, HMD의 렌더링 엔진은 HMD에서의 디스플레이를 위해 주변 디바이스(136)의 표면 상에 오버레이된 가상 사용자 인터페이스(802)를 렌더링할 수 있다. 이 예에서, 사용자는 드로우 요소(806)를 선택하는 동안 주변 디바이스(136)와 (예를 들어, 하나 이상의 드로잉 제스처들을 수행함으로써) 가상 드로잉 표면(822)과 상호작용한다. 하나 이상의 양태들에서, 주변 디바이스(136)로 수행된 하나 이상의 드로잉 제스처들은 위에서 언급된 바와 같이 인공 현실 시스템의 이미지 캡처 디바이스에 의해 캡처된 이미지 데이터로부터 검출될 수 있다. 주변 디바이스(136)로 하나 이상의 드로잉 제스처들을 검출하는 것에 응답하여, 인공 현실 시스템은 사용자가 드로우 요소(806)를 선택하는 동안 가상 드로잉 표면(822)의 포인터(804) 위치들에서 HMD에서의 디스플레이를 위해 가상 마킹들(824A-824C)을 생성하고 렌더링한다. 도 8b에 도시된 예에서, 사용자는 마킹(824A)을 렌더링하기 위해 드로우 요소(806)를 선택하는 동안 주변 디바이스(136)로 수직 드로잉 제스처를 수행했고, 다음으로 사용자는 마킹(824B)을 렌더링하기 위해 드로우 요소(806)를 선택하는 동안 주변 디바이스(136)로 제2 수직 드로잉 제스처를 수행했고, 이어서 마킹(824C)을 렌더링하기 위해 드로우 요소(806)를 선택하는 동안 주변 디바이스(136)로 제3 드로잉 제스처를 수행하였다. 하나 이상의 양태들에서, 사용자는 드로우 요소(806)를 선택하고 가상 드로잉 표면(822) 내에 투영될 (예를 들어, 도 7a에서 이전에 설명된 바와 같이) 가상 드로잉 인터페이스를 통해 이미지를 드로잉할 수 있다. 하나 이상의 양태들에서, 사용자는 제1, 제2 및 제3 드로잉 제스처들을 수행하는 사이에 드로우 요소(806)를 선택하지 않았다. 하나 이상의 양태들에서, 가상 드로잉 표면은 경계(826)를 포함할 수 있다. 하나 이상의 양태들에서, 가상 드로잉 표면(822)은 평면 표면(예를 들어, 벽(121))과 연관된다. 드로우 요소(806)를 선택하는 것은 드로잉 제스처를 수행하는 동안 드로잉 요소(806)에 대응하는 주변 디바이스(136) 상의 위치와 계속 접촉을 유지하는 홀드 제스처를 수행하는 것을 포함할 수 있다. 하나 이상의 양태들에서, 가상 드로잉 표면은 전체 물리적 표면에 대응할 수 있거나(예를 들어, 물리적 표면과 동일한 표면적을 가짐) (예를 들어, 도 8b에 도시된 바와 같이) 물리적 표면의 일부에 대응할 수 있다. 일부 예들에서, 가상 드로잉 표면은 가상 또는 현실-세계 물리적 환경(예를 들어, 특정 현실-세계 표면과 연관되지 않음)(도시되지 않음)에서 부유하고 있는 것으로 렌더링될 수 있다.
도 8c-도 8d는 HMD 디스플레이들(830-840)을 각각 예시하고, 이는 사용자가 본 개시내용의 양태들에 따라 가상 포인터(804)를 변경할 수 있게 하는 가상 사용자 인터페이스를 예시한다. (예를 들어, 도 8c에 예시된 바와 같이) 가상 사용자 인터페이스(802)의 선택한 설정 요소(814)를 검출하는 것에 응답하여, 인공 현실 시스템은 도 8d에 예시된 가상 사용자 인터페이스 같은 주변 디바이스(136)의 표면 상에 수정된 가상 사용자 인터페이스(842)를 생성 및 렌더링한다(예를 들어, 도 8d에 예시됨). 도 8d에 예시된 예에서, 설정 요소들을 포함하는 가상 사용자 인터페이스(802)는 컬러 요소(832), 폭 요소(834), 및 포인터 요소(836)를 포함한다. 하나 이상의 양태들에서, 가상 사용자 인터페이스(842)는 가상 사용자 인터페이스 요소들의 다른 조합을 포함할 수 있다. 하나 이상의 양태들에서, 가상 사용자 인터페이스(842)는 HMD에서의 디스플레이를 위해 렌더링된다(예를 들어, 가상 사용자 인터페이스(842)는 도 12d에 도시된 바와 같이 HMD에 의해 주변 디바이스(136)의 표면 상에 투영됨). 하나 이상의 양태들에서, 가상 사용자 인터페이스(842)는 (예를 들어, 주변 디바이스(136)의 디스플레이 또는 터치스크린에서) 주변 디바이스(136)에 의한 디스플레이를 위해 렌더링된다. 하나 이상의 양태들에서, 인공 현실 시스템은 컬러 요소(832)의 선택을 검출하는 것에 응답하여 가상 포인터(804)의 컬러를 변경한다(예를 들어, 인공 현실 시스템은 가상 포인터(804)의 렌더링된 컬러를 토글링할 것임). 하나 이상의 양태들에서, 가상 포인터(804)의 컬러를 변경하는 것은 가상 포인터(804)를 사용하여 미래에 렌더링되는 가상 마킹들의 컬러를 변경할 것이다. 하나 이상의 양태들에서, 인공 현실 시스템은 가상 포인터(804)의 위치(838)가 가상 드로잉 표면(822) 상에 있는 동안 컬러 요소(832)의 선택을 검출하는 것에 응답하여 가상 마킹들(824A-824C)의 컬러를 변경한다. 하나 이상의 양태들에서, 인공 현실 시스템은 가상 포인터(804)의 위치(838)가 가상 마킹들(824A-824C) 중 임의의 것 상에 있는 동안 컬러 요소(832)의 선택을 검출하는 것에 응답하여 임의의 가상 마킹들(824A-824C)의 컬러를 변경한다. 하나 이상의 양태들에서, 인공 현실 시스템은 폭 요소(834)의 선택을 검출하는 것에 응답하여 가상 포인터(804)의 폭을 변경한다(예를 들어, 인공 현실 시스템은 가상 포인터(804)의 렌더링된 폭을 토글링할 것임). 하나 이상의 양태들에서, 가상 포인터(804)의 폭을 변경하는 것은 가상 포인터(804)를 사용하여 미래에 렌더링되는 가상 마킹들의 폭을 변경할 것이다. 하나 이상의 양태들에서, 인공 현실 시스템은 가상 포인터(804)의 위치(838)가 가상 드로잉 표면(822) 상에 있는 동안 폭 요소(834)의 선택을 검출하는 것에 응답하여 가상 마킹들(824A-824C)의 폭을 변경한다. 하나 이상의 양태들에서, 인공 현실 시스템은 가상 포인터(804)의 위치(838)가 가상 마킹들(824A-824C) 중 임의의 것 상에 있는 동안 폭 요소(834)의 선택을 검출하는 것에 응답하여 임의의 가상 마킹들(824A-824C)의 폭을 변경한다. 하나 이상의 양태들에서, 인공 현실 시스템은 포인터 요소(836)의 선택을 검출하는 것에 응답하여 가상 포인터(804)의 다른 특성들을 변경한다. 일부 예들에서, 다른 특성들은 가상 포인터(804)의 형상(예를 들어, 원뿔, 관, 라인), 가상 포인터(804)가 패턴을 포함하는지 여부(예를 들어, 가상 포인터의 단지 하나 이상의 부분들만이 렌더링되는지 여부), 가상 포인터(804)의 불투명도(예를 들어, 빔이 얼마나 투명한지), 가상 포인터(804)의 밝기, 및/또는 가상 포인터(804)의 임의의 다른 시각적 특성을 포함한다.
도 8e는 본 개시내용의 양태들에 따른 가상 포인터(804)로 인공 현실 콘텐츠 아이템(816)을 선택하는 사용자를 예시하는 예시적인 HMD 디스플레이(850)이다. 도 8e에 예시된 예에서, 인공 현실 시스템은 가상 포인터(804)의 위치(805)가 인공 현실 콘텐츠 아이템 상에서 검출되는 것에 응답하여 인공 현실 콘텐츠 아이템(816)을 선택한다(예를 들어, 인공 현실 콘텐츠 아이템(816)의 상태를 활성으로 설정함). 하나 이상의 양태들에서, 활성 인공 현실 콘텐츠 아이템은 활성 표시기(852)(예를 들어, 경계, 하이라이팅, 음영, 및/또는 사용자가 특정 가상 드로잉을 조작하거나 그렇지 않으면 상호작용할 수 있는 임의의 다른 표시)를 포함할 수 있다. 하나 이상의 양태들에서, 사용자는 아래에 더 상세히 설명되는 바와 같이, 가상(812)이 선택되는 동안 가상(812)을 수정할 수 있다.
도 8f는 본 개시내용의 양태들에 따른 이동 선택 이동 요소(808)를 선택하는 동안 변환 제스처를 예시하는 예시적인 HMD 디스플레이(860)이다. 도 8f에 예시된 예에서, 사용자는 인공 현실 콘텐츠 아이템(816)이 활성인 동안 주변 디바이스(136)를 우측으로 수평으로 이동시키고/시키거나(예를 들어, 수평 병진 제스처를 수행함) 주변 디바이스를 좌측에서 우측으로 회전시킨다. 이동 요소(808)를 선택하는 동안 병진 제스처를 검출하는 것에 응답하여, 인공 현실 시스템은 주변 디바이스(136)에 관하여 수행된 병진 제스처에 따라 인공 현실 콘텐츠 아이템(816)을 병진시킨다(예를 들어, 인공 현실 콘텐츠 아이템(816)을 도 8f에 도시된 바와 같이 우측으로 이동시킴). 예를 들어, 사용자는 이동 요소(808)를 길게 누르고, 주변 디바이스(136) 또는 가상 포인터(804)를 이동시켜 인공 현실 콘텐츠(816)를 이동시키고, 이동 요소(808)를 놓아 인공 현실 콘텐츠(816)의 이동을 중지할 수 있다. 일부 예들에서, 사용자는 이동 요소(808)의 첫 번째로 누르고, 인공 현실 콘텐츠(816)를 이동시키기 위해 주변 디바이스(136) 또는 가상 포인터(804)를 이동시키고, 인공 현실 콘텐츠(816)의 이동을 중지하기 위해 이동 요소(808)를 두 번째로 누를 수 있다. 하나 이상의 양태들에서, 사용자는 주변 디바이스(136)를 다른 방향들(예를 들어, 수직 방향으로)로 병진(예를 들어, 이동)시킬 수 있고, 이는 인공 현실 시스템이 그 모션에 따라 인공 현실 콘텐츠 아이템(816)을 이동하게 할 것이다. 하나 이상의 양태들에서, 인공 현실 콘텐츠 아이템(816)은 주변 디바이스(136)와 동일한 방향 및 동일한 거리로 이동된다. 예를 들어, 주변 디바이스(136)가 좌측 3인치로 이동되면, 인공 현실 시스템은 인공 현실 콘텐츠 아이템(816)을 좌측 3인치로 이동시킬 것이다. 하나 이상의 양태들에서, 인공 현실 콘텐츠 아이템(816)은 주변 디바이스(136)와 실질적으로 동일한 방향(예를 들어, 10도 이내)으로 그리고 실질적으로 동일한 거리(예를 들어, 수 인치 내)로 이동된다. 하나 이상의 양태들에서, 인공 현실 시스템은 인공 현실 콘텐츠 아이템(816)을 주변 디바이스(136)가 이동된 거리에 대응하는 크기의 거리(예를 들어, 50%, 150%, 200% 또는 주변 디바이스(136)가 이동된 거리의 임의의 퍼센티지)만큼 이동시킬 것이다.
일부 예들에서, 인공 현실 시스템의 렌더링 엔진은 선택된 인공 현실 콘텐츠의 움직임을 제어하기 위해 방향 패드를 렌더링할 수 있다. 예를 들어, 사용자는 이동 요소(806)를 선택하고, 가상 포인터(804)를 통해 이미지를 선택하고, 인공 현실 콘텐츠(816)를 이동시키기 위해 방향 패드 상에서 인터페이스 제스처를 수행할 수 있다.
도 8g는 본 개시내용의 양태들에 따른 변환 제스처를 예시하는 예시적인 HMD 디스플레이(870)이다. 도 8g에 예시된 예에서, 사용자는 인공 현실 콘텐츠 아이템(816)이 활성인 동안 및 사용자가 회전 요소(810)를 선택하는 동안 주변 디바이스(136)를 반시계 방향으로 회전시킨다. 회전 요소(810)를 선택하는 동안 회전 제스처를 검출하는 것에 응답하여, 인공 현실 시스템은 주변 디바이스(136)에 관하여 수행된 병진 제스처에 따라 인공 현실 콘텐츠 아이템(816)을 회전시킨다(예를 들어, 도 8g에 도시된 바와 같이 인공 현실 콘텐츠 아이템(816)을 회전시킴). 예를 들어, 사용자는 회전 요소(810)를 길게 누르고, 주변 디바이스(136) 또는 가상 포인터(804)를 회전시켜 인공 현실 콘텐츠(816)를 회전시키고, 회전 요소(810)를 놓아 인공 현실 콘텐츠(816)의 회전을 중지시킬 수 있다. 일부 예들에서, 사용자는 회전 요소(810)를 첫 번째로 누르고, 주변 디바이스(136) 또는 가상 포인터(804)를 회전시켜 인공 현실 콘텐츠(816)를 회전시키고, 회전 요소(810)를 두 번째로 눌러 인공 현실 콘텐츠(816)의 회전을 중지시킬 수 있다. 일부 예들에서, 인공 현실 시스템의 렌더링 엔진은 회전을 제어하기 위한 가상 방향 패드를 포함하는 수정된 가상 사용자 인터페이스 요소를 포함하는 수정된 가상 사용자 인터페이스를 생성할 수 있다. 하나 이상의 양태들에서, 사용자는 주변 디바이스(136)를 다른 방향들로(예를 들어, 시계 방향으로) 회전시킬 수 있고, 이는 인공 현실 시스템이 그 방향에 따라 인공 현실 콘텐츠 아이템(816)을 회전시키게 할 것이다. 하나 이상의 양태들에서, 인공 현실 콘텐츠 아이템(816)은 주변 디바이스(136)와 동일한 방향 및 동일한 각도로 회전된다. 예를 들어, 주변 디바이스(136)가 반시계 방향으로 15도 이동되면, 인공 현실 시스템은 인공 현실 콘텐츠 아이템(816)을 반시계 방향으로 15도 회전시킬 것이다. 하나 이상의 양태들에서, 인공 현실 콘텐츠 아이템(816)은 주변 디바이스(136)와 실질적으로 동일한 각도(예를 들어, 10도 이내)로 회전된다. 하나 이상의 양태들에서, 인공 현실 시스템은 주변 디바이스(136)가 회전된 각도(예를 들어, 50%, 150%, 200% 또는 주변 디바이스(136)가 회전된 각도의 임의의 퍼센티지)에 대응하는 크기로 인공 현실 콘텐츠 아이템(816)을 회전시킬 것이다.
도 8h는 본 개시내용의 양태들에 따른 변환 제스처를 예시하는 예시적인 HMD 디스플레이(880)이다. 도 8h에 예시된 예에서, 사용자는 인공 현실 콘텐츠 아이템(816)이 활성이고 사용자가 스케일 요소(812)를 선택하는 동안 벽(121)에 대응하는 가상 표면으로부터 멀어지게 주변 디바이스(136)를 이동시킨다. 스케일 요소(812)를 선택하는 동안 물리적 공간(예를 들어, 벽(121))의 평면을 향하거나 멀어지는 병진 제스처를 검출하는 것에 응답하여, 인공 현실 시스템은 주변 디바이스(136)에 관하여 수행된 병진 제스처에 따라 인공 현실 콘텐츠 아이템(816)을 스케일링한다. 도 8h에 예시된 예에서, 인공 현실 시스템은 주변 디바이스(136)가 벽(121)에 대응하는 가상 표면으로부터 멀어지게 이동되는 것에 응답하여 인공 현실 콘텐츠 아이템(816)의 크기를 증가시킨다. 다른 예들에서, 인공 현실 시스템은 사용자가 주변 디바이스(136)를 벽(121)에 대응하는 가상 표면을 향해 이동시키는 것에 응답하여 인공 현실 콘텐츠 아이템(816)의 크기를 감소시킨다. 하나 이상의 양태들에서, 인공 현실 콘텐츠 아이템(816)의 크기는 투영과 유사한 효과로 벽(121)에 대응하는 가상 표면까지의 거리 주변 디바이스(136)에 따라 스케일링된다.
일부 예들에서, 사용자는 스케일 요소(812)를 길게 누르고, 주변 디바이스(136) 또는 가상 포인터(804)를 이동시켜 인공 현실 콘텐츠(816)를 이동시키고, 스케일 요소(812)를 놓아 인공 현실 콘텐츠(816)의 스케일링을 중지할 수 있다. 일부 예들에서, 사용자는 스케일 요소(812)를 첫 번째로 누르고, 주변 디바이스(136) 또는 가상 포인터(804)를 이동시켜 인공 현실 콘텐츠(816)를 스케일링하고, 스케일 요소(812)를 두 번째로 눌러 인공 현실 콘텐츠(816)의 회전을 중지시킬 수 있다. 일부 예들에서, 인공 현실 시스템의 렌더링 엔진은 스케일링을 제어하기 위한 가상 방향 패드를 포함하는 수정된 가상 사용자 인터페이스 요소를 포함하는 수정된 가상 사용자 인터페이스를 생성할 수 있다.
도 8i는 본 개시내용의 양태들에 따른 가상 포인터(804)로 인공 현실 콘텐츠 아이템(816)과 상호작용하는 사용자를 예시하는 예시적인 HMD 디스플레이(890)이다. 도 8i의 예시된 예에서, HMD의 렌더링 엔진은 HMD에서의 디스플레이를 위해 주변 디바이스(136)의 표면 상에 오버레이된 가상 사용자 인터페이스(892)를 렌더링할 수 있다. 도 8i에 예시된 예에서, 인공 현실 시스템은 가상 포인터(804)로 가상 사용자 인터페이스(892)를 생성 및 렌더링한다. 하나 이상의 양태들에서, 가상 사용자 인터페이스(892)는 활성 인공 현실 콘텐츠 아이템(616)에 주석을 달기 위한 하나 이상의 가상 요소들(894A-894D)(집합적으로 "가상 요소들(894)")을 포함한다. 사용자는 가상 포인터(804)를 사용하여 주석을 달기 위해 인공 현실 콘텐츠, 예를 들어 인공 현실 콘텐츠(816)를 선택할 수 있다. 인공 현실 콘텐츠(816)를 선택하는 것에 응답하여, 사용자는 주변 디바이스(136) 상에 렌더링된 가상 요소들(894) 중 하나 이상에 대응하는 포지션에서 인터페이스 제스처를 수행할 수 있다. 하나 이상의 양태들에서, 주석달기 제스처는 요소들(8944A-894D) 중 하나를 선택(예를 들어, 터치)하는 손(132)(또는 손(132)의 하나 이상의 손가락들)을 포함한다. 예를 들어, 사용자는 가상 콘텐츠 아이템에 대한 사용자의 반응을 나타내는 "이모티콘"(예를 들어, 요소들(894A, 894B) 중 임의의 것)을 선택함으로써 활성 가상 콘텐츠 아이템(616)에 주석을 달 수 있다.
HMD는 렌더링된 가상 요소들(894)에 대응하는 포지션에서 사용자에 의해 수행된 인터페이스 제스처를 검출한다. 하나 이상의 양태에서, 주변 디바이스(136)의 표면 상에서 수행된 터치 제스처들은 위에서 언급된 바와 같이, 인공 현실 시스템의 이미지 캡처 디바이스에 의해 캡처된 이미지 데이터로부터 검출될 수 있다. 하나 이상의 양태들에서, 주변 디바이스(136)의 표면은 위에서 언급된 바와 같이, 주변 디바이스(136)가 터치 제스처들을 검출하는 존재-감지 표면이다.
요소(894A)를 선택하거나 터치하는 사용자 인터페이스 제스처를 검출하는 것에 응답하여, 인공 현실 시스템은 사용자가 활성 가상 콘텐츠 아이템(816)에 주석을 달아 사용자가 가상 콘텐츠 아이템(816)을 "사랑한다" 또는 "좋아한다"는 것을 나타내는 것 같은 하나 이상의 동작들을 수행할 것이다. 일부 예들에서, "사랑한다" 또는 "좋아한다"라는 주석은 가상 콘텐츠 아이템(816)에 반영되거나(예를 들어, 요소(896)는 도 8i에 도시된 바와 같이 가상 콘텐츠 아이템(816) 위에 생성됨) 또는 가상 콘텐츠 아이템(816)에 근접하여(예를 들어, 인접하여) 반영될 것이다. 다른 예에서, 사용자는 가상 콘텐츠 아이템에 대해 코멘트함으로써 활성 가상 콘텐츠 아이템(816)에 주석을 달 수 있다. 예를 들어, 사용자는 요소(894C)를 선택할 수 있고 인공 현실 시스템은, 요소(894C)의 선택 제스처를 검출하는 것에 응답하여, 사용자가 활성 가상 콘텐츠 아이템(816)에 관한 코멘트를 입력하기 위한 가상 키보드를 생성 및 렌더링할 수 있다. 하나 이상의 양태들에서, 입력된 코멘트는 가상 콘텐츠 아이템(816)을 통해 또는 가상 콘텐츠 아이템(816)에 근접하여(예를 들어, 인접하여) 반영될 것이다. 하나 이상의 양태들에서, 가상 사용자 인터페이스(892)는 HMD에서의 디스플레이를 위해 렌더링된다(예를 들어, 가상 사용자 인터페이스(892)는 도 8i에 도시된 바와 같은 인공 현실 시스템에 의해 주변 디바이스(136)의 표면 상에 오버레이 또는 투영됨). 하나 이상의 양태들에서, 가상 사용자 인터페이스(892)는 (예를 들어, 주변 디바이스(136)의 디스플레이 또는 터치스크린에서) 주변 디바이스(136)에 의한 디스플레이를 위해 렌더링된다. 하나 이상의 양태들에서, 활성 가상 콘텐츠 아이템은 활성 표시자(898)(예를 들어, 경계, 하이라이팅, 음영, 및/또는 사용자가 특정 가상 콘텐츠 아이템을 조작하거나 그렇지 않으면 상호작용할 수 있다는 임의의 다른 표시)를 포함하여 사용자가 해당 가상 콘텐츠 아이템에 주석을 달 수 있음을 나타낼 수 있다.
도 9는 본 개시내용의 기법들에 따른, 예시적인 주변 디바이스 및 가상 사용자 인터페이스를 예시하는 블록도이다. 도 9는 주변 디바이스 상에 오버레이된 가상 버튼(146)인 가상 사용자 인터페이스 요소를 갖는 가상 사용자 인터페이스(137)를 예시한다. 주변 디바이스(136)는 물리적 현실에 존재한다. 가상 사용자 인터페이스(146)는 인공 현실 시스템에 의해 주변 디바이스(136)의 표면에 투영되고 HMD의 사용자에게 주변 디바이스(136)의 디스플레이에 의해 출력되는 것으로 보이도록 HMD로의 출력을 위해 렌더링된다. 분해도로 예시되고, 가상 사용자 인터페이스(146)가 표면(220)의 상당히 위에 배치된 것으로 도시되어 있지만, 인공 현실 시스템은 가상 사용자 인터페이스(146)를 표면(220)에 직접 렌더링하거나 표면(220)으로부터 약간 오프셋될 수 있다. 이것은 본원에서 표면(220) 상에 오버레이되는 것으로 지칭된다.
가상 버튼(146)은 표면(220) 상의 포지션에 대응한다. 인공 현실 환경에서 가상 버튼(146)의 영역은 표면(220) 상의 가상 버튼(146)에 대한 영역(146')에 대응한다. 이러한 대응은, 예를 들어, 인공 현실 환경에서 가상 버튼(146)의 영역이 가상 버튼(146)이 HMD-장착된 또는 다른 카메라들로부터 비디오 피드스루에 가상으로 렌더링되고 사용자에게 디스플레이되는 물리적 환경에서 표면(122) 상의 영역(146')을 포함하거나 이에 매핑된다는 것을 포함할 수 있다.
인공 현실 시스템은 영역(146'), 즉 표면(200) 상의 가상 버튼(146)에 대응하는 포지션에서 사용자에 의해 수행된 사용자 인터페이스 제스처를 검출할 수 있다. 인공 현실 시스템 검출은 표면(200)에 의해 검출된 입력들을 프로세싱으로써, 또는 주변 디바이스(136) 및/또는 사용자의 손 및/또는 팔을 식별하기 위해 이미지 캡처 디바이스들 및/또는 센서들 및 외부 카메라들에 의해 캡처된 이미지 데이터 내에서 인식된 객체들을 분석함으로써, 그리고 사용자에 의해 수행된 제스처들을 식별하기 위해 HMD에 관련하여 주변 디바이스(136), 손, 및/또는 팔의 움직임들을 추적함으로써 사용자 인터페이스 제스처를 검출할 수 있다.
본 개시내용에서 설명된 기법들은 적어도 부분적으로 하드웨어, 소프트웨어, 펌웨어 또는 이들의 임의의 조합으로 구현될 수 있다. 예를 들어, 설명된 기법들의 다양한 양태들은 하나 이상의 마이크로프로세서들, DSP들, 주문형 집적 회로(ASIC)들, 현장 프로그래밍가능 게이트 어레이(FPGA)들, 또는 임의의 다른 등가 집적 또는 이산 논리 회로, 및 그러한 구성요소들의 임의의 조합을 포함하는 하나 이상의 프로세서들 내에서 구현될 수 있다. "프로세서" 또는 "프로세싱 회로"라는 용어는 일반적으로 단독으로 또는 다른 논리 회로, 또는 임의의 다른 등가 회로와 조합하여 전술한 논리 회로 중 임의의 것을 지칭할 수 있다. 하드웨어를 포함하는 제어 유닛은 또한 본 개시내용의 기법들 중 하나 이상을 수행할 수 있다.
이러한 하드웨어, 소프트웨어, 및 펌웨어는 본 개시내용에서 설명된 다양한 동작들 및 기능들을 지원하기 위해 동일한 디바이스 내에서 또는 별도의 디바이스들 내에서 구현될 수 있다. 또한, 설명된 유닛들, 모듈들 또는 구성요소들 중 임의의 것은 개별적이지만 상호운용 가능한 논리 디바이스들로서 함께 또는 별도로 구현될 수 있다. 모듈들 또는 유닛들과 같은 상이한 피처(feature)들의 묘사는 다른 기능적 양태들만을 강조하기 위한 것이고 그러한 모듈들이나 유닛들이 별도의 하드웨어 또는 소프트웨어 구성요소들에 의해 실현되어야 함을 반드시 의미하지는 않는다. 오히려, 하나 이상의 모듈들 또는 유닛들과 연관된 기능은 별도의 하드웨어 또는 소프트웨어 구성요소들에 의해 수행되거나 공통 또는 별도의 하드웨어 또는 소프트웨어 구성요소들 내에 통합될 수 있다.
본 개시내용에서 설명된 기법들은 또한 명령들을 포함하는 컴퓨터-판독가능 저장 매체와 같은 컴퓨터-판독가능 매체에서 구현되거나 인코딩될 수 있다. 컴퓨터-판독 가능 저장 매체에 내장되거나 인코딩된 명령들은 예를 들어 명령들이 실행될 때 프로그램가능 프로세서, 또는 다른 프로세서가 방법을 수행하게 할 수 있다. 컴퓨터 판독 가능 저장 매체는 RAM(Random Access Memory), ROM(Read Only Memory), PROM(Programmable Read Only Memory), EPROM(Erasable Programmable Read Only Memory), EEPROM(Electronically Erasable Programmable Read Only Memory), 플래시 메모리, 하드 디스크, CD-ROM, 플로피 디스크, 카세트, 자기 매체, 광학 매체 또는 다른 컴퓨터 판독가능 매체를 포함할 수 있다.
본원의 다양한 예들에 의해 설명된 바와 같이, 본 개시내용의 기법들은 인공 현실 시스템을 포함하거나 이와 함께 구현될 수 있다. 설명된 바와 같이, 인공 현실은 예를 들어, 가상 현실(VR), 증강 현실(AR), 혼합 현실(MR), 하이브리드 현실, 또는 이들의 일부 조합 및/또는 파생물들을 포함할 수 있는, 사용자에게 제시 전에 일부 방식으로 조정된 현실 형태이다. 인공 현실 콘텐츠는 완전히 생성된 콘텐츠 또는 캡처된 콘텐츠(예를 들어, 현실-세계 사진들)와 결합된 생성된 콘텐츠를 포함할 수 있다. 인공 현실 콘텐츠는 비디오, 오디오, 햅틱 피드백, 또는 이의 일부 조합을 포함할 수 있고, 이들 중 임의의 것은 단일 채널 또는 다중 채널들(이를테면 뷰어에게 3-차원 효과를 생성하는 스테레오 비디오)로 제시될 수 있다. 또한, 일부 실시예들에서, 인공 현실은 예를 들어 인공 현실의 콘텐츠를 생성하는 데 사용되고/되거나 인공 현실에 사용되는(예를 들어, 인공 현실의 활동들을 수행하는) 애플리케이션들, 제품들, 액세서리들, 서비스들, 또는 이들의 일부 조합과 연관될 수 있다. 인공 현실 콘텐츠를 제공하는 인공 현실 시스템은 호스트 컴퓨터 시스템에 연결된 머리장착 디바이스(HMD), 독립형 HMD, 모바일 디바이스 또는 컴퓨팅 시스템, 또는 인공 현실 콘텐츠를 하나 이상의 뷰어들에게 제공할 수 있는 임의의 다른 하드웨어 플랫폼을 포함하여 다양한 플랫폼들에서 구현될 수 있다.

Claims (15)

  1. 인공 현실 시스템에 있어서,
    이미지 데이터를 캡처하도록 구성된 이미지 캡처 디바이스;
    인공 현실 콘텐츠를 출력하도록 구성된 머리-장착 디스플레이(HMD);
    상기 이미지 데이터로부터 주변 디바이스를 검출하도록 구성된 사용자 인터페이스 엔진으로서, 상기 사용자 인터페이스 엔진은 하나 이상의 가상 사용자 인터페이스 요소들을 포함하는 가상 사용자 인터페이스를 생성하도록 구성되는, 상기 사용자 인터페이스 엔진; 및
    상기 인공 현실 콘텐츠를 렌더링하고, 인공 현실 환경에서 상기 주변 디바이스의 포지션에 관련하여 잠겨진(locked) 사용자 인터페이스 포지션에서, 상기 HMD에서의 디스플레이를 위해 상기 가상 사용자 인터페이스를 렌더링하도록 구성된 렌더링 엔진을 포함하는, 인공 현실 시스템.
  2. 제 1 항에 있어서,
    상기 가상 사용자 인터페이스 요소들 중 하나에 대응하는 포지션에서 사용자에 의해 수행된 사용자 인터페이스 제스처를 검출하도록 구성된 제스처 검출기를 포함하고,
    상기 인공 현실 시스템은 상기 사용자 인터페이스 제스처에 응답하여, 상기 가상 사용자 인터페이스 요소들 중 하나와 연관된 하나 이상의 동작들을 수행하도록 구성되는, 인공 현실 시스템.
  3. 제 2 항에 있어서,
    상기 주변 디바이스를 더 포함하고, 상기 주변 디바이스는 사용자에 의한 하나 이상의 입력들을 수신하도록 구성된 존재-감지 인터페이스를 포함하고,
    상기 제스처 검출기는 상기 하나 이상의 입력들에 기반하여, 상기 사용자 인터페이스 제스처를 검출하도록 구성되는, 인공 현실 시스템.
  4. 제 2 항에 있어서,
    상기 하나 이상의 동작들을 수행하기 위해, 상기 사용자 인터페이스 엔진은 하나 이상의 수정된 가상 사용자 인터페이스 요소들을 포함하는 수정된 가상 사용자 인터페이스를 생성하도록 상기 가상 사용자 인터페이스를 수정하도록 구성되고,
    상기 렌더링 엔진은 상기 사용자 인터페이스 포지션에서, 상기 HMD에서의 디스플레이를 위해 상기 수정된 가상 사용자 인터페이스를 렌더링하도록 구성되는, 인공 현실 시스템.
  5. 제 1 항에 있어서,
    상기 가상 사용자 인터페이스를 렌더링하기 위해, 상기 렌더링 엔진은 상기 주변 디바이스의 표면에 오버레이되게, 상기 가상 사용자 인터페이스를 렌더링하도록 구성되고, 선택적으로 상기 주변 디바이스의 표면은 존재-감지 인터페이스를 포함하는, 인공 현실 시스템.
  6. 제 1 항에 있어서,
    상기 주변 디바이스를 더 포함하고, 상기 주변 디바이스는 디스플레이를 포함하지 않는, 인공 현실 시스템.
  7. 제 1 항에 있어서,
    상기 주변 디바이스를 더 포함하고,
    상기 주변 디바이스는 디스플레이를 포함하고,
    상기 가상 사용자 인터페이스 엔진은 상기 주변 디바이스로 하여금 상기 디스플레이를 비활성화하게 하기 위해 상기 주변 디바이스에 통신을 전송하도록 구성되거나,
    상기 가상 사용자 인터페이스 엔진은 상기 디스플레이가 비활성화되었다는 표시를 수신하도록 구성되고, 상기 가상 사용자 인터페이스를 생성하기 위해, 상기 가상 사용자 인터페이스 엔진은 상기 표시에 기반하여, 상기 디스플레이가 비활성화되었음을 결정하는 것에 응답하여 상기 가상 사용자 인터페이스를 생성하도록 구성되는, 인공 현실 시스템.
  8. 제 1 항에 있어서,
    상기 주변 디바이스를 더 포함하고,
    상기 주변 디바이스는 상기 가상 사용자 인터페이스 요소들 중 하나에 대응하는 포지션에서 사용자에 의해 수행된 사용자 인터페이스 제스처를 검출하도록 구성된 제스처 검출기를 포함하고,
    상기 HMD는 상기 사용자 인터페이스 제스처에 응답하여, 상기 가상 사용자 인터페이스 요소들 중 하나와 연관된 하나 이상의 동작들을 수행하도록 구성되는, 인공 현실 시스템.
  9. 제 1 항에 있어서,
    상기 가상 사용자 인터페이스 요소들 상의 포지션들에 대응하는 포지션들에서 사용자에 의해 수행된 드로잉 제스처(drawing gesture)를 검출하도록 구성된 제스처 검출기를 더 포함하고,
    상기 가상 사용자 인터페이스 엔진은 상기 드로잉 제스처에 응답하여, 상기 가상 사용자 인터페이스 상의 포지션들에 가상 마킹(marking)들을 포함하는 수정된 가상 사용자 인터페이스를 생성하도록 구성되고,
    상기 렌더링 엔진은 상기 사용자 인터페이스 포지션에서, 상기 HMD에서의 디스플레이를 위해 상기 수정된 가상 사용자 인터페이스를 렌더링하도록 구성되는, 인공 현실 시스템.
  10. 제 1 항에 있어서, 상기 주변 디바이스는 스마트폰, 스마트워치, 또는 태블릿 컴퓨터 중 하나를 포함하는, 인공 현실 시스템.
  11. 방법에 있어서,
    머리-장착 디스플레이(HMD)를 포함하는 인공 현실 시스템에 의해, 이미지 캡처 디바이스를 통해 이미지 데이터를 획득하는 단계로서, 상기 HMD는 인공 현실 콘텐츠를 출력하도록 구성되는, 상기 이미지 데이터를 획득하는 단계;
    상기 인공 현실 시스템에 의해, 상기 이미지 데이터로부터 주변 디바이스를 검출하는 단계;
    상기 인공 현실 시스템에 의해, 하나 이상의 가상 사용자 인터페이스 요소들을 포함하는 가상 사용자 인터페이스를 생성하는 단계; 및
    상기 인공 현실 시스템에 의해, 상기 인공 현실 콘텐츠, 및 인공 현실 환경에서 상기 주변 디바이스의 포지션에 관련하여 잠겨진 사용자 인터페이스 포지션에서, 상기 HMD에서의 디스플레이를 위해 상기 가상 사용자 인터페이스를 렌더링하는 단계를 포함하는, 방법.
  12. 제 11 항에 있어서,
    상기 인공 현실 시스템에 의해, 상기 가상 사용자 인터페이스 요소들 중 하나에 대응하는 포지션에서 사용자에 의해 수행된 사용자 인터페이스 제스처를 검출하는 단계;
    상기 사용자 인터페이스 제스처에 응답하여 상기 인공 현실 시스템에 의해, 상기 가상 사용자 인터페이스 요소들 중 하나와 연관된 하나 이상의 동작들을 수행하는 단계를 더 포함하는, 방법.
  13. 제 12 항에 있어서,
    상기 방법은 상기 주변 디바이스의 존재-감지 인터페이스에서, 사용자에 의한 하나 이상의 입력들을 수신하는 단계를 더 포함하고, 상기 검출하는 단계는 상기 하나 이상의 입력들에 기반하여, 상기 사용자 인터페이스 제스처를 검출하는 단계를 포함하거나 또는
    상기 하나 이상의 동작들을 수행하는 단계는 하나 이상의 수정된 가상 사용자 인터페이스 요소들을 포함하는 수정된 가상 사용자 인터페이스를 생성하기 위해 상기 가상 사용자 인터페이스를 수정하는 단계를 포함하고 상기 방법은 상기 사용자 인터페이스 포지션에서, 상기 HMD에서의 디스플레이를 위해 상기 수정된 가상 사용자 인터페이스를 렌더링하는 단계를 더 포함하는, 방법.
  14. 제 11 항에 있어서,
    상기 주변 디바이스는 디스플레이를 포함하지 않거나, 또는
    상기 방법은 상기 HMD로부터 상기 주변 디바이스로, 상기 주변 디바이스가 상기 디스플레이를 턴 오프하게 하는 통신을 전송하는 단계를 더 포함하거나, 또는
    상기 방법은 상기 주변 디바이스에 의해, 상기 가상 사용자 인터페이스 요소들 중 하나에 대응하는 포지션에서 사용자에 의해 수행된 사용자 인터페이스 제스처를 검출하는 단계 및 상기 사용자 인터페이스 제스처에 응답하여 상기 인공 현실 시스템에 의해, 상기 가상 사용자 인터페이스 요소들 중 하나와 연관된 하나 이상의 동작들을 수행하는 단계를 더 포함하는, 방법.
  15. 명령들을 포함하는 비-일시적 컴퓨터-판독가능 매체에 있어서,
    상기 명령들은, 실행될 때, 인공 현실 콘텐츠를 출력하도록 구성된 머리-장착 디스플레이(HMD)를 포함하는 인공 현실 시스템의 하나 이상의 프로세서들이:
    하나 이상의 가상 사용자 인터페이스 요소들을 포함하는 가상 사용자 인터페이스를 생성하게 하고;
    상기 인공 현실 콘텐츠 및 인공 현실 환경에서 주변 디바이스의 포지션에 관련하여 잠겨진 사용자 인터페이스 포지션에서, 상기 HMD에서의 디스플레이를 위해 상기 가상 사용자 인터페이스를 렌더링하게 하고;
    상기 가상 사용자 인터페이스 요소들 중 하나에 대응하는 포지션에서 사용자에 의해 수행된 사용자 인터페이스 제스처를 검출하게 하고;
    상기 사용자 인터페이스 제스처에 응답하여, 상기 가상 사용자 인터페이스 요소들 중 하나와 연관된 하나 이상의 동작들을 수행하게 하는, 비-일시적 컴퓨터-판독가능 매체.
KR1020227004212A 2019-07-09 2020-07-07 인공 현실 환경들에서 주변 디바이스를 사용하는 가상 사용자 인터페이스 KR20220030294A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US16/506,618 2019-07-09
US16/506,618 US20210011556A1 (en) 2019-07-09 2019-07-09 Virtual user interface using a peripheral device in artificial reality environments
PCT/US2020/041028 WO2021007221A1 (en) 2019-07-09 2020-07-07 Virtual user interface using a peripheral device in artificial reality environments

Publications (1)

Publication Number Publication Date
KR20220030294A true KR20220030294A (ko) 2022-03-10

Family

ID=71833468

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020227004212A KR20220030294A (ko) 2019-07-09 2020-07-07 인공 현실 환경들에서 주변 디바이스를 사용하는 가상 사용자 인터페이스

Country Status (7)

Country Link
US (1) US20210011556A1 (ko)
EP (1) EP3997552B1 (ko)
JP (1) JP2022540315A (ko)
KR (1) KR20220030294A (ko)
CN (1) CN114080585A (ko)
TW (1) TW202105133A (ko)
WO (1) WO2021007221A1 (ko)

Families Citing this family (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11323495B2 (en) * 2015-07-27 2022-05-03 Autodesk, Inc. Sharing computer application activities
US11861136B1 (en) * 2017-09-29 2024-01-02 Apple Inc. Systems, methods, and graphical user interfaces for interacting with virtual reality environments
US11409671B2 (en) 2019-09-19 2022-08-09 Facebook Technologies, Llc Artificial reality system having multi-bank, multi-port distributed shared memory
US11474970B2 (en) 2019-09-24 2022-10-18 Meta Platforms Technologies, Llc Artificial reality system with inter-processor communication (IPC)
US11487594B1 (en) 2019-09-24 2022-11-01 Meta Platforms Technologies, Llc Artificial reality system with inter-processor communication (IPC)
US11086476B2 (en) * 2019-10-23 2021-08-10 Facebook Technologies, Llc 3D interactions with web content
US11520707B2 (en) 2019-11-15 2022-12-06 Meta Platforms Technologies, Llc System on a chip (SoC) communications to prevent direct memory access (DMA) attacks
US11196846B2 (en) 2019-11-15 2021-12-07 Facebook Technologies, Llc Inline encryption of packet data in a wireless communication system
US11368283B2 (en) 2019-11-15 2022-06-21 Facebook Technologies, Llc Encryption and decryption engines with selective key expansion skipping
US11475639B2 (en) 2020-01-03 2022-10-18 Meta Platforms Technologies, Llc Self presence in artificial reality
WO2021236170A1 (en) * 2020-05-18 2021-11-25 Google Llc Low-power semi-passive relative six-degree-of-freedom tracking
US11954268B2 (en) * 2020-06-30 2024-04-09 Snap Inc. Augmented reality eyewear 3D painting
US11694376B2 (en) * 2020-10-19 2023-07-04 Adobe Inc. Intuitive 3D transformations for 2D graphics
US11449606B1 (en) 2020-12-23 2022-09-20 Facebook Technologies, Llc Monitoring circuit including cascaded s-boxes for fault injection attack protection
US20220207804A1 (en) * 2020-12-30 2022-06-30 Snap Inc. Automated content curation for generating composite augmented reality content
TWI821878B (zh) * 2021-02-02 2023-11-11 仁寶電腦工業股份有限公司 虛實互動方法及虛實互動系統
JP2022122479A (ja) * 2021-02-10 2022-08-23 キヤノン株式会社 撮像システム、表示装置、撮像装置、および撮像システムの制御方法
US11972505B2 (en) * 2021-06-15 2024-04-30 Lenovo (Singapore) Pte. Ltd. Augmented image overlay on external panel
US11295503B1 (en) 2021-06-28 2022-04-05 Facebook Technologies, Llc Interactive avatars in artificial reality
TWI784645B (zh) * 2021-07-29 2022-11-21 宏碁股份有限公司 擴增實境系統及其操作方法
EP4392853A1 (en) * 2021-08-27 2024-07-03 Apple Inc. System and method of augmented representation of an electronic device
TWI803134B (zh) * 2021-09-24 2023-05-21 宏達國際電子股份有限公司 虛擬影像顯示裝置及其輸入介面的設定方法
US11644972B2 (en) 2021-09-24 2023-05-09 Htc Corporation Virtual image display device and setting method for input interface thereof
US11797175B2 (en) * 2021-11-04 2023-10-24 Microsoft Technology Licensing, Llc Intelligent keyboard attachment for mixed reality input
WO2023080958A1 (en) * 2021-11-04 2023-05-11 Microsoft Technology Licensing, Llc. Intelligent keyboard attachment for mixed reality input
US20230176662A1 (en) * 2021-12-06 2023-06-08 Htc Corporation Control method, virtual reality system, and non-transitory computer readable storage medium with map of head-mounted device
US20230305624A1 (en) * 2022-03-23 2023-09-28 Htc Corporation Wearable tracking system and wearable tracking method
US11847267B2 (en) * 2022-05-11 2023-12-19 Hewlett-Packard Development Company, L.P. Input device tracking systems

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9001153B2 (en) * 2012-03-21 2015-04-07 GM Global Technology Operations LLC System and apparatus for augmented reality display and controls
US20160054791A1 (en) * 2014-08-25 2016-02-25 Daqri, Llc Navigating augmented reality content with a watch
US10754417B2 (en) * 2016-11-14 2020-08-25 Logitech Europe S.A. Systems and methods for operating an input device in an augmented/virtual reality environment
US10754496B2 (en) * 2017-08-24 2020-08-25 Microsoft Technology Licensing, Llc Virtual reality input
US10591730B2 (en) * 2017-08-25 2020-03-17 II Jonathan M. Rodriguez Wristwatch based interface for augmented reality eyewear

Also Published As

Publication number Publication date
CN114080585A (zh) 2022-02-22
WO2021007221A1 (en) 2021-01-14
EP3997552B1 (en) 2024-07-03
EP3997552A1 (en) 2022-05-18
TW202105133A (zh) 2021-02-01
JP2022540315A (ja) 2022-09-15
US20210011556A1 (en) 2021-01-14

Similar Documents

Publication Publication Date Title
EP3997552B1 (en) Virtual user interface using a peripheral device in artificial reality environments
US10890983B2 (en) Artificial reality system having a sliding menu
US11003307B1 (en) Artificial reality systems with drawer simulation gesture for gating user interface elements
US11334212B2 (en) Detecting input in artificial reality systems based on a pinch and pull gesture
US20200387286A1 (en) Arm gaze-driven user interface element gating for artificial reality systems
US20200387214A1 (en) Artificial reality system having a self-haptic virtual keyboard
US11023035B1 (en) Virtual pinboard interaction using a peripheral device in artificial reality environments
US11086475B1 (en) Artificial reality systems with hand gesture-contained content window
US10921879B2 (en) Artificial reality systems with personal assistant element for gating user interface elements
US10955929B2 (en) Artificial reality system having a digit-mapped self-haptic input method
US11422669B1 (en) Detecting input using a stylus in artificial reality systems based on a stylus movement after a stylus selection action
US11043192B2 (en) Corner-identifiying gesture-driven user interface element gating for artificial reality systems
US10976804B1 (en) Pointer-based interaction with a virtual surface using a peripheral device in artificial reality environments
US10990240B1 (en) Artificial reality system having movable application content items in containers
US10852839B1 (en) Artificial reality systems with detachable personal assistant for gating user interface elements
US11023036B1 (en) Virtual drawing surface interaction using a peripheral device in artificial reality environments
US11816757B1 (en) Device-side capture of data representative of an artificial reality environment