KR102003493B1 - 가상 현실에서 헤드, 제스쳐 및 터치 입력의 동적 전환 및 병합 - Google Patents

가상 현실에서 헤드, 제스쳐 및 터치 입력의 동적 전환 및 병합 Download PDF

Info

Publication number
KR102003493B1
KR102003493B1 KR1020177031644A KR20177031644A KR102003493B1 KR 102003493 B1 KR102003493 B1 KR 102003493B1 KR 1020177031644 A KR1020177031644 A KR 1020177031644A KR 20177031644 A KR20177031644 A KR 20177031644A KR 102003493 B1 KR102003493 B1 KR 102003493B1
Authority
KR
South Korea
Prior art keywords
input
virtual
virtual object
objects
virtual objects
Prior art date
Application number
KR1020177031644A
Other languages
English (en)
Other versions
KR20170126508A (ko
Inventor
알렉산더 제임스 파보르그
마누엘 크리스티안 클레멘트
크리스 맥켄지
Original Assignee
구글 엘엘씨
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 구글 엘엘씨 filed Critical 구글 엘엘씨
Publication of KR20170126508A publication Critical patent/KR20170126508A/ko
Application granted granted Critical
Publication of KR102003493B1 publication Critical patent/KR102003493B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04847—Interaction techniques to control parameter settings, e.g. interaction with sliders or dials
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/2866—Architectures; Arrangements
    • H04L67/30—Profiles
    • H04L67/306—User profiles
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/038—Indexing scheme relating to G06F3/038
    • G06F2203/0381—Multimodal input, i.e. interface arrangements enabling the user to issue commands by simultaneous use of input devices of different nature, e.g. voice plus gesture on digitizer

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Optics & Photonics (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

가상 현실에서의 헤드, 제스처 및 터치 입력의 동적 전환 및 병합을 위한 시스템에서, 가상 객체는 복수의 상이한 입력 모드 중 하나를 구현하는 제 1 입력에 응답하여 사용자에 의해 선택될 수 있다. 일단 선택되면, 제 1 입력에 의해 제 1 객체 상에 포커스가 설정되고, 제 2 입력 모드가 상기 상이한 입력 모드들 중 또 하나의 모드를 구현함에 응답하여 가상 세계에서 제 1 객체가 조작될 수 있다. 제 3 입력에 응답하여, 다른 객체가 선택될 수 있고, 예를 들어, 제 3 입력의 우선 순위 값이 객체에 포커스를 설정한 제 1 입력의 우선 순위 값보다 크면, 제 3 입력에 응답하여 포커스가 제 1 객체로부터 제 2 객체로 시프트될 수 있다. 제 3 입력의 우선 순위 값이 객체에 포커스를 설정한 제 1 입력의 우선 순위 값보다 작으면, 포커스는 제 1 객체 상에 남아있게 된다. 특정 트리거 입력에 응답하여, 가상 객체들의 디스플레이는 가상 객체들과의 상호 작용 및 조작의 특정 모드를 수용하도록 원거리장 디스플레이와 근거리장 디스플레이 사이에서 시프트된다.

Description

가상 현실에서 헤드, 제스쳐 및 터치 입력의 동적 전환 및 병합
관련 출원에 대한 상호 참조
본 출원은 2015년 8월 26 일자로 출원되고, 발명의 명칭이 "Danamic Switching and Merging of Head, Gesture and Touch Input in Virture Reality"인 비-가출원 번호 제14/836,311 호의 우선권을 주장하며, 그 개시 내용은 그 전체가 본원에 참고로 포함된다.
본 출원은 일반적으로 몰입 가상 현실 시스템의 입력 처리에 관한 것이다. 관련이 있다.
가상 현실(VR) 시스템은 3 차원(3D) 몰입 환경을 생성할 수 있다. 사용자는, 예컨대, 디스플레이 디바이스를 볼 때 사용자가 들여다 보는 디스플레이, 안경 또는 고글을 포함하는 헬멧 또는 다른 헤드 마운트 디바이스; 센서들이 부착된 장갑; 센서들을 포함하는 외부 핸드 헬드 디바이스; 및 기타 그러한 전자 디바이스들과 같은 다양한 전자 디바이스들과의 상호 작용을 통해 가상의 3D 몰입 환경을 체험할 수 있다. 일단 가상 3D 환경에 몰입하면, 3D 환경과의 사용자 상호 작용은, 예를 들어, 눈 시선(eye gaze), 헤드 시선(head gaze), 전자 디바이스의 물리적 움직임 및/또는 조작과 같은 다양한 형태들을 취하여, 가상 3D 환경과 상호 작용하고 가상 3D 환경을 퍼스널라이징 및 제어할 수 있게 된다.
일 양태에서, 방법은 복수의 가상 객체들을 포함하는 몰입 가상 체험을 개시하는 단계와, 상기 복수의 가상 객체들 각각은 복수의 입력 모드에 응답하여 선택 및 조작 가능하며; 상기 복수의 입력 모드들 중 제 1 입력 모드를 구현하는 제 1 입력을 수신하는 단계와; 상기 제 1 입력에 응답하여, 상기 복수의 가상 객체들 중 제 1 가상 객체를 선택하는 단계와; 상기 복수의 입력 모드들 중 제 2 입력 모드를 구현하는 제 2 입력을 수신하는 단계와; 상기 제 2 입력 모드의 우선 순위 값과 상기 제 1 입력 모드의 우선 순위 값을 비교하는 단계와; 그리고 상기 비교에 기초하여, 상기 제 1 가상 객체의 선택을 해제하고 상기 선택을 상기 복수의 가상 객체의 제 2 가상 객체로 시프트하거나 혹은 상기 제 2 입력에 응답하여 상기 제 1 가상 객체의 선택을 유지하는 단계를 포함한다.
또 다른 양태에서, 방법은 몰입 가상 체험을 개시하는 단계와; 복수의 가상 객체들의 원거리장 디스플레이를 생성하는 단계와; 제 1 입력을 수신하는 단계와; 상기 제 1 입력에 응답하여 상기 복수의 가상 객체들을 포함하는 원거리장 디스플레이를 선택하는 단계와; 제 2 입력을 수신하는 단계와; 상기 제 2 입력에 응답하여 상기 복수의 가상 객체들의 근거리장 디스플레이를 위해 상기 복수의 가상 객체들의 외관(appearance)을 모핑(morphing)하는 단계와; 상기 모핑된 복수의 가상 객체들을 포함하는 상기 근거리장 디스플레이를 생성하는 단계와; 제 3 입력을 수신하는 단계와; 그리고 상기 제 3 입력에 응답하여 상기 모핑된 복수의 가상 객체들 중 하나를 선택하는 단계를 포함한다.
하나 이상의 구현의 세부 사항은 첨부된 도면 및 이하의 설명에서 설명된다. 다른 특징들은 상세한 설명 및 도면들 및 청구항들로부터 명백할 것이다.
도 1은 본 명세서에 광범위하게 설명된 실시 예에 따른, 헤드 마운트 디스플레이 및 핸드 헬드 전자 디바이스를 포함하는 가상 현실 시스템의 예시적인 구현이다.
도 2a 및 도 2b는 본 명세서에 광범위하게 설명된 실시 예에 따른, 예시적인 헤드 마운트 디스플레이의 사시도이다.
도 3은 본 명세서에서 광범위하게 설명된 실시 예에 따른 헤드 마운트 전자 디바이스 및 핸드 헬드 전자 디바이스의 블록도이다.
도 4a-4g는 본 명세서에서 광범위하게 설명된 실시 예에 따른, 객체들의 리스트를 선택하고 스크롤하기 위한 시선 및 터치(gaze and touch) 입력을 도시한다.
도 5a-5d는 본 명세서에서 광범위하게 설명된 실시 예에 따른, 도 4a-4g에 도시된 시선 및 터치 입력을 사용하는 스크롤 시나리오를 도시한다.
도 6a-6g는 본 명세서에서 광범위하게 설명된 실시 예에 따른, 객체 리스트를 선택하고 스크롤하기 위한 포인트 및 터치(point and touch) 입력을 도시한다.
도 7a-7c는 본 명세서에 광범위하게 설명된 실시 예에 따른, 도 6a-6g에 도시된 포인트 및 터치 입력 시나리오에서 선택된 객체의 해제를 도시한다.
도 8a-8d는 본 명세서에서 광범위하게 설명된 실시 예에 따른, 객체를 선택 및 움직이기 위한 포인트 및 터치 입력을 도시한다.
도 9a-9e는 본 명세서에서 광범위하게 설명된 실시 예에 따른, 객체 리스트를 선택하고 스크롤하기 위한 도달 및 터치 입력을 도시한다.
도 10a-10d는 본 명세서에서 광범위하게 설명된 실시 예에 따른, 객체를 선택하고 움직이기 위한 해제 및 터치 입력을 도시한다.
도 11은 본 명세서에서 광범위하게 설명된 실시 예에 따른, 가상 현실 환경에서 객체들 사이에서 포커스를 설정, 해제 및 시프팅하는 방법의 흐름도이다.
도 12a-12f는 본 명세서에서 광범위하게 설명된 실시 예에 따른, 가상 현실 환경에서 사용자 입력 모드들 간의 동적 전환을 도시한다.
도 13은 본 명세서에서 광범위하게 설명된 실시 예에 따른, 가상 현실 환경에서 사용자 입력 모드들 간의 동적 전환 방법의 흐름도이다.
도 14는 여기에 기술된 기술을 구현하는데 사용될 수 있는 컴퓨터 디바이스 및 모바일 컴퓨터 디바이스의 예를 도시한다.
예를 들어, HMD(Head Mounted Display) 디바이스를 착용하여 3D 가상 환경에 몰입된 사용자는 3D 가상 환경을 탐색하고 다양한 유형의 입력을 통해 3D 가상 환경과 상호 작용할 수 있다. 이들 입력은 예를 들어, 손/팔 제스처, 헤드 움직임 및/또는 헤드 방향 시선, 눈 방향 시선 등을 포함하는 물리적 상호 작용 및/또는 HMD의 조작, 및/또는 HMD로부터 분리된 전자 디바이스의 조작 (예컨대, 전자 디바이스의 터치 감응 표면상에 가해지는 터치, 전자 디바이스의 움직임, 전자 디바이스에 의해 방출된 광선 또는 빔 등)을 포함할 수 있다. 일부 구현 예에서, HMD는 예를 들어 스마트 폰 또는 다른 핸드 헬드 전자 디바이스와 같은 핸드 헬드 전자 디바이스와 쌍을 이룰 수 있다. HMD와 쌍을 이루는 핸드 헬드 전자 디바이스의 사용자 조작은 사용자가 HMD에 의해 생성된 3D 가상 몰입 체험과 상호 작용할 수있게한다. 일부 시스템은 검출된 눈 및/또는 헤드 시선을 3D 가상 몰입 체험에서의 대응하는 상호 작용으로 변환하기 위해 사용자의 시선을 검출 및 추적하고 그리고/또는 사용자의 헤드의 방향 시선을 검출하도록 구성될 수 있다.
이들 복수의 상이한 입력 모드, 특히 다수의 동시적인 입력들에 직면할 때, 복수의 입력들의 실행에 대한 설정된 우선 순위 시퀀스 또는 계층 구조(hierarchy)는 검출된 입력 및 설정된 우선 순위 시퀀스 또는 계층 구조에 기초하여 가상 세계에서 취해질 객체 및/또는 동작의 정확한 선택을 용이하게 할 수 있다.
도 1에 도시된 실시 예에서, HMD(100)를 착용한 사용자는 예를 들어 HMD(100)에 의해 생성된 몰입 가상 체험에서의 상호 작용을 위해 HMD(100)와 쌍을 이루고 이와 통신할 수 있는 스마트 폰 또는 다른 휴대용 핸드 헬드 전자 디바이스와 같은 그러한 휴대용 핸드 헬드 전자 디바이스(102)를 홀드하고 있다. 도 1에 도시된 예에서, 사용자는 오른손으로 핸드 헬드 전자 디바이스(102)를 그의 손(142)에 홀드하고 있다. 그러나, 사용자는 왼손으로, 또는 왼손과 오른손 모두로 핸드 헬드 전자 디바이스(102)를 홀드하고, HMD(100)에 의해 생성된 몰입 가상 체험과 여전히 상호 작용할 수 있다.
전술한 바와 같은 핸드 헬드 전자 디바이스(102)는 예를 들어 유선 접속 또는 예를 들어 wifi 또는 블루투스 접속과 같은 무선 접속을 통해 HMD(100)와 동작 가능하게 결합되거나 HMD(100)와 쌍을 이룰 수 있다. 핸드 헬드 전자 디바이스(102)와 HMD(100)의 이러한 페어링 또는 동작 가능 커플링은 핸드 헬드 전자 디바이스(102)와 HMD(100) 사이의 통신 및 핸드 헬드 전자 디바이스(102)와 HMD(100) 간의 데이터 교환을 제공하여, 핸드 헬드 전자 디바이스(102)는 HMD(100)에 의해 생성된 가상 몰입 체험에서 상호 작용하기 위해 HMD(100)와 통신하는 제어기로서 기능할 수 있다. 즉, 사용자에 의한 핸드 헬드 전자 디바이스(102)의 조작 (예컨대, 핸드 헬드 전자 디바이스의 터치 표면상에 수신되는 입력 또는 핸드 헬드 전자 디바이스(102)의 움직임, 또는 핸드 헬드 전자 디바이스(102)에 의해 방출된 광선 또는 빔 등)은 HMD(100)에 의해 생성된 가상 몰입 체험에서 대응하는 상호 작용 또는 움직임으로 변환될 수 있다.
다양한 상이한 유형의 사용자 입력들이 HMD(100)에 의해 생성된 가상 몰입 체험에서 이러한 유형의 상호 작용으로 변환될 수 있다. 예를 들어, 핸드 헬드 전자 디바이스(102)의 터치 표면상의 터치 입력은 가상 세계에서의 객체의 선택, 및 핸드 헬드 전자 디바이스(102)의 터치 표면상의 터치 및 드래그, 또는 터치 및 그 이후의 핸드 헬드 전자 디바이스(102) 자체의 움직임은 객체의 선택 및 움직임에 대응할 수 있다. 일부 실시 예에서, 핸드 헬드 전자 디바이스(102)에 의해 방출된 빔 또는 광선은 객체를 선택하기 위해 가상 세계의 특정 객체를 가리킬 수 있고, 빔의 후속 움직임은 선택된 객체가 또한 움직이게 한다. 일부 실시 예들에서, 사용자의 눈 시선이 모니터링되어 추적될 수 있고, 가상 세계 내의 객체를 향한 사용자의 시선은 그 객체의 선택에 대응할 수 있다. 일부 실시 예에서, 핸드 헬드 전자 디바이스(102)의 터치 표면상의 후속 드래그 및/또는 핸드 헬드 전자 디바이스(102) 자체의 움직임, 및/또는 헤드 움직임 및/또는 손/팔 움직임은 예를 들어, 눈 시선에 의해 선택된 객체의 움직임과 같은 후속 동작을 야기할 수 있다. 일부 실시 예에서, 객체의 초기 선택을 포함하는 사용자 입력은 헤드 움직임, 손/팔 제스처, 핸드 헬드 전자 디바이스(102)의 움직임 등으로부터 검출될 수 있다. 이들 복수의 입력 모드가 인에이블되는 구현 예에서, 예를 들어 동시에 수신될 때 복수의 입력의 실행을 위한 설정된 우선 순위 시퀀스 또는 계층 구조는 검출된 입력 및 설정된 우선 순위 시퀀스 또는 계층 구조에 기초하여 객체 및/또는 취해질 동작의 정확한 선택을 용이하게 한다.
도 2a 및 도 2b는 몰입 가상 체험을 생성하기 위한, 도 1의 사용자에 의해 착용된 HMD(100)와 같은 예시적인 HMD의 사시도이다. HMD(100)는 프레임(120)에 예를 들어 회전 가능하게 결합되고 및/또는 제거 가능하게 부착될 수 있는 하우징(110)을 포함할 수 있다. 예를 들어, 헤드폰에 장착된 스피커를 포함하는 오디오 출력 디바이스(130)가 또한 프레임(120)에 연결될 수 있다. 도 2b에 도시된 바와 같이, 하우징(110)의 전면(110a)은 하우징(110)의 베이스 부(110b)로부터 멀리 회전되어 하우징(110)에 수용된 일부 컴포넌트가 보이도록 한다. 디스플레이(140)는 하우징(110)의 전면(110a) 상에 장착될 수 있다. 렌즈(150)는 전면(110a)이 하우징(110)의 베이스 부(110b)에 대해 닫힌 위치에 있을 때 하우징(110)에서 사용자의 눈과 디스플레이(140) 사이에 장착될 수 있다. 렌즈(150)의 위치는 비교적 넓은 시야 및 비교적 짧은 포커스 길이를 제공하기 위해 사용자의 눈의 각각의 광축과 정렬될 수 있다. 일부 실시 예에서, HMD(100)는 다양한 센서를 포함하는 감지 시스템(160)과, 그리고 프로세서(190) 및 HMD(100)의 작동을 용이하게 하는 다양한 제어 시스템 디바이스를 포함하는 제어 시스템(170)을 포함할 수 있다.
일부 실시 예에서, HMD(100)는 HMD(100) 외부의 실세계 환경의 정지 및 동영상을 캡쳐하는 카메라(180)를 포함할 수 있다. 카메라(180)에 의해 캡쳐된 이미지는 패스 스루(pass through) 모드에서 디스플레이(140)상의 사용자에게 디스플레이 될 수 있어, 사용자는 HMD(100)를 제거함이 없이 혹은 하우징(110)을 사용자의 시선밖으로 움직이게 하기 위해 HMD(100)의 구성을 변경함이 없이 일시적으로 가상 세계를 떠나 실세계로 돌아갈 수 있게 한다.
일부 실시 예에서, HMD(100)는 사용자의 눈 시선을 검출하고 추적하는 디바이스 또는 시선 추적 디바이스(165)를 포함할 수 있다. 시선 추적 디바이스(165)는 예를 들어, 사용자의 눈의 이미지를 포착하기 위한 이미지 센서(165A)를 포함할 수 있으며, 일부 실시 예에서는, 예를 들어, 동공과 같은 사용자의 눈의 특정 부분을 포착할 수 있다. 일부 실시 예에서, 시선 추적 디바이스(165)는 사용자의 시선의 움직임을 검출하고 추적하도록 위치된 복수의 이미지 센서(165A)를 포함할 수 있다. 이미지 센서(들)(165A)에 의해 캡쳐된 이미지들로부터, 사용자의 시선의 방향이 검출될 수 있다. 검출된 시선은 본질적으로 사용자의 눈으로부터 객체, 예컨대 HMD(100)에 의해 생성된 3D 가상 몰입 체험에서의 객체까지의 시선을 정의할 수 있다. 일부 실시 예에서, HMD(100)는 검출된 시선이 가상 몰입 체험에서 대응하는 상호 작용으로 변환될 사용자 입력으로서 처리되도록 구성될 수 있다.
가상 현실 환경에서 헤드, 제스처 및 터치 입력의 동적 전환 및 병합을 위한 시스템의 블록도가 도 3에 도시되어있다. 상기 시스템은 제 2 사용자 전자 디바이스(302)와 통신하는 제 1 사용자 전자 디바이스(300)를 포함할 수 있다. 제 1 사용자 전자 디바이스(300)는 예를 들어 도 1, 도 2a 및 2b와 관련하여 전술한 바와 같은 몰입 가상 체험을 생성하는 HMD 일 수 있고, 제 2 사용자 전자 디바이스(302)는 HMD에 의해 생성된 가상 몰입 체험과 사용자 상호 작용을 용이하게 하기 위해 제 1 사용자 전자 디바이스와 통신하는 예를 들어, 도 1과 관련하여 전술한 바와 같은 스마트 폰일 수 있다.
제 1 전자 디바이스(300)는 도 2a 및 도 2b에 도시된 감지 시스템(160) 및 제어 시스템(170)과 유사한 감지 시스템(360) 및 제어 시스템(370)을 포함할 수 있다. 도 3에 도시된 예시적인 실시 예에서, 감지 시스템(360)은 예를 들어 광 센서, 오디오 센서, 이미지 센서, 거리/근접 센서 및/또는 다른 센서 및/또는 센서들의 상이한 조합(들)을 비롯한 수많은 다른 유형의 센서들을 포함할 수 있다. 일부 실시 예에서, 광 센서, 이미지 센서 및 오디오 센서는 예를 들어, 도 2a 및 도 2b에 도시된 HMD(100)의 카메라(180)와 같은 그러한 카메라인 하나의 컴포넌트에 포함될 수 있다. 일부 실시 예에서, 감지 시스템(360)은, 예를 들어, 도 2b에 도시된 시선 추적 디바이스(165)와 유사한 디바이스와 같은 사용자의 눈 시선을 검출 및 추적하도록 배치된 이미지 센서를 포함할 수 있다. 제어 시스템(370)은 예를 들어, 파워/멈춤 제어 디바이스, 오디오 및 비디오 제어 디바이스, 광학 제어 디바이스, 천이 제어 디바이스, 및/또는 다른 그러한 디바이스 및/또는 상이한 디바이스의 조합을 비롯한 수많은 다른 유형의 디바이스들을 포함할 수 있다. 일부 실시 예에서, 감지 시스템(360) 및/또는 제어 시스템(370)은 특정 구현 예에 따라 더 많거나 적은 디바이스들을 포함할 수 있다. 감지 시스템(360) 및/또는 제어 시스템(370)에 포함된 요소들은 예를 들어 도 2a 및 도 2b에 도시된 HMD(100) 이외의 다른 HMD 내에서 상이한 물리적 배치(예컨대, 상이한 물리적 위치)를 가질 수 있다.
제 1 전자 디바이스(300)는 또한 감지 시스템(360) 및 제어 시스템(370)과 통신하는 프로세서(390), 예를 들어 제어 시스템(370)의 모듈에 의해 액세스 가능한 메모리(380), 및 제 1 전자 디바이스(300)와 예를 들어 제 1 전자 디바이스(400)와 쌍을 이루는 제 2 전자 디바이스(302)와 같은 그러한 또 다른 외부 디바이스와의 사이에 통신을 위한 통신 모듈(350)을 포함할 수 있다.
제 2 전자 디바이스(302)는 제 2 전자 디바이스(302)와 예를 들어 제 2 전자 디바이스(302)와 쌍을 이루는 제 1 전자 디바이스(300)와 같은 그러한 다른 외부 디바이스와의 사이의 통신을 제공하는 통신 모듈(306)을 포함할 수 있다. 일부 실시 예들에서, 제 1 전자 디바이스(300)와 제 2 전자 디바이스(302) 사이에서, 예를 들어 전자 데이터의 교환을 제공하는 것에 부가하여, 통신 모듈(306)은 또한 전술한 바와 같이 광선 또는 빔을 방출하도록 구성될 수 있다. 제 2 전자 디바이스(302)는 예를 들어 카메라 및 마이크로폰, 관성 측정 유닛에 포함되는 것과 같은 이미지 센서 및 오디오 센서와, 핸드 헬드 전자 디바이스 또는 스마트 폰의 터치 감응 표면에 포함되는 것과 같은 터치 센서, 다른 그러한 센서 및/또는 센서의 상이한 조합을 포함하는 감지 시스템(304)을 포함할 수 있다. 프로세서(309)는 감지 시스템(304) 및 제 2 전자 디바이스(302)의 제어기(305)와 통신할 수 있으며, 제어기(305)는 메모리(308)에 액세스하고 제 2 전자 디바이스(302)의 전체 동작을 제어한다.
전술한 바와 같이, 다양한 유형의 사용자 입력은 가상 몰입 체험에서 대응하는 동작을 트리거할 수 있다. 사용자 상호 작용을 위한 다양한 상이한 메카니즘이 도 4a-10d에 도시되어 있다. 도 4a-4g 및 도 5a-5d에 보인 시선 및 터치 (GT) 상호 작용 개념, 도 6a-6g, 도 7a-7c 및 도 8a-8d에 보인 포인트 및 터치 (PT) 상호 작용 개념 및 도 9a-9e 및 도 10a-10d에 보인 도달(reach) 및 터치 (RT) 상호 작용 개념은 모두 눈 시선, 헤드 시선, 터치(예를 들어, 핸드 헬드 전자 디바이스(102)의 터치 표면상의 터치 및/또는 핸드 헬드 전자 디바이스(102)의 움직임의 추적) 및 핸드 헬드 전자 디바이스(102)에 의해 방출된 광선 또는 빔을 비롯한 4 개의 상이한 입력 메커니즘의 일부 조합을 사용한다. 이 4 가지 입력 메커니즘이 주어진 때, 시스템의 능동적인 포커스를 유지하기 위해 동작들 간에 구분을 명확히 하는 시스템은 가상 세계에서 원하는 상호 작용으로 입력을 정확히 변환하는 것을 용이하게 한다.
GT 유형의 상호 작용은 가상 세계에서 객체를 보고, 선택하고 조작하기 위해 핸드 헬드 제어기를 통해 입력된 입력과 연계하여 눈 시선 방향 또는 헤드 방향을 비롯한 광선 기반 상호 작용을 포함할 수 있다. 이하, 용어 "시선"은 HMD(100)의 전방을 향하는 외측 평면과 본질적으로 직교하는 눈 방향 시선 및/또는 헤드 방향 시선을 지칭하는데 사용된다.
도 4a-4g에 도시된 예시적인 구현 예는, 가상 세계에서 도 2a와 2b에 도시된 HMD(100)의 디스플레이(140) 상에 디스플레이된 객체들(X, Y 및 Z)의 스크롤가능한리스트에서의 호버 상태, 선택 상태 및 스크롤 상태의 GT 상호 작용을 도시한다. 이 구현 예에서, HMD(100)의 전체 구조는 도시 및 설명의 용이함을 위해 도시되지 않았다. 그러나 이 구현 예에서, 눈 시선은 예를 들어, 도 2a 및 2b와 관련하여 전술한 바와 같은 하나 이상의 이미지 센서(들)(165A)을 포함하는 시선 추적 디바이스(165)에 의해 검출되고 추적될 수 있다. 일부 실시 예에서, 시선, 특히 헤드 방향 시선은 예를 들어 HMD(100)에 포함된 가속도계 및/또는 자이로스코프와 같은 HMD(100)의 감지 시스템(160)에 의해 검출될 수 있다.
도 4a-4b를 참조하면, 도 4b에 도시된 바와 같이, 사용자는 자신의 시선을 객체(X, Y 및 Z)의 스크롤 가능한 리스트쪽으로 시프트하고, 자신의 시선을 객체(X, Y 및 Z)의 스크롤 가능한 리스트를 둘러싸는 히트 영역(H)를 가로지르게 하고, 자신의 시선을 객체(X)에 놓이게 한다. 사용자의 시선이 객체(X)에 놓이면, 사용자는 도 4c에 보인 바와 같이 HMD(100)와 쌍을 이루는 (예를 들어, 전술한 바와 같은 스마트 폰(102)과 같은) 핸드 헬드 전자 디바이스(102)의 터치 감응 표면상에서의 터치 입력에 의해 객체(X)를 선택할 수 있다. 도 4c에서 객체(X)가 선택되면, 비록 사용자의 시선이 객체(X)로부터 벗어나 움직이더라고 객체(X)에 촛점이 유지된다. 즉, 객체(X)가 핸드 헬드 전자 디바이스(102)의 터치 감응 표면상에서의 터치에 의해 선택되었으면, 비록 도 4d에 보인 바와 같이 사용자의 시선이 약간 시프트할 수 있다 하더라도 이 터치가 핸드 헬드 전자 디바이스(102)의 터치 감응 표면상에 유지되는 한, 선택된 객체(X)는 선택 및 인에이블된 상태로 유지된다. 이 시점에서, 스크롤 가능한 리스트의 히트 영역(H)을 바라보는 상태에서 핸드 헬드 전자 디바이스의 터치 감응 표면상의 드래그 입력은 도 4e에 도시된 바와 같이, 리스트를 스크롤하게할 수 있다. 도 4f에 도시된 바와 같이, 사용자의 시선이 더 이상 스크롤 가능한 리스트에 향하지 않더라도, 도 4g에 보인 바와 같이 사용자가 핸드 헬드 전자 디바이스(102)의 터치 감응 표면상의 터치/드래그 입력을 해제할 때까지는 상기 리스트는 도 4f에 보인 바와 같이 계속 스크롤될 수 있다.
예를 들어, 도 2a 및 도 2b에 도시된 HMD(100)의 디스플레이(140) 상에 디스플레이된 스크롤 가능한 리스트에서 스크롤 가능 및/또는 조작 가능한 객체들(X, Y 및 Z)의 리스트를 통한 스크롤 동작이 도 5a-5d에 도시되어 있다. 도 5a-5d에 도시된 구현 예에서, 복수의 스크롤 가능 및/또는 조작 가능한 객체들은 사용자의 시야에 관계없이 및/또는 객체에 대한 사용자의 방향 또는 각도에 관계없이 균일한 스크롤 스케일을 유지할 수 있다. 즉, 이 객체들은 도 5a에 도시된 바와 같이 사용자의 시야 내에서 비교적 먼 위치에 있을 수 있거나 혹은 도 5b에 도시된 바와 같이 사용자의 시야 내에서 상대적으로 가까운 위치에 있을 수 있다. 예를 들어, 가상 세계에서 HMD(100)의 디스플레이(140) 상에 디스플레이되는 객체 리스트, 예를 들어, 객체(X, Y 및 Z)의 리스트의 움직임은 균일한 스크롤 스케일을 유지할 수 있고 사용자의 시야 내에 있는 객체의 위치에 관계없이 핸드 헬드 전자 디바이스(102)의 터치 감응 표면상의 드래그 입력과 일치할 수 있다. 마찬가지로, 객체들은 도 5c에 도시된 바와 같이, 사용자의 광학 축 또는 시선과 정렬될 수 있거나 사용자의 광축 또는 시선과 각도 또는 오프셋으로 위치될 수 있다. 예를 들어 가상 세계에서 HMD(100)의 디스플레이(140) 상에 디스플레이된 객체 리스트 예를 들어, 객체(X), Y 및 Z의 리스트의 움직임은 균일한 스크롤 스케일을 유지할 수 있고, 사용자의 광축 또는 시선에 대한 객체의 각도에 관계없이, 핸드 헬드 전자 디바이스(102)의 터치 감응 표면상의 드래그 입력과 일치할 수 있다.
포인트 및 터치(PT) 유형의 입력이 도 6a-6f, 7a-7c 및 8a-8d에 도시되어있다. 도 6a-6g에 도시된 PT 입력은 PT 유형의 입력을 사용하여 객체 또는 리스트를 선택하고 리스트 내의 객체들을 스크롤 하는 것을 포함할 수 있다. 도 7a-7c에 보인 PT 입력은 객체의 선택을 취소하기 위해 스냅 빔 또는 광선을 사용하는 것을 포함할 수 있고, 도 8a-8d에 보인 PT 유형의 입력은 동적 푸시-풀 빔을 사용하여 객체를 선택하고 시프트하는 것을 포함할 수 있다. 이들 PT 유형의 입력은, 예를 들어 전술한 스마트 폰(102)과 같은 핸드 헬드 전자 디바이스(102), 또는 HMD(100) 및/또는 가상 현실 시스템의 다양한 다른 컴포넌트들과 쌍을 이루고 통신하는 다른 핸드 헬드 전자 디바이스와의 광선 기반 상호 작용을 포함할 수 있다.
도 6a 및 도 6b를 참조하면, 사용자는 핸드 헬드 전자 디바이스(102)에 의해 방출된 광선의 포커스를 시프트하여, 핸드 헬드 전자 디바이스에 의해 방출된 광선이 객체(X, Y 및 Z)의 스크롤 가능한 리스트를 둘러싸고 있는 히트 영역(H)과 교차하고, 도 6b에 보인 바와 같이 객체(X) 놓여 포커스를 맞출 수 있다. 일단 객체(X)에 핸드 헬드 전자 디바이스(102)에 의해 방출된 광선이 포거싱 되면, 사용자는 도 6c에 보인 바와 같이 예를 들어 HMD(100)와 쌍을 이루는 예를 들면, 전술한 바와 같은 스마트 폰(102)과 같은 핸드 헬드 전자 디바이스(102)의 터치 감응 표면상의 터치 입력에 의해 객체(X)를 선택할 수 있다. 도 6c에 도시된 바와 같이, 일단 객체(X)가 선택되면, 핸드 헬드 전자 디바이스(102)에 의해 방출된 광선이 리스트 또는 객체(X)에서 더 이상 포인팅되지 않더라도, 포커스 메인은 객체(X)에 남아있게 된다. 즉, 도 6c에 도시된 바와 같은 일단 핸드 헬드 전자 디바이스(102)의 터치 감응 표면상의 터치에 의해 객체(X)가 선택되게 되면, 핸드 헬드 전자 디바이스(102)에 의해 방출된 광선의 방향이 시프트될 수 있음에도 불구하고, 도 6d에 도시된 바와 같이, 터치가 핸드 헬드 전자 디바이스(102)의 터치 감응 표면상에 홀드 또는 유지되는 한, 선택된 객체(X)는 여전히 선택 및 인에이블된 상태로 있게 된다. 이 시점에서, 핸드 헬드 전자 디바이스(102)의 터치 감응 표면상의 드래그 입력은 도 6e에 도시된 바와 같이 리스트를 스크롤하게 할 수 있다. 일부 실시 예에서, 광선 가시화는 드래그 입력에 응답하여 리스트가 스크롤함에 따라 외관을 변경하거나 사라질 수 있다. 도 6g에 도시된 바와 같이 사용자가 핸드 헬드 전자 디바이스(102)의 터치 감응 표면상의 터치/드래그 입력을 해제할 때까지, 상기 리스트는 도 6f에 도시된 바와 같이 스크롤을 계속할 수 있다.
선택된 객체(X)로부터 광선을 스냅(snap)하여 객체(X)의 선택을 해제 또는 취소하는 PT 제스처가 도 7a-7c에 도시된다. 도 7a에 도시된 바와 같이, 핸드 헬드 전자 디바이스(102)에 의해 방출된 광선이 객체(X)에 포커싱되면, 사용자는 도 7b에 도시된 바와 같이, 광선의 포커스를 객체(A)로부터 멀어지게 그리고 스크롤 가능한 리스트의 히트 영역(D)의 바깥으로 시프트하는 방식으로 핸드 헬드 전자 디바이스(102)를 움직이거나 방향을 바꿀 수 있고, 그런 다음 도 7c에 도시된 바와 같이, 핸드 헬드 전자 디바이스(102)의 터치 감응 표면상의 터치를 해제할 수 있다. 이러한 방식으로, 만일 사용자가 포커스를 설정하고 핸드 헬드 전자 디바이스의 터치 감응 표면을 터치하여 객체(X)에 포커스를 설정하는 경우, 핸드 헬드 전자 디바이스(102)를 객체(X)로부터 충분히 멀리 기울이면(angling) 터치를 필연적으로 해제하지 않고도 포커스를 해제하고 그리고/또는 선택을 취소할 수 있다.
도 8a-8d는 객체들 예컨대 도 2a 및 도 2b에 도시된 HMD(100)의 디스플레이(140) 상에 디스플레이된 객체들 및/또는 가상 현실 시스템의 다양한 다른 컴포넌트들의 동적 푸시-풀 로드 조작을 허용하는 PT 모드를 도시한다. 도 8a에 도시된 바와 같이, 핸드 헬드 전자 디바이스(102)에 의해 생성된 광선 또는 포인터 빔은 객체(X)까지 연장되거나 또는 객체(X)를 포인팅할 수 있다. 포인터 빔이 객체(X)에 포커싱되면, 핸드 헬드 전자 디바이스(102)는 객체(X)를 파지(grabbing)하는 동안 고정된 길이(객체(X)에 부착)로 포인터 빔을 설정할 수 있다. 포인터 빔에 의해 파지된 객체(X)는 핸드 헬드 전자 디바이스(102)가 움직이고 사용자의 터치가 도 8c에 도시된 바와 같이 푸시-풀 로드의 말단부에 부착된 것처럼 핸드 헬드 전자 디바이스(102)의 터치 감응 표면상에 유지된다. 객체(X)는 사용자의 터치가 핸드 헬드 전자 디바이스(102)의 터치 감응 표면으로부터 해제될 때 해제될 수 있다.
도달 및 터치(RT)유형의 입력이 도 9a-9e 및 도 10a-도 10d에 도시된다. 이러한 RT 유형의 입력은 예를 들어 사용자의 손(들) 및/또는 핸드 헬드 전자 디바이스를 사용하여 객체를 선택하고 조작하는 근접 기반 상호 작용을 포함할 수 있다. 특히, 도 9a-9e에 도시된 RT 유형의 입력은 객체 또는 리스트를 선택하고, 리스트 내의 객체를 스크롤하는 것을 도시하고, 도 10a-10d에 도시된 RT 유형의 입력은 객체를 선택하고, 선택된 객체를 움직이는 것을 도시한다.
도 9a-9e는 객체(X, Y 및 Z)의 중첩된 스크롤 가능한 리스트의 호버, 선택 및 스크롤을 포함하는 RT 상호 작용을 도시한다. 도 9a 및 도 9b를 참조하면, 사용자가 자신의 손 및/또는 핸드 헬드 전자 디바이스(102)를 스크롤 가능한 객체들 X, Y 및 Z의 리스트를 향해 움직이면, 예를 들어 사용자의 손에 가장 근접한 객체 또는 핸드 헬드 전자 디바이스의 단부(이 경우, 객체(X))가 도 9b에 도시된 바와 같이 하이라이트된다. 일부 실시 예에서, 핸드 헬드 전자 디바이스(102)에 의해 방출된 빔의 길이는 시각적으로 감소되어, 손 또는 핸드 헬드 전자 디바이스(102)에 대한 객체의 잠재적 접속의 부가적인 시각적 표시를 제공할 수 있다. 예를 들어 파지 동작 등과 같은 사용자의 손으로 미리 설정된 제스처 또는 핸드 헬드 전자 디바이스(102)의 터치 감응 표면상의 터치는 도 9c에 도시된 바와 같이, 가장 근접한 하이라이트된 객체(이 예에서 객체(X))를 선택할 수 있다. 스크롤 가능한 리스트 상의 풀링 동작은 리스트를 트리거하여 손의 파지 및/또는 핸드 헬드 전자 디바이스의 터치 감응 표면상의 터치가 도 9e에 도시된 바와 같이 해제될 때까지, 도 9d에 도시된 바와 같이 객체들(X, Y 및 Z)을 스크롤할 수 있다.
도 10a-10d는 움직임 가능한 객체를 선택하고 움직이기 위한 RT 유형의 입력을 도시한다. 도 10a-10b를 참조하면, 사용자가 그의 손 및/또는 핸드 헬드 전자 디바이스(102)를 스크롤 가능한 객체들(X, Y 및 Z)의 리스트를 향해 움직이면, 예를 들어 사용자의 손에 가장 근접한 객체 또는 핸드 헬드 전자 디바이스(102)의 단부가 도 10b에 보인 바와 같이 하이라이트된다(이 경우, 객체(X)). 예를 들어, 파지 동작 등 또는 핸드 헬드 전자 디바이스(102)의 터치 감응 표면상의 터치와 같은 사용자 손으로의 미리 설정된 제스처는 가장 근접한 하이라이트된 객체(이 경우 객체(X))를 선택할 수 있으며, 일단 파지되면, 객체는 도 10c에 도시된 바와 같이 사용자가 그의 손 및/또는 핸드 헬드 전자 디바이스(102)를 움직임에 따라 움직일 수 있다. 일부 실시 예에서, 선택된 객체는 사용자의 손 또는 핸드 헬드 전자 디바이스(102)의 단부에 대한 고정된 변환 오프셋으로 유지될 수 있지만, 객체가 선택된 상태로 있는 동안 사용자의 손 및/또는 핸드 헬드 전자 디바이스(102)가 움직임에 따라 객체가 움직인다. 사용자의 파지 해제 및/또는 핸드 헬드 전자 디바이스(102)의 터치 감응 표면상의 사용자 터치의 해제하에서, 객체는 도 10d에 도시된 바와 같이, 해제 위치로 재배치될 수 있다. 일부 실시 예에서, 해제된 객체는 설정된 그리드 또는 근처의 객체와 정렬될 수 있다.
제 1 객체에 포커스를 설정하고, 제 1 객체로부터 포커스를 해제하고, 포커스를 가상 세계의 제 2 객체로 시프트할 때, 다양한 유형의 입력들에 대해 어떻게 우선 순위를 두는지를 차별화하기 위해 다양한 접근 방식들이 취해질 수 있다. 즉, 전술한 바와 같이, 일부 실시 예들에서, 도 4a-5d에 도시된 시선 예들에서와 같이, 눈 시선 또는 헤드 시선에 의해 선택될 특정 객체에 초기 포커스가 설정될 수 있다. 일부 실시 예에서, 초기 포커스는 예를 들어, 핸드 헬드 전자 디바이스(102)에 의해 방출되고 도 6a-8d에 도시된 포이트 예들에서와 같이 포커스를 위해 선택될 객체로 향하는 광선 또는 빔의 포인트에 의해 선택될 특정 객체에 설정될 수 있다. 일부 실시 예에서, 초기 포커스는 예를 들어 도 9a-10d에 도시된 도달 예들에서와 같이 핸드 헬드 전자 디바이스(102) 및/또는 사용자의 손으로와 같은 그러한 도달 동작에 의해 선택될 특정 객체에 설정될 수 있다. 포커스를 해제하고 시프트하기 위한 특정 동작이 취해질 때까지 포커스가 해제되지 않고 다른 객체로 시프트된다. 일부 실시 예들에서, 상기 논의된 입력 모드들 중 하나를 구현하는 동작에 기초하여 포커스가 다른 객체로 시프트된 것으로 결정될 때 포커스가 해제될 수 있다. 설명 및 도시를 간단히 하기 위해, 객체(헤드 시선, 눈 시선, 포인트 및 도달)에 포커스를 설정하기 위한 4 가지 예시적인 입력 모드들은 간단히 4 개의 상이한 입력 모드(A, B, C, D)라 칭한다.
현재 포커스를 갖는 객체를 결정하기 위해 복수의 입력을 구별하는데 있어서, 포커스가 최근에 제 1 입력 모드(예를 들어, 헤드 시선, 눈 시선, 핸드 헬드 전자 디바이스(102)에 의해 방출된 광선, 핸드 헬드 전자 디바이스의 터치 감응 ㅍ표면에서의 터치, 도달/터치 제스처 등)를 사용하여 최근에 달성되면, 제 1 입력 모드는 다른 입력 모드보다 우선할 수 있다. 다수의 입력 모드 중에서 우선 순위를 설정하는 이 모드는 최근성(recency)이라 칭할 수 있다. 예를 들어, 만일 핸드 헬드 전자 디바이스(102)가 포커스를 설정하고 객체를 선택하는데 사용되고, 사용자가 디스플레이 상에 제시된 다른 객체들을 보기 위해 시선을 계속 시프트하는 경우, 핸드 헬드 전자 디바이스(102)를 통한 입력은 핸드 헬드 전자 디바이스(102)가 바로 최근에 사용 중이었기 때문에, 사용자의 시선에 대해 우선 순위를 계속 취할 수 있다. 그러나, 만일 핸드 헬드 전자 디바이스(102)가 어떤 방식으로 결합 해제(따로 설정, 턴오프, 범위 이탈 등)되면, 핸드 헬드 전자 디바이스(102)의 더 이상 의 최근 사용이 없음으로 해서 사용자의 시선(또는 다른 입력 모드)은 포커스가 다른 객체로 시프트하게 한다.
일부 실시 예들에서, 고정된 우선 순위 접근법은 다양한 상이한 유형의 입력들(A, B, C, D) 중에서 우선 순위를 구별하여 설정하는데 사용될 수 있다. 예를 들어, 일부 실시 예들에서, 입력 모드들(A, B, C, D) 각각에 우선 순위 값이 할당될 수 있다. 예를 들어, 4 개의 입력 모드들(A, B, C, D)에는 우선 순위 값, 예를 들어 1, 2, 3 또는 4가 할당될 수 있고, 우선 순위 값 4가 할당된 입력 모드는 최고 우선 순위 입력 모드이고, 우선 순위 값 1이 할당된 입력 모드는 가장 낮은 우선 순위 입력 모드이고, 입력 모드들 중 두 개의 입력 모드에는 동일한 우선 순위 값이 할당되지 않았다. 일부 실시 예에서, 상이한 입력 모드들(A, B, C, D)에 대한 이들 우선 순위 값은 공장 세팅으로서 설정될 수 있다. 일부 실시 예에서, 상이한 입력 모드 A, B, C 및 D에 대한 이들 우선 순위 값은 예를 들어 특정 HMD(100)와 핸드 헬드 전자 디바이스(102) 쌍에 대해 세팅될 수 있거나, 또는 특정 사용자에 특정적인 사용자 프로파일에서 세팅될 수 있다. 일부 실시 예에서, 이러한 우선 순위 값은 시스템 또는 사용자에 의해, 예를 들어 특정 가상 환경 등에 대해 변화 및/또는 재세팅(resetting)될 수 있다.
도 11에 도시된 바와 같이, 블록(1110)에서 제 1 입력을 수신함에 기초하여 블록(1120)에서 제 1 객체 상에 포커스가 설정되고 유지될 수 있다. 블록(1130)에서 제 2 객체에 포커스된 제 2 입력이 수신되면, 블록(1140)에서 제 2 입력의 우선 순위 값이 제 1 객체에 대한 포커스를 설정한 제 1 입력의 우선 순위 값보다 큰지가 결정된다. 제 2 입력의 우선 순위 값이 제 1 입력의 우선 순위 값보다 크면, 제 2 입력과 관련된 입력 모드를 구현함으로써, 사용자가 포커스를 제 2 객체로 시프트하려는 것으로 결정되고, 포커스가 제 1 객체로부터 해제되어 제 2 객체로 시프트된다. 제 2 입력의 우선 순위 값이 제 1 입력의 우선 순위 값보다 작으면 제 1 객체에 포커스가 유지된다. 이 방법은 전술된 바와 같이 관련된 우선 순위를 각각 갖는 모드(A, B, C, D)와 같은 복수의 입력 모드가 사용자에게 이용가능할 때, 다수 입력들 중 어느 입력에 대해 포커스 해제, 시프트 및 설정하는데 우선 순위를 두어야 하는지를 결정할 때 적용될 수 있다.
이러한 방식으로, 포커스는 예를 들어, 도 4g 및 도 6g에 도시된 바와 같이 핸드 헬드 전자 디바이스(102)의 터치 표면상의 터치/드래그를 해제하거나, 도 7c에 도시된 바와 같이 스냅 홀드를 해제하거나, 도 8d에 도시된 바와 같이 푸시-풀 로드를 해제하거나, 혹은 도 9e 및 10d에 도시된 바와 같이 파지/도달을 해제하는 것과 같은 그러한 특정 해제 동작 없이도 제 1 객체(X)로부터 해제되어 제 2 객체(Y)로 시프트될 수 있다.
다수의 입력 모드들을 서로에 대해 우선순위화 하는 한가지 기술적인 효과는 특정 객체로부터 포커스를 명시적으로 해제할 필요성을 피하면서도 여전히 포커스를 시프트할 수 있는 방식으로 다수의 입력 모드들을 사용자에게 제공할 수 있다는 것이다. 이는, 어떤 면에서, 가상 현실 상호 작용에 대해 "추가적인 차원(further dimension)"을 가능하게 하는데 그 이유는 객체의 선택 변경은 이전에 선택한 객체를 명시적으로 해제함은 물론 높은 우선순위를 갖는 입력 모드를 이용하여 다른 객체에의 포커스를 변경함으로써 만들어질 수 있기 때문이다. 이는 필요한 상호 작용의 수를 줄이며(어떤 능동 해제도 불필요함), 동시에 이는 또한 사용자 상호 작용의 차원을 증가시킨다. 그러나 이는 우선 순위화에 의해 달성되는 단지 하나의 기술적 효과뿐이며 다른 효과들 또한 존재한다. 일반적으로 말해서, 입력 모드의 우선 순위화는 상호 작용의 차원을 향상시키고 이에 따라 가상 현실과의 사용자 상호 작용의 유연성을 향상시키며 그럼으로써 사용자로 하여금 기존에는 제공되지 않았던 방식으로 가상 세계에서의 객체들에 영향을 미치고, 객체들을 선택 및 제어할 수 있게 해준다.
이러한 가상 현실 객체들은 가상 현실에 디스플레이된다 하더라고 "물리적 엔티티들(physical entities)"에 해당하므로, 이러한 접근법은 데이터의 단순한 표현에 관련될 뿐만 아니라 실제 엔티티와의 상호 작용 및 제어에 관련된다.
일부 실시 예들에서, 적응성 우선 순위 접근법은 다양한 상이한 입력 모드들 A, B, C 및 D 사이에서 우선 순위를 구별하고 설정하는데 사용될 수 있다. 예를 들어, 일부 실시 예들에서, 우선 순위 값은 실제 사용에 기초하여 입력 모드들 A, B, C 및 D 각각에 대해 결정될 수 있는바, 객체에 포커스를 설정하기 위해 가장 빈번하게 구현되는 입력 모드에는 가장 높은 우선순위 값이 할당되고, 객체에 포커스를 설정하기 위해 가장 덜 빈번하게 구현되는 입력 모드에는 가장 낮은 우선 순위 값이 할당된다. 일부 실시 예에서, 각각의 입력 모드에 할당된 우선 순위 값은 사용에 기초하여 변경될 수 있다. 예를 들어, 일부 실시 예에서, 우선 순위 값들은 특정 기간 동안의 사용 또는 특정 가상 체험 또는 게임 등에 기초하여 자동 또는 수동으로 주기적으로 갱신될 수 있다. 도 11에 도시된 방법은 고정된 우선 순위 값에 관하여 전술한 것과 유사한 방식으로 포커스를 해제하고 시프트하기 위해 이들 적응성 우선 순위 값을 사용하여 구현될 수 있다.
일부 실시 예들에서, 타겟 사이즈(예컨대, 포커스 객체의 사이즈)는 상이한 입력 모드들 A, B, C 및 D에 대한 우선 순위들을 결정할 수 있다. 예를 들어, 일부 실시 예들에서, 가상 세계에서의 상대적으로 작은 타겟 객체에는 이 타겟 객체에 포커스를 설정하기 위해, 헤드 시선 또는 눈 시선 입력보다는 포인트 입력(도 6b) 또는 도달/터치 입력(도 9b)에 높은 우선 순위를 할당한다. 일부 실시 예에서, 가상 세계에서의 상대적으로 큰 타겟 객체에는 이 타겟 객체에 포커스를 설정하기 위해, 포인트 입력 또는 도달/터치 입력보다는 시선 입력(도 4b의 헤드 시선 입력 또는 눈 시선 입력)에 높은 우선 순위를 할당한다. 따라서, 일부 실시 예들에서, 특정 가상 몰입 환경의 상이한 객체들 각각 또는 객체들의 그룹에는 객체(들)의 사이즈와 같은 그러한 객체(객체 그룹)의 특성에 기초하여 상이한 입력 모드들에 대해 그 자신의 우선 순위 세트를 할당할 수 있다. 도 11에 도시된 방법은 고정된 우선 순위 값에 관하여 전술한 것과 유사한 방식으로 포커스를 해제 및 시프트하기 위한 이들 적응성 우선 순위 값들을 사용하여 구현될 수 있다.
일부 실시 예들에서, 거리(예컨대, 가상 세계에서 객체가 사용자로부터 보이는 거리)는 상이한 입력 모드들 A, B, C 및 D에 대한 우선 순위들을 결정할 수 있다. 예를 들어, 일부 실시 예들에서, 객체 가상 세계에서 사용자에게 상대적으로 가까이 있는 것처럼 보이는 객체에는 이 상대적으로 가까운 객체에 포커스를 설정하기 위해, 포인트 입력 또는 시선 입력보다는 도달/터치 입력(도 9b)에 높은 우선 순위가 할당된다. 일부 실시 예에서, 가상 세계에서 사용자로부터 상대적으로 멀리 떨어져 있는 것처럼 보이는 객체에는 이 상대적으로 멀리 떨어져 있는 객체에 포커스를 설정하기 위해, 도달/터치 입력보다는 포인트 입력(도 6b) 또는 시선 입력(도 4b의 헤드 시선 또는 눈 시선)에 높은 우선 순위가 할당된다. 따라서, 일부 실시 예들에서, 특정 가상 몰입 환경의 상이한 객체들 각각 또는 객체들의 그룹에는 사용자로부터의 객체(들)의 인지 거리와 같은 그러한 객체(객체 그룹)의 특성에 기초하여 상이한 입력 모드들에 대해 그 자신의 우선 순위 세트를 할당할 수 있다. 도 11에 도시된 방법은 고정된 우선 순위 값에 관하여 전술한 것과 유사한 방식으로 포커스를 해제 및 시프트하기 위한 이들 적응성 우선 순위 값들을 사용하여 구현될 수 있다.
일부 실시 예들에서, 가상 세계에서 사용자로부터 상대적으로 멀리 떨어져 나타나는 객체 또는 객체들의 세트는, 예를 들어 전술한 바와 같이 눈 시선 또는 헤드 시선에 의해 선택될 수 있다. 가상 세계에서 사용자로부터 상대적으로 먼 거리에 있는 객체(들)와의 사용자 상호 작용을 용이하게 하기 위해, 사용자는 예를 들어, 사용자의 손이 HMD(100)에 의해 추적되는 도달 체스처 및 사용자의 손 및/또는 핸드 헬드 전자 디바이스(102)로 변환된 손의 움직임과 같은 그러한 다른 입력 모드들 중 하나를 사용하여 상호 작용 및/또는 조작을 위해 객체를 가까이로 당기기를 원할 수 있다. 단거리 시선 입력 상호 작용과 단거리 터치 또는 도달 상호 작용 사이에서의 이러한 동적 전환은 다양한 상이한 사용자 입력들, 동작들 또는 신호들에 의해 트리거 될 수 있다. 예를 들어, 일부 실시 예에서, 시선 입력을 갖는 객체(들)에 포커스가 설정된 후에, 이 객체(들)는 예를 들어 도달/터치 상호 작용을 위해, 핸드 헬드 전자 디바이스(102)의 터치 감응 표면상의 터치 입력에 의해, 시스템이 동작되는 6 자유도 공간(six degree of freedom (6DOF) space) 내에서의 핸드 헬드 전자 디바이스(102)의 움직임에 의해, HMD(100)의 제어 컴포넌트와의 상호 작용에 의해 및 기타 등등에 의해 더욱 가깝게 당겨질 수 있다.
일부 실시 예에서, 시선 입력을 갖는 객체(들)에 포커스가 설정된 후에, 객체(들)는 예를 들어 도달/터치 상호 작용을 위해 그리고/또는 보다 세분화된 및/또는 확장된 시각화을 위해, 객체들을 시각적 도달 및/또는 터치 범위 내로 끌어당기라는 커맨드로서 HMD(100)에 의해 인식되는 제스처에 의해 더욱 가깝게 당겨질 수 있다. 일부 실시 예에서, HMD(100)에 의해 인식되는 제스처는 예를 들어, HMD(100)의 센서(예를 들어, 카메라(180))에 의해 검출되고 HMD(100)의 프로세서(190) 및/또는 제어기(170)에 의해 처리되는 손 및/또는 팔 제스처일 수 있다. 이하 설명 및 예시를 간단히 하기 위해, 가상 세계에서 사용자로부터 상대적으로 멀리 떨어져 있는 것처럼 보이는 포커스 객체(들)을 향해 도달하는 손/팔 제스처를 비롯한 사용자 제스처는 포커스의 객체에 기초하여, 포커스를 설정하기 위한 장거리 눈 시선 입력과 가상 세계에서 조작 및 상호 작용하기 단거리 도달/터치 입력 사이에서의 동작 전환을 위한 트리거로서 설명될 것이다. 그러나, 다른 제스처들을 비롯한 다른 트리거들도 이러한 유형의 동적 전환을 유발할 수 있다.
이러한 유형의 동적 전환의 일례가 도 12a-12g에 도시된다. 도 12a에 도시된 바와 같이, 사용자 인터페이스가 사용자에게 제시된다. 도 12a에 도시된 예시적인 사용자 인터페이스는, 원거리 장(far field) 디스플레이에 제시되는 객체들(20A)의 리스트(20) 또는 그룹이다. 즉, 이 구현 예에서, 사용자 인터페이스는 가상 세계에서 사용자로부터 상대적으로 먼 거리의 벽에 있는 것처럼 사용자에게 제시될 수 있다. 일부 실시 예에서, 객체들의 리스트(20)의 원거리 장 디스플레이는 이 객체들이 가상 세계에서 사용자로부터 8 피트 또는 8 피트 이상의 거리에 있는 것처럼 나타날 수 있다. 일부 실시 예에서, 객체들의 리스트(20)의 원거리 장 디스플레이는 이 객체들이 예를 들어 가상 세계에서 사용자로부터 8 피트 미만의 거리에 있는 것처럼 나타날 수 있다. 사용자의 시선(헤드 시선 또는 눈의 시선)이 사용자 인터페이스를 교차하고 그리고 특히, 도 12b에 도시된 바와 같이 객체(20A)의 리스트(20)를 교차함에 따라, 사용자의 포커스가 전술한 바와 같이 객체(20A)의 리스트(20) 상에 설정될 수 있다.
객체(20A)의 리스트(20) 상에 포커스가 설정되면, 예를 들어 도 12c에 도시된 바와 같은 사용자 손/팔 제스처와 같은 트리거 동작이 (객체의 원거리 장 디스플레이와 관련된) 장거리 시선 입력 모드로부터 단거리 도달/터치 입력 모드로의 동적 전환을 트리거하여 근거리 장 디스플레이에서 객체(20A)의 리스트(20)를 사용자에게 더 가깝게 끌어당겨 도 12d에 도시된 바와 같이 도달 및/또는 터치 입력을 용이하게 할 수 있다. 이어서, 사용자는 도 12e에 도시된 바와 같이 객체(20A)의 리스트(20)로부터 객체(20A)에 도달하여 이를 선택하며 이에 따라 사용자는 도 12f에 도시된 바와 같이 도달/터치 입력으로 객체(20A)와 상호 작용하고 그리고/또는 이 객체를 조작할 수 있다. 일부 실시 예에서, 객체의 리스트(20)의 근거리 장 디스플레이는, 이 객체들이 예를 들어 가상 세계에서 사용자로부터 약 1.5 피트 또는 1.5 피트 미만의 거리에 있는 것처럼 나타날 수 있다. 일부 실시 예에서, 객체들의 리스트(20)의 근거리 장 디스플레이는, 이 객체들이 예를 들어 가상 세계에서 사용자로부터 약 1.5 피트보다 멀리 떨어진 거리에 있는 것처럼 나타날 수 있다.
일부 실시 예에서, 동적 전환 트리거에 응답하여 객체들(20A)이 사용자에 더 가까이 당겨지고 그리고 객체들(20A)이 도 12a-12c에 도시된 원거리 장 디스플레이로부터 도 12d - 12f에 도시된 근거리 장 디스플레이로 천이함에 따라, 객체들(20A) 중 하나 이상은 객체들의 사용자 선택, 객체들과의 상호 작용 및 객체들의 조작을 용이하게 하기 위해 추가적인 피쳐들, 정보 및 입도(granularity)를 포함하도록 형태를 모핑 또는 변경할 수 있다. 도 12a-12f에 도시된 예에서, 도 12a-12c에 보인 리스트(20)의 예시적인 객체들(20A)은 예를 들어 영화 제목 및/또는 책 제목 및/또는 게임 제목의 리스트와 연관된 이미지일 수 있다. 도달 및/또는 터치 상호 작용을 위해 리스트(20)가 사용자에 더 가까이 당겨짐에 따라, 리스트(20) 내의 객체들(20A)은 도 12d-12f에 도시된 바와 같이 사용자 선택 및 상호 작용을 용이하게 하도록 모핑될 수 있다. 객체가 영화 제목 및/또는 책 제목 및/또는 게임 제목을 포함하는 이 예에서, 객체들(20A)은 예를 들어, 전체 제목, 제목과 관련된 정지 및/또는 동화상, 제목과 관련된 장르, 제목과 관련된 길이(실행 시간, 페이지 수 등), 및 사용자 선택 및/또는 상호 작용을 용이하게 할 수 있는 다른 피쳐들을 포함하도록 모핑될 수 있다.
일부 실시 예에서, 동적 전환 트리거에 응답하여 객체들(20A)이 사용자에게 더 가까이 당겨지고, 객체들(20A)이 도 12a-12c에 도시된 원거리 장 디스플레이로부터 도 12d-12f에 도시된 근거리 장 디스플레이로 천이하고, 객체들(20A)이 전술한 바와 같이 모핑됨에 따라, 객체들(20A)은 또한 애니메이션되고, 원거리 장 디스플레이로부터 근거리 장 디스플레이로 시각적으로 움직일 수 있다. 이 객체들이 원거리 장 디스플레이와 근거리 장 디스플레이 사이에서 움직이고 모핑되는 때의 이 객체들의 에니메이션은 객체(20A)의 리스트(20)에서 진행중인 변화들에 대한 시각적 표시자를 사용자에게 제공하고 사용자의 참여(engagement)를 유지할 수 있다.
도 12a-12f에 도시된 예시적인 구현 예에 포함된 객체(20A)의 리스트(20)는 설명 및 도시를 쉽게 하기 위해 제목(영화 제목, 책 제목, 게임 제목 등)을 포함한다. 그러나, 전술한 동적 전환은, 예를 들어, 장거리 시야 입력 모드로부터 단거리 도달/터치 입력 모드의 동적 전환이 가상 세계에서 객체와의 사용자 상호 작용을 용이하게 할 수 있는 가상 게임물 및 장비, 가상 쇼핑 환경의 아이템들 및 수많은 다른 인스턴스들과 같은 그러한 수많은 다른 상이한 유형의 객체들을 포함하는 리스트에도 적용될 수 있다.
또한, 도 12a-12f에 도시된 바와 같은 예시적인 구현 예에서, 객체들(20A)의 리스트(20)로부터의 어느 한 객체(20A)의 선택뿐만 아니라 이 선택된 객체(20A)와의 상호 작용은 사용자의 손으로 수행된다. 그러나, 선택된 객체(20A)와의 상호 작용 및 조작은 또한 도 9a-10d와 관련하여 전술한 바와 같이 핸드헬드 전자 디바이스(102)로 행해질 수도 있다.
본 명세서에 광범위하게 기술된 실시 예들에 따른 동적 전환의 예가 도 13에 도시된다. 블록(1310)에서 일단 몰입 가상 체험에 참여하면, 만일 제 1 입력이 제 1 입력 모드를 사용하여 수신되면(블록 1320), 포커스가 객체들의 리스트에 설정된다(블록 1330). 일부 실시 예에서, 제 1 입력 모드를 사용하는 제 1 입력은, 예를 들어, 가상 세계에서 사용자로부터 상대적으로 멀리 나타나는, 객체들의 리스트와 같은 그러한 사용자 인터페이스에서의 시선 입력(헤드 시선 및/또는 눈 시선)일 수 있다. 일단 객체들의 리스트에 포커스가 설정되면, 만일 동적 전환을 트리거하는 입력이 수신되면, 객체들의 리스트는 제 1 입력 모드와 다른 제 2 입력 모드를 사용하여 상호 작용을 용이하게 하도록 모핑될 수 있다. 일부 실시 예에서, 동적 전환을 트리거하는 입력은, 예를 들어 전술한 바와 같이 HMD의 이미지 센서에 의해 캡처된 손 및/또는 팔 제스처, 또는 다른 입력 동작일 수 있다. 일부 실시 예에서, 동적 전환을 트리거하는 입력 동작은 입력 모드가 (객체들의 리스트에 포커스를 설정한) 시선 입력 모드로부터, 예컨대 객체들의 리스트에서 개별 객체(들)과 상호 작용을 용이하게 할 수 있는 도달 및/또는 터치 입력 모드로 전환하게 한다.
동적 전환 트리거에 응답하여, 객체들의 리스트가 예컨대, 전술한 바와 같은 도달 및/또는 터치 입력 모드와 같은 제 2 입력 모드를 사용하여 사용자 상호 작용을 용이하게 하기 위해 객체들의 리스트가 모핑될 수 있다. 리스트내의 객체들의 모핑은, 도달 및/또는 터치 입력 모드를 사용하여 객체와의 사용자 상호 작용을 용이하게하기 위해, 예를 들어 객체들이 가상 세계에서 사용자에게 더 가깝게 나타나 사용자의 도달 범위 내에서 놓이도록 객체들을 시각적으로 모핑하고, 객체들과 관련된 이미지 및/또는 텍스트 및/또는 다른 특징을 추가 및/또는 변경하는 것 등을 포함할 수 있다. 제 2 입력 모드를 사용하여 제 2 입력을 수신함에 응답하여(블록 1360), 객체들의 리스트로부터 객체가 선택되고 제 2 입력 모드를 사용하여 조작될 수 있다. 예를 들어, 사용자는 객체를 선택하기 위해 리스트에 포함된 객체 들중 하나(가상 세계에서 모핑 후 사용자의 도달 범위에 있는)를 터치하고 이어서 도달 터치 입력을 사용하여 객체를 조작할 수 있다.
이러한 방식으로, 객체들 및 객체들의 리스트는 사용자에 의해 사용되는 입력 모드에 기초하여 객체들의 선택, 상호 작용 및 조작을 용이하게 하는 가상 세계에서 사용자로부터 소정 거리에 시각적으로 위치될 수 있다. 따라서 모핑은 우선 순위화와 유사하게, 우선 순위화에 추가적으로 혹은 가능하게는 우선 순위화하는 독립적으로 사용자 상호 작용의 차원을 한층 더 향상시키는 기술적 효과를 가질 수 있다.
도 14는 일반적인 컴퓨터 디바이스(1400) 및 일반적인 모바일 컴퓨터 디바이스(1450)의 예를 도시하며, 이는 여기에 설명된 기술들과 함께 사용될 수 있다. 컴퓨팅 디바이스(1400)는 랩톱, 데스크탑, 태블릿, 워크 스테이션, 개인용 디지털 보조 디바이스, 텔레비전, 서버, 블레이드 서버, 메인 프레임 및 다른 적절한 컴퓨팅 디바이스와 같은 다양한 형태의 디지털 컴퓨터를 나타 내기위한 것이다. 컴퓨팅 디바이스(1450)는 개인용 디지털 보조 디바이스, 셀룰러 전화, 스마트 폰 및 다른 유사한 컴퓨팅 디바이스와 같은 다양한 형태의 모바일 디바이스를 나타 내기위한 것이다. 여기에 나타낸 컴포넌트, 이들의 접속 및 관계, 및 그들의 기능은 단지 예시적인 것으로 의도되며, 본 명세서에 기재된 및/또는 청구된 발명의 구현을 제한하지 않는다.
컴퓨팅 디바이스(1400)는 프로세서(1402), 메모리(1404), 저장 디바이스(1406), 메모리(1404)에 연결된 고속 인터페이스(1408), 고속 확장 포트(1410), 저속 버스(1414) 및 저장 디바이스)1406)에 연결되는 저속 인터페이스(1412)를 포함한다. 프로세서(1402)는 반도체 기반 프로세서 일 수 있다. 메모리(1404)는 반도체 기반 메모리 일 수 있다. 컴포넌트(1402, 1404, 1406, 1408, 1410 및 1412) 각각은 다양한 버스를 사용하여 상호 연결되며, 공통 마더 보드 상에 또는 적절한 다른 방식으로 마운트 될 수 있다. 프로세서(1402)는 메모리(1404) 또는 저장 디바이스(1406)에 저장된 명령을 포함하는, 컴퓨팅 디바이스(1400) 내에서 실행하기위한 명령을 처리하여 고속 인터페이스(1408)에 결합된 디스플레이(1416)와 같은 외부 입/출력 디바이스상의 GUI에 대한 그래픽 정보를 디스플레이할 수 있다. 다른 구현 예에서, 적절한 경우, 복수의 메모리 및 유형의 메모리와 함께, 복수의 프로세서 및/또는 복수의 버스가 사용될 수 있다. 또한, 복수의 컴퓨팅 디바이스(1400)가 접속될 수 있으며, 각각의 디바이스(예를 들어, 서버 뱅크, 블레이드 서버 그룹 또는 멀티 프로세서 시스템)는 필요한 동작의 일부를 제공한다. 메모리(1404)는 컴퓨팅 디바이스(1400) 내에 정보를 저장한다. 일 실시 예에서, 메모리(1404)는 휘발성 메모리 유닛(들)이다. 또 다른 구현에서, 메모리(1404)는 비 휘발성 메모리 유닛(들)이다. 메모리(1404)는 또한 자기 또는 광학 디스크와 같은 컴퓨터 판독 가능 매체의 다른 형태 일 수 있다.
저장 디바이스(1406)는 컴퓨팅 디바이스(1400)에 대용량 저장 디바이스를 제공할 수 있다. 일 구현 예에서, 저장 디바이스(1406)는 플로피 디스크 디바이스, 하드 디스크 디바이스, 광학 디스크 디바이스 또는 테이프 디바이스, 플래시 메모리 또는 다른 유사한 고체 상태 메모리 디바이스와 같은 컴퓨터 판독 가능 매체 또는 스토리지 영역 네트워크의 디바이스 또는 다른 구성을 포함하는 디바이스일 수 있거나 이들을 포함할 수 있다. 컴퓨터 프로그램 제품은 정보 캐리어에 유형적으로 수록될 수 있다. 컴퓨터 프로그램 제품은 또한 실행될 때 전술한 바와 같은 하나 이상의 방법을 수행하는 명령을 포함할 수 있다. 정보 캐리어는 메모리(1404), 저장 디바이스(1406) 또는 프로세서(1402)상의 메모리와 같은 컴퓨터 또는 기계 판독 가능 매체이다.
고속 제어기(1408)는 컴퓨팅 디바이스(1400)에 대한 대역폭 집중적인 동작을 관리하고, 저속 제어기(1412)는 낮은 대역폭 집중적인 동작을 관리한다. 이러한 기능들의 할당은 단지 예시적인 것이다. 일 구현 예에서, 고속 제어기(1408)는 다양한 확장 카드(도시되지 않음)를 수용할 수 있는 고속 확장 포트(1410) 및 메모리(1404), 디스플레이(1416)에 연결된다. 구현 예에서, 저속 제어기(1412)는 저장 디바이스(1406) 및 저속 확장 포트(1414)에 연결된다. 다양한 통신 포트(예를 들어, USB, 블루투스, 이더넷, 무선 이더넷)를 포함할 수 있는 저속 확장 포트는 키보드, 포인팅 디바이스, 스캐너 또는 예를 들어 네트워크 어댑터를 통한 스위치 또는 라우터와 같은 네트워킹 디바이스와 같은 그러한 하나 이상의 입력/출력 디바이스에 연결될 수 있다.
컴퓨팅 디바이스(1400)는 도면에 도시된 바와 같이 복수의 상이한 형태로 구현 될 수 있다. 예를 들어, 표준 서버(1420)로서 구현되거나, 또는 그러한 서버들의 그룹에서 여러 번 구현될 수 있다. 또한, 랙 서버 시스템(1424)의 일부로서 구현될 수도 있다. 또한, 랩탑 컴퓨터(1422)와 같은 퍼스널 컴퓨터에서 구현 될 수도있다. 대안적으로, 컴퓨팅 디바이스(1400)로부터의 컴포넌트는 디바이스(1450)와 같은 움직임 디바이스(도시되지 않음)의 다른 컴포넌트와 결합 될 수 있다. 이러한 디바이스 각각은 컴퓨팅 디바이스(1400, 1450) 중 하나 이상을 포함할 수 있으며, 전체 시스템은 서로 통신하는 복수의 컴퓨팅 디바이스(1400, 1450)로 구성 될 수 있다.
컴퓨팅 디바이스(1450)는 다른 컴포넌트들 중에서 프로세서(1452), 메모리(1464), 디스플레이(1454)와 같은 입/출력 디바이스, 통신 인터페이스(1466) 및 송수신기(1468)를 포함한다. 디바이스(1450)는 추가 저장 디바이스를 제공하기 위해 마이크로 드라이브 또는 다른 디바이스와 같은 저장 디바이스를 또한 구비할 수 있다. 컴포넌트들(1450, 1452, 1464, 1454, 1466 및 1468) 각각은 다양한 버스를 사용하여 상호 접속되며, 몇몇 컴포넌트는 공통 마더 보드 상에 또는 적절하게 다른 방식으로 마운트 될 수 있다.
프로세서(1452)는 메모리(1464)에 저장된 명령을 포함하여 컴퓨팅 디바이스(1450) 내의 명령을 실행할 수 있다. 프로세서는 개별 및 다중 아날로그 및 디지털 프로세서를 포함하는 칩의 칩셋으로서 구현 될 수 있다. 프로세서는 예를 들어 사용자 인터페이스의 제어, 디바이스(1450)에 의해 실행되는 애플리케이션 및 디바이스(1450)에 의한 무선 통신과 같은 디바이스(1450)의 다른 컴포넌트들의 조정을 제공할 수 있다.
프로세서(1452)는 제어 인터페이스(1458) 및 디스플레이(1454)에 연결된 디스플레이 인터페이스(1456)를 통해 사용자와 통신할 수 있다. 디스플레이(1454)는 예를 들어, TFT LCD(박막 트랜지스터 액정 디스플레이) 또는 OLED(유기 발광 다이오드) 디스플레이, 또는 다른 적절한 디스플레이 기술일 수 있다. 디스플레이 인터페이스(1456)는 사용자에게 그래픽 및 다른 정보를 제공하기 위해 디스플레이(1454)를 구동하기위한 적절한 회로를 포함할 수 있다. 제어 인터페이스(1458)는 사용자로부터 명령을 수신하고 프로세서(1452)에 제출하기 위해 이들을 변환할 수 있다. 또한, 외부 인터페이스(1462)는 프로세서(1452)와 통신하여 제공되어, 디바이스(1450)의 다른 디바이스와 근거리 통신을 가능하게할 수 있다. 외부 인터페이스(1462)는 예를 들어, 일부 구현 예에서 유선 통신을 위해, 또는 다른 구현 예에서 무선 통신을 제공할 수 있으며, 다중 인터페이스가 또한 사용될 수 있다.
메모리(1464)는 컴퓨팅 디바이스(1450) 내의 정보를 저장한다. 메모리(1464)는 컴퓨터 - 판독 가능 매체 또는 매체, 휘발성 메모리 유닛 또는 비 휘발성 메모리 유닛들 중 하나 이상으로서 구현 될 수 있다. 확장 메모리(1474)는 또한 예를 들어 SIMM(Single In Line Memory Module) 카드 인터페이스를 포함할 수있는 확장 인터페이스(1472)를 통해 디바이스(1450)에 제공되고 접속 될 수 있다. 이러한 확장 메모리(1474)는 디바이스(1450)를위한 여분의 저장 공간을 제공하거나 디바이스(1450)에 대한 애플리케이션 또는 다른 정보를 저장할 수도있다. 구체적으로, 확장 메모리(1474)는 전술한 프로세스를 수행하거나 보충하기위한 명령을 포함할 수 있으며, 또한 보안 정보를 포함할 수 있다. 따라서, 예를 들어, 확장 메모리(1474)는 디바이스(1450)에 대한 보안 모듈로서 제공 될 수 있고 디바이스(1450)의 안전한 사용을 허용하는 명령들로 프로그램 될 수 있다. 또한 보안 응용 프로그램은 SIMM 카드에 식별 정보를 해킹할 수 없게 배치하는 것과 같은 추가 정보와 함께 SIMM 카드를 통해 제공 될 수 있다.
메모리는 예를 들어, 후술되는 바와 같이, 플래시 메모리 및/또는 NVRAM 메모리를 포함할 수 있다. 일 실시 예에서, 컴퓨터 프로그램 제품은 정보 매체에 확실하게 구체화된다. 컴퓨터 프로그램 제품은 실행될 때 위에 설명된 것과 같은 하나 이상의 방법을 수행하는 지침을 포함한다. 정보 매체는 예를 들어 송수신기(1468) 또는 외부 인터페이스(1462)를 통해 수신 될 수있는 메모리(1464), 확장 메모리(1474) 또는 프로세서(1452)상의 메모리와 같은 컴퓨터 또는 기계 판독 가능 매체이다.
디바이스(1450)는 필요한 경우 디지털 신호 처리 회로를 포함할 수있는 통신 인터페이스(1466)를 통해 무선으로 통신할 수 있다. 통신 인터페이스(1466)는 GSM 음성 호출, SMS, EMS 또는 MMS 메시징, CDMA, TDMA, PDC, WCDMA, CDMA2000 또는 GPRS와 같은 다양한 모드 또는 프로토콜 하에서 통신을 제공할 수 있다. 이러한 통신은 예를 들어 무선 주파수 송수신기(1468)를 통해 발생할 수 있다. 또한, 블루투스, WiFi 또는 다른 트랜시버(도시되지 않음)를 사용하는 것과 같은 단거리 통신이 발생할 수 있다. 또한, GPS(Global Positioning System) 수신기 모듈(1470)은 디바이스(1450)상에서 실행되는 애플리케이션에 의해 적절히 사용될 수있는 추가의 네비게이션 및 위치 관련 무선 데이터를 디바이스(1450)에 제공할 수 있다.
디바이스(1450)는 또한 사용자로부터 음성 정보를 수신하여 그것을 이용 가능한 디지털 정보로 변환할 수있는 오디오 코덱(1460)을 사용하여 청각 적으로 통신할 수 있다. 오디오 코덱(1460)은 마찬가지로, 예를 들어 디바이스(1450)의 핸드셋에있는 스피커를 통해, 사용자를위한 가청 사운드를 생성할 수 있다. 이러한 사운드는 음성 전화 호출로부터의 사운드를 포함할 수 있고, 녹음된 사운드(예를 들어, 음성 메시지, 음악 파일 등)를 포함할 수 있으며, 또한 디바이스(1450)상에서 동작하는 애플리케이션에 의해 생성된 사운드를 포함할 수 있다.
컴퓨팅 디바이스(1450)는 도면에 도시된 바와 같이 복수의 상이한 형태로 구현 될 수 있다. 예를 들어, 셀룰러 전화기(1480)로서 구현 될 수 있다. 그것은 또한 스마트 폰(1482), PDA 또는 다른 유사한 모바일 디바이스의 일부로서 구현 될 수도있다.
여기에 설명된 시스템 및 기술의 다양한 구현은 디지털 전자 회로, 집적 회로, 특수 설계된 ASIC (주문형 집적 회로), 컴퓨터 하드웨어, 펌웨어, 소프트웨어 및/또는 이들의 조합을 포함할 수 있다. 이러한 다양한 구현은 데이터 및 명령을 수신하고 데이터를 전송하도록 결합된, 특수 또는 범용 일 수있는 적어도 하나의 프로그램 가능 프로세서를 포함하는 프로그램 가능 시스템상에서 실행 가능하고 및/또는 해석 가능한 하나 이상의 컴퓨터 프로그램에서의 구현을 포함할 수 있다 및 저장 시스템, 적어도 하나의 입력 디바이스, 및 적어도 하나의 출력 디바이스에 대한 명령을 포함한다.
이러한 컴퓨터 프로그램(프로그램, 소프트웨어, 소프트웨어 응용 또는 코드로도 알려짐)은 프로그램 가능 프로세서에 대한 기계 명령어를 포함하며, 높은 수준의 절차 및/또는 객체 지향 프로그래밍 언어 및/또는 어셈블리/머신에서 구현 될 수 있다 언어. 여기에서 사용되는 "기계 판독 가능 매체", "컴퓨터 판독 가능 매체"라는 용어는(예를 들어, 자기 디스크, 광 디스크, 메모리, 프로그램 가능 논리 디바이스(PLD)와 같은) 임의의 컴퓨터 프로그램 제품, 디바이스 및/기계 판독 가능 신호로서 기계 명령을 수신하는 기계 판독 가능 매체를 포함하는, 프로그램 가능 프로세서에 기계 명령 및/또는 데이터를 제공한다. "기계 판독 가능 신호"라는 용어는 기계 명령어 및/또는 데이터를 프로그램 가능 프로세서에 제공하기 위해 사용되는 모든 신호를 의미한다.
사용자와의 상호 작용을 제공하기 위해, 여기서 설명된 시스템 및 기술은 정보를 사용자에게 디스플레이하기위한 디스플레이 디바이스(예를 들어, CRT(cathode ray tube) 또는 LCD(액정 디스플레이) 모니터)를 갖는 컴퓨터 상에 구현 될 수 있으며, 키보드 및 사용자가 컴퓨터에 입력을 제공할 수있는 포인팅 디바이스(예를 들어, 마우스 또는 트랙볼)를 포함할 수 있다. 다른 종류의 디바이스가 사용자와의 상호 작용을 제공하는 데 사용될 수 있다. 예를 들어, 사용자에게 제공된 피드백은 임의의 형태의 감각 피드백(예를 들어, 시각적 피드백, 청각 피드백 또는 촉각 피드백) 일 수 있다. 사용자로부터의 입력은 음향, 음성 또는 촉각 입력을 포함하는 임의의 형태로 수신될 수 있다.
여기에 설명된 시스템 및 기술은 백엔드 컴포넌트(예 : 데이터 서버)를 포함하거나 미들웨어 컴포넌트(예 : 응용 프로그램 서버)를 포함하거나 프런트 엔드 컴포넌트를 포함하는 컴퓨팅 시스템에서 구현 될 수 있다( 그래픽 사용자 인터페이스를 갖는 클라이언트 컴퓨터 또는 여기에 설명된 시스템 및 기술의 구현과 상호 작용할 수있는 웹 브라우저) 또는 그러한 백 엔드, 미들웨어 또는 프런트 엔드 컴포넌트의 임의의 조합을 포함할 수 있다. 시스템의 컴포넌트는 임의의 형태 또는 매체의 디지털 데이터 통신(예를 들어, 통신 네트워크)에 의해 상호 접속 될 수 있다. 통신 네트워크의 예는 근거리 통신망( "LAN"), 광역 통신망( "WAN") 및 인터넷을 포함한다.
컴퓨팅 시스템에는 클라이언트와 서버가 포함될 수 있다. 클라이언트와 서버는 일반적으로 서로 멀리 떨어져 있으며 일반적으로 통신 네트워크를 통해 상호 작용한다. 클라이언트와 서버의 관계는 각각의 컴퓨터에서 실행되고 서로 클라이언트 - 서버 관계를 갖는 컴퓨터 프로그램의 덕택으로 발생한다.
복수의 실시 예가 설명되었다. 그럼에도 불구하고, 본 발명의 사상 및 범위를 벗어나지 않고 다양한 변형이 이루어질 수 있음을 이해할 것이다.
또한, 도면에 도시된 논리 흐름은 바람직한 결과를 달성하기 위해 도시된 특정 순서 또는 순차 순서를 요구하지 않는다. 또한, 설명된 흐름들로부터 다른 단계들이 제공되거나 단계들이 제거 될 수 있으며, 설명된 시스템들에 다른 컴포넌트들이 추가되거나 제거 될 수 있다. 따라서, 다른 실시 예들은 다음의 청구항들의 범위 내에있다.
여기에 설명된 다양한 기술의 구현은 디지털 전자 회로, 또는 컴퓨터 하드웨어, 펌웨어, 소프트웨어, 또는 이들의 조합으로 구현 될 수 있다. 구현 예는 컴퓨터 프로그램 제품, 즉 정보 처리 매체, 예를 들어 기계 판독 가능 저장 디바이스(컴퓨터 판독 가능 매체)에 유능하게 구현된 컴퓨터 프로그램으로서, 데이터 처리에 의해 처리하거나 데이터 처리의 동작을 제어하기위한 컴퓨터 프로그램으로서 구현 될 수 있다. 디바이스, 예를 들어, 프로그램 가능 프로세서, 컴퓨터, 또는 복수의 컴퓨터 들일 수 있다. 따라서, 컴퓨터 판독 가능 저장 매체는 실행될 때 프로세서(예를 들어, 호스트 디바이스의 프로세서, 클라이언트 디바이스의 프로세서)가 프로세스를 수행하게하는 명령들을 저장하도록 구성 될 수 있다.
전술한 컴퓨터 프로그램과 같은 컴퓨터 프로그램은 컴파일된 또는 해석된 언어를 포함하는 임의의 형태의 프로그래밍 언어로 기록 될 수 있으며 독립형 프로그램 또는 모듈을 포함하는 임의의 형태로 배치 될 수 있다 , 컴포넌트, 서브 루틴 또는 컴퓨팅 환경에서 사용하기에 적합한 다른 유닛을 포함할 수 있다. 하나의 컴퓨터에서 처리되거나 하나의 사이트에서 여러 대의 컴퓨터에서 처리되거나 여러 사이트에서 분산 처리되도록 컴퓨터 프로그램을 배포할 수 있다.
방법 단계는 입력 데이터를 조작하고 출력을 생성함으로써 기능을 수행하기 위해 컴퓨터 프로그램을 실행하는 하나 이상의 프로그램 가능 프로세서에 의해 수행 될 수 있다. 방법 단계들은 또한에 의해 수행 될 수 있고, 디바이스는 FPGA(field programmable gate array) 또는 ASIC(application-specific integrated circuit)과 같은 특정 목적의 논리 회로로 구현될 수 있다.
컴퓨터 프로그램의 처리에 적합한 프로세서는 예를 들어 범용 및 특수 목적 마이크로 프로세서와 임의의 종류의 디지털 컴퓨터의 임의의 하나 이상의 프로세서를 포함한다. 일반적으로, 프로세서는 판독 전용 메모리 또는 랜덤 액세스 메모리 또는 둘 모두로부터 명령 및 데이터를 수신할 것이다. 컴퓨터의 컴포넌트는 명령을 실행하기위한 적어도 하나의 프로세서 및 명령 및 데이터를 저장하기위한 하나 이상의 메모리 디바이스를 포함할 수 있다. 일반적으로, 컴퓨터는 또한 자기, 광 자기 디스크 또는 광 디스크와 같은 데이터를 저장하기 위한 하나 이상의 대용량 저장 디바이스로부터 데이터를 수신하거나 동작하도록 결합 될 수 있다.
컴퓨터 프로그램 명령 및 데이터를 구현하기에 적합한 정보 매체는 예를 들어 EPROM, EEPROM 및 플래시 메모리 디바이스와 같은 반도체 메모리 디바이스를 포함하는 모든 형태의 비 휘발성 메모리; 내부 하드 디스크 또는 이동 디스크와 같은 자기 디스크; 광 자기 디스크; 및 CD-ROM 및 DVD-ROM 디스크. 프로세서 및 메모리는 특수 목적 논리 회로에 의해 보충되거나 또는 그 안에 포함될 수 있다.
사용자와의 상호 작용을 제공하기 위해, 구현들은 정보를 사용자에게 디스플레이하기 위한 디스플레이 디바이스 (예를 들어 음극선 관(CRT), 발광 다이오드(LED) 또는 액정 디스플레이(LCD) 모니터) 및 사용자가 컴퓨터에 입력을 제공할 수있는 키보드 및 포인팅 디바이스 (예를 들어, 마우스 또는 트랙볼)를 갖는 컴퓨터 상에서 이루어질 수 있다. 다른 종류의 디바이스들이 또한 사용자와의 상호 작용을 제공하는 데 사용될 수 있다 (예를 들어, 사용자에게 제공되는 피드백은 시각 피드백, 청각 피드백 또는 촉각 피드백과 같은 임의의 형태의 감각 피드백 일 수 있고, 사용자로부터의 입력은 음향, 음성 또는 촉각 입력을 포함하는 임의의 형태로 수신될 수 있다).
구현들은 컴퓨팅 시스템에서 구현될 수 있으며, 이 컴퓨팅 시스템은 데이터 서버와 같은 백엔드 컴포넌트를 포함하거나, 예를 들어 애플리케이션 서버와 같은 미들웨어 컴포넌트를 포함하거나, 그래픽 사용자 인터페이스 또는 사용자가 구현과 상호 작용할 수 있는 웹 브라우저를 갖는 클라이언트 컴퓨터와 같은 프론트 엔드 컴포넌트 또는 그러한 백엔드 컴포넌트, 미들웨어 컴포넌트 및 프론트 엔드 컴포넌트의 어떤 조합을 포함할 수 있다.
컴포넌트들은 디지털 데이터 통신의 임의의 형태 또는 매체, 예를 들어 통신 네트워크에 의해 상호 접속될 수 있다. 통신 네트워크들의 예는 근거리 통신망(LAN) 및 광역 통신망(WAN), 예를 들어 인터넷을 포함한다.
추가의 실시 예는 하기에 개시된다.
실시 예 1: 복수의 가상 객체들을 포함하는 몰입 가상 체험을 개시하는 단계와, 상기 복수의 가상 객체 각각은 복수의 입력 모드들에 응답하여 선택 및 조작 가능하며; 상기 복수의 입력 모드들 중 제 1 입력 모드를 구현하는 제 1 입력을 수신하는 단계와; 상기 제 1 입력에 응답하여 상기 복수의 가상 객체들 중 제 1 가상 객체를 선택하는 단계와; 상기 복수의 입력 모드들 중 제 2 입력 모드를 구현하는 제 2 입력을 수신하는 단계와; 상기 제 2 입력 모드의 우선 순위 값과 상기 제 1 입력 모드의 우선 순위 값을 비교하는 단계와; 그리고 상기 비교에 기초하여, 상기 제 2 입력에 응답해서, 상기 제 1 가상 객체의 선택을 해제하고 상기 선택을 상기 복수의 가상 객체들 중 제 2 가상 객체로 시프트하거나, 혹은 상기 제 1 가상 객체의 선택을 유지하는 단계를 포함하는 방법.
실시예 2: 실시예 1에서, 상기 제 2 입력에 응답해서 상기 제 1 가상 객체의 선택을 해제하고 상기 선택을 상기 복수의 가상 객체 중 제 2 가상 객체로 시프트하는 단계는 상기 제 2 입력의 우선 순위 값이 상기 제 1 입력의 우선 순위 값보다 큰 때 상기 제 2 입력에 응답해서 상기 제 1 가상 객체의 선택을 해제하고 상기 선택을 상기 복수의 가상 객체 중 제 2 가상 객체로 시프트하는 것을 포함하는 방법.
실시예 3: 실시예 1 또는 2에서, 상기 제 2 입력의 우선 순위 값이 상기 제 1 입력의 우선 순위 값보다 작은 때, 상기 제 1 가상 객체의 선택을 유지하는 단계를 더 포함하는 방법.
실시예 4: 실시예 1, 2 또는 3에서, 상기 복수의 입력 모드들 각각은 관련된 우선 순위 값을 가지며, 상기 복수의 입력 모드들 각각과 관련된 상기 각각의 우선 순위 값은 사용자 프로파일에 따라 사용자에 의해 미리 설정(preset)되거나 혹은 설정(set)되는 방법.
실시예 5: 실시예 1 내지 4중 어느 하나에서, 상기 복수의 입력 모드들은 헤드 시선(head gaze) 입력 모드, 눈 시선 (eye gaze)입력 모드, 포인트(point) 입력 모드, 도달(reach) 입력 모드 및 제스처(gesture) 입력 모드 중 적어도 2 가지를 포함하는 방법.
실시예 6: 실시예 1 내지 5중 어느 하나에서, 상기 복수의 입력 모드들 중 제 3 입력 모드를 구현하는 제 3 입력을 수신하는 단계와; 그리고 상기 제 3 입력에 응답하여 상기 선택된 제 1 가상 객체를 조작하는 단계를 더 포함하는 방법.
실시예 7: 실시예 1 내지 6중 어느 하나에서, 제 1 입력을 수신하고 상기 제 1 가상 객체를 선택하는 단계는 상기 조작을 위한 상기 제 1 가상 객체를 선택하기 위해 상기 제 1 가상 객체로 향하는 시선 입력을 수신하는 것을 포함하는 방법.
실시예 8: 실시예 1 내지 7중 어느 하나에서, 제 3 입력을 수신하는 단계는, 핸드 헬드 전자 디바이스의 터치 감응 표면상의 터치 입력을 수신하는 것과; 그리고 상기 터치 입력에 응답하여 상기 선택된 제 1 가상 객체를 움직이는 것을 포함하는 방법.
실시예 9: 실시예 1 내지 8중 어느 하나에서, 상기 핸드 헬드 전자 디바이스의 상기 터치 감응 표면상의 터치 입력은 터치 및 드래그 입력이고, 상기 선택된 객체의 움직임은 상기 터치 감응 표면상의 상기 터치 및 드래그 입력의 움직임에 대응하는 것인 방법.
실시예 10: 실시예 1 내지 9중 어느 하나에서, 상기 제 1 가상 객체를 선택하기 위해 상기 제 1 가상 객체로 향하는 시선 입력을 수신하는 단계는 상기 제 1 가상 객체를 포함하는 복수의 가상 객체들 중 원거리 장(far field) 디스플레이에서 상기 시선 입력을 수신하는 것을 포함하고, 상기 제 3 입력을 수신하는 단계는: 제스처 입력을 수신하는 것과; 상기 복수의 가상 객체들의 상기 원거리장 디스플레이로부터 근거리장(near field) 디스플레이로의 동적 전환을 위한 트리거로서 상기 제스처 입력을 인식하는 것과; 상기 복수의 가상 객체들의 근거리장 디스플레이를 위해 상기 복수의 가상 객체들의 외관(appearance)을 모핑(morphing)하는 것과; 그리고 상기 모핑된 복수의 가상 객체들을 근거리장 디스플레이 디바이스에 디스플레이하는 것을 포함하는 방법.
실시예 11: 실시예 10에서, 상기 복수의 가상 객체들의 근거리장 디스플레이를 위해 상기 복수의 가상 객체들의 외관을 모핑하는 것은, 사용자로부터 상기 복수의 가상 객체까지의 가상 거리를 감소시키는 것과; 그리고 상기 복수의 가상 객체들의 크기를 변경하거나, 상기 복수의 가상 객체들과 관련된 이미지를 변경하거나, 상기 복수의 가상 객체들과 관련된 텍스트를 변경하거나, 또는 상기 복수의 가상 객체들이 상기 원거리장 디스플레이로부터 상기 근거리장 디스플레이로 움직임에 따라 상기 복수의 가상 객체와 관련된 메뉴 항목을 변경하는 것 중 적어도 하나를 포함하는 방법.
실시예 12: 실시예 1 내지 11중 어느 하나에서, 제 4 입력을 수신하는 단계를 더 포함하며, 상기 제 4 입력은 상기 근거리장 디스플레이에 디스플레이된 복수의 가상 객체들 중 하나의 가상 객체를 선택하고 조작하기 위한 도달 제스처(reach gesture)를 포함하는 방법.
실시예 13: 실시예 1 내지 12중 어느 하나에서, 상기 제 1 입력을 수신하고 상기 제 1 가상 객체를 선택하는 단계는 조작을 위한 상기 제 1 가상 객체를 선택하기 위해 상기 제 1 가상 객체로 향하는 핸드 헬드 전자 디바이스에 의해 생성된 빔을 수신하는 것을 포함하는 방법.
실시예 14: 실시예 1 내지 13중 어느 하나에서, 제 3 입력을 수신하는 단계는, 핸드 헬드 전자 디바이스의 터치 감응 표면상에 터치 입력을 수신하는 것과; 상기 터치 감응 표면을 따라 상기 터치 입력을 드래그하는 것과; 그리고 상기 터치 및 드래그 입력에 응답하여, 상기 선택된 제 1 가상 객체를 움직이는 것을 포함하며, 상기 선택된 제 1 가상 객체의 움직임은 상기 휴대용 전자 디바이스의 상기 터치 감응 표면을 따르는 상기 드래그 입력의 움직임에 대응하는 방법.
실시예 15: 실시예 1 내지 13중 어느 하나에서, 상기 제 3 입력은, 상기 핸드 헬드 전자 디바이스에 의해 생성된 상기 빔을 상기 핸드 헬드 전자 디바이스와 상기 선택된 제 1 가상 객체 사이에 연결하기 위해 상기 핸드 헬드 전자 디바이스의 터치 감응 표면상의 터치 입력을 수신하는 것과; 상기 핸드 헬드 전자 디바이스를 움직이는 것과; 상기 핸드 헬드 전자 디바이스의 움직임에 응답하여 상기 선택된 제 1 가상 개체를 움직이는 것과, 상기 제 1 가상 개체의 움직임은 상기 핸드 헬드 전자 디바이스의 움직임에 대응하며; 상기 핸드 헬드 전자 디바이스의 상기 터치 감응 표면으로부터 상기 터치 입력을 해제하는 것과; 그리고 상기 선택된 제 1 가상 객체를 상기 터치 입력의 해제 지점에 재배치하기 위해 상기 제 1 가상 객체를 해제하는 것을 포함하는 방법.
실시예 16: 몰입 가상 체험을 개시하는 단계와; 복수의 가상 객체들의 원거리장 디스플레이를 생성하는 단계와; 제 1 입력을 수신하는 단계와; 상기 제 1 입력에 응답하여 상기 복수의 가상 객체들을 포함하는 원거리장 디스플레이를 선택하는 단계와; 제 2 입력을 수신하는 단계와; 상기 제 2 입력에 응답하여 상기 복수의 가상 객체들의 근거리장 디스플레이를 위해 상기 복수의 가상 객체들의 외관을 모핑하는 단계와; 상기 모핑된 복수의 가상 객체들을 포함하는 상기 근거리장 디스플레이를 생성하는 단계와; 제 3 입력을 수신하는 단계와; 그리고 상기 제 3 입력에 응답하여 상기 모핑된 복수의 가상 객체들 중 하나를 선택하는 단계를 포함하는 방법.
실시예 17: 실시예 16에서, 상기 제 1 입력을 수신하는 단계는, 상기 핸드 헬드 전자 디바이스에 의해 생성된 원거리장 시선 입력 또는 원거리장 빔 입력을 수신하는 것을 포함하고, 상기 제 2 입력을 수신하는 단계는 상기 복수의 가상 객체들의 원거리장 디스플레이로부터 상기 복수의 가상 객체들의 근거리장 디스플레이로의 천이를 트리거하는 손 또는 팔 제스처 입력을 수신하는 것을 포함하고, 상기 제 3 입력을 수신하는 단계는 상기 모핑된 가상 객체들의 근거리장 디스플레이로부터 가상 객체를 선택하는 근거리장 손 제스처 또는 근거리장 도달 제스처를 수신하는 것을 포함하는 방법.
실시예 18: 실시예 16 또는 17에서, 제 4 입력을 수신하는 단계와; 그리고
상기 제 4 입력에 응답하여 상기 선택된 가상 객체를 조작하는 단계를 포함하는 방법.
실시예 19: 실시예 16 내지 18중 어느 하나에서, 상기 제 4 입력을 수신하는 단계는 상기 핸드 헬드 전자 디바이스의 터치 감응 표면상의 터치 및 드래그 입력, 상기 터치 감응 표면상의 터치 및 상기 핸드 헬드 전자 디바이스의 움직임 및 선택된 가상 객체의 피쳐로 향하는 손 제스처 중 적어도 하나를 수신하는 것을 포함하는 방법.
실시예 20: 실시예 16 내지 19중 어느 하나에서, 상기 제 4 입력에 응답하여 상기 선택된 가상 객체를 조작하는 단계는 상기 터치 및 드래그 입력의 트레이스(trace)에 기초하여 상기 선택된 가상 객체를 움직이는 것과, 핸드 헬드 전자 디바이스의 움직임에 기초하여 상기 선택된 가상 객체를 움직이는 것과, 상기 손 제스처에 기초하여 상기 선택된 가상 객체를 추가로 모핑하는 것 적어도 하나를 포함하는 방법.
실시예 21: 실시예 16 내지 20중 어느 하나에서, 제 5 입력을 수신하는 단계와; 그리고 상기 제 5 입력의 우선 순위 값과 상기 제 4 입력의 우선 순위 값을 비교하는 단계와; 상기 제 5 입력의 우선 순위 값이 상기 제 4 입력의 우선 순위 값보다 큰 때, 현재 선택된 가상 객체의 선택을 해제하고 상기 제 5 입력과 관련된 새로운 가상 객체로 선택을 시프트하는 단계와; 그리고 상기 제 5 입력의 우선 순위 값이 상기 제 4 입력의 우선 순위 값보다 작은 때, 현재 선택된 가상 객체의 선택을 유지하는 단계를 더 포함하는 방법.
실시예 22: 실시예 16 내지 21중 어느 하나에서, 각각의 입력은 복수의 입력 모드들 중 하나를 통해 수신되고, 상기 복수의 입력 모드들 각각은 관련된 우선 순위 값을 가지며, 상기 복수의 입력 모드들 각각과 관련된 각각의 우선 순위 값은 사용자 프로파일에 따라 사용자에 의해 미리 설정(preset)되거나 혹은 설정(set)되는 방법.
실시예 23: 실시예 16 내지 22중 어느 하나에서, 상기 복수의 입력 모드들은 헤드 시선 입력 모드, 눈 시선 입력 모드, 포인트 입력 모드, 도달 입력 모드 및 제스처 입력 모드를 포함하는 방법.
실시예 24: 핸드 헬드 전자 디바이스와 동작 가능하게 결합된 헤드 마운트 전자 디바이스와; 그리고 상기 헤드 마운트 전자 디바이스 및 상기 핸드 헬드 전자 디바이스의 동작을 제어하는 제어 시스템을 포함하며, 상기 제어 시스템은 상기 헤드 마운트 전자 디바이스 및 상기 핸드 헬드 전자 디바이스가 복수의 가상 객체들을 포함하는 몰입 가상 체험을 개시하고, 상기 복수의 가상 객체 각각은 복수의 입력 모드들에 응답하여 선택 및 조작 가능하며; 상기 복수의 입력 모드들 중 제 1 입력 모드를 구현하는 제 1 입력을 수신하고; 상기 제 1 입력에 응답하여 상기 복수의 가상 객체들 중 제 1 가상 객체를 선택하고; 상기 복수의 입력 모드들 중 제 2 입력 모드를 구현하는 제 2 입력을 수신하고; 상기 제 2 입력 모드의 우선 순위 값과 상기 제 1 입력 모드의 우선 순위 값을 비교하고; 그리고 상기 비교에 기초하여, 상기 제 2 입력에 응답해서, 상기 제 1 가상 객체의 선택을 해제하고 상기 선택을 상기 복수의 가상 객체들 중 제 2 가상 객체로 시프트하거나, 혹은 상기 제 1 가상 객체의 선택을 유지하도록 상기 헤드 마운트 전자 디바이스 및 상기 핸드 헬드 전자 디바이스를 제어하도록 구성된 장치.
실시예 25: 실시예 24에서, 상기 복수의 입력 모드들 각각은 관련된 우선 순위 값을 가지며, 상기 복수의 입력 모드들 각각과 관련된 상기 각각의 우선 순위 값은 사용자 프로파일에 따라 사용자에 의해 미리 설정(preset)되거나 혹은 설정(set)되며, 상기 제어 시스템은, 상기 제 2 입력의 우선 순위 값이 상기 제 1 입력의 우선 순위 값보다 큰 때, 상기 제 1 가상 객체의 선택 및 상기 제 2 가상 객체로의 시프트 선택을 해제하고; 상기 제 2 입력의 우선 순위 값이 상기 제 1 입력의 우선 순위 값보다 작은 때, 상기 제 1 가상 객체의 선택을 유지하도록 더 구성된 장치.
실시예 26: 실시예 24 또는 25에서, 상기 제어 시스템은, 상기 복수의 입력 모드들 중 제 3 입력 모드를 구현하는 제 3 입력을 수신하고, 상기 제 3 입력은 상기 제 1 가상 객체를 포함하는 상기 복수의 가상 객체들의 원거리장 디스플레이로 향하는 시선 입력을 포함하며; 상기 복수의 입력 모드들 중 제 4 입력 모드를 구현하는 제 4 입력을 수신하고, 상기 제 4 입력은 상기 원거리장 디스플레이로부터 상기 근거리장 디스플레이로의 상기 복수의 가상 객체들의 동적 전환을 트리거링하는 제스처를 포함하며; 상기 복수의 가상 객체들의 근거리장 디스플레이를 위한 상기 복수의 가상 객체들의 외관을 모핑하고; 그리고 상기 모핑된 복수의 가상 객체들을 근거리장 디스플레이에 디스프레이하도록 더 구성된 장치.
실시예 27: 실행 시, 컴퓨팅 장치로 하여금 프로세스를 수행하게 하는 명령들을 저장하는 컴퓨터 판독 가능 저장 매체로서, 상기 명령들은, 복수의 가상 객체들을 포함하는 몰입 가상 체험을 개시하도록 하는 명령과, 상기 복수의 가상 객체 각각은 복수의 입력 모드들에 응답하여 선택 및 조작 가능하며; 상기 복수의 입력 모드들 중 제 1 입력 모드를 구현하는 제 1 입력을 수신하도록 하는 명령과; 상기 제 1 입력에 응답하여 상기 복수의 가상 객체들 중 제 1 가상 객체를 선택하도록 하는 명령과; 상기 복수의 입력 모드들 중 제 2 입력 모드를 구현하는 제 2 입력을 수신하도록 하는 명령과; 상기 제 2 입력 모드의 우선 순위 값과 상기 제 1 입력 모드의 우선 순위 값을 비교하도록 하는 명령과; 그리고 상기 비교에 기초하여, 상기 제 2 입력에 응답해서, 상기 제 1 가상 객체의 선택을 해제하고 상기 선택을 상기 복수의 가상 객체들 중 제 2 가상 객체로 시프트하거나, 혹은 상기 제 1 가상 객체의 선택을 유지하도록 하는 명령을 포함하는 컴퓨터 판독 가능 저장 매체.
실시예 28: 실시예 26 또는 27에서, 상기 복수의 입력 모드들 각각은 관련된 우선 순위 값을 가지며, 상기 복수의 입력 모드들 각각과 관련된 상기 각각의 우선 순위 값은 사용자 프로파일에 따라 사용자에 의해 미리 설정(preset)되거나 혹은 설정(set)되는 컴퓨터 판독 가능 저장 매체.
실시예 29: 실시예 26, 27 또는 28에서, 상기 제 2 입력의 우선 순위 값이 상기 제 1 입력의 우선 순위 값보다 큰 때, 상기 제 1 가상 객체의 선택은 해제되고 상기 제 2 가상 객체로 시프트되며, 상기 제 2 입력의 우선 순위 값이 상기 제 1 입력의 우선 순위 값보다 작은 때, 상기 제 1 가상 객체의 선택이 유지되는 컴퓨터 판독 가능 저장 매체.
실시예 30: 실시예 26, 27, 28 또는 29에서, 상기 명령들은 또한, 상기 복수의 입력 모드들 중 제 3 입력 모드를 구현하는 제 3 입력을 수신하도록 하는 명령과, 상기 제 3 입력은 상기 제 1 가상 객체를 포함하는 상기 복수의 가상 객체들의 원거리장 디스플레이로 향하는 시선 입력을 포함하며; 상기 복수의 입력 모드들 중 제 4 입력 모드를 구현하는 제 4 입력을 수신하도록 하는 명령과, 상기 제 4 입력은 상기 원거리장 디스플레이로부터 상기 근거리장 디스플레이로의 상기 복수의 가상 객체들의 동적 전환을 트리거링하는 제스처를 포함하며; 상기 복수의 가상 객체들의 근거리장 디스플레이를 위한 상기 복수의 가상 객체들의 외관을 모핑하도록 하는 명령과; 그리고 상기 모핑된 복수의 가상 객체들을 근거리장 디스플레이에 디스프레이하도록 하는 명령을 더 포함하는 컴퓨터 판독 가능 저장 매체.
실시예 31: 실시예 26, 27, 28, 29 또는 30에서, 상기 복수의 가상 객체들의 근거리장 디스플레이를 위한 복수의 가상 객체들의 상기 모핑된 외관은, 사용자로부터 상기 복수의 가상 객체들까지의 가상 거리의 감소와; 그리고 상기 복수의 가상 객체들의 크기를 변경하거나, 상기 복수의 가상 객체들과 관련된 이미지의 변경, 상기 복수의 가상 객체들과 관련된 텍스트의 변경, 상기 복수의 가상 객체들이 상기 원거리장 디스플레이로부터 상기 근거리장 디스플레이로 움직임에 따라 상기 복수의 가상 객체와 관련된 메뉴 항목의 변경중 적어도 하나를 포함하는 컴퓨터 판독 가능 저장 매체.

Claims (31)

  1. 방법으로서,
    복수의 가상 객체들을 포함하는 몰입 가상 환경을 디스플레이하는 단계와, 상기 복수의 가상 객체 각각은 복수의 입력 모드들에 응답하여 선택 및 조작 가능하며;
    상기 복수의 입력 모드들 중 제 1 입력 모드를 구현하는 제 1 입력을 감지하는 단계와;
    상기 제 1 입력에 응답하여, 상기 복수의 가상 객체들 중 제 1 가상 객체를 선택하고, 상기 선택된 제 1 가상 객체 상에 가상 환경의 조작을 위한 활성 초점을 설정하는 단계와;
    상기 복수의 입력 모드들 중 제 2 입력 모드를 구현하는 제 2 입력을 감지하는 단계와;
    상기 제 1 가상 객체 상에 활성 초점이 유지되는 동안 상기 제 2 입력에 응답하여 상기 제 1 가상 객체의 적어도 하나의 가상 요소(element)를 조작하는 단계와;
    상기 복수의 입력 모드들 중 제 3 입력 모드를 구현하는 제 3 입력을 감지하는 단계와;
    상기 제 3 입력 모드의 우선 순위 값과 상기 제 1 입력 모드의 우선 순위 값을 비교하는 단계와; 그리고
    상기 비교에 기초하여, 상기 제 3 입력에 응답해서, 상기 제 1 가상 객체 상의 활성 초점을 해제하고, 상기 활성 초점을 상기 복수의 가상 객체들 중 제 2 가상 객체로 시프트하거나 또는 상기 제 1 가상 객체 상에 활성 초점을 유지하는 단계를 포함하는 것을 특징으로 하는 방법.
  2. 제 1 항에 있어서,
    상기 제 3 입력에 응답해서 상기 제 1 가상 객체 상의 활성 초점을 해제하고 상기 활성 초점을 상기 제 2 가상 객체로 시프트하는 단계는,
    상기 제 3 입력의 우선 순위 값이 상기 제 1 입력의 우선 순위 값보다 클 때, 상기 제 3 입력에 응답해서 상기 제 1 가상 객체 상의 활성 초점을 해제하고 상기 활성 초점을 상기 제 2 가상 객체로 시프트하는 단계를 포함하는 것을 특징으로 하는 방법.
  3. 제 2 항에 있어서,
    상기 제 3 입력의 우선 순위 값이 상기 제 1 입력의 우선 순위 값보다 작을 때, 상기 제 1 가상 객체 상의 활성 초점을 유지하는 단계를 더 포함하는 것을 특징으로 하는 방법.
  4. 제 1 항에 있어서,
    상기 복수의 입력 모드들 각각은 관련된 우선 순위 값을 가지며, 상기 복수의 입력 모드들 각각과 관련된 상기 각각의 우선 순위 값은 사용자 프로파일에 따라 사용자에 의해 미리 설정(preset)되거나 혹은 설정(set)되는 것을 특징으로 하는 방법.
  5. 제 1 항에 있어서,
    상기 복수의 입력 모드들은 헤드 시선(head gaze) 입력 모드, 눈 시선 (eye gaze)입력 모드, 포인트(point) 입력 모드, 도달(reach) 입력 모드 및 제스처(gesture) 입력 모드 중 적어도 2 가지를 포함하는 것을 특징으로 하는 방법.
  6. 삭제
  7. 제 1 항에 있어서,
    상기 제 1 입력을 김지하고 상기 제 1 가상 객체를 선택하는 단계는 상기 조작을 위한 상기 제 1 가상 객체를 선택하기 위해 상기 제 1 가상 객체로 향하는 시선 입력을 감지하는 단계를 포함하는 것을 특징으로 하는 방법.
  8. 제 7 항에 있어서,
    상기 제 2 입력을 감지하는 단계는,
    핸드 헬드 전자 디바이스의 터치 감응 표면상의 터치 입력을 감지하는 단계와; 그리고
    상기 터치 입력에 응답하여 상기 선택된 제 1 가상 객체의 적어도 하나의 가상 요소를 움직이는 단계를 포함하는 것을 특징으로 하는 방법.
  9. 제 8 항에 있어서,
    상기 핸드 헬드 전자 디바이스의 상기 터치 감응 표면상의 터치 입력은 터치 및 드래그 입력이고,
    상기 선택된 제 1 가상 객체의 적어도 하나의 가상 요소의 움직임은 상기 터치 감응 표면상의 상기 터치 및 드래그 입력의 움직임에 대응하는 것을 특징으로 하는 방법.
  10. 제 7 항에 있어서,
    상기 제 1 가상 객체를 선택하기 위해 상기 제 1 가상 객체로 향하는 시선 입력을 감지하는 단계는 상기 제 1 가상 객체를 포함하는 복수의 가상 객체들 중 원거리 장(far field) 디스플레이에서 상기 시선 입력을 수신하는 것을 포함하고,
    상기 제 2 입력을 수신하는 단계는:
    제스처 입력을 수신하는 단계와;
    상기 복수의 가상 객체들의 상기 원거리장 디스플레이로부터 근거리장(near field) 디스플레이로의 동적 전환을 위한 트리거로서 상기 제스처 입력을 인식하는 단계와;
    상기 복수의 가상 객체들의 근거리장 디스플레이를 위해 상기 복수의 가상 객체들의 외관(appearance)을 모핑(morphing)하는 단계와; 그리고
    상기 모핑된 복수의 가상 객체들을 근거리장 디스플레이 디바이스에 디스플레이하는 단계를 포함하는 것을 특징으로 하는 방법.
  11. 제 10 항에 있어서,
    상기 복수의 가상 객체들의 근거리장 디스플레이를 위해 상기 복수의 가상 객체들의 외관을 모핑하는 단계는,
    사용자로부터 상기 복수의 가상 객체까지의 가상 거리를 감소시키는 단계와; 그리고
    상기 복수의 가상 객체들의 크기를 변경하거나, 상기 복수의 가상 객체들과 관련된 이미지를 변경하거나, 상기 복수의 가상 객체들과 관련된 텍스트를 변경하거나, 또는 상기 복수의 가상 객체들이 상기 원거리장 디스플레이로부터 상기 근거리장 디스플레이로 움직임에 따라 상기 복수의 가상 객체와 관련된 메뉴 항목을 변경하는 단계 중 적어도 하나를 포함하는 것을 특징으로 하는 방법.
  12. 제 11 항에 있어서,
    제 4 입력을 감지하는 단계를 더 포함하며,
    상기 제 4 입력은 상기 근거리장 디스플레이에 디스플레이된 복수의 가상 객체들 중 하나의 가상 객체를 선택하고 조작하기 위한 도달 제스처(reach gesture)를 포함하는 것을 특징으로 하는 방법.
  13. 제 1 항에 있어서,
    상기 제 1 입력을 감지하고 상기 제 1 가상 객체를 선택하는 단계는,
    상기 제 1 가상 객체의 적어도 하나의 가상 요소의 조작을 위해, 상기 제 1 가상 객체를 선택하도록 핸드 헬드 전자 디바이스로부터 상기 제 1 가상 객체로 지향되는 가상 빔을 감지하는 단계를 포함하는 것을 특징으로 하는 방법.
  14. 제 13 항에 있어서,
    상기 제 2 입력을 감지하는 단계는,
    상기 핸드 헬드 전자 디바이스의 터치 감응 표면상의 터치 입력을 감지하는 단계와;
    상기 터치 감응 표면을 따라 상기 터치 입력의 드래그를 감지하는 단계와; 그리고
    상기 터치 및 드래그 입력에 응답하여 상기 선택된 제 1 가상 객체의 적어도 하나의 가상 요소를 움직이는 단계를 포함하고, 상기 선택된 제 1 가상 객체의 적어도 하나의 가상 요소의 움직임은 상기 핸드 헬드 전자 디바이스의 상기 터치 감응 표면을 따르는 상기 드래그 입력의 움직임에 대응하는 것을 특징으로 하는 방법.
  15. 제 13 항에 있어서,
    상기 제 2 입력을 감지하는 단계는,
    상기 핸드 헬드 전자 디바이스의 터치 감응 표면상의 터치 입력을 감지하고, 상기 감지된 터치 입력에 응답하여 상기 핸드 헬드 전자 디바이스와 상기 선택된 제 1 가상 객체 사이에 상기 가상 빔을 연결하는 단계와;
    상기 핸드 헬드 전자 디바이스의 물리적 움직임을 감지하는 단계와;
    상기 핸드 헬드 전자 디바이스의 상기 감지된 물리적 움직임에 응답하여 상기 선택된 제 1 가상 객체의 적어도 하나의 가상 요소를 움직이는 단계와, 상기 선택된 제 1 가상 개체의 적어도 하나의 가상 요소의 움직임은 상기 핸드 헬드 전자 디바이스의 상기 감지된 물리적 움직임에 대응하며;
    상기 핸드 헬드 전자 디바이스의 상기 터치 감응 표면으로부터의 상기 터치 입력의 해제를 감지하는 단계와; 그리고
    상기 선택된 제 1 가상 객체의 상기 적어도 하나의 가상 요소를 상기 터치 입력의 해제 지점에 재배치하기 위해 상기 터치 입력의 상기 감지된 해제에 응답하여 상기 선택된 제 1 가상 객체 상의 상기 활성 초점을 해제하는 단계를 포함하는 것을 특징으로 하는 방법.
  16. 삭제
  17. 삭제
  18. 삭제
  19. 삭제
  20. 삭제
  21. 삭제
  22. 삭제
  23. 삭제
  24. 장치에 있어서,
    핸드 헬드 전자 디바이스와 동작 가능하게 결합되도록 구성된 헤드 마운트 전자 디바이스와, 상기 헤드 마운트 전자 디바이스는 상기 핸드 헬드 전자 디바이스의 동작을 제어하는 제어 시스템을 포함하여:
    복수의 가상 객체들을 포함하는 몰입 가상 환경을 디스플레이하고, 상기 복수의 가상 객체 각각은 복수의 입력 모드들에 응답하여 선택 및 조작 가능하며;
    상기 복수의 입력 모드들 중 제 1 입력 모드를 구현하는 제 1 입력을 감지하고;
    상기 제 1 입력에 응답하여, 상기 복수의 가상 객체들 중 제 1 가상 객체를 선택하고, 상기 선택된 제 1 가상 객체 상에 가상 환경의 조작을 위한 활성 초점을 설정하고;
    상기 복수의 입력 모드들 중 제 2 입력 모드를 구현하는 제 2 입력을 감지하고;
    상기 제 1 가상 객체 상에 활성 초점이 유지되는 동안 상기 제 2 입력에 응답하여 상기 제 1 가상 객체의 적어도 하나의 가상 요소를 조작하고;
    상기 복수의 입력 모드들 중 제 3 입력 모드를 구현하는 제 3 입력을 감지하고;
    상기 제 3 입력 모드의 우선 순위 값과 상기 제 1 입력 모드의 우선 순위 값을 비교하고; 그리고
    상기 비교에 기초하여, 상기 제 3 입력에 응답해서, 상기 제 1 가상 객체 상의 활성 초점을 해제하고, 상기 활성 초점을 상기 복수의 가상 객체들 중 제 2 가상 객체로 시프트하거나 또는 상기 제 1 가상 객체 상에 활성 초점을 유지하도록 구성된 것을 특징으로 하는 장치.
  25. 제 24 항에 있어서,
    상기 복수의 입력 모드들 각각은 관련된 우선 순위 값을 가지며, 상기 복수의 입력 모드들 각각과 관련된 상기 각각의 우선 순위 값은 사용자 프로파일에 따라 사용자에 의해 미리 설정(preset)되거나 혹은 설정(set)되며,
    상기 제어 시스템은,
    상기 제 3 입력의 우선 순위 값이 상기 제 1 입력의 우선 순위 값보다 클 때, 상기 제 1 가상 객체 상의 활성 초점을 해제하고 상기 활성 초점을 상기 제 2 가상 객체로 시프트하고; 그리고
    상기 제 3 입력의 우선 순위 값이 상기 제 1 입력의 우선 순위 값보다 작을 때, 상기 제 1 가상 객체 상의 활성 초점을 유지하도록 더 구성된 것을 특징으로 하는 장치.
  26. 제 24 항에 있어서,
    상기 제 1 입력은 상기 제 1 가상 객체를 포함하는 상기 복수의 가상 객체들의 원거리장 디스플레이로 향하는 시선 입력을 포함하고, 상기 제 2 입력은 상기 원거리장 디스플레이로부터 근거리장 디스플레이로의 상기 복수의 가상 객체들의 동적 전환을 트리거링하는 제스처를 포함하고, 그리고 상기 제 2 입력에 응답하여 상기 제어 시스템은:
    상기 복수의 가상 객체들의 근거리장 디스플레이를 위한 상기 복수의 가상 객체들의 외관을 모핑하고; 그리고
    상기 모핑된 복수의 가상 객체들을 근거리장 디스플레이에 디스프레이하도록 더 구성된 것을 특징으로 하는 장치.
  27. 실행 시, 컴퓨팅 장치(device)로 하여금 프로세스를 수행하게 하는 명령들을 저장하는 컴퓨터 판독 가능 저장 매체로서,
    상기 명령들은,
    복수의 가상 객체들을 포함하는 몰입 가상 환경을 디스플레이하고, 상기 복수의 가상 객체 각각은 복수의 입력 모드들에 응답하여 선택 및 조작 가능하며;
    상기 복수의 입력 모드들 중 제 1 입력 모드를 구현하는 제 1 입력을 감지하고;
    상기 제 1 입력에 응답하여, 상기 복수의 가상 객체들 중 제 1 가상 객체를 선택하고, 상기 선택된 제 1 가상 객체 상에 가상 환경의 조작을 위한 활성 초점을 설정하고;
    상기 복수의 입력 모드들 중 제 2 입력 모드를 구현하는 제 2 입력을 감지하고;
    상기 제 1 가상 객체 상에 활성 초점이 유지되는 동안 상기 제 2 입력에 응답하여 상기 제 1 가상 객체의 적어도 하나의 가상 요소(element)를 조작하고;
    상기 복수의 입력 모드들 중 제 3 입력 모드를 구현하는 제 3 입력을 감지하고;
    상기 제 3 입력 모드의 우선 순위 값과 상기 제 1 입력 모드의 우선 순위 값을 비교하고; 그리고
    상기 비교에 기초하여, 상기 제 3 입력에 응답해서, 상기 제 1 가상 객체 상의 활성 초점을 해제하고, 상기 활성 초점을 상기 복수의 가상 객체들 중 제 2 가상 객체로 시프트하거나 또는 상기 제 1 가상 객체 상에 활성 초점을 유지하게 하는 명령들을 포함하는 것을 특징으로 하는 컴퓨터 판독 가능 저장 매체.
  28. 제 27 항에 있어서,
    상기 복수의 입력 모드들 각각은 관련된 우선 순위 값을 가지며, 상기 복수의 입력 모드들 각각과 관련된 상기 각각의 우선 순위 값은 사용자 프로파일에 따라 사용자에 의해 미리 설정(preset)되거나 혹은 설정(set)되는 것을 특징으로 하는 컴퓨터 판독 가능 저장 매체.
  29. 제 27 항에 있어서,
    상기 제 3 입력의 우선 순위 값이 상기 제 1 입력의 우선 순위 값보다 클 때, 상기 제 1 가상 객체 상의 활성 초점은 해제되어 상기 제 2 가상 객체로 시프트되고,
    상기 제 3 입력의 우선 순위 값이 상기 제 1 입력의 우선 순위 값보다 작을 때, 상기 제 1 가상 객체 상의 활성 초점은 유지되는 것을 특징으로 하는 컴퓨터 판독 가능 저장 매체.
  30. 제 27 항에 있어서,
    상기 제 1 입력은 상기 복수의 가상 객체들의 원거리장 디스플레이로 향하고, 상기 제 2 입력은 상기 제 2 입력에 응답하여, 상기 원거리장 디스플레이로부터 근거리장 디스플레이로의 상기 복수의 가상 객체들의 동적 전환을 트리거하고,
    상기 명령들은,
    상기 복수의 가상 객체들의 근거리장 디스플레이를 위한 상기 복수의 가상 객체들의 외관을 모핑하고; 그리고
    상기 모핑된 복수의 가상 객체들을 근거리장 디스플레이에 디스프레이하도록 하는 명령들을 더 포함하는 것을 특징으로 하는 컴퓨터 판독 가능 저장 매체.
  31. 제 30 항에 있어서,
    상기 복수의 가상 객체들의 근거리장 디스플레이를 위한 복수의 가상 객체들의 상기 모핑된 외관은,
    사용자로부터 상기 복수의 가상 객체들까지의 가상 거리의 감소와; 그리고
    상기 복수의 가상 객체들의 크기를 변경하거나, 상기 복수의 가상 객체들과 관련된 이미지의 변경, 상기 복수의 가상 객체들과 관련된 텍스트의 변경, 상기 복수의 가상 객체들이 상기 원거리장 디스플레이로부터 상기 근거리장 디스플레이로 움직임에 따라 상기 복수의 가상 객체와 관련된 메뉴 항목의 변경중 적어도 하나를 포함하는 것을 특징으로 하는 컴퓨터 판독 가능 저장 매체.
KR1020177031644A 2015-08-26 2016-06-28 가상 현실에서 헤드, 제스쳐 및 터치 입력의 동적 전환 및 병합 KR102003493B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US14/836,311 2015-08-26
US14/836,311 US10101803B2 (en) 2015-08-26 2015-08-26 Dynamic switching and merging of head, gesture and touch input in virtual reality
PCT/US2016/039806 WO2017034667A1 (en) 2015-08-26 2016-06-28 Dynamic switching and merging of head, gesture and touch input in virtual reality

Publications (2)

Publication Number Publication Date
KR20170126508A KR20170126508A (ko) 2017-11-17
KR102003493B1 true KR102003493B1 (ko) 2019-07-24

Family

ID=56409218

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020177031644A KR102003493B1 (ko) 2015-08-26 2016-06-28 가상 현실에서 헤드, 제스쳐 및 터치 입력의 동적 전환 및 병합

Country Status (6)

Country Link
US (2) US10101803B2 (ko)
EP (1) EP3341815B1 (ko)
JP (2) JP2018517967A (ko)
KR (1) KR102003493B1 (ko)
CN (1) CN107533374B (ko)
WO (1) WO2017034667A1 (ko)

Families Citing this family (134)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130339859A1 (en) 2012-06-15 2013-12-19 Muzik LLC Interactive networked headphones
EP2998849A4 (en) * 2013-05-15 2017-01-25 Sony Corporation Display control device, display control method, and recording medium
US10514755B2 (en) * 2015-05-08 2019-12-24 Lg Electronics Inc. Glasses-type terminal and control method therefor
US10101803B2 (en) * 2015-08-26 2018-10-16 Google Llc Dynamic switching and merging of head, gesture and touch input in virtual reality
JP6174646B2 (ja) * 2015-09-24 2017-08-02 株式会社コロプラ 仮想空間内のオブジェクトを３軸操作するためのコンピュータ・プログラム
AU2016341196B2 (en) 2015-10-20 2021-09-16 Magic Leap, Inc. Selecting virtual objects in a three-dimensional space
JP6597235B2 (ja) * 2015-11-30 2019-10-30 富士通株式会社 画像処理装置、画像処理方法および画像処理プログラム
US10133407B2 (en) * 2015-12-28 2018-11-20 Seiko Epson Corporation Display apparatus, display system, method for controlling display apparatus, and program
US20170185261A1 (en) * 2015-12-28 2017-06-29 Htc Corporation Virtual reality device, method for virtual reality
US10908694B2 (en) * 2016-02-01 2021-02-02 Microsoft Technology Licensing, Llc Object motion tracking with remote device
KR20230098927A (ko) 2016-03-31 2023-07-04 매직 립, 인코포레이티드 포즈들 및 멀티-dof 제어기들을 사용하는 3d 가상 객체들과상호작용들
US10303323B2 (en) 2016-05-18 2019-05-28 Meta Company System and method for facilitating user interaction with a three-dimensional virtual environment in response to user input into a control device having a graphical interface
US9983697B1 (en) * 2016-05-18 2018-05-29 Meta Company System and method for facilitating virtual interactions with a three-dimensional virtual environment in response to sensor input into a control device having sensors
US10255658B2 (en) * 2016-08-09 2019-04-09 Colopl, Inc. Information processing method and program for executing the information processing method on computer
JP2018530016A (ja) * 2016-08-30 2018-10-11 北京小米移動軟件有限公司Ｂｅｉｊｉｎｇ Ｘｉａｏｍｉ Ｍｏｂｉｌｅ Ｓｏｆｔｗａｒｅ Ｃｏ．，Ｌｔｄ． Ｖｒ制御方法、装置及び電子機器、プログラム、及び記録媒体
US11185763B2 (en) 2016-10-11 2021-11-30 Valve Corporation Holding and releasing virtual objects
US10888773B2 (en) 2016-10-11 2021-01-12 Valve Corporation Force sensing resistor (FSR) with polyimide substrate, systems, and methods thereof
US11625898B2 (en) 2016-10-11 2023-04-11 Valve Corporation Holding and releasing virtual objects
US10307669B2 (en) 2016-10-11 2019-06-04 Valve Corporation Electronic controller with finger sensing and an adjustable hand retainer
US10987573B2 (en) 2016-10-11 2021-04-27 Valve Corporation Virtual reality hand gesture generation
US20180129274A1 (en) * 2016-10-18 2018-05-10 Colopl, Inc. Information processing method and apparatus, and program for executing the information processing method on computer
JP6653489B2 (ja) * 2016-12-16 2020-02-26 パナソニックＩｐマネジメント株式会社 入力装置、及び、入力方法
US10936872B2 (en) 2016-12-23 2021-03-02 Realwear, Inc. Hands-free contextually aware object interaction for wearable display
US11099716B2 (en) 2016-12-23 2021-08-24 Realwear, Inc. Context based content navigation for wearable display
US10437070B2 (en) 2016-12-23 2019-10-08 Realwear, Inc. Interchangeable optics for a head-mounted display
US10620910B2 (en) 2016-12-23 2020-04-14 Realwear, Inc. Hands-free navigation of touch-based operating systems
US11507216B2 (en) 2016-12-23 2022-11-22 Realwear, Inc. Customizing user interfaces of binary applications
US10393312B2 (en) 2016-12-23 2019-08-27 Realwear, Inc. Articulating components for a head-mounted display
AU2018256365A1 (en) * 2017-04-19 2019-10-31 Magic Leap, Inc. Multimodal task execution and text editing for a wearable system
US10168789B1 (en) 2017-05-31 2019-01-01 Meta Company Systems and methods to facilitate user interactions with virtual content having two-dimensional representations and/or three-dimensional representations
US10817128B2 (en) * 2017-07-11 2020-10-27 Logitech Europe S.A. Input device for VR/AR applications
US11184574B2 (en) 2017-07-17 2021-11-23 Facebook, Inc. Representing real-world objects with a virtual reality environment
US10782793B2 (en) * 2017-08-10 2020-09-22 Google Llc Context-sensitive hand interaction
KR20220100102A (ko) 2017-09-29 2022-07-14 애플 인크. 시선-기반 사용자 상호작용
US10930075B2 (en) * 2017-10-16 2021-02-23 Microsoft Technology Licensing, Llc User interface discovery and interaction for three-dimensional virtual environments
US11966793B1 (en) 2017-10-18 2024-04-23 Campfire 3D, Inc. Systems and methods to extend an interactive space across multiple platforms
KR102138412B1 (ko) 2017-10-20 2020-07-28 한국과학기술원 증강현실 및 가상현실 내 투영기하를 사용한 3d 윈도우 관리 기법
KR102029906B1 (ko) 2017-11-10 2019-11-08 전자부품연구원 이동수단의 가상현실 콘텐츠 제공 장치 및 방법
US11282133B2 (en) 2017-11-21 2022-03-22 International Business Machines Corporation Augmented reality product comparison
US10565761B2 (en) * 2017-12-07 2020-02-18 Wayfair Llc Augmented reality z-stack prioritization
US20190253700A1 (en) * 2018-02-15 2019-08-15 Tobii Ab Systems and methods for calibrating image sensors in wearable apparatuses
US10467335B2 (en) 2018-02-20 2019-11-05 Dropbox, Inc. Automated outline generation of captured meeting audio in a collaborative document context
US11488602B2 (en) 2018-02-20 2022-11-01 Dropbox, Inc. Meeting transcription using custom lexicons based on document history
US11145096B2 (en) * 2018-03-07 2021-10-12 Samsung Electronics Co., Ltd. System and method for augmented reality interaction
WO2019172678A1 (en) * 2018-03-07 2019-09-12 Samsung Electronics Co., Ltd. System and method for augmented reality interaction
US10831265B2 (en) * 2018-04-20 2020-11-10 Microsoft Technology Licensing, Llc Systems and methods for gaze-informed target manipulation
CN112262361A (zh) 2018-04-20 2021-01-22 Pcms控股公司 用于对混合现实内容进行基于注视的控制的方法和系统
WO2019217081A1 (en) 2018-05-09 2019-11-14 Apple Inc. Selecting a text input field using eye gaze
JP7341166B2 (ja) 2018-05-22 2023-09-08 マジック リープ， インコーポレイテッド ウェアラブルシステムのためのトランスモード入力融合
US20190361521A1 (en) * 2018-05-22 2019-11-28 Microsoft Technology Licensing, Llc Accelerated gaze-supported manual cursor control
JP7383647B2 (ja) * 2018-06-20 2023-11-20 バルブ コーポレーション 仮想物体の保持および解放
CN112512648B (zh) * 2018-06-20 2024-10-15 威尔乌集团 握住和释放虚拟对象
CN113238651A (zh) * 2018-07-02 2021-08-10 苹果公司 用于显示系统的基于聚焦的调试和检查
US10665206B2 (en) 2018-07-30 2020-05-26 Honeywell International Inc. Method and system for user-related multi-screen solution for augmented reality for use in performing maintenance
US10909772B2 (en) 2018-07-31 2021-02-02 Splunk Inc. Precise scaling of virtual objects in an extended reality environment
US10692299B2 (en) 2018-07-31 2020-06-23 Splunk Inc. Precise manipulation of virtual object position in an extended reality environment
JP2021182174A (ja) 2018-08-07 2021-11-25 ソニーグループ株式会社 情報処理装置、情報処理方法およびプログラム
CN109101110A (zh) * 2018-08-10 2018-12-28 北京七鑫易维信息技术有限公司 一种操作指令执行方法、装置、用户终端及存储介质
CN111124236B (zh) 2018-10-30 2023-04-28 斑马智行网络(香港)有限公司 一种数据处理方法、装置和机器可读介质
CN111309142A (zh) 2018-12-11 2020-06-19 托比股份公司 用于切换显示设备的输入模态的方法和设备
US11320911B2 (en) * 2019-01-11 2022-05-03 Microsoft Technology Licensing, Llc Hand motion and orientation-aware buttons and grabbable objects in mixed reality
KR20200091988A (ko) 2019-01-23 2020-08-03 삼성전자주식회사 장치를 제어하기 위한 방법 및 그 전자 장치
US11644940B1 (en) 2019-01-31 2023-05-09 Splunk Inc. Data visualization in an extended reality environment
US11853533B1 (en) * 2019-01-31 2023-12-26 Splunk Inc. Data visualization workspace in an extended reality environment
KR20200094970A (ko) 2019-01-31 2020-08-10 삼성전자주식회사 증강 현실 환경에서 다양한 기능을 수행하는 전자 장치 및 그 동작 방법
AU2019428009A1 (en) * 2019-02-04 2021-09-02 Razer (Asia-Pacific) Pte. Ltd. Method and apparatus of using a computer touchpad or digitizer stylus pad as a mousepad
JP7291878B2 (ja) * 2019-05-17 2023-06-16 株式会社電通 表示制御方法、表示制御装置、表示制御プログラムおよび表示制御システム
EP3759711B1 (en) * 2019-05-22 2023-01-04 Google LLC Methods, systems, and media for object grouping and manipulation in immersive environments
US11334212B2 (en) 2019-06-07 2022-05-17 Facebook Technologies, Llc Detecting input in artificial reality systems based on a pinch and pull gesture
US11689379B2 (en) 2019-06-24 2023-06-27 Dropbox, Inc. Generating customized meeting insights based on user interactions and meeting media
US11151794B1 (en) * 2019-06-28 2021-10-19 Snap Inc. Messaging system with augmented reality messages
CN110308794A (zh) * 2019-07-04 2019-10-08 郑州大学 具有两种显示模式的虚拟现实头盔及显示模式的控制方法
CN110502120A (zh) * 2019-08-29 2019-11-26 广州创幻数码科技有限公司 动捕数据和预设动作数据结合的虚拟主播系统及实现方
US10991163B2 (en) 2019-09-20 2021-04-27 Facebook Technologies, Llc Projection casting in virtual environments
US11189099B2 (en) * 2019-09-20 2021-11-30 Facebook Technologies, Llc Global and local mode virtual object interactions
US11170576B2 (en) 2019-09-20 2021-11-09 Facebook Technologies, Llc Progressive display of virtual objects
US11086406B1 (en) 2019-09-20 2021-08-10 Facebook Technologies, Llc Three-state gesture virtual controls
US11176745B2 (en) * 2019-09-20 2021-11-16 Facebook Technologies, Llc Projection casting in virtual environments
US11086476B2 (en) * 2019-10-23 2021-08-10 Facebook Technologies, Llc 3D interactions with web content
KR20210063928A (ko) * 2019-11-25 2021-06-02 삼성전자주식회사 증강 현실 서비스를 제공하기 위한 전자 장치 및 그의 동작 방법
JP7433860B2 (ja) * 2019-11-26 2024-02-20 キヤノン株式会社 電子機器及び電子機器の制御方法
US11175730B2 (en) 2019-12-06 2021-11-16 Facebook Technologies, Llc Posture-based virtual space configurations
US11475639B2 (en) 2020-01-03 2022-10-18 Meta Platforms Technologies, Llc Self presence in artificial reality
EP3851939A1 (en) * 2020-01-14 2021-07-21 Apple Inc. Positioning a user-controlled spatial selector based on extremity tracking information and eye tracking information
EP4094119A4 (en) 2020-01-24 2024-04-10 Magic Leap, Inc. MOVING AND INTERACTING WITH CONTENT USING ONE CONTROL DEVICE
US11257280B1 (en) 2020-05-28 2022-02-22 Facebook Technologies, Llc Element-based switching of ray casting rules
US11256336B2 (en) 2020-06-29 2022-02-22 Facebook Technologies, Llc Integration of artificial reality interaction modes
US11481177B2 (en) 2020-06-30 2022-10-25 Snap Inc. Eyewear including multi-user, shared interactive experiences
US11954268B2 (en) * 2020-06-30 2024-04-09 Snap Inc. Augmented reality eyewear 3D painting
CN111773658B (zh) * 2020-07-03 2024-02-23 珠海金山数字网络科技有限公司 一种基于计算机视觉库的游戏交互方法及装置
CN111598273B (zh) * 2020-07-20 2020-10-20 中国人民解放军国防科技大学 一种基于vr技术的环控生保系统维修性检测方法及装置
US11249314B1 (en) * 2020-08-04 2022-02-15 Htc Corporation Method for switching input devices, head-mounted display and computer readable storage medium
US11467403B2 (en) * 2020-08-20 2022-10-11 Htc Corporation Operating method and electronic system
US11227445B1 (en) 2020-08-31 2022-01-18 Facebook Technologies, Llc Artificial reality augments and surfaces
US11176755B1 (en) 2020-08-31 2021-11-16 Facebook Technologies, Llc Artificial reality augments and surfaces
US11178376B1 (en) 2020-09-04 2021-11-16 Facebook Technologies, Llc Metering for display modes in artificial reality
US20220148268A1 (en) * 2020-11-10 2022-05-12 Noderix Teknoloji Sanayi Ticaret Anonim Sirketi Systems and methods for personalized and interactive extended reality experiences
US11113893B1 (en) 2020-11-17 2021-09-07 Facebook Technologies, Llc Artificial reality environment with glints displayed by an extra reality device
EP4195005A4 (en) 2020-12-17 2024-06-12 Samsung Electronics Co., Ltd. ELECTRONIC DEVICE AND METHOD FOR OPERATING AN ELECTRONIC DEVICE
CN112631424A (zh) * 2020-12-18 2021-04-09 上海影创信息科技有限公司 手势优先级控制方法和系统及其vr眼镜
US11461973B2 (en) 2020-12-22 2022-10-04 Meta Platforms Technologies, Llc Virtual reality locomotion via hand gesture
US11409405B1 (en) 2020-12-22 2022-08-09 Facebook Technologies, Llc Augment orchestration in an artificial reality environment
US11327630B1 (en) * 2021-02-04 2022-05-10 Huawei Technologies Co., Ltd. Devices, methods, systems, and media for selecting virtual objects for extended reality interaction
US11294475B1 (en) 2021-02-08 2022-04-05 Facebook Technologies, Llc Artificial reality multi-modal input switching model
KR20220136776A (ko) * 2021-04-01 2022-10-11 삼성전자주식회사 증강 현실 이미지를 제공하는 방법 및 이를 지원하는 hmd 장치
US11278810B1 (en) * 2021-04-01 2022-03-22 Sony Interactive Entertainment Inc. Menu placement dictated by user ability and modes of feedback
US11927756B2 (en) 2021-04-01 2024-03-12 Samsung Electronics Co., Ltd. Method for providing augmented reality image and head mounted display device supporting the same
JP2022163813A (ja) * 2021-04-15 2022-10-27 キヤノン株式会社 装着型の情報端末、その制御方法及びプログラム
US11295503B1 (en) 2021-06-28 2022-04-05 Facebook Technologies, Llc Interactive avatars in artificial reality
US11762952B2 (en) 2021-06-28 2023-09-19 Meta Platforms Technologies, Llc Artificial reality application lifecycle
US11521361B1 (en) 2021-07-01 2022-12-06 Meta Platforms Technologies, Llc Environment model with surfaces and per-surface volumes
DE102021003490A1 (de) 2021-07-06 2023-01-12 Mercedes-Benz Group AG Verfahren zur Darstellung von Informationen mit einer Blickfeldanzeigevorrichtung, Blickfeldanzeigevorrichtung und Fahrzeug
US12008717B2 (en) 2021-07-07 2024-06-11 Meta Platforms Technologies, Llc Artificial reality environment control through an artificial reality environment schema
US12056268B2 (en) 2021-08-17 2024-08-06 Meta Platforms Technologies, Llc Platformization of mixed reality objects in virtual reality environments
US11748944B2 (en) 2021-10-27 2023-09-05 Meta Platforms Technologies, Llc Virtual object structures and interrelationships
US11798247B2 (en) 2021-10-27 2023-10-24 Meta Platforms Technologies, Llc Virtual object structures and interrelationships
RU210426U1 (ru) * 2021-12-15 2022-04-15 Общество с ограниченной ответственностью "ДАР" Устройство для трансляции дополненной реальности
US20230334808A1 (en) * 2022-01-12 2023-10-19 Apple Inc. Methods for displaying, selecting and moving objects and containers in an environment
US12093447B2 (en) 2022-01-13 2024-09-17 Meta Platforms Technologies, Llc Ephemeral artificial reality experiences
US20230316634A1 (en) * 2022-01-19 2023-10-05 Apple Inc. Methods for displaying and repositioning objects in an environment
US12067688B2 (en) 2022-02-14 2024-08-20 Meta Platforms Technologies, Llc Coordination of interactions of virtual objects
US20230306499A1 (en) * 2022-03-28 2023-09-28 Google Llc Vision-powered auto-scroll for lists
US11620000B1 (en) * 2022-03-31 2023-04-04 Microsoft Technology Licensing, Llc Controlled invocation of a precision input mode
US12026527B2 (en) 2022-05-10 2024-07-02 Meta Platforms Technologies, Llc World-controlled and application-controlled augments in an artificial-reality environment
US11531448B1 (en) * 2022-06-01 2022-12-20 VR-EDU, Inc. Hand control interfaces and methods in virtual reality environments
US12097427B1 (en) 2022-08-26 2024-09-24 Meta Platforms Technologies, Llc Alternate avatar controls
US12112011B2 (en) 2022-09-16 2024-10-08 Apple Inc. System and method of application-based three-dimensional refinement in multi-user communication sessions
US12099653B2 (en) 2022-09-22 2024-09-24 Apple Inc. User interface response based on gaze-holding event assessment
JP2024048680A (ja) * 2022-09-28 2024-04-09 キヤノン株式会社 制御装置、制御方法、プログラム
US11947862B1 (en) 2022-12-30 2024-04-02 Meta Platforms Technologies, Llc Streaming native application content to artificial reality devices
JP2024097269A (ja) * 2023-01-05 2024-07-18 キヤノン株式会社 情報処理装置および情報処理方法
US11991222B1 (en) 2023-05-02 2024-05-21 Meta Platforms Technologies, Llc Persistent call control user interface element in an artificial reality environment
US12118200B1 (en) 2023-06-02 2024-10-15 Apple Inc. Fuzzy hit testing
US12113948B1 (en) 2023-06-04 2024-10-08 Apple Inc. Systems and methods of managing spatial groups in multi-user communication sessions

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140237366A1 (en) * 2013-02-19 2014-08-21 Adam Poulos Context-aware augmented reality object commands
US20140282275A1 (en) * 2013-03-15 2014-09-18 Qualcomm Incorporated Detection of a zooming gesture
JP2015133088A (ja) * 2014-01-16 2015-07-23 カシオ計算機株式会社 Ｇｕｉシステム、表示処理装置、入力処理装置及びプログラム

Family Cites Families (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08241163A (ja) * 1995-03-01 1996-09-17 Canon Inc 情報処理装置
US6720949B1 (en) * 1997-08-22 2004-04-13 Timothy R. Pryor Man machine interfaces and applications
WO2000008547A1 (en) 1998-08-05 2000-02-17 British Telecommunications Public Limited Company Multimodal user interface
US6243093B1 (en) * 1998-09-14 2001-06-05 Microsoft Corporation Methods, apparatus and data structures for providing a user interface, which exploits spatial memory in three-dimensions, to objects and which visually groups matching objects
US6570555B1 (en) * 1998-12-30 2003-05-27 Fuji Xerox Co., Ltd. Method and apparatus for embodied conversational characters with multimodal input/output in an interface device
US6611253B1 (en) 2000-09-19 2003-08-26 Harel Cohen Virtual input environment
US7095401B2 (en) 2000-11-02 2006-08-22 Siemens Corporate Research, Inc. System and method for gesture interface
US7667700B1 (en) 2004-03-05 2010-02-23 Hrl Laboratories, Llc System and method for navigating operating in a virtual environment
US9772689B2 (en) 2008-03-04 2017-09-26 Qualcomm Incorporated Enhanced gesture-based image manipulation
US20100241955A1 (en) * 2009-03-23 2010-09-23 Microsoft Corporation Organization and manipulation of content items on a touch-sensitive display
US20120113223A1 (en) 2010-11-05 2012-05-10 Microsoft Corporation User Interaction in Augmented Reality
JP5472056B2 (ja) * 2010-11-19 2014-04-16 コニカミノルタ株式会社 表示システム、表示処理装置、表示方法、および表示プログラム
US20130154913A1 (en) 2010-12-16 2013-06-20 Siemens Corporation Systems and methods for a gaze and gesture interface
US9104239B2 (en) * 2011-03-09 2015-08-11 Lg Electronics Inc. Display device and method for controlling gesture functions using different depth ranges
CN102226880A (zh) * 2011-06-03 2011-10-26 北京新岸线网络技术有限公司 一种基于虚拟现实的体感操作方法及系统
US20130082928A1 (en) * 2011-09-30 2013-04-04 Seung Wook Kim Keyboard-based multi-touch input system using a displayed representation of a users hand
US8990682B1 (en) * 2011-10-05 2015-03-24 Google Inc. Methods and devices for rendering interactions between virtual and physical objects on a substantially transparent display
US9142182B2 (en) 2011-10-07 2015-09-22 Lg Electronics Inc. Device and control method thereof
US9152376B2 (en) 2011-12-01 2015-10-06 At&T Intellectual Property I, L.P. System and method for continuous multimodal speech and gesture interaction
JP5807686B2 (ja) 2012-02-10 2015-11-10 ソニー株式会社 画像処理装置、画像処理方法及びプログラム
KR101620777B1 (ko) * 2012-03-26 2016-05-12 애플 인크. 증강된 가상 터치패드 및 터치스크린
US9552673B2 (en) 2012-10-17 2017-01-24 Microsoft Technology Licensing, Llc Grasping virtual objects in augmented reality
US20140168261A1 (en) * 2012-12-13 2014-06-19 Jeffrey N. Margolis Direct interaction system mixed reality environments
KR20140112910A (ko) * 2013-03-14 2014-09-24 삼성전자주식회사 입력 제어 방법 및 이를 지원하는 전자 장치
US9443354B2 (en) * 2013-04-29 2016-09-13 Microsoft Technology Licensing, Llc Mixed reality interactions
US10905943B2 (en) * 2013-06-07 2021-02-02 Sony Interactive Entertainment LLC Systems and methods for reducing hops associated with a head mounted system
US20140362110A1 (en) 2013-06-08 2014-12-11 Sony Computer Entertainment Inc. Systems and methods for customizing optical representation of views provided by a head mounted display based on optical prescription of a user
US20140368537A1 (en) * 2013-06-18 2014-12-18 Tom G. Salter Shared and private holographic objects
KR102039427B1 (ko) * 2013-07-01 2019-11-27 엘지전자 주식회사 스마트 글라스
KR20150024247A (ko) * 2013-08-26 2015-03-06 삼성전자주식회사 터치 스크린 디바이스에서 다수의 입력기구를 이용하는 애플리케이션을 실행하는 방법 및 터치 스크린 디바이스
US9244539B2 (en) 2014-01-07 2016-01-26 Microsoft Technology Licensing, Llc Target positioning with gaze tracking
US9552060B2 (en) 2014-01-28 2017-01-24 Microsoft Technology Licensing, Llc Radial selection by vestibulo-ocular reflex fixation
JP2015149634A (ja) * 2014-02-07 2015-08-20 ソニー株式会社 画像表示装置および方法
US10101803B2 (en) * 2015-08-26 2018-10-16 Google Llc Dynamic switching and merging of head, gesture and touch input in virtual reality

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140237366A1 (en) * 2013-02-19 2014-08-21 Adam Poulos Context-aware augmented reality object commands
US20140282275A1 (en) * 2013-03-15 2014-09-18 Qualcomm Incorporated Detection of a zooming gesture
JP2015133088A (ja) * 2014-01-16 2015-07-23 カシオ計算機株式会社 Ｇｕｉシステム、表示処理装置、入力処理装置及びプログラム

Also Published As

Publication number Publication date
JP7008681B2 (ja) 2022-01-25
EP3341815B1 (en) 2022-04-13
WO2017034667A1 (en) 2017-03-02
CN107533374A (zh) 2018-01-02
JP2018517967A (ja) 2018-07-05
KR20170126508A (ko) 2017-11-17
CN107533374B (zh) 2020-12-01
US10101803B2 (en) 2018-10-16
US10606344B2 (en) 2020-03-31
JP2020061169A (ja) 2020-04-16
US20170060230A1 (en) 2017-03-02
EP3341815A1 (en) 2018-07-04
US20190011979A1 (en) 2019-01-10

Similar Documents

Publication Publication Date Title
KR102003493B1 (ko) 가상 현실에서 헤드, 제스쳐 및 터치 입력의 동적 전환 및 병합
US10509487B2 (en) Combining gyromouse input and touch input for navigation in an augmented and/or virtual reality environment
CN108292146B (zh) 虚拟现实中的激光指示器交互和缩放
US10545584B2 (en) Virtual/augmented reality input device
KR102233807B1 (ko) 가상 현실 시스템을 위한 입력 제어기 안정화 기법
JP6682623B2 (ja) 拡張および／または仮想現実環境におけるテレポーテーション
JP6535819B2 (ja) 仮想現実環境におけるナビゲーション用制御システム
KR102251252B1 (ko) 가상 현실에서의 위치 지구본
KR20170130582A (ko) 가상현실에서 시선 인터렉션을 위한 호버 행동

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant