KR102105637B1 - 가상 현실에서 오브젝트와 손의 상황 감지형 충돌을 통한 입력 - Google Patents

가상 현실에서 오브젝트와 손의 상황 감지형 충돌을 통한 입력 Download PDF

Info

Publication number
KR102105637B1
KR102105637B1 KR1020177030851A KR20177030851A KR102105637B1 KR 102105637 B1 KR102105637 B1 KR 102105637B1 KR 1020177030851 A KR1020177030851 A KR 1020177030851A KR 20177030851 A KR20177030851 A KR 20177030851A KR 102105637 B1 KR102105637 B1 KR 102105637B1
Authority
KR
South Korea
Prior art keywords
user
virtual
collision
mode
environment
Prior art date
Application number
KR1020177030851A
Other languages
English (en)
Other versions
KR20170130586A (ko
Inventor
마누엘 크리스티안 클레멘트
알렉산더 제임스 파아보르그
라울 가르그
조나단 톰슨
시퀴 첸
Original Assignee
구글 엘엘씨
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 구글 엘엘씨 filed Critical 구글 엘엘씨
Publication of KR20170130586A publication Critical patent/KR20170130586A/ko
Application granted granted Critical
Publication of KR102105637B1 publication Critical patent/KR102105637B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/212—Input arrangements for video game devices characterised by their sensors, purposes or types using sensors worn by the player, e.g. for measuring heart beat or leg activity
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/213—Input arrangements for video game devices characterised by their sensors, purposes or types comprising photodetecting means, e.g. cameras, photodiodes or infrared cells
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/40—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
    • A63F13/42—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle
    • A63F13/428—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle involving motion or position input signals, e.g. signals representing the rotation of an input controller or a player's arm motions sensed by accelerometers or gyroscopes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04847—Interaction techniques to control parameter settings, e.g. interaction with sliders or dials
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0485—Scrolling or panning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/55—Controlling game characters or game objects based on the game progress
    • A63F13/57—Simulating properties, behaviour or motion of objects in the game world, e.g. computing tyre load in a car race game
    • A63F13/577—Simulating properties, behaviour or motion of objects in the game world, e.g. computing tyre load in a car race game using determination of contact between game characters or objects, e.g. to avoid collision between virtual racing cars
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/80—Special adaptations for executing a specific game genre or game mode
    • A63F13/822—Strategy games; Role-playing games
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/80—Special adaptations for executing a specific game genre or game mode
    • A63F13/837—Shooting of targets

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Cardiology (AREA)
  • General Health & Medical Sciences (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Abstract

일 양태에서, 가상 환경에서 가상 사용자에 대한 입력을 수신하는 방법 및 시스템이 설명된다. 상기 입력은 가상 환경을 액세스하는 사용자에 의해 수행된 복수의 움직임에 기초할 수 있다. 상기 복수의 움직임에 기초하여, 상기 방법 및 시스템은 가상 사용자의 적어도 일부가 적어도 하나의 가상 오브젝트와 관련된 충돌 영역의 임계 거리 내에 있는지 검출하는 단계를 포함할 수 있다. 상기 방법 및 시스템은 또한 적어도 일부 및 적어도 하나의 가상 오브젝트에 기초하여 가상 사용자를 위한 충돌 모드를 선택하는 단계 및 상기 선택된 충돌 모드에 기초하여 가상 사용자를 동적으로 수정하는 단계를 포함할 수 있다.

Description

가상 현실에서 오브젝트와 손의 상황 감지형 충돌을 통한 입력
본 출원은 2015년 8월 4일자로 출원된 "가상 현실에서 상황 감지형 손 충돌"이라는 명칭의 미국 특허 출원 일련 번호 62/200,825의 우선권 및 그 이익을 주장하며, 그 개시 내용은 본원에 참고로 포함된다.
이 설명은 일반적으로 가상 현실(VR) 환경에서 컴퓨팅 디바이스의 사용에 관한 것이다. 특히, 이 설명은 VR 환경에서의 충돌을 처리하는 기술에 관한 것이다.
일반적으로 가상 현실은 컴퓨터로 생성된 3차원(3D) 환경에서 사람을 둘러싸고 몰입하도록 할 수 있다. 사람은 특정 전자 디바이스와 상호 작용 및/또는 특정 전자 디바이스를 물리적으로 착용함으로써 이 환경에 진입할 수 있다. 예시적인 전자 디바이스는 스크린(예를 들어, 디스플레이 디바이스 또는 모니터)을 볼 때 사용자가 보는 스크림, 안경 또는 고글을 포함하는 헬멧, 센서가 장착된 장갑 및 센서를 포함하는 외부 핸드헬드(handheld) 디바이스를 포함할 수 있지만, 이에 한정되지 않는다. 일단 사람이 VR 환경에 들어가면, 사람은 실제처럼 보이는 방식(예를들어, 물리적 방식)으로 3D 환경과 상호 작용을 할 수 있다.
하나 이상의 컴퓨터로 이루어진 시스템은 작동 중에 시스템이 액션을 수행하거나 수행하도록 유발하는 시스템에 설치된 소프트웨어, 펌웨어, 하드웨어 또는 그들의 조합을 구비함으로써 특정 동작(operation) 또는 액션(action)을 수행하도록 구성될 수 있다. 하나 이상의 컴퓨터 프로그램은, 데이터 처리 장치에 의해 실행될 때, 장치가 액션을 수행하도록 하는 명령을 포함함으로써 특정 동작 또는 액션을 수행하도록 구성될 수 있다.
하나의 일반적인 양태에서, 방법은 컴퓨터 구현 방법을 포함한다. 방법은 가상 환경에서 가상 사용자에 대한 입력을 수신하는 단계를 포함할 수 있다. 입력은 가상 환경을 액세스하는 사용자에 의해 수행된 복수의 움직임에 기초할 수 있다. 방법은 또한 가상 사용자의 적어도 하나의 부분이 복수의 움직임에 기초하여 충돌 영역(zone)의 임계 거리 내에 있는지 검출하는 단계를 포함할 수 있다. 충돌 영역은 적어도 하나의 가상 오브젝트(object)와 연관될 수 있다. 상기 방법은 또한 적어도 하나의 부분 및 적어도 하나의 가상 오브젝트에 기초하여 가상 사용자를 위한 충돌 모드를 선택하는 단계 및 선택된 충돌 모드에 기초하여 가상 사용자를 동적으로 수정(modify)하는 단계를 포함할 수 있다. 이 양태의 다른 실시예는 각각 이 방법의 액션을 수행하도록 구성된, 대응되는 컴퓨터 시스템, 장치 및 하나 이상의 컴퓨터 저장 디바이스상에 기록된 컴퓨터 프로그램을 포함한다.
구현 예들은 적어도 하나의 다음 특징을 포함할 수 있다. 방법은 또한 수정된 가상 사용자와 정렬되도록 충돌 영역을 조정하는 단계를 포함할 수 있다. 조정은 입력을 수신할 충돌 영역 내에 다수의 가시적 타겟(viewable target)을 제공하는 단계를 포함할 수 있다. 복수의 가시적 타겟은 선택된 충돌 모드와 연관될 수 있다. 입력은 적어도 하나의 가상 오브젝트에 근접한 호버 움직임을 포함할 수 있고, 임계 거리는 적어도 하나의 가상 오브젝트로부터 약 1/2 내지 약 1인치를 포함한다.
상기 방법은 또한 가상 환경이 스크롤 가능한 콘텐츠를 제공하는지 판단하는 단계, 손바닥 기반 충돌 모드를 선택하는 단계, 및 사용자의 손에 의해 개시된 손바닥 제스처를 수신하는 것에 응답하여 스크롤되어질 콘텐츠를 구성하는 단계를 포함할 수 있다. 가상 사용자를 동적으로 수정하는 단계는 가상 환경에서 입력을 제공하는 것에 대응하는 가상 사용자의 일부를 수정하는 단계를 포함할 수 있다. 일부를 수정하는 단계는 또한 입력은 손가락 움직임을 포함하고 상기 일부는 하나 이상의 가상 핑거를 포함하는지를 검출하는 단계, 및 하나 이상의 가상 핑거의 리치(reach)를 충돌 영역으로 확장하는 단계를 포함할 수 있다. 확장 단계는 가상 환경에서 하나 이상의 가상 손가락에 대한 임계 거리 내에 도시된 가상 오브젝트와 상호 작용하도록 가상 사용자를 적응시키는 단계를 포함할 수 있다. 가상 사용자를 동적으로 수정하는 단계는 사용자에게 시각적 응답, 오디오 응답 또는 햅틱 응답 중 적어도 하나를 제공하는 단계를 포함할 수 있다. 방법은 또한 선택된 충돌 모드에 적어도 부분적으로 기초하여 적어도 하나의 상황(context) 검출형 충돌 영역을 제공하는 단계를 포함하며, 상기 충돌 모드는 충돌 영역의 상황이 손가락 제스처를 수신하도록 구성되는 경우에는 정밀(fine) 충돌 모드로서 구성되고, 충돌 영역의 상황이 대화형 손 제스처를 수신하도록 구성되는 경우에는 비정밀(coarse) 충돌 모드로서 구성된다. 상황 감지형 충돌 영역은 충돌 영역과 관련된 크기에 기초하여 제공될 수 있다. 상황에 따른 충돌 영역은 가상 환경에서 적어도 하나의 가상 오브젝트와 연관된 크기에 기초하여 제공될 수 있다. 서술된 기술들의 구현들은 하드웨어, 방법 또는 프로세스, 또는 컴퓨터 액세스 가능 매체상의 컴퓨터 소프트웨어를 포함할 수 있다.
하나 이상의 컴퓨터로 이루어진 시스템은 동작중에 액션이 수행되도록 하거나 시스템으로 하여금 액션을 수행하도록 하는 시스템 상에 설치된 소프트웨어, 펌웨어, 하드웨어 또는 이들의 조합을 구비함으로써 특정 동작 또는 액션을 수행하도록 구성될 수 있다. 하나 이상의 컴퓨터 프로그램은 데이터 처리 디바이스에 의해 실행될 때 디바이스로 하여금 동작을 수행하게 하는 명령을 포함함으로써 특정 동작 또는 액션을 수행하도록 구성될 수 있다. 하나의 일반적인 양태는, 가상 공간 환경에서 가상 현실 체험을 생성하는 전자 컴퓨팅 디바이스, 상기 전자 컴퓨팅 디바이스는 물리적 공간 내에서 휴대 가능하고, 전자 컴퓨팅 디바이스와 통신하는 복수의 센서, 상기 센서는 가상 공간내에서 전자 컴퓨팅 디바이스를 액세스하는 사용자와 연관된 움직임을 검출하고, 및 적어도 하나의 프로세서를 포함하는 시스템을 포함한다. 프로세서는 가상 현실 환경에서의 움직임을 검출하도록 구성될 수 있으며, 상기 움직임은 가상 사용자에 의해 수행되고, 상기 움직임은 가상 환경에서 표시되고 물리적 사용자의 신체 부분과 연관된다. 가상 오브젝트가 신체 부분보다 작은 가상 오브젝트상의 영역에 입력을 수신하도록 구성되었다는 결정에 응답하여, 시스템은 신체 부분과의 선택 기능(capability)을 변경하기 위해 충돌 모드를 선택하도록 구성될 수 있다. 적어도 하나의 프로세서는 가상 환경에서 신체 부분의 표시상에 수정된 선택 기능을 표시하고, 수정된 선택 기능을 상이한 가상 오브젝트와 연관된 움직임을 검출할 때까지 유지하도록 구성될 수 있다.
구현 예들은 적어도 하나의 다음 특징을 포함할 수 있다. 프로세서는, 가상 환경에서 신체 부분의 표시 상에 디스플레이하도록 구성될 수 있으며, 수정된 선택 기능은 글로우(glow), 진동, 이동, 성장(grow) 또는 수축하도록 신체 부분을 구성하는 것을 포함하며, 상기 디스플레이는 가상 오브젝트와 상호 작용하는 메카니즘을 물리적 사용자에게 나타낸다.
일부 구현 예들에서, 가상 오브젝트는 키보드이고, 신체 부분은 손이며, 충돌 모드는 손의 손가락 끝 영역을 축소시키기 위해 선택되고, 신체 부분의 표시는 각 손가락 상의 인디케이터를 포함한다. 일부 구현 예들에서, 충돌 모드는 풀 핸드 모드, 전체 팔 모드, 손가락 모드, 전신 모드 및 키보드 모드로 구성되는 그룹으로부터 선택되며, 각 모드는 정밀(fine) 또는 비정밀(coarse) 구성을 포함한다.
설명된 기술들의 구현예들은 하드웨어, 방법 또는 프로세스, 또는 컴퓨터 액세스 가능 매체상의 컴퓨터 소프트웨어를 포함할 수 있다. 다른 일반적인 양태에서, 컴퓨터 시스템의 프로세서에 의해 실행될 때 비 일시적(non-transitory) 컴퓨터 판독 가능 매체는 컴퓨터 시스템으로 하여금 가상 환경에서 가상 사용자에 대한 입력을 수신하도록 하는 명령들을 포함하며, 상기 입력은 가상 환경을 액세스하는 사용자에 의해 수행된 복수의 움직임에 기초한다. 명령들은 또한 가상 사용자의 적어도 일부가 복수의 움직임들에 기초하여 충돌 영역의 임계 거리 내에 있는지를 검출하는 것을 포함할 수 있다. 충돌 영역은 적어도 하나의 가상 오브젝트와 연관될 수 있다. 명령들은 또한 충돌 영역의 임계 거리 내에 있는 가상 사용자의 적어도 하나의 부분에 기초하여 가상 사용자를 위한 충돌 모드를 선택하는 것 및 선택된 충돌 모드에 기초하여 가상 사용자를 동적으로 수정하는 것을 포함할 수 있다.
구현 예들은 하나 이상의 다음 특징을 포함할 수 있다. 명령들은 수정된 가상 사용자와 정렬하도록 충돌 영역을 조정하는 것을 포함할 수 있다. 상기 조정은 입력을 수신하는 충돌 영역 내에 복수의 가시적인 타겟을 제공하는 것을 포함할 수 있다. 복수의 가시적인 타겟은 선택된 충돌 모드와 관련된다. 일부 구현 예들에서, 입력은 호버 움직임을 포함하고, 임계 거리는 적어도 하나의 가상 오브젝트로부터 약 1/2 내지 약 1인치를 포함한다.
일부 구현 예에서, 가상 사용자를 동적으로 수정하는 것은 가상 환경에서 입력을 제공하는 것에 대응하는 가상 사용자의 일부를 수정하는 단계를 포함한다. 일부 구현 예에서, 가상 사용자를 동적으로 수정하는 것은 입력이 손가락 움직임을 포함하고 일부가 하나 이상의 가상 핑거를 포함하는 것을 검출하는 것, 및 하나 이상의 가상 손가락의 리치를 충돌 영역으로 확장시키는 것을 더 포함한다. 상기 확장은 가상 환경에서 하나 이상의 가상 손가락에 대한 임계 거리 내에 도시된 가상 오브젝트와 상호 작용하도록 가상 사용자를 적응시키는 것을 포함할 수 있다.
상기 명령들은 선택된 충돌 모드에 적어도 부분적으로 기초하여 적어도 하나의 상황 감지형 충돌 영역을 제공하는 것을 포함할 수 있다. 충돌 모드는 충돌 영역의 상황이 손가락 제스처를 수신하도록 구성되는 경우에는 정밀(fine) 충돌 모드로서 구성되고, 충돌 영역의 상황이 대화형 손 제스처를 수신하도록 구성되는 경우에는 비정밀(coarse) 충돌 모드로서 구성될 수 있다. 이 양태의 다른 실시예들은 각각이 방법의 동작을 수행하도록 구성된, 하나 이상의 컴퓨터 저장 디바이스 상에 기록된 대응하는 컴퓨터 시스템, 디바이스 및 컴퓨터 프로그램을 포함한다.
하나 이상의 구현예들의 세부 사항은 첨부된 도면 및 이하의 설명에서 설명된다. 다른 특징들은 상세한 설명 및 도면들 및 청구항들로부터 명백할 것이다.
하나 이상의 컴퓨터로 이루어진 시스템은 작동 중에 시스템이 액션을 수행하거나 수행하도록 유발하는 시스템에 설치된 소프트웨어, 펌웨어, 하드웨어 또는 그들의 조합을 구비함으로써 특정 동작(operation) 또는 액션(action)을 수행하도록 구성될 수 있다.
도 1은 3D 가상 현실(VR) 환경에서 상황 감지형 충돌 상호 작용을 제공하는 예시적인 시스템의 블록도이다.
도 2는 컴퓨팅 디바이스와 상호 작용하는 사용자를 나타내는 다이어그램이다.
도 3A-3C는 헤드 마운트 디스플레이(HMD) 디바이스의 스크린상에서 사용자가 볼 수 있는 이미지를 예시하는 다이어그램이다.
도 4는 VR 환경에서 상황 감지형 충돌을 제공하는 프로세스의 일 실시예를 나타내는 흐름도이다.
도 5는 본 명세서에서 기술된 기술을 구현하는데 사용될 수 있는 컴퓨터 디바이스 및 모바일 컴퓨터 디바이스의 예를 나타낸다.
다양한 도면에서 유사한 참조 부호는 동일한 엘리먼트를 나타낸다.
컴퓨터 생성 가상 현실(VR) 환경은 사용자가 물리적 오브젝트와 상호 작용하는 것처럼 가상 공간과 상호 작용(예를들어, 도달)할 수 있게 하는 가상 공간과 가상 오브젝트를 생성하여 사용자를 위한 몰입감 있는 체험을 생성할 수 있다. 일반적으로, VR 환경은 사용자에게 가상 공간 및 가상 오브젝트와 상호 작용하는 다수의 메커니즘을 제공할 수 있다. 메커니즘은 전자 장치(예를들어, 헤드 마운트 디바이스, 장갑, 바디슈트, 안구 카메라 등)를 하우징하는 웨어러블 아이템, 센서 및 사용자가 VR환경으로 입력을 제공할 수 있도록 하는 다른 디바이스와 같이 특정 사용자의 움직임을 감지하도록 구성된 물리적 디바이스들을 포함할 수 있다. 몇몇 구현 예에서, 사용자는 VR 환경에서 오브젝트 쪽으로 또는 오브젝트로 기울일(예를들어, 움직일) 수 있다. 기울이는 것은 신체 또는 부분의 일부 또는 전부를 포함할 수 있다. 예를 들어, 사용자는 VR 환경에서 오브젝트 가까이(임계 거리 내에서) 손을 호버(hover)할 수 있고, 시스템(100)은 사용자 손의 호버/근접을 검출할 수 있다. 호버링은 마치 임계시간 동안 오브젝트에 공중 근접(air proximate)(예를 들어, 임계 거리 내에서)하여 부상하는 것처럼 상기 오브젝트에 공중 근접하여 일시 정지(pause)하는 것을 포함할 수 있다. 호버링은 시간 기반 컴포넌트(component)와 거리 기반 컴포넌트를 포함할 수 있다. 예를 들어, 사용자는 약 1~3초 동안 가상 오브젝트 위를 호버할 수 있고, 가상 오브젝트로부터 약 1~3인치 이내에서 호버할 수 있다. 일반적으로, 시스템은 호버를 검출할 수 있으며 검출된 호버를 사용자 손의 임계 거리 내에 있는 특정 오브젝트와 연관된 메뉴, 동작 또는 출력을 트리거하는 메커니즘으로 사용할 수 있다.
만약 사용자가 VR 환경과 상호 작용하기를 원하면, 사용자는 하나 이상의 손가락, 손, 팔, 발, 다리 등을 사용하여 VR 환경에서 가상 오브젝트에 도달(reach)할 수 있다. 이러한 리치(예를 들어, 움직임)는 가상 오브젝트의 이동과 VR 환경의 수정(modification)을 시뮬레이팅하는 입력으로서 검출될 수 있다. 몇몇 구현 예에서, 사용자의 신체 부분이 VR 환경에서 디스플레이하기 위해 렌더링될 수 있으며, 본 명세서에서 기술된 시스템 및 방법은 사용자가 신체 부분을 이동할 때 사용자 입력을 수신할 수 있다. VR 환경으로 제공된 사용자 입력은 가상 오브젝트와 다른 렌더링된 VR 콘텐츠 또는 오브젝트 사이에 일어나는 충돌로 해석될 수 있다. 본 명세서에 설명된 시스템 및 방법은 그러한 충돌을 검출하고, 검출된 충돌에 대하여 VR 환경이 사용자에게 어떻게 반응할지를 결정하도록 구성될 수 있다. VR 환경에서 검출된 충돌에 대한 응답은 아래에서 상세히 설명되는 바와같이, 시각적 응답, 오디오 응답 및/또는 햅틱 응답의 임의의 조합을 포함할 수 있다.
도 1은 3D 가상 현실(VR) 환경에서 상황 감지형 충돌 상호 작용을 제공하는 예시적인 시스템(100)의 블록도이다. 일반적으로, 시스템(100)은 본 명세서에서 설명된 방법, 컴포넌트 및 기술을 사용하여 3D VR 환경 및 VR 콘텐츠를 제공할 수 있다. 특히, 시스템(100)은 사용자 및/또는 VR 환경 내의 가상 오브젝트와 관련된 움직임(예를 들어, 상호 작용)에 대한 직관적인 응답을 사용자에게 제공할 수 있다. 일부 구현에서, 시스템(100)은 VR 환경과 상호 작용하기 위해 어느 부분이 선택되는지(물리적 사용자에 의해)에 기초하여 가상 사용자의 일부를 수정할 수 있다. 예를 들어, 사용자는 블록에 도달하여 블록을 가져옴으로써 VR 환경에서 상호 작용할 수 있다. 사용자는 블록을 잡아 쌓을 수 있다. 사용자의 손가락, 손바닥, 팔뚝, 다른 팔 또는 일부는 충돌을 트리거할 수 있으며 물리적 세계에 영향을 줄 수 있다. 이는 사용자가 정확하게 사용자의 손에 있는 아이템을 잡거나 사실적 체험처럼 아이템을 밀어내는 것을 가능케 한다. 시스템(100)은 어느 부분이 (가상) 블록과 먼저 상호 작용할 가능성이 있는지를 검출할 수 있고 다른 신체 부분과의 다른 충돌을 차단할 수 있다. 다른 예에서, 시스템(100)은 사용자가 손으로 가상 오브젝트와 충돌하려고 한다는 것을 검출할 수 있기 때문에, 가상 블록에 근접하는 것처럼 손가락 및 손의 리치를 확장할 수 있다.
시스템(100)은 대화형 및 상황 감지형 타겟을 갖는 가상 오브젝트를 하우징하는 VR 환경을 제공하도록 구성될 수 있다. 본 명세서에서, 타겟은 사용자로부터 입력을 수신하기 위한 제어 영역을 지칭할 수 있다. 제어 영역은 임의의 모양 및 크기 일 수 있고, 검출된 사용자 입력 또는 사용자가 제어 영역과 어떻게 상호 작용하는지의 상황에 따라 VR 환경에 의해 수정될 수 있다. 입력은 손 움직임, 손가락 움직임 또는 물리적 공간을 통한 다른 물리적 움직임 등과 같은 물리적인 사용자 입력으로 참조될 수 있다. 입력은 VR 환경에서 가상 오브젝트의 움직임을 트리거할 수 있으며, 가상 오브젝트와 상호 작용(예를들어, 충돌)하여 가상 오브젝트의 이동, 수정 또는 가상 오브젝트의 일부 양태(aspect)에 영향이 미칠 수 있다. 사용자 입력을 검출하는 것에 응답하여, 시스템(100)은 VR 환경에서 오브젝트 또는 콘텐츠와 관련된 액션을 수행할 수 있다.
상황 감지형 타겟(context-sensitive targets)은 VR 환경에서 오브젝트 또는 콘텐츠와 연관된 액션을 수행하기 전에 사용자에 관한 다수의 세부 사항을 고려할 수 있다. 예를 들어, 상황 감지형 타겟은 사용자-특정 정보, 사용자 움직임 정보, 가상 오브젝트 정보, VR 환경 정보 및/또는 다른 VR 기반 정보에 적어도 부분적으로 기초하여 구성 및/또는 동작 될 수 있다. 타겟 및 상황 감지형 타겟이라는 용어는 본 명세서의 개시 내용 전체에서 상호 교환적으로 사용될 수 있으며 두 용어 중 하나가 상황 감지형 타겟에 적용될 수 있다.
일반적으로, 타겟들은 VR 환경에서 움직임(예를 들어, 렌더링된 가상 사용자처럼)을 제어하는 사용자에 의해 선택될 수 있다. 본 명세서에 설명된 시스템 및 방법은 타겟 근처 또는 타겟 상에서 상기 렌더링된 사용자의 일부를 검출하는 것에 응답하여, 렌더링된 사용자를 동적으로 변경하도록 구성될 수 있다. 예를 들어, 사용자가 VR 환경에 제공되는 가상 오브젝트(하나 이상의 타겟과 관련된)를 향해 기울이기(예를 들어, 호버) 시작할 때, 시스템(100)은 움직임을 검출할 수 있고 VR 환경내에 사용자가 즉시 또는 거의 즉각적인 액션(예를들어, 기능)을 트리거하기 위해 통과할 수 있는 다수의 선택 가능 영역(예를 들어, 타겟 )을 표시할 수 있다. 특히, 충돌이 바로 발생될 것이라는 결정에 응답하여, 시스템(100)은 사용자가 상황 감지형 타겟을 선택하는 것을 돕기 위해 하나 이상의 상황 감지형 타겟을 제공하고 및/또는 렌더링된 사용자(또는 VR 환경에서 선택을 수행하는 다른 아이템 )의 일부를 수정함으로써 응답할 수 있다.
동적 수정은 시스템(100)에 의해 수행되며 정확한 타겟 선택을 가능하게 한다. 몇몇 구현 예들에서, 동적 수정은 사용자의 신체 부분(또는 사용자 입력과 연관된 다른 가상 오브젝트)이 VR 환경과 상호 작용하도록 구성되었음을 사용자에게 나타내기 위해 시스템(100)에 의해 수행될 수 있다. 예를 들어, 사용자가 타겟을 향해 VR 환경에 도달하면, 시스템(100)은 신체 부분의 어느 부분(예를 들어, 손가락, 손, 손바닥, 팔꿈치, 발 등)이 타겟과 충돌할 가능성이 있는지 결정할 수 있으며, 결정된 부분에 시각, 오디오 또는 햅틱 효과를 동적으로 제공할 수 있다. 이것은 VR 환경에서 사용자 신체의 어느 부분이 선택(또는 액션 수행)을 만들 것인지를 사용자가 알 수 있게 해준다. 또한, 시스템(100)은 신체 부분의 일부를 동적으로 수정하여 해당 부분이 아주 작은 타겟과 상호 작용(예를들어, 도달)할 수 있도록 보장할 수 있다. 예를 들어, 시스템(100)은 사용자 손의 임의의 다른 부분이 타겟과 충돌하기 전에 검지 손가락이 작은 타겟과 충돌하는 것을 보장하기 위해 가상 사용자의 렌더링된 검지 손가락을 연장(extend) 및 좁힐(narrow) 수 있다. 다른 예에서, 시스템(100)은 VR 환경에서 큰 오브젝트를 움직이는데 사용될 수 있는 넓은 손 스와이프(swipe)를 모의하기 위해 가상 사용자의 렌더링된 손을 넓힐 수 있다. 특히, 큰 타겟은 VR 환경에서 스크린상의 애플리케이션들 간 전환을 위해 트리거될 수 있다. 큰 타겟에 대한 트리거는 다섯 손가락 및 애플리케이션을 가로지르는 스와이프일 수 있다. 만약 사용자가 하나의 손가락(digit)을 누락하거나 하나의 손가락이 다른 손가락과 일직선을 이루지 않아 4개의 손가락을 사용하면, 시스템(100)은 누락 또는 오정렬된 손가락을 검출할 수 있으며, 타겟을 트리거하여 애플리케이션을 전환하기 위하여 손 스와이프를 넓힐 수 있다.
일반적으로, 시스템(100)은 가상 오브젝트들과 사용자(가상 환경에서 렌더링된 사용자) 사이의 특정 충돌에 대한 상황(context)을 결정하기 위하여 VR 환경에서 사용자 상호 작용들을 분석할 수 있다. 검출은 원하는 의도에 대한 응답을 사용자에게 제공하기 위해 사용될 수 있다. 예를 들어, 사용자가 손으로 가상 오브젝트를 파지(예를 들어, 도달)하려고 할 때, 손은 다수의 상이한 방식으로 반응할 수 있는 사용자 인터페이스 표면에 접근하기 시작한다. 시스템(100)은 어떤(VR 환경 기반의) 반응이 사용자의 의도와 매칭되는지 결정할 수 있고, 그 의도에 따라 반응할 수 있다.
예를 들어, 시스템(100)은 사용자의 연장된(extended) 손(또는 다른 사용자 기반 상호 작용)에 반응하도록 구성될 수 있고, 반응은 연장된 손의 방향, 손이 도달되는 가상 오브젝트, 가상 오브젝트의 크기 또는 VR 환경과 관련된 다른 요인 (factor)에 적어도 부분적으로 기초할 수 있다. 이 예에서, 사용자(또는 사용자의 손)가 사용자 인터페이스 표면에 접근함에 따라, 시스템 및 방법은 가상 오브젝트에 정확한 오브젝트 선택이 적합한지 또는 다소 덜 정확한 오브젝트 선택이 적합한지 결정할 수 있다. 특히, 가상 오브젝트가 전형적으로 플로팅 키보드 또는 메뉴 내의 항목들의 목록과 같은, 정밀한, 촉각적인 상호 작용 및 제어와 연관되어 있으면, 시스템(100)은 손이 의도된 가상 오브젝트 충돌을 적절하게 활성화할 수 있도록 보장하기 위하여 사용자의 손의 적어도 일부분을 동적으로 수정할 수 있다. 예를 들어, 사용자는 VR 환경의 키보드에서 타이핑할 수 있고, 시스템(100)은 사용자가 키보드에서 타이핑을 할 때 시각, 오디오 또는 햅틱 피드백을 사용자에게 제공할 수 있다. 비 제한적인 예로서, 사용자가 타이핑할 때, 키보드와 접촉하는 각각의 손가락은 접촉 전 및 접촉 중에 빛날(glow) 수 있다. 유사하게, 시스템(100)은 사용자가 키보드 상에서 키를 선택할 때마다 사용자의 손가락에 클릭 또는 진동을 제공할 수 있다.
일부 구현예에서, 시스템(100)은 사용자의 손 전체가 타겟에 도달하여 그 과정에서 손가락이 충돌할 의도가 없는 하나 이상의 타겟들을 충돌/트리거하는 시나리오를 피하기 위하여 충돌 전 또는 충돌 중에 사용자에게 피드백을 제공하도록 구성될 수 있다. 이 시나리오는 부분적으로 사용자가 정확하게 판단하기 어렵게 되어 있는 VR 상호 작용에서의 거리(distance) 때문일 수 있다. 게다가, 센서가 작동하지 않거나 환경 설정(조명, 공간 왜곡 등)에 의해 부정적인 영향을 받으면 손 추적 시스템의 오작동(정확도 손실)이 발생할 수 있다. 시스템(100)은 사용자에게 피드백을 제공하여 불만족한 사용자 체험, 현실감의 손실, 인지된 제품 우수성의 감소를 제공하는 것을 피하고, 가능한 데이터 손실 또는 사용자에 대한 다른 측정 가능한 부정적인 결과를 피하기 위하여, 렌더링된 오브젝트(예를 들어, 사용자) 및 가상 오브젝트 및 관련 가상 콘텐츠를 동적으로 수정할 수 있다.
예시적인 시스템(100)은 네트워크(101)를 통해 데이터를 교환할 수 있는 복수의 컴퓨팅 디바이스를 포함한다. 디바이스는 클라이언트 또는 서버를 나타낼 수 있고 네트워크(101) 또는 다른 네트워크를 통해 통신할 수 있다. 클라이언트 디바이스는 게임 디바이스 또는 제어 디바이스, 모바일 디바이스, 전자 태블릿, 랩탑, 카메라, VR 안경 또는 VR 콘텐츠 액세스에 사용될 수 있는 다른 전자 디바이스를 포함할 수 있다.
도 1에 도시된 바와 같이, 시스템(100)은 모바일 디바이스(102), 랩탑 컴퓨팅 디바이스(104), 헤드 마운트 디스플레이(HMD) 디바이스(106) 및 VR 콘텐츠 시스템(108)을 포함한다. 디바이스(102, 104 및 106)는 클라이언트 디바이스를 나타낼 수 있다. 모바일 디바이스(102), 컴퓨팅 디바이스(104) 및 HMD 디바이스(106)는 하나 이상의 프로세서와 하나 이상의 메모리 디바이스를 포함할 수 있다. 디바이스(102-106)는 각각의 디바이스 또는 연결 디바이스에 포함된 디스플레이 디바이스에서 VR 콘텐츠를 액세스, 제어 및/또는 디스플레이할 수 있는 클라이언트 운영 시스템과 하나 이상의 클라이언트 애플리케이션을 실행할 수 있다.
VR 콘텐츠 시스템(108)은 서버 디바이스를 나타낼 수 있다. 일반적으로, VR 콘텐츠 시스템(108)은 가상 현실 장면을 생성, 수정 또는 실행할 수 있는 콘텐츠 및/또는 가상 현실 소프트웨어 모듈들을 저장하는 임의 수의 저장소(repositories)를 포함할 수 있다. 도시된 예에서, VR 콘텐츠 시스템(108)은 시스템에 대한 콘텐츠 및/또는 제어를 액세스할 수 있는 VR 애플리케이션(110)을 포함한다. 일부 구현예들에서, VR 애플리케이션(110)은 하나 이상의 디바이스(102-106)상에서 국부적으로 실행할 수 있다. VR 애플리케이션(110)은 디바이스(102, 104, 106 및 108) 중의 임의의 디바이스 또는 모든 디바이스 상에서 실행되도록 구성될 수 있다.
HMD 디바이스(106)는 가상 현실 헤드셋, 안경, 접안 렌즈, 또는 가상 현실 콘텐츠를 디스플레이할 수 있는 다른 웨어러블 디바이스를 나타낼 수 있다. 동작시, HMD 디바이스(106)는 수신 및/또는 처리된 이미지를 사용자에게 재생할 수 있는 VR 애플리케이션을 실행할 수 있다. 일부 구현예들에서, VR 애플리케이션(110)은 도 1에 도시된 하나 이상의 디바이스(102, 104, 106 또는 108)에 의해 호스팅될 수 있다.
일부 구현 예들에서, 모바일 디바이스(102)는 HMD 디바이스(106) 내에 배치 및/또는 위치될 수 있다. 모바일 디바이스(102)는 HMD 디바이스(106)의 스크린으로서 사용될 수 있는 디스플레이 디바이스를 포함할 수 있다. 모바일 디바이스(102)는 VR 애플리케이션(110)을 실행하기 위한 하드웨어 및/또는 소프트웨어를 포함할 수 있다.
추가적인 디바이스가 가능하며 그러한 디바이스는 서로 대체되도록 구성될 수 있다. 일부 구현 예들에서, 디바이스(102, 104, 106 및 108)는 랩탑 또는 데스크탑 컴퓨터, 스마트폰, 개인 휴대 정보 단말기, 휴대용 미디어 플레이어, 태블릿 컴퓨터, 게임 디바이스, 또는 네트워크(101)를 이용하여 다른 컴퓨팅 디바이스 또는 컴퓨터 시스템과 통신할 수 있는 다른 적절한 컴퓨팅 디바이스일 수 있다.
예시적인 시스템(100)에서, HMD 디바이스(106)는 예를 들어 VR 콘텐츠 시스템(108)의 VR 콘텐츠를 액세스하기 위해 디바이스(102) 또는 디바이스(104)에 접속될 수 있다. 디바이스(102 또는 104)는 디스플레이용 VR 콘텐츠를 제공할 수 있는 HMD 디바이스(106)에 접속(유선 또는 무선으로)될 수 있다.
HMD 디바이스가 디바이스(102) 또는 디바이스(104)에 무선으로 접속되는 경우, 접속은 본 명세서에서 설명된 하나 이상의 고속 무선 통신 프로토콜의 사용을 포함할 수 있다. HMD 디바이스(106)가 디바이스(102 또는 104)에 유선으로 접속되는 경우, 유선 접속은 디바이스(102) 또는 디바이스(104)에 플러그하기 위해 양단에 적절한 커넥터를 갖는 케이블을 포함할 수 있다. 예를 들어, 케이블은 양단에 범용 직렬 버스(USB) 커넥터를 포함할 수 있다. USB 커넥터들은 동일한 USB 타입 커넥터일 수 있거나 각각 상이한 타입의 USB 커넥터일 수 있다. 다양한 타입의 USB 커넥터는 USB A-타입 커넥터, USB B-타입 커넥터, 마이크로 USB A 커넥터, 마이크로 USB B 커넥터, 마이크로 USB AB 커넥터, USB 5핀 미니-b 커넥터, USB 4핀 미니-b 커넥터, USB 3.0 A-타입 커넥터, USB 3.0 B-타입 커넥터, USB 3.0 마이크로 B 커넥터 및 USB C-타입 커넥터를 포함할 수 있다. 유사하게, 유선 접속은 HMD 디바이스(106) 및 디바이스(102) 또는 디바이스(104)에 플러그하기 위해 양단에 적절한 커넥터를 갖는 케이블을 포함할 수 있다. 예를 들어, 케이블은 양단에 USB (Universal Serial Bus) 커넥터를 포함할 수 있다. USB 커넥터들은 동일한 USB 타입 커넥터 일 수 있거나 각각 상이한 타입의 USB 커넥터 일 수 있다.
일부 구현 예들에서, 하나 이상의 콘텐츠 서버(예를 들어, VR 콘텐츠 시스템(108))과 하나 이상의 컴퓨터 판독 가능 저장 디바이스는 네트워크(101)를 사용하여 컴퓨팅 디바이스(102, 104, 106)와 통신하여 VR 콘텐츠를 디바이스(102-106)로 제공할 수 있다. 일부 구현 예들에서, 네트워크(101)는 공중 통신 네트워크(예를 들어, 인터넷, 셀룰러 데이터 네트워크, 전화 네트워크를 통한 다이얼 업 모뎀) 또는 사설 통신 네트워크(예를 들어, 사설 LAN, 임대 회선)일 수 있다. 일부 구현 예들에서, 컴퓨팅 디바이스(102-108)는 하나 이상의 고속 유선 및/또는 무선 통신 프로토콜(예를 들어, 802.111 변형, WiFi, 블루투스, TC/IP(Transmission Control Protocol /Internet Protocol), 이더넷, IEEE 802.3 등)을 이용하여 네트워크(101)와 통신할 수 있다.
일부 구현 예들에서, 모바일 디바이스(102)는 VR 애플리케이션(110)을 실행할 수 있고 VR 환경을 위한 콘텐츠를 제공할 수 있다. 일부 구현 예들에서, 랩탑 컴퓨팅 디바이스는 VR 애플리케이션(110)을 실행할 수 있고 하나 이상의 콘텐츠 서버(예를 들어, VR 콘텐츠 시스템 108)로부터의 콘텐츠를 제공할 수 있다. 하나 이상의 콘텐츠 서버와 하나 이상의 컴퓨터 판독 가능 저장 디바이스는 네트워크(101)를 사용하여 모바일 디바이스(102) 및/또는 랩톱 컴퓨팅 디바이스(104)와 통신하여 HMD 디바이스(106)에 디스플레이하기 위한 콘텐츠를 제공할 수 있다.
도 1에 도시된 바와 같이, VR 애플리케이션(110)은 충돌 모드 모듈(112), 움직임 추적 모듈(114) 및 충돌 검출 모듈(116)을 포함한다. 충돌 모드 모듈(112)은 VR 환경내에서 특정 타겟(예를들어, 선택 가능 컨트롤)을 위한 충돌 모드를 선택하는 소프트웨어 모듈을 나타낼 수 있다. 충돌 모드 모듈(112)은 액세스되는 콘텐츠와 제공되는 환경에 적어도 부분적으로 기초하여, VR 환경에서 어떤 충돌 모드가 사용자에게 적합한지 결정할 수 있다. 일부 구현 예들에서, 충돌 모드는 입력 타입 (예를 들어, 키보드, 손, 게임 제어, 스타일러스, 모바일 디바이스, 신체 부분 또는 다른 렌더링 가능한 오브젝트)에 기초하여 충돌 모드 모듈(112)에 의해 선택될 수 있다. 일부 구현 예들에서, 충돌 모드는 사용자 입력(예를 들어, 충돌 검출 모듈(116)과 함께)을 감지할 때 동적으로 선택될 수 있다.
일부 구현 예들에서, 다수의 가능한 충돌 모드가 존재할 수 있으며, 각각의 충돌 모드는 대화형 오브젝트로의 사용자의 근접에 기초하거나 또는 사용자가 렌더링된 VR 환경의 타입에 기초하여 변경될 수 있다. 충돌 모드는 정밀(fine) 또는 비정밀(coarse)할 수 있다. 예시적인 충돌 모드는 풀 핸드(full hand) 모드, 전체 팔(whole arm) 모드, 하나 이상의 핑거(finger) 모드, 전신(whole body) 모드 및 키보드 모드를 포함할 수 있지만 이에 한정되지 않으며, 이들의 임의 또는 전부는 더 좁거나 더 넓은 충돌 영역을 제공하는 서브 모드를 포함할 수 있다. 예를 들어, 검지 손가락 모드는 가상 오브젝트를 정확하게 선택하기 위해 가상 사용자 손가락의 형상을 약간 수정하도록 구성될 수 있다. 일부 구현 예들에서, 형상 변경은 사용자에게 보이지 않을 수도 있지만, 오브젝트와 충돌하도록 구성된 가상 사용자 손가락의 부분은 오브젝트와 충돌할 수 있는 손가락 상의 더 작은 활성 영역을 가질 수 있다. 더 작은 활성 영역은 손가락이 사용자가 마주하는 가상 오브젝트를 쉽게 선택하기 위해 적용된 정밀 충돌 모드를 트리거할 수 있다. 충돌 모드는 특히 민감성(subtlety)과 스케일(scale)의 견지에서 상세 레벨(level of detail)과 사용자가 가상 오브젝트와 상호 작용할 수 있는 입도(granularity)를 결정하는 모드로 이해될 수 있다.
비 제한적인 예에서, 충돌 모드는 작은 영역 선택(예를 들어, 키, 메뉴 항목, 또는 상세한 가상 오브젝트 조작) 또는 큰 영역 선택(예를 들어, 가상 공간에서 오브젝트 들기, 블록 또는 다른 가상 콘텐츠 이동, 그림 그리기 등)에 적용될 수 있다. 충돌 모드 모듈(112)은 소형 또는 대형 타겟 또는 소형 또는 대형 가상 오브젝트와 상호 작용하는 상황(context)에 기초하여, 적절한 방식으로 가상 오브젝트와 연관되기 위해 가상 사용자의 일부(예를 들어, 검지 손가락)를 구성할 수 있다. 일부 구현 예들에서, 특정 충돌 모드가 특정 콘텐츠를 위해 수정될 수 있다. 예를 들어 사용자가 VR 환경에서 대화형 요가 콘텐츠를 액세스하는 경우, 사용자는 VR 환경 내에서 특정 선택 및 움직임을 수행하기 위해 무릎, 발, 어깨 또는 흡입 호흡을 사용하도록 촉구될 수 있다.
다른 비 제한적 예에서, 정밀 충돌 모드는 사용자의 손이 가상 오브젝트 또는 메뉴의 하나 이상의 가상 버튼 상에서 또는 근접(예를들어, 호버링 근접) 위치에서 검출될 때 트리거될 수 있다. 정밀 충돌 모드는 사용자에게 하나 이상의 손가락을 사용하여 충돌(예를들어, 가상 오브젝트 선택)해야 함을 나타낼 수 있다. 예를 들어, 충돌 모드 모듈(112)은 정밀 충돌 모드가 트리거되었고 사용자가 선택(예를들어, 가상 버튼 클릭) 하기 위해서 검지 손가락을 사용해야 함을 나타내기 위해 가상 사용자의 검지 손가락을 수정할 수 있다. 일부 구현 예들에서, 검지 손가락으로 버튼 클릭을 트리거하는 것에 부가하여, 충돌 모드 모듈(112)은 사용자가 손바닥 중심으로 스크롤 영역을 이동하도록 허용할 수 있다. 예를 들어, 충돌 모드 모듈(112)은 가상 환경이 스크롤 가능한 콘텐츠를 제공하고 있음을 결정할 수 있고, 이에 응답하여 손바닥 기반 충돌 모드를 선택할 수 있다. 손바닥 기반 충돌 모드를 선택하는 것은 사용자의 손에 의해 시작된 손바닥 제스처를 수신하는 것에 응답하여 스크롤될 콘텐츠를 구성하는 것을 포함할 수 있다. 게다가, 손바닥 기반 충돌 모드를 선택하는 것은 손바닥 이외의 손 부분은 무효한 것으로 수정하는 것을 포함할 수 있다. 이는 사용자가 스크롤 및/또는 선택하기 위해 손바닥을 사용하도록 허용할 수 있지만, 손가락이 부주의하게 충돌 영역과 상호 작용하는 경우, 모듈(112)은 손바닥 기반 모드가 이 예에서 스크롤링을 수행하기 위한 유일한 활성 충돌 모드이기 때문에 손가락 선택을 차단(예를들어, mute)할 수 있다.
유사하게, 만약 충돌 검출 모듈(116)이 사용자가 가상 슬라이더 바에 가까워지는 것을 검출하면, 충돌 모드 모듈은 비정밀 충돌 모드로 전환할 수 있고 슬라이더 바를 이동시키기 위해 손바닥을 사용할 것을 사용자에게 나타낼 수 있다. 충돌 모드를 위한 이러한 표시(indications)는 선택된 충돌 모드와 잘 작동할 가능성이 있는 가상 신체의 일부를 마킹하는 것을 포함할 수 있다. 예를 들어, 가상 신체 부분는 글로우(glow), 진동, 이동, 성장, 수축될 수 있으며, 또한 그렇지 않은 경우에는 사용자에게 VR 환경에서 동작하기 위한 메커니즘을 나타낼 수 있다.
다른 비 제한적인 예에서, 충돌 검출 모듈(116)은 사용자가 VR 환경 내에 위치한 사격 가능 타겟들을 갖는 타겟 연습 게임을 하고 있음을 검출할 수 있다. 사용자의 손(예를 들어, 육체적인 사용자의 손에 의해 제어되는 렌더링된 사용자)이 사격 가능 타겟에 접근할 때, 충돌 모드 모듈(112)은 대화형 충돌 모드가 시작될 수 있음을 나타낼 수 있다(indicate). 예를 들어, 모듈(112)이 타겟에 대한 임계 거리 내의 근접을 검출하면, 가장 가까운 손의 손바닥이 특정 충돌 모드를 나타낼 수 있다. 모드는 발사 모드일 수 있으며, 표시는 사용자가 손바닥을 접었다(close) 다시 펼 (open) 수 있도록 하기 위한 글로우(glow) 또는 다른 시각적, 청각적 또는 촉각적 반응일 수 있다. 손바닥을 접었다 다시 펴면 가상 오브젝트(총알 같은)가 타겟으로 발사될 수 있다. 제스처를 수행하기 위한 인디케이션(indication)은 사용자의 손바닥이 가상 총알과 함께 타겟에 도달할 수 있게 하는 특정 충돌 모드를 트리거할 수 있다. 충돌 모드는 손에서 타겟까지 총알의 크로스 룸(cross-room) 이동을 허용하는 제스처를 활성화하여 이동을 가능하게 한다.
일반적으로, 시스템(100)은 사용자가 타겟에 의해 방해받지 않고 콘텐츠를 볼 수 있도록 작은 타겟(예를 들어, controls)을 디스플레이하도록 구성될 수 있다. 충돌 모드 모듈(112)은 사용자가 타겟의 임계 거리 내에 있을 때를 검출하도록 구성될 수 있으며, 사용자가 타겟에 접근할 때 사용자의 입력 메커니즘을 수용하도록 타겟을 변경할 수 있다. 예를 들어, 충돌 모드 모듈(112)은 사용자의 팔을 가상 오브젝트를 포인팅할 수 있고 사용자의 손가락보다 작은 타겟을 선택할 수 있는 스피어(spear) 또는 스타일러스로 동적으로 변경할 수 있다. 이것은 사용자가 다수의 타겟 또는 원하지 않는 타겟을 선택할 가능성을 줄여 줄 수 있다.
일부 구현 예들에서, 시스템(100)은 밀집 배치된 대화형 사용자 인터페이스 제어, 가상 오브젝트 및/또는 영역내의 타겟을 활성화할 수 있고 사용자에 대한 손 상호 작용의 정확성을 제공할 수 있다. 이는 렌더링된 신체 부분(예를 들어, 손)을 동적으로 변경하는 기능(ability)이, 사용자가 수행한 보다 큰 동작을 VR환경에서 보다 정밀한 타겟 및/또는 제어를 선택하기 위한 정밀한 동작으로 변경할 수 있는 기능을 제공할 수 있기 때문이다. 시스템(100)은 콘텐츠의 크기를 변경하지 않고 환경에서 사용자에게 콘텐츠를 제공할 수 있지만, 사용자가 행동(behavior)(또는 시선)을 변경하지 않고도 임의의 선택이 자동으로 보다 정확한 선택이 되도록 콘텐츠와 관련된 타겟을 동적으로 수정할 수 있다. 일 예에서, 시스템(100)은 사용자가 VR 환경에 제공된 특정 메뉴에서 작은 폰트를 정확하게 선택할 수 있도록 사용자의 손가락 렌더링을 동적으로 변경할 수 있다. 이 예에서, 손가락에 대한 변경은 사용자에게 시각적으로 보여지거나 보여지지 않을 수 있다. 그러나, VR 환경에서 콘텐츠와 상호 작용할 때, 시스템(100)이 환경과 관련된 충돌 모드에서 변경을 수행했기 때문에 사용자는 콘텐츠를 선택하기 위한 더 정밀한 기능을 인식할 수 있다.
예를 들어, 시스템(100)은 사용자 액션 또는 동작에 대응하여 충족되는 하나 이상의 임계 조건에 응답하여 충돌 모드에서 특정 수정(modification)을 수행할 수 있다. 일 예에서, 시스템(100)은 VR 환경에서 사용자의 손과 오브젝트사이의 거리가 임계 거리(시스템(100)에 의해 시전에 결정된) 내에 있다는 결정에 기초하여 충돌 모드를 수정할 수 있다. 만약, 손과 오브젝트가 근접하면 시스템(100)은 충돌 모드를 정밀 제어 충돌 모드로 전환할 수 있다. 유사하게, 만약 손과 오브젝트가 멀리 떨어지면 시스템(100)은 비정밀 제어 충돌 모드로 전환할 수 있다.
다른 예에서, 시스템(100)은 VR 환경 내의 특정 개수의 오브젝트들이 서로 근접 범위에 있는지 결정할 수 있다. 예를 들어, 시스템(100)은 VR 환경에서 오브젝트가 밀집되어 위치할 때를 결정할 수 있고 그에 응답하여 충돌 모드를 정밀 충돌 모드로 전환할 수 있다. 유사하게, 오브젝트가 드물게 위치하는 경우, 시스템(100)은 비정밀 충돌 모드(또는 시스템 결정에 적어도 부분적으로 기초하여 정밀 및 비정밀 제어 충돌 모드 사이의 다른 모드)로 전환할 수 있다.
다른 예에서, 시스템(100)은 사용자가 VR 오브젝트에 접근함에 따라 사용자가 느려지고 있는지(예를 들어, 감속 중) 여부를 결정할 수 있다. 사용자가 감속하는 것으로 결정되면, 시스템(100)은 정밀 제어 충돌 모드로 전환할 수 있다. 유사하게, 사용자가 VR 오브젝트에 의해 가속화되는 것으로 결정되면, 시스템은 사용자가 특정 VR 오브젝트 또는 영역으로 감속하기 시작할 때까지 비정밀 제어 충돌 모드로 전환하거나 충돌 모드를 완전히 제거할 수 있다.
하나의 비 제한적인 예에서, 사용자가 VR 환경에 있고 그의 손이 가상으로 렌더링된 전화기와 상호 작용하기를 원할 경우, 사용자는 가상 전화기에 도달하여 버튼을 누를 수 있다. 사용자의 손(예를들어, 손가락, 손바닥 등)은 추적되기 때문에(시스템(100)에 의해), 전화기는 사용자 입력을 수신할 수 있고 이에 따라 반응할 수 있다. 그러나, 사용자가 상호 작용하기 전에, 충돌 모드 모듈(112)은 가상 전화기와의 상호 작용이 정밀 선택 기능을 갖는 정밀 모터 기술을 수반할 수 있음을 결정할 수 있다. 이와 같이, 충돌 모드 모듈(112)은 전화기 버튼이 일반적으로 작기 때문에 작은 타겟이 사용자에게 제공되어야 한다고 결정할 수 있지만, 모듈(112)은 또한 특정 충돌 모드가 선택되도록 보장할 수 있다. 이 경우, 전화기상의 선택 가능한 타겟은 작은 타겟으로 제공되기 때문에, 충돌 모드 모듈(112)은 사용자의 추적된 손이 더 작게 보여지는 충돌 모드를 선택할 수 있다. 다른 예에서, 충돌 모드 모듈(112)은 어느 신체 부분이 상호 작용될 것인지를 나타내는 손의 부분을 제외하고 사용자의 추적된 손이 희미하게(faded) 또는 흐리게 (dimmed) 보여지는 충돌 모드를 선택할 수 있다. 즉, 모듈(112)은 손가락 또는 손가락 끝이 선택 메커니즘이 될 것이라는 것을 하이라이트하거나 사용자에게 표시할 수 있다. 이 예에서, 사용자가 선택 메커니즘으로 표시하지 않은 손의 부분으로 타겟을 부딪히면, 시스템(100)은 의도치 않은 사용자 모션에 반응하지 않도록 구성될 수 있다.
움직임 추적 모듈(114)은 타겟 근처에서 움직이는 사용자의 속도 및 정확도를 검출하고 추적할 수 있는 소프트웨어 모듈을 나타낼 수 있다. 예를 들어, 움직임 추적 모듈(114)은 전자 장치(예를 들어, 헤드 마운트 디스플레이, 장갑, 바디슈트, 안구 카메라 등)로 구성된 웨어러블 아이템, 센서 및 사용자 입력을 VR 환경으로 제공할 수 있는 다른 디바이스와 같이, 사용자 움직임을 감지하는 물리적 디바이스와 인터페이스할 수 있다. 이러한 디바이스들에 인터페이싱함으로써 움직임 추적 모듈(114)은 다수의 타겟이 트리거되는 경우 어떤 타겟들이 트리거될 수 있고 어떤 순서로 타겟들이 트리거되어야 하는지 결정할 수 있다. 일부 구현 예들에서, 움직임 추적 모듈(114)은 사용자가 타켓의 임계 거리 내에 있을 때와 같은 적절한 타이밍 간격으로 타겟을 제공하기 위해 사용자 움직임을 추적할 수 있다. 이러한 방식으로, 움직임 추적 모듈(114)은 충돌 검출 모듈(116)과 함께 동작하여, 사용자가 원하는 시간에 그리고 사용자 기반의 상황에 따라 사용자에게 다수의 타겟을 제공할 수 있다.
충돌 검출 모듈(116)은 VR 환경에서 충돌 또는 유사(near) 충돌을 검출하고, VR 애플리케이션(110)에서 하나 이상의 다른 모듈로 피드백을 제공하기 위해 기하학적 및 공간적 분석을 수행할 수 있는 소프트웨어 모듈을 나타낼 수 있다. 일반적으로 충돌은 의도 또는 의도하지 않게(unintentional) 결정될 수 있다. 의도하지 않은 충돌은 사용자 움직임에 응답하여 움직임 추적 모듈(114)과 충돌 검출 모듈 (116)에 의해 예측될 수 있고, 이러한 예측은 특정 충돌 모드를 변경하기 위한 근거로서 충돌 모드 모듈(112)로 제공될 수 있다. 예를 들어, 움직임 추적 모듈 (114)이 책꽂이로 향하는 사용자의 전체 손바닥을 감지하는 것에 응답하여, 충돌 감지 모듈(116)은 사용자가 책꽂이의 많은 책 중 하나에 도달하는지 확인할 수 있고, 사용자의 손바닥이 선택 메커니즘으로 사용된 경우 많은 충돌이 의도치 않게 발생될 수 있음을 결정할 수 있다. 충돌 검출 모듈(116)은 손가락이 더 나은 선택 메커니즘일 것으로 예측할 수 있고, 이 정보를 충돌 모드 모듈(112)로 제공할 수 있다. 충돌 모드 모듈(112)은 이 정보를 사용하여 VR 상호 작용에 적합한 충돌 모드를 선택할 수 있다. 이러한 방식으로, 충돌 검출 모듈(116)은 특정 VR 상호 작용에 가장 적합한 상황(context)과 선택 메커니즘을 결정할 수 있다. 상황은 특정 크기의 타겟을 제공하고, 특정 타입의 입력 메커니즘을 제공하며, 사용자 입력이 의도하지 않게 해석되거나 또는 부정확하게 수행되지 않도록 보장하는데 사용될 수 있다.
동작시, VR 애플리케이션(110)은 움직임 추적 모듈(114)과 충돌 검출 모듈 (116)을 사용하여 사용자가 손을 타겟 영역으로 또는 타겟 영역 근처(임계 거리 내에)로 움직이고 있다는 것을 검출할 수 있다. 이에 응답하여, 애플리케이션(110)은 사용자가 의도하는 상황을 결정할 수 있고, 충돌 모드 모듈(112)을 사용하여 특정 타겟/충돌 모드를 트리거하기 위해 해당 상황을 사용할 수 있다. 예를들어, VR 애플리케이션(110)(충돌 모드 모듈을 사용하는)은 일반적으로 VR 환경에서 특정 사용자 상호 작용이 특정 모드/모델의 트리거링에 더 적합한지 결정할 수 있고, 상기 결정에 기초하여 특정 모드를 동적으로 선택 및 제공할 수 있다. 이러한 타겟 모드의 동적 선택 및 제공은 예를 들어, 사용자가 타겟을 활성화하기 전에 수행될 수 있다. 비 제한적인 예에서, 제1모드는 제1임계 조건이 충족되었다는(예를 들어, 타겟 영역으로부터 제1거리 검출) 결정에 응답하여 선택될 수 있다. 대신에, 타겟 영역으로부터 제2의 더 큰 거리가 검출되면, 제2모드는 사용자로부터 타겟 영역까지의 더 큰 거리의 제2임계 조건에 기초하여 선택될 수 있다.
일부 구현 예들에서, 시스템(100)은 가상 현실 환경에서 가상 현실 체험을 생성하는 전자 컴퓨팅 디바이스(예를 들어, 디바이스(106))를 포함할 수 있다. 전자 컴퓨팅 디바이스는 물리적 공간 내에서 휴대 가능할 수 있다. 일부 구현 예들에서, 전자 컴퓨팅 디바이스는 임의의 수의 다른 컴퓨팅 디바이스(예를 들어, 디바이스(102, 104, 108) 또는 도 1에 도시되지 않은 다른 디바이스)에 통신 가능하게 결합될 수 있다.
전자 컴퓨팅 디바이스는 전자 컴퓨팅 디바이스와 통신하는 복수의 센서를 포함하거나 또는 이들에 액세스할 수 있다. 센서는 물리적 공간 내에서 전자 컴퓨팅 디바이스에 액세스하는 사용자와 관련된 모션을 검출하도록 구성될 수 있다. 전자 컴퓨팅 디바이스는 가상 현실 환경에서 가상 오브젝트에 근접한 움직임을 검출하도록 구성된 하나 이상의 프로세서를 포함할 수 있다. 움직임은 물리적 사용자에 의해 수행될 수 있으며, 움직임은 가상 환경에서 표현될 수 있고 물리적 사용자의 신체 부분과 연관될 수 있다. 예를 들어, 움직임은 스크롤 가능한 메뉴 근처에서의 손 흔들기(hand wave)일 수 있으며, 손 흔들기는 마치 가상 사용자가 움직임을 수행한 것처럼 시뮬레이팅될 수 있다. 사용자의 손, 팔 또는 몸 전체는 가상 환경에서 표시(represent)될 수 있다.
가상 오브젝트가 신체 부분보다 작은 가상 오브젝트상의 영역에서 입력을 수신하도록 구성되었다는 결정에 응답하여, 시스템(100)은 선택 기능을 신체 부분으로 수정하기 위하여 충돌 모드를 선택할 수 있다. 예를 들어, 시스템(100)은 손바닥(또는 다른 신체 부분가 선택을 함)으로 메뉴를 스크롤 하기 위해 스크롤링 동작을 만들 수 있는 비정밀 충돌 모드를 선택하도록 결정할 수 있다. 일 예시에서, 스크롤링을 위해 비정밀 충돌 모드가 선택된다. 사용자가 스크롤링하지 않거나 및/또는 스크롤을 멈추는 것이 검출되면, 시스템(100)은 사용자가 손가락을 사용하여 메뉴 내의 항목을 선택할 수 있는 미세 충돌 모드로 전환한다. 시스템(100)은 가상 환경에서 신체 부분의 표시상에, 수정된 선택 기능을 디스플레이할 수 있다. 수정된 선택 기능은 글로우, 진동, 이동, 확장 또는 수축하도록 신체 부분를 구성하는 것을 포함함 수 있거, 디스플레이는 가상 오브젝트와 상호 작용하기 위한 메커니즘을 물리적 사용자에게 표시하는 것을 포함한다. 시스템(100)은 선택된 충돌 모드를 상이한 가상 오브젝트와 연관된 움직임 또는 가상 오브젝트와의 상이한 상호 작용이 검출될 때까지 유지할 수 있다. 예를 들어, 사용자가 손을 다른 충돌 영역으로 이동시키면, 시스템(100)은 새로운 충돌 영역과 관련되도록 충돌 모드를 변경할 수 있다. 새로운 충돌 영역은 상이한 충돌 모드들에 대응할 수 있고, 시스템(100)은 새로운 충돌 영역에 있는 것이 감지되면 하나 이상의 상이한 충돌 모드로 변경할 수 있다.
일 예에서, 가상 오브젝트가 키보드이고 신체 부분는 손인 경우, 충돌 모드가 손의 손가락 끝 영역을 축소시키기 위해 선택될 수 있고, 신체 부분의 표시는 각 손가락 상의 인디케이터를 포함할 수 있다. 일부 구현들에서, 충돌 모드는 풀 핸드 모드, 전체 팔 모드, 핑거 모드, 전신 모드 및/또는 키보드 모드 중 임의의 모드로 선택될 수 있다. 각 모드는 각 모드르 위한 정밀과 비정밀 구성을 모두 포함할 수 있다.
도 2는 컴퓨팅 디바이스(104)와 상호 작용하는 사용자(202)를 나타내는 다이어그램이다. 예를 들어, 컴퓨팅 디바이스(104)는 키보드(204)를 포함할 수 있다. 사용자(202)는 모바일 디바이스(102)를 또한 사용할 수 있다. 다른 디바이스가 사용자(202)에 의해 사용될 수 있으며, 그러한 디바이스는 HMD 디바이스(106), 모바일 디바이스(102) 및/또는 키보드(204)에 연결될 수 있다. 사용자(202)는 키보드(204) 및/또는 모바일 디바이스(102)가 상호 작용을 하는 동안에 HMD 디바이스(106)의 스크린상에서 컴퓨터 시스템(104)과 관련되어 표시된 콘텐츠를 볼 수 있다. HMD 디바이스(106)는 본 명세서에 개시된 하나 이상의 유선 및/또는 무선 통신 인터페이스를 이용하여 컴퓨팅 디바이스(104)에 접속(예를 들어, 인터페이스)될 수 있다.
사용자(202)는 VR 환경에서 수행된 액션을 제어할 때 컴퓨팅 디바이스(104)및 키보드(204)와 상호작용할 수 있다. 예를 들어, 키보드(204)는 사용자(202)에게 디스플레이될 수 있는 VR제어 대상(VR controls)으로서 VR 환경에 렌더링될 수 있다. 사용자(202)는 제어 대상과 연관된 타겟을 트리거하기 위하여 제어 대상을 이동, 회전 및/또는 흔들어 VR 환경에서 컴퓨팅 디바이스(104)와 상호 작용할 수 있다. 도 2에 도시된 사용자는, HMD 디바이스(106)를 액세스하면서 손(206, 208)으로 키보드를 타이핑하고 있다. HMD 디바이스(106)는 다음의 도 3A 내지 도 3C에서 사용자(202)에게 다수의 렌더링된 오브젝트를 보여주고 있다. 사용자의 손(206 및 208)은 각각 렌더링된 손(304 및 306a/b)으로 도시된다.
도 3A 내지 도 3C는 사용자(예를 들어, 도 2의 사용자(202))가 HMD 디바이스(106)의 스크린에서 볼 수 있는 이미지를 예시하는 다이어그램이다. 예를 들어, 이미지(300A)는 사용자(202)를 VR 환경으로 투사된다. 이미지(300A)는 디스플레이 디바이스 상에 표시된 지도 정보의 렌더링(302)과 키보드(204)의 렌더링(310)과 상호 작용하는 사용자(202)의 손 및 손가락의 렌더링(304, 306a 및 306b)을 포함한다. 이 예에서, 손(306a)은 사용자의 오른손(손 206에 대응하는)의 제1배치의 가상 렌더링이고, 손(306b)은 사용자의 오른손(손 208에 대응하는)의 제2배치의 가상 렌더링이다. 또한, 상이한 윈도우는 사용자(202)가 컴퓨팅 디바이스(104)(예를 들어, 렌더링된 제어 윈도우(312))와 상호 작용할 때 교대로 디스플레이될 수 있으며, 정보의 랜더링(302)과 함께 VR 환경에서 표시될 수 있다.
제어 윈도우(312)는 3개의 선택 가능한 영역, 즉 영화 영역(314), 도면 영역(316) 및 모바일 디바이스 영역(318)을 도시한다. 영화 영역(314)은 사용자(202)가 환경에서 이전에 액세스했던 영화에 해당한다. 즉, 사용자는 영화를 보고 있었을 수 있고 지도 정보(302)를 액세스하는 것으로 전환하도록 선택했었을 수 있다. 유사하게, 사용자(202)는 모바일 디바이스 영역(318)을 이용하여 도면 영역(316) 또는 모바일 디바이스 상호 작용을 선택함으로써 CAD 도면에 액세스했었을 수 있다.
도 3A에 도시된 바와 같이, 사용자(202)의 렌더링된 손(304 및 306a)은 렌더링된 키보드(310)를 사용하여 렌더링된 스크린(미도시)에 정보를 타이핑할 수 있다. 어느 순간에, 사용자(202)는 랜더링된 지도 정보(302)와 상호 작용하기 위해 랜더링된 스크린(미도시)을 사용할 수 있다. 예를 들어, 사용자(202)(렌더링된 손(306a)에 의해 표현된)는 지도상의 콘텐츠를 선택하기 위해 손을 뻗을 수 있다. 여기서, 사용자(202)는 추가 정보 및/또는 콘텐츠를 트리거 하기 위해 칠레 국가를 선택하고자 할 수 있다. 사용자(202)는 랜더링된 손(306a)을 지도(화살표 324로 표시된 것처럼)를 향해 뻗어 지도 정보(302)(점선의 렌더링된 손 306b)에 의해 지도상에 도시된 것처럼)까지 도달할 수 있다. 응답하여, VR 애플리케이션(110)은 사용자(202)가 지도상에서 남아메리카를 향해 도달하고 있는 것을 결정할 수 있으며, 하나 이상의 충돌 모드 및/또는 타겟 디스플레이를 트리거 할 수 있다. 예를 들어, VR 애플리케이션(110)은 사용자(202)가 입력 메카니즘으로서 하나 또는 두 손(렌더링된)을 사용하고 있는 것을 결정할 수 있고, 이와 같이, 애플리케이션(110)은 선택기(selector)로서 사용자의 손가락을 활성화하는 충돌 모드를 트리거할 수 있고, 손가락이 지도를 선택한다는 것을 사용자에게 나타내기 위해 사용자가 타겟(320) (예를 들어 타겟(320)에서의 글로우/반짝임)에서 충돌 영역(319) 내에 있을 때 시각적 디스플레이를 제공할 수 있다. 일부 구현 예들에서, 더 큰 충돌 영역(321)은 더 작은 충돌 영역(319))이 트리거되기 전에 트리거될 수 있다. 일부 구현 예들에서, 더 큰 충돌 영역(321)은 사용자가 가상 콘텐츠와 상호 작용하기 위해 손바닥 선택 모드를 사용하고 있는 경우에 트리거될 수 있다. 다른 구현들에서, 작은 충돌 영역 (319)은 사용자가 가상 콘텐츠와 상호 작용하기 위해 손가락 끝을 사용하는 경우에 트리거될 수 있다.
렌더링된 손(306b)는 가시적일 수 있지만 흐리게 표시될 수 있고, 손(306b)상의 사용자의 검지 손가락 끝은 지도 정보(302)와의 충돌자로서 기능할 수 있다. 충돌 모드를 제공하는 것은 사용자가 지도상에서 다수의 의도하지 않은 위치를 우연히 선택하지 않았다는 것을 보장할 수 있다. 선택된 충돌 모드는 사용자가 의도한 타겟을 터치할 수 있지만 의도하지 않은 타겟은 선택되지 않는다는 것을 보장할 수 있도록 특정 타겟을 사용자의 렌더링된 손가락과 같은 크기로 정의할 수 있다.
다른 예에서, 지도 정보(302)는 VR 환경에서 제공된 사소한 추적 게임의 일부로서 디스플레이될 수 있다. 게임은 각 질문에 응답하여 대륙을 선택하는 명령을 포함할 수 있다. 지도 정보(302)에서 전체 대륙을 선택하는 것은 손바닥 크기의 스 와이프 또는 선택을 수반할 수 있기 때문에, VR 애플리케이션(110)(충돌 모드 모듈 (112)을 사용하는)은 큰 타겟과 비정밀 충돌이면 충분할 수 있음을 결정할 수 있고, 따라서 풀 핸드 선택 충돌 모드가 구성 및 활성화될 수 있다. VR 애플리케이션(110)은 예를 들어, 손의 윤곽을 표시하고, 전체 손에 글로우을 제공하고, 사용자(202) 손의 장갑을 통해 손바닥에 햅틱 피드백을 제공함으로써 전체 렌더링된 손이 선택을 위해 사용될 수 있거나 사용자에게 가상 오브젝트를 선택하는 방법에 대한 표시를 제공하는 다른 상호 작용을 위해 사용될 수 있음을 사용자에게 나타낼 수 있다.
다른 예에서, 사용자(202)는 지도 정보(302)를 액세스할 수 있으며, 이전에 액세스된 영화(영화 영역 314)에 도시된)로 다시 전환하기로 결정할 수 있다. 사용자(202)는 재생 제어(322)를 선택하여(렌더링된 손 306a으로) VR 환경에서 영화 시청을 계속하도록 전환할 수 있다. 제어 윈도우(312)에서 재생, 빨리 감기 및 되감기 제어 버튼은 작을 수 있기 때문에, VR 애플리케이션(110)은 작은 타겟이 해당 영역에서 사용될 것으로 결정할 수 있다. 이러한 방식으로 두 개의 서로 다른 충돌 모드가 단일 장면/상호 작용 영역에서 구성되고 제공될 수 있다.
일부 구현 예들에서, VR 애플리케이션(110)은 사용자의 손 또는 손가락을 동적으로 수정하여 사용자가 제어 대상을 정확하게 선택할 수 있도록 보장할 수 있다. 예를 들어, 사용자(202)가 영화를 보고 있을 때 모바일 디바이스가 울리기 (ring) 시작한 경우 사용자(202)는 일시 정지(pause)에 도달하여, 작은 타겟을 처리하기 위해 사용자의 손가락으로 정밀 피치 수정을 트리거링할 수 있다. 정밀 피치 수정은 모바일 디바이스를 선택하기 위해 도달하는 손가락의 리치(reach)를 협소하게 하거나 확장하는 것을 포함할 수 있다. 일 예에서, 협소화 및/또는 확장은 사용자에게 디스플레이될 수 있다. 다른 예에서, 협소화 또는 확장은 정밀 피치 수정의 선택을 트리거하기 위해 모바일 디바이스 위에 호버를 활성화함으로써 제공될 수 있다. 선택은 예를 들어, 사용자가 렌더링된 모바일 디바이스의 임계 거리내에 있을 때 하나 이상의 타겟(또는 스파크(sparks))을 표시함으로써 사용자 손가락의 향상된 정밀도 및/또는 리치를 자동으로 활성화시킬 수 있다. 이는 사용자가 실제로 타겟과 충돌하지 않고 리치가 타겟의 범위 내에 있다는 것을 볼 수 있게 하는 장점을 제공한다.
일부 구현 예들에서, 모바일 디바이스 기능(318에 도시된)을 선택하기 위해, VR 애플리케이션은 318에서 사용자의 손가락을 수정하여 큰 타겟의 용이한 선택을 활성화할 수 있고, 그런 다음에 사용자의 손가락을 연속적 및 동적으로 수정하여 모바일 디바이스 상에서 버튼들을 위한 보다 정밀하고 바다 작은 선택을 활성화할 수 있다. 이는 사용자가 영화 영역(314)과 이동 디바이스 영역(318) 사이에 배열된 가상 콘텐츠를 선택하지 않고도 전화를 받을 수 있도록 해준다. 요컨대, VR 애플리케이션(110)은 착신호를 검출할 수 있고, 애플리케이션을 전환하고 및/또는 전화를 받기 위해 입력 수신에 필요한 임의의 또는 모든 사용자 인터페이스를 동적으로 수정할 수 있다. 입력에는 다른 VR 환경 장면 또는 액티비티(activity)로 전환하기 위해 사용된 임의의 입력뿐만 아니라 활성된 VR 환경 장면의 일시 정지, 종료 (exiting) 또는 수정을 포함할 수 있다. 상기 수정은 사용자가 간섭없이 특정 가상 아이템을 선택할 수 있도록 한다. 동적 수정은, 예를 들어 오로지 검지 손가락만이 제어 윈도우(312)에서 선택하도록 구성될 수 있음을 보장하는 것을 포함할 수 있다. 일부 구현예들에서, 사용자 인터페이스, 충돌 모드 또는 가상 오브젝트는 VR 환경의 엘리먼트(elements), 사용자 입력 메커니즘 및/또는 액세스되는 콘텐츠 등에 기초하여 수정될 수 있다.
일부 구현 예들에서, 충돌 모드는 가상 콘텐츠의 개발자에 의해 특정 콘텐츠에 대해 사전에 정의될 수 있다. 일부 구현 예들에서, 충돌 모드는 가상 오브젝트로부터의 거리에 기초하여 선택되거나 구성될 수 있다. 일부 구현 예들에서, 충돌 모드는 감지된 손 크기 또는 입력 메카니즘 크기에 기초하여 선택되거나 구성될 수 있다. 일부 구현 예들에서, 충돌 모드는 특정 요구에 기초하여 VR 사용자에 의해 선택될 수 있다. 예를 들어, 만약 사용자가 예를들어 새로운 제어의 사용을 숙달할 때까지 풀 핸드 모드에서 VR 콘텐츠와의 상호 작용을 시작하기를 원하면, 사용자는 풀 핸드 모드를 선택할 수 있고, 풀 모드를 선택할 수 있고, 그렇게 할 준비가 되었을 때 해당 모드를 손가락 모드 또는 다른 모드로 구성할 수 있다.
일부 구현 예들에서, 충돌 모드는 사용자의 손에 대해 다르게 구성될 수 있다. 예를 들어, 두 손이 VR 환경에서 사용자 앞에 있으면, 왼손은 큰 타겟 및/또는 큰 타일드(tiled) 오브젝트에서 웨이브(wave)를 선택하거나 가져 오도록 구성될 수 있고, 오른손은 정확한 제어 대상을 선택하도록 구성될 수 있으며 손의 시각적으로 작은 부분 또는 길어진 부분을 포함할 수 있다.
일부 구현 예들에서, 하나 이상의 충돌 모드는 사용자와 관련된 장애 (disability)들을 수용하도록 구성될 수 있다. 예를 들어, 사용자가 검지 손가락의 일부를 누락한 경우, VR 애플리케이션(110)은 검지 손가락은 선택을 제공하고 다른 3개의 손가락은 검지 손가락 앞의 가상 오브젝트에 충돌하지 않는다는 것을 보장하기 위하여 다른 3개의 손가락을 수축시켜 누락된 부분을 처리할 수 있다. 누락된 부분에 기초하여 다른 신체 부분에도 유사한 수정이 가해질 수 있다.
일부 구현 예들에서, VR 애플리케이션(110)은 사용자 이동 손상 (impairment)들을 처리할 수 있다. 예를 들어, 사용자가 한 팔에 떨림을 겪는 경우, VR 애플리케이션(110)은 VR 환경이 그러한 움직임을 검출하고 해석하는 한 사용자의 움직임을 완충시킴으로써 보상할 수 있다.
일부 구현 예들에서, 충돌 모드들의 조합은 하나의 VR 환경에서 사용될 수 있다. 충돌 모드들의 조합은 VR 환경 내에서 작고 큰 선택 가능한 타겟의 조합에 기초할 수 있다. 충돌 모드는 각 상호 작용 타입에 대해 선택될 수 있고 또는 대안으로 세션별, 게임별, 콘텐츠별 또는 사용자별 기반으로 선택될 수 있다. 게다가, 충돌 모드들은 사용자에게 타겟 영역에 진입하거나 타겟을 트리거링하는 경계를 알리기 위해 특정 소리를 제공하도록 구성될 수 있다.
도 3B는 HMD 디바이스(106)의 스크린상에서 사용자(202)가 볼 수 있는 이미지(300B)를 도시하는 도면이다. 이 예에서, 사용자(202)는 제어 윈도우(312)의 영화(영화 영역(314)을 선택하여)를 보고 있었을 수 있다. 어느 순간에, 사용자는 CAD 도면 액티비티로 전환하기로 결정할 수 있고, 도면 영역(316)(도 3A)을 선택함으로써 그렇게 할 수 있다. 영역(316)을 선택하는 것에 응답하여, 사용자(202)는 렌더링된 윈도우(324)에 도시된 바와 같이, 고용주를 위해 워터 펌프 도면을 그리기 시작했던 그의 VR 도면 프로그램에 배치될 수 있다. 제2렌더링된 윈도우(326)가 도시되어, VR 환경 내에서 사용자(202)에 의해 선택 및/또는 이동될 수 있다.
도 3B는 또한 도 3A와 유사하게, 렌더링된 키보드(310)상의 렌더링된 손(304 및 308)과 같은 형태로 VR 환경으로의 사용자(202) 투영을 도시한다. 일반적으로, 이미지(300B)는 디스플레이 디바이스에 디스플레이될 수 있는 정보와 렌더링된 키보드(310)를 사용하는 콘텐츠와 상호 작용하는 사용자(202)의 렌더링을 포함한다. 이 예에서, 사용자는 렌더링(324)에 도시된 도면을 수정하고 싶어할 수 있다. 그렇게 하기 위하여, 사용자는 예를 들어, 도 3C에 도시된 바와 같이, 도면 디자인상의 손을 허용하는 VR 환경으로 사용자를 배치하기 위해, 렌더링된 손(308)으로 렌더링(324)을 선택할 수 있다.
도 3C는 선택 가능한 도면 부품(330)을 갖는 렌더링(324)를 포함한다. 이 예에서, 사용자(202)는 오브젝트(334)(사이드 뷰로부터 도시된)에서 렌더링(324)에 벨 커플링(332)을 추가하고자 할 수 있다. 이를 위해, 사용자(202)는 가상 손 렌더링(336)을 부품(330)에 도달시켜 벨 커플 링(332)을 선택할 수 있다. 이러한 방식으로, 사용자는 그녀의 손(336)의 렌더링을 볼 수 있으며, 렌더링은 선택 메커니즘(예를 들어, 타겟/스파크(338)에서의 손가락 끝)이 어떤 신체 부분이 도면을 선택하고 있는지에 대한 정보를 사용자에게 입체적으로, 글로우하여, 또는 시각적으로 표시하는 동안에 점선이 되거나 또는 희미해질 수 있다. 상기 타겟/스파크(338)는 충돌 영역(339) 내이 있을 수 있다. 충돌 영역(339)은 선택 가능 부품(330)의 전부 또는 부품(330)의 일부를 나타낼 수 있다. 손 전체가 도면 부품(330)에 있는 다른 아이템을 부주의로 선택할 수 있기 때문에 VR 애플리케이션(110)은 부품(330)에서 아이템의 손끝 정밀 선택을 가능하게 하기 위하여 충돌 모드를 호출할 수 있다.
일부 구현 예들에서, 사용자의 손이 작은 타겟(예를들어, 메뉴, 리스트, 작은 오브젝트 등)에 접근할 때, VR 애플리케이션(110)은 사용자의 검지 손가락이 오로지 작은 타겟을 트리거하는 충돌 메카니즘이 되도록 충돌 모드를 동적으로 정밀 또는 소형 타겟 충돌 모드로 변경할 수 있다. 이러한 방식으로, VR 애플리케이션(110)은 작은 타겟을 선택하는 검지 손가락 부분을 동적으로 수정할 수 있다. VR 애플리케이션(110)이 더 정확한 선택을 위하여 VR 환경에서 검지 손가락을 수정하더라도, 애플리케이션(110)은 수정을 실제로 표시하지 않을 수 있다. 따라서, 사용자는 수정 없는 손가락을 볼 수 있다.
일부 구현 예들에서, 충돌 영역은 다른 충돌 영역들 내에 중첩(nested)될 수 있다. 이것은 동일한 가상 컨텐트를 위하여 다수의 충돌 모드를 인에이블할 수 있게 한다. 예를 들어, 만약 사용자(336)가 충돌 영역(343)으로 움직이면, 시스템(100)은 움직임을 검출하여 부품 선택의 손/손바닥 충돌 모드를 인에이블할 수 있다. 사용자가 부품(332)를 선택하기 위해 충돌 영역(341)에 진입하면 부품 선택을 위한 충돌 모드가 트리거될 수 있고, 그에 응답하여, 시스템(100)은 충돌 영역(341)으로의 근접 또는 진입을 검출하여 손/손바닥 충돌 모드에서 손가락끝 충돌 모드로 충돌 모드를 변경할 수 있다. 유사하게, 사용자(336)가 충돌 영역(345) 위에서 다음 호버를 하면, 시스템(100)은 충돌 모드를 손가락끝 충돌 모드에서 손/손바닥 충돌 모드로 변경할 수 있다. 충돌 영역은 정사각형이나 직사각형으로 도시되어 있지만 임의의 충돌 영역의 크기와 모양도 가능하다. 일반적으로, 충돌 영역은 가상 오브젝트 상 또는 주위에 있는 체적(예를 들어, 구형, 정사각형, 사각형, 다각형 또는 일부 다른 2차원 또는 3차원 형상) 일 수 있다.
일부 구현 예들에서, 충돌 모드는 시간 경과에 따른 2개 이상의 모드 조합이 되도록 선택될 수 있다. 예를 들어, 충돌 모드는 비정밀 모드에서 시작하여 점차로 정밀 모드로 전환될 수 있다. 이러한 점진적 전환은 사용자가 작업을 전환하거나 다른 환경을 방문하는 것과 같이 VR 환경이 변경될 때 수행될 수 있다. 다른 구현 예들에서, 하나의 충돌 모드에서 다른 충돌 모드로의 전환은 작업, 환경, 선택 메커니즘 등의 변경에 즉각적일 수 있다.
일부 구현 예들에서, VR 애플리케이션(110)은 사용자가 특정 아이템을 터치하기를 원할 때 검출할 수 있고 이 검출에 기초하여 충돌 모드를 전환할 수 있다. 예를 들어, 사용자에 대하여 눈 시선이 검출될 수 있고, 눈 시선 방향은 사용자의 액션이 무엇인지를(사용자가 보고 있는 상황과 관련하여) 결정하기 위한 입력으로서 사용될 수 있다. VR 애플리케이션(110)은 사용자의 검출된(의도된) 액션을 사용하여 어느 충돌 모드가 적절한 반응성(responsiveness)을 제공할 수 있는지를 결정할 수 있다.
일부 구현 예들에서, 전환 가능한 충돌 모드를 제공하는 것은 실수로 의한 정보의 손실 또는 부주의한 확인 또는 응답들의 방지하는 이점을 제공할 수 있다. 즉, 충돌 모드를 비정밀 모드에서 정밀 모드로 충돌 모드를 전환하는 것은 실수로 데이터를 삭제하거나 너무 많은 아이템을 선택하는 것을 방지할 수 있다.
일부 구현 예들에서, 시스템(100)은 충돌 모드를 켜거나 끄기 위해 사용될 수 있는 센서 및/또는 소프트웨어 제어 컨트롤들을 갖는 VR 장비를 포함할 수 있다. 예를 들어, HMD 디바이스(106)는 이용 가능한 충돌 모드의 메뉴를 순환하기 위한 버튼을 포함할 수 있다. 사용자는 예를 들어, VR 환경에서 상호 작용하고 싶어하지 않는 경우 모든 충돌 모드를 턴오프하기 위하여 이러한 메뉴를 또한 사용할 수 있다. 예를 들어, 사용자가 박물관내에 있고 박물관에서 이용 가능한 VR 콘텐츠를 액세스하는 경우 사용자는 실수로 전시물을 건드리지 않기를 바랄 수 있다. 따라서, 사용자는 VR 콘텐츠에는 액세스하지만 가상 세계와 충돌하는 것을 방지하기 위해 콘텐츠와 상호 작용하지 않도록 선택할 수 있다.
일부 구현 예들에서, 충돌 모드는 음성 제어, 제스처, 물리적 버튼 선택, 또는 이들의 임의의 조합을 사용하여 선택되거나 토글될 수 있다. 일 예에서, 사용자는 음성 명령을 발호(call out)하여 특정 충돌 모드를 활성화 또는 비활성화할 수 있다. 음성 명령은 VR 환경 자체에 적용되거나 VR 환경 내에서 액세스되는 가상 콘텐츠에 적용될 수 있다.
일부 구현 예들에서, 시스템(100)은 특정 충돌 모드를 선택하기 위하여 사용자 생체정보(biometrics)(예를 들어, 스트레스 수준, 피부 반응, 지문, 심장 박동수, 호흡 등)을 측정할 수 있다. 예를 들어, 시스템(100)은 사용자가 타겟 세트에 접근할 때 사용자가 머뭇거리는지를 검출할 수 있다. 시스템(100)은 검출에 기초하여 충돌 모드를 제안하거나 동적으로 전환할 수 있다. 즉, 시스템(100)은 사용자가 VR 환경에서 보다 많은 정밀도(precision)로부터 혜택을 받을 수 있다고 추론할 수 있으며, 따라서 시스템(100)은 다른 충돌 모드를 자유롭게 제공하는 동안에 일부 충돌 모드를 제한할 수 있다.
일부 구현 예에서, 충돌 모드는 사용자 액션의 추적 히스토리에 기초하여 사용자에 대해 수정될 수 있다. 예를 들어, 시스템(100)은 사용자가 영화 동안 일시 정지선택을 반복적으로 시도했고, 그렇게 하기 위해 사용자가 타겟들 사이를 머뭇거리면서 타겟을 잘못 선택하여 왔다 갔다 했다는 것을 검출할 수 있다. 사용자는 되감기 타겟을 선택하고 부정확한 선택을 취소하기 위해 재생 타겟을 다시 선택했을 수 있다. 이 경우, 시스템은 사용자의 선택 메커니즘(예를들어, 사용자의 손가락)을 위해 더 정밀한 충돌 모드를 제공하기 위하여 충돌 모드를 변경할 수 있다.
다른 예에서, 사용자는 VR 환경에서 모바일 디바이스를 사용하여 친구에게 전화를 걸 생각이었으나 대신에, 사촌에게 반복적으로 전화를 걸었으며 전화를 끊었다. 시스템(100)은 사용자의 손가락이 경로를 교차하는 것 또는 VR 장비가 특정 사용자에 대하여 교정(calibration)되지 않음을 검출할 수 있고, 이에 응답하여, 시스템은 사용자가 더 쉽게 선택할 수 있도록 하기 위해 더 정밀한 충돌 모드로 전환할 수 있다. 이것은 VR 환경 및 제품의 사용자 인식을 향상시키는 기능을 할 수 있다.
일부 구현에서 충돌 모드는 VR 세션 사이에 저장될 수 있다. 예를 들어, 사용자는 만약 사용자가 다른 헤드셋 또는 HMD 디바이스에서 VR 콘텐츠를 액세스한다면, 익숙한 유사한 충돌 모드에서 작업할 수 있도록 충돌 모드를 원격으로 구성할 수 있다. 센서 장비 설정 및 소프트웨어 설정은 사용자와 비슷한 방식으로 수행될 수 있다.
일부 구현 예들에서, VR 애플리케이션(110)은 특정 VR 환경에 대해 다수의 타겟 및 충돌 모드를 제공하도록 구성될 수 있다. 그러나, 모든 모드와 타겟을 한꺼번에 제공하면 사용자가 VR 환경을 돌아다닐 때 트리거링에 기초한 많은 오류를 야기할 수 있다. 따라서, VR 애플리케이션(110)은 돌아다니는 동안 사용자를 검출할 수 있고 불필요한 트리거링을 방지하거나 사용자 혼란을 방지하기 위해 특정 충돌 모드 또는 타겟을 오프시킬 수 있다. 예를 들어, VR 환경의 바닥에 많은 타겟이 있고 사용자의 발이 특정 레벨의 게임을 위한 충돌 메커니즘으로 구성된 경우, 사용자는 모르고 걸어다녀 바닥에 있는 타겟을 트리거 할 수 있다. VR 환경은 특정 레벨이 통과될 때까지 게임의 낮은 레벨에서 손 상호 작용을 허용하도록 구성될 수 있으며, 그런 다음 바닥에 타겟들이 제공될 수 있다. VR 애플리케이션(110)은 사용자가 플레이하고 있는 레벨을 결정할 수 있고, 레벨에 기초하여 타겟 및/또는 충돌 모드를 활성 또는 비활성화할 수 있다.
일부 구현 예들에서, 사용자는 비 VR 환경(예를 들어, 표준에서, 전형적인 방식으로)에서 컴퓨팅 디바이스와 상호 작용할 수 있는 것과 동일한 방식으로 VR 환경에서 컴퓨팅 디바이스와 상호 작용할 수 있다. 예를 들어, 사용자는 비 VR 환경에서 통상적으로 동일한 애플리케이션을 사용하기 때문에 VR 환경에서 컴퓨팅 디바이스상의 애플리케이션을 사용할 수 있다.
일부 구현 예들에서, 컴퓨팅 디바이스는 실체로 VR 환경에서 렌더링될 수 있다. 일부 구현 예에서, 컴퓨팅 디바이스의 특정 양태는 VR 환경에서 렌더링될 수 있다. 예를 들어, 컴퓨팅 디바이스의 터치 스크린의 터치 표면은 VR 환경에서 렌더링될 수 있다. 다른 예에서, 컴퓨팅 디바이스의 경계는 VR 환경에서 렌더링될 수 있다. 다른 예에서, 컴퓨팅 디바이스에 대한 인터페이스(예를 들어, 입력 컨트롤들)는 VR 환경에서 렌더링될 수 있다.
도 4는 VR 환경에서 상황 감지형 충돌을 제공하기 위한 프로세스(400)의 일 실시예를 나타내는 흐름도이다. 블록(402)에서, VR 애플리케이션(110)은 가상 환경에서 가상 사용자를 위한 입력을 수신할 수 있다. 예를 들어, 애플리케이션(110)은 VR 환경에서 추적되고 있는 사용자가 수행한 다수의 움직임을 수신할 수 있다. 움직임은 손 제스처에 기초하거나 또는 VR 환경에서 사용자에게 제공되는 VR 콘텐츠에 응답하여 만들어진 팔 또는 손 움직임에 기반할 수 있다. 일부 구현 예들에서, 움직임은 사용자가 VR 환경 내에서 유지(hold) 및 이동할 수 있는 렌더링된 콘텐츠 또는 오브젝트에 기초할 수 있다.
블록(404)에서, VR 애플리케이션(110)은 가상 사용자(또는 가상 사용자에 의해 보유된 오브젝트)가 사용자의 움직임에 기초하여 충돌 영역의 임계 거리 내에 있는지를 검출할 수 있다. 일부 구현 예들에서, 임의의 수의 센서와 조합된 VR 애플리케이션(110)은 사용자의 일부분이 충돌 영역의 임계 거리 내에 있는지를 검출할 수 있다. 임계 거리는 예를 들어, 가상 오브젝트로부터 약 1/2 내지 1인치에서 수행된 가상 오브젝트에 근접한 손의 호버를 포함할 수 있다. 예를 들어, 사용자(202)가 다른 가상 오브젝트들 상에 적층되도록 구성된 가상 오브젝트로 손을 내밀면, VR 애플리케이션(110)은 사용자가 가상 오브젝트와 충돌하려고 하는 것을 검출할 수 있고, 가상 오브젝트 및/또는 사용자 상의 타겟 영역을 트리거링하여 응답할 수 있다. 그런 식으로 사용자는 손의 어느 부분이 선택기로 사용되고 어느 영역(타겟)이 가상 오브젝트를 선택하는지를 시각적으로 볼 수 있다.
블록(406)에서, VR 애플리케이션(110)은 가상 사용자 및/또는 충돌 영역을 위한 충돌 모드를 선택하기 위하여 충돌 처리를 수행할 수 있다. 예를 들어, 임의의 수의 센서와 조합된 VR 애플리케이션(110)은 충돌할 사용자의 일부, 가상 오브젝트, 및/또는 물리적 또는 VR 환경을 분석하여 조합에 적합한 충돌 모드를 선택할 수 있다.
블록(408)에서, VR 애플리케이션(110)은 선택된 충돌 모드에 기초하여 가상 사용자를 동적으로 수정할 수 있다. 일부 구현 예들에서, 가상 사용자를 동적으로 수정하는 것은 가상 환경에서 입력을 제공하는 것에 대응하는 가상 사용자의 일부를 수정하는 것을 포함할 수 있다. 일부 구현 예들에서, 가상 사용자를 동적으로 수정하는 단계는 시각적 응답, 청각적 응답 또는 햅틱 응답 중 적어도 하나를 제공하는 단계를 포함할 수 있다.
일부 구현 예들에서, VR 애플리케이션(110)은 또한 동적으로 변경된 가상 사용자와 정렬하도록 충돌 영역을 조정하는 것을 포함할 수 있다. 예를 들어, 조정은 입력을 수신할 충돌 영역 내의 다수의 가시(viewable) 타겟을 제공하는 것을 포함할 수 있다. 복수의 가시 타겟은 특정 충돌 모드를 구성하는 및/또는 연관되는 가상 오브젝트에 기초하여 가상 오브젝트 상에서 선택 및 제공될 수 있다. 일부 구현 예들에서, VR 애플리케이션(110)은 또한 선택된 충돌 모드에 적어도 부분적으로 기초하여 적어도 하나의 상황 감지형 충돌 영역을 제공할 수 있다. 상황 감지형 충돌 영역은 충돌 영역과 관련된 크기에 기초하여 제공될 수 있다. 상황 감지형 충돌 영역은 가상 환경에 있는 가상 오브젝트를 기반으로 제공될 수 있다.
일부 구현 예들에서, 사용자의 일부를 수정하는 것은 (i) 사용자 입력이 물리적 사용자의 손가락 움직임을 포함하고, 충돌 영역의 임계 거리 내에서 사용자의 일부가 하나 이상의 가상 핑거를 포함하고 있는 것을 검출하는 것, (ii) 하나 이상의 가상 손가락의 리치(reach)를 충돌 영역으로 확장하는 것으로, 확장은 가상 영역 내의 하나 이상의 가상 핑거들에 근접하여 도시된 가상 오브젝트와 상호 작용하도록 가상 사용자를 적응시키는 것을 포함한다. 일부 구현 예들에서, 가상 사용자를 동적으로 수정하는 것은 본 명세서 전반에 걸쳐 설명된 바와 같이, 사용자에게 시각적 응답, 청각적 응답 또는 햅틱 응답 중 적어도 하나를 제공하는 것을 포함한다.
일부 구현 예들에서, 방법(400)은 또한 선택된 충돌 모드에 적어도 부분적으로 기초하여 적어도 하나의 상황 감지형 충돌 영역을 제공하는 것을 포함할 수 있다. 충돌 영역의 상황이 손가락 제스처를 수신하도록 구성된 경우, 충돌 모드는 정밀 충돌 모드로서 구성될 수 있다. 충돌 영역의 상황이 대화형 손 제스처를 수신하도록 구성된 경우 충돌 모드는 비정밀 충돌 모드로서 구성될 수 있다. 일부 구현 예들에서, 상황-감지형 충돌 영역은 충돌 영역과 관련된 크기에 기초하여 제공된다. 일부 구현 예들에서, 상황-감지형 충돌 영역은 가상 환경에서 적어도 하나의 가상 오브젝트와 관련된 크기에 기초하여 제공된다.
도 5는 여기에 기술된 기술들과 함께 사용될 수 있는 일반적인 컴퓨터 디바이스(500)와 일반적인 모바일 컴퓨터 디바이스 (550)의 예를 도시한다. 컴퓨팅 디바이스(500)는 프로세서(502), 메모리(504), 저장 디바이스(506), 메모리(504)와 고속 확장 포트(510)에 연결된 고속 인터페이스(508), 및 저속 버스(514)와 저장 디바이스(506)에 연결된 저속 인터페이스(512)를 포함한다. 구성 요소(502, 504, 506, 508, 510 및 512)들 각각은 다양한 버스들을 사용하여 상호 접속되고, 공통 마더 보드 상에 또는 적절하게 다른 방식으로 장착될 수 있다. 프로세서(502)는 고속 인터페이스(508)에 연결된 디스플레이(516)과 같은 외부 입/출력 디바이스상의 GUI를 위한 그래픽 정보를 표시하기 위하여, 메모리(504) 또는 저장 디바이스(506)에 저장된 명령을 포함하여 컴퓨팅 디바이스(500) 내의 실행을 위한 명령을 처리할 수 있다. 다른 구현 예들에서, 다수의 프로세서 및/또는 다수의 버스가 다수의 메모리 및 타입의 메모리와 함께 적절하게 사용될 수 있다. 또한, 다수의 컴퓨팅 디바이스(500)는 필요한 동작들(예를 들어, 서버 뱅크, 블레이드(balde) 서버 그룹 또는 멀티-프로세서 시스템으로서)의 일부를 제공하는 각 디바이스와 접속될 수 있다.
메모리(504)는 컴퓨팅 디바이스(500) 내의 정보를 저장한다. 일 구현예에서, 메모리(504)는 휘발성 메모리 유닛 또는 유닛들이다. 또 다른 구현에에서, 메모리(504)는 비 휘발성 메모리 유닛 또는 유닛들이다. 메모리(504)는 또한 자기 또는 광학 디스크와 같은 컴퓨터 판독 가능 매체의 다른 형태 일 수 있다.
저장 디바이스(506)는 컴퓨팅 디바이스(500)을 위한 대용량 저장을 제공할 수 있다. 일 구현예에서, 저장 디바이스(506)는 플로피 디스크 디바이스, 하드 디스크 디바이스, 광학 디스크 디바이스, 또는 테이프 디바이스, 플래시 메모리 또는 다른 유사한 고체 메모리 디바이스, 또는 저장 영역 네트워크 또는 다른 구성의 디바이스들을 포함하는 디바이스의 어레이와 같은, 컴퓨터 판독 가능 매체이거나 또는 컴퓨터 판독 가능 매체를 포함할 수 있다. 컴퓨터 프로그램 제품은 정보 매체(carrier)에 가시적으로 구현될 수 있다. 컴퓨터 프로그램 제품은 실행될 때 상술한 바와 같은 하나 이상의 방법을 수행하는 명령을 또한 포함할 수 있다. 정보 매체는 메모리(504), 저장 디바이스(506) 또는 프로세서(502)상의 메모리와 같은 컴퓨터 또는 기계 판독 가능 매체이다.
고속 제어기(508)는 컴퓨팅 디바이스(500)에 대한 대역폭-집약적 동작들 (bandwidth-intensive operations)을 관리하고, 저속 제어기(512)는 보다 낮은 대역폭-집약적 동작들을 관리한다. 이러한 기능 할당은 단지 예시적인 것이다. 일 구현 예에서, 고속 제어기(508)는 메모리(504), 디스플레이(516)(예를 들어, 그래픽 프로세서 또는 가속기를 통해) 및 다양한 확장 카드(미도시)를 수용할 수 있는 고속 확장 포트(510)에 결합된다. 구현 예에서, 저속 제어기(512)는 저장 디바이스(506)와 저속 확장 포트(514)에 결합된다. 다양한 통신 포트(예를 들어, USB, 블루투스, 이더넷, 무선 이더넷)를 포함할 수 있는 저속 확장 포트는 키보드, 포인팅 디바이스, 스캐너, 또는 스위치 또는 라우터와 같은 네트워킹 디바이스와 같은, 하나 이상의 입/출력장치에 예를들어, 네트워크 어댑터를 통해 결합될 수 있다.
컴퓨팅 디바이스(500)는 도면에 도시된 바와 같이 다수의 상이한 형태로 구현될 수 있다. 예를 들어, 컴퓨팅 디바이스(500)는 표준 서버(520)로서 구현되거나, 또는 그러한 서버들의 그룹에서 여러 번 구현될 수 있다. 또한, 컴퓨팅 디바이스(500)는 랙(rack) 서버 시스템(524)의 일부로서 구현 될 수 있다. 또한, 컴퓨팅 디바이스(500)는 랩탑 컴퓨터(522)와 같은 개인용 컴퓨터에서 구현될 수도 있다. 대안적으로, 컴퓨팅 디바이스(500)로부터의 컴포넌트는 디바이스(550)와 같은 모바일 디바이스(미도시)에 있는 다른 컴포넌트와 결합될 수 있다. 이러한 디바이스 각각은 하나 이상의 컴퓨팅 디바이스(500, 550)를 포함할 수 있고, 전체 시스템은 서로 통신하는 다수의 컴퓨팅 디바이스(500, 550)로 구성될 수 있다.
컴퓨팅 디바이스(550)는 다른 컴포넌트들 중에서 프로세서(552), 메모리 (564), 디스플레이(554)와 같은 입/출력 디바이스, 통신 인터페이스(566) 및 송수신기(568)를 포함한다. 디바이스(550)는 추가 저장을 제공하기 위해, 마이크로 드라이브 또는 다른 디바이스와 같은 저장 디바이스와 함께 또한 제공될 수 있다. 컴포넌트(550, 552, 564, 554, 566 및 568) 각각은 다양한 버스를 사용하여 상호 접속되며, 몇몇 구성 요소는 공통 마더 보드상에 또는 적절한 다른 방식으로 장착될 수 있다.
프로세서(552)는 메모리(564)에 저장된 명령을 포함하여 컴퓨팅 디바이스 (550) 내의 명령을 실행할 수 있다. 프로세서는 개별 및 다수의 아날로그 및 디지털 프로세서를 포함하는 칩의 칩셋으로서 구현될 수 있다. 프로세서는 예를 들어 사용자 인터페이스의 제어, 디바이스(550)에 의해 실행되는 애플리케이션들 및 디바이스(550)에 의한 무선 통신과 같은 디바이스(550)의 다른 컴포넌트들을 조정(coordination)을 제공할 수 있다.
프로세서(552)는 제어 인터페이스(558) 및 디스플레이(554)에 연결된 디스플레이 인터페이스(556)를 통해 사용자와 통신할 수 있다. 디스플레이(554)는 예를 들어, TFT LCD(박막 트랜지스터 액정 디스플레이) 또는 OLED 유기 글로우 다이오드 (Organic Light Emitting Diode) 디스플레이 또는 다른 적절한 디스플레이 기술을 포함할 수 있다. 디스플레이 인터페이스(556)는 사용자에게 그래픽 및 다른 정보를 제공하기 위해 디스플레이(554)를 구동하기 위한 적절한 회로를 포함할 수 있다. 제어 인터페이스(558)는 사용자로부터 명령을 수신하여 프로세서(552)에 제공하기 위해 그들을 변환할 수 있다. 또한, 외부 인터페이스(562)는 다른 디바이스와 디바이스(550)의 근거리 통신을 인에이블 하기 위하여, 프로세서(552)와의 통신에 제공될 수 있다. 외부 인터페이스(562)는 예를 들어, 일부 구현 예들에서 유선 통신용으로, 또는 다른 구현 예들에서에서 무선 통신용으로 제공될 수 있으며, 다중 인터페이스가 사용될 수 있다.
메모리(564)는 컴퓨팅 디바이스(550) 내의 정보를 저장한다. 메모리(564)는 하나 이상의 컴퓨터 판독 가능 매체 또는 매체, 휘발성 메모리 유닛 또는 유닛들, 또는 비 휘발성 메모리 유닛 또는 유닛들로서 구현될 수 있다. 확장 메모리(574)는 또한 예를 들어 SIMM(Single In Line Memory Module) 카드 인터페이스를 포함할 수 있는 확장 인터페이스(572)를 통해 디바이스(550)에 제공되고 접속될 수 있다. 그러한 확장 메모리(574)는 디바이스(550)를 위한 여분의 저장을 제공할 수 있고, 또는 디바이스(550)를 위한 애플리케이션 또는 다른 정보를 저장할 수 있다. 특히, 확장 메모리(574)는 전술한 프로세스를 수행하거나 보충하기 위한 명령을 포함할 수 있고, 또한 보안 정보를 포함할 수 있다. 따라서, 예를 들어, 확장 메모리(574)는 디바이스(550)를 위한 보안 모듈로 제공될 수 있고, 디바이스(550)의 안전한 사용을 허용하는 명령들로 프로그램될 수 있다. 또한, 보안 애플리케이션은 해킹 불가능 방식으로 SIMM 카드에 식별 정보를 배치하는 것과 같은 부가 정보와 함께 SIMM 카드를 통해 제공될 수 있다.
메모리는 예를 들어, 후술되는 바와 같이, 플래시 메모리 및/또는 NVRAM 메모리를 포함할 수 있다. 일 구현예에서, 컴퓨터 프로그램 제품은 정보 매체에 가시적으로 구체화된다. 컴퓨터 프로그램 제품은 실행될 때 위에 설명된 것과 같은 하나 이상의 방법을 수행하는 명령들을 포함한다. 정보 매체는 예를 들어 송수신기 (568) 또는 외부 인터페이스(562)를 통해 수신될 수 있는 메모리 (564), 확장 메모리(574) 또는 프로세서(552)상의 메모리와 같은 컴퓨터 또는 기계 판독 가능 매체이다.
디바이스(550)는 필요한 경우 디지털 신호 처리 회로를 포함할 수 있는 통신 인터페이스(566)를 통해 무선으로 통신할 수 있다. 통신 인터페이스(566)는 GSM 음성 호출, SMS, EMS 또는 MMS 메시징, CDMA, TDMA, PDC, WCDMA, CDMA2000 또는 GPRS와 같은 다양한 모드 또는 프로토콜 하에서 통신을 제공할 수 있다. 이러한 통신은 예를 들어, 무선 주파수 송수신기(568)를 통해 발생할 수 있다. 또한, 블루투스, Wi-Fi 또는 다른 그러한 송수신기(미도시)를 사용하는 것과 같은 근거리 통신이 발생할 수 있다. 또한, GPS(Global Positioning System) 수신기 모듈(570)은 디바이스(550)상에서 실행되는 애플리케이션에 의해 적절하게 사용될 수 있는 추가의 네비게이션 및 위치 관련 무선 데이터를 디바이스(550)에 제공할 수 있다.
디바이스(550)는 또한 사용자로부터 구두(spoken) 정보를 수신하여 그것을 이용 가능한 디지털 정보로 변환할 수 있는 오디오 코덱(560)을 사용하여 청각적으로 통신할 수 있다. 오디오 코덱(560)은 마찬가지로, 예를 들어 디바이스(550)의 핸드셋 내의 스피커를 통하는 것과 같이, 사용자를 위한 가청 사운드를 생성할 수 있다. 이러한 사운드는 음성 전화 호출로부터의 사운드를 포함할 수 있고, 녹음된 사운드(예를 들어, 음성 메시지, 음악 파일, 및 기타)를 포함할 수 있으며, 또한 디바이스(550)상에서 동작하는 애플리케이션에 의해 생성된 사운드를 포함할 수 있다.
컴퓨팅 디바이스(550)는 도면에 도시된 바와 같이 다수의 상이한 형태로 구현될 수 있다. 예를 들어, 컴퓨팅 디바이스(550)는 셀룰러 전화(580)로서 구현될 수 있다. 또한 스마트폰(582), 개인 휴대 정보 단말기(personal digital assistant) 또는 다른 유사한 모바일 디바이스의 일부로서 구현될 수도 있다.
여기에 설명된 시스템 및 기술의 다양한 구현 예는 디지털 전자 회로, 집적 회로, 특별하게 설계된 ASIC(주문형 집적 회로), 컴퓨터 하드웨어, 펌웨어, 소프트웨어 및/또는 이들의 조합으로 실현될 수 있다. 이러한 다양한 구현은 데이터 및 명령을 저장 시스템으로부터 수신하고, 저장 시스템으로 전송하도록 결합된, 특수 또는 범용일 수 있는 적어도 하나의 프로그램 가능 프로세서, 적어도 하나의 입력 디바이스 및 적어도 하나의 출력 디바이스를 포함하는 프로그램 가능 시스템상에서 실행 가능하고 및/또는 해석 가능한 하나 이상의 컴퓨터 프로그램에서의 구현을 포함할 수 있다.
이러한 컴퓨터 프로그램들(또한 프로그램, 소프트웨어, 소프트웨어 응용 또는 코드로도 알려진)은 프로그램 가능 프로세서를 위한 기계 명령을 포함하며, 높은 수준의 절차 및/또는 오브젝트 지향 프로그래밍 언어 및/또는 어셈블리/머신에서 구현될 수 있다. 여기에서 사용되는 "기계 판독 가능 매체", "컴퓨터 판독 가능 매체"라는 용어는, 기계 판독 가능 신호로서 기계 명령을 수신하는 기계 판독 가능 매체를 포함하는, 프로그램 가능 프로세서로 기계 명령 및/또는 데이터를 제공하는데 사용된 임의의 프로그램 제품, 장치 및/또는 디바이스(예를들어, 자기 디스크, 광 디스크, 메모리, 프로그램 가능 논리 디바이스(PLD)와 같은)를 의미한다.
사용자와의 상호 작용을 제공하기 위해, 여기에 기술된 시스템 및 기술은 사용자에게 정보를 디스플레이하기 위한 디스플레이 디바이스(예를 들어, CRT 또는 LCD 모니터), 키보드 및 사용자가 컴퓨터에 입력을 제공할 수 있는 포인팅 디바이스(예를 들어, 마우스 또는 트랙볼)를 갖는 컴퓨터상에서 구현될 수 있다. 다른 종류의 디바이스가 사용자와의 상호 작용을 제공하는데 또한 사용될 수 있는데, 예를 들어, 사용자에게 제공된 피드백은 임의의 형태의 감각 피드백(예를 들어, 시각적 피드백, 청각 피드백 또는 촉각 피드백) 및 사용자로부터 음향, 음성 또는 촉각 입력을 포함하는 임의의 형태로 수신될 수 있는 입력일 수 있다.
여기에 설명된 시스템 및 기술은 백 엔드(back end) 컴포넌트(예를들어, 데이터 서버)를 포함하거나, 미들웨어 컴포넌트(예를들어, 응용 프로그램 서버)를 포함하거나, 프론트 엔드(front end) 컴포넌트(예를들어, 그래픽 사용자 인터페이스를 갖는 클라이언트 컴퓨터 또는 사용자가 여기에 기술된 시스템 및 기술의 구현과 상호 작용할 수 있는 웹 브라우저)를 포함하거나, 이러한 백 엔드, 미들웨어 또는 프런트 엔드 컴포넌트의 임의의 조합을 포함할 수 있다. 시스템의 컴포넌트들은 임의의 형태 또는 매체의 디지털 데이터 통신(예를 들어, 통신 네트워크)에 의해 상호 접속될 수 있다. 통신 네트워크의 예는 근거리 통신망("LAN"), 광역 통신망 ("WAN") 및 인터넷을 포함한다.
컴퓨팅 시스템은 클라이언트 및 서버를 포함할 수 있다. 클라이언트와 서버는 일반적으로 서로 멀리 떨어져 있으며 일반적으로 통신 네트워크를 통해 상호 작용한다. 클라이언트와 서버의 관계는 각각의 컴퓨터상에서 실행되고 서로 클라이언트-서버 관계를 갖는 컴퓨터 프로그램 때문에 발생한다.
일부 구현 예들에서, 도 5에 도시된 컴퓨팅 디바이스는, 가상 현실(HMD 디바이스 (590))과 인터페이스하는 센서들을 포함할 수 있다. 예를 들어, 도 5에 도시된 컴퓨팅 디바이스(550) 또는 다른 컴퓨팅 디바이스에 포함된 하나 이상의 센서는, HMD 디바이스(590)로 입력을 제공하거나 일반적으로 VR 환경에 입력을 제공할 수 있다. 센서들은 터치 스크린, 가속도계, 자이로스코프, 압력 센서, 생체 센서, 온도 센서, 습도 센서 및 주변 광 센서를 포함할 수 있지만 이에 한정되는 것은 아니다. 컴퓨팅 디바이스(550)는 센서를 사용하여 VR 환경에 대한 입력으로 사용될 수 있는 VR 환경에서 컴퓨팅 디바이스의 절대 위치 및/또는 검출된 회전을 결정할 수 있다. 예를 들어, 컴퓨팅 디바이스(550)는 컨트롤러, 레이저 포인터, 키보드, 무기 등과 같은 가상 오브젝트로서 VR 환경에 통합될 수 있다. VR환경에 통합될 때 사용자에 의한 컴퓨팅 디바이스/가상 오브젝트의 포지셔닝(positioning)은 사용자가 VR 환경에서 특정 방식으로 가상 오브젝트를 보기 위해 컴퓨팅 디바이스를 위치시킬 수 있게 한다. 예를 들어, 가상 오브젝트가 레이저 포인터를 나타내는 경우, 사용자는 실제 레이저 포인터인 것처럼 컴퓨팅 디바이스를 조작할 수 있다. 사용자는 컴퓨팅 디바이스를 좌우, 상하, 원 등으로 이동시킬 수 있으며 레이저 포인터를 사용하는 것과 유사한 방식으로 디바이스를 사용할 수 있다.
일부 구현 예들에서, 컴퓨팅 디바이스(550)에 포함되거나 컴퓨팅 디바이스 (550)에 연결되는 하나 이상의 입력 디바이스는 VR 환경에 대한 입력으로 사용될 수 있다. 입력 디바이스는 터치 스크린, 키보드, 하나 이상의 버튼, 트랙 패드, 터치 패드, 포인팅 디바이스, 마우스, 트랙볼, 조이스틱, 카메라, 마이크로폰, 이어폰, 입력 기능이 있는 버즈(buds), 게임 컨트롤러 또는 기타 연결 가능한 입력 디바이스ㅏ를 포함할 수 있지만, 이에 한정되지는 않는다. 컴퓨팅 디바이스가 VR 환경에 통합될 때 컴퓨팅 디바이스(550) 상에 포함된 입력 디바이스와 상호 작용하는 사용자는 VR 환경에서 특정 액션을 발생시킬 수 있다.
일부 구현 예들에서, 컴퓨팅 디바이스(550)의 터치 스크린은 VR 환경에서 터치 패드로 렌더링될 수 있다. 사용자는 컴퓨팅 디바이스(550)의 터치 스크린과 상호 작용할 수 있다. 상호 작용은 HMD 디바이스(590)에서, 예를 들어 VR 환경에서 상기 렌더링된 터치 패드상의 움직임으로서 렌더링된다. 렌더링된 움직임은 VR 환경에서 오브젝트를 제어할 수 있다.
일부 구현 예들에서, 컴퓨팅 디바이스(550)에 포함된 하나 이상의 출력 디바이스는 VR 환경에서 HMD 디바이스(590)의 사용자에게 출력 및/또는 피드백을 제공할 수 있다. 출력 및 피드백은 시각적, 전술적 또는 오디오 일 수 있다. 출력 및/또는 피드백은 진동, 하나 이상의 조명 또는 스트로브(strobe)의 켜기/끄기 또는 점멸(blinking) 및/또는 글로우(flashing), 알람 울리기, 차임(chime) 치기, 노래 연주 및 오디오 파일 재생을 포함할 수 있지만 이에 한정되지 않는다. 출력 디바이스는 진동 모터, 진동 코일, 압전 디바이스, 정전기 디바이스, 글로우 다이오드(LED), 스트로브 및 스피커를 포함할 수 있지만 이에 한정되지 않는다.
일부 구현 예들에서, 컴퓨팅 디바이스(550)는 컴퓨터 생성 3D 환경에서 다른 오브젝트로서 나타날 수 있다. 컴퓨팅 디바이스(550)와의 사용자에 의한 상호 작용(예를 들어, 회전, 흔들기, 터치 스크린 터치, 터치 스크린을 가로지르는 스와이핑)은 VR 환경에서 오브젝트와의 상호 작용으로서 해석될 수 있다. VR 환경에서의 레이저 포인터의 예에서, 컴퓨팅 디바이스(550)는 컴퓨터 생성 3D 환경에서 가상 레이저 포인터로서 나타난다. 사용자가 컴퓨팅 디바이스(550)를 조작할 때 VR 환경의 사용자는 레이저 포인터의 움직임을 보게 된다. 사용자는 컴퓨팅 디바이스(550) 또는 HMD 디바이스(590)상의 VR 환경에서 컴퓨팅 디바이스(550)와의 상호 작용으로부터 피드백을 수신한다.
일부 구현 예들에서, 컴퓨팅 디바이스(550)는 터치 스크린을 포함할 수 있다. 예를 들어, 사용자는 VR 환경에서 일어나는 일로 터치스크린에서 일어나는 일을 모방할 수 있는 특정 방식으로 터치 스크린과 상호 작용할 수 있다. 예를 들어, 사용자는 터치 스크린에 표시된 콘텐츠를 확대하기 위해 핀칭(pinching) 타입 동작을 사용할 수 있다. 이러한 터치 스크린에서 핀칭 타입 모션은 VR 환경에서 제공된정보가 확대되도록 할 수 있다. 다른 예에서, 컴퓨팅 디바이스는 컴퓨터 생성 3D 환경에서 가상책으로 렌더링 될 수 있다.
일부 구현 예들에서, 컴퓨팅 디바이스(예를 들어, 마우스, 키보드)에 부가하여 하나 이상의 입력 디바이스가 컴퓨터 생성 3D 환경에서 렌더링될 수 있다. 렌더링된 입력 디바이스(예를 들어, 렌더링된 마우스, 렌더링된 키보드)는 VR 환경에서 오브젝트를 제어하기 위하여 VR 환경에서 렌더링된 대로 사용될 수 있다.
컴퓨팅 디바이스(500)는 랩탑, 데스크탑, 워크스테이션, PDA, 서버, 블레이드 서버, 메인 프레임 및 다른 적절한 컴퓨터와 같은 디지털 컴퓨터의 다양한 형태를 나타내기 위한 것이다. 컴퓨팅 디바이스(550)는 개인 휴대 정보 단말기, 셀룰러 전화기, 스마트폰 및 다른 유사한 컴퓨팅 디바이스와 같은 모바일 디바이스의 다양한 형태를 나타내기 위한 것이다. 여기에 도시된 컴포넌트, 그들의 접속 및 관계, 및 그들의 기능은 단지 예시적인 것으로, 본 명세서에 기재 및/또는 청구된 본 발명의 구현들을 제한하지 않는다.
다수의 실시예들이 설명되었다. 그럼에도 불구하고, 본 명세서의 사상과 범위를 벗어나지 않고 다양한 변형이 이루어질 수 있음을 이해해야 할 것이다. 또한, 도면에 묘사된 논리 흐름은 바람직한 결과를 달성하기 위해 도시된 특정 순서 또는 순차 순서를 요구하지 않는다. 또한, 설명된 흐름들로부터 다른 단계들이 제공되거나 단계들이 제거될 수 있으며, 설명된 시스템들에 다른 컴포넌트들이 추가되거나 제거될 수 있다. 따라서, 다른 실시예들은 다음의 청구들의 범위 내에있다.
이하에서, 본 발명에 따른 컴퓨터 구현 방법, 시스템 및 비일시적(non-transitory) 컴퓨터 판독 가능 매체의 또 다른 예가 설명된다.
제1예는 컴퓨터 구현 방법에 관한 것으로, 가상 환경에서 가상 사용자에 대한 입력을 수신하는 단계로서, 입력은 가상 환경에 액세스하는 사용자에 의해 수행된 복수의 움직임에 기초한 것이고; 상기 복수의 움직임에 기초하여 가상 사용자의 적어도 하나의 부분이 충돌 영역의 임계 거리 내에 있음을 검출하는 단계로서, 충돌 영역은 적어도 하나의 가상 오브젝트와 관련되며; 상기 적어도 하나의 부분 및 적어도 하나의 가상 오브젝트에 기초하여 가상 사용자를 위한 충돌 모드를 선택하는 단계; 및 선택된 충돌 모드에 기초하여 가상 사용자를 동적으로 수정하는 단계를 포함한다.
제2예는 제1예에 기초한 컴퓨터 구현 방법에 관한 것으로서, 수정된 가상 사용자와 정렬하도록 충돌 영역을 조정하는 단계를 더 포함하며, 조정하는 단계는 입력을 수신하는 충돌 영역에 복수의 가시적(viewable) 타겟을 제공하는 단계를 포함하고, 복수의 가시적 타겟은 선택된 충돌 모드와 관련된다.
제1 또는 제2예에 기초한 제3예에서, 적어도 하나의 가상 오브젝트에 근접한 호버 움직임 및 임계 거리는 적어도 하나의 가상 오브젝트로부터 약 1/2 내지 약 1인치를 포함한다.
제4예는 제1실시예 내지 제3실시예 중 하나에 기초한 컴퓨터 구현 방법에 관한 것으로, 가상 환경이 스크롤가능한 콘텐츠를 제공하고 있는지 판단하는 단계, 손바닥 기반 충돌 모드를 선택하는 단계, 및 사용자의 손에 의해 개시된 손바닥 제스처 수신에 응답하여 스크롤될 컨텐츠를 구성하는 단계를 더 포함한다.
제1 내지 제4예 중 하나에 기초한 제5예에서, 가상 사용자를 동적으로 수정하는 단계는 가상 환경에서 입력을 제공하는 것에 대응하는 가상 사용자의 일부를 수정하는 단계를 포함한다.
제5예에 기초한 제6예에서, 상기 부분을 수정하는 단계는, 상기 입력은 손가락 움직임을 포함하고 상기 일부는 하나 이상의 가상 손가락을 포함하는 것을 검출하는 단계; 및 상기 하나 이상의 가상 핑거들의 리치(reach)를 충돌 영역으로 확장시키는 단계를 더 포함하는 것으로서, 상기 확장시키는 단계는 가상 환경에서 하나 이상의 가상 손가락에 근접 도시된 가상 오브젝트와 상호 작용하도록 가상 사용자를 적응시키는 단계를 포함한다.
제1 내지 제6예 중 하나에 기초한 제7예에서, 가상 사용자를 동적으로 수정하는 단계는 사용자에게 시각적 응답, 오디오 응답 또는 햅틱 응답 중 적어도 하나를 제공하는 단계를 포함한다.
제8예는 제1예 내지 제7예 중 하나에 기초한 컴퓨터 구현 방법에 관한 것으로, 선택된 충돌 모드에 적어도 부분적으로 기초하여 적어도 하나의 상황 감지형 충돌 영역을 제공하는 단계를 더 포함하며, 상기 충돌 모드는 충돌 영역의 상황이 손가락 제스처를 수신하도록 구성된 경우 정밀(fine) 충돌 모드로 구성되고, 상기 충돌 모드는 충돌 영역의 상황이 대화형 손 제스처를 수신하도록 구성된 경우에는 비정밀(coarse) 충돌 모드로 구성된다.
제8예에 기초한 제9예에서, 상황 감지형 충돌 영역은 충돌 영역과 관련된 크기에 기초하여 제공된다.
제8 또는 제9예에 기초한 제10예에서, 상황 감지형 충돌 영역은 가상 환경에서 적어도 하나의 가상 오브젝트와 관련된 크기에 기초하여 제공된다.
제11예는 가상 현실 환경에서 가상 현실 체험을 생성하는 전자 컴퓨팅 디바이스를 포함하는 시스템에 관한 것으로, 물리적 공간 내에서 휴대 가능한 전자 컴퓨팅 디바이스; 상기 전자 컴퓨팅 디바이스와 통신하는 복수의 센서로서, 상기 센서는 물리적 공간 내에서 전자 컴퓨팅 디바이스를 액세스하는 사용자와 관련된 동작을 검출하도록 구성되며; 및 가상 현실 환경에서 가상 오브젝트에 근접한 움직임을 검출하고, 상기 움직임은 사용자에 의해 수행되고, 상기 움직임은 가상환경에서 표현되고 가상 사용자의 신체 부분와 연관되며, 상기 가상 오브젝트가 신체 부분보다 작은 가상 오브젝트상의 영역에 입력을 수신하도록 구성되었다는 결정에 응답하여, 신체 부분와의 선택 기능을 수정하기 위해 충돌 모드를 선택하고, 가상 환경에서 신체 부분의 표시(representation) 상에 수정된 선택 기능을 디스플레이하며, 및 상이한 가상 오브젝트와 연관된 움직임을 검출할 때까지 상기 선택된 충돌 모드를 유지하는 적어도 하나의 프로세서를 포함한다.
제11예에 기초한 제12예에서, 가상 환경에서의 신체 부분의 표시 상에 수정 된 선택 기능을 디스플레이하는 것은 신체 부분를 글로우(glow), 진동, 이동, 성장 (grow) 또는 수축하도록 구성하는 것을 포함하고, 디스플레이는 가상 오브젝트와 상호 작용할 메커니즘을 물리적 사용자에게 나타낸다.
제11 또는 제12예에 기초한 제13예에서, 가상 오브젝트는 키보드이고, 신체 부분는 손이고, 충돌 모드는 손의 손가락 끝 영역을 축소하도록 선택되고, 신체 부분의 표시는 각 손가락상의 인디케이터를 포함한다.
제11예 내지 제13 중 하나에 기초한 제14예에서, 충돌 모드는 풀 핸드 모드, 전체 팔 모드, 손가락 모드, 전신 모드 및 키보드 모드로 구성된 그룹으로부터 선택되며, 각 모드는 정밀 및 비정밀 구성을 포함한다.
제15예는 컴퓨터 시스템의 프로세서에 의해 실행될 때 컴퓨터 시스템으로 하여금, 가상 환경에서 가상 사용자에 대한 입력을 수신하도록 하는 것으로, 상기 입력은 가상 환경을 액세스하는 사용자에 의해 수행된 복수의 움직임에 기초하고, 상기 복수의 움직임에 기초하여 가상 사용자의 적어도 하나의 부분이 충돌 영역의 임계 거리내에 있는지를 검출하도록 하는 것으로, 상기 충돌 영역은 적어도 하나의 가상 오브젝트와 관련되거나 정의되며, 충돌 영역의 임계 거리 내에 있는 가상 사용자의 적어도 하나의 부분에 기초하여 가상 사용자에 대한 충돌 모드를 선택하도록 하는 명령들을 포함하는 비일시적(non-transitory) 컴퓨터 판독 가능 매체에 관한 것이다.
제16예는 제15예에 기초한 비일시적 컴퓨터 판독 가능 매체에 관한 것으로, 수정된 가상 사용자와 정렬하도록 충돌 영역을 조정하는 것을 더 포함하며, 상기 조정은 입력을 수신하는 충돌 영역에 복수의 가시적 타겟을 제공하는 것을 포함하고, 상기 복수의 가시적 타겟은 선택된 충돌 모드와 관련된다.
제15 또는 제16예에 기초한 제17예에서, 입력은 적어도 하나의 가상 오브젝트에 인접한 호버 움직임을 포함하고, 임계 거리는 적어도 하나의 가상 오브젝트로부터 약 1/2 내지 약 1인치를 포함한다.
제15 내지 제17예 중 하나에 기초한 제18예에서, 가상 사용자를 동적으로 수정하는 것은 가상 환경에서 입력을 제공하는 것에 대응하는 가상 사용자의 일부를수정하는 것을 포함한다.
제18예에 기초한 제19예에서, 가상 사용자를 동적으로 수정하는 것은, 입력은 손가락 움직임을 포함하고 일부는 하나 이상의 가상 손가락을 포함하는 것을 검출하는 것; 및 상기 하나 이상의 가상 손가락의 리치를 충돌 영역으로 확장하는 것을 포함하며, 상기 확장은 가상 환경에서 하나 이상의 가상 손가락에 근접 도시된 가상 오브젝트와 상호 작용하도록 가상 사용자를 적응시키는 것을 포함한다.
제20예는 제15 내지 제19예 중 하나에 기초한 비일시적 컴퓨터 판독 가능 매체에 관한 것으로, 선택된 충돌 모드에 적어도 부분적으로 기초하여 적어도 하나의 상황 감지형 충돌 영역을 제공하는 것을 더 포함하며, 상기 충돌 모드는 충돌 영역의 상황이 손가락 제스처를 수신하도록 구성된 경우 정밀(fine) 충돌 모드로 구성되고, 상기 충돌 모드는 충돌 영역의 상황이 대화형 손 제스처를 수신하도록 구성된 경우에는 비정밀(coarse) 충돌 모드로 구성된다.

Claims (20)

  1. 컴퓨터 구현 방법으로서,
    가상 환경에서 가상 사용자에 대한 입력을 수신하는 단계, 상기 입력은 가상 환경에 액세스하는 사용자에 의해 수행된 복수의 호버(hover) 움직임에 기초하고;
    상기 복수의 호버 움직임에 기초하여 가상 사용자의 제1 부분이 충돌 영역의 임계 거리 내에 있음을 검출하는 단계, 상기 충돌 영역은 적어도 하나의 가상 오브젝트와 관련되고, 상기 임계 거리는 상기 적어도 하나의 가상 오브젝트로부터의 제1 및 제2 임계 거리를 포함하고,
    상기 제1 부분 및 상기 적어도 하나의 가상 오브젝트에 기초하여 복수의 충돌 모드로부터 가상 사용자에 대한 충돌 모드를 선택하는 단계, 상기 충돌 모드는 상기 제1 및 제2 임계 거리에 따라 상이한 정확도 레벨을 갖도록 선택되고; 및
    상기 선택된 충돌 모드에 기초하여 가상 사용자를 동적으로 변경하는 단계를 포함하는 컴퓨터 구현 방법.
  2. 제1항에 있어서,
    변경된 가상 사용자와 정렬되도록 충돌 영역을 조정하는 단계를 더 포함하며, 상기 조정하는 단계는 입력을 수신할 충돌 영역 내에 복수의 가시적인 타겟을 제공하는 단계를 더 포함하고, 상기 복수의 가시적인 타겟은 선택된 충돌 모드와 관련되어 있는 컴퓨터 구현 방법.
  3. 제1항에 있어서,
    상기 입력은 적어도 하나의 가상 오브젝트에 근접한 호버 움직임을 포함하며, 상기 임계 거리는 적어도 하나의 가상 오브젝트로부터 약 1/2 내지 약 1인치를 포함하는 컴퓨터 구현 방법.
  4. 제1항에 있어서,
    가상 환경이 스크롤 가능한 콘텐츠를 제공하고 있다는 것을 판단하는 단계, 손바닥 기반 충돌 모드를 선택하는 단계, 및 사용자의 손에 의해 개시된 손바닥 제스처 수신에 응답하여 스크롤링될 콘텐츠를 구성하는 단계를 더 포함하는 컴퓨터 구현 방법.
  5. 제1항에 있어서,
    상기 가상 사용자를 동적으로 변경하는 단계는 가상 환경에서 입력을 제공하는 것에 대응하는 가상 사용자의 제1 부분을 수정하는 단계를 포함하고,
    상기 가상 사용자에 대한 충돌 모드를 선택하는 단계는 가상 오브젝트에 근접하는 사용자의 검출된 생체 정보에 기초하여 충돌 모드를 동적으로 선택하는 단계를 포함하는 컴퓨터 구현 방법.
  6. 제5항에 있어서,
    상기 제1 부분을 수정하는 단계는,
    상기 입력이 손가락 움직임을 포함하고 그리고 상기 제1 부분이 하나 이상의 가상 손가락을 포함하는 것을 검출하는 단계; 및
    상기 하나 이상의 가상 손가락의 리치를 충돌 영역으로 확장하는 단계를 더 포함하며, 확장하는 것은 가상 환경에서 하나 이상의 가상 손가락에 대하여 임계 거리에 도시된 가상 오브젝트와 상호 작용하도록 가상 사용자를 적응시키는 것을 포함하는 컴퓨터 구현 방법.
  7. 제1항에 있어서,
    상기 가상 사용자를 동적으로 변경하는 단계는 사용자에게 시각적 응답, 오디오 응답 또는 햅틱 응답 중 적어도 하나를 제공하는 단계를 포함하는 컴퓨터 구현 방법.
  8. 제1항에 있어서,
    상기 선택된 충돌 모드에 적어도 부분적으로 기초하여 적어도 하나의 상황 감지형 충돌 영역을 제공하는 단계를 더 포함하며, 상기 충돌 모드는 충돌 영역의 상황이 손가락 제스처를 수신하도록 구성된 경우는 정밀(fine) 충돌 모드로서 구성되고, 충돌 모드는 충돌 영역의 상황이 대화형 손 제스처를 수신하도록 구성된 경우는 비정밀(coarse) 충돌 모드로서 구성되는 컴퓨터 구현 방법.
  9. 제8항에 있어서,
    상기 상황 감지형 충돌 영역은 충돌 영역과 관련된 크기에 기초하여 제공되는 컴퓨터 구현 방법.
  10. 제8항에 있어서,
    상기 상황 감지형 충돌 영역은 가상 환경에서 적어도 하나의 가상 오브젝트와 연관된 크기에 기초하여 제공되는 컴퓨터 구현 방법.
  11. 시스템으로서,
    가상 현실 환경에서 가상 현실 체험을 생성하는 전자 컴퓨팅 디바이스, 상기 전자 컴퓨팅 디바이스는 물리적 공간 내에서 휴대 가능하고;
    상기 전자 컴퓨팅 디바이스와 통신하는 복수의 센서, 상기 센서는 물리적 공간 내에서 전자 컴퓨팅 디바이스를 액세스하는 사용자와 관련된 동작을 검출하도록 구성되며; 및
    적어도 하나의 프로세서를 포함하고, 상기 적어도 하나의 프로세서는,
    가상 현실 환경에서 물리적 사용자에 의해 수행된 호버 움직임을 검출하고, 상기 움직임은 가상 현실 환경에서 표현되고 상기 물리적 사용자의 신체 부분과 관련되며,
    가상 오브젝트가 신체 부분보다 작은 가상 오브젝트 상의 영역에서 입력을 수신하도록 구성되었다는 결정에 응답하여, 상기 신체 부분과의 선택 기능 (selection capability)을 수정하기 위한 충돌 모드를 선택하고, 상기 선택된 충돌 모드에 기초하여 가상 환경에서의 상기 신체 부분의 표현의 크기를 수정하며, 상기 충돌 모드는 상기 가상 오브젝트로부터의 제1 및 제2 임계 거리에 따라 상이한 선택 기능을 갖도록 선택되고;
    상기 수정된 선택 기능을 가상 환경에서 신체 부분의 표시상에 디스플레이하며, 그리고
    상기 선택된 충돌 모드를 상이한 가상 오브젝트와 연관된 움직임을 검출할 때까지 유지하는 것을 특징으로 하는 시스템.
  12. 제11항에 있어서,
    수정된 선택 기능을 가상 환경에서 신체 부분의 표시상에 디스플레이하는 것은 신체 부분를 글로우(glow), 진동, 이동, 성장(grow) 또는 수축하도록 신체 부분를 구성하는 것을 포함하고, 디스플레이는 물리적 사용자에게 가상 오브젝트와 상호 작용하는 메커니즘을 나타내는 시스템.
  13. 제11항에 있어서,
    상기 가상 오브젝트는 키보드이고, 신체 부분은 손이고, 충돌 모드는 손의 손가락 끝 영역을 축소시키기 위해 선택되고, 신체 부분의 표시는 각 손가락상의 인디케이터를 포함하는 시스템.
  14. 제11항에 있어서,
    충돌 모드는 풀 핸드 모드, 전체 팔 모드, 손가락 모드, 전신 모드 및 키보드 모드로 구성되는 그룹으로부터 선택되며, 각 모드는 정밀 및 비정밀 구성을 포함하는 시스템.
  15. 명령들을 포함하는 비일시적인 컴퓨터 판독 가능 매체로서, 상기 명령들은 컴퓨터 시스템의 프로세서에 의해 실행될 때 상기 컴퓨터 시스템으로 하여금,
    가상 환경에서 가상 사용자를 위한 입력을 수신하게 하고, 상기 입력은 가상 환경을 액세스하는 사용자에 의해 수행된 복수의 호버 움직임에 기초하고;
    복수의 호버 움직임에 기초하여 가상 사용자의 제1 부분이 충돌 영역의 임계 거리내에 있는 것을 검출하게 하고, 상기 충돌 영역은 적어도 하나의 가상 오브젝트와 관련되며, 상기 임계 거리는 상기 적어도 하나의 가상 오브젝트로부터의 제1 및 제2 임계 거리를 포함하고;
    상기 제1 부분 및 상기 적어도 하나의 가상 오브젝트에 기초하여 복수의 충돌 모드로부터 가상 사용자에 대한 충돌 모드를 선택하게 하고, 상기 충돌 모드는 상기 제1 및 제2 임계 거리에 따라 상이한 정확도 레벨을 갖도록 선택되고; 그리고
    선택된 충돌 모드에 기초하여 가상 사용자를 동적으로 변경하게 하는 것을 특징으로 하는 비일시적인 컴퓨터 판독 가능 매체.
  16. 제15항에 있어서,
    변경된 가상 사용자와 정렬하도록 충돌 영역을 조정하는 것을 더 포함하고, 상기 조정은 입력을 수신할 충돌 영역 내에 다수의 가시적인 타겟을 제공하는 것을 포함하며, 복수의 가시적인 타겟은 선택된 충돌 모드와 연관되는 비일시적인 컴퓨터 판독 가능 매체.
  17. 제15항에 있어서,
    상기 입력은 호버 움직임을 포함하고, 상기 임계 거리는 적어도 하나의 가상 오브젝트로부터 약 1/2 내지 약 1인치를 포함하는 비일시적인 컴퓨터 판독 가능 매체.
  18. 제15항에 있어서,
    상기 가상 사용자를 동적으로 변경하는 것은 가상 환경에서 입력을 제공하는 것에 대응하는 가상 사용자의 상기 제1 부분을 수정하는 것을 포함하고,
    상기 가상 사용자에 대한 충돌 모드를 선택하는 것은 가상 오브젝트에 근접하는 사용자의 검출된 생체 정보에 기초하여 충돌 모드를 동적으로 선택하는 것을 포함하는 비일시적인 컴퓨터 판독 가능 매체.
  19. 제18항에 있어서,
    상기 가상 사용자를 동적으로 변경하는 것은,
    상기 입력이 손가락 움직임을 포함하고 상기 제1 부분이 하나 이상의 가상 손가락을 포함하는 것을 검출하는 것; 및
    하나 이상의 가상 손가락의 피치를 충돌 영역으로 확장하는 것을 포함하고, 상기 확장은 가상 환경에서 하나 이상의 가상 손가락에 대하여 임계 거리에 도시된 가상 오브젝트와 상호 작용하도록 가상 사용자를 적응시키는 것을 포함하는 비일시적인 컴퓨터 판독 가능 매체.
  20. 제15항에 있어서,
    상기 선택된 충돌 모드에 적어도 부분적으로 기초하여 적어도 하나의 상황 감지형 충돌 영역을 제공하는 것을 더 포함하며, 충돌 모드는 충돌 영역의 상황이 손가락 제스처를 수신하도록 구성된 경우는 정밀(fine) 충돌 모드로서 구성되고, 충돌 모드는 충돌 영역의 상황이 대화형 손 제스처를 수신하도록 구성된 경우는 비정밀(coarse) 충돌 모드로서 구성되는 비일시적인 컴퓨터 판독 가능 매체.
KR1020177030851A 2015-08-04 2016-08-04 가상 현실에서 오브젝트와 손의 상황 감지형 충돌을 통한 입력 KR102105637B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201562200825P 2015-08-04 2015-08-04
US62/200,825 2015-08-04
PCT/US2016/045568 WO2017024142A1 (en) 2015-08-04 2016-08-04 Input via context sensitive collisions of hands with objects in virtual reality

Publications (2)

Publication Number Publication Date
KR20170130586A KR20170130586A (ko) 2017-11-28
KR102105637B1 true KR102105637B1 (ko) 2020-06-26

Family

ID=56686949

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020177030851A KR102105637B1 (ko) 2015-08-04 2016-08-04 가상 현실에서 오브젝트와 손의 상황 감지형 충돌을 통한 입력

Country Status (6)

Country Link
US (1) US10635161B2 (ko)
EP (1) EP3332314B1 (ko)
JP (1) JP6676071B2 (ko)
KR (1) KR102105637B1 (ko)
CN (1) CN107533373B (ko)
WO (1) WO2017024142A1 (ko)

Families Citing this family (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9847079B2 (en) * 2016-05-10 2017-12-19 Google Llc Methods and apparatus to use predicted actions in virtual reality environments
WO2017196928A1 (en) 2016-05-10 2017-11-16 Google Llc Volumetric virtual reality keyboard methods, user interface, and interactions
CN107977071B (zh) * 2016-10-24 2020-02-28 中国移动通信有限公司研究院 一种适用于空间系统的操作方法及装置
KR102369905B1 (ko) * 2016-10-31 2022-03-03 주식회사 테그웨이 피드백 디바이스 및 이를 이용하는 열적 피드백 제공 방법
CN107008006A (zh) * 2017-04-14 2017-08-04 苏州蜗牛数字科技股份有限公司 一种在vr中物体触碰的方法
CN107172136B (zh) * 2017-05-04 2018-07-03 腾讯科技（深圳）有限公司 体素数据的同步方法和装置
US11054894B2 (en) 2017-05-05 2021-07-06 Microsoft Technology Licensing, Llc Integrated mixed-input system
JP2019008623A (ja) * 2017-06-27 2019-01-17 キヤノン株式会社 情報処理装置、及び、情報処理装置の制御方法、コンピュータプログラム、記憶媒体
US10895966B2 (en) 2017-06-30 2021-01-19 Microsoft Technology Licensing, Llc Selection using a multi-device mixed interactivity system
US11023109B2 (en) 2017-06-30 2021-06-01 Microsoft Techniogy Licensing, LLC Annotation using a multi-device mixed interactivity system
US10782793B2 (en) 2017-08-10 2020-09-22 Google Llc Context-sensitive hand interaction
JP7005224B2 (ja) * 2017-08-22 2022-01-21 キヤノン株式会社 情報処理装置、システム、画像処理方法、コンピュータプログラム、及び記憶媒体
US20190066385A1 (en) * 2017-08-31 2019-02-28 Canon Kabushiki Kaisha Image processing apparatus, image processing method, and non-transitory computer-readable storage medium
KR101990373B1 (ko) 2017-09-29 2019-06-20 클릭트 주식회사 가상현실 영상 제공 방법 및 이를 이용한 프로그램
CN108536288A (zh) * 2018-03-27 2018-09-14 网易（杭州）网络有限公司 虚拟现实中交互操作的处理方法和装置
US10877554B2 (en) 2018-04-19 2020-12-29 Samsung Electronics Co., Ltd. High efficiency input apparatus and method for virtual reality and augmented reality
CN108563335B (zh) * 2018-04-24 2021-03-23 网易（杭州）网络有限公司 虚拟现实交互方法、装置、存储介质及电子设备
US10916065B2 (en) * 2018-05-04 2021-02-09 Facebook Technologies, Llc Prevention of user interface occlusion in a virtual reality environment
DE102018207987A1 (de) * 2018-05-22 2019-11-28 Siemens Aktiengesellschaft Verfahren und System zum Darstellen eines 3D-Modells
US11733824B2 (en) * 2018-06-22 2023-08-22 Apple Inc. User interaction interpreter
CN109085931A (zh) * 2018-07-25 2018-12-25 南京禹步信息科技有限公司 一种虚实结合的交互式输入方法、装置和存储介质
CN109542279B (zh) * 2018-10-30 2022-08-26 维沃移动通信有限公司 一种终端设备控制方法及终端设备
CN109683876B (zh) * 2018-12-10 2022-06-24 上海精密计量测试研究所 一种基于Unity3D的行为树设计方法
CN109782909B (zh) * 2018-12-29 2020-10-30 北京诺亦腾科技有限公司 一种vr交互设备与vr场景的交互方法及装置
CN109710077B (zh) * 2018-12-30 2022-05-06 郑州畅想高科股份有限公司 基于vr的虚拟物体碰撞判断方法、装置及机车实训系统
WO2021054589A1 (en) 2019-09-18 2021-03-25 Samsung Electronics Co., Ltd. Electronic apparatus and controlling method thereof
US11550397B1 (en) * 2019-10-10 2023-01-10 Meta Platforms, Inc. Systems and methods for simulating a sensation of expending effort in a virtual environment
US11093005B1 (en) * 2020-05-05 2021-08-17 International Business Machines Corporation Virtual reality rollable display device
US11249314B1 (en) * 2020-08-04 2022-02-15 Htc Corporation Method for switching input devices, head-mounted display and computer readable storage medium
EP4002064A1 (en) * 2020-11-18 2022-05-25 XRSpace CO., LTD. Method and system for showing a cursor for user interaction on a display device
US11151774B1 (en) * 2020-11-20 2021-10-19 At&T Intellectual Property I, L.P. Adaptive immersive media rendering pipeline
US20230135974A1 (en) * 2021-11-04 2023-05-04 Microsoft Technology Licensing, Llc Multi-factor intention determination for augmented reality (ar) environment control
US11579747B1 (en) 2022-03-14 2023-02-14 Snap Inc. 3D user interface depth forgiveness
WO2024064935A1 (en) * 2022-09-23 2024-03-28 Apple Inc. Methods for depth conflict mitigation in a three-dimensional environment

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090027337A1 (en) * 2007-07-27 2009-01-29 Gesturetek, Inc. Enhanced camera-based input
US20140198132A1 (en) * 2013-01-16 2014-07-17 Azbil Corporation Information displaying device, method, and program

Family Cites Families (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE69434851T2 (de) * 1993-08-12 2007-04-19 Seiko Epson Corp. Am Kopf montierte Bildanzeigevorrichtung und diese enthaltendes Datenverarbeitungsgerät
JPH10247252A (ja) * 1997-03-04 1998-09-14 Sharp Corp 衝突判定処理装置
US7472047B2 (en) * 1997-05-12 2008-12-30 Immersion Corporation System and method for constraining a graphical hand from penetrating simulated graphical objects
US20050162402A1 (en) * 2004-01-27 2005-07-28 Watanachote Susornpol J. Methods of interacting with a computer using a finger(s) touch sensing input device with visual feedback
EP2188737A4 (en) 2007-09-14 2011-05-18 Intellectual Ventures Holding 67 Llc PROCESSING BREAKFAST USER INTERACTIONS
US8165345B2 (en) * 2007-12-07 2012-04-24 Tom Chau Method, system, and computer program for detecting and characterizing motion
US8154524B2 (en) * 2008-06-24 2012-04-10 Microsoft Corporation Physics simulation-based interaction for surface computing
US20100053151A1 (en) * 2008-09-02 2010-03-04 Samsung Electronics Co., Ltd In-line mediation for manipulating three-dimensional content on a display device
CN101782815A (zh) * 2009-01-16 2010-07-21 原相科技股份有限公司 具有虚拟的资料输入装置的电子装置
US8487871B2 (en) * 2009-06-01 2013-07-16 Microsoft Corporation Virtual desktop coordinate transformation
US8721444B2 (en) * 2009-07-21 2014-05-13 Sony Corporation Game device for performing operation object control and non-operation object control
US20110107216A1 (en) * 2009-11-03 2011-05-05 Qualcomm Incorporated Gesture-based user interface
KR101114750B1 (ko) * 2010-01-29 2012-03-05 주식회사 팬택 다차원 영상을 이용한 사용자 인터페이스 장치
US20150169119A1 (en) * 2010-02-17 2015-06-18 Google Inc. Major-Axis Pinch Navigation In A Three-Dimensional Environment On A Mobile Device
US20120113223A1 (en) * 2010-11-05 2012-05-10 Microsoft Corporation User Interaction in Augmented Reality
WO2012125990A2 (en) * 2011-03-17 2012-09-20 Laubach Kevin Input device user interface enhancements
US9122311B2 (en) * 2011-08-24 2015-09-01 Apple Inc. Visual feedback for tactile and non-tactile user interfaces
US8872853B2 (en) 2011-12-01 2014-10-28 Microsoft Corporation Virtual light in augmented reality
CN104272218B (zh) * 2012-06-30 2017-03-08 惠普发展公司，有限责任合伙企业 基于联合数据的虚拟手
US9552673B2 (en) * 2012-10-17 2017-01-24 Microsoft Technology Licensing, Llc Grasping virtual objects in augmented reality
US9589538B2 (en) * 2012-10-17 2017-03-07 Perceptive Pixel, Inc. Controlling virtual objects
EP2951811A4 (en) * 2013-01-03 2016-08-17 Meta Co DIGITAL EYES FOR EXTRAMISSIVE SPATIAL IMAGING, PROCESSES AND SYSTEMS FOR VIRTUAL OR ENLARGED VISIBILITY, MANIPULATION, PRODUCTION OR INTERACTION WITH OBJECTS, MATERIALS, OR OTHER UNITS
US9202313B2 (en) * 2013-01-21 2015-12-01 Microsoft Technology Licensing, Llc Virtual interaction with image projection
JP6195893B2 (ja) * 2013-02-19 2017-09-13 ミラマ サービス インク 形状認識装置、形状認識プログラム、および形状認識方法
US10268276B2 (en) * 2013-03-15 2019-04-23 Eyecam, LLC Autonomous computing and telecommunications head-up displays glasses
KR101411569B1 (ko) * 2013-06-05 2014-06-27 고려대학교 산학협력단 가상 키보드를 이용한 정보 처리 장치 및 방법
US9286725B2 (en) * 2013-11-14 2016-03-15 Nintendo Co., Ltd. Visually convincing depiction of object interactions in augmented reality images
US9740296B2 (en) * 2013-12-16 2017-08-22 Leap Motion, Inc. User-defined virtual interaction space and manipulation of virtual cameras in the interaction space
US9799159B2 (en) * 2014-02-14 2017-10-24 Igt Canada Solutions Ulc Object detection and interaction for gaming systems
CN106233227B (zh) * 2014-03-14 2020-04-28 索尼互动娱乐股份有限公司 具有体积感测的游戏装置
JP6341755B2 (ja) * 2014-05-26 2018-06-13 キヤノン株式会社 情報処理装置、方法及びプログラム並びに記録媒体
US9766806B2 (en) * 2014-07-15 2017-09-19 Microsoft Technology Licensing, Llc Holographic keyboard display
US9619043B2 (en) * 2014-11-26 2017-04-11 At&T Intellectual Property I, L.P. Gesture multi-function on a physical keyboard
US20160189427A1 (en) * 2014-12-31 2016-06-30 Immersion Corporation Systems and methods for generating haptically enhanced objects for augmented and virtual reality applications
GB2534386A (en) * 2015-01-21 2016-07-27 Kong Liang Smart wearable input apparatus
WO2016115976A1 (en) * 2015-01-21 2016-07-28 Kong Liang Smart wearable input apparatus
JP6354653B2 (ja) * 2015-04-25 2018-07-11 京セラドキュメントソリューションズ株式会社 拡張現実操作システムおよび拡張現実操作プログラム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090027337A1 (en) * 2007-07-27 2009-01-29 Gesturetek, Inc. Enhanced camera-based input
US20140198132A1 (en) * 2013-01-16 2014-07-17 Azbil Corporation Information displaying device, method, and program

Also Published As

Publication number Publication date
JP2018522310A (ja) 2018-08-09
WO2017024142A1 (en) 2017-02-09
EP3332314B1 (en) 2024-04-10
EP3332314A1 (en) 2018-06-13
CN107533373A (zh) 2018-01-02
CN107533373B (zh) 2020-09-08
KR20170130586A (ko) 2017-11-28
US20170038830A1 (en) 2017-02-09
US10635161B2 (en) 2020-04-28
JP6676071B2 (ja) 2020-04-08

Similar Documents

Publication Publication Date Title
KR102105637B1 (ko) 가상 현실에서 오브젝트와 손의 상황 감지형 충돌을 통한 입력
US10545584B2 (en) Virtual/augmented reality input device
EP3332311B1 (en) Hover behavior for gaze interactions in virtual reality
KR102390425B1 (ko) 증강 및/또는 가상 현실 환경에서의 제스처들로 가상 표기면들 생성을 위한 시스템 및 방법
US10802711B2 (en) Volumetric virtual reality keyboard methods, user interface, and interactions
EP3488321B1 (en) Detecting user range of motion for virtual reality user interfaces
JP2022540315A (ja) 人工現実環境において周辺デバイスを使用する仮想ユーザインターフェース
CN109074154B (zh) 增强和/或虚拟现实中的悬停触摸输入补偿
KR20210095833A (ko) 시야를 이용하는 햅틱 피드백
JP5793426B2 (ja) グラフィカルユーザインターフェースとの物理的相互作用を解釈するためのシステムと方法
JP2020061169A (ja) 仮想現実における、頭部、ジェスチャ、およびタッチ入力の動的な切り替えならびにマージ
TW202113555A (zh) 具有滑動選單的人工實境系統
US11023035B1 (en) Virtual pinboard interaction using a peripheral device in artificial reality environments
US10976804B1 (en) Pointer-based interaction with a virtual surface using a peripheral device in artificial reality environments
US11023036B1 (en) Virtual drawing surface interaction using a peripheral device in artificial reality environments
US20200293155A1 (en) Device and method for providing reactive user interface
EP4321974A1 (en) Gesture locomotion in an artifical reality environment
CN113243000A (zh) 用于增强现实对象的捕捉范围

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant