KR20170130582A - 가상현실에서 시선 인터렉션을 위한 호버 행동 - Google Patents

가상현실에서 시선 인터렉션을 위한 호버 행동 Download PDF

Info

Publication number
KR20170130582A
KR20170130582A KR1020177030804A KR20177030804A KR20170130582A KR 20170130582 A KR20170130582 A KR 20170130582A KR 1020177030804 A KR1020177030804 A KR 1020177030804A KR 20177030804 A KR20177030804 A KR 20177030804A KR 20170130582 A KR20170130582 A KR 20170130582A
Authority
KR
South Korea
Prior art keywords
user
environment
virtual
input
noncontact
Prior art date
Application number
KR1020177030804A
Other languages
English (en)
Inventor
알렉산더 제임스 파아보르그
사무엘 크발렌
마누엘 크리스티안 클레멘트
Original Assignee
구글 엘엘씨
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 구글 엘엘씨 filed Critical 구글 엘엘씨
Publication of KR20170130582A publication Critical patent/KR20170130582A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Abstract

하나의 일반적인 양태에서, 시스템은 가상 환경을 위한 복수의 비접촉 타겟을 생성할 수 있으며, 복수의 비접촉 타겟 각각은 가상 오브젝트와 관련된 인터렉티브(interactive) 기능을 포함한다. 시스템은 추가로 제1 비접촉 입력과 제2 비접촉 입력을 검출하여, 제1 비접촉 입력이 적어도 하나의 비접촉 타겟과 관련된 기정의된 임계치를 만족하는지 결정하고, 제1 비접촉 입력이 기정의된 임계치를 만족한다고 결정한 경우, 해당 위치에 있는 적어도 하나의 비접촉 타겟을 헤드 마운트 디스플레이의 디스플레이에 제공한다. 상기 위치에서 제2 비접촉 입력을 검출하는 것에 응답하여 시스템은 가상 환경에서 적어도 하나의 비접촉 타겟과 연관된 인터렉티브 기능을 실행할 수 있다.

Description

가상현실에서 시선 인터렉션을 위한 호버 행동
본 출원은 2015년 8월 4일자로 출원된 "가상현실에서 시선 인터렉션을 위한 호버 행동"이라는 제목의 미국 특허 출원 번호 62/200,821의 우선권 및 이익을 주장하며, 그 개시 내용은 본원에 참고로 통합되어 있다.
본 설명은 일반적으로 가상현실(VR) 환경에서 컴퓨팅 디바이스의 사용에 관한 것이다.
일반적으로 가상현실은 컴퓨터로 생성된 3차원(3D) 환경에서 사람을 둘러싸서 몰입하도록 할 수 있다. 사람은 특정 전자 디바이스와 상호 작용 및/또는 물리적으로 착용함으로써 이러한 환경에 진입할 수 있다. 예시적인 전자 디바이스는 스크린(예를 들어, 디스플레이 디바이스 또는 모니터)을 볼 때 사용자가 보게 되는 스크린, 안경 또는 고글, 센서가 장착된 장갑 및 외부 휴대용 디바이스를 포함하는 헬멧을 포함할 수 있지만, 이에 한정되는 것은 아니다. 일단 VR 환경에 들어가면, 사람은 실제처럼 보이는 방식(예를들어, 물리적인 방식)으로 3D 환경과 상호 작용을 할 수 있다.
하나 이상의 컴퓨터로 이루어진 시스템은 작동 중에 시스템이 액션을 수행하거나 유발하게 하는 소프트웨어, 펌웨어, 하드웨어 또는 이들의 조합을 시스템에 설치함으로써 특정 동작 또는 액션을 수행하도록 구성될 수 있다. 하나 이상의 컴퓨터 프로그램은 데이터 처리 장치에 의해 실행될 때 장치가 액션을 수행하도록 하는 명령을 포함함으로써 특정 동작 또는 액션을 수행하도록 구성될 수 있다.
하나의 일반적인 양태에 따르면, 하나 이상의 컴퓨터들의 시스템은 시스템에 내장된 소프트웨어, 펌웨어, 하드웨어 또는 이들의 조합이 동작 중에 시스템을 인에이블 시키거나 또는 시스템으로 하여금 동작을 수행하도록 구성될 수 있다.
하나의 일반적인 양태에서, 컴퓨터 구현 방법은 동작 중에 시스템이 액션을 수행하거나 액션을 수행하도록 하는 시스템상에 설치된 소프트웨어, 펌웨어, 하드웨어, 또는 이들의 조합을 구비함으로써 특정 동작들 또는 액션들을 수행하도록 구성된 하나 이상의 컴퓨터의 시스템을 포함한다. 하나 이상의 컴퓨터 프로그램은 데이터 처리 장치에 의해 실행될 때 장치로 하여금 액션들을 수행하게 하는 명령을 포함함으로써 특정 동작 또는 액션을 수행하도록 구성될 수 있다. 액션들은 가상 환경을 위한 복수의 비접촉 타겟을 생성 및 표시하는 단계를 포함할 수 있으며, 복수의 비접촉 타겟 각각은 가상 오브젝트와 관련된 인터렉티브 기능을 포함한다. 액션들은 가상 환경에서 제1 비접촉 입력을 검출하는 단계를 더 포함할 수 있다. 비접촉 입력은 적어도 하나의 비접촉 타겟과 관련된 위치에 대응될 수 있다. 액션들은 제1 비접촉 입력이 적어도 하나의 비접촉 타겟과 관련된 미리 정의된 임계치를 만족하는지 결정하는 단계를 포함할 수 있고, 제1 비접촉 입력이 미리 정의된 임계치를 만족하는 것으로 결정될 때, 액션은 상기 위치에서의 적어도 하나의 비접촉 타겟을 헤드 마운트 디스플레이의 디스플레이에 제공하는 단계를 포함할 수 있다. 상기 위치에서 제2 비접촉 입력을 검출하는 것에 응답하여, 액션은 가상 환경에서 적어도 하나의 비 접촉 타겟과 관련된 인터렉티브 기능을 실행하는 단계를 포함할 수 있다. 이 양태의 다른 실시예들은 각각이 방법의 동작을 수행하도록 구성된, 하나 이상의 컴퓨터 저장 장디바이스 상에 기록된 대응하는 컴퓨터 시스템, 장치 및 컴퓨터 프로그램을 포함한다.
구현 예들은 다음 기능들 중의 하나 이상을 포함할 수 있다. 제1 비접촉 입력은 사용자와 관련된 감속 속도를 포함할 수 있고, 제2 비접촉 입력은 헤드 마운트 디스플레이를 액세스하는 사용자와 관련된 시선을 포함할 수 있다. 제1 비접촉 입력은 사용자와 관련된 가속 속도를 포함할 수 있고, 제2 비접촉 입력은 헤드 마운트 디스플레이를 액세스하는 사용자와 관련된 시선을 포함할 수 있다. 일부 구현 예들에서, 제2 비접촉 입력을 검출하는 단계는 사용자 눈의 복수의 이미지를 분석하여 사용자와 관련된 시선 방향을 검출하는 단계를 포함할 수 있으며, 상기 시선은 헤드 마운트 디바이스로 검출된다.
일부 구현 예들에서, 제1 비접촉 입력이 미리 정의된 임계치를 만족하는지 결정하는 단계는 복수의 비접촉 타겟에 대한 트리거 정보를 획득하는 단계를 포함할 수 있다. 트리거 정보는 인터렉티브(interactive) 기능을 실행하기 위한 지시indication)에 대응할 수 있다. 제1 비접촉 입력이 미리 정의된 임계치를 만족하는지 결정하는 단계는 사용자와 관련된 의도를 결정하는 단계, 가상 환경에서의 초기 위치 및 사용자에 대한 움직임 속도를 결정하는 단계, 및 인터렉티브 기능을 실행하기 위한 신뢰도 레벨(confidence level)을 획득하기 위하여 의도 및 이동 속도를 트리거 정보와 비교하는 단계를 포함할 수 있다. 의도를 결정하는 단계는 또한 사용자와 관련된 움직임의 가속 또는 감속을 분석하는 단계를 포함할 수 있다.
일부 구현 예들에서, 제2 비접촉 입력은 사용자와 관련된 시선을 포함하고, 시선은 인터렉티브 기능을 트리거하도록 고정(fixated)된다. 일부 구현 예들에서, 시선은 약 50밀리 초 내지 약 100밀리 초 고정 후에 인터렉티브 기능을 트리거한다. 가상 오브젝트와 관련된 인터렉티브 기능은 가상 오브젝트에 대응하는 비접촉 선택 가능한 메뉴를 포함할 수 있다. 제2 비접촉 입력을 검출하는 것에 응답하여, 액션들은 해당 위치에 복수의 비접촉 컨트롤을 제공하는 단계를 포함할 수 있다. 서술된 기술들의 구현들은 하드웨어, 방법 또는 프로세스, 또는 컴퓨터 액세스 가능 매체상의 컴퓨터 소프트웨어를 포함할 수 있다.
다른 일반적인 양상에서, 시스템은 가상현실 환경에서 가상현실 경험을 생성하는 전자 컴퓨팅 디바이스를 포함할 수 있다. 전자 컴퓨팅 디바이스는 물리적 공간 내에서 휴대 가능할 수 있다. 시스템은 또한 전자 컴퓨팅 디바이스와 통신하는 복수의 센서를 포함할 수 있다. 센서는 물리적 공간 내에서 전자 컴퓨팅 디바이스에 액세스하는 사용자와 관련된 모션을 검출하도록 구성될 수 있다. 시스템은 또한 시간 주기에 걸쳐 각 모션과 연관된 속도 및 모션을 수행하는 사용자의 일부로부터 적어도 하나의 가상 오브젝트까지의 거리를 결정하도록 구성된 프로세서를 포함할 수 있다. 프로세서는 또한 시간 주기에 걸친 모션과 관련된 가속 속도를 결정하는 것에 응답하여 가상 환경에 대한 제1 인터렉션 모드를 적용(engage)하도록 구성될 수도 있다. 프로세서는 또한 시간 주기 걸친 모션과 연관된 감속 속도를 결정하는 것에 응답하여 가상 환경에 대한 제2 인터렉션 모드를 적용하고, 가상현실 환경에서 적용 모드의 인디케이션을 디스플레이하고, 적용 모드를 사용하여 모션 및 적어도 하나의 가상 오브젝트와 관련된 인터렉티브 기능을 실행하도록 구성될 수 있다. 이 양태의 다른 실시예들은 각각이 방법의 동작을 수행하도록 구성된, 하나 이상의 컴퓨터 저장 디바이스 상에 기록된 대응하는 컴퓨터 시스템, 장치 및 컴퓨터 프로그램을 포함한다.
구현 예들은 다음의 기능들 중 하나 이상이 포함될 수 있다. 가상 오브젝트와 연관된 인터렉티브 기능이 있는 전술한 시스템은 가상 오브젝트에 해당하는 비접촉 선택 가능한 메뉴를 포함한다. 제1 인터렉션 모드를 포함하는 전술한 시스템은 가상 환경에서 적어도 하나의 가상 오브젝트 상에 선택 가능한 부분들을 표시하는 것을 포함하고, 선택 가능한 부분들은 사용자의 일부로부터 적어도 하나의 가상 오브젝트까지의 속도 및 거리의 검출 후에 제공된다.
제2 인터렉션 모드에 있는 전술한 시스템은 가상 환경에서 적어도 하나의 가상 오브젝트상에 다른 선택 가능한 부분들을 표시하는 것을 포함하고, 다른 선택 가능한 부분들은 미리 정의된 임계치 이후 및 사용자에 의해 수행된 추가 움직임 검출 이후에 제공된다. 전술한 시스템에서 움직임은 적어도 하나의 가상 오브젝트를 향한 눈 움직임과 관련되고, 눈 움직임은 약 50밀리 초 내지 약 100밀리 초 정지 후에 인터렉티브 기능을 트리거한다. 전술한 시스템에서 모션은 사용자의 눈 움직임과 연관되고, 눈 움직임은 적어도 하나의 가상 오브젝트로부터 멀어지는 방향으로 지향된다. 전술한 시스템에서 모션은 사용자의 손 움직임과 연관되고, 손 움직임은 적어도 하나의 가상 오브젝트쪽으로 지향된다. 설명된 기술들의 구현들은 하드웨어, 방법 또는 프로세스, 또는 컴퓨터 액세스 가능 매체상의 컴퓨터 소프트웨어를 포함할 수 있다.
다른 일반적인 양태에서, 비일시적(non-transitory) 컴퓨터 판독 가능 매체가 설명된다. 비일시적 컴퓨터 판독 가능 매체는 컴퓨터 시스템의 프로세서에 의해 실행될 때, 컴퓨터 시스템으로 하여금 가상 환경을 위해 복수의 비접촉 타겟을 생성하게 하는 명령들을 포함할 수 있으며, 가상 오브젝트와 연관된 인터렉티브 기능을 포함하는 복수의 비접촉 타겟 각각은 가상 환경에서 제1 비접촉 입력을 검출한다. 비접촉 입력은 적어도 하나의 비접촉 타겟과 관련된 위치에 대응할 수 있다. 명령들은 또한 제1 비접촉 입력이 적어도 하나의 비접촉 타겟과 관련된 미리 정의된 임계치를 만족하는지 결정하는 단계와, 제1 비접촉 입력이 미리 정의된 임계치를 만족하는 것으로 결정될 때 상기 위치에 있는 적어도 하나의 비접촉 타겟을 헤드 마운트 디스플레이의 디스플레이에 제공하는 단계를 포함할 수 있다. 명령들은 또한 가상 환경에서 상기 위치에서 제2 비접촉 입력을 검출하는 것에 응답하여 적어도 하나의 비접촉 타겟과 연관된 인터렉티브 기능을 실행하는 단계를 포함할 수 있다. 일부 구현 예들에서, 제1 비접촉 입력은 사용자와 관련된 감속 속도를 포함하고, 제2 비접촉 입력은 헤드 마운트 디스플레이를 액세스하는 사용자와 관련된 시선을 포함한다. 일부 구현 예들에서, 제2 비접촉 입력을 검출하는 단계는 사용자 눈의 복수의 이미지를 분석하여 사용자와 관련된 시선 방향을 검출하는 단계를 포함하고, 시선은 헤드 장착 디바이스로 검출된다.
이 양태의 다른 실시예들은 각각이 방법의 동작을 수행하도록 구성된, 하나 이상의 컴퓨터 저장 디바이스 상에 기록된 대응하는 컴퓨터 시스템, 장치 및 컴퓨터 프로그램을 포함한다.
하나 이상의 구현예들의 세부 사항은 첨부된 도면 및 이하의 설명에서 설명된다. 다른 특징들은 상세한 설명 및 도면들 및 청구항들로부터 명백할 것이다.
하나 이상의 컴퓨터로 이루어진 시스템은 작동 중에 시스템이 액션을 수행하거나 유발하게 하는 소프트웨어, 펌웨어, 하드웨어 또는 이들의 조합을 시스템에 설치함으로써 특정 동작 또는 액션을 수행하도록 구성됨으로써 하나 이상의 컴퓨터 프로그램은 데이터 처리 장치에 의해 실행될 때 장치가 액션을 수행하도록 하는 명령을 포함함으로써 특정 동작 또는 액션을 수행할 수 있다.
도 1은 3D 가상현실(VR) 환경을 생성하고 상호 작용하기 위한 예시적인 시스템의 블록도이다.
도 2는 컴퓨팅 디바이스로 VR 컨텐츠를 액세스하는 헤드 마운트 디스플레이 (HMD) 장치를 나타내는 도면이다.
도 3a 및 도 3b는 VR 사용자 인터페이스의 예를 나타내는 예시도이다.
도 1은, 도 4는 VR HMD 디바이스의 스크린상에서 사용자가 볼 수 있는 VR 환경의 이미지를 나타내는 도면이다.
도 5는 가상 환경에서 타겟과 상호 작용하는 프로세스의 일 실시 예를 나타내는 흐름도이다.
도 6은 여기에 기술된 기술을 구현하는데 사용될 수 있는 컴퓨터 디바이스 및 이동 컴퓨터 디바이스의 예를 도시한다.
다양한 도면에서 유사한 참조 부호는 동일한 요소를 나타낸다.
컴퓨터 생성 가상현실 환경은 사용자가 가상현실 공간에 몰두하고 있는 것을 잊게 할 수 있는 사용자 경험을 생성할 수 있다. 몰입형(immersive) 경험은 사용자가 인지된 가상현실 환경(예를 들어, VR 환경)과 다르게 상호 작용하는 것을 학습할 수 있도록 한다. 일반적으로, VR 환경은 사용자에게 가상 컨텐츠와 상호 작용하는 많은 메커니즘을 제공할 수 있다. 메커니즘은 전자 장치과 센서로 구성된 웨어러블 아이템과 같은, 특정 사용자 움직임을 감지하도록 구성된 물리적 디바이스들을 포함할 수 있다. 메커니즘은 또한 사용자의 눈 움직임과 시선 방향을 감지하기 위한 센서 또는 카메라를 포함할 수 있다.
가상 환경에서 사용자 인터렉션(interaction, 상호작용)은 만약 인터렉션이 물리적 환경에서 동일한 인터렉션들을 수행하는데 사용되는 모션과 유사하면 사용자에게 익숙할 수 있다. 그런데, VR 환경에서 일부 인터렉션은 사용자에게 익숙하지 않을 수 있으며, 사용자는 작업을 수행하기 위해 VR 환경에서 적응하는 법을 배울 수 있다. 예를 들어, VR 환경에서 책꽂이로부터 가상 아이템(예를 들어, 책)을 꺼내는 것은 물리적 세계의 책꽂이에서 물리적 책을 꺼낼 때 수반되는 동일 또는 유사한 모션을 포함할 수 있다. 즉, 사용자는 가상 세계와 물리적 세계에서 책꽂이로부터 책을 꺼내는 모션을 수행하기 위해 손과 팔을 움직일 수 있다. 사용자는 가상 세계의 책꽂이에서 책을 꺼내기 위한 움직임을 완료하기 위해 새로운 인터렉티브(interatcive) 모션을 배울 필요가 없다. 그러나, VR 환경이 책장에 책을 디스플레이하기 위하여 보행 속도를 트리거로 사용하는 시스템을 제공하면, 사용자는 빠르게 이해할 수는 없지만 책을 디스플레이하거나 디스플레이하지 않기 위해 모션을 사용하는 법을 배울 수 있다. 유사하게, VR 환경이 책 선택을 나타내기 위해 시선(eye gaze)을 사용하는 시스템을 제공하면, 움직임은 VR 환경이 손을 내미는 사용자에 의해 책에 대한 액세스가 트리거되도록 구성된 경우보다 더 빠르게 책을 선택할 수 있다. 이러한 동작은 신속하게 배울 수 있으며, 본 명세서에 설명된 시스템에 의해 사용자에게 특별한 용이성을 제공할 수 있다. 여기에 설명된 시스템은 사용자 인터렉션 타이밍, 오브젝트 배치, 타겟 배치 및 트리거 메커니즘을 분석하기 위해 구성될 수 있다. 이하에서 설명되는 다수의 실시예는 이러한 용이성을 사용자에게 제공하는 인터렉티브 가상현실(VR) 환경을 제공하기 위한 시스템 및 방법을 포함한다.
일반적으로, 이하에서 설명되는 시스템 및 방법은 인터렉티브 컨트롤(예를 들어, 타겟 액세스에 의해 트리거된)의 디스플레이를 트리거하기 위하여, VR 환경에서 이리 저리 움직이는(또는 두리번거리는) 사용자에 의해 수행된 신체 움직임 또는 눈 움직임에 관계된 가속 또는 감속 속도를 사용할 수 있다. 타겟은 가상 오브젝트의 선택 가능한 부분 또는 VR 환경 내의 공간의 일부일 수 있다. 선택은 충돌(예를 들어, 접촉 기반 입력) 또는 감지된 모션(예를 들어, 비접촉 기반 입력)을 포함할 수 있다. 예를 들어, 만약 타겟이 접촉 기반인 경우, 타겟은 접촉 기반 입력을 수신하도록 구성된다. 접촉 기반 타겟에서, 사용자는 가상 오브젝트와 연결 및 상호 작용하기 위하여 손 또는 다른 신체 부분을 사용하여 가상 오브젝트상의 타겟과 물리적으로(가상 환경을 통해) 충돌할 수 있다. 만약, 타겟이 비접촉 기반이면, 타겟은 비접촉 기반 입력을 수신하도록 구성된다. 즉, 사용자는 가상 오브젝트를 응시하고, 가상 오브젝트를 향하고, 가상 오브젝트 근처를 호버(hover)하고 및/또는 가상 오브젝트와 관계를 맺거나 상호 작용하기 위해 음성 명령 등을 사용하여 가상 오브젝트 상에 타겟을 호출할 수 있다. 일부 구현 예들에서, 가상 오브젝트는 접촉 기반 및 비접촉 기반 입력을 수신하도록 구성된다. 이러한 예들에서, 여기에 기술된 시스템들 및 방법은 사용자 입력에 응답하는 근거(basis)를 선택하도록 구성될 수 있다.
타겟(및 스파크)은 스파크(spark) 발생 모듈(118)에 의해 발생될 수 있다. 스파크 발생 모듈(118)은 VR 환경에서 가상 오브젝트 또는 다른 가상 컨텐츠에 스파크를 위치시키는 옵션 메뉴를 디렉터(director)(또는 가상 사용자)에게 제공할 수 있다. 일반적으로, 타겟 및 스파크는 사용자 입력에 응답하여 특정 가상 오브젝트 및/또는 가상 장면과 관련된 인터렉티브 기능을 전략적으로 호출하기 위해 배치될 수 있다. 예를 들어, 타켓 및/또는 스파크는 특정 가상 오브젝트 및/또는 가상 장면과 관련된 인터렉티브 기능을 호출할 수 있다. 일부 구현 예들에서, 가상 오브젝트와 연관된 인터렉티브 기능은 VR 환경에서 하나 이상의 가상 오브젝트에 대응하는 비접촉 선택 가능한 메뉴를 포함한다.
일부 구현 예들에서, 시스템 및 방법은 인터렉티브 기능을 나타내는 타겟의 디스플레이를 언제 또는 트리거할지를 결정하기 위해 시간 임계 또는 시간 지연을 변경시킬 수 있다. 사용자에 대한 인터렉티브 기능(functionality)의 디스플레이는 VR 환경에서 사용자 움직임 및/또는 시선 변화를 검출하는 것에 응답하여 조정되거나 그렇지 않으면 동적으로 변경될 수 있다.
VR 환경에서 오브젝트와 상호 작용하는 종래의 방법(예를 들어, 제어기, 입력 제어, 장갑, 팔 움직임, 손 제스처 등)이 사용될 수 있지만, 여기에 기술된 시스템 및 방법은, 사용자와 관련된 호버 동작 및/또는 시선 동작과 같은 움직임을 검출 및 반응하도록 구성될 수 있다. 게다가, 시스템 및 방법은 사용자가 영역 내외로 이동하는 속도를 검출하고 이에 따라 반응하도록 사용될 수 있다.
도 1은 3D 가상현실(VR) 환경을 생성하고 상호 작용하기 위한 예시적인 시스템(100)의 블록도이다. 일반적으로, 시스템(100)은 사용자가 여기에 설명된 방법, 컴포넌트 및 기술을 사용하여 액세스하고, 보고, 상호 작용하기 위한 3D VR 환경과 VR 컨텐츠를 제공할 수 있다. 특히, 시스템(100)은 VR 환경 내의 시선 및/또는 움직임을 사용하여 콘텐츠, 가상 오브젝트 및 VR 제어를 액세스하기 위한 옵션을 사용자에게 제공할 수 있다. 예를 들어, 사용자가 VR 환경에 제공된 타겟으로 호버할 때, 시스템(100)은 움직임을 검출하여, 즉각적인 또는 거의 즉각적인 액션(예를들어, 기능)을 트리거하기 위해 사용자가 통과할 수 있는 VR 환경 (예를 들어, 타겟) 내에 다수의 선택 가능 영역을 디스플레이할 수 있다. 타겟를 통과하는 것은 타겟과 충돌하는 것으로 참조될 수 있다. 충돌은 타겟과 관련된 액션을 트리거할 수 있다.
본 명세서에 사용된 바와 같이, 타겟은 입력을 수신하고 가상 환경에서 콘텐츠와 관련된 동작을 수행하는 것과 연관될 수 있다. 예를 들어, 타겟은 가상 방에서 전등 스위치 뱅크(bank) 근처에 배치될 수 있다. 사용자는 전등들을 턴온 또는 턴오프하기 위하여 전등 스위치 뱅크를 호버하거나 응시할 수 있다. 스위치 뱅크는 임의 수의 스위치로 구성될 수 있으며 각 스위치에는 하나의 스위치는 활성화할 수 있지만 은행의 다른 스위치는 활성화할 수 없는 보다 정밀한 타겟 메커니즘이 추가로 포함될 수 있다. 이러한 보다 정밀한 타겟 메커니즘은 스파크(spark)로서 참조될 수 있다. 스파크는 타겟으로 표시될 수 있지만, 일반적으로 VR 환경에 있는 다른 타겟보다 크기가 작다. 게다가, 스파크는 하나 이상의 연관된 동작을 활성화하기 전에 카운트다운 타이머 만료 또는 시선 인터렉션 체류(dwell) 시간 요구 사항을 포함할 수도 있고 포함하지 않을 수도 있다. 다른 타입의 스파크도 가능하며 스파크는 가상 환경 전체에서 임의의 크기 또는 모양으로도 구성될 수 있다. 스파크는 또한 예를 들어, 순차(sequenced) 스파크와 연관된 하나 이상의 액티비티 (activity)(또는 다른 스파크)를 시작하기 위하여 사용자에 의해 수행될 수 있는 일부 시퀀스에 연결될 수 있다. 타겟들(예를 들어, 스파크들)은 적어도 도 3A 내지도 4와 관련하여 보다 상세히 도시된다.
일부 구현 예들에서, 스파크는 소정의 위치에 제공될 수 있다. 일부 구현 예들에서, 스파크는 VR 환경에서 사용자가 특정 옵션을 선택하는 것에 기초하여 가변 위치 또는 랜덤 위치에 제공될 수 있다. 예를 들어, 일부 VR 환경에서, 스파크는 사용자가 환경에 진입한 곳과 다른 방향으로 배치될 수 있다. 일부 구현 예들에서, 스파크는 시스템이 사용자로부터의 특정 행동(behavior)을 검출하는 경우에 사용자의 주의를 끌도록 배치될 수 있다. 예를 들어, 사용자가 오랜 시간 동안 서 있는 경우, VR 애플리케이션(110)은 사용자가 당황하거나, 길을 잃어버리거나, 다음에 할 일을 확신하지 못한다고 있다고 결정할 수 있다. 이에 응답하여, VR 애플리케이션(110)은 하나 이상의 스파크를 제공(예를 들어, 디스플레이를 트리거링)하여, 사용자에게 방향 또는 다른 인터렉션들을 트리거하는 메뉴 또는 다른 영역을 안내할 수 있다. 스파크 및 타겟은 비접촉 기반 또는 접촉 기반 입력을 제공하는 사용자에 응답하여 트리거될 수 있다. 스파크 및 타겟의 트리거링은 스파크 검출 모듈(120)에 의해 검출될 수 있다. 스파크 검출 모듈(120)은 VR 환경에서 사용자 입력 및 인터렉션을 검출하기 위해 하나 이상의 센서(116)를 포함하고 그들과 통신할 수 있다.
일부 구현 예들에서, 시스템(100)은 하나 이상의 특정 액션을 수행하기 전에 액션 및/또는 트리거 카운트다운 시간을 지연시킬 수 있다. 일부 구현 예들에서, 시스템(100)은 액션을 수행할지를 결정할 때 또는 타겟(예를 들어, 스파크)을 디스플레이할지를 결정할 때 사용자와 관련된 가속 속도 또는 감속 속도를 고려할 수 있다. 예를 들어, 사용자가 VR 기능을 실행하기 위한 트리거를 포함하는 특정 영역을 통과하여 빠르게 이동하는 경우, 시스템(100)은 영역으로의 증가 속도(예를들어, 가속도)가 영역 전체의 타겟(예를들어,스파크)을 트리거할 의도가 아님을 결정할 수 있다. 따라서, 시스템(100)은 빠른 가속 속도에 기초하여 그 특정 영역에서 콘텐츠(또는 스파크)를 렌더링하지 않도록 자동으로 결정할 수 있다. 일부 구현 예들에서, 이러한 속도는 VR 환경과 사용자 간의 인터렉션을 트리거링하기 전에 사용자가 제1영역을 통과하여 다른 영역으로 이동하기를 원한다는 것을 나타낼 수 있다.
일부 구현 예들에서, 시스템(100)은 모바일 디바이스(102)와 같은 휴대용 전자 컴퓨팅 디바이스를 포함할 수 있다. 모바일 디바이스(102)는 HMD 디바이스(106)에 삽입되어 사용자에게 가상 컨텐츠를 디스플레이할 수 있다. 다른 예에서, 모바일 디바이스(102)는 컴퓨터화된 HMD 디바이스(미도시)와 조합하여 사용될 수 있다. 디바이스(102) 또는 HMD 디바이스(106)는 가상현실 환경에서 가상현실 경험을 생성할 수 있다.
시스템(100)은 임의의 수의 센서(116)(예를 들어, 추적 디바이스, 감지 디바이스, 근접 트리거 등)를 포함할 수 있다. 센서(116)는 디바이스(102)와 통신할 수 있다. 일부 구현 예들에서, 센서(116)는 사용자가 움직일 수 있는 물리적 공간 내에서 전자 컴퓨팅 디바이스를 액세스하는 사용자와 관련된 모션을 검출하도록 구성된다. 실제 공간 내에서의 사용자의 모션은 가상 환경의 정의된 좌표계에 따라 시스템(100)에 의해 가상현실 환경에서 사용자의 모션으로 변환된다. 시스템(100)은 사용자가 특정 시간주기 동안 행할 수 있는 각 모션과 관련된 속도를 결정하도록 구성된 임의의 수의 프로세서를 포함할 수 있다. 예를 들어, 시스템(100)은 가상현실 환경에 액세스하는 사용자와 관련된 임의의 모션을 감지(센서(116) 및/또는 장치(102)를 사용하여)할 수 있다.
일부 구현 예들에서, 모션은 가상 오브젝트쪽(예를 들어, 방향으로)으로 눈 움직임(또는 머리 움직임)과 연관된다. 일부 구현 예들에서, 액션은 눈 움직임 또는 시선이 가상 오브젝트로부터 멀리 향하는 사용자의 눈 움직임과 관련된다. 가상 오브젝트를 향하거나 가상 오브젝트로부터 멀어지는 움직임 속도는 약 50밀리 초 내지 약 100밀리 초 후에 인터렉티브 기능을 트리거하는데 사용될 수 있다. 일부 구현 예들에서, 모션은 사용자의 손 움직임과 연관된다. 예를 들어, 시스템(100)은 손 움직임이 가상 오브젝트를 향하거나 가상 오브젝트로부터 멀어지는지를 검출할 수 있다.
모션 뿐만 아니라, 시스템(100)은 모션을 수행하는 사용자의 일부로부터 적어도 하나의 가상 오브젝트까지의 거리를 검출할 수 있다. 거리는 가상 환경의 정의된 좌표계내에서 사용자의 일부와 적어도 하나의 가상 오브젝트 사이의 가상 거리를 계산함으로써 결정될 수 있다. 속도 및 거리는 사용자가 특정 가상 오브젝트에서 선회(turning)하고, 향하고, 응시하기 위한 사용자 도달(reaching)에 대한 정밀(fine) 또는 비정밀(coarse) 적용 모드(engagement mode)를 선택하는데 사용될 수 있다. 예를 들어, 일정 기간에 걸친 모션과 관련된 가속 속도를 결정하는 것에 응답하여, 시스템(100)은 가상 환경을 위한 제1 인터렉션 모드를 적용할 수 있다. 제1 인터렉션 모드는 가상 환경에서 가상 오브젝트상의 선택 가능한 부분을 디스플레이하기 위해 트리거하는 정밀 디스플레이 모드(fine pitched display mode)일 수 있다. 선택 가능한 부분은 속도 및 사용자 영역(예를 들어, 눈, 손, 발 등)으로부터 가상 오브젝트까지의 거리의 검출 이후에 제공될 수 있다. 이러한 모드는 가상 오브젝트상에서 복잡한 선택을 허용하도록 트리거될 수 있다.
일부 구현 예들에서, 제2 인터렉션 모드가 트리거 될 수 있다. 제2 인터렉션 모드는 사용자가 가상 오브젝트와 관련된 더 큰 부분 또는 메뉴 아이템을 선택할 수 있는 비 정밀 모드일 수 있다. 일반적으로, 제2 인터렉션 모드는 가상 환경에서 가상 오브젝트의 선택 또는 액션을 달성하기 위해, 낮은 정밀도가 사용될 수 있는 오브젝트상의 선택 가능한 부분을 디스플레이하는 것을 포함할 수 있다. 일부 구현 예들에서, 비 정밀 모드의 선택은 시선 및 사용자에 의한 부가적인 움직임(예를들어, 문 움직임, 손 움직임 등)을 감지하는 것에 응답하여 트리거될 수 있다. 시선은 미리 정의된 임계치의 카운트다운을 트리거할 수 있고, 시간 임계치내에서 부가적인 움직임이 검출되면 가상 오브젝트와 관련된 추가적인 선택가능 옵션 또는 부분이 사용자에게 디스플레이될 수 있다. 일부 구현 예들에서, 시스템(100)은 시간주기에 걸쳐 모션과 연관된 감속 속도를 결정하는 것에 응답하여 가상 환경을 위한 제2 인터렉션 모드를 적용할 수 있다.
선택된 모드와 관계없이, 시스템(100)은 가상현실 환경에서 적용 모드의 지시(indication)를 디스플레이할 수 있고, 모션 및 특정 가상 오브젝트와 연관된 인터렉티브 기능을 실행하기 위해 적용 모드의 사용을 허용할 수 있다. 일부 구현 예들에서, 가상 오브젝트와 관련된 인터렉티브 기능은 가상 오브젝트에 대응하는 비접촉 선택가능 메뉴를 구성한다. 메뉴는 가상 환경 내에서 사용자가 선택할 수 있는 몇개의 적합한 메뉴 아이템을 포함할 수 있다.
도 1에 도시된 바와 같이, 예시적인 시스템(100)은 네트워크(101)를 통해 데이터를 교환할 수 있는 복수의 컴퓨팅 디바이스를 포함한다. 디바이스는 클라이언트 또는 서버를 나타낼 수 있으며 네트워크(101) 또는 다른 네트워크를 통해 통신 할 수 있다. 클라이언트 디바이스는 모바일 디바이스, 전자 태블릿, 랩톱, 카메라, VR 안경 또는 VR 콘텐츠의 액세스에 사용될 수 있는 다른 전자 디바이스를 포함할 수 있다.
시스템(100)은 모바일 디바이스(102), 랩탑 컴퓨팅 디바이스(104), 헤드 마운트 디스플레이(HMD : head mounted display) 디바이스(106) 및 VR 컨텐츠 시스템(108)을 포함할 수 있다. 디바이스치(102, 104 및 106)들은 클라이언트 디바이스를 나타낼 수 있다. 모바일 디바이스(102), 랩탑(104) 및 HMD 디바이스(106)는 하나 이상의 프로세서와 하나 이상의 메모리 디바이스를 포함할 수 있다. 디바이스 (102-106)는 각각의 디바이스에 포함된 디스플레이 디바이스상의 VR 컨텐츠를 액세스, 제어 및/또는 디스플레이할 수 있는 클라이언트 운영 시스템과 하나 이상의 클라이언트 어플리케이션을 실행할 수 있다. VR 컨텐츠 시스템(108)은 서버 디바이스를 나타낼 수 있다. 일반적으로, VR 컨텐츠 시스템(108)은 가상현실 장면을 생성, 수정 또는 실행할 수 있는 컨텐츠 및/또는 가상현실 소프트웨어 모듈을 저장하는 임의의 수의 저장소들(repositories)을 포함할 수 있다.
HMD 디바이스(106)는 가상현실 헤드셋, 안경, 접안렌즈, 또는 가상현실 콘텐츠를 디스플레이할 수 있는 다른 웨어러블 디바이스를 나타낼 수 있다. 동작 중에, HMD 디바이스(106)는 수신 및/또는 처리된 이미지를 사용자에게 재생할 수 있는 VR 애플리케이션을 실행할 수 있다. 일부 구현 예들에서, VR 애플리케이션(110)은 도 1에 도시된 디바이스(102, 104, 106 또는 108) 중 하나 이상에 의해 호스팅될 수 있다.
일부 구현 예들에서, 모바일 디바이스(102)는 HMD 디바이스(106) 내에 위치 및/또는 배치될 수 있다. 모바일 디바이스(102)는 HMD 디바이스(106)를 위한 스크린으로서 사용될 수 있는 디스플레이 디바이스를 포함할 수 있다. 모바일 디바이스(102)는 VR 애플리케이션(110)을 실행하기 위한 하드웨어 및/또는 소프트웨어를 포함할 수 있다.
추가적인 디바이스들이 가능하며 이러한 장치들은 서로 대체되도록 구성될 수 있다. 일부 실시 예들에서, 디바이스(102, 104, 106 및 108)는 랩탑 또는 데스크탑 컴퓨터, 스마트폰, 개인 휴대 정보 단말기, 휴대용 미디어 플레이어, 태블릿 컴퓨터, 게임 다비이스, 또는 네트워트(101)를 사용하여 다른 컴퓨팅 디바이스 또는 컴퓨터 시스템과 통신할 수 있는 다른 적절한 컴퓨팅 디바이스일 수 있다.
예시적인 시스템(100)에서, VR 콘텐츠 시스템은 VR 애플리케이션(110)을 포함할 수 있다. VR 애플리케이션(110)은 임의의 또는 모든 디바이스(102, 104, 106 및 108)에서 실행하도록 구성될 수 있다. HMD 디바이스(106)는 예를 들어 VR 콘텐츠 시스템(108)의 VR 콘텐츠를 액세스하기 위해 디바이스(102) 또는 디바이스(104)에 접속될 수 있다. 디바이스(102 또는 104)는 디스플레이용 VR 콘텐츠를 제공할 수 있는 HMD 디바이스(106)에 접속(유선 또는 무선으로)될 수 있다.
HMD 디바이스가 디바이스(102) 또는 디바이스(104)에 무선으로 접속되는 경우, 접속은 본 명세서에서 설명된 하나 이상의 고속 무선 통신 프로토콜의 사용을 포함할 수 있다. HMD 디바이스(106)가 디바이스(102 또는 104)에 유선으로 접속되는 경우, 유선 접속은 디바이스(102) 또는 디바이스(104)에 플러그하기 위해 양단에 적절한 커넥터를 갖는 케이블을 포함할 수 있다. 예를 들어, 케이블은 양단에 범용 직렬 버스(USB) 커넥터를 포함할 수 있다. USB 커넥터들은 동일한 USB 타입 커넥터일 수 있거나 각각 상이한 타입의 USB 커넥터일 수 있다. 다양한 타입의 USB 커넥터는 USB A-타입 커넥터, USB B-타입 커넥터, 마이크로 USB A 커넥터, 마이크로 USB B 커넥터, 마이크로 USB AB 커넥터, USB 5핀 미니-b 커넥터, USB 4핀 미니-b 커넥터, USB 3.0 A-타입 커넥터, USB 3.0 B-타입 커넥터, USB 3.0 마이크로 B 커넥터 및 USB C-타입 커넥터를 포함할 수 있다. 유사하게, 유선 접속은 HMD 디바이스(106) 및 디바이스(102) 또는 디바이스(104)에 플러그하기 위해 양단에 적절한 커넥터를 갖는 케이블을 포함할 수 있다. 예를 들어, 케이블은 양단에 USB (Universal Serial Bus) 커넥터를 포함할 수 있다. USB 커넥터들은 동일한 USB 타입 커넥터 일 수 있거나 각각 상이한 타입의 USB 커넥터 일 수 있다.
일부 구현 예들에서, 하나 이상의 콘텐츠 서버(예를 들어, VR 콘텐츠 시스템(108))과 하나 이상의 컴퓨터 판독 가능 저장 디바이스는 네트워크(101)를 사용하여 컴퓨팅 디바이스(102, 104, 106)와 통신하여 VR 콘텐츠를 디바이스(102-106)로 제공할 수 있다. 일부 구현 예들에서, 네트워크(101)는 공중 통신 네트워크(예를 들어, 인터넷, 셀룰러 데이터 네트워크, 전화 네트워크를 통한 다이얼 업 모뎀) 또는 사설 통신 네트워크(예를 들어, 사설 LAN, 임대 회선)일 수 있다. 일부 구현 예들에서, 컴퓨팅 디바이스(102-108)는 하나 이상의 고속 유선 및/또는 무선 통신 프로토콜(예를 들어, 802.111 변형, WiFi, 블루투스, TC/IP(Transmission Control Protocol /Internet Protocol), 이더넷, IEEE 802.3 등)을 이용하여 네트워크(101)와 통신할 수 있다.
일부 구현 예들에서, 모바일 디바이스(102)는 VR 애플리케이션(110)을 실행하여 VR 환경을 위한 콘텐츠를 제공할 수 있다. 일부 구현 예들에서, 랩탑 컴퓨팅 디바이스는 VR 애플리케이션(110)을 실행하여 하나 이상의 콘텐츠 서버(예를 들어, VR 콘텐츠 시스템 108)로부터의 콘텐츠를 제공할 수 있다. 하나 이상의 콘텐츠 서버와 하나 이상의 컴퓨터 판독 가능 저장 디바이스는 네트워크(101)를 사용하여 모바일 디바이스(102) 및/또는 랩톱 컴퓨팅 디바이스(104)와 통신하여 HMD 디바이스(106)에 디스플레이하기 위한 콘텐츠를 제공할 수 있다.
VR 애플리케이션(110)은 시선 추적 모듈 (112)과 움직임 추적 모듈(114)을 포함한다. 시선 추적 모듈(112)은 사용자와 관련된 시선/눈 움직임을 검출하기 위해 하나 이상의 센서, 컴퓨팅 시스템, 카메라 및/또는 제어 장치와 인터페이스할 수 있다. 하나 이상의 센서, 컴퓨팅 시스템, 카메라 및/또는 제어 장치는 예를들어 HMD 디바이스(106)에 하우징될 수 있다. 시선 추적 모듈(112)은 사용자 시선(즉, 사용자가 어떤 방향을 보고 있는지 추적 또는 모니터링)의 방향을 추적 및 모니터링하도록 구성될 수 있다. 일반적으로, 시선 추적 모듈(112)에 의해 수행되는 시선 추적은 정의된 좌표 시스템에 대해 한 눈 또는 두 눈의 방위(orientation)와 위치를 추적하는 것을 포함할 수 있다.
시선 추적 모듈(112)은 사용자 눈의 이미지(예를 들어, 비디오 이미지)를 수신할 수 있다. 예를 들어, 모듈(112)은 HMD 디바이스(106)에서 탑재 카메라로부터 사용자의 눈 움직임 및 시선 방향을 나타내는 이미지를 수신하거나 획득할 수 있다. 시선 추적 모듈(112)은 이미지를 분석하여 사용자의 응시(gazing) 방향을 결정하기 위해 사용될 수 있는 시선 방향 정보를 생성할 수 있다. 시선 방향 정보는 예를 들어 HMD 디바이스(106)에 디스플레이되는 이미지의 장면에 상관될 수 있다. 예를들어, 시선 방향은 HMD 디바이스(106)를 액세스하는 사용자의 한쪽 또는 양쪽 눈을 보는 카메라를 사용하여 시선 추적 모듈(112)에 의해 확인될 수 있다. 유사하게, 머리 추적은 HMD 디바이스(106)와 통신적으로 연결 및/또는 연관된 센서들을 사용하여 수행될 수 있다. 특히 모듈(112)은 이미지를 이용하여, 장면을 볼 때 사용자가 무엇을 직접적으로 보고 있었는지를 결정할 수 있다.
시선 추적 모듈(112)은 시선 주의의 시퀀스(sequence of gaze attention) 및/또는 체류(dwell) 위치 및 시간을 식별하기 위하여 시선 방향 정보를 이용할 수 있다. 시선 추적 모듈(112)은 시선 주의 및/또는 체류 위치 및 시간에 기초하여, 가상 환경 내에 배치된 일부 기정의된 타겟의 실행을 트리거할지 여부를 결정할 수 있다. 예를 들어, 모듈(112)이 사용자가 특정 가상 오브젝트를 응시하고 있다고 결정하면 가상 오브젝트 상에 타겟을 디스플레이하여, 수정, 선택, 이동 또는 가상 오브젝트와 상호 작용하기 위한 추가 옵션을 사용자에게 지시할 수다.
시선 추적 모듈(112)은 HMD 디바이스(106)에 위치한 센서 또는 카메라로부터의 정보를 활용할 수 있고, 타겟(예를 들어, 스파크)상의 주의 체류 시간을 포함하는 사용자의 시선 주의과 가상환경에 도시된 엘리먼트에 대한 시간 경과에 따른 시선 주의 시쿼스를 맵핑할 수 있다. 주의 및 시선의 패턴은 특정 타겟(예를 들어, 스파크) 및/또는 액션을 트리거하기 위한 신호로서 사용될 수 있다.
선택을 위해 사용자에게 스파크를 제공할 때 VR 애플리케이션은 사용자의 주의를 끌기 위하여 스파크 컨트롤을 하이라이팅하는 시각적 또는 사운드 기반 지시를 제공할 수 있다. 동일하게, 시각적 또는 사운드 기반의 지시는 사용자가 스파크를 활성화할 때 제공될 수 있다. 시각적 지시들은 글로우(glow), 플래싱 (flashing), 아웃라이닝(outlining), 하이라이팅, 텍스처라이징(texturizing), 레이징(reising), 로어링(lowering), 색상 변경, 일부는 흐리게 하고 다른 부분은 밝게 하기, 일부는 밝게 하고 다른 부분은 흐리게 하기 및 그들의 임의의 조합을 포함할 수 있다. 오디오 지시는 임의의 사용 가능한 시스템 사운드가 포함될 수 있으며, 사용자가 스파크로 정의된 경계에 진입하거나 벗어날 때 스파크 디스플레이 시, 스파크 선택 시, 사용자가 요청한 모든 스파크의 제거 시 또는 사용자가 요청한 특정 환경에서 사용 가능한 모든 스파크 디스플레이 시에 발생할 수 있다.
VR 환경에서 사용자의 움직임과 시선을 정확하게 추적하는 것은, 시선을 입력 트리거로 사용하는 경우 타겟 및/또는 스파크로 사용자 인터페이스 콘텐츠를 구현할 때 중요할 수 있다. 정밀(precise) 추적은 카메라를 사용하여 눈 움직임을 촬영하여 수행할 수 있다. 이와 같이, 시스템(108)은 사용자가 VR 환경에서 오브젝트를 선택할 때와 같이 사용자의 의도를 정확하게 인지하도록 보장하기 위하여, 커서로서의 스파크, 예컨대 점(dot), 픽셀 세트, 이미지, 컨트롤 또는 가상 오브젝트(또는 렌더링)의 일부분(예를 들어, 중앙)에 있는 다른 마커(marker)를 디스플레이할 수 있다. 이 때문에, 시스템(108)은 다양한 크기의 타겟(예를 들어, 스파크)을 제공할 수 있다.
일반적으로, 스파크의 크기는 시스템이 스파크와 연관하는 활성 시간 (activation time)을 나타낼 수 있다. 이것은 스파크가 작아질수록, VR 환경의 사용자가 스파크에서 액션을 활성화하려고 하는 작은 영역을 호버링하지 않고 스파크를 식별하고 트리거할 가능성이 더 적어지기 때문이다. 이와같이, 스파크는 가상 환경에서 수십 픽셀에서 인치까지의 공간의 범위일 수 있다. 스파크는 임의 크기 또는 모양일 수 있으며, 몇 가지 예를 들면 픽셀, 점, 이미지, 컨트롤, 상자, 볼과 같이 그래픽적으로 지시될 수 있다. 일부 구현 예들에서, 스파크는 바깥쪽으로 희미해지는(fade) 형광 중심(bright center)을 갖는 발광(glowing light)일 수 있다.
비 한정적인 예에서, 사용자가 타겟(예를 들어, 스파크) 근처를 호버할 때, 시선 추적 모듈(112) 또는 움직임 추적 모듈(114)은 호버(사용자에 의해 유발된 시선 또는 가상 움직임에 의한)를 검출할 수 있고, 호버 감지에 응답하여, VR 콘텐츠 시스템(108)은 즉각적 액션을 위한 더 정밀한 타겟 메카니즘(예를들어, 스파크)을 디스플레이 할 수 있다. 더 정밀한 타겟 메커니즘은, 예를 들어, 오브젝트의 작은 부분을 선택하는 정밀 정확 모드(fine-pitched accurate mode)일 수 있다. 즉각적 액션은 예를들어 카운트다운 트리거를 기다리는 대신에 스파크와 관련된 액션을 수행하는 것일 수 있다. 일부 구현 예들에서, 스파크는 마킹 메뉴 또는 가상 컨트롤과 같은 다수의 타겟을 트리거할 수 있다. 일부 구현 예들에서, 시스템(108)은 영역으로의 사용자의 가속 또는 감속을 고려할 수 있다. 예를 들어, 사용자가 스파크로 움직일 때 보행 속도를 가속시고 스파크 근처를 호버하거나 정지하지 않으면, 시스템(108)은 스파크를 트리거하지 않을 수 있다. 반면에, 사용자가 동일 영역으로 감속하면, 시스템(108)은 센서(들)에 의해 결정된 사용자와 관련된 속도 변화에 기초하여 스파크(및 스파크와 관련된 임의의 액션)를 트리거 할 수 있다.
일반적으로, 움직임 추적 모듈(114)은 스파크 근처를 움직이는 사용자의 속도 및 정확도를 검출할 수 있다. 속도와 정확도는 다수의 센서, 카메라들 및 디바이스들을 사용하여 감지할 수 있다. 예를 들어, 사용자가 가상 환경에서 스파크를 신속하게 통과하면, VR 컨텐츠 시스템(108)(예를들어, VR 애플리케이션(110))은 사용자가 움직임의 임계 레벨, 체류 시간의 임계치 또는 경과(elapsed) 시선 시간 임계치를 만족하는지 결정한다. 체류 시간 또는 시선 시간의 임계 레벨은 스파크와 연관된 액션을 트리거하기 전 50밀리 초 내지 100밀리 초를 포함할 수 있다. 일부 구현 예들에서, 임계치는 타겟의 크기(예를 들어, 스파크)에 기초할 수 있다. 예를 들어, 작은(예를들어, 비교적 작은 표면적 또는 부피) 스파크는 짧은(50밀리 초 카운트다운 타이머/임계치) 반면 큰(예를들어, 비교적 큰 표면적 또는 부피) 타겟(예를들어, 스파크)는 더 긴 카운트다운 타이머(예를들어, 2000밀리 초 카운트 다운 타이머/임계 값)를 갖을 수 있다. 작은 스파크는 수십 픽셀일 수 있지만 큰 타겟은 가상 환경에 표시되는 컴퓨터 아이콘의 표준 크기일 수 있다.
전술한 전등의 예로 돌아가면, 전등 스위치 뱅크는 여러개의 스위치를 포함할 수 있으며, 사용자는 단지 하나의 스위치만을 활성화하고자 할 수 있다. 따라서, 스파크는 각각의 전등 스위치 상에 배치될 수 있고, 사용자의 움직임 또는 시선 상호 작용에 기초하여 사용자에 의해 선택(또는 활성화)될 수 있는 위치에 배치된 작은 엘리먼트로서 표현될 수 있다. 사용자는 호버링 및/또는 응시(viewing) 액티비티를 사용하여 선택을 수행할 수 있다. 시선 추적 모듈(112) 및/또는 이동 추적 모듈(114)은 트리거된 스파크에 의해 표시된 액티비티의 성능(performance)을 트리거하기 위하여 사용자의 시선 및/또는 움직임을 각각 검출할 수 있다. 스파크는 호버되거나, 응시되거나, 머무르거나 또는 트리거될 수 있으며, VR 컨텐츠 시스템(108)은 가상 환경과 관련된 특정 액티비티를 수행하여 이러한 액션에 응답할 수 있다. 이 예에서, VR 콘텐츠 시스템(108)은 사용자가 제1스위치 근처에 시선 또는 손을 호버하면 제1스위치와 연관된 전등을 활성화시킬 수 있다.
일부 구현 예들에서, HMD 디바이스(106)는 온보드(onboard) 시선 추적 모듈과, 네트워크(networked) 서버 기반의 시선 추적 모듈(112)을 액세스하는 대신에 시선 추적과 연관된 임의의 관련 하드웨어 및 소프트웨어를 포함한다. 이러한 추적 정보는 VR 컨텐츠와 공유될 수 있다. 게다가, 스파크 발생 모듈(118), 스파크 검출 모듈(120) 및 이동 추적 모듈(114)은 또한 HMD 디바이스(106)에서 작동하는 소프트웨어의 일부로서 실행될 수 있다.
비 제한적인 예에서, 사용자(미도시)는 HMD 디바이스(106)에 연결된 모바일 디바이스(102)를 사용하여 3D 환경에서 VR 콘텐츠에 액세스할 수 있다. VR 환경에서, 사용자는 주위를 돌아다닐 수 있고 주위를 볼 수 있다. 시스템(100)은 사용자 시선(시선 추적 모듈(112)를 사용하여)을 추적할 수 있고, 사용자 움직임(움직임 추적 모듈(114)를 추적할 수 있다. 사용자 움직임은 사용자가 VR 환경내에서 그 또는 그의 신체(또는 신체 일부를 나타내는 디바이스)를 어떻게 움직이는지를 지시할 수 있다. 사용자의 시선은 VR 환경에서 사용자가 무엇을 응시하고 있는지를 지시할 수 있다.
도 2는 모바일 디바이스(102)로 VR 콘텐츠를 액세스하는 HMD 디바이스(106)(또는 VR 디바이스)를 도시하는 다이어그램이다. 도 2에 도시된 예에서, 사용자(202)는 컴퓨팅 디바이스(102)가 포함된 디스플레이 디바이스상에서 영화를 볼 수 있다. 이를 위해, 사용자는 사용자(202)의 눈에 디바이스(106)를 위치시켜 HMD 디바이스(106)를 착용할 수 있다. 일부 실시 예들에서, 도 1을 참조하면, HMD 디바이스(106)는 예를 들어 하나 이상의 고속 유선 및/또는 무선 통신 프로토콜(예를 들어, WiFi, 블루투스, 블루투스 LE, USB 등)을 사용하여 모바일 디바이스(102)의 디스플레이와 인터페이스/연결될 수 있다. 연결은 장치(106)에 포함된 스크린상의 사용자에게 디스플레이하기 위해 HMD 디바이스(106)로 콘텐츠를 제공할 수 있다.
하나 이상의 센서는 모바일 디바이스(102)에 포함될 수 있고, VR 환경으로 입력을 제공하기 위해 디바이스(102) 및 HMD 디바이스(106)를 액세스하는 사용자에 의해 트리거될 수 있다. 센서들은 터치 스크린, 가속도계, 자이로스코프, 압력 센서, 생체 센서, 온도 센서, 습도 센서 및 주변 광 센서를 포함할 수 있지만, 이에 한정되는 것은 아니다. 모바일 디바이스(102)는 VR 환경으로의 입력으로 사용될 수 있는 VR 환경에서 장치(102)의 절대 위치 및/또는 검출된 회전을 결정하기 위해 센서를 사용할 수 있다. 센서들은 모바일 디바이스(102) 상에 포함되거나 분리될 수 있으며, 예를 들어, 사용자의 가속 또는 감속 또는 사용자의 증가 또는 감소된 속도 또는 사용자에 의해 수행된 다른 관련 모션을 결정할 수 있다. 예를 들어, 모바일 디바이스(102)는 모바일 폰, 레이저 포인터, 컨트롤러, 원격 장치로서 VR 환경에 통합될 수 있다. VR 환경에 통합될 때 사용자에 의한 모바일 디바이스(102)의 포지셔닝(positioning)은 사용자가 VR 환경에서 모바일 폰, 레이저 포인터, 컨트롤러, 원격장치 등을 배치시킬 수 있게 한다.
일부 구현 예들에서, 모바일 디바이스(102)에 포함된 하나 이상의 입력 디바이스는 VR 환경으로의 입력으로 사용될 수 있다. 입력 디바이스는 터치 스크린, 키보드, 하나 이상의 버튼, 트랙 패드, 터치 패드, 포인팅 디바이스, 마우스, 트랙볼, 조이스틱, 카메라 및 마이크로폰을 포함할 수 있지만, 이에 한정되는 것은 아니다. 디바이스(102)가 VR 환경에 통합될 때 모바일 디바이스(102)에 포함된 입력 디바이스와 상호 작용하는 사용자는 VR 환경에서 특정 액션이 발생되도록 할 수 있다. 예를 들어, 모바일 디바이스(102)는 영화 컨트롤(206, 208)를 갖는 모바일 폰으로서 VR 환경에 통합될 수 있다. 모바일 디바이스(102)상의 특정 버튼을 누르는 사용자는 HMD 디바이스(102)에 렌러링되는 영화를 재생, 일시 정지, 빨리 감기 또는 되감기할 수 있다. 동일하게, 모바일 디바이스(102)상의 버튼 또는 스파크는 VR 환경에 통합되어 영화의 오디오 볼륨을 제어할 수 있다. 이 예에서, 사용자(202)는 HMD 디바이스(106)에 디스플레이되는 영화에 대한 액션을 수행하기 위해 QR 코드 (204), 재생 컨트롤(206) 및/또는 빨리 감기 또는 되감기 컨트롤(208)을 선택할 수 있다. 대안으로, 사용자는 디바이스(102)를 사용하여 영화 컨텐츠를 제어하지 않을 수 있지만, 그 대신에 모바일 디바이스 컨트롤(204, 206 및 208)로 표현되는 동일한 액션을 수행하기 위해 HMD(106)에 디스플레이된 랜더링된 가상 스크린 또는 근처에 있는 컨트롤들을 시각적으로 응시할 수 있다. 예를 들어, HMD 디바이스에 있는 사용자를 위해 랜더링되는 영화를 빨리 감기 위하여, 사용자는 눈 시선, 머리 시선 등을 이용하여 빨리 감기 아이콘(208)을 선택하기 위해 모바일 디바이스(102)의 화면을 볼 것처럼 모바일 디바이스(102)를 들어올릴 수 있다. 이러한 방식으로, 시스템(100)은 손 추적, 머리 추적, 시선 추적을 사용하여, 제공된 타겟(예를들어, 스파크)과 상호작용할 뿐만 아니라 VR 환경에 렌더링된 컨트롤들과 상호작용할 수 있게 한다.
일부 구현 예들에서, 모바일 디바이스(102)의 터치 스크린은 VR 환경에서 터치 패드로서 렌더링될 수 있다. 사용자는 모바일 디바이스(102)의 터치 스크린과 상호 작용할 수 있다. 상호 작용은 VR 환경에서 렌더링된 터치 패드상의 움직임으로서 렌더링될 수 있다. 렌더링된 움직임은 VR 환경에서 오브젝트들을 제어할 수 있다.
일부 구현 예들에서, 모바일 디바이스(102)에 포함된 하나 이상의 출력 장치는 VR 환경에서 디바이스(102)의 사용자에게 출력 및/또는 피드백을 제공할 수 있다. 출력 및 피드백은 시각, 촉각 또는 오디오일 수 있다. 출력 및/또는 피드백은 진동, 하나 이상의 조명 또는 스트로브(strobes)를 켜고 끄기 또는 점멸 (blinking) 및/또는 반짝임(flashing), 알람 울리기, 차임(chime) 연주, 노래 연주 및 오디오 파일 재생 등을 포함할 수 있는데 이에 한정되는 것은 아니다. 출력 디바이스는 진동 모터, 진동 코일, 압전 디바이스, 정전기 디바이스, 발광 다이오드 (LED), 스트로브 및 스피커를 포함할 수 있지만 이에 한정되는 않는다.
일부 구현 예들에서, 모바일 디바이스(102)는 컴퓨터 생성 3D 환경에서 다른 오브젝트로서 나타날 수 있다. 위의 예들에서 설명된 바와 같이, 모바일 디바이스(102)는 VR 환경에서 레이저 포인터로서 나타날 수 있다. 사용자에 의한 모바일 디바이스(102)와의 상호 작용(예를 들어, 회전, 흔들기, 터치 스크린 터치, 터치 스크린을 가로 지르는 손가락 스와이핑)은 VR 환경에서 오브젝트와의 상호 작용으로서 해석될 수 있다. VR 환경에서 레이저 포인터의 예에서, 모바일 디바이스(102)는 컴퓨터 생성 3D 환경에서 가상 레이저 포인터로서 나타난다. 사용자가 모바일 디바이스를 조작할 때, VR 환경에 있는 사용자는 레이저 포인터의 움직임을 보고 VR 환경에서 타겟 및/또는 오브젝트를 선택할 수 있다.
도 3A 및 도 3B는 VR 사용자 인터페이스의 예를 나타내는 예시도이다. 이 예에서, 커서 인터페이스(302A-302B)는 사용자의 시선 및 방향에 의존하는 상이한 경험을 사용자에게 제공하도록 구성될 수 있다. 예를 들어 특정 스파크들이 가상 환경 내에 배치될 수 있으며, 사용자는 가상 환경 도처에 배치된 컨트롤인 것처럼 이들 스파크를 볼 수 있다. 스파크는 가상 환경에서 콘텐츠 보기를 방해할 수 있어 그에 따라 콘텐츠의 존재감을 감소시키고 VR 경험을 저하시킬 수 있기 때문에, VR 애플리케이션(110)(예를 들어, 스파크 검출 모듈(120))은 특정 스파크의 디스플레이 상태 변경(불투명에서 반투명으로 또는 그 반대로)을 디스플레이(예를들어, 노출)할 시기 또는 디스플레이 여부를 결정할 수 있다. 스파크 발생 모듈(118)은 사용자의 눈 시선의 초점 방향에 기초하여 스파크를 배치하기 위한 위치를 결정할 수 있다. 스파크의 디스플레이 또는 제거는 사용자 시야(field of view), 가상 오브젝트로의 사용자 근접 (proximity)에 기초할 수 있거나 또는 스파크 또는 스파크 근처에서 수신된 입력들에 기초할 수 있다. 이러한 방식으로, VR 애플리케이션(110) (스파크 발생 모듈(118) 및 스파크 검출 모듈120)을 통해)은 그러한 인터페이스를 디스플레이해도 사용자의 VR 경험을 저하시키지 않는 시간에 사용자에게 계속 (progressive), 시간에 맞추어(just-in-time) 가상현실 커서 인터페이스(예 : 스파크)를 사용자에게 제공할 수 있다.
도 3A에 도시된 바와 같이, 사용자는 VR 환경에서 추상적인 그림(painting) (304)을 볼 수 있다. 커서 인터페이스(302A)는 어떠한 스파크도 사용자에게 제공되지 않고 도시된다. 이것은 사용자가 그림(304)을 보고 있기 때문에, VR 애플리케이션(110)이 작품을 응시하는 포인트(point of looking)이 시각적으로 작품을 즐기기 위한 것일 때 스파크 또는 다른 컨트롤들을 제공하여 방해하는 것을 원하지 않기 때문일 수 있다.
이 응시 포인트는 시선 주의 및/또는 사용자의 지속 위치 및 시간에 따라서 시선 추적 모듈(112)에 의해 결정될 수 있다. 따라서, VR 애플리케이션(110)은 스파크 또는 다른 컨트롤을 억제하여, 그러한 컨트롤이 그림(304)보다 사용자의 주의를 끄는 것을 방지할 수 있다.
도 3B에 도시된 바와 같이, 사용자는 그림으로부터 멀어지기 시작하였고, 이 과정에서 사용자는 사용자 인터페이스 엘리먼트(예를 들어, 스파크, 버튼, 슬라이더(slider), 리스트, 인터렉티브 엘리먼트 등)와 상호 작용할 의사가 있는 VR 애플리케이션(110) 기타.)을 보여 줄 수 있다. 이 사용자 의도는, 예를 들어, 응시 포인트가 작품을 시각적으로 즐기는 것이었을 때 감지된 사용자와 관련된 모션 또는 움직임 또는 다른 시선 주의 및/또는 사용자의 지속 위치 및 시간을 결정하는 시선 추적 모듈(112) 또는 움직임 추적 모듈(114)과 관련하여 VR 애플리케이션(110)에 의해 검출된다. 사전 정의된(예를들어, 시스템(100)이 정의) 시간주기(예를들어, 엘리먼트를 제공하기 위해 밀리초 내지 초)가 경과 하면, VR 애플리케이션(110)은 스파크(306) 또는 스파크(308)를 디스플레이하여 사용자가 보고 있는 것이 인터렉티브라는 것을 사용자에게 확인시켜 줄 수 있다. 이러한 엘리먼트의 디스플레이는 긍정적인 VR 경험을 제공하는 가상 오브젝트의 정확한 타겟팅(targeting)과 선택을 사용자에게 제공하는 기능을 할 수 있다. 사용자가 이러한 인터렉티브 엘리먼트의 경계선들 밖을 볼 때, 엘리먼트는 다시 보이지 않게(또는 투명하게) 될 수 있다. 예를 들어, 만약 사용자가 경계선(310) 위를 응시하면 사용자가 스파크(306 및 308)의 위치를 둘러싼 VR 환경 내의 콘텐츠에 관심이 없는 것으로 결정되기 때문에 스파크(306)와 스파크(308)는 시야에서 사라질 수 있다. 일부 구현 예들예서, 커서 인터페이스(302A-B)는 사용자가 인터렉티브 엘리먼트의 경계선을 넘을 때 및/또는 눈 시선 선택 또는 가속, 감속 선택을 트리거링할 때 소프트 범프(soft bump) 사운드와 같은 사운드들에 의해 강화될 수 있다. 일부 구현들에서, VR 애플리케이션(110)은 사용자가 VR 환경과 상호 작용하는 동안 사용자와 관련된 눈 시선 및/또는 움직임에 기초하여 애플리케이션(110)에 의해 디스플레이된 스파크(306, 308)의 거동(behavior)을 수정할 수 있다.
도 4는 사용자가 VR HMD 디바이스의 스크린에서 볼 수 있는 VR 환경의 이미지(400)를 도시하는 도면이다. 이 예에서, 사용자(예를들어, 사용자(202))는 도 2에 도시된 바와 같이 HMD 디바이스(106)를 통해 콘텐츠를 볼 수 있다. 사용자(202)는 가상적으로 렌더링된 사용자(402)에 의해 도시된 바와같이 VR 환경에서 렌더링될 수 있다. 예를 들어, 이미지(400)는 사용자(202)를 VR 환경으로 투영/렌더링하여 사용자를 사용자(402)로서 도시한다. 다른 렌더링도 가능하다. 예를 들어, 전체 사용자보다 VR 환경에서 상호 작용하는 손과 같은 사용자(402)의 일부가 렌더링될 수 있다. 이미지(400)는 모서리 응시 위치로부터 모의된 신체 상부의 렌더링을 포함한다. 여기서, 사용자(402)는 사용자(402)가 HMD 디바이스(106)의 전방에서 실제로 포인팅할 때 사용자의 팔 위치를 나타낼 수 있는 VR 환경으로의 포인팅하는 것이 도시되어 있다.
일부 구현 예들에서, VR 환경은 사용자의 임의의 부분을 묘사 또는 디스플레이하지 않을 수 있다. 대신에, 시스템(100)은 인터렉티브 엘리먼트에 근접하는 사용자의 손 또는 다른 부분을 묘사하지 않고 사용자에게 인터렉티브 엘리먼트를 보여줄 수 있다. 이것은 사용자에게 그녀의 액션들이 스파크 및/또는 타겟를 트리거한다는 것을 지시할 수 있지만, 이들 액션은 액세스를 시도하는 현재 사용자가 사용하지 못할 수도 있다.
일부 구현 예들에서, HMD 디바이스(106)는 컴퓨팅 디바이스(예를 들어, 모바일 디바이스(102)), 컨트롤러, 또는 VR 환경에 렌더링된 다른 디바이스의 3D 움직임을 인식, 모니터링 및/또는 추적할 수 있는 하드웨어 및 소프트웨어를 포함할 수 있다. 예를 들어, 만약 모바일 디바이스(102)가 HMD 디바이스(106)에 대한 위치 범위 내에서 전방에 위치하거나 유지되는 경우, 모바일 디바이스는 환경에서 렌더링 될 수 있으며, VR 애플리케이션(110)이 실제 장치(102)의 검출 위치 및 방위의 VR 환경에서 실시간으로 디바이스(102)를 렌러링할 수 있도록 실시간 위치 및 방위 데이터를 VR 애플리케이션(110)으로 제공하는 기능을 수행할 수 있다.
도 4에 도시된 예에서, 사용자(402)는 모의된 거실로 걸어갈 수 있고, 거실을 걷는 사용자로서 VR 환경에서 상호 작용할 수 있다. 여기에 도시된 VR 환경은 미술 작품(artwork)(404, 406 및 408), 그림 프레임(410), 음악 재생기(412) (예를들어, 축음기) 및 전등(414)을 포함한다. VR 환경은 또한 사용자가 스파크 (416-432)에 접근할 때 트리거될 수 있는 다수의 타겟(예를 들어, 스파크)을 포함한다. 일부 구현 예들에서, VR 애플리케이션(예를 들어, 스파크 검출 모듈(120)을 사용하여)은 사용자(402)에 의해 호출된 대응하는 시선 경로(434-450) 중 하나를 검출할 수 있다.
비 제한적인 예에서, HMD 디바이스(106)를 착용한 사용자는 시선 추적 및 머리 위치를 사용하여 VR 환경에서 오브젝트를 선택할 수 있다. 사용자(402)(실제 사용자(202)의 액션에 의해 모의된)가 아이템(404 내지 414)의 콜렉션(collection)을 볼 때, 사용자의 시선은 경로(예를 들어, 434-450)를 따라 엘리먼트로부터 엘리먼트로 시프트한다. 도시된 예에서, 사용자(402)와 관련된 시선은 경로(434-450)를 따라 시프트될 수 있다. 경로는 사용자(402)가 검출된 시간 동안 자신의 시선을 집중시키는 VR 환경 내의 위치를 나타낸다. 예를 들어, 전등(414)은 사용자가 예시적인 가상 거실에 입장할 때 꺼져있을 수 있다. 소정의 시간(예를 들어, 3초)동안 전등 및 특히 스파크(416)(전등(414) 또는 근방에 있는)를 응시하면, 스파크(416)로의 시선은 VR 애플리케이션(110)을 트리거하여 전등(414)을 켜게 할 수 있다. 이와 같이, 전등으로의 커서리 글랜스(cursory glance)는 전등(414)에 대한 온 또는 오프 상태를 트리거하지 않을 수 있다. 일부 구현 예들에서, 스파크는 카운트 다운 타이머 없이 구성될 수 있으며, 3초 시간 지연 시 검출된 시선에 의해 지연되기보다는 커서리 글랜스로 트리거될 수 있다. 오브젝트의 기능을 호출하기 위해 시선을 사용하는 호버식(hover-like) 트리거를 제공하는 것은 근접성(proximity)에 기초하여 기능을 즉시 트리거링하는 것이 아니라, 사용자가 호버링에 의해 의도적으로 가상 컨텐츠 및 오브젝트와 상호 작용할 수 있도록 하는 이점을 제공할 수 있다. 호버식 트리거는 오브젝트로부터 기능을 호출하기 위하여, 사용자가 특정 시간 동안 가상 오브젝트를 집중하여 응시하거나 가상 오브젝트 쪽으로 움직이는 것을 사용자가 배우도록 할 수 있다.
유사하게, 사용자(402)는 전등(414)를 향해 걷거나 손을 흔들 수 있으며, VR 애플리케이션(110)은 전등(414)의 턴온 또는 턴 오프(전등(414)의 현재 상태에 기초하여)를 트리거하기 위하여 스파크(416)에 적용되는 도보 속도 또는 제스처 속도를 결정하도록 구성될 수 있다. 예를 들어, 애플리케이션(110)은 모바일 디바이스(102)에 가속도계 및/또는 GPS 디바이스를 적용할 수 있다. 만약 VR 애플리케이션(110)이 이러한 속도를 검출하면, 전등(414)은 켜질 수 있다. 일부 실시 예들에서, 스파크(416)는 전등(414)을 적용하기 위한 선택 가능한 컨트롤로서 사용자에게 보여질 수 있다. 일부 구현 예들에서, 스파크(416)는 스파크(416)의 선택이 스파크 (416) 근처의 무언가를 제어할 수 있음을 나타내기 위하여 반짝(sjimmer)이거나 빛 (glow)날 수 있다. 일부 구현 예들에서, 스파크(416)는 사용자(402)가 스파크(416)의 특정(또는 임계치) 범위 내에 있을 때까지 나타나지 않을 수 있다. 일부 구현 예들에서, 스파크(416)는 사용자가 전등(414)의 특정 범위 내에 도달할 때까지 나타나지 않을 수 있다. 일부 구현 예들에서, 스파크(416)는 사용자가 스파크(416)를 걸어 통과할 때 트리거될 수 있다.
다른 비 제한적 예에서, 사용자(402)는 추상적 미술 작품(404)를 향해 걷기 시작할 수 있다. 이 예에서, 미술 작품(404)에 접근할 때 미술 작품(404)를 응시하는 포인트는 컨트롤을 통해 미술 작품와 상호 작용하기 위한 것보다는 아트 워크(404)에 있는 선과 컨텐츠를 즐기기 위한 것이기 때문에 스파크(418)는 사용자에게 보여지지 않을 수 있다. 만약 사용자의 접근 또는 시선을 감지할 때 스파크(418)가 사용자에게 표시되어야 했다면 미술 작품(418)에 대한 사용자의 감상을 떨어뜨릴 수 있다. 그러나, 시스템 (100)에 의해 수행된 시선 감지는 스파크 컨트롤(418)를 디스플레이하기 전에 긴 트리거 시간으로 설정될 수 있다. 예를 들어, VR 애플리케이션(110)은 사용자가 미술 작품(404)의 임계 근접내에 있는 5분 또는 미술 작품(404)의 정의된 영역내에서의 3분의 시선 시간과 같이, 임계 시간량이 충족된 후에 컨트롤로서 제공되도록 스파크(418)를 구성할 수 있다. 임계치에서, VR 애플리케이션(110)은 스파크(418)를 제공할 수 있고, 스파크(예를 들어, 50밀리 초)에서 사용자(402)에 의한 짧은 시선이 검출될 수 있으며, 스파크(418)와 관련된 컨트롤이 디스플레이될 수 있다. 예를 들어, 디스플레이될 컨트롤은 미술 작품 (404)의 화가, 미술 작품(404)의 희소성(rareness) 또는 미술 작품(404) 사본의 구매 가격과 같은 선택 가능한 특징들의 메뉴를 포함할 수 있다.
일부 구현 예들에서, 스파크(418)는 특정 제스처에 의해 트리거될 수 있다. 예를 들어, 스파크(418)는 사용자(402)가 미술 작품을 만지기 위해 움직이지 않는 한 용자(402)에게 보이지 않을 수 있다. 미술 작품(40)에 근접하면 스파크 (418)는 사용자가 미술 작품(404)에 도달하기 전에 디스플레이되도록 트리거될 수 있다. 스파크(418)는 사용자가 미술 작품(404)에 도달하거나 미술 작품(404)을 향해 이동할 때, 팔 또는 다른 신체 부분의 빠른 움직임에 의해 트리거될 수 있다.
스파크(418)와 유사한 방식으로, 스파크(422)는 특정 임계치가 충족될 때까지 사용자에게 보여지지 않을 수 있다. 예를 들어, 사용자(402)가 미술 작품(406)의 공간으로 신속하게 이동하거나 사용자의 시선이 미술 작품(406) 근처로 이동하면, 스파크(422)가 트리거되고 사용자는 스파크(422)를 응시하거나 스파크의 트리거링에 의해 제공된 메뉴 아이템을 응시할 수 있다. 이 예에서, 스파크(422)는 예를 들어 미술 작품(406)을 더 잘 보기 위해 전등(452)을 켜기 위한 컨트롤을 트리거 할 수 있다. 사용자(402)는 전등(452)이 켜지도록 컨트롤을 선택(시선 또는 체류 시간을 통해)할 수 있다. 유사한 트리거들은 사용자가 VR 애플리케이션(110)에 의해 미리 정의된 조건을 만족할 때까지 스파크가 제공되지 않을 수도 있는 스파크(424 및 426)에서 발생할 수 있다. 조건은 시선 경과 시간, 시선 또는 움직임의 체류 시간, 사용자의 움직임, 사용자의 제스처, 시선 또는 체류 또는 사용자 이동과 결합된 외부 컨트롤일 수 있다.
다른 비 제한적인 예에서, 사용자(402)는 전자 사진 프레임(410)을 향해 걷거나 볼 수 있다. 사용자는 프레임 내의 사진을 볼 수 있고, 일부 구현 예들은 프레임(410)에서 사진을 스크롤하기 위하여 스파크(430 및/또는 432)를 제공할 수 있다. 예를 들어, 프레임(410)에 근접하면, VR 애플리케이션(110)이 사용자가 프레임(410)을 응시하고 있음을 검출할 때 스파크(430 및 432)가 사용자(402)에게 제공될 수 있다. 사용자가 프레임(410) 근처에 있지만 프레임을 빠르게 통과하여 가상 거실의 다른 영역으로 가지 않는 경우, VR 애플리케이션(110)은 그러한 속도 또는 움직임(예를들어, 프레임(410) 영역으로의 가속도)을 검출할 수 있고, 스파크(430 및 432)를 트리거하지 않기로 결정할 수 있다. 이는 VR 소프트웨어가 프레임(410)을 통과하는 가속도를 검출하여 사용자가 프레임(410) 또는 프레임(410)과 관련된 컨트롤을 보는데 흥미가 없다고 추론했기 때문이다. 만약 사용자가 프레임(410) 근처의 영역으로 이동하면(예를 들어, 프레임(410)의 영역으로 감속), 시선 시간, 제스처 또는 사용자(402)에 의해 수행된 다른 인터렉티브 인디케이션을 통한 선택을 위하여 스파크(430 및 432)가 제공될 수 있다.
일부 구현 예들에서, 스파크(430 및 432)는 스크롤 버튼 컨트롤로서 제공될 수 있다. 사용자가 트랙 패드 또는 마우스를 사용하여 리스트의 콘텐츠를 선택하거나 저장된 아이템을 앞뒤로 이동하는 것과 유사하게, 스파크(430 및 432)는 시선을 이용하여 스크롤 버튼을 선택하거나 또는 리스트의 아이템 또는 저장된 아이템(예를 들어, 파일, 사진, 서적 등)을 통해 가속 또는 감속하기 위하여 선택될 수 있다. 예를 들어, 사용자(402)는 프레임(410)으로 걸어가서 프레임(410) 상의 사진들을 통한 스크롤을 시작하기 위해 컨트롤(432)을 응시할 수 있다. 스크롤링은 일단 시작되면 지정된 페이스로 계속될 수 있거나 사용자가 스파크(430 또는 432)를 볼 때 마다 사진을 스크롤하도록 구성될 수 있다. 즉, 사용자는 스파크(432)를 응시(시선 448)하여 프레임(410)에서 표시 사진을 전진(advance)시킬 수 있다. 스파크(432)로부터 눈길을 돌림으로써, 프레임(410)은 예를 들어 사용자의 시선 변화에 기초하여 사진의 전진을 중단할 수 있다. 일부 구현 예들에서, 스파크(430 및 432)는 항상 도시되며, 사진을 전진시키는 것은 1밀리 초의 시선 시간을 수반한다. 즉, 이러한 상황에서 전방 또는 후방으로 스크롤링하는 것은 사용자(402)에게 우려를 주지 않기 때문에 VR 애플리케이션(110)은 사진을 전진시키기 위하여 거의 제로 시간 임계치/체류시간 요구를 연관시킬 수 있다. 시선을 변경할 때의 사용자의 빠름 또는 느림은 사진을 스크롤할 속도를 선택하기 위하여 VR 애플리케이션(110)에 의해 사용될 수 있다. 즉, VR 애플리케이션(110)은 가속되거나 감속된 시선 움직임 및/또는 머리 움직임을 분석함으로써 사용자의 의도된 스크롤 속도를 결정 및/또는 검출할 수 있다. 유사한 스크롤 컨트롤 및 스크롤 컨트롤에 대한 가속 또는 감속의 검출 또는 컨트롤과 관련된 표시 리스트들은 VR 환경에서 다른 리스트상에서 사용될 수 있다. 예를 들어, 유사한 스파크들이 생성되어 문서, 메뉴, 재생 리스트 등에서 시선 기반 스크롤 컨트롤로서 사용될 수 있다..
일반적으로, 움직임, 속도 및/또는 시선은 프레임(410) 상에 디스플레이될 컨텐츠를 트리거하기 위해 사용될 수 있다. 유사하게, 만약 사용자가 벽에 있는 부가적인 컨텐츠를 보기 위하여 프레임(410)의 오른쪽을 응시하면, 예를 들어, 프레임(410)은 스크롤링을 멈출 수 있다. 즉, 사용자의 시선이 다른 컨텐츠를 보기 위한 권리를 시프트시켰기 때문에 스파크 검출 모듈(120)은 사용자의 의도가 텔레비전상의 프레임(410)에서 컨텐츠를 더 이상 볼 수 없다는 것을 결정하기 위한 입력으로서 사용자(402)의 시선을 사용할 수 있다.
다른 비 제한적인 예에서, 사용자(402)는 음악 재생기(412) 상의 음악을 변경하고자 할 수 있다. 여기에서, 음악 재생기(412)는 음악 재생을 제어하는 전자 디아비스에 접속될 때 전자 입력을 수용하도록 재구성된 구식 축음기일 수 있다. 사용자(402)는 스파크(428)를 응시(시선 450)하여, 노래를 스크롤, 재생 또는 그렇지 않으면 음악을 구성하기 위해 사용될 수 있는 메뉴를 트리거할 수 있다. 스파크(428)는 사용자가 음악 재생기(412)의 영역으로 감속할 때 사용자에게 제공될 수 있다. 일부 구현 예들에서, 시선과 영역으로의 감속의 사용자 조합은 스파크(428)가 나타나도록 트리거할 수 있거나, 또는 스파크로부터 메뉴가 나타나도록 트리거할 수 있다.
일부 구현 예들에서, 특정 스파크에 대한 트리거는 사용자에 의해 발화된 단어 또는 구(phase)에 기초할 수 있다. 예를 들어, 만약 사용자가 "이것을 책꽂이에 놓아라"라고 말하면, VR 애플리케이션은 사용자가 VR 환경에서 책(사용자가 포인팅 또는 홀딩하고 있는)을 책꽂이로 이동하려는 시선 검출에 기초하여 추론할 수 있다. "이것을 책꽂이에 놓아라"에 라는 음성 명령의 검출에 응답하여, VR 애플리케이션(110)은 발화(utterance)와 관련된 시선을 검출할 수 있고, 책의 사용자 선택 (눈-시선을 통해)을 플래시, 아웃라인, 하이라이트 또는 지시할 수 있다. 지시는 애플리케이션(110)이 사용자가 현재 들고 있는 책을 나타내기 위해 대명사 "this"를 사용했다고 결정한 것을 사용자에게 전달할 수 있다. 지시는 VR 애플리케이션(110)이 요구된 액션을 수행할 오브젝트에 대한 시각적 피드백을 제공할 수 있다. 이와 같이, 사용자의 시선은 특정 컨텍스트를 나타내기 위해 사용될 수 있고, 연관된 액션을 컨텍스트(context) 내의 아이템들에 적용될 수 있다. 지시는 글로잉 (glowing), 플래싱(flashing), 아웃라이닝(outlining), 하이라이팅, 텍스처라이징(texturizing), 레이징(raising), 로어링(lowering), 색상 변경, 다른 부분을 밝게 하면서 일부를 흐리게 하는 것, 다른 부분을 흐리게 하면서 일부를 밝게 하는 또는 이들의 조합을 포함할 수 있다.
도 5는 가상 환경에서 타겟(예를 들어, 스파크)과 상호 작용하는 프로세스 (500)의 일 실시예를 나타내는 흐름도이다. 이 예에서, 적어도 하나의 사용자는 예를 들어 컴퓨팅 디바이스 및 VR 애플리케이션(110)을 실행하는 HMD 디바이스(106)와 같은 헤드 마운트 디스플레이를 사용하여 가상 환경을 액세스할 수 있다. 가상 환경은 HMD 디바이스(106) 상에 디스플레이되고 VR 애플리케이션(110) 또는 다른 애플리케이션을 통해 제어될 수 있다.
도 5에 도시된 바와 같이, 블록 502에서, 방법은 가상 환경을 위하여, 비접촉 타겟인 복수의 타겟(예를 들어, 스파크)을 생성 및 디스플레이하는 VR 애플리케이션(110)을 포함할 수 있다. 각 타겟은 가상 환경의 정의된 좌표 시스템과 관련된 위치의 가상 환경에 배치될 수 있다. 스파크는 사용자가 눈 시선 감지, 머리 시선 감지, 손 움직임 감지, 근접 감지, 제스처 감지, 음성 감지, 머리 움직임 감지, 영역으로의 오브젝트 가속 또는 감속 감지, 환경 감지(environment-sensed) 움직임을 제공하기 위한 VR 환경에서 오브젝트와의 가상 디바이스 인터렉션, 온도 감지 등을 포함하지만 이에 한정되지 않는 비접촉 방법에 의해 스파크와 연관된 기능을 트리거할 수 있기 때문에 비접촉 타겟으로 간주될 수 있다.
비접촉 타겟은 각각 특정 가상 오브젝트 및/또는 가상 장면과 관련된 인터렉티브 기능을 포함할 수 있다. 일부 구현 예들에서, 가상 오브젝트와 연관된 인터렉티브 기능은 VR 환경에서 하나 이상의 가상 오브젝트에 대응하는 비접촉 선택 가능 메뉴를 포함한다. 일부 구현 예들에서, 비접촉 타겟은 전술한 바와 같이 스파크, VR 오브젝트 또는 다른 VR 엘리먼트로 표현될 수 있다.
블록(504)에서, 방법(500)은 가상 환경에서 제1비접촉 입력을 검출하는 단계를 포함할 수 있다. 비접촉 입력은 가상 환경의 좌표계에 대하여 VR 환경 내의 적어도 하나의 비접촉 타겟과 관련된 위치에 대응할 수 있다. 일부 구현 예들에서, 제1비접촉 입력은 가상 환경에 액세스하는 사용자와 관련된 감속 속도를 포함할 수 있다. 예를 들어, 사용자가 스파크 근처의 영역으로 감속하는 경우, VR 애플리케이션(110)은 사용자의 느려짐이 스파크와 관련된 하나 이상의 가상 오브젝트에 대한 관심을 나타내는 것으로 판단하는 것에 기초하여 표시되도록 스파크를 트리거할 수 있다.
유사하게, 제1비접촉 입력은 사용자와 관련된 가속 속도를 포함할 수 있다. 가속 속도는 사용자가 스파크를 응시, 트리거, 신속하게 트리거하기를 원한다는 것을 VR 애플리케이션(110)에 나타낼 수 있다. 예를들어, 사용자가 음악 재생기 제어 노브(knob) 근처에서 빠른 제스처를 수행하는 경우, VR 애플리케이션은 제스처의 속도에 기초하여 음악 재생기의 볼륨을 증가 또는 감소시키기 위해 스파크를 트리거 할 수 있다. 일부 구현 예들에서, 스파크를 향한 가속은 사용자가 스파크를 트리거 하기를 원하지 않고 그 대신에 방을 통해 다른 영역으로 이동한다는 것을 나타낼 수 있다.
블록(506)에서, 방법(500)은 제1비접촉 입력이 적어도 하나의 비접촉 타겟과 관련된 미리 정의된 임계치를 만족시키는지를 결정하는 단계를 포함할 수 있다. 예를 들어, VR 애플리케이션(110)은 복수의 비접촉 타겟에 대한 트리거 정보를 획득함으로써 제1비접촉 입력이 기정의된 임계치를 만족시키는지를 결정할 수 있다. 트리거 정보는 비접촉 타겟(예를 들어, 스파크)과 관련된 인터렉티브 기능을 실행하기 위한 인디케이션에 대응할 수 있다.
트리거 정보는 시간, 시선 및/또는 사용자 움직임에 대한 기정의된 임계치를 포함할 수 있다. 예를 들어, 비접촉 입력에 기초한 비접촉 타겟의 디스플레이를 트리거하기 위한 기정의된 임계치는 눈 시선의 길이 또는 각도를 포함할 수 있다. 특히, 사용자가 예를 들어 200밀리 초 동안 비접촉식 타겟 또는 비접촉 근처 방향으로 응시하면, VR 애플리케이션(110)은 50-400 밀리 초의 시선과 관련하여 기정의된 임계치를 액세스할 수 있고, 사용자(200밀리 초)의 시선이 그 범위 내에 있는지 결정할 수 있다. 따라서, 애플리케이션(110)은 디스플레이될 비접촉 타겟을 트리거할 수 있다. 일부 구현 예들에서, 시선은 또한 비접촉 타겟과 관련된 인터렉티브 기능을 트리거할 수 있다. 추가적인 트리거 유형이 가능하고 포함될 수 있지만 상술한 비접촉 입력에 한정되는 것은 아니다.
블록(508)에서, 방법(500)은 제1비접촉 입력이 기정의된 임계치를 만족하는 것으로 결정할 때, 해당 위치의 적어도 하나의 비접촉 타겟을 헤드 마운트 디스플레이의 디스플레이에 제공하는 단계를 포함할 수 있다. 제1비접촉 입력이 임계치를 만족시키는지 결정하는 단계는 또한 사용자와 관련된 의도를 결정하는 단계와 가상 환경에서 초기 위치와 사용자의 이동 속도를 결정하는 단계를 포함할 수 있다. 예를 들어, VR 애플리케이션은 사용자의 감지된 움직임 및/또는 시선에 기초하여 사용자의 의도를 감지하거나 추론할 수 있다. 제1비접촉 입력이 임계치를 만족시키는지 결정하는 단계는 인터랙티브 기능을 실행하기 위한 신뢰도(confidence) 레벨을 획득하기 위해 의도(intent) 및 이동 속도를 트리거 정보와 비교하는 단계를 더 포함할 수 있다. 일부 구현 예들에서, 의도를 결정하는 단계는 사용자와 관련된 시선의 가속 또는 감속을 분석하는 단계를 포함한다.
블록(510)에서, 프로세스(500)는 해당 위치에서 제2 비접촉 입력을 검출하는 것에 응답하여, 가상 환경에서 적어도 하나의 비접촉 타겟과 관련된 인터렉티브 기능을 실행하는 단계를 포함할 수 있다. 일부 구현 예들에서, 제2 비접촉 입력은 헤드 마운트 디스플레이에 액세스하는 사용자와 관련된 시선을 포함한다. 일부 구현 예에서, 제2 비접촉 입력은 사용자와 관련된 시선을 포함하며, 시선은 인터렉티브 기능을 트리거하도록 고정된다. 이 시선은 약 50밀리 초 내지 약 100밀리 초의 고정 후에 인터렉티브 기능을 트리거하도록 구성될 수 있다.
일부 구현 예들에서, 제2 비접촉 입력을 검출하는 단계는 사용자 눈의 복수의 이미지를 분석하여 사용자와 관련된 시선 방향을 검출하는 단계를 포함한다. 분석은 헤드 마운트 장치에 배치된 하나 이상의 카메라 디바이스에 의해 수행될 수 있다. 일부 구현 예들에서, VR 애플리케이션은 제2 비접촉 입력의 검출에 응답하여, 해당 위치에 복수의 비접촉 컨트롤을 제공할 수 있다. 복수의 비접촉 컨트롤은 본 명세서에 설명된 시선, 제스처, 움직임, 사운드 또는 다른 비접촉 방법으로 사용자에 의해 선택될 수 있다.
도 6은 일반적인 컴퓨터 디바이스(600) 및 일반적인 모바일 컴퓨터 디바이스(650)의 일 예를 도시하며, 여기에 기술된 기술들과 함께 사용될 수 있다. 컴퓨팅 디바이스(600)는 프로세서(602), 메모리(604), 저장 디바이스(606), 메모리 (604)와 고속 확장 포트(610)에 접속되는 고속 인터페이스(612), 저속 버스(614)와 저장 디바이스(606)에 접속되는 저속 인터페이스(612)를 포함한다. 각각의 컴포넌트(602, 604, 606, 608, 610, 및 612)는 다양한 버스를 사용하여 상호 연결되고, 공통 마더 보드 상에 또는 적절한 다른 방식으로 장착될 수 있다. 프로세서(602)는 메모리(604) 또는 저장 디바이스(606)에 저장된 명령을 포함하는 컴퓨팅 디바이스 (600)내에서 실행을 위한 명령을 처리하여, 고속 인터페이스(608)에 결합된 디스플레이(616)과 같은 외부 입력/출력 디바이스에 GUI를 위한 그래픽 정보를 디스플레이할 수 있다. 다른 구현 예들에서, 다수의 프로세서 및/또는 다수의 버스는 다수의 메모리 및 다수 유형의 메모리와 함께 적절하게 사용될 수 있다. 또한, 다수의 컴퓨팅 디바이스(600)는 필요한 동작(예를 들어, 서버 뱅크, 블레이드 서버 그룹 또는 멀티 프로세서 시스템으로서)의 일부를 제공하는 각 디바이스와 접속될 수 있다.
메모리(604)는 컴퓨팅 디바이스(600) 내의 정보를 저장한다. 일 구현예에서, 메모리(604)는 휘발성 메모리 유닛 또는 유닛들이다. 또 다른 구현예에서, 메모리(604)는 비 휘발성 메모리 유닛 또는 유닛들이다. 메모리(604)는 또한 자기 또는 광학 디스크와 같은 컴퓨터 판독 가능 매체의 다른 형태 일 수 있다.
저장 디바이스(606)는 컴퓨팅 디바이스(600)을 위한 대용량 저장을 제공할 수 있다. 일 구현 예에서, 저장 디바이스(606)는 플로피 디스크 디바이스, 하드 디스크 디바이스, 광학 디스크 디바이스, 또는 테이프 디바이스, 플래시 메모리 또는 다른 유사한 고체 메모리 디바이스, 또는 저장 영역 네트워크 또는 다른 구성의 디바이스들을 포함하는 디바이스의 어레이와 같은, 컴퓨터 판독 가능 매체이거나 또는 컴퓨터 판독 가능 매체를 포함할 수 있다. 컴퓨터 프로그램 제품은 정보 매체(carrier)에 가시적으로 구현될 수 있다. 컴퓨터 프로그램 제품은 또한 실행될 때 상술한 바와 같은 하나 이상의 방법을 수행하는 명령을 포함할 수 있다. 정보 매체는 메모리(604), 저장 디바이스(606) 또는 프로세서(602)상의 메모리와 같은 컴퓨터 또는 기계 판독 가능 매체이다.
고속 컨트롤러(608)는 컴퓨팅 디바이스(600)에 대한 대역폭-집약적 동작들 (bandwidth-intensive operations)을 관리하고, 저속 제어기(612)는 보다 낮은 대역폭-집약적 동작들을 관리한다. 이러한 기능 할당은 단지 예시적인 것이다. 일 구현 예에서, 고속 컨트롤러(608)는 메모리(604), 디스플레이(616)(예를 들어, 그래픽 프로세서 또는 가속기를 통해) 및 다양한 확장 카드(미도시)를 수용할 수 있는 고속 확장 포트(610)에 결합된다. 구현 예에서, 저속 제어기(612)는 저장 디바이스(606)와 저속 확장 포트(614)에 결합된다. 다양한 통신 포트(예를 들어, USB, 블루투스, 이더넷, 무선 이더넷)를 포함할 수 있는 저속 확장 포트는 키보드, 포인팅 디바이스, 스캐너, 또는 스위치 또는 라우터와 같은 네트워킹 디바이스와 같은, 하나 이상의 입/출력장치에 예를들어, 네트워크 어댑터를 통해 결합될 수 있다.
컴퓨팅 디바이스(600)는 도면에 도시된 바와 같이 다수의 상이한 형태로 구현될 수 있다. 예를 들어, 컴퓨팅 디바이스(600)는 표준 서버(620)로서 구현되거나, 또는 그러한 서버들의 그룹에서 여러 번 구현될 수 있다. 또한, 컴퓨팅 디바이스(600)는 랙(rack) 서버 시스템(624)의 일부로서 구현될 수 있다. 또한, 컴퓨팅 디바이스(600)는 랩탑 컴퓨터(622)와 같은 개인용 컴퓨터에서 구현될 수도 있다. 대안적으로, 컴퓨팅 디바이스(600)로부터의 컴포넌트는 디바이스(650)와 같은 모바일 디바이스(미도시)에 있는 다른 컴포넌트와 결합될 수 있다. 이러한 디바이스 각각은 하나 이상의 컴퓨팅 디바이스(600, 650)를 포함할 수 있고, 전체 시스템은 서로 통신하는 다수의 컴퓨팅 디바이스(600, 650)로 구성될 수 있다.
컴퓨팅 디바이스(650)는 다른 컴포넌트들 중에서 프로세서(652), 메모리 (664), 디스플레이(654)와 같은 입/출력 디바이스, 통신 인터페이스(666) 및 송수신기(668)를 포함한다. 디바이스(650)는 추가 저장을 제공하기 위해, 마이크로 드라이브 또는 다른 디바이스와 같은 저장 디바이스와 함께 또한 제공될 수 있다. 컴포넌트(650, 652, 664, 654, 666 및 668) 각각은 다양한 버스를 사용하여 상호 접속되며, 몇몇 구성 요소는 공통 마더 보드 상에 또는 적절한 다른 방식으로 장착될 수 있다.
프로세서(652)는 메모리(664)에 저장된 명령을 포함하여 컴퓨팅 디바이스 (650) 내의 명령을 실행할 수 있다. 프로세서는 개별 및 다수의 아날로그 및 디지털 프로세서를 포함하는 칩의 칩셋으로서 구현될 수 있다. 프로세서는 예를 들어 사용자 인터페이스의 제어, 디바이스(650)에 의해 실행되는 애플리케이션들 및 디바이스(650)에 의한 무선 통신과 같은 디바이스(650)의 다른 컴포넌트들을 조정(coordination)을 제공할 수 있다.
프로세서(652)는 제어 인터페이스(658) 및 디스플레이(654)에 연결된 디스플레이 인터페이스(656)를 통해 사용자와 통신할 수 있다. 디스플레이(654)는 예를 들어, TFT LCD(박막 트랜지스터 액정 디스플레이) 또는 OLED 유기 글로우 다이오드 (Organic Light Emitting Diode) 디스플레이 또는 다른 적절한 디스플레이 기술을 포함할 수 있다. 디스플레이 인터페이스(656)는 사용자에게 그래픽 및 다른 정보를 제공하기 위해 디스플레이(654)를 구동하기 위한 적절한 회로를 포함할 수 있다. 제어 인터페이스(658)는 사용자로부터 명령을 수신하여 프로세서(652)에 제공하기 위해 그들을 변환할 수 있다. 또한, 외부 인터페이스(662)는 다른 디바이스와 디바이스(650)의 근거리 통신을 인에이블 하기 위하여, 프로세서(652)와의 통신에 제공될 수 있다. 외부 인터페이스(662)는 예를 들어, 일부 구현 예들에서 유선 통신용으로, 또는 다른 구현 예들에서 무선 통신용으로 제공될 수 있으며, 다중 인터페이스가 사용될 수 있다.
메모리(664)는 컴퓨팅 디바이스(650) 내의 정보를 저장한다. 메모리(664)는 하나 이상의 컴퓨터 판독 가능 매체 또는 매체, 휘발성 메모리 유닛 또는 유닛들, 또는 비 휘발성 메모리 유닛 또는 유닛들로서 구현될 수 있다. 확장 메모리(674)는 또한 예를 들어 SIMM(Single In Line Memory Module) 카드 인터페이스를 포함할 수 있는 확장 인터페이스(672)를 통해 디바이스(650)에 제공되고 접속될 수 있다. 그러한 확장 메모리(674)는 디바이스(650)를 위한 여분의 저장을 제공할 수 있고, 또는 디바이스(650)를 위한 애플리케이션 또는 다른 정보를 저장할 수 있다. 특히, 확장 메모리(674)는 전술한 프로세스를 수행하거나 보충하기 위한 명령을 포함할 수 있고, 또한 보안 정보를 포함할 수 있다. 따라서, 예를 들어, 확장 메모리(674)는 디바이스(650)를 위한 보안 모듈로 제공될 수 있고, 디바이스(650)의 안전한 사용을 허용하는 명령들로 프로그램될 수 있다. 또한, 보안 애플리케이션은 해킹 불가능 방식으로 SIMM 카드에 식별 정보를 배치하는 것과 같은 부가 정보와 함께 SIMM 카드를 통해 제공될 수 있다.
메모리는 예를 들어, 후술되는 바와 같이, 플래시 메모리 및/또는 NVRAM 메모리를 포함할 수 있다. 일 구현 예에서, 컴퓨터 프로그램 제품은 정보 매체에 가시적으로 구체화된다. 컴퓨터 프로그램 제품은 실행될 때 위에 설명된 것과 같은 하나 이상의 방법을 수행하는 명령들을 포함한다. 정보 매체는 예를 들어 송수신기 (668) 또는 외부 인터페이스(662)를 통해 수신될 수 있는 메모리(664), 확장 메모리(674) 또는 프로세서(652)상의 메모리와 같은 컴퓨터 또는 기계 판독 가능 매체이다.
디바이스(550)는 필요한 경우 디지털 신호 처리 회로를 포함할 수 있는 통신 인터페이스(566)를 통해 무선으로 통신할 수 있다. 통신 인터페이스(666)는 GSM 음성 호출, SMS, EMS 또는 MMS 메시징, CDMA, TDMA, PDC, WCDMA, CDMA2000 또는 GPRS와 같은 다양한 모드 또는 프로토콜 하에서 통신을 제공할 수 있다. 이러한 통신은 예를 들어, 무선 주파수 송수신기(668)를 통해 발생할 수 있다. 또한, 블루투스, Wi-Fi 또는 다른 그러한 송수신기(미도시)를 사용하는 것과 같은 근거리 통신이 발생할 수 있다. 또한, GPS(Global Positioning System) 수신기 모듈(670)은 디바이스(650)상에서 실행되는 애플리케이션에 의해 적절하게 사용될 수 있는 추가의 네비게이션 및 위치 관련 무선 데이터를 디바이스(650)에 제공할 수 있다.
디바이스(650)는 또한 사용자로부터 구두(spoken) 정보를 수신하여 그것을 이용 가능한 디지털 정보로 변환할 수 있는 오디오 코덱(660)을 사용하여 청각적으로 통신할 수 있다. 오디오 코덱(660)은 마찬가지로, 예를 들어 디바이스(650)의 핸드셋 내의 스피커를 통하는 것과 같이, 사용자를 위한 가청 사운드를 생성할 수 있다. 이러한 사운드는 음성 전화 호출로부터의 사운드를 포함할 수 있고, 녹음된 사운드(예를 들어, 음성 메시지, 음악 파일, 및 기타)를 포함할 수 있으며, 또한 디바이스(650)상에서 동작하는 애플리케이션에 의해 생성된 사운드를 포함할 수 있다.
컴퓨팅 디바이스(650)는 도면에 도시된 바와 같이 다수의 상이한 형태로 구현될 수 있다. 예를 들어, 컴퓨팅 디바이스(650)는 셀룰러 전화(680)로서 구현될 수 있다. 또한 스마트폰(682), 개인 휴대 정보 단말기(personal digital assistant) 또는 다른 유사한 모바일 디바이스의 일부로서 구현될 수도 있다.
여기에 설명된 시스템 및 기술의 다양한 구현 예는 디지털 전자 회로, 집적 회로, 특별하게 설계된 ASIC(주문형 집적 회로), 컴퓨터 하드웨어, 펌웨어, 소프트웨어 및/또는 이들의 조합으로 실현될 수 있다. 이러한 다양한 구현은 데이터 및 명령을 저장 시스템으로부터 수신하고, 저장 시스템으로 전송하도록 결합된, 특수 또는 범용일 수 있는 적어도 하나의 프로그램 가능 프로세서, 적어도 하나의 입력 디바이스 및 적어도 하나의 출력 디바이스를 포함하는 프로그램 가능 시스템상에서 실행 가능하고 및/또는 해석 가능한 하나 이상의 컴퓨터 프로그램에서의 구현을 포함할 수 있다.
이러한 컴퓨터 프로그램들(또한 프로그램, 소프트웨어, 소프트웨어 응용 또는 코드로도 알려진)은 프로그램 가능 프로세서를 위한 기계 명령을 포함하며, 높은 수준의 절차 및/또는 오브젝트 지향 프로그래밍 언어 및/또는 어셈블리/머신에서 구현될 수 있다. 여기에서 사용되는 "기계 판독 가능 매체", "컴퓨터 판독 가능 매체"라는 용어는, 기계 판독 가능 신호로서 기계 명령을 수신하는 기계 판독 가능 매체를 포함하는, 프로그램 가능 프로세서로 기계 명령 및/또는 데이터를 제공하는데 사용된 임의의 프로그램 제품, 장치 및/또는 디바이스(예를들어, 자기 디스크, 광 디스크, 메모리, 프로그램 가능 논리 디바이스(PLD)와 같은)를 의미한다.
사용자와의 상호 작용을 제공하기 위해, 여기에 기술된 시스템 및 기술은 사용자에게 정보를 디스플레이하기 위한 디스플레이 디바이스(예를 들어, CRT 또는 LCD 모니터), 키보드 및 사용자가 컴퓨터에 입력을 제공할 수 있는 포인팅 디바이스(예를 들어, 마우스 또는 트랙볼)를 갖는 컴퓨터상에서 구현될 수 있다. 다른 종류의 디바이스가 사용자와의 상호 작용을 제공하는데 또한 사용될 수 있는데, 예를 들어, 사용자에게 제공된 피드백은 임의의 형태의 감각 피드백(예를 들어, 시각적 피드백, 청각 피드백 또는 촉각 피드백) 및 사용자로부터 음향, 음성 또는 촉각 입력을 포함하는 임의의 형태로 수신될 수 있는 입력일 수 있다.
여기에 설명된 시스템 및 기술은 백 엔드(back end) 컴포넌트(예를들어, 데이터 서버)를 포함하거나, 미들웨어 컴포넌트(예를들어, 응용 프로그램 서버)를 포함하거나, 프론트 엔드(front end) 컴포넌트(예를들어, 그래픽 사용자 인터페이스를 갖는 클라이언트 컴퓨터 또는 사용자가 여기에 기술된 시스템 및 기술의 구현과 상호 작용할 수 있는 웹 브라우저)를 포함하거나, 이러한 백 엔드, 미들웨어 또는 프런트 엔드 컴포넌트의 임의의 조합을 포함할 수 있다. 시스템의 컴포넌트들은 임의의 형태 또는 매체의 디지털 데이터 통신(예를 들어, 통신 네트워크)에 의해 상호 접속될 수 있다. 통신 네트워크의 예는 근거리 통신망("LAN"), 광역 통신망 ("WAN") 및 인터넷을 포함한다.
컴퓨팅 시스템은 클라이언트 및 서버를 포함할 수 있다. 클라이언트와 서버는 일반적으로 서로 멀리 떨어져 있으며 일반적으로 통신 네트워크를 통해 상호 작용한다. 클라이언트와 서버의 관계는 각각의 컴퓨터상에서 실행되고 서로 클라이언트-서버 관계를 갖는 컴퓨터 프로그램 때문에 발생한다.
일부 구현 예들에서, 도 6에 도시된 컴퓨팅 디바이스는, 가상 현실(HMD 디바이스(690))과 인터페이스하는 센서들을 포함할 수 있다. 예를 들어, 도 6에 도시된 컴퓨팅 디바이스(650) 또는 다른 컴퓨팅 디바이스에 포함된 하나 이상의 센서는, HMD 디바이스(690)로 입력을 제공하거나 일반적으로 VR 환경에 입력을 제공할 수 있다. 센서들은 터치 스크린, 가속도계, 자이로스코프, 압력 센서, 생체 센서, 온도 센서, 습도 센서 및 주변 광 센서를 포함할 수 있지만 이에 한정되는 것은 아니다. 컴퓨팅 디바이스(650)는 센서를 사용하여 VR 환경에 대한 입력으로 사용될 수 있는 VR 환경에서 컴퓨팅 디바이스의 절대 위치 및/또는 검출된 회전을 결정할 수 있다. 예를 들어, 컴퓨팅 디바이스(650)는 컨트롤러, 레이저 포인터, 키보드, 무기 등과 같은 가상 오브젝트로서 VR 환경에 통합될 수 있다. VR 환경에 통합될 때 사용자에 의한 컴퓨팅 디바이스/가상 오브젝트의 포지셔닝(positioning)은 사용자가 VR 환경에서 특정 방식으로 가상 오브젝트를 보기 위해 컴퓨팅 디바이스를 위치시킬 수 있게 한다. 예를 들어, 가상 오브젝트가 레이저 포인터를 나타내는 경우, 사용자는 실제 레이저 포인터인 것처럼 컴퓨팅 디바이스를 조작할 수 있다. 사용자는 컴퓨팅 디바이스를 좌우, 상하, 원 등으로 이동시킬 수 있으며 레이저 포인터를 사용하는 것과 유사한 방식으로 디바이스를 사용할 수 있다.
일부 구현 예들에서, 컴퓨팅 디바이스(650)에 포함되거나 컴퓨팅 디바이스 (650)에 연결되는 하나 이상의 입력 디바이스는 VR 환경에 대한 입력으로 사용될 수 있다. 입력 디바이스는 터치 스크린, 키보드, 하나 이상의 버튼, 트랙 패드, 터치 패드, 포인팅 디바이스, 마우스, 트랙볼, 조이스틱, 카메라, 마이크로폰, 이어폰, 입력 기능이 있는 버즈(buds), 게임 컨트롤러 또는 기타 연결 가능한 입력 디바이스를 포함할 수 있지만, 이에 한정되지는 않는다. 컴퓨팅 디바이스가 VR 환경에 통합될 때 컴퓨팅 디바이스(650) 상에 포함된 입력 디바이스와 상호 작용하는 사용자는 VR 환경에서 특정 액션을 발생시킬 수 있다.
일부 구현 예들에서, 컴퓨팅 디바이스(650)의 터치 스크린은 VR 환경에서 터치 패드로 렌더링될 수 있다. 사용자는 컴퓨팅 디바이스(650)의 터치 스크린과 상호 작용할 수 있다. 상호 작용은 HMD 디바이스(690)에서, 예를 들어 VR 환경에서 상기 렌더링된 터치 패드상의 움직임으로서 렌더링된다. 렌더링된 움직임은 VR 환경에서 오브젝트를 제어할 수 있다.
일부 구현 예들에서, 컴퓨팅 디바이스(650)에 포함된 하나 이상의 출력 디바이스는 VR 환경에서 HMD 디바이스(690)의 사용자에게 출력 및/또는 피드백을 제공할 수 있다. 출력 및 피드백은 시각적, 전술적 또는 오디오 일 수 있다. 출력 및/또는 피드백은 진동, 하나 이상의 조명 또는 스트로브(strobe)의 켜기/끄기 또는 점멸(blinking) 및/또는 글로우(flashing), 알람 울리기, 차임(chime) 치기, 노래 연주 및 오디오 파일 재생을 포함할 수 있지만 이에 한정되지 않는다. 출력 디바이스는 진동 모터, 진동 코일, 압전 디바이스, 정전기 디바이스, 글로우 다이오드(LED), 스트로브 및 스피커를 포함할 수 있지만 이에 한정되지 않는다.
일부 구현 예들에서, 컴퓨팅 디바이스(650)는 컴퓨터 생성 3D 환경에서 다른 오브젝트로서 나타날 수 있다. 컴퓨팅 디바이스(650)와의 사용자에 의한 상호 작용(예를 들어, 회전, 흔들기, 터치 스크린 터치, 터치 스크린을 가로지르는 스와이핑)은 VR 환경에서 오브젝트와의 상호 작용으로서 해석될 수 있다. VR 환경에서의 레이저 포인터의 예에서, 컴퓨팅 디바이스(650)는 컴퓨터 생성 3D 환경에서 가상 레이저 포인터로서 나타난다. 사용자가 컴퓨팅 디바이스(650)를 조작할 때 VR 환경의 사용자는 레이저 포인터의 움직임을 보게 된다. 사용자는 컴퓨팅 디바이스(650) 또는 HMD 디바이스(590)상의 VR 환경에서 컴퓨팅 디바이스(550)와의 상호 작용으로부터 피드백을 수신한다.
일부 구현 예들에서, 컴퓨팅 디바이스(650)는 터치 스크린을 포함할 수 있다. 예를 들어, 사용자는 VR 환경에서 일어나는 일로 터치스크린에서 일어나는 일을 모방할 수 있는 특정 방식으로 터치 스크린과 상호 작용할 수 있다. 예를 들어, 사용자는 터치 스크린에 표시된 콘텐츠를 확대하기 위해 핀칭(pinching) 타입 동작을 사용할 수 있다. 이러한 터치 스크린에서 핀칭 타입 모션은 VR 환경에서 제공된정보가 확대되도록 할 수 있다. 다른 예에서, 컴퓨팅 디바이스는 컴퓨터 생성 3D 환경에서 가상책으로 렌더링될 수 있다.
일부 구현 예들에서, 컴퓨팅 디바이스(예를 들어, 마우스, 키보드)에 부가하여 하나 이상의 입력 디바이스가 컴퓨터 생성 3D 환경에서 렌더링될 수 있다. 렌더링된 입력 디바이스(예를 들어, 렌더링된 마우스, 렌더링된 키보드)는 VR 환경에서 오브젝트를 제어하기 위하여 VR 환경에서 렌더링된 대로 사용될 수 있다.
컴퓨팅 디바이스(600)는 랩탑, 데스크탑, 워크스테이션, PDA, 서버, 블레이드 서버, 메인 프레임 및 다른 적절한 컴퓨터와 같은 디지털 컴퓨터의 다양한 형태를 나타내기 위한 것이다. 컴퓨팅 디바이스(650)는 개인 휴대 정보 단말기, 셀룰러 전화기, 스마트폰 및 다른 유사한 컴퓨팅 디바이스와 같은 모바일 디바이스의 다양한 형태를 나타내기 위한 것이다. 여기에 도시된 컴포넌트, 그들의 접속 및 관계, 및 그들의 기능은 단지 예시적인 것으로, 본 명세서에 기재 및/또는 청구된 본 발명의 구현들을 제한하지 않는다.
추가 구현 예들이 다음의 실시예에 요약되어 있다.
실시예 1 : 컴퓨터 구현 방법으로서, 상기 방법은 가상 환경에 대해 복수의 비접촉 타겟을 생성하는 단계, 복수의 비접촉 타겟 각각은 가상 오브젝트와 관련된 인터렉티브 기능을 포함하고, 가상 환경에서 제1 비접촉 입력을검출하는 단계, 비접촉 입력은 적어도 하나의 비접촉 타겟과 관련된 위치에 대응하고, 제1 비접촉 입력이 적어도 하나의 비접촉 타겟과 관련된 기정의된 임계치를 만족하는결정하는 단계, 제1 비접촉 입력이 기정의된 임계치를 만족하는 것으로 결정하면 해당 위치에 있는 적어도 하나의 비접촉 타겟을 헤드 마운트 디스플레이의 디스플레이에 제공하는 단계, 및 해당 위치에서 제2 비접촉 입력을 감지하는 것에 응답하여 가상 환경에서 적어도 하나의 비접촉 타겟과 연관된 인터렉티브 기능을 단계를 포함한다.
실시예 2 : 실시예 1의 방법에서, 제1 비접촉 입력은 사용자와 관련된 감속 속도를 포함하고, 제2 비접촉 입력은 헤드 마운트 디스플레이를 액세스하는 사용자와 관련된 시선을 포함한다.
실시예 3 : 실시예 1의 방법에서, 제1 비접촉 입력은 사용자와 관련된 가속도를 포함하고, 제2 비접촉 입력은 헤드 마운트 디스플레이를 액세스하는 사용자와 관련된 시선을 포함한다.
실시예 4 : 실시예 1, 2 또는 3의 예에서, 제2 비접촉 입력을 검출하는 단계는 사용자의 눈의 복수의 이미지를 분석하여 사용자와 관련된 시선 방향을 검출하는 단계를 포함한다.
실시예 5 : 실시예 1 내지 4의 방법에서, 제1 비접촉 입력이 기정의된 임계치를 만족하는지 결정하는 단계는 복수의 비접촉 타겟을 위한 트리거 정보를 획득하는 단계를 포함하고, 트리거 정보는 인터렉티브 기능을 실행하고, 사용자와 관련된 의도를 결정하고, 가상 환경에서 초기 위치와 사용자의 움직임 속도를 결정하며, 인터렉티브 기능을 싱행하기 위한 신뢰도 레벨을 획득하기 위해 의도와 움직임 속도를 트리거 정보와 비교하기 위한 인디케이션들에 대응한다.
실시예 6 : 실시예 5 방법에서, 의도를 결정하는 단계는 사용자와 관련된 이동의 가속 또는 감속을 분석하는 단계를 포함한다.
실시예 7 : 실시예 1 내지 6 중 하나의 방법에서, 제2 비접촉 입력은 사용자와 관련된 시선을 포함하고, 시선은 인터렉티브 기능을 트리거하기 위하여 고정된다.
실시예 8 : 실시예 7의 방법에서, 눈 시선은 약 50밀리 초 내지 약 100밀리 초 고정 후에 인터렉티브 기능을 트리거시킨다.
실시예 9 : 실시예 1 내지 8 중 하나의 방법에서, 가상 오브젝트와 관련된 인터렉티브 기능은 가상 오브젝트에 대응하는 비접촉 선택 가능 메뉴를 포함한다.
실시예 10 : 실시예 1 내지 9 중 하나의 방법에서, 제2 비접촉 입력을 검출하는 것에 응답하여, 해당 위치에서 복수의 비접촉 컨트롤을 제공하는 단계를 더 포함한다.
실시예 11 : 시스템으로서, 상기 시스템은 가상현실 환경에서 가상현실 체험을 생성하는 전자 컴퓨팅 디바이스와, 상기 전자 컴퓨팅 디바이스는 물리적 공간 내에서 휴대 가능하고, 전자 컴퓨팅 디바이스와 통신하는 복수의 센서와, 상기 센서들은 물리적 공간 내에서 전자 컴퓨팅 디바이스를 액세스하는 사용자와 관련된 모션을 검출하도록 구성되고, 시간 주기동안 각 모션과 관련된 속도 및 적어도 하나의 가상 오브젝트에 대한 모션을 수행하는 사용자의 일부에서의 거리를 결정하고, 시간 주기 동안 모션과 연관된 가속 속도를 결정하는 것에 응답하여 가상 환경을 위한 제1 인터렉션 모드를 적용하고, 시간 주기 동안 모션과 연관된 감속 속도를 결정하는 것에 응답하여 가상 환경을 위한 제1 인터렉션 모드를 적용하며, 가상 현실 환경에서 적용된 모드의 인디케이션을 표시하고 적용된 모드를 이용하여 움직임 및 적어도 하나의 가상 오브젝트와 연관된 인터렉티브 기능을 실행하는 프로세서를 포함한다.
실시예 12 : 실시예 11의 시스템에서, 가상 오브젝트와 연관된 인터렉티브 모드는 가상 오브젝트에 대응하는 비접촉 선택 가능 메뉴를 포함한다.
실시예 13 : 실시예 11 또는 12의 시스템에서, 제1 인터렉션 모드는 가상 환경에서 적어도 하나의 가상 오브젝트 상에 선택 가능한 부분을 표시하는 것을 포함하고, 선택 가능한 부분은 사용자의 부분으로부터 적어도 하나의 가상 오브젝트까지의 속도 및 거리를 검출한 후에 제공된다.
실시예 14 : 실시예 11 내지 13 중 하나의 시스템에서, 제2 인터렉티브 모드는 가상 환경에서 적어도 하나의 가상 오브젝트상에 다른 선택 가능한 부분을 디스플레이하는 것을 포함하며, 다른 선택 가능한 부분은 기정의된 임계치 이후 및 사용자에 의해 수행된 추가 움직임 검출 후에 제공된다.
실시예 15 : 실시예 11 내지 14 중 하나의 시스템에서, 모션은 적어도 하나의 가상 오브젝트를 향한 눈 움직임과 연관되고, 눈 움직임은 약 50밀리 초 내지 약 100밀리 초의 고정 후에 인터렉티브 기능을 트리거한다.
실시예 16 : 실시예 11의 시스템에서, 동작은 사용자의 안구 운동과 관련되고, 적어도 하나의 가상 오브젝트로부터 멀리 향한 안구 운동이 실시 예 11 내지 15 중 하나의 시스템.
실시예 17 : 실시예 11 내지 16 중 하나의 시스템에서, 모션은 사용자의 손 움직임과 연관되고, 손 움직임은 적어도 하나의 가상 오브젝트 쪽으로 지향된다.
실시예 18 : 비일시적 컴퓨터 판독가능 매체로서, 컴퓨터 시스템의 프로세서에 의해 실행될 때 컴퓨터 시스템으로 하여금 가상 환경에 대해 복수의 비접촉 타겟을 생성하게 하고, 상기 복수의 비접촉 타겟 각각은 가상 오브젝트와 연관된 인터렉티브 기능을 포함하며, 가상 환경에서 제1 비접촉 입력을 검출하게 하고, 비접촉 입력은 적어도 하나의 비접촉 타겟과 연관된 위치에 대응하며, 제1 비접촉 입력이 적어도 하나의 비접촉 타겟과 연관된 기정의된 임계치를 만족하는지 결정하게 하고, 제1 비접촉 입력이 기정의된 임계치를 만족할 때 해당 위치에 있는 적어도 하나의 비접촉 타겟을 헤드 마운트 디스플레이의 디스플레이에 표시하게 하며, 해당 위치에서 제2 비접촉 입력을 검출하는 것에 응답하여 가상 환경에서 적어도 하나의 비접촉 타겟과 연관된 인터렉티브 기능을 실행하도록 하는 명령을 포함한다.
실시예 19 : 실시예 18의 비일시적 컴퓨터 판독가능 매체에서, 제1 비접촉 입력은 사용자와 관련된 감속 속도를 포함하고, 제2 비접촉 입력은 헤드 마운트 디스플레이를 액세스하는 사용자와 관련된 시선을 포함한다.
실시예 20 : 실시예 18 또는 19의 비일시적 컴퓨터 판독가능 매체에서, 제2 비접촉 입력을 검출하는 것은 사용자 눈의 복수의 이미지를 분석하여 사용자와 관련된 시선 방향을 검출하는 것을 포함한다.
다수의 실시 예가 설명되었다. 그럼에도 불구하고, 본 명세서의 사상과 범위를 벗어나지 않고 다양한 변형이 이루어질 수 있음을 이해할 것이다. 또한, 도면에 도시된 논리 흐름은 바람직한 결과를 달성하기 위해 도시된 특정 순서 또는 순차 순서를 요구하지 않는다. 또한, 설명된 흐름들로부터 다른 단계들이 제공되거나 단계들이 제거될 수 있으며, 설명된 시스템들에 다른 컴포넌트들이 추가되거나 제거될 수 있다. 따라서, 다른 실시예들은 다음의 청구항들의 범위 내에 있다.

Claims (20)

  1. 컴퓨터 구현방법으로서,
    가상 환경에 대한 복수의 비접촉 타겟을 생성하는 단계, 복수의 비접촉 타겟 각각은 가상 오브젝트와 연관된 인터렉티브(intractive) 기능을 포함하고;
    가상 환경에서 제1 비접촉 입력을 검출하는 단계, 상기 비접촉 입력은 적어도 하나의 비접촉 타겟과 관련된 위치에 대응하고;
    상기 제1 비접촉 입력이 적어도 하나의 비접촉 타겟과 관련된 기정의된 임계치를 만족하는지 결정하고, 상기 제1비접촉 입력이 기정의된 임계치를 만족한다고 결정될 때 상기 위치에 있는 적어도 하나의 비접촉 타겟을 헤드 마운트 디스플레이의 디스플레이에 제공하는 단계; 및
    상기 위치에서 제2 비접촉 입력을 검출하는 것에 응답하여 가상 환경에서 상기 적어도 하나의 비접촉 타겟과 연관된 인터렉티브 기능을 실행하는 단계를 포함하는 컴퓨터 구현방법.
  2. 제1항에 있어서,
    제1 비접촉 입력은 사용자와 관련된 감속 속도를 포함하고, 제2 비접촉 입력은 헤드 마운트 디스플레이를 액세스하는 사용자와 관련된 시선을 포함하는 컴퓨터 구현방법.
  3. 제1항에 있어서,
    제1 비접촉 입력은 사용자와 관련된 가속 속도를 포함하고, 제2 비접촉 입력은 헤드 마운트 디스플레이를 액세스하는 사용자와 관련된 시선을 포함하는 컴퓨터 구현방법.
  4. 제1항에 있어서,
    제2 비접촉 입력을 검출하는 단계는 사용자 눈의 복수의 이미지를 분석하여 사용자와 관련된 시선 방향을 검출하는 단계를 포함하고, 시선은 헤드 마운트 디바이스로 검출되는 컴퓨터 구현방법.
  5. 제1항에 있어서,
    제1 비접촉 입력이 기정의된 임계치를 만족하는지 결정하는 단계는,
    복수의 비접촉 타겟에 대한 트리거 정보를 획득하는 단계, 트리거 정보는 인터렉티브 기능을 실행하기 위한 인디케이션에 대응하고;
    사용자와 관련된 의도(intent)를 결정하는 단계;
    가상 환경에서의 초기 위치와 사용자의 움직임 속도를 결정하는 단계; 및
    의도와 움직임 속도를 트리거 정보와 비교하여 인터렉티브 기능을 실행하기 위한 신뢰도를 획득하는 단계를 포함하는 컴퓨터 구현방법.
  6. 제5항에 있어서,
    의도를 결정하는 단계는 사용자와 관련된 움직임의 가속 또는 감속을 분석하는 단계를 포함하는 컴퓨터 구현방법.
  7. 제1항에 있어서,
    제2 비접촉 입력은 사용자와 관련된 시선을 포함하고, 시선은 인터렉티브 기능을 트리거하도록 고정되는 컴퓨터 구현방법.
  8. 제7항에 있어서,
    시선은 약 50밀리 초 내지 약 100밀리 초 고정 후에 인터렉티브 기능을 트리거하는 컴퓨터 구현방법.
  9. 제1항에 있어서,
    가상 오브젝트와 연관된 인터렉티브 기능은 가상 오브젝트에 대응하는 비접촉 선택 가능 메뉴를 포함하는 컴퓨터 구현방법.
  10. 제1항에 있어서,
    제2 비접촉 입력을 검출하는 것에 응답하여 상기 위치에 복수의 비접촉 컨트롤을 제공하는 단계를 더 포함하는 컴퓨터 구현방법.
  11. 시스템으로서,
    가상현실 환경에서 가상현실 체험을 생성하는 전자 컴퓨팅 디바이스, 상기 전자 컴퓨팅 디바이스는 물리적 공간 내에서 휴대 가능하고;
    상기 전자 컴퓨팅 디바이스와 통신하는 복수의 센서들, 상기 센서들은 물리적 공간 내에서 상기 전자 컴퓨팅 디바이스를 액세스하는 사용자와 관련된 모션을 검출하도록 구성되고;
    프로세서를 포함하며, 상기 프로세서는,
    시간 주기 동안 각 모션과 관련된 속도 및 상기 모션을 수행한 사용자의 일부로부터 적어도 하나의 가상 오브젝트까지의 거리를 결정하고,
    시간 주기 동안 모션과 관련된 가속 속도의 결정에 응답하여 가상 환경을 위한 제1 인터렉션(interaction) 모드를 적용하고,
    시간 주기 동안 모션과 관련된 감속 속도의 결정에 응답하여 가상 환경에 대한 제2 인터렉션 모드를 적용하며,
    가상현실 환경에서 적용된 모드의 인디케이션을 디스플레이하고, 적용된 모드를 사용하여 모션 및 적어도 하나의 가상 오브젝트와 관련된 인터렉티브 기능을 실행하는 것을 특징으로 하는 시스템.
  12. 제11항에 있어서, 가상 오브젝트와 관련된 인터렉티브 기능은 가상 오브젝트에 대응하는 비접촉 선택 가능 메뉴를 포함하는 시스템.
  13. 제11항에 있어서, 제1 인터렉션 모드는 가상 환경에서 적어도 하나의 가상 오브젝트에 선택 가능한 부분들을 디스플레이하는 단계를 포함하고, 선택 가능한 부분들은 사용자의 일부로부터 적어도 하나의 가상 오브젝트까지의 속도와 거리를 검출한 후에 제공되는 시스템.
  14. 제11항에 있어서, 제2 인터렉션 모드는 가상 환경에서 적어도 하나의 가상 오브젝트에 다른 선택 가능한 부분들을 디스플레이하는 단계를 포함하고, 다른 선택 가능한 부분들은 기정의된 임계치 이후 및 사용자에 의해 수행된 부가적인 움직임을 검출한 후에 제공되는 시스템.
  15. 제11항에 있어서, 모션은 적어도 하나의 가상 오브젝트를 지향하는 눈 움직임과 관련되고, 눈 움직임은 약 50밀리 초 내지 약 100밀리 초의 고정 후에 인터렉티브 기능을 트리거링하는 시스템.
  16. 제11항에 있어서, 모션은 사용자의 눈 움직임과 관련되고, 눈 움직임은 적어도 하나의 가상 오브젝트로부터 멀어지는 방향으로 지향되는 시스템.
  17. 제11항에 있어서, 모션은 사용자의 손 움직임과 연관되고, 손 움직임은 적어도 하나의 가상 오브젝트 방향으로 지향되는 시스템.
  18. 컴퓨터 시스템의 프로세서에 의해 실행될 때 컴퓨터 시스템으로 하여금
    가상 환경에 대하여 복수의 비접촉 타겟을 생성하고, 복수의 비접촉 타겟 각각은 가상 오브젝트와 관련된 인터렉티브(interactive) 기능을 포함하고;
    가상 환경에서 제1 비접촉 입력을 검출하고, 비접촉 입력은 적어도 하나의 비접촉 타겟과 연관된 위치에 대응하고;
    제1 비접촉 입력이 적어도 하나의 비접촉 타겟과 관련된 기정의된 임계치를 만족하는지 결정하고, 제1 비접촉 입력이 기정의된 임계치를 만족한다고 결정할 때 상기 위치에 있는 적어도 하나의 비접촉 타겟을 헤드 마운트 디스플레이의 디스플레이에 제공하고; 그리고
    상기 위치에서 제2 비접촉 입력을 검출하는 것에 응답하여, 가상 환경에서 적어도 하나의 비접 타겟과 연관된 인터렉티브 기능을 실행하도록 하는 명령들을 포함하는 비일시적(non-transitory) 컴퓨터 판독 가능 매체.
  19. 제18항에 있어서, 제1 비접촉 입력은 사용자와 관련된 감속 속도를 포함하고, 제2 비접촉 입력은 헤드 마운트 디스플레이를 액세스하는 사용자와 관련된 시선을 포함하는 비일시적 컴퓨터 판독 가능 매체.
  20. 제18항에 있어서, 제2 비접촉 입력을 검출하는 것은 사용자 눈의 복수의 이미지를 분석하여 사용자와 관련된 시선 방향을 검출하는 것을 포함하고, 시선은 헤드 마운트 디바이스로 검출하는 비일시적 컴퓨터 판독 가능 매체.
KR1020177030804A 2015-08-04 2016-08-04 가상현실에서 시선 인터렉션을 위한 호버 행동 KR20170130582A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201562200821P 2015-08-04 2015-08-04
US62/200,821 2015-08-04
PCT/US2016/045518 WO2017024118A1 (en) 2015-08-04 2016-08-04 Hover behavior for gaze interactions in virtual reality

Publications (1)

Publication Number Publication Date
KR20170130582A true KR20170130582A (ko) 2017-11-28

Family

ID=56684293

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020177030804A KR20170130582A (ko) 2015-08-04 2016-08-04 가상현실에서 시선 인터렉션을 위한 호버 행동

Country Status (6)

Country Link
US (1) US20170038837A1 (ko)
EP (1) EP3332311B1 (ko)
JP (1) JP2018526693A (ko)
KR (1) KR20170130582A (ko)
CN (1) CN107787472A (ko)
WO (1) WO2017024118A1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190079913A (ko) * 2017-12-28 2019-07-08 광운대학교 산학협력단 가상현실 기반으로 오토마타를 조립하고 시뮬레이션하는 장치 및 방법
WO2020130275A1 (ko) * 2018-12-19 2020-06-25 주식회사 에이투젯 3차원 vr 콘텐츠 제작 시스템

Families Citing this family (56)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10514755B2 (en) * 2015-05-08 2019-12-24 Lg Electronics Inc. Glasses-type terminal and control method therefor
JP6516585B2 (ja) * 2015-06-24 2019-05-22 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 制御装置、その方法及びプログラム
US20170085964A1 (en) * 2015-09-17 2017-03-23 Lens Entertainment PTY. LTD. Interactive Object Placement in Virtual Reality Videos
US10962780B2 (en) * 2015-10-26 2021-03-30 Microsoft Technology Licensing, Llc Remote rendering for virtual images
KR20170051013A (ko) * 2015-11-02 2017-05-11 엘지전자 주식회사 테더링 형 hmd 및 그 hmd의 제어 방법
WO2017161192A1 (en) * 2016-03-16 2017-09-21 Nils Forsblom Immersive virtual experience using a mobile communication device
US10133345B2 (en) * 2016-03-22 2018-11-20 Microsoft Technology Licensing, Llc Virtual-reality navigation
US10048751B2 (en) 2016-03-31 2018-08-14 Verizon Patent And Licensing Inc. Methods and systems for gaze-based control of virtual reality media content
JP6851745B2 (ja) * 2016-08-04 2021-03-31 富士通株式会社 画像制御方法、装置、及びプログラム
US10867445B1 (en) * 2016-11-16 2020-12-15 Amazon Technologies, Inc. Content segmentation and navigation
GB2557594B (en) * 2016-12-09 2020-01-01 Sony Interactive Entertainment Inc Image processing system and method
US10482648B2 (en) * 2016-12-13 2019-11-19 Qualcomm Incorporated Scene-based foveated rendering of graphics content
US10120442B2 (en) * 2016-12-21 2018-11-06 Oculus Vr, Llc Eye tracking using a light field camera on a head-mounted display
GB2558284B (en) * 2016-12-23 2021-12-08 Sony Interactive Entertainment Inc Virtual reality
EP3588494B1 (en) * 2017-02-27 2024-04-03 Sony Group Corporation Information processing device, information processing method, and program
US10453273B2 (en) 2017-04-25 2019-10-22 Microsoft Technology Licensing, Llc Method and system for providing an object in virtual or semi-virtual space based on a user characteristic
JP6947661B2 (ja) * 2017-05-26 2021-10-13 株式会社コロプラ ヘッドマウントデバイスと通信可能なコンピュータによって実行されるプログラム、当該プログラムを実行するための情報処理装置、およびヘッドマウントデバイスと通信可能なコンピュータによって実行される方法
SE541650C2 (en) * 2017-05-30 2019-11-19 Crunchfish Ab Improved activation of a virtual object
CN107247424B (zh) * 2017-06-08 2019-03-29 浙江大学 一种基于激光距离传感器的ar虚拟开关的开关方法
US11079899B2 (en) * 2017-07-26 2021-08-03 Microsoft Technology Licensing, Llc Dynamic eye-gaze dwell times
EP3658057B1 (en) 2017-07-27 2023-08-30 Intuitive Surgical Operations, Inc. Association systems for manipulators
US11974827B2 (en) 2017-07-27 2024-05-07 Intuitive Surgical Operations, Inc. Association processes and related systems for manipulators
DK180470B1 (en) * 2017-08-31 2021-05-06 Apple Inc Systems, procedures, and graphical user interfaces for interacting with augmented and virtual reality environments
US10930075B2 (en) * 2017-10-16 2021-02-23 Microsoft Technology Licensing, Llc User interface discovery and interaction for three-dimensional virtual environments
BR112020010376A2 (pt) * 2017-12-22 2020-11-24 Telefonaktiebolaget Lm Ericsson (Publ) método para iniciar o controle de voz através da detecção de olhar, dispositivo para iniciar o controle de voz através da detecção de olhar, e, mídia legível por computador
JP6582205B2 (ja) * 2018-02-28 2019-10-02 株式会社コナミデジタルエンタテインメント 情報処理装置、情報処理装置のプログラム、ヘッドマウントディスプレイ、及び、情報処理システム
JP6623481B2 (ja) * 2018-03-23 2019-12-25 株式会社コナミデジタルエンタテインメント 情報処理装置、情報処理装置のプログラム、ヘッドマウントディスプレイ、及び、情報処理システム
US10748021B2 (en) 2018-05-11 2020-08-18 Samsung Electronics Co., Ltd. Method of analyzing objects in images recorded by a camera of a head mounted device
US20210318796A1 (en) * 2018-08-17 2021-10-14 Matrix Analytics Corporation System and Method for Fabricating Decorative Surfaces
CN110908568B (zh) * 2018-09-18 2022-11-04 网易（杭州）网络有限公司 一种虚拟对象的控制方法和装置
CN112654980A (zh) * 2018-09-21 2021-04-13 富士胶片株式会社 图像建议装置、图像建议方法及图像建议程序
CN109346014B (zh) * 2018-09-29 2020-07-03 歌尔科技有限公司 一种虚拟现实设备及其屏幕控制方法
JP7271171B2 (ja) 2018-12-27 2023-05-11 株式会社コロプラ プログラム、方法および情報処理装置
US11320957B2 (en) 2019-01-11 2022-05-03 Microsoft Technology Licensing, Llc Near interaction mode for far virtual object
US10930244B2 (en) * 2019-02-19 2021-02-23 Apical Limited Data processing systems
US11009698B2 (en) * 2019-03-13 2021-05-18 Nick Cherukuri Gaze-based user interface for augmented and mixed reality device
US11314383B2 (en) * 2019-03-24 2022-04-26 Apple Inc. Stacked media elements with selective parallax effects
CN110248091B (zh) * 2019-06-12 2021-06-04 Oppo广东移动通信有限公司 焦距调整方法及相关产品
US11516296B2 (en) * 2019-06-18 2022-11-29 THE CALANY Holding S.ÀR.L Location-based application stream activation
CN115004128A (zh) 2020-01-27 2022-09-02 奇跃公司 基于注视计时器的用户输入设备的功能增强
US11695758B2 (en) * 2020-02-24 2023-07-04 International Business Machines Corporation Second factor authentication of electronic devices
EP4200692A2 (en) 2020-09-25 2023-06-28 Apple Inc. Methods for adjusting and/or controlling immersion associated with user interfaces
US11320903B1 (en) 2020-10-20 2022-05-03 Rovi Guides, Inc. Methods and systems of extended reality environment interaction based on eye motions
US11392198B2 (en) 2020-10-20 2022-07-19 ROVl GUIDES, INC. Methods and systems of extended reality environment interaction based on eye motions
US11747896B2 (en) * 2020-10-20 2023-09-05 Rovi Guides, Inc. Methods and systems of extended reality environment interaction based on eye motions
US11281291B1 (en) 2020-10-20 2022-03-22 Rovi Guides, Inc. Methods and systems of extended reality environment interaction based on eye motions
US11609629B2 (en) 2020-10-20 2023-03-21 Rovi Guides, Inc. Methods and systems of extended reality environment interaction based on eye motions
CN112684883A (zh) * 2020-12-18 2021-04-20 上海影创信息科技有限公司 多用户对象区分处理的方法和系统
CN112612363A (zh) * 2020-12-18 2021-04-06 上海影创信息科技有限公司 基于余光区域的用户非偏好比较方法和系统
US11327630B1 (en) * 2021-02-04 2022-05-10 Huawei Technologies Co., Ltd. Devices, methods, systems, and media for selecting virtual objects for extended reality interaction
US11995230B2 (en) * 2021-02-11 2024-05-28 Apple Inc. Methods for presenting and sharing content in an environment
EP4323852A1 (en) * 2021-04-13 2024-02-21 Apple Inc. Methods for providing an immersive experience in an environment
CN113384233A (zh) * 2021-06-25 2021-09-14 长沙学院 一种利用vr眼镜快速检测近视的系统
US11986739B2 (en) * 2021-07-09 2024-05-21 Gel Blaster, Inc. Smart target co-witnessing hit attribution system and method
US11921918B2 (en) 2021-11-16 2024-03-05 Sony Interactive Entertainment LLC Heads up display in virtual reality
US20240103687A1 (en) * 2022-09-24 2024-03-28 Apple Inc. Methods for interacting with user interfaces based on attention

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2126142A1 (en) * 1994-06-17 1995-12-18 David Alexander Kahn Visual communications apparatus
US20060256133A1 (en) * 2005-11-05 2006-11-16 Outland Research Gaze-responsive video advertisment display
US8181122B2 (en) * 2007-07-30 2012-05-15 Perceptive Pixel Inc. Graphical user interface for large-scale, multi-user, multi-touch systems
EP2659335A4 (en) * 2010-12-29 2016-05-18 Thomson Licensing SYSTEM AND METHOD FOR RECOGNIZING GESTURES
US20130145304A1 (en) * 2011-12-02 2013-06-06 International Business Machines Corporation Confirming input intent using eye tracking
US9135508B2 (en) * 2011-12-20 2015-09-15 Microsoft Technology Licensing, Llc. Enhanced user eye gaze estimation
US9183676B2 (en) * 2012-04-27 2015-11-10 Microsoft Technology Licensing, Llc Displaying a collision between real and virtual objects
US9791921B2 (en) * 2013-02-19 2017-10-17 Microsoft Technology Licensing, Llc Context-aware augmented reality object commands
ES2731560T3 (es) * 2013-03-01 2019-11-15 Tobii Ab Interacción de mirada con deformación retardada
US9367136B2 (en) * 2013-04-12 2016-06-14 Microsoft Technology Licensing, Llc Holographic object feedback
US9230368B2 (en) * 2013-05-23 2016-01-05 Microsoft Technology Licensing, Llc Hologram anchoring and dynamic positioning
US9329682B2 (en) * 2013-06-18 2016-05-03 Microsoft Technology Licensing, Llc Multi-step virtual object selection
US10025378B2 (en) * 2013-06-25 2018-07-17 Microsoft Technology Licensing, Llc Selecting user interface elements via position signal
CN107087431B (zh) * 2014-05-09 2021-02-05 谷歌有限责任公司 用于辨别眼睛信号和连续生物识别的系统和方法
US10248192B2 (en) * 2014-12-03 2019-04-02 Microsoft Technology Licensing, Llc Gaze target application launcher
CN106200964B (zh) * 2016-07-06 2018-10-26 浙江大学 一种虚拟现实中基于移动轨迹识别进行人机交互的方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190079913A (ko) * 2017-12-28 2019-07-08 광운대학교 산학협력단 가상현실 기반으로 오토마타를 조립하고 시뮬레이션하는 장치 및 방법
WO2020130275A1 (ko) * 2018-12-19 2020-06-25 주식회사 에이투젯 3차원 vr 콘텐츠 제작 시스템
KR20200076234A (ko) * 2018-12-19 2020-06-29 주식회사 에이투젯 3차원 vr 콘텐츠 제작 시스템

Also Published As

Publication number Publication date
WO2017024118A1 (en) 2017-02-09
EP3332311B1 (en) 2019-12-04
JP2018526693A (ja) 2018-09-13
CN107787472A (zh) 2018-03-09
US20170038837A1 (en) 2017-02-09
EP3332311A1 (en) 2018-06-13

Similar Documents

Publication Publication Date Title
KR20170130582A (ko) 가상현실에서 시선 인터렉션을 위한 호버 행동
US11181986B2 (en) Context-sensitive hand interaction
JP6633256B1 (ja) 拡張現実および／または仮想現実環境におけるジェスチャーによる仮想注記面の生成
US20200342681A1 (en) Interaction system for augmented reality objects
CN107533374B (zh) 虚拟现实中的头部、手势和触摸输入的动态切换和合并
KR102105637B1 (ko) 가상 현실에서 오브젝트와 손의 상황 감지형 충돌을 통한 입력
US10509487B2 (en) Combining gyromouse input and touch input for navigation in an augmented and/or virtual reality environment
KR102338835B1 (ko) 증강 및/또는 가상 현실 환경에서의 세션 종료 검출
EP3850468B1 (en) Snapping range for augmented reality objects
WO2022212058A1 (en) Gaze and head pose interaction

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application