KR20180105671A - 증강/가상 현실 환경에서의 디바이스 페어링 - Google Patents

증강/가상 현실 환경에서의 디바이스 페어링 Download PDF

Info

Publication number
KR20180105671A
KR20180105671A KR1020187023340A KR20187023340A KR20180105671A KR 20180105671 A KR20180105671 A KR 20180105671A KR 1020187023340 A KR1020187023340 A KR 1020187023340A KR 20187023340 A KR20187023340 A KR 20187023340A KR 20180105671 A KR20180105671 A KR 20180105671A
Authority
KR
South Korea
Prior art keywords
virtual
controller
alignment
orientation
pairing
Prior art date
Application number
KR1020187023340A
Other languages
English (en)
Other versions
KR102073413B1 (ko
Inventor
크리스 매켄지
머피 스테인
앨런 브라우닝
Original Assignee
구글 엘엘씨
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 구글 엘엘씨 filed Critical 구글 엘엘씨
Publication of KR20180105671A publication Critical patent/KR20180105671A/ko
Application granted granted Critical
Publication of KR102073413B1 publication Critical patent/KR102073413B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/131—Protocols for games, networked simulations or virtual reality
    • H04L67/18—
    • H04L67/38—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/52—Network services specially adapted for the location of the user terminal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/72409—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories
    • H04M1/72412—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories using two-way short-range wireless interfaces
    • H04M1/7253—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W76/00—Connection management
    • H04W76/10—Connection setup
    • H04W76/14—Direct-mode setup
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0149—Head-up displays characterised by mechanical features
    • G02B2027/0167—Emergency system, e.g. to prevent injuries
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Signal Processing (AREA)
  • Optics & Photonics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

가상 현실 환경에서 제1 디바이스와 제2 디바이스를 페어링시키기 위한 시스템에서, 제1 디바이스는 전송 디바이스일 수 있고, 제2 디바이스는 수신 디바이스일 수 있다. 전송 디바이스는 수신 디바이스에 의해 수신되는 전자기 신호를 송신할 수 있다. 수신 디바이스는 수신 디바이스와 송신 디바이스의 물리적 근접도를 검증하도록 전자기 신호를 프로세싱하고, 페어링을 위해 전송 디바이스에 관련된 식별 정보를 추출할 수 있다. 수신 디바이스는, 제1 및 제2 디바이스들을 페어링시키기 위한 사용자의 의도를 검증하기 위해 조작될 하나 또는 그 초과의 가상 페어링 표시자들을 디스플레이할 수 있다.

Description

증강/가상 현실 환경에서의 디바이스 페어링
[0001] 본 출원은, 2016년 2월 22일자로 출원된 미국 가출원 제 62/298,378호를 우선권으로 주장하는, 2017년 2월 21일자로 출원된 미국 출원 제 15/438,216호의 계속출원이고 그 출원을 우선권으로 주장하며, 그 출원들의 개시내용들은 그들 전체가 본 인용에 의해 본 명세서에 포함된다.
[0002] 본 출원은 2016년 2월 22일자로 출원된 미국 가출원 제 62/298,378호를 우선권으로 주장하며, 그 가출원의 개시내용은 그 전체가 인용에 의해 본 명세서에 포함된다.
[0003] 본 출원은 일반적으로 가상 및/또는 증강 현실 환경에서의 전자 디바이스들의 페어링에 관한 것이다.
[0004] 증강 현실(AR) 시스템 및/또는 가상 현실(VR) 시스템은 3차원(3D) 몰입형 가상 환경을 생성할 수 있다. 사용자는 다양한 전자 디바이스들과의 상호작용을 통해 이러한 3D 몰입형 가상 환경을 경험할 수 있다. 예컨대, 사용자가 디스플레이 디바이스를 볼 때 바라보는 디스플레이, 안경들 또는 고글들을 포함하는 헬멧 또는 다른 헤드-장착형 디바이스는 사용자에 의해 경험될 3D 몰입형 가상 환경의 오디오 및 시각적 엘리먼트들을 제공할 수 있다. 외부 컴퓨팅 디바이스들, 이를테면 예컨대 외부 핸드헬드 디바이스들, 이를테면 하나 또는 그 초과의 제어기들, 센서들이 탑재된 글러브들, 및 다른 그러한 전자 디바이스들은 헤드 장착형 디바이스와 페어링되어, 사용자가 외부 컴퓨팅 디바이스의 조작을 통해 가상 환경에서 엘리먼트들을 통해 이동하게 하고 그 엘리먼트들과 상호작용하게 허용할 수 있다.
[0005] 일 양상에서, 컴퓨터로 구현되는 방법은, 제2 디바이스에 의해 송신된 신호를 제1 디바이스에 의해 검출하는 단계; 제1 디바이스의 프로세서에 의해, 제1 디바이스와 제2 디바이스의 상대적인 근접도를 검출하도록 신호를 프로세싱하는 단계; 제1 디바이스에 의해, 신호의 프로세싱에 기반하여 가상 페어링 표시자를 생성하는 단계; 제2 디바이스에 의해 송신된 신호에 기반하여 가상 페어링 표시자에 대한 제2 디바이스의 포지션 및 배향을 검출 및 추적하는 단계; 및 가상 페어링 표시자에 대한 제2 디바이스의 포지션 및 배향의 검출 및 추적에 기반하여 제1 디바이스와 제2 디바이스를 동작가능하게 커플링시키는 단계를 포함할 수 있다.
[0006] 다른 양상에서, 컴퓨팅 디바이스는 가상 환경을 생성하도록 구성된 제1 디바이스를 포함할 수 있다. 제1 디바이스는 실행가능한 명령들을 저장한 메모리, 및 명령을 실행하도록 구성된 프로세서를 포함할 수 있다. 명령들의 실행은 컴퓨팅 디바이스로 하여금, 제2 디바이스에 의해 송신된 신호를 검출하게 하고; 제1 디바이스와 제2 디바이스의 상대적인 근접도를 검증하도록 신호를 프로세싱하게 하고; 신호의 프로세싱에 기반하여 가상 페어링 표시자를 생성하게 하고; 제2 디바이스에 의해 송신된 신호에 기반하여 가상 페어링 표시자에 대한 제2 디바이스의 포지션 및 배향을 검출 및 추적하게 하며; 그리고 가상 페어링 표시자에 대한 제2 디바이스의 추적된 포지션 및 배향에 기반하여 제1 디바이스와 제2 디바이스를 동작가능하게 커플링시키게 할 수 있다.
[0007] 하나 또는 그 초과의 구현들의 세부사항들은 첨부한 도면들 및 아래의 설명에서 기재된다. 다른 특성들은 상세한 설명 및 도면들, 그리고 청구항들로부터 명백할 것이다.
[0008] 도 1은 본 명세서에 설명된 바와 같은 구현들에 따른, 헤드 장착형 디스플레이 디바이스 및 제어기를 포함하는 증강 및/또는 가상 현실 시스템의 일 예이다.
[0009] 도 2a 및 도 2b는 본 명세서에 설명된 바와 같은 구현들에 따른, 예시적인 헤드 장착형 디스플레이 디바이스의 사시도들이고, 도 2c는 예시적인 제어기를 예시한다.
[0010] 도 3은 본 명세서에 설명된 바와 같은 구현들에 따른, 헤드 장착형 전자 디바이스 및 제어기의 블록 다이어그램이다.
[0011] 도 4는 본 명세서에 설명된 바와 같은 구현들에 따른, 시스템의 전송기 및 수신기의 검출 영역 및 검출 범위를 예시한다.
[0012] 도 5a 내지 도 5d는 본 명세서에 설명된 바와 같은 구현들에 따른, 증강 및/또는 가상 현실 환경에서의 제1 디바이스와 제2 디바이스의 페어링을 예시한다.
[0013] 도 6a 내지 도 6i는 본 명세서에 설명된 바와 같은 구현들에 따른, 증강 및/또는 가상 현실 환경에서의 제1 디바이스와 제2 디바이스의 페어링을 예시한다.
[0014] 도 7은 본 명세서에 설명된 바와 같은 구현들에 따른, 증강 및/또는 가상 현실 환경에서 제1 디바이스와 제2 디바이스를 페어링하는 방법의 흐름도이다.
[0015] 도 8은 본 명세서에서 설명된 기법들을 구현하는 데 사용될 수 있는 컴퓨터 디바이스 및 모바일 컴퓨터 디바이스의 일 예를 도시한다.
[0016] 제1 전자 디바이스, 예컨대 헤드 장착형 디스플레이(HMD) 디바이스를 착용하여 증강 현실 환경 및/또는 가상 현실 환경에 몰입된 사용자는 3D 가상 환경을 탐색하고 다양한 상이한 타입들의 입력들을 통해 가상 환경과 상호작용할 수 있다. 이들 입력들은, 예컨대, HMD와 별개인 제2 전자 디바이스의 조작, HMD 그 자체의 조작, 및/또는 손/팔 제스처들, 헤드 움직임 및/또는 헤드 및/또는 눈 방향 시선 등을 통한 조작을 포함하는, 예컨대 물리적 상호작용을 포함할 수 있다. 제1 및 제2 전자 디바이스들은 제1 및 제2 전자 디바이스들 사이에서의 통신 및 데이터 교환을 용이하게 하고 제2 전자 디바이스에서 수신된 사용자 입력들을 제1 전자 디바이스에 송신하도록 동작가능하게 커플링 또는 페어링될 수 있다.
[0017] 본 명세서에 설명된 구현들에 따른 시스템 및 방법은, 제1 전자 디바이스, 이를테면 예컨대, 사용자에 의해 경험될 가상 환경을 생성하는 HMD와 제2 전자 디바이스, 이를테면 예컨대, HMD에 의해 생성된 가상 환경에서의 상호작용을 위한 사용자 입력을 수신할 수 있는 제어기 사이의 연결 설정을 용이하게 하여, 2개의 디바이스들이 정보를 통신 및 교환하게 허용할 수 있다. 본 명세서에 설명된 구현들에 따른 시스템 및 방법은, HMD 또는 제어기 중 하나에 의해 방출된 신호들에 포함되고 HMD 또는 제어기 중 다른 하나에 의해 수신된 정보에 기반하여 2개의 디바이스들 사이의 이러한 동작가능한 커플링을 용이하게 할 수 있다. 이들 신호들은, 예컨대 전자기 신호들, 음향 신호들, 및/또는, 예컨대 디바이스(들)의 상대적인 포지션 및/또는 배향 및/또는 디바이스(들)의 상대적인 근접도에 관련된 정보를 제공할 수 있는 다른 타입들의 신호들을 포함할 수 있다. 이들 타입들의 신호들에 포함된 정보는, 예컨대 시스템이 2개의 디바이스들의 물리적 근접도를 검출하게 하고, 2개의 디바이스들 사이의 통신을 설정하거나 또는 2개의 디바이스들을 페어링하기 위해 사용자의 의도를 명확하게 확인하게 하며, 그리고 (수동적인 사용자 입력들 중 일부가 있다면) 페어링 프로세스를 복잡하게 하고 가상 경험의 사용자의 즐거움을 떨어뜨릴 수 있는 수동적인 사용자 입력들 중 일부 없이도 2개의 디바이스들을 안전하게 페어링하는 것으로 진행하게 허용할 수 있다. 이후, 논의의 용이함을 위해 간단히, 통신을 설정하고 동작 동안 2개의 디바이스들 사이에서의 정보의 교환을 허용하기 위한 2개의 전자 디바이스들 사이의 이러한 타입의 동작가능 커플링은 페어링으로 지칭될 것이다.
[0018] 도 1에 도시된 예시적인 구현에서, HMD(100)를 착용한 사용자는 휴대용 제어기(102)를 들고 있다. 제어기(102)는, 예컨대 게임 제어기, 스마트폰, 조이스틱, 또는 HMD(100)에 동작가능하게 커플링되거나, 또는 그것과 페어링되어 그것과 통신할 수 있는 다른 휴대용 전자 디바이스일 수 있다. 도 1에 도시된 예에서, 하나의 제어기(102)만이 (논의 및 예시의 용이함을 위해 간단히) 예시되지만, 2개(또는 그 초과)의 부가적인 외부 디바이스들이 가상 환경에서 HMD(100)와 페어링/상호작용될 수 있다. 동작 동안(페어링 이후) 제어기(102)(및/또는 다른 외부 디바이스들)는, 예컨대 유선 연결 또는 무선 연결, 이를테면 예컨대, WiFi 또는 블루투스 연결, 또는 정보를 교환하고, 제어기(102)의 사용자 입력의, HMD(100)에 의해 생성된 몰입형 가상 환경에서의 대응하는 상호작용으로의 변환을 용이하게 하기 위해 디바이스들 둘 모두에서 이용가능한 다른 통신 모드를 통해 HMD(100)와 통신할 수 있다.
[0019] 몇몇 예시들에서, 가상 환경에서의 통신 및 동작을 위하여 HMD(100)와 제어기(102)를 안전하게 페어링하기 위해, HMD(100) 또는 제어기(102) 중 하나는 주어진 통신 범위 내에서 페어링에 적합한 다른 디바이스들을 스캐닝 및 검출할 수 있으며, 사용자가 특정 디바이스를 선택하고, 인가 코드들을 입력하여 페어링을 인가한 이후 디바이스 페어링이 수행될 수 있다. 예컨대, HMD(100)는 (예컨대, 이전에 페어링된 디바이스들의 저장된 리스트로부터, 적합한 디바이스들의 저장된 리스트로부터, 주어진 범위 내에서 적합한 디바이스들을 검색하는 스캔으로부터, 그리고/또는 이들의 조합으로부터) 페어링에 적합한 디바이스들의 리스트를 디스플레이할 수 있다. 사용자는 페어링을 개시할 디바이스, 예컨대 제어기(102)를 선택하기 위해 리스트를 스크롤할 수 있다. 그 후, 사용자는 페어링이 수행되어 통신이 HMD(100)와 제어기(102) 사이에 설정되기 전에, 제어기(102)의 인증 및 검증을 위한 패스코드, 및/또는 다른 타입들의 정보를 입력하도록 프롬프트될 수 있다. 몇몇 예시들에서, 사용자에게 제시된 리스트 상에 포함된 디바이스들은 직관적으로 이름이 정해지지 않을 수 있으므로, 특정 디바이스의 식별이 어려울 수 있고 그리고/또는 인증을 위해 요구되는 패스코드들이 사용자에게 항상 용이하게 이용가능하지는 않을 수 있고 그리고/또는 입력하기에 어렵거나 또는 번거로울 수 있다. 이러한 프로세스는 시간 소모적일 수 있고, 에러가 발생하기 쉬울 수 있으며, 가상 환경에서 사용자의 경험을 떨어뜨릴 수 있다. HMD(100) 또는 제어기(102) 중 하나에 의해 송신되고 HMD(100) 또는 제어기(102) 중 다른 하나에 의해 수신되는 신호, 이를테면 예컨대, 전자기 신호 또는 음향 신호는 HMD(100) 및 제어기(102)의 상대적인 포지션 및/또는 배향의 검출을 허용할 수 있다. 이것은 (디바이스들의 리스트로부터의 선택보다는) HMD(100) 및 제어기(102)의 물리적 근접도의 검출 및/또는 검증, 및 예컨대, (사용자가 용이하게 액세스가능하지 않을 수 있는 더 복잡한 패스코드의 입력보다는) 셋팅된 제스처와 HMD(100)에 대한 제어기(102)의 포지션/포즈 사이의 대응도에 기반한 인증을 허용할 수 있다.
[0020] 도 2a 및 도 2b는 예시적인 HMD, 이를테면 예컨대 도 1에서 사용자에 의해 착용되는 HMD(100)의 사시도들이고, 도 2c는 예시적인 제어기, 이를테면 예컨대 도 1에 도시된 제어기(102)를 예시한다. 도 3은 제2 전자 디바이스(302)와 통신하는 제1 전자 디바이스(300)를 포함하는 증강 현실 및/또는 가상 현실 시스템의 블록 다이어그램이다. 제1 전자 디바이스(300)는 몰입형 가상 환경을 생성하는, 예컨대 도 1, 도 2a 및 도 2b에 도시된 바와 같은 HMD일 수 있고, 제2 전자 디바이스(302)는, 예컨대 도 1 및 도 2c에 도시된 바와 같은 제어기일 수 있다. 위에서 언급된 바와 같이, 제1 전자 디바이스(300) 및 제2 전자 디바이스(302)는, 디바이스들 사이에서 통신을 설정하고, 가상 환경에서 가상 오브젝트들, 피처들, 엘리먼트들 등과의 사용자 상호작용을 용이하게 하도록 페어링될 수 있다.
[0021] 예컨대, 전자기 신호들 또는 음향 신호들을 사용하여 2개의 상이한 전자 디바이스들을 페어링시키기 위한 시스템 및 방법에서, 전자 디바이스들 중 하나는 신호(들)를 송신하는 전송기일 수 있고, 전자 디바이스들 중 다른 하나는 송신된 신호(들)를 수신하는 수신기일 수 있다. 이후, 논의 및 예시의 용이함을 위해 간단히, 제어기(102)가 (예컨대, 전자기 및/또는 음향) 신호(들)의 전송기이고 HMD(100)가 (예컨대, 전자기 및/또는 음향) 신호(들)의 수신기인 예들이 제시될 것이며, 수신된 신호(들)는 HMD(100)에 대한 제어기(102)의 3차원 포지션 및 배향을 검출(및 몇몇 구현들에서는 추적)하도록 HMD(100)에 의해 사용된다. 그러나, 몇몇 구현들에서, HMD(100)는 HMD(100) 및 제어기(102)의 3차원의 상대적인 포지션 및 배향을 검출하기 위하여 제어기(102)에 의해 수신될 (예컨대, 전자기 및/또는 음향) 신호(들)를 송신하는 전송기일 수 있다. 몇몇 구현들에서, HMD(100)는 (예컨대, 전자기 및/또는 음향) 신호(들)의 전송 및 수신 둘 모두를 행할 수 있고, 제어기(102)는 (예컨대, 전자기 및/또는 음향) 신호(들)의 전송 및 수신 둘 모두를 행할 수 있다.
[0022] 위에서 언급된 바와 같이, 시스템은 다양한 상이한 방식들로 시스템에서 동작하는 전자 디바이스의 포지션 및/또는 배향 중 적어도 하나를 검출 및 추적할 수 있다. 예컨대, 몇몇 구현들에서, 시스템은 6 자유도(6DOF)의 포지션 및 배향, 또는 포즈를 검출 및 추적할 수 있다. 전자 디바이스, 이를테면 예컨대 제어기(102)는 송신 디바이스 또는 송신기 또는 전송기에 의해 방출되고 수신 디바이스 또는 수신기에 의해 수신된 음향 신호들에 기반한다. 예컨대, 송신 디바이스는 확산 스펙트럼 음향 신호들, 예컨대 확산 스펙트럼 초음파 신호들을 방출할 수 있다. 송신 디바이스에 의해 방출된 확산 스펙트럼 신호들은, 신호들이 생성되는 시점에 송신 디바이스의 특징들과 연관된 음향 서명을 생성할 수 있다. 이들 확산 스펙트럼 신호들은 수신 디바이스에 의해 검출 또는 수신될 수 있다. 송신 디바이스의 6DOF 포즈 및/또는 송신 디바이스 및 수신 디바이스의 상대적인 포지션 및 배향은 이들 음향 신호들과 연관된 음향 서명에 기반하여 결정될 수 있다.
[0023] 몇몇 구현들에서, 시스템은 송신 디바이스 또는 송신기 또는 전송기에 의해 방출되고 수신 디바이스 또는 수신기에 의해 수신된 전자기 신호들에 기반하여 전자 디바이스, 이를테면 예컨대 제어기(102)의 포지션 및 배향, 또는 6DOF 포즈를 검출 및 추적할 수 있다. 이후, 논의 및 예시의 용이함을 위해 간단히, 전자 디바이스들의 6DOF 추적은 그것이 설명될 디바이스들의 페어링과 연관된 원리들에 관련되므로, 전자기 신호들의 송신 및 수신에 대해 논의될 것이다. 그러나, 본 명세서에 설명될 원리들은 전자 디바이스들의 6DOF 추적이 다른 방식들로, 이를테면 예컨대, 음향 신호들에 기반하여 달성되는 상황들에 적용될 수 있다. 추가로, 전자 디바이스들의 6DOF 추적이 적용되는 예들에 대해 원리들이 설명될 수 있지만, 이들 원리들은 또한, 시스템이, 예컨대 전자 디바이스(들)의 포지션만 및/또는 전자 디바이스(들)의 배향만을 검출 및 추적하는 상황들에 적용될 수 있다.
[0024] 예컨대, 제어기(102) 및/또는 HMD(100)에 의해 송신된 전자기 신호는 전기장 및 자기장의 동기화된 진동들을 갖는 전자기 파의 형태로 표현될 수 있다. 전자기 신호의 전자파 컴포넌트 및 자기파 컴포넌트는 동위상이고, 서로 수직하게 또는 90도로 지향성으로 배향된다. 도 4에 도시된 바와 같이, 전송기(420)에 의해 송신되고 수신기(440)에 의해 검출된 전자기 신호(450)의 속성들은, 특정 검출 영역(400) 또는 범위(410) 내에서 전송기(420)의 존재를 검출하고, 그리고/또는 수신기(440)에 대한 전송기(420)의 포지션 및 배향을 검출하도록 수신기(440)에 의해 프로세싱될 수 있다. 도 4에 도시된 예에서, 논의 및 예시의 용이함을 위해 간단히, 검출 영역(400)은 수신기(440)를 에워싸는 원으로서 예시되고, 검출 범위(410)는 원의 반경으로 예시되며, 수신기(440)는 원의 중심 또는 검출 영역(440)에 있다. 이러한 방식으로, 제어기(102)로부터의 전자기 신호(들)의 송신은 HMD(100)에 의해 수신되고, HMD(100)의 검출 범위 내에서 제어기(102)의 존재를 검출하도록 HMD(100)에 의해 프로세싱되어, HMD(100)와 제어기(102)의 물리적 근접도 및 HMD(100)에 대한 제어기(102)의 포지션 및 배향을 표시할 수 있다. 이러한 방식으로의 전자기 신호(들)의 계속적인 송신, 수신 및 프로세싱은 사용자가 가상 환경을 경험할 때 HMD(100)에 대한 제어기(102)의 6-자유도 추적을 제공할 수 있다. 전자기 파들과 연관된 속성들은 비교적 짧은 범위, 이를테면 예컨대, 사용자의 헤드 상에 착용된 HMD(100)와 사용자의 손에 든 제어기(102) 사이의 대표적인 거리(즉, 대략 팔의 길이) 내에서 특히 신뢰가능한 이러한 방식으로 전자기 신호들의 송신 및 검출을 렌더링할 수 있다.
[0025] 위에서 설명된 바와 같은 검출 범위 내에서의 제어기(102)(이러한 예에서는 전송기)의 검출에 대한 응답으로, HMD(100)(이러한 예에서는 수신기)는 검출된 제어기(102)를 HMD(100)와 페어링시키기 위한 사용자의 의도의 검증을 포함하여, HMD(100)와 제어기(102)를 페어링시키기 위한 프로세스를 개시할 수 있다. 이것은 도 5a 내지 도 5d를 참조하여 더 상세히 설명될 것이다.
[0026] 위에서 언급된 바와 같이, 본 명세서에 설명된 바와 같은 구현들에 따른 증강 및/또는 가상 현실 시스템은 위에서 설명된 HMD(100) 및 제어기(102)를 포함하거나 또는 그 대신, 서로 통신하는 다수의 상이한 전자 디바이스들을 포함할 수 있다. 이후, HMD(100) 및 제어기(102)는 논의 및 예시의 용이함을 위해 간단히, 페어링될 예시적인 전자 디바이스들로서 기능할 것이다. 다음의 예시적인 구현들에서, 시스템, 예컨대 시스템에서 동작하는 HMD(100) 및 제어기(102)가 페어링 모드에 있다고 가정될 것이다. 몇몇 구현들에서, 시스템은 항상 페어링 모드에 있을 수 있으며, 시스템은 항상 페어링에 적합한 디바이스들을 검색한다. 몇몇 구현들에서, 페어링 모드는 페어링을 요청하는 사용자 입력 대한 응답으로 개시될 수 있다. 몇몇 구현들에서, 페어링 모드는, 애플리케이션에서 효율적인 사용자 상호작용을 위해 컴패니언 디바이스(companion device), 이를테면 제어기가 필요한 애플리케이션을 실행할 경우 시스템에 의해 개시될 수 있다. 몇몇 구현들에서, 페어링 모드는 시스템이 동작 상태가 될 때마다 개시될 수 있다. 페어링 모드는 다수의 다른 방식들로 및/또는 다수의 다른 입력들 및/또는 인자들에 대한 응답으로 개시될 수 있다. 다음의 예시적인 구현들에서, 논의의 용이함을 위해 간단히, 페어링 모드가 특정 시스템과 호환가능한 몇몇 방식으로 개시된다는 것이 가정될 것이다.
[0027] 도 5a 내지 도 5d에 도시된 예에서, 각각의 도면의 좌측은 HMD(100)를 착용하고 제어기(102)를 들고 있는 사용자의 제3자 시점을 예시하고, 각각의 도면의 우측은 HMD(100)에 의해 생성된 가상 환경에서 사용자가 볼 수 있는 예시적인 가상 장면(600)의 일인칭 시점을 예시한다. 도 5a 내지 도 5d에서, 제어기(102)는 설명의 용이함을 위해 간단히 예시적인 가상 장면(600)에 예시된다. 몇몇 구현들에서, HMD(100)에 의해 생성되고 예컨대, HMD(100)의 디스플레이(140) 상에서 사용자에게 디스플레이되는 가상 환경 내의 가상 오브젝트들에 대한 제어기(102)의 포지션 및/또는 배향의 표시를 사용자에게 제공하기 위해, 제어기(102)의 가상 렌더링은 사용자가 보는 가상 장면(600)에 포함될 수 있거나, 또는 제어기(102)의 패스 스루(pass through) 이미지가 가상 장면(600)에서 사용자에게 디스플레이될 수 있다.
[0028] 도 5a에 도시된 바와 같이, 수신기 또는 HMD(100)는 전송기 또는 제어기(102)에 의해 생성된 전자기 신호를 검출할 수 있다. 전자기 신호와 연관된 속성들은 HMD(100)에 대한 제어기(102)의 3차원 포지션 및 배향에 부가하여 HMD(100)에 대한 제어기(102)의 물리적 근접도의 표시를 제공할 수 있다. HMD(100)의 검출 범위에서의 제어기(102)의 검출에 대한 응답으로, 가상 페어링 표시자(500), 예컨대 제어기(102)에 대응하고 가상 환경 내의 가상 오브젝트로서 사용자에게 디스플레이되는 렌더링된 이미지는, 제어기(102)가 검출 범위 내에 있고 HMD(100)와 페어링하는 데 이용가능하다는 것을 사용자에게 표시할 수 있다. 렌더링된 이미지는, 예컨대 HMD(100)에 의해 생성된 가상 환경 내의 가상 오브젝트로서 디스플레이되는 3차원의 렌더링된 이미지일 수 있다. 가상 페어링 표시자(500)에 대한 응답으로, 사용자는, 제어기(102)가 도 5b에 도시된 바와 같이 가상 페어링 표시자(500)와 실질적으로 정렬될 때까지, 도 5a의 화살표들에 의해 도시된 바와 같이 가상 페어링 표시자(500)를 향한 제어기(102)의 움직임을 개시할 수 있다. 렌더링된 이미지는 페어링 프로세스에서 제어기(102)의 정렬을 위한 가상 정렬 영역을 정의할 수 있다. 가상 환경 내의 가상 오브젝트로서 가상 정렬 영역의 가상의 렌더링된 이미지의 디스플레이는, 셋팅된 검증 기준들을 충족 및 달성하여 페어링 프로세스를 완료하기 위해 제어기(102)를 가상 페어링 표시자(500)와 정렬시켜 유지하도록, 사용자가 물리적 공간에서 제어기(102)를 이동시킬 때 HMD(100)를 착용한 사용자가 제어기(102)의 포지션 및 배향을 제어하게 허용할 수 있다. 이러한 방식으로, 페어링이 HMD(100)와 제어기(102) 사이에서 달성될 수 있으면서, HMD(100)의 물리적 근접도 내에 있을 수 있는 다른 디바이스들과의 페어링이 회피될 수 있다. 몇몇 구현들에서, 디바이스들(즉, HMD(100) 및 제어기(102))이 페어링되었음을 확인하는 셋팅된 검증 기준들은 가상 정렬 영역 또는 일련의 가상 정렬 영역들에서 제어기(102)를 정렬시키고, 셋팅된 시간의 양 동안 가상 정렬 영역에서 제어기의 정렬을 유지하는 등에 의해 충족/달성될 수 있다. 예컨대, 검증 입력의 검출, 예컨대 셋팅된 시간의 양 동안의 가상 정렬 영역에서의 제어기(102)의 검출된 정렬 시에, 페어링 프로세스는 완료될 수 있다.
[0029] 제어기(102)는 설명에서 명확함을 제공하기 위해 도 5a-5b에 도시된 예에 예시된다. 위에서 언급된 바와 같이, 몇몇 구현들에서, 이를테면 예컨대, 가상 현실 환경에서, 제어기(102)의 가상 렌더링은, HMD(100)에 의해 생성된 가상 현실 환경에서 가상 페어링 표시자(500)와 함께 가상 오브젝트로서 사용자에게 디스플레이되고, 사용자가 보는 가상 장면(600)에서 사용자에게 디스플레이될 수 있다. 몇몇 구현들에서, 제어기(102)의 패스 스루 이미지는 가상 페어링 표시자(500)와 함께 사용자에게 디스플레이될 수 있다. 몇몇 구현들에서, 이를테면 예컨대, 대안적인/혼합된 실제 환경에서, 제어기(102)는 가상 페어링 표시자(500)와 함께 HMD(100)를 통해 가시적일 수 있다.
[0030] 몇몇 구현들에서, 가상 페어링 표시자(500)는, 예컨대 폐쇄된 곡선 형상의 형태일 수 있다. 몇몇 구현들에서, 가상 페어링 표시자(500)는, 예컨대 하나 또는 그 초과의 인덱싱 및/또는 정렬 마커들의 형태일 수 있다. 몇몇 구현들에서, 가상 페어링 표시자(500)는, 예컨대 제어기(102)가 정렬될 수 있는 가상 구역을 표시하는 3차원의 양식화된 렌더링된 이미지일 수 있다. 몇몇 구현들에서, 가상 페어링 표시자(500)의 시각적인 표현은 검출된 제어기(102)에 대응하는 하나 또는 그 초과의 피처들을 포함할 수 있으므로, 예컨대, 가상 페어링 표시자(500)의 윤곽은 제어기(102)의 윤곽과 가능한 가깝게 매칭하며, 그외 다른 것이 가능하다. 이것은 제어기(102)의 HMD(100)와의 의도적인 페어링의 더 명확한 검증을 허용할 수 있다.
[0031] 몇몇 구현들에서, 제어기(102)에 의해 생성된 전자기 신호는 전송기(이러한 예에서는 제어기(102))에 관련된 식별 정보를 포함하도록 변조될 수 있다. 이러한 식별 정보는 시스템이, 예컨대 가상 페어링 표시자(500)에 대한 제어기(102)의 시각적인 표현을 더 정확하게 랜더링하게 하고, 호환가능한 통신 프로토콜을 선택하게 허용하는 등일 수 있다.
[0032] 몇몇 구현들에서, 제어기(102)가 검출될 수 있고, 검출된 제어기(102)의 움직임이 시스템에 의해 추적될 수 있다. 몇몇 구현들에서, 제어기(102)에 부가하여 또는 그 대신, 사용자의 손이 시스템에 의해 검출 및 추적될 수 있다. 이것은, 제어기(102)가 가상 페어링 표시자(500)를 향해 이동될 때, 검출된 제어기(102)(및 손)의 이미지가 렌더링되게 하고, 제어기(102)(및 손)의 렌더링된 이미지가 가상 환경에서 가상 페어링 표시자(500)와 함께 디스플레이되게 허용할 수 있다. 몇몇 구현들에서, 가상 페어링 표시자(500)는, HMD(100) 상에서 제공되는 패스 스루 카메라에 의해 캡처되어 사용자에게 디스플레이되는 사용자의 손 및 제어기(102)의 이미지 뿐만 아니라, 예컨대 물리적 환경의 대응하는 부분 상에 중첩될 수 있다.
[0033] 사용자는, 가상 페어링 표시자(500)를 향한 제어기(102)의 움직임 및 제어기(102)의 가상 페어링 표시자(500)와의 정렬이 의도적임을 확인할 수 있고, 예컨대, 이전에 셋팅된 검증 기준들에 기반하여 HMD(100)와 제어기(102)의 페어링으로 진행하기 위한 의도를 검증할 수 있다. 이러한 검증 기준들은, 예컨대 도 5c에 도시된 바와 같이, 이전에 셋팅된 시간의 양 동안 제어기(102)와 가상 페어링 표시자(500)의 정렬된 포지션을 유지하는 것을 포함할 수 있다. 몇몇 구현들에서, 가상 진행 표시자(510)가 가상 환경에서 사용자에게 디스플레이될 수 있다. 가상 진행 표시자(510)는, 예컨대 검증을 위한 얼마나 많은 셋팅된 시간이 경과되었는지의 시각적인 표시를 사용자에게 제공할 수 있다. 제어기(102)가 가상 페어링 표시자(500)와 정렬되면서, 셋팅된 시간의 양이 경과된 이후, HMD(100)와 제어기(102)가 페어링되어, 예컨대 블루투스, WiFi, 또는 HMD(100) 및 제어기(102)에 이용가능한 다른 통신을 통해 위에서 설명된 바와 같이 HMD(100)와 제어기(102) 사이의 통신을 가능하게 할 수 있다.
[0034] 위에서 설명된 바와 같이 제어기(102)와 HMD(100)를 페어링시키기 위한 시스템 및 방법에서, 전자기 신호는 HMD(100)의 물리적 근접도 내에서 제어기(102)를 식별하는 포지션 및 배향 벡터를 포함할 수 있다. 제어기(102)의 움직임 및 제어기(102)의 가상 페어링 표시자(500)와의 지속된 정렬은, 예컨대 (예컨대, 디바이스들의 리스트 상에 포함된 디바이스들과 연관된 명칭에 기반하여) 식별하기에 어려울 수 있는 디바이스들의 리스트로부터 페어링될 디바이스를 선택하고 그리고/또는 인증을 위해 패스코드들 등에 액세스하여 이를 입력하도록 사용자에게 요구하지 않으면서, 제어기(102)와 HMD(100)의 검증된 안전한 페어링을 허용할 수 있다.
[0035] 부가적으로, 이러한 방식의 제어기(102)와 HMD(100)의 페어링은, 예컨대 블루투스 비콘과 연관된 수신 신호 강도 표시자(RSSI)에 의존하는 것과 비교할 때 제어기(102)와 HMD(100)의 물리적 근접도의 더 신뢰가능한 표시자를 제공할 수 있다. 즉, 제1(소스) 디바이스는 제1 블루투스 방출기를 포함할 수 있고, 제2(소스) 디바이스는 제1 블루투스 방출기보다 더 강한 제2 블루투스 방출기를 포함할 수 있다. 몇몇 상황들에서, 비교적 더 높은 강도의 제2 블루투스 방출기는, (더 약한 RSSI를 갖는) 제1(소스) 디바이스가 수신 디바이스에 물리적으로 더 가까울 수 있더라도, 수신 디바이스가 제2(소스) 디바이스에 대해 더 높은 RSSI를 검출하는 것을 초래할 수 있다. 따라서, 몇몇 예시들에서, RSSI는 디바이스들의 상대적인 물리적 근접도의 신뢰가능한 표시자가 아닐 수 있다. 추가로, 소스 디바이스에 의해 방출된 블루투스 비콘은 사용자 식별불능 정보를 포함하여, 잘못된 디바이스 선택 및 페어링 실패를 유도할 수 있다.
[0036] 대조적으로, 본 명세서에 설명된 구현들에 따른 시스템 및 방법에서, 수신된 전자기 신호(또는 위에서 설명된 바와 같은 수신된 음향 신호)로부터 도출된 6DOF 포즈 정보는 송신 및 수신 디바이스 둘 모두에 대해, 송신 및 수신 디바이스들이 본질적으로 코-로케이팅(co-locate)됨을 검증하는 데 사용될 수 있다. 식별 정보를 포함하기 위한 전자기 신호의 변조는 수신 디바이스가 페어링에 적합한 알려진 디바이스로서 송신 디바이스를 명확하게 식별하게 허용할 수 있다. 송신 디바이스의 가상 이미지의 가상 페어링 표시자와의 지속된 정렬은 송신 및 수신 디바이스들을 페어링시키기 위한 사용자의 의도의 명확한 검증을 제공할 수 있다. 이것은 더 안전하고 간략화된 페어링 프로세스를 제공할 수 있으며, 덜 복잡한 페어링 프로세스가 가상 환경에서 사용자의 경험을 개선시킬 수 있다.
[0037] 몇몇 구현들에서, HMD(100)를 검출된 제어기(102)와 페어링시키기 위한 사용자의 의도의 검증은, 도 6a 내지 도 6g에 도시된 가상 환경의 일인칭 시점들(즉, HMD(100)에 의해 생성되고 사용자에게 디스플레이 되어 사용자가 보는 가상 환경의 가상 장면(600)의 사용자의 시점)에서 예시된 바와 같이, 제어기(102)의 HMD(100)와의 페어링을 완료하기 전에, 다수의 상이한 가상 포지션들에서의 다수의 상이한 가상 페어링 표시자들과 검출된 제어기(102)의 정렬을 수반할 수 있다. 도 6a에 도시된 바와 같이, 페어링 모드의 개시(예컨대, HMD(100)의 검출 범위에서의 제어기(102)의 검출)에 대한 응답으로, 제1 가상 위치의 제1 가상 페어링 표시자(500A)는, 제어기(102)가 HMD(100)의 검출 범위 내에 있고 HMD(100)와의 페어링에 이용가능하다는 것을 사용자에게 표시할 수 있고, 사용자는 제1 가상 페어링 표시자(500A)를 향한 제어기(102)의 움직임을 개시할 수 있다. 도 6b에 도시된 바와 같이, 제어기(102)가 제1 가상 페어링 표시자(500A)와 정렬됨에 따라, 정렬이 제1의 셋팅된 시간의 양 동안 유지될 수 있다. 제1의 셋팅된 시간의 양 동안의 제어기(102)의 제1 페어링 표시자(500A)와의 정렬을 유지하는 것을 향한 진행은 도 6c에 도시된 바와 같이, 제1 가상 진행 표시자(510A)에 의해 사용자에게 디스플레이될 수 있다. 제어기(102)가 제1 가상 페어링 표시자(500A)와 정렬되면서 제1의 셋팅된 시간의 양이 경과한 이후, 시스템은 도 6d에 도시된 바와 같이 제2 가상 페어링 표시자(500B)를 디스플레이할 수 있고, 사용자는 제어기(102)를, 도 6c에 도시된 제1 가상 페어링 표시자(500A)와의 그것의 정렬된 포지션으로부터 도 6e에 도시된 바아 같은 제2 가상 페어링 표시자(500B)와의 정렬된 포지션으로 이동시킬 수 있다. 제2 가상 페어링 표시자(500B)와의 정렬은 제2의 셋팅된 시간의 양 동안 유지될 수 있으며, 도 6g에 도시된 바와 같이 진행이 제2 가상 진행 표시자(510B)에 의해 사용자에게 디스플레이된다. 제어기(102)가 제2 가상 페어링 표시자(500B)와 정렬되면서, 제2의 셋팅된 시간의 양이 경과된 이후, 지정된 페어링 시퀀스가 완료될 수 있으며, HMD(100)와 제어기(102)가 페어링되어, 예컨대 블루투스, WiFi, 또는 HMD(100) 및 제어기(102)에 이용가능한 다른 통신을 통해 위에서 설명된 바와 같이 HMD(100)와 제어기(102) 사이의 통신을 가능하게 할 수 있다.
[0038] 도 6a-도 6g에 도시된 예에서, 논의 및 예시의 용이함을 위해 간단히, 일련의 2개의 가상 페어링 표시자들(500A 및 500B)이 도시된다. 몇몇 구현들에서, 일련의 2개 초과의 가상 페어링 표시자들이 제어기(102)와 HMD(100)의 페어링을 확인하기 위해 사용될 수 있다. 즉, 몇몇 구현들에서, 사용자는 제어기(102)의 단일의 가상 페어링 표시자(500)와의 단일의 지속된 정렬 및/또는 제어기(102)의 다수의 가상 페어링 표시자들(500A 내지 500N)과의 다수의 지속된 정렬들을 요구하기로 선택할 수 있다. 몇몇 구현들에서, 페어링 시퀀스를 완료하는 데 요구되는 가상 페어링 표시자들의 수는 사용자에 의해 셋팅될 수 있고 그리고/또는, 예컨대 특정 애플리케이션이 실행되는 것, 특정 장소, 및 다른 그러한 인자들에 기반하여 사용자에 의해 적응될 수 있다. 몇몇 구현들에서, 페어링 시퀀스를 완료하는 데 요구되는 가상 페어링 표시자들의 수는 제조사에 의해 이전에 셋팅되고 그리고/또는 사용자에 의해 조정될 수 있다.
[0039] 몇몇 구현들에서, HMD(100)와 제어기(102)를 페어링시키기 위한 사용자의 의도의 검증은, 가상 환경에서 사용자에게 디스플레이되는 가상 장면(600)에서 HMD(100)에 의해 생성되고 HMD(100)에 의해 디스플레이되는 특정 가상 패턴 또는 가상 자취(trace) 또는 일련의 가상 패턴들 또는 가상 자취들을 따르는 것을 수반할 수 있다. 예컨대, 도 6h에 도시된 바와 같이, 위에서 설명된 바와 같이 HMD(100)의 검출 범위에서의 제어기(102)의 검출에 대한 응답으로, 제1 가상 패턴 표시자(700A)는 사용자에게 디스플레이되어, 사용자가 제어기(102)와 HMD(100)의 페어링을 달성하기 위해 제어기(102)를 이동시킬 시에 따를 가상 경로 또는 가상 자취를 표시할 수 있다. 제어기(102)가 HMD(100)에 대해 이동될 경우, 예컨대, HMD(100)에 대한 제어기(102)의 6DOF 포즈가 검출되어 추적될 수 있을 때, 시스템은 제어기(102)가 제1 가상 패턴 표시자(700A)에 의해 식별되는 규정된 가상 경로를 따라 이동됨을 검증할 수 있다. 가상 패턴 표시자(700A)에 의해 정의된 가상 경로를 따른 제어기(102)의 움직임의 검출된 완료 시에, 도 6g에 도시된 바와 같이, HMD(100)와 제어기(102)가 페어링되어, 예컨대 블루투스, WiFi, 또는 HMD(100) 및 제어기(102)에 이용가능한 다른 통신을 통해 위에서 설명된 바와 같이 HMD(100)와 제어기(102) 사이의 통신을 가능하게 할 수 있다.
[0040] 몇몇 구현들에서, 도 6i에 도시된 바와 같이, 페어링의 검증을 위해 다수의 가상 패턴 표시자들이 생성되어 HMD(100)에 의해 사용자에게 디스플레이될 수 있다. 예컨대, 제1 가상 패턴 표시자(700B)는 사용자에게 디스플레이되어, 사용자가 제어기(102)를 제1 가상 포지션 A로부터 제2 가상 포지션 B로 이동시킬 시에 따를 제1 가상 경로를 표시할 수 있다. 제어기(102)가 HMD(100)에 대해 이동될 경우, 예컨대, HMD(100)에 대한 제어기(102)의 6DOF 포즈가 검출되어 추적될 수 있을 때, 시스템은 제어기(102)가 제1 가상 포지션 A로부터 제2 가상 포지션 B로 제1 가상 패턴 표시자(700B)에 의해 식별되는 규정된 가상 경로를 따라 이동됨을 검증할 수 있다. 제2 가상 포지션 B로부터, 사용자는 이어서, 제2 가상 패턴 표시자(700C)에 의해 정의된 가상 경로를 따라 제어기(102)를 제3 가상 포지션 C로 이동시킬 수 있다. 가상 패턴 표시자들(700B 및 700C)에 의해 정의된 움직임 패턴의 완료 시에, 도 6g에 도시된 바와 같이, HMD(100)와 제어기(102)가 페어링되어, 예컨대 블루투스, WiFi, 또는 HMD(100) 및 제어기(102)에 이용가능한 다른 통신을 통해 위에서 설명된 바와 같이 HMD(100)와 제어기(102) 사이의 통신을 가능하게 할 수 있다.
[0041] 도 6h 및 도 6i에 도시된 예에서, 논의 및 예시의 용이함을 위해 간단히, 하나의 가상 패턴 표시자 또는 일련의 2개의 가상 패턴 표시자들(700B 및 700C)에 의해 정의된 가상 경로가 도시된다. 몇몇 구현들에서, 일련의 2개 초과의 가상 패턴 표시자들에 의해 정의된 가상 경로가 제어기(102)와 HMD(100)의 페어링을 확인하기 위해 사용될 수 있다. 즉, 몇몇 구현들에서, 단일 가상 패턴 표시자(700)에 의해 정의된 단일 가상 경로를 따른 제어기(102)의 단일 자취는 페어링을 확인 및 완료하기 위해 사용될 수 있다. 몇몇 구현들에서, 다수의 가상 패턴 표시자들(700A 내지 700N)에 의해 정의된 다수의 가상 경로들을 따른 제어기(102)의 다수의 움직임들은 페어링을 확인 및 완료하기 위해 사용될 수 있다. 몇몇 구현들에서, 페어링 시퀀스를 완료하는 데 요구되는 가상 페어링 표시자들의 수는 사용자에 의해 셋팅될 수 있고 그리고/또는, 예컨대 특정 애플리케이션이 실행되는 것, 특정 장소, 및 다른 그러한 인자들에 기반하여 사용자에 의해 적응될 수 있다. 몇몇 구현들에서, 페어링 시퀀스를 완료하는 데 요구되는 가상 페어링 표시자들의 수는 제조사에 의해 이전에 셋팅되고 그리고/또는 사용자에 의해 조정될 수 있다.
[0042] 본 명세서에 설명된 구현들에 따른, 증강 및/또는 가상 현실 환경에서 디바이스들을 페어링시키는 방법(700)이 도 7에 도시된다. 페어링 모드에서, 신호, 이를테면 예컨대, 전자기 신호는 사용자에 의해 착용된 HMD와 같은 수신 디바이스에 의해 검출되어, 제어기에 의해 송신되고 HMD에 의해 수신 및 프로세싱되는 전자기 신호의 속성들에 기반하여, 사용자에 의해 동작되는 제어기와 같은 전송 디바이스가 HMD와 페어링하는 데 이용가능하고 적합하다는 것을 표시할 수 있다(블록들(710 및 720)). 프로세싱된 신호로부터, HMD는 HMD와 제어기의 물리적 근접도를 결정할 수 있고, HMD와 제어기를 페어링시킬 시에 사용될, 제어기와 연관된 식별 정보를 추출할 수 있다. 전자기 신호로부터 추출된 정보에 기반하여, HMD는 하나 또는 그 초과의 가상 페어링 표시자들을 생성 및 디스플레이할 수 있다(블록(730)). 하나 또는 그 초과의 가상 페어링 표시자들은 도 6a 내지 도 6f에 도시된 바와 같은 하나 또는 그 초과의 정렬 표시자들, 및/또는 도 6h 및 도 6i에 도시된 바와 같은 하나 또는 그 초과의 가상 패턴 표시자들을 포함할 수 있다. 페어링 기준들이 충족된다는 결정 시에(블록(740)), HMD와 제어기는 페어링될 수 있다(블록(750)). 페어링 기준들의 중촉 결정은, 예컨대, 도 6a 내지 도 6f에 도시된 바와 같이, 제어기의 하나 또는 그 초과의 가상 페어링 표시자들과의 정렬된 포지션이 셋팅된 시간의 양 동안 유지되고, 그리고/또는 도 6g 및 도 6h에 도시된 바와 같이, 제어기의 움직임이 하나 또는 그 초과의 가상 패턴 표시자들을 따른다고 결정하는 것을 포함할 수 있다.
[0043] 도 2a 내지 도 2c 및 도 3에 도시된 예시적인 HMD, 제어기 및 시스템을 참조하면, 몇몇 구현들에서, 도 2c에 도시된 바와 같이, 위에서 설명된 시스템 및 방법에 포함된 예시적인 제어기(102)는, 디바이스(102)의 내부 컴포넌트들이 수용되는 하우징(103), 및 하우징(103)의 외부 상에 있는, 사용자가 액세스가능한 사용자 인터페이스(104)를 포함할 수 있다. 사용자 인터페이스(104)는, 예컨대 사용자 터치 입력들을 수신하도록 구성된 터치 감지형 표면(들), 버튼들, 노브들, 조이스틱들, 토글들, 슬라이드들 및 다른 그러한 조작 디바이스들을 포함하는 복수의 상이한 타입들의 조작 디바이스들(도 2c에 상세히 도시되지는 않음)을 포함할 수 있다.
[0044] 몇몇 구현들에서, 도 2a 및 도 2b에 도시된 바와 같이, 위에서 설명된 시스템 및 방법에 포함된 예시적인 HMD(100)는 프레임(120)에 커플링된 하우징(110)을 포함할 수 있으며, 예컨대, 헤드폰들에 장착된 스피커들을 포함하는 오디오 출력 디바이스(130)가 또한 프레임(120)에 커플링된다. 도 2b에서, 하우징(110)의 전방 부분(110a)이 하우징(110)의 기본 부분(110b)으로부터 멀리 회전되어, 하우징(110)에 수용된 컴포넌트들 중 몇몇이 가시적이게 된다. 디스플레이(140)는 하우징(110)의 전방 부분(110a)의 내부 안면측 상에 장착될 수 있다. 렌즈들(150)은, 전방 부분(110a)이 하우징(110)의 기본 부분(110b)에 대해 닫힌 위치에 있을 경우, 사용자의 눈들과 디스플레이(140) 사이에서 하우징(110)에 장착될 수 있다. 몇몇 구현들에서, HMD(100)는 다양한 센서들, 이를테면 예컨대, 오디오 센서(들), 이미지/광 센서(들), 포지션 센서들(예컨대, 자이로스코프 및 가속도계를 포함하는 관성 측정 유닛) 등을 포함하는 감지 시스템(160)을 포함할 수 있다. HMD(100)는 또한, HMD(100)의 동작을 용이하게 하기 위한, 프로세서(190) 및 다양한 제어 시스템 디바이스들을 포함하는 제어 시스템(170)을 포함할 수 있다.
[0045] 몇몇 구현들에서, HMD(100)는 스틸 영상 및 동영상을 캡처하기 위한 카메라(180)를 포함할 수 있다. 카메라(180)에 의해 캡처된 이미지들은 실제 세계 또는 가상 환경에 대한 물리적 환경에서 사용자 및/또는 제어기(102)의 물리적 포지션을 추적하는 것을 돕는 데 사용될 수 있고, 그리고/또는 패스 스루 모드로 디스플레이(140) 상에서 사용자에게 디스플레이되어, 사용자의 시선 밖으로 하우징(110)을 이동시키기 위해 HMD(100)를 제거하거나 또는 그렇지 않으면 HMD(100)의 구성을 변경시키지 않으면서, 사용자가 가상 환경을 임시로 떠나고 물리 환경으로 복귀하게 허용할 수 있다.
[0046] 몇몇 구현들에서, HMD(100)는 사용자의 눈 시선을 검출 및 추적하기 위한 시선 추적 디바이스(165)를 포함할 수 있다. 시선 추적 디바이스(165)는, 예컨대 사용자의 시선을 검출하고 그 시선의 방향 및 움직임을 추적하기 위해 사용자의 눈들의 이미지들, 예컨대 사용자의 눈들의 특정 부분, 이를테면 예컨대, 동공을 캡처하기 위한 이미지 센서(165A) 또는 다수의 이미지 센서들(165A)을 포함할 수 있다. 몇몇 구현들에서, HMD(100)는, 검출된 시선이 몰입형 가상 경험에서의 대응하는 상호작용으로 변환될 사용자 입력으로서 프로세싱되도록 구성될 수 있다.
[0047] 도 3의 블록 다이어그램, 즉 본 명세서에 설명된 구현들에 따른, 제1 전자 디바이스와 제2 전자 디바이스를 페어링시키기 위한 시스템에 도시된 바와 같이, 제1 전자 디바이스(300)는 감지 시스템(360) 및 제어 시스템(370)을 포함할 수 있으며, 이들은 도 2a 및 도 2b에 각각 도시된 감지 시스템(160) 및 제어 시스템(170)과 유사할 수 있다. 감지 시스템(360)은, 예컨대 광 센서, 오디오 센서, 이미지 센서, 거리/근접도 센서, 포지션 센서(예컨대, 자이로스코프 및 가속도계를 포함하는 관성 측정 유닛) 및/또는 다른 센서들을 포함하는 하나 또는 그 초과의 상이한 타입들의 센서들 및/또는 사용자의 눈의 시선을 검출 및 추적하도록 포지셔닝된 이미지 센서, 예컨대, 도 2b에 도시된 시선 추적 디바이스(165)를 포함하는 센서들의 상이한 조합(들)을 포함할 수 있다. 제어 시스템(370)은, 예컨대 전력/일시중지 제어 디바이스, 오디오 및 비디오 제어 디바이스들, 광 제어 디바이스, 트랜지션 제어 디바이스, 및/또는 다른 그러한 디바이스들 및/또는 디바이스들의 상이한 조합(들)을 포함할 수 있다. 감지 시스템(360) 및/또는 제어 시스템(370)은 특정 구현에 의존하여 더 많거나 또는 더 적은 디바이스들을 포함할 수 있다. 감지 시스템(360) 및/또는 제어 시스템(370)에 포함된 엘리먼트들은, 예컨대 도 2a 및 도 2b에 도시된 HMD(100) 이외에 HMD 내에서 상이한 물리적 배열(예컨대, 상이한 물리적 위치)을 가질 수 있다. 제1 전자 디바이스(300)는 또한, 감지 시스템(360) 및 제어 시스템(370)과 통신하는 프로세서(390), 메모리(380), 및 제1 전자 디바이스(300)와 다른 외부 디바이스, 이를테면 예컨대, 제2 전자 디바이스(302) 사이에 통신을 제공하는 통신 모듈(350)을 포함할 수 있다.
[0048] 제2 전자 디바이스(302)는 제2 전자 디바이스(302)와 다른 외부 디바이스, 이를테면 예컨대, 제1 전자 디바이스(300) 사이에 통신을 제공하는 통신 모듈(306)을 포함할 수 있다. 제1 전자 디바이스(300)와 제2 전자 디바이스(302) 사이에서의 데이터 교환을 제공하는 것에 부가하여, 통신 모듈(306)은 또한, 위에서 설명된 바와 같이 광선 또는 빔을 방출하도록 구성될 수 있다. 제2 전자 디바이스(302)는, 예컨대, 카메라 및 마이크로폰에 포함된 것과 같은 이미지 센서 및 오디오 센서, 관성 측정 유닛, 제어기 또는 스마트폰의 터치 감지형 표면에 포함된 것과 같은 터치 센서, 및 다른 그러한 센서들 및/또는 센서들의 상이한 조합(들)을 포함하는 감지 시스템(304)을 포함할 수 있다. 프로세서(309)는 제2 전자 디바이스(302)의 감지 시스템(304) 및 제어 유닛(305)과 통신할 수 있으며, 제어 유닛(305)은 메모리(308)에 대한 액세스를 갖고, 제2 전자 디바이스(302)의 전체 동작을 제어한다.
[0049] 도 8은, 본 명세서에서 설명된 기법들과 함께 사용될 수 있는 일반적인 컴퓨터 디바이스(800) 및 일반적인 모바일 컴퓨터 디바이스(850)의 일 예를 도시한다. 컴퓨팅 디바이스(800)는, 랩톱들, 데스크톱들, 태블릿들, 워크스테이션들, 개인 휴대 정보 단말들, 텔레비전들, 서버들, 블레이드(blade) 서버들, 메인프레임들, 및 다른 적절한 컴퓨팅 디바이스들과 같은 다양한 형태들의 디지털 컴퓨터들을 표현하도록 의도된다. 컴퓨팅 디바이스(850)는, 개인 휴대 정보 단말들, 셀룰러 텔레폰들, 스마트 폰들, 및 다른 유사한 컴퓨팅 디바이스들과 같은 다양한 형태들의 모바일 디바이스들을 표현하도록 의도된다. 본 명세서에 도시된 컴포넌트들, 그들의 연결들 및 관계들, 및 그들의 기능들은 단지 예시적인 것으로만 의도되며, 본 명세서에 설명되고 그리고/또는 청구되는 본 발명들의 구현들을 제한하도록 의도되지 않는다.
[0050] 컴퓨팅 디바이스(800)는 프로세서(802), 메모리(804), 저장 디바이스(806), 메모리(804) 및 고속 확장 포트들(810)에 연결한 고속 인터페이스(808), 및 저속 버스(814) 및 저장 디바이스(806)에 연결한 저속 인터페이스(812)를 포함한다. 프로세서(802)는 반도체-기반 프로세서일 수 있다. 메모리(804)는 반도체-기반 메모리일 수 있다. 컴포넌트들(802, 804, 806, 808, 810, 및 812) 각각은, 다양한 버스들을 사용하여 상호연결되며, 공통 마더보드 상에 또는 다른 방식들로 적절하게 장착될 수 있다. 프로세서(802)는, 고속 인터페이스(808)에 커플링된 디스플레이(816)과 같은 외부 입력/출력 디바이스 상에서의 GUI를 위한 그래픽 정보를 디스플레이하기 위해 메모리(804)에 또는 저장 디바이스(806) 상에 저장된 명령들을 포함하는 컴퓨팅 디바이스(800) 내에서의 실행을 위한 명령들을 프로세싱할 수 있다. 다른 구현들에서, 다수의 프로세서들 및/또는 다수의 버스들이 다수의 메모리들 및 메모리의 타입들과 함께 적절하게 사용될 수 있다. 또한, 다수의 컴퓨팅 디바이스들(800)이 연결될 수 있으며, 각각의 디바이스는 필요한 동작들의 부분들을 (예컨대, 서버 뱅크, 블레이드 서버들의 그룹, 또는 멀티-프로세서 시스템으로서) 제공한다.
[0051] 메모리(804)는 컴퓨팅 디바이스(800) 내에 정보를 저장한다. 일 구현에서, 메모리(804)는 휘발성 메모리 유닛 또는 유닛들이다. 다른 구현에서, 메모리(804)는 비-휘발성 메모리 유닛 또는 유닛들이다. 메모리(804)는 또한, 자기 또는 광학 디스크와 같은 컴퓨터-판독가능 매체의 다른 형태일 수 있다.
[0052] 저장 디바이스(806)는, 컴퓨팅 디바이스(800)에 대한 대용량 저장을 제공할 수 있다. 일 구현에서, 저장 디바이스(806)는, 저장 영역 네트워크 또는 다른 구성들 내의 디바이스들을 포함하여, 플로피 디스크 디바이스, 하드 디스크 디바이스, 광학 디스크 디바이스, 또는 테이프 디바이스, 플래시 메모리 또는 다른 유사한 고체 상태 메모리 디바이스, 또는 디바이스들의 어레이와 같은 컴퓨터-판독가능 매체이거나 그들을 포함할 수 있다. 컴퓨터 프로그램 물건은 정보 캐리어에서 유형적으로 구현될 수 있다. 컴퓨터 프로그램 물건은 또한, 실행될 경우 위에서 설명된 방법들과 같은 하나 또는 그 초과의 방법들을 수행하는 명령들을 포함할 수 있다. 정보 캐리어는, 메모리(804), 저장 디바이스(806), 또는 프로세서(802) 상의 메모리와 같은 컴퓨터- 또는 머신-판독가능 매체이다.
[0053] 고속 제어기(808)는, 컴퓨팅 디바이스(800)에 대한 대역폭-집약적인 동작들을 관리하는 반면, 저속 제어기(812)는 더 낮은 대역폭-집약적인 동작들을 관리한다. 기능들의 그러한 할당은 단지 예시적일 뿐이다. 일 구현에서, 고속 제어기(808)는, 메모리(804), (예컨대, 그래픽 프로세서 또는 가속기를 통해) 디스플레이(816), 그리고 다양한 확장 카드들(미도시)을 수용할 수 있는 고속 확장 포트들(810)에 커플링된다. 구현에서, 저속 제어기(812)는 저장 디바이스(806) 및 저속 확장 포트(814)에 커플링된다. 다양한 통신 포트들(예컨대, USB, 블루투스, 이더넷, 무선 이더넷)을 포함할 수 있는 저속 확장 포트는, 예컨대, 네트워크 어댑터를 통해 키보드, 포인팅 디바이스, 스캐너, 또는 (스위치 또는 라우터와 같은) 네트워킹 디바이스와 같은 하나 또는 그 초과의 입력/출력 디바이스들에 커플링될 수 있다.
[0054] 컴퓨팅 디바이스(800)는 도면에 도시된 바와 같이, 다수의 상이한 형태들로 구현될 수 있다. 예컨대, 그것은 표준 서버(820)로서, 또는 그러한 서버들의 그룹에서 다수회 구현될 수 있다. 그것은 또한, 랙(rack) 서버 시스템(824)의 일부로서 구현될 수 있다. 부가적으로, 그것은 랩톱 컴퓨터(822)와 같은 개인용 컴퓨터에서 구현될 수 있다. 대안적으로, 컴퓨팅 디바이스(800)로부터의 컴포넌트들은, 디바이스(850)와 같은 모바일 디바이스(미도시) 내의 다른 컴포넌트들과 결합될 수 있다. 그러한 디바이스들 각각은 컴퓨팅 디바이스(800, 850) 중 하나 또는 그 초과를 포함할 수 있으며, 전체 시스템은 서로 통신하는 다수의 컴퓨팅 디바이스들(800, 850)로 구성될 수 있다.
[0055] 컴퓨팅 디바이스(850)는 다른 컴포넌트들 중에서, 프로세서(852), 메모리(864), 디스플레이(854)와 같은 입력/출력 디바이스, 통신 인터페이스(866), 및 트랜시버(868)를 포함한다. 디바이스(850)는 또한, 부가적인 저장부를 제공하기 위해 마이크로드라이브 또는 다른 디바이스와 같은 저장 디바이스를 제공받을 수 있다. 컴포넌트들(850, 852, 864, 854, 866, 및 868) 각각은, 다양한 버스들을 사용하여 상호연결되며, 컴포넌트들 중 수 개는, 공통 마더보드 상에 또는 다른 방식들로 적절하게 장착될 수 있다.
[0056] 프로세서(852)는, 메모리(864)에 저장된 명령들을 포함하는 컴퓨팅 디바이스(850) 내의 명령들을 실행할 수 있다. 프로세서는, 별개의 그리고 다수의 아날로그 및 디지털 프로세서들을 포함하는 칩들의 칩셋으로서 구현될 수 있다. 프로세서는, 예컨대, 사용자 인터페이스들, 디바이스(850)에 의해 구동되는 애플리케이션들, 및 디바이스(850)에 의한 무선 통신의 제어와 같은 디바이스(850)의 다른 컴포넌트들의 조정을 제공할 수 있다.
[0057] 프로세서(852)는, 디스플레이(854)에 커플링된 제어 인터페이스(858) 및 디스플레이 인터페이스(856)를 통해 사용자와 통신할 수 있다. 디스플레이(854)는, 예컨대, TFT LCD(박막-트랜지스터 액정 디스플레이) 또는 OLED(유기 발광 다이오드) 디스플레이, 또는 다른 적절한 디스플레이 기술일 수 있다. 디스플레이 인터페이스(856)는, 그래픽 및 다른 정보를 사용자에게 제시하기 위해 디스플레이(854)를 구동시키기 위한 적절한 회로를 포함할 수 있다. 제어 인터페이스(858)는, 사용자로부터 커맨드들을 수신하고, 프로세서(852)로의 제공을 위해 그들을 변환시킬 수 있다. 부가적으로, 외부 인터페이스(862)는, 다른 디바이스들과의 디바이스(850)의 근접장 통신을 가능하게 하기 위해, 프로세서(852)와의 통신을 제공할 수 있다. 외부 인터페이스(862)는, 예컨대, 몇몇 구현들에서는 유선 통신, 또는 다른 구현들에서는 무선 통신을 제공할 수 있으며, 다수의 인터페이스들이 또한 사용될 수 있다.
[0058] 메모리(864)는 컴퓨팅 디바이스(850) 내에 정보를 저장한다. 메모리(864)는, 컴퓨터-판독가능 매체 또는 매체들, 휘발성 메모리 유닛 또는 유닛들, 또는 비-휘발성 메모리 유닛 또는 유닛들 중 하나 또는 그 초과로서 구현될 수 있다. 확장 메모리(874)는 또한, 예컨대, SIMM(Single In Line Memory Module) 카드 인터페이스를 포함할 수 있는 확장 인터페이스(872)를 통해 디바이스(850)에 제공 및 연결될 수 있다. 그러한 확장 메모리(874)는, 디바이스(850)에 대한 여분의 저장 공간을 제공할 수 있거나, 또한 디바이스(850)에 대한 애플리케이션들 또는 다른 정보를 저장할 수 있다. 상세하게, 확장 메모리(874)는, 위에서 설명된 프로세스들을 수행 또는 보완하기 위한 명령들을 포함할 수 있으며, 보안 정보를 또한 포함할 수 있다. 따라서, 예컨대, 확장 메모리(874)는, 디바이스(850)에 대한 보안 모듈로서 제공될 수 있으며, 디바이스(850)의 보안 사용을 허용하는 명령들을 이용하여 프로그래밍될 수 있다. 부가적으로, 보안 애플리케이션들은, 해킹가능하지 않은 방식으로 SIMM 카드 상에 식별 정보를 배치하는 것과 같이, 부가적인 정보와 함께 SIMM 카드들을 통해 제공될 수 있다.
[0059] 메모리는, 예컨대, 아래에서 논의되는 바와 같이 플래시 메모리 및/또는 NVRAM 메모리를 포함할 수 있다. 일 구현에서, 컴퓨터 프로그램 물건은 정보 캐리어에서 유형적으로 구현된다. 컴퓨터 프로그램 물건은, 실행될 경우 위에서 설명된 방법들과 같은 하나 또는 그 초과의 방법들을 수행하는 명령들을 포함한다. 정보 캐리어는, 메모리(864), 확장 메모리(874), 또는 프로세서(852) 상의 메모리와 같은 컴퓨터- 또는 머신-판독가능 매체이며, 예컨대, 트랜시버(868) 또는 외부 인터페이스(862)를 통해 수신될 수 있다.
[0060] 디바이스(850)는, 통신 인터페이스(866)를 통해 무선으로 통신할 수 있으며, 필요할 경우 디지털 신호 프로세싱 회로를 포함할 수 있다. 통신 인터페이스(866)는, 다른 것들 중에서, GSM 음성 콜(call)들, SMS, EMS, 또는 MMS 메시징, CDMA, TDMA, PDC, WCDMA, CDMA2000, 또는 GPRS와 같은 다양한 모드들 또는 프로토콜들 하에서의 통신들을 제공할 수 있다. 그러한 통신은, 예컨대, 라디오-주파수 트랜시버(868)를 통해 발생할 수 있다. 부가적으로, 단거리 통신은, 예컨대 블루투스, WiFi, 또는 다른 그러한 트랜시버(미도시)를 사용하여 발생할 수 있다. 부가적으로, GPS(글로벌 포지셔닝 시스템) 수신기 모듈(870)은, 디바이스(850) 상에서 구동하는 애플리케이션들에 의해 적절하게 사용될 수 있는 부가적인 네비게이션- 및 위치-관련 무선 데이터를 디바이스(850)에 제공할 수 있다.
[0061] 디바이스(850)는 또한, 사용자로부터 음성 정보(spoken information)를 수신하고 그것을 사용가능한 디지털 정보로 변환할 수 있는 오디오 코덱(860)을 사용하여 가청적으로 통신할 수 있다. 오디오 코덱(860)은 유사하게, 예컨대, 디바이스(850)의 핸드셋에서, 예컨대 스피커를 통해 사용자에 대한 가청 사운드를 생성할 수 있다. 그러한 사운드는, 음성 텔레폰 콜들로부터의 사운드를 포함할 수 있고, 레코딩된 사운드(예컨대, 음성 메시지들, 음악 파일들 등)를 포함할 수 있으며, 또한, 디바이스(850) 상에서 동작하는 애플리케이션들에 의해 생성된 사운드를 포함할 수 있다.
[0062] 컴퓨팅 디바이스(850)는 도면에 도시된 바와 같이, 다수의 상이한 형태들로 구현될 수 있다. 예컨대, 그것은 셀룰러 전화기(880)로서 구현될 수 있다. 그것은 또한, 스마트 폰(882), 개인 휴대 정보 단말, 또는 다른 유사한 모바일 디바이스의 일부로서 구현될 수 있다.
[0063] 본 명세서에 설명된 시스템들 및 기법들의 다양한 구현들은, 디지털 전자 회로, 집적 회로, 특수하게 설계된 ASIC(주문형 집적 회로)들, 컴퓨터 하드웨어, 펌웨어, 소프트웨어, 및/또는 이들의 조합들로 실현될 수 있다. 이들 다양한 구현들은, 저장 시스템, 적어도 하나의 입력 디바이스, 및 적어도 하나의 출력 디바이스로부터 데이터 및 명령들을 수신하고 그들로 데이터 및 명령들을 송신하도록 커플링된 특수 목적 또는 범용 목적일 수 있는 적어도 하나의 프로그래밍가능 프로세서를 포함하는 프로그래밍가능 시스템 상에서 실행가능하고 그리고/또는 해석가능한 하나 또는 그 초과의 컴퓨터 프로그램들에서의 구현을 포함할 수 있다.
[0064] 이들 컴퓨터 프로그램들(프로그램들, 소프트웨어, 소프트웨어 애플리케이션들 또는 코드로 또한 알려짐)은, 프로그래밍가능 프로세서에 대한 머신 명령들을 포함하며, 고레벨의 절차적인 및/또는 오브젝트-지향적인 프로그래밍 언어 및/또는 어셈블리/머신 언어로 구현될 수 있다. 본 명세서에서 사용된 바와 같이, 용어들 "머신-판독가능 매체", "컴퓨터-판독가능 매체"는, 머신-판독가능 신호로서 머신 명령들을 수신하는 머신-판독가능 매체를 포함하여, 임의의 컴퓨터 프로그램 물건, 머신 명령들 및/또는 데이터를 프로그래밍가능 프로세서에 제공하기 위해 사용되는 장치 및/또는 디바이스(예컨대, 자기 디스크들, 광학 디스크들, 메모리, 프로그래밍가능 로직 디바이스(PLD)들)로 지칭된다. 용어 "머신-판독가능 신호"는, 머신 명령들 및/또는 데이터를 프로그래밍가능 프로세서에 제공하기 위해 사용되는 임의의 신호를 지칭한다.
[0065] 사용자와의 상호작용을 제공하기 위해, 본 명세서에 설명된 시스템들 및 기법들은, 사용자에게 정보를 디스플레이하기 위한 디스플레이 디바이스(예컨대, CRT(음극선 관) 또는 LCD(액정 디스플레이) 모니터), 및 사용자가 입력을 컴퓨터에 제공할 수 있게 하는 키보드 및 포인팅 디바이스(예컨대, 마우스 또는 트랙볼)를 갖는 컴퓨터 상에서 구현될 수 있다. 다른 종류들의 디바이스들은 또한, 사용자와의 상호작용을 제공하기 위해 사용될 수 있으며, 예컨대, 사용자에게 제공된 피드백은 임의의 형태의 감지 피드백(예컨대, 시각적인 피드백, 가청적인 피드백, 또는 촉각적인 피드백)일 수 있고; 사용자로부터의 입력은 음향, 스피치, 또는 촉각 입력을 포함하는 임의의 형태로 수신될 수 있다.
[0066] 본 명세서에 설명된 시스템들 및 기법들은, 후단(back end) 컴포넌트를 (예컨대, 데이터 서버로서) 포함하거나, 미들웨어 컴포넌트(예컨대, 애플리케이션 서버)를 포함하거나, 전단 컴포넌트(예컨대, 사용자가 본 명세서에 설명된 시스템들 및 기법들의 구현과 상호작용할 수 있는 그래픽 사용자 인터페이스 또는 웹 브라우저를 갖는 클라이언트 컴퓨터)를 포함하거나, 또는 그러한 후단, 미들웨어, 또는 전단 컴포넌트들의 임의의 조합을 포함하는 컴퓨팅 시스템에서 구현될 수 있다. 시스템의 컴포넌트들은, 임의의 형태 또는 매체의 디지털 데이터 통신(예컨대, 통신 네트워크)에 의해 상호연결될 수 있다. 통신 네트워크들의 예들은 로컬 영역 네트워크("LAN"), 광역 네트워크("WAN"), 및 인터넷을 포함한다.
[0067] 컴퓨팅 시스템은 클라이언트들 및 서버들을 포함할 수 있다. 클라이언트 및 서버는 일반적으로 서로 원격이며, 통상적으로 통신 네트워크를 통해 상호작용한다. 클라이언트와 서버의 관계는 각각의 컴퓨터들 상에서 구동되고 서로에 대해 클라이언트-서버 관계를 갖는 컴퓨터 프로그램들에 의해 발생한다.
[0068] 다수의 실시예들이 설명되었다. 그럼에도, 본 발명의 사상 및 범위를 벗어나지 않으면서 다양한 수정들이 행해질 수 있다는 것이 이해될 것이다.
[0069] 부가적으로, 도면들에 도시된 로직 흐름들은 바람직한 결과들을 달성하기 위해, 도시된 특정한 순서 또는 순차적인 순서를 요구하지는 않는다. 부가적으로, 설명된 흐름들로부터, 다른 단계들이 제공될 수 있거나, 단계들이 제거될 수 있으며, 다른 컴포넌트들이 설명된 시스템에 부가되거나 그 시스템으로부터 제거될 수 있다. 따라서, 다른 실시예들은 다음의 청구항들의 범위 내에 존재한다.
[0070] 본 명세서에서 설명된 다양한 기법들의 구현들은 디지털 전자 회로, 또는 컴퓨터 하드웨어, 펌웨어, 소프트웨어, 또는 이들의 조합들로 구현될 수 있다. 구현들은 데이터 프로세싱 장치, 예컨대 프로그래밍가능 프로세서, 컴퓨터, 또는 다수의 컴퓨터들에 의한 프로세싱 또는 그의 동작을 제어하기 위해, 컴퓨터 프로그램 제품, 즉 정보 캐리어, 예컨대 머신-판독가능 저장 디바이스(컴퓨터-판독가능 매체)에 유형으로 수록된 컴퓨터 프로그램으로서 구현될 수 있다. 따라서, 컴퓨터-판독가능 저장 매체는, 실행되는 경우 프로세서(예컨대, 호스트 디바이스의 프로세서, 클라이언트 디바이스의 프로세서)로 하여금 프로세스를 수행하게 하는 명령들을 저장하도록 구성될 수 있다.
[0071] 위에서 설명된 컴퓨터 프로그램(들)과 같은 컴퓨터 프로그램은, 컴파일된 또는 해석된 언어들을 포함하는 임의의 형태의 프로그래밍 언어로 기입될 수 있으며, 독립형 프로그램 또는 모듈, 컴포넌트, 서브루틴, 또는 컴퓨팅 환경에서의 사용에 적합한 다른 유닛으로서의 형태를 포함하여 임의의 형태로 배치될 수 있다. 컴퓨터 프로그램은 하나의 사이트에서 하나의 컴퓨터 또는 다수의 컴퓨터들 상에서 프로세싱되도록 배치되거나 또는 다수의 사이트들에 걸쳐 분산되고 통신 네트워크에 의해 상호연결될 수 있다.
[0072] 방법 단계들은 입력 데이터에 대해 동작하고 출력을 생성함으로써 기능들을 수행하도록 컴퓨터 프로그램을 실행하는 하나 또는 그 초과의 프로그래밍가능 프로세서들에 의해 수행될 수 있다. 방법 단계들은 또한, 특수 목적 로직 회로, 예컨대, FPGA(필드 프로그래밍가능 게이트 어레이) 또는 ASIC(주문형 집적 회로)에 의해 수행될 수 있고, 장치가 그들로서 구현될 수 있다.
[0073] 컴퓨터 프로그램의 프로세싱에 적합한 프로세서들은, 범용 마이크로프로세서 및 특수 목적 마이크로프로세서 둘 모두, 및 임의의 종류의 디지털 컴퓨터의 임의의 하나 또는 그 초과의 프로세서들을 예로서 포함한다. 일반적으로, 프로세서는 판독-전용 메모리 또는 랜덤 액세스 메모리 또는 그 둘 모두로부터 명령들 및 데이터를 수신할 것이다. 컴퓨터의 엘리먼트들은 명령들을 실행하기 위한 적어도 하나의 프로세서, 및 명령들 및 데이터를 저장하기 위한 하나 또는 그 초과의 메모리 디바이스들을 포함할 수 있다. 일반적으로, 컴퓨터는 또한, 데이터를 저장하기 위한 하나 또는 그 초과의 대용량 저장 디바이스들, 예컨대 자기, 자기 광학 디스크들, 또는 광학 디스크들을 포함하거나, 또는 그들로부터 데이터를 수신하거나 그들로 데이터를 전달하도록, 또는 그 둘 모두를 위해 동작가능하게 커플링될 수 있다. 컴퓨터 프로그램 명령들 및 데이터를 수록하는 데 적합한 정보 캐리어들은 반도체 메모리 디바이스들, 예컨대 EPROM, EEPROM, 및 플래시 메모리 디바이스들; 자기 디스크들, 예컨대 내부 하드 디스크들 또는 착탈형 디스크들; 자기 광학 디스크들; 및 CD-ROM 및 DVD-ROM 디스크들을 예로서 포함하는 비-휘발성 메모리의 모든 형태들을 포함한다. 프로세서 및 메모리는 특수 목적 로직 회로에 의해 보완되거나 그에 통합될 수 있다.
[0074] 사용자와의 상호작용을 제공하기 위해, 구현들은, 사용자에게 정보를 디스플레이하기 위한 디스플레이 디바이스, 예컨대 음극선 관(CRT), 발광 다이오드(LED), 또는 액정 디스플레이(LCD) 모니터, 및 사용자가 입력을 컴퓨터에 제공할 수 있게 하는 키보드 및 포인팅 디바이스, 예컨대 마우스 또는 트랙볼을 갖는 컴퓨터 상에서 구현될 수 있다. 다른 종류들의 디바이스들이 또한, 사용자와의 상호작용을 제공하기 위해 사용될 수 있으며; 예컨대, 사용자에게 제공된 피드백은 임의의 형태의 감지 피드백, 예컨대 시각적인 피드백, 가청적인 피드백, 또는 촉각적인 피드백일 수 있고; 사용자로부터의 입력은 음향, 스피치, 또는 촉각 입력을 포함하는 임의의 형태로 수신될 수 있다.
[0075] 구현들은, 후단 컴포넌트를, 예컨대 데이터 서버로서 포함하거나, 또는 미들웨어 컴포넌트, 예컨대 애플리케이션 서버를 포함하거나, 또는 전단 컴포넌트, 예컨대, 사용자가 구현과 상호작용할 수 있게 하는 그래픽 사용자 인터페이스 또는 웹 브라우저를 갖는 클라이언트 컴퓨터를 포함하거나, 또는 그러한 후단, 미들웨어, 또는 전단 컴포넌트들의 임의의 조합을 포함하는 컴퓨팅 시스템에서 구현될 수 있다. 컴포넌트들은 디지털 데이터 통신의 임의의 형태 또는 매체, 예컨대 통신 네트워크에 의해 상호연결될 수 있다. 통신 네트워크들의 예들은 로컬 영역 네트워크(LAN) 및 광역 네트워크(WAN), 예컨대 인터넷을 포함한다.
[0076] 추가적인 구현들이 다음의 실시예들에서 요약된다:
[0077] 실시예 1: 컴퓨터로 구현되는 방법으로서, 제2 디바이스에 의해 송신된 신호를 제1 디바이스에 의해 검출하는 단계; 제1 디바이스의 프로세서에 의해, 제1 디바이스와 제2 디바이스의 상대적인 근접도를 검증하도록 신호를 프로세싱하는 단계; 제1 디바이스에 의해, 신호의 프로세싱에 기반하여 가상 페어링 표시자를 생성하는 단계; 제2 디바이스에 의해 송신된 신호에 기반하여 가상 페어링 표시자에 대한 제2 디바이스의 포지션 및 배향을 검출 및 추적하는 단계; 및 가상 페어링 표시자에 대한 제2 디바이스의 포지션 및 배향의 검출 및 추적에 기반하여 제1 디바이스와 제2 디바이스를 동작가능하게 커플링시키는 단계를 포함한다.
[0078] 실시예 2: 실시예 1의 방법에 있어서, 제1 디바이스에 의해, 신호의 프로세싱에 기반하여 가상 페어링 표시자를 생성하는 단계는, 제2 디바이스의 가상 정렬 영역과의 정렬을 위한 가상 정렬 영역을 정의하는 렌더링된 이미지를 생성하는 단계를 포함한다.
[0079] 실시예 3: 실시예 2의 방법에 있어서, 렌더링된 이미지를 생성하는 단계는, 제2 디바이스의 적어도 하나의 피처에 대응하는 3차원의 렌더링된 이미지를 생성하는 단계; 및 제1 디바이스에 의해 생성된 가상 환경 내의 가상 오브젝트로서 3차원의 렌더링된 이미지를 디스플레이하는 단계를 포함한다.
[0080] 실시예 4: 실시예 2 또는 실시예 3의 방법에 있어서, 가상 페어링 표시자에 대한 제2 디바이스의 포지션 및 배향을 검출 및 추적하는 단계는, 제1 디바이스에 대한 제2 디바이스의 초기 포지션 및 배향을 검출하는 단계; 제1 디바이스에 대한 제2 디바이스의 움직임을 추적하는 단계; 및 제1 디바이스에 대한 제2 디바이스의 추적된 움직임에 기반하여 가상 페어링 표시자에 의해 정의된 가상 정렬 영역에서의 제2 디바이스의 정렬을 검출하는 단계를 포함한다.
[0081] 실시예 5: 실시예 4의 방법에 있어서, 가상 페어링 표시자에 대한 제2 디바이스의 포지션 및 배향의 검출 및 추적에 기반하여 제1 디바이스와 제2 디바이스를 동작가능하게 커플링시키는 단계는, 가상 정렬 영역에서의 제2 디바이스의 정렬을 모니터링하는 단계; 및 셋팅된 시간의 양보다 크거나 그와 동일한 시간의 양 동안 가상 정렬 영역에서의 제2 디바이스의 정렬의 검출에 대한 응답으로 제1 디바이스와 제2 디바이스를 동작가능하게 커플링시키기 위한 입력의 검증을 수신하는 단계를 포함한다.
[0082] 실시예 6: 실시예 5의 방법은, 제1 디바이스와 제2 디바이스를 동작가능하게 커플링시키기 위한 입력의 검증을 수신한 이후, 제1 디바이스와 제2 디바이스를 동작가능하게 커플링시켜, 제1 디바이스와 제2 디바이스 사이의 통신을 가능하게 하는 단계를 더 포함한다.
[0083] 실시예 7: 실시예 1 내지 실시예 6 중 어느 하나의 방법에 있어서, 제1 디바이스에 의해, 신호의 프로세싱에 기반하여 가상 페어링 표시자를 생성하는 단계는, 가상 경로를 정의하는 패턴을 생성하는 단계; 및 제1 디바이스에 의해 생성된 가상 환경 내의 가상 오브젝트로서 가상 경로를 디스플레이하는 단계를 포함한다.
[0084] 실시예 8: 실시예 7의 방법에 있어서, 가상 페어링 표시자에 대한 제2 디바이스의 포지션 및 배향의 검출 및 추적에 기반하여 제1 디바이스와 제2 디바이스를 동작가능하게 커플링시키는 단계는, 디스플레이된 가상 경로에 대한 제2 디바이스의 움직임을 검출 및 추적하는 단계; 디스플레이된 가상 경로를 따른 제2 디바이스의 정렬을 모니터링하는 단계; 및 가상 경로의 제1 말단으로부터 가상 경로의 제2 말단으로의 디스플레이된 가상 경로를 따른 제2 디바이스의 검출된 정렬에 대한 응답으로 제1 디바이스와 제2 디바이스를 동작가능하게 커플링시키기 위한 입력의 검증을 수신하는 단계를 포함한다.
[0085] 실시예 9: 실시예 8의 방법은, 제1 디바이스와 제2 디바이스를 동작가능하게 커플링시키기 위한 입력의 검증을 수신한 이후, 제1 디바이스와 제2 디바이스를 동작가능하게 커플링시켜, 제1 디바이스와 제2 디바이스 사이의 통신을 가능하게 하는 단계를 더 포함한다.
[0086] 실시예 10: 실시예 1 내지 실시예 9 중 어느 하나의 방법에 있어서, 제2 디바이스에 의해 송신된 신호를 제1 디바이스에 의해 검출하는 단계는, 제1 디바이스에 의해, 제2 디바이스에 관련된 포지션 및 배향 데이터를 포함하는 전자기 신호를 검출하는 단계를 포함한다.
[0087] 실시예 11: 실시예 10의 방법에 있어서, 전자기 신호는 제2 디바이스에 관련된 식별 정보를 포함한다.
[0088] 실시예 12: 실시예 1 내지 실시예 9 중 어느 하나의 방법에 있어서, 제2 디바이스에 의해 송신된 신호를 제1 디바이스에 의해 검출하는 단계는, 제1 디바이스에 의해, 제2 디바이스에 관련된 포지션 및 배향 데이터, 및 제2 디바이스에 관련된 식별 정보를 포함하는 음향 신호를 검출하는 단계를 포함한다.
[0089] 실시예 13: 컴퓨팅 디바이스로서, 가상 환경을 생성하도록 구성된 제1 디바이스를 포함하며, 제1 디바이스는 실행가능한 명령들을 저장한 메모리; 및 명령들을 실행하도록 구성된 프로세서를 포함하고, 그 명령들은 컴퓨팅 디바이스로 하여금, 제2 디바이스에 의해 송신된 신호를 검출하게 하고; 제1 디바이스와 제2 디바이스의 상대적인 근접도를 검증하도록 신호를 프로세싱하게 하고; 신호의 프로세싱에 기반하여 가상 페어링 표시자를 생성하게 하고; 제2 디바이스에 의해 송신된 신호에 기반하여 가상 페어링 표시자에 대한 제2 디바이스의 포지션 및 배향을 검출 및 추적하게 하며; 그리고 가상 페어링 표시자에 대한 제2 디바이스의 추적된 포지션 및 배향에 기반하여 제1 디바이스와 제2 디바이스를 동작가능하게 커플링시키게 한다.
[0090] 실시예 14: 실시예 13의 디바이스에 있어서, 가상 페어링 표시자는, 제2 디바이스의 적어도 하나의 피처에 대응하는 3차원의 렌더링된 이미지를 포함하며, 3차원의 렌더링된 이미지는 제1 디바이스에 의해 생성된 가상 환경에서 제1 디바이스에 의해 가상 오브젝트로서 디스플레이된다.
[0091] 실시예 15: 실시예 13 또는 실시예 14의 디바이스에 있어서, 가상 페어링 표시자에 대한 제2 디바이스의 추적된 포지션 및 배향에 기반하여 제1 디바이스와 제2 디바이스를 동작가능하게 커플링시킬 시에, 명령들은 또한 컴퓨팅 디바이스로 하여금, 페어링 표시자에 의해 정의된 가상 정렬 영역에서의 제2 디바이스의 정렬을 검출하게 하고; 가상 정렬 영역에서의 제2 디바이스의 정렬을 모니터링하게 하고; 셋팅된 시간의 양보다 크거나 그와 동일한 시간의 양 동안 가상 정렬 영역에서의 제2 디바이스의 검출된 정렬에 대한 응답으로 제1 디바이스와 제2 디바이스를 동작가능하게 커플링시키기 위한 입력의 검증을 수신하게 하며; 그리고 제1 디바이스와 제2 디바이스를 동작가능하게 커플링시키기 위한 입력의 검증을 수신하는 것에 대한 응답으로, 제1 디바이스와 제2 디바이스를 동작가능하게 커플링시켜, 제1 디바이스와 제2 디바이스 사이의 통신을 가능하게 한다.
[0092] 실시예 16: 실시예 13 내지 실시예 15 중 어느 하나의 디바이스에 있어서, 가상 페어링 표시자는 제1 디바이스에 의해 생성된 가상 경로를 포함하며, 가상 경로는 제1 디바이스에 의해 생성된 가상 환경 내의 가상 오브젝트로서 제1 디바이스에 의해 디스플레이된다.
[0093] 실시예 17: 실시예 16의 디바이스에 있어서, 가상 페어링 표시자에 대한 제2 디바이스의 추적된 포지션 및 배향에 기반하여 제1 디바이스와 제2 디바이스를 동작가능하게 커플링시킬 시에, 명령들은 또한 컴퓨팅 디바이스로 하여금, 디스플레이된 가상 경로를 따른 제2 디바이스의 정렬을 모니터링하게 하고; 가상 경로의 제1 말단으로부터 가상 경로의 제2 말단으로의 가상 경로를 따른 제2 디바이스의 검출된 정렬에 대한 응답으로 제1 디바이스와 제2 디바이스를 동작가능하게 커플링시키기 위한 입력의 검증을 수신하게 하며; 그리고 제1 디바이스와 제2 디바이스를 동작가능하게 커플링시키기 위한 입력의 검증을 수신한 이후, 제1 디바이스와 제2 디바이스를 동작가능하게 커플링시켜, 제1 디바이스와 제2 디바이스 사이의 통신을 가능하게 한다.
[0094] 실시예 18: 실시예 13 내지 실시예 17 중 어느 하나의 디바이스에 있어서, 제2 디바이스에 의해 송신된 신호를 제1 디바이스에 의해 검출할 시에, 명령들은 컴퓨팅 디바이스로 하여금, 제1 디바이스에 의해, 제2 디바이스에 관련된 포지션 및 배향 데이터를 포함하는 전자기 신호를 검출하게 한다.
[0095] 실시예 19: 실시예 18의 디바이스에 있어서, 전자기 신호는 제2 디바이스에 관련된 식별 정보를 포함한다.
[0096] 실시예 20: 실시예 13 내지 실시예 17 중 어느 하나의 디바이스에 있어서, 제2 디바이스에 의해 송신된 신호를 제1 디바이스에 의해 검출할 시에, 명령들은 컴퓨팅 디바이스로 하여금, 제1 디바이스에 의해, 제2 디바이스에 관련된 포지션 및 배향 데이터, 및 제2 디바이스에 관련된 식별 정보를 포함하는 음향 신호를 검출하게 한다.
[0097] 가상 현실 환경에서 제1 디바이스와 제2 디바이스를 페어링시키기 위한 시스템의 추가적인 예에서, 제1 디바이스는 전송 디바이스일 수 있고, 제2 디바이스는 수신 디바이스일 수 있으며, 여기서, 전송 디바이스는 수신 디바이스에 의해 수신되는 전자기 신호를 송신할 수 있고, 수신 디바이스는 수신 디바이스와 송신 디바이스의 물리적 근접도를 검증하도록 전자기 신호를 프로세싱하고, 페어링을 위해 전송 디바이스에 관련된 식별 정보를 추출할 수 있다. 수신 디바이스는, 예컨대 하나 또는 그 초과의 가상 페어링 표시자들에 의해 정의된 가상 정렬 영역에 대한 제1 디바이스의 위치 및 포지션을 정렬시킴으로써, 제1 디바이스와 제2 디바이스를 페어링시키는 것을 용이하게 하기 위해 조작될 하나 또는 그 초과의 가상 페어링 표시자들을 디스플레이할 수 있다.
[0098] 설명된 구현들의 특정한 특성들이 본 명세서에 설명된 바와 같이 예시되었지만, 많은 수정들, 치환들, 변화들 및 등가물들이 이제 당업자들에게 떠오를 것이다. 따라서, 첨부된 청구항들이 구현들의 범위 내에 있는 것으로서 그러한 모든 변형들 및 변경들을 커버하도록 의도된다는 것이 이해될 것이다. 그들이 제한이 아니라 단지 예로서 제시되었으며, 형태 및 세부사항들의 다양한 변화들이 이루어질 수 있다는 것이 이해되어야 한다. 본 명세서에 설명된 장치 및/또는 방법들의 임의의 부분은 상호 배타적인 조합들을 제외하고 임의의 조합으로 결합될 수 있다. 본 명세서에 설명된 구현들은 설명된 상이한 구현들의 기능들, 컴포넌트들 및/또는 피처들의 다양한 조합들 및/또는 서브-조합들을 포함할 수 있다.

Claims (20)

  1. 컴퓨터로 구현되는 방법으로서,
    제2 디바이스에 의해 송신된 신호를 제1 디바이스에 의해 검출하는 단계;
    상기 제1 디바이스의 프로세서에 의해, 상기 제1 디바이스와 상기 제2 디바이스의 상대적인 근접도를 검출하도록, 검출된 신호를 프로세싱하는 단계;
    상기 제1 디바이스에 의해, 상기 검출된 신호의 프로세싱에 대한 응답으로 가상 페어링 표시자를 생성하는 단계;
    상기 제2 디바이스에 의해 송신된 신호에 기반하여 상기 가상 페어링 표시자에 대한 상기 제2 디바이스의 포지션 또는 배향 중 적어도 하나를 추적하는 단계; 및
    상기 가상 페어링 표시자에 대한 상기 제2 디바이스의 포지션 또는 배향 중 적어도 하나의 추적에 기반하여 상기 제1 디바이스와 상기 제2 디바이스를 동작가능하게 커플링시키는 단계를 포함하는, 컴퓨터로 구현되는 방법.
  2. 제1항에 있어서,
    상기 제1 디바이스에 의해, 상기 검출된 신호의 프로세싱에 대한 응답으로 가상 페어링 표시자를 생성하는 단계는,
    가상 정렬 영역을 정의하는 렌더링된 이미지를 생성하는 단계; 및
    상기 제1 디바이스에 의해 생성된 가상 환경 내의 가상 오브젝트로서 상기 렌더링된 이미지를 디스플레이하는 단계를 포함하는, 컴퓨터로 구현되는 방법.
  3. 제2항에 있어서,
    상기 렌더링된 이미지를 생성하는 단계는,
    상기 제2 디바이스의 적어도 하나의 피처(feature)에 대응하는 3차원의 렌더링된 이미지를 생성하는 단계; 및
    상기 가상 정렬 영역에서의 상기 제2 디바이스의 정렬을 위해, 상기 제1 디바이스에 의해 생성된 가상 환경 내의 가상 오브젝트로서 상기 3차원의 렌더링된 이미지를 디스플레이하는 단계를 포함하는, 컴퓨터로 구현되는 방법.
  4. 제2항에 있어서,
    상기 가상 페어링 표시자에 대한 상기 제2 디바이스의 포지션 또는 배향 중 적어도 하나를 추적하는 단계는,
    상기 제1 디바이스에 대한 상기 제2 디바이스의 초기 포지션 및 배향을 검출하는 단계;
    상기 제1 디바이스에 대한 상기 제2 디바이스의 움직임을 추적하는 단계; 및
    상기 제1 디바이스에 대한 상기 제2 디바이스의 추적된 움직임에 기반하여 상기 가상 페어링 표시자에 의해 정의된 가상 정렬 영역에서의 상기 제2 디바이스의 정렬을 검출하는 단계를 포함하는, 컴퓨터로 구현되는 방법.
  5. 제4항에 있어서,
    상기 가상 페어링 표시자에 대한 상기 제2 디바이스의 포지션 또는 배향 중 적어도 하나의 추적에 기반하여 상기 제1 디바이스와 상기 제2 디바이스를 동작가능하게 커플링시키는 단계는,
    상기 가상 정렬 영역에서의 상기 제2 디바이스의 정렬을 모니터링하는 단계; 및
    셋팅된 시간의 양보다 크거나 그와 동일한 시간의 양 동안 상기 가상 정렬 영역에서의 상기 제2 디바이스의 정렬의 검출에 대한 응답으로 상기 제1 디바이스와 상기 제2 디바이스를 동작가능하게 커플링시키기 위한 입력의 검증을 수신하는 단계를 포함하는, 컴퓨터로 구현되는 방법.
  6. 제5항에 있어서,
    상기 제1 디바이스와 상기 제2 디바이스를 동작가능하게 커플링시키기 위한 입력의 검증을 수신한 이후, 상기 제1 디바이스와 상기 제2 디바이스를 동작가능하게 커플링시켜, 상기 제1 디바이스와 상기 제2 디바이스 사이의 통신을 가능하게 하는 단계를 더 포함하는, 컴퓨터로 구현되는 방법.
  7. 제1항에 있어서,
    상기 제1 디바이스에 의해, 상기 검출된 신호의 프로세싱에 대한 응답으로 가상 페어링 표시자를 생성하는 단계는,
    가상 경로를 정의하는 패턴을 생성하는 단계; 및
    상기 제1 디바이스에 의해 생성된 가상 환경 내의 가상 오브젝트로서 상기 가상 경로를 디스플레이하는 단계를 포함하는, 컴퓨터로 구현되는 방법.
  8. 제7항에 있어서,
    상기 가상 페어링 표시자에 대한 상기 제2 디바이스의 포지션 또는 배향 중 적어도 하나의 추적에 기반하여 상기 제1 디바이스와 상기 제2 디바이스를 동작가능하게 커플링시키는 단계는,
    상기 제1 디바이스에 대한 상기 제2 디바이스의 움직임을 추적하고, 상기 제2 디바이스의 추적된 움직임을 디스플레이된 가상 경로에 대한 포지션 및 배향에 맵핑하는 단계;
    상기 디스플레이된 가상 경로를 따른 상기 제2 디바이스의 정렬을 모니터링하는 단계; 및
    상기 가상 경로의 제1 말단으로부터 상기 가상 경로의 제2 말단으로의 상기 디스플레이된 가상 경로를 따른 상기 제2 디바이스의 검출된 정렬에 대한 응답으로 상기 제1 디바이스와 상기 제2 디바이스를 동작가능하게 커플링시키기 위한 입력의 검증을 수신하는 단계를 포함하는, 컴퓨터로 구현되는 방법.
  9. 제8항에 있어서,
    상기 제1 디바이스와 상기 제2 디바이스를 동작가능하게 커플링시키기 위한 입력의 검증을 수신한 이후, 상기 제1 디바이스와 상기 제2 디바이스를 동작가능하게 커플링시켜, 상기 제1 디바이스와 상기 제2 디바이스 사이의 통신을 가능하게 하는 단계를 더 포함하는, 컴퓨터로 구현되는 방법.
  10. 제1항에 있어서,
    상기 제2 디바이스에 의해 송신된 신호를 제1 디바이스에 의해 검출하는 단계는, 상기 제2 디바이스에 의해 송신된 전자기 신호를 상기 제1 디바이스에 의해 검출하는 단계를 포함하며,
    상기 전자기 신호는 상기 제2 디바이스에 관련된 포지션 및 배향 데이터를 포함하는, 컴퓨터로 구현되는 방법.
  11. 제10항에 있어서,
    상기 전자기 신호는 상기 제2 디바이스에 관련된 식별 정보를 포함하는, 컴퓨터로 구현되는 방법.
  12. 제1항에 있어서,
    상기 제2 디바이스에 의해 송신된 신호를 제1 디바이스에 의해 검출하는 단계는, 상기 제2 디바이스에 의해 송신된 음향 신호를 상기 제1 디바이스에 의해 검출하는 단계를 포함하며,
    상기 음향 신호는 상기 제2 디바이스에 관련된 포지션 및 배향 데이터, 및 상기 제2 디바이스에 관련된 식별 정보를 포함하는, 컴퓨터로 구현되는 방법.
  13. 컴퓨팅 디바이스로서,
    가상 환경을 생성하도록 구성된 제1 디바이스를 포함하며,
    상기 제1 디바이스는,
    실행가능한 명령들을 저장한 메모리; 및
    상기 명령들을 실행하도록 구성된 프로세서를 포함하고,
    상기 명령들은 상기 컴퓨팅 디바이스로 하여금,
    제2 디바이스에 의해 송신된 신호를 검출하게 하고;
    상기 제1 디바이스와 상기 제2 디바이스의 상대적인 근접도를 검출하도록, 검출된 신호를 프로세싱하게 하고;
    상기 검출된 신호의 프로세싱에 대한 응답으로 가상 페어링 표시자를 생성하게 하고;
    상기 제2 디바이스에 의해 송신된 신호에 기반하여 상기 가상 페어링 표시자에 대한 상기 제2 디바이스의 포지션 또는 배향 중 적어도 하나를 추적하게 하며; 그리고
    상기 가상 페어링 표시자에 대한 상기 제2 디바이스의 포지션 또는 배향 중 추적된 적어도 하나에 기반하여 상기 제1 디바이스와 상기 제2 디바이스를 동작가능하게 커플링시키게 하는, 컴퓨팅 디바이스.
  14. 제13항에 있어서,
    상기 가상 페어링 표시자는, 상기 제2 디바이스의 적어도 하나의 피처에 대응하는 3차원의 렌더링된 이미지를 포함하며,
    상기 3차원의 렌더링된 이미지는 상기 제1 디바이스에 의해 생성된 가상 환경 내의 가상 오브젝트로서 디스플레이되는, 컴퓨팅 디바이스.
  15. 제14항에 있어서,
    상기 가상 페어링 표시자에 대한 상기 제2 디바이스의 포지션 또는 배향 중 추적된 적어도 하나에 기반하여 상기 제1 디바이스와 상기 제2 디바이스를 동작가능하게 커플링시킬 시에, 상기 명령들은 또한 상기 컴퓨팅 디바이스로 하여금,
    상기 페어링 표시자에 의해 정의된 가상 정렬 영역에서의 상기 제2 디바이스의 정렬을 검출하게 하고;
    상기 가상 정렬 영역에서의 상기 제2 디바이스의 정렬을 모니터링하게 하고;
    셋팅된 시간의 양보다 크거나 그와 동일한 시간의 양 동안 상기 가상 정렬 영역에서의 상기 제2 디바이스의 검출된 정렬에 대한 응답으로 상기 제1 디바이스와 상기 제2 디바이스를 동작가능하게 커플링시키기 위한 입력의 검증을 수신하게 하며; 그리고
    상기 제1 디바이스와 상기 제2 디바이스를 동작가능하게 커플링시키기 위한 입력의 검증을 수신하는 것에 대한 응답으로, 상기 제1 디바이스와 상기 제2 디바이스를 동작가능하게 커플링시켜, 상기 제1 디바이스와 상기 제2 디바이스 사이의 통신을 가능하게 하는, 컴퓨팅 디바이스.
  16. 제13항에 있어서,
    상기 가상 페어링 표시자는 상기 제1 디바이스에 의해 생성된 가상 경로를 포함하며,
    상기 가상 경로는 상기 제1 디바이스에 의해 생성된 가상 환경 내의 가상 오브젝트로서 디스플레이되는, 컴퓨팅 디바이스.
  17. 제16항에 있어서,
    상기 가상 페어링 표시자에 대한 상기 제2 디바이스의 포지션 또는 배향 중 추적된 적어도 하나에 기반하여 상기 제1 디바이스와 상기 제2 디바이스를 동작가능하게 커플링시킬 시에, 상기 명령들은 또한 상기 컴퓨팅 디바이스로 하여금,
    디스플레이된 가상 경로를 따른 상기 제2 디바이스의 정렬을 모니터링하게 하고;
    상기 가상 경로의 제1 말단으로부터 상기 가상 경로의 제2 말단으로의 상기 가상 경로를 따른 상기 제2 디바이스의 검출된 정렬에 대한 응답으로 상기 제1 디바이스와 상기 제2 디바이스를 동작가능하게 커플링시키기 위한 입력의 검증을 수신하게 하며; 그리고
    상기 제1 디바이스와 상기 제2 디바이스를 동작가능하게 커플링시키기 위한 입력의 검증을 수신한 이후, 상기 제1 디바이스와 상기 제2 디바이스를 동작가능하게 커플링시켜, 상기 제1 디바이스와 상기 제2 디바이스 사이의 통신을 가능하게 하는, 컴퓨팅 디바이스.
  18. 제13항에 있어서,
    상기 제2 디바이스에 의해 송신된 신호를 상기 제1 디바이스에 의해 검출할 시에, 상기 명령들은 상기 컴퓨팅 디바이스로 하여금, 상기 제2 디바이스에 의해 송신된 전자기 신호를 상기 제1 디바이스에 의해 검출하게 하며,
    상기 전자기 신호는 상기 제2 디바이스에 관련된 포지션 및 배향 데이터를 포함하는, 컴퓨팅 디바이스.
  19. 제18항에 있어서,
    상기 전자기 신호는 상기 제2 디바이스에 관련된 식별 정보를 포함하는, 컴퓨팅 디바이스.
  20. 제13항에 있어서,
    상기 제2 디바이스에 의해 송신된 신호를 상기 제1 디바이스에 의해 검출할 시에, 상기 명령들은 상기 컴퓨팅 디바이스로 하여금, 상기 제2 디바이스에 의해 송신된 음향 신호를 상기 제1 디바이스에 의해 검출하게 하며,
    상기 음향 신호는 상기 제2 디바이스에 관련된 포지션 및 배향 데이터, 및 상기 제2 디바이스에 관련된 식별 정보를 포함하는, 컴퓨팅 디바이스.
KR1020187023340A 2016-02-22 2017-02-22 증강/가상 현실 환경에서의 디바이스 페어링 KR102073413B1 (ko)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201662298378P 2016-02-22 2016-02-22
US62/298,378 2016-02-22
US15/438,216 2017-02-21
US15/438,216 US10334076B2 (en) 2016-02-22 2017-02-21 Device pairing in augmented/virtual reality environment
PCT/US2017/018804 WO2017147111A1 (en) 2016-02-22 2017-02-22 Device pairing in augmented / virtual reality environment

Publications (2)

Publication Number Publication Date
KR20180105671A true KR20180105671A (ko) 2018-09-28
KR102073413B1 KR102073413B1 (ko) 2020-02-04

Family

ID=59630300

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020187023340A KR102073413B1 (ko) 2016-02-22 2017-02-22 증강/가상 현실 환경에서의 디바이스 페어링

Country Status (6)

Country Link
US (1) US10334076B2 (ko)
EP (1) EP3380910B1 (ko)
JP (1) JP6531228B2 (ko)
KR (1) KR102073413B1 (ko)
CN (1) CN108475124B (ko)
WO (1) WO2017147111A1 (ko)

Families Citing this family (54)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016141373A1 (en) 2015-03-05 2016-09-09 Magic Leap, Inc. Systems and methods for augmented reality
US10838207B2 (en) * 2015-03-05 2020-11-17 Magic Leap, Inc. Systems and methods for augmented reality
CN108604383A (zh) 2015-12-04 2018-09-28 奇跃公司 重新定位系统和方法
US10614641B2 (en) * 2015-12-11 2020-04-07 The Sun Lock Company, Ltd. Electronic combination lock with different levels of access control
US9980307B2 (en) * 2016-03-21 2018-05-22 Motorola Solutions, Inc. Method and apparatus for orientation-based pairing of devices
US10198874B2 (en) 2016-05-13 2019-02-05 Google Llc Methods and apparatus to align components in virtual reality environments
US10649211B2 (en) 2016-08-02 2020-05-12 Magic Leap, Inc. Fixed-distance virtual and augmented reality systems and methods
US10345925B2 (en) * 2016-08-03 2019-07-09 Google Llc Methods and systems for determining positional data for three-dimensional interactions inside virtual reality environments
US10290151B2 (en) * 2016-08-17 2019-05-14 Blackberry Limited AR/VR device virtualisation
US10517129B2 (en) * 2016-08-23 2019-12-24 Huawei Technologies Co., Ltd. Bluetooth pairing method and bluetooth device
US10521603B2 (en) * 2016-08-24 2019-12-31 Branch Banking And Trust Company Virtual reality system for providing secured information
US11212326B2 (en) 2016-10-31 2021-12-28 Microsoft Technology Licensing, Llc Enhanced techniques for joining communication sessions
KR102656528B1 (ko) * 2016-11-25 2024-04-12 삼성전자주식회사 전자 장치, 외부 전자 장치 및 전자 장치와 외부 전자 장치를 연결하기 위한 방법
US10437343B2 (en) * 2017-01-06 2019-10-08 Samsung Electronics Co., Ltd. Augmented reality control of internet of things devices
US10812936B2 (en) 2017-01-23 2020-10-20 Magic Leap, Inc. Localization determination for mixed reality systems
CA3054619C (en) 2017-03-17 2024-01-30 Magic Leap, Inc. Mixed reality system with virtual content warping and method of generating virtual content using same
AU2018233733B2 (en) 2017-03-17 2021-11-11 Magic Leap, Inc. Mixed reality system with multi-source virtual content compositing and method of generating virtual content using same
EP3596705A4 (en) 2017-03-17 2020-01-22 Magic Leap, Inc. COLOR VIRTUAL CONTENT DEFORMATION MIXED REALITY SYSTEM AND VIRTUAL CONTENT GENERATION METHOD USING THE SAME
US11494986B2 (en) * 2017-04-20 2022-11-08 Samsung Electronics Co., Ltd. System and method for two dimensional application usage in three dimensional virtual reality environment
US10429949B2 (en) * 2017-06-30 2019-10-01 Htc Corporation User interaction apparatus and method
CN107370831B (zh) * 2017-09-01 2019-10-18 广州励丰文化科技股份有限公司 基于mr头显设备的多用户交互实现方法及系统
US11861136B1 (en) * 2017-09-29 2024-01-02 Apple Inc. Systems, methods, and graphical user interfaces for interacting with virtual reality environments
KR102580702B1 (ko) * 2018-02-22 2023-09-20 삼성전자주식회사 습기 유도 구조를 포함하는 전자 장치
US11050752B2 (en) 2018-06-07 2021-06-29 Ebay Inc. Virtual reality authentication
US20190385372A1 (en) * 2018-06-15 2019-12-19 Microsoft Technology Licensing, Llc Positioning a virtual reality passthrough region at a known distance
CN112513712B (zh) 2018-07-23 2023-05-09 奇跃公司 具有虚拟内容翘曲的混合现实系统和使用该系统生成虚拟内容的方法
KR102169024B1 (ko) * 2018-08-01 2020-10-22 주식회사 포멀웍스 3차원 증강현실을 이용한 합동 지휘통제 훈련 시스템 및 제공방법
US10581940B1 (en) * 2018-08-20 2020-03-03 Dell Products, L.P. Head-mounted devices (HMDs) discovery in co-located virtual, augmented, and mixed reality (xR) applications
US11010986B2 (en) * 2018-08-30 2021-05-18 Apple Inc. Virtual object kit
US11099634B2 (en) * 2019-01-25 2021-08-24 Apple Inc. Manipulation of virtual objects using a tracked physical object
WO2020182309A1 (en) * 2019-03-14 2020-09-17 Huawei Technologies Co., Ltd. Ultrasonic hand tracking system
US11210932B2 (en) 2019-05-21 2021-12-28 Apple Inc. Discovery of and connection to remote devices
CN110727344B (zh) * 2019-09-18 2022-05-17 Oppo广东移动通信有限公司 虚拟现实系统、交互控制方法
US11546391B2 (en) * 2019-11-01 2023-01-03 Microsoft Technology Licensing, Llc Teleconferencing interfaces and controls for paired user computing devices
US11304246B2 (en) 2019-11-01 2022-04-12 Microsoft Technology Licensing, Llc Proximity-based pairing and operation of user-specific companion devices
US11256392B2 (en) 2019-11-01 2022-02-22 Microsoft Technology Licensing, Llc Unified interfaces for paired user computing devices
US10705597B1 (en) * 2019-12-17 2020-07-07 Liteboxer Technologies, Inc. Interactive exercise and training system and method
JP2021157277A (ja) * 2020-03-25 2021-10-07 ソニーグループ株式会社 情報処理装置、情報処理方法及びプログラム
US11348320B2 (en) 2020-04-02 2022-05-31 Samsung Electronics Company, Ltd. Object identification utilizing paired electronic devices
EP4097641A4 (en) * 2020-04-02 2023-06-28 Samsung Electronics Co., Ltd. Electronic device and method for object identification utilizing paired electronic device
WO2021236170A1 (en) 2020-05-18 2021-11-25 Google Llc Low-power semi-passive relative six-degree-of-freedom tracking
TWI784305B (zh) 2020-08-26 2022-11-21 財團法人資訊工業策進會 透過六自由度虛擬空間中的軌跡篩選資料之裝置及方法
US11557097B2 (en) 2020-11-13 2023-01-17 Google Llc Triggering a collaborative augmented reality environment using an ultrasound signal
EP4195005A4 (en) * 2020-12-17 2024-06-12 Samsung Electronics Co., Ltd. ELECTRONIC DEVICE AND METHOD FOR OPERATING AN ELECTRONIC DEVICE
JP2022118501A (ja) 2021-02-02 2022-08-15 キヤノン株式会社 表示システム、表示装置とその制御方法及びプログラム
WO2022195322A1 (en) * 2021-03-15 2022-09-22 One Game Studio S.A.P.I De C.V. System and method for the interaction of at least two users in an augmented reality environment for a videogame
US20230095282A1 (en) * 2021-09-24 2023-03-30 Apple Inc. Method And Device For Faciliating Interactions With A Peripheral Device
US20230140030A1 (en) * 2021-11-03 2023-05-04 Htc Corporation Method, system and recording medium for accessory pairing
US20230176662A1 (en) * 2021-12-06 2023-06-08 Htc Corporation Control method, virtual reality system, and non-transitory computer readable storage medium with map of head-mounted device
US20230177136A1 (en) * 2021-12-08 2023-06-08 Qualcomm Incorporated Auto-pairing rotation vector
WO2024034776A1 (ko) * 2022-08-12 2024-02-15 삼성전자 주식회사 가상 공간의 아바타를 활용하는 커뮤니케이션 방법 및 장치
US12086393B2 (en) * 2022-08-12 2024-09-10 Samsung Electronics Co., Ltd. Communication method and device using avatar in virtual space
WO2024163210A1 (en) * 2023-01-31 2024-08-08 Qualcomm Incorporated Aperture fusion with separate devices
US12079903B1 (en) * 2023-06-26 2024-09-03 Google Llc Real screens in extended reality

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140090263A (ko) * 2009-07-17 2014-07-16 퀄컴 인코포레이티드 마스터 디바이스와 오브젝트 디바이스 간의 자동 인터페이싱

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5574479A (en) * 1994-01-07 1996-11-12 Selectech, Ltd. Optical system for determining the roll orientation of a remote unit relative to a base unit
US7796116B2 (en) * 2005-01-12 2010-09-14 Thinkoptics, Inc. Electronic equipment for handheld vision based absolute pointing system
US20090286479A1 (en) 2008-05-16 2009-11-19 Sony Ericsson Mobile Communications Ab Method and system for sensory pairing for a portable communication device
US8363098B2 (en) 2008-09-16 2013-01-29 Plantronics, Inc. Infrared derived user presence and associated remote control
US20110028091A1 (en) 2009-08-03 2011-02-03 Motorola, Inc. Method and system for near-field wireless device pairing
US8749396B2 (en) * 2011-08-25 2014-06-10 Satorius Stedim Biotech Gmbh Assembling method, monitoring method, communication method, augmented reality system and computer program product
US9162144B2 (en) 2011-12-05 2015-10-20 Microsoft Technology Licensing, Llc Portable device pairing with a tracking system
CN102789514B (zh) * 2012-04-20 2014-10-08 青岛理工大学 一种机械设备拆装3d在线诱导系统的诱导方法
KR101969351B1 (ko) 2012-09-10 2019-04-16 엘지전자 주식회사 헤드 마운트 디스플레이 및 그 출력 제어 방법
US20140168261A1 (en) * 2012-12-13 2014-06-19 Jeffrey N. Margolis Direct interaction system mixed reality environments
KR102148645B1 (ko) * 2013-03-15 2020-08-28 엘지전자 주식회사 이동단말기 및 그 제어방법
US9239460B2 (en) 2013-05-10 2016-01-19 Microsoft Technology Licensing, Llc Calibration of eye location
US20160292922A1 (en) * 2013-05-21 2016-10-06 Sony Corporation Display control device, display control method, and recording medium
US20140362110A1 (en) * 2013-06-08 2014-12-11 Sony Computer Entertainment Inc. Systems and methods for customizing optical representation of views provided by a head mounted display based on optical prescription of a user
US20150029942A1 (en) 2013-07-23 2015-01-29 Htc Corporation Pairing method for electronic device
CN104615344A (zh) 2013-11-04 2015-05-13 英业达科技有限公司 解锁系统及其方法
JP6206099B2 (ja) 2013-11-05 2017-10-04 セイコーエプソン株式会社 画像表示システム、画像表示システムを制御する方法、および、頭部装着型表示装置
EP3108287A4 (en) * 2014-02-18 2017-11-08 Merge Labs, Inc. Head mounted display goggles for use with mobile computing devices
US9551873B2 (en) * 2014-05-30 2017-01-24 Sony Interactive Entertainment America Llc Head mounted device (HMD) system having interface with mobile computing device for rendering virtual reality content
WO2016017945A1 (en) 2014-07-29 2016-02-04 Samsung Electronics Co., Ltd. Mobile device and method of pairing the same with electronic device
US9824498B2 (en) * 2014-12-30 2017-11-21 Sony Interactive Entertainment Inc. Scanning display system in head-mounted display for virtual reality
CN105046213B (zh) * 2015-06-30 2019-03-12 塔普翊海（上海）智能科技有限公司 一种增强现实的方法
US10083544B2 (en) * 2015-07-07 2018-09-25 Google Llc System for tracking a handheld device in virtual reality
US9898869B2 (en) * 2015-09-09 2018-02-20 Microsoft Technology Licensing, Llc Tactile interaction in virtual environments
JP6215441B1 (ja) * 2016-12-27 2017-10-18 株式会社コロプラ 仮想空間を提供するための方法、当該方法をコンピュータに実現させるためのプログラム、および、コンピュータ装置
US10810753B2 (en) * 2017-02-27 2020-10-20 Microsoft Technology Licensing, Llc Single-frequency time-of-flight depth computation using stereoscopic disambiguation

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140090263A (ko) * 2009-07-17 2014-07-16 퀄컴 인코포레이티드 마스터 디바이스와 오브젝트 디바이스 간의 자동 인터페이싱

Also Published As

Publication number Publication date
JP6531228B2 (ja) 2019-06-12
CN108475124A (zh) 2018-08-31
WO2017147111A1 (en) 2017-08-31
US10334076B2 (en) 2019-06-25
KR102073413B1 (ko) 2020-02-04
JP2019512771A (ja) 2019-05-16
US20170244811A1 (en) 2017-08-24
EP3380910B1 (en) 2020-07-29
EP3380910A1 (en) 2018-10-03
CN108475124B (zh) 2021-02-02

Similar Documents

Publication Publication Date Title
KR102073413B1 (ko) 증강/가상 현실 환경에서의 디바이스 페어링
US10475254B2 (en) Methods and apparatus to align components in virtual reality environments
US20210248835A1 (en) Context sensitive user interface activation in an augmented and/or virtual reality environment
EP3320413B1 (en) System for tracking a handheld device in virtual reality
KR102021135B1 (ko) 가상 현실 환경에서의 내비게이션을 위한 제어 시스템
CN107667328B (zh) 用于在增强和/或虚拟现实环境中跟踪手持设备的系统
EP3659132B1 (en) Position-based location indication and device control
US10254546B2 (en) Optically augmenting electromagnetic tracking in mixed reality
EP4342196A1 (en) Beacons for localization and content delivery to wearable devices
US20180059777A1 (en) Manipulating virtual objects with six degree-of-freedom controllers in an augmented and/or virtual reality environment
EP2661663B1 (en) Method and apparatus for tracking orientation of a user
KR20180038521A (ko) 증강 및/또는 가상 현실 환경에서의 텔레포테이션
US20130055103A1 (en) Apparatus and method for controlling three-dimensional graphical user interface (3d gui)
US20220099965A1 (en) Augmented reality gaming using virtual eyewear beams
JP2018200415A (ja) 頭部装着型表示装置、プログラム、及び頭部装着型表示装置の制御方法
CN110213205B (zh) 验证方法、装置及设备
WO2023064902A1 (en) Ultrasonic device-to-device communication for wearable devices
US20230360264A1 (en) Identifying a position of a controllable device using a wearable device
KR20180130270A (ko) 가상현실 관전 모드를 이용한 게임 방송 시청 서비스 제공 방법 및 그 장치

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant