KR20200067959A - 주변 디바이스들의 시각적 추적 - Google Patents

주변 디바이스들의 시각적 추적 Download PDF

Info

Publication number
KR20200067959A
KR20200067959A KR1020207016433A KR20207016433A KR20200067959A KR 20200067959 A KR20200067959 A KR 20200067959A KR 1020207016433 A KR1020207016433 A KR 1020207016433A KR 20207016433 A KR20207016433 A KR 20207016433A KR 20200067959 A KR20200067959 A KR 20200067959A
Authority
KR
South Korea
Prior art keywords
handheld
fiducials
handheld device
wearable
data
Prior art date
Application number
KR1020207016433A
Other languages
English (en)
Other versions
KR102345492B1 (ko
Inventor
론 리라즈 리지
재커리 씨. 닌스테트
사무엘 에이. 밀러
바락 프리드먼
리오넬 어니스트 에드윈
에릭 씨. 브로위
윌리엄 허드슨 웰치
Original Assignee
매직 립, 인코포레이티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 매직 립, 인코포레이티드 filed Critical 매직 립, 인코포레이티드
Publication of KR20200067959A publication Critical patent/KR20200067959A/ko
Application granted granted Critical
Publication of KR102345492B1 publication Critical patent/KR102345492B1/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/213—Input arrangements for video game devices characterised by their sensors, purposes or types comprising photodetecting means, e.g. cameras, photodiodes or infrared cells
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/25—Output arrangements for video game devices
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/60—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor
    • A63F13/65—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor automatically by game devices or servers from real world data, e.g. measurement in live racing competition
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/163—Wearable computers, e.g. on a belt
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/1686—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being an integrated camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/1694—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being a single or a set of motion sensors for pointer control or gesture input obtained by sensing movements of the portable computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G06F3/0325—Detection arrangements using opto-electronic means using a plurality of light emitters or reflectors or a plurality of detectors forming a reference frame from which to derive the orientation of the object, e.g. by triangulation or on the basis of reference deformation in the picked up image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • G06F3/0383—Signal control means within the pointing device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/30—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by output arrangements for receiving control signals generated by the game device
    • A63F2300/303—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by output arrangements for receiving control signals generated by the game device for displaying additional data, e.g. simulating a Head Up Display
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Optics & Photonics (AREA)
  • Evolutionary Computation (AREA)
  • Geometry (AREA)
  • Studio Devices (AREA)
  • User Interface Of Digital Computer (AREA)
  • Image Input (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
  • Image Analysis (AREA)

Abstract

웨어러블 디바이스에 대한 핸드헬드 디바이스의 로컬화를 수행하기 위한 기술들이 개시된다. 핸드헬드 디바이스에 장착된 적어도 하나의 센서, 이를테면, 관성 측정 유닛(IMU)은 세계에 대한 핸드헬드 디바이스의 움직임을 나타내는 핸드헬드 데이터를 획득할 수 있다. 핸드헬드 디바이스 또는 웨어러블 디바이스에 장착된 이미징 디바이스는 다른 하나의 디바이스에 부착된 일정수의 기점들을 포함하는 기점 이미지를 캡처할 수 있다. 이미지에 포함된 기점들의 수가 결정된다. 기점들의 수에 기반하여, 웨어러블 디바이스에 대한 핸드헬드 디바이스의 포지션 및 배향 중 적어도 하나가 제1 동작 상태, 제2 동작 상태 또는 제3 동작 상태에 따라 이미지 및 핸드헬드 데이터에 기반하여 업데이트된다.

Description

주변 디바이스들의 시각적 추적{VISUAL TRACKING OF PERIPHERAL DEVICES}
본 출원은 "VISUAL TRACKING OF PERIPHERAL DEVICES"이라는 명칭으로 2018년 3월 7일자로 출원된 미국 가특허 출원 제62/640,009호 및 "VISUAL TRACKING OF PERIPHERAL DEVICES"이라는 명칭으로 2018년 3월 7일자로 출원된 미국 가특허 출원 제62/640,299호를 우선권으로 주장하며, 이에 따라 상기 출원들의 전체 개시내용들은 본원에서 충분히 설명된 것처럼 모든 목적들을 위해 인용에 의해 본원에 통합된다.
현대의 컴퓨팅 및 디스플레이 기술들은 디지털 방식으로 재생된 이미지들 또는 이들의 부분들이 실제인 것처럼 보이거나 인식될 수 있는 방식으로 사용자에게 제시되는 소위 "가상 현실" 또는 "증강 현실" 경험들을 위한 시스템들의 개발을 용이하게 하였다. 가상 현실 또는 "VR" 시나리오는 전형적으로 다른 실제 실세계 시각 입력에 대한 투명성 없는 디지털 또는 가상 이미지 정보의 제시를 수반하며; 증강 현실 또는 "AR" 시나리오는 전형적으로 사용자 주변의 실제 세계의 시각화에 대한 증강으로서의 디지털 또는 가상 이미지 정보의 제시를 수반한다.
이러한 디스플레이 기술들에서 이루어진 진보에도 불구하고, 증강 현실 시스템들, 특히 디스플레이 시스템들과 관련된 개선된 방법들, 시스템들 및 디바이스들에 대한 요구가 이 분야에 존재한다.
본 발명은 일반적으로 주변 디바이스의 로컬화(localization)(포지션, 배향 및/또는 거리)에 관한 것이다. 더 구체적으로, 본 발명의 실시예들은 웨어러블 디바이스에 대한 핸드헬드 디바이스의 로컬화를 위한 시스템들, 디바이스들 및 방법들을 제공한다. 본 개시의 부분들은 증강 현실(AR) 시스템을 참조하여 설명되지만, 본 개시는 다양한 응용들에 적용 가능하다.
본 발명의 제1 양태에 따르면, 웨어러블 디바이스에 대한 핸드헬드 디바이스의 로컬화를 수행하는 방법이 제공된다. 방법은 핸드헬드 디바이스에 장착된 적어도 하나의 센서에 의해, 세계에 대한 핸드헬드 디바이스의 움직임을 나타내는 핸드헬드 데이터를 획득하는 단계를 포함할 수 있다. 일부 실시예들에서, 핸드헬드 데이터를 획득하는 단계는 핸드헬드 디바이스에 장착된 관성 측정 유닛(IMU)에 의해, 핸드헬드 디바이스의 선형 가속도들 및 회전 속도들을 검출하는 단계를 포함한다. 일부 실시예들에서, 핸드헬드 데이터를 획득하는 단계는 핸드헬드 디바이스에 장착된 핸드헬드 카메라에 의해, 핸드헬드 디바이스를 둘러싸는 하나 이상의 특징들을 포함하는 세계 이미지를 캡처하는 단계를 포함한다. 방법은 웨어러블 디바이스에 장착된 웨어러블 카메라에 의해, 웨어러블 디바이스에 대한 핸드헬드 디바이스의 움직임을 나타내는 기점 데이터(fiducial data)를 획득하는 단계를 더 포함할 수 있다. 일부 실시예들에서, 기점 데이터를 획득하는 단계는 웨어러블 카메라에 의해, 핸드헬드 디바이스에 부착된 복수의 발광 다이오드(LED)들 중 핸드헬드 디바이스에 부착된 다수의 LED들을 포함하는 기점 이미지를 캡처하는 단계를 포함한다.
방법은 기점 이미지에 포함된 LED들의 수를 결정하는 단계를 더 포함할 수 있다. 방법은 LED들의 수가 3 개 이상이라고 결정하는 것에 대한 응답으로, 제1 동작 상태에 따라 기점 데이터에만 기반하여 웨어러블 디바이스에 대한 핸드헬드 디바이스의 포지션 및 배향을 업데이트하는 단계를 더 포함할 수 있다. 방법은 LED들의 수가 1 개 또는 2 개라고 결정하는 것에 대한 응답으로, 제2 동작 상태에 따라 기점 데이터 및 핸드헬드 데이터에 기반하여 웨어러블 디바이스에 대한 핸드헬드 디바이스의 포지션 및 배향을 업데이트하는 단계를 더 포함할 수 있다. 방법은 LED들의 수가 0 개라고 결정하는 것에 대한 응답으로, 제3 동작 상태에 따라 핸드헬드 데이터에만 기반하여 웨어러블 디바이스에 대한 핸드헬드 디바이스의 포지션 및 배향을 업데이트하는 단계를 더 포함할 수 있다.
본 발명의 제2 양태에 따르면, 웨어러블 디바이스에 대한 핸드헬드 디바이스의 로컬화를 수행하는 방법이 제공된다. 방법은 핸드헬드 디바이스에 장착된 적어도 하나의 센서에 의해, 세계에 대한 핸드헬드 디바이스의 움직임을 나타내는 핸드헬드 데이터를 획득하는 단계를 포함할 수 있다. 방법은 또한 제1 디바이스에 장착된 이미징 디바이스에 의해, 웨어러블 디바이스에 대한 핸드헬드 디바이스의 움직임을 나타내는 기점 데이터를 획득하는 단계를 포함할 수 있다. 일부 실시예들에서, 제1 디바이스는 핸드헬드 디바이스 또는 웨어러블 디바이스 중 어느 하나이다. 일부 실시예들에서, 기점 데이터를 획득하는 단계는 이미징 디바이스에 의해, 제1 디바이스와 상이한 제2 디바이스에 부착된 일정수의 기점들을 포함하는 기점 이미지를 캡처하는 단계를 포함한다. 일부 실시예들에서, 제2 디바이스는 핸드헬드 디바이스 또는 웨어러블 디바이스 중 어느 하나이다. 방법은 기점 이미지에 포함된 기점들의 수를 결정하는 단계를 더 포함할 수 있다. 방법은 기점 이미지에 포함된 기점들의 수에 기반하여, 제1 동작 상태 또는 제2 동작 상태에 따라 기점 데이터 및 핸드헬드 데이터에 기반하여 웨어러블 디바이스에 대한 핸드헬드 디바이스의 포지션 및 배향을 업데이트하는 단계를 더 포함할 수 있다.
일부 실시예들에서, 핸드헬드 데이터를 획득하는 단계는 핸드헬드 디바이스에 장착된 IMU에 의해, 핸드헬드 디바이스의 회전 운동을 검출하는 단계를 포함한다. 일부 실시예들에서, 이미징 디바이스는 핸드헬드 디바이스에 장착되고, 일정수의 기점들을 포함하는 복수의 기점들은 웨어러블 디바이스에 부착된다. 일부 실시예들에서, 이미징 디바이스는 웨어러블 디바이스에 장착되고, 일정수의 기점들을 포함하는 복수의 기점들은 핸드헬드 디바이스에 부착된다. 일부 실시예들에서, 이미징 디바이스는 핸드헬드 디바이스에 장착되고, 일정수의 기점들을 포함하는 복수의 기점들은 웨어러블 디바이스에 부착된다. 일부 실시예들에서, 핸드헬드 데이터를 획득하는 단계는 핸드헬드 디바이스에 장착된 제2 핸드헬드 이미징 디바이스에 의해, 핸드헬드 디바이스를 둘러싸는 하나 이상의 특징들을 포함하는 세계 이미지를 캡처하는 단계를 포함한다. 일부 실시예들에서, 이미징 디바이스는 웨어러블 디바이스에 장착되고, 기점들의 수를 포함하는 단일 기점은 핸드헬드 디바이스에 부착된다. 이러한 실시예들에서, 핸드헬드 데이터를 획득하는 단계는 핸드헬드 디바이스에 장착된 제2 핸드헬드 이미징 디바이스에 의해, 핸드헬드 디바이스를 둘러싸는 하나 이상의 특징들을 포함하는 세계 이미지를 캡처하는 단계를 포함한다.
일부 실시예들에서, 이미징 디바이스는 웨어러블 디바이스에 장착되고, 일정수의 기점들을 포함하는 복수의 기점들은 핸드헬드 디바이스에 부착된다. 이러한 실시예들에서, 핸드헬드 데이터를 획득하는 단계는 핸드헬드 디바이스에 장착된 제2 핸드헬드 이미징 디바이스에 의해, 핸드헬드 디바이스를 둘러싸는 하나 이상의 특징들을 포함하는 세계 이미지를 캡처하는 단계를 포함한다. 방법은 기점들의 수가 3 개 이상이라고 결정하는 것에 대한 응답으로, 제1 동작 상태에 따라 기점 데이터에 기반하여 웨어러블 디바이스에 대한 핸드헬드 디바이스의 포지션 및 배향을 업데이트하는 단계를 더 포함할 수 있다. 방법은 기점들의 수가 1 개 또는 2 개라고 결정하는 것에 대한 응답으로, 제2 동작 상태에 따라 기점 데이터 및 핸드헬드 데이터에 기반하여 웨어러블 디바이스에 대한 핸드헬드 디바이스의 포지션 및 배향을 업데이트하는 단계를 더 포함할 수 있다. 방법은 기점들의 수가 0 개라고 결정하는 것에 대한 응답으로, 제3 동작 상태에 따라 핸드헬드 데이터에 기반하여 웨어러블 디바이스에 대한 핸드헬드 디바이스의 포지션 및 배향을 업데이트하는 단계를 더 포함할 수 있다. 일부 실시예들에서, 웨어러블 디바이스에 대한 핸드헬드 디바이스의 포지션 및 배향은 제1 동작 상태에 따라 기점 데이터에만 기반하여 업데이트된다. 일부 실시예들에서, 웨어러블 디바이스에 대한 핸드헬드 디바이스의 포지션 및 배향은 제3 동작 상태에 따라 핸드헬드 데이터에만 기반하여 업데이트된다.
본 발명의 제3 양태에 따르면, 웨어러블 디바이스에 대한 핸드헬드 디바이스의 로컬화를 수행하기 위한 시스템이 제공된다. 시스템은 웨어러블 디바이스를 포함할 수 있다. 시스템은 또한 핸드헬드 디바이스를 포함할 수 있다. 시스템은 웨어러블 디바이스 및 핸드헬드 디바이스에 통신 가능하게 결합된 하나 이상의 프로세서들을 더 포함할 수 있다. 일부 실시예들에서, 하나 이상의 프로세서들은 핸드헬드 디바이스에 장착된 적어도 하나의 센서에 의해, 세계에 대한 핸드헬드 디바이스의 움직임을 나타내는 핸드헬드 데이터를 획득하는 동작을 포함하는 동작들을 수행하도록 구성된다. 동작들은 또한 제1 디바이스에 장착된 이미징 디바이스에 의해, 웨어러블 디바이스에 대한 핸드헬드 디바이스의 움직임을 나타내는 기점 데이터를 획득하는 동작을 포함할 수 있다. 일부 실시예들에서, 제1 디바이스는 핸드헬드 디바이스 또는 웨어러블 디바이스 중 어느 하나이다. 일부 실시예들에서, 기점 데이터를 획득하는 동작은 이미징 디바이스에 의해, 제1 디바이스와 상이한 제2 디바이스에 부착된 일정수의 기점들을 포함하는 기점 이미지를 캡처하는 동작을 포함한다. 일부 실시예들에서, 제2 디바이스는 핸드헬드 디바이스 또는 웨어러블 디바이스 중 어느 하나이다. 동작들은 기점 이미지에 포함된 기점들의 수를 결정하는 동작을 더 포함할 수 있다. 동작들은 기점 이미지에 포함된 기점들의 수에 기반하여, 제1 동작 상태 또는 제2 동작 상태에 따라 기점 데이터 및 핸드헬드 데이터에 기반하여 웨어러블 디바이스에 대한 핸드헬드 디바이스의 포지션 및 배향을 업데이트하는 동작을 더 포함할 수 있다.
일부 실시예들에서, 핸드헬드 데이터를 획득하는 동작은 핸드헬드 디바이스에 장착된 IMU에 의해, 핸드헬드 디바이스의 회전 운동을 검출하는 동작을 포함한다. 일부 실시예들에서, 이미징 디바이스는 핸드헬드 디바이스에 장착되고, 일정수의 기점들을 포함하는 복수의 기점들은 웨어러블 디바이스에 부착된다. 일부 실시예들에서, 이미징 디바이스는 웨어러블 디바이스에 장착되고, 일정수의 기점들을 포함하는 복수의 기점들은 핸드헬드 디바이스에 부착된다. 일부 실시예들에서, 이미징 디바이스는 핸드헬드 디바이스에 장착되고, 일정수의 기점들을 포함하는 복수의 기점들은 웨어러블 디바이스에 부착된다. 이러한 실시예들에서, 핸드헬드 데이터를 획득하는 동작은 핸드헬드 디바이스에 장착된 제2 핸드헬드 이미징 디바이스에 의해, 핸드헬드 디바이스를 둘러싸는 하나 이상의 특징들을 포함하는 세계 이미지를 캡처하는 동작을 포함한다. 일부 실시예들에서, 이미징 디바이스는 웨어러블 디바이스에 장착되고, 기점들의 수를 포함하는 단일 기점은 핸드헬드 디바이스에 부착된다. 이러한 실시예들에서, 핸드헬드 데이터를 획득하는 동작은 핸드헬드 디바이스에 장착된 제2 핸드헬드 이미징 디바이스에 의해, 핸드헬드 디바이스를 둘러싸는 하나 이상의 특징들을 포함하는 세계 이미지를 캡처하는 동작을 포함한다. 일부 실시예들에서, 이미징 디바이스는 웨어러블 디바이스에 장착되고, 일정수의 기점들을 포함하는 복수의 기점들은 핸드헬드 디바이스에 부착된다. 이러한 실시예들에서, 핸드헬드 데이터를 획득하는 동작은 핸드헬드 디바이스에 장착된 제2 핸드헬드 이미징 디바이스에 의해, 핸드헬드 디바이스를 둘러싸는 하나 이상의 특징들을 포함하는 세계 이미지를 캡처하는 동작을 포함한다.
일부 실시예들에서, 동작들은 기점들의 수가 3 개 이상이라고 결정하는 것에 대한 응답으로, 제1 동작 상태에 따라 기점 데이터에 기반하여 웨어러블 디바이스에 대한 핸드헬드 디바이스의 포지션 및 배향을 업데이트하는 동작을 더 포함한다. 일부 실시예들에서, 동작들은 기점들의 수가 1 개 또는 2 개라고 결정하는 것에 대한 응답으로, 제2 동작 상태에 따라 기점 데이터 및 핸드헬드 데이터에 기반하여 웨어러블 디바이스에 대한 핸드헬드 디바이스의 포지션 및 배향을 업데이트하는 동작을 더 포함한다. 일부 실시예들에서, 동작들은 기점들의 수가 0 개라고 결정하는 것에 대한 응답으로, 제3 동작 상태에 따라 핸드헬드 데이터에 기반하여 웨어러블 디바이스에 대한 핸드헬드 디바이스의 포지션 및 배향을 업데이트하는 동작을 더 포함한다.
종래 기술들에 비해 본 발명에 의해 많은 이익들이 달성된다. 예를 들어, 본 발명의 실시예들은 일련의 자기 코일을 사용하는 전자기 추적 시스템들과 같은 종래의 기술들보다 더 높은 정밀도의 핸드헬드 디바이스 로컬화를 제공한다. 본 발명의 실시예들은 또한 헤드셋 상에 장착된 전방 또는 측방 세계 카메라들과 같은, AR 시스템에 의해 이미 이용되고 있는 하드웨어를 이용할 수 있다. 실시예들은 AR 시스템들을 넘어서 그리고 하나의 디바이스의 다른 디바이스에 대한 로컬화가 중요한 임의의 응용으로 확장될 수 있다. 본 발명의 다른 이익들은 당업자들에게 용이하게 자명할 것이다.
도 1은 본 명세서에 설명된 실시예에 따른 웨어러블 AR 디바이스를 통해 관찰되는 바와 같은 증강 현실(AR) 장면을 도시한다.
도 2는 AR 시스템의 다양한 가능한 컴포넌트들을 도시한다.
도 3은 시각적 추적 시스템이 웨어러블 디바이스 및 핸드헬드 디바이스를 갖는 AR 시스템과 어떻게 통합될 수 있는지의 예를 도시한다.
도 4는 로컬화 작업의 도면을 도시한다.
도 5는 AR 시스템의 예시적인 구성을 도시한다.
도 6은 도 5에 도시된 예시적인 구성을 사용하여 로컬화를 수행하는 방법을 도시한다.
도 7은 AR 시스템의 예시적인 구성을 도시한다.
도 8은 도 7에 도시된 예시적인 구성을 사용하여 로컬화를 수행하는 방법을 도시한다.
도 9는 AR 시스템의 예시적인 구성을 도시한다.
도 10은 도 9에 도시된 예시적인 구성을 사용하여 로컬화를 수행하는 방법을 도시한다.
도 11a는 AR 시스템의 예시적인 구성을 도시한다.
도 11b는 AR 시스템의 예시적인 구성을 도시한다.
도 12는 도 11a 및 11b에 도시된 예시적인 구성들을 사용하여 로컬화를 수행하는 방법을 도시한다.
도 13은 이전에 도시된 예시적인 구성들 중 임의의 구성을 사용하여 로컬화를 수행하는 방법을 도시한다.
도 14는 본 명세서에 설명된 일부 실시예들에 따른 간소화된 컴퓨터 시스템을 도시한다.
종래의 가상 현실(VR) 또는 증강 현실(AR) 시스템들에서는, 사용자의 AR 헤드셋, 벨트 팩(belt pack) 및/또는 다른 보조 디바이스들(예를 들어, 토템(totem)들, 햅틱 디바이스들, 게이밍 기구들 등) 상에 전략적으로 배치된 일련의 전자기 센서들 및 이미터들을 통합함으로써 주변 디바이스의 6 개의 추적 자유도가 달성된다. 전형적으로, 전자기 추적 시스템들은 적어도 하나의 전자기장 이미터 및 적어도 하나의 전자기장 센서를 포함한다. 방출된 전자기장들은 알려진 분포를 갖기 때문에, 검출된 장들은 분석하여 주변 디바이스의 포지션 및/또는 배향을 결정할 수 있다. 이러한 시스템들은 로컬화 문제에 대한 간단한 해결책을 제공하지만, 더 높은 정밀도의 로컬화를 제공하는 추가적인 해결책들이 필요하다. 본 발명의 실시예들은 전자기 추적 시스템들을 대체하거나 보완할 수 있다.
본 발명의 실시예들은 웨어러블 디바이스(예를 들어, 헤드셋)에 대한 핸드헬드 디바이스(예를 들어, 토템)의 고정밀 로컬화를 수행하기 위한 시각적 추적 시스템을 제공한다. 이미징 디바이스가 디바이스들 중 하나에 장착되고, 다른 하나의 디바이스에 부착된 하나 이상의 기점들의 이미지를 캡처할 수 있다. 다양한 환경 마커들을 캡처하기 위해 핸드헬드 디바이스에 추가적인 이미징 디바이스가 장착될 수 있다. 캡처된 이미지 내의 기점들의 수에 기반하여, 기점 데이터(즉, 로컬 기준을 갖는 기점 이미지에 기초하는 데이터) 및 핸드헬드 데이터(세계 기준을 갖는 핸드헬드 디바이스에 장착된 센서들로부터 수집된 데이터)를 상이하게 이용하는 상이한 데이터 프로세싱 방식들이 구현될 수 있다. 본 명세서에서 동작 상태로 지칭되는 각각의 데이터 프로세싱 방식은 웨어러블 디바이스에 대한 핸드헬드 디바이스의 포지션 및/또는 배향의 정밀한 추정을 가능하게 할 수 있다. 추적 시스템은 추정된 로컬화를 AR 시스템에 통지할 수 있고, AR 시스템은 로컬화 정보를 사용하여 사용자에게 편안하게 느껴지는 가상 콘텐츠를 생성할 수 있다.
도 1은 본 명세서에 설명된 실시예에 따른 웨어러블 AR 디바이스를 통해 관찰된 바와 같은 AR 장면을 도시한다. AR 기술의 사용자가 배경 내의 사람들, 나무들, 빌딩들, 및 콘크리트 플랫폼(120)을 특징화하는 실세계 공원과 같은 세팅(106)을 보는 AR 장면(100)이 도시되어 있다. 이들 아이템에 더하여, AR 기술의 사용자는 또한 그가 실세계 플랫폼(120) 상에 서있는 로봇 조각상(110) 및 호박벌의 의인화인 것처럼 보이는, 비행하는, 만화와 같은 아바타 캐릭터(102)를 "보고 있는" 것으로 인식하지만, 이러한 요소들(캐릭터(102) 및 조각상(110))은 실세계에는 존재하지 않는다. 인간의 시각적 지각 및 신경계는 매우 복잡하기 때문에, 많은 가상 또는 실세계 이미저리 요소들 중에서 특히 가상 이미지 요소들의 편안하고 자연스럽게 느껴지고 풍부한 제시를 용이하게 하는 VR 또는 AR 기술을 창조하는 것은 어려운 일이다.
도 2는 AR 시스템의 다양한 가능한 컴포넌트들을 도시한다. 도시된 실시예에는, 사용자의 눈들 앞에 위치된 디스플레이 시스템(262)에 결합된 프레임(264) 구조물을 특징화하는 헤드 장착 컴포넌트(258)를 착용하고 있는 AR 시스템 사용자(260)가 도시되어 있다. 도시된 구성에서는 스피커(266)가 프레임(264)에 결합되며, 사용자의 외이도에 인접하게 위치된다(일 실시예에서, 도시되지 않은 다른 스피커가 사용자의 다른 하나의 외이도에 인접하게 위치되어 스테레오/성형 가능 사운드 제어를 제공한다). 디스플레이(262)는 다양한 구성들로 장착될 수 있는, 예를 들어 프레임(264)에 고정 부착되거나, 헬멧 또는 모자에 고정 부착되거나, 백팩 스타일 구성에서 사용자(260)의 몸통에 제거 가능하게 부착되거나, 벨트 결합 스타일 구성에서 사용자(260)의 둔부에 제거 가능하게 부착될 수 있는 로컬 프로세싱 및 데이터 모듈(270)에 예를 들어 유선 리드(lead) 또는 무선 접속에 의해 (268로 표시된 바와 같이) 동작 가능하게 결합된다.
로컬 프로세싱 및 데이터 모듈(270)은 전력 효율적인 프로세서 또는 제어기뿐만 아니라, 플래시 메모리와 같은 디지털 메모리를 포함할 수 있으며, 이들 양자는 a) 이미지 캡처 디바이스들(예를 들어, 카메라들), 마이크로폰들, 관성 측정 유닛들, 가속도계들, 컴퍼스들, GPS 유닛들, 라디오 디바이스들 및/또는 자이로스코프들과 같이 프레임(264)에 동작 가능하게 결합될 수 있는 센서들로부터 캡처되고/되거나 b) 원격 프로세싱 모듈(272) 및/또는 원격 데이터 저장소(274)를 사용하여 획득 및/또는 프로세싱된 데이터를 프로세싱, 캐싱 및 저장하여, 아마도 그러한 프로세싱 또는 리트리벌(retrieval) 후에 디스플레이(262)로 전달하는 것을 돕는 데 이용될 수 있다.
로컬 프로세싱 및 데이터 모듈(270)은 원격 프로세싱 모듈(272) 및 원격 데이터 저장소(274)에 예를 들어 유선 또는 무선 통신 링크들을 통해 (276, 278로 표시된 바와 같이) 동작 가능하게 결합되어, 이러한 원격 모듈들(272, 274)이 서로 동작 가능하게 결합되고 로컬 프로세싱 및 데이터 모듈(270)에 대한 자원들로서 이용 가능하게 할 수 있다. 일 실시예에서, 원격 프로세싱 모듈(272)은 데이터 및/또는 이미지 정보를 분석 및 프로세싱하도록 구성된 하나 이상의 비교적 강력한 프로세서들 또는 제어기들을 포함할 수 있다. 일 실시예에서, 원격 데이터 저장소(274)는 "클라우드" 자원 구성에서 인터넷 또는 다른 네트워킹 구성을 통해 이용 가능할 수 있는 비교적 대규모의 디지털 데이터 저장 설비를 포함할 수 있다. 일 실시예에서, 로컬 프로세싱 및 데이터 모듈에서 모든 데이터가 저장되고, 모든 계산이 수행되어, 임의의 원격 모듈들로부터의 완전히 자율적인 사용을 가능하게 한다.
도 3은 시각적 추적 시스템이 웨어러블 디바이스(302)(예를 들어, 헤드셋) 및 핸드헬드 디바이스(304)(예를 들어, 제어기)를 갖는 AR 시스템에 어떻게 통합될 수 있는지의 예를 도시한다. 일부 실시예들에서, 핸드헬드 디바이스(304)는 사용자가 AR 시스템에 입력을 제공할 수 있게 하는 핸드헬드 제어기일 수 있다. 예를 들어, 핸드헬드 디바이스(304)는 게이밍 시나리오에서 사용될 토템일 수 있다. 핸드헬드 디바이스(304)는 햅틱 디바이스일 수 있고, 다양한 센서 타입들을 이용하는 하나 이상의 햅틱 표면들을 포함할 수 있다. AR 시스템의 동작 동안, 사용자는 핸드헬드 디바이스(304)를 능동적으로 파지함으로써 그리고/또는 사용자의 손에 부착 메커니즘(예를 들어, 랩어라운드 스트랩(wraparound strap))을 고정함으로써 핸드헬드 디바이스(304)를 그의 왼손 또는 오른손에 유지할 수 있다.
핸드헬드 디바이스(304)는 핸드헬드 디바이스(304)의 하나 이상의 외부 표면들을 따라 위치된 하나 이상의 기점들(본 명세서에서 핸드헬드 기점들(322)로 지칭됨)을 포함할 수 있으며, 따라서 기점들은 핸드헬드 디바이스(304) 외부의 이미징 디바이스의 시야 내에 있을 수 있다. 핸드헬드 기점들(322)은 서로에 대한 알려진 관계를 가질 수 있고, 따라서 이미징 디바이스는 핸드헬드 기점들(322) 중 하나 이상의 기점들의 이미지를 캡처함으로써 핸드헬드 디바이스(304)에 대한 그의 포지션 및/또는 배향을 결정할 수 있다. 핸드헬드 기점들(322)은 동적이고, 정적이고, 전기적으로 전력 공급되거나, 전력 공급되지 않을 수 있으며, 일부 실시예들에서 서로 구별 가능할 수 있다. 예를 들어, 제1 기점은 제1 파장을 갖는 발광 다이오드(LED)일 수 있고, 제2 기점은 제2 파장을 갖는 LED일 수 있다. 대안으로 또는 추가로, 상이한 기점들은 상이한 휘도를 가질 수 있고/있거나, 상이한 주파수들로 진동할 수 있다(예를 들어, 제1 기점은 100 Hz로 진동할 수 있고 제2 기점은 150 Hz로 진동할 수 있다).
핸드헬드 디바이스(304)는 핸드헬드 디바이스(304)가 사용자에 의해 유지되고 있을 때 핸드헬드 디바이스(304)의 주변환경 내의 웨어러블 디바이스(302) 또는 소정 특징이 이미징 디바이스(들)의 시야(들) 내에 있게 하는 방식으로 위치된 하나 이상의 이미징 디바이스들(본 명세서에서 핸드헬드 이미징 디바이스들(326)로 지칭됨)을 포함할 수 있다. 예를 들어, 전방 핸드헬드 이미징 디바이스(326A)는 그의 시야가 사용자로부터 멀어져 핸드헬드 디바이스(304)의 주변환경 내의 하나 이상의 특징들을 향해 배향되도록 위치될 수 있고, 후방 핸드헬드 이미징 디바이스(326B)는 그의 시야가 웨어러블 디바이스(302)를 향해 배향되도록 위치될 수 있다. 핸드헬드 이미징 디바이스들(326)은 원하는 누적 시야를 생성하기 위해 하나 이상의 전방 이미징 디바이스들 및/또는 하나 이상의 후방 이미징 디바이스들을 포함할 수 있다. 일부 실시예들에서, 핸드헬드 이미징 디바이스들(326)은 카메라들과 같은 광학 디바이스들일 수 있으며, 정지 또는 이동 이미지들을 캡처할 수 있다.
핸드헬드 디바이스(304)는 핸드헬드 디바이스(304)의 회전 및 선형 운동이 핸드헬드 IMU(324)에 의해 유사하게 경험되도록 핸드헬드 디바이스(304) 내에 견고하게 고정되는 관성 측정 유닛(IMU)(본 명세서에서 핸드헬드 IMU(324)로 지칭됨)을 포함할 수 있다. 일부 예들에서, 핸드헬드 IMU(324)는 하나 이상의 가속도계들(예를 들어, 3 개), 하나 이상의 자이로스코프들(예를 들어, 3 개), 하나 이상의 자력계들(예를 들어, 3 개) 및/또는 미처리 측정치들을 프로세싱된 데이터로 변환하기 위한 디지털 신호 프로세싱 하드웨어 및 소프트웨어를 포함할 수 있다. 예를 들어, 핸드헬드 IMU(324)는 3 개의 축 각각에 대한 가속도계, 자이로스코프 및 자력계를 포함할 수 있다. 각각의 축에 대해, 핸드헬드 IMU(324)는 선형 포지션, 선형 속도, 선형 가속, 회전 포지션, 회전 속도 및/또는 회전 가속도 중 하나 이상을 출력할 수 있다. 대안으로 또는 추가로, 핸드헬드 IMU(324)는 미처리 데이터를 출력할 수 있고, 이로부터 임의의 전술한 형태의 프로세싱된 데이터가 계산될 수 있다.
핸드헬드 디바이스(304)는 핸드헬드 기점들(322), 핸드헬드 이미징 디바이스들(326), 핸드헬드 IMU(324), 및 핸드헬드 디바이스(304)의 임의의 다른 컴포넌트들에 전력 공급하는 재충전 및/또는 교체 가능한 배터리(328) 또는 다른 전원을 포함할 수 있다. 도 3에 도시되지 않았지만, 핸드헬드 디바이스(304)는 웨어러블 디바이스(302) 및/또는 벨트 팩(340)과의 무선 통신을 가능하게 하기 위한 회로를 포함할 수 있다. 예를 들어, 핸드헬드 이미징 디바이스들(326) 및 핸드헬드 IMU(324)를 사용하여 데이터를 검출 또는 캡처할 때, 핸드헬드 디바이스(304)는 미처리 또는 프로세싱된 데이터를 웨어러블 디바이스(302) 및/또는 벨트 팩(340)에 전송할 수 있다.
웨어러블 디바이스(302)는 웨어러블 디바이스(306)의 하나 이상의 외부 표면들을 따라 위치된 하나 이상의 기점들(본 명세서에서 웨어러블 기점들(306)로 지칭됨)을 포함할 수 있으며, 따라서 기점들은 후방 핸드헬드 이미징 디바이스(326B)의 시야 내에 있을 수 있다. 웨어러블 기점들(306)은 서로에 대한 알려진 관계를 가질 수 있고, 따라서 이미징 디바이스는 웨어러블 기점들(306) 중 하나 이상의 기점들의 이미지를 캡처함으로써 웨어러블 디바이스(306)에 대한 그의 포지션 및/또는 배향을 결정할 수 있다. 웨어러블 기점들(306)은 동적이고, 정적이고, 전기적으로 전력 공급되거나, 전력 공급되지 않을 수 있으며, 일부 실시예들에서 서로 구별 가능할 수 있다. 예를 들어, 제1 기점은 제1 파장을 갖는 LED일 수 있고, 제2 기점은 제2 파장을 갖는 LED일 수 있다. 대안으로 또는 추가로, 상이한 기점들은 상이한 휘도를 가질 수 있고/있거나, 상이한 주파수들로 진동할 수 있다.
웨어러블 디바이스(302)는 핸드헬드 디바이스(304)가 사용자에 의해 유지되고 있을 때 핸드헬드 디바이스(304)(특히, 핸드헬드 기점들(322))가 이미징 디바이스(들)의 시야(들) 내에 있게 하는 방식으로 위치된 하나 이상의 이미징 디바이스들(본 명세서에서 웨어러블 이미징 디바이스(310)로 지칭됨)을 포함할 수 있다. 예를 들어, 하나 이상의 웨어러블 이미징 디바이스들(310)은 웨어러블 디바이스(302)의 광학 시스루 컴포넌트(optical see-through component)의 위, 아래 및/또는 옆에서 웨어러블 디바이스(302) 상에서 전방을 향해 위치될 수 있다. 일 실시예에서, 2 개의 웨어러블 이미징 디바이스들(310)은 웨어러블 디바이스(302)의 광학 시스루 컴포넌트의 대향 측부들에 위치될 수 있다. 일부 실시예들에서, 웨어러블 이미징 디바이스들(310)은 카메라들과 같은 광학 디바이스들일 수 있으며, 정지 또는 이동 이미지들을 캡처할 수 있다.
웨어러블 디바이스(302)는 웨어러블 디바이스(302)의 회전 및 선형 운동이 웨어러블 IMU(308)에 의해 유사하게 경험되도록 웨어러블 디바이스(302) 내에 견고하게 고정되는 IMU(본 명세서에서 웨어러블 IMU(308)로 지칭됨)를 포함할 수 있다. 일부 예들에서, 웨어러블 IMU(308)는 하나 이상의 가속도계들(예를 들어, 3 개), 하나 이상의 자이로스코프들(예를 들어, 3 개), 하나 이상의 자력계들(예를 들어, 3 개), 및/또는 미처리 측정치들을 프로세싱된 데이터로 변환하기 위한 디지털 신호 프로세싱 하드웨어 및 소프트웨어를 포함할 수 있다. 예를 들어, 웨어러블 IMU(308)는 3 개의 축 각각에 대한 가속도계, 자이로스코프 및 자력계를 포함할 수 있다. 각각의 축에 대해, 웨어러블 IMU(308)는 선형 포지션, 선형 속도, 선형 가속도, 회전 포지션, 회전 속도 및/또는 회전 가속도 중 하나 이상을 출력할 수 있다. 대안으로 또는 추가로, 웨어러블 IMU(308)는 미처리 데이터를 출력할 수 있고, 이로부터 임의의 전술한 형태의 프로세싱된 데이터가 계산될 수 있다.
일부 실시예들에서, AR 시스템은 웨어러블 디바이스(302)에 대한 핸드헬드 디바이스(304)의 로컬화를 수행하기 위한 컴퓨팅 장치(예를 들어, 하나 이상의 프로세서들 및 관련 메모리)를 포함할 수 있는 벨트 팩(340)을 포함할 수 있다. 대안으로 또는 추가로, 컴퓨팅 장치는 웨어러블 디바이스(302) 자체 또는 심지어 핸드헬드 디바이스(304)에 상주할 수 있다. 컴퓨팅 장치는 웨어러블 IMU(308), 웨어러블 이미징 디바이스(310), 핸드헬드 IMU(324) 및 핸드헬드 이미징 디바이스들(326) 각각으로부터 (유선 및/또는 무선 접속을 통해) 미처리 또는 프로세싱된 데이터를 수신할 수 있으며, (웨어러블 디바이스(302)의 지리 공간 포지션에 대한) 핸드헬드 디바이스(304)의 지리 공간 포지션 및 (웨어러블 디바이스(302)의 배향에 대한) 핸드헬드 디바이스(304)의 배향을 계산할 수 있다. 컴퓨팅 장치는 차례로 하나 이상의 실시예들에서 자세를 검출하여 실제 객체들 및 가상 객체들의 좌표들을 결정하기 위한 맵핑 데이터베이스(342)(예를 들어, 전달 가능 세계 모델, 좌표 공간 등)를 포함할 수 있으며, 심지어 클라우드 자원들 및 전달 가능 세계 모델에 접속할 수도 있다. 일부 실시예들에서, 웨어러블 이미징 디바이스(310) 및/또는 핸드헬드 이미징 디바이스들(326)을 사용하여 캡처된 이미지들은 전달 가능 세계 모델을 구축하는 데 사용될 수 있다. 예를 들어, 특징들이 캡처된 이미지들에서 검출될 수 있고, 수집된 데이터(예를 들어, 희소 포인트들)는 전달 가능 세계 모델 또는 환경 맵들을 다르게 구축하는 데 사용될 수 있다.
도 4는 웨어러블 디바이스(302)에 대하여 핸드헬드 디바이스(304)의 포지션 및 배향이 결정되는, AR 시스템에 의해 수행되는 바와 같은 로컬화 작업의 도면을 도시한다. 도시된 도면에서, 웨어러블 디바이스(302)는 세계 기준에 대해 (XWP, YWP, ZWP)로서 정의된 지리 공간 포지션("웨어러블 포지션") 및 세계 기준에 대해 (Xwo, Ywo, Zwo)로 정의된 배향("웨어러블 배향")을 갖는다. 일부 예들에서, 웨어러블 디바이스(302)의 지리 공간 포지션은 경도, 위도 및 고도 값들로 표현되고, 웨어러블 디바이스(302)의 배향은 피치(pitch) 각도, 요(yaw) 각도 및 롤(roll) 각도 값들로 표현된다.
도시된 바와 같이, 핸드헬드 디바이스(304)는 웨어러블 디바이스(302)의 지리 공간 포지션(XWP, YWP, ZWP)에 대해 (X'HP, Y'HP, Z'HP)로 정의된 지리 공간 포지션("핸드헬드 포지션") 및 웨어러블 디바이스(302)의 배향(Xwo, Ywo, Zwo)에 대해 (X'HO, Y'HO, Z'HO)로 정의된 배향("핸드헬드 배향")을 갖는다. 일부 예들에서, 핸드헬드 디바이스(304)의 지리 공간 포지션은 X, Y 및 Z 데카르트 값들로 표현되고, 핸드헬드 디바이스(304)의 배향은 피치 각도, 요 각도 및 롤 각도 값들로 표현된다. 하나의 특정 예로서, 핸드헬드 디바이스(304)가 사용자에 의해 유지되고 있을 때, 핸드헬드 디바이스(304)의 지리 공간 포지션은 (0.7 m, -0.5 m, 0.1 m)과 동일할 수 있고, 핸드헬드 디바이스(304)의 배향은 (10.2°, -46.2°, 15.2°)와 동일할 수 있다.
도 5는 AR 시스템(500)의 예시적인 구성을 도시하며, 이 구성에서 웨어러블 디바이스(302)는 하나 이상의 웨어러블 기점들(306)을 포함하고, 핸드헬드 디바이스(304)는 핸드헬드 디바이스(304)가 정상 동작에서 사용자에 의해 유지되는 동안 웨어러블 기점들(306)을 적어도 부분적으로 그리고 적어도 일시적으로 포함하는 시야를 갖는 하나 이상의 후방 핸드헬드 이미징 디바이스들(326)을 포함한다. AR 시스템(500)은 핸드헬드 IMU(324)와 같이 핸드헬드 디바이스(304)에 장착된 추가적인 센서들을 포함할 수 있다. 이러한 구성의 하나의 이점은, 핸드헬드 디바이스(304)가 웨어러블 디바이스(302)에 대한 자신의 로컬화를 수행하는 데 필요한 모든 데이터를 가지며, 이에 따라 웨어러블 디바이스(302)의 프로세싱 부하를 감소시킨다는 것일 수 있다. AR 시스템(500)은 웨어러블 IMU(308)와 같이 웨어러블 디바이스(302)에 장착된 추가적인 센서들을 포함할 수 있다.
도 6은 AR 시스템(500)을 사용하여 웨어러블 디바이스(302)에 대한 핸드헬드 디바이스(304)의 로컬화를 수행하는 방법(600)을 도시한다. 방법(600)의 하나 이상의 단계들은 생략될 수 있거나 도시된 실시예와 상이한 순서로 수행될 수 있고, 방법(600)의 하나 이상의 단계들은 웨어러블 디바이스(302), 핸드헬드 디바이스(304) 및/또는 벨트 팩(340) 내에 위치하는 하나 이상의 프로세싱 장치에서 수행될 수 있다.
단계(602)에서, 이미지("기점 이미지")가 핸드헬드 이미징 디바이스(326)에 의해 캡처된다. 기점 이미지는 웨어러블 기점들(306)의 기점들의 수를 포함할 수 있다. 예를 들어, 3 개의 웨어러블 기점(306)이 존재하는 경우, 기점 이미지는 그가 0, 1, 2 또는 3 개의 기점을 포함한다고 결정하기 위해 분석될 수 있다.
단계(604)에서, 웨어러블 디바이스(302)에 대한 핸드헬드 디바이스(304)의 포지션 및/또는 배향이 예를 들어 기점 이미지에 기반하여 계산된다. 예를 들어, 기점 이미지는 웨어러블 기점들(306) 중 임의의 기점들의 위치들을 결정하기 위해 분석될 수 있고, 포지션 및/또는 배향은 기점 이미지 내의 기점(들)의 위치들은 물론, 웨어러블 기점들(306) 간의 알려진 물리적 관계에 기반하여 결정될 수 있다. 핸드헬드 디바이스(304)의 포지션 및/또는 배향은 웨어러블 디바이스(302)에 대한 핸드헬드 디바이스(304)의 자세를 결정하는 데 사용될 수 있다. 단계(604)의 출력은 기점 데이터(630)로 지칭된다.
단계(610)에서, 세계(및/또는 웨어러블 디바이스(302))에 대한 핸드헬드 디바이스(304)의 적어도 회전 운동을 나타내는 데이터("IMU 데이터")가 핸드헬드 IMU(324)에 의해 검출된다. IMU 데이터는 회전 속도들 또는 회전 속도들이 계산될 수 있는 미처리 데이터를 포함할 수 있다. 일부 실시예들에서, IMU 데이터는 또한 핸드헬드 디바이스(304)의 선형 운동을 나타내며, 선형 가속도들 또는 선형 가속도들이 계산될 수 있는 미처리 데이터를 포함할 수 있다.
단계(612)에서, 핸드헬드 디바이스(304)의 포지션 및/또는 배향이 IMU 데이터에 기반하여 계산된다. 일부 실시예들에서, 세계에 대한 핸드헬드 디바이스(304)의 포지션 및/또는 배향은 (세계에 대한 이전에 알려진 배향 및/또는 추정된 배향을 사용하여) 계산되고/되거나, 일부 다른 실시예들에서 웨어러블 디바이스(302)에 대한 핸드헬드 디바이스(304)의 포지션 및/또는 배향은 (웨어러블 디바이스(302)에 대한 이전에 알려진 배향 및/또는 추정된 배향을 사용하여) 계산된다.
단계(614)에서, 웨어러블 디바이스(302)에 대한 핸드헬드 디바이스(304)의 포지션 및/또는 배향이 기점 데이터(630) 및/또는 핸드헬드 데이터(632)에 기반하여 계산된다. 기점 데이터(630)는 기점 이미지 및/또는 단계(604)에서 수행된 기점 이미지에 기초하는 포지션 및/또는 배향 계산들을 포함할 수 있다. 핸드헬드 데이터(632)는 IMU 데이터 및/또는 단계(612)에서 수행된 IMU 데이터에 기초하는 포지션 및/또는 배향 계산들을 포함할 수 있다. 단계(614)에서의 포지션 및 배향 계산은 기점 이미지에서 발견된 기점들의 수에 기초하는 다양한 동작 상태들 중 하나에 따라 수행될 수 있다. 각각의 동작 상태는 기점 데이터(630) 및 핸드헬드 데이터(632)를 상이하게 취급할 수 있고, 하나의 타입의 데이터에 대해 다른 하나의 타입의 데이터보다 더 큰 강조를 부여할 수 있다. 동작 상태들은 도 13을 참조하여 더 상세히 설명된다.
단계(616)에서, 웨어러블 디바이스(302)에 대한 핸드헬드 디바이스(304)의 포지션 및/또는 배향이 예를 들어 AR 시스템(500)을 동작시키는 데 사용하기 위한 외부 디바이스 및/또는 프로세스로 출력된다. 예를 들어, 포지션 및/또는 배향은 가상 콘텐츠를 생성 및 디스플레이하기 위한 AR 시스템(500)으로 출력될 수 있다.
도 7은 AR 시스템(700)의 예시적인 구성을 도시하며, 이 구성에서 웨어러블 디바이스(302)는 핸드헬드 디바이스(304)가 정상 동작에서 사용자에 의해 유지되는 동안 핸드헬드 기점들(322)을 적어도 부분적으로 그리고 적어도 일시적으로 포함하는 시야를 갖는 하나 이상의 웨어러블 이미징 디바이스들(310)을 포함하고, 핸드헬드 디바이스(304)는 하나 이상의 핸드헬드 기점들(322)을 포함한다. AR 시스템(700)은 핸드헬드 IMU(324)와 같이 핸드헬드 디바이스(304)에 장착된 추가적인 센서들을 포함할 수 있다. 이러한 구성의 하나의 이점은, 핸드헬드 디바이스(304)의 간소화 및 낮은 전력 소비일 수 있다. AR 시스템(700)은 웨어러블 IMU(308)와 같이 웨어러블 디바이스(302)에 장착된 추가적인 센서들을 포함할 수 있다.
도 8은 AR 시스템(700)을 사용하여 웨어러블 디바이스(302)에 대한 핸드헬드 디바이스(304)의 로컬화를 수행하는 방법(800)을 도시한다. 방법(800)의 하나 이상의 단계들은 생략될 수 있거나, 도시된 실시예와 상이한 순서로 수행될 수 있으며, 방법(800)의 하나 이상의 단계들은 웨어러블 디바이스(302), 핸드헬드 디바이스(304) 및/또는 벨트 팩(340) 내에 위치하는 하나 이상의 프로세싱 장치에서 수행될 수 있다.
단계(802)에서, 이미지("기점 이미지")가 웨어러블 이미징 디바이스(310)에 의해 캡처된다. 기점 이미지는 핸드헬드 기점들(322)의 기점들의 수를 포함할 수 있다. 예를 들어, 3 개의 핸드헬드 기점(322)이 존재하는 경우, 기점 이미지는 그가 0, 1, 2 또는 3 개의 기점을 포함한다고 결정하기 위해 분석될 수 있다.
단계(804)에서, 웨어러블 디바이스(302)에 대한 핸드헬드 디바이스(304)의 포지션 및/또는 배향이 예를 들어 기점 이미지에 기반하여 계산된다. 예를 들어, 기점 이미지는 핸드헬드 기점들(322) 중 임의의 기점들의 위치들을 결정하기 위해 분석될 수 있고, 포지션 및/또는 배향은 기점 이미지 내의 기점(들)의 위치들뿐만 아니라, 핸드헬드 기점들(322) 간의 알려진 물리적 관계에 기반하여 결정될 수 있다. 핸드헬드 디바이스(304)의 포지션 및/또는 배향은 웨어러블 디바이스(302)에 대한 핸드헬드 디바이스(304)의 자세를 결정하는 데 사용될 수 있다. 단계(804)의 출력은 기점 데이터(830)로 지칭된다.
단계(810)에서, 세계에 대한 핸드헬드 디바이스(304)의 적어도 회전 운동을 나타내는 데이터("IMU 데이터")가 핸드헬드 IMU(324)에 의해 검출된다. IMU 데이터는 회전 속도들 또는 회전 속도들이 계산될 수 있는 미처리 데이터를 포함할 수 있다. 일부 실시예들에서, IMU 데이터는 또한 핸드헬드 디바이스(304)의 선형 운동을 나타내며, 선형 가속도들 또는 선형 가속도들이 계산될 수 있는 미처리 데이터를 포함할 수 있다.
단계(812)에서, 핸드헬드 디바이스(304)의 포지션 및/또는 배향이 IMU 데이터에 기반하여 계산된다. 일부 실시예들에서, 세계에 대한 핸드헬드 디바이스(304)의 포지션 및/또는 배향은 (세계에 대한 이전에 알려진 배향 및/또는 추정된 배향을 사용하여) 계산되고/되거나, 일부 실시예들에서 웨어러블 디바이스(302)에 대한 핸드헬드 디바이스(304)의 포지션 및/또는 배향은 (웨어러블 디바이스(302)에 대한 이전에 알려진 배향 및/또는 추정된 배향을 사용하여) 계산된다. 단계(812)의 출력은 핸드헬드 데이터(832)로 지칭될 수 있다.
단계(814)에서, 웨어러블 디바이스(302)에 대한 핸드헬드 디바이스(304)의 포지션 및/또는 배향이 기점 데이터(830) 및/또는 핸드헬드 데이터(832)에 기반하여 계산된다. 기점 데이터(830)는 기점 이미지 및/또는 단계(804)에서 수행된 기점 이미지에 기초하는 포지션 및/또는 배향 계산들을 포함할 수 있다. 핸드헬드 데이터(832)는 IMU 데이터 및/또는 단계(812)에서 수행된 IMU 데이터에 기초하는 포지션 및/또는 배향 계산들을 포함할 수 있다. 단계(814)에서의 포지션 및/또는 배향 계산은 기점 이미지에서 발견된 기점들의 수에 기초하는 다양한 동작 상태들 중 하나에 따라 수행될 수 있다. 각각의 동작 상태는 기점 데이터(830) 및 핸드헬드 데이터(832)를 상이하게 취급할 수 있고, 하나의 타입의 데이터에 대해 다른 하나의 타입의 데이터보다 더 큰 강조를 부여할 수 있다. 동작 상태들은 도 13을 참조하여 더 상세히 설명된다.
단계(816)에서, 웨어러블 디바이스(302)에 대한 핸드헬드 디바이스(304)의 포지션 및/또는 배향은 예를 들어 AR 시스템(700)을 동작시키는 데 사용하기 위한 외부 디바이스 및/또는 프로세스로 출력된다. 예를 들어, 포지션 및/또는 배향은 가상 콘텐츠를 생성 및 디스플레이하기 위한 AR 시스템(700)으로 출력될 수 있다.
도 9는 AR 시스템(900)의 예시적인 구성을 도시하며, 이 구성에서 핸드헬드 디바이스(326)는 핸드헬드 디바이스(304)가 사용자에 의해 유지되는 동안 하나 이상의 주변 특징들(344)을 적어도 부분적으로 그리고 적어도 일시적으로 포함하는 시야를 갖는 전방 핸드헬드 이미징 디바이스(326A) 및 핸드헬드 디바이스(304)가 정상 동작에서 사용자에 의해 유지되는 동안 하나 이상의 웨어러블 기점들(306)을 적어도 부분적으로 그리고 적어도 일시적으로 포함하는 시야를 갖는 후방 핸드헬드 이미징 디바이스(326B)를 포함한다. 예시적인 구성에서, 다수의 웨어러블 기점(322)이 웨어러블 디바이스(302)에 부착된다. AR 시스템(900)은 핸드헬드 IMU(324)와 같이 핸드헬드 디바이스(304)에 장착된 추가적인 센서들을 포함할 수 있다. 이러한 구성의 하나의 이점은 다수의 이미징 디바이스에 의해 제공되는 증가된 정밀도일 수 있다. AR 시스템(900)은 웨어러블 IMU(308)와 같이 웨어러블 디바이스(302)에 장착된 추가적인 센서들을 포함할 수 있다.
도 10은 AR 시스템(900)을 사용하여 웨어러블 디바이스(302)에 대한 핸드헬드 디바이스(304)의 로컬화를 수행하는 방법(1000)을 도시한다. 방법(1000)의 하나 이상의 단계들은 생략될 수 있거나, 도시된 실시예와 상이한 순서로 수행될 수 있으며, 방법(1000)의 하나 이상의 단계들은 웨어러블 디바이스(302), 핸드헬드 디바이스(304) 및/또는 벨트 팩(340) 내에 위치하는 하나 이상의 프로세싱 장치에서 수행될 수 있다.
단계(1002)에서, 이미지("기점 이미지")가 후방 핸드헬드 이미징 디바이스(326B)에 의해 캡처된다. 기점 이미지는 웨어러블 기점들(306)의 기점들의 수를 포함할 수 있다. 예를 들어, 3 개의 웨어러블 기점(306)이 존재하는 경우, 기점 이미지는 그가 0, 1, 2 또는 3 개의 기점을 포함한다고 결정하기 위해 분석될 수 있다.
단계(1004)에서, 웨어러블 디바이스(302)에 대한 핸드헬드 디바이스(304)의 포지션 및/또는 배향이 예를 들어 기점 이미지에 기반하여 계산된다. 예를 들어, 기점 이미지는 웨어러블 기점들(306) 중 임의의 기점들의 위치들을 결정하기 위해 분석될 수 있고, 포지션 및/또는 배향은 기점 이미지 내의 기점(들)의 위치들뿐만 아니라, 웨어러블 기점들(306) 간의 알려진 물리적 관계에 기반하여 결정될 수 있다. 핸드헬드 디바이스(304)의 포지션 및/또는 배향은 웨어러블 디바이스(302)에 대한 핸드헬드 디바이스(304)의 자세를 결정하는 데 사용될 수 있다. 단계(1004)의 출력은 기점 데이터(1030)로 지칭된다.
단계(1006)에서, 이미지("세계 이미지")가 전방 핸드헬드 이미징 디바이스(326A)에 의해 캡처된다. 세계 이미지는 주변 특징들(344)을 포함할 수 있다.
단계(1008)에서, 세계에 대한 핸드헬드 디바이스(304)의 포지션 및/또는 배향이 세계 이미지에 기반하여 계산된다. 일부 예들에서는, 세계 이미지들 간의 대응 관계를 확립하기 위해 세계 이미지들 각각에서 특징 검출을 수행하는 것을 포함할 수 있는 시각적 주행기록 기술들을 사용하여 핸드헬드 디바이스(304)의 움직임을 추정하기 위해 세계 이미지가 이전의 세계 이미지들과 비교된다. 이어서, 세계 이미지들 내의 검출된 특징들의 움직임과 가장 일치하는 핸드헬드 디바이스(304)의 움직임 벡터가 계산될 수 있다. 단계(1008)의 출력은 핸드헬드 데이터(1032)로 지칭된다.
단계(1010)에서, 세계에 대한 핸드헬드 디바이스(304)의 적어도 회전 운동을 나타내는 데이터("IMU 데이터")가 핸드헬드 IMU(324)에 의해 검출된다. IMU 데이터는 회전 속도들 또는 회전 속도들이 계산될 수 있는 미처리 데이터를 포함할 수 있다. 일부 실시예들에서, IMU 데이터는 또한 핸드헬드 디바이스(304)의 선형 운동을 나타내며, 선형 가속도들 또는 선형 가속도가 계산될 수 있는 미처리 데이터를 포함할 수 있다.
단계(1012)에서, 핸드헬드 디바이스(304)의 포지션 및/또는 배향이 IMU 데이터에 기반하여 계산된다. 일부 실시예들에서, 세계에 대한 핸드헬드 디바이스(304)의 포지션 및/또는 배향은 (세계에 대한 이전에 알려진 배향 및/또는 추정된 배향을 사용하여) 계산되고/되거나, 일부 실시예들에서 웨어러블 디바이스(302)에 대한 핸드헬드 디바이스(304)의 포지션 및/또는 배향은 (웨어러블 디바이스(302)에 대한 이전에 알려진 배향 및/또는 추정된 배향을 사용하여) 계산된다. 단계(1012)의 출력은 핸드헬드 데이터(1032)로 지칭될 수 있다.
단계(1014)에서, 웨어러블 디바이스(302)에 대한 핸드헬드 디바이스(304)의 포지션 및/또는 배향이 기점 데이터(1030) 및/또는 핸드헬드 데이터(1032)에 기반하여 계산된다. 기점 데이터(1030)는 기점 이미지 및/또는 단계(1004)에서 수행된 기점 이미지에 기초하는 포지션 및/또는 배향 계산들을 포함할 수 있다. 핸드헬드 데이터(1032)는 세계 이미지, 단계(1008)에서 수행된 세계 이미지에 기초하는 포지션 및/또는 배향 계산들, IMU 데이터 및/또는 단계(1012)에서 수행된 IMU 데이터에 기초하는 포지션 및 배향 계산들을 포함할 수 있다. 단계(1014)에서의 포지션 및/또는 배향 계산은 기점 이미지에서 발견된 기점들의 수에 기초하는 다양한 동작 상태들 중 하나에 따라 수행될 수 있다. 각각의 동작 상태는 기점 데이터(1030) 및 핸드헬드 데이터(1032)를 상이하게 취급할 수 있고, 하나의 타입의 데이터에 대해 다른 하나의 타입의 데이터보다 더 큰 강조를 부여할 수 있다. 동작 상태들은 도 13을 참조하여 더 상세히 설명된다.
단계(1016)에서, 웨어러블 디바이스(302)에 대한 핸드헬드 디바이스(304)의 포지션 및/또는 배향이 예를 들어 AR 시스템(900)을 동작시키는 데 사용하기 위한 외부 디바이스 및/또는 프로세스로 출력된다. 예를 들어, 포지션 및/또는 배향은 가상 콘텐츠를 생성 및 디스플레이하기 위한 AR 시스템(900)으로 출력될 수 있다.
도 11a는 AR 시스템(1100A)의 예시적인 구성을 도시하며, 이 구성에서 웨어러블 디바이스(302)는 핸드헬드 디바이스(304)가 정상 동작들에서 사용자에 의해 유지되는 동안 핸드헬드 기점들(322)을 적어도 부분적으로 그리고 적어도 일시적으로 포함하는 시야를 갖는 하나 이상의 웨어러블 이미징 디바이스들(310)을 포함하고, 핸드헬드 디바이스(304)는 핸드헬드 디바이스(304)가 정상 동작에서 사용자에 의해 유지되는 동안 하나 이상의 주변 특징들(344)을 적어도 부분적으로 그리고 적어도 일시적으로 포함하는 시야를 갖는 하나 이상의 핸드헬드 이미징 디바이스들(326)을 포함한다. 도 11b에 도시된 예시적인 구성에서는, 다수의 핸드헬드 기점들(322)이 핸드헬드 디바이스(304)에 부착된다. AR 시스템(1100)은 핸드헬드 IMU(324)와 같이 핸드헬드 디바이스(304)에 장착된 추가적인 센서들을 포함할 수 있다. 도 11a에 도시된 구성의 이점들은 다수의 이미징 디바이스에 의해 제공되는 증가된 정밀도뿐만 아니라, 단일 기점 위치에 의해 제한되는 동안 포지션 및 배향을 계산하는 계산 효율을 포함한다. AR 시스템(1100A)은 웨어러블 IMU(308)와 같이 웨어러블 디바이스(302)에 장착된 추가적인 센서들을 포함할 수 있다.
도 11b는 AR 시스템(1100B)의 예시적인 구성을 도시하며, 이 구성에서 웨어러블 디바이스(302)는 핸드헬드 디바이스(304)가 정상 동작에서 사용자에 의해 유지되는 동안 핸드헬드 기점들(322)을 적어도 부분적으로 그리고 적어도 일시적으로 포함하는 시야를 갖는 하나 이상의 웨어러블 이미징 디바이스들(310)을 포함하고, 핸드헬드 디바이스(304)는 핸드헬드 디바이스(304)가 정상 동작에서 사용자에 의해 유지되는 동안 하나 이상의 주변 특징들(344)을 적어도 부분적으로 그리고 적어도 일시적으로 포함하는 시야를 갖는 하나 이상의 핸드헬드 이미징 디바이스들(326)을 포함한다. 도 11b에 도시된 예시적인 구성에서는, 다수의 핸드헬드 기점들(322)이 핸드헬드 디바이스(304)에 부착된다. AR 시스템(1100B)은 핸드헬드 IMU(324)와 같이 핸드헬드 디바이스(304)에 장착된 추가적인 센서들을 포함할 수 있다. 이러한 구성의 이점들은 다수의 이미징 디바이스에 의해 제공되는 증가된 정밀도는 물론, 기점 기반 추적과 시각적 주행기록 기술들을 결합함에 의한 증가된 강건성을 포함한다. AR 시스템(1100B)은 IMU와 같이 웨어러블 디바이스(302)에 장착된 추가적인 센서들을 포함할 수 있다.
도 12는 도 11a의 AR 시스템(1100A) 또는 도 11b의 AR 시스템(1100B)을 사용하여 웨어러블 디바이스(302)에 대한 핸드헬드 디바이스(304)의 로컬화를 수행하는 방법(1200)을 도시한다. 방법(1200)의 하나 이상의 단계들은 생략될 수 있거나, 도시된 실시예와 상이한 순서로 수행될 수 있으며, 방법(1200)의 하나 이상의 단계들은 웨어러블 디바이스(302), 핸드헬드 디바이스(304) 및/또는 벨트 팩(340) 내에 위치하는 하나 이상의 프로세싱 장치에서 수행될 수 있다.
단계(1202)에서, 이미지("기점 이미지")가 웨어러블 이미징 디바이스(310)에 의해 캡처된다. 기점 이미지는 핸드헬드 기점들(322)의 수를 포함할 수 있다. 예를 들어, 도 11a과 관련하여, 하나의 핸드헬드 기점(322)이 존재하는 경우, 기점 이미지는 그가 0 또는 하나의 기점을 포함한다고 결정하기 위해 분석될 수 있다. 예를 들어, 도 11b와 관련하여, 3 개의 핸드헬드 기점(322)이 존재하는 경우, 기점 이미지는 그가 0, 1, 2 또는 3 개의 기점을 포함한다고 결정하기 위해 분석될 수 있다.
단계(1204)에서, 웨어러블 디바이스(302)에 대한 핸드헬드 디바이스(304)의 포지션 및/또는 배향이 예를 들어 기점 이미지에 기반하여 계산된다. 예를 들어, 도 11a와 관련하여, 기점 이미지는 기점의 위치를 결정하기 위해 분석될 수 있고, 위치 및/또는 배향에 대한 제약이 기점 이미지 내의 기점의 위치에 기반하여 결정될 수 있다. 예를 들어, 도 11b와 관련하여, 기점 이미지는 임의의 기점들의 위치들을 결정하기 위해 분석될 수 있고, 포지션 및/또는 배향은 기점 이미지 내의 기점(들)의 위치들은 물론, 웨어러블 기점들(306) 사이의 알려진 물리적 관계에 기반하여 결정될 수 있다.
단계(1206)에서, 이미지("세계 이미지")가 핸드헬드 이미징 디바이스(326)에 의해 캡처된다. 세계 이미지는 주변 특징들(344)을 포함할 수 있다.
단계(1208)에서, 세계에 대한 핸드헬드 디바이스(304)의 포지션 및/또는 배향이 세계 이미지에 기반하여 계산된다. 일부 예들에서는, 세계 이미지들 간의 대응 관계를 확립하기 위해 세계 이미지들 각각에서 특징 검출을 수행하는 것을 포함할 수 있는 시각적 주행기록 기술들을 사용하여 핸드헬드 디바이스(304)의 움직임을 추정하기 위해 세계 이미지가 이전의 세계 이미지들과 비교된다. 이어서, 세계 이미지들 내의 검출된 특징들의 움직임과 가장 일치하는 핸드헬드 디바이스(304)의 움직임 벡터가 계산될 수 있다. 단계(1208)의 출력은 핸드헬드 데이터(1232)로 지칭된다.
단계(1210)에서, 세계에 대한 핸드헬드 디바이스(304)의 적어도 회전 운동을 나타내는 데이터("IMU 데이터")가 핸드헬드 IMU(324)에 의해 검출된다. IMU 데이터는 회전 속도들 또는 회전 속도들이 계산될 수 있는 미처리 데이터를 포함할 수 있다. 일부 실시예들에서, IMU 데이터는 또한 핸드헬드 디바이스(304)의 선형 운동을 나타내며, 선형 가속도들 또는 선형 가속도들이 계산될 수 있는 미처리 데이터를 포함할 수 있다.
단계(1212)에서, 핸드헬드 디바이스(304)의 포지션 및/또는 배향이 IMU 데이터에 기반하여 계산된다. 일부 실시예들에서, 세계에 대한 핸드헬드 디바이스(304)의 포지션 및/또는 배향은 (세계에 대한 이전에 알려진 배향 및/또는 추정된 배향을 사용하여) 계산되고/되거나, 일부 실시예들에서 웨어러블 디바이스(302)에 대한 핸드헬드 디바이스(304)의 포지션 및/또는 배향은 (웨어러블 디바이스(302)에 대한 이전에 알려진 배향 및/또는 추정된 배향을 사용하여) 계산된다. 단계(1212)의 출력은 핸드헬드 데이터(1232)로 지칭된다.
단계(1214)에서, 웨어러블 디바이스(302)에 대한 핸드헬드 디바이스(304)의 포지션 및/또는 배향이 기점 데이터(1230) 및/또는 핸드헬드 데이터(1232)에 기반하여 계산된다. 예를 들어, 도 11a와 관련하여, 기점 데이터(1230)는 기점 이미지 및/또는 단계(1204)에서 수행된 기점 이미지에 기초하는 포지션 및/또는 배향 계산에 대한 제약을 포함할 수 있다. 예를 들어, 도 11b와 관련하여, 기점 데이터(1230)는 기점 이미지 및/또는 단계(1204)에서 수행된 기점 이미지에 기초하는 포지션 및/또는 배향 계산들을 포함할 수 있다. 핸드헬드 데이터(1232)는 세계 이미지, 단계(1208)에서 수행된 세계 이미지에 기초하는 포지션 및/또는 배향 계산들, IMU 데이터 및/또는 단계(1212)에서 수행된 IMU 데이터에 기초하는 포지션 및/또는 배향 계산들을 포함할 수 있다. 단계(1214)에서의 포지션 및/또는 배향 계산은 기점 이미지에서 발견된 기점들의 수에 기초하는 다양한 동작 상태들 중 하나에 따라 수행될 수 있다. 각각의 동작 상태는 기점 데이터(1230) 및 핸드헬드 데이터(1232)를 상이하게 취급할 수 있고, 하나의 타입의 데이터에 대해 다른 하나의 타입의 데이터보다 더 큰 강조를 부여할 수 있다. 동작 상태들은 도 13을 참조하여 더 상세히 설명된다.
단계(1216)에서, 웨어러블 디바이스(302)에 대한 핸드헬드 디바이스(304)의 포지션 및/또는 배향이 예를 들어 AR 시스템들(1100)을 동작시키는 데 사용하기 위한 외부 디바이스 및/또는 프로세스로 출력된다. 예를 들어, 포지션 및/또는 배향은 가상 콘텐츠를 생성 및 디스플레이하기 위한 AR 시스템들(1100)로 출력될 수 있다.
도 13은 AR 시스템들(500, 700, 900, 1100) 중 임의의 하나 또는 이들의 임의의 조합을 사용하여 웨어러블 디바이스(302)에 대한 핸드헬드 디바이스(304)의 로컬화를 수행하는 방법(1300)을 도시한다. 방법(1300)의 하나 이상의 단계들은 생략될 수 있거나, 도시된 실시예와 상이한 순서로 수행될 수 있으며, 방법(1300)의 하나 이상의 단계들은 웨어러블 디바이스(302), 핸드헬드 디바이스(304) 및/또는 벨트 팩(340) 내에 위치하는 하나 이상의 프로세싱 장치에서 수행될 수 있다.
단계(1302)에서, 웨어러블 디바이스(302)에 대한 핸드헬드 디바이스(304)의 움직임을 나타내는 데이터("기점 데이터")가 이미징 디바이스를 사용하여 획득된다. 단계(1302)를 수행하는 단계는 단계(1304, 1306) 중 하나 또는 둘 다를 수행하는 단계를 포함할 수 있다. 단계(1304)에서, 웨어러블 기점들(306)의 수를 포함하는 이미지("기점 이미지")가 후방 핸드헬드 이미징 디바이스(326B)에 의해 캡처된다. 단계(1306)에서, 핸드헬드 기점들(322)의 수를 포함하는 이미지("기점 이미지")가 웨어러블 이미징 디바이스(310)에 의해 캡처된다.
단계(1308)에서, 세계에 대한 핸드헬드 디바이스(304)의 적어도 회전 운동을 나타내는 데이터("핸드헬드 데이터")가 검출된다. 단계(1308)를 수행하는 단계는 단계(1310, 1312) 중 하나 또는 둘 다를 수행하는 단계를 포함할 수 있다.
단계(1310)에서, 주변 특징들(344)을 포함하는 이미지("세계 이미지")가 전방 핸드헬드 이미징 디바이스(326A)에 의해 캡처된다. 단계(1312)에서, 세계에 대한 핸드헬드 디바이스(304)의 적어도 회전 운동을 나타내는 데이터("IMU 데이터")가 핸드헬드 IMU(324)에 의해 검출된다. IMU 데이터는 회전 속도들 또는 회전 속도들이 계산될 수 있는 미처리 데이터를 포함할 수 있다. 일부 실시예들에서, IMU 데이터는 또한 핸드헬드 디바이스(304)의 선형 운동을 나타내며, 선형 가속도들 또는 선형 가속도들이 계산될 수 있는 미처리 데이터를 포함할 수 있다.
단계(1314)에서, 기점 이미지에 포함된 기점들의 수는 물론, 관찰된 기점들의 위치들(예를 들어, 픽셀 위치들)이 결정된다.
단계(1316)에서, 웨어러블 디바이스(302)에 대한 핸드헬드 디바이스(304)의 포지션 및/또는 배향이 3 개의 동작 상태 중 하나에 따라 계산/추정/업데이트된다. 기점 이미지에서 관찰되는 기점들의 수에 기반하여 동작 상태가 선택된다. 도시된 실시예에서, 제1 동작 상태("상태 1")는 기점 이미지에서 3 개 이상의 기점이 관찰될 때 선택되고, 제2 동작 상태("상태 2")는 기점 이미지에서 1 개 또는 2 개의 기점이 관찰될 때 선택되고, 제3 동작 상태("상태 3")는 기점 이미지에서 0 개의 기점이 관찰될 때 선택된다. 상태들 사이의 스위칭은 새로운 기점 이미지가 캡처될 때마다 또는 미리 결정된 간격들로 발생할 수 있다. 예를 들어, 단계(1316)는 기점 데이터(예를 들어, 기점 이미지) 및 핸드헬드 데이터(예를 들어, 세계 이미지 및 IMU 배향) 중 하나 또는 양자에 기반하여 각각의 카메라 프레임에서 수행될 수 있다. 단계(1316)는 추정 정밀도를 향상시키기 위해 이전의 포지션 및/또는 배향 계산들을 더 통합할 수 있다.
제1 동작 상태("상태 1")에 따르면, 포지션 및/또는 배향은 예를 들어 기점 데이터에만 기반하여 높은 정밀도로 (최대 6 개의 자유도로) 계산될 수 있다. 4 개 이상의 기점이 관찰될 때, 포지션을 완전히 해결할 수 있다. 정확히 3 개의 기점이 관찰될 때, 포지션에 대한 2 개의 가능한 해결책이 존재하며, 그 중 하나는 이전에 계산된 포지션들에 대한 추가적인 프로세싱 및/또는 비교들에 기반하여 폐기될 수 있다. 일부 실시예들에서, 핸드헬드 데이터는 계산 정밀도를 보완하고 개선하기 위해 사용될 수 있다. 일부 실시예들에서는, 확장형 칼만 필터를 사용하여, 이전의 포지션 및/또는 배향 계산들에 기반하여 정밀도를 개선할 수 있다.
제2 동작 상태("상태 2")에 따르면, 포지션 및/또는 배향은 예를 들어 기점 데이터 및 핸드헬드 데이터 양자를 사용하여 계산될 수 있다. 2 개의 기점이 관찰될 때, 기점 데이터는 제한된 포지션 및/또는 배향이 계산될 수 있게 하고, 핸드헬드 데이터는 기점 데이터에 의해 부과된 제약 하에서 계산을 완료하는 데 사용될 수 있다. 일부 실시예들에서, 확장형 칼만 필터를 사용하여, 이전의 포지션 및/또는 배향 계산들에 기반하여 정밀도를 개선할 수 있다. 제2 동작 상태에서 수행되는 계산들은 제1 동작 상태에서 수행되는 계산들보다 전반적으로 덜 정밀할 수 있다.
제3 동작 상태("상태 3")에 따르면, 포지션 및 배향은 예를 들어 핸드헬드 데이터(즉, 데드 레커닝(dead reckoning))에만 기반하여 계산될 수 있다. 일부 실시예들에서, 확장형 칼만 필터를 사용하여, 이전의 포지션 및/또는 배향 계산들에 기반하여 정밀도를 개선할 수 있다. 제3 동작 상태에서 수행되는 계산들은 제1 또는 제2 동작 상태에서 수행되는 계산들보다 전반적으로 덜 정밀할 수 있다.
단계(1318)에서, 단계(1316)에서 입력들로서 제공된 IMU 데이터의 정밀도를 증가시키기 위해 IMU 바이어스 정정들이 수행된다. IMU 데이터는 시간이 지남에 따라 표류할 수 있기 때문에, 주기적인 업데이트들이 IMU 데이터를 재교정할 수 있다. 일부 실시예들에서, 제1 동작 상태가 선택될 때만 바이어스 업데이트들이 제공되며, 고정밀 바이어스 업데이트들이 제공될 수 있다. 일부 실시예들에서, 제1 동작 상태 또는 제2 동작 상태 중 하나가 선택될 때 바이어스 업데이트들이 제공되는데, 이는 두 상태 모두가 그들의 계산들에서 기점 데이터를 이용하기 때문이다. 바이어스 업데이트들은 각각의 카메라 프레임에서 또는 미리 결정된 간격들로 제공될 수 있다.
도 14는 본 명세서에 설명된 일부 실시예들에 따른 간소화된 컴퓨터 시스템(1400)을 도시한다. 도 14는 다양한 실시예들에 의해 제공된 방법들의 단계들 중 일부 또는 전부를 수행할 수 있는 컴퓨터 시스템(1400)의 일례의 개략도를 제공한다. 도 14는 다양한 컴포넌트들의 일반화된 예시를 단지 제공하는 것으로 의도되는 것이며, 이들 중 일부 또는 전부가 적절하게 이용될 수 있다는 점에 유의해야 한다. 따라서, 도 14는 개별 시스템 요소들이 어떻게 상대적으로 분리되거나 상대적으로 더 통합된 방식으로 구현될 수 있는지를 광범위하게 도시한다.
컴퓨터 시스템(1400)은 버스(1405)를 통해 전기적으로 결합될 수 있거나 다른 방식으로 적절히 통신할 수 있는 하드웨어 요소들을 포함하는 것으로 도시되어 있다. 하드웨어 요소들은 하나 이상의 범용 프로세서들 및/또는 디지털 신호 프로세싱 칩들, 그래픽 가속 프로세서들 등과 같은 하나 이상의 특수 목적 프로세서들을 포함하지만 이에 한정되지 않는 하나 이상의 프로세서들(1410); 마우스, 키보드, 카메라 등을 포함할 수 있지만 이에 한정되지 않는 하나 이상의 입력 디바이스들(1415) 및 디스플레이 디바이스, 프린터 등을 포함할 수 있지만 이에 한정되지 않는 하나 이상의 출력 디바이스들(1420)을 포함할 수 있다.
컴퓨터 시스템(1400)은 로컬 및/또는 네트워크 액세스 가능 저장소를 포함할 수 있지만 이에 한정되지 않고/않거나 디스크 드라이브, 드라이브 어레이, 광학 저장 디바이스, 프로그래밍 가능하거나, 플래시 업데이트 가능하고/하거나 기타 등등일 수 있는 랜덤 액세스 메모리("RAM") 및/또는 판독 전용 메모리("ROM")와 같은 솔리드 스테이트 저장 디바이스를 포함할 수 있지만 이에 한정되지 않는 하나 이상의 비일시적 저장 디바이스들(1425)을 더 포함하고/하거나 그들과 통신할 수 있다. 이러한 저장 디바이스들은 다양한 파일 시스템들, 데이터베이스 구조들 등을 포함하지만 이에 한정되지 않는 임의의 적절한 데이터 저장소들을 구현하도록 구성될 수 있다.
컴퓨터 시스템(1400)은 또한 모뎀, 네트워크 카드(무선 또는 유선), 적외선 통신 디바이스, 무선 통신 디바이스 및/또는 블루투스TM 디바이스, 802.11 디바이스, WiFi 디바이스, WiMax 디바이스, 셀룰러 통신 설비들 등과 같은 칩셋 등을 포함할 수 있지만 이에 한정되지 않는 통신 서브시스템(1419)을 포함할 수 있다. 통신 서브시스템(1419)은 데이터가 하나의 예로서 후술하는 네트워크, 다른 컴퓨터 시스템들, 텔레비전 및/또는 본 명세서에 설명된 임의의 다른 디바이스들과 교환되는 것을 가능하게 하는 하나 이상의 입력 및/또는 출력 통신 인터페이스들을 포함할 수 있다. 원하는 기능 및/또는 다른 구현 관심사에 따라, 휴대용 전자 디바이스 또는 유사한 디바이스가 통신 서브시스템(1419)을 통해 이미지 및/또는 다른 정보를 통신할 수 있다. 다른 실시예들에서, 휴대용 전자 디바이스, 예를 들어 제1 전자 디바이스는 컴퓨터 시스템(1400), 예를 들어 입력 디바이스(1415)로서의 전자 디바이스에 통합될 수 있다. 일부 실시예들에서, 컴퓨터 시스템(1400)은 전술한 바와 같은 RAM 또는 ROM 디바이스를 포함할 수 있는 작업 메모리(1435)를 더 포함할 것이다.
컴퓨터 시스템(1400)은 또한 운영 시스템(1440), 디바이스 드라이버들, 실행 가능 라이브러리들, 및/또는 다양한 실시예들에 의해 제공되는 컴퓨터 프로그램들을 포함할 수 있고/있거나 본 명세서에 설명된 바와 같은 다른 실시예들에 의해 제공되는 방법들을 구현하고/하거나 시스템들을 구성하도록 설계될 수 있는 하나 이상의 애플리케이션 프로그램들(1445)과 같은 다른 코드를 포함하는, 작업 메모리(1435) 내에 현재 위치하는 것으로 도시된 소프트웨어 요소들을 포함할 수 있다. 단지 예로서, 위에서 논의된 방법들과 관련하여 설명된 하나 이상의 절차들은 컴퓨터 및/또는 컴퓨터 내의 프로세서에 의해 실행 가능한 코드 및/또는 명령어들로서 구현될 수 있고; 또한 일 양태에서 그러한 코드 및/또는 명령어들은 설명된 방법들에 따라 하나 이상의 동작들을 수행하도록 범용 컴퓨터 또는 다른 디바이스를 구성하고/하거나 적응시키는 데 사용될 수 있다.
이러한 명령어들 및/또는 코드의 세트는 전술한 저장 디바이스(들)(1425)와 같은 비일시적 컴퓨터 판독 가능 저장 매체 상에 저장될 수 있다. 일부 경우들에서, 저장 매체는 컴퓨터 시스템(1400)과 같은 컴퓨터 시스템 내에 통합될 수 있다. 다른 실시예들에서, 저장 매체, 예를 들어 컴팩트 디스크와 같은 착탈식 매체는 컴퓨터 시스템으로부터 분리되고/되거나 설치 패키지 내에서 제공될 수 있으며, 따라서 저장 매체는 그에 저장된 명령어들/코드를 이용하여 범용 컴퓨터를 프로그래밍하고, 구성하고/하거나 적응시키는 데 사용될 수 있다. 이러한 명령어들은 컴퓨터 시스템(1400)에 의해 실행 가능한 실행 가능 코드의 형태를 가질 수 있고/있거나, 예를 들어 임의의 다양한 일반적으로 이용 가능한 컴파일러들, 설치 프로그램들, 압축/압축 해제 유틸리티들 등을 사용한 컴퓨터 시스템(1400) 상의 컴파일 및/또는 설치시에 실행 가능 코드의 형태를 또한 취하는 소스 및/또는 설치 가능 코드의 형태를 취할 수 있다.
특정 요구들에 따라 실질적인 변경들이 이루어질 수 있다는 것이 당업자들에게 명백할 것이다. 예를 들어, 맞춤형 하드웨어가 또한 사용될 수 있고/있거나, 특정 요소들이 하드웨어, 애플릿들 등과 같은 휴대용 소프트웨어를 포함하는 소프트웨어 또는 이들 양자에서 구현될 수 있다. 또한, 네트워크 입력/출력 디바이스들과 같은 다른 컴퓨팅 디바이스들에 대한 접속이 사용될 수 있다.
전술한 바와 같이, 일 양태에서, 일부 실시예들은 기술의 다양한 실시예들에 따른 방법들을 수행하기 위해 컴퓨터 시스템(1400)과 같은 컴퓨터 시스템을 사용할 수 있다. 실시예들의 세트에 따르면, 이러한 방법들의 절차들 중 일부 또는 전부는 프로세서(1410)가 작업 메모리(1435)에 포함된 운영 시스템(1440) 및/또는 다른 코드, 예를 들어 애플리케이션 프로그램(1445)에 통합될 수 있는 하나 이상의 명령어들의 하나 이상의 시퀀스들을 실행하는 것에 대한 응답으로 컴퓨터 시스템(1400)에 의해 수행된다. 이러한 명령어들은 저장 디바이스(들)(1425) 중 하나 이상과 같은 다른 컴퓨터 판독 가능 매체로부터 작업 메모리(1435) 내로 판독될 수 있다. 단지 예로서, 작업 메모리(1435)에 포함된 명령어들의 시퀀스들의 실행은 프로세서(들)(1410)가 본 명세서에 설명된 방법들의 하나 이상의 절차들을 수행하게 할 수 있다. 추가로 또는 대안으로, 본 명세서에 설명된 방법들의 부분들은 특수화된 하드웨어를 통해 실행될 수 있다.
본 명세서에서 사용되는 바와 같은 용어 "기계 판독 가능 매체" 및 "컴퓨터 판독 가능 매체"는 기계가 특정 방식으로 동작하게 하는 데이터를 제공하는 데 참여하는 임의의 매체를 지칭한다. 컴퓨터 시스템(1400)을 사용하여 구현되는 실시예들에서, 다양한 컴퓨터 판독 가능 매체들은 실행을 위해 프로세서(들)(1410)에 명령어들/코드를 제공하는 것에 수반될 수 있고/있거나 그러한 명령어들/코드를 저장 및/또는 운반하는 데 사용될 수 있다. 많은 구현에서, 컴퓨터 판독 가능 매체는 물리적인 그리고/또는 유형적인 저장 매체이다. 이러한 매체는 비휘발성 매체들 또는 휘발성 매체들의 형태를 취할 수 있다. 비휘발성 매체들은 예를 들어 저장 디바이스(들)(1425)와 같은 광학 및/또는 자기 디스크들을 포함한다. 휘발성 매체들은 작업 메모리(1435)와 같은 동적 메모리를 포함하지만 이에 한정되지 않는다.
일반적인 형태들의 물리적 및/또는 유형적 컴퓨터 판독 가능 매체들은 예를 들어 플로피 디스크, 가요성 디스크, 하드 디스크, 자기 테이프 또는 임의의 다른 자기 매체, CD-ROM, 임의의 다른 광학 매체, 펀치 카드들, 종이 테이프, 구멍들의 패턴들을 갖는 임의의 다른 물리적 매체, RAM, PROM, EPROM, FLASH-EPROM, 임의의 다른 메모리 칩 또는 카트리지, 또는 컴퓨터가 명령어들 및/또는 코드를 판독할 수 있는 임의의 다른 매체를 포함한다.
다양한 형태들의 컴퓨터 판독 가능 매체들은 하나 이상의 명령어들의 하나 이상의 시퀀스들을 실행을 위해 프로세서(들)(1410)로 운반하는 것에 수반될 수 있다. 단지 예로서, 명령어들은 초기에 원격 컴퓨터의 자기 디스크 및/또는 광 디스크 상에서 운반될 수 있다. 원격 컴퓨터는 명령어들을 그의 동적 메모리에 로딩하고, 명령어들을 컴퓨터 시스템(1400)에 의해 수신 및/또는 실행되도록 전송 매체를 통해 신호들로서 전송할 수 있다.
통신 서브시스템(1419) 및/또는 그의 컴포넌트들은 일반적으로 신호들을 수신할 것이고, 이어서 버스(1405)는 신호들 및/또는 신호들에 의해 운반된 데이터, 명령어들 등을 작업 메모리(1435)로 운반할 수 있고, 이 작업 메모리로부터 프로세서(들)(1410)는 명령어들을 리트리브하고 실행한다. 작업 메모리(1435)에 의해 수신된 명령어들은 옵션으로서 프로세서(들)(1410)에 의한 실행 전 또는 후에 비일시적 저장 디바이스(1425) 상에 저장될 수 있다.
위에 논의된 방법들, 시스템들 및 디바이스들은 예들이다. 다양한 구성들은 다양한 절차들 또는 컴포넌트들을 적절히 생략, 대체 또는 추가할 수 있다. 예를 들어, 대안적인 구성들에서, 방법들은 설명된 것과 상이한 순서로 수행될 수 있고/있거나, 다양한 단계들이 추가, 생략 및/또는 결합될 수 있다. 또한, 소정 구성들과 관련하여 설명된 특징들은 다양한 다른 구성들로 결합될 수 있다. 구성들의 상이한 양태들 및 요소들은 유사한 방식으로 결합될 수 있다. 또한, 기술은 발전하고, 따라서 요소들 중 다수는 예들이며, 본 개시 또는 청구항들의 범위를 제한하지 않는다.
구현들을 포함하는 예시적인 구성들에 대한 철저한 이해를 제공하기 위해 설명에서 특정 상세들이 주어진다. 그러나, 구성들은 이들 특정 상세 없이도 실시될 수 있다. 예를 들어, 잘 알려진 회로들, 프로세스들, 알고리즘들, 구조들 및 기술들은 구성들을 모호하게 하는 것을 피하기 위해 불필요한 상세 없이 도시되었다. 이러한 설명은 예시적인 구성들을 제공할 뿐이며, 청구항들의 범위, 적용성 또는 구성들을 제한하지 않는다. 오히려, 구성들의 전술한 설명은 당업자들에게 설명된 기술들을 구현하기 위한 가능한 설명을 제공할 것이다. 본 개시의 사상 또는 범위를 벗어나지 않으면서 요소들의 기능 및 배열에서 다양한 변경들이 이루어질 수 있다.
또한, 구성들은 개략적인 흐름도 또는 블록도로서 도시된 프로세스로서 설명될 수 있다. 각각이 동작들을 순차적인 프로세스로서 설명할 수 있지만, 동작들 중 다수는 병렬로 또는 동시에 수행될 수 있다. 또한, 동작들의 순서가 재배열될 수 있다. 프로세스는 도면에 포함되지 않은 추가적인 단계들을 가질 수 있다. 또한, 방법들의 예들은 하드웨어, 소프트웨어, 펌웨어, 미들웨어, 마이크로 코드, 하드웨어 기술 언어들 또는 이들의 임의의 결합에 의해 구현될 수 있다. 소프트웨어, 펌웨어, 미들웨어 또는 마이크로 코드로 구현될 때, 필요한 작업들을 수행하기 위한 프로그램 코드 또는 코드 세그먼트들은 저장 매체와 같은 비일시적 컴퓨터 판독 가능 매체에 저장될 수 있다. 프로세서들은 설명된 작업들을 수행할 수 있다.
여러 예시적인 구성을 설명하였지만, 본 개시의 사상을 벗어나지 않고 다양한 수정들, 대안적인 구성들 및 균등물들이 사용될 수 있다. 예를 들어, 위의 요소들은 더 큰 시스템의 컴포넌트들일 수 있으며, 다른 규칙들이 기술의 적용에 우선하거나 다른 방식으로 수정할 수 있다. 또한, 위의 요소들이 고려되기 전에, 도중에 또는 후에 다수의 단계가 수행될 수 있다. 따라서, 위의 설명은 청구항들의 범위를 제한하지 않는다.
본 명세서에서 그리고 첨부된 청구항들에 사용된 바와 같이, 단수 형태("a", "an" 및 "the")는 상황이 명백하게 달리 지시되지 않는 한 복수의 참조들을 포함한다. 따라서, 예를 들어, "사용자"에 대한 참조는 복수의 그러한 사용자들을 포함하고, "프로세서"에 대한 참조는 당업자들에게 알려진 하나 이상의 프로세서들 및 그 균등물들에 대한 참조를 포함하고, 기타 등등이다.
또한, 본 명세서에서 그리고 다음의 청구항들에서 사용될 때, 단어 "포함한다(comprise, contains, include, includes)" 및 "포함하는(comprising, containing, including)"은 언급된 특징들, 정수들, 컴포넌트들 또는 단계들의 존재를 지정하도록 의도되지만, 하나 이상의 다른 특징들, 정수들, 컴포넌트들, 단계들, 행위들 또는 그룹들의 존재 또는 추가를 배제하지는 않는다.
본 명세서에 설명된 예들 및 실시예들은 예시의 목적을 위한 것일 뿐이며, 이를 고려한 다양한 수정들 또는 변경들이 당업자들에게 암시될 것이고, 본 출원의 사상 및 범위 및 첨부된 청구항들의 범위 내에 포함되어야 한다는 것도 이해한다.

Claims (20)

  1. 웨어러블 디바이스에 대한 핸드헬드 디바이스의 로컬화를 수행하는 방법으로서,
    상기 핸드헬드 디바이스에 장착된 센서에 의해, 상기 핸드헬드 디바이스의 움직임을 나타내는 핸드헬드 데이터를 획득하는 단계;
    제1 디바이스에 장착된 이미징 디바이스에 의해, 상기 핸드헬드 디바이스의 움직임을 나타내는 기점 데이터를 획득하는 단계 ― 상기 제1 디바이스는 상기 핸드헬드 디바이스 또는 상기 웨어러블 디바이스 중 어느 하나이고, 상기 기점 데이터를 획득하는 단계는:
    상기 이미징 디바이스에 의해, 상기 제1 디바이스와 상이한 제2 디바이스에 부착된 일정수의 기점들을 포함하는 기점 이미지를 캡처하는 단계를 포함하고, 상기 제2 디바이스는 상기 핸드헬드 디바이스 또는 상기 웨어러블 디바이스 중 어느 하나임 ―
    상기 기점 이미지에 포함된 상기 기점들의 수를 결정하는 단계; 및
    상기 기점 이미지에 포함된 상기 기점들의 수에 기반하여, 상기 기점 데이터 및 상기 핸드헬드 데이터를 이용하여 상기 핸드헬드 디바이스의 포지션 및 배향 중 적어도 하나를 업데이트하는 단계를 포함하는,
    웨어러블 디바이스에 대한 핸드헬드 디바이스의 로컬화를 수행하는 방법.
  2. 제 1 항에 있어서,
    상기 센서는 관성 측정 유닛(IMU)인,
    웨어러블 디바이스에 대한 핸드헬드 디바이스의 로컬화를 수행하는 방법.
  3. 제 1 항에 있어서,
    상기 일정수의 기점들은 하나 이상의 발광 다이오드(LED)들을 포함하는,
    웨어러블 디바이스에 대한 핸드헬드 디바이스의 로컬화를 수행하는 방법.
  4. 제 1 항에 있어서,
    상기 이미징 디바이스는 상기 핸드헬드 디바이스에 장착되고, 상기 일정수의 기점들을 포함하는 복수의 기점들은 상기 웨어러블 디바이스에 부착되는,
    웨어러블 디바이스에 대한 핸드헬드 디바이스의 로컬화를 수행하는 방법.
  5. 제 1 항에 있어서,
    상기 이미징 디바이스는 상기 웨어러블 디바이스에 장착되고, 상기 일정수의 기점들을 포함하는 복수의 기점들은 상기 핸드헬드 디바이스에 부착되는,
    웨어러블 디바이스에 대한 핸드헬드 디바이스의 로컬화를 수행하는 방법.
  6. 제 1 항에 있어서,
    상기 이미징 디바이스는 상기 핸드헬드 디바이스에 장착되고, 상기 일정수의 기점들을 포함하는 하나 이상의 기점들은 상기 웨어러블 디바이스에 부착되고,
    상기 핸드헬드 데이터를 획득하는 단계는:
    상기 핸드헬드 디바이스에 장착된 제2 핸드헬드 이미징 디바이스에 의해, 상기 핸드헬드 디바이스를 둘러싸는 하나 이상의 특징들을 포함하는 세계 이미지를 캡처하는 단계를 포함하는,
    웨어러블 디바이스에 대한 핸드헬드 디바이스의 로컬화를 수행하는 방법.
  7. 제 1 항에 있어서,
    상기 이미징 디바이스는 상기 웨어러블 디바이스에 장착되고, 상기 일정수의 기점들을 포함하는 복수의 기점들은 상기 핸드헬드 디바이스에 부착되고,
    상기 핸드헬드 데이터를 획득하는 단계는:
    상기 핸드헬드 디바이스에 장착된 제2 핸드헬드 이미징 디바이스에 의해, 상기 핸드헬드 디바이스를 둘러싸는 하나 이상의 특징들을 포함하는 세계 이미지를 캡처하는 단계를 포함하는,
    웨어러블 디바이스에 대한 핸드헬드 디바이스의 로컬화를 수행하는 방법.
  8. 웨어러블 디바이스에 대한 핸드헬드 디바이스의 로컬화를 수행하기 위한 시스템으로서,
    상기 웨어러블 디바이스;
    상기 핸드헬드 디바이스; 및
    상기 웨어러블 디바이스 및 상기 핸드헬드 디바이스에 통신 가능하게 결합된 하나 이상의 프로세서들을 포함하고,
    상기 하나 이상의 프로세서들은 동작들을 수행하도록 구성되고, 상기 동작들은:
    상기 핸드헬드 디바이스에 장착된 센서에 의해, 상기 핸드헬드 디바이스의 움직임을 나타내는 핸드헬드 데이터를 획득하는 동작;
    제1 디바이스에 장착된 이미징 디바이스에 의해, 상기 핸드헬드 디바이스의 움직임을 나타내는 기점 데이터를 획득하는 동작 ― 상기 제1 디바이스는 상기 핸드헬드 디바이스 또는 상기 웨어러블 디바이스 중 어느 하나이고, 상기 기점 데이터를 획득하는 동작은:
    상기 이미징 디바이스에 의해, 상기 제1 디바이스와는 상이한 제2 디바이스에 부착된 일정수의 기점들을 포함하는 기점 이미지를 캡처하는 동작을 포함하고, 상기 제2 디바이스는 상기 핸드헬드 디바이스 또는 상기 웨어러블 디바이스 중 어느 하나임 ―
    상기 기점 이미지에 포함된 상기 기점들의 수를 결정하는 동작; 및
    상기 기점 이미지에 포함된 상기 기점들의 수에 기반하여, 상기 기점 데이터 및 상기 핸드헬드 데이터를 이용하여 상기 핸드헬드 디바이스의 포지션 및 배향 중 적어도 하나를 업데이트하는 동작을 포함하는,
    웨어러블 디바이스에 대한 핸드헬드 디바이스의 로컬화를 수행하기 위한 시스템.
  9. 제 8 항에 있어서,
    상기 센서는 관성 측정 유닛(IMU)인,
    웨어러블 디바이스에 대한 핸드헬드 디바이스의 로컬화를 수행하기 위한 시스템.
  10. 제 8 항에 있어서,
    상기 일정수의 기점들은 하나 이상의 발광 다이오드(LED)들을 포함하는,
    웨어러블 디바이스에 대한 핸드헬드 디바이스의 로컬화를 수행하기 위한 시스템.
  11. 제 8 항에 있어서,
    상기 이미징 디바이스는 상기 핸드헬드 디바이스에 장착되고, 상기 일정수의 기점들을 포함하는 복수의 기점들은 상기 웨어러블 디바이스에 부착되는,
    웨어러블 디바이스에 대한 핸드헬드 디바이스의 로컬화를 수행하기 위한 시스템.
  12. 제 8 항에 있어서,
    상기 이미징 디바이스는 상기 웨어러블 디바이스에 장착되고, 상기 일정수의 기점들을 포함하는 복수의 기점들은 상기 핸드헬드 디바이스에 부착되는,
    웨어러블 디바이스에 대한 핸드헬드 디바이스의 로컬화를 수행하기 위한 시스템.
  13. 제 8 항에 있어서,
    상기 이미징 디바이스는 상기 핸드헬드 디바이스에 장착되고, 상기 일정수의 기점들을 포함하는 복수의 기점들은 상기 웨어러블 디바이스에 부착되고,
    상기 핸드헬드 데이터를 획득하는 동작은:
    상기 핸드헬드 디바이스에 장착된 제2 핸드헬드 이미징 디바이스에 의해, 상기 핸드헬드 디바이스를 둘러싸는 하나 이상의 특징들을 포함하는 세계 이미지를 캡처하는 동작을 포함하는,
    웨어러블 디바이스에 대한 핸드헬드 디바이스의 로컬화를 수행하기 위한 시스템.
  14. 제 8 항에 있어서,
    상기 이미징 디바이스는 상기 웨어러블 디바이스에 장착되고, 상기 일정수의 기점들을 포함하는 하나 이상의 기점들은 상기 핸드헬드 디바이스에 부착되고,
    상기 핸드헬드 데이터를 획득하는 동작은:
    상기 핸드헬드 디바이스에 장착된 제2 핸드헬드 이미징 디바이스에 의해, 상기 핸드헬드 디바이스를 둘러싸는 하나 이상의 특징들을 포함하는 세계 이미지를 캡처하는 동작을 포함하는,
    웨어러블 디바이스에 대한 핸드헬드 디바이스의 로컬화를 수행하기 위한 시스템.
  15. 명령들을 포함하는 비-일시적 컴퓨터-판독가능 매체로서,
    상기 명령들은 하나 이상의 프로세서들에 의해 실행될 때, 상기 하나 이상의 프로세서들로 하여금 웨어러블 디바이스에 대한 핸드헬드 디바이스의 로컬화를 수행하기 위한 동작들을 수행하게 하며, 상기 동작들은:
    상기 핸드헬드 디바이스에 장착된 센서에 의해, 상기 핸드헬드 디바이스의 움직임을 나타내는 핸드헬드 데이터를 획득하는 동작;
    제1 디바이스에 장착된 이미징 디바이스에 의해, 상기 핸드헬드 디바이스의 움직임을 나타내는 기점 데이터를 획득하는 동작 ― 상기 제1 디바이스는 상기 핸드헬드 디바이스 또는 상기 웨어러블 디바이스 중 어느 하나이고, 상기 기점 데이터를 획득하는 동작은:
    상기 이미징 디바이스에 의해, 상기 제1 디바이스와 상이한 제2 디바이스에 부착된 일정수의 기점들을 포함하는 기점 이미지를 캡처하는 동작을 포함하고, 상기 제2 디바이스는 상기 핸드헬드 디바이스 또는 상기 웨어러블 디바이스 중 어느 하나임 ―
    상기 기점 이미지에 포함된 상기 기점들의 수를 결정하는 동작; 및
    상기 기점 이미지에 포함된 상기 기점들의 수에 기반하여, 상기 기점 데이터 및 상기 핸드헬드 데이터를 이용하여 상기 핸드헬드 디바이스의 포지션 및 배향 중 적어도 하나를 업데이트하는 동작을 포함하는,
    비-일시적 컴퓨터-판독가능 매체.
  16. 제 15 항에 있어서,
    상기 센서는 관성 측정 유닛(IMU)인,
    비-일시적 컴퓨터-판독가능 매체.
  17. 제 15 항에 있어서,
    상기 일정수의 기점들은 하나 이상의 발광 다이오드(LED)들을 포함하는,
    비-일시적 컴퓨터-판독가능 매체.
  18. 제 15 항에 있어서,
    상기 이미징 디바이스는 상기 핸드헬드 디바이스에 장착되고, 상기 일정수의 기점들을 포함하는 복수의 기점들은 상기 웨어러블 디바이스에 부착되는,
    비-일시적 컴퓨터-판독가능 매체.
  19. 제 15 항에 있어서,
    상기 이미징 디바이스는 상기 웨어러블 디바이스에 장착되고, 상기 일정수의 기점들을 포함하는 복수의 기점들은 상기 핸드헬드 디바이스에 부착되는,
    비-일시적 컴퓨터-판독가능 매체.
  20. 제 15 항에 있어서,
    상기 이미징 디바이스는 상기 핸드헬드 디바이스에 장착되고, 상기 일정수의 기점들을 포함하는 하나 이상의 기점들은 상기 웨어러블 디바이스에 부착되고,
    상기 핸드헬드 데이터를 획득하는 동작은:
    상기 핸드헬드 디바이스에 장착된 제2 핸드헬드 이미징 디바이스에 의해, 상기 핸드헬드 디바이스를 둘러싸는 하나 이상의 특징들을 포함하는 세계 이미지를 캡처하는 동작을 포함하는,
    비-일시적 컴퓨터-판독가능 매체.
KR1020207016433A 2018-03-07 2019-03-06 주변 디바이스들의 시각적 추적 KR102345492B1 (ko)

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
US201862640009P 2018-03-07 2018-03-07
US62/640,009 2018-03-07
US201862640299P 2018-03-08 2018-03-08
US62/640,299 2018-03-08
KR1020197030838A KR102122600B1 (ko) 2018-03-07 2019-03-06 주변 디바이스들의 시각적 추적
PCT/US2019/021025 WO2019173524A1 (en) 2018-03-07 2019-03-06 Visual tracking of peripheral devices

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020197030838A Division KR102122600B1 (ko) 2018-03-07 2019-03-06 주변 디바이스들의 시각적 추적

Publications (2)

Publication Number Publication Date
KR20200067959A true KR20200067959A (ko) 2020-06-12
KR102345492B1 KR102345492B1 (ko) 2021-12-29

Family

ID=67847404

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020207016433A KR102345492B1 (ko) 2018-03-07 2019-03-06 주변 디바이스들의 시각적 추적
KR1020197030838A KR102122600B1 (ko) 2018-03-07 2019-03-06 주변 디바이스들의 시각적 추적

Family Applications After (1)

Application Number Title Priority Date Filing Date
KR1020197030838A KR102122600B1 (ko) 2018-03-07 2019-03-06 주변 디바이스들의 시각적 추적

Country Status (10)

Country Link
US (4) US10860090B2 (ko)
EP (2) EP4212222A1 (ko)
JP (1) JP6785385B2 (ko)
KR (2) KR102345492B1 (ko)
CN (2) CN110494792B (ko)
AU (2) AU2019231697B2 (ko)
CA (2) CA3139648A1 (ko)
IL (2) IL269587B (ko)
NZ (1) NZ757418A (ko)
WO (1) WO2019173524A1 (ko)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA3139648A1 (en) 2018-03-07 2019-09-12 Magic Leap, Inc. Visual tracking of peripheral devices
US11265387B2 (en) * 2019-11-13 2022-03-01 At&T Intellectual Property I, L.P. Synchronizing multiple user devices in an immersive media environment using time-of-flight light patterns
JP2021077262A (ja) * 2019-11-13 2021-05-20 セイコーエプソン株式会社 頭部装着型表示装置、入力方式方法の切り替え方法、及び、その切り替えプログラム
US11128636B1 (en) 2020-05-13 2021-09-21 Science House LLC Systems, methods, and apparatus for enhanced headsets
US20210398314A1 (en) * 2020-06-17 2021-12-23 Qualcomm Incorporated Low power visual tracking systems
US11954268B2 (en) * 2020-06-30 2024-04-09 Snap Inc. Augmented reality eyewear 3D painting
US20230132644A1 (en) * 2021-10-28 2023-05-04 Meta Platforms Technologies, Llc Tracking a handheld device
US20240069651A1 (en) * 2022-08-30 2024-02-29 Htc Corporation Virtual reality tracker and tracker correction position method
GB2624929A (en) * 2022-12-01 2024-06-05 Sony Interactive Entertainment Inc Systems and methods for mapping and localisation

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160066451A (ko) * 2014-12-02 2016-06-10 경북대학교 산학협력단 Hmd 디바이스 및 그 제어 방법
US20170357333A1 (en) * 2016-06-09 2017-12-14 Alexandru Octavian Balan Passive optical and inertial tracking in slim form-factor

Family Cites Families (179)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6222525B1 (en) 1992-03-05 2001-04-24 Brad A. Armstrong Image controllers with sheet connected sensors
US5704151A (en) 1995-03-24 1998-01-06 James Paul West Portable battery-powered safety lock
US5670988A (en) 1995-09-05 1997-09-23 Interlink Electronics, Inc. Trigger operated electronic device
US6577738B2 (en) 1996-07-17 2003-06-10 American Technology Corporation Parametric virtual speaker and surround-sound system
CA2307877C (en) 1997-10-30 2005-08-30 The Microoptical Corporation Eyeglass interface system
US6757068B2 (en) 2000-01-28 2004-06-29 Intersense, Inc. Self-referenced tracking
US8019121B2 (en) 2002-07-27 2011-09-13 Sony Computer Entertainment Inc. Method and system for processing intensity from input devices for interfacing with a computer program
US8287373B2 (en) * 2008-12-05 2012-10-16 Sony Computer Entertainment Inc. Control device for communicating visual information
JP4292927B2 (ja) 2003-09-16 2009-07-08 カシオ計算機株式会社 ペン型データ入力装置及び該プログラム
JP4364002B2 (ja) 2004-02-06 2009-11-11 オリンパス株式会社 頭部装着型カメラ及び頭部装着型カメラによる撮影方法
JP2005252732A (ja) 2004-03-04 2005-09-15 Olympus Corp 撮像装置
JP4373286B2 (ja) 2004-05-06 2009-11-25 オリンパス株式会社 頭部装着型表示装置
US20060103633A1 (en) 2004-11-17 2006-05-18 Atrua Technologies, Inc. Customizable touch input module for an electronic device
US20060181521A1 (en) 2005-02-14 2006-08-17 Atrua Technologies, Inc. Systems for dynamically illuminating touch sensors
US7548230B2 (en) 2005-05-27 2009-06-16 Sony Computer Entertainment Inc. Remote input device
KR100811160B1 (ko) 2005-06-02 2008-03-07 삼성전자주식회사 사용자명령을 3차원적으로 입력가능한 전자장치
KR100538572B1 (ko) 2005-06-14 2005-12-23 (주)멜파스 시각적 입력 피드백을 포함하는 사용자 접촉 기반의 디지털기기 제어 장치 및 방법
JP4682927B2 (ja) 2005-08-03 2011-05-11 セイコーエプソン株式会社 静電型超音波トランスデューサ、超音波スピーカ、音声信号再生方法、超音波トランスデューサの電極の製造方法、超音波トランスデューサの製造方法、超指向性音響システム、および表示装置
JP4914124B2 (ja) 2006-06-14 2012-04-11 パナソニック株式会社 音像制御装置及び音像制御方法
DE102006037545B4 (de) 2006-08-10 2015-05-28 Ferton Holding S.A. Bedienelement und Verfahren zur Eingabe von Werten an einem medizinischen Gerät
US20100020229A1 (en) 2007-04-30 2010-01-28 General Electric Company Wearable personal video/audio device method and system
JP4857196B2 (ja) 2007-05-31 2012-01-18 キヤノン株式会社 頭部装着型表示装置、及びその制御方法
US20090002218A1 (en) 2007-06-28 2009-01-01 Matsushita Electric Industrial Co., Ltd. Direction and holding-style invariant, symmetric design, touch and button based remote user interaction device
US8696458B2 (en) * 2008-02-15 2014-04-15 Thales Visionix, Inc. Motion tracking system and method using camera and non-camera sensors
JP4626671B2 (ja) 2008-04-24 2011-02-09 ソニー株式会社 入力装置及び制御システム
TWI360068B (en) 2008-05-30 2012-03-11 Asustek Comp Inc Pointing device and method for determining rotatio
JP2010015535A (ja) 2008-06-02 2010-01-21 Sony Corp 入力装置、制御システム、ハンドヘルド装置及び校正方法
US8620009B2 (en) 2008-06-17 2013-12-31 Microsoft Corporation Virtual sound source positioning
DK3266367T3 (da) * 2008-07-24 2021-06-07 Massachusetts Inst Technology Systemer og fremgangsmåder til billeddannelse ved anvendelse af absorption
US8957835B2 (en) 2008-09-30 2015-02-17 Apple Inc. Head-mounted display apparatus for retaining a portable electronic device with display
US8138938B2 (en) 2008-10-28 2012-03-20 The Boeing Company Hand-held positioning interface for spatial query
WO2011010414A1 (ja) 2009-07-21 2011-01-27 株式会社ソニー・コンピュータエンタテインメント ゲーム装置
JP5453006B2 (ja) 2009-07-21 2014-03-26 株式会社ソニー・コンピュータエンタテインメント ゲーム装置
CN102781527B (zh) 2009-12-24 2015-07-22 索尼电脑娱乐公司 无线装置配对方法
US8665177B2 (en) 2010-02-05 2014-03-04 Kopin Corporation Touch sensor for controlling eyewear
JP2013521576A (ja) 2010-02-28 2013-06-10 オスターハウト グループ インコーポレイテッド 対話式ヘッド取付け型アイピース上での地域広告コンテンツ
WO2011156195A2 (en) 2010-06-09 2011-12-15 Dynavox Systems Llc Speech generation device with a head mounted display unit
US9304319B2 (en) 2010-11-18 2016-04-05 Microsoft Technology Licensing, Llc Automatic focus improvement for augmented reality displays
US10156722B2 (en) 2010-12-24 2018-12-18 Magic Leap, Inc. Methods and systems for displaying stereoscopy with a freeform optical system with addressable focus for virtual and augmented reality
EP2656135B1 (en) 2010-12-24 2022-05-04 Magic Leap, Inc. Freeform waveguide prism
US9217867B2 (en) 2011-03-24 2015-12-22 Seiko Epson Corporation Head-mounted display device and control method for the head-mounted display device
WO2012154620A2 (en) 2011-05-06 2012-11-15 Magic Leap, Inc. Massive simultaneous remote digital presence world
US8179604B1 (en) 2011-07-13 2012-05-15 Google Inc. Wearable marker for passive interaction
US9897805B2 (en) 2013-06-07 2018-02-20 Sony Interactive Entertainment Inc. Image rendering responsive to user actions in head mounted display
WO2013049861A1 (en) 2011-09-29 2013-04-04 Magic Leap, Inc. Tactile glove for human-computer interaction
US20130083018A1 (en) 2011-09-30 2013-04-04 Kevin A. Geisner Personal audio/visual system with holographic objects
CN103105926A (zh) * 2011-10-17 2013-05-15 微软公司 多传感器姿势识别
US20130104085A1 (en) 2011-10-21 2013-04-25 Digital Artforms, Inc. Systems and methods for human-computer interaction using a two handed interface
EP3258671B1 (en) * 2011-10-28 2018-09-05 Magic Leap, Inc. System and method for augmented and virtual reality
BR112014012615A2 (pt) 2011-11-23 2017-06-13 Magic Leap Inc sistema de exibição de realidade aumentada e virtual tridimensional
US9497501B2 (en) 2011-12-06 2016-11-15 Microsoft Technology Licensing, Llc Augmented reality virtual monitor
EP2618564A1 (en) 2012-01-18 2013-07-24 Harman Becker Automotive Systems GmbH Method for operating a conference system and device for a conference system
JP6044079B2 (ja) 2012-02-06 2016-12-14 ソニー株式会社 情報処理装置、情報処理方法及びプログラム
WO2013124741A1 (en) 2012-02-21 2013-08-29 Comsa Radu Mircea Augmented reality system
JP5970872B2 (ja) 2012-03-07 2016-08-17 セイコーエプソン株式会社 頭部装着型表示装置および頭部装着型表示装置の制御方法
US8831255B2 (en) 2012-03-08 2014-09-09 Disney Enterprises, Inc. Augmented reality (AR) audio with position and action triggered virtual sound effects
US9096920B1 (en) 2012-03-22 2015-08-04 Google Inc. User interface method
NZ700887A (en) 2012-04-05 2016-11-25 Magic Leap Inc Wide-field of view (fov) imaging devices with active foveation capability
US9671566B2 (en) 2012-06-11 2017-06-06 Magic Leap, Inc. Planar waveguide apparatus with diffraction element(s) and system employing same
CN104737061B (zh) 2012-06-11 2018-01-16 奇跃公司 使用波导反射器阵列投射器的多深度平面三维显示器
US9041622B2 (en) 2012-06-12 2015-05-26 Microsoft Technology Licensing, Llc Controlling a virtual object with a real controller device
US9152226B2 (en) 2012-06-15 2015-10-06 Qualcomm Incorporated Input method designed for augmented reality goggles
US9384737B2 (en) 2012-06-29 2016-07-05 Microsoft Technology Licensing, Llc Method and device for adjusting sound levels of sources based on sound source priority
US9740006B2 (en) 2012-09-11 2017-08-22 Magic Leap, Inc. Ergonomic head mounted display device and optical system
WO2014096900A1 (en) 2012-12-18 2014-06-26 Nokia Corporation Spatial audio apparatus
WO2014108728A2 (en) 2013-01-08 2014-07-17 Ayotle Sas Methods and systems for controlling a virtual interactive surface and interactive display systems
IL301489B1 (en) 2013-01-15 2024-04-01 Magic Leap Inc A system for scanning electromagnetic imaging radiation
JP6079268B2 (ja) 2013-01-29 2017-02-15 セイコーエプソン株式会社 画像表示装置
EP2967322A4 (en) 2013-03-11 2017-02-08 Magic Leap, Inc. System and method for augmented and virtual reality
KR20230113418A (ko) 2013-03-15 2023-07-28 매직 립, 인코포레이티드 디스플레이 시스템 및 방법
EP2797313A1 (en) 2013-04-26 2014-10-29 Elvesjö, John Computer graphics presentation system and method
US20140328505A1 (en) 2013-05-02 2014-11-06 Microsoft Corporation Sound field adaptation based upon user tracking
US20160292922A1 (en) * 2013-05-21 2016-10-06 Sony Corporation Display control device, display control method, and recording medium
US10019057B2 (en) 2013-06-07 2018-07-10 Sony Interactive Entertainment Inc. Switching mode of operation in a head mounted display
US20140362110A1 (en) 2013-06-08 2014-12-11 Sony Computer Entertainment Inc. Systems and methods for customizing optical representation of views provided by a head mounted display based on optical prescription of a user
US9908048B2 (en) 2013-06-08 2018-03-06 Sony Interactive Entertainment Inc. Systems and methods for transitioning between transparent mode and non-transparent mode in a head mounted display
US10262462B2 (en) 2014-04-18 2019-04-16 Magic Leap, Inc. Systems and methods for augmented and virtual reality
GB201310373D0 (en) * 2013-06-11 2013-07-24 Sony Comp Entertainment Europe Head-Mountable Apparatus and systems
US9874749B2 (en) 2013-11-27 2018-01-23 Magic Leap, Inc. Virtual and augmented reality systems and methods
GB201310364D0 (en) 2013-06-11 2013-07-24 Sony Comp Entertainment Europe Head-mountable apparatus and systems
KR20150026336A (ko) 2013-09-02 2015-03-11 엘지전자 주식회사 웨어러블 디바이스 및 그 컨텐트 출력 방법
US9630105B2 (en) 2013-09-30 2017-04-25 Sony Interactive Entertainment Inc. Camera based safety mechanisms for users of head mounted displays
JP6200756B2 (ja) 2013-10-02 2017-09-20 三星電子株式会社Ｓａｍｓｕｎｇ Ｅｌｅｃｔｒｏｎｉｃｓ Ｃｏ．，Ｌｔｄ． ポインティング装置、ポインティング方法、及び、ポインティング装置用プログラム
CN105829953B (zh) 2013-10-16 2019-05-28 奇跃公司 具有可调节的瞳距的虚拟或增强现实头戴设备
WO2015065494A1 (en) * 2013-11-04 2015-05-07 Bodhi Technology Ventures Llc Detecting stowing or unstowing of a mobile device
US9111076B2 (en) 2013-11-20 2015-08-18 Lg Electronics Inc. Mobile terminal and control method thereof
US20150138065A1 (en) 2013-11-21 2015-05-21 Nvidia Corporation Head-mounted integrated interface
JP2017505933A (ja) * 2013-11-26 2017-02-23 シェフィ，ヨァヴ 実在の物体上に固定された仮想画像を生成する方法及びシステム
CN110542938B (zh) 2013-11-27 2023-04-18 奇跃公司 虚拟和增强现实系统与方法
US9857591B2 (en) 2014-05-30 2018-01-02 Magic Leap, Inc. Methods and system for creating focal planes in virtual and augmented reality
US10175478B2 (en) 2014-05-30 2019-01-08 Magic Leap, Inc. Methods and systems for generating virtual content display with a virtual or augmented reality apparatus
US10585486B2 (en) 2014-01-03 2020-03-10 Harman International Industries, Incorporated Gesture interactive wearable spatial audio system
NZ722903A (en) 2014-01-31 2020-05-29 Magic Leap Inc Multi-focal display system and method
WO2015117043A1 (en) 2014-01-31 2015-08-06 Magic Leap, Inc. Multi-focal display system and method
CA2841371A1 (en) 2014-01-31 2015-07-31 Usquare Soft Inc. Devices and methods for portable processing and application execution
CA3027407A1 (en) * 2014-02-18 2015-08-27 Merge Labs, Inc. Head mounted display goggles for use with mobile computing devices
WO2015123771A1 (en) 2014-02-18 2015-08-27 Sulon Technologies Inc. Gesture tracking and control in augmented and virtual reality
US10203762B2 (en) * 2014-03-11 2019-02-12 Magic Leap, Inc. Methods and systems for creating virtual and augmented reality
WO2015139005A1 (en) * 2014-03-14 2015-09-17 Sony Computer Entertainment Inc. Methods and systems tracking head mounted display (hmd) and calibrations for hmd headband adjustments
WO2015139002A1 (en) * 2014-03-14 2015-09-17 Sony Computer Entertainment Inc. Gaming device with volumetric sensing
US9163933B1 (en) 2014-03-28 2015-10-20 Rockwell Collins, Inc. Wearable head tracking system
US9542011B2 (en) * 2014-04-08 2017-01-10 Eon Reality, Inc. Interactive virtual reality systems and methods
WO2015157862A1 (en) 2014-04-14 2015-10-22 Tremolant Inc. Augmented reality communications
US9495801B2 (en) 2014-05-01 2016-11-15 Microsoft Technology Licensing, Llc Pose tracking an augmented reality device
CN106537290B (zh) 2014-05-09 2019-08-27 谷歌有限责任公司 与真实和虚拟对象交互的基于生物力学的眼球信号的系统和方法
CA2926861C (en) * 2014-05-21 2017-03-07 Millennium Three Technologies Inc Fiducial marker patterns, their automatic detection in images, and applications thereof
JP2015228009A (ja) 2014-06-03 2015-12-17 セイコーエプソン株式会社 頭部装着型表示装置、頭部装着型表示装置の制御方法、情報送受信システム、および、コンピュータープログラム
JP6355978B2 (ja) 2014-06-09 2018-07-11 株式会社バンダイナムコエンターテインメント プログラムおよび画像生成装置
WO2015192117A1 (en) 2014-06-14 2015-12-17 Magic Leap, Inc. Methods and systems for creating virtual and augmented reality
DE102014009298A1 (de) 2014-06-26 2015-12-31 Audi Ag Verfahren zum Betreiben eines Virtual-Reality-Systems und Virtual-Reality-System
US20150382130A1 (en) 2014-06-27 2015-12-31 Patrick Connor Camera based adjustments to 3d soundscapes
GB2528699B (en) 2014-07-29 2017-05-03 Sony Computer Entertainment Europe Ltd Image processing
US10444849B2 (en) 2014-09-01 2019-10-15 Yinbo Li Multi-surface controller
US10509865B2 (en) * 2014-09-18 2019-12-17 Google Llc Dress form for three-dimensional drawing inside virtual reality environment
US9984505B2 (en) 2014-09-30 2018-05-29 Sony Interactive Entertainment Inc. Display of text information on a head-mounted display
KR101960654B1 (ko) 2014-10-14 2019-03-22 아스일 나이어 후세인 신체 특성에 관한 데이터를 포착하고 출력하기 위한 시스템, 디바이스, 및 방법
US10705619B2 (en) * 2014-11-21 2020-07-07 Abhishek Johri System and method for gesture based data and command input via a wearable device
CN107111339A (zh) 2014-12-24 2017-08-29 电子部品研究院 可穿戴电子设备
US10571696B2 (en) 2014-12-26 2020-02-25 Cy Vision Inc. Near-to-eye display device
US10265621B2 (en) 2015-01-20 2019-04-23 Disney Enterprises, Inc. Tracking specific gestures relative to user movement
US9787846B2 (en) 2015-01-21 2017-10-10 Microsoft Technology Licensing, Llc Spatial audio signal processing for objects with associated audio content
JP6465672B2 (ja) * 2015-01-29 2019-02-06 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置および情報処理方法
KR101627652B1 (ko) 2015-01-30 2016-06-07 가우디오디오랩 주식회사 바이노럴 렌더링을 위한 오디오 신호 처리 장치 및 방법
US10180734B2 (en) * 2015-03-05 2019-01-15 Magic Leap, Inc. Systems and methods for augmented reality
NZ735465A (en) 2015-03-05 2021-07-30 Magic Leap Inc Systems and methods for augmented reality
GB2536650A (en) 2015-03-24 2016-09-28 Augmedics Ltd Method and system for combining video-based and optic-based augmented reality in a near eye display
US10412173B2 (en) 2015-04-22 2019-09-10 Panasonic Avionics Corporation Passenger seat pairing system
EP3289430B1 (en) 2015-04-27 2019-10-23 Snap-Aid Patents Ltd. Estimating and using relative head pose and camera field-of-view
USD758367S1 (en) 2015-05-14 2016-06-07 Magic Leap, Inc. Virtual reality headset
US20160378204A1 (en) * 2015-06-24 2016-12-29 Google Inc. System for tracking a handheld device in an augmented and/or virtual reality environment
US10083544B2 (en) * 2015-07-07 2018-09-25 Google Llc System for tracking a handheld device in virtual reality
CN105117016A (zh) 2015-09-07 2015-12-02 众景视界（北京）科技有限公司 用于虚拟现实和增强现实交互控制中的交互手柄
EP4254145A3 (en) 2015-09-16 2023-11-01 Magic Leap, Inc. Head pose mixing of audio files
JP6684559B2 (ja) 2015-09-16 2020-04-22 株式会社バンダイナムコエンターテインメント プログラムおよび画像生成装置
US10338673B2 (en) 2015-09-16 2019-07-02 Google Llc Touchscreen hover detection in an augmented and/or virtual reality environment
FR3046489B1 (fr) 2016-01-05 2018-01-12 Mimi Hearing Technologies GmbH Encodeur ambisonique ameliore d'une source sonore a pluralite de reflexions
US10324293B2 (en) * 2016-02-23 2019-06-18 Compedia Software and Hardware Development Ltd. Vision-assisted input within a virtual world
US9774979B1 (en) 2016-03-03 2017-09-26 Google Inc. Systems and methods for spatial audio adjustment
JP2017163432A (ja) 2016-03-10 2017-09-14 ソニー株式会社 情報処理装置、情報処理方法、及び、プログラム
JP7052719B2 (ja) 2016-03-10 2022-04-12 ソニーグループ株式会社 情報処理装置、情報処理方法、及び、プログラム
CA3021964A1 (en) * 2016-04-26 2017-11-02 Magic Leap, Inc. Electromagnetic tracking with augmented reality systems
CN105975082B (zh) 2016-05-27 2019-01-15 北京小鸟看看科技有限公司 一种应用于虚拟现实头戴设备的手柄控制器
US20170352184A1 (en) * 2016-06-06 2017-12-07 Adam G. Poulos Optically augmenting electromagnetic tracking in mixed reality
US10254546B2 (en) * 2016-06-06 2019-04-09 Microsoft Technology Licensing, Llc Optically augmenting electromagnetic tracking in mixed reality
US10146335B2 (en) 2016-06-09 2018-12-04 Microsoft Technology Licensing, Llc Modular extension of inertial controller for six DOF mixed reality input
US20170354864A1 (en) 2016-06-11 2017-12-14 Sony Interactive Entertainment Inc. Directional Interface Object
US10037626B2 (en) * 2016-06-30 2018-07-31 Microsoft Technology Licensing, Llc Interaction with virtual objects based on determined restrictions
US10620717B2 (en) * 2016-06-30 2020-04-14 Microsoft Technology Licensing, Llc Position-determining input device
US9972119B2 (en) 2016-08-11 2018-05-15 Microsoft Technology Licensing, Llc Virtual object hand-off and manipulation
KR102357273B1 (ko) 2016-08-22 2022-02-08 매직 립, 인코포레이티드 가상, 증강, 및 혼합 현실 시스템들 및 방법들
USD797743S1 (en) 2016-08-22 2017-09-19 Magic Leap, Inc. Totem controller
KR102462271B1 (ko) 2016-09-26 2022-11-03 스냅 인코포레이티드 광학 코드들에 의한 디바이스 페어링
US10440240B2 (en) * 2016-09-30 2019-10-08 Sony Interactive Entertainment Inc. Systems and methods for reducing an effect of occlusion of a tracker by people
US10088902B2 (en) * 2016-11-01 2018-10-02 Oculus Vr, Llc Fiducial rings in virtual reality
DK3545385T3 (da) 2016-11-25 2021-10-04 Sensoryx AG Bærbart bevægelsessporingssystem
US10452133B2 (en) * 2016-12-12 2019-10-22 Microsoft Technology Licensing, Llc Interacting with an environment using a parent device and at least one companion device
US10451439B2 (en) 2016-12-22 2019-10-22 Microsoft Technology Licensing, Llc Dynamic transmitter power control for magnetic tracker
US10650552B2 (en) * 2016-12-29 2020-05-12 Magic Leap, Inc. Systems and methods for augmented reality
US10373342B1 (en) * 2017-01-10 2019-08-06 Lucasfilm Entertainment Company Ltd. Content generation in an immersive environment
CN106815859B (zh) * 2017-01-13 2019-07-16 大连理工大学 基于尺度自适应相关滤波和特征点匹配的目标跟踪算法
US10843068B2 (en) * 2017-01-18 2020-11-24 Xvisio Technology Corp. 6DoF inside-out tracking game controller
US11740690B2 (en) * 2017-01-27 2023-08-29 Qualcomm Incorporated Systems and methods for tracking a controller
US10433094B2 (en) 2017-02-27 2019-10-01 Philip Scott Lyren Computer performance of executing binaural sound
WO2018182274A1 (ko) 2017-03-27 2018-10-04 가우디오디오랩 주식회사 오디오 신호 처리 방법 및 장치
AU2018244316B2 (en) 2017-03-28 2022-09-29 Magic Leap, Inc. Augmented reality system with spatialized audio tied to user manipulated virtual object
US10726574B2 (en) * 2017-04-11 2020-07-28 Dolby Laboratories Licensing Corporation Passive multi-wearable-devices tracking
IL270146B1 (en) 2017-04-27 2024-03-01 Magic Leap Inc Light emitting assembly for illuminating light patterns
US10496157B2 (en) * 2017-05-09 2019-12-03 Microsoft Technology Licensing, Llc Controlling handheld object light sources for tracking
US10817128B2 (en) * 2017-07-11 2020-10-27 Logitech Europe S.A. Input device for VR/AR applications
US10152141B1 (en) * 2017-08-18 2018-12-11 Osterhout Group, Inc. Controller movement tracking with light emitters
CN107767450B (zh) * 2017-10-31 2021-05-28 南京维睛视空信息科技有限公司 一种基于sparse-slam的实时建图方法
US10816334B2 (en) * 2017-12-04 2020-10-27 Microsoft Technology Licensing, Llc Augmented reality measurement and schematic system including tool having relatively movable fiducial markers
US10514545B2 (en) * 2017-12-08 2019-12-24 Facebook Technologies, Llc Selective tracking of a head-mounted display
US10325411B1 (en) * 2017-12-13 2019-06-18 The Charles Stark Draper Laboratory, Inc. Egocentric odometry system for maintaining pose alignment between real and virtual worlds
US10558260B2 (en) * 2017-12-15 2020-02-11 Microsoft Technology Licensing, Llc Detecting the pose of an out-of-range controller
US10773169B2 (en) * 2018-01-22 2020-09-15 Google Llc Providing multiplayer augmented reality experiences
CA3139648A1 (en) 2018-03-07 2019-09-12 Magic Leap, Inc. Visual tracking of peripheral devices
US10628711B2 (en) * 2018-04-24 2020-04-21 Microsoft Technology Licensing, Llc Determining pose of handheld object in environment
US10535199B1 (en) * 2018-06-18 2020-01-14 Facebook Technologies, Llc Systems and methods for determining a safety boundary for a mobile artificial reality user

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160066451A (ko) * 2014-12-02 2016-06-10 경북대학교 산학협력단 Hmd 디바이스 및 그 제어 방법
US20170357333A1 (en) * 2016-06-09 2017-12-14 Alexandru Octavian Balan Passive optical and inertial tracking in slim form-factor

Also Published As

Publication number Publication date
US20220113792A1 (en) 2022-04-14
EP3593198B1 (en) 2023-03-08
KR20190122266A (ko) 2019-10-29
AU2019231697A1 (en) 2019-10-10
AU2019231697B2 (en) 2020-01-30
IL269587B (en) 2021-07-29
EP3593198A1 (en) 2020-01-15
CA3059064A1 (en) 2019-09-12
AU2020202820A1 (en) 2020-05-21
CN110494792B (zh) 2021-07-09
JP6785385B2 (ja) 2020-11-18
US20200026348A1 (en) 2020-01-23
CA3059064C (en) 2022-01-04
AU2020202820B2 (en) 2020-10-15
US11181974B2 (en) 2021-11-23
US20230195212A1 (en) 2023-06-22
WO2019173524A1 (en) 2019-09-12
KR102345492B1 (ko) 2021-12-29
CN110494792A (zh) 2019-11-22
EP3593198A4 (en) 2020-03-18
CN113426098A (zh) 2021-09-24
US11625090B2 (en) 2023-04-11
CA3139648A1 (en) 2019-09-12
IL284819B (en) 2022-05-01
NZ757418A (en) 2020-06-26
IL284819A (en) 2021-08-31
US11989339B2 (en) 2024-05-21
JP2020518909A (ja) 2020-06-25
US20210116991A1 (en) 2021-04-22
KR102122600B1 (ko) 2020-06-12
EP4212222A1 (en) 2023-07-19
US10860090B2 (en) 2020-12-08

Similar Documents

Publication Publication Date Title
KR102122600B1 (ko) 주변 디바이스들의 시각적 추적
US10169880B2 (en) Information processing apparatus, information processing method, and program
CN108292166A (zh) 虚拟现实中的有限视场
US20210263592A1 (en) Hand and totem input fusion for wearable systems
US20220026981A1 (en) Information processing apparatus, method for processing information, and program
US11994676B2 (en) Method and system for resolving hemisphere ambiguity in six degree of freedom pose measurements
JP2018049629A (ja) 仮想空間において入力を支援するための方法および装置、ならびに当該方法をコンピュータに実行させるプログラム
WO2023230086A1 (en) Wearable system with headset and controller inside out tracking

Legal Events

Date Code Title Description
A107 Divisional application of patent
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant