KR102358274B1 - 동적 환경에서의 좌표 프레임의 결정 - Google Patents

동적 환경에서의 좌표 프레임의 결정 Download PDF

Info

Publication number
KR102358274B1
KR102358274B1 KR1020167033570A KR20167033570A KR102358274B1 KR 102358274 B1 KR102358274 B1 KR 102358274B1 KR 1020167033570 A KR1020167033570 A KR 1020167033570A KR 20167033570 A KR20167033570 A KR 20167033570A KR 102358274 B1 KR102358274 B1 KR 102358274B1
Authority
KR
South Korea
Prior art keywords
coordinate frame
sensor
display device
feature
motion
Prior art date
Application number
KR1020167033570A
Other languages
English (en)
Other versions
KR20160148680A (ko
Inventor
아담 지. 폴로스
아서 톰린
토니 암브루스
제프리 콜
이안 더글라스 맥른타이어
드류 스티들리
프레데릭 샤팔리츠키
게오르그 클라인
캐들린 피. 물카히
Original Assignee
마이크로소프트 테크놀로지 라이센싱, 엘엘씨
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 filed Critical 마이크로소프트 테크놀로지 라이센싱, 엘엘씨
Priority to KR1020227002994A priority Critical patent/KR102493749B1/ko
Publication of KR20160148680A publication Critical patent/KR20160148680A/ko
Application granted granted Critical
Publication of KR102358274B1 publication Critical patent/KR102358274B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G06K9/6215—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0141—Head-up displays characterised by optical features characterised by the informative content of the display
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/143—Sensing or illuminating at different wavelengths
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G06V20/647—Three-dimensional objects by matching two-dimensional images to three-dimensional objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Optics & Photonics (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

실시형태는 물리적 환경에서 피처의 이동을 구별하는 방법 및 시스템을 개시한다. 예컨대, 헤드 마운트형 디스플레이 디바이스 상에서, 방법의 일 실시형태는, 2개 이상의 좌표 프레임에서 실제 피처의 표시를 취득하는 단계; 및 헤드 마운트형 디스플레이 디바이스의 외부의 하나 이상의 센서로부터 모션 데이터(motion data)를 취득하는 단계를 포함한다. 상기 방법은, 모션 데이터에 기초하여 하나의 좌표 프레임에서의 피처를 다른 좌표 프레임에서의 피처로부터 구별하는 단계를 더 포함한다.

Description

동적 환경에서의 좌표 프레임의 결정{DETERMINING COORDINATE FRAMES IN A DYNAMIC ENVIRONMENT}
물리적 환경은 환경 내의 오브젝트(object) 및 다른 피처(feature)의 위치 및/또는 이동을 검출하기 위해 다양한 센서를 사용하는 컴퓨터에 의해 맵핑될 수 있다. 그러나, 일부 환경은 동적일 수 있고, 다른 피처에 관하여 이동하는 피처를 포함할 수 있다. 이러한 환경에서, 제스처 인식 및 실제 비주얼 증강(real-world visual augmentation)과 같은 애플리케이션은 실제 피처(real-world feature)의 이동에 의해 영향을 받을 수 있다.
컴퓨팅 디바이스를 통해, 다른 실제 오브젝트에 관하여 이동할 수 있는 실제 오브젝트에 대한 좌표 프레임을 결정하는 것과 관련되는 실시형태가 개시된다. 예컨대, 개시된 일 실시형태는 물리적 환경에서 좌표 프레임을 결정하는 방법을 제공한다. 상기 방법은 2개 이상의 좌표 프레임에서 실제 피처의 표시를 취득하는 단계; 및 헤드 마운트형 디스플레이 디바이스의 외부의 하나 이상의 센서로부터 모션 데이터(motion data)를 취득하는 단계를 포함한다. 상기 방법은, 센서 데이터에 기초하여 하나의 좌표 프레임에서의 피처를 다른 좌표 프레임에서의 피처로부터 구별하는 단계를 더 포함한다.
이하 상세한 설명에서 더 개시되는 간략한 형태의 컨셉의 선택을 소개하기 위해 본 요약(Summary)이 제공된다. 본 요약은 청구되는 대상(subject matter)의 본질적 특징이나 중요 특징(key feature)의 확인을 의도하지 않고, 청구되는 대상의 범위를 한정하는데 사용되는 것도 의도하지 않는다. 또한, 청구되는 대상은 본 명세서의 임의의 부분에서 언급되는 임의의 또는 모든 단점을 해결하는 구현에 한정되지 않는다.
도 1a 내지 도 1c는 예시인 물리적 환경을 나타내고, 본 개시의 실시형태에 따른 환경을 증강시키기 위한 가상 이미저리(virtual imagery)의 디스플레이를 예시한다.
도 2는 본 개시의 실시형태에 따른 예시적 좌표 프레임 검출 및 할당 시스템(coordinate frame detection and assignment system)의 블록 다이어그램이다.
도 3은 본 개시의 실시형태에 따른 물리적 환경에서의 좌표 프레임을 결정하는 방법을 묘사하는 플로우 다이어그램이다.
도 4는 본 개시의 실시형태에 따른 좌표 프레임들을 분리 및 통합하는 방법을 묘사하는 플로우 다이어그램이다.
도 5는 본 개시의 실시형태에 따른 헤드 마운트형 디스플레이 디바이스의 실시예를 나타낸다.
도 6은 컴퓨팅 시스템의 예시적 실시형태의 블록 다이어그램이다.
실제 환경이 보일 수 있는 시스루 디스플레이(see-through display) 상에 가상 이미지를 디스플레이함으로써, 헤드 마운트형 디바이스(HMD: head-mounted device)와 같은 시스루 디스플레이 디바이스 상에 증강현실 경험이 제공된다. 실제 오브젝트는 HMD 상의 외측 페이싱 이미지 센서(outward-facing image sensor)로부터의 데이터를 통해 검출 및 배치될(located) 수 있다.
HMD의 착용자의 관점으로부터 실제 환경에 적절하게 정렬되는(aligned) 증강 현실 경험을 달성하기 위해, 콘텐트가 디스플레이되기 위한 위치의 결정을 돕도록 착용자의 이동이 트래킹될 수 있다. 그러나, 착용자의 이동은 착용자가 위치하는 이동 차량과 같은 다중 모션 소스(multiple motion source)로부터 발생될 수 있다. 이러한 상대적인 모션은 실제 오브젝트와 가상 이미지를 정렬시키는 작업을 복잡하게 만들 수 있다.
따라서, 실제 피처에 대한 가상 이미지 증강의 적절한 정렬을 돕기 위해, 증강 현실 디스플레이 디바이스의 외부에 있을 수 있는 하나 이상의 센서로부터 수신되는 모션 데이터를 통해 상이한 좌표 프레임에서의 실제 피처의 이동을 구별하는 것과 관련되는 실시형태가 개시된다. 도 1a 내지 도 1c는 이미지 데이터에서 캡처된 실제 피처를 상이한 식별된 좌표 프레임과 연관시키는데 센서 데이터가 사용될 수 있는 예시적 물리적 환경(100)을 나타낸다. 우선, 도 1a는 도로를 주행하고 드라이버(104)에 의해 구동되는 차량(102)을 나타낸다. 차량이 도로를 이동함에 따라, 상이한 오브젝트들 또는 다른 피처들이 다른 하나에 관하여 이동할 수 있다. 예컨대, 차량(102)은 싸인(sign)(106)과 나무(108) 등의 실질적으로 정지된 실제 오브젝트에 관하여 이동할 수 있다. 차량(102)은 또한 차량(110)에 관하여 이동할 수 있다. 또한, 드라이버(104)는 차량(102)과 협력하여 이동할 수 있지만[예컨대, 정지된 실제 오브젝트와 다른 차량(110)에 관하여], 드라이버(104)가 상이한 방향을 보기 위해 턴(turn)하거나 차량(102)의 좌표 프레임에 관한 다른 이동을 할 때, 드라이버(104)는 또한 차량에 관하여 이동할 수 있다. 따라서, 본 실시예에서, 싸인(106)과 나무(108)는 제1 좌표 프레임, 제2 좌표 프레임에서의 차량(102), 제3 좌표 프레임에서의 차량(110), 및 제4 좌표 프레임에서의 드라이버(104)[드라이버(104)가 차량(102)에 관하여 이동할 때] 내에 있는 것으로 간주될 수 있다.
드라이버와 연관된 좌표 프레임과 차량과 연관된 상이한 좌표 프레임을 구별하는 것은 증강 현실 디스플레이 디바이스가 드라이버의 이동을 결정할 때의 차량의 이동을 보상하게 할 수 있다. 이것은, 차량(102) 내에 있는 것으로부터 초래되는 드라이버(104)의 모션에 관한 정보가 드라이버(104)의 좌표 프레임과 연관된 모션 신호 센서로부터 빠지고(subtracted), 이에 따라 차량(102)에 관하여 드라이버(104)의 모션과 관련된 정보를 취득하는 것을 도울 수 있다. 또한, IMU 또는 다른 모션 센서로부터의 모션 데이터의 사용은 이미지 데이터만으로부터 물리적 실제 피처의 상대적 모션을 결정하는 것과 관련하여 이러한 좌표 프레임의 결정을 간략화할 수 있다.
물리적 환경 내의 좌표 프레임은 임의의 적합한 센서로부터의 데이터에 기초하여 결정될 수 있다. 예컨대, 관성 측정 유닛과 같은 모션 센서 및/또는 다른 적합한 센서는 환경 내의 오브젝트 내에 또는 오브젝트 상에 위치될 수 있다. 특정 실시예에 따르면, 싸인(106)은 싸인 내에 부착 및/또는 통합되는 센서(112)를 포함하는 것으로 예시된다. 센서(112)는 싸인(106)과 연관된 위치 및/또는 모션 특성을 측정, 방송 및/또는 송신할 수 있다. 예컨대, 센서(112)는 싸인의 위치(예컨대, 위도/경도 등의 절대 또는 상대 좌표)를 나타낼 수 있다. 이러한 센서는 싸인의 좌표 프레임에서위 임의의 다른 적합한 포지션에 위치될 수 있고, 임의의 적합한 방식으로 센서 데이터를 통신하도록 구성될 수 있다는 것이 이해될 것이다. 또한, 지면(earth)의 좌표 프레임에 관한 모션도 GPS(global positioning system) 센서와 같은 다른 센서를 통해 결정될 수 있다.
마찬가지로, 차량(102 및 110)은 각각 센서(114 및 116)를 포함할 수 있다. 또한, 드라이버(104)에 의해 착용되는 헤드 마운트형 디스플레이 디바이스(HMD)(118)는 도 5에 관하여 아래에 개시되는 바와 같이 하나 이상의 센서를 포함할 수 있다. 이 오브젝트들 각각은 실제 피처의 위치와 상대적 모션에 관한 정보를 취득하기 위한 임의의 적합한 수, 타입, 및/또는 조합의 센서를 포함할 수 있다. 예컨대, 센서는 하나 이상의 카메라[예컨대, 뎁스(depth), 적외선, 가시광, 입체(stereoscopic) 등], IMU(inertial measurement unit), 가속도계, 자이로스코프, GPS 센서, 자력계(magnetometer) 등을 포함할 수 있다. 마찬가지로, 센서(114)는 경시적으로 차량(102)의 위치 및/또는 모션 특성에 관한 센서 데이터를 제공할 수 있다. 또한, HMD(118)의 센서(들)는 드라이버(104)의 위치 및/또는 모션 특성에 관한 모션 신호를 제공할 수 있다.
이러한 센서를 구비하는 디바이스는, 예컨대 다이렉트 페어링(direct pairing)을 통해, 컴퓨터 네트워크를 통해, 및/또는 임의의 다른 방식으로 다른 디바이스와 통신할 수 있다. 비제한적 일 실시형태에서, 다른 디바이스에 센서 데이터를 제공하도록 구성된 디바이스는 다른 디바이스에 센서 데이터의 이용 가능성을 알리기 위해 비콘 신호(beacon signal)를 출력할 수 있고, 다른 디바이스는 자동적으로 또는 수동 페어링 프로세스를 통해 비코닝 디바이스(beaconing device)와 접속할 수 있다. HMD(118)와 페어링되면, 센서 디바이스는 HMD에 센서 데이터를 제공할 수 있다.
페어링 후에, 다른 피처에 관한 실제 피처의 이동을 구별하는 것을 돕기 위해 센서로부터 데이터가 수신될 수 있다. 예컨대, HMD(118)는, 차량(102 및 110)에서의 GPS 유닛으로부터 GPS 데이터를 수신하고, 수신된 GPS 데이터에 기초하여 2대의 차량의 상대 이동을 결정할 수 있다. 이것은, HMD의 유저의 관점으로부터 물리적, 실제 오브젝트에 관한 일정하고 안정된 위치에서 가상 오브젝트를 디스플레이하는 것을 도울 수 있다. 다른 차량으로부터 차량의 모션을 구별하기 위해 IMU 및/또는 다른 적합한 데이터도 사용될 수 있다.
도 1b 및 도 1c는 도 1a의 드라이버(104)의 관점으로부터의 예시적 시야(field of view)(각각 120 및 130)를 나타낸다. 도 1b에서, 차량의 속도의 텍스트 표시(textual representation)로 여기에 예시된 가상 오브젝트(122)는 차량(102)에 관한 고정 위치로 디스플레이된다. 도시된 실시예에서, HMD(118)의 시스루 디스플레이를 통해 볼 때, 차량의 윈드실드(windshield)(124)를 덮기(overlay) 위해 가상 오브젝트(122)가 나타날 수 있다. 가상 오브젝트가 위치에서 정지된 것으로 보이도록 차량과 HMD 사이의 상대적 모션에 응답하여 가상 오브젝트(122)가 디스플레이되는 HMD(118) 상의 포지션을 조정하는(adjust) 것이 바람직할 수 있다. 그러나, 검출된 모션이 HMD를 나르는 자동차의 실제 모션인 때에도 HMD 상의 관성 모션 유닛은 HMD가 이동하고 있는 것을 나타낼 수 있다. 차량에 관한 HMD의 모션으로부터 차량에 의해 야기되는 HMD의 모션을 구별하기 위해, 센서(114)(예컨대, 자동차에 위치된 IMU, 차량의 GPS 시스템 등)로부터 HMD에 의해 센서 데이터가 취득될 수 있고, 자동차의 모션은 HMD의 모션으로부터 빠질(subtracted) 수 있다. 이러한 방식으로, 차량에 관한 HMD의 모션의 표시가 취득될 수 있다. 차량 모션에 의해 야기되는 이동과 비교하여 유저 모션에 의해 야기되는 HMD(118)의 이동을 구별함으로써, HMD(118)에 의한 가상 오브젝트(122)의 렌더링이 조정되어, HMD와 차량 사이의 상대적 모션이 조정될 수 있다.
도 1c는 차량(102)의 외측의 실제 피처에 대한 증강, 즉 싸인(106)을 포함하는 가상 오브젝트(126)의 실시예를 나타낸다. 차량(102)에 관한 HMD(118)의 이동뿐만 아니라 차량(102)에 의해 야기되는 HMD(118)의 이동은 HMD(118)의 시스루 디스플레이를 통해 싸인(106)의 인지된 위치에 영향을 미칠 수 있다. 따라서, HMD(118)에 의해 캡처되는 이미지 데이터에서의 싸인(106)의 명백한 모션이 이 센서에 의해 감지되는 바와 같이 차량과 HMD의 모션에 대응할 것이므로, 예컨대 HMD(118) 내의 IMU로부터 결정되는 모션 신호를 통해 싸인(106)의 좌표 프레임이 결정될 수 있다. 차량(102)으로부터의 GPS 데이터 및 차량(102)으로부터의 IMU 데이터도 싸인(106)을 위한 좌표 프레임을 결정하는데 사용될 수 있다. 따라서, 이것은 가상 오브젝트(126)의 인지된 위치가 업데이트되게 할 수 있다.
일부 실시형태에서, 물리적 환경에서의 오브젝트(예컨대, 실질적으로 정지된 오브젝트, 차량, HMD 등)의 상대적 이동은 차량(102) 상의 센서 및/또는 HMD(118) 단독에 의해 결정될 수 있다. 다른 실시형태에서, 이러한 상대적 이동은 차량 및/또는 HMD 상의 센서를 따라 지면의 좌표 프레임에서의 센서를 사용하여 결정될 수 있다. 실제에서의 지면-고정 위치/오브젝트의 용이한 이용 가능 인디케이션(indication)을 제공하기 위해 물리적 환경에 걸쳐 고정 센서가 분포될 수 있다. 예컨대, 지면-고정 센서는, 임의의 다른 적합한 방식으로, 고정된 상대 위치에서 지면을 선회하는(orbiting) 내추럴 피처(natural feature) 내에 또는 위에 위치되는 공공 또는 개인의 기반시설(infrastructure) 내에 통합 및/또는 제공/분포 될 수 있다. 이동될 수 있는 오브젝트에 통합되는 센서는 마찬가지로 임의의 적합한 메카니즘을 통해 다른 디바이스에 또는 메카니즘에 대하여 용이한 이용이 가능하게 만들어질 수 있다.
도 2는 예시적 좌표 프레임 검출 및 할당 시스템(200)을 도시한 블록 다이어그램을 나타낸다. 시스템(200)은 도 1의 HMD(118)와 같은 헤드 마운트형 디스플레이 디바이스(202) 내에 적어도 부분적으로 포함될 수 있거나 임의의 다른 적합한 디바이스에 통합될 수 있다. 또한, 시스템(200)은, HMD와 통신하는 콤포넌트(component)를 포함하는 것으로 묘사되고 있지만, HMD의 외부의 좌표 프레임을 위한 모션 센서와 같은 HMD와 통합되지 않을 수 있다.
시스템(200)은 환경을 이미지화하고 피처 식별 모듈(206)에 이미지 데이터를 제공하도록 구성되는 하나 이상의 카메라(204)를 포함한다. 하나 이상의 카메라(204)는 헤드 마운트형 디스플레이 디바이스(202)에 원격으로(예컨대, 외부적으로) 위치된 그리고 헤드 마운트형 디스플레이 디바이스(202) 상에 위치된 적합한 카메라(들)의 임의의 조합을 포함할 수 있다. 하나 이상의 카메라(204)는 임의의 적합한 타입 및 수의 카메라를 포함할 수 있다. 예컨대, HMD(202)는 HMD에 연결된 RGB(red/green/blue) 카메라의 스테레오 쌍, 단일 RGB 카메라, 하나 이상의 뎁스 카메라, 이들의 조합 등을 포함할 수 있다.
피처 식별 모듈(206)은 카메라(들)에 의해 이미징된 물리적 환경에서의 하나 이상의 실제 피처를 식별하기 위해 하나 이상의 카메라들(204)로부터 이미지 데이터를 수신하고 분석할 수 있다. 예컨대, 피처 식별 모듈(206)은 물리적 오브젝트, 오브젝트의 에지(edge), 오브젝트의 코너(corner), 및/또는 임의의 적합한 구조를 검출할 수 있고, 실제 피처를 식별하기 위해 임의의 적합한 이미지 분석을 수행할 수 있다.
피처 식별 모듈(206)은 검출된 실제 피처에 관한 식별 정보를 피처 트래커(feature tracker)(208)에 제공할 수 있다. 피처 트래커(208)는 실제 피처에 연관된 하나 이상의 모션 특성을 결정하기 위해 경시적으로 실제 피처의 위치를 트래킹할 수 있다. 예컨대, 피처 식별 모듈(206)로부터의 데이터에 기초하여, 피처 트래커(208)는 트래킹된 피처의 속력, 가속도, 방향, 속도, 및/또는 다른 적합한 모션 특성을 결정할 수 있다.
또한, 모션에 관한 정보를 제공하도록 구성된 IMU(inertial measurement unit)(210) 다른 센서(212) 등의 모션 센서는, 좌표 프레임 생성기(214)로 모션 신호를 송신할 수 있다. 다른 센서(들)(212)는, 가속도계, 자이로스코프, GPS 유닛, 카메라 등을 포함하는(그러나, 이것에 한정되지 않음) 실제 피처의 모션을 검출하기 위해 사용 가능한 임의의 적합한 센서 또는 센서들을 포함할 수 있다. IMU(210) 및 다른 센서(들)(212)은 물리적 환경에서의 위치의 임의의 조합으로 배치될 수 있다. 예컨대, 하나 이상의 IMU(210) 및/또는 센서(들)(212)는 헤드 마운트형 디스플레이 디바이스(202)의 외부에 위치될 수 있고, 하나 이상의 IMU(210) 및/또는 센서들(212)은 헤드 마운트형 디스플레이 디바이스(202) 내에 통합될 수 있다. 외부 IMU(210) 및/또는 센서(들)(212)는, 도 1a 내지 도 1c에서의 센서들(112, 114, 및 116)에 관하여 위에서 설명한 바와 같이, 물리적 환경에서의 하나 이상의 오브젝트에 대하여 고정되고, 이에 따라 이들 오브젝트의 좌표 프레임과 연관될 수 있다.
좌표 프레임 생성기(214)는 모션 신호를 분석하고, 각 검출된 모션 신호에 대한 좌표 프레임을 생성할 수 있고, 상기 좌표 프레임은 모션 신호가 수신되는 센서의 위치에 관하여 고정된다.
피처 트래커(208) 및 좌표 프레임 생성기(214)는 각각 좌표 프레임 할당 모듈(216)에 입력을 제공할 수 있다. 좌표 프레임 할당 모듈(216)은 피처 트래커(208)에 의해 트래킹된 피처의 모션 특성을 좌표 프레임 생성기(214)에 의해 생성된 각 좌표 프레임과 연관된 모션 특성에 비교할 수 있다. 좌표 프레임의 모션 특성과 매칭되는(예컨대, 좌표 프레임의 모션 특성의 역치 범위와 동일하고 그리고/또는 역치 범위 내에 있는) 모션 특성을 갖는 피처는 그 좌표 프레임에 할당될 수 있다.
피처 트래커(208) 및/또는 좌표 프레임 할당 모듈(216)로부터의 정보는 이미지 렌더러(image renderer)(218)에 제공될 수 있다. 이미지 렌더러(218)는 헤드 마운트형 디스플레이 디바이스(200)의 디스플레이(220)(예컨대, 시스루 디스플레이) 상의 디스플레이를 위해 증강 현실 디스플레이 출력을 렌더링하도록 구성될 수 있다. 예컨대, 이미지 렌더러(218)는 실제 오브젝트와 위치적으로 연관된 이미지 엘리먼트를 규정하는 가상 이미지 생성 엔진(222)으로부터 하나 이상의 가상 오브젝트를 수신할 수 있다. 이미지 렌더러(218)는, 예컨대, 시스루 디스플레이(220)를 통해 유저에 의해 인지되는 바와 같은 실제 오브젝트의 위치 및 피처 트래커(208)에 의해 수신된 정보를 통해 결정되는 실제 오브젝트의 위치에 기초하여, 가상 오브젝트의 디스플레이 위치를 제어할 수 있다. 피처 트래커(208) 및 좌표 프레임 할당 모듈(216)로부터의 정보에 기초하여 결정된 바와 같이, 헤드 마운트형 디스플레이 디바이스의 좌표 프레임에 대한 실제 오브젝트의 위치의 검출된 변화에 기초하여 가상 오브젝트가 디스플레이되는 위치를 이미지 렌더러(218)가 업데이트할 수 있다. 실제 오브젝트의 좌표 프레임의 인지(knowledge)는 가상 오브젝트의 디스플레이가 실제 오브젝트에 대한 고정 위치에 유지되게 할 수 있다.
도 3은 물리적 환경에서 좌표 프레임을 결정하기 위한 방법(300)의 실시형태를 묘사하는 플로우 다이어그램을 나타낸다. 방법(300)은 도 1a 내지 도 1c의 HMD(118)와 같은 헤드 마운트형 디스플레이 디바이스 또는 임의의 다른 적합한 타입의 디바이스에 의해 수행될 수 있다. 302에서, 방법(300)은 물리적 환경에서 실제 피처의 표시를 취득하는 단계를 포함한다. 예컨대, 304에 나타낸 바와 같이, 카메라로 물리적 환경을 이미징함으로써 상기 표시가 취득될 수 있다. 306에 나타낸 바와 같이, 실제 피처는 물리적 오브젝트, 오브젝트의 에지, 오브젝트의 코너, 및/또는 임의의 다른 적합한 오브젝트 피처를 포함할 수 있다.
상기한 바와 같이, 실제 피처는 물리적 세계에서의 오브젝트의 좌표 프레임들 사이에서의 상대적 이동으로 인한 서로에 대한 상이한 모션 특성을 가질 수 있다. 따라서, 308에서 방법(300)은 하나 이상의 센서로부터 모션 데이터를 취득하는 단계를 포함한다. 센서는 헤드 마운트형 디스플레이 디바이스의 외부에 있을 수 있고 그리고/또는 헤드 마운트형 디스플레이 디바이스 내에 통합/헤드 마운트형 디스플레이 디바이스에 장착될 수 있다. 또한, 도 1a 내지 도 1c에 관하여 위에서 논의된 것을 포함하지만 이에 한정되지 않는 임의의 적합한 타입의 센서로부터 센서 데이터가 취득될 수 있다. 센서 데이터를 취득하는 단계는, 310에 나타낸 바와 같이, 모션 신호를 수신하는 단계를 포함할 수 있다. 또한, 센서 데이터를 취득하는 단계는, 312에 나타낸 바와 같이 그리고 위에서 상세히 설명한 바와 같이, 상이한 좌표 프레임과 연관된 센서로부터 데이터를 수신하는 단계를 포함할 수 있다. 예컨대, 물리적 환경에서의 피처의 모션 특성을 개시하는(describe) 센서로부터 수신된 모션 데이터에 기초하여 좌표 프레임이 식별될 수 있다.
방법(300)은, 314에 나타낸 바와 같이, 이미지 데이터에서 식별되는 실제 피처의 위치를 트래킹하는 단계를 더 포함한다. 예컨대, 실제 피처의 위치는, 316에 나타낸 바와 같이, HMD의 카메라의 위치에 관하여 트래킹될 수 있다. 304/306에 개시된 바와 같이 이미징된 물리적 환경에서의 피처에 적용되는 바와 같이, 308에서 취득된 센서 데이터에 기초하여 상기 위치들이 트래킹될 수 있다. 318에서, 방법(300)은 경시적으로 트래킹되는 위치에 기초하여 하나 이상의 모션 특성을 결정하는 단계를 포함한다.
방법(300)은, 322에서, 좌표 프레임 내의 하나 이상의 실체 피처를 센서 데이터를 통해 다른 좌표 프레임에서의 하나 이상의 피처와 구별하는 단계를 더 포함한다. 예컨대, 방법(300)은, 324에 나타낸 바와 같이, 이미지 데이터로부터 결정된 바와 같은 실제 피처의 모션 특성(들)을 하나 이상의 센서(예컨대, 헤드 마운트형 디스플레이 디바이스의 센서 및/또는 다른 실제 피처와 연관된 센서)로부터 수신된 모션 데이터에 비교하는 단계를 포함할 수 있다. 이러한 방식으로, 각 실제 피처를 검출된 좌표 프레임과 연관시키기 위해, 식별된 실제 피처에 대응하는 모션 특성이 센서 데이터에 비교될 수 있다. 또한, 좌표 프레임(예컨대, HMD 좌표 프레임)의 다른 좌표 프레임에 대한 이동은, 2개의 좌표 프레임에 대한 모션 신호를 뺌(subtracting)으로써 분리될(isolated) 수 있다.
경우에 따라, 물리적 세계 피처는 단일 좌표 프레임에 있는 것으로부터 상이한 좌표 프레임에 있는 것으로 스위치(switch)될 수 있다. HMD를 착용한 사람이 횡단보도에 서서 정지 신호에 정지한 차량을 관찰하는 경우, 차량과 차량 주변의 물리적 환경은 동일 좌표 프레임에 있을 수 있다. 그러나, 신호등이 녹색으로 변경된 후에 차량이 다시 이동할 때, 차량과 차량 외측의 물리적 환경은 상이한 좌표 프레임에 있다.
따라서, 도 4는 실제 피처들 사이의 상대적 이동의 개시(commencement)와 중단(cessation)에 기초하여 실제 피처에 대한 좌표 프레임을 분리 및 병합하기 위한 방법(400)을 묘사하는 플로우 다이어그램을 나타낸다. 방법(400)은 헤드 마운트형 디스플레이 디바이스 및/또는 임의의 다른 적합한 컴퓨팅 디바이스에 의해 수행될 수 있다.
방법(400)은, 402에서 실제 피처의 위치 및/또는 이동을 트래킹하는 단계를 포함한다. 트래킹된 실제 피처의 적어도 일부는, 404에 나타낸 바와 같이, 동일 좌표 프레임에 있을 수 있다. 실제 피처는, 도 2에 관하여 개시된 바와 같이, 이미지 데이터 및/또는 다른 센서 데이터를 사용하여 트래킹될 수 있다.
방법(400)은, 408에서 제2 실제 피처에 대한 제1 실제 피처의 이동을 검출하는 단계를 더 포함한다. 이미지 데이터 및/또는 모션 센서 데이터를 통해 410에서 피처의 상이한 모션 특성을 식별하는 등의 임의의 적합한 방식으로 모션이 검출될 수 있다. 예컨대, 차량이 이동하기 시작하면, 센서로부터 수신된 모션 데이터는 이동을 나타낼 수 있다. 또한, 멀티플 센서로부터 모션 데이터가 수신되면, 상이한 좌표 프레임에서의 상이한 센서는 상이한 모션 특성을 검출함으로써 서로에 대한 상대적 모션을 나타낼 수 있다.
412에서, 방법(400)은 물리적 세계 피처에 의해 공유되는 원래 좌표 프레임을, 피처들 사이의 상대적 모션에 대응하는 상이한 피처에 대한 상이한 좌표 프레임으로 분리하는 단계를 포함한다. 예컨대, 좌표 프레임은 하나 이상의 센서로부터 수신된 모션 데이터를 통해 식별될 수 있다. 이것은, 414에 나타낸 바와 같이, 이미지 데이터로부터 결정된 피처의 모션에 비교된 센서/피처의 검출/측정된 모션에 기초하여 상이한 식별된 좌표 프레임에 물리적 세계 피처를 매칭하는 단계를 더 포함할 수 있다.
트래킹된 실제 피처의 모션 특성은 연속적으로(예컨대, 주기적 업데이팅을 통해) 트래킹될 수 있다. 일부의 포인트에서, 이들 피처가 동일 좌표 프레임의 일부가 되도록 제1 및 제2 피처 사이의 상대적 모션이 중단될 수 있다. 따라서, 416에서, 방법(400)은 모션 센서 데이터로부터의 매칭 가속 데이터, 매칭 속도 데이터, 매칭 방향 데이터 등의 매칭 모션 특성을 검출하는 단계를 포함한다. 또한, 이미지 데이터는 매칭 모션을 검출하는데 사용될 수 있다. 방법(400)은, 매칭 모션 특성의 검출에 응답하여, 418에 나타낸 바와 같이, 매칭 모션 특성을 갖는 센서 및/또는 연관 피처에 대한 좌표 프레임을 병합하는 단계를 포함한다. 예컨대, 도로를 따른 이동 후에, 상기 실시예에서의 차량이 다시 정지하게 되면, 차량에 연관된 좌표 프레임은 물리적 환경에서의 정지된 오브젝트와 연관된 좌표 프레임과 다시 병합될 수 있다.
따라서, 좌표 프레임에 연관된 센서로부터의 모션 데이터를 수신함으로써, 동적 환경에서의 모션의 소스가 구별되고 상이한 좌표 프레임에 연관될 수 있다. 상기한 바와 같이, 이것은 다른 피처에 대한 피처의 실제 이동을 보상하면서 실제 피처에 대한 증강 현실 프리젠테이션을 디스플레이하는 것을 가능하게 할 수 있다.
도 5는 투명 디스플레이(502)를 가진 착용 가능 안경의 쌍의 형태의 예시적 HMD 디바이스(500)를 나타낸다. 다른 실시예에서, HMD 디바이스(500)는 투명, 반투명, 및/또는 가변 투명 디스플레이가 뷰어의 눈 또는 눈들의 전방에서 지지되는 다른 적합한 형태를 취할 수 있다는 것이 인식될 것이다. 도 1a 내지 도 1c에 도시된 HMD 디바이스(118)는 상세히 후술되는 바와 같이 HMD 디바이스(500) 또는 다른 적합한 HMD 디바이스의 형태를 취할 수 있다는 것이 또한 인식될 것이다.
HMD 디바이스(500)는, 홀로그래픽(holographic) 및/또는 가상 오브젝트와 같은 이미지가 투명 디스플레이(502)를 통해 HMD의 착용자의 눈에 전달되게 할 수 있는, 504에 개략적으로 나타낸, 이미지 생성 시스템을 포함한다. 투명 디스플레이(502) 및 이미지 생성 시스템(504)은 투명 디스플레이(502)를 통해 이미지를 제시함으로써 물리적 환경을 보는 착용자에 물리적 환경의 모습을 가상으로 증강시키도록 구성될 수 있다.
투명 디스플레이(502)는, 가상 오브젝트 리프리젠테이션을 디스플레이하는 하나 이상의 부분적 투명 픽셀을 통해 물리적 환경에서의 물리적 실제 오브젝트를 유저가 볼 수 있게 하도록 구성될 수도 있다. 도 5에 도시된 바와 같이, 일 실시예에서, 투명 디스플레이(502)는 렌즈(506) 내에 위치된 이미지 생성 엘리먼트를 포함할 수 있다[예컨대, 시스루(see-through) OLED(Organic Light-Emitting Diode) 디스플레이 등]. 다른 실시예에 따르면, 투명 디스플레이(502)는 렌즈(506)의 에지 상의 광 변조기(light modulator)를 포함하거나 렌즈(506)에 이미지를 전달하도록 구성될 수 있다. 본 실시예에서, 렌즈(506)는 광 변조기로부터 유저의 눈에 광을 전달하기 위한 광 가이드로서 기능할 수 있다. 이러한 광 가이드는, 물리적 환경에서의 물리적 오브젝트를 유저가 볼 수 있게 하고 이에 따라 혼합된 실제 환경을 생성하면서, 유저가 보는 물리적 환경 내에 위치된 3D 홀로그래픽 이미지를 유저가 인지하게 할 수 있다.
HMD 디바이스(500)는 다양한 센서 및 관련 시스템을 포함할 수도 있다. 예컨대, HMD 디바이스(500)는, 유저의 눈으로부터 시선 트래킹 데이터의 형태로 이미지 데이터를 취득하도록 구성되는 인워드드 페이싱 센서(inward facing sensor)(509) 등의 하나 이상의 이미지 센서를 포함하는 시선 트래킹 시스템을 포함할 수 있다. 제공된 유저가 이 정보의 취득과 사용에 동의하면, 시선 트래킹 시스템은 유저의 눈의 포지션 및/또는 이동을 트래킹하기 위해 이 정보를 사용할 수 있다. 일 실시예에서, 시선 트래킹 시스템은 유저의 각 눈의 시선의 방향을 검출하도록 구성되는 시선 검출 서스시스템을 포함한다. 시선 검출 서브시스템은 임의의 적합한 방식으로 유저의 눈 각각의 시선 방향을 결정하도록 구성될 수 있다. 예컨대, 시선 검출 서브시스템은, 광의 반짝임이 유저의 각 눈의 각막으로부터 반사되게 하도록 구성되는 적외선 광 원과 같은 하나 이상의 광원을 포함할 수 있다. 이어서, 하나 이상의 이미지 센서는 유저의 눈의 이미지를 캡처하도록 구성될 수 있다. 이미지 센서로부터 모은 이미지 데이터로부터 결정된 반짝임과 동공의 이미지는 각 눈의 광축을 결정하는데 사용될 수 있다. 이 정보를 이용하여, 시선 트래킹 시스템은 유저가 바라보는 방향을 결정할 수 있다. 시선 트래킹 시스템은 추가적으로 또는 대안으로서 어떤 물리적 또는 가상 오브젝트를 유저가 바라보고 있는지를 결정할 수 있다. 이러한 시선 트래킹 데이터는 HMD 디바이스(500)에 제공될 수 있다. 또한, 시선 트래킹 시스템은 임의의 적합한 수 및 배열의 광원 및 이미지 센서를 가질 수 있다는 것이 이해될 것이다.
또한, HMD 디바이스(500)는 물리적 환경으로부터 물리적 환경 데이터를 수신하는 센서 시스템을 포함할 수 있다. 예컨대, HMD 디바이스(500)는 또한, 헤드 포즈 데이터(head pose data)를 캡처하고 이에 따라 유저의 헤드의 위치 트래킹, 방향 및 배향 감지, 및/또는 모션 검출을 가능하게 하기 위해 IMU 등의 하나 이상의 모션 센서(512)를 사용하는 헤드 트래킹 시스템(510)을 포함할 수 있다. 위에서 더 상세히 설명한 바와 같이, 이러한 센서로부터의 정보는, 유저에 의한 HMD 디바이스(500)의 이동으로 인한 모션이 다른 소스로부터 발생하는 모션으로부터 구별되게 할 수 있다.
일 실시예에서, 헤드 트래킹 시스템(510)의 모션 센서(512)는 3축 또는 3 자유도 위치 센서 시스템으로 구성된 하나 이상의 관성 측정 유닛을 포함할 수 있다. 이 예시적 위치 센서 시스템은, 예컨대, 3개의 직교 축(예컨대, x, y, z)에 관하여 3D 공간 내에서 HMD 디바이스(500)의 배향의 변경[예컨대, 롤(roll), 피치(pitch), 요(yaw)]을 나타내거나 측정하기 위한 3개의 자이로스코프를 포함할 수 있다. 다른 실시예에서, 헤드 트래킹 시스템(510)은, 6 자유도 위치 센서 시스템으로서 구성된 관성 측정 유닛을 포함할 수 있다. 이 예시적 위치 센서 시스템은 예컨대 3개의 직교 축을 따른 HMD 디바이스(500)의 위치의 변경 및 3개의 직교 축에 관한 디바이스 배향의 변경을 나타내거나 측정하기 위한 3개의 가속도계 및 3개의 자이로스코프를 포함할 수 있다.
헤드 트래킹 시스템(510)은 GPS(513) 또는 다른 글로벌 내비게이션 시스템과 같은 다른 적합한 포지셔닝 기술을 지원할 수도 있다. 또한, 위치 센서 시스템의 특정 실시예가 개시되었지만, 임의의 다른 적합한 위치 센서 시스템이 사용될 수 있다는 것이 인식될 것이다. 예컨대, 헤드 포즈 및/또는 이동 데이터는, HMD 디바이스(500) 내에 통합되는 센서, HMD 디바이스(500)에 장착되는 센서, 착용자에 장착되는 센서, 및/또는 착용자/HMD 디바이스(500)의 외부의 센서의 임의의 조합으로부터의 센서 정보에 기초하여 결정될 수 있고, HMD 디바이스(500)는 기압계, 자력계, 카메라(예컨대, 가시광 카메라, 적외선 카메라, 비행시간 뎁스 카메라, 구조화된 광 뎁스 카메라 등), 외부 센서 및/또는 센서를 구비한 외부 디바이스와 통신하는 통신 디바이스(예컨대, WIFI 안테나/인터페이스, 블루투스 안테나/인터페이스 등), 등을 포함하지만 이에 한정되지 않는다.
일부 실시예에서, HMD 디바이스(500)는 또한 이미지 데이터를 캡처하기 위해, HMD 디바이스(500) 상의 광학 센서(514) 등의 하나 이상의 아웃워드 페이싱 센서(outward facing sensor)를 사용하는 광학 센서 시스템을 포함할 수 있다. 아웃워드 페이싱 센서(들)는, 시야 내의 물리적 오브젝트 또는 사람에 의해 또는 유저에 의해 수행되는 다른 이동 또는 제스처 기반 입력과 같은 시야 내의 이동을 검출할 수 있다. 아웃워드 페이싱 센서(들)는 또한 물리적 환경 및 환경 내의 물리적 오브젝트로부터의 2D 이미지 정보 및 뎁스 정보를 캡처할 수 있다. 예컨대, 아웃워드 페이싱 센서(들)는 뎁스 카메라, 가시광 카메라, 적외선 카메라, 및/또는 위치 트래킹 카메라를 포함할 수 있다.
광학 센서 시스템은 하나 이상의 뎁스 카메라를 통해 뎁스 트래킹 데이터를 생성하는 뎁스 트래킹 시스템을 포함할 수 있다. 일 실시예에서, 각 뎁스 카메라는 스테레오스코픽 비젼 시스템의 좌측 카메라 및 우측 카메라를 포함할 수 있다. 하나 이상의 뎁스 카메라로부터의 시분해 이미지(time-resolved image)는, 서로에 대해 등록되고 및/또는 가시 스펙트럼 카메라 등의 다른 광학 센서로부터의 이미지에 등록될(registered) 수 있고, 뎁스 분해 비디오(depth-resolved video)를 산출하기(yield) 위해 결합될 수 있다.
다른 실시예에서, 구조화된 광 뎁스 카메라는 구조화된 적외선 조명을 프로젝팅하도록 그리고 조명이 프로젝팅되는 장면으로부터 반사되는 조명을 이미징하도록 구성될 수 있다. 장면의 뎁스 맵(depth map)은 이미징된 장면의 다양한 영역에서의 인접한 피처들 사이의 스페이싱(spacing)에 기초하여 구성될(constructed) 수 있다. 또 다른 실시예에서, 뎁스 카메라는, 장면 상에 펄싱된 적외선 조명을 프로젝팅하고 장면으로부터 반사된 조명을 검출하도록 구성된 비행시간 뎁스 카메라의 형태를 취할 수 있다. 예컨대, 조명은 적외선 광원(516)에 의해 제공될 수 있다. 임의의 다른 적합한 뎁스 카메라는 본 개시의 범위 내에서 사용될 수 있다는 것이 인식될 것이다.
아웃워드 페이싱 센서(들)는 유저가 위치된 물리적 환경의 이미지를 캡처할 수 있다. HMD 디바이스(500)에 관하여, 일 실시예에서, 혼합 현실 디스플레이 프로그램은, 유저를 둘러싸는 물리적 환경을 모델링하는 가상 환경을 생성하기 위해 이러한 캡처된 이미지를 사용하는 3D 모델링 시스템을 포함할 수 있다.
HMD 디바이스(500)는, 오디오 데이터를 캡처하는 HMD 디바이스(500) 상의 마이크(518)와 같은 하나 이상의 마이크를 포함하는 마이크 시스템을 포함할 수도 있다. 다른 실시예에서, 오디오는 HMD 디바이스(500) 상의 스피커(520)와 같은 하나 이상의 스피커를 통해 유저에게 제공될 수 있다.
HMD 디바이스(500)는 또한 HMD 디바이스(500) 상의 컨트롤러(522)와 같은 컨트롤러를 포함할 수 있다. 컨트롤러는 HMD 디바이스와 디스플레이의 다양한 센서 및 시스템과 통신하는, 도 6에 관하여 상세히 뒤에서 논의되는 바와 같은 스토리지 머신 및 로직 머신을 포함할 수 있다. 일 실시예에서, 스토리지 서브시스템은 센서로부터의 신호 입력을 수신하고, HMD 디바이스(500)의 포즈를 결정하고, 투명 디스플레이(502) 상에 디스플레이되는 콘텐트를 위한 디스플레이 특성을 조정하기 위해 로직 서브시스템에 의해 실행 가능한 명령어들을 포함할 수 있다.
일부 실시형태에서, 여기에 개시된 방법들과 프로세스들은 하나 이상의 컴퓨팅 디바이스의 컴퓨팅 시스템과 관련될 수 있다. 특히, 이러한 방법들 및 프로세스들은 컴퓨터-애플리케이션 프로그램 또는 서비스, 애플리케이션-프로그래밍 인터페이스(API: application-programming interface), 라이브러리(library), 및/또는 다른 컴퓨터-프로그램 제품으로서 구현될 수 있다.
도 6은 상기 방법들 및 프로세스들 중 하나 이상을 수행할 수 있는 컴퓨팅 시스템(600)의 비제한 실시형태를 개략적으로 나타낸다. 컴퓨팅 시스템(600)은 간략한 형태로 도시되어 있다. 컴퓨팅 시스템(600)은 하나 이상의 헤드 마운트형 디스플레이 디바이스 또는 헤드 마운트형 디스플레이 디바이스와 협력하는 하나 이상의 디바이스들[예컨대, 퍼스널 컴퓨터, 서버 컴퓨터, 태블릿 컴퓨터, 홈-엔터테인먼트 컴퓨터, 네트워크 컴퓨팅 디바이스, 게이밍 디바이스, 모바일 컴퓨팅 디바이스, 모바일 통신 디바이스(예컨대, 스마트 폰), 및/또는 다른 컴퓨팅 디바이스]의 형태를 취할 수 있다.
컴퓨팅 시스템(600)은 로직 머신(logic machine)(602) 및 스토리지 머신(storage machine)(604)을 포함한다. 컴퓨팅 디바이스(600)는 디스플레이 서브시스템(606), 입력 서브시스템(608), 통신 서브시스템(610), 및/또는 도 6에 도시되지 않은 다른 콤포넌트를 선택적으로 포함할 수 있다.
로직 머신(602)은 명령어들을 실행하도록 구성되는 하나 이상의 물리적 디바이스를 포함한다. 예컨대, 로직 머신은 하나 이상의 애플케이션, 서비스, 프로그램, 루틴(routine), 라이브러리, 오브젝트(object), 콤포넌트(component), 데이터 구조, 또는 다른 논리 구성(logical construct)의 부분인 하나 이상의 명령어들을 실행하도록 구성될 수 있다. 작업 수행하고, 데이터 타입을 구현하고, 하나 이상의 콤포넌트의 상태를 변환하고, 기술적 효과를 달성하거나 그렇지 않으면 원하는 결과에 도달하기 위해, 이러한 명령어들이 구현될 수 있다.
로직 머신은 소프트웨어 명령어를 실행하도록 구성되는 하나 이상의 프로세서를 포함할 수 있다. 추가적으로 또는 대안으로서, 로직 머신은 하드웨어 또는 펌웨어 명령어를 실행하도록 구성되는 하나 이상의 하드웨어 또는 펌웨어 로직 디바이스를 포함할 수 있다. 로직 머신의 프로세서는 싱글-코어(single-core) 또는 멀티-코어(multi-core)가 될 수 있고, 여기서 실행되는 명령어들은 순차적 프로세싱, 병렬 프로세싱, 및/또는 분산 프로세싱을 위해 구성될 수 있다. 로직 머신의 개별 콤포넌트들은 선택적으로 통합된 프로세싱을 위해 원격으로 배치될 수 있는 그리고/또는 구성될 수 있는 2개 이상의 개별 디바이스들 중에 분산될 수 있다. 로직 머신의 양상은 원격 액세스 가능한, 클라우드-컴퓨팅 구조로 구성되는 네트워킹된 컴퓨팅 디바이스에 의해 가상화되고 실행될 수 있다.
여기에 개시된 방법들 및 프로세스들을 구현하기 위해, 스토리지 머신(604)은, 로직 머신에 의해 실행 가능한 머신 판독 가능 명령어들을 유지하도록 구성되는 하나 이상의 물리적 디바이스를 포함한다. 이러한 방법들 및 프로세스들이 구현될 때, 스토리지 머신(604)의 상태가 변환(예컨대, 상이한 데이터를 유지하도록)될 수 있다.
스토리지 머신(604)은 착탈식(removable) 및/또는 빌트 인 디바이스(built-in device)를 포함할 수 있다. 스토리지 머신(604)은 다른 것들 중에서 광학 메모리(예컨대, CD, DVD, HD-DVD, 블루레이 디스크 등), 반도체 메모리(예컨대, RAM, EPROM, EEPROM 등), 및/또는 자기 메모리(예컨대, 하드 디스크 드라이브, 플로피 디스크 드라이브, 테이프 드라이브, MRAM 등)를 포함할 수 있다. 스토리지 머신(604)은 휘발성, 비휘발성, 동적, 정적, 판독/기입, 판독전용, 랜덤-액세스, 순차-액세스, 로케이션-어드레서블(location-addressable), 파일-어드레서블(file-addressable), 및/또는 콘텐트-어드레서블(content-addressable) 디바이스를 포함할 수 있다.
스토리지 머신(604)은 하나 이상의 물리적 디바이스를 포함한다는 것이 인식될 것이다. 그러나, 여기에 대안으로 개시된 명령어들의 양상은 한정 기간 동안 물리적 디바이스에 의해 유지되지 않는 통신 매체(예컨대, 전자기 신호, 광학 신호 등)에 의해 전파될 수 있다.
로직 머신(602) 및 스토리지 머신(604)의 양상은 하나 이상의 하드웨어-로직 콤포넌트에 함께 통합될 수 있다. 이러한 하드웨어-로직 콤포넌트는 예컨대 FPGA(field-programmable gate array), PASIC / ASIC(program- and application-specific integrated circuit), PSSP / ASSP(program- and application-specific standard product), SOC(system-on-a-chip), 및 CPLD(complex programmable logic device)를 포함할 수 있다.
용어 "모듈"은 특정 기능을 수행하기 위해 구현되는 컴퓨팅 시스템(600)의 양태를 개시하기 위해 사용될 수 있다. 일부의 케이스(case)에서, 모듈은 스토리지 머신(604)에 의해 유지되는 명령어를 실행하는 로직 머신(602)을 통해 예시될(instantiated) 수 있다. 상이한 모듈은 동일한 애플리케이션, 서비스, 코드 블록, 오브젝트, 라이브러리, 루틴, API, 펑션 등으로부터 예시될 수 있다는 것이 이해될 것이다. 마찬가지로, 동일 모듈은 상이한 애플리케이션, 서비스, 코드 블록, 오브젝트, 루틴, API, 펑션 등에 의해 예시될 수 있다. 용어 "모듈"은 실행 가능 파일, 데이터 파일, 라이브러리, 드라이버, 스크립트(script), 데이터베이스 레코드 등의 각각 또는 그룹을 포함할 수 있다.
디스플레이 서브시스템이 포함되는 경우에, 디스플레이 서브시스템(606)은 스토리지 머신(604)에 의해 유지되는 데이터의 시각적 묘사를 나타내는데 사용될 수 있다. 이 시각적 묘사는 GUI(graphical user interface)의 형태를 취할 수 있다. 여기에 개시된 방법들 및 프로세스들이 스토리지 머신에 의해 유지되는 데이터를 변경하고 이에 따라 스토리지 머신의 상태를 변환하기 때문에, 아래에 놓인 데이터의 변경을 시각적으로 표시하기 위해 디스플레이 서브시스템(606)의 상태가 마찬가지로 변환될 수 있다. 디스플레이 서브시스템(606)은 도 5에 예시된 HMD(500)의 디스플레이(502)와 같은 가상의 임의의 타입의 기술을 사용하는 하나 이상의 디스플레이 디바이스를 포함할 수 있다. 이러한 디스플레이 디바이스가 공유 인클로저(shared enclosure)에서 로직 머신(602) 및/또는 스토리지 머신(604)과 결합되거나, 이러한 디스플레이 디바이스가 주변 디스플레이 디바이스가 될 수 있다.
포함되는 경우에, 입력 서브시스템(608)은 키보드, 마우스, 터치 스크린, 또는 게임 컨트롤러 등의 하나 이상의 유저-입력 디바이스를 포함하거나 하나 이상의 유저-입력 디바이스와 인터페이스할 수 있다. 일부 실시형태에서, 입력 서브시스템은 선택된 NUI(natural user input) 콤포넌트리(componentry)를 포함하거나 인터페이스할 수 있다. 이러한 콤포넌트리는 통합되거나 주변기기가 될 수 있고, 입력 동작의 전달 및/또는 프로세싱은 온 보드(on-board) 또는 오프 보드(off-board)로 처리될 수 있다. 예시적 NUI 콤포넌트리는 스피치 및/또는 음성 인식을 위한 마이크; 머신 비전 및/또는 제스처 인식을 위한 적외선, 컬러, 스테레오스코픽, 및/또는 뎁스 카메라; 모션 검출 및/또는 의도 인식을 위한 헤드 트래커, 아이 트래커, 가속도계, 및/또는 자이로스코프; 뇌 활동을 평가하기 위한 전기장 센싱 콤포넌트리; 도 5의 헤드 트래킹 시스템(510)에 관하여 상기한 임의의 센서들; 및/또는 임의의 다른 적합한 센서를 포함할 수 있다.
포함되는 경우에, 통신 서브시스템(610)은 컴퓨팅 시스템(600)을 하나 이상의 다른 컴퓨팅 디바이스와 통신가능하게 연결하도록 구성될 수 있다. 통신 서브시스템(610)은 하나 이상의 상이한 통신 프로토콜과 호환가능한 유선 및/또는 무선 통신 디바이스를 포함할 수 있다. 비제한적 실시예로서, 통신 서브시스템은 무선 전화 네트워크, 무선 또는 유선 근거리 네트워크, 무선 또는 유선 광역 네트워크를 통한 통신을 위해 구성될 수 있다. 일부 실시형태에서, 통신 서브시스템은 컴퓨팅 시스템(600)이 인터넷 등의 네트워크를 통해 다른 디바이스로 및/또는 다른 디바이스로부터 메시지를 전송 및/또는 수신하게 할 수 있다. 예컨대, 통신 서브시스템(610)은 컴퓨팅 시스템(600)이 컴퓨팅 시스템(600)으로부터 및 그 외부로부터 원격에 위치된 IMU 및 다른 센서들과 같은 외부 모션 관련 데이터 소스로부터 데이터를 전송 및/또는 수신하게 할 수 있다.
여기에 개시된 구성 및/또는 방법은 사실상 예시라는 것과 이 특정 실시형태 또는 실시예는 다수의 변형이 가능하기 때문에 한정의 의미로 간주되지 않는다는 것이 이해될 것이다. 여기에 개시된 특정 루틴 또는 방법은 임의의 수의 프로세싱 방식(processing strategy) 중 하나 이상을 대표할 수 있다. 따라서, 예시된 및/또는 개시된 다양한 동작들은 예시된 및/또는 개시된 순서로, 다른 순서로, 병렬적으로 수행되거나 생략될 수 있다. 마찬가지로, 상기 프로세스의 순서는 변경될 수 있다.
본 명세서의 대상은 임의의 그리고 모든 등가물에 더하여 다양한 프로세스, 시스템, 및 구성과 여기에 개시된 다른 피처, 기능, 동작, 및/또는 속성의 모든 새롭고 명백하지 않은 조합 및 하부조합(sub-combination)을 포함한다.

Claims (18)

  1. 헤드 마운트형(head-mounted) 디스플레이 디바이스 상에서 수행되는 방법으로서,
    카메라로부터의 이미지 데이터를 통해, 2개 이상의 좌표 프레임 내의 실제 피처의 표시(representation)를 취득하는 단계;
    상기 헤드 마운트형 디스플레이 디바이스 외부의 2개 이상의 센서로부터 모션 데이터를 취득하는 단계 - 각각의 센서는 대응하는 좌표 프레임과 연관됨 - ;
    상기 헤드 마운트형 디스플레이 디바이스의 시스루 디스플레이 상에, 상기 헤드 마운트형 디스플레이 디바이스의 시야(field of view) 내의 제1 좌표 프레임 내의 제1 실제 피처에 대한 위치에서의 제1 가상 오브젝트 및 상기 헤드 마운트형 디스플레이 디바이스의 시야 내의 제2 좌표 프레임 내의 제2 실제 피처에 대한 위치에서의 제2 가상 오브젝트를 디스플레이하는 단계;
    상기 모션 데이터에 기초하여 상기 2개 이상의 센서의 상대적 모션 특성(motion characteristic)을 결정하는 단계;
    상기 상대적 모션 특성에 기초하여 상기 제1 좌표 프레임 내의 피처를 상기 제2 좌표 프레임 내의 피처로부터 구별하는 단계; 및
    상기 제1 좌표 프레임의 상대적 모션에 기초하여 상기 제1 가상 오브젝트의 위치를 업데이트하고, 상기 제2 좌표 프레임의 상대적 모션에 기초하여 상기 제2 가상 오브젝트의 위치를 업데이트하는 단계
    를 포함하는, 헤드 마운트형 디스플레이 디바이스 상에서 수행되는 방법.
  2. 제1항에 있어서,
    상기 이미지 데이터를 통해 시간 경과에 따른 상기 카메라에 대한 상기 제1 실제 피처 및 상기 제2 실제 피처의 위치를 트래킹하는 단계를 더 포함하는, 헤드 마운트형 디스플레이 디바이스 상에서 수행되는 방법.
  3. 제2항에 있어서,
    상기 제1 실제 피처 및 상기 제2 실제 피처의 위치를 트래킹하는 것에 기초하여, 상기 제1 실제 피처에 대한 모션 특성 및 상기 제2 실제 피처에 대한 모션 특성을 결정하는 단계를 더 포함하는, 헤드 마운트형 디스플레이 디바이스 상에서 수행되는 방법.
  4. 제3항에 있어서,
    상기 제1 좌표 프레임 내의 피처를 상기 제2 좌표 프레임 내의 피처로부터 구별하는 단계는, 상기 제1 실제 피처와 상기 제2 실제 피처 각각에 대한 상기 모션 특성을 상기 2개 이상의 센서로부터의 상기 모션 데이터에 비교하는 단계를 포함하는 것인, 헤드 마운트형 디스플레이 디바이스 상에서 수행되는 방법.
  5. 제4항에 있어서,
    상기 2개 이상의 센서는 상기 제1 좌표 프레임과 연관된 제1 센서를 포함하고,
    상기 방법은, 상기 제1 실제 피처에 대한 결정된 상기 모션 특성을 상기 제1 센서로부터의 모션 데이터와 비교함으로써, 상기 제1 좌표 프레임에 상기 제1 실제 피처를 연관시키는 단계를 더 포함하는, 헤드 마운트형 디스플레이 디바이스 상에서 수행되는 방법.
  6. 제5항에 있어서,
    상기 2개 이상의 센서는 상기 제2 좌표 프레임과 연관된 제2 센서를 더 포함하는 것인, 헤드 마운트형 디스플레이 디바이스 상에서 수행되는 방법.
  7. 제1항에 있어서,
    상기 실제 피처의 표시를 취득하는 단계는, 물리적 환경에서, 하나 이상의 오브젝트, 오브젝트의 코너(corner), 및 오브젝트의 에지(edge) 중 적어도 하나를 검출하는 단계를 포함하는 것인, 헤드 마운트형 디스플레이 디바이스 상에서 수행되는 방법.
  8. 제1항에 있어서,
    상기 제1 가상 오브젝트를 디스플레이하고 상기 제2 가상 오브젝트를 디스플레이하는 단계는, 상기 제1 가상 오브젝트 및 상기 제2 가상 오브젝트를 동시에 디스플레이하는 단계를 포함하는 것인, 헤드 마운트형 디스플레이 디바이스 상에서 수행되는 방법.
  9. 제1항에 있어서,
    상기 2개 이상의 센서는 상기 헤드 마운트형 디스플레이 디바이스 외부의 관성 측정 유닛을 포함하는 것인, 헤드 마운트형 디스플레이 디바이스 상에서 수행되는 방법.
  10. 제9항에 있어서,
    상기 헤드 마운트형 디스플레이 디바이스 상의 관성 측정 유닛으로부터의 모션 신호로부터 상기 헤드 마운트형 디스플레이 디바이스 외부의 상기 관성 측정 유닛으로부터의 모션 신호를 뺌(subtracting)으로써, 상기 제2 좌표 프레임 내의 다른 이동 엘리먼트에 대한 상기 제1 좌표 프레임 내의 상기 헤드 마운트형 디스플레이 디바이스의 이동을 격리시키는 단계를 더 포함하는, 헤드 마운트형 디스플레이 디바이스 상에서 수행되는 방법.
  11. 헤드 마운트형 디스플레이 디바이스로서,
    복수의 센서;
    시스루 디스플레이;
    로직 머신; 및
    명령어가 저장된 메모리
    를 포함하고,
    상기 명령어는,
    2개 이상의 좌표 프레임 내의 실제 피처의 표시를 취득하고 - 상기 표시는 카메라로부터의 이미지 데이터로부터 취득됨 - ;
    제1 좌표 프레임에 대응하는 제1 센서 및 제2 좌표 프레임에 대응하는 제2 센서로부터 센서 데이터를 수신하고 - 상기 제1 센서와 상기 제2 센서 중 하나 이상은 상기 헤드 마운트형 디스플레이 디바이스 외부에 위치됨 - ;
    모션 데이터에 기초하여 상기 제1 센서 및 상기 제2 센서의 상대적 모션 특성을 결정하고;
    상기 상대적 모션 특성에 기초하여, 상기 제1 좌표 프레임 내의 제1 실제 피처를 상기 제2 좌표 프레임 내의 제2 실제 피처로부터 구별하고;
    상기 상대적 모션 특성에 기초하여 상기 제1 좌표 프레임 내의 상기 제1 실제 피처에 대한 위치에서의 제1 가상 오브젝트를 디스플레이하고, 상기 상대적 모션 특성에 기초하여 상기 제2 좌표 프레임 내의 상기 제2 실제 피처에 대한 위치에서의 제2 가상 오브젝트를 디스플레이하기 위해
    상기 로직 머신에 의해 실행 가능한 것인, 헤드 마운트형 디스플레이 디바이스.
  12. 제11항에 있어서,
    상기 실제 피처의 표시를 취득하는 것은, 상기 카메라로부터의 이미지 데이터에 기초하여 시간 경과에 따른 상기 카메라에 대한 상기 제1 실제 피처 및 상기 제2 실제 피처의 위치를 트래킹하는 것을 더 포함하는 것인, 헤드 마운트형 디스플레이 디바이스.
  13. 제11항에 있어서,
    상기 제1 센서 및 상기 제2 센서는 상기 헤드 마운트형 디스플레이 디바이스 외부에 있는 것인, 헤드 마운트형 디스플레이 디바이스.
  14. 제11항에 있어서,
    상기 제1 센서 및 상기 제2 센서는 각각, 외부 카메라와 외부 관성 측정 유닛 중 하나 이상을 포함하는 것인, 헤드 마운트형 디스플레이 디바이스.
  15. 제11항에 있어서,
    상기 복수의 센서는 글로벌 포지셔닝 센서 유닛(global positioning sensor unit)을 포함하는 것인, 헤드 마운트형 디스플레이 디바이스.
  16. 제11항에 있어서,
    상기 명령어는 또한, 상기 헤드 마운트형 디스플레이 디바이스의 좌표 프레임에 대한 상기 제1 실제 피처의 검출된 위치 변화에 기초하여 상기 제1 가상 오브젝트가 디스플레이되는 위치를 업데이트하기 위해 실행 가능한 것인, 헤드 마운트형 디스플레이 디바이스.
  17. 헤드 마운트형 디스플레이 디바이스 상에서 수행되는 방법으로서,
    카메라로부터의 이미지 데이터를 사용하여 좌표 프레임 내의 실제 피처의 표시를 취득하는 단계;
    2개 이상의 관성 측정 유닛으로부터 모션 데이터를 취득하는 단계 - 상기 관성 측정 유닛은 상기 헤드 마운트형 디스플레이 디바이스 외부에 있음 - ;
    상기 이미지 데이터 및 상기 모션 데이터로부터의 정보에 기초하여, 제2 실제 피처에 대한 제1 실제 피처의 이동을 검출하는 단계;
    상기 좌표 프레임을, 제1 좌표 프레임 및 제2 좌표 프레임을 포함하는 상이한 좌표 프레임으로 분리시키는 단계 - 상기 제1 실제 피처는 제1 관성 측정 유닛으로부터의 데이터에 기초하여 상기 제1 좌표 프레임과 연관되고, 상기 제2 실제 피처는 제2 관성 측정 유닛으로부터의 데이터에 기초하여 상기 제2 좌표 프레임과 연관됨 - ; 및
    상기 제1 좌표 프레임 내의 상기 제1 실제 피처와 연관된 제1 가상 오브젝트 및 상기 제2 좌표 프레임 내의 상기 제2 실제 피처와 연관된 제2 가상 오브젝트를 디스플레이하는 단계
    를 포함하는, 헤드 마운트형 디스플레이 디바이스 상에서 수행되는 방법.
  18. 제17항에 있어서,
    적어도, 상대적 모션을 갖지 않는 상기 제1 좌표 프레임 및 상기 제2 좌표 프레임에 기초하여, 상기 제1 좌표 프레임과 상기 제2 좌표 프레임을 단일 좌표 프레임으로 병합하는 단계를 더 포함하는, 헤드 마운트형 디스플레이 디바이스 상에서 수행되는 방법.
KR1020167033570A 2014-05-01 2015-04-28 동적 환경에서의 좌표 프레임의 결정 KR102358274B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020227002994A KR102493749B1 (ko) 2014-05-01 2015-04-28 동적 환경에서의 좌표 프레임의 결정

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US14/267,755 2014-05-01
US14/267,755 US9626802B2 (en) 2014-05-01 2014-05-01 Determining coordinate frames in a dynamic environment
PCT/US2015/027860 WO2015168044A1 (en) 2014-05-01 2015-04-28 Determining coordinate frames in a dynamic environment

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020227002994A Division KR102493749B1 (ko) 2014-05-01 2015-04-28 동적 환경에서의 좌표 프레임의 결정

Publications (2)

Publication Number Publication Date
KR20160148680A KR20160148680A (ko) 2016-12-26
KR102358274B1 true KR102358274B1 (ko) 2022-02-04

Family

ID=53181342

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020227002994A KR102493749B1 (ko) 2014-05-01 2015-04-28 동적 환경에서의 좌표 프레임의 결정
KR1020167033570A KR102358274B1 (ko) 2014-05-01 2015-04-28 동적 환경에서의 좌표 프레임의 결정

Family Applications Before (1)

Application Number Title Priority Date Filing Date
KR1020227002994A KR102493749B1 (ko) 2014-05-01 2015-04-28 동적 환경에서의 좌표 프레임의 결정

Country Status (5)

Country Link
US (2) US9626802B2 (ko)
EP (1) EP3137975B1 (ko)
KR (2) KR102493749B1 (ko)
CN (1) CN106462232B (ko)
WO (1) WO2015168044A1 (ko)

Families Citing this family (85)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10292625B2 (en) 2010-12-07 2019-05-21 Earlysense Ltd. Monitoring a sleeping subject
EP2933707B1 (en) * 2014-04-14 2017-12-06 iOnRoad Technologies Ltd. Head mounted display presentation adjustment
US9766075B2 (en) * 2014-05-02 2017-09-19 Thales Visionix, Inc. Registration for vehicular augmented reality using auto-harmonization
KR20150135895A (ko) * 2014-05-26 2015-12-04 삼성전자주식회사 이미지 처리 방법 및 그 전자 장치
JP6361382B2 (ja) * 2014-08-29 2018-07-25 アイシン精機株式会社 車両の制御装置
US10157473B2 (en) * 2014-10-20 2018-12-18 Bae Systems Information And Electronic Systems Integration Inc. Method for providing range estimations
EP3062142B1 (en) 2015-02-26 2018-10-03 Nokia Technologies OY Apparatus for a near-eye display
US10156721B2 (en) * 2015-03-09 2018-12-18 Microsoft Technology Licensing, Llc User-based context sensitive hologram reaction
DE102015221439B3 (de) * 2015-11-02 2017-05-04 Continental Automotive Gmbh Verfahren und Vorrichtung zur Auswahl und Übertragung von Sensordaten von einem ersten zu einem zweiten Kraftfahrzeug
US9568995B1 (en) * 2015-12-30 2017-02-14 Thunder Power Hong Kong Ltd. Remote driving with a virtual reality system
US10019054B2 (en) * 2015-12-30 2018-07-10 Thunder Power New Energy Vehicle Development Company Limited Remote driving with a virtual reality system
US20170231545A1 (en) * 2016-02-14 2017-08-17 Earlysense Ltd. Apparatus and methods for monitoring a subject
DE102016102808A1 (de) * 2016-02-17 2017-08-17 Krauss-Maffei Wegmann Gmbh & Co. Kg Verfahren zur Steuerung eines an einem Fahrzeug richtbar angeordnetes Sichtgeräts
EP3420413A1 (en) * 2016-02-22 2019-01-02 Real View Imaging Ltd. A method and system for displaying holographic images within a real object
JP2017215664A (ja) * 2016-05-30 2017-12-07 サン電子株式会社 端末装置
US10146335B2 (en) * 2016-06-09 2018-12-04 Microsoft Technology Licensing, Llc Modular extension of inertial controller for six DOF mixed reality input
US10146334B2 (en) 2016-06-09 2018-12-04 Microsoft Technology Licensing, Llc Passive optical and inertial tracking in slim form-factor
US10078377B2 (en) * 2016-06-09 2018-09-18 Microsoft Technology Licensing, Llc Six DOF mixed reality input by fusing inertial handheld controller with hand tracking
US10126553B2 (en) 2016-06-16 2018-11-13 Microsoft Technology Licensing, Llc Control device with holographic element
AT518667B1 (de) * 2016-06-29 2017-12-15 Peterseil Thomas Fahrsicherheits-Trainingsanordnung
US10620717B2 (en) 2016-06-30 2020-04-14 Microsoft Technology Licensing, Llc Position-determining input device
US20180005445A1 (en) * 2016-06-30 2018-01-04 Microsoft Technology Licensing, Llc Augmenting a Moveable Entity with a Hologram
DE102017006231A1 (de) * 2016-07-03 2018-01-04 DDG Benelux S.A. Mit einer Virtual-Reality-Einrichtung versehene nicht-schienengebundene Fahrvorrichtung
US10503245B2 (en) 2016-09-21 2019-12-10 Apple Inc. Relative intertial measurement system
US10650552B2 (en) 2016-12-29 2020-05-12 Magic Leap, Inc. Systems and methods for augmented reality
EP4300160A3 (en) 2016-12-30 2024-05-29 Magic Leap, Inc. Polychromatic light out-coupling apparatus, near-eye displays comprising the same, and method of out-coupling polychromatic light
US20180203504A1 (en) * 2017-01-16 2018-07-19 Htc Corporation Movement tracking method and movement tracking system
US10332292B1 (en) * 2017-01-17 2019-06-25 Zoox, Inc. Vision augmentation for supplementing a person's view
US10223598B2 (en) * 2017-02-20 2019-03-05 Volkswagen Aktiengesellschaft Method of generating segmented vehicle image data, corresponding system, and vehicle
CN107133002B (zh) * 2017-03-22 2020-07-24 联想(北京)有限公司 一种信息处理方法及电子设备
US10698068B2 (en) 2017-03-24 2020-06-30 Samsung Electronics Co., Ltd. System and method for synchronizing tracking points
CN106951262B (zh) * 2017-03-28 2023-07-21 联想(北京)有限公司 一种显示处理方法及装置
US10578870B2 (en) 2017-07-26 2020-03-03 Magic Leap, Inc. Exit pupil expander
WO2019026052A1 (en) * 2017-08-04 2019-02-07 Zyetric Enterprise Limited INTELLIGENT VIRTUAL OBJECT IN AN INCREASED REALITY ENVIRONMENT INTERACTIVELY RESPONDING TO AMBIENT ENVIRONMENTAL CHANGES
US10948299B1 (en) 2017-09-28 2021-03-16 Apple Inc. Relative inertial measurement system with visual correction
GB2567012B (en) 2017-10-02 2021-05-12 Advanced Risc Mach Ltd Motion Sensing
DE102017217923A1 (de) * 2017-10-09 2019-04-11 Audi Ag Verfahren zum Betrieb einer Anzeigeeinrichtung in einem Kraftfahrzeug
CN107731005B (zh) * 2017-10-17 2020-01-07 海豚大数据网络科技(深圳)有限公司 一种基于云计算的利用幻影成像的车载警示系统
KR102029906B1 (ko) * 2017-11-10 2019-11-08 전자부품연구원 이동수단의 가상현실 콘텐츠 제공 장치 및 방법
EP4390219A2 (en) 2017-12-10 2024-06-26 Magic Leap, Inc. Anti-reflective coatings on optical waveguides
US11187923B2 (en) 2017-12-20 2021-11-30 Magic Leap, Inc. Insert for augmented reality viewing device
US10964030B2 (en) * 2018-02-12 2021-03-30 Samsung Electronics Co., Ltd. Device and method with pose estimator based on current predicted motion state array
US10755676B2 (en) 2018-03-15 2020-08-25 Magic Leap, Inc. Image correction due to deformation of components of a viewing device
US11204491B2 (en) 2018-05-30 2021-12-21 Magic Leap, Inc. Compact variable focus configurations
EP3803450A4 (en) 2018-05-31 2021-08-18 Magic Leap, Inc. POSITIONING A RADAR HEAD
EP3804306B1 (en) 2018-06-05 2023-12-27 Magic Leap, Inc. Homography transformation matrices based temperature calibration of a viewing system
US11092812B2 (en) 2018-06-08 2021-08-17 Magic Leap, Inc. Augmented reality viewer with automated surface selection placement and content orientation placement
WO2020010097A1 (en) 2018-07-02 2020-01-09 Magic Leap, Inc. Pixel intensity modulation using modifying gain values
US11856479B2 (en) 2018-07-03 2023-12-26 Magic Leap, Inc. Systems and methods for virtual and augmented reality along a route with markers
WO2020010226A1 (en) 2018-07-03 2020-01-09 Magic Leap, Inc. Systems and methods for virtual and augmented reality
US10551623B1 (en) * 2018-07-20 2020-02-04 Facense Ltd. Safe head-mounted display for vehicles
US11624929B2 (en) 2018-07-24 2023-04-11 Magic Leap, Inc. Viewing device with dust seal integration
WO2020023545A1 (en) 2018-07-24 2020-01-30 Magic Leap, Inc. Temperature dependent calibration of movement detection devices
US11112862B2 (en) 2018-08-02 2021-09-07 Magic Leap, Inc. Viewing system with interpupillary distance compensation based on head motion
US10795458B2 (en) 2018-08-03 2020-10-06 Magic Leap, Inc. Unfused pose-based drift correction of a fused pose of a totem in a user interaction system
CN112955073A (zh) 2018-08-22 2021-06-11 奇跃公司 患者观察系统
US10679420B2 (en) * 2018-11-02 2020-06-09 General Motors Llc Augmented reality (AR) remote vehicle assistance
JP7163732B2 (ja) * 2018-11-13 2022-11-01 トヨタ自動車株式会社 運転支援装置、運転支援システム、運転支援方法およびプログラム
WO2020102412A1 (en) 2018-11-16 2020-05-22 Magic Leap, Inc. Image size triggered clarification to maintain image sharpness
CN109785381B (zh) * 2018-12-06 2021-11-16 苏州炫感信息科技有限公司 一种光学惯性融合空间定位方法及定位系统
CN113454507B (zh) 2018-12-21 2024-05-07 奇跃公司 用于促进波导内的全内反射的气穴结构
EP3921720B1 (en) 2019-02-06 2024-05-22 Magic Leap, Inc. Target intent-based clock speed determination and adjustment to limit total heat generated by multiple processors
KR20200098034A (ko) * 2019-02-11 2020-08-20 삼성전자주식회사 가상 현실 유저 인터페이스를 제공하기 위한 전자 장치 및 그의 동작 방법
JP2022523852A (ja) * 2019-03-12 2022-04-26 マジック リープ， インコーポレイテッド 第１および第２の拡張現実ビューア間でのローカルコンテンツの位置合わせ
US10559135B1 (en) * 2019-03-15 2020-02-11 Microsoft Technology Licensing, Llc Fixed holograms in mobile environments
WO2020223636A1 (en) 2019-05-01 2020-11-05 Magic Leap, Inc. Content provisioning system and method
CN110009709B (zh) 2019-05-08 2023-07-07 上海联影医疗科技股份有限公司 医学图像成像方法和系统
US11567156B2 (en) * 2019-05-08 2023-01-31 Shanghai United Imaging Healthcare Co., Ltd. Systems and methods for magnetic resonance imaging
US12042669B2 (en) 2019-05-08 2024-07-23 Shanghai United Imaging Healthcare Co., Ltd. Systems and methods for motion tracking in radiation therapy
WO2021021670A1 (en) 2019-07-26 2021-02-04 Magic Leap, Inc. Systems and methods for augmented reality
US11093201B2 (en) * 2019-09-26 2021-08-17 Google Llc Device manager that utilizes physical position of display devices
IT201900017429A1 (it) * 2019-09-27 2021-03-27 Milano Politecnico Metodo e sistema per l'assistenza alla guida di un veicolo
WO2021097318A1 (en) 2019-11-14 2021-05-20 Magic Leap, Inc. Systems and methods for virtual and augmented reality
WO2021097323A1 (en) 2019-11-15 2021-05-20 Magic Leap, Inc. A viewing system for use in a surgical environment
IT202000015736A1 (it) 2020-06-30 2021-12-30 Federico Tucci Sistema di tracciatura e visualizzazione della posizione di un motoveicolo e di un utente
IT202100007862A1 (it) 2021-03-30 2022-09-30 Milano Politecnico Metodo e sistema di assistenza alla guida di un veicolo
US11790860B2 (en) * 2021-09-03 2023-10-17 Honeywell International Inc. Systems and methods for providing image motion artifact correction for a color sequential (CS) display
US11900550B2 (en) 2021-09-30 2024-02-13 Snap Inc. AR odometry using sensor data from a personal vehicle
US12030577B2 (en) 2021-09-30 2024-07-09 Snap Inc. AR based performance modulation of a personal mobility system
WO2023153802A1 (ko) 2022-02-14 2023-08-17 주식회사 엘지에너지솔루션 전극 연결용 필름 권취장치, 권취방법 및 전극 롤
US12095978B2 (en) * 2022-03-22 2024-09-17 Microsoft Technology Licensing, Llc Perspective-dependent display of surrounding environment
US11586286B1 (en) 2022-05-18 2023-02-21 Bank Of America Corporation System and method for navigating on an augmented reality display
US11720380B1 (en) 2022-05-18 2023-08-08 Bank Of America Corporation System and method for updating augmented reality navigation instructions based on a detected error
US12106580B2 (en) 2022-06-14 2024-10-01 Snap Inc. AR assisted safe cycling
CN115278204A (zh) * 2022-07-27 2022-11-01 浙江极氪智能科技有限公司 显示装置使用方法、装置、设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040149036A1 (en) 2000-04-21 2004-08-05 Eric Foxlin Motion-tracking
US20100253593A1 (en) 2009-04-02 2010-10-07 Gm Global Technology Operations, Inc. Enhanced vision system full-windshield hud
US20120242694A1 (en) 2011-03-22 2012-09-27 Kabushiki Kaisha Toshiba Monocular head mounted display
US20130002525A1 (en) 2011-06-29 2013-01-03 Bobby Duane Foote System for locating a position of an object

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6474159B1 (en) 2000-04-21 2002-11-05 Intersense, Inc. Motion-tracking
US20020052724A1 (en) 2000-10-23 2002-05-02 Sheridan Thomas B. Hybrid vehicle operations simulator
EP1398601A3 (en) 2002-09-13 2014-05-07 Canon Kabushiki Kaisha Head up display for navigation purposes in a vehicle
WO2012014430A1 (ja) 2010-07-27 2012-02-02 パナソニック株式会社 移動体検出装置および移動体検出方法
US8203605B1 (en) 2011-05-11 2012-06-19 Google Inc. Point-of-view object selection
EP2933707B1 (en) * 2014-04-14 2017-12-06 iOnRoad Technologies Ltd. Head mounted display presentation adjustment

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040149036A1 (en) 2000-04-21 2004-08-05 Eric Foxlin Motion-tracking
US20100253593A1 (en) 2009-04-02 2010-10-07 Gm Global Technology Operations, Inc. Enhanced vision system full-windshield hud
US20120242694A1 (en) 2011-03-22 2012-09-27 Kabushiki Kaisha Toshiba Monocular head mounted display
US20130002525A1 (en) 2011-06-29 2013-01-03 Bobby Duane Foote System for locating a position of an object

Also Published As

Publication number Publication date
EP3137975A1 (en) 2017-03-08
EP3137975B1 (en) 2018-07-25
KR20220019068A (ko) 2022-02-15
US20170206668A1 (en) 2017-07-20
WO2015168044A1 (en) 2015-11-05
KR20160148680A (ko) 2016-12-26
US20150317834A1 (en) 2015-11-05
KR102493749B1 (ko) 2023-01-30
US9626802B2 (en) 2017-04-18
CN106462232A (zh) 2017-02-22
CN106462232B (zh) 2020-04-17
US10223799B2 (en) 2019-03-05

Similar Documents

Publication Publication Date Title
KR102358274B1 (ko) 동적 환경에서의 좌표 프레임의 결정
EP3619599B1 (en) Virtual content displayed with shared anchor
US10083540B2 (en) Virtual light in augmented reality
US9495801B2 (en) Pose tracking an augmented reality device
US9430038B2 (en) World-locked display quality feedback
US9824499B2 (en) Mixed-reality image capture
EP3063739B1 (en) Mixed reality spotlight
US20150228118A1 (en) Motion modeling in visual tracking
US10564915B2 (en) Displaying content based on positional state
US20160210784A1 (en) Augmented reality field of view object follower
US20180182160A1 (en) Virtual object lighting
KR20170041862A (ko) 유저 안경 특성을 결정하는 눈 추적용 디바이스를 갖는 헤드업 디스플레이
US11227494B1 (en) Providing transit information in an augmented reality environment
US11656679B2 (en) Manipulator-based image reprojection
EP2887231A1 (en) Saving augmented realities

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
A107 Divisional application of patent
GRNT Written decision to grant