KR20180122637A - 물리적 환경의 시각 이미지들의 가상 현실에의 통합을 위한 공간 관계들 - Google Patents

물리적 환경의 시각 이미지들의 가상 현실에의 통합을 위한 공간 관계들 Download PDF

Info

Publication number
KR20180122637A
KR20180122637A KR1020187027051A KR20187027051A KR20180122637A KR 20180122637 A KR20180122637 A KR 20180122637A KR 1020187027051 A KR1020187027051 A KR 1020187027051A KR 20187027051 A KR20187027051 A KR 20187027051A KR 20180122637 A KR20180122637 A KR 20180122637A
Authority
KR
South Korea
Prior art keywords
physical objects
physical
user
image
head
Prior art date
Application number
KR1020187027051A
Other languages
English (en)
Inventor
에반 로버트 힐드레스
프랜시스 버나드 맥두걸
Original Assignee
퀄컴 인코포레이티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 퀄컴 인코포레이티드 filed Critical 퀄컴 인코포레이티드
Publication of KR20180122637A publication Critical patent/KR20180122637A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04817—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera

Abstract

물리적 환경에서 헤드-장착 디스플레이에의 사용을 위한 방법은 물리적 환경의 심도 정보를 획득하는 단계 및 물리적 환경의 시각 이미지를 캡처하는 단계를 포함한다. 방법은 또한, 심도 정보에 기초하여 헤드-장착 디스플레이의 사용자와 물리적 환경에 포함된 하나 이상의 물리적 오브젝트들 간의 공간 관계를 결정하는 단계를 포함한다. 시각 이미지는 그 후 하나 이상의 물리적 오브젝트들을 포함하는 세그먼트화된 이미지를 생성하기 위해 공간 관계에 기초하여 세그먼트화된다. 세그먼트화된 이미지는 그 후 헤드-장착 디스플레이 상에 가상 이미지와 하나 이상의 물리적 오브젝트들 양자 모두를 디스플레이하기 위해 가상 이미지에 오버레이된다.

Description

물리적 환경의 시각 이미지들의 가상 현실에의 통합을 위한 공간 관계들
본 개시의 양태들은 일반적으로 가상 현실에 관한 것으로, 특히 물리적 환경의 시각 이미지들의, 헤드-장착 디스플레이 상에 제시된 가상 이미지에의 통합에 관한 것이다.
가상 현실 (Virtual Reality; VR) 은 실감형 멀티미디어 또는 컴퓨터-시뮬레이티드 환경들을 사용자들에게 제공하는 급성장하는 기술이다. 이러한 환경들은 허구 세계 또는 실제 장소를 본떠서 만든 세계에 사용자의 물리적 존재를 시뮬레이팅할 수도 있다. VR 기술은 가상 환경 내에서 사용자의 경험을 향상시키기 위해 그래픽스, 오디오, 및 다른 감각 증진 (sensory enhancement) 들을 사용자에게 제시할 수도 있다.
그러나 오늘날의 VR 기술의 일부는 여전히 도전과제들을 갖는다. 예를 들어, 많은 VR 헤드셋들은 실세계 (즉, 물리적 환경) 의 사용자의 가시 범위 (field of vision) 를 가린다. 즉, 보다 실감적인 시각적 모습을 사용자에게 제시하기 위하여, VR 헤드셋들은 VR 헤드셋들의 디스플레이 이외에도 사용자의 모든 뷰를 완전히, 또는 거의 가릴 수도 있다. 따라서, VR 헤드셋을 착용하고 VR 시뮬레이션에 참여하는 동안, 사용자는 종종 그들의 실세계 환경을 시각적으로 센싱 및 그와 상호작용하지 못하게 된다. 이러한 VR 헤드셋을 착용하는 동안의 실세계의 시각적 센싱의 결여는 사용자에게 여러 어려움들 및/또는 문제들을 야기할 수도 있다. 예를 들어, 사용자는, 그들의 손을 컴퓨터 키보드로 향하게 하려는 그들의 시도에 있어서, 방지되거나, 또는 적어도 방해를 받는다. 다른 예에서, 사용자는 음료 또는 폰과 같은 원하는 오브젝트를 잡으려고 손을 내밀 수 없을 수도 있다. 또 다른 예에서, 사용자는 방에 들어오거나 또는 그들 가까이에 오는 다른 사람을 알아채지 못할 수도 있다. 심지어 여전히, 사용자는 늦게까지 그들이 막 부딪치려고 하는 벽을 볼 수 조차 없을 수도 있다.
일부 종래의 VR 시스템들은 사용자의 손을 트랙킹하고 그 후 VR 시뮬레이션 내에 그들의 손의 표현 (예를 들어, 아바타) 을 제공하는 트랙킹 시스템을 제공한다. 그러나, 이러한 시스템들은, 단지 VR 시뮬레이션에 있는 가상 오브젝트들과 상호작용하기 위한 메커니즘을 사용자에게 제공하는 것에 통상 제한되고, 상기 논의된 문제들에 별로 도움이 되지 않는다.
하나의 양태에서, 물리적 환경에서 헤드-장착 디스플레이에의 사용을 위한 방법은 물리적 환경의 심도 정보를 획득하는 단계 및 물리적 환경의 시각 이미지를 캡처하는 단계를 포함한다. 방법은 또한, 심도 정보에 기초하여 헤드-장착 디스플레이의 사용자와 물리적 환경에 포함된 하나 이상의 물리적 오브젝트들 간의 공간 관계를 결정하는 단계를 포함한다. 시각 이미지는 그 후 하나 이상의 물리적 오브젝트들을 포함하는 세그먼트화된 이미지를 생성하기 위해 공간 관계에 기초하여 세그먼트화된다. 세그먼트화된 이미지는 그 후 헤드-장착 디스플레이로 가상 이미지와 하나 이상의 물리적 오브젝트들 양자 모두를 디스플레이하기 위해 가상 이미지에 오버레이된다.
다른 양태에서, 헤드-장착 디스플레이는 물리적 환경의 심도 정보를 캡처하기 위한 수단 및 물리적 환경의 시각 이미지를 캡처하기 위한 시각 카메라 (visual camera) 를 포함한다. 헤드-장착 디스플레이는 또한, 심도 정보에 기초하여 헤드-장착 디스플레이의 사용자와 물리적 환경에 포함된 하나 이상의 물리적 오브젝트들 간의 공간 관계를 결정하기 위한 수단을 포함한다. 헤드-장착 디스플레이에는, 하나 이상의 물리적 오브젝트들을 포함하는 세그먼트화된 이미지를 생성하기 위해 공간 관계에 기초하여 시각 이미지를 세그먼트화하기 위한 수단 및 헤드-장착 디스플레이로 가상 이미지를 디스플레이하기 위한 수단이 더 포함된다. 헤드-장착 디스플레이는 가상 이미지와 시각 카메라에 의해 캡처된 하나 이상의 물리적 오브젝트들 양자 모두를 디스플레이하기 위해 세그먼트화된 이미지를 가상 이미지에 오버레이하기 위한 수단을 더 포함한다.
다른 양태는 헤드-장착 디스플레이와 관련된다. 헤드-장착 디스플레이는 시각 카메라 및 디스플레이를 포함한다. 헤드-장착 디스플레이는 또한 적어도 하나의 프로세서 및 그 적어도 하나의 프로세서에 커플링된 적어도 하나의 메모리를 포함한다. 적어도 하나의 프로세서 및 적어도 하나의 메모리는, (i) 물리적 환경의 심도 정보를 획득하는 것으로서, 물리적 환경은 하나 이상의 물리적 오브젝트들을 포함하는, 상기 물리적 환경의 심도 정보를 획득하고; (ii) 시각 카메라로 물리적 환경의 시각 이미지를 캡처하고; (iii) 심도 정보에 기초하여 헤드-장착 디스플레이의 사용자와 물리적 환경에 포함된 하나 이상의 물리적 오브젝트들 간의 공간 관계를 결정하고; (iv) 하나 이상의 물리적 오브젝트들을 포함하는 세그먼트화된 이미지를 생성하기 위해 공간 관계에 기초하여 시각 이미지를 세그먼트화하고; (v) 디스플레이로 가상 이미지를 디스플레이하고; 그리고 (vi) 가상 이미지와 시각 카메라에 의해 캡처된 하나 이상의 물리적 오브젝트들 양자 모두를 디스플레이하기 위해 세그먼트화된 이미지를 가상 이미지에 오버레이할 것을 헤드-장착 디스플레이에 지시하도록 구성된다.
또 다른 양태에서, 비일시적 컴퓨터 판독가능 매체는 프로그램 코드를 저장하고 있다. 프로그램 코드는, 실행될 때, 헤드-장착 디스플레이로 하여금, (i) 물리적 환경의 심도 정보를 획득하게 하는 것으로서, 물리적 환경은 하나 이상의 물리적 오브젝트들을 포함하는, 상기 물리적 환경의 심도 정보를 획득하게 하고; (ii) 시각 카메라로 물리적 환경의 시각 이미지를 캡처하게 하고; (iii) 심도 정보에 기초하여 헤드-장착 디스플레이의 사용자와 물리적 환경에 포함된 하나 이상의 물리적 오브젝트들 간의 공간 관계를 결정하게 하고; (iv) 하나 이상의 물리적 오브젝트들을 포함하는 세그먼트화된 이미지를 생성하기 위해 공간 관계에 기초하여 시각 이미지를 세그먼트화하게 하고; (v) 헤드-장착 디스플레이로 가상 이미지를 디스플레이하게 하고; 그리고 (vi) 가상 이미지와 시각 카메라에 의해 캡처된 하나 이상의 물리적 오브젝트들 양자 모두를 디스플레이하기 위해 세그먼트화된 이미지를 가상 이미지에 오버레이하게 하는 명령들을 포함한다.
이 개요는 청구항들의 범위 또는 의미를 해석하거나 또는 제한하는데 사용되지 않을 것이라는 점을 포함해서 제출된다. 이 개요는 청구 요지의 주요한 피처들 또는 필수적인 피처들을 식별하도록 의도되지도, 청구 요지의 범위를 결정하는데 도움이 되도록 의도되지도 않는다.
도 1 은 본 명세서에서 개시된 프로세스들을 수행하는 것이 가능한 헤드-장착 디스플레이를 예시하는 기능적 블록 다이어그램이다.
도 2 는 본 명세서에서 설명된 기술의 하나 이상의 구현들에 따른, 물리적 환경에서의 헤드-장착 디스플레이의 사용자를 예시한다.
도 3 은 본 명세서에서 설명된 기술의 하나 이상의 구현들에 따른, 심도 정보에 기초하여 사용자 손의 시각 이미지를 가상 이미지에 통합하는 프로세스를 예시한다.
도 4 는 본 명세서에서 설명된 기술의 하나 이상의 구현들에 따른, 물리적 환경의 시각 이미지들의 가상 현실에의 통합을 위한 공간 관계들을 활용하는 프로세스를 예시하는 플로우차트이다.
도 5 는 본 명세서에서 설명된 기술의 하나 이상의 구현들에 따른, 사용자와 물리적 오브젝트 간의 공간 관계에 기초하여 물리적 오브젝트의 시각 이미지를 가상 이미지에 통합하는 프로세스를 예시한다.
도 6 은 본 명세서에서 설명된 기술의 하나 이상의 구현들에 따른, 거리에 기초하여 사용자와 물리적 오브젝트 간의 공간 관계를 결정하는 일 예의 구현을 예시한다.
도 7 은 본 명세서에서 설명된 기술의 하나 이상의 구현들에 따른, 제 1 손 제스처에 기초하여 사용자와 물리적 오브젝트 간의 공간 관계를 결정하는 일 예의 구현을 예시한다.
도 8 은 본 명세서에서 설명된 기술의 하나 이상의 구현들에 따른, 제 2 손 제스처에 기초하여 사용자와 물리적 오브젝트 간의 공간 관계를 결정하는 일 예의 구현을 예시한다.
도 9 는 본 명세서에서 설명된 기술의 하나 이상의 구현들에 따른, 물리적 환경의 이전의 (past) 모델에 기초하여 물리적 오브젝트의 시각 이미지를 가상 이미지에 통합하는 프로세스를 예시한다.
도 10 은 본 명세서에서 교시한 바와 같이, 물리적 환경의 시각 이미지들을 통합하도록 구성된 사용자 디바이스에서 채용될 수도 있는 컴포넌트들의 여러 샘플 양태들을 예시하는 단순화된 블록 다이어그램이다.
상세한 설명은 첨부 도면들을 참조한다. 도면들에서, 참조 번호의 가장 왼쪽 숫자(들)는 참조 번호가 처음 나타나는 도면을 식별한다. 동일한 번호들이 도면들 전반에 걸쳐 유사한 피처들 및 컴포넌트들을 언급하기 위해 사용된다.
도 1 은 본 명세서에서 논의된 프로세스들을 수행하는 것이 가능한 헤드-장착 디스플레이 (HMD) (100) 를 예시하는 기능적 블록 다이어그램이다. 하나의 예에서, HMD (100) 는 아래에 설명된 프로세스 (400) 와 같이, 물리적 환경의 시각 이미지들을 가상 현실 이미지에 통합하는 것이 가능한 사용자 디바이스이다. 일반적으로, 제어 유닛 (106) 은 시각 카메라 (102) 로부터 물리적 환경의 시각 이미지들 (103) 을 수신하도록 커플링된다. 제어 유닛 (106) 은, 후에 시각 이미지들 (103) 을 VR 엔진 (122) 에 의해 생성된 가상 이미지에 통합하도록 구성된다. 가상 이미지는 그 후 디스플레이 (126) 에 의하여 사용자에게 디스플레이된다. 하나의 구현에서, 디스플레이 (126), 시각 카메라 (102), 심도 카메라 (104), 제어 유닛 (106), 센서들 (107), 및/또는 사용자 인터페이스 (108) 는 HMD (100) 의 사용자에 의해 착용가능한 단일 유닛에 통합된다. 다른 구현에서, 제어 유닛 (106) 은 HMD (100) 와는 별개이다. 즉, 제어 유닛 (106) 은 컴퓨터, 전화기, 태블릿 컴퓨터, "패블릿 (폰+태블릿)" 컴퓨터, 스마트 폰, 랩톱 및 데스크톱 컴퓨터들, 및 유선 또는 무선 접속에 의하여 HMD (100) 에 커플링되는 기타 같은 종류의 것에 의해 구현될 수도 있다. 이로써, 제어 유닛 (106) 은 애플리케이션 프로그래밍 인터페이스 (API) 또는 HMD (100) 와 통신하기 위한 다른 인터페이스를 포함할 수도 있다. 제어 유닛 (106) 이 HMD (100) 와 통합되는지 또는 별도로 구현되는지에 상관없이, 소정의 양태들에서, 시각 카메라 (102), 옵션의 심도 카메라 (104), 및 센서들 (107) 은 아래에 더 상세히 논의될 바와 같이, HMD (100) 내에 디스플레이 (126) 와 통합된다.
하나의 구현에서, 시각 카메라 (102) 는 컬러 카메라, 이를 테면 RGB 카메라이다. 시각 카메라 (102) 는 실세계 장면 (즉, 물리적 환경) 의 시각 이미지들 (103) 을 캡처하고 시각 이미지들 (103) 을 제어 유닛 (106) 에 제공하도록 구성된다. 시각 카메라 (102) 는 단일 모노큘러 카메라, 스테레오 카메라, 및/또는 전방위 카메라를 포함할 수도 있다. 하나의 양태에서, 시각 카메라 (102) 는 카메라 파라미터들 (예를 들어, 초점 거리, 옵틱 센터의 변위, 방사 왜곡, 접선 왜곡 등) 이 알려지도록 캘리브레이팅된다. 더욱이, 상기 논의한 바와 같이, 시각 카메라 (102) 는 HMD (100) 와 통합된다. 시각 카메라 (102) 는 사용자 (즉, 착용자) 에 의한 HMD (100) 의 배향 (orientation) 의 변화가 시각 카메라 (102) 의 배향에 있어서, 동일, 또는 유사한 변화를 초래하도록 HMD (100) 와 통합될 수도 있다.
HMD (100) 는 또한 옵션의 심도 카메라 (104) 를 포함한다. 심도 카메라 (104) 는 심도 정보 (105) 를 제어 유닛 (106) 에 제공하도록 구성된다. 일부 양태들에서, 심도 카메라 (104) 는 거리측정 카메라 (ranging camera), 이를 테면 ToF (time-of-flight) 카메라이다. 다른 양태들에서, 심도 카메라 (104) 는 구조광 (structured-light) 카메라 또는 스테레오 카메라이다. 심도 정보 (105) 는 물리적 환경의 3-차원 (3D) 포인트 클라우드 (point cloud) 를 포함할 수도 있다. 이로써, 심도 카메라 (104) 는 사용자 (즉, 착용자) 에 의한 HMD (100) 의 배향의 변화가 심도 카메라 (104) 의 배향에 있어서 동일, 또는 유사한 변화를 초래하도록 HMD (100) 와 통합될 수도 있다. 그러나, 상기 언급한 바와 같이, 심도 카메라 (104) 는 옵션일 수도 있다. 즉, 일부 구현들에서, 심도 정보 (105) 는 하나 이상의 모델-기반 트랙킹 알고리즘들의 사용을 통하여 시각 이미지들 (103) 자체로부터 유도될 수도 있다. 예를 들어, SLAM (Simultaneous Localization And Mapping) 알고리즘들이 하나 이상의 시각 이미지들 (103) 에 기초하여 심도 정보 (105) 를 생성하기 위해 제어 유닛 (106) 에 의해 활용될 수도 있다. SLAM 알고리즘들은 물리적 환경의 3D 맵을 구축하기 위해 시각 카메라 (102) 에 의해 캡처된 인커밍 이미지 시퀀스들로부터 3D 포인트들을 복원할 수도 있다. 시각 이미지들 (103) 로부터 심도 정보 (105) 를 생성하기 위한 다른 알려진 알고리즘들은 본 명세서의 교시들에 따라 구현될 수도 있다.
또한 도 1 에는 센서 (107) 가 도시된다. 하나의 양태에서, 센서 (107) 는 시각 이미지들 (103) 및/또는 심도 정보 (105) 로부터 유도될 수도 있는 모션 데이터에 독립적인 움직임 및/또는 배향 정보를 제공하기 위해 모션 센서를 포함한다. 일 예로, 센서 (107) 는 가속도계 (예를 들어, MEMS 디바이스), 자이로스코프, 지자기 센서 (예를 들어, 나침반), 고도계 (예를 들어, 기압 고도계), 및/또는 임의의 다른 타입의 움직임 검출 센서를 포함할 수도 있다. 더욱이, 센서 (107) 는 복수의 상이한 타입들의 디바이스들을 포함하고 모션 정보를 제공하기 위하여 그들의 출력들을 결합할 수도 있다. 예를 들어, 센서 (107) 는 멀티-축 가속도계 및 배향 센서들의 조합을 사용하여 2-D 및/또는 3-D 좌표 시스템들에서의 포지션들을 컴퓨팅하는 능력을 제공할 수도 있다. 시각 카메라 (102) 와 같이, 센서 (107) 는 센서 (107) 에 의해 측정된 배향의 변화가 사용자 (즉, 착용자) 에 의한 HMD (100) 의 배향의 변화를 나타내도록 HMD (100) 와 통합될 수도 있다.
HMD (100) 는 또한, HMD (100) 에 의해 생성된 VR 장면을 디스플레이하는 것이 가능한 디스플레이 (126) 를 포함하는 사용자 인터페이스 (108) 를 포함한다. 상기 언급한 바와 같이, VR 장면은 시각 카메라 (102) 에 의해 캡처되는 물리적 환경의 실세계 (즉, 물리적) 오브젝트들을 포함할 수도 있다. 사용자 인터페이스 (108) 는 또한, 사용자가 HMD (100) 로 정보를 입력할 수 있는 옵션의 키패드 (128) 또는 다른 입력 디바이스를 포함할 수도 있다. 사용자 인터페이스 (108) 는 또한 마이크로폰 (130) 및 스피커 (132) 를 포함할 수도 있다.
제어 유닛 (106) 은 시각 카메라 (102), 심도 카메라 (104), 센서 (107), 및 사용자 인터페이스 (108) 에 접속되고 이들과 통신한다. 제어 유닛 (106) 은 시각 카메라 (102) 로부터 수신된 시각 이미지들 (103) 을 수락 및 프로세싱한다. 제어 유닛 (106) 은 또한, HMD (100) 의 포즈의 트랙킹을 위해 센서 (107) 로부터 수신된 데이터를 수락 및 프로세싱한다. 제어 유닛 (106) 은 프로세싱 유닛 (110) 및 연관된 메모리 (116), 하드웨어 (112), 펌웨어 (114), 소프트웨어 (118), 및 그래픽스 엔진 (124) 에 의해 제공될 수도 있다.
제어 유닛 (106) 은 가상 현실 (VR) 엔진 (122) 을 더 포함할 수도 있다. VR 엔진 (122) 은 도 4 의 프로세스 (400) 를 참조하여 아래에 설명될 바와 같이, 물리적 환경의 시각 이미지들의 가상 현실 이미지에의 통합에 관련된 하나 이상의 프로시저들을 수행하도록 구성될 수도 있다. 시각 카메라 (102) 에 의해 캡처된 시각 이미지들 (103) 뿐만 아니라 심도 카메라 (104) 에 의해 생성된 심도 정보 (105) 및 센서 (107) 에 의해 생성된 데이터는 VR 엔진 (122) 에 제공될 수도 있다. VR 엔진 (122) 은 그 후 HMD (100) 상에서 이미지에서의 VR 장면의 시각 엘리먼트들을 렌더링 또는 다르게는 생성할 수도 있다.
프로세싱 유닛 (110) 및 VR 엔진 (122) 은 명료성을 위해 별도로 예시되지만, 단일 유닛이고 및/또는 프로세싱 유닛 (110) 에서 실행되는 소프트웨어 (118) 에서의 명령들에 기초하여 프로세싱 유닛 (110) 에서 구현될 수도 있다. 프로세싱 유닛 (110) 뿐만 아니라 VR 엔진 (122) 은 하나 이상의 마이크로프로세서들, 내장형 프로세서들, 제어기들, 주문형 집적 회로들 (ASIC들), 디지털 신호 프로세서들 (DSP들) 등을 포함할 수 있지만, 반드시 이들을 포함할 필요는 없다. 용어들 프로세서 및 프로세싱 유닛은 특정 하드웨어보다는 시스템에 의해 구현된 기능들을 설명한다. 더욱이, 본 명세서에서 사용한 바와 같이, 용어 "메모리" 는 HMD (100) 와 연관된 장기, 단기, 또는 다른 메모리를 포함한, 임의의 타입의 컴퓨터 저장 매체를 지칭하며, 메모리의 임의의 특정한 타입 또는 메모리들의 수, 또는 메모리가 저장되는 매체들의 타입에 제한되지 않는다.
본 명세서에서 설명된 프로세스들은 애플리케이션에 의존하여 다양한 수단에 의해 구현될 수도 있다. 예를 들어, 이들 프로세스들은 하드웨어 (112), 펌웨어 (114), 하드웨어 (112) 와 소프트웨어 (118) 의 조합, 또는 그 임의의 조합으로 구현될 수도 있다. 하드웨어 구현에 대해, 프로세싱 유닛들은 하나 이상의 주문형 집적 회로들 (ASIC들), 디지털 신호 프로세서들 (DSP들), 디지털 신호 프로세싱 디바이스들 (DSPD들), 프로그래밍가능 로직 디바이스들 (PLD들), 필드 프로그래밍가능 게이트 어레이들 (FPGA들), 프로세서들, 제어기들, 마이크로-제어기들, 마이크로프로세서들, 전자 디바이스들, 본 명세서에서 설명된 기능들을 수행하도록 설계된 다른 전자 유닛들, 또는 그 조합 내에서 구현될 수도 있다.
펌웨어 및/또는 하드웨어 및 소프트웨어 조합 구현에 대해, 프로세스들은 본 명세서에서 설명된 기능들을 수행하는 모듈들 (예를 들어, 프로시저들, 함수들 등) 로 구현될 수도 있다. 명령들을 유형으로 구현하는 임의의 컴퓨터 판독가능 매체는 본 명세서에서 설명된 프로세스들을 구현하는데 있어서 사용될 수도 있다. 예를 들어, 프로그램 코드는 메모리 (116) 에 저장되고 프로세싱 유닛 (110) 에 의해 실행될 수도 있다. 메모리는 프로세싱 유닛 (110) 내에 또는 그 외부에 구현될 수도 있다.
펌웨어 및/또는 하드웨어/소프트웨어 조합으로 구현되면, 기능들은 하나 이상의 명령들 또는 코드로서 컴퓨터 판독가능 매체 상에 저장될 수도 있다. 예들은, 데이터 구조로 인코딩된 비일시적 컴퓨터 판독가능 매체들 및 컴퓨터 프로그램으로 인코딩된 컴퓨터 판독가능 매체들을 포함한다. 컴퓨터 판독가능 매체들은 물리적 컴퓨터 저장 매체들을 포함한다. 저장 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 이용가능한 매체일 수도 있다. 제한이 아닌 일 예로, 이러한 컴퓨터 판독가능 매체들은 RAM, ROM, 플래시 메모리, EEPROM, CD-ROM 또는 다른 광 디스크 스토리지, 자기 디스크 스토리지 또는 다른 자기 저장 디바이스들, 또는 원하는 프로그램 코드를 명령들 또는 데이터 구조들의 형태로 저장하는데 사용될 수 있고 컴퓨터에 의해 액세스될 수 있는 임의의 다른 매체를 포함할 수 있고; 디스크 (disk) 및 디스크 (disc) 는, 본 명세서에서 사용한 바와 같이, 콤팩트 디스크 (CD), 레이저 디스크, 광 디스크, 디지털 다기능 디스크 (DVD), 플로피 디스크 및 블루-레이 디스크를 포함하고, 여기서 디스크 (disk) 들은 보통 데이터를 자기적으로 재생하는 한편, 디스크 (disc) 들은 레이저들로 데이터를 광학적으로 재생한다. 상기의 조합들이 또한 컴퓨터 판독가능 매체들의 범위 내에 포함되어야 한다.
도 2 는 본 명세서에서 설명된 기술의 하나 이상의 구현들에 따른, 물리적 환경 (200) 에서의 헤드-장착 디스플레이 (HMD) (204) 의 사용자 (202) 를 예시한다. 하나의 예에서, HMD (204) 는 도 1 의 HMD (100) 로서 구현될 수도 있다. HMD (204) 의 예시된 예는 디스플레이 (126), 시각 카메라 (102), 및 심도 카메라 (104) 를 포함하는 것으로서 도시된다. 그러나, 상기 언급한 바와 같이, 심도 카메라 (104) 는 옵션일 수도 있고 HMD (204) 는 사용자 (202) 가 물리적 환경 (200) 내에서 이동할 때 HMD (204) 의 배향 측정들을 제공하기 위한 모션 센서 (예를 들어, 센서 (107)) 를 더 포함할 수도 있다.
도 2 에 도시한 바와 같이, 사용자 (202) 는 하나 이상의 물리적 오브젝트들을 포함하는 물리적 환경 (200) 내에 위치된다. 이들 물리적 오브젝트들은 테이블/데스크 (212), 키보드 (214), 및 모니터 (216) 를 포함할 수도 있다. 그러나, 임의의 물리적 오브젝트는 벽, 문, 음료, 폰, 다른 사람 등과 같이 물리적 환경 (200) 에 포함될 수도 있다. 상기 언급한 바와 같이, HMD (204) 의 디스플레이 (126) 는 물리적 환경 (200) 의 사용자 (202) 의 가시 범위의, 적어도, 부분을 가릴 수도 있다. 즉, HMD (204) 를 착용하지 않을 때, 사용자 (202) 는 물리적 환경 (200) 의 방해받지 않는 시야 (unobstructed field of view) (218) 를 가질 수도 있다. 그러나, HMD (204) 를 착용할 때, 그 시야 (218) 의 일부 또는 전부는 HMD (204) 자체에 의해 블록킹된다. 따라서, 본 명세서의 교시들에 따라, HMD (204) 는, HMD (204) 를 제거하고 및/또는 VR 시뮬레이션을 중단할 필요 없이 사용자 (202) 가 물리적 환경을 센싱 및/또는 이와 상호작용하는 것을 허용하기 위해 사용자 (202) 에게 디스플레이되는 가상 이미지에 물리적 오브젝트들 (예를 들어, 212, 214, 216) 중 하나 이상의 시각 이미지들을 통합하도록 구성된다.
하나의 양태에서, HMD (204) 는 시각 카메라 (102) 에 의해 캡처되는 물리적 환경 (200) 의 시야가 사용자 (202) 의 방해받는 (obstructed) 시야 (218) 이도록 디스플레이 (126) 와 통합된 시각 카메라 (102) 를 포함한다. 즉, 시각 카메라 (102) 의 시야는 사용자 (202) 가 HMD (204) 를 착용하고 있지 않았다면 사용자 (202) 의 시야와 동일 또는 유사할 수도 있다.
HMD (204) 는 또한, 심도 정보 (예를 들어, 포인트 클라우드) 를 캡처하기 위해 헤드-장착 디스플레이 (126) 와 통합된 심도 카메라 (104) 를 포함할 수도 있다. 심도 카메라 (104) 의 시야는 시각 카메라 (102) 의 시야 (예를 들어, 시야 (218)) 와 동일 또는 유사할 수도 있다.
동작 시에, HMD (204) 는 심도 카메라 (104) 에 의해 캡처된 심도 정보에 기초하여 시각 카메라 (102) 에 의해 캡처되는 물리적 환경 (200) 의 시각 이미지를 세그먼트화하도록 구성된다. 그러나, 상기 언급한 바와 같이, 심도 카메라 (104) 는 옵션일 수도 있다. 따라서, 일부 구현들에서, 심도 정보 (105) 는 하나 이상의 모델-기반 트랙킹 알고리즘들 (예를 들어, SLAM 알고리즘들) 의 사용을 통하여 시각 이미지들 (103) 자체로부터 유도될 수도 있다. 아래에 더 상세히 설명될 바와 같이, 시각 이미지의 세그먼트화는 물리적 환경 (200) 에 존재하는 물리적 오브젝트들 중 하나 이상을 포함하는 세그먼트화된 이미지를 생성할 수도 있다. 예를 들어, 세그먼트화된 이미지는 사용자의 손 (210) 을 단독으로, 데스크 (212) 를 단독으로, 키보드 (214) 를 단독으로, 모니터 (216) 를 단독으로, 또는 그 임의의 조합을 포함할 수도 있다. HMD (204) 는 그 후 세그먼트화된 이미지를 디스플레이 (126) 를 통해 사용자 (202) 에게 디스플레이되는 가상 이미지에 오버레이하고, 따라서 물리적 환경 (200) 의 시각 이미지들을 VR 에 통합한다.
이에 따라, 사용자 (202) 는 그 후 HMD (204) 를 제거할 필요 없이 및/또는 VR 시뮬레이션 (예를 들어, 게임-플레이) 을 중단할 필요 없이 물리적 환경 (200) 을 센싱 및/또는 이와 상호작용하는 것이 가능할 수도 있다. 예를 들어, 물리적 환경 (200) 의 시각 이미지들의 VR 에의 통합은 사용자 (202) 가 정확히 그들의 손 (210) 을 키보드 (214) 로 향하게 하고, 데스크/테이블 (212) 상에 놓인 오브젝트 (즉, 음료) 를 잡으려고 손을 내밀고, 물리적 환경에 들어오거나 또는 사용자 (202) 의 관심을 끌려고 시도하는 다른 사람을 센싱하고, 및/또는 그들이 막 접촉하려고 하는 물리적 장애물 (예를 들어, 그들이 막 부딪치려고 하는 벽) 을 센싱하는 것을 허용할 수도 있다. 일부 양태들에 따르면, HMD (204) 는 물리적 오브젝트가 무엇인지를 분류 및/또는 이해할 필요가 없고, 이로써 VR 시뮬레이션에의 임의적인 물리적 오브젝트들의 제시를 지원한다.
도 3 은 본 명세서에서 설명된 기술의 하나 이상의 구현들에 따른, 심도 정보에 기초하여 사용자 손의 시각 이미지를 가상 이미지에 통합하는 프로세스를 예시한다. 물리적 환경 (200) 의 심도 이미지 (302) 는 HMD (204) 의 심도 카메라 (104) 에 의해 캡처될 수도 있다. 하나의 양태에서, 심도 카메라 (104) 및/또는 VR 엔진 (122) 은 심도 이미지 (302) 에 기초하여 심도 정보 (105), 이를 테면 물리적 환경 (200) 의 3D 포인트 클라우드를 생성하도록 구성될 수도 있다. 그러나, 다른 예들에서, 심도 정보 (105) 는 시각 카메라 (102) 에 의해 생성된 시각 이미지들 (103) 에 적용된 하나 이상의 알고리즘들에 의하여 유도될 수도 있다. 예를 들어, 도 3 은 시각 카메라 (102) 에 의해 캡처되는 물리적 환경 (200) 의 시각 이미지 (304) 를 예시한다. 도시한 바와 같이, 시각 이미지 (304) 는 사용자 (202) 의 손 (210), 데스크/테이블 (212), 키보드 (214), 및 모니터 (216) 의 이미지 데이터를 포함한다. VR 엔진 (122) 은 심도 이미지 (302) (즉, 심도 정보) 에 기초하여 시각 이미지 (304) 를 세그먼트화하고, 그 후 심도 이미지 (302) 에 포함된 심도 정보에 기초하여 시각 이미지 (304) 의 부분들을 포어그라운드 오브젝트들로서 분류하도록 구성될 수도 있다. VR 엔진 (122) 은 시각 이미지의 부분들 (예를 들어, 물리적 오브젝트들에 대응하는 부분들) 을 포어그라운드 오브젝트들로서 분류하도록 구성되지만, VR 엔진 (122) 은 물리적 오브젝트가 무엇인지를 분류 또는 이해하지 않고 이 포어그라운드 분류를 완료할 수도 있다. 따라서, 시각 이미지 (304) 는 VR 엔진 (122) 이 어떤 사전 지식도 갖지 않는 임의적인 물리적 오브젝트들을 포함할 수도 있다. 도 3 의 예에서, 손 (210) 은 VR 엔진 (122) 에 의해 심도 이미지 (302) 내의 포어그라운드 오브젝트로서 분류되며, 그로부터 알파 마스크 (306) 가 생성된다. VR 엔진 (122) 은 그 후 세그먼트화된 이미지 (308) 를 생성하기 위해 알파 마스크 (306) 를 시각 이미지 (304) 에 적용한다. 도시한 바와 같이, 세그먼트화된 이미지 (308) 는 단지 손 (210) 만의 이미지 데이터를 포함한다. 따라서, 손은 시각 이미지 (304) 에 포함된 다른 물리적 오브젝트들로부터 세그먼트화되었다.
VR 엔진 (122) 은 또한, 디스플레이 (126) 에 의하여 사용자 (202) 에게 디스플레이되는 가상 이미지 (310) 를 생성한다. 가상 이미지 (310) 는 사용자 (202) 가 현재 참여하게 되는 VR 시뮬레이션 (예를 들어, 게임) 의 일부일 수도 있다. VR 엔진 (122) 은 그 후 결합된 이미지 (312) 를 디스플레이 (126) 를 통해 사용자 (202) 에게 제시하기 위해 세그먼트화된 이미지 (308) 를 가상 이미지 (310) 에 오버레이한다. 따라서, 결합된 이미지 (312) 는 가상 이미지 (310) 와 시각 카메라 (102) 에 의해 캡처된 물리적 오브젝트 (예를 들어, 손 (210)) 양자 모두를 포함한다. 하나의 양태에서, VR 엔진 (122) 은 결합된 이미지 (312) 내의 가상 이미지 (310) 와 보다 부합하는 손 (210) 의 모습을 생성하기 위해 가상 장면 조명 (virtual scene lighting) 에 따라 세그먼트화된 이미지 (308) 를 조정하고, 이로써 사용자 (202) 가 느끼는 몰입감을 증가시킬 수도 있다. 일 예로, 가상 장면 조명에 따라 세그먼트화된 이미지 (308) 를 조정하는 것은 알파 마스크 (306) 를 시각 이미지 (304) 에 적용할 때 VR 엔진 (122) 에 의해 구현될 수도 있다. 이 예에서, VR 엔진 (122) 은 3D 포인트 클라우드에 기초하여 검출된 포어그라운드 오브젝트 (예를 들어, 손 (210)) 의 3D 메시를 생성할 수도 있다. 손 (210) 에 대응하는 시각 이미지 (304) 의 부분은 그 후 세그먼트화된 이미지 (308) 를 생성하기 위해 3D 메시에 맵핑된다.
VR 시뮬레이션에 의존하여, 심도 이미지 (302) 에 의해 제공된 심도 정보는, 물리적 오브젝트 (예를 들어, 손 (210)) 가 가상 이미지 (310) 에서의 가까운 가상 오브젝트들에 의해 가려질 수도 있도록 활용될 수도 있다. 예를 들어, VR 엔진 (122) 은 하나 이상의 가상 오브젝트들이 결합된 이미지 (312) 에서 손 (210) 앞에 제시되어야 (즉, 손을 가려야) 하는지 여부를 결정하기 위해 심도 이미지 (302) 에 의해 제공된 심도 정보와 렌더링된 VR 장면의 z-버퍼를 비교하도록 구성될 수도 있다.
상기 논의한 바와 같이, 단지 그들 자신의 손을 뷰잉할 수 있게 하는 것에 더하여, 사용자 (202) 는 HMD (204) 를 제거할 필요 없이 및/또는 VR 시뮬레이션을 중단할 필요 없이 물리적 환경 (200) 에서 하나 이상의 다른 물리적 오브젝트들을 센싱 및/또는 이와 상호작용할 수 있기를 원할 수도 있다. 이에 따라, 도 4 는 본 명세서에서 설명된 기술의 하나 이상의 구현들에 따른, 물리적 환경의 시각 이미지들의 가상 현실에의 통합을 위한 공간 관계들을 활용하는 프로세스 (400) 를 예시하는 플로우차트이다. 프로세스 (400) 는 도 1 의 HMD (100) 및/또는 도 2 의 HMD (204) 에 의해 수행된 하나의 가능한 프로세스이다.
프로세스 블록 (402) 에서, 물리적 환경 (200) 의 심도 정보 (105) 가 캡처된다. 상기 언급한 바와 같이, 심도 정보 (105) 는 심도 카메라 (104) 에 의해 캡처 및/또는 하나 이상의 모델-기반 알고리즘들을 시각 카메라 (102) 에 의해 캡처된 하나 이상의 시각 이미지들에 적용하는 것에 의해 캡처될 수도 있다. 심도 정보 (105) 는 물리적 환경 (200) 의 3D 포인트 클라우드를 포함할 수도 있다.
프로세스 블록 (404) 에서, 시각 카메라 (102) 는 물리적 환경 (200) 의 시각 이미지 (103) 를 캡처한다. 시각 이미지 (103) 는 컬러 (예를 들어, RGB) 이미지일 수도 있거나 또는 그것은 그레이스케일 이미지일 수도 있다. 다음에, 프로세스 블록 (406) 에서, VR 엔진 (122) 은 심도 정보 (105) 에 기초하여 HMD 의 사용자 (예를 들어, HMD (204) 의 사용자 (202)) 와 물리적 환경 (200) 에 포함된 하나 이상의 물리적 오브젝트들 (예를 들어, 데스크/테이블 (212), 키보드 (214), 및 모니터 (216)) 간의 공간 관계를 결정한다. 아래에 더 상세히 논의될 바와 같이, 공간 관계를 결정하는 것은, 사용자 (202) 가 물리적 오브젝트를 터치하고 있는지 여부, 사용자 (202) 와 물리적 오브젝트 간의 거리, 사용자 (202) 의 손 제스처, 및/또는 물리적 환경 (200) 의 하나 이상의 이전의 모델들에 부분적으로 기초할 수도 있다.
프로세스 블록 (408) 에서, VR 엔진 (122) 은 하나 이상의 물리적 오브젝트들을 포함하는 세그먼트화된 이미지를 생성하기 위해 공간 관계에 기초하여 시각 이미지 (103) 를 세그먼트화한다. 하나의 예에서, 시각 이미지 (103) 를 세그먼트화하는 것은 3D 포인트 클라우드에 기초하여 하나 이상의 물리적 오브젝트들의 3D 메시를 생성하는 것을 포함한다. 하나 이상의 물리적 오브젝트들에 대응하는 시각 이미지 (103) 의 부분은 그 후 세그먼트화된 이미지를 생성하기 위해 3D 메시에 맵핑된다. 다음에, 프로세스 블록 (410) 에서, VR 엔진 (122) 은 디스플레이 (126) 상의 디스플레이를 위해 VR 시뮬레이션의 일부로서 가상 이미지를 제시/생성한다. 프로세스 블록 (412) 에서, VR 엔진 (122) 은 가상 이미지와 시각 카메라 (102) 에 의해 캡처된 하나 이상의 물리적 오브젝트들 양자 모두를 디스플레이하기 위해 세그먼트화된 이미지를 가상 이미지에 오버레이한다.
도 5 는 본 명세서에서 설명된 기술의 하나 이상의 구현들에 따른, 사용자와 물리적 오브젝트 간의 공간 관계에 기초하여 물리적 오브젝트의 시각 이미지를 가상 이미지에 통합하는 프로세스를 예시한다.
물리적 환경 (200) 의 심도 이미지 (502) 는 HMD (204) 의 심도 카메라 (104) 에 의해 캡처된다. 도 5 는 또한, 시각 카메라 (102) 에 의해 캡처되는 물리적 환경 (200) 의 시각 이미지 (504) 를 예시한다. 도시한 바와 같이, 시각 이미지 (504) 는 사용자 (202) 의 손 (210), 데스크/테이블 (212), 키보드 (214), 및 모니터 (216) 의 이미지 데이터를 포함한다. VR 엔진 (122) 은, 예를 들어, 센서 (107) 에 의해 결정된 HMD (204) 의 포지션 및 배향에 따라 심도 이미지 (502) 를 변환하도록 구성될 수도 있다. 다른 예에서, VR 엔진 (122) 은 등록 프로세스에 의해 심도 이미지 (502) 를 변환할 수도 있고, 여기서 (센서 (107) 의 도움으로 또는 도움 없이) 변환을 결정하기 위해 심도 이미지 (502) 는 이전의 심도 이미지와 비교된다. 변환된 심도 이미지 (502) 는 그 후 정적 오브젝트들을 백그라운드로서 식별하기 위하여 이전의 심도 이미지 (506) 와 결합된다. 예를 들어, 심도 이미지 (502) 를 이전의 심도 이미지 (506) 와 비교하는 것은, 데스크/테이블 (212), 키보드 (214), 및 모니터 (216) 가 모두 정적 오브젝트들이고 따라서 백그라운드로서 분류되는 반면, 손 (210) 이 포어그라운드로서 분류되는 것을 드러낸다.
VR 엔진 (122) 은 그 후 포어그라운드 알파 마스크 (508) 를 생성하기 위해 심도 이미지 (502) 를 이전의 심도 이미지 (506) 와 비교하는 것에 의해 시각 이미지 (504) 를 세그먼트화할 수도 있다. 다음에, VR 엔진 (122) 은 식별된 포어그라운드 오브젝트를 터치하거나 또는 그 오브젝트에 가까운 백그라운드 오브젝트들을 식별한다. 예를 들어, VR 엔진 (122) 은 키보드 (214) (즉, 백그라운드 오브젝트) 를 손 (210) (포어그라운드 오브젝트) 에 가까운 것으로서 또는 그 손을 터치하는 것으로서 식별할 수도 있고 따라서, VR 엔진은, 키보드 (214) 만을 포함하는 백그라운드 알파 마스크 (510) 를 또한 생성하기 위해 시각 이미지 (504) 를 세그먼트화할 수도 있다. 하나의 예에서, 백그라운드 알파 마스크 (510) 를 생성하기 위해 시각 이미지 (504) 를 세그먼트화하는 것은 전체 백그라운드 오브젝트를 세그먼트화하기 위해, 백그라운드 오브젝트의 특징들, 이를 테면 표면 구조 및/또는 시각적 모습 (예를 들어, 컬러 및/또는 질감) 에 기초하여 선택된 백그라운드 오브젝트들을 확장하는 것을 포함한다. 따라서, 비록 손 (210) 이 단지 키보드 (214) 의 부분을 터치하고 있거나 또는 그 부분에 가까울 수도 있더라도, 전체 키보드 (214) 에 대응하는 백그라운드 알파 마스크 (510) 가 생성될 수도 있다. 일부 구현들에서, 상대적으로 큰 백그라운드 오브젝트들 (예를 들어, 벽들) 은 전부 세그먼트화될 수도 있다. 그러나, 다른 구현들에서, 상대적으로 큰 백그라운드 오브젝트들 (예를 들어, 벽들) 은 부분적으로만 세그먼트화될 수도 있고, 여기서 큰 백그라운드 오브젝트의 단지 부분만이 세그먼트화된다. 예를 들어, VR 엔진 (122) 은 사용자에 가장 가까운 오브젝트 상의 포인트의 임계 거리 내에 있는 큰 백그라운드 오브젝트 (예를 들어, 벽들) 의 단지 부분만을 세그먼트화하도록 구성될 수도 있다. 일 예로, VR 엔진 (122) 은 사용자 (202) 가 키보드 (214) 를 터치하고 따라서 전체 키보드 (214) 가 결합된 이미지 (516) 에서 나타나도록 전체 키보드 (214) 를 세그먼트화하는 것을 인식할 수도 있다. 그러나, VR 엔진 (122) 이 사용자 (202) 가 데스크/테이블 (212) 을 터치하고 있음을 인식할 때, 사용자 (202) 가 닿는 범위 내에 있는 데스크/테이블 (212) 의 단지 부분들만이 가상 이미지의 가림 (occlusion) 을 감소시키도록 결합된 이미지 (516) 에서 나타날 수도 있다.
VR 엔진 (122) 은 그 후, 후에 세그먼트화된 이미지 (514) 를 생성하기 위해 시각 이미지 (504) 에 적용되는, 결합된 알파 마스크 (512) 를 생성하기 위해 포어그라운드 알파 마스크 (508) 를 백그라운드 알파 마스크 (510) 와 결합한다. 도 5 에 도시한 바와 같이, 세그먼트화된 이미지 (514) 는 시각 카메라 (102) 에 의해 캡처된, 손 (210) 은 물론, 하나 이상의 물리적 오브젝트들 (즉, 키보드 (214)) 을 포함한다.
VR 엔진 (122) 은 그 후 결합된 이미지 (516) 를 디스플레이 (126) 를 통해 사용자 (202) 에게 디스플레이하기 위해 세그먼트화된 이미지 (514) 를 가상 이미지에 오버레이한다. 따라서, 결합된 이미지 (516) 는 시각 카메라 (102) 에 의해 캡처된 손 (210) 및 물리적 오브젝트 (예를 들어, 손 (210)) 은 물론 가상 이미지를 포함한다. 하나의 양태에서, VR 엔진 (122) 은 결합된 이미지 (516) 내의 가상 이미지와 보다 부합하는 손 (210) 의 모습을 생성하기 위해 가상 장면 조명에 따라 세그먼트화된 이미지 (514) 를 조정할 수도 있다. 하나의 예에서, VR 엔진 (122) 은 3D 포인트 클라우드에 기초하여 검출된 포어그라운드 오브젝트 (예를 들어, 손 (210)) 및 검출된 백그라운드 오브젝트 (예를 들어, 키보드 (214)) 의 3D 메시를 생성하는 것에 의해 세그먼트화된 이미지 (514) 를 조정할 수도 있다. 손 (210) 및 키보드 (214) 에 대응하는 시각 이미지 (504) 의 부분들은 그 후 (조정된) 세그먼트화된 이미지 (514) 를 생성하기 위해 3D 메시에 맵핑된다.
일부 구현들에서, VR 엔진 (122) 은, 가상 이미지가 세그먼트화된 이미지 (514) 에 의해 완전히 가려지지 않도록, 세그먼트화된 이미지 (514) 를 가상 이미지에 오버레이할 때 사용자 손 (210) 및/또는 키보드 (214) 의 투명도 (transparency) 를 조정할 수도 있다. 즉, 세그먼트화된 이미지 (514) 의 투명도는, 물리적 오브젝트들이 사용자의 요구를 위해 충분히 보이며 (예를 들어, 사용자가 정확히 손을 키보드로 향하게 하는 것을 허용하고) 그렇지만 VR 시뮬레이션을 상당히 간섭하지 않도록 (예를 들어, 게임플레이를 상당히 가리지 않도록) 조정될 수도 있다. 하나의 양태에서, VR 엔진 (122) 은 하나 이상의 물리적 오브젝트들이 완전히 투명할 때까지 시간 주기에 걸쳐 세그먼트화된 이미지 (514) 에 포함된 하나 이상의 물리적 오브젝트들의 투명도를 증가시킬 수도 있다. 일 예로, 키보드 (214) 의 투명도는 키보드 (214) 가 결합된 이미지 (516) 의 뷰에서 없어지기 전에 사용자 (202) 가 그들의 손을 키보드 (214) 위로 향하게 하는 것을 허용하기 위해 시간 주기에 걸쳐 증가될 수도 있다. 일부 구현들에서, 백그라운드 오브젝트들의 투명도는 포어그라운드 오브젝트들의 투명도에 독립적으로 제어될 수도 있다. 예를 들어, VR 엔진 (122) 은, 백그라운드 오브젝트 (즉, 키보드 (214)) 가 부분적으로 투명한 한편 포어그라운드 오브젝트 (즉, 손 (210)) 가 완전히 불투명 (non-transparent) 하도록, 포어그라운드 알파 마스크 (508) 를 백그라운드 알파 마스크 (510) 와 결합할 때 백그라운드 오브젝트의 투명도를 조정할 수도 있다. 상기 논의한 바와 같이, 상대적으로 큰 백그라운드 오브젝트들에 대해, VR 엔진 (122) 은 사용자에 가장 가까운 오브젝트 상의 포인트의 임계 거리 내에 있는 물리적 오브젝트의 그 부분들만을 세그먼트화할 수도 있다. 따라서, 백그라운드 알파 마스크 (510) 를 생성할 때, VR 엔진 (122) 은, 사용자로부터 더 멀리 있는 물리적 오브젝트의 부분들이 사용자에 더 가까운 물리적 오브젝트의 부분들보다 더 투명하도록, 물리적 오브젝트 상의 그 포인트로부터의 거리에 비례하도록 백그라운드 오브젝트의 투명도를 조정할 수도 있다.
상기 언급한 바와 같이, 물리적 환경에서 사용자와 하나 이상의 물리적 오브젝트들 간의 공간 관계를 결정하는 것은 사용자가 물리적 오브젝트를 터치하고 있고 및/또는 그에 가까운지 여부에 기초할 수도 있다. 따라서, HMD (100) 의 VR 엔진 (122) 은 물리적 환경 (200) 에서 사용자와 하나 이상의 물리적 오브젝트들 간의 거리를 결정하도록 구성될 수도 있고, 여기서 하나 이상의 물리적 오브젝트들은 그 거리가 임계 미만이면 세그먼트화된 이미지 (예를 들어, 516) 에 단지 포함된다. 임계의 값은 사용자가 하나 이상이 물리적 오브젝트를 터치하고 있다면 세그먼트화된 이미지가 하나 이상의 물리적 오브젝트들을 포함하도록 선택될 수도 있다. 임계의 값은 또한, 사용자가 적어도 하나 이상이 물리적 오브젝트들에 가깝다면 세그먼트화된 이미지가 하나 이상의 물리적 오브젝트들을 포함하도록 선택될 수도 있다. 이에 따라, 도 6 은 본 명세서에서 설명된 기술의 하나 이상의 구현들에 따른, 거리에 기초하여 사용자와 물리적 오브젝트 간의 공간 관계를 결정하는 일 예의 구현을 예시한다.
도 6 은 물리적 환경 (200) 에 위치된 사용자 (202) 의 손 (210) 및 하나 이상의 물리적 오브젝트들 (키보드 (214) 및 모니터 (216)) 을 예시한다. 이에 따라, HMD (100) 는, 손 (210) 과 물리적 오브젝트들 (214, 216) 각각 간의 거리들 (602, 604) 을 결정하는 것에 의해 사용자와 하나 이상의 물리적 오브젝트들 간의 거리를 결정하도록 구성될 수도 있다. 즉, 예시된 예는 사용자의 손과 물리적 오브젝트 간의 거리에 기초하여 사용자와 물리적 오브젝트 간의 공간 관계를 결정하는 것을 포함한다. 그러나, 다른 예들은 사용자의 다른 양태들과 물리적 오브젝트들 간의 거리를 결정하는 것을 포함할 수도 있다. 예를 들어, 거리는 사용자의 신체 (예를 들어, 몸통) 로부터 물리적 오브젝트까지의 거리, 사용자의 발로부터 물리적 오브젝트까지의 거리, 및/또는 사용자의 머리로부터 물리적 오브젝트까지의 거리에 기초할 수도 있다. 더욱이, 사용자와 물리적 오브젝트들 간의 거리를 결정하는 것은 사용자의 물리적 속성들 자체를 활용하는 것을 포함할 필요가 없고 그 대신에 사용자-제어된 표시자를 활용하는 것을 포함한다. 예를 들어, 사용자는 (예를 들어, 그들의 손에 유지하는 것에 의해) 스타일러스, 포인터, 태그, 또는 다른 마커를 제어할 수도 있고, 여기서 결정된 거리는 사용자-제어된 표시자와 물리적 오브젝트 간의 거리이다. 일부 구현들에서, 사용자와 물리적 오브젝트 간의 거리는 HMD (100) 에 포함된 하나 이상의 센서들 및/또는 카메라들로부터의 데이터에 기초하여 결정될 수도 있다. 예를 들어, HMD (100) 는 시각 이미지들 (103), 심도 정보 (105), 및/또는 센서 (107) 에 위해 제공된 데이터 중 하나 이상에 기초하여 사용자와 하나 이상의 물리적 오브젝트들 간의 거리를 결정할 수도 있다.
더욱이, 일부 예들에서, 도 6 에 예시된 거리들 (602 및 604) 은 각각 오브젝트들 (214 및 216) 의 표면, 에지, 또는 보더 상의 포인트까지의 거리일 수도 있다. 그러나, 다른 예들에서, 거리들 (602 및 604) 은 전체 개별의 오브젝트를 나타내는 포지션 (예를 들어, 레퍼런스 포지션, 이를 테면 중심, 코너, 등) 까지의 거리일 수도 있다. 일 예로, 프로세스 (400) 를 다시 참조하면, 프로세스 블록 (406) 에서, 시각 이미지는 아직 세그먼트화되지 않았고, 따라서 전체 물리적 오브젝트를 나타내는 포지션은 아직 알 수 없을 수도 있다. 프로세스 블록 (406) 은 그 후 사용자로부터의 소정의 거리 내 또는 공간 영역 내에 있는 포인트 클라우드의 시드 포인트들을 선택할 수도 있다. 프로세스 블록 (408) 은 그 후 선택된 시드 포인트들에 기초하여 물리적 오브젝트들 중 하나 이상의 세그먼트화하는 것을 포함할 수도 있고, 여기서 그 시드 포인트들은 (예를 들어, 컬러, 질감, 및/또는 지오메트리 균일성에 기초하여) 그 경계가 검출될 때까지 물리적 오브젝트를 성장시키는데 사용된다. 일단 물리적 오브젝트의 경계가 결정되면, VR 엔진 (122) 은 그 후, (이하에 논의되는) 오브젝트가 사용자의 임계 거리 내에 있는지 또는 정의된 공간 영역 내에 있는지를 결정하기 위하여 전체 물리적 오브젝트를 나타내는 포지션을 결정할 수도 있다.
도 6 에 도시한 바와 같이, 손은 키보드 (214) 로부터의 제 1 거리 (602) 이고 모니터 (216) 로부터의 더 큰 제 2 거리 (604) 이다. 제 1 거리 (602) 및 제 2 거리 (604) 는 세그먼트화된 이미지에 개별의 물리적 오브젝트들을 포함시킬지 여부를 결정하기 위해 임계와 각각 비교될 수도 있다. 예를 들어, 임계의 값은 또한, 손 (210) 이 적어도 하나 이상의 물리적 오브젝트들에 가깝다면 세그먼트화된 이미지가 하나 이상의 물리적 오브젝트들을 포함하도록 선택될 수도 있다. 이에 따라, 거리 (602) 는 키보드 (214) 가 세그먼트화된 이미지에 포함되도록 임계 미만인 반면, 거리 (604) 는 임계 미만이 아니고 따라서 모니터 (216) 는 세그먼트화된 이미지에 포함되지 않는다.
다른 예에서, 임계의 값은 사용자가 하나 이상이 물리적 오브젝트들을 터치하고 있는 경우에만 세그먼트화된 이미지가 하나 이상의 물리적 오브젝트들을 포함하도록 선택될 수도 있다. 즉, 임계의 값은 제로 (또는 제로에 가깝다) 일 수도 있다. 이에 따라, 거리들 (602 및 604) 은 손 (210) 이 키보드 (214) 도 모니터 (216) 도 터치하고 있지 않음을 표시하고 따라서 어느 물리적 오브젝트도 세그먼트화된 이미지에 포함되지 않을 수도 있다.
일부 양태들에서, 사용자와 물리적 오브젝트들 간의 거리는 HMD (100) 의 디스플레이 (126) 상에 디스플레이된 물리적 오브젝트들의 투명도를 조정하는데 사용될 수도 있다. 즉, VR 엔진 (122) 은 사용자와 하나 이상의 물리적 오브젝트들 간의 거리에 기초하여 세그먼트화된 이미지에 포함된 하나 이상의 물리적 오브젝트들의 투명도를 조정하도록 구성될 수도 있다. 하나의 구현에서, 물리적 오브젝트의 투명도는 사용자와 물리적 오브젝트 간의 초기 거리에 기초하여 설정될 수도 있고 그 후 투명도는 거리가 감소함에 따라 감소될 수도 있다 (물리적 오브젝트를 더 잘 보이게 함). 예를 들어, 도 6 을 참조하면, 키보드 (214) 의 투명도는 초기에는, 키보드 (214) 가 적어도 부분적으로 투명 (예를 들어, 도 5 의 결합된 이미지 (516) 에서 부분적으로 투명) 하도록, 거리 (602) 에 기초하여 설정될 수도 있다. 그 후, 손 (210) 이 키보드 (214) 를 향하여 이동하고, 이로써 거리 (602) 를 감소시킴에 따라, 투명도가 감소되어 손 (210) 이 키보드 (214) 에 가까워질수록 키보드 (214) 를 점점 더 보이게 할 수도 있다. 하나의 구현에서, 키보드 (214) 의 투명도는 거리 (602) 의 감소에 비례하여 감소될 수도 있다.
일부 구현들에서, 하나 이상의 물리적 오브젝트들은 사용자의 손 제스처 또는 손 포즈에 기초하여 HMD (100) 의 디스플레이 (126) 에 의해 디스플레이된 VR 장면에 통합될 수도 있다. 즉, 사용자와 하나 이상의 물리적 오브젝트들 간의 공간 관계는, 부분적으로, 세그먼트화된 이미지에 포함할 하나 이상의 물리적 오브젝트들을 식별하기 위해 사용자의 손이 손 제스처를 인식하는 것에 의해, 결정될 수도 있다. 일부 예들에서, 헤드-장착 디스플레이 (예를 들어, HMD (100)) 는 손 제스처를 인식하는 것에 응답하여 3D 포인트 클라우드 내에 그리고 사용자의 손에 근접하여 공간 영역을 생성한다. 세그먼트화된 이미지는 그 후 공간 영역 내에 적어도 부분적으로 위치되는 그 물리적 오브젝트들을 단지 포함할 수도 있다.
예를 들어, 도 7 은 본 명세서에서 설명된 기술의 하나 이상의 구현들에 따른, 제 1 손 제스처에 기초하여 사용자와 물리적 오브젝트 간의 공간 관계를 결정하는 구현을 예시한다. 도 7 의 손 (210) 은 펼쳐진 (open) 손 제스처이며, 여기서 손 (210) 은 손가락들을 편채 펼쳐져 있다. 펼쳐진 손 제스처를 인식하는 것에 응답하여, HMD (100) 는 좌표 시스템 (702) 에 의해 정의된 3D 포인트 클라우드 내의 클로즈드 3D 형상인 공간 영역을 생성할 수도 있다. 본 명세서에서 사용한 바와 같이, 클로즈드 3D 형상은 모든 측면들이 바운딩된 임의의 3D 형상이다. 도 7 의 예시된 예에서, 클로즈드 3D 형상은 구 (710) 이지만, 다른 클로즈드 3D 형상들, 이를 테면 정육면체, 직육면체, 피라미드, 원뿔, 프리즘, 원기둥 등도 물론 구현될 수도 있다. 더욱이, 구 (710) 는 손 (210) 과 일치하고 손 (210) 주위에 배향된다. 일부 양태들에서, 구 (710) 의 중심은 손 (210) 의 중심이다. 그러나, 다른 예들에서, 구 (710) 는 손 (210) 으로부터 오프셋될 수도 있다 (예를 들어, 구 (710) 는 구 (710) 의 표면이 손 (210) 과 접하도록 포지셔닝될 수도 있다). 구 (710) 는 또한 직경 (712) 을 포함한다. 일부 구현들에서, 직경 (712) 은 손 (210) 의 손가락들 간의 펼침 (spread) (714) 에 비례한다. 따라서, 사용자 (202) 가 그들의 손가락들 간의 펼침 (714) 을 변화시킴에 따라, 직경 (712) 은 그에 대응하여 동적으로 변화할 수도 있다. 즉, 펼침 (714) 이 증가함에 따라, 직경 (712) 은 비례하여 증가할 수도 있고, 그 역도 마찬가지이다.
도 7 은 3D 포인트 클라우드에 표현된 여러 물리적 오브젝트들 (704, 706, 및 708) 을 추가로 예시한다. 물리적 오브젝트 (704) 는 구 (710) 내에 완전히 위치되고 따라서 VR 엔진 (122) 에 의해 생성된 세그먼트화된 이미지에 포함된다. 물리적 오브젝트 (706) 는 구 (710) 내에 적어도 부분적으로 위치되고 따라서 세그먼트화된 이미지에 또한 포함된다. 그러나, 물리적 오브젝트 (708) 는 전혀 구 (710) 내에 위치되지 않고 따라서 세그먼트화된 이미지로부터 제외될 수도 있다.
도 8 은 본 명세서에서 설명된 기술의 하나 이상의 구현들에 따른, 제 2 손 제스처에 기초하여 사용자와 물리적 오브젝트 간의 공간 관계를 결정하는 일 예의 구현을 예시한다. 도 8 의 예에서, 손 (210) 은 손가락으로 가리키는 제스처이고, 여기서 손 (210) 은 적어도 하나의 손가락 (804) 을 내밀고 있다. 손가락으로 가리키는 제스처를 인식하는 것에 응답하여, HMD (100) 는 좌표 시스템 (702) 에 의해 정의된 3D 포인트 클라우드 내의 오픈 공간 영역인 공간 영역을 생성할 수도 있다. 본 명세서에서 사용한 바와 같이, 오픈 공간 영역은 모든 측면들이 바운딩되지 않은 2D 또는 3D 형상을 지칭할 수도 있다. 즉, 오픈 공간 영역의 적어도 하나의 측면은 오픈 공간 영역이 포인트 클라우드로 동적으로 확장할 수도 있도록 미바운딩될 수도 있다. 도 8 의 예시된 예에서, 오픈 공간 영역은 원뿔 형상 (806) 에 의해 정의되지만, 다른 오픈 형상들, 이를 테면 정육면체, 직육면체, 피라미드, 원뿔, 프리즘, 원기둥, 등도 물론 구현될 수도 있다. 더욱이, 원뿔 형상 (806) 은 손가락 (804) 으로부터 3D 포인트 클라우드로 확장한다. 따라서, 원뿔 형상 (806) 은 손가락 (804) 의 끝에 일치하는 정점 (apex) (808) 을 포함할 수도 있다. 그러나, 다른 예들에서, 정점 (808) 은 손가락 (804) 의 끝으로부터 오프셋될 수도 있다.
원뿔 형상 (806) 은 또한, 좌표 시스템 (702) 에 따라 손가락 (804) 의 배향 (810) 에 기초하여 손가락 (804) 에서 떠나 확장하는 것으로서 도시된다. 일부 구현들에서, 원뿔 형상 (806) 의 배향 (812) 은 손가락 (804) 의 배향 (810) 과 동일 또는 유사하다. 따라서, 사용자 (202) 가 손가락 (804) 의 배향 (810) 을 변화시킴에 따라, 원뿔 형상 (806) 의 배향 (812) 은 그에 대응하여 동적으로 변화할 수도 있다. 즉, 사용자가 물리적 환경 (200) 내의 영역을 가리키고 있을 때, 원뿔 형상 (806) 의 배향 (812) 은 그 영역에 위치된 하나 이상의 물리적 오브젝트들을 포괄하기 위해 변화할 수도 있다. 도 8 에 도시한 바와 같이, 물리적 오브젝트 (814) 는 원뿔 형상 (806) 내에 적어도 부분적으로 위치되고 따라서 세그먼트화된 이미지에 포함된다.
일부 구현들에서, HMD (100) 및/또는 HMD (204) 의 사용자는 다른 사람 또는 오브젝트가 물리적 환경에 들어가거나 또는 사용자의 근처에 접근할 때를 센싱하길 원할 수도 있다. 따라서, 소정의 양태들은 하나 이상의 물리적 오브젝트들이 물리적 환경에 대한 새로운 물리적 오브젝트들인지 여부를 결정하는 것에 의해 사용자와 하나 이상의 물리적 오브젝트들 간의 공간 관계를 결정하는 것을 포함할 수도 있다. 예를 들어, 도 9 는 본 명세서에서 설명된 기술의 하나 이상의 구현들에 따른, 물리적 환경의 이전의 모델에 기초하여 물리적 오브젝트의 시각 이미지를 가상 이미지에 통합하는 프로세스를 예시한다.
물리적 환경 (200) 의 심도 이미지 (902) 는 HMD (204) 의 심도 카메라 (104) 에 의해 캡처된다. 도 9 는 또한, 시각 카메라 (102) 에 의해 캡처되는 물리적 환경 (200) 의 시각 이미지 (904) 를 예시한다. 도시한 바와 같이, 시각 이미지 (904) 는 물리적 환경 (200) 에 들어간 사람 (916) 및 벽들 (918) 의 이미지 데이터를 포함한다. VR 엔진 (122) 은 예를 들어, 센서 (104) 에 의해 결정된 HMD (204) 의 포지션 및 배향에 따라 심도 이미지 (902) 를 변환하도록 구성될 수도 있다. 변환된 심도 이미지 (902) 는 그 후, 정적 오브젝트들을 기존 백그라운드 오브젝트로서 식별하기 위하여 이전의 모델 (즉, 이전의 심도 이미지 (906)) 와 결합된다. 예를 들어, 심도 이미지 (902) 를 이전의 심도 이미지 (906) 와 비교하는 것은 벽들 (918) 이 모두 정적 오브젝트들이고 따라서 기존 백그라운드 오브젝트들로서 분류되는 반면, 사람 (916) 은 새로운 백그라운드 오브젝트로서 분류되는 것을 드러낸다.
VR 엔진 (122) 은 그 후, 백그라운드 델타 마스크 (908) 를 생성하기 위해 심도 이미지 (902) 를 이전의 심도 이미지 (906) 와 비교하는 것에 의해 시각 이미지 (904) 를 세그먼트화할 수도 있다. VR 엔진 (122) 은 그 후, 세그먼트화된 이미지 (910) 를 생성하기 위해 백그라운드 델타 마스크 (908) 를 시각 이미지 (904) 에 적용한다. 도 9 에 도시한 바와 같이, 세그먼트화된 이미지 (910) 는 시각 카메라 (102) 에 의해 캡처된 하나 이상의 새로운 물리적 오브젝트들 (즉, 사람 (916)) 을 포함한다.
VR 엔진 (122) 은 그 후, 결합된 이미지 (914) 를 디스플레이 (126) 를 통해 사용자 (202) 에게 디스플레이하기 위해 세그먼트화된 이미지 (910) 를 가상 이미지 (912) 에 오버레이한다. 따라서, 결합된 이미지 (914) 는 가상 이미지 (912) 뿐만 아니라 시각 카메라 (102) 에 의해 캡처된 사람 (916) 을 포함한다. 하나의 양태에서, VR 엔진 (122) 은 결합된 이미지 (914) 내의 가상 이미지 (912) 와 보다 부합하는 사람 (916) 의 모습을 생성하기 위해 가상 장면 조명에 따라 세그먼트화된 이미지 (910) 를 조정할 수도 있다. 일 예로, VR 엔진 (122) 은 백그라운드 델타 마스크 (908) 를 시각 이미지 (904) 에 적용할 때 가상 장면 조명에 따라 세그먼트화된 이미지 (910) 를 조정하도록 구성될 수도 있다. 즉, VR 엔진 (122) 은 3D 포인트 클라우드에 기초하여 검출된 새로운 물리적 오브젝트 (예를 들어, 사람 (916)) 의 3D 메시를 생성할 수도 있고, 여기서 사람 (916) 에 대응하는 시각 이미지 (904) 의 부분들은 그 후 세그먼트화된 이미지 (910) 를 생성하기 위해 3D 메시에 맵핑된다.
도 10 은 본 명세서에서 교시한 바와 같이, 물리적 환경의 시각 이미지들을 통합하도록 구성된 사용자 디바이스 장치 (1000) 에서 채용될 수도 있는 컴포넌트들의 여러 샘플 양태들을 예시하는 단순화된 블록 다이어그램이다. 사용자 디바이스 장치 (1000) 는 일련의 상관된 기능적 모듈들로서 표현된, 도 1 의 HMD (100), 및/또는 도 2 의 HMD (204) 의 하나의 가능한 구현이다.
물리적 환경의 심도 정보를 캡처하기 위한 모듈 (1010) 은 적어도 일부 양태들에서, 예를 들어, 도 1 의 심도 카메라 (104) 및/또는 시각 카메라 (102) 에 대응할 수도 있다. 물리적 환경의 시각 이미지를 캡처하기 위한 모듈 (1020) 은 적어도 일부 양태들에서, 예를 들어, 도 1 의 시각 카메라 (102) 에 대응할 수도 있다. 심도 정보에 기초하여 헤드-장착 디스플레이의 사용자와 물리적 환경에 포함된 하나 이상의 물리적 오브젝트들 간의 공간 관계를 결정하기 위한 모듈 (1030) 은 일부 양태들에서, 예를 들어, 도 1 의 VR 엔진 (122) 에 대응할 수도 있다. 하나 이상의 물리적 오브젝트들을 포함하는 세그먼트화된 이미지를 생성하기 위해 공간 관계에 기초하여 시각 이미지를 세그먼트화하기 위한 모듈 (1040) 은 일부 양태들에서, 예를 들어, 도 1 의 VR 엔진 (122) 에 대응할 수도 있다. 헤드-장착 디스플레이로 가상 이미지를 제시하기 위한 모듈 (1050) 은 일부 양태들에서, 예를 들어, 도 1 의 디스플레이 (126) 와 결합한 VR 엔진 (122) 에 대응할 수도 있다. 가상 이미지와 시각 카메라에 의해 캡처된 하나 이상의 물리적 오브젝트들 양자 모두를 제시하기 위해 세그먼트화된 이미지를 가상 이미지에 오버레이하기 위한 모듈 (1060) 은 일부 양태들에서, 예를 들어, 도 1 의 헤드-장착 디스플레이 (126) 와 결합한 VR 엔진 (122) 에 대응할 수도 있다.
도 1 의 모듈들 (1010 내지 1060) 의 기능성은 본 명세서의 교시들에 부합하는 다양한 방식들로 구현될 수도 있다. 일부 설계들에서, 이들 모듈들 (1010 내지 1060) 의 기능성은 하나 이상의 전기적 컴포넌트들로서 구현될 수도 있다. 일부 설계들에서, 이들 모듈들 (1010 내지 1060) 의 기능성은 하나 이상의 프로세서 컴포넌트들을 포함하는 프로세싱 시스템으로서 구현될 수도 있다. 일부 설계들에서, 이들 모듈들 (1010 내지 1060) 의 기능성은, 예를 들어, 하나 이상의 집적 회로들 (예를 들어, ASIC) 의 적어도 부분을 사용하여 구현될 수도 있다. 본 명세서에서 논의한 바와 같이, 집적 회로는 프로세서, 소프트웨어, 다른 관련 컴포넌트들, 또는 그 일부 조합을 포함할 수도 있다. 따라서, 상이한 모듈들의 기능성은 예를 들어, 집적 회로의 상이한 서브세트들로서, 소프트웨어 모듈들의 세트의 상이한 서브세트들로서, 또는 그 조합으로 구현될 수도 있다. 또한, (예를 들어, 집적 회로의 및/또는 소프트웨어 모듈들의 세트의) 주어진 서브세트는 1 초과의 모듈에 대해 기능성의 적어도 부분을 제공할 수도 있다는 것이 인정될 것이다.
추가로, 도 10 에 의해 표현된 컴포넌트들 및 기능들, 뿐만 아니라 본 명세서에서 설명된 다른 컴포넌트들 및 기능들은, 임의의 적합한 수단을 사용하여 구현될 수도 있다. 이러한 수단은 또한, 본 명세서에서 교시한 바와 같이 대응하는 구조를 사용하여 적어도 부분적으로 구현될 수도 있다. 예를 들어, 도 10 의 "위한 모듈" 컴포넌트들과 함께 상기 설명된 컴포넌트들은 또한 유사하게 지정된 "위한 수단" 기능성에 대응할 수도 있다. 따라서, 일부 양태들에서, 이러한 수단의 하나 이상은 본 명세서에서 교시한 바와 같이 프로세서 컴포넌트들, 집적 회로들, 또는 다른 적합한 구조 중 하나 이상을 사용하여 구현될 수도 있다.
하나 이상의 구현들은 본 명세서에서 특정한 애플리케이션들에 대한 예시들을 참조하여 설명된다. 그 구현들은 제한으로 의도되지 않는 것으로 이해되어야 한다. 본 명세서에서 제공된 교시들에 액세스하는 당업자들은 그 범위 내의 추가적인 변형들, 적용들, 및 구현들 및 그 기술이 상당히 유용성이 있을 추가적인 분야들을 인식할 것이다. 예의 구현들의 상기 설명에서, 설명의 목적들을 위해, 특정 번호들, 재료들, 구성들, 및 다른 상세들이 청구한 바와 같이 구현들을 더 잘 설명하기 위하여 기재된다. 그러나, 청구항들은 본 명세서에서 설명된 예들과는 상이한 상세들을 사용하여 실시될 수도 있다는 것이 당업자들에게 명백할 것이다. 다른 인스턴스들에서, 잘 알려진 피처들은 예의 구현들의 설명을 명확하게 하기 위해 생략 또는 단순화된다.

Claims (46)

  1. 물리적 환경에서 헤드-장착 디스플레이에의 사용을 위한 방법으로서,
    상기 물리적 환경의 심도 정보를 획득하는 단계로서, 상기 물리적 환경은 하나 이상의 물리적 오브젝트들을 포함하는, 상기 물리적 환경의 심도 정보를 획득하는 단계;
    시각 카메라로 상기 물리적 환경의 시각 이미지를 캡처하는 단계;
    상기 심도 정보에 기초하여 상기 헤드-장착 디스플레이의 사용자와 상기 물리적 환경에 포함된 상기 하나 이상의 물리적 오브젝트들 간의 공간 관계를 결정하는 단계;
    상기 하나 이상의 물리적 오브젝트들을 포함하는 세그먼트화된 이미지를 생성하기 위해 상기 공간 관계에 기초하여 상기 시각 이미지를 세그먼트화하는 단계;
    상기 헤드-장착 디스플레이 상에 가상 이미지를 디스플레이하는 단계; 및
    상기 가상 이미지와 상기 시각 카메라에 의해 캡처된 상기 하나 이상의 물리적 오브젝트들 양자 모두를 디스플레이하기 위해 상기 세그먼트화된 이미지를 상기 가상 이미지에 오버레이하는 단계를 포함하는, 물리적 환경에서 헤드-장착 디스플레이에의 사용을 위한 방법.
  2. 제 1 항에 있어서,
    상기 헤드-장착 디스플레이의 사용자와 상기 하나 이상의 물리적 오브젝트들 간의 공간 관계를 결정하는 단계는 상기 사용자와 상기 하나 이상의 물리적 오브젝트들 간의 거리를 결정하는 단계를 포함하고, 상기 시각 이미지를 세그먼트화하는 단계는, 상기 거리가 임계 미만인 경우에만 상기 세그먼트화된 이미지에 상기 하나 이상의 물리적 오브젝트들을 포함시키는 단계를 포함하는, 물리적 환경에서 헤드-장착 디스플레이에의 사용을 위한 방법.
  3. 제 2 항에 있어서,
    상기 임계의 값은, 상기 사용자가 상기 하나 이상의 물리적 오브젝트들을 터치하고 있으면 상기 세그먼트화된 이미지가 상기 하나 이상의 물리적 오브젝트들을 포함하도록 하는, 물리적 환경에서 헤드-장착 디스플레이에의 사용을 위한 방법.
  4. 제 2 항에 있어서,
    상기 임계의 값은, 상기 사용자가 적어도 상기 하나 이상의 물리적 오브젝트들에 가깝다면 상기 세그먼트화된 이미지가 상기 하나 이상의 물리적 오브젝트들을 포함하도록 하는, 물리적 환경에서 헤드-장착 디스플레이에의 사용을 위한 방법.
  5. 제 2 항에 있어서,
    상기 사용자와 상기 하나 이상의 물리적 오브젝트들 간의 상기 거리는 상기 사용자의 손과 상기 하나 이상의 물리적 오브젝트들 간의 거리인, 물리적 환경에서 헤드-장착 디스플레이에의 사용을 위한 방법.
  6. 제 2 항에 있어서,
    상기 세그먼트화된 이미지를 상기 가상 이미지에 오버레이하는 단계는 상기 사용자와 상기 하나 이상의 물리적 오브젝트들 간의 상기 거리에 기초하여 상기 시각 카메라에 의해 캡처된 상기 하나 이상의 물리적 오브젝트들의 투명도를 조정하는 단계를 포함하는, 물리적 환경에서 헤드-장착 디스플레이에의 사용을 위한 방법.
  7. 제 6 항에 있어서,
    상기 하나 이상의 물리적 오브젝트들의 투명도를 조정하는 단계는 상기 사용자와 상기 하나 이상의 물리적 오브젝트들 간의 상기 거리의 감소에 비례하여 상기 투명도를 감소시키는 단계를 포함하는, 물리적 환경에서 헤드-장착 디스플레이에의 사용을 위한 방법.
  8. 제 1 항에 있어서,
    상기 세그먼트화된 이미지를 상기 가상 이미지에 오버레이하는 단계는, 상기 가상 이미지가 상기 하나 이상의 물리적 오브젝트들에 의해 완전히 가려지지 않도록 상기 시각 카메라에 의해 캡처된 상기 하나 이상의 물리적 오브젝트들의 투명도를 조정하는 단계를 포함하는, 물리적 환경에서 헤드-장착 디스플레이에의 사용을 위한 방법.
  9. 제 8 항에 있어서,
    상기 하나 이상의 물리적 오브젝트들이 완전히 투명할 때까지 시간 주기에 걸쳐 상기 가상 이미지에서의 상기 하나 이상의 물리적 오브젝트들의 상기 투명도를 증가시키는 단계를 더 포함하는, 물리적 환경에서 헤드-장착 디스플레이에의 사용을 위한 방법.
  10. 제 1 항에 있어서,
    상기 헤드-장착 디스플레이의 사용자와 상기 하나 이상의 물리적 오브젝트들 간의 공간 관계를 결정하는 단계는 상기 세그먼트화된 이미지에 포함할 상기 하나 이상의 물리적 오브젝트들을 식별하기 위해 상기 사용자의 손의 손 제스처를 인식하는 단계를 포함하는, 물리적 환경에서 헤드-장착 디스플레이에의 사용을 위한 방법.
  11. 제 10 항에 있어서,
    상기 심도 정보는 상기 물리적 환경의 3-차원 (3D) 포인트 클라우드를 포함하고, 상기 물리적 환경에서 헤드-장착 디스플레이에의 사용을 위한 방법은,
    상기 손 제스처를 인식하는 것에 응답하여 상기 3D 포인트 클라우드 내에 그리고 상기 사용자의 손에 근접하여 공간 영역을 생성하는 단계를 더 포함하고, 상기 시각 이미지를 세그먼트화하는 단계는, 상기 하나 이상의 물리적 오브젝트들이 상기 공간 영역 내에 적어도 부분적으로 위치되는 경우에만 상기 세그먼트화된 이미지에 상기 하나 이상의 물리적 오브젝트들을 포함시키는 단계를 포함하는, 물리적 환경에서 헤드-장착 디스플레이에의 사용을 위한 방법.
  12. 제 11 항에 있어서,
    상기 공간 영역을 생성하는 단계는 상기 손 제스처를 인식하는 것에 응답하여 클로즈드 3D 형상을 생성하는 단계를 포함하고, 상기 시각 이미지를 세그먼트화하는 단계는, 상기 하나 이상의 물리적 오브젝트들이 상기 클로즈드 3D 형상 내에 적어도 부분적으로 위치되는 경우에만 상기 세그먼트화된 이미지에 상기 하나 이상의 물리적 오브젝트들을 포함시키는 단계를 포함하는, 물리적 환경에서 헤드-장착 디스플레이에의 사용을 위한 방법.
  13. 제 12 항에 있어서,
    상기 손 제스처는 펼쳐진 (open) 손 제스처이고, 상기 클로즈드 3D 형상은 구인, 물리적 환경에서 헤드-장착 디스플레이에의 사용을 위한 방법.
  14. 제 13 항에 있어서,
    상기 구는 상기 사용자의 손 주위에 배향되고 상기 사용자의 손의 손가락들의 펼침 (spread) 에 비례하는 직경을 갖는, 물리적 환경에서 헤드-장착 디스플레이에의 사용을 위한 방법.
  15. 제 11 항에 있어서,
    상기 공간 영역을 생성하는 단계는 상기 손 제스처를 인식하는 것에 응답하여 상기 사용자의 손으로부터 상기 3D 포인트 클라우드로 확장하는 오픈 공간 영역을 생성하는 단계를 포함하고, 상기 시각 이미지를 세그먼트화하는 단계는, 상기 하나 이상의 물리적 오브젝트들이 상기 오픈 공간 영역 내에 적어도 부분적으로 위치되는 경우에만 상기 세그먼트화된 이미지에 상기 하나 이상의 물리적 오브젝트들을 포함시키는 단계를 포함하는, 물리적 환경에서 헤드-장착 디스플레이에의 사용을 위한 방법.
  16. 제 15 항에 있어서,
    상기 손 제스처는 손가락으로 가리키는 손 제스처이고, 상기 오픈 공간 영역은 상기 사용자의 손의 손가락에 정점을 갖는 원뿔 형상에 의해 정의된 영역이고, 상기 원뿔 형상은 상기 손가락의 배향에 기초하여 상기 손가락에서 떠나 상기 물리적 환경으로 확장하는, 물리적 환경에서 헤드-장착 디스플레이에의 사용을 위한 방법.
  17. 제 1 항에 있어서,
    상기 세그먼트화된 이미지를 생성하기 위해 상기 공간 관계에 기초하여 상기 시각 이미지를 세그먼트화하는 단계는 상기 가상 이미지의 가상 장면 조명 (virtual scene lighting) 에 따라 상기 세그먼트화된 이미지를 조정하는 단계를 포함하는, 물리적 환경에서 헤드-장착 디스플레이에의 사용을 위한 방법.
  18. 제 17 항에 있어서,
    상기 심도 정보는 상기 물리적 환경의 3-차원 (3D) 포인트 클라우드를 포함하고, 상기 가상 이미지의 가상 장면 조명에 따라 상기 세그먼트화된 이미지를 조정하는 단계는,
    상기 3D 포인트 클라우드에 기초하여 상기 하나 이상의 물리적 오브젝트들의 3D 메시를 생성하는 단계; 및
    상기 시각 이미지의 부분을 상기 하나 이상의 물리적 오브젝트들의 상기 3D 메시에 맵핑하는 단계를 포함하는, 물리적 환경에서 헤드-장착 디스플레이에의 사용을 위한 방법.
  19. 제 1 항에 있어서,
    상기 시각 이미지를 세그먼트화하는 단계는 상기 심도 정보에 기초하여 상기 물리적 환경에 포함된 하나 이상의 다른 물리적 오브젝트들로부터 상기 하나 이상의 물리적 오브젝트들을 세그먼트화하는 단계를 포함하는, 물리적 환경에서 헤드-장착 디스플레이에의 사용을 위한 방법.
  20. 제 1 항에 있어서,
    상기 시각 이미지를 세그먼트화하는 단계는 상기 시각 카메라에 의해 캡처된 상기 사용자의 손 및 상기 하나 이상의 물리적 오브젝트들을 포함하는 상기 세그먼트화된 이미지를 생성하는 단계를 포함하는, 물리적 환경에서 헤드-장착 디스플레이에의 사용을 위한 방법.
  21. 제 1 항에 있어서,
    상기 시각 카메라에 의해 캡처된 상기 물리적 환경의 시야 (field of view) 는 상기 헤드-장착 디스플레이에 의해 방해받는 상기 사용자의 시야인, 물리적 환경에서 헤드-장착 디스플레이에의 사용을 위한 방법.
  22. 제 1 항에 있어서,
    상기 헤드-장착 디스플레이의 사용자와 상기 하나 이상의 물리적 오브젝트들 간의 공간 관계를 결정하는 단계는,
    상기 물리적 환경의 이전의 모델을 획득하는 단계; 및
    상기 이전의 모델에 기초하여 상기 하나 이상의 물리적 오브젝트들이 상기 물리적 환경에 대한 새로운 물리적 오브젝트들인지 여부를 결정하는 단계로서, 상기 시각 이미지를 세그먼트화하는 단계는, 상기 하나 이상의 물리적 오브젝트들이 상기 물리적 환경에 대한 새로운 물리적 오브젝트들이라고 결정하는 것에 응답하여 상기 세그먼트화된 이미지에 상기 하나 이상의 물리적 오브젝트들을 포함시키는 단계를 포함하는, 상기 하나 이상의 물리적 오브젝트들이 상기 물리적 환경에 대한 새로운 물리적 오브젝트들인지 여부를 결정하는 단계를 포함하는, 물리적 환경에서 헤드-장착 디스플레이에의 사용을 위한 방법.
  23. 헤드-장착 디스플레이로서,
    물리적 환경의 심도 정보를 획득하기 위한 수단으로서, 상기 물리적 환경은 하나 이상의 물리적 오브젝트들을 포함하는, 상기 물리적 환경의 심도 정보를 획득하기 위한 수단;
    상기 물리적 환경의 시각 이미지를 캡처하기 위한 시각 카메라;
    상기 심도 정보에 기초하여 상기 헤드-장착 디스플레이의 사용자와 상기 물리적 환경에 포함된 상기 하나 이상의 물리적 오브젝트들 간의 공간 관계를 결정하기 위한 수단;
    상기 하나 이상의 물리적 오브젝트들을 포함하는 세그먼트화된 이미지를 생성하기 위해 상기 공간 관계에 기초하여 상기 시각 이미지를 세그먼트화하기 위한 수단;
    상기 헤드-장착 디스플레이 상에 가상 이미지를 디스플레이하기 위한 수단; 및
    상기 가상 이미지와 상기 시각 카메라에 의해 캡처된 상기 하나 이상의 물리적 오브젝트들 양자 모두를 디스플레이하기 위해 상기 세그먼트화된 이미지를 상기 가상 이미지에 오버레이하기 위한 수단을 포함하는, 헤드-장착 디스플레이.
  24. 제 23 항에 있어서,
    상기 헤드-장착 디스플레이의 사용자와 상기 하나 이상의 물리적 오브젝트들 간의 공간 관계를 결정하기 위한 수단은 상기 사용자와 상기 하나 이상의 물리적 오브젝트들 간의 거리를 결정하기 위한 수단을 포함하고, 상기 시각 이미지를 세그먼트화하기 위한 수단은, 상기 거리가 임계 미만인 경우에만 상기 세그먼트화된 이미지에 상기 하나 이상의 물리적 오브젝트들을 포함시키기 위한 수단을 포함하는, 헤드-장착 디스플레이.
  25. 제 24 항에 있어서,
    상기 사용자와 상기 하나 이상의 물리적 오브젝트들 간의 상기 거리는 상기 사용자의 손과 상기 하나 이상의 물리적 오브젝트들 간의 거리인, 헤드-장착 디스플레이.
  26. 제 23 항에 있어서,
    상기 헤드-장착 디스플레이의 사용자와 상기 하나 이상의 물리적 오브젝트들 간의 공간 관계를 결정하기 위한 수단은 상기 세그먼트화된 이미지에 포함할 상기 하나 이상의 물리적 오브젝트들을 식별하기 위해 상기 사용자의 손의 손 제스처를 인식하기 위한 수단을 포함하는, 헤드-장착 디스플레이.
  27. 제 26 항에 있어서,
    상기 심도 정보는 상기 물리적 환경의 3-차원 (3D) 포인트 클라우드를 포함하고, 상기 헤드-장착 디스플레이는,
    상기 손 제스처를 인식하는 것에 응답하여 상기 3D 포인트 클라우드 내에 그리고 상기 사용자의 손에 근접하여 공간 영역을 생성하기 위한 수단을 더 포함하고, 상기 시각 이미지를 세그먼트화하기 위한 수단은. 상기 하나 이상의 물리적 오브젝트들이 상기 공간 영역 내에 적어도 부분적으로 위치되는 경우에만 상기 세그먼트화된 이미지에 상기 하나 이상의 물리적 오브젝트들을 포함시키기 위한 수단을 포함하는, 헤드-장착 디스플레이.
  28. 제 27 항에 있어서,
    상기 공간 영역을 생성하기 위한 수단은 상기 손 제스처를 인식하는 것에 응답하여 클로즈드 3D 형상을 생성하기 위한 수단을 포함하고, 상기 시각 이미지를 세그먼트화하기 위한 수단은, 상기 하나 이상의 물리적 오브젝트들이 상기 클로즈드 3D 형상 내에 적어도 부분적으로 위치되는 경우에만 상기 세그먼트화된 이미지에 상기 하나 이상의 물리적 오브젝트들을 포함시키기 위한 수단을 포함하는, 헤드-장착 디스플레이.
  29. 제 27 항에 있어서,
    상기 공간 영역을 생성하기 위한 수단은 상기 손 제스처를 인식하는 것에 응답하여 상기 사용자의 손으로부터 상기 3D 포인트 클라우드로 확장하는 오픈 공간 영역을 생성하기 위한 수단을 포함하고, 상기 시각 이미지를 세그먼트화하기 위한 수단은, 상기 하나 이상의 물리적 오브젝트들이 상기 오픈 공간 영역 내에 적어도 부분적으로 위치되는 경우에만 상기 세그먼트화된 이미지에 상기 하나 이상의 물리적 오브젝트들을 포함시키기 위한 수단을 포함하는, 헤드-장착 디스플레이.
  30. 제 23 항에 있어서,
    상기 헤드-장착 디스플레이의 사용자와 상기 하나 이상의 물리적 오브젝트들 간의 공간 관계를 결정하기 위한 수단은,
    상기 물리적 환경의 이전의 모델을 획득하기 위한 수단; 및
    상기 이전의 모델에 기초하여 상기 하나 이상의 물리적 오브젝트들이 상기 물리적 환경에 대한 새로운 물리적 오브젝트들인지 여부를 결정하기 위한 수단으로서, 상기 시각 이미지를 세그먼트화하기 위한 수단은, 상기 하나 이상의 물리적 오브젝트들이 상기 물리적 환경에 대한 새로운 물리적 오브젝트들이라고 결정하는 것에 응답하여 상기 세그먼트화된 이미지에 상기 하나 이상의 물리적 오브젝트들을 포함시키기 위한 수단을 포함하는, 상기 하나 이상의 물리적 오브젝트들이 상기 물리적 환경에 대한 새로운 물리적 오브젝트들인지 여부를 결정하기 위한 수단을 포함하는, 헤드-장착 디스플레이.
  31. 헤드-장착 디스플레이로서,
    시각 카메라;
    디스플레이;
    적어도 하나의 프로세서; 및
    상기 적어도 하나의 프로세서에 커플링된 적어도 하나의 메모리를 포함하고,
    상기 적어도 하나의 프로세서 및 상기 적어도 하나의 메모리는,
    물리적 환경의 심도 정보를 획득하는 것으로서, 상기 물리적 환경은 하나 이상의 물리적 오브젝트들을 포함하는, 상기 물리적 환경의 심도 정보를 획득하고;
    상기 시각 카메라로 상기 물리적 환경의 시각 이미지를 캡처하고;
    상기 심도 정보에 기초하여 상기 헤드-장착 디스플레이의 사용자와 상기 물리적 환경에 포함된 상기 하나 이상의 물리적 오브젝트들 간의 공간 관계를 결정하고;
    상기 하나 이상의 물리적 오브젝트들을 포함하는 세그먼트화된 이미지를 생성하기 위해 상기 공간 관계에 기초하여 상기 시각 이미지를 세그먼트화하고;
    상기 디스플레이 상에 가상 이미지를 디스플레이하고; 그리고
    상기 가상 이미지와 상기 시각 카메라에 의해 캡처된 상기 하나 이상의 물리적 오브젝트들 양자 모두를 디스플레이하기 위해 상기 세그먼트화된 이미지를 상기 가상 이미지에 오버레이할 것을 상기 헤드-장착 디스플레이에 지시하도록 구성되는, 헤드-장착 디스플레이.
  32. 제 31 항에 있어서,
    상기 적어도 하나의 프로세서 및 상기 적어도 하나의 메모리는,
    상기 사용자와 상기 하나 이상의 물리적 오브젝트들 간의 거리를 결정하는 것에 의해 상기 헤드-장착 디스플레이의 상기 사용자와 상기 하나 이상의 물리적 오브젝트들 간의 상기 공간 관계를 결정하고; 그리고
    상기 거리가 임계 미만인 경우에만 상기 세그먼트화된 이미지에 상기 하나 이상의 물리적 오브젝트들을 포함시키는 것에 의해 상기 시각 이미지를 세그먼트화할 것을 상기 헤드-장착 디스플레이에 지시하도록 추가로 구성되는, 헤드-장착 디스플레이.
  33. 제 32 항에 있어서,
    상기 사용자와 상기 하나 이상의 물리적 오브젝트들 간의 상기 거리는 상기 사용자의 손과 상기 하나 이상의 물리적 오브젝트들 간의 거리인, 헤드-장착 디스플레이.
  34. 제 31 항에 있어서,
    상기 적어도 하나의 프로세서 및 상기 적어도 하나의 메모리는,
    상기 세그먼트화된 이미지에 포함할 상기 하나 이상의 물리적 오브젝트들을 식별하기 위해 상기 사용자의 손의 손 제스처를 인식하는 것에 의해 상기 헤드-장착 디스플레이의 상기 사용자와 상기 하나 이상의 물리적 오브젝트들 간의 상기 공간 관계를 결정할 것을 상기 헤드-장착 디스플레이에 지시하도록 추가로 구성되는, 헤드-장착 디스플레이.
  35. 제 31 항에 있어서,
    상기 심도 정보는 상기 물리적 환경의 3-차원 (3D) 포인트 클라우드를 포함하고, 상기 적어도 하나의 프로세서 및 상기 적어도 하나의 메모리는,
    손 제스처를 인식하는 것에 응답하여 상기 3D 포인트 클라우드 내에 그리고 상기 사용자의 손에 근접하여 공간 영역을 생성하고;
    상기 하나 이상의 물리적 오브젝트들이 상기 공간 영역 내에 적어도 부분적으로 위치되는 경우에만 상기 세그먼트화된 이미지에 상기 하나 이상의 물리적 오브젝트들을 포함시키는 것에 의해 상기 시각 이미지를 세그먼트화할 것을 상기 헤드-장착 디스플레이에 지시하도록 추가로 구성되는, 헤드-장착 디스플레이.
  36. 제 35 항에 있어서,
    상기 적어도 하나의 프로세서 및 상기 적어도 하나의 메모리는,
    상기 손 제스처를 인식하는 것에 응답하여 클로즈드 3D 형상을 생성하는 것에 의해 상기 공간 영역을 생성하고; 그리고
    상기 하나 이상의 물리적 오브젝트들이 상기 클로즈드 3D 형상 내에 적어도 부분적으로 위치되는 경우에만 상기 세그먼트화된 이미지에 상기 하나 이상의 물리적 오브젝트들을 포함시키는 것에 의해 상기 시각 이미지를 세그먼트화할 것을 상기 헤드-장착 디스플레이에 지시하도록 추가로 구성되는, 헤드-장착 디스플레이.
  37. 제 35 항에 있어서,
    상기 적어도 하나의 프로세서 및 상기 적어도 하나의 메모리는,
    상기 손 제스처를 인식하는 것에 응답하여 상기 사용자의 손으로부터 상기 3D 포인트 클라우드로 확장하는 오픈 공간 영역을 생성하는 것에 의해 상기 공간 영역을 생성하고;
    상기 하나 이상의 물리적 오브젝트들이 상기 오픈 공간 영역 내에 적어도 부분적으로 위치되는 경우에만 상기 세그먼트화된 이미지에 상기 하나 이상의 물리적 오브젝트들을 포함시키는 것에 의해 상기 시각 이미지를 세그먼트화할 것을 상기 헤드-장착 디스플레이에 지시하도록 추가로 구성되는, 헤드-장착 디스플레이.
  38. 제 31 항에 있어서,
    상기 적어도 하나의 프로세서 및 상기 적어도 하나의 메모리는,
    상기 물리적 환경의 이전의 모델을 획득하는 것;
    상기 이전의 모델에 기초하여 상기 하나 이상의 물리적 오브젝트들이 상기 물리적 환경에 대한 새로운 물리적 오브젝트들인지 여부를 결정하는 것; 및
    상기 하나 이상의 물리적 오브젝트들이 상기 물리적 환경에 대한 새로운 물리적 오브젝트들이라고 결정하는 것에 응답하여 상기 세그먼트화된 이미지에 상기 하나 이상의 물리적 오브젝트들을 포함시키는 것에 의해 상기 시각 이미지를 세그먼트화하는 것
    에 의해, 상기 헤드-장착 디스플레이의 상기 사용자와 상기 하나 이상의 물리적 오브젝트들 간의 상기 공간 관계를 결정할 것을 상기 헤드-장착 디스플레이에 지시하도록 추가로 구성되는, 헤드-장착 디스플레이.
  39. 제 31 항에 있어서,
    심도 카메라를 더 포함하고,
    상기 적어도 하나의 프로세서 및 상기 적어도 하나의 메모리는, 상기 심도 카메라로 상기 물리적 환경의 상기 심도 정보를 캡처할 것을 상기 헤드-장착 디스플레이에 지시하도록 추가로 구성되는, 헤드-장착 디스플레이.
  40. 프로그램 코드를 저장하고 있는 비일시적 컴퓨터 판독가능 저장 매체로서,
    상기 프로그램 코드는, 실행될 때, 헤드-장착 디스플레이로 하여금,
    물리적 환경의 심도 정보를 획득하게 하는 것으로서, 상기 물리적 환경은 하나 이상의 물리적 오브젝트들을 포함하는, 상기 물리적 환경의 심도 정보를 획득하게 하고;
    시각 카메라로 상기 물리적 환경의 시각 이미지를 캡처하게 하고;
    상기 심도 정보에 기초하여 상기 헤드-장착 디스플레이의 사용자와 상기 물리적 환경에 포함된 상기 하나 이상의 물리적 오브젝트들 간의 공간 관계를 결정하게 하고;
    상기 하나 이상의 물리적 오브젝트들을 포함하는 세그먼트화된 이미지를 생성하기 위해 상기 공간 관계에 기초하여 상기 시각 이미지를 세그먼트화하게 하고;
    상기 헤드-장착 디스플레이 상에 가상 이미지를 디스플레이하게 하고; 그리고
    상기 가상 이미지와 상기 시각 카메라에 의해 캡처된 상기 하나 이상의 물리적 오브젝트들 양자 모두를 디스플레이하기 위해 상기 세그먼트화된 이미지를 상기 가상 이미지에 오버레이하게 하는 명령들을 포함하는, 비일시적 컴퓨터 판독가능 저장 매체.
  41. 제 40 항에 있어서,
    상기 헤드-장착 디스플레이의 사용자와 상기 하나 이상의 물리적 오브젝트들 간의 공간 관계를 결정하기 위한 명령들은 상기 사용자와 상기 하나 이상의 물리적 오브젝트들 간의 거리를 결정하기 위한 명령들을 포함하고, 상기 시각 이미지를 세그먼트화하기 위한 명령들은, 상기 거리가 임계 미만인 경우에만 상기 세그먼트화된 이미지에 상기 하나 이상의 물리적 오브젝트들을 포함시키기 위한 명령들을 포함하는, 비일시적 컴퓨터 판독가능 저장 매체.
  42. 제 40 항에 있어서,
    상기 헤드-장착 디스플레이의 사용자와 상기 하나 이상의 물리적 오브젝트들 간의 공간 관계를 결정하기 위한 명령들은 상기 세그먼트화된 이미지에 포함할 상기 하나 이상의 물리적 오브젝트들을 식별하기 위해 상기 사용자의 손의 손 제스처를 인식하기 위한 명령을 포함하는, 비일시적 컴퓨터 판독가능 저장 매체.
  43. 제 42 항에 있어서,
    상기 심도 정보는 상기 물리적 환경의 3-차원 (3D) 포인트 클라우드를 포함하고, 상기 비일시적 컴퓨터 판독가능 저장 매체는,
    상기 손 제스처를 인식하는 것에 응답하여 상기 3D 포인트 클라우드 내에 그리고 상기 사용자의 손에 근접하여 공간 영역을 생성하고; 그리고
    상기 하나 이상의 물리적 오브젝트들이 상기 공간 영역 내에 적어도 부분적으로 위치되는 경우에만 상기 세그먼트화된 이미지에 상기 하나 이상의 물리적 오브젝트들을 포함시키는 것에 의해 상기 시각 이미지를 세그먼트화할 것을 상기 헤드-장착 디스플레이에 지시하기 위한 명령들을 더 포함하는, 비일시적 컴퓨터 판독가능 저장 매체.
  44. 제 43 항에 있어서,
    상기 공간 영역을 생성하기 위한 명령들은 상기 손 제스처를 인식하는 것에 응답하여 클로즈드 3D 형상을 생성하기 위한 명령들을 포함하고, 상기 시각 이미지를 세그먼트화하기 위한 명령들은, 상기 하나 이상의 물리적 오브젝트들이 상기 클로즈드 3D 형상 내에 적어도 부분적으로 위치되는 경우에만 상기 세그먼트화된 이미지에 상기 하나 이상의 물리적 오브젝트들을 포함시키기 위한 명령들을 포함하는, 비일시적 컴퓨터 판독가능 저장 매체.
  45. 제 43 항에 있어서,
    상기 공간 영역을 생성하기 위한 명령들은 상기 손 제스처를 인식하는 것에 응답하여 상기 사용자의 손으로부터 상기 3D 포인트 클라우드로 확장하는 오픈 공간 영역을 생성하기 위한 명령들을 포함하고, 상기 시각 이미지를 세그먼트화하기 위한 명령들은, 상기 하나 이상의 물리적 오브젝트들이 상기 오픈 공간 영역 내에 적어도 부분적으로 위치되는 경우에만 상기 세그먼트화된 이미지에 상기 하나 이상의 물리적 오브젝트들을 포함시키기 위한 명령들을 포함하는, 비일시적 컴퓨터 판독가능 저장 매체.
  46. 제 40 항에 있어서,
    상기 헤드-장착 디스플레이의 사용자와 상기 하나 이상의 물리적 오브젝트들 간의 공간 관계를 결정하기 위한 명령들은,
    상기 물리적 환경의 이전의 모델을 획득하고;
    상기 이전의 모델에 기초하여 상기 하나 이상의 물리적 오브젝트들이 상기 물리적 환경에 대한 새로운 물리적 오브젝트들인지 여부를 결정하고; 그리고
    상기 하나 이상의 물리적 오브젝트들이 상기 물리적 환경에 대한 새로운 물리적 오브젝트들이라고 결정하는 것에 응답하여 상기 세그먼트화된 이미지에 상기 하나 이상의 물리적 오브젝트들을 포함시키는 것에 의해 상기 시각 이미지를 세그먼트화할 것을 상기 헤드-장착 디스플레이에 지시하기 위한 명령들을 포함하는, 비일시적 컴퓨터 판독가능 저장 매체.
KR1020187027051A 2016-03-24 2017-01-23 물리적 환경의 시각 이미지들의 가상 현실에의 통합을 위한 공간 관계들 KR20180122637A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US15/080,363 US10665019B2 (en) 2016-03-24 2016-03-24 Spatial relationships for integration of visual images of physical environment into virtual reality
US15/080,363 2016-03-24
PCT/US2017/014554 WO2017164971A2 (en) 2016-03-24 2017-01-23 Spatial relationships for integration of visual images of physical environment into virtual reality

Publications (1)

Publication Number Publication Date
KR20180122637A true KR20180122637A (ko) 2018-11-13

Family

ID=58018228

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020187027051A KR20180122637A (ko) 2016-03-24 2017-01-23 물리적 환경의 시각 이미지들의 가상 현실에의 통합을 위한 공간 관계들

Country Status (9)

Country Link
US (1) US10665019B2 (ko)
EP (3) EP4332742A2 (ko)
JP (1) JP2019514101A (ko)
KR (1) KR20180122637A (ko)
CN (2) CN108780357B (ko)
BR (1) BR112018069351A2 (ko)
CA (1) CA3015508A1 (ko)
TW (1) TW201737024A (ko)
WO (1) WO2017164971A2 (ko)

Families Citing this family (64)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11841920B1 (en) 2016-02-17 2023-12-12 Ultrahaptics IP Two Limited Machine learning based gesture recognition
US11854308B1 (en) 2016-02-17 2023-12-26 Ultrahaptics IP Two Limited Hand initialization for machine learning based gesture recognition
US11714880B1 (en) * 2016-02-17 2023-08-01 Ultrahaptics IP Two Limited Hand pose estimation for machine learning based gesture recognition
CN109416575A (zh) * 2016-04-12 2019-03-01 锐思拓公司 在虚拟化环境中呈现图像的方法和设备
GB2551473A (en) * 2016-04-29 2017-12-27 String Labs Ltd Augmented media
US10639510B2 (en) * 2017-03-20 2020-05-05 The Trustees Of Columbia University In The City Of New York Human musculoskeletal support and training system methods and devices
US20180267615A1 (en) * 2017-03-20 2018-09-20 Daqri, Llc Gesture-based graphical keyboard for computing devices
DE102017218215A1 (de) 2017-10-12 2019-04-18 Audi Ag Verfahren zum Betreiben einer am Kopf tragbaren elektronischen Anzeigeeinrichtung und Anzeigesystem zum Anzeigen eines virtuellen Inhalts
JP7087364B2 (ja) * 2017-12-04 2022-06-21 富士フイルムビジネスイノベーション株式会社 情報処理装置、情報処理システムおよびプログラム
JP2019100995A (ja) * 2017-12-08 2019-06-24 株式会社トプコン 測量画像表示制御装置、測量画像表示制御方法および測量画像表示制御用プログラム
EP3508882A1 (en) * 2018-01-09 2019-07-10 Vivior AG An apparatus and a method for passive scanning of an object or a scene
CN108479067B (zh) * 2018-04-12 2019-09-20 网易（杭州）网络有限公司 游戏画面的渲染方法和装置
WO2019245581A1 (en) * 2018-06-22 2019-12-26 Hewlett-Packard Development Company, L.P. Virtual display monitors
US11348252B1 (en) * 2018-07-12 2022-05-31 Nevermind Capital Llc Method and apparatus for supporting augmented and/or virtual reality playback using tracked objects
CN112639686A (zh) * 2018-09-07 2021-04-09 苹果公司 在虚拟环境的影像和声音与真实环境的影像和声音之间转换
US11870972B2 (en) 2018-10-02 2024-01-09 Within Unlimited, Inc. Methods, systems and devices supporting real-time shared virtual reality environment
US11320911B2 (en) * 2019-01-11 2022-05-03 Microsoft Technology Licensing, Llc Hand motion and orientation-aware buttons and grabbable objects in mixed reality
US11681834B2 (en) 2019-01-30 2023-06-20 Augmntr, Inc. Test cell presence system and methods of visualizing a test environment
US11133993B2 (en) * 2019-02-28 2021-09-28 At&T Intellectual Property I, L.P. Augmented/mixed reality virtual venue pipeline optimization
WO2020203832A1 (ja) * 2019-03-29 2020-10-08 株式会社ソニー・インタラクティブエンタテインメント 境界表示制御装置、境界表示制御方法及びプログラム
US11004269B2 (en) * 2019-04-22 2021-05-11 Microsoft Technology Licensing, Llc Blending virtual environments with situated physical reality
EP3991142A4 (en) * 2019-06-28 2023-06-28 Magic Leap, Inc. Fast hand meshing for dynamic occlusion
JP7242448B2 (ja) * 2019-07-03 2023-03-20 エヌ・ティ・ティ・コミュニケーションズ株式会社 仮想現実制御装置、仮想現実制御方法およびプログラム
US11189103B2 (en) * 2019-08-01 2021-11-30 Apple Inc. Visual search refinement for computer generated rendering environments
US11132058B1 (en) * 2019-09-12 2021-09-28 Facebook Technologies, Llc Spatially offset haptic feedback
US11409364B2 (en) * 2019-09-13 2022-08-09 Facebook Technologies, Llc Interaction with artificial reality based on physical objects
US10802600B1 (en) * 2019-09-20 2020-10-13 Facebook Technologies, Llc Virtual interactions at a distance
US11086406B1 (en) 2019-09-20 2021-08-10 Facebook Technologies, Llc Three-state gesture virtual controls
US11170576B2 (en) 2019-09-20 2021-11-09 Facebook Technologies, Llc Progressive display of virtual objects
US10991163B2 (en) 2019-09-20 2021-04-27 Facebook Technologies, Llc Projection casting in virtual environments
US11176745B2 (en) 2019-09-20 2021-11-16 Facebook Technologies, Llc Projection casting in virtual environments
US11189099B2 (en) 2019-09-20 2021-11-30 Facebook Technologies, Llc Global and local mode virtual object interactions
US11086476B2 (en) * 2019-10-23 2021-08-10 Facebook Technologies, Llc 3D interactions with web content
CN112835445B (zh) * 2019-11-25 2024-04-26 华为技术有限公司 虚拟现实场景中的交互方法、装置及系统
CN112887631B (zh) * 2019-11-29 2022-08-12 北京字节跳动网络技术有限公司 在视频中显示对象的方法、装置、电子设备及计算机可读存储介质
KR20210069491A (ko) 2019-12-03 2021-06-11 삼성전자주식회사 전자 장치 및 이의 제어 방법
US11175730B2 (en) 2019-12-06 2021-11-16 Facebook Technologies, Llc Posture-based virtual space configurations
AU2019477545B2 (en) 2019-12-13 2023-10-19 Telefonaktiebolaget Lm Ericsson (Publ) Methods for handling occlusion in augmented reality applications using memory and device tracking and related apparatus
US11475639B2 (en) 2020-01-03 2022-10-18 Meta Platforms Technologies, Llc Self presence in artificial reality
US11636726B2 (en) * 2020-05-08 2023-04-25 Aristocrat Technologies, Inc. Systems and methods for gaming machine diagnostic analysis
US11257280B1 (en) 2020-05-28 2022-02-22 Facebook Technologies, Llc Element-based switching of ray casting rules
US11256336B2 (en) 2020-06-29 2022-02-22 Facebook Technologies, Llc Integration of artificial reality interaction modes
US11514690B2 (en) 2020-06-30 2022-11-29 Sony Interactive Entertainment LLC Scanning of 3D objects with a second screen device for insertion into a virtual environment
US11656679B2 (en) * 2020-08-27 2023-05-23 Microsoft Technology Licensing, Llc Manipulator-based image reprojection
US11176755B1 (en) 2020-08-31 2021-11-16 Facebook Technologies, Llc Artificial reality augments and surfaces
US11227445B1 (en) 2020-08-31 2022-01-18 Facebook Technologies, Llc Artificial reality augments and surfaces
US11178376B1 (en) 2020-09-04 2021-11-16 Facebook Technologies, Llc Metering for display modes in artificial reality
US11580703B1 (en) * 2020-09-15 2023-02-14 Meta Platforms Technologies, Llc Adaptive model updates for dynamic and static scenes
US11113893B1 (en) 2020-11-17 2021-09-07 Facebook Technologies, Llc Artificial reality environment with glints displayed by an extra reality device
WO2022140432A1 (en) * 2020-12-22 2022-06-30 Facebook Technologies, Llc Partial passthrough in virtual reality
US11409405B1 (en) 2020-12-22 2022-08-09 Facebook Technologies, Llc Augment orchestration in an artificial reality environment
US11461973B2 (en) 2020-12-22 2022-10-04 Meta Platforms Technologies, Llc Virtual reality locomotion via hand gesture
US11294475B1 (en) 2021-02-08 2022-04-05 Facebook Technologies, Llc Artificial reality multi-modal input switching model
US11644890B2 (en) * 2021-02-11 2023-05-09 Qualcomm Incorporated Image capturing in extended reality environments
US11436806B1 (en) * 2021-04-07 2022-09-06 Penumbra, Inc. Dual perspective rendering in virtual reality
US11295503B1 (en) 2021-06-28 2022-04-05 Facebook Technologies, Llc Interactive avatars in artificial reality
US11762952B2 (en) 2021-06-28 2023-09-19 Meta Platforms Technologies, Llc Artificial reality application lifecycle
TWI797761B (zh) * 2021-10-04 2023-04-01 邦鼎科技有限公司 虛擬實境的顯示方法
US11798247B2 (en) 2021-10-27 2023-10-24 Meta Platforms Technologies, Llc Virtual object structures and interrelationships
US11748944B2 (en) 2021-10-27 2023-09-05 Meta Platforms Technologies, Llc Virtual object structures and interrelationships
GB2619552A (en) * 2022-06-10 2023-12-13 Sony Interactive Entertainment Europe Ltd Computer implemented method and system for providing an augmented reality entertainment environment
DE102022206395A1 (de) * 2022-06-24 2024-01-04 Siemens Aktiengesellschaft Verfahren zum Simulieren eines Raums als virtuelle Realität mittels einer Simulationsvorrichtung, Computerprogrammprodukt, computerlesbares Speichermedium sowie Simulationsvorrichtung
US20240029363A1 (en) * 2022-07-20 2024-01-25 Qualcomm Incorporated Late stage occlusion based rendering for extended reality (xr)
US11947862B1 (en) 2022-12-30 2024-04-02 Meta Platforms Technologies, Llc Streaming native application content to artificial reality devices

Family Cites Families (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5534917A (en) 1991-05-09 1996-07-09 Very Vivid, Inc. Video image based control system
US7227526B2 (en) 2000-07-24 2007-06-05 Gesturetek, Inc. Video-based image control system
US7058204B2 (en) 2000-10-03 2006-06-06 Gesturetek, Inc. Multiple camera control system
US7343566B1 (en) 2002-07-10 2008-03-11 Apple Inc. Method and apparatus for displaying a window for a user interface
US7359564B2 (en) * 2004-10-29 2008-04-15 Microsoft Corporation Method and system for cancellation of ambient light using light frequency
JP2009025918A (ja) * 2007-07-17 2009-02-05 Canon Inc 画像処理装置、画像処理方法
US20100182340A1 (en) * 2009-01-19 2010-07-22 Bachelder Edward N Systems and methods for combining virtual and real-time physical environments
EP2482760B1 (en) * 2009-09-30 2020-03-25 National ICT Australia Limited Object tracking for artificial vision
CN105843396B (zh) 2010-03-05 2019-01-01 索尼电脑娱乐美国公司 在共享的稳定虚拟空间上维持多视图的方法
FR2960986A1 (fr) * 2010-06-04 2011-12-09 Thomson Licensing Procede de selection d’un objet dans un environnement virtuel
JP5765133B2 (ja) * 2011-08-16 2015-08-19 富士通株式会社 入力装置、入力制御方法及び入力制御プログラム
US9245193B2 (en) * 2011-08-19 2016-01-26 Qualcomm Incorporated Dynamic selection of surfaces in real world for projection of information thereon
US8890812B2 (en) * 2012-10-25 2014-11-18 Jds Uniphase Corporation Graphical user interface adjusting to a change of user's disposition
CA2896985A1 (en) * 2013-01-03 2014-07-10 Meta Company Extramissive spatial imaging digital eye glass for virtual or augmediated vision
US9202313B2 (en) 2013-01-21 2015-12-01 Microsoft Technology Licensing, Llc Virtual interaction with image projection
US10509533B2 (en) * 2013-05-14 2019-12-17 Qualcomm Incorporated Systems and methods of generating augmented reality (AR) objects
WO2014188798A1 (ja) * 2013-05-21 2014-11-27 ソニー株式会社 表示制御装置、表示制御方法および記録媒体
US20160210785A1 (en) * 2013-10-03 2016-07-21 Sulon Technologies Inc. Augmented reality system and method for positioning and mapping
US9607437B2 (en) * 2013-10-04 2017-03-28 Qualcomm Incorporated Generating augmented reality content for unknown objects
KR20150101612A (ko) 2014-02-27 2015-09-04 엘지전자 주식회사 폐쇄형 시야(Closed-view)를 제공하는 헤드 마운티드 디스플레이 및 그 제어 방법
EP3120256B1 (en) * 2014-03-17 2020-02-12 Core Sports Technology Group Method and system for delivering biomechanical feedback to human and object motion
US20150262412A1 (en) 2014-03-17 2015-09-17 Qualcomm Incorporated Augmented reality lighting with dynamic geometry
US9865089B2 (en) 2014-07-25 2018-01-09 Microsoft Technology Licensing, Llc Virtual reality environment with real world objects
US10451875B2 (en) * 2014-07-25 2019-10-22 Microsoft Technology Licensing, Llc Smart transparency for virtual objects
US10311638B2 (en) * 2014-07-25 2019-06-04 Microsoft Technology Licensing, Llc Anti-trip when immersed in a virtual reality environment
EP2996017B1 (en) 2014-09-11 2022-05-11 Nokia Technologies Oy Method, apparatus and computer program for displaying an image of a physical keyboard on a head mountable display
MA41117A (fr) * 2014-12-05 2017-10-10 Myfiziq Ltd Imagerie d'un corps
CN104536579B (zh) 2015-01-20 2018-07-27 深圳威阿科技有限公司 交互式三维实景与数字图像高速融合处理系统及处理方法
US9779512B2 (en) * 2015-01-29 2017-10-03 Microsoft Technology Licensing, Llc Automatic generation of virtual materials from real-world materials
CN104657103B (zh) * 2015-03-16 2017-06-16 哈尔滨工业大学 基于深度摄像机的手持cave投影系统
WO2017024181A1 (en) * 2015-08-06 2017-02-09 Pcms Holdings, Inc. Methods and systems for providing haptic feedback for virtual 3d objects
US10497177B1 (en) * 2017-09-19 2019-12-03 Bentley Systems, Incorporated Tool for onsite augmentation of reality meshes

Also Published As

Publication number Publication date
EP3855288A1 (en) 2021-07-28
BR112018069351A2 (pt) 2019-01-22
EP3855288C0 (en) 2024-01-17
WO2017164971A3 (en) 2017-11-02
WO2017164971A2 (en) 2017-09-28
CN108780357B (zh) 2021-11-23
CN108780357A (zh) 2018-11-09
TW201737024A (zh) 2017-10-16
CA3015508A1 (en) 2017-09-28
EP3433704A2 (en) 2019-01-30
EP3855288B1 (en) 2024-01-17
EP3433704B1 (en) 2020-12-23
CN114138118A (zh) 2022-03-04
JP2019514101A (ja) 2019-05-30
US10665019B2 (en) 2020-05-26
EP4332742A2 (en) 2024-03-06
CN114138118B (zh) 2024-05-07
US20170278304A1 (en) 2017-09-28

Similar Documents

Publication Publication Date Title
EP3855288B1 (en) Spatial relationships for integration of visual images of physical environment into virtual reality
US9778815B2 (en) Three dimensional user interface effects on a display
JP5877219B2 (ja) 動き特性を使用することによるディスプレイへの三次元ユーザインターフェイス効果
CN106575154B (zh) 全息对象的智能透明度
JP6766824B2 (ja) 情報処理装置、情報処理方法、及びプログラム
US11520399B2 (en) Interactive augmented reality experiences using positional tracking
CN116583816A (zh) 与环境中的对象进行交互的方法
US11582409B2 (en) Visual-inertial tracking using rolling shutter cameras
US10146299B2 (en) Face tracking for additional modalities in spatial interaction
KR20230022239A (ko) 증강 현실 환경 향상
US11281337B1 (en) Mirror accessory for camera based touch detection
US20210096652A1 (en) Finger Orientation Touch Detection
KR20220131838A (ko) 폐색된 물리적 객체의 위치 표시

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal