KR20190032473A - 세계 및 사용자 센서들을 갖는 디스플레이 시스템 - Google Patents

세계 및 사용자 센서들을 갖는 디스플레이 시스템 Download PDF

Info

Publication number
KR20190032473A
KR20190032473A KR1020197005049A KR20197005049A KR20190032473A KR 20190032473 A KR20190032473 A KR 20190032473A KR 1020197005049 A KR1020197005049 A KR 1020197005049A KR 20197005049 A KR20197005049 A KR 20197005049A KR 20190032473 A KR20190032473 A KR 20190032473A
Authority
KR
South Korea
Prior art keywords
user
sensors
information
environment
controller
Prior art date
Application number
KR1020197005049A
Other languages
English (en)
Other versions
KR102230561B1 (ko
Inventor
리카르도 제이. 모타
브렛 디. 밀러
토바이어스 릭
마노하르 비. 스리칸스
Original Assignee
애플 인크.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 애플 인크. filed Critical 애플 인크.
Publication of KR20190032473A publication Critical patent/KR20190032473A/ko
Application granted granted Critical
Publication of KR102230561B1 publication Critical patent/KR102230561B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/163—Wearable computers, e.g. on a belt
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/344—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H04N13/383—Image reproducers using viewer tracking for tracking with gaze detection, i.e. detecting the lines of sight of the viewer's eyes
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0132—Head-up displays characterised by optical features comprising binocular systems
    • G02B2027/0136—Head-up displays characterised by optical features comprising binocular systems with a single image source for both eyes
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Optics & Photonics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Dermatology (AREA)
  • Neurology (AREA)
  • Neurosurgery (AREA)
  • Software Systems (AREA)
  • Computer Graphics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

가상 콘텐츠로 증강된 사용자의 환경의 3D 가상 뷰들을 제공하는 머리 장착형 디스플레이(HMD)를 포함하는 혼합 현실 시스템. HMD는 사용자의 환경에 대한 정보(예컨대, 비디오, 깊이 정보, 조명 정보 등), 및 사용자에 대한 정보(예컨대, 사용자의 표정들, 눈 움직임, 손 제스처들 등)를 수집하는 센서들을 포함할 수 있다. 센서들은 센서들로부터의 입력들에 적어도 부분적으로 기초하여 가상 콘텐츠를 포함하는 프레임들을 렌더링하는 제어기에 대한 입력들로서 정보를 제공한다. HMD는 제어기에 의해 생성된 프레임들을 디스플레이하여 사용자에 의한 관찰을 위한 가상 콘텐츠 및 사용자의 환경의 뷰를 포함하는 3D 가상 뷰를 제공할 수 있다.

Description

세계 및 사용자 센서들을 갖는 디스플레이 시스템
가상 현실(virtual reality, VR)은 사용자가 몰입형 인공 환경을 경험하고/하거나 그와 상호작용할 수 있게 하여, 사용자가 물리적으로 그 환경 내에 있는 것처럼 느끼게 한다. 예를 들어, 가상 현실 시스템들은 깊이의 착시(illusion of depth)를 생성하기 위해 사용자들에게 입체 장면들을 디스플레이할 수 있고, 컴퓨터는 장면 내에서 사용자가 이동하는 착시를 제공하기 위해 장면 콘텐츠를 실시간으로 조정할 수 있다. 사용자가 가상 현실 시스템을 통해 이미지들을 볼 때, 따라서 사용자는 1인칭 시점에서 장면들 내에서 이동하고 있는 것처럼 느낄 수 있다. 유사하게, 혼합 현실(mixed reality, MR)은 컴퓨터 생성 정보(가상 콘텐츠라 지칭됨)를 실제 세계 이미지들 또는 실제 세계 뷰와 조합하여, 세계에 대한 사용자의 뷰에 콘텐츠를 증강시키거나 추가한다. 따라서, 가상 현실의 시뮬레이션된 환경들 및/또는 증강 현실의 혼합 환경들은, 관찰자의 환경의 실시간 뷰에 가상 콘텐츠를 추가하는 애플리케이션들과 같은 다수의 애플리케이션에, 가상 훈련 환경들과 상호작용하는 것, 게임하는 것, 드론 및 다른 기계적 시스템들을 원격으로 조종하는 것, 디지털 미디어 콘텐츠를 시청하는 것, 인터넷과 상호작용하는 것 등의 상호작용형 사용자 경험을 제공하기 위해 이용될 수 있다.
좌측 및 우측 이미지들을 포함하는 프레임들을 사용자의 눈들에 투사하거나 디스플레이하여 그에 따라 사용자에게 3D 가상 뷰들을 제공하기 위한 프로젝터 메커니즘을 포함하는 헤드셋, 헬멧, 고글, 또는 안경(본 명세서에서 머리 장착형 디스플레이(head-mounted display, HMD)로 지칭됨)과 같은 혼합 현실 디바이스를 포함할 수 있는 혼합 현실 시스템의 실시예들이 기술된다. 3D 가상 뷰들은 가상 콘텐츠(예컨대, 가상 객체들, 가상 태그들 등)로 증강된 사용자의 환경의 뷰들을 포함할 수 있다. 혼합 현실 시스템은 사용자의 환경에 대한 정보(예컨대, 비디오, 깊이 정보, 조명 정보 등)를 수집하는 세계 대면 센서들, 및 사용자에 대한 정보(예컨대, 사용자의 표정들, 눈 움직임, 손 제스처들 등)를 수집하는 사용자 대면 센서들을 포함할 수 있다. 센서들은 혼합 현실 시스템의 제어기에 대한 입력들로서 정보를 제공한다. 제어기는 세계 및 사용자 센서들로부터의 입력들에 적어도 부분적으로 기초하여 가상 콘텐츠를 포함하는 프레임들을 렌더링할 수 있다. 제어기는 HMD에 통합될 수 있거나, 또는 대안적으로 HMD의 외부에 있는 디바이스에 의해 적어도 부분적으로 구현될 수 있다. HMD는 제어기에 의해 생성된 프레임들을 디스플레이하여 사용자에 의한 관찰을 위한 가상 콘텐츠 및 사용자의 환경의 뷰를 포함하는 3D 가상 뷰를 제공할 수 있다.
일부 실시예들에서, 센서들은 사용자의 환경의 고품질 뷰들을 캡처하는 하나 이상의 카메라를 포함할 수 있는데, 이는 사용자에게 그들의 실제 환경의 가상 뷰를 제공하는 데 사용될 수 있다. 일부 실시예들에서, 센서들은 사용자의 환경에 대한 깊이 또는 레인지(range) 정보를 캡처하는 하나 이상의 센서를 포함할 수 있다. 일부 실시예들에서, 센서들은 환경에서의 사용자의 위치, 배향, 및 모션에 대한 정보를 캡처할 수 있는 하나 이상의 센서를 포함할 수 있다. 일부 실시예들에서, 센서들은, 예를 들어, 가상 뷰 내의 콘텐츠를 렌더링(예컨대, 채색 및/또는 조명)하는 데 사용될 수 있는 사용자의 환경에서의 조명 정보(예컨대, 방향, 색상, 강도)를 캡처하는 하나 이상의 카메라를 포함할 수 있다. 일부 실시예들에서, 센서들은 사용자의 눈들의 위치 및 움직임을 추적하는 하나 이상의 센서를 포함할 수 있다. 일부 실시예들에서, 센서들은 사용자의 손들, 손가락들, 및/또는 팔들의 위치, 움직임, 및 제스처들을 추적하는 하나 이상의 센서를 포함할 수 있다. 일부 실시예들에서, 센서들은 사용자의 눈썹/이마의 표정들을 추적하는 하나 이상의 센서를 포함할 수 있다. 일부 실시예들에서, 센서들은 사용자의 입/턱의 표정들을 추적하는 하나 이상의 센서를 포함할 수 있다.
도 1은 적어도 일부 실시예들에 따른 혼합 현실 시스템을 도시한다.
도 2a 내지 도 2c는 적어도 일부 실시예들에 따른, 머리 장착형 디스플레이(HMD)의 세계 대면 및 사용자 대면 센서들을 도시한다.
도 3은 적어도 일부 실시예들에 따른, 도 1 내지 도 2c에 예시된 바와 같은 혼합 현실 시스템을 위한 동작의 방법의 흐름도이다.
도 4 는 적어도 일부 실시예들에 따른 혼합 현실 시스템의 컴포넌트들을 도시한다.
본 명세서는 "일 실시예" 또는 "실시예"에 대한 참조들을 포함한다. "일 실시예에서" 또는 "실시예에서"라는 문구들의 등장들은 반드시 동일한 실시예를 지칭하는 것은 아니다. 특정 특징들, 구조들 또는 특성들이 본 개시내용과 일관성을 유지하는 임의의 적합한 방식으로 조합될 수 있다.
"포함하는(Comprising)". 이 용어는 개방형(open-ended)이다. 청구범위에서 사용되는 바와 같이, 이러한 용어는 부가적인 구조 또는 단계들을 배제(foreclose)하지 않는다. "... 하나 이상의 프로세서 유닛을 포함하는 장치"를 언급하는 청구항을 고려한다. 그러한 청구항은 장치가 부가적인 컴포넌트들(예를 들어, 네트워크 인터페이스 유닛, 그래픽 회로 등)을 포함하는 것을 배제하지 않는다.
"~하도록 구성되는(configured to)". 다양한 유닛들, 회로들 또는 다른 컴포넌트들이 태스크 또는 태스크들을 수행"하도록 구성"되는 것으로 설명되거나 청구될 수 있다. 그러한 문맥들에서, "~하도록 구성되는"은 유닛들/회로들/컴포넌트들이 동작 동안에 그들 태스크 또는 태스크들을 수행하는 구조(예를 들어, 회로)를 포함한다는 것을 표시함으로써 구조를 내포하는 데 사용된다. 이와 같이, 유닛/회로/컴포넌트는, 특정된 유닛/회로/컴포넌트가 현재 동작중이지 않은 경우(예를 들어, 켜진 상태가 아닌 경우)에도 태스크를 수행하도록 구성되는 것으로 칭해질 수 있다. "~하도록 구성되는"이라는 문구와 함께 사용되는 유닛들/회로들/컴포넌트들은 하드웨어 - 예를 들어, 회로들, 동작을 구현하도록 실행가능한 프로그램 명령어들을 저장하는 메모리 등 - 를 포함한다. 유닛/회로/컴포넌트가 하나 이상의 태스크를 수행"하도록 구성"됨을 언급하는 것은 그 유닛/회로/컴포넌트에 대해 미국 특허법 35 U.S.C. § 112, (f) 문단 규정이 적용되지 않도록 하기 위한 의도의 명시이다. 추가로, "~하도록 구성되는"은 사안이 되는 태스크(들)를 수행할 수 있는 방식으로 동작하도록 소프트웨어 또는 펌웨어(예컨대, FPGA 또는 소프트웨어를 실행하는 범용 프로세서)에 의해 조작되는 일반 구조물(예를 들어, 일반 회로)을 포함할 수 있다. "~하도록 구성되는"은 또한 하나 이상의 태스크를 구현하거나 수행하도록 적응된 디바이스들(예를 들어, 집적 회로들)을 제조하도록 제조 프로세스(예를 들어, 반도체 제조 설비)를 적응하는 것을 포함할 수 있다.
"제1", "제2", 등. 본 명세서에서 사용되는 바와 같이, 이러한 용어들은 이들이 선행하고 있는 명사들에 대한 라벨들로서 사용되고, 임의의 타입의(예를 들어, 공간적, 시간적, 논리적 등) 순서를 암시하는 것은 아니다. 예를 들어, 버퍼 회로는 "제1" 및 "제2" 값들에 대한 기입 동작들을 수행하는 것으로서 본 명세서에서 설명될 수 있다. 용어들 "제1" 및 "제2"는 반드시 제1 값이 제2 값 전에 기입되어야 한다는 것을 암시하지는 않는다.
"~에 기초하여" 또는 "~에 따라" 본 명세서에서 사용되는 바와 같이, 이 용어들은 결정에 영향을 주는 하나 이상의 인자를 기술하는 데 사용된다. 이 용어들은 결정에 영향을 줄 수 있는 추가적 인자들을 배제하지 않는다. 즉, 결정은 오직 그들 인자들에만 기초하거나 또는 그들 인자들에 적어도 부분적으로 기초할 수 있다. "B에 기초하여 A를 결정한다"라는 문구를 고려한다. 이 경우에, B가 A의 결정에 영향을 주는 인자이기는 하지만, 그러한 문구는 A의 결정이 또한 C에도 기초하는 것임을 배제하지 않는다. 다른 예시들에서, A는 오직 B에만 기초하여 결정될 수 있다.
"또는" 청구범위에 사용될 때, 용어 "또는" 은 포괄적인 '또는' 으로서 사용되고 배타적인 '또는' 으로서 사용되지 않는다. 예를 들어, 어구 "x, y, 또는 z 중 적어도 하나" 는 x, y, 및 z 중 어느 하나뿐만 아니라 이들의 임의의 조합을 의미한다.
사용자들을 위한 혼합 현실 뷰들을 생성하기 위한 방법들 및 장치들의 다양한 실시예들이 기술된다. 좌측 및 우측 이미지들을 포함하는 프레임들을 사용자의 눈들에 투사하거나 디스플레이하여 그에 따라 사용자에게 3D 가상 뷰들을 제공하기 위한 프로젝터 메커니즘을 포함하는 헤드셋, 헬멧, 고글, 또는 안경(본 명세서에서 머리 장착형 디스플레이(head-mounted display, HMD)로 지칭됨)과 같은 혼합 현실 디바이스를 포함할 수 있는 혼합 현실 시스템의 실시예들이 기술된다. 3D 가상 뷰들은 가상 콘텐츠(예컨대, 가상 객체들, 가상 태그들 등)로 증강된 사용자의 환경의 뷰들을 포함할 수 있다. 혼합 현실 시스템은 또한 사용자의 환경에 대한 정보(예컨대, 비디오, 깊이 정보, 조명 정보 등)를 수집하는 세계 대면 센서들 및 사용자에 대한 정보(예컨대, 사용자의 표정들, 눈 움직임, 손 제스처들 등)를 수집하는 사용자 대면 센서들을 포함할 수 있다. 센서들은 수집된 정보를 혼합 현실 시스템의 제어기에 제공할 수 있다. 제어기는 센서들로부터 획득된 다양한 정보에 적어도 부분적으로 기초하여 가상 콘텐츠를 포함하는 프레임들을 프로젝터에 의한 디스플레이를 위해 렌더링할 수 있다.
전술한 바와 같이, 혼합 현실 시스템은 예를 들어, 사용자의 환경에 대한 다양한 정보를 수집하는, 예를 들어 혼합 현실 HMD의 외부 표면 상에 위치된 세계 대면 센서들(세계 센서들로도 지칭됨)을 포함할 수 있다. 일부 실시예들에서, 세계 센서들은, 사용자에게 그들의 실제 환경의 가상 뷰를 제공하기 위해 사용될 수 있는, 사용자의 환경의 고품질 뷰들을 캡처하는 하나 이상의 "비디오 투과(video see through)" 카메라(예컨대, RGB (가시광) 카메라들)를 포함할 수 있다. 일부 실시예들에서, 세계 센서들은, 예를 들어 사용자의 환경에 대한 깊이 또는 레인지 정보를 캡처하는 하나 이상의 세계 맵핑 센서(예컨대, IR 조명원을 갖는 적외선(IR) 카메라들, 또는 광 검출 및 레인지측정(Light Detection and Ranging, LIDAR) 방출기들 및 수신기들/검출기들)를 포함할 수 있다. 일부 실시예들에서, 세계 센서들은 환경의 사용자의 위치, 배향, 및 모션에 대한 정보를 캡처할 수 있는 하나 이상의 "머리 포즈(head pose)" 센서(예컨대, IR 또는 RGB 카메라들)를 포함할 수 있으며; 이러한 정보는, 예를 들어, HMD 의 관성 측정 유닛(IMU)에 의해 수집된 정보를 증강시키는 데 사용될 수 있다. 일부 실시예들에서, 세계 센서들은, 예를 들어 가상 뷰에서 가상 콘텐츠에 대한 조명 효과들을 렌더링하는 데 사용될 수 있는 사용자의 환경에서의 조명 정보(예컨대, 색상, 강도, 및 방향)를 캡처하는 하나 이상의 광 센서(예컨대, RGB 카메라)를 포함할 수 있다.
위에 언급된 바와 같이, 혼합 현실 시스템은, 예를 들어 혼합 현실 HMD의 외부 및 내부 표면 상에 위치되는, 사용자에 대한 정보(예컨대, 사용자의 표정들, 눈 움직임 등)를 수집하는 사용자 대면 센서들(사용자 센서들로도 지칭됨)을 포함할 수 있다. 일부 실시예들에서, 사용자 센서들은 사용자의 눈들의 위치 및 움직임을 추적하는 하나 이상의 눈 추적 센서(예컨대, IR 조명을 갖는 IR 카메라들, 또는 가시광 카메라들)를 포함할 수 있다. 가시광 (RGB) 카메라들의 경우에, 눈 추적 센서들은 또한 다른 목적들, 예를 들어 홍채 식별을 위해 사용될 수 있다. 일부 실시예들에서, 사용자 센서들은 사용자의 손들, 손가락들, 및/또는 팔들의 위치, 움직임, 및 제스처들을 추적하는 하나 이상의 손 센서(예컨대, IR 조명을 갖는 IR 카메라들)를 포함할 수 있다. 일부 실시예들에서, 사용자 센서들은 사용자의 눈썹/이마의 표정들을 추적하는 하나 이상의 눈썹 센서(예컨대, IR 조명을 갖는 IR 카메라들)를 포함할 수 있다. 일부 실시예들에서, 사용자 센서들은 사용자의 입/턱의 표정들을 추적하는 하나 이상의 하부 턱 추적 센서(예컨대, IR 조명을 갖는 IR 카메라들)를 포함할 수 있다.
도 1 은 적어도 일부 실시예들에 따른 혼합 현실 시스템(10)을 도시한다. 일부 실시예들에서, 혼합 현실 시스템(10)은 사용자(190)에 의해 착용될 수 있는 헤드셋, 헬멧, 고글 또는 안경과 같은 HMD(100)를 포함할 수 있다. 일부 실시예들에서, 가상 콘텐츠(110)는 HMD(100)를 통해 3D 가상 뷰(102)에서 사용자(190)에게 디스플레이될 수 있고; 상이한 가상 객체들은 가상 공간(102) 내의 상이한 깊이들에 디스플레이될 수 있다. 일부 실시예들에서, 가상 콘텐츠(110)는 HMD(100)에 의해 제공되는 사용자의 현재 시선에 대한 사용자(190)의 환경의 뷰 상에 오버레이되거나 그 안에 합성될 수 있다.
HMD(100)는 다양한 유형의 가상 현실 투사 기술들 중 임의의 것을 구현할 수 있다. 예를 들어, HMD(100)는 DLP(digital light processing), LCD(liquid crystal display) 및 LCoS(liquid crystal on silicon) 기술 VR 시스템들과 같은, 피험자에 의해 관찰되는 사용자(190)의 눈들 앞의 스크린 상에 좌측 및 우측 이미지들을 투사하는 근안 VR 시스템일 수 있다. 다른 예로서, HMD(100)는 피험자의 눈들에, 픽셀 단위로, 좌측 및 우측 이미지들을 스캐닝하는 직접 망막 프로젝터 시스템일 수 있다. 이미지들을 스캐닝하기 위해, 좌측 및 우측 프로젝터들은 사용자(190)의 눈들 앞에 위치된 좌측 및 우측 반사 컴포넌트들(예컨대, 타원형 미러들)로 지향되는 빔들을 생성하고; 반사 컴포넌트들은 빔들을 사용자의 눈들로 반사한다. 3 차원(3D) 효과를 생성하기 위해, 3D 가상 뷰(102) 내의 상이한 깊이들 또는 거리들에서의 가상 콘텐츠(110)는 거리의 삼각측량의 함수로서 2 개의 이미지들에서 좌측 또는 우측으로 이동되며, 더 가까운 객체들은 더 먼 객체들보다 더 멀리 이동된다.
HMD(100)는 사용자(190)의 환경에 대한 정보(비디오, 깊이 정보, 조명 정보 등)를 수집하는 세계 센서들(140), 및 사용자(190)에 대한 정보(예컨대, 사용자의 표정들, 눈 움직임, 손 제스처들 등)를 수집하는 사용자 센서들(150)을 포함할 수 있다. 센서들(140, 150)은 수집된 정보를 혼합 현실 시스템(10)의 제어기에 제공할 수 있다. 제어기는 센서들(140, 150)로부터 획득된 다양한 정보에 적어도 부분적으로 기초하여 가상 콘텐츠를 포함하는 프레임들을 HMD(100)의 프로젝터 컴포넌트에 의한 디스플레이를 위해 렌더링할 수 있다. 예시적인 센서들(140, 150)이 도 2a 내지 도 2c에 도시되어 있다.
도 1에 도시되지 않았지만, 일부 실시예들에서, 혼합 현실 시스템(10)은 하나 이상의 다른 컴포넌트를 포함할 수 있다. 예를 들어, 시스템은 가상 콘텐츠(110)와 상호작용하기 위해 3D 가상 뷰(102)내의 가상 커서를 이동시키기 위한 커서 제어 디바이스(예컨대, 마우스)를 포함할 수 있다. 다른 예로서, 일부 실시예들에서, 시스템(10)은, 유선 또는 무선(예컨대, 블루투스) 연결을 통해, HMD(100)의 기능 중 적어도 일부 - 예를 들어, 이미지들 및 이미지 콘텐츠를 HMD(100)에 의해 3D 가상 뷰(102) 내에 디스플레이되게 함 - 를 구현하는, HMD(100)에 결합된 컴퓨팅 디바이스를 포함할 수 있다.
도 2a 내지 도 2c는 적어도 일부 실시예들에 따른, 예시적인 HMD(200)의 세계 대면 및 사용자 대면 센서들을 도시한다. 도 2a는 일부 실시예들에 따른, 세계 및 사용자 센서들(210 내지 217)을 갖는 예시적인 HMD(200)의 측면도를 도시한다. 도 2b는 일부 실시예들에 따른, 세계 및 사용자 센서들(210 내지 217)을 갖는 예시적인 HMD(200)의 전방(세계 대면) 뷰를 도시한다. 도 2c는 일부 실시예들에 따른, 세계 및 사용자 센서들(210 내지 217)을 갖는 예시적인 HMD(200)의 후방(사용자 대면) 뷰를 도시한다. 도 2a 내지 도 2c에 도시된 바와 같은 HMD(200)는 예로서 주어진 것이고, 제한하고자 의도된 것은 아님에 유의한다. 다양한 실시예들에서, HMD의 형상, 크기, 및 다른 특징들은 상이할 수 있고, 세계 및 사용자 센서의 위치들, 수들, 유형들, 및 다른 특징부들은 달라질 수 있다.
도 2a 내지 도 2c에 도시된 바와 같이, 프로젝션 시스템 디스플레이들(202)(예컨대, 근안 VR 시스템의 스크린들 및 옵틱들, 또는 직접 망막 프로젝터 시스템의 반사 컴포넌트들(예컨대, 타원체 미러들))이 사용자(290)의 눈들(292)의 전방에 배치되도록, HMD(200)가 사용자(290)의 머리에 착용될 수 있다. 일부 실시예들에서, HMD(200)는 사용자(290)의 환경에 대한 정보(비디오, 깊이 정보, 조명 정보 등)를 수집하는 세계 센서들(210 내지 213), 및 사용자(290)에 대한 정보(예컨대, 사용자의 표정들, 눈 움직임, 손 제스처들 등)를 수집하는 사용자 센서들(214 내지 217)을 포함할 수 있다. 센서들(210 내지 217)은 수집된 정보를 혼합 현실 시스템의 제어기(도시되지 않음)에 제공할 수 있다. 제어기는 HMD(200) 내에 구현될 수 있거나, 대안적으로 유선 또는 무선 인터페이스를 통해 HMD(200)에 통신가능하게 결합된 외부 장치(예컨대, 컴퓨팅 시스템)에 의해 적어도 부분적으로 구현될 수 있다. 제어기는 다양한 유형의 프로세서들, 이미지 신호 프로세서(ISP)들, 그래픽 프로세싱 유닛(GPU)들, 코더/디코더들(코덱들), 및/또는 비디오 및/또는 이미지들을 프로세싱 및 렌더링하기 위한 다른 컴포넌트들 중 하나 이상을 포함할 수 있다. 제어기는 센서들(210 내지 217)로부터 획득된 다양한 입력들에 적어도 부분적으로 기초하여 가상 콘텐츠를 포함하는 프레임들(각각의 프레임은 좌측 및 우측 이미지를 포함함)을 렌더링할 수 있고, 좌측 및 우측 디스플레이(202)로의 디스플레이를 위해 HMD(200)의 프로젝션 시스템에 프레임들을 제공할 수 있다. 도 4는 일부 실시예들에 따른, HMD 및 혼합 현실 시스템의 컴포넌트들을 추가로 도시한다.
예를 들어, 세계 센서들(210 내지 213)은 HMD(200)의 외부 표면들 상에 위치될 수 있고, 사용자의 환경에 대한 다양한 정보를 수집할 수 있다. 일부 실시예들에서, 세계 센서들에 의해 수집된 정보는 사용자에게 그들의 실제 환경의 가상 뷰를 제공하기 위해 사용될 수 있다. 일부 실시예들에서, 세계 센서들은 실제 환경에서의 객체들에 대한 깊이 정보를 제공하기 위해 사용될 수 있다. 일부 실시예들에서, 세계 센서들은 실제 환경에서의 사용자에 대한 배향 및 모션 정보를 제공하기 위해 사용될 수 있다. 일부 실시예들에서, 세계 센서들은 실제 환경에서의 색상 및 조명 정보를 수집하기 위해 사용될 수 있다.
일부 실시예들에서, 세계 센서들은, 사용자에게 그들의 실제 환경의 가상 뷰를 제공하기 위해 사용될 수 있는, 사용자의 환경의 고품질 비디오를 캡처하는 하나 이상의 "비디오 투과" 카메라(210)(예컨대, RGB (가시광) 비디오 카메라들)를 포함할 수 있다. 일부 실시예들에서, 카메라들(210A, 210B)에 의해 캡처된 비디오 스트림들은 HMD(200)의 제어기에 의해 프로세싱되어 가상 콘텐츠를 포함하는 프레임들을 렌더링할 수 있고, 렌더링된 프레임들은 각자의 디스플레이들(202A, 202B) 상의 디스플레이를 위해 디바이스의 프로젝션 시스템에 제공될 수 있다. 그러나, 일부 실시예들에서, 사용자(290)에게 디스플레이되는 세계의 가상 뷰에 대한 레이턴시(latency)를 감소시키기 위해, 카메라들(210A, 210B)에 의해 캡처된 적어도 일부 비디오 프레임들은 각자의 디스플레이들(202A, 202B) 상의 디스플레이를 위해 디바이스의 프로젝션 시스템으로 직접(directly) 갈 수 있고; 제어기는 또한, 디스플레이를 위해 이후 프로젝션 시스템에 제공되는 프레임들 내로 가상 콘텐츠를 합성하기 위해, 비디오 프레임들을 수신 및 프로세싱할 수 있다.
도 2a 내지 도 2c의 비제한적인 예 HMD(200)에 도시된 바와 같이, 일부 실시예들에서, 사용자(290)의 눈들(292A, 292B) 각각의 실질적으로 전방의 위치들에, HMD(200)의 전면 상에 위치된 2개의 비디오 투과 카메라들(210A, 210B)이 있을 수 있다. 그러나, 다양한 실시예들에서, 더 많거나 더 적은 카메라들(210)이 사용자(290)의 환경의 비디오를 캡처하기 위해 HMD(200)에 사용될 수 있고, 카메라들(210)은 다른 위치들에 위치될 수 있다. 예시적인 비제한적인 실시예에서, 비디오 투과 카메라들(210)은 고품질, 고해상도 RGB 비디오 카메라들, 예를 들어, 60 프레임/초(FPS) 이상의 프레임 레이트, 90 도 초과의 수평 시야(HFOV), 및 0.1 미터(m) 내지 무한대(infinity)의 작동 거리를 갖는 10 메가픽셀(예컨대, 3072x3072 픽셀 카운트) 카메라들을 포함할 수 있다.
일부 실시예들에서, 세계 센서들은, 예를 들어, 사용자의 환경에서의 객체들 및 표면들에 대한 깊이 또는 레인지 정보를 캡처하는 하나 이상의 세계 맵핑 센서(211)(예컨대, IR 조명원을 갖는 적외선(IR) 카메라들, 또는 광 검출 및 레인지측정(LIDAR) 방출기들 및 수신기들/검출기들)를 포함할 수 있다. 레인지 정보는, 예를 들어, 실제 환경의 이미지들 내에 합성된 가상 콘텐츠를 정확한 깊이들에 위치설정하는 데 사용될 수 있다. 일부 실시예들에서, 레인지 정보는 디스플레이될 때 환경에서의 실제 객체들의 깊이를 조정하는 데 사용될 수 있는데, 예를 들어, 인근 객체들은, 사용자가 환경 내에서 이동할 때 객체들을 피하는 것을 돕기 위해 디스플레이 내에서 더 작게 재-렌더링될 수 있다.
도 2a 내지 도 2c의 비제한적인 예 HMD(200)에 도시된 바와 같이, 일부 실시예들에서, HMD(200)의 전면 상에 위치된 하나의 세계 맵핑 센서(211)가 있을 수 있다. 그러나, 다양한 실시예들에서, 하나 초과의 세계 맵핑 센서(211)가 사용될 수 있고, 세계 맵핑 센서(211)가 다른 위치들에 위치될 수 있다. 예시적인 비제한적인 실시예에서, 세계 맵핑 센서(211)는 IR 광원 및 IR 카메라, 예를 들어, 60 프레임/초(FPS) 이상의 프레임 레이트, 90 도 이상의 HFOV, 및 0.1 m 내지 1.5 m 의 작동 거리를 갖는 1 메가픽셀(예컨대, 1000x1000 픽셀 카운트) 카메라를 포함할 수 있다.
일부 실시예들에서, 세계 센서들은 환경 내에서 사용자 및/또는 사용자의 머리의 위치, 배향, 및/또는 모션에 대한 정보를 캡처할 수 있는 하나 이상의 "머리 포즈" 센서(212)(예컨대, IR 또는 RGB 카메라들)를 포함할 수 있다. 센서들(212)에 의해 수집된 정보는 예를 들어, HMD(200)의 관성 측정 유닛(IMU)에 의해 수집된 정보를 증강시키는 데 사용될 수 있다. 증강된 위치, 배향, 및/또는 모션 정보는 뷰들 내의 사용자의 환경 및 가상 콘텐츠의 가상 뷰들을 렌더링 및 디스플레이하는 방법을 결정하는 데 사용될 수 있다. 예를 들어, 사용자의 머리의 위치 또는 배향, 사용자가 환경에서 현재 걷고 있는지 여부 등에 적어도 부분적으로 기초하여 렌더링될 수 있다. 다른 예로서, 증강된 위치, 배향, 및/또는 모션 정보는 가상 콘텐츠를 장면 내에, 사용자의 환경의 배경 뷰에 대해 고정된 위치에, 합성하는 데 사용될 수 있다.
도 2a 내지 도 2c의 비제한적인 예 HMD(200)에 도시된 바와 같이, 일부 실시예들에서, HMD(200)의 전면 또는 상면 상에 위치된 2 개의 머리 포즈 센서들(212A, 212B)이 있을 수 있다. 그러나, 다양한 실시예들에서, 더 많거나 더 적은 센서들(212)이 사용될 수 있고, 센서들(212)이 다른 위치들에 위치될 수 있다. 예시적인 비제한적인 실시예에서, 머리 포즈 센서들(212)은 RGB 또는 IR 카메라들, 예를 들어, 120 프레임/초(FPS) 이상의 프레임 레이트, 넓은 시야(FOV), 및 1 m 내지 무한대의 작동 거리를 갖는, 400x400 픽셀 카운트 카메라들을 포함할 수 있다. 센서들(212)은 넓은 FOV 렌즈들을 포함할 수 있고, 2 개의 센서들(212A, 212B)이 상이한 방향들로 보일 수 있다. 센서들(212)은 머리 위치를 추적하기 위한 저 레이턴시 단색 이미징을 제공할 수 있고, IMU 에 의해 캡처된 위치 및 이동 정보를 증강시키기 위해 HMD(200)의 IMU와 통합될 수 있다.
일부 실시예들에서, 세계 센서들은 사용자의 환경에서 조명 정보(예컨대, 방향, 색상, 및 세기)를 캡처하는 하나 이상의 광 센서(213)(예컨대, RGB 카메라)를 포함할 수 있으며, 이 정보는 사용자의 환경의 가상 뷰에서 가상 콘텐츠를 렌더링하는 데, 예를 들어, 가상 뷰 내의 가상 객체들에 대한 채색, 조명, 섀도우 효과들 등을 결정하는 데 사용될 수 있다. 예를 들어, 적색 광원이 검출되는 경우, 장면 내에 렌더링된 가상 콘텐츠는 적색 광으로 조명될 수 있고, 더 일반적으로 가상 객체들은 정확한 방향 및 각도에서 정확한 색상 및 강도의 광으로 렌더링될 수 있다.
도 2a 내지 도 2c의 비제한적인 예 HMD(200)에 도시된 바와 같이, 일부 실시예들에서, HMD(200)의 전면 또는 상면 상에 위치된 하나의 광 센서(213)가 있을 수 있다. 그러나, 다양한 실시예들에서, 하나 초과의 광 센서(213)가 사용될 수 있고, 광 센서(213)가 다른 위치들에 위치될 수 있다. 예시적인 비제한적인 실시예에서, 광 센서(213)는 RGB 고 다이나믹 레인지(HDR) 비디오 카메라, 예를 들어, 30 FPS의 프레임 레이트, 180 도 이상의 HFOV, 및 1 m 내지 무한대의 작동 거리를 갖는, 500x500 픽셀 카운트 카메라를 포함할 수 있다.
사용자 센서들(214 내지 217)은, 예를 들어, HMD(200)의 외부 및 내부 표면들 상에 위치될 수 있고, 사용자(290)에 대한 정보(예컨대, 사용자의 표정들, 눈 움직임 등)를 수집할 수 있다. 일부 실시예들에서, 사용자 센서들에 의해 수집된 정보는 HMD(200)의 세계 센서들(210 내지 213)에 의해 수집된 정보의 집합 및/또는 프로세싱을 조정하기 위해 사용될 수 있다. 일부 실시예들에서, 사용자 센서들에 의해 수집된 정보는 투사될 이미지들의 렌더링을 조정하기 위해, 그리고/또는 HMD(200)의 프로젝션 시스템에 의한 이미지들의 투사를 조절하기 위해 사용될 수 있다. 일부 실시예들에서, 사용자 센서들에 의해 수집된 정보는 HMD(200)에 의해 사용자에게 투사되는 3D 가상 뷰 내에 사용자(290)의 아바타를 생성하는 데 사용될 수 있다. 일부 실시예들에서, 사용자 센서들에 의해 수집된 정보는 HMD(200)에 의해 투사되는 3D 가상 뷰 내의 가상 콘텐츠와 상호작용하거나 이를 조작하는 데 사용될 수 있다.
일부 실시예들에서, 사용자 센서들은 사용자의 눈들의 위치 및 움직임을 추적하기 위해 사용될 수 있는 하나 이상의 눈 추적 센서(214)(예컨대, IR 조명원을 갖는 IR 카메라들)를 포함할 수 있다. 일부 실시예들에서, 눈 추적 센서들(214)은 또한 사용자의 동공의 확장을 추적하기 위해 사용될 수 있다. 도 2a 및 도 2b에 도시된 바와 같이, 일부 실시예들에서, 2 개의 눈 추적 센서들(214A, 214B)이 있을 수 있으며, 각각의 눈 추적 센서는 각각의 눈(292A 또는 292B)을 추적한다. 일부 실시예들에서, 눈 추적 센서들(214)에 의해 수집된 정보는, 사용자의 눈들이 보고 있는 방향 및 각도에 기초하여, 투사될 이미지들의 렌더링을 조정하고/하거나, HMD(200)의 프로젝션 시스템에 의해 이미지들의 투사를 조정하기 위해 사용될 수 있다. 예를 들어, 일부 실시예들에서, 사용자의 눈들이 현재 보고 있는 위치 주위의 영역 내의 이미지들의 콘텐츠는 사용자가 보고 있지 않는 영역 내의 콘텐츠보다 더 상세히 그리고 더 높은 해상도로 렌더링될 수 있으며, 이는 이미지 데이터를 위해 이용가능한 프로세싱 시간이 눈들의 주변 영역들에 의해 관찰되는 콘텐츠에 대해서보다는 눈들의 중심와(foveal) 영역들에 의해 관찰되는 콘텐츠에 대해 소비될 수 있게 한다. 유사하게, 사용자가 보고 있지 않는 영역들 내의 이미지들의 콘텐츠는 사용자가 현재 보고 있는 지점 주위의 영역의 콘텐츠보다 더 많이 압축될 수 있다. 일부 실시예들에서, 눈 추적 센서들(214)에 의해 수집된 정보는 사용자(290)의 아바타의 눈들의 방향을 사용자의 눈들의 방향과 매칭시키는 데 사용될 수 있다. 일부 실시예들에서, 투사된 이미지들의 휘도는 눈 추적 센서들(214)에 의해 결정되는 바와 같이 사용자의 동공 확장에 기초하여 변조될 수 있다.
도 2a 내지 도 2c의 비-제한적인 예 HMD(200)에 도시된 바와 같이, 일부 실시예들에서, 센서들(214A, 214B)이 사용자(290)의 눈들(292A, 292B)의 각자의 것의 뷰를 갖도록하는 위치들에, HMD(200)의 내측 표면 상에 위치된 2 개의 눈 추적 센서들(214A, 214B)이 있을 수 있다. 그러나, 다양한 실시예들에서, 더 많거나 더 적은 눈 추적 센서들(214)이 HMD(200)에 사용될 수 있고, 센서들(214)은 다른 위치들에 위치될 수 있다. 예시적인 비제한적인 실시예에서, 각각의 눈 추적 센서(214)는 IR 광원 및 IR 카메라, 예를 들어 120 FPS 이상의 프레임 레이트, 70 도의 HFOV, 및 10 밀리미터(mm) 내지 80mm의 작동 거리를 갖는 400x400 픽셀 카운트 카메라를 포함할 수 있다.
일부 실시예들에서, 사용자 센서들은 사용자의 눈썹/이마의 표정들을 추적하는 하나 이상의 눈썹 센서(215)(예컨대, IR 조명을 갖는 IR 카메라)를 포함할 수 있다. 일부 실시예들에서, 사용자 센서들은 사용자의 입/턱의 표정들을 추적하는 하나 이상의 하부 턱 추적 센서(216)(예컨대, IR 조명을 갖는 IR 카메라들)를 포함할 수 있다. 예를 들어, 일부 실시예들에서, 센서들(214, 215, 216)에 의해 캡처된 눈썹, 입, 턱, 및 눈들의 표정들은 가상 공간에서 사용자(290)의 아바타 상의 표정들을 시뮬레이션하고/하거나 3D 가상 뷰 내의 투사된 콘텐츠에 대한 사용자의 반응에 적어도 부분적으로 기초하여 사용자에 의한 관찰을 위해 가상 콘텐츠를 선택적으로 렌더링 및 합성하기 위해 사용될 수 있다.
도 2a 내지 도 2c의 비제한적인 예 HMD(200)에 도시된 바와 같이, 일부 실시예들에서, 센서들(215A 및 215B)이 사용자(290)의 눈썹 및 이마의 뷰를 가질 수 있도록 하는 위치들에, HMD(200)의 내부 표면 상에 위치된 2 개의 눈썹 센서들(215A, 215B)이 있을 수 있다. 그러나, 다양한 실시예들에서, 더 많거나 더 적은 눈썹 센서들(215)이 HMD(200)에 사용될 수 있고, 센서들(215)은 도시된 것들과는 다른 위치들에 위치될 수 있다. 예시적인 비제한적인 실시예에서, 각각의 눈썹 센서(215)는 IR 광원 및 IR 카메라, 예를 들어 60 FPS의 프레임 레이트, 60 도의 HFOV, 및 대략 5 mm 의 작동 거리를 갖는 250x250 픽셀 카운트 카메라를 포함할 수 있다. 일부 실시예들에서, 2 개의 센서들(215A 및 215B)로부터의 이미지들은 사용자의 이마 및 눈썹의 스테레오 뷰를 형성하도록 조합될 수 있다.
도 2a 내지 도 2c의 비제한적인 예 HMD(200)에 도시된 바와 같이, 일부 실시예들에서, 센서들(216A, 216B)이 사용자(290)의 하부 턱 및 입의 뷰들을 갖도록 하는 위치들에, HMD(200)의 내측 표면 상에 위치된 2 개의 하부 턱 추적 센서들(216A, 216B)이 있을 수 있다. 그러나, 다양한 실시예에서, 더 많거나 더 적은 하부 턱 추적 센서들(216)이 HMD(200)에 사용될 수 있고, 센서들(216)은 도시된 것들과는 다른 위치들에 위치될 수 있다. 예시적인 비제한적인 실시예에서, 각각의 하부 턱 추적 센서(216)는 IR 광원 및 IR 카메라, 예를 들어 60 FPS의 프레임 레이트, 90 도의 HFOV, 및 대략 30 mm의 작동 거리를 갖는 400x400 픽셀 카운트 카메라를 포함할 수 있다. 일부 실시예들에서, 2 개의 센서들(216A, 216B)로부터의 이미지들은 사용자의 하부 턱 및 입의 스테레오 뷰를 형성하도록 조합될 수 있다.
일부 실시예들에서, 사용자 센서들은 사용자의 손들, 손가락들, 및/또는 팔들의 위치, 움직임, 및 제스처들을 추적하는 하나 이상의 손 센서(217)(예컨대, IR 조명을 갖는 IR 카메라)를 포함할 수 있다. 예를 들어, 일부 실시예들에서, 사용자의 손들, 손가락들, 및/또는 팔들의 검출된 위치, 움직임, 및 제스처들이 가상 공간에서 사용자(290)의 아바타의 손들, 손가락들, 및/또는 팔들의 움직임을 시뮬레이션하는 데 사용될 수 있다. 다른 예로서, 사용자의 검출된 손 및 손가락 제스처들은, 가상 객체들을 조작하는 제스처들, 가상 공간에 디스플레이되는 가상 사용자 인터페이스 요소들과 상호작용하는 제스처들 등을 포함하지만 이로 제한되지 않는, 가상 공간 내의 가상 콘텐츠와, 사용자의 상호작용들을 결정하는 데 사용될 수 있다.
도 2a 내지 도 2c의 비제한적인 예 HMD(200)에 도시된 바와 같이, 일부 실시예들에서, HMD(200)의 하부 표면 상에 위치된 하나의 손 센서(217)가 있을 수 있다. 그러나, 다양한 실시예들에서, 하나 초과의 손 센서(217)가 사용될 수 있고, 손 센서(217)는 다른 위치들에 위치될 수 있다. 예시적인 비제한적인 실시예에서, 손 센서(217)는 IR 광원 및 IR 카메라, 예를 들어, 120 FPS 이상의 프레임 레이트, 90 도의 HFOV, 및 0.1 m 내지 1 m 의 작동 거리를 갖는 500x500 픽셀 카운트 카메라를 포함할 수 있다.
도 3은 적어도 일부 실시예들에 따른, 도 1 내지 도 2c에 도시된 바와 같은 혼합 현실 시스템을 위한 동작의 방법의 고 레벨 흐름도이다. 혼합 현실 시스템은, 좌측 및 우측 이미지들을 포함하는 프레임들을 사용자의 눈들에 투사 또는 디스플레이하여 그에 따라 사용자에게 3D 가상 뷰들을 제공하기 위한 프로젝터 메커니즘을 포함하는 헤드셋, 헬멧, 고글, 또는 안경과 같은 HMD를 포함할 수 있다. 3D 가상 뷰들은 가상 콘텐츠(예컨대, 가상 객체들, 가상 태그들 등)로 증강된 사용자의 환경의 뷰들을 포함할 수 있다.
(1002)에 나타낸 바와 같이, HMD 상의 하나 이상의 세계 센서가 사용자의 환경에 대한 정보(예컨대, 비디오, 깊이 정보, 조명 정보 등)를 캡처하고, 혼합 현실 시스템의 제어기로의 입력들로서 정보를 제공할 수 있다. (1004)에 나타낸 바와 같이, HMD 상의 하나 이상의 사용자 센서는 사용자에 대한 정보(예컨대, 사용자의 표정들, 눈 움직임, 손 제스처들 등)를 캡처하고, 혼합 현실 시스템의 제어기에 대한 입력들로서 정보를 제공할 수 있다. 요소들(1002, 1004)은 병렬적으로 수행될 수 있으며, 요소들(1002, 1004)로 되돌아가는 화살표들로 나타낸 바와 같이, 사용자가 혼합 현실 시스템을 사용함에 따라 혼합 현실 시스템의 제어기에 입력을 제공하기 위해 계속적으로 수행될 수 있다. (1010)에 나타낸 바와 같이, 혼합 현실 시스템의 제어기는 세계 및 사용자 센서들로부터의 입력들에 적어도 부분적으로 기초하여 가상 콘텐츠를 포함하는 프레임들을 렌더링할 수 있다. 제어기는 HMD에 통합될 수 있거나, 또는 대안적으로 HMD의 외부에 있는 디바이스에 의해 적어도 부분적으로 구현될 수 있다. (1020)에 나타낸 바와 같이, HMD는 사용자에 의한 관찰을 위한 가상 콘텐츠 및 사용자의 환경의 뷰를 포함하는 3D 가상 뷰를 제공하기 위해 제어기에 의해 생성된 프레임들을 디스플레이할 수 있다. 요소(1020)로 되돌아가는 화살표로 나타낸 바와 같이, 제어기는, 사용자가 혼합 현실 시스템을 사용하고 있는 한, 디스플레이를 위해 프레임들을 렌더링하기 위해 센서들로부터의 입력들을 계속해서 수신 및 프로세싱할 수 있다.
일부 실시예들에서, 사용자에게 디스플레이되는 세계의 가상 뷰에 대한 레이턴시를 감소시키기 위해, 세계 센서들(비디오 투과 카메라들)에 의해 캡처된 사용자의 실제 환경의 적어도 일부 비디오 프레임들은 사용자에 대한 디스플레이를 위해 디바이스의 프로젝션 시스템으로 직접 갈 수 있고; 제어기는 또한, 디스플레이를 위해 이후 프로젝션 시스템에 제공되는 프레임들 내로 가상 콘텐츠를 합성하기 위해, 비디오 프레임들을 수신 및 프로세싱할 수 있음에 유의한다.
도 4는 적어도 몇몇 실시예들에 따른, 예시적인 혼합 현실 시스템의 컴포넌트들을 도시하는 블록 다이어그램이다. 일부 실시예들에서, 혼합 현실 시스템(1900)은 헤드셋, 헬멧, 고글 또는 안경과 같은 HMD(2000)를 포함할 수 있다. HMD(2000)는 다양한 유형의 가상 현실 프로젝터 기술들 중 임의의 것을 구현할 수 있다. 예를 들어, HMD(2000)는 DLP(digital light processing), LCD(liquid crystal display) 및 LCoS(liquid crystal on silicon) 기술 프로젝터들과 같은, 사용자에 의해 관찰되는 스크린들 상의 좌측 및 우측 이미지를 포함하는 프레임들을 투사하는 근안 VR 프로젝터를 포함할 수 있다. 다른 예로서, HMD(2000)는 사용자의 눈들에 직접, 픽셀 단위로, 좌측 및 우측 이미지들을 포함하는 프레임들을 스캐닝하는 직접 망막 프로젝터를 포함할 수 있다. 3D 가상 뷰(2002) 내에 3 차원(3D) 효과를 생성하기 위해, 2 개의 이미지들 내의 상이한 깊이 또는 거리에 있는 객체들이 거리의 삼각측량의 함수로서 좌측 또는 우측으로 이동되며, 더 가까운 객체들은 더 먼 객체들보다 더 멀리 이동된다.
HMD(2000)는 사용자에 의해 관찰되는 3D 가상 뷰(2002)를 생성하는 VR 투사 기술, 예를 들어, 근안 VR 투사 기술 또는 직접 망막 투사 기술을 구현하는 3D 프로젝터(2020)를 포함할 수 있다. 일부 실시예들에서, HMD(2000)는 또한, 본 명세서에 기술된 바와 같은 혼합 현실 시스템(1900)의 기능을 구현하고 3D 프로젝터(2020)에 의해 3D 가상 뷰(2002) 내로 투사되거나 스캐닝되는 프레임들(각각의 프레임은 좌측 및 우측 이미지를 포함함)을 생성하도록 구성된 제어기(2030)를 포함할 수 있다. 일부 실시예들에서, HMD(2000)는 또한 제어기(2030)에 의해 실행가능한 혼합 현실 시스템의 소프트웨어(코드(2034))뿐만 아니라, 제어기(2030) 상에서 실행 중일 때 혼합 현실 시스템(1900)에 의해 사용될 수 있는 데이터(2038)를 저장하도록 구성된 메모리(2032)를 포함할 수 있다. 일부 실시예들에서, HMD(2000)는 유선 또는 무선 연결을 통해 외부 디바이스(2100)와 통신하도록 구성된 하나 이상의 인터페이스(2040)(예컨대, 블루투스 기술 인터페이스, USB 인터페이스 등)를 포함할 수 있다. 일부 실시예들에서, 제어기(2030)에 대해 기술된 기능의 적어도 일부는 외부 디바이스(2100)에 의해 구현될 수 있다. 외부 디바이스(2100)는 데스크톱 컴퓨터, 노트북 또는 랩톱 컴퓨터, 패드 또는 태블릿 디바이스, 스마트폰, 핸드-헬드 컴퓨팅 디바이스, 게임 제어기, 게임 시스템 등과 같은 임의의 유형의 컴퓨팅 시스템 또는 컴퓨팅 디바이스일 수 있거나 이를 포함할 수 있다.
다양한 실시예들에서, 제어기(2030)는 하나의 프로세서를 포함하는 단일프로세서 시스템, 또는 여러 개(예를 들어, 2 개, 4 개, 8 개, 또는 다른 적합한 개수)의 프로세서들을 포함하는 다중프로세서 시스템일 수 있다. 제어기(2030)는 임의의 적합한 명령어 세트 아키텍처를 구현하도록 구성된 중앙 프로세싱 유닛(CPU)들을 포함할 수 있고, 그 명령어 세트 아키텍처 내에 정의된 명령어들을 실행하도록 구성될 수 있다. 예를 들어, 다양한 실시예들에서, 제어기(2030)은 x86, PowerPC, SPARC, RISC 또는 MIPS ISA들, 또는 임의의 다른 적합한 ISA와 같은 다양한 명령어 세트 아키텍처(ISA)들 중 임의의 것을 구현하는 범용 또는 임베디드 프로세서들을 포함할 수 있다. 다중프로세서 시스템들에서, 프로세서들 각각은 일반적으로 동일한 ISA를 구현할 수 있지만 반드시 그러한 것은 아니다. 제어기(2030)는 스칼라, 수퍼스칼라, 파이프라인형, 수퍼파이프라인형, 비순차형, 순차형, 추측형, 비추측형(non-speculative) 등 또는 이들의 조합을 포함하는 임의의 마이크로아키텍처를 채택할 수 있다. 제어기(2030)는 마이크로코딩 기법들을 구현하기 위한 회로부를 포함할 수 있다. 제어기(2030)는 하나 이상의 프로세싱 코어를 포함할 수 있고, 이는 각각 명령어들을 실행하도록 구성된다. 제어기(2030)는 하나 이상의 레벨의 캐시를 포함할 수 있고, 이는 임의의 크기 및 임의의 구성(세트 연관(set associative), 직접 맵핑 등)을 사용할 수 있다. 일부 실시예들에서, 제어기(2030)는 임의의 적합한 그래픽 프로세싱 회로부를 포함할 수 있는 적어도 하나의 그래픽 프로세싱 유닛(GPU)을 포함할 수 있다. 일반적으로, GPU는 디스플레이될 객체들을 프레임 버퍼(예컨대, 전체 프레임에 대한 픽셀 데이터를 포함하는 것) 내에 렌더링하도록 구성될 수 있다. GPU는 그래픽 동작의 일부 또는 전부를 수행하기 위한 그래픽 소프트웨어 또는 소정 그래픽 동작들의 하드웨어 가속을 실행할 수 있는 하나 이상의 그래픽 프로세서를 포함할 수 있다. 일부 실시예들에서, 제어기(2030)는 비디오 및/또는 이미지들을 프로세싱 및 렌더링하기 위한 하나 이상의 다른 컴포넌트, 예를 들어 이미지 신호 프로세서(ISP)들, 코더/디코더들(코덱들) 등을 포함할 수 있다.
메모리(2032)는, 동적 랜덤 액세스 메모리(DRAM), 동기식 DRAM(SDRAM), 더블 데이터 레이트(DDR, DDR2, DDR3 등) SDRAM(mDDR3 등과 같은 모바일 버전들의 SDRAM들, 또는 LPDDR2 등과 같은 저전력 버전들의 SDRAM들을 포함), RAMBUS DRAM(RDRAM), 정적 RAM(SRAM) 등과 같은 임의의 유형의 메모리를 포함할 수 있다. 일부 실시예들에서, 하나 이상의 메모리 디바이스는 단일 인라인 메모리 모듈(single inline memory module: SIMM)들, 듀얼 인라인 메모리 모듈(DIMM)들 등과 같은 메모리 모듈들을 형성하기 위해 회로 보드 상에 커플링될 수 있다. 대안적으로, 디바이스들은 칩-온-칩(chip-on-chip) 구성, 패키지-온-패키지(package-on-package) 구성 또는 멀티-칩 모듈 구성으로 시스템을 구현하는 집적회로로 실장될 수 있다.
일부 실시예들에서, HMD(2000)는 HMD(2000)의 위치, 배향 및/또는 모션을 검출하고, 검출된 위치, 배향 및/또는 모션 데이터를 혼합 현실 시스템(1900)의 제어기(2030)에 제공하도록 구성된 적어도 하나의 관성 측정 유닛(IMU)(2070)을 포함할 수 있다.
일부 실시예들에서, HMD(2000)는 사용자의 환경에 대한 정보(비디오, 깊이 정보, 조명 정보 등)를 수집하는 세계 센서들(2050), 및 사용자에 대한 정보(예컨대, 사용자의 표정들, 눈 움직임, 손 제스처들 등)를 수집하는 사용자 센서들(2060)을 포함할 수 있다. 센서들(2050 및 2060)은 수집된 정보를 혼합 현실 시스템(1900)의 제어기(2030)에 제공할 수 있다. 센서들(2050, 2060)은 가시광 카메라들(예컨대, 비디오 카메라들), 적외선(IR)카메라들, IR 조명원을 갖는 IR 카메라들, 광 검출 및 레인지측정(LIDAR) 방출기들 및 수신기들/검출기들, 및 레이저 방출기들 및 수신기들/검출기들을 갖는 레이저-기반 센서들을 포함할 수 있지만, 이에 제한되지 않는다. 예시적인 HMD의 세계 및 사용자 센서들이 도 2a 내지 도 2c에 도시되어 있다.
HMD(2000)는 적어도 부분적으로 세계 센서(2050)및 사용자 센서(2060)입력에 따라 사용자를 위한 3D 가상 뷰(2002)를 제공하도록 프레임들을 렌더링 및 디스플레이하도록 구성될 수 있다. 가상 공간(2002)은, 디스플레이를 위해 실시간으로 사용자의 환경의 고품질, 고해상도 비디오를 캡처하는 하나 이상의 "비디오 투과" 카메라(예컨대, RGB (가시광) 비디오 카메라들)에 의해 캡처된 비디오에 기초한, 사용자의 환경에서의 실제 객체들(2012)의 렌더링들을 포함하는 사용자의 환경의 렌더링들을 포함할 수 있다. 가상 공간(2002)은 또한 혼합 현실 시스템(1900)에 의해 생성되고 사용자의 실제 환경의 투사된 3D 뷰와 합성된 가상 콘텐츠(예컨대, 가상 객체들(2014), 실제 객체들(2012)에 대한 가상 태그들(2015), 사용자의 아바타들 등)을 포함할 수 있다. 도 3 은 일부 실시예들에 따른, 도 4 에 도시된 바와 같은 혼합 현실 시스템(1900)에서 사용될 수 있는 3D 가상 뷰(2002)에서 콘텐츠를 생성하기 위해 센서 입력들을 수집 및 프로세싱하기 위한 예시적인 방법을 기술한다.
본 명세서에 설명된 방법들은, 상이한 실시예들에서, 소프트웨어, 하드웨어, 또는 이들의 조합으로 구현될 수 있다. 부가적으로, 방법들의 블록들의 순서는 변경될 수 있고, 다양한 요소들이 부가, 재순서화, 조합, 생략, 수정, 기타 등등될 수 있다. 본 개시내용의 이익을 가진 당업자에게 명백한 바와 같이 다양한 수정들 및 변화들이 이루어질 수 있다. 본 명세서에 설명된 다양한 실시예들은 예시적인 것이며 제한하려는 것으로 의도되지 않는다. 많은 변형들, 수정들, 부가들 및 개선들이 가능하다. 따라서, 복수의 예시들이 본 명세서에 설명된 컴포넌트들에 대해 단일 예시로서 제공될 수 있다. 다양한 컴포넌트들, 동작들, 및 데이터 저장들 사이의 경계들은 다소 임의적이고, 특정 동작들은 특정 예시 구성들의 맥락에서 예시된다. 기능의 다른 할당들이 계획되고, 다음의 청구범위의 범주 내에 속할 수 있다. 마지막으로, 예시적인 구성들에서 별개의 컴포넌트들로서 제시된 구조들 및 기능은 조합된 구조 또는 컴포넌트로서 구현될 수 있다. 이들 및 다른 변형들, 수정들, 부가들 및 개선들은 다음의 청구범위에 정의된 바와 같은 실시예들의 범주 내에 속할 수 있다.

Claims (20)

  1. 시스템으로서,
    하나 이상의 프로세서를 포함하는 제어기; 및
    사용자에게 3D 가상 뷰를 디스플레이하도록 구성된 머리 장착형 디스플레이(head-mounted display, HMD)를 포함하며, 상기 HMD 는,
    상기 3D 가상 뷰를 상기 사용자에게 제공하기 위해 좌측 및 우측 이미지들을 포함하는 프레임들을 상기 사용자의 눈들에 디스플레이하는 좌측 및 우측 디스플레이들;
    상기 사용자 및 상기 사용자의 환경에 대한 정보를 수집하고 상기 제어기에 상기 정보를 제공하도록 구성된 복수의 센서들을 포함하며, 상기 복수의 센서들은,
    상기 사용자의 환경의 뷰들을 캡처하도록 구성된 하나 이상의 카메라;
    상기 환경에서의 객체들에 대한 레인지(range) 정보를 결정하도록 구성된 하나 이상의 세계 맵핑 센서; 및
    상기 사용자의 눈들의 위치 및 움직임을 추적하도록 구성된 하나 이상의 눈 추적 센서를 포함하고;
    상기 제어기는, 상기 HMD에 의한 디스플레이를 위해 상기 하나 이상의 세계 맵핑 센서로부터의 상기 레인지 정보 및 상기 하나 이상의 눈 추적 센서에 의해 추적되는 바와 같은 상기 사용자의 눈들의 상기 위치 및 움직임에 적어도 부분적으로 기초하여 상기 사용자의 환경의 상기 캡처된 뷰들 내에 합성된 가상 콘텐츠를 포함하는 프레임들을 렌더링하도록 구성되는, 시스템.
  2. 제1항에 있어서, 상기 제어기는 상기 하나 이상의 세계 맵핑 센서로부터의 상기 레인지 정보에 적어도 부분적으로 기초하여 상기 3D 가상 뷰 내의 상기 가상 콘텐츠를 렌더링할 깊이들을 결정하도록 구성되는, 시스템.
  3. 제1항에 있어서, 상기 제어기는,
    상기 하나 이상의 눈 추적 센서에 의해 결정되는 바와 같은 상기 사용자의 눈들의 상기 위치에 기초하여 상기 사용자가 보고 있는 상기 3D 가상 뷰 내의 영역을 결정하고;
    상기 결정된 영역 내의 콘텐츠를 상기 3D 가상 뷰의 다른 영역들에서보다 더 높은 해상도로 렌더링하도록 구성되는, 시스템.
  4. 제1항에 있어서, 상기 복수의 센서들은,
    상기 환경에서의 상기 사용자의 위치, 배향, 및 모션에 대한 정보를 캡처하도록 구성된 하나 이상의 머리 포즈(head pose) 센서;
    상기 사용자의 환경에서의 색상, 강도, 및 방향을 포함하는 조명 정보를 캡처하도록 구성된 하나 이상의 광 센서;
    상기 사용자의 손들의 위치, 움직임, 및 제스처들을 추적하도록 구성된 하나 이상의 손 센서;
    상기 사용자의 눈썹의 표정들을 추적하도록 구성된 하나 이상의 눈썹 센서; 및
    상기 사용자의 입 및 턱의 표정들을 추적하도록 구성된 하나 이상의 하부 턱 센서를 추가로 포함하는, 시스템.
  5. 제4항에 있어서, 상기 제어기는 상기 하나 이상의 광 센서에 의해 캡처된 상기 조명 정보에 적어도 부분적으로 기초하여 상기 가상 콘텐츠에 대한 조명 효과들을 렌더링하도록 구성되는, 시스템.
  6. 제4항에 있어서, 상기 HMD는 관성 측정 유닛(IMU)을 추가로 포함하고, 상기 제어기는,
    상기 환경에서의 상기 사용자의 현재 위치, 배향, 및 모션을 결정하기 위해 상기 IMU로부터 수신된 정보를 상기 하나 이상의 머리 포즈 센서에 의해 캡처된 상기 정보로 증강시키고;
    상기 사용자의 상기 결정된 현재 위치, 배향, 및 모션에 적어도 부분적으로 기초하여 상기 HMD에 의한 디스플레이를 위해 상기 프레임들을 렌더링하도록 구성되는, 시스템.
  7. 제4항에 있어서, 상기 제어기는, 상기 하나 이상의 눈 추적 센서, 상기 하나 이상의 눈썹 센서, 및 상기 하나 이상의 하부 턱 센서에 의해 수집된 정보에 적어도 부분적으로 기초하여 상기 3D 가상 뷰에서의 디스플레이를 위해 상기 사용자의 얼굴의 아바타를 렌더링하도록 구성되는, 시스템.
  8. 제4항에 있어서, 상기 제어기는 상기 하나 이상의 손 센서에 의해 수집된 정보에 적어도 부분적으로 기초하여 상기 3D 가상 뷰에서의 디스플레이를 위해 상기 사용자의 손들의 표현들을 렌더링하도록 구성되는, 시스템.
  9. 제4항에 있어서, 상기 제어기는 상기 하나 이상의 손 센서에 의해 수집된 정보에 적어도 부분적으로 기초하여 상기 3D 가상 뷰 내의 가상 콘텐츠와 상기 사용자의 상호작용들을 검출하도록 구성되는, 시스템.
  10. 제1항에 있어서, 상기 사용자의 환경의 뷰들을 캡처하도록 구성된 하나 이상의 카메라는 상기 사용자의 좌안(left eye)에 대응하는 좌측 비디오 카메라 및 상기 사용자의 우안(right eye)에 대응하는 우측 비디오 카메라를 포함하는, 시스템.
  11. 디바이스로서,
    하나 이상의 프로세서를 포함하는 제어기;
    사용자에게 3D 가상 뷰를 제공하기 위해 좌측 및 우측 이미지들을 포함하는 프레임들을 상기 사용자의 눈들에 디스플레이하는 좌측 및 우측 디스플레이들;
    상기 사용자의 환경에 대한 정보를 수집하고 상기 제어기에 상기 정보를 제공하도록 구성된 복수의 세계 대면 센서들 - 상기 복수의 세계 대면 센서들은,
    상기 사용자의 환경의 뷰들을 캡처하도록 구성된 하나 이상의 카메라;
    상기 사용자의 환경에서의 깊이 정보를 캡처하도록 구성된 하나 이상의 세계 맵핑 센서를 포함함 -;
    상기 사용자에 대한 정보를 수집하고 상기 제어기에 상기 정보를 제공하도록 구성된 복수의 사용자 대면 센서들 - 상기 복수의 사용자 대면 센서들은 상기 사용자의 눈들의 위치 및 움직임을 추적하도록 구성된 하나 이상의 눈 추적 센서들을 포함함 - 을 포함하고;
    상기 제어기는, 상기 하나 이상의 세계 맵핑 센서에 의해 캡처된 상기 깊이 정보 및 상기 하나 이상의 눈 추적 센서에 의해 추적되는 바와 같은 상기 사용자의 눈들의 상기 위치 및 움직임에 적어도 부분적으로 기초하여 상기 사용자의 환경의 캡처된 뷰들 내에 합성된 가상 콘텐츠를 포함하는 디스플레이를 위한 프레임들을 렌더링하도록 구성되는, 디바이스.
  12. 제11항에 있어서, 상기 복수의 세계 대면 센서들은,
    상기 환경에서의 상기 사용자의 위치, 배향, 및 모션에 대한 정보를 캡처하도록 구성된 하나 이상의 머리 포즈 센서; 및
    상기 사용자의 환경에서의 색상, 강도, 및 방향을 포함하는 조명 정보를 캡처하도록 구성된 하나 이상의 광 센서를 추가로 포함하는, 디바이스.
  13. 제12항에 있어서, 상기 제어기는 상기 하나 이상의 광 센서에 의해 캡처된 상기 조명 정보에 적어도 부분적으로 기초하여 상기 가상 콘텐츠에 대한 조명 효과들을 렌더링하도록 구성되는, 디바이스.
  14. 제12항에 있어서, 상기 디바이스는 관성 측정 유닛(IMU)을 추가로 포함하고, 상기 제어기는, 상기 환경에서의 상기 사용자의 현재 위치, 배향, 및 모션을 결정하기 위해 상기 IMU로부터 수신된 정보를 상기 하나 이상의 머리 포즈 센서에 의해 캡처된 상기 정보로 증강시키도록 구성되는, 디바이스.
  15. 제11항에 있어서, 상기 복수의 사용자 대면 센서들은,
    상기 사용자의 손들의 위치, 움직임, 및 제스처들을 추적하도록 구성된 하나 이상의 손 센서;
    상기 사용자의 눈썹의 표정들을 추적하도록 구성된 하나 이상의 눈썹 센서; 및
    상기 사용자의 입 및 턱의 표정들을 추적하도록 구성된 하나 이상의 하부 턱 센서를 추가로 포함하는, 디바이스.
  16. 제15항에 있어서, 상기 제어기는 상기 하나 이상의 눈 추적 센서, 상기 하나 이상의 눈썹 센서, 상기 하나 이상의 하부 턱 센서, 및 상기 하나 이상의 손 센서에 의해 수집된 정보에 적어도 부분적으로 기초하여 상기 3D 가상 뷰에서의 디스플레이를 위해 상기 사용자의 아바타를 렌더링하도록 구성되는, 디바이스.
  17. 제15항에 있어서, 상기 제어기는 상기 하나 이상의 손 센서에 의해 수집된 정보에 적어도 부분적으로 기초하여 상기 3D 가상 뷰 내의 가상 콘텐츠와 상기 사용자의 상호작용들을 검출하도록 구성되는, 디바이스.
  18. 방법으로서,
    사용자에 의해 착용된 머리 장착형 디스플레이(HMD)의 복수의 세계 대면 센서들에 의해, 상기 사용자의 환경에 대한 정보를 캡처하는 단계 - 상기 사용자의 환경에 대한 상기 정보는 상기 사용자의 환경의 뷰들 및 상기 사용자의 환경에서의 깊이 정보를 포함함 -;
    상기 HMD의 복수의 사용자 대면 센서들에 의해, 상기 사용자에 대한 정보를 캡처하는 단계 - 상기 사용자에 대한 상기 정보는 상기 사용자의 눈들의 위치 및 움직임을 포함함 -;
    상기 HMD의 제어기에 의해, 세계 대면 센서들에 의해 캡처된 상기 깊이 정보 및 상기 사용자 대면 센서들에 의해 캡처된 상기 사용자의 눈들의 상기 위치 및 움직임에 적어도 부분적으로 기초하여 상기 사용자의 환경의 상기 캡처된 뷰들 내에 합성된 가상 콘텐츠를 포함하는 디스플레이를 위한 프레임들을 렌더링하는 단계; 및
    상기 HMD에 의해, 상기 가상 콘텐츠를 포함하는 상기 사용자의 환경의 3D 가상 뷰를 제공하기 위해 상기 사용자에게 상기 렌더링된 프레임들을 디스플레이하는 단계를 포함하는, 방법.
  19. 제18항에 있어서,
    상기 세계 대면 센서들에 의해, 상기 환경에서의 상기 사용자의 위치, 배향, 및 모션에 대한 정보, 및 상기 사용자의 환경에서의 색상, 강도, 및 방향을 포함하는 조명 정보를 캡처하는 단계;
    상기 제어기에 의해, 상기 세계 대면 센서들에 의해 캡처된 상기 환경에서의 상기 사용자의 위치, 배향, 및 모션에 대한 상기 정보에 적어도 부분적으로 기초하여 상기 환경에서의 상기 사용자의 현재 위치, 배향, 및 모션을 결정하는 단계; 및
    상기 제어기에 의해, 상기 세계 대면 센서들에 의해 캡처된 상기 조명 정보에 적어도 부분적으로 기초하여 상기 가상 콘텐츠에 대한 조명 효과들을 렌더링하는 단계를 추가로 포함하는, 방법.
  20. 제18항에 있어서,
    상기 사용자 대면 센서들에 의해, 상기 사용자의 손들의 위치, 움직임, 및 제스처들, 상기 사용자의 눈썹의 표정들, 및 상기 사용자의 입 및 턱의 표정들을 추적하는 단계; 및
    상기 제어기에 의해, 상기 복수의 사용자 대면 센서들에 의해 수집된 정보에 적어도 부분적으로 기초하여 상기 3D 가상 뷰 내의 디스플레이를 위해 상기 사용자의 아바타를 렌더링하는 단계를 추가로 포함하는, 방법.
KR1020197005049A 2016-09-22 2017-09-22 세계 및 사용자 센서들을 갖는 디스플레이 시스템 KR102230561B1 (ko)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201662398437P 2016-09-22 2016-09-22
US62/398,437 2016-09-22
US15/711,992 US20180082482A1 (en) 2016-09-22 2017-09-21 Display system having world and user sensors
US15/711,992 2017-09-21
PCT/US2017/053100 WO2018057991A1 (en) 2016-09-22 2017-09-22 Display system having world and user sensors

Publications (2)

Publication Number Publication Date
KR20190032473A true KR20190032473A (ko) 2019-03-27
KR102230561B1 KR102230561B1 (ko) 2021-03-22

Family

ID=61620491

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020197005049A KR102230561B1 (ko) 2016-09-22 2017-09-22 세계 및 사용자 센서들을 갖는 디스플레이 시스템

Country Status (5)

Country Link
US (2) US20180082482A1 (ko)
EP (1) EP3488315B1 (ko)
KR (1) KR102230561B1 (ko)
CN (1) CN109643145B (ko)
WO (1) WO2018057991A1 (ko)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102218843B1 (ko) * 2019-11-19 2021-02-22 광운대학교 산학협력단 스테레오 카메라를 이용한 중첩 레이어 기반의 멀티 카메라 증강현실 방송시스템 및 그 제공 방법
KR20220087687A (ko) * 2020-12-18 2022-06-27 한국과학기술원 실제 및 가상 사물인터넷 기기를 연동한 3차원 디지털 트윈 시각화 시스템 및 그 방법
WO2022234947A1 (ko) * 2021-05-06 2022-11-10 삼성전자주식회사 웨어러블 전자 장치 및 3d 이미지 출력 방법
WO2024014592A1 (ko) * 2022-07-15 2024-01-18 엘지전자 주식회사 Xr 디바이스, xr 디바이스의 컨트롤러 장치, 이들을 이용한 xr 디바이스의 동작 방법
US12003697B2 (en) 2021-05-06 2024-06-04 Samsung Electronics Co., Ltd. Wearable electronic device and method of outputting three-dimensional image

Families Citing this family (50)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180082482A1 (en) * 2016-09-22 2018-03-22 Apple Inc. Display system having world and user sensors
WO2018097831A1 (en) * 2016-11-24 2018-05-31 Smith Joshua R Light field capture and rendering for head-mounted displays
US10839520B2 (en) * 2017-03-03 2020-11-17 The United States Of America, As Represented By The Secretary, Department Of Health & Human Services Eye tracking applications in computer aided diagnosis and image processing in radiology
US10580386B2 (en) * 2017-04-21 2020-03-03 Ford Global Technologies, Llc In-vehicle projected reality motion correction
US11042729B2 (en) * 2017-05-01 2021-06-22 Google Llc Classifying facial expressions using eye-tracking cameras
US11861255B1 (en) 2017-06-16 2024-01-02 Apple Inc. Wearable device for facilitating enhanced interaction
WO2019040944A2 (en) 2017-08-25 2019-02-28 Agnetix, Inc. METHODS AND APPARATUS FOR FLUID-COOLED LED BASED ILLUMINATION FOR ENVIRONMENTALLY CONTROLLED AGRICULTURE
US10999976B2 (en) 2017-09-19 2021-05-11 Agnetix, Inc. Fluid-cooled lighting systems and kits for controlled agricultural environments, and methods for installing same
US11013078B2 (en) 2017-09-19 2021-05-18 Agnetix, Inc. Integrated sensor assembly for LED-based controlled environment agriculture (CEA) lighting, and methods and apparatus employing same
US10559276B2 (en) 2018-02-03 2020-02-11 Facebook Technologies, Llc Apparatus, system, and method for mitigating motion-to-photon latency in head-mounted displays
US10706813B1 (en) 2018-02-03 2020-07-07 Facebook Technologies, Llc Apparatus, system, and method for mitigating motion-to-photon latency in head-mounted displays
US10565678B2 (en) * 2018-03-23 2020-02-18 Microsoft Technology Licensing, Llc Asynchronous camera frame allocation
CN111868824A (zh) * 2018-04-05 2020-10-30 辛纳普蒂克斯公司 智能设备的情境感知控制
CA3099262A1 (en) 2018-05-04 2019-11-07 Agnetix, Inc. Methods, apparatus, and systems for lighting and distributed sensing in controlled agricultural environments
US10861242B2 (en) * 2018-05-22 2020-12-08 Magic Leap, Inc. Transmodal input fusion for a wearable system
US10678325B2 (en) 2018-05-22 2020-06-09 Facebook Technologies, Llc Apparatus, system, and method for accelerating positional tracking of head-mounted displays
US11354815B2 (en) * 2018-05-23 2022-06-07 Samsung Electronics Co., Ltd. Marker-based augmented reality system and method
US10818093B2 (en) * 2018-05-25 2020-10-27 Tiff's Treats Holdings, Inc. Apparatus, method, and system for presentation of multimedia content including augmented reality content
US10714055B1 (en) * 2018-06-14 2020-07-14 Facebook Technologies, Llc Systems and methods for display synchronization in head-mounted display devices
US11733824B2 (en) * 2018-06-22 2023-08-22 Apple Inc. User interaction interpreter
US10935793B2 (en) 2018-07-30 2021-03-02 Htc Corporation Head mounted display and using method thereof
US11508127B2 (en) * 2018-11-13 2022-11-22 Disney Enterprises, Inc. Capturing augmented reality on a head mounted display
CN113163720A (zh) 2018-11-13 2021-07-23 阿格尼泰克斯股份有限公司 具有集成相机和/或传感器以及无线通信的受控环境农业的流体冷却的基于led的照明方法和设备
US10902627B2 (en) * 2018-11-30 2021-01-26 Hins Sas Head mounted device for virtual or augmented reality combining reliable gesture recognition with motion tracking algorithm
US20200285056A1 (en) * 2019-03-05 2020-09-10 Facebook Technologies, Llc Apparatus, systems, and methods for wearable head-mounted displays
CN110244837A (zh) * 2019-04-26 2019-09-17 北京圣威特科技有限公司 增强现实且具有虚拟影像叠加的体验眼镜及其成像方法
CN111856751B (zh) * 2019-04-26 2022-12-09 苹果公司 具有低光操作的头戴式显示器
US11070786B2 (en) * 2019-05-02 2021-07-20 Disney Enterprises, Inc. Illumination-based system for distributing immersive experience content in a multi-user environment
CN110417640A (zh) * 2019-07-22 2019-11-05 北京达佳互联信息技术有限公司 消息发送和接收方法、装置、电子设备及存储介质
US11462000B2 (en) * 2019-08-26 2022-10-04 Apple Inc. Image-based detection of surfaces that provide specular reflections and reflection modification
EP3796644A1 (en) * 2019-09-20 2021-03-24 Eyeware Tech SA A method for capturing and rendering a video stream
WO2021119363A2 (en) 2019-12-10 2021-06-17 Agnetix, Inc. Multisensory imaging methods and apparatus for controlled environment horticulture using irradiators and cameras and/or sensors
KR20220130115A (ko) 2019-12-12 2022-09-26 아그네틱스, 인크. 제어 환경 원예용 근접 성장 시스템 내의 유체 냉각식 ｌｅｄ 기반 조명 기구
KR20210101027A (ko) * 2020-02-07 2021-08-18 삼성전자주식회사 전자 장치 및 그 동작 방법
TWI745924B (zh) 2020-04-10 2021-11-11 宏碁股份有限公司 虛擬實境定位裝置、虛擬實境定位系統以及虛擬實境定位裝置的製作方法
CN113703160A (zh) * 2020-05-08 2021-11-26 宏碁股份有限公司 虚拟现实定位装置及其制作方法、虚拟现实定位系统
WO2021236100A1 (en) * 2020-05-22 2021-11-25 Hewlett-Packard Development Company, L.P. Gesture areas
US11954268B2 (en) * 2020-06-30 2024-04-09 Snap Inc. Augmented reality eyewear 3D painting
CN111897422B (zh) * 2020-07-14 2022-02-15 山东大学 一种虚实物体实时融合的实物交互方法与系统
CN112115823A (zh) * 2020-09-07 2020-12-22 江苏瑞科科技有限公司 一种基于情感化身的混合现实协同系统
US11422380B2 (en) * 2020-09-30 2022-08-23 Snap Inc. Eyewear including virtual scene with 3D frames
CN112527102B (zh) * 2020-11-16 2022-11-08 青岛小鸟看看科技有限公司 头戴式一体机系统及其6DoF追踪方法和装置
CN112416125A (zh) * 2020-11-17 2021-02-26 青岛小鸟看看科技有限公司 Vr头戴式一体机
US20230040573A1 (en) * 2021-03-24 2023-02-09 AbdurRahman Bin Shahzad Bhatti Data systems for wearable augmented reality apparatus
CN113535064B (zh) * 2021-09-16 2022-02-01 北京亮亮视野科技有限公司 虚拟标签标记方法、装置、电子设备及存储介质
WO2023048924A1 (en) * 2021-09-21 2023-03-30 Chinook Labs Llc Waveguide-based eye illumination
US20230122185A1 (en) * 2021-10-18 2023-04-20 Microsoft Technology Licensing, Llc Determining relative position and orientation of cameras using hardware
US11993394B2 (en) 2021-11-10 2024-05-28 Rockwell Collins, Inc. Flight safety demonstration and infotainment through mixed reality
CN114859561B (zh) * 2022-07-11 2022-10-28 泽景(西安)汽车电子有限责任公司 一种可穿戴显示设备及其控制方法、存储介质
KR20240029944A (ko) * 2022-08-29 2024-03-07 삼성전자주식회사 실 객체에 대한 깊이 정보를 이용하여 가상 객체를 보정하는 전자 장치 및 그 제어 방법

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160022921A (ko) * 2013-06-24 2016-03-02 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 모바일 디바이스 착용 시의 머리 움직임 추적
KR101614315B1 (ko) * 2014-08-19 2016-04-21 한국과학기술연구원 웨어러블 장치 및 그 제어 방법
KR20170035958A (ko) * 2014-07-25 2017-03-31 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 가상 현실 환경 내에서의 시선 기반의 오브젝트 배치

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9013264B2 (en) * 2011-03-12 2015-04-21 Perceptive Devices, Llc Multipurpose controller for electronic devices, facial expressions management and drowsiness detection
US8752963B2 (en) * 2011-11-04 2014-06-17 Microsoft Corporation See-through display brightness control
JP5936155B2 (ja) * 2012-07-27 2016-06-15 Ｎｅｃソリューションイノベータ株式会社 ３次元ユーザインタフェース装置及び３次元操作方法
US9791921B2 (en) * 2013-02-19 2017-10-17 Microsoft Technology Licensing, Llc Context-aware augmented reality object commands
NZ712192A (en) * 2013-03-15 2018-11-30 Magic Leap Inc Display system and method
US9908048B2 (en) * 2013-06-08 2018-03-06 Sony Interactive Entertainment Inc. Systems and methods for transitioning between transparent mode and non-transparent mode in a head mounted display
US10533850B2 (en) * 2013-07-12 2020-01-14 Magic Leap, Inc. Method and system for inserting recognized object data into a virtual world
CN103760973B (zh) * 2013-12-18 2017-01-11 微软技术许可有限责任公司 增强现实的信息细节
CN103823553B (zh) * 2013-12-18 2017-08-25 微软技术许可有限责任公司 对表面背后的场景的增强现实显示
US9672416B2 (en) * 2014-04-29 2017-06-06 Microsoft Technology Licensing, Llc Facial expression tracking
US10852838B2 (en) * 2014-06-14 2020-12-01 Magic Leap, Inc. Methods and systems for creating virtual and augmented reality
JP6492451B2 (ja) * 2014-08-12 2019-04-03 セイコーエプソン株式会社 頭部装着型表示装置およびその制御方法、並びにコンピュータープログラム
US9791919B2 (en) * 2014-10-19 2017-10-17 Philip Lyren Electronic device displays an image of an obstructed target
US9760167B2 (en) * 2014-11-07 2017-09-12 Eye Labs, LLC Visual stabilization system for head-mounted displays
US9304003B1 (en) * 2015-03-18 2016-04-05 Microsoft Technology Licensing, Llc Augmented reality navigation
US9898865B2 (en) * 2015-06-22 2018-02-20 Microsoft Technology Licensing, Llc System and method for spawning drawing surfaces
EP3452991A4 (en) * 2016-05-02 2020-01-08 Warner Bros. Entertainment Inc. GEOMETRY ADJUSTMENT IN VIRTUAL REALITY AND EXTENDED REALITY
US10347053B2 (en) * 2016-05-17 2019-07-09 Google Llc Methods and apparatus to project contact with real objects in virtual reality environments
US10366536B2 (en) * 2016-06-28 2019-07-30 Microsoft Technology Licensing, Llc Infinite far-field depth perception for near-field objects in virtual environments
US20180082482A1 (en) * 2016-09-22 2018-03-22 Apple Inc. Display system having world and user sensors
US10914957B1 (en) * 2017-05-30 2021-02-09 Apple Inc. Video compression methods and apparatus
US10521947B2 (en) * 2017-09-29 2019-12-31 Sony Interactive Entertainment Inc. Rendering of virtual hand pose based on detected hand input
US11036284B2 (en) * 2018-09-14 2021-06-15 Apple Inc. Tracking and drift correction
US10778953B2 (en) * 2018-12-10 2020-09-15 Universal City Studios Llc Dynamic convergence adjustment in augmented reality headsets

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160022921A (ko) * 2013-06-24 2016-03-02 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 모바일 디바이스 착용 시의 머리 움직임 추적
KR20170035958A (ko) * 2014-07-25 2017-03-31 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 가상 현실 환경 내에서의 시선 기반의 오브젝트 배치
KR101614315B1 (ko) * 2014-08-19 2016-04-21 한국과학기술연구원 웨어러블 장치 및 그 제어 방법

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102218843B1 (ko) * 2019-11-19 2021-02-22 광운대학교 산학협력단 스테레오 카메라를 이용한 중첩 레이어 기반의 멀티 카메라 증강현실 방송시스템 및 그 제공 방법
KR20220087687A (ko) * 2020-12-18 2022-06-27 한국과학기술원 실제 및 가상 사물인터넷 기기를 연동한 3차원 디지털 트윈 시각화 시스템 및 그 방법
WO2022234947A1 (ko) * 2021-05-06 2022-11-10 삼성전자주식회사 웨어러블 전자 장치 및 3d 이미지 출력 방법
US12003697B2 (en) 2021-05-06 2024-06-04 Samsung Electronics Co., Ltd. Wearable electronic device and method of outputting three-dimensional image
WO2024014592A1 (ko) * 2022-07-15 2024-01-18 엘지전자 주식회사 Xr 디바이스, xr 디바이스의 컨트롤러 장치, 이들을 이용한 xr 디바이스의 동작 방법

Also Published As

Publication number Publication date
CN109643145A (zh) 2019-04-16
US11217021B2 (en) 2022-01-04
KR102230561B1 (ko) 2021-03-22
CN109643145B (zh) 2022-07-15
WO2018057991A1 (en) 2018-03-29
EP3488315A1 (en) 2019-05-29
US20180082482A1 (en) 2018-03-22
US20190221044A1 (en) 2019-07-18
EP3488315B1 (en) 2021-02-24

Similar Documents

Publication Publication Date Title
KR102230561B1 (ko) 세계 및 사용자 센서들을 갖는 디스플레이 시스템
US10877556B2 (en) Eye tracking system
US11330241B2 (en) Focusing for virtual and augmented reality systems
KR102281026B1 (ko) 홀로그램 앵커링 및 동적 포지셔닝 기법
US11755106B1 (en) Glint-assisted gaze tracker
US9710973B2 (en) Low-latency fusing of virtual and real content
US11914152B2 (en) Video compression methods and apparatus
CN112515624B (zh) 使用低分辨率图像跟踪眼睛
US20130326364A1 (en) Position relative hologram interactions
US20140176591A1 (en) Low-latency fusing of color image data
US20190094955A1 (en) Range finding and accessory tracking for head-mounted display systems
US11327561B1 (en) Display system
US20240103618A1 (en) Corrected Gaze Direction and Origin
US20240105046A1 (en) Lens Distance Test for Head-Mounted Display Devices

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant