KR20200032204A - 깊이 감지를 위해 프로그래밍가능한 회절 광학 요소를 갖는 카메라 어셈블리 - Google Patents

깊이 감지를 위해 프로그래밍가능한 회절 광학 요소를 갖는 카메라 어셈블리 Download PDF

Info

Publication number
KR20200032204A
KR20200032204A KR1020207006071A KR20207006071A KR20200032204A KR 20200032204 A KR20200032204 A KR 20200032204A KR 1020207006071 A KR1020207006071 A KR 1020207006071A KR 20207006071 A KR20207006071 A KR 20207006071A KR 20200032204 A KR20200032204 A KR 20200032204A
Authority
KR
South Korea
Prior art keywords
beams
pdoe
optical
structured light
optical beams
Prior art date
Application number
KR1020207006071A
Other languages
English (en)
Other versions
KR102510644B1 (ko
Inventor
앤드류 매튜 바르다그지
조셉 두간
시나 하젝
페이 리우
마크 티모시 설리번
시몬 모리스 샨드 웨이스
Original Assignee
페이스북 테크놀로지스, 엘엘씨
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 페이스북 테크놀로지스, 엘엘씨 filed Critical 페이스북 테크놀로지스, 엘엘씨
Publication of KR20200032204A publication Critical patent/KR20200032204A/ko
Application granted granted Critical
Publication of KR102510644B1 publication Critical patent/KR102510644B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/254—Image signal generators using stereoscopic image cameras in combination with electromagnetic radiation sources for illuminating objects
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B26/00—Optical devices or arrangements for the control of light using movable or deformable optical elements
    • G02B26/08—Optical devices or arrangements for the control of light using movable or deformable optical elements for controlling the direction of light
    • G02B26/10—Scanning systems
    • G02B26/106—Scanning systems having diffraction gratings as scanning elements, e.g. holographic scanners
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2513—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object with several lines being projected in more than one direction, e.g. grids, patterns
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2518—Projection by scanning of the object
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2536—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object using several gratings with variable grating pitch, projected on the object with the same angle of incidence
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B26/00—Optical devices or arrangements for the control of light using movable or deformable optical elements
    • G02B26/08—Optical devices or arrangements for the control of light using movable or deformable optical elements for controlling the direction of light
    • G02B26/0808—Optical devices or arrangements for the control of light using movable or deformable optical elements for controlling the direction of light by means of one or more diffracting elements
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B26/00—Optical devices or arrangements for the control of light using movable or deformable optical elements
    • G02B26/08—Optical devices or arrangements for the control of light using movable or deformable optical elements for controlling the direction of light
    • G02B26/0816—Optical devices or arrangements for the control of light using movable or deformable optical elements for controlling the direction of light by means of one or more reflecting elements
    • G02B26/0833—Optical devices or arrangements for the control of light using movable or deformable optical elements for controlling the direction of light by means of one or more reflecting elements the reflecting element being a micromechanical device, e.g. a MEMS mirror, DMD
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/30—Collimators
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/42—Diffraction optics, i.e. systems including a diffractive element being designed for providing a diffractive effect
    • G02B27/4233—Diffraction optics, i.e. systems including a diffractive element being designed for providing a diffractive effect having a diffractive element [DOE] contributing to a non-imaging application
    • G02B27/425—Diffraction optics, i.e. systems including a diffractive element being designed for providing a diffractive effect having a diffractive element [DOE] contributing to a non-imaging application in illumination systems
    • G—PHYSICS
    • G02—OPTICS
    • G02F—OPTICAL DEVICES OR ARRANGEMENTS FOR THE CONTROL OF LIGHT BY MODIFICATION OF THE OPTICAL PROPERTIES OF THE MEDIA OF THE ELEMENTS INVOLVED THEREIN; NON-LINEAR OPTICS; FREQUENCY-CHANGING OF LIGHT; OPTICAL LOGIC ELEMENTS; OPTICAL ANALOGUE/DIGITAL CONVERTERS
    • G02F1/00—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics
    • G02F1/29—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics for the control of the position or the direction of light beams, i.e. deflection
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00—Special procedures for taking photographs; Apparatus therefor
    • G03B15/02—Illuminating scene
    • G03B15/06—Special arrangements of screening, diffusing, or reflecting devices, e.g. in studio
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B17/00—Details of cameras or camera bodies; Accessories therefor
    • G03B17/48—Details of cameras or camera bodies; Accessories therefor adapted for combination with other photographic or optical apparatus
    • G03B17/54—Details of cameras or camera bodies; Accessories therefor adapted for combination with other photographic or optical apparatus with projector
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B21/00—Projectors or projection-type viewers; Accessories therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/302—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
    • H04N13/32—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays using arrays of controllable light sources; using moving apertures or moving light sources
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/302—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
    • H04N13/322—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays using varifocal lenses or mirrors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]

Abstract

로컬 영역의 깊이 감지를 위한 깊이 카메라 어셈블리(DCA)는 구조화된 광 생성기, 이미징 디바이스, 및 제어기를 포함한다. 구조화된 광 생성기는 구조화된 광 패턴으로 로컬 영역을 비춘다. 구조화된 광 생성기는 광학 빔들을 사용하여 회절된 스캐닝 빔들을 생성하는 프로그래밍가능한 회절 광학 요소(PDOE)를 포함한다. PDOE는 상이한 패턴들의 회절된 스캐닝 빔들을 생성하기 위해 광학 빔들의 회절을 동적으로 조정하는 동적 회절 격자로서 기능한다. 회절된 스캐닝 빔들은 구조화된 광 패턴으로서 로컬 영역으로 투영되고, 구조화된 광 패턴은 PDOE에 기초하여 동적으로 조정가능하다. 이미징 디바이스는 로컬 영역에서 객체(들)로부터 반사된 구조화된 광 패턴의 적어도 일부의 이미지(들)를 캡쳐한다. 제어기는 캡쳐된 이미지(들)에 기초하여 객체(들)에 대한 깊이 정보를 결정한다.

Description

깊이 감지를 위해 프로그래밍가능한 회절 광학 요소를 갖는 카메라 어셈블리
본 발명은 일반적으로, 깊이 감지에 관한 것이고, 구체적으로 3차원 깊이 감지를 위해 프로그래밍가능한 회절 광학 요소(PDOE)를 갖는 카메라 어셈블리에 관한 것이다.
머리 장착 디스플레이들(HMDs)을 사용할 때 깊이 감지를 위한 강력한 사용자 경험을 성취하기 위해, 실시간으로 동적으로 조정가능한 조명 패턴을 제공하는 스캐닝 디바이스(scanning device)를 생성하는 것이 중요하다. 대부분의 깊이 감지 방법들은 능동 조명 및 검출에 의존한다. 깊이 감지를 위한 종래의 방법들은 구조화된 광 또는 비행 시간(time-of-flight) 기술들을 사용하는, 기계적 스캐닝 또는 고정된 회절 광학 패턴 투영을 수반한다. 비행 시간에 기초하는 깊이 감지는 짧은 펄스들을 객체 공간으로 전송하기 위해 기계 기반 미러 디바이스(스캐너)를 사용한다. 비행 시간에 기초한 깊이 감지는 또한, 고 해상도 깊이 맵들을 생성하기 위해 객체로부터 시간 게이트 후방 산란된 광에 대해 고속 검출기를 사용한다. 그러나, 기계 기반 스캐너는 속도, 실시간 재구성 및 기계적 안정성의 스캐닝 시에 부적절하게 수행한다. 고정 구조화된 광에 기초한 깊이 감지는 객체 공간으로 투영된 정적(고정) 패턴의 구조화된 광을 생성하기 위해 회절 광학 요소를 사용한다. 고정 구조화된 광에 기초한 깊이 감지는 또한, 깊이 맵들을 계산하고 추출하기 위해 미리 저장된 룩업 테이블을 사용한다. 그러나, 고정 구조화된 광 및 회절 광학 요소에 기초한 깊이 감지는 조명 패턴의 조정이 요구되는 동적 깊이 감지를 위해 충분히 견고(robust)하지 않다.
본 발명의 목적은 깊이 감지를 위해 프로그래밍가능한 회절 광학 요소를 갖는 카메라 어셈블리를 제공하는 것이다.
깊이 카메라 어셈블리(DCA)는 로컬 영역에서 하나 이상의 객체들과 연관된 깊이 정보를 결정한다. DCA는 구조화된 광 생성기, 이미징 디바이스 및 제어기를 포함한다. 구조화된 광 생성기는 방출 지시들에 따라 구조화된 광 패턴(예로서, 도트 패턴, 라인 패턴, 등)으로 로컬 영역을 비추도록 구성된다. 구조화된 광 생성기는 조명원, 프로그래밍가능한 회절 광학 요소(PDOE), 및 투영 어셈블리를 포함한다. 조명원은 광학 빔들을 방출하도록 구성된다. PDOE는 방출 지시들에 부분적으로 기초하여, 광학 빔들로부터 회절된 스캐닝 빔들을 생성한다. PDOE는 상이한 패턴들의 회절된 스캐닝 빔들을 생성하기 위해 광학 빔들의 회절을 동적으로 조정하는 동적 회절 격자(dynamic diffraction grating)로서 기능한다. 투영 어셈블리는 회절된 스캐닝 빔들을 구조화된 광 패턴으로서 로컬 영역으로 투영하도록 구성되고, 구조화된 광 패턴은 PDOE에 기초하여 동적으로 조정가능하다. 이미징 디바이스는 로컬 영역에서 하나 이상의 객체들로부터 반사된 구조화된 광 패턴의 적어도 일부의 하나 이상의 이미지들을 캡쳐하도록 구성된다. 제어기는 구조화된 광 생성기 및 이미징 디바이스 둘 모두에 결합될 수 있다. 제어기는 방출 지시들을 생성하고 방출 지시들을 구조화된 광 생성기에 제공한다. 제어기는 또한, 캡쳐된 하나 이상의 이미지들에 부분적으로 기초하여 하나 이상의 객체들에 대한 깊이 정보를 결정하도록 구성된다.
머리 장착 디스플레이(HMD)는 DCA를 또한 통합할 수 있다. HMD는 전자 디스플레이 및 광학 어셈블리를 더 포함한다. HMD는 예로서, 가상 현실(VR) 시스템, 증강 현실(AR) 시스템, 혼합 현실(MR) 시스템, 또는 그들의 일부 조합일 수 있다. 전자 디스플레이는 이미지 광을 방출하도록 구성된다. 광학 어셈블리는 이미지 광을 사용자 눈의 위치에 대응하는 HMD의 사출 동공(exit pupil)으로 지향시키도록 구성되고, 이미지 광은 DCA에 의해 결정된 로컬 영역에서 하나 이상의 객체들의 깊이 정보를 포함한다.
본 발명에 따른 실시예들은 깊이 카메라 어셈블리(DCA), 방법, 및 머리 장착 디스플레이(HMD)에 관한 첨부된 청구항들에 특히 개시되고, 하나의 청구항 카테고리 예로서, DCA에서 언급된 임의의 특징은 또 다른 청구항 카테고리 예로서, 방법, HMD, 시스템, 저장 매체, 및 컴퓨터 프로그램 제품에서 또한 청구될 수 있다. 다시, 첨부된 청구항들에서의 종속성들 또는 참조들은 단지 형식적인 이유들을 위해 선택된다. 그러나, 임의의 이전의 청구항들(특히, 다수의 종속성들)에 대해 다시 의도적인 참조로부터 발생하는 임의의 요지가 또한 청구될 수 있어서, 청구항들 및 그들의 특징들의 임의의 조합이 개시되고 첨부된 도면들에서 선택된 종속성들에 관계없이 청구될 수 있게 한다. 청구될 수 있는 요지는 첨부된 청구항들에 제시된 바와 같은 특징들의 조합들 뿐만 아니라, 청구항들에서의 특징들의 임의의 다른 조합을 포함하고, 청구항들에서 언급된 각각의 특징은 청구항들에서의 임의의 다른 특징 또는 다른 특징들의 조합과 조합될 수 있다. 또한, 본 명세서에서 설명되거나 묘사된 실시예들 및 특징들 중 임의의 실시예 및 특징은 별개의 청구항에서 및/또는 본 명세서에서 설명되거나 묘사된 임의의 실시예 또는 특징과 또는 첨부된 청구항들의 특징들 중 임의의 특징과의 임의의 조합으로 청구될 수 있다.
본 발명에 따른 일 실시예에서, 깊이 카메라 어셈블리(DCA)는:
방출 지시들에 따라 구조화된 광 패턴으로 로컬 영역을 비추도록 구성된 구조화된 광 생성기로서,
광학 빔들을 방출하도록 구성된 조명원,
방출 지시들에 부분적으로 기초하여, 광학 빔들로부터 회절된 스캐닝 빔들을 생성하는 프로그래밍가능한 회절 광학 요소(PDOE)로서, 상이한 패턴들의 회절된 스캐닝 빔들을 생성하기 위해 광학 빔들의 회절을 동적으로 조정하는 동적 회절 격자로서 기능하는, 상기 프로그래밍가능한 회절 광학 요소(PDOE), 및
회절된 스캐닝 빔들을 구조화된 광 패턴으로서 로컬 영역으로 투영하도록 구성된 투영 어셈블리로서, 상기 구조화된 광 패턴은 PDOE에 기초하여 동적으로 조정가능한, 상기 투영 어셈블리를 포함하는, 상기 구조화된 광 생성기;
로컬 영역에서 하나 이상의 객체들로부터 반사된 구조화된 광 패턴의 적어도 일부의 하나 이상의 이미지들을 캡쳐하도록 구성된 이미징 디바이스; 및
제어기로서:
방출 지시들을 생성하고,
방출 지시들을 구조화된 광 생성기에 제공하고,
캡쳐된 하나 이상의 이미지들에 부분적으로 기초하여 하나 이상의 객체들에 대한 깊이 정보를 결정하도록 구성되는, 상기 제어기를 포함할 수 있다.
PDOE는 공간 광 변조기, 액정 온 실리콘(LCOS) 디바이스, 마이크로전자기계(MEM) 디바이스, 및 디지털 마이크로-미러 디바이스(DMD)로 구성된 그룹으로부터 선택될 수 있다.
PDOE는 액정(LC) 기반 회절 광학 요소를 포함할 수 있고;
제어기는 상이한 패턴들을 가지는 회절된 스캐닝 빔들을 형성하기 위해 LC 기반 회절 광학 요소의 회절 각도를 조정하도록 LC 기반 회절 광학 요소에 인가된 전압 레벨을 동적으로 조정할 수 있다.
PDOE는 공간 주파수를 가지는 변조 신호에 기초하여, 회절된 스캐닝 빔들을 변조된 광으로서 형성하기 위해 광학 빔들을 공간적으로 변조하는 공간 광 변조기를 포함할 수 있고;
제어기는 상이한 패턴들을 가지는 변조된 광을 형성하기 위해 광학 빔들에 인가된 변조 신호의 공간 주파수를 동적으로 조정할 수 있다.
PDOE는 마이크로-미러 셀들의 어레이를 포함할 수 있고;
제어기는 방출 지시들에 부분적으로 기초하여, 상이한 패턴들을 가지는 회절된 스캐닝 빔들을 형성하기 위해 광학 빔들의 일부를 흡수하도록 어레이의 제 1 복수의 셀들 및 광학 빔들의 또 다른 부분을 반사하도록 어레이의 제 2 복수의 셀들을 동적으로 재구성할 수 있다.
조명원은:
방출 지시들에 부분적으로 기초하여, 광학 빔들을 방출하도록 구성된 발광기;
광학 빔들을 시준된 광으로 시준하도록 구성된 시준 어셈블리, 및
시준된 광을 PDOE로 지향시키도록 구성된 프리즘을 포함할 수 있다.
조명원은:
방출 지시들에 부분적으로 기초하여, 광학 빔들을 방출하도록 구성된 발광기, 및
단일 광학 요소로서:
시준된 광을 생성하기 위해 광학 빔들을 시준하고,
시준된 광을 PDOE로 지향시키도록 구성되는, 상기 단일 광학 요소를 포함할 수 있다.
PDOE는 방출 지시들에 부분적으로 기초하여 회절된 스캐닝 빔들을 형성하기 위해 브래그 정합 조건을 만족시키는 각도로 PDOE에 입사하는 광학 빔들을 회절시킬 수 있다.
광학 빔들은 시간적으로 변조되어 시간적으로 변조될 구조화된 광 패턴을 제공할 수 있다.
제어기는:
결정된 깊이 정보에 기초하여, 광학 빔들의 회절을 조정하기 위해 동적 회절 격자를 제어하도록 구성될 수 있다.
제어기는:
로컬 영역에서 하나 이상의 객체들의 위치 정보에 기초하여, 광학 빔들의 회절을 조정하기 위해 동적 회절 격자를 제어하도록 구성될 수 있다.
DCA는 머리 장착 디스플레이의 구성요소일 수 있다.
본 발명에 따른 일 실시예에서, 방법은:
방출 지시들을 생성하는 단계;
방출 지시들에 부분적으로 기초하여, 상이한 패턴들의 회절된 스캐닝 빔들을 생성하기 위해 광학 빔들의 회절을 동적으로 조정하는 동적 회절 격자로서 기능하는 프로그래밍가능한 회절 광학 요소(PDOE)를 사용하여 광학 빔들을 회절시킴으로써 광학 빔들로부터 회절된 스캐닝 빔들을 생성하는 단계;
회절된 스캐닝 빔들을 구조화된 광 패턴으로서 로컬 영역으로 투영하는 단계;
로컬 영역에서 하나 이상의 객체들로부터 반사된 구조화된 광 패턴의 적어도 일부의 하나 이상의 이미지들을 캡쳐하는 단계; 및
캡쳐된 하나 이상의 이미지들에 적어도 부분적으로 기초하여 하나 이상의 객체들에 대한 깊이 정보를 결정하는 단계를 포함할 수 있다.
PDOE는 액정(LC) 기반 회절 광학 요소를 포함할 수 있고, 방법은,
상이한 패턴들을 가지는 회절된 스캐닝 빔들을 형성하기 위해 LC 기반 회절 광학 요소의 회절 각도를 조정하도록 LC 기반 회절 광학 요소에 인가된 전압 레벨을 동적으로 조정하는 단계를 포함할 수 있다.
방법은:
공간 광 변조기로서 구성된 PDOE를 사용하여, 공간 주파수를 가지는 변조 신호에 기초하여, 회절된 스캐닝 빔들을 변조된 광으로서 형성하기 위해 광학 빔들을 변조하는 단계; 및
상이한 패턴들을 가지는 변조된 광을 형성하기 위해 광학 빔들에 인가된 변조 신호의 공간 주파수를 동적으로 조정하는 단계를 포함할 수 있다.
PDOE는 마이크로-미러 셀들의 어레이를 포함할 수 있고, 방법은:
방출 지시들에 부분적으로 기초하여, 상이한 패턴들을 가지는 회절된 스캐닝 빔들을 형성하기 위해 광학 빔들의 일부를 흡수하도록 어레이의 제 1 복수의 셀들 및 광학 빔들의 또 다른 부분을 반사하도록 어레이의 제 2 복수의 셀들을 동적으로 재구성하는 단계를 포함할 수 있다.
방법은:
방출 지시들에 부분적으로 기초하여, 광학 빔들을 방출하는 단계;
시준된 광을 생성하기 위해 광학 빔들을 시준하는 단계; 및
시준된 광을 PDOE로 지향시키는 단계를 포함할 수 있다.
방법은:
결정된 깊이 정보에 기초하여, 광학 빔들의 회절을 조정하기 위해 동적 회절 격자를 제어하는 단계를 포함할 수 있다.
방법은:
로컬 영역에서 하나 이상의 객체들의 위치 정보에 기초하여, 광학 빔들의 회절을 조정하기 위해 동적 회절 격자를 제어하는 단계를 포함할 수 있다.
본 발명에 따른 일 실시예에서, 머리 장착 디스플레이(HMD)는:
이미지 광을 방출하도록 구성된 전자 디스플레이;
방출 지시들에 따라 구조화된 광 패턴으로 로컬 영역을 비추도록 구성된 광 생성기로서,
광학 빔들을 방출하도록 구성된 조명원,
방출 지시들에 부분적으로 기초하여, 광학 빔들로부터 회절된 스캐닝 빔들을 생성하는 프로그래밍가능한 회절 광학 요소(PDOE)로서, 상이한 패턴들의 회절된 스캐닝 빔들을 생성하기 위해 광학 빔들의 회절을 동적으로 조정하는 동적 회절 격자로서 기능하는, 상기 프로그래밍가능한 회절 광학 요소(PDOE), 및
회절된 스캐닝 빔들을 구조화된 광 패턴으로서 로컬 영역으로 투영하도록 구성된 투영 어셈블리로서, 상기 구조화된 광 패턴은 PDOE에 기초하여 동적으로 조정가능한, 상기 투영 어셈블리를 포함하는, 상기 광 생성기;
로컬 영역에서 하나 이상의 객체들로부터 반사된 구조화된 광 패턴의 적어도 일부의 하나 이상의 이미지들을 캡쳐하도록 구성된 이미징 디바이스;
제어기로서:
방출 지시들을 생성하고,
방출 지시들을 광 생성기에 제공하고,
캡쳐된 하나 이상의 이미지들에 부분적으로 기초하여 하나 이상의 객체들에 대한 깊이 정보를 결정하도록 구성되는, 상기 제어기; 및
이미지 광을 사용자의 눈의 위치에 대응하는 HMD의 사출 동공으로 지향시키도록 구성된 광학 어셈블리로서, 상기 이미지 광은 결정된 깊이 정보를 포함하는, 상기 광학 어셈블리를 포함할 수 있다.
본 발명의 또 다른 실시예에서, 하나 이상의 컴퓨터 판독가능한 비일시적 저장 매체들은 본 발명에 따른 시스템 또는 상기 언급된 실시예들 중 임의의 실시예에서 수행하도록 실행될 때 동작가능한 소프트웨어를 구현한다.
본 발명의 또 다른 실시예에서, 컴퓨터 구현 방법은 본 발명에 따른 시스템 또는 상기 언급된 실시예들 중 임의의 실시예를 사용한다.
본 발명의 또 다른 실시예에서, 바람직하게 컴퓨터 판독가능한 비일시적 저장 매체들을 포함하는 컴퓨터 프로그램 제품은 본 발명에 따른 시스템 또는 상기 언급된 실시예들 중 임의의 실시예에서 사용된다.
도 1은 일 실시예에 따른, 머리 장착 디스플레이(HMD)의 도면.
도 2는 일 실시예에 따른, 도 1에서의 HMD의 전방 강체의 단면도.
도 3a는 일 실시예에 따른, 프로그래밍가능한 회절 광학 요소(PDOE)를 포함하는 일 예시적인 깊이 카메라 어셈블리(DCA)를 도시한 도면.
도 3b는 일 실시예에 따른, 반사형 PDOE를 포함하는 일 예시적인 DCA를 도시한 도면.
도 3c는 일 실시예에 따른, 음향 광학 변조기(AOM) 및 PDOE를 포함하는 일 예시적인 DCA를 도시한 도면.
도 4는 일 실시예에 따른, 로컬 영역에서 객체들의 깊이 정보를 결정하는 프로세스를 도시하는 흐름도.
도 5는 일 실시예에 따른, 콘솔이 동작하는 HMD 시스템의 블록도.
도면들은 단지 예시의 목적들을 위해 본 발명의 실시예들을 묘사한다. 당업자는 다음 설명으로부터, 본 명세서에 도시된 구조들 및 방법들의 대안적인 실시예들이 본 명세서에 설명된 본 발명의 원리들, 또는 내세워진 이득들을 벗어나지 않고 사용될 수 있음을 용이하게 인식할 것이다.
깊이 카메라 어셈블리(DCA)의 일부 또는 전부를 둘러싸는 로컬 영역에서 객체들의 깊이 정보를 결정하기 위한 DCA가 개시된다. DCA는 조명원, 카메라, 및 제어기를 포함한다. 조명원은 광원, 프로그래밍가능한 회절 광학 요소(PDOE) 및 투영 어셈블리를 포함한다. PDOE는 예로서, 공간 광 변조기, 액정 온 실리콘(LCOS), 마이크로전자기계(MEM) 디바이스, 상이한 패턴들의 광을 생성할 수 있는 일부 다른 디바이스, 또는 그들의 일부 조합일 수 있다. 일부 실시예들에서, 조명원은 광원, 시준기 및 시준된 광을 PDOE로 지향시키는 프리즘을 포함한다. 다른 실시예들에서, 조명원은 광원 및 시준된 빔을 PDOE를 향해 시준하고 지향시키도록 작용하는 단일 하이브리드 광학 요소를 갖는 렌즈를 포함한다. PDOE의 전방에 배치된 투영 어셈블리는 PDOE에 의해 생성된 광을 로컬 영역으로 투영하고, 투영된 광의 패턴은 PDOE에 기초하여 동적으로 조정가능하다. 제어기는 로컬 영역에서 객체들로부터 반사된 조정가능한 광 패턴의 적어도 일부의 캡쳐된 하나 이상의 이미지들에 부분적으로 기초하여 깊이 정보를 결정한다.
일부 실시예들에서, DCA는 HMD의 일부 또는 전부를 둘러싸는 로컬 영역에서 깊이 정보를 설명하는 데이터를 캡쳐하는 머리 장착 디스플레이(HMD)에 통합된다. HMD는 예로서, 가상 현실(VR) 시스템, 증강 현실(AR) 시스템, 혼합 현실(MR) 시스템, 또는 그들의 일부 조합의 부분일 수 있다. HMD는 전자 디스플레이 및 광학 어셈블리를 더 포함한다. 전자 디스플레이는 이미지 광을 방출하도록 구성된다. 광학 어셈블리는 이미지 광을 사용자의 눈의 위치에 대응하는 HMD의 사출 동공으로 지향시키도록 구성되며, 이미지 광은 DCA에 의해 결정된 로컬 영역에서 객체들의 깊이 정보를 포함한다.
도 1은 일 실시예에 따른, HMD(100)의 도면이다. HMD(100)는 예로서, VR 시스템, AR 시스템, MR 시스템, 또는 그들의 일부 조합의 부분일 수 있다. AR 시스템 및/또는 MR 시스템을 설명하는 실시예들에서, HMD(100)의 전면(102)의 부분들은 가시 대역(~380nm 내지 750nm)에서 적어도 부분적으로 투명하고, HMD(100)의 전면(102)과 사용자의 눈 사이에 있는 HMD(100)의 부분들은 적어도 부분적으로 투명하다(예로서, 부분적으로 투명한 전자 디스플레이). HMD(100)는 전방 강체(105), 밴드(110), 및 기준 지점(115)을 포함한다. HMD(100)는 또한, HMD(100)의 일부 또는 전부를 둘러싸는 로컬 영역의 깊이 정보를 결정하도록 구성된 DCA를 포함한다. HMD(100)는 또한, 이미징 개구부(120) 및 조명 개구부(125)를 포함하고, DCA의 조명원은 조명 개구부(125)를 통해 광(예로서, 구조화된 광 패턴)을 방출한다. DCA의 이미징 디바이스는 이미징 개구부(120)를 통해 로컬 영역으로부터 반사되는 조명원으로부터 광을 캡쳐한다. 조명 개구부(125)를 통해 DCA의 조명원으로부터 방출된 광은 도 2 내지 도 4와 결부하여 더 상세히 논의된 바와 같이, 구조화된 광 패턴을 포함한다. 이미징 개구부(120)를 통해 로컬 영역으로부터 반사되고 DCA의 이미징 디바이스에 의해 캡쳐된 광은 도 2 내지 도 4과 결부하여 또한 더 상세히 논의되는 바와 같이, 반사된 구조화된 광 패턴의 적어도 일부를 포함한다.
전방 강체(105)는 하나 이상의 전자 디스플레이 요소들(도 1에 도시되지 않음), 하나 이상의 통합된 눈 추적 시스템들(도 1에 도시되지 않음), 관성 측정 유닛(IMU)(130), 하나 이상의 위치 센서들(135), 및 기준 지점(115)을 포함한다. 도 1에 의해 도시된 실시예에서, 위치 센서들(135)은 IMU(130) 내에 위치되고, 어떠한 IMU(130) 및 위치 센서들(135)도 HMD(100)의 사용자에게 보이지 않는다. IMU(130)는 위치 센서들(135) 중 하나 이상으로부터 수신된 측정 신호들에 기초하여 빠른 교정 데이터를 생성하는 전자 디바이스이다. 위치 센서(135)는 HMD(100)의 움직임에 응답하여 하나 이상의 측정 신호들을 생성한다. 위치 센서들(135)의 예들은: 하나 이상의 가속도계들, 하나 이상의 자이로스코프들, 하나 이상의 자력계들, 움직임을 검출하는 또 다른 적합한 유형의 센서, IMU(130)의 오차 정정을 위해 사용된 일 유형의 센서, 또는 그들의 일부 조합을 포함한다. 위치 센서(135)들은 IMU(130) 외부, IMU(130) 내부, 또는 그들의 일부 조합에 위치될 수 있다.
도 2는 도 1에 도시된 HMD(100)의 전방 강체(105)의 단면도(200)이다. 도 2에 도시된 바와 같이, 전방 강체(105)는 사출 동공(225)에 이미지 광을 함께 제공하는 전자 디스플레이(210) 및 광학 어셈블리(220)를 포함한다. 사출 동공(225)은 사용자의 눈(230)에 의해 점유될 공간의 영역이다. 일부 경우들에서, 사출 동공(225)은 또한, 아이 박스(eye-box)로서 언급될 수 있다. 설명의 목적들을 위해, 도 2는 단일 눈(230)과 연관된 단면도(200)를 도시하지만, 광학 어셈블리(220)와 별개인 또 다른 광학 어셈블리(220)는 변경된 이미지 광을 사용자의 또 다른 눈에 제공한다.
전자 디스플레이(210)는 이미지 광을 생성한다. 일부 실시예들에서, 전자 디스플레이(210)는 생성된 이미지 광의 초점을 조정하는 광학 요소를 포함한다. 전자 디스플레이(210)는 콘솔(도 2에 도시되지 않음)로부터 수신된 데이터에 따라 이미지들을 사용자에게 디스플레이한다. 다양한 실시예들에서, 전자 디스플레이(210)는 단일 전자 디스플레이 또는 다수의 전자 디스플레이들(예로서, 사용자의 각각의 눈을 위한 디스플레이)을 포함할 수 있다. 전자 디스플레이(210)의 예들은: 액정 디스플레이(LCD), 유기 발광 다이오드(OLED) 디스플레이, 무기 발광 다이오드(ILED) 디스플레이, 능동 매트릭스 유기 발광 다이오드(AMOLED) 디스플레이, 투명 유기 발광 다이오드(TOLED) 디스플레이, 일부 다른 디스플레이, 프로젝터, 또는 그들의 일부 조합을 포함한다. 전자 디스플레이(210)는 또한, 개구부, 프레넬 렌즈, 볼록 렌즈, 오목 렌즈, 회절 요소, 도파관, 필터, 편광기, 확산기, 섬유 테이퍼, 반사 표면, 편광 반사 표면, 또는 전자 디스플레이로부터 방출된 이미지 광에 영향을 주는 임의의 다른 적합한 광학 요소를 포함할 수 있다. 일부 실시예들에서, 디스플레이 블록 광학 요소들 중 하나 이상은 반사 방지 코팅들과 같은 하나 이상의 코팅들을 가질 수 있다.
광학 어셈블리(220)는 전자 디스플레이(210)로부터의 수신된 광을 확대하고, 이미지 광과 연관된 광학 수차들을 정정하며, 정정된 이미지 광은 HMD(100)의 사용자에게 제공된다. 광학 어셈블리(220)의 적어도 하나의 광학 요소는 개구부, 프레넬 렌즈, 굴절 렌즈, 반사 표면, 회절 요소, 도파관, 필터, 또는 전자 디스플레이(210)로부터 방출된 이미지 광에 영향을 주는 임의의 다른 적합한 광학 요소일 수 있다. 게다가, 광학 어셈블리(220)는 상이한 광학 요소들의 조합들을 포함할 수 있다. 일부 실시예들에서, 광학 어셈블리(220)에서 광학 요소들 중 하나 이상은 반사 방지 코팅들, 이색성 코팅(dichroic coating)들, 등과 같은 하나 이상의 코팅들을 가질 수 있다. 광학 어셈블리(220)에 의한 이미지 광의 확대는 전자 디스플레이(210)의 요소들이 물리적으로 더 작고, 덜 무게가 나가며, 더 큰 디스플레이들보다 전력을 덜 소비하는 것을 허용한다. 부가적으로, 확대는 디스플레이된 매체들의 시야를 증가시킬 수 있다. 예를 들면, 디스플레이된 매체들의 시야는 디스플레이된 매체들이 거의 전부(예로서, 110°대각선), 및 일부 경우들에서 사용자의 시야의 전부를 사용하여 제공되도록 하는 것이다. 일부 실시예들에서, 광학 어셈블리(220)는 그것의 유효 초점 길이가 전자 디스플레이(210)에 대한 간격보다 크도록 설계되고, 이는 전자 디스플레이(210)에 의해 투영된 이미지 광을 확대한다. 부가적으로, 일부 실시예들에서, 확대량은 광학 요소들을 부가하거나 제거함으로써 조정될 수 있다.
도 2에 도시된 바와 같이, 전방 강체(105)는 HMD(100)의 일부 또는 전부를 둘러싸는 로컬 영역(245)에서 하나 이상의 객체들의 깊이 정보를 결정하기 위한 DCA(240)를 더 포함한다. DCA(240)는 구조화된 광 생성기(250), 이미징 디바이스(255), 및 구조화된 광 생성기(250) 및 이미징 디바이스(255) 둘 모두에 결합될 수 있는 제어기(260)를 포함한다. 구조화된 광 생성기(250)는 조명 개구부(125)를 통해 광을 방출한다. 본 발명의 실시예들에 따르면, 구조화된 광 생성기(250)는 제어기(260)에 의해 생성된 방출 지시들에 따라 구조화된 광(265)으로 로컬 영역(245)을 비추도록 구성된다. 제어기(260)는 방출 지시들에 기초하여 구조화된 광 생성기(250)의 특정 구성요소들의 동작을 제어하도록 구성된다. 제어기(260)는 로컬 영역(245)을 비추는 구조화된 광(265)의 패턴을 동적으로 조정하기 위해 구조화된 광 생성기(250)의 하나 이상의 회절 광학 요소들에 방출 지시들을 제공한다. 구조화된 광 생성기(250)의 하나 이상의 회절 광학 요소들을 제어하고 구조화된 광(265)의 패턴을 동적으로 조정하는 것에 관한 더 많은 상세들은 도 3a 내지 도 3c 및 도 4와 결부하여 개시된다.
구조화된 광 생성기(250)는 각각이 특정 특성들(예로서, 파장, 편광, 간섭성, 시간적 거동(temporal behavior), 등)을 가지는 광을 방출하는 복수의 방출기들을 포함할 수 있다. 특성들은 방출기들 사이에서 동일하거나 상이할 수 있으며, 방출기들은 동시에 또는 개별적으로 동작될 수 있다. 하나의 실시예에서, 복수의 방출기들은 예로서, 레이저 다이오드들(예로서, 에지 방출기들), 무기 또는 유기 LED들, 수직 공동 표면 방출 레이저(VCSEL), 또는 임의의 다른 소스일 수 있다. 일부 실시예들에서, 구조화된 광 생성기(250)에서의 단일 방출기 또는 복수의 방출기들은 하나 이상의 광 빔들을 방출할 수 있다. 구조화된 광 생성기(250)를 포함하는 DCA(240)에 관한 더 많은 상세들은 도 3a와 결부하여 개시된다.
이미징 디바이스(255)는 이미징 개구부(120)를 통해, 로컬 영역(245)으로부터 반사된 구조화된 광(265)의 적어도 일부를 캡쳐하도록 구성된 하나 이상의 카메라들을 포함한다. 이미징 디바이스(255)는 구조화된 광(265)으로 비춰진 로컬 영역(245)에서 하나 이상의 객체들의 하나 이상의 이미지들을 캡쳐한다. 이미징 디바이스(255)에 결합된 제어기(260)는 또한, 반사된 구조화된 광의 캡쳐된 부분에 기초하여 하나 이상의 객체들에 대한 깊이 정보를 결정하도록 구성된다. 일부 실시예들에서, 제어기(260)는 결정된 깊이 정보를 콘솔(도 2에 도시되지 않음) 및/또는 HMD(100)의 적절한 모듈(예로서, 가변초점 모듈, 도 2에 도시되지 않음)에 제공한다. 콘솔 및/또는 HMD(100)는 예로서, 전자 디스플레이(210)에 제공하기 위한 콘텐트를 생성하기 위해 깊이 정보를 활용할 수 있다.
일부 실시예들에서, 전방 강체(105)는 사용자의 눈(230)에 대한 눈 추적 정보를 결정하는 눈 추적 시스템(도 2에 도시되지 않음)을 더 포함한다. 결정된 눈 추적 정보는 아이 박스에서 사용자의 눈(230)의 방향에 관한 정보 즉, 눈의 시선의 각도에 관한 정보를 포함할 수 있다. 아이 박스는 사용자의 눈이 이미지 광을 수신하기 위해 위치되는 HMD의 출력에서 3차원 체적을 표현한다. 하나의 실시예에서, 사용자의 눈(230)은 구조화된 광으로 비춰진다. 그 다음, 눈 추적 시스템은 눈 위치 및 눈의 시선을 결정하기 위해 캡쳐된 이미지에서 반사된 구조화된 광의 위치들을 사용할 수 있다. 또 다른 실시예에서, 눈 추적 시스템은 복수의 시간 순간들에 걸쳐 캡쳐된 이미지 광의 크기들에 기초하여 눈 위치 및 눈의 시선을 결정한다.
일부 실시예들에서, 전방 강체(105)는 가변초점 모듈(도 2에 도시되지 않음)을 더 포함한다. 가변초점 모듈은 눈 추적 정보에 기초하여, 전자 디스플레이(210)에 디스플레이된 하나 이상의 이미지들의 초점을 조정할 수 있다. 하나의 실시예에서, 가변초점 모듈은 결정된 눈 추적 정보에 기초하여 디스플레이된 이미지들의 초점을 조정하고 광학 어셈블리(220)의 초점 거리를 조정함으로써 수렴 조절 불일치(vergence-accommodation conflict)를 완화시킨다. 또 다른 실시예에서, 가변초점 모듈은 결정된 눈 추적 정보에 기초하여 하나 이상의 이미지들의 포비티드 렌더링(foveated rendering)을 수행함으로써 디스플레이된 이미지들의 초점을 조정한다. 여전히 또 다른 실시예에서, 가변초점 모듈은 전자 디스플레이(210)에 제공하기 위한 콘텐트를 생성하기 위해 제어기(260)로부터의 깊이 정보를 활용한다.
도 3a는 일 실시예에 따른, 일 예시적인 DCA(300)이다. DCA(300)는 동적으로 조정가능한 패턴의 구조화된 광을 사용하여 넓은 시야에 걸쳐 깊이를 감지하기 위해 구성된다. DCA(300)는 구조화된 광 생성기(305), 이미징 디바이스(310), 및 구조화된 광 생성기(305) 및 이미징 디바이스(310) 둘 모두에 결합된 제어기(315)를 포함한다. DCA(300)는 도 1에서의 HMD(100)의 구성요소가 되도록 구성될 수 있다. 따라서, DCA(300)는 도 2에서의 DCA(240)의 일 실시예일 수 있고; 구조화된 광 생성기(305)는 도 2에서의 구조화된 광 생성기(250)의 일 실시예일 수 있으며; 이미징 디바이스(310)는 도 2에서의 이미징 디바이스(255)의 일 실시예일 수 있다.
구조화된 광 생성기(305)는 제어기(315)로부터의 방출 지시들에 따라 구조화된 광으로 로컬 영역(320)을 비추고 스캐닝하도록 구성된다. 구조화된 광 생성기(305)는 조명원(325), PDOE(330) 및 투영 어셈블리(335)를 포함한다. 조명원(325)은 광을 생성하고 PDOE(330)를 향해 광을 지향시킨다. 조명원(325)은 발광기(340) 및 빔 컨디셔닝 어셈블리(345)를 포함한다.
발광기(340)는 제어기(315)로부터의 방출 지시들에 부분적으로 기초하여, 광학 빔들(350)을 방출하도록 구성된다. 일부 실시예들에서, 발광기(340)는 적외선 스펙트럼에서 광학 빔들(350)을 방출하는 레이저 다이오드들의 어레이를 포함한다. 다른 실시예들에서, 발광기(340)는 가시 스펙트럼에서 광학 빔들(350)을 방출하는 레이저 다이오드들의 어레이를 포함한다. 일부 실시예들에서, 발광기는 광학 빔들(350)을 정의된 패턴(예로서, 도트 패턴, 또는 라인 패턴)의 구조화된 광으로서 방출한다. 대안적으로 또는 부가적으로, 발광기(340)는 구조화된 조명에 더하여 로컬 영역(320)의 시간적으로 변조된 조명을 생성하기 위해 제어기(315)로부터의 방출 지시들에 부분적으로 기초하여 광학 빔들을 시간적으로 변조된 광으로서 방출한다.
빔 컨디셔닝 어셈블리(345)는 조명 방출기(340)로부터 방출된 광학 빔들(350)을 수집하고 PDOE(330)의 일부를 향해 광학 빔들(350)을 지향시킨다. 빔 컨디셔닝 어셈블리(345)는 하나 이상의 광학 요소들(렌즈들)로 구성된다. 일부 실시예들에서, 빔 컨디셔닝 어셈블리(345)는 시준 어셈블리 및 프리즘(도 3a에 도시되지 않음)을 포함한다. 시준 어셈블리는 광학 빔들(350)을 시준된 광으로 시준하는 하나 이상의 광학 요소들(렌즈들)을 포함한다. 프리즘은 시준된 광을 PDOE(330)로 지향시키는 광학 요소이다. 대안적인 실시예들에서, 빔 컨디셔닝 어셈블리(345)는 시준된 광을 생성하기 위해 광학 빔들(350)을 시준하고 시준된 광을 PDOE(330)로 지향시키는 단일 하이브리드 광학 요소(렌즈)를 포함한다.
PDOE(330)는 제어기(315)로부터의 방출 지시들에 부분적으로 기초하여, 광학 빔들(350)로부터 회절된 스캐닝 빔들(355)을 생성한다. PDOE(330)는 상이한 패턴들의 회절된 스캐닝 빔들(355)을 생성하기 위해 광학 빔들(350)의 회절을 동적으로 조정하는 동적 회절 격자로서 기능한다. 회절된 스캐닝 빔들(355)의 상이한 패턴들을 생성함으로써, 로컬 영역(320)을 비추는 구조화된 광 패턴(360)은 시간에 걸쳐 달라진다. 회절된 스캐닝 빔들(355)의 패턴 및 구조화된 광 패턴(360)을 동적으로 조정하는 능력을 갖는 것은 로컬 영역(320)에서 상이한 영역들 및 다양한 유형들의 객체들의 스캐닝에 유연성을 제공한다. PDOE(330)는 액정 온 실리콘(LCOS) 디바이스, 공간 광 변조기, 디지털 마이크로-미러 디바이스, 및 마이크로전자기계(MEM) 디바이스로 구성된 그룹으로부터 선택될 수 있다.
일부 실시예들에서, LCOS 디바이스로서 구현된 PDOE(330)는 액정(LC) 기반 회절 광학 요소(도 3a에 도시되지 않음)를 포함할 수 있다. LC 기반 회절 광학 요소에 인가된 전압 레벨은 동적으로 조정될 수 있다(예로서, 제어기(315)에 의해). 전압 레벨을 동적으로 조정함으로써, PDOE(330)의 LC 기반 회절 광학 요소의 회절 각도는 시간에 걸쳐 달라지는 패턴을 가지는 PDOE(330)의 출력에서 회절된 스캐닝 빔들(355)을 형성하기 위해 실시간으로 달라진다.
다른 실시예들에서, PDOE(330)는 공간 광 변조기(도 3a에 도시되지 않음)를 포함할 수 있다. 공간 광 변조기는 공간 주파수를 가지는 변조 신호에 기초하여, 회절된 스캐닝 빔들(355)을 변조된 광으로서 형성하기 위해 광학 빔들(350)을 공간적으로 변조한다. 변조 신호의 공간 주파수는 시간에 걸쳐 달라지는 패턴을 가지는 변조된 광(즉, 회절된 스캐닝 빔들(355) 및 구조화된 광(360))을 형성하기 위해 동적으로 조정가능할 수 있다(예로서, 제어기(315)를 통해).
또 다른 실시예들에서, 디지털 마이크로-미러 디바이스(DMD) 또는 MEM 디바이스로서 구현된 PDOE(330)는 마이크로-미러 셀들의 어레이를 포함할 수 있다. 어레이에서 제 1 복수의 마이크로-미러 셀들은 PDOE(330)에 입사하는 광학 빔들(350)의 일부를 흡수하도록 동적으로 재구성될 수 있다(예로서, 제어기(315)를 통해). 게다가, 어레이에서 제 2 복수의 마이크로-미러 셀들은 PDOE(330)에 입사하는 광학 빔들(350)의 또 다른 부분을 반사(회절)하도록 동적으로 재구성될 수 있다(예로서, 제어기(315)를 통해). 복수의 시간 순간들에 걸쳐, 입사광의 흡수 및 반사를 위해 PDOE(330)에서 마이크로-미러 셀들의 상이한 서브세트들을 재구성함으로써, 복수의 시간 순간들에 걸쳐 달라지는 패턴을 가지는 회절된 스캐닝 빔들(355)(및 구조화된 광(360))이 생성될 수 있다.
일부 실시예들에서, PDOE(330)는 또 다른 프로그래밍가능하지 않은 DOE 또는 다른 프로그래밍가능하지 않은 광학 요소(도 3a에 도시되지 않음)와 조합될 수 있다. 프로그래밍가능하지 않은 DOE 또는 광학 요소는 예로서, PDOE(330)의 전방에 위치될 수 있다. 이 경우에, 구조화된 광 패턴(360)은 "타일+타일러(tile+tiler)" 아키텍처로 형성되며, 구조화된 광 패턴(360)의 팬 아웃(fan-out) 또는 타일러는 프로그래밍가능하다. PDOE를 프로그래밍가능하지 않은 DOE 또는 광학 요소와 조합함으로써, 구조화된 광 패턴(360)에 의해 비춰진 로컬 영역(320)의 시야가 더 넓어진다.
바람직한 회절 효율을 위해, PDOE(330)는 제어기(315)로부터의 방출 지시들에 부분적으로 기초하여 회절된 스캐닝 빔들(355)을 형성하기 위해 브래그 정합 조건을 만족시키는 각도로 PDOE(330)의 적어도 일부에 입사하는 광학 빔들(350)을 회절시키도록 구성될 수 있다. 일부 실시예들에서, PDOE(330)는 광학 빔들(350)을 예로서, 브래그 정합 조건을 만족시키는 기하학적 구조에서 PDOE(330)의 액정으로 향하게 함으로써 회절된 스캐닝 빔들(355)을 편광(예로서, 원형 편광)으로서 생성하도록 구성될 수 있다. 회절된 스캐닝 빔들(355)이 PDOE(330)에서 액정에 기초하여 우원 편광 또는 좌원 편광될 수 있음에 유의한다. 일부 실시예들에서, PDOE(330)에 입사하는 광학 빔들(350)의 편광 상태(SOP)는 PDOE(330)의 최대 회절 효율을 성취하기 위해 브래그 각도에서 편광의 고유 상태(eigenstate)에 부합한다.
투영 어셈블리(335)는 PDOE(330)의 전방에 배치된다. 투영 어셈블리(335)는 하나 이상의 광학 요소들(렌즈들)을 포함한다. 투영 어셈블리(335)는 회절된 스캐닝 빔들(355)을 구조화된 광 패턴(360)으로서 예로서, 넓은 시야에 걸쳐 로컬 영역(320)으로 투영한다. 구조화된 광 패턴(360)은 PDOE(330)에 기초하여 시간에 걸쳐 동적으로 조정가능하다. 구조화된 광 패턴(360)은 로컬 영역(320)에서 하나 이상의 객체들을 포함하는, 로컬 영역(320)의 일부를 비춘다. 구조화된 광 패턴(360)이 시간에 걸쳐 동적으로 조정가능하기 때문에, 로컬 영역(320)의 다른 부분들은 다른 시간 순간들에서 비춰질 수 있다. 반사된 구조화된 광 패턴(365)은 로컬 영역(320)에서 하나 이상의 객체들로부터의 구조화된 광 패턴(360)의 반사에 기초하여 생성된다.
이미징 디바이스(310)는 반사된 구조화된 광 패턴(365)의 적어도 일부를 캡쳐함으로써 로컬 영역(320)에서 하나 이상의 객체들의 하나 이상의 이미지들을 캡쳐한다. 하나의 실시예에서, 이미징 디바이스(310)는 적외선 스펙트럼에서 이미지들을 캡쳐하도록 구성된 적외선 카메라이다. 또 다른 실시예에서, 이미징 디바이스(310)는 가시 스펙트럼의 이미지 광을 캡쳐하도록 구성된다. 이미징 디바이스(310)는 전하 결합 디바이스(CCD) 검출기, 상보적 금속 산화물 반도체(CMOS) 검출기 또는 일부 다른 유형들의 검출기들(도 3a에 도시되지 않음)을 포함할 수 있다. 이미징 디바이스(310)는 로컬 영역(320)에서 객체들의 빠른 검출을 위해 kHz 내지 MHz 범위의 프레임 레이트로 동작하도록 구성될 수 있다. 일부 실시예들에서, 이미징 디바이스(310)는 반사된 구조화된 광 패턴(365)의 적어도 일부를 캡쳐하기 위한 2차원 검출기 픽셀 어레이를 포함한다. 다른 실시예들에서, 이미징 디바이스(310)는 반사된 구조화된 광 패턴(365)의 적어도 일부를 캡쳐하기 위한 하나보다 많은 카메라를 포함한다.
일부 실시예들에서, 이미징 디바이스(310)는 특정한 편광의 반사된 구조화된 광 패턴(365)을 수신하고 전파하기 위해 카메라의 전방에 배치된 편광 요소(도 3a에 도시되지 않음)를 포함할 수 있다. 편광 요소는 선형 편광기, 원형 편광기, 타원형 편광기, 등일 수 있다. 편광 요소는 박막 편광기(흡수성, 반사형), 선형 편광기와 조합된 1/4 파장판, 등으로서 구현될 수 있다. 반사된 구조화된 광 패턴(365)은 선형 편광(수직 및 수평), 우원 편광, 좌원 편광, 및 타원 편광으로 구성된 그룹으로부터 선택될 수 있다. 반사된 구조화된 광 패턴(365)의 편광은 로컬 영역(320)을 비추는 구조화된 광 패턴(360)의 편광과 상이할 수 있음에 유의해야 한다.
제어기(315)는 도 3a에서의 DCA(300)의 다양한 구성요소들의 동작들을 제어한다. 일부 실시예들에서, 제어기(315)는 방출된 광학 빔들(350)의 세기, 광학 빔들(350)의 (공간) 변조, 발광기(340)가 활성화되는 시간 지속기간, 등을 제어하기 위해 방출 지시들을 발광기(340)에 제공한다. 제어기(315)는 또한, 로컬 영역(320)을 비추는 구조화된 광 패턴(360) 및 회절된 스캐닝 빔들(355)의 패턴을 동적으로 조정하기 위해 PDOE(330)의 동작들을 제어하기 위한 방출 지시들을 생성할 수 있다. 일부 실시예들에서, 제어기(315)는 방출 지시들에 부분적으로 기초하여, 회절된 스캐닝 빔들(355)의 세기가 프로그래밍가능하도록 PDOE(330)의 동작들을 제어할 수 있다. 다른 실시예들에서, 제어기(315)는 방출 지시들에 부분적으로 기초하여, 회절된 스캐닝 빔들(355)의 위상이 프로그래밍가능하도록 PDOE(330)의 동작들을 제어할 수 있다.
일부 실시예들에서, 제어기(315)는 시간에 걸쳐 달라지는 패턴을 가지는 회절된 스캐닝 빔들(355)을 형성하기 위해 LC 기반 회절 광학 요소의 회절 각도를 동적으로 다르게 하도록 LC 기반 회절 광학 요소를 가지는 PDOE(330)에 인가된 전압 레벨을 제어한다. 다른 실시예들에서, 제어기(315)는 회절된 스캐닝 빔들(355)의 패턴 및 구조화된 광 패턴(360)을 동적으로 조정하기 위해 공간 광 변조기를 포함하는 PDOE(330)를 통해 광학 빔들(350)에 인가된 변조 신호의 공간 주파수를 시간에 걸쳐 수정한다. 또 다른 실시예들에서, 제어기(315)는 PDOE(330)에서 마이크로-미러 셀들의 서브세트들을 동적으로 재구성한다. 복수의 시간 순간들에 걸쳐, 입사광의 흡수 및 반사를 위해 마이크로-미러 셀들의 상이한 서브세트들을 재구성함으로써, 제어기(315)는 회절된 스캐닝 빔들(355)의 패턴 및 구조화된 광 패턴(360)을 동적으로 조정한다.
도 3a에 도시된 바와 같이, 제어기(315)는 또한, 이미징 디바이스(310)에 결합되고 로컬 영역(320)에서 하나 이상의 객체들에 대한 깊이 정보를 결정하도록 구성될 수 있다. 제어기(315)는 이미징 디바이스(310)에 의해 캡쳐된 하나 이상의 이미지들에 부분적으로 기초하여 하나 이상의 객체들에 대한 깊이 정보를 결정한다. 제어기(315)는 로컬 영역(320)에서 하나 이상의 객체들의 형상들에 의해 왜곡된 이미징 디바이스(310)에 의해 캡쳐된 광의 위상 변위된 패턴들에 기초하여 깊이 정보를 결정하고, 로컬 영역(320)의 깊이 맵을 얻기 위해 삼각측량 산출을 사용하도록 구성될 수 있다. 대안적으로, 제어기(315)는 비행 시간 정보 및 하나 이상의 객체들의 형상들에 의해 왜곡된 반사된 구조화된 광 패턴(365)에 관한 정보에 기초하여 깊이 정보를 결정하도록 구성될 수 있다. 일부 실시예들에서, 제어기(315)는 반사된 구조화된 광 패턴(365)의 편광 정보 및/또는 구조화된 광 패턴(360)의 편광 정보에 기초하여 깊이 정보를 결정하도록 구성될 수 있다.
일부 실시예들에서, 로컬 영역(320)에서 하나 이상의 객체들에 대한 결정된 깊이 정보에 기초하여, 제어기(315)는 광학 빔들(350)의 회절을 조정하기 위해 PDOE(330)의 동작을 동적 회절 격자로서 제어할 수 있다(예로서, 방출 지시들에 부분적으로 기초하여). 따라서, 제어기(315)는 PDOE(330)에게 결정된 깊이 정보의 품질, 로컬 영역(320)에서 하나 이상의 객체들의 표면 유형들, 등에 기초하여 광학 빔들(350)의 회절을 동적으로 조정하도록 지시할 수 있다. 부가적으로 또는 대안적으로, 제어기(315)는 로컬 영역(320)에서 하나 이상의 객체들의 위치 정보에 기초하여, 광학 빔들(350)의 회절을 조정하기 위해 PDOE(330)의 동작을 동적 회절 격자로서 제어할 수 있다(예로서, 방출 지시들에 부분적으로 기초하여). 따라서, 제어기(315) 및 PDOE(330)는 로컬 영역(320)에서 각각의 객체의 위치에 기초하여 구조화된 광 패턴(360)을 동적으로 조정한다.
일부 실시예들에서, 제어기(315)는 구조화된 광 패턴(360)이 로컬 영역(320)의 관심 있는 영역 또는 영역들을 가리키도록 PDOE(330)의 동작을 제어할 수 있다. 다른 실시예들에서, 제어기(315)는 로컬 영역(320)에서 관심 있는 객체까지의 거리에 의존하여 예로서, z 치수를 따라 구조화된 광 패턴(360)의 밀도를 조정하기 위해 PDOE(330)의 동작을 제어할 수 있다. 또 다른 실시예들에서, 제어기(315)는 예로서, 반사된 구조화된 광 패턴(365)의 일부를 캡쳐하기 위해 그리고 깊이 결정을 위해 이미징 디바이스(310) 및 제어기(315)에 의해 소비된 전력을 절약하도록 구조화된 광 패턴(360)의 밀도를 감소시키기 위해 PDOE(330)의 동작을 제어할 수 있다. 또 다른 실시예들에서, 제어기(315)는 로컬 영역(320)의 깊이 맵에서 다수의 깊이 지점들을 증가시키기 위해 구조화된 광 패턴(360)의 밀도를 증가시키도록 PDOE(330)의 동작을 제어할 수 있다. 또 다른 실시예들에서, 제어기(315)는 구조화된 광 패턴(360)을 예로서, 손 추적 대 룸 또는 객체 재구성을 위해 더 적합한 것으로 변경시키기 위해 PDOE(330)의 동작을 제어할 수 있다.
도 3b는 일 실시예에 따른, 반사형 공간 광 변조기로서 구현된 PDOE(330) 및 조명원(325)을 포함하는 DCA(300)의 구조화된 광 생성기(305)를 도시한다. 조명원(325)은 반사형 PDOE(330)의 일부를 향해 광학 빔들(350)을 방출한다. 일부 실시예들에서, 조명원(325)은 광학 빔들(350)을 시준된 광으로서 반사형 PDOE(330)로 지향시키는 시준 어셈블리(도 3b에 도시되지 않음)를 포함한다. 도 3b에 도시된 반사형 PDOE(330)는 구조화된 광 패턴(360)을 생성하기 위해 PDOE(330)에 입사하는 광학 빔들(350)을 반사한다. 예시의 단순성을 위해, 도 3b에 도시된 구조화된 광 생성기(305)가 또한, 구조화된 광 패턴(360)을 로컬 영역(320)으로 투영하는 투영 어셈블리(335)를 포함할 수 있을지라도, 도 3a에 도시된 투영 어셈블리(335)는 도 3b에서 생략된다. 도 3b에 도시된 반사형 PDOE(330)는 LCOS 디바이스, 공간 광 변조기, 디지털 마이크로-미러 디바이스, 또는 일부 다른 프로그래밍가능한 반사형 광학 요소로서 구현될 수 있다. 제어기(315)는 구조화된 광 패턴(360)을 동적으로 조정하기 위해 반사형 PDOE(330)의 동작들을 제어하기 위한 방출 지시들을 생성할 수 있다.
도 3c는 일 실시예에 따른, PDOE(330)의 정면에 배치된 음향 광학 변조기(AOM)(370)를 포함하는 DCA(300)의 구조화된 광 생성기(305)를 도시한다. 조명원(325)은 AOM(370)의 일부를 향해 광학 빔들(350)을 방출한다. AOM(370)는 광학 빔들(350)을 하나 이상의 치수들로 회절시킨다. AOM(370)는 광학 빔들(350)을 회절시킴으로써 하나 또는 2개의 치수들로 회절된 스캐닝 빔들(375)을 생성하는 하나 이상의 음향 광학 디바이스들로 구성된다. 회절된 스캐닝 빔들(375)은 1차 회절된 스캐닝 빔들을 포함할 수 있다. 대안적으로, 회절된 스캐닝 빔들(375)은 1차보다 높은 차수의 회절된 스캐닝 빔들을 포함할 수 있다.
일부 실시예들에서, AOM(370)에서의 각각의 음향 광학 디바이스는 제어기(315)로부터의 방출 지시들에 부분적으로 기초하여 회절된 스캐닝 빔들(375)을 형성하기 위해 광학 빔들(350)을 회절시키는 동적 회절 격자로서 기능하도록 구성된다. AOM(370)에서의 각각의 음향 광학 디바이스는 트랜스듀서(transducer) 또는 트랜스듀서들의 어레이 및 하나 이상의 회절 영역들(도 3c에 도시되지 않음)을 포함할 수 있다. 방출 지시들에서 적어도 하나의 무선 주파수에 응답하여, AOM(370)에서의 음향 광학 디바이스의 트랜스듀서 또는 트랜스듀서들의 어레이는 동적 회절 격자를 형성하기 위해 음향 광학 디바이스의 하나 이상의 회절 영역들에서 적어도 하나의 음파를 생성하도록 구성될 수 있다. AOM(370)에 의해 생성된 회절된 스캐닝 빔들(375)은 더 넓은 시야의 회절된 스캐닝 빔들(355)을 생성하기 위해 회절된 스캐닝 빔들(375)을 또한 회절시키는 PDOE(330)의 적어도 일부에 입사한다. 투영 어셈블리(335)는 로컬 영역(320)을 비추는 구조화된 광 패턴(360)으로서 회절된 스캐닝 빔들(355)을 투영한다.
도 4는 일 실시예에 따른, 로컬 영역에서 객체들의 깊이 정보를 결정하는 프로세스(400)를 도시하는 흐름도이다. 도 4의 프로세스(400)는 DCA의 구성요소들(예로서, DCA(300))에 의해 수행될 수 있다. 다른 개체들(예로서, HMD 및/또는 콘솔)은 다른 실시예들에서 프로세스의 일부 또는 모든 단계들을 수행할 수 있다. 마찬가지로, 실시예들은 상이하고/하거나 부가적인 단계들을 포함하거나, 상이한 순서들로 단계들을 수행할 수 있다.
DCA는 방출 지시들을 생성한다(410)(예로서, 제어기를 통해). DCA는 방출 지시들을 DCA 내의 PDOE 및 조명원에 제공할 수 있다. 방출 지시들에 기초하여, 조명원은 광학 빔들을 방출할 수 있다. 방출 지시들에 기초하여, 방출된 광학 빔들은 특정 세기 및/또는 변조(공간, 시간, 등)를 가질 수 있다. 일부 실시예들에서, DCA는 PDOE의 LC 기반 회절 광학 요소에 인가된 전압의 레벨에 관한 정보를 포함하는 방출 지시들을 생성한다. 방출 지시들에서의 전압의 레벨에 응답하여, DCA는 PDOE에 의해 생성된 광의 패턴을 동적으로 조정하기 위해 PDOE의 회절 각도를 조정한다. 다른 실시예들에서, DCA는 PDOE의 공간 광 변조기에 의해 생성된 광의 패턴을 동적으로 조정하기 위해 광학 빔들에 인가된 변조 신호의 공간 주파수에 관한 정보를 포함하는 방출 지시들을 생성한다.
DCA는 PDOE 및 방출 지시들을 사용하여 회절된 스캐닝 빔들을 생성한다(420)(예로서, PDOE를 통해). PDOE는 방출 지시들에 따라, 상이한 패턴들의 회절된 스캐닝 빔들을 생성하기 위해 광학 빔들의 회절을 동적으로 조정하는 동적 회절 격자로서 기능한다. 일부 실시에들에서, PDOE는 공간 광 변조기, LCOS 디바이스, MEM 디바이스, 및 디지털 마이크로-미러 디바이스(DMD)로 구성된 그룹으로부터 선택된다. 일부 실시예들에서, PDOE는 LC 기반 회절 광학 요소를 포함한다. LC 기반 회절 광학 요소에 인가된 전압 레벨은 상이한 패턴들을 가지는 회절된 스캐닝 빔들을 생성하기 위해 LC 기반 회절 광학 요소의 회절 각도를 조정하도록 달라질 수 있다(예로서, 제어기를 통해). 다른 실시예들에서, PDOE는 공간 주파수를 가지는 변조 신호에 기초하여, 회절된 스캐닝 빔들을 변조된 광으로서 생성하기 위해 광학 빔들을 공간적으로 변조하는 공간 광 변조기를 포함한다. 광학 빔들에 인가된 변조 신호의 공간 주파수는 상이한 패턴들을 가지는 변조된 광을 생성하기 위해 동적으로 조정될 수 있다(예로서, 제어기를 통해). 또 다른 실시예들에서, PDOE는 마이크로-미러 셀들의 어레이를 포함한다. 어레이에서 제 1 복수의 셀들은 광학 빔들의 일부를 흡수하도록 동적으로 재구성될 수 있고(예로서, 제어기를 통해), 어레이에서 제 2 복수의 셀들은 상이한 패턴들을 가지는 회절된 스캐닝 빔들을 생성하기 위해 광학 빔들의 또 다른 부분을 반사하도록 동적으로 재구성될 수 있다(예로서, 제어기를 통해).
DCA는 회절된 스캐닝 빔들을 구조화된 광 패턴으로서 로컬 영역으로 투영한다(430)(예로서, 투영 어셈블리를 통해). 로컬 영역을 비추는 구조화된 광 패턴은 PDOE에 기초하여 동적으로 조정가능하다. 구조화된 광 패턴은 상이한 시간 순간들 동안 로컬 영역의 상이한 부분들을 비추기 위해 실시간으로 달라질 수 있다.
DCA는 로컬 영역에서 하나 이상의 객체들로부터 반사된 구조화된 광 패턴의 적어도 일부의 하나 이상의 이미지들을 캡쳐한다(440)(예로서, 이미징 디바이스를 통해). 일부 실시예들에서, 이미징 디바이스는 하나 이상의 이미지들을 캡쳐하는 2차원 검출기 픽셀 어레이를 포함한다. 다른 실시예들에서, 이미징 디바이스는 하나 이상의 이미지들을 캡쳐하기 위한 하나보다 많은 카메라를 포함한다. 일부 실시예들에서, 이미징 디바이스는 편광 요소 및 카메라를 포함하고, 편광 요소는 카메라의 정면에 배치된다. 편광 요소는 특정 편광을 가지는 반사된 구조화된 광 패턴의 적어도 일부를 수신하고 반사된 편광의 수신된 부분을 카메라로 전파하도록 구성된다.
DCA는 캡쳐된 하나 이상의 이미지들에 부분적으로 기초하여 하나 이상의 객체들에 대한 깊이 정보를 결정한다(450)(예로서, 제어기를 통해). 일부 실시예들에서, DCA는 하나 이상의 객체들의 형상들에 의해 왜곡된 반사된 구조화된 광 패턴에 관한 정보에 기초하여 하나 이상의 객체들에 대한 깊이 정보를 결정한다. DCA는 또한, 반사된 구조화된 광 패턴의 캡쳐된 부분의 편광 정보에 부분적으로 기초하여 하나 이상의 객체들에 대한 깊이 정보를 결정할 수 있다.
일부 실시예들에서, DCA는 HMD 예로서, 도 1에서의 HMD(100)의 부분으로서 구성된다. 하나의 실시예에서, DCA는 결정된 깊이 정보를 HMD에 연결된 콘솔에 제공한다. 콘솔은 그 다음, 깊이 정보에 기초하여, HMD의 전자 디스플레이에 제공하기 위한 콘텐트를 생성하도록 구성된다. 또 다른 실시예에서, DCA는 깊이 정보에 기초하여, 결정된 깊이 정보를 HMD의 전자 디스플레이에 제공하기 위한 콘텐트를 생성하는 HMD의 모듈에 제공한다. 일 대안적인 실시예에서, DCA는 AR 시스템의 부분으로서 HMD에 통합된다. 이 경우에, DCA는 HMD를 착용하는 사용자의 머리 뒤의 객체들을 감지하고 디스플레이하거나 이전에 기록된 객체들을 디스플레이하도록 구성될 수 있다. 또 다른 실시예에서, DCA는 HMD 외부의 센서 바 또는 기지국에 통합된다. 이 경우에, DCA는 HMD를 착용하는 사용자의 다양한 신체 부분들, 예로서, 사용자의 하체를 감지하도록 구성될 수 있다.
시스템 환경
도 5는 콘솔(510)이 동작하는 HMD 시스템(500)의 하나의 실시예의 블록도이다. HMD 시스템(500)은 VR 시스템 환경, AR 시스템 환경, MR 시스템 환경, 또는 그들의 일부 조합에서 동작할 수 있다. 도 5에 의해 도시된 HMD 시스템(500)은 HMD(505) 및 콘솔(510)에 결합되는 입력/출력(I/O) 인터페이스(515)를 포함한다. 도 5가 하나의 HMD(505) 및 I/O 인터페이스(515)를 포함하는 일 예시적인 HMD 시스템(500)을 도시할지라도, 다른 실시예들에서 임의의 수의 이들 구성요소들이 HMD 시스템(500)에 포함될 수 있다. 예를 들면, 각각이 연관된 I/O 인터페이스(515)를 갖는 다수의 HMD들(505)이 존재할 수 있고, 각각의 HMD(505) 및 I/O 인터페이스(515)는 콘솔(510)과 통신한다. 대안적인 구성들에서, 상이하고 및/또는 부가적인 구성요소들이 HMD 시스템(500)에 포함될 수 있다. 부가적으로, 도 5에 도시된 구성요소들 중 하나 이상과 결부하여 설명된 기능은 일부 실시예들에서, 도 5와 결부하여 설명된 것과 상이한 방식으로 구성요소들 사이에 분산될 수 있다. 예를 들면, 콘솔(510)의 기능 중 일부 또는 전부는 HMD(505)에 의해 제공된다.
HMD(505)는 컴퓨터 생성 요소들(예로서, 2차원(2D) 또는 3차원(3D) 이미지들, 2D 또는 3D 비디오, 사운드, 등)을 갖는 물리적 실세계 환경의 가상 및/또는 증강 뷰들을 포함하는 콘텐트를 사용자에게 제공하는 머리 장착 디스플레이이다. 일부 실시예들에서, 제공된 콘텐트는 HMD(505), 콘솔(510), 또는 둘 모두로부터 오디오 정보를 수신하고, 오디오 정보에 기초하여 오디오 데이터를 제공하는 외부 디바이스(예로서, 스피커들 및/또는 헤드폰들)를 통해 제공되는 오디오를 포함한다. HMD(505)는 서로 완고하거나 완고하지 않게 결합될 수 있는 하나 이상의 강체들을 포함할 수 있다. 강체들 사이의 강성 결합은 결합된 강체들로 하여금 단일 강성 개체로서 작용하게 한다. 그에 반해, 강체들 사이의 비강성 결합은 강체들이 서로에 관해 이동하는 것을 허용한다. HMD(505)의 일 실시예는 도 1과 결부하여 상기 설명된 HMD(100)이다.
HMD(505)는 DCA(520), 전자 디스플레이(525), 광학 어셈블리(530), 하나 이상의 위치 센서들(535), IMU(540), 선택적 눈 추적 시스템(545), 및 선택적 가변초점 모듈(550)을 포함한다. HMD(505)의 일부 실시예들은 도 5와 결부하여 설명된 구성요소들과 상이한 구성요소들을 갖는다. 부가적으로, 도 5와 결부하여 설명된 다양한 구성요소들에 의해 제공된 기능은 다른 실시예들에서, HMD(505)의 구성요소들 사이에 상이하게 분산될 수 있다.
DCA(520)는 HMD(505)의 일부 또는 전부를 둘러싸는 로컬 영역의 깊이 정보를 설명하는 데이터를 캡쳐한다. DCA(520)는 데이터를 사용하여 깊이 정보를 계산할 수 있거나(예로서, 구조화된 광 패턴의 캡쳐된 부분에 기초하여), DCA(520)는 DCA(520)로부터의 데이터를 사용하여 깊이 정보를 결정할 수 있는 콘솔(510)과 같은 또 다른 디바이스로 이 정보를 전송할 수 있다.
DCA(520)는 구조화된 광 생성기, 이미징 디바이스 및 제어기를 포함한다. DCA(520)의 구조화된 광 생성기는 방출 지시들에 따라 구조화된 광 패턴(예로서, 도트 패턴, 라인 패턴, 등)으로 로컬 영역을 비추도록 구성된다. DCA(520)의 구조화된 광 생성기는 조명원, PDOE, 및 투영 어셈블리를 포함한다. 조명원은 광학 빔들을 방출하도록 구성된다. PDOE는 방출 지시들에 부분적으로 기초하여, 광학 빔들로부터 회절된 스캐닝 빔들을 생성한다. PDOE는 상이한 패턴들의 회절된 스캐닝 빔들을 생성하기 위해 광학 빔들의 회절을 동적으로 조정하는 동적 회절 격자로서 기능한다. 투영 어셈블리는 회절된 스캐닝 빔들을 구조화된 광 패턴으로서 로컬 영역으로 투영하도록 구성되고, 구조화된 광 패턴은 PDOE에 기초하여 동적으로 조정가능하다. DCA(520)의 이미징 디바이스는 로컬 영역에서 하나 이상의 객체들로부터 반사된 구조화된 광 패턴의 적어도 일부의 하나 이상의 이미지들을 캡쳐하도록 구성된다. DCA(520)의 제어기는 구조화된 광 생성기 및 이미징 디바이스 둘 모두에 결합될 수 있다. DCA(520)의 제어기는 방출 지시들을 생성하고 방출 지시들을 구조화된 광 생성기에 제공한다. DCA(520)의 제어기는 또한, 캡쳐된 하나 이상의 이미지들에 부분적으로 기초하여 하나 이상의 객체들에 대한 깊이 정보를 결정하도록 구성된다. DCA(520)는 도 2에서의 DCA(240) 또는 도 3a 내지 도 3c에서의 DCA(300)의 일 실시예이다.
전자 디스플레이(525)는 콘솔(510)로부터 수신된 데이터에 따라 2차원 또는 3차원 이미지들을 사용자에게 디스플레이한다. 다양한 실시예들에서, 전자 디스플레이(525)는 단일 전자 디스플레이 또는 다수의 전자 디스플레이들(예로서, 사용자의 각각의 눈을 위한 디스플레이)을 포함한다. 전자 디스플레이(525)의 예들은: 액정 디스플레이(LCD), 유기 발광 다이오드(OLED) 디스플레이, 무기 발광 다이오드(ILED) 디스플레이, 능동 매트릭스 유기 발광 다이오드(AMOLED) 디스플레이, 투명 유기 발광 다이오드(TOLED) 디스플레이, 일부 다른 디스플레이, 또는 그들의 일부 조합을 포함한다. 일부 실시예들에서, 전자 디스플레이(525)는 도 2에서의 전자 디스플레이(210)를 표현할 수 있다.
광학 어셈블리(530)는 전자 디스플레이(525)로부터 수신된 이미지 광을 확대하고, 이미지 광과 연관된 광학 오차들을 정정하며, 정정된 이미지 광을 HMD(505)의 사용자에게 제공한다. 광학 어셈블리(530)는 복수의 광학 요소들을 포함한다. 광학 어셈블리(530)에 포함된 예시적인 광학 요소들은: 개구부, 프레넬 렌즈, 볼록 렌즈, 오목 렌즈, 필터, 반사 표면, 또는 이미지 광에 영향을 주는 임의의 다른 적합한 광학 요소를 포함한다. 게다가, 광학 어셈블리(530)는 상이한 광학 요소들의 조합들을 포함할 수 있다. 일부 실시예들에서, 광학 어셈블리(530)에서 광학 요소들 중 하나 이상은 부분 반사 또는 반사 방지 코팅들과 같은 하나 이상의 코팅들을 가질 수 있다.
광학 어셈블리(530)에 의한 이미지 광의 확대 및 집속은 전자 디스플레이(525)가 물리적으로 더 작고, 덜 무게가 나가며 더 큰 디스플레이들보다 전력을 덜 소비하게 하는 것을 허용한다. 부가적으로, 확대는 전자 디스플레이(525)에 의헤 제공된 콘텐트의 시야를 증가시킬 수 있다. 예를 들면, 디스플레이된 콘텐트의 시야는 디스플레이된 콘텐트가 거의 전부(예로서, 대략 110°대각선), 및 일부 경우들에서 사용자의 시야의 전부를 사용하여 제공되도록 하는 것이다. 부가적으로, 일부 실시예들에서, 확대량은 광학 요소들을 부가하거나 제거함으로써 조정될 수 있다.
일부 실시예들에서, 광학 어셈블리(530)는 하나 이상의 유형들의 광학 오차들을 정정하도록 설계될 수 있다. 광학 오차의 예들은 배럴 또는 핀쿠션 왜곡들, 종방향 색 수차들, 또는 횡방향 색 수차들을 포함한다. 다른 유형들의 광학 오차들은 구면 수차들, 렌즈 필드 곡률로 인한 코마틱 수차들 또는 오차들, 비점 수차(astigmatism)들, 또는 임의의 다른 유형의 광학 오차를 더 포함할 수 있다. 일부 실시예들에서, 디스플레이하기 위해 전자 디스플레이(525)에 제공된 콘텐트는 사전 왜곡되고, 광학 어셈블리(530)는 그것이 콘텐트에 기초하여 생성된 전자 디스플레이(525)로부터 이미지 광을 수신할 때 왜곡을 정정한다. 일부 실시예들에서, 광학 어셈블리(530)는 도 2에서의 광학 어셈블리(220)를 표현할 수 있다.
IMU(540)은 위치 센서들(535) 중 하나 이상으로부터 그리고 DCA(520)로부터 수신된 깊이 정보로부터 수신된 측정 신호들에 기초하여 HMD(505)의 위치를 나타내는 데이터를 생성하는 전자 디바이스이다. 위치 센서(535)는 HMD(505)의 움직임에 응답하여, 하나 이상의 측정 신호들을 생성한다. 위치 센서들(535)의 예들은: 하나 이상의 가속도계들, 하나 이상의 자이로스코프들, 하나 이상의 자력계들, 움직임을 검출하는 또 다른 적합한 유형의 센서, IMU(540)의 오차 정정을 위해 사용된 일 유형의 센서, 또는 그들의 일부 조합을 포함한다. 위치 센서들(535)은 IMU(540) 외부, IMU(540) 내부, 또는 그들의 일부 조합에 위치될 수 있다.
하나 이상의 위치 센서들(535)로부터의 하나 이상의 측정 신호들에 기초하여, IMU(540)은 HMD(505)의 초기 위치에 관한 HMD(505)의 추정된 현재 위치를 나타내는 데이터를 생성한다. 예를 들면, 위치 센서들(535)은 병진 운동(전진/후진, 위/아래, 좌측/우측)을 측정하기 위한 다수의 가속도계들 및 회전 운동(예로서, 피치, 요(yaw), 롤(roll))을 측정하기 위한 다수의 자이로스코프들을 포함한다. 일부 실시예들에서, 위치 센서들(535)은 도 1에서의 위치 센서들(135)을 표현할 수 있다. 일부 실시예들에서, IMU(540)은 측정 신호들을 빠르게 샘플링하고 샘플링된 데이터로부터 HMD(505)의 추정된 현재 위치를 산출한다. 예를 들면, IMU(540)은 속도 벡터를 추정하기 위해 시간에 걸쳐 가속도계들로부터 수신된 측정 신호들을 통합하고 HMD(505) 상의 기준 지점의 추정된 현재 위치를 결정하기 위해 시간에 걸쳐 속도 벡터를 통합한다. 대안적으로, IMU(540)은 샘플링된 측정 신호들을 콘솔(510)에 제공하고, 상기 콘솔은 오차를 감소시키기 위해 데이터를 해석한다. 기준 지점은 HMD(505)의 위치를 설명하기 위해 사용될 수 있는 지점이다. 기준 지점은 일반적으로, HMD(505)의 방향 및 위치와 관련된 위치 또는 공간의 지점으로서 정의될 수 있다.
IMU(540)은 콘솔(510)로부터 하나 이상의 파라미터들을 수신한다. 하나 이상의 파라미터들은 HMD(505)의 추적을 유지하기 위해 사용된다. 수신된 파라미터에 기초하여, IMU(540)은 하나 이상의 IMU 파라미터들(예로서, 샘플 레이트)을 조정할 수 있다. 일부 실시예들에서, 특정 파라미터들은 IMU(540)으로 하여금 기준 지점의 초기 위치를 업데이트하게 하고, 따라서 그것은 기준 지점의 다음 위치에 대응한다. 기준 지점의 다음 교정된 위치로서 기준 지점의 초기 위치를 업데이트하는 것은 IMU(540)에서 추정된 현재 위치와 연관된 누적 오차를 감소시키는데 도움이 된다. 드리프트 오차(drift error)로서 또한 언급된 누적 오차는 기준 지점의 추정된 위치로 하여금 시간에 걸쳐 기준 지점의 실제 위치로부터 "멀어지게"한다. HMD(505)의 일부 실시예들에서, IMU(540)은 전용 하드웨어 구성요소일 수 있다. 다른 실시예들에서, IMU(540)은 하나 이상의 프로세서들로 구현된 소프트웨어 구성요소일 수 있다. 일부 실시예들에서, IMU(540)은 도 1에서의 IMU(130)을 표현할 수 있다.
일부 실시예들에서, 눈 추적 시스템(545)은 HMD(505)에 통합된다. 눈 추적 시스템(545)은 HMD(505)를 착용하는 사용자의 눈과 연관된 눈 추적 정보를 결정한다. 눈 추적 시스템(545)에 의해 결정된 눈 추적 정보는 사용자의 눈의 방향에 관한 정보, 즉 눈의 시선의 각도에 관한 정보를 포함할 수 있다. 일부 실시예들에서, 눈 추적 시스템(545)은 광학 어셈블리(530)에 통합된다. 눈 추적 시스템(545)의 일 실시예는 조명원 및 이미징 디바이스(카메라)를 포함할 수 있다.
일부 실시예들에서, 가변초점 모듈(550)은 HMD(505)에 또한 통합된다. 가변초점 모듈(550)은 눈 추적 시스템(545)에 의해 결정된 눈 추적 정보를 얻기 위해 눈 추적 시스템(545)에 결합될 수 있다. 가변초점 모듈(550)은 눈 추적 시스템(545)으로부터 얻어진 결정된 눈 추적 정보에 기초하여, 전자 디스플레이(525)에 디스플레이된 하나 이상의 이미지들의 초점을 조정하도록 구성될 수 있다. 이러한 방식으로, 가변초점 모듈(550)은 이미지 광에 관한 수렴 조절 불일치를 완화시킬 수 있다. 가변초점 모듈(550)은 전자 디스플레이(525) 중 적어도 하나 및 광학 어셈블리(530)의 적어도 하나의 광학 요소와 인터페이스(예로서, 기계적으로 또는 전기적으로)될 수 있다. 그 다음, 가변초점 모듈(550)은 눈 추적 시스템(545)으로부터 얻어진 결정된 눈 추적 정보에 기초하여, 광학 어셈블리(530)의 적어도 하나의 광학 요소 및 전자 디스플레이(525) 중 적어도 하나의 위치를 조정함으로써 전자 디스플레이(525)에 디스플레이된 하나 이상의 이미지들의 초점을 조정하도록 구성될 수 있다. 위치를 조정함으로써, 가변초점 모듈(550)은 전자 디스플레이(525)로부터 출력된 이미지 광의 초점을 사용자의 눈을 향해 변화시킨다. 가변초점 모듈(550)은 또한, 눈 추적 시스템(545)으로부터 얻어진 결정된 눈 추적 정보에 적어도 부분적으로 기초하여, 디스플레이된 이미지들의 포비티드 렌더링을 수행함으로써 전자 디스플레이(525)에 디스플레이된 이미지들의 해상도를 조정하도록 구성될 수 있다. 이 경우에, 가변초점 모듈(550)은 적절한 이미지 신호들을 전자 디스플레이(525)에 제공한다. 가변초점 모듈(550)은 전자 디스플레이(525)의 다른 영역들에서 더 낮은 픽셀 밀도들을 갖는 이미지 신호들을 제공하면서, 사용자의 눈의 시선의 중심와 영역에서만 전자 디스플레이(525)에 최대 픽셀 밀도를 갖는 이미지 신호들을 제공한다. 하나의 실시예에서, 가변초점 모듈(550)은 예로서, 전자 디스플레이(525)에 제공하기 위한 콘텐트를 생성하기 위해 DCA(520)에 의해 얻어진 깊이 정보를 활용할 수 있다.
I/O 인터페이스(515)는 사용자가 동작 요청들을 전송하고 콘솔(510)로부터 응답들을 수신하는 것을 허용하는 디바이스이다. 동작 요청은 특정한 동작을 수행하기 위한 요청이다. 예를 들면, 동작 요청은 이미지 또는 비디오 데이터의 캡쳐를 시작 또는 종료하기 위한 지시 또는 애플리케이션 내에서 특정한 동작을 수행하기 위한 지시일 수 있다. I/O 인터페이스(515)는 하나 이상의 입력 디바이스들을 포함할 수 있다. 예시적인 입력 디바이스들은: 키보드, 마우스, 게임 제어기, 또는 동작 요청들을 수신하고 동작 요청들을 콘솔(510)에 전달하기 위한 임의의 다른 적합한 디바이스를 포함한다. I/O 인터페이스(515)에 의해 수신된 동작 요청은 콘솔(510)에 전달되고, 상기 콘솔은 동작 요청에 대응하는 동작을 수행한다. 일부 실시예들에서, I/O 인터페이스(515)는 I/O 인터페이스(515)의 초기 위치에 대한 I/O 인터페이스(515)의 추정된 위치를 나타내는 교정 데이터를 캡쳐하는 IMU(540)을 포함한다. 일부 실시예들에서, I/O 인터페이스(515)는 콘솔(510)로부터 수신된 지시들에 따라 햅틱 피드백을 사용자에게 제공할 수 있다. 예를 들면, 햅틱 피드백은 동작 요청이 수신될 때 제공되거나, 콘솔(510)은 I/O 인터페이스(515)에 지시들을 전달하여 I/O 인터페이스(515)로 하여금 콘솔(510)이 동작을 수행할 때 햅틱 피드백을 생성하게 한다.
콘솔(510)은: DCA(520), HMD(505), 및 I/O 인터페이스(515) 중 하나 이상으로부터 수신된 정보에 따라 프로세싱하기 위한 콘텐트를 HMD(505)에 제공한다. 도 5에 도시된 예에서, 콘솔(510)은 애플리케이션 저장장치(555), 추적 모듈(560), 및 엔진(565)을 포함한다. 콘솔(510)의 일부 실시예들은 도 5와 결부하여 설명된 모듈들 또는 구성요소들과 상이한 모듈들 또는 구성요소들을 갖는다. 유사하게, 하기에 또한 설명된 기능들은 도 5와 결부하여 설명된 것과 상이한 방식으로 콘솔(510)의 구성요소들 사이에 분산될 수 있다.
애플리케이션 저장장치(555)는 콘솔(510)에 의해 실행하기 위한 하나 이상의 애플리케이션들을 저장한다. 애플리케이션은 프로세서에 의해 실행될 때 사용자에게 제공하기 위한 콘텐트를 생성하는 지시들의 그룹이다. 애플리케이션에 의해 생성된 콘텐트는 HMD(505) 또는 I/O 인터페이스(515)의 이동을 통해 사용자로부터 수신된 입력들에 응답할 수 있다. 애플리케이션들의 예들은: 게임 애플리케이션들, 회의 애플리케이션들, 비디오 재생 애플리케이션들, 또는 다른 적합한 애플리케이션들을 포함한다.
추적 모듈(560)은 HMD(505)의 또는 I/O 인터페이스(515)의 위치의 결정 시에 오차를 감소시키기 위해 하나 이상의 교정 파라미터들을 사용하여 HMD 시스템(500)을 교정하고 하나 이상의 교정 파라미터들을 조정할 수 있다. 예를 들면, 추적 모듈(560)은 DCA(520)에 의해 캡쳐된 구조화된 광 요소들의 위치들을 더 정확하게 결정하기 위해 DCA(520)의 초점을 조정하도록 교정 파라미터를 DCA(520)에 전달한다. 추적 모듈(560)에 의해 수행된 교정은 또한, HMD(505)에서의 IMU(540) 및/또는 I/O 인터페이스(515)에 포함된 IMU(540)으로부터 수신된 정보를 설명한다. 부가적으로, HMD(505)의 추적이 실패하면(예로서, DCA(520)가 적어도 임계 수의 구조화된 광 요소들의 가시선을 놓쳐버림), 추적 모듈(560)은 HMD 시스템(500)의 일부 또는 전부를 재교정할 수 있다.
추적 모듈(560)은 DCA(520), 하나 이상의 위치 센서들(535), IMU(540) 또는 그들의 일부 조합으로부터의 정보를 사용하여 HMD(505)의 또는 I/O 인터페이스(515)의 움직임들을 추적한다. 예를 들면, 추적 모듈(550)은 HMD(505)로부터의 정보에 기초하여 로컬 영역의 매핑 시에 HMD(505)의 기준 지점의 위치를 결정한다. 추적 모듈(560)은 또한, IMU(540)으로부터 HMD(505)의 위치를 나타내는 데이터를 사용하거나 I/O 인터페이스(515)에 포함된 IMU(540)으로부터 I/O 인터페이스(515)의 위치를 나타내는 데이터를 사용하여 I/O 인터페이스(515)의 기준 지점 또는 HMD(505)의 기준 지점의 위치들을 각각 결정할 수 있다. 부가적으로, 일부 실시예들에서, 추적 모듈(560)은 HMD(505)의 미래 위치를 예측하기 위해 DCA(520)로부터의 로컬 영역의 표현들 뿐만 아니라, IMU(540)으로부터의 HMD(505) 또는 위치를 나타내는 데이터의 부분들을 사용할 수 있다. 추적 모듈(560)은 HMD(505) 또는 I/O 인터페이스(515)의 추정되거나 예측된 미래 위치를 엔진(555)에 제공한다.
엔진(565)은 HMD(505)로부터 수신된 정보에 기초하여 HMD(505)의 일부 또는 전부를 둘러싸는 영역(즉, "로컬 영역")의 3D 매핑을 생성한다. 일부 실시예들에서, 엔진(565)은 깊이 계산에 사용된 기술들과 관련되는 DCA(520)로부터 수신된 정보에 기초하여 로컬 영역의 3D 매핑에 대한 깊이 정보를 결정한다. 엔진(565)은 구조화된 광으로부터의 깊이의 계산 시에 하나 이상의 기술들을 사용하여 깊이 정보를 산출할 수 있다. 다양한 실시예들에서, 엔진(565)은 예로서, 로컬 영역의 모델을 업데이트하고, 업데이트된 모델에 부분적으로 기초하여 콘텐트를 생성하기 위해 깊이 정보를 사용한다.
엔진(565)은 또한, HMD 시스템(500) 내에서 애플리케이션들을 실행하고 추적 모듈(560)로부터 HMD(505)의 위치 정보, 가속 정보, 속도 정보, 예측된 미래 위치들, 또는 그들의 일부 조합을 수신한다. 수신된 정보에 기초하여, 엔진(565)은 사용자에게 제공하기 위해 HMD(505)에 제공할 콘텐트를 결정한다. 예를 들면, 수신된 정보가 사용자가 좌측을 보았음을 나타내면, 엔진(565)은 가상 환경에서 또는 부가적인 콘텐트로 로컬 영역을 증가시키는 환경에서 사용자의 움직임을 미러링하는 HMD(505)에 대한 콘텐트를 생성한다. 부가적으로, 엔진(565)은 I/O 인터페이스(515)로부터 수신된 동작 요청에 응답하여 콘솔(510)에서 실행되는 애플리케이션 내에서 동작을 수행하고 동작이 수행되었다는 피드백을 사용자에게 제공한다. 제공된 피드백은 HMD(505)를 통한 시각 또는 청취가능한 피드백이거나 I/O 인터페이스(515)를 통한 햅틱 피드백일 수 있다.
일부 실시예들에서, 눈 추적 시스템(545)으로부터 수신된 눈 추적 정보(예로서, 사용자의 눈의 방향)에 기초하여, 엔진(565)은 전자 디스플레이(525)에서 사용자에 제공하기 위해 HMD(505)에 제공된 콘텐트의 해상도를 결정한다. 엔진(565)은 사용자 시선의 중심와 영역의 전자 디스플레이(525)에서 최대 픽셀 해상도를 가지는 콘텐트를 HMD(605)에 제공하는 반면에, 엔진(565)은 전자 디스플레이(525)의 다른 영역들에서 더 낮은 픽셀 해상도를 제공하고 따라서, 사용자의 시각적 경험을 손상시키지 않고 HMD(505)에서 더 적은 전력 소비를 성취하고 콘솔(510)의 계산 주기들을 절약한다. 일부 실시예들에서, 엔진(565)은 또한, 객체들이 수렴 조절 불일치를 방지하기 위해 전자 디스플레이(525)에 디스플레이되는 위치를 조정하도록 눈 추적 정보를 사용할 수 있다.
부가적인 구성 정보
본 발명의 실시예들의 상기 설명은 예시의 목적을 위해 제공되었고; 그것은 철저한 것으로 의도되지 않거나 본 발명을 개시된 정확한 형태들로 제한하도록 의도되지 않는다. 관련 분야에서의 숙련자들은 상기 발명에 비추어 많은 수정들 및 변형들이 가능하다는 것을 이해할 수 있다.
이 설명의 일부 부분들은 정보에 대한 연산들의 상징적 표현들 및 알고리즘들의 관점에서 본 발명의 실시예들을 설명한다. 이들 알고리즘적 설명들 및 표현들은 데이터 프로세싱 분야들의 숙련가들의 작업의 핵심을 다른 당업자들에게 효과적으로 전달하기 위해 상기 데이터 프로세싱 분야들의 숙련가들에 의해 공통적으로 사용된다. 기능적으로, 계산적으로, 또는 논리적으로 설명될지라도, 이들 동작들은 컴퓨터 프로그램들 또는 등가 전기 회로들, 마이크로코드, 등에 의해 구현되는 것으로 이해된다. 또한, 이들 동작들의 배열들을 일반성의 손실 없이, 모듈들로서 언급하는 것이 때때로 편리한 것으로 또한 입증되었다. 설명된 동작들 및 그들의 연관된 모듈들은 소프트웨어, 펌웨어, 하드웨어, 또는 그들의 임의의 조합들로 구현될 수 있다.
본 명세서에서 설명된 단계들, 동작들, 또는 프로세스들 중 임의의 것들은 단독으로 또는 다른 디바이스들과 조합하여 하나 이상의 하드웨어 또는 소프트웨어 모듈들로 수행되거나 구현될 수 있다. 하나의 실시예에서, 소프트웨어 모듈은 컴퓨터 프로그램 코드를 포함하는 컴퓨터 판독가능한 매체를 포함하는 컴퓨터 프로그램 제품으로 구현되며, 상기 컴퓨터 프로그램 코드는 설명된 단계들, 동작들, 또는 프로세스들 중 임의의 것 또는 전부를 수행하기 위해 컴퓨터 프로세서에 의해 실행될 수 있다.
본 발명의 실시예들은 또한, 본 명세서에서의 동작들을 수행하기 위한 장치에 관한 것일 수 있다. 이 장치는 요구된 목적들을 위해 특수하게 구성될 수 있고/있거나 그것은 컴퓨터에 저장된 컴퓨터 프로그램에 의해 선택적으로 활성화되거나 재구성된 범용 컴퓨팅 디바이스를 포함할 수 있다. 이러한 컴퓨터 프로그램은 비일시적인 유형의 컴퓨터 판독가능한 저장 매체, 또는 컴퓨터 시스템 버스에 결합될 수 있는 전자 지시들을 저장하기 위해 적합한 임의의 유형의 매체들에 저장될 수 있다. 또한, 본 명세서에서 언급된 임의의 컴퓨팅 시스템들은 단일 프로세서를 포함할 수 있거나 증가된 컴퓨팅 능력을 위해 다수의 프로세서 설계들을 사용하는 아키텍처들일 수 있다.
본 발명의 실시예들은 또한, 본 명세서에서 설명된 컴퓨팅 프로세스에 의해 생성되는 제품에 관한 것일 수 있다. 이러한 제품은 컴퓨팅 프로세스로부터 발생하는 정보를 포함할 수 있고, 여기서 정보는 비일시적인 유형의 컴퓨터 판독가능한 저장 매체에 저장되며 본 명세서에서 설명된 컴퓨터 프로그램 제품 또는 다른 데이터 조합의 임의의 실시예를 포함할 수 있다.
마지막으로, 본 명세서에서 사용된 언어는 원칙적으로, 가독성 및 교육 목적들을 위해 선택되었으며, 그것은 독창적인 주제들을 상세하게 설명하거나 제한하기 위해 선택되지 않았을 수 있다. 따라서, 본 발명의 범위는 이 상세한 설명에 의해 제한되는 것이 아니라, 오히려 여기에 기초한 출원에 관해 발행되는 임의의 청구항들에 의해 제한되는 것으로 의도된다. 그에 따라, 실시예들의 개시는 본 발명의 범위를 제한하기 위한 것이 아니라 예시적인 것으로 의도되며, 이는 다음의 청구항들에 제시된다.

Claims (35)

  1. 깊이 카메라 어셈블리(depth camera assembly; DCA)에 있어서:
    방출 지시들에 따라 구조화된 광 패턴으로 로컬 영역을 비추도록 구성된 구조화된 광 생성기로서,
    광학 빔들을 방출하도록 구성된 조명원,
    상기 방출 지시들에 부분적으로 기초하여, 상기 광학 빔들로부터 회절된 스캐닝 빔들을 생성하는 프로그래밍가능한 회절 광학 요소(programmable diffractive optical element; PDOE)로서, 상이한 패턴들의 회절된 스캐닝 빔들을 생성하기 위해 상기 광학 빔들의 회절을 동적으로 조정하는 동적 회절 격자로서 기능하는, 상기 프로그래밍가능한 회절 광학 요소(PDOE), 및
    상기 회절된 스캐닝 빔들을 상기 구조화된 광 패턴으로서 상기 로컬 영역으로 투영하도록 구성된 투영 어셈블리로서, 상기 구조화된 광 패턴은 상기 PDOE에 기초하여 동적으로 조정가능한, 상기 투영 어셈블리를 포함하는, 상기 구조화된 광 생성기;
    상기 로컬 영역에서 하나 이상의 객체들로부터 반사된 상기 구조화된 광 패턴의 적어도 일부의 하나 이상의 이미지들을 캡쳐하도록 구성된 이미징 디바이스; 및
    제어기로서:
    상기 방출 지시들을 생성하고,
    상기 방출 지시들을 상기 구조화된 광 생성기에 제공하고,
    상기 캡쳐된 하나 이상의 이미지들에 부분적으로 기초하여 상기 하나 이상의 객체들에 대한 깊이 정보를 결정하도록 구성되는, 상기 제어기를 포함하는, 깊이 카메라 어셈블리.
  2. 제 1 항에 있어서,
    상기 PDOE는 공간 광 변조기, 액정 온 실리콘(liquid crystal on Silicon; LCOS) 디바이스, 마이크로전자기계(MEM) 디바이스, 및 디지털 마이크로-미러 디바이스(DMD)로 구성된 그룹으로부터 선택되는, 깊이 카메라 어셈블리.
  3. 제 1 항에 있어서,
    상기 PDOE는 액정(LC) 기반 회절 광학 요소를 포함하고;
    상기 제어기는 상기 상이한 패턴들을 가지는 상기 회절된 스캐닝 빔들을 형성하기 위해 상기 LC 기반 회절 광학 요소의 회절 각도를 조정하도록 상기 LC 기반 회절 광학 요소에 인가된 전압 레벨을 동적으로 조정하는, 깊이 카메라 어셈블리.
  4. 제 1 항에 있어서,
    상기 PDOE는 공간 주파수를 가지는 변조 신호에 기초하여, 상기 회절된 스캐닝 빔들을 변조된 광으로서 형성하기 위해 상기 광학 빔들을 공간적으로 변조하는 공간 광 변조기를 포함하고;
    상기 제어기는 상기 상이한 패턴들을 가지는 상기 변조된 광을 형성하기 위해 상기 광학 빔들에 인가된 상기 변조 신호의 공간 주파수를 동적으로 조정하는, 깊이 카메라 어셈블리.
  5. 제 1 항에 있어서,
    상기 PDOE는 마이크로-미러 셀들의 어레이를 포함하고;
    상기 제어기는 상기 방출 지시들에 부분적으로 기초하여, 상기 상이한 패턴들을 가지는 상기 회절된 스캐닝 빔들을 형성하기 위해 상기 광학 빔들의 일부를 흡수하도록 상기 어레이의 제 1 복수의 셀들 및 상기 광학 빔들의 또 다른 부분을 반사하도록 상기 어레이의 제 2 복수의 셀들을 동적으로 재구성하는, 깊이 카메라 어셈블리.
  6. 제 1 항에 있어서,
    상기 조명원은:
    상기 방출 지시들에 부분적으로 기초하여, 상기 광학 빔들을 방출하도록 구성된 발광기;
    상기 광학 빔들을 시준된 광으로 시준하도록 구성된 시준 어셈블리, 및
    상기 시준된 광을 상기 PDOE로 지향시키도록 구성된 프리즘을 포함하는, 깊이 카메라 어셈블리.
  7. 제 1 항에 있어서,
    상기 조명원은:
    상기 방출 지시들에 부분적으로 기초하여, 상기 광학 빔들을 방출하도록 구성된 발광기, 및
    단일 광학 요소로서:
    시준된 광을 생성하기 위해 상기 광학 빔들을 시준하고,
    상기 시준된 광을 상기 PDOE로 지향시키도록 구성되는, 상기 단일 광학 요소를 포함하는, 깊이 카메라 어셈블리.
  8. 제 1 항에 있어서,
    상기 PDOE는 상기 방출 지시들에 부분적으로 기초하여 상기 회절된 스캐닝 빔들을 형성하기 위해 브래그 정합 조건을 만족시키는 각도로 상기 PDOE에 입사하는 상기 광학 빔들을 회절시키는, 깊이 카메라 어셈블리.
  9. 제 1 항에 있어서,
    상기 광학 빔들은 시간적으로 변조되어 시간적으로 변조될 상기 구조화된 광 패턴을 제공하는, 깊이 카메라 어셈블리.
  10. 제 1 항에 있어서,
    상기 제어기는 또한:
    상기 결정된 깊이 정보에 기초하여, 상기 광학 빔들의 회절을 조정하기 위해 상기 동적 회절 격자를 제어하도록 구성되는, 깊이 카메라 어셈블리.
  11. 제 1 항에 있어서,
    상기 제어기는 또한:
    상기 로컬 영역에서 상기 하나 이상의 객체들의 위치 정보에 기초하여, 상기 광학 빔들의 회절을 조정하기 위해 상기 동적 회절 격자를 제어하도록 구성되는, 깊이 카메라 어셈블리.
  12. 제 1 항에 있어서,
    상기 DCA는 머리 장착 디스플레이의 구성요소인, 깊이 카메라 어셈블리.
  13. 방법에 있어서:
    방출 지시들을 생성하는 단계;
    상기 방출 지시들에 부분적으로 기초하여, 상이한 패턴들의 회절된 스캐닝 빔들을 생성하기 위해 광학 빔들의 회절을 동적으로 조정하는 동적 회절 격자로서 기능하는 프로그래밍가능한 회절 광학 요소(PDOE)를 사용하여 상기 광학 빔들을 회절시킴으로써 상기 광학 빔들로부터 상기 회절된 스캐닝 빔들을 생성하는 단계;
    상기 회절된 스캐닝 빔들을 구조화된 광 패턴으로서 로컬 영역으로 투영하는 단계;
    상기 로컬 영역에서 하나 이상의 객체들로부터 반사된 상기 구조화된 광 패턴의 적어도 일부의 하나 이상의 이미지들을 캡쳐하는 단계; 및
    상기 캡쳐된 하나 이상의 이미지들에 적어도 부분적으로 기초하여 상기 하나 이상의 객체들에 대한 깊이 정보를 결정하는 단계를 포함하는, 방법.
  14. 제 13 항에 있어서,
    상기 PDOE는 액정(LC) 기반 회절 광학 요소를 포함하고, 상기 방법은:
    상기 상이한 패턴들을 가지는 상기 회절된 스캐닝 빔들을 형성하기 위해 상기 LC 기반 회절 광학 요소의 회절 각도를 조정하도록 상기 LC 기반 회절 광학 요소에 인가된 전압 레벨을 동적으로 조정하는 단계를 더 포함하는, 방법.
  15. 제 13 항에 있어서,
    공간 광 변조기로서 구성된 상기 PDOE를 사용하여, 공간 주파수를 가지는 변조 신호에 기초하여, 상기 회절된 스캐닝 빔들을 변조된 광으로서 형성하기 위해 상기 광학 빔들을 변조하는 단계; 및
    상기 상이한 패턴들을 가지는 상기 변조된 광을 형성하기 위해 상기 광학 빔들에 인가된 상기 변조 신호의 공간 주파수를 동적으로 조정하는 단계를 더 포함하는, 방법.
  16. 제 13 항에 있어서,
    상기 PDOE는 마이크로-미러 셀들의 어레이를 포함하고, 상기 방법은:
    상기 방출 지시들에 부분적으로 기초하여, 상기 상이한 패턴들을 가지는 상기 회절된 스캐닝 빔들을 형성하기 위해 상기 광학 빔들의 일부를 흡수하도록 상기 어레이의 제 1 복수의 셀들 및 상기 광학 빔들의 또 다른 부분을 반사하도록 상기 어레이의 제 2 복수의 셀들을 동적으로 재구성하는 단계를 더 포함하는, 방법.
  17. 제 13 항에 있어서,
    상기 방출 지시들에 부분적으로 기초하여, 상기 광학 빔들을 방출하는 단계;
    시준된 광을 생성하기 위해 상기 광학 빔들을 시준하는 단계; 및
    상기 시준된 광을 상기 PDOE로 지향시키는 단계를 더 포함하는, 방법.
  18. 제 13 항에 있어서,
    상기 결정된 깊이 정보에 기초하여, 상기 광학 빔들의 회절을 조정하기 위해 상기 동적 회절 격자를 제어하는 단계를 더 포함하는, 방법.
  19. 제 13 항에 있어서,
    상기 로컬 영역에서 상기 하나 이상의 객체들의 위치 정보에 기초하여, 상기 광학 빔들의 회절을 조정하기 위해 상기 동적 회절 격자를 제어하는 단계를 더 포함하는, 방법.
  20. 머리 장착 디스플레이(HMD)에 있어서:
    이미지 광을 방출하도록 구성된 전자 디스플레이;
    방출 지시들에 따라 구조화된 광 패턴으로 로컬 영역을 비추도록 구성된 광 생성기로서,
    광학 빔들을 방출하도록 구성된 조명원,
    상기 방출 지시들에 부분적으로 기초하여, 상기 광학 빔들로부터 회절된 스캐닝 빔들을 생성하는 프로그래밍가능한 회절 광학 요소(PDOE)로서, 상이한 패턴들의 회절된 스캐닝 빔들을 생성하기 위해 상기 광학 빔들의 회절을 동적으로 조정하는 동적 회절 격자로서 기능하는, 상기 프로그래밍가능한 회절 광학 요소(PDOE), 및
    상기 회절된 스캐닝 빔들을 상기 구조화된 광 패턴으로서 상기 로컬 영역으로 투영하도록 구성된 투영 어셈블리로서, 상기 구조화된 광 패턴은 상기 PDOE에 기초하여 동적으로 조정가능한, 상기 투영 어셈블리를 포함하는, 상기 광 생성기;
    상기 로컬 영역에서 하나 이상의 객체들로부터 반사된 상기 구조화된 광 패턴의 적어도 일부의 하나 이상의 이미지들을 캡쳐하도록 구성된 이미징 디바이스;
    제어기로서:
    상기 방출 지시들을 생성하고,
    상기 방출 지시들을 상기 광 생성기에 제공하고,
    상기 캡쳐된 하나 이상의 이미지들에 부분적으로 기초하여 상기 하나 이상의 객체들에 대한 깊이 정보를 결정하도록 구성되는, 상기 제어기; 및
    상기 이미지 광을 사용자의 눈의 위치에 대응하는 상기 HMD의 사출 동공(exit pupil)으로 지향시키도록 구성된 광학 어셈블리로서, 상기 이미지 광은 상기 결정된 깊이 정보를 포함하는, 상기 광학 어셈블리를 포함하는, 머리 장착 디스플레이.
  21. 깊이 카메라 어셈블리(DCA)에 있어서:
    방출 지시들에 따라 구조화된 광 패턴으로 로컬 영역을 비추도록 구성된 구조화된 광 생성기로서,
    광학 빔들을 방출하도록 구성된 조명원,
    상기 방출 지시들에 부분적으로 기초하여, 상기 광학 빔들로부터 회절된 스캐닝 빔들을 생성하는 프로그래밍가능한 회절 광학 요소(PDOE)로서, 상이한 패턴들의 회절된 스캐닝 빔들을 생성하기 위해 상기 광학 빔들의 회절을 동적으로 조정하는 동적 회절 격자로서 기능하는, 상기 프로그래밍가능한 회절 광학 요소(PDOE), 및
    상기 회절된 스캐닝 빔들을 상기 구조화된 광 패턴으로서 상기 로컬 영역으로 투영하도록 구성된 투영 어셈블리로서, 상기 구조화된 광 패턴은 상기 PDOE에 기초하여 동적으로 조정가능한, 상기 투영 어셈블리를 포함하는, 상기 구조화된 광 생성기;
    상기 로컬 영역에서 하나 이상의 객체들로부터 반사된 상기 구조화된 광 패턴의 적어도 일부의 하나 이상의 이미지들을 캡쳐하도록 구성된 이미징 디바이스; 및
    제어기로서:
    상기 방출 지시들을 생성하고,
    상기 방출 지시들을 상기 구조화된 광 생성기에 제공하고,
    상기 캡쳐된 하나 이상의 이미지들에 부분적으로 기초하여 상기 하나 이상의 객체들에 대한 깊이 정보를 결정하도록 구성되는, 상기 제어기를 포함하는, 깊이 카메라 어셈블리.
  22. 제 21 항에 있어서,
    상기 PDOE는 공간 광 변조기, 액정 온 실리콘(LCOS) 디바이스, 마이크로전자기계(MEM) 디바이스, 및 디지털 마이크로-미러 디바이스(DMD)로 구성된 그룹으로부터 선택되는, 깊이 카메라 어셈블리.
  23. 제 21 항 또는 제 22 항에 있어서,
    상기 PDOE는 액정(LC) 기반 회절 광학 요소를 포함하고;
    상기 제어기는 상기 상이한 패턴들을 가지는 상기 회절된 스캐닝 빔들을 형성하기 위해 상기 LC 기반 회절 광학 요소의 회절 각도를 조정하도록 상기 LC 기반 회절 광학 요소에 인가된 전압 레벨을 동적으로 조정하는, 깊이 카메라 어셈블리.
  24. 제 21 항 내지 제 23 항 중 어느 한 항에 있어서,
    상기 PDOE는 공간 주파수를 가지는 변조 신호에 기초하여, 상기 회절된 스캐닝 빔들을 변조된 광으로서 형성하기 위해 상기 광학 빔들을 공간적으로 변조하는 공간 광 변조기를 포함하고;
    상기 제어기는 상기 상이한 패턴들을 가지는 상기 변조된 광을 형성하기 위해 상기 광학 빔들에 인가된 상기 변조 신호의 공간 주파수를 동적으로 조정하는, 깊이 카메라 어셈블리.
  25. 제 21 항 내지 제 24 항 중 어느 한 항에 있어서,
    상기 PDOE는 마이크로-미러 셀들의 어레이를 포함하고;
    상기 제어기는 상기 방출 지시들에 부분적으로 기초하여, 상기 상이한 패턴들을 가지는 상기 회절된 스캐닝 빔들을 형성하기 위해 상기 광학 빔들의 일부를 흡수하도록 상기 어레이의 제 1 복수의 셀들 및 상기 광학 빔들의 또 다른 부분을 반사하도록 상기 어레이의 제 2 복수의 셀들을 동적으로 재구성하는, 깊이 카메라 어셈블리.
  26. 제 21 항 내지 제 25 항 중 어느 한 항에 있어서,
    상기 조명원은:
    상기 방출 지시들에 부분적으로 기초하여, 상기 광학 빔들을 방출하도록 구성된 발광기;
    상기 광학 빔들을 시준된 광으로 시준하도록 구성된 시준 어셈블리, 및
    상기 시준된 광을 상기 PDOE로 지향시키도록 구성된 프리즘을 포함하고; 및/또는
    상기 조명원은:
    상기 방출 지시들에 부분적으로 기초하여, 상기 광학 빔들을 방출하도록 구성된 발광기, 및
    단일 광학 요소로서:
    시준된 광을 생성하기 위해 상기 광학 빔들을 시준하고,
    상기 시준된 광을 상기 PDOE로 지향시키도록 구성되는, 상기 단일 광학 요소를 포함하는, 깊이 카메라 어셈블리.
  27. 제 21 항 내지 제 26 항 중 어느 한 항에 있어서,
    상기 PDOE는 상기 방출 지시들에 부분적으로 기초하여 상기 회절된 스캐닝 빔들을 형성하기 위해 브래그 정합 조건을 만족시키는 각도로 상기 PDOE에 입사하는 상기 광학 빔들을 회절시키고; 및/또는
    상기 광학 빔들은 시간적으로 변조되어 시간적으로 변조될 상기 구조화된 광 패턴을 제공하는, 깊이 카메라 어셈블리.
  28. 제 21 항 내지 제 27 항 중 어느 한 항에 있어서,
    상기 제어기는 또한:
    상기 결정된 깊이 정보에 기초하여, 상기 광학 빔들의 회절을 조정하기 위해 상기 동적 회절 격자를 제어하고; 및/또는
    상기 제어기는 또한:
    상기 로컬 영역에서 상기 하나 이상의 객체들의 위치 정보에 기초하여, 상기 광학 빔들의 회절을 조정하기 위해 상기 동적 회절 격자를 제어하도록 구성되는, 깊이 카메라 어셈블리.
  29. 제 21 항 내지 제 28 항 중 어느 한 항에 있어서,
    상기 DCA는 머리 장착 디스플레이의 구성요소인, 깊이 카메라 어셈블리.
  30. 방법에 있어서:
    방출 지시들을 생성하는 단계;
    상기 방출 지시들에 부분적으로 기초하여, 상이한 패턴들의 회절된 스캐닝 빔들을 생성하기 위해 광학 빔들의 회절을 동적으로 조정하는 동적 회절 격자로서 기능하는 프로그래밍가능한 회절 광학 요소(PDOE)를 사용하여 상기 광학 빔들을 회절시킴으로써 상기 광학 빔들로부터 상기 회절된 스캐닝 빔들을 생성하는 단계;
    상기 회절된 스캐닝 빔들을 구조화된 광 패턴으로서 로컬 영역으로 투영하는 단계;
    상기 로컬 영역에서 하나 이상의 객체들로부터 반사된 상기 구조화된 광 패턴의 적어도 일부의 하나 이상의 이미지들을 캡쳐하는 단계; 및
    상기 캡쳐된 하나 이상의 이미지들에 적어도 부분적으로 기초하여 상기 하나 이상의 객체들에 대한 깊이 정보를 결정하는 단계를 포함하는, 방법.
  31. 제 30 항에 있어서,
    상기 PDOE는 액정(LC) 기반 회절 광학 요소를 포함하고, 상기 방법은:
    상기 상이한 패턴들을 가지는 상기 회절된 스캐닝 빔들을 형성하기 위해 상기 LC 기반 회절 광학 요소의 회절 각도를 조정하도록 상기 LC 기반 회절 광학 요소에 인가된 전압 레벨을 동적으로 조정하는 단계를 더 포함하는, 방법.
  32. 제 30 항 또는 제 31 항에 있어서,
    공간 광 변조기로서 구성된 상기 PDOE를 사용하여, 공간 주파수를 가지는 변조 신호에 기초하여, 상기 회절된 스캐닝 빔들을 변조된 광으로서 형성하기 위해 상기 광학 빔들을 변조하는 단계; 및
    상기 상이한 패턴들을 가지는 상기 변조된 광을 형성하기 위해 상기 광학 빔들에 인가된 상기 변조 신호의 공간 주파수를 동적으로 조정하는 단계를 더 포함하고, 및/또는
    상기 PDOE는 마이크로-미러 셀들의 어레이를 포함하고, 상기 방법은:
    상기 방출 지시들에 부분적으로 기초하여, 상기 상이한 패턴들을 가지는 상기 회절된 스캐닝 빔들을 형성하기 위해 상기 광학 빔들의 일부를 흡수하도록 상기 어레이의 제 1 복수의 셀들 및 상기 광학 빔들의 또 다른 부분을 반사하도록 상기 어레이의 제 2 복수의 셀들을 동적으로 재구성하는 단계를 더 포함하는, 방법.
  33. 제 30 항 내지 제 32 항 중 어느 한 항에 있어서,
    상기 방출 지시들에 부분적으로 기초하여, 상기 광학 빔들을 방출하는 단계;
    시준된 광을 생성하기 위해 상기 광학 빔들을 시준하는 단계; 및
    상기 시준된 광을 상기 PDOE로 지향시키는 단계를 더 포함하는, 방법.
  34. 제 30 항 내지 제 33 항 중 어느 한 항에 있어서,
    상기 결정된 깊이 정보에 기초하여, 상기 광학 빔들의 회절을 조정하기 위해 상기 동적 회절 격자를 제어하는 단계를 더 포함하고; 및/또는
    상기 로컬 영역에서 상기 하나 이상의 객체들의 위치 정보에 기초하여, 상기 광학 빔들의 회절을 조정하기 위해 상기 동적 회절 격자를 제어하는 단계를 더 포함하는, 방법.
  35. 머리 장착 디스플레이(HMD)에 있어서:
    이미지 광을 방출하도록 구성된 전자 디스플레이;
    방출 지시들에 따라 구조화된 광 패턴으로 로컬 영역을 비추도록 구성된 광 생성기로서,
    광학 빔들을 방출하도록 구성된 조명원,
    상기 방출 지시들에 부분적으로 기초하여, 상기 광학 빔들로부터 회절된 스캐닝 빔들을 생성하는 프로그래밍가능한 회절 광학 요소(PDOE)로서, 상이한 패턴들의 회절된 스캐닝 빔들을 생성하기 위해 상기 광학 빔들의 회절을 동적으로 조정하는 동적 회절 격자로서 기능하는, 상기 프로그래밍가능한 회절 광학 요소(PDOE), 및
    상기 회절된 스캐닝 빔들을 상기 구조화된 광 패턴으로서 상기 로컬 영역으로 투영하도록 구성된 투영 어셈블리로서, 상기 구조화된 광 패턴은 상기 PDOE에 기초하여 동적으로 조정가능한, 상기 투영 어셈블리를 포함하는, 상기 광 생성기;
    상기 로컬 영역에서 하나 이상의 객체들로부터 반사된 상기 구조화된 광 패턴의 적어도 일부의 하나 이상의 이미지들을 캡쳐하도록 구성된 이미징 디바이스;
    제어기로서:
    상기 방출 지시들을 생성하고,
    상기 방출 지시들을 상기 광 생성기에 제공하고,
    상기 캡쳐된 하나 이상의 이미지들에 부분적으로 기초하여 상기 하나 이상의 객체들에 대한 깊이 정보를 결정하도록 구성되는, 상기 제어기; 및
    상기 이미지 광을 사용자의 눈의 위치에 대응하는 상기 HMD의 사출 동공으로 지향시키도록 구성된 광학 어셈블리로서, 상기 이미지 광은 상기 결정된 깊이 정보를 포함하는, 상기 광학 어셈블리를 포함하는, 머리 장착 디스플레이.
KR1020207006071A 2017-08-14 2018-08-06 깊이 감지를 위해 프로그래밍가능한 회절 광학 요소를 갖는 카메라 어셈블리 KR102510644B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US15/676,717 US10551614B2 (en) 2017-08-14 2017-08-14 Camera assembly with programmable diffractive optical element for depth sensing
US15/676,717 2017-08-14
PCT/US2018/045407 WO2019036215A1 (en) 2017-08-14 2018-08-06 CAMERA ASSEMBLY WITH PROGRAMMABLE DIFFRACTION OPTICAL ELEMENT FOR DEPTH DETECTION

Publications (2)

Publication Number Publication Date
KR20200032204A true KR20200032204A (ko) 2020-03-25
KR102510644B1 KR102510644B1 (ko) 2023-03-17

Family

ID=65275247

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020207006071A KR102510644B1 (ko) 2017-08-14 2018-08-06 깊이 감지를 위해 프로그래밍가능한 회절 광학 요소를 갖는 카메라 어셈블리

Country Status (5)

Country Link
US (2) US10551614B2 (ko)
JP (2) JP2020530900A (ko)
KR (1) KR102510644B1 (ko)
CN (1) CN111226436B (ko)
WO (1) WO2019036215A1 (ko)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10731976B2 (en) * 2017-10-02 2020-08-04 Liqxtal Technology Inc. Optical sensing device and structured light projector
US11067820B2 (en) * 2018-07-31 2021-07-20 Himax Technologies Limited Structured light projector and three-dimensional image sensing module
CN110196023B (zh) * 2019-04-08 2024-03-12 奥比中光科技集团股份有限公司 一种双变焦结构光深度相机及变焦方法
CN112004000A (zh) * 2019-05-27 2020-11-27 三赢科技（深圳）有限公司 发光装置及应用其的图像采集装置
CN115135957B (zh) * 2020-02-25 2023-10-24 华为技术有限公司 用于电子设备的深度估计系统
US11715220B1 (en) * 2020-07-30 2023-08-01 Apple Inc Method and device for depth sensor power savings
CN111965664B (zh) * 2020-08-19 2024-01-23 深圳元戎启行科技有限公司 光发射装置、成像系统和发射光调制方法
US11592674B2 (en) * 2021-05-03 2023-02-28 Microsoft Technology Licensing, Llc External illumination with reduced detectability
CN115917426A (zh) * 2021-07-30 2023-04-04 华为技术有限公司 一种结构光投射装置以及深度相机
JP2024002549A (ja) * 2022-06-24 2024-01-11 株式会社Ｓｃｒｅｅｎホールディングス 検知装置、および、検知方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130038881A1 (en) * 2011-08-09 2013-02-14 Primesense Ltd. Projectors of Structured Light
KR20140046335A (ko) * 2012-10-10 2014-04-18 삼성전자주식회사 결상 광학계 및 이를 포함하는 3차원 영상 획득 장치
US20150309263A2 (en) * 2012-06-11 2015-10-29 Magic Leap, Inc. Planar waveguide apparatus with diffraction element(s) and system employing same
US20160274679A1 (en) * 2010-09-19 2016-09-22 Oculus Vr, Llc Depth mapping with a head mounted display using stereo cameras and structured light

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0392819A (ja) * 1989-09-05 1991-04-18 Ricoh Co Ltd 空間光変調器
JP2003092819A (ja) 2001-09-18 2003-03-28 Sumitomo Wiring Syst Ltd 電気接続箱
CN1176351C (zh) * 2002-10-09 2004-11-17 天津大学 动态多分辨率的三维数字成像的方法及装置
US9740019B2 (en) 2010-02-02 2017-08-22 Apple Inc. Integrated structured-light projector
WO2011099409A2 (en) * 2010-02-12 2011-08-18 Canon Kabushiki Kaisha Swept light source apparatus and imaging system including the same
JP2012237604A (ja) * 2011-05-10 2012-12-06 Sanyo Electric Co Ltd 情報取得装置、投射装置および物体検出装置
CN103649677A (zh) * 2011-07-13 2014-03-19 法罗技术股份有限公司 利用空间光调制器来查找物体的三维坐标的装置和方法
CN103309137B (zh) * 2012-03-15 2015-05-20 苹果公司 光电设备及用于制造光电设备的方法
CN103576724B (zh) * 2012-08-08 2016-08-10 联想(北京)有限公司 一种图像采集器、电子设备及光线调节方法
WO2015006784A2 (en) * 2013-07-12 2015-01-15 Magic Leap, Inc. Planar waveguide apparatus with diffraction element(s) and system employing same
WO2015059705A1 (en) * 2013-10-23 2015-04-30 Pebbles Ltd. Three dimensional depth mapping using dynamic structured light
CN112651288B (zh) 2014-06-14 2022-09-20 奇跃公司 用于产生虚拟和增强现实的方法和系统
CN105338255B (zh) * 2014-06-24 2019-04-26 联想(北京)有限公司 一种深度恢复调整方法及电子设备
WO2016024200A2 (en) 2014-08-12 2016-02-18 Mantisvision Ltd. Structured light projection and imaging
CN107003528B (zh) * 2014-11-27 2020-01-17 索尼公司 光学装置和显示装置
US20180007343A1 (en) * 2014-12-09 2018-01-04 Basf Se Optical detector
JP6380091B2 (ja) * 2014-12-26 2018-08-29 セイコーエプソン株式会社 頭部装着型表示装置、頭部装着型表示装置の制御方法、および、コンピュータープログラム
DE102015202182A1 (de) 2015-02-06 2016-08-11 Siemens Aktiengesellschaft Vorrichtung und Verfahren zur sequentiellen, diffraktiven Musterprojektion
WO2017079333A1 (en) 2015-11-04 2017-05-11 Magic Leap, Inc. Light field display metrology
US10708577B2 (en) * 2015-12-16 2020-07-07 Facebook Technologies, Llc Range-gated depth camera assembly
US10349038B2 (en) * 2016-01-04 2019-07-09 Facebook Technologies, Llc Dynamic control over structured illumination intensity
US10152121B2 (en) 2016-01-06 2018-12-11 Facebook Technologies, Llc Eye tracking through illumination by head-mounted displays
CN106019580B (zh) 2016-07-19 2018-05-11 华中科技大学 一种具有超宽调谐范围的灵活宽型光学滤波器
CN106325511A (zh) 2016-08-25 2017-01-11 安徽协创物联网技术有限公司 一种虚拟现实实现系统
US10469722B2 (en) 2016-08-29 2019-11-05 Facebook Technologies, Llc Spatially tiled structured light projector
WO2019012535A1 (en) 2017-07-12 2019-01-17 Guardian Optical Technologies Ltd. SYSTEMS AND METHODS FOR ACQUIRING INFORMATION FROM AN ENVIRONMENT
US10586342B2 (en) 2017-08-31 2020-03-10 Facebook Technologies, Llc Shifting diffractive optical element for adjustable depth sensing resolution

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160274679A1 (en) * 2010-09-19 2016-09-22 Oculus Vr, Llc Depth mapping with a head mounted display using stereo cameras and structured light
US20130038881A1 (en) * 2011-08-09 2013-02-14 Primesense Ltd. Projectors of Structured Light
US20150309263A2 (en) * 2012-06-11 2015-10-29 Magic Leap, Inc. Planar waveguide apparatus with diffraction element(s) and system employing same
KR20140046335A (ko) * 2012-10-10 2014-04-18 삼성전자주식회사 결상 광학계 및 이를 포함하는 3차원 영상 획득 장치

Also Published As

Publication number Publication date
CN111226436B (zh) 2022-03-11
CN111226436A (zh) 2020-06-02
US10551614B2 (en) 2020-02-04
US20200150419A1 (en) 2020-05-14
JP2020530900A (ja) 2020-10-29
US11586036B2 (en) 2023-02-21
JP2023055715A (ja) 2023-04-18
US20190049720A1 (en) 2019-02-14
WO2019036215A1 (en) 2019-02-21
KR102510644B1 (ko) 2023-03-17

Similar Documents

Publication Publication Date Title
KR102510644B1 (ko) 깊이 감지를 위해 프로그래밍가능한 회절 광학 요소를 갖는 카메라 어셈블리
US11450015B2 (en) Shifting diffractive optical element for adjustable depth sensing resolution
US11330193B2 (en) Imaging device based on lens assembly with embedded filter
US11417005B1 (en) Polarized illumination and detection for depth sensing
US10469832B1 (en) Tileable structured light projection for wide field-of-view depth sensing
US11733524B1 (en) Depth camera assembly based on near infra-red illuminator
US11397368B1 (en) Ultra-wide field-of-view scanning devices for depth sensing
US10795164B1 (en) Diffractive optics beam shaping for structured light generator
US10412371B1 (en) Thin film acousto-optic structured light generator
US10791282B2 (en) High dynamic range camera assembly with augmented pixels
US10388026B1 (en) Fast scanning large field-of-view devices for depth sensing
US11063407B1 (en) Addressable vertical cavity surface emitting laser array for generating structured light patterns
US10791286B2 (en) Differentiated imaging using camera assembly with augmented pixels
US11509803B1 (en) Depth determination using time-of-flight and camera assembly with augmented pixels
KR20220120663A (ko) 스위칭 가능한 판카라남-베리 페이즈 그레이팅 스택
US10574938B1 (en) Variable frame rate depth camera assembly
EP3445049B1 (en) Camera assembly with programmable diffractive optical element for depth sensing
US10359845B1 (en) Display assembly using dynamic liquid crystal array

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant