KR20190028356A - 범위-게이트 깊이 카메라 어셈블리 - Google Patents

범위-게이트 깊이 카메라 어셈블리 Download PDF

Info

Publication number
KR20190028356A
KR20190028356A KR1020187017648A KR20187017648A KR20190028356A KR 20190028356 A KR20190028356 A KR 20190028356A KR 1020187017648 A KR1020187017648 A KR 1020187017648A KR 20187017648 A KR20187017648 A KR 20187017648A KR 20190028356 A KR20190028356 A KR 20190028356A
Authority
KR
South Korea
Prior art keywords
depth
zone
zones
controller
illumination
Prior art date
Application number
KR1020187017648A
Other languages
English (en)
Inventor
니콜라스 다니엘 트래일
Original Assignee
페이스북 테크놀로지스, 엘엘씨
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 페이스북 테크놀로지스, 엘엘씨 filed Critical 페이스북 테크놀로지스, 엘엘씨
Publication of KR20190028356A publication Critical patent/KR20190028356A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/344—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G01S17/10—Systems determining position data of a target for measuring distance only using transmission of interrupted, pulse-modulated waves
    • G01S17/18—Systems determining position data of a target for measuring distance only using transmission of interrupted, pulse-modulated waves wherein range gates are used
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0025—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 for optical correction, e.g. distorsion, aberration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • H04N13/0429—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/254—Image signal generators using stereoscopic image cameras in combination with electromagnetic radiation sources for illuminating objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/296—Synchronisation thereof; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps

Abstract

증강 현실(AR)은 로컬 영역의 다양한 깊이 존들의 이미지를 캡처하기 위한 깊이 카메라 어셈블리(DCA)를 포함한다. DCA는 장면 내의 특정 범위, 중요한 양태 및/또는 관심 영역에 초점을 맞출 수 있다. DCA는 로컬 영역의 이미지 데이터를 생성하여 이미지가 단일 깊이 존에 관한 정보를 포함하도록 할 수 있다. 캡처된 이미지는 단일 깊이 존에 대해 특정적이며 단일 깊이 존 내의 객체들을 표현한다. DCA는 로컬 영역에서 객체에 대한 깊이 정보를 포함하는 증강되거나 부분적으로 증강된 이미지를 생성하기 위해 깊이 존들에 대해 생성된 이미지 데이터를 사용한다.

Description

범위-게이트 깊이 카메라 어셈블리
본 명세서는 일반적으로 깊이 카메라 구조에 관한 것으로, 보다 구체적으로는 범위-게이트(range-gated) 깊이 카메라 어셈블리에 관한 것이다.
증강 현실(AR) 시스템을 포함할 수 있는 가상 현실(VR) 시스템은 3차원(3D)에서 사용자를 둘러싸는 환경의 캡처를 이용할 수 있다. 하지만, 전통적인 깊이 카메라 구조는 비교적 대형이고 무겁고 상당한 양의 전력을 소비한다. 또한, 상이한 깊이 카메라 구조(예컨대, 비행 시간, 구조화광 및 스테레오 비전)는 각각 상이한 장점/단점을 가지기 때문에 일반적으로 상이한 동작 환경에서 가장 잘 성능을 발휘한다. 추가로, 전통적인 깊이 카메라 구조는 VR 시스템에서 발견되는 확장된 동작 범위(센티미터에서 다수의 미터에 이름)에 적절하지 않다. 예컨대, 이러한 확장된 동작 범위는 종래의 깊이 카메라 구조가 효율적으로 프로세싱하기 위해서는 너무 많은 데이터를 발생시킬 수 있고, 종래의 깊이 카메라 구조가 처리하기에 너무 큰 동적 범위를 보유할 수 있다.
증강 현실(AR) 시스템 또는 가상 현실(VR) 시스템 내에 포함된 헤드셋은 헤드셋 내에 포함된 이미징 장치의 시야 내에 있고 헤드셋을 둘러싸는 영역(즉, "로컬 영역")의 장면의 다양한 깊이 존들의 시각 정보의 캡처를 가능하게 하는 깊이 카메라 어셈블리(DCA)를 포함한다. DCA는 장면의 특정 범위, 중요한 태양 및/또는 관심 영역에 집중할 수 있다. DCA는 하나 이상의 이미징 장치, 조명 소스 및 컨트롤러를 포함한다. 조명 소스는 증강된 이미지를 생성하는데 사용되는 광 펄스(예컨대, 적외선(IR), 가시광)를 방출한다. 이미징 장치는 이미지 데이터를 생성하기 위해 노출 기간에 걸쳐 광을 기록한다.
DCA는 하나 이상의 광 펄스로 로컬 영역의 장면을 조명한다. 로컬 영역 내의 객체는 DCA에 의해 방출되는 광(즉, 광 펄스)을 반사한다. DCA는 (예컨대, 광 펄스의 방출과 이미지 캡처 사이의 시간을 제어함으로써) 단일 깊이 존에 관한 정보를 이미지가 포함하도록 로컬 영역의 이미지 데이터를 생성하게끔 구성된다. 캡처된 이미지는 단일 깊이 존에 대해 특정적이며 단일 깊이 존 내의 객체를 나타낸다. DCA는 각 깊이 영역에 대한 이미지 데이터를 생성한다. DCA는 증강되거나 부분적으로 증강된 이미지를 생성하기 위해 깊이 존에 대한 생성된 이미지 데이터를 사용한다. 증강된 이미지는 로컬 영역 내에서 하나 이상의 객체에 대한 깊이 정보(즉, 객체로부터 DCA로의 거리)를 포함하는 로컬 영역의 이미지이다. 부분적으로 증강된 이미지는 로컬 영역에서 깊이 존의 전부는 아니지만 그 일부에 대한 이미지를 포함한다.
본 발명의 내용 중에 포함되어 있다.
일부 실시예에서 다수의 펄스는 주어진 깊이 존과 연관된 이미지 데이터를 판독하기 전에 소정의 깊이 존을 위해 방출되는 것을 유의해야 한다. 이는 연속 펄스로부터의 광이 추가됨에 따라 주어진 깊이 존 내에서 이미지 데이터와 연관된 신호 강도를 향상시킨다. DCA는 이후 복수의 펄스(예컨대, 예시적으로 100개의 펄스)를 사용하여 생성된 이미지 데이터를 판독할 수 있다. 향상된 신호 강도는 낮은 반사도를 갖는 객체 및/또는 DCA로부터 멀리 떨어진 객체에 대해 정확한 이미지 데이터를 캡처하는데 유용하다. 유사하게, DCA는 이미지 포화를 제어하기 위해 펄스의 수를 설정할 수 있다.
일실시예로, 범위-게이트 깊이 카메라 어셈블리는 조명 광 펄스를 방출하도록 구성된 조명원과 로컬 영역의 이미지 데이터를 생성하도록 구성된 이미징 장치를 포함한다. 범위-게이트 깊이 카메라 어셈블리는 컨트롤러를 더 포함한다. 컨트롤러는 로컬 영역의 장면을 조명하기 위해 복수의 조명 광 펄스를 방출하게끔 조명원을 조정하도록 구성된다. 로컬 영역은 적어도 하나의 객체를 포함하는 적어도 하나의 비어있지 않은 깊이 존을 포함하는 복수의 깊이 존들로 분할되고, 이미징 장치는 로컬 영역의 이미지 데이터를 생성하도록 구성된다. 컨트롤러는, 복수의 깊이 존들 중 각각의 비어있지 않은 깊이 존에 대하여, 비어있지 않은 깊이 존에 대한 이미지 데이터를 생성하기 위해 반사된 광 펄스의 세트를 기록하게끔 이미지 장치를 조정하도록 구성된다. 반사된 광 펄스의 세트는 비어있지 않은 깊이 존 내에 포함된 하나 이상의 객체로부터 반사된 조명 광 펄스이다. 컨트롤러는 복수의 비어있지 않은 깊이 존 중 적어도 하나의 비어 있지 않은 깊이 존에 대해 생성된 이미지 데이터를 사용하여 장면의 이미지를 생성하고, 장면의 이미지를 콘솔로 제공하도록 더 구성된다.
일실시예로, 헤드-마운트 디스플레이(HMD)는 전자 디스플레이와 로컬 영역의 이미지 데이터를 생성하도록 구성된 이미징 장치 및 조명 광 펄스를 방출하도록 구성된 조명원을 포함하는 범위-게이트 깊이 카메라 어셈블리를 포함한다. HMD는 컨트롤러를 포함하도록 구성되는 컨트롤러를 더 포함한다. 컨트롤러는 로컬 영역의 장면을 조명하기 위해 복수의 조명 광 펄스를 방출하게끔 조명원을 조정하도록 구성된다. 로컬 영역은 적어도 하나의 객체를 포함하는 적어도 하나의 비어있지 않은 깊이 존을 포함하는 복수의 깊이 존들로 분할되고, 이미징 장치는 로컬 영역의 이미지 데이터를 생성하도록 구성된다. 컨트롤러는, 복수의 깊이 존들 중 각각의 비어있지 않은 깊이 존에 대하여, 비어있지 않은 깊이 존에 대한 이미지 데이터를 생성하기 위해 반사된 광 펄스의 세트를 기록하게끔 이미지 장치를 조정하도록 구성된다. 반사된 광 펄스의 세트는 비어있지 않은 깊이 존 내에 포함된 하나 이상의 객체로부터 반사된 조명 광 펄스이다. 컨트롤러는 복수의 비어있지 않은 깊이 존 중 적어도 하나의 비어 있지 않은 깊이 존에 대해 생성된 이미지 데이터를 사용하여 장면의 이미지를 생성하고, 장면의 이미지를 콘솔로 제공하도록 더 구성된다.
일실시예로, 방법은 조명원에 의해, 로컬 영역의 장면을 조명하기 위한 복수의 조명 광 펄스를 방출하는 단계를 포함한다. 로컬 영역은 적어도 하나의 비어있지 않은 깊이 존을 포함하는 복수의 깊이 존으로 분할된다. 비어있지 않은 깊이 존은 적어도 하나의 객체를 포함한다. 방법은, 복수의 깊이 존의 각각의 깊이 존에 대하여, 비어있지 않은 깊이 존에 대한 이미지 데이터를 생성하기 위해 반사된 광 펄스의 세트를 기록하는 단계를 더 포함한다. 반사된 광 펄스의 세트는 비어있지 않은 깊이 존 내에 포함된 하나 이상의 객체로부터 반사된 조명 광 펄스이다. 방법은 복수의 비어있지 않은 깊이 존 중 적어도 하나의 비어 있지 않은 깊이 존에 대해 생성된 이미지 데이터를 사용하여 장면의 이미지를 생성하는 단계를 더 포함한다. 방법은 장면의 이미지를 콘솔로 제공하는 단계를 더 포함한다.
본 발명의 내용 중에 포함되어 있다.
도 1은 일실시예에 따른 증강 현실 시스템을 포함하는 시스템 환경의 블록도이다.
도 2는 일실시예에 따른 증강 현실 헤드셋의 다이어그램이다.
도 3은 일실시예에 따른 증강 현실 헤드셋의 전면 강체의 단면도이다.
도 4는 일실시예에 따른 상이한 거리에서 상이한 객체를 포함하는 장면의 이미지 데이터를 캡처하는 예시적인 DCA를 도시한다.
도 5는 일실시예에 따른 증강된 이미지를 생성하는 프로세스의 흐름도를 도시한다.
도면들은 단지 예로서 본 발명의 다양한 실시예들을 도시한다. 통상의 기술자는 이하의 설명으로부터 본 명세서에 도시되는 구조 및 방법의 대안적 실시예가 본 명세서에 기술되는 개시내용의 원리로부터 벗어나지 않고 이용되거나 그 이점이 권유될 수 있음을 쉽게 인식할 것이다.
시스템 개요
도 1은 AR 콘솔(110)이 동작하는 증강 현실(AR) 시스템 환경(100)의 일실시예의 블록도이다. 본 명세서에 사용되는 바와 같이, AR 시스템 환경(100)은 또한, 사용자가 상호작용할 수 있는 가상 환경을 사용자에게 제시하는 가상 현실 시스템 환경을 포함할 수 있다. 도 1에 도시되는 AR 시스템 환경(100)은 AR 콘솔(110)에 각각 결합되는 AR 헤드셋(105) 및 AR 입력/출력(I/O) 인터페이스(115)를 포함한다. 도 1은 하나의 AR 헤드셋(105) 및 하나의 AR I/O 인터페이스(115)를 포함하는 예시적인 시스템(100)을 도시하지만, 다른 실시예에서 임의의 개수의 이러한 컴포넌트들이 AR 시스템 환경(100)에 포함될 수 있다. 예컨대, AR 콘솔(110)과 통신하는 AR I/O 인터페이스(115) 및 각각의 AR 헤드셋(105)을 가지는 각각 연관된 AR I/O 인터페이스(115)를 가지는 다수의 AR 헤드셋(105)이 있을 수 있다. 대안적 구성으로, 상이한 컴포넌트 및/또는 추가 컴포넌트가 AR 시스템 환경(100)에 포함될 수 있다. 추가적으로, 도 1에 도시되는 하나 이상의 컴포넌트와 함께 설명된 기능은 일부 실시예에서 도 1과 함께 설명된 것과는 상이한 방식으로 컴포넌트들 사이에 분산될 수 있다. 예컨대, AR 콘솔(110)의 기능의 일부 또는 전부는 AR 헤드셋(105)에 의해 제공된다.
AR 헤드셋(105)은 컴퓨터-생성된 요소(예컨대, 2차원(2D) 또는 3차원(3D) 이미지, 2D 또는 3D 비디오, 사운드 등)를 갖는 물리적인, 실제 세계의 환경의 증강된 뷰를 포함하는 컨텐츠를 사용자에게 제시하는 헤드-마운트 디스플레이이다. 일부 실시예로, 제시되는 컨텐츠는 AR 헤드셋(105), AR 콘솔(110) 또는 둘 모두로부터 오디오 정보를 수신하고, 오디오 정보에 기반하여 오디오 데이터를 제시하는 외부 장치(예컨대, 스피커 및/또는 헤드폰)를 통해 제시되는 오디오를 포함한다. AR 헤드셋(105)의 실시예는 도 2 및 3과 함께 아래에서 더 기술된다. AR 헤드셋(105)은 강성으로 또는 비-강성으로 서로와 결합될 수 있는 하나 이상의 강체를 포함할 수 있다. 강체 사이의 강성 결합은 결합된 강체가 단일 강성 엔티티로 역할을 하도록 한다. 대조적으로, 강체 사이의 비-강성 결합은 강체가 서로에 상대적으로 이동할 수 있게 한다.
AR 헤드셋(105)은 DCA(120), 전자 디스플레이(125), 광학 블록(130), 하나 이상의 위치 센서(135) 및 관성 측정 유닛(IMU, 140)을 포함한다. AR 헤드셋(105)의 일부 실시예는 도 1과 함께 설명된 것들과 상이한 컴포넌트를 가진다. 추가로, 도 1과 함께 설명된 다양한 컴포넌트에 의해 제공되는 기능은 다른 실시예들에서 AR 헤드셋(105)의 컴포넌트들 사이에 상이하게 분산될 수 있다.
DCA(120)는 DCA(120) 내에 포함된 하나 이상의 이미징 장치를 사용하는, "로컬 영역"이라 또한, 지칭되는 AR 헤드셋(105)에 근접한 영역의 하나 이상의 이미지를 캡처하도록 구성된다. DCA(120)의 일부 실시예는 하나 이상의 이미징 장치(예컨대, 카메라, 비디오 카메라), 조명원 및 컨트롤러를 포함한다. 조명 소스는 증강된 이미지를 생성하는데 사용되는 광 펄스(예컨대, 적외선(IR), 가시광)를 방출한다. 예컨대, 조명원은 기결정된 기간 동안 일련의 광 펄스를 방출한다. 일부 실시예로, 조명원은 SL 패턴, 가령 대칭 또는 유사-랜덤 도트 패턴, 그리드나 수평바를 장면 상에 방출하도록 구성되는 구조화 광(SL) 조명기일 수 있다.
DCA는 하나 이상의 이미징 장치를 사용하여 로컬 영역의 이미지를 캡처한다. 이미징 장치는 광의 파장의 특정 범위(즉, 광의 "밴드")를 캡처하고 기록한다. 이미징 장치에 의해 캡처되는 광의 예시적인 밴드는: 가시 밴드(~380 nm 내지 750 nm), 적외선(IR) 밴드(~750 nm 내지 1500 nm), 자외선 밴드(10 nm 내지 380 nm), 전자기 스펙트럼의 다른 부분, 또는 이들의 임의의 조합을 포함한다. 하나 이상의 이미징 장치는 또한, 전자기 스펙트럼의 다른 부분에서의 파장이나 IR 파장을 갖는 광뿐만 아니라 가시 파장을 갖는 광에 민감할 수 있다. 예컨대, 이미징 장치는 적색, 녹색, 청색, IR(RGBI) 카메라이다. 일부 실시예로, 하나 이상의 이미징 장치는 전하 결합 장치(charge coupled device, CCD), 상보적 금속-산화물-반도체(CMOS) 이미저, 다른 감광 장치, 또는 이들의 임의의 조합을 포함한다.
DCA(120)는 방출된 광 펄스의 상이한 특성을 변경할 수 있다. 예컨대, DCA(120)는 예시적으로, 펄스 폭, 펄스 진폭, 펄스 간의 시간, 방출 펄스의 수량, 펄스 파장 또는 이들의 임의의 조합을 변경시킬 수 있다. 아래에서 상세히 논의되는 것처럼, DCA(120)는 캡처된 이미지의 포화를 방지하고 캡처된 이미지의 이미지 품질을 보장하기 위해 펄스 특성(예컨대, 펄스 진폭, 펄스의 수량 등)을 변경시킬 수 있다. 추가로, DCA(120)는 예컨대, 이미지 데이터를 생성하도록 광을 기록하는 노출 기간 및/또는 (펄스가 DCA(120)에 의해 방출된 때에 상대적인) 노출 기간에 대한 시작 시간을 제어함으로써 언제 이미지 데이터가 수집되는지를 조정한다.
로컬 영역은 VR 헤드셋(105)으로부터 상이한 거리에 있는 객체들을 포함할 수 있다. 일부 실시예로, DCA(120)는 로컬 영역에 포함된 객체를 식별하기 위해 로컬 영역을 스캔한다. DCA(120)는 이후 각 식별된 객체와 DCA(120) 사이의 거리를 결정한다. DCA(120)는 식별된 객체까지의 결정된 거리에 기반하여 하나 이상의 깊이 존들로 로컬 영역을 분할한다. 대안으로, DCA(120)는 로컬 영역을 기결정된 수의 깊이 존들로 분할한다.
DCA(120)는 깊이 존(들)의 이미지 데이터를 한번에 하나씩 캡처한다. DCA(120)는 이미지 데이터가 수집되는 때에 상대적으로 언제 광 펄스가 방출될지를 제어한다. 따라서, DCA(120)는 깊이 존에 특정한 이미지 데이터를 선택적으로 수집할 수 있다. 특정 깊이 존에 대해, DCA(120)는 깊이 존(예를 들어, 광 펄스에 의해)을 조명하고 깊이 존에 포함된 객체로 반사되는 광을 캡처한다. DCA(120)는 증강된 이미지를 생성하기 위해 하나 이상의 깊이 존의 캡처된 이미지를 사용한다. 증강된 이미지는 로컬 영역 내에서 하나 이상의 객체에 대한 깊이 정보(즉, 객체로부터 DCA로의 거리)를 포함하는 로컬 영역의 이미지이다. DCA(120)는 도 1 내지 3과 관련하여 이하에서 더 설명된다.
전자 디스플레이(125)는 AR 콘솔(110)로부터 수신된 데이터에 따라 사용자에게 2D 또는 3D 이미지를 디스플레이한다. 다양한 실시예로, 전자 디스플레이(125)는 단일 전자 디스플레이 또는 다수의 전자 디스플레이(예컨대, 사용자의 각 눈을 위한 디스플레이)를 포함한다. 전자 디스플레이(125)의 예시는: 액정 디스플레이(LCD), 유기 발광 다이오드(OLED) 디스플레이, 액티브 매트릭스 유가 발광 다이오드 디스플레이(AMOLED), 임의의 다른 디스플레이, 또는 이들의 임의의 조합을 포함한다. 일부 실시예로, AR 헤드셋(105)의 부분들(예컨대, 전면)은 헤드셋의 사용자가 AR 헤드셋(105)을 통해 로컬 영역을 보도록 허용하기 위해 가시광에 대하여 투명하다. 이 실시예에서, 전자 디스플레이(125)는 하나 이상의 투명 전자 디스플레이 패널로 구성된다. 투명 전자 디스플레이 패널은 부분적으로 또는 전체적으로 투명하며, 예를 들어 투명한 유기 발광 다이오드 디스플레이(TOLED), 일부 다른 투명 전자 디스플레이, 또는 이들의 임의의 조합일 수 있다.
광학 블록(130)은 전자 디스플레이(125)로부터 수신된 이미지 광을 확대하고, 광과 연관된 광학 오차를 보정하고, 보정된 이미지 광을 AR 헤드셋(105)의 사용자에게 제시한다. 다양한 실시 예에서, 광학 블록(130)은 하나 이상의 광학 요소를 포함한다. 광학 블록(130)에 포함된 예시적인 광학 요소는: 개구(aperture), 프레넬 렌즈, 볼록 렌즈, 오목 렌즈, 필터, 또는 이미지 광에 영향을 주는 임의의 다른 적절한 광학 요소를 포함한다. 또한, 광학 블록(130)은 상이한 광학 요소들의 조합을 포함할 수 있다. 일부 실시예로, 광학 블록(130) 내의 하나 이상의 광학 요소는 하나 이상의 코팅, 가령 반사방지 코팅을 가질 수 있다.
광학 블록(130)에 의한 이미지 광의 확대 및 포커싱은 전자 디스플레이(125)가 더 큰 디스플레이들보다 물리적으로 더 작고, 무게가 덜 나가고, 더 적은 전력을 소비하도록 허용한다. 추가로, 확대는 전자 디스플레이(125)에 의해 제시되는 컨텐츠의 시야를 증가시킬 수 있다. 예컨대, 디스플레이되는 컨텐츠의 시야는 사용자의 시야의 거의 전부, 그리고 일부의 경우 전부를 사용하여(예컨대, 대략 110도의 대각선으로) 제시되도록 한다. 추가로, 일부 실시예에서 확대의 양은 광학 요소의 추가 또는 제거에 의해 조정될 수 있다.
일부 실시예로, 광학 블록(130)은 하나 이상의 타입의 광학 오차를 보정하도록 설계될 수 있다. 광학 오차의 예시는 배럴 왜곡, 핀쿠션 왜곡, 종단 색수차, 또는 횡단 색수차를 포함한다. 다른 타입의 광학 오차는 구면 수차, 코마 수차, 또는 렌즈 필드 곡률로 인한 오차, 비점수차 또는 임의의 다른 타입의 광학 오차를 더 포함할 수 있다. 일부 실시예로, 디스플레이를 위해 전자 디스플레이(125)로 제공되는 컨텐츠는 사전 왜곡되고, 광학 블록(130)은, 컨텐츠에 기반하여 생성된 전자 디스플레이(125)로부터의 이미지 광을 수신할 때 왜곡을 보정한다.
IMU(140)는 하나 이상의 위치 센서(135)로부터 그리고 DCA(120)로부터 수신된 깊이 정보로부터 수신된 측정 신호에 기반하여 AR 헤드셋(105)의 위치를 표시하는 데이터를 생성하는 전자 장치이다. 위치 센서(135)는 AR 헤드셋(105)의 움직임에 응답하여 하나 이상의 측정 신호를 생성한다. 위치 센서(135)의 예시는: 하나 이상의 가속도계, 하나 이상의 자이로스코프, 하나 이상의 자력계, 움직임을 감지하는 다른 적절한 타입의 센서, IMU(140)의 오차 보정에 사용되는 센서 타입, 또는 이들의 임의의 조합을 포함한다. 위치 센서(135)는 IMU(140)의 외부, IMU(140)의 내부, 또는 이들의 임의의 조합에 위치할 수 있다.
하나 이상의 위치 센서(135)로부터의 하나 이상의 측정 신호에 기반하여, IMU(140)는 AR 헤드셋(105)의 초기 위치에 상대적인 AR 헤드셋(105)의 추정된 현재 위치를 표시하는 데이터를 생성한다. 예컨대, 위치 센서(135)는 병진 운동(전/후, 상/하, 좌/우)을 측정하는 다수의 가속도계 및 회전 운동(예컨대, 피치, 요우(yaw), 롤(roll))을 측정하는 다수의 자이로스코프를 포함한다. 일부 실시예로, IMU(140)는 빠르게 측정 신호를 샘플링하고 샘플링된 데이터로부터 AR 헤드셋(105)의 추정된 현재 위치를 계산한다. 예컨대, IMU(140)는 속도 벡터를 추정하기 위해 가속도계로부터 수신된 측정 신호를 시간에 대해 적분하고, AR 헤드셋(105) 상의 기준점의 추정된 현재 위치를 결정하기 위해 속도 벡터를 시간에 대해 적분한다. 대안으로, IMU(140)는 오차를 감소시키기 위해 데이터를 해석하는 AR 콘솔(110)로 샘플링된 측정 신호를 제공한다. 기준점은 AR 헤드셋(105)의 위치를 기술하는데 사용될 수 있는 포인트이다. 기준점은 일반적으로 AR 헤드셋(105)의 방향 및 위치와 관련된 공간이나 위치에서의 한 지점으로 정의될 수 있다.
IMU(140)는 AR 콘솔(110)로부터 하나 이상의 파라미터를 수신한다. 아래에서 더 설명되는 것처럼, 하나 이상의 파라미터가 AR 헤드셋(105)의 추적을 관리하는데 사용된다. 수신된 파라미터에 기반하여, IMU(140)는 하나 이상의 IMU 파라미터(예컨대, 샘플링 레이트)를 조정할 수 있다. 일부 실시예로, 특정 파라미터는 IMU(140)로 하여금 기준점의 초기 위치를 업데이트하도록 하여서 기준점의 다음 위치에 대응하도록 한다. 기준점의 다음 캘리브레이션된 위치로 기준점의 초기 위치를 업데이트하는 것은 IMU(140)의 추정된 현재 위치와 연관되는 누적 오차를 감소시키는데 도움을 준다. 드리프트 오차로도 지칭되는 누적 오차는 기준점의 추정 위치가 시간에 걸쳐 기준점의 실제 위치로부터 멀리 "표류(drift)"하도록 야기한다. AR 헤드셋(105)의 일부 실시예에서, IMU(140)는 전용 하드웨어 컴포넌트일 수 있다. 다른 실시예로, IMU(140)는 하나 이상의 프로세서 내에 구현된 소프트웨어 컴포넌트일 수 있다.
AR I/O 인터페이스(115)는 사용자가 AR 콘솔(110)로부터 응답을 수신하고 행위 요청을 전송하도록 허용하는 장치이다. 행위 요청은 특정 행위를 수행하기 위한 요청이다. 예컨대, 행위 요청은 이미지나 비디오 데이터의 캡처를 시작하거나 종료하기 위한 명령 또는 애플리케이션 내에서 특정 행위를 수행하기 위한 명령일 수 있다. AR I/O 인터페이스(115)는 하나 이상의 입력 장치를 포함할 수 있다. 예시적인 입력 장치는: 키보드, 마우스, 게임 컨트롤러, 행위 요청을 수신하고 행위 요청을 AR 콘솔(110)로 통신하기 위한 임의의 다른 적절한 장치를 포함한다. AR I/O 인터페이스(115)에 의해 수신된 행위 요청은 행위 요청에 대응하는 행위를 수행하는 AR 콘솔(110)로 통신된다. 일부 실시예로, AR I/O 인터페이스(115)는 AR I/O 인터페이스(115)의 초기 위치에 상대적인 AR I/O 인터페이스(115)의 추정된 위치를 표시하는 캘리브레이션 데이터를 캡처하는 위에서 추가로 논의된 바와 같은 IMU(140)를 포함한다. 일부 실시예로, AR I/O 인터페이스(115)는 AR 콘솔(110)로부터 수신된 명령에 따라 사용자에게 햅틱 피드백을 제공할 수 있다. 예컨대, 햅틱 피드백은 행위 요청이 수신될 때 제공되거나, 또는 AR 콘솔(110)은 AR 콘솔(110)이 행위를 수행할 때 햅틱 피드백을 AR I/O 인터페이스(115)가 생성하도록 야기하는 명령어를 AR I/O 인터페이스(115)로 통신한다.
AR 콘솔(110)은: DCA(120), AR 헤드셋(105) 및 AR I/O 인터페이스(115) 중 하나 이상으로부터 수신된 정보에 따라 프로세싱하기 위한 컨텐츠를 AR 헤드셋(105)으로 제공한다. 도 1에 도시된 예시에서, AR 콘솔(110)은 애플리케이션 스토어(150), 추적 모듈(155) 및 AR 엔진(145)을 포함한다. AR 콘솔(110)의 일부 실시예는 도 1과 함께 기술된 것과 상이한 모듈 또는 컴포넌트를 가진다. 유사하게, 아래에서 더 설명되는 기능은 도 1과 함께 설명된 것과 상이한 방식으로 AR 콘솔(110)의 컴포넌트들 사이에 분산될 수 있다.
애플리케이션 스토어(150)는 AR 콘솔(110)에 의한 실행을 위한 하나 이상의 애플리케이션을 저장한다. 애플리케이션은, 프로세서에 의해 실행시 사용자에게 제시하기 위한 컨텐츠를 생성하는 명령어들의 그룹이다. 애플리케이션에 의해 생성된 컨텐츠는 AR 헤드셋(105) 또는 AR I/O 인터페이스(115)의 움직임을 통해 사용자로부터 수신된 입력에 응답할 수 있다. 애플리케이션의 예시는: 게임 애플리케이션, 컨퍼런스 애플리케이션, 비디오 재생 애플리케이션, 또는 다른 적절한 애플리케이션을 포함한다.
추적 모듈(155)은 하나 이상의 캘리브레이션 파라미터를 사용하여 AR 시스템 환경(100)을 캘리브레이션하고, AR 헤드셋(105) 또는 AR I/O 인터페이스(115)의 위치를 결정함에 있어서 오차를 감소시키기 위해 하나 이상의 캘리브레이션 파라미터를 조정할 수 있다. 추적 모듈(155)에 의해 수행되는 캘리브레이션은 또한, AR 헤드셋(105) 내의 IMU(140) 및/또는 AR I/O 인터페이스(115) 내에 포함된 IMU(140)로부터 수신된 정보를 감안한다. 추가로, AR 헤드셋(105)의 추적이 손실된다면(예컨대, DCA(120)가 적어도 임계 개수의 SL 요소의 가시선(line of sight)을 손실한다면), 추적 모듈(140)은 전체 AR 시스템 환경(100) 또는 그 일부를 다시 캘리브레이션할 수 있다.
추적 모듈(155)은 DCA(120), 하나 이상의 위치 센서(135), IMU(140) 또는 이들의 임의의 조합으로부터의 정보를 사용하여 AR 헤드셋(105) 또는 AR I/O 인터페이스(115)의 움직임을 추적한다. 예컨대, 추적 모듈(155)은 AR 헤드셋(105)으로부터의 정보에 기반하여 로컬 영역의 맵핑에서 AR 헤드셋(105)의 기준점의 위치를 결정한다. 추적 모듈(155)은 또한, IMU(140)로부터 AR 헤드셋(105)의 위치를 표시하는 데이터를 사용하거나 또는 AR I/O 인터페이스(115) 내에 포함된 IMU(140)로부터 AR I/O 인터페이스(115)의 위치를 표시하는 데이터를 각각 사용하여 AR 헤드셋(105)의 기준점 또는 AR I/O 인터페이스(115)의 기준점의 위치를 결정할 수 있다. 추가로, 일부 실시예에서 추적 모듈(155)은 AR 헤드셋(105)의 미래의 위치를 예측하기 위해 DCA(120)로부터 로컬 영역의 표현뿐만 아니라 IMU(140)로부터 AR 헤드셋(105)의 위치를 표시하는 데이터의 부분들을 사용할 수 있다. 추적 모듈(155)은 AR 엔진(145)으로 AR 헤드셋(105) 또는 AR I/O 인터페이스(115)의 추정되거나 예측되는 미래의 위치를 제공한다.
AR 엔진(145)은 AR 헤드셋(105)으로부터 수신된 정보에 기반하여 AR 헤드셋(105)을 둘러싸는 영역(즉, "로컬 영역")의 3D 맵핑을 생성한다. 일부 실시예에서, AR 엔진(145)은 AR 헤드셋(105)을 둘러싼 영역 내의 하나 이상의 객체에 의해 반사된 후 DCA(120)에 의해 검출될 DCA(120)에 의해 방출되는 광에 대한 시간에 기반하거나, AR 헤드셋(105)의 DCA(120)에 의해 캡처된 변형된 SL 요소의 이미지에 기반하여 로컬 영역의 3D 맵핑에 대한 깊이 정보를 결정한다. 다양한 실시예로, AR 엔진(145)은 DCA(120)에 의해 결정된 상이한 타입의 정보 또는 DCA(120)에 의해 결정된 정보 타입의 조합을 사용한다.
AR 엔진(145)은 또한, AR 시스템 환경(100) 내에서 애플리케이션을 실행하고 추적 모듈(155)로부터 AR 헤드셋(105)의 위치 정보, 가속도 정보, 속도 정보, 예측된 미래의 위치 또는 이들의 임의의 조합을 수신한다. 수신된 정보에 기반하여, AR 엔진(145)은 사용자에게 제시하기 위해 AR 헤드셋(105)으로 제공하기 위한 컨텐츠를 결정한다. 예컨대, 수신된 정보가 사용자가 좌측을 보았다고 표시한다면, AR 엔진(145)은 가상 환경에서 또는 추가 컨텐츠로 로컬 영역을 증강하는 환경에서 사용자의 움직임을 미러링하는 AR 헤드셋(105)을 위한 컨텐츠를 생성한다. 추가로, AR 엔진(145)은 AR I/O 인터페이스(115)로부터 수신된 행위 요청에 응답하여 AR 콘솔(110) 상에서 실행되는 애플리케이션 내에서 행위를 수행하고 행위가 수행되었다는 피드백을 사용자에게 제공한다. 제공된 피드백은 AR 헤드셋(105)을 통한 시각적 또는 청각적 피드백이거나 AR I/O 인터페이스(115)를 통한 햅틱 피드백일 수 있다.
도 2는 AR 헤드셋(200)의 일실시예의 와이어 다이어그램이다. AR 헤드셋(200)은 AR 헤드셋(105)의 일실시예이며, 전면 강체(205), 밴드(210), 기준점(215), 좌측(220A), 상부측(220B), 우측(220C), 하부측(220D) 및 전방측(220E)을 포함한다. 도 2에 도시되는 AR 헤드셋(200)은 또한, 도 3 내지 5와 함께 아래에서 더 설명되는 깊이 카메라 어셈블리(DCA)(미도시)의 일실시예를 포함한다. 전방 강체(205)는 전자 디스플레이(125)(미도시)의 하나 이상의 전자 디스플레이 요소, IMU(130), 광이 이를 통해 통과하도록 하는 이미징 개구(225) 및 조명 개구(230), 하나 이상의 위치 센서(135) 및 기준점(215)을 포함한다. 일부 실시예로, 전방 강체(205)의 부분은(예컨대, 전방 측면(220E), 다른 측면 등) 사용자가 전방 강체(205)의 투명한 부분을 통해 로컬 영역을 볼 수 있게 허용하도록 가시광에 대하여 투명할 수 있다.
도 3은 도 2에 도시된 AR 헤드셋(200)의 전방 강체(205)의 단면이다. 도 3에 도시되는 것처럼, 전방 강체(205)는 조명원(304), 이미징 장치(306) 및 컨트롤러(308)를 포함하는 DCA(120)를 포함한다. 추가로, 전방 강체(205)는 전자 디스플레이(125), 광학 블록(130), 이미징 개구(225) 및 조명 개구(230)을 포함하며, 이는 도 1과 2에서 함께 위에서 더 설명되었다. 전방 강체(205)는 또한, 사용자의 눈(340)이 위치하는 사출 동공(335)을 포함한다. 다양한 실시예로, 조명원(304)과 이미징 장치(306)는 전면(220E)이 된다. 일부 실시예로, 이미징 장치(306)는 이미징 장치(306)의 시야 내의 전방 강체(205)를 둘러싸는 환경의 일부인 로컬 영역(310)의 이미지를 캡처한다. 예시의 목적 상, 도 3은 단일 눈(340)에 따라 전방 강체(205)의 단면을 도시한다. 일부 실시예로, DCA(120) 또는 DCA의 컴포넌트는 사용자의 눈(340)을 따른다. 다른 실시예로, DCA의 컴포넌트는 사용자의 눈(340)에 따르지 않는다.
전자 디스플레이(125)는 전자 디스플레이(125)로부터 수신된 광을 변화시키는 광학 블록(130)을 향해 이미지를 형성하는 광을 방출한다. 광학 블록(130)은 사용자의 눈(340)이 배치되는 전방 강체(205)의 위치인 사출 동공(335)으로 변경된 광을 향하게 한다. 도 3은, 사용자의 다른 눈으로 가상 컨텐츠나 로컬 영역(310)의 증강된 표현과 같은 컨텐츠를 제시하기 위해 전방 강체(205) 내에 포함되는 도 3에 도시된 것들과 분리된 광학 블록(130) 및 다른 전자 디스플레이(125)를 갖는 사용자의 단일 눈(340)에 대한 전방 강체의 단면을 도시한다.
DCA(120)는 조명원(304), 이미징 장치(306) 및 컨트롤러(308)를 포함한다. 조명원(304)은 로컬 영역(310)과 연관된 깊이 정보를 결정하기 위해 사용되는 광의 펄스를 생성한다. 조명원(304)은 컨트롤러(308)로부터 조명 파라미터를 포함하는 명령어를 수신하는 것에 응답하여 하나 이상의 광 펄스를 생성한다. 조명 파라미터는 하나 이상의 광 펄스를 생성하기 위해 조명원에 의해 사용되는 명령어이다. 조명 파라미터는, 예컨대 하나 이상의 광 펄스를 전송하기 위한 트리거 신호, 펄스 폭, 펄스 진폭, 펄스 주기, 듀티 사이클, 방출 펄스의 양, 펄스 파장, 또는 이들의 임의의 조합일 수 있다. 광 펄스는 특정 주기를 갖는 일련의 펄스를 포함하는 단일 펄스 또는 펄스 트레인(빗살 펄스라고도 한다)일 수 있다.
조명원(304)은 하나 이상의 밴드, 가령 가시광 밴드(~380 nm 내지 750 nm), 적외선(IR) 밴드(~ 750 nm 내지 1500 nm), 자외선 밴드(10 nm 내지 380 nm), 전자기 스펙트럼의 다른 부분, 또는 이들의 임의의 조합에서 하나 이상의 광 펄스를 생성한다. 생성된 광은, 간섭성, 반-간섭성 및/또는 비-간섭성일 수 있다. 조명원(304)은 이미징 장치(306)의 프레임 레이트(예컨대, 120 Hz, 240 Hz 등)에서 광 펄스를 생성할 수 있다. 일련의 펄스가 이미징 장치(306)에서 소정의 프레임에 대해 기대되는 상황에서, 조명원(304)은 프레임 레이트보다 현저히 빠르게(예를 들어, 100, 10,000 또는 프레임 속도의 상향 배로) 광 펄스를 생성할 수 있다. 추가로, 펄스 (또는 일련의 펄스)를 생성하는 조명원(304)을 트리거하는 것과 펄스 (또는 일련의 펄스)를 생성하는 조명원(304)사이의 지연 시간에 있어서 (수 나노초 이하의 단위의) 낮은 지터와 측정된 지연시간에 있어서 낮은 오차가 있다. 조명원(304)은 로컬 영역(310) 상으로 조명 개구(230)로부터 하나 이상의 광 펄스를 투사한다.
이미징 장치(306)는 이미징 개구(225)를 통해 로컬 영역(310)의 이미지 데이터를 생성한다. 이미징 장치(306)는 컨트롤러(308)로부터 노출 파라미터를 포함하는 명령을 수신하는 것에 응답하여 이미지 데이터를 캡처한다. 노출 파라미터는 이미지 데이터를 생성하기 위해 이미징 장치에 의해 사용되는 명령이다. 노출 파라미터는, 광을 기록하고 그럼으로써 이미지 데이터를 생성하기 위한 트리거 신호, 광을 기록하여 이미지 데이터를 생성하기 위한 노출 기간, 노출 기간에 대한 시작 시간, 또는 예측된 시리즈에서 각 펄스에 대한 노출의 길이 및 시작 시간 또는 이들의 임의의 조합일 수 있다.
이미징 장치(306)는 캡처하는 광에서 운반되는 정보를 감지하여 신호로 전달한다. 이미징 장치(306)는 적어도 조명원(304)과 동일한 스펙트럼에서 이미지를 캡처하도록 구성된다. 이미징 장치(306)는 또한, 가시광, IR 광, 또는 전자기 스펙트럼의 다른 부분에서의 파장을 갖는 광에 대해 민감할 수 있다. 일부 실시예로, 이미징 장치(306)는 카메라이며, 전하 결합 장치(charge coupled device, CCD), 상보적 금속-산화물-반도체(CMOS) 이미저, 다른 감광 장치, 또는 이들의 임의의 조합을 포함한다. 추가로, 이미징 장치(306)가 노출을 시작(즉, 이미지를 캡처)하도록 트리거하는 것과 노출을 시작하는 이미징 장치(306) 사이에 낮은 지터(대략 수 나노초)가 있다. 유사하게, 이미징 장치(306)가 노출을 중단(즉, 이미지 캡처를 중단)하도록 트리거하는 것과 노출을 중단하는 이미징 장치(306) 사이에 낮은 지터(대략 수 나노초)가 있다. 추가로, 실제 시작 및 중단 시간에 관한 지식은 지터 값의 분수에서 정확할 수 있다(예컨대, 나노초 미만).
컨트롤러(308)는 조명 파라미터를 사용하여 조명원(304)을 조절한다. 컨트롤러(308)는 하나 이상의 조명 파라미터에 따라 광 펄스(들)를 방출하는 조명원(304)으로 하나 이상의 조명 파라미터를 포함하는 하나 이상의 명령을 제공한다. 컨트롤러(308)는 각각의 광 펄스 사이에 광 펄스가 로컬 영역을 클리어할 수 있게 허용하는 적어도 하나의 기간이 있도록 하나 이상의 조명 파라미터를 결정한다. 예컨대, 로컬 영역(310)의 길이가 20 피트라면, 펄스 사이의 시간은 - 광이 대략 1피트/나노초로 이동하기 때문에 적어도 40 나노초일 것이다. 컨트롤러(308)는 로컬 영역(310)의 크기에 기반하여 조명원(304)에 의해 방출되는 광 펄스의 주파수를 결정할 수 있다. 추가로, 컨트롤러(308)는 각 방출된 펄스에 대해 펄스 폭(대략 나노초)을 설정할 수 있고, 펄스마다 또는 프레임마다 이를 기준으로 펄스의 특정 진폭(방출 전력)을 설정할 수 있다. 일부 실시예로, 조명 파라미터는 트리거일 수 있고, 조명원(304)에 의해 방출되는 광 펄스의 적어도 하나의 펄스 특성이 조명원(304)에서 결정된다. 예를 들어, 컨트롤러(308)는 특정 펄스 폭(예를 들어, 6ns)을 갖는 광 펄스를 방출하도록 조명원(304)을 조절할 수 있지만, 펄스 진폭은 조명원(304)에 의해 결정된다.
컨트롤러(308)는 로컬 영역(310)의 이미지 데이터를 생성하게끔 반사된 광을 캡처하도록 이미징 장치(306)를 조절한다. 컨트롤러(308)는 하나 이상의 노출 파라미터(예컨대, 반사된 광을 캡처하는 노출 기간, 노출 기간에 대한 시작 시간, 및 각 판독 프레임에 대한 반복 주파수/카운트 등)를 포함하는 하나 이상의 명령을 이미징 장치(306)에 제공한다. 이와 같이, 컨트롤러(308)는 이미징 장치(306)에 대한 노출 시작 시간, 노출 기간 및 반복 횟수를 조절한다. 노출 기간 동안 이미징 장치(306)는 광을 기록하고 광을 이미지 데이터로 변환한다. 컨트롤러(308)는 DCA(120)로부터 깊이 존으로의 거리에 따라 노출 시작 시간을 결정할 수 있다. 깊이 존의 크기는 노출 시간의 길이에 따라 다르다. 따라서, 컨트롤러(308)는 깊이 존의 크기에 따라 노출 시간을 결정할 수 있다. 깊이 존의 위치는 펄스가 조명원(304)으로부터 방출된 시간에 대한 노출 기간의 시작 시간에 의해 결정된다. 따라서, 컨트롤러(308)는 펄스가 조명원(304)으로부터 방출된 시간에 대한 노출 기간의 시작 시간을 조정함으로써 어떤 깊이 존에 대해 이미지 데이터를 수집할 지를 선택할 수 있다. 예컨대, 컨트롤러(308)는 깊이 존의 근처 경계(DCA(120)에 더 인접한 깊이 존의 경계)에 인접하는 전방 평면(322)으로의 거리(D)에 기반하여 노출 시간을 결정한다. 조명원(304)이 광 펄스를 방출하기 위해 트리거되는 시점과 시작 시간 사이의 시간 차이는 Dnear를 광속(~ 3 x 108 m/s)으로 나눈 값의 두 배와 같다. 이와 같이, 컨트롤러(308)는 깊이 존 모든 객체로부터 반사된 광을 캡처하도록 이미징 장치(306)를 조절한다.
로컬 영역(310) 내에 포함된 객체는 로컬 영역(310) 상에 조명원(304)에 의해 방출된 광뿐 아니라 입사 주변광을 반사한다. 로컬 영역(310)은 전방 평면(322)으로부터 상이한 거리에 있는 하나 이상의 깊이 존을 포함한다. 깊이 존은 전방 평면(322)으로부터 기결정된 거리 범위 내에 있는 로컬 영역 내의 객체를 포함한다. 예컨대, 로컬 영역(310)은 근거리 깊이 존(350), 중거리 깊이 존(352), 원거리 깊이 존(354)을 포함한다. 근거리 깊이 존(350)은 전방 평면(322)으로부터 제1 기결정된 거리 범위(예컨대, 1미터 미만) 내에 있는 객체를 포함한다. 중거리 깊이 존(352)은 전방 평면(322)으로부터 제2 기결정된 거리 범위(예컨대, 1미터에서 2미터 사이) 내에 있는 객체를 포함한다. 원거리 깊이 존(354)은 전방 평면(322)으로부터 제3 기결정된 거리 범위(예컨대, 2미터 초과) 내에 있는 객체를 포함한다. 통상의 기술자는 로컬 영역(310)이 임의의 개수의 상이한 크기의 깊이 존을 포함할 수 있고, 이들 각각은 기결정된 거리 범위 내에 있는 객체를 포함할 수 있음을 인식할 것이다.
일부 실시예로, 컨트롤러(308)는 로컬 영역(310)을 고정된 수의 깊이 존으로 분할하고 각 깊이 존에서 객체를 식별한다. 예컨대, 컨트롤러(308)는 로컬 영역(310)을 3개의 깊이 존: 근거리 깊이 존(350), 중거리 깊이 존(352) 및 원거리 깊이 존(354)으로 분할한다. 컨트롤러(308)는 각 깊이 존에서 로컬 영역(310)의 객체를 위치시킨다. 예컨대, 컨트롤러(308)는 각 깊이 존에 대해 하나 이상의 광 펄스를 방출하도록 조명원(304)을 조절하고, 이미징 장치(306)를 조절하여 각각의 반사된 광을 캡처하고 그럼으로써 이미지 데이터를 생성하도록 한다. 소정의 깊이 존에 대해, 컨트롤러(308)는 이미지 데이터를 분석하여 소정의 깊이 존 내에 있는 객체를 식별한다. 컨트롤러(308)는 그들이 위치하는 깊이 존으로 기인되는 깊이 정보와 식별된 객체를 연관시킨다. 예컨대, 객체의 DCA(120)로의 거리는 광 펄스를 방출하는 조명원(304)과 노출 기간의 시작 시간 사이의 시간 차이에 기반한다. 광이 대기 중에 고정된 속도(예컨대, ~3x108 m/s)로 이동함에 따라 깊이 존으로의 거리는 시간 차이 동안에 광이 이동하는 간격의 절반이다. 따라서, 컨트롤러(308)는 소정의 깊이 존에서 식별된 객체에 깊이 정보를 부여할 수 있다.
일부 실시예로, 컨트롤러(308)는 상대적으로 많은 수의 깊이 존(각각은 1인치에 대응함)으로 로컬 영역(310)을 자동으로 분할하고 각 깊이 존에 대해 이미지 데이터를 생성할 수 있다. 컨트롤러(308)는 어떤 깊이 존이 객체를 포함하는지를 식별하고 식별된 객체 사이의 빈 공간이 아닌 식별된 객체를 강조하는 새로운 깊이 존의 세트를 생성한다. 예컨대, 객체를 포함하는 영역은 많은 수의 깊이 존들과 연관될 수 있지만, 객체 사이의 빈 공간은 낮은 수의 깊이 존들(예컨대, 단일 깊이 존)과 연관될 수 있다.
대안의 실시예로, 컨트롤러(308)는 로컬 영역(310)을 상대적으로 낮은 수의 큰 깊이 존들(예컨대, 3개)로 분할한다. 컨트롤러(308)는 어떤 깊이 존이 객체를 포함하는지를 식별하고 식별된 깊이 존을 더 작은 깊이 존들로 분할한다. 컨트롤러(308)는 다시 더 작은 깊이 존들 중 어떤 것이 객체를 포함하는지를 식별하고, 식별된 더 작은 깊이 존들을 심지어 더 작은 깊이 존들로 더 분할한다. 컨트롤러(308)는 임의의 임계 레벨의 깊이 해상도가 획득될 때까지 이 프로세스를 계속한다.
컨트롤러(308)는 깊이 존에 위치한 객체에 기반하여 깊이 존의 크기를 더 조정할 수 있다. 깊이 존의 크기는 근거리 경계(즉, 전방 평면(322)으로 가장 짧은 거리를 갖는 경계)와 원거리 경계(즉, 전방 평면(322)으로 가장 긴 거리를 갖는 경계)에 의해 결정된다. 예컨대, 컨트롤러(308)는 깊이 존에서 식별된 모든 객체 사이에서 가장 짧은(가장 긴) 거리를 갖는 객체의 위치에 대하여 깊이 존의 근거리(원거리) 경계를 조정한다.
컨트롤러(308)는 객체로부터 반사되고 이미징 장치(306)에 의해 캡처된 광에 기반하여 객체의 반사도를 더 결정할 수 있다. 더 높은 반사도 객체는 동일하거나 유사한 방사도 및 거리 하에 더 낮은 반사도 객체보다 밝다. 예컨대, 객체의 경우에 컨트롤러(308)는 객체의 이미지를 생성하고 객체의 거리와 연관된 임계값에 대하여 객체의 이미지의 수신된 신호를 비교한다. 밝기가 임계값보다 크거나(적으면), 컨트롤러(308)는 객체의 반사도가 높다(낮다)고 결정한다. 추가로, 시간 데이터 수집을 통해, 반사도의 추정, 그리고 더 정확하게는 객체 BRDF(Bi-Directional Reflectance Distribution Function)가 객체 특성에 대해 허용가능한 범위 내에 방출된 조명 신호가 있도록 보장하고, 맵핑하며, 추적하는 것을 지원하도록 계속 정제될 수 있다. 추가로, 컨트롤러(308)는 DCA(120)에 대한 객체의 움직임을 결정할 수 있다. 예컨대, 컨트롤러(308)는 객체의 움직임을 결정하기 위해 하나의 이미지에서 다른 이미지로의 객체의 위치의 변화를 식별한다. 컨트롤러(308)는 객체의 이동 속도를 임계 속도와 비교한다. 속도가 임계 속도보다 크거나 작으면, 컨트롤러(308)는 객체의 움직임이 높다(낮다)고 결정한다.
컨트롤러(308)는 깊이 존, 깊이 존에 포함된 객체(들), 이미지 해상도 및/또는 이미지 품질에 기반하여 하나 이상의 조명 파라미터를 결정한다. 이미지 해상도는 사용자에 의해 구성될 수 있다. 예컨대, 컨트롤러(308)는 근거리 깊이 존(350)(원거리 깊이 존(354)의 이미지를 캡처하기 위해 더 낮은(더 높은) 진폭을 갖는 광 펄스를 방출하도록 조명원(304)을 조절한다. 광 빔의 강도는 로컬 영역(310)에서 다양한 부피의 재료를 통해 이동할 때 시간에 걸쳐 감쇠하기 때문에 전방 평면(322)으로부터 더 먼 객체는 전방 평면(322)에 더 가까운 것들보다 더 낮은 강도의 광에 의해 조명된다. 추가로, 단일 식별된 깊이 존 내에서 작동할 때, 다른(활성 조명되지 않은) 깊이 존에서의 주변 조명 특성의 추정치가 결정될 수 있다. 이는 후속 이미지 프레임이 이들 각각의 깊이 존에서 활성 조명을 제공할 때 주변 감산 방법을 지원한다.
다른 예로서, 컨트롤러(308)는 포함된 객체(들)이 높은(낮은) 반사도를 갖는 깊이 존의 이미지를 캡처하기 위해 더 낮은(더 높은) 진폭을 갖는 광 펄스를 방출하도록 조명원(304)을 조절한다. 다른 예로서, 컨트롤러(308)는 객체(들)의 움직임이 낮은(높은) 깊이 존의 이미지를 캡처하기 위해 단일 펄스의 양이 더 낮은(더 높은) 광 펄스를 방출하도록 조명원(304)을 조절한다. 컨트롤러(308)는 객체(들)의 움직임이 낮은(높은) 깊이 존의 이미지를 캡처하기 위해 반복 주파수가 더 낮은(더 높은) 광 펄스를 방출하도록 조명원(304)을 조절한다. 깊이 영역에 포함된 상이한 객체의 이미지는 동일한 조명 하에서 객체의 거리 및/또는 반사도로 인해 상이한 밝기를 가질 수 있다. 밝기의 차이가 이미징 장치(306)의 동적 범위를 초과하면 밝은 객체(들)의 이미지가 포화된다. 또 다른 예로, 컨트롤러(308)는 더 낮은(더 높은) 해상도의 이미지를 캡처하기 위해 단일 펄스의 양이 더 낮은(더 높은) 광 펄스를 방출하도록 광원(304)을 조절할 수 있다.
컨트롤러(308)는 이미지 품질을 보장하기 위해 하나 이상의 조명 파라미터를 더 결정할 수 있다. 컨트롤러(308)는 캡처된 이미지의 이미지 품질(예컨대, 노이즈, 콘트라스트, 선명도 등)을 분석한다. 예컨대, 컨트롤러(308)는 캡처된 이미지를 분석하여 노이즈 측정(예컨대, 가우시안 노이즈, 솔트 및 페퍼 노이즈, 샷 노이즈, 양자화 노이즈, 필름 그레인 등)을 결정하고 노이즈 측정량이 임계치 이하가 되는 것을 보장하기 위해 조명 파라미터(들)를 결정한다. 다른 예로서, 컨트롤러는 측정된 이미지의 신호 대 노이즈 비율(SNR)을 결정하고 SNR이 임계치보다 높도록 보장하기 위해 조명 파라미터(들)를 결정한다. 다른 예로서, 컨트롤러(308)는 콘트라스트 측정(예컨대, 휘도 콘트라스트, 색상 콘트라스트)을 결정하기 위해 캡처된 이미지를 분석하고 콘트라스트 측정이 임계치보다 높은 것을 보장하도록 조명 파라미터(들)를 결정한다. 컨트롤러(308)는 노이즈 측정을 최소화하거나, SNR을 최대화하거나 및/또는 캡처된 이미지의 콘트라스트 측정을 최대화하기 위해, 캡쳐된 이미지의 이미지 품질을 최대화하도록 조명 파라미터(들)를 더 결정할 수 있다. 캡처된 이미지의 이미지 품질을 향상시키거나 강화하기 위해, 컨트롤러(308)는 더 높은 진폭을 갖는 광 펄스, 더 높은 양의 단일 펄스 또는 더 높은 반복 주파수를 갖는 광 펄스를 방출하도록 조명원(304)을 조절한다.
컨트롤러(308)는 예컨대, 깊이 존에 대해 생성된 이미지 데이터를 분석함으로써 식별된 깊이 존을 모니터한다. 객체들이 움직일 수 있기 때문에 컨트롤러(308)는 식별된 객체를 모니터하고 결정된 깊이 존을 조정한다. 예컨대, 객체가 움직였다고 결정하는 것에 응답하여 컨트롤러(308)는 객체의 업데이트된 거리를 결정하고 업데이트된 거리를 사용하여 하나 이상의 깊이 존을 조정한다. 예컨대, 컨트롤러(308)는 객체가 깊이 존의 가장 가깝거나 가장 먼 객체가 된다는 것을 결정하여 식별된 객체가 속하는 깊이 존의 근거리 경계 및/또는 원거리 경계를 조정할 수 있다. 컨트롤러(308)는 객체가 새로운 깊이 존의 기결정된 거리 범위로 이동하는 경우 새로운 깊이 존을 더 생성할 수 있다. 컨트롤러(308)는 깊이 존의 기결정된 거리 범위 밖으로 마지막 객체가 이동하는 때 깊이 존을 제거할 수 있다.
컨트롤러(308)는 깊이 존의 이미지를 캡처하기 위해 조정된 깊이 존에 기반하여 이미징 장치(306) 및 조명원(304)의 조절을 더 조정할 수 있다. 즉, 컨트롤러(308)는 깊이 존의 이미지를 캡처하기 위해 하나 이상의 조명 파라미터 및/또는 하나 이상의 노출 파라미터를 조정할 수 있다. 이러한 방식으로, 조명원(304)이 활성화 될 때마다, 이것은 이미징 장치(306)가 통합 윈도우(들)를 동기화하기 위해 임의의 기정의되거나 결정된 관심 범위로 단일 또는 일련의 펄스를 보낼 수 있다. 이는 사용자에게 또한, 시력에 있어 안전한 저렴한 펄스 led 또는 레이저 기술을 여전히 사용하면서 (이미징 장치(306)의 기규정된 동적 범위 내에 있을) 수신된 신호에 대한 더 정교한 컨트롤을 가능하게 한다. 결국, 이미징 장치(306)는 임의의 소정 프레임에서 범위에 적절하거나 관심 범위인 통합 윈도우를 동기화하고, 범위나 관심 범위 각각과 연관된 각각의 펄스와 연관된 시간에서 광을 기록/수집할 수 있다. 이는 펄스 사이의 주변 신호(노이즈 소스)를 통합하지 않음으로써 임의의 잠재적인 디지털 또는 판독 노이즈 아티팩트를 최소화하고 관심 신호를 증가시키는, (현재의 CCD 또는 CMOS 구조에서) 감지기의 아날로그 도메인에 모두 있는 임의의 프레임에 대해 임의의 소정 윈도우 동안 여러 번의 전하 합산을 지원한다.
각 이미지 또는 이미지 데이터는 특정 깊이 존과 연관될 수 있다. 이미지 데이터는 하나 이상의 식별된 객체를 포함할 수 있다. 깊이 존과 연관된 소정의 이미지 데이터에 대해, 컨트롤러(308)는 연관된 깊이 존에서 객체에 대응하는 주어진 이미지 데이터에서의 픽셀 값들을 결정한다. 컨트롤러(308)는 부분적으로 증강된 이미지를 생성하기 위해 깊이 존에 대응하는 픽셀 값들에 대해 깊이 존에 대한 깊이 정보를 연관시킨다. 부분적으로 증강된 이미지는 로컬 영역에서 깊이 존의 전부는 아니지만 그 일부에 대한 이미지를 포함한다. 컨트롤러(308)는 로컬 영역(310)에서 각 깊이 존들(예컨대, 근거리(350), 중거리(352) 및 원거리(354)에 대한 부분적으로 증강된 이미지를 생성할 수 있고 로컬 영역의 이미징된 부분에 대한 깊이 정보를 포함하는 증강된 이미지로 부분적으로 증강된 이미지를 조합할 수 있다. 일부 실시예로, 증강된 이미지 및/또는 부분적으로 증강된 이미지는 로컬 영역(310)의 RGB 이미지와 조합될 수 있다. 이미지 데이터는 부분적으로 증강된 이미지를 생성하는데 사용되고, 일부 실시예에서 부분적으로 증강된 이미지 및/또는 증강된 이미지는 이미지 데이터를 생성하는데 사용되는, 예를 들어, 조명 파라미터 및/또는 노출 파라미터를 기술하는 메타 데이터를 포함한다. 대안적인 실시예에서, 컨트롤러(308)는 각 픽셀과 연관된 깊이 정보를 유지하면서(모든 깊이 존에 대해) 부분적으로 증강된 이미지를 통합함으로써 로컬 영역(310)의 증강된 이미지를 생성한다. 컨트롤러(308)는 증강 현실 화상 콘솔을 증강 현실 콘솔(110)에 제공한다.
도 4는 하나 이상의 깊이 존을 포함하는 로컬 영역의 이미지 데이터를 캡처하는 예시적인 DCA(120)를 도시한다. DCA(120)는 로컬 영역을 스캔하고 제1 근거리 객체(404), 제2 근거리 객체(406) 및 원거리 객체(408)를 식별한다. DCA(120)는 또한, 위치 및 DCA(120)로부터 각 객체의 거리를 결정한다. 추가로, DCA(120)는 사용자에 대하여 각 객체의 움직임 및/또는 반사도를 결정할 수 있다. 예컨대, 식별된 객체의 거리에 기반하여, DCA(120)는 장면을 깊이 존들: (1) 제1 근거리 객체(404) 및 제2 근거리 객체(406)를 포함하는 근거리 깊이 존(402), 및 (2) 원거리 객체(408)를 포함하는 원거리 깊이 존(403)으로 분할한다.
DCA(120)는 하나의 시간에 깊이 존의 이미지를 캡처하고 상이한 시간에 상이한 깊이 존의 이미지들을 캡처한다. t1에서 DCA(120)는 근거리 깊이 존(402)의 이미지를 캡처하기 위해 단일 광 펄스(414)를 방출한다. DCA(120)는 근거리 영역(402), 제1 근거리 객체(404) 및 제2 근거리 객체(406) 및/또는 이미지 해상도에 기반하여 광 펄스(414)의 하나 이상의 조명 파라미터를 결정할 수 있다. 예컨대, DCA(120)는 광 펄스(414)가 하나의 단일 광 펄스를 포함하고 t1-t2의 펄스 폭을 가진다고 결정한다. DCA(120)는 근거리 깊이 존(402)으로부터 이미지 데이터를 생성하기 위해 하나 이상의 노출 파라미터를 결정한다. 근거리 깊이 존(402)의 근거리 경계(405)에 기반하여, DCA(120)는 t3을 노출 시작 시간으로 결정하고 그것의 이미징 장치를 조절하여 t3에서 반사된 광 펄스(424)를 캡처한다. 반사된 광 펄스(424)는 근거리 객체(404)에서 반사되는 광 펄스(414)이다. t1에서 t3까지의 기간은 광 펄스(414)가 DCA(120)로부터 근거리 깊이 존(402)의 근거리 경계(405)로 향하고 다시 DCA(120)로 이동하는데 걸리는 기간이다. 즉, t1에서 t3까지의 기간의 절반은 DCA(120)로부터 근거리 경계(405)로의 거리에 대응한다. 추가로, DCA(120)는 노출 지속시간을 결정한다. 근거리 영역(402)에 대한 이미징 데이터를 캡처할 때, 노출 지속 시간은 근거리 경계(405)와 원거리 경계(407) 사이의 거리에 대응한다. 반사된 광 펄스(426)는 근거리 객체(406)에서 반사되는 광 펄스(414)이다. t3에서 t4까지의 기간은 광 펄스(414)의 상승 에지가 근거리 경계(405)에 도달하는 제1 시점과 광 펄스(414)의 하강 에지가 원거리 경계(407)에 도달하는 제2 시점 사이의 기간이다.
근거리 깊이 존(402)에 대해, DCA(120)는 결정된 노출 시작 시간과 노출 기간을 사용하여 이미지 데이터를 생성한다. 근거리 깊이 존(402)은 근거리 깊이 존(402) (또는 근거리 깊이 존(402) 내의 임의의 지점)까지의 거리에 대응하는 깊이 정보에 연관된다. DCA(120)는 이미지 데이터 내의 객체들의 픽셀 값들을 근거리 깊이 존(402)과 연관된 깊이 정보에 맵핑함으로써 부분적으로 증강된 이미지를 생성한다.
DCA(120)는 이후 원거리 깊이 존(403)으로 초점을 이동한다. t5에서, DCA(120)는 원거리 깊이 존(403)의 이미지를 캡처하기 위해 단일 광 펄스(418)를 방출한다. DCA(120)는 원거리 깊이 존(403), 원거리 객체(408) 및/또는 이미지 해상도에 기반하여 광 펄스(418)의 하나 이상의 조명 파라미터를 결정할 수 있다. 예컨대, DCA(120)는 광 펄스(418)가 하나의 단일 광 펄스를 포함하고 t5-t6의 펄스 폭을 가지는 것으로 결정한다. DCA(120)는 원거리 깊이 존(403)으로부터 이미지 데이터를 생성하기 위해 하나 이상의 노출 파라미터를 결정한다. 원거리 깊이 존(403)의 근거리 경계(409)에 기반하여, DCA(120)는 t7을 노출 시작 시간으로 결정하고 그것의 이미징 장치를 조절하여 t7에서 반사된 광 펄스(428)를 캡처한다. 반사된 광 펄스(428)는 원거리 객체(408)에서 반사되는 광 펄스(418)이다. t5에서 t7까지의 기간은 광 펄스(418)가 DCA(120)로부터 원거리 깊이 존(403)의 원거리 경계(410)로 향하고 다시 DCA(120)로 이동하는데 걸리는 기간이다. 추가로, DCA(120)는 노출 지속시간을 결정한다. 원거리 깊이 존(403)에 대한 이미징 데이터를 캡처할 때, 노출 지속시간은 근거리 경계(409)와 원거리 경계(410) 사이의 거리에 대응한다. t7에서 t8까지의 기간은 광 펄스(418)의 상승 에지가 근거리 경계(409)에 도달하는 제1 시점과 광 펄스(418)의 하강 에지가 원거리 경계(410)에 도달하는 제2 시점 사이의 기간이다.
원거리 깊이 존(403)에 대해, DCA(120)는 결정된 노출 시작 시간과 노출 기간을 사용하여 이미지 데이터를 생성한다. 원거리 깊이 존(403)은 원거리 깊이 존(403) (또는 원거리 깊이 존(403) 내의 임의의 지점)까지의 거리에 대응하는 깊이 정보에 연관된다. DCA(120)는 이미지 데이터 내의 객체들의 픽셀 값들을 원거리 깊이 존(403)과 연관된 깊이 정보에 맵핑함으로써 또 다른 부분적으로 증강된 이미지를 생성한다.
DCA(120)는 부분적으로 증강된 이미지 둘 모두를 사용하여 증강된 이미지를 생성한다. DCA(120)는 로컬 영역(즉, 근거리 깊이 존(402) 및 원거리 깊이 존(403))의 이미징된 부분에 대한 깊이 정보를 포함하는 증강된 이미지로 부분적으로 증강된 이미지를 조합한다. 일부 실시예로, 증강된 이미지 및/또는 부분적으로 증강된 이미지는 로컬 영역(310)의 RGB 이미지와 조합될 수 있다. DCA(120)는 구조화 광 깊이 검색 방법(깊이 계산을 판단하기 위해 삼각측량법이나 조명기 및 카메라 사이의 알려진 베이스라인 거리를 이용함)을 제공하는 조명원에 대해 공간 변조된 신호로 더 동작할 수 있다. 이는 시스템이 깊이 검색 추정을 정제하기 위해 시간적으로 (전술한 바와 같이 프레임 당 단일 또는 다수의, 펄스된 광) 및 공간적으로 변조된 광원으로 동작하도록 허용한다.
상기의 예시에서, 소정의 깊이 존에 대해 단일 펄스가 부분적으로 증강된 이미지를 생성하는데 주로 사용됨을 유의해야 한다. 하지만, 대안의 실시예로, 다수의 펄스가 깊이 존과 연관된 이미지 데이터를 판독하기 전에 소정의 깊이 존에 대해 방출된다. 이는 연속 펄스로부터의 광이 거의 노이즈가 없는 방식으로 추가됨에 따라 주어진 깊이 존 내에서 이미지 데이터와 연관된 신호 강도를 향상시킨다. DCA는 이후 복수의 펄스(예컨대, 100개의 펄스)를 사용하여 생성된 깊이 존에 대해 연관된 이미지 데이터를 판독할 수 있다. 향상된 신호 강도는 낮은 반사도를 갖는 객체 및/또는 DCA(120)로부터 멀리 떨어진 객체에 대해 정확한 이미지 데이터를 캡처하는데 유용하다.
도 5는 일실시예에 따른 증강된 이미지를 생성하는 프로세스의 흐름도를 도시한다. 도 5의 프로세스는 DCA(120)에 의해 수행될 수 있다. 다른 실시예에서 다른 엔티티들이 프로세스의 단계들의 일부 또는 전부를 수행할 수 있다. 마찬가지로, 실시예는 상이한 및/또는 추가적 단계들을 포함하거나 상이한 순서로 단계들을 수행할 수 있다.
DCA는 로컬 영역에서 하나 이상의 깊이 존을 결정한다(502). 각각의 깊이 존은 상이한 깊이 정보(예를 들어, 포함된 객체(들) 및 DCA(120)에 대한 각각의 거리)를 가진다. DCA는 로컬 영역에 포함된 객체를 식별하고 DCA로의 각 식별된 객체의 거리를 결정한다. DCA는 식별된 객체의 결정된 거리에 기반하여 로컬 영역을 하나 이상의 깊이 존으로 더 분할한다.
DCA는 하나 이상의 객체를 포함하는 하나 이상의 깊이 존들의 깊이 존을 조명한다(504). DCA는 깊이 존을 조명하기 위해 광 펄스를 방출하도록 조명원을 조절할 수 있다. DCA는 하나 이상의 조명 파라미터(예컨대, 펄스 폭, 진폭, 주파수, 포함된 펄스의 수량, 및/또는 파장)를 결정하고 결정된 조명 파라미터에 따라 그것의 조명원을 조절할 수 있다. DCA는 깊이 존, 깊이 존에 포함된 객체 및/또는 이미지 해상도에 기반하여 하나 이상의 조명 파라미터를 결정할 수 있다. 일실시예로, DCA는 폭이 6ns 이하인 광 펄스를 방출한다.
또한, DCA는 깊이 영역의 물체에서 반사된 506개의 광을 캡처하여 깊이 영역의 이미지 데이터를 생성한다. DCA는 조명 소스에 의해 방출된 광 펄스에 의해 조명됨에 따라 깊이 구역 내의 대상물로부터 반사된 광을 캡처하도록 이미징 장치를 조절한다. DCA는 하나 이상의 노출 매개 변수(예컨대, 시작 시간, 지속 시간 등)를 결정하고 결정된 조명 매개 변수에 따라 해당 이미징 장치를 조정할 수 있다. DCA 는 깊이 존 및/또는 방출된 해당 광 펄스를 기반으로 하나 이상의 노출 매개 변수를 결정할 수 있다. 생성된 화상 데이터는 깊이 영역의 화상의 화소의 화소 값(예를 들어 RGB 값)을 포함한다. DCA는 생성된 이미지 데이터에 기반하여 깊이 영역을 모니터할 수 있다. DCA는 하나 이상의 조명 파라미터, 하나 이상의 노광 파라미터, 깊이 영역의 근거리 경계 및/또는 깊이 영역의 원거리 경계를 조정할 수 있고 그에 따라 깊이 영역의 조명을 조정할 수 있다.
또한, DCA는 예를 들어 DCA의 범위 내에서 또는 모든 샘플링 기준 및 관심 대상의 대상에 대한 이전 데이터 세트로부터의 지식에 기반하여 식별된 모든 깊이 존에 대한 이미지 데이터를 생성했는지를 결정한다(506). 식별된 모든 깊이 존에 대한 이미지 데이터가 생성되지 않았다면, 프로세스 흐름은 504로 이동하고, 다른 깊이 영역이 조명된다.　
또한, 식별된 모든 깊이 존에 대해 이미지 데이터가 생성되었다는 결정에 응답하여, DCA는 식별된 모든 깊이 존에 대한 이미지 데이터 및 깊이 정보에 기반하여 깊이 존의 증강 된 이미지를 생성한다(508). DCA 는 서로 다른 깊이 영역과 연관된 이미지 데이터에 대해 부분적으로 증강된 이미지를 결정하고, 부분적으로 증강된 이미지 데이터를 증강된 이미지로 조합한다. DCA는 추가 처리를 위해 AR 콘솔에 로컬 영역의 증강 된 이미지를 제공한다(510).　
추가적인 구성 정보
본 명세서의 실시예들의 상술한 설명은 예시의 목적으로 제시된 것으로서, 배타적이거나 개시된 정확한 형태들로 본 명세서를 제한하고자 하는 것이 아니다. 당업자는 상술한 명세서의 관점에서 많은 변경 및 변형이 가능함을 이해할 수 있다.
본 명세서의 몇몇 부분들은 알고리즘 또는 정보에 대한 동작의 기호적 표현으로 본 명세서의 실시예들을 설명한다. 이러한 알고리즘적 설명이나 표현은 본 기술분야에서 통상의 지식을 가진 자들에게 효과적으로 그들의 작업의 실체를 전달하기 위하여 데이터 프로세싱 기술분야에서 통상의 지식을 가진 자에 의하여 공통적으로 사용되는 것이다. 기능적으로, 계산적으로 또는 논리적으로 설명되고 있는 이들 동작은 컴퓨터 프로그램 또는 등가의 전기 회로, 마이크로 코드 등에 의해 구현되는 것으로 이해된다. 또한, 종종 이러한 동작의 배열은 일반성의 손실 없이 모듈로 언급될 수 있는 것으로 확인된다. 기술된 동작 및 그와 관련된 모듈들은 소프트웨어, 펌웨어, 하드웨어 또는 이들의 임의의 결합으로 구현될 수 있을 것이다.
본 명세서에 설명된 임의의 단계들, 동작들 또는 프로세스들은 하나 이상의 하드웨어 또는 소프트웨어 모듈들에 의해 또는 이들과 다른 장치들의 결합에 의해 수행되거나 구현될 수 있다. 일실시예에서, 소프트웨어 모듈은 기술된 단계들, 동작들 또는 프로세스들 일부 또는 전부를 수행하기 위하여 컴퓨터 프로세서에 의해 실행될 수 있는 컴퓨터 프로그램 코드를 포함하는 컴퓨터 판독가능한 매체를 포함하는 컴퓨터 프로그램 제품으로 구현된다.
본 명세서의 실시예는 본 명세서의 동작을 수행하기 위한 장치에도 관련된다. 이 장치는 요청된 목적을 위하여 구체적으로 구성될 수 있고/있거나 컴퓨터에 저장된 컴퓨터 프로그램에 의해 선택적으로 활성화되거나 재구성되는 범용 컴퓨팅 장치를 포함할 수 있다. 이런 컴퓨터 프로그램은 비-일시적 유형의 컴퓨터 판독가능한 저장 매체 또는 컴퓨터 시스템 버스에 결합될 수 있는 전자 명령어를 저장하기에 적절한 임의의 타입의 매체에 저장될 수 있다. 게다가, 본 명세서에서 언급된 임의의 컴퓨팅 시스템들은 단일 프로세서를 포함할 수 있거나, 증가한 컴퓨팅 능력을 위해 다중 프로세서 설계를 채용한 구조일 수 있다.
본 명세서의 실시예는 본 명세서에 서술된 컴퓨팅 프로세스에 의해 생산된 제품에도 관련된다. 이런 제품은 컴퓨팅 프로세스의 처리 결과인 정보를 포함할 수 있으며, 여기서 정보는 비-일시적, 유형의 컴퓨터 판독가능한 저장 매체에 저장되고 본 명세서에 개시된 컴퓨터 프로그램 제품 또는 다른 데이터 조합의 임의의 실시예를 포함할 수 있다.
마지막으로, 본 명세서에서 사용된 언어는 원칙적으로 읽기 쉬운 지침상의 목적으로 선택되었으며, 발명의 요지를 상세히 설명하거나 제한하려고 선택된 것은 아닐 수 있다. 따라서, 본 명세서의 범위는 발명의 상세한 설명에 의해서가 아니라 본 명세서를 기초로 출원된 임의의 청구범위들에 의해 한정되는 것으로 의도된다. 따라서, 실시예들에 관한 설명은 하기의 청구범위에서 제시되는 명세서의 범위의 예시가 되지만, 이에 제한되지는 않아야 한다.

Claims (20)

  1. 조명 광 펄스를 방출하도록 구성되는 조명원;
    로컬 영역의 이미지 데이터를 생성하도록 구성되는 이미징 장치; 및
    컨트롤러를 포함하고, 상기 컨트롤러는:
    로컬 영역의 장면을 조명하기 위해 복수의 조명 광 펄스를 방출하도록 조명원을 조절하고;
    복수의 깊이 존들 중 각각의 비어있지 않은 깊이 존에 대하여, 비어있지 않은 깊이 존에 대한 이미지 데이터를 생성하기 위해 반사된 광 펄스의 세트를 기록하도록 이미징 장치를 조절하며;
    복수의 비어있지 않은 깊이 존들 중 적어도 하나의 비어있지 않은 깊이 존에 대해 생성된 이미지 데이터를 사용하여 장면의 이미지를 생성하고; 및
    장면의 이미지를 콘솔로 제공하도록 구성되고,
    로컬 영역은 적어도 하나의 비어있지 않은 깊이 존을 포함하는 복수의 깊이 존들로 분할되고, 비어있지 않은 깊이 존은 적어도 하나의 객체를 포함하며,
    반사된 광 펄스의 세트는 비어있지 않은 깊이 존에 포함된 하나 이상의 객체에서 반사된 조명 광 펄스인 범위-게이트 깊이 카메라 어셈블리.
  2. 제 1 항에 있어서,
    깊이 존들 중 제1 깊이 존에 대한 제1 노출 기간은 깊이 존들 중 제2 깊이 존에 대한 제2 노출 기간과 상이하고, 제1 깊이 존은 제2 깊이 존과 상이한 범위-게이트 깊이 카메라 어셈블리.
  3. 제 1 항에 있어서,
    장면의 이미지를 생성하는 것은 깊이 존의 이미지 데이터를 깊이 존의 깊이 정보와 연관시키는 것을 포함하는 범위-게이트 깊이 카메라 어셈블리.
  4. 제 1 항에 있어서,
    컨트롤러는 하나 이상의 조명 파라미터에 따라 조명원을 조절하도록 구성되고, 상기 컨트롤러는:
    이미지 해상도, 이미징 장치로부터 깊이 존들 중 하나의 깊이 존까지의 거리 및 이미지의 품질 중 하나에 적어도 기반하여 하나 이상의 조명 파라미터를 결정하고; 및
    결정된 하나 이상의 조명 파라미터에 따라 하나 이상의 조명 파라미터를 조정하도록 또한, 구성되고,
    결정된 하나 이상의 조명 파라미터는 펄스 폭, 진폭, 주파수, 포함된 펄스의 개수 및 파장 중 적어도 하나를 포함하는 범위-게이트 깊이 카메라 어셈블리.
  5. 제 1 항에 있어서,
    컨트롤러는 하나 이상의 조명 파라미터에 따라 조명원을 조절하도록 구성되고, 상기 컨트롤러는:
    객체의 반사도, 객체의 움직임의 속도, 이미징 장치로부터 객체의 거리, 이미지의 노이즈 정도, 이미지의 신호 대 노이즈 비율(SNR), 및 이미지의 콘트라스트 정도 중 적어도 하나에 기반하여 하나 이상의 조명 파라미터를 결정하고; 및
    결정된 하나 이상의 조명 파라미터에 따라 하나 이상의 조명 파라미터를 조정하도록 또한, 구성되고,
    하나 이상의 조명 파라미터는 펄스 폭, 진폭, 주파수, 포함된 펄스의 개수 및 파장 중 적어도 하나를 포함하는 범위-게이트 깊이 카메라 어셈블리.
  6. 제 1 항에 있어서,
    컨트롤러는 하나 이상의 노출 파라미터에 따라 이미징 장치를 조절하도록 또한, 구성되고, 상기 컨트롤러는:
    조명원에 대한 조명 파라미터와 깊이 존들의 특성에 적어도 기반하여 업데이트된 하나 이상의 노출 파라미터를 결정하고; 및
    업데이트된 하나 이상의 노출 파라미터에 따라 하나 이상의 노출 파라미터를 조정하도록 또한, 구성되며,
    하나 이상의 노출 파라미터는 노출 기간, 노출 기간의 시작 시간, 모든 판독 프레임에 대한 반복 주파수 및 모든 판독 프레임에 대한 반복 카운트 중 적어도 하나를 포함하는 범위-게이트 깊이 카메라 어셈블리.
  7. 제 1 항에 있어서,
    컨트롤러는:
    로컬 영역을 복수의 깊이 존들로 분할하고; 및
    복수의 깊이 존들 중 각각의 비어있지 않은 깊이 존에 대하여, 하나 이상의 객체를 식별하기 위해 이미징 장치로부터 기결정된 거리 범위 내에 있는 하나 이상의 객체를 찾도록 또한, 구성되고,
    복수의 깊이 존들의 개수는 기결정되는 범위-게이트 깊이 카메라 어셈블리.
  8. 제 1 항에 있어서,
    컨트롤러는:
    복수의 깊이 존들을 생성하도록 또한, 구성되고, 생성하는 것은:
    로컬 영역을 제2 복수의 기결정된 깊이 존들로 분할하고;
    복수의 비어있는 깊이 존들을 식별하고; 및
    서로에 대해 인접한 식별된 복수의 비어있는 깊이 존들 중 2개의 깊이 존들을 단일의 비어있는 깊이 존으로 조합하는 것을 포함하고,
    각각의 기결정된 깊이 존의 수치는 기결정되며,
    복수의 비어있는 깊이 존들은 객체를 포함하지 않는 제2 복수의 기결정된 깊이 존들의 서브세트인 범위-게이트 깊이 카메라 어셈블리.
  9. 제 1 항에 있어서,
    컨트롤러는:
    복수의 깊이 존들을 생성하도록 또한, 구성되고, 생성하는 것은:
    로컬 영역을 깊이 존들의 제1 세트로 분할하고;
    비어있지 않은 깊이 존들의 세트를 식별하고; 및
    각각의 비어있지 않은 깊이 존에 대하여, 비어있지 않은 깊이 존을 깊이 존들의 제2 세트로 분할하는 것을 포함하고,
    비어있지 않은 깊이 존들의 세트는 적어도 하나의 객체를 포함하는 깊이 존들의 제1 세트의 서브세트이며,
    깊이 존들의 제2 세트의 각 깊이 존의 수치는 임계 수치를 초과하는 범위-게이트 깊이 카메라 어셈블리.
  10. 제 1 항에 있어서,
    컨트롤러는:
    복수의 깊이 존들 중 각각의 깊이 존에 대하여:
    깊이 존의 제1 경계를 제1 객체의 제1 위치로 조정하고; 및
    깊이 존의 제2 경계를 제2 객체의 제2 위치로 조정하도록 또한, 구성되고,
    제1 객체는 깊이 존에 포함된 하나 이상의 객체들 중 이미징 장치에 대해 가장 짧은 거리를 가지며,
    제2 객체는 깊이 존에 포함된 하나 이상의 객체들 중 이미징 장치에 대해 가장 긴 거리를 가지는 범위-게이트 깊이 카메라 어셈블리.
  11. 제 1 항에 있어서,
    컨트롤러는:
    깊이 존을 모니터하도록 또한, 구성되고, 모니터하는 것은:
    깊이 존에 포함된 객체의 움직임을 감지하고;
    객체의 움직임의 감지에 응답하여, 객체로부터 이미징 장치로의 업데이트된 거리를 결정하며; 및
    업데이트된 거리에 기반하여 복수의 깊이 존들을 조정함으로써 제2 복수의 조정된 깊이 존들을 생성하는 것을 포함하고,
    조정하는 것은 복수의 깊이 존들 중 하나의 깊이 존의 경계를 조정하는 것, 업데이트된 거리가 제1 기결정된 범위 내에 있다는 결정에 응답하여 새로운 깊이 존을 생성하는 것 및 업데이트된 거리가 제2 기결정된 범위 밖에 있다는 결정에 응답하여 기존 깊이 존을 제거하는 것 중 적어도 하나를 포함하는 범위-게이트 깊이 카메라 어셈블리.
  12. 전자 디스플레이;
    조명 광 펄스를 방출하도록 구성되는 조명원; 및
    로컬 영역의 이미지 데이터를 생성하도록 구성되는 이미징 장치를 포함하는 범위-게이트 깊이 카메라 어셈블리; 및
    컨트롤러를 포함하는 헤드 마운트 디스플레이(HMD)로서,
    상기 컨트롤러는:
    로컬 영역의 장면을 조명하기 위해 복수의 조명 광 펄스를 방출하도록 조명원을 조절하고;
    복수의 깊이 존들 중 각각의 비어있지 않은 깊이 존에 대하여, 비어있지 않은 깊이 존에 대한 이미지 데이터를 생성하기 위해 반사된 광 펄스의 세트를 기록하도록 이미징 장치를 조절하며;
    복수의 비어있지 않은 깊이 존들 중 적어도 하나의 비어있지 않은 깊이 존에 대해 생성된 이미지 데이터를 사용하여 장면의 이미지를 생성하고; 및
    장면의 이미지를 콘솔로 제공하도록 구성되고,
    로컬 영역은 적어도 하나의 비어있지 않은 깊이 존을 포함하는 복수의 깊이 존들로 분할되고, 비어있지 않은 깊이 존은 적어도 하나의 객체를 포함하며,
    반사된 광 펄스의 세트는 비어있지 않은 깊이 존에 포함된 하나 이상의 객체에서 반사된 조명 광 펄스인 헤드 마운트 디스플레이(HMD).
  13. 제 12 항에 있어서,
    깊이 존들 중 제1 깊이 존에 대한 제1 노출 기간은 깊이 존들 중 제2 깊이 존에 대한 제2 노출 기간과 상이하고, 제1 깊이 존은 제2 깊이 존과 상이한 헤드 마운트 디스플레이(HMD).
  14. 제 12 항에 있어서,
    장면의 이미지를 생성하는 것은 깊이 존의 이미지 데이터를 깊이 존의 깊이 정보와 연관시키는 것을 포함하는 헤드 마운트 디스플레이(HMD).
  15. 제 12 항에 있어서,
    컨트롤러는 하나 이상의 조명 파라미터에 따라 조명원을 조절하도록 구성되고, 상기 컨트롤러는:
    이미지 해상도, 이미징 장치로부터 깊이 존들 중 하나의 깊이 존까지의 거리 및 이미지의 품질 중 하나에 적어도 기반하여 하나 이상의 조명 파라미터를 결정하고; 및
    결정된 하나 이상의 조명 파라미터에 따라 하나 이상의 조명 파라미터를 조정하도록 또한, 구성되고,
    결정된 하나 이상의 조명 파라미터는 펄스 폭, 진폭, 주파수, 포함된 펄스의 개수 및 파장 중 적어도 하나를 포함하는 헤드 마운트 디스플레이(HMD).
  16. 제 12 항에 있어서,
    컨트롤러는 하나 이상의 조명 파라미터에 따라 조명원을 조절하도록 구성되고, 상기 컨트롤러는:
    객체의 반사도, 객체의 움직임의 속도, 이미징 장치로부터 객체의 거리, 이미지의 노이즈 정도, 이미지의 신호 대 노이즈 비율(SNR), 및 이미지의 콘트라스트 정도 중 적어도 하나에 기반하여 하나 이상의 조명 파라미터를 결정하고; 및
    결정된 하나 이상의 조명 파라미터에 따라 하나 이상의 조명 파라미터를 조정하도록 또한, 구성되고,
    하나 이상의 조명 파라미터는 펄스 폭, 진폭, 주파수, 포함된 펄스의 개수 및 파장 중 적어도 하나를 포함하는 헤드 마운트 디스플레이(HMD).
  17. 제 12 항에 있어서,
    컨트롤러는 하나 이상의 노출 파라미터에 따라 이미징 장치를 조절하도록 또한, 구성되고, 상기 컨트롤러는:
    조명원에 대한 조명 파라미터와 깊이 존들의 특성에 적어도 기반하여 업데이트된 하나 이상의 노출 파라미터를 결정하고; 및
    업데이트된 하나 이상의 노출 파라미터에 따라 하나 이상의 노출 파라미터를 조정하도록 또한, 구성되며,
    하나 이상의 노출 파라미터는 노출 기간, 노출 기간의 시작 시간, 모든 판독 프레임에 대한 반복 주파수 및 모든 판독 프레임에 대한 반복 카운트 중 적어도 하나를 포함하는 헤드 마운트 디스플레이(HMD).
  18. 조명원에 의해, 로컬 영역의 장면을 조명하기 위해 복수의 조명 광 펄스를 방출하는 단계;
    복수의 깊이 존들 중 각각의 깊이 존에 대하여, 비어있지 않은 깊이 존에 대한 이미지 데이터를 생성하기 위해 반사된 광 펄스의 세트를 기록하는 단계;
    복수의 비어있지 않은 깊이 존들 중 적어도 하나의 비어있지 않은 깊이 존에 대해 생성된 이미지 데이터를 사용하여 장면의 이미지를 생성하는 단계; 및
    장면의 이미지를 콘솔로 제공하는 단계를 포함하고,
    로컬 영역은 적어도 하나의 비어있지 않은 깊이 존을 포함하는 복수의 깊이 존들로 분할되고, 비어있지 않은 깊이 존은 적어도 하나의 객체를 포함하며,
    반사된 광 펄스의 세트는 비어있지 않은 깊이 존에 포함된 하나 이상의 객체에서 반사된 조명 광 펄스인 방법.
  19. 제 18 항에 있어서,
    깊이 존들 중 제1 깊이 존에 대한 제1 노출 기간은 깊이 존들 중 제2 깊이 존에 대한 제2 노출 기간과 상이하고, 제1 깊이 존은 제2 깊이 존과 상이한 방법.
  20. 제 18 항에 있어서,
    장면의 이미지를 생성하는 단계는 깊이 존의 이미지 데이터를 깊이 존의 깊이 정보와 연관시키는 단계를 포함하는 방법.
KR1020187017648A 2015-12-16 2016-12-09 범위-게이트 깊이 카메라 어셈블리 KR20190028356A (ko)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201562268488P 2015-12-16 2015-12-16
US62/268,488 2015-12-16
US15/372,779 2016-12-08
US15/372,779 US10708577B2 (en) 2015-12-16 2016-12-08 Range-gated depth camera assembly
PCT/US2016/065985 WO2017106053A1 (en) 2015-12-16 2016-12-09 Range-gated depth camera assembly

Publications (1)

Publication Number Publication Date
KR20190028356A true KR20190028356A (ko) 2019-03-18

Family

ID=59057427

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020187017648A KR20190028356A (ko) 2015-12-16 2016-12-09 범위-게이트 깊이 카메라 어셈블리

Country Status (6)

Country Link
US (1) US10708577B2 (ko)
EP (1) EP3391648B1 (ko)
JP (1) JP7076368B2 (ko)
KR (1) KR20190028356A (ko)
CN (1) CN108370438B (ko)
WO (1) WO2017106053A1 (ko)

Families Citing this family (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10061352B1 (en) * 2017-08-14 2018-08-28 Oculus Vr, Llc Distributed augmented reality system
US10551614B2 (en) * 2017-08-14 2020-02-04 Facebook Technologies, Llc Camera assembly with programmable diffractive optical element for depth sensing
US10586342B2 (en) 2017-08-31 2020-03-10 Facebook Technologies, Llc Shifting diffractive optical element for adjustable depth sensing resolution
US10506217B2 (en) * 2017-10-09 2019-12-10 Facebook Technologies, Llc Head-mounted display tracking system
US10311584B1 (en) 2017-11-09 2019-06-04 Facebook Technologies, Llc Estimation of absolute depth from polarization measurements
FR3073999B1 (fr) * 2017-11-23 2024-02-09 Ateme Compression intelligente de contenus video graines
US10491877B1 (en) * 2017-12-21 2019-11-26 Facebook Technologies, Llc Depth camera assembly using multiplexed sensor phase measurements to determine depth using fringe interferometry
US11716548B2 (en) 2018-03-13 2023-08-01 Meta Platforms Technologies, Llc Timing of multiplexed sensor phase measurements in a depth camera assembly for depth determination using fringe interferometry
US10559121B1 (en) * 2018-03-16 2020-02-11 Amazon Technologies, Inc. Infrared reflectivity determinations for augmented reality rendering
US10777010B1 (en) 2018-03-16 2020-09-15 Amazon Technologies, Inc. Dynamic environment mapping for augmented reality
US10607567B1 (en) 2018-03-16 2020-03-31 Amazon Technologies, Inc. Color variant environment mapping for augmented reality
US10999524B1 (en) * 2018-04-12 2021-05-04 Amazon Technologies, Inc. Temporal high dynamic range imaging using time-of-flight cameras
CN108683843B (zh) * 2018-04-28 2020-02-18 Oppo广东移动通信有限公司 电子设备控制方法、装置、电子设备和可读存储介质
US11182914B2 (en) 2018-05-21 2021-11-23 Facebook Technologies, Llc Dynamic structured light for depth sensing systems based on contrast in a local area
US10708484B2 (en) 2018-06-20 2020-07-07 Amazon Technologies, Inc. Detecting interference between time-of-flight cameras using modified image sensor arrays
US10877238B2 (en) * 2018-07-17 2020-12-29 STMicroelectronics (Beijing) R&D Co. Ltd Bokeh control utilizing time-of-flight sensor to estimate distances to an object
US10681338B1 (en) 2018-07-24 2020-06-09 Amazon Technologies, Inc. Detecting interference in depth images captured using overlapping depth cameras
US10732285B2 (en) * 2018-09-26 2020-08-04 Qualcomm Incorporated Multi-phase active light depth system
US11353588B2 (en) * 2018-11-01 2022-06-07 Waymo Llc Time-of-flight sensor with structured light illuminator
US10630925B1 (en) * 2018-12-03 2020-04-21 Facebook Technologies, Llc Depth determination using polarization of light and camera assembly with augmented pixels
US10855896B1 (en) 2018-12-13 2020-12-01 Facebook Technologies, Llc Depth determination using time-of-flight and camera assembly with augmented pixels
US10791286B2 (en) 2018-12-13 2020-09-29 Facebook Technologies, Llc Differentiated imaging using camera assembly with augmented pixels
US10791282B2 (en) 2018-12-13 2020-09-29 Fenwick & West LLP High dynamic range camera assembly with augmented pixels
US10915783B1 (en) 2018-12-14 2021-02-09 Amazon Technologies, Inc. Detecting and locating actors in scenes based on degraded or supersaturated depth data
US20220120560A1 (en) * 2019-02-22 2022-04-21 Prophesee Three-dimensional imaging and sensing using a dynamic vision sensor and pattern projection
WO2020196087A1 (ja) * 2019-03-27 2020-10-01 パナソニックＩｐマネジメント株式会社 距離測定装置および画像生成方法
EP3757945A1 (en) * 2019-06-24 2020-12-30 Imec VZW Device for generating an augmented reality image
CN110346780A (zh) * 2019-07-31 2019-10-18 炬佑智能科技(苏州)有限公司 飞行时间传感相机及其局部检测精度调整方法
CN110456380B (zh) * 2019-07-31 2021-12-28 炬佑智能科技(苏州)有限公司 飞行时间传感相机及其深度检测方法
CN110749902A (zh) * 2019-10-09 2020-02-04 深圳奥锐达科技有限公司 一种基于时间分段的3d成像系统及成像方法
US10902623B1 (en) 2019-11-19 2021-01-26 Facebook Technologies, Llc Three-dimensional imaging with spatial and temporal coding for depth camera assembly
CN113126072B (zh) * 2019-12-30 2023-12-29 浙江舜宇智能光学技术有限公司 深度相机及控制方法
US11194160B1 (en) 2020-01-21 2021-12-07 Facebook Technologies, Llc High frame rate reconstruction with N-tap camera sensor
CN111398976B (zh) * 2020-04-01 2022-08-23 宁波飞芯电子科技有限公司 探测装置及方法
DE102020002994B4 (de) 2020-05-19 2023-03-30 Daimler Truck AG Verfahren zur Messung eines Abstandes zwischen einem Objekt und einem optischen Sensor, Steuereinrichtung zur Durchführung eines solchen Verfahrens, Abstandsmessvorrichtung mit einer solchen Steuereinrichtung und Kraftfahrzeug mit einer solchen Abstandsmessvorrichtung
CN113484874B (zh) * 2021-06-25 2023-10-17 山东航天电子技术研究所 一种实现飞行时间域全探测的主动成像装置及成像方法

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07110381A (ja) * 1993-10-07 1995-04-25 Wacom Co Ltd 距離カメラ装置
JP3840813B2 (ja) * 1998-08-12 2006-11-01 富士ゼロックス株式会社 三次元形状計測法および装置
US6587186B2 (en) * 2000-06-06 2003-07-01 Canesta, Inc. CMOS-compatible three-dimensional image sensing using reduced peak energy
JP3971691B2 (ja) * 2002-10-31 2007-09-05 日本電信電話株式会社 仮想視点画像生成方法及び仮想視点画像生成装置、ならびに仮想視点画像生成プログラム及び記録媒体
US7663689B2 (en) 2004-01-16 2010-02-16 Sony Computer Entertainment Inc. Method and apparatus for optimizing capture device settings through depth information
US8355117B2 (en) * 2005-12-21 2013-01-15 Ecole Polytechnique Federale De Lausanne Method and arrangement for measuring the distance to an object
EP2235563A1 (en) * 2007-12-19 2010-10-06 Microsoft International Holdings B.V. 3d camera and methods of gating thereof
JP5624267B2 (ja) * 2008-06-24 2014-11-12 株式会社東芝 赤外線撮像装置および赤外線撮像方法
US8325978B2 (en) * 2008-10-30 2012-12-04 Nokia Corporation Method, apparatus and computer program product for providing adaptive gesture analysis
US8320621B2 (en) * 2009-12-21 2012-11-27 Microsoft Corporation Depth projector system with integrated VCSEL array
US8717469B2 (en) * 2010-02-03 2014-05-06 Microsoft Corporation Fast gating photosurface
CN103053167B (zh) * 2010-08-11 2016-01-20 苹果公司 扫描投影机及用于3d映射的图像捕获模块
KR102144521B1 (ko) 2012-05-29 2020-08-14 브라이트웨이 비젼 엘티디. 적응 피사계심도를 이용한 게이트된 영상 획득 방법 및 영상 시스템
WO2014014838A2 (en) * 2012-07-15 2014-01-23 2R1Y Interactive illumination for gesture and/or object recognition
US9851245B2 (en) * 2012-11-06 2017-12-26 Microsoft Technology Licensing, Llc Accumulating charge from multiple imaging exposure periods
US20140282275A1 (en) 2013-03-15 2014-09-18 Qualcomm Incorporated Detection of a zooming gesture
US9894255B2 (en) * 2013-06-17 2018-02-13 Industrial Technology Research Institute Method and system for depth selective segmentation of object
JP2015125641A (ja) * 2013-12-26 2015-07-06 キヤノンマーケティングジャパン株式会社 情報処理装置、その制御方法、及びプログラム
US10613642B2 (en) 2014-03-12 2020-04-07 Microsoft Technology Licensing, Llc Gesture parameter tuning
KR102144543B1 (ko) 2014-05-08 2020-08-18 주식회사 히타치엘지 데이터 스토리지 코리아 Tof 카메라에서 신호 검출 방법
TWI529662B (zh) * 2014-12-15 2016-04-11 財團法人工業技術研究院 基於深度資訊的模型建構方法、圖形處理裝置與紀錄媒體
US10133947B2 (en) * 2015-01-16 2018-11-20 Qualcomm Incorporated Object detection using location data and scale space representations of image data
US10126459B2 (en) * 2015-03-12 2018-11-13 Raytheon Company System and method for depth profiling by temporal and spatial range gating based on penetrating electromagnetic radiation

Also Published As

Publication number Publication date
US10708577B2 (en) 2020-07-07
EP3391648A1 (en) 2018-10-24
WO2017106053A1 (en) 2017-06-22
JP2019506768A (ja) 2019-03-07
CN108370438A (zh) 2018-08-03
JP7076368B2 (ja) 2022-05-27
EP3391648B1 (en) 2021-07-07
CN108370438B (zh) 2021-03-23
EP3391648A4 (en) 2019-05-22
US20170180713A1 (en) 2017-06-22

Similar Documents

Publication Publication Date Title
EP3391648B1 (en) Range-gated depth camera assembly
KR101949950B1 (ko) 구조화 조명 및 비행 시간을 사용한 깊이 맵핑
JP6866365B2 (ja) ステレオカメラと構造化光とを用いたヘッドマウントディスプレイを伴う奥行きマッピング
CN110658914B (zh) 边界区域的闪烁追踪
US20170195653A1 (en) Dynamic control over structured illumination intensity
US10778952B2 (en) Depth camera light leakage avoidance
US10957059B1 (en) Multi-pattern depth camera assembly
WO2019028152A1 (en) OCULAR TRACKING USING TEMPORAL MULTIPLEXING
WO2019070405A1 (en) OCULOMETRY SYSTEM USING DENSED STRUCTURED LIGHT PATTERNS
US10902623B1 (en) Three-dimensional imaging with spatial and temporal coding for depth camera assembly
US10574938B1 (en) Variable frame rate depth camera assembly
EP3462382A1 (en) Eye tracking system using dense structured light patterns
CN117255964A (zh) 具有降低的可检测性的外部照明

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right