KR20230141774A - 고해상도 비행 시간 깊이 이미징 - Google Patents

고해상도 비행 시간 깊이 이미징 Download PDF

Info

Publication number
KR20230141774A
KR20230141774A KR1020237025506A KR20237025506A KR20230141774A KR 20230141774 A KR20230141774 A KR 20230141774A KR 1020237025506 A KR1020237025506 A KR 1020237025506A KR 20237025506 A KR20237025506 A KR 20237025506A KR 20230141774 A KR20230141774 A KR 20230141774A
Authority
KR
South Korea
Prior art keywords
fov
light
portions
resolution
image
Prior art date
Application number
KR1020237025506A
Other languages
English (en)
Inventor
지안 마
세르지우 라두 고마
비아이-청 셰이
Original Assignee
퀄컴 인코포레이티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 퀄컴 인코포레이티드 filed Critical 퀄컴 인코포레이티드
Publication of KR20230141774A publication Critical patent/KR20230141774A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481—Constructional features, e.g. arrangements of optical elements
    • G01S7/4814—Constructional features, e.g. arrangements of optical elements of transmitters alone
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481—Constructional features, e.g. arrangements of optical elements
    • G01S7/4816—Constructional features, e.g. arrangements of optical elements of receivers alone
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481—Constructional features, e.g. arrangements of optical elements
    • G01S7/4817—Constructional features, e.g. arrangements of optical elements relating to scanning
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B26/00—Optical devices or arrangements for the control of light using movable or deformable optical elements
    • G02B26/08—Optical devices or arrangements for the control of light using movable or deformable optical elements for controlling the direction of light
    • G02B26/0816—Optical devices or arrangements for the control of light using movable or deformable optical elements for controlling the direction of light by means of one or more reflecting elements
    • G02B26/0833—Optical devices or arrangements for the control of light using movable or deformable optical elements for controlling the direction of light by means of one or more reflecting elements the reflecting element being a micromechanical device, e.g. a MEMS mirror, DMD
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Electromagnetism (AREA)
  • Optics & Photonics (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Measurement Of Optical Distance (AREA)

Abstract

고해상도 ToF (time-of-flight) 깊이 이미징을 위한 기법들 및 시스템들이 제공된다. 일부 예들에서, 장치는 하나 이상의 발광 디바이스들을 포함하는 투사 시스템을 포함하고, 각각의 발광 디바이스는 투사 시스템의 전체 시야 (FOV) 의 적어도 일부를 조명하도록 구성된다. 전체 FOV 는 복수의 FOV 부분들을 포함한다. 장치는 또한 하나 이상의 발광 디바이스들에 의해 방출된 광에 대응하는 복수의 조명 반사들에 기초하여 복수의 이미지들을 순차적으로 캡처하도록 구성된 센서를 포함하는 수신 시스템을 포함한다. 복수의 이미지들의 각각의 이미지는 복수의 FOV 부분들 중 하나에 대응한다. 각각의 이미지와 연관된 이미지 해상도는 센서의 풀 해상도에 대응한다. 장치는 추가로 복수의 이미지들을 사용하여, 전체 FOV 와 연관된 증가된 해상도 깊이 맵을 생성하도록 구성되는 프로세서를 포함한다.

Description

고해상도 비행 시간 깊이 이미징
본 개시는 일반적으로 비행 시간 (ToF) 감지에 관한 것이다. 일부 예들에서, 본 개시의 양태들은 이미징 시스템의 시야 (FOV) 의 일부들을 순차적으로 스캐닝함으로써 ToF 데이터에 기초하여 생성된 깊이 맵들의 이미지 해상도를 증가시키는 것에 관한 것이다.
이미지 센서들은 일반적으로 카메라들, 모바일 폰들, 자율 시스템들 (예를 들어, 자율 드론들, 자동차들, 로봇들 등), 스마트 웨어러블들, 확장 현실 (예를 들어, 증강 현실, 가상 현실, 혼합 현실) 디바이스들, 및 많은 다른 디바이스들과 같은 광범위한 어레이의 전자 디바이스들 내에 통합된다. 이미지 센서는 사용자가 이미지 센서를 구비한 임의의 전자 디바이스로부터 비디오 및 이미지를 캡처할 수 있게 한다. 비디오 및 이미지는 다른 애플리케이션 중에서도 레크리에이션 용도, 전문적인 사진, 감시 및 자동화를 위해 캡처될 수 있다. 이미지 센서에 의해 캡처된 비디오 및 이미지는 비디오 또는 이미지의 품질을 증가시키고 특정 예술적 효과를 생성하기 위해 다양한 방식으로 조작될 수 있다.
일부 경우들에서, 이미지 센서에 의해 캡처된 광 신호들 및 이미지 데이터는 이미지 데이터 및/또는 이미지 데이터에 의해 캡처된 장면에 대한 특정 특성들을 식별하기 위해 분석될 수 있으며, 이는 그후 캡처된 이미지 데이터를 수정하거나 다양한 작업들을 수행하는 데 사용될 수 있다. 예를 들어, 광 신호들 및/또는 이미지 데이터는 이미지 데이터에 의해 캡처된 장면의 거리를 추정하기 위해 분석될 수 있다. 거리 정보를 추정하는 것은, 3차원 (3D) 사진술, 확장된 현실 경험들, 객체 스캐닝, 자율 차량 동작, 지구 지형 측정들, 컴퓨터 비전 시스템들, 얼굴 인식 시스템들, 로봇공학, 게이밍, 및 다양한 예술적 효과들, 예를 들어 블러링 및 보케 효과들 (예를 들어, 아웃-오브-포커스 효과들) 을 생성하는 것과 같은 다양한 애플리케이션들에 유용할 수 있다. 그러나, 충분한 해상도 및/또는 정확도로 거리 정보를 추정하는 것은 엄청나게 전력 및 계산 집약적일 수 있다.
고해상도 ToF (time-of-flight) 깊이 이미징을 수행하도록 구현될 수 있는 시스템들 및 기술들이 본 명세서에 설명된다. 적어도 하나의 예에 따르면, 고해상도 ToF 깊이 이미징을 위한 장치들이 제공된다. 예시적인 장치는 하나 이상의 발광 디바이스들을 포함하는 투사 시스템을 포함할 수 있으며, 하나 이상의 발광 디바이스들의 각각의 발광 디바이스는 투사 시스템의 전체 시야 (FOV) 의 적어도 일부를 조명하도록 구성된다. 전체 FOV 는 복수의 FOV 부분들을 포함할 수 있다. 장치는 또한 하나 이상의 발광 디바이스들에 의해 방출된 광에 대응하는 복수의 조명 반사들에 기초하여 복수의 이미지들을 순차적으로 캡처하도록 구성된 센서를 포함하는 수신 시스템을 포함할 수 있다. 복수의 이미지들의 각각의 이미지는 복수의 FOV 부분들 중 하나에 대응한다. 또한, 복수의 이미지들의 각각의 이미지와 연관된 이미지 해상도는 센서의 풀 해상도에 대응한다. 장치는 또한 메모리 (또는 다수의 메모리들) 및 메모리 (또는 메모리들) 에 커플링된 프로세서 또는 다수의 프로세서들 (예를 들어, 회로부로 구현됨) 을 포함할 수 있다. 프로세서 (또는 프로세서들) 은 복수의 이미지들을 사용하여, 전체 FOV 와 연관된 증가된 해상도 깊이 맵을 생성하도록 구성될 수 있다.
다른 예에서, 예시적인 장치는, 투사 시스템의 전체 FOV 의 복수의 시야 (FOV) 부분들을 조명하기 위한 수단으로서, 상기 조명하기 위한 수단은 전체 FOV 의 적어도 하나의 부분을 순차적으로 조명하도록 구성되는, 상기 조명하기 위한 수단; 상기 조명하기 위한 수단에 의해 방출된 광에 대응하는 복수의 조명 반사들에 기초하여 복수의 이미지들을 순차적으로 캡처하기 위한 수단으로서, 복수의 이미지들의 각각의 이미지는 복수의 FOV 부분들의 하나에 대응하고, 복수의 이미지들의 각각의 이미지와 연관된 이미지 해상도는 수신하기 위한 수단의 풀 해상도에 대응하는, 상기 캡처하기 위한 수단; 및 상기 복수의 이미지들을 사용하여, 상기 전체 FOV 와 연관된 증가된 해상도 깊이 맵을 생성하기 위한 수단을 포함한다.
다른 예에서, 고해상도 ToF 깊이 이미징을 위한 방법들이 제공된다. 예시적인 방법은 투사 시스템의 하나 이상의 발광 디바이스들을 사용하여, 상기 투사 시스템의 전체 FOV 의 복수의 시야 (FOV) 부분을 조명하는 단계로서, 상기 하나 이상의 발광 디바이스들의 각각의 발광 디바이스는 상기 전체 FOV 의 적어도 하나의 부분을 조명하도록 구성되는, 상기 복수의 시야 (FOV) 부분을 조명하는 단계를 포함할 수 있다. 방법은 또한, 수신 시스템의 센서에 의해, 하나 이상의 발광 디바이스들에 의해 방출된 광에 대응하는 복수의 조명 반사들에 기초하여 복수의 이미지들을 순차적으로 캡처하는 단계를 포함할 수 있다. 복수의 이미지들의 각각의 이미지는 복수의 FOV 부분들 중 하나에 대응한다. 또한, 복수의 이미지들의 각각의 이미지와 연관된 이미지 해상도는 센서의 풀 해상도에 대응한다. 방법은 또한 복수의 이미지들을 사용하여, 전체 FOV 와 연관된 증가된 해상도 깊이 맵을 생성하는 단계를 포함할 수 있다.
다른 예에서, 고해상도 ToF 깊이 이미징을 위한 비일시적 컴퓨터 판독가능 매체들이 제공된다. 비일시적 컴퓨터 판독가능 저장 매체는 명령들을 포함하고, 상기 명령들은 하나 이상의 프로세서들에 의해 실행될 경우, 상기 하나 이상의 프로세서들로 하여금, 투사 시스템의 하나 이상의 발광 디바이스들을 사용하여, 상기 투사 시스템의 전체 FOV 의 복수의 시야 (FOV) 부분을 조명하는 것으로서, 상기 하나 이상의 발광 디바이스들의 각각의 발광 디바이스는 상기 전체 FOV 의 적어도 하나의 부분을 조명하도록 구성되는, 상기 복수의 시야 (FOV) 부분을 조명하는 것; 수신 시스템의 센서를 사용하여, 상기 하나 이상의 발광 디바이스들에 의해 방출된 광에 대응하는 복수의 조명 반사들에 기초하여 복수의 이미지들을 순차적으로 캡처하는 것으로서, 상기 복수의 이미지들의 각각의 이미지는 상기 복수의 FOV 부분들의 하나에 대응하고, 상기 복수의 이미지들의 각각의 이미지와 연관된 이미지 해상도는 상기 센서의 풀 해상도에 대응하는, 상기 복수의 이미지들을 순차적으로 캡처하는 것; 및 상기 복수의 이미지들을 사용하여, 상기 전체 FOV 와 연관된 증가된 해상도 깊이 맵을 생성하는 것을 행하게 한다.
일부 양태들에서, 상기 설명된 방법, 장치들, 및 컴퓨터 판독가능 매체는 다음을 포함할 수 있다: 상기 복수의 FOV 부분 각각을 순차적 조명 순서로 조명하는 것으로서, 상기 순차적 조명 순서는 한 번에 단일 FOV 부분을 조명하는 것을 포함하는, 상기 조명하는 것; 상기 순차적 조명 순서에 대응하는 순차적 수신 순서로 상기 복수의 조명 반사들의 각각의 조명 반사를 수신하는 것; 및 상기 복수의 조명 반사들의 각각의 조명 반사에 기초하여 상기 복수의 이미지들의 각각의 이미지를 생성하는 것을 포함할 수 있다. 일부 예들에서, 상기 순차적 조명 순서로 상기 복수의 FOV 부분들 각각을 조명하는 것은, 상기 복수의 FOV 부분들의 제 1 FOV 부분을 조명하는 것; 상기 제 1 FOV 부분에 대응하는 제 1 조명 반사를 수신하는 것; 상기 제 1 조명 반사를 수신한 후, 상기 복수의 FOV 부분들의 제 2 FOV 부분을 조명하는 것; 및 상기 제 2 FOV 부분에 대응하는 제 2 조명 반사를 수신하는 것을 포함한다.
일부 양태에서, 하나 이상의 발광 디바이스는 복수의 발광 디바이스를 포함할 수 있다. 일부 예들에서, 상기 투사 시스템은 복수의 투사 렌즈들을 포함할 수 있고, 상기 복수의 투사 렌즈들의 각각의 투사 렌즈는 상기 복수의 FOV 부분들의 상이한 FOV 부분을 향해 상기 복수의 발광 디바이스들의 하나에 의해 방출된 광을 투사하도록 구성된다. 일부 경우에, 복수의 투사 렌즈의 각각의 투사 렌즈는 복수의 발광 디바이스들 위에 포지셔닝될 수 있다. 일부 예들에서, 투사 시스템은 복수의 투사 렌즈들에 대해 포지셔닝된 하나 이상의 확산기들을 포함한다. 예를 들어, 하나 이상의 확산기는 복수의 발광 디바이스에 의해 방출된 광을 확산시키도록 구성될 수 있다. 일부 예들에서, 투사 시스템은 세그먼트화된 프리즘 어레이를 포함한다. 예를 들어, 세그먼트화된 프리즘 어레이는 복수의 FOV 부분들 중 각각의 FOV 부분으로 광을 지향시키도록 구성될 수 있다.
일부 양태에서, 하나 이상의 발광 디바이스는 단일 발광 디바이스를 포함할 수 있다. 상기 투사 시스템은 상이한 배향들로 배향될 때 상기 복수의 FOV 부분들의 상이한 FOV 부분들을 향해 상기 단일 발광 디바이스에 의해 방출된 광을 투사하도록 구성되는 스캐닝 미러를 포함할 수 있다. 하나의 예에서, 상기 스캐닝 미러는 MEMS (micro electro mechanical system) 미러를 포함할 수 있다. 일부 양태들에서, 스캐닝 미러는 단일 발광 디바이스 위에 포지셔닝될 수 있다. 일부 경우들에서, 상기 스캐닝 미러의 상이한 배향들 각각은 상기 단일 발광 디바이스의 평면과 상기 스캐닝 미러 사이의 상이한 배향 각도에 대응할 수 있다. 일부 예들에서, 투사 시스템은 스캐닝 미러에 대해 포지셔닝된 하나 이상의 확산기들을 포함한다. 예를 들어, 하나 이상의 확산기는 단일 발광 디바이스에 의해 방출된 광을 확산시키도록 구성될 수 있다.
일부 양태들에서, 수신 시스템은 이미지 렌즈들의 어레이를 포함한다. 이미지 렌즈들의 어레이의 각각의 이미지 렌즈는 상기 센서에, 상기 복수의 FOV 부분들의 각각의 FOV 부분에 대응하는 장면의 상이한 부분과 연관된 광을 투사하도록 구성될 수 있다.
일부 양태들에서, 상기 설명된 방법들, 장치들, 및 컴퓨터 판독가능 매체는 상기 센서 위에 위치설정된 필터를 포함할 수 있다. 필터는 상기 하나 이상의 발광 디바이스에 의해 방출되는 광의 주파수에 대응하는 주파수를 갖는 광을 투과시키도록 구성된다.
일부 양태들에서, 상기 설명된 방법, 장치들, 및 컴퓨터 판독가능 매체는, 상기 투사 시스템에, 상기 복수의 FOV 부분들의 특정 FOV 부분을 조명하기 위해 상기 투사 시스템에 지시하는 제 1 제어 신호를 전송하는 것; 및 상기 수신 시스템에, 상기 특정 FOV 부분을 갖는 상기 센서에 의해 수신된 조명 반사를 연관시키도록 수신 시스템에 지시하는 제 2 제어 신호를 전송하는 것으로서, 상기 제 1 제어 신호 및 상기 제 2 제어 신호는 시간 동기화되는, 상기 제 2 제어 신호를 전송하는 것에 적어도 부분적으로 기초하여 상기 투사 시스템 및 상기 수신 시스템을 동기화하는 것을 포함한다.
일부 양태들에서, 상기 복수의 FOV 부분들의 제 1 FOV 부분은 상기 복수의 FOV 부분들의 적어도 제 2 FOV 부분과 부분적으로 중첩될 수 있다.
일부 양태들에서, 상기 전체 FOV 와 연관된 상기 증가된 해상도 깊이 맵을 생성하는 것은: 복수의 부분 거리 측정들을 생성하는 것으로서, 상기 복수의 부분 거리 측정들의 각각은 복수의 조명 반사들의 하나에 대응하는, 복수의 부분 거리 측정들을 생성하는 것; 및 상기 복수의 부분 거리 측정들을 조합하는 것을 포함한다. 일부 양태들에서, 상기 증가된 해상도 깊이 맵의 이미지 해상도는 상기 센서의 최대 해상도에 상기 복수의 FOV 부분들의 수를 곱한 것에 대응할 수 있다.
일부 양태들에서, 상기 설명된 각각의 장치는 카메라, 모바일 디바이스 (예를 들어, 모바일 전화 또는 소위 "스마트폰" 또는 다른 모바일 디바이스), 스마트 웨어러블 디바이스, 확장 현실 디바이스 (예를 들어, 가상 현실 (VR) 디바이스, 증강 현실 (AR) 디바이스, 또는 혼합 현실 (MR) 디바이스), 퍼스널 컴퓨터, 랩톱 컴퓨터, 서버 컴퓨터, 자율 차량 또는 다른 디바이스이거나 이를 포함한다. 일부 양태들에서, 장치는 하나 이상의 비디오들 및/또는 이미지들을 캡처하기 위한 카메라 또는 다중의 카메라들을 포함한다. 일부 양태들에서, 장치는 하나 이상의 비디오들 및/또는 이미지들을 디스플레이하기 위한 디스플레이를 더 포함한다. 일부 양태들에서, 상기 설명된 장치들은 하나 이상의 센서들을 포함할 수 있다.
이 개요는 청구된 주제의 핵심적인 또는 본질적인 특징들을 식별하도록 의도되지도 않고, 청구된 주제의 범위를 결정하는데 단독으로 사용되도록 의도되지도 않았다. 주제는 본 특허의 전체 명세서, 임의의 또는 모든 도면들, 및 각각의 청구항의 적절한 부분들을 참조하여 이해되어야 한다.
전술한 바는, 다른 특징들 및 예들과 함께, 다음의 명세서, 청구항들, 및 첨부 도면들을 참조할 시 더 명백하게 될 것이다.
본 출원의 예시적인 예들은 다음 도면들을 참조하여 이하에서 상세히 설명된다:
도 1 은 본 개시의 일부 예들에 따른, 비행 시간 (ToF) 신호 프로세싱을 위한 예시적인 이미지 프로세싱 시스템을 예시한 단순화된 블록 다이어그램이다.
도 2a 는 본 개시의 일부 예들에 따른, 직접 ToF 감지 절차의 예를 예시한 단순화된 블록 다이어그램이다.
도 2b 는 본 개시의 일부 예들에 따른, 간접 ToF 감지 절차의 예를 예시한 단순화된 블록 다이어그램이다.
도 3 은 본 개시의 일부 예들에 따른, 광 신호의 위상 각도를 측정하기 위한 예시적인 기술을 예시하는 다이어그램이다.
도 4 는 본 개시의 일부 예들에 따른 ToF 감지를 위한 연속파 방법을 예시하는 다이어그램이다.
도 5 는 본 개시의 일부 예들에 따른, ToF 신호 프로세싱을 위한 예시적인 이미지 프로세싱 시스템을 예시한 단순화된 블록 다이어그램이다.
도 6a 는 본 개시의 일부 예들에 따른, ToF 신호 프로세싱을 위한 이미지 프로세싱 시스템의 예시적인 시야 (FOV) 의 예시이다.
도 6b 는 본 개시의 일부 예들에 따른, 이미지 프로세싱 시스템의 FOV 의 예시적인 부분들의 다이어그램이다.
도 7 은 본 개시의 일부 예들에 따른, 이미지 프로세싱 시스템의 FOV 의 부분들을 조명하기 위한 예시적인 디바이스의 도면이다.
도 8 은 본 개시의 일부 예들에 따른, 이미지 프로세싱 시스템의 FOV 의 부분들을 조명하기 위한 다른 예시적인 디바이스의 도면이다.
도 9a 는 본 개시의 일부 예들에 따른, 이미지 프로세싱 시스템의 FOV 의 부분들의 조명 반사들을 수신하기 위한 예시적인 디바이스의 다이어그램이다.
도 9b 및 도 9c 는 본 개시의 일부 예들에 따른, 예시적인 순차적 ToF 이미지 캡처 프로세스들을 예시하는 도면들이다.
도 10a 및 도 10b 는 본 개시의 일부 예들에 따른, 동기화된 ToF 감지를 위한 예시적인 시스템들의 다이어그램들이다.
도 11 은 일부 예들에 따른, 고해상도 ToF 깊이 이미징을 위한 프로세스의 예를 예시하는 흐름도이다.
도 12 는 본 명세서에서 설명된 특정 양태들을 구현하기 위한 시스템의 예를 예시하는 도면이다.
본 개시의 소정의 양태들 및 예들이 하기에서 제공된다. 이들 양태들 및 예들의 일부는 독립적으로 적용될 수도 있고, 그들의 일부는 당업자에게 명백할 바와 같이 조합하여 적용될 수도 있다. 이하의 설명에서, 설명의 목적으로, 본 출원의 주제의 철저한 이해를 제공하기 위해 특정 세부사항들이 제시된다. 하지만, 다양한 예들은 이들 특정 상세들 없이도 실시될 수도 있음이 명백할 것이다. 도면들 및 설명은 제한적인 것으로 의도되지 않는다.
이하의 설명은 오직 예시적인 예들을 제공할 뿐이고, 본 개시의 범위, 적용가능성, 또는 구성을 한정하려는 것이 아니다. 오히려, 다음의 설명은 예시적인 예들의 시행을 가능하게 하는 설명을 당업자에게 제공할 것이다. 첨부된 청구항들에 기재된 바와 같은 본 출원의 사상 및 범위로부터 벗어남이 없이 엘리먼트들의 기능 및 배열에서 다양한 변화가 이루어질 수 있음이 이해되어야 한다.
이미지 센서들은 일반적으로 카메라들, 모바일 폰들, 자율 시스템들 (예를 들어, 자율 드론들, 자동차들, 로봇들 등), 확장 현실 (예를 들어, 증강 현실, 가상 현실, 혼합 현실) 디바이스들, 사물 인터넷 (IoT) 디바이스들, 스마트 웨어러블들, 및 많은 다른 디바이스들과 같은 매우 다양한 전자 디바이스들에 통합된다. 이러한 이미지 센서를 구비하는 전자 디바이스가 증가하면서 비디오 및 이미지 기록 기능이 더욱 널리 보급되고 있다. 또한, 전자 디바이스의 이미지 프로세싱 능력이 지속적으로 향상되어, 이미지 데이터를 조작하여 더 높은 품질의 비디오 및 이미지를 생성하고, 광범위한 예술적 효과를 생성하고, 이미지 데이터를 다양한 애플리케이션에서 구현하게 허용한다. 예를 들어, 센서들에 의해 캡처된 이미지 데이터 및 광 신호들은 이미지 데이터 및/또는 이미지 데이터에 의해 캡처된 장면에 대한 특정 특성들을 식별하기 위해 분석될 수 있다. 이 정보는 그후 캡처된 이미지 데이터를 수정하거나 다양한 작업을 수행하는 데 사용될 수 있다. 예를 들어, 광 신호들 및/또는 이미지 데이터는 이미지 데이터에 의해 캡처된 장면 내의 객체들의 거리를 추정하기 위해 분석될 수 있다.
비행 시간 (ToF) 센서 시스템들은 광 (예를 들어, 적외선 (IR) 광, 근적외선 (NIR) 광, 및/또는 다른 광) 을 사용하여 타겟 (예를 들어, 주변/인근 장면, 하나 이상의 주변/인근 객체들 등) 에 대한 깊이 및/또는 거리 정보를 결정할 수 있다. ToF 센서 시스템은 타겟에 충돌하고 ToF 센서 시스템들로 다시 반사할 수 있는, 타겟을 향해 광 신호를 방출하도록 구성된 광 방출기를 포함할 수 있다. ToF 센서 시스템은 또한 리턴된/반사된 광을 검출 및/또는 측정하도록 구성된 센서를 포함할 수 있으며, 이는 그후 타겟에 대한 깊이 및/또는 거리 정보를 결정하는 데 사용될 수 있다. ToF 센서 시스템에 대한 타겟의 거리는 깊이 맵핑을 수행하는데 사용될 수 있다. 타겟의 거리는 직접 ToF 또는 간접 ToF 를 통해 계산될 수 있다.
일부 ToF 센서 시스템들의 해상도 (예를 들어, 이미지 해상도) 는 ToF 센서 시스템이 한 번에 수신하고 프로세싱할 수 있는 반사된 광 신호들의 수에 대응할 수 있다. 예를 들어, ToF 센서 시스템의 이미지 해상도는 ToF 센서의 픽셀 (예를 들어, 감광성 엘리먼트) 의 수에 대응할 수 있다. 많은 경우들에서, ToF 센서 기술들은 복잡한 하드웨어 및/또는 광범위한 프로세싱 능력을 이용한다. 그 결과, ToF 센서의 해상도 (예를 들어, 픽셀들의 수) 를 증가시키는 것은 비실용적이고 그리고/또는 불가능하다 (예를 들어, 엄청난 비용이 든다). 예를 들어, 일부 기존 ToF 시스템은 320 x 240 픽셀 이하의 해상도로 제한된다. 이러한 낮은 해상도는 장거리 이미징, 넓은 시야 (FOV) 이미징, 자율 차량 작동, 머신 비전 시스템, 얼굴 인식 시스템, 디지털 측정 시스템, 게임, 로봇 공학 등과 같은 다양한 타입의 이미징 및 감지 애플리케이션에 불충분할 수 있다. 따라서, 고해상도 이미지 깊이 정보를 효율적으로 캡처하기 위한 개선된 ToF 시스템들 및 기법들을 개발하는 것이 유리하다.
본 개시는 고해상도 ToF 깊이 이미징을 제공하기 위한 시스템들, 장치들, 방법들, 및 컴퓨터 판독가능 매체들 (집합적으로 "시스템들 및 기법들" 로 지칭됨) 을 설명한다. 본 명세서에 설명된 시스템들 및 기법들은 ToF 시스템이 ToF 시스템의 ToF 센서의 풀 (예를 들어, 최대) 해상도를 초과하는 해상도를 갖는 깊이 맵들 (예를 들어, 깊이 이미지 맵들) 을 생성하는 능력을 제공한다. 또한, ToF 시스템은 프로세싱 시간에 실질적인 지연을 초래하지 않고 고해상도 깊이 맵을 생성할 수 있다. 고해상도 깊이 맵들을 생성하기 위해, ToF 시스템은 ToF 시스템의 전체 시야 (FOV) 의 부분들과 연관된 깊이 정보를 캡처할 수 있다. 일부 경우들에서, ToF 시스템은 전체 FOV 의 개별 부분들 (FOV 부분들로 지칭됨) 과 연관된 깊이 정보를 순차적으로 캡처할 수 있다. 예를 들어, ToF 시스템은 FOV 부분들을 통해 "스캔"할 수 있다. ToF 시스템은 각각의 FOV 부분을 스캔하기 위해 단일 ToF 센서 (예를 들어, 동일한 ToF 센서) 를 이용할 수 있다. 개별 FOV 부분들은 단일 ToF 센서의 FOV 에 대응 (또는 대략 대응) 할 수 있다. ToF 시스템은 각각의 FOV 부분으로부터 획득된 깊이 정보를 조합함으로써 전체 FOV 에 대응하는 깊이 맵을 생성할 수 있다. 따라서, 전체 FOV 의 깊이 맵의 해상도 (예를 들어, 이미지 해상도) 는 단일 ToF 센서의 해상도에 스캔된 FOV 부분의 수를 곱한 것에 대응한다. 또한, 각각의 FOV 부분이 전체 FOV 보다 작기 때문에, 각각의 FOV 부분 상으로 ToF 디바이스에 의해 투사되는 광은 (예를 들어, 한번에 전체 FOV를 조명하는 ToF 시스템들에 의해 투사되는 광의 농도에 비해) 고도로 집중된다. 조명의 이러한 증가는 노출 시간 (예를 들어, 정확한 거리 측정치들을 획득하는 데 필요한 시간량) 의 대응하는 감소를 초래하여, 깊이 맵을 생성하거나 업데이트하면서 ToF 시스템이 높은 프레임 레이트를 유지할 수 있게 한다. 예를 들어, ToF 시스템이 FOV 를 x 개의 서브-FOV들로 분할하면, ToF 시스템은 FOV 부분들을 순차적으로 스캐닝하지 않는 ToF 시스템들과 동일한 레이턴시로 x 배 더 높은 해상도를 갖는 깊이 맵들을 생성할 수 있다.
일부 예들에서, ToF 시스템은 개별 FOV 부분들을 순차적으로 조명하도록 구성된 프로젝터 시스템을 포함할 수 있다. 프로젝터 시스템은 하나 이상의 발광 디바이스를 포함할 수 있다. 일 예에서, 발광 디바이스는 VCSEL 어레이로 배열된 복수의 수직 공동 표면 방출 레이저 (VCSEL) 를 포함할 수 있다. 일부 경우에, VCSEL 어레이 내의 각각의 VCSEL 은 협대역 근적외선 (NIR) 광을 갖는 광을 방출할 수 있다. 프로젝터 시스템은 또한 발광 디바이스들에 의해 방출된 광을 적절하게 지향시키는 하나 이상의 광 지향 메커니즘 (예를 들어, 하나 이상의 투사 렌즈, 프리즘, 투사 렌즈와 하나 이상의 프리즘의 조합, 및/또는 스캐닝 미러) 을 포함할 수 있다.
일 예에서, 프로젝터 시스템은 다수의 발광 디바이스들 (예를 들어, 다수의 VSCEL 어레이들) 을 포함할 수 있으며, 각각의 발광 디바이스는 전체 FOV 의 특정 FOV 부분을 조명하도록 구성된다. 예를 들어, 발광 디바이스들의 수는 FOV 가 분할되는 FOV 부분들의 수와 동일할 수 있다. 각각의 발광 디바이스는 (예를 들어, 단일 발광 디바이스만이 임의의 시점에서 각각의 FOV 부분을 향해 광을 방출하도록) 선택적으로 및/또는 개별적으로 활성화될 수 있다. 이러한 예에서, 하나 이상의 광 지향 메커니즘은 다수의 투사 렌즈들의 렌즈 어레이 및/또는 프리즘 (또는 일부 경우에 다수의 프리즘들) 을 포함할 수 있다. 예를 들어, 렌즈 어레이의 각각의 투사 렌즈는 각각의 발광 디바이스에 대응할 수 있다. 렌즈 어레이의 다수의 투사 렌즈는 각각의 발광 디바이스에 의해 방출된 광이 적절한 FOV 부분을 조명하는 것을 보장하도록 포지셔닝 (예를 들어, 특정 각도로 유지) 될 수 있다. 렌즈 어레이 및/또는 프리즘 (또는 다수의 프리즘) 과 조합하여 다수의 발광 디바이스들을 사용하는 것은, 전체 FOV 에 대한 거리 측정들을 캡쳐하기 위해 어떠한 기계적 이동도 필요하지 않도록 보장할 수 있다.
다른 예에서, 프로젝터 시스템은 개별 FOV 부분들을 선택적으로 조명하도록 구성된 단일 발광 디바이스 (예를 들어, 단일 VSCEL 어레이) 를 포함할 수 있다. 이러한 예에서, 하나 이상의 광 지향 메커니즘은 스캐닝 미러 (예를 들어, 마이크로 전기 메커니즘 시스템 (MEMS) 미러) 를 포함할 수 있다. 스캐닝 미러의 배향은 각각의 FOV 부분을 조명하기 위해 발광 디바이스에 의해 방출된 광을 순차적으로 반사시키도록 주기적으로 조정 (예를 들어, 특정 각도로 이동) 될 수 있다. 스캐닝 미러를 사용하는 것은 ToF 시스템의 기계적 이동을 수반할 수 있지만, 스캐닝 미러의 기계적 피로는 무시할 수 있다. 따라서, 스캐닝 미러의 기계적 이동은 스캐닝 미러의 수명에 걸쳐 프로젝터 시스템의 성능을 저하시키지 않을 수 있다. 스캐닝 미러를 사용하는 것은 단일 발광 디바이스만이 ToF 시스템에 의해 사용되는 것을 가능하게 할 수 있다.
ToF 시스템은 전체 FOV 의 개별 FOV 부분들에 대응하는 거리 측정치들을 조합함으로써 전체 FOV 의 전체 깊이 맵을 생성할 수 있다. 예를 들어, ToF 시스템은 개별 FOV 부분들에 대응하는 프레임들을 함께 "스티칭"할 수 있다. 프레임들은 프레임들이 캡처됨에 따라 또는 모든 프레임들이 캡처된 후에 조합될 수 있다. 일부 경우에, 인접한 FOV 부분에 대응하는 프레임은 미리 결정된 양의 중첩 (예를 들어, 미리 결정된 수의 중첩 픽셀) 을 포함할 수 있다. 중첩은 ToF 시스템이 개별 프레임들을 전체 FOV 의 코히시브 (cohesive) 깊이 맵으로 효율적으로 그리고/또는 끊김없이 컴파일하는 것을 가능하게 할 수 있다.
일부 경우들에서, ToF 시스템은 동기화 방식에 따라 프로젝터 시스템 및 ToF 센서를 동기화할 수 있다. 동기화를 수행함으로써, ToF 시스템은 그러한 특정 FOV 부분이 조명될 때 ToF 센서가 특정 FOV 부분과 연관된 거리 측정치들을 결정하는 것을 보장할 수 있다. 일 예에서, ToF 시스템은 프로젝터 시스템에 동기화 신호를 전송하는 제어기를 포함할 수 있다. 프로젝터 시스템이 다수의 발광 디바이스들 (예를 들어, 다수의 VCSEL 어레이들) 을 포함하는 경우, 동기화 신호는 어느 발광 디바이스가 현재 턴 온될 것인지를 표시할 수 있다. 프로젝터 시스템이 스캐닝 미러를 포함하는 경우, 동기화 신호는 스캐닝 미러가 배향될 특정 각도를 표시할 수 있다. 또한, 제어기는 ToF 센서에 동기화 신호를 전송할 수 있다. 이 동기화 신호는 어느 FOV 부분이 프로젝터 시스템에 의해 현재 조명되고 있는지를 센서에 표시할 수 있다. 동기화 신호에 기초하여, ToF 센서는 FOV 부분들이 순차적으로 조명됨에 따라 개별 FOV 부분들과 연관된 거리 측정들을 정확하게 라벨링할 수 있다.
고해상도 ToF 시스템들에 관한 추가적인 상세들이 다양한 도면들과 관련하여 본 명세서에서 제공된다. 도 1 은 비행 시간 (ToF) 신호 프로세싱을 위한 예시적인 이미지 프로세싱 시스템 (100) 을 도시하는 도면이다. 이 예시적인 예에서, 이미지 프로세싱 시스템 (100) 은 ToF 시스템 (102), 이미지 센서 (104), 저장소 (106), 및 애플리케이션 프로세서 (110) 를 포함할 수 있다. 일부 예들에서, 이미지 프로세싱 시스템 (100) 은 선택적으로, 이미지 프로세싱 시스템 (100) 이 애플리케이션 프로세서 (110) 에 대해 본 명세서에 설명된 동작들/기능들 중 하나 이상을 수행하기 위해 사용할 수 있는, 예를 들어, 중앙 프로세싱 유닛 (CPU), 그래픽 프로세싱 유닛 (GPU), 디지털 신호 프로세서 (DSP), 및/또는 이미지 신호 프로세서 (ISP) 와 같은 다른 컴퓨트 컴포넌트들 (108) 을 포함할 수 있다. 일부 경우들에서, 애플리케이션 프로세서 (110) 및/또는 다른 컴퓨트 컴포넌트들 (108) 은 ToF 엔진 (130), 이미지 프로세싱 엔진 (134), 및/또는 렌더링 엔진 (136) 을 구현할 수 있다.
일부 예들에서, 애플리케이션 프로세서 (110) 및/또는 다른 컴퓨트 컴포넌트들 (108) 은 또한 도 1 에 도시되지 않은 하나 이상의 컴퓨팅 엔진을 구현할 수 있다는 점에 유의해야 한다. ToF 엔진 (130), 이미지 프로세싱 엔진 (134), 및 렌더링 엔진 (136) 은 예시 및 설명을 위해 본 명세서에 제공되고, 다른 가능한 컴퓨팅 엔진들은 단순화를 위해 도시되지 않는다. 또한, 설명의 편의를 위해, ToF 엔진 (130), 이미지 프로세싱 엔진 (134), 렌더링 엔진 (136) 및 이들의 다양한 동작들은 애플리케이션 프로세서 (110) 에 의해 구현되는 바와 같이 본 명세서에 설명될 것이다. 그러나, 당업자는, 다른 예들에서, ToF 엔진 (130), 이미지 프로세싱 엔진 (134), 렌더링 엔진 (136), 및/또는 개시된 그들의 다양한 동작들이 다른 컴퓨트 컴포넌트들 (108) 에 의해 구현될 수 있다는 것을 인식할 것이다.
이미지 프로세싱 시스템 (100) 은 컴퓨팅 디바이스 또는 다중의 컴퓨팅 디바이스들의 부분이거나 그에 의해 구현될 수 있다. 일부 예들에서, 이미지 프로세싱 시스템 (100) 은 카메라 시스템 (예를 들어, 디지털 카메라, IP 카메라, 비디오 카메라, 보안 카메라 등), 전화 시스템 (예를 들어, 스마트폰, 셀룰러 전화, 회의 시스템 등), 랩톱 또는 노트북 컴퓨터, 태블릿 컴퓨터, 셋톱 박스, 텔레비전, 디스플레이 디바이스, 디지털 미디어 플레이어, 게이밍 콘솔, 비디오 스트리밍 디바이스, 헤드-마운티드 디스플레이 (HMD), 확장 현실 (XR) 디바이스, 드론, 자동차 내의 컴퓨터, IoT (Internet-of-Things) 디바이스, 스마트 웨어러블 디바이스, 또는 임의의 다른 적절한 전자 디바이스 (들) 와 같은 전자 디바이스 (또는 디바이스들) 의 일부일 수 있다. 일부 구현들에서, ToF 시스템 (102), 이미지 센서 (104), 저장소 (106), 다른 컴퓨트 컴포넌트들 (108), 애플리케이션 프로세서 (110), ToF 엔진 (130), 이미지 프로세싱 엔진 (134) 및 렌더링 엔진 (136) 은 동일한 컴퓨팅 디바이스의 일부일 수 있다.
예를 들어, 일부 경우들에서, ToF 시스템 (102), 이미지 센서 (104), 저장소 (106), 다른 컴퓨트 컴포넌트들 (108), 애플리케이션 프로세서 (110), ToF 엔진 (130), 이미지 프로세싱 엔진 (134), 및 렌더링 엔진 (136) 은 카메라, 스마트폰, 랩톱, 태블릿 컴퓨터, 스마트 웨어러블 디바이스, HMD, XR 디바이스, IoT 디바이스, 게임 시스템, 및/또는 임의의 다른 컴퓨팅 디바이스 내에 통합될 수 있다. 그러나, 일부 구현들에서, ToF 시스템 (102), 이미지 센서 (104), 저장소 (106), 다른 컴퓨트 컴포넌트들 (108), 애플리케이션 프로세서 (110), ToF 엔진 (130), 이미지 프로세싱 엔진 (134) 및/또는 렌더링 엔진 (136) 중 하나 이상은 2개 이상의 별개의 컴퓨팅 디바이스들의 일부이거나 그에 의해 구현될 수 있다.
ToF 시스템 (102) 은 근적외선 (NIR) 과 같은 광을 사용하여 타겟 (예를 들어, 주변/인근 장면, 하나 이상의 주변/인근 객체 등) 에 대한 깊이 및/또는 거리 정보를 결정할 수 있다. 일부 예들에서, ToF 시스템 (102) 은 장면과 같은 타겟 내의 각각의 픽셀의 거리 및 강도 둘 다를 측정할 수 있다. ToF 시스템 (102) 은 타겟에 부딪히고 ToF 시스템 (102) 으로 리턴/반사할 수 있는 타겟 (예를 들어, 장면, 객체 등) 을 향해 광 신호를 방출하기 위한 광 방출기를 포함할 수 있다. ToF 시스템 (102) 은 또한 리턴된/반사된 광을 검출 및/또는 측정하도록 센서를 포함할 수 있으며, 이는 그후 타겟에 대한 깊이 및/또는 거리 정보를 결정하는 데 사용될 수 있다. ToF 시스템 (102) 에 대한 타겟의 거리는 깊이 맵핑을 수행하는 데 사용될 수 있다. 타겟의 거리는 직접 ToF 또는 간접 ToF 를 통해 계산될 수 있다.
직접 ToF 에서, 거리는 방출된 광 펄스 신호 및 리턴된/반사된 광 펄스 신호의 트레블 시간 (예를 들어, 광 신호가 방출되고 리턴된/반사된 광 신호가 수신된 때로부터의 시간) 에 기초하여 계산될 수 있다. 예를 들어, 방출된 광 신호 및 리턴된/반사된 광 신호의 왕복 거리는 방출된 광 펄스 신호 및 리턴된/반사된 광 펄스 신호의 트레블 시간에 일반적으로 c 로 나타내는 광의 속도를 곱함으로써 계산될 수 있다. 이어서, 계산된 왕복 거리는 ToF 시스템 (102) 으로부터 타겟까지의 거리를 결정하기 위해 2 로 분할될 수 있다.
간접 ToF 에서, 거리는 변조된 광을 타겟을 향해 전송하고 리턴된/반사된 광의 위상을 측정함으로써 계산될 수 있다. 방출된 광의 주파수 (f), 리턴/반사된 광의 위상 시프트, 및 광의 속도를 아는 것은, 타겟까지의 거리가 계산되게 허용한다. 예를 들어, 방출된 광의 경로와 리턴된/반사된 광의 경로 사이의 런타임 차이는 리턴된/반사된 광의 위상 시프트를 초래한다. 방출된 광과 리턴/반사된 광 사이의 위상 차 및 광의 변조 주파수 (f) 는 ToF 시스템 (102) 과 타겟 사이의 거리를 계산하는 데 사용될 수 있다. 예를 들어, ToF 시스템 (102) 과 타겟 사이의 거리에 대한 공식은 (c/2f) × 위상 시프트/2π 일 수 있다. 이것이 보여주는 바와 같이, 더 높은 주파수의 광은 더 높은 측정 정확도를 제공할 수 있지만 측정될 수 있는 더 짧은 최대 거리를 초래할 것이다.
따라서, 일부 예들에서, 본 명세서에서 추가로 설명되는 바와 같이, 측정 정확도 및/또는 거리를 개선하기 위해 이중 주파수들이 사용될 수 있다. 예를 들어, 60MHz 광 신호는 2.5미터 떨어진 타겟을 측정하는데 사용될 수 있고, 100MHz 광 신호는 1.5미터 떨어진 타겟을 측정하는데 사용될 수 있다. 이중 주파수 시나리오에서, 60MHz 및 100MHz 광 신호들 모두는 타겟까지의 거리를 계산하기 위해 사용될 수 있다.
이미지 센서 (104) 는 임의의 이미지 및/또는 비디오 센서 또는 캡처 디바이스, 예를 들어 디지털 카메라 센서, 비디오 카메라 센서, 스마트폰 카메라 센서, 텔레비전 또는 컴퓨터, 카메라 등과 같은 전자 장치 상의 이미지/비디오 캡처 디바이스를 포함할 수 있다. 일부 경우에, 이미지 센서 (104) 는 디지털 카메라, 비디오 카메라, IP 카메라, 스마트폰, 스마트 텔레비전, 게임 시스템 등과 같은 카메라 또는 컴퓨팅 디바이스의 일부일 수 있다. 일부 예들에서, 이미지 센서 (104) 는 후방 및 전방 센서 디바이스들과 같은 다수의 이미지 센서들을 포함할 수 있고, 듀얼 카메라 또는 다른 멀티 카메라 조립체 (예를 들어, 2개의 카메라, 3개의 카메라, 4개의 카메라, 또는 다른 수의 카메라들을 포함함) 의 일부일 수 있다. 이미지 센서 (104) 는 이미지 및/또는 비디오 프레임들 (예컨대, 원시 이미지 및/또는 비디오 데이터) 를 캡처할 수 있으며, 이는, 그후, 추가로 본 명세서에서 설명된 바와 같이, 어플리케이션 컴포넌트들 (110), ToF 엔진 (130), 이미지 프로세싱 엔진 (134), 및/또는 렌더링 엔진 (136) 에 의해 프로세싱될 수 있다.
저장소 (106) 는 데이터를 저장하기 위한 임의의 저장 디바이스 (들) 일 수 있다. 또한, 저장소 (106) 는 이미지 프로세싱 시스템 (100) 의 컴포넌트들 중 임의의 컴포넌트로부터의 데이터를 저장할 수 있다. 예를 들어, 저장소 (106) 는 ToF 시스템 (102)(예를 들어, ToF 센서 데이터 또는 측정들), 이미지 센서 (104)(예를 들어, 프레임들, 비디오들 등) 으로부터의 데이터, 다른 컴퓨트 컴포넌트들 (108) 및/또는 애플리케이션 프로세서 (110)(예를 들어, 프로세싱 파라미터들, 이미지 데이터, ToF 측정들, 깊이 맵들, 튜닝 파라미터들, 프로세싱 출력들, 소프트웨어, 파일들, 설정들 등) 로부터의 및/또는 그에 의해 사용되는 데이터, ToF 엔진 (130)(예를 들어, 하나 이상의 신경망들, 이미지 데이터, 튜닝 파라미터들, 보조 메타데이터, ToF 센서 데이터, ToF 측정들, 깊이 맵들, 트레이닝 데이터세트들 등), 이미지 프로세싱 엔진 (134)(예를 들어, 이미지 프로세싱 데이터 및/또는 파라미터들 등) 으로부터의 및/또는 그에 의해 사용되는 데이터, 렌더링 엔진 (136)(예를 들어, 출력 프레임들), 이미지 프로세싱 시스템 (100) 의 작동 시스템, 이미지 프로세싱 시스템 (100) 의 소프트웨어로부터의 및/또는 그에 의해 사용되는 데이터, 및/또는 임의의 다른 타입의 데이터를 저장할 수 있다.
애플리케이션 프로세서 (110) 는, 예를 들어, 제한 없이, 애플리케이션 프로세서 (110) 가 이미지/비디오 프로세싱, ToF 신호 프로세싱, 그래픽 렌더링, 머신 러닝, 데이터 프로세싱, 계산들, 및/또는 임의의 다른 동작들과 같은 다양한 컴퓨팅 동작들을 수행하는 데 사용할 수 있는 CPU (112), GPU (114), DSP (116), 및/또는 ISP (118) 를 포함할 수 있다. 도 1 에 도시된 예에서, 애플리케이션 프로세서 (110) 는 ToF 엔진 (130), 이미지 프로세싱 엔진 (134), 및 렌더링 엔진 (136) 을 구현한다. 다른 예들에서, 어플리케이션 프로세서 (110) 는 또한, 하나 이상의 다른 프로세싱 엔진들을 구현할 수 있다. 또한, 일부 경우에, ToF 엔진 (130) 은 ToF 신호 프로세싱을 수행하고/하거나 깊이 맵을 생성하도록 구성된 하나 이상의 머신 러닝 알고리즘 (예를 들어, 하나 이상의 신경망) 을 구현할 수 있다.
일부 경우에, 애플리케이션 프로세서 (110) 는 또한 메모리 (122)(예를 들어, 랜덤 액세스 메모리 (RAM), 동적 RAM 등) 및 캐시 (120) 를 포함할 수 있다. 메모리 (122) 는 하나 이상의 메모리 디바이스를 포함할 수 있고, 예를 들어, 휘발성 메모리 (예를 들어, RAM, DRAM, SDRAM, DDR, 정적 RAM 등), 플래시 메모리, 플래시 기반 메모리 (예를 들어, 솔리드 스테이트 드라이브) 등과 같은 임의의 타입의 메모리를 포함할 수 있다. 일부 예들에서, 메모리 (122) 는 하나 이상의 DDR (예를 들어, DDR, DDR2, DDR3, DDR4 등) 메모리 모듈들을 포함할 수 있다. 다른 예들에서, 메모리 (122) 는 다른 타입의 메모리 모듈 (들) 을 포함할 수 있다. 메모리 (122) 는 예를 들어, 이미지 데이터, ToF 데이터, 프로세싱 파라미터들 (예를 들어, ToF 파라미터들, 튜닝 파라미터들 등), 메타데이터, 및/또는 임의의 타입의 데이터와 같은 데이터를 저장하는 데 사용될 수 있다. 일부 예들에서, 메모리 (122) 는 ToF 시스템 (102), 이미지 센서 (104), 저장소 (106), 다른 컴퓨트 컴포넌트들 (108), 애플리케이션 프로세서 (110), ToF 엔진 (130), 이미지 프로세싱 엔진 (134), 및/또는 렌더링 엔진 (136) 으로부터의 및/또는 이들에 의해 사용되는 데이터를 저장하는 데 사용될 수 있다.
캐시 (120) 는 데이터를 저장하는 하나 이상의 하드웨어 및/또는 소프트웨어 컴포넌트들을 포함할 수 있어서, 그 데이터에 대한 미래의 요청들은 메모리 (122) 또는 저장소 (106) 상에 저장되는 경우보다 더 빠르게 서빙될 수 있다. 예를 들어, 캐시 (120) 는 예를 들어, 시스템 캐시 또는 L2 캐시와 같은 임의의 타입의 캐시 또는 버퍼를 포함할 수 있다. 캐시 (120) 는 메모리 (122) 및 저장소 (106) 보다 더 빠르고 및/또는 더 비용 효과적일 수 있다. 또한, 캐시 (120) 는 메모리 (122) 및 저장소 (106) 보다 낮은 전력 및/또는 동작 요구 또는 풋프린트를 가질 수 있다. 따라서, 일부 경우들에서, 캐시 (120) 는 이미지 데이터 또는 ToF 데이터와 같은 이미지 프로세싱 시스템 (100) 의 하나 이상의 컴포넌트들 (예를 들어, 애플리케이션 프로세서 (110)) 에 의해 미래에 프로세싱 및/또는 요청될 것으로 예상되는 특정 타입들의 데이터를 저장/버퍼링하고 신속하게 서빙하기 위해 사용될 수 있다.
일부 예들에서, ToF 엔진 (130), 이미지 프로세싱 엔진 (134), 및 렌더링 엔진 (136)(및 임의의 다른 프로세싱 엔진들) 에 대한 동작들은 애플리케이션 프로세서 (110) 내의 컴퓨트 컴포넌트들 중 임의의 것에 의해 구현될 수 있다. 하나의 예시적인 예에서, 렌더링 엔진 (136) 의 동작들은 GPU (114) 에 의해 구현될 수 있고, ToF 엔진 (130), 이미지 프로세싱 엔진 (134), 및/또는 하나 이상의 다른 프로세싱 엔진들의 동작들은 CPU (112), DSP (116), 및/또는 ISP (118) 에 의해 구현될 수 있다. 일부 예들에서, ToF 엔진 (130) 및 이미지 프로세싱 엔진 (134) 의 동작들은 ISP (118) 에 의해 구현될 수 있다. 다른 예들에서, ToF 엔진 (130), 및/또는 이미지 프로세싱 엔진 (134) 의 동작들은 ISP (118), CPU (112), DSP (116), 및/또는 ISP (118), CPU (112), 및 DSP (116) 의 조합에 의해 구현될 수 있다.
일부 경우들에서, 어플리케이션 프로세서 (110) 는 본 명세서에서 설명된 다양한 동작들 중 임의의 것을 수행하기 위해 다른 전자 회로들 또는 하드웨어, 컴퓨터 소프트웨어, 펌웨어, 또는 이들의 임의의 조합을 포함할 수 있다. 일부 예들에서, ISP (118) 는 ToF 시스템 (102) 및/또는 이미지 센서 (104) 에 의해 캡처 또는 생성된 데이터 (예를 들어, 이미지 데이터, ToF 데이터 등) 를 수신하고 데이터를 처프로세싱하여 출력 깊이 맵들 및/또는 프레임들을 생성할 수 있다. 프레임은 비디오 시퀀스 또는 스틸 이미지의 비디오 프레임을 포함할 수 있다. 프레임은, 장면을 나타내는 픽셀 어레이를 포함할 수 있다. 예를 들어, 프레임은 픽셀 당 적색, 녹색, 및 청색 컬러 성분들을 갖는 적색-녹색-청색 (RGB) 프레임; 픽셀 당 루마 컴포넌트 및 2개의 크로마 (컬러) 컴포넌트들 (크로마-적색 및 크로마-청색) 을 갖는 루마, 크로마-적색, 크로마-청색 (YCbCr) 프레임; 또는 임의의 다른 적합한 타입의 컬러 또는 단색 픽처일 수 있다.
일부 예들에서, ISP (118) 는 하나 이상의 프로세싱 엔진들 (예를 들어, ToF 엔진 (130), 이미지 프로세싱 엔진 (134) 등) 을 구현할 수 있고, 깊이 계산, 깊이 맵핑, 필터링, 디모자이킹, 스케일링, 컬러 보정, 컬러 변환, 잡음 감소 필터링, 공간 필터링, 아티팩트 보정 등과 같은 ToF 신호 프로세싱 및/또는 이미지 프로세싱 동작들을 수행할 수 있다. ISP (118) 는 ToF 시스템 (102), 이미지 센서 (104), 저장소 (106), 메모리 (122), 캐시 (120), 애플리케이션 프로세서 (110) 내의 다른 컴포넌트들로부터의 데이터, 및/또는 원격 카메라, 서버 또는 콘텐츠 제공자와 같은 원격 소스로부터 수신된 데이터를 프로세싱할 수 있다.
이미지 프로세싱 (100) 이 특정 컴포넌트들을 포함하는 것으로 도시되지만, 당업자는 이미지 프로세싱 시스템 (100) 이 도 1 에 도시된 컴포넌트들보다 더 많거나 더 적은 컴포넌트들을 포함할 수 있다는 것을 이해할 것이다. 예를 들어, 이미지 프로세싱 시스템 (100) 은 또한, 일부 사례들에서, 하나 이상의 다른 메모리 디바이스들 (예컨대, RAM, ROM, 캐시 등), 하나 이상의 네트워킹 인터페이스들 (예컨대, 유선 및/또는 무선 통신 인터페이스들 등), 하나 이상의 디스플레이 디바이스들, 및/또는 도 1 에 도시되지 않은 다른 하드웨어 또는 프로세싱 디바이스들을 포함할 수 있다. 이미지 프로세싱 시스템 (100) 으로 구현될 수 있는 컴퓨팅 디바이스 및 하드웨어 컴포넌트들의 예시적인 예는 도 10 에 관하여 하기에서 설명된다.
도 2a 는 직접 ToF 감지 절차 (200) 의 예를 예시하는 간략화된 블록도이다. 이 예에서, ToF 시스템 (102) 은 먼저 타겟 (210) 을 향해 광 펄스 (202) 를 방출한다. 타겟 (210) 은 예를 들어 장면, 하나 이상의 객체, 하나 이상의 동물, 하나 이상의 사람 등을 포함할 수 있다. 광 펄스 (202) 는 그것이 타겟 (210) 에 부딪힐 때까지 타겟 (210) 으로 트레블할 수 있다. 광 펄스 (202) 가 타겟 (210) 에 부딪힐 때, 광 펄스 (202) 의 적어도 일부는 ToF 시스템 (102) 으로 다시 반사될 수 있다.
따라서, ToF 시스템 (102) 은 타겟 (210) 으로부터 다시 반사된 광 펄스 (202) 의 적어도 일부를 포함하는 반사된 광 펄스 (204) 를 수신할 수 있다. ToF 시스템 (102) 은 반사 광 펄스 (204) 를 감지하고 반사 광 펄스 (204) 에 기초하여 타겟 (210) 까지의 거리 (206) 를 계산할 수 있다. 거리 (206) 를 계산하기 위해, ToF 시스템 (102) 은 방출된 광 펄스 (202) 및 반사된 광 (204) 에 의해 트레블된 총 시간 (예를 들어, 광 펄스 (202) 가 방출된 때부터 반사된 광 펄스 (204) 가 수신된 때까지의 시간) 을 계산할 수 있다. ToF 시스템 (102) 은 방출된 광 펄스 (202) 및 반사된 광 펄스 (204) 에 의해 트레블된 총 시간에 광의 속도 (c) 를 곱하여 광 펄스 (202) 및 반사된 광 펄스 (204) 에 의해 트레블된 총 거리 (예를 들어, 왕복 시간) 를 결정할 수 있다. 그후, ToF 시스템 (102) 은 ToF 시스템 (102) 으로부터 타겟 (210) 까지의 거리 (206) 를 획득하기 위해 총 트레블 시간을 2로 나눌 수 있다.
도 2b 는 간접 ToF 감지 절차 (220) 의 예를 예시하는 간략화된 블록도이다. 이 예에서, 반사된 광의 위상 시프트는 타겟 (210) 에 대한 깊이 및 거리를 결정하기 위해 계산될 수 있다. 여기서, ToF 시스템 (102) 은 먼저 타겟 (210) 을 향해 변조된 광 (222) 을 방출한다. 변조된 광 (222) 은 특정한 알려진 또는 미리 결정된 주파수를 가질 수 있다. 변조된 광 (222) 은 그것이 타겟 (210) 에 부딪칠 때까지 타겟 (210) 으로 트레블할 수 있다. 변조된 광 (222) 이 타겟 (210) 에 부딪힐 때, 변조된 광 (222) 의 적어도 일부는 ToF 시스템 (102) 으로 다시 반사될 수 있다.
ToF 시스템 (102) 은 반사된 광 (224) 을 수신하고 공식 거리 (206) = (c/2f) × 위상 시프트/2π 를 사용하여 반사된 광 (224) 의 위상 시프트 (226) 및 타겟 (210) 까지의 거리 (206) 를 결정할 수 있으며, 여기서 f 는 변조된 광 (222) 의 주파수이고 c 는 광속이다.
일부 경우들에서, 깊이 및 거리 (예를 들어, 206) 를 계산할 때, 광이 반사되는 방식에 영향을 주는 하나 이상의 인자들이 계산들을 튜닝하기 위해 고려되거나 사용될 수 있다. 예를 들어, 물체 및 표면은 광이 상이하게 반사되게 할 수 있는 특정한 특징을 가질 수 있다. 예시하기 위해, 상이한 표면들은 상이한 굴절률들을 가질 수 있으며, 이는 광이 표면들 및/또는 표면들 내의 재료 (들) 와 인터페이싱하거나 트레블하는 방식에 영향을 줄 수 있다. 더욱이, 재료 불규칙성 또는 산란 중심과 같은 불균일성은 광이 반사, 굴절, 투과 또는 흡수되게 할 수 있고, 때때로 에너지의 손실을 야기할 수 있다. 따라서, 광이 표면에 부딪힐 때, 광이 흡수, 반사, 투과 등이 될 수 있다. 표면에 의해 반사되는 빛의 비율을 그 반사율이라 칭한다. 그러나, 반사율은 표면 (예를 들어, 굴절률, 재료 특성, 균일성 또는 불균일성 등) 에 의존할 뿐만 아니라, 반사되는 광의 타입 및 주변 환경 (예를 들어, 온도, 주위 광, 수증기 등) 에 의존할 수 있다. 따라서, 아래에서 추가로 설명되는 바와 같이, 일부 경우들에서, 주위 환경에 관한 정보, 광의 타입, 및/또는 타겟 (210) 의 특성들은 타겟 (210) 에 대한 거리 (206) 및/또는 깊이 정보를 계산할 때 고려될 수 있다.
도 3 은 광 신호의 위상 각도를 측정하기 위한 예시적인 기법을 예시하는 다이어그램이다. 이 예에서, ToF 시스템 (102) 은 변조된 광 신호 (222) 를 방출하고 반사된 광 (224) 을 수신한다. ToF 시스템 (102) 은 4개의 상이한 지점들 (302, 304, 306, 및 308) 에서 반사된 광 (224) 의 진폭 (A) 을 측정하여, 측정 지점 (302) 에서 진폭 A 1 , 측정 지점 (304) 에서 진폭 A 2 , 측정 지점 (306) 에서 진폭 A 3 , 측정 지점 (308) 에서 진폭 A 4 을 결정한다. 측정 지점 (302, 304, 306, 및 308) 은 동일하게 이격된 지점 (예를 들어, 0°, 90°, 180°, 270°) 일 수 있다.
반사된 광 (224) 의 위상 각도는 다음의 등식으로 표현될 수 있다:
등식 1
식 1 은 지점들 (302, 304, 306, 및 308) 에서의 진폭 측정들과 반사된 광 (224) 의 위상 각도 사이의 관계를 예시한다. A 1　와　A 3 사이의 차이와 A 2 　와 A 4 사이의 차이의 비는 위상 각도의 탄젠트와 동일하다.
도 4 는 ToF 감지를 위한 연속파 방법 (400) 을 예시하는 다이어그램이다. 이 예에서, 방출된 광 신호 (402) 및 반사된 광 신호 (404) 는 반사된 광 신호 (404) 의 위상 지연을 결정하기 위해 상호 상관될 수 있다. 광 신호 (402) 는 먼저 방출되고 반사된 광 신호 (404) 의 샘플링된 양들 (406-412)은 4개의 위상차 (out-of-phase) 시간 윈도우들 (예를 들어, 센서 통합 시간 윈도우들)(C 1 414, C 2 416, C 3 418 및 C 4 420) 을 사용하여 측정될 수 있고, 각각의 윈도우 (414-420) 는 C 1 이 0 도, C 2 가 180도, C 3 가 90도, C 4 가 270도로 되도록, 위상-스텝핑된다. 도 4 에 예시된 바와 같이, 측정된 양들 (406-412) 은 측정 시간 윈도우들과 반사된 광 신호 (404) 사이의 중첩 영역들에 대응한다.
방출된 광 신호 (402) 와 반사된 광 신호 (404) 사이의 위상 지연 (φ) 및 거리 (d) 는 다음 등식에 의해 계산될 수 있다:
등식 2
등식 3
일부 예들에서, 수량들 (406-412)은 픽셀 오프셋을 계산하기 위해 사용될 수 있고, 픽셀 세기는 오프셋일 수 있다. 또한, 일부 경우에, 용어 및 는 양들 (406-412) 로부터의 일정한 오프셋의 효과를 감소시킬 수 있다. 위상 방정식, 등식 2 에서의 몫은, 예를 들어, 시스템 증폭, 시스템 감쇠, 반사된 강도 등과 같은 거리 측정들로부터 시스템 또는 환경 변동들의 영향들을 감소시킬 수 있다.
도 5 는 ToF 신호 프로세싱을 위한 예시적인 이미지 프로세싱 시스템 (500) 을 도시하는 도면이다. 일부 경우에, 이미지 프로세싱 시스템 (500) 은 도 1 의 이미지 프로세싱 시스템 (100) 의 전부 또는 일부에 대응할 수 있다. 도 5 에 도시된 바와 같이, 이미지 프로세싱 시스템 (500) 은 투사 시스템 (502), 수신 시스템 (508) 및 프로세서 (518) 를 포함할 수 있다. 이미지 프로세싱 시스템 (500) 의 이들 및/또는 다른 컴포넌트들은 깊이 맵 (516) 을 생성하도록 구성될 수 있다. 깊이 맵 (516) 은 이미지 프로세싱 시스템 (500) 의 FOV 내의 타겟들 (예를 들어, 객체들) 과 연관된 깊이 정보를 포함할 수 있다.
일부 경우에, 투사 시스템 (502) 은 하나 이상의 발광 디바이스 (504) 를 포함할 수 있다. 하나 이상의 발광 디바이스 (504) 는 하나 이상의 타겟에 대한 깊이 정보 (예를 들어, 거리 측정들) 를 획득할 목적으로 광을 방출하도록 구성된 임의의 디바이스를 포함할 수 있다. 예시적인 예에서, 하나 이상의 발광 디바이스 (504) 는 하나 이상의 수직 공동 표면 방출 레이저 (VCSEL) 또는 다른 레이저 디바이스를 포함할 수 있다. 예를 들어, 하나 이상의 발광 디바이스 (504) 는 VCSEL 어레이로 배열된 복수의 VCSEL 을 포함할 수 있다. 아래에서 더 상세히 설명되는 바와 같이, 투사 시스템 (502) 은 단일 VCSEL 어레이 또는 다수의 VCSEL 어레이들을 포함할 수 있다. 일부 경우에, 하나 이상의 발광 디바이스 (504) 는 특정 파장 (또는 특정 범위의 파장) 을 갖는 광을 방출하도록 구성될 수 있다. 비제한적인 예에서, 하나 이상의 발광 디바이스 (504) 는 협대역 근적외선 (NIR) 광 (예를 들어, 800 내지 2500 나노미터의 파장을 갖는 광) 을 방출하도록 구성될 수 있다. 하나 이상의 발광 디바이스 (504) 는 ToF 데이터를 획득하기에 적합한 임의의 파장을 갖는 광을 방출할 수 있다.
도시된 바와 같이, 투사 시스템 (502) 은 하나 이상의 광 지향 디바이스 (506) 를 포함할 수 있다. 하나 이상의 광 지향 디바이스 (506) 는 하나 이상의 발광 디바이스 (504) 에 의해 방출된 광의 각도를 변경, 조정, 또는 다른 방식으로 지향시키도록 구성된 임의의 디바이스를 포함할 수 있다. 일 예에서, 하나 이상의 광-지향 디바이스 (506) 는 굴절에 의해 광을 분산시키는 하나 이상의 투사 렌즈를 포함할 수 있다. 다른 예에서, 광-지향 디바이스들 (506) 은 미러 반사의 법칙에 기초하여 원하는 각도로 광을 반사하는 하나 이상의 미러를 포함할 수 있다. 아래에서 더 상세히 설명되는 바와 같이, 하나 이상의 광 지향 디바이스 (506) 는 하나 이상의 발광 디바이스 (504) 에 의해 방출된 광을 이미지 프로세싱 시스템 (500) 의 FOV의 특정 부분들로 선택적으로 지향시키도록 구성될 수 있다.
일부 경우에, 투사 시스템 (502) 은 조명 신호 (512) 를 생성하고 투사할 수 있다. 조명 신호들 (512) 은 하나 이상의 발광 디바이스들 (504) 에 의해 방출되고 하나 이상의 광 지향 디바이스들 (506) 에 의해 지향되는 광에 대응할 수 있다. 일 예에서, 조명 신호들 (512) 은 상이한 시점들에서 방출된 복수의 조명 신호들을 포함할 수 있다. 예를 들어, 조명 신호들 (512) 은 이미지 프로세싱 시스템 (500) 의 상이한 FOV 부분들로 순차적으로 지향되는 일련의 조명 신호들을 포함할 수 있다. 조명 신호 (512) 는 하나 이상의 타겟에 의해 흡수, 송신 및/또는 반사될 수 있다. 반사되는 조명 신호들의 전부 또는 일부는 수신 시스템 (508) 에 의해 캡처될 수 있다. 반사 및 캡처된 조명 신호들은 도 5 의 조명 반사들 (514) 에 대응할 수 있다. 일 예에서, 조명 반사들 (514) 은 수신 시스템 (508) 의 센서 (510) 에 의해 수신될 수 있다. 센서 (510) 는 하나 이상의 발광 디바이스 (504) 에 의해 방출된 광의 파장을 갖는 광을 수신, 캡처 및/또는 프로세싱하도록 구성된 임의의 타입 또는 형태의 디바이스를 포함할 수 있다. 일 예에서, 센서 (510) 는 조명 신호들 (512) 과 대략 동일한 (예를 들어, 소정의 허용오차 내의) 파장을 갖는 광을 통과시키면서 주위 간섭의 전부 또는 일부 (예를 들어, 대부분) 를 필터링하는 스펙트럼 대역통과 필터를 포함할 수 있다. 일부 경우에, 센서 (510) 는 ToF 센서를 포함할 수 있다. 예를 들어, 센서 (510) 는 이미지 프로세싱 시스템 (100) 의 ToF 시스템 (102) 및/또는 이미지 센서 (104) 의 전부 또는 일부에 대응할 수 있다. 센서 (510) 는 하나 이상의 타겟과 연관된 거리 정보를 결정하기 위해 조명 반사들 (514) 을 프로세싱할 수 있다. 예를 들어, 센서 (510) 는 (전술한 직접 ToF 기술에 따라) 조명 신호의 투사와 대응하는 조명 반사의 수신 사이의 시간량에 기초하여 타겟까지의 거리를 결정할 수 있다. 다른 예에서, 센서 (510) 는 (전술한 간접 ToF 기술에 따라) 조명 신호와 대응하는 조명 반사 사이의 위상 시프트에 기초하여 타겟까지의 거리를 결정할 수 있다. 일부 경우들에서, 센서 (510) 의 해상도 (예를 들어, 이미지 해상도) 는 센서 (510) 내의 픽셀들 (예를 들어, 감광성 엘리먼트들) 의 수에 대응한다. 센서 (510) 의 픽셀들의 전부 또는 일부는 투사된 조명 신호에 응답하여 조명 반사를 수신할 수 있다. 일 예에서, 센서 (510) 는 센서 (510) 의 각각의 픽셀에 대응하는 거리 측정을 결정할 수 있다.
일부 예들에서, 프로세서 (518) 는 센서 (510) 에 의해 결정된 거리 측정들에 적어도 부분적으로 기초하여 깊이 맵 (516) 을 생성할 수 있다. 예를 들어, 센서 (510) 및/또는 프로세서 (518) 는 이미지 프로세싱 시스템 (500) 의 전체 FOV 에 대한 거리 측정들의 완전한 세트를 생성하기 위해 개별 FOV 부분들과 연관된 거리 측정들을 조합할 수 있다. 프로세서 (518) 는 거리 측정들의 완전한 세트를 사용하여 전체 FOV 에 대한 깊이 맵을 결정할 수 있다.
도 6a 는 도 5 의 이미지 프로세싱 시스템 (500) 의 예시적인 FOV (602) 의 도면이다. 이 예에서, FOV (602) 는 투사 시스템 (502) 의 누적 FOV 에 대응할 수 있다. 예를 들어, FOV (602) 는 투사 시스템 (502) 의 총 발산 각도를 나타낼 수 있다. 전술한 바와 같이, 하나 이상의 광 지향 디바이스 (506) 는 (예를 들어, 특정 FOV 부분에 대한 투사 시스템 (502) 의 발산 각도를 감소시키기 위해) 다양한 각도로 하나 이상의 발광 디바이스 (504) 에 의해 방출된 광을 지향시키도록 구성될 수 있다. 일 예에서, 각각의 FOV 부분은 투사 시스템 (502) 의 컴포넌트들의 특정 구성과 연관될 수 있다. 따라서, FOV (602) 는 투사 시스템 (502) 의 각각의 가능한 투사 구성으로부터 기인되는 FOV들의 조합을 나타낼 수 있다.
도 6b 는 FOV (602) 의 예시적인 FOV 부분들의 도면이다. 이 예에서, FOV (602) 는 9개의 FOV 부분들을 포함할 수 있다. 일부 경우에, 각각의 FOV 부분과 연관된 ToF 데이터의 해상도 (예를 들어, 이미지 해상도) 는 센서 (510) 의 풀 해상도에 대응할 수 있다. 예를 들어, 각각의 FOV 부분의 장면은 전체 센서 (510) 상에 순차적으로 이미징된다. 이러한 방식으로, 센서 (510) 의 풀 해상도는 각각의 구성에서 이용될 수 있다. 또한, 투사 시스템 (502) 의 풀 조명 파워 (full illumination power) 는 각각의 구성에서 이용될 수 있다. 아래에서 더 상세히 설명되는 바와 같이, 이미지 프로세싱 시스템 (500) 은 센서 (510) 의 해상도보다 큰 해상도를 갖는 깊이 맵을 생성하기 위해 다수의 FOV 부분들과 연관된 ToF 데이터를 조합할 수 있다. 예를 들어, 깊이 맵 (516) 의 해상도는 센서 (510) 의 해상도에 FOV (602) 가 분할되는 FOV 부분들의 수를 곱한 것에 대응할 수 있다. 예시적인 예에서, 센서 (510) 의 해상도는 으로 주어질 수 있고, FOV (602) 는 FOV 부분들로 분할될 수 있다. 이 예에서, 전체 FOV 에 대응하는 누적 깊이 맵의 해상도는 로 주어질 수 있다. 또한, 하나의 FOV 부분이 수평 투사 각도 및 수직 투사 각도 에 대응하면, FOV (602) 의 수평 및 수직 투사 각도는 각각 및 으로 주어질 수 있다. 참조를 위해 도 6a 및 도 6b 를 참 고한다.
일부 경우에, 투사 시스템 (502) 은 FOV (602) 의 각각의 FOV 부분을 순차적으로 조명할 수 있다. 예를 들어, 투사 시스템 (502) 은 제 1 투사 구성에 있는 동안 제 1 조명 신호를 투사함으로써 제 1 FOV 부분을 조명할 수 있다. 수신 시스템 (508) 은 전체 센서 (510) 해상도로 제 1 조명 반사를 캡처 및 프로세싱할 수 있고, 제 1 조명의 풀 해상도 ToF 프레임은 메모리 버퍼에 저장된다. 제 1 조명 반사가 수신 및/또는 프로세싱된 후에, 투사 시스템 (502) 은 제 2 투사 구성에 있는 동안 제 2 조명 신호를 투사함으로써 제 2 FOV 부분을 조명할 수 있다. 수신 시스템 (508) 은 전체 센서 (510) 해상도로 제 2 조명 반사를 캡처 및 프로세싱할 수 있고, 제 2 조명의 풀 해상도 ToF 프레임도 메모리 버퍼에 저장된다. 일부 예들에서, 이미지 프로세싱 시스템 (500) 은 각각의 FOV 부분에 대응하는 조명 반사가 수신될 때까지 조명 신호들을 투사하고 조명 반사들을 수신하는 프로세스를 반복할 수 있다. 이 프로세스 동안, 단일 FOV 부분이 한 번에 조명될 수 있다. 예를 들어, 투사 시스템 (502) 은 다른 FOV 부분을 향해 광을 투사하기 전에 하나의 FOV 부분을 향해 광을 투사하는 것을 중지하도록 구성될 수 있다.
일 예에서, 투사 시스템 (502) 은 순차적 조명 순서에 따라 FOV 부분들을 조명할 수 있다. 순차적 조명 순서는 투사 시스템 (502) 이 FOV 부분들을 "스캔"하는 미리 결정된 순서에 대응할 수 있다. 순차적 조명 순서는 다른 조명 순서들 중에서도, FOV 부분들의 행들을 통해 스캐닝하는 것, FOV 부분들의 열들을 통해 스캐닝하는 것, FOV 부분들을 가로질러 대각선으로 스캐닝하는 것을 포함할 수 있다. 예시적인 예에서, 도 6b 에 도시된 FOV 부분들을 조명하기 위한 순차적 조명 순서는 ToF 프레임들의 시퀀스 FOV1,1, FOV1,2, FOV1,3, FOV 2,1, 등을 따를 수 있다. 일부 경우들에서, 수신 시스템 (508) 은 순차적 조명 순서에 대응하는 순차적 수신 순서로 조명 반사들을 수신할 수 있다. 예를 들어, 센서 (510) 는 센서 (510) 에 의해 수신된 각각의 조명 반사에 응답하여 거리 측정들을 결정할 수 있다. 센서 (510) 는 순차적 조명 순서에 기초하여 적절한 FOV 부분들과 관련하여 특정 거리 측정들을 기록할 수 있다. 예를 들어, 이미지 프로세싱 시스템 (500) 은 투사 시스템 (502) 및 수신 시스템 (508) 에 동기화 신호를 전송할 수 있다. 동기화 신호는 현재 조명되고 있는 FOV 를 투사 시스템 (502) 및 수신 시스템 (508) 둘 다에 표시할 수 있다.
전술한 바와 같이, 이미지 프로세싱 시스템 (500) 은 개별 FOV 부분들과 연관된 거리 측정들을 조합 (예를 들어, "함께 스티칭") 하여 전체 FOV 에 대한 거리 측정들의 완전한 세트를 생성할 수 있다. 개별 FOV 부분들과 연관된 거리 측정들을 조합하기 위해, 이미지 프로세싱 시스템 (500) 은 각각의 FOV 부분에 대한 ToF 프레임들 (예를 들어, 도 6b 의 FOV 부분들에 대한 FOV1,1, FOV1,2, FOV1,3, FOV2,1, 내지 FOV3,3) 을 저장할 수 있다. 일 예에서, 이미지 프로세싱 시스템 (500) 은 센서 (510) 의 내장 메모리 버퍼에 ToF 프레임들을 저장할 수 있다. 다른 예에서, 이미지 프로세싱 시스템 (500) 은 센서 (510) 외부의 시스템 메모리 (예를 들어, 이미지 프로세싱 시스템 (100) 의 저장소 (106)) 에 ToF 프레임들을 저장할 수 있다. 일부 경우들에서, 이미지 프로세싱 시스템 (500) 은 FOV 부분들과 연관된 거리 측정들을 실시간으로 조합할 수 있다. 예를 들어, 센서 (510) 및/또는 프로세서 (518) 는 새로운 조명 반사들이 순차적 조명 순서에 따라 수신되고 프로세싱됨에 따라 거리 측정들의 완전한 세트에 거리 측정들을 통합할 수 있다. 다른 예들에서, 센서 (510) 및/또는 프로세서 (518) 는 각각의 FOV 부분이 스캐닝된 후에 거리 측정들의 완전한 세트를 생성할 수 있다. 거리 측정들의 완전한 세트는 단일 위치 (예를 들어, 동일한 파일 또는 데이터 구조) 에 저장될 수 있고, 깊이 맵 (516) 을 생성하기 위해 사용될 수 있다. 이미지 스티칭 동작은 이미지 프로세싱 시스템 (500) 의 센서 전자장치에 의해 또는 센서 전자장치의 외부에 (예를 들어, 디바이스 CPU 또는 다른 프로세서에 의해) 구현될 수 있다.
일부 예들에서, 하나의 FOV 부분은 다른 FOV 부분과 부분적으로 중첩될 수 있다. 예를 들어, 도 6b는 FOV1,1 과 FOV1,2. 사이의 예시적인 중첩 (612) 을 예시한다. 일 예에서, 오버랩 (612) 은 미리결정된 수의 픽셀의 오버랩에 대응할 수 있다. 예를 들어, FOV1,1 의 수평 해상도 n 은 로 주어질 수 있으며, 여기서 는 FOV 1,1에 고유한 픽셀들에 대응하고, 는 FOV1,1 및 FOV1,2 둘 모두에 포함된 픽셀들에 대응한다. 유사하게, FOV1,1 및 FOV2,1 은 오버랩 (614) 을 공유할 수 있다. 일 예에서, FOV1,1 의 수직 해상도 m 은 로 주어질 수 있고, 여기서 m y 는 FOV1,1 에 고유한 픽셀들에 대응하고, y 는 FOV1,1 및 FOV 2,1 양자 모두에 포함된 픽셀들에 대응한다. 도 6b 에 도시된 바와 같이, 나머지 FOV 부분들의 전부 또는 일부는 유사한 중첩들을 포함할 수 있다. 일부 경우들에서, FOV 부분들 사이의 중첩들은 자동화된 디지털 정렬 기술을 사용하여 FOV 부분들을 함께 끊김없이 "스티칭"하는 이미지 스티칭 방식을 구현하는 것을 용이하게 할 수 있다. 예를 들어, 이미지 프로세싱 시스템 (500) 은 중첩 (예를 들어, 매칭) 거리 측정들을 검출하는 것에 적어도 부분적으로 기초하여 전체 FOV 에 대해 FOV 부분들 내의 픽셀들을 로컬화할 수 있다. 이미지 프로세싱 시스템 (500) 은 중첩을 포함하지 않고, 임의의 적절한 크기의 중첩을 구현할 수 있다.
도 7 은 도 5 의 투사 시스템 (502) 의 예시적인 구현에 대응하는 디바이스 (700) 의 다이어그램이다. 일부 예들에서, 디바이스 (700) 는 다수의 발광 디바이스들을 포함할 수 있다. 예시적인 예에서, 디바이스 (700) 는 복수의 VCSEL 어레이를 가질 수 있다. 도시된 바와 같이, 디바이스 (700) 는 발광 디바이스들 (708 (A), 708 (B), 및 708 (C)) 을 포함하는 하나 이상의 발광 디바이스들을 포함할 수 있다. 도 7 이 3개의 발광 디바이스들 (708 (A), 708 (B), 및 708 (C)) 을 예시하지만, 디바이스 (700) 는 임의의 적합한 구성으로 배열된 임의의 적합한 수의 발광 디바이스들을 포함할 수 있다. 예시적인 예에서, 디바이스 (700) 는 3x3 그리드로 배열된 9개의 발광 디바이스들을 포함할 수 있다. 일부 경우에, 디바이스 (700) 의 발광 디바이스들의 수는 FOV (602) 가 분할되는 FOV 부분들의 수에 대응할 수 있다. 이러한 경우에, 각각의 발광 디바이스는 상이한 FOV 부분에 대응할 수 있다. 예를 들어, 투사 시스템 (502) 은 각각의 FOV 부분을 스캔하기 위해 차례로 각각의 발광 디바이스를 순차적으로 활성화 (예를 들어, 턴 온) 할 수 있다.
일부 경우에, 디바이스 (700) 는 발광 디바이스에 의해 방출된 광을 투사하도록 구성된 하나 이상의 투사 렌즈 및/또는 추가적인 광 지향 컴포넌트를 포함할 수 있다. 예를 들어, 디바이스 (700) 는 복수의 투사 렌즈 (예를 들어, 투사 렌즈 (710(A), 710(B), 및/또는 710(C)) 를 포함하는 투사 렌즈 어레이) 를 포함할 수 있다. 일부 경우에, 투사 렌즈 어레이의 각각의 투사 렌즈는 발광 디바이스 중 하나에 대응할 수 있다 (예를 들어, 발광 디바이스 (708 (A)) 로부터의 광은 복수의 투사 렌즈 중 대응하는 투사 렌즈 (710(A)) 를 통해 방출되고, 발광 디바이스 (708 (B)) 로부터의 광은 대응하는 투사 렌즈 (710(B)) 를 통해 방출된다). 예시적인 예에서, 투사 렌즈 어레이는 복수의 개별 (예를 들어, 분리된) 투사 렌즈를 포함할 수 있다. 일부 예들에서, 디바이스 (700) 는 투사 렌즈 어레이를 포함하지 않는다 (즉, 투사 렌즈 어레이는 선택적일 수 있다). 일부 경우에, 투사 렌즈 어레이의 투사 렌즈 (710(A), 710(B) 및 710(C)) 의 초점 거리는 각각의 FOV 부분, 예를 들어, FOV1,1, FOV1,2,... FOVn,m ...의 정도 (degree) 를 결정한다. 일부 경우에, 광 지향 요소 (예를 들어, 프리즘 (714)) 와 함께 투사 렌즈 (710(A), 710(B), 및 710(C)) 의 초점 거리는 FOV 부분들 사이의 중첩량을 결정한다.
일부 경우에, 도 7 에 도시된 프리즘 (714) 은 광을 상이한 각도 (또는 상이한 각도 범위) 로 지향시키도록 구성될 수 있다. 일부 예들에서, 투사 렌즈 어레이의 각각의 투사 렌즈는 프리즘 (714) 과 함께 특정 각도로 광을 지향시키도록 구성될 수 있다. 예를 들어, 하나의 발광 디바이스 (708 (A), 708 (B) 또는 708 (C)) 가 활성화될 때, 프리즘 (714)(또는 특정 발광 디바이스에 대응하는 투사 렌즈-프리즘 조립체) 은 발광 디바이스 (예를 들어, 발광 디바이스 (708 (A), 708 (B) 또는 708 (C))) 로부터의 광을 원하는 FOV 부분을 향해 벤딩시킬 수 있다. 일 예에서, 프리즘 (714) 은 상이한 방향들로 광을 굴절시키도록 구성된 다수의 프리즘 세그먼트들을 포함하는 세그먼트화된 프리즘 어레이일 수 있다. 예를 들어, 세그먼트화된 프리즘 어레이 상의 각각의 프리즘은 대응하는 발광 디바이스로부터의 광을 특정 FOV 부분과 연관된 원하는 각도로 벤딩할 수 있다. 프리즘 (714) 이 도 7 에 도시되어 있지만, 회절 광학 요소 (DOE) 와 같은 프리즘 이외의 다른 타입의 광학 요소가 사용될 수 있다. 프리즘 세그먼트 (또는 다른 광학 요소) 가 광을 굴절시키는 방향은 다른 특성들 중에서도 프리즘 세그먼트의 굴절률, 프리즘 세그먼트의 정점 각도 (apex angle)(예를 들어, 프리즘 세그먼트의 2개의 면들 사이의 각도) 에 의존할 수 있다. 일부 경우에, 발광 디바이스에 대응하는 프리즘 세그먼트 (예를 들어, 발광 디바이스 위에 포지셔닝된 프리즘 세그먼트) 의 특성은 프리즘 세그먼트가 발광 디바이스에 의해 방출된 광을 원하는 FOV 부분을 향해 밴딩시키도록 선택될 수 있다.
일부 예들에서, 디바이스 (700) 는 복수의 확산기들 (예를 들어, 확산기 어레이 (712)) 을 포함할 수 있다. 확산기 어레이 (712) 의 각각의 확산기는 투사 렌즈 어레이의 각각의 투사 렌즈 (예를 들어, 투사 렌즈 (710(A)) 위의 제 1 확산기, 투사 렌즈 (710(B)) 위의 제 2 확산기, 및 투사 렌즈 (710(C)) 위의 제 3 확산기) 에 대응할 수 있다 (예를 들어, 위에 포지셔닝될 수 있다). 일부 경우에, 확산기 어레이 (712)(예를 들어, 투사 렌즈 어레이와 함께) 는 픽셀화된 VCSEL (또는 다른 타입의 광원) 로부터 방출하는 광을 확산시키고 디바이스 (700) 에 의해 생성된 조명 투사들의 균일성을 증가시킬 수 있다. 일부 경우에, 확산기 (712) 는 투사 렌즈 어레이의 투사 렌즈 (710(A), 710(B) 및 710(C)) 의 다른 측면 상에, VCSEL 어레이 (708) 의 상단 상에, 또는 임의의 다른 적합한 구성으로 배치될 수 있다. 디바이스 (700) 는 도 7 에 예시되지 않은 임의의 추가적인 또는 대안적인 광 지향 디바이스들을 포함할 수 있다.
도 8 은 도 5 의 투사 시스템 (502) 의 다른 예시적인 구현에 대응하는 디바이스 (800) 의 다이어그램이다. 일부 예들에서, 디바이스 (800) 는 단일 발광 디바이스 (808) 를 포함할 수 있다. 예시적인 예에서, 발광 디바이스 (808) 는 단일 VCSEL 어레이일 수 있다. 단일 발광 디바이스 (808) 는 풀 FOV 가 분할되는 각각의 FOV 부분을 순차적으로 조명하는 데 사용될 수 있다. 일부 경우에, 발광 디바이스 (808) 에 의해 방출된 광은 스캐닝 미러 (814) 에 의해 지향될 수 있다. 예시적인 예에서, 스캐닝 미러 (814) 는 MEMS (micro electro mechanism system) 미러일 수 있다. MEMS 미러 스캐너는 다른 이점들 중에서도 높은 신뢰성, 긴 수명, 콤팩트한 크기, 낮은 비용을 포함하는 다양한 이점들을 제공할 수 있다. 스캐닝 미러 (814) 는 임의의 추가적인 또는 대안적인 타입의 스캐닝 미러를 포함하고/하거나 그에 대응할 수 있다.
일부 경우에, 디바이스 (800) 는 방출된 광의 방향을 조정하기 위해 스캐닝 미러 (814) 의 배향을 조정할 수 있다. 예를 들어, 스캐닝 미러 (814) 는 복수의 배향을 가질 수 있다. 각각의 배향은 상이한 FOV 부분의 조명에 대응할 수 있다. 일부 경우에, 스캐닝 미러 (814) 의 특정 배향은 스캐닝 미러 (814) 와 기준 평면 사이의 특정 각도에 대응할 수 있다. 일 예에서, 기준 평면은 발광 디바이스 (808) 의 하나의 평면 (예를 들어, 하나의 면) 일 수 있다. 도 8 은 스캐닝 미러 (814) 의 3개의 예시적인 배향들을 예시한다. 스캐닝 미러 (814) 의 배향 O1 은 도 8 에서 점선으로 도시된다. 배향 O1 에서 스캐닝 미러 (814) 에 의해 투사되는 광의 방향은 대응하는 점선 화살표들로 예시된다. 배향 O2 및 O3 (및 그들의 대응하는 투사된 광의 방향) 은 각각 실선 및 점선으로 예시되어 있다.
디바이스 (800) 는 투사 렌즈 (810) 및/또는 확산기 (812) 와 같은 하나 이상의 추가적인 광 지향 디바이스를 포함할 수 있다. 일부 경우들에서, 확산기 (812) 는 (예를 들어, 일부 경우들에서 렌즈 (810) 와 함께) 디바이스 (800) 에 의해 생성된 조명 투사들의 균일성을 증가시킬 수 있다. 일부 경우에, 확산기 (812) 는 투사 렌즈 (810) 의 다른 측면 상에 또는 발광 디바이스 (808)(예를 들어, VCSEL 어레이) 의 상단 상에 배치될 수 있다. 투사 렌즈 (810) 의 초점 거리는 각각의 FOV 부분, 예를 들어, FOV1,1, FOV1,2,... FOV n,m,...의 정도를 결정한다. 일부 경우에, 광 지향 미러 (814) 의 각도와 함께 투사 렌즈 (810) 의 초점 거리는 FOV 부분들 사이의 중첩의 양을 결정한다. 디바이스 (800) 는 도 8 에 예시되지 않은 임의의 추가적인 또는 대안적인 광 지향 디바이스들을 포함할 수 있다. 일부 예들에서, 디바이스 (800) 는 투사 렌즈 (810) 를 포함하지 않는다 (즉, 투사 렌즈 (810) 는 선택적일 수 있다).
도 9a 는 도 5 의 수신 시스템 (508) 의 예시적인 구현에 대응하는 디바이스 (900) 의 다이어그램이다. 일부 예들에서, 디바이스 (900) 는 (예를 들어, 도 5 의 센서 (510) 에 대응하는) 센서 (910) 를 포함할 수 있다. 디바이스 (900) 는 또한 센서 (910) 상에 조명 반사들 (예를 들어, 도 5 의 투사 시스템 (502), 도 7 의 디바이스 (700), 또는 도 8 의 디바이스 (800) 에 의해 방출된 조명 신호들 (512) 에 기초한 조명 반사들 (514)) 을 포커싱하도록 구성된 하나 이상의 컴포넌트들을 포함할 수 있다. 예를 들어, 디바이스 (900) 는 하나 이상의 이미지 렌즈 (예를 들어, 이미지 렌즈 (902(A), 902(B), 및/또는 902(C))) 를 포함하는 이미지 렌즈 어레이 (902) 를 포함할 수 있다. 예시적인 예에서, 이미지 렌즈 어레이 (902) 는 이미지 렌즈들의 3x3 매트릭스를 포함할 수 있다. 일부 경우에, 이미지 렌즈 어레이 (902) 의 굴절 특성 (예를 들어, 굴절률, 각도, 기울기, 곡률, 틸트 등) 은 하나의 FOV 부분에 대응하는 조명 반사를 센서 (910) 상에 포커싱하도록 선택될 수 있다. 또한, 센서 (910) 는 조명 반사의 캡처를 용이하게 하는 이미지 렌즈 어레이 (902)(또는 도 9 에 도시되지 않은 다른 이미지 렌즈 어레이) 로부터 일정 거리에 포지셔닝될 수 있다. 예를 들어, 센서 (910) 는 이미지 렌즈 어레이 (902) 의 후방 초점 평면 내에 포지셔닝될 수 있다. 하나의 예시적인 예에서, 이미지 렌즈 어레이 (902) 는 초점 거리 (f) 를 가질 수 있다. 센서 (910) 는 도 7 또는 도 8 의 프로젝터에 의해 조명된 장면이 센서 (910) 상에 포커싱되거나 이미징되는 것을 용이하게 하고/하거나 보장하기 위해 이미지 렌즈 어레이 (902) 로부터 거리 (f) 에 포지셔닝될 수 있다. 또한, 일부 경우에, 센서 (910) 는 이미지 렌즈 어레이 (902) 의 중간 및/또는 중심 렌즈 세그먼트에 대해 센터링될 수 있다. 이들 경우에, 이미지 렌즈 세그먼트들 사이의 중심간 거리는 특정 크기 (예를 들어, 특정 투사 각도) 의 FOV 부분을 조명하는 것을 용이하게 하도록 그리고/또는 조명 반사의 초점을 용이하게 하도록 설계될 수 있다. 예를 들어, 이미지 렌즈들 (902(A), 902(B), 및/또는 902(C)) 의 위치들은 원하는 레벨의 광-분산 및/또는 광-포커싱을 용이하게 하도록 설계될 수 있다. 이미지 렌즈 어레이 (902) 의 각각의 이미지 렌즈 (이미지 렌즈들 (902(A), 902(B), 및 902(C))) 는 FOV의 일부, 즉 FOV1,1, FOV1,2, … FOVn,m ...를 센서 (910) 에 이미징하도록 지정된다. 일부 경우에, 이미지 렌즈의 수는 FOV 부분의 수와 동일하다.
일부 예들에서, 이미지 렌즈 어레이 (902) 는 축외 (off-axis) 이미징을 위해 구성될 수 있다. 예를 들어, 축외 이미징 구성에서, 이미지 렌즈의 광학 축은 센서의 중심과 정렬되지 않는다. 일부 경우에, 그러한 축외 이미징은 수차 (예를 들어, 바람직하지 않은 광의 분산) 를 초래할 수 있다. 축외 이미징과 연관된 수차들을 보정 및/또는 고려하기 위해, 이미지 렌즈 어레이 (902) 내의 하나 이상의 이미지 렌즈들은 도 9a 에 예시된 바와 같이 서로에 대해 틸팅될 수 있다. 예를 들어, 센서 (910) 는 이미지 렌즈 어레이 (902) 의 중심 이미지 렌즈 (902(B)) 와 정렬될 수 있고 (예를 들어, 바로 아래에 포지셔닝될 수 있고), 이미지 렌즈 어레이 (902) 의 다른 이미지 렌즈들 (예를 들어, 이미지 렌즈들 (902(A) 및 902(C))) 은 센서 (910) 에 대해 오정렬될 수 있다.
일부 경우에, 디바이스 (900) 는 조명 반사의 캡처를 용이하게 하는 하나 이상의 필터를 포함할 수 있다. 예를 들어, 디바이스 (900) 는 하나 이상의 발광 디바이스들 (예를 들어, 도 7 의 디바이스 (700) 및/또는 도 8 의 디바이스 (800) 의 발광 디바이스들) 에 의해 방출된 광의 주파수에 대응하는 주파수를 갖는 광을 통과시키도록 구성된 대역 통과 필터를 포함할 수 있다. 예시적인 예에서, 디바이스 (900) 는 NIR 광에 대응하는 중심 주파수를 갖는 협대역 대역 통과 필터를 포함할 수 있다. 대역 통과 필터는 외부 광원들, 예를 들어, 태양광으로부터의 광 간섭을 적어도 부분적으로 블로킹하면서 조명 반사들에 대응하는 광을 통과시킬 수 있고, 이에 의해 신호-대-잡음 또는 신호-대-배경 잡음비를 증가시키고, 결과적으로, 생성된 깊이 맵들의 정확도 및/또는 품질을 증가시킨다. 도 9a 는 디바이스 (900) 내에서 구현될 수 있는 예시적인 필터 (922) 를 예시한다. 도시된 바와 같이, 필터 (922) 는 센서 (910) 위에 포지셔닝될 수 있다.
광 투사 시스템 (예를 들어, 도 7 의 디바이스 (700) 및/또는 도 8 의 디바이스 (800) 를 포함할 수 있는 도 5 의 투사 시스템 (502)) 과 함께, 디바이스 (900) 는 순차적 ToF 이미지 캡처 프로세스를 수행할 수 있다. 도 9b 및 도 9c 는 디바이스 (900) 및 디바이스들 (700 및/또는 800) 에 의해 수행될 수 있는 예시적인 순차적 ToF 이미지 캡처 프로세스들을 예시한다. 이하 설명에서는 디바이스 (900) 및 디바이스 (700) 에서 수행되는 순차적인 ToF 영상 캡처링 프로세스의 예를 설명한다. 시간 T1 에서, 디바이스 (700) 는 발광 디바이스 (708 (A)) 를 활성화시켜, 광이 프리즘 (714) 및/또는 투사 렌즈 어레이의 대응하는 투사 렌즈 (710(A)) 에 의해 제 1 FOV 부분을 향해 지향되게 할 수 있다. 이에 응답하여 (예를 들어, 시간 T1 과 동기화된 시간에), 센서 (910) 는 제 1 FOV 부분 (예를 들어, 도 6b 의 ToF 프레임 FOV1,1 에 대응하는 FOV 부분) 의 조명 반사에 대응하는 광을 수신할 수 있다. 이 광은 도 9c 에서 광 L1 로 예시된다. 도 9b 및 도 9c 에 도시된 바와 같이, 수신된 광 (L1) 은 이미지 렌즈 (902(A)) 에 의해 및/또는 디바이스 (900) 의 추가적인 광 지향 컴포넌트들에 의해 센서 (910) 로 지향될 수 있다. 시간 T2 에서, 디바이스 (700) 는 발광 디바이스 (708 (B)) 를 활성화시켜, 광이 프리즘 (714) 및/또는 대응하는 투사 렌즈 (710(B)) 에 의해 제 2 FOV 부분을 향해 지향되게 할 수 있다. 이에 응답하여 (예를 들어, 시간 T2 과 동기화된 시간에), 센서 (910) 는 제 2 FOV 부분 (예를 들어, 도 6b 의 ToF 프레임 FOV1,2 에 대응하는 FOV 부분) 의 조명 반사에 대응하는 광을 수신할 수 있다. 이 광은 도 9c 에서 광 L2 로 예시된다. 수신된 광 (L2) 은 이미지 렌즈 (902(B)) 에 의해 및/또는 디바이스 (900) 의 추가적인 광 지향 컴포넌트들에 의해 센서 (910) 로 지향될 수 있다. 시간 T3 에서, 디바이스 (700) 는 발광 디바이스 (708 (C)) 를 활성화시켜, 광이 프리즘 (714) 및/또는 대응하는 투사 렌즈 (710(C)) 에 의해 제 3 FOV 부분을 향해 지향되게 할 수 있다. 이에 응답하여 (예를 들어, 시간 T3 과 동기화된 시간에), 센서 (910) 는 제 3 FOV 부분 (예를 들어, 도 6b 의 ToF 프레임 FOV1,3 에 대응하는 FOV 부분) 의 조명 반사에 대응하는 광을 수신할 수 있다. 이 광은 도 9c 에서 광 L3 로 예시된다. 수신된 광 (L3) 은 이미지 렌즈 (902(C)) 에 의해 및/또는 디바이스 (900) 의 추가적인 광 지향 컴포넌트들에 의해 센서 (910) 로 지향될 수 있다.
일부 경우에, 시간 T1 과 시간 T2 사이 (및 시간 T2 와 시간 T3 사이) 의 시간량은 디바이스 (700) 가 조명 신호를 하나의 FOV 에 투사하고, 디바이스 (900) 가 조명 신호에 대응하는 조명 반사를 수신하고, 디바이스 (900)(및/또는 추가적인 프로세서 또는 컴퓨팅 디바이스) 가 깊이 맵에 통합하기 위해 조명 반사를 프로세싱하기에 충분할 수 있다. 일부 예들에서, 순차적 ToF 조명 프로세스는 디바이스 (700) 에 연결된 드라이버 (702)(도 7 에 도시됨) 에 의해 적어도 부분적으로 지향될 수 있다. 예를 들어, 드라이버 (702) 는 발광 디바이스들 (708 (A), 708 (B), 및 708 (C)) 에 각각 제어 신호들 (716(A), 716(B), 및 716(C)) 을 전송할 수 있다. 제어 신호들은 단일 발광 디바이스가 한 번에 활성화되도록 지시할 수 있다. 예를 들어, 제어 신호들은 발광 디바이스들의 활성화를 스태거링할 수 있다.
이하 설명에서는 디바이스 (800) 및 디바이스 (900) 에서 수행되는 순차적인 ToF 영상 캡처링 프로세스의 예를 설명한다. 시간 T1 에서, 디바이스 (800) 는 스캐닝 미러 (814) 를 배향 O1 로 배향시켜, 광이 제 1 FOV 부분을 향해 지향되게 할 수 있다. 이에 응답하여 (예를 들어, 시간 T1 과 동기화된 시간에), 센서 (910) 는 제 1 FOV 부분 (예를 들어, 도 6b 의 ToF 프레임 FOV1,1 에 대응하는 FOV 부분) 의 조명 반사에 대응하는 광을 수신할 수 있다. 시간 T2 에서, 디바이스 (800) 는 스캐닝 미러 (814) 를 배향 O2 로 배향시켜, 광이 제 2 FOV 부분을 향해 지향되게 할 수 있다. 이에 응답하여 (예를 들어, 시간 T2 과 동기화된 시간에), 센서 (910) 는 제 2 FOV 부분 (예를 들어, 도 6b 의 ToF 프레임 FOV1,2 에 대응하는 FOV 부분) 의 조명 반사에 대응하는 광을 수신할 수 있다. 시간 T3 에서, 디바이스 (800) 는 스캐닝 미러를 배향 O3 으로 배향시켜, 광이 제 3 FOV 부분을 향해 지향되게 할 수 있다. 이에 응답하여 (예를 들어, 시간 T3 과 동기화된 시간에), 센서 (910) 는 제 3 FOV 부분 (예를 들어, 도 6b 의 ToF 프레임 FOV1,3 에 대응하는 FOV 부분) 의 조명 반사에 대응하는 광을 수신할 수 있다. 일부 경우에, 시간 T1 과 시간 T2 사이 (및 시간 T2와 시간 T3 사이) 의 시간량은 디바이스 (800) 가 조명 신호를 하나의 FOV 에 투사하고, 디바이스 (900) 가 조명 신호에 대응하는 조명 반사를 수신하고, 디바이스 (900)(및/또는 추가적인 프로세서 또는 컴퓨팅 디바이스) 가 깊이 맵에 통합하기 위해 조명 반사를 프로세싱하기에 충분할 수 있다. 일부 예들에서, 순차적 조명 프로세스는 디바이스 (800) 에 통신가능하게 연결된 드라이버 (802) 에 의해 적어도 부분적으로 지향될 수 있다. 예를 들어, 드라이버 (802) 는 제어 신호 (816) 를 스캐닝 미러 (814) 에 전송할 수 있다. 제어 신호 (816) 는 각각의 FOV 부분을 스캐닝하기 위해 적절한 시간에 스캐닝 미러 (814) 의 배향을 조정하도록 스캐닝 미러 (814) 에 지시할 수 있다.
일부 경우에, 디바이스 (700) 는 기계적 이동 없이 복수의 FOV 부분에 대한 거리 측정를 순차적으로 획득하는 것을 용이하게 할 수 있다. 예를 들어, 디바이스 (700) 는, 디바이스 (700) 의 컴포넌트들의 물리적 포지션 및/또는 배향을 조정함으로써 보다는, 발광 디바이스의 선택적 활성화를 통해 원하는 FOV 부분을 조명할 수 있다. 기계적 이동에 대한 필요성을 제거하는 것은 디바이스 (700) 내에서의 고장의 위험을 감소시킬 수 있다. 전술한 바와 같이, 디바이스 (800) 는 스캐닝 미러의 기계적 조정을 통해 복수의 FOV 부분들에 대한 거리 측정들을 획득할 수 있다. 그러나, 스캐닝 미러의 기계적 조정에 의해 야기되는 기계적 피로 (및 대응하는 성능 저하) 는 무시할 수 있다. 또한, 디바이스 (800) 는 디바이스의 크기, 비용 및/또는 복잡성을 감소시킬 수 있는 단일 발광 디바이스를 포함할 수 있다.
도 5 로 돌아가면, 전술한 바와 같이, 이미지 프로세싱 시스템 (500) 은 동기화 신호를 통해 투사 시스템 (502) 과 수신 시스템 (508) 을 동기화할 수 있다. 예를 들어, 이미지 프로세싱 시스템 (500) 은 투사 시스템 (502) 에 제 1 제어 신호를 전송하는 것 및 수신 시스템 (508) 에 제 2 제어 신호를 전송하는 것을 포함하는 동기화 방식을 구현할 수 있다. 일 예에서, 제 1 제어 신호는 순차적 조명 순서를 표시할 수 있고, 제 2 제어 신호는 대응하는 순차적 수신 순서를 표시할 수 있다. 일부 경우에, 제 1 제어 신호 및 제 2 제어 신호는 동일한 (또는 유사한) 시간 동기화된 신호일 수 있다.
도 10a 는 ToF 시스템 (1000(A)) 에 동기화된 예시적인 다이어그램이다. 일 예에서, 동기화된 ToF 시스템 (1000(A)) 의 전부 또는 일부는 도 7 의 디바이스 (700) 및 도 9a 의 디바이스 (900) 에 대응할 수 있다. 도시된 바와 같이, 동기화된 ToF 시스템 (1000(A)) 은 제어기 (1002) 를 포함할 수 있다. 제어기 (1002) 는 디바이스 (700) 의 드라이버 (예를 들어, 드라이버 (702)) 에 제어 신호 (1004) 를 전송할 수 있다. 일부 경우에, 제어 신호 (1004) 는 VCSEL-선택 신호를 나타낼 수 있다. 예를 들어, 제어 신호 (1004) 는 적절한 시간에 디바이스 (700) 의 발광 디바이스들 (708) 을 선택적으로 활성화시키도록 드라이버 (702) 에 지시할 수 있다. 일 예에서, 제어 신호 (1004) 는 도 7 에 도시된 제어 신호들 (716(A), 716(B), 및/또는 716(C)) 을 전송하도록 드라이버 (702) 에 지시할 수 있다. 일부 경우에, 제어 신호 (716(A), 716(B) 및/또는 716(C)) 는 발광 디바이스 (708) 의 동작에 적합한 구동 전류 (예를 들어, 펄스 트레인 구동 전류 또는 연속파 (CW) 변조된 구동 전류) 를 포함할 수 있다. 제어기 (1002) 는 또한 디바이스 (900) 의 센서 전자장치 (1008) 에 제어 신호 (1006) 를 전송할 수 있다. 센서 전자장치 (1008) 는 조명 반사들과 연관된 거리 측정들을 결정하도록 구성된 하드웨어 및/또는 소프트웨어 컴포넌트들을 포함할 수 있다. 일부 경우에, 제어 신호 (1006) 는 제어 신호 (1004) 와 동기화될 수 있다. 예를 들어, 제어 신호 (1006) 는, 센서 전자장치 (1008) 에, 어느 FOV 부분이 현재 조명되고 있는지, 그리고 따라서 어느 FOV 부분이 현재 조명 반사에 대응하는지를 표시할 수 있다. 제어 신호들 (1004, 1006) 에 기초하여, 동기화된 ToF 시스템 (1000(A)) 은 대응하는 FOV 부분들과 관련하여 거리 측정들을 라벨링할 수 있다.
도 10b 는 ToF 시스템 (1000(B)) 에 동기화된 예시적인 도면이다. 일 예에서, 동기화된 ToF 시스템 (1000(B)) 의 전부 또는 일부는 도 8 의 디바이스 (800) 및 도 9a 의 디바이스 (900) 에 대응할 수 있다. 도시된 바와 같이, 동기화된 ToF 시스템 (1000(B)) 은 제어기 (1012) 를 포함할 수 있다. 제어기 (1012) 는 디바이스 (800) 의 드라이버 (예를 들어, 드라이버 (802)) 에 제어 신호 (1014) 를 전송할 수 있다. 일부 경우에, 제어 신호 (1014) 는 각도 선택 신호를 나타낼 수 있다. 예를 들어, 제어 신호 (1014) 는 적절한 시간에 스캐닝 미러 (814) 의 각도를 조정하도록 드라이버 (802) 에 지시할 수 있다. 일부 예들에서, 제어기 (1012) 는 제어 신호 (1020) 를 추가 드라이버 (1016) 에 전송할 수 있다. 일 예에서, 드라이버 (1016) 는 디바이스 (800) 의 발광 디바이스 (808) 에 대한 드라이버일 수 있다. 일부 경우에, 제어 신호 (1020) 는 VCSEL-동기화 신호를 표시할 수 있다. 예를 들어, 제어 신호 (1020) 는 FOV 부분들을 순차적으로 조명하기 위해 드라이버 (1016) 가 발광 디바이스 (808) 에 적절한 구동 전류를 제공하도록 지시할 수 있다. 도시된 바와 같이, 제어기 (1012) 는 디바이스 (900) 의 센서 전자장치 (1018) 에 제어 신호 (1022) 를 전송할 수 있다. 센서 전자장치 (1018) 는 조명 반사들과 연관된 거리 측정들을 결정하도록 구성된 하드웨어 및/또는 소프트웨어 컴포넌트들을 포함할 수 있다. 일부 경우들에서, 제어 신호 (1022) 는 제어 신호 (1014) 및/또는 제어 신호 (1020) 와 동기화될 수 있다. 예를 들어, 제어 신호 (1022) 는, 센서 전자장치 (1018) 에, 어느 FOV 부분이 현재 조명되고 있는지, 그리고 따라서 어느 FOV 부분이 현재 조명 반사에 대응하는지를 표시할 수 있다. 제어 신호들 (1014, 1020, 및/또는 1022) 에 기초하여, 동기화된 ToF 시스템 (1000(B)) 은 대응하는 FOV 부분들과 관련하여 거리 측정들을 라벨링할 수 있다.
본 명세서에 설명된 시스템들 및 기법들을 사용하여, ToF 시스템은 ToF 시스템의 ToF 센서의 풀 해상도를 초과하는 해상도를 갖는 깊이 맵들 (예를 들어, 깊이 이미지 맵들) 을 생성할 수 있다. 시스템들 및 기법들은 또한, ToF 시스템이 프로세싱 시간의 실질적인 지연들을 초래하지 않고 센서의 크기를 증가시키지 않고 (따라서 센서의 비용을 감소시킴) 고해상도 깊이 맵들을 생성할 수 있게 한다.
도 11 은 고해상도 ToF 깊이 이미징을 위한 예시적인 프로세스 (1100) 를 예시하는 흐름도이다. 명료함을 위해, 프로세스 (1100) 는 도 5, 도 7, 도 8, 및 도 9a 의 시스템들 및 디바이스들을 참조하여 설명된다. 본 명세서에 개요된 단계들 또는 작동들은 예들이고, 특정 단계들 또는 작동들을 제외, 추가, 또는 수정하는 조합들을 포함하는, 임의의 조합으로 구현될 수 있다.
동작 (1102) 에서, 프로세스 (1100) 는 하나 이상의 발광 디바이스들을 포함하는 투사 시스템의 FOV 의 적어도 하나의 부분을 조명하는 단계를 포함하며, 여기서 전체 FOV 는 복수의 FOV 부분들을 포함한다. 일부 예들에서, 상기 복수의 FOV 부분들의 제 1 FOV 부분은 상기 복수의 FOV 부분들의 적어도 제 2 FOV 부분과 부분적으로 중첩될 수 있다. 일부 예들에서, 복수의 FOV 부분들을 조명하는 것은 (예를 들어, 한 번에 단일 FOV 부분을 조명함으로써) 순차적 조명 순서로 복수의 FOV 부분들 각각을 조명하는 것을 포함한다. 그러한 예에서, 예들 상기 복수의 조명 반사들의 각각의 조명 반사를 수신하는 단계는 상기 순차적 조명 순서에 대응하는 순차적 수신 순서로 각각의 반사를 수신하는 단계를 포함한다. 프로세스 (1100) 는 상기 복수의 조명 반사들의 각각의 조명 반사에 기초하여 상기 복수의 이미지들의 각각의 이미지를 생성하는 단계를 포함한다. 예시적인 예로서 도 5 를 참조하면, 이미지 프로세싱 시스템 (500) 의 투사 시스템 (502) 은 적어도 부분적으로 한번에 단일 FOV 부분을 조명함으로써 순차적 조명 순서로 복수의 FOV 부분들 각각을 조명할 수 있다. 일부 예들에서, 투사 시스템 (502) 은 발광 디바이스 (들)(504) 및/또는 광-지향 디바이스 (들)(506) 를 사용하여 조명 신호들 (512) 을 순차적으로 투사할 수 있다.
하나의 예시적인 예에서, 발광 디바이스 (들)(504) 는 복수의 발광 디바이스들을 포함할 수 있고, 광 지향 디바이스 (들)(506) 는 복수의 투사 렌즈들을 포함할 수 있다. 복수의 투사 렌즈들의 각각의 투사 렌즈는 복수의 발광 디바이스들 중 하나에 의해 방출된 광을 복수의 FOV 부분들 중 상이한 FOV 부분을 향해 (예를 들어, 프리즘 (714) 과 같은 프리즘과 함께) 투사하도록 구성될 수 있다. 일부 예들에서, 투사 시스템 (502) 은 광을 복수의 FOV 부분들의 각각의 FOV 부분으로 지향시키도록 구성된 세그먼트화된 프리즘 어레이를 포함할 수 있다. 예를 들어, 복수의 발광 디바이스들 (504) 은 도 7 의 발광 디바이스들 (708) 을 포함할 수 있고, 복수의 광 지향 디바이스들은 도 7 의 프리즘 (714) 을 포함할 수 있다. 일 예에서, 프리즘 (714) 은 다수의 프리즘 세그먼트를 포함하는 세그먼트화된 프리즘 어레이일 수 있다. 프리즘 (714) 의 각각의 프리즘 세그먼트는 발광 디바이스들 (708) 중 하나 위에 포지셔닝될 수 있다. 또한, 프리즘 (714) 의 각각의 프리즘 세그먼트는 발광 디바이스들 (708) 의 평면에 대해 상이한 각도로 배향될 수 있다. 일부 예들에서, 투사 시스템 (502) 은 스캐닝 미러에 대해 포지셔닝된 하나 이상의 확산기들을 포함할 수 있다. 하나 이상의 확산기는 단일 발광 디바이스에 의해 방출된 광을 확산시키도록 구성된다. 예를 들어, (투사 시스템 (502) 의 예로서) 도 7 의 디바이스 (700) 는 확산기 어레이 (712) 를 포함할 수 있다. 다른 예로서, 도 8 의 디바이스 (800) 는 확산기 (812) 를 포함할 수 있다.
다른 예시적인 예에서, 발광 디바이스들 (들)(504) 은 단일 발광 디바이스를 포함할 수 있고 광 지향 디바이스 (들)(506) 는 스캐닝 미러를 포함할 수 있다. 스캐닝 미러는 상이한 배향들로 배향될 때 상기 복수의 FOV 부분들의 상이한 FOV 부분들을 향해 상기 단일 발광 디바이스에 의해 방출된 광을 투사하도록 구성되는 스캐닝 미러를 포함할 수 있다. 예를 들어, 단일 발광 디바이스는 도 8 의 발광 디바이스 (808) 를 포함할 수 있고, 단일 광 지향 디바이스는 도 8 의 스캐닝 미러 (814) 를 포함할 수 있다. 스캐닝 미러 (814) 는 스캐닝 미러일 수 있다. 일부 경우에, 스캐닝 미러 (814) 는 발광 디바이스 (808) 위에 포지셔닝될 수 있다. 또한, 스캐닝 미러 (814) 의 각각의 상이한 배향은 스캐닝 미러 (814) 와 발광 디바이스 (808) 의 평면 사이의 상이한 배향 각도에 대응할 수 있다.
동작 (1104) 에서, 프로세스 (1100) 는 하나 이상의 발광 디바이스들에 의해 방출된 광에 대응하는 복수의 조명 반사들에 기초하여 복수의 이미지들을 (예를 들어, 수신 시스템 (508) 과 같은 수신 시스템의 센서에 의해) 순차적으로 캡처하는 단계를 포함한다. 복수의 이미지들의 각각의 이미지는 복수의 FOV 부분들 중 하나에 대응한다. 또한, 복수의 이미지들의 각각의 이미지와 연관된 이미지 해상도는 센서의 전체 해상도에 대응한다. 도 5 를 참조하는 하나의 예시적인 예에서, 이미지 프로세싱 시스템 (500) 의 수신 시스템 (508) 은 조명 신호들 (512) 의 순차적 조명 순서에 대응하는 순차적 수신 순서로 조명 반사들 (514) 을 수신할 수 있다. 수신 시스템 (508) 의 센서는 각각의 조명 반사에 대한 이미지를 캡처할 수 있다. 예를 들어, 투사 시스템 (502) 은 복수의 FOV 부분 중 제 1 FOV 부분을 조명할 수 있고, 수용 시스템 (508) 은 제 1 조명 반사를 수용할 수 있고, 센서는 제 1 FOV 부분에 대응하는 제 1 이미지를 캡처할 수 있다. 제 1 조명 반사를 수신한 후, 투사 시스템 (502) 은 복수의 FOV 부분들 중 제 2 FOV 부분을 조명할 수 있다. 그후, 수신 시스템 (508) 은 제 2 조명 반사를 수신할 수 있고, 센서는 제 2 FOV 부분에 대응하는 제 2 이미지를 캡처할 수 있다.
일 예에서, 투사 시스템 (502) 및 수신 시스템 (508) 은 동기화될 수 있다. 예를 들어, 이미지 프로세싱 시스템 (500) 의 프로세서 (518) 는 복수의 FOV 부분 중 특정 FOV 부분 (506) 을 조명하도록 투사 시스템 (502) 에 지시하는 제 1 제어 신호를 투사 시스템 (502) 에 전송할 수 있다. 프로세서 (518) 는 또한 센서 (510) 에 의해 수신된 조명 반사를 특정 FOV 부분과 연관시키도록 수신 시스템 (508) 에 지시하는 제 2 제어 신호를 수신 시스템 (508) 에 전송할 수 있다. 제 1 제어 신호 및 제 2 제어 신호는 시간 동기화될 수 있다.
일부 예들에서, 수신 시스템 (508) 은 이미지 렌즈들의 어레이를 포함할 수 있고, 어레이의 각각의 이미지 렌즈는 복수의 FOV 부분들의 각각의 FOV 부분에 대응하는 장면의 상이한 부분과 연관된 광을 수신 시스템 (508) 의 센서에 투사하도록 구성된다. 예를 들어, (수신 시스템 (508) 의 예로서) 도 9a 의 디바이스 (900) 는 이미지 렌즈 어레이 (902) 를 포함할 수 있다. 일부 경우에, 수신 시스템 (508) 은 센서 (510) 위에 포지셔닝된 필터를 포함할 수 있다. 예를 들어, 디바이스 (900) 는 필터 (922) 를 포함할 수 있다. 필터 (922) 는 발광 디바이스 (들)(504)(예를 들어, 도 7 의 발광 디바이스 (708) 및/또는 도 8 의 발광 디바이스 (808)) 에 의해 방출된 광의 주파수에 대응하는 주파수를 갖는 광을 투과시키도록 구성될 수 있다.
동작 (1106) 에서, 프로세스 (1100) 는 복수의 이미지들 (및/또는 조명 반사들) 을 사용하여, 전체 FOV 와 연관된 증가된 해상도 깊이 맵을 생성하는 단계를 포함한다. 예를 들어, 프로세서 (518) 는 전체 FOV 의 각각의 FOV 부분과 연관된 다양한 전체 해상도 이미지들에 기초하여 증가된 해상도 깊이 맵을 포함할 수 있는 깊이 맵 (516) 을 생성할 수 있다. 일 예에서, 프로세서 (518) 는 조명 반사들 (514) 중 하나에 각각 대응하는 복수의 부분 거리 측정들을 (예를 들어, 이미지들로서) 생성할 수 있다. 그후, 프로세서 (518) 는 복수의 부분 거리 측정들을 조합함으로써 깊이 맵 (516) 을 생성할 수 있다. 또한, 일 예에서, 깊이 맵 (516) 의 이미지 해상도는 센서 (510) 의 최대 해상도에 개별 FOV 부분들의 수를 곱한 것에 대응할 수 있다.
일부 예들에서, 본 명세서에 설명된 프로세스 (1100) 및/또는 다른 프로세스들은 하나 이상의 컴퓨팅 디바이스들 또는 장치들에 의해 수행될 수 있다. 일부 예들에서, 프로세스 (1100) 및/또는 본 명세서에 설명된 다른 프로세스들은 도 5 에 도시된 이미지 프로세싱 시스템 (500), 도 7 에 도시된 디바이스 (700), 도 8 에 도시된 디바이스 (800), 도 9a 에 도시된 디바이스 (900), 도 10a 에 도시된 동기화된 ToF 시스템 (1000(A)), 도 10b 에 도시된 동기화된 ToF 시스템 (1000(B)), 및/또는 도 1100 에 도시된 컴퓨팅 디바이스 아키텍처 (1100) 를 갖는 하나 이상의 컴퓨팅 디바이스들에 의해 수행될 수 있다. 일부 경우들에서, 그러한 컴퓨팅 디바이스 또는 장치는 프로세스 (1100) 의 스텝들을 수행하도록 구성되는 프로세서, 마이크로프로세서, 마이크로컴퓨터, 또는 디바이스의 다른 컴포넌트를 포함할 수도 있다. 일부 예들에서, 이러한 컴퓨팅 디바이스 또는 장치는 이미지 데이터를 캡처하도록 구성된 하나 이상의 센서들을 포함할 수도 있다. 예를 들어, 컴퓨팅 디바이스는 스마트폰, 카메라, 헤드 마운트 디스플레이, 모바일 디바이스, 또는 다른 적절한 디바이스를 포함할 수 있다. 일부 예들에서, 이러한 컴퓨팅 디바이스 또는 장치는 하나 이상의 이미지 또는 비디오를 캡처하도록 구성된 카메라를 포함할 수도 있다. 일부 경우들에서, 이러한 컴퓨팅 디바이스는 이미지들을 디스플레이하기 위한 디스플레이를 포함할 수도 있다. 일부 예들에서, 하나 이상의 센서들 및/또는 카메라는 컴퓨팅 디바이스로부터 분리될 수 있고, 이 경우에, 컴퓨팅 디바이스는 감지된 데이터를 수신한다. 이러한 컴퓨팅 디바이스는 데이터를 통신하도록 구성된 네트워크 인터페이스를 더 포함할 수도 있다.
컴퓨팅 디바이스의 컴포넌트들은 회로부에서 구현될 수 있다. 예를 들어, 컴포넌트들은, 하나 이상의 프로그래밍가능 전자 회로들 (예컨대, 마이크로프로세서들, 그래픽 프로세싱 유닛들 (GPU들), 디지털 신호 프로세서들 (DSP들), 중앙 프로세싱 유닛들 (CPU들), 및/또는 다른 적합한 전자 회로들) 을 포함할 수 있는 전자 회로들 또는 다른 전자 하드웨어를 포함하고/하거나 이들을 사용하여 구현될 수 있고, 및/또는 본 명세서에서 설명된 다양한 동작들을 수행하기 위해 컴퓨터 소프트웨어, 펌웨어, 또는 이들의 임의의 조합을 포함하고/하거나 이들을 사용하여 구현될 수 있다. 컴퓨팅 디바이스는 (출력 디바이스의 예로서 또는 출력 디바이스에 추가하여) 디스플레이, 데이터를 통신 및/또는 수신하도록 구성된 네트워크 인터페이스, 이들의 임의의 조합, 및/또는 다른 컴포넌트 (들) 를 더 포함할 수도 있다. 네트워크 인터페이스는 인터넷 프로토콜 (IP) 기반 데이터 또는 다른 타입의 데이터를 통신 및/또는 수신하도록 구성될 수도 있다.
프로세스 (1100) 는 논리 플로우 다이어그램로서 예시되며, 그 동작은 하드웨어, 컴퓨터 명령들, 또는 이들의 조합에서 구현될 수 있는 동작들의 시퀀스를 나타낸다. 컴퓨터 명령들의 맥락에서, 동작들은 하나 이상의 프로세서들에 의해 실행될 때 나열된 동작들을 수행하는, 하나 이상의 컴퓨터 판독가능 저장 매체들 상에 저장된 컴퓨터 실행가능 명령들을 나타낸다. 일반적으로, 컴퓨터 실행가능 명령들은 특정한 기능들을 수행하거나 특정한 데이터 유형들을 구현하는 루틴들, 프로그램들, 객체들, 컴포넌트들, 데이터 구조들 등을 포함한다. 동작들이 설명되는 순서는 제한으로서 해석되도록 의도되지 않고, 임의의 수의 상기 설명된 동작들이 프로세스들을 구현하기 위해 임의의 순서로 및/또는 병렬로 조합될 수 있다.
부가적으로, 프로세스 (1100) 및/또는 본 명세서에서 설명된 다른 프로세스는 실행가능 명령들로 구성된 하나 이상의 컴퓨터 시스템들의 제어 하에 수행될 수도 있으며, 하나 이상의 프로세서들 상에서 집합적으로 실행하는 코드 (예컨대, 실행가능 명령들, 하나 이상의 컴퓨터 프로그램들, 또는 하나 이상의 어플리케이션들) 로서, 하드웨어에 의해, 또는 이들의 조합으로 구현될 수도 있다. 위에 언급된 바와 같이, 코드는 컴퓨터 판독가능 또는 머신 판독가능 저장 매체 상에, 예를 들어 하나 이상의 프로세서들에 의해 실행가능한 복수의 명령들을 포함하는 컴퓨터 프로그램의 형태로 저장될 수도 있다. 컴퓨터 판독가능 또는 머신 판독가능 저장 매체는 비일시적일 수도 있다.
도 12 는 본 기술의 특정 양태들을 구현하기 위한 시스템의 예를 예시한 도면이다. 특히, 도 12 는 예를 들어 내부 컴퓨팅 시스템, 원격 컴퓨팅 시스템, 카메라 또는 이들의 임의의 컴포넌트를 구성하는 임의의 컴퓨팅 디바이스일 수 있는 컴퓨팅 시스템 (1200) 의 예를 예시하고, 여기서 시스템의 컴포넌트는 연결 (1205) 을 사용하여 서로 통신한다. 연결 (1205) 은 버스를 사용한 물리적 연결이거나, 또는 칩셋 아키텍처에서와 같이 프로세서 (1210) 로의 직접 연결일 수 있다. 연결 (1205) 은 가상 연결, 네트워크형 연결 또는 논리적 연결일 수도 있다.
일부 실시예들에서, 컴퓨팅 시스템 (1200) 은 본 개시에서 설명된 기능이 데이터 센터, 다중 데이터 센터, 피어 네트워크 등 내에서 분산될 수 있는 분산 시스템이다. 일부 실시양태들에서, 설명된 시스템 컴포넌트들 중 하나 이상은 컴포넌트가 설명된 기능의 일부 또는 전체를 각각 수행하는 다수의 그러한 컴포넌트들을 나타낸다. 일부 경우들에서, 컴포넌트들은 물리적 또는 가상 디바이스들일 수 있다.
예시적인 시스템 (1200) 은 적어도 하나의 프로세싱 유닛 (CPU 또는 프로세서)(1210), 및 판독 전용 메모리 (ROM)(1220) 및 랜덤 액세스 메모리 (RAM)(1225) 와 같은 시스템 메모리 (1215) 를 포함하는 다양한 시스템 컴포넌트들을 프로세서 (1210) 에 커플링시키는 연결 (1205) 을 포함한다. 컴퓨팅 시스템 (1200) 은, 프로세서 (1210) 와 직접 연결되거나 그에 매우 근접하거나 또는 그의 부분으로서 통합된 고속 메모리의 캐시 (1212) 를 포함할 수 있다.
프로세서 (1210) 는 임의의 범용 프로세서 및 프로세서 (1210) 를 제어하도록 구성된 저장소 디바이스 (1230) 에 저장된 서비스들 (1232, 1234 및 1236) 과 같은 하드웨어 서비스 또는 소프트웨어 서비스 그리고 소프트웨어 명령들이 실제 프로세서 설계에 통합되는 특수 목적 프로세서를 포함할 수 있다. 프로세서 (1210) 는 본질적으로 다중 코어 또는 프로세서, 버스, 메모리 컨트롤러, 캐시 등을 포함하는 완전히 독립형 컴퓨팅 시스템일 수도 있다. 다중 코어 프로세서는 대칭 또는 비대칭일 수도 있다.
사용자 상호작용을 가능하게 하기 위해, 컴퓨팅 시스템 (1200) 은 음성용 마이크, 제스처 또는 그래픽 입력용 터치 감지 스크린, 키보드, 마우스, 모션 입력, 음성 등과 같은 임의의 다수의 입력 메커니즘을 나타낼 수 있는 입력 디바이스 (1245) 를 포함한다. 컴퓨팅 시스템 (1200) 은 또한 다수의 출력 메커니즘 중 하나 이상일 수 있는 출력 디바이스 (1235) 를 포함할 수 있다. 일부 사례들에서, 멀티모달 시스템들이 사용자로 하여금 컴퓨팅 시스템 (1200) 과 통신하기 위해 다중의 타입들의 입력/출력을 제공할 수 있게 할 수 있다. 컴퓨팅 시스템 (1200) 은, 사용자 입력 및 시스템 출력을 일반적으로 통제하고 관리할 수 있는 통신 인터페이스 (1240) 를 포함할 수 있다. 통신 인터페이스는, 오디오 잭/플러그, 마이크로폰 잭/플러그, 범용 직렬 버스 (USB) 포트/플러그, Apple® Lightning® 포트/플러그, 이더넷 포트/플러그, 광섬유 포트/플러그, 독점적 유선 포트/플러그, BLUETOOTH® 무선 신호 전송, BLUETOOTH® 저에너지 (BLE) 무선 신호 전송, IBEACON® 무선 신호 전송, 무선 주파수 식별 (RFID) 무선 신호 전송, 근접장 통신 (NFC) 무선 신호 전송, 전용 단거리 통신 (DSRC) 무선 신호 전송, 802.12 Wi-Fi 무선 신호 전송, 무선 로컬 영역 네트워크 (WLAN) 신호 전송, 가시광 통신 (VLC), WiMAX (Worldwide Interoperability for Microwave Access), 적외선 (IR) 통신 무선 신호 전송, 공중 교환 전화 네트워크 (PSTN) 신호 전송, 통합 서비스 디지털 네트워크 (ISDN) 신호 전송, 3G/4G/5G/LTE 셀룰러 데이터 네트워크 무선 신호 전송, 애드혹 네트워크 신호 전송, 라디오파 신호 전송, 마이크로파 신호 전송, 적외선 신호 전송, 가시광 신호 전송, 자외선 광 신호 전송, 전자기 스펙트럼을 따른 무선 신호 전송, 또는 이들의 일부 조합을 이용하는 것들을 포함하는, 유선 및/또는 무선 트랜시버들을 사용하여 유선 또는 무선 통신들의 수신 및/또는 송신을 수행하거나 용이하게 할 수도 있다. 통신 인터페이스 (1240) 는 또한, 하나 이상의 GNSS (Global Navigation Satellite System) 시스템들과 연관된 하나 이상의 위성들로부터의 하나 이상의 신호들의 수신에 기초하여 컴퓨팅 시스템 (1200) 의 위치를 결정하는데 사용되는 하나 이상의 GNSS 수신기들 또는 트랜시버들을 포함할 수도 있다. GNSS 시스템들은 미국 기반 글로벌 포지셔닝 시스템 (GPS), 러시아 기반 글로벌 내비게이션 위성 시스템 (GLONASS), 중국 기반 베이더우 내비게이션 위성 시스템 (BDS) 및 유럽 기반 Galileo GNSS 를 포함하지만 이에 한정되지 않는다. 임의의 특정 하드웨어 배열에 대해 동작하는 것에 제한이 없으며, 따라서, 여기에서의 기본 특징들은 이들이 개발됨에 따라 개선된 하드웨어 또는 펌웨어 배열들로 쉽게 대체될 수도 있다.
저장 디바이스 (1230) 는 비휘발성 및/또는 비일시적 및/또는 컴퓨터 판독가능 메모리 디바이스일 수 있고, 다음과 같은 컴퓨터에 의해 액세스가능한 데이터를 저장할 수 있는 하드 디스크 또는 다른 타입들의 컴퓨터 판독가능 매체들일 수 있다: 자기 카세트들, 플래시 메모리 카드들, 솔리드 스테이트 메모리 디바이스들, 디지털 다기능 디스크들, 카트리지들, 플로피 디스크, 플렉시블 디스크, 하드 디스크, 자기 테이프, 자기 스트립/스트라이프, 임의의 다른 자기 저장 매체, 플래시 메모리, 멤리스터 메모리, 임의의 다른 솔리드-스테이트 메모리, 컴팩트 디스크 판독 전용 메모리 (CD-ROM) 광 디스크, 재기록가능 컴팩트 디스크 (CD) 광 디스크, 디지털 비디오 디스크 (DVD) 광 디스크, 블루-레이 디스크 (BDD) 광 디스크, 홀로그래픽 광 디스크, 다른 광학 매체, 보안 디지털 (SD) 카드, 마이크로 보안 디지털 (microSD) 카드, Memory Stick® 카드, 스마트카드 칩, EMV 칩, 가입자 아이덴티티 모듈 (SIM) 카드, 미니/마이크로/나노/피코 SIM 카드, 다른 집적 회로 (IC) 칩/카드, 랜덤 액세스 메모리 (RAM), 정적 RAM (SRAM), 동적 RAM (DRAM), 판독 전용 메모리 (ROM), 프로그래밍가능 판독 전용 메모리 (PROM), 소거가능한 프로그래밍가능 판독 전용 메모리 (EPROM), 전기적으로 소거가능한 프로그래밍가능 판독 전용 메모리 (EEPROM), 플래시 EPROM (FLASHEPROM), 캐시 메모리 (L1/L2/L3/L4/L5/L#), 저항성 랜덤 액세스 메모리 (RRAM/ReRAM), 상 변화 메모리 (PCM), 스핀 전달 토크 RAM (STT-RAM), 다른 메모리 칩 또는 카트리지, 및/또는 이들의 조합.
저장 디바이스 (1230) 는, 그러한 소프트웨어를 정의하는 코드가 프로세서 (1210) 에 의해 실행될 경우 시스템으로 하여금 기능을 수행하게 하는 소프트웨어 서비스들, 서버들, 서비스들 등을 포함할 수 있다. 일부 실시예들에서, 특정 기능을 수행하는 하드웨어 서비스는, 기능을 수행하기 위해 프로세서 (1210), 연결 (1205), 출력 디바이스 (1235) 등과 같은 필요한 하드웨어 컴포넌트들과 관련하여 컴퓨터 판독가능 매체에 저장된 소프트웨어 컴포넌트를 포함할 수 있다.
본 명세서에서 사용된 바와 같이, 용어 "컴퓨터 판독가능 매체" 는 휴대용 또는 고정식 저장 디바이스들, 광학 저장 디바이스들, 및 명령 (들) 및/또는 데이터를 저장, 포함, 또는 반송할 수 있는 다양한 다른 매체들을 포함하지만 이에 제한되지 않는다. 컴퓨터 판독가능 매체는 데이터가 저장될 수 있고 캐리어 파 (carrier wave) 및/또는 무선 또는 유선 연결을 통해 전파되는 일시적인 전자 신호를 포함하지 않는 비일시적인 매체를 포함할 수도 있다. 비일시적 매체의 예들은 자기 디스크 또는 테이프, 광학 저장 매체들, 예컨대 콤팩트 디스크 (CD) 또는 디지털 다기능 디스크 (DVD), 플래시 메모리, 메모리 또는 메모리 디바이스들을 포함하지만 이에 제한되지 않는다. 컴퓨터 판독가능 매체는, 절차, 함수, 서브프로그램, 프로그램, 루틴, 서브루틴, 모듈, 소프트웨어 패키지, 클래스, 또는 명령들, 데이터 구조들, 또는 프로그램 스테이트먼트들의 임의의 조합을 나타낼 수도 있는 코드 및/또는 머신 실행가능 명령들을 저장할 수도 있다. 코드 세그먼트는, 정보, 데이터, 인수들 (arguments), 파라미터들, 또는 메모리 콘텐츠를 전달 및/또는 수신함으로써 다른 코드 세그먼트 또는 하드웨어 회로에 커플링될 수도 있다. 정보, 인수들, 파라미터들, 데이터 등은 메모리 공유, 메시지 전달, 토큰 전달, 네트워크 전송 등을 포함한 임의의 적합한 수단을 사용하여 전달, 포워딩, 또는 전송될 수도 있다.
일부 예들에서, 컴퓨터 판독가능 저장 디바이스들, 매체들, 및 메모리들은 비트 스트림 등을 포함하는 무선 신호 또는 케이블을 포함할 수 있다. 그러나, 언급될 때, 비일시적 컴퓨터 판독가능 저장 매체는 에너지, 캐리어 신호들, 전자기 파들, 및 신호 그 자체와 같은 매체들을 명시적으로 배제한다.
특정 상세들은 본 명세서에 제공된 실시예들의 철저한 이해를 제공하기 위해 위의 설명에서 제공된다. 하지만, 그 예들은 이들 특정 상세들 없이도 실시될 수도 있음이 당업자에 의해 이해될 것이다. 설명의 명료성을 위해, 일부 사례들에서, 본 기술은 디바이스들, 디바이스 컴포넌트들, 소프트웨어에서 구현된 방법에서의 단계들 또는 루틴들, 또는 하드웨어 및 소프트웨어의 조합들을 포함하는 기능적 블록들을 포함하는 개별 기능적 블록들을 포함하는 것으로서 제시될 수도 있다. 도면들에서 도시되고/되거나 본 명세서에서 설명된 것들 이외의 추가적인 컴포넌트들이 사용될 수도 있다. 예를 들어, 회로들, 시스템들, 네트워크들, 프로세스들 및 다른 컴포넌트들은, 예들을 불필요한 상세로 불명료하게 하지 않기 위하여 블록 다이어그램 형태의 컴포넌트들로서 도시될 수도 있다. 다른 사례들에 있어서, 널리 공지된 회로들, 프로세스들, 알고리즘들, 구조들, 및 기법들은 예들을 불명료하게 하는 것을 회피하기 위하여 불필요한 상세 없이 도시될 수도 있다.
개별 예들은, 플로우차트, 플로우 다이어그램, 데이터 플로우 다이어그램, 구조 다이어그램, 또는 블록 다이어그램으로서 도시되는 프로세스 또는 방법으로서 위에서 설명될 수도 있다. 플로우차트는 동작들을 순차적인 프로세스로서 설명할 수도 있지만, 동작들 대부분은 병렬로 또는 동시에 수행될 수 있다. 또한, 동작들의 순서는 재배열될 수도 있다. 프로세스는 그것의 동작들이 완료될 때 터미네이션되지만, 도면에 포함되지 않은 추가 단계들을 가질 수 있을 것이다. 프로세스는 방법, 함수, 프로시저, 서브루틴, 서브프로그램 등에 대응할 수도 있다. 프로세스가 함수에 대응할 경우, 그 종료는 그 함수의 호출 함수 또는 메인 함수로의 리턴에 대응할 수 있다.
상기 설명된 예들에 따른 프로세스들 및 방법들은 컴퓨터 판독가능 저장 매체들에 저장되거나 또는 다르게는 그로부터 이용가능한 컴퓨터 실행가능 명령들을 사용하여 구현될 수 있다. 이러한 명령들은, 예를 들어, 범용 컴퓨터, 특수 목적 컴퓨터, 또는 프로세싱 디바이스가 소정의 기능 또는 기능들의 그룹을 수행하게 하거나 또는 다르게는 수행하도록 구성하는 명령들 및 데이터를 포함할 수 있다. 사용되는 컴퓨터 리소스들의 부분들은 네트워크를 통해 액세스가능할 수 있다. 컴퓨터 실행가능 명령들은, 예를 들어, 바이너리들, 어셈블리 언어, 펌웨어, 소스 코드 등과 같은 중간 포맷 명령들일 수도 있다. 설명된 예들에 따른 방법들 동안 생성된 명령들, 사용된 정보, 및/또는 정보를 저장하는데 사용될 수도 있는 컴퓨터 판독가능 매체의 예들은 자기 또는 광학 디스크들, 플래시 메모리, 비휘발성 메모리가 제공된 USB 디바이스들, 네트워킹된 저장 디바이스들 등을 포함한다.
이들 개시들에 따른 프로세스들 및 방법들을 구현하는 디바이스들은 하드웨어, 소프트웨어, 펌웨어, 미들웨어, 마이크로코드, 하드웨어 디스크립션 언어들, 또는 이들의 임의의 조합을 포함할 수 있고, 다양한 폼 팩터들의 임의의 것을 취할 수 있다. 소프트웨어, 펌웨어, 미들웨어 또는 마이크로코드로 구현될 때, 필요한 작업들을 수행하기 위한 프로그램 코드 또는 코드 세그먼트들 (예를 들어, 컴퓨터 프로그램 제품) 은 컴퓨터 판독가능 또는 머신 판독가능 매체에 저장될 수도 있다. 프로세서 (들) 은 필요한 태스크들을 수행할 수도 있다. 폼 팩터들의 통상적인 예들은 랩탑들, 스마트 폰들, 모바일 폰들, 태블릿 디바이스들 또는 다른 소형 폼 팩터 개인용 컴퓨터들, 개인용 디지털 보조기들, 랙마운트 디바이스들, 자립형 디바이스들 등을 포함한다. 본 명세서에서 설명된 기능성은 또한, 주변기기들 또는 애드-인 (add-in) 카드들에서 구현될 수 있다. 그러한 기능성은 또한, 추가의 예에 의해, 단일 디바이스에서 실행되는 상이한 칩들 또는 상이한 프로세스들 중에서 회로 보드 상에서 구현될 수 있다.
명령들, 그러한 명령들을 운반하기 위한 매체들, 그것들을 실행하기 위한 컴퓨팅 리소스들, 및 그러한 컴퓨팅 리소스들을 지원하기 위한 다른 구조들은 본 개시에서 설명된 기능들을 제공하기 위한 예시적인 수단들이다.
전술한 설명에서, 본 출원의 양태들은 그의 특정 예들을 참조하여 설명되지만, 당업자는 본 출원이 이에 한정되지 않는다는 것을 인식할 것이다. 따라서, 애플리케이션의 예시적인 예들이 본 명세서에서 상세히 설명되었지만, 본 발명의 개념들은 달리 다양하게 구체화되고 채용될 수도 있으며, 첨부된 청구항들은 종래기술에 의해 제한되는 것을 제외하고는 이러한 변동들을 포함하는 것으로 해석되도록 의도됨이 이해되어야 한다. 상기 설명된 애플리케이션의 다양한 특징들 및 양태들은 개별적으로 또는 공동으로 사용될 수도 있다. 추가로, 예들은 본 명세서의 더 넓은 사상 및 범위로부터 일탈함 없이 본 명세서에서 설명된 것들을 넘어서는 임의의 수의 환경들 및 애플리케이션들에서 활용될 수 있다. 본 명세서 및 도면들은, 이에 따라, 제한적이라기 보다는 예시적인 것으로서 간주되어야 한다. 예시의 목적으로, 방법들은 특정 순서로 설명되었다. 대안적인 예들에 있어서, 방법들은 설명된 것과는 다른 순서로 수행될 수도 있음이 인식되어야 한다. 당업자는 본 명세서에서 사용된 미만 ("<") 및 초과 (">") 기호들 또는 용어가 본 개시의 범위를 벗어나지 않으면서 이하 ("≤") 및 이상 ("≥") 기호들로 각각 대체될 수 있음을 알 것이다.
컴포넌트들이 특정 동작을 수행하도록 "구성된" 것으로 기술되는 경우, 그러한 구성은 예를 들어, 전자 회로 또는 다른 하드웨어를 설계하여 그 동작을 수행하는 것에 의해, 프로그래밍가능한 전자 회로 (예를 들어, 마이크로프로세서 또는 다른 적절한 전자 회로) 를 프로그래밍함으로써 그 동작을 수행하는 것에 의해 또는 이들의 임의의 조합에 의해, 달성될 수 있다.
구절 "커플링된" 은 직접 또는 간접적으로 다른 컴포넌트에 물리적으로 연결되는 임의의 컴포넌트, 및/또는 직접 또는 간접적으로 다른 컴포넌트와 통신하는 (예를 들어, 유선 또는 무선 연결, 및/또는 다른 적절한 통신 인터페이스를 통해 다른 컴포넌트에 연결되는) 임의의 컴포넌트를 지칭한다.
세트 중 "적어도 하나" 및/또는 세트 중 "하나 이상"을 인용하는 청구항 언어 또는 다른 언어는 세트 중 하나의 멤버 또는 세트 중 다중 멤버들 (임의의 조합으로) 이 청구항을 만족한다는 것을 나타낸다. 예를 들어, "A 및 B 중 적어도 하나" 를 인용하는 청구항 언어는 A, B, 또는 A 및 B 를 의미한다. 다른 예에서, "A, B, 및 C 중 적어도 하나" 를 인용하는 청구항 언어는 A, B, C, 또는 A 및 B, 또는 A 및 C, 또는 B 및 C, 또는 A 및 B 및 C 를 의미한다. 언어 세트 "중 적어도 하나" 및/또는 세트 중 "하나 이상" 은 세트를 그 세트에 열거된 항목들로 제한하지 않는다. 예를 들어, "A 및 B 중 적어도 하나" 를 인용하는 청구항 언어는 A, B, 또는 A 및 B 를 의미할 수 있고, A 및 B 의 세트에 열거되지 않은 항목들을 추가적으로 포함할 수 있다.
본 명세서에 개시된 예들과 관련하여 설명된 다양한 예시적인 논리 블록들, 모듈들, 회로들, 및 알고리즘 단계들은 전자 하드웨어, 컴퓨터 소프트웨어, 펌웨어, 또는 이들의 조합들로서 구현될 수도 있다. 하드웨어와 소프트웨어의 이러한 상호교환가능성을 분명히 예시하기 위해, 다양한 예시적인 컴포넌트들, 블록들, 모듈들, 회로들 및 단계들이 일반적으로 그들의 기능성의 관점에서 상기에서 설명되었다. 그러한 기능성이 하드웨어로서 구현되는지 또는 소프트웨어로서 구현되는지는 전체 시스템에 부과된 설계 제약들 및 특정 애플리케이션에 의존한다. 당업자는 설명된 기능성을 각각의 특정 애플리케이션에 대하여 다양한 방식들로 구현할 수도 있지만, 그러한 구현의 결정들이 본 출원의 범위로부터의 일탈을 야기하는 것으로서 해석되지는 않아야 한다.
본 명세서에서 설명되는 기술들은 전자 하드웨어, 컴퓨터 소프트웨어, 펌웨어, 또는 그것들의 임의의 조합으로 또한 구현될 수도 있다. 이러한 기술들은 범용 컴퓨터들, 무선 통신 디바이스 핸드셋들, 또는 무선 통신 디바이스 핸드셋들 및 다른 디바이스들에서의 애플리케이션을 포함한 다수의 용도들을 갖는 집적회로 디바이스들과 같은 다양한 디바이스들 중 임의의 것으로 구현될 수도 있다. 모듈들 또는 컴포넌트들로서 설명되는 임의의 피처들은 통합형 로직 디바이스에 함께 또는 개별적이지만 상호작용하는 로직 디바이스들로서 따로따로 구현될 수도 있다. 소프트웨어에서 구현되는 경우, 그 기법들은, 실행될 경우 상기 설명된 방법들의 하나 이상을 수행하는 명령들을 포함하는 프로그램 코드를 포함하는 컴퓨터 판독가능 데이터 저장 매체에 의해 적어도 부분적으로 실현될 수도 있다. 컴퓨터 판독가능 데이터 저장 매체는 패키징 재료들을 포함할 수도 있는 컴퓨터 프로그램 제품의 부분을 형성할 수도 있다. 컴퓨터 판독가능 매체는 동기식 동적 랜덤 액세스 메모리 (SDRAM) 와 같은 랜덤 액세스 메모리 (RAM), 판독 전용 메모리 (ROM), 비휘발성 랜덤 액세스 메모리 (NVRAM), 전기적으로 소거가능한 프로래밍가능 판독 전용 메모리 (EEPROM), 플래시 메모리, 자기 또는 광학 데이터 저장 매체들 등과 같은 메모리 또는 데이터 저장 매체들을 포함할 수도 있다. 그 기술들은, 추가적으로 또는 대안적으로, 전파된 신호들 또는 파들과 같이, 명령들 또는 데이터 구조들의 형태로 프로그램 코드를 운반 또는 통신하고 그리고 컴퓨터에 의해 액세스, 판독, 및/또는 실행될 수 있는 컴퓨터 판독가능 통신 매체에 의해 적어도 부분적으로 실현될 수도 있다.
프로그램 코드는, 하나 이상의 디지털 신호 프로세서들 (DSP들), 범용 마이크로프로세서들, 주문형 집적 회로들 (ASIC들), 필드 프로그래밍가능 로직 어레이들 (FPGA들), 또는 다른 균등한 집적된 또는 별개의 로직 회로부와 같은 하나 이상의 프로세서들을 포함할 수도 있는 프로세서에 의해 실행될 수도 있다. 그러한 프로세서는 본 개시에 설명된 기술들 중의 임의의 것을 수행하도록 구성될 수도 있다. 범용 프로세서는 마이크로프로세서일 수도 있지만, 대안으로, 프로세서는 임의의 종래의 프로세서, 제어기, 마이크로제어기, 또는 상태 머신일 수도 있다. 또한, 프로세서는 컴퓨팅 디바이스들의 조합, 예를 들어 DSP 와 마이크로프로세서의 조합, 복수의 마이크로프로세서, DSP 코어와 조합한 하나 이상의 마이크로프로세서, 또는 임의의 다른 이러한 구성으로서 구현될 수도 있다. 따라서, 본 명세서에 사용된 용어 "프로세서" 는 임의의 전술한 구조, 전술한 구조의 임의의 조합, 또는 본 명세서에 설명된 기술들의 구현에 적합한 임의의 다른 구조 또는 장치를 지칭할 수도 있다. 추가로, 일부 양태에서, 본 명세서에 설명된 기능성은 인코딩 및 디코딩을 위해 구성된 전용 소프트웨어 모듈 또는 하드웨어 모듈 내에 제공되거나 또는 조합된 비디오 인코더-디코더 (코덱) 에 포함될 수도 있다.
본 개시의 예시적인 양태들은 다음을 포함한다:
양태 1: 고해상도 비행 시간 깊이 (time-of-flight depth) 이미징을 위한 장치로서, 하나 이상의 발광 디바이스들을 포함하는 투사 시스템으로서, 상기 하나 이상의 발광 디바이스들의 각각의 발광 디바이스는 상기 투사 시스템의 전체 시야 (FOV) 의 적어도 하나의 부분을 조명하도록 구성되고, 상기 전체 FOV 는 복수의 FOV 부분들을 포함하는, 상기 투사 시스템; 상기 하나 이상의 발광 디바이스들에 의해 방출된 광에 대응하는 복수의 조명 반사들에 기초하여 복수의 이미지들을 순차적으로 캡처하도록 구성된 센서를 포함하는 수신 시스템으로서, 상기 복수의 이미지들의 각각의 이미지는 상기 복수의 FOV 부분들의 하나에 대응하고, 상기 복수의 이미지들의 각각의 이미지와 연관된 이미지 해상도는 상기 센서의 풀 해상도에 대응하는, 상기 수신 시스템; 및상기 복수의 이미지들을 사용하여, 전체 FOV 와 연관된 증가된 해상도 깊이 맵을 생성하도록 구성되는 프로세서를 포함한다.
양태 2: 양태 1 의 장치에 있어서, 상기 투사 시스템은 순차적 조명 순서로 복수의 FOV 부분들 각각을 조명하도록 구성되며, 상기 순차적 조명 순서는 한 번에 단일 FOV 부분을 조명하는 것을 포함하고; 상기 수신 시스템은 순차적 조명 순서에 대응하는 순차적 수신 순서로 복수의 조명 반사들의 각각의 조명 반사를 수신하고, 각각의 조명 반사에 기초하여 상기 복수의 이미지들의 각각의 이미지를 생성하도록 구성된다.
양태 3: 양태 2 의 장치에 있어서, 상기 순차적 조명 순서로 상기 복수의 FOV 부분들 각각을 조명하기 위해, 상기 투사 시스템은, 상기 복수의 FOV 부분들의 제 1 FOV 부분을 조명하도록; 상기 제 1 FOV 부분에 대응하는 제 1 조명 반사를 수신하도록; 상기 제 1 조명 반사를 수신한 후, 상기 복수의 FOV 부분들의 제 2 FOV 부분을 조명하도록; 그리고 상기 제 2 FOV 부분에 대응하는 제 2 조명 반사를 수신하도록 구성된다.
양태 4: 양태 1 의 장치에 있어서, 상기 하나 이상의 발광 디바이스들은 복수의 발광 디바이스들을 포함하고; 상기 투사 시스템은 복수의 투사 렌즈들을 포함하고, 상기 복수의 투사 렌즈들의 각각의 투사 렌즈는 상기 복수의 FOV 부분들의 상이한 FOV 부분을 향해 상기 복수의 발광 디바이스들의 하나에 의해 방출된 광을 투사하도록 구성된다.
양태 5: 양태 4 의 장치에 있어서, 상기 투사 시스템은 상기 복수의 투사 렌즈들에 대해 포지셔닝된 하나 이상의 확산기들을 포함하고, 상기 하나 이상의 확산기들은 상기 복수의 발광 디바이스들에 의해 방출된 광을 확산시키도록 구성된다.
양태 6: 양태 4 의 장치에 있어서, 상기 복수의 투사 렌즈들 각각은 상기 복수의 발광 디바이스들 위에 포지셔닝된다.
양태 7: 양태 1 의 장치에 있어서, 상기 투사 시스템은 세그먼트화된 프리즘 어레이를 포함하고, 상기 세그먼트화된 프리즘 어레이는 상기 복수의 FOV 부분들의 각각의 FOV 부분으로 광을 지향시키도록 구성된다.
양태 8: 양태 1 의 장치에 있어서, 상기 하나 이상의 발광 디바이스들은 단일 발광 디바이스를 포함하고; 상기 투사 시스템은 스캐닝 미러를 포함하고, 상기 스캐닝 미러는 상이한 배향들로 배향될 때 상기 복수의 FOV 부분들의 상이한 FOV 부분들을 향해 상기 단일 발광 디바이스에 의해 방출된 광을 투사하도록 구성된다.
양태 9: 양태 8 의 장치에 있어서, 상기 스캐닝 미러는 MEMS (micro electro mechanical system) 미러를 포함한다.
양태 10: 양태 8 의 장치에 있어서, 상기 스캐닝 미러는 상기 단일 발광 디바이스 위에 포지셔닝되고; 상기 스캐닝 미러의 상이한 배향들 각각은 상기 단일 발광 디바이스의 평면과 상기 스캐닝 미러 사이의 상이한 배향 각도에 대응한다.
양태 11: 양태 8 의 장치에 있어서, 상기 투사 시스템은 상기 스캐닝 미러에 대해 포지셔닝된 하나 이상의 확산기를 포함하고, 상기 하나 이상의 확산기들은 상기 단일 발광 디바이스에 의해 방출된 광을 확산시키도록 구성된다.
양태 12: 양태 1 의 장치에 있어서, 상기 수신 시스템은 이미지 렌즈들의 어레이를 포함하고, 상기 이미지 렌즈들의 어레이의 각각의 이미지 렌즈는 상기 센서에, 상기 복수의 FOV 부분들의 각각의 FOV 부분에 대응하는 장면의 상이한 부분과 연관된 광을 투사하도록 구성된다.
양태 13: 양태 1 의 장치에 있어서, 상기 수신 시스템은 상기 센서 위에 포지셔닝된 필터를 더 포함하고, 상기 필터는 상기 하나 이상의 발광 디바이스에 의해 방출되는 광의 주파수에 대응하는 주파수를 갖는 광을 투과시키도록 구성되는, 장치.
양태 14: 양태 1 의 장치에 있어서, 상기 프로세서는, 상기 투사 시스템에, 상기 복수의 FOV 부분들의 특정 FOV 부분을 조명하기 위해 상기 투사 시스템에 지시하는 제 1 제어 신호를 전송하는 것; 및상기 수신 시스템에, 상기 특정 FOV 부분을 갖는 상기 센서에 의해 수신된 조명 반사를 연관시키도록 수신 시스템에 지시하는 제 2 제어 신호를 전송하는 것으로서, 상기 제 1 제어 신호 및 상기 제 2 제어 신호는 시간 동기화되는, 상기 제 2 제어 신호를 전송하는 것에 적어도 부분적으로 기초하여 상기 투사 시스템 및 상기 수신 시스템을 동기화도록 구성된다.
양태 15: 양태 1 의 장치에 있어서, 상기 복수의 FOV 부분들의 제 1 FOV 부분은 상기 복수의 FOV 부분들의 적어도 제 2 FOV 부분과 부분적으로 중첩된다.
양태 16: 양태 1 의 장치에 있어서, 상기 전체 FOV 와 연관된 증가된 해상도 깊이 맵을 생성하기 위해, 상기 프로세서는, 복수의 부분 거리 측정들을 생성하는 것으로서, 상기 복수의 부분 거리 측정들의 각각은 복수의 조명 반사들의 하나에 대응하는, 복수의 부분 거리 측정들을 생성하는 것; 및 상기 복수의 부분 거리 측정들을 조합하는 것을 행하도록 구성된다.
양태 17: 양태 1 의 장치에 있어서, 상기 증가된 해상도 깊이 맵의 이미지 해상도는 상기 센서의 최대 해상도에 상기 복수의 FOV 부분들의 수를 곱한 것에 대응한다.
양태 18: 고해상도 비행 시간 깊이 이미징을 위한 방법으로서, 투사 시스템의 하나 이상의 발광 디바이스들을 사용하여, 상기 투사 시스템의 전체 FOV 의 복수의 시야 (FOV) 부분을 조명하는 단계로서, 상기 하나 이상의 발광 디바이스들의 각각의 발광 디바이스는 상기 전체 FOV 의 적어도 하나의 부분을 조명하도록 구성되는, 상기 복수의 시야 (FOV) 부분을 조명하는 단계; 수신 시스템의 센서에 의해, 상기 하나 이상의 발광 디바이스들에 의해 방출된 광에 대응하는 복수의 조명 반사들에 기초하여 복수의 이미지들을 순차적으로 캡처하는 단계로서, 상기 복수의 이미지들의 각각의 이미지는 상기 복수의 FOV 부분들의 하나에 대응하고, 상기 복수의 이미지들의 각각의 이미지와 연관된 이미지 해상도는 상기 센서의 풀 해상도에 대응하는, 상기 복수의 이미지들을 순차적으로 캡처하는 단계; 및상기 복수의 이미지들을 사용하여, 상기 전체 FOV 와 연관된 증가된 해상도 깊이 맵을 생성하는 단계를 포함한다.
양태 19: 양태 18 의 방법에 있어서, 상기 복수의 FOV 부분들을 조명하는 단계는 순차적 조명 순서로 복수의 FOV 부분들 각각을 조명하는 단계를 포함하고, 상기 순차적 조명 순서는 한 번에 단일 FOV 부분을 조명하는 단계를 포함하고; 상기 복수의 조명 반사들의 각각의 조명 반사를 수신하는 단계는 상기 순차적 조명 순서에 대응하는 순차적 수신 순서로 각각의 반사를 수신하는 단계를 포함하고; 상기 방법은 추가로 상기 복수의 조명 반사들의 각각의 조명 반사에 기초하여 상기 복수의 이미지들의 각각의 이미지를 생성하는 단계를 포함한다.
양태 20: 양태 19 의 방법에 있어서, 상기 순차적 조명 순서로 상기 복수의 FOV 부분들 각각을 조명하는 단계는, 상기 복수의 FOV 부분들의 제 1 FOV 부분을 조명하는 단계; 상기 제 1 FOV 부분에 대응하는 제 1 조명 반사를 수신하는 단계; 상기 제 1 조명 반사를 수신한 후, 상기 복수의 FOV 부분들의 제 2 FOV 부분을 조명하는 단계; 및 상기 제 2 FOV 부분에 대응하는 제 2 조명 반사를 수신하는 단계를 포함한다.
양태 21: 양태 18 의 방법에 있어서, 상기 하나 이상의 발광 디바이스들은 복수의 발광 디바이스들을 포함하고; 상기 투사 시스템은 복수의 투사 렌즈들을 포함하고, 상기 복수의 투사 렌즈들의 각각의 투사 렌즈는 상기 복수의 FOV 부분들의 상이한 FOV 부분을 향해 상기 복수의 발광 디바이스들의 하나에 의해 방출된 광을 투사하도록 구성된다.
양태 22: 양태 21 의 방법에 있어서, 상기 투사 시스템은 상기 복수의 투사 렌즈들에 대해 포지셔닝된 하나 이상의 확산기들을 포함하고, 상기 하나 이상의 확산기들은 상기 복수의 발광 디바이스들에 의해 방출된 광을 확산시키도록 구성된다.
양태 23: 양태 21 의 방법에 있어서, 상기 복수의 렌즈들 각각은 상기 복수의 발광 디바이스들 위에 포지셔닝된다.
양태 24: 양태 18 의 방법에 있어서, 상기 투사 시스템은 세그먼트화된 프리즘 어레이를 포함하고, 상기 세그먼트화된 프리즘 어레이는 상기 복수의 FOV 부분들의 각각의 FOV 부분으로 광을 지향시키도록 구성된다.
양태 25: 양태 18 의 방법에 있어서, 상기 하나 이상의 발광 디바이스들은 단일 발광 디바이스를 포함하고; 상기 투사 시스템은 스캐닝 미러를 포함하고, 상기 스캐닝 미러는 상이한 배향들로 배향될 때 상기 복수의 FOV 부분들의 상이한 FOV 부분들을 향해 상기 단일 발광 디바이스에 의해 방출된 광을 투사하도록 구성된다.
양태 26: 양태 25 의 방법에 있어서, 상기 스캐닝 미러는 MEMS (micro electro mechanical system) 미러를 포함한다.
양태 27: 양태 25 의 방법에 있어서, 상기 스캐닝 미러는 상기 단일 발광 디바이스 위에 포지셔닝되고; 상기 스캐닝 미러의 상이한 배향들 각각은 상기 단일 발광 디바이스의 평면과 상기 스캐닝 미러 사이의 상이한 배향 각도에 대응한다.
양태 28: 양태 25 의 방법에 있어서, 상기 투사 시스템은 상기 스캐닝 미러에 대해 포지셔닝된 하나 이상의 확산기를 포함하고, 상기 하나 이상의 확산기들은 상기 단일 발광 디바이스에 의해 방출된 광을 확산시키도록 구성된다.
양태 29: 양태 18 의 방법에 있어서, 상기 수신 시스템은 이미지 렌즈들의 어레이를 포함하고, 상기 이미지 렌즈들의 어레이의 각각의 이미지 렌즈는 상기 센서에, 상기 복수의 FOV 부분들의 각각의 FOV 부분에 대응하는 장면의 상이한 부분과 연관된 광을 투사하도록 구성된다.
양태 30: 양태 18 의 방법에 있어서, 상기 방법은 상기 센서 위에 포지셔닝된 필터를 더 포함하고, 상기 필터는 상기 하나 이상의 발광 디바이스에 의해 방출되는 광의 주파수에 대응하는 주파수를 갖는 광을 투과시키도록 구성된다.
양태 31: 양태 18 의 방법에 있어서, 상기 방법은 추가로, 상기 투사 시스템에, 상기 복수의 FOV 부분들의 특정 FOV 부분을 조명하기 위해 상기 투사 시스템에 지시하는 제 1 제어 신호를 전송하는 것; 및 상기 수신 시스템에, 상기 특정 FOV 부분을 갖는 상기 센서에 의해 수신된 조명 반사를 연관시키도록 수신 시스템에 지시하는 제 2 제어 신호를 전송하는 것으로서, 상기 제 1 제어 신호 및 상기 제 2 제어 신호는 시간 동기화되는, 상기 제 2 제어 신호를 전송하는 것에 적어도 부분적으로 기초하여 상기 투사 시스템 및 상기 수신 시스템을 동기화도록 구성된다.
양태 32: 양태 18 의 방법에 있어서, 상기 복수의 FOV 부분들의 제 1 FOV 부분은 상기 복수의 FOV 부분들의 적어도 제 2 FOV 부분과 부분적으로 중첩된다.
양태 33: 양태 18 의 방법에 있어서, 상기 전체 FOV 와 연관된 상기 증가된 해상도 깊이 맵을 생성하는 단계는: 복수의 부분 거리 측정들을 생성하는 단계로서, 상기 복수의 부분 거리 측정들의 각각은 복수의 조명 반사들의 하나에 대응하는, 복수의 부분 거리 측정들을 생성하는 단계; 및 상기 복수의 부분 거리 측정들을 조합하는 단계를 포함한다.
양태 34: 양태 18 의 방법에 있어서, 상기 증가된 해상도 깊이 맵의 이미지 해상도는 상기 센서의 최대 해상도에 상기 복수의 FOV 부분들의 수를 곱한 것에 대응한다.
양태 35: 내부에 저장된 명령들을 갖는 비일시적 컴퓨터 판독가능 저장 매체로서, 상기 명령들은, 하나 이상의 프로세서들에 의해 실행될 때, 상기 하나 이상의 프로세서들로 하여금 양태 1 내지 양태 34 중 어느 하나의 양태에 따른 동작들을 수행하게 한다.
양태 36: 양태 1 내지 양태 34 중 어느 하나의 양태에 따른 방법을 수행하기 위한 수단을 포함한다.

Claims (35)

  1. 고해상도 비행 시간 깊이 (time-of-flight depth) 이미징을 위한 장치로서,
    하나 이상의 발광 디바이스들을 포함하는 투사 시스템 (projection system)으로서, 상기 하나 이상의 발광 디바이스들의 각각의 발광 디바이스는 상기 투사 시스템의 전체 시야 (FOV) 의 적어도 하나의 부분을 조명하도록 구성되고, 상기 전체 FOV 는 복수의 FOV 부분들을 포함하는, 상기 투사 시스템;
    상기 하나 이상의 발광 디바이스들에 의해 방출된 광에 대응하는 복수의 조명 반사들에 기초하여 복수의 이미지들을 순차적으로 캡처하도록 구성된 센서를 포함하는 수신 시스템으로서, 상기 복수의 이미지들의 각각의 이미지는 상기 복수의 FOV 부분들의 하나에 대응하고, 상기 복수의 이미지들의 각각의 이미지와 연관된 이미지 해상도는 상기 센서의 풀 해상도에 대응하는, 상기 수신 시스템; 및
    상기 복수의 이미지들을 사용하여, 상기 전체 FOV 와 연관된 증가된 해상도 깊이 맵을 생성하도록 구성되는 프로세서를 포함하는, 고해상도 비행 시간 깊이 이미징을 위한 장치.
  2. 제 1 항에 있어서,
    상기 투사 시스템은 순차적 조명 순서로 상기 복수의 FOV 부분들 각각을 조명하도록 구성되며, 상기 순차적 조명 순서는 한 번에 단일 FOV 부분을 조명하는 것을 포함하고;
    상기 수신 시스템은 순차적 조명 순서에 대응하는 순차적 수신 순서로 상기 복수의 조명 반사들의 각각의 조명 반사를 수신하고, 각각의 조명 반사에 기초하여 상기 복수의 이미지들의 각각의 이미지를 생성하도록 구성되는, 고해상도 비행 시간 깊이 이미징을 위한 장치.
  3. 제 2 항에 있어서,
    상기 순차적 조명 순서로 상기 복수의 FOV 부분들 각각을 조명하기 위해, 상기 투사 시스템은,
    상기 복수의 FOV 부분들의 제 1 FOV 부분을 조명하도록;
    상기 제 1 FOV 부분에 대응하는 제 1 조명 반사를 수신하도록;
    상기 제 1 조명 반사를 수신한 후, 상기 복수의 FOV 부분들의 제 2 FOV 부분을 조명하도록; 그리고
    상기 제 2 FOV 부분에 대응하는 제 2 조명 반사를 수신하도록 구성되는, 고해상도 비행 시간 깊이 이미징을 위한 장치.
  4. 제 1 항에 있어서,
    상기 하나 이상의 발광 디바이스들은 복수의 발광 디바이스들을 포함하고;
    상기 투사 시스템은 복수의 투사 렌즈들을 포함하고, 상기 복수의 투사 렌즈들의 각각의 투사 렌즈는 상기 복수의 FOV 부분들의 상이한 FOV 부분을 향해 상기 복수의 발광 디바이스들의 하나에 의해 방출된 광을 투사하도록 구성되는, 고해상도 비행 시간 깊이 이미징을 위한 장치.
  5. 제 4 항에 있어서,
    상기 투사 시스템은 상기 복수의 투사 렌즈들에 대해 포지셔닝된 하나 이상의 확산기들을 포함하고, 상기 하나 이상의 확산기들은 상기 복수의 발광 디바이스들에 의해 방출된 광을 확산시키도록 구성되는, 고해상도 비행 시간 깊이 이미징을 위한 장치.
  6. 제 4 항에 있어서,
    상기 복수의 투사 렌즈들 각각은 상기 복수의 발광 디바이스들 위에 포지셔닝되는, 고해상도 비행 시간 깊이 이미징을 위한 장치.
  7. 제 1 항에 있어서,
    상기 투사 시스템은 세그먼트화된 프리즘 어레이를 포함하고, 상기 세그먼트화된 프리즘 어레이는 상기 복수의 FOV 부분들의 각각의 FOV 부분으로 광을 지향시키도록 구성되는, 고해상도 비행 시간 깊이 이미징을 위한 장치.
  8. 제 1 항에 있어서,
    상기 하나 이상의 발광 디바이스들은 단일 발광 디바이스를 포함하고;
    상기 투사 시스템은 스캐닝 미러를 포함하고, 상기 스캐닝 미러는 상이한 배향들로 배향될 때 상기 복수의 FOV 부분들의 상이한 FOV 부분들을 향해 상기 단일 발광 디바이스에 의해 방출된 광을 투사하도록 구성되는, 고해상도 비행 시간 깊이 이미징을 위한 장치.
  9. 제 8 항에 있어서,
    상기 스캐닝 미러는 MEMS (micro electro mechanical system) 미러를 포함하는, 고해상도 비행 시간 깊이 이미징을 위한 장치.
  10. 제 8 항에 있어서,
    상기 스캐닝 미러는 상기 단일 발광 디바이스 위에 포지셔닝되고;
    상기 스캐닝 미러의 상이한 배향들 각각은 상기 단일 발광 디바이스의 평면과 상기 스캐닝 미러 사이의 상이한 배향 각도에 대응하는, 고해상도 비행 시간 깊이 이미징을 위한 장치.
  11. 제 8 항에 있어서,
    상기 투사 시스템은 상기 스캐닝 미러에 대해 포지셔닝된 하나 이상의 확산기를 포함하고, 상기 하나 이상의 확산기들은 상기 단일 발광 디바이스에 의해 방출된 광을 확산시키도록 구성되는, 고해상도 비행 시간 깊이 이미징을 위한 장치.
  12. 제 1 항에 있어서,
    상기 수신 시스템은 이미지 렌즈들의 어레이를 포함하고, 상기 이미지 렌즈들의 어레이의 각각의 이미지 렌즈는 상기 센서에, 상기 복수의 FOV 부분들의 각각의 FOV 부분에 대응하는 장면의 상이한 부분과 연관된 광을 투사하도록 구성되는, 고해상도 비행 시간 깊이 이미징을 위한 장치.
  13. 제 1 항에 있어서,
    상기 수신 시스템은 상기 센서 위에 포지셔닝된 필터를 더 포함하고, 상기 필터는 상기 하나 이상의 발광 디바이스에 의해 방출되는 광의 주파수에 대응하는 주파수를 갖는 광을 투과 (transmit) 시키도록 구성되는, 고해상도 비행 시간 깊이 이미징을 위한 장치.
  14. 제 1 항에 있어서,
    상기 프로세서는,
    상기 투사 시스템에, 상기 복수의 FOV 부분들의 특정 FOV 부분을 조명하기 위해 상기 투사 시스템에 지시 (direct) 하는 제 1 제어 신호를 전송하는 것; 및
    상기 수신 시스템에, 상기 특정 FOV 부분을 갖는 상기 센서에 의해 수신된 조명 반사를 연관시키도록 수신 시스템에 지시하는 제 2 제어 신호를 전송하는 것으로서, 상기 제 1 제어 신호 및 상기 제 2 제어 신호는 시간 동기화되는, 상기 제 2 제어 신호를 전송하는 것에 적어도 부분적으로 기초하여 상기 투사 시스템 및 상기 수신 시스템을 동기화하도록 구성되는, 고해상도 비행 시간 깊이 이미징을 위한 장치.
  15. 제 1 항에 있어서,
    상기 복수의 FOV 부분들의 제 1 FOV 부분은 상기 복수의 FOV 부분들의 적어도 제 2 FOV 부분과 부분적으로 중첩되는, 고해상도 비행 시간 깊이 이미징을 위한 장치.
  16. 제 1 항에 있어서,
    상기 전체 FOV 와 연관된 증가된 해상도 깊이 맵을 생성하기 위해, 상기 프로세서는,
    복수의 부분 거리 측정들을 생성하는 것으로서, 상기 복수의 부분 거리 측정들의 각각은 복수의 조명 반사들의 하나에 대응하는, 복수의 부분 거리 측정들을 생성하는 것; 및
    상기 복수의 부분 거리 측정들을 조합하는 것을 행하도록 구성되는, 고해상도 비행 시간 깊이 이미징을 위한 장치.
  17. 제 1 항에 있어서,
    상기 증가된 해상도 깊이 맵의 이미지 해상도는 상기 센서의 최대 해상도에 상기 복수의 FOV 부분들의 수를 곱한 것에 대응하는, 고해상도 비행 시간 깊이 이미징을 위한 장치.
  18. 고해상도 비행 시간 깊이 이미징을 위한 방법으로서,
    투사 시스템의 하나 이상의 발광 디바이스들을 사용하여, 상기 투사 시스템의 전체 FOV 의 복수의 시야 (FOV) 부분을 조명하는 단계로서, 상기 하나 이상의 발광 디바이스들의 각각의 발광 디바이스는 상기 전체 FOV 의 적어도 하나의 부분을 조명하도록 구성되는, 상기 복수의 시야 (FOV) 부분을 조명하는 단계;
    수신 시스템의 센서에 의해, 상기 하나 이상의 발광 디바이스들에 의해 방출된 광에 대응하는 복수의 조명 반사들에 기초하여 복수의 이미지들을 순차적으로 캡처하는 단계로서, 상기 복수의 이미지들의 각각의 이미지는 상기 복수의 FOV 부분들의 하나에 대응하고, 상기 복수의 이미지들의 각각의 이미지와 연관된 이미지 해상도는 상기 센서의 풀 해상도에 대응하는, 상기 복수의 이미지들을 순차적으로 캡처하는 단계; 및
    상기 복수의 이미지들을 사용하여, 상기 전체 FOV 와 연관된 증가된 해상도 깊이 맵을 생성하는 단계를 포함하는, 고해상도 비행 시간 깊이 이미징을 위한 방법.
  19. 제 18 항에 있어서,
    상기 복수의 FOV 부분들을 조명하는 단계는 순차적 조명 순서로 상기 복수의 FOV 부분들 각각을 조명하는 단계를 포함하고, 상기 순차적 조명 순서는 한 번에 단일 FOV 부분을 조명하는 단계를 포함하고;
    상기 복수의 조명 반사들의 각각의 조명 반사를 수신하는 단계는 상기 순차적 조명 순서에 대응하는 순차적 수신 순서로 각각의 반사를 수신하는 단계를 포함하고;
    상기 방법은 추가로 상기 복수의 조명 반사들의 각각의 조명 반사에 기초하여 상기 복수의 이미지들의 각각의 이미지를 생성하는 단계를 포함하는, 고해상도 비행 시간 깊이 이미징을 위한 방법.
  20. 제 19 항에 있어서,
    상기 순차적 조명 순서로 상기 복수의 FOV 부분들 각각을 조명하는 단계는,
    상기 복수의 FOV 부분들의 제 1 FOV 부분을 조명하는 단계;
    상기 제 1 FOV 부분에 대응하는 제 1 조명 반사를 수신하는 단계;
    상기 제 1 조명 반사를 수신한 후, 상기 복수의 FOV 부분들의 제 2 FOV 부분을 조명하는 단계; 및
    상기 제 2 FOV 부분에 대응하는 제 2 조명 반사를 수신하는 단계를 포함하는, 고해상도 비행 시간 깊이 이미징을 위한 방법.
  21. 제 18 항에 있어서,
    상기 하나 이상의 발광 디바이스들은 복수의 발광 디바이스들을 포함하고;
    상기 투사 시스템은 복수의 투사 렌즈들을 포함하고, 상기 복수의 투사 렌즈들의 각각의 투사 렌즈는 상기 복수의 FOV 부분들의 상이한 FOV 부분을 향해 상기 복수의 발광 디바이스들의 하나에 의해 방출된 광을 투사하도록 구성되는, 고해상도 비행 시간 깊이 이미징을 위한 방법.
  22. 제 21 항에 있어서,
    상기 투사 시스템은 상기 복수의 투사 렌즈들에 대해 포지셔닝된 하나 이상의 확산기들을 포함하고, 상기 하나 이상의 확산기들은 상기 복수의 발광 디바이스들에 의해 방출된 광을 확산시키도록 구성되는, 고해상도 비행 시간 깊이 이미징을 위한 방법.
  23. 제 21 항에 있어서,
    상기 복수의 렌즈들 각각은 상기 복수의 발광 디바이스들 위에 포지셔닝되는, 고해상도 비행 시간 깊이 이미징을 위한 방법.
  24. 제 18 항에 있어서,
    상기 투사 시스템은 세그먼트화된 프리즘 어레이를 포함하고, 상기 세그먼트화된 프리즘 어레이는 상기 복수의 FOV 부분들의 각각의 FOV 부분으로 광을 지향시키도록 구성되는, 고해상도 비행 시간 깊이 이미징을 위한 방법.
  25. 제 18 항에 있어서,
    상기 하나 이상의 발광 디바이스들은 단일 발광 디바이스를 포함하고;
    상기 투사 시스템은 스캐닝 미러를 포함하고, 상기 스캐닝 미러는 상이한 배향들로 배향될 때 상기 복수의 FOV 부분들의 상이한 FOV 부분들을 향해 상기 단일 발광 디바이스에 의해 방출된 광을 투사하도록 구성되는, 고해상도 비행 시간 깊이 이미징을 위한 방법.
  26. 제 25 항에 있어서,
    상기 스캐닝 미러는 MEMS (micro electro mechanical system) 미러를 포함하는, 고해상도 비행 시간 깊이 이미징을 위한 방법.
  27. 제 25 항에 있어서,
    상기 스캐닝 미러는 상기 단일 발광 디바이스 위에 포지셔닝되고;
    상기 스캐닝 미러의 상이한 배향들 각각은 상기 단일 발광 디바이스의 평면과 상기 스캐닝 미러 사이의 상이한 배향 각도에 대응하는, 고해상도 비행 시간 깊이 이미징을 위한 방법.
  28. 제 25 항에 있어서,
    상기 투사 시스템은 상기 스캐닝 미러에 대해 포지셔닝된 하나 이상의 확산기를 포함하고, 상기 하나 이상의 확산기들은 상기 단일 발광 디바이스에 의해 방출된 광을 확산시키도록 구성되는, 고해상도 비행 시간 깊이 이미징을 위한 방법.
  29. 제 18 항에 있어서,
    상기 수신 시스템은 이미지 렌즈들의 어레이를 포함하고, 상기 이미지 렌즈들의 어레이의 각각의 이미지 렌즈는 상기 센서에, 상기 복수의 FOV 부분들의 각각의 FOV 부분에 대응하는 장면의 상이한 부분과 연관된 광을 투사하도록 구성되는, 고해상도 비행 시간 깊이 이미징을 위한 방법.
  30. 제 18 항에 있어서,
    상기 방법은 상기 센서 위에 포지셔닝된 필터를 더 포함하고, 상기 필터는 상기 하나 이상의 발광 디바이스에 의해 방출되는 광의 주파수에 대응하는 주파수를 갖는 광을 투과시키도록 구성되는, 고해상도 비행 시간 깊이 이미징을 위한 방법.
  31. 제 18 항에 있어서,
    상기 방법은 추가로,
    상기 투사 시스템에, 상기 복수의 FOV 부분들의 특정 FOV 부분을 조명하기 위해 상기 투사 시스템에 지시하는 제 1 제어 신호를 전송하는 것; 및
    상기 수신 시스템에, 상기 특정 FOV 부분을 갖는 상기 센서에 의해 수신된 조명 반사를 연관시키도록 수신 시스템에 지시하는 제 2 제어 신호를 전송하는 것으로서, 상기 제 1 제어 신호 및 상기 제 2 제어 신호는 시간 동기화되는, 상기 제 2 제어 신호를 전송하는 것에 적어도 부분적으로 기초하여 상기 투사 시스템 및 상기 수신 시스템을 동기화하는 것을 포함하는, 고해상도 비행 시간 깊이 이미징을 위한 방법.
  32. 제 18 항에 있어서,
    상기 복수의 FOV 부분들의 제 1 FOV 부분은 상기 복수의 FOV 부분들의 적어도 제 2 FOV 부분과 부분적으로 중첩되는, 고해상도 비행 시간 깊이 이미징을 위한 방법.
  33. 제 18 항에 있어서,
    상기 전체 FOV 와 연관된 상기 증가된 해상도 깊이 맵을 생성하는 단계는:
    복수의 부분 거리 측정들을 생성하는 단계로서, 상기 복수의 부분 거리 측정들의 각각은 복수의 조명 반사들의 하나에 대응하는, 상기 복수의 부분 거리 측정들을 생성하는 단계; 및
    상기 복수의 부분 거리 측정들을 조합하는 단계를 포함하는, 고해상도 비행 시간 깊이 이미징을 위한 방법.
  34. 제 18 항에 있어서,
    상기 증가된 해상도 깊이 맵의 이미지 해상도는 상기 센서의 최대 해상도에 상기 복수의 FOV 부분들의 수를 곱한 것에 대응하는, 고해상도 비행 시간 깊이 이미징을 위한 방법.
  35. 고해상도 비행시간 깊이 이미징을 위한 비일시적 컴퓨터 판독가능 저장 매체로서, 상기 비일시적 컴퓨터 판독가능 저장 매체는:
    내부에 저장된 명령들을 포함하고, 상기 명령들은 하나 이상의 프로세서들에 의해 실행될 때, 상기 하나 이상의 프로세서들로 하여금:
    투사 시스템의 하나 이상의 발광 디바이스들을 사용하여, 상기 투사 시스템의 전체 FOV 의 복수의 시야 (FOV) 부분을 조명하는 것으로서, 상기 하나 이상의 발광 디바이스들의 각각의 발광 디바이스는 상기 전체 FOV 의 적어도 하나의 부분을 조명하도록 구성되는, 상기 복수의 시야 (FOV) 부분을 조명하는 것;
    수신 시스템의 센서에 의해, 상기 하나 이상의 발광 디바이스들에 의해 방출된 광에 대응하는 복수의 조명 반사들에 기초하여 복수의 이미지들을 순차적으로 캡처하는 것으로서, 상기 복수의 이미지들의 각각의 이미지는 상기 복수의 FOV 부분들의 하나에 대응하고, 상기 복수의 이미지들의 각각의 이미지와 연관된 이미지 해상도는 상기 센서의 풀 해상도에 대응하는, 상기 복수의 이미지들을 순차적으로 캡처하는 것; 및
    상기 복수의 이미지들을 사용하여, 상기 전체 FOV 와 연관된 증가된 해상도 깊이 맵을 생성하는 것을 행하게 하는, 비일시적 컴퓨터 판독가능 저장 매체.

KR1020237025506A 2021-02-03 2022-01-26 고해상도 비행 시간 깊이 이미징 KR20230141774A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US17/166,990 2021-02-03
US17/166,990 US11763425B2 (en) 2021-02-03 2021-02-03 High resolution time-of-flight depth imaging
PCT/US2022/013886 WO2022169649A1 (en) 2021-02-03 2022-01-26 High-resolution time-of-flight depth imaging

Publications (1)

Publication Number Publication Date
KR20230141774A true KR20230141774A (ko) 2023-10-10

Family

ID=80786843

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020237025506A KR20230141774A (ko) 2021-02-03 2022-01-26 고해상도 비행 시간 깊이 이미징

Country Status (8)

Country Link
US (1) US11763425B2 (ko)
EP (1) EP4288797A1 (ko)
JP (1) JP2024507706A (ko)
KR (1) KR20230141774A (ko)
CN (1) CN116802513A (ko)
BR (1) BR112023014833A2 (ko)
TW (1) TW202235909A (ko)
WO (1) WO2022169649A1 (ko)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11747135B2 (en) * 2015-02-13 2023-09-05 Carnegie Mellon University Energy optimized imaging system with synchronized dynamic control of directable beam light source and reconfigurably masked photo-sensor
WO2024112903A1 (en) * 2022-11-23 2024-05-30 Arizona Board Of Regents On Behalf Of The University Of Arizona Method and device for three-dimensional imaging and imaging through scattering scenes
US11721063B1 (en) * 2023-01-26 2023-08-08 Illuscio, Inc. Systems and methods for dynamic image rendering using a depth map

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8878950B2 (en) 2010-12-14 2014-11-04 Pelican Imaging Corporation Systems and methods for synthesizing high resolution images using super-resolution processes
WO2013121267A1 (en) 2012-02-15 2013-08-22 Mesa Imaging Ag Time of flight camera with stripe illumination
US8569700B2 (en) 2012-03-06 2013-10-29 Omnivision Technologies, Inc. Image sensor for two-dimensional and three-dimensional image capture
JP2018533026A (ja) 2015-11-05 2018-11-08 ルミナー テクノロジーズ インコーポレイテッド 高分解能のデプスマップを作成するための、改善された走査速度を有するライダーシステム
JP6697636B2 (ja) * 2016-09-20 2020-05-20 イノヴィズ テクノロジーズ リミテッド Ｌｉｄａｒシステム及び方法
US10598771B2 (en) 2017-01-18 2020-03-24 Analog Devices Global Unlimited Company Depth sensing with multiple light sources
US10901073B2 (en) 2017-07-11 2021-01-26 Microsoft Technology Licensing, Llc Illumination for zoned time-of-flight imaging
CN114942453A (zh) * 2019-03-08 2022-08-26 欧司朗股份有限公司 Lidar传感器系统、用于该系统的光学部件、传感器和方法

Also Published As

Publication number Publication date
JP2024507706A (ja) 2024-02-21
CN116802513A (zh) 2023-09-22
US11763425B2 (en) 2023-09-19
TW202235909A (zh) 2022-09-16
WO2022169649A1 (en) 2022-08-11
EP4288797A1 (en) 2023-12-13
US20220245762A1 (en) 2022-08-04
BR112023014833A2 (pt) 2023-11-14

Similar Documents

Publication Publication Date Title
US11763425B2 (en) High resolution time-of-flight depth imaging
JP6517244B2 (ja) 時間共有を使用する自動複数深度カメラ同期化
US11675056B2 (en) Illumination for zoned time-of-flight imaging
US20190363118A1 (en) Programmable pixel array
US10535151B2 (en) Depth map with structured and flood light
US9504384B2 (en) Information processing apparatus and information processing method
US20190068853A1 (en) Structured light and flood fill light illuminator
WO2019174435A1 (zh) 投射器及其检测方法和装置、图像获取装置、电子设备、可读存储介质
US20130002823A1 (en) Image generating apparatus and method
US10055881B2 (en) Video imaging to assess specularity
US10962764B2 (en) Laser projector and camera
CN112639576B (zh) 结构光深度感测
CN112189147B (zh) 一种飞行时间ToF相机和一种ToF方法
US11570342B2 (en) Selective power efficient three-dimensional imaging
US20220028102A1 (en) Devices and methods for determining confidence in stereo matching using a classifier-based filter
CN113344839B (zh) 深度图像采集装置、融合方法和终端设备
US11601607B2 (en) Infrared and non-infrared channel blender for depth mapping using structured light
KR102021363B1 (ko) 곡면 디스플레이 장치 및 그 동작 방법
US20240070886A1 (en) Mixed-mode depth imaging
US11676293B2 (en) Methods for depth sensing using candidate images selected based on an epipolar line
US20240127401A1 (en) Active depth sensing
CN113302514A (zh) 用于分区飞行时间成像的照明
US20230281835A1 (en) Wide angle eye tracking
US11889196B2 (en) Systems and methods for determining image capture settings