KR20210113312A - 펄스형 빔들의 희소 어레이를 사용하는 깊이 감지 - Google Patents

펄스형 빔들의 희소 어레이를 사용하는 깊이 감지 Download PDF

Info

Publication number
KR20210113312A
KR20210113312A KR1020217025136A KR20217025136A KR20210113312A KR 20210113312 A KR20210113312 A KR 20210113312A KR 1020217025136 A KR1020217025136 A KR 1020217025136A KR 20217025136 A KR20217025136 A KR 20217025136A KR 20210113312 A KR20210113312 A KR 20210113312A
Authority
KR
South Korea
Prior art keywords
array
sensing elements
banks
signals
emitters
Prior art date
Application number
KR1020217025136A
Other languages
English (en)
Other versions
KR102604902B1 (ko
Inventor
티에리 오기어
Original Assignee
애플 인크.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 애플 인크. filed Critical 애플 인크.
Publication of KR20210113312A publication Critical patent/KR20210113312A/ko
Application granted granted Critical
Publication of KR102604902B1 publication Critical patent/KR102604902B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/22—Measuring arrangements characterised by the use of optical techniques for measuring depth
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/486—Receivers
    • G01S7/4861—Circuits for detection, sampling, integration or read-out
    • G01S7/4863—Detector arrays, e.g. charge-transfer gates
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G01S17/10—Systems determining position data of a target for measuring distance only using transmission of interrupted, pulse-modulated waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481—Constructional features, e.g. arrangements of optical elements
    • G01S7/4814—Constructional features, e.g. arrangements of optical elements of transmitters alone
    • G01S7/4815—Constructional features, e.g. arrangements of optical elements of transmitters alone using multiple transmitters
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481—Constructional features, e.g. arrangements of optical elements
    • G01S7/4816—Constructional features, e.g. arrangements of optical elements of receivers alone
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481—Constructional features, e.g. arrangements of optical elements
    • G01S7/4817—Constructional features, e.g. arrangements of optical elements relating to scanning
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/484—Transmitters
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/486—Receivers
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/486—Receivers
    • G01S7/4865—Time delay measurement, e.g. time-of-flight measurement, time of arrival measurement or determining the exact position of a peak
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/497—Means for monitoring or calibrating
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L31/00—Semiconductor devices sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation; Processes or apparatus specially adapted for the manufacture or treatment thereof or of parts thereof; Details thereof
    • H01L31/08—Semiconductor devices sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation; Processes or apparatus specially adapted for the manufacture or treatment thereof or of parts thereof; Details thereof in which radiation controls flow of current through the device, e.g. photoresistors
    • H01L31/10—Semiconductor devices sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation; Processes or apparatus specially adapted for the manufacture or treatment thereof or of parts thereof; Details thereof in which radiation controls flow of current through the device, e.g. photoresistors characterised by potential barriers, e.g. phototransistors
    • H01L31/101—Devices sensitive to infrared, visible or ultraviolet radiation
    • H01L31/102—Devices sensitive to infrared, visible or ultraviolet radiation characterised by only one potential barrier
    • H01L31/107—Devices sensitive to infrared, visible or ultraviolet radiation characterised by only one potential barrier the potential barrier working in avalanche mode, e.g. avalanche photodiodes
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01S—DEVICES USING THE PROCESS OF LIGHT AMPLIFICATION BY STIMULATED EMISSION OF RADIATION [LASER] TO AMPLIFY OR GENERATE LIGHT; DEVICES USING STIMULATED EMISSION OF ELECTROMAGNETIC RADIATION IN WAVE RANGES OTHER THAN OPTICAL
    • H01S5/00—Semiconductor lasers
    • H01S5/10—Construction or shape of the optical resonator, e.g. extended or external cavity, coupled cavities, bent-guide, varying width, thickness or composition of the active region
    • H01S5/18—Surface-emitting [SE] lasers, e.g. having both horizontal and vertical cavities
    • H01S5/183—Surface-emitting [SE] lasers, e.g. having both horizontal and vertical cavities having only vertical cavities, e.g. vertical cavity surface-emitting lasers [VCSEL]
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01S—DEVICES USING THE PROCESS OF LIGHT AMPLIFICATION BY STIMULATED EMISSION OF RADIATION [LASER] TO AMPLIFY OR GENERATE LIGHT; DEVICES USING STIMULATED EMISSION OF ELECTROMAGNETIC RADIATION IN WAVE RANGES OTHER THAN OPTICAL
    • H01S5/00—Semiconductor lasers
    • H01S5/30—Structure or shape of the active region; Materials used for the active region
    • H01S5/32—Structure or shape of the active region; Materials used for the active region comprising PN junctions, e.g. hetero- or double- heterostructures

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Electromagnetism (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • Optics & Photonics (AREA)
  • Computer Hardware Design (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Power Engineering (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Measurement Of Optical Distance (AREA)

Abstract

깊이 감지 장치(20)는 타겟 장면(32)을 향해 광학 방사의 제1 복수의 펄스형 빔들(30)을 방출하도록 구성되는, 다수의 뱅크들(52, 62)로 배열된 방출기들(54)의 제1 어레이를 포함하는 방사원(21)을 포함한다. 제2 복수의 감지 요소들(78)은 제2 어레이(24)로 배열되고, 감지 요소들 상의 광자들의 각각의 입사 시간들을 표시하는 신호들을 출력하도록 구성되고, 제2 복수는 제1 복수를 초과한다. 대물 광학계(34)는 감지 요소들의 어레이 상에 타겟 장면의 이미지를 형성한다. 프로세싱 및 제어 회로(26, 28, 35)는 다수의 뱅크들을 교대로 작동시키고, 출력 신호들에 응답하여, 타겟 장면의 대응하는 구역들로부터 반사된 광학 방사의 펄스들이 입사되는 제2 어레이의 영역들을 식별한다.

Description

펄스형 빔들의 희소 어레이를 사용하는 깊이 감지
본 발명은 일반적으로 깊이 맵핑을 위한 시스템들 및 방법들, 특히 비행 시간 감지에 사용되는 빔 소스들 및 센서 어레이들에 관한 것이다.
현존하고 새로 등장하는 소비자 애플리케이션들은 실시간 3차원(3D) 이미저(imager)들에 대한 증가하는 필요성을 생성하였다. 깊이 센서들, 깊이 맵퍼들, 또는 광 검출 및 레인징(LiDAR) 센서들로 또한 알려진 이 이미징 디바이스들은 타겟 장면을 광학 빔으로 조명하고 반사된 광학 신호를 분석함으로써 타겟 장면 내의 각각의 지점까지의 거리(및 종종 세기) ― 소위 타겟 장면 깊이 -의 원격 측정을 인에이블한다. 타겟 장면 상의 각각의 지점까지의 거리를 결정하기 위한 통상 사용되는 기술은 하나 이상의 펄스형 광학 빔들을 타겟 장면을 향해 전송하고, 이어서 광학 빔들이 광원으로부터 타겟 장면까지 그리고 다시 광원에 인접한 검출기 어레이로 이동함에 따라 걸리는 왕복 시간, 즉 비행 시간(time-of-flight, ToF)을 측정하는 것을 포함한다.
일부 ToF 시스템들은 광자 도착 시간을 측정하는 데 있어서 또한 가이거 모드 애벌런치 포토다이오드들(Geiger-mode avalanche photodiode, GAPD)로 알려진 단일-광자 애벌런치 다이오드들(single-photon avalanche diode, SPAD)을 이용한다. 예를 들어, 개시내용이 본 명세서에 참조로 포함된 미국 특허 제 9,997,551호는 SPAD 감지 요소들의 어레이를 포함하는 감지 디바이스를 기술한다. 각각의 감지 요소는 p-n 접합부를 포함하는 포토다이오드, 및 p-n 접합부 상에 입사되는 단일 광자가 감지 요소로부터 출력된 애벌런치 펄스를 트리거시킬 정도로 충분한 마진만큼 p-n 접합부의 항복 전압을 초과하는 바이어스 전압으로 p-n 접합부를 역방향 바이어싱하도록 결합되는 로컬 바이어싱 회로를 포함한다. 바이어스 제어 회로는 감지 요소들 중 상이한 감지 요소들에서의 바이어스 전압을 상이한 각각의 값들로 설정하도록 결합된다.
개시내용이 본 명세서에 참조로 포함된 미국 특허 출원 공개 제2017/0176579호는 SPAD 어레이 내의 감지 요소들의 그룹들 또는 개별 감지 요소들을 선택적으로 작동시키는 데 있어서 이러한 종류의 가변 바이어싱 능력을 사용하는 것을 기술한다. 이를 위해, 전기 광학 디바이스는 광 펄스들의 적어도 하나의 빔을 방출하는 레이저 광원, 타겟 장면을 가로질러 적어도 하나의 빔을 투과하고 스캐닝하는 빔 스티어링 디바이스, 및 감지 요소들의 어레이를 포함한다. 각각의 감지 요소는 감지 요소 상의 단일 광자의 입사 시간을 나타내는 신호를 출력한다. (그러한 어레이 내의 각각의 감지 요소는 또한 "픽셀"로 지칭된다.) 집광 광학계(light collection optics)는 투과된 빔에 의해 어레이 상으로 스캐닝된 타겟 장면을 이미징한다. 회로는 어레이의 선택된 영역 내에서만 감지 요소들을 작동시키고, 적어도 하나의 빔의 스캐닝과 동기화하여 어레이 위의 선택된 영역을 스위프(sweep)하도록 결합된다.
하기에 기술된 본 발명의 실시예들은 이러한 시스템을 동작시키기 위한 개선된 깊이 맵핑 시스템 및 방법을 제공한다.
따라서, 본 발명의 일 실시예에 따르면, 타겟 장면을 향해 광학 방사의 제1 복수의 펄스형 빔들을 방출하도록 구성되는, 다수의 뱅크들로 배열된 방출기들의 제1 어레이를 포함하는 방사원을 포함하는 깊이 감지 장치가 제공된다. 제2 복수의 감지 요소들은 제2 어레이로 배열되고, 감지 요소들 상의 광자들의 각각의 입사 시간들을 표시하는 신호들을 출력하도록 구성되고, 제2 복수는 제1 복수를 초과한다. 대물 광학계는 감지 요소들의 어레이 상에 타겟 장면의 이미지를 형성하도록 구성된다. 프로세싱 및 제어 회로는 펄스형 빔들을 방출하기 위해 다수의 뱅크들을 교대로 작동시키도록 결합되고, 감지 요소들로부터 신호들을 수신하도록 결합되고, 신호들에 응답하여, 타겟 장면의 대응하는 구역들로부터 반사된 광학 방사의 펄스들이 입사되는 제2 어레이의 영역들을 식별하고, 입사 시간들에 기초하여 타겟 장면의 대응하는 구역들의 깊이 좌표들을 측정하기 위해, 식별된 영역들에서 감지 요소들로부터의 신호들을 프로세싱하도록 구성된다.
개시된 실시예에서, 어레이 내의 방출기들은 수직-공동 표면-방출 레이저(vertical-cavity surface-emitting laser, VCSEL)들을 포함한다.
일부 실시예에서, 다수의 뱅크들은 적어도 4개의 뱅크들을 포함하고, 각각의 뱅크는 적어도 4개의 방출기들을 포함한다. 일 실시예에서, 방사원은 방출기들 각각에 의해 방출된 광학 방사를 펄스형 빔들 중 다수의 빔들로 분할하도록 구성되는 회절 광학 요소(diffractive optical element, DOE)를 포함한다. 추가적으로 또는 대안적으로, 적어도 4개의 뱅크들은 적어도 8개의 뱅크들을 포함한다. 각각의 뱅크는 적어도 20개의 방출기들을 포함할 수 있다. 개시된 실시예에서, 방출기들의 뱅크들은 기판 상에 인터리빙된다.
추가적으로 또는 대안적으로, 감지 요소들은 단일-광자 애벌런치 다이오드(single-photon avalanche diode, SPAD)들을 포함한다.
일부 실시예들에서, 프로세싱 및 제어 회로는 수퍼-픽셀들을 정의하기 위해 식별된 영역들 각각에서 감지 요소들을 함께 그룹화하고, 깊이 좌표들을 측정하기 위해 수퍼-픽셀들 각각에서 감지 요소들로부터의 신호들을 함께 프로세싱하도록 구성된다. 개시된 실시예에서, 프로세싱 및 제어 회로는 다수의 프로세싱 유닛들을 포함하고, 프로세싱 유닛들 각각은 수퍼-픽셀들의 각각의 하나로부터의 신호들을 프로세싱하도록 결합된다. 추가적으로 또는 대안적으로, 프로세싱 유닛들 각각은 수퍼-픽셀들 각각에서 감지 요소들 상의 광자들의 입사 시간들의 히스토그램을 구성하도록 구성된다.
일부 실시예들에서, 방출기들의 다수의 뱅크들로부터 방출된 광학 방사의 펄스들은, 타겟 장면으로부터의 반사 후에, 제2 어레이의 식별된 영역들의 상이한 각각의 세트들 상에 입사되고, 프로세싱 및 제어 회로는 다수의 뱅크들의 작동과 동기화하여 각각의 세트들 내의 감지 요소로부터의 신호들을 수신 및 프로세싱하도록 구성된다. 개시된 실시예들에서, 방출기들의 임의의 주어진 뱅크가 작동될 때, 프로세싱 및 제어 회로는, 어레이 내의 나머지 감지 요소들이 비활성인 동안 제2 어레이의 식별된 영역들의 대응하는 세트에서 감지 요소들로부터만의 신호들을 판독 및 프로세싱하도록 구성된다.
또한 본 발명의 일 실시예에 따르면, 펄스형 빔을 방출하기 위해 다수의 뱅크들을 교대로 작동시키면서, 타겟 장면을 향해 광학 방사의 제1 복수의 펄스형 빔들을 방출하기 위해 다수의 뱅크들로 배열된 방출기들의 제1 어레이를 구동시키는 단계를 포함하는 깊이 감지 방법이 제공된다. 제2 복수의 감지 요소들 상에 타겟 장면의 이미지가 형성되고, 제2 복수의 감지 요소들은 제2 어레이로 배열되고, 감지 요소들 상의 광자들의 각각의 입사 시간들을 표시하는 신호들을 출력하도록 구성되고, 제2 복수는 제1 복수를 초과한다. 감지 요소들로부터의 신호들에 응답하여, 타겟 장면의 대응하는 구역들로부터 반사된 광학 방사의 펄스들이 입사되는 제2 어레이의 영역들이 식별된다. 입사 시간들에 기초하여 타겟 장면의 대응하는 구역들의 깊이 좌표들을 측정하기 위해, 식별된 영역들에서 감지 요소들로부터의 신호들이 프로세싱된다.
본 발명은 다음의 도면들과 함께 취해진 본 발명의 실시예들의 아래의 상세한 설명으로부터 보다 완전히 이해될 것이다.
도 1은 본 발명의 일 실시예에 따른 깊이 맵핑 시스템의 개략적 측면도이다.
도 2a는 본 발명의 일 실시예에 따른 도 1의 깊이 맵핑 시스템에서 사용되는 방사원의 개략적 측면도이다.
도 2b는 본 발명의 일 실시예에 따른, 도 2a의 방사원에서 사용되는 방출기들의 어레이의 개략적 정면도이다.
도 2c는 본 발명의 다른 실시예에 따른, 도 2a의 방사원에서 사용될 수 있는 방출기들의 어레이의 개략적 정면도이다.
도 3a는 본 발명의 일 실시예에 따른, 타겟 장면 상에 투사된 스팟들의 패턴의 개략적 표현이다.
도 3b는 본 발명의 일 실시예에 따른, ToF 감지 어레이의 개략적 정면도이다.
도 3c는 본 발명의 일 실시예에 따른, 도 3a의 타겟 장면의 영역 내의 스팟들의 이미지들이 캐스트되는, 도 3b의 ToF 감지 어레이의 일부의 개략적 상세도이다.
도 4a 및 도 4b는 본 발명의 일 실시예에 따른, 2개의 상이한 시간 기간들에서 활성화 및 판독을 위해 선택된 수퍼-픽셀들의 세트들을 보여주는 ToF 감지 어레이의 개략적 정면도들이다.
도 5는 본 발명의 일 실시예에 따른, 수퍼-픽셀로부터의 신호들의 프로세싱을 위한 회로를 개략적으로 예시하는 블록도이다.
도 6은 본 발명의 일 실시예에 따른, 레이저 스팟들을 수신하는 SPAD 어레이 상의 픽셀들을 식별하기 위한 방법을 개략적으로 예시하는 흐름도이다.
도 7은 본 발명의 다른 실시예에 따른, 레이저 스팟들을 수신하는 SPAD 어레이 상의 픽셀들을 식별하기 위한 방법을 개략적으로 예시하는 흐름도이다.
개요
전술된 미국 특허 출원 공개 제2017/0176579호에 기술된 실시예들 중 일부에서, SPAD들은 함께 "수퍼-픽셀들"로 그룹화되는데, 여기서 용어 "수퍼-픽셀"은 이들 픽셀에 직접 결합되는 데이터 프로세싱 요소들과 함께 상호 인접한 픽셀들의 그룹을 지칭한다. 시스템의 동작 동안 임의의 인스턴트에서, 빔으로부터 반사된 조명을 수신하는 어레이의 영역 또는 영역들 내의 감지 요소들만이, 예를 들어 선택된 수퍼-픽셀들 내의 SPAD들의 적절한 바이어싱에 의해 작동되는 반면, 나머지 감지 요소들은 비활성이다. 따라서, 감지 요소들은 그 신호들이 유용한 정보를 제공할 때에만 작동된다. 이러한 접근법은 배경 신호를 감소시켜서, 신호-대-배경 비를 향상시키고, 검출기 어레이의 전력 필요량 및 SPAD 어레이에 부착되어야 하는 데이터 프로세싱 유닛들의 수 둘 모두를 저하시킨다.
이러한 종류의 깊이 맵핑 시스템에서 해결될 하나의 문제는 사용될 수퍼-픽셀들의 크기들 및 위치들이다. 높은 신호/배경 비를 갖는 정확한 깊이 맵핑을 위해, 수퍼-픽셀들은 반사된 빔들의 에너지의 대부분이 이미징되는 검출기 요소들을 포함하는 반면, 반사된 빔들을 수신하지 않는 감지 요소들은 비활성으로 유지되는 것이 중요하다. 그러나, 방출기들의 정적 어레이가 사용될 때에도, 검출기 어레이 상의 반사된 빔들의 위치들은 예를 들어 시간 경과에 따른 열적 및 기계적 변화들뿐만 아니라 시차(parallax)와 같은 광학 효과들로 인해 변할 수 있다.
이러한 문제에 응답하여, 본 발명의 일부 실시예는 SPAD 어레이 상의 레이저 스팟들의 위치들을 교정하는 방법들을 제공한다. 이를 위해, 프로세싱 및 제어 회로는 어레이로부터 타이밍 신호들을 수신하고, 타겟 장면으로부터 반사된 광 펄스들이 입사되는 어레이의 각각의 구역들을 식별하기 위해 감지 요소들을 검색한다. 깊이 맵핑 시스템의 상세한 지식은 SPAD 어레이 상에 이미징될 반사된 레이저 스팟들의 가능한 구역들을 사전 컴퓨팅하기 위해 사용될 수 있다. 이들 영역에서의 랜덤 검색은 어레이 상의 레이저 스팟들의 정확한 위치들로 신속하게 수렴할 것이다. 대안적으로 또는 추가적으로, 레이저 스팟들의 위치들의 작은 서브세트가 초기화 스테이지에서 식별될 수 있다. 이들 위치들은 충분한 수의 레이저 스팟들이 위치될 때까지 추가의 레이저 스팟들의 위치들을 예측 및 검증하기 위해 후속 반복 스테이지들에서 사용될 수 있다.
세심한 교정 이후에도, 레이저 스팟들이 이미징될 것으로 예상되는 픽셀들 또는 수퍼-픽셀들 중 일부가 사용가능한 타이밍 신호들을 출력하지 못하는 것이 깊이 맵핑 시스템의 동작에서 발생할 수 있다. 일부 경우에, 보조 이미지 데이터는 깊이 맵핑 측면에서 문제가 되는 장면의 영역들을 식별하고, 필요할 때 수퍼-픽셀 위치들을 재교정하는 데 사용될 수 있다. 이러한 보조 이미지 데이터는, 예를 들어, SPAD 어레이와 정합하여 2차원(2D) 이미지들을 캡처하는 컬러 이미지 센서에 의해 제공될 수 있다.
후술되는 실시예들에서 사용되는 방출기 어레이들은, 타겟 장면을 향해 방출되는 광학 방사의 펄스 빔들의 수가 장면으로부터 반사된 방사를 수신하는 어레이에서 픽셀들의 수(즉, SPAD들 또는 다른 감지 요소들)보다 상당히 적다는 의미에서 "희소"하다. 방출기 어레이로부터 이용가능한 조명 전력은 장면 내의 스팟들의 대응하게 희소한 그리드 상에 투사된다. 이어서, 장치 내의 프로세싱 및 제어 회로는 깊이 좌표를 측정하기 위해 이들 스팟들이 이미징되는 픽셀들로부터만 신호들을 수신 및 프로세싱한다.
스팟들이 이미징되는 픽셀들은 본 명세서에서 "활성 픽셀들"로 지칭되고, "수퍼-픽셀들"은 인접한 활성 픽셀들의 그룹들, 예를 들어, 2×2 그룹들로 구성된다. 활성 픽셀들 사이에 속하는 어레이 내의 픽셀들은 무시되며, 깊이 측정에 기여하지 않고 배경 레벨 및 잡음을 증가시키기만 하기 때문에, 작동되거나 판독될 필요가 전혀 없다. 대안적으로, 상이한 수, 예컨대 1개, 2개, 3개 또는 그 이상의 픽셀들이 수퍼-픽셀에 포함될 수 있다. 더욱이, 본 명세서에 기술된 실시예들은 구체적으로 직사각형 수퍼-픽셀들에 관한 것이지만, 수퍼-픽셀 내의 SPAD 픽셀들의 그룹은, 예를 들어, 다이아몬드 형상, 삼각형, 원형, 또는 불규칙형과 같은 상이한 형상을 가질 수 있다. SPAD 픽셀들 내의 스팟의 정확한 위치는 소량의 시차로 인해 장면까지의 거리에 따라 약간 변한다. 임의의 주어진 시간에, 수퍼-픽셀의 SPAD 픽셀들로부터의 신호들은 주어진 레이저 스팟에 대해 그 강도(세기) 및 그 비행 시간 둘 모두를 측정할 때 함께 프로세싱된다. 추가적으로, SPAD 픽셀들로부터의 신호들은 수퍼-픽셀 내의 레이저 스팟의 위치를 결정하기 위한 개별 신호들로서 프로세싱될 수 있다.
희소 방출기 어레이를 사용하는 것의 이점은, 이용가능한 전력 예산이 감지 어레이의 전체 시야에 걸쳐 확산되기보다는, 적은 수의 투사된 스팟들에 집중될 수 있다는 점이다. 적은 수의 스팟들에서의 이러한 광 전력 집중의 결과로서, 대응하는 활성 픽셀들로부터의 신호 레벨들, 및 그에 따른 이들 픽셀들에 의한 ToF 측정의 정확도가 향상된다. 이러한 신호 향상은 장거리 깊이 측정들 및 실외와 같은 강한 주변 광의 조건들에서의 깊이 맵핑에 특히 유리하다.
스팟들의 희소 어레이 내의 광 전력의 집중은 방출기들을 다수의 뱅크들로 배열하고, 이들 뱅크들을 교대로 작동시킴으로써 추가로 향상될 수 있다. 방출기들에 의해 생성된 레이저 빔들은 통상적으로 시준 렌즈에 의해 시준되고, 투사된 스팟들의 수를 증가시키기 위해 회절 광학 요소(DOE)에 의해 복제될 수 있다. 방출기들의 상이한 뱅크들로부터 방출된 광학 방사의 펄스들은, 타겟 장면으로부터의 반사 후에, 활성 픽셀들의 상이한 각각의 세트들 상에 입사된다. 이어서, 프로세싱 및 제어 회로는 방출기들의 대응하는 뱅크들의 작동과 동기화하여 이들 각각의 세트들 내의 활성 픽셀들로부터의 신호들을 수신 및 프로세싱할 수 있다. 따라서, 장치의 동작에서 임의의 주어진 기간 동안, 프로세싱 및 제어 회로는 하나의 활성 세트의 감지 요소들로부터만 신호들을 수신 및 프로세싱할 필요가 있는 반면, 모든 다른 세트들은 비활성으로 유지된다. 이러한 종류의 멀티 뱅크, 동기화된 동작은 상이한 세트들 감지 요소들 중에서 프로세싱 자원들을 시간-다중화하는 것, 및 그에 따라, 회로 복잡성 및 전력 소비를 감소시키는 것을 가능하게 한다.
타겟 장면으로부터 반사된 스팟들이 SPAD 어레이 상에 희소하게 이미징되기 때문에, 가능한 수퍼-픽셀들의 수는 레이저 스팟들의 수보다 훨씬 더 많고, SPAD 어레이 내의 픽셀들의 총 수의 단지 작은 분율만이 임의의 주어진 시간에 활성이어야 하고, 비행 시간을 측정하기 위해 프로세싱 유닛에 결합되어야 한다. 따라서, 임의의 주어진 시간에 SPAD 수퍼-픽셀들 중 어느 것을 활성화할지에 대한 정보가 요구된다.
SPAD 픽셀들의 프로세싱 유닛들에 대한 맵핑, 즉, SPAD 픽셀들의 수퍼-픽셀들에 대한 할당은 공장 교정 동안 초기에 결정될 수 있다. 그러나, 동작 동안의 온도 변화들 뿐만 아니라 기계적 쇼크들은 맵핑의 기계적 파라미터들을 변경시킬 수 있으며, 따라서 SPAD 어레이 상의 레이저 스팟들의 위치를 수정하고 현장에서의 동작 동안 재교정을 필요로 할 수 있다. SPAD 픽셀들 중 어느 것을 프로세싱 유닛들에 연결할지를 결정하기 위해 총망라한 검색이 사용될 수 있는데, 여기서 모든 픽셀들은 레이저 스팟들을 검출하기 위해 검색되지만; 이러한 접근법은 적어도 2개의 기본 문제들을 겪는다:
Figure pct00001
일부 레이저 스팟들은 장면 내의 물체들에 떨어지지 않을 수 있거나, 레이저 파장을 흡수하는 물체들 상에 떨어져서, 펄스를 리턴하지 않을 수 있다. 따라서 검색은 항상 성공적이지는 않을 수 있다.
Figure pct00002
레이저 스팟들의 분포가 SPAD 어레이의 픽셀들의 수와 비교할 때 매우 희소하기 때문에, 총망라한 검색은 다수의 노출들을 필요로 할 것이고 긴 시간이 걸릴 것이다.
본 명세서에 기술된 본 발명의 실시예들은 SPAD 어레이 상의 레이저 스팟들의 위치들을 교정하기 위한 개선된 방법들을 제공함으로써 이들 문제들을 해결한다. 이들 방법들은 도면들에 도시되고 이하에 기술되는 어레이들의 종류들, 뿐만 아니라 다른 SPAD-기반 시스템들, 예를 들어, SPAD들의 다수의 뱅크들뿐만 아니라 다양한 크기들의 SPAD들을 포함하는 시스템들, 및 DOE에 의해 복제되는 빔들을 갖는 방출기들을 포함하는 다양한 종류들의 방출기들 및 방출기 어레이들을 사용하는 시스템들에서 적용될 수 있다. 이어서, 본 방법들은 SPAD 픽셀들을 활성화시키고 뱅크에 의해 교정 뱅크를 수행함으로써, 준용하여 멀티-뱅크 시스템들로 확장될 수 있다.
개시된 실시예에서, 깊이 맵핑 시스템의 상세한 지식은 SPAD 어레이 상에 이미징될 반사된 레이저 스팟들의 가능한 구역들을 사전 컴퓨팅하기 위해 활용된다. 이들 영역에서의 검색, 예를 들어 랜덤 검색은 어레이 상의 레이저 스팟의 정확한 위치들로 신속하게 수렴할 것이다.
다른 개시된 실시예는 2-스테이지 솔루션을 사용한다: 초기화 스테이지에서, 레이저 스팟들의 위치들의 작은 서브세트가 식별되고, 후속 반복 스테이지에서, 추가의 레이저 스팟들의 위치들이 모델에 의해 예측되고 검증된다. 스팟 검출의 반복적 단계들은 충분한 수의 레이저 스팟들이 위치될 때까지 모델을 개선하고 위치들을 추가하는 데 활용된다.
시스템 설명
도 1은 본 발명의 일 실시예에 따른 깊이 맵핑 시스템(20)의 개략적 측면도이다. 깊이 맵핑 시스템(20)은 M개의 개별 빔들(예를 들어, M은 500의 정도일 수 있음)을 방출하는 방사원(21)을 포함한다. 방사원은 빔 광학계(37)와 함께, 2차원 어레이(22)로 배열된 방출기들의 다수의 뱅크들을 포함한다(도 2b에 상세히 도시된 바와 같음). 방출기들은 통상적으로 수직-공동 표면-방출 레이저(VCSEL)들과 같은 솔리드-스테이트 디바이스들 또는 기타 종류의 레이저들 또는 발광 다이오드(LED)들을 포함한다. 빔 광학계는 통상적으로 시준 렌즈를 포함하고, 회절 광학 요소(DOE, 도시되지 않음)를 포함할 수 있는데, 이는 어레이(22)에 의해 방출된 실제 빔들을 복제하여 장면(32) 상에 투사되는 M개의 빔들을 생성한다. (예를 들어, 16개의 VCSEL들이 각각의 뱅크에 4 × 4 배열된 픽셀들의 4개의 뱅크들의 어레이를 사용하여 8 × 8 빔들을 생성할 수 있고, DOE는 각각의 빔을 3 × 3 복제물로 분할하여 총 24 × 24 빔들을 제공할 수 있음.) 단순화를 위해, 빔 광학계(37)의 이러한 내부 구성요소들은 도시되지 않는다.
시스템(20) 내의 수신기(23)는 조합 유닛(35) 및 제어기(26)와 함께 프로세싱 유닛들을 SPAD들에 결합시키기 위해 J개의 프로세싱 유닛들(28) 및 선택 라인들(31)과 함께 2차원 SPAD 어레이(24)를 포함한다. SPAD 어레이(24)는 M보다 훨씬 더 큰 다수의 검출기 요소들 N, 예를 들어, 100×100 픽셀들 또는 200×200 픽셀들을 포함한다. 도 4를 참조하여 추가로 설명될 바와 같이, 프로세싱 유닛들(28)의 수 J는 각각의 프로세싱 유닛이 결합되는 SPAD 어레이(24)의 픽셀들의 수에 따라 달라진다.
어레이(22)는, 빔 광학계(37)와 함께, 타겟 장면(32)을 향해 광(30)의 M개의 펄스형 빔들을 방출한다. 빔들(30)이 도 1에서 일정한 폭의 평행한 빔들로 도시되어 있지만, 각각의 빔은 회절에 의한 영향에 따라 발산한다. 또한, 빔들(30)은 서로 발산하여 장면(32)의 요구되는 영역을 커버하도록 한다. 장면(32)은 장면에 충돌하는 이 빔들(30)을 반사하거나 또는 달리 산란시킨다. 반사 및 산란된 빔들은 도 1에서 렌즈로 표현된 대물 광학계(34)에 의해 수집되며, 이는 어레이(24) 상에 장면(32)의 이미지를 형성한다. 따라서, 예를 들어, 빔(30a)이 충돌한 장면(32) 상의 작은 영역(36)은 SPAD 어레이(24) 상의 작은 영역(38)으로 이미징된다.
직교 좌표계(33)는 깊이 맵핑 시스템(20) 및 장면(32)의 배향을 한정한다. x-축 및 y-축은 SPAD 어레이(24)의 평면 내에 배향된다. z-축은 어레이에 수직하고 SPAD 어레이(32) 상에 이미징되는 장면(32)을 가리킨다.
명료함을 위해, 프로세싱 유닛들(28)은 SPAD 어레이(24)로부터 분리된 것처럼 보이지만, 그것들은 통상 SPAD 어레이와 통합된다. 유사하게, 조합 유닛(35)은 통상 SPAD 어레이(24)와 통합된다. 프로세싱 유닛들(28)은, 조합 유닛(35)과 함께, 각각의 수퍼-픽셀들 내의 SPAD들에 의해 출력되는 펄스들을 감지 및 기록하는 하드웨어 증폭 및 로직 회로들을 포함하고, 따라서 펄스들을 유발하는 광자들의 도착 시간들 뿐만 아니라 SPAD 어레이(24)에 충돌하는 광학 펄스들의 강도들을 측정한다.
도 4를 참조하여 아래에서 추가로 설명되는 바와 같이, 프로세싱 유닛들(28)은 조합 유닛(35)과 함께, 어레이(22)에 의해 방출된 다수의 펄스들의 도착 시간들의 히스토그램들을 구성하고, 따라서 장면(32) 내의 각각의 지점들까지의 거리, 및 신호 강도를 나타내는 신호들을 출력할 수 있다. 이러한 목적을 위해 사용될 수 있는 회로가, 예를 들어 전술된 미국 특허 출원 공개 제2017/0176579호에 기술되어 있다. 대안적으로 또는 추가적으로, 프로세싱 유닛들(28) 및 조합 유닛(35)의 컴포넌트의 일부 또는 전부는 SPAD 어레이(24)와 분리될 수 있고, 예를 들어, 제어기(26)와 통합될 수 있다. 일반성을 위해, 제어기(26), 프로세싱 유닛들(28) 및 조합 유닛(35)은 총체적으로 본 명세서에서 "프로세싱 및 제어 회로"로 지칭된다.
제어기(26)는 방사원(21) 및 수신기(23) 둘 모두에 결합된다. 제어기(26)는 어레이(22) 내의 방출기들의 뱅크들을 교대로 작동시켜 펄스형 빔들을 방출한다. 제어기는 또한 수신기(23) 내의 프로세싱 및 조합 유닛들에 외부 제어 신호(29)를 제공하고, 프로세싱 및 조합 유닛들로부터 출력 신호들을 수신한다. 출력 신호들은 히스토그램 데이터를 포함할 수 있고, SPAD 어레이(24) 상에 이미징되는 각각의 레이저 스팟의 정확한 위치뿐만 아니라, 신호 강도들 및 입사 시간들 둘 모두를 유도하기 위해 제어기(26)에 의해 사용될 수 있다.
이용가능한 감지 및 프로세싱 자원들의 최적의 사용을 만들어내기 위하여, 제어기(26)는 타겟 장면(32)의 대응하는 영역들로부터 반사된 광학 방사의 펄스들이 렌즈(34)에 의해 이미징되는 SPAD 어레이(24)의 각각의 영역들을 식별하고, 이 영역들에 대응할 수퍼-픽셀들을 선택한다. 이 영역들 밖의 감지 요소들에 의해 출력된 신호들은 사용되지 않고, 따라서, 예를 들어 이 감지 요소들에 대한 바이어스 전압을 낮추거나 또는 오프시킴으로써 이 감지 요소들은 비활성화될 수 있다. 수퍼-픽셀들을 초기에 선택하고 수퍼-픽셀들의 선택을 검증 및 업데이트하기 위한 방법들은, 예를 들어 전술한 가특허 출원들에 기재되어 있다.
외부 제어 신호(29)는 각각의 프로세싱 유닛(28)이 예를 들어 4개의 SPAD 픽셀들을 포함하는 각각의 수퍼-픽셀에 결합되도록 선택 라인들(31)을 제어한다. 제어 신호는 방출기들의 대응하는 뱅크들의 작동과 동기화하여 출력 신호들이 수신될 수퍼-픽셀들을 선택한다. 따라서, 임의의 주어진 시간에, 프로세싱 유닛들(28) 및 조합 유닛(35)은 장면(32)으로부터 반사된 펄스들을 수신하는 SPAD 어레이(24)의 영역들 내의 감지 요소들로부터만 신호들을 판독 및 프로세싱하는 한편, 어레이 내의 나머지 감지 요소들은 비활성이다. SPAD 어레이(24)로부터의 신호들의 프로세싱은 도 4를 참조하여 추가로 설명된다. 단순화를 위해, 방출기 어레이(22) 및 SPAD 어레이(24)의 상세한 구조들은 도 1에 도시되지 않는다.
명료함을 위해, 방출기 어레이(22) 및 SPAD 어레이(24)의 치수는 장면(32)에 비해 도 1에서 과장되어 있다. "베이스라인"으로 지칭되는 방출기 어레이(22)와 SPAD 어레이(24)의 축방향 분리는 실제로 방출기 어레이(22)에서 장면(32)까지의 거리보다 훨씬 작다. 결과적으로 장면(32)부터 SPAD 어레이(24)까지의 주 광선(40)(대물 광학계(34)의 중심을 통과하는 광선)은 광선들(30)에 거의 평행하여, 작은 양의 시차만을 야기한다.
J개 프로세싱 유닛들(28)에 활성화 및 결합되는 이러한 M개의 수퍼-픽셀들 중에서, 이들 전부 또는 m개의 수퍼-픽셀들의 서브세트(m ≤ M)가 반사된 레이저 빔(30)을 수신할 것이다. m의 크기는 2개의 인자들에 의존한다:
1. SPAD 어레이(24)의 교정, 즉 M개의 수퍼-픽셀들의 선택, 및
2. 레이저 빔들(30)의 수는 실제로 장면(32)으로부터 반사된다.
값 M은 본 실시예들에서와 같이, 모든 방출기들이 함께 작동될 때 방출기들의 총 수, 또는 뱅크들이 교대로 작동될 때 각각의 뱅크 내의 방출기들의 수에 대응할 수 있다.
모든 M개의 레이저 빔들(30)이 장면(32)으로부터 반사되더라도, SPAD 어레이(24)가 적절히 교정되지 않으면 M은 M보다 작을 것이다. (전술한 가특허 출원들에 기술된 교정 절차들은 m을 최대화하는 데 사용될 수 있다.) 결과적으로, 제어기(26)는 단지 m개의 프로세싱 유닛들(28)로부터 도착 시간 및 신호 강도를 나타내는 신호들을 수신할 것이다. 제어기(26)는 VCSEL 어레이(22)에 의한 빔들(30)의 방출의 타이밍 및 m개의 프로세싱 유닛들(28)에 의해 측정되는 도착 시간으로부터 m개의 빔들의 비행 시간을 계산하고, 그럼으로써 거리를 장면(32) 상의 대응하는 m개의 지점들에 맵핑한다.
제어기(26)는 통상적으로 프로그램가능 프로세서를 포함하고, 이는 본 명세서에 설명된 기능들을 수행할 소프트웨어 및/또는 펌웨어에 프로그래밍된다. 대안적으로 또는 추가적으로, 제어기(26)는 고정 배선(hard-wired) 및/또는 프로그램가능 하드웨어 로직 회로들을 포함하고, 이는 제어기의 기능들의 적어도 일부를 수행한다. 제어기(26)는 단순화를 위해 하나의, 모놀리식 기능성 블록으로 도면에 도시되어 있지만, 실제로 제어기는 도면에 도시되고 본문에 설명된 신호들을 수신 및 출력하기 위한 적합한 인터페이스를 구비한 단일 칩 또는 둘 이상의 칩들의 세트를 포함할 수 있다.
제어기(26)의 기능 유닛들 중 하나는, 아래에서 추가로 설명되는 바와 같이, 프로세싱 유닛들(28) 및 조합 유닛(35) 둘 모두로부터의 신호들을 프로세싱하는 깊이 프로세싱 유닛(DPU)(27)이다. DPU(27)는 빔들(30)의 각각에서의 광자들의 비행 시간들을 계산하고, 그럼으로써 타겟 장면(32) 내의 대응하는 지점들까지의 거리를 맵핑한다. 이 맵핑은 방출기 어레이(22)에 의한 빔들(30)의 방출의 타이밍 및 프로세싱 유닛들(28)에 의해 측정된 도착 시간(즉, 반사된 광자들의 입사 시간)에 기초한다. 제어기(26)는 통상적으로 깊이 좌표들을 메모리에 저장하고, 디스플레이 및/또는 추가적인 프로세싱에 대응하는 깊이 맵을 출력할 수 있다.
방출기 어레이
도 2a는 본 발명의 일 실시예에 따른, 방사원(21)의 개략적 측면도이다. VCSEL 어레이(22)는 (예를 들어, 도 2b에 도시된 바와 같이) VCSEL들의 다수의 뱅크들이 형성되는 집적 회로 칩을 포함한다. VCSEL들은 각각의 빔들(30)을 광학계(37)를 향해 방출하고, 이는 빔들을 타겟 장면을 향해 시준 및 투사한다. 광학계(37)는 선택적으로, VCSEL들 각각에 의해 방출되는 광학 방사를 다수의 빔들(30), 예를 들어 3×3 어레이의 빔들로 분할하는 회절 광학 요소(DOE)를 포함한다.
상이한 뱅크들 사이에서 선택 및 스위칭을 인에이블하기 위하여, 어레이(22)는 구동기 칩(50), 예를 들어, 개별 VCSEL들 또는 VCSEL들의 뱅크들을 선택 및 구동하기 위한 CMOS 회로들을 구비한 실리콘 칩 상에 장착된다. 이 경우에 VCSEL들의 뱅크들은 제조 및 제어의 용이성을 위해 물리적으로 분리될 수 있거나, 또는 뱅크들을 교대로 작동 가능하게 하는 구동기 칩(50)에 적합하게 연결된 상태로, VCSEL 칩 상에서 교차배치될 수 있다. 따라서, 빔들(30)은 유사하게 타겟 장면을 시간-다중화 패턴으로 조사하고, 빔들의 상이한 세트들은 상이한 시간들에서 장면의 해당 영역들에 충돌한다.
도 2b는 본 발명의 일 실시예에 따른, 빔 소스(21)에서 사용되는 어레이(22)의 개략적 정면도이다. 이 예의 어레이(22)는 8개의 뱅크들(52)을 포함하는데, 이때 각각의 뱅크 내의 VCSEL들과 같은 72개의 방출기들(54)을 포함한다. 이 경우에, 어레이(22)는 578개의 빔들을 생성한다.
도 2c는 본 발명의 다른 실시예에 따른, 어레이(22)의 위치 내의 빔 소스(21)에서 사용될 수 있는 수직 방출기들(54)의 어레이(60)의 개략적 정면도이다. 이 경우에, 방출기들(54)의 4개의 뱅크들(62a, 62b, 62c, 62d)이 반도체 칩과 같은 기판(64) 상에 교번하는 수직 스트라이프들로서 인터리빙된다: 각각의 뱅크는 다른 뱅크들 내에 스트라이프들을 갖는 기판 상에 교번하는 다수의 스트라이프들을 포함한다. 대안적으로, 다른 교차배치 기법이 사용될 수 있다.
도시된 실시예들의 추가적인 대안으로서, 어레이(22)는 더 많거나 또는 더 적은 수의 뱅크들 및 방출기들을 포함할 수 있다. 통상적으로, 정적(비-스캐닝) 빔들로 타겟 장면을 충분히 커버하기 위하여, 어레이(22)는 적어도 4개의 뱅크들(52 또는 62)을 포함하고, 각각의 뱅크에는 적어도 4개의 방출기들(54)이 있고, 방출기들의 각각에 의해 방출되는 방사를 분할하는 DOE가 있다. 더 조밀한 커버리지를 위하여, 어레이(22)는 적어도 8개의 뱅크들(52 또는 62)을 포함하고, 각각의 뱅크에는 20개 이상의 방출기들(54)이 있다. 이 옵션들은 광학의 시간-다중화 및 전력 예산, 및 프로세싱 자원의 관점에서 시스템(20)의 유연성을 향상시킨다.
수퍼-픽셀 선택 및 작동
도 3a는 본 발명의 일 실시예에 따른, 타겟 장면(32) 상으로 투사되는 광학 방사의 스팟들(70)의 패턴의 개략도이다. 각각의 스팟(70)은 대응하는 빔(30)(도 1)에 의해 캐스트된다. 본 실시예들에서, 스팟들(70)의 상이한 그룹들이 방출기들(54)(도 2b)의 대응하는 뱅크들(52)의 교번 작동에 대응하는 장면(32) 상으로 교대로 투사된다.
도 3b는 본 발명의 일 실시예에 따른, 타겟 장면(32)이 이미징되는 SPAD 어레이(24)의 개략적 정면도이다. 어레이(24) 내의 SPAD들과 같은 감지 요소들은 너무 작아서 이 도면에서 볼 수 없다. 오히려, 도 3b는 타겟 장면(70)으로부터 반사되고 렌즈(34)에 의해 어레이(24) 상에 이미징되는 스팟들(72)의 위치들을 도시한다. 다시 말하면, 각각의 스팟(72)은 방출기 어레이(22)에 의해 장면(32) 상으로 투사되는 대응하는 스팟(70)의 어레이(24) 상의 이미지이다. 렌즈(34)는 영역이 포함하는 스팟들(70)을 포함하는 타겟 장면(32)의 영역(74)(도 3a)을 어레이(24) 상의 대응하는 영역(76) 상에 이미징한다.
도 3c는 본 발명의 일 실시예에 따른, 어레이 상에 이미징된 스팟들(72)의 위치들을 도시하는, 어레이(24)의 영역(76)의 개략적 상세도이다. 이러한 스팟들(72)은, 그들이 동일한 방출기들의 뱅크로부터 유래하는 경우 동시에, 또는 상이한 뱅크들로부터 유래하는 경우 상이한 교번 시간들에 이미징될 수 있다. 도 3c에 도시된 이러한 도면에서, 어레이(24)는 SPAD들과 같은 감지 요소들(78)의 매트릭스를 포함한다는 것을 알 수 있다. (앞서 언급된 바와 같이, 어레이 내의 감지 요소들(78)은 또한 "픽셀들"로 지칭된다.) 제어기(26)는 감지 요소들(78)의 2×2 그룹을 포함하는 수퍼-픽셀(80)에 각각의 프로세싱 유닛(28)을 할당한다. 이러한 예에서, 초기 교정 스테이지 동안, 스팟들(72)은 위치들(72a)에서 어레이(24) 상에 이미징되었다고 가정된다. 따라서, 제어기(26)는 대응하는 스팟(72)과 수퍼-픽셀 사이의 중첩을 최대화하도록 각각의 수퍼-픽셀(80)에 할당하고, 따라서 각각의 수퍼-픽셀로부터 수신된 신호를 최대화하도록 감지 요소들(78)을 선택하였다.
그러나, 일부 이후의 단계에서, 스팟들(72)은 어레이(24) 상의 새로운 위치들(72b)로 시프트하였다. 이러한 시프트는, 예를 들어 이미징 디바이스(22)에서의 기계적 쇼크 또는 열적 효과로 인해, 또는 다른 원인들로 인해 발생했을 수 있다. 위치들(72b)에서의 스팟들(72)은 영역(76) 내의 수퍼-픽셀들(80)과 더 이상 중첩하지 않거나, 또는 수퍼-픽셀들과 단지 최소한으로 중첩한다. 그러나, 스팟들이 이제 이미징되는 감지 요소들(78)은 비활성이며 프로세싱 유닛들(28) 중 어느 것에도 연결되지 않는다. 이러한 상황을 개선하기 위해, 제어기(26)는 전술한 가특허 출원들에 기술된 바와 같이 수퍼-픽셀들(80)의 위치들을 재교정할 수 있다.
도 4a 및 도 4b는 본 발명의 일 실시예에 따른, 2개의 상이한 시간 기간들에서 활성화 및 판독을 위해 선택된 수퍼-픽셀들(80a 및 80b)의 세트들을 보여주는 SPAD 어레이(24)의 개략적 정면도들이다. 일 실시예에서, 수퍼-픽셀들의 세트의 선택은 방출기들의 뱅크들의 선택과 동기화된다. 구체적으로, 어레이(60)(도 2c)가 타겟 장면 상의 스팟들을 생성하기 위해 사용된다고 가정하면, 뱅크(62a)가 작동될 때 수퍼-픽셀들(80a)이 사용될 것이고, 뱅크(62b)가 작동될 때 수퍼-픽셀들(80b)이 사용될 것이다(그리고, 뱅크들(62c 및 62d)에 대해서도 마찬가지이다). 따라서, 시스템(20)의 동작에서 임의의 주어진 기간 동안, 프로세싱 유닛들(28)은 통합된 시간-다중화 방식으로, 하나의 활성 세트의 슈퍼-픽셀들(80)만을 서빙하는 한편, 모든 다른 세트들은 비활성 상태로 유지된다.
도 5는 본 발명의 일 실시예에 따른, 수퍼-픽셀(80)로부터의 신호들의 프로세싱하는 것을 개략적으로 예시하는 블록도이다. 도시된 실시예에서, 수퍼-픽셀(80)은 SPAD 어레이(24)의 4개의 감지 요소들(78)을 포함한다. 각각의 프로세싱 유닛(28)은 하나 이상의 시간-디지털 변환기들(time-to-digital converters, TDC)(143)을 포함하며, 여기서 TDC들은 각각의 감지 요소(78)로부터의 애벌런치 이벤트들(검출된 광자로 인한 SPAD 픽셀로부터의 신호들)을 도착 시간 정보로 변환하는 하드웨어 요소들이다. 각각의 프로세싱 유닛(28)은 각각의 TDC(143)에 대해 가중치(144)를 추가로 포함하고, 히스토그램 유닛(도시되지 않음)을 포함할 수 있으며, 여기서 도착 시간 정보는 일반적으로 VCSEL 어레이(22)로부터 수천 개의 펄스들에 걸쳐 히스토그램들로 집계된다. 그러나, 본 실시예에서, 히스토그램들은 프로세싱 유닛들(28) 내의 개별 히스토그램 유닛들이 없이 수퍼-픽셀을 위해 중앙에서 집계된다.
도 5에서, 각각의 프로세싱 유닛(28)은 단일 감지 요소(78)에 결합되어, 하나의 TDC(143)를 필요로 한다. 대안적으로, 프로세싱 유닛(28)은 2개 이상의 감지 요소들(78)에 결합될 수 있고, 이어서, 픽셀들의 수와 동일한 수의 TDC들(143)을 포함할 것이다. 예컨대, 각각의 프로세싱 유닛(28)이 4개의 SPAD 픽셀들(24)에 결합되면, 프로세싱 유닛당 TDC들(143)의 수는 4일 것이고, J = 4*M이다. 추가적으로 또는 대안적으로, 앞서 언급된 바와 같이, 프로세싱 유닛들(28)은 방출기들(54)(도 2b)의 대응하는 뱅크들(52)의 교번하는 작동과 동기화하여 상이한 교번 시간들에 활성화되는 상이한 감지 요소들(78) 사이에서 스위칭될 수 있다.
4개의 프로세싱 유닛들(28)로부터의 도착 시간 정보는, 수퍼-픽셀(80)에 대한 단일 히스토그램(146)을 산출하기 위해, 가중치들(144)을 사용하여 유닛(35)을 조합함으로써 집계된다. 이러한 조합된 히스토그램(146)은 DPU(27)에 전송되고, 이는 이어서, 히스토그램(146)에 기반하여, 임의의 객체 또는 구조가 수퍼-픽셀(80)에 의해 장면(32)에서 검출되었는지 여부를 검출하고, 그렇다면, 비행 시간 데이터에 기초하여 그의 깊이 정보를 보고한다.
추가적으로, 4개의 프로세싱 유닛들(28)에 의해 보고된 각각의 이벤트들의 수들은, 각각의 감지 요소(78)에 대한 그 간격에 대한 수신된 신호 세기의 표시를 산출하기 위해, 미리 정의된 도착 시간들의 간격에 걸쳐 조합 유닛(35)에서 개별적으로 합산될 수 있다. 통상적으로, 간격은 소위 "스트레이 펄스(stray pulse)"의 종료 이후에 시작하여 히스토그램의 종료까지 계속되도록 구성된다. 스트레이 펄스는, 예를 들어, 광학 표면의 불완전한 코팅의 결과로서 시스템(20) 내에서 생성되는 펄스이며, 이는 VCSEL 어레이(22)에 의해 방출된 펄스들의, SPAD 어레이(24)로의 광학 경로 내로 직접 다시 반사시킨다. 이는 통상적으로 원하지 않는 펄스이지만, 완전히 제거하기가 매우 어려운 펄스이다. 스트레이 펄스는 다음과 같이 타이밍 신호들을 교정하기 위해 활용될 수 있다: 스트레이 펄스의 도착 시간은 장면(32)에 의해 반사된 레이저 펄스로 인해 후속 타이밍 신호로부터 기록되고 감산된다. 이러한 감산은 수신된 레이저 펄스에 대한 상대적인 비행 시간을 산출하고, VCSEL 어레이(22)의 임의의 랜덤 발사 지연들뿐만 아니라 온도 변화들과 관련된 대부분의 VCSEL 및 SPAD 드리프트들을 보상한다.
신호 강도의 이러한 4개의 표시자들은 또한 (조합된 히스토그램(146)과 함께) DPU(27)로 전달된다. 표시자들은 감지 요소들(78) 상의 스팟의 정확한 위치를 결정하기 위해 DPU(27)에 의해 사용될 수 있다.
일부 실시예들에서, TDC(143)의 4개의 유닛들뿐만 아니라 조합 유닛(35)은 SPAD 어레이(24)와 동일한 칩에 존재하는 한편, DPU(27)를 포함하는 나머지 신호 프로세싱은 별개의 제어기(26)에 존재한다. 수퍼-픽셀(80)에 대한 단일 조합된 히스토그램(146)을 생성하는 주요 이유는 SPAD 어레이(24)로부터 DPU(27)로 그리고 제어기(26)로 전달되는 정보를 감소시키기 위한 것이다. 2개의 별개의 유닛들로의 분할은, SPAD 어레이(24) 및 연관된 유닛들이 주로 광학 및 아날로그 기능들을 수행하는 반면, 제어기(26)는 대부분 디지털 및 소프트웨어-구동 동작들을 수행한다는 사실을 반영한다.
미리 컴퓨팅된 구역들에서의 검색에 의한 수퍼-픽셀 교정
도 6은 본 발명의 일 실시예에 따른, 레이저 스팟들을 수신하는 감지 어레이 상의 픽셀들을 식별하기 위한 방법을 개략적으로 예시하는 흐름도이다. 이 방법은 편의 및 명확성을 위해, SPAD 어레이(24) 및 시스템(20)(도 1)의 다른 요소들을 참조하여 설명된다. 방법은, 예를 들어, 시스템(20)이 턴 온될 때마다 수행될 수 있다. 대안적으로, 본 방법은 시스템(20)의 초기 사용 전에 수행될 수 있고, 결과들은 장래의 사용을 위해 저장될 수 있다. 이어서, 방법은 주기적으로 그리고/또는 시스템 성능이 재교정이 요구될 수 있음을 표시할 때 반복될 수 있다.
그러나, 대안적으로, 이 방법의 원리들은 유사한 구성의 다른 깊이 맵핑 시스템들에 준용하여 적용될 수 있다. 예를 들어, VCSEL 어레이(22)는, 레이저 출력을 다수의 빔들로 분할하기 위해, 빔 분할 요소, 이를 테면 회절 광학 요소(DOE)를 갖는 단일 레이저(또는 적은 수의 레이저들)로 대체될 수 있다. 다른 예로서, 다른 종류들의 검출기 요소들을 포함하는 다른 유형의 감지 어레이들이 SPAD들 대신에 사용될 수 있다. 도 7의 방법은, 후술되는 바와 같이, 시스템(20) 뿐만 아니라 다른 깊이 맵핑 시스템들에도 유사하게 적용가능하다.
도 6의 방법에서, 3개의 입력 단계들: 공칭 설계 값 단계(150), 조립 공차 단계(152), 및 동작 공차 단계(154)는 사전 계산 단계(156)에 대한 입력들을 제공한다. 설계 값 단계(150)는 깊이 맵핑 시스템(20)(도 1)에 대한 공칭 시스템 설계 값들을 제공하며; 조립 공차 단계(152)는 깊이 맵핑 시스템의 조립 공차들을 제공하고; 동작 공차 단계(154)는 주변 온도의 변동들 및 깊이 맵핑 시스템에 대한 기계적 쇼크의 영향들과 같은 예상 동작 공차들을 제공한다.
상기 입력들은 다수의 파라미터들을 포함한다. 예를 들어, 집광 렌즈(34)의 통상적인 초점 거리는 2 mm의 공칭 값, 0.1 mm의 조립 공차 및 0.05 mm의 동작 공차를 갖는다. 각각의 공차는 상기 공차와 동일한 표준 편차로 0 주위에 정규 분포된다. 초점 거리의 확률 분포는 2개의 정규 분포들로부터 조합되고 2 mm의 공칭 값에 중심을 둔 정규 분포이다. 파라미터의 추가적인 예는 VCSEL 어레이(22)와 SPAD 어레이(24) 사이의 기준선이다. 전술된 2개의 예들과 같은 다수의 파라미터들은, 제어기(26)가 레이저 펄스들에 의해 취해진 광학 경로를 정확하게 모델링하고, 따라서 스팟들이 SPAD 어레이(24)에 충돌하는 위치들을 계산할 수 있게 한다.
이들 입력에 기초하여, 제어기(26)는 사전 계산 단계(156)에서 SPAD 어레이(24)(도 1) 상에서 예상되는 M개의 레이저 스팟들 각각에 대한 검색 구역을 계산한다. 각각의 검색 구역은, 장면(32)으로부터 반사된 레이저 빔을 수신할 확률이 99.9%와 같은 미리 설정된 임계치보다 높은 것으로 추정되는 픽셀들의 그룹을 포함한다. 제어기(26)에 의해 수행되는 계산들의 예로서, 집광 렌즈(34)의 초점 거리에서 1%의 증가는 SPAD 어레이(24) 상의 이미지를 1%만큼 확대하여, 스팟들을 외향 반경 방향으로 시프트시킨다. 이러한 파라미터 및 입력의 모든 다른 파라미터들의 확률 분포는 스팟을 찾기 위해 99.9% 초과의 확률이 있는 SPAD 어레이(24) 상의 공칭 스팟 위치들 각각 주위의 구역으로 변환된다.
일단 검색 영역들이 사전 계산 단계(156)에서 선택되었으면, 제어기(26)는 랜덤 반복 검색 단계(158)에서, VCSEL 어레이(22)(도 1)로부터 빔들(32)의 연속적인 펄스들을 발사하고, 동시에 펄스형 빔들을 수신하는 M개의 수퍼-픽셀들을 식별하기 위해 검색 구역들 내에서 랜덤 검색들을 수행한다. 대안적으로, 제어기(26)는 검색 영역들 내에 반드시 랜덤하지 않은 다른 검색 전략들을 적용할 수 있다. 단계(158) 동안, 각각의 프로세싱 유닛(28)은 각각의 레이저 펄스 또는 다수의 펄스들의 시퀀스 이후의 상이한 픽셀로부터 신호들을 수신하도록 결합되고, 제어기(26)는 DPU(27)를 사용하여, 어느 픽셀들이 입사 광자로 인한 출력 신호들을 갖는지, 및 어느 것이 갖지 않는지를 체크한다. 결과들에 기초하여, 제어기(26)는 광자들이 입사하는 것으로 밝혀진 픽셀들로서 각각의 수퍼-픽셀에 포함시킬 픽셀들을 선택한다. 시뮬레이션들에서, 검색은 펄스형 빔들(32)의 8개 내지 10개의 반복된 시퀀스들의 연속부 내에서 수렴하고, 따라서 M개의 빔들을 수신하는 SPAD 어레이(24)의 M개의 슈퍼-픽셀들을 식별하는 것으로 밝혀졌다.
일단 제어기(26)가 M개의 수퍼-픽셀들을 발견하였으면, 제어기(26)는 검색을 완료하고, 할당 단계(160)에서, 깊이 맵핑 시스템(20)에 의한 장면(32)의 3D 맵핑에서 사용하기 위해 이들 수퍼-픽셀들을 할당한다.
수퍼-픽셀 교정을 위한 2-스테이지 솔루션
도 7은 본 발명의 다른 실시예에 따른, 레이저 스팟들을 수신하는 SPAD 어레이(24)(도 1) 상의 수퍼-픽셀들을 식별하기 위한 2-스테이지 방법을 개략적으로 예시하는 흐름도이다. 제1 스테이지는 입력 단계(200)에서, 적은 수 m0의 잠재적인 프로세스 후보들을 제공함으로써 시작되며, 여기서, 이러한 맥락에서, "프로세스 후보"라는 용어는 레이저 스팟들을 수신할 가능성이 있는 그러한 SPAD 수퍼-픽셀들에 대해 사용된다. 잠재적인 프로세스 후보들에 대한 통상적인 수는 m0 = 5와 같은 고정된 수, 또는 수 M의 10%와 같은 백분율이다. 이러한 잠재적인 프로세스 후보들은 예를 들어, 깊이 맵핑 시스템(20)의 이전 사용으로부터 획득될 수 있다.
이러한 잠재적 후보들은 후보 프로세싱 단계(202)에서 각각의 프로세싱 유닛들(28)에 결합된다. 제1 검출 단계(204)에서, 제어기(26)는 VCSEL 어레이(22)로부터 빔들(32)의 펄스들의 시퀀스를 발사하고, SPAD 어레이(24) 상의 m0개의 프로세스 후보들 중 얼마나 많은 수가 "히트들", 즉 광자들을 수신했음을 나타내는 출력 신호들을 보고했는지를 알아내기 위해 프로세싱 유닛들(28) 및 조합 유닛(35)에 질의한다. 제1 비교 단계(206)에서, 제어기(26)는 제1 검출 단계(204)에서 보고된 히트들의 수가 제1 미리 설정된 임계치, 예컨대 M의 8%를 초과하는지 여부를 체크한다(만약 초기에 M의 10%가 프로세스 후보들로서 선택된 경우).
히트들의 수가 임계치 미만이면, 제어기(26)는, 검색 단계(208)에서, VCSEL 어레이(22)로부터 연속적인 펄스형 빔들(32)을 발사하고 후보들 주위에서 단일 픽셀 검색을 수행함으로써, 프로세스 후보들 주위의 영역들에서의 히트들을 검색한다. 새로운 히트들이 식별된 후, 프로세스 후보 단계(202)에서의 이전의 프로세스 후보들은 새로운 히트들로 대체되고, 단계들(204 및 206)은 제1 비교 단계(206)에서 검출된 히트들의 수가 제1 미리 설정된 임계치를 초과할 때까지 반복된다.
제1 비교 단계(206)에서 검출된 히트들은 모델링 단계(210)에서 모델을 구축하기 위해 제어기(26)에 의해 사용된다. 모델은, SPAD 어레이(24) 내의 히트들의 위치들의 편차를, 이들의 공칭 위치들, 즉, 예를 들어, 시스템(20)의 설계 기하학적 구조에 따라, 반사된 레이저 빔들이 SPAD 어레이(24) 상에 입사될 것으로 예상되었던 위치들에 대해 표현한다. 모델은, 예를 들어, 사변형 모델, 단순화된 핀홀 카메라 모델, 또는 호모그래픽 모델일 수 있고, 이전에 설명된 바와 같이 시스템 공차들을 고려할 수 있다.
호모그래픽 모델 h는 다음 관계를 통해 포인트
Figure pct00003
를 다른 포인트
Figure pct00004
에 맵핑하는 8-파라미터 변환
Figure pct00005
이다:
Figure pct00006
좌표들 x 및 y는 도 1 의 직교 좌표계(33)를 지칭한다. 그러한 모델은 장면(34)이 평면(예를 들어, 벽)을 포함하는 경우에 SPAD 어레이(24) 상의 정확한 스팟 위치들을 표현한다.
사변형 모델은 다음에 의해 주어진다:
Figure pct00007
단순화된 핀홀 카메라 모델의 방정식은 다음과 같다: 직교 좌표계(33)에서의 지점
Figure pct00008
이 주어지면, 먼저 왜곡되지 않은 이미지 좌표를 컴퓨팅한다:
Figure pct00009
,
Figure pct00010
.
이어서, 왜곡 연산을 적용하여 최종 이미지 좌표를 획득한다:
Figure pct00011
,
Figure pct00012
,
여기서
Figure pct00013
이고,
Figure pct00014
은 왜곡 다항식이다. 따라서, 모델의 파라미터들은 다음 상수들이다:
Figure pct00015
(G. Bradski and A. Kaehler, Learning OpenCV, 1st edition, O'Reilly Media, Inc., Sebastopol, California, 2008 참조).
추가적으로 또는 대안적으로, 더 높은 정도의 복잡성으로 시스템(20)의 광학계를 기술하는 더 정교한 모델 또는 스플라인들과 같은 다른 모델들이 채용될 수 있다.
상기 모델들 중 하나에 기초하여, 제어기(26)는, 후보 추가 단계(212)에서, 다른 반사된 레이저 빔들이 입사될 것으로 예상되었던 다수의 추가적인 픽셀들의 공칭 위치들에 모델을 적용함으로써, 다수의 새로운 프로세스 후보들의 위치들을 예측하여, 이제 총 m1개의 프로세스 후보들을 구성한다. 통상적으로, m1은 후보 추가 단계(212)에서 각각의 반복에서 증가한다. 제2 검출 단계(214)에서, 제어기(26)는 VCSEL 어레이(22)로부터 빔들(30)의 펄스들의 추가 시퀀스를 발사하고, SPAD 어레이(24) 상의 m1개의 프로세스 후보들 중 얼마나 많은 수가 히트들을 보고했는지를 질의한다.
제2 비교 단계(216)에서, 제어기(26)는 히트들의 상대적인 수(히트들과 펄스형 빔들(30)의 총 수(M) 사이의 비)를 제2 미리 설정된 임계치와 비교한다. 이러한 후자의 임계치는 통상적으로, 대부분의 빔들(30)이 대응하는 수퍼-픽셀들에 의해 성공적으로 수신되는 상황에 대응하는 높은 값으로 설정된다. 히트들의 상대적인 수가 제2 미리 설정된 임계치 미만이면, 제어기(26)는 검출된 히트들에 기초하여 모델링 단계(210)에서 모델을 조정한다. 모델의 조정은 모델 계수들뿐만 아니라, 필요한 경우, 모델의 복잡도의 증가를 재계산하는 것을 포함한다. 예를 들어, 5개 내지 8개의 루프들의 반복적 프로세스에서, 제어기(26)는 후보 추가 단계(212)에서의 모델에 기초하여 새로운 프로세스 후보들을 추가하고, 제2 검출 단계(214)에서 히트들을 질의하고, 제2 비교 단계(216)에서 이들의 상대적인 수를 제2 미리 설정된 임계치와 비교한다. 히트들의 상대적인 수가 제2 미리 설정된 임계치를 초과하지 않는 한, 제어기(26)는 모델 단계(210)로 계속 되돌아가서, 새로운 히트들에 기초하여 모델을 개선한다.
일단 검출된 히트들의 상대적인 수가 제2 미리 설정된 임계치를 초과하면, 제어기(26)는 검색을 완료하고, 할당 단계(218)에서, 깊이 맵핑 시스템(20)에 의한 장면(32)의 3D 맵핑에서 사용하기 위해 검출된 히트들을 할당한다.
단계(214)에서의 프로세스 후보들의 수가 주어진 반복 스테이지에서 증가하지 않고 여전히 너무 낮은 경우, 제어기(26)는 오프셋 검색 단계(222)에서 단일-픽셀 오프셋 검색을 개시할 수 있다. 오프셋 탐색 단계(222)에서, 아직 검출되지 않은 레이저 스팟들에 대한 검색은 이들의 예상 위치들 주위에서 단일 픽셀 오프셋으로 수행된다.
전술된 실시예들은 예로서 인용되어 있고 본 발명은 위에서 구체적으로 도시되고 기술된 것으로 제한되지 않는다는 것이 이해될 것이다. 오히려, 본 발명의 범주는 위에서 기술된 다양한 특징들의 조합들 및 하위조합들 양측 모두를 포함할 뿐만 아니라, 전술된 설명을 읽을 때 당업자에게 생각이 떠오를 것이고 종래 기술에서 개시되지 않은 변형들 및 변경들도 포함한다.

Claims (20)

  1. 깊이 감지 장치로서,
    타겟 장면을 향해 광학 방사의 제1 복수의 펄스형 빔들을 방출하도록 구성되는, 다수의 뱅크(bank)들로 배열된 방출기들의 제1 어레이를 포함하는 방사원;
    제2 복수의 감지 요소들 - 상기 제2 복수의 감지 요소들은 제2 어레이로 배열되고, 상기 감지 요소들 상의 광자들의 각각의 입사 시간들을 표시하는 신호들을 출력하도록 구성되고, 상기 제2 복수는 상기 제1 복수를 초과함 -;
    상기 감지 요소들의 어레이 상에 상기 타겟 장면의 이미지를 형성하도록 구성된 대물 광학계; 및
    상기 펄스형 빔들을 방출하기 위해 상기 다수의 뱅크들을 교대로 작동시키도록 결합되고, 상기 감지 요소들로부터 상기 신호들을 수신하도록 결합되고, 상기 신호들에 응답하여, 상기 타겟 장면의 대응하는 구역들로부터 반사된 상기 광학 방사의 펄스들이 입사되는 상기 제2 어레이의 영역들을 식별하기 위해 상기 감지 요소들을 검색하고, 상기 입사 시간들에 기초하여 상기 타겟 장면의 상기 대응하는 구역들의 깊이 좌표들을 측정하기 위해, 상기 식별된 영역들에서 상기 감지 요소들로부터의 상기 신호들을 프로세싱하도록 구성되는 프로세싱 및 제어 회로를 포함하는, 깊이 감지 장치.
  2. 제1항에 있어서, 상기 어레이 내의 상기 방출기들은 수직-공동 표면-방출 레이저(vertical-cavity surface-emitting laser, VCSEL)들을 포함하는, 깊이 감지 장치.
  3. 제1항에 있어서, 상기 다수의 뱅크들은 적어도 4개의 뱅크들을 포함하고, 각각의 뱅크는 상기 방출기들 중 적어도 4개를 포함하는, 깊이 감지 장치.
  4. 제3항에 있어서, 상기 방사원은 상기 방출기들 각각에 의해 방출된 상기 광학 방사를 상기 펄스형 빔들 중 다수의 빔들로 분할하도록 구성되는 회절 광학 요소(diffractive optical element, DOE)를 포함하는, 깊이 감지 장치.
  5. 제3항에 있어서, 상기 적어도 4개의 뱅크들은 적어도 8개의 뱅크들을 포함하는, 깊이 감지 장치.
  6. 제3항에 있어서, 각각의 뱅크는 상기 방출기들 중 적어도 20개를 포함하는, 깊이 감지 장치.
  7. 제3항에 있어서, 상기 방출기들의 뱅크들은 기판 상에 인터리빙되는, 깊이 감지 장치.
  8. 제1항에 있어서, 상기 감지 요소들은 단일 광자 애벌런치 다이오드(single-photon avalanche diode, SPAD)들을 포함하는, 깊이 감지 장치.
  9. 제1항에 있어서, 상기 프로세싱 및 제어 회로는 수퍼-픽셀들을 정의하기 위해 상기 식별된 영역들 각각에서 상기 감지 요소들을 함께 그룹화하고, 상기 깊이 좌표들을 측정하기 위해 상기 수퍼-픽셀들 각각에서 상기 감지 요소들로부터의 상기 신호들을 함께 프로세싱하도록 구성되는, 깊이 감지 장치.
  10. 제9항에 있어서, 상기 프로세싱 및 제어 회로는 다수의 프로세싱 유닛들을 포함하고, 상기 프로세싱 유닛들 각각은 상기 수퍼-픽셀들의 각각의 하나로부터의 상기 신호들을 프로세싱하도록 결합되는, 깊이 감지 장치.
  11. 제9항에 있어서, 상기 프로세싱 유닛들 각각은 상기 수퍼-픽셀들 각각에서 상기 감지 요소들 상의 상기 광자들의 입사 시간들의 히스토그램을 구성하도록 구성되는, 깊이 감지 장치.
  12. 제1항에 있어서, 상기 방출기들의 상기 다수의 뱅크들로부터 방출된 상기 광학 방사의 펄스들은, 상기 타겟 장면으로부터의 반사 후에, 상기 제2 어레이의 상기 식별된 영역들의 상이한 각각의 세트들 상에 입사되고, 상기 프로세싱 및 제어 회로는 상기 다수의 뱅크들의 작동과 동기화하여 상기 각각의 세트들 내의 상기 감지 요소로부터의 상기 신호들을 수신 및 프로세싱하도록 구성되는, 깊이 감지 장치.
  13. 제12항에 있어서, 상기 방출기들의 임의의 주어진 뱅크가 작동될 때, 상기 프로세싱 및 제어 회로는, 상기 어레이 내의 나머지 감지 요소들이 비활성인 동안, 상기 제2 어레이의 상기 식별된 영역들의 대응하는 세트에서 상기 감지 요소들로부터만의 신호들을 판독 및 프로세싱하도록 구성되는, 깊이 감지 장치.
  14. 깊이 감지 방법으로서,
    펄스형 빔을 방출하기 위해 다수의 뱅크들을 교대로 작동시키면서, 타겟 장면을 향해 광학 방사의 제1 복수의 펄스형 빔들을 방출하기 위해 다수의 뱅크들로 배열된 방출기들의 제1 어레이를 구동시키는 단계;
    제2 복수의 감지 요소들 상에 상기 타겟 장면의 이미지를 형성하는 단계 - 상기 제2 복수의 감지 요소들은 제2 어레이로 배열되고, 상기 감지 요소들 상의 광자들의 각각의 입사 시간들을 표시하는 신호들을 출력하도록 구성되고, 상기 제2 복수는 상기 제1 복수를 초과함 -;
    상기 감지 요소들로부터의 상기 신호들에 응답하여, 상기 타겟 장면의 대응하는 구역들로부터 반사된 상기 광학 방사의 펄스들이 입사되는 상기 제2 어레이의 영역들을 식별하기 위해 상기 감지 요소들을 검색하는 단계; 및
    상기 입사 시간들에 기초하여 상기 타겟 장면의 상기 대응하는 구역들의 깊이 좌표들을 측정하기 위해, 상기 식별된 영역들에서 상기 감지 요소들로부터의 신호들을 프로세싱하는 단계를 포함하는, 깊이 감지 방법.
  15. 제14항에 있어서, 상기 다수의 뱅크들은 적어도 4개의 뱅크들을 포함하고, 각각의 뱅크는 상기 방출기들 중 적어도 4개를 포함하는, 깊이 감지 방법.
  16. 제15항에 있어서, 상기 방출기들의 뱅크들은 기판 상에 인터리빙되는, 깊이 감지 방법.
  17. 제14항에 있어서, 상기 신호들을 프로세싱하는 단계는 수퍼-픽셀들을 정의하기 위해 상기 식별된 영역들 각각에서 상기 감지 요소들을 함께 그룹화하는 단계, 및 상기 깊이 좌표들을 측정하기 위해 상기 수퍼-픽셀들 각각에서 상기 감지 요소들로부터의 상기 신호들을 함께 프로세싱하는 단계를 포함하는, 깊이 감지 방법.
  18. 제17항에 있어서, 상기 신호들을 함께 프로세싱하는 단계는 상기 수퍼-픽셀들 각각에서 상기 감지 요소들 상의 상기 광자들의 입사 시간들의 히스토그램을 구성하는 단계를 포함하는, 깊이 감지 방법.
  19. 제14항에 있어서, 상기 방출기들의 상기 다수의 뱅크들로부터 방출된 상기 광학 방사의 펄스들은, 상기 타겟 장면으로부터의 반사 후에, 상기 제2 어레이의 상기 식별된 영역들의 상이한 각각의 세트들 상에 입사되고, 상기 신호들을 프로세싱하는 단계는 상기 다수의 뱅크들의 작동과 동기화하여 상기 각각의 세트들 내의 상기 감지 요소로부터의 상기 신호들을 수신 및 프로세싱하는 단계를 포함하는, 깊이 감지 방법.
  20. 제19항에 있어서, 상기 신호들을 프로세싱하는 단계는, 상기 방출기들의 임의의 주어진 뱅크가 작동될 때, 상기 어레이 내의 나머지 감지 요소들이 비활성인 동안 상기 제2 어레이의 상기 식별된 영역들의 대응하는 세트에서 상기 감지 요소들로부터만의 신호들을 판독 및 프로세싱하는 단계를 포함하는, 깊이 감지 방법.
KR1020217025136A 2019-02-11 2019-08-06 펄스형 빔들의 희소 어레이를 사용하는 깊이 감지 KR102604902B1 (ko)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201962803612P 2019-02-11 2019-02-11
US62/803,612 2019-02-11
US201962809647P 2019-02-24 2019-02-24
US62/809,647 2019-02-24
PCT/US2019/045188 WO2020167338A1 (en) 2019-02-11 2019-08-06 Depth sensing using a sparse array of pulsed beams

Publications (2)

Publication Number Publication Date
KR20210113312A true KR20210113312A (ko) 2021-09-15
KR102604902B1 KR102604902B1 (ko) 2023-11-21

Family

ID=67777399

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020217025136A KR102604902B1 (ko) 2019-02-11 2019-08-06 펄스형 빔들의 희소 어레이를 사용하는 깊이 감지

Country Status (7)

Country Link
US (3) US20200256993A1 (ko)
EP (1) EP3887852A1 (ko)
KR (1) KR102604902B1 (ko)
CN (2) CN113330328B (ko)
AU (1) AU2019429696B2 (ko)
DE (1) DE112019006845T5 (ko)
WO (2) WO2020167338A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023059119A1 (ko) * 2021-10-07 2023-04-13 삼성전자 주식회사 거리 센서를 포함하는 전자 장치 및 거리 측정 방법

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11105925B2 (en) * 2017-03-01 2021-08-31 Ouster, Inc. Accurate photo detector measurements for LIDAR
WO2018211831A1 (ja) * 2017-05-18 2018-11-22 シャープ株式会社 光検出器および携帯型電子機器
US11774563B2 (en) * 2017-12-04 2023-10-03 Ams International Ag Time-of-flight module and method to determine distance to object
EP3704510B1 (en) 2017-12-18 2022-10-05 Apple Inc. Time-of-flight sensing using an addressable array of emitters
WO2020167338A1 (en) * 2019-02-11 2020-08-20 Apple Inc. Depth sensing using a sparse array of pulsed beams
US11331006B2 (en) 2019-03-05 2022-05-17 Physmodo, Inc. System and method for human motion detection and tracking
US11103748B1 (en) 2019-03-05 2021-08-31 Physmodo, Inc. System and method for human motion detection and tracking
US11500094B2 (en) 2019-06-10 2022-11-15 Apple Inc. Selection of pulse repetition intervals for sensing time of flight
US11134832B2 (en) 2019-06-20 2021-10-05 Cilag Gmbh International Image rotation in an endoscopic hyperspectral, fluorescence, and laser mapping imaging system
US11671691B2 (en) * 2019-06-20 2023-06-06 Cilag Gmbh International Image rotation in an endoscopic laser mapping imaging system
US11147436B2 (en) 2019-06-20 2021-10-19 Cilag Gmbh International Image rotation in an endoscopic fluorescence imaging system
US11733359B2 (en) 2019-12-03 2023-08-22 Apple Inc. Configurable array of single-photon detectors
WO2022166583A1 (zh) * 2021-02-08 2022-08-11 深圳市灵明光子科技有限公司 投射装置、三维成像系统、三维成像方法及电子产品
CN112817010A (zh) * 2021-02-08 2021-05-18 深圳市灵明光子科技有限公司 投射装置、三维成像系统、三维成像方法及电子产品
CN113176579B (zh) * 2021-03-01 2024-08-23 奥比中光科技集团股份有限公司 光斑位置自适应搜索方法、时间飞行测距系统及测距方法
WO2022217564A1 (zh) * 2021-04-16 2022-10-20 睿镞科技(北京)有限责任公司 激光雷达系统、空间测量设备及方法
JP2022168740A (ja) 2021-04-26 2022-11-08 キヤノン株式会社 投光ユニットおよびそれを用いた測距装置
KR20220151477A (ko) * 2021-05-06 2022-11-15 삼성전자주식회사 라이다 장치 및 이를 포함하는 전자 장치
US11681028B2 (en) 2021-07-18 2023-06-20 Apple Inc. Close-range measurement of time of flight using parallax shift
WO2023041761A1 (en) 2021-09-20 2023-03-23 Trinamix Gmbh Emitter array with two or more independently driven areas
CN114185057B (zh) * 2021-11-10 2024-05-17 华为技术有限公司 一种探测方法、装置和终端
CN115575967B (zh) * 2022-11-02 2024-07-19 北京摩尔芯光半导体技术有限公司 激光雷达芯片及激光雷达
DE102022131100B3 (de) 2022-11-24 2024-03-21 Elmos Semiconductor Se Treiberchip mit mehreren Treiberblöcken für ein Beleuchtungssystem

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170176579A1 (en) * 2015-12-20 2017-06-22 Apple Inc. Light detection and ranging sensor
US20190011567A1 (en) * 2017-07-05 2019-01-10 Ouster, Inc. Light ranging device with mems scanned emitter array and synchronized electronically scanned sensor array

Family Cites Families (186)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6384903B1 (en) 1977-02-28 2002-05-07 Bae Systems Information And Electronic Systems Integration, Inc. Range gated remote measurement utilizing two-photon absorption
US4623237A (en) 1984-07-07 1986-11-18 Canon Kabushiki Kaisha Automatic focusing device
US4757200A (en) 1986-07-28 1988-07-12 Visidyne, Inc. Pulsed radiation detection system
GB8902080D0 (en) 1989-01-31 1989-03-22 York Ltd Optical detection apparatus for counting optical photons
JPH02287113A (ja) 1989-04-27 1990-11-27 Asahi Optical Co Ltd 測距装置
US5164823A (en) 1990-12-21 1992-11-17 Kaman Aerospace Corporation Imaging lidar system employing multipulse single and multiple gating for single and stacked frames
JPH0567195A (ja) 1991-09-05 1993-03-19 Matsushita Electric Ind Co Ltd 形状測定装置
US5270780A (en) 1991-09-13 1993-12-14 Science Applications International Corporation Dual detector lidar system and method
JP3240835B2 (ja) 1994-06-09 2001-12-25 株式会社日立製作所 車両用距離計測装置
JPH09197045A (ja) 1996-01-24 1997-07-31 Nissan Motor Co Ltd 車両用レーダ装置
JPH10170637A (ja) 1996-12-16 1998-06-26 Omron Corp 光走査装置
JPH1163920A (ja) 1997-08-26 1999-03-05 Matsushita Electric Works Ltd 光走査式変位測定装置
JP3832101B2 (ja) 1998-08-05 2006-10-11 株式会社デンソー 距離測定装置
IT1316793B1 (it) 2000-03-09 2003-05-12 Milano Politecnico Circuito monolitico di spegnimento attivo e ripristino attivo perfotodiodi a valanga
JP4595197B2 (ja) 2000-12-12 2010-12-08 株式会社デンソー 距離測定装置
US6771103B2 (en) 2001-03-14 2004-08-03 Denso Corporation Time measurement apparatus, distance measurement apparatus, and clock signal generating apparatus usable therein
US6486827B2 (en) 2001-04-18 2002-11-26 Raytheon Company Sparse frequency waveform radar system and method
JP4457525B2 (ja) 2001-06-11 2010-04-28 株式会社デンソー 距離測定装置
US7126218B1 (en) 2001-08-07 2006-10-24 Amkor Technology, Inc. Embedded heat spreader ball grid array
US7899339B2 (en) 2002-07-30 2011-03-01 Amplification Technologies Inc. High-sensitivity, high-resolution detector devices and arrays
US7312856B2 (en) 2002-09-12 2007-12-25 Lockheed Martin Corporation Programmable pulse capture device with automatic gain control
US20060106317A1 (en) 2002-09-16 2006-05-18 Joule Microsystems Canada Inc. Optical system and use thereof for detecting patterns in biological tissue
JP2006521536A (ja) 2002-11-26 2006-09-21 ジェームス エフ． マンロ 高精度の距離測定装置およびその方法
US7428997B2 (en) 2003-07-29 2008-09-30 Microvision, Inc. Method and apparatus for illuminating a field-of-view and capturing an image
DE10361870B4 (de) 2003-12-29 2006-05-04 Faro Technologies Inc., Lake Mary Laserscanner und Verfahren zum optischen Abtasten und Vermessen einer Umgebung des Laserscanners
DE102005027208B4 (de) 2004-11-16 2011-11-10 Zoller & Fröhlich GmbH Verfahren zur Ansteuerung eines Laserscanners
EP1842082A2 (en) 2005-01-20 2007-10-10 Elbit Systems Electro-Optics Elop Ltd. Laser obstacle detection and display
US9002511B1 (en) 2005-10-21 2015-04-07 Irobot Corporation Methods and systems for obstacle detection using structured light
US7812301B2 (en) 2005-10-28 2010-10-12 Sony Corporation Solid-state imaging device, method of driving solid-state imaging device and imaging apparatus
US7303005B2 (en) 2005-11-04 2007-12-04 Graftech International Holdings Inc. Heat spreaders with vias
US8355117B2 (en) 2005-12-21 2013-01-15 Ecole Polytechnique Federale De Lausanne Method and arrangement for measuring the distance to an object
DE102006013290A1 (de) 2006-03-23 2007-09-27 Robert Bosch Gmbh Vorrichtung zur optischen Distanzmessung sowie Verfahren zum Betrieb einer solchen Vorrichtung
US7405812B1 (en) 2006-05-18 2008-07-29 Canesta, Inc. Method and system to avoid inter-system interference for phase-based time-of-flight systems
EP2041515A4 (en) 2006-07-13 2009-11-11 Velodyne Acoustics Inc HIGH DEFINITION LIDAR SYSTEM
WO2008113067A2 (en) 2007-03-15 2008-09-18 Johns Hopkins University Deep submicron and nano cmos single photon photodetector pixel with event based circuits for readout data-rate reduction
US7652252B1 (en) 2007-10-08 2010-01-26 Hrl Laboratories, Llc Electronically tunable and reconfigurable hyperspectral photon detector
US8332134B2 (en) 2008-04-24 2012-12-11 GM Global Technology Operations LLC Three-dimensional LIDAR-based clear path detection
US20090273770A1 (en) 2008-04-30 2009-11-05 Honeywell International Inc. Systems and methods for safe laser imaging, detection and ranging (lidar) operation
US8838211B2 (en) 2008-04-30 2014-09-16 Board Of Regents, The University Of Texas System Multi-wavelength diagnostic imager
DE102008031681A1 (de) 2008-07-04 2010-01-14 Eads Deutschland Gmbh LIDAR-Verfahren zur Messung von Geschwindigkeiten und LIDAR-Vorrichtung mit zeitgesteuerter Detektion
US8026471B2 (en) 2008-07-23 2011-09-27 Princeton Lightwave, Inc. Single-photon avalanche detector-based focal plane array
JP5585903B2 (ja) 2008-07-30 2014-09-10 国立大学法人静岡大学 距離画像センサ、及び撮像信号を飛行時間法により生成する方法
IL200332A0 (en) 2008-08-19 2010-04-29 Rosemount Aerospace Inc Lidar system using a pseudo-random pulse sequence
US9554770B2 (en) 2008-09-29 2017-01-31 Siemens Medical Solutions Usa, Inc. High pulse repetition frequency for detection of tissue mechanical property with ultrasound
US20100096459A1 (en) 2008-10-16 2010-04-22 Vladimir Gurevich Electro-optical reader with extended working range
IT1392366B1 (it) 2008-12-17 2012-02-28 St Microelectronics Rousset Fotodiodo operante in modalita' geiger con resistore di soppressione integrato e controllabile, schiera di fotodiodi e relativo procedimento di fabbricazione
US8447563B2 (en) 2009-03-31 2013-05-21 The United States Of America As Represented By The Secretary Of The Navy Method and system for determination of detection probability or a target object based on a range
WO2010141631A1 (en) 2009-06-02 2010-12-09 Velodyne Acoustics, Inc. Color lidar scanner
US8766808B2 (en) 2010-03-09 2014-07-01 Flir Systems, Inc. Imager with multiple sensor arrays
CN101923173B (zh) 2009-06-10 2014-10-01 圣戈本陶瓷及塑料股份有限公司 闪烁体以及检测器组件
US9417326B2 (en) 2009-06-22 2016-08-16 Toyota Motor Europe Nv/Sa Pulsed light optical rangefinder
US8319170B2 (en) 2009-07-10 2012-11-27 Motorola Mobility Llc Method for adapting a pulse power mode of a proximity sensor
DE102009029372A1 (de) 2009-09-11 2011-03-24 Robert Bosch Gmbh Messvorrichtung zur Messung einer Entfernung zwischen der Messvorrichtung und einem Zielobjekt mit Hilfe optischer Messstrahlung
JP2011089874A (ja) 2009-10-22 2011-05-06 Toyota Central R&D Labs Inc 距離画像データ取得装置
US8390791B2 (en) 2009-11-30 2013-03-05 General Electric Company Light detection and ranging system
US20110187878A1 (en) 2010-02-02 2011-08-04 Primesense Ltd. Synchronization of projected illumination with rolling shutter of image sensor
DE102010003843A1 (de) 2010-04-12 2011-10-13 Robert Bosch Gmbh Entfernungsmessgerät mit homogenisierender Messauswertung
LU91688B1 (en) 2010-05-17 2011-11-18 Iee Sarl Scanning 3D imager
US8687174B2 (en) 2010-08-11 2014-04-01 Samsung Electronics Co., Ltd. Unit pixel, photo-detection device and method of measuring a distance using the same
US8736818B2 (en) 2010-08-16 2014-05-27 Ball Aerospace & Technologies Corp. Electronically steered flash LIDAR
US8836250B2 (en) 2010-10-01 2014-09-16 Accuray Incorporated Systems and methods for cargo scanning and radiotherapy using a traveling wave linear accelerator based x-ray source using current to modulate pulse-to-pulse dosage
GB2485995B (en) 2010-11-30 2014-01-01 St Microelectronics Res & Dev Improved proximity sensor and associated method, computer readable medium and firmware
GB2486165A (en) 2010-11-30 2012-06-13 St Microelectronics Res & Dev Oven using a Single Photon Avalanche Diode (SPAD) array
AT510296B1 (de) 2010-12-21 2012-03-15 Riegl Laser Measurement Sys Verfahren zur entfernungsmessung mittels laserimpulsen
EP2469301A1 (en) 2010-12-23 2012-06-27 André Borowski Methods and devices for generating a representation of a 3D scene at very high speed
EP2477043A1 (en) 2011-01-12 2012-07-18 Sony Corporation 3D time-of-flight camera and method
JP5834416B2 (ja) 2011-02-01 2015-12-24 セイコーエプソン株式会社 画像形成装置
KR101318951B1 (ko) 2011-02-28 2013-10-17 한국과학기술원 듀얼 가이거 모드 어밸런치 광다이오드를 운용하는 스캐닝 3차원 영상화 펄스 레이저 레이더 시스템 및 방법
DE102011005746A1 (de) 2011-03-18 2012-09-20 Robert Bosch Gmbh Messvorrichtung zur mehrdimensionalen Vermessung eines Zielobjekts
WO2012147082A1 (en) 2011-04-25 2012-11-01 Generic Imaging Ltd. System and method for linearization of multi-camera flat panel x-ray detectors
US9137463B2 (en) 2011-05-12 2015-09-15 Microsoft Technology Licensing, Llc Adaptive high dynamic range camera
EP2535755A1 (en) 2011-06-14 2012-12-19 Ecole Polytechnique Fédérale de Lausanne (EPFL) Cumulant microscopy
US11231502B2 (en) * 2011-06-30 2022-01-25 The Regents Of The University Of Colorado Remote measurement of shallow depths in semi-transparent media
DE102011107645A1 (de) 2011-07-12 2013-01-17 Leica Microsystems Cms Gmbh Vorrichtung und Verfahren zum Detektieren von Licht
WO2013028691A1 (en) 2011-08-25 2013-02-28 Georgia Tech Research Corporation Gas sensors and methods of preparation thereof
DE102011081561B4 (de) 2011-08-25 2024-06-13 pmdtechnologies ag Lichtlaufzeitkamerasystem mit Signalpfadüberwachung
US9538987B2 (en) 2011-09-28 2017-01-10 General Electric Company System and method for ultrasound imaging
US9341464B2 (en) * 2011-10-17 2016-05-17 Atlas5D, Inc. Method and apparatus for sizing and fitting an individual for apparel, accessories, or prosthetics
US20130092846A1 (en) 2011-10-18 2013-04-18 Uwm Research Foundation, Inc. Fiber-optic sensors for real-time monitoring
JP2013113669A (ja) 2011-11-28 2013-06-10 Mitsubishi Electric Corp レーザレーダ装置
US9024246B2 (en) 2011-12-19 2015-05-05 Princeton Lightwave, Inc. Two-state negative feedback avalanche diode having a control element for determining load state
FR2984522B1 (fr) 2011-12-20 2014-02-14 St Microelectronics Grenoble 2 Dispositif de detection de la proximite d'un objet, comprenant des photodiodes spad
US9052356B2 (en) 2012-02-15 2015-06-09 International Business Machines Corporation Embedded photon emission calibration (EPEC)
US8989596B2 (en) 2012-03-06 2015-03-24 Northrop Grumman Systems Corporation Multiple sensor optical communication systems and methods
US9109888B2 (en) 2012-03-21 2015-08-18 Honda Motor Co., Ltd. Distance measuring system
US9335220B2 (en) * 2012-03-22 2016-05-10 Apple Inc. Calibration of time-of-flight measurement using stray reflections
US20130258099A1 (en) 2012-03-29 2013-10-03 Samsung Electronics Co., Ltd. Depth Estimation Device And Operating Method Using The Depth Estimation Device
US9723233B2 (en) 2012-04-18 2017-08-01 Brightway Vision Ltd. Controllable gated sensor
KR102038533B1 (ko) 2012-06-14 2019-10-31 한국전자통신연구원 레이저 레이더 시스템 및 목표물 영상 획득 방법
US20130342835A1 (en) 2012-06-25 2013-12-26 California Institute Of Technology Time resolved laser raman spectroscopy using a single photon avalanche diode array
GB2504291A (en) 2012-07-24 2014-01-29 St Microelectronics Ltd A proximity and gesture detection module
EP2708914A1 (de) 2012-09-18 2014-03-19 Sick Ag Optoelektronischer Sensor und Verfahren zur Erfassung einer Tiefenkarte
GB201300334D0 (en) 2013-01-09 2013-02-20 St Microelectronics Ltd Sensor circuit
GB2510890A (en) 2013-02-18 2014-08-20 St Microelectronics Res & Dev Method and apparatus
KR102048361B1 (ko) 2013-02-28 2019-11-25 엘지전자 주식회사 거리 검출 장치, 및 이를 구비하는 영상처리장치
DE202013101039U1 (de) 2013-03-11 2014-03-12 Sick Ag Optoelektronischer Sensor zur Entfernungsmessung
US9182278B2 (en) 2013-03-14 2015-11-10 Sciaps, Inc. Wide spectral range spectrometer
US9516248B2 (en) 2013-03-15 2016-12-06 Microsoft Technology Licensing, Llc Photosensor having enhanced sensitivity
EP2987186B1 (en) 2013-04-19 2020-07-01 Lightspin Technologies, Inc. Integrated avalanche photodiode arrays
GB2513408B (en) 2013-04-26 2017-12-13 Toshiba Res Europe Limited A photon detector and a photon detection method
EP2992357A4 (en) * 2013-04-29 2017-01-18 Nokia Technologies OY A method and apparatus for fusing distance data from a distance sensing camera with an image
GB2514576A (en) 2013-05-29 2014-12-03 St Microelectronics Res & Dev Methods and apparatus
US9268012B2 (en) * 2013-07-12 2016-02-23 Princeton Optronics Inc. 2-D planar VCSEL source for 3-D imaging
US20150260830A1 (en) * 2013-07-12 2015-09-17 Princeton Optronics Inc. 2-D Planar VCSEL Source for 3-D Imaging
GB2520232A (en) 2013-08-06 2015-05-20 Univ Edinburgh Multiple Event Time to Digital Converter
US10061028B2 (en) * 2013-09-05 2018-08-28 Texas Instruments Incorporated Time-of-flight (TOF) assisted structured light imaging
US8925814B1 (en) 2013-10-09 2015-01-06 Symbol Technologies, Inc. Apparatus for and method of monitoring output power of a laser beam during reading of targets
US9443310B2 (en) 2013-10-09 2016-09-13 Microsoft Technology Licensing, Llc Illumination modules that emit structured light
US10063844B2 (en) 2013-10-17 2018-08-28 Microsoft Technology Licensing, Llc. Determining distances by probabilistic time of flight imaging
US10203399B2 (en) 2013-11-12 2019-02-12 Big Sky Financial Corporation Methods and apparatus for array based LiDAR systems with reduced interference
CN105723239B (zh) 2013-11-20 2020-12-18 松下半导体解决方案株式会社 测距摄像系统以及固体摄像元件
US9210350B2 (en) 2013-12-09 2015-12-08 Omnivision Technologies, Inc. Low power imaging system with single photon avalanche diode photon counters and ghost image reduction
US9625580B2 (en) 2014-01-03 2017-04-18 Princeton Lightwave, Inc. LiDAR system comprising a single-photon detector
US9331116B2 (en) 2014-01-15 2016-05-03 Omnivision Technologies, Inc. Back side illuminated single photon avalanche diode imaging sensor with high short wavelength detection efficiency
US9312401B2 (en) 2014-01-15 2016-04-12 Omnivision Technologies, Inc. Single photon avalanche diode imaging sensor for complementary metal oxide semiconductor stacked chip applications
JP6207407B2 (ja) 2014-01-17 2017-10-04 オムロンオートモーティブエレクトロニクス株式会社 レーザレーダ装置、物体検出方法、及び、プログラム
US9456201B2 (en) * 2014-02-10 2016-09-27 Microsoft Technology Licensing, Llc VCSEL array for a depth camera
CN103763485A (zh) 2014-02-17 2014-04-30 苏州超锐微电子有限公司 一种用于智能图像传感器的单光子级分辨率图像采集芯片前端电路模块
EP3117234B1 (en) 2014-03-14 2021-04-28 Heptagon Micro Optics Pte. Ltd. Optoelectronic modules operable to recognize spurious reflections and to compensate for errors caused by spurious reflections
US9761049B2 (en) 2014-03-28 2017-09-12 Intel Corporation Determination of mobile display position and orientation using micropower impulse radar
KR102409952B1 (ko) 2014-04-07 2022-06-17 삼성전자주식회사 고해상도, 고프레임률, 저전력 이미지 센서
US20170142393A1 (en) 2014-06-27 2017-05-18 Heptagon Micro Optics Pte. Ltd. Structured Light Imaging System and Method
DE202014005508U1 (de) 2014-07-02 2014-10-09 Robert Bosch Gmbh Entfernungsmessvorrichtung
EP3171241A4 (en) 2014-07-16 2017-12-13 Ricoh Company, Ltd. System, machine, control method, and program
WO2016025502A1 (en) 2014-08-11 2016-02-18 Gerard Dirk Smits Three-dimensional triangulation and time-of-flight based tracking systems and methods
US9810777B2 (en) 2014-08-22 2017-11-07 Voxtel, Inc. Asynchronous LADAR and imaging array
US20160072258A1 (en) * 2014-09-10 2016-03-10 Princeton Optronics Inc. High Resolution Structured Light Source
US9596440B2 (en) 2014-09-11 2017-03-14 Microvision, Inc. Scanning laser planarity detection
US10295658B2 (en) 2014-10-02 2019-05-21 The Johns Hopkins University Optical detection system
WO2016089305A1 (en) * 2014-12-02 2016-06-09 Heptagon Micro Optics Pte. Ltd. Depth sensor module and depth sensing method
US10036801B2 (en) 2015-03-05 2018-07-31 Big Sky Financial Corporation Methods and apparatus for increased precision and improved range in a multiple detector LiDAR array
US10088557B2 (en) 2015-03-20 2018-10-02 MSOTEK Co., Ltd LIDAR apparatus
FR3034204A1 (ko) * 2015-03-23 2016-09-30 Stmicroelectronics (Grenoble 2) Sas
US10145678B2 (en) 2015-04-20 2018-12-04 Samsung Electronics Co., Ltd. CMOS image sensor for depth measurement using triangulation with point scan
US9864048B2 (en) 2015-05-17 2018-01-09 Microsoft Technology Licensing, Llc. Gated time of flight camera
EP3886343A3 (en) 2015-05-18 2021-11-24 Lasermotive, Inc. Multi-layered safety system
CN104914446B (zh) 2015-06-19 2017-06-27 南京理工大学 基于光子计数的三维距离图像时域实时去噪方法
US10620300B2 (en) 2015-08-20 2020-04-14 Apple Inc. SPAD array with gated histogram construction
US9989357B2 (en) 2015-09-09 2018-06-05 Faro Technologies, Inc. Aerial device that cooperates with an external projector to measure three-dimensional coordinates
US10063849B2 (en) 2015-09-24 2018-08-28 Ouster, Inc. Optical system for collecting distance information within a field
WO2017069954A1 (en) 2015-10-21 2017-04-27 Princeton Optronics, Inc. Coded pattern projector
EP3159711A1 (en) 2015-10-23 2017-04-26 Xenomatix NV System and method for determining a distance to an object
CN115480252A (zh) 2015-11-05 2022-12-16 路明亮有限责任公司 用于高分辨率深度映射的具有经改进扫描速度的激光雷达系统
FR3043797A1 (ko) 2015-11-16 2017-05-19 Stmicroelectronics (Grenoble 2) Sas
JP6852085B2 (ja) 2015-11-30 2021-03-31 ルミナー テクノロジーズ インコーポレイテッド 分布型レーザー及び複数のセンサー・ヘッドを備える光検出及び測距システム、並びに、光検出及び測距システムのパルス・レーザー
EP3182156B1 (en) 2015-12-18 2021-01-27 STMicroelectronics (Research & Development) Limited Ranging apparatus
WO2017112416A1 (en) * 2015-12-20 2017-06-29 Apple Inc. Light detection and ranging sensor
US9997551B2 (en) * 2015-12-20 2018-06-12 Apple Inc. Spad array with pixel-level bias control
EP3185037B1 (en) * 2015-12-23 2020-07-08 STMicroelectronics (Research & Development) Limited Depth imaging system
EP3185038B1 (de) 2015-12-23 2018-02-14 Sick Ag Optoelektronischer sensor und verfahren zur messung einer entfernung
US9823118B2 (en) 2015-12-26 2017-11-21 Intel Corporation Low power, high resolution solid state LIDAR circuit
US10386487B1 (en) 2015-12-30 2019-08-20 Argo AI, LLC Geiger-mode LiDAR system having improved signal-to-noise ratio
US10627490B2 (en) 2016-01-31 2020-04-21 Velodyne Lidar, Inc. Multiple pulse, LIDAR based 3-D imaging
US9933513B2 (en) 2016-02-18 2018-04-03 Aeye, Inc. Method and apparatus for an adaptive ladar receiver
US10754015B2 (en) 2016-02-18 2020-08-25 Aeye, Inc. Adaptive ladar receiver
US9866816B2 (en) 2016-03-03 2018-01-09 4D Intellectual Properties, Llc Methods and apparatus for an active pulsed 4D camera for image acquisition and analysis
CA3017811C (en) 2016-03-21 2021-04-27 Velodyne Lidar, Inc. Lidar based 3-d imaging with varying pulse repetition
US9739881B1 (en) 2016-03-24 2017-08-22 RFNAV, Inc. Low cost 3D radar imaging and 3D association method from low count linear arrays for all weather autonomous vehicle navigation
JP2017195573A (ja) 2016-04-22 2017-10-26 ソニー株式会社 撮像装置および電子機器
EP3449568A4 (en) 2016-04-26 2019-12-11 Illinois Institute Of Technology DEVICE AND METHOD FOR IMPROVED PHOTON EARLY DETECTION IN OPTICAL PROJECTION TOMOGRAPHY
US10690756B2 (en) 2016-05-10 2020-06-23 Texas Instruments Incorporated Methods and apparatus for LIDAR operation with pulse position modulation
JP6780308B2 (ja) 2016-06-10 2020-11-04 株式会社リコー 物体検出装置、センシング装置及び移動体装置
US10823826B2 (en) 2016-06-14 2020-11-03 Stmicroelectronics, Inc. Adaptive laser power and ranging limit for time of flight sensor
US20180341009A1 (en) 2016-06-23 2018-11-29 Apple Inc. Multi-range time of flight sensing
US10890649B2 (en) 2016-08-11 2021-01-12 Qualcomm Incorporated System and method for measuring reference and returned light beams in an optical system
WO2018028795A1 (en) 2016-08-12 2018-02-15 Fastree3D Sa Method and device for measuring a distance to a target in a multi-user environment by means of at least one detector
EP3285087A1 (en) 2016-08-19 2018-02-21 ams AG Sensor arrangement and method for determining time-of-flight
US20180059220A1 (en) 2016-08-30 2018-03-01 Qualcomm Incorporated Laser ranging device with beam signature and signature recognition
US10305247B2 (en) 2016-08-30 2019-05-28 Apple Inc. Radiation source with a small-angle scanning array
US20180081041A1 (en) 2016-09-22 2018-03-22 Apple Inc. LiDAR with irregular pulse sequence
US10291895B2 (en) * 2016-10-25 2019-05-14 Omnivision Technologies, Inc. Time of flight photosensor
DE102016221049A1 (de) 2016-10-26 2018-04-26 Robert Bosch Gmbh Vorrichtung und Verfahren zum Empfangen eines reflektierten Lichtpulses in einem Lidar-System
CN106405572B (zh) 2016-11-10 2019-02-26 西安交通大学 基于空间编码的远距离高分辨率激光主动成像装置及方法
US10154254B2 (en) 2017-01-17 2018-12-11 Facebook Technologies, Llc Time-of-flight depth sensing for eye tracking
US11105925B2 (en) 2017-03-01 2021-08-31 Ouster, Inc. Accurate photo detector measurements for LIDAR
WO2019005260A1 (en) 2017-06-29 2019-01-03 Apple Inc. FLIGHT TIME DEPTH MAPPING WITH PARALLAX COMPENSATION
EP3428574A1 (en) 2017-07-11 2019-01-16 Fondazione Bruno Kessler Device for measuring a distance and method for measuring said distance
US20190018119A1 (en) * 2017-07-13 2019-01-17 Apple Inc. Early-late pulse counting for light emitting depth sensors
US10955552B2 (en) 2017-09-27 2021-03-23 Apple Inc. Waveform design for a LiDAR system with closely-spaced pulses
TWI661211B (zh) 2017-12-08 2019-06-01 財團法人工業技術研究院 距離感測裝置及其方法
US10158038B1 (en) 2018-05-17 2018-12-18 Hi Llc Fast-gated photodetector architectures comprising dual voltage sources with a switch configuration
WO2020101576A1 (en) 2018-11-16 2020-05-22 Ams Sensors Singapore Pte. Ltd. Depth sensing using optical time-of-flight techniques through a transmissive cover
WO2020167338A1 (en) * 2019-02-11 2020-08-20 Apple Inc. Depth sensing using a sparse array of pulsed beams
EP3715907B1 (en) 2019-03-27 2024-02-28 Infineon Technologies AG Methods and apparatuses for compensating light reflections from a cover of a time-of-flight camera
US20220196812A1 (en) 2019-04-02 2022-06-23 Ams International Ag Time of flight sensor
CN110609293B (zh) 2019-09-19 2022-05-27 深圳奥锐达科技有限公司 一种基于飞行时间的距离探测系统和方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170176579A1 (en) * 2015-12-20 2017-06-22 Apple Inc. Light detection and ranging sensor
US20190011567A1 (en) * 2017-07-05 2019-01-10 Ouster, Inc. Light ranging device with mems scanned emitter array and synchronized electronically scanned sensor array

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023059119A1 (ko) * 2021-10-07 2023-04-13 삼성전자 주식회사 거리 센서를 포함하는 전자 장치 및 거리 측정 방법

Also Published As

Publication number Publication date
WO2020167337A1 (en) 2020-08-20
US20200256993A1 (en) 2020-08-13
US11371833B2 (en) 2022-06-28
WO2020167338A1 (en) 2020-08-20
DE112019006845T5 (de) 2021-10-28
US20200256669A1 (en) 2020-08-13
CN113330328A (zh) 2021-08-31
US20210164776A1 (en) 2021-06-03
CN113330328B (zh) 2024-06-14
KR102604902B1 (ko) 2023-11-21
CN113330327A (zh) 2021-08-31
US10955234B2 (en) 2021-03-23
EP3887852A1 (en) 2021-10-06
AU2019429696A1 (en) 2021-07-22
AU2019429696B2 (en) 2022-06-23

Similar Documents

Publication Publication Date Title
KR102604902B1 (ko) 펄스형 빔들의 희소 어레이를 사용하는 깊이 감지
CN111830530B (zh) 一种距离测量方法、系统及计算机可读存储介质
JP6644892B2 (ja) 光検出測距センサ
US10775507B2 (en) Adaptive transmission power control for a LIDAR
US11852727B2 (en) Time-of-flight sensing using an addressable array of emitters
CN110927734B (zh) 一种激光雷达系统及其抗干扰方法
US11914078B2 (en) Calibration of a depth sensing array using color image data
US20170176579A1 (en) Light detection and ranging sensor
WO2021244011A1 (zh) 一种距离测量方法、系统及计算机可读存储介质
CN109791207A (zh) 用于确定到对象的距离的系统和方法
CN110687541A (zh) 一种距离测量系统及方法
CN111965658B (zh) 一种距离测量系统、方法及计算机可读存储介质
CN110780312B (zh) 一种可调距离测量系统及方法
CN111796295B (zh) 一种采集器、采集器的制造方法及距离测量系统
CN111796296A (zh) 一种距离测量方法、系统及计算机可读存储介质
US20220099814A1 (en) Power-efficient direct time of flight lidar
CN115343695A (zh) 采集器、测距系统以及制造采集器的方法
US20220283307A1 (en) Depth sensor calibration using internal reflections
CN218003729U (zh) 测距系统、发射器和采集器
US20230221439A1 (en) Addressing redundant memory for lidar pixels
JP2020134313A (ja) 光検出器
WO2023195911A1 (en) Calibration of depth map generating system
WO2024039590A2 (en) Lidar system with fly's eye lens arrays

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant