KR20210080584A - 디지털 픽셀 - Google Patents
디지털 픽셀 Download PDFInfo
- Publication number
- KR20210080584A KR20210080584A KR1020217018985A KR20217018985A KR20210080584A KR 20210080584 A KR20210080584 A KR 20210080584A KR 1020217018985 A KR1020217018985 A KR 1020217018985A KR 20217018985 A KR20217018985 A KR 20217018985A KR 20210080584 A KR20210080584 A KR 20210080584A
- Authority
- KR
- South Korea
- Prior art keywords
- detection
- circuit
- output
- window
- photons
- Prior art date
Links
- 238000001514 detection method Methods 0.000 claims abstract description 243
- 230000004044 response Effects 0.000 claims abstract description 56
- 238000005259 measurement Methods 0.000 claims abstract description 23
- 238000000034 method Methods 0.000 claims description 38
- 238000006243 chemical reaction Methods 0.000 claims description 16
- 238000003705 background correction Methods 0.000 claims description 5
- 240000007320 Pinus strobus Species 0.000 description 114
- 230000000875 corresponding effect Effects 0.000 description 20
- 230000002596 correlated effect Effects 0.000 description 14
- 238000010791 quenching Methods 0.000 description 11
- 238000010586 diagram Methods 0.000 description 9
- 230000001960 triggered effect Effects 0.000 description 9
- 238000003491 array Methods 0.000 description 8
- 238000003384 imaging method Methods 0.000 description 8
- 230000003287 optical effect Effects 0.000 description 8
- 238000005096 rolling process Methods 0.000 description 8
- 238000012935 Averaging Methods 0.000 description 7
- 230000035945 sensitivity Effects 0.000 description 6
- 238000013459 approach Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 238000005286 illumination Methods 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 238000012545 processing Methods 0.000 description 5
- 230000008901 benefit Effects 0.000 description 4
- 230000005855 radiation Effects 0.000 description 4
- 230000002441 reversible effect Effects 0.000 description 3
- 239000003990 capacitor Substances 0.000 description 2
- 230000015556 catabolic process Effects 0.000 description 2
- 239000002800 charge carrier Substances 0.000 description 2
- 238000013480 data collection Methods 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000004907 flux Effects 0.000 description 2
- 230000010354 integration Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 239000000758 substrate Substances 0.000 description 2
- 230000002123 temporal effect Effects 0.000 description 2
- 238000009825 accumulation Methods 0.000 description 1
- 239000006117 anti-reflective coating Substances 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000001186 cumulative effect Effects 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000007599 discharging Methods 0.000 description 1
- 230000005684 electric field Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000000977 initiatory effect Effects 0.000 description 1
- 238000002347 injection Methods 0.000 description 1
- 239000007924 injection Substances 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000035939 shock Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 238000003860 storage Methods 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
- G01S17/06—Systems determining position data of a target
- G01S17/08—Systems determining position data of a target for measuring distance only
- G01S17/10—Systems determining position data of a target for measuring distance only using transmission of interrupted, pulse-modulated waves
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/483—Details of pulse systems
- G01S7/486—Receivers
- G01S7/4865—Time delay measurement, e.g. time-of-flight measurement, time of arrival measurement or determining the exact position of a peak
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
- G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/483—Details of pulse systems
- G01S7/486—Receivers
- G01S7/4861—Circuits for detection, sampling, integration or read-out
- G01S7/4863—Detector arrays, e.g. charge-transfer gates
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/497—Means for monitoring or calibrating
-
- G—PHYSICS
- G04—HOROLOGY
- G04F—TIME-INTERVAL MEASURING
- G04F10/00—Apparatus for measuring unknown time intervals by electric means
- G04F10/005—Time-to-digital converters [TDC]
-
- H—ELECTRICITY
- H01—ELECTRIC ELEMENTS
- H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
- H01L31/00—Semiconductor devices sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation; Processes or apparatus specially adapted for the manufacture or treatment thereof or of parts thereof; Details thereof
- H01L31/02—Details
- H01L31/02016—Circuit arrangements of general character for the devices
- H01L31/02019—Circuit arrangements of general character for the devices for devices characterised by at least one potential jump barrier or surface barrier
- H01L31/02027—Circuit arrangements of general character for the devices for devices characterised by at least one potential jump barrier or surface barrier for devices working in avalanche mode
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Remote Sensing (AREA)
- Computer Networks & Wireless Communication (AREA)
- Radar, Positioning & Navigation (AREA)
- Electromagnetism (AREA)
- Condensed Matter Physics & Semiconductors (AREA)
- Computer Hardware Design (AREA)
- Microelectronics & Electronic Packaging (AREA)
- Power Engineering (AREA)
- Optical Radar Systems And Details Thereof (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
Abstract
라이다(Light Detection And Ranging)(LIDAR) 측정 회로는 검출 윈도우 동안 입사되는 복수의 광자들에 응답하여 복수의 검출기 요소들로부터 출력되는 검출 신호들을 수신하고, 검출 신호들에 기초하여 검출 이벤트들을 식별하고, 검출 윈도우의 각각의 시간 간격들에서 식별된 검출 이벤트들의 각각의 수들의 합에 기초하여 복수의 광자들의 추정된 도달 시간을 계산하도록 구성되는 프로세서 회로를 포함한다. 프로세서 회로는 검출 이벤트 각각에 응답하여 증분되는 카운터 신호에 기초하여 각각의 시간 간격들에서 식별된 검출 이벤트들의 각각의 수들의 합과 각각의 시간 간격들에 대응하는 클록 신호를 출력하도록 구성되는 적어도 하나의 누산기 회로를 포함할 수 있다.
Description
우선권의 주장
본 출원은 2018년 11월 19일자로 미국 특허상표청에 출원된 "Digital Pixel"이라는 명칭의 미국 가특허 출원 제62/769,287호로부터 우선권의 이익을 주장하며, 그 개시내용은 본 명세서에 참조로 포함된다.
기술분야
본 발명은 일반적으로 이미지 센서들에 관한 것으로서, 구체적으로는 라이다(LIght Detection And Ranging)(LIDAR) 시스템들에서 이미징을 위한 이미지 센서들에 관한 것이다.
비행 시간(Time of flight)(ToF) 기반 이미징은 범위 찾기(range finding), 깊이 프로파일링, 및 3D 이미징(예를 들어 LIDAR, 본 명세서에서 라이다(lidar)라고도 지칭됨)을 포함하는 다수의 응용들에서 사용된다. 직접적인 비행 시간 측정은 방사선을 방출하는 것과 물체 또는 다른 타겟으로부터의 반사 후의 방사선을 감지하는 것 사이의 시간 길이를 직접 측정하는 것을 포함한다. 이로부터, 타겟까지의 거리가 결정될 수 있다.
일부 응용들에서, 반사된 방사선의 감지는 단일 광자 애벌란시 다이오드(SPAD)(Single Photon Avalanche Diode) 어레이와 같은 단일 광자 검출기들을 포함하는 광검출기들의 어레이를 이용하여 수행될 수 있다. 하나 이상의 광검출기들은 어레이의 검출기 픽셀을 정의할 수 있다. SPAD 어레이들은 높은 감도 및 타이밍 해상도를 요구할 수 있는 이미징 응용들에서 고체 상태 광검출기들로서 사용될 수 있다. SPAD는 예를 들어 원하는 펄스 폭을 갖는 스트로브 신호에 의해 또는 그에 응답하여 그의 항복 영역(breakdown region)을 넘어 바이어싱될 때 입사 광자들을 검출할 수 있는 반도체 접합(예컨대, p-n 접합)에 기초한다. 높은 역방향 바이어스 전압은, 디바이스의 공핍층에 도입된 단일 전하 캐리어가 충격 이온화를 통해 자체 유지할 수 있는 애벌란시(selt-sustaining avalanche)를 야기할 수 있도록 충분한 크기의 전기장을 생성한다. 애벌란시는 능동적으로(예를 들어, 바이어스 전압을 감소시킴으로써) 또는 수동적으로(예를 들어, 직렬 연결된 저항기 양단에 전압 강하를 사용함으로써) 퀀치 회로에 의해 퀀치되어, 디바이스가 추가 광자들을 검출하도록 "리셋"되게 할 수 있다. 개시 전하 캐리어는 고 필드 영역에 충돌하는 단일 입사 광자에 의해 광전기적으로 생성될 수 있다. 이것이 '단일 광자 애벌란시 다이오드'라는 명칭을 야기시키는 특징이다. 이 단일 광자 검출 동작 모드는 종종 '가이거 모드(Geiger mode)'라고 지칭된다.
SPAD들의 어레이에 입사하는 광자들을 카운트하기 위해 일부 ToF 픽셀 접근법들은 디지털 카운터 또는 아날로그 카운터를 사용하여 광자들의 검출 및 도달 시간들을 표시할 수 있고, 이는 타임 스탬핑이라고 지칭되기도 한다. 디지털 카운터는 구현 및 스케일링하기가 더 쉬울 수 있지만, 면적 면에서(예를 들어, 어레이의 물리적 크기에 관하여) 더 비쌀 수 있다. 아날로그 카운터들은 더 콤팩트할 수 있지만, 제한된 광자 카운팅 깊이(비트 깊이), 잡음, 및/또는 균일성 문제들을 겪을 수 있다.
입사 광자들을 타임 스탬프하기 위해, 일부 SPAD 어레이 기반 ToF 픽셀 접근법들은 시간 대 디지털 변환기(Time-to-Digital Converter)(TDC)를 사용해 왔다. TDC들은 단일 클록 사이클에 비해 타이밍 분해능을 증가시키기 위하여 비행 시간 이미징 응용들에서 이용될 수 있다. 이러한 디지털 접근법들의 일부 장점들은 TDC의 크기가 기술 노드에 따라 스케일링되는 경향이 있고 저장된 값이 누설(leakage)에 보다 강건할 수 있다는 것을 포함할 수 있다.
그러나, TDC 회로들은 단일 측정 사이클에서 하나의 이벤트만을 프로세싱할 수 있을 뿐이어서, SPAD들의 어레이에 대해 다수의 TDC들이 요구될 수 있다. TDC들은 또한 비교적 전력 소모적일 수 있어, 더 큰 어레이들을 구현하기 더 어렵게 한다. TDC들은 또한 비교적 많은 양의 데이터, 예를 들어 광자당 하나의 16-비트 타임스탬프를 생성할 수 있다. TDC에 연결된 단일 SPAD는 초당 수백만 개의 그러한 타임스탬프들을 생성할 수 있다. 따라서, 100,000 픽셀보다 큰 이미징 어레이는 이용 가능한 입출력 대역폭 또는 능력에 비해 실행 불가능하게 큰 데이터 레이트들을 생성할 수 있다.
데이터 레이트들은 히스토그램 타임스탬프에 의해 압축될 수 있지만; 이것은 전형적인 ToF LIDAR 시스템들에서 비효율적으로 이용될 수 있는 상당한 메모리 자원들을 수반할 수 있다. 예를 들어, (광자 도달 시간들의 각자의 부분범위들을 나타낼 수 있는) 히스토그램 빈들의 메모리 깊이는 전형적으로 피크에서의 최대 레이저 리턴들에 의해 설정되는 반면, 실제로는, 많은 또는 대부분의 히스토그램 빈들이 드물게 (예컨대, 배경 잡음에 의해서만) 점유될 것이다. 그에 부가하여, LIDAR 시스템의 전형적인 시간 범위(예컨대, 마이크로초들)를 전형적인 TDC 분해능 (예컨대, 50 내지 100ps)으로 커버하기에 충분한 히스토그램을 형성하기 위해 수천 개의 시간 빈들이 전형적으로 사용될 수 있다.
본 발명의 일부 실시예들에 따르면, LIDAR(Light Detection And Ranging) 측정 회로는 적어도 하나의 프로세서 회로를 포함한다. 적어도 하나의 프로세서 회로는, 검출 윈도우 동안 입사되는 복수의 광자에 응답하여 복수의 검출기 요소들로부터 출력된 검출 신호들을 수신하는 단계, 검출 신호들에 기초하여 검출 이벤트들을 식별하는 단계, 및 복수의 광자들의 추정된 도달 시간을 계산하는 단계를 포함하는 동작들을 수행하도록 구성된다. 복수의 광자들의 추정된 도달 시간은 검출 윈도우의 각각의 시간 간격들에서 식별된 검출 이벤트들의 각각의 수들의 합 또는 적분에 기초하여 계산된다.
일부 실시예들에서, 적어도 하나의 프로세서 회로는 누산기 회로를 포함할 수 있다. 누산기 회로는 검출 이벤트들 각각에 응답하여 증분되는 카운터 신호에 기초하여 그리고 각각의 시간 간격들에 대응하는 클록 신호에 기초하여, 각각의 시간 간격들에서 식별된 검출 이벤트들의 각각의 수의 합을 출력하도록 구성될 수 있다. 예를 들어, 누산기 회로는 각각의 시간 간격들에서의 클록 신호의 각각의 펄스들에 응답하여 검출 윈도우에 걸쳐 각각의 시간 간격들에서의 각각의 수의 검출 이벤트들을 적분하도록 구성된 시간 적분 회로를 정의할 수 있다.
일부 실시예들에서, 누산기 회로는 제1 누산기 회로일 수 있고, 적어도 하나의 프로세서 회로는 제2 누산기 회로를 포함할 수 있다. 제2 누산기 회로는, 카운터 신호에 기초하여, 검출 윈도우 동안 식별된 검출 이벤트들의 총 수를 나타내는 카운트 값을 출력하도록 구성될 수 있다. 예를 들어, 제2 누산기 회로는 검출 신호들에 기초하여 식별되는 검출 이벤트들의 전체 수를 합산하도록 구성되는 광자 카운터 회로를 정의할 수 있다.
일부 실시예들에서, 적어도 하나의 프로세서 회로는 상관 회로를 포함할 수 있다. 상관 회로는 서로에 대해 각각의 상관 시간들 내에 출력되는 검출 신호들의 각각의 서브세트들에 기초하여 검출 이벤트들 각각을 식별하도록 구성될 수 있으며, 이는 상관된 검출 신호들로 지칭될 수 있다. 상관 회로는 검출 이벤트들 각각의 식별에 응답하여 카운터 신호를 증분시키도록 구성될 수 있다.
일부 실시예들에서, 적어도 하나의 프로세서 회로는 병렬 카운터 회로를 포함할 수 있다. 병렬 카운터 회로는 각각의 서브세트들 각각의 검출 신호들의 수를 표시하는 신호를 출력하도록 구성될 수 있다. 상관 회로는 임계 수에 대한 각각의 서브세트들 각각의 검출 신호들의 수에 기초하여 검출 이벤트들의 식별을 수행하도록 구성될 수 있다.
일부 실시예들에서, 누산기 회로는 클록 신호의 각각의 펄스들에 응답하여 카운터 신호의 각각의 값들을 적분하도록 구성될 수 있다. 클록 신호의 각각의 펄스들의 주기는 각각의 시간 간격들에 대응할 수 있다.
일부 실시예들에서, 적어도 하나의 프로세서 회로는 클록 회로를 포함할 수 있다. 클록 회로는 검출 윈도우에 대응하는 스트로브 신호, 및 식별에 의해 표시된 검출 이벤트들 중 하나에 응답하여, 그리고 검출 윈도우의 시작과는 독립적으로, 클록 신호를 누산기 회로에 출력하도록 구성될 수 있다.
일부 실시예들에서, 적어도 하나의 프로세서 회로는 검출 윈도우의 각각의 시간 간격들에서 식별된 검출 이벤트들의 각각의 수들의 합과 검출 윈도우 동안 식별된 검출 이벤트들의 총 수를 표시하는 카운트 값의 비율에 기초하여 복수의 광자들의 추정된 도달 시간을 계산하도록 구성될 수 있다.
일부 실시예들에서, 검출 윈도우는 제1 검출 윈도우일 수 있고, 동작들은 제2 검출 윈도우 동안 입사되는 제2 광자들에 응답하여 복수의 검출기 요소들 중 하나 이상으로부터 출력되는 제2 검출 신호들을 수신하는 것을 추가로 포함할 수 있다. 적어도 하나의 프로세서 회로는 제2 검출 신호들에 기초하여 추정된 도달 시간의 배경 보정을 수행하도록 구성될 수 있다.
일부 실시예들에서, 검출 신호들은 검출 윈도우 동안 광자들의 각각의 도달 시간들을 나타낼 수 있고, 적어도 하나의 프로세서 회로는 각각의 도달 시간들의 시간 대 디지털 변환들에 독립적으로 복수의 광자들의 추정된 도달 시간을 계산하도록 구성될 수 있다.
본 발명의 일부 실시예들에 따르면, LIDAR(Light Detection And Ranging) 시스템은 검출기 어레이 및 적어도 하나의 프로세서 회로를 포함한다. 검출기 어레이는 검출 윈도우 동안 입사되는 복수의 광자들에 응답하여 검출 신호들을 출력하도록 구성되는 단일-광자 검출기 요소들을 포함한다. 적어도 하나의 프로세서 회로는 검출기 어레이로부터 출력된 검출 신호들을 수신하고, 검출 신호들에 기초하여 검출 이벤트들을 식별하고, 검출 윈도우의 각각의 시간 간격들에서 식별된 검출 이벤트들의 각각의 수들의 합에 기초하여 복수의 광자들의 추정된 도달 시간을 계산하도록 구성된다.
일부 실시예들에서, 적어도 하나의 프로세서 회로는 제1 누산기 회로 및 제2 누산기 회로를 포함할 수 있다. 각각의 시간 간격들에 대응하는 클록 신호의 각각의 펄스들에 응답하여, 제1 누산기 회로는 검출 이벤트들 각각에 응답하여 증분되는 카운터 신호의 각각의 값들을 적분함으로써 각각의 시간 간격들에서 식별된 검출 이벤트들의 각각의 수들의 합을 출력하도록 구성될 수 있다. 제2 누산기 회로는, 카운터 신호의 각각의 값들 중 하나에 기초하여, 검출 윈도우 동안 식별된 검출 이벤트들의 총 수를 표시하는 카운트 값을 출력하도록 구성될 수 있다. 적어도 하나의 프로세서 회로는 합 및 카운트 값의 비율에 기초하여 복수의 광자들의 추정된 도달 시간을 계산하도록 구성될 수 있다.
일부 실시예들에서, 적어도 하나의 프로세서 회로는 상관 회로 및 클록 회로를 더 포함할 수 있다. 상관 회로는 서로에 대해 각각의 상관 시간들 내에 출력되는 검출 신호들의 각각의 서브세트들에 기초하여 검출 이벤트들을 식별하도록 구성될 수 있고, 검출 이벤트들 각각에 응답하여 카운터 신호를 증분시키도록 구성될 수 있다. 클록 회로는 상관 회로에 의해 식별된 검출 이벤트들 중 하나 및 검출 윈도우에 대응하는 스트로브 신호에 응답하여 클록 신호를 출력하도록 구성될 수 있다.
일부 실시예들에서, 적어도 하나의 프로세서 회로는 병렬 카운터 회로를 추가로 포함할 수 있다. 병렬 카운터 회로는 각각의 서브세트들 각각의 검출 신호들의 수를 표시하는 신호를 출력하도록 구성될 수 있다. 상관 회로는 임계 수에 대한 각각의 서브세트들 각각의 검출 신호들의 수에 기초하여 검출 이벤트들을 식별하도록 구성될 수 있다.
일부 실시예들에서, 검출 신호들은 검출 윈도우 동안 광자들의 각각의 도달 시간들을 나타낼 수 있다. 적어도 하나의 프로세서 회로는 각각의 도달 시간들의 시간 대 디지털 변환들에 독립적으로 복수의 광자들의 추정된 도달 시간을 계산하도록 구성될 수 있다.
본 발명의 일부 실시예들에 따르면, LIDAR(Light Detection And Ranging) 측정 회로는, 검출 윈도우 동안 입사된 광자들의 각각의 도달 시간들을 나타내는 단일-광자 검출기 요소들로부터 출력된 검출 신호들을 수신하도록 구성된 적어도 하나의 프로세서 회로를 포함한다. 적어도 하나의 프로세서 회로는 각각의 도달 시간들의 시간 대 디지털 변환들에 독립적으로 광자들의 추정된 도달 시간을 계산하기 위하여, 검출 신호들에 기초하여 검출 윈도우의 각각의 시간 간격들에서 식별된 검출 이벤트들의 각각의 수를 합산하도록 구성된 하나 이상의 누산기 회로들을 포함한다.
일부 실시예들에서, 하나 이상의 누산기 회로들은 제1 누산기 회로 및 제2 누산기 회로를 포함할 수 있다. 제1 누산기 회로는, 각각의 시간 간격들에 대응하는 클록 신호의 각각의 펄스들에 응답하여, 검출 이벤트들 각각에 응답하여 증분되는 카운터 신호의 각각의 값들을 적분함으로써 합을 출력하도록 구성될 수 있다.
일부 실시예들에서, 하나 이상의 누산기 회로들을 제2 누산기 회로를 더 포함할 수 있다. 제2 누산기 회로는, 카운터 신호의 각각의 값들 중 하나에 기초하여, 검출 윈도우 동안 식별된 검출 이벤트들의 총 수를 표시하는 카운트 값을 출력하도록 구성될 수 있다. 적어도 하나의 프로세서 회로는 합 및 카운트 값의 비율에 기초하여 복수의 광자들의 추정된 도달 시간을 계산하도록 구성될 수 있다.
일부 실시예들에서, 적어도 하나의 프로세서 회로는 상관 회로 및 클록 회로를 더 포함할 수 있다. 상관 회로는 서로에 대해 각각의 상관 시간들 내에 출력되는 검출 신호들의 각각의 서브세트들에 기초하여 검출 이벤트들을 식별하도록 구성될 수 있고, 검출 이벤트들 각각에 응답하여 카운터 신호를 증분시키도록 구성될 수 있다. 클록 회로는 상관 회로에 의해 식별된 검출 이벤트들 중 하나 및 검출 윈도우에 대응하는 스트로브 신호에 응답하여 클록 신호를 출력하도록 구성될 수 있다.
일부 실시예들에서, 적어도 하나의 프로세서 회로는 병렬 카운터 회로를 추가로 포함할 수 있다. 병렬 카운터 회로는 각각의 서브세트들 각각의 검출 신호들의 수를 표시하는 신호를 출력하도록 구성될 수 있다. 상관 회로는 임계 수에 대한 각각의 서브세트들 각각의 검출 신호들의 수에 기초하여 검출 이벤트들을 식별하도록 구성될 수 있다.
일부 실시예들에 따른 다른 디바이스들 및/또는 방법들은 아래의 도면들 및 상세한 설명의 검토시에 이 분야의 기술자에게 명백해질 것이다. 위의 실시예들의 임의의 그리고 모든 조합들에 더하여, 모든 이러한 추가적인 실시예들이 이 기재 내에 포함되고, 발명의 범위 내에 있으며, 첨부된 청구항들에 의해 보호되는 것이 의도된다.
도 1a 및 도 1b는 본 발명의 일부 실시예들에 따른 라이다 응용들에서의 예시적인 ToF 측정 시스템들 및 관련 컴포넌트들을 도시한다.
도 2는 본 발명의 일부 실시예들에 따른 예시적인 CMM 픽셀 프로세서를 도시한다.
도 3은 도 2의 CMM 픽셀 프로세서의 컴포넌트들의 동작들을 예시하는 타이밍도이다.
도 4a 및 도 4b는 본 발명의 일부 실시예들에 따른 라이다 시스템들에서 사용될 수 있는 이미지 프레임들, 서브프레임들, 레이저 사이클들 및 시간 게이트들 사이의 관계들을 나타내는 도면들이다.
도 5는 본 발명의 일부 실시예들에 따른 예시적인 누산기/적분기 회로를 나타낸다.
도 6은 본 발명의 일부 실시예들에 따른 예시적인 병렬 카운터/합산기 회로를 도시한다.
도 7은 본 발명의 일부 실시예들에 따른 예시적인 게이트 링 발진기(GRO)를 나타낸다.
도 8은 본 발명의 일부 실시예들에 따른 CMM 픽셀 프로세서들에 의해 수행되는 동작들의 일례를 도시한다.
도 2는 본 발명의 일부 실시예들에 따른 예시적인 CMM 픽셀 프로세서를 도시한다.
도 3은 도 2의 CMM 픽셀 프로세서의 컴포넌트들의 동작들을 예시하는 타이밍도이다.
도 4a 및 도 4b는 본 발명의 일부 실시예들에 따른 라이다 시스템들에서 사용될 수 있는 이미지 프레임들, 서브프레임들, 레이저 사이클들 및 시간 게이트들 사이의 관계들을 나타내는 도면들이다.
도 5는 본 발명의 일부 실시예들에 따른 예시적인 누산기/적분기 회로를 나타낸다.
도 6은 본 발명의 일부 실시예들에 따른 예시적인 병렬 카운터/합산기 회로를 도시한다.
도 7은 본 발명의 일부 실시예들에 따른 예시적인 게이트 링 발진기(GRO)를 나타낸다.
도 8은 본 발명의 일부 실시예들에 따른 CMM 픽셀 프로세서들에 의해 수행되는 동작들의 일례를 도시한다.
본 발명의 일부 실시예들은, 본 명세서에서 "디지털 픽셀들" 또는 "CMM 픽셀들"이라고도 지칭되는, 질량 중심 방법(Center-of-Mass Method)(CMM) 기반의 직접 ToF 계산들을 위한 디지털 신호 프로세싱을 사용하는 광학 검출기 요소들(예를 들어 SPAD들과 같은 단일-광자 검출기들)의 어레이들에 관한 것이다. 본 명세서에 설명되는 바와 같은 CMM 픽셀들은 일부 실시예들에서 타겟에 대한 비행 시간 (및 따라서, 타겟의 거리)을 추정하는 데 사용될 수 있는, 서로에 대한 상관 시간 또는 윈도우에 걸쳐 신호 광자들의 TOA들(times-of-arrival)의 분포를 나타내는 질량 중심을 계산하도록 구성될 수 있다. 본원에 기술되는 바와 같은 CMM 픽셀들은 TDC의 사용 없이 (즉, 각자의 TOA들의 시간 대 디지털 변환들의 수행 없이) 입사 광자들을 카운트하도록 구성될 수 있고, 일부 종래의 접근법들보다 덜 계산 집약적이고 및/또는 전력 소모적일 수 있는 방식으로 픽셀 레벨에서 또는 "픽셀-내(in-pixel)"로(예컨대, 각각의 픽셀이 다른 픽셀들과 공유되지 않는 상관기, 카운터, 및/또는 시간 적분기 논리와 같은, 전용 회로들에 출력들을 제공함) 많은 타임 스탬프들을 적분할 수 있다.
도 1a 및 도 1b는 본 발명의 일부 실시예들에 따른 LIDAR 응용들에서의 예시적인 ToF 측정 시스템들(100a 및 100b) 및 관련 컴포넌트들을 예시한다. 도 1a에서 도시된 바와 같이, 시스템(100a)은 제어 회로(105), 타이밍 회로(106), 조명 소스(복수의 방출기 요소들 또는 방출기들(115e)을 포함하는 방출기 어레이(115)로서 예시됨), 및 복수의 검출기 요소들 또는 검출기들(110d)을 포함하는 검출기 어레이(110)를 포함한다. 각각의 검출기(110d)는 광검출기(예를 들어, 포토다이오드)를 나타낼 수 있고, 하나 이상의 검출기(110d)들은 검출기 어레이(110)의 각각의 검출기 픽셀을 정의할 수 있다. 방출기 어레이(115)의 하나 이상의 방출기(115e)들은 타이밍 생성기 또는 구동기 회로(116)에 의해 제어되는 시간 및 반복 레이트에서 방사선 펄스 또는 연속파 신호를(예를 들어, 확산기 또는 광학 필터(114)를 통해) 각각 방출하는 방출기 유닛들을 정의할 수 있다. 특정 실시예들에서, 방출기(115e)들은 (수직 공진 표면 발광 레이저(vertical cavity surface emitting laser)(VCSEL)들 및/또는 엣지-방출 레이저 등과 같은) LED 또는 레이저 등의 펄스 광원들일 수 있다.
일부 실시예들에서, 방출기 모듈 또는 회로는 방출기 요소들(115e)의 어레이(115), 하나 이상의 방출기 요소들에 결합된 광학 요소들(113, 114)(예를 들어, (마이크로렌즈들과 같은) 렌즈(들)(113) 및/또는 확산기들(114))의 대응하는 어레이, 및 구동기 회로(116)를 포함할 수 있다. 일부 실시예들에서, 방출기 어레이(115) 내의 방출기 요소들(115e) 각각은 각각의 구동기 회로(116)에 연결되고 그에 의해 제어된다. 다른 실시예들에서, 방출기 어레이(115) 내의 방출기 요소들(115e)(예를 들어, 서로 공간적으로 근접한 방출기 요소들(115e))의 각각의 그룹들은 동일한 구동기 회로(116)에 연결될 수 있다. 구동기 회로(116)는 방출기들(115e)로부터 출력되는 광학 방출 신호들의 펄스 반복 레이트, 타이밍 및 진폭을 제어하도록 구성된 하나 이상의 구동기(driver) 트랜지스터들을 포함할 수 있다.
일부 실시예들에서, 검출기 모듈 또는 회로는 검출기들(110d)의 어레이(110), 수신기 광학계들(112)(예를 들어, 어레이(110)의 시야(190)를 통해 빛을 수집하는 하나 이상의 렌즈들), 및 검출기 어레이(110)의 전부 또는 부분들에 전력을 공급하고, 인에이블하고, 디스에이블하고 타이밍 신호들을 거기에 제공하도록 구성되는 (타이밍 회로(106)를 포함하는) 수신기 전자기기들을 포함한다. 수신기 광학계들(112)은 라이다 시스템에 의해 이미징될 수 있는 가장 큰 시야로부터 빛을 수집하도록 구성되는 매크로 렌즈, '신호' 빛의 충분히 높은 부분(즉, 방출기들로부터 출력되는 광학 신호들의 파장들에 대응하는 파장들의 빛)을 통과시키거나 그것의 통과를 허용하지만 비-신호 또는 '배경' 광(즉, 방출기들로부터 출력되는 광학 신호들과는 다른 파장들의 빛)의 통과를 실질적으로 거부하거나 방지하는 스펙트럼 필터(111), 검출기 픽셀들의 수집 효율을 개선하는 마이크로렌즈들, 및/또는 미광의 검출을 감소시키거나 방지하기 위한 반사 방지 코팅을 포함할 수 있다. 검출기 어레이(110)는 비행 시간 센서들(예를 들어, 가이거 모드 애벌란시 다이오드들(예를 들어, SPAD들)과 같은 단일 광자 검출기들의 어레이)을 포함한다.
타이밍 회로(106)는 검출기 어레이(110)의 타이밍 및 이득/감도를 제어할 수 있다. 검출기 어레이(110)에 대한 타이밍 회로(106)는 일부 실시예들에서 방출기 어레이(115)의 구동기 회로(116)에 위상-고정(phase-locked)될 수 있다. 타이밍 회로(106)는 검출기 픽셀을 정의하는 검출기들(110d)의 그룹들 또는 검출기들(110d) 각각의 감도를 또한 제어할 수 있다. 예를 들어, 검출기 픽셀이 하나 이상의 역방향 바이어스된 가이거 모드 포토다이오드들(110d)(예를 들어, SPAD들)을 포함할 때, 검출기 픽셀의 각각의 포토다이오드(110d)에 인가되는 역방향 바이어스는(예를 들어, 본 명세서에 설명된 전극들(107)의 전압차에 기초하여) 조정될 수 있고, 그에 의해 오버 바이어스가 높을수록 감도가 높아진다. 검출기들(110d)은 적어도 나노초 단위의 정밀도로 인에이블 또는 비인에이블될 수 있고, 개별적으로 어드레싱 가능하고, 그룹별로 어드레싱 가능하고, 및/또는 전역적으로 어드레싱 가능하다.
도 1a에 도시된 바와 같이, 방출기 어레이(115)의 방출기들(115e) 중 하나 이상으로부터 출력된 광 방출은 하나 이상의 타겟(150)에 충돌하여 그에 의해 반사되고, 반사된 빛은 검출기 어레이(110)의 검출기들(110d) 중 하나 이상에 의해 에코 신호로서 검출되고, (본 명세서에서 검출 신호라고도 지칭되는) 전기 신호 표현으로 변환되고,(예를 들어, 비행 시간에 기초하여) 시야(190) 내의 장면의 3-D 포인트 클라우드 표현(170)을 정의하기 위해 프로세싱된다. 본원에 기술되는 바와 같은 본 발명의 실시예들에 따른 LIDAR 시스템들의 동작들은, 도 1a의 제어 회로(105) 또는 도 1b의 디지털 신호 프로세서(DSP)(105')와 같은 하나 이상의 프로세서들 또는 제어기들에 의해 수행될 수 있다.
도 1b는 본 명세서에 설명된 일부 실시예들에 따른 LIDAR 응용에서의 ToF 측정 시스템 또는 회로(100b)의 컴포넌트들을 더 도시한다. 회로(100b)는 프로세서 회로(DSP(105')로 도시됨), 조명원의 타이밍을 제어하는 타이밍 생성기(116')(레이저 방출기 어레이(115)를 참조하여 예로서 도시됨), 및 단일 광자 검출기들의 어레이(단일 광자 검출기 어레이(110)를 참조하여 예로서 도시됨)를 포함할 수 있다. DSP(105') 및 타이밍 생성기(116')는 도 1a의 제어 회로(105) 및 구동기 회로(116)의 동작들 중 일부를 구현할 수 있다. 레이저 방출기 어레이(115)는 타이밍 생성기(116')에 의해 제어되는 시간에 레이저 펄스(130)를 방출한다. 레이저 펄스(130)로부터의 빛(135)은 타겟(예로서 객체(150)로서 예시됨)으로부터 다시 반사되고, 단일 광자 검출기 어레이(110)에 의해 감지된다. DSP(105')는 레이저 펄스(130) 및 그것의 반사된 신호(135)의 ToF를, 방출기 어레이(115)로부터 타겟(150)으로 그리고 다시 단일 광자 검출기 어레이(110)까지의 이동에 걸쳐 측정하는 CMM 픽셀 프로세서를 구현한다.
DSP(105')는 어레이(110)의 단일 광자 검출기들의 동작을 제어하고 그로부터 출력되는 검출 신호들을 프로세싱하기 위해 필요한 타이밍 신호들(예컨대 퀀칭 및 게이팅 또는 스트로브 신호들)을 제공하는 논리 회로들을 포함할 수 있다. 예를 들어, 어레이(110)의 단일 광자 검출기들은 스트로브 신호들에 의해 정의되는 짧은 게이팅 간격들 또는 스트로브 윈도우들 동안에만 입사 광자들에 응답하여 검출 신호들을 생성할 수 있다. 스트로브 윈도우들 외부에 입사하는 광자들은 단일 광자 검출기들의 출력들에 영향을 미치지 않는다.
DSP(105')에 의해 구현되는 CMM 픽셀 프로세서는 수천 개의 레이저 펄스(130)들에 걸쳐 집성되는 평균 ToF 및 반사광(135)에서의 광자 리턴들의 추정치를 계산하도록 구성된다. DSP(105')는 본 명세서에서 누산기들이라고도 지칭되는, 본 명세서에 설명되는 실시예들에 따라 하나 이상의 누산기 회로들을 구현함으로써 반사광(135)에서의 입사 광자들을 카운트하도록 구성될 수 있다. 누산기(들)는 단일 광자 검출기 어레이(110) 상의 입사 광자들에 응답하여 단일 광자 검출기 어레이(110)로부터 수신된 입력들을 합산하도록 구성될 수 있다. 예를 들어, 누산기(들)는 (시간 대 디지털 변환을 필요로 할 수 있는) 레이저 사이클 또는 검출 윈도우에 걸친 검출 이벤트들의 시기/시간들(예를 들어, SPAD들(110d)이 트리거된 시간들)에 기초하는 것이 아니라, 레이저 사이클(또는 본 명세서에서 검출 윈도우라고 지칭되는 그 일부)에 걸쳐 식별된 검출 이벤트들이 얼마나 많은지/몇 개인지(예를 들어, 트리거된 SPAD들(110)의 수)에 기초하여, 레이저 펄스(130)의 레이저 사이클에 걸쳐 검출된 입사 광자들의 "롤링(rolling)" 질량 중심(CM)을 계산하도록 구성될 수 있다. 검출 윈도우들의 타이밍들 및 지속기간들은 본 명세서에 설명된 바와 같이 스트로브 신호(스트로브<i>)에 의해 제어될 수 있고, 따라서 스트로브 윈도우들이라고도 지칭될 수 있다. 따라서, 본 발명의 실시예들은 시간 대 디지털 변환 동작들의 수행 없이, 예를 들어 TDC의 사용 없이, ToF를 추정할 수 있다.
DSP(105')는 아날로그 구현들에 비해 이점들을 제공할 수 있는 본 명세서에 설명된 논리 회로들의 디지털 구현들을 제공할 수 있다. 특히, 아날로그 구현들은 반도체 프로세스들에서의 크기 및/또는 온도 의존성에 대해 어려움들을 부과할 수 있는 물리적 컴포넌트들(예를 들어, 커패시터들, 저항기들)의 특성들에 의해 제한될 수 있다. 예를 들어, 저항들과 같은 온도 의존 컴포넌트들은 프로세스 전압 및 온도(Process Voltage and Temperature)(PVT) 의존성들에 대한 교정 및 보상에 대해 제한들을 부과할 수 있다. 아날로그 구현들은 또한 커패시터들 내의 저장된 전하의 누설 및/또는 전기적 크로스토크와 같은 문제들에 직면할 수 있다. DSP(105')와 같은 디지털 구현들은 아날로그 구현들이 직면할 수 있는 이들 및/또는 다른 제한들과 독립적으로 동작할 수 있다. DSP(105')(또는 다른 디지털 구현)는 또한 어레이(110)가 어레이(110)의 영역 또는 풋프린트(footprint) 내에 맞도록 크기가 조정되어 있는 DSP(105') (및 다른 관련 회로들)의 상부에 "적층"된 3차원 적층 구현들을 허용할 만큼 충분히 작을 수 있다.
도 2는 본 발명의 일부 실시예들에 따른 예시적인 CMM 픽셀 프로세서 회로(DSP(105')에 의해 구현될 수 있음)를 도시한다. CMM 픽셀 프로세서는 4x4 SPAD 어레이(110)로 구현된 16개의 SPAD들로부터 입력들을 수신하는 SPAD 픽셀 프로세서(205)로서 예시되지만, 더 작거나, 더 크거나, 혹은 다른 검출기 어레이들(예를 들어, 다른 단일 광자 검출기들의 어레이들)이 사용될 수 있다. 도 3은 도 2의 CMM 픽셀 프로세서(205)의 컴포넌트들의 동작들을 예시하는 타이밍도이다. 도 4는 일부 라이다 시스템들에서 사용될 수 있는 이미지 프레임들, 서브프레임들, 레이저 사이클들, 및 시간 게이트들(본 명세서에서 스트로브 윈도우들 또는 검출 윈도우들로도 지칭됨) 사이의 관계들을 예시하는 도면이다. 시간 게이트들/스트로브 윈도우들은 (레이저 사이클 내의 레이저 펄스들 사이의 시간의 각각의 부분들에 대응하는) 시간의 지속기간들을 정의하고, 그러한 지속기간들 동안 어레이(110)의 하나 이상의 SPAD는 입사 광자들을 검출하도록 인에이블된다. 따라서, 스트로브 윈도우들 또는 검출 윈도우들은 각각의 측정 간격들을 정의할 수 있고, 이는 본 명세서에 설명된 바와 같이 각각의 시간 간격들 또는 타임스텝들 k로 더 분할될 수 있다. 수치 값들은 제한이 아니라 예로서 설명된다.
도 2에 도시된 바와 같이, 본 명세서에 기술되는 일부 실시예들은, 시간 대 디지털 변환 동작들(및 연관된 계산 오버헤드 및 전력 소비)의 수행 없이, 검출 윈도우들 또는 스트로브 윈도우들(스트로브 신호들인 스트로브<i>에 의해 정의됨)이 시간 지속기간의 "시간 슬라이스들"에 대응하는(예를 들어, 레이저 사이클 또는 레이저 펄스들 사이의 시간의 주기의 각각의 부분들에 대응하는) 누산기-기반 질량 중심 계산을 포함할 수 있고, 여기서 i는 스트로브 윈도우들이 순서화되는 레이저 사이클에서의 i번째 스트로브 윈도우를 지칭한다. 예를 들어, 일부 실시예들에서, 스트로브 윈도우들은 시간이 증가함에 따라 순차적으로 순서화될 수 있다(예를 들어, 각각의 순차적 스트로브 윈도우는 레이저 펄스들 사이의 시간의 후속 지속기간을 나타냄). 그러나, 스트로브 윈도우들이 시간-순차적 순서로 있을 필요는 없다는 것; 즉, 레이저 펄스들 사이의 시간의 초기 부분에 대응하는 스트로브 윈도우가 스트로브 윈도우들의 시퀀스에서의 제1 스트로브 윈도우일 필요는 없다는 것이 이해될 것이다.
스트로브<i>의 많은 반복들은 스트로브<i>에 대한 서브프레임을 정의하기 위해(예를 들어, 픽셀에서) 집성되고, 서브프레임들 1 내지 i는 이미지 프레임을 정의한다. 스트로브<i>에 대한 각각의 서브프레임은 레이저 사이클의 주파수에 의해 정의되는 전체 이미징 거리 범위의 각각의 거리 서브 범위에 대응할 수 있다. 스트로브 윈도우들은 이하에서 타임스텝들 k를 참조하여 지칭될 수 있고, 여기서 k는 클록(일부 예들에서 클록 신호 FastClk를 참조하여 본 명세서에서 지칭됨)에 의해 샘플링되는 스트로브/검출 윈도우에서의 k번째 시간 간격을 나타낸다. 클록은 스트로브 윈도우 지속기간보다 짧은 소정 계수의 주기(예를 들어, 본 명세서에 설명되는 일부 예들에서보다 10배또는 20배 더 짧음)를 가질 수 있다.
도 2를 참조하면, 누산기 회로들(201, 202)(본 명세서에서 누산기들로도 지칭됨)은 검출 윈도우 동안의 또는 검출 윈도우에 걸친 입사 광자들의 검출에 응답하여 단일 광자 검출기 어레이(110)(SPAD 어레이를 참조하여 설명됨)로부터 출력되는 검출 신호(들)에 의해 표시되는 검출 이벤트들(예를 들어, 일부 실시예들에서 시간 윈도우 내에서 상관되는 단일 광자 검출 이벤트들)을 누산하고 적분하도록 동작가능한 프로세서 또는 제어 회로(205)의 레지스터들일 수 있다. 도 2의 예는 제1 및 제2 누산기들(201 및 202)을 포함하고, 여기서 제1 누산기(201)는 스트로브 윈도우에 걸친 각각의 시간들에서 검출기 어레이(110) 상에 입사되는 광자들의 검출을 추적하도록 구성되는 시간 또는 시간적 누산기 또는 시간 적분기로서 기능하고, 제2 누산기(202)는 스트로브 윈도우 동안 검출된 광자들의 총 수에 대응하는 광자 카운트를 수집하기 위한 광자 카운터로서 기능한다. 보다 구체적으로, 제1 누산기(201)는 검출 윈도우의 각각의 시간 간격 또는 시간 빈(즉, 타임스텝 k)으로 식별된 검출 이벤트들의 수를 검출된 광자들의 각각의 도달 시간들의 표현으로서 적분하도록 구성되고, 제2 누산기(202)는 검출 윈도우에 걸쳐 식별된 검출 이벤트들의 총 수를 카운트하도록 구성된 광자 카운터로서 기능한다.
제1 및 제2 누산기 회로들(201 및 202)은(예를 들어, 검출기 픽셀 당) 각각의 메모리 어레이들을 제공하며, 여기서 제1 메모리 어레이는 각각의 시간 빈 또는 타임스텝 k 및 검출 이벤트들의 수(예를 들어, 입사 광자들에 응답하여 신호들을 출력하는 (또는 '점화되는(fired)') SPAD들의 수(
))의 누적된 곱의 히스토그램을 효과적으로 저장하고, 제2 메모리 어레이는 검출 이벤트들의 누적된 카운트들의 수를 저장한다. 시간 간격 당 검출 이벤트들의 적분된 수와 검출 윈도우 당 카운트들의 수(즉, 시간 간격 당 검출 이벤트들의 평균 수)의 비를 사용하여 질량 중심을 계산한다. 데이터 수집이 항상 레이저가 발사되고 나서 미리 설정된 시간 후에 시작할 수 있고 항상 미리 설정된 시간 후에 종료할 수 있는 일부 종래의 구성들과 대조적으로, 본 명세서에 설명된 것과 같은 스트로브 구성들에서 히스토그램은 스트로브 윈도우(예를 들어, 서브프레임-가변-스트로브)의 시작으로부터 종료까지만 수집될 수 있다. 본 명세서에서 스트로브 구성들을 참조하여 주로 설명되지만, 본 명세서에서 설명되는 실시예들은 레이저 사이클들 당 단일 스트로브(즉, 레이저 펄스들 사이의 시간이 단일 스트로브 윈도우를 정의하는 경우) 구성에서도 마찬가지로 적용될 수 있고, 일부 실시예들에서 데이터 수집은 초기 검출 이벤트에 의해 개시된다(따라서 스트로브 윈도우의 시작에 비해 지연됨).
검출 이벤트들은 검출기 어레이(110)로부터 출력되는 하나 이상의 검출 신호들에 기초하여 프로세서 회로(205)에 의해 식별될 수 있다. 일부 실시예들에서, 누산기(들)(201, 202)는 상관기(203)의 출력에 응답하여 동작가능할 수 있다. 상관기(203)는 본원에서 상관 윈도우 또는 상관 시간으로 지칭되는, 서로에 대해 미리 정의된 시간 윈도우 내에서 2개 이상의 검출기들로부터 출력되는 검출 신호들에 응답하여 검출 이벤트들을 식별하는 출력 신호들을 제공하며, 여기서 검출 신호들은 상관 윈도우 내의 입사 광자들의 도달 시간들을 나타낸다. 방출기 어레이(115)로부터 출력된 광학 신호들에 대응하는 광자들(신호 광자들이라고도 함)은 주변 광에 대응하는 광자들(배경 광자들이라고도 함)에 비해 시간적으로 비교적 가깝게 도달할 수 있기 때문에, 상관기(203)는 서로에 관한 상관 시간 내의 각각의 도달 시간들에 기초하여 신호 광자들을 구별하도록 구성된다. 그러한 상관기들은 예를 들어 본 명세서에 참조로 포함되는 "Methods and Systems for High-Resolution Long Range Flash Lidar"라는 명칭의 미국 특허 출원 공개 제2019/0250257호에 설명되어 있다. 즉, 일부 실시예들에서, 본 명세서에 기술된 픽셀 내 상관은, 이하에서 더 상세히 기술되는 롤링 CMM 추정 방법을 사용하는, 상관기에 의해 정의되는 상관 윈도우를 만족하는 검출 이벤트들의 분포의 질량 중심의 계산을 포함할 수 있다.
또한, 프로세서 회로(205)는 배경 감산 계산과 같은 배경 보정 동작들을 수행하도록 구성될 수 있다. 이러한 배경 보정 계산들은 그렇지 않았으면 질량 중심을 스트로브 윈도우의 중심을 향해 밀어낼 수 있는, 예를 들어, 태양광 또는 다른 주변 광 조건들로부터의 배경 광자들을 고려함으로써, 검출 이벤트들에 의해 표시되는 광의 강도들을 보정할 수 있다. 일부 실시예들에서, 배경 보정된 TOA(
)는 본 명세서에 설명된 바와 같은 롤링 CMM 추정 방법들을 사용하여 계산될 수 있다:
여기서 
는 검출 윈도우의 각각의 시간 간격들에서 식별된 검출 이벤트들의 각각의 수들의 합과 검출 윈도우 동안 식별된 검출 이벤트들의 총 수를 표시하는 카운트 값의 비율에 기초한 복수의 광자들의 추정된 도달 시간이고; 
는 각각의 검출 윈도우의 끝에서의 카운트 값이고; 
는 현재 검출 윈도우의 시간 대역의 중간의 알려진 시간이고; 
는 수동 검출 윈도우 동안의 배경 광자 카운트 값 또는 다른 수동 검출 윈도우에 기초한 외삽된 카운트 수이고; 
는 각각의 검출 윈도우 동안의 카운트 값과 동일한 픽셀에 대한 마지막 수동 검출 윈도우 카운터의 카운트 값 사이의 계산된 차이이고, 이 값은 메모리 또는 (다수의 서브프레임들에 대해) 메모리 어레이에 저장될 수 있고 동일한 검출 윈도우의 수동 출력이 취득될 때마다 대체될 수 있다. 배경 광자 카운트들(n bg ) 또는 강도 레벨은 예를 들어 레이저 조명이 없는 프레임을 검출함으로써 또는 대안적으로 위에서 논의된 수동 검출 윈도우를 제공할 수 있는 리턴 또는 에코 신호들이 없는 서브-프레임을 검출함으로써 추정될 수도 있다. 배경 보정은 질량 중심을 계산할 시에 보정을 적용하기 위해 이 배경 정보를 이용할 수 있고, 온칩으로, 외부 FPGA 또는 ASIC에서, 및/또는 그에 의해 실행되는 소프트웨어에서 수행될 수 있다. 배경 감산을 위한 이러한 동작들은 예를 들어 미국 특허 출원 공개 제2019/0250257호에 더 상세히 기술되어 있다.
프로세서 회로(205)는 또한 퀀치(quench) 및 재충전(recharge) 동작들을 수행하도록 구성된 회로들(206)을 포함한다. 만약 다수의 광자들의 버스트(burst)가 SPAD에 실질적으로 동시에 도달하면, 그것은 단일 광자와 동일한 효과, 즉, SPAD를 방전하는 효과를 갖는다. SPAD가 선두 광자에 의해 방전되고 나면, 그것은 퀀치 및 재충전 회로들(206)에 의해 퀀치 및 재충전될 때까지 버스트에서 모든 다른 광자들에 대해 블라인드된다(도 4a에서 "데드 타임"으로 도시됨). 일부 실시예들에서, 제1 스트로브 윈도우에서가 아니라면 레이저가 이미 발사되었을 것이기 때문에, 퀀치 및 재충전 회로들(206)은 스트로브 윈도우의 시작 전에 SPAD들(110)을 재충전하도록 구성된다. 검출 윈도우 (및 광자들의 수집) 전에 재충전하는 것은 SPAD들이 스트로브 윈도우 전체에 걸쳐 완전히 충전되고 검출 확률이 비교적 일정한 것을 보장할 수 있다. 각각의 단일 광자 검출기에 대한 능동 및/또는 수동 퀀치 및/또는 재충전 회로들이 또한 예를 들어 미국 특허 출원 공개 제2019/0250257호에 기술되어 있다.
일부 실시예들에서, 누산기(들)(201, 202)는 병렬 카운터(204), 상관기(203) 및 상관 카운터(203c), 및/또는 게이팅된 클록(207)으로부터의 출력에 응답하여 동작가능할 수 있다. 병렬 카운터(204)는 심지어 동시 검출 조건들 하에서도 어레이의 다수의 SPAD들에서의 광자들의 검출을 나타내는 출력 신호 C<4:0>를 제공하도록 구성된다. 상관기(203)는 미리 결정된 또는 조정가능한 상관 윈도우 내에 도달하는 2개 이상의 "상관된" 광자들의 검출에 응답해서만 검출 이벤트를 식별하는 출력 신호 Corr를 생성하도록 구성된다. 상관 카운터(203c)는 각각의 검출 이벤트에 응답하여 카운터 신호 CC<3:0>를 증분하여 출력하도록 구성된다. 게이팅된 클록(207)은 클록 소스 신호 FastClk를 시간 누산기(202)에 제공하기 위해 신호 스트로브B<i>에 기초하여 제어되도록 구성된다. 클록 소스 신호 FastClk는 타임스텝들 k의 수에 대응하는 주파수에서 카운터 신호 CC<3:0>의 샘플링을 제공한다.
도 2의 SPAD 픽셀 프로세서(205)의 일부 컴포넌트들의 동작들이 도 3의 타이밍도(300)를 참조하여 이제 설명될 것이다. 본 명세서에 설명된 바와 같은 도달 시간을 나타내는 시간 측정은 측정된 시간이 조명 펄스의 비행 시간(time of flight)이 되도록, 조명 펄스(레이저 의 펄스들 '레이저'를 참조하여 예시됨)의 방출에 의해 시작될 수 있고, 입사 광자들의 검출(그 중 하나 이상은 본 명세서에서 검출 이벤트들로 지칭될 수 있음)에 응답하여 SPAD로부터 출력되는 검출 신호에 의해 종료될 수 있다.
도 3의 예에서, SPAD들은 레이저 사이클의 시작에서 (즉, 도 3에 도시된 '레이저'의 제1 펄스 직후의 신호 스트로브<i>의 제1 스트로브 윈도우에서) 스트로브 윈도우 동안 타이밍 또는 게이팅 회로들에 의해 인에이블되지만; 유사한 동작들이 레이저 사이클의 상이한 부분들에 대응하는 다른 스트로브 윈도우들에 대해 수행될 수 있다는 것이 이해될 것이다. 신호 스트로브<i>의 예시된 스트로브 윈도우는 다음 스트로브 윈도우(예를 들어, 스트로브<i+1>)로 이동하기 전에 반복될 수 있다(예를 들어, 신호 '레이저'의 수천 사이클 동안). 즉, 스트로브<i>에 의해 대표되는 각각의 스트로브 윈도우는 레이저 펄스들 또는 신호 '레이저' 사이의 시간의 일부를 표현하고, 신호 레이저의 수천 사이클들은 신호 스트로브<i>의 각각의 스트로브 윈도우에 할당될 수 있다(여기서 레이저 사이클은 n개의 부분들로 분할될 수 있으며, i=1 내지 n). 도 2의 회로(206)는 타이밍 또는 게이팅 회로들, 능동 퀀치 회로들, 및 능동 재충전 회로들을 구현하는 것으로 예시되어 있다.
도 3을 참조하면, 타이밍도(300)는 (도 2의 어레이(110) 내의 16개의 SPAD 중) 4개의 SPAD에 의한 각각의 광자들의 검출에 응답하여 출력되는 예시적인 검출 신호들 SPAD<3:0>을 도시한다. SPAD 능동 퀀치, 능동 재충전 회로(206)의 4개의 출력 신호들 AQ<3:0>은 (예를 들어, 상관기(203)에 의해 결정되는) 상관 시간 또는 윈도우에 기초하여 제어된 기간의 펄스들을 포함한다(여기서 기간은 외부 전압 제어에 의해 조정가능할 수 있음). 병렬 카운터(204)는 AQ<3:0> 신호들을 출력 신호들 C<2:0>로서 비동기적으로 합산하여, 여러 SPAD들(110)이 검출 신호 펄스들을 실질적으로 동시에 또는 그렇지 않으면 상관 윈도우 내에서 출력할 때 (이 예에서는 2 또는 4의) 최대 값들에 도달한다.
상관기(203)는 병렬 카운터(204)의 출력 C<2:0>이 2의 임계값 이상일 때, 즉, 다수의 SPAD들이 상관 윈도우 내에서 광자들을 검출할 때 상관 신호 Corr을 출력하여, 검출 이벤트를 표시한다. 따라서 상관 신호 Corr의 각각의 펄스는 각자의 검출 이벤트의 식별을 나타낸다. 펄스 신호 Corr의 초기 펄스는 게이팅된 클록(207)이(예를 들어, 스트로브 윈도우의 시작에 대한 지연에서) 클록 소스 신호 FastClk를 출력할 수 있게 한다. 클록 신호 FastClk는 스트로브 윈도우의 끝까지 출력되고(예를 들어, 스트로브 신호 스트로브<i>의 역으로서 예시되는 신호 스트로브B<i>에 응답하여 정지됨), 시간 누산기(201)에 대한 클록 신호를 제공한다. 클록 신호 FastClk의 펄스들의 주파수 또는 주기는 각각의 스트로브 또는 검출 윈도우에서의 시간 간격들 k의 수에 대응할 수 있지만(예를 들어, FastClk의 주기는 스트로브 윈도우의 지속기간을 시간 간격들의 수 k로 나눈 것과 동일할 수 있고, FastClk의 주파수는 주기의 역수임), 클록 신호 FastClk는 스트로브 또는 검출 윈도우의 시작 시간과 독립적으로 인에이블된다.
상관 카운터(203c)(예로서 4비트 카운터로서 도시됨)도 펄스 신호 Corr의 펄스들에 응답하여 동작하고, 카운터 신호들 CC <3:0>을 누산기들(201, 202)에 출력한다. 카운터 신호 CC<3:0>는 스트로브 윈도우 동안 시간에 있어서 상관되는 검출 신호들(본 명세서에서 상관된 검출 이벤트들로도 지칭됨)의 실행 총계(running total)를 제공한다. 특히, 상관 카운터(203c)는 신호 스트로브<i>의 스트로브 윈도우 동안 식별된 상관된 검출 이벤트들의 수를 표시하기 위해 상관기(203)의 출력 Corr에 의해 표시되는 각각의 검출 이벤트에 응답하여 카운터 신호 CC<3:0>를 증분하고 출력하도록 구성된다. 상관 카운터(203c) 및 상관기(203)는 본 명세서에서 총괄적으로 상관 회로로 지칭될 수 있다.
시간 누산기(201)(예로서 27-비트 누산기로서 예시됨)는 클록 신호 FastClk의 각자의 펄스들에 응답하여 상관 카운터(203c)로부터 출력되는 카운터 신호 CC<3:0>의 각자의 값들을 적분하여 판독 회로(209)에 대한 출력 신호 ST<26:0>를 생성함으로써 본원에 기술된 바와 같은 롤링 CMM 추정을 수행한다. 클록 신호 FastClk의 각각의 클록 펄스가 검출 윈도우의 각각의 시간 간격에 대응하기 때문에, 시간 누산기(201)로부터의 출력 신호 ST<26:0>는 따라서 검출 윈도우의 각각의 시간 간격들에서 식별된 상관된 검출 이벤트들의 각각의 수의 합을 나타낸다.
스트로브 윈도우의 끝에서, 상관된 검출 이벤트들 CC<3:0>의 총 수는 또한 신호 S<17:0>를 판독 회로(209)에 출력하는 광자 카운터(202)(예로서 18 비트 누산기로서 도시됨)에 의해 합산된다. 신호 S<17:0>는 검출 윈도우의 끝까지 식별된 상관된 검출 이벤트의 총 수를 나타내는 카운트 값을 제공한다. 판독 회로(209)는(예를 들어, 각각의 서브프레임의 끝에서) 데이터 신호 '데이터<44:0>'를 출력한다. 도 4a 및 도 4b를 참조하여 이하에서 논의되는 바와 같이, 서브프레임은 다수의(예를 들어, 수천 개의) 레이저 사이클들 동안 반복되는 각각의 스트로브 윈도우 스트로브 <i>에 대해 수집된 데이터를 포함할 수 있다. 누산기들(201 및/또는 202)은 서브프레임의 끝에서 신호 FrameRst에 의해 리셋될 수 있다. 프로세서 회로(205)는 판독 회로로부터 출력된 데이터 신호 '데이터<44:0>'에 기초하여, 특히, 시간 누산기(201)로부터 출력된 합과 검출 윈도우 내의 시간 간격들의 총 수만큼 오프셋된, 광자 카운터(202)로부터 출력된 카운트 값의 비율에 기초하여 질량 중심을 계산하도록 구성된다. 본 명세서에서 논의되는 수치 값들(예를 들어, 비트 값들, 신호 출력들의 수 등)은 단지 예로서 제공되며, 본 명세서에서 설명되는 실시예들을 결코 제한하지 않는다.
도 4a는 일부 라이다 시스템들에서 이용되는 바와 같이 이미지 프레임들, 서브프레임들, 레이저 사이클들, 및 시간 게이트들(본 명세서에서 스트로브 윈도우들로도 지칭됨) 사이의 관계들을 예시하는 도면이다. 도 4b는 레이저 펄스들 사이의 시간 주기를 i 스트로브 윈도우들로 분할하는 것을 예시하는 도면이고, 각각의 스트로브 윈도우 1 내지 i는 각각의 스트로브 신호들 스트로브#1 내지 스트로브<i>에 응답하여 레이저 펄스에 대해 상이한 각각의 지연에서 검출기(예를 들어, SPAD)에 대한 인에이블의 지속기간을 정의한다. 일부 실시예들에서, 각각의 스트로브 윈도우 1 내지 i는 지속기간이 동일할 수 있다. 위에 언급된 바와 같이, 각각의 스트로브 윈도우의 많은 반복들(예를 들어, 수백 또는 수천의 레이저 펄스들에 대해 각각의 스트로브 윈도우가 반복됨)이 이미지 프레임의 각각의 서브프레임에 대해 캡처될 수 있다.
도 4a 및 도 4b에서 도시된 바와 같이, 특정 지속기간을 갖는 스트로브 윈도우는 방출된 레이저 펄스들 사이의 특정 지속기간을 갖는 예시적인 레이저 사이클 동안 인에이블될 수 있다. 예를 들어, 750kHz의 동작 주파수에서, 레이저 사이클은 약 1.3μs일 수 있다. 개별 레이저 사이클들 내의 상이한 시간 지속기간들(예를 들어, 레이저 펄스들 사이의 각각의 타임슬롯들 또는 타임 슬라이스들)은 각각의 스트로브 윈도우들과 연관될 수 있다. 예를 들어, 레이저 사이클의 시간 지속기간은, 예를 들어, 각각 130ns의 10개의 스트로브 윈도우들과 같은, 복수의 잠재적 스트로브 윈도우 지속기간들로 분할될 수 있다. 각각의 스트로브 신호들(예를 들어, 프로세서들(105, 105', 205)로부터 출력되거나 그 제어 하에 있음)은 각각의 스트로브 윈도우들에 대한 검출기들(110d)의 타이밍 및 인에이블을 정의할 수 있다.
이러한 스트로브 윈도우들 중 제1 스트로브 윈도우는 레이저 사이클들의 제1 세트(예를 들어, 1000개의 레이저 사이클) 동안 (제1 스트로브 신호에 응답하여) 활성일 수 있는 반면, 스트로브 윈도우들 중 제2 스트로브 윈도우는 레이저 사이클들의 제2 세트 동안 (제2 스트로브 신호에 응답하여) 활성일 수 있다. 스트로브 윈도우들은 각각의 레이저 사이클들에 걸쳐 시간적으로 상호 배타적이거나 중첩될 수 있고, 단조롭게 또는 단조롭지 않게 정렬될 수 있다. 이미지 서브프레임은 연관된 레이저 사이클을 갖는 다수의 레이저 펄스들을 포함할 수 있고, 스트로브 윈도우는 레이저 사이클들 각각에서 활성이다. 예를 들어, 각각의 서브프레임에 약 1000개의 레이저 사이클들이 있을 수 있다. 각각의 서브프레임은 각각의 스트로브 윈도우에 대해 수집되는 데이터를 또한 나타낼 수 있다. 스트로브 윈도우 판독 동작은 각각의 서브프레임의 끝에서(예를 들어, 판독 회로(209)에 의해) 수행될 수 있고, (각각의 스트로브 윈도우에 대응하는) 다수의 서브프레임들은 각각의 이미지 프레임을 구성한다(예를 들어, 각각의 프레임 내의 20개의 서브프레임들). 도 4a 및 도 4b에 도시된 타이밍들은 단지 예일 뿐이며, 본 명세서에 설명된 실시예들에 따라 다른 타이밍들이 가능할 수 있다.
도 5는 본 발명의 일부 실시예에 따른 예시적 누산기/적분기 회로(500)를 나타낸다. 예를 들어, 누산기/적분기 회로(500)는 여기서 설명된 누산기(201 및/또는 201)들을 구현하는 데 이용될 수 있다. 도 5에 도시된 바와 같이, 회로(500)는 복수의 전가산기들(full adders) FA(501), D 플립-플롭(502)들, 멀티플렉서(504)들 및 업-다운 카운터(503)들을 포함하는 증분/감분 누산기로서 구현될 수 있다. D 플립-플롭(502)들은 출력들(예로서 D<31:0>로서 도시됨)을 제공하기 위해 전가산기들 FA(501)에 대한 입력들(예로서 A <0:4>로서 도시됨)의 각각의 합들 S 및 클록 신호 Clk에 응답한다. 전가산기 FA(501)들은 캐리 체인(carry chain)으로 구현되어, 하나의 전가산기 FA(501)의 캐리 출력(Co)은 다음 전가산기 FA(501)의 캐리 입력(Ci)에 연결된다. 체인 내의 최종 전가산기 FA(501)의 캐리 출력은 업-다운 카운터(503)에 연결된다. 도 5에 도시된 구현은 이 분야의 통상의 기술자들에게 이해될 것이며, 예로서만 제공되며, 따라서 추가 설명은 생략된다.
도 6은 본 발명의 일부 실시예들에서 사용될 수 있는 예시적인 병렬 카운터/합산기 회로(600)를 도시한다. 예를 들어, 병렬 카운터/합산기 회로(600)는 본 명세서에 설명된 바와 같이 병렬 카운터(204)를 구현하는 데 사용될 수 있다. 도 6에 도시된 바와 같이, 회로(600)는 입력들 b<14:0>에 응답하여 출력들 d<3:0>을 제공하도록 연결된 복수의 전가산기 FA(601)를 이용하여 구현될 수 있다. 도 6에 도시된 구현은 이 분야의 기술자들에게 이해될 것이며, 예로서만 제공되며, 따라서 추가 설명은 생략된다.
도 7은 본 발명의 일부 실시예들에 따른 게이트 링 발진기(GRO) 회로(700)의 예를 나타낸다. 일부 실시예들에서, GRO 회로(700)는 도 2의 게이팅된 클록(207)을 구현하기 위해 사용될 수 있다. 도 7에 도시된 바와 같이, GRO(700)는 상관기(203)로부터의 출력 Corr 및 (도 3에 도시된 바와 같이) 스트로브 신호 스트로브<i>의 역인 신호 스트로브B<i>에 클록 신호 FastClk를 생성하기 위해 D 플립-플롭(702) 및 논리 요소들(704)의 조합들을 사용하여 구현될 수 있다. 클록 신호 FastClk의 주파수는 비교적 낮을 수 있다(예를 들어, CMOS 노드들에 대해 1-5GHz). 이러한 더 낮은 주파수는 발진기의 고유 주파수를 늦추기 위해 긴 트랜지스터들을 사용함으로써 전력 소비가 감소되거나 최소화되게 허용할 수 있다. GRO(700)는 시간 및 미스매치(예를 들어, 약 1-2%)를 갖는 지터를 축적하여, 통상적으로 강한 PVT 감도를 가질 수 있다.
일부 실시예들에서, 글로벌 프리 러닝 클록 소스(global free running clock source)(예를 들어, 수백 MHz의 클록 주파수를 가짐)는 인에이블 신호에 의해 픽셀 누산기들에 게이팅될 수 있다. 일부 회로들은 이러한 글로벌 프리 러닝 클록 소스를 생성하기 위해 어레이에 걸쳐 발진기들을 결합할 수 있고, 이는 일부 GRO 기반 접근법들에 비해 감도, 지터, 및 미스매치를 감소시킬 수 있다. 그러한 회로들의 단점들은 신호 레벨과 독립적으로 전력을 소비하는 것을 포함할 수 있는데, 발진기들이 SPAD 활동의 함수로서가 아니라 계속적으로 실행되도록 남겨질 수 있기 때문이다.
도 5 내지 7은 본 명세서에서 설명되는 바와 같은 CMM 픽셀 프로세서의 컴포넌트들을 구현하는 데 사용될 수 있는 예시적인 회로들을 나타내는 반면에, 본 명세서에서 설명되고 예시되는 회로들은 예로서만 제공되며, 본 명세서에서 설명되는 누산기들, 병렬 카운터들 및/또는 다른 회로들의 실시예들은 결코 이러한 예시적인 구현들로 한정되지 않는다는 것이 이해될 것이다.
본 명세서에서 설명된 바와 같은 CMM-기반의 직접 ToF 계산들을 위한 신호 프로세싱 동작들을 구현하는 회로들을 포함하는 본 발명의 실시예들은, 예를 들어, 이용될 수 있는 누산기들의 비트 깊이들(광자 카운팅 깊이들)의 관점에서, 상당히 및/또는 극적으로 감소된 카운팅 및/또는 저장 요건들을 허용할 수 있다.
본 명세서에 설명된 일부 예들은 80ns 스트로브 윈도우(16개의 스트로브)를 참조하여 누산기들의 비트 깊이들 또는 비트들의 수를 예시하는데, 스트로브 윈도우 당 최대 16개의 상관된 이벤트들(검출기 또는 마이크로셀들 상의 200MHz의 광자 도달들과 등가임), 및 15384개의 레이저 펄스들과 등가인 20ms의 가장 긴 서브프레임이 있다. 200ps 클록에 대해(스트로브에서 400 클록들; 이 예에서 512로 라운딩됨), 상관된 광자들의 최대 수는 246,000일 수 있다. 따라서, 시간 누산기는 1억 2천 6백만 카운트를 필요로 할 수 있다. 본원에서 설명된 일부 실시예들에서, 18 비트의 광자 카운터(202) 및 27 비트의 시간 누산기(201)가 이용될 수도 있고, 최대 총 출력은 45 비트(또는 최소 총 출력은 37 비트)이다. 이 예에서, 구현은 누산기들에서의 총 45개의 DFF들(D플립-플롭들), 4개의 DFF 카운터들, 병렬 카운터/누산기들에서의 19개의 FA(전가산기들), 16개의 능동 퀀치들, 3단 GRO, 및 주입 로킹을 포함할 수 있다. 일부 종래의 4x4 SPAD 픽셀들(예를 들어, Henderson 등의 "A 256×256 40nm/90nm CMOS 3D-Stacked 120dB-Dynamic-Range Reconfigurable Time-Resolved SPAD Imager," 2019 International Solid-State Circuits Conference, 샌프란시스코, 미국에 설명된 바와 같음)에 비해, 본 명세서에 설명된 픽셀들은 약 20-24μm 피치로 감소될 수 있고 약 5-6μm 피치 SPAD들을 사용할 수 있으며, 그것에 의해 감소된 Fastclk 주파수로 더 적은 비트들 및 더 낮은 전력을 허용한다.
(시간 대 디지털 변환 동작들을 요구하는 일부 종래의 타임스탬프 합산 및 평균화 기술들과 비교하여) 본 발명의 실시예들에 따른 질량 중심 계산 기술들에 의해 제공되는 이점들을 예시하는 추가적인 예들이 도 8을 참조하여 설명된다. 도 8은 본 발명의 실시예들에 따른 검출 윈도우에 걸친 검출 이벤트들(화살표↓로 도시됨)의 히스토그램(800)을 나타낸 것이다. 일부 실시예들에서, 검출 윈도우(타임스텝들 k를 포함함)는 LIDAR 방출기의 레이저 펄스들 사이의 복수의 스트로브 윈도우들 중 하나일 수 있고, 여기서 스트로브 윈도우들은 방출기의 레이저 펄스들 사이의 시간의 지속기간에 의해 정의되는 이미징 거리 범위의 각각의 거리 서브범위들에 대응한다. 일부 실시예들에서, 검출 윈도우(타임스텝들 k를 포함함)는 방출기의 펄스들 사이의 시간의 전체 지속기간을 나타낼 수 있다. 이러한 예들에서, 질량 중심(CM)은 아래의 식을 이용하여 계산될 수 있다.
여기서 NC는 레이저 사이클들의 수(예를 들어, 특정 스트로브 윈도우 및 연관된 거리 서브-범위에 할당된 레이저 사이클들의 총 수)를 지칭하고, NS는 SPAD들의 수(예를 들어, 검출기 어레이 내의 SPAD들의 총 수)이고, T(e,f)는 (레이저 사이클들의 수 NC) 사이클 f에서의 레이저 펄스의 시간에 대한, SPAD 검출 이벤트 또는 트리거 e의 시간 오프셋이다. 만약 SPAD가 트리거하지 않으면, T(e,f)=0이다.
상기 CM 식의 분자는 (사이클 f에 대해)
로서 다시 쓰여질 수 있다. 여기서 NS(k)는 레이저 주기 또는 사이클(또는 특정 스트로브 윈도우에 의해 표현되는 그것의 일부)에서 타임스텝 k에서 트리거된 SPAD들의 수이고, NP는 레이저 주기 또는 스트로브 윈도우에서 타임스텝들의 최대 수이다. 이 방정식의 좌변은 다수의 개별 타임스탬프가 합산될 것을 요구한다. 대조적으로, 위 방정식의 우변은, 본 명세서에 설명된 실시예들에 따라, 트리거된 SPAD들의 수 NS(k)의(예를 들어, 각각의 연속적인 타임스텝 k에서의) 롤링 합으로서 계산될 수 있고, 이는 각각의 SPAD에 대한 각각의 TDC 동작의 사용 없이 결정될 수 있다.
도 8의 예에 도시된 바와 같이, 레이저 주기에서 타이밍 간격들 k의 총 수 NP(즉, 각각의 스트로브 윈도우에서, 또는 레이저 사이클 당 하나의 스트로브 윈도우만이 있는 경우 각각의 레이저 사이클에서)는 20이고, 어레이에서의 SPAD들의 수 NS는 8이며, 그 중 7개는 입사 광자들에 응답하여 트리거(또는 "발사")된다. 위에 도시된 바와 같이, 이 예에서 SPAD 1은 타임스텝 k=4에서 발사되고, SPAD 2는 타임스텝 k=10에서 발사되고, SPAD 3 및 4는 타임스텝 k=12에서 발사되고, SPAD 5는 타임스텝 k=13에서 발사되고, SPAD 6은 타임스텝 k=15에서 발사되고, SPAD 7은 타임스텝 k=18에서 발사된다.
시간 대 디지털 변환 동작들을 요구하는 일부 타임스탬프 평균화 기법들을 사용하여, 질량 중심은 타임스탬프들의 평균 합으로서(즉, 7개의 SPAD들 각각의 트리거링의 각각의 시간들의 합을 평균화함으로써) 다음과 같이 계산될 수 있다:
CM=(4+10+12+12+13+15+18)/7=12
그렇지만, 이 예시적인 타임스탬프 평균화는 7개의 개별적인 시간 대 디지털 변환 동작들(예컨대, 7개의 시간 멀티플렉스된 TDC 또는 다중-이벤트 TDC에 의함)을 필요로 할 수 있다. 그러한 동작들은 예를 들어 "A CMOS SPAD sensor with a multievent folded flash time-to-digital converter for ultra-fast optical transient capture," Henderson 외, IEEE Sensors J., vol. 18, no. 8, pp. 3163-3173, Apr. 2018에 설명되어 있다. 그러한 시간 대 디지털 변환 동작들 각각은 작은 픽셀에서의 구현을 금지하는 상당한 전력 및/또는 디바이스 면적을 소비할 수 있다. 게다가, 2개의 SPAD들 내의 2개의 광자들의 동시 도달(예를 들어, 상기 SPAD 3 및 SPAD 4에 대해 타임스텝 k= 12에서 도시됨)은 많은 방식들에서 정확하게 변환되지 않을 수 있어서, 하나의 타임 스탬프만이 발행되게 한다. 이것은 누적 왜곡을 나타낼 수 있고, 추정된 평균 도달 시간을 더 이른 시간들에 (부정확하게) 가중할 수 있다.
대조적으로, 본 발명의 실시예들에 따른 질량 중심의 롤링 계산은 각각의 타임스텝 k에서 발사된 SPAD들의 수 NS(k)(발생된 검출 이벤트들의 수를 표시함)의 합에 기초할 수 있는데, 즉, 각각의 타이밍 간격 k에서 또는 그 시점에서 트리거된 SPAD들의 수의 합을 평균화하는 것에 의한 것이다. 이하에 보여진 바와 같이, 질량 중심의 이러한 롤링 계산은 종래의 타임스탬프 평균화와 동일한 결과를 제공하지만, 부가적인 시간 대 디지털 변환 동작들의 계산 복잡도 및 전력 요구사항들은 없다:
CM=20-(1+1+1+1+1+1+2+2+4+5+5+6+6+7+7)/7=12
롤링 질량 중심은 도 2의 SPAD 픽셀 프로세서(205)에 예로서 도시된 바와 같이, 병렬 합산기 또는 카운터와 누산기의 캐스케이드에 의해 계산될 수 있다. 카운트된 상관들의 수는 고속 클록(207)(예를 들어, 수 100ps의 주기를 가짐), 예를 들어 200-500ps 또는 심지어 최대 1ns(타겟 거리 범위에 의존함)에 의해 롤링 방식으로 통합될 수 있고, 많은 레이저 사이클들에 걸쳐 반복될 수 있다. 따라서, 본 발명의 실시예들에 따른 롤링 질량 중심 계산에서의 카운트된 상관들은 일부 종래의 TDC 빈들(예를 들어, 20-100ps)보다 훨씬 더 성길(coarse) 수 있다.
본 명세서에 설명된 일부 실시예들은 동일한 SPAD의 다수 발사의 확률이 비교적 낮을 수 있는 비교적 짧은 게이팅된 시간 간격들에 적합할 수 있다. 다른 실시예들에서, 병렬 카운터(204)는(예를 들어, 단거리에서의 타겟들에 대한) 강한 레이저 리턴 시나리오들에서 발생할 수 있는 것과 같이 다수의 SPAD들의 동시 발사들(즉, 2개 이상의 SPAD들이 실질적으로 동시에 트리거됨)을 핸들링할 수 있고, 따라서 누적에 의한 질량 중심(CM)의 스큐를 회피한다. 즉, 도 3의 예시적인 타이밍도에 도시된 바와 같이, 다수의 SPAD들이 스트로브 윈도우에서 트리거될 수 있고, SPAD들이 동일한 스트로브 윈도우에서 여러 번 발사될 수 있다 (즉, SPAD들이 윈도우당 한번 발사되는 것으로 제한되지 않음).
이와 같이, 본 발명의 실시예들은 스트로브 윈도우에서 다수의 상관 광자 이벤트들을 프로세싱할 수 있다. SPAD들이 스트로브 윈도우 당 여러 번 트리거할 것으로 예상될 정도로 픽셀 당 광자 플럭스가 충분히 높은 실시예들에서, 프론트-엔드 회로는 상관 시간 또는 윈도우와 동일한 홀드 오프 시간을 가지는 능동 퀀치, 능동 재충전 회로(예를 들어, 도 2에 도시된 회로(206))(또는 대안적으로, 수동 퀀치 회로 및 그에 후속하는 단안정(monostable) 회로)를 포함할 수 있다. 광자 플럭스가 충분히 낮아서(또는 스트로브 윈도우가 충분히 짧아서) 각각의 SPAD가 스트로브 윈도우 당 2회 이상 발사될 가능성이 낮은 실시예들에서, 덜 복잡한 회로(예를 들어, 암-원스 MOS(arm-once MOS))가 레이저 사이클의 시작에서 SPAD를 브레이크다운 위로 끌어올리는 데 사용될 수 있다.
일부 실시예들에서, 누산기(들)(예를 들어, 도 2의 누산기 회로들(201 및 202))는 상관기 회로의 출력에 응답하여(즉, 상관된 광자들이 검출될 때에만, 예를 들어 도 2의 상관기(203)의 출력들에 응답하여) 동작할 수 있어서, 미리 결정된 시간 내에 도달하는 광자들의 그룹들만이 추정된 도달 시간들을 계산하기 위해 사용된다. 상관기 출력 신호는 누산기(들)에 대한 제어(control)로서 역할을 할 수 있어서, 상관된 광자 검출에 응답하여 검출 이벤트 측정들을 허용하고 그렇지 않으면 이러한 검출 이벤트 측정들이 발생하는 것을 방지하며, 이는 카운팅 요건들 및 전력 소비를 감소시킬 수 있다.
일부 실시예들에서, 누산기(예를 들어, 도 2의 시간 누산기(201))는 예를 들어 도 2의 게이팅된 클록(207)으로부터의 출력으로서, 게이팅된 클록 신호에 응답하여 동작할 수 있다. 예를 들어, 일부 실시예들에서, 클록 신호는 NS(k)> thresh(예를 들어, thresh=1,2,4,8)로서 누산기 스테이지(고속 클록 상의 메인 로드)를 제어하도록 게이팅될 수 있으며, 여기서 NS(k)는 과도한 전력 소비를 회피하기 위해 각각의 타임스텝 k에서 트리거된 SPAD들의 수이다. 임계값(thresh)은 각각의 시간 게이트 주기 및/또는 주위 광 레벨의 검출의 또는 그에 대응하는 거리 범위 오프셋에 따라(예를 들어, 도 1a의 제어 회로(105)에 의해) 변화될 수 있는 가변 임계값일 수 있다. 가변 임계값에 대한 thresh=1의 선택은 상관되지 않은 단일 광자 이벤트들을 다크 카운트 또는 주변 조명으로 인한 감쇠되지 않은 배경 신호를 갖는 질량 중심 회로부에 공급한다. 검출 이벤트로 인정하기(qualify) 위해 상관 윈도우 내에 도달해야 하는 광자들의 임계 수를 증가시키기 위한 가변 임계값에 대한 더 높은 값들(예를 들어, thresh-=2, 4, 8)의 선택은, 배경 전력을 초과하는 피크 레이저 전력이 있는 경우 상관된 레이저 펄스 리턴들을 선호하면서, 배경 신호 레벨들을 점진적으로 억제할 수 있다. 이러한 임계값들은, 예를 들어, C<4:0> 신호 또는 워드의 단일 비트를 도 2에서의 Corr 신호로서 단지 멀티플렉싱함으로써, 덜 복잡한 상관기 구현을 제공할 수 있는 이진수들을 참조하여 설명되지만 이에 제한되는 것은 아니다. NS(k)> thresh의 다른 더 일반적인 경우들에 대해 디코더 또는 디지털 비교기가 사용될 수 있다(잠재적으로 더 큰 하드웨어 영역을 암시함).
본 개시내용의 실시예들은, 측정되고 및/또는 데이터로서 메모리에 저장되는 인입 광자의 양을 감소시키도록 구성된 (라이다와 같은등의) 광-기반의 거리측정 시스템들 및 관련된 동작 방법들을 참조하여 여기서 설명되었다. 특히, 광자들은 그 개개의 도달 시간들 사이의 시간 상관에 기초하여 선택적으로 캡처되거나 카운팅되고, 이것은 측정되고 프로세싱되는 인입 광자들의 양을 감소시킬 수 있다. 예를 들어, 펄스 레이저로부터의 및 타겟에 의해 반사된 광자가 비교적 좁은 시간 윈도우 내에 도달할 수 있다는 인식에 기초하여, 본 명세서에 설명된 실시예들은 주변 광원들(예를 들어, 태양)로부터의 상관되지 않은 광자들을 거부하면서 이들 상관된 광자들을 선택적으로 캡처 또는 카운트하여, 본 명세서에 설명된 바와 같은 롤링 질량 중심 계산 기술을 구현함으로써 시간 대 디지털 변환 없이 픽셀내 평균화를 제공할 수 있다. 즉, 본 명세서에 설명된 바와 같은 프로세싱 회로들은 상관기 회로에 의해 정의된 동일한 상관 윈도우에서 수신된 신호 광자들의 도달 시간들(TOA들)의 계산을 수행할 수 있다. 프로세싱 회로는(예를 들어, 본 명세서의 시간 누산기 회로들에 의해 제공되는 바와 같은) 시간 적분된 검출 이벤트들의 수와 어레이에서의 각각의 SPAD들에 의한 광자들의(예를 들어, 본 명세서의 광자 카운터 회로들에 의해 제공되는 바와 같은) 검출 이벤트들의 카운트의 비율에 기초하여 광자들의 버스트의 추정 도달 시간을 계산하도록 구성될 수 있다.
본 명세서에 설명된 라이다 시스템들 및 어레이들은 ADAS(Advanced Driver Assistance Systems), 자율 차량들, UAV들(unmanned aerial vehicles), 산업 자동화, 로보틱스, 생체 인식, 모델링, 증강 및 가상 현실, 3D 매핑, 및 보안에 적용될 수 있다. 일부 실시예들에서, 방출기 어레이의 방출기 요소들은 수직 공진 표면 방출 레이저(vertical cavity surface emitting )(VCSEL)들일 수도 있다. 일부 실시예들에서, 방출기 어레이는, 예를 들어, 2018년 4월 12일 자로 미국 특허 상표청에 출원된 Burroughs 등의 미국 특허 출원 공개 제2018/0301872호에 설명된 바와 같이, 방출기 어레이의 각각의 행들 및/또는 열들에 인접한 비-네이티브 기판 상에 집적된 구동기 트랜지스터에 의해 구현된 구동기 회로와 함께, 전기적으로 직렬 및/또는 병렬로 연결된 수천 개의 개별 방출기 요소들을 갖는 비-네이티브 기판을 포함할 수 있고, 그 개시내용은 참조에 의해 본 명세서에 포함된다.
다양한 실시예들이 예시적인 실시예들이 도시되어 있는 첨부된 도면들을 참조하여 본 명세서에서 설명되었다. 그러나, 이들 실시예들은 상이한 형태들로 구현될 수 있으며 본 명세서에서 개시된 실시예들로 제한되는 것으로 해석되지 않아야 한다. 오히려, 이들 실시예들은, 본 개시내용이 철저하고 완전하며, 본 발명의 개념을 본 기술분야의 통상의 기술자에게 충분하게 전달하게끔 하기 위해 제공된 것이다. 본 명세서에서 설명된 예시적인 실시예들 및 일반적인 원리들 및 특징들에 대한 다양한 수정들은 손쉽게 명백해질 것이다. 도면들에서 층들 및 영역들의 크기들 및 상대적 크기들은 축척에 맞게 도시되지 않고, 일부 경우들에서는 명료성을 위해 과장될 수 있다.
예시적인 실시예들은 주로 특정한 구현들에서 제공되는 특정한 방법들 및 디바이스들의 관점에서 설명되었다. 그러나, 이들 방법들 및 디바이스들은 다른 구현들에서 효과적으로 동작할 수 있다. "예시적인 실시예", "일 실시예" 및 "다른 실시예"와 같은 문구들은 동일하거나 상이한 실시예들은 물론, 다수의 실시예들을 지칭할 수 있다. 실시예들은 소정의 컴포넌트들을 갖는 시스템들 및/또는 디바이스들과 관련하여 설명될 것이다. 그러나, 시스템들 및/또는 디바이스들은 도시된 것들보다 더 적은 또는 추가의 컴포넌트들을 포함할 수 있고, 본 발명의 개념의 범위를 벗어나지 않고 컴포넌트들의 배열 및 유형에서의 변화들이 이루어질 수 있다. 예시적인 실시예들은 또한 소정의 단계들 또는 동작들을 갖는 특정한 방법들의 맥락에서 설명될 것이다. 그러나, 이들 방법들 및 디바이스들은 예시적인 실시예들과 일치하지 않는 상이한 및/또는 추가적인 단계들/동작들 및 상이한 순서들의 단계들/동작들을 갖는 다른 방법들에 대해 효과적으로 동작할 수 있다. 따라서, 본 발명의 개념들은 도시된 실시예들로 제한되는 것이 아니라, 본 명세서에서 설명된 원리들 및 특징들에 부합하는 가장 넓은 범위에 따르도록 의도된다.
본 명세서에서 사용되는 용어는 특정한 실시예들을 설명하기 위한 목적일 뿐이며, 예시적 실시예들을 제한하고자 함이 아니다. 본 명세서에서 사용된 바와 같이, 단수 형태들("a", "an", "the")은 문맥이 명확히 달리 나타내지 않는 한은 복수 형태들도 포함하는 것을 의도한다. 본 명세서에서 사용되는 바와 같이, "포함하는(comprising)" 또는 "포함한다(comprises)"라는 용어는 개방형(open-ended)이고, 하나 이상의 언급되지 않은 요소들, 단계들 및/또는 기능들을 배제하지 않고 하나 이상의 언급된 요소들, 단계들 및/또는 기능들을 포함한다는 점이 또한 이해될 것이다. 용어 "및/또는"은 연관된 열거된 항목들 중 하나 이상의 항목의 임의의 그리고 모든 조합들을 포함한다.
다양한 요소들을 설명하기 위해 제1, 제2 등의 용어들이 본 명세서에 사용된다 할지라도, 이들 요소들을 이들 용어들로 제한해서는 안 됨이 이해될 것이다. 이들 용어들은 한 요소를 다른 요소와 구별하는 데에만 사용된다. 따라서, 이하에서 논의되는 제1 요소는 본 발명의 개념들의 범위를 벗어나지 않고 제2 요소로 지칭될 수 있다.
또한 한 요소가 또 다른 요소에 "연결(connected)"되거나 "결합(coupled)"된다고 언급될 때, 이 요소는 그 다른 요소에 직접 연결되거나 결합될 수 있고, 또는 중간 요소들이 존재할 수도 있다는 것을 이해할 것이다. 반면에, 요소가 다른 요소와 "직접 연결된" 또는 "직접 결합된"이라고 언급될 때, 중간 요소들은 존재하지 않는다.
달리 정의되지 않는 한, 본원에 사용되는 모든 용어들(기술적 및 과학적 용어들을 포함함)은 본 발명의 개념이 속하는 기술분야의 통상의 기술자에 의해 일반적으로 이해되는 것과 동일한 의미를 갖는다. 통상적으로 사용된 사전들에서 정의된 것들과 같은 용어들은 관련 기술의 맥락에서 그들의 의미와 일치하는 의미를 갖는 것으로서 해석되어야 하고 여기에 명시적으로 그렇게 정의되지 않으면 이상화되거나 아주 형식적인 의미에서 해석되지는 않을 것임이 더 이해될 것이다.
상기 설명 및 도면들과 관련하여, 많은 상이한 실시예들이 본 명세서에 개시되었다. 이들 실시예들의 모든 조합 및 하위 조합을 빠짐없이 설명하고 예시하는 것은, 과도하게 반복적이고 혼란스러운 것임을 이해할 것이다. 따라서 도면들을 포함하는 본 명세서는 여기에 기재된 실시예들의 모든 조합들과 하위 조합들 및 이들을 제조하고 사용하는 방식과 공정에 대한 전체 서면 진술을 구성하며, 그와 같은 모든 조합 또는 하위 조합에 대한 특허청구범위들을 뒷받침한다는 것을 이해해야 한다.
도면들 및 명세서에서, 본 개시내용의 실시예들이 개시되었고, 특정 용어들이 이용되지만, 이들은 제한의 목적들이 아니라 일반적이고 설명적인 의미로만 사용된다.
Claims (20)
- 라이다(Light Detection And Ranging)(LIDAR) 측정 회로로서,
동작들을 수행하도록 구성된 적어도 하나의 프로세서 회로를 포함하고,
상기 동작들은,
검출 윈도우 동안 입사되는 복수의 광자들에 응답하여 복수의 검출기 요소들로부터 출력되는 검출 신호들을 수신하는 단계;
상기 검출 신호들에 기초하여 검출 이벤트들을 식별하는 단계; 및
상기 검출 윈도우의 각각의 시간 간격들에서 식별된 상기 검출 이벤트들의 각각의 수들의 합에 기초하여 상기 복수의 광자들의 추정된 도달 시간을 계산하는 단계
를 포함하는, 라이다 측정 회로. - 제2항에 있어서,
상기 적어도 하나의 프로세서 회로는,
상기 검출 이벤트들 각각에 응답하여 증분되는 카운터 신호 및 상기 각각의 시간 간격들에 대응하는 클록 신호에 기초하여 상기 각각의 시간 간격들에서 식별된 상기 검출 이벤트들의 상기 각각의 수들의 합을 출력하도록 구성되는 누산기 회로
를 포함하는, 라이다 측정 회로. - 제2항에 있어서,
상기 누산기 회로는 제1 누산기 회로이고,
상기 적어도 하나의 프로세서 회로는,
상기 카운터 신호에 기초하여, 상기 검출 윈도우 동안 식별된 상기 검출 이벤트들의 총 수를 표시하는 카운트 값을 출력하도록 구성되는 제2 누산기 회로
를 더 포함하는, 라이다 측정 회로. - 제2항에 있어서,
상기 적어도 하나의 프로세서 회로는,
서로에 대해 각각의 상관 시간들 내에 출력되는 상기 검출 신호들의 각각의 서브세트들에 기초하여 상기 검출 이벤트들의 식별을 수행하도록 구성되고, 상기 검출 이벤트들 각각의 식별에 응답하여 상기 카운터 신호를 증분시키도록 구성되는 상관 회로
를 더 포함하는, 라이다 측정 회로. - 제4항에 있어서,
상기 적어도 하나의 프로세서 회로는,
상기 각각의 서브세트들 각각의 검출 신호들의 수를 표시하는 신호를 출력하도록 구성되는 병렬 카운터 회로
를 더 포함하고,
상기 상관 회로는, 임계 수에 대한 상기 각각의 서브세트들 각각의 검출 신호들의 수에 기초하여 상기 검출 이벤트들의 식별을 수행하도록 구성되는, 라이다 측정 회로. - 제2항에 있어서,
상기 누산기 회로는 상기 클록 신호의 각각의 펄스들에 응답하여 상기 카운터 신호의 각각의 값들을 적분하도록 구성되고, 상기 클록 신호의 각각의 펄스들의 주기는 상기 각각의 시간 간격들에 대응하는, 라이다 측정 회로. - 제2항에 있어서,
상기 적어도 하나의 프로세서 회로는,
상기 검출 윈도우 및 상기 식별에 의해 표시된 상기 검출 이벤트들 중 하나에 대응하는 스트로브 신호에 응답하여, 그리고 상기 검출 윈도우의 시작과는 독립적으로, 상기 클록 신호를 상기 누산기 회로에 출력하도록 구성된 클록 회로
를 더 포함하는, 라이다 측정 회로. - 제1항 내지 제7항 중 어느 한 항에 있어서,
상기 적어도 하나의 프로세서 회로는, 상기 검출 윈도우의 상기 각각의 시간 간격들에서 식별된 상기 검출 이벤트들의 각각의 수들의 합과 상기 검출 윈도우 동안 식별된 상기 검출 이벤트들의 총 수를 표시하는 카운트 값의 비율에 기초하여 상기 복수의 광자들의 상기 추정된 도달 시간을 계산하도록 구성되는, 라이다 측정 회로. - 제1항 내지 제8항 중 어느 한 항에 있어서,
상기 검출 윈도우는 제1 검출 윈도우를 포함하고, 상기 동작들은,
제2 검출 윈도우 동안 입사되는 제2 광자들에 응답하여 상기 복수의 검출기 요소들 중 하나 이상으로부터 출력되는 제2 검출 신호들을 수신하는 단계
를 더 포함하고,
상기 적어도 하나의 프로세서 회로는, 상기 제2 검출 신호들에 기초하여 상기 추정된 도달 시간의 배경 보정을 수행하도록 구성되는, 라이다 측정 회로. - 제1항 내지 제9항 중 어느 한 항에 있어서,
상기 검출 신호들은 상기 검출 윈도우 동안 상기 광자들의 각각의 도달 시간들을 나타내고, 상기 적어도 하나의 프로세서 회로는 상기 각각의 도달 시간들의 시간 대 디지털 변환들에 독립적으로 상기 복수의 광자들의 상기 추정된 도달 시간을 계산하도록 구성되는, 라이다 측정 회로. - 라이다(Light Detection And Ranging)(LIDAR) 시스템으로서,
검출 윈도우 동안 입사하는 복수의 광자들에 응답하여 검출 신호들을 출력하도록 구성된 단일-광자 검출기 요소들을 포함하는 검출기 어레이; 및
상기 검출기 어레이로부터 출력된 상기 검출 신호들을 수신하고, 상기 검출 신호들에 기초하여 검출 이벤트들을 식별하고, 상기 검출 윈도우의 각각의 시간 간격들에서 식별된 상기 검출 이벤트들의 각각의 수들의 합에 기초하여 상기 복수의 광자들의 추정된 도달 시간을 계산하도록 구성된 적어도 하나의 프로세서 회로
를 포함하는, 라이다 시스템. - 제11항에 있어서,
상기 적어도 하나의 프로세서 회로는,
상기 각각의 시간 간격들에 대응하는 클록 신호의 각각의 펄스들에 응답하여, 상기 검출 이벤트들 각각에 응답하여 증분되는 카운터 신호의 각각의 값들을 적분함으로써 상기 각각의 시간 간격들에서 식별된 상기 검출 이벤트들의 각각의 수들의 합을 출력하도록 구성된 제1 누산기 회로; 및
상기 카운터 신호의 각각의 값들 중 하나에 기초하여, 상기 검출 윈도우 동안 식별된 상기 검출 이벤트들의 총 수를 표시하는 카운트 값을 출력하도록 구성되는 제2 누산기 회로
를 포함하고,
상기 적어도 하나의 프로세서 회로는 상기 합과 상기 카운트 값의 비율에 기초하여 상기 복수의 광자들의 추정된 도달 시간을 계산하도록 구성되는, 라이다 시스템. - 제12항에 있어서,
상기 적어도 하나의 프로세서 회로는,
서로에 대한 각각의 상관 시간들 내에 출력되는 상기 검출 신호들의 각각의 서브세트들에 기초하여 상기 검출 이벤트들을 식별하도록 구성되고, 상기 검출 이벤트들 각각에 응답하여 상기 카운터 신호를 증분하도록 구성되는 상관 회로; 및
상기 상관 회로에 의해 식별된 상기 검출 이벤트들 중 하나 및 상기 검출 윈도우에 대응하는 스트로브 신호에 응답하여 상기 클록 신호를 출력하도록 구성되는 클록 회로
를 더 포함하는, 라이다 시스템. - 제13항에 있어서,
상기 적어도 하나의 프로세서 회로는,
상기 각각의 서브세트들 각각의 검출 신호들의 수를 나타내는 신호를 출력하도록 구성되는 병렬 카운터 회로
를 더 포함하고,
상기 상관 회로는 임계 수에 대한 상기 각각의 서브세트들 각각의 검출 신호들의 수에 기초하여 상기 검출 이벤트들을 식별하도록 구성되는, 라이다 시스템. - 제11항 내지 제14항 중 어느 한 항에 있어서,
상기 검출 신호들은 상기 검출 윈도우 동안 상기 광자들의 각각의 도달 시간들을 나타내고, 상기 적어도 하나의 프로세서 회로는 상기 각각의 도달 시간들의 시간 대 디지털 변환들에 독립적으로 상기 복수의 광자들의 추정된 도달 시간을 계산하도록 구성되는, 라이다 시스템. - 라이다(Light Detection And Ranging)(LIDAR) 측정 회로로서,
검출 윈도우 동안 입사되는 광자들의 각각의 도달 시간들을 나타내는 단일-광자 검출기 요소들로부터 출력되는 검출 신호들을 수신하도록 구성되는 적어도 하나의 프로세서 회로를 포함하고,
상기 적어도 하나의 프로세서 회로는,
상기 각각의 도달 시간들의 시간 대 디지털 변환들에 독립적으로 상기 광자들의 추정된 도달 시간을 계산하기 위하여, 상기 검출 신호들에 기초하여 상기 검출 윈도우의 각각의 시간 간격들에서 식별된 검출 이벤트들의 각각의 수들을 합산하도록 구성된 하나 이상의 누산기 회로들
을 포함하는, 라이다 측정 회로. - 제16항에 있어서,
상기 하나 이상의 누산기 회로들은,
상기 각각의 시간 간격들에 대응하는 클록 신호의 각각의 펄스들에 응답하여, 상기 검출 이벤트들 각각에 응답하여 증분되는 카운터 신호의 각각의 값들을 적분함으로써 상기 합을 출력하도록 구성되는 제1 누산기 회로
를 포함하는, 라이다 측정 회로. - 제17항에 있어서,
상기 하나 이상의 누산기 회로들은,
상기 카운터 신호의 각각의 값들 중 하나에 기초하여, 상기 검출 윈도우 동안 식별된 상기 검출 이벤트들의 총 수를 표시하는 카운트 값을 출력하도록 구성되는 제2 누산기 회로
를 더 포함하고,
상기 적어도 하나의 프로세서 회로는 상기 합과 상기 카운트 값의 비율에 기초하여 상기 복수의 광자들의 추정된 도달 시간을 계산하도록 구성되는, 라이다 측정 회로. - 제17항에 있어서,
상기 적어도 하나의 프로세서 회로는,
서로에 대해 각각의 상관 시간들 내에 출력되는 상기 검출 신호들의 각각의 서브세트들에 기초하여 상기 검출 이벤트들을 식별하도록 구성되고, 상기 검출 이벤트들 각각에 응답하여 상기 카운터 신호를 증분하도록 구성되는 상관 회로; 및
상기 상관 회로에 의해 식별된 상기 검출 이벤트들 중 하나 및 상기 검출 윈도우에 대응하는 스트로브 신호에 응답하여 상기 클록 신호를 출력하도록 구성되는 클록 회로
를 더 포함하는, 라이다 측정 회로. - 제19항에 있어서,
상기 적어도 하나의 프로세서 회로는,
상기 각각의 서브세트들 각각의 검출 신호들의 수를 나타내는 신호를 출력하도록 구성되는 병렬 카운터 회로
를 더 포함하고,
상기 상관 회로는 임계 수에 대한 상기 각각의 서브세트들 각각의 검출 신호들의 수에 기초하여 상기 검출 이벤트들을 식별하도록 구성되는, 라이다 측정 회로.
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US201862769287P | 2018-11-19 | 2018-11-19 | |
| US62/769,287 | 2018-11-19 | ||
| PCT/US2019/062099 WO2020106661A1 (en) | 2018-11-19 | 2019-11-19 | Digital pixel |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20210080584A true KR20210080584A (ko) | 2021-06-30 |
Family
ID=70726479
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020217018985A KR20210080584A (ko) | 2018-11-19 | 2019-11-19 | 디지털 픽셀 |
Country Status (6)
| Country | Link |
|---|---|
| US (1) | US11754686B2 (ko) |
| EP (1) | EP3864436A4 (ko) |
| JP (1) | JP2022510816A (ko) |
| KR (1) | KR20210080584A (ko) |
| CN (1) | CN113196105A (ko) |
| WO (1) | WO2020106661A1 (ko) |
Families Citing this family (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2020033001A2 (en) * | 2018-02-13 | 2020-02-13 | Sense Photonics, Inc. | Methods and systems for high-resolution long-range flash lidar |
| US11978754B2 (en) | 2018-02-13 | 2024-05-07 | Sense Photonics, Inc. | High quantum efficiency Geiger-mode avalanche diodes including high sensitivity photon mixing structures and arrays thereof |
| US11639990B2 (en) * | 2019-01-18 | 2023-05-02 | The University Court Of The University Of Edinburgh | Digital pixels and operating methods thereof |
| US10826514B1 (en) * | 2019-10-15 | 2020-11-03 | Ciena Corporation | Noise-shaping enhanced gated ring oscillator based analog-to-digital converters |
| US11500092B2 (en) * | 2019-12-20 | 2022-11-15 | Stmicroelectronics (Research & Development) Limited | Method for operating a ToF ranging array, corresponding circuit and device |
| FR3105444B1 (fr) * | 2019-12-24 | 2022-01-07 | Commissariat Energie Atomique | Procédé de détermination d'un biais affectant des pixels d'un détecteur pixellisé de rayonnement ionisant |
| US11635498B2 (en) * | 2020-04-30 | 2023-04-25 | Stmicroelectronics (Grenoble 2) Sas | SPAD based indirect time of flight sensing from solid state transmitter scanning |
| US11476372B1 (en) * | 2020-05-13 | 2022-10-18 | Apple Inc. | SPAD-based photon detectors with multi-phase sampling TDCs |
| US20230075080A1 (en) * | 2021-08-16 | 2023-03-09 | Aeye, Inc. | Systems and methods of calibration of low fill-factor sensor devices and object detection therewith |
| CN114114210B (zh) * | 2021-11-25 | 2022-08-26 | 武汉市聚芯微电子有限责任公司 | 时间戳数据读写电路以及测距系统 |
| US20240125940A1 (en) * | 2022-10-12 | 2024-04-18 | Lg Innotek Co., Ltd. | Systems and methods for variable-resolution refinement of geiger mode lidar |
| CN116821658B (zh) * | 2023-06-29 | 2024-04-12 | 中国船舶集团有限公司第七二三研究所 | 一种适应不同重复间隔类型的时钟周期指纹特征提取方法 |
Family Cites Families (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100960715B1 (ko) * | 2008-03-28 | 2010-05-31 | 한국전기연구원 | 씨모스 엑스레이 이미지 센서 모듈 |
| CN201819989U (zh) * | 2010-05-07 | 2011-05-04 | 浙江大学 | 一种基于强关联量子成像原理的激光雷达 |
| CA3178340A1 (en) * | 2012-08-20 | 2014-02-27 | Illumina, Inc. | Method and system for fluorescence lifetime based sequencing |
| GB2520232A (en) | 2013-08-06 | 2015-05-20 | Univ Edinburgh | Multiple Event Time to Digital Converter |
| WO2015058702A1 (zh) * | 2013-10-23 | 2015-04-30 | 曹红光 | 基于光子计数的辐射成像系统、方法及其设备 |
| CN103616696B (zh) * | 2013-11-27 | 2015-10-21 | 中国电子科技集团公司第三十八研究所 | 一种激光成像雷达装置及其测距的方法 |
| US10620300B2 (en) * | 2015-08-20 | 2020-04-14 | Apple Inc. | SPAD array with gated histogram construction |
| US10591600B2 (en) | 2015-11-30 | 2020-03-17 | Luminar Technologies, Inc. | Lidar system with distributed laser and multiple sensor heads |
| GB201622429D0 (en) * | 2016-12-30 | 2017-02-15 | Univ Court Of The Univ Of Edinburgh The | Photon sensor apparatus |
| US11105925B2 (en) * | 2017-03-01 | 2021-08-31 | Ouster, Inc. | Accurate photo detector measurements for LIDAR |
| US10884126B2 (en) * | 2017-03-01 | 2021-01-05 | Ouster, Inc. | Accurate photo detector measurements for LIDAR |
| CN114614337A (zh) | 2017-04-12 | 2022-06-10 | 感应光子公司 | 超小型垂直腔表面发射激光器（vcsel）阵列的光束整形 |
| CN107356855B (zh) * | 2017-07-20 | 2023-03-10 | 中国科学技术大学 | 一种单光子光电器件的测试装置和方法 |
| CN108387886A (zh) * | 2018-02-07 | 2018-08-10 | 苏州镭图光电科技有限公司 | 一种激光雷达背景暗噪声响应消除方法及装置 |
| WO2020033001A2 (en) | 2018-02-13 | 2020-02-13 | Sense Photonics, Inc. | Methods and systems for high-resolution long-range flash lidar |
-
2019
- 2019-11-19 JP JP2021527984A patent/JP2022510816A/ja active Pending
- 2019-11-19 KR KR1020217018985A patent/KR20210080584A/ko unknown
- 2019-11-19 WO PCT/US2019/062099 patent/WO2020106661A1/en unknown
- 2019-11-19 EP EP19887629.4A patent/EP3864436A4/en active Pending
- 2019-11-19 CN CN201980082237.XA patent/CN113196105A/zh active Pending
- 2019-11-19 US US16/688,043 patent/US11754686B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| EP3864436A1 (en) | 2021-08-18 |
| CN113196105A (zh) | 2021-07-30 |
| JP2022510816A (ja) | 2022-01-28 |
| WO2020106661A1 (en) | 2020-05-28 |
| US20200158836A1 (en) | 2020-05-21 |
| EP3864436A4 (en) | 2022-06-15 |
| US11754686B2 (en) | 2023-09-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11754686B2 (en) | Digital pixel | |
| US20200217965A1 (en) | High dynamic range direct time of flight sensor with signal-dependent effective readout rate | |
| US11506765B2 (en) | Hybrid center of mass method (CMM) pixel | |
| US11639990B2 (en) | Digital pixels and operating methods thereof | |
| US11467286B2 (en) | Methods and systems for high-resolution long-range flash lidar | |
| US11119196B2 (en) | First photon correlated time-of-flight sensor | |
| US10502816B2 (en) | Ranging apparatus | |
| US11644551B2 (en) | Lidar systems with improved time-to-digital conversion circuitry | |
| US11029397B2 (en) | Correlated time-of-flight sensor | |
| US20210215807A1 (en) | Pipelined histogram pixel | |
| US11626446B2 (en) | Pixel circuit and method of operating the same in an always-on mode | |
| EP3987305B1 (en) | Direct time-of-flight depth sensor architecture and method for operating of such a sensor | |
| Incoronato et al. | Single-shot pulsed-lidar spad sensor with on-chip peak detection for background rejection | |
| US20220099814A1 (en) | Power-efficient direct time of flight lidar | |
| Katz et al. | Design considerations of CMOS Si photomultiplier for long range LIDAR | |
| US20230395741A1 (en) | High Dynamic-Range Spad Devices | |
| US20230243928A1 (en) | Overlapping sub-ranges with power stepping | |
| CN116400367A (zh) | 光检测和测距LiDAR读出集成电路、LiDAR系统及其操作方法 | |
| CN115685227A (zh) | 一种探测方法 |