KR20220133095A - 스마트 레이저 탐문을 사용하는 저출력 라이다 시스템 - Google Patents
스마트 레이저 탐문을 사용하는 저출력 라이다 시스템 Download PDFInfo
- Publication number
- KR20220133095A KR20220133095A KR1020220029228A KR20220029228A KR20220133095A KR 20220133095 A KR20220133095 A KR 20220133095A KR 1020220029228 A KR1020220029228 A KR 1020220029228A KR 20220029228 A KR20220029228 A KR 20220029228A KR 20220133095 A KR20220133095 A KR 20220133095A
- Authority
- KR
- South Korea
- Prior art keywords
- circuit
- pixels
- sensor array
- gating
- histogram
- Prior art date
Links
- 238000001514 detection method Methods 0.000 claims abstract description 29
- 238000000034 method Methods 0.000 claims description 23
- 230000005540 biological transmission Effects 0.000 claims description 5
- 238000012545 processing Methods 0.000 description 10
- 238000005259 measurement Methods 0.000 description 7
- 102100040862 Dual specificity protein kinase CLK1 Human genes 0.000 description 6
- 102100040844 Dual specificity protein kinase CLK2 Human genes 0.000 description 6
- 101000749294 Homo sapiens Dual specificity protein kinase CLK1 Proteins 0.000 description 6
- 101000749291 Homo sapiens Dual specificity protein kinase CLK2 Proteins 0.000 description 6
- 238000004891 communication Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 238000010791 quenching Methods 0.000 description 4
- 230000000171 quenching effect Effects 0.000 description 4
- 238000004590 computer program Methods 0.000 description 3
- 238000005286 illumination Methods 0.000 description 3
- 230000000644 propagated effect Effects 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 230000001788 irregular Effects 0.000 description 2
- 238000010295 mobile communication Methods 0.000 description 2
- 230000001537 neural effect Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 238000000926 separation method Methods 0.000 description 2
- 238000001161 time-correlated single photon counting Methods 0.000 description 2
- 230000001960 triggered effect Effects 0.000 description 2
- GWAOOGWHPITOEY-UHFFFAOYSA-N 1,5,2,4-dioxadithiane 2,2,4,4-tetraoxide Chemical compound O=S1(=O)CS(=O)(=O)OCO1 GWAOOGWHPITOEY-UHFFFAOYSA-N 0.000 description 1
- 101100082458 Arabidopsis thaliana PBL34 gene Proteins 0.000 description 1
- 101100152663 Caenorhabditis elegans tdc-1 gene Proteins 0.000 description 1
- 238000009825 accumulation Methods 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000005314 correlation function Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 239000000758 substrate Substances 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/483—Details of pulse systems
- G01S7/486—Receivers
- G01S7/4865—Time delay measurement, e.g. time-of-flight measurement, time of arrival measurement or determining the exact position of a peak
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
- G01S17/06—Systems determining position data of a target
- G01S17/08—Systems determining position data of a target for measuring distance only
- G01S17/10—Systems determining position data of a target for measuring distance only using transmission of interrupted, pulse-modulated waves
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
- G01S17/06—Systems determining position data of a target
- G01S17/08—Systems determining position data of a target for measuring distance only
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
- G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/483—Details of pulse systems
- G01S7/486—Receivers
- G01S7/4861—Circuits for detection, sampling, integration or read-out
- G01S7/4863—Detector arrays, e.g. charge-transfer gates
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/491—Details of non-pulse systems
- G01S7/4912—Receivers
- G01S7/4913—Circuits for detection, sampling, integration or read-out
- G01S7/4914—Circuits for detection, sampling, integration or read-out of detector arrays, e.g. charge-transfer gates
-
- G—PHYSICS
- G04—HOROLOGY
- G04F—TIME-INTERVAL MEASURING
- G04F10/00—Apparatus for measuring unknown time intervals by electric means
- G04F10/005—Time-to-digital converters [TDC]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Networks & Wireless Communication (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Electromagnetism (AREA)
- Optical Radar Systems And Details Thereof (AREA)
Abstract
직접 비행시간(DTOF) LiDAR 시스템은 센서 어레이와, 제1 게이팅 시간 수치 변환기(TDC) 회로 및 제2 TDC 회로를 포함한다. 센서 어레이는 제1 위치보다 큰 제2 위치에 위치한 제2 물체로부터 수신된 제2 반사 신호의 센서 어레이 상의 제2 시차 위치에 대한 제1 위치에 위치한 제1 물체로부터 수신된 제1 반사 신호의 센서 어레이 상의 제1 시차 위치를 검출하도록 배열된 복수의 화소들을 포함한다. 제1 게이팅 TDC 회로는 제1 반사 신호의 검출에 관련된 제1 타임스탬프 정보를 생성하는데, 여기서 제1 게이팅 TDC 회로는 제1 시차 위치에 기반하여 제1 타임스탬프 정보를 생성하도록 게이팅된다. 제2 게이팅 TDC 회로는 제2 반사 신호의 검출에 관련된 제2 타임스탬프 정보를 생성하는데, 여기서 제2 게이팅 시간 TDC는 제2 시차 위치에 기반하여 제2 타임스탬프 정보를 생성하도록 게이팅된다.
Description
본 명세서로 개시되는 주제는 광파 탐지 및 거리 측정(Light Detection and Ranging; LiDAR; 라이다) 시스템에 관한 것이다. 더 구체적으로 본 발명(subject matter)은 시차 기반(disparity-based) 화소 그루핑(pixel grouping)을 포함하고 시차 (기반) 게이팅(disparity-(based) gated) 시간 수치 변환(Time-to-Digital Conversion; TDC) 회로를 사용하는 직접 비행시간(Direct Time-of-Flight; DTOF) LiDAR 시스템에 관한 것이다.
DTOF-기반 LiDAR 시스템은 복수의 짧은 레이저 펄스들을 물체에 전송(탐문; interrogation)하여 귀환 펄스(return pulse)들의 TOF를 측정함으로써 그 물체의 거리를 측정한다. DTOF 센서의 단일 광자 애벌런치 다이오드(Single Photo Avalanche Diode; SPAD) 화소들은 입사되는 광자(impinging photon)들을 포착하여 광자의 TOF 정보를 나타내는 디지털 타임코드(digital time code)들을 생성한다. 포착된 광자들은 주변광(ambient light) 또는 활성(active) 레이저 조명에서 유입할 수 있다. 수백 또는 수천 회의 반복으로 포착된 디지털 타임코드들을 사용하여 히스토그램(histogram)이 형성될 수 있다. 주변광이 강하면 물체의 반사율(알베도; albedo)이 낮고, 및/또는 물체의 거리가 멀면 많은 레이저 사이클들이 신뢰할 만한(reliable) 히스토그램을 형성할 필요가 있다.
종래의(traditional) DTOF 기반 LiDAR 시스템의 SPAD 화소들은 방대한 양의 데이터를 생성하므로 종래의 DTOF 기반 LiDAR 시스템의 전체(full) 히스토그램을 형성하려면 칩(chip) 상에 큰 메모리 또는 큰 카운터 깊이(counter depth)가 요구될 수 있다. 높은 정밀도를 달성하기 위해, 종래의 DTOF 기반 LiDAR 시스템은 일반적으로 2회 주사(two-pass) 해법을 사용한다, 첫 주사는 넓은(coarse) 빈(bin) 크기를 가지며 물체 또는 시야(field of view; FOV) 내의 물체들의 대략적인 거리(range)를 파악(find)할 큰 거리를 포괄하는 히스토그램을 형성하는 데 사용된다. 이어서 두 번째 주사는 대충의(coarse) 측정치 부근에 좁혀진 거리를 갖는 좁은(fine) 히스토그램 빈을 형성함으로써 더 높은 정밀도의 측정을 수행하는 데 사용된다. 첫 번 및 두 번째 주사들에 사용되는 레이저 펄스들의 수는 일반적으로 유사한데, 이는 광출력(optical power)의 약 50%가 낭비된다는 것을 의미한다. 다른 종래의 접근법은 전체 장면(entire scene)을 주사(scan)하는 저출력 레이저 펄스를 사용한 다음, 귀환 펄스들을 갖지 않는 주사 영역에 대해 레이저 출력을 증가시키는 것이다. 이 접근법 역시 2회 주사를 요구하는데, 마찬가지로 광학 출력을 증가시킨다.
본 발명이 해결하고자 하는 과제는 성능이 향상된 ToF(Time-of-Flight) 센서(sensor)를 제공하는 것이다.
본 발명의 기술적 과제들은 이상에서 언급한 기술적 과제로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
하나의 예시적 실시예는 센서 어레이(sensor array)와, 제1 게이팅(gated) 시간 수치 변환기(time-to-digital converter) 회로 및 제2 시간 게이팅 수치 변환기 회로를 포함할 수 있는 비행시간(time-of-flight) 센서(sensor)를 제공한다. 센서 어레이는 제2 물체로부터 수신된 제2 반사 신호(reflection signal)의 센서 어레이 상의 제2 시차 위치(disparity location)에 대한 제1 물체로부터 수신된 제1 반사 신호의 센서 어레이 상의 제1 시차 위치를 검출하도록 배열된 복수의 화소(pixel)들을 포함할 수 있는데, 여기서 제1 물체는 센서 어레이로부터 제1 거리(range)에 위치하고, 제2 물체는 센서 어레이로부터 제2 거리에 위치할 수 있으며, 제2 거리가 제1 거리보다 더 클 수 있다. 제1 게이팅 시간 수치 변환기 회로는 제1 반사 신호의 검출에 관련된 제1 타임스탬프(timestamp) 정보를 생성하도록 구성될 수 있는데, 여기서 제1 게이팅 시간 수치 변환기 회로는 제1 시차 위치에 기반하여 제1 타임스탬프 정보를 생성하도록 게이팅될(gated) 수 있다. 제2 게이팅 시간 수치 변환기 회로는 제2 반사 신호의 검출에 관련된 제2 타임스탬프 정보를 생성하도록 구성될 수 있는데, 여기서 제2 게이팅 시간 수치 변환기 회로는 제2 시차 위치에 기반하여 제2 타임스탬프 정보를 생성하도록 게이팅될 수 있다. 하나의 실시예에서, 제1 게이팅 시간 수치 변환기 회로는 제1 주기(period)를 포함하는 제1 클록 속도(clock rate)로 맞춰질(clock) 수 있고, 제2 게이팅 시간 수치 변환기 회로는 제2 주기를 포함하는 제2 클록 속도로 맞춰질 수 있다. 다른 실시예에서는, 센서 어레이는 복수의 화소들이 제2 반사 신호의 센서 어레이 상의 제2 시차 위치에 대한 제3 물체로부터 수신된 제3 반사 신호의 센서 어레이 상의 제3 시차 위치를 검출하도록 더 배열될 수 있는데, 여기서 제3 물체는 센서 어레이로부터 제1 거리보다 크고 제2 거리보다 작은 제3 거리에 위치한다. 비행시간 센서는 제3 반사 신호의 검출에 관련된 제3 타임스탬프 정보를 생성하도록 구성된 제3 게이팅 시간 수치 변환기 회로를 더 포함할 수 있는데, 여기서 제3 게이팅 시간 수치 변환기 회로는 제3 시차 위치에 기반하여 제3 타임스탬프 정보를 생성하도록 게이팅될 수 있다. 또 다른 실시예에서는, 제3 게이팅 시간 수치 변환기 회로는 제1 주기보다 길고 제2 주기보다 짧은 제3 주기를 포함할 수 있는 제3 클록 속도에 맞춰질 수 있다. 또 다른 실시예는 제1 및 제2 시차 위치들에 대응하는 빈들을 포함할 수 있는 히스토그램을 생성하는 히스토그램 회로를 포함할 수 있다. 하나의 실시예는 히스토그램 회로로 생성된 히스토그램의 각 빈으로부터 평균 주변광 수준(level)이 차감되는 히스토그램 회로를 포함할 수 있다. 다른 실시예는 제1 게이팅 시간 수치 변환기 회로 및 제2 게이팅 시간 수치 변환기 회로에 접속(couple)될 수 있는 히스토그램 회로를 포함할 수 있고, 이 히스토그램 회로는 제1 및 제2 타임스탬프 정보에 기반하여 히스토그램을 생성할 수 있는데, 여기서 센서 어레이에 의해 반사 신호로 검출될 수 있는 전송 펄스(전송되는 펄스; transmitted pulse)의 펄스폭(pulse width)에 대응하는 빈들의 수에 검출 이벤트(detection event)가 가산될 수 있다.
하나의 예시적 실시예는 센서 어레이와, 선택기 회로(selector circuit)와, 게이팅 시간 수치 변환기 회로를 포함할 수 있는 비행시간 센서를 제공한다. 센서 어레이는 제1 물체로부터 수신된 제1 반사 신호의 센서 어레이 상의 제1 시차 위치를 검출하는 제1 그룹(group)의 화소들과, 제2 물체로부터 수신된 제2 반사 신호의 센서 어레이 상의 제2 시차 위치를 검출하는 제2 그룹의 화소들을 포함할 수 있는데, 제1 물체는 센서어레이로부터 제1 거리에 위치할 수 있고, 제2 물체는 제1 거리보다 더 큰 제2 거리에 위치할 수 있다. 선택기 회로는 센서 어레이에 접속될 수 있고, 제2 그룹의 화소들의 광도(intensity)보다 더 클 수 있는 제1 그룹의 화소들의 광도에 기반하여 제1 시차 위치에 대응하는 제1 그룹의 화소들의 제1 출력과 제1 클록 신호를 출력할 수 있으며, 제1 그룹의 화소들의 광도보다 더 큰 제2 그룹의 화소들의 광도에 기반하여 제2 시차 위치에 대응하는 제2 그룹의 화소들의 제2 출력과 제2 클록 신호를 출력할 수 있다. 게이팅 시간 수치 변환기 회로는 선택기 회로의 출력에 접속될 수 있고, 화소들의 제1 그룹의 제1 출력과 제1 클록 신호를 출력하는 선택기 회로에 기반하여 제1 클록 신호를 사용하는 화소들의 제1 그룹의 제1 출력에 대한 제1 타임스탬프 정보를 생성하도록 구성될 수 있으며, 화소들의 제2 그룹의 제2 출력과 제2 클록 신호를 출력하는 선택기 회로에 기반하여 제2 클록 신호를 사용하는 화소들의 제2 그룹의 제2 출력에 대한 제2 타임스탬프 정보를 생성하도록 구성될 수 있다. 하나의 실시예에서, 제1 클록 신호는 제1 클록 주기를 포함할 수 있고 제2 클록 신호는 제1 클록 주기보다 더 긴 제2 클록 주기를 포함할 수 있다. 다른 실시예에서, 센서 어레이는 제3 물체로부터 수신된 제3 반사 신호의 센서 어레이 상의 제3 시차 위치를 검출하는 화소들의 제3 그룹을 더 포함할 수 있는데, 여기서 제3 물체는 센서 어레이로부터 제1 거리보다 크고 제2 거리보다 작은 제3 거리에 위치할 수 있고, 여기서 선택기 회로는 화소들의 제1 그룹의 광도 및 화소들의 제2 그룹의 광도보다 더 큰 화소들의 제3 그룹의 광도에 기반하여 제3 시차 위치에 해당하는 화소들의 제3 그룹의 제3 출력과 제3 클록을 더 출력할 수 있으며, 그리고 여기서 게이팅 시간 수치 변환기 회로는 화소들의 제3 그룹의 제3 출력과 제3 클록 신호를 출력하는 선택기 회로에 기반하여 제3 클록 신호를 사용하는 화소들의 제3 그룹의 제3 출력에 대한 제3 타임스탬프 정보를 생성하도록 더 구성될 수 있다. 또 다른 실시예에서는, 제3 클록 신호가 제1 클록 주기보다 더 길고 제2 클록 주기보다 더 짧은 제3 클록 주기를 포함할 수 있다. 또 다른 실시예에서, 비행시간 센서는 제1 및 제2 시차 위치들에 해당하는 빈들을 포함하는 히스토그램을 생성하는 히스토그램 회로를 더 포함할 수 있다. 하나의 실시예에서, 비행시간 센서는 히스토그램 회로로 생성된 히스토그램의 각 빈으로부터 평균 주변광 수준이 차감되는 히스토그램 회로를 더 포함할 수 있다. 다른 실시예는 제1 및 제2 타임스탬프 정보에 기반하여 히스토그램을 생성할 수 있는 게이팅 시간 수치 변환기 회로에 접속될 수 있는 히스토그램 회로를 포함할 수 있는데, 여기서 센서 어레이에 의해 반사 신호로 검출될 수 있는 전송 펄스의 펄스폭에 대응하는 빈들의 수에 검출 이벤트가 가산될 수 있다.
하나의 예시적 실시예는 센서 어레이와, 제1 게이팅 시간 수치 변환기 회로 및 제2 시간 게이팅 수치 변환기 회로, 및 히스토그램 회로를 포함할 수 있는 비행시간 센서를 제공한다. 센서 어레이는 제2 물체로부터 수신된 제2 반사 신호의 센서 어레이 상의 제2 시차 위치에 대한 제1 물체로부터 수신된 제1 반사 신호의 센서 어레이 상의 제1 시차 위치를 검출하도록 배열된 복수의 화소들을 포함할 수 있는데, 여기서 제1 물체는 센서 어레이로부터 제1 거리에 위치하고, 제2 물체는 센서 어레이로부터 제2 거리에 위치할 수 있으며, 제2 거리가 제1 거리보다 더 클 수 있다. 제1 게이팅 시간 수치 변환기 회로는 제1 반사 신호의 검출에 관련된 제1 타임스탬프 정보를 생성하도록 구성될 수 있는데, 여기서 제1 게이팅 시간 수치 변환기 회로는 제1 시차 위치에 기반하여 제1 타임스탬프 정보를 생성하도록 게이팅될 수 있다. 제2 게이팅 시간 수치 변환기 회로는 제2 반사 신호의 검출에 관련된 제2 타임스탬프 정보를 생성하도록 구성될 수 있는데, 여기서 제2 게이팅 TDC 회로는 제2 시차 위치에 기반하여 제2 타임스탬프 정보를 생성하도록 게이팅될 수 있다. 히스토그램 회로는 제1 시간 수치 변환기 회로와 제2 TDC 회로에 접속될 수 있는데, 이 히스토그램 회로는 제1 및 제2 타임스탬프 정보에 기반하여 히스토그램을 생성할 수 있고, 여기서 센서 어레이에 의해 반사 신호로 검출된 전송 펄스의 펄스폭에 대응하는 빈들의 수에 검출 이벤트가 가산된다. 하나의 실시예에서, 제1 게이팅 TDC 회로는 제1 주기를 포함하는 제1 클록 속도로 맞춰질 수 있고, 제2 TDC 회로는 제2 주기를 포함하는 제2 클록 속도로 맞춰질 수 있는데, 여기서 제1 주기는 제2 주기보다 더 짧을 수 있다. 다른 실시예에서는, 센서 어레이는 복수의 화소들이 제2 반사 신호의 센서 어레이 상의 제2 시차 위치에 대한 제3 물체로부터 수신된 제3 반사 신호의 센서 어레이 상의 제3 시차 위치를 검출하도록 더 배열될 수 있는데, 여기서 제3 물체는 센서 어레이로부터 제1 거리보다 크고 제2 거리보다 작은 제3 거리에 위치할 수 있다. 비행시간 센서는 제3 반사 신호의 검출에 관련된 제3 타임스탬프 정보를 생성하도록 구성된 제3 게이팅 TDC 회로를 더 포함할 수 있는데, 여기서 제3 게이팅 TDC 회로는 제3 시차 위치에 기반하여 제3 타임스탬프 정보를 생성하도록 게이팅될 수 있다. 또 다른 실시예에서는, 제3 게이팅 TDC 회로는 제1 주기보다 길고 제2 주기보다 짧은 제3 주기를 포함할 수 있는 제3 클록 속도에 맞춰질 수 있다. 또 다른 실시예에서는, 히스토그램 회로가 제1 및 제2 시차 위치들에 대응하는 빈들을 포함할 수 있는 히스토그램을 생성할 수 있다. 하나의 실시예에서, 평균 주변광 수준이 히스토그램 회로로 생성된 히스토그램의 각 빈으로부터 차감될 수 있다.
이하에서는 본 발명의 국면(aspect)들이 도면들에 도시된 예시적 실시예들을 참조하여 설명될 것인데, 도면에서:
도 1은 본 발명에 따른, LiDAR 시스템의 하나의 실시예의 작동 개념도;
도 2a는 본 발명에 따른, 예시적 펄스 레이저 패턴이 타원형으로 생성된 시야의 예를 보이는 도면;
도 2b는 본 발명에 따른, 인터리빙 또는 순차적이 될 수 있는 LiDAR 시스템의 레이저 빔을 보이는 도면;
도 3a는 본 발명에 따른, 고유 TDC를 갖는 LiDAR 시스템의 수신기의 제1 예시적 실시예를 보이는 도면;
도 3b는 본 발명에 따른, 화소내 TDC를 갖는 LiDAR 시스템의 수신기의 제2 예시적 실시예를 보이는 도면;
도 4는 본 발명에 따른, LiDAR 시스템의 예시적 구성을 보이는 도면;
도 5는 본 발명에 따른, 예시적 LiDAR 시스템에 대한 거리 대 시차의 예시적 그래프를 보이는 도면;
도 6은 본 발명에 따른, 4개의 화소들에 대한 예시적 히스토그램을 보이는 도면;
도 7은 본 발명에 따른, TOF 대 시차의 제1 예시적 그래프를 보이는 도면;
도 8은 본 발명에 따른, 도 6의 그래프에 대응하는 이미지 센서, 게이팅 TDC들, 및 전체 히스토그램 회로의 예시적 구성을 보이는 도면;
도 9는 본 발명에 따른, TOF 대 시차의 제2 예시적 그래프를 보이는 도면;
도 10은 본 발명에 따른, TOF 시스템 구성의 예를 보이는 도면;
도 11은 본 발명에 따른, TOF 시스템 구성의 다른 예를 보이는 도면;
도 12는 본 발명에 따른, "즉각적" 히스토그램 피크 결정 기법을 보이는 흐름도;
도 13은 본 발명에 따른, 예시적 “즉각적” 히스토그램 피크 결정 기법을 보이는 도면;
도 14는 본 발명에 따른, 이벤트 카운트들이 검출 이벤트 빈에 후속하는 빈들로 갱신되는 예를 보이는 도면; 및
도 15는 본 발명에 따른, TOF LiDAR 시스템을 포함하는 전자기기를 보이는 도면.
도 1은 본 발명에 따른, LiDAR 시스템의 하나의 실시예의 작동 개념도;
도 2a는 본 발명에 따른, 예시적 펄스 레이저 패턴이 타원형으로 생성된 시야의 예를 보이는 도면;
도 2b는 본 발명에 따른, 인터리빙 또는 순차적이 될 수 있는 LiDAR 시스템의 레이저 빔을 보이는 도면;
도 3a는 본 발명에 따른, 고유 TDC를 갖는 LiDAR 시스템의 수신기의 제1 예시적 실시예를 보이는 도면;
도 3b는 본 발명에 따른, 화소내 TDC를 갖는 LiDAR 시스템의 수신기의 제2 예시적 실시예를 보이는 도면;
도 4는 본 발명에 따른, LiDAR 시스템의 예시적 구성을 보이는 도면;
도 5는 본 발명에 따른, 예시적 LiDAR 시스템에 대한 거리 대 시차의 예시적 그래프를 보이는 도면;
도 6은 본 발명에 따른, 4개의 화소들에 대한 예시적 히스토그램을 보이는 도면;
도 7은 본 발명에 따른, TOF 대 시차의 제1 예시적 그래프를 보이는 도면;
도 8은 본 발명에 따른, 도 6의 그래프에 대응하는 이미지 센서, 게이팅 TDC들, 및 전체 히스토그램 회로의 예시적 구성을 보이는 도면;
도 9는 본 발명에 따른, TOF 대 시차의 제2 예시적 그래프를 보이는 도면;
도 10은 본 발명에 따른, TOF 시스템 구성의 예를 보이는 도면;
도 11은 본 발명에 따른, TOF 시스템 구성의 다른 예를 보이는 도면;
도 12는 본 발명에 따른, "즉각적" 히스토그램 피크 결정 기법을 보이는 흐름도;
도 13은 본 발명에 따른, 예시적 “즉각적” 히스토그램 피크 결정 기법을 보이는 도면;
도 14는 본 발명에 따른, 이벤트 카운트들이 검출 이벤트 빈에 후속하는 빈들로 갱신되는 예를 보이는 도면; 및
도 15는 본 발명에 따른, TOF LiDAR 시스템을 포함하는 전자기기를 보이는 도면.
이하에서는 본 발명의 완전한 이해를 제공하기 위해 상세한 설명과 여러 가지 구체적 상세들이 제시된다. 그러나 당업계에 통상적인 기술을 가진 자라면 이들 구체적 상세들이 없이도 본 발명의 국면들을 구현할 수 있을 것이다. 다른 경우들에, 잘 알려진 방법, 과정, 컴포넌트, 및 회로들은 본 발명을 모호하게 하지 않도록 상세히 설명되지 않았음을 이해해야 할 것이다.
이 명세서 전체에 걸쳐 "하나의 실시예(one embodiment)" 또는 "어떤 실시예(an embodiment)"에 대한 언급은 특정한 이 명세서에 개시된 적어도 하나의 실시예에 연계하여 기재된 특정한 특징(feature), 구조, 또는 특성을 의미한다. 이에 따라, 이 명세서 전체의 여러 위치에서의 "하나의 실시예에서(in one embodiment)" 또는 "어떤 실시예에서(in an embodiment)" 또는 "하나의 실시예에 따라(according to one embodiment)"라는 문구(또는 유사한 의미를 갖는 다른 문구)의 출현은 반드시 동일한 실시예를 지칭하는 것은 아닐 수 있다. 뿐만 아니라, 특정한 특징, 구조, 또는 특성들은 하나 이상의 실시예들에 적절한 방식으로 조합될 수 있다. 이 점에 있어서 이 명세서에 사용된 "예시적(exemplary)"이라는 단어는 "예(example, instance, 또는 illustration)로 기능"한다는 것을 의미한다. 명세서에 “예시적”이라고 기재된 어떤 실시예는 다른 실시예들에 비해 선호되거나 유용한 것으로 해석되어서는 안 된다. 또한 특정한 특징, 구조, 또는 특성들은 하나 이상의 실시예들에 어떤 적절한 방식으로 조합될 수 있다. 뿐만 아니라, 이 명세서의 논의의 맥락에 따라, 단수 용어는 대응하는 복수형들을 포함할 수 있고 복수 용어는 대응하는 단수형을 포함할 수 있다. 마찬가지로 (예를 들어 "2-차원적(two-dimensional)", "사전-설정된(pre-determined)", "화소-특정(pixel-specific)" 등) 하이픈으로 연결된(hyphenated) 용어는 때로 (예를 들어 "2차원적(two dimensional)", "사전 설정된(predetermined; 소정의)", "화소 특정(pixel specific)" 등) 대응하는 하이픈 없는 버전(version)과 호환적으로 사용될 수 있고, (예를 들어 "Counter Clock," "Row Select," "PIXOUT," 등) 첫 문자가 대문자화된 용어(capitalized entry)는 (예를 들어 "counter clock," "row select," "pixout" 등) 대응하는 대문자화되지 않은 버전과 호환적으로 사용될 수 있다. 이러한 때로의 호환적 사용은 서로 불일치하는 것으로 간주되어서는 안 될 것이다.
또한 이 명세서의 논의의 맥락에 따라, 단수 용어는 대응하는 복수형들을 포함할 수 있고 복수 용어는 대응하는 단수형을 포함할 수 있다. 이 명세서에 도시 및 설명된 (컴포넌트도(component diagram)를 포함한) 여러 도면들은 예시적 목적일 뿐으로 축척대로 도시된 것이 아니다. 예를 들어 일부 부재들의 크기는 명확성을 위해 다른 부재들에 대해 과장되어 있음에 주목해야 한다. 또한 적절하다고 간주되면 참조번호들은 대응 및/또는 유사한 부재들을 표시하기 위해 여러 도면들 중에 반복되었다.
이 명세서에 사용된 용어들은 일부 예시적 실시예들을 설명하기 위한 목적만이며 청구되는 주제를 한정할 것을 의도한 것이 아니다. 이 명세서에 사용된 단수형 "a," "an" 및 "the"들은 문맥이 명확히 달리 지시하지 않는 한 복수형들 역시 포함할 것을 의도한 것이다. 이 명세서에 사용될 때 "구비한다(comprises)" 및/또는 "구비하는(comprising)"이라는 용어들은 기재된 특징, 수치, 단계, 작동, 부재, 및/또는 컴포넌트들의 존재를 규정하지만, 하나 이상의 다른 특징, 수치, 단계, 작동, 부재, 컴포넌트들 및/또는 그 그룹들의 존재 또는 추가를 배제하지 않는다는 것을 이해해야 할 것이다.
어떤 부재 또는 층이 다른 부재 또는 층의 위(on), 또는 에 "연결(connected to)" 또는 "접속(coupled to)"된다고 언급될 때, 이는 다른 부재 또는 층의 바로 위, 직접 연결 또는 접속되거나 중간(intervening) 부재 또는 층들이 존재할 수 있다.반면, 어떤 부재가 다른 부재나 층의 "바로 위(directly on)", 또는 에 "직접 연결(directly connected to)" 또는 "직접 접속(directly coupled to)"된다고 언급되면 중간 부재 또는 층들이 존재하지 않는다. 유사한 (참조)번호들은 전체적으로 유사한 부재들을 지칭한다. 이 명세서에서 “및/또는(and/or)"이라는 용어는 하나 이상의 관련하여 열거된 항목들의 모든(any and all) 조합들을 포함한다.
이 명세서에서 "제1(first)", "제2(second)" 등의 용어는 이들이 선행하는 명사들에 대한 표지(label)로 사용된 것이며, 명시적으로 그렇게 규정되지 않는 한 (예를 들어 공간적, 시간적, 논리적 등) 어떤 종류의 순서(ordering)를 의미하지 않는다. 뿐만 아니라, 동일한 참조번호들은 둘 이상의 도면들에 걸쳐 동일 또는 유사한 기능을 갖는 부품, 컴포넌트, 블록, 회로, 유닛, 또는 모듈들을 언급하는 데 사용될 수 있다. 그러나 이러한 사용은 설명의 간결성과 논의의 편의만을 위한 것이며; 이러한 컴포넌트 또는 유닛들의 구성 또는 구조의 상세들이 모든 실시예에 걸쳐 동일하거나, 공통으로 언급된 부품/모듈들이 이 명세서에 개시된 일부 예시적 실시예들을 구현하는 유일한 방식이라는 것을 의미하지 않는다.
달리 정의되지 않는 한, (기술적 및 과학적 용어를 포함하여) 이 명세서에 사용된 모든 용어들은 본 발명이 속하는 업계에 통상적인 기술을 가진 자에게 보통 이해되는 것과 동일한 의미를 갖는다. 흔히 사용되는 사전들에 정의된 것들 등의 용어는 관련 분야의 맥락에서의 의미와 일치해야 하며 이 명세서에 명시적으로 그렇게 정의되지 않는 한 이상화되거나 과도히 형식적인 감각으로 해석되어서는 안 된다는 것을 이해해야 할 것이다.
이 명세서에 사용된 "모듈(module)"이라는 용어는 모듈에 관련하여 이 명세서에 기재된 기능을 제공하도록 구성된 소프트웨어, 펌웨어, 및/또는 하드웨어의 어떤 조합을 지칭한다. 예를 들어, 소프트웨어는 소프트웨어 패키지, 코드, 및 또는 명령 세트(instruction set) 또는 명령들로 구현될 수 있고, 이 명세서에 기재된 어떤 구현예에 사용된 "하드웨어(hardware)"라는 용어는 예를 들어 조립체(assembly), 유선(hardwired) 회로, 프로그래밍 가능한(programmable) 회로, 상태 기계(state machine) 회로, 및/또는 프로그래밍 가능한 회로로 실행 가능한 명령들을 저장하는 펌웨어를 단독 또는 어떤 조합으로 포함할 수 있다. 모듈들은 집합적으로 또는 개별적으로, 이에 한정되지는 않지만 예를 들어 집적회로(IC), 시스템온칩(system-on-a-chip; SoC), 조립체 등의 더 큰 시스템의 일부를 형성하는 회로로 구현될 수 있다.
본 발명은 모바일(mobile) 및/또는 자동차 기기를 위한 저출력(low-power) LiDAR 시스템을 제공한다. 이러한 LiDAR 시스템은 순차적(sequential) 또는 인터리빙(interleaving) 방식으로 개별적으로 펄싱되거나(pulsed) 그룹들로 펄싱되는 레이저 빔을 갖는 송신기(transmitter)를 포함할 수 있다. 레이저 빔 형상은 선형, 원형, 타원형(oval; 난형), 또는 불규칙한 형상이 되도록 제어될 수 있다. LiDAR 시스템은 시차 기반 화소 그루핑(disparity-based pixel grouping)를 제공하며 귀환 펄스가 검출된 시간을 나타내는 타임스탬프 정보를 생성하는 TDC 회로를 사용할 수 있는 수신기(receiver)를 포함할 수 있다. TDC는 시차를 기반으로 게이팅된다(gated). TDC 주파수는 빈(bin) 크기 한도 너머의 깊이 정밀도를 향상시키도록 제한될 수 있다. 본 발명(disclosed herein) LiDAR 시스템 역시 축소 빈(reduced-bin) 히스토그램을 사용하고, 배경 소거(background cancelled) 히스토그램을 제공할 수 있거나 및/또는 즉각적(on-the-fly) 피크 검출을 사용할 수 있다. 본 발명 LiDAR 시스템으로 제공되는 이점은 더 낮은 전력 소비를 제공하면서, 전체 측정 범위(entire measurement range)에 걸쳐 더 우수한 거리(range) 정밀도이다.
본 발명은 높은 공간 해상도(spatial resolution)를 제공하면서도 감소된 수의 탐문(interrogation)을 위한 레이저 펄스들을 사용함으로써 광출력(optical power)을 저감시킬 수 있는 효율적인 LiDAR 시스템을 제공한다. 하나의 실시예에서, 준(semi) XY 어드레싱 가능한(addressable) 수직 공진면 발광 레이저(Vertical Cavity Surface Emitting Laser; VCSEL) 어레이가 라인 주사(line scanning), 영역 주사(regional scanning), 또는 플래시 조명 주사(flash-illumination scanning)에 사용될 수 있다. 게이팅(gated) TDC를 축소 빈 히스토그램과 조합하여 사용함으로써 1회 주사(one-pass) 고해상도(high resolution) 깊이 측정이 제공된다. TDC 주파수(클록)는 레이저 펄스폭이 TDC 주기의 배수(multiple)가 되도록 선택될 수 있다. 교차 상관(cross-correlation) 기법을 사용하여 즉각적 피크 검출이 제공될 수 있다.
도 1은 본 발명에 따른 LiDAR 시스템(100)의 예시적 실시예의 작동 개략도를 도시한다. LiDAR 시스템(100)은 송신기(TX)와 수신기(RX)를 포함할 수 있다. 하나의 실시예에서, 송신기(TX)와 수신기(RX)는 하나 이상의 모듈들로 구성될 수 있다. 송신기(TX)는 VCSEL 어레이 등의 펄스(pulsed) 레이저 원(laser source)(101)을 사용할 수 있는데, 이는 레이저 펄스(102)들의 하나 이상의 빔(beam; 103)들을 투사한다. 각 해당 빔(103)은 분산되거나, 하나 이상의 시트(sheet)(또는 평면), 원, 타원, 또는 다른 규칙적 또는 불규칙한 형상들을 형성할 수 있다. 도 1에 묘사된 빔(103)은 시트의 평면 내에 라인(line)을 구성하는 시트를 형성하였다. 빔들은 수신기(RX)로 결정된 관심 시야(field of interest; FOI)에 따라 개별적 또는 그룹으로 작동될 수 있다. 개별 빔 또는 빔들의 그룹은 전력 공급 배선(power supply lines)의 피크 전류를 제한하도록 인터리빙 방식으로 작동될 수 있다.
수신기(RX)에서, 렌즈(lens; 104)는 물체(object; 106)로부터 반사된 하나 이상의 귀환 빔(return beam; 105)들을, 광도 화상(intensity image)과 3차원(3D) TOF 정보를 포착(capture)할 수 있는 하나 이상의 화상 센서(image sensor; 107)들에 집속한다. 하나 이상의 화상 센서(107)는 2차원(2-D) CMOS 화상 센서, 시간상관 단광자 계수(Time-Correlated Single-Photon Counting; TCSPC) 모드로 작동되는 DTOP 센서, 및/또는 하이브리드 2D/3D 센서를 포함할 수 있다. 하나의 실시예에서, TOF정보를 연산하고 히스토그램을 형성하는 데 사용되는 회로는 화상 센서(107)와 한 칩에 장착(on-chip)될 수 있다. 삼각측량법(triangulation technique)이 히스토그램 범위(range)를 한정하는 데 사용될 수 있고, 광도 정보가 주변광(ambient light)로 유발된 배경잡음을 소거(cancel)하는 데 사용될 수 있다. 축소 빈 히스토그램 기법이 히스토그램 블록 크기를 최소화시키는 데 사용될 수 있다, 대충의 피크(coarse peak) 주변의 광도 정보가 깊이 정밀도를 향상시키는 데 사용될 수 있다.
송신기(TX) 펄스 레이저 패턴과 FOI 제어(TX Pulsed Laser Pattern and FOI Control)
펄스 레이저 원(101)은 하나 이상의 시트, 원형, 타원형, 또는 다른 형상들을 형성하는 라인 또는 도트(dot)들 형상의 빔들의 어레이가 될 수 있는 펄스 레이저 패턴(pulsed-laser pattern)을 형성하도록 제어될 수 있다. 빔들의 어레이는 개별적 또는 그룹으로 작동될 수 있다. FOI들은 수신기(RX)로 결정될 수 있다. 기계학습 기반(Machine-learning-based) 물체 인식(object recognition)이 FOI들을 결정하는 데 사용될 수 있다. 도 2a에는 두 예시적 FOI들이 묘사되어 있다. 제1 FOI(FOI 1)는 두 사람을 포함하고, 제2 FOI(FOI 2)는 하나의 차량을 포함한다. 펄스 레이저 패턴들은 빈(white) 타원형(201)들로 지시된 바와 같이 FOI들에만 직접 투사된다. 레이저 빔들은 순차적(210)이거나 또는 전력 공급 배선의 피크 전류를 제한하기 위해 도 2b에 도시된 바와 같이 인터리빙(211)이 될 수 있다.
수신기(RX) 깊이 취득(RX Depth Acquisition)
도 3a는 본 발명에 따른, 공유(shared) TDC를 갖는 LiDAR 시스템(100)의 수신기(300)의 제1 예시적 실시예를 도시한다. 수신기(300)는 도 3a에 보인 바와 같이 연결된, SPAD(302)와, ?칭 소자(quenching device; 303)와, 감지 회로(sensing circuit; 304)와, 및 선택기 스위치(selector switch; 305)를 갖는 화소(pixel; 301)를 포함할 수 있다. SPAD(302)가 광자(photon)를 검출하면, 감지 회로(304)에 대한 입력인 파형(waveform; 306)이 생성된다. ?칭 소자(303)는 SPAD(302)를 전압 VAPD로 재충전하도록 작동하여 SPAD(302)가 다른 광자에 의해 트리거링될(triggered) 준비가 될 수 있다. 파형(306)에 응답하여 감지 회로(304)는 디지털 펄스 파형(307)을 출력한다. 파형(307)의 펄스폭(pulse width)은 감지회로(304)로 제어 가능하거나 불가능할 수 있다. 리셋 신호(reset signal; RST)는 감지 회로가 다른 파형(306)에 응답할 수 있게 하는. 감지 회로(304)에 대한 입력이다.
선택기(305)는 파형(307)이 화소(301)로부터 다른 화소들(도시 안 됨)과 공유될 수 있는 PIXOUT 출력 신호 라인으로 출력될 수 있게 하도록 SEL 신호에 의해 제어될 수 있다. 즉 LiDAR 시스템(100)의 수신기(300)의 제1 예시적 실시예는 개별적 출력 파형(307)들이 공유 TDC 회로들과 공유 광도(광자) 카운터(counter) 회로들에 대한 입력이 되는 화소들의 어레이를 포함할 수 있다.
도 3a는 공유 TDC 회로(308)와 광도(광자) 카운터 회로(309)가 PIXOUT 출력에 접속될 수 있음을 보인다. TDC 회로(308)와 광도 카운터 회로(309) 양자로부터의 출력들은 히스토그램 회로(310)에 대한 입력이다. 광도 카운터 회로(309)로부터와 히스토그램 회로(310)로부터의 출력을 ISP 블록(도시 안 됨)에 접속되어 피크의 위치를 탐색하고 TDC 출력을 TOF 정보로 변환한다. 광도 카운터 회로(309)의 출력은 화소(301)의 광도 정보를 반영(reflect)하여, 배경 소거 목적으로 히스토그램 회로(310) 및/또는 ISP 블록에 사용될 수 있다. 공유 TDC 회로(308)와, 광도 카운터 회로(309)와, 및 히스토그램 회로(310)의 각각은 모듈들로 구현될 수 있다.
도 3b는 본 발명에 따른, 화소내(in-pixel), TDC 회로와, 광도 카운터 회로와, 히스토그램 회로와, 및 두 선택기 스위치들을 갖는 LiDAR 시스템(100)의 수신기(350)의 제2 예시적 실시예를 도시한다. 수신기(350)는 도 3b에 보인 바와 같이 연결된, SPAD(352)와, ?칭 소자(353)와, 및 감지 회로(354)를 갖는 화소(351)를 포함할 수 있다. SPAD(352)가 광자를 검출하면, 감지 회로(354)에 대한 입력인 파형(356)이 생성된다. ?칭 소자(353)는 SPAD(352)를 전압 VAPD로 재충전하도록 작동하여 SPAD(352)가 다른 광자에 의해 트리거링될 준비가 될 수 있다. 파형(356)에 응답하여 감지 회로(354)는 디지털 펄스 파형(357)을 출력한다. 파형(357)의 펄스폭은 감지회로(354)로 제어 가능하거나 불가능할 수 있다. 리셋 신호(RST)는 감지 회로가 다른 파형(356)에 응답할 수 있게 하는, 감지 회로(354)에 대한 입력이다.
파형(357)은 화소내 TDC 회로(358)와 화소내 광도(광자) 카운터 회로(359)에 대한 입력이다. 즉 TDC 회로(358)와 광도 카운터 회로(359)는 다른 화소들과 공유되지 않는다. TDC 회로(358)와 광도 카운터 회로(359) 양자로부터의 출력들은 화소내 히스토그램 회로(360)에 대한 입력이다. 광도 카운터 회로(359)로부터의 출력 신호는 제1 선택기 스위치(361)를 통과하는데, 이는 PIX_CNT_SEL 신호로 제어되어 출력 신호를 ISP 블록(도시 안 됨)에 접속한다. 히스토그램 회로(360)로부터의 출력 신호는 제2 선택기 스위치(361)를 통과하는데, 이는 PIX_HIST_SEL 신호로 제어되어 출력 신호를 ISP 블록(도시 안 됨)에 접속한다. 광도 카운터 회로(359)와 히스토그램 회로(360)로부터의 출력 신호들은 ISP 블록에 의해 사용되어 피크의 위치를 탐색하고 TDC 출력을 TOF 정보로 변환한다.
도 3a의 광도 카운터 회로(309)와 유사하게, 광도 카운터 회로(359)의 출력은 화소(351)의 광도 정보를 반영하여, 배경 소거 목적으로 히스토그램 회로(360) 및/또는 ISP 블록에 사용될 수 있다. 화소내 TDC 회로(358)와, 화소내 광도 카운터(359)와, 및 화소내 히스토그램 회로(360)의 각각은 화소(351)의 일부로 제조될 수 있다.
도 4는 본 발명에 따른, LiDAR 시스템(100)의 예시적 구성(400)을 도시한다. 구성(400)에서, 송신기(TX)는 y축에서 수신기(RX) 위에 위치한다. 송신기(TX)의 레이저 스캐너(laser scanner; 401)는 라인 또는 도트들 형상의 빔들의 어레이로 형성될 수 있는 시트, 원형, 타원형, 또는 다른 형상 등의 하나 이상의 펄스 레이저 패턴들을 전송한다. 각 개별적 빔(402)은 레이저 스캐너(401)로부터 시스템(100)에 대해 고정된 스캔각(a)을 갖는 투사 경로(projection path; d 1 )를 따라 전송된다. 빔(402)이 물체(403)에 투사되면, 반사 빔(404)이 귀환 경로(d 2 )를 따라 수신기(RX)로 귀환해 수신기(RX)의 화상 센서(407)의 화상면(image plane; 406)으로의 초점거리(f)를 갖는 하나 이상의 렌즈(405)들로 집속된다.
빔(402)이 더 먼 물체(403)에 투사되면, 화상면(406) 상의 귀환 빔(404)의 위치가 고정된다. 예를 들어 예시적 송신기(TX) 및 수신기(RX)에 대해, 귀환 빔의 원거리(far-field) 화상의 위치는 화상 센서(407)의 중심 행(row)으로부터 dY inf 거리인 화상 센서의 행("무한 행(infinity row)"으로 표기)이다. 물체가 카메라(LiDAR 시스템(100))에 더 가까우면, dY inf 로부터 dY의 시차 거리(disparity distance)가 존재할 것이다.
LiDAR 시스템(100)으로부터 물체(403)의 거리(range; Z)는 다음 삼각측량 방정식을 사용하여 결정될 수 있다.
여기서 f는 하나 이상의 렌즈들의 초점거리이고, B는 레이저 스캐너(402)와 화상 센서(407)의 중심 행 사이의 기선 길이(baseline length)이며, dY inf 는 화상 센서(407)의 중심 행과 무한 행 사이의 거리이고, dY는 시차 거리이며, a는 시스템(100)에 대한 투사 경로(d 1 )의 각도이다.
레이저 펄스의 비행시간(time of flight)은 다음 식으로부터 직접 결정될 수 있다.
여기서 d 1 는 투사 경로의 거리이고, d 2 는 귀환 경로의 거리이며, c는 광속(speed of light)이고, t 1 은 물체로의 투사 경로 상의 비행시간이며, t 2 는 물체로부터의 귀환 경로 상의 비행시간이다.
도 5는 본 발명에 따른, 예시적 LiDAR 시스템(100)의 거리 대 시차(Range vs. Disparity)의 예시적 그래프(500)를 보인다. 화소들 내의 시차가 횡축을 따라 보이고 m 단위인 거리가 종축을 따라 보인다. 도 5의 그래프에서, 약 4.2 m보다 큰 거리를 갖는 물체는 시차를 갖지 않는다. 물체가 약 1.2 m 내지 4.2 m 사이의 거리를 가지면 물체는 한(1) 화소의 시차를 갖는다. 물체의 거리가 LiDAR 시스템에 더 가까워지면 시차가 더 커진다. 1 m 미만의 거리에 있는 물체는 2 내지 6 화소의 시차를 가질 수 있다. 거리 대 시차의 특성을 감안하여, 각 화소에 대해 게이팅 창(게이팅되는 창; gated window)이 반사된 레이저 펄스를 포착하는 데 사용될 수 있다. 이와는 달리, 동일한 게이팅 창이 그루핑된(grouped) 화소들에 대해 사용될 수도 있다.
도 6은 본 발명에 따른, 4개의 화소들에 대한 예시적 히스토그램(600)을 보인다. 예시적인 전체(full) 히스토그램은 도 5의 거리와 시차 특성에 대응하여 묘사되었다. PIX 0은 약 4.2 m보다 큰 거리(즉 시차가 없는 거리)를 갖는 물체의 히스토그램 빈이다. PIX 1은 약 1.2 m 내지 4.2 m의 거리를 갖는 물체의 히스토그램 빈이다. PIX 2는 약 1.2 m 내지 0.8 m의 거리를 갖는 물체의 히스토그램 빈이다. PIX 1은 약 0.7 m 내지 0.5 m의 거리를 갖는 물체의 히스토그램 빈이다.
게이팅 창을 갖는 수신기(RX) 온칩(On-Chip) TDC(RX On-Chip TDC with Gated Window)
도 7은 본 발명에 따른, TOF 대 시차(TOF vs. Disparity)의 제1 예시적 그래프이다. 그래프(700)는 도 5에 보인 특성에 대응한다. TDC 작동에 대한 복수의(multiple) 게이팅 창들이 시차에 기반하여 정의될 수 있다. 하나의 화소 또는 화소들의 그룹이 동일한 게이팅 창을 공유할 수 있다. 예를 들어, 게이팅 창 1은 도 6의 PIX 0의 시차에 대응한다. 게이팅 창 2는 도 6의 PIX 1의 시차에 대응한다. 게이팅 창 3은 도 6의 PIX 2의 시차에 대응한다. (PIX 3의 시차에 대응하는 게이팅 창은 그래프(700)에 도시되지 않았다). 동일한 게이팅 창을 갖는 동일한 그룹에 속하는 화소들은 동일한 TDC 회로를 공유할 수 있다. 다른 게이팅 창들은 이에 따른 다른 TDC 클록들을 사용하므로 다른 TDC 해상도(resolution)들을 가질 수 있다,. 게이팅 창들은 다른 게이팅 창들과의 사이에 중첩(overlap)을 가질 수 있고, 각 화소는 그 자체의 화소내 TDC 회로를 가질 수 있다.
도 8은 본 발명에 따른, 도 6의 그래프에 대응하는 화상 센서의 화소들과, 게이팅 TDC들과, 및 완전한 히스토그램 회로의 예시적 구성(800)을 보인다. 도 8에서, PIX 0은 게이팅 TDC(801)에 접속된다. PIX 1은 게이팅 TDC(802)에 접속되고 PIX 2 - PIX7들은 게이팅 TDC(803)에 접속된다. 게이팅 TDC 1 - TDC 3의 출력들은 완전한 히스토그램 회로(804)에 접속된다.
수신기(RX) 축소 빈(Reduced-Bin) 가변 정밀도(Variable Precision) 히스토그램(RX Reduced-Bin Variable Precision Histogram)
화소들은 TOF 거리에 의해 그루핑될(grouped) 수 있으며, 다른 TDC 게이팅 창들이 다른 그룹들에 사용될 수 있다. 다른 TDC들은 깊이 정밀도(depth precision)들을 갖도록 구성될 수 있다. 더 짧은 거리는 더 빠fms 클록을 갖는 더 정밀한 해상도를 가질 수 있으며, 더 먼 거리는 더 느린 클록을 갖는 더 거친 해상도를 가질 수 있다. 도 9는 본 발명에 따른, TOF 대 시차의 제2 예시적 그래프(900)를 보인다. 그래프(900)는 도 5에 보인 특성에 대응한다. 그래프(900)는 균일한 빈 크기와 완전한 히스토그램보다 더 적은 수의 빈들을 갖는 빈 축소(bin-reduced) 히스토그램을 형성하는 데 사용될 수 있다.
도 10은 본 발명에 따른, 예시적 TOF 시스템 구성(1000)을 도시한다. 이 TOF 시스템 구성(1000)은 도 9의 그래프에 기반하여 작동한다. 도 10에서, PIX 0은 시차 기반 게이팅 TDC(1001)에 접속된다. 제1 클록 신호(CLK1)는 시차 기반 게이팅 TDC(1001)에 대한 입력이다. PIX 1 - PIX 7은 시차 기반 게이팅 TDC(1002)에 접속된다. 제2 클록 신호(CLK2)는 시차 기반 게이팅 TDC(1002)에 대한 입력이다. 제1 클록 신호(CLK1)는 PIX 0에 연계된 거리 해상도(range resolution)에 대응하도록 선택된 제1 주기를 갖는다. 마찬가지로, 제2 클록 신호(CLK2)는 PIX 1 - PIX 7에 연계된 거리 해상도에 대응하도록 선택된 제2 클록 주기를 갖는다. 예를 들어, 제1 클록 신호(CLK1)는 2 ns의 주기를 가질 수 있는데, 이는 약 30 cm의 해상도를 제공하고, 제2 클록 신호(CLK2)는 0.25 ns의 주기를 가질 수 있는데, 이는 약 5 cm의 해상도를 제공한다. 시차 기반 게이팅 TDC(1002, 1003)들의 출력은 TDC 선택 회로(1003)에 대한 입력이다. TDC 선택 회로(1003)는 시차 기반 게이팅 TDC(1001, 1002)들의 출력들 사이에서 선택하도록 제어될 수 있는데, 이는 빈 축소 히스토그램 회로(1004)로 전달(pass)된다. 도 10의 예시적 시스템(1000)이 단지 2개의 시차 기반 게이팅 TDC들을 도시하고 있지만, 예시적 시스템(1000)이 2개보다 많은 시차 기반 게이팅 TDC들을 가지도록 구성될 수 있음을 이해해야 할 것이다.
도 11은 본 발명에 따른, 예시적 TOF 시스템 구성(1100)을 도시한다. 이 TOF 시스템 구성(1100)은 도 9의 그래프에 기반하여 작동한다. 도 11에서, PIX 0 - PIX 7은 광도 기반(intensity-based) 그룹/클록 선택 회로(1101)에 접속된다. 제1 클록 신호(CLK1)와 제2 클록 신호(CLK2) 역시 그룹/클록 선택 회로(1101)에에 대한 입력이다. 제1 클록 신호(CLK1)는 PIX 0에 연계된 거리 해상도에 대응하도록 선택된 제1 주기를 갖는다. 마찬가지로, 제2 클록 신호(CLK2)는 PIX 1 - PIX 7에 연계된 거리 해상도에 대응하도록 선택된 제2 클록 주기를 갖는다. 예를 들어, 제1 클록 신호(CLK1)는 2 ns의 주기를 가질 수 있는데, 이는 약 30 cm의 해상도를 제공하고, 제2 클록 신호(CLK2)는 0.25 ns의 주기를 가질 수 있는데, 이는 약 5 cm의 해상도를 제공한다. 광도 기반 그룹/클록 선택 회로(1101)는 개별 화소 그룹들로 검출된 광도 수준에 기반하여 화소 그룹과 대응 클록 신호를 선택한다. 이 선택에 기반하여 이벤트 신호(event signal)와 대응 클록 신호가 시차 기반 게이팅 TDC 회로(1102)로 출력된다. 시차 기반 게이팅 TDC(1102)의 출력은 빈 축소 히스토그램 회로(1103)에 대한 입력이다. 도 11의 예시적 시스템(1100)이 단지 2개의 화소들의 그룹과 2개의 클록 신호들만을 도시하고 있지만, 예시적 시스템(1100)이 2개보다 많은 화소들의 그룹과 클록 신호들을 가지도록 구성될 수 있음을 이해해야 할 것이다.
수신기(RX) 주변광 유발 배경 잡음 소거(Ambient Light Caused Background Noise Cancellation)
FOI 내의 화소들은 주변광 수준의 측정을 위해 레이저 펄스가 전송되지 않는 광자 카운팅(photon-counting) 모드에서 작동될 수 있다. 레이저 펄스가 전송될(작동될; activated) 경우와 동일한 게이팅 창들과 측정 주기가 사용될 수 있다. 모든 사이클들의 게이팅 창 내에서 화소를 트리거링하는 광자들의 전체 수가 계수될 수 있는데, 평균 광자 카운트(average photon count; P BIN AVE )가 게이팅 창 내의 각 히스토그램 빈에 대해 결정될 수 있다. 이어서 거리 측정을 위해 레이저가 작동된다. 해당 평균(P BIN AVE )이 히스토그램이 형성되기 전, 형성되는 동안, 또는 형성된 후 각 개별적 빈으로부터 차감될 수 있다. 레이저 작동 사이클(laser activation cycle)들의 종단에서 배경(주변) 잡음이 측정치로부터 소거되었고, 양의 카운트들을 갖는 히스토그램 빈들이 최빈 가능(most likely) 피크 검출을 위해 고려될 수 있다.
수신기(RX) 교차상관을 사용한 즉각적(On-the-Fly) 히스토그램 피크 검출(RX On-the-Fly Histogram Peak Detection with Cross-Correlation)
도 12는 본 발명에 따른, "즉각적(on the fly)" 히스토그램 피크 결정 기법의 흐름도(1200)이다. 도 13은 본 발명에 따른, 예시적 "즉각적(on the fly)" 히스토그램 피크 결정 기법을 도시한다. 레이저 펄스폭(PW)이 N인 예를 고려하기로 한다. 단계 1201에서, 현재(current) 피크 값이 0으로 설정된다. 단계 1202에서, 광자 검출 이벤트가 발생했는지 여부를 판단한다. 그렇지 않으면 흐름은 1202로 복귀한다. 단계 1202에서, k의 TDC 출력을 갖는 광자 검출 이벤트가 발생했으면, 흐름은 1203으로 이행하여 이벤트 카운트(event count)가 빈 k를 선행 또는 후속하는 빈들에서 빈 k에 이웃하는 N개의 연속적인 히스토그램 빈들에 가산되어 검출된 이벤트들에 교차상관함수(cross-correlation function)를 유효하게 적용한다. 예를 들어, k의 TDC 출력에 대해 하나의 이벤트 카운트가 빈 k-(N+1) 내지 k, 또는 k 내지 k+(N-1)들에 가산된다. 도 13에서, 4의 예시적 레이저 PW가 빈 k로의 TDC 출력에 대해 보인다. (하나의 원으로 표현된) 하나의 이벤트 카운트가 (빈 k를 선행하는) 빈 k-3, k-2, 및 k-1과 빈 k에 가산된다.
흐름은 1204로 계속되는데, 여기서 갱신된 빈에 대한 값(갱신 값; Updated Value; UV)이 현재 피크 값(현재 값; Current Value; CV)보다 큰지 여부가 결정된다. 크지 않다면 흐름은 1202로 복귀한다. 크다면, 흐름은 1205로 계속되고, 여기서 현재 피크 값이 갱신 값으로 교체된다. 2개의 메모리 셀(즉 레지스터)들이 현재 피크 값과 해당 빈의 위치를 저장하는 데 할당될 수 있다.
흐름은 단계 1206으로 계속되고, 여기서 레이저 펄스들을 포착할 축적 기간(accumulation period)이 완료되었는지 여부가 판단된다. 그렇지 않다면 흐름은 단계 1202로 복귀한다. 그렇다면 흐름은 단계 1207로 계속되어, 여기서 피크 히스토그램 값과 해당 빈의 위치가 2개의 레지스터들에 제공된다(available).
도 14는 본 발명에 따른, 이벤트 카운트들이 검출 이벤트 빈에 후속하는 빈들에 갱신된 예를 도시한다. 도 14에는, 36개의 이벤트 빈(1401)들이 존재하고 레이저 PW는 4이다. 5의 TDC 값을 갖는 검출 이벤트에 대해, 대응 교차상관 빈 블록이 1402에 도시되었다. 교차상관 빈들은 36개의 이벤트 빈들의 각각에 대해 1403에 도시되었다.
도 15는 본 발명에 따른, TOF LiDAR 시스템을 포함하는 전자기기(1500)를 보인다. 이 전자기기(1500)는 버스(1590)를 통해 서로 접속되는 컨트롤러(또는 CPU)(1510)와, 이에 한정되지는 않지만 키패드(keypad), 키보드, 디스플레이, 터치스크린 디스플레이, 카메라, 및/또는 화상 센서 등의 입출력 장치(input/output device; 1520)와, 메모리(1530)와, 인터페이스(1540)와, GPU(1550)와, 화상처리 유닛(imaging-processing unit; 1560)과, 신경 처리 유닛(neural processing unit; 1570)과, 및 TOF 처리 유닛(1580)을 포함할 수 있다. 컨트롤러(1510)는 예를 들어 적어도 하나의 마이크로프로세서, 적어도 하나의 디지털 신호 프로세서, 적어도 하나의 마이크로컨트롤러 등을 포함할 수 있다. 메모리(1530)는 컨트롤러(1510)로 사용될 명령 코드 또는 사용자 데이터를 저장하도록 구성될 수 있다. TOF 처리 유닛(1580)은 이 명세서의 도 1-14와 연계하여 설명된 하나 이상의 예에 기반하도록 구성될 수 있다.
전자기기(1500)와 전자기기(1500)의 다양한 시스템 컴포넌트들은 하나 이상의 모듈들로 구성될 수 있다. 인터페이스(1540)는 RF 신호를 사용하는 무선 통신망으로 데이터를 송신 또는 데이터를 수신하도록 구성된 무선 인터페이스를 포함하도록 구성될 수 있다. 무선 인터페이스(1540)는 예를 들어 안테나를 포함할 수 있다. 전자기기(1500)는 또한 이에 한정되지는 않지만 코드분할 다중접속(Code Division Multiple Access; CDMA), 이동통신 세계화 시스템(Global System for Mobile Communications; GSM), 북미 디지털 통신(North American Digital Communications; NADC), 확장 시분할 다중접속(Extended Time Division Multiple Access; E-TDMA), 광대역(Wideband) CDMA(WCDMA), CDMA2000, Wi-Fi, 자치단체(Municipal) Wi-Fi(Muni Wi-Fi), 블루투스(Bluetooth), 디지털 강화 무선통신(Digital Enhanced Cordless Telecommunications; DECT), 무선 범용 직렬 버스(Wireless Universal Serial Bus; Wireless USB), 끊김 없이 이관하는 고속 저지연 접속 직교 주파수 분할 다중화(Fast low-latency access with seamless handoff Orthogonal Frequency Division Multiplexing; Flash-OFDM), IEEE 802.20, 일반 패킷 무선 서비스(General Packet Radio Service; GPRS), iBurst, 무선 광대역(Wireless Broadband; WiBro), WiMAX, WiMAX-Advanced, 범용 이동통신 서비스 - 시분할 복신(Universal Mobile Telecommunication Service - Time Division Duplex; UMTS-TDD), 고속 패킷 접속(High Speed Packet Access; HSPA), 에볼루션 데이터 최적화(Evolution Data Optimized; EVDO), 어드밴스트 롱텀에볼루션(Long Term Evolution - Advanced; LTE-Advanced), 다채널 다지점 분배 서비스(Multichannel Multipoint Distribution Service; MMDS), 5세대 무선(Fifth-Generation Wireless; 5G), 6세대 무선(Sixth-Generation Wireless; 6G) 등의 통신 시스템의 통신 인터페이스 프로토콜 내에서 사용될 수 있다.
아 명세서에 설명된 본 발명의 실시예들과 그 작동들은 이 명세서에 개시된 구조들과 그 구조적 등가물들, 또는 이들의 하나 이상의 조합들을 포함하여 디지털 전자 회로, 또는 컴퓨터 소프트웨어, 펌웨어, 또는 하드웨어로 구현될 수 있다. 이 명세서에 기재된 본 발명의 실시예들은 하나 이상의 컴퓨터 프로그램들, 즉 데이터 처리 장치에 의해 실행되거나 그 작동을 제어하는 컴퓨터 자장 매체 상에 인코딩된(encoded) 컴퓨터 프로그램 명령들의 하나 이상의 모듈들로 구현될 수 있다. 이와 달리 또는 이에 추가하여, 프로그램 명령들은 예를 들어 기계 생성 전자, 광학, 또는 전자기 신호 등의 인공 생성(artificially-generated) 전파 신호(propagated signal) 상에 인코딩될 수 있는데, 이는 데이터 처리 장치에 의한 실행을 위한 적절한 수신기 장치로의 전송을 위한 정보를 인코딩하도록 생성된다. 컴퓨터 저장매체는 컴퓨터 판독 가능한(computer-readable) 저장장치, 컴퓨터 판독 가능한 저장 기판, 랜덤 또는 시리얼 액세스 메모리 어레이 또는 소자, 또는 그 조합이거나 이에 포함될 수 있다. 뿐만 아니라, 컴퓨터 저장 매체가 전파 신호가 아니지만, 컴퓨터 저장 매체는 인공 생성 전파 신호에 인코딩된 컴퓨터 프로그램 명령들의 소스(source) 또는 행선지(destination)가 될 수 있다. 컴퓨터 저장 매체는 또한 (예를 들어 복수의 CD들, 디스크들, 또는 자른 저장장치들 등의) 하나 이상의 별도의 물리적 컴포넌트들 또는 매체들이거나 이에 포함될 수 있다. 또한 이 명세서에 기재된 작동들은 하나 이상의 컴퓨터 판독 장치들에 다른 소스들로부터 수신된 데이터에 대한 데이터 처리 장치로 수행되는 작동들로 구현될 수 있다.
이 명세서가 많은 구체적 구현 상세들을 포함할 수 있지만, 이 구현 상세들은 어떤 청구된 발명의 범위에 대한 한정으로 해석되어서는 안 되며, 특정한 실시예들에만 특정되는 특징들의 설명으로 해석되어야 할 것이다. 이 명세서에서 분리된 실시예들의 맥락으로 기재된 어떤 특징들은 단일한 실시예에 조합하여 구현될 수도 있다. 역으로, 단일한 실시예의 맥락에서 설명된 여러 가지 특징들은 복수의 실시예들에 별도로 또는 적절한 부분집합으로도 구현될 수도 있다. 뿐만 아니라, 이상에서 특징들이 어떤 조합으로 실행되고, 심지어 처음에는 그렇게 청구되었더라도, 청구된 조합으로부터의 하나 이상의 특징들이 어떤 경우에는 조합으로부터 삭제될 수 있어, 청구된 조합이 부분조합 또는 부분 조합의 변형을 대상으로 할 수도 있다.
마찬가지로, 어떤 작동들이 도면들 내에서 특정한 순서로 도시되었지만, 이는 이런 작동들이 원하는 결과들을 달성하기 위해 도시된 특정한 순서 또는 순차적으로 수행되어야 하거나 도시된 모든 작동들이 수행될 것을 요구하는 것으로 이해되어서는 안 될 것이다. 어떤 경우들에는, 멀티태스킹(multitasking) 및 병렬 처리가 유용할 수 있다. 뿐만 아니라, 전술한 실시예들에서의 여러 가지 시스템 컴포넌트들의 분리가 모든 실시예들에서 이허한 분리가 요구되는 것으로 이해되어서는 안 되며, 기재된 프로그램 컴포넌트들과 시스템들은 일반적으로 단일한 소프트웨어 제품으로 통합되거나 또는 복수의 소프트웨어 제품들로 패키징될(packaged) 수 있음을 이해해야 할 것이다.
이와 같이 본 발명의 특정한 실시예들이 이 명세서에 설명되었다 다른 실시예들은 다음 청구항들의 범위 내에 있다. 어떤 경우들에는, 청구항들에 제시된 동작들이 다른 순서로 실시되어도 여전히 바람직한 결과들을 달성할 수 있다. 또한 첨부된 도면들에 도시된 프로세스들이 바람직한 결과들을 달성하기 위해 반드시 도시된 특정한 순서 또는 순차적 순서를 요구하는 것은 아니다. 어떤 구현예들에서는 멀티태스킹 또는 병렬 처리가 유용할 수 있다.
당업계에 통상의 기술을 가진 자들이 인식할 수 있을 듯이, 이 명세서에 기재된 발명적 개념들은 광범위한 응용분야들에 걸쳐 수정 및 변형될 수 있다. 이에 따라, 청구된 발명의 범위는 전술한 구체적인 예시적 교시들에 한정되어서는 안 되며, 그 대신 다음 청구항들로 정의되어야 한다.
Claims (20)
- 제2 물체로부터 수신된 제2 반사 신호의 센서 어레이 상의 제2 시차 위치에 대한 제1 물체로부터 수신된 제1 반사 신호의 상기 센서 어레이 상의 제1 시차 위치를 검출하도록 배열된 복수의 화소들을 포함하며, 상기 제1 물체가 상기 센서 어레이로부터 제1 거리에 위치하고 상기 제2 물체가 상기 센서 어레이로부터 제2 거리에 위치하며, 상기 제2 거리가 상기 제1 거리보다 더 큰 센서 어레이;
상기 제1 반사 신호의 검출에 관련된 제1 타임스탬프 정보를 생성하도록 구성되고, 상기 제1 시차 위치에 기반하여 상기 제1 타임스탬프 정보를 생성하도록 게이팅되는 제1 게이팅 시간 수치 변환기(TDC; Time-to-Digital Converter) 회로; 및
상기 제2 반사 신호의 검출에 관련된 제2 타임스탬프 정보를 생성하도록 구성되고, 상기 제2 시차 위치에 기반하여 상기 제2 타임스탬프 정보를 생성하도록 게이팅되는 제2 게이팅 시간 수치 변환기(TDC) 회로를 포함하는 비행시간(TOF; Time-of-Flight) 센서. - 제1항에 있어서,
상기 제1 게이팅 TDC 회로가 제1 주기를 포함하는 제1 클록 속도로 맞춰지고, 상기 제2 게이팅 TDC 회로가 제2 주기를 포함하는 제2 클록 속도로 맞춰지는 비행시간 센서. - 제2항에 있어서,
상기 센서 어레이의 복수의 화소들이 상기 제2 반사 신호의 상기 센서 어레이 상의 상기 제2 시차 위치에 대한 제3 물체로부터 수신된 제3 반사 신호의 상기 센서 어레이 상의 제3 시차 위치를 검출하도록 더 배열되고, 상기 제3 물체가 상기 센서 어레이로부터 상기 제1 거리보다 크고 상기 제2 거리보다 작은 제3 거리에 위치하고,
상기 비행시간 센서가 상기 제3 반사 신호의 검출에 관련된 제3 타임스탬프 정보를 생성하도록 구성된 제3 게이팅 TDC 회로를 더 포함하고,
상기 제3 게이팅 TDC 회로가 상기 제3 시차 위치에 기반하여 상기 제3 타임스탬프 정보를 생성하도록 게이팅되는 비행시간 센서. - 제3항에 있어서,
상기 제3 게이팅 TDC 회로가 상기 제1 주기보다 길고 상기 제2 주기보다 짧은 제3 주기를 포함하는 제3 클록 속도에 맞춰지는 비행시간 센서. - 제1항에 있어서,
상기 제1 및 제2 시차 위치들에 대응하는 빈들(bins)을 포함하는 히스토그램을 생성하는 히스토그램 회로를 더 포함하는 비행시간 센서. - 제1항에 있어서,
히스토그램 회로로 생성된 히스토그램의 각 빈으로부터 평균 주변광 수준이 차감되는 상기 히스토그램 회로를 더 포함하는 비행시간 센서. - 제1항에 있어서,
상기 제1 게이팅 TDC 회로 및 제2 게이팅 TDC 회로에 접속되는 히스토그램 회로를 더 포함하고,
상기 히스토그램 회로가 상기 제1 및 제2 타임스탬프 정보에 기반하여 상기 센서 어레이에 의해 반사 신호로 검출되는 전송 펄스의 펄스폭에 대응하는 빈들의 수에 검출 이벤트가 가산되는 히스토그램을 생성하는 비행시간 센서. - 제1 물체로부터 수신된 제1 반사 신호의 센서 어레이 상의 제1 시차 위치를 검출하는 제1 그룹의 화소들과, 제2 물체로부터 수신된 제2 반사 신호의 상기 센서 어레이 상의 제2 시차 위치를 검출하는 제2 그룹의 화소들을 포함하되, 상기 제1 물체가 상기 센서 어레이로부터 제1 거리에 위치하고, 상기 제2 물체가 상기 제1 거리보다 더 큰 제2 거리에 위치하는 센서 어레이;
상기 센서 어레이에 접속되어, 상기 제2 그룹의 화소들의 광도보다 더 큰 상기 제1 그룹의 화소들의 광도에 기반하여 상기 제1 시차 위치에 대응하는 제1 그룹의 화소들의 제1 출력과 제1 클록 신호를 출력하고, 상기 제1 그룹의 화소들의 광도보다 더 큰 제2 그룹의 화소들의 광도에 기반하여 상기 제2 시차 위치에 대응하는 제2 그룹의 화소들의 제2 출력과 제2 클록 신호를 출력하는 선택기 회로; 및
상기 선택기 회로의 출력에 접속되고, 상기 화소들의 제1 그룹의 상기 제1 출력 및 제1 클록 신호를 출력하는 상기 선택기 회로에 기반하여 상기 제1 클록 신호를 사용하는 상기 화소들의 제1 그룹의 상기 제1 출력에 대한 제1 타임스탬프 정보를 생성하도록 구성되고, 상기 화소들의 제2 그룹의 상기 제2 출력 및 제2 클록 신호를 출력하는 상기 선택기 회로에 기반하여 상기 제2 클록 신호를 사용하는 상기화소들의 제2 그룹의 제2 출력에 대한 제2 타임스탬프 정보를 생성하도록 구성되는 게이팅 시간 수치 변환기(TDC) 회로를 포함하는 비행시간 센서. - 제8항에 있어서,
상기 제1 클록 신호가 제1 클록 주기를 포함하고 상기 제2 클록 신호가 상기 제1 클록 주기보다 더 긴 제2 클록 주기를 포함하는 비행시간 센서. - 제9항에 있어서,
상기 센서 어레이가 제3 물체로부터 수신된 제3 반사 신호의 센서 어레이 상의 제3 시차 위치를 검출하는 화소들의 제3 그룹으로서, 상기 제3 물체가 상기 센서 어레이로부터 상기 제1 거리보다 크고 상기 제2 거리보다 작은 제3 거리에 위치하는 상기 화소들의 제3 그룹을 더 포함하고,
상기 선택기 회로가 상기 화소들의 제1 그룹의 광도 및 상기 화소들의 제2 그룹의 광도보다 더 큰 상기 화소들의 제3 그룹의 광도에 기반하여 상기 제3 시차 위치에 해당하는 상기 화소들의 제3 그룹의 제3 출력과 제3 클록을 더 출력하며, 그리고
상기 게이팅 TDC 회로가 상기 화소들의 제3 그룹의 상기 제3 출력 및 제3 클록 신호를 출력하는 상기 선택기 회로에 기반하여 상기 제3 클록 신호를 사용하는 상기 화소들의 제3 그룹의 제3 출력에 대한 제3 타임스탬프 정보를 생성하도록 더 구성되는 비행시간 센서. - 제10항에 있어서,
상기 제3 클록 신호가 상기 제1 클록 주기보다 더 길고 상기 제2 클록 주기보다 더 짧은 제3 클록 주기를 포함하는 비행시간 센서. - 제8항에 있어서,
상기 제1 및 제2 시차 위치들에 해당하는 빈들을 포함하는 히스토그램을 생성하는 히스토그램 회로를 더 포함하는 비행시간 센서. - 제8항에 있어서,
생성된 히스토그램의 각 빈으로부터 평균 주변광 수준이 차감되는 히스토그램 회로를 더 포함하는 비행시간 센서. - 제8항에 있어서,
상기 게이팅 TDC 회로에 접속되는 히스토그램 회로를 더 포함하고, 상기 히스토그램 회로가 상기 제1 및 제2 타임스탬프 정보에 기반하여 상기 센서 어레이에 의해 반사 신호로 검출되는 전송 펄스의 펄스폭에 대응하는 빈들의 수에 검출 이벤트가 가산되는 히스토그램을 생성하는 비행시간 센서. - 제2 물체로부터 수신된 제2 반사 신호의 센서 어레이 상의 제2 시차 위치에 대한 제1 물체로부터 수신된 제1 반사 신호의 상기 센서 어레이 상의 제1 시차 위치를 검출하도록 배열된 복수의 화소들을 포함하는 센서 어레이로, 여기서 상기 제1 물체가 상기 센서 어레이로부터 제1 거리에 위치하고, 상기 제2 물체가 상기 센서 어레이로부터 제2 거리에 위치하고, 상기 제2 거리가 상기 제1 거리보다 더 큰 상기 센서 어레이;
상기 제1 반사 신호의 검출에 관련된 제1 타임스탬프 정보를 생성하도록 구성되고, 상기 제1 시차 위치에 기반하여 제1 타임스탬프 정보를 생성하도록 게이팅되는 제1 게이팅 시간 수치 변환기(TDC) 회로;
상기 제2 반사 신호의 검출에 관련된 제2 타임스탬프 정보를 생성하도록 구성되고, 상기 제2 시차 위치에 기반하여 제2 타임스탬프 정보를 생성하도록 게이팅되는 제2 게이팅 시간 수치 변환기(TDC) 회로; 및
상기 제1 게이팅 TDC 회로와 제2 게이팅 TDC 회로에 접속되고, 상기 제1 및 제2 타임스탬프 정보에 기반하여 상기 센서 어레이에 의해 반사 신호로 검출된 전송 펄스의 펄스폭에 대응하는 빈들의 수에 검출 이벤트가 가산되는 히스토그램을 생성하는 히스토그램 회로를 포함하는 비행시간 센서. - 제15항에 있어서,
상기 제1 게이팅 TDC 회로가 제1 주기를 포함하는 제1 클록 속도로 맞춰지고, 상기 제2 TDC 회로가 제2 주기를 포함하는 제2 클록 속도로 맞춰지며, 상기 제1 주기가 상기 제2 주기보다 더 짧은 비행시간 센서. - 제16항에 있어서,
상기 센서 어레이의 복수의 화소들이 상기 제2 반사 신호의 상기 센서 어레이 상의 상기 제2 시차 위치에 대한 제3 물체로부터 수신된 제3 반사 신호의 상기 센서 어레이 상의 제3 시차 위치를 검출하도록 더 배열되고, 상기 제3 물체가 상기 센서 어레이로부터 상기 제1 거리보다 크고 상기 제2 거리보다 작은 제3 거리에 위치하고,
상기 비행시간 센서는 상기 제3 반사 신호의 검출에 관련된 제3 타임스탬프 정보를 생성하는 제3 게이팅 TDC 회로를 더 포함하고,
상기 제3 게이팅 TDC 회로가 상기 제3 시차 위치에 기반하여 상기 제3 타임스탬프 정보를 생성하도록 게이팅되는 비행시간 센서. - 제17항에 있어서,
상기 제3 게이팅 TDC 회로가 상기 제1 주기보다 길고 상기 제2 주기보다 짧은 제3 주기를 포함하는 제3 클록 속도에 맞춰지는 비행시간 센서. - 제15항에 있어서,
상기 히스토그램 회로가 상기 제1 및 제2 시차 위치들에 대응하는 빈들을 포함하는 히스토그램을 생성하는 비행시간 센서. - 제15항에 있어서,
평균 주변광 수준이 상기 히스토그램 회로로 생성된 상기 히스토그램의 각 빈으로부터 차감되는 비행시간 센서.
Applications Claiming Priority (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US202163165722P | 2021-03-24 | 2021-03-24 | |
| US63/165,722 | 2021-03-24 | ||
| US17/393,394 US20220308189A1 (en) | 2021-03-24 | 2021-08-03 | LOW POWER LiDAR SYSTEM WITH SMART LASER INTERROGRATION |
| US17/393,394 | 2021-08-03 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20220133095A true KR20220133095A (ko) | 2022-10-04 |
Family
ID=79024838
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020220029228A KR20220133095A (ko) | 2021-03-24 | 2022-03-08 | 스마트 레이저 탐문을 사용하는 저출력 라이다 시스템 |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US20220308189A1 (ko) |
| EP (1) | EP4063905B1 (ko) |
| KR (1) | KR20220133095A (ko) |
| CN (1) | CN115201840A (ko) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116736267B (zh) * | 2023-08-16 | 2023-12-15 | 深圳市灵明光子科技有限公司 | 一种激光测距接收芯片及其在标定过程中的配置方法 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110235024B (zh) * | 2017-01-25 | 2022-10-28 | 苹果公司 | 具有调制灵敏度的spad检测器 |
| EP3428683B1 (en) * | 2017-07-11 | 2019-08-28 | Sick Ag | Optoelectronic sensor and method for measuring a distance |
| US10497738B2 (en) * | 2018-04-20 | 2019-12-03 | Omnivision Technologies, Inc. | First photon correlated time-of-flight sensor |
-
2021
- 2021-08-03 US US17/393,394 patent/US20220308189A1/en active Pending
- 2021-12-28 EP EP21217963.4A patent/EP4063905B1/en active Active
-
2022
- 2022-03-08 KR KR1020220029228A patent/KR20220133095A/ko unknown
- 2022-03-11 CN CN202210236353.6A patent/CN115201840A/zh active Pending
Also Published As
| Publication number | Publication date |
|---|---|
| EP4063905A1 (en) | 2022-09-28 |
| CN115201840A (zh) | 2022-10-18 |
| EP4063905B1 (en) | 2023-12-27 |
| US20220308189A1 (en) | 2022-09-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11294037B2 (en) | Detecting light using a plurality of avalanche photodiode elements | |
| CN110609293B (zh) | 一种基于飞行时间的距离探测系统和方法 | |
| CN111465870B (zh) | 使用可寻址发射器阵列的飞行时间感测 | |
| KR102409952B1 (ko) | 고해상도, 고프레임률, 저전력 이미지 센서 | |
| US9316735B2 (en) | Proximity detection apparatus and associated methods having single photon avalanche diodes for determining a quality metric based upon the number of events | |
| US11119196B2 (en) | First photon correlated time-of-flight sensor | |
| KR20200141937A (ko) | 비행 시간을 감지하기 위한 펄스 반복 주기의 선택 | |
| US11029397B2 (en) | Correlated time-of-flight sensor | |
| KR102478719B1 (ko) | 측정 프로세스를 수행하는 방법 | |
| US20210013257A1 (en) | Pixel circuit and method of operating the same in an always-on mode | |
| EP4194892A1 (en) | Dtof sensing module, terminal device, and distance measurement method | |
| Perenzoni et al. | A fast 50× 40-pixels single-point DTOF SPAD sensor with photon counting and programmable ROI TDCs, with σ< 4 mm at 3 m up to 18 klux of background light | |
| KR20220133095A (ko) | 스마트 레이저 탐문을 사용하는 저출력 라이다 시스템 | |
| CN112147626A (zh) | 电子装置、电子装置的控制方法、及计算机可读存储介质 | |
| US11579291B2 (en) | Optical ranging system having multi-mode operation using short and long pulses | |
| WO2022110947A1 (zh) | 电子装置的控制方法、电子装置及计算机可读存储介质 | |
| EP4070125A1 (en) | Time of flight sensing method | |
| WO2023185757A1 (zh) | 激光雷达系统及其校准方法 | |
| US11681028B2 (en) | Close-range measurement of time of flight using parallax shift | |
| US20240259709A1 (en) | Distance image capturing device, distance image capturing method, and program | |
| CN118068304A (zh) | 感测模块及测距装置 | |
| CN112558097A (zh) | 电子装置、电子装置的控制方法、及计算机可读存储介质 | |
| JP2021089248A (ja) | レーザレーダ |