KR20210066025A - 구조화된 광 조명기가 있는 비행-시간 센서 - Google Patents
구조화된 광 조명기가 있는 비행-시간 센서 Download PDFInfo
- Publication number
- KR20210066025A KR20210066025A KR1020217016221A KR20217016221A KR20210066025A KR 20210066025 A KR20210066025 A KR 20210066025A KR 1020217016221 A KR1020217016221 A KR 1020217016221A KR 20217016221 A KR20217016221 A KR 20217016221A KR 20210066025 A KR20210066025 A KR 20210066025A
- Authority
- KR
- South Korea
- Prior art keywords
- scene
- sensor
- structured light
- light pattern
- tof
- Prior art date
Links
- 238000000034 method Methods 0.000 claims abstract description 66
- 238000003384 imaging method Methods 0.000 claims description 58
- 230000003287 optical effect Effects 0.000 claims description 27
- 238000013528 artificial neural network Methods 0.000 claims description 11
- 230000002123 temporal effect Effects 0.000 claims description 6
- 230000003595 spectral effect Effects 0.000 claims description 4
- 239000000758 substrate Substances 0.000 claims description 4
- 239000000835 fiber Substances 0.000 claims description 3
- 230000000295 complement effect Effects 0.000 claims description 2
- 229910044991 metal oxide Inorganic materials 0.000 claims description 2
- 150000004706 metal oxides Chemical class 0.000 claims description 2
- 239000004065 semiconductor Substances 0.000 claims description 2
- 238000005286 illumination Methods 0.000 description 25
- 230000000694 effects Effects 0.000 description 7
- 239000013598 vector Substances 0.000 description 7
- 230000000875 corresponding effect Effects 0.000 description 6
- 230000004044 response Effects 0.000 description 6
- 230000006870 function Effects 0.000 description 5
- 238000013507 mapping Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 3
- XUIMIQQOPSSXEZ-UHFFFAOYSA-N Silicon Chemical compound [Si] XUIMIQQOPSSXEZ-UHFFFAOYSA-N 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 2
- 230000010365 information processing Effects 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 230000010363 phase shift Effects 0.000 description 2
- 229910052710 silicon Inorganic materials 0.000 description 2
- 239000010703 silicon Substances 0.000 description 2
- 241000282472 Canis lupus familiaris Species 0.000 description 1
- 238000012952 Resampling Methods 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 201000009310 astigmatism Diseases 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 239000000969 carrier Substances 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 239000002800 charge carrier Substances 0.000 description 1
- 238000011217 control strategy Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000004907 flux Effects 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000003707 image sharpening Methods 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000000116 mitigating effect Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 230000010287 polarization Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000002310 reflectometry Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 229920006395 saturated elastomer Polymers 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000009987 spinning Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
- G01S17/06—Systems determining position data of a target
- G01S17/08—Systems determining position data of a target for measuring distance only
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
- G01S17/06—Systems determining position data of a target
- G01S17/08—Systems determining position data of a target for measuring distance only
- G01S17/10—Systems determining position data of a target for measuring distance only using transmission of interrupted, pulse-modulated waves
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
- G01S17/06—Systems determining position data of a target
- G01S17/08—Systems determining position data of a target for measuring distance only
- G01S17/32—Systems determining position data of a target for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
- G01S17/06—Systems determining position data of a target
- G01S17/46—Indirect determination of position data
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/87—Combinations of systems using electromagnetic waves other than radio waves
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
- G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/4808—Evaluating distance, position or velocity data
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/481—Constructional features, e.g. arrangements of optical elements
- G01S7/4817—Constructional features, e.g. arrangements of optical elements relating to scanning
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/483—Details of pulse systems
- G01S7/484—Transmitters
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/483—Details of pulse systems
- G01S7/486—Receivers
- G01S7/4861—Circuits for detection, sampling, integration or read-out
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/483—Details of pulse systems
- G01S7/486—Receivers
- G01S7/4865—Time delay measurement, e.g. time-of-flight measurement, time of arrival measurement or determining the exact position of a peak
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/497—Means for monitoring or calibrating
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Computer Networks & Wireless Communication (AREA)
- Electromagnetism (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Optics & Photonics (AREA)
- Computational Linguistics (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Optical Radar Systems And Details Thereof (AREA)
Abstract
본 개시내용은 비행-시간(ToF) 센서 및 구조화된 광 패턴에 기초하여 장면에 대한 정보를 제공하는 시스템들 및 방법들에 관한 것이다. 예시적인 실시예에서, 센서 시스템은 장면으로부터 광을 수신하도록 구성되는 적어도 하나의 ToF 센서를 포함할 수 있다. 센서 시스템은 또한 구조화된 광 패턴을 방출하도록 구성되는 적어도 하나의 광원, 및 동작들을 수행하는 제어기를 포함할 수 있다. 동작들은 적어도 하나의 광원이 구조화된 광 패턴으로 장면의 적어도 일부를 조명하게 하는 동작, 및 적어도 하나의 ToF 센서가 구조화된 광 패턴에 기초하여 장면의 깊이 맵을 나타내는 정보를 제공하게 하는 동작을 포함한다.
Description
<관련 출원에 대한 상호 참조>
본 출원은 2018년 11월 1일에 출원된 미국 특허 출원 번호 제16/177,626호의 이익을 주장하며, 그 내용은 본 명세서에 참조로 포함된다.
비행-시간(Time-of-Flight)(ToF) 센서들은 통상적으로 장면에 대한 저해상도 깊이 정보를 제공하지만, 반사율이 높거나 흡수율이 높은 재료들을 이미징할 때, 미광이 "블루밍(blooming)"될 수 있고/있거나, 부정확한 깊이 정보를 제공할 수 있다.
구조화된 광은 원하는 또는 미리 결정된 조명 패턴 및/또는 조명 스케줄에 따라 방출되는 광을 포함할 수 있다. 일부 광원들은 구조화된 광으로 장면을 조명하도록 구성될 수 있다.
본 개시내용은 더 정확하고 더 높은 해상도의 깊이 정보를 제공하기 위해 ToF 센서들 및 구조화된 광의 양태들을 유리하게 결합한다.
제1 양태에서, 센서 시스템이 제공된다. 센서 시스템은 장면으로부터 광을 수신하도록 구성되는 적어도 하나의 비행-시간(time-of-flight)(ToF) 센서를 포함한다. 센서 시스템은 또한 구조화된 광 패턴을 방출하도록 구성되는 적어도 하나의 광원을 포함한다. 또한, 센서 시스템은 동작들을 수행하는 제어기를 포함한다. 동작들은 적어도 하나의 광원이 구조화된 광 패턴으로 장면의 적어도 일부를 조명하게 하는 동작을 포함한다. 동작들은 또한 적어도 하나의 ToF 센서가 구조화된 광 패턴에 기초하여 장면의 깊이 맵을 나타내는 정보를 제공하게 하는 동작을 포함한다.
제2 양태에서, 시스템이 제공된다. 시스템은 차량에 커플링되도록 구성되는 복수의 센서 시스템들을 포함한다. 각각의 센서 시스템은 적어도 하나의 비행-시간(ToF) 센서 및 적어도 하나의 이미징 센서를 포함한다. 적어도 하나의 ToF 센서 및 적어도 하나의 이미징 센서는 장면으로부터 광을 수신하도록 구성된다. 각각의 센서 시스템은 또한 구조화된 광 패턴을 방출하도록 구성되는 적어도 하나의 광원, 및 동작들을 수행하는 제어기를 포함한다. 동작들은 적어도 하나의 광원이 구조화된 광 패턴으로 장면의 적어도 일부를 조명하게 하는 동작을 포함한다. 동작들은 또한 적어도 하나의 ToF 센서가 구조화된 광 패턴에 기초하여 장면의 깊이 맵을 나타내는 정보를 제공하게 하는 동작을 포함한다. 동작들은 추가적으로 이미징 센서가 구조화된 광 패턴에 기초하여 장면의 이미지를 나타내는 정보를 제공하게 하는 동작을 포함한다.
제3 양태에서, 방법이 제공된다. 방법은 적어도 하나의 광원이 구조화된 광 패턴으로 장면을 조명하게 하는 단계를 포함한다. 방법은, 비행-시간(ToF) 센서로부터, 구조화된 광 패턴에 기초하여 장면에 대한 정보를 수신하는 단계를 추가적으로 포함한다. 방법은 또한 수신된 정보에 기초하여 장면의 깊이 맵을 결정하는 단계를 포함한다. 방법은 장면의 깊이 맵에 기초하여 장면에 대한 적어도 하나의 추론을 결정하는 단계를 추가로 포함한다.
제4 양태에서, 방법이 제공된다. 방법은 사전 정보(prior information)를 제공하는 단계를 포함한다. 사전 정보는 장면의 3차원 정보를 포함한다. 방법은 적어도 하나의 광원이 구조화된 광 패턴으로 장면을 조명하게 하는 단계를 포함한다. 방법은 또한 적어도 하나의 ToF 센서가 구조화된 광 패턴에 기초하여 장면의 깊이 맵을 나타내는 비행 시간 정보를 제공하게 하는 단계를 포함한다.
다른 양태들, 실시예들 및 구현들은 첨부 도면들을 적절하게 참조하여 다음의 상세한 설명을 읽음으로써 본 기술분야의 통상의 기술자에게 명백해질 것이다.
도 1은 예시적인 실시예에 따른 시스템을 예시한다.
도 2는 예시적인 실시예들에 따른 시스템의 동작 시나리오를 예시한다.
도 3a는 예시적인 실시예에 따른 차량을 예시한다.
도 3b는 예시적인 실시예에 따른 센서 유닛을 예시한다.
도 3c는 예시적인 실시예에 따른 광원을 예시한다.
도 4a는 예시적인 실시예에 따른 감지 시나리오를 예시한다.
도 4b는 예시적인 실시예에 따른 감지 시나리오를 예시한다.
도 4c는 예시적인 실시예들에 따른 다양한 구조화된 광 패턴들을 예시한다.
도 4d는 예시적인 실시예에 따른 구조화된 광 패턴을 예시한다.
도 5는 예시적인 실시예에 따른 방법을 예시한다.
도 6a는 예시적인 실시예에 따른 감지 시나리오를 예시한다.
도 6b는 예시적인 실시예에 따른 감지 시나리오를 예시한다.
도 7은 예시적인 실시예에 따른 방법을 예시한다.
도 2는 예시적인 실시예들에 따른 시스템의 동작 시나리오를 예시한다.
도 3a는 예시적인 실시예에 따른 차량을 예시한다.
도 3b는 예시적인 실시예에 따른 센서 유닛을 예시한다.
도 3c는 예시적인 실시예에 따른 광원을 예시한다.
도 4a는 예시적인 실시예에 따른 감지 시나리오를 예시한다.
도 4b는 예시적인 실시예에 따른 감지 시나리오를 예시한다.
도 4c는 예시적인 실시예들에 따른 다양한 구조화된 광 패턴들을 예시한다.
도 4d는 예시적인 실시예에 따른 구조화된 광 패턴을 예시한다.
도 5는 예시적인 실시예에 따른 방법을 예시한다.
도 6a는 예시적인 실시예에 따른 감지 시나리오를 예시한다.
도 6b는 예시적인 실시예에 따른 감지 시나리오를 예시한다.
도 7은 예시적인 실시예에 따른 방법을 예시한다.
예시적인 방법들, 디바이스들 및 시스템들이 본 명세서에 설명되어 있다. "예" 및 "예시적인"이라는 단어들은 본 명세서에서 "예, 사례 또는 예시로서 제공되는"을 의미하는 것으로 사용된다는 것을 이해해야 한다. 본 명세서에서 "예" 또는 "예시적인" 것으로 설명되는 임의의 실시예 또는 피처는 반드시 다른 실시예들 또는 피처들에 비해 바람직하거나 유리한 것으로 해석될 필요는 없다. 본 명세서에 제시된 주제의 범위를 벗어나지 않으면서, 다른 실시예들이 이용될 수 있고, 다른 변경들이 이루어질 수 있다.
따라서, 본 명세서에 설명된 예시적인 실시예들은 제한적인 것을 의미하지 않는다. 본 명세서에 일반적으로 설명되고 도면들에 예시된 본 개시내용의 양태들은 매우 다양한 상이한 구성들로 배열, 대체, 결합, 분리 및 설계될 수 있으며, 이들 모두는 본 명세서에서 고려된다.
또한, 문맥상 달리 제시하지 않는 한, 각각의 도면들에 예시된 피처들은 서로 조합하여 사용될 수 있다. 따라서, 도면들은 일반적으로 하나 이상의 전체 실시예의 컴포넌트 양태들로서 보여져야 하며, 모든 예시적인 피처들이 각각의 실시예에 필요한 것은 아니라는 것을 이해해야 한다.
I. 개요
이미징 센서들은 통상적으로 장면의 고품질, 고해상도, 2차원 이미지들을 제공하지만, 통상적으로 독립적인 깊이 정보를 제공하지 않는다. 비행-시간(ToF) 센서들은 통상적으로 장면에 대한 저해상도 깊이 정보를 제공하지만, 반사율이 높은 객체들이 존재하는 경우의 이미지 블루밍 또는 반사성 및 흡수성 객체들이 있는 혼합된 장면들이 존재하는 경우의 부정확한 깊이 측정들과 같은 아티팩트들을 겪을 수 있다. 본 개시내용은 더 정확하고 더 높은 해상도의 깊이 정보를 제공하기 위해 두 가지 타입의 센서들의 원하는 양태들을 유리하게 결합한다.
일부 예들에서는, 주어진 센서 픽셀이 광-발생 전하 캐리어들의 수가 FWC(full well capacity)를 초과하도록 충분한 광자들을 흡수할 때 블루밍이 발생할 수 있다. 이러한 시나리오들에서, FWC에 도달하면, 과전하 캐리어들이 이웃 센서 픽셀들 내로 "오버플로우"되어, 이미지 품질을 감소시키고/감소시키거나 깊이 정보의 신뢰도를 감소시킬 수 있는 번짐 현상(smearing) 또는 블러링(blurring) 효과를 생성할 수 있다.
하이브리드 이미징 시스템은 1) 적어도 하나의 ToF 센서; 2) 임의적인 이미징 센서; 3) 연속파(continuous wave)(CW), 펄스형 또는 비주기적 조명을 사용하여 구조화된 광으로 장면을 조명하기 위한 적어도 하나의 광원; 및 4) 컴퓨터, 프로세서 및/또는 심층 신경망을 포함할 수 있는 제어기를 포함할 수 있다. ToF 센서 및 이미징 센서는 서로 공간적으로 등록될 수 있으며, 동일한 광 경로의 중첩 부분들을 이용할 수 있다. 예를 들어, ToF 센서 및 이미징 센서는 유사한(예를 들어, 대략적으로 동일한) 시야를 가지도록 서로 공간적으로 등록될 수 있으며, 그들의 상대적 포지션 및 배향은 서로에 대해 알려지고/알려지거나 고정될 수 있다.
이러한 하이브리드 이미징 시스템의 복수의 센서 유닛들의 각각의 센서 유닛은 차량의 각각의 측면(또는 코너) 상에 마운팅될 수 있다. 각각의 센서 유닛들은 또한 차량 상의 다양한 위치들에 있는 하나 이상의 스피닝 플랫폼에 마운팅될 수도 있다. 예시적인 실시예에서, 각각의 센서 유닛은 차량 주변 장면의 180도 시야를 포함할 수 있다. 일부 실시예들에서, 센서 유닛들은 차량 주변 환경의 부분적으로 중첩되는 시야를 갖도록 차량 상에 위치 결정될 수 있다.
예시적인 실시예에서, 블루밍 또는 다른 깊이 정보 아티팩트들을 피하기 위해, 복수의 ToF 센서들은 주어진 센서 유닛 내의 하나 이상의 이미지 센서와 연관될 수 있다. 각각의 ToF 센서들은 정반사들 및 다른 밝은 광원들로 인한 블루밍 효과들을 감소시키기 위해 흩어져 있을 수 있다(예를 들어, 10cm 이상 이격될 수 있다). 일부 실시예들에서, ToF 센서들은 10-100MHz 사이에서 동작될 수 있지만, 다른 동작 주파수들도 고려되고 가능하다. 일부 실시예들에서, 각각의 ToF 센서의 동작 주파수는 원하는 최대 깊이 감지 범위에 기초하여 조정될 수 있다. 예를 들어, ToF 센서는 대략 7.5미터의 원하는 깊이 감지 범위(예를 들어, 명확한 범위)에 대해 20MHz에서 동작될 수 있다. 일부 실시예들에서, ToF 센서는 100미터 이상의 최대 원하는 깊이 감지 범위를 가질 수 있다.
일부 실시예들에서, ToF 센서는 CMOS 또는 CCD 감광성 엘리먼트들(예를 들어, 실리콘 PIN 다이오드들)을 포함할 수 있다. 그러나, 다른 타입들의 ToF 센서들 및 ToF 센서 엘리먼트들도 고려된다. 일부 경우들에서, ToF 센서는 다양한 위상 시프트 모드들(예를 들어, 2x 또는 4x 위상 시프트)을 사용하여 동작될 수 있다.
일부 실시예들에서, 이미징 센서는 메가픽셀-타입 카메라 센서와 같은 RGB 이미징 센서를 포함할 수 있다. 이미징 센서는 복수의 CMOS 또는 CCD 감광성 엘리먼트들을 포함할 수 있다.
일부 예들에서는, 하나 이상의 광원이 장면(또는 장면의 각각의 부분들)을 조명하는 데 사용될 수 있다. 이러한 시나리오들에서, 광원들은 깊이 정보를 제공하기 위해 ToF 센서와 함께 사용될 수 있는 미리 결정된 광 펄스(또는 일련의 광 펄스들)를 제공하도록 변조될 수 있다. 추가적으로 또는 대안적으로, 일련의 광 펄스들(예를 들어, 펄스 반복 레이트, 펄스 지속 시간 및/또는 듀티 사이클)은 이미징 센서에 원하는 노출을 제공하도록 선택될 수 있다.
하나 이상의 광원은 차량의 일부를 따라 배치되는 라이트 스트립을 포함할 수 있다. 추가적으로 또는 대안적으로, 하나 이상의 광원은 각각의 세그먼트가 개별적으로 상이한 광 펄스들을 제공할 수 있는 광 패널들의 그리드를 포함할 수 있다. 또한, 하나 이상의 광원은 포인트 방식 및/또는 스캐닝 방식으로 이동될 수 있는 하나 이상의 광 빔을 제공할 수 있다.
하나 이상의 광원은 CW 및/또는 펄스형(예를 들어, 사인파, 톱니파 또는 구형파) 동작 모드에서 동작될 수 있다. 제한없이, 하나 이상의 광원은 레이저 다이오드, 발광 다이오드, 플라즈마 광원, 스트로브, 솔리드-스테이트 레이저, 파이버 레이저 또는 다른 타입의 광원 중 적어도 하나를 포함할 수 있다. 하나 이상의 광원은 적외선 파장 범위(예를 들어, 850, 905, 940 및/또는 1550 나노미터)에서 광을 방출하도록 구성될 수 있다. 일부 실시예들에서, 다수의 조명 광 파장들은 다수의 광원들 등 사이를 명확하게 하기 위해 사용될 수 있다. 추가적으로 또는 대안적으로, 조명 파장은 환경 내의 주변 광의 양 및/또는 하루 중 시간에 기초하여 조정될 수 있다.
다른 예시적인 실시예에서, 하나 이상의 광원은 구조화된 광 패턴을 환경 내로 방출할 수 있다. 구조화된 광 패턴은 개선된 등록 및/또는 블루밍 효과들에 대한 저항을 제공할 수 있다. 예를 들어, 구조화된 광 패턴은 회절성 광학 엘리먼트를 통해 광을 투과시킴으로써 형성될 수 있다. 다른 실시예에서는, 구조화된 광 패턴을 제공하기 위해 레이저 광 패턴(예를 들어, 랜덤 레이저 스펙클 또는 미리 결정된 레이저 광 패턴)이 사용될 수 있다. 또 다른 실시예들에서는, 변형 가능하거나 조정 가능한 반사성, 회절성 또는 굴절성 표면(예를 들어, 마이크로미러 어레이)이 구조화된 광 패턴을 제공하고/하거나 장면에 대해 패턴을 시프트시키는 데 사용될 수 있다.
추가적으로 또는 대안적으로, 하나 이상의 광원은 구조화된 광 패턴의 하나 이상의 클래스를 방출하도록 구성될 수 있다. 예를 들어, 구조화된 광 패턴들의 클래스들은 하나 이상의 공간 클래스를 포함할 수 있으며, 여기서 시야의 일부 영역들은 미리 결정된 공간 광 패턴에 따라 조명된다(또는 조명되지 않는다). 구조화된 광 패턴들의 다른 클래스들은 시간 클래스들을 포함할 수 있으며, 여기서 시야의 다양한 영역들은 미리 결정된 시간 조명 스케줄에 따라 상이한 시간들에서 조명된다. 또한, 구조화된 광의 다른 클래스들은 스펙트럼 클래스들을 포함할 수 있으며, 여기서 시야의 다양한 영역들은 미리 결정된 스펙트럼 조명 패턴에 따라 광의 상이한 파장들 - 또는 주파 대역들 - 로 조명된다. 그러나, 구조화된 광 패턴을 형성하기 위한 다른 방법들도 본 명세서에서 가능하고 고려된다.
일부 실시예들에서, 구조화된 광 패턴은 장면 내의 공간 위치들을 명확하게 하기 위해 사용될 수 있다. 예를 들어, 구조화된 광 패턴은 원형 및/또는 타원형 광 "스폿들"을 포함할 수 있다. 각각의 스폿은, 예를 들어, 회절성 광학 엘리먼트를 통한 광의 방출 각도 또는 광원에 대한 장면 내의 공간 포지션에 기초하여 상이한 형상 또는 배향(예를 들어, 회전, 공간 범위, 곡률 반경, 연신율 등)을 가질 수 있다. 일부 실시예들에서는, 광학 엘리먼트의 미리 결정된 비점 수차(astigmatism)가 구조화된 광 패턴 내의 광 스폿들 사이를 명확하게 하기 위해 이용될 수 있다.
제어기는 (예를 들어, 센서 융합을 사용하여) 각각의 센서들의 출력들을 결합하고/하거나, 차량 주변의 3차원 장면에 대해 추론하도록 동작 가능할 수 있다. 예를 들어, 제어기는 차량 주변의 그레이스케일 또는 색상-강도 맵을 제공하기 위해 추론할 수 있다. 추론들은 차량 환경 내의 객체들에 대한 정보를 추가적으로 또는 대안적으로 제공할 수 있다. 예시적인 실시예에서, 객체 정보는 60 또는 120Hz의 리프레시 레이트로 제공될 수 있다. 그러나, 다른 리프레시 레이트들도 가능하고 고려된다.
예시적인 실시예에서, 시스템은 하나 이상의 심층 신경망을 포함할 수 있다. 심층 신경망(들)은 훈련 데이터 및/또는 차량의 동작 컨텍스트에 기초하여 추론들을 제공하는 데 이용될 수 있다. 일부 경우들에서는, 저해상도 깊이 정보 및 이미지 정보가 심층 신경망에 제공될 수 있다. 그 후, 심층 신경망은 수신된 정보에 기초하여 추론들을 할 수 있고/있거나, 고해상도로 출력 깊이 맵들(예를 들어, 포인트 클라우드들)을 제공할 수 있다.
일부 실시예들에서는, ToF 센서, 이미지 센서, 광원 및 제어기 중 2개 이상이 동일한 기판에 커플링될 수 있다. 즉, 시스템은 더 작은 센서 패키지를 제공하고/하거나 다른 성능 개선들을 제공하기 위해 모놀리식 칩 또는 기판을 포함할 수 있다.
II. 예시적인 시스템들
도 1은 예시적인 실시예에 따른 시스템(100)을 예시한다. 시스템(100)은 적어도 하나의 비행-시간(ToF) 센서(110) 또는 ToF 카메라를 포함한다. 예시적인 실시예에서, 적어도 하나의 ToF 센서(110)는 복수의 상보성 금속-산화물 반도체(complementary metal-oxide semiconductor)(CMOS) 또는 전하-결합 디바이스(charge-coupled device)(CCD) 감광성 엘리먼트들(예를 들어, 실리콘 PIN 다이오드들)을 포함할 수 있다. 다른 타입들의 감광성 엘리먼트들도 ToF 센서(110)에 의해 이용될 수 있다.
일부 실시예들에서, 적어도 하나의 ToF 센서(110)는 광속에 기초하여 그것의 각각의 시야에서 환경 피처들에 대한 거리들을 능동적으로 추정하도록 구성될 수 있다. 예를 들어, ToF 센서(110)는 광 신호(예를 들어, 광 펄스)가 광원(예를 들어, 광원(130))과 장면 내의 객체 사이를 이동할 때 그것의 비행 시간을 측정할 수 있다. 장면 내의 복수의 위치들로부터 광 펄스들의 비행-시간을 추정하는 것에 기초하여, ToF 센서의 시야에 기초하여 범위 이미지 또는 깊이 맵이 구축될 수 있다. 거리 해상도는 1cm 이하가 될 수 있지만, 측면 해상도는 표준 2D 이미징 카메라들에 비해 낮을 수 있다.
일부 실시예들에서, ToF 센서(110)는 120Hz 이상에서 이미지들을 획득할 수 있다. 제한없이, ToF 센서(110)는 거리-게이트형 이미저(range-gated imager) 또는 다이렉트 비행-시간 이미저(direct time-of-flight imager)를 포함할 수 있다.
임의적으로, 시스템(100)은 또한 적어도 하나의 이미징 센서(120)를 포함할 수 있다. 예시적인 실시예에서, 이미징 센서(120)는 복수의 감광성 엘리먼트들을 포함할 수 있다. 이러한 시나리오에서, 복수의 감광성 엘리먼트들은 적어도 백만개의 감광성 엘리먼트를 포함할 수 있다. 적어도 하나의 ToF 센서(110) 및 적어도 하나의 이미징 센서(120)는 장면으로부터 광을 수신하도록 구성된다.
시스템(100)은 또한 적어도 하나의 광원(130)을 포함한다. 예시적인 실시예에서, 적어도 하나의 광원(130)은 레이저 다이오드, 발광 다이오드, 플라즈마 광원, 스트로브 라이트, 솔리드-스테이트 레이저 또는 파이버 레이저 중 적어도 하나를 포함할 수 있다. 다른 타입들의 광원들도 본 개시내용에서 가능하고 고려된다. 적어도 하나의 광원(130)은 라이트 스트립(예를 들어, 차량의 일부를 따라 배치됨)을 포함할 수 있다. 추가적으로 또는 대안적으로, 적어도 하나의 광원(130)은, 예를 들어, 각각의 세그먼트가 상이한 광 펄스들을 개별적으로 제공할 수 있는 광 패널들의 그리드를 포함할 수 있다. 또한, 적어도 하나의 광원(130)은 포인트 방식 및/또는 스캐닝 방식으로 이동될 수 있는 하나 이상의 광 빔을 제공할 수 있다. 적어도 하나의 광원(130)은 연속파(CW) 모드 및/또는 펄스형(예를 들어, 사인파, 톱니파 또는 구형파) 동작 모드에서 동작될 수 있다.
예시적인 실시예에서, 적어도 하나의 광원(130)은 적외선 광(예를 들어, 900-1600 나노미터)을 방출하도록 구성될 수 있다. 그러나, 다른 파장들의 광도 가능하고 고려된다.
일부 실시예들에서, 적어도 하나의 광원(130)은 원하는 구조화된 광 패턴에 따라 환경 내로 광을 방출하도록 구성될 수 있다. 구조화된 광 패턴은, 예를 들어, 적어도 하나의 광원(130)에 의한 환경의 비주기적 및/또는 불균일한 조명을 포함할 수 있다. 예를 들어, 원하는 구조화된 광 패턴은 체커보드 패턴, 도트 패턴, 스트라이프 패턴, 스펙클 패턴, 또는 다른 미리 결정된 광 패턴을 포함할 수 있다. 추가적으로 또는 대안적으로, 일부 실시예들에서, 의사 랜덤(pseudorandom) 광 패턴들이 가능하고 고려된다. 원하는 구조화된 광 패턴은 미리 결정된 포인팅 각도를 따라 및/또는 미리 결정된 시야 내에서 방출되는 광 펄스들 또는 샷들에 의해 정의될 수 있다. 일부 실시예들에서, 광 펄스들은 원하는 구조화된 광 패턴에 기초하여 상이한 시간 및/또는 공간/각도 밀도들로 제공될 수 있다.
적어도 하나의 광원(130) 및 ToF 센서(110)는 시간적으로 동기화될 수 있다. 즉, 광원(130)이 광을 방출하게 하는 트리거 신호가 시간 기준 신호로서 ToF 이미저(110)에 제공될 수도 있다. 이와 같이, ToF 센서(110)는 광원(130)으로부터 방출되는 광의 실제 시작 시간에 대한 정보를 가질 수 있다. 추가적으로 또는 대안적으로, ToF 센서(110)는 ToF 센서(110)로부터 알려진 거리에 있는 기준 타겟에 기초하여 캘리브레이션될 수 있다.
다수의 광원들 및/또는 다수의 ToF 이미저들이 있는 시나리오들에서, 다수의 광원들은 시간 다중화 또는 다른 타입들의 신호 다중화(예를 들어, 주파수 또는 코드 다중화)를 이용하여, 다양한 광원들로부터 주어진 ToF 이미저에 의해 획득되는 비행-시간 정보(광 펄스들)를 명확하게 할 수 있다.
일부 실시예들에서, 적어도 하나의 광원(130)은 원하는 해상도를 제공하기 위해 다양한 타겟 위치들을 향해 복수의 방출 벡터들을 따라 환경 내로 광을 방출하도록 구성될 수 있다. 이러한 시나리오들에서, 적어도 하나의 광원(130)은 방출되는 광이 시스템(100)의 외부 환경과 상호 작용하도록 복수의 방출 벡터들을 따라 광을 방출하도록 동작 가능할 수 있다.
예시적인 실시예에서, 각각의 방출 벡터들은 차량(예를 들어, 도 3a를 참조하여 예시되고 설명된 차량(300))의 방향 또는 위치에 대한 방위각 및/또는 고도각(및/또는 대응하는 각도 범위들)을 포함할 수 있다. 일부 실시예들에서, 적어도 하나의 광원(130)에 의해 방출되는 광은 이동식 마운트 및/또는 이동식 미러를 조정함으로써 각각의 방출 벡터들을 따라 지향될 수 있다.
예를 들어, 적어도 하나의 광원(130)은 이동식 미러를 향해 광을 방출할 수 있다. 이동식 미러의 배향을 조정함으로써, 광의 방출 벡터가 제어 가능하게 수정될 수 있다. 주어진 타겟 위치를 향해 광을 지향시키기 위해 많은 상이한 물리적 및 광학적 기술들이 사용될 수 있다는 것이 이해될 것이다. 광의 방출 벡터를 조정하기 위한 모든 이러한 물리적 및 광학적 기술들이 본 명세서에서 고려된다.
임의적으로, 시스템(100)은 다른 센서들(140)을 포함할 수 있다. 다른 센서들(140)은 LIDAR 센서, 레이더 센서, 또는 다른 타입들의 센서들을 포함할 수 있다. 예를 들어, 시스템(100)은 GPS(Global Positioning System), IMU(Inertial Measurement Unit), 온도 센서, 속도 센서, 카메라 또는 마이크로폰을 포함할 수 있다. 이러한 시나리오들에서, 본 명세서에 설명된 동작 시나리오들 및/또는 방법들 중 임의의 것은 다른 센서들(140)로부터 정보를 수신하고, 다른 센서들(140)로부터 수신된 정보에 적어도 부분적으로 기초하여 다른 동작들 또는 방법 단계들을 수행하는 것을 포함할 수 있다.
예시적인 실시예에서는, 적어도 하나의 ToF 센서(110), 이미징 센서(120) 및 적어도 하나의 광원(130) 중 적어도 2개가 공통 기판에 커플링될 수 있다. 예를 들어, 적어도 하나의 ToF 센서(110), 이미징 센서(120) 및 적어도 하나의 광원(130)은 차량에 커플링될 수 있다. 일부 실시예들에서, 시스템(100)의 일부 또는 모든 엘리먼트들은 차량의 객체 검출 및/또는 내비게이션 능력의 적어도 일부를 제공할 수 있다. 차량은 반-자율 또는 완전-자율 차량(예를 들어, 자율-주행 자동차)일 수 있다. 예를 들어, 시스템(100)은 도 3a, 도 4a, 도 4b, 도 6a 및 도 6b를 참조하여 예시되고 설명된 바와 같이 차량(300) 내에 통합될 수 있다.
일부 실시예들에서, 시스템(100)은 차량(300)을 둘러싼 환경 내의 다른 피처들 중에서, 주변 차량들, 도로 경계들, 기상 조건들, 교통 표지판들 및 신호들, 및 보행자들을 검출하고 잠재적으로 식별하는 데 이용되는 차량 제어 시스템의 일부일 수 있다. 예를 들어, 차량 제어 시스템은 자율 또는 반-자율 내비게이션을 위한 제어 전략을 결정하는 데 도움이 되도록 깊이 맵 정보를 사용할 수 있다. 일부 실시예들에서, 깊이 맵 정보는 내비게이션을 위한 적절한 경로들을 결정하는 것을 돕는 동시에 장애물들을 피하기 위해 차량 제어 시스템을 도울 수 있다.
본 명세서에 설명된 일부 예들은 차량 내에 통합되는 시스템(100)을 포함하지만, 다른 애플리케이션들도 가능하다는 것이 이해될 것이다. 예를 들어, 시스템(100)은 로봇 시스템, 항공 차량, 스마트 홈 디바이스, 스마트 인프라스트럭처 시스템 등을 포함하거나 그에 통합될 수 있다.
시스템(100)은 제어기(150)를 포함한다. 일부 실시예들에서, 제어기(150)는 온-보드 차량 컴퓨터, 외부 컴퓨터, 또는 스마트폰, 태블릿 디바이스, 개인용 컴퓨터, 웨어러블 디바이스 등과 같은 모바일 컴퓨팅 플랫폼을 포함할 수 있다. 추가적으로 또는 대안적으로, 제어기(150)는 클라우드 서버 네트워크와 같은 원격-위치된 컴퓨터 시스템을 포함하거나 이에 연결될 수 있다. 예시적인 실시예에서, 제어기(150)는 본 명세서에 설명된 동작들, 방법 블록들 또는 단계들의 일부 또는 전부를 수행하도록 구성될 수 있다. 제한없이, 제어기(150)는 추가적으로 또는 대안적으로 적어도 하나의 심층 신경망, 다른 타입의 머신 학습 시스템 및/또는 인공 지능 시스템을 포함할 수 있다.
제어기(150)는 하나 이상의 프로세서(152) 및 적어도 하나의 메모리(154)를 포함할 수 있다. 프로세서(152)는, 예를 들어, 마이크로프로세서, 애플리케이션-특정 집적 회로(application-specific integrated circuit)(ASIC) 또는 필드 프로그래밍 가능 게이트 어레이(field-programmable gate array)(FPGA)를 포함할 수 있다. 소프트웨어 명령어들을 수행하도록 구성되는 다른 타입들의 프로세서들, 회로들, 컴퓨터들 또는 전자 디바이스들도 본 명세서에서 고려된다.
메모리(154)는 판독-전용 메모리(read-only memory)(ROM), 프로그래밍 가능 판독-전용 메모리(programmable read-only memory)(PROM), 소거 가능한 프로그래밍 가능 판독-전용 메모리(erasable programmable read-only memory)(EPROM), 전기적으로 소거 가능한 프로그래밍 가능 판독-전용 메모리(electrically erasable programmable read-only memory)(EEPROM), 비-휘발성 랜덤-액세스 메모리(non-volatile random-access memory)(예를 들어, 플래시 메모리), 솔리드 스테이트 드라이브(solid state drive)(SSD), 하드디스크 드라이브(hard disk drive)(HDD), 컴팩트 디스크(Compact Disc)(CD), 디지털 비디오 디스크(Digital Video Disk)(DVD), 디지털 테이프, 판독/기입(read/write)(R/W) CD들, R/W DVD들 등과 같되, 이에 제한되지 않는 비-일시적 컴퓨터 판독 가능 매체를 포함할 수 있다.
제어기(150)의 하나 이상의 프로세서(152)는 본 명세서에 설명된 다양한 동작들 및 방법 단계들/블록들을 수행하기 위해 메모리(154)에 저장된 명령어들을 실행하도록 구성될 수 있다. 명령어들은 메모리(154)에 영구적인 또는 일시적인 방식으로 저장될 수 있다.
도 2는 예시적인 실시예들에 따른 시스템(100)의 동작 시나리오(200)를 예시한다. 동작 시나리오(200)는 특정 순서로 되어 있고 시스템(100)의 특정 엘리먼트들에 의해 수행되는 특정 동작들 또는 블록들을 예시하지만, 다른 기능들, 동작 순서들 및/또는 타이밍 배열들도 본 명세서에서 고려된다는 것이 이해될 것이다.
블록(210)은 제어기(150)가 적어도 하나의 광원(130)이 구조화된 광 패턴에 따른 조명 광으로 장면의 적어도 일부를 조명하게 하는 단계를 포함할 수 있다. 구조화된 광 패턴은, 예를 들어, 미리 결정된 광 펄스 반복 레이트, 미리 결정된 광 펄스 지속 시간, 미리 결정된 광 펄스 강도, 또는 미리 결정된 광 펄스 듀티 사이클 중 적어도 하나를 포함할 수 있다.
일부 실시예들에서, 구조화된 광 패턴은 주어진 시야 내에서 하나 이상의 스캔에 걸쳐 정적으로 유지될 수 있다. 대안적으로 또는 추가적으로, 구조화된 광 패턴은 동적으로 변경될 수 있다. 예를 들어, 구조화된 광 패턴은 환경 내의 객체들, 시야 내의 관심 영역; 하루 중 시간, 재귀 반사체(retroreflector)들의 존재 등에 기초하여 조정될 수 있다. 일부 실시예들에서, 구조화된 광 패턴은 체커보드 패턴, 스펙클 패턴 또는 스트라이프 패턴을 포함할 수 있다.
일부 예시적인 실시예들에서는, 주어진 시야의 일부 내에서 재귀 반사체를 결정하는 것에 응답하여, 재귀 반사체를 조명한 섹터의 강도가 "완화"될 수 있고/있거나(예를 들어, 전치 증폭기 이득을 감소시키거나, 또는 해당 섹터로부터의 광 신호가 아날로그 및/또는 디지털 도메인에서 프로세싱되는 방식을 다른 방식으로 변경하고/하거나), 블루밍 효과들을 피하기 위해 완전히 턴오프되거나 무시될 수 있다. 이러한 방식으로, 센서는 장면의 나머지 부분들을 더 잘 복구 가능할 수 있다.
주기적으로(예를 들어, 최대 레이턴시 내에서 몇 프레임들마다 한 번씩), 재귀 반사체가 있는 시야 부분이 재귀 반사체의 존재를 추적하기 위해 다시 조명될 수 있다. 센서가 조명에 대한 응답으로 강하게 포화된 픽셀들을 계속 표시하는 경우(예를 들어, 재귀 반사체 객체가 시야의 해당 영역 내에 여전히 존재하는 것으로 표시하는 경우), 시스템이 주어진 영역에서 더 이상 재귀 반사체를 관찰하지 않을 시간까지 해당 영역에는 고에너지 조명이 제공되지 않을 것이다. 이러한 동적 조명은 재귀 반사체들로부터의 미광을 감소시키거나 제거할 수 있으며, 다른 방식으로 신뢰 가능한 깊이 값들을 생성하지 못할 수 있는 장면의 나머지 부분을 더 신뢰성 있게 복구할 수 있다. 제한없이, 다른 타입들의 공간, 시간 및/또는 스펙트럼 광 패턴들도 본 명세서에서 고려된다.
예시적인 실시예에서, 명령(212)은, 예를 들어, 시간 t0에서 제어기(150)로부터 광원(130)으로의 신호를 포함할 수 있다. 명령(212)은 다른 예들 중에서도 원하는 구조화된 광 패턴 및/또는 조명 스케줄, 조명 레벨, 또는 조명 방향 또는 섹터를 나타낼 수 있다.
명령(212)의 수신에 응답하여, 광원(130)은 구조화된 광 패턴에 따라 장면을 조명하기 위한 블록(214)을 수행할 수 있다. 일부 예들에서, 광원(130)은 발광 다이오드(light-emitting diode)(LED)들, 레이저들, 스트로브 라이트들, 또는 다른 타입의 광원일 수 있는 하나 이상의 발광기 엘리먼트를 조명할 수 있다. 이러한 발광기 엘리먼트들은 원하는 구조화된 광 패턴을 제공하기 위해(예를 들어, 원하는 세트의 포인팅/원뿔 각도들을 따라 제공하거나, 원하는 시간 동안 발광기 엘리먼트들을 조명하거나, 원하는 주파수 및 듀티 사이클에 발광기 엘리먼트들을 조명하거나, 다른 등등을 위해) 조명될 수 있다. 일부 실시예들에서, 광원(130)은 원하는 세트의 포인팅 각도들 및/또는 원뿔 각도를 향해 광을 지향시키도록 하나 이상의 렌즈 및/또는 배플과 같은 광학 엘리먼트를 포함할 수 있다.
블록(220)은 적어도 하나의 ToF 센서(110)가 광원(130)에 의해 제공되는 구조화된 광 패턴에 기초하여 장면의 깊이 맵을 나타내는 정보(예를 들어, 비행 시간 정보)를 제공하게 하는 단계를 포함한다. 예를 들어, 시간 t1에서, 블록(220)은 제어기(150)로부터 ToF 센서(110)로 명령(222)을 제공하는 단계를 포함할 수 있다. 명령(222)은 ToF 센서(110)의 깊이 매핑 기능을 트리거하기 위한 신호를 포함할 수 있다. 추가적으로 또는 대안적으로, 명령(222)은 스캐닝을 위한 원하는 시야, 스캐닝을 위한 원하는 범위, 원하는 해상도, 및/또는 깊이 맵 및/또는 ToF 센서 스캔의 다른 원하는 양태들을 나타내는 정보를 포함할 수 있다.
블록(224)은 ToF 센서(110)가 광원(130)에 의해 제공되는 구조화된 광 패턴에 적어도 부분적으로 기초하여 깊이 맵을 획득하는 단계를 포함할 수 있다. 즉, 명령(222)을 수신하는 것에 응답하여, ToF 센서(110)는 장면의 시야에 대한 깊이-매핑 스캔을 수행할 수 있다. 예시적인 실시예에서, ToF 센서(110)는 10-100MHz 사이에서 동작될 수 있지만, 다른 동작 주파수들도 가능하다. 일부 실시예들에서, ToF 센서(110)의 동작 주파수는 원하는 최대 깊이 감지 범위에 기초하여 조정될 수 있다. 예를 들어, ToF 센서(110)는 대략 7.5미터의 원하는 깊이 감지 범위에 대해 20MHz에서 동작될 수 있다. 일부 실시예들에서, ToF 센서(110)는 100미터 이상의 최대 원하는 깊이 감지 범위를 가질 수 있다. 다수의 ToF 센서들을 포함하는 일부 실시예들에서, ToF 센서들은 장면의 상이한 시야들의 및/또는 상이한 거리 범위들에 걸친 깊이-매핑 스캔들을 수행하도록 구성되고/되거나 명령받을 수 있다.
시간 t2에서, 블록(224)에 따라 깊이 맵을 획득하면, ToF 센서(110)는 제어기(150)에 정보(226)를 제공할 수 있다. 정보(226)는 장면의 깊이 맵을 나타낼 수 있다. 예를 들어, 정보(226)는 장면의 거리-기반 포인트 맵을 포함할 수 있다. 추가적으로 또는 대안적으로, 정보(226)는 장면 내에서 결정된 객체들의 표면 맵을 포함할 수 있다. 다른 타입들의 정보(226)도 가능하고 고려된다.
블록(230)은 이미징 센서(120)가 광원(130)에 의해 제공되는 구조화된 광 패턴에 기초하여 장면의 이미지를 나타내는 정보를 제공하게 하는 단계를 포함한다. 예를 들어, 시간 t3에서, 제어기(150)는 이미징 센서(120)에 명령(232)을 제공할 수 있다. 명령(232)은 이미징 센서(120)의 이미지 캡처 기능을 트리거하기 위한 신호를 포함할 수 있다. 또한, 명령(232)은 원하는 노출, 주변 조명 레벨, 주변 조명 색상 온도, 하루 중 시간 등에 관한 정보를 포함할 수 있다. t1 및 t3은 도 2에서 상이한 것으로 예시되어 있지만, 일부 실시예들에서, 시간들 t1 및 t3은 유사하거나 동일할 수 있다. 즉, 일부 실시예들에서, 깊이 매핑 및 이미지 캡처 프로세스들의 적어도 일부 부분들은 병렬로 트리거되고 수행될 수 있다.
블록(234)은, 명령(232)을 수신하는 것에 응답하여, 이미징 센서(120)가 구조화된 광 패턴에 의해 조명되는 장면의 이미지를 획득하는 단계를 포함한다. 즉, 명령(232)은 이미지 캡처 프로세스를 개시하기 위해 물리적 셔터 메커니즘 또는 디지털 셔터를 트리거할 수 있다.
이미지를 캡처할 때, 시간 t4에서, 이미지 센서(120)는 정보(236)를 제어기(150)에 제공할 수 있다. 정보(236)는, 예를 들어, 캡처된 이미지뿐만 아니라, 캡처된 이미지에 관한 메타데이터와 같은 다른 정보(예를 들어, 노출 시간, 조리개 설정, 이미저 감도(ISO), 시야 범위 등)를 포함할 수 있다. 일부 실시예들에서, 정보(236)는 RAW 이미지 데이터를 포함할 수 있지만, 다른 비압축 및 압축 이미지 데이터 포맷들(BMP, JPEG, GIF, PNG, TIFF 등)도 가능하고 고려된다.
블록(240)은 장면의 깊이 맵(예를 들어, 정보(226)) 및 장면의 이미지(예를 들어, 정보(236))에 기초하여 장면의 고해상도 깊이 맵을 결정하는 단계를 포함할 수 있다. 예시적인 실시예에서, 깊이 맵 정보(226) 및 이미지 정보(236)는 다양한 이미지 프로세싱 알고리즘들을 사용하여 비교 및/또는 상관될 수 있다. 이러한 알고리즘들은 텍스처 합성, 이미지 리샘플링 알고리즘들, 보간 알고리즘들, 이미지 선명화 알고리즘들, 에지-검출 알고리즘들 및 이미지 블러링 알고리즘들 등을 제한없이 포함할 수 있다. 따라서, 고해상도 깊이 맵은 ToF 센서(110)에 의해 획득되는 깊이 맵의 것보다 더 높은 공간 해상도로 장면에 대한 깊이 정보를 포함할 수 있다. 일부 실시예들에서, 공간 해상도는 시스템(100)으로부터 떨어진 주어진 거리에서의 타겟 해상도와 관련될 수 있다. 2차원 표면을 따라 3차원 공간 내에서의 다른 공간 해상도들도 본 명세서에서 가능하고 고려된다. 예를 들어, ToF 센서(110)에 의해 획득되는 깊이 맵은 20미터 범위에서 10센티미터의 인접한 샘플링 포인트들 사이의 공간 해상도를 제공할 수 있다. 고해상도 깊이 맵은 20미터 범위에서 5센티미터 미만의 공간 해상도를 제공할 수 있다. 다른 실시예들에서, 고해상도 깊이 맵은 시스템(100)의 시야 내에서 객체들(예를 들어, 다른 차량들, 보행자들, 장애물들, 표지판들, 신호들 등)을 감지하기에 충분할 수 있는 다른 공간 해상도들을 포함할 수 있다.
블록(250)은 장면의 깊이 맵, 및 임의적으로 장면의 이미지에 기초하여 장면에 대한 적어도 하나의 추론을 결정하는 단계를 포함할 수 있다. 예를 들어, 제어기(150)는 블록(240)에서 결정된 고해상도 깊이 맵에 기초하여 장면에 대한 적어도 하나의 추론을 결정할 수 있다. 이러한 시나리오에서, 적어도 하나의 추론은 차량의 환경 내의 하나 이상의 객체 또는 차량의 동작 컨텍스트에 대한 정보를 포함할 수 있다. 제어기(150)가 심층 신경망을 포함하는 시나리오들에서, 블록(250)은 심층 신경망에 의해 적어도 부분적으로 수행될 수 있다.
동작 시나리오(200)는 다양한 동작들 또는 블록들(210, 220, 230, 240 및 250)을 제어기(150)에 의해 수행되는 것으로 설명하지만, 동작 시나리오(200)의 동작들 중 적어도 일부가 하나 이상의 다른 컴퓨팅 디바이스에 의해 실행될 수 있다는 것이 이해될 것이다.
동작 시나리오(200)는 다양한 동작들을 설명하지만, 더 많거나 더 적은 동작들이 고려된다는 것이 이해될 것이다. 예를 들어, 동작들은 이미징 센서(120)에 대해 원하는 노출을 제공하기 위해 복수의 가능한 조명 스케줄들 중에서 조명 스케줄을 선택하는 동작을 추가로 포함할 수 있다.
도 3a, 도 3b 및 도 3c는 시스템(100) 및 그것의 엘리먼트들의 다양한 실시예들을 예시한다. 도 3a는 예시적인 실시예에 따른 차량(300)을 예시한다. 차량(300)은 하나 이상의 센서 시스템(302, 304, 306, 308, 310, 354a-d 및 356a-d)을 포함할 수 있다. 일부 예들에서, 하나 이상의 센서 시스템(302, 304, 306, 308 및 310)은 LIDAR 및/또는 레이더 센서 유닛들을 포함할 수 있다. 센서 시스템들(302, 304, 306, 308 및 310) 중 하나 이상은 광 펄스들 및/또는 레이더 에너지로 차량(300) 주변 환경을 조명하기 위해 주어진 평면에 수직인 축(예를 들어, z-축) 주위로 회전하도록 구성될 수 있다. 추가적으로 또는 대안적으로, 센서 시스템들(302, 304, 306, 308 및 310) 중 하나 이상은 차량(300)의 환경에서 방출되는 광 펄스들 및/또는 레이더 에너지를 지향시키기 위해 이동식 미러를 포함할 수 있다. LIDAR-기반 센서들의 경우, 반사된 광 펄스들의 다양한 양태들(예를 들어, 경과된 비행 시간, 편광 등)을 결정하면 본 명세서에 설명된 환경에 대한 정보를 제공할 수 있다. 마찬가지로, 레이더-기반 센서들은 레이더 에너지가 환경과 상호 작용하는 방법에 기초하여 주어진 장면에 대한 정보를 결정할 수 있다.
예시적인 실시예에서, 센서 시스템들(302, 304, 306, 308 및 310)은 차량(300)의 환경 내의 물리적 객체들과 관련될 수 있는 각각의 포인트 클라우드 정보 또는 다른 타입들의 정보(예를 들어, 맵들, 객체 데이터베이스들 등)를 제공하도록 구성될 수 있다. 차량(300) 및 센서 시스템들(302 및 304)은 특정 피처들을 포함하는 것으로 예시되어 있지만, 다른 타입들의 센서들도 본 개시내용의 범위 내에서 고려된다는 것이 이해될 것이다.
도 3b는 예시적인 실시예에 따른 센서 유닛(350)의 정면도를 예시한다. 센서 유닛(350)은 하우징(352)을 포함할 수 있다. 일부 실시예들에서, 하우징(352)은 차량(300)에 커플링되거나 통합될 수 있다. 예시적인 실시예에서, 센서 유닛(350)은 도 1을 참조하여 예시되고 설명된 이미징 센서(120)와 유사하거나 동일할 수 있는 이미징 센서(354)를 임의적으로 포함할 수 있다. 추가적으로, 센서 유닛(350)은 도 1을 참조하여 예시되고 설명된 ToF 센서(110)와 유사하거나 동일할 수 있는 ToF 센서(356)를 포함할 수 있다. 도 3b는 이미징 센서(354) 및 ToF 센서(356)를 공통 하우징(352) 내에 배치되는 것으로 예시하지만, 이미징 센서(354) 및 ToF 센서(356)는 상이한 위치들에 배치될 수 있다. 이러한 엘리먼트들의 다른 배열들도 본 명세서에서 가능하고 고려된다는 것이 이해될 것이다.
도 3c는 예시적인 실시예에 따른 광원(370)을 예시한다. 광원(370)은 하우징(372)을 포함할 수 있다. 일부 실시예들에서, 하우징(372)은 차량(300)에 커플링되거나 통합될 수 있다. 예시적인 실시예에서, 광원(370)은 도 1을 참조하여 예시되고 설명된 광원(130)과 유사하거나 동일할 수 있는 복수의 발광 엘리먼트들(374a-h)을 포함할 수 있다. 발광 엘리먼트들(374a-h)은 어레이 또는 다른 공간 배열로 배치될 수 있다. 예시적인 실시예에서, 발광 엘리먼트들(374a-h)은 발광 다이오드(LED)들 또는 레이저 다이오드들일 수 있다. 다른 타입들의 광원들도 가능하고 고려된다.
발광 엘리먼트들(374a-h)은 적외선(예를 들어, 근적외선 700-1050nm) 파장 범위의 광을 방출하도록 구성될 수 있다. 그러나, 일부 실시예들에서는, 다른 파장들의 광도 고려된다(예를 들어, 1550nm). 일부 실시예들에서, 발광 엘리먼트들(374a-h)은 서로 상이한 파장들에서 광을 방출하도록 구성될 수 있다. 즉, 발광 엘리먼트들(374a-h)은 8개의 상이한 파장에서 광을 방출하도록 구성될 수 있다. 이러한 시나리오들에서, 시스템(100) 및/또는 차량(300)은 이산 발광 엘리먼트들에 의해(또는 상이한 광원들(370) 사이에서) 방출되는 광 신호들을 그것의 파장에 기초하여 명확하게 하도록 구성될 수 있다. 일부 실시예들에서, 다색광은 다색 이미징 센서들 및/또는 다색 ToF 센서들에 의해 수신될 수 있다.
일부 실시예들에서, 발광 엘리먼트들(374a-h)은 발광 엘리먼트들(374a-h)로부터 방출되는 광과 상호 작용하도록 구성되는 하나 이상의 광학 엘리먼트를 포함할 수 있다. 제한없이, 하나 이상의 광학 엘리먼트는 방출되는 광을 재지향, 형상화, 감쇠, 증폭 또는 다른 방식으로 조정하도록 구성될 수 있다. 예를 들어, 하나 이상의 광학 엘리먼트는 미러, 광섬유, 회절성 광학 엘리먼트, 비구면 렌즈, 원통형 렌즈 또는 구면 렌즈를 포함할 수 있다. 다른 타입들의 광학 엘리먼트들도 가능하고 고려된다.
일부 예시적인 실시예들에서, 발광 엘리먼트들(374a-h)은 차량(300) 주변 환경의 상이한 공간 섹터들(예를 들어, 상이한 방위각 범위들 및/또는 고도각 범위들 포함)을 향해 광을 방출하도록 동작 가능할 수 있다. 또한, 일부 실시예들에서, 발광 엘리먼트들(374a-h)은 주어진 시간 기간 동안 상이한 시간들에서 광을 방출하도록 동작 가능할 수 있다. 즉, 발광 엘리먼트들(374a-h) 각각은 주어진 시간 범위에 걸쳐 각각의 시간 기간들 동안 발광하도록 제어될 수 있다. 예를 들어, 발광 엘리먼트들(374a-h)은 직렬 패턴으로 광을 방출할 수 있다(예를 들어, "체이스(chase)" 패턴으로 차례로 점등되는 하나의 발광 엘리먼트). 추가적으로 또는 대안적으로, 발광 엘리먼트들(374a-h) 중 하나 이상은 병렬 방식으로 광을 방출할 수 있다(예를 들어, 동시에 광을 방출하는 여러 발광 엘리먼트).
도 3a로 돌아가면, 차량(300)은 도 3b를 참조하여 예시되고 설명된 센서 유닛(350)과 유사하거나 동일할 수 있는 복수의 센서 유닛들을 포함할 수 있다. 또한, 각각의 센서 유닛들은 각각 이미징 센서들(354a-d) 및 ToF 센서들(356a-d)을 포함할 수 있다. 예시된 바와 같이, 각각의 쌍들의 이미징 센서들(354a-d) 및 ToF 센서들(356a-d)은 차량(300)의 전방, 우측, 좌측 및 후방 부분에 커플링되거나 통합될 수 있다. 다른 마운팅 타입들 및 마운팅 위치들도 이미징 센서들(354a-d) 및 ToF 센서들(356a-d)에 대해 고려된다. 예를 들어, 일부 실시예들에서, 이미징 센서들(354a-d) 및 ToF 센서들(356a-d))은 차량(300) 주변 환경으로부터 이미징 정보 및 ToF 정보를 획득하기 위해 z-축 주위로 회전하도록 구성되는 회전형 마운트에 배치될 수 있다.
센서 시스템들(354a/356a, 354b/356b, 354c/356c 및 354d/356d)은 함께 배치되는 것으로 예시되어 있지만, 다른 센서 배열들도 가능하고 고려된다는 것이 이해될 것이다. 또한, 특정 위치들 및 개수들의 센서 시스템들이 도 3a 내지 도 3c에 예시되어 있지만, 상이한 마운팅 위치들 및/또는 상이한 개수들의 다양한 센서 시스템들도 고려된다는 것이 이해될 것이다.
차량(300)은 도 1을 참조하여 예시되고 설명된 광원(130)과 유사하거나 동일할 수 있는 복수의 광원들(370a-d)을 포함할 수 있다. 예시된 바와 같이, 광원(370a-d)은 차량(300)의 전방, 우측, 좌측 및 후방 부분에 커플링되거나 통합될 수 있다. 복수의 광원들(370a-d)에 대해 다른 마운팅 타입들 및 마운팅 위치들도 고려된다. 예를 들어, 일부 실시예들에서, 광원(370)은 제어 가능한 방위각 범위를 향해 광을 방출하도록 z-축 주위로 회전하도록 구성되는 회전형 마운트에 배치될 수 있다.
도 4a 및 도 4b는 다양한 감지 시나리오들(400 및 420)을 예시한다. 각각의 경우에, 명확성을 위해, 감지 시나리오들(400 및 420)은 가능한 공간 섹터들 및 센서 프로파일들/범위들의 서브세트를 예시할 수 있다. 본 개시내용의 범위 내에서 다른 공간 섹터들도 가능하고 고려된다는 것이 이해될 것이다. 또한, 감지 시나리오들(400 및 420)은 시간상 단일 "스냅샷들"만을 예시할 수 있으며, 공간 섹터들 및 센서 프로파일들/범위들은 다른 요인들 중에서 차량(300)의 동적으로-변경되는 동작 컨텍스트에 기초하여 주기적으로 또는 지속적으로 변경되도록 동적으로 조정될 수 있다는 것이 이해될 것이다.
도 4a는 예시적인 실시예에 따른 감지 시나리오(400)에서 차량(300)의 오버헤드도/상면도를 예시한다. 감지 시나리오(400)는 구조화된 광 패턴(402)으로 차량(300)의 환경의 정면 섹터를 조명하는 것을 포함한다. 예를 들어, 광원(370a)은 구조화된 광 패턴(402)으로 차량(300)의 정면 섹터를 조명하도록 하나 이상의 발광 엘리먼트로부터 광을 방출할 수 있다.
구조화된 광 패턴(402)은 펄스형 조명 스케줄 또는 연속파 조명 스케줄에 따라 제공될 수 있다. 다른 타입들의 조명 스케줄들도 고려된다. 예를 들어, 구조화된 광 패턴(402)은 제어기(150)로부터 "주문형"으로 또는 차량(300)의 동작 컨텍스트에 기초하여 제공될 수 있다. 예를 들어, 구조화된 광 패턴(402)은 저조도 조건들에서(예를 들어, 밤에) 또는 차량(300)의 환경 내의 객체를 결정하는 것에 응답하여 제공될 수 있다. 비제한적인 예로서, 차량(300)의 다른 센서 시스템도 차량(300) 앞에 있는 모호하거나 알려지지 않은 객체(예시 생략)를 식별할 수 있다. 추가 분석을 위해 모호하거나 알려지지 않은 객체가 식별될 수 있다. 이러한 시나리오에서, 제어기(150)는 광원(370a)이 구조화된 광 패턴(402)을 정면 섹터에 제공하게 할 수 있다.
도 4a는 정면 섹터가 조명되는 것으로 예시하지만, 일부 실시예들에서, 광원(370a)은 구조화된 광 패턴(402)의 포인팅 방향을 조정하도록 구성될 수 있다. 다른 광원들(370b-d)도 그들 각각의 포지션들에 대응하는 다양한 공간 섹터들 내에 유사한 구조화된 광 패턴들을 제공할 수 있다는 것도 이해될 것이다. 예를 들어, 광원(370d)은 구조화된 광 패턴에 따른 광을 후방 공간 섹터 내로 방출할 수 있다.
구조화된 광 패턴(402) 및 공간 섹터들은 도 4a 및 도 4b에서 2차원으로 나타나지만, 3차원 공간 볼륨들도 고려된다는 이해될 것이다. 예를 들어, 구조화된 광 패턴(402) 및/또는 공간 섹터들은 방위각 범위 사이, 및 또한 최대 고도각과 최소 고도각 사이로서 정의될 수 있다.
도 4b는 예시적인 실시예에 따른 감지 시나리오(420)에서 차량(300)의 오버헤드도/상면도를 예시한다. 감지 시나리오(420)는 이미징 센서(354a)가 시야(404)로부터 광을 획득하는 것을 포함할 수 있다. 이미징 센서(354a)에 의해 획득되는 광의 적어도 일부는 구조화된 광 패턴(402)이 차량(300)의 환경과 상호 작용한 후에 반사되거나 굴절되는 광을 포함할 수 있다. 시야(404)는 차량(300)의 정면 공간 섹터를 포함할 수 있다. 일부 실시예들에서, 이미징 센서(354a)의 시야(404)는 구조화된 광 패턴(402)에 의해 조명되는 볼륨과 부분적으로 또는 완전히 중첩될 수 있다. 시야(404)로부터 획득되는 광에 기초하여, 이미징 센서(354a)는 구조화된 광 패턴(402)에 적어도 부분적으로 기초하여 장면의 이미지를 제공할 수 있다.
감지 시나리오(420)는 또한 ToF 센서(356a)가 시야(406)로부터 광을 획득하는 것을 예시한다. ToF 센서(356a)에 의해 획득되는 광의 적어도 일부는 차량(300)의 환경과 상호 작용한 구조화된 광 패턴(402)으로부터 유래될 수 있다. 시야(406)는 차량(300)의 정면 공간 섹터를 포함할 수 있다. 일부 실시예들에서, ToF 센서(356a)의 시야(406)는 구조화된 광 패턴(402)에 의해 조명되는 볼륨과 부분적으로 또는 완전히 중첩될 수 있다. 시야(406)로부터 획득되는 광에 기초하여, ToF 센서(356a)는 구조화된 광 패턴(402)에 적어도 부분적으로 기초하여 장면의 깊이 맵을 제공할 수 있다.
도 4c는 예시적인 실시예들에 따른 다양한 구조화된 광 패턴들(430)을 예시한다. 다양한 구조화된 광 패턴들(430)은, 예를 들어, 수직 스트라이프형의 구조화된 광 패턴(432), 도트 어레이 구조화된 광 패턴(434), 체커보드 구조화된 광 패턴(436), 대각선 스트라이프형의 구조화된 광 패턴(438), "드롭아웃" 구조화된 광 패턴(440) 및/또는 스펙클 구조화된 광 패턴(442)을 포함할 수 있다.
도 4d는 예시적인 실시예에 따른 구조화된 광 패턴(444)을 예시한다. 예를 들어, 구조화된 광 패턴(444)은 수평 스트라이프형의 구조화된 광 패턴(446)을 포함할 수 있다. 다른 구조화된 광 패턴들도 가능하며, 각각이 제한없이 고려된다는 것이 이해될 것이다.
일부 실시예들에서, 구조화된 광 패턴들(430)의 일부 또는 모든 부분들의 조명 레벨(예를 들어, 밝기)은 장면 내의 객체들 및/또는 장면에 대한 사전 정보에 기초하여 동적으로 조정될 수 있다. 예를 들어, 장면의 다양한 부분들에 제공되는 조명의 양은 예측되거나 또는 알려진 매우-재귀 반사성인 객체들의 존재에 기초할 수 있다. 시나리오에서, ToF 센서는 상대적으로 낮은 조명 레벨에서 장면을 조명하면서 장면의 초기 스캔을 캡처할 수 있다. 예를 들어, 초기 스캔은 짧은(예를 들어, 10마이크로초) 조명 기간을 포함할 수 있다. 이러한 초기 스캔은 장면 내에 존재하는 재귀 반사체들에 대한 정보를 제공할 수 있다. 장면의 후속 스캔은 재귀 반사체들이 존재하지 않는 장면의 부분들에 대해 상대적으로 높은 조명 레벨(예를 들어, 100마이크로초 조명 기간 이상)에서 수행될 수 있다. 후속 스캔은 고반사성 객체의 존재를 확인하기 위해 상대적으로 낮은 조명 레벨에서 재귀 반사체들을 갖는 장면의 부분들을 조명하는 것을 포함할 수 있다.
예를 들어, 도 4c를 참조하면, 초기 스캔 동안 주어진 장면 내에서 재귀 반사성 영역(435a)이 식별되는 경우, 해당 재귀 반사성 영역(435a)의 조명은 후속 스캔 동안 장면의 다른 영역들(435b)에 비해 감소될 수 있다. 장면 내의 조명 레벨을 동적으로 조정함으로써, 잠재적인 블루밍 이슈들 및/또는 재귀 반사체들과 관련된 다른 문제들이 거의 실시간으로 피해지거나 감소될 수 있다. 장면의 다른 부분들에 비해 장면의 특정 부분들을 차별적으로 조명하기 위한 다른 방법들도 고려되고 가능하다.
III. 예시적인 방법들
도 5는 예시적인 실시예에 따른 방법(500)을 예시한다. 방법(500)은 본 명세서에 명시적으로 예시되거나 또는 다른 방식으로 개시된 것들보다 더 적거나 더 많은 단계들 또는 블록들을 포함할 수 있다는 것이 이해될 것이다. 또한, 방법(500)의 각각의 단계들 또는 블록들은 임의의 순서로 수행될 수 있고, 각각의 단계 또는 블록은 한 번 이상 수행될 수 있다. 일부 실시예들에서, 방법(500)의 블록들 또는 단계들의 일부 또는 전부는 시스템(100)의 엘리먼트들에 의해 수행될 수 있다. 예를 들어, 방법(500)의 일부 또는 전부는 도 1과 관련하여 예시되고 설명된 바와 같은 제어기(150), ToF 센서(들)(110) 및/또는 이미징 센서(들)(120)에 의해 수행될 수 있다. 또한, 방법(500)은 도 2와 관련하여 예시된 동작 시나리오(200)에 의해 적어도 부분적으로 설명될 수 있다. 또한, 방법(500)은 도 3a, 도 4a, 도 4b, 도 6a 또는 도 6b와 관련하여 예시되고 설명된 차량들(300 또는 400)에 의해 적어도 부분적으로 수행될 수 있다. 방법(500)은 도 4a, 도 4b 및 도 4c와 관련하여 예시되고 설명된 시나리오(400)와 유사하거나 동일한 시나리오들에서 수행될 수 있다. 본 개시내용의 컨텍스트 내에서 다른 시나리오들도 가능하고 고려된다는 것이 이해될 것이다.
블록(502)은 적어도 하나의 광원이 구조화된 광 패턴으로 장면을 조명하게 하는 단계를 포함한다. 구조화된 광 패턴은 도 4a, 도 4b 및 도 4c에 예시되고 설명된 구조화된 광 패턴(402, 432, 434, 436, 438, 440 및 442)과 유사하거나 동일할 수 있다. 예시적인 실시예들에서, 구조화된 광 패턴은 시간 광 패턴, 공간 광 패턴, 미리 결정된 광 펄스 반복 레이트, 미리 결정된 광 펄스 지속 시간, 미리 결정된 광 펄스 강도, 또는 미리 결정된 광 펄스 듀티 사이클 중 적어도 하나를 포함할 수 있다.
블록(504)은, 비행-시간(ToF) 센서로부터, 구조화된 광 패턴에 기초하여 장면에 대한 정보(예를 들어, 비행 시간 정보)를 수신하는 단계를 포함한다. 예시적인 실시예에서, 제어기(150)는 ToF 센서가 구조화된 광 패턴에 기초하여 깊이 스캔을 개시하게 할 수 있다. 일부 실시예들에서는, 클록 신호 또는 트리거 신호가 ToF 센서에 제공되어, 이를 환경 내로 방출되는 하나 이상의 광 펄스와 동기화할 수 있다. 깊이 맵 정보를 획득하면, ToF 센서는 제어기(150) 또는 시스템(100)의 다른 엘리먼트에 깊이 맵을 나타내는 정보를 제어기(150)에 제공할 수 있다.
블록(506)은 수신된 정보에 기초하여 장면의 깊이 맵을 결정하는 단계를 포함한다. 예를 들어, 장면의 깊이 맵을 결정하는 단계는 환경 내로 방출되는 광 펄스들의 비행 시간에 기초하여 환경 내의 객체들까지의 거리들을 계산하는 단계를 포함할 수 있다. 수신된 정보에 기초하여 장면의 깊이 맵을 결정하기 위한 다른 방법들도 고려된다.
임의적으로, 방법(500)은 이미징 센서가 구조화된 광 패턴에 기초하여 장면의 이미지를 나타내는 정보를 제공하게 하는 단계를 포함할 수 있다. 일부 실시예들에서, 제어기(150)는 이미징 센서의 기계식 또는 전자식 셔터를 열도록 트리거하여, 장면의 이미지를 획득할 수 있다. 추가적으로 또는 대안적으로, 제어기(150)는 장면에 대한 정보(예를 들어, 주변 광 레벨, 관심있는 특정 섹터들, 원하는 해상도, 하루 중 시간 등)를 제공할 수 있다. 또한, 제어기(150) 또는 광원(130)은 이미징 센서와 광원을 동기화하기 위해 클록 신호 또는 트리거 신호를 제공할 수 있다. 이미징 센서는 장면의 이미지를 획득하면, 제어기(150) 또는 시스템(100)의 다른 엘리먼트에 이미지를 나타내는 정보를 제공할 수 있다.
추가적으로 또는 대안적으로, 방법(500)은 복수의 가능한 구조화된 광 패턴들 중에서 원하는 구조화된 광 패턴을 선택하는 단계를 포함할 수 있다. 일부 실시예들에서, 원하는 구조화된 광 패턴은 이미징 센서에 대한 원하는 노출을 제공하도록 선택될 수 있다. 추가적으로 또는 대안적으로, 원하는 구조화된 광 패턴을 선택하는 단계는 외부 광 레벨, 다른 광원들, 태양의 각도 등을 포함하는 다수의 변수들에 기초할 수 있다. 따라서, 방법(500)은 주변 광의 양(예를 들어, 주변 광 센서로부터 측정됨), 하루 중 시간 및/또는 기상 조건에 기초하여 구조화된 광 패턴을 선택 및/또는 조정하는 단계를 포함할 수 있다.
임의적으로, 방법(500)은 장면의 깊이 맵 및 장면의 이미지에 기초하여 장면의 고해상도 깊이 맵(예를 들어, ToF 센서에 의해 개별적으로 제공되는 것보다 높은 해상도를 갖는 깊이 맵)을 결정하는 단계를 포함할 수 있다.
블록(508)은 장면의 깊이 맵, 및 임의적으로 장면의 이미지에 기초하여 장면에 대한 적어도 하나의 추론을 결정하는 단계를 포함한다. 일부 실시예들에서, 적어도 하나의 추론은 차량의 환경 내의 하나 이상의 객체 또는 차량의 동작 컨텍스트에 대한 정보를 포함할 수 있다.
예시적인 실시예들에서, 적어도 하나의 추론을 결정하는 단계는 적어도 하나의 심층 신경망에 의해 수행될 수 있다. 추가적으로 또는 대안적으로, 방법(500)의 일부 또는 모든 블록들은 다른 타입들의 인공 지능-기반 알고리즘들을 구현하는 컴퓨팅 시스템들에 의해 수행될 수 있다.
도 6a 및 도 6b는 본 개시내용의 컨텍스트에서의 감지 시나리오들을 예시한다. 감지 시나리오들은 시스템(100)(예를 들어, 도 1을 참조하여 예시되고 설명됨), 차량(300)(예를 들어, 도 3a, 도 4a 및 도 4b를 참조하여 예시되고 설명됨) 및 방법(500)(예를 들어, 도 5를 참조하여 예시되고 설명됨)과 관련될 수 있다.
도 6a는 예시적인 실시예에 따른 감지 시나리오(600)를 예시한다. 도 6a에 예시된 바와 같이, 차량(300)은 하나 이상의 객체를 포함하는 환경에서 동작하고 있을 수 있다. 도시된 바와 같이, 차량(300)은 센서 유닛들(302, 306, 308 및 310)을 포함한다. 예를 들어, 센서 유닛(302)은 제1 LIDAR(도시 생략) 및 제2 LIDAR(도시 생략)를 포함할 수 있다. 또한, 예를 들어, 센서 유닛들(306, 308 및 310) 각각도 LIDAR를 포함할 수 있다. 도시된 바와 같이, 차량(300)은 이미징 센서들(354a-d), ToF 센서들(356a-d) 및 광원들(370a-d)을 추가적으로 포함할 수 있다. 차량(300)은 상이한 개수들 및/또는 배열들의 이미징 센서들(354a-d), ToF 센서들(356a-d), 및/또는 광원들(370a-d)을 포함할 수 있다는 것이 이해될 것이다.
도시된 바와 같이, 차량(300)의 환경은 자동차들(614 및 616), 도로 표지판(618), 나무(620), 건물(622), 도로명 표지판(624), 보행자(626), 개(628), 자동차(630), 진입로(632), 및 차선(634)을 포함한 차선들과 같은 다양한 객체들을 포함한다. 일부 실시예들에서, 이러한 객체들은 상이한 반사율들을 가지며, 이는 정확한 깊이 맵 정보를 획득하는 것을 더 어렵게 할 수 있다. 본 개시내용에 따르면, 차량(300)은 차량(300)의 자율적 동작 및/또는 차량(300)에 의한 사고 회피를 용이하게 하기 위해 방법(500)과 같은 본 명세서의 방법들 및 프로세스들을 수행할 수 있다.
도 6b는 예시적인 실시예에 따른 감지 시나리오(650)를 예시한다. 일부 실시예들에서, 차량(300) 및 그와 연관된 광원들은 하나 이상의 구조화된 광 패턴(652 및 654)에 따라 그것의 환경 내로 광을 방출할 수 있다. 예를 들어, 예시된 바와 같이, 우향 광원은 체커보드 패턴을 포함할 수 있는 구조화된 광 패턴(654)으로 환경을 조명할 수 있다. 또한, 정면 광원은 구조화된 광 패턴(652)으로 환경을 조명할 수 있다.
다른 시나리오들도 또한 가능하다. 따라서, 본 방법들 및 시스템들은 구조화된 광 패턴들로 환경을 조명하도록 구성되는 광원들과 조합하여 하나 이상의 ToF 센서를 이용함으로써 차량(300)과 같은 차량에 대한 자율적 동작 및/또는 사고 회피를 용이하게 할 수 있다.
본 명세서에 설명된 시스템들 및 방법들은 환경에 대한 사전 정보를 포함할 수 있다. 이러한 사전 정보는 차량의 로컬 환경 및/또는 ToF 센서의 장면 내의 고 충실도 3차원 모델을 포함할 수 있다. 이러한 시나리오들에서, 사전 정보는 적어도 부분적으로 차량 및/또는 중앙 또는 지역 서버에 상주할 수 있다.
일부 실시예들에서, 센서들을 더 잘 캘리브레이션하고/하거나 차량을 더 잘 로컬라이징하기 위해 사전 정보가 ToF 정보/깊이 맵과 조합하여 이용될 수 있다. 즉, 사전 정보와 적어도 하나의 깊이 맵 간을 비교하면 ToF 센서의 고유 및 외부 특성들을 결정하는 데 도움이 될 수 있다. 이러한 시나리오들에서, 결정된 고유 및/또는 외부 특성들이 ToF 센서를 캘리브레이션하는 데 사용될 수 있다. 추가적으로 또는 대안적으로, 사전 정보와 적어도 하나의 깊이 맵 간의 비교는 사전 정보를 적어도 하나의 깊이 맵과 정렬하거나 또는 이에 등록하는 것을 포함할 수 있다. 그렇게 함으로써, 정렬/등록 프로세스는 차량의 더 정확한 절대 포지션, 방향, 속도 또는 다른 특성들 및/또는 그것의 환경의 다른 양태들을 결정하는 데 도움이 될 수 있다. 즉, 사전 정보는 적어도 깊이 맵과 함께 이용되어, 단독으로 취해진 센서 정보보다 차량에 대한 더 정확한 정보를 제공할 수 있다. 이러한 시나리오들에서, 사전 정보는 차량이 로컬라이징될 수 있는 기준 프레임을 나타낼 수 있다.
도 7은 예시적인 실시예에 따른 방법(700)을 예시한다. 방법(700)의 블록들 및/또는 엘리먼트들은 도 5 및 도 6을 참조하여 예시되고 설명된 방법들(500 또는 600)의 대응하는 엘리먼트들과 유사하거나 동일할 수 있다.
블록(702)은 장면의 3차원 정보를 포함하는 사전 정보를 제공하는 단계를 포함한다. 사전 정보는, 예를 들어, 이전에 획득된 이미지, ToF 및/또는 LIDAR 데이터를 포함할 수 있다. 사전 정보는 맵, 포인트 클라우드, 또는 깊이 맵 또는 다른 타입들의 정보를 추가적으로 또는 대안적으로 포함될 수 있다.
블록(704)은 적어도 하나의 광원이 구조화된 광 패턴으로 장면을 조명하게 하는 단계를 포함한다. 구조화된 광 패턴은 본 명세서에 설명된 다른 구조화된 광 패턴들과 유사하거나 동일할 수 있다.
블록(706)은 적어도 하나의 ToF 센서가 구조화된 광 패턴에 기초하여 장면의 깊이 맵을 나타내는 비행 시간 정보를 제공하게 하는 단계를 포함한다. 본 명세서에 설명된 바와 같이, ToF 센서는 구조화된 광 패턴으로 장면을 조명하면서 동작될 수 있다. 이렇게 하면 장면 내의 객체들의 깊이에 대한 더 자세한 정보를 제공할 수 있다.
추가적으로 또는 대안적으로, 깊이 추정을 개선하기 위해 사전 정보가 이용될 수 있다. 이러한 시나리오에서, 사전 정보는 깊이 맵(들) 내에 투영될 수 있다. 다양한 방법들(예를 들어, 광선 추적, PCoA(Principle Components Ordination), NMDS(Non-metric Multidimensional Scaling) 또는 다른 방법들)이 3차원 사전 정보의 깊이 맵 위에의 투영을 수행하는 데 사용될 수 있으며, 이들 각각은 본 명세서에서 고려된다. 사전 정보를 깊이 맵 내에 투영함으로써, 깊이 정보가 이중-체크되고/되거나, 캘리브레이션되고/되거나, 확인되고/되거나 더 정확하게 추정될 수 있다.
또한, 배경 감산을 수행하기 위해 사전 정보가 이용될 수 있다. 이러한 시나리오에서, 사전 정보는 관련 센서 깊이 밖에 있는(예를 들어, 차량으로부터 멀리 떨어져 있는) 객체들에 대한 정보를 포함할 수 있다. 이러한 상황들에서, 관련 센서 깊이 밖에 있는 객체들에 대응하는 깊이 맵 정보는 환경의 다른 더 관련된 영역들보다 낮은 해상도로 무시, 할인, 삭제 및/또는 프로세싱될 수 있다.
추가적으로, 사전 정보는 적어도 부분적으로 재귀 반사성 객체들이 주어진 환경 내에 있을 수 있는 위치를 결정하는 데 사용될 수 있다. 차량(및 그것의 ToF 이미징 시스템(들))은 이러한 환경에 진입할 때, 재귀 반사성 객체들의 효과들을 완화하기 위해 시스템의 동작을 조정할 수 있다. 예를 들어, 시스템은 환경의 다른 영역들에 비해 더 낮은 강도 레벨에서 알려진 재귀 반사성 객체에 대응하는 환경을 조명할 수 있다. 이러한 시나리오에서, 하이브리드 이미징 시스템은 재귀 반사성 객체들로 인해 발생할 수 있는 "블루밍" 또는 "블라인딩" 효과들을 피할 수 있다. 추가적으로 또는 대안적으로, 하이브리드 이미징 시스템은 상이한 변조 주파수에서 동작하고/하거나, 상이한 레이트로 조명 소스를 조명할 수 있다. 재귀 반사체들의 효과들을 완화하기 위한 다른 방법들도 본 명세서에서 가능하고 고려된다.
일부 실시예들에서는, ToF 센서로부터의 복수의 프레임들/스캔들이 장면에 대한 정보를 획득하기 위해 이용될 수 있으며, 이는 본 개시내용에서 설명된 다른 정보와 함께 이용될 수 있다. 예를 들어, 2개의 연속적인 ToF 프레임 사이에서의 객체의 겉보기 움직임 패턴에 의해 "광학 흐름(optical flow)"이 획득될 수 있다. 광학 흐름은, 예를 들어, 제1 ToF 프레임과 제2 ToF 프레임 사이에서 장면 내의 대응하는 객체들의 변위를 포함하는 2차원 벡터 필드를 포함할 수 있다. 광학 흐름에 기초하여, 객체들까지의 거리들이 추론되고/되거나 예측될 수 있다. 광학 흐름으로부터의 이러한 거리 정보는 ToF 정보를 사용하여 추정되는 깊이들의 범위를 제약하는 데 이용될 수 있다. 즉, 광학 흐름은 주어진 장면 내의 객체들의 범위들에 대한 추가 정보를 제공할 수 있다. 대략적인 깊이 정보는 ToF 센서 및/또는 조명 소스에 대한 동작 파라미터들을 결정하는 데 사용될 수 있다. 추가적으로 또는 대안적으로, 대략적인 깊이 정보는 시스템에 의해 보다 일반적으로 사용되는 동작 파라미터들의 세트를 제한하거나 제약하는 데 사용될 수 있다.
도면들에 도시된 특정 배열들은 제한적인 것으로 간주되어서는 안된다. 다른 실시예들은 주어진 도면에 도시된 각각의 엘리먼트를 더 많거나 더 적게 포함할 수 있다는 것이 이해되어야 한다. 또한, 예시된 엘리먼트들 중 일부는 결합되거나 생략될 수 있다. 또한, 예시적인 실시예는 도면들에 예시되지 않은 엘리먼트들을 포함할 수 있다.
정보 프로세싱을 나타내는 단계 또는 블록이 본 명세서에 설명된 방법 또는 기술의 특정 논리 기능들을 수행하도록 구성될 수 있는 회로망에 대응할 수 있다. 대안적으로 또는 추가적으로, 정보 프로세싱을 나타내는 단계 또는 블록은 모듈, 세그먼트, 물리적 컴퓨터(예를 들어, 필드 프로그래밍 가능 게이트 어레이(FPGA) 또는 애플리케이션-특정 집적 회로(ASIC)) 또는 프로그램 코드의 일부(관련 데이터 포함)에 대응할 수 있다. 프로그램 코드는 방법 또는 기술에서의 특정 논리 기능들 또는 액션들을 구현하기 위해 프로세서에 의해 실행 가능한 하나 이상의 명령어를 포함할 수 있다. 프로그램 코드 및/또는 관련 데이터는 디스크, 하드드라이브 또는 다른 저장 매체를 포함하는 저장 디바이스와 같은 임의의 타입의 컴퓨터 판독 가능 매체 상에 저장될 수 있다.
컴퓨터 판독 가능 매체는 또한 레지스터 메모리, 프로세서 캐시 및 랜덤 액세스 메모리(random access memory)(RAM)와 같이 짧은 기간들 동안 데이터를 저장하는 컴퓨터 판독 가능 매체와 같은 비-일시적 컴퓨터 판독 가능 매체를 포함할 수 있다. 컴퓨터 판독 가능 매체는 또한 더 긴 기간 동안 프로그램 코드 및/또는 데이터를 저장하는 비-일시적 컴퓨터 판독 가능 매체를 포함할 수 있다. 따라서, 컴퓨터 판독 가능 매체는, 예를 들어, 판독 전용 메모리(read only memory)(ROM), 광학 또는 자기 디스크들, 컴팩트-디스크 판독 전용 메모리(compact-disc read only memory)(CD-ROM)와 같은 2차 또는 영구 장기 스토리지를 포함할 수 있다. 컴퓨터 판독 가능 매체는 또한 임의의 다른 휘발성 또는 비-휘발성 저장 시스템들일 수 있다. 컴퓨터 판독 가능 매체는, 예를 들어, 컴퓨터 판독 가능 저장 매체 또는 유형의(tangible) 저장 디바이스로 간주될 수 있다.
다양한 예들 및 실시예들이 개시되었지만, 다른 예들 및 실시예들도 본 기술분야의 통상의 기술자에게 명백할 것이다. 다양한 개시된 예들 및 실시예들은 예시의 목적을 위한 것이며 제한하려는 의도가 아니며, 진정한 범위는 다음의 청구범위에 의해 나타내어진다.
Claims (26)
- 센서 시스템으로서,
장면으로부터 광을 수신하도록 구성되는 적어도 하나의 비행-시간(time-of-flight)(ToF) 센서;
구조화된 광 패턴을 방출하도록 구성되는 적어도 하나의 광원; 및
동작들을 수행하는 제어기
를 포함하고,
상기 동작들은,
상기 적어도 하나의 광원이 상기 구조화된 광 패턴으로 상기 장면의 적어도 일부를 조명하게 하는 동작; 및
상기 적어도 하나의 ToF 센서가 상기 구조화된 광 패턴에 기초하여 상기 장면의 깊이 맵을 나타내는 비행 시간 정보를 제공하게 하는 동작
을 포함하는 센서 시스템. - 제1항에 있어서, 상기 적어도 하나의 ToF 센서는 복수의 상보성 금속-산화물 반도체(complementary metal-oxide semiconductor)(CMOS) 또는 전하-결합 디바이스(charge-coupled device)(CCD) 감광성 엘리먼트들을 포함하는 센서 시스템.
- 제1항에 있어서, 상기 구조화된 광 패턴은 광의 미리 결정된 공간 분포, 광의 미리 결정된 시간 분포, 또는 광의 미리 결정된 스펙트럼 분포 중 적어도 하나를 포함하는 센서 시스템.
- 제1항에 있어서, 상기 구조화된 광 패턴은 복수의 광 빔들을 포함하고, 상기 복수의 광 빔들은 포인트 방식 또는 스캐닝 방식 중 적어도 하나로 조정되는 센서 시스템.
- 제1항에 있어서, 상기 구조화된 광 패턴은 미리 결정된 광 펄스 반복 레이트, 미리 결정된 광 펄스 지속 시간, 미리 결정된 광 펄스 강도, 또는 미리 결정된 광 펄스 듀티 사이클 중 적어도 하나를 포함하는 센서 시스템.
- 제1항에 있어서, 상기 적어도 하나의 광원은 레이저 다이오드, 발광 다이오드, 플라즈마 광원, 스트로브 라이트, 솔리드-스테이트 레이저 또는 파이버 레이저(fiber laser) 중 적어도 하나를 포함하는 센서 시스템.
- 제1항에 있어서, 상기 동작들은 복수의 가능한 구조화된 광 패턴들 중에서 원하는 구조화된 광 패턴을 선택하는 동작을 추가로 포함하고, 상기 적어도 하나의 광원이 상기 구조화된 광 패턴으로 상기 장면의 적어도 일부를 조명하게 하는 동작은 상기 원하는 구조화된 광 패턴에 따라 상기 장면의 일부를 조명하는 동작을 포함하는 센서 시스템.
- 제1항에 있어서, 이미징 센서를 추가로 포함하고, 상기 이미징 센서는 복수의 감광성 엘리먼트들을 포함하고, 상기 복수의 감광성 엘리먼트들은 적어도 백만개의 감광성 엘리먼트를 포함하고, 상기 동작들은 상기 이미징 센서가 상기 구조화된 광 패턴에 기초하여 상기 장면의 이미지를 나타내는 정보를 제공하게 하는 동작을 추가로 포함하는 센서 시스템.
- 제8항에 있어서, 상기 동작들은 상기 장면의 깊이 맵 및 상기 장면의 이미지에 기초하여 상기 장면의 고해상도 깊이 맵을 결정하는 동작을 추가로 포함하는 센서 시스템.
- 제8항에 있어서, 상기 적어도 하나의 ToF 센서, 상기 이미징 센서 및 상기 적어도 하나의 광원은 공통 기판에 커플링되는 센서 시스템.
- 제1항에 있어서, 상기 동작들은 상기 장면의 깊이 맵에 기초하여 상기 장면에 대한 적어도 하나의 추론을 결정하는 동작을 추가로 포함하는 센서 시스템.
- 제11항에 있어서, 상기 적어도 하나의 추론은 차량의 환경 내의 객체들 또는 상기 차량의 동작 컨텍스트에 대한 정보를 포함하는 센서 시스템.
- 제11항에 있어서, 상기 제어기는 적어도 하나의 심층 신경망을 포함하고, 상기 적어도 하나의 추론을 결정하는 동작은 상기 적어도 하나의 심층 신경망에 의해 수행되는 센서 시스템.
- 시스템으로서,
차량에 커플링되도록 구성되는 복수의 센서 시스템들
을 포함하고,
각각의 센서 시스템은,
적어도 하나의 비행-시간(ToF) 센서;
적어도 하나의 이미징 센서 - 상기 적어도 하나의 ToF 센서 및 상기 적어도 하나의 이미징 센서는 장면으로부터 광을 수신하도록 구성됨 -;
구조화된 광 패턴을 방출하도록 구성되는 적어도 하나의 광원; 및
동작들을 수행하는 제어기
를 포함하고,
상기 동작들은,
상기 적어도 하나의 광원이 상기 구조화된 광 패턴으로 상기 장면의 적어도 일부를 조명하게 하는 동작;
상기 적어도 하나의 ToF 센서가 상기 구조화된 광 패턴에 기초하여 상기 장면의 깊이 맵을 나타내는 비행 시간 정보를 제공하게 하는 동작; 및
상기 이미징 센서가 상기 구조화된 광 패턴에 기초하여 상기 장면의 이미지를 나타내는 정보를 제공하게 하는 동작
을 포함하는 시스템. - 제14항에 있어서, 상기 동작들은 상기 장면의 깊이 맵 및 상기 장면의 이미지에 기초하여 상기 장면의 고해상도 깊이 맵을 결정하는 동작을 추가로 포함하는 시스템.
- 제14항에 있어서, 상기 센서 시스템들 중 적어도 하나는 공통 하우징에 적어도 하나의 ToF 센서 및 적어도 하나의 이미징 센서를 포함하는 시스템.
- 방법으로서,
적어도 하나의 광원이 구조화된 광 패턴으로 장면을 조명하게 하는 단계;
비행-시간(ToF) 센서로부터, 상기 구조화된 광 패턴에 기초하여 상기 장면에 대한 비행 시간 정보를 수신하는 단계;
상기 수신된 정보에 기초하여 상기 장면의 깊이 맵을 결정하는 단계; 및
상기 장면의 깊이 맵에 기초하여 상기 장면에 대한 적어도 하나의 추론을 결정하는 단계
를 포함하는 방법. - 제17항에 있어서, 상기 적어도 하나의 추론은 차량의 환경 내의 객체들 또는 상기 차량의 동작 컨텍스트에 대한 정보를 포함하는 방법.
- 제17항에 있어서, 복수의 가능한 구조화된 광 패턴들 중에서 원하는 구조화된 광 패턴을 선택하는 단계를 추가로 포함하고, 상기 적어도 하나의 광원이 상기 구조화된 광 패턴으로 상기 장면을 조명하게 하는 단계는 상기 원하는 구조화된 광 패턴에 따라 장면을 조명하는 단계를 포함하는 방법.
- 제17항에 있어서, 주변 광의 양 또는 하루 중 시간에 기초하여 상기 구조화된 광 패턴을 조정하는 단계를 추가로 포함하는 방법.
- 방법으로서,
사전 정보(prior information)를 제공하는 단계 - 상기 사전 정보는 장면의 3차원 정보를 포함함 -;
적어도 하나의 광원이 구조화된 광 패턴으로 상기 장면을 조명하게 하는 단계; 및
적어도 하나의 ToF 센서가 상기 구조화된 광 패턴에 기초하여 상기 장면의 깊이 맵을 나타내는 비행 시간 정보를 제공하게 하는 단계
를 포함하는 방법. - 제21항에 있어서,
상기 사전 정보를 상기 장면의 깊이 맵과 비교하는 단계; 및
상기 비교에 기초하여, 차량의 로컬라이징된 포지션을 결정하는 단계
를 추가로 포함하는 방법. - 제21항에 있어서,
상기 사전 정보를 상기 장면의 깊이 맵과 비교하는 단계; 및
상기 비교에 기초하여, 상기 ToF 센서의 캘리브레이션 조건을 결정하는 단계
를 추가로 포함하는 방법. - 제21항에 있어서,
상기 장면의 깊이 맵 내에 또는 그 위에 상기 사전 정보를 투영하는 단계; 및
상기 투영에 기초하여, 차량의 로컬라이징된 포지션을 결정하는 단계
를 추가로 포함하는 방법. - 제21항에 있어서,
상기 사전 정보의 배경 부분을 결정하는 단계; 및
상기 배경 부분에 대응하는 상기 장면의 깊이 맵의 적어도 일부를 감산하거나 무시하는 단계
를 추가로 포함하는 방법. - 제21항에 있어서,
상기 사전 정보에 기초하여 적어도 하나의 재귀 반사성 객체(retroreflective object)를 결정하는 단계; 및
상기 적어도 하나의 재귀 반사성 객체에 대응하는 상기 장면의 일부를 스캔하는 동안, 상기 ToF 센서 또는 상기 적어도 하나의 광원의 적어도 하나의 동작 파라미터를 조정하는 단계
를 추가로 포함하는 방법.
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US16/177,626 US11353588B2 (en) | 2018-11-01 | 2018-11-01 | Time-of-flight sensor with structured light illuminator |
| US16/177,626 | 2018-11-01 | ||
| PCT/US2019/057300 WO2020092044A1 (en) | 2018-11-01 | 2019-10-21 | Time-of-flight sensor with structured light illuminator |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20210066025A true KR20210066025A (ko) | 2021-06-04 |
| KR102656399B1 KR102656399B1 (ko) | 2024-04-12 |
Family
ID=70457751
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020217016221A KR102656399B1 (ko) | 2018-11-01 | 2019-10-21 | 구조화된 광 조명기가 있는 비행-시간 센서 |
Country Status (9)
| Country | Link |
|---|---|
| US (2) | US11353588B2 (ko) |
| EP (1) | EP3874297A4 (ko) |
| JP (1) | JP7203217B2 (ko) |
| KR (1) | KR102656399B1 (ko) |
| CN (2) | CN118795498A (ko) |
| AU (1) | AU2019369212B2 (ko) |
| CA (1) | CA3117773A1 (ko) |
| IL (1) | IL282691A (ko) |
| WO (1) | WO2020092044A1 (ko) |
Families Citing this family (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11682107B2 (en) * | 2018-12-14 | 2023-06-20 | Sony Corporation | Depth of field adjustment in images based on time of flight depth maps |
| US11188094B2 (en) * | 2019-04-30 | 2021-11-30 | At&T Intellectual Property I, L.P. | Autonomous vehicle signaling system |
| WO2020243901A1 (en) * | 2019-06-04 | 2020-12-10 | Texas Instruments Incorporated | An optical time of flight sensor for navigation systems in robotic applications |
| US11673533B2 (en) * | 2019-06-19 | 2023-06-13 | Ford Global Technologies, Llc | Vehicle sensor enhancements |
| US10819923B1 (en) * | 2019-11-19 | 2020-10-27 | Waymo Llc | Thermal imaging for self-driving cars |
| US11524625B2 (en) * | 2019-12-12 | 2022-12-13 | Texas Instruments Incorporated | Adaptive vehicle headlight |
| WO2021210302A1 (ja) * | 2020-04-17 | 2021-10-21 | 株式会社Ihi | 車両誘導装置、車両誘導方法及び駐車場 |
| DE102020208099A1 (de) * | 2020-06-30 | 2021-12-30 | Robert Bosch Gesellschaft mit beschränkter Haftung | Verfahren zum Ermitteln einer eine Umgebung eines LiDAR-Sensors repräsentierenden Punktwolke |
| US11721031B2 (en) * | 2020-10-28 | 2023-08-08 | Stmicroelectronics (Research & Development) Limited | Scalable depth sensor |
| DE102020130884A1 (de) | 2020-11-23 | 2022-05-25 | Valeo Schalter Und Sensoren Gmbh | Aktives Sensorsystem und Objekterkennung |
| DE102021000508A1 (de) | 2021-02-02 | 2022-08-04 | Daimler Truck AG | Verfahren zum Kalibrieren einer Gated-Kamera, Steuereinrichtung zur Durchführung eines solchen Verfahrens, Kalibrierungsvorrichtung mit einer solchen Steuereinnchtung und Kraftfahrzeug mit einer solchen Kalibrierungsvorrichtung |
| US20220260721A1 (en) * | 2021-02-17 | 2022-08-18 | Honeywell International Inc. | Structured light navigation aid |
| CN114942024A (zh) * | 2021-02-17 | 2022-08-26 | 霍尼韦尔国际公司 | 结构光导航辅助设备 |
| US20220374366A1 (en) * | 2021-05-19 | 2022-11-24 | Pony Ai Inc. | Efficient retrieval of sensor data while ensuring atomicity |
| WO2023113700A1 (en) * | 2021-12-17 | 2023-06-22 | Ams Sensors Singapore Pte. Ltd. | A method for generating a depth map |
| US20240048853A1 (en) * | 2022-08-03 | 2024-02-08 | Motional Ad Llc | Pulsed-Light Optical Imaging Systems for Autonomous Vehicles |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20120038903A1 (en) * | 2010-08-16 | 2012-02-16 | Ball Aerospace & Technologies Corp. | Electronically steered flash lidar |
| US20150062558A1 (en) * | 2013-09-05 | 2015-03-05 | Texas Instruments Incorporated | Time-of-Flight (TOF) Assisted Structured Light Imaging |
| US20180275278A1 (en) * | 2016-09-01 | 2018-09-27 | Sony Semiconductor Solutions Corporation | Imaging device |
Family Cites Families (31)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US4954962A (en) * | 1988-09-06 | 1990-09-04 | Transitions Research Corporation | Visual navigation and obstacle avoidance structured light system |
| JP2611173B2 (ja) * | 1992-06-11 | 1997-05-21 | 運輸省船舶技術研究所長 | 魚眼レンズを用いた測位方法およびその装置 |
| JP2004003987A (ja) | 2002-03-29 | 2004-01-08 | Hokuyo Automatic Co | 安全センサの校正方法 |
| WO2013012335A1 (en) | 2011-07-21 | 2013-01-24 | Ziv Attar | Imaging device for motion detection of objects in a scene, and method for motion detection of objects in a scene |
| JP2013053920A (ja) | 2011-09-02 | 2013-03-21 | Fuji Electric Co Ltd | ３次元物体位置検出装置、そのプログラム |
| US11509880B2 (en) * | 2012-11-14 | 2022-11-22 | Qualcomm Incorporated | Dynamic adjustment of light source power in structured light active depth sensing systems |
| US9080866B1 (en) * | 2013-06-26 | 2015-07-14 | Google Inc. | Methods and systems for detection of reflective markers at long range |
| DK2835973T3 (da) * | 2013-08-06 | 2015-11-30 | Sick Ag | 3D-kamera og fremgangsmåde til registrering af tredimensionale billededata |
| US9784835B1 (en) * | 2013-09-27 | 2017-10-10 | Waymo Llc | Laser diode timing feedback using trace loop |
| KR102277309B1 (ko) | 2014-01-29 | 2021-07-14 | 엘지이노텍 주식회사 | 깊이 정보 추출 장치 및 방법 |
| CN103884281B (zh) * | 2014-03-18 | 2015-10-21 | 北京控制工程研究所 | 一种基于主动结构光的巡视器障碍探测方法 |
| US9696424B2 (en) * | 2014-05-19 | 2017-07-04 | Rockwell Automation Technologies, Inc. | Optical area monitoring with spot matrix illumination |
| EP2955544B1 (en) | 2014-06-11 | 2020-06-17 | Sony Depthsensing Solutions N.V. | A TOF camera system and a method for measuring a distance with the system |
| US9557166B2 (en) * | 2014-10-21 | 2017-01-31 | Hand Held Products, Inc. | Dimensioning system with multipath interference mitigation |
| US9823352B2 (en) | 2014-10-31 | 2017-11-21 | Rockwell Automation Safety Ag | Absolute distance measurement for time-of-flight sensors |
| US9330464B1 (en) * | 2014-12-12 | 2016-05-03 | Microsoft Technology Licensing, Llc | Depth camera feedback |
| US20160205378A1 (en) | 2015-01-08 | 2016-07-14 | Amir Nevet | Multimode depth imaging |
| US9958758B2 (en) | 2015-01-21 | 2018-05-01 | Microsoft Technology Licensing, Llc | Multiple exposure structured light pattern |
| US9638791B2 (en) * | 2015-06-25 | 2017-05-02 | Qualcomm Incorporated | Methods and apparatus for performing exposure estimation using a time-of-flight sensor |
| IL239919A (en) | 2015-07-14 | 2016-11-30 | Brightway Vision Ltd | Branded template lighting |
| US10503265B2 (en) | 2015-09-08 | 2019-12-10 | Microvision, Inc. | Mixed-mode depth detection |
| US10708577B2 (en) | 2015-12-16 | 2020-07-07 | Facebook Technologies, Llc | Range-gated depth camera assembly |
| US9760837B1 (en) | 2016-03-13 | 2017-09-12 | Microsoft Technology Licensing, Llc | Depth from time-of-flight using machine learning |
| EP3223188A1 (en) * | 2016-03-22 | 2017-09-27 | Autoliv Development AB | A vehicle environment mapping system |
| US10557925B2 (en) | 2016-08-26 | 2020-02-11 | Samsung Electronics Co., Ltd. | Time-of-flight (TOF) image sensor using amplitude modulation for range measurement |
| JP2018044852A (ja) | 2016-09-14 | 2018-03-22 | パイオニア株式会社 | レーザ射出装置、制御方法及びプログラム |
| US10419741B2 (en) * | 2017-02-24 | 2019-09-17 | Analog Devices Global Unlimited Company | Systems and methods for compression of three dimensional depth sensing |
| EP3583384A4 (en) | 2017-03-20 | 2021-01-13 | Velodyne Lidar, Inc. | STRUCTURED LIGHT LIDAR ORIENTED 3D IMAGING AND INTEGRATED LIGHTING AND DETECTION |
| JP7062878B2 (ja) | 2017-03-27 | 2022-05-09 | 沖電気工業株式会社 | 情報処理方法および情報処理装置 |
| US10914823B2 (en) * | 2018-05-01 | 2021-02-09 | Qualcomm Incorporated | Time of flight ranging with varying fields of emission |
| US10816939B1 (en) * | 2018-05-07 | 2020-10-27 | Zane Coleman | Method of illuminating an environment using an angularly varying light emitting device and an imager |
-
2018
- 2018-11-01 US US16/177,626 patent/US11353588B2/en active Active
-
2019
- 2019-10-21 AU AU2019369212A patent/AU2019369212B2/en active Active
- 2019-10-21 WO PCT/US2019/057300 patent/WO2020092044A1/en unknown
- 2019-10-21 CA CA3117773A patent/CA3117773A1/en active Pending
- 2019-10-21 CN CN202410778374.XA patent/CN118795498A/zh active Pending
- 2019-10-21 CN CN201980085621.5A patent/CN113227839B/zh active Active
- 2019-10-21 EP EP19880128.4A patent/EP3874297A4/en active Pending
- 2019-10-21 KR KR1020217016221A patent/KR102656399B1/ko active IP Right Grant
- 2019-10-21 JP JP2021522431A patent/JP7203217B2/ja active Active
-
2021
- 2021-04-27 IL IL282691A patent/IL282691A/en unknown
-
2022
- 2022-05-06 US US17/739,064 patent/US20220276384A1/en active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20120038903A1 (en) * | 2010-08-16 | 2012-02-16 | Ball Aerospace & Technologies Corp. | Electronically steered flash lidar |
| US20150062558A1 (en) * | 2013-09-05 | 2015-03-05 | Texas Instruments Incorporated | Time-of-Flight (TOF) Assisted Structured Light Imaging |
| US20180275278A1 (en) * | 2016-09-01 | 2018-09-27 | Sony Semiconductor Solutions Corporation | Imaging device |
Also Published As
| Publication number | Publication date |
|---|---|
| EP3874297A4 (en) | 2022-08-10 |
| CN113227839A (zh) | 2021-08-06 |
| CN118795498A (zh) | 2024-10-18 |
| US11353588B2 (en) | 2022-06-07 |
| AU2019369212A1 (en) | 2021-05-20 |
| WO2020092044A1 (en) | 2020-05-07 |
| AU2019369212B2 (en) | 2022-06-02 |
| US20200142069A1 (en) | 2020-05-07 |
| CA3117773A1 (en) | 2020-05-07 |
| CN113227839B (zh) | 2024-06-25 |
| JP2022505772A (ja) | 2022-01-14 |
| US20220276384A1 (en) | 2022-09-01 |
| IL282691A (en) | 2021-06-30 |
| EP3874297A1 (en) | 2021-09-08 |
| KR102656399B1 (ko) | 2024-04-12 |
| JP7203217B2 (ja) | 2023-01-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102656399B1 (ko) | 구조화된 광 조명기가 있는 비행-시간 센서 | |
| KR102596831B1 (ko) | 하이브리드 비행-시간 및 이미저 모듈 | |
| BE1023788B1 (nl) | Systeem en methode voor het bepalen van de afstand tot een object | |
| KR102677519B1 (ko) | 물체까지의 거리를 결정하기 위한 시스템 및 방법 | |
| US10183541B2 (en) | Surround sensing system with telecentric optics | |
| JP7028878B2 (ja) | 物体までの距離を測定するためのシステム | |
| ES2512965B2 (es) | Sistema y método para escanear una superficie y programa de ordenador que implementa el método | |
| WO2017149370A1 (en) | Gated imaging apparatus, system and method | |
| CN110121659B (zh) | 用于对车辆的周围环境进行特征描述的系统 | |
| CN112887627B (zh) | 增加LiDAR设备动态范围的方法、光检测测距LiDAR设备及机器可读介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right |