KR20210046697A - 다중 스펙트럼 레인징/이미징 센서 어레이 및 시스템 - Google Patents
다중 스펙트럼 레인징/이미징 센서 어레이 및 시스템 Download PDFInfo
- Publication number
- KR20210046697A KR20210046697A KR1020217007171A KR20217007171A KR20210046697A KR 20210046697 A KR20210046697 A KR 20210046697A KR 1020217007171 A KR1020217007171 A KR 1020217007171A KR 20217007171 A KR20217007171 A KR 20217007171A KR 20210046697 A KR20210046697 A KR 20210046697A
- Authority
- KR
- South Korea
- Prior art keywords
- sensor
- channel
- channels
- ambient light
- light
- Prior art date
Links
- 238000003384 imaging method Methods 0.000 title claims abstract description 326
- 230000003287 optical effect Effects 0.000 claims abstract description 586
- 238000000034 method Methods 0.000 claims description 68
- 230000010287 polarization Effects 0.000 claims description 65
- 238000005259 measurement Methods 0.000 claims description 47
- 230000003595 spectral effect Effects 0.000 claims description 31
- 238000010521 absorption reaction Methods 0.000 claims description 30
- 238000012545 processing Methods 0.000 claims description 30
- 230000004075 alteration Effects 0.000 claims description 25
- 239000000463 material Substances 0.000 claims description 19
- 238000001429 visible spectrum Methods 0.000 claims description 13
- 238000001228 spectrum Methods 0.000 claims description 12
- 230000006870 function Effects 0.000 claims description 11
- 241000226585 Antennaria plantaginifolia Species 0.000 claims description 10
- 230000005855 radiation Effects 0.000 claims description 10
- 238000002955 isolation Methods 0.000 claims description 8
- 230000007246 mechanism Effects 0.000 claims description 8
- 230000007423 decrease Effects 0.000 claims description 5
- 230000002093 peripheral effect Effects 0.000 claims description 3
- 230000003068 static effect Effects 0.000 abstract description 51
- 238000003491 array Methods 0.000 description 56
- 238000005070 sampling Methods 0.000 description 27
- 238000001514 detection method Methods 0.000 description 22
- 239000000758 substrate Substances 0.000 description 14
- 238000004891 communication Methods 0.000 description 13
- 230000033001 locomotion Effects 0.000 description 13
- 238000013461 design Methods 0.000 description 12
- 238000010586 diagram Methods 0.000 description 11
- 239000000203 mixture Substances 0.000 description 11
- 230000000694 effects Effects 0.000 description 10
- 238000004458 analytical method Methods 0.000 description 9
- 238000009472 formulation Methods 0.000 description 8
- 230000002123 temporal effect Effects 0.000 description 8
- 230000003213 activating effect Effects 0.000 description 7
- 230000005540 biological transmission Effects 0.000 description 7
- 230000011218 segmentation Effects 0.000 description 7
- 230000008859 change Effects 0.000 description 6
- 230000001419 dependent effect Effects 0.000 description 6
- 238000010801 machine learning Methods 0.000 description 6
- 229910052751 metal Inorganic materials 0.000 description 6
- 239000002184 metal Substances 0.000 description 6
- 230000004044 response Effects 0.000 description 6
- 238000000701 chemical imaging Methods 0.000 description 5
- 238000006073 displacement reaction Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 5
- 238000005286 illumination Methods 0.000 description 5
- 238000010191 image analysis Methods 0.000 description 5
- 238000012986 modification Methods 0.000 description 5
- 230000004048 modification Effects 0.000 description 5
- 244000025254 Cannabis sativa Species 0.000 description 4
- 238000013480 data collection Methods 0.000 description 4
- 230000001360 synchronised effect Effects 0.000 description 4
- PEDCQBHIVMGVHV-UHFFFAOYSA-N Glycerine Chemical compound OCC(O)CO PEDCQBHIVMGVHV-UHFFFAOYSA-N 0.000 description 3
- 238000013459 approach Methods 0.000 description 3
- 230000000712 assembly Effects 0.000 description 3
- 238000000429 assembly Methods 0.000 description 3
- 230000008901 benefit Effects 0.000 description 3
- 239000003086 colorant Substances 0.000 description 3
- 239000007789 gas Substances 0.000 description 3
- 230000001976 improved effect Effects 0.000 description 3
- 230000006872 improvement Effects 0.000 description 3
- 238000013507 mapping Methods 0.000 description 3
- 238000012634 optical imaging Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 239000004065 semiconductor Substances 0.000 description 3
- 239000000126 substance Substances 0.000 description 3
- 238000012549 training Methods 0.000 description 3
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 3
- CURLTUGMZLYLDI-UHFFFAOYSA-N Carbon dioxide Chemical compound O=C=O CURLTUGMZLYLDI-UHFFFAOYSA-N 0.000 description 2
- 241000196324 Embryophyta Species 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 229910002092 carbon dioxide Inorganic materials 0.000 description 2
- 230000000295 complement effect Effects 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 238000002059 diagnostic imaging Methods 0.000 description 2
- 230000001747 exhibiting effect Effects 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 239000011521 glass Substances 0.000 description 2
- 238000002329 infrared spectrum Methods 0.000 description 2
- 238000012886 linear function Methods 0.000 description 2
- 239000003550 marker Substances 0.000 description 2
- VNWKTOKETHGBQD-UHFFFAOYSA-N methane Chemical compound C VNWKTOKETHGBQD-UHFFFAOYSA-N 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 125000006850 spacer group Chemical group 0.000 description 2
- 238000009987 spinning Methods 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 235000000177 Indigofera tinctoria Nutrition 0.000 description 1
- 208000032140 Sleepiness Diseases 0.000 description 1
- 206010041349 Somnolence Diseases 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 239000010426 asphalt Substances 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 239000003738 black carbon Substances 0.000 description 1
- 230000003139 buffering effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 239000001569 carbon dioxide Substances 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 229930002875 chlorophyll Natural products 0.000 description 1
- 235000019804 chlorophyll Nutrition 0.000 description 1
- ATNHDLDRLWWWCB-AENOIHSZSA-M chlorophyll a Chemical compound C1([C@@H](C(=O)OC)C(=O)C2=C3C)=C2N2C3=CC(C(CC)=C3C)=[N+]4C3=CC3=C(C=C)C(C)=C5N3[Mg-2]42[N+]2=C1[C@@H](CCC(=O)OC\C=C(/C)CCC[C@H](C)CCC[C@H](C)CCCC(C)C)[C@H](C)C2=C5 ATNHDLDRLWWWCB-AENOIHSZSA-M 0.000 description 1
- 239000011248 coating agent Substances 0.000 description 1
- 238000000576 coating method Methods 0.000 description 1
- 239000000356 contaminant Substances 0.000 description 1
- 230000001186 cumulative effect Effects 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000006735 deficit Effects 0.000 description 1
- 230000023077 detection of light stimulus Effects 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 238000000295 emission spectrum Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 239000003344 environmental pollutant Substances 0.000 description 1
- 230000004313 glare Effects 0.000 description 1
- 238000007373 indentation Methods 0.000 description 1
- 229940097275 indigo Drugs 0.000 description 1
- COHYTHOBJLSHDF-UHFFFAOYSA-N indigo powder Natural products N1C2=CC=CC=C2C(=O)C1=C1C(=O)C2=CC=CC=C2N1 COHYTHOBJLSHDF-UHFFFAOYSA-N 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000003475 lamination Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- QSHDDOUJBYECFT-UHFFFAOYSA-N mercury Chemical compound [Hg] QSHDDOUJBYECFT-UHFFFAOYSA-N 0.000 description 1
- 229910052753 mercury Inorganic materials 0.000 description 1
- 239000003607 modifier Substances 0.000 description 1
- 238000000465 moulding Methods 0.000 description 1
- 238000000711 polarimetry Methods 0.000 description 1
- 231100000719 pollutant Toxicity 0.000 description 1
- 230000001902 propagating effect Effects 0.000 description 1
- 238000010791 quenching Methods 0.000 description 1
- 230000000171 quenching effect Effects 0.000 description 1
- 238000002310 reflectometry Methods 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 239000011435 rock Substances 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 230000037321 sleepiness Effects 0.000 description 1
- 230000008093 supporting effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000001931 thermography Methods 0.000 description 1
- 238000012876 topography Methods 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
- 238000002211 ultraviolet spectrum Methods 0.000 description 1
- 229910052724 xenon Inorganic materials 0.000 description 1
- FHNFHKCVQCLJFQ-UHFFFAOYSA-N xenon atom Chemical compound [Xe] FHNFHKCVQCLJFQ-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/481—Constructional features, e.g. arrangements of optical elements
- G01S7/4814—Constructional features, e.g. arrangements of optical elements of transmitters alone
- G01S7/4815—Constructional features, e.g. arrangements of optical elements of transmitters alone using multiple transmitters
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/481—Constructional features, e.g. arrangements of optical elements
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J1/00—Photometry, e.g. photographic exposure meter
- G01J1/42—Photometry, e.g. photographic exposure meter using electric radiation detectors
- G01J1/4204—Photometry, e.g. photographic exposure meter using electric radiation detectors with determination of ambient light
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
- G01J3/46—Measurement of colour; Colour measuring devices, e.g. colorimeters
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
- G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/481—Constructional features, e.g. arrangements of optical elements
- G01S7/4816—Constructional features, e.g. arrangements of optical elements of receivers alone
-
- H—ELECTRICITY
- H01—ELECTRIC ELEMENTS
- H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
- H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
- H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
- H01L27/144—Devices controlled by radiation
- H01L27/146—Imager structures
- H01L27/14601—Structural or functional details thereof
- H01L27/1462—Coatings
- H01L27/14621—Colour filter arrangements
-
- H—ELECTRICITY
- H01—ELECTRIC ELEMENTS
- H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
- H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
- H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
- H01L27/144—Devices controlled by radiation
- H01L27/146—Imager structures
- H01L27/14601—Structural or functional details thereof
- H01L27/14625—Optical elements or arrangements associated with the device
-
- H—ELECTRICITY
- H01—ELECTRIC ELEMENTS
- H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
- H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
- H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
- H01L27/144—Devices controlled by radiation
- H01L27/146—Imager structures
- H01L27/14643—Photodiode arrays; MOS imagers
- H01L27/14645—Colour imagers
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
- H04N25/703—SSIS architectures incorporating pixels for producing signals other than image signals
- H04N25/705—Pixels for depth measurement, e.g. RGBZ
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Remote Sensing (AREA)
- Computer Networks & Wireless Communication (AREA)
- Radar, Positioning & Navigation (AREA)
- Power Engineering (AREA)
- Electromagnetism (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Microelectronics & Electronic Packaging (AREA)
- Condensed Matter Physics & Semiconductors (AREA)
- Computer Hardware Design (AREA)
- Sustainable Development (AREA)
- Life Sciences & Earth Sciences (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Measurement Of Optical Distance (AREA)
- Optical Radar Systems And Details Thereof (AREA)
- Light Receiving Elements (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
Abstract
다중 스펙트럼 센서 어레이는 레인징 센서 채널들(예를 들어, LIDAR 센서 채널들), 및 채널-특이적 특성(예를 들어, 컬러)을 갖는 주변광을 검출하도록 동조되는 주변광 센서 채널들의 조합을 포함할 수 있다. 센서 채널들은 상이한 센서들로부터의 다중 스펙트럼 이미지들이 본질적으로 서로 정렬되어 다중 스펙트럼 이미지 픽셀들의 어레이를 정의하는 시야의 다중 스펙트럼 이미지들을 제공하도록 배열되고 이격될 수 있다. 이미징 동작을 용이하게 하기 위해 다양한 광학 요소들이 제공될 수 있다. 다중 스펙트럼 센서 어레이를 포함하는 광 레인징/이미징 시스템들은 회전 및/또는 정적 모드에서 동작할 수 있다.
Description
관련 출원의 교차 참조
본 출원은 다음의 4개의 특허 임시 출원들, 즉, 미국 출원 제62/716,900호(2018년 8월 9일 출원), 미국 출원 제62/726,810호(2018년 9월 4일 출원), 미국 출원 제62/744,540호(2018년 10월 11일 출원), 및 미국 출원 제62/877,778호(2019년 7월 23일 출원)의 우선권을 주장한다. 이러한 4개의 임시 출원들 모두의 개시 내용은 본원에 참고로 포함된다.
본 개시는 일반적으로 광학 이미징 시스템에 관한 것으로, 특히, 상이한 광 특성 또는 속성에 동조(tuned)되고 레인징(ranging)에 사용가능한 센서 채널들을 포함하는 다수의 센서 채널을 갖는 센서 시스템에 관한 것이다.
광 이미징, 검출 및 레인징(LIDAR) 시스템은 펄스형 레이저 광으로 타겟을 조명하고 반사된 펄스를 센서로 측정함으로써 타겟까지의 거리를 측정한다. 그 후, 전파 시간(time-of-flight) 측정들은 타겟의 디지털 3D 표현을 만들기 위해 사용될 수 있다. LIDAR 시스템은 특히 고고학, 지리학, 지질학, 임업, 매핑, 건설, 의료 영상, 군사적 응용 등을 포함하여 3D 깊이 영상이 유용한, 다양한 응용에 사용될 수 있다. 또한 자율주행 차량은 차량 내비게이션뿐만 아니라 장애물 검출 및 회피를 위해 LIDAR를 사용할 수 있다.
차량 내비게이션과 같은 응용에서, 깊이 정보(예를 들어, 환경 내의 객체들까지의 거리)는 매우 유용하지만, 위험을 회피하고 안전하게 탐색하기에는 충분하지 않다. 또한, 특정 객체들, 예를 들어, 교통 신호, 차선 표시, 차량의 이동 경로와 교차할 수 있는 이동 객체 등을 식별하는 것이 필요하다. 따라서, 자율주행 차량과 같은 시스템은, LIDAR 시스템, 및 환경 내의 물체로부터의 반사광뿐만 아니라 환경 내에 존재할 수 있는 임의의 광원으로부터의 직접적인 광을 포함하는, 주변광을 포착할 수 있는 가시광 카메라와 같은 다른 이미징 시스템을 모두 포함할 수 있다. 각각의 이미징 시스템(LIDAR 및 가시광)은 깊이 또는 스펙트럼 데이터를 포함하는 이미지를 독립적으로 제공한다. 일부 응용들의 경우, 예를 들어, 상이한 이미지들에서 동일한 객체의 위치를 식별하기 위해 이미지 정합을 수행함으로써, 서로 다른 이미지들을 정렬하는 것이 유리하다. 이미지 정합은 복잡하고 계산 집약적인 작업일 수 있다. 예를 들어, 상이한 이미징 시스템들은 상이한 해상도들 및/또는 프레임 경계들을 가질 수 있고, 독립적으로 구성된 및/또는 독립적으로 제어되는 이미징 시스템들 사이의 정렬은 부정확할 수 있다.
본원에 기술된 발명의 특정 실시예들은 동일한 센서 어레이(예를 들어, 모놀리식 ASIC 센서 어레이일 수 있음)에서, 깊이 채널들(예를 들어, LIDAR 센서 채널들) 및 하나 이상의 상이한 주변광 센서 채널들을 포함하는 다수의 센서 채널 유형들을 포함하는 다중 스펙트럼 센서 어레이들에 관한 것이다. 상이한 유형들의 채널들이 동일한 센서 어레이 내에 있기 때문에, 채널들은 본질적으로 높은 정밀도로 서로 정렬될 수 있다. 상이한 채널들은 특정한 특성, 예를 들어 특정 파장 범위(필요에 따라 광대역 또는 협대역일 수 있음), 특정 편광 특성(예를 들어, 소정 방향으로의 선형 편광, 원형 편광 등) 등을 갖는 광에 민감하도록 (예를 들어, 광학 필터를 사용하여) 동조될(tuned) 수 있다. 센서 어레이는 각 채널 유형에 대응하는 픽셀 데이터를 포함하는 이미지들을 생성하기 위해 이미징 광학 요소와 조합하여 사용될 수 있다. 동일한 센서 어레이 내의 상이한 센서 유형들로부터 생성된 이미지들은 센서 어레이 내의 채널 정렬에 의해 "본질적으로(inherently)" 서로 정합된다. 즉, 상이한 유형들의 픽셀들(또는 채널들) 사이의 공간적 관계가, 센서 어레이의 설계에서 설정되고, 상이한 센서 유형들로부터의 픽셀 데이터를 시야 내의 동일한 픽셀 위치로 매핑하는 데에 사용될 수 있다.
일부 실시예들에서, 채널의 일부 또는 전부는 채널이 동조되는 특정 파장 범위 및/또는 어레이 내의 채널의 위치에 의존하는, 채널에 특수한(또는 채널 유형에 특수한) 보상 마이크로-광학 요소를 가질 수 있다. 그러한 마이크로-광학 요소는, 예를 들어, 벌크 이미징 광학계의 색수차, 초점 면 곡률, 또는 다른 광학 특성들을 보상하기 위해 사용될 수 있다.
일부 실시예들에서, 상이한 주변광 센서 채널들은 (예를 들어, 오버랩된 통과대역들을 갖는 광학 필터들을 이용하여) 상이한 중첩 파장 대역들로 동조될 수 있고, 중첩 파장 대역들에서의 측정들에 기초하여 다양한 파장 대역들에서 광 강도를 결정하는 데에 산술 논리 회로들이 사용될 수 있다.
일부 실시예들에서, 레인징/이미징 시스템은 예를 들어, 행을 가로지르는 축을 중심으로 센서 어레이를 회전시킴으로써, 다중 스펙트럼 센서 어레이를 이용하여 시야를 스캔할 수 있다. 이러한 움직임 동안, 공간 내의 소정의 위치가 각각의 채널 유형에 의해 연속적으로 이미징될 수 있고, 이에 의해, 이미징 모드들(또는 채널들) 사이에 고유의 정합을 갖는 다중 스펙트럼 이미지 세트를 제공할 수 있다. 어레이 내의 채널들의 공간적 관계, 이미징 광학계의 광학적 특성들(예를 들어, 벌크 이미징 광학계의 초점 길이 왜곡 프로파일), 및 센서 어레이의 움직임에 대한 이미징 레이트(예를 들어, 회전)는 상이한 채널들로부터의 데이터가 시야를 나타내는 픽셀들의 균일한 그리드 상으로 쉽게 맵핑되도록 선택될 수 있다.
다중 스펙트럼 센서 어레이가 스캔되는 일부 실시예들에서, 행 내의 2개 이상의 주변광 센서 채널들의 그룹은 그룹 내의 상이한 주변광 센서 채널들에 대해 상이하게 위치되는 서브픽셀 크기의 동일한 유형의 광학 필터 및 개구(aperture)들을 가질 수 있다. 그룹 내의 주변광 센서 채널들로부터의 광-강도 측정들(예를 들어, 광자 카운트들)에 기초하여, 스캐닝 및/또는 비-스캐닝 방향들에서 해상도가 증가된 주변광 이미지가 획득될 수 있다.
일부 실시예들에서, "2D" (2차원) 다중 스펙트럼 센서 어레이가 제공될 수 있으며, 여기서 어레이는 다중 스펙트럼 픽셀들의 2차원 배열을 포함한다. 각각의 다중 스펙트럼 픽셀은 하나 이상의 주변광 센서 채널들과 함께 깊이 채널을 포함할 수 있다. 이러한 어레이는 센서 어레이를 이동시키지 않고도 시야의 이미징이 달성되는 "정적" 시스템(static systems)뿐만 아니라 이동(예를 들어, 회전) 레인징/이미징 시스템에서 사용될 수 있다.
일부 실시예들은 다수의 센서 행들로 배열된 센서 채널들을 갖는 센서 어레이에 관한 것이다. 각각의 센서 행은 레인징 센서 채널(예를 들어, LIDAR 센서 채널) 및 하나 이상의 주변광 센서 채널들의 세트를 포함할 수 있다. 각각의 주변광 센서 채널은 개구(예를 들어, 채널에 대한 시야를 정의하기 위해), 광 센서(예를 들어, 하나 이상의 단일 광자 애벌란시 다이오드(single-photon avalanche diode)), 채널에 특수한 특성(예를 들어, 원하는 색상, 편광 상태 등)을 갖는 광을 선택적으로 통과시키는 채널-특이적 광학 필터를 포함할 수 있다. 일부 실시예들에서, 센서 채널들의 일부 또는 전부는 채널-특이적 특성을 갖는 광을 개구를 통해 그리고 광 센서를 향해 지향시키기 위해, 예를 들어, 어레이의 전방에 배치될 수 있는 벌크 이미징 광학계에서의 색수차를 보상하는 채널-특이적 마이크로-광학 요소를 포함할 수 있다. 일부 실시예들에서, 주변광 센서 채널들은 상이한 특성들을 갖는 광을 검출하도록 동조된 (예를 들어, 패터닝된 광학 필터들을 사용하는) 다수의 광 센서들을 포함하는 다중 스펙트럼 채널들이다. 일부 실시예들에서, 센서 어레이는 깊이 동작을 위해 구성된 일 그룹의 광 센서들(예를 들어, LIDAR 감지) 및 다양한 특성들을 갖는 주변광의 감지를 위해 구성된 하나 이상의 다른 그룹들의 광 센서들을 포함하는 "하이브리드" 센서 채널들의 2D 어레이를 포함할 수 있다. 본원에 기재된 종류의 센서 어레이들은 광 레인징/이미징 시스템 및/또는 다른 광학 시스템에 통합될 수 있다.
일부 실시예들은 센서 채널들의 배열 및 개구 평면 내의 개구들에 대응하는 배열을 갖는 광-센서 어레이에 관한 것이다. 벌크 광학 모듈은 이미징되는 영역으로부터 센서 어레이 상으로 광을 지향시키고 집중시키는 데에 사용될 수 있다. 벌크 광학 모듈이 만곡된 초점면을 갖는 경우, 다양한 처방(prescription) 및/또는 개구 평면으로부터의 다양한 오프셋 거리의 채널-특이적 마이크로-광학 요소들은 개구의 위치 및 만곡된 초점면 상의 대응하는 위치 사이의 오프셋을 교정하기 위해 개구의 전방에 배치될 수 있다. 유사하게, 광 방출기 어레이는 방출기 채널들의 배열(예를 들어, LIDAR 응용을 위해 사용될 수 있는 파장들에서 광을 생성하는 협대역 방출기들) 및 개구 평면 내의 개구들의 대응하는 배열을 가질 수 있다. 벌크 광학 모듈은 개구를 통과하는 방출된 광을 이미징되는 영역으로 지향시키는 데에 사용될 수 있다. 벌크 광학 모듈이 만곡된 초점면을 갖는 경우, 다양한 처방(prescription) 및/또는 개구 평면으로부터의 다양한 오프셋 거리의 채널-특이적 마이크로-광학 요소들은 개구의 위치 및 만곡된 초점면 상의 대응하는 위치 사이의 오프셋을 교정하기 위해 개구의 전방에 배치될 수 있다. 그러한 실시예들에서, 개구 평면으로부터 채널-특이적 마이크로-광학 요소들의 처방(예를 들어, 굴절력(focusing power)) 및/또는 격리 거리(standoff distance)는, 예를 들어, 개구 평면 내의 광학 축으로부터의 방사 거리의 함수로서 변화될 수 있다. 이는 광 방출 및/또는 광 수집의 효율을 향상시킬 수 있다. 벌크 광학 모듈의 초점면 곡률을 교정하기 위한 채널-특이적 마이크로-광학 요소는 광 방출기 또는 센서의 특정 특성에 상관없이, 광 수신 모듈 및/또는 광 송신 모듈에 사용될 수 있다. 상이한 채널이 상이한 파장의 광을 방출 또는 수신하도록 동조되는 일부 실시예들에서, 채널-특이적 마이크로-광학 요소는 벌크 광학 모듈에 존재할 수 있는 초점면 곡률 및 색수차 모두를 교정할 수 있다.
일부 실시예들은 센서 행들을 갖는 센서 어레이에 관한 것이다. 각각의 센서 행은 LIDAR 센서 채널 및 하나 이상의 주변광 센서 채널들(예를 들어, 1, 3, 5, 6 또는 그 이상)의 세트를 포함한다. 각각의 주변광 센서 채널은 채널 입력 개구, 광 센서, 및 채널-특이적 특성을 갖는 광을 광 센서에 선택적으로 통과시키는 채널-특이적 광학 필터를 포함한다. 각각의 주변광 센서 채널의 광 센서는, 예를 들어, 광자-카운팅 모드에서 동작되는 하나 이상의 단일-광자 애벌란시 다이오드(SPAD)와 같은 하나 이상의 광다이오드일 수 있다. 일부 실시예들에서, 각각의 LIDAR 센서 채널은 또한 광자-카운팅 모드에서 동작하는 하나 이상의 SPAD들을 포함할 수 있으며, 동일한 유형의 광 센서들이 LIDAR 센서 채널들 및 주변광 센서 채널들 모두에 대해 사용될 수 있다.
일부 실시예들에서, 주변광 센서 채널들의 세트는 각각이 상이한 채널-특이적 광학 필터를 갖는, 적어도 2개의 주변광 센서 채널들을 포함할 수 있다. 예를 들어, 주변광 센서 채널들의 세트는, 채널-특이적 광학 필터가 선택적으로 적색 광을 통과시키는 적색 채널, 채널-특이적 광학 필터가 선택적으로 녹색 광을 통과시키는 녹색 채널, 및 채널-특이적 광학 필터가 선택적으로 청색 광을 통과시키는 청색 채널을 포함할 수 있다. 다른 예로서, 주변광 센서 채널들의 세트는 적어도 5개의 상이한 컬러 채널들을 포함하고, 적어도 5개의 상이한 컬러 채널들 각각에 대한 채널-특이적 광학 필터는 상이한 파장 범위(통과대역으로 지칭됨)를 갖는 광을 선택적으로 통과시킨다. 상이한 채널-특이적 광학 필터는 필요에 따라 중첩 통과대역 또는 비-중첩 통과대역을 가질 수 있고, 특정한 광학 필터는 넓은 통과대역(예를 들어, 전체 가시광 스펙트럼) 또는 좁은 통과대역(예를 들어, 대개의 발광 다이오드(LED)의 방출 스펙트럼에 대응하는 통과대역과 같은 25 nm 이하)을 가질 수 있다. 예를 들어, 제1 컬러 채널은 제1 범위의 파장을 갖는 광을 선택적으로 통과시키는 제1 채널-특이적 광학 필터를 가질 수 있는 반면, 제2 컬러 채널은 제2 범위의 파장을 갖는 광을 선택적으로 통과시키는 제2 채널-특이적 광학 필터를 갖는다. 제2 범위는 특정 물질의 흡수 대역에 대응할 수 있고, 물질을 식별하는 데에 2개의 색 채널로부터의 데이터가 사용될 수 있다.
일부 실시예들에서, 주변광 센서 채널은 또한 파장 이외의 광의 특성에 선택적으로 민감할 수 있다. 예를 들어, 주변광 센서 채널들의 세트는 채널-특이적 광학 필터가 특정한 편광 특성을 갖는 광을 선택적으로 통과시키는 하나 이상의 편광 채널들을 포함할 수 있다. 컬러 채널들 및 편광 채널들은 주변광의 스펙트럼 및 편광 특성에 관한 정보를 제공하기 위해 조합하여 제공될 수 있다.
일부 실시예들에서, 특정 행의 주변광 센서 채널들은 다수의 광 센서들 및 패터닝된 광학 필터를 포함할 수 있는 "다중 스펙트럼" 센서 채널을 포함할 수 있으며, 패터닝된 광학 필터의 상이한 부분들은 다중 스펙트럼 센서 채널 내의 광 센서들의 상이한 서브세트들에 대해 상이한 특성들을 갖는 광을 선택적으로 통과시킨다. 패터닝된 광학 필터의 상이한 부분은 예를 들어, 제1 파장 대역에서 광을 통과시키는 제1 부분, 및 제2 파장 대역(부분적으로 중첩하는 파장 대역일 수 있음)에서 광을 통과시키는 제2 부분, 특정 편광 특성을 갖는 광을 통과시키는 부분 등을 포함할 수 있다.
어레이 내의 센서 채널들은 필요에 따라 배열될 수 있다. 예를 들어, 하나 이상의 주변광 센서 채널들의 세트가 적어도 2개의 주변광 센서 채널들을 포함하는 실시예들에서, 각각은 상이한 채널-특이적 광학 필터를 갖고, 주어진 센서 행 내의 주변광 센서 채널들은 균일한 피치만큼 서로 이격될 수 있다. 주어진 센서 행 내의 LIDAR 센서 채널은 주어진 센서 행 내의 주변광 센서 채널들 중 가장 가까운 센서 채널로부터 균일한 피치만큼 또는 균일한 피치의 정수배의 거리만큼 이격될 수 있다. 인접한 센서 행들은 또한 균일한 피치만큼 서로 이격될 수 있다. 이는 센서 어레이가 스캔 동작에서 사용될 때 대상 공간의 균일한 샘플링을 허용할 수 있다.
일부 실시예들에서, 센서 어레이는 단일 ASIC으로 제조된다. ASIC은 또한, ASIC 내에 배치되고, 2개 이상의 LIDAR 센서 채널 및 2개 이상의 주변광 센서 채널로부터의 데이터를 저장하도록 구성된 데이터 버퍼 및/또는 ASIC 내에 배치되고 데이터 버퍼에 저장된 데이터에 대해 이미지 처리 동작을 수행하도록 구성된 프로세싱 회로와 같은 다른 구성요소를 포함할 수 있다.
일부 실시예들은 고정 베이스, 고정 베이스에 회전가능하게 연결된 센서 어레이, 벌크 광학 모듈, 및 컨트롤러를 갖는 레인징/이미징 시스템에 관한 것이다. 센서 어레이는 센서 행들을 포함하는 센서 어레이일 수 있고, 각각의 센서 행은 LIDAR 센서 채널 및 채널-특이적 광학 필터링을 갖는 하나 이상의 주변광 센서 채널들의 세트를 갖는다. 벌크 광학 모듈은 센서 어레이의 전방에 배치될 수 있고, LIDAR 센서 채널들 및 주변광 센서 채널들에 공통인 개구 평면 상에 입사광을 집중시키도록 구성될 수 있다. 컨트롤러는 고정 베이스에 대한 공간 내의 주어진 위치가 LIDAR 센서 채널 및 센서 행들 중 하나에서의 각각의 주변광 센서 채널에 의해 연속적으로 이미징되도록, 센서 어레이의 회전 및 광 센서들의 동작을 동기화할 수 있다. 컨트롤러는 또한 센서 어레이의 주변광 센서 채널들을 사용하여 결정된 픽셀당 광 강도 데이터 및 센서 어레이의 LIDAR 센서 채널들을 사용하여 결정된 픽셀당 깊이 데이터를 포함하는, 다중 스펙트럼 이미지 픽셀 데이터를 생성하도록 구성될 수 있다. 일부 실시예들에서, 주어진 센서 행 내의 주변광 센서 채널들은 균일한 피치만큼 서로로부터 이격되어 있고, 컨트롤러는 균일한 피치에 대응하는 피치 각도만큼 분리된 각도 위치들에서 연속적인 이미징 동작들이 발생하도록 레인징/이미징 시스템을 회전시키도록 더 구성된다. 주어진 센서 행 내의 LIDAR 센서 채널은 주어진 센서 행 내의 주변광 센서 채널들 중 가장 가까운 센서 채널로부터 균일한 피치만큼 또는 균일한 피치의 정수배의 거리만큼 이격될 수 있다. 일부 실시예들에서, 인접한 센서 행들은 또한 균일한 피치만큼 서로 이격되어 있다.
일부 실시예들은 하이브리드 센서 픽셀들의 2차원 어레이를 갖는 센서 어레이에 관한 것이다. 각각의 하이브리드 센서 픽셀은 LIDAR 센서 채널 및 하나 이상의 주변광 센서 채널들의 세트를 포함할 수 있으며, 각각의 주변광 센서 채널은 센서-특이적 특성을 갖는 광의 강도를 선택적으로 측정하도록 동조된다. 센서 어레이는 또한 2차원 어레이의 각각의 하이브리드 센서 픽셀에 연결된 판독 전자 요소를 포함할 수 있고, 각각의 하이브리드 센서 픽셀에 대한 판독 전자 요소는, LIDAR 센서 채널에 연결되되 LIDAR 센서 채널에서 광자의 도달 시간을 측정하고 광자 도달 시간을 나타내는 데이터를 메모리에 저장하도록 구성되는 타이밍 회로, 및 주변광 센서 채널에 연결되되 주변광 센서 채널에서 검출된 광자의 개수를 카운트하여 광자 카운트를 메모리에 저장하도록 구성된 카운터 회로를 포함할 수 있다.
일부 실시예들에서, 하이브리드 센서 픽셀들의 2차원 어레이는 단일 ASIC으로 형성된다. 각각의 하이브리드 센서 픽셀은 광 센서들의 평면형 어레이 및 패터닝된 광학 필터를 포함할 수 있으며, 패터닝된 광학 필터의 상이한 부분들은 평면 어레이 내의 광 센서들의 상이한 서브세트들에 대해 상이한 특성들을 갖는 광을 선택적으로 통과시킨다. 패터닝된 광학 필터는 광 센서들의 제1 서브세트가 LIDAR 방출기의 파장에 매칭되는 좁은 통과대역 내에서 적외선 광을 수신하여 LIDAR 센서 채널을 제공하도록, 그리고 광 센서들의 제2 서브세트는 가시광 스펙트럼의 적어도 일부의 가시광을 수신하여 주변광 센서 채널들 중 하나를 제공하도록 배열될 수 있다. 일부 실시예들에서, 광 센서들의 제1 서브세트는 하이브리드 센서 픽셀의 픽셀 영역 내의 중심 영역에 위치되고, 광 센서들의 제2 서브세트는 픽셀 영역 내의 중심 영역 주위의 주변 영역에 위치된다. 일부 실시예들에서, 광 센서들의 제2 서브세트는 2개 이상의 광 센서들을 포함하고, 패터닝된 광학 필터는 제2 서브세트 내의 2개 이상의 광 센서들 각각이 상이한 범위의 파장 또는 상이한 편광 특성과 같은 상이한 특성을 갖는 광을 수신하도록 더 배열된다.
일부 실시예들에서, 하이브리드 센서 채널들의 2차원 어레이를 위한 LIDAR 센서 채널들은 제1 ASIC으로서 형성되고, 주변광 센서 채널들은 제1 ASIC 위에 중첩되고 그와 정렬되는 제2 ASIC으로서 형성된다. 제2 ASIC은 광이 LIDAR 센서 채널들로 통과할 수 있도록 그 내부에 형성된 복수의 개구들을 가질 수 있다.
일부 실시예들은 하이브리드 센서 픽셀들의 2차원 어레이를 갖는 센서 어레이 및 컨트롤러를 포함하는 레인징/이미징 시스템에 관한 것이다. 각각의 하이브리드 센서 픽셀은 광 센서들의 평면형 어레이 및 패터닝된 광학 필터를 포함할 수 있으며, 패터닝된 광학 필터의 상이한 부분들은 평면 어레이 내의 광 센서들의 상이한 서브세트들에 대해 상이한 특성들을 갖는 광을 선택적으로 통과시킨다. 패터닝된 광학 필터는 광 센서들의 제1 서브세트가 LIDAR 방출기의 파장에 매칭되는 좁은 통과대역 내에서 적외선 광을 수신하여 LIDAR 센서 채널을 제공하도록, 그리고 광 센서들의 제2 서브세트는 가시광 스펙트럼의 적어도 일부의 가시광을 수신하여 주변광 센서 채널들 중 하나를 제공하도록 배열될 수 있다. 컨트롤러는 시야 내의 소정의 위치가 하이브리드 센서 픽셀 중 하나의 LIDAR 센서 채널 및 주변광 센서 채널에 의해 이미징되도록, LIDAR 센서 채널 및 주변광 센서 채널을 작동하도록 구성될 수 있다. 일부 실시예들에서, 레인징/이미징 시스템은 또한 LIDAR 센서 채널들에 의해 검출가능한 광을 방출하기 위한 방출기(emitter)를 포함하고, 컨트롤러는 각각의 하이브리드 센서 픽셀에 대한 깊이 측정을 결정하기 위해 LIDAR 센서 채널들의 동작을 이용하여 방출기의 동작을 조정하도록 더 구성될 수 있다. 컨트롤러는 또한, 시야의 상이한 부분들이 상이한 시간에 LIDAR 센서 채널들 중 상이한 채널들에 의해 이미징되도록, 시야의 전자적 스캐닝을 수행하도록 방출기 및 LIDAR 센서 채널들을 동작시키도록 구성될 수 있다.
일부 실시예들은 고정 베이스, 고정 베이스에 회전가능하게 연결된 센서 어레이, 벌크 광학 모듈, 및 컨트롤러를 갖는 이미징 시스템에 관한 것이다. 센서 어레이는 복수의 센서 행들을 가질 수 있고, 각각의 센서 행은, 각각이 채널 입력 개구, 광 센서, 및 채널-특이적 특성을 갖는 광을 광 센서에 선택적으로 통과시키는 채널-특이적 광학 필터를 포함하는, 하나 이상의 주변광 센서 채널의 세트를 포함할 수 있다. 벌크 광학 모듈은 센서 어레이의 전방에 배치될 수 있고, 주변광 센서 채널에 공통인 개구 평면 상에 입사광을 집중시키도록 구성될 수 있다. 컨트롤러는 주변광 센서 채널들을 사용하여 결정된 광 강도 데이터를 포함하는 이미지 픽셀 데이터를 생성하도록, 센서 어레이의 회전 및 광 센서들의 동작을 동기화하도록 구성될 수 있다. 일부 실시예들에서, 하나 이상의 주변광 센서 채널들의 세트는 상이한 채널-특이적 광학 필터들을 갖는 상이한 주변광 센서 채널들을 갖는 적어도 2개의 주변광 센서 채널들을 포함한다. 주어진 센서 행 내의 주변광 센서 채널들은 균일한 피치만큼 서로 이격되어 있다. 일부 실시예들에서, 인접한 센서 행들은 또한, 동일한 균일한 피치만큼 서로 이격되어 있다. 이는 시야의 균일한 샘플링을 용이하게 할 수 있다. 일부 실시예들에서, 이미징 시스템은 또한, ASIC내에 배치되고 2개 이상의 주변광 센서 채널들로부터의 데이터를 저장하도록 구성된 데이터 버퍼, 및 ASIC내에 배치되고 데이터 버퍼에 저장된 데이터에 대해 이미지 처리 동작을 수행하도록 구성된 프로세싱 회로를 포함할 수 있다.
일부 실시예들은 센서 어레이, 벌크 광학 모듈, 컨트롤러, 및 다수의 채널-특이적 마이크로-광학 요소들을 포함하는 이미징 시스템에 관한 것이다. 센서 어레이는 개구 평면 내의 대응하는 개구들을 통해 광을 수신하도록 배열된 센서 채널들을 가질 수 있다. 벌크 광학 모듈은 센서 어레이의 전방에 배치될 수 있고, 시야의 이미지를 형성하기 위해 개구 평면 상에 입사광을 집속하도록 구성될 수 있다. 컨트롤러는 시야에 대한 이미지 데이터를 생성하기 위해 센서 어레이를 동작시킬 수 있다. 각각의 채널-특이적 마이크로-광학 요소는 개구들 중 서로 다른 개구의 전방에 배치될 수 있고, 상이한 센서 채널들에 대해 상이한 광학 처방(prescription)을 가질 수 있다. 채널-특이적 마이크로-광학 요소들 중 특정한 하나에 대한 광학 처방은 적어도 부분적으로 벌크 광학 모듈의, 색수차(색에 민감한(color-selective) 센서 채널들에 대한) 및/또는 초점면 곡률(광학 처방이 벌크 광학 모듈의 광축으로부터의 방사 거리의 함수일 수 있는 경우)와 같은, 광학 특성에 기초할 수 있다. 광학 처방은 초점 길이(또는 굴절력) 및/또는 격리 거리를 포함할 수 있다.
일부 실시예들에서, 센서 채널들은 센서 행들로 배열되고, 각각의 센서 행은 LIDAR 센서 채널 및 하나 이상의 주변광 센서 채널들의 세트를 포함하며, 각각의 주변광 센서 채널은 채널 입력 개구, 광 센서, 및 채널-특이적 특성을 갖는 광을 광 센서에 선택적으로 통과시키는 채널-특이적 광학 필터를 포함한다. 채널-특이적 마이크로-광학 요소들은 주변광 센서 채널들 중 적어도 일부에 대해 제공될 수 있다. 예를 들어, 각각의 주변광 센서 채널에 대한 채널-특이적 마이크로-광학 요소는, 예를 들어, 벌크 광학 모듈의 색수차를 보상하기 위해 채널-특이적 광학 필터에 적어도 부분적으로 기초하는 처방을 가질 수 있다.
일부 실시예들에서, 센서 채널들은 LIDAR 센서 채널들을 포함하고, LIDAR 센서 채널들 중 적어도 일부는 LIDAR 동작 파장에 부분적으로 그리고 부분적으로는 벌크 광학 모듈의 광학 특성에 기초하여 각각의 광학 처방들을 갖는 대응하는 채널-특이적 마이크로-광학 요소들을 가질 수 있다.
일부 실시예들은 방출기 어레이, 벌크 광학 모듈, 및 채널-특이적 마이크로-광학 요소들을 포함하는 LIDAR 송신기 디바이스에 관한 것이다. 방출기 어레이는 개구 평면 내의 대응하는 복수의 개구들을 통해 광을 방출하도록 배열된 복수의 방출기 채널들을 가질 수 있다. 벌크 광학 모듈은 방출기 어레이의 전방에 배치될 수 있고, 개구 평면으로부터의 광을 시야로 지향시키도록 구성될 수 있다. 채널-특이적 마이크로-광학 요소는 각각 서로 다른 개구의 전방에 배치될 수 있고, 각각은 상이한 방출기 채널에 대해 상이한 광학 처방을 가질 수 있다. 채널-특이적 마이크로-광학 요소의 광학 처방은 벌크 광학 모듈의 광학 특성에 적어도 부분적으로 기초할 수 있다. 예를 들어, 벌크 광학 모듈이 만곡된 초점면을 갖는 경우, 각각의 채널-특이적 마이크로-광학 요소의 광학 처방은, 예를 들어, 벌크 광학 모듈의 광학 축으로부터 대응하는 개구까지의 개구 평면 내의 방사형 거리의 함수인 각각의 채널-특이적 마이크로-광학 요소를 위한 광학 처방을 사용함으로써, 개구의 위치 및 만곡된 초점면 상의 대응하는 위치 사이의 오프셋을 보상할 수 있다. 광학 처방은 초점 길이(또는 굴절력) 및/또는 격리 거리를 포함할 수 있고, 따라서 상이한 개구의 전방에 배치된 채널-특이적 마이크로-광학 요소는 개구 평면으로부터 상이한 굴절력 및/또는 상이한 격리 거리를 갖는 광학 처방을 가질 수 있다.
일부 실시예들은 스캔 방향으로 고정 해상도를 갖는 이미지를 제공하기 위한 스캐닝 이미징 시스템에 관한 것이다. 스캐닝 이미징 시스템은 센서 어레이, 회전 제어 시스템, 및 벌크 광학 모듈을 포함할 수 있다. 센서 어레이는 2차원으로 배열된 센서 채널들의 세트를 포함할 수 있으며, 각각의 센서 채널은 (동일한 특징들 또는 상이한 특징들을 갖는) 광을 검출하도록 구성된다. 회전 제어 시스템은 균일한 각도 피치에 따라 스캐닝 방향으로 이격된 이미지 픽셀들의 그리드와 같은, 시야의 이미지를 나타내는 데이터의 프레임을 획득하기 위해, 각도 측정 위치들의 시퀀스를 통해 센서 어레이를 스캐닝 방향으로 회전시키도록 구성될 수 있다. 벌크 광학 모듈은 센서 어레이를 향해 광을 집중시키도록 구성될 수 있고, 센서 어레이를 스캐닝 방향을 따라 균일한 각도 피치를 통해 회전하여 광선이 센서 어레이 상에 입사하는 위치를 하나의 센서 채널로부터 인접한 센서 채널로 시프트시키도록 센서 채널들의 세트의 배열에 동조되는 초점 길이 및 초점 길이 왜곡 프로파일을 가질 수 있다.
센서 채널들의 세트는 채널 유형들의 다양한 조합들을 포함할 수 있다. 예를 들어, 센서 채널들의 세트는 스캐닝 방향을 가로지르는 방향으로 연장하는 열을 정의하는 LIDAR 센서 채널들의 스태거 그리드(staggered grid)를 포함할 수 있다. 또한(또는 그 대신에), 센서 채널들의 세트는 각각의 LIDAR 센서 채널들에 대해 스캐닝 방향을 따라 배치된 하나 이상의 주변광 센서 채널을 포함할 수 있다.
일부 실시예들에서, 센서 어레이는 스캐닝 방향을 따라 인접한 센서 채널들 사이에 고정된 피치를 갖고, 벌크 광학 모듈은 F θ의 초점 길이 왜곡 프로파일 또는 F tan θ의 초점 길이 왜곡 프로파일을 갖는다.
다른 실시예들에서, 센서 어레이는 인접한 센서 채널들 사이에 가변 거리를 가질 수 있다. 예를 들어, 벌크 광학 모듈의 초점 길이 왜곡 프로파일이 배럴 왜곡을 나타내는 경우, 센서 어레이 내의 인접한 센서 채널들 사이의 거리는 엣지로부터 센서 어레이의 중심까지 증가할 수 있다. 유사하게, 벌크 광학 모듈의 초점 길이 왜곡 프로파일이 핀쿠션(pincushion) 왜곡을 보이는 경우, 센서 어레이 내의 인접한 센서 채널들 사이의 거리는 엣지로부터 센서 어레이의 중심까지 감소할 수 있다. 이러한 배열은 대상 공간의 균일한 샘플링을 제공할 수 있다.
일부 실시예들은 스캔 방향으로 고정 해상도를 갖는 이미지를 제공하기 위한 스캐닝 이미징 시스템에 관한 것이다. 스캐닝 이미징 시스템은 센서 어레이, 미러(mirror) 서브시스템, 및 벌크 광학 모듈을 포함할 수 있다. 센서 어레이는 1차원 또는 2차원으로 배열된 센서 채널들의 세트를 포함할 수 있고, 각각의 센서 채널은 (동일한 특징들 또는 상이한 특징들을 갖는) 광을 검출하도록 구성된다. 미러 서브시스템은, 센서 어레이가 시야의 이미지를 나타내는 데이터의 프레임을 획득하도록 상이한 시간에 센서 어레이 상으로 시야의 상이한 부분들로부터의 광을 지향시키도록 구성될 수 있으며, 여기서 데이터의 프레임은 예를 들어, 균일한 각도 피치에 따라 스캐닝 방향으로 이격된 이미지 픽셀들의 그리드일 수 있다. 벌크 광학 모듈은 센서 어레이를 향해 광을 집중시키도록 구성될 수 있고, 센서 어레이를 스캐닝 방향을 따라 균일한 각도 피치를 통해 회전하여 광선이 센서 어레이 상에 입사하는 위치를 하나의 센서 채널로부터 인접한 센서 채널로 시프트시키도록 센서 채널들의 세트의 배열에 동조되는 초점 길이 및 초점 길이 왜곡 프로파일을 가질 수 있다.
센서 채널들의 세트는 채널 유형들의 다양한 조합들을 포함할 수 있다. 예를 들어, 센서 채널들의 세트는 스캐닝 방향을 가로지르는 방향으로 연장하는 열을 정의하는 LIDAR 센서 채널들의 스태거 그리드(staggered grid)를 포함할 수 있다. 또한(또는 그 대신에), 센서 채널들의 세트는 각각의 LIDAR 센서 채널들에 대해 스캐닝 방향을 따라 배치된 하나 이상의 주변광 센서 채널을 포함할 수 있다.
일부 실시예들에서, 센서 어레이는 스캐닝 방향을 따라 인접한 센서 채널들 사이에 고정된 피치를 갖고, 벌크 광학 모듈은 F θ의 초점 길이 왜곡 프로파일 또는 F tan θ의 초점 길이 왜곡 프로파일을 갖는다.
다른 실시예들에서, 센서 어레이는 인접한 센서 채널들 사이에 가변 거리를 가질 수 있다. 예를 들어, 벌크 광학 모듈의 초점 길이 왜곡 프로파일이 배럴 왜곡을 나타내는 경우, 센서 어레이 내의 인접한 센서 채널들 사이의 거리는 엣지로부터 센서 어레이의 중심까지 증가할 수 있다. 유사하게, 벌크 광학 모듈의 초점 길이 왜곡 프로파일이 핀쿠션 왜곡을 보이는 경우, 센서 어레이 내의 인접한 센서 채널들 사이의 거리는 엣지로부터 센서 어레이의 중심까지 감소할 수 있다. 이러한 배열은 대상 공간의 균일한 샘플링을 제공할 수 있다.
일부 실시예들은 2차원으로 스캐닝함으로써 고정 해상도를 갖는 이미지를 제공하기 위한 래스터-스캐닝 이미징 시스템에 관한 것이다. 래스터 스캐닝 이미징 시스템은 센서 어레이, 래스터 스캐닝 메커니즘, 및 벌크 광학 모듈을 포함할 수 있다. 센서 어레이는 1차원 또는 2차원으로 배열된 센서 채널들의 세트를 포함할 수 있으며, 각각의 센서 채널들은 광을 검출하도록 구성된다. 래스터 스캐닝 메커니즘은 센서 어레이가 시야의 이미지를 나타내는 데이터의 프레임을 획득하도록 상이한 시간에 센서 어레이 상으로 시야의 상이한 부분들로부터의 광을 지향시키는 하나 또는 두 개의 차원에서 래스터 스캔을 수행하도록 구성될 수 있고, 여기서 데이터의 프레임은 예를 들어, 균일한 피치에 따라 두 개의 차원들의 각각에서 이격되는 이미지 픽셀들의 2차원 그리드일 수 있으며, 이미지 픽셀들의 그리드의 차원들은 센서 어레이의 차원들보다 더 크다. 벌크 광학 모듈은 센서 어레이를 향해 광을 집중시키도록 구성될 수 있고, 센서 어레이가 균일하게 시야를 샘플링하도록 센서 채널들의 세트의 배열에 동조되는 초점 길이 및 초점 길이 왜곡 프로파일을 가질 수 있다.
일부 실시예들에서, 래스터 스캐닝은 센서 어레이를 시야의 상이한 부분들에서 센서 채널들을 가리키도록 2차원 내에서 이동시킴으로써 동작할 수 있다. 다른 실시예들에서, 래스터 스캐닝 메커니즘은 상이한 시간에 센서 어레이 상으로 시야의 상이한 부분들로부터의 광을 지향시키도록 2차원으로 이동가능한 팁-틸트(tip-tilt) 미러를 포함할 수 있다.
센서 채널들의 세트는 채널 유형들의 다양한 조합들을 포함할 수 있다. 일부 실시예들에서, 센서 채널들은 LIDAR 센서 채널들을 포함하고, 또한 다양한 유형들의 주변광 센서 채널들을 포함할 수 있다. 다른 실시예들에서, 센서 채널들은 하나 이상의 "하이브리드" 센서 채널들을 포함할 수 있으며, 각각의 하이브리드 센서 채널은 다수의 광 센서들 및 패터닝된 광학 필터를 가지며, 패터닝된 광학 필터의 상이한 부분들은 상이한 특성들을 갖는 광을 선택적으로 통과시키고, 패터닝된 광학 필터는 상이한 광 센서들이 상이한 특성들을 갖는 광을 수신하도록 배열된다. 패터닝된 광학 필터는, 복수의 광 센서들의 제1 서브세트가 LIDAR 방출기의 파장에 매칭되는 좁은 통과대역 내에서 적외선 광을 수신하고 복수의 광 센서들의 제2 서브세트가 가시광 스펙트럼의 적어도 일부로부터 가시광을 수신하도록 더 배열될 수 있다. 다른 예로서, 하이브리드 센서 채널들은, 제1 센서 채널 층 상에 배치되는 LIDAR 센서 채널과, 제1 센서 채널 층 위에 놓이고 광이 LIDAR 센서 채널로 진입하는 것을 허용하도록 내부에 개구를 갖는 개구층과, 개구 주위에서 개구층의 적어도 일부 위에 배치되는 주변광 센서 채널들을 포함할 수 있고, 이때 각각의 주변광 센서 채널은 특정한 특성을 갖는 광을 선택적으로 통과시키는 광 센서 및 광학 필터를 포함하며, 주변광 센서 채널들 중 상이한 주변광 센서 채널들의 광학 필터들은 상이한 특성을 갖는 광을 선택적으로 통과시킬 수 있다.
일부 실시예들에서, 래스터 스캐닝 이미징 시스템의 센서 어레이는 센서 채널들 사이에 고정된 피치를 가지며, 벌크 광학 모듈은 F tan θ의 초점 길이 왜곡 프로파일 또는 F θ의 초점 길이 왜곡 프로파일을 갖는다.
일부 실시예들은 다수의 센서 행들, 논리 회로, 및 컨트롤러를 갖는 센서 어레이에 관한 것이다. 각각의 센서 행은 파장 범위에 민감한 2개 이상의 해상도-향상된 주변광 센서 채널들의 그룹을 포함할 수 있고, 그룹 내의 각각의 해상도-향상된 주변광 센서 채널은 채널-특이적 입력 개구 및 광 센서를 포함할 수 있으며, 그룹 내의 해상도-향상된 상이한 주변광 센서 채널들의 채널-특이적 입력 개구들은 채널 영역의 상이한 부분들을 노출시킬 수 있다. 논리 회로는 해상도-향상된 주변광 센서 채널들의 그룹 내의 광 센서들로부터의 강도 데이터에 기초하여 다수의 서브픽셀 광 강도 값들을 결정할 수 있다. 컨트롤러는 특정 행의 2개 이상의 해상도-향상된 주변광 센서 채널들의 그룹 내의 각각의 주변광 센서 채널이 상이한 시간에 시야 내의 동일한 픽셀 영역에 노출되도록, 상이한 시간에 시야 내의 상이한 영역들에 센서 어레이를 노출시키는 스캐닝 동작을 수행하도록 구성될 수 있다.
일부 실시예들에서, 그룹 내의 각각의 해상도-향상된 주변광 센서 채널은 특정한 특성을 갖는 광을 선택적으로 통과시키는 광학 필터를 포함할 수 있으며, 상기 특정한 특성은 그룹 내의 모든 해상도-향상된 주변광 센서 채널에 대해 동일할 수 있다.
일부 실시예들에서, 그룹 내의 상이한 해상도-향상된 주변광 센서 채널들의 개구들에 의해 노출되는 채널 영역의 상이한 부분들은 채널 영역의 중첩하지 않는 부분들이다. 예를 들어, 해상도-향상된 주변광 센서 채널들의 그룹은 4개의 해상도-향상된 주변광 센서 채널들을 포함할 수 있고, 중첩하지 않는 부분들은 채널 영역의 상이한 사분면들에 대응할 수 있다.
다른 실시예들에서, 그룹 내의 상이한 해상도-향상된 주변광 센서 채널들의 개구들에 의해 노출되는 채널 영역의 상이한 부분들은 채널 영역의 중첩 부분들을 포함할 수 있다. 2개 이상의 해상도-향상된 주변광 센서 채널들의 그룹으로부터의 센서 데이터에 기초하여 채널 영역의 중첩하지 않는 부분들의 세트에 대한 강도 값들을 디코딩하기 위해 산술 논리 회로가 제공될 수 있다. 디코딩을 용이하게 하기 위해, 그룹 내의 해상도-향상된 주변광 센서 채널들 중 하나(또는 그 이상)는 전체 채널 영역을 노출하는 개구를 가질 수 있다.
일부 실시예들에서, 각각의 센서 행은 해상도-향상된 주변광 센서 채널들의 그룹에 공간적으로 정합된 LIDAR 센서 채널을 더 포함한다. LIDAR 센서 채널들은 제1 해상도를 갖는 깊이 이미지를 제공할 수 있는 반면, 해상도-향상된 주변광 센서 채널들은 행 방향 별로 및/또는 센서 행들을 가로지르는 방향으로의 제1 해상도보다 높은 제2 해상도를 갖는 강도 이미지를 제공한다.
일부 실시예들은 센서 어레이, 산술 논리 회로 및 컨트롤러를 포함하는 스캐닝 이미징 시스템에 관한 것이다. 센서 어레이는 파장들의 범위에 민감한 2개 이상의 해상도-향상된 주변광 센서 채널들의 그룹을 포함할 수 있으며, 이들 각각은, 채널-특이적 입력 개구 - 그룹 내의 상이한 해상도-향상된 주변광 센서 채널들의 채널-특이적 입력 개구들은 채널 영역의 상이한 부분들을 노출함 -와, 광 센서와, 2개 이상의 시간 빈(bin)들로 세분되는 시간 간격 동안 광 센서로부터 광자 카운트들을 축적하기 위한 2개 이상의 레지스터들 - 각각의 레지스터들은 상이한 시간 빈들 동안 광자 카운트들을 축적함 -을 포함할 수 있다. 산술 논리 회로는 그룹 내의 모든 해상도-향상된 주변광 센서 채널들의 복수의 레지스터들에 축적된 광자 카운트들에 기초하여 복수의 서브픽셀 광 강도 값들을 계산할 수 있다. 컨트롤러는 2개 이상의 해상도-향상된 주변광 센서 채널들의 그룹 내의 각각의 주변광 센서 채널이 상이한 시간에 시야 내의 동일한 픽셀 영역에 노출되도록 상이한 시간에 시야 내의 상이한 영역들에 센서 어레이를 노출시키는 스캐닝 동작을 수행하도록 구성될 수 있다.
일부 실시예들에서, 그룹 내의 각각의 해상도-향상된 주변광 센서 채널은 특정한 특성을 갖는 광을 선택적으로 통과시키는 광학 필터를 포함할 수 있으며, 상기 특정한 특성은 그룹 내의 모든 해상도-향상된 주변광 센서 채널에 대해 동일할 수 있다.
일부 실시예들에서, 스캐닝 이미징 시스템은 또한 해상도-향상된 주변광 센서 채널들의 그룹에 공간적으로 정합된 LIDAR 센서 채널을 포함할 수 있다. LIDAR 센서 채널은 제1 해상도를 갖는 깊이 이미지를 제공할 수 있는 반면, 해상도-향상된 주변광 센서 채널은 1차원 또는 2차원의 제1 해상도보다 높은 제2 해상도를 갖는 강도 이미지를 제공한다.
그룹 내의 상이한 해상도-향상된 주변광 센서 채널들의 개구들에 의해 노출되는 채널 영역의 상이한 부분들은 채널 영역의 중첩 및/또는 비-중첩 부분들을 포함할 수 있다. 예를 들어, 2개 이상의 해상도-향상된 주변광 센서 채널들의 그룹은 4개의 주변광 센서 채널들을 포함할 수 있고, 2개 이상의 레지스터들은 4개의 레지스터들을 포함할 수 있으며, 산술 논리 회로는 16개의 서브픽셀 광 강도 값들을 계산할 수 있다. 예를 들어, 해상도-향상된 주변광 센서 채널들 중 제1 채널의 채널-특이적 입력 개구가 채널 영역의 1/4을 노출시키고, 해상도-향상된 주변광 센서 채널들 중 제2, 제3 및 제4 채널의 각각의 채널-특이적 입력 개구들이 채널 영역의 1/4의 상이한 부분을 각각 노출시키는 경우, 16개의 서브픽셀 광 강도 값들은 채널 영역에 대응하는 4×4 그리드를 제공할 수 있다.
일부 실시예들은 다수의 센서 행들을 갖는 센서 어레이에 관한 것이다. 각각의 센서 행은 적어도 2개의 주변광 센서 채널들의 세트를 포함할 수 있고, 세트 내의 각각의 주변광 센서 채널은 채널 입력 개구, 광 센서, 및 채널-특이적 특성을 갖는 광을 광 센서에 선택적으로 통과시키는 채널-특이적 광학 필터를 포함할 수 있다. 각각의 센서 행 내의 적어도 2개의 주변광 센서 채널들의 세트는, 광의 채널-특이적 특성이 중첩되는 각각의 채널-특이적 광학 필터들을 갖는 적어도 2개의 중첩하는 주변광 센서 채널들을 포함할 수 있다. 센서 어레이는 또한 3개 이상의 주변광 센서 채널들로부터의 신호들을 복수의 비-중첩 특성들을 갖는 광에 대한 각각의 광 강도 레벨들로 디코딩할 수 있는 산술 논리 회로를 포함할 수 있다.
일부 실시예들에서, 채널-특이적 특성은 광의 파장 범위를 포함한다. 적어도 2개의 중첩하는 주변광 센서 채널들의 세트는 제1 범위의 파장을 갖는 광을 선택적으로 통과시키는 제1 채널-특이적 광학 필터를 갖는 제1 컬러 채널, 제2 범위의 파장을 갖는 광을 선택적으로 통과시키는 제2 채널-특이적 광학 필터를 갖는 제2 컬러 채널, 및 제3 범위의 파장을 갖는 광을 선택적으로 통과시키는 제3 채널-특이적 광학 필터를 갖는 제3 컬러 채널을 포함하며, 제1 파장 범위 및 제2 파장 범위는 부분적으로 중첩하고, 제3 파장 범위는 제1 파장 범위 및 제2 파장 범위 모두를 포함한다. 예를 들어, 제3 파장 대역은 가시광 스펙트럼에 대응할 수 있다.
일부 실시예들에서, 채널-특이적 특성은 광의 편광 특성과 같은 상이한 특성일 수 있다.
일부 실시예들에서, 각각의 센서 행은 LIDAR 센서 채널을 더 포함하고, LIDAR 센서 채널들로부터 결정된 깊이 데이터는 주변광 센서 채널들로부터 결정된 강도 데이터에 본질적으로 정합될 수 있다.
일부 실시예들은 센서 어레이, 컨트롤러, 및 산술 논리 회로를 포함하는 이미징 시스템에 관한 것이다. 센서 어레이는 복수의 센서 행들을 가질 수 있다. 각각의 센서 행은 적어도 두 개의 주변광 센서 채널들의 세트를 포함할 수 있고, 각각의 주변광 센서 채널은 채널 입력 개구, 광 센서, 및 채널-특이적 특성을 갖는 광을 광 센서에 선택적으로 통과시키는 채널-특이적 광학 필터를 포함할 수 있다. 각각의 센서 행 내의 적어도 2개의 주변광 센서 채널들의 세트는, 광의 채널-특이적 특성이 중첩되는 각각의 채널-특이적 광학 필터들을 갖는 적어도 2개의 중첩하는 주변광 센서 채널들을 포함할 수 있다. 컨트롤러는 3개 이상의 주변광 센서 채널들 각각이 시야의 동일한 부분으로부터의 광에 노출되도록 센서 어레이를 작동시킬 수 있다. 산술 논리 회로는 적어도 2개의 중첩하는 주변광 센서 채널들로부터의 신호들을 복수의 비-중첩 특성들을 갖는 광에 대한 각각의 광 강도 레벨들로 디코딩할 수 있다.
일부 실시예들은 다중 스펙트럼 센서 채널들을 포함하는 다수의 센서 채널들을 포함하는 센서 어레이에 관한 것이다. 각각의 다중 스펙트럼 센서 채널은 채널 입력 개구, 적어도 3개의 광 센서들, 및 적어도 3개의 상이한 부분들을 갖는 패터닝된 광학 필터를 가질 수 있고, 패터닝된 광학 필터의 상이한 부분들은 상이한 특성들을 갖는 광을 적어도 3개의 광 센서들의 상이한 서브세트들에 대해 선택적으로 통과시킨다. 패터닝된 광학 필터의 상이한 부분들은 광을 적어도 3개의 광 센서들의 제1 서브세트에 통과시키는 제1 부분 및 광을 적어도 3개의 광 센서들의 제2 서브세트에 통과시키는 제2 부분을 적어도 포함할 수 있으며, 제1 및 제2 부분들에 의해 통과된 광의 각각의 특성들은 중첩된다. 산술 논리 회로는 광 센서들의 제1 및 제2 서브세트들로부터의 신호들을 복수의 비-중첩 특성들을 갖는 광에 대한 각각의 광 강도 레벨들로 디코딩할 수 있다. 다른 실시예들에서와 같이, 상기 특성은 파장 범위 및/또는 편광 특성을 포함할 수 있다.
일부 실시예들에서, 센서 채널들은 각각의 LIDAR 센서 채널이 다중 스펙트럼 센서 채널들 중 상이한 센서 채널을 갖는 센서 행을 형성하도록 배치된 복수의 LIDAR 센서 채널들을 포함할 수 있고, LIDAR 센서 채널들로부터 결정된 깊이 데이터는 주변광 센서 채널들로부터 결정된 강도 데이터에 의해 본질적으로 정합될 수 있다.
일부 실시예들에서, 각각의 다중 스펙트럼 센서 채널은 LIDAR 광 센서를 포함할 수 있으며, 패터닝된 광학 필터는 LIDAR 방출기에 대응하는 파장을 갖는 광을 LIDAR 광 센서에 선택적으로 통과시키는 제4 부분을 포함할 수 있다.
하기의 상세한 설명은 청구된 발명의 특성 및 이점에 대한 보다 나은 이해를 제공할 것이다.
도 1a 및 도 1b는 본원에 기술된 하나 이상의 실시예들에 따른 센서 어레이에 포함될 수 있는 단일 마이크로-광학 센서 채널의 단순화된 단면도들을 도시한다.
도 2는 본원에 기술된 하나 이상의 실시예들에 따른 센서 어레이의 단순화된 정면도이다.
도 3은 도 2의 센서 어레이의 센서 행의 단순화된 측단면도를 도시한다.
도 4는 하나 이상의 실시예들에 따른 다른 센서 어레이의 단순화된 평면도를 도시한다.
도 5는 하나 이상의 실시예들에 따른 다른 센서 어레이의 단순화된 평면도를 도시한다.
도 6은 하나 이상의 실시예들에 따른 다른 센서 어레이의 단순화된 평면도를 도시한다.
도 7은 도 6의 센서 어레이에 포함될 수 있는 다중 스펙트럼 센서 채널의 단순화된 평면도를 도시한다.
도 8은 도 6의 센서 어레이의 일부의 개략적인 측면도를 도시한다.
도 9는 본 발명의 일 실시예에 따른 센서 어레이의 일부의 단순화된 측단면도이다.
도 10은 도 9의 센서 어레이의 단순화된 평면도를 도시한다.
도 11은 일부 실시예들에서 주변광 강도 측정을 제공하기 위해 사용될 수 있는 3개의 필터에 대한 비-중첩 통과대역의 예를 도시한다.
도 12는 일부 실시예들에서 인코딩된 스펙트럼 정보를 갖는 주변광 강도 측정을 제공하기 위해 사용될 수 있는 3개의 필터들에 대한 중첩 통과대역들의 예를 도시한다.
도 13은 일부 실시예들에 따른 센서 어레이의 단순화된 정면도이다.
도 14a 및 도 14b는 일부 실시예들에 따른 패터닝된 광학 필터를 갖는 다중 스펙트럼 센서 채널의 예들을 도시한다.
도 15는 도 2의 센서 어레이를 통합할 수 있는 광 레인징/이미징 디바이스의 단순화된 측면도를 도시한다.
도 16은 하나 이상의 실시예들에 따른 채널-특이적 보상 마이크로-광학계를 갖는 센서 어레이의 일부의 단순화된 단면도이다.
도 17은 하나 이상의 실시예들에 따른 채널-특이적 보상 마이크로-광학계를 갖는 센서 어레이의 일부의 단순화된 단면도이다.
도 18은 하나 이상의 실시예들에 따른 채널-특이적 보상 마이크로-광학계를 갖는 센서 어레이의 일부의 단순화된 단면도이다.
도 19는 하나 이상의 실시예들에 따른 무색의 벌크 광학 모듈을 갖는 센서 어레이의 일부의 단순화된 단면도이다.
도 20은 하나 이상의 실시예들에 따른 무색의 벌크 광학 모듈을 갖는 다른 센서 어레이의 일부의 단순화된 단면도이다.
도 21은 하나 이상의 실시예들에 따른 벌크 광학 모듈의 초점 길이를 교정하기 위한 채널마다 마이크로-광학계들을 갖는 센서 모듈의 예를 도시한다.
도 22는 하나 이상의 실시예들에 따른 채널-특이적 마이크로-광학 요소들을 갖는 수신 모듈의 다른 예를 도시한다.
도 23은 하나 이상의 실시예들에 따른 채널-특이적 마이크로-광학 요소들을 갖는 송신 모듈의 예를 도시한다.
도 24a 및 도 24b는 센서 어레이를 사용하는 스캐닝 시스템에서의 포인팅 오류에 대한 포텐셜을 도시하는 단순화된 개념도이다.
도 25는 하나 이상의 실시예들에 따른 벌크 광학 모듈에 대한 초점 길이 왜곡 특성을 도시하는 단순화된 광학 도면이다.
도 26은 스캐닝 시스템들의 일부 실시예들에서 정량화되고 제한될 수 있는, 픽셀 내(intrapixel) 포인팅 오류의 일 예를 도시한다.
도 27 및 도 28은 하나 이상의 실시예들에 따른 벌크 광학 모듈에서의 배럴 왜곡 및 핀쿠션 왜곡을 보상하기 위한 센서 채널 위치설정의 예들을 도시한다.
도 29는 본 발명의 일 실시예에 따른 센서 어레이를 이용한 래스터 스캔의 예를 도시한다.
도 30은 핀쿠션 왜곡을 나타내는 벌크 광학계를 갖는 어레이를 사용하는 래스터-스캐닝으로부터 초래될 수 있는 불균일한 샘플링 패턴을 도시한다.
도 31a 및 도 31b는 하나 이상의 실시예들에 따른 회전 이미징/LIDAR 시스템의 예를 도시하며, 도 31a는 단순화된 평면도이고, 도 31b는 단순화된 측면도이다.
도 32는 하나 이상의 실시예들에 따른 회전 이미징/LIDAR 시스템의 블록도를 도시한다.
도 33a 및 도 33b는 하나 이상의 실시예들에 따른 센서 어레이를 이용한 하이퍼스펙트럼 이미징 동작의 예를 도시한다.
도 34는 일부 실시예들에 따른 센서 어레이의 단순화된 정면도이다.
도 35는 일부 실시예들에 따른 공간적으로 인코딩된 서브픽셀 개구들을 갖는 4개의 주변광 센서 채널들의 세트를 도시한다.
도 36은 일부 실시예들에 따른 다수의 집적 레지스터들을 갖는 판독 데이터 경로의 단순화된 개략도를 도시한다.
도 37은 일부 실시예들에 따른 다수의 집적 레지스터를 사용하는 주변광 측정을 도시한다.
도 38a는 일부 실시예들에 따라 공간적으로 인코딩된 서브픽셀 개구들을 제공하는 주변광 센서 채널들의 세트를 도시한다.
도 38b는 도 38a의 주변광 센서 채널을 사용하는 시간적 세분화의 효과를 도시한다.
도 39는 하나 이상의 실시예들에 따른 정적 이미징/LIDAR 시스템의 예를 도시한다.
도 40은 하나 이상의 실시예들에 따른 정적 이미징/LIDAR 시스템들의 예시적인 자동차 응용예를 도시한다.
도 41은 하나 이상의 실시예들에 따른 정적 이미징/LIDAR 시스템들의 다른 예시적인 자동차 응용예를 도시한다.
도 42는 하나 이상의 실시예들에 따른 확장된 시야를 갖는 정적 이미징/LIDAR 시스템의 예를 도시한다.
도 43은 하나 이상의 실시예들에 따른 정적 이미징/LIDAR 시스템의 블록도를 도시한다.
도 44는 하나 이상의 실시예들에 따른 다중 스펙트럼 레인징/이미징 센서 어레이를 사용하여 획득될 수 있는 하이퍼스펙트럼 이미지들의 예를 도시한다.
도 45는 안에 포함된 재료들을 식별하기 위해 주석이 달린 이미지의 예를 도시한다.
도 2는 본원에 기술된 하나 이상의 실시예들에 따른 센서 어레이의 단순화된 정면도이다.
도 3은 도 2의 센서 어레이의 센서 행의 단순화된 측단면도를 도시한다.
도 4는 하나 이상의 실시예들에 따른 다른 센서 어레이의 단순화된 평면도를 도시한다.
도 5는 하나 이상의 실시예들에 따른 다른 센서 어레이의 단순화된 평면도를 도시한다.
도 6은 하나 이상의 실시예들에 따른 다른 센서 어레이의 단순화된 평면도를 도시한다.
도 7은 도 6의 센서 어레이에 포함될 수 있는 다중 스펙트럼 센서 채널의 단순화된 평면도를 도시한다.
도 8은 도 6의 센서 어레이의 일부의 개략적인 측면도를 도시한다.
도 9는 본 발명의 일 실시예에 따른 센서 어레이의 일부의 단순화된 측단면도이다.
도 10은 도 9의 센서 어레이의 단순화된 평면도를 도시한다.
도 11은 일부 실시예들에서 주변광 강도 측정을 제공하기 위해 사용될 수 있는 3개의 필터에 대한 비-중첩 통과대역의 예를 도시한다.
도 12는 일부 실시예들에서 인코딩된 스펙트럼 정보를 갖는 주변광 강도 측정을 제공하기 위해 사용될 수 있는 3개의 필터들에 대한 중첩 통과대역들의 예를 도시한다.
도 13은 일부 실시예들에 따른 센서 어레이의 단순화된 정면도이다.
도 14a 및 도 14b는 일부 실시예들에 따른 패터닝된 광학 필터를 갖는 다중 스펙트럼 센서 채널의 예들을 도시한다.
도 15는 도 2의 센서 어레이를 통합할 수 있는 광 레인징/이미징 디바이스의 단순화된 측면도를 도시한다.
도 16은 하나 이상의 실시예들에 따른 채널-특이적 보상 마이크로-광학계를 갖는 센서 어레이의 일부의 단순화된 단면도이다.
도 17은 하나 이상의 실시예들에 따른 채널-특이적 보상 마이크로-광학계를 갖는 센서 어레이의 일부의 단순화된 단면도이다.
도 18은 하나 이상의 실시예들에 따른 채널-특이적 보상 마이크로-광학계를 갖는 센서 어레이의 일부의 단순화된 단면도이다.
도 19는 하나 이상의 실시예들에 따른 무색의 벌크 광학 모듈을 갖는 센서 어레이의 일부의 단순화된 단면도이다.
도 20은 하나 이상의 실시예들에 따른 무색의 벌크 광학 모듈을 갖는 다른 센서 어레이의 일부의 단순화된 단면도이다.
도 21은 하나 이상의 실시예들에 따른 벌크 광학 모듈의 초점 길이를 교정하기 위한 채널마다 마이크로-광학계들을 갖는 센서 모듈의 예를 도시한다.
도 22는 하나 이상의 실시예들에 따른 채널-특이적 마이크로-광학 요소들을 갖는 수신 모듈의 다른 예를 도시한다.
도 23은 하나 이상의 실시예들에 따른 채널-특이적 마이크로-광학 요소들을 갖는 송신 모듈의 예를 도시한다.
도 24a 및 도 24b는 센서 어레이를 사용하는 스캐닝 시스템에서의 포인팅 오류에 대한 포텐셜을 도시하는 단순화된 개념도이다.
도 25는 하나 이상의 실시예들에 따른 벌크 광학 모듈에 대한 초점 길이 왜곡 특성을 도시하는 단순화된 광학 도면이다.
도 26은 스캐닝 시스템들의 일부 실시예들에서 정량화되고 제한될 수 있는, 픽셀 내(intrapixel) 포인팅 오류의 일 예를 도시한다.
도 27 및 도 28은 하나 이상의 실시예들에 따른 벌크 광학 모듈에서의 배럴 왜곡 및 핀쿠션 왜곡을 보상하기 위한 센서 채널 위치설정의 예들을 도시한다.
도 29는 본 발명의 일 실시예에 따른 센서 어레이를 이용한 래스터 스캔의 예를 도시한다.
도 30은 핀쿠션 왜곡을 나타내는 벌크 광학계를 갖는 어레이를 사용하는 래스터-스캐닝으로부터 초래될 수 있는 불균일한 샘플링 패턴을 도시한다.
도 31a 및 도 31b는 하나 이상의 실시예들에 따른 회전 이미징/LIDAR 시스템의 예를 도시하며, 도 31a는 단순화된 평면도이고, 도 31b는 단순화된 측면도이다.
도 32는 하나 이상의 실시예들에 따른 회전 이미징/LIDAR 시스템의 블록도를 도시한다.
도 33a 및 도 33b는 하나 이상의 실시예들에 따른 센서 어레이를 이용한 하이퍼스펙트럼 이미징 동작의 예를 도시한다.
도 34는 일부 실시예들에 따른 센서 어레이의 단순화된 정면도이다.
도 35는 일부 실시예들에 따른 공간적으로 인코딩된 서브픽셀 개구들을 갖는 4개의 주변광 센서 채널들의 세트를 도시한다.
도 36은 일부 실시예들에 따른 다수의 집적 레지스터들을 갖는 판독 데이터 경로의 단순화된 개략도를 도시한다.
도 37은 일부 실시예들에 따른 다수의 집적 레지스터를 사용하는 주변광 측정을 도시한다.
도 38a는 일부 실시예들에 따라 공간적으로 인코딩된 서브픽셀 개구들을 제공하는 주변광 센서 채널들의 세트를 도시한다.
도 38b는 도 38a의 주변광 센서 채널을 사용하는 시간적 세분화의 효과를 도시한다.
도 39는 하나 이상의 실시예들에 따른 정적 이미징/LIDAR 시스템의 예를 도시한다.
도 40은 하나 이상의 실시예들에 따른 정적 이미징/LIDAR 시스템들의 예시적인 자동차 응용예를 도시한다.
도 41은 하나 이상의 실시예들에 따른 정적 이미징/LIDAR 시스템들의 다른 예시적인 자동차 응용예를 도시한다.
도 42는 하나 이상의 실시예들에 따른 확장된 시야를 갖는 정적 이미징/LIDAR 시스템의 예를 도시한다.
도 43은 하나 이상의 실시예들에 따른 정적 이미징/LIDAR 시스템의 블록도를 도시한다.
도 44는 하나 이상의 실시예들에 따른 다중 스펙트럼 레인징/이미징 센서 어레이를 사용하여 획득될 수 있는 하이퍼스펙트럼 이미지들의 예를 도시한다.
도 45는 안에 포함된 재료들을 식별하기 위해 주석이 달린 이미지의 예를 도시한다.
1. 다중 스펙트럼 센서 어레이
본원에 사용되는 바와 같이, 다중 스펙트럼 센서 어레이는 센서들의 어레이를 지칭하며, 각각의 센서들은 상이한 파장에서 시야의 일부분(픽셀)을 이미징하도록 구성된다. 이미지에 대한 다중 스펙트럼 픽셀을 제공하기 위해 동일한 픽셀을 이미징하는 상이한 센서들로부터의 데이터가 조합될 수 있다. 다중 스펙트럼 센서 어레이들의 예들이 이제 설명될 것이다. 이러한 예들은 다중 스펙트럼 센서 어레이들의 구성과 관련된 다양한 원리들 및 개념들을 예시하고 구체화한다. 다중 스펙트럼 센서 어레이의 많은 다른 구현예들이 가능하다는 것이 분명해질 것이고, 제공되는 예들은 제한하기 위한 것이 아니다.
1.1. 센서 채널 예
본원에 기술된 다중 스펙트럼 센서 어레이들의 예들은, 주문형 집적 회로(ASIC)와 같은 모놀리식 반도체 디바이스 상에 형성되거나 배열된 센서 채널들로부터 구성된 어레이들을 포함한다. 도 1a는 다중 스펙트럼 센서 어레이의 일부 실시예들에서 사용될 수 있는 단일 마이크로-광학 센서 채널(100)의 단면도를 도시한다. 센서 채널(100)은 광범위한 파장들을 잠재적으로 포함하는 입력 광의 원추(cone)를 수용하고, (특정 채널에 따라 선택된 서브세트를 갖는) 선택된 서브세트의 파장을 제외한 모든 파장들을 필터링하며, 광 센서(152)(종종 "픽셀"로 지칭됨)로 하여금 선택된 파장들의 서브세트 내의 광자만을 오로지 또는 실질적으로 오로지 검출하도록 허용한다. 본 발명의 실시예들은 센서 채널들에 대한 임의의 특정 구성으로 제한되지 않으며, 센서 채널(100)은 센서 어레이(200)에서 구현될 수 있는 센서 채널의 단지 하나의 예이다.
일부 실시예들에서, 센서 채널(100)은 광학적으로 투명한 개구(112) 및 광학적으로 투명하지 않은 정지 영역(114)을 포함하는 입력 개구층(110)을 포함한다. 본원에 사용되는 바와 같이, 용어 "광학적으로 투명한"은 대부분의 또는 모든 입사광이 통과할 수 있게 하는 물질을 지칭한다. 본원에 사용되는 바와 같이, 용어 "광학적으로 불투명한"은 광이, 예를 들어 반사 또는 흡수 표면을 통과하는 것을 거의 또는 전혀 허용하지 않는 물질을 지칭한다. 개구(112)는 이미징 광학계의 초점 면에 배치될 때 좁은 시야를 정의하기 위한 형상 및 크기를 가지며, 그 예들은 이하에서 설명된다. 개구층(110)은 입력 한계 광선들(120)에 의해 표시된 바와 같이 입력 광 원추를 수용하도록 구성된다. 하기에 설명되는 다중 스펙트럼 센서 어레이에서, 개구층(110)은 광학적으로 투명한 개구들의 어레이와, 광학적으로 투명한 기판과 같은 단일 모놀리식 부분 위에 형성된 광학적으로 불투명한 정지 영역들을 포함할 수 있다. 일부 실시예들에서, 개구층(110)은 정지 영역(114)을 형성하는 광학적으로 불투명한 물질로 형성될 수 있고, 개구(112)는 층(110) 내의 구멍 또는 개구일 수 있다.
일부 실시예들에서, 센서 채널(100)은 초점 길이를 특징으로 하는 시준 렌즈(132)를 포함하는 광학 렌즈 층(130)을 포함한다. 시준 렌즈(132)는 개구(112)의 평면 및 그의 초점 길이만큼의 정지 영역(114)으로부터 오프셋되고 개구(112)와 축방향으로 정렬될 수 있다(즉, 시준 렌즈의 광학 축은 개구의 중심과 정렬된다). 이런 식으로 시준 렌즈(132)는 광선이 시준 렌즈(132)의 광학 축에 근사적으로 평행하게 이동하도록 개구(112)에 의해 통과된 광선을 시준(collimate)하도록 구성될 수 있다. 광학 렌즈 층(130)은 센서 어레이 내의 근접한 센서 채널들(100) 사이의 크로스토크를 감소시키기 위해, 개구들, 광학적으로 불투명한 영역들 및 튜브 구조들을 선택적으로 포함할 수 있다.
일부 실시예들에서, 센서 채널(100)은 광학 필터(142)를 포함하는 광학 필터 층(140)을 포함한다. 일부 실시예들에서, 광학 필터 층(140)은 광학 렌즈 층(130)의 검출기 측(개구 측에 반대됨) 상에 배치된다. 광학 필터 층(140)은 특정 동작 파장 및 통과대역에서 수직 입사 광자를 통과시키도록 구성될 수 있다. 광학 필터 층(140)은 임의의 수의 광학 필터(142)를 포함할 수 있다. 센서 채널(100)의 특정 인스턴스 내의 광학 필터(들)는, 예를 들어, 후술하는 바와 같이, 센서 채널(100)의 특정한 인스턴스의 의도된 사용에 기초하여 선택될 수 있다. 광학 필터 층(140)은 크로스토크를 감소시키기 위해 선택적으로 개구들, 광학적으로 불투명한 영역들 및 튜브 구조들을 포함할 수 있다.
일부 실시예들에서, 센서 채널(100)은 광학 필터 층(140) 후방에 배치된 하나 이상의 개별 광 센서(152)를 포함하는 광 센서 층(150)을 포함한다. 각각의 광 센서(152)는, 예를 들어, 하나 이상의 표준 광다이오드, 애벌란시 광다이오드(APD: avalanche photodiode), 단일-광자 애벌란시 다이오드(SPAD: single-photon avalanche diode), 공진 캐비티 광다이오드(RCP: Resonant Cavity Photodiode), 광학 나노안테나, 마이크로볼로미터(microbolometer), 또는 다른 적절한 광검출기로 제조된 검출기 활성 영역을 이용하여 광자를 검출할 수 있는 광 센서일 수 있다. 광 센서(152)는 하나의 큰 광자 검출 영역과 비교하여 종종 더 높은 다이내믹 레인지, 더 빠른 응답 시간, 또는 다른 이로운 특성을 갖는 단일 센서로서 작용하도록 함께 협력하는, 여러 개의 광자 검출기 영역들(예를 들어, 각각 상이한 SPAD)로 구성될 수 있다. 임의의 개수의 센서 채널들에 대한 광 센서들(152)에 더하여, 광 센서 층(150)은 검출 효율성을 향상시키고 이웃하는 센서 채널들과의 크로스토크를 감소시키기 위해 선택적인 구조들을 포함할 수 있다. 광 센서 층(150)은 확산기, 수렴 렌즈, 개구, 광학적으로 불투명한 튜브 스페이서 구조물, 광학적으로 불투명한 원추형 스페이서 구조물 등을 선택적으로 포함할 수 있다.
미광(stray light)은 광학 표면의 거칠기(roughness), 투명한 매질의 결함, 후방 반사 등에 의해 야기될 수 있고, 센서 채널(100) 내부 또는 센서 채널(100) 외부의 많은 특징에서 발생될 수 있다. 미광은 시준 렌즈(132)의 광학 축에 평행하지 않은 경로를 따라 광학 필터 층(140)을 통해 지향될 수 있고, 개구층(110)과 시준 렌즈(132) 사이를 반사하며, 일반적으로 많은 반사 및 굴절을 포함하는 임의의 다른 경로 또는 궤적을 취할 수 있다. 다수의 수신기 채널들이 서로 인접하여 배열되면, 하나의 수신기 채널 내의 미광은 다른 채널 내의 광 센서에 의해 흡수될 수 있으며, 그에 의해, 수신된 광자들에 관한 타이밍, 위상, 강도, 또는 다른 정보를 오염시킬 수 있다. 따라서, 센서 채널(100)은 또한, 크로스토크를 감소시키고 수신기 채널들 사이에서 신호를 증가시키기 위한 구조물들을 특징으로 할 수 있다. 이러한 구조물들 및 다른 적절한 수신기 채널들의 예는 2018년 5월 14일에 출원된 미국 특허출원 15/979,295(발명의 명칭: Micro-optics for Imaging Module with Multiple Converging Lens per Channel)에 기재되어 있으며, 그 개시내용은 모든 목적을 위해 그 전체가 참고로 포함된다.
센서 채널(100)의 구성요소 및 배열은 원하는 대로 수정될 수 있다. 예를 들어, 도 1b는 다중 스펙트럼 센서 어레이의 일부 실시예들에서 사용될 수 있는 단일 마이크로-광학 센서 채널(100')의 단면을 도시한다. 마이크로-광학 센서 채널(100')은 일반적으로 도 1a의 마이크로-광학 센서 채널(100)과 유사하고, 부분들은 대응하는 번호들로 주어졌다. 이 예에서, 렌즈 요소(132')는 도 1a에 도시된 렌즈(132)와 상이한 구성을 가지며, 평면형 표면은 개구를 향해 배향되고, 볼록 표면은 광학 필터 층(140)을 향해 배향된다. 렌즈 요소(132)와 유사하게, 렌즈 요소(132')는 입사 광을 시준하고, 주변 광선(120)에 의해 표시되는 바와 같이 시준된 광을 광학 필터 층(140)으로 지향시킨다. 다른 변형이 또한 가능함을 이해해야 한다. 예를 들어, 광학 렌즈 층(130)은 렌즈 요소에 부가하여 또는 렌즈 요소 대신에 광 가이드를 포함할 수 있으며, 광학 필터는 광학 렌즈 층(130)의 개구 측 상에 배치될 수 있다. 다른 예로서, 센서 채널은 임의의 마이크로-광학 요소를 포함할 필요가 있으며, 위에 광학 필터가 배치된 광 센서(또는 광 센서들의 그룹)만큼 단순할 수 있다. 일부 경우에, 광학 필터는 (예를 들어, 후술되는 편광 채널의 경우에) 광 센서의 금속 층 내에 제조될 수 있다. 대안적인 센서 채널 구성의 추가적인 예들이 이하 도시되어 있다. 또한, 동일한 센서 어레이 내의 상이한 센서 채널들이 상이한 구성들을 가질 수 있음을 이해해야 한다.
1.2. 예시적인 다중 스펙트럼 센서 어레이
일부 실시예들에서, 다중 스펙트럼 센서 어레이는 공통 기판 상에 제조되는 정렬된 센서 채널들의 그룹을 포함한다. 상이한 파장 또는 파장 범위(본원에서 "센서 유형"이라고도 함)로 동조된 센서 채널은 기판 상의 상이한 위치에 배열될 수 있으며, 이러한 위치는 시야의 주어진 부분이 상이한 센서 채널에 의해 동시에 또는 상이한 시간에 관찰될 수 있도록 선택된다. 많은 특수한 배열이 가능하고, 이제 그 예들이 설명된다.
1.2.1. 행 기반 다중 스펙트럼 센서 어레이
도 2는 본 발명의 일 실시예에 따른 센서 어레이(200)의 단순화된 정면도이다. 센서 어레이(200)는 다수의 LIDAR 센서 채널들(202)을 포함할 수 있고, 이 예는 16개의 LIDAR 센서 채널들(202)을 나타내지만, 임의의 수의 LIDAR 센서 채널들(202)이 포함될 수 있다. 이 예에서, LIDAR 센서 채널(202)은 스태거 방식으로 배열되지만, 이는 필수적이지 않으며, 일부 실시예들에서, LIDAR 센서 채널들(202)은 하나의 열로 배열될 수 있다(이 예에서, 열은 도 2의 좌측에 도시된 z축에 평행하다).
이 예에서, 각각의 LIDAR 센서(202)는 센서 어레이(200)의 "행(204)"과 연관된다. ("행" 이라는 용어는 요소의 선형 또는 근사적으로 선형인 배열을 나타내는 데 사용되고, 도 2에서 행은 점선으로 표시된다.) LIDAR 센서(202)에 추가하여, 센서 어레이(200)의 각각의 행은 하나 이상의 주변광 센서 채널(206)을 포함한다. 이 예에서, 주변광 센서 채널들(206R)은 적색 광을 검출하고, 주변광 센서 채널들(206G)은 녹색 광을 검출하며, 주변광 센서 채널들(206B)은 청색 광을 검출하지만, 임의의 수 및 주변광 센서 채널들의 조합이 사용될 수 있다. 추가적인 예들은 이하에 설명된다. 각각의 행은 다중 스펙트럼 픽셀을 생성하기 위한 센서들의 완전한 세트를 포함할 수 있고, 센서 어레이(200)와 같은 센서 어레이들은 본원에서 "행-기반" 또는 "1D" 센서 어레이들로 지칭된다.
도 3은 도 2의 센서 어레이(200)의 행(204)의 단순화된 측단면도를 도시한다. 센서 어레이(200)의 각각의 센서 채널(206R/G/B, 202)은 전술한 센서 채널(100)의 개별적인 인스턴스로서 구현될 수 있다. 일부 실시예들에서, 상이한 센서 채널들(206R/G/B, 202)은 상이한 광학 필터들을 갖는 점에서 상이하다. 예를 들어, LIDAR 센서 채널(202)에 대한 광학 필터(342L)는 좁은 통과대역을 갖는 LIDAR 신호 파장에서 광을 통과시키기 위해 예를 들어, 브래그 반사체 유형 필터 등을 포함할 수 있다. 주어진 주변광 센서 채널에 대한 광학 필터는 스펙트럼의 주어진 영역 내에서 광을 통과시키고 대역통과 영역 외부의 광을 차단하는, 대역통과 필터를 포함할 수 있다. 예를 들어, 적색 광 센서 채널(206R)의 경우, 광학 필터(342R)는 스펙트럼의 적색 영역(예를 들어, 약 620 nm 내지 약 750 nm의 파장)의 파장을 갖는 광을 통과시킬 수 있고, 녹색 광 센서 채널(206G)의 경우, 광학 필터(342G)는 녹색 영역(예를 들어, 약 495 nm 내지 약 570 nm의 파장)의 파장을 갖는 광을 통과시킬 수 있으며, 청색-광 센서 채널(206B)의 경우, 광학 필터(342B)는 청색 영역(예를 들어, 약 450 nm 내지 약 495 nm의 파장)의 파장을 갖는 광을 통과시킬 수 있다. 통상의 기술자는, 주어진 색상에 대한 특정 대역통과 필터가 원하는 대로 선택될 수 있으며, 상이한 실시예들은 자외선, 근적외선(NIR: near infrared), 단파 적외선(SWIR: shortwave infrared), 중간파 적외선(MWIR: midwave infrared), 또는 장파 적외선(LWIR: longwave infrared, 즉, 열 이미징)과 같은 비-가시 광 파장들을 포함하는 임의의 원하는 범위의 광 파장들에 "동조된"(적절한 광학 필터들의 적용에 의해) 센서 채널들을 포함할 수 있고, 주어진 센서 어레이 내의 상이한 유형들의 센서 채널들과 연관된 상이한 파장 범위들이 중첩될 수 있거나 중첩되지 않을 수 있다는 것을 이해할 것이다. 본원에 기술된 종류의 광학 시스템은, 광학 요소가 동작 파장에서 기능하도록 선택되고 광 센서가 동일한 파장에서 전자기 에너지를 감지할 수 있는 경우, 300 nm 내지 20 μm의 파장 범위에서 동작할 수 있다. 이러한 범위의 모든 파장에 적합한 재료 및 센서는 당업계에 공지되어 있고, 광학 원리(광선 광학, 굴절 등)도 마찬가지이다. 다른 주변광 센서 채널들은 광의 다른 특성들을 검출하도록 동조될 수 있으며, 예들은 이하에서 설명된다.
입력 개구층(310)은 도 1a(또는 도 1b)의 입력 개구층(110)에 대응할 수 있고, 단일 입력 개구층(310)은 이들 개구가 동일한 평면 내에 있도록 센서 어레이(200)의 각각의 센서 채널(206R/G/B, 202)에 대해 개구(312R/G/B, 312L)를 제공할 수 있다. 일부 실시예들에서, 개구층(310)은 두께(d)를 가질 수 있고, 개구(312R/G/B/L)는 개구층(310)의 출구 표면(360)에서, 출구 개구 폭이, 예를 들어, 각각의 센서 채널(362R/G/B/L로 도시됨)만큼 넓은, 개구보다 더 넓을 수 있도록, 테이퍼형(tapered) 개구를 갖도록 형성될 수 있다. 대안적으로, 테이퍼의 방향은 개구가 입력 측에서 가장 넓고 센서 채널 쪽으로 좁아지도록 역전될 수 있다. 개구는 각각의 채널의 주변 광선에 의해 정의되는 광선 원추를 따를 수 있고, 그에 의해 채널 광학계(332)의 개구수(numeric aperture)에 매칭되는 채널에 대한 개구수 및 센서 어레이 상으로 광을 지향시키는 벌크 광학 요소(예를 들어, 이하에 설명됨)를 정의한다. 개구층(310)의 특정 두께 및 구조는 원하는 대로 변화될 수 있다.
일부 실시예들에서, 채널-특이적 보상 마이크로-광학 요소(370R, 370G, 및 370B)는 입력 개구(312R/G/B)의 전방에 직접 배치될 수 있다. 이하 설명되는 바와 같이, 그러한 채널-특이적 마이크로-광학 요소는, 예를 들어, 시스템의 벌크 광학계에서의 색수차를 보상함으로써 개선된 광 수집 효율을 제공할 수 있다.
일부 실시예들에서, 센서 어레이(200)는 예를 들어, CMOS 기술을 사용하여 단일 기판 상에 모놀리식 디바이스의 일부로서 제조될 수 있다. 모놀리식 디바이스는 센서 어레이(200) 내의 개별적인 광 센서들(152)(또는 광 센서들(152)의 그룹들)로부터 미가공 신호들을 처리하기 위한 프로세서 및 메모리(도 2 및 도 3에 도시되지 않음)와 함께, 광 센서들(152)의 어레이를 포함할 수 있다. 센서 어레이(200), 프로세서 및 메모리를 포함하는 모놀리식 디바이스는 전용 ASIC으로 제조될 수 있다. 일부 실시예들에서, 센서 어레이(200)는 3D적층 기술을 이용하여 제조될 수 있고, 2개 이상의 모놀리식 디바이스들을 포함할 수 있으며, 각각은 단일 기판 상에 제조되고 그들 사이에 놓이는 전기적 연결부들이 적층된다. 상부 모놀리식 디바이스는 광 센서들(152)의 어레이를 포함할 수 있고, 최적의 광 감지를 위해 동조될 수 있는 반면, 하부 기판은 프로세서 및 메모리를 포함할 수 있고 디지털 로직에 대해 최적화될 수 있다. 일부 실시예들에서, 센서 어레이(200)는 다수의 모놀리식 디바이스들로 분할될 수 있으며, 각각은 광의 상이한 파장(또는 다수의 상이한 파장들)을 감지하기 위해 최적화되거나, 깊이 감지 대 주변광 이미징에 대해 최적화될 수 있으며, 모놀리식 디바이스들은 도 3에 도시된 센서 어레이의 상이한 채널들과 나란히 배열되고, 연관될 수 있다. 일부 실시예들에서, 센서 어레이(200)는 또한 모놀리식 구조물의 일부로서 마이크로-광학 구성요소들(예를 들어, 마이크로-광학(332R/G/B/L) 및/또는 채널-특이적 보상 마이크로-광학 요소들(370R/G/B))을 포함할 수 있다. 이러한 예들에서, 마이크로-광학 구성요소들은 센서 어레이(200)를 갖는 동일한 ASIC상에 형성되거나, 개별적인 웨이퍼 기판들 상에 제조되고, 웨이퍼 레벨에서 센서 어레이 ASIC에 본딩되어, 이들이 센서 채널의 각각의 층에 대해 별개의 기판 층들을 갖는 모놀리식 구조의 일부가 되게 할 수 있다. 예를 들어, 보상 마이크로-광학층, 개구층, 시준 렌즈 층, 광학 필터 층 및 광검출기 층은 다이싱 전에 웨이퍼 레벨에서 다수의 ASIC에 적층되고 본딩될 수 있다. 개구층은 투명 기판의 상부에 불투명 기판을 배치함으로써 또는 투명 기판을 불투명 필름으로 코팅함으로써 형성될 수 있다. 이러한 실시예에서, 다이싱 단계는 다수의 ASIC을 형성하며, 그 각각은 자신의 마이크로-광학 구조가 그에 직접 본딩된다. 다른 예로서, 마이크로-광학 구성요소들은, ASIC이 다이싱 프로세스를 통해 더 큰 웨이퍼로부터 분리된 후에, ASIC에 직접적으로 본딩될 수 있는 별개의 모놀리식 구조로서 형성될 수 있다. 이런 식으로, ASIC 및 마이크로-광학 구조는 함께 본딩되어 단일의 모놀리식 구조를 형성할 수 있다. 또 다른 실시예들에서, 센서 어레이(200)의 하나 이상의 구성요소들은 모놀리식 구조의 외부에 있을 수 있다. 예를 들어, 개구층(310)은 핀-홀(pin-hole)을 갖는 별도의 금속 시트로서 구현될 수 있다.
전술한 예들에서, 3개의 주변광 채널(각각 적색, 녹색 및 청색 광에 대해 동조됨)이 제공된다. 이는 설명을 용이하게 하기 위한 것이며, 본 발명의 실시예들은 임의의 특정 수 또는 주변광 채널들의 조합으로 제한되지 않는다. 일부 실시예들에서, 센서 행은 3개 미만의 주변광 채널을 가질 수 있고, 예를 들어, 센서 행은 "백색광"(예를 들어, 전체 가시광 스펙트럼을 포함하는)을 통과시키는 광학 필터를 갖거나 또는 광학 필터가 없는(이 경우 스펙트럼 선택도는 광 센서의 민감도에 의해 결정됨), 하나의 주변광 채널을 가질 수 있다. 다른 실시예들에서, 센서 행은 3개보다 많은 주변광 채널들을 가질 수 있다. 예를 들어, 도 4는 추가적인 다중 스펙트럼 이미징 성능을 제공하기 위해 각각의 행에서 더 많은 수의 주변광 채널들을 갖는 본 발명의 실시예에 따른 센서 어레이(400)의 단순화된 평면도를 도시한다. 다시, 센서 채널들의 수 및 조합은 예시를 위한 것이다.
센서 어레이(400)는 64개의 LIDAR 센서 채널(402)을 포함한다. 이 예에서, LIDAR 센서 채널(402)은 스태거 그리드(staggered grid)로 배열되지만, 이러한 배열은 필수적이지 않다. 64개의 LIDAR 센서 채널들 중 32개는 주변광 센서들(406)의 연관된 행(404)을 갖지만, 다른 실시예들에서, 모든 LIDAR 센서 채널(404)은 주변광 센서들(406)의 연관된 행을 가질 수 있다. 이 예에서, 각각의 행 내의 주변광 센서들(406)은 각각이 상이한 대역통과 필터에 의해 정의되는 8개의 스펙트럼 컬러 채널들(410), 즉, 2개의 IR-대역 컬러 채널들(412), 4개의 편광 채널들(414), 및 2개의 초-협소(ultra-narrow) 흡수 대역 채널들을 포함한다. 각각의 채널은 도 1a 내지 도 1b를 참조하여 전술한 바와 같은 내부 구조를 가질 수 있고, 센서 어레이(400)는 전술한 기술들 또는 다른 기술들을 사용하여 제조될 수 있다.
스펙트럼 컬러 채널들(410)은 광학 필터(142)로서, 적절한 대역통과 필터들을 사용함으로써 생성될 수 있다. 적색, 녹색 및 청색 채널들에 부가하여, 본 예에서 스펙트럼 컬러 채널들(410)은 주황색, 노란색, 청록색, 남색, 및 보라색 대응하는 파장 범위들로 동조된 채널들을 포함한다. 스펙트럼 채널들의 다른 예들은 적외선, 자외선, 및/또는 백색(예를 들어, 넓은 스펙트럼) 채널들뿐만 아니라, 가시광, 적외선, 또는 자외선 스펙트럼의 임의의 부분에 동조되는 채널들을 포함할 수 있다. 일부 실시예들에서, 각각의 스펙트럼 컬러 채널(410)은 그 광학 특성이 적어도 부분적으로 채널이 동조되는 파장 범위에 기초하는, 보상 채널-특이적 마이크로-광학 요소(도 3의 마이크로 광학 요소(370R/G/B)와 유사함)를 가질 수 있으며, 채널-특이적 마이크로-광학계의 예들이 이하에 기술된다.
IR-대역 컬러 채널들(412)은 스펙트럼의 적외선 부분들에 동조되는 대역통과 필터들을 갖는 추가적인 스펙트럼 컬러 채널들일 수 있다. 일부 실시예들에서, 표유(stray) LIDAR 복사선이 주위 IR과 섞이지(conflated) 않도록 LIDAR 동작 주파수를 회피하는 것이 바람직할 수도 있다. 일부 실시예들에서, 각각의 IR-대역 컬러 채널(412)은 채널이 동조되는 파장 범위에 적어도 부분적으로 기초하는 광학 특성을 갖는 채널-특이적 보상 마이크로-광학 요소를 가질 수 있다.
편광 채널(414)은 광학 대역통과 필터(142) 대신에 또는 그에 부가하여, 격자와 같은 광학 편광 필터를 사용함으로써 생성될 수 있다. 그룹(414)의 각각의 채널의 편광 필터들은 상이한 채널들에 대한 편광 필터들을 상이한 각도로 배향시킴으로써 선형 편광된 광에 대해 상이한 각도로 동조될 수 있다. 일 실시예에서, 4개의 편광 채널(414)은 0도, 90도, 45도, 및 135도의 각각의 배향을 갖는다. 편광 필터는 또한, 원형 및/또는 나선형 편광과 같은 다른 형태의 편광에도 동조될 수 있다. 편광 필터들은 대역통과 필터들과 유사한 방식으로 마이크로-광학 센서 채널(200)의 상이한 표면들에 적용될 수 있거나, 이들은 금속 격자로서 광 센서(들)(152)의 금속 층들 내에 직접 제조될 수 있다. 일부 실시예들에서, 각각의 편광 채널(414)은 채널-특이적 보상 마이크로-광학 요소를 가질 수 있다. 일부 경우에, 예를 들어, 편광 채널(414)이 특정 파장 대역으로 제한되지 않는 경우, 보상 마이크로-광학 요소는 생략될 수 있거나 대역의 중심 파장에 동조될 수 있다.
흡수 대역 채널들(416) 각각은 관심 있는 특정 물질의 특징인 흡수 대역에 대응하는 협대역 광학 필터에 의해 각각 정의될 수 있다. 이 경우에, 흡수 대역 채널 내의 신호의 부재는 (예를 들어, 다른 스펙트럼 컬러 채널로부터의 정보와 함께) 해당 대역의 광을 흡수하는 물질의 존재를 나타내는 것으로 해석될 수 있다. 예를 들어, 일부 응용예에서는, 다른 카테고리의 물체(예를 들어, 자동차, 건물)로부터 잎(예를 들어, 나무, 풀, 다른 식물)을 구별하는 데에 유용할 수 있다. 일반적으로 잎과 관련되는 엽록소는 IR 스펙트럼 내에 다수의 좁은 흡수 대역을 가지며, 흡수 대역 채널은 이들 대역의 일부 또는 전부에 동조될 수 있다. 또 다른 예로서, 많은 가스들은 단파, 중파, 및 장파 IR 영역들에서 흡수 대역들을 가지며, 흡수 대역 채널들은 기체 대기 오염물들을 식별하기 위해 이들 대역들로 동조될 수 있다. 시스템은 또한 물체까지의 거리를 제공하기 때문에, 기체 흡수 검출의 경우에, 이러한 거리 정보는 흡수 측정이 이루어진 대기를 통한 거리를 계산하는 데에 사용될 수 있고, 이는 오염물질의 검출 및/또는 농도에 대한 신뢰 수준을 결정하는 데에 도움이 될 수 있다. 다른 채널들과 마찬가지로, 일부 실시예들에서, 각각의 흡수 대역 채널(416)은 채널이 동조되는 대역에 적어도 부분적으로 기초하는 광학 특성들을 갖는 채널-특이적 보상 마이크로-광학 요소를 가질 수 있다.
이러한 주변광 센서 채널들의 예들은 예시적이며 수정될 수 있다. 센서 또는 센서 채널에 적용되는 바와 같은, 수식어 주변광은 채널이 동조되는 특성(예를 들어, 파장 범위 및/또는 편광)을 갖는 입사광의 양(강도)을 측정하도록 동작하는 센서들을 일반적으로 지칭하는 것으로 이해되어야 한다. 주변광 센서 채널은 (의도적으로 방출된 광을 검출하도록 설계된 LIDAR 센서 채널과는 대조적으로) 시야의 의도적인 조명에 의존하지 않지만, (예를 들어, 자동차 헤드라이트 또는 카메라 플래시를 사용하는) 의도적인 조명을 배제하지는 않는다.
센서 어레이의 행은 LIDAR 센서 채널(또는 각각 상이한 파장에서 동작하는 다수의 LIDAR 센서 채널들)과 함께, 임의의 원하는 컬러 또는 컬러 범위에 동조된 하나 이상의 가시광 센서 채널들, 하나 이상의 편광 센서 채널들, 하나 이상의 적외광 센서 채널들, 하나 이상의 자외선 센서 채널들, 하나 이상의 흡수 대역 센서 채널들 등을 포함하는 임의의 수 및 조합의 주변광 센서 채널들을 포함할 수 있다. 다른 예로서, 주어진 행 내의 주변광 센서 채널들은 이미지에서 더 높은 다이내믹 레인지를 가능하게 하는, 동일한 파장 범위에 동조되지만 상이한 감쇠 필터들을 갖는 2개 이상의 센서 채널들을 포함할 수 있다.
또한, 센서 어레이 내의 모든 LIDAR 센서 채널이 연관된 행의 주변광 센서 채널들을 갖거나 또는 주변광 센서 채널들의 모든 행이 연관된 LIDAR 센서 채널을 가질 필요는 없다. 아래에서 설명되는 바와 같이, 단일 행 내의 LIDAR 센서 채널 및 일 세트의 주변광 센서 채널들의 배열은 스캐닝 동작 동안에 다양한 파장들 및 깊이 데이터에서 캡처된 이미지들 사이의 정합을 용이하게 할 수 있지만, 상이한 센서 채널들 사이의 오프셋이 고정되고 알려져 있는 한, 다중 스펙트럼 이미지 픽셀들을 생성하기 위해 보간(interpolation)이 사용될 수 있다.
1.2.2. 다중 스펙트럼 센서 채널이 있는 센서 어레이
전술한 실시예들에서, 다중 스펙트럼 픽셀에 대한 각각의 센서 유형은 별개의 센서 채널로서 제공된다. 또한, 단일 센서 채널 내에 다수의 센서 유형들을 조합할 수 있다. 예를 들어, LIDAR 센서 채널은 광 센서로서, 주어진 시간 간격에서 트리거되는 SPAD들의 수에 기반한 깊이 측정을 이용하는 다수의 SPAD들을 이용할 수 있다. 주변광 채널은 단일 SPAD 또는 표준 광다이오드를 사용할 수 있으며, 이는 반도체 디바이스의 더 작은 영역을 점유한다. 따라서, 일부 실시예들은 한 행의 센서들 내의 하나 이상의 "다중 스펙트럼" 센서 채널들을 포함할 수 있다.
도 5는 본 발명의 실시예에 따른 다중 스펙트럼 센서 채널들을 포함하는 센서 어레이(500)의 단순화된 평면도를 도시한다. 센서 어레이(500)는 64개의 LIDAR 센서 채널들(502)을 포함한다. 이 예에서, LIDAR 센서 채널(502)은 스태거 그리드(staggered grid)로 배열되지만, 이러한 배열은 필수적이지 않다. 64개의 LIDAR 센서 채널들 중 32개가 연관된 다중 스펙트럼 센서 채널(506)을 갖지만, 다른 실시예들에서는, 모든 LIDAR 센서 채널(504)이 연관된 다중 스펙트럼 센서 채널(506)을 가질 수 있다. 이 예에서, 삽입도(510)에서 볼 수 있는 바와 같이, 다중 스펙트럼 센서 채널(506)은 적색 컬러 센서(512), 녹색 컬러 센서(514), 청색 컬러 센서(516), 편광 센서들(518, 520, 522), 및 IR-대역 컬러 채널(524)을 포함할 수 있다.
일부 실시예들에서, 각각의 다중 스펙트럼 센서 채널(506)은 도 1a 내지 도 1b를 참조하여 전술한 바와 같은 센서 채널의 단일 인스턴스로서 구현될 수 있다. 광 센서 층(150)은 검출될 광의 각각의 유형에 대해 상이한 광 센서(152)를 포함할 수 있다. 이러한 맥락에서, 각각의 광 센서(152)는, 예를 들어, 용량성 전하 버킷에 연결되고 아날로그-디지털 변환기(ADC)를 사용하여 판독되는 증폭기를 가진 표준 광다이오드일 수 있다. 대안적으로, 각각의 광 센서(152)는 아날로그 프론트 엔드(front end) 및 광자들을 카운팅하기 위한 집적 레지스터(integration register)를 갖는, 하나 이상의 SPAD들일 수 있다. 원하는 특성을 갖는 광을 특정 광 센서(152) 상에 지향시키기 위해 하나 이상의 패터닝된 광학 필터가 광학 필터 층(140)에 사용될 수 있다. 각각의 광 센서(152)는 (적절한 전자 요소를 사용하여) 개별적으로 판독될 수 있으며, 이에 의해 다수의 출력을 제공할 수 있다. 본원에 사용되는 바와 같은 "다중 스펙트럼 센서 채널"은 하나의 광 채널이 그 내부에 배치된 상이한 광 센서들에 대한 개별 데이터 출력들을 제공하는 구성을 지칭하며, 광 센서들 각각은 상이한 특성을 갖는 광을 검출하기 위해(예를 들어, 광학 필터들을 통해) 동조될 수 있다. 알 수 있는 바와 같이, 다중 스펙트럼 센서 채널들의 사용은 주어진 세트의 센서 유형들에 의해 소비되는 영역을 감소시킬 수 있다.
다중 스펙트럼 센서 채널에 포함된 센서 유형들의 특정한 수 및 조합은 도시된 것으로부터 변형될 수 있음을 이해해야 한다. 예를 들어, 다중 스펙트럼 센서 채널은 가시광선, 자외선, 적외선, 편광, 광대역, 및/또는 협대역 센서를 포함하는 전술한 주변광 센서 유형들 중 임의의 것 또는 전부를 포함할 수 있다. 일부 실시예들에서, 센서 어레이(500)와 같은 센서 어레이 내의 행은 (상이한 파장에서 동작하는) 하나 이상의 LIDAR 센서 채널들에 부가하여, 임의의 수의 다중 스펙트럼 센서 채널들을 포함할 수 있으며, 각각은 상이한 센서 유형들의 조합을 포함할 수 있다. 센서 어레이(500)와 같은 센서 어레이 내의 행은 또한, 하나 이상의 다중 스펙트럼 센서 채널들과 조합하여 (도 4에 도시된 임의의 센서 채널들과 같은) 하나 이상의 "단일-유형(single-type)" 주변광 센서 채널들을 포함할 수 있다.
1.2.3. 하이브리드 센서 채널이 있는 센서 어레이
도 5의 센서 어레이(500)에서, LIDAR(레인징) 센서 채널들은 (주변광을 측정하는) 다중 스펙트럼 센서 채널들과 구분된다. 다른 실시예들에서, 센서 어레이는 레인징(예를 들어, LIDAR) 센서들 및 하나 이상의 주변광 센서들 모두를 포함하는 채널들을 포함할 수 있다. 이러한 채널들은 본원에서 "하이브리드 센서 채널들" 또는 "하이브리드 센서 픽셀들"로 지칭된다.
도 6은 본 발명의 일 실시예에 따른 하이브리드 센서 채널들을 포함하는 센서 어레이(600)의 단순화된 평면도를 도시한다. 센서 어레이(600)는 직선 그리드로 배열된 128개의 하이브리드 센서 채널들(602)을 포함한다. 센서 채널들의 개수 및 배열은 바뀔 수 있음을 이해해야 한다.
삽입도(610)에 도시된 바와 같이, 각각의 하이브리드 센서 채널(602)은 일 세트의 LIDAR 광 센서 요소들(650)뿐만 아니라, 특정한 특성을 갖는 광을 검출하기 위해 (예를 들어, 광학 필터들을 이용하여) 동조되는 다수의 주변광 센서들을 포함할 수 있다. 이러한 예에서, 주변광 센서들은 적색 컬러 센서(612), 주황색 컬러 센서(614), 노란색 컬러 센서(616), 녹색 컬러 센서(618), 자외선 컬러 센서(620), 시안색 컬러 센서(622), 보라색 컬러 센서(624), 청색 컬러 센서(626), 편광 센서들(628, 630, 632), 및 IR-대역 컬러 센서(634)를 포함한다. 도시된 예에서, LIDAR 광 센서 요소들(650)은 하이브리드 센서 채널(602)의 채널 영역 내의 중심 영역을 점유하는 반면, 주변광 광 센서들은 중앙 영역을 둘러싸는 채널 영역의 주변 영역에 배열된다. 다른 구성들도 또한 가능하다.
일부 실시예들에서, 다중 스펙트럼 센서 채널들(506)과 유사하게, 각각의 하이브리드 센서 채널(602)은 도 1a 내지 도 1b를 참조하여 전술한 바와 같은 센서 채널의 단일 인스턴스로서 구현될 수 있다. 광 센서 층(150)은 검출될 광의 각각의 유형에 대해 상이한 광 센서(152)(또는 광 센서들(152)의 그룹)를 포함할 수 있다. 원하는 특성을 갖는 광을 특정 광 센서(152)(또는 광 센서들(152)의 그룹) 상으로 지향시키기 위해 하나 이상의 패터닝된 광학 필터가 광학 필터 층(140)에서 사용될 수 있다. 각각의 광 센서(152)(또는 광 센서들(152)의 그룹)는 적절한 전자 요소들을 사용하여 개별적으로 판독될 수 있으며, 그에 의해 다수의 출력들을 제공할 수 있다.
"하이브리드 센서 채널"은 광 강도를 측정하도록 구성된 다른 광 센서들 및 연관된 판독 회로뿐만 아니라 방출/반사된 광의 전파 시간을 결정하도록 구성된 광 센서들 및 연관된 판독 회로를 포함하는 다중 스펙트럼 센서 채널의 특별한 경우로서 이해될 수 있다. 도 7은 연관된 판독 회로를 나타내는 하이브리드 센서 채널(602)의 단순화된 개략도를 도시한다. 이 예에서, 각각의 주변광 광 센서(612 내지 634)는 용량성 전하 버킷(712 내지 734)에 연결된 증폭기를 갖는 표준 광다이오드를 사용하여 구현된다. 용량성 전하 버킷들(712 내지 734)은 각각의 주변광 광 센서(612 내지 634)에 의해 (예를 들어, 셔터 간격 동안) 검출된 광자들의 카운트를 결정할 수 있는 멀티채널 카운터 회로(750)에 각각 연결된다.
이 예에서 LIDAR 광 센서 요소(650)는 타이밍 회로(760)에 연결된 SPAD를 사용하여 구현될 수 있으며, 타이밍 회로는 광자의 도달 시간을 타이밍 제어할 수 있고 도달 시간을 시간에 따라 광자의 메모리 뱅크에 저장할 수 있으며 이에 의해 깊이 측정을 가능하게 할 수 있다.
전술한 바와 같이, 각각의 하이브리드 센서 채널(602)은 도 1a의 센서 채널(100)(또는 도 1b의 센서 채널(100'))의 단일 인스턴스로서 구현될 수 있다. 도 8은 채널 구조를 나타내는 센서 어레이(600)의 일부에 대한 단순화된 개략 측면도이다. 각각의 하이브리드 센서 채널(602)은 개구(812)(개구층(810) 안의), 광학 층(830), 필터 층(840), 및 광 센서 층(850)(명확하게 도시하기 위해서 비스듬하게 도시됨)을 갖는다. 필터 층(840)은 필터 웨이퍼 상에 위치될 수 있거나 또는 적절한 광 센서 요소들의 상부에서 광 센서 ASIC 상에 직접 증착될 수 있는, 패터닝된 필터들(842)(명확하게 도시하기 위해 비스듬하게 도시됨)을 포함할 수 있다.
동작 시, 광(860)은 개구(812)로 지향되고 화살표(862)로 도시된 바와 같이 채널(602)을 통해 전파된다. 패터닝된 필터(842)는 광 센서 층(850)의 개별적인 광 센서(852) 상에 원하는 특성을 갖는 직접적인 광을 지향시킨다. 전술한 바와 같이, 적절한 판독 전자 요소들은 LIDAR 광 센서들로부터 도착 시간 정보뿐만 아니라 컬러 센서, 편광 센서 및/또는 다른 주변광 광 센서들에서의 축적된 광자 카운트들을 추출하는 데에 사용될 수 있다.
하이브리드 센서 채널에 포함된 센서 유형들의 특정 수 및 조합은 도시된 것에서 변경될 수 있음을 이해해야 한다. 예를 들어, 하이브리드 센서 채널은, LIDAR 센서들에 부가하여, 가시광선, 자외선, 적외선, 편광, 광대역, 및/또는 협대역 센서를 포함하는, 전술한 주변광 센서 유형들 중 임의의 것 또는 전부를 포함할 수 있다. 또한, 센서 어레이(600)는 동일한 센서 채널들(602)의 2D 어레이로서 도시되어 있지만, 이것은 필수적이지 않다. 하이브리드 센서 채널들은 도 4의 센서 어레이(400) 또는 도 5의 센서 어레이(500)와 유사하게 다른 센서 유형들을 갖는 행에 또는 1D 어레이에 포함될 수 있다. 센서 채널들의 배열 및 구성은 원하는 대로 변경될 수 있다.
1.2.4. 듀얼 평면 다중 스펙트럼 센서 어레이
전술한 실시예들에서는, 다양한 채널 유형들에 대한 광 센서들이 하나의 평면에 배열되는 것으로 가정된다. 다른 실시예들에서, 상이한 광 센서들은 상이한 평면들에 있을 수 있다.
예를 들어, 도 9는 센서 어레이(900)의 다른 실시예의 일부의 단순화된 측단면도를 도시한다. 센서 어레이(900)는 하나 이상의 LIDAR 채널들(902)을 포함하고, 이들 각각은 도 1a의 센서 채널(100)(또는 도 1b의 센서 채널(100'))의 개별적인 인스턴스일 수 있다. LIDAR 채널(902)은 각각의 LIDAR 채널(902)에 대한 하나 이상의 광 센서(906)를 포함하는 ASIC(904) 상에 제조된다. 개구층(910)은 LIDAR 채널(902) 위에 놓이고, 각각의 LIDAR 채널(902) 내로 광을 지향시키도록 그 내부에 형성된 개구(912)를 갖는다. 이러한 점들에서, 센서 어레이(900)는 전술한 다른 실시예들과 유사할 수 있다.
이 예에서, 개구층(910)은 개구(912)를 방해하지 않는 위치들에서, 그의 상부 표면 내에 또는 위에 광 센서들(916R, 916G, 916B)이 제조되거나 배치되는 제2 ASIC이다. 광 센서(916R/G/B)는 개구(912)와 동일한 평면에 위치되며, 이는 센서 어레이에 대한 벌크 이미징 광학계의 초점면일 수 있다. 컬러 필터들(918R, 918G, 918B) 각각은 상이한 파장 대역(이 예에서 적색, 녹색, 및 청색) 내의 광을 허용하는 대역통과 필터일 수 있고, 광 센서들(916R, 916B, 916G) 상에 배치된다. 이러한 배열은 주변광 센서 채널들(920R, 920G, 920B)을 제공한다. 개구층(910)은 와이어 본드(922)에 의해 개략적으로 표시된 바와 같이, ASIC(904)에 위치된 판독 및/또는 제어 회로(예를 들어, 프로세서 및 메모리)에 전기적으로 연결될 수 있다. (와이어-본딩이 필수적이지는 않음을 이해해야 하며, ASIC들 사이에 전기적 연결을 확립하기 위한 다른 기술들이 대체될 수 있거나, 또는 2개의 ASIC들이 각각 다른 디바이스 상에 위치된 판독 및 제어 회로에 연결될 수 있다.)
도 10은 센서 어레이(900)의 단순화된 평면도를 도시한다. 센서 어레이(900)는 다중 스펙트럼 픽셀들(1020)의 2D 어레이를 제공한다. 센서 어레이(900)의 크기 및 차원은 원하는 대로 변경될 수 있다. 삽입도(1010)에 도시된 바와 같이, 각각의 다중 스펙트럼 픽셀(1020)은 LIDAR 센서 채널(902) 및 하나 이상의 주변광 센서 채널들(920)을 포함할 수 있다. 주변광 센서 채널들(920)은 (도 9에 도시된 바와 같이) LIDAR 센서 채널(902)에 대한 개구 위에 놓여 개구를 제공하는 ASIC으로 제조될 수 있다. 전술한 특정 채널 유형들(예를 들어, 적외선, 가시광선, 및/또는 자외선 채널들을 포함한 컬러 채널들, 편광 채널들, 협대역 흡수 채널들 등) 중 임의의 것을 포함하는 주변광 센서 채널들(920)의 임의의 수 및 조합이 제공될 수 있다.
일부 실시예들에서, 개구층 ASIC(910)은 LIDAR 센서 채널들(902)을 지원하는 "베이스" ASIC(904)보다 상당히 더 높은 밀도의 광 센서들(또는 채널들)(920)을 가질 수 있다. 예를 들어, LIDAR 센서 채널들은 100 μm 내지 400 μm의 간격, 및 직경이 30 μm인 개구들을 가질 수 있다. 개구층 ASIC(910) 내의 센서 채널들(광 센서들 또는 픽셀들)은 상당히 더 작을 수 있고(예를 들어, 1 μm 내지 10 μm 크기 범위에 있음), 이는 각각의 하이브리드 픽셀(1020)이 다수의 주변광 픽셀들을 포함할 수 있음을 의미한다. 이는 LIDAR 채널들에서보다 주변광 이미징 채널들에서 더 높은 해상도를 갖는 다중 스펙트럼 픽셀 및/또는 다중 스펙트럼 픽셀마다 더 많은 수의 센서 유형들을 허용할 수 있다.
개구층 ASIC(910)을 이용하여 얻어진 다중 스펙트럼 이미지들은 개구들(912) 또는 LIDAR 채널들(902)의 위치들에 대응하는 갭을 포함할 수 있다. 일부 실시예들에서, 갭들을 채우기 위해 보간(interpolation)이 사용될 수 있다.
1.2.5. 인코딩된 스펙트럼-선택적 통과대역을 갖는 다중 스펙트럼 픽셀
전술한 예들에서, 상이한 주변광 센서 채널들은 상이한 통과대역들을 갖는 광학 필터들을 포함할 수 있다. 일부 실시예들에서, 상이한 주변광 센서 채널들에 대한 통과대역들은 상이한 주변광 센서 채널들이 광 스펙트럼의 상이한 부분들(적외선, 가시, 및/또는 자외선을 포함함)을 샘플링하도록, 일반적으로 중첩되지 않을 수 있다. 도 11은, 일부 실시예들에서 예를 들어, 도 2의 다중 스펙트럼 센서 어레이에서, 주변광 강도 측정을 제공하는 데에 사용될 수 있는 3개의 필터들에 대한 비-중첩 통과대역들의 예를 도시한다. 이 예에서, "청색"(B) 필터(1102)는 약 425 nm 내지 약 515 nm의 통과대역을 갖고, "녹색"(G) 필터(1104)는 약 515 nm 내지 약 610 nm의 통과대역을 갖고, "적색"(R) 필터(1106)는 약 610 nm 내지 약 700 nm의 통과대역을 갖는다. 이들 범위 및 경계는 예시적이며 변경될 수 있음을 이해해야 한다. 일부 실시예들에서, 상이한 필터들의 통과대역들은 일부 중첩을 가질 수 있다. 예를 들어, B 필터(1102)는 약 410 nm 내지 약 510 nm의 통과대역을 가질 수 있는 반면, G 필터(1104)는 약 490 nm 내지 약 620 nm의 통과대역을 갖고, R 필터(1106)는 약 600 nm 내지 약 700 nm의 통과대역을 가질 수 있다. 다른 예로서, B 필터(1102)는 약 410 nm 내지 약 440 nm의 통과대역을 가질 수 있는 반면, G 필터(1104)는 약 490 nm 내지 약 620 nm의 통과대역을 갖고, R 필터(1106)는 약 600 nm 내지 약 700 nm의 통과대역을 가질 수 있다. 다른 변형이 또한 가능하다. 도 11에 도시된 필터 세트는 다중 스펙트럼 픽셀에 대한 "R", "G" 및 "B" 스펙트럼 강도 측정들을 제공할 수 있다. (명칭 R, G, 및 B는 여기에서 적색, 녹색 및 청색을 나타내는 것으로 사용되지만, 이러한 명칭들을 갖는 필터들의 통과대역들은 임의의 특정 색과 연관된 통과대역들에 대응할 필요가 없다.)
일부 실시예들에서, 상이한 주변광 센서 채널들은 스펙트럼 정보를 인코딩하기 위해 선택되는 중첩된 통과대역들을 가질 수 있다. 도 12는 일부 실시예들에서 인코딩된 스펙트럼 정보를 갖는 주변광 강도 측정을 제공하기 위해 사용될 수 있는 3개의 필터들에 대한 중첩 통과대역들의 예를 도시한다. 이러한 예에서, 제1 필터(1202)는 대략 전체적인 가시광 스펙트럼(약 425 nm 내지 약 700 nm의 파장)을 포함하는 "W" 통과대역을 갖는다. 제2 필터(1204)는 약 425 nm 내지 약 610 nm의 "Cb" 통과대역을 가지며, 제3 필터(1204)는 약 515 nm 내지 약 700 nm의 "Cr" 통과대역을 갖는다. 도 12에 도시된 통과대역들을 갖는 주변광 센서 채널들로부터의 강도 측정들은 도 11의 필터 세트로부터의 스펙트럼 측정들에 대응하는 R, G, 및 B 스펙트럼 정보를 추출하는 데에 사용될 수 있다. 예를 들어, 필터들(1202, 1204, 및 1206)로부터의 강도 측정들이 각각 W, Cb, 및 Cr로 표시되는 경우, 도 11에서 식별된 R, G, 및 B 대역들에서의 강도는 다음과 같이 계산될 수 있다.
이들 계산들은, 예를 들어, 센서 어레이와 동일한 ASIC 상에 제조될 수 있는 통상적인 설계의 산술 논리 회로들을 이용하여 구현될 수 있다.
이런 식으로, 도 11의 비-중첩 필터 세트 또는 도 12의 스펙트럼-인코딩된 필터 세트는 동등한 스펙트럼 정보를 제공할 수 있다. 도 12의 인코딩 방식은 각각의 채널이 더 많은 광을 수용하게 하며, 이는 측정 정확도를 향상시킬 수 있다.
도 12의 필터 세트는 다양한 다중 스펙트럼 센서 어레이들에 포함될 수 있다. 도 13은 일부 실시예들에 따른 센서 어레이(1300)의 단순화된 정면도이다. 센서 어레이(1300)는 도 2의 센서 어레이(200)와 유사할 수 있고, (전술한 바와 같이) LIDAR 센서 채널들(202)을 포함할 수 있으며, 이들 각각은 주변광 센서 채널들(1306a(W 통과대역), 1306b(Cb 통과대역), 및 1306c(Cr 통과대역))을 포함하는 행(1304)과 연관될 수 있으며, 여기서 W, Cb, 및 Cr 통과대역들은 도 12에 도시된 바와 같이 정의된다. 주어진 행(1304)의 주변광 센서 채널들(1306a, 1306b, 1306c)로부터의 센서 데이터는 R, G, 및 B 출력 신호들을 제공하기 위해 식 (1a) 내지 식 (1c)를 구현하는 온-칩 산술 논리 회로(1310)에 제공될 수 있다. 센서 행들(1304)은 예를 들어 도 4를 참조하여 전술한 바와 같이, 다른 유형의 주변광 센서 채널들을 포함할 수 있음을 이해해야 한다.
스펙트럼-인코딩된 통과대역들은 또한, 다중 스펙트럼 센서 채널들 또는 하이브리드 센서 채널들을 갖는 센서 어레이들에서 구현될 수 있다. 도 14a는 일부 실시예들에 따른 다중 스펙트럼 센서 채널(1400)의 단순화된 정면도이다. 다중 스펙트럼 센서 채널(1400)은 (도 12에 도시된 바와 같이) W 통과대역을 갖는 영역들(1402), Cb 통과대역을 갖는 영역들(1404), 및 Cr 통과대역을 갖는 영역들(1406)을 포함하는 패터닝된 광학 필터를 갖는다. 이 예에서는, 해당 영역들이 정사각형이지만, 특정한 필터 기하학적 구조가 필요하지는 않다. 도 5를 참조하여 전술한 바와 같이, 별도의 광 센서(예를 들어, 하나 이상의 SPAD들)가 각각의 영역 뒤에 배치될 수 있다. 도 14a는 각각의 통과대역에 대한 3개의 영역들을 도시하지만, (개별적인 광 센서가 각각의 영역에 대해 제공되는 한) 임의의 수의 영역들이 주어진 통과대역에 대해 제공될 수 있음을 이해해야 한다.
동일한 통과대역과 관련된 모든 광 센서들은 (예를 들어, 광자 카운트들을 나타내는 전자 신호들의 형태로) 주변광 강도 측정들을 동일한 집적 레지스터에 제공할 수 있다. 따라서, 예를 들어, 레지스터(1412)는 영역들(1402) 내의 광 센서들로부터의 광자 카운트들을 축적(또는 집적)할 수 있고, 레지스터(1414)는 영역들(1404) 내의 광 센서들로부터의 광자 카운트들을 축적할 수 있으며, 레지스터(1416)는 영역들(1406) 내의 광 센서들로부터의 광자 카운트들을 축적할 수 있다. 레지스터들(1412, 1414, 및 1416)은 R, G, 및 B 출력 신호들을 식 (1a) 내지 식 (1c)를 구현하는 온-칩 산술 논리 회로(1420)에 대한 입력들로서 축적된 광자 카운트들을 제공할 수 있다. 다중 스펙트럼 센서 채널(1400)은 예를 들어 도 5를 참조하여 전술한 바와 같이, 상이한 유형의 광학 필터를 갖는 다른 영역들을 또한 포함할 수 있음을 이해해야 한다. 또한, 도 14a는 채널 영역 내에서 연속된 영역들을 점유하는 동일한 통과대역을 갖는 광학 필터들을 도시하지만, 이것은 필수적이지는 않다. 예를 들어, 도 14b는 동일한 통과대역을 갖는 영역들(1402, 1404, 1406)이 채널 영역에 걸쳐 분포되어 있는, 측정 정확도를 더 향상시킬 수 있는 대안적인 패터닝된 광학 필터(1400')를 도시한다. 도 14a에 도시된 바와 같이, 동일한 유형의 광학 필터와 관련된 상이한 광 센서들로부터의 강도 측정들(예를 들어, 광자 카운트들)은 동일한 집적 레지스터 내에 축적(또는 통합)될 수 있다.
이러한 필터들을 포함하는 스펙트럼-인코딩된 통과대역들 및 주변광 센서 채널들을 갖는 광학 필터들의 전술한 예들은 예시적이며 제한적이지 않다. 스펙트럼-인코딩된 통과대역들은 1D 어레이들, 2D 어레이들, 다중 스펙트럼 픽셀들을 갖는 어레이들, 및 하이브리드 픽셀들을 갖는 어레이들을 포함하여, 전술한 다중 스펙트럼 센서 어레이들 중 임의의 것에 통합될 수 있다. 본원의 예들은 3개의 컬러 채널들을 인코딩하기 위해 3개의 통과대역들을 사용하지만, 원하는 임의의 밀도(granularity)로 스펙트럼 정보를 인코딩하기 위해, 중첩된 통과대역들을 갖는 임의의 수의 상이한 광학 필터들이 사용될 수 있음이 이해될 것이다. 이러한 인코딩 기술은 광의 스펙트럼 특성으로 제한되지 않는다. 예를 들어, 원하는 임의의 밀도로 편광 정보를 인코딩하기 위해(예를 들어, 비-편광 필터와 조합하여) 편광 필터를 사용하여 유사한 배열이 구현될 수 있다.
전술한 다중 스펙트럼 센서 어레이들은 예시적이며, 많은 변형들 및 수정들이 가능함을 이해해야 한다. 주어진 다중 스펙트럼 센서 어레이는 임의의 조합의 깊이 채널들(예를 들어, LIDAR 센서 채널들 또는 하이브리드 센서 채널들), 주변광 센서 채널들, 다중 스펙트럼 센서 채널들, 및/또는 하이브리드 센서 채널들을 포함할 수 있으며, 이들은 전술한 기술들 또는 다른 기술들 중 임의의 기술을 사용하여 구성될 수 있다. 하나의 예 또는 실시예를 참조하여 설명된 구성요소들은 다른 실시예들에서 사용될 수 있다.
2. 다중 스펙트럼 센서 어레이를 위한 광학계
전술한 다양한 센서 어레이들은 각각의 채널과 연관된 개구를 통과하는 광에 응답하여 동작한다. 일부 실시예들에서, 광학 시스템은 광을 개구 평면 상으로 지향시키고 집중시키도록 제공된다. 다중 스펙트럼 센서 어레이들(예를 들어, 센서 어레이들(200, 400, 500, 600, 및/또는 900))과 관련하여 사용될 수 있는 광학 시스템들 및 광학 요소들의 예들이 이제 설명될 것이다.
본원에 사용되는 바와 같이, 벌크 광학계(bulk optic(s))라는 용어는 초점 면을 갖는 단일 렌즈 및/또는 렌즈 조립체를 지칭하며, 동시에 어레이 내의 모든 마이크로-광학 채널로부터 또는 모든 마이크로-광학 채널로 광을 투과시킨다. 일부 실시예들에서, 벌크 광학계는 상업적으로 구입 가능한 카메라 렌즈 및 현미경 렌즈에 사용되는 것과 같이, 밀리미터 또는 센티미터 이상 정도의 크기(예를 들어, 직경)를 가질 수 있다. 본 개시에서, 벌크 광학계라는 용어는 특정 센서 채널을 위해 제공되는 광학 요소들 또는 광학 요소들의 어레이들을 지칭하는 마이크로-광학계(micro-optics)라는 용어와 대조된다. 일부 실시예들에서, 마이크로-광학계는 단일 센서 채널의 크기에 대응하는 개별 요소 직경들(예를 들어, 수 마이크로미터 내지 수 밀리미터의 크기 또는 더 작은 정도)을 가질 수 있다. 일반적으로, 마이크로-광학계는 방출기들의 어레이 또는 센서 채널들의 어레이의 상이한 방출기들 및/또는 상이한 센서 채널들에 대해 상이하게 광을 변경시킬 수 있는 반면, 벌크 광학계는 전체적인 어레이에 대해 광을 변경시킨다.
2.1. 벌크 광학 모듈
(전술한 임의의 센서 어레이와 같은) 다중 스펙트럼 센서 어레이는 도 15에 도시된 바와 같이 광 레인징/이미징 디바이스(1500)에 통합될 수 있다. 광 레인징/이미징 디바이스(1500)는 광 전송(Tx) 모듈(1510) 및 광 감지(Rx) 모듈(1540)을 포함하며, 이 모듈은 센서 어레이(200)(또는 전술한 임의의 다른 센서 어레이)의 구현을 포함할 수 있다. 광 방출 모듈(1510) 및 광 감지 모듈(1540)에 대한 구성들의 추가적인 예들은 2018년 5월 14일 출원된 미국 특허출원 제15/979,235호(발명의 명칭: Optical Imaging Transmitter with Brightness Enhancement) 및 2018년 5월 14일 출원된 미국 특허출원 제15/979,266호(발명의 명칭: Spinning LIDAR Unit with Micro-optics Aligned behind Stationary Window)에 개시되어 있으며, 이들 각각의 개시내용은 모든 목적을 위해 그 전체가 본원에 참조로 포함된다.
도 15에 도시된 바와 같이, Tx 모듈(1510)은 Tx측 마이크로-광학 패키지(1520) 및 벌크 광학 요소(1530)를 포함할 수 있다. Tx측 마이크로-광학 패키지(1520)는 다수의 광 방출기(1522)를 포함하고, 선택적으로 마이크로-렌즈 층(1524) 및 개구층(1526)을 포함한다. 방출기(1522)는 방출기 채널들의 1차원 또는 2차원 어레이, 예를 들어, 박스 영역에 도시된 채널(1525)로 배열될 수 있다. 방출기 채널들의 각각의 하나는, 협대역 광을 방출할 수 있는 하나 이상의 광 방출기들(1522), 예를 들어, 근적외선(NIR) 수직 공동 반도체 레이저들(VCSEL: vertical cavity semiconductor laser) 등을 가지며, 선택적으로 렌즈 층(1524)으로부터의 마이크로-렌즈 및 개구층(1526)으로부터의 개구를 갖는다.
동작 시에, Tx 모듈(1510)은 예를 들어, 협대역 광의 펄스들, 예를 들어, 10 nm, 2 nm, 1 nm, 0.5 nm, 0.25 nm 이하의 스펙트럼 폭을 갖는 NIR광의 펄스들을 하나 이상의 시야들로 전송함으로써 LIDAR 시스템 주위의 영역 내의 물체들에 대한 활성 조명을 제공한다. Rx 모듈(1540), 특히 LIDAR 센서 채널들(202)은 장면 내의 물체들에 의해 반사되는 방출된 협대역 광의 부분들을 검출한다. 동시에, Rx 모듈(1540)의 각각의 주변광 감지 채널(206R/G/B)은 그의 특정 파장 대역에서 주변광을 검출할 수 있다.
각각의 방출기로부터 방출된 광은 Tx측 마이크로-광학 렌즈 층(1524)의 마이크로-광학 요소 중 하나에 근접함에 따라 발산한다. 마이크로-렌즈 층(1524)으로부터의 마이크로-렌즈는 발산하는 광을 포획하고, 마이크로-광학 요소의 어레이 및 방출기 어레이에 대한 위치에 대응하는 개구의 어레이를 포함한 개구층(1526) 내의 개구와 일치하는 초점면에 이를 반사시킨다. 개구 어레이(1526)는 시스템 내의 크로스토크를 감소시킬 수 있다. 마이크로-렌즈들을 빠져나온 후에, 집속된 광은 다시, Tx측 벌크 이미징 광학 모듈(1530)을 만나는 원추의 형태로 발산한다. 일부 실시예들에서, 마이크로-렌즈 층(1524)과 Tx측 벌크 이미징 광학 모듈(1530) 사이의 거리는 그들의 초점 거리들의 합과 동일하여, 개구 어레이(1526)에서 집속된 광이 Tx측 벌크 이미징 광학 모듈(1530)의 출력에서 시준된 광으로서 나타나고, 각각의 시준된 광선 번들은 Tx측 벌크 이미징 광학 모듈(1530)과 주요 광선 각도가 상이하다. 따라서, 각각의 방출기로부터의 광은 디바이스 전방에서 상이한 시야로 지향된다. 일부 실시예들에서, Tx측 벌크 이미징 광학계(1530)는 렌즈의 이미징 측(방출기 측) 상에서 텔레센트릭(telecentric)하며, 즉, 벌크 이미징 광학계(1530)의 이미지 측 상의 주 광선들은 서로 실질적으로 평행하고 이미지 평면 상의 모든 위치에 대해 이미지 평면(방출기 평면)에 수직한다. 이러한 구성에서, 방출기 어레이는 유리하게는 텔레센트릭 소스로서 동작하며, 즉, 광학계는 방출기 어레이에 의해 생성된 실질적으로 모든 광을 포획하며, 심지어 어레이의 외부 엣지들 상의 방출기들로부터 방출되는 광도 포획한다. 텔레센트릭(telecentric) 설계 없이, 외부 방출기에 의해 포획된 광은 감소될 수 있는데, 그 이유는 렌즈의 비스듬한 광 원추와 일치하는 방출된 광 원추의 일부만이 렌즈에 의해 포획되기 때문이다. Rx 모듈(1540)의 LIDAR 감지 채널들(202)은 Tx측 마이크로-광학 패키지(1520)에 매칭하도록 배열될 수 있고, LIDAR 센서 채널(202)은 각각의 마이크로-광학 방출기 채널(1525)에 대응한다.
Rx 모듈(1540)은 Rx측 벌크 이미징 광학 모듈(1560) 및 센서 어레이(200)를 포함한다. 광선(1505)으로 도시된, 시야 내의 물체들을 반사하는 방출된 광의 부분들은 여러 방향에서 Rx측 벌크 이미징 광학 모듈(1560)에 진입한다. Rx측 벌크 이미징 광학 모듈(1560)은 Rx측 입력 개구층(310)과 일치하는 평면에 광선(1505)을 집속시키는 단일 렌즈 또는 다중-렌즈 그룹을 포함할 수 있으며, 이는 광이 LIDAR 센서 채널들(202)에 진입할 수 있게 한다. 일부 실시예들에서, Rx 모듈(1540)은 각각의 개별 LIDAR 센서 채널(202)의 시야가 각각의 방출기(1522)의 시야와 일치하는, 각각의 방출기(1522)를 위한 LIDAR 센서 채널을 포함한다.
Rx측 벌크 이미징 광학 모듈(1560)은 또한 주변광을 수집할 수 있다. 본원에 사용되는 바와 같이, "주변광(ambient light)"은 환경에서 전파될 수 있고 Tx 모듈(1510)로부터 발생되지 않은 임의의 광선을 지칭한다. 주변광은 환경(예를 들어, 태양, 인공 조명 기구, 교통 신호 등)에 존재하는 임의의 광원으로부터의 직접적인 광뿐만 아니라 환경 내의 물체에 의해 반사되거나 산란된 광(예를 들어, 도로 표지판, 차량, 도로 표면, 나무 등으로부터 반사된 광)을 포함할 수 있다. 주변광은 임의의 방향으로 전파될 수 있고, 광선(1505)과 유사한 방향으로 전파되는 주변광은 Rx측 벌크 이미징 광학 모듈(1560)에 진입하고 이를 통과할 수 있다.
2.2. 채널마다의 보상 마이크로-광학계
일부 실시예들에서, Rx측 벌크 이미징 광학 모듈(1560)은 특정 좁은 파장 대역, 예를 들어, LIDAR 동작 파장을 타겟 평면, 예를 들어, 입력 개구 평면(310) 상에 집중시키도록 최적화된 단색 렌즈(단일 렌즈 또는 렌즈 그룹)로서 설계될 수 있다. Rx측 벌크 이미징 광학 모듈(1560)은 색수차(즉, 파장-의존적인 초점 길이)를 나타낼 수 있다. 이는 주변광 센서 채널들의 수집 효율을 감소시킬 수 있다, 즉, 색수차를 갖는 Rx측 벌크 이미징 광학 모듈(1560)의 구현이 입력 개구 평면(310) 상으로의 LIDAR 동작 파장의 광을 집중시키는 경우, LIDAR 동작 파장 이외의 파장들의 광은 입력 개구층(310)에서 집속되지 않을 것이고, 그 광의 일부는 주변광 센서 채널들(206R/G/B)에 진입하지 못하고 개구 조리개에 의해 차단될 것이다. 또한, 이러한 효과로 인해 손실된 광의 양은 파장-의존적일 것이며, 이는 이미징 데이터의 분석을 복잡하게 할 수 있다. 또한, 개구들(310)이 그들의 파장 대역을 위한 초점면에 있지 않거나, 단색 렌즈가 대역-외 광을 위한 작은 초점 스팟들을 제공할 수 없기 때문에, 이들 채널들의 공간 해상도가 감소될 것이다(시야가 더 크고, 덜 정의될 것, 즉, "흐릿"할 것이다).
따라서, 센서 어레이(200)(또는 본원에 기술된 다른 다중 스펙트럼 센서 어레이들)의 일부 실시예들은 더 효율적으로 광을 포획하기 위해 입력 개구 평면의 전방에 배치될 수 있는 채널-특이적 보상 마이크로-광학계들을 포함한다. 도 16은 입사광의 동작을 예시하기 위한 주석들을 갖는 센서 어레이(200)의 일부의 단순화된 단면도이다. (이 예에서, 개구들의 테이퍼링(tapering)은 도 3에 비해 반전되어, 개구들(312R/G/B/L)이 개구층(310)의 바닥면(360)에 도시되어 있다. 그러나, 개구 평면의 정확한 위치와 무관하게 동일한 원리가 적용된다.)
도 16의 예에서, 점선들은 색수차의 효과를 도시한다. 채널들(206R, 206G, 및 206B) 위의 수렴하는 점선들은 색수차를 갖는 벌크 광학계(예를 들어, 도 15의 Rx측 벌크 이미징 광학 모듈(1560))에 의해 집속된 적색, 녹색 및 청색 광선에 대한 각각의 한계 광선들을 도시한다. 보이는 바와 같이, LIDAR 광선(1620L)은 개구 평면(360)에서 수렴하지만, 보다 짧은 파장의 광(본 실시예에서 가시광)은 파장에 의존하는 거리를 갖는 개구 평면(360)의 전방으로 수렴한다. 따라서, 이 예에서, 적색 광에 대한 초점(1612R)은 입력 개구(312R)의 약간 전방에 있고, 녹색 광에 대한 초점(1612G)은 입력 개구(312G)의 전방에서 멀리 있으며, 청색 광에 대한 초점(1612B)은 입력 개구(312B)의 전방에서 더 멀리 있다. 교정 광학계가 없는 경우, 집속된 적색, 녹색 및 청색 광선(점선)은 개구 평면(360)에 도달하기 전에 발산되어, 개구(312R, 312G, 및 312B)에서의 광 손실 정도를 변화시킬 것이다.
일부 실시예들에서, 이러한 효과를 보정하기 위해 채널-특이적 보상 마이크로-광학계가 사용될 수 있다. 예를 들어, 도 16에 도시된 바와 같이, 이 예에서는 제1 평면-오목 렌즈(1650R)가, 적색 채널(206R)을 위한 개구(362R)와 정렬되는 개구층(310)의 전방에 배치된다. 평면-오목 렌즈(1650R)는 입사광의 발산을 감소시키고, 교정되지 않은 초점(1612R)으로부터 개구(312R)까지의 적색광에 대한 초점을 이동시키는 광학 처방(예를 들어, 표면 곡률 또는 초점 길이)을 갖는다. 이 예에서, 제2 평면-오목 렌즈(1650G) 내의 제2 보상 마이크로-광학계는 개구(362G)와 정렬된다. 평면-오목 렌즈(1650G)는 평면-오목 렌즈(1650R)보다 더 강하게 입사광의 발산을 감소시키고, 교정되지 않은 초점(1612G)으로부터 개구(312G)까지의 녹색 광에 대한 초점을 이동시키는 처방을 갖는다. 이 예에서, 제3 평면-오목 렌즈(1650B) 내의 제3 보상 마이크로-광학계는 개구(362B)와 정렬된다. 평면-오목 렌즈(1650B)는 평면-오목 렌즈(1650G)보다 더 강하게 입사광의 발산을 감소시키고, 교정되지 않은 초점(1612B)으로부터 개구(312B)까지의 청색광에 대한 초점을 이동시키는 처방을 갖는다. 본 예의 평면-오목 렌즈들(1650R, 1650G, 1650B) 각각은 대응하는 센서 채널(206R, 206G, 206B)이 검출을 위해 동조되는 파장(또는 파장 범위)에 대해 최적화되는 상이한 처방을 가짐을 이해해야 한다. 이 예에서, Rx측 벌크 이미징 모듈(1560)은 이미 LIDAR 동작 파장의 광을 개구(312L)에 집속시키기 때문에, 보상 마이크로-광학계가 LIDAR 채널(202)에 대해서는 제공되지 않는다.
다른 실시예들에서, Rx측 벌크 이미징 모듈이 광을 입력 개구 평면 상에 집속시키는 특정 파장은 상이할 수 있다. 예를 들어, 도 17은 색수차를 갖는 Rx측 벌크 이미징 모듈(1560)이 개구 평면(360) 상에 청색 광을 집속시키는 실시예에 대한 채널-특이적 보상 마이크로-광학계의 예를 도시한다. 이 예에서, 청색 채널(202B)은 임의의 보상 마이크로-광학계를 사용하지 않지만, 보상 마이크로-광학계 없이도(색수차로 인해), 다른 채널들에 대한 원하는 광 파장들을 위한 초점들은 개구 평면(360)을 넘어서, 다시, 파장에 의존적인 양의 광 손실 및 공간 선택성을 초래할 것이다. 이를 보상하기 위해, 이 예시적인 평면-볼록 렌즈들(1750R, 1750G, 및 1750L)에서, 채널-특이적 보상 마이크로-광학계들은 적색 채널(206R), 녹색 채널(206G), 및 LIDAR 채널(202)을 위한 채널 개구들의 전방에 배치될 수 있다. 이 예에서, 평면-볼록 렌즈는 입사 광의 발산을 증가시키고, 개구 평면(360)을 향한 방향으로 초점을 이동시키는 처방을 가지며, 이에 따라 주어진 센서 채널의 경우, 해당 센서 채널이 동조되는 색상의 광에 대한 초점이 개구 평면(360)과 일치한다. 이전 예에서와 같이, 각각의 채널에 대한 채널-특이적 보상 마이크로-광학계는 특정 채널에 대한 초점을 개구 평면(360) 상으로 이동시키는 상이한 처방을 갖는다.
도 16 및 도 17의 예에서, 광은 개구 평면 상에 집속되고, 이어서 센서 채널 내의 광학 요소에 의해(예를 들어, 도 1a 또는 도 1b에 도시된 바와 같이) 시준된다. 다른 옵션은 채널-특이적 파장에서 광을 시준하는 주변광 채널에 대한 채널-특이적 보상 마이크로-광학 요소를 제공하는 것이다. 도 18은 일부 실시예들에서 사용될 수 있는 시준된 채널-특이적 보상 마이크로-광학계를 갖는 센서 어레이(1800)의 예를 도시한다. 이 예에서, 기판 어레이(1800)는 일반적으로 기판 어레이(200)와 유사하지만, 각각의 주변광 채널에 대한 개구(1812R, 1812G, 1812B)는 실질적으로 채널만큼 넓다. (LIDAR 채널(1802)에 대한 개구(1812L)는 예를 들어, 도시된 바와 같이 더 좁을 수 있다.) 이러한 배열에서, 광학 요소(132)(도 1a 또는 도 1b에 도시됨)는 적어도 주변광 채널들(1806R, 1806G, 1806B)에 대해 생략될 수 있으며, 나머지는 전술한 주변광 채널들(206R, 206G, 206B)과 유사하다. 이러한 배열로, 주변광 채널들(1806R, 1806G, 1806B)이 LIDAR 채널들(1802)보다 더 작고, 더 단단하게 패킹될 수 있음에 유의해야 한다. 주변광 채널들에서, 좁은 채널 폭은 개구가 채널 폭보다 좁을 필요 없이도 공간 선택도를 제공할 수 있지만, 시준 각도는 더 클 것이고, 이는 대역통과 필터의 폭에 대한 하한을 증가시킨다.
도 16의 예와 유사하게, Rx측 벌크 이미징 모듈(1560)은 LIDAR 동작 파장(광선(1822L))의 광을 개구(1812L)로 집속시킨다. 더 짧은 파장들의 광은 점선들로 도시된 바와 같이, 배면(1814)로부터 상이한 거리들에 집속된다. 평면-볼록 렌즈들(1850R, 1850G, 1850B)은 각각 적색, 녹색 및 청색 광의 발산을 감소시켜, 컬러 선들에 의해 도시된 바와 같이, 채널로 진입함에 따라 원하는 파장의 광을 시준한다. 이전 예에서와 같이, 상이한 컬러 채널들에 대한 채널-특이적 보상 마이크로-광학계는 입사광의 파장-의존적 초점 길이들을 보상하는 상이한 처방을 갖는다.
이들 실시예는 예시적이며 제한적이지 않다. 색수차를 갖는 Rx측 벌크 이미징 모듈은 임의의 원하는 파장의 광을 개구 평면 상에 집속시키도록 구성될 수 있고, 다른 파장에 민감한 채널들은 그들의 개구의 전방에 배치된 파장-특이적(또는 채널-특이적) 양의(집속) 또는 음의(디포커싱(defocusing)) 처방을 갖는 보상 마이크로-광학계를 가질 수 있다. 조립의 용이함을 위해, 센서 어레이 내의 모든 채널들(또는 이러한 요소들을 포함하는 모든 채널들)에 대한 보상 마이크로-광학 요소들은 동일한 평면 상에(예를 들어, 개구층의 상부에) 배치될 수 있다. 주어진 채널에 대한 보상 마이크로-광학계는 예를 들어, 평면-볼록(plano-convex) 렌즈, 평면-오목(plano-concave) 렌즈, 양볼록(biconvex) 렌즈, 양오목(biconcave) 렌즈, 볼록-오목(convex-concave) 렌즈, 자유 형태(freeform) 렌즈, 또는 다수의 렌즈들의 조합을 포함할 수 있다. 필요에 따라, 상이한 채널 유형에 대해 상이한 형상이 사용될 수 있다. 전술한 예들에서, 보상 마이크로-광학계가 주어진 센서 어레이의 모든 센서 채널들에 대해 제공될 필요는 없으며, 일부 실시예들에서, Rx측 벌크 이미징 모듈은 센서 채널 유형들 중 하나에 대해 원하는 파장을 갖는 광이 해당 채널에 대한 개구에 집속되도록 설계될 수 있다. 그러나, Rx측 벌크 이미징 모듈에 대한 특별한 설계는 필수적이지 않으며, 일부 실시예들에서, 예를 들어, 시스템이 교정을 필요로 하는 광학 출력을 갖는 윈도우 또는 하우징을 포함하는 경우, 시스템 내의 임의의 수차들을 보상하기 위해 모든 센서 채널이 채널-특이적 보상 마이크로-광학 요소를 가질 수 있다. 센서 어레이는, 예를 들어, 전술한 바와 같이, 주어진 파장과 연관된 다수의 센서 채널들을 포함할 수 있다. 일부 실시예들에서, 동일한 채널 유형(예를 들어, 파장 범위)의 상이한 센서 채널들은 보상 마이크로-광학 처방이 채널 유형마다 단 한 번만 결정될 필요가 있도록 동일하게 설계될 수 있다. 대안적으로, 상이한 채널들이 Rx측 벌크 이미징 모듈에 대해 상이한 위치에 있고, 광학 모듈에서의 수차 효과(색수차를 포함함)가 모듈의 광축으로부터의 거리에 의존할 수 있기 때문에, 각각의 채널에 대해 개별적으로 보상 마이크로-광학계를 설계하는 것이 바람직할 수 있다. 임의의 경우에, 주어진 채널-특이적 보상 마이크로-광학 요소에 대한 적절한 처방은 특정 채널 설계 및 Rx측 벌크 이미징 모듈의 특정 설계에 대해 통상적인 광학 모델링 기술을 적용함으로써 결정될 수 있다.
채널-특이적 보상 마이크로-광학계는 관련 파장에서 광학적으로 투명한 임의의 물질로 제조될 수 있다. 마이크로-광학계를 형성하기 위해 몰딩 또는 다른 공정들이 사용될 수 있다. 일부 실시예들에서, 센서 어레이의 모든 채널들에 대한 마이크로-광학계는 채널마다의 마이크로-광학 요소를 정의하고 모놀리식 센서 어레이의 다른 층들과 조립되는 표면 특징들(예를 들어, 국부적으로 볼록하거나 오목한 곡률의 영역들)을 갖는 단일 구조물로서 제조될 수 있다. 또한, 채널-특이적 마이크로-광학 요소에 대한 처방은 색수차에 제한되지 않고, 벌크 광학계의 임의의 광학적 특성에 기초하여 선택될 수 있다. 벌크 광학계의 초점면 곡률을 보상하기 위해 채널-특이적 마이크로-광학 요소를 사용하는 예들이 이하에 설명된다.
2.3. 무색 벌크 광학계
일부 실시예들에서, 채널마다의 보상 마이크로-광학계들은 생략될 수 있다. 예를 들어, 벌크 광학 모듈은 모든 관련 파장의 광이 동일한 개구 평면에 집속되도록, 무시할 수 있을 정도의 색수차를 가질 수 있다(또는 색수차가 전혀 없을 수 있다). 무색 벌크 광학 모듈은, 광 센서들의 일부가 개구 평면(예를 들어, 센서 어레이(900)) 내에 배치되는 센서 어레이들뿐만 아니라, 다중 스펙트럼 센서 채널들(예를 들어, 센서 어레이(500)) 및/또는 하이브리드 센서 채널들(예를 들어, 센서 어레이(600))을 포함하는 센서 어레이들에 대해서 특히 유용할 수 있다.
도 19는 개구 평면(310) 내의 모든 색들을 집속하는 무색의 벌크 광학 모듈을 갖는 시스템 내의 센서 어레이(200)의 일 예를 도시한다. 채널마다의 보상 마이크로-광학계는 본 실시예에서 사용되지 않는다. 넓은 통과 대역(예를 들어, 채널들(206R/G/B))을 갖는 채널의 경우, 광학 필터는 채널 내의 임의의 위치에 위치할 수 있다. 편광 채널(도시되지 않음)의 경우, 스택(예를 들어, 광학 필터 층)에 또는 하부 ASIC 광 센서(들)의 금속 층에 하나 이상의 편광 격자가 포함될 수 있다.
도 20은 개구 평면(2010)에서 모든 색들을 집속하는 무색의 벌크 광학 모듈을 갖는 시스템 내의 센서 어레이(2000)의 다른 예를 도시한다. 이 예에서, LIDAR 센서 채널(2002) 및 주변광 센서 채널들(2004R, 2004G, 2004B)은 나란히 배열된 별도의 모놀리식 디바이스들로서 제조된다. 각각의 센서 채널(2002, 2004R/G/B)은 동일한 개구 평면(2010)에 위치된 개구(2012L, 2012R/G/B)를 갖는다. LIDAR 센서 채널(2002)은 시준 광학계(collimating optics)(2020)를 포함한다. 본 예에서의 주변광 센서 채널들(2004R/G/B)은 시준 광학계를 포함하지 않는다. 대신에, 채널을 통해 광 센서(2030R, 2030G, 2030B)로 광을 지향시키는 데에 비-굴절 광학계(예를 들어, 광 가이드)가 사용될 수 있다. 넓은 통과대역의 경우, 컬러 필터들은 채널 내의 어느 곳에나 배치될 수 있다. 단일 센서 유형을 갖는 센서 채널들에 대해 도시되었지만, 비-굴절 광학계를 갖는 채널 구성들은 또한 다중 스펙트럼 센서 채널들(예를 들어, 도 5의 다중 스펙트럼 센서 채널들(506)) 또는 하이브리드 센서 채널들(예를 들어, 도 6의 하이브리드 센서 채널들(602))에 대해 유용할 수 있다.
2.4. 초점면 곡률을 보상하기 위한 마이크로 광학계
전술한 예들은 광이 벌크 광학 모듈을 통과하는 곳에 관계없이 벌크 광학 모듈이 (평면) 이미지 평면 상에 광(주어진 파장의)을 집속한다고 가정한다. 위에 도시된 예들(예를 들어, 도 19 및 도 20)에서, 이미지 평면은 개구 평면과 일치한다.
일부 실시예들에서, 벌크 광학 모듈은 평평한 평면이 아닌 곡면("만곡된 초점면"으로 지칭됨)으로 주어진 파장의 광을 집중시킬 수 있다. 이러한 경우에, 전술한 예와 유사한 채널마다의 마이크로-광학계는 각각의 개구의 위치에서 만곡된 초점면과 (편평한) 개구 평면 사이의 오프셋을 보상하기 위해 사용될 수 있다. 도 21은 일부 실시예들에서 사용될 수 있는 벌크 광학 모듈의 초점 길이를 교정하기 위한 채널마다의 마이크로-광학계의 일 예를 도시한다. 센서 어레이(2100)는 평면에 배열된 센서 채널(2102)의 행을 갖는다. (예시의 단순화를 위해 1차원 센서 어레이가 도시되어 있지만, 동일한 원리가 2차원 센서 어레이에 적용됨을 이해할 것이다.) 평면형 개구층(2104)은 각각의 개구(2106)가 대응하는 센서 채널(2102)로 광을 통과시키도록 배열된 개구(2106)를 갖는다. 이 예에서, 벌크 광학 모듈(2108)은 점선(2110)으로 표시되는 만곡된 초점면을 갖는다. 각각의 개구(2106) 앞에는 초점면(2110)의 곡률을 보상하는 채널-특이적 마이크로-광학 요소(2112)가 있다. 예를 들어, 각각의 채널-특이적 마이크로-광학 요소(2112)는 광이 대응하는 개구(2106)(개구(2106)의 전방 또는 후방이 아니라) 내로 집속되도록, 대응하는 개구(2106)의 위치와 만곡된 초점면(2110) 상의 대응하는 위치 사이의 오프셋을 교정하는 처방을 가질 수 있다. 이러한 예에서, 대부분의 개구(2106)에 대해, 만곡된 초점면(2110) 상의 대응하는 위치는 평면 개구층(2104)의 전방에 있고, 대응하는 채널-특이적 마이크로-광학 요소(2112)는 양의 굴절력을 갖는다. 이 예에서, 상이한 채널-특이적 마이크로-광학 요소들(2112)의 굴절력의 크기는 벌크 광학 모듈(2108)의 광학 축(2114)으로부터의 방사 거리(r)에 따라 증가한다. 다른 예들(도시되지 않음)에서, 만곡된 초점면(2110)은 개구 위치들(2106)의 일부 또는 전부에서 평면형 개구층(2104) 뒤에 있을 수 있고, 임의의 특정한 채널-특이적 마이크로-광학 요소(2112)는 필요에 따라 양 또는 음의 굴절력을 가질 수 있다. 일부 실시예들에서, 벌크 광학 모듈(2108)의 만곡된 초점면(2110)은 하나 이상의 센서 채널들의 개구 평면과 일치할 수 있고, 이러한 센서 채널들에 대한 채널-특이적 마이크로-광학 요소들(2112)은 생략될 수 있거나, 0의 굴절력을 갖는 마이크로-광학 요소들이 제공될 수 있다.
도 22는 채널-특이적 마이크로-광학 요소를 갖는 수신(Rx) 모듈(2200)의 다른 예를 도시한다. Rx 모듈(2200)은 전술한 도 15의 Rx 모듈(1540)과 유사할 수 있고, 센서 채널 유형들의 임의의 조합을 포함할 수 있다. 예를 들어, 모든 채널(2202)이 LIDAR 센서 채널일 수 있고, 모든 채널이 주변광 센서 채널일 수 있으며, 모든 채널(2202)이 하이브리드 센서 채널일 수 있거나, 상이한 센서 채널 유형의 조합이 존재할 수 있다. 이 예에서, 채널-특이적 마이크로-광학 요소들(2204)은 벌크 광학 모듈(2208)의 초점면의 곡률을 보상하기 위해 개구 평면(2206)의 전방에 제공된다. 도 21의 예에서와 같이, 채널-특이적 마이크로-광학 요소(2204)의 처방은 벌크 광학 모듈(2208)의 초점면의 곡률에 대응하는, 광학 축으로부터의 방사 거리의 함수일 수 있다. 이 예에서, 채널-특이적 마이크로-광학 요소들(2204)은 광학 축으로부터의 방사 거리에 따라 증가하는 양의 굴절력을 갖지만, 전술한 바와 같이, 일부 또는 모든 채널-특이적 마이크로-광학 요소들(2204)이 음의 또는 0의 굴절력을 가질 수 있다.
일부 실시예들에서, 초점 길이를 교정하는 채널-특이적 마이크로-광학 요소들은 센서 어레이들뿐만 아니라 LIDAR 방출기 어레이들에서 사용될 수 있다. 도 23은 채널-특이적 마이크로-광학 요소들을 갖는 방출(Tx) 모듈(2300)의 일 예를 도시한다. Tx 모듈(2300)은 전술한 도 15의 Tx 모듈(1510)과 유사할 수 있고, 방출기 채널들(2302)의 1D 또는 2D 어레이를 포함할 수 있다. 이 예에서, 채널-특이적 마이크로-광학 요소들(2304)은 벌크 광학 모듈(2308)의 초점면의 곡률을 보상하도록 제공된다. 도 21 및 도 22의 예에서와 같이, 채널-특이적 마이크로-광학 요소들(2304)의 처방은 벌크 광학 모듈(2308)의 초점면의 곡률에 대응하는, 광학 축으로부터의 방사 거리의 함수일 수 있다.
이들 실시예는 예시적이며 제한적이지 않다. 예를 들어, 전술한 예에서, 채널-특이적 마이크로-광학 요소의 처방(굴절력)은 벌크 광학계의 초점면 곡률을 보상하기 위해 변화된다. 다른 실시예들에서, 동일한 처방 및 채널-특이적 마이크로-광학 요소와 개구 평면 사이의 가변적인 격리 거리를 갖는 채널-특이적 마이크로-광학 요소들을 이용함으로써, 유사한 채널마다의 보상이 달성될 수 있고, 격리 거리는 광학 축으로부터의 방사 거리에 기초할 수 있다. 다양한 처방과 격리 거리의 조합이 또한 사용될 수 있다.
벌크 광학 모듈의 초점면 곡률을 보상하는 채널-특이적 마이크로-광학 요소들은 다중-스펙트럼 센서 어레이 이외의 상황에서 유용할 수 있음을 이해해야 한다. 예를 들어, 주변광 센서 채널들을 포함하지 않는 LIDAR 시스템은 또한 벌크 광학 모듈들의 초점면 곡률에 대한 보상과 관련된 보다 명확한 이미징의 이점이 있을 수 있다. 채널-특이적 마이크로-광학 요소들은 각각의 모듈에 대해 제공되는 벌크 광학계들의 특성에 따라, 송신기 모듈, 수신기 모듈, 또는 양자 모두에 포함될 수 있다. 주변광 센서 채널들만을 갖는 이미징 시스템들은 또한 이점을 가질 수 있고, 방출 모듈의 존재가 필수적이지는 않다. 벌크 광학 모듈의 초점면 곡률을 보상하기 위한 채널-특이적 마이크로-광학 요소들의 사용은 벌크 광학 모듈의 비용 및/또는 크기를 감소시킬 수 있는데, 이는 초점면 곡률이 없는 벌크 렌즈 시스템이 초점면 곡률을 갖는 벌크 렌즈 시스템보다 일반적으로 더 크고 더 복잡하기 때문이다.
다중 스펙트럼 센서 어레이들(예를 들어, 전술한 예들 중 임의의 실시예), 또는 벌크 광학 모듈이 색수차뿐만 아니라 초점면 곡률을 나타내는 다른 시스템들 중 일부 실시예들에서, 임의의 주어진 채널에 대한 채널-특이적 마이크로-광학 요소는 주어진 채널에 대한 원하는 파장의 광이 개구 평면 상에 집속되도록 두 효과들을 보상하도록 설계될 수 있다. 보다 일반적으로, 채널-특이적 마이크로-광학 요소들은 어레이 내의 상이한 위치에서 채널들에 대해 상이한 효과를 갖는 벌크 광학 모듈의 임의의 광학 특성(또는 광학 특성)을 보상하도록 설계된 처방을 가질 수 있다.
2.5. 대상 공간의 균일한 샘플링
본원에 기술된 종류의 센서 어레이들은 상이한 유형의 센서로부터 얻어진 데이터를 각각 포함하는 다중 스펙트럼 이미지 픽셀로 이루어진 이미지를 생성하는, 다양한 레인징/이미징 시스템에 통합될 수 있다. 이러한 이미지들은 센서 시스템의 시야(또한 "대상 공간(object space)"으로도 지칭됨)의 균일한 샘플링을 나타내는 것이 종종 바람직하다. 구체적으로, 행 및 열로 배열될 수 있는 대상 공간 내의 샘플링 영역의 규칙적인 "그리드"(본원에서 "대상 공간 픽셀(object-space pixel)"이라고 함)를 정의하고, 이미지 픽셀들 각각이 센서 어레이 내의 각각의 센서 유형에 의해 이미징되는 단일의 대상 공간 픽셀에 대응하는 이미지 픽셀들의 그리드를 생성하도록 센서 시스템 및 이의 동작을 설계하는 것이 바람직하다. 레인징/이미징 시스템의 일부 실시예들에서, 벌크 광학계는 대상 공간의 이 균일한 샘플링을 지원하도록 설계된다.
2.5.1. 정적 시스템을 위한 광학계
일부 실시예들에서, 전술한 종류의 다중 스펙트럼 센서 어레이들은 "정적(static)" 레인징/이미징 시스템에서 사용될 수 있다. 이러한 시스템은 이하에 설명되는 바와 같이, 2D 센서 어레이(예를 들어, 위에 설명된 센서 어레이(600) 또는 센서 어레이(900))를 포함하고, 어레이를 이동시키지 않고 센서 어레이의 표면 위에 이미지를 획득한다. 이러한 시스템에서의 이미지 픽셀은 하이브리드 센서 채널(예를 들어, 하이브리드 센서 채널(602)) 또는 다중 스펙트럼 픽셀(예를 들어, 다중 스펙트럼 픽셀(1020))에 대응할 수 있다. 벌크 이미징 광학계가 국부적으로 왜곡시키지 않는 경우, 이러한 어레이는 대상 공간을 균일하게 샘플링할 수 있다. 일부 실시예들에서, 광이 전체 어레이를 가로질러 개구 평면 상에 집속되도록, 평면-필드 초점-길이 왜곡 프로파일의 사용이 바람직할 수 있다.
2.5.2. 스캐닝 시스템을 위한 광학계
일부 실시예들에서, 전술한 종류의 다중 스펙트럼 센서 어레이들은 센서 어레이의 한 행에 있는 상이한 센서 채널들이 시야 내의 특정 영역을 연속적으로 이미징(즉, 광자들을 감지)하도록 각도 스캐닝 또는 회전 모드에서 사용될 수 있다. 스캐닝 동작들의 예들이 아래에 설명된다. 이러한 설명을 위해, 스캐닝 동작 동안, 센서 시스템은 행들을 가로지르는 축을 중심으로 회전하고, 센서 채널들은 센서 시스템이 상이한 각도들을 통해 회전할 때 동작하는 것으로 가정한다. (예를 들어, 상이한 시간에 어레이 상에 대상 공간의 상이한 영역들로부터의 광을 반사시키기 위해 MEMS 미러를 사용함으로써, 센서 어레이를 움직이지 않고도 스캐닝 동작이 또한 달성될 수 있음을 이해해야 한다.) 또한, 센서 어레이 및 벌크 광학 모듈은 센서 시스템에서 서로 고정된 관계로 유지되며, 따라서 주어진 센서 채널은 벌크 이미징 광학계의 광학 축에 대해 고정된 공간 관계를 갖고, 공간에서의 시스템의 배향에 관계없이 벌크 광학 모듈의 동일한 부분을 통해 "관찰하는" 것으로 가정된다.
이미지 분석을 단순화하기 위해, 스캐닝 센서 시스템이 대상 공간을 균일하게 샘플링하는 것이 일반적으로 바람직하다. 이와 관련하여, 대상 공간 픽셀들의 그리드는 스캐닝 방향을 따르는 행들 및 스캐닝 방향을 가로지르는 방향으로의 열들로 배열되는 것으로 간주된다. 스캐닝 방향에서, 동일한 행 내의 상이한 센서 채널들(예를 들어, 도 2의 센서 어레이(202)의 동일한 행(204) 내의 모든 센서 채널들)은 센서 어레이가 회전할 때 동일한 대상 공간 픽셀을(다소 상이한 시간들에) 샘플링하는 것이 바람직하다. 이는, 후술하는 바와 같이, 센서 어레이의 회전과 샘플링 간격을 조정함으로써 부분적으로 달성될 수 있다. 그러나, 벌크 광학 모듈의 광학 축에 대한 상이한 센서 채널들의 위치들의 차이로 인한 포인팅 오류를 방지하는 것이 또한 중요하다. 따라서, 일부 실시예들에서, 스캐닝 센서 시스템에서 센서 어레이와 함께 사용되는 벌크 광학 모듈은 스캐닝 및 비-스캐닝 방향 모두에서 균일한 샘플링을 제공하도록 설계된다.
도 24a 및 도 24b는 센서 어레이를 사용하는 스캐닝 시스템에서의 포인팅 오류에 대한 포텐셜을 도시하는 단순화된 개념도이다. 도 24a는, 예를 들어 도 2의 센서 어레이(200)의 행(204) 내의 센서 채널들에 대응할 수 있는, 균일하게 이격된 센서 채널들(2402a 내지 2402d)을 갖는 센서 어레이(2400)의 행을 도시한다. 각각의 센서 채널은 점선으로 표시된 바와 같이, 벌크 광학계(2410)를 통한 채널 시야를 갖는다. 타원으로 표시된, 균일하게 이격된 대상 공간 픽셀들(2404a 내지 2404d)은 센서 채널들(2402a 내지 2402d)의 채널 시야들과 정렬된다. 도 24b는 센서 채널(2402a)이 대상 공간 픽셀(2404b)을 근사적으로 포인팅하도록 특정 각도로 회전한 후의 센서 어레이(2400)를 도시한다. 센서 채널(2402b)은 대상 공간 픽셀(2404c)의 좌측을 포인팅하고, 센서 채널(2402c)은 대상 공간 픽셀(2404d)을 근사적으로 포인팅한다.
도 24b에서 알 수 있는 바와 같이, 포인팅 오류가 있다. 예를 들어, 센서 채널(2402b)의 시야는 대상 공간 픽셀(2404c)을 포인팅하지 않고, 센서 채널(2402c)의 시야는 대상 공간 픽셀(2404d)과 정확하게 정렬되지 않는다. 용어 "픽셀 내(intrapixel) 포인팅 오류"는 본원에서, 동일한 대상 공간 픽셀을 명목상 포인팅하는 센서 채널들 간의 시야의 차이를 지칭하는 데에 사용된다. (이러한 차이는 대상 공간 픽셀의 관점에서 "픽셀 내부에" 있다.) 일부 실시예들에서, 다중 스펙트럼 픽셀 데이터를 수집할 때, 픽셀 내 포인팅 오류를 제어하는 것이 바람직하다.
픽셀 내 포인팅 오류에 부가하여, 센서 시스템은 행(스캐닝) 방향 또는 열(비-스캐닝) 방향으로의 대상 공간 픽셀들 사이의 불균일한 간격을 지칭하는 "픽셀 간(interpixel) 포인팅 오류"를 가질 수 있다. 스캐닝 센서 시스템에서, 스캐닝 방향에서의 픽셀 간격의 균일성은 (예를 들어, 후술하는 바와 같이) 센서 시스템의 회전 각도에 대한 셔터 간격을 제어하고, 픽셀 내 포인팅 오류를 제한함으로써 달성될 수 있다. 비-스캐닝 방향에서, 열을 따른 대상 공간 픽셀들은 균일하게 이격되고, 대상 공간 맵 내의 열들은 이미지 공간 내의 열들에 맵핑되는 것이 바람직하다. 이러한 연결에서, 일부 센서 어레이들(예를 들어, 센서 어레이(200))은 일련의 스태거 센서 채널들(예를 들어, LIDAR 채널들(202))을 포함할 수 있다는 점에 유의해야 한다. 이 경우, 어레이를 스캐닝하고 셔터 간격을 제어하여 열 정렬을 생성함으로써, 대상 공간 픽셀들의 단일 열이 이미징될 수 있다. 예를 들어, 센서 어레이(200)의 경우에, 16개의 센서 채널들(202)이 센서 어레이(200)의 열에 정렬되지 않더라도, 이미지의 열은 16개의 픽셀들을 가질 수 있다.
일부 실시예들에서, 원하는 이미징 동작은 광선의 입사각(θ)의 탄젠트의 변화에 따라 광선의 변위가 선형적으로 변하는 초점 길이 왜곡 프로파일을 갖는 벌크 광학 모듈을 제공함으로써 달성된다. 이러한 유형의 초점 길이 왜곡 프로파일을 갖는 렌즈(또는 렌즈 시스템)는 보통 "F tan θ" 렌즈(이미지 평면에서의 변위 거리가 tan θ의 선형 함수임을 의미함), 또는 "플랫 필드(flat field)" 렌즈로 지칭된다. 작은 각도 θ의 경우, F tan θ 렌즈는 이미지 평면 상의 광선의 변위(즉, 센서 어레이)가 광선의 입사각(θ)의 변화에 근사적으로 선형이라는 특성을 갖는다. 스캐닝 방향에서, 이것은 픽셀 내 포인팅 오류를 감소시키는 원하는 동작을 제공한다. 비-스캐닝 방향에서, 이것은 균일한 피치로 이격된 센서 행들에 대한 대상 공간에서 균일한 샘플링을 제공하고, 또한 센서들이 스태거 방식으로 배열되는 경우에도, 대상 공간 픽셀들의 열들이 이미지 공간 픽셀들의 열들에 맵핑되게 한다.
도 25는 F tan θ 벌크 광학 모듈을 사용하는 이미징 시스템의 일 예를 도시한다. 이미지 평면(2502)은 균일한 거리(p)(본원에서 "선형 피치(linear pitch)"로도 지칭됨)에 의해 분리된 센서들(2504a 내지 2504g)의 행을 포함한다. 센서들(2504a 내지 2504g)은, 예를 들어, 전술한 다중 스펙트럼 센서 어레이들 중 임의의 어레이에서의 센서 채널들, 또는 주어진 방향으로부터의 광자들을 검출하는 다른 센서들의 행(또는 행의 일부)일 수 있다. 벌크 광학 모듈(2506)은 이미지 평면(2502) 위의 거리(f)에 위치하며, 여기서 f는 벌크 광학 모듈(2506)의 초점 길이이다. 이 예에서, 벌크 광학 모듈(2506)은 단일 양볼록 렌즈로서 표현되지만, 다른 렌즈 또는 다중-렌즈 시스템이 사용될 수 있음을 이해해야 한다.
벌크 광학 모듈(2506)은 시야(또는 대상 공간)로부터 이미지 평면(2502)으로 광을 집중시키도록 설계될 수 있다. 예를 들어, 광선(2520a-2520g)은 센서들(2504a-2504g)에 대한 주요 광선들을 나타낸다. (벌크 광학 모듈(2506)을 통한 광의 실제 경로는 도시되지 않은 것으로 이해되어야 한다.)
벌크 광학 모듈(2506)은 F tan θ의 초점 길이 왜곡 프로파일을 갖는다. (통상의 기술자는 이러한 프로파일을 갖는 벌크 광학 모듈을 생성하는 방법을 이해할 것이며, 상세한 설명은 생략된다.) 그 결과, 적어도 작은 각도의 경우, 광선의 입사각의 균일한 변화는, 원래의 입사각과 무관하게, 굴절된 광선이 이미지 평면과 교차하는 지점을 균일한 거리만큼 이동시킨다. 예를 들어, 광선(2520a, 2520b)의 경우, 입사각의 차이는 α이고, 광선(2520a, 2520b)은 선형 피치(p)만큼 이미지 평면에서 이격된다. 광선(2520b, 2520c)은 또한 α의 입사각의 차이를 가지며, 대응하는 굴절된 광선(2520b, 2520c)은 선형 피치(p)만큼 이미지 평면에서 이격된다. 따라서, 이미지 평면(2502) 및 벌크 광학 모듈(2506)이 함께 각도 α만큼 회전되는 경우, 포인트(2530a)로부터 기원하는 광선(2520a)은 (근사적으로) 센서(2504b)에 대한 주요 광선이 될 것이고, 포인트(2530b)로부터 기원하는 광선(2520b)은 (근사적으로) 센서(2504c)에 대한 주요 광선이 될 것이다. 이미지 평면에서의 선형 피치(p)에 대응하는 회전 각도(α)는 본원에서 스캐닝 시스템의 "각도 피치(angular pitch)"로서 지칭되고, α의 값은 센서 피치(p) 및 벌크 광학 모듈의 특성에 기초하여 결정된다. 각도(α)로 시스템을 스캐닝하는 것이 하나의 선형 피치 단위(p)만큼 입사 광선을 이동시키는 결과를 초래하도록 벌크 광학 모듈이 각도 피치(α)를 제공하는 스캐닝 레인징/이미징 시스템에서, 행 내의 상이한 센서 채널들은 일련의 시간 단계들에서 이미지들을 획득함으로써 시야의 동일한 부분을 이미징할 수 있으며, 여기서, 센서 어레이는 각각의 시간 단계에서 각도 피치 α만큼(또는, α가 스캐닝 피치의 정수배가 되도록 더 작은 각도로) 회전된다. 이러한 유형의 스캔 동작의 예들은 아래에 자세히 설명되어 있다.
F tan θ 렌즈를 사용하는 것은, 픽셀 내 포인팅 오류를 무시할 수 있는 수준으로 감소시킬 수 있으며, 여기서, "무시할 수 있는"은 센서 채널의 시야의 크기에 기초하여 정량화될 수 있다. 도 26은 스캐닝 시스템들의 일부 실시예들에서 정량화되고 제한될 수 있는, 픽셀 내 포인팅 오류의 일 예를 도시한다. 원(2602)은 대상 공간 픽셀의 명목상 위치를 나타내고, 포인트(2604)는 원(2602)의 중심이다. 원(2612)(점선)은 원(2602)의 방향으로 명목상 포인팅될 때 특정 센서 채널에 의해 샘플링되는 시야를 나타낸다. 알 수 있는 바와 같이, 원(2612)의 중심점(2614)은 오프셋 ε만큼 대상 공간 픽셀(2602)의 중심(2604)으로부터 오프셋된다. 이 오프셋을 사용하여 픽셀 내 포인팅 오류를 정량화할 수 있다. 일부 실시예들에서, 센서 행 내의 임의의 주어진 센서 채널에 대한 오프셋 ε이 채널 시야의 직경의 50% 미만인 경우, 픽셀 내 포인팅 오류는 무시할 수 있는 것으로 간주된다. 다른 실시예들에서, 더 타이트한 정의, 예를 들어, 픽셀 내 포인팅 오류가 채널 시야의 직경의 10% 미만이라는 것이 사용된다. 주어진 센서 시스템이 이러한 제한을 만족하는지의 여부는, 예를 들어, 테스트 패턴을 이미징함으로써 결정될 수 있다. 다른 정의가 또한 사용될 수 있다.
스캐닝 센서 시스템에 대한 벌크 광학계는 또한 비-스캐닝 방향에서 F tan θ의 초점-길이 왜곡 프로파일을 가질 수 있다. 따라서, 도 25에 도시된 예에서, 센서들(2504a-g)은 또한 전술한 멀티스펙트럼 센서 어레이들 중 임의의 어레이의 센서 채널들의 열(또는 열의 일부)에 대응하는 것으로 이해될 수 있다. 센서 채널들의 열들의 일부 또는 전부가 스태거(staggered)되는 경우(예를 들어, 도 2의 LIDAR 센서 채널들(202)), 모든 방향들에서 F tan θ의 초점 길이 왜곡 프로파일을 갖는 벌크 광학계는 스태거된 센서-채널 열들이 스캐닝 동작을 통해 대상 공간 픽셀들의 균일하게 이격된 열을 샘플링하도록 하고 동일한 행 내의 상이한 센서 채널들이 무시할 만한 픽셀 내 포인팅 오류를 갖게 할 수 있다.
F tan θ 벌크 광학 모듈은 다중 스펙트럼 센서 어레이들 이외의 상황들에서 유용할 수 있다는 것에 유의해야 한다. 예를 들어, 스캐닝 LIDAR 센서 어레이는 열로 배열된 스태거된(staggered) LIDAR 채널들의 어레이를 포함할 수 있으며, 이는 시야를 이미징하기 위해 스캐닝/회전 모드에서 동작될 수 있다. 이러한 시스템들의 예는, 예를 들어, 2017년 8월 24일에 출원된 미국 특허출원 제15/685,384호(미국 특허출원 공개 제2018/0059222호로 공개됨)에 기재되어 있으며, 그 개시내용은 전체가 본원에 참고로 포함된다. F tan θ 벌크 광학 모듈은, 스태거 어레이 내의 상이한 열들에 위치된 센서 채널들에 의해 이미징되는 대상 공간 픽셀들이 수직으로(즉, 이미지 공간에서 열 방향으로) 서로 정렬되는 것을 제공하고/제공하거나 열들을 따라 샘플링된 위치들의 균일한 간격을 제공하는 것을 제공하기 위해 사용될 수 있다.
센서 어레이(다중 스펙트럼 또는 LIDAR 전용)에 대한 벌크 광학 모듈은 F tan θ의 초점-길이 왜곡 프로파일, 또는 임의의 다른 특정 초점-길이 왜곡 프로파일을 가질 필요가 없음을 이해해야 한다. 예를 들어, 일부 레이저 스캐닝 시스템에서 사용되는 렌즈는 변위가 (tan(θ)가 아니라) θ의 선형 함수가 되도록 초점 길이 왜곡 프로파일을 갖고, 이러한 렌즈는 종종 "F θ" 렌즈로 지칭된다. 입사각 θ의 작은 각도에 대해, tan(θ)는 근사적으로 θ 와 동일하며, F θ렌즈는 근사적으로 원하는 동작을 제공할 수 있다. 따라서, 일부 실시예들에서, 벌크 광학계는 F θ의 초점 길이 왜곡 프로파일을 가질 수 있다. 또한, 스캐닝 및 비-스캐닝 방향에서의 초점-길이 왜곡 프로파일은 동일할 필요가 없다.
일부 실시예들에서, 이미지 처리 기술들을 이용하는 데에, 센서 어레이의 상이한 센서들에 의해 샘플링된 영역들의 크기 또는 위치에서의 불균일성이 고려될 수 있다. 예를 들어, 이미지 처리 알고리즘들은, 벌크 광학계의 왜곡 프로파일이 국부적인 편차들(예를 들어, 고주파수 잡음)에 영향을 받지 않는 한, 어안(fisheye) 왜곡 등을 갖는 이미지들을 해석할 수 있다.
대안적으로, 센서 채널들은, 대상 공간의 균일한 샘플링 및 일관된 포인팅 동작이 달성되도록, 벌크 광학계의 왜곡 프로파일을 보상하는 패턴으로, 직선형 어레이가 아닌 불균일 어레이로 배열될 수 있다. 예를 들어, 도 27은 배럴 왜곡을 보상하는 불균일 어레이 패턴(2750)을 도시한다. 센서 채널들은, 예를 들어, 꼭지점들(2752)에 배치될 수 있다. (일부 꼭지점(2752)은 빨간 점으로 강조되지만, 센서 채널은 임의의 꼭지점(2752)에 배치될 수 있음을 이해해야 한다.) 이 예에서, 인접한 센서 채널들 사이의 간격은 어레이의 중심을 향해 증가한다. 도 28은 핀쿠션 왜곡을 보상하는 불균일 어레이 패턴(2860)을 도시한다. 센서 채널들은, 예를 들어, 꼭지점들(2862)에 배치될 수 있다. 이 예에서, 인접한 센서 채널들 사이의 간격은 어레이의 중심을 향하여 감소한다.
보다 일반적으로, 특정 벌크 광학계의 설계에 기초하여, 이미지 평면 내의 왜곡 프로파일이 맵핑될 수 있고, 센서 채널들은 샘플링 밀도가 대상 공간 내에 균일하도록, 균일하지 않게 배치될 수 있다. (이 기술은 센서 어레이들의 설계 및 제조를 복잡하게 할 수 있고, 센서 어레이가 특정 벌크 광학계에 적응될 것을 필요로 할 수 있다는 점에 유의해야 한다.)
또한, 일부 실시예들에서, 상이한 센서 채널들이 상이한 시간들에서 주어진 픽셀에 대한 데이터 수집을 시작하고 종료할 수 있도록, 셔터 간격들은 상이한 센서 채널들에 대해 개별적으로 제어될 수 있다. 개별적인 셔터 제어는 스캐닝 방향을 따라 특정 채널의 픽셀 내 포인팅 오류를 보상하기 위해 사용될 수 있다. (이것은 센서 전자 요소의 설계를 복잡하게 할 수 있음에 유의한다.)
2.5.3. 래스터 스캐닝 시스템을 위한 광학계
일부 실시예들에서, 전술한 종류의 다중 스펙트럼 센서 어레이들은 래스터 스캐닝 모드에서 사용될 수 있다. 래스터 스캐닝 모드에서, 상대적으로 적은 수의 센서 채널을 갖는 센서 어레이는 2개의 방향으로 시야를 스캔하여 센서 채널의 수보다 큰 픽셀 수를 갖는 이미지를 생성할 수 있다. 편의상, 스캐닝 방향은 본원에서 "수평" 및 "수직"으로 지칭되지만, 통상의 기술자는 래스터 스캔의 공간 배향이 임의적임을 이해할 것이다. 래스터 스캐닝은 하이브리드 센서 채널들의 2D 어레이(예를 들어, 센서 어레이(600)) 또는 다중 스펙트럼 픽셀들(예를 들어, 센서 어레이(900))을 포함하는 센서 어레이를 이용하여, 또는 열 방향으로 또한 스캔하는 행-기반 스캐닝 센서 어레이(예를 들어, 센서 어레이(200))를 이용하여 수행될 수 있다.
도 29는 본 발명의 일 실시예에 따른 센서 어레이를 이용한 래스터 스캔의 예를 도시한다. 센서 어레이(2900)는 규칙적인 센서 그리드로 배열된 다수의 센서 채널들(2902)을 포함한다. 이 예에서, 센서 그리드는 3x3이지만, 차원들은 원하는 대로 변경될 수 있다. 센서 채널들(2902)은 전술한 센서 채널 유형들 중 임의의 것을 포함할 수 있다. 화살표(2904)는 센서 어레이(2900)에 대한 모션 경로를 나타낸다. 도시된 바와 같이, 센서 어레이(2900)는 위치들(2912 및 2914)을 포함하는, 시야(2920) 내의 연속된 이미징 위치들을 통과하여 수평선을 따라 우측으로 이동될 수 있다. 각각의 이미징 위치에서, 센서 채널들(2902)은 이미지를 캡처하도록 동작될 수 있다. 수평선(위치(2914))의 끝에서, 센서 어레이(2900)는, 예를 들어, 다음 이미지를 캡처하기 위해 위치(2916)에 대해 센서 어레이(2900) 내의 행들의 수에 기초하여, 예를 들어, 피치 거리만큼 아래로 이동될 수 있다. 이후에, 센서 어레이(2900)는 좌측으로 이동되고 다음 수평선에 대한 이미지들을 캡처할 수 있다. 캡처된 이미지들은 전체 시야(2920)를 커버하는 더 큰 이미지로 축적될 수 있다.
센서 어레이(2900)는 예를 들어, 전술한 다중 스펙트럼 센서 어레이들 중 임의의 것일 수 있다. 센서 어레이(2900)가 2D 어레이(예를 들어, 센서 어레이(600) 또는 센서 어레이(900))인 경우, 센서 어레이(2900)가 수평 스캔 라인을 따라 연속적인 이미지들 사이에서 이동하는 거리는 도 29에 도시된 바와 같이 균일한 비-중첩 샘플들을 제공하기 위해 어레이의 수평 크기에 기초할 수 있다. 센서 어레이(2900)가 행-기반 어레이이고 행들이 수평 스캔 라인들을 따라 배향되는 경우, 수평 스캔 라인을 따르는 연속적인 이미지들 사이의 거리는 채널 피치와 동일할 수 있어서, 센서 어레이의 동일한 행에 있는 상이한 센서들이 동일한 대상 공간 픽셀을 이미징할 수 있다. 스캔 라인들 사이의 수직 이동은 어레이 내의 행들의 수에 기초하여 결정될 수 있다.
래스터 스캔의 모션 패턴은 도 29에 도시된 것으로부터 변화될 수 있다. 예를 들어, 각각의 수평 스캔 라인에 대한 이미지들이 동일한 이동 방향을 사용하여 캡처되도록, 수평 스캔 라인의 끝에서, 센서 어레이(2900)가 좌측 단부로 복귀하고 다음 수평 스캔 라인으로 아래로 이동하는 "수평 회귀(horizontal retrace)" 패턴이 사용될 수 있다. 또 다른 예로서, 행-기반 센서 어레이의 경우, 행들은 수직 방향으로 배향될 수 있고, 수평 스캔 라인들 사이의 수직 거리는 행 내의 채널 피치와 동일할 수 있다. (위에서 언급한 바와 같이, "수직" 및 "수평"은 임의적이다.) 래스터 스캐닝은 어레이를 2차원으로 물리적으로 이동시킴으로써 또는 래스터 패턴으로 광을 조향할 수 있는 팁-틸트 미러(tip-tilt mirror)를 광학 시스템에 제공함으로써 구현될 수 있다.
래스터-스캐닝 시스템의 일부 실시예들은 센서 어레이(2900), 및 시야(2920)의 균일한 샘플링을 지원하는 벌크 광학 모듈을 포함할 수 있다. 벌크 광학 모듈이 광역 왜곡(예를 들어, 배럴 왜곡 또는 핀쿠션 왜곡)을 도입하는 경우, 시야(2920)의 결과 이미지는 균일하게 샘플링되지 않을 것이다. 예를 들어, 도 30은 핀쿠션 왜곡을 나타내는 벌크 광학계를 갖는 센서 어레이를 사용하여 래스터 스캐닝으로부터 초래될 수 있는 불균일한 샘플링 패턴을 도시한다. 각각의 그리드(3001-3006)는 래스터 패턴의 상이한 위치에서 센서로 이미징된 위치를 나타낸다. 알 수 있는 바와 같이, 왜곡은 국소 편차에 영향을 받는다. 이러한 유형의 국소 왜곡 패턴은 후속 이미지 처리 및 분석에 대해 상당한 어려움을(광역 핀쿠션 왜곡보다 훨씬 더) 야기할 수 있다.
전술한 바와 같이, F tan θ의 초점 길이 왜곡 프로파일을 갖는 벌크 광학 모듈의 사용은 센서 어레이에 걸쳐 균일한 샘플링을 제공할 수 있다. 따라서, F tan θ 벌크 광학 모듈은 래스터-스캐닝 시스템에서 사용될 수 있다. 대안적으로, 래스터-스캐닝 시스템을 위한 센서 어레이의 센서 채널들은, 예를 들어, 도 27 및 도 28을 참조하여 전술한 바와 같이, 벌크 광학 모듈의 왜곡 프로파일을 보상하도록 배열될 수 있다.
광학 요소 및 광학 모듈의 전술한 예들은 예시적이며, 수정 및 변형이 가능함을 이해해야 한다. 또한, 하나의 유형의 센서 어레이와 관련하여 도시된 광학 요소들은 또한 다른 유형들의 센서 어레이들과 함께 사용될 수 있다. 예를 들어, 무색 벌크 광학 모듈은 행-기반(또는 1D) 및 2D 다중 스펙트럼 센서 어레이 모두에서 사용될 수 있다. 무색 벌크 광학 모듈은 F tan θ의 초점 길이 왜곡 프로파일, F θ의 초점 길이 왜곡 프로파일, 또는 원하는 바와 같은 상이한 프로파일을 가질 수 있다. 마찬가지로, 색수차를 갖는 벌크 광학 모듈은 F tan θ의 초점 길이 왜곡 프로파일, F θ의 초점 길이 왜곡 프로파일, 또는 원하는 바와 같은 상이한 프로파일을 가질 수 있다. 전술한 바와 같이, 무색 벌크 광학계는 다중 스펙트럼 센서 채널들 및/또는 하이브리드 센서 채널들을 포함하는 센서 어레이들에 대해서 바람직할 수 있지만, 이것은 필수적이지는 않다.
3. 다중 스펙트럼 센서 어레이를 갖는 레인징/이미징 시스템
전술한 종류의 다중 스펙트럼 센서 어레이는 서로 본질적으로 정합되고 깊이 정보(예를 들어, 다중 스펙트럼 센서 어레이 내의 LIDAR 센서 채널로부터 추출됨)를 갖는 시야(예를 들어, 컬러 이미지, 흡수 이미지, 편광 이미지, 및/또는 주변광 센서 채널로부터 추출된 다른 이미지)의 다중 스펙트럼 이미지를 제공하는 레인징/이미징 시스템에 통합될 수 있다. 다중 스펙트럼 레인징/이미징 시스템의 특정 구현은 특정한 다중 스펙트럼 센서 어레이에 부분적으로 의존한다. 예시를 위해, 2가지 유형의 레인징/이미징 시스템이 설명될 것이다. 본원에서 "각도(angular) 스캐닝"(종종 "회전(rotating)" 또는 "스핀(spinning)"이라고도 불림) 레인징/이미징 시스템으로 지칭되는 제1 유형은 상이한 시간에 시야의 상이한 부분을 포인팅하도록 센서 어레이(및 그와 관련된 광학계)를 회전시키거나, 또는 제어가능한 광학계(예를 들어, MEMS 검류계)를 사용하여 시야의 상이한 부분으로부터의 광을 상이한 시간에 어레이로 지향시킨다. 어느 경우든, 각도 스캐닝 시스템은 동일한 어레이(예를 들어, 도 2의 센서 어레이(200)의 행에 있는 상이한 센서) 상의 상이한 센서 채널들이 상이한 시간에 시야 내의 주어진 영역을 이미징(광자들을 검출함)하게 한다. 본원에서 "정지(static)"(또는 "고정(solid-state)") 레인징/이미징 시스템으로 지칭되는 제2 유형은, 센서 어레이의 움직임 없이 다수의 채널에서 시야를 이미징할 수 있는 2D 다중 스펙트럼 센서 어레이를 사용한다.
3.1. 각도 스캐닝 레인징/이미징 시스템
도 31a는 본원에 기술된 바와 같은 센서 어레이를 포함하는 각도 스캐닝(예를 들어, 회전 또는 스핀) 이미징/LIDAR 시스템(3100)을 위한 자동차 응용의 예를 도시한다. 자동차 응용은 여기서 단지 예시를 위해 선택되며, 본원에 기술된 센서들은 다른 유형의 탈 것들, 예를 들어, 보트, 비행기, 기차 등에도 이용될 수 있을 뿐만 아니라, 예를 들어 의료 영상, 측지학, 지오매틱스, 고고학, 지리학, 지질학, 지형학, 지진학, 임업, 대기 물리학, 레이저 가이드, 에어본 레이저 스와스 매핑(ALSM: airborne laser swath mapping), 및 레이저 고도계와 같이, 공간적으로 및 시간적으로 스펙트럼 이미지들에 의해 정합되는 3D 깊이 이미지들이 유용한 다양한 다른 응용들에서도 이용될 수 있다. 일부 실시예들에 따라, 스캐닝 이미징/LIDAR 시스템(3100)은 도시된 바와 같이 차량(3105)의 지붕 상에 장착될 수 있다. 다른 실시예에서, 하나 이상의 LIDAR 및/또는 이미징 센서는 차량의 전방 또는 후방, 차량의 측면 및/또는 차량의 코너를 포함하지만 이에 한정되지 않는 차량의 다른 위치에 장착될 수 있다.
도 31a에 도시된 스캐닝 이미징/LIDAR 시스템(3100)은 도 15의 방출 모듈(1510)과 같은 레이저 펄스들을 방출하기 위한 광원 모듈(3102), 및/또는 도 15의 감지 모듈(1540)과 같은, LIDAR 센서 채널들 및 주변광 센서 채널들(예를 들어, 전술한 다중 스펙트럼 센서 어레이들 중 임의의 것) 모두를 포함하는 센서 어레이를 포함할 수 있는 광 감지 모듈(3104)을 포함할 수 있다. 일부 실시예들에서, 광 방출 모듈(3102)은 광 감지 모듈(3104)과 동일한 하우징 내에 배치될 수 있다.
스캐닝 이미징/LIDAR 시스템(3100)은 스캐닝 아키텍처를 이용할 수 있고, 여기서 LIDAR 광 방출 모듈(3102) 및 광 감지 모듈(3104)의 배향은 차량(3105) 외부에 있는 외부 시야 또는 장면 내의 하나 이상의 시야(3110)(예를 들어, 일부 실시예들에서 360도 시야) 주변에서 스캔될 수 있다. 스캐닝 아키텍처의 경우에, 방출된 광(3112)은 도시된 바와 같이 주변 환경에 걸쳐 스캔될 수 있다. 예를 들어, 스캐닝 이미징/LIDAR 시스템(3100) 내에 위치된 하나 이상의 광원(적외선 또는 근적외선 펄스 IR 레이저와 같은(도시되지 않음))의 출력 빔(들)은 차량 주위의 한 장면을 조명하기 위해 스캔, 예를 들어 회전될 수 있다. 일부 실시예들에서, 회전 화살표(3115)로 표시되는 스캐닝은, 예를 들어, 광 방출기들 및 센서들을 회전 열 또는 플랫폼에 장착함으로써 기계적 수단에 의해 구현될 수 있다. 일부 실시예들에서, 스캐닝은 검류계와 같은 다른 기계적 수단을 사용하여 구현될 수 있다. 예를 들어, 디지털 마이크로-미러(DMD: digital micro-mirror) 장치, 디지털 광 처리(DLP: digital light processing) 장치 등과 같은, 하나 이상의 MEMS 기반 반사기를 이용하는 마이크로칩을 사용함으로써 칩-기반 조향 기술이 또한 이용될 수 있다. 방출기들의 경우, 이러한 미러 서브시스템들은 상이한 시간들에서 시야의 상이한 부분들 상으로 광을 지향시키도록 제어될 수 있으며, 센서들의 경우, 이러한 미러 서브시스템들은 상이한 시간들에서 센서 어레이의 상이한 부분들 상으로 시야로부터의 광을 지향시키도록 제어될 수 있다. 일부 실시예들에서, 스캐닝은 예를 들어, 하나 이상의 광학적 위상 변조 어레이들을 조정하기 위해 전자 신호들을 사용함으로써, 비-기계적 수단을 통해 실시될 수 있다.
장면 내의 객체들(예를 들어, 객체(3110))은 LIDAR 광원들로부터 방출되는 광 펄스들의 부분들을 반사할 수 있다. 그 후, 하나 이상의 반사된 부분들은 이미징/LIDAR 시스템으로 다시 이동하고, 검출기 회로에 의해 검출될 수 있다. 예를 들어, 반사된 부분(3114)은 광 센서 모듈(3104)에 의해 검출될 수 있다. 또한, 주변광(3116)은 검출기 회로(3104)로 진입할 수 있다.
도 31b는 일부 실시예들에 따른 스캐닝 이미징/LIDAR 시스템(3100)의 구조의 단순화된 예를 도시하는 측면도이다. 스캐닝 이미징/LIDAR 시스템(3100)은 예컨대 차량(3105)의 지붕에 장착될 수 있는 고정 베이스(3120)를 포함할 수 있다. 방출기 모듈(Tx)(3102) 및 광 센서 모듈(Rx)(3104)을 유지하는 회전 하우징(3122)은 고정 베이스(3120)에 회전 가능하게 연결될 수 있다.
도 32는 일부 실시예들에 따른 회전 이미징/LIDAR 시스템(3200)(예를 들어, 도 31의 스캐닝 이미징/LIDAR 시스템(3100)을 구현하는)의 블록도를 도시한다. 회전 이미징/LIDAR 시스템(3200)은 선택적으로, 무선 데이터 및 전력 송수신 능력을 갖는 회전 액추에이터를 이용할 수 있다. 일부 실시예들에서, 회전 액추에이터는 회전 회로기판의 표면 상에 집적되는 회전자(rotor) 및 고정 회로기판의 표면 상에 집적되는 고정자(stator)를 포함하며, 두 기판 조립체 모두는 무선 전력 및 데이터 전송 능력을 구비한다.
도 32에 도시된 회전 이미징/LIDAR 시스템(3200)은 2개의 주요 모듈들, 즉, 광 레인징/이미징(R/I) 디바이스(3220) 및 회전 액추에이터(3215)를 포함한다. 추가적으로, 회전 이미징/LIDAR 시스템(3200)은 사용자 인터페이스 하드웨어 및 소프트웨어(3205)의 하나 이상의 예들과 상호작용할 수 있다. 사용자 인터페이스 하드웨어 및 소프트웨어(3205)의 상이한 예들은 다양할 수 있으며, 예를 들어, 모니터, 키보드, 마우스, CPU 및 메모리를 갖는 컴퓨터 시스템, 자동차 내의 터치 스크린, 터치 스크린을 갖는 핸드헬드(handheld) 장치, 또는 임의의 다른 적절한 사용자 인터페이스를 포함할 수 있다. 사용자 인터페이스 하드웨어 및 소프트웨어(3205)는 회전 이미징/LIDAR 시스템(3200)이 장착되는 객체에 대해 국부적(local)일 수 있지만, 원격으로 운영되는 시스템일 수도 있다. 예를 들어, 회전 이미징/LIDAR 시스템(3200)으로의/으로부터의 명령 및 데이터는 셀룰러 네트워크(LTE 등), 개인 통신망(블루투스, 지그비(Zigbee) 등), 근거리 네트워크(Wi-Fi, IR 등), 또는 인터넷과 같은 광역 네트워크를 통해 라우팅될 수 있다.
사용자 인터페이스 하드웨어 및 소프트웨어(3205)는 디바이스로부터 사용자에게 LIDAR 데이터를 제공할 수 있고/있거나, 사용자 또는 상위 레벨 프로그램이 하나 이상의 명령을 이용하여 회전 이미징/LIDAR 시스템(3200)을 제어할 수 있게 한다. 예시적인 명령들은 이미징/LIDAR 시스템을 활성화 또는 비활성화하고, 광-검출기 노출 레벨, 바이어스, 샘플링 지속 기간 및 다른 동작 파라미터들(예를 들어, 방출된 펄스 패턴들 및 신호 처리를 위한)을 지정하며, 밝기와 같은 광 방출기 파라미터들을 지정한다. 또한, 명령들은 사용자 또는 상위 레벨 프로그램이 결과들을 디스플레이하거나 해석하기 위한 방법을 선택하게 할 수 있다. 사용자 인터페이스는, 예를 들어, 단일 프레임 스냅샷 이미지, 지속적으로 업데이트되는 비디오 이미지, 및/또는 일부 또는 모든 픽셀에 대한 다른 광 측정의 디스플레이를 포함할 수 있는 이미징/LIDAR 시스템 결과를 디스플레이할 수 있다. LIDAR 픽셀들에 대한 다른 광 측정들의 예들은 주변 잡음 강도, 리턴 신호 강도, 보정된 타겟 반사율, 타겟 분류(하드 타겟, 확산 타겟, 역반사성 타겟), 레인지, 신호 대 잡음비, 타겟 방사 속도, 리턴 신호 시간 펄스 폭 등을 포함한다. 일부 실시예들에서, 사용자 인터페이스 하드웨어 및 소프트웨어(3205)는 차량으로부터의 객체들의 거리(근접도)를 추적할 수 있고/있거나 주변광 센서 채널들로부터 결정된 시각적 특징들을 분석할 수 있다. 시각적 특징 및 거리 정보에 기초하여, 사용자 인터페이스 하드웨어 및 소프트웨어는, 예를 들어, 시야 내의 객체들을 식별하고 추적할 수 있고, 잠재적으로 운전자에게 경보를 제공하거나, 또는 운전자의 성능의 분석을 위해 이러한 추적 정보를 제공할 수 있다.
일부 실시예들에서, 이미징/LIDAR 시스템은 차량 제어 유닛(3210)과 통신할 수 있고, 차량의 제어와 관련된 하나 이상의 파라미터들은 수신된 LIDAR 및/또는 주변광 데이터에 기초하여 변경될 수 있다. 예를 들어, 완전 자율주행 차량에서, 이미징/LIDAR 시스템은 내비게이션을 보조하기 위해 차량 주변 환경의 실시간 3D 하이퍼스펙트럼 이미지를 제공할 수 있다. 다른 경우에, 이미징/LIDAR 시스템은 첨단 운전자 보조 시스템(ADAS: advanced driver-assistance system)의 일부로서 이용될 수 있거나, 또는 예를 들어, 3D 하이퍼스펙트럼 이미지 데이터를 임의의 수의 상이한 시스템들(예를 들어, 적응형 순향 제어, 자동 주차, 운전자 졸림 모니터링, 사각지대 모니터링, 충돌 회피 시스템 등)에 제공할 수 있는 안전 시스템의 일부로서 이용될 수 있다. 차량 제어 유닛(3210)이 광 레인징/이미징 디바이스(3220)에 통신 가능하게 연결되는 경우, 운전자에게 경보가 제공될 수 있거나 물체의 근접이 추적 및/또는 디스플레이될 수 있다.
광 레인징/이미징 디바이스(3220)는 광 감지 모듈(3230), 광 방출 모듈(3240), 및 광 레인징/이미징 시스템 컨트롤러(3250)를 포함한다. 광 감지 모듈(3230)은 전술한 광 감지 모듈(1540)과 유사할 수 있고, 도 2의 센서 어레이(200) 또는 도 4의 센서 어레이(400)와 같은 센서 어레이를 포함할 수 있다. 광 방출 모듈(3240)은 전술한 광 방출 모듈(1510)과 유사할 수 있다. 회전 액추에이터(3215)는 적어도 2개의 회로기판 조립체, 하부 회로기판 조립체(3260)(본원에서 베이스 서브시스템으로도 지칭됨) 및 상부 회로기판 조립체(3280)(또한 본원에서 터렛(turret) 서브시스템으로도 지칭됨)를 포함한다. 하부 회로기판 조립체(3260)는 인클로저 또는 하우징(도시되지 않음)의 고정된 부분에 기계적으로 장착될 수 있는 반면, 상부 회로기판 조립체(3280)는 인클로저에 (직접 또는 간접적으로) 또한 장착되는 샤프트(도 32에는 도시되지 않음)에 의해 일반적으로 정의되는 회전축을 중심으로 자유롭게 회전할 수 있다. 광 레인징/이미징 디바이스(3220)는 회전가능한 상부 회로기판 조립체(3280)에 기계적으로 부착될 수 있고, 따라서 하우징 내에서 자유롭게 회전할 수 있다.
도 32는 광 레인징/이미징 디바이스(3220) 및 회전 액추에이터(3215) 내의 구성요소들의 하나의 특정한 배열을 도시하지만, 일부 실시예들에서, 특정 구성요소들은 도시된 것과는 상이하게 하나 또는 다른 모듈에 통합될 수 있다. 일 예로서, 예를 들어, 임베디드 시스템 또는 시스템-온-칩(SOC)과 같은, FPGA, ASIC, 또는 더 일반적인 컴퓨팅 디바이스일 수 있는 레인징/이미징 시스템 컨트롤러(3250)는, 상부 회로기판 조립체(3280)의 일부인 인쇄회로기판에 직접(예를 들어, 납땜) 장착될 수 있다. 즉, 일부 실시예들에서, 회전 액추에이터의 부분들은 광 레인징/이미징 디바이스(3220) 내에 통합될 수 있고, 그 반대도 가능하다.
회전 액추에이터(3215)는 하부 및 상부 회로기판 조립체들(3260 및 3280)의 하나 이상의 인쇄회로기판들 상에 통합되는 다수의 상이한 시스템들을 포함한다. 예를 들어, 회전 액추에이터(3215)는 브러시리스(brushless) 전기 모터 조립체, 광학 통신 서브시스템, 무선 전력 전송 서브시스템, 및 베이스 컨트롤러를 포함할 수 있다. 이들 시스템들은, 상부 회로기판 조립체(3280) 상의 하나 이상의 회로 구성요소들과 협력하는(예를 들어, 상보적인 기능을 갖는) 하부 회로기판 조립체(3260) 상의 하나 이상의 회로 구성요소들을 포함하는 각각의 쌍을 갖는, 협력하는 회로 구성요소들의 쌍들에 의해 형성된다. 상보적 기능들은, 예를 들어, 후술하는 바와 같이 전력 및/또는 데이터 통신 신호들의 송신(Tx) 및 수신(Rx)을 포함한다.
브러시리스 전기 모터 조립체는 하부 회로기판 조립체(3260)의 인쇄회로기판 상에 집적되는 고정자 조립체(3262), 및 상부 회로기판 조립체(3280)의 인쇄회로기판 상에 집적된 회전자 조립체(3282)를 포함한다. 회전자 조립체(3282)의 회전은 구동 신호, 예를 들어, 모터 구동기 회로(3264)로부터 기원하는 3상 구동 전류로부터 구동된다. 일부 실시예들에서, 하나 이상의 모터 제어 라인들은 구동 신호가 모터 고정자에 제공될 수 있도록 모터 구동기 회로를 고정자 조립체(3262)의 코일에 연결한다. 또한, 베이스 컨트롤러(3266)가 회전자 조립체의 회전 속도를 제어할 수 있고 따라서 광 레인징/이미징 디바이스(3220)의 회전 속도(즉, 프레임 레이트)를 제어할 수 있도록, 모터 구동기 회로(3264)는 베이스 컨트롤러(3266)에 전기적으로 연결될 수 있다.
일부 실시예들에서, 회전자 조립체(3282)는 10 Hz 내지 30 Hz 사이의 속도로 회전할 수 있다. 일부 실시예들에서, 회전자 조립체(3282)는 상부 회로기판 조립체의 회로기판에 부착되는 일련의 영구 자석들을 포함하는 수동 디바이스일 수 있다. 이들 영구 자석은, 전자기력에 의해, 예를 들어, 하부 회로기판 조립체(3260)에 대해 상부 회로기판 조립체(3280)의 회전을 구동하기 위해 고정자 조립체의 코일에 의해 발생되는 전자기력에 의해, 끌어당겨지거나 반발된다. 상부 회로기판 조립체(3280)의 회전 배향은, 회전 인코더(3274) 상의 하나 이상의 특징부의 통과를 검출함으로써 상부 회로기판 조립체의 각도 위치를 추적할 수 있는 회전 인코더 수신기(3294)에 의해 추적될 수 있다. 다양한 상이한 회전 인코더 기술들이 이용될 수 있다. 일부 실시예들에서, 회전 인코더(3274)는 하부 회로기판 조립체(3260)의 회로기판의 표면 상에 직접 집적된다.
회전 액추에이터(3215)는 또한 본원에서 회전 변압기(rotary transformer)로 지칭되는 구성으로, 무선 전력 송신기(3272) 및 무선 전력 수신기(3292)를 포함하는 무선 전력 시스템을 포함할 수 있다. 송신기(3272)로부터 무선 전력 수신기(3292)에 송신된 전력은 광 레인징/이미징 디바이스(3220) 및/또는 터렛/상부 회로기판 조립체 상의 전력을 필요로 하는 임의의 회로에 의해 소비될 수 있다. 일부 실시예들에서, 광 레인징/이미징 디바이스(3220)에 의해 요구되는 모든 전력은 무선 전력 수신기(3292)를 통해 제공되고, 따라서 슬립 링(slip ring) 또는 수은 기반 디바이스(mercury based device)와 같은 회전 전기 커플러(rotary electric coupler)가 필요없이, 전체 시스템의 신뢰성을 증가시키고 비용을 감소시킨다.
회전 액추에이터(3210)는 또한, 다수의 광 방출기들(예를 들어, 광 방출기들(3278 및 3296))과, 회전 액추에이터(3215) 및 광 레인징/이미징 디바이스(3220) 사이의 양방향 비접촉 데이터 전송을 위해 사용되는 다수의 광 수신기들(예를 들어, 광 수신기들(3276 및 3298))(또는 회전 액추에이터(3215)의 상부 회로기판 조립체(3280)에 기계적으로 연결되는 임의의 다른 디바이스 또는 시스템)을 포함하는 광 통신 서브시스템을 포함할 수 있다. 보다 구체적으로, 광 통신 서브시스템은 이미징/LIDAR 시스템(3200)의 고정 베이스의 일부인 하부 회로기판 조립체(3260)에 부착되는(예를 들어, 납땜된) 기본 광 통신 구성요소들의 세트를 포함할 수 있고, 이미징/LIDAR 시스템(3200)의 회전하는 터렛의 일부인 회전하는 상부 회로기판 조립체(3280)에 부착되는(예를 들어, 납땜된) 터렛 광 통신 구성요소들의 세트를 포함할 수 있다. 이러한 광 통신 구성요소들은 제어 신호들을 포함하는 광 신호들을 광 레인징/이미징 디바이스(3220)에 제공하기 위한 상향링크 데이터 채널을 제공하고, 또한 광 레인징/이미징 디바이스(3220)로부터 베이스 컨트롤러(3266), 사용자 인터페이스 하드웨어 및 소프트웨어(3205), 및/또는 차량 제어 유닛(3210)으로의 레인징 및 동작 데이터를 포함하는 광 신호들을 제공하기 위한 하향링크 데이터 채널을 제공한다.
상부 회로기판 조립체(3260)로부터 하부 회로기판 조립체(3280)로의 하향링크 광 통신 채널은 광 하향링크 송신기(3296) 및 광 하향링크 수신기(3276) 사이에 생성될 수 있다. 광 레인징/이미징 디바이스(3220)는 상부 회로기판 조립체(3280)에 직접 연결될 수 있고, 따라서 하향링크 광 통신 채널에 액세스하여, 추가적인 사용을 위해 하부 회로기판 조립체(3260)에 레인징 및 동작 데이터를 전달할 수 있다. 일부 실시예들에서, 광 하향링크를 통해 광 신호들에서 하향 전달된 데이터는 시야 내의 개별적인 포인트들(픽셀들)에 대한 범위 데이터(또는 가능하게는 단일 픽셀 및 각도에 대한 다수의 범위들, 예를 들어, 안개/우천 시, 유리창을 통해 관찰할 때 등), 방위각 및 고도각 데이터, 리턴 시의 신호 대 잡음비(SNR) 또는 신호 강도, 타겟 반사도, 각각의 픽셀 시야로부터 나오는 주변 근적외선(NIR) 레벨들, 온도, 전압 레벨 등과 같은 광 레인징/이미징 디바이스로부터의 진단 동작 정보를 포함할 수 있다. 또한, 회전 액추에이터의 상부 회로기판(3280)에 연결된 임의의 다른 시스템으로부터의 데이터는 광 하향링크를 통해 하향 전달될 수 있다. 예를 들어, 고속 RGB 또는 열 카메라, 라인 스캔 카메라 등으로부터의 데이터가 전달될 수 있다.
하부 회로기판 조립체(3260)로부터의 상향링크 광 통신 채널은 광 상향링크 송신기(3278) 및 광 상향링크 수신기(3298) 사이에 생성될 수 있다. 일부 실시예들에서, 베이스 컨트롤러(3266)로부터의 제어 신호들은 광 상향링크 통신 채널을 통해 광 레인징/이미징 디바이스(3220)로 전달될 수 있다. 예를 들어, 일부 실시예들에서, 베이스 컨트롤러(3266)는 (하향링크 채널로부터 수신된 바와 같이) 디바이스 내의 다양한 온도들을 모니터링할 수 있고, 과열 조건의 경우에, 상향링크 채널을 통해 긴급 셧다운 신호를 광 레인징/이미징 디바이스(3220)로 전송할 수 있다. 일부 실시예들에서, 베이스 컨트롤러는 모바일 컴퓨터, 예를 들어, 연관된 메모리 및 I/O 성능(예를 들어, 이더넷 등)을 갖는 ARM+FPGA 아키텍처를 이용하는 프로그래머블 시스템-온-칩일 수 있다.
레인징 데이터는 광 방출 모듈(3240)로부터 광 레인징/이미징 디바이스를 둘러싸는 시야 내의 객체들로 하나 이상의 광 펄스들을 전송함으로써 광 레인징/이미징 디바이스(3220)에 의해 생성될 수 있다. 그 후, 전송된 광의 반사된 부분들은 일부 지연 시간 후에 광 감지 모듈(3230)에 의해 검출된다. 보통 "전파 시간(time of flight)"으로 지칭되는 지연 시간에 기초하여, 반사 표면까지의 거리가 결정될 수 있다. 다른 레인징 방법들, 예를 들어, 연속 파, 도플러 등이 이용될 수 있다.
레인징 데이터에 추가하여, 광 레인징/이미징 디바이스(3220)는 주변광에 기초하여 광 강도 데이터를 생성할 수 있다. 예를 들어, 광 감지 모듈(3230)은 (예를 들어, 전술한 바와 같이) 다양한 파장 대역들에 동조되는 하나 이상의 주변광 센서 채널들을 포함할 수 있고, 주변광 센서 채널들은 특정 시간 간격(본원에서 "셔터 간격"으로 지칭됨)동안 검출된 채널 파장 대역의 광자들을 카운트하도록 동작될 수 있다. 특정 채널 내의 광자 카운트는 그 파장 대역에서의 광의 강도를 나타낸다. 다른 주변광 센서 채널은 (예를 들어, 상이하게 배향된 편광 채널에 의해 검출된 광자 카운트에서의 차이를 결정함으로써) 편광과 같은 주변광의 다른 특성 및/또는 (예를 들어, 흡수 대역을 포함하는 더 넓은 대역에 동조된 다른 채널 내의 광자의 수 대비 흡수 대역에 동조된 채널 내의 광자의 수를, 흡수를 나타내는 흡수 대역에서의 결손과 함께 비교함으로써) 특정 파장에서의 흡수를 측정하기 위해 사용될 수 있다.
광 방출 모듈(3240)은 방출기 어레이(3242)(예를 들어, 전술한 방출기 어레이(1520)) 및 전송(Tx) 광학 시스템(3244)(예를 들어, 전술한 Tx 광 모듈들을 포함함)을 포함할 수 있다. 광 방출 모듈(3240)은 프로세서(3246) 및 메모리(3248)를 더 포함할 수 있지만, 일부 실시예들에서 이러한 컴퓨팅 자원들은 레인징/이미징 시스템 컨트롤러(3250)에 통합될 수 있다. 일부 실시예들에서, 펄스 코딩 기술, 예를 들어, 바커(Barker) 코드 등이 사용될 수 있다. 이러한 경우들에서, 메모리(3248)는, 광이 전송되어야 하는 때를 나타내는 펄스-코드들을 저장할 수 있다. 일 실시예에서, 펄스 코드들은 메모리에 저장된 정수들의 시퀀스로서 저장된다.
광 감지 모듈(3230)은 센서 어레이(3232) 및 수신기(Rx) 광학 시스템(3234)을 포함할 수 있다. 센서 어레이(3232)는 예를 들어, 센서 어레이(200) 또는 센서 어레이(400)(또는 유사한 센서 어레이)의 일 구현일 수 있으며, 전술한 바와 같이 LIDAR 센서 채널들(또는 다른 레인징 센서 채널들) 및 주변광 센서 채널들을 모두 포함하는 센서 채널들의 행들을 포함할 수 있다.
전술한 바와 같이, 프로세서(3236) 및 메모리(3238)(예를 들어, SRAM)는 신호 처리를 수행할 수 있다. 레인징 센서 채널에 대한 신호 처리의 예로서, 각각의 광 센서 또는 광 센서들의 그룹에 대해, 광 감지 모듈(3230)의 메모리(3238)는 연속적인 시간 빈(time bin)들에 걸쳐 검출된 광자들의 카운트들을 축적할 수 있고, 이들 시간 빈들은 함께 사용되어 반사된 광 펄스의 시계열(즉, 광자의 카운트 대 시간)을 재생성할 수 있다. 집적된 광자 카운트들의 이러한 시계열은 본원에서 강도 히스토그램(또는 단지 히스토그램)으로 지칭된다. 또한, 프로세서(3236)는 SPAD 포화 및 퀀칭에 기인할 수 있는 펄스 형상 왜곡에 덜 민감한 광자 시계열을 복구하는 것을 보조하기 위해, 매칭된 필터링과 같은 소정의 신호 처리 기술들을 적용할 수 있다. 주변광 센서 채널에 대한 신호 처리의 예로서, 각각의 광 센서 또는 광 센서들의 그룹에 대해, 광 감지 모듈(3230)의 메모리(3238)는 단일 시간 간격("셔터 간격"이라 함)에 걸쳐 검출된 광자들의 카운트들을 축적할 수 있다. 셔터 간격은, 예를 들어, 레인징 센서 채널들에 대한 강도 히스토그램을 구성하는데 사용되는 시간 빈들의 누적 길이만큼 길 수 있거나, 또는 더 길거나 더 짧은 시간 간격일 수 있다. 셔터 간격 동안 특정 주변광 센서 채널에 의해 축적된 광자 카운트는 그 주변광 센서 채널에 의해 수신된 광의 강도를 나타낼 수 있다. 일부 실시예들에서, 프로세서(3236)는 신호 처리 기술들, 예를 들어, 잡음을 감소시키기 위해 및/또는 강도 측정들에서의 채널-대-채널 변화를 보상하기 위해 보정-기반 교정들을 적용할 수 있다. 일부 실시예들에서, 레인징/이미징 시스템 컨트롤러(3250)의 하나 이상의 구성요소들은 또한, 센서 어레이(3232), 프로세서(3236) 및 메모리(3238)와 동일한 ASIC에 집적될 수 있으며, 이에 따라 레인징 컨트롤러 모듈을 분리시킬 필요가 없을 수 있다.
일부 실시예들에서, 프로세서(3236)로부터의 출력은 추가적인 처리를 위해 레인징/이미징 시스템 컨트롤러(3250)로 전송된다. 예를 들어, 데이터는 레인징/이미징 시스템 컨트롤러(3250)의 하나 이상의 인코더들에 의해 인코딩될 수 있고, 이어서 데이터 패킷들로서 광 하향링크를 통해 하부 회로기판 조립체(3260)로 전송될 수 있다. 레인징/이미징 시스템 컨트롤러(3250)는 예를 들어, ASIC 또는 ASIC의 일부로서 FPGA와 같은, 메모리(3254)를 갖는 프로세서(3252)를 사용함으로써, 그리고 상기의 일부 조합을 사용함으로써 등 여러 방식으로 구현될 수 있다. 레인징/이미징 시스템 컨트롤러(3250)는 베이스 컨트롤러(3266)와 협력하거나, 또는, 광 검출의 시작 및 정지, 광-검출기 파라미터들의 조정을 포함하는 명령들을 전송함으로써 광 감지 모듈(3230)을 제어하기 위해 (사전 프로그램된 명령들을 통해) 베이스 컨트롤러와 독립적으로 동작할 수 있다. 유사하게, 레인징/이미징 시스템 컨트롤러(3250)는 명령들을 전송함으로써, 또는, 광 방출의 시작 및 정지 제어와 방출기 온도 제어(파장 동조를 위한), 방출기 구동 전력 및/또는 전압과 같은 다른 광-방출기 파라미터들을 조정할 수 있는 제어를 포함하는, 베이스 컨트롤러(3266)로부터의 명령들을 중계함으로써, 광 방출 모듈(3240)을 제어할 수 있다.
방출기 어레이(3242)가 다수의 독립적인 구동 회로들을 갖는 경우, 레인징/이미징 시스템 컨트롤러(3250)에 의해 적절하게 시퀀싱될 수 있는 다수의 온/오프 신호들이 있을 수 있다. 마찬가지로, 방출기 어레이가 어레이 내의 상이한 방출기들을 상이하게 동조하기 위해 다수의 온도 제어 회로들을 포함하는 경우, 송신기 파라미터들은 다수의 온도 제어 신호들을 포함할 수 있다. 일부 실시예들에서, 레인징/이미징 시스템 컨트롤러(3250)는 광 감지 모듈(3230) 및 광 방출 모듈(3240)과 데이터를 교환하기 위한 하나 이상의 유선 인터페이스들 또는 커넥터들(예를 들어, 회로기판 상의 트레이스들)을 갖는다. 다른 실시예들에서, 레인징/이미징 시스템 컨트롤러(3220)는 광 통신 링크와 같은 무선 인터커넥트를 통해 광 감지 모듈(3230) 및 광 방출 모듈(1840)과 통신한다.
스캐닝 레인징/이미징 시스템의 특정 예가 상세히 설명되었지만, 본 개시에 대해 접근하는 통상의 기술자는 2차원으로 래스터 스캐닝을 수행하는 스캐닝 레인징/이미징 시스템을 포함하는 다른 구현들이 가능하다는 것을 이해할 것이다. 래스터 스캐닝 메커니즘은 예를 들어, 2차원으로 센서 어레이를 이동시키기 위한 전기 모터(예를 들어, 직교축을 따른 또는 축 주위의 선형 또는 회전 이동과 결합된 하나의 축 주위의 회전 운동), 2개 이상의 직교 축을 중심으로 회전가능한 팁-틸트 미러 시스템, 또는 센서 어레이와 미러 시스템의 움직임의 조합(예를 들어, 래스터 스캐닝 메커니즘은 하나의 방향으로 센서 어레이를 이동시키고 직교 방향으로 스캐닝을 제공하기 위해 미러를 이동시킬 수 있음)을 포함할 수 있다.
3.2. 스캐닝 레인징/이미징 시스템의 동작
이미징 동작의 일 예에서, 광 레인징/이미징 디바이스(3220)의 회전(또는 다른 스캐닝)은 센서 어레이의 행 내의 각각의 센서 채널에 의해 시야 내의 주어진 위치가 연속적으로 이미징되도록 셔터 간격들(LIDAR 활성 감지 간격들에 대응할 수 있음)과 함께 조정될 수 있다. 즉, 셔터 간격들 사이의 시간은 이미징/LIDAR 센서 어레이의 회전 속도에 의해 나누어진 인접한 이미지 픽셀들 사이의 각도 거리에 기초할 수 있다. 센서 채널들은 공간 내의 동일한 지점을(약간 상이한 시간들에서) 이미징하기 때문에, 상이한 채널들로부터 획득된 이미지들 사이의 정합은, 객체-식별 또는 포인트-맵핑 알고리즘들이 필요 없이, 본질적(inherent)이다. 또한, 이미징 동작의 속도가 충분히 빠른 경우, 연속적인 채널을 이용한 이미징 사이에 거의 변화가 발생하지 않았다고 가정할 수 있고, 따라서 이미지들은 동일한 장면에 대응한다. 따라서, 일부 실시예들에서, 센서 어레이(200) 또는 센서 어레이(400)와 같은 행 기반 센서 어레이는 넓은 시야(예를 들어, 360도까지)에 걸친 다중 스펙트럼 이미징을 가능하게 할 수 있다.
도 33a 및 도 33b는 전술한 센서 어레이(200) 또는 센서 어레이(400)와 유사한 이미징/LIDAR 센서 어레이를 사용하는 이미징 채널들 간의 본질적 정합을 갖는 다중 스펙트럼 이미징의 예를 도시한다. 도 33a는 스캔될 시야(3300)(예를 들어, 360도 시야)를 도시한다. 예시를 위해, 이미징 처리의 설명은 시야(3300) 내의 특정 이미지 영역(3302)을 지칭할 것이지만, 동일한 원리들이 시야(3300)의 모든 부분들에 적용될 수 있다.
도 33b는 영역(3302)의 본질적으로 정합된 이미지들의 세트를 생성하기 위해 행-기반 이미징/LIDAR 센서 어레이(예를 들어, 임의의 센서 어레이(200, 400, 또는 500))를 사용하는 스캐닝 동작에서 연속적인 스테이지들에서의 데이터 수집의 진행을 도시한다. 이 예에서, 센서 어레이(명시적으로 도시되지 않음)는 각각의 센서 행 내의 상이한 색들(또는 파장 영역들) 및 하나의 LIDAR 채널에 동조되는 5개의 주변광 채널들을 갖는 것으로 가정된다. 또한, 센서 어레이의 행 내의 주변광 센서 채널들은 균일한 선형 피치(p)에 의해 이격되어 있고, 이미징/LIDAR 센서 어레이를 위해 제공되는 벌크 광학 모듈은 피치 각(α)을 통한 이미징/LIDAR 시스템의 회전이 (예를 들어, 전술한 바와 같이) 선형 피치(p)에 의해 근사적으로 시야를 이동시키도록 하는 F tan θ의 초점 길이 왜곡 프로파일을 갖는다고 가정한다.
제1 시간(t= 1)에서, 센서 어레이는 제1 셔터 간격 동안 동작된다. 각각의 채널은 대표적인 컬러 점들(3305)로 표시된 바와 같이, 영역(3302) 내의 상이한 위치(또는 대상 공간 픽셀)에 대응하는 데이터를 수집한다. 예를 들어, 박스(3309)로 표시된 대상 공간 픽셀은 녹색 센서 채널(3306G)에 의해 샘플링(또는 이미징)된다. 센서 채널들의 실제 수는 도 33b에 도시된 컬러 점들(3305)의 수보다 상당히 클 수 있고, 예를 들어, 5개를 초과하는 센서 행들이 존재할 수 있고, 행들의 밀도는 도시된 것보다 상당히 더 클 수 있음을 이해해야 한다.
시간 t= 2에서, 센서 어레이는 피치 각(α)을 통해 이동했으며, 이는 영역(3302)에 비해, 라이너 피치(p)와 동일한 거리만큼 각각의 채널을 우측으로 이동시키고, 컬러 점(3305)은 우측으로 한 피치만큼 이동되었다. 이 때, 센서 어레이는 제2 셔터 간격 동안 동작되고, 여기서, 대상 공간 픽셀(3309)은 노란색 센서 채널(3306Y)에 의해 샘플링된다. (시간 t= 2 이후에, 백색 점들(3307)은, 이전 셔터 간격에서의 컬러 점(3305)에 대응하는 적어도 하나의 센서 채널에 의해 샘플링되었지만 임의의 컬러 점들(3305)에 대응하는 채널에 의해 현재 샘플링되지는 않는 위치들을 표시한다.)
시간 t= 3에서, 센서 어레이는 동일한 피치 각(α)을 통해 다시 이동하여, 시간 t= 3에서, 대상 공간 픽셀(3309)이 주황색 센서 채널(3306O)에 의해 샘플링되도록 각각의 채널을 또다른 피치만큼 우측으로 이동시킨다. 유사하게, 시간 t= 4에서, 대상 공간 픽셀(3309)은 적색 센서 채널(3306R)에 의해 샘플링된다. 이런 식으로 진행하면, 대상 공간 픽셀(3309)(및 영역(3302) 내의 다른 위치들)은 결국에는 LIDAR 센서 채널(3312)을 포함하는 센서 어레이의 특정 행에 존재하는 모든 센서 채널에 의해 샘플링될 수 있다. 채널 피치는 작을 수 있고, 360도 회전 당 샘플링 간격들의 수가 클 수 있으며(예를 들어, 회전마다 1024, 2048, 또는 4096 샘플링 간격들), 도 33b에 의해 제안된 것보다 더 높은 이미지 해상도를 제공할 수 있음을 이해해야 한다. 대상 공간 픽셀들의 크기 및 형상은, 센서 어레이의 행들(및 시야의 크기)의 간격에 의해 비-스캐닝 방향으로, 그리고 연속적인 샘플링 동작들 사이의 각도에 의해 스캐닝 방향으로 결정된다. 특정 시스템 설계에 따라, 대상 공간 픽셀들은 이미지 처리 및 이미지 분석을 용이하게 할 수 있는 단순한 종횡비(예를 들어, 1:1 또는 2:1등)를 가질 수 있다.
이 예에서, 행 내의 인접 주변광 센서 채널들은 상이한 센서들을 사용하여 캡처된 이미지들의 본질적 정합을 용이하게 하는 균일한 피치(p)를 갖는다. 도시된 바와 같이, LIDAR 센서 채널(3302)은 주변광 센서 채널들의 균일한 피치보다 더 큰 간격을 갖는다. 일부 실시예들에서, 행 내의 LIDAR 센서 채널(3312)과 인접한 주변광 센서 사이의 간격은 주변광 센서 채널들의 균일한 피치(p)의 정수배일 수 있고(이 예에서, 센서들의 상부 행은 가장 근접한 주변광 센서 채널로부터 2p만큼 이격된 LIDAR 센서 채널(3312)을 가짐), 이는 여전히 LIDAR 센서 채널 및 주변광 센서 채널들 사이에서 본질적 정합을 가능하게 한다. (이는 도 33b에 도시되어 있다.) 더 일반적으로, 센서 채널들의 각도 피치가 연속적인 셔터 간격들 사이의 각도 변위(또는 측정 각도)의 정수배인 경우, 즉, 이미징/LIDAR 센서 어레이를 위해 제공된 벌크 광학 모듈이 F tan θ의 초점 길이 왜곡 프로파일을 갖는 경우에, 행 내의 상이한 센서 채널들로부터의 데이터는 시야 내의 동일한 위치에 본질적으로 정합될 수 있다. 이러한 상태가 만족되지 않는 실시예들에서, 이미징 동작이 수행될 수 있고, 상이한 센서 채널로부터의 데이터는 일반적으로 신뢰할 수 있는 정합된 이미지를 생성하는 데에 사용될 수 있지만(상이한 센서 채널들 사이의 공간 관계가 고정되기 때문에), 이미지 처리는 보다 복잡할 수 있다.
일부 실시예들에서, 회전 레인징/이미징 시스템은 연속적으로(예를 들어, 10 Hz 내지 30 Hz의 속도로) 회전할 수 있고, 데이터 수집을 시작 및 중지할 때의 현재의 회전 각도에 기초하여 결정할 수 있다. 예를 들어, 도 32를 참조하여 전술한 바와 같이, 회전 액추에이터(3215)는 회전 인코더(3274)를 포함할 수 있고, 회전 인코더 수신기(3294)는 (센서 어레이(3232)에 견고하게 연결된) 상부 회로기판 조립체(3280)의 각도 위치를 추적할 수 있다. 균일하게 이격된 각도 위치들에 대응하는 M개의 "측정 각도들" Φ i (i = 1, 2, ... M)의 세트는 정수(N)(여기서, α는 센서 어레이의 피치 각도임)에 대해서 Φ i - Φ i- 1 = α/N일 수 있도록 정의될 수 있다. 일부 실시예들에서, N = 1이다. 측정 각도의 개수 M은 M = 360°/(α/N)(또는 보다 일반적으로는 Θ/(α/N)이고, Θ는 센서 어레이가 스캔 동안 이동하는 각도임)로서 선택될 수 있다. 일 예에서, 회전 인코더(3274)는 2048개의 스텝을 갖고, 센서 어레이 및 벌크 광학 모듈은 α=360°/2048로 설계된다.
센서 어레이(3232)는 균일한 각속도로 연속적으로 (광 레인징/이미징 디바이스(3220)의 나머지와 함께) 회전할 수 있고, LIDAR 센서 채널은 신호를 연속적으로 생성할 수 있다. 메모리(3238)는 연속적인 시간 빈들에 걸쳐 검출된 광자들의 카운트들을 축적할 수 있으며, 이는 전술한 바와 같이 강도 히스토그램을 생성하는 데에 사용될 수 있다. 컨트롤러(예를 들어, 도 32의 R/I 시스템 컨트롤러(3250))는 인코더 위치가 측정 각도들(Φ i ) 중 하나에 대응할 때를 나타내는 신호를 수신할 수 있다. 이 신호는 또한 "마커" 신호로 지칭되며, LIDAR 센서 채널들에 대한 연속적인 측정 주기들 사이의 경계를 표시한다. 이 신호에 응답하여, 메모리(3238)에서 수집된 히스토그램 데이터는 분석을 위해 디지털 신호 프로세서(DSP)(예를 들어, 프로세서(3236))로 전송될 수 있고, 이는 예를 들어, 반사된 LIDAR 펄스들의 정확한 수신 시간을 결정하기 위해 히스토그램 데이터에 필터들을 적용하는 것을 포함할 수 있다. 동일한 신호에 응답하여, 메모리(3238)는 그 다음 히스토그램에 대한 데이터를 축적하기 시작할 수 있다. 일부 실시예들에서, 메모리(3238)는 광자-카운트들만을 저장하는 2개(또는 그 이상의) 뱅크들을 포함할 수 있고, 교대되는 측정 주기들로부터의 광자 카운트 데이터는 교대로 뱅크들에 저장될 수 있다.
일부 실시예들에서, 마커 신호는 또한, 주변광 센서 채널들의 셔터 간격을 개시하기 위한 트리거로서 사용될 수 있다. 셔터 간격 동안, (셔터 간격에 걸쳐 축적된) 단일 광자 카운트는 각각의 주변광 센서 채널에서 수신된 신호로부터 결정될 수 있다. 각각의 주변광 센서 채널로부터의 광자 카운트는 LIDAR 센서 채널들로부터의 히스토그램 데이터와 함께 DSP로 전송될 수 있다. 셔터 간격은 측정 주기와 동일한 지속기간 또는 필요에 따라 상이한(예를 들어, 더 짧은) 지속기간을 가질 수 있다. 일부 실시예들에서, 셔터 간격은, 예를 들어, 하나 이상의 주변광 센서 채널들 내의 현재의 광 레벨들에 기초하여 동적으로 변할 수 있는데, 더 짧은 셔터 간격들은 광 센서들의 포화를 방지하도록 선택되고, 더 긴 셔터 간격들은 낮은-광 조건들 하에서 선택된다.
측정 동안의 연속적인 회전은 전술한 바와 같은 다중 스펙트럼 센서 어레이와 함께 사용될 수 있다. 측정 동안 연속적인 회전은 또한, LIDAR 채널들의 다수의 열들을 포함하는 LIDAR 전용 센서 어레이(예를 들어, 도 1에 도시된 바와 같이 스태거될 수 있음, 그리고/또는 상이한 방출 주파수들로 동조될 수 있음)와 같은 다른 유형의 센서 어레이들과 함께 사용될 수 있다. 또한, 연속적인 회전이 필수적이지는 않음을 이해해야 한다. 일부 실시예들에서, 회전 레인징/이미징 시스템은 단계별 방식으로 데이터를 회전 및 수집할 수 있으며, 예를 들어, 제1 측정 각도로 회전하고, 측정 주기 동안 데이터를 수집한 다음, 그 다음 측정 각도로 회전하고 데이터 수집을 반복할 수 있다.
3.3. 주변광 채널에서 증가된 해상도를 갖는 스캐닝
도 33a 내지 도 33b의 예에서, 다중 스펙트럼 센서 어레이를 사용하는 스캐닝 레인징/이미징 시스템은 모든 채널 유형들에 대해 동일한 공간 해상도를 갖는 이미지들을 생성한다. 일부 응용예들에서, LIDAR 채널의 수에 비해 주변광 센서 채널의 공간 해상도를 증가시키는 것이 바람직할 수 있다. 스캐닝 방향 및 비-스캐닝 방향 모두에서 주변광 센서 채널에 대한 강화된(증가된) 공간 해상도를 제공할 수 있는 다중 스펙트럼 센서 어레이의 예들이 이제 설명될 것이다.
도 34는 일부 실시예들에 따른 센서 어레이(3400)의 단순화된 정면도이다. 센서 어레이(3400)는 전술한 도 2의 센서 어레이(200)와 유사한 1D 센서 어레이일 수 있고, LIDAR 센서 채널들(202) 각각은 주변광 센서 채널들(3406a-d)을 포함하는 행(3404)과 연관된다. 이 예에서, 주변광 센서 채널들(3406a-d)은 각각 동일한 유형의 광학 필터를 갖고, 이는 예를 들어, 넓은 스펙트럼의 가시광 필터(예를 들어, 약 425 nm 내지 약 700 nm의 통과대역을 가짐)일 수 있다. 다양한 유형의 광학 필터(예를 들어, 편광 필터, 컬러 필터 등)가 사용될 수 있고, 일부 실시예들에서 주변광 센서 채널들(3406a-d)은 광학 필터를 갖지 않을 수 있으며, 이 경우 주변광 센서 채널들(3406a-d)에 의해 검출가능한 파장의 범위는 주변광 센서 채널들(3406a-d) 내의 광 센서들의 파장 범위에 의해 결정될 수 있다. 주변광 센서 채널들(3406a-d)은 상이한 "서브픽셀" 개구들(어두운 정사각형들(3410)으로 표시됨)을 갖는다. 어두운 정사각형들(3410)은 개구 평면 내의 개구를 나타내고, 개구 평면은 채널들(3406a-d)과 연관된 영역의 다른 부분들 위에서는 불투명함을 이해해야 한다. 이 예에서, 각각의 서브픽셀 개구는 채널 영역의 상이한 사분면을 노출시킨다.
동작 시, 센서 어레이(3400)는 도 33a 및 33b를 참조하여 전술한 바와 같이 스캐닝을 수행할 수 있다. 주변광 센서 채널들(3406a-d)이 대상 공간 픽셀에 걸쳐 스캔됨에 따라, 각각의 채널(3406a-d)은 동일한 유형의 광학 필터를 사용하여 상이한 "서브픽셀"(즉, 대상 공간 픽셀의 총 면적의 서브세트)을 샘플링한다. 이런 식으로, LIDAR 채널(202)의 해상도의 4배 해상도를 갖는 주변광 이미지가 생성될 수 있다. 따라서, 채널들(3406a-d)과 같은 주변광 센서 채널들은 또한 "해상도-향상된" 주변광 센서 채널들로 지칭된다.
도 34의 예에서, 각각의 주변광 센서 채널(3406a)은 입사광의 1/4을 수신한다. 다른 실시예들에서, 여전히 서브픽셀 해상도를 갖는 데이터를 제공하면서 더 많은 광을 허용하기 위해 공간 인코딩 기법이 사용될 수 있다. 예를 들어, 도 35는 일부 실시예들에 따라 공간적으로 인코딩된 서브픽셀 개구들을 갖는 4개의 주변광 센서 채널들(3506a-d)의 세트를 도시한다. 이 예에서, 채널(3506a)의 개구(어두운 영역)는 전체 채널 영역을 노출시키는 반면, 채널들(3506b, 3506c, 및 3506d)의 개구들은 각각 채널 영역의 상이한 사분면을 차단(백색 영역)한다. 채널들(3506a-d)로부터의 강도 측정들(예를 들어, 광자 카운트들) C0-C3은 픽셀(3524)의 서브픽셀들(S0, S1, S2, S3)에 대한 서브픽셀 값들을 계산하기 위해 다음의 수식들을 구현할 수 있는 산술 논리 회로(3520)에 제공될 수 있다.
도 34 및 35의 예들은 각각의 방향에서 이미지 해상도를 2배로 하는 채널 영역의 사분면들로서 서브픽셀들을 도시한다. 다른 실시예들은 상이한 해상도 증가를 제공할 수 있다. 예를 들어, 더 높은 해상도는 더 많은 주변광 채널들(3406 또는 3506)에 더 작은(채널 영역에 비해) 서브픽셀 개구들을 제공함으로써 달성될 수 있고, 해상도의 상한은 허용가능한 정확도로 강도를 측정하는 데에 필요한 개구 크기에 기초할 수 있다. 일부 실시예들에서, 서브픽셀 개구들은 서브픽셀들이 정사각형 그리드를 형성하도록(예를 들어, 도 34 및 도 35에 도시된 바와 같이) 배열되지만, 이것은 필수적이지 않으며, 다른 샘플링 패턴들(정사각형 패턴이 아닌 직사각형을 포함함)이 사용될 수 있다. 또한, 도 34 및 35에 도시된 개구들은 정사각형 또는 6변(한쪽 코너에서 정사각형의 만입부를 가짐) 영역들이지만, 이 또한 필수적이지 않으며, 다른 형상을 갖는 원형 개구 또는 개구들이 또한 사용될 수 있다. 서브픽셀 샘플링에 사용되는 주변광 센서 채널들의 그룹 내의 모든 주변광 센서 채널들이 동일한 유형의 광학 필터를 구비하여, 동일한 스펙트럼 정보가 각각의 정보에서 샘플링되고, 그 효과는 샘플링의 공간 해상도를 증가시키는 것이라고 가정된다. 특정한 필터 유형은 원하는 대로, 넓은 스펙트럼 필터들, 더 좁은 대역통과 필터들, 또는 임의의 다른 유형의 광학 필터를 포함하여 선택될 수 있다.
도 34 및 35의 예에서, 공간 해상도는 서브픽셀 개구를 사용함으로써 스캐닝 방향 및 비-스캐닝 방향 모두에서 증가된다. (공간 인코딩을 이용하거나 이용하지 않는) 이러한 접근법은, 서브픽셀 당 하나의 주변광 센서 채널을 사용하는 것, 예를 들어, 공간 해상도에서 4배의 향상(enhancement)을 제공하기 위해 4개의 주변광 센서 채널들을 이용하거나, 16배의 향상을 제공하기 위해 16개의 주변광 센서 채널들을 이용하는 것을 포함한다. 다른 실시예들에서, 스캐닝 방향에서의 샘플링 해상도는 시간 세분화를 이용함으로써 증가될 수 있는 반면, 비-스캐닝 방향에서의 샘플링 해상도는 서브픽셀 개구들을 이용함으로써 증가될 수 있다. 이는, 예를 들어, 공간 해상도의 16배의 향상을 제공하기 위해 4개의 주변광 센서 채널을 허용할 수 있다.
일부 실시예들에서, 시간적 세분화는 각각의 주변광 센서 채널에 대한 강도 데이터(예를 들어, 광자 카운트들)를 축적하기 위해 다수의 집적 레지스터들을 사용함으로써 제공될 수 있고, 상이한 집적 레지스터들은 셔터 간격의 상이한 부분들 동안에 활성일 수 있다(셔터 간격들은 도 33b를 참조하여 전술되었다). 센서 어레이가 셔터 간격 동안 연속적으로 회전하고 있다고 가정하면, 이는 대상 공간 픽셀에 의해 점유되는 영역의 스캐닝 방향(편의상 "열 영역들(column area)"로 지칭됨)을 따라 상이한 부분들에 대해 개별적으로 강도를 측정하는 효과를 갖는다.
도 36은 일부 실시예들에 따라 다수의 집적 레지스터들(3602)을 갖는 판독 데이터 경로의 단순화된 개략도를 도시한다. 이 예에서는, 특정 주변광 센서 채널에 대한 광 센서(3604)가 (도 32를 참조하여 전술한 바와 같이) 각각의 시간 빈에 대한 데이터(예를 들어, 광자 카운트)를 제공하고, 여기서 시간 빈은 셔터 간격보다 짧은 것으로 가정된다. 각각의 시간 빈에 대한 광자 카운트는 집적 레지스터들(3610)의 뱅크에서 선택된 집적 레지스터(3602)로 전달되고, 선택된 집적 레지스터(3602)는 광 센서(3604)로부터 수신된 광자 카운트를 그의 현재 저장된 값에 가산한다. 선택 신호는 집적 레지스터들(3602) 중 하나를 선택하기 위해 뱅크 선택 로직(3606)에 의해 제공된다.
도시된 예에서, 집적 레지스터들은 다음과 같이 동작한다, 즉, 각각의 클럭 사이클에서, 멀티플렉서(3620)는 집적 레지스터들(3602) 중 현재 선택된 하나로부터 저장된 값을 판독하기 위해 선택 로직(3606)에 의해 제어된다. 이에 따라, 선택된 현재의 값(3622)은 광 센서(3604)로부터의 새로운 광자 카운트를 또한 수신하는 산술 논리 유닛(ALU: arithmetic logic unit)(3624)에 전달된다. ALU(3624)는 새로운 광자 카운트를 현재의 값(3622)에 추가하고, 그 결과를 집적 레지스터 뱅크(3610)에 전달한다. 선택 로직(3606)은 새로운 값을 수신하기 위해 집적 레지스터들(3602) 중 현재의 하나를 선택한다. 다른 구현예들이 또한 사용될 수 있다.
다수(N개)의 집적 레지스터들을 갖는 스캐닝 레인징/이미징 시스템(예를 들어, 전술한 시스템(3200))의 일부 실시예들에서, 선택 로직(3606)은 셔터 간격을 N개의 서브-간격들로 분할하고(여기서, 각각의 서브-간격은 하나 이상의 클럭 사이클들을 포함함), 각각의 서브-간격 동안 집적 레지스터들(3602) 중 상이한 하나를 선택하여, 각각의 집적 레지스터(3602)는 해당 서브-간격의 상이한 시간 부분(1/N) 동안 픽셀 카운트를 누적한다. 예를 들어, 선택 로직(3606)은 서브-간격들을 정의하기 위해(도 32에 도시된 바와 같이) 회전 인코더(3274)를 사용할 수 있거나, 서브-간격들은 공지된 스캐닝 속도에 기초하여 위치에 대한 프록시로서 사용되는 타이머에 기초하여 정의될 수 있다. 셔터 간격의 종료 시에, 각각의 집적 레지스터(3602)는 픽셀 당 N개의 강도 측정을 제공하기 위해 판독될 수 있다.
이런 식으로, 각각의 셔터 간격을 시간적으로 세분하는 것은 스캐닝 방향으로 샘플링 해상도를 증가시킬 수 있다. 도 37은 일부 실시예들에 따른 차량(3703)을 위한 다수의 집적 레지스터들을 사용하는 주변광 측정을 도시한다. 이 예에서, 스캐닝 레인징/이미징 시스템(3701)(예를 들어, 전술한 시스템(3200)의 구현예일 수 있음)은 차량(3703)의 상부에 장착될 수 있다. 스캐닝/이미징 시스템(3701)은 주변 영역을 스캔하고 도 33b를 참조하여 전술한 바와 같이 다중 스펙트럼 이미지를 생성하기 위해 초당 여러 번(예를 들어, 30Hz로) 그 중심 축을 중심으로 회전하도록 구성될 수 있다.
스캐닝 레인징/이미징 시스템이 주변광 센서 채널들에 대한 시간적 세분화를 제공하는 실시예들에서, 스캐닝 방향에서의 주변광 이미지의 공간 해상도는 집적 레지스터들의 수에 기초하여 증가될 수 있다. 도 37의 예에서, 집적 레지스터 뱅크(3710)(전술한 집적 레지스터 뱅크(3610)와 유사하게 동작할 수 있음)는 4개의 집적 레지스터들(3712a-d)을 포함한다. 셔터 간격에 대응하는 각도 회전(3702)의 증가분은 4개의 각도 증분으로 세분될 수 있는데, 각각의 증분 동안, 수신된 광자 카운트들은 집적 레지스터들(3712a-d) 중 대응하는 하나에 누적된다(화살표(3716a, 3716b)로 나타낸 바와 같음). 이는 주변광 이미지의 공간 해상도를 스캐닝 방향에서 4배만큼 증가시킨다.
또한, 비-스캐닝 방향에서의 주변광 이미지의 공간 해상도를 증가시키는 것이 바람직할 수 있다. 일부 실시예들에서, 이러한 목적을 위해, 공간적으로 인코딩된 서브픽셀 개구들을 갖는 다수의 주변광 센서 채널들이 사용될 수 있다. 도 38a는 일부 실시예들에 따른 공간적으로 인코딩된 서브픽셀 개구들을 제공하는 4개의 주변광 센서 채널들(3806a-d)의 세트를 도시한다. 주변광 센서 채널들(3806a-d)은 스캐닝 방향 및 비-스캐닝 방향 모두에서 4배만큼 해상도를 증가시키기 위해 사용될 수 있다. 이 예에서, 주변광 센서 채널(3806a)의 개구(빗금친 영역)는 전체 채널 영역의 1/4을 노출시키는 반면, 주변광 센서 채널들(3806b-d)의 개구들은 전체 채널 영역의 3/16을 노출시킨다. 채널들(3806a-3806d)로부터의 강도 측정들 C0-C3(예를 들어, 광자 카운트들)은 픽셀(3824)의 4개의 서브픽셀들(S0, S1, S2, S3)에 대한 서브픽셀 값들을 계산하기 위해 다음의 수식들을 구현할 수 있는 산술 논리 회로(3820)에 제공될 수 있다.
픽셀(3824)에 대해 도시된 바와 같이, 4개의 서브픽셀들(S0, S1, S2, S3)은 픽셀(3824)의 전체 영역의 폭(스캐닝 방향으로)의 1/4인 열 영역에서 상이한 행들을 점유하는 4개의 픽셀들에 대응한다.
픽셀의 모든 열 영역들에서 서브픽셀들을 완전히 채우기 위해, 도 37에 예시된 바와 같은 시간적 세분화가 사용되어 셔터 간격 동안 단일 주변광 센서 채널이 상이한 열 영역들을 순차적으로 샘플링할 수 있게 할 수 있다. 도 38b는 일부 실시예에 따른 도 38a의 주변광 센서 채널(3806a)에 대한 시간적 세분화의 효과를 도시한다. 이 예에서, 셔터 간격은 도 37을 참조하여 전술한 바와 같이 4개의 서브-간격으로 분할된다. 셔터 간격은 t = 0에서 t = 1까지 지속된다고 가정한다. 제1 서브-간격 동안(t = 0에서 시작), 주변광 채널(3806a)의 개구는 대상 공간 픽셀(3824)의 열 영역(3832a)에 노출되고, 열 영역(3832a)에 대한 강도(C00)가 측정된다. 제2 서브-간격 동안(t = 0.25에서 시작), 주변광 채널(3806a)의 개구는 대상 공간 픽셀(3824)의 열 영역(3832b)에 노출되고, 열 영역(3832b)에 대한 강도(C01)가 측정된다. 제3 서브-간격 동안(t = 0.5에서 시작), 주변광 채널(3806a)의 개구는 대상 공간 픽셀(3824)의 열 영역(3832c)에 노출되고, 열 영역(3832c)에 대한 강도(C02)가 측정된다. 제4 서브-간격 동안(t = 0.75에서 시작), 주변광 센서 채널(3806a)의 개구는 대상 공간 픽셀(3824)의 열 영역(3832d)에 노출되고, 열 영역(3832d)에 대한 강도(C03)가 측정된다. 따라서, 셔터 간격의 시간적 세분화를 이용하여, 주변광 센서 채널(3806a)은 4개의 강도 값들을 제공하면서, 대상 공간 픽셀(3824)의 각각의 열 영역을 연속적으로 샘플링할 수 있다. 도 33b를 참조하여 전술한 바와 같이, 주변광 센서 채널(3806b)은 도 38b에 도시된 바와 동일한 방식으로 대상 공간 픽셀(3824)을 가로지를 수 있고, 하나의 셔터 간격(또는 셔터 간격들의 일부 다른 정수배)의 오프셋을 이용하여 4개의 강도 값들을 생성할 수 있으며, 이는 주변광 센서 채널들(3806c 및 3806d)에 대해서도 마찬가지이다. 도 38a 및 식 (3a)-(3d)의 계산 로직을 각각의 열 영역의 4개의 강도 값에 개별적으로 적용하는 것은, 4개의 주변광 센서 채널들을 사용하여 총 16개의 서브픽셀 샘플을 제공한다. 따라서, 대상 공간 픽셀들의 공간적 및 시간적 세분화의 조합은 스캐닝 방향 및 비-스캐닝 방향 모두에서 향상된 해상도를 갖는 주변광 이미지를 제공할 수 있다. 여기에 도시된 예는 각각의 방향에서 4배만큼 해상도를 증가시키지만, 다른 실시예들은 원하는 바에 따라 더 크거나 더 작은 향상을 제공할 수 있다.
본원에서 설명되는 공간 및 시간적 세분화의 예들은 예시적이라는 것이 이해될 것이다. 특정한 주변광 센서 채널들에 할당된 개구들의 특정한 수, 형상들 및 크기들은 변경될 수 있고, (광 센서 크기와 같은 물리적 제약들, 그리고 제조될 수 있는 개구의 최소 크기에 따라) 임의의 향상 인자가 달성될 수 있다. 따라서, 스캐닝 방향 및/또는 비-스캐닝 방향에서의 공간 해상도는 원하는 정도로 향상될 수 있고, 스캐닝 방향 및 비-스캐닝 방향에서의 향상은 동일할 필요가 없다. 본원에 기재된 바와 같은 공간 해상도의 향상은 어떤 광학 필터가 사용되는지에 관계없이 임의의 유형의 주변광 센서 채널에 적용될 수 있다.
3.4. 정적 레인징/이미징 시스템
전술한 바와 같은 회전 레인징/이미징 시스템은 센서 어레이(200), 센서 어레이(400), 또는 센서 어레이(500)와 같은 다중 스펙트럼 센서 어레이들을 사용하여 구현될 수 있으며, 상이한 유형들의 센서 채널들은 시야에 걸쳐 스캐닝되는 행을 따라 배열된다. 전술한 센서 어레이들(예를 들어, 센서 어레이(600), 센서 어레이(900))의 다른 예들은 동일한 다중 스펙트럼 및/또는 하이브리드 센서 채널들(또는 픽셀들)의 2D 어레이들을 제공한다. 이러한 어레이들은 회전 시스템에서 사용될 수 있지만, 다중 스펙트럼 또는 하이브리드 픽셀들의 2D 어레이가 2차원 시야를 이미징하는 데에 회전 또는 다른 스캐닝 모션이 필수적이지는 않다. 따라서, 일부 실시예들은 이미징 동작을 수행하기 위해 센서 어레이가 이동하지 않는 정적(또는 "고정") 레인징/이미징 시스템을 제공한다. 정적 레인징/이미징 시스템은 모바일일 수 있음을 이해해야 한다. 예를 들어, 하나 이상의 정적 레인징/이미징 시스템이 차량 상에 장착될 수 있다.
도 39는 일부 실시예들에 따른 정적 이미징/LIDAR 시스템(3900)의 구조의 단순화된 예를 도시하는 측면도이다. 정적 레인징/이미징 시스템의 일 예인 이미징/LIDAR 시스템(3900)은 방출기 모듈(Tx)(3902) 및 광 센서 모듈(Rx)(3904)을 가진 하우징(3922)을 포함할 수 있다. 하우징(3922)은 레인징/이미징 센서가 바람직한, 차량 또는 임의의 다른 위치에 장착될 수 있다.
도 40 및 도 41은 다양한 실시예들에 따른 차량-탑재 정적 전자 레인징/이미징 시스템들의 예시적인 구현예들의 간단한 도면들이다. 구체적으로, 도 40은 정적 레인징/이미징 시스템(4002a-d)이 자동차와 같은 도로 차량(4005)의 외부 영역에서 구현되는 구현예(4000)를 도시하며, 도 41은 정적 레인징/이미징 시스템(4102a-b)이 도로 차량(4105)의 상부에 구현되는 구현예(4100)를 도시한다. 각각의 구현예에서, 탈 것을 둘러싸는 환경의 360도 시야의 대부분(전체가 아닌 경우)을 획득하기 위해 LIDAR 시스템들의 수, LIDAR 시스템들의 배치, 및 각각의 LIDAR 시스템의 시야들이 선택될 수 있다. LIDAR 시스템들을 위한 자동차 구현예들은 단지 예시를 위해서 본원에서 선택되며, 여기에 설명된 센서들은 다른 유형들의 탈 것들, 예를 들어, 배, 비행기, 기차 등에도 이용될 수 있을 뿐만 아니라, 도 32를 참조하여 위에서 언급된 임의의 응용들과 같은 3D 깊이 이미지들이 유용한 다양한 다른 응용들에서도 이용될 수 있다. 또한, 정적 및 회전 레인징/이미징 시스템들이 함께 사용될 수 있고, 일부 레인징/이미징 시스템들이 정적 또는 회전 모드에서 선택가능한 동작을 위해 구성될 수 있음을 이해해야 한다.
도 40을 참조하면, 정적 레인징/이미징 시스템들(4002a-d)은 전방 및 후방 펜더들 근처의 차량의 외부 영역들에 장착될 수 있다. 정적 레인징/이미징 시스템들(4002a-d)은 차량(4005)의 최외측 코너들 근처에 위치되도록 차량(4005)의 각각의 코너에 각각 위치될 수 있다. 이런 식으로, 정적 레인징/이미징 시스템들(4002a-d)은 영역들(4006a-d)에서 시야 내의 객체들로부터 차량(4005)의 거리를 더 잘 측정할 수 있다. 각각의 정적 레인징/이미징 시스템은 각각의 유닛보다 더 큰 복잡한 자신의 시야를 캡처할 수 있도록 상이한 방향(가능하게는 유닛들 사이에서 부분-중첩 및/또는 비-중첩 시야들을 갖는)을 바라볼 수 있다. 장면 내의 객체들은 LIDAR Tx 모듈(4008)로부터 방출되는 광 펄스들(4010)의 부분들을 반사할 수 있다. 그 후, 광 펄스(4010)의 하나 이상의 반사된 부분(4012)은 정적 레인징/이미징 시스템(4002a)으로 다시 이동하고, Tx 모듈(4008)과 동일한 하우징 내에 배치될 수 있는 Rx 모듈(4009)에 의해 수신될 수 있다. Rx 모듈(4009)은 주변광뿐만 아니라 LIDAR Tx 모듈(4008)로부터의 반사된 광을 수신하는 (예를 들어, 전술한 바와 같은) 다중 스펙트럼 센서 어레이를 포함할 수 있다.
일부 실시예들에서, 정적 레인징/이미징 시스템들(4002a-d) 각각은 자신의 전체 시야(영역들(4006a-d)로 각각 도시됨)를 한 번에 이미징할 수 있다. 다른 실시예들에서, 정적 레인징/이미징 시스템들(4002a-d)은 장면의 이미지들을 캡처하기 위해 장면을 전자적으로 스캔할 수 있다. 본원에 사용되는 바와 같이, "전자적 스캐닝(electronic scanning)"은 센서 어레이의 물리적 이동(예를 들어, 재배향) 없이 상이한 시간에 장면의 상이한 부분들에 대한 데이터를 수집하는 것을 지칭하고, 따라서 전자적 스캐닝은 전술한 회전/스핀 동작들과 구별된다. 전자적 스캐닝은 예를 들어, 상이한 시간에 LIDAR 방출기 어레이의 상이한 부분들 및 상응하는 LIDAR 센서 채널들의 서브세트들을 활성화시킴으로써, 또는 예를 들어, 상이한 시간들에서 센서 어레이의 상이한 부분들 상에 반사되도록 Tx 모듈(4008)로부터의 광을 조향하기 위해 디지털 마이크로미러(DMD) 디바이스, 디지털 광 처리(DLP) 디바이스 등과 같은 하나 이상의 MEMS 기반 반사기들을 이용하는 마이크로칩들을 사용함으로써, 구현될 수 있다. 따라서, 정적 레인징/이미징 시스템(4002a)은 포인트들(4020 및 4022) 사이에서 전자적으로 스캔하여 영역(4006a)에서 시야 내의 객체들을, 그리고 마찬가지로 시스템들(4002b-d)은 영역들(4006b-d)에서 시야 내의 객체들을 캡처할 수 있다.
도 40은 차량의 4개의 코너에 장착된 4개의 정적 레인징/이미징 시스템을 도시하지만, 실시예들이 이러한 구성으로 제한되지는 않는다. 다른 실시예들은 차량의 다른 영역들 상에 장착된 더 적거나 더 많은 정적 레인징/이미징 시스템들을 가질 수 있다. 예를 들어, 정적 레인징/이미징 시스템은 도 41에 도시된 바와 같이 차량의 지붕에 장착될 수 있다. 이러한 실시예들에서, 정적 레인징/이미징 시스템들(4102a-b)은 차량(4105) 주위의 영역(4107a-b)을 더 잘 관찰하기 위해 더 높은 시점을 가질 수 있다.
언급된 바와 같이, 정적 레인징/이미징 시스템들의 수, 정적 레인징/이미징 시스템들의 배치, 및 각각의 정적 레인징/이미징 시스템의 시야는 차량을 둘러싸는 환경의 360도 시야의 대부분(시야 전체가 아닌 경우)을 획득하도록 선택될 수 있다. 따라서, 각각의 정적 레인징/이미징 시스템(4002a-d)은 4개의 시스템들(4020a-d) 모두가 구현될 때, 차량(4005) 주위에서 360도 시야의 상당한 대부분이 관찰될 수 있도록, 근사적으로 90도의 시야를 갖도록 설계될 수 있다. 각각의 정적 레인징/이미징 시스템(4002a-d)이 45도 시야와 같이, 90도 미만의 시야를 갖는 실시예들에서, 단일 정적 레인징/이미징 시스템의 시야보다 더 큰 조합된 시야를 달성하기 위해 시야를 확장하도록 하나 이상의 추가적인 정적 레인징/이미징 시스템이 구현될 수 있다.
도 42는 본 개시의 일부 실시예들에 따른, 확장된 시야를 달성하기 위해 하나보다 많은 세트의 방출 및 검출 시스템들을 포함하는 예시적인 정적 레인징/이미징 시스템(4200)의 단순화된 평면도이다. 도 42에 도시된 바와 같이, 정적 레인징/이미징 시스템(4200)은 중앙 지지 구조물(4204) 상에 장착된 방출 및 검출 시스템들(4202a-i)의 세트들을 포함할 수 있으며, 여기서 각각의 세트의 방출 및 검출 시스템들은 각각의 광 방출 시스템, 예를 들어 도 15의 광 방출 시스템(1510), 및 광 검출 시스템, 예를 들어 도 15의 광 검출 시스템(1540)을 포함한다. 각각의 세트는 지지 구조물(4204)의 중심으로부터 방사형으로 바깥쪽으로 배열될 수 있고, 세트들은 그들의 시야들이 방출 및 검출 시스템들의 임의의 단일 세트에 대한 시야보다 여러 배 더 큰 조합된 시야(4206)를 형성하도록 인접하여 위치될 수 있다. 다수의 방출 검출 시스템들은 모두, 최종 사용자가 단일 시스템으로 보이는 것과 상호작용하도록 공통의 LIDAR 컨트롤러에 의해 동기화되고 제어될 수 있다. 또한, 개별 방출 검출 시스템들은 모두, 데이터가 더 넓은 시야, 고정된 시야 그리드 상에서 동작하는 더 높은 해상도 시스템을 시뮬레이션하도록 고정된 픽셀 그리드에 정렬될 수 있다.
도 43은 본 개시의 일부 실시예들에 따른 예시적인 정적 레인징/이미징 시스템(4300)의 블록도를 도시한다. 정적 레인징/이미징 시스템(4300)은 광 레인징/이미징 디바이스(4302) 및 사용자 인터페이스(4350)를 포함할 수 있다. 광 레인징/이미징 디바이스(4302)는 레인징/이미징 시스템 컨트롤러(4304), 광 방출(Tx) 모듈(4306) 및 광 감지(Rx) 모듈(4308)을 포함할 수 있다. 레인징 데이터는 광 방출 모듈(4306)로부터의 하나 이상의 광 펄스(4310)를 광 레인징/이미징 디바이스(4302) 주위 시야의 객체로 전송함으로써 광 레인징/이미징 디바이스(4302)에 의해 생성될 수 있다. 그 후, 방출된 광의 반사된 부분(4312)은 약간의 지연 시간 후에 광 감지 모듈(4308)에 의해 검출된다. 지연 시간에 기초하여, 반사 표면까지의 거리가 결정될 수 있다. 다른 레인징 방법들, 예를 들어 연속파, 광 복조, 도플러 등이 이용될 수 있다. 스펙트럼 이미지 데이터는 광자-카운팅 모드에서 센서 어레이(4308)에 포함된 주변광 센서 채널들을 동작시킴으로써 광 레인징/이미징 디바이스(4302)에 의해 생성될 수 있다.
광 방출 모듈(4306)은 방출기들의 1차원 또는 2차원 어레이일 수 있는 방출기 어레이(4314), 및 방출기 어레이(4314)와 함께 도 15의 광 전송 시스템(1510)과 유사한 광 방출 시스템(4338)을 형성할 수 있는 Tx 광학 시스템(4316)을 포함한다. 일부 실시예들에서, 이러한 컴퓨팅 자원들은 레인징/이미징 시스템 컨트롤러(4304)에 통합될 수 있지만, Tx 모듈(4306)은 선택적 프로세서(4318) 및 메모리(4320)를 더 포함할 수 있다. 일부 실시예들에서, 펄스 코딩 기술, 예를 들어, 바커(Barker) 코드 등이 사용될 수 있다. 이러한 경우들에서, 메모리(4320)는 광이 전송되어야 하는 때를 나타내는 펄스-코드들을 저장할 수 있다. 일부 실시예들에서, 펄스 코드들은 메모리에 저장된 정수들의 시퀀스로서 저장된다.
광 감지 모듈(4308)은 예를 들어, 센서 어레이(600) 또는 센서 어레이(900)와 같은, 전술한 2D 다중 스펙트럼 센서 어레이들 중 임의의 것일 수 있는 센서 어레이(4326)를 포함할 수 있다.
일부 실시예들에서, 광 레인징/이미징 디바이스(4302)는, 특정 시간에 방출기들의 서브세트만을 활성화함으로써 그리고 방출기들의 광 방출과 동시에 대응하는 LIDAR 센서 채널들의 서브세트만을 판독함으로써 장면의 적어도 하나의 LIDAR 이미지가 캡처되는, 전자적 스캐닝 모드에서 동작될 수 있다. 방출기들의 상이한 서브세트들은 동시에 판독되는 LIDAR 채널들의 대응하는 서브세트들과 상이한 시간에 활성화될 수 있고, 결국 모든 방출기들이 활성화되어, 센서 어레이 내의 모든 LIDAR 채널들이 하나의 방출 사이클을 통해 판독될 수 있다. 일 예로서, 방출기 어레이는 각각의 방출 사이클에 대해 좌측에서 우측으로 한 번에 하나의 열을 활성화시킴으로써 광을 방출할 수 있는 반면, 센서 어레이는 대응하는 LIDAR 채널들을 대응하는 시퀀스로 판독하도록 구성될 수 있다. 주변광 채널들은 동일한 다중 스펙트럼 픽셀들에 대응하는 LIDAR 채널들과 동기적으로 또는 일부 다른 방식으로 판독될 수 있다(예를 들어, 모든 주변광 채널들이 동시에 판독될 수 있다).
전자적 스캐닝을 용이하게 하기 위해, 정적 레인징/이미징 시스템의 일부 실시예들은 광의 방출 및 감지를 동기화하기 위한 하나 이상의 구성요소들을 포함할 수 있다. 일부 실시예들에서, 광 검출 시스템(4336)은 센서 어레이(4326)에 연결되고 센서 어레이(4326)의 동작을 제어하도록 구성된 센서 컨트롤러(4325)를 포함할 수 있다. 센서 컨트롤러(4325)는 ASIC, 마이크로컨트롤러, FPGA, 또는 선택 회로, 예를 들어, 멀티플렉서에 연결된 임의의 다른 적절한 프로세서와 같은, 광을 감지하기 위해 하나 이상의 광 센서들을 선택할 수 있는 임의의 적절한 구성요소 또는 구성요소들의 그룹일 수 있다. 마찬가지로, 광 방출 시스템(4338)은 방출기 어레이(4314)에 연결되고 센서 어레이(4326)의 동작을 제어하도록 구성된 방출기 컨트롤러(4315)를 포함할 수 있다. 방출기 컨트롤러(4315)는 또한 센서 컨트롤러(4325)를 위한 전술한 임의의 적절한 프로세서일 수 있으며, 방출기 어레이(4314)를 동작시키기 위한 하나 이상의 구동 구성요소들을 포함할 수 있다.
일부 실시예들에서, 센서 컨트롤러(4325) 및 방출기 컨트롤러(4315)는 방출기 어레이(4314) 내의 광 방출들의 시퀀스가 센서 어레이(4326) 내의 광 센서들(모든 센서 유형들 또는 단지 LIDAR 채널들에 대한)을 판독하는 시퀀스와 동기화되도록, 동기화된다. 일 예로서, 센서 컨트롤러(4325) 및 방출기 컨트롤러(4315)는 두 컨트롤러들 모두 동일한 타이밍 방식에 기초하여 동작할 수 있도록 모두 클럭(4317)에 연결될 수 있다. 클럭(4317)은 디지털 회로의 동작을 조정하기 위해 소정의 속도에서 하이(high) 상태와 로우(low) 상태 사이에서 진동하는 특정 신호를 생성하는 전기적 구성요소일 수 있다. 선택적으로, 센서 컨트롤러(4325) 및 방출기 컨트롤러(4315)는 그들 자신의 동작들을 조정하기 위한 자신들의 클럭 회로들을 포함할 수 있다. 이러한 실시예들에서, 센서 컨트롤러(4325) 및 방출기 컨트롤러(4315)는 센서 컨트롤러(4325)가 자신의 클럭을 방출기 컨트롤러(4315)와 동기화할 수 있도록 통신선(4319)을 통해 함께 통신가능하게 연결될 수 있다. 이런 식으로, 센서 컨트롤러(4325) 및 방출기 컨트롤러(4315)는 이미지를 캡처하기 위해 동기화되어, 각각 센서 어레이(4326) 및 방출기 어레이(4314)를 동작시킬 수 있다.
일부 다른 실시예들에서, 센서 컨트롤러(4325) 및 방출기 컨트롤러(4315) 대신에, 또는 이에 더하여, 레인징/이미징 시스템 컨트롤러(4304)는 방출기 어레이(4314)에 의한 광 방출들의 시퀀스가 센서 어레이(4326)에 의한 광 감지 시퀀스와 동기화되도록, 광 감지 모듈(4308) 및 광 방출 모듈(4306)의 동작을 동기화하도록 구성될 수 있다. 예를 들어, 레인징/이미징 시스템 컨트롤러(4304)는 광 방출 모듈(4306)의 방출기 어레이(4314)가 각각의 방출 사이클 동안 좌측에서 우측으로 한 번에 하나의 열을 순차적으로 활성화시킴으로써 광을 방출하도록 지시할 수 있고, 이에 대응하여 광 감지 모듈(4308) 내의 센서 어레이(4326)가 한 번에 한 열씩 그리고 동일한 순차적 순서로 광을 감지하도록 지시할 수 있다. 이러한 실시예들에서, 레인징/이미징 시스템 컨트롤러(4304)는 광 감지 모듈(4308) 및 광 방출 모듈(4306)에 대한 순차적 명령들이 기초하는 자신의 고유의 클럭 신호를 가질 수 있다. 광 검출을 위한 다른 형태의 시퀀스가 고려될 수 있고 이러한 시퀀스는 제한적이지 않음을 이해해야 한다. 또한, 주어진 다중 스펙트럼 픽셀을 위한 주변광 센서 채널들에 대한 (강도) 데이터의 수집은 다중 스펙트럼 픽셀을 위한 LIDAR 센서 채널의 동작과 일치하도록 타이밍될 필요는 없을 수 있다.
광 레인징/이미징 시스템(4300)은 또한 도 32의 대응하는 구성요소와 유사할 수 있는 다른 구성요소를 포함할 수 있다. 프로세서(4322) 및 메모리(4324)에 의한 신호 처리는 도 32를 참조하여 전술한 처리 동작들과 유사할 수 있다. 사용자 인터페이스(4350) 및 그 동작은 도 32를 참조하여 전술한 사용자 인터페이스와 유사할 수 있다. 또한, 본원에 기술된 레인징/이미징 시스템들 중 임의의 시스템은 사용자와 직접적으로(또는 간접적으로) 상호작용하는 것이 아니라 다른 시스템들(예를 들어, 차량 제어 유닛)과 상호작용할 수 있고, 이러한 시스템들은 적절한 제어 명령, 데이터, 또는 다른 신호들을 레인징/이미징 시스템 컨트롤러(4304)와 교환함으로써 레인징/이미징 시스템의 동작들을 제어할 수 있다.
3.5. 정적 레인징/이미징 시스템의 동작
전술한 바와 같이, 정적 레인징/이미징 시스템(4300)을 이용한 이미징 동작은 다양한 모드에서 수행될 수 있다. "풀 프레임(full frame) 모드"로 지칭되는 모드에서는, 어레이 내의 모든 센서 채널들(또는 주어진 유형의 모든 센서 채널들)이 동시에 동작될 수 있다. "전자적 스캐닝 모드"로 지칭되는 또 다른 모드에서는, 채널들의 상이한 서브세트가 상이한 시간에 동작될 수 있다. 예를 들어, 전술한 바와 같이, Tx 모듈(4306)은, 예를 들어, Tx 모듈(4306) 내의 상이한 방출기들을 활성화시킴으로써, 또는 동일한 방출기들을 방출된 광의 방향을 제어하기 위한 MEMS-기반 빔 조정 구성요소들(예컨대, 종종 "갤보스(galvos)"로 지칭되는 MEMS 미러 검류계들)과 조합하여 이용함으로써, 상이한 시간에 Rx 모듈(4308) 내의 센서 어레이의 상이한 부분들 상으로 반사되는 광을 방출하도록 동작될 수 있다. LIDAR 센서 채널들의 상이한 서브세트들은 광이 (예를 들어, 선택적인 방출 및/또는 조향에 의해) 그러한 채널들을 향하여 지향될 때 선택적으로 활성화될 수 있다.
특정 주변광 센서 채널들(또는 다중 스펙트럼 또는 하이브리드 센서 채널들 내의 특정 주변광 센서)은 또한 풀-프레임(full-frame) 또는 전자적 스캔 모드로 동작될 수 있다. 풀-프레임 모드에서, 모든 주변광 센서 채널들은 동시에 활성화될 수 있거나, 상이한 유형들의 센서 채널들이 상이한 시간들에 활성화될 수 있다. 전자적 스캐닝 모드에서, 센서 어레이 내의 상이한 영역들에 대응하는 주변광 센서 채널들의 상이한 서브세트들이 상이한 시간들에 활성화될 수 있다. 예를 들어, 다중 스펙트럼 픽셀들의 특정 그룹에 대응하는 주변광 센서 채널들은 LIDAR 센서 채널들의 대응하는 서브세트가 활성화될 때 활성화될 수 있거나, 또는 다중 스펙트럼 픽셀들의 특정 그룹에 대응하는 주변광 센서 채널들은 대응하는 LIDAR 센서 채널들의 대응하는 서브세트가 활성화되지 않은 시간에 활성화될 수 있다.
일부 실시예들에서, LIDAR 및/또는 주변광 센서 채널들에 대한 동작 모드는 선택가능할 수 있다. 또한, LIDAR 및 주변광 센서 채널들은 상이한 모드들로 동작될 수 있다. 예를 들어, LIDAR 채널들은 전자적 스캐닝 모드에서 동작할 수 있는 반면, 주변광 센서 채널들은 각각의 스캐닝 기간 동안 하나의 스펙트럼 이미지를 캡처하기 위해 풀-프레임 모드로 동작될 수 있다.
이들 및 다른 동작 모드들 중 임의의 모드에서, 센서 어레이 내의 각각의 다중 스펙트럼 픽셀을 위한 각각의 센서 유형에 대해 데이터가 수집될 수 있다. 버퍼링은 동일한 다중 스펙트럼 픽셀에 대응하는 상이한 채널 또는 센서 유형으로부터 데이터를 수집하는데 사용될 수 있다. 따라서, 전술한 회전 레인징/이미징 시스템들에서와 같이, 시야에 걸쳐 다중 스펙트럼 이미지 픽셀들의 세트를 포함하는 이미지가 획득될 수 있다.
4. 다중 스펙트럼 이미지들의 처리
전술한 바와 같이, 회전 및 정적 레인징/이미징 시스템들은 모두, 시야의 다중 스펙트럼 이미지를 생성할 수 있다. 다중 스펙트럼 이미지는 (직선형 어레이일 수 있는) 다중 스펙트럼 이미지 픽셀들의 어레이를 포함할 수 있고, 각각의 이미지 픽셀에 대해, 하나 이상의 LIDAR 센서 채널들로부터 추출된 깊이 정보뿐만 아니라, 주변광 센서들로부터 추출된 정보, 예를 들어, 광 스펙트럼 내의 다양한 대역들에 대한 강도 값들(가시광, 적외선 및 자외선을 포함함), 편광-필터링된 광의 강도, 및/또는 전술한 바와 같은 다른 측정값들을 포함할 수 있다. 다중 스펙트럼 이미징은 이미징되고 있는 영역 내의 주어진 위치에 대한 풍부한 데이터 세트를 제공한다. 예를 들어, 도 4의 센서 어레이(400)의 경우, 주어진 이미지 픽셀에 대한 데이터 세트는, 이미징된 객체(즉, 이미지 픽셀과 연관된 특정 방향에서 가시적인 임의의 객체)까지의 거리, 가시광 및 근적외선 스펙트럼에 걸친 이미징된 객체의 컬러 특성(예를 들어, 상이한 파장 대역 내에서 수집된 광의 강도 또는 양), 편광 특성, 및 흡수 특성을 포함할 수 있다. 센서 어레이에 포함된 센서 채널 유형들의 특정 조합에 따라, 픽셀마다의 이미지 데이터의 다른 조합들이 또한 가능하다.
예를 들어, 도 44는 전술한 회전 또는 정적 다중 스펙트럼 레인징/이미징 시스템들(또는 다른 유사한 시스템들) 중 임의의 것을 이용하여 영역(4402)에 대해 획득될 수 있는 다중 스펙트럼 이미지 데이터의 일 예를 도시한다. 이미지 그룹(4402)은 상이한 파장 대역에서 획득된 스펙트럼 이미지를 포함한다. 이미지 그룹(4404)은 편광 이미지(특정 편광 방향을 갖는 광의 강도)를 포함한다. 이미지 그룹(4406)은 LIDAR 센서 채널들에 의해 제공된 데이터에 기초한 깊이 이미지들을 나타낸다.
이미지 그룹들(4402, 4404, 4406) 내의 이미지들은 상이한 센서 유형들의 고정된 공간 배열로 인해 본질적으로 서로 정합될 수 있다. 레인징/이미징 시스템들의 센서 어레이들의 경우에, 어레이는 주어진 행 이미지 내의 모든 센서들이 (예를 들어, 전술한 바와 같이) 동일한 영역을 차례로 이미징하도록 배열되고 동작될 수 있으며, 자명한(또는 본질적) 정합을 제공한다. 정적 레인징/이미징 시스템들의 2D 다중 스펙트럼 센서 어레이들의 경우에, 이미지 픽셀은 상이한 유형들의 센서들의 각각의 그룹에 의해 점유되는 영역에 기초하여 정의될 수 있다. 예를 들어, 도 6의 센서 어레이(600)에서, 각각의 하이브리드 센서 채널(602)은 이미지 픽셀에 대응할 수 있고, 센서 어레이(900)에서, 각각의 다중 스펙트럼 픽셀(1020)(도 10에 도시됨)은 이미지 픽셀에 대응할 수 있다. 이러한 예들에서, 상이한 센서 유형들은 센서들 사이의 (작은) 공간 오프셋들로 인해 다중 스펙트럼 이미지 픽셀 내의 상이한 위치들을 샘플링할 수 있다. 일부 실시예들에서, 이러한 오프셋은 무시될 수 있고, 데이터는 모든 센서들이 이미지 픽셀의 중심에 위치된 것처럼 취급될 수 있다. 대안적으로, 필요에 따라, 예를 들어, 근처의 센서 위치들로부터 각각의 이미지 픽셀의 기하학적 중심으로 보간함으로써, 오프셋 보상이 적용될 수 있다.
일부 실시예들에서, 센서 어레이 ASIC은 획득될 때 다른 시스템 구성요소(또는 다른 디바이스)에 픽셀 데이터를 스트리밍할 수 있고, 모든 이미지 처리는 그 다른 시스템 구성요소에 의해 수행될 수 있다. 다른 실시예들에서, 센서 어레이 ASIC은 상이한 이미지 픽셀들(픽셀당 하나의 채널 또는 픽셀당 다수의 채널들을 포함함)에 대한 데이터를 축적할 수 있는 "온보드" 데이터 버퍼를 포함할 수 있다. 구현예에 따라, 온보드 데이터 버퍼는 하나 또는 두 개의 픽셀들로부터 풀 이미지 크기까지의 임의의 수의 다중 스펙트럼 이미지 픽셀들에 대한 데이터를 보유할 수 있다. 버퍼링된 픽셀 데이터는 장면의 "로컬 이미지"(1D 또는 2D 이미지일 수 있고 전체 이미지 크기보다 더 작을 수 있음)를 재구성하기 위해 사용될 수 있고, 센서 어레이 ASIC 또는 센서 어레이의 외부의 프로세서는 픽셀마다의 분석과 로컬 또는 전체 장면의 추론을 모두 포함하는, 로컬 이미지에 대한 다양한 이미지 처리 동작들을 수행할 수 있다. 온보드 데이터 버퍼의 크기는 얼마나 많은 데이터가 축적되고 어떤 기능이 요구되는지에 따라 원하는 대로 변경될 수 있다. 따라서, 필요에 따라 이미지 처리 및 이미지 분석 동작들이 온-칩(on-chip) 또는 오프-칩(off-chip)으로 수행될 수 있다.
일부 실시예들에서, 다중 스펙트럼 이미지 분석은 머신러닝 알고리즘들을 사용하는 자동화된 분류기 및 공지된(및 라벨링된) 객체들을 포함하는 이미지들의 트레이닝 세트를 훈련시키는 단계를 포함할 수 있다. 머신러닝 알고리즘은 인공 신경망 또는 다른 분류기(예를 들어, 고전적 통계 기술에 기초한 분류기)를 포함할 수 있다. 일단 트레이닝되면, 하나 이상의 자동화된 분류기가 센서 어레이 ASIC 내에(예를 들어, 머신러닝 코-프로세서에서), 또는 센서 어레이 ASIC으로부터 데이터를 수신하는 클라이언트 시스템 내에 배치될 수 있다.
다양한 이미지 처리 및 이미지 분석 동작이 다중 스펙트럼 이미지 상에서 수행될 수 있다. 이제 실시예들이 설명될 것이다.
4.1. 다중 스펙트럼 이미지 픽셀의 픽셀마다의 분석
일부 실시예들에서, 풍부한 이미지 픽셀마다의(per-image-pixel) 데이터 세트는 이미지 내의 물질들을 식별하는 것과 같은, 정교한 분석을 가능하게 할 수 있다. 예를 들어, 도 45는 그 안에 포함된 물질을 식별하기 위해 주석이 달린 이미지의 일 예를 도시한다. 일부 예들에서, 상이한 물질들은 사람 눈에 대해 유사한 색상을 가질 수 있지만(예를 들어, 녹색 자동차 및 녹색 풀), 이 물질들은 부분적으로 상이한 스펙트럼 신호들, 상이한 편광 특성 및/또는 이미지 픽셀마다의 분석에 기초하여 이들을 구별할 수 있게 하는 흡수 시그니처들을 가질 수 있다. 깊이 채널 데이터를 갖는 다수의 주변광 채널(임의의 흡수 대역 채널을 포함)로부터의 스펙트럼 응답 정보를 조합하는 것은 바위, 식물, 아스팔트, 금속, 유리, 물, 피부, 모피, 의류, 및 메탄, 이산화탄소, 블랙카본 등과 같은 다양한 가스 및 미립자들과 같은 딱딱하고, 부드럽고, 및 확산되는 객체들의 분류를 가능하게 할 수 있다. 다중 스펙트럼 픽셀 정보는 또한, 상이한 좁고 넓은 스펙트럼 광원들을 분류하여, 픽셀들의 스펙트럼 패턴들에 기초하여 어떤 유형의 조명이 존재하는지와 같은 다른 환경적 단서들을 제공하는 데에 사용될 수 있다. 이러한 분류는 픽셀마다 및 실시간으로 수행될 수 있다. 일부 실시예들에서, 인공 신경망 또는 다른 머신러닝 시스템(필요에 따라 온-센서(on-sensor) 또는 오프-센서(off-sensor)로 구현될 수 있음)은, 깊이 특성, 색 특성, 편광 특성, 및/또는 흡수 특성의 조합에 기초하여 다중 스펙트럼 이미지 데이터로부터 물질을 분류하도록 훈련될 수 있고, 수기로 주석 처리된 이미지들이 트레이닝 입력으로 사용될 수 있다. 일단 트레이닝되면, 머신러닝 시스템은 환경 내에 존재하는 객체들의 유형들과 이들이 어디에 존재하는지를 실시간으로 식별할 수 있다.
또 다른 예로서, 실시간 편광측정 이미징은 센서 프로세서에서 발생할 수 있고, 편광 각도 및/또는 편광의 정도를 계산하기 위해 복수의 편광 채널들로부터의 데이터를 조합할 수 있다. 예를 들어, 차량 앞유리 또는 물 표면 상에서 실시간 눈부심을 제거하기 위해, 음영진 영역에서 콘트라스트를 향상시키기 위해, 안개(haze) 또는 다른 대기 방해물(atmospheric obscurants)의 존재 하에서의 이미징을 향상시키기 위해, 및/또는 환경 내의 또는 보다 구체적으로는 도로 표면 상에서의 물, 얼음 및 다른 편광 물질의 실시간 확인 및 분류를 제공하기 위해, 편광측정이 사용될 수 있다.
4.2. 다중 스펙트럼 이미지로부터 장면 추론을 위한 시스템
일부 실시예들에서, 2개의 픽셀들로부터 전체 이미지 시야까지 임의의 위치를 포함할 수 있는 이미지 픽셀들의 세트에 걸쳐 다중 스펙트럼 이미지 데이터를 분석함으로써 장면 수준의 추론이 추출될 수 있다. 장면 수준의 추론은 센서 ASIC의 온보드 데이터 버퍼를 사용하여 온-칩으로, 및/또는 예를 들어, 다른 시스템 구성요소 또는 개별 디바이스에서 오프-칩으로 수행될 수 있다. 많은 유형의 장면 수준의 추론이 구현될 수 있다.
예를 들어, 시야 내의 별개의 객체들의 식별은 색, 편광 및/또는 거리의 변화들을 식별하는 것에 기초할 수 있다. 일부 실시예들에서, 유사한 물질 조성에 대한 픽셀마다의 분석의 결과들은 유사한 물질 조성에 부분적으로 기초하는 객체들을 식별하는데 사용될 수 있다. 객체들은 거리, 조성 등을 결정하기 위해 더 평가될 수 있다. 다중 스펙트럼 픽셀들로부터의 깊이 정보와 조합되는 경우, 이는 이미지 내에 무엇(예를 들어, 자동차, 벽, 풀, 도로)이 어디에 있는지에 대한 신뢰성 있는 식별을 제공할 수 있다. 머신러닝 시스템들은 본원에 기술된 종류의 레인징/이미징 시스템들을 사용하여 획득된(깊이 데이터를 포함하는) 다중 스펙트럼 이미지 데이터에 기초하여, 어떤 유형의 객체들이 환경 내에 어디에 존재하는지를 높은 신뢰도로 결정하게 할 수 있음을 고려해야 한다. 이러한 정보는 운전자 보조 및/또는 자율주행 차량 기술을 포함하지만 이에 제한되지 않는 다양한 용도 및 응용을 갖는다.
다른 추론이 또한 수행될 수 있다. 예를 들어, 일부 예에서, 태양 또는 달이 시야 내의 물체로서 식별될 수 있다. 다중 스펙트럼 이미지 데이터를 사용하여, 태양 및 달이 서로 식별되고 구별될 수 있으며, 이는 일중 시간 및/또는 일반적인 조명 조건에 대한 단서를 제공할 수 있다. 태양 또는 달이 시야에 없는 경우에도, 상이한 광원들의 상이한 스펙트럼 특성들은 주변 조명이 (주간 시간 또는 실외 조건들을 나타내는) 자연광에 의해 지배되는지 대비 (야간 또는 터널이나 주차장과 같은 실내 조건들을 나타내는) 인공 조명에 의해 지배되는지에 관한 단서들을 제공할 수 있다. 다른 예로서, 현대적인 자동차의 제논-기반 또는 LED 헤드라이트는 나트륨-증기 가로등과 구별될 수 있다. 또 다른 예로서, LED-기반 신호등은 적색, 노란색, 또는 녹색의 비교적 좁은(약 50 nm) 스펙트럼을 방출하며, 이들 스펙트럼은 정지 신호판, 녹색 잔디, 또는 노란색 차선과 같은 더 넓은 스펙트럼의 객체들과 구별될 수 있다.
5. 추가적인 실시예들
본 발명은 특정 실시예들을 참조하여 설명되었지만, 본 개시에 접근하는 통상의 기술자는 여러 변형들 및 변경들이 가능하다는 것을 이해할 것이다. 예를 들어, 본원에 기술된 종류의 다중 스펙트럼 센서 어레이는 임의의 수의 행들 및 행마다 임의의 수의 센서 채널들을 포함하도록 제조될 수 있다. (용어 "행" 및 "열"은 센서 어레이의 두 차원을, 특히 스캔 모드에서 사용되는 어레이의 맥락에서 구별하기 위해 사용되며, 어레이의 특정 공간적 배향을 암시하는 것으로 의도되지 않는다.) 채널-특이적 마이크로-광학 요소들을 포함하는 센서 채널들의 특정 구성은 변경될 수 있다. 각각의 행에 사용되는 주변광 감지 채널들의 조합은 원하는 대로 수정될 수 있고, 일부 실시예들에서는 상이한 행들이 주변광 감지 채널들의 상이한 조합들을 가질 수 있다. 또한, 주변광-감지 채널들은 전술한 특정한 예들로 제한되지 않으며, 이미지 데이터를 수집하기 위해 사용될 수 있는 다양한 주변광 감지 채널들을 생성하는 데에 다른 유형들의 광학 필터들이 사용될 수 있다.
용어 "주변광 감지 채널"은 센서 채널이 (타이밍 또는 다른 레인징 데이터와는 달리) 광 강도를 측정한다는 것을 나타내기 위해 본원에서 사용된다. 이러한 채널들은 센서 시스템으로부터 방출된 의도적인 조명의 부재 하에 유용한 데이터를 제공할 수 있다. 그러나, 이것은 시야의 의도적인 조명을 배제하지 않는다. 예를 들어, 백색 광이 (예를 들어, 자동차의 헤드라이트 또는 카메라 플래시로부터) 시야를 향해 지향될 수 있다. 또 다른 예로서, 흡수 채널을 사용하는 응용예에서, 흡수 대역을 포함하는 파장을 갖는 광이 시야를 향해 지향될 수 있고, 흡수 채널 내의 광의 부재는 시야 내의 물질이 광을 흡수하고 있음을 나타낼 수 있다.
주변광 감지 채널(들)에 더하여, 전술한 센서 어레이는 타이밍 데이터(예를 들어, 전술한 바와 같은 히스토그램들) 또는 시야 내의 객체들에 대한 거리를 유도하기 위해 사용가능한 다른 데이터를 제공하는, 하나 이상의 LIDAR 센서 채널들(및/또는 다른 깊이 감지 채널들)을 포함할 수 있다. LIDAR 센서 채널은 근적외선, 단파 적외선(예를 들어, 1600 nm), 중파 적외선 및/또는 장파 적외선(예를 들어, 최대 15 μm)을 포함하는 다양한 파장에서 동작할 수 있다. 또한, 일부 실시예들에서, 추가적인 센서 채널들(예를 들어, LIDAR 센서 채널들)이 센서 행들 사이의 위치들에 포함될 수 있거나, 또는 LIDAR 센서 채널(또는 다른 깊이 감지 채널)을 포함하지 않는 일부 센서 행들이 있을 수 있고, 상이한 센서 채널들(또는 센서 유형들)로부터의 이미지들은 동일한 해상도를 가질 수 있지만 필수적이지는 않다. 다중 스펙트럼 어레이는 시야를 이미징하기 위해 스캐닝 모드에서 동작가능한 행-기반(또는 "1D")일 수 있거나, 또는 다중 스펙트럼 센서 채널들 또는 다중 스펙트럼 픽셀들을 갖는 2D 어레이일 수 있다.
본원에서 기술되는 종류의 센서 어레이들은 전술한 바와 같은 조합된 이미징/LIDAR 시스템들을 포함하지만 이들로 제한되지는 않는, 다양한 감지 시스템들에 통합될 수 있다. 조합된 이미징/LIDAR 시스템들은 전술한 바와 같은 회전 및/또는 정적 플랫폼들을 사용하여 구현될 수 있고, 주변광 데이터 및 레인징 데이터를 동시에 수집하는 것이 바람직한 임의의 응용에서 사용될 수 있다.
본원에 기술된 시스템들은 광 스펙트럼의 다양한 부분에 대한 광 강도 데이터(필요에 따라 넓은 및/또는 좁은 통과대역을 갖는 가시광, 적외선, 및 자외선; 다양한 편광 상태를 갖는 광; 및 전술한 다른 예들을 포함함) 및 시야에 걸친 깊이 정보(필요에 따라 일부 실시예들에서는 최대 360도까지 넓을 수 있음)를 포함할 수 있는 다중 스펙트럼 이미지 데이터를 생성할 수 있다. 상이한 센서 유형들에 의해 캡처된 이미지들(LIDAR와 같은 레인징 센서들을 포함함)은 센서 어레이 상의 상이한 센서 유형들의 정렬의 결과로서 서로 본질적으로 정합될 수 있다. 일부 실시예들에서, 이러한 본질적 정합은 이미지에 대한 다중 스펙트럼 픽셀 데이터의 생성을 용이하게 할 수 있다.
다중 스펙트럼 이미지 데이터는 데이터의 임의의 부분에 대해 동작하는 다양한 컴퓨터-구현 알고리즘을 이용하여 분석될 수 있다. 일부 실시예들에서, 다중 스펙트럼 이미지 데이터는 사용자에게 디스플레이하기 위한 이미지들을 생성하는데 사용될 수 있고, 이 이미지들은 이미지 데이터를 직접 렌더링하는 것 및/또는 데이터로부터의 알고리즘 추론에 기초하여 장면(또는 그 일부)의 이미지를 렌더링하는 것을 포함할 수 있다. 전술한 예들은 차량 내비게이션 및/또는 운전자 보조에 관한 것이지만, 본 발명은 임의의 특정 데이터 분석 또는 다중 스펙트럼 이미지 데이터의 임의의 특정 응용에 제한되지 않는다.
본 발명의 예시적인 실시예들의 상기 설명은 예시 및 설명의 목적으로 제시되어 있다. 이는 설명된 정확한 형태로 본 발명을 총망라하거나 제한하고자 하는 것이 아니며, 상기 교시에 비추어 많은 수정 및 변경이 가능하다. 실시예들은 본 발명의 원리 및 그의 실제적인 응용을 설명하기 위해 선택되고 설명되었으며, 이에 따라 통상의 기술자는 다양한 실시예들에서 본 발명을 적용할 수 있고, 고려되는 특정 용도에 적합한 다양한 변형이 가능하다. 따라서, 본 발명이 특정 실시예들을 참고하여 설명되었지만, 본 발명은 하기의 특허청구범위에 의해서만 제한되는 것으로 이해되어야 한다.
Claims (135)
- 복수의 센서 행들을 갖는 센서 어레이로서, 각각의 센서 행은
LIDAR 센서 채널; 및
하나 이상의 주변광 센서 채널들의 세트 - 각각의 주변광 센서 채널은,
채널 입력 개구;
광 센서; 및
채널-특이적 특성을 갖는 광을 상기 광 센서에 선택적으로 통과시키는 채널-특이적 광학 필터를 포함함 - 를 포함하는, 센서 어레이. - 제1항에 있어서, 상기 하나 이상의 주변광 센서 채널들의 세트는 각각 상이한 채널-특이적 광학 필터를 갖는 적어도 두 개의 주변광 센서 채널들을 포함하는, 센서 어레이.
- 제1항에 있어서, 상기 주변광 센서 채널들의 세트는, 상기 채널-특이적 광학 필터가 적어도 가시광 스펙트럼을 포함하는 통과대역을 갖는 백색 채널을 포함하는, 센서 어레이.
- 제1항에 있어서, 상기 주변광 센서 채널들의 세트는, 상기 채널-특이적 광학 필터가 적색 광을 선택적으로 통과시키는 적색 채널, 상기 채널-특이적 광학 필터가 녹색 광을 선택적으로 통과시키는 녹색 채널, 및 상기 채널-특이적 광학 필터가 청색 광을 선택적으로 통과하는 청색 채널을 포함하는, 센서 어레이.
- 제1항에 있어서, 상기 주변광 센서 채널들의 세트는 적어도 5개의 상이한 컬러 채널들을 포함하고, 상기 적어도 5개의 상이한 컬러 채널들 각각을 위한 상기 채널-특이적 광학 필터는 상이한 범위의 파장을 갖는 광을 선택적으로 통과시키는, 센서 어레이.
- 제1항에 있어서, 상기 주변광 센서 채널들의 세트는,
제1 범위의 파장을 갖는 광을 선택적으로 통과시키는 제1 채널-특이적 광학 필터를 갖는 제1 컬러 채널; 및
제2 범위의 파장을 갖는 광을 선택적으로 통과시키는 제2 채널-특이적 광학 필터를 갖는 제2 컬러 채널을 포함하고,
상기 제1 범위 및 상기 제2 범위는 중첩되는 범위인, 센서 어레이. - 제6항에 있어서, 상기 제2 범위는 특정 물질의 흡수 대역에 대응하고, 상기 제1 범위는 상기 제2 범위를 포함하는, 센서 어레이.
- 제1항에 있어서, 상기 주변광 센서 채널들의 세트는 상기 채널-특이적 광학 필터가 특정한 편광 특성을 갖는 광을 선택적으로 통과시키는 하나 이상의 편광 채널을 포함하는, 센서 어레이.
- 제1항에 있어서, 상기 주변광 센서 채널들의 세트는,
하나 이상의 컬러 채널 - 상기 하나 이상의 컬러 채널들 각각을 위한 상기 채널-특이적 광학 필터는 상이한 범위의 파장을 갖는 광을 선택적으로 통과시킴 -; 및
상기 채널-특이적 광학 필터가 특정한 편광 특성을 갖는 광을 선택적으로 통과시키는 하나 이상의 편광 채널을 포함하는, 센서 어레이. - 제1항에 있어서, 상기 하나 이상의 주변광 센서 채널들의 세트는 각각 상이한 채널-특이적 광학 필터를 가지는 적어도 두 개의 주변광 센서 채널들을 포함하고, 주어진 센서 행 내의 상기 주변광 센서 채널들은 균일한 피치만큼 서로 이격되어 있는, 센서 어레이.
- 제10항에 있어서, 주어진 센서 행 내의 상기 LIDAR 센서 채널은 상기 균일한 피치만큼 또는 상기 균일한 피치의 정수배인 거리만큼 상기 주어진 센서 행 내의 상기 주변광 센서 채널들 중 가장 가까운 센서 채널로부터 이격되어 있는, 센서 어레이.
- 제11항에 있어서, 인접한 센서 행들은 상기 균일한 피치만큼 서로 이격되어 있는, 센서 어레이.
- 제1항에 있어서, 각각의 상기 주변광 센서 채널의 광 센서는 광자-카운팅 모드에서 동작하는 하나 이상의 단일-광자 애벌란시 다이오드(SPAD)를 포함하고, 각각의 LIDAR 센서 채널은 광자-카운팅 모드에서 동작하는 하나 이상의 SPAD를 더 포함하는, 센서 어레이.
- 제1항에 있어서, 상기 센서 어레이는 단일 ASIC으로서 제조되는, 센서 어레이.
- 제14항에 있어서,
상기 ASIC 내에 배치되고, 상기 LIDAR 센서 채널들 중 2개 이상 및 상기 주변광 센서 채널들 중 2개 이상으로부터의 데이터를 저장하도록 구성되는 데이터 버퍼; 및
상기 ASIC 내에 배치되고, 상기 데이터 버퍼에 저장된 상기 데이터에 대해 이미지 처리 동작을 수행하도록 구성되는 프로세싱 회로를 더 포함하는, 센서 어레이. - 제1항에 있어서, 상기 주변광 센서 채널들 중 적어도 하나는 다중 스펙트럼 센서 채널이고, 상기 다중 스펙트럼 센서 채널은,
복수의 광 센서들; 및
패터닝된 광학 필터 - 상기 패터닝된 광학 필터의 상이한 부분들은 상이한 특성을 갖는 광을 상기 다중 스펙트럼 센서 채널 내의 상기 복수의 광 센서들의 상이한 서브세트들에 대해 선택적으로 통과시킴 - 를 포함하는, 센서 어레이. - 제16항에 있어서, 상기 패터닝된 광학 필터의 상이한 부분들은 제1 파장 대역에서 광을 통과시키는 제1 부분, 및 제2 파장 대역에서 광을 통과시키는 제2 부분을 포함하는, 센서 어레이.
- 레인징/이미징 시스템으로서,
고정 베이스;
상기 고정 베이스에 회전가능하게 연결되고 복수의 센서 행들을 가지는 센서 어레이 - 각각의 센서 행은
LIDAR 센서 채널; 및
하나 이상의 주변광 센서 채널들의 세트를 포함하고, 각각의 주변광 센서 채널은,
채널 입력 개구;
광 센서; 및
채널-특이적 특성을 갖는 광을 상기 광 센서에 선택적으로 통과시키는 채널-특이적 광학 필터를 포함함 -;
상기 센서 어레이의 전방에 배치되고, 상기 LIDAR 센서 채널들 및 상기 주변광 센서 채널들에 공통인 개구 평면 상에 입사광을 집중시키도록 구성되는 벌크 광학 모듈; 및
상기 고정 베이스에 대한 공간 내의 주어진 위치가 상기 LIDAR 센서 채널 및 상기 센서 행들 중 하나에서의 주변광 센서 채널들 각각에 의해 연속적으로 이미징되도록, 상기 센서 어레이의 회전 및 상기 광 센서들의 동작을 동기화하는 컨트롤러를 포함하는, 레인징/이미징 시스템. - 제18항에 있어서, 상기 컨트롤러는 상기 센서 어레이의 상기 주변광 센서 채널들을 사용하여 결정된 픽셀마다의 광 강도 데이터 및 상기 센서 어레이의 상기 LIDAR 센서 채널들을 사용하여 결정된 픽셀마다의 깊이 데이터를 포함하는 다중 스펙트럼 이미지 픽셀 데이터를 생성하도록 더 구성되는, 레인징/이미징 시스템.
- 제18항에 있어서, 주어진 센서 행 내의 상기 주변광 센서 채널들은 균일한 피치만큼 서로 이격되고, 상기 컨트롤러는 연속적인 이미징 동작들이 상기 균일한 피치에 대응하는 피치 각도만큼 분리된 각도 위치들에서 발생하도록 상기 레인징/이미징 시스템을 회전시키도록 더 구성되는, 레인징/이미징 시스템.
- 제20항에 있어서, 주어진 센서 행 내의 LIDAR 센서 채널은 균일한 피치만큼 또는 균일한 피치의 정수배인 거리만큼 주어진 센서 행 내의 주변광 센서 채널 중 가장 가까운 센서 채널로부터 이격되어 있는, 레인징/이미징 시스템.
- 제21항에 있어서, 인접한 센서 행들은 상기 균일한 피치만큼 서로 이격되어 있는, 레인징/이미징 시스템.
- 제18항에 있어서, 상기 하나 이상의 주변광 센서 채널들의 세트는 각각 상이한 채널-특이적 광학 필터를 갖는 적어도 2개의 주변광 센서 채널들을 포함하는, 레인징/이미징 시스템.
- 제18항에 있어서, 상기 주변광 센서 채널들의 세트는 상기 채널-특이적 광학 필터가 특정한 편광 특성을 갖는 광을 선택적으로 통과시키는 하나 이상의 편광 채널들을 포함하는, 레인징/이미징 시스템.
- 제18항에 있어서, 상기 주변광 센서 채널들의 세트는,
하나 이상의 컬러 채널 - 상기 하나 이상의 컬러 채널들 각각을 위한 상기 채널-특이적 광학 필터는 상이한 범위의 파장을 갖는 광을 선택적으로 통과시킴 -; 및
상기 채널-특이적 광학 필터가 특정한 편광 특성을 갖는 광을 선택적으로 통과시키는 하나 이상의 편광 채널을 포함하는, 레인징/이미징 시스템. - 제18항에 있어서, 상기 주변광 센서 채널들 중 적어도 하나는 다중 스펙트럼 센서 채널이고, 상기 다중 스펙트럼 센서 채널은,
복수의 광 센서들; 및
패터닝된 광학 필터를 포함하고, 상기 패터닝된 광학 필터의 상이한 부분들은 상기 다중 스펙트럼 센서 채널 내의 상기 복수의 광 센서들의 상이한 서브세트들에 대해 상이한 특성들을 갖는 광을 선택적으로 통과시키는, 레인징/이미징 시스템. - 센서 어레이로서,
하이브리드 센서 픽셀들의 2차원 어레이 - 각각의 하이브리드 센서 픽셀은,
LIDAR 센서 채널; 및
하나 이상의 주변광 센서 채널들의 세트를 포함하고, 각각의 주변광 센서 채널은 센서-특이적 특성을 갖는 광의 강도를 선택적으로 측정하도록 동조됨 -; 및
상기 2차원 어레이의 각각의 하이브리드 센서 픽셀에 연결된 판독 전자 요소 - 상기 각각의 하이브리드 센서 픽셀에 대한 판독 전자 요소는,
상기 LIDAR 센서 채널에 연결되되, 상기 LIDAR 센서 채널에서 광자들의 도달 시간을 측정하고, 메모리에 광자 도착 시간들을 나타내는 데이터를 저장하도록 구성되는 타이밍 회로; 및
상기 주변광 센서 채널에 연결되되, 상기 주변광 센서 채널에서 검출되는 광자들의 수를 카운트하고, 상기 메모리에 광자 카운트들을 저장하도록 구성되는 카운터 회로를 포함함 -를 포함하는, 센서 어레이. - 제27항에 있어서, 상기 하이브리드 센서 픽셀들의 2차원 어레이는 단일 ASIC으로 형성되는, 센서 어레이.
- 제28항에 있어서, 각각의 하이브리드 센서 픽셀은,
광 센서들의 평면 어레이 및 패터닝된 광학 필터를 포함하고, 상기 패터닝된 광학 필터의 상이한 부분들은 상기 평면 어레이 내의 상기 광 센서들의 상이한 서브세트들에 대해 상이한 특성을 갖는 광을 선택적으로 통과시키며,
상기 패터닝된 광학 필터는, 상기 광 센서들의 제1 서브세트가 LIDAR 방출기의 파장과 일치하는 좁은 통과대역 내의 적외선 광을 수신하여 LIDAR 센서 채널을 제공하고, 상기 광 센서들의 제2 서브세트가 가시광 스펙트럼의 적어도 일부로부터 가시광을 수신하여 상기 주변광 센서 채널들 중 하나를 제공하도록 배열되는, 센서 어레이. - 제29항에 있어서, 상기 하이브리드 센서 픽셀들 각각에서, 상기 광 센서들의 제1 서브세트는 상기 하이브리드 센서 픽셀의 픽셀 영역 내의 중심 영역에 위치되고, 상기 광 센서들의 제2 서브세트는 상기 픽셀 영역 내의 상기 중앙 영역 주위의 주변 영역에 위치되는, 센서 어레이.
- 제29항에 있어서, 상기 광 센서들의 제2 서브세트는 2개 이상의 광 센서들을 포함하고, 상기 패터닝된 광학 필터는 상기 제2 서브세트 내의 상기 2개 이상의 광 센서들 각각이 상이한 특성을 갖는 광을 수신하도록 더 배열되는, 센서 어레이.
- 제31항에 있어서, 상기 제2 서브세트 내의 상이한 광 센서들은 상이한 범위의 파장들을 갖는 광을 수신하는, 센서 어레이.
- 제31항에 있어서, 상기 패터닝된 광학 필터는, 상기 제2 서브세트 내의 상기 광 센서들 중 적어도 하나가 특정한 편광 특성을 갖는 광을 수신하도록 더 배열되는, 센서 어레이.
- 제31항에 있어서, 상기 패터닝된 광학 필터는, 상기 제2 서브세트 내의 상기 광 센서들 중 적어도 하나가 특정 물질의 흡수 대역에 대응하는 파장 범위의 광을 수신하도록 더 배열되는, 센서 어레이.
- 제27항에 있어서, 상기 하이브리드 센서 채널들의 상기 2차원 어레이를 위한 상기 LIDAR 센서 채널들은 제1 ASIC으로 형성되고, 상기 주변광 센서 채널들은 상기 제1 ASIC 위에 중첩되고 상기 제1 ASIC과 정렬되는 제2 ASIC으로 형성되며, 상기 제2 ASIC은 상기 LIDAR 센서 채널들 내로 광을 통과시키도록, 내부에 형성된 복수의 개구들을 갖는, 센서 어레이.
- 레인징/이미징 시스템으로서,
하이브리드 센서 픽셀들의 2차원 어레이를 포함하는 센서 어레이 - 각각의 하이브리드 센서 픽셀은,
LIDAR 센서 채널; 및
하나 이상의 주변광 센서 채널들의 세트를 포함하고, 각각의 주변광 센서 채널은 채널-특이적 특성을 갖는 광의 강도를 선택적으로 측정하도록 동조됨 -; 및
시야 내에 주어진 위치가 상기 하이브리드 센서 픽셀들 중 하나의 상기 LIDAR 센서 채널 및 상기 주변광 센서 채널들에 의해 이미징되도록, 상기 LIDAR 센서 채널들 및 상기 주변광 센서 채널들을 동작시키도록 구성되는 컨트롤러를 포함하는, 레인징/이미징 시스템. - 제36항에 있어서,
상기 LIDAR 센서 채널들에 의해 검출 가능한 광을 방출하기 위한 방출기를 더 포함하고,
상기 컨트롤러는 각각의 하이브리드 센서 픽셀에 대한 깊이 측정을 결정하기 위해 상기 LIDAR 센서 채널들의 동작을 이용하여 상기 방출기의 동작을 조정하도록 더 구성되는, 레인징/이미징 시스템. - 제37항에 있어서, 상기 컨트롤러는, 상기 시야의 상이한 부분들이 상이한 시간에 상기 LIDAR 센서 채널들 중 상이한 채널들에 의해 이미징되도록, 상기 방출기 및 상기 LIDAR 센서 채널들을 동작시켜 시야의 전자적 스캐닝을 수행하도록 더 구성되는, 레인징/이미징 시스템.
- 제36항에 있어서, 상기 하이브리드 센서 채널들은 단일 ASIC으로 형성되는, 레인징/이미징 시스템.
- 제36항에 있어서, 상기 LIDAR 센서 채널들은 제1 ASIC으로 형성되고, 상기 주변광 센서 채널들은 상기 제1 ASIC 위에 중첩되고 상기 제1 ASIC과 정렬되는 제2 ASIC으로 형성되며, 상기 제2 ASIC은 상기 LIDAR 센서 채널들 내로 광을 통과시키도록, 내부에 형성된 복수의 개구들을 갖는, 레인징/이미징 시스템.
- 이미징 시스템으로서,
고정 베이스;
상기 고정 베이스에 회전가능하게 연결되고 복수의 센서 행들을 가지는 센서 어레이 - 각각의 센서 행은 2개 이상의 주변광 센서 채널들의 세트를 포함하고, 각각의 주변광 센서 채널은,
채널 입력 개구;
광 센서; 및
채널-특이적 특성을 갖는 광을 상기 광 센서에 선택적으로 통과시키는 채널-특이적 광학 필터를 포함하며, 상기 채널-특이적 특성은 상기 센서 행들 센서 행의 주어진 하나에서의 상이한 주변광 센서 채널들에 대해 상이함 -;
상기 센서 어레이의 전방에 배치되고, 상기 주변광 센서 채널들에 공통인 개구 평면 상에 입사광을 집중시키도록 구성되는 벌크 광학 모듈; 및
상기 주변광 센서 채널들을 사용하여 결정된 광 강도 데이터를 포함하는 이미지 픽셀 데이터를 생성하기 위해 상기 센서 어레이의 회전 및 상기 광 센서들의 동작을 동기화시키기 위한 컨트롤러를 포함하는, 이미징 시스템. - 제41항에 있어서, 각각의 상기 주변광 센서 채널의 광 센서는 광자-카운팅 모드에서 동작되는 하나 이상의 단일-광자 애벌란시 다이오드(SPAD)를 포함하는, 이미징 시스템.
- 제41항에 있어서, 각각의 상기 주변광 센서 채널의 광 센서는 광다이오드를 포함하는, 이미징 시스템.
- 제41항에 있어서, 상기 주변광 센서 채널들의 세트는, 상기 채널-특이적 광학 필터가 적색 광을 선택적으로 통과시키는 적색 채널, 상기 채널-특이적 광학 필터가 녹색 광을 선택적으로 통과시키는 녹색 채널, 및 상기 채널-특이적 광학 필터가 청색 광을 선택적으로 통과시키는 청색 채널을 포함하는, 이미징 시스템.
- 제41항에 있어서, 상기 주변광 센서 채널들의 세트는 적어도 5개의 상이한 컬러 채널들을 포함하고, 상기 적어도 5개의 상이한 컬러 채널들 각각을 위한 채널-특이적 광학 필터는 상이한 범위의 파장을 갖는 광을 선택적으로 통과시키는, 이미징 시스템.
- 제41항에 있어서, 상기 주변광 센서 채널들의 세트는,
제1 범위의 파장을 갖는 광을 선택적으로 통과시키는 제1 채널-특이적 광학 필터를 갖는 제1 컬러 채널; 및
제2 범위의 파장을 갖는 광을 선택적으로 통과시키는 제2 채널-특이적 광학 필터를 갖는 제2 컬러 채널을 포함하고,
상기 제1 범위 및 상기 제2 범위는 중첩하는 범위인, 이미징 시스템. - 제46항에 있어서, 상기 제2 범위는 특정 물질의 흡수 대역에 대응하는, 이미징 시스템.
- 제41항에 있어서, 상기 주변광 센서 채널들의 세트는 상기 채널-특이적 광학 필터가 특정한 편광 특성을 갖는 광을 선택적으로 통과시키는 하나 이상의 편광 채널들을 포함하는, 이미징 시스템.
- 제41항에 있어서, 상기 주변광 센서 채널들의 세트는,
하나 이상의 컬러 채널 - 상기 하나 이상의 컬러 채널들 각각을 위한 상기 채널-특이적 광학 필터는 상이한 범위의 파장을 갖는 광을 선택적으로 통과시킴 -; 및
상기 채널-특이적 광학 필터가 특정한 편광 특성을 갖는 광을 선택적으로 통과시키는 하나 이상의 편광 채널을 포함하는, 이미징 시스템. - 제41항에 있어서, 주어진 센서 행 내의 상기 주변광 센서 채널들은 균일한 피치만큼 서로 이격되어 있는, 이미징 시스템.
- 제50항에 있어서, 인접한 센서 행들은 상기 균일한 피치만큼 서로 이격되어 있는, 이미징 시스템.
- 제41항에 있어서, 상기 센서 어레이는 단일 ASIC으로 제조되는, 이미징 시스템.
- 제52항에 있어서,
상기 ASIC 내에 배치되고, 상기 주변광 센서 채널들 중 2개 이상으로부터의 데이터를 저장하도록 구성된 데이터 버퍼; 및
상기 ASIC 내에 배치되고, 상기 데이터 버퍼에 저장된 상기 데이터에 대해 이미지 처리 동작을 수행하도록 구성되는 프로세싱 회로를 더 포함하는, 이미징 시스템. - 이미징 시스템으로서,
개구 평면 내의 대응하는 복수의 개구들을 통해 광을 수신하도록 배열된 복수의 센서 채널들을 갖는 센서 어레이;
상기 센서 어레이의 전방에 배치되고, 시야의 이미지를 형성하기 위해 상기 개구 평면 상에 입사광을 집중시키도록 구성되는 벌크 광학 모듈;
상기 시야에 대한 이미지 데이터를 생성하도록 상기 센서 어레이를 동작시키기 위한 컨트롤러; 및
복수의 채널-특이적 마이크로-광학 요소들을 포함하고, 각각의 채널-특이적 마이크로-광학 요소는 상기 개구들 중 상이한 하나의 전방에 배치되고 상이한 센서 채널들에 대해 상이한 광학 처방을 갖는, 이미징 시스템. - 제54항에 있어서, 상기 채널-특이적 마이크로-광학 요소들 중 특정한 하나에 대한 상기 광학 처방은 상기 벌크 광학 모듈의 광학 특성에 적어도 부분적으로 기초하는, 이미징 시스템.
- 제54항에 있어서, 상기 센서 채널들은 복수의 센서 행들로 배열되고, 각각의 센서 행은,
LIDAR 센서 채널; 및
하나 이상의 주변광 센서 채널들의 세트 - 각각의 주변광 센서 채널은,
채널 입력 개구;
광 센서; 및
채널-특이적 특성을 갖는 광을 상기 광 센서에 선택적으로 통과시키는 채널-특이적 광학 필터를 포함함 -를 포함하며,
상기 주변광 센서 채널들 중 적어도 일부는 대응하는 채널-특이적 마이크로-광학 요소들을 갖는, 이미징 시스템. - 제56항에 있어서, 각각의 주변광 센서 채널을 위한 상기 채널-특이적 마이크로-광학 요소들은 상기 채널-특이적 광학 필터에 적어도 부분적으로 기초하는 처방을 갖는, 이미징 시스템.
- 제57항에 있어서, 상기 벌크 광학 모듈은 색수차를 나타내고, 상기 주변광 센서 채널들 중 적어도 일부에 대한 상기 광학 처방은 부분적으로 상기 채널-특이적 광학 필터 및 부분적으로 상기 벌크 광학 모듈의 색수차에 기초하는, 이미징 시스템.
- 제54항에 있어서, 상기 복수의 센서 채널들은 복수의 LIDAR 센서 채널들을 포함하고, 상기 LIDAR 센서 채널들 중 적어도 일부는 부분적으로 LIDAR 동작 파장 및 부분적으로 상기 벌크 광학 모듈의 광학 특성에 기초하는 각각의 광학 처방들을 갖는 대응하는 채널-특이적 마이크로-광학 요소들을 가지는, 이미징 시스템.
- 제54항에 있어서, 상기 벌크 광학 모듈은 만곡된 초점면을 가지며, 상기 채널-특이적 마이크로-광학 요소들 각각의 광학 처방은 상기 개구의 위치 및 상기 만곡된 초점면 상의 대응하는 위치 사이의 오프셋을 보상하는, 이미징 시스템.
- 제60항에 있어서, 상기 각각의 채널-특이적 마이크로-광학 요소의 광학 처방은 상기 개구면에서 상기 벌크 광학 모듈의 광학 축으로부터 상기 대응하는 개구까지의 방사 거리의 함수인, 이미징 시스템.
- 제60항에 있어서, 상이한 개구들의 전방에 배치된 상기 채널-특이적 마이크로-광학 요소들은 상이한 굴절력을 갖는 광학 처방을 가지는, 이미징 시스템.
- 제60항에 있어서, 상이한 채널들의 전방에 배치된 상기 채널-특이적 마이크로-광학 요소들은 상기 개구 평면으로부터 상이한 격리 거리를 갖는, 이미징 시스템.
- 제60항에 있어서, 상기 벌크 광학 모듈은 색수차를 나타내고, 상기 센서 채널들 중 상이한 센서 채널들은 상이한 파장들의 광을 감지하도록 구성되며, 상기 채널-특이적 마이크로-광학 요소들은 상기 벌크 광학 모듈의 상기 색수차를 더 보상하는, 이미징 시스템.
- 제60항에 있어서, 상기 센서 채널들은 전파 시간 측정들을 제공하는 LIDAR 센서 채널들을 포함하는, 이미징 시스템.
- 제60항에 있어서, 상기 센서 채널들은 광 강도 측정들을 제공하는 주변광 센서 채널들을 포함하는, 이미징 시스템.
- 제60항에 있어서, 상기 센서 채널들은 전파 시간 측정들을 제공하는 LIDAR 센서 채널들, 및 강도 측정들을 제공하는 주변광 센서 채널들의 조합을 포함하는, 이미징 시스템.
- LIDAR 방출기 디바이스로서,
개구 평면의 대응하는 복수의 개구들을 통해 광을 방출하도록 배열된 복수의 방출기 채널들을 갖는 방출기 어레이;
상기 방출기 어레이의 전방에 배치되고, 상기 개구 평면으로부터의 광을 시야로 지향시키도록 구성된 벌크 광학 모듈; 및
복수의 채널-특이적 마이크로-광학 요소들을 포함하고, 각각의 채널-특이적 마이크로-광학 요소는 상기 개구들 중 상이한 하나의 전방에 배치되며 상이한 채널-특이적 마이크로-광학 요소들에 대해 상이한 광학 처방을 가지는, LIDAR 방출기 디바이스. - 제68항에 있어서, 상기 채널-특이적 마이크로-광학 요소들 중 특정 하나에 대한 광학 처방은 상기 벌크 광학 모듈의 광학 특성에 적어도 부분적으로 기초하는, LIDAR 방출기 디바이스.
- 제68항에 있어서, 상기 벌크 광학 모듈은 만곡된 초점면을 가지며, 상기 채널-특이적 마이크로-광학 요소들 각각의 상기 광학 처방은 상기 개구의 위치 및 상기 만곡된 초점면 상의 대응하는 위치 사이의 오프셋을 보상하는, LIDAR 방출기 디바이스.
- 제68항에 있어서, 각각의 채널-특이적 마이크로-광학 요소의 상기 광학 처방은 상기 개구면에서 상기 벌크 광학 모듈의 광학 축으로부터 상기 대응하는 개구까지의 방사 거리의 함수인, LIDAR 방출기 디바이스.
- 제68항에 있어서, 상이한 개구들의 전방에 배치된 상기 채널-특이적 마이크로-광학 요소들은 상이한 굴절력을 갖는 광학 처방들을 가지는, LIDAR 방출기 디바이스.
- 제68항에 있어서, 상이한 채널들의 전방에 배치된 상기 채널-특이적 마이크로-광학 요소들은 상기 개구 평면으로부터 상이한 격리 거리들을 갖는, LIDAR 방출기 디바이스.
- 스캐닝 방향으로 고정 해상도를 갖는 이미지를 제공하기 위한 스캐닝 이미징 시스템으로서, 상기 스캐닝 이미징 시스템은,
2차원으로 배열되되 각각이 광을 검출하도록 구성되는 센서 채널들의 세트를 포함하는 센서 어레이;
데이터의 프레임을 획득하기 위해 각도 측정 위치들의 시퀀스를 통해 스캐닝 방향으로 상기 센서 어레이를 회전시키도록 구성된 회전 제어 시스템 - 상기 데이터의 프레임은 시야의 이미지를 나타내고, 상기 데이터의 프레임은 균일한 각도 피치에 따라 상기 스캐닝 방향으로 이격된 이미지 픽셀들의 그리드를 포함함 -; 및
상기 센서 어레이를 향해 상기 광을 집중시키도록 구성된 벌크 광학 모듈 - 상기 벌크 광학 모듈은, 상기 센서 어레이를 상기 스캐닝 방향을 따라 상기 균일한 각도 피치를 통해 회전시킴으로써 광선이 상기 센서 어레이 상에 입사하는 위치를 하나의 센서 채널로부터 인접한 센서 채널로 이동시키도록, 상기 센서 채널들의 세트의 배열에 동조되는 초점 길이 및 초점 길이 왜곡 프로파일을 가짐 - 을 포함하는, 스캐닝 이미징 시스템. - 제74항에 있어서, 상기 센서 채널들의 세트는 상기 스캐닝 방향을 가로지르는 방향으로 연장하는 열을 정의하는 LIDAR 센서 채널들의 스태거(staggered) 그리드를 포함하는, 스캐닝 이미징 시스템.
- 제75항에 있어서, 상기 센서 채널들의 세트는 상기 LIDAR 센서 채널들 각각에 대해 상기 스캐닝 방향을 따라 배치되는 적어도 하나의 주변광 센서 채널을 더 포함하는, 스캐닝 이미징 시스템.
- 제75항에 있어서, 상기 센서 채널들의 세트는 상기 LIDAR 센서 채널들 각각에 대해 상기 스캐닝 방향을 따라 배치되는 복수의 주변광 센서 채널들을 더 포함하는, 스캐닝 이미징 시스템.
- 제74항에 있어서, 상기 센서 어레이는 상기 스캐닝 방향을 따라 인접한 센서 채널들 사이에 고정된 피치를 갖고, 상기 벌크 광학 모듈은 F θ의 초점 길이 왜곡 프로파일을 갖는, 스캐닝 이미징 시스템.
- 제74항에 있어서, 상기 센서 어레이는 상기 스캐닝 방향을 따라 인접한 센서 채널들 사이에 고정된 피치를 갖고, 상기 벌크 광학 모듈은 F tan θ의 초점 길이 왜곡 프로파일을 갖는, 스캐닝 이미징 시스템.
- 제74항에 있어서, 상기 벌크 광학 모듈의 상기 초점 길이 왜곡 프로파일은 배럴 왜곡을 나타내고, 상기 센서 어레이 내의 인접한 센서 채널들 사이의 거리는 상기 센서 어레이의 엣지로부터 중심까지 증가하는, 스캐닝 이미징 시스템.
- 제74항에 있어서, 상기 벌크 광학 모듈의 상기 초점 길이 왜곡 프로파일은 핀쿠션 왜곡을 나타내고, 상기 센서 어레이 내의 인접한 센서 채널들 사이의 거리는 상기 센서 어레이의 엣지로부터 중심까지 감소하는, 스캐닝 이미징 시스템.
- 스캐닝 방향으로 고정 해상도를 갖는 이미지를 제공하기 위한 스캐닝 이미징 시스템으로서, 상기 스캐닝 이미징 시스템은,
하나 또는 두 개의 차원으로 배열되되 각각이 광을 검출하도록 구성되는 센서 채널들의 세트를 포함하는 센서 어레이;
상기 센서 어레이가 시야의 이미지를 나타내는 데이터의 프레임을 획득하도록 상이한 시간에 상기 시야의 상이한 부분들로부터의 광을 상기 센서 어레이 상으로 지향시키도록 구성된 미러 서브시스템 - 상기 데이터의 프레임은 균일한 각도 피치에 따라 스캐닝 방향으로 이격된 이미지 픽셀들의 그리드를 포함함 -; 및
상기 센서 어레이를 향해 상기 광을 집중시키도록 구성된 벌크 광학 모듈 - 상기 벌크 광학 모듈은, 상기 센서 어레이를 상기 스캐닝 방향을 따라 상기 균일한 각도 피치를 통해 회전시킴으로써 광선이 상기 센서 어레이 상에 입사하는 위치를 하나의 센서 채널로부터 인접한 센서 채널로 이동시키도록, 상기 센서 채널들의 세트의 배열에 동조되는 초점 길이 및 초점 길이 왜곡 프로파일을 가짐 - 을 포함하는, 스캐닝 이미징 시스템. - 제82항에 있어서, 상기 센서 채널들의 세트는 상기 스캐닝 방향을 가로지르는 방향으로 연장하는 열을 정의하는 LIDAR 센서 채널들의 스태거 그리드를 포함하는, 스캐닝 이미징 시스템.
- 제83항에 있어서, 상기 센서 채널들의 세트는 상기 LIDAR 센서 채널들 각각에 대해 상기 스캐닝 방향을 따라 배치되는 적어도 하나의 주변광 센서 채널을 더 포함하는, 스캐닝 이미징 시스템.
- 제83항에 있어서, 상기 센서 채널들의 세트는 상기 LIDAR 센서 채널들 각각에 대해 상기 스캐닝 방향을 따라 배치되는 복수의 주변광 센서 채널들을 더 포함하는, 스캐닝 이미징 시스템.
- 제82항에 있어서, 상기 센서 어레이는 상기 스캐닝 방향을 따라 인접한 센서 채널들 사이에 고정된 피치를 갖고, 상기 벌크 광학 모듈은 F θ의 초점 길이 왜곡 프로파일을 갖는, 스캐닝 이미징 시스템.
- 제82항에 있어서, 상기 센서 어레이는 상기 스캐닝 방향을 따라 인접한 센서 채널들 사이에 고정된 피치를 갖고, 상기 벌크 광학 모듈은 F tan θ의 초점 길이 왜곡 프로파일을 갖는, 스캐닝 이미징 시스템.
- 제82항에 있어서, 상기 벌크 광학 모듈의 상기 초점 길이 왜곡 프로파일은 배럴 왜곡을 나타내고, 상기 센서 어레이 내의 인접한 센서 채널들 사이의 거리는 상기 센서 어레이의 엣지로부터 중심까지 증가하는, 스캐닝 이미징 시스템.
- 제82항에 있어서, 상기 벌크 광학 모듈의 상기 초점 길이 왜곡 프로파일은 핀쿠션 왜곡을 나타내고, 상기 센서 어레이 내의 인접한 센서 채널들 사이의 거리는 상기 센서 어레이의 엣지로부터 중심까지 감소하는, 스캐닝 이미징 시스템.
- 2차원으로 스캐닝함으로써 고정 해상도를 갖는 이미지를 제공하기 위한 래스터 스캐닝 이미징 시스템으로서, 상기 래스터 스캐닝 이미징 시스템은,
하나 또는 두 개의 차원으로 배열되되 각각이 광을 검출하도록 구성되는 센서 채널들의 세트를 포함하는 센서 어레이;
상기 센서 어레이가 시야의 이미지를 나타내는 데이터의 프레임을 획득하도록 상이한 시간에 상기 시야의 상이한 부분들로부터의 광을 상기 센서 어레이 상으로 지향시키는 하나 또는 두 개의 차원의 래스터 스캔을 수행하도록 구성된 래스터 스캐닝 메커니즘 - 상기 데이터의 프레임은 상기 두 개의 차원들의 각각에서 균일한 피치에 따라 이격되는 이미지 픽셀들의 2차원 그리드를 포함하고, 상기 이미지 픽셀들의 그리드의 모든 차원들은 상기 센서 어레이의 차원들보다 더 큼 -; 및
상기 센서 어레이를 향해 상기 광을 집중시키도록 구성된 벌크 광학 모듈 - 상기 벌크 광학 모듈은 상기 센서 어레이가 상기 시야를 균일하게 샘플링하도록 상기 센서 채널들의 세트의 배열에 동조되는 초점 길이 및 초점 길이 왜곡 프로파일을 가짐 -을 포함하는, 래스터 스캐닝 이미징 시스템. - 제90항에 있어서, 상기 래스터 스캐닝 메커니즘은 상기 센서 어레이를 2차원으로 이동시키는, 래스터 스캐닝 이미징 시스템.
- 제90항에 있어서, 상기 래스터 스캐닝 메커니즘은 상이한 시간에 시야의 상이한 부분들로부터의 광을 상기 센서 어레이 상으로 지향시키도록 2차원으로 이동가능한 팁-틸트(tip-tilt) 미러를 포함하는, 래스터 스캐닝 이미징 시스템.
- 제90항에 있어서, 상기 센서 채널들은 LIDAR 센서 채널들을 포함하는, 래스터 스캐닝 이미징 시스템.
- 제90항에 있어서, 상기 센서 채널들은 하나 이상의 하이브리드 센서 채널들을 포함하고, 각각의 하이브리드 센서 채널은,
복수의 광 센서들; 및
패터닝된 광학 필터를 포함하고, 상기 패터닝된 광학 필터의 상이한 부분들은 상이한 특성을 갖는 광을 선택적으로 통과시키며,
상기 패터닝된 광학 필터는 상기 복수의 광 센서들 중 상이한 광 센서들이 상이한 특성을 갖는 광을 수신하도록 배열되고,
상기 패터닝된 광학 필터는, 상기 복수의 광 센서들의 제1 서브세트가 LIDAR 방출기의 파장과 일치하는 좁은 통과대역 내의 적외선 광을 수신하고, 상기 복수의 광 센서들의 제2 서브세트가 가시광 스펙트럼의 적어도 일부로부터 가시광을 수신하도록 더 배열되는, 래스터 스캐닝 이미징 시스템. - 제90항에 있어서, 상기 센서 채널들은 하나 이상의 하이브리드 센서 채널들을 포함하고, 각각의 하이브리드 센서 채널은,
제1 센서 채널 층 상에 배치된 LIDAR 센서 채널;
상기 제1 센서 채널 층 위에 중첩되되 광을 상기 LIDAR 센서 채널에 진입시키도록 내부에 개구를 갖는 개구층; 및
상기 개구 주위에서 상기 개구층의 적어도 일부분 상에 배치되는 복수의 주변광 센서 채널들 - 각각의 주변광 센서 채널은, 광 센서, 및 특정 특성을 갖는 광을 선택적으로 통과시키는 광학 필터를 포함하고, 상기 주변광 센서 채널들 중 상이한 센서 채널들의 광학 필터들은 상이한 특성을 갖는 광을 선택적으로 통과시킴 - 을 포함하는, 래스터 스캐닝 이미징 시스템. - 제90항에 있어서, 상기 센서 어레이는 센서 채널들 사이에 고정된 피치를 가지며, 상기 벌크 광학 모듈은 F tan θ의 초점 길이 왜곡 프로파일을 갖는, 래스터 스캐닝 이미징 시스템.
- 제90항에 있어서, 상기 센서 어레이는 센서 채널들 사이에 고정된 피치를 가지며, 상기 벌크 광학 모듈은 F θ의 초점 길이 왜곡 프로파일을 갖는, 래스터 스캐닝 이미징 시스템.
- 복수의 센서 행들을 갖는 센서 어레이로서, 각각의 센서 행은,
파장의 특정 범위에 대해 민감한 2개 이상의 해상도-향상된 주변광 센서 채널들의 그룹 - 상기 그룹 내의 각각의 해상도-향상된 주변광 센서 채널은,
채널-특이적 입력 개구; 및
광 센서를 포함하고, 상기 그룹 내의 상이한 해상도-향상된 주변광 센서 채널들의 상기 채널-특이적 입력 개구들은 채널 영역의 상이한 부분들을 노출시킴 -;
상기 해상도-향상된 주변광 센서 채널들의 그룹 내의 광 센서들로부터의 강도 데이터에 기초하여 복수의 서브픽셀 광 강도 값들을 결정하기 위한 논리 회로; 및
특정 행의 2개 이상의 해상도-향상된 주변광 센서 채널들의 그룹 내의 각각의 주변광 센서 채널이 상이한 시간에 시야 내의 동일한 픽셀 영역에 노출되도록, 상이한 시간에 상기 센서 어레이를 상기 시야 내의 상이한 영역들에 노출시키는 스캐닝 동작을 수행하는 것을 노출시키는 스캐닝 동작을 수행하도록 구성된 컨트롤러를 포함하는, 센서 어레이. - 제98항에 있어서, 상기 그룹 내의 각각의 해상도-향상된 주변광 센서 채널은 특정한 특성을 갖는 광을 선택적으로 통과시키는 광학 필터를 더 포함하고, 상기 특정한 특성은 상기 그룹 내의 모든 해상도-향상된 주변광 센서 채널에 대해 동일한, 센서 어레이.
- 제98항에 있어서, 상기 그룹 내의 상이한 해상도-향상된 주변광 센서 채널들의 개구들에 의해 노출되는 상기 채널 영역의 상이한 부분들은 상기 채널 영역의 중첩되지 않는 부분들인, 센서 어레이.
- 제100항에 있어서, 상기 해상도-향상된 주변광 센서 채널들의 그룹은 4개의 해상도-향상된 주변광 센서 채널들을 포함하고, 상기 중첩되지 않는 부분들은 상기 채널 영역의 상이한 사분면들에 대응하는, 센서 어레이.
- 제98항에 있어서, 상기 그룹 내의 상이한 해상도-향상된 주변광 센서 채널들의 개구들에 의해 노출되는 상기 채널 영역의 상이한 부분들은 상기 채널 영역의 중첩하는 부분들인, 센서 어레이.
- 제102항에 있어서, 상기 2개 이상의 해상도-향상된 주변광 센서 채널들의 그룹으로부터의 센서 데이터에 기초하여 상기 채널 영역의 중첩되지 않은 부분들의 세트에 대한 강도 값들을 디코딩하기 위한 산술 논리 회로를 더 포함하는, 센서 어레이.
- 제102항에 있어서, 상기 2개 이상의 해상도-향상된 주변광 센서 채널들의 그룹은 전체 채널 영역을 노출시키는 개구를 갖는 제1 고-해상도 주변광 센서 채널을 더 포함하는, 센서 어레이.
- 제104항에 있어서, 상기 2개 이상의 해상도-향상된 주변광 센서 채널들의 그룹으로부터의 센서 데이터에 기초하여 상기 채널 영역의 중첩되지 않은 부분들의 세트에 대한 강도 값들을 디코딩하기 위한 산술 논리 회로를 더 포함하는, 센서 어레이.
- 제98항에 있어서, 상기 각각의 센서 행은 상기 해상도-향상된 주변광 센서 채널들의 그룹에 공간적으로 정합된 LIDAR 센서 채널을 더 포함하는, 센서 어레이.
- 제106항에 있어서, 상기 LIDAR 센서 채널들은 제1 해상도를 갖는 깊이 이미지를 위한 깊이 데이터를 제공하고, 상기 해상도-향상된 주변광 센서 채널들은 적어도 하나의 차원에서 상기 제1 해상도보다 높은 제2 해상도를 갖는 강도 이미지를 제공하는, 센서 어레이.
- 제107항에 있어서, 상기 제2 해상도는 행 방향 차원 및 상기 행 방향 차원을 가로지르는 차원 모두에서 상기 제1 해상도보다 높은, 센서 어레이.
- 스캐닝 이미징 시스템으로서,
센서 어레이 및 컨트롤러를 포함하고, 상기 센서 어레이는,
파장의 특정 범위에 대해 민감한 2개 이상의 해상도-향상된 주변광 센서 채널들의 그룹 - 상기 그룹 내의 각각의 해상도-향상된 주변광 센서 채널은,
채널-특이적 입력 개구;
광 센서; 및
복수의 시간 빈들로 세분화되는 시간 간격 동안 상기 광 센서로부터의 광자 카운트들을 축적하기 위한 복수의 레지스터들을 포함하며, 상기 그룹 내의 상이한 해상도-향상된 주변광 센서 채널들의 채널-특이적 입력 개구들은 채널 영역의 상이한 부분들을 노출시키고, 상기 복수의 레지스터들 각각은 상기 복수의 시간 빈들 중 상이한 하나의 시간 빈 동안에 광자 카운트들을 축적함 -; 및
상기 그룹 내의 모든 상기 해상도-향상된 주변광 센서 채널들의 복수의 레지스터들에 축적된 상기 광자 카운트들에 기초하여 복수의 서브픽셀 광 강도 값들을 계산하기 위한 산술 논리 회로를 포함하며,
상기 컨트롤러는 상기 2개 이상의 해상도-향상된 주변광 센서 채널들의 그룹 내의 상기 2개 이상의 해상도-향상된 주변광 센서 채널들의 그룹 내의 각각의 주변광 센서 채널이 상이한 시간들의 시야 내의 동일한 픽셀 영역에 노출되도록, 상이한 시간들에 상기 센서 어레이를 상기 시야 내의 상이한 영역들에 노출시키는 스캐닝 동작을 수행하도록 구성되는, 스캐닝 이미징 시스템. - 제109항에 있어서, 상기 그룹 내의 각각의 해상도-향상된 주변광 센서 채널은 특정한 특성을 갖는 광을 선택적으로 통과시키는 광학 필터를 더 포함하고, 상기 특정한 특성은 상기 그룹 내의 모든 해상도-향상된 주변광 센서 채널에 대해 동일한, 스캐닝 이미징 시스템.
- 제109항에 있어서,
상기 해상도-향상된 주변광 센서 채널들의 그룹에 공간적으로 정합되는 LIDAR 센서 채널을 더 포함하는, 스캐닝 이미징 시스템. - 제111항에 있어서, 상기 LIDAR 센서 채널들은 제1 해상도를 갖는 깊이 이미지를 위한 깊이 데이터를 제공하고, 상기 해상도-향상된 주변광 센서 채널들은 행 방향 차원 및 상기 행 방향 차원에 가로지르는 차원 모두에서 상기 제1 해상도보다 높은 제2 해상도를 갖는 강도 이미지를 제공하는, 스캐닝 이미징 시스템.
- 제109항에 있어서, 상기 그룹 내의 상이한 해상도-향상된 주변광 센서 채널들의 개구들에 의해 노출되는 상기 채널 영역의 상이한 부분들은 상기 채널 영역의 중첩되지 않는 부분들인, 스캐닝 이미징 시스템.
- 제109항에 있어서, 상기 그룹 내의 해상도-향상된 주변광 센서 채널들 중 적어도 2개의 개구들에 의해 노출되는 상기 채널 영역의 상이한 부분들은 상기 채널 영역의 중첩하는 부분들인, 스캐닝 이미징 시스템.
- 제109항에 있어서, 상기 2개 이상의 해상도-향상된 주변광 센서 채널들의 그룹은 4개의 주변광 센서 채널들을 포함하고, 상기 복수의 레지스터들은 4개의 레지스터들을 포함하며, 상기 산술 논리 회로는 16개의 서브픽셀 광 강도 값들을 계산하는, 스캐닝 이미징 시스템.
- 제115항에 있어서, 상기 해상도-향상된 주변광 센서 채널들 중 제1 채널의 상기 채널-특이적 입력 개구는 상기 채널 영역의 1/4을 노출시키고, 상기 해상도-향상된 주변광 센서 채널들 중 제2, 제3, 및 제4 채널의 각각의 상기 채널-특이적 입력 개구들은 상기 채널 영역의 상기 1/4의 상이한 부분을 노출시키는, 스캐닝 이미징 시스템.
- 복수의 센서 행들을 갖는 센서 어레이로서, 각각의 센서 행은,
적어도 2개의 주변광 센서 채널들의 세트 - 상기 세트 내의 각각의 주변광 센서 채널은,
채널 입력 개구;
광 센서; 및
채널-특이적 특성을 갖는 광을 상기 광 센서에 선택적으로 통과시키는 채널-특이적 광학 필터를 포함하고,
각각의 센서 행 내의 상기 적어도 2개의 주변광 센서 채널들의 세트는 상기 광의 채널-특이적 특성이 중첩하는 각각의 채널-특이적 광학 필터들을 갖는 적어도 2개의 중첩하는 주변광 센서 채널들을 포함함 -; 및
상기 적어도 2개의 주변광 센서 채널들로부터의 신호들을 복수의 중첩되지 않은 특성들을 갖는 광에 대한 각각의 광 강도 레벨들로 디코딩하기 위한 산술 논리 회로를 포함하는, 센서 어레이. - 제117에 있어서, 상기 채널-특이적 특성은 광의 파장을 포함하는, 센서 어레이.
- 제118항에 있어서, 상기 적어도 2개의 중첩하는 주변광 센서 채널들의 세트는,
제1 범위의 파장을 갖는 광을 선택적으로 통과시키는 제1 채널-특이적 광학 필터를 갖는 제1 컬러 채널;
제2 범위의 파장을 갖는 광을 선택적으로 통과시키는 제2 채널-특이적 광학 필터를 갖는 제2 컬러 채널; 및
제3 범위의 파장을 갖는 광을 선택적으로 통과시키는 제3 채널-특이적 광학 필터를 갖는 제3 컬러 채널을 포함하고,
상기 제1 범위의 파장 및 상기 제2 범위의 파장은 부분적으로 중첩되고, 상기 제3 범위의 파장은 상기 제1 범위의 파장 및 상기 제2 범위의 파장 모두를 포함하는, 센서 어레이. - 제119에 있어서, 상기 제3 파장 대역은 가시광 스펙트럼에 대응하는, 센서 어레이.
- 제117에 있어서, 상기 채널-특이적 특성은 광의 편광 특성을 포함하는, 센서 어레이.
- 제117항에 있어서, 각각의 센서 행은 LIDAR 센서 채널을 더 포함하는, 센서 어레이.
- 이미징 시스템으로서,
각각의 센서 행이 적어도 2개의 주변광 센서 채널들의 세트를 포함하는, 복수의 센서 행들을 갖는 센서 어레이 - 각각의 주변광 센서 채널은,
채널 입력 개구;
광 센서; 및
채널-특이적 특성을 갖는 광을 상기 광 센서에 선택적으로 통과시키는 채널-특이적 광학 필터를 포함하고,
각각의 센서 행 내의 상기 적어도 2개의 주변광 센서 채널들의 세트는 상기 광의 채널-특이적 특성이 중첩하는 각각의 채널-특이적 광학 필터들을 갖는 적어도 2개의 중첩하는 주변광 센서 채널들을 포함함 -;
상기 3개 이상의 주변광 센서 채널들 각각이 시야의 동일한 부분으로부터의 광에 노출되도록 상기 센서 어레이를 작동시키기 위한 컨트롤러; 및
상기 적어도 2개의 중첩하는 주변광 센서 채널들로부터의 신호들을 복수의 중첩되지 않는 특성들을 갖는 광에 대한 각각의 광 강도 레벨들로 디코딩하기 위한 산술 논리 회로를 포함하는, 이미징 시스템. - 제123항에 있어서, 상기 채널-특이적 특성은 파장 범위를 포함하는, 이미징 시스템.
- 제124항에 있어서, 상기 적어도 2개의 중첩하는 주변광 센서 채널들은,
제1 범위의 파장을 갖는 광을 선택적으로 통과시키는 제1 채널-특이적 광학 필터를 갖는 제1 컬러 채널;
제2 범위의 파장을 갖는 광을 선택적으로 통과시키는 제2 채널-특이적 광학 필터를 갖는 제2 컬러 채널; 및
제3 범위의 파장을 갖는 광을 선택적으로 통과시키는 제3 채널-특이적 광학 필터를 갖는 제3 컬러 채널을 포함하고,
상기 제1 범위의 파장 및 상기 제2 범위의 파장은 부분적으로 중첩되고, 상기 제3 범위의 파장은 상기 제1 범위의 파장 및 상기 제2 범위의 파장 모두를 포함하는, 이미징 시스템. - 제125항에 있어서, 상기 제3 범위의 파장은 가시광 스펙트럼에 대응하는, 이미징 시스템.
- 제123항에 있어서, 상기 채널-특이적 특성은 광의 편광 특성을 포함하는, 이미징 시스템.
- 제123항에 있어서, 각각의 센서 행은 LIDAR 센서 채널을 더 포함하는, 이미징 시스템.
- 센서 어레이로서,
복수의 다중 스펙트럼 센서 채널들을 포함하는 복수의 센서 채널들 - 상기 복수의 스펙트럼 센서 채널은,
채널 입력 개구;
적어도 3개의 광 센서들; 및
적어도 3개의 상이한 부분들을 갖는 패터닝된 광학 필터를 포함하고, 상기 패터닝된 광학 필터의 상이한 부분들은 상이한 특성을 갖는 광을 상기 적어도 3개의 광 센서들의 상이한 서브세트들에 선택적으로 통과시키며,
상기 패터닝된 광학 필터의 상기 상이한 부분들은, 상기 적어도 3개의 광 센서들 중 제1 서브세트로 광을 통과시키는 제1 부분, 및 상기 적어도 3개의 광 센서들 중 제2 서브세트로 광을 통과시키는 제2 부분을 포함하고, 상기 제1 부분 및 상기 제2 부분에 의해 통과되는 광의 각각의 특성은 중첩함 -; 및
상기 광 센서들의 상기 제1 서브세트 및 상기 제2 서브세트로부터의 신호들을 복수의 중첩되지 않은 특성을 갖는 광에 대한 각각의 광 강도 레벨들로 디코딩하기 위한 산술 논리 회로를 포함하는, 센서 어레이. - 제129에 있어서, 상기 각각의 특성은 파장 범위를 포함하는, 센서 어레이.
- 제130에 있어서, 상기 패터닝된 광학 필터의 상이한 부분들은,
제1 범위의 파장을 갖는 광을 상기 광 센서들의 제1 서브세트에 선택적으로 통과시키는 제1 부분;
제2 범위의 파장을 갖는 광을 상기 광 센서들의 제2 서브세트에 선택적으로 통과시키는 제2 부분; 및
제3 범위의 파장을 갖는 광을 상기 광 센서들의 제3 서브세트에 선택적으로 통과시키는 제3 부분을 포함하고,
상기 제1 범위의 파장 및 상기 제2 범위의 파장은 부분적으로 중첩되고, 상기 제3 범위의 파장은 상기 제1 범위의 파장 및 상기 제2 범위의 파장 모두를 포함하는, 센서 어레이. - 제131항에 있어서, 상기 제3 파장 대역은 가시광 스펙트럼에 대응하는, 센서 어레이.
- 제129에 있어서, 상기 패터닝된 광학 필터의 상기 제1 부분 및 상기 제2 부분에 의해 선택되는 상기 특성은 광의 편광 특성을 포함하는, 센서 어레이.
- 제129항에 있어서, 상기 복수의 센서 채널들은 복수의 LIDAR 센서 채널들을 더 포함하고, 상기 복수의 LIDAR 센서 채널들은 각각의 LIDAR 센서 채널이 상기 다중 스펙트럼 센서 채널들 중 상이한 하나와 함께 센서 행을 형성하도록 배치되는, 센서 어레이.
- 제129항에 있어서, 상기 다중 스펙트럼 센서 채널은 LIDAR 광 센서를 포함하고, 상기 패터닝된 광학 필터는 LIDAR 방출기에 대응하는 파장을 갖는 광을 상기 LIDAR 광 센서에 선택적으로 통과시키는 제4 부분을 포함하는, 센서 어레이.
Applications Claiming Priority (11)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US201862716900P | 2018-08-09 | 2018-08-09 | |
| US62/716,900 | 2018-08-09 | ||
| US201862726810P | 2018-09-04 | 2018-09-04 | |
| US62/726,810 | 2018-09-04 | ||
| US201862744540P | 2018-10-11 | 2018-10-11 | |
| US62/744,540 | 2018-10-11 | ||
| US201962877778P | 2019-07-23 | 2019-07-23 | |
| US62/877,778 | 2019-07-23 | ||
| US16/534,838 | 2019-08-07 | ||
| US16/534,838 US10739189B2 (en) | 2018-08-09 | 2019-08-07 | Multispectral ranging/imaging sensor arrays and systems |
| PCT/US2019/045783 WO2020033749A1 (en) | 2018-08-09 | 2019-08-08 | Multispectral ranging/imaging sensor arrays and systems |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20210046697A true KR20210046697A (ko) | 2021-04-28 |
Family
ID=69415141
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020217007171A KR20210046697A (ko) | 2018-08-09 | 2019-08-08 | 다중 스펙트럼 레인징/이미징 센서 어레이 및 시스템 |
Country Status (10)
| Country | Link |
|---|---|
| US (1) | US10739189B2 (ko) |
| EP (1) | EP3834003A4 (ko) |
| JP (2) | JP7426377B2 (ko) |
| KR (1) | KR20210046697A (ko) |
| CN (2) | CN112805584A (ko) |
| AU (1) | AU2019319946A1 (ko) |
| CA (1) | CA3108884A1 (ko) |
| IL (1) | IL280547B2 (ko) |
| SG (1) | SG11202101312QA (ko) |
| WO (1) | WO2020033749A1 (ko) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP4070702A1 (en) | 2021-04-09 | 2022-10-12 | LG Electronics Inc. | Blender |
| WO2023249407A1 (ko) * | 2022-06-24 | 2023-12-28 | 주식회사 에스오에스랩 | 레이저 출력 어레이, 수신 옵틱 및 이를 이용하는 라이다 장치 |
Families Citing this family (38)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9992477B2 (en) | 2015-09-24 | 2018-06-05 | Ouster, Inc. | Optical system for collecting distance information within a field |
| US11475550B2 (en) * | 2017-07-18 | 2022-10-18 | Sony Group Corporation | Information processing apparatus, information processing method, program, and information processing system |
| US11924535B2 (en) * | 2019-06-20 | 2024-03-05 | Cila GmbH International | Controlling integral energy of a laser pulse in a laser mapping imaging system |
| CN110381272B (zh) * | 2019-08-22 | 2022-05-13 | 睿镞科技(北京)有限责任公司 | 图像传感器组合系统及产生单一和复合视野图像的装置 |
| US11604259B2 (en) * | 2019-10-14 | 2023-03-14 | Infineon Technologies Ag | Scanning LIDAR receiver with a silicon photomultiplier detector |
| US11573302B2 (en) * | 2019-10-17 | 2023-02-07 | Argo AI, LLC | LiDAR system comprising a Geiger-mode avalanche photodiode-based receiver having pixels with multiple-return capability |
| US11536650B2 (en) | 2019-10-18 | 2022-12-27 | Viavi Solutions Inc. | Image sensor system |
| US11499911B2 (en) * | 2019-11-15 | 2022-11-15 | Montana State University | Systems and methods for detecting thermodynamic phase of clouds with optical polarization |
| US11127147B2 (en) * | 2019-12-10 | 2021-09-21 | GM Global Technology Operations LLC | Three-dimensional point cloud generation using a polarimetric camera in a drive assistance system equipped vehicle |
| US11521063B1 (en) * | 2019-12-17 | 2022-12-06 | Bae Systems Information And Electronic Systems Integration Inc. | System and method for terminal acquisition with a neural network |
| US11500092B2 (en) * | 2019-12-20 | 2022-11-15 | Stmicroelectronics (Research & Development) Limited | Method for operating a ToF ranging array, corresponding circuit and device |
| JP2023509292A (ja) * | 2020-01-03 | 2023-03-08 | モービルアイ ビジョン テクノロジーズ リミテッド | 信号機を検出するためのシステムおよび方法 |
| US11269075B2 (en) | 2020-04-17 | 2022-03-08 | Samsung Electronics Co., Ltd. | Hybrid sensor system and method for providing 3D imaging |
| US11695911B2 (en) | 2020-04-27 | 2023-07-04 | Ouster, Inc. | Stereoscopic image capturing systems |
| US20210333371A1 (en) * | 2020-04-28 | 2021-10-28 | Ouster, Inc. | Lidar system with fog detection and adaptive response |
| CN111638185B (zh) * | 2020-05-09 | 2022-05-17 | 哈尔滨工业大学 | 基于无人机平台的遥感探测方法 |
| US11650428B2 (en) | 2020-06-11 | 2023-05-16 | Samsung Electronics Co., Ltd. | Progressive metalens for sensing system |
| US11201993B1 (en) | 2020-06-15 | 2021-12-14 | Samsung Electronics Co., Ltd. | Multi-camera on a chip and camera module design |
| WO2022018484A1 (en) * | 2020-07-20 | 2022-01-27 | CSEM Centre Suisse d'Electronique et de Microtechnique SA - Recherche et Développement | Multi-spectral light-field device |
| TWI790717B (zh) * | 2020-09-11 | 2023-01-21 | 神盾股份有限公司 | 降低腔內雜散光干擾的tof光學感測模組 |
| US11536608B2 (en) | 2021-01-04 | 2022-12-27 | Argo AI, LLC | Systems and methods for characterizing spectral reflectance of real world objects |
| DE102021201074A1 (de) | 2021-02-05 | 2022-08-11 | Robert Bosch Gesellschaft mit beschränkter Haftung | Detektorbaugruppe und optischer Sensor |
| WO2022221540A1 (en) * | 2021-04-14 | 2022-10-20 | Advanced Growing Resources Inc. | Optical spectroscopy scanner |
| KR20240004882A (ko) | 2021-05-14 | 2024-01-11 | 모셔널 에이디 엘엘씨 | 실리콘 광전자 증배관 기반 lidar |
| CN114167384A (zh) * | 2021-09-22 | 2022-03-11 | 深圳阜时科技有限公司 | 一种光发射功率调整方法 |
| US11428791B1 (en) | 2021-10-14 | 2022-08-30 | Motional Ad Llc | Dual-mode silicon photomultiplier based LiDAR |
| US11435451B1 (en) | 2021-10-14 | 2022-09-06 | Motional Ad Llc | SiPM based sensor for low level fusion |
| US20230185085A1 (en) * | 2021-12-14 | 2023-06-15 | Gm Cruise Holdings Llc | Self-illuminating distortion harp |
| CN116367003B (zh) * | 2021-12-22 | 2023-10-20 | 荣耀终端有限公司 | 多光谱传感器以及电子设备 |
| CN114518171B (zh) * | 2022-02-11 | 2024-04-30 | 南京大学 | 一种集成式的全斯托克斯偏振成像方法 |
| US20230324671A1 (en) * | 2022-04-06 | 2023-10-12 | Semiconductor Components Industries, Llc | Optical systems with tiltable filters |
| JP2024011627A (ja) * | 2022-07-15 | 2024-01-25 | キヤノン株式会社 | 光学装置、車載システム、および移動装置 |
| CN115408442B (zh) * | 2022-08-15 | 2023-03-10 | 云南大学 | 基于扩展空间同位模式的土地覆盖分布关系挖掘方法 |
| IL298239B2 (en) * | 2022-11-15 | 2024-06-01 | Scenera Tech Ltd | Image system and method |
| US20240241043A1 (en) * | 2023-01-13 | 2024-07-18 | GeoPulse Solutions | Sensing device and related methods |
| CN118731915A (zh) * | 2023-03-28 | 2024-10-01 | 上海禾赛科技有限公司 | 激光雷达的标定方法、标定设备及标定系统 |
| CN117692064B (zh) * | 2024-01-30 | 2024-04-30 | 陕西旋星电子科技有限公司 | 一种带挡光圈的非接触光通信滑环及其光器件布置方法 |
| CN118068349B (zh) * | 2024-04-25 | 2024-06-21 | 中国科学院长春光学精密机械与物理研究所 | 一种多波段单站光电定位测量装置 |
Family Cites Families (181)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US4358851A (en) | 1980-02-28 | 1982-11-09 | Xerox Corporation | Fiber optic laser device and light emitter utilizing the device |
| JPS58211677A (ja) | 1982-06-02 | 1983-12-09 | Nissan Motor Co Ltd | 光レ−ダ装置 |
| DE3426868A1 (de) | 1984-07-20 | 1986-01-30 | LITEF Litton Technische Werke der Hellige GmbH, 7800 Freiburg | Verfahren und einrichtung zur drehratenauslesung mittels eines passiven optischen resonators |
| JPS6137911U (ja) | 1984-08-10 | 1986-03-10 | 内山工業株式会社 | 材料注入成形金型 |
| US4676599A (en) | 1985-08-14 | 1987-06-30 | The United States Of America As Represented By The Secretary Of The Air Force | Micro-optical lens holder |
| US4744667A (en) | 1986-02-11 | 1988-05-17 | University Of Massachusetts | Microspectrofluorimeter |
| US4851664A (en) | 1988-06-27 | 1989-07-25 | United States Of America As Represented By The Secretary Of The Navy | Narrow band and wide angle hemispherical interference optical filter |
| JPH0749417Y2 (ja) | 1990-09-28 | 1995-11-13 | 三菱重工業株式会社 | 電気抵抗探傷用探触子 |
| US5267016A (en) | 1991-11-27 | 1993-11-30 | United Technologies Corporation | Laser diode distance measurement |
| US5288992A (en) | 1992-12-15 | 1994-02-22 | Gte Laboratories Incorporated | Wide angle, narrow band optical filter |
| US6133989A (en) | 1993-02-09 | 2000-10-17 | Advanced Scientific Concepts, Inc. | 3D imaging laser radar |
| JP3251150B2 (ja) | 1994-12-29 | 2002-01-28 | 日本板硝子株式会社 | 平板マイクロレンズアレイおよびその製造方法 |
| US5760899A (en) | 1996-09-04 | 1998-06-02 | Erim International, Inc. | High-sensitivity multispectral sensor |
| GB9618720D0 (en) | 1996-09-07 | 1996-10-16 | Philips Electronics Nv | Electrical device comprising an array of pixels |
| US6362482B1 (en) | 1997-09-16 | 2002-03-26 | Advanced Scientific Concepts, Inc. | High data rate smart sensor technology |
| US6721262B1 (en) | 1997-09-22 | 2004-04-13 | Seagate Technology Llc | Aperture stop for a flying optical head |
| JP2000138792A (ja) | 1998-10-30 | 2000-05-16 | Sharp Corp | イメージセンサ及びその製造方法 |
| US6371924B1 (en) | 1998-11-09 | 2002-04-16 | Medacoustics, Inc. | Acoustic window identification |
| US6201293B1 (en) | 1998-11-19 | 2001-03-13 | Xerox Corporation | Electro optical devices with reduced filter thinning on the edge pixel photosites and method of producing same |
| US6564168B1 (en) | 1999-09-14 | 2003-05-13 | Immersion Corporation | High-resolution optical encoder with phased-array photodetectors |
| US6414746B1 (en) | 1999-11-24 | 2002-07-02 | Advanced Scientific Concepts, Inc. | 3-D imaging multiple target laser radar |
| TW527518B (en) | 2000-07-14 | 2003-04-11 | Massachusetts Inst Technology | Method and system for high resolution, ultra fast, 3-D imaging |
| AU2002216611A1 (en) | 2000-09-29 | 2002-04-08 | Board Of Regents, The University Of Texas System | A theory of the charge multiplication process in avalanche photodiodes |
| US6707230B2 (en) | 2001-05-29 | 2004-03-16 | University Of North Carolina At Charlotte | Closed loop control systems employing relaxor ferroelectric actuators |
| DE10127204A1 (de) | 2001-06-05 | 2003-03-20 | Ibeo Automobile Sensor Gmbh | Erfassungsverfahren und - vorrichtung |
| US7091462B2 (en) | 2002-08-26 | 2006-08-15 | Jds Uniphase Corporation | Transmitter with laser monitoring and wavelength stabilization circuit |
| DE10244641A1 (de) | 2002-09-25 | 2004-04-08 | Ibeo Automobile Sensor Gmbh | Optoelektronische Erfassungseinrichtung |
| JP2006517340A (ja) | 2003-01-23 | 2006-07-20 | オーボテック リミテッド | 高輝度照明を提供するためのシステムおよび方法 |
| US20040223071A1 (en) | 2003-05-08 | 2004-11-11 | David Wells | Multiple microlens system for image sensors or display units |
| US7266248B2 (en) | 2003-08-08 | 2007-09-04 | Hewlett-Packard Development Company, L.P. | Method and apparatus for generating data representative of an image |
| DE10345555A1 (de) | 2003-09-30 | 2005-05-04 | Osram Opto Semiconductors Gmbh | Strahlungsemittierendes und -empfangendes Halbleiterbauelement und Verfahren zu dessen Herstellung |
| US7433042B1 (en) | 2003-12-05 | 2008-10-07 | Surface Optics Corporation | Spatially corrected full-cubed hyperspectral imager |
| US7808706B2 (en) | 2004-02-12 | 2010-10-05 | Tredegar Newco, Inc. | Light management films for displays |
| US7738026B2 (en) | 2005-05-02 | 2010-06-15 | Andrew G. Cartlidge | Increasing fill-factor on pixelated sensors |
| US7279764B2 (en) | 2004-06-01 | 2007-10-09 | Micron Technology, Inc. | Silicon-based resonant cavity photodiode for image sensors |
| USD531525S1 (en) | 2004-11-02 | 2006-11-07 | Sick Ag | Optoelectronic sensor |
| EP1880165A2 (en) | 2005-03-24 | 2008-01-23 | Infotonics Technology Center, Inc. | Hyperspectral imaging system and methods thereof |
| WO2006116637A2 (en) | 2005-04-27 | 2006-11-02 | Massachusetts Institute Of Technology | Raman spectroscopy for non-invasive glucose measurements |
| US8294809B2 (en) | 2005-05-10 | 2012-10-23 | Advanced Scientific Concepts, Inc. | Dimensioning system |
| WO2007081628A2 (en) | 2005-12-08 | 2007-07-19 | Advanced Scientific Concepts Inc. | Laser ranging, tracking and designation using 3-d focal planes |
| US7421159B2 (en) | 2005-12-13 | 2008-09-02 | Board of Supervisor of Louisiana State University and Agricultural and Mechanical College | Integral pre-aligned micro-optical systems |
| CN101356450B (zh) | 2005-12-19 | 2015-08-05 | 莱达科技股份有限公司 | 物体检测发光系统和方法 |
| DE102006004802B4 (de) | 2006-01-23 | 2008-09-25 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Bilderfassungssystem und Verfahren zur Herstellung mindestens eines Bilderfassungssystems |
| US7423821B2 (en) | 2006-03-24 | 2008-09-09 | Gentex Corporation | Vision system |
| JP4395150B2 (ja) * | 2006-06-28 | 2010-01-06 | 富士フイルム株式会社 | 距離画像センサ |
| EP2041515A4 (en) | 2006-07-13 | 2009-11-11 | Velodyne Acoustics Inc | HIGH DEFINITION LIDAR SYSTEM |
| WO2008120217A2 (en) | 2007-04-02 | 2008-10-09 | Prime Sense Ltd. | Depth mapping using projected patterns |
| EP1978394A1 (en) | 2007-04-06 | 2008-10-08 | Global Bionic Optics Pty Ltd. | Optical system for increasing depth of field |
| US7848478B1 (en) | 2007-05-04 | 2010-12-07 | General Electric Company | System for optical communication between stationary and non-stationary parts and method of making same |
| US8319949B2 (en) | 2007-06-18 | 2012-11-27 | Leddartech Inc. | Method for detecting objects with visible light |
| US8494252B2 (en) | 2007-06-19 | 2013-07-23 | Primesense Ltd. | Depth mapping using optical elements having non-uniform focal characteristics |
| US8310655B2 (en) | 2007-12-21 | 2012-11-13 | Leddartech Inc. | Detection and ranging methods and systems |
| TWI358606B (en) | 2007-12-28 | 2012-02-21 | Ind Tech Res Inst | Method for three-dimension (3d) measurement and an |
| US8384997B2 (en) | 2008-01-21 | 2013-02-26 | Primesense Ltd | Optical pattern projection |
| EP2124069B1 (de) | 2008-03-20 | 2012-01-25 | Sick Ag | Omnidirektionales Lidar System |
| EP2283383B1 (en) | 2008-04-11 | 2013-07-17 | École Polytechnique Fédérale de Lausanne (EPFL) | Time-of-flight based imaging system using a display as illumination source |
| US9041915B2 (en) | 2008-05-09 | 2015-05-26 | Ball Aerospace & Technologies Corp. | Systems and methods of scene and action capture using imaging system incorporating 3D LIDAR |
| WO2010006081A1 (en) | 2008-07-08 | 2010-01-14 | Chiaro Technologies, Inc. | Multiple channel locating |
| US8456517B2 (en) | 2008-07-09 | 2013-06-04 | Primesense Ltd. | Integrated processor for 3D mapping |
| KR101467509B1 (ko) * | 2008-07-25 | 2014-12-01 | 삼성전자주식회사 | 이미지 센서 및 이미지 센서 동작 방법 |
| CN201298079Y (zh) | 2008-11-17 | 2009-08-26 | 南京德朔实业有限公司 | 激光测距装置 |
| US20100204964A1 (en) | 2009-02-09 | 2010-08-12 | Utah State University | Lidar-assisted multi-image matching for 3-d model and sensor pose refinement |
| US8118226B2 (en) * | 2009-02-11 | 2012-02-21 | Datalogic Scanning, Inc. | High-resolution optical code imaging using a color imager |
| WO2010116974A1 (ja) * | 2009-04-07 | 2010-10-14 | ローム株式会社 | 光電変換装置および撮像装置 |
| JP5548936B2 (ja) * | 2009-04-15 | 2014-07-16 | パナソニック株式会社 | 温度分布検出装置 |
| US8717417B2 (en) | 2009-04-16 | 2014-05-06 | Primesense Ltd. | Three-dimensional mapping and imaging |
| US8743176B2 (en) | 2009-05-20 | 2014-06-03 | Advanced Scientific Concepts, Inc. | 3-dimensional hybrid camera and production system |
| US8675181B2 (en) | 2009-06-02 | 2014-03-18 | Velodyne Acoustics, Inc. | Color LiDAR scanner |
| US8803967B2 (en) | 2009-07-31 | 2014-08-12 | Mesa Imaging Ag | Time of flight camera with rectangular field of illumination |
| US8330840B2 (en) | 2009-08-06 | 2012-12-11 | Aptina Imaging Corporation | Image sensor with multilayer interference filters |
| DE102009036595A1 (de) * | 2009-08-07 | 2011-02-10 | Conti Temic Microelectronic Gmbh | Bildgebender Multifunktions-Sensor |
| CN102006402B (zh) | 2009-08-28 | 2014-02-19 | 鸿富锦精密工业（深圳）有限公司 | 摄像装置及其身份识别方法 |
| BR112012004241A2 (pt) * | 2009-09-01 | 2019-09-24 | Koninl Philips Electronics Nv | sensor de luz, dispositivo de sensor de luz para determinar a direção da origem e/ou a composição espectral da luz (l) incidente no dispositivo de sensor de luz, disposição de iluminação, método de coleta de luz incidente (l) e método de determinação da direção da origem e/ou da composição espectral da luz incidente (l) |
| US20110116262A1 (en) | 2009-11-13 | 2011-05-19 | Phoseon Technology, Inc. | Economical partially collimating reflective micro optical array |
| JP5588310B2 (ja) | 2009-11-15 | 2014-09-10 | プライムセンス リミテッド | ビームモニタ付き光学プロジェクタ |
| WO2011064403A1 (en) * | 2009-11-30 | 2011-06-03 | Imec | Integrated circuit for spectral imaging system |
| US20150358601A1 (en) | 2009-12-23 | 2015-12-10 | Mesa Imaging Ag | Optical Filter on Objective Lens for 3D Cameras |
| US8786757B2 (en) | 2010-02-23 | 2014-07-22 | Primesense Ltd. | Wideband ambient light rejection |
| JP2011199798A (ja) * | 2010-03-24 | 2011-10-06 | Sony Corp | 物理情報取得装置、固体撮像装置、物理情報取得方法 |
| EP3901653A3 (en) | 2010-05-17 | 2022-03-02 | Velodyne Lidar USA, Inc. | High definition lidar system |
| NL2004996C2 (nl) | 2010-06-29 | 2011-12-30 | Cyclomedia Technology B V | Werkwijze voor het vervaardigen van een digitale foto, waarbij ten minste een deel van de beeldelementen positieinformatie omvatten en een dergelijke digitale foto. |
| USD659030S1 (en) | 2010-07-30 | 2012-05-08 | Sick Ag | Optoelectronic sensor |
| US9131136B2 (en) | 2010-12-06 | 2015-09-08 | Apple Inc. | Lens arrays for pattern projection and imaging |
| JP2012128270A (ja) | 2010-12-16 | 2012-07-05 | Denso Corp | 干渉フィルタアセンブリ |
| EP2469295A1 (en) | 2010-12-23 | 2012-06-27 | André Borowski | 3D landscape real-time imager and corresponding imaging methods |
| US8717488B2 (en) | 2011-01-18 | 2014-05-06 | Primesense Ltd. | Objective optics with interference filter |
| US8908159B2 (en) | 2011-05-11 | 2014-12-09 | Leddartech Inc. | Multiple-field-of-view scannerless optical rangefinder in high ambient background light |
| US20120320164A1 (en) | 2011-06-16 | 2012-12-20 | Lenny Lipton | Stereoscopic camera with polarizing apertures |
| DE102011107360A1 (de) | 2011-06-29 | 2013-01-03 | Karlsruher Institut für Technologie | Mikrooptisches Element, mikrooptisches Array und optisches Sensorensystem |
| US8797512B2 (en) | 2011-09-15 | 2014-08-05 | Advanced Scientific Concepts, Inc. | Automatic range corrected flash ladar camera |
| US20160150963A1 (en) | 2011-09-26 | 2016-06-02 | Michael Lee Roukes | One-photon integrated neurophotonic systems |
| US8743923B2 (en) | 2012-01-31 | 2014-06-03 | Flir Systems Inc. | Multi-wavelength VCSEL array to reduce speckle |
| US9651417B2 (en) | 2012-02-15 | 2017-05-16 | Apple Inc. | Scanning depth engine |
| EP2815251B1 (en) | 2012-02-15 | 2017-03-22 | Heptagon Micro Optics Pte. Ltd. | Time of flight camera with stripe illumination |
| CN104221058B (zh) | 2012-03-22 | 2017-03-08 | 苹果公司 | 装有万向接头的扫描镜阵列 |
| US9335220B2 (en) | 2012-03-22 | 2016-05-10 | Apple Inc. | Calibration of time-of-flight measurement using stray reflections |
| US9195914B2 (en) | 2012-09-05 | 2015-11-24 | Google Inc. | Construction zone sign detection |
| US9071763B1 (en) | 2012-09-26 | 2015-06-30 | Google Inc. | Uniform illumination image capture |
| US9383753B1 (en) | 2012-09-26 | 2016-07-05 | Google Inc. | Wide-view LIDAR with areas of special attention |
| US9019267B2 (en) | 2012-10-30 | 2015-04-28 | Apple Inc. | Depth mapping with enhanced resolution |
| US9111444B2 (en) | 2012-10-31 | 2015-08-18 | Raytheon Company | Video and lidar target detection and tracking system and method for segmenting moving targets |
| KR102004987B1 (ko) | 2012-12-11 | 2019-07-29 | 삼성전자주식회사 | 광자 계수 검출 장치 및 독출 회로 |
| US9823351B2 (en) | 2012-12-18 | 2017-11-21 | Uber Technologies, Inc. | Multi-clad fiber based optical apparatus and methods for light detection and ranging sensors |
| US20160047901A1 (en) | 2012-12-25 | 2016-02-18 | Quanergy Systems, Inc. | Robust lidar sensor for broad weather, shock and vibration conditions |
| WO2014102341A1 (en) | 2012-12-31 | 2014-07-03 | Iee International Electronics & Engineering S.A. | Optical system generating a structured light field from an array of light sources by meand of a refracting or reflecting light structuring element |
| US9285477B1 (en) | 2013-01-25 | 2016-03-15 | Apple Inc. | 3D depth point cloud from timing flight of 2D scanned light beam pulses |
| US20140211194A1 (en) | 2013-01-27 | 2014-07-31 | Quanergy Systems, Inc. | Cost-effective lidar sensor for multi-signal detection, weak signal detection and signal disambiguation and method of using same |
| US9063549B1 (en) * | 2013-03-06 | 2015-06-23 | Google Inc. | Light detection and ranging device with oscillating mirror driven by magnetically interactive coil |
| US9086273B1 (en) | 2013-03-08 | 2015-07-21 | Google Inc. | Microrod compression of laser beam in combination with transmit lens |
| US9470520B2 (en) | 2013-03-14 | 2016-10-18 | Apparate International C.V. | LiDAR scanner |
| CN105143820B (zh) | 2013-03-15 | 2017-06-09 | 苹果公司 | 利用多个发射器进行深度扫描 |
| US9164511B1 (en) | 2013-04-17 | 2015-10-20 | Google Inc. | Use of detected objects for image processing |
| US10132928B2 (en) | 2013-05-09 | 2018-11-20 | Quanergy Systems, Inc. | Solid state optical phased array lidar and method of using same |
| CN109755859B (zh) | 2013-06-19 | 2021-12-17 | 苹果公司 | 集成结构化光投影仪 |
| US10078137B2 (en) | 2013-06-21 | 2018-09-18 | Irvine Sensors Corp. | LIDAR device and method for clear and degraded environmental viewing conditions |
| US20150002636A1 (en) | 2013-06-28 | 2015-01-01 | Cable Television Laboratories, Inc. | Capturing Full Motion Live Events Using Spatially Distributed Depth Sensing Cameras |
| BE1021971B1 (nl) | 2013-07-09 | 2016-01-29 | Xenomatix Nv | Omgevingssensorsysteem |
| US8742325B1 (en) | 2013-07-31 | 2014-06-03 | Google Inc. | Photodetector array on curved substrate |
| JP2016528496A (ja) | 2013-08-02 | 2016-09-15 | ベリフード， リミテッドＶｅｒｉｆｏｏｄ， Ｌｔｄ． | 分光器システムおよび方法、分光分析デバイスおよび方法 |
| US10126412B2 (en) | 2013-08-19 | 2018-11-13 | Quanergy Systems, Inc. | Optical phased array lidar system and method of using same |
| US8836922B1 (en) | 2013-08-20 | 2014-09-16 | Google Inc. | Devices and methods for a rotating LIDAR platform with a shared transmit/receive path |
| US9425654B2 (en) | 2013-09-30 | 2016-08-23 | Google Inc. | Contactless electrical coupling for a rotatable LIDAR device |
| US9368936B1 (en) | 2013-09-30 | 2016-06-14 | Google Inc. | Laser diode firing system |
| US9299731B1 (en) | 2013-09-30 | 2016-03-29 | Google Inc. | Systems and methods for selectable photodiode circuits |
| WO2015052616A1 (en) | 2013-10-09 | 2015-04-16 | Koninklijke Philips N.V. | Monolithic led arrays for uniform and high-brightness light sources |
| US10203399B2 (en) | 2013-11-12 | 2019-02-12 | Big Sky Financial Corporation | Methods and apparatus for array based LiDAR systems with reduced interference |
| CN106463565B (zh) | 2013-11-22 | 2018-06-01 | 优步技术公司 | 激光雷达扫描仪校准 |
| KR101582572B1 (ko) | 2013-12-24 | 2016-01-11 | 엘지전자 주식회사 | 차량 운전 보조 장치 및 이를 구비한 차량 |
| US20150192677A1 (en) | 2014-01-03 | 2015-07-09 | Quanergy Systems, Inc. | Distributed lidar sensing system for wide field of view three dimensional mapping and method of using same |
| US10061111B2 (en) | 2014-01-17 | 2018-08-28 | The Trustees Of Columbia University In The City Of New York | Systems and methods for three dimensional imaging |
| US20170026588A1 (en) | 2014-05-01 | 2017-01-26 | Rebellion Photonics, Inc. | Dual-band divided-aperture infra-red spectral imaging system |
| EP3161554A4 (en) * | 2014-06-25 | 2018-03-14 | Ramot at Tel-Aviv University Ltd. | System and method for light-field imaging |
| US9754192B2 (en) | 2014-06-30 | 2017-09-05 | Microsoft Technology Licensing, Llc | Object detection utilizing geometric information fused with image data |
| US9753351B2 (en) | 2014-06-30 | 2017-09-05 | Quanergy Systems, Inc. | Planar beam forming and steering optical phased array chip and method of using same |
| US9575184B2 (en) | 2014-07-03 | 2017-02-21 | Continental Advanced Lidar Solutions Us, Inc. | LADAR sensor for a dense environment |
| US9869753B2 (en) | 2014-08-15 | 2018-01-16 | Quanergy Systems, Inc. | Three-dimensional-mapping two-dimensional-scanning lidar based on one-dimensional-steering optical phased arrays and method of using same |
| EP3195010A4 (en) | 2014-08-15 | 2018-04-11 | Aeye, Inc. | Methods and systems for ladar transmission |
| EP3002548B1 (de) | 2014-10-02 | 2016-09-14 | Sick Ag | Beleuchtungseinrichtung und Verfahren zum Erzeugen eines Beleuchtungsfeldes |
| US9772405B2 (en) | 2014-10-06 | 2017-09-26 | The Boeing Company | Backfilling clouds of 3D coordinates |
| JP2016092146A (ja) | 2014-10-31 | 2016-05-23 | セイコーエプソン株式会社 | 量子干渉装置、原子発振器、電子機器および移動体 |
| EP3215818A4 (en) * | 2014-11-06 | 2018-06-27 | Ramot at Tel-Aviv University Ltd. | Spectral imaging method and system |
| DE102014224857A1 (de) * | 2014-12-04 | 2016-06-09 | Conti Temic Microelectronic Gmbh | Sensorsystem und Verfahren zur Klassifikation von Fahrbahnoberflächen |
| US20160161332A1 (en) * | 2014-12-09 | 2016-06-09 | Stmicroelectronics (Research & Development) Limited | Image sensor using pixels with combined rgb and ir sensing |
| EP3045936A1 (en) | 2015-01-13 | 2016-07-20 | XenomatiX BVBA | Surround sensing system with telecentric optics |
| EP3045935A1 (en) | 2015-01-13 | 2016-07-20 | XenomatiX BVBA | Surround sensing system with dome-filter assembly |
| JP6867947B2 (ja) | 2015-01-20 | 2021-05-12 | ディジレンズ インコーポレイテッド | ホログラフィック導波路ライダー |
| WO2016125165A2 (en) | 2015-02-05 | 2016-08-11 | Verifood, Ltd. | Spectrometry system with visible aiming beam |
| US9369689B1 (en) | 2015-02-24 | 2016-06-14 | HypeVR | Lidar stereo fusion live action 3D model video reconstruction for six degrees of freedom 360° volumetric virtual reality video |
| GB201503912D0 (en) * | 2015-03-06 | 2016-02-03 | Bae Systems Plc | Method and apparatus for processing spectral images |
| US10215553B2 (en) | 2015-03-12 | 2019-02-26 | Apple Inc. | Thin PSD for laser-scanning systems |
| US9529079B1 (en) | 2015-03-26 | 2016-12-27 | Google Inc. | Multiplexed multichannel photodetector |
| US9694498B2 (en) * | 2015-03-30 | 2017-07-04 | X Development Llc | Imager for detecting visual light and projected patterns |
| US9880263B2 (en) | 2015-04-06 | 2018-01-30 | Waymo Llc | Long range steerable LIDAR system |
| US9525863B2 (en) | 2015-04-29 | 2016-12-20 | Apple Inc. | Time-of-flight depth mapping with flexible scan pattern |
| US10503265B2 (en) * | 2015-09-08 | 2019-12-10 | Microvision, Inc. | Mixed-mode depth detection |
| US9992477B2 (en) | 2015-09-24 | 2018-06-05 | Ouster, Inc. | Optical system for collecting distance information within a field |
| US10063849B2 (en) | 2015-09-24 | 2018-08-28 | Ouster, Inc. | Optical system for collecting distance information within a field |
| EP3159711A1 (en) | 2015-10-23 | 2017-04-26 | Xenomatix NV | System and method for determining a distance to an object |
| US10539661B2 (en) | 2015-11-25 | 2020-01-21 | Velodyne Lidar, Inc. | Three dimensional LIDAR system with targeted field of view |
| RU2742228C2 (ru) | 2016-01-29 | 2021-02-03 | Аустер, Инк. | Системы и способы для калибровки оптического датчика расстояния |
| US10627490B2 (en) | 2016-01-31 | 2020-04-21 | Velodyne Lidar, Inc. | Multiple pulse, LIDAR based 3-D imaging |
| WO2017132704A1 (en) | 2016-01-31 | 2017-08-03 | Velodyne Lidar, Inc. | Lidar based 3-d imaging with far-field illumination overlap |
| WO2017164989A1 (en) | 2016-03-19 | 2017-09-28 | Velodyne Lidar, Inc. | Integrated illumination and detection for lidar based 3-d imaging |
| WO2017165319A1 (en) | 2016-03-21 | 2017-09-28 | Velodyne Lidar, Inc. | Lidar based 3-d imaging with varying illumination intensity |
| CA3017811C (en) | 2016-03-21 | 2021-04-27 | Velodyne Lidar, Inc. | Lidar based 3-d imaging with varying pulse repetition |
| JP7258554B2 (ja) | 2016-03-21 | 2023-04-17 | ベロダイン ライダー ユーエスエー，インコーポレイテッド | 可変照射場密度を有するｌｉｄａｒに基づく三次元撮像 |
| US10412291B2 (en) * | 2016-05-19 | 2019-09-10 | Scenera, Inc. | Intelligent interface for interchangeable sensors |
| US10393877B2 (en) | 2016-06-01 | 2019-08-27 | Velodyne Lidar, Inc. | Multiple pixel scanning LIDAR |
| AU2017315762B2 (en) | 2016-08-24 | 2020-04-09 | Ouster, Inc. | Optical system for collecting distance information within a field |
| US10693843B2 (en) | 2016-09-02 | 2020-06-23 | Scenera, Inc. | Security for scene-based sensor networks |
| EP3301477A1 (en) | 2016-10-03 | 2018-04-04 | Xenomatix NV | System for determining a distance to an object |
| EP3301479A1 (en) | 2016-10-03 | 2018-04-04 | Xenomatix NV | Method for subtracting background light from an exposure value of a pixel in an imaging array, and pixel for use in same |
| EP3301478A1 (en) | 2016-10-03 | 2018-04-04 | Xenomatix NV | System for determining a distance to an object |
| EP3301480A1 (en) | 2016-10-03 | 2018-04-04 | Xenomatix NV | System and method for determining a distance to an object |
| DE112017005244T5 (de) * | 2016-10-17 | 2019-07-11 | Sony Corporation | Bildverarbeitungsvorrichtung, Bildverarbeitungsverfahren und Bildaufnahmevorrichtung |
| EP3316000A1 (en) | 2016-10-28 | 2018-05-02 | Xenomatix NV | Vehicular system for measuring a distance to an object and method of installing same |
| EP3343246A1 (en) | 2016-12-30 | 2018-07-04 | Xenomatix NV | System for characterizing surroundings of a vehicle |
| EP3392674A1 (en) | 2017-04-23 | 2018-10-24 | Xenomatix NV | A pixel structure |
| WO2018213338A1 (en) | 2017-05-15 | 2018-11-22 | Ouster, Inc. | Augmenting panoramic lidar results with color |
| DE202018006696U1 (de) | 2017-05-15 | 2022-04-01 | Ouster, Inc. | Optischer Bildübertrager mit Helligkeitsverbesserung |
| CN113466882A (zh) | 2017-07-05 | 2021-10-01 | 奥斯特公司 | 光测距装置 |
-
2019
- 2019-08-07 US US16/534,838 patent/US10739189B2/en active Active
- 2019-08-08 CA CA3108884A patent/CA3108884A1/en active Pending
- 2019-08-08 KR KR1020217007171A patent/KR20210046697A/ko not_active Application Discontinuation
- 2019-08-08 IL IL280547A patent/IL280547B2/en unknown
- 2019-08-08 EP EP19847809.1A patent/EP3834003A4/en active Pending
- 2019-08-08 JP JP2021506647A patent/JP7426377B2/ja active Active
- 2019-08-08 AU AU2019319946A patent/AU2019319946A1/en active Pending
- 2019-08-08 CN CN201980064450.8A patent/CN112805584A/zh active Pending
- 2019-08-08 SG SG11202101312QA patent/SG11202101312QA/en unknown
- 2019-08-08 CN CN202110480647.9A patent/CN113189567A/zh active Pending
- 2019-08-08 WO PCT/US2019/045783 patent/WO2020033749A1/en unknown
-
2024
- 2024-01-22 JP JP2024007360A patent/JP2024056706A/ja active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP4070702A1 (en) | 2021-04-09 | 2022-10-12 | LG Electronics Inc. | Blender |
| WO2023249407A1 (ko) * | 2022-06-24 | 2023-12-28 | 주식회사 에스오에스랩 | 레이저 출력 어레이, 수신 옵틱 및 이를 이용하는 라이다 장치 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113189567A (zh) | 2021-07-30 |
| EP3834003A4 (en) | 2022-04-06 |
| IL280547B1 (en) | 2024-05-01 |
| US20200116558A1 (en) | 2020-04-16 |
| JP2024056706A (ja) | 2024-04-23 |
| EP3834003A1 (en) | 2021-06-16 |
| US10739189B2 (en) | 2020-08-11 |
| CA3108884A1 (en) | 2020-02-13 |
| CN112805584A (zh) | 2021-05-14 |
| WO2020033749A1 (en) | 2020-02-13 |
| JP2021534378A (ja) | 2021-12-09 |
| IL280547B2 (en) | 2024-09-01 |
| IL280547A (en) | 2021-03-25 |
| AU2019319946A1 (en) | 2021-02-25 |
| TW202011045A (zh) | 2020-03-16 |
| JP7426377B2 (ja) | 2024-02-01 |
| SG11202101312QA (en) | 2021-03-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US12072237B2 (en) | Multispectral ranging and imaging systems | |
| JP7426377B2 (ja) | マルチスペクトル測距／撮像センサアレイ及びシステム | |
| JP7429274B2 (ja) | 輝度を増強した光学撮像送信器 | |
| US11953600B2 (en) | Synchronized image capturing for electronic scanning LIDAR systems comprising an emitter controller and plural sensor controllers | |
| US12063341B2 (en) | Stereoscopic image capturing systems | |
| US10404925B2 (en) | Chip scale multispectral imaging and ranging | |
| TWI853829B (zh) | 多光譜測距/成像感測器陣列及系統 | |
| EP4384849A1 (en) | Coaxial lidar system using a diffractive waveguide |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal |