JP7426377B2 - マルチスペクトル測距/撮像センサアレイ及びシステム - Google Patents
マルチスペクトル測距/撮像センサアレイ及びシステム Download PDFInfo
- Publication number
- JP7426377B2 JP7426377B2 JP2021506647A JP2021506647A JP7426377B2 JP 7426377 B2 JP7426377 B2 JP 7426377B2 JP 2021506647 A JP2021506647 A JP 2021506647A JP 2021506647 A JP2021506647 A JP 2021506647A JP 7426377 B2 JP7426377 B2 JP 7426377B2
- Authority
- JP
- Japan
- Prior art keywords
- sensor
- channel
- channels
- light
- ambient light
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003384 imaging method Methods 0.000 title claims description 341
- 238000003491 array Methods 0.000 title description 73
- 230000003287 optical effect Effects 0.000 claims description 586
- 230000010287 polarization Effects 0.000 claims description 66
- 238000005259 measurement Methods 0.000 claims description 47
- 238000012545 processing Methods 0.000 claims description 32
- 238000010521 absorption reaction Methods 0.000 claims description 31
- 238000001228 spectrum Methods 0.000 claims description 24
- 230000001360 synchronised effect Effects 0.000 claims description 6
- 239000000126 substance Substances 0.000 claims description 5
- 230000003068 static effect Effects 0.000 description 49
- 230000003595 spectral effect Effects 0.000 description 31
- 238000005070 sampling Methods 0.000 description 30
- 238000000034 method Methods 0.000 description 24
- 230000004075 alteration Effects 0.000 description 22
- 238000001514 detection method Methods 0.000 description 18
- 239000000463 material Substances 0.000 description 18
- 238000009825 accumulation Methods 0.000 description 14
- 238000004891 communication Methods 0.000 description 13
- 239000000758 substrate Substances 0.000 description 13
- 238000013461 design Methods 0.000 description 12
- 241000226585 Antennaria plantaginifolia Species 0.000 description 11
- 238000010586 diagram Methods 0.000 description 11
- 230000010354 integration Effects 0.000 description 11
- 230000000694 effects Effects 0.000 description 10
- 230000006870 function Effects 0.000 description 10
- 230000007246 mechanism Effects 0.000 description 10
- 230000002123 temporal effect Effects 0.000 description 10
- 238000004458 analytical method Methods 0.000 description 9
- 230000006399 behavior Effects 0.000 description 7
- 238000000701 chemical imaging Methods 0.000 description 7
- 230000033001 locomotion Effects 0.000 description 7
- 230000005540 biological transmission Effects 0.000 description 6
- 238000012937 correction Methods 0.000 description 6
- 238000010801 machine learning Methods 0.000 description 6
- 229910052751 metal Inorganic materials 0.000 description 6
- 239000002184 metal Substances 0.000 description 6
- 239000003086 colorant Substances 0.000 description 5
- 238000013480 data collection Methods 0.000 description 5
- 230000007423 decrease Effects 0.000 description 5
- 238000006073 displacement reaction Methods 0.000 description 5
- 238000005286 illumination Methods 0.000 description 5
- 238000012986 modification Methods 0.000 description 5
- 230000004048 modification Effects 0.000 description 5
- 230000002093 peripheral effect Effects 0.000 description 5
- 230000004044 response Effects 0.000 description 5
- 230000001419 dependent effect Effects 0.000 description 4
- 238000010191 image analysis Methods 0.000 description 4
- 238000009987 spinning Methods 0.000 description 4
- 238000012549 training Methods 0.000 description 4
- PEDCQBHIVMGVHV-UHFFFAOYSA-N Glycerine Chemical compound OCC(O)CO PEDCQBHIVMGVHV-UHFFFAOYSA-N 0.000 description 3
- 230000008901 benefit Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000001914 filtration Methods 0.000 description 3
- 239000007789 gas Substances 0.000 description 3
- 238000002329 infrared spectrum Methods 0.000 description 3
- 238000013507 mapping Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 239000004065 semiconductor Substances 0.000 description 3
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 3
- 244000025254 Cannabis sativa Species 0.000 description 2
- CURLTUGMZLYLDI-UHFFFAOYSA-N Carbon dioxide Chemical compound O=C=O CURLTUGMZLYLDI-UHFFFAOYSA-N 0.000 description 2
- 241000196324 Embryophyta Species 0.000 description 2
- 230000003213 activating effect Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000000712 assembly Effects 0.000 description 2
- 238000000429 assembly Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 229910002092 carbon dioxide Inorganic materials 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 230000000295 complement effect Effects 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 230000001186 cumulative effect Effects 0.000 description 2
- 238000002059 diagnostic imaging Methods 0.000 description 2
- 230000001747 exhibiting effect Effects 0.000 description 2
- 238000010304 firing Methods 0.000 description 2
- 239000011521 glass Substances 0.000 description 2
- 238000012886 linear function Methods 0.000 description 2
- 239000003550 marker Substances 0.000 description 2
- VNWKTOKETHGBQD-UHFFFAOYSA-N methane Chemical compound C VNWKTOKETHGBQD-UHFFFAOYSA-N 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 238000009877 rendering Methods 0.000 description 2
- 125000006850 spacer group Chemical group 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- DGAQECJNVWCQMB-PUAWFVPOSA-M Ilexoside XXIX Chemical compound C[C@@H]1CC[C@@]2(CC[C@@]3(C(=CC[C@H]4[C@]3(CC[C@@H]5[C@@]4(CC[C@@H](C5(C)C)OS(=O)(=O)[O-])C)C)[C@@H]2[C@]1(C)O)C)C(=O)O[C@H]6[C@@H]([C@H]([C@@H]([C@H](O6)CO)O)O)O.[Na+] DGAQECJNVWCQMB-PUAWFVPOSA-M 0.000 description 1
- 235000000177 Indigofera tinctoria Nutrition 0.000 description 1
- 206010041349 Somnolence Diseases 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 239000000809 air pollutant Substances 0.000 description 1
- 231100001243 air pollutant Toxicity 0.000 description 1
- 239000010426 asphalt Substances 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 239000003738 black carbon Substances 0.000 description 1
- 230000003139 buffering effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 239000001569 carbon dioxide Substances 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 229930002875 chlorophyll Natural products 0.000 description 1
- 235000019804 chlorophyll Nutrition 0.000 description 1
- ATNHDLDRLWWWCB-AENOIHSZSA-M chlorophyll a Chemical compound C1([C@@H](C(=O)OC)C(=O)C2=C3C)=C2N2C3=CC(C(CC)=C3C)=[N+]4C3=CC3=C(C=C)C(C)=C5N3[Mg-2]42[N+]2=C1[C@@H](CCC(=O)OC\C=C(/C)CCC[C@H](C)CCC[C@H](C)CCCC(C)C)[C@H](C)C2=C5 ATNHDLDRLWWWCB-AENOIHSZSA-M 0.000 description 1
- 239000011248 coating agent Substances 0.000 description 1
- 238000000576 coating method Methods 0.000 description 1
- 239000000356 contaminant Substances 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 238000000295 emission spectrum Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000004313 glare Effects 0.000 description 1
- 238000007373 indentation Methods 0.000 description 1
- 229940097275 indigo Drugs 0.000 description 1
- COHYTHOBJLSHDF-UHFFFAOYSA-N indigo powder Natural products N1C2=CC=CC=C2C(=O)C1=C1C(=O)C2=CC=CC=C2N1 COHYTHOBJLSHDF-UHFFFAOYSA-N 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- QSHDDOUJBYECFT-UHFFFAOYSA-N mercury Chemical compound [Hg] QSHDDOUJBYECFT-UHFFFAOYSA-N 0.000 description 1
- 229910052753 mercury Inorganic materials 0.000 description 1
- 150000002739 metals Chemical class 0.000 description 1
- 239000003607 modifier Substances 0.000 description 1
- 238000000465 moulding Methods 0.000 description 1
- 238000012634 optical imaging Methods 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 230000001902 propagating effect Effects 0.000 description 1
- 238000010791 quenching Methods 0.000 description 1
- 230000000171 quenching effect Effects 0.000 description 1
- 239000011435 rock Substances 0.000 description 1
- 238000009738 saturating Methods 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 229910052708 sodium Inorganic materials 0.000 description 1
- 239000011734 sodium Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000003746 surface roughness Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000001931 thermography Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 239000012780 transparent material Substances 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
- 238000002211 ultraviolet spectrum Methods 0.000 description 1
- 238000001429 visible spectrum Methods 0.000 description 1
- 229910052724 xenon Inorganic materials 0.000 description 1
- FHNFHKCVQCLJFQ-UHFFFAOYSA-N xenon atom Chemical compound [Xe] FHNFHKCVQCLJFQ-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/481—Constructional features, e.g. arrangements of optical elements
- G01S7/4814—Constructional features, e.g. arrangements of optical elements of transmitters alone
- G01S7/4815—Constructional features, e.g. arrangements of optical elements of transmitters alone using multiple transmitters
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J1/00—Photometry, e.g. photographic exposure meter
- G01J1/42—Photometry, e.g. photographic exposure meter using electric radiation detectors
- G01J1/4204—Photometry, e.g. photographic exposure meter using electric radiation detectors with determination of ambient light
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
- G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/481—Constructional features, e.g. arrangements of optical elements
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
- G01J3/46—Measurement of colour; Colour measuring devices, e.g. colorimeters
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/481—Constructional features, e.g. arrangements of optical elements
- G01S7/4816—Constructional features, e.g. arrangements of optical elements of receivers alone
-
- H—ELECTRICITY
- H01—ELECTRIC ELEMENTS
- H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
- H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
- H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
- H01L27/144—Devices controlled by radiation
- H01L27/146—Imager structures
- H01L27/14601—Structural or functional details thereof
- H01L27/1462—Coatings
- H01L27/14621—Colour filter arrangements
-
- H—ELECTRICITY
- H01—ELECTRIC ELEMENTS
- H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
- H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
- H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
- H01L27/144—Devices controlled by radiation
- H01L27/146—Imager structures
- H01L27/14601—Structural or functional details thereof
- H01L27/14625—Optical elements or arrangements associated with the device
-
- H—ELECTRICITY
- H01—ELECTRIC ELEMENTS
- H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
- H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
- H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
- H01L27/144—Devices controlled by radiation
- H01L27/146—Imager structures
- H01L27/14643—Photodiode arrays; MOS imagers
- H01L27/14645—Colour imagers
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
- H04N25/703—SSIS architectures incorporating pixels for producing signals other than image signals
- H04N25/705—Pixels for depth measurement, e.g. RGBZ
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Networks & Wireless Communication (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Power Engineering (AREA)
- Electromagnetism (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Computer Hardware Design (AREA)
- Condensed Matter Physics & Semiconductors (AREA)
- Microelectronics & Electronic Packaging (AREA)
- Sustainable Development (AREA)
- Life Sciences & Earth Sciences (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Measurement Of Optical Distance (AREA)
- Optical Radar Systems And Details Thereof (AREA)
- Light Receiving Elements (AREA)
Description
本出願は、以下の4つの仮出願、2018年8月9日に出願された米国特許出願第62/716,900号、 2018年9月4日に出願された米国特許出願第62/726,810号、2018年10月11日に出願された米国特許出願第62/744,540号、及び2019年7月23日に出願された米国特許出願第62/877,778号の利益を主張する。これら4つの仮出願すべての開示は、参照により本明細書に組み込まれる。
本明細書で使用される場合、マルチスペクトルセンサアレイは、センサのアレイを指し、その各々は、異なる波長で視野の一部分(ピクセル)を撮像するように構成される。同じピクセルを撮像する異なるセンサからのデータを組み合わせて、画像にマルチスペクトルピクセルを提供することができる。次に、マルチスペクトルセンサアレイの例について説明する。これらの例は、マルチスペクトルセンサアレイの構築に関連する様々な原理及び概念を例解し、具体化する。マルチスペクトルセンサアレイの他の多くの実装が可能であり、提供される例は、限定することを意図しないことが明らかになるであろう。
本明細書に記載のマルチスペクトルセンサアレイの例には、特定用途向け集積回路(ASIC)などのモノリシック半導体デバイス上に形成または配置されたセンサチャネルから構築されたアレイが含まれる。図1Aは、マルチスペクトルセンサアレイの幾つかの実施形態で使用することができる単一のマイクロ光学センサチャネル100の断面を示す。センサチャネル100は、広範囲の波長を潜在的に含む光の入力円錐を受け入れ、波長の選択されたサブセット(特定のチャネルに応じて選択されたサブセットを含む)を除くすべてをフィルタで除去し、光センサ152(時には、「ピクセル」と呼ばれる)は、波長の選択されたサブセット内の光子のみまたは実質的にそれのみを検出することを可能にする。本発明の実施形態は、センサチャネルの特定の構成に限定されず、センサチャネル100は、センサアレイ200に実装することができるセンサチャネルの一例にすぎない。
幾つかの実施形態では、マルチスペクトルセンサアレイは、共通の基板上に製造された位置整合されたセンサチャネルのグループを組み込む。異なる波長または波長範囲に調節されたセンサチャネル(本明細書では「センサタイプ」とも呼ばれる)は、基板上の異なる場所に配置することができ、場所は、視野の所与の部分が、同時にまたは異なる時間に、異なるセンサチャネルによって見ることができるように選択される。多くの特定の配置が可能であり、次に例を説明する。
図2は、本発明の実施形態による、センサアレイ200の簡略正面図を示す。センサアレイ200は、幾つかのLIDARセンサチャネル202を含むことができ、この例は、16個のLIDARセンサチャネル202を示しているが、任意の数のLIDARセンサチャネル202を含めることができる。この例では、LIDARセンサチャネル202は、千鳥状に配置されているが、しかしながら、これは必須ではなく、幾つかの実施形態では、LIDARセンサチャネル202は、単一の列に配置することができる(この例では、列は、図2の左側に示されるz軸に平行に走る)。
上記の実施形態では、マルチスペクトルピクセルの各センサタイプは、別個のセンサチャネルとして提供される。単一のセンサチャネルで複数のセンサタイプを組み合わせることも可能である。例えば、LIDARセンサチャネルは、複数のSPADを光センサとして使用し得、深度測定値は、所与の時間間隔でトリガーされるSPADの数に基づく。周囲光チャネルは、半導体デバイスのより小さな領域を占める単一のSPADまたは標準フォトダイオードを使用し得る。したがって、幾つかの実施形態は、センサのある行に1または複数の「マルチスペクトル」センサチャネルを含み得る。
図5のセンサアレイ500では、LIDAR(測距)センサチャネルは、(周囲光を測定する)マルチスペクトルセンサチャネルから離れている。他の実施形態では、センサアレイは、測距(例えば、LIDAR)センサと1または複数の周囲光センサの両方を組み込むチャネルを含むことができる。このようなチャネルは、本明細書では「ハイブリッドセンサチャネル」または「ハイブリッドセンサピクセル」と呼ばれる。
上記の実施形態では、様々なチャネルタイプの光センサが1つの平面に配置されると想定される。他の実施形態では、異なる光センサは、異なる平面にあり得る。
上記の例では、異なる周囲光センサチャネルは、異なる通過帯域を備える光学フィルタを含み得る。幾つかの実施形態では、異なる周囲光センサチャネルの通過帯域は、一般に重なっていないことがあり、したがって、異なる周囲光センサチャネルは、光スペクトルの異なる部分(赤外線、可視光、及び/または紫外線を含む)をサンプリングする。図11は、幾つかの実施形態、例えば、図2のマルチスペクトルセンサアレイにおいて、周囲光強度測定値を提供するために使用することができる3つのフィルタの重ならない通過帯域の例を示す。この例では、「青」(B)フィルタ1102は、約425nm~約515nmの通過帯域を有し、「緑」フィルタ(G)1104は、約515nm~約610nmの通過帯域を有し、「赤」(R)フィルタ1106は、約610nm~約700nmの通過帯域を有する。これらの範囲及び境界は、例示的なものであり、変化させることができることを理解されたい。幾つかの実施形態では、異なるフィルタの通過帯域は、いくらかの重複を有し得る。例えば、Bフィルタ1102は、約410nm~約510nmの通過帯域を有し得、一方、Gフィルタ1104は、約490nm~約620nmの通過帯域を有し、Rフィルタ1106は、約600nm~約700nmの通過帯域を有する。別の例として、Bフィルタ1102は、約410nm~約440nmの通過帯域を有し得、一方、Gフィルタ1104は、約490nm~約620nmの通過帯域を有し、Rフィルタ1106は、約600nm~約700nmの通過帯域を有する。他の変化も可能である。図11に示されるフィルタセットは、マルチスペクトルピクセルの「R」、「G」、及び「B」スペクトル強度測定値を提供することができる。(ここでは、R、G、及びBという名前は、赤、緑、及び青を示唆するものとして使用されるが、これらの名前を有するフィルタの通過帯域は、任意の特定の色に関連付けられた通過帯域に対応する必要はない。)
R=W-Cb (1a)
B=W-Cr (1b)
G=W-(R+B)=Cb+Cr-W (1c)
これらの計算は、例えば、センサアレイと同じASIC上で製造することができる従来の設計の算術論理回路を使用して実施することができる。
上記の様々なセンサアレイは、各チャネルに関連付けられた開口を通過する光に応答して動作する。幾つかの実施形態では、光を開口面上に向けて集束させるために、光学系が提供される。次に、マルチスペクトルセンサアレイ(例えば、センサアレイ200、400、500、600、及び/または900)に関連して使用することができる光学系及び光学素子の例を説明する。
マルチスペクトルセンサアレイ(上記のセンサアレイのいずれかなど)は、図15に示されるように、光測距/撮像デバイス1500に組み込むことができる。光測距/撮像デバイス1500は、光送信(Tx)モジュール1510及び光感知(Rx)モジュール1540を含み、それは、センサアレイ200(または上記の他の任意のセンサアレイ)の実装を含むことができる。光送信モジュール1510及び光感知モジュール1540の構成の追加的な例は、2018年5月14日に出願された「Optical Imaging Transmitter with Brightness Enhancement」と題する米国特許出願第15/979,235号、及び2018年5月14日に出願された「Spinning LIDAR Unit with Micro-optics Aligned behind Stationary Window」と題する米国出願第15/979,266号に述べられており、これらの各々の開示は、あらゆる目的のためにそれらの全体が参照により本明細書に組み込まれる。
幾つかの実施形態では、Rx側バルク撮像光学素子モジュール1560は、特定の狭い波長帯域、例えば、LIDAR動作波長をターゲット平面、例えば、入力開口面310上に集束するように最適化される単色レンズとして設計され得る。Rx側バルク撮像光学素子モジュール1560は、色収差(すなわち、波長に依存する焦点距離)を示し得る。これは、周囲光センサチャネルの収集効率を低下させる可能性があり、色収差を有するRx側バルク撮像光学素子モジュール1560の実装が、LIDAR動作波長の光を入力開口面310に集束させる場合、LIDAR動作波長以外の波長の光は、入力開口層310に集束せず、その光の幾つかは、周囲光センサチャネル206R/G/Bに入るのではなく、開口絞りによって遮断されるであろう。更に、この効果によって失われる光の量は、波長に依存するため、撮像データの分析が複雑になる可能性がある。更に、これらのチャネルの空間解像度は、開口部310がそれらの波長帯域の焦点面にないため、または単色レンズが帯域外光のための小さな集束スポットを提供することができないため、低減する(視野は、より大きく、明確に輪郭を示さない、つまり、「ぼやけた」状態になる)。
代替的に、異なるチャネルが、Rx側バルク撮像モジュールに対して異なる場所にあり、光学モジュール内の収差効果(色収差を含む)が、モジュールの光軸からの距離に依存し得るため、各チャネルの補償マイクロ光学素子を個別に設計することが望ましい場合がある。いずれの場合も、特定のチャネル設計及びRx側バルク撮像モジュールの特定の設計に従来の光学モデリング技術を適用することにより、所与のチャネル別補償マイクロ光学素子に対する適切な処方を決定することができる。
幾つかの実施形態では、チャネルごとの補償マイクロ光学素子は、省略され得る。例えば、バルク光学モジュールの色収差は、ごくわずかである(またはまったくない)ため、関連するすべての波長の光は、同じ開口面に集束される。アクロマティックバルク光学モジュールは、マルチスペクトルセンサチャネル(例えば、センサアレイ500)及び/またはハイブリッドセンサチャネル(例えば、センサアレイ600)を含むセンサアレイ、ならびに光センサの幾つかが開口面(例えば、センサアレイ900)に配置されるセンサアレイに特に有用であり得る。
上記の例は、光がバルク光学モジュールを通過する場所に関係なく、バルク光学モジュールが(所与の波長の)光を(平坦な)画像平面に集束させることを想定する。上に示した例(例えば、図19及び20)では、画像平面は、開口面と一致する。
本明細書に記載の種類のセンサアレイは、各々が異なるタイプのセンサから得られたデータを含むマルチスペクトル画像ピクセルから構成される画像を生成する様々な測距/撮像システムに組み込むことができる。そのような画像は、センサシステムの視野(「物体空間」とも呼ばれる)の均一なサンプリングを表すことが望ましい場合がよくある。具体的には、行及び列に配置することができる物体空間(本明細書では「物体空間ピクセル」と呼ぶ)のサンプリング領域の規則的な「グリッド」を画定し、センサシステム及びその動作を画像ピクセルのグリッドを生成するように設計することが望ましく、各ピクセルは、センサアレイ内の各センサタイプによって撮像された単一の物体空間ピクセルに対応する。測距/撮像システムの幾つかの実施形態では、バルク光学素子は、物体空間のこの均一なサンプリングをサポートするように設計される。
幾つかの実施形態では、上記の種類のマルチスペクトルセンサアレイは、「静的」測距/撮像システムで使用され得る。そのようなシステムは、2Dセンサアレイ(例えば、上記のセンサアレイ600またはセンサアレイ900)を組み込み、以下に説明するように、アレイを動かさずにセンサアレイの表面上の画像を取得する。そのようなシステムの画像ピクセルは、ハイブリッドセンサチャネル(例えば、ハイブリッドセンサチャネル602)またはマルチスペクトルピクセル(例えば、マルチスペクトルピクセル1020)に対応することができる。このようなアレイは、バルク撮像光学素子に局所的な歪みがない場合、物体空間を均一にサンプリングすることができる。幾つかの実施形態では、フラットフィールド焦点距離歪みプロファイルの使用が望ましい場合があり、その結果、光は、アレイ全体にわたって開口面に集束される。
幾つかの実施形態では、上記の種類のマルチスペクトルセンサアレイを、角度スキャンまたは回転モードで使用して、センサアレイの行内の異なるセンサチャネルが、視野内の特定の領域を連続して撮像する(すなわち、視野内の特定の領域からの光子を感知する)。スキャン操作の例を以下に説明する。この説明の目的のために、スキャン操作中に、センサシステムは、行に直角である軸の周りを回転し、センサシステムが異なる角度で回転するときに、センサチャネルは、動作すると想定される。(例えば、MEMSミラーを使用して、物体空間の異なる領域からの光を、異なる時間にアレイ上に反射させることにより、センサアレイを移動せずに、スキャン挙動を実現することができることも理解されたい。)センサアレイ及びバルク光学モジュールは、センサシステム内で互いに固定された関係に保持されるため、所与のセンサチャネルは、空間内のシステムの配向に関係なく、バルク撮像光学素子の光軸に対して固定された空間的関係を有し、バルク光学モジュールの同じ部分を通して「見る」ことも想定される。
楕円形の2404a~2404dで示される均一に離間された物体空間ピクセルは、センサチャネル2402a~2402dのチャネル視野と位置整合される。図24Bは、センサチャネル2402aが、ほぼ物体空間ピクセル2404bを指すような角度で回転した後のセンサアレイ2400を示す。センサチャネル2402bは、物体空間ピクセル2404cの左側を指し、センサチャネル2402cは、ほぼ物体空間ピクセル2404dを指す。
幾つかの実施形態では、上記の種類のマルチスペクトルセンサアレイは、ラスタースキャンモードで使用され得る。ラスタースキャンモードでは、比較的少ない数のセンサチャネルを有するセンサアレイは、視野を2方向にスキャンして、センサチャネルの数よりも多いピクセル数を有する画像を生成することができる。便宜上、スキャン方向は、本明細書では「水平」及び「垂直」と呼ばれるが、しかしながら、当業者は、ラスタースキャンの空間的配向が任意であることを理解するであろう。ラスタースキャンは、ハイブリッドセンサチャネルの2Dアレイ(例えば、センサアレイ600)もしくはマルチスペクトルピクセル(例えば、センサアレイ900)を含むセンサアレイ、または列単位の方向にスキャンもする、行ベースのスキャンセンサアレイ(例えば、センサアレイ200)を使用して実行することができる。
上記の種類のマルチスペクトルセンサアレイは、本質的に相互に登録され、深度情報(例えば、マルチスペクトルセンサアレイ内のLIDARセンサチャネルから抽出される)に登録される視野のマルチスペクトル画像(例えば、色画像、吸収画像、偏光画像、及び/または周囲光センサチャネルから抽出された他の画像)を提供する測距/撮像システムに組み込むことができる。マルチスペクトル測距/撮像システムの特定の実装は、特定のマルチスペクトルセンサアレイに部分的に依存する。例示のために、2つのタイプの測距/撮像システムについて説明する。本明細書で「角度スキャン」(「回転」または「スピニング」とも呼ばれる)測距/撮像システムと呼ばれる第1タイプは、異なる時間に、視野の異なる部分を指すようにセンサアレイ(及びそれに関連付けられた光学素子)を回転させるか、または制御可能な光学素子(例えば、MEMSガルバノメータ)を使用して、異なる時間に、視野の異なる部分からの光をアレイ上に向ける。いずれの場合も、角度スキャンシステムは、同じアレイ上の異なるセンサチャネル(例えば、図2のセンサアレイ200の列内の異なるセンサ)が、異なる時間に、視野内の所与の領域を撮像(そこからの光子を検出)することを可能にする。本明細書で「静的」(または「固体」)測距/撮像システムと呼ばれる第2タイプは、センサアレイの移動を伴わずに、複数のチャネルで視野を撮像することができる2Dマルチスペクトルセンサアレイを使用する。
図31Aは、本明細書に記載のセンサアレイを組み込む角度スキャン(例えば、回転またはスピニング)撮像/LIDARシステム3100の自動車用途の例を示す。自動車用途は、ここでは単に例示のために選択したものであり、本明細書で説明されるセンサは、例えば、ボート、航空機、列車などの他のタイプの車両で、ならびに医用撮像、測地学、ジオマティクス、考古学、地理学、地質学、地形学、地震学、林学、大気物理学、レーザ誘導、空中レーザスワスマッピング(ALSM)、及びレーザ高度計などの、スペクトル画像に空間的及び一時的に登録されている3D深度画像が有用である多様な他の用途で、使用され得る。幾つかの実施形態によれば、スキャン撮像/LIDARシステム3100は、示されるように、車両3105の屋根上に取り付けることができる。他の実施形態では、1または複数のLIDARセンサ及び/または撮像センサを、車両の前部または後部、車両の側部及び/または車両のコーナを含むがこれらに限定されない車両の他の場所に取り付けることができる。
一般に「飛行時間」と呼ばれる遅延時間に基づいて、反射表面までの距離が決定され得る。例えば、連続波、ドップラーなどの他の測距法も使用することができる。
撮像動作の例では、光測距/撮像デバイス3220の回転(または他のスキャン)は、視野内の所与の場所が、センサアレイの行の各センサチャネルによって連続的に撮像されるように、シャッター間隔(LIDARアクティブ感知間隔に対応し得る)と調整され得る。つまり、シャッター間隔間の時間は、隣接する画像ピクセル間の角距離を撮像/LIDARセンサアレイの回転速度で割った値に基づくことができる。センサチャネルは空間内の同じ点を(わずかに異なる時間に)撮像するため、異なるチャネルから取得された画像間の登録は固有であり、物体の特定またはポイントマッピングアルゴリズムは必要ない。更に、撮像動作の速度が十分に速い場合、連続するチャネルでの撮像の間でほとんど変化が生じていないと想定することができ、画像は同じシーンに対応する。したがって、幾つかの実施形態では、センサアレイ200またはセンサアレイ400などの行ベースのセンサアレイは、広い視野(例えば、最大360度)にわたるマルチスペクトル撮像を可能にすることができる。
図33A~33Bの例では、マルチスペクトルセンサアレイを使用するスキャン測距/撮像システムは、すべてのチャネルタイプに対して同じ空間解像度を有する画像を生成する。幾つかの用途では、LIDARチャネルの数に比べて周囲光センサチャネルの空間解像度を増加させることが望ましい場合がある。次に、スキャン方向及び非スキャン方向の両方で周囲光センサチャネルの空間解像度を向上させる(増加させる)ことができるマルチスペクトルセンサアレイの例について説明する。
S1=C0-C3 (2a)
S2=C0-C2 (2b)
S3=C0-C1 (2c)
S0=C0-(C1+C2+C3)=C1+C2+C3-2C0 (2d)
S1=C0-C2 (3a)
S2=C0-C3 (3b)
S3=C0-C1 (3c)
S1=C0-(S1+S2+S3)=C2+C3+C1-2C0 (3d)
ピクセル3824について示されるように、4つのサブピクセルS0、S1、S2、S3は、ピクセル3824の全領域の幅(スキャン方向)の4分の1である列領域内の異なる行を占める4つのピクセルに対応する。
上記で説明したような回転測距/撮像システムは、センサアレイ200、センサアレイ400、またはセンサアレイ500などのマルチスペクトルセンサアレイを使用して実装することができ、異なるタイプのセンサチャネルが、視野にわたってスキャンされる行に沿って配置される。上記の他のセンサアレイの例(例えば、センサアレイ600、センサアレイ900)は、同一のマルチスペクトル及び/またはハイブリッドセンサチャネル(またはピクセル)の2Dアレイを提供する。このようなアレイは、回転システムで使用され得るが、マルチスペクトルまたはハイブリッドピクセルの2Dアレイには、二次元の視野を撮像するために、回転またはその他のスキャン動作は必須ではない。したがって、幾つかの実施形態は、撮像操作を実行するために、センサアレイが移動しない静的(または「固体」)測距/撮像システムを提供する。静的測距/撮像システムは可動性であり得ることを理解されたい。例えば、1または複数の静的測距/撮像システムを車両に取り付けることができる。
上記のように、静的測距/撮像システム4300を用いる撮像動作は、様々なモードで実行することができる。「フルフレーム」モードと呼ばれる1つのモードでは、アレイ内のすべてのセンサチャネル(または所与のタイプのすべてのセンサチャネル)が同時に動作され得る。「電子スキャン」モードと呼ばれる別のモードでは、チャネルの異なるサブセットが異なる時間に動作され得る。例えば、上記のように、Txモジュール4306は、例えば、Txモジュール4306内の異なるエミッタを起動させて、または同じエミッタを、MEMSベースのビーム操縦コンポーネント(例えば、「ガルボ」と呼ばれることもあるMEMSミラー検流計)と組み合わせて使用して、放出光の方向を制御することによって、異なる時間にRxモジュール4308内のセンサアレイの異なる部分上に反射される光を放出するように動作され得る。LIDARセンサチャネルの異なるサブセットは、光がそれらのチャネルに向けられているときに(例えば、選択的な放出及び/または操縦によって)選択的に起動することができる。
上記のように、回転及び静的測距/撮像システムの両方で、視野のマルチスペクトル画像を生成することができる。マルチスペクトル画像は、マルチスペクトル画像ピクセルのアレイ(直線アレイであり得る)を含むことができ、各画像ピクセルについて、1または複数のLIDARセンサチャネルから抽出された深度情報、ならびに光スペクトル(可視光、赤外線、紫外線を含む)内の様々な帯域の強度値、偏光フィルタ処理された光の強度、及び/または上記の他の測定値のような周囲光センサから抽出された情報を含むことができる。マルチスペクトル撮像は、撮像される領域内の特定の場所に豊富なデータセットを提供する。例えば、図4のセンサアレイ400の場合、所与の画像ピクセルのデータセットは、撮像された物体(すなわち、画像ピクセルに関連付けられた特定の方向にたまたま見える任意の物体)までの距離、可視及び近赤外スペクトルにわたって撮像された物体の色特徴(例えば、異なる波長帯域内で収集された光の強度または量)、偏光特徴、及び吸収特徴を含むことができる。センサアレイに含まれるセンサチャネルタイプの特定の組み合わせに応じて、ピクセルごとの画像データの他の組み合わせも可能である。
幾つかの実施形態では、画像ピクセルごとの豊富なデータセットは、画像内の材料を特定するなどの高度な分析を可能にすることができる。例示として、図45は、そこに含まれる材料を特定するために注釈が付けられた画像の例を示す。場合によっては、異なる材料は、人間の目に同様の色を有し得る(例えば、緑の車及び緑の茂み)が、材料は、微妙に異なるスペクトルシグネチャ、異なる偏光特徴、及び/またはそれらを画像ピクセルごとの分析に基づいて区別可能にする吸収シグネチャを有し得る。複数の周囲光チャネル(任意の吸収帯チャネルを含む)からのスペクトル応答情報を深度チャネルデータと組み合わせることで、岩、植物、アスファルト、金属、ガラス、水、皮膚、毛皮、衣類、などの硬い、柔らかい、拡散した物体、及びメタン、二酸化炭素、ブラックカーボンなどの様々なガス及び粒子の分類が可能になり得る。マルチスペクトルピクセル情報を使用して、異なる狭域スペクトル光源及び広域スペクトル光源を分類して、ピクセルのスペクトルパターンに基づいて存在する照明のタイプなど、他の環境要因を提供することもできる。このような分類は、ピクセルごとにリアルタイムで実行することができる。幾つかの実施形態では、人工ニューラルネットワークまたは他の機械学習システム(必要に応じてオンセンサまたはオフセンサで実装することができる)をトレーニングして、深度特徴、色特徴、及び偏光特徴、及び/または吸収特徴の組み合わせに基づいて、マルチスペクトル画像データから材料を分類することができ、手作業で注釈を付けた画像をトレーニング入力として使用することができる。トレーニングが完了すると、機械学習システムは、環境内に存在する物体のタイプ及び場所をリアルタイムで特定することができる。
幾つかの実施形態では、シーンレベルの推論は、画像ピクセルのセットにわたるマルチスペクトル画像データを分析することによって抽出することができ、これは、2ピクセルから画像視野全体までの任意の場所を含むことができる。シーンレベルの推論は、センサASICのオンボードデータバッファを使用してオンチップで実行すること、及び/または例えば、別のシステムコンポーネントまたは別のデバイスでオフチップで実行することができる。多くのタイプのシーンレベルの推論を実装することができる。
本発明は、特定の実施形態を参照して説明されてきたが、本開示にアクセスできる当業者は、多数の変形及び修正が可能であることを理解するであろう。例えば、本明細書に記載の種類のマルチスペクトルセンサアレイは、任意の数の行、及び列ごとの任意の数のセンサチャネルを含むように製造され得る。(「行」及び「列」という用語は、特にスキャンモードで使用されるアレイの状況で、センサアレイの2つの次元を区別するために使用され、アレイの任意の特定の空間的配向を意味するものではない。)チャネル別マイクロ光学素子を含む特定のセンサチャネルの構造を変化させることができる。各行で使用される周囲光感知チャネルの組み合わせは、必要に応じて変更することができ、幾つかの実施形態では、異なる行は、周囲光感知チャネルの異なる組み合わせを有し得る。更に、周囲光感知チャネルは、上記の所与の特定の例に限定されず、他のタイプの光学フィルタを使用して、画像データを収集するために使用することができる様々な周囲光感知チャネルを作成することができる。
なお、出願時の請求項は以下の通りである。
<請求項1>
複数のセンサ行を有するセンサアレイであって、
各センサ行は、
LIDARセンサチャネルと、
1または複数の周囲光センサチャネルのセットと、
を有し、
各周囲光センサチャネルは、
チャネル入力開口と、
光センサと、
チャネル別特性を有する光を、前記光センサに選択的に通過させるチャネル別光学フィルタと、
を含む、センサアレイ。
<請求項2>
前記1または複数の周囲光センサチャネルのセットは、各々が異なるチャネル別光学フィルタを有する少なくとも2つの周囲光センサチャネルを含む、請求項1に記載のセンサアレイ。
<請求項3>
前記周囲光センサチャネルのセットは、前記チャネル別光学フィルタが少なくとも可視光スペクトルを包含する通過帯域を有する白色チャネル、を含む、請求項1に記載のセンサアレイ。
<請求項4>
前記周囲光センサチャネルのセットは、前記チャネル別光学フィルタが赤色光を選択的に通過させる赤色チャネル、前記チャネル別光学フィルタが緑色光を選択的に通過させる緑色チャネル、及び、前記チャネル別光学フィルタが青色光を選択的に通過させる青色チャネル、を含む、請求項1に記載のセンサアレイ。
<請求項5>
前記周囲光センサチャネルのセットは、少なくとも5つの異なる色チャネルを含み、
前記少なくとも5つの異なる色チャネルの各々の前記チャネル別光学フィルタは、異なる波長範囲を有する光を選択的に通過させる、請求項1に記載のセンサアレイ。
<請求項6>
前記周囲光センサチャネルのセットは、
第1波長範囲を有する光を選択的に通過させる第1チャネル別光学フィルタを有する第1色チャネルと、
第2波長範囲を有する光を選択的に通過させる第2チャネル別光学フィルタを有する第2色チャネルと、
を含み、
前記第1範囲及び前記第2範囲は、重なる範囲を有している、請求項1に記載のセンサアレイ。
<請求項7>
前記第2範囲は、特定の物質の吸収帯に対応し、
前記第1範囲は、前記第2範囲を包含する、請求項6に記載のセンサアレイ。
<請求項8>
前記周囲光センサチャネルのセットは、前記チャネル別光学フィルタが特定の偏光特性を有する光を選択的に通過させる1または複数の偏光チャネルを含む、請求項1に記載のセンサアレイ。
<請求項9>
前記周囲光センサチャネルのセットは、
1または複数の色チャネルであって、当該1または複数の色チャネルの各々の前記チャネル別光学フィルタが異なる波長範囲を有する光を選択的に通過させる、1または複数の色チャネルと、
前記チャネル別光学フィルタが特定の偏光特性を有する光を選択的に通過させる、1または複数の偏光チャネルと、を含む、請求項1に記載のセンサアレイ。
<請求項10>
前記1または複数の周囲光センサチャネルのセットは、各々が異なるチャネル別光学フィルタを有する少なくとも2つの周囲光センサチャネルを含み、
所与のセンサ行内の前記周囲光センサチャネルは、均一なピッチだけ互いに離間されている、請求項1に記載のセンサアレイ。
<請求項11>
所与のセンサ行内の前記LIDARセンサチャネルは、前記均一なピッチだけ、または、前記均一なピッチの整数倍数である距離だけ、前記所与のセンサ行内の前記周囲光センサチャネルのうちの最も近いものから離間されている、請求項10に記載のセンサアレイ。
<請求項12>
隣接するセンサ行は、前記均一なピッチだけ、互いに離間して配置されている、請求項11に記載のセンサアレイ。
<請求項13>
各周囲光センサチャネルの前記光センサは、フォトンカウンティングモードで動作される1または複数のシングルフォトンアバランシェダイオード(SPAD)を含み、
各LIDARセンサチャネルもまた、フォトンカウンティングモードで動作される1または複数のSPADを含む、請求項1に記載のセンサアレイ。
<請求項14>
前記センサアレイは、単一のASICとして製造される、請求項1に記載のセンサアレイ。
<請求項15>
前記ASIC内に配設され、前記LIDARセンサチャネルのうちの2つ以上及び前記周囲光センサチャネルのうちの2つ以上からのデータを格納するように構成されたデータバッファと、
前記ASIC内に配設され、前記データバッファに格納された前記データに対して画像処理動作を実行するように構成された処理回路と、
を更に備える、請求項14に記載のセンサアレイ。
<請求項16>
前記周囲光センサチャネルのうちの少なくとも1つは、マルチスペクトルセンサチャネルであって、
当該マルチスペクトルセンサチャネルは、
複数の光センサと、
パターン化された光学フィルタと、
を有しており、
前記パターン化された光学フィルタの異なる部分が、異なる特性を有する光を、前記マルチスペクトルセンサチャネル内の前記複数の光センサの異なるサブセットに、選択的に通過させる、請求項1に記載のセンサアレイ。
<請求項17>
前記パターン化された光学フィルタの前記異なる部分は、第1波長帯域内の光を通過させる第1部分と、第2波長帯域内の光を通過させる第2部分と、を含む、請求項16に記載のセンサアレイ。
<請求項18>
固定ベースと、
前記固定ベースに回転可能に結合されたセンサアレイと、
を備え、
前記センサアレイは、複数のセンサ行を有し、
各センサ行は、
LIDARセンサチャネルと、
1または複数の周囲光センサチャネルのセットと、
を有し、
各周囲光センサチャネルは、
チャネル入力開口と、
光センサと、
チャネル別特性を有する光を、前記光センサに選択的に通過させるチャネル別光学フィルタと、を含み、
前記センサアレイの前方に配設され、入射光を前記LIDARセンサチャネル及び前記周囲光センサチャネルに共通の開口面上に集束させるように構成されたバルク光学モジュールと、
前記センサアレイの回転と前記光センサの動作とを同期させて、前記固定ベースに対する空間内の所与の場所が、前記センサ行のうちの1つ内の前記LIDARセンサチャネル及び前記周囲光センサチャネルの各々によって連続的に撮像されるようにする、ためのコントローラと、
を更に備えた、測距/撮像システム。
<請求項19>
前記コントローラは、前記センサアレイの前記周囲光センサチャネルを使用して決定されたピクセルごとの光強度データ、及び、前記センサアレイの前記LIDARセンサチャネルを使用して決定されたピクセルごとの深度データ、を含むマルチスペクトル画像ピクセルデータを生成する、ように更に構成されている、請求項18に記載の測距/撮像システム。
<請求項20>
所与のセンサ行内の前記周囲光センサチャネルは、均一なピッチだけ互いに離間されており、
前記コントローラは、連続する撮像動作が前記均一なピッチに対応するピッチ角だけ離された角度位置で発生するように、当該測距/撮像システムを回転させるように更に構成されている、請求項18に記載の測距/撮像システム。
<請求項21>
所与のセンサ行内の前記LIDARセンサチャネルは、前記均一なピッチだけ、または、前記均一なピッチの整数倍数である距離だけ、前記所与のセンサ行内の前記周囲光センサチャネルのうちの最も近いものから離間されている、請求項20に記載の測距/撮像システム。
<請求項22>
隣接するセンサ行は、前記均一なピッチだけ、互いに離間されている、請求項21に記載の測距/撮像システム。
<請求項23>
前記1または複数の周囲光センサチャネルのセットは、各々が異なるチャネル別光学フィルタを有する少なくとも2つの周囲光センサチャネルを含む、請求項18に記載の測距/撮像システム。
<請求項24>
前記周囲光センサチャネルのセットは、前記チャネル別光学フィルタが特定の偏光特性を有する光を選択的に通過させる1または複数の偏光チャネルを含む、請求項18に記載の測距/撮像システム。
<請求項25>
前記周囲光センサチャネルのセットは、
1または複数の色チャネルであって、当該1または複数の色チャネルの各々の前記チャネル別光学フィルタが異なる波長範囲を有する光を選択的に通過させる、1または複数の色チャネルと、
前記チャネル別光学フィルタが特定の偏光特性を有する光を選択的に通過させる、1または複数の偏光チャネルと、を含む、請求項18に記載の測距/撮像システム。
<請求項26>
前記周囲光センサチャネルのうちの少なくとも1つは、マルチスペクトルセンサチャネルであって、
当該マルチスペクトルセンサチャネルは、
複数の光センサと、
パターン化された光学フィルタと、
を有しており、
前記パターン化された光学フィルタの異なる部分が、異なる特性を有する光を、前記マルチスペクトルセンサチャネル内の前記複数の光センサの異なるサブセットに、選択的に通過させる、請求項18に記載の測距/撮像システム。
<請求項27>
ハイブリッドセンサピクセルの二次元アレイと、
前記二次元アレイ内の各ハイブリッドセンサピクセルに結合された読み出し電子機器と、
を備え、
各ハイブリッドセンサピクセルは、
LIDARセンサチャネルと、
1または複数の周囲光センサチャネルのセットと、
を有し、
各周囲光センサチャネルは、センサ別特性を有する光の強度を選択的に測定するように調節されており、
各ハイブリッドセンサピクセルの前記読み出し電子機器は、
前記LIDARセンサチャネルに結合され、前記LIDARセンサチャネルでの光子の到着時間を計るように且つ光子の到着時間を表すデータをメモリ内に格納するように構成されたタイミング回路と、
前記周囲光センサチャネルに結合され、前記周囲光センサチャネルで検出された光子の数をカウントするように且つ光子のカウント数を前記メモリ内に格納するように構成されたカウンタ回路と、を含む、センサアレイ。
<請求項28>
ハイブリッドセンサピクセルの前記二次元アレイは、単一のASICとして形成される、請求項27に記載のセンサアレイ。
<請求項29>
各ハイブリッドセンサピクセルは、
光センサの平面アレイと、
パターン化された光学フィルタと、
を含み、
前記パターン化された光学フィルタの異なる部分が、異なる特性を有する光を、前記平面アレイ内の前記光センサの異なるサブセットに選択的に通過させ、
前記パターン化された光学フィルタは、前記光センサの第1サブセットが、LIDARエミッタの波長に一致する狭い通過帯域内で赤外光を受信し、それによって、前記LIDARセンサチャネルを提供し、前記光センサの第2サブセットが、可視光スペクトルの少なくとも一部分から可視光を受信し、それによって、前記周囲光センサチャネルのうちの1つを提供する、ように配置されている、請求項28に記載のセンサアレイ。
<請求項30>
前記ハイブリッドセンサピクセルの各々において、前記光センサの前記第1サブセットは、当該ハイブリッドセンサピクセルのピクセル領域内の中央領域に位置しており、前記光センサの前記第2サブセットは、前記ピクセル領域内の前記中央領域の周りの周辺領域に位置している、請求項29に記載のセンサアレイ。
<請求項31>
前記光センサの前記第2サブセットは、2つ以上の光センサを含み、
前記パターン化された光学フィルタは、前記第2サブセット内の前記2つ以上の光センサの各々が異なる特性を有する光を受信するように、更に配置されている、請求項29に記載のセンサアレイ。
<請求項32>
前記第2サブセット内の異なる光センサは、異なる波長範囲を有する光を受信する、請求項31に記載のセンサアレイ。
<請求項33>
前記パターン化された光学フィルタは、前記第2サブセット内の前記光センサのうちの少なくとも1つが特定の偏光特性を有する光を受信するように、更に配置されている、請求項31に記載のセンサアレイ。
<請求項34>
前記パターン化された光学フィルタは、前記第2サブセット内の前記光センサのうちの少なくとも1つが特定の物質の吸収帯に対応する波長範囲の光を受信するように、更に配置されている、請求項31に記載のセンサアレイ。
<請求項35>
ハイブリッドセンサチャネルの前記二次元アレイの前記LIDARセンサチャネルは、第1ASICとして形成され、
前記周囲光センサチャネルは、前記第1ASIC上に重ねられ且つ前記第1ASICと位置整合される第2ASICとして形成され、
前記第2ASICは、その中に形成された複数の開口を有し、光が前記LIDARセンサチャネル内へと通過することを許容している、請求項27に記載のセンサアレイ。
<請求項36>
ハイブリッドセンサピクセルの二次元アレイを含むセンサアレイであって、各ハイブリッドセンサピクセルは、LIDARセンサチャネルと、1または複数の周囲光センサチャネルのセットと、を有し、各周囲光センサチャネルは、チャネル別特性を有する光の強度を選択的に測定するように調節されている、センサアレイと、
視野内の所与の場所が、前記ハイブリッドセンサピクセルのうちの1つの前記LIDARセンサチャネル及び前記周囲光センサチャネルによって撮像されるように、前記LIDARセンサチャネル及び前記周囲光センサチャネルを動作させるように構成されたコントローラと、
を含む、測距/撮像システム。
<請求項37>
前記LIDARセンサチャネルによって検出可能な光を放出するためのエミッタ
を更に含み、
前記コントローラは、前記エミッタの動作を前記LIDARセンサチャネルの動作と調整して、各ハイブリッドセンサピクセルの深度測定値を決定するように、更に構成されている、請求項36に記載の測距/撮像システム。
<請求項38>
前記コントローラは、前記エミッタ及び前記LIDARセンサチャネルを動作させて、視野の電子スキャンを実行し、前記視野の異なる部分が、前記LIDARセンサチャネルのうちの異なるものによって、異なる時間に撮像されるように、更に構成されている、請求項37に記載の測距/撮像システム。
<請求項39>
前記ハイブリッドセンサチャネルは、単一のASICとして形成される、請求項36に記載の測距/撮像システム。
<請求項40>
前記LIDARセンサチャネルは、第1ASICとして形成され、
前記周囲光センサチャネルは、前記第1ASIC上に重ねられ且つ前記第1ASICと位置整合される第2ASICとして形成され、
前記第2ASICは、その中に形成された複数の開口を有し、光が前記LIDARセンサチャネル内へと通過することを許容している、請求項36に記載の測距/撮像システム。
<請求項41>
固定ベースと、
前記固定ベースに回転可能に結合されたセンサアレイと、
を備え、
前記センサアレイは、複数のセンサ行を有し、
各センサ行は、2つ以上の周囲光センサチャネルのセットを含み、
各周囲光センサチャネルは、
チャネル入力開口と、
光センサと、
チャネル別特性を有する光を、前記光センサに選択的に通過させるチャネル別光学フィルタと、
を含み、
前記チャネル別特性は、前記センサ行のうちの所与のもの内の異なる周囲光センサチャネルに対して異なり、
前記センサアレイの前方に配設され、入射光を前記周囲光センサチャネルに共通の開口面上に集束させるように構成されたバルク光学モジュールと、
前記センサアレイの回転と前記光センサの動作とを同期させて、前記周囲光センサチャネルを使用して決定された光強度データを含む画像ピクセルデータを生成するためのコントローラと、を更に含む、撮像システム。
<請求項42>
各周囲光センサチャネルの前記光センサは、フォトンカウンティングモードで動作される1または複数のシングルフォトンアバランシェダイオード(SPAD)を含む、請求項41に記載の撮像システム。
<請求項43>
各周囲光センサチャネルの前記光センサは、フォトダイオードを含む、請求項41に記載の撮像システム。
<請求項44>
前記周囲光センサチャネルのセットは、前記チャネル別光学フィルタが赤色光を選択的に通過させる赤色チャネル、前記チャネル別光学フィルタが緑色光を選択的に通過させる緑色チャネル、及び、前記チャネル別光学フィルタが青色光を選択的に通過させる青色チャネル、を含む、請求項41に記載の撮像システム。
<請求項45>
前記周囲光センサチャネルのセットは、少なくとも5つの異なる色チャネルを含み、
前記少なくとも5つの異なる色チャネルの各々の前記チャネル別光学フィルタは、異なる波長範囲を有する光を選択的に通過させる、請求項41に記載の撮像システム。
<請求項46>
前記周囲光センサチャネルのセットは、
第1波長範囲を有する光を選択的に通過させる第1チャネル別光学フィルタを有する第1色チャネルと、
第2波長範囲を有する光を選択的に通過させる第2チャネル別光学フィルタを有する第2色チャネルと、
を含み、
前記第1範囲及び前記第2範囲は、重なる範囲を有している、請求項41に記載の撮像システム。
<請求項47>
前記第2範囲は、特定の物質の吸収帯に対応する、請求項46に記載の撮像システム。
<請求項48>
前記周囲光センサチャネルのセットは、前記チャネル別光学フィルタが特定の偏光特性を有する光を選択的に通過させる1または複数の偏光チャネルを含む、請求項41に記載の撮像システム。
<請求項49>
前記周囲光センサチャネルのセットは、
1または複数の色チャネルであって、当該1または複数の色チャネルの各々の前記チャネル別光学フィルタが異なる波長範囲を有する光を選択的に通過させる、1または複数の色チャネルと、
前記チャネル別光学フィルタが特定の偏光特性を有する光を選択的に通過させる、1または複数の偏光チャネルと、を含む、請求項41に記載の撮像システム。
<請求項50>
所与のセンサ行内の前記周囲光センサチャネルは、均一なピッチだけ、互いに離間されている、請求項41に記載の撮像システム。
<請求項51>
隣接するセンサ行は、前記均一なピッチだけ、互いに離間して配置されている、請求項50に記載の撮像システム。
<請求項52>
前記センサアレイは、単一のASICとして製造される、請求項41に記載の撮像システム。
<請求項53>
前記ASIC内に配設され、前記周囲光センサチャネルのうちの2つ以上からのデータを格納するように構成されたデータバッファと、
前記ASIC内に配設され、前記データバッファに格納されたデータに対して画像処理動作を実行するように構成された処理回路と、
を更に備えた、請求項52に記載の撮像システム。
<請求項54>
開口面内の対応する複数の開口を通して光を受信するように配置された複数のセンサチャネルを有するセンサアレイと、
前記センサアレイの前方に配設され、入射光を、前記開口面上に集束させて、視野の画像を形成するように構成されたバルク光学モジュールと、
前記センサアレイを動作させて、前記視野の画像データを生成するためのコントローラと、
複数のチャネル別マイクロ光学素子であって、各チャネル別マイクロ光学素子は、前記開口のうちの異なるものの前方に配設されており、異なるセンサチャネルに対して異なる光学処方を有する、複数のチャネル別マイクロ光学素子と、
を含む、撮像システム。
<請求項55>
前記チャネル別マイクロ光学素子のうちの特定のものの前記光学処方は、前記バルク光学モジュールの光学特性に少なくとも部分的に基づいている、請求項54に記載の撮像システム。
<請求項56>
前記センサチャネルは、複数のセンサ行内に配置されており、
各センサ行は、
LIDARセンサチャネルと、
1または複数の周囲光センサチャネルのセットと、
を有し、
各周囲光センサチャネルは、
チャネル入力開口と、
光センサと、
チャネル別特性を有する光を、前記光センサに選択的に通過させるチャネル別光学フィルタと、を含み、
前記周囲光センサチャネルのうちの少なくとも幾つかが、対応するチャネル別マイクロ光学素子を有する、請求項54に記載の撮像システム。
<請求項57>
各周囲光センサチャネルの前記チャネル別マイクロ光学素子は、前記チャネル別光学フィルタに少なくとも部分的に基づいている処方を有する、請求項56に記載の撮像システム。
<請求項58>
前記バルク光学モジュールは、色収差を示し、
前記周囲光センサチャネルのうちの少なくとも幾つかの前記光学処方は、部分的に前記チャネル別光学フィルタに、及び、部分的に前記バルク光学モジュールの前記色収差に、基づいている、請求項57に記載の撮像システム。
<請求項59>
前記複数のセンサチャネルは、複数のLIDARセンサチャネルを含み、
前記LIDARセンサチャネルのうちの少なくとも幾つかは、部分的にLIDAR動作波長に、及び、部分的に前記バルク光学モジュールの光学特性に基づくそれぞれの光学処方を有する対応するチャネル別マイクロ光学素子を有する、請求項54に記載の撮像システム。
<請求項60>
前記バルク光学モジュールは、湾曲した焦点面を有し、
前記チャネル別マイクロ光学素子の各々の前記光学処方は、前記開口の場所と前記湾曲した焦点面上の対応する場所との間のオフセットを補償する、請求項54に記載の撮像システム。
<請求項61>
各チャネル別マイクロ光学素子の前記光学処方は、前記バルク光学モジュールの光軸から前記対応する開口までの前記開口面における半径方向距離の関数である、請求項60に記載の撮像システム。
<請求項62>
異なる開口の前方に配設された前記チャネル別マイクロ光学素子は、異なる集束力を有する光学処方を有する、請求項60に記載の撮像システム。
<請求項63>
異なるチャネルの前方に配設された前記チャネル別マイクロ光学素子は、前記開口面からの異なるスタンドオフ距離を有する、請求項60に記載の撮像システム。
<請求項64>
前記バルク光学モジュールは、色収差を示し、
前記センサチャネルのうちの異なるものは、異なる波長の光を感知するように構成されており、
前記チャネル別マイクロ光学素子はまた、前記バルク光学モジュールの前記色収差を補償する、請求項60に記載の撮像システム。
<請求項65>
前記センサチャネルは、飛行時間測定を提供するLIDARセンサチャネルを含む、請求項60に記載の撮像システム。
<請求項66>
前記センサチャネルは、光強度測定を提供する周囲光センサチャネルを含む、請求項60に記載の撮像システム。
<請求項67>
前記センサチャネルは、飛行時間測定を提供するLIDARセンサチャネルと、強度測定を提供する周囲光センサチャネルと、の組合せを含む、請求項60に記載の撮像システム。
<請求項68>
開口面内の対応する複数の開口を通して光を放出するように配置された複数のエミッタチャネルを有するエミッタアレイと、
前記エミッタアレイの前方に配設され、前記開口面からの光を視野内に向けるように構成されたバルク光学モジュールと、
複数のチャネル別マイクロ光学素子であって、各チャネル別マイクロ光学素子は、前記開口のうちの異なるものの前方に配設されており、異なるチャネル別マイクロ光学素子に対して異なる光学処方を有する、複数のチャネル別マイクロ光学素子と、
を含む、LIDARトランスミッタデバイス。
<請求項69>
前記チャネル別マイクロ光学素子のうちの特定のものの前記光学処方は、前記バルク光学モジュールの光学特性に少なくとも部分的に基づいている、請求項68に記載のLIDARトランスミッタデバイス。
<請求項70>
前記バルク光学モジュールは、湾曲した焦点面を有し、
前記チャネル別マイクロ光学素子の各々の前記光学処方は、前記開口の場所と前記湾曲した焦点面上の対応する場所との間のオフセットを補償する、請求項68に記載のLIDARトランスミッタデバイス。
<請求項71>
各チャネル別マイクロ光学素子の前記光学処方は、前記バルク光学モジュールの光軸から前記対応する開口までの前記開口面における半径方向距離の関数である、請求項68に記載のLIDARトランスミッタデバイス。
<請求項72>
異なる開口の前方に配設された前記チャネル別マイクロ光学素子は、異なる集束力を有する光学処方を有する、請求項68に記載のLIDARトランスミッタデバイス。
<請求項73>
異なるチャネルの前方に配設された前記チャネル別マイクロ光学素子は、前記開口面からの異なるスタンドオフ距離を有する、請求項68に記載のLIDARトランスミッタデバイス。
<請求項74>
スキャン方向に固定解像度を有する画像を提供するためのスキャン撮像システムであって、
二次元に配置されたセンサチャネルのセットを含むセンサアレイであって、前記センサチャネルの各々は光を検出するように構成されている、センサアレイと、
角度測定位置のシーケンスを通じて前記センサアレイをスキャン方向に回転させて、データのフレームを取得するように構成された回転制御システムであって、前記データのフレームは、視野の画像を表し、前記データのフレームは、均一な角度ピッチに従って前記スキャン方向に離間された画像ピクセルのグリッドを含む、回転制御システムと、
前記光を前記センサアレイに向けて集束させるように構成されたバルク光学モジュールであって、焦点距離及び焦点距離歪みプロファイルを有し、それらは両方とも、前記センサアレイを前記均一な角度ピッチを通じて前記スキャン方向に沿って回転させることにより光線が前記センサアレイに入射する場所が1つのセンサチャネルから隣接するセンサチャネルにシフトする、というように、前記センサチャネルのセットの配置に対して調節されている、バルク光学モジュールと、
を含む、スキャン撮像システム。
<請求項75>
前記センサチャネルのセットは、前記スキャン方向に直角な方向に延びる列を画定するLIDARセンサチャネルの千鳥グリッドを含む、請求項74に記載のスキャン撮像システム。
<請求項76>
前記センサチャネルのセットは、前記LIDARセンサチャネルの各々に対して前記スキャン方向に沿って配設された少なくとも1つの周囲光センサチャネルを更に含む、請求項75に記載のスキャン撮像システム。
<請求項77>
前記センサチャネルのセットは、前記LIDARセンサチャネルの各々に対して前記スキャン方向に沿って配設された複数の周囲光センサチャネルを更に含む、請求項75に記載のスキャン撮像システム。
<請求項78>
前記センサアレイは、前記スキャン方向に沿って隣接するセンサチャネル間に固定ピッチを有し、
前記バルク光学モジュールは、Fθ焦点距離歪みプロファイルを有する、請求項74に記載のスキャン撮像システム。
<請求項79>
前記センサアレイは、前記スキャン方向に沿って隣接するセンサチャネル間に固定ピッチを有し、
前記バルク光学モジュールは、Ftanθ焦点距離歪みプロファイルを有する、請求項74に記載のスキャン撮像システム。
<請求項80>
前記バルク光学モジュールの前記焦点距離歪みプロファイルは、バレル歪みを示し、
前記センサアレイ内の隣接するセンサチャネル間の距離は、前記センサアレイの端から中心に向かって増加する、請求項74に記載のスキャン撮像システム。
<請求項81>
前記バルク光学モジュールの前記焦点距離歪みプロファイルは、ピンクッション歪みを示し、
前記センサアレイ内の隣接するセンサチャネル間の距離は、前記センサアレイの端から中心に向かって減少する、請求項74に記載のスキャン撮像システム。
<請求項82>
スキャン方向に固定解像度を有する画像を提供するためのスキャン撮像システムであって、
一次元または二次元に配置されたセンサチャネルのセットを含むセンサアレイであって、前記センサチャネルの各々は光を検出するように構成されている、センサアレイと、
視野の異なる部分からの光を異なる時間に前記センサアレイ上に向けて、前記センサアレイが前記視野の画像を表すデータのフレームを取得するように構成されたミラーサブシステムであって、前記データのフレームは、均一な角度ピッチに従ってスキャン方向に離間された画像ピクセルのグリッドを含む、ミラーサブシステムと、
前記光を前記センサアレイに向けて集束させるように構成されたバルク光学モジュールであって、焦点距離及び焦点距離歪みプロファイルを有し、それらは両方とも、前記センサアレイを前記均一な角度ピッチを通じて前記スキャン方向に沿って回転させることにより光線が前記センサアレイに入射する場所が1つのセンサチャネルから隣接するセンサチャネルにシフトするというように、前記センサチャネルのセットの配置に対して調節されている、バルク光学モジュールと、
を含む、スキャン撮像システム。
<請求項83>
前記センサチャネルのセットは、前記スキャン方向に直角な方向に延びる列を画定するLIDARセンサチャネルの千鳥グリッドを含む、請求項82に記載のスキャン撮像システム。
<請求項84>
前記センサチャネルのセットは、前記LIDARセンサチャネルの各々に対して前記スキャン方向に沿って配設された少なくとも1つの周囲光センサチャネルを更に含む、請求項83に記載のスキャン撮像システム。
<請求項85>
前記センサチャネルのセットは、前記LIDARセンサチャネルの各々に対して前記スキャン方向に沿って配設された複数の周囲光センサチャネルを更に含む、請求項83に記載のスキャン撮像システム。
<請求項86>
前記センサアレイは、前記スキャン方向に沿って隣接するセンサチャネル間に固定ピッチを有し、
前記バルク光学モジュールは、Fθ焦点距離歪みプロファイルを有する、請求項82に記載のスキャン撮像システム。
<請求項87>
前記センサアレイは、前記スキャン方向に沿って隣接するセンサチャネル間に固定ピッチを有し、
前記バルク光学モジュールは、Ftanθ焦点距離歪みプロファイルを有する、請求項82に記載のスキャン撮像システム。
<請求項88>
前記バルク光学モジュールの前記焦点距離歪みプロファイルは、バレル歪みを示し、
前記センサアレイ内の隣接するセンサチャネル間の距離は、前記センサアレイの端から中心に向かって増加する、請求項82に記載のスキャン撮像システム。
<請求項89>
前記バルク光学モジュールの前記焦点距離歪みプロファイルは、ピンクッション歪みを示し、
前記センサアレイ内の隣接するセンサチャネル間の距離は、前記センサアレイの端から中心に向かって減少する、請求項82に記載のスキャン撮像システム。
<請求項90>
二次元でスキャンすることによって、固定解像度を有する画像を提供するためのラスタースキャン撮像システムであって、
一次元または二次元に配置されたセンサチャネルのセットを含むセンサアレイであって、前記センサチャネルの各々は光を検出するように構成されている、センサアレイと、
視野の異なる部分からの光を異なる時間に前記センサアレイ上に向けて、前記センサアレイが前記視野の画像を表すデータのフレームを取得するように、一次元または二次元でラスタースキャンを実行するように構成されたラスタースキャン機構であって、前記データのフレームは、均一なピッチに従って前記二次元の各々に離間された画像ピクセルの二次元グリッドを含み、画像ピクセルの前記グリッドの両方の次元が前記センサアレイの前記次元よりも大きい、ラスタースキャン機構と、
前記光を前記センサアレイに向けて集束させるように構成されたバルク光学モジュールであって、焦点距離及び焦点距離歪みプロファイルを有し、それらは両方とも、前記センサアレイが前記視野を均一にサンプリングするというように、前記センサチャネルのセットの配置に対して調節されている、バルク光学モジュールと、
を含む、ラスタースキャン撮像システム。
<請求項91>
前記ラスタースキャン機構は、前記センサアレイを二次元で移動させる、請求項90に記載のラスタースキャン撮像システム。
<請求項92>
前記ラスタースキャン機構は、視野の異なる部分からの光を異なる時間に前記センサアレイ上に向けるための、二次元で移動可能なチップチルトミラーを含む、請求項90に記載のラスタースキャン撮像システム。
<請求項93>
前記センサチャネルは、LIDARセンサチャネルを含む、請求項90に記載のラスタースキャン撮像システム。
<請求項94>
前記センサチャネルは、1または複数のハイブリッドセンサチャネルを含み、
各ハイブリッドセンサチャネルは、
複数の光センサと、
パターン化された光学フィルタと、
を有し、
前記パターン化された光学フィルタの異なる部分が、異なる特性を有する光を選択的に通過させ、
前記パターン化された光学フィルタは、前記複数の光センサのうちの異なるものが異なる特性を有する光を受信するように配置されており、
前記パターン化された光学フィルタは、前記複数の光センサの第1サブセットが、LIDARエミッタの波長に一致する狭い通過帯域内で赤外光を受信し、前記複数の光センサの第2サブセットが、可視光スペクトルの少なくとも一部分からの可視光を受信するように、更に配置されている、請求項90に記載のラスタースキャン撮像システム。
<請求項95>
前記センサチャネルは、1または複数のハイブリッドセンサチャネルを含み、
各ハイブリッドセンサチャネルは、
第1センサチャネル層上に配設されたLIDARセンサチャネルと、
開口層であって、前記第1センサチャネル層に重なり、その中に開口を有して光が前記LIDARセンサチャネルに入ることを許容している、開口層と、
前記開口の周りの前記開口層の少なくとも一部分に配設された複数の周囲光センサチャネルであって、各周囲光センサチャネルは、光センサと、特定の特性を有する光を選択的に通過させる光学フィルタと、を含み、前記周囲光センサチャネルのうちの異なるものの前記光学フィルタは、異なる特性を有する光を選択的に通過させる、複数の周囲光センサチャネルと、
を含む、請求項90に記載のラスタースキャン撮像システム。
<請求項96>
前記センサアレイは、センサチャネル間に固定ピッチを有し、
前記バルク光学モジュールは、Ftanθ焦点距離歪みプロファイルを有する、請求項90に記載のラスタースキャン撮像システム。
<請求項97>
前記センサアレイは、センサチャネル間に固定ピッチを有し、
前記バルク光学モジュールは、Fθ焦点距離歪みプロファイルを有する、請求項90に記載のラスタースキャン撮像システム。
<請求項98>
複数のセンサ行を有するセンサアレイであって、各センサ行は、
ある範囲の波長に敏感な2つ以上の高解像度周囲光センサチャネルのグループであって、前記グループ内の各高解像度周囲光センサチャネルが、チャネル別入力開口と、光センサと、を含み、前記グループ内の異なる高解像度周囲光センサチャネルの前記チャネル別入力開口がチャネル領域の異なる部分を露出する、2つ以上の高解像度周囲光センサチャネルのグループと、
前記高解像度周囲光センサチャネルのグループ内の前記光センサからの強度データに基づいて、複数のサブピクセル光強度値を決定するための論理回路と、
前記センサアレイを、視野内の異なる領域に異なる時間に露出するスキャン操作を露出実行するスキャン動作を実行し、特定の行内の前記2つ以上の高解像度周囲光センサチャネルのグループ内の各周囲光センサチャネルが異なる時間で前記視野内の同じピクセル領域に露出される、というように構成されたコントローラと、
を含む、センサアレイ。
<請求項99>
前記グループ内の各高解像度周囲光センサチャネルは、特定の特性を有する光を選択的に通過させる光学フィルタを更に含み、
前記特定の特性は、前記グループ内のあらゆる高解像度周囲光センサチャネルに対して同じである、請求項98に記載のセンサアレイ。
<請求項100>
前記グループ内の異なる高解像度周囲光センサチャネルの前記開口によって露出される前記チャネル領域の前記異なる部分は、前記チャネル領域の重ならない部分である、請求項98に記載のセンサアレイ。
<請求項101>
前記高解像度周囲光センサチャネルのグループは、4つの高解像度周囲光センサチャネルを含み、
前記重ならない部分は、前記チャネル領域の異なる象限に対応する、請求項100に記載のセンサアレイ。
<請求項102>
前記グループ内の異なる高解像度周囲光センサチャネルの前記開口によって露出される前記チャネル領域の前記異なる部分は、前記チャネル領域の重なる部分である、請求項98に記載のセンサアレイ。
<請求項103>
前記2つ以上の高解像度周囲光センサチャネルのグループからのセンサデータに基づいて、前記チャネル領域の重ならない部分のセットの強度値をデコードするための算術論理回路を更に含む、請求項102に記載のセンサアレイ。
<請求項104>
前記2つ以上の高解像度周囲光センサチャネルのグループは、前記チャネル領域全体を露出する開口を有する第1高解像度周囲光センサチャネルを更に含む、請求項102に記載のセンサアレイ。
<請求項105>
前記2つ以上の高解像度周囲光センサチャネルのグループからのセンサデータに基づいて、前記チャネル領域の重ならない部分のセットの強度値をデコードするための算術論理回路を更に含む、請求項104に記載のセンサアレイ。
<請求項106>
各センサ行は、前記高解像度周囲光センサチャネルのグループに空間的に登録されたLIDARセンサチャネルを更に含む、請求項98に記載のセンサアレイ。
<請求項107>
前記LIDARセンサチャネルは、第1解像度を有する深度画像の深度データを提供し、
前記高解像度周囲光センサチャネルは、少なくとも一次元において、前記第1解像度よりも高い第2解像度を有する強度画像を提供する、請求項106に記載のセンサアレイ。
<請求項108>
前記第2解像度は、行単位の次元及び前記行単位の次元に直角な次元の両方において、前記第1解像度よりも高い、請求項107に記載のセンサアレイ。
<請求項109>
センサアレイであって、
ある範囲の波長に敏感な2つ以上の高解像度周囲光センサチャネルのグループであって、前記グループ内の各高解像度周囲光センサチャネルが、チャネル別入力開口と、光センサと、複数の時間ビンに細分化される時間間隔中の前記光センサからの光子カウントを累積するための複数のレジスタと、を含み、前記グループ内の異なる高解像度周囲光センサチャネルの前記チャネル別入力開口がチャネル領域の異なる部分を露出し、前記複数のレジスタの各々が前記複数の時間ビンのうちの異なるものの間の光子カウントを累積する、2つ以上の高解像度周囲光センサチャネルのグループ
を含む、センサアレイと、
前記グループ内の前記高解像度周囲光センサチャネルの全ての前記複数のレジスタに累積された前記光子カウントに基づいて、複数のサブピクセル光強度値を計算するための算術論理回路と、
前記センサアレイを、視野内の異なる領域に異なる時間に露出するスキャン操作を実行し、前記2つ以上の高解像度周囲光センサチャネルのグループ内の各周囲光センサチャネルが異なる時間に前記視野内の同じピクセル領域に露出される、というように構成されたコントローラと、
を含む、スキャン撮像システム。
<請求項110>
前記グループ内の各高解像度周囲光センサチャネルは、特定の特性を有する光を選択的に通過させる光学フィルタを更に含み、
前記特定の特性は、前記グループ内のあらゆる高解像度周囲光センサチャネルに対して同じである、請求項109に記載のスキャン撮像システム。
<請求項111>
前記高解像度周囲光センサチャネルのグループに空間的に登録されたLIDARセンサチャネル
を更に備えた、請求項109に記載のスキャン撮像システム。
<請求項112>
前記LIDARセンサチャネルは、第1解像度を有する深度画像の深度データを提供し、
前記高解像度周囲光センサチャネルは、行単位の次元及び前記行単位の次元に直角な次元の両方において、前記第1解像度よりも高い第2解像度を有する強度画像を提供する、請求項111に記載のスキャン撮像システム。
<請求項113>
前記グループ内の異なる高解像度周囲光センサチャネルの前記開口によって露出される前記チャネル領域の前記異なる部分は、前記チャネル領域の重ならない部分である、請求項109に記載のスキャン撮像システム。
<請求項114>
前記グループ内の前記高解像度周囲光センサチャネルのうちの少なくとも2つの前記開口によって露出される前記チャネル領域の前記異なる部分は、前記チャネル領域の重なる部分である、請求項109に記載のスキャン撮像システム。
<請求項115>
前記2つ以上の高解像度周囲光センサチャネルのグループは、4つの周囲光センサチャネルを含み、
前記複数のレジスタは、4つのレジスタを含み、
前記算術論理回路は、16個のサブピクセル光強度値を計算する、請求項109に記載のスキャン撮像システム。
<請求項116>
前記高解像度周囲光センサチャネルのうちの第1のものの前記チャネル別入力開口は、前記チャネル領域の4分の1を露出し、
前記高解像度周囲光センサチャネルのうちの第2、第3及び第4のもののそれぞれの前記チャネル別入力開口は、各々、前記チャネル領域の前記4分の1の異なる部分を露出する、請求項115に記載のスキャン撮像システム。
<請求項117>
複数のセンサ行を有するセンサアレイであって、
各センサ行は、
少なくとも2つの周囲光センサチャネルのセットであって、前記セット内の各周囲光センサチャネルが、
チャネル入力開口と、
光センサと、
チャネル別特性を有する光を、前記光センサに選択的に通過させるチャネル別光学フィルタと、を含み、
各センサ行内の前記少なくとも2つの周囲光センサチャネルのセットは、前記光の前記チャネル別特性が重なるそれぞれのチャネル別光学フィルタを有する少なくとも2つの重なる周囲光センサチャネルを含む、少なくとも2つの周囲光センサチャネルのセットと、
前記少なくとも2つの周囲光センサチャネルからの信号を、複数の重ならない特性を有する光のそれぞれの光強度レベルにデコードするための算術論理回路と、
を含む、センサアレイ。
<請求項118>
前記チャネル別特性は、光の波長を含む、請求項117に記載のセンサアレイ。
<請求項119>
前記少なくとも2つの重なる周囲光センサチャネルのセットは、
第1波長範囲を有する光を選択的に通過させる第1チャネル別光学フィルタを有する第1色チャネルと、
第2波長範囲を有する光を選択的に通過させる第2チャネル別光学フィルタを有する第2色チャネルと、
第3波長範囲を有する光を選択的に通過させる第3チャネル別光学フィルタを有する第3色チャネルと、を含み、
前記第1波長範囲及び前記第2波長範囲は、部分的に重複しており、前記第3波長範囲は、前記第1波長範囲及び前記第2波長範囲の両方を包含する、請求項118に記載のセンサアレイ。
<請求項120>
前記第3波長帯域は、可視光スペクトルに対応する、請求項119に記載のセンサアレイ。
<請求項121>
前記チャネル別特性は、光の偏光特性を含む、請求項117に記載のセンサアレイ。
<請求項122>
各センサ行は、LIDARセンサチャネルを更に含む、請求項117に記載のセンサアレイ。
<請求項123>
複数のセンサ行を有するセンサアレイであって、各センサ行は、少なくとも2つの周囲光センサチャネルのセットを含み、各周囲光センサチャネルが、
チャネル入力開口と、
光センサと、
チャネル別特性を有する光を、前記光センサに選択的に通過させるチャネル別光学フィルタと、を含み、
各センサ行内の前記少なくとも2つの周囲光センサチャネルのセットは、前記光の前記チャネル別特性が重なるそれぞれのチャネル別光学フィルタを有する少なくとも2つの重なる周囲光センサチャネルを含む、センサアレイと、
前記3つ以上の周囲光センサチャネルの各々が視野の同じ部分からの光に露出されるように、前記センサアレイを動作させるためのコントローラと、
前記少なくとも2つの重なる周囲光センサチャネルからの信号を、複数の重ならない特性を有する光のそれぞれの光強度レベルにデコードするための算術論理回路と、
を含む、撮像システム。
<請求項124>
前記チャネル別特性は、波長範囲を含む、請求項123に記載の撮像システム。
<請求項125>
前記少なくとも2つの重なる周囲光センサチャネルは、
第1波長範囲を有する光を選択的に通過させる第1チャネル別光学フィルタを有する第1色チャネルと、
第2波長範囲を有する光を選択的に通過させる第2チャネル別光学フィルタを有する第2色チャネルと、
第3波長範囲を有する光を選択的に通過させる第3チャネル別光学フィルタを有する第3色チャネルと、
を含み、
前記第1波長範囲及び前記第2波長範囲は、部分的に重複しており、前記第3波長範囲は、前記第1波長範囲及び前記第2波長範囲の両方を包含する、請求項124に記載の撮像システム。
<請求項126>
前記第3波長範囲は、可視光スペクトルに対応する、請求項125に記載の撮像システム。
<請求項127>
前記チャネル別特性は、光の偏光特性を含む、請求項123に記載の撮像システム。
<請求項128>
各センサ行は、LIDARセンサチャネルを更に含む、請求項123に記載の撮像システム。
<請求項129>
複数のマルチスペクトルセンサチャネルを含む複数のセンサチャネルであって、各マルチスペクトルセンサチャネルは、チャネル入力開口と、少なくとも3つの光センサと、少なくとも3つの異なる部分を有するパターン化された光学フィルタと、を有し、前記パターン化された光学フィルタの前記異なる部分が、異なる特性を有する光を、前記少なくとも3つの光センサの異なるサブセットに選択的に通過させ、前記パターン化された光学フィルタの前記異なる部分は、前記少なくとも3つの光センサの第1サブセットに光を通過させる第1部分と、前記少なくとも3つの光センサの第2サブセットに光を通過させる第2部分と、を少なくとも含み、前記第1部分及び前記第2部分によって通過する光のそれぞれの特性は重なる、という複数のセンサチャネルと、
前記光センサの前記第1サブセット及び前記第2サブセットからの信号を、複数の重ならない特性を有する光のそれぞれの光強度レベルにデコードするための算術論理回路と、
を含む、センサアレイ。
<請求項130>
前記それぞれの特性は、波長範囲を含む、請求項129に記載のセンサアレイ。
<請求項131>
前記パターン化された光学フィルタの前記異なる部分は、
第1波長範囲を有する光を、前記光センサの第1サブセットに選択的に通過させる第1部分と、
第2波長範囲を有する光を、前記光センサの第2サブセットに選択的に通過させる第2部分と、
第3波長範囲を有する光を、前記光センサの第3サブセットに選択的に通過させる第3部分と、を含み、
前記第1波長範囲及び前記第2波長範囲は、部分的に重複しており、前記第3波長範囲は、前記第1波長範囲及び前記第2波長範囲の両方を包含する、請求項130に記載のセンサアレイ。
<請求項132>
前記第3波長帯域は、前記可視光スペクトルに対応する、請求項131に記載のセンサアレイ。
<請求項133>
前記パターン化された光学フィルタの前記第1部分及び前記第2部分によって選択される前記特性は、光の偏光特性を含む、請求項129に記載のセンサアレイ。
<請求項134>
前記複数のセンサチャネルは、各LIDARセンサチャネルが前記マルチスペクトルセンサチャネルのうちの異なるものとセンサ行を形成するように配設された、複数のLIDARセンサチャネルを更に含む、請求項129に記載のセンサアレイ。
<請求項135>
前記マルチスペクトルセンサチャネルは、LIDAR光センサを含み、
前記パターン化された光学フィルタは、LIDARエミッタに対応する波長を有する光を、前記LIDAR光センサに選択的に通過させる第4部分を含む、請求項129に記載のセンサアレイ。
Claims (26)
- 複数のセンサ行を有するセンサアレイであって、
各センサ行は、
反射光の到着タイミングを測定するためのLIDARセンサチャネルと、
1または複数の周囲光センサチャネルのセットと、
を有し、
各LIDARセンサチャネルは、
チャネル入力開口と、
光センサと、
LIDAR波長を有する光を、前記光センサに選択的に通過させるLIDAR光学フィルタと、
を含み、
各周囲光センサチャネルは、チャネル別特性を有する周囲光の強度を測定するように構成されており、
各周囲光センサチャネルは、
チャネル入力開口と、
光センサと、
前記チャネル別特性を有する光を、前記光センサに選択的に通過させるチャネル別光学フィルタと、
を含み、
前記複数のセンサ行の前記周囲光センサチャネルの前記セットは、同一セットのチャネル別特性のために構成されており、
前記LIDARセンサチャネル及び前記周囲光センサチャネルは、所与の時に同一行内の各LIDARセンサチャネル及び各周囲光センサチャネルが当該センサアレイの視野内の異なる位置を撮像するように、構成されている、
センサアレイ。 - 前記1または複数の周囲光センサチャネルのセットは、各々が異なるチャネル別光学フィルタを有する少なくとも2つの周囲光センサチャネルを含む、請求項1に記載のセンサアレイ。
- 前記周囲光センサチャネルのセットは、前記チャネル別光学フィルタが少なくとも可視光スペクトルを包含する通過帯域を有する白色チャネル、を含む、請求項1に記載のセンサアレイ。
- 前記周囲光センサチャネルのセットは、前記チャネル別光学フィルタが赤色光を選択的に通過させる赤色チャネル、前記チャネル別光学フィルタが緑色光を選択的に通過させる緑色チャネル、及び、前記チャネル別光学フィルタが青色光を選択的に通過させる青色チャネル、を含む、請求項1に記載のセンサアレイ。
- 前記周囲光センサチャネルのセットは、少なくとも5つの異なる色チャネルを含み、
前記少なくとも5つの異なる色チャネルの各々の前記チャネル別光学フィルタは、異なる波長範囲を有する光を選択的に通過させる、請求項1に記載のセンサアレイ。 - 前記周囲光センサチャネルのセットは、
第1波長範囲を有する光を選択的に通過させる第1チャネル別光学フィルタを有する第1色チャネルと、
第2波長範囲を有する光を選択的に通過させる第2チャネル別光学フィルタを有する第2色チャネルと、
を含み、
前記第1波長範囲及び前記第2波長範囲は、重なる範囲を有している、請求項1に記載のセンサアレイ。 - 前記第2波長範囲は、特定の物質の吸収帯に対応し、
前記第1波長範囲は、前記第2波長範囲を包含する、請求項6に記載のセンサアレイ。 - 前記周囲光センサチャネルのセットは、前記チャネル別光学フィルタが特定の偏光特性を有する光を選択的に通過させる1または複数の偏光チャネルを含む、請求項1に記載のセンサアレイ。
- 前記周囲光センサチャネルのセットは、
1または複数の色チャネルであって、当該1または複数の色チャネルの各々の前記チャネル別光学フィルタが異なる波長範囲を有する光を選択的に通過させる、1または複数の色チャネルと、
前記チャネル別光学フィルタが特定の偏光特性を有する光を選択的に通過させる、1または複数の偏光チャネルと、を含む、請求項1に記載のセンサアレイ。 - 前記1または複数の周囲光センサチャネルのセットは、各々が異なるチャネル別光学フィルタを有する少なくとも2つの周囲光センサチャネルを含み、
所与のセンサ行内の前記周囲光センサチャネルは、均一なピッチだけ互いに離間されている、請求項1に記載のセンサアレイ。 - 所与のセンサ行内の前記LIDARセンサチャネルは、前記均一なピッチだけ、または、前記均一なピッチの整数倍数である距離だけ、前記所与のセンサ行内の前記周囲光センサチャネルのうちの最も近いものから離間されている、請求項10に記載のセンサアレイ。
- 隣接するセンサ行は、前記均一なピッチだけ、互いに離間して配置されている、請求項11に記載のセンサアレイ。
- 各周囲光センサチャネルの前記光センサは、フォトンカウンティングモードで動作される1または複数のシングルフォトンアバランシェダイオード(SPAD)を含み、
各LIDARセンサチャネルもまた、フォトンカウンティングモードで動作される1または複数のSPADを含む、請求項1に記載のセンサアレイ。 - 前記センサアレイは、単一のASICとして製造される、請求項1に記載のセンサアレイ。
- 前記ASIC内に配設され、前記LIDARセンサチャネルのうちの2つ以上及び前記周囲光センサチャネルのうちの2つ以上からのデータを格納するように構成されたデータバッファと、
前記ASIC内に配設され、前記データバッファに格納された前記データに対して画像処理動作を実行するように構成された処理回路と、
を更に備える、請求項14に記載のセンサアレイ。 - 前記周囲光センサチャネルのうちの少なくとも1つは、マルチスペクトルセンサチャネルであって、
当該マルチスペクトルセンサチャネルは、
複数の光センサと、
パターン化された光学フィルタと、
を有しており、
前記パターン化された光学フィルタの異なる部分が、異なる特性を有する光を、前記マルチスペクトルセンサチャネル内の前記複数の光センサの異なるサブセットに、選択的に通過させる、請求項1に記載のセンサアレイ。 - 前記パターン化された光学フィルタの前記異なる部分は、第1波長帯域内の光を通過させる第1部分と、第2波長帯域内の光を通過させる第2部分と、を含む、請求項16に記載のセンサアレイ。
- 固定ベースと、
前記固定ベースに回転可能に結合されたセンサアレイと、
を備え、
前記センサアレイは、複数のセンサ行を有し、
各センサ行は、
反射光の到着タイミングを測定するためのLIDARセンサチャネルと、
1または複数の周囲光センサチャネルのセットと、
を有し、
各LIDARセンサチャネルは、
チャネル入力開口と、
光センサと、
LIDAR波長を有する光を、前記光センサに選択的に通過させるLIDAR光学フィルタと、
を含み、
各周囲光センサチャネルは、チャネル別特性を有する周囲光の強度を測定するように構成されており、
各周囲光センサチャネルは、
チャネル入力開口と、
光センサと、
前記チャネル別特性を有する光を、前記光センサに選択的に通過させるチャネル別光学フィルタと、
を含み、
前記複数のセンサ行の前記周囲光センサチャネルの前記セットは、同一セットのチャネル別特性のために構成されており、
前記LIDARセンサチャネル及び前記周囲光センサチャネルは、所与の時に同一行内の各LIDARセンサチャネル及び各周囲光センサチャネルが当該センサアレイの視野内の異なる位置を撮像するように、構成されており、
前記センサアレイの前方に配設され、入射光を前記LIDARセンサチャネル及び前記周囲光センサチャネルに共通の開口面上に集束させるように構成されたバルク光学モジュールと、
前記センサアレイの回転と前記光センサの動作とを同期させて、前記固定ベースに対する空間内の所与の場所が、前記センサ行のうちの1つ内の前記LIDARセンサチャネル及び前記周囲光センサチャネルの各々によって連続的に撮像されるようにする、ためのコントローラと、
を更に備えた、測距/撮像システム。 - 前記コントローラは、前記センサアレイの前記周囲光センサチャネルを使用して決定されたピクセルごとの光強度データ、及び、前記センサアレイの前記LIDARセンサチャネルを使用して決定されたピクセルごとの深度データ、を含むマルチスペクトル画像ピクセルデータを生成する、ように更に構成されている、請求項18に記載の測距/撮像システム。
- 所与のセンサ行内の前記周囲光センサチャネルは、均一なピッチだけ互いに離間されており、
前記コントローラは、連続する撮像動作が前記均一なピッチに対応するピッチ角だけ離された角度位置で発生するように、当該測距/撮像システムを回転させるように更に構成されている、請求項18に記載の測距/撮像システム。 - 所与のセンサ行内の前記LIDARセンサチャネルは、前記均一なピッチだけ、または、前記均一なピッチの整数倍数である距離だけ、前記所与のセンサ行内の前記周囲光センサチャネルのうちの最も近いものから離間されている、請求項20に記載の測距/撮像システム。
- 隣接するセンサ行は、前記均一なピッチだけ、互いに離間されている、請求項21に記載の測距/撮像システム。
- 前記1または複数の周囲光センサチャネルのセットは、各々が異なるチャネル別光学フィルタを有する少なくとも2つの周囲光センサチャネルを含む、請求項18に記載の測距/撮像システム。
- 前記周囲光センサチャネルのセットは、前記チャネル別光学フィルタが特定の偏光特性を有する光を選択的に通過させる1または複数の偏光チャネルを含む、請求項18に記載の測距/撮像システム。
- 前記周囲光センサチャネルのセットは、
1または複数の色チャネルであって、当該1または複数の色チャネルの各々の前記チャネル別光学フィルタが異なる波長範囲を有する光を選択的に通過させる、1または複数の色チャネルと、
前記チャネル別光学フィルタが特定の偏光特性を有する光を選択的に通過させる、1または複数の偏光チャネルと、を含む、請求項18に記載の測距/撮像システム。 - 前記周囲光センサチャネルのうちの少なくとも1つは、マルチスペクトルセンサチャネルであって、
当該マルチスペクトルセンサチャネルは、
複数の光センサと、
パターン化された光学フィルタと、
を有しており、
前記パターン化された光学フィルタの異なる部分が、異なる特性を有する光を、前記マルチスペクトルセンサチャネル内の前記複数の光センサの異なるサブセットに、選択的に通過させる、請求項18に記載の測距/撮像システム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2024007360A JP2024056706A (ja) | 2018-08-09 | 2024-01-22 | マルチスペクトル測距/撮像センサアレイ及びシステム |
Applications Claiming Priority (11)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201862716900P | 2018-08-09 | 2018-08-09 | |
US62/716,900 | 2018-08-09 | ||
US201862726810P | 2018-09-04 | 2018-09-04 | |
US62/726,810 | 2018-09-04 | ||
US201862744540P | 2018-10-11 | 2018-10-11 | |
US62/744,540 | 2018-10-11 | ||
US201962877778P | 2019-07-23 | 2019-07-23 | |
US62/877,778 | 2019-07-23 | ||
US16/534,838 US10739189B2 (en) | 2018-08-09 | 2019-08-07 | Multispectral ranging/imaging sensor arrays and systems |
US16/534,838 | 2019-08-07 | ||
PCT/US2019/045783 WO2020033749A1 (en) | 2018-08-09 | 2019-08-08 | Multispectral ranging/imaging sensor arrays and systems |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2024007360A Division JP2024056706A (ja) | 2018-08-09 | 2024-01-22 | マルチスペクトル測距/撮像センサアレイ及びシステム |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2021534378A JP2021534378A (ja) | 2021-12-09 |
JPWO2020033749A5 JPWO2020033749A5 (ja) | 2022-08-15 |
JP7426377B2 true JP7426377B2 (ja) | 2024-02-01 |
Family
ID=69415141
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021506647A Active JP7426377B2 (ja) | 2018-08-09 | 2019-08-08 | マルチスペクトル測距/撮像センサアレイ及びシステム |
JP2024007360A Pending JP2024056706A (ja) | 2018-08-09 | 2024-01-22 | マルチスペクトル測距/撮像センサアレイ及びシステム |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2024007360A Pending JP2024056706A (ja) | 2018-08-09 | 2024-01-22 | マルチスペクトル測距/撮像センサアレイ及びシステム |
Country Status (11)
Country | Link |
---|---|
US (1) | US10739189B2 (ja) |
EP (1) | EP3834003A4 (ja) |
JP (2) | JP7426377B2 (ja) |
KR (1) | KR20210046697A (ja) |
CN (2) | CN112805584A (ja) |
AU (1) | AU2019319946A1 (ja) |
CA (1) | CA3108884A1 (ja) |
IL (1) | IL280547B1 (ja) |
SG (1) | SG11202101312QA (ja) |
TW (1) | TW202011045A (ja) |
WO (1) | WO2020033749A1 (ja) |
Families Citing this family (32)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9992477B2 (en) | 2015-09-24 | 2018-06-05 | Ouster, Inc. | Optical system for collecting distance information within a field |
US11475550B2 (en) * | 2017-07-18 | 2022-10-18 | Sony Group Corporation | Information processing apparatus, information processing method, program, and information processing system |
US11284785B2 (en) * | 2019-06-20 | 2022-03-29 | Cilag Gmbh International | Controlling integral energy of a laser pulse in a hyperspectral, fluorescence, and laser mapping imaging system |
CN110381272B (zh) * | 2019-08-22 | 2022-05-13 | 睿镞科技(北京)有限责任公司 | 图像传感器组合系统及产生单一和复合视野图像的装置 |
US11604259B2 (en) * | 2019-10-14 | 2023-03-14 | Infineon Technologies Ag | Scanning LIDAR receiver with a silicon photomultiplier detector |
US11573302B2 (en) * | 2019-10-17 | 2023-02-07 | Argo AI, LLC | LiDAR system comprising a Geiger-mode avalanche photodiode-based receiver having pixels with multiple-return capability |
US11499911B2 (en) * | 2019-11-15 | 2022-11-15 | Montana State University | Systems and methods for detecting thermodynamic phase of clouds with optical polarization |
US11127147B2 (en) * | 2019-12-10 | 2021-09-21 | GM Global Technology Operations LLC | Three-dimensional point cloud generation using a polarimetric camera in a drive assistance system equipped vehicle |
US11521063B1 (en) * | 2019-12-17 | 2022-12-06 | Bae Systems Information And Electronic Systems Integration Inc. | System and method for terminal acquisition with a neural network |
US11500092B2 (en) | 2019-12-20 | 2022-11-15 | Stmicroelectronics (Research & Development) Limited | Method for operating a ToF ranging array, corresponding circuit and device |
US11269075B2 (en) | 2020-04-17 | 2022-03-08 | Samsung Electronics Co., Ltd. | Hybrid sensor system and method for providing 3D imaging |
US11695911B2 (en) | 2020-04-27 | 2023-07-04 | Ouster, Inc. | Stereoscopic image capturing systems |
US20210333371A1 (en) * | 2020-04-28 | 2021-10-28 | Ouster, Inc. | Lidar system with fog detection and adaptive response |
CN111638185B (zh) * | 2020-05-09 | 2022-05-17 | 哈尔滨工业大学 | 基于无人机平台的遥感探测方法 |
US11650428B2 (en) | 2020-06-11 | 2023-05-16 | Samsung Electronics Co., Ltd. | Progressive metalens for sensing system |
US11201993B1 (en) | 2020-06-15 | 2021-12-14 | Samsung Electronics Co., Ltd. | Multi-camera on a chip and camera module design |
EP4182750A1 (en) * | 2020-07-20 | 2023-05-24 | CSEM Centre Suisse d'Electronique et de Microtechnique SA - Recherche et Développement | Multi-spectral light-field device |
CN215953855U (zh) * | 2020-09-11 | 2022-03-04 | 神盾股份有限公司 | Tof光学感测模块 |
CN215953845U (zh) * | 2020-09-11 | 2022-03-04 | 神盾股份有限公司 | Tof光学感测模块 |
US20220102409A1 (en) * | 2020-09-25 | 2022-03-31 | Visera Technologies Company Limited | Semiconductor device |
US11536608B2 (en) | 2021-01-04 | 2022-12-27 | Argo AI, LLC | Systems and methods for characterizing spectral reflectance of real world objects |
DE102021201074A1 (de) | 2021-02-05 | 2022-08-11 | Robert Bosch Gesellschaft mit beschränkter Haftung | Detektorbaugruppe und optischer Sensor |
KR20220140329A (ko) | 2021-04-09 | 2022-10-18 | 엘지전자 주식회사 | 블렌더 |
US20220334053A1 (en) * | 2021-04-14 | 2022-10-20 | Advanced Growing Resources Inc. | Optical spectroscopy scanner |
US11435451B1 (en) | 2021-10-14 | 2022-09-06 | Motional Ad Llc | SiPM based sensor for low level fusion |
US11428791B1 (en) | 2021-10-14 | 2022-08-30 | Motional Ad Llc | Dual-mode silicon photomultiplier based LiDAR |
CN116367003B (zh) * | 2021-12-22 | 2023-10-20 | 荣耀终端有限公司 | 多光谱传感器以及电子设备 |
CN114518171B (zh) * | 2022-02-11 | 2024-04-30 | 南京大学 | 一种集成式的全斯托克斯偏振成像方法 |
WO2023249407A1 (ko) * | 2022-06-24 | 2023-12-28 | 주식회사 에스오에스랩 | 레이저 출력 어레이, 수신 옵틱 및 이를 이용하는 라이다 장치 |
JP2024011627A (ja) * | 2022-07-15 | 2024-01-25 | キヤノン株式会社 | 光学装置、車載システム、および移動装置 |
CN115408442B (zh) * | 2022-08-15 | 2023-03-10 | 云南大学 | 基于扩展空间同位模式的土地覆盖分布关系挖掘方法 |
CN117692064B (zh) * | 2024-01-30 | 2024-04-30 | 陕西旋星电子科技有限公司 | 一种带挡光圈的非接触光通信滑环及其光器件布置方法 |
Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008008700A (ja) | 2006-06-28 | 2008-01-17 | Fujifilm Corp | 距離画像センサ |
US20100020306A1 (en) | 2006-07-13 | 2010-01-28 | Velodyne Acoustics, Inc. | High definition lidar system |
JP2010035168A (ja) | 2008-07-25 | 2010-02-12 | Samsung Electronics Co Ltd | イメージング装置および方法 |
JP2010249626A (ja) | 2009-04-15 | 2010-11-04 | Panasonic Corp | 温度分布検出装置 |
WO2011015196A1 (de) | 2009-08-07 | 2011-02-10 | Conti Temic Microelectonic Gmbh | Bildgebender lidarsensor |
JP2011199798A (ja) | 2010-03-24 | 2011-10-06 | Sony Corp | 物理情報取得装置、固体撮像装置、物理情報取得方法 |
JP2014195296A (ja) | 2009-04-07 | 2014-10-09 | Rohm Co Ltd | 画素回路およびそれを用いた光電変換装置 |
DE102014224857A1 (de) | 2014-12-04 | 2016-06-09 | Conti Temic Microelectronic Gmbh | Sensorsystem und Verfahren zur Klassifikation von Fahrbahnoberflächen |
WO2017044204A1 (en) | 2015-09-08 | 2017-03-16 | Microvision, Inc. | Mixed-mode depth detection |
WO2018057084A1 (en) | 2015-09-24 | 2018-03-29 | Ouster, Inc. | Optical system for collecting distance information within a field |
WO2018074064A1 (ja) | 2016-10-17 | 2018-04-26 | ソニー株式会社 | 画像処理装置と画像処理方法および撮像装置 |
Family Cites Families (170)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4358851A (en) | 1980-02-28 | 1982-11-09 | Xerox Corporation | Fiber optic laser device and light emitter utilizing the device |
JPS58211677A (ja) | 1982-06-02 | 1983-12-09 | Nissan Motor Co Ltd | 光レ−ダ装置 |
DE3426868A1 (de) | 1984-07-20 | 1986-01-30 | LITEF Litton Technische Werke der Hellige GmbH, 7800 Freiburg | Verfahren und einrichtung zur drehratenauslesung mittels eines passiven optischen resonators |
JPS6137911U (ja) | 1984-08-10 | 1986-03-10 | 内山工業株式会社 | 材料注入成形金型 |
US4676599A (en) | 1985-08-14 | 1987-06-30 | The United States Of America As Represented By The Secretary Of The Air Force | Micro-optical lens holder |
US4744667A (en) | 1986-02-11 | 1988-05-17 | University Of Massachusetts | Microspectrofluorimeter |
US4851664A (en) | 1988-06-27 | 1989-07-25 | United States Of America As Represented By The Secretary Of The Navy | Narrow band and wide angle hemispherical interference optical filter |
JPH0749417Y2 (ja) | 1990-09-28 | 1995-11-13 | 三菱重工業株式会社 | 電気抵抗探傷用探触子 |
US5267016A (en) | 1991-11-27 | 1993-11-30 | United Technologies Corporation | Laser diode distance measurement |
US5288992A (en) | 1992-12-15 | 1994-02-22 | Gte Laboratories Incorporated | Wide angle, narrow band optical filter |
US6133989A (en) | 1993-02-09 | 2000-10-17 | Advanced Scientific Concepts, Inc. | 3D imaging laser radar |
JP3251150B2 (ja) | 1994-12-29 | 2002-01-28 | 日本板硝子株式会社 | 平板マイクロレンズアレイおよびその製造方法 |
US5760899A (en) | 1996-09-04 | 1998-06-02 | Erim International, Inc. | High-sensitivity multispectral sensor |
GB9618720D0 (en) | 1996-09-07 | 1996-10-16 | Philips Electronics Nv | Electrical device comprising an array of pixels |
US6362482B1 (en) | 1997-09-16 | 2002-03-26 | Advanced Scientific Concepts, Inc. | High data rate smart sensor technology |
US6721262B1 (en) | 1997-09-22 | 2004-04-13 | Seagate Technology Llc | Aperture stop for a flying optical head |
JP2000138792A (ja) | 1998-10-30 | 2000-05-16 | Sharp Corp | イメージセンサ及びその製造方法 |
US6371924B1 (en) | 1998-11-09 | 2002-04-16 | Medacoustics, Inc. | Acoustic window identification |
US6201293B1 (en) | 1998-11-19 | 2001-03-13 | Xerox Corporation | Electro optical devices with reduced filter thinning on the edge pixel photosites and method of producing same |
US6564168B1 (en) | 1999-09-14 | 2003-05-13 | Immersion Corporation | High-resolution optical encoder with phased-array photodetectors |
US6414746B1 (en) | 1999-11-24 | 2002-07-02 | Advanced Scientific Concepts, Inc. | 3-D imaging multiple target laser radar |
TW527518B (en) | 2000-07-14 | 2003-04-11 | Massachusetts Inst Technology | Method and system for high resolution, ultra fast, 3-D imaging |
US7045833B2 (en) | 2000-09-29 | 2006-05-16 | Board Of Regents, The University Of Texas System | Avalanche photodiodes with an impact-ionization-engineered multiplication region |
US6707230B2 (en) | 2001-05-29 | 2004-03-16 | University Of North Carolina At Charlotte | Closed loop control systems employing relaxor ferroelectric actuators |
DE10127204A1 (de) | 2001-06-05 | 2003-03-20 | Ibeo Automobile Sensor Gmbh | Erfassungsverfahren und - vorrichtung |
US7091462B2 (en) | 2002-08-26 | 2006-08-15 | Jds Uniphase Corporation | Transmitter with laser monitoring and wavelength stabilization circuit |
DE10244641A1 (de) | 2002-09-25 | 2004-04-08 | Ibeo Automobile Sensor Gmbh | Optoelektronische Erfassungseinrichtung |
JP2006517340A (ja) | 2003-01-23 | 2006-07-20 | オーボテック リミテッド | 高輝度照明を提供するためのシステムおよび方法 |
US20040223071A1 (en) | 2003-05-08 | 2004-11-11 | David Wells | Multiple microlens system for image sensors or display units |
US7266248B2 (en) | 2003-08-08 | 2007-09-04 | Hewlett-Packard Development Company, L.P. | Method and apparatus for generating data representative of an image |
DE10345555A1 (de) | 2003-09-30 | 2005-05-04 | Osram Opto Semiconductors Gmbh | Strahlungsemittierendes und -empfangendes Halbleiterbauelement und Verfahren zu dessen Herstellung |
US7433042B1 (en) | 2003-12-05 | 2008-10-07 | Surface Optics Corporation | Spatially corrected full-cubed hyperspectral imager |
US7808706B2 (en) | 2004-02-12 | 2010-10-05 | Tredegar Newco, Inc. | Light management films for displays |
US7738026B2 (en) | 2005-05-02 | 2010-06-15 | Andrew G. Cartlidge | Increasing fill-factor on pixelated sensors |
US7279764B2 (en) | 2004-06-01 | 2007-10-09 | Micron Technology, Inc. | Silicon-based resonant cavity photodiode for image sensors |
USD531525S1 (en) | 2004-11-02 | 2006-11-07 | Sick Ag | Optoelectronic sensor |
US20090295910A1 (en) | 2005-03-24 | 2009-12-03 | Jose Mir | Hyperspectral Imaging System and Methods Thereof |
WO2006116637A2 (en) | 2005-04-27 | 2006-11-02 | Massachusetts Institute Of Technology | Raman spectroscopy for non-invasive glucose measurements |
US8294809B2 (en) | 2005-05-10 | 2012-10-23 | Advanced Scientific Concepts, Inc. | Dimensioning system |
US8130367B2 (en) | 2005-12-08 | 2012-03-06 | Roger Stettner | Laser ranging, tracking and designation using 3-D focal planes |
US7421159B2 (en) | 2005-12-13 | 2008-09-02 | Board of Supervisor of Louisiana State University and Agricultural and Mechanical College | Integral pre-aligned micro-optical systems |
EP1969395B1 (en) | 2005-12-19 | 2017-08-09 | Leddartech Inc. | Object-detecting lighting system and method |
DE102006004802B4 (de) | 2006-01-23 | 2008-09-25 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Bilderfassungssystem und Verfahren zur Herstellung mindestens eines Bilderfassungssystems |
US7423821B2 (en) | 2006-03-24 | 2008-09-09 | Gentex Corporation | Vision system |
TWI433052B (zh) | 2007-04-02 | 2014-04-01 | Primesense Ltd | 使用投影圖案之深度製圖 |
EP1978394A1 (en) | 2007-04-06 | 2008-10-08 | Global Bionic Optics Pty Ltd. | Optical system for increasing depth of field |
US7848478B1 (en) | 2007-05-04 | 2010-12-07 | General Electric Company | System for optical communication between stationary and non-stationary parts and method of making same |
CA2635155C (en) | 2007-06-18 | 2015-11-24 | Institut National D'optique | Method for detecting objects with visible light |
US8494252B2 (en) | 2007-06-19 | 2013-07-23 | Primesense Ltd. | Depth mapping using optical elements having non-uniform focal characteristics |
EP3206046B1 (en) | 2007-12-21 | 2021-08-25 | Leddartech Inc. | Detection and ranging methods and systems |
TWI358606B (en) | 2007-12-28 | 2012-02-21 | Ind Tech Res Inst | Method for three-dimension (3d) measurement and an |
US8384997B2 (en) | 2008-01-21 | 2013-02-26 | Primesense Ltd | Optical pattern projection |
EP2124069B1 (de) | 2008-03-20 | 2012-01-25 | Sick Ag | Omnidirektionales Lidar System |
CN102027388B (zh) | 2008-04-11 | 2013-08-28 | 瑞士联邦理工大学,洛桑(Epfl) | 采用显示器作为照明源的基于飞行时间的成像系统 |
US9041915B2 (en) | 2008-05-09 | 2015-05-26 | Ball Aerospace & Technologies Corp. | Systems and methods of scene and action capture using imaging system incorporating 3D LIDAR |
WO2010006081A1 (en) | 2008-07-08 | 2010-01-14 | Chiaro Technologies, Inc. | Multiple channel locating |
US8456517B2 (en) | 2008-07-09 | 2013-06-04 | Primesense Ltd. | Integrated processor for 3D mapping |
CN201298079Y (zh) | 2008-11-17 | 2009-08-26 | 南京德朔实业有限公司 | 激光测距装置 |
US20100204964A1 (en) | 2009-02-09 | 2010-08-12 | Utah State University | Lidar-assisted multi-image matching for 3-d model and sensor pose refinement |
EP2396744B1 (en) * | 2009-02-11 | 2016-06-01 | Datalogic ADC, Inc. | High-resolution optical code imaging using a color imager |
US8717417B2 (en) | 2009-04-16 | 2014-05-06 | Primesense Ltd. | Three-dimensional mapping and imaging |
US8743176B2 (en) | 2009-05-20 | 2014-06-03 | Advanced Scientific Concepts, Inc. | 3-dimensional hybrid camera and production system |
US8675181B2 (en) | 2009-06-02 | 2014-03-18 | Velodyne Acoustics, Inc. | Color LiDAR scanner |
US8803967B2 (en) | 2009-07-31 | 2014-08-12 | Mesa Imaging Ag | Time of flight camera with rectangular field of illumination |
US8330840B2 (en) | 2009-08-06 | 2012-12-11 | Aptina Imaging Corporation | Image sensor with multilayer interference filters |
CN102006402B (zh) | 2009-08-28 | 2014-02-19 | 鸿富锦精密工业(深圳)有限公司 | 摄像装置及其身份识别方法 |
KR20120058597A (ko) * | 2009-09-01 | 2012-06-07 | 코닌클리즈케 필립스 일렉트로닉스 엔.브이. | 비분산 요소들을 이용하는 높은 스펙트럼 해상도의 컬러 센서 |
US20110116262A1 (en) | 2009-11-13 | 2011-05-19 | Phoseon Technology, Inc. | Economical partially collimating reflective micro optical array |
JP5588310B2 (ja) | 2009-11-15 | 2014-09-10 | プライムセンス リミテッド | ビームモニタ付き光学プロジェクタ |
CA2782235A1 (en) * | 2009-11-30 | 2011-06-03 | Imec | Integrated circuit for spectral imaging system |
US20150358601A1 (en) | 2009-12-23 | 2015-12-10 | Mesa Imaging Ag | Optical Filter on Objective Lens for 3D Cameras |
US8786757B2 (en) | 2010-02-23 | 2014-07-22 | Primesense Ltd. | Wideband ambient light rejection |
EP3901653A3 (en) | 2010-05-17 | 2022-03-02 | Velodyne Lidar USA, Inc. | High definition lidar system |
NL2004996C2 (nl) | 2010-06-29 | 2011-12-30 | Cyclomedia Technology B V | Werkwijze voor het vervaardigen van een digitale foto, waarbij ten minste een deel van de beeldelementen positieinformatie omvatten en een dergelijke digitale foto. |
USD659030S1 (en) | 2010-07-30 | 2012-05-08 | Sick Ag | Optoelectronic sensor |
US9167138B2 (en) | 2010-12-06 | 2015-10-20 | Apple Inc. | Pattern projection and imaging using lens arrays |
JP2012128270A (ja) | 2010-12-16 | 2012-07-05 | Denso Corp | 干渉フィルタアセンブリ |
EP2469295A1 (en) | 2010-12-23 | 2012-06-27 | André Borowski | 3D landscape real-time imager and corresponding imaging methods |
US8717488B2 (en) | 2011-01-18 | 2014-05-06 | Primesense Ltd. | Objective optics with interference filter |
US8908159B2 (en) | 2011-05-11 | 2014-12-09 | Leddartech Inc. | Multiple-field-of-view scannerless optical rangefinder in high ambient background light |
WO2012174401A2 (en) | 2011-06-16 | 2012-12-20 | Lenny Lipton | Stereoscopic camera with polarizing apertures |
DE102011107360A1 (de) | 2011-06-29 | 2013-01-03 | Karlsruher Institut für Technologie | Mikrooptisches Element, mikrooptisches Array und optisches Sensorensystem |
US8797512B2 (en) | 2011-09-15 | 2014-08-05 | Advanced Scientific Concepts, Inc. | Automatic range corrected flash ladar camera |
US20160150963A1 (en) | 2011-09-26 | 2016-06-02 | Michael Lee Roukes | One-photon integrated neurophotonic systems |
US8743923B2 (en) | 2012-01-31 | 2014-06-03 | Flir Systems Inc. | Multi-wavelength VCSEL array to reduce speckle |
JP5985661B2 (ja) | 2012-02-15 | 2016-09-06 | アップル インコーポレイテッド | 走査深度エンジン |
JP6309459B2 (ja) | 2012-02-15 | 2018-04-11 | ヘプタゴン・マイクロ・オプティクス・ピーティーイー・エルティーディーHeptagon Micro Optics Pte.Ltd. | ストライプ照明の飛行時間型カメラ |
AU2013237061B2 (en) | 2012-03-22 | 2015-11-26 | Apple Inc. | Gimbaled scanning mirror array |
US9335220B2 (en) | 2012-03-22 | 2016-05-10 | Apple Inc. | Calibration of time-of-flight measurement using stray reflections |
US9195914B2 (en) | 2012-09-05 | 2015-11-24 | Google Inc. | Construction zone sign detection |
US9383753B1 (en) | 2012-09-26 | 2016-07-05 | Google Inc. | Wide-view LIDAR with areas of special attention |
US9071763B1 (en) | 2012-09-26 | 2015-06-30 | Google Inc. | Uniform illumination image capture |
US9019267B2 (en) | 2012-10-30 | 2015-04-28 | Apple Inc. | Depth mapping with enhanced resolution |
US9111444B2 (en) | 2012-10-31 | 2015-08-18 | Raytheon Company | Video and lidar target detection and tracking system and method for segmenting moving targets |
KR102004987B1 (ko) | 2012-12-11 | 2019-07-29 | 삼성전자주식회사 | 광자 계수 검출 장치 및 독출 회로 |
US9823351B2 (en) | 2012-12-18 | 2017-11-21 | Uber Technologies, Inc. | Multi-clad fiber based optical apparatus and methods for light detection and ranging sensors |
US20160047901A1 (en) | 2012-12-25 | 2016-02-18 | Quanergy Systems, Inc. | Robust lidar sensor for broad weather, shock and vibration conditions |
WO2014102341A1 (en) | 2012-12-31 | 2014-07-03 | Iee International Electronics & Engineering S.A. | Optical system generating a structured light field from an array of light sources by meand of a refracting or reflecting light structuring element |
US9285477B1 (en) | 2013-01-25 | 2016-03-15 | Apple Inc. | 3D depth point cloud from timing flight of 2D scanned light beam pulses |
US20140211194A1 (en) | 2013-01-27 | 2014-07-31 | Quanergy Systems, Inc. | Cost-effective lidar sensor for multi-signal detection, weak signal detection and signal disambiguation and method of using same |
US9063549B1 (en) * | 2013-03-06 | 2015-06-23 | Google Inc. | Light detection and ranging device with oscillating mirror driven by magnetically interactive coil |
US9086273B1 (en) | 2013-03-08 | 2015-07-21 | Google Inc. | Microrod compression of laser beam in combination with transmit lens |
US9470520B2 (en) | 2013-03-14 | 2016-10-18 | Apparate International C.V. | LiDAR scanner |
EP2972081B1 (en) | 2013-03-15 | 2020-04-22 | Apple Inc. | Depth scanning with multiple emitters |
US9164511B1 (en) | 2013-04-17 | 2015-10-20 | Google Inc. | Use of detected objects for image processing |
US10132928B2 (en) | 2013-05-09 | 2018-11-20 | Quanergy Systems, Inc. | Solid state optical phased array lidar and method of using same |
CN109755859B (zh) | 2013-06-19 | 2021-12-17 | 苹果公司 | 集成结构化光投影仪 |
US10078137B2 (en) | 2013-06-21 | 2018-09-18 | Irvine Sensors Corp. | LIDAR device and method for clear and degraded environmental viewing conditions |
US20150002636A1 (en) | 2013-06-28 | 2015-01-01 | Cable Television Laboratories, Inc. | Capturing Full Motion Live Events Using Spatially Distributed Depth Sensing Cameras |
EP3019824B1 (en) | 2013-07-09 | 2018-01-10 | Xenomatix NV | Surround sensing system |
US8742325B1 (en) | 2013-07-31 | 2014-06-03 | Google Inc. | Photodetector array on curved substrate |
GB2529070B (en) | 2013-08-02 | 2017-07-12 | Verifood Ltd | Spectrometer comprising a plurality of isolated optical paths |
US10126412B2 (en) | 2013-08-19 | 2018-11-13 | Quanergy Systems, Inc. | Optical phased array lidar system and method of using same |
US8836922B1 (en) | 2013-08-20 | 2014-09-16 | Google Inc. | Devices and methods for a rotating LIDAR platform with a shared transmit/receive path |
US9368936B1 (en) | 2013-09-30 | 2016-06-14 | Google Inc. | Laser diode firing system |
US9299731B1 (en) | 2013-09-30 | 2016-03-29 | Google Inc. | Systems and methods for selectable photodiode circuits |
US9425654B2 (en) | 2013-09-30 | 2016-08-23 | Google Inc. | Contactless electrical coupling for a rotatable LIDAR device |
WO2015052616A1 (en) | 2013-10-09 | 2015-04-16 | Koninklijke Philips N.V. | Monolithic led arrays for uniform and high-brightness light sources |
US10203399B2 (en) | 2013-11-12 | 2019-02-12 | Big Sky Financial Corporation | Methods and apparatus for array based LiDAR systems with reduced interference |
AU2014352833B2 (en) | 2013-11-22 | 2019-12-05 | Aurora Operations, Inc. | LiDAR scanner calibration |
KR101582572B1 (ko) | 2013-12-24 | 2016-01-11 | 엘지전자 주식회사 | 차량 운전 보조 장치 및 이를 구비한 차량 |
US20150192677A1 (en) | 2014-01-03 | 2015-07-09 | Quanergy Systems, Inc. | Distributed lidar sensing system for wide field of view three dimensional mapping and method of using same |
US10061111B2 (en) | 2014-01-17 | 2018-08-28 | The Trustees Of Columbia University In The City Of New York | Systems and methods for three dimensional imaging |
US9756263B2 (en) | 2014-05-01 | 2017-09-05 | Rebellion Photonics, Inc. | Mobile gas and chemical imaging camera |
WO2015198331A1 (en) * | 2014-06-25 | 2015-12-30 | Ramot At Tel-Aviv University Ltd. | System and method for light-field imaging |
US9754192B2 (en) | 2014-06-30 | 2017-09-05 | Microsoft Technology Licensing, Llc | Object detection utilizing geometric information fused with image data |
US9753351B2 (en) | 2014-06-30 | 2017-09-05 | Quanergy Systems, Inc. | Planar beam forming and steering optical phased array chip and method of using same |
US9575184B2 (en) | 2014-07-03 | 2017-02-21 | Continental Advanced Lidar Solutions Us, Inc. | LADAR sensor for a dense environment |
AU2015301488B2 (en) | 2014-08-15 | 2019-08-08 | Aeye, Inc. | Methods and systems for ladar transmission |
US9869753B2 (en) | 2014-08-15 | 2018-01-16 | Quanergy Systems, Inc. | Three-dimensional-mapping two-dimensional-scanning lidar based on one-dimensional-steering optical phased arrays and method of using same |
EP3002548B1 (de) | 2014-10-02 | 2016-09-14 | Sick Ag | Beleuchtungseinrichtung und Verfahren zum Erzeugen eines Beleuchtungsfeldes |
US9772405B2 (en) | 2014-10-06 | 2017-09-26 | The Boeing Company | Backfilling clouds of 3D coordinates |
JP2016092146A (ja) | 2014-10-31 | 2016-05-23 | セイコーエプソン株式会社 | 量子干渉装置、原子発振器、電子機器および移動体 |
US10101206B2 (en) * | 2014-11-06 | 2018-10-16 | Ramot At Tel-Avi University Ltd. | Spectral imaging method and system |
US20160161332A1 (en) * | 2014-12-09 | 2016-06-09 | Stmicroelectronics (Research & Development) Limited | Image sensor using pixels with combined rgb and ir sensing |
EP3045935A1 (en) | 2015-01-13 | 2016-07-20 | XenomatiX BVBA | Surround sensing system with dome-filter assembly |
EP3045936A1 (en) | 2015-01-13 | 2016-07-20 | XenomatiX BVBA | Surround sensing system with telecentric optics |
JP6867947B2 (ja) | 2015-01-20 | 2021-05-12 | ディジレンズ インコーポレイテッド | ホログラフィック導波路ライダー |
WO2016125165A2 (en) | 2015-02-05 | 2016-08-11 | Verifood, Ltd. | Spectrometry system with visible aiming beam |
US9369689B1 (en) | 2015-02-24 | 2016-06-14 | HypeVR | Lidar stereo fusion live action 3D model video reconstruction for six degrees of freedom 360° volumetric virtual reality video |
GB201503912D0 (en) * | 2015-03-06 | 2016-02-03 | Bae Systems Plc | Method and apparatus for processing spectral images |
US10215553B2 (en) | 2015-03-12 | 2019-02-26 | Apple Inc. | Thin PSD for laser-scanning systems |
US9529079B1 (en) | 2015-03-26 | 2016-12-27 | Google Inc. | Multiplexed multichannel photodetector |
US9694498B2 (en) * | 2015-03-30 | 2017-07-04 | X Development Llc | Imager for detecting visual light and projected patterns |
US9880263B2 (en) | 2015-04-06 | 2018-01-30 | Waymo Llc | Long range steerable LIDAR system |
US9525863B2 (en) | 2015-04-29 | 2016-12-20 | Apple Inc. | Time-of-flight depth mapping with flexible scan pattern |
US10063849B2 (en) | 2015-09-24 | 2018-08-28 | Ouster, Inc. | Optical system for collecting distance information within a field |
EP3159711A1 (en) | 2015-10-23 | 2017-04-26 | Xenomatix NV | System and method for determining a distance to an object |
US10539661B2 (en) | 2015-11-25 | 2020-01-21 | Velodyne Lidar, Inc. | Three dimensional LIDAR system with targeted field of view |
US9989406B2 (en) | 2016-01-29 | 2018-06-05 | Ouster, Inc. | Systems and methods for calibrating an optical distance sensor |
US10627490B2 (en) | 2016-01-31 | 2020-04-21 | Velodyne Lidar, Inc. | Multiple pulse, LIDAR based 3-D imaging |
CA3012691C (en) | 2016-01-31 | 2023-02-28 | Velodyne Lidar, Inc. | Lidar based 3-d imaging with far-field illumination overlap |
CA3017735C (en) | 2016-03-19 | 2023-03-14 | Velodyne Lidar, Inc. | Integrated illumination and detection for lidar based 3-d imaging |
CA3017811C (en) | 2016-03-21 | 2021-04-27 | Velodyne Lidar, Inc. | Lidar based 3-d imaging with varying pulse repetition |
US10197669B2 (en) | 2016-03-21 | 2019-02-05 | Velodyne Lidar, Inc. | LIDAR based 3-D imaging with varying illumination intensity |
EP3433634B8 (en) | 2016-03-21 | 2021-07-21 | Velodyne Lidar USA, Inc. | Lidar based 3-d imaging with varying illumination field density |
US10412291B2 (en) * | 2016-05-19 | 2019-09-10 | Scenera, Inc. | Intelligent interface for interchangeable sensors |
WO2017210418A1 (en) | 2016-06-01 | 2017-12-07 | Velodyne Lidar, Inc. | Multiple pixel scanning lidar |
JP6812554B2 (ja) | 2016-08-24 | 2021-01-13 | アウスター インコーポレイテッド | フィールド内の距離情報を収集するための光学システム |
US10693843B2 (en) | 2016-09-02 | 2020-06-23 | Scenera, Inc. | Security for scene-based sensor networks |
EP3301477A1 (en) | 2016-10-03 | 2018-04-04 | Xenomatix NV | System for determining a distance to an object |
EP3301478A1 (en) | 2016-10-03 | 2018-04-04 | Xenomatix NV | System for determining a distance to an object |
EP3301479A1 (en) | 2016-10-03 | 2018-04-04 | Xenomatix NV | Method for subtracting background light from an exposure value of a pixel in an imaging array, and pixel for use in same |
EP3301480A1 (en) | 2016-10-03 | 2018-04-04 | Xenomatix NV | System and method for determining a distance to an object |
EP3316000A1 (en) | 2016-10-28 | 2018-05-02 | Xenomatix NV | Vehicular system for measuring a distance to an object and method of installing same |
EP3343246A1 (en) | 2016-12-30 | 2018-07-04 | Xenomatix NV | System for characterizing surroundings of a vehicle |
EP3392674A1 (en) | 2017-04-23 | 2018-10-24 | Xenomatix NV | A pixel structure |
CA3063605A1 (en) | 2017-05-15 | 2018-11-22 | Ouster, Inc. | Optical imaging transmitter with brightness enhancement |
US10809380B2 (en) | 2017-05-15 | 2020-10-20 | Ouster, Inc. | Augmenting panoramic LIDAR results with color |
AU2018297291B2 (en) | 2017-07-05 | 2024-03-07 | Ouster, Inc. | Light ranging device with electronically scanned emitter array and synchronized sensor array |
-
2019
- 2019-08-07 US US16/534,838 patent/US10739189B2/en active Active
- 2019-08-08 CN CN201980064450.8A patent/CN112805584A/zh active Pending
- 2019-08-08 CA CA3108884A patent/CA3108884A1/en active Pending
- 2019-08-08 TW TW108128284A patent/TW202011045A/zh unknown
- 2019-08-08 KR KR1020217007171A patent/KR20210046697A/ko not_active Application Discontinuation
- 2019-08-08 SG SG11202101312QA patent/SG11202101312QA/en unknown
- 2019-08-08 EP EP19847809.1A patent/EP3834003A4/en active Pending
- 2019-08-08 JP JP2021506647A patent/JP7426377B2/ja active Active
- 2019-08-08 WO PCT/US2019/045783 patent/WO2020033749A1/en unknown
- 2019-08-08 AU AU2019319946A patent/AU2019319946A1/en active Pending
- 2019-08-08 CN CN202110480647.9A patent/CN113189567A/zh active Pending
- 2019-08-08 IL IL280547A patent/IL280547B1/en unknown
-
2024
- 2024-01-22 JP JP2024007360A patent/JP2024056706A/ja active Pending
Patent Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008008700A (ja) | 2006-06-28 | 2008-01-17 | Fujifilm Corp | 距離画像センサ |
US20100020306A1 (en) | 2006-07-13 | 2010-01-28 | Velodyne Acoustics, Inc. | High definition lidar system |
JP2010035168A (ja) | 2008-07-25 | 2010-02-12 | Samsung Electronics Co Ltd | イメージング装置および方法 |
JP2014195296A (ja) | 2009-04-07 | 2014-10-09 | Rohm Co Ltd | 画素回路およびそれを用いた光電変換装置 |
JP2010249626A (ja) | 2009-04-15 | 2010-11-04 | Panasonic Corp | 温度分布検出装置 |
WO2011015196A1 (de) | 2009-08-07 | 2011-02-10 | Conti Temic Microelectonic Gmbh | Bildgebender lidarsensor |
JP2011199798A (ja) | 2010-03-24 | 2011-10-06 | Sony Corp | 物理情報取得装置、固体撮像装置、物理情報取得方法 |
DE102014224857A1 (de) | 2014-12-04 | 2016-06-09 | Conti Temic Microelectronic Gmbh | Sensorsystem und Verfahren zur Klassifikation von Fahrbahnoberflächen |
WO2017044204A1 (en) | 2015-09-08 | 2017-03-16 | Microvision, Inc. | Mixed-mode depth detection |
WO2018057084A1 (en) | 2015-09-24 | 2018-03-29 | Ouster, Inc. | Optical system for collecting distance information within a field |
WO2018074064A1 (ja) | 2016-10-17 | 2018-04-26 | ソニー株式会社 | 画像処理装置と画像処理方法および撮像装置 |
Non-Patent Citations (1)
Title |
---|
KIM, Wonjoo 外6名,"A 1.5Mpixel RGBZ CMOS Image Sensor for Simultaneous Color and Range Image Capture",2012 IEEE INTERNATIONAL SOLID-STATE CIRCUITS CONFERENCE,2012年04月03日,Pages 392-394,<doi: 10.1109/ISSCC.2012.6177061 > |
Also Published As
Publication number | Publication date |
---|---|
US20200116558A1 (en) | 2020-04-16 |
SG11202101312QA (en) | 2021-03-30 |
IL280547B1 (en) | 2024-05-01 |
CN112805584A (zh) | 2021-05-14 |
JP2024056706A (ja) | 2024-04-23 |
IL280547A (en) | 2021-03-25 |
EP3834003A4 (en) | 2022-04-06 |
CA3108884A1 (en) | 2020-02-13 |
US10739189B2 (en) | 2020-08-11 |
KR20210046697A (ko) | 2021-04-28 |
CN113189567A (zh) | 2021-07-30 |
JP2021534378A (ja) | 2021-12-09 |
TW202011045A (zh) | 2020-03-16 |
EP3834003A1 (en) | 2021-06-16 |
WO2020033749A1 (en) | 2020-02-13 |
AU2019319946A1 (en) | 2021-02-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7426377B2 (ja) | マルチスペクトル測距/撮像センサアレイ及びシステム | |
US11733092B2 (en) | Channel-specific micro-optics for optical arrays | |
JP7429274B2 (ja) | 輝度を増強した光学撮像送信器 | |
CN109313345B (zh) | 用于图像采集和分析的有源脉冲4d 摄像装置的方法和装置 | |
CN114616489A (zh) | Lidar图像处理 | |
US11953600B2 (en) | Synchronized image capturing for electronic scanning LIDAR systems comprising an emitter controller and plural sensor controllers | |
US20140085629A1 (en) | Active Hyperspectral Imaging Systems | |
CN105452807A (zh) | 测距系统、以及信号产生装置 | |
US11695911B2 (en) | Stereoscopic image capturing systems | |
US20230047931A1 (en) | Coaxial lidar system using a diffractive waveguide |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220804 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220804 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230509 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20230802 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20231010 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20231109 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20231221 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240122 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7426377 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |