KR20190009276A - 이미지 획득 및 분석을 위한 능동 펄스 4d 카메라용 방법 및 장치 - Google Patents
이미지 획득 및 분석을 위한 능동 펄스 4d 카메라용 방법 및 장치 Download PDFInfo
- Publication number
- KR20190009276A KR20190009276A KR1020187028761A KR20187028761A KR20190009276A KR 20190009276 A KR20190009276 A KR 20190009276A KR 1020187028761 A KR1020187028761 A KR 1020187028761A KR 20187028761 A KR20187028761 A KR 20187028761A KR 20190009276 A KR20190009276 A KR 20190009276A
- Authority
- KR
- South Korea
- Prior art keywords
- detector
- emitter
- light
- camera system
- dimensional
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 22
- 238000004458 analytical method Methods 0.000 title description 8
- 230000003287 optical effect Effects 0.000 claims abstract description 25
- 230000010354 integration Effects 0.000 claims description 46
- 238000012546 transfer Methods 0.000 claims description 31
- 239000000872 buffer Substances 0.000 claims description 30
- 238000012545 processing Methods 0.000 claims description 29
- 238000001514 detection method Methods 0.000 claims description 8
- 238000003860 storage Methods 0.000 claims description 4
- 238000006243 chemical reaction Methods 0.000 claims description 3
- 230000000694 effects Effects 0.000 claims description 3
- 230000008859 change Effects 0.000 claims description 2
- 238000001208 nuclear magnetic resonance pulse sequence Methods 0.000 claims 4
- 238000001914 filtration Methods 0.000 claims 1
- 238000004020 luminiscence type Methods 0.000 claims 1
- 230000001131 transforming effect Effects 0.000 claims 1
- 239000000428 dust Substances 0.000 abstract description 3
- 238000010191 image analysis Methods 0.000 abstract description 3
- 230000008030 elimination Effects 0.000 abstract 1
- 238000003379 elimination reaction Methods 0.000 abstract 1
- 230000006870 function Effects 0.000 description 19
- 238000003384 imaging method Methods 0.000 description 16
- 230000007613 environmental effect Effects 0.000 description 15
- 230000003595 spectral effect Effects 0.000 description 15
- 230000033001 locomotion Effects 0.000 description 13
- 238000010586 diagram Methods 0.000 description 11
- 238000005259 measurement Methods 0.000 description 10
- 230000001186 cumulative effect Effects 0.000 description 8
- 230000004044 response Effects 0.000 description 8
- 238000003491 array Methods 0.000 description 7
- 239000003990 capacitor Substances 0.000 description 6
- 238000012937 correction Methods 0.000 description 6
- 239000010426 asphalt Substances 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 5
- 230000008901 benefit Effects 0.000 description 4
- 230000001419 dependent effect Effects 0.000 description 4
- 230000004907 flux Effects 0.000 description 4
- 238000004519 manufacturing process Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 238000001429 visible spectrum Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 238000005286 illumination Methods 0.000 description 3
- 238000010348 incorporation Methods 0.000 description 3
- 230000002093 peripheral effect Effects 0.000 description 3
- WPPDXAHGCGPUPK-UHFFFAOYSA-N red 2 Chemical compound C1=CC=CC=C1C(C1=CC=CC=C11)=C(C=2C=3C4=CC=C5C6=CC=C7C8=C(C=9C=CC=CC=9)C9=CC=CC=C9C(C=9C=CC=CC=9)=C8C8=CC=C(C6=C87)C(C=35)=CC=2)C4=C1C1=CC=CC=C1 WPPDXAHGCGPUPK-UHFFFAOYSA-N 0.000 description 3
- 239000004065 semiconductor Substances 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 238000011144 upstream manufacturing Methods 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 238000012512 characterization method Methods 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000003708 edge detection Methods 0.000 description 2
- 238000011065 in-situ storage Methods 0.000 description 2
- 230000010363 phase shift Effects 0.000 description 2
- 238000012805 post-processing Methods 0.000 description 2
- 230000005855 radiation Effects 0.000 description 2
- 230000007704 transition Effects 0.000 description 2
- FGRBYDKOBBBPOI-UHFFFAOYSA-N 10,10-dioxo-2-[4-(N-phenylanilino)phenyl]thioxanthen-9-one Chemical compound O=C1c2ccccc2S(=O)(=O)c2ccc(cc12)-c1ccc(cc1)N(c1ccccc1)c1ccccc1 FGRBYDKOBBBPOI-UHFFFAOYSA-N 0.000 description 1
- TVEXGJYMHHTVKP-UHFFFAOYSA-N 6-oxabicyclo[3.2.1]oct-3-en-7-one Chemical compound C1C2C(=O)OC1C=CC2 TVEXGJYMHHTVKP-UHFFFAOYSA-N 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- PZTQVMXMKVTIRC-UHFFFAOYSA-L chembl2028348 Chemical compound [Ca+2].[O-]S(=O)(=O)C1=CC(C)=CC=C1N=NC1=C(O)C(C([O-])=O)=CC2=CC=CC=C12 PZTQVMXMKVTIRC-UHFFFAOYSA-L 0.000 description 1
- ONTQJDKFANPPKK-UHFFFAOYSA-L chembl3185981 Chemical compound [Na+].[Na+].CC1=CC(C)=C(S([O-])(=O)=O)C=C1N=NC1=CC(S([O-])(=O)=O)=C(C=CC=C2)C2=C1O ONTQJDKFANPPKK-UHFFFAOYSA-L 0.000 description 1
- 238000000576 coating method Methods 0.000 description 1
- 230000001427 coherent effect Effects 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- VPWFPZBFBFHIIL-UHFFFAOYSA-L disodium 4-[(4-methyl-2-sulfophenyl)diazenyl]-3-oxidonaphthalene-2-carboxylate Chemical compound [Na+].[Na+].[O-]S(=O)(=O)C1=CC(C)=CC=C1N=NC1=C(O)C(C([O-])=O)=CC2=CC=CC=C12 VPWFPZBFBFHIIL-UHFFFAOYSA-L 0.000 description 1
- 238000004374 forensic analysis Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000005065 mining Methods 0.000 description 1
- KXXXUIKPSVVSAW-UHFFFAOYSA-K pyranine Chemical compound [Na+].[Na+].[Na+].C1=C2C(O)=CC(S([O-])(=O)=O)=C(C=C3)C2=C2C3=C(S([O-])(=O)=O)C=C(S([O-])(=O)=O)C2=C1 KXXXUIKPSVVSAW-UHFFFAOYSA-K 0.000 description 1
- -1 rain Substances 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000012163 sequencing technique Methods 0.000 description 1
- 239000000758 substrate Substances 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B30/00—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
- G02B30/20—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes
- G02B30/22—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the stereoscopic type
- G02B30/23—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the stereoscopic type using wavelength separation, e.g. using anaglyph techniques
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/483—Details of pulse systems
- G01S7/486—Receivers
- G01S7/4861—Circuits for detection, sampling, integration or read-out
- G01S7/4863—Detector arrays, e.g. charge-transfer gates
-
- G02B27/2207—
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
- G01N21/1717—Systems in which incident light is modified in accordance with the properties of the material investigated with a modulation of one or more physical properties of the sample during the optical investigation, e.g. electro-reflectance
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
- G01S17/06—Systems determining position data of a target
- G01S17/08—Systems determining position data of a target for measuring distance only
- G01S17/10—Systems determining position data of a target for measuring distance only using transmission of interrupted, pulse-modulated waves
- G01S17/18—Systems determining position data of a target for measuring distance only using transmission of interrupted, pulse-modulated waves wherein range gates are used
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
- G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
- G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/0075—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for altering, e.g. increasing, the depth of field or depth of focus
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/257—Colour aspects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/296—Synchronisation thereof; Control thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/67—Focus control based on electronic image sensor signals
- H04N23/671—Focus control based on electronic image sensor signals in combination with active ranging signals, e.g. using light or sound signals emitted toward objects
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
- G01N2021/1765—Method using an image detector and processing of image signal
- G01N2021/177—Detector of the video camera type
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N2213/00—Details of stereoscopic systems
- H04N2213/005—Aspects relating to the "3D+depth" image format
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Networks & Wireless Communication (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Electromagnetism (AREA)
- Optics & Photonics (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- Biochemistry (AREA)
- General Health & Medical Sciences (AREA)
- Immunology (AREA)
- Pathology (AREA)
- Optical Radar Systems And Details Thereof (AREA)
- Measurement Of Optical Distance (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
정밀 제어되는 광원을 사용하는 능동 펄스 4차원 카메라 시스템은 공간 정보및 인간이 보거나 컴퓨터로 분석된 이미지를 생성한다. 4차원 광학 정보의 획득은 카메라가 움직이고 있거나 촬상, 검출 및 분류되는 물체가 움직이는 이동 애플리케이션에 정확한 이미지 및 공간 정보를 제공하기에 충분한 속도로 수행된다. 실시 예는 처리된 이미지로부터 안개, 눈, 비, 진눈깨비 및 먼지와 같은 이미지 방해 조건의 감소 또는 제거를 허용한다. 실시예들은 주간 또는 야간 조건에서의 구동을 제공하며, 쉐도우 제거와 같은 특징을 갖는 낮 또는 밤의 풀-모션 비디오 캡처에 이용 될 수 있다. 다중 각도 이미지 분석은 광학 반사 특성을 기반으로 물체 및 표면 형상을 분류하고 식별하는 방법으로 개시된다.
Description
본 실시예들은 장면 이미지에서 포인트까지의 거리 측정을 제공하는 카메라들에 관한 것이다. 보다 상세하게는, 본 실시예들은 컬러 및 거리 정보를 제공하는 각 카메라 픽셀과 함께, 넓은 주변 광 조건들의 범위 내에서 장면 및 물체의 이미지가 획득될 수 있는 능동 광 소스 카메라에 관한 것이다.
3차원(3D) 카메라라고 칭하여지는 3차원 광자 이미징 시스템은 장면에서 물리적인 물체에 대한 거리 측정 및 광자 측정을 제공할 수 있다. 이러한 3차원(3D) 카메라의 응용 분야는 산업용 검사, 선택적 로봇 비전, 3D 모델링, 지리학 측량 및 법의학 분석이다.
3D 카메라는 다양한 기술로 구현될 수 있으며, 각 기술들의 조합은 광범위한 사용 분야들에서 카메라를 비효율적으로 만드는 어떤 한계점들을 제시한다. 스테레오 비전 3D 카메라는, 고정식 고도 보정 구조로 2개 이상의 이미징 어레이를 구현하고 각 공통점에 대한 거리를 설정하기 위해 시야 내의 공통점을 삼각 측량으로 이용한다. 스테레오 비전 시스템은, 가려짐 효과(occlusion) 및 시차(parallax)로 인해 이미지 거리가 부정확한 문제가 있다. 또한, 이미지 어레이들 사이의 베이스 라인 측정 거리에 비해 상대적으로 작은 경우, 거리 정확성은 더욱 악화된다. 마지막으로 스테레오 3D 카메라는 다중 이미지 배열이 필요하고 이미지 배열 간의 기본 옵셋에 대해 고정밀도를 요구하기 때문에 고비용의 문제가 있다.
비행 시간(Time-of Flight; TOF) 시스템은 펄스된 또는 변조된 레이저와 같은 광원을 사용하여, 물체에서 반사된 반사광의 진폭 및 타이밍을 측정하기 위한 이미징 시스템과 함께 장면을 조명하기 위한 광 펄스를 제공한다. 장면에서 포인트에 대한 거리는 모든 반사 신호에 대해 알려진 광속을 사용하여 결정된다. TOF 장치용 이미징 시스템은, 일반적으로 CCD 또는 CMOS 기술을 사용하여 제조된 광검출기 어레이를 구비하는 카메라 및 광검출기 소자를 위한 수집 시간을 신속하게 게이팅하는 방법을 포함한다. 반사된 광은 특정 게이팅 사이클 동안 광검출기 소자에 의해 포착된다.
일부 TOF 시스템은 3D 물체 거리를 결정하기 위해 광 펄스와 게이트된 광 검출기 사이의 타이밍 만을 이용한다. 다른 TOF 시스템은 물체 거리를 설정하기 위해 게이트된 캡처 사이클 동안 수신된 광량을 이용한다. 이들 시스템의 정확도는 입사광의 균일도 및 광검출기에 대한 게이팅 메커니즘의 속도에 따라 결정된다.
게이트된 광검출기의 사용은 장면에서 물체까지의 거리를 설정하는 효과적인 방법이다. 입사광 펄스와 게이트 된 광 검출기 사이의 타이밍을 정밀하게 제어함으로써 특정 거리 대역 내의 물체까지의 거리를 정확하게 결정될 수 있다. 다른 거리 대역을 대한 물체 거리를 결정하기 위해, 정지된 물체 및 정지된 카메라가 현재의 구성 및 방향으로 유지되는 동안 순차 광 및 게이트된 광검출기 사이클이 이용된다. 장면에서 카메라 및/또는 물체가 움직이면 서로 등록되지 않은 거리 측정 대역으로 야기될 수 있다.
미국특허 제4,935,616호는 변조된 소스 및 이미징 시스템을 이용한다. 이 시스템의 바람직한 실시예는 CW 레이저를 사용하고 물체에 대한 거리를 설정하기 위해 입사 신호와 반사 신호 사이의 위상차를 이용한다.
또 다른 3D 카메라는 미국특허제 5,002,162호에 개시되어 있다. 상기 시스템은 각 광 검출기 소자에 한 쌍의 게이트들을 사용한다. 물체까지의 거리는 두 개의 게이트된 소자들에서 샘플링된 에너지 간의 차이비로 결정된다.
미국특허 제7,362,419호 및 미국특허 제7,755,743호는 변조된 광세기 소스 및 위상 범위를 이용하여 방출 신호와 검출 신호 사이의 위상 변이를 검출한다. 미국특허 제8,159,598 호의 일 실시예는 비행 시간 결정을 위해 변조된 광세기 및 위상 변이 검출을 이용한다. 미국특허 제8,159,598호의 다른 실시예는, 검출기 또는 검출기 그룹에 대한 3D 정보를 결정하기 위해 저해상도 거리 경로를 갖는 고해상도 컬러 경로를 이용한다.
야하브(Yahav)에게 허여된 미국특허 제8,102,426호는, 칩 상에 3D 비전을 기술하고, 작동 시간에 게이팅되어 장면에서 물체 거리를 설정하는 광 검출기 소자들의 어레이를 이용한다. 광 검출기 사이트는 TOF 거리 측정 또는 물체 색상 결정에 사용된다. 야하브 (Yahav)의 실시예는 광 검출기 소자들의 그룹 또는 무리(band)를 이용하여 다양한 거리 밴드를 설정하는 것을 기술한다. 야하브(Yahav)의 다른 실시 예는 일련의 캡처 사이클을 이용하여 설정된 전체 장면 거리를 갖도록, 각 캡처 사이클을 위한 단일 거리 밴드를 기술한다. 야하브(Yahav)에 명시되지는 않았지만, 실시예에 대한 요구 사항은, 일련의 캡쳐 사이클을 통한 장면 내의 카메라 및 물체의 이동이 없다는 것이다.
자율 차량 네비게이션, 모바일 매핑, 농업, 광업 및 감시와 같은 실제 응용 프로그램의 경우, 이미징 사이클 시퀀스 동안 장면 내의 3D 카메라 및 물체 간에 거의 또는 전혀 상대적인 움직임을 요구하지 않는 것이 실용적이지 않다. 또한, 실제 상황의 대부분은 주변 광 조건이 광범위하게 변하는 장면에서 발생한다. 물체, 카메라 또는 두 가지 모두가 움직이는 일시적인 장면에서, 물체를 정확하게 측정하려면 충분한 속도로 이미지를 캡처하는 3D 카메라를 갖는 것이 바람직하다. 또한, 주간 및 야간 촬영을 위한 정확한 거리 및 색상을 생성하는 능동-광원 3D 카메라를 갖는 것이 바람직하다. 또한, 2차원 카메라의 가시성을 극적으로 제한하는 대기 조건을 "극복"할 수 있는 카메라를 갖는 것이 바람직하다.
본 발명의 실시예들에 있어서, 4차원(4D) 카메라의 광 검출기 어레이는 연속적인 광 펄스와 이에 상응하는 게이트된 검출기 사이클 사이의 차등화된 상대적 타이밍을 갖는 능동 광 펄스 및 게이트 광 검출기 사이클의 빠른 시퀀스를 이용하여 장면으로부터 반사광을 캡쳐링 한다.
실시예들에 있어서, 입사광은 약 400 나노미터 내지 700 나노미터의 에너지 대역에서 전체 스펙트럼 가시광이다. 광 검출기 사이트는 상기 파장대의 방사에 민감하다. 실시예에 있어서, 광 검출기는 원하는 에너지 밴드 이외의 방사를 감소시키거나 제거하기 위해 대역 통과 필터를 사용한다. 대역 통과 필터는 IR 제거 필터의 경우 광범위한 어레이 필터로 적용될 수 있으며, 어레이의 RGB 요소를 설정하기위한 베이어 패턴의 경우, 각 광 검출기에 대한 개별 필터로 적용될 수 있습니다.
일부 실시예에 있어서, 광 검출기 소자는 광 검출기 통합 소자에 결합된 광 다이오드를 이용함으로써, 광 다이오드로부터의 전류가 광 검출기의 게이팅 사이클 동안 수집되거나 집적되는 전하를 생성한다. 광 검출기 통합 단계는 통합된 전하를 시스템의 다음 처리 요소로 신속하게 전송함으로써 비워 짐으로써, 광 검출기 스테이지가 후속 광 검출기 통합 사이클을 위한 통합을 시작할 수 있다.
실시예들에 있어서, 어레이 내의 각각의 광 검출기 사이트는 할당된 전하 전송 스테이지에 연결되고, K 개의 스테이지들 각각은 광 검출기 사이트로부터의 전하들의 신속한 전달을 용이하게 한다. 광 검출기 당 K개의 전하 전송 스테이지를 사용함으로써, 이미징 사이클 당 최대 K개의 게이팅된 이미터/검출기 사이클이 가능하다
실시예들에 있어서, 검출기 어레이 및 전하 이동 사이트는 게이팅 회로 및 전하 전송 제어 회로와 함께 초점면 배열 상에 함께 제조된다. 광 검출기 사이트의 수는 충분히 크고, 다운 스트림 카메라 회로에 대한 초점면 어레이 인터페이스는 고속 전 전송 어레이의 처리량보다 상대적으로 낮은 처리 속도이다.
실시예에 있어서, 검출기 어레이는 게이팅 회로와 함께 초점 평면 어레이 상에 제조된다. 초점 평면 어레이의 신호 인터페이스는 충분히 빠르므로 통합 전하를 전하 전송 어레이의 요구 없이 직접 통합 사이트에서 4D 프레임 버퍼로 직접 전송할 수 있다.
일부 실시예들에 있어서, 4D 카메라 광원은 원하는 주파수 범위에 걸쳐 균일 한 강도를 제공하는 LED와 같은 하나 이상의 요소를 포함한다. 다른 실시예에 있어서, 광원은 LED와 같은 경량 소자의 조합인데, 여기에서 개별적인 조명 요소상의 주파수 응답은 결합하여 원하는 주파수 범위에 걸쳐 균일한 출력 신호를 형성한다
실시예들에 있어서, 카메라는 방출 및 반사된 신호를 감쇠시키는 환경 조건을 검출하고 환경 및 주변 신호로부터 검출된 정보를 이용하여 비감쇠 된 신호 강도, 물체 거리 및 물체 색상을 설정한다.
실시예에 있어서, 광 강도는 주파수 범위 전체에 걸쳐 불균일하다. 불균일 한 광은 이미지 후처리 동안 적용된 색상 보정에 사용하기 위한 변수를 설정하는 것을 특징으로 한다. 실시예에 있어서, 광 강도는 시야 전체에 걸쳐 공간적으로 불균일하다. 불균일 공간 강도는 이미지 후처리 동안 장면 강도 및 색상 조정을 허용하도록 매핑된다.
일부 실시예에 있어서, 광 에너지는 650 nm, 905 nm 또는 1550 nm의 공통 레이저 파장으로서 방출 및 수신된다. 일부 실시예에서, 광 에너지는 자외선(UV) 100-400 nm, 가시광선 400-700 nm, 근적외선(NIR) 700-1400 nm, 적외선(IR) 1400-8000 nm , 장파장 IR(LWIR) 8um-15um, 원거리 IR(FIR) 15um-1000um 또는 테라 헤르츠 0.1mm-1mm의 파장 범위에서 이용될 수 있다.
도 1은, 4D 카메라 구조의 외부도를 도시한다.
도 2는, 시스템의 시야 범위를 정의하는 4D 카메라의 일 특징으로 도시한다.
도 3은 시스템의 주요 전기 소자 및 광학 소자들의 기능 블록 다이이어그램을 도시한다.
도 4는 복수의 4D 이미지 캡쳐 및 처리 사이클을 나타내는 전기적 타이밍 다이어그램을 나타낸다.
도 5는, 각 광 검출기 픽셀이 단일 검출기, 관련 통합 스테이지 및 K개의 전하 전송 스테이지로 구성된 검출기 어레이에 대한 전기적 기능 블록 다이어그램을 도시한다.
도 6은 단일 4D 프레임 버퍼에 대해 수집된 데이터를 구성하는 이미터/검출기 이벤트의 11개 스테이지에 대한 전기적 타이밍 다이어그램을 도시한다.
도 7은 전형적인 16- 스테이지의 검출기 픽셀에 대한 비행 시간(TOF) 범위를 도시하고 모든 통합 스테이지에 관련된 수집된 강도 값을 도시한다.
도 8은 광 경로를 흐리게 하는 안개 상태에서 물체의 이미징을 도시한다.
도 9는 광 경로를 흐리게 하는 안개 상태에서 이미징하기 위한 TOF 범위 및 강도 값을 도시한다.
도 10은 단일 4D 프레임 버퍼에 대한 10 개의 검출기 이벤트에 대한 전기적 타이밍 다이어그램을 도시하며, 최종 스테이지는 더 많은 컬러 정보를 통합하기 위해 시간적으로 확장된다.
도 11은 10개의 스테이지 검출기 픽셀에 대한 TOF 범위를 도시하고 모든 통합 스테이지에 관련된 수집된 강도 값을 도시한다.
도 12a는 50 nSec 이미터 펄스에 대한 광학 타이밍 다이어그램을 도시한다.
도 12b는 동일한 50 nSec 이미터 펄스의 누적 강도에 대한 광학 타이밍 다이어그램을 도시한다.
도 13a는 이상적인 가시 스펙트럼 이미터에 대한 스펙트럼 출력을 도시한다.
도 13b는 전형적인 백색 LED 이미터에 대한 스펙트럼 출력을 도시한다.
도 14a는 백색 LED 이미터들과 함께 적색 LED 및 녹색 LED 이미터들에 대한 스펙트럼 출력을 도시한다.
도 14b는 백색 LED, 녹색 LED 및 적색 LED로 생성된 결합된 신호에 대한 누적 스펙트럼 출력을 도시한다.
도 15는 청색, 적색 및 녹색 이미터에 대한 스펙트럼 출력을 도시한다.
도 16은, 방출광이 차량의 전조등에 의해 발생되고 검출기의 광학 및 전기 구성 소자들이 이미터들로부터 분리된 차량 내부에 수용되는 자동차 구성을 도시한다.
도 17은 자동차 구성에서의 전조등 제어 타이밍을 도시하고, 4D 카메라 회로가 전조등의 제어를 가정한다.
도 18은 물체에 대한 각도 세기 프로파일 분석에 사용하기 위한 이미지 데이터의 수집을 위한 환경을 도시한다.
도 19는 객체를 분류하거나 식별하기 위해 각도 세기 프로파일 분석을 이용하는 알고리즘의 흐름도를 도시한다.
도 20은 낮은 시야성 상태에서 정보를 제공하기 위해 카메라가 사용되는 자동차 구성을 나타낸다.
도 2는, 시스템의 시야 범위를 정의하는 4D 카메라의 일 특징으로 도시한다.
도 3은 시스템의 주요 전기 소자 및 광학 소자들의 기능 블록 다이이어그램을 도시한다.
도 4는 복수의 4D 이미지 캡쳐 및 처리 사이클을 나타내는 전기적 타이밍 다이어그램을 나타낸다.
도 5는, 각 광 검출기 픽셀이 단일 검출기, 관련 통합 스테이지 및 K개의 전하 전송 스테이지로 구성된 검출기 어레이에 대한 전기적 기능 블록 다이어그램을 도시한다.
도 6은 단일 4D 프레임 버퍼에 대해 수집된 데이터를 구성하는 이미터/검출기 이벤트의 11개 스테이지에 대한 전기적 타이밍 다이어그램을 도시한다.
도 7은 전형적인 16- 스테이지의 검출기 픽셀에 대한 비행 시간(TOF) 범위를 도시하고 모든 통합 스테이지에 관련된 수집된 강도 값을 도시한다.
도 8은 광 경로를 흐리게 하는 안개 상태에서 물체의 이미징을 도시한다.
도 9는 광 경로를 흐리게 하는 안개 상태에서 이미징하기 위한 TOF 범위 및 강도 값을 도시한다.
도 10은 단일 4D 프레임 버퍼에 대한 10 개의 검출기 이벤트에 대한 전기적 타이밍 다이어그램을 도시하며, 최종 스테이지는 더 많은 컬러 정보를 통합하기 위해 시간적으로 확장된다.
도 11은 10개의 스테이지 검출기 픽셀에 대한 TOF 범위를 도시하고 모든 통합 스테이지에 관련된 수집된 강도 값을 도시한다.
도 12a는 50 nSec 이미터 펄스에 대한 광학 타이밍 다이어그램을 도시한다.
도 12b는 동일한 50 nSec 이미터 펄스의 누적 강도에 대한 광학 타이밍 다이어그램을 도시한다.
도 13a는 이상적인 가시 스펙트럼 이미터에 대한 스펙트럼 출력을 도시한다.
도 13b는 전형적인 백색 LED 이미터에 대한 스펙트럼 출력을 도시한다.
도 14a는 백색 LED 이미터들과 함께 적색 LED 및 녹색 LED 이미터들에 대한 스펙트럼 출력을 도시한다.
도 14b는 백색 LED, 녹색 LED 및 적색 LED로 생성된 결합된 신호에 대한 누적 스펙트럼 출력을 도시한다.
도 15는 청색, 적색 및 녹색 이미터에 대한 스펙트럼 출력을 도시한다.
도 16은, 방출광이 차량의 전조등에 의해 발생되고 검출기의 광학 및 전기 구성 소자들이 이미터들로부터 분리된 차량 내부에 수용되는 자동차 구성을 도시한다.
도 17은 자동차 구성에서의 전조등 제어 타이밍을 도시하고, 4D 카메라 회로가 전조등의 제어를 가정한다.
도 18은 물체에 대한 각도 세기 프로파일 분석에 사용하기 위한 이미지 데이터의 수집을 위한 환경을 도시한다.
도 19는 객체를 분류하거나 식별하기 위해 각도 세기 프로파일 분석을 이용하는 알고리즘의 흐름도를 도시한다.
도 20은 낮은 시야성 상태에서 정보를 제공하기 위해 카메라가 사용되는 자동차 구성을 나타낸다.
도 1은 4D 카메라(10)에 대한 기계적 구성을 도시한다. 렌즈(20)는 관측 시야(field of view; FOV)로부터의 광을 검출기 어레이 상으로 가이드하고 포커싱하는 하나 이상의 투명한 광학 소자를 포함한다. 대역 통과 필터는, 원하지 않는 주파수 성분을 걸러 내기 위해 렌즈(20) 어셈블리의 일부로서 일반적으로 포함된다. 예를 들어, 이미터를 위하여 905 nm 레이저를 이용하는 4D 카메라(10)는 가시 스펙트럼 및 다른 IR 주파수가 검출기 소자에 전압을 가하는 것으로부터 억제하기 위해 905 nm에서 좁은 대역 통과 필터를 포함할 수 있다. 이미터(30)는 검출기 어레이 및 관련 렌즈 (10)의 관측 시야(FOV)를 포함하는 영역에 걸쳐 분포될 입사광을 제공한다. 이미터(30)로부터 발생하는 광은 "수동" 주변광(passive ambient light)과 구별될 수 있는 "능동"광(active light)이다. 각 이미터들(30)은 관측 시야(FOV) 전체에 걸쳐 광을 적절히 분배하도록 렌즈로 확산될 수 있다. 모든 이미터(30)는 서로 동일한 주파수를 생성 할 수 있거나 또는 각 이미터(30)는 장치(10)의 원하는 스펙트럼 출력의 상이한 밴드를 생성 할 수 있다. 이미터(30)의 펄스는 4D 카메라(10)에 장착 된 전자 부품에 의해 정밀하게 제어된다. 카메라(10)를 위한 기구적 하우징(40)은, 카메라(10)가 부착된 장치 또는 차량에 대한 카메라(10)의 정확한 배향을 가능하게 하는 소자 장착부를 가질 것이다. 전원은 전원 연결부(45)를 통해 4D 카메라(10)에 공급된다. 정보는 통합 전원/통신 케이블(45), 별도의 I/O 케이블 또는 무선 인터페이스를 통해 카메라(10)로/로부터 전송된다.
도 2는 검출기 어레이(50)에 대한 실시예의 광학 구성을 도시한다. 렌즈 (52) 또는 다른 광학 소자들은 검출기 어레이(50)의 관측 시야(56)를 결정한다. 검출기 어레이(50)의 관측 시야(56)의 에지는 소자의 법선 벡터로부터 일정 각도로 정의된다. 상기 동일한 법선 벡터는, 검출된 물체에 대한 후속하여 각도 측정을 위한 기준 벡터의 역할을 한다. 도시된 표면(54)은, 어레이(50)로부터 일정한 거리에있는 검출기 어레이(50)의 관측 시야를 도시한 것이다. 다양한 실시예들에 있어서, 어레이(50) 내의 각 검출기 소자(58)는 관측 시야(56) 내에 다른 각도(60)와 연관된다. 개별 검출기(58)의 관측 시야(62)는 검출기 어레이(50)의 관측 시야(56)의 서브 세트일 것이다. 다른 방식으로, 검출기 어레이(50)의 관측 시야(56)는 모든 개별 관측 시야(62)의 합계이다.
인-포커스 렌즈(52)를 갖는 검출기 어레이(50)에 있어서, 각각의 검출기(58)에 대응하는 개별 관측 시야(62)는 이웃하는 검출기에 대한 시야와 완전히 정렬되어야 한다. 실제로, 렌즈(52)는 완벽하게 초점을 거의 맞출 수 없다. 따라서, 각 검출기(58)의 관측 시야가 검출기 어레이(50)의 임의의 다른 검출기(58)의 그것과 다르더라도, 렌즈 시스템 내의 각각의 검출기(58)의 관측 시야(62)는 일반적으로 중첩 될 수 있다. 검출기 어레이(50)는, 반도체 레이아웃의 제한, 기판 열 고려, 전기적 크로스토크 회피, 또는 다른 레이아웃, 제조 또는 수율 제한으로 인해 이들의 구성에서의 최적의 밀도를 가지지 못할 수도 있다. 이와 같이, 분산된 검출기 어레이(50)는, 연속적인 검출기 소자들(58) 사이에 이용되지 않은 공간과 접촉하는 광자들 때문에 소자의 관측 시야(56) 내에서 광자 검출기 효율에서의 손실을 경험할 수 있다.
비렌즈 시스템에 있어서, 각 검출기(58)의 관측 시야(62)는 회절 격자, 간섭계, 도파관, 2D 마스크, 3D 마스크, 또는 특정 범위 내의 광을 허용하도록 설계된 다양한 다른 개구 구성에 의해 결정될 수 있다. 이들 개별적인 검출기 개구는 전형적으로 장치의 관측 시야(56) 내에 중첩되는 관측 시야(62)를 가질 것이다.
다양한 실시예에 따른 소자들은, 각각의 검출기(58)에 대한 각도(60)를 결정한다. 도 2는, 단일 렌즈(52)를 갖는 검출기 어레이(50)를 도시한다. 다른 실시예는, 각각의 마이크로 렌즈가 장치의 관측 시야(56)에 걸쳐 다양한 각도로 반사광을 투과시키도록 구성되는 각각의 검출기 소자(58)에서 마이크로 렌즈를 사용한다. 다른 실시예는 장치의 관측 시야 전체에서 다양한 각도에서 도파관을 사용한다. 다른 실시예는 간섭계, 회절 격자, 2D 마스크, 3D 마스크로부터 형성된 개구, 또는 다른 개구 형성 구조를 갖는 검출기 소자를 이용함으로써, 장치의 관측 시야를 통해 다양한 각도에서 광가이드 특성을 생성할 수 있다. 도 2와 같이 인-포커스 광을 어레이(50)에 전달할 수 있도록 구비된 렌즈 (52)를 갖는 단일 렌즈(52) 시스템에 대해, 개별적 관측 시야(62)는, 어레이(50)에 인접하는 이웃 검출기(58)의 관측 시야에 필수적으로 이웃한다. 도파관 및 개구 검출기는, 개별 검출기(58)를 위한 중첩되는 관측 시야(62)를 생성할 수 있다. 마이크로 렌즈 또한, 개별 검출기(58)에 대한 중첩된 관측 시야(62)를 생성할 것이다. 이들 모든 중첩하는 관측 시야를 갖는 실시예들은, 본 명세서에 따라 신뢰성 있는 결과를 생성한다. 이들 실시예의 광학 검출 시스템의 특징은, 다수의 검출기 소자가 장치의 관측 시야(56)를 구성하고, 검출기 어레이의 모든 소자는, 검출기 (58)의 관측 시야(62)를 결정하는 각도(60)에 의해 정의된다는 것이다.
변형은 4D 카메라에 사용되는 검출기 어레이(50)의 제조에서 발생할 것이다. 도 2에 도시된 것과 같은 단일 렌즈(52) 검출기 어레이 장치에서, 어레이(50)와 렌즈(52)의 정렬에서의 미세한 차이는 개별 장치들 사이의 검출기 각도의 차이를 야기 할 수있다. 소형 제조 및 장치간 어셈블리 차이로 인해, 각 장치는 사후 생산 특징 프로세스를 거칠 수 있다. 특징 프로세스는 각각의 구성된 검출기 요소에 대한 중심각(60)을 정의한다. 다양한 실시예에 있어서, 상기 프로세스로부터의 특징 데이터는 비휘발성 메모리 또는 모든 장치에 대한 구성 파일에 저장된다. 도파관, 마이크로 렌즈 및 조리개 장치는 각각의 검출기 요소에 대해 각도(60)을 설정하기 위해 유사한 특징화가 필요할 수 있다.
광 경로의 정확한 결정의 중요성 때문에, 인시튜 보정이 다양한 실시예에 따른 장치에 바람직할 수 있다. 일 예로서, 일 실시예에 따른 4D 카메라 장치는 자율 주행 차량의 센서로서 사용될 수 있다. 장치를 보호하기 위해, 리어뷰 미러 뒤의 유리창에 부착되어 승용차 안에 장착될 수 있다. 장치가 차량 앞에서 마주보고 있기 때문에 방출광 및 반사광은 외부 물체로 또는 외부 물체로부터 유리창을 통과하게 된다. 광의 두 성분은 반사, 굴절 및 감쇠로 인해 유리창을 통과할 때 왜곡된다. 상기 자율 주행 차량용 인시튜 보정에 있어서, 4D 카메라는 기설정된 이미팅 보정 패턴을 방출하고, 강도의 측정, 위치 및 각도를 측정하는 소자를 포함한다. 소자 특징화 파라미터는, 보정에 기초하여 방출광 및/또는 반사광의 수정된 광경로를 설명하도록 업데이트 될 것이다.
도 3은 4D 카메라(70)를 위한 전기적 및 광학 소자들을 갖는 실시예에 대한 기능블록 다이이어그램을 도시한다. 광 검출기 어레이(72)는, 특정 주파수에서 광자를 감지하여 광학 에너지를 전기 정보로 변환하는 M 행 × N 열의 소자들의 구성이다. 4D 카메라(70)에 대한 이미지 캡쳐 사이클은 서로 다른 비행시간(TOF) 및 포착에 대한 상이한 거리 범위들을 갖도록 하는 K 개의 연속적인 사이클들 각각에 대해 변화되는 상대적 타이밍을 가지며, 빠른 시퀀스로 생성된 K 개의 연속적인 이미터/검출기 사이클들로 구성될 것이다 사이클. 광 검출기 어레이(72)로부터의 정보는 4D 프레임 버퍼 메모리(74)에 저장된다. 4D 프레임 버퍼 메모리(74)에는, 각각의 이미터/검출기 사이클을 위한 M × N 검출기(72)에 대해 수집된 검출기 정보에 대응하는 K 개의 프레임 버퍼가 있다. 광 검출기(72)로부터의 정보는 전형적으로 아날로그 신호 형태로 수집되어 집적된다. A/D 변환기(76)는, 프레임 버퍼 (74)에 디지털 정보(4D)로 저장되기 전, 검출기(72) 정보를 디지털 포맷으로 변환한다. K 개의 4D 프레임 버퍼 (74) 각각은 M × N × L 비트를 가질 것이며, 여기서 M은 검출기 어레이의 행의 수이며, N은 검출기 어레이 (72) 내의 열의 수이고, L은 각 A/D 변환기(76)에 의해 생성된 픽셀당 비트 수이다. 실시예에서 A/D 변환기 소자(76)의 수는 1 내지 M × N의 범위 일 수 있다. 더 많은 A/D 변환기 소자(76)는 광 검출기 어레이(72)로부터 4D 프레임 버퍼(74)로 더 빠른 전송 또는 정보를 허용한다.
실시예에 있어서, 광 검출기 어레이(72)는 다른 카메라 (70) 회로와 인터페이스하기 위해 전기 접속부(78)를 이용하는 포컬 평면 어레이로서 제조된다. 상기 인터페이스(78)는, 고속 광 검출 소자(72)에 의해 요구되는 것보다 일반적으로 낮은 대역폭을 갖는다. 전하 전송 어레이(80)는, 광 검출기 어레이(72)가 후속하는 이미터/검출기 이벤트를 신속하게 처리 할 수 있는 충분한 속도로 광검출기 어레이(72)로부터 정보를 추출하는 고속 아날로그 저장 소자의 집합이다. 전하 전송 어레이(80)의 크기는 전형적으로 M × N × K 아날로그 저장 소자들이며, 여기서 M은 검출기 어레이 (72)의 행들의 수이고, N은 검출기 어레이 (72)의 열들의 수이고, K는 단일 4D 카메라(70) 이벤트에 대한 4D 캡처 사이클을 구성하는 이미터/검출기 사이클의 수이다.
4D 프레임 버퍼(74)로부터의 정보는 컬러 정보 및 거리 정보에 대해 개별적으로 처리된다. 컨트롤러(82)는 각각의 M × N 픽셀에 대한 비행시간(TOF) 알고리즘으로부터의 거리 값을 계산하고 거리 정보를 깊이 지도(depth map; 84) 메모리에 저장한다. 실시예들에 있어서, 광 검출기 어레이(72)는 베이어 패턴 또는 일부 다른 적-녹-청(RGB) 구성과 같은 컬러 필터 패턴으로 제조된다. 검출기 필터 패턴으로부터의 각 컬러는 장치(70) 메모리에서 대응되는 컬러 평면(86)을 요구할 것이다. 도 3은, 예를 들어 베이어 필터 패턴을 갖는 검출기 어레이의 적색, 녹색 및 청색 평면에 대응하는 컬러 평면 0 내지 2(86)를 도시한다. 컬러 평면(86)의 수는 단색, 그레이 스케일 또는 단일 주파수 애플리케이션 및 IR 및 NIR 애플리케이션을위한 하나 일 수 있다. 컬러 평면(86)의 수는 C로 표시되며, 검출기 어레이(72)의 광학 경로에서 이용되는 상이한 대역 통과 필터의 수에 상응하거나, 단일 검출기로 필터링된 다중-이미터-파장 구성에서 이용되는 개별 이미터 주파수의 수에 대응한다. C 컬러 평면(86) 각각 L 비트의 정보를 각각 갖는 M × N 개의 소자들을 포함한다. 다색 검출기 필터를 갖는 실시예에 있어서, 컨트롤러(82)는 검출기 필터 패턴에 의해 생성 된 스파스 맵(sparse map)으로부터 밀한 컬러 맵을 생성하기 위해 C 컬러 평면(86) 각각에 대해 디모자이킹을 수행 할 수 있다.
컨트롤러(82)는 개별 컬러 평면 (86)을 출력 이미지 포맷으로 어셈블하고 장치 메모리(88)에 결과 파일을 저장한다. 출력 파일은 TIFF, JPEG, BMP 또는 임의의 다른 산업 표준 또는 다른 독점적 포맷과 같은 포맷 일 수 있다. 이미지에 대한 깊이 지도(84) 정보는 이미지 파일에 저장 될 수 있거나 이미지 파일과 관련된 별도의 파일로 생성될 수 있다. 출력 파일(들)의 생성이 완료된 후, 컨트롤로(82)는 I/O (90) 인터페이스를 통해 업스트림 애플리케이션 또는 장치로 정보를 전송한다. 컨트롤러(82)는 이미터(92), 광 검출기(72) 집적, 4D 프레임 버퍼(74)의 컬러(86) 및 깊이(84) 정보로의 변환, 및 장치(70)와 다른 장치의 통신을 위한 시퀀싱 제어 정보를 모두 구성한다. 컨트롤러(82)는 단일 CPU 소자일 수 있거나, 장치(70)에 대한 다양한 제어 기능을 수행하는 마이크로 컨트롤러 및/또는 그래픽 처리 장치(GPU)의 집합일 수 있다.
도 4는 다중 이미지 캡쳐 사이클을 위한 전기 신호 타이밍을 도시한다. 이미터 구동 펄스들(100)의 제1 시퀀스 동안, 카메라 이미터들에 에너지를 공급하는 K 개의 펄스들이 존재한다. 이미터 구동 펄스의 시작 다음의 선택 시간에 K 검출기 통합이 102 사이클 수행된다. 마지막 검출기 집적 사이클(102)이 완료되면, 정보는 검출기 어레이 또는 전하 전송 어레이로부터 4D 프레임 버퍼 (104)로 전송된다. 검출기 어레이 또는 전하 전송 어레이로부터 4D 프레임 버퍼로 MxNxK 세기 값을 전송하는 전송 시간은 전형적으로 이미터/검출기 사이클(100, 102)에 대한 시간보다 훨씬 길다.
4D 프레임 버퍼의 필링이 완료되면, 카메라 컨트롤러는 M × N 깊이 지도(106)를 생성하고 컬러 평면(들)(108)을 생성할 것이다. 카메라가 검출기 어레이상의 다수의 컬러 필터들에 의해 생성 된 다수의 컬러 평면을 카메라가 이용하는 실시예에 있어서, 상기 컨트롤러는 각 희소 색상 평면에 대해 디모자이크 처리를 수행함으로써, 각 색상 평면에 대한 M x N 컬러 값을 생성한다. 컨트롤러는 현재 컬러 이미지에 대한 출력 파일을 생성하고 업스트림 장치 또는 애플리케이션으로의 전송을 위해 파일을 포맷팅할 것이다(110).
4D 카메라의 프레임 속도는 일반적으로 처리 시퀀스에서 가장 긴 동작의 함수이다. 도 4의 실시예에서, 4D 프레임 버퍼(104)의 필링은 포컬 영면 어레이 구조의 일반적인 대역폭 제한으로 인한 가장 긴 동작이다. 4D 프레임 버퍼가 비워지면, 새로운 이미터/검출기 사이클이 시작될 수 있다. 제2 4D 카메라 프레임 사이클을 위한 이미터 구동 펄스(114) 및 검출기 통합 사이클(116)은, 깊이(106) 및 컬러 평면(108)이 이전 카메라 사이클 동안 생성되는 동안 개시된다. 계산 사이클의 이러한 파이프 라이닝은 통상적으로 직렬의 컴퓨팅 이벤트 시퀀스의 처리량을 증가시키는 것으로 당업계에 공지된 기술이다
도 5는 검출기 어레이(120) 소자에 대한 전기적 기능 다이어그램을 나타낸다. 검출기 어레이(120)는 M 개의 행과 N 개의 열의 소자들로 구성된다. 단일 검출기 소자(122)의 기능이 도 5의 상단에 도시되어 있다. 광 검출기(124)는 역 바이어스 구성으로 도시되어 있다. 광 검출기(124)에서의 입사 광자(126)는, 통합 게이트(128)가 게이트 ON 위치에 있을 때 전류가 흐르도록 한다. 상기 게이팅 스위치는, 게이트(128)가 폐쇄되는 시간 동안만 전류가 집적 스테이지(130)로 흐르게 한다. 집적 스테이지 (130)으로 흐르는 전류는 증폭기(134)를 통해 커패시터(132)에 전하를 집적하게 한다. 커패시터(123)는 광 검출기(124)로부터의 전류 흐름으로 인해 전하를 수집하는 임의의 장치를 나타내는 기능 소자이다. 당업자는 실시 예의 구성 요소들을 따르는 한 동일한 기능성 부품으로 게이트 스위치 (128), 통합기(134) 및 커패시터(132)를 대체할 수 있다.
검출기(122)의 통합 사이클 동안, 커패시터(132)에서 수집된 전하의 강도는 통합기(130)의 게이팅 시간 동안 존재하는 입사 광자(126)의 수에 비례한다. 광 검출기(130)의 통합 중, 전하 전송 스위치(136)는 개방 위치로 유지된다. 통합 사이클이 완료되면, 통합 스위치(128)가 개방되고 수집된 전하가 통합기(130) 스테이지에 유지된다. 전하 전송 사이클의 시작 동안, 전하 전송 스테이지 0(138)의 게이트 스위치(136)를 폐쇄함으로써 통합 커패시터(132)로부터 전하 전송 스테이지 0 (138)의 커패시터(138)로 전하가 이동된다. 전하 전송 스테이지 0의 배출 라인에서 다른 게이트 스위치(142)가, 0번째 스테이지(138)로부터 첫 번째 스테이지(144)로 전하의 전송을 가능하게 한다. 0번째 스테이지에 대한 입력 스위치(136) 및 출력 스위치(142)는 동시에 "온"또는 폐쇄 위치에 있지 않으므로, 후속 전하 전송 사이클에서 첫 번째 스테이지로 전송되기 전, 전하가 0번째 스테이지(138)에 전송되어 저장된다. K-1번째 전하 전송 스테이지 (144)은 K 개의 이미터/검출기 사이클에 대한 최종 전하 전송 스테이지을 나타낸다. K-1번째 출력 스위치(148)가 폐쇄 될 때 전하는 K-1번째 스테이지으로부터 4D 프레임 버퍼로 이르는 데이터 버스(146)로 전송된다. K 개의 검출기 통합 사이클 각각의 끝에서, 접지 스위치(149)는 폐쇄되어 광 검출기(124)에서 수집 될 수 있는 과도한 전하를 제거 할 수 있다.
도 6은 K개의 스테이지(여기서, K는 16 임)을 갖는 4D 카메라 이미터/검출기 시퀀스에 대한 첫번째 11개 스테이지들에 대한 전기적 타이밍을 도시한다. 이미터 및 검출기 제어 회로는 t0 (152)에서 시작하는 이미터 클럭(150)으로부터 참조된다. 이미터 구동 펄스(154)는 각각의 이미터 사이클에 대한 이미터 클럭(150)의 4주기 동안 이미터를 활성화시킨다. 검출기 통합(156) 신호는 검출기 어레이 내의 모든 통합 스테이지를 위한 통합 시간을 결정한다. 각 검출기 통합 기간(156)은 본 실시예에 있어서 6개의 이미터 클럭(150) 주기와 동일하다. 이미터 구동 펄스(154) 및 검출기 통합(156)의 시작의 상대적인 타이밍은, 각각의 이미터 검출기 사이클이 장면 내의 물체를 검출할 거리 범위를 결정할 것이다. K 개의 스테이지 중 0번째 스테이지에 대해, t0에서의 이미터 시작 시간과 t0에서의 검출기 통합 시작 간의 오프셋은 제로 이미터 클럭(150) 주기의 최소 비행 시간 (TOF)과 6개의 이미터 클록(150) 주기의 최대 TOF를 야기할 수 있다. 여기서 6개의 주기는 제1 이미터 펄스(158)의 시작 시간 및 제1 검출기 통합 사이클(160)의 완료 시간에 의해 결정된다. 시퀀스의 제2 이미터/검출기 스테이지에 대해, 검출기 통합(156)의 시작(164)은, 이미터 구동 펄스(154)의 시작(162) 이후의 한 개의 이미터 클럭(150)이며, 제2 검출기 집적 회로(156)의 끝(166)은 제2 이미터 구동 펄스(154)의 시작(162) 후 7 개의 이미터 클럭(150) 기간이다. 제2 이미터/검출기 스테이지을 위하여 이미터 및 검출기 신호를 위한 상대적인 타이밍은 1 내지 7 개의 이미터 클럭(150) 주기의 비행 시간(TOF) 범위에 대응한다. K 개 스테이지의 각각에 대한 후속하는 검출기 통합(156) 주기에 대한 상대적인 시작 시간을 증가시킴으로써 개별 비행 시간(TOF) 범위가 누적되어 전체 4D 카메라 캡처 시퀀스의 범위를 정의한다.
검출기 통합(156) 주기의 첫 번째(160) 완료 시, 통합된 전하는 M × N 통합 소자들 각각으로부터 M × N 전하 전송 스테이지 0 소자들 각각으로 전송된다(168). 제2 검출기 통합(156) 주기가 완료된 후, 제2 전하 전송 동작(170)이 수행되어, 스테이지 0에서 스테이지 1로 전하를 전송하고 통합 스테이지으로부터 전하 전송 스테이지 0으로 전하를 전송한다. 검출기 입력(172) 신호는 전하가 M x N 통합 소자의 통합 스테이지에서 수집되는 시간을 나타낸다.
도 7은도 6의 K-스테이지 타이밍 시퀀스에 대응하는 데이터 소자 차트(180)를 도시한다. 여기서, K는 16이며, 이미터 클록 주파수는 80 MHz 이고, 이미터 클록 주기는 12.5 nSec 이다. 제1 열(182)은 16개 스테이지의 스테이지 번호를 나타낸다. 각각의 이미터 사이클은, 시작 시간(start times; 184) 및 종료 시간(end times; 186)이 대표적으로 tx 시간으로 표시된 4 개의 주기이다. 각각의 검출기 통합 사이클은 시작 시간(start times; 188) 및 종료 시간(end times; 190을) 갖는 6 개의 주기들이 그들의 대표적인 tx 시간으로 표시된다. 최소(192) 및 최대(194) 시간을 정의하는 tx 주기의 수로 표시되는, 비행 시간 최소(TOF min.; 192) 및 비행 시간 최대(TOF max.; 194)가, 각각의 K 스테이지에 대한 비행 시간(TOF) 범위를 설정하는 것으로 표시된다. 12.5 nSec의 이미터 클록 주기는 비행 시간(TOF) 최소(tx; 192) 주기를 비행 시간 최소 시간(TOF min.; nSec; 196)으로, 비행 시간 최대(tx; 194) 주기를 비행 시간최대 시간(TOF max.; nSec; 198)으로 변환하는 데 이용된다. 비행 시간(TOF) 및 광속에 대한 공식을 사용하여 각 TOF에 해당하는 거리는 다음과 같이 결정할 수 있다.
수학식 1
거리=(TOF×c)/2
여기서, TOF는 비행 시간이며, c는 매질에서의 광속을 나타낸다.
광속으로서 c = 0.3 m/nSec를 사용하여 최소 거리(Minimum Dist.; m; 200) 및 최대 거리(Maximum Dist.; m; 202) 값들은, 4D 카메라 캡쳐 시퀀스에서 K 스테이지들 각각에 대해 검출된 범위에 대한 하한 및 상한에 대해 설정된다. 강도(Intensity; Hex 204) 열은 K 스테이지 각각에 대한 통합된 강도값의 디지털 16 진수값을 나타낸다. 검출기 어레이 내의 각각의 M × N 개 소자는 K 개 스테이지의 통합된 강도에 대응하는 K 개의 강도값을 가질 것이다. 도 7의 타이밍 파라미터 및 TOF 값은 모든 M x N 개 요소에 대해 동일하지만, 강도값은 M x N 개 검출기 어레이 내의 소자 m, n에 대해서만 유효하다.
강도값(204)의 검토는 0 x 28의 최소값(206) 및 0 x F0의 최대값(208)을 나타낸다. 이들 값은 Imin [m, n] = 0 x 28 및 Imax [m, n] = 0 x F0로 지정된다. 캡처 시퀀스에서 모든 검출기/이미터 스테이지에 대해 일정한 펄스 폭 타이밍을 이용하는 실시예에 있어서, 컬러 평면 버퍼에 삽입 된 강도값은 다음과 같이 결정된다:
수학식 2
Icolor[m, n]= Imin [m, n] - Imax [m, n]
컬러 평면 강도에 관한 수학식 2에 있어서, 주변광의 영향은, 장면이나 물체에 대한 주변광에 의한 강도의 광자 성분인 Imin [m, n]을 소거함으로써 제거된다. 수학식 2는, 광 검출기 통합 응답이 광 검출기에서 입사 광자의 수에 선형 관계를 가질 때 주변광을 제거하기 위한 효과적인 접근법이다. 비선형 광자/전하 수집 관계의 경우, 수학식 2는 입사 광자 (incident photons)와 통합된 전하 강도 사이의 2 차 또는 N 차 관계를 설명하기 위해 수정될 것이다.
멀티 컬러 필터 소자를 이용하는 실시예에 있어서, 각 광 검출기의 경우, Icolor [m, n] 값은 필터의 컬러에 대응하는 컬러 평면에서 m, n 위치에 저장된다. 예로서, 베이어 필터 패턴(RGBG)을 갖는 실시예는 M × N / 2 개의 녹색 필터 검출기, M × N / 4 개의 청색 필터 검출기 및 M × N / 4 개의 적색 필터 검출기를 가질 것이다. K 통합 스테이지, 4D 프레임 버퍼의 필링 및 M x N 개의 색상 값의 결정이 완료되면, 컨트롤러는 적색 평면 메모리의 적절한 위치에 M x N / 4 Ired [m, n] 값을 저장한다. 차례로, 컨트롤러는 청색 평면 메모리의 적절한 위치에 MxN / 4 개의 청색값과 녹색 평면 메모리의 적절한 위치에 있는 MxN / 2 개의 녹색값을 결정하고 저장한다.
다시 도 7을 참조하면, 최대값(208)은 3개의 연속적인 통합 사이클에서 발생하고, 전체 반사된 신호 펄스가 3개의 연속 통합 윈도우로 캡쳐 되었음을 나타낸다. 마지막 최대 강도 스테이지의 최소 거리를 이용함으로써, 컨트롤러는 픽셀 m, n에 대한 물체까지의 거리가 30 미터(m)라고 결정한다. 30 m에 해당하는 값은 깊이 맵 메모리의 m, n 위치에 저장된다. 실제로 최대 강도값은 단일 통합 사이클 중에 만 발생할 수 있다. 이러한 경우, 컨트롤러는 부분 통합 신호를 사용하여 물체 거리를 결정할 수 있다. 실시예들에 있어서, 이미터 펄스 폭 및 검출기 펄스 폭은 전폭 반사 신호를 포함하는 적어도 하나의 최대 강도 통합 사이클이 존재하도록 선택된다. 또한, 연속적인 이미터/검출기 사이클을 위한 시작 시간의 상대적인 옵셋은, 적어도 하나의 통합 사이클이 리딩 에지 클리핑 반사 신호를 포함하고 적어도 하나의 통합 사이클이 트레일링 에지 클리핑 반사 신호를 포함하도록 할 수 있다. 리딩 에지 클리핑(leading-edge-clipped) 및 트레이링 에지 클리핑(trailing-edge-clipped) 통합 사이클에 대한 비행 시간(TOF)는 다음과 같이 결정된다.
수학식 3
수학식 4
여기서, i는 리딩 에지 클리핑 된 신호가 검출된 스테이지다.
j는 트레일링 에지 클리핑 된 신호가 검출된 스테이지이다.
I (i, m, n)는 스테이지 i에서의 픽셀 m, n에 대한 휘도 값이다
I (j, m, n)는 스테이지 j에서의 픽셀 m, n에 대한 휘도 값이다
Imin (m, n)은 현재 이미터/검출기 시퀀스에 대한 최소 강도값 이다
Imax (m, n)는 현재 이미터/검출기 시퀀스에 대한 최대 강도값 이다
TOFmin (i)은 검출기 시퀀스의 스테이지 i에 대한 최소 TOF이다
TOFmax (j)는 검출기 시퀀스의 스테이지 j에 대한 최대 TOF이다.
도 6 및 도 7의 실시예는, 3.075 마이크로초 (246 이미터 클록 주기 × 12.5 nSec /이미터 클록 주기)의 경과 시간을 갖는 이미터 및 검출기 펄스의 K- 사이클 시퀀스를 구현한다. 4D 이미지 사이클을 구성하는 K 이미터/검출기 사이클의 경과 시간은 모션 어플리케이션에서 중요한 변수이다. 모션 이미징을 위한 실시예들의 목적은, 장면과 검출기 사이의 상대 이동을 제1 이미터 사이클의 시작으로부터 마지막 검출기 사이클의 끝까지 0.05 픽셀로 제한하는 것이다. 장면 물체와 검출기 픽셀 간의 상대적인 이동은 다음을 포함하는 변수의 함수이며, 이에 제한되지 않는다.
- 카메라 속도와 방향
- 카메라 이송 속도 및 방향
- 물체 속도와 방향
- 카메라의 시야 범위
- 검출기 어레이의 분해능(resolution)
- 최소 4D 측정 범위
- 최대 4D 측정 범위
지상에 설치된 차량 탑재 및 저고도 항공기 탑재 응용을 위하여,4D 이미징 사이클 시간이 50 마이크로초 보다 길지 않아야 한다. 더 높은 고도에서 고속의 항공기의 경우 4D 이미징 사이클 시간은 10 마이크로초보다 길어서는 안 된다. 당업자는 장면 물체와 카메라 간의 상대적인 움직임이 0.05 픽셀을 초과하는 실시 예를 고안할 수 있다. 이러한 보다 긴-이미지-사이클-시간의 실시예는 검출기 어레이 그리드의 구조 내에 정렬되지 않는 후속 이미터/검출기 스테이지로부터의 정보를 설명하기 위해 내부-샘플 궤도(inter-sample trajectory) 기법을 이용할 것이다.
도 6 및 도 7에서 기술 된 실시예는, 상대적으로 방해 없는 환경에서의 균일 한 펄스 폭에 대한 신호 타이밍 및 통합 강도값을 나타낸다. 센서는 결코 이상적이 아닌 감지 조건을 갖는 환경에서 종종 작동한다. 광학 센서의 경우 입사 또는 반사 신호 감쇄를 유발하는 조건은, 컬러 및 강도값을 결정할 때 및 물체 거리를 결정할 때 추가 고려 사항이 필요하다. 먼지, 비, 안개, 진눈깨비 및 눈과 같은 대기 조건은 광자 방해로 인한 신호 감쇠를 일으킨다.
도 8의 실시예는, 도 6 및 도 7로부터의 신호 타이밍을 이용한다. 도 6 및 도 7과는 대조적으로, 실시예는 각각의 픽셀에 RGB 정보를 이용한다. RGB 정보는 베이어 패턴 또는 검출기 어레이에서의 다른 RGB 마이크로 필터 구성에 의해 생성 될 수 있거나, 또는 적색, 녹색 및 청색 조명이 교번하는 흑백 또는 다른 그레이 스케일 검출기 어레이에 의해 생성될 수 있다. 도 8은 안개(302)를 포함하는 대기 조건에서 도로를 가로지르는 차량(300)을 도시한다. 카메라(306)로부터 물체(308)까지의 광 경로(304)는 안개(302)를 통해 투사되어 도시된다. 점선으로 된 호(dotted arc)는 이미터/검출기 카메라 (306) 시퀀스에서 K = 16 인 K 스테이지의 초기 10 스테이지 각각의 최대 거리의 대략적인 위치를 나타낸다. 스테이지(0)의 최대 거리(310)는 카메라 (306)에 가장 가까운 거리 범위이고, 스테이지(9)의 최대 거리(312)는 물체(308)를 포함하는 범위이다.
도 9는, K = 16, 이미터 클록 주파수가 80 MHz, 이미터 클록 주기가 12.5 nSec 인 K- 스테이지 타이밍 시퀀스에 대응하는 데이터 엘리먼트 차트(314)를 나타낸다. 각각의 스테이지에 대한 통합 강도값은 청색(316), 녹색(318) 및 적색(320) 강도에 대해 도시된다. 카메라가 신호 감쇠 환경에 있기 때문에 각 컬러에 대한 최소 강도값은 감지된 물체을 벗어난 거리 범위의 강도값을 사용하여 결정된다. 스테이지(15)로부터의 강도값을 이용하여, 현재의 시퀀스에서 Imin, red (m, n) = 0x26 (322), Imin, green (m, n) = 0x27 (324), Imin,blue (m, n)= 0x28 (326)로 할당된다.
본 실시예에 대한 이미터 및 검출기 펄스 폭의 선택에 기초하여, 제어 알고리즘은, 강도값이 스테이지(6)에서의 환경 값으로부터 스테이지(12)에서 주변 값으로 전이되도록 설정한다. 또한, 제어 알고리즘은 1 내지 3 스테이지 중 어디에서든지 물체 반사 파형의 100 %를 포함하는 통합 신호를 포함한다. 도 9의 데이터로부터, 알고리즘은 스테이지 9를 반사된 물체 파형의 전체 지속 기간을 포함하는 스테이지로 설정한다. 스테이지 11(328)에 대한 RGB 강도값은 스테이지 12에서 15까지 캡처된 값보다 진폭이 높다. 더 높은 진폭은 스테이지 11(328) 값이 주변 신호와 물체에서 반사된 신호의 조합임을 나타낸다. 또한, 이미터 및 검출기 펄스 폭의 선택된 타이밍으로 인해, 반사 강도값은 트레일링-에지-클립핑된 리턴 신호로부터 생성된 부분 신호 값이다. 스테이지 7(332) 값은 환경 신호와 물체로부터의 반사 신호의 조합이며, 여기서 환경 신호는 감지된 물체와 센서 사이의 환경으로부터의 복귀 신호로서 정의된다. 이미터의 선택 타이밍 및 검출기 펄스 폭으로 인해, 반사 강도값은 리딩 에지 클리핑 리턴 신호로부터 생성된 부분 신호 값이다. 선택 신호 타이밍 및 감지된 강도 값을 이용하여, 선택 스테이지에 대해 획득된 값은 물체에 대한 거리를 설정하고 물체에 대한 컬러 값을 결정하는데 이용된다.
스테이지 번호 환경 신호(%)
물체 신호(%)
주변 신호(%)
6
100
0
0
7
Eo
1-Eo
0
8
본 계산에 이용되지 않음
9
E1
1-E1-A1
A1
10
본 계산에 이용되지 않음
11
0
1-A1
A0
12
0
0
0
수학식 5
I(clr,m,n,s-3) = Ienv(clr,m,n)
수학식 6
I(clr,m,n,s-2) = E0*Ienv(clr,m,n) + (1-E0)Iobj(clr,m,n)
수학식 7
I(clr,m,n,s) = E1*Ienv(clr,m,n) + (1-E1-A1)Iobj(clr,m,n) + A1*Iamb(clr,m,n)
수학식 8
I(clr,m,n,s+2) = A0*Iamb(clr,m,n) + (1-A0)Iobj(clr,m,n)
수학식 9
I(clr,m,n,s+3) = Iamb(clr,m,n)
수학식 10
E0 = E1 + (2*temitter-clock-cycle)/D
수학식 11
A1 = A0 + (2*temitter-clock-cycle)/D
여기서 s는 반사 된 신호가 100 % 인 검출기 스테이지의 스테이지 번호 식별자 이다.
clr은 픽셀의 컬러 이다.
m, n은 어레이에 있어서 픽셀의 식별자 이다.
Ienv ()는 환경 신호가 100 % 인 스테이지에서의 감지 강도 이다.
Iamb ()은 주변 신호가 100 % 인 스테이지에서의 감지 강도 이다.
Iobj ()는 물체의 계산 된 강도 이다.
E0는 환경 신호로 기인한 스테이지 s-2 강도의 백분율 이다.
E1은 환경 신호로 기인한 스테이지 s의 강도의 백분율 이다.
A0는 주변 신호로 인한 스테이지 s+2의 강도의 백분율 이다.
A1은 주변 신호로 인한 스테이지 s+2 강도 이다.
temitter-clock-cycle은 이미터 클록의 주기 이다.
D는 시퀀스의 스테이지에 대한 이미터/검출기의 듀티 사이클(duty cycle)이며, 이미터-펄스 폭을 스테이지의 검출기-펄스 폭으로 나눈 값으로 정의된다.
5개 미지수(Iobj(), E0, E1, A0 및 A1)를 갖는 5개의 방정식 (수학식 6, 7, 8, 10 및 11)을 이용하여, 제어 알고리즘은 각각의 컬러 및 각 픽셀에 대해 Iobj()를 결정하고, 계산된 강도 값을 컬러 프레임 버퍼의 적절한 위치에 할당한다. 물체까지의 거리는 TOF는, 수학식 7에 기초한 물체에 비행 시간(TOF)를 계산하여 결정된다:
수학식 12
TOF (clr, m, n) = TOFmin (clr, m, n, s) + E1 * tdetector-pulse-width (s)
여기서, TOF ()는 특정 픽셀에 대한 비행 시간이다.
TOFmin (s)는 스테이지 s의 최소 비행 시간이다.
E1은 환경 신호로 기인한 스테이지 s의 강도 백분율이다.
tdetector-pulse-width (s)는 스테이지 s에 대한 검출기 펄스의 폭이다.
수학식 5 내지 12의 스테이지 s의 식별은, 각 스테이지의 이미터 펄스 폭 및 각 스테이지의 검출기 펄스 폭에 대한 정보에 따른다. 알려진 펄스 폭은 듀티 사이클을 결정하고, 각 픽셀의 환경 신호에서 주변 신호로의 전이와 관련된 스테이지의 수를 결정한다. 수학식 5 내지 12는, 이미터 펄스가 검출기 펄스보다 지속 시간이 짧은 실시예에 적용 가능하다. 이미터 펄스가 검출기 펄스보다 긴 경우, 수학식 7은 E1 또는 A1이 0과 같아지도록 계산한다. 결과적으로 두 개의 미지수가 더 있는 두 개의 방정식이 물체의 강도 값을 계산하는 데 필요하다. 첫 번째 추가 방정식은 측정된 스테이지 강도의 함수로서 두 개의 새로운 미지수 (A2 및 E2)를 기술하고, 두 번째 추가 방정식은 스테이지 듀티 사이클의 함수로 A2 및 E2를 기술한다.
다양한 실시예에 있어서, 신호 감쇠를 평가하는 기술을 이용하는 것은 최소 5 개의 이미터/검출기 사이클, 즉 환경 검출 된 신호가 결정되는 1 사이클, 능동 펄스 신호의 리딩 에지 검출 신호를 포함하는 1 사이클, 능동 펄스 신호의 검출 신호의 하나의 풀-이미터-사이클(full-emitter-cycle), 트레일링 에지 검출 신호를 포함하는 1 사이클, 주변 검출 신호를 포함하는 1 사이클을 이용한다. 타이밍, 시야 범위, 거리, 주변 및 환경 조건에 따라, 이들 실시예와 관련하여 설명된 바와 같이 신호 감쇠를 평가하기 위한 기술을 이용하기 위해 필요한 정보를 얻기 위하여 추가적인 이미터/검출기 사이클이 필요할 수 있다.
균일한 이미터 펄스를 위하여, 수학식 3 및 수학식 4는 각 픽셀 m, n에 대해 TOF에 대해 동일한 값을 생성할 것이다. 신호 노이즈 및 주변광의 영향으로 인하여, 더 높은 통합 강도값을 기반으로 한 TOF 값이 낮은 통합 강도값보다 높은 정확도의 거리 계산을 생성한다. 실시예에 있어서, 컨트롤러는 수학식 3 또는 4로부터오직 하나의 값만을 이용하여, 픽셀에 대한 TOF를 설정하고, 바람직한 TOF 값이 최대 크기의 통합 강도값을 이용하는 식으로부터 선택된다.
4D 카메라에서 멀리 이격되어는 물체는 카메라에 가까운 물체보다 이미터로부터의 적은 광을 수광한다. 결과적으로 멀리 이격된 물체로부터의 반사 신호는 더 가까운 물체의 반사 신호보다 낮은 강도를 갖게 된다. 보다 낮은 강도의 리턴 신호를 보상하는 한 가지 방법은 이미터 펄스 폭을 증가시키고 검출기 통합 시간을 증가시켜 주어진 물체 거리에 대한 통합된 신호의 세기를 증가시키는 것이다. 도 10은 이미터/검출기 시퀀스에서 10 개의 스테이지를 이용하는 실시 예에 대한 전기적 타이밍을 도시한다. 모든 이미터 펄스가 일정한 길이이고 모든 검출기 통합 사이클이 일정한 길이인 선행 실시예와는 달리, 본 실시예는 꾸준히 증가하는 이미터 펄스 주기 및 검출기 통합 주기를 이용한다.
스테이지 0은 4주기 이미터 사이클(210) 및 6주기 검출기 통합 사이클(212)을 갖는다. 스테이지 1은 5주기 이미터 사이클(214)을 갖고 7주기 검출기 통합 사이클(216)을 갖는다. 스테이지 9는 매우 긴 이미터 펄스(218) 및 상응하는 긴 검출기 통합 사이클(220)을 포함한다. 이 특별하게 긴 이미터/검출기 사이클은 거리 결정을 위해 사용될 수 없지만, 카메라 이미터의 파장에서 매우 역반사적이지 않은 물체에 대한 정확한 컬러 값을 확보하는데 사용된다 .
도 11은 도 10의 타이밍 시퀀스에 대응하는 TOF 범위를 갖는 데이터 테이블(230)을 도시한다. 스테이지 0 내지 스테이지 8은 각각의 M × N 픽셀에 대한 깊이 맵에 대한 값을 결정하는데 사용된다. 스테이지 9는 개별 컬러 평면에 대한 Icolor [m, n] 값을 결정하는 데 사용된다.
이전의 실시예에 있어서, TOF를 통해 계산된 물체까지의 거리는 다중주기 검출기 통합 사이클에 의해 설정된 거리 범위에 의존했다. TOF 거리 측정에 대해 더 높은 정밀도를 확보하는 것이 바람직 할 수 있다. 도 12a는 50 nSec 이미터 펄스에 대한 가능한 강도 곡선(240)을 도시한다. 곡선(240)은 턴-오프(244) 시간 (tOFF)보다 느린 턴-온(242) 시간 (tON)을 가지며 최대값(246)을 가진다. 통합 검출기 값의 최대 강도는 곡선(240) 하에서 면적에 비례한다. 도 12b의 248은 동일한 이미터 펄스에 대한 누적 통합 강도 대 시간을 보여줍니다. 수학식 13 및 수학식 14의 위하여, 도 12b로부터의 정보는 f (t)로 표현되며, 여기서 최대 강도값의 백분율로 표시되는 누적 강도값은 시간의 함수이다. 누적 강도 곡선을 사용하는 K 스테이지 시퀀스의 부분 강도값의 경우, 리딩 에지 클리핑(leading-edge-clipped) 및 트레일링 에지 클리핑(trailing-edge-clipped) 통합 주기에 대한 TOF는 다음과 같이 결정된다.
수학식 13
수학식 14
여기서 i는 리딩 에지 클리핑 신호가 감지되는 스테이지이다.
j는 트레일링 에지 클리핑 신호가 감지되는 스테이지이다.
I (i, m, n)은 스테이지 i에서의 픽셀 m, n에 대한 강도값이다
I (j, m, n)은 스테이지 j에서의 픽셀 m, n에 대한 강도값이다
Imin (m, n)은 현재 이미터/검출기 시퀀스에 대한 최소 강도값이다
Imax (m, n)는 현재 이미터 / 검출기 시퀀스에 대한 최대 강도값이다
TOFmin (i)은 검출기 시퀀스의 스테이지 i에 대한 최소 TOF이다
TOFmax (j)는 검출기 시퀀스의 스테이지 j에 대한 최대 TOF이다.
실제로, f(t)는 누적 강도와 시간 사이의 비선형 또는 고차원 관계일 수 있다. 이와 같이, 역함수 f-1(t)은 룩업 테이블 또는 몇몇 다른 수치 변환 함수로서 실시예에서 구현 될 수 있다.
도 13a는 이상적인 백색(완전한 가시 스펙트럼) 이미터에 대한 스펙트럼 출력(250)을 도시한다. 출력 에너지는 400 나노미터에서 700 나노미터 범위에서 최대 강도(252)이다. 도 13b는 LED 기반 백색 이미터에 대한 스펙트럼 출력(254)을 나타낸다. 상기 곡선은 약 430 나노미터 근처에서의 피크 강도(256), 약 520 나노미터 근처에서의 다소 낮은 강도(258), 및 660 나노미터 주위에서의 실질적으로 낮은 강도(260)를 보여준다. 요구 사항은 아니지만, 실시예에서는 4D 카메라 광원에 대해보다 균일한 스펙트럼 출력을 갖는 것이 바람직하다. 도 14a는 3개의 LED 유형에 대한 스펙트럼 출력(262)을 도시한다. 백색(264), 녹색(266) 및 적색(268) 응답 곡선은 강도값이 서로 정규화된 상태로 도시되어 있다. 세 가지 컬러 구성 LED가 결합되어 원하는 스펙트럼 범위의 장치 전반에 걸쳐보다 균일한 누적 이미터 응답을 생성한다. 여기서 기술된 바와 같은 "결합"의 작용은, 동시에 스위치 온 될 때, 출력 스펙트럼 응답에 대해 원하는 누적 효과를 생성하는 이미터 구성을 갖는 이미터 어레이를 선택적으로 증대시키는 것을 의미한다. 도 14b는 도 14a에 도시된 3개의 LED 이미터 응답으로부터의 결합 신호의 스펙트럼 출력(270)을 도시한다.
실시예들에 있어서, 분리된 컬러 평면들에 대한 강도 결정은 필터링되지 않은 검출기 어레이 및 멀티 컬러 이미터들의 선택적 사용을 통해 달성된다. 도 15는 RGB 구성에서 이용되는 LED에 대한 스펙트럼 출력을 도시한다. 이미터/검출기 사이클이 청색(272) LED를 이용할 때 청색 평면에 대한 정보가 생성되고, 이미터/검출기 사이클이 녹색(274) LED를 이용할 때 녹색 평면에 대한 정보가 생성되고, 이미터/검출기 사이클은 적색(276) LED를 사용할 때 적생 평면에 대한 정보가 생성된다. 필터링되지 않은 검출기 어레이 또는 광대역 통과 필터 어레이 및 별도의 파장 대역으로부터의 이미터를 이용하는 실시예는, 단일 파장 이미터 검출기 스테이지 또는 다중 파장 이미터/검출기 스테이지로서 이미터/검출기 스테이지를 배치할 수있다. 하기 표 1의 예는 K = 12 인 K-사이클 시퀀스에 대한 다수의 이미터/검출기 스테이지를 도시하며, 각 이미터 파장은 라운드-로빈 방식으로 이용된다.
표 1 - 단일 K- 스테이지 시퀀스 내의 라운드 로빈 이미터
| 스테이지 번호 | 이미터 (s) | 이미터/검출기 옵셋 |
| 0 | 적색 | 0 |
| 1 | 녹색 | 0 |
| 2 | 청색 | 0 |
| 3 | 적색 | 1 |
| 4 | 녹색 | 1 |
| 5 | 청색 | 1 |
| 6 | 적색 | 2 |
| 7 | 녹색 | 2 |
| 8 | 청색 | 2 |
| 9 | 적색 | 3 |
| 10 | 녹색 | 3 |
| 11 | 청색 | 3 |
하기 표 2의 예는 K = 12 인 K- 스테이지 시퀀스에 대한 다수의 이미터/검출기 스테이지를 도시하며, 각 이미터 파장은 K/3 개의 순차 스테이지에 이용된다.
표 2 - 단일 K- 스테이지 시퀀스 내의 순차 이미터 이벤트
| 스테이지 번호 | 이미터 (s) | 이미터/검출기 옵셋 |
| 0 | 적색 | 0 |
| 1 | 적색 | 1 |
| 2 | 적색 | 2 |
| 3 | 적색 | 3 |
| 4 | 녹색 | 0 |
| 5 | 녹색 | 1 |
| 6 | 녹색 | 2 |
| 7 | 녹색 | 3 |
| 8 | 청색 | 0 |
| 9 | 청색 | 1 |
| 10 | 청색 | 2 |
| 11 | 청색 | 3 |
K = 12 인 K- 스테이지 시퀀스는 단일 파장 이미터에 할당 될 수 있으며, 후속하는 K- 스테이지 시퀀스는 아래 표 3에 기술된 것처럼 라운드 로빈 방식으로 다른 파장에 할당된다.
표 3 - 별도의 K- 스테이지 시퀀스에서의 순차 이미터 이벤트
| 사이클 번호 | 이벤트 번호 | 이미터 (s) | 이미터/검출기 옵셋 |
| 0 | 0 | 적색 | 0 |
| 0 | 1 | 적색 | 1 |
| 0 | 2 | 적색 | 2 |
| 0 | 3 | 적색 | 3 |
| 0 | 4 | 적색 | 4 |
| 0 | 5 | 적색 | 5 |
| 0 | 6 | 적색 | 6 |
| 0 | 7 | 적색 | 7 |
| 0 | 8 | 적색 | 8 |
| 0 | 9 | 적색 | 9 |
| 0 | 10 | 적색 | 10 |
| 0 | 11 | 적색 | 11 |
| 1 | 0 | 녹색 | 0 |
| 1 | 1 | 녹색 | 1 |
| 1 | 2 | 녹색 | 2 |
| 1 | 3 | 녹색 | 3 |
| 1 | 4 | 녹색 | 4 |
| 1 | 5 | 녹색 | 5 |
| 1 | 6 | 녹색 | 6 |
| 1 | 7 | 녹색 | 7 |
| 1 | 8 | 녹색 | 8 |
| 1 | 9 | 녹색 | 9 |
| 1 | 10 | 녹색 | 10 |
| 1 | 11 | 녹색 | 11 |
| 2 | 0 | 청색 | 0 |
| 2 | 1 | 청색 | 1 |
| 2 | 2 | 청색 | 2 |
| 2 | 3 | 청색 | 3 |
| 2 | 4 | 청색 | 4 |
| 2 | 5 | 청색 | 5 |
| 2 | 6 | 청색 | 6 |
| 2 | 7 | 청색 | 7 |
| 2 | 8 | 청색 | 8 |
| 2 | 9 | 청색 | 9 |
| 2 | 10 | 청색 | 10 |
| 2 | 11 | 청색 | 11 |
개별 검출기 필터를 이용하는 실시예는 다중 컬러 검출 신호를 달성하기 위해 개별 파장 이미터를 이용하는 실시예에 비해 특정 장점 및 단점을 가질 것이다. 하기 표 4는 실시 예의 상대적인 이점을 비교한다.
표 4 - 가시 스펙트럼 실시예에 대한 검출기 필터 기술의 비교
| Det. Filter | 이미터 | R의 개수 | G의 개수 | B의 개수 | 장점 |
| RGBS | 400-700 nm | M×N/4 | M×N/2 | M×N/4 | 범위/정밀도 |
| 없음 | RGB | M×N | M×N | M×N | 공간 해상도 |
도 16은 차량 전조등(282, 284)이 카메라(280)에 대한 조명 기능을 수행하는 실시예를 도시한다. 이미터(전조등)(282, 284) 및 검출기 제어는 전조등 제어 회로, 카메라(280), 전자 제어 모듈(ECM) 또는 방출기 이벤트와 감지기 이벤트 사이에서 제어 가능한 타이밍을 보장 할 수 있는 다른 온-보드 위치에 배치될 수 있다.
도 17은 이미터 조명을 위해 차량 전조등을 이용하는 분산 카메라 시스템을위한 전기 타이밍 구성을 도시한다. 전조등은 비이미징 시간 동안에는 전자 제어 모듈(ECM)로, 이미징 시간 동안에는 카메라에 의해 제어된다. 전자 제어 모듈(ECM) 제어(286) 신호는, 전자 제어 모듈(ECM)이 전조등의 온/오프 상태를 제어하는 시간을 특정하며, 카메라 제어(288) 신호는, 카메라가 이미터(전조등)를 제어할 시기를 특정한다. 이미터 구동 펄스(290) 및 검출기 통합(292)은, 카메라 제어(288)가 전조등을 제어하는 동안에만 발생하는 것으로 도시된다. 전조등 출력(294)은 카메라 제어(288) 동안 및 전자 제어 모듈(ECM) 제어(286)중 온 상태에서 다수의 온/오프 상태에서 전조등을 도시한다.
인모션 이미징 응용 프로그램은 여러 시점 및 더 중요하게는 여러 각도에서 물체를 이미징하는 이점이 있다. 물리적인 물체는 빛을 반사하는 특성을 가지며, 제대로 감지되면 물체를 카테고리화 하고, 물체와 물체의 표면 특성을 고유하게 식별하기 위해 응용할 수 있다. 도 18은 카메라(342)의 시야 범위 내에 물체(344)가있는 도로 상에 카메라(342)를 갖는 차량(340)을 도시한다. 물체(344)를 포함하는 일차 이미지가 카메라(342)에 의하여 캡쳐링 될 때의 차량(340)의 초기 위치이기 때문에 차량(340)의 위치는 T0에서 특정된다. 차량(340)의 후속 위치는 T1(346), T2(348) 및 T3(350)에 도시된다. 물체(344)는 다른 물체와 구별 가능한 표면을 가지므로, 물체(344)는 물체 (344)에 대해 상이한 위치들 및 방향들로부터 얻어진 이미지들에서 식별되고 분석 될 수 있다.
도 19는 환경 내의 물체 포인트에 대한 다중 각도 정보를 얻기 위한 카메라 처리 알고리즘의 단계들의 흐름도를 도시한다. 루프 카운터는 처리되고 분석되는 각 객체에 사용된다. 루프 카운터 값(n)은 각 물체 프로세스의 시작에서 n = 0 (360)을 지정하여 초기화된다. 이미지 분석 소프트웨어는, 각도 세기 프로파일 분석을 사용하여 물체를 식별하는데 가능한 사용을 위해 분석될 물체(362)의 표면상의 포인트(P0)을 식별한다. 포인트(P0)는 물체의 표면에 있기 때문에 알고리즘은 포인트(P0)에서의 표면(364)에 대한 법선 벡터 θN(n)을 계산한다. 법선 벡터를 설정하면 처리 알고리즘은 장면 기하(scene geometry)를 이용하여 θR(n), 센서의 광 경로와 포인트(P0)에서의 물체에 대한 법선 벡터 사이의 상대 각도(366)를 계산한다. 포인트(P0)에 대한 각도 강도 정보는 각도 응답 프로파일 메모리(368)에, 포인트(P0)의 샘플 n에 대한 세기, 거리 및 상대 각도를 특정하는 Icolor(n), d(n), θR(n)의 데이터 성분으로서 저장된다. 검출기 필터 어레이 및/또는 이미터 어레이에 대해 다수의 컬러를 이용하는 실시예에 있어서, 각각의 샘플 n은 각 컬러에 대한 개별 응답 프로파일 메모리 엔트리를 가질 것이다.
n=0에 대한 처리가 완료되면, 처리 알고리즘은 시퀀스의 다음 이미지(370)를 얻는다. 이미지는 분석되어 포인트(P0)가 이미지에 존재하는지를 결정한다(372). 포인트(P0)가 존재하면, 루프 카운터는 증가되고(374), 알고리즘은 법선 벡터 결정 단계(364)로 진행한다. 포인트(P0)가 존재하지 않으면 알고리즘은 각도 강도 특성에 기초하여 물체를 식별하기에 충분한 포인트들이 있는지 여부를 결정한다(376). 최소 요구 사항이 충족되지 않으면 알고리즘은 물체를 식별하지 않고 종료한다(384). 최소 요구 조건이 충족되면, 알고리즘은 n개의 모든 포인트에 대해 결정된 강도 정보에 대한 각 컬러에 대한 3D 공간에 플롯을 생성한다(378). 알고리즘은 수집된 각도 강도 프로파일을 라이브러리에 저장된 기준 특성 프로파일과 비교하여 대상을 정의한다. 특성 프로파일이 라이브러리로부터 검색되고(380), 상관은 각각의 특성 프로파일 및 포인트(P0) 프로파일에 대해 결정된다(382). 포인트(P0)에 가장 높은 상관 관계를 갖는 특성 프로파일은 포인트(P0)로 표시되는 물체에 대한 물체 유형, 클래스 또는 피쳐를 결정하는 데 사용된다.
도 19의 알고리즘은 단일 포인트(P0)에 대해 설명한다. 실시간 물체 분석을 위해 알고리즘은 일반적으로 이미지 스트림의 여러 포인트(Px)에 대해 동시에 실행된다. 특성적인 각도 강도 프로파일 분석의 결과는 전형적으로 추후 처리 및/또는 분석을 위해 업스트림 애플리케이션으로 전달되거나, 다른 장치 또는 애플리케이션으로 전송될 이미지 또는 깊이 맵 정보를 갖는 출력 데이터 스트림에 패키징된다. 도 19의 알고리즘은, 임계 값 테스트를 이용하여 객체를 식별하기 위한 충분한 정보가 수집되는지를 결정한다. 다른 테스트가 가능하며 특성 프로파일의 정보를 기반으로 활용된다. 예를 들어, 완전성 검사는 포인트(P0)에 대한 θR(n) 값의 범위를 분석할 수 있다. 값의 범위가 너무 좁으면, 알고리즘은 물체를 고유하게 특성화하기 위한 불충분한 정보로 인해 포인트(P0)를 버릴 수 있다. 다른 경우에, P0에 대한 θR(n)의 값은 너무 커서 특성 프로파일과 상관하지 않을 수 있다. 임계값 검사의 일부로 θR(n) 진폭 검사를 포함하면, 알고리즘이 특성 프로파일 상관 관계에서 신뢰할 수 있는 결과를 산출하지 못하는 프로파일을 폐기할 수 있다.
실제로, 특징적인 각도 세기 프로파일의 라이브러리는 수백 또는 수천 개의 프로파일을 포함할 것이다. 모든 프로파일에 대해 실시간으로 상관 관계를 수행하는 것은 계산적으로 집중적인 작업이다. 보다 다루기 쉬운 크기로 문제를 해석하는 방법으로 장치의 분석 기능이 이미지 분석을 수행하여 감지된 물체를 분류할 수 있다. 일단 분류되면 감지된 물체의 각도 강도 프로파일을 식별된 물체 클래스와 연관된 라이브러리 프로파일과 비교할 수 있다. 예를 들어, 차량 탑재 애플리케이션의 이미지 분석 기능은 착색, 평탄도, 이동 방향에 대한 방향 등과 같은 특성을 기반으로 도로 표면을 식별할 수 있다. 포인트(P0)에 대한 프로파일이 도로 표면 포인트로서 분류되면, 알고리즘은 도로 표면 특성으로 분류된 라이브러리의 특성 프로파일에만 액세스할 수 있다. 일부 도로 표면 특성 프로파일은 다음을 포함하지만 이에 국한되지는 않습니다 :
아스팔트 - 평활도 A
아스팔트 - 평활도 B
아스팔트 - 평활도 C
표면 습기가 있는 아스팔트
표면 얼음이 있는 아스팔트
콘크리트 - 평활도 A
콘크리트 - 평탄도 B
콘크리트 - 평활도 C
표면 습기가 있는 콘크리트
표면 얼음이 있는 콘크리트
도로 표지와 같은 물체는 프로파일 라이브러리에서 분리될 수 있는 또 다른 프로파일 클래스이다. 일부 도로 표지판 특성 프로파일에는 다음이 포함될 수 있지만 이에 국한되지는 않다.
ASTM 유형 I
ASTM 유형 III
ASTM 유형 IV - 제조사 A
ASTM 유형 IV - 제조사 M
ASTM 유형 IV - 제조자 N
ASTM 유형 VIII - 제조사 A
ASTM 유형 VIII - 제조사 M
ASTM 유형 IX - 제조사 A
ASTM 유형 IX - 제조사 M
ASTM 유형 XI - 제조사 A
ASTM 유형 XI - 제조사 M
특성 프로파일 알고리즘은, 특성 프로파일을 비교하고 포인트(P0)로 표시되는 물체에 대해 가장 대표적인 특성 프로파일을 선택하는 수단으로 상관을 특정한다. 본 기술 분야에 속하는 통상의 지식을 가진 자는 포인트(P0)에 의해 나타내지는 물체에 대해 수집되고 분석된 정보에 기초하여 가장 대표적인 특성 프로파일을 선택하기 위해 다른 방법을 고안하거나 이용할 수 있다.
도 20은 차량(400)의 승객 컴파트먼트 내부로부터 시야를 도시한다. 조향휠(402)이, 본 실시예들은 조향휠(402) 없이 자율 주행 차량에 이용 될 수 있지만, 도시되어 있다. 차량(400) 외부의 환경 조건(414)은 안개비, 눈, 진눈깨비, 먼지와 같은 현상으로 인해 낮은 시인성을 생성한다. 이와 다르게 또는 부가적으로, 전면 유리(404) 및 후면창(미도시)과 같은 투시 요소는 차량(400) 내부로부터 외부 조건(414)의 시야를 제한하는 표면 불규칙성 또는 코팅을 가질 수 있다. 전방향 카메라(406)는 후방 미러(408) 근처의 윈드 실드(404) 뒤의 차량(400) 내부에 장착되어 전방-투영 뷰를 제공한다. 전방향 카메라(406) 제어 시스템은 낮은 시인성에 대한 환경 조건을 검출하고 이미지(410)를 윈드 실드(404) 또는 다른 헤드업 디스플레이 피쳐(412)에 투사(412)하여 시감도가 낮은 환경에서 물체를 방해받지 않고 관찰할 수있게한다.
후방 미러(408)는 차량(400)의 후방 또는 후방 윈도우를 통해 돌출된 차량(400)의 내부에 장착된 후방 대향 방위(rear-facing orientation) 인 후방 대향 카메라(미도시)로부터 장애물없는 시야를 표시한다. 차량(400)의 측에 대한 환경적 방해(416)는 사이드 미러(418)의 피쳐와 연동된다. 후방 경사각 카메라(420)는 방해된 환경 조건(416)을 검출하고 차량(400) 운전자에 의한 사용을 위해 비방해 이미지(422)를 거울 상에 투영한다. 이와 다르게 또는 부가적으로, 비방해 이미지 (422)는 자율 또는 반자동 구동 시스템을 위해 차량 제어 시스템에 전달된다. 사이드 미러 상의 표시기(424)는 특정 공간 내의 물체의 존재를 나타내며, 따라서 차선 변경과 같은 기동에서 차량(400) 운전자를 보조한다.
다른 실시예들에 있어서, 프로세싱 시스템은 기능들 또는 기능들의 세트를 자율적으로 수행하도록 구성, 프로그래밍, 구성 또는 달리 적응되는 다양한 엔진들을 포함 할 수 있다. 본 명세서에서 사용되는 엔진이라는 용어는 예를 들어 주문형 집적 회로(ASIC) 또는 필드 프로그래머블 게이트 어레이(FPGA)와 같은 하드웨어를 사용하여 구현되는 실제 장치, 구성 요소 또는 구성 요소의 배열로 정의되거나, (실행되는 동안) 마이크로 프로세서 또는 컨트롤러 시스템을 특수 목적 장치로 변환시키는 특정 기능성을 구현하도록 엔진을 적응시키는 마이크로 프로세서 시스템 및 프로그램 명령 세트와 같은 하드웨어 및 소프트웨어의 조합으로서 구현 될 수있다. 엔진은 두 가지의 조합으로 구현 될 수도 있다. 특정 기능은 하드웨어만으로 쉽게 구현되고, 다른 기능은 하드웨어와 소프트웨어의 조합으로 촉진된다. 소정의 구현 예에 있어서, 엔진의 적어도 일부분 및 일부 경우에, 모두는 운영 체제, 시스템 프로그램, 및 시스템을 실행하는 하드웨어로 구성된 하나 이상의 컴퓨팅 플랫폼의 프로세서(들) 상에서 실행될 수 있다. 또는 애플리케이션 프로그램을 실행하는 동시에 멀티 태스킹, 멀티 스레딩, 적절한 경우 분산 처리 또는 기타 이러한 기술을 사용하여 엔진을 구현할 수 있다.
따라서, 각 처리 시스템은 다양한 물리적으로 실현 가능한 구성으로 실현 될 수 있으며, 이러한 제한이 명시 적으로 부르면 않는 한, 일반적으로 본 명세서에 예시 된 임의의 특정 구현으로 제한되지 않아야 함을 이해할 것이다. 또한 처리 시스템 자체는 하나 이상의 엔진, 하위 엔진 또는 하위 처리 시스템으로 구성 될 수 있으며 각 시스템은 자체 처리 시스템으로 간주 될 수 있다. 또한, 여기에 설명 된 실시 예들에서, 다양한 프로세싱 시스템들 각각은 정의 된 자율적 인 기능성에 대응할 수있다; 그러나, 다른 고려되는 실시 예들에서, 각 기능성은 둘 이상의 처리 시스템에 분배 될 수 있음을 이해해야한다. 마찬가지로, 다른 고려되는 실시 예들에서, 다수의 정의 된 기능들은 그러한 다수의 기능들을, 가능하게는 다른 기능들과 함께 수행하거나, 본 명세서의 실시 예들에서 구체적으로 도시 된 것보다 프로세싱 시스템의 세트 사이에서 상이하게 분산 된 단일 프로세싱 시스템에 의해 구현 될 수있다.
실시예들은 장치 및/또는 장면의 상대적인 움직임이 검출기 어레이에서의 요소 간 간격보다 작은 움직임으로서 정의 될 수 있는 고속 성분 및 회로를 이용한다. 상대 이동이 작은 실시예에 있어서, 처리 소프트웨어는 3D 체적 계산의 축이 어레이의 검출기 요소에 대해 수직임을 추정될 수있다. 이미터 사이클의 시간 프레임 동안 검출기 어레이의 요소 간 간격보다 큰 상대 이동의 경우, 프레임 버퍼 분석 소프트웨어는 샘플링된 파형의 3D 분석을 수행하여, 표현이 검출기에 비수직 인 축을 가질 필요가 있다.
실시예들에 따른 전기 회로는 반도체 명명법을 이용하여 설명된다. 광학 컴퓨팅을 이용하는 다른 실시 예 회로 및 제어 로직에서, 양자 컴퓨팅 또는 유사한 소형 스케일 러블 컴퓨팅 플랫폼은 여기에 기술된 시스템의 필요한 고속 로직, 디지털 스토리지 및 컴퓨팅 측면의 일부 또는 전부를 수행하는데 사용될 수 있다. 광학 이미터 소자는 제조 된 반도체 LED 및 레이저 다이오드 명명법을 이용하여 설명된다. 다른 실시예에 있어서, 여기서 개시된 다양한 기술에 대한 요구 사항은 방출 된 광자의 출력 주파수가 알려 지거나 특성이 있으며, 논리 소자로 제어 가능하고, 충분한 스위칭 속도를 갖는 임의의 제어 가능한 광자 방출 소자의 사용으로 달성 될 수있다.
일부 실시예에 있어서, 광 에너지 또는 광 패킷은 650 nm, 905 nm 또는 1,550 nm의 공통 레이저 파장과 같은 거의 평행하고, 일관된 또는 광각 전자기 에너지로서 방출 및 수신된다. 일부 실시예에 있어서, 광 에너지는 자외선(UV) 100-400 nm, 가시광선 400-700 nm, 근적외선(NIR) 700-1400 nm, 적외선(IR) 1400-8000 , 장파장 IR(LWIR) 8um-15um, 원거리 IR(FIR) 15um-1000um, 또는 테라 헤르츠 0.1mm-1mm 이다. 다양한 실시 예들은 이러한 다양한 파장에서 증가된 장치 해상도, 더 높은 유효 샘플링 속도 및 증가 된 장치 범위를 제공 할 수 있다.
다양한 실시예에서 이용되는 검출기(detector)는 광학 에너지를 전기 에너지로 변환하는 개별 소자 또는 초점 평면 어레이를 지칭한다. 본원에 정의된 검출기는 가이거 모드 바이어싱에서 또는 그 부근에서 동작하는 PIN 포토 다이오드, 애벌 런치 포토 다이오드, 포토 다이오드의 형태 또는 광학적 에너지를 전기 에너지로 변환하는 임의의 다른 디바이스의 형태를 취할 수 있으며, 이에 따라 디바이스의 전기적 출력은 타겟 광자들이 검출기의 표면에 충격을 주는 속도와 관련된다.
관련 기술 분야의 당업자는 실시예가 상술 한 임의의 개별 실시 예에서 도시 된 것보다 적은 특징을 포함 할 수 있음을 인식 할 것이다. 여기에 기술 된 실시 예들은 실시 예의 다양한 특징들이 결합 될 수 있는 방식의 철저한 표현을 의미하지는 않는다. 따라서, 실시예들은 특징들의 상호 배타적인 조합이 아니다; 오히려, 실시예는 당업자에 의해 이해되는 바와 같이 상이한 개별적인 실시 예로부터 선택된 상이한 개별적인 특징의 조합을 포함 할 수 있다. 게다가, 일 실시예와 관련하여 설명 된 구성 요소는 달리 언급되지 않는 한 그러한 실시 예에서 기술되지 않더라도 다른 실시 예에서 구현 될 수 있다. 종속 청구항은 청구 범위에서 하나 이상의 다른 청구 범위와의 특정 조합을 지칭 할 수 있지만, 다른 실시예는 종속 청구 범위와 각각의 다른 종속 또는 독립 청구항의 주제 또는 하나 이상의 특징의 다른 것과의 조합을 포함할 수 있다. 특정 조합이 의도되지 않는다고 명시되지 않는 한, 그러한 조합을 제안한다. 또한, 비록이 청구항이 독립 청구항에 직접적으로 종속되지 않는다고 하더라도, 다른 독립 청구항에 청구항의 특징을 포함하고자한다.
상기 문서의 참조에 의한 임의의 편입은 본 명세서의 명시적인 개시에 위배되는 주제가 편입되지 않도록 제한된다. 상기 문서의 참조에 의한 임의의 통합은 문서에 포함 된 청구항이 본 명세서에서 참조로 포함되지 않도록 추가로 제한된다. 상기 문서의 참조에 의한 임의의 편입은, 본 명세서에 명시 적으로 포함되지 않는 한, 문서에 제공된 임의의 정의가 참조로서 통합되지 않도록, 더 제한된다.
청구 범위를 해석할 목적으로 미국 연방법 35조제112항제6항이 청구항에 기재된 "수단"또는 "단계"가 기재되어 있지 않는 한, 적용해서는 안 된다.
Claims (26)
- 장면에 관한 정보를 획득하기 위한 능동 펄스 4차원(4D) 카메라 시스템으로서,
장면의 시야(field of view) 전체에 걸쳐 정의된 주파수 범위 내에서 광을 발생시키고 방출하도록 구성된 적어도 하나의 이미터; -상기 방출된 광은 펄스들의 능동 시퀀스임-
상기 어레이의 시야에 대해 정의된 주파수 범위 내에서 수광하도록 구비된 검출기 어레이; -상기 장면의 시야는 상기 어레이의 시야에 의하여 정의되고, 상기 어레이에서의 각 검출기는 상기 어레이의 시야의 서로 다른 서브셋(subset)에 해당하는 개별 시야를 가지며-
상기 적어도 하나의 이미터 및 상기 검출기 어레이에 동작 가능하게 결합되고, 상기 적어도 하나의 이미터가 제1 시간에 상기 펄스들의 능동 시퀀스를 방출하도록 시작하고 상기 검출기 어레이가 이미터/검출기 사이클에서 상기 제1 시간 이후의 제2 시간에서 상기 펄스들의 능동 시퀀스를 방출하도록 시작하도록 구비된 제어 회로; - 상기 제어 회로는 K개의 연속적인 이미터/검출기 사이클에서 상기 제1 시간과 상기 제2 시간 사이의 경과 시간을 변화시키도록 구성되며, 여기서 K는 4보다 크고, K개의 연속적인 이미터/검출기 사이클의 경과 시간은 50 마이크로초 미만임- 및
상기 검출기 어레이 및 상기 제어 회로에 작동 가능하게 결합된 프로세싱 시스템; - 상기 프로세싱 시스템은,
상기 검출기 어레이 내에서의 각 검출기에 의하여 수신된 광에 대응되는 디지털 정보를 생성하고 저장하도록 구비되고- 여기서, 검출기 어레이에서의 각 검출기를 위한 상기 디지털 정보는 K 개의 이미터/검출기 사이클 중 하나에 대응하는 K개의 프레임 버퍼들 중 하나에 샘플링되고 저장되며-; 및
상기 K 개의 프레임 버퍼들 중 서로 다른 것들에 의하여 수신된 펄스 시퀀스에 대응되는 상기 디지털 정보의 비행 시간(time-of-flight; TOF) 및 상기 K개의 이미터/검출기 사이클의 펄스 시퀀스의 상대적인 타이밍 차이에 적어도 부분적으로 기초하여 각각의 검출기에 대한 디지털 정보를 분석하고 상기 장면의 적어도 일부의 표현을 구성하도록 구비된 것
을 포함하는 능동 펄스된 4차원(4D) 카메라 시스템. - 제1항에 있어서, 상기 프로세싱 시스템은 상기 장면의 적어도 일부의 표현의 일부로서 복수의 검출기에 대응하는 TOF 데이터에 기초한 깊이 맵을 구성하도록 구비된 것을 특징으로 하는 능동 펄스된 4차원(4D) 카메라 시스템.
- 제1항에 있어서, 상기 프로세싱 시스템은 장면의 적어도 일부의 이미지를 출력하도록 추가로 구비된 것을 특징으로 하는 능동 펄스된 4차원(4D) 카메라 시스템.
- 제1항에 있어서, 상기 프로세싱 시스템은 상기 K개의 프레임 버퍼 중 서로 다른 것으로부터 컬러 정보에 관한 디지털 정보를 분석함으로써 상기 표현을 구성하도록 구비된 것을 특징으로 하는 능동 펄스된 4차원(4D) 카메라 시스템.
- 제1항에 있어서, 상기 이미터는, 적어도 하나의 발광 다이오드(LED)를 포함하는 것을 특징으로 하는 능동 펄스된 4차원(4D) 카메라 시스템.
- 제5항에 있어서, 상기 이미터는 복수의 컬러 구성을 갖는 복수의 발광 다이오드(LED)를 포함하는 것을 특징으로 하는 능동 펄스된 4차원(4D) 카메라 시스템.
- 제1항에 있어서, 상기 이미터는 적어도 하나의 차량 전조등을 포함하는 것을 특징으로 하는 능동 펄스된 4차원(4D) 카메라 시스템.
- 제1항에 있어서, 상기 적어도 하나의 이미터의 상기 정의된 주파수 범위는, 100 nm 내지 400 nm; 400 nm 내지 700 nm; 7 nm 내지 1400 nm; 1400 nm 내지 8000 nm; 8 ㎛ 내지 15 ㎛; 15 ㎛ 내지 1000 ㎛; 0.1 mm 내지 1 mm가 이루는 그룹으로부터 선택된 것을 특징으로 하는 능동 펄스된 4차원(4D) 카메라 시스템.
- 제1항에 있어서, 상기 이미터는 대역 통과 필터를 포함함으로써, 상기 정의된 주파수 범위 밖의 수신된 광을 제거하도록 구비된 것을 특징으로 하는 능동 펄스된 4차원(4D) 카메라 시스템.
- 제1항에 있어서, 상기 검출기 어레이는 주변 광으로부터 구분되도록 K개의 펄스의 능동 시퀀스와 관련된 반사광을 수신하도록 구비된 것을 특징으로 하는 능동 펄스된 4차원(4D) 카메라 시스템.
- 제1항에 있어서, 상기 방출된 광은 상기 정의된 주파수 범위 내에 불균일한 것을 특징으로 하는 능동 펄스된 4차원(4D) 카메라 시스템.
- 제1항에 있어서, 상기 검출기 어레이 내의 각각의 검출기는 포토 다이오드 및 검출기 통합 회로를 포함하며, 상기 포토 다이오드는 상기 이미터/검출기 사이클 동안 수광할 때 상기 검출기 통합 회로에 전하를 전달하도록 구성되는 것을 특징으로 하는 능동 펄스된 4차원(4D) 카메라 시스템.
- 제12항에 있어서, 상기 검출기 어레이 내의 각 검출기를 위한 검출기 통합 회로는, 제2 이미터/검출기 사이클이 K개의 연속적인 이미터/검출기 사이클에서 시작하기 전, 제1 이미터/검출기 사이클로부터 상기 검출기에 대한 상기 K개의 프레임 버퍼 중 하나로 상기 전하를 전송하도록 구비된 것을 특징으로 하는 능동 펄스된 4차원(4D) 카메라 시스템.
- 제1항에 있어서, 상기 각 검출기의 상기 개별 시야는 픽셀을 구성하는 것을 특징으로 하는 능동 펄스된 4차원(4D) 카메라 시스템.
- 제1항에 있어서, 인접하는 검출기들의 상기 개별 시야는 부분적으로 중첩되는 것을 특징으로 하는 능동 펄스된 4차원(4D) 카메라 시스템.
- 제1항에 있어서, 상기 프로세싱 회로는 방출된 광 또는 상기 검출기들의 어레이에 의해 수신된 광 중 적어도 하나의 감쇠를 검출하여, 상기 표시를 구성하는 데 있어서 감쇠의 효과를 감소시키도록 추가적으로 구비된 것을 특징으로 하는 능동 펄스된 4차원(4D) 카메라 시스템.
- 제1항에 있어서, 상기 프로세싱 회로는 상기 K개의 연속적인 이미터/검출기 사이클 중 연속적인 펄스의 시퀀스에 대한 상기 제1 시간을 변화시킴으로써 상기 경과 시간을 변경시키도록 구비된 것을 특징으로 하는 능동 펄스된 4차원(4D) 카메라 시스템.
- 제1항에 있어서, 상기 검출기 어레이는 컬러 필터링을 위한 바이어 패턴을 이용하는 것을 특징으로 하는 능동 펄스된 4차원(4D) 카메라 시스템.
- 제1항에 있어서, 상기 컬러 평면의 상기 디지털 정보는 디모자이싱에 의하여 소한 컬러 맵에서 밀한 컬러 맵으로 변환되는 것을 특징으로 하는 능동 펄스된 4차원(4D) 카메라 시스템.
- 능동 펄스 4차원 (4D) 카메라 시스템을 사용하여 장면에 관한 정보를 획득하는 방법으로서,
상기 장면의 시야 전체에 걸쳐 정의된 주파수 범위 내에서의 광 펄스의 능동 시퀀스로서 4D 카메라 시스템으로부터 광을 방출하는 단계;
상기 발광 개시로부터 제1 경과 시간 후, 상기 시야에 대해 상기 정의된 주파수 범위 내에 상기 4D 카메라 시스템에 의해 광을 검출하는 단계;
상기 검출된 광을 디지털 정보로 변환하는 단계; 및
상기 디지털 정보를 상기 4D 카메라 시스템의 K 개의 프레임 버퍼 중 하나에 저장하는 단계를 포함하고,
연속적인 사이클 내에서 방출들 사이에 제2 경과 시간을 갖는 K 개의 연속적인 사이클들에 대해 발광, 검출, 변환 및 저장을 반복하는 단계; - 상기 제1 경과 시간 및 상기 제2 경과 시간은 상기 K개의 연속적인 사이클들 각각마다 변하고, 상기 K는 4보다 큼- 및
상기 K 개의 프레임 버퍼들 중 다른 것에 의해 수신된 펄스 시퀀스에 대응되는 디지털 정보에서의 비행 시간(TOF) 데이터 및 상기 K개의 연속 사이클 각각의 펄스 시퀀스의 상대적인 타이밍 차이에 적어도 부분적으로 기초하여, 상기 K 프레임 버퍼들에 저장된 디지털 정보를 분석하고 상기 장면의 적어도 일부의 디지털 표시를 구성하는 단계를 포함하는 방법. - 제20항에 있어서, 거리 정보에 관한 상기 K 개의 프레임 버퍼 내의 디지털 정보를 분석함으로써 상기 4D 카메라 시스템과 장면의 적어도 일부 사이의 거리에 관한 깊이 맵을 구성하는 단계를 더 포함하는 것을 특징으로 하는 방법.
- 제20항에 있어서, 상기 적어도 장면의 일부에 관한 이미지를 출력하는 단계를 더 포함하는 것을 특징으로 하는 방법.
- 제20항에 있어서, 상기 장면의 적어도 일부분에 대하여 디지털 표시를 구성하는 단계는 컬러 정보에 대한 K 개의 연속 사이클로부터의 상기 디지털 정보를 분석하는 단계를 포함하는 것을 특징으로 하는 방법.
- 제20항에 있어서, 상기 K개의 연속 사이클의 하나를 변환하는 단계는, 상기 K개의 연속 사이클 중 후속하는 것의 발광이 시작되기 전에 완료되는 것을 특징으로 하는 방법.
- 제20항에 있어서, 상기 방출된 광 또는 상기 4D 카메라 시스템에 의해 검출된 광 중 적어도 하나의 감쇠를 검출하는 단계; 및
상기 디지털 표시를 구성하는데 있어서 검출된 감쇠의 영향을 감소시키는 단계를 더 포함하는 것을 특징으로 하는 방법. - 장면에 관한 정보를 획득하기 위한 능동 펄스된 4차원(4D) 카메라 시스템으로서,
상기 장면 전체에 걸쳐 복수의 능동 광 펄스를 K개의 연속 사이클로 방출하도록 구비된 적어도 하나의 이미터; -상기 K개의 연속 사이클 중 하나의 시작 및 상기 K개의 연속 사이클 중 다음 것의 시작 사이의 시간이 상기 K 연속 사이클 전체에 걸쳐 변함-
상기 K개의 연속 사이클 각각에서 방출된 능동 광 펄스와 관련된 반사광을 수신하도록 구비된 검출기 어레이; -상기 광 펄스를 방출하는 시작 및 반사광을 수신하는 시작 사이의 시간이 상기 K 연속 사이클 전체에 걸쳐 변함-
상기 검출기 어레이에 의하여 수신된 반사광과 관련된 디지털 정보를 저장하도록 구비된 복수의 버퍼들;
상기 복수의 버퍼들에 동작 가능하게 결합된 프로세싱 시스템; - 상기 프로세싱 시스템은,
상기 K개의 연속 사이클에 걸쳐 변화하는, 상기 K 연속 사이클 중 하나의 시작과 K 연속 사이클 중 다음 것의 시작 사이의 시간에 적어도 부분적으로 기초하여 상기 디지털 정보를 분석하여 상기 장면에 대한 거리 정보 및 컬러 정보를 결정하고,
상기 결정된 거리 정보 및 결정된 컬러 정보에 기초하여 상기 장면의 디지털 표시를 구성하도록 구비됨-
을 포함하는 능동 펄스된 4차원(4D) 카메라 시스템.
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US15/059,811 | 2016-03-03 | ||
| US15/059,811 US9866816B2 (en) | 2016-03-03 | 2016-03-03 | Methods and apparatus for an active pulsed 4D camera for image acquisition and analysis |
| PCT/US2017/019852 WO2017151561A1 (en) | 2016-03-03 | 2017-02-28 | Methods and apparatus for an active pulsed 4d camera for image acquisition and analysis |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20190009276A true KR20190009276A (ko) | 2019-01-28 |
Family
ID=59722927
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020187028761A KR20190009276A (ko) | 2016-03-03 | 2017-02-28 | 이미지 획득 및 분석을 위한 능동 펄스 4d 카메라용 방법 및 장치 |
Country Status (6)
| Country | Link |
|---|---|
| US (9) | US9866816B2 (ko) |
| JP (1) | JP6835879B2 (ko) |
| KR (1) | KR20190009276A (ko) |
| CN (1) | CN109313345B (ko) |
| DE (1) | DE112017001112T5 (ko) |
| WO (1) | WO2017151561A1 (ko) |
Families Citing this family (45)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10203399B2 (en) | 2013-11-12 | 2019-02-12 | Big Sky Financial Corporation | Methods and apparatus for array based LiDAR systems with reduced interference |
| US9360554B2 (en) | 2014-04-11 | 2016-06-07 | Facet Technology Corp. | Methods and apparatus for object detection and identification in a multiple detector lidar array |
| US10036801B2 (en) | 2015-03-05 | 2018-07-31 | Big Sky Financial Corporation | Methods and apparatus for increased precision and improved range in a multiple detector LiDAR array |
| US9866816B2 (en) * | 2016-03-03 | 2018-01-09 | 4D Intellectual Properties, Llc | Methods and apparatus for an active pulsed 4D camera for image acquisition and analysis |
| US20180341009A1 (en) | 2016-06-23 | 2018-11-29 | Apple Inc. | Multi-range time of flight sensing |
| CN110268283B (zh) * | 2016-11-16 | 2023-09-01 | 应诺维思科技有限公司 | 激光雷达系统和方法 |
| DE102017101945A1 (de) * | 2017-02-01 | 2018-08-02 | Osram Opto Semiconductors Gmbh | Messanordnung mit einem optischen Sender und einem optischen Empfänger |
| US10830879B2 (en) | 2017-06-29 | 2020-11-10 | Apple Inc. | Time-of-flight depth mapping with parallax compensation |
| US10955552B2 (en) | 2017-09-27 | 2021-03-23 | Apple Inc. | Waveform design for a LiDAR system with closely-spaced pulses |
| JP6960827B2 (ja) * | 2017-11-08 | 2021-11-05 | フォルシアクラリオン・エレクトロニクス株式会社 | 路面領域検出装置 |
| WO2019125349A1 (en) | 2017-12-18 | 2019-06-27 | Montrose Laboratories Llc | Time-of-flight sensing using an addressable array of emitters |
| US11978754B2 (en) | 2018-02-13 | 2024-05-07 | Sense Photonics, Inc. | High quantum efficiency Geiger-mode avalanche diodes including high sensitivity photon mixing structures and arrays thereof |
| EP3732501A4 (en) * | 2018-02-13 | 2021-08-25 | Sense Photonics, Inc. | PROCESSES AND SYSTEMS FOR HIGH-RESOLUTION FLASH LIDAR WITH LARGE RANGE |
| US10958830B2 (en) | 2018-05-24 | 2021-03-23 | Magna Electronics Inc. | Vehicle vision system with infrared LED synchronization |
| US10591601B2 (en) * | 2018-07-10 | 2020-03-17 | Luminar Technologies, Inc. | Camera-gated lidar system |
| WO2020023489A1 (en) * | 2018-07-24 | 2020-01-30 | Sense Photonics, Inc. | Phase noise and methods of correction in multi-frequency mode lidar |
| US11001979B2 (en) | 2018-08-13 | 2021-05-11 | Vergence Automation, Inc. | Methods and apparatus for ultrawide entrance angle reflective articles for use with autonomous vehicle machine vision systems |
| WO2020037197A1 (en) * | 2018-08-16 | 2020-02-20 | Sense Photonics, Inc. | Integrated lidar image-sensor devices and systems and related methods of operation |
| EP3614174B1 (en) * | 2018-08-21 | 2021-06-23 | Omron Corporation | Distance measuring device and distance measuring method |
| WO2020045770A1 (en) * | 2018-08-31 | 2020-03-05 | Samsung Electronics Co., Ltd. | Method and device for obtaining 3d images |
| US11762133B1 (en) | 2018-09-13 | 2023-09-19 | Vergence Automation, Inc. | Retroreflective materials and articles incorporating near-ideal total internal retroreflective elements |
| US10732285B2 (en) | 2018-09-26 | 2020-08-04 | Qualcomm Incorporated | Multi-phase active light depth system |
| US20210373164A1 (en) * | 2018-10-04 | 2021-12-02 | Iris-Gmbh Infrared & Intelligent Sensors | Imaging sensor |
| JP7369921B2 (ja) * | 2018-12-10 | 2023-10-27 | 株式会社小糸製作所 | 物体識別システム、演算処理装置、自動車、車両用灯具、分類器の学習方法 |
| CN118033607A (zh) * | 2018-12-12 | 2024-05-14 | 美国亚德诺半导体公司 | 飞行时间深度成像系统的内置校准 |
| KR102604902B1 (ko) | 2019-02-11 | 2023-11-21 | 애플 인크. | 펄스형 빔들의 희소 어레이를 사용하는 깊이 감지 |
| DE102019001336A1 (de) | 2019-02-25 | 2019-07-25 | Daimler Ag | Vorrichtung zur Erfassung eines Fahrtzielbereichs |
| CN109982063B (zh) * | 2019-03-20 | 2020-11-27 | 信利光电股份有限公司 | 一种tof深度相机的aa方法及装置 |
| WO2020198134A1 (en) * | 2019-03-22 | 2020-10-01 | Vergence Automation, Inc. | Lighting-invariant sensor system for object detection, recognition, and assessment |
| US11500094B2 (en) | 2019-06-10 | 2022-11-15 | Apple Inc. | Selection of pulse repetition intervals for sensing time of flight |
| US20200397277A1 (en) | 2019-06-20 | 2020-12-24 | Ethicon Llc | Videostroboscopy of vocal cords with a hyperspectral, fluorescence, and laser mapping imaging system |
| US11555900B1 (en) | 2019-07-17 | 2023-01-17 | Apple Inc. | LiDAR system with enhanced area coverage |
| WO2021060397A1 (ja) * | 2019-09-26 | 2021-04-01 | 株式会社小糸製作所 | ゲーティングカメラ、自動車、車両用灯具、画像処理装置、画像処理方法 |
| US20210109205A1 (en) * | 2019-10-15 | 2021-04-15 | Cepton Technologies, Inc. | Dynamic calibration of lidar sensors |
| US11514594B2 (en) | 2019-10-30 | 2022-11-29 | Vergence Automation, Inc. | Composite imaging systems using a focal plane array with in-pixel analog storage elements |
| US11733359B2 (en) | 2019-12-03 | 2023-08-22 | Apple Inc. | Configurable array of single-photon detectors |
| DE102020202823A1 (de) | 2020-03-05 | 2021-09-09 | OSRAM Opto Semiconductors Gesellschaft mit beschränkter Haftung | Optoelektronische vorrichtung und verfahren zur ermittlung der verteilung eines stoffs in einer probe |
| US20210303003A1 (en) * | 2020-03-27 | 2021-09-30 | Edgar Emilio Morales Delgado | System and method for light-based guidance of autonomous vehicles |
| TWI759213B (zh) * | 2020-07-10 | 2022-03-21 | 大陸商廣州印芯半導體技術有限公司 | 光感測器及其感測方法 |
| KR20220010885A (ko) * | 2020-07-20 | 2022-01-27 | 에스케이하이닉스 주식회사 | ToF 센서를 이용한 모션 인식 장치 및 이의 동작 방법 |
| US20220035035A1 (en) * | 2020-07-31 | 2022-02-03 | Beijing Voyager Technology Co., Ltd. | Low cost range estimation techniques for saturation in lidar |
| US11528407B2 (en) * | 2020-12-15 | 2022-12-13 | Stmicroelectronics Sa | Methods and devices to identify focal objects |
| US11681028B2 (en) | 2021-07-18 | 2023-06-20 | Apple Inc. | Close-range measurement of time of flight using parallax shift |
| US11922606B2 (en) | 2021-10-04 | 2024-03-05 | Samsung Electronics Co., Ltd. | Multipass interference correction and material recognition based on patterned illumination without frame rate loss |
| CN115578295B (zh) * | 2022-11-17 | 2023-04-07 | 中国科学技术大学 | 一种视频去雨方法、系统、设备及存储介质 |
Family Cites Families (394)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US1743835A (en) | 1923-07-09 | 1930-01-14 | Jonathan C Stimson | Reflecting device |
| US5026156A (en) | 1972-07-24 | 1991-06-25 | Martin Marietta Corporation | Method and system for pulse interval modulation |
| US3971065A (en) | 1975-03-05 | 1976-07-20 | Eastman Kodak Company | Color imaging array |
| US4145112A (en) | 1977-07-14 | 1979-03-20 | Minnesota Mining And Manufacturing Company | Low-profile raised retroreflective sheeting |
| US4185891A (en) | 1977-11-30 | 1980-01-29 | Grumman Aerospace Corporation | Laser diode collimation optics |
| US4663756A (en) | 1985-08-29 | 1987-05-05 | Sperry Corporation | Multiple-use priority network |
| US5122796A (en) | 1986-02-19 | 1992-06-16 | Auto-Sense, Limited | Object detection method and apparatus emplying electro-optics |
| US4739398A (en) | 1986-05-02 | 1988-04-19 | Control Data Corporation | Method, apparatus and system for recognizing broadcast segments |
| US5090245A (en) | 1986-05-02 | 1992-02-25 | Anderson Forrest L | Three dimensional imaging device using filtered ellipsoidal backprojection |
| FR2677834B1 (fr) | 1986-09-16 | 1993-12-31 | Thomson Csf | Systeme d'imagerie laser a barrette detectrice. |
| US5081530A (en) | 1987-06-26 | 1992-01-14 | Antonio Medina | Three dimensional camera and range finder |
| JP2896782B2 (ja) | 1988-12-30 | 1999-05-31 | 株式会社トプコン | パルス方式の光波距離計 |
| JPH0744313B2 (ja) | 1989-02-24 | 1995-05-15 | 日本電信電話株式会社 | 半導体レーザ装置 |
| US4935616A (en) | 1989-08-14 | 1990-06-19 | The United States Of America As Represented By The Department Of Energy | Range imaging laser radar |
| US5006721A (en) | 1990-03-23 | 1991-04-09 | Perceptron, Inc. | Lidar scanning system |
| US5354983A (en) | 1990-04-10 | 1994-10-11 | Auto-Sense, Limited | Object detector utilizing a threshold detection distance and suppression means for detecting the presence of a motor vehicle |
| US5675326A (en) | 1990-04-11 | 1997-10-07 | Auto-Sense, Ltd. | Method of determining optimal detection beam locations using reflective feature mapping |
| US5212706A (en) | 1991-12-03 | 1993-05-18 | University Of Connecticut | Laser diode assembly with tunnel junctions and providing multiple beams |
| US5446529A (en) | 1992-03-23 | 1995-08-29 | Advanced Scientific Concepts, Inc. | 3D imaging underwater laser radar |
| US9102220B2 (en) | 1992-05-05 | 2015-08-11 | American Vehicular Sciences Llc | Vehicular crash notification system |
| US8604932B2 (en) | 1992-05-05 | 2013-12-10 | American Vehicular Sciences, LLC | Driver fatigue monitoring system and method |
| US7983817B2 (en) | 1995-06-07 | 2011-07-19 | Automotive Technologies Internatinoal, Inc. | Method and arrangement for obtaining information about vehicle occupants |
| US5497269A (en) | 1992-06-25 | 1996-03-05 | Lockheed Missiles And Space Company, Inc. | Dispersive microlens |
| US5793491A (en) | 1992-12-30 | 1998-08-11 | Schwartz Electro-Optics, Inc. | Intelligent vehicle highway system multi-lane sensor and method |
| US6133989A (en) | 1993-02-09 | 2000-10-17 | Advanced Scientific Concepts, Inc. | 3D imaging laser radar |
| US6822563B2 (en) | 1997-09-22 | 2004-11-23 | Donnelly Corporation | Vehicle imaging system with accessory control |
| US6396397B1 (en) | 1993-02-26 | 2002-05-28 | Donnelly Corporation | Vehicle imaging system with stereo imaging |
| US5805275A (en) | 1993-04-08 | 1998-09-08 | Kollmorgen Corporation | Scanning optical rangefinder |
| US5465142A (en) | 1993-04-30 | 1995-11-07 | Northrop Grumman Corporation | Obstacle avoidance system for helicopters and other aircraft |
| US5420722A (en) | 1993-10-25 | 1995-05-30 | Creo Products Inc. | Self-registering microlens for laser diodes |
| JP3120202B2 (ja) | 1993-11-18 | 2000-12-25 | 株式会社トプコン | パルス方式の光波距離計 |
| US5400350A (en) | 1994-03-31 | 1995-03-21 | Imra America, Inc. | Method and apparatus for generating high energy ultrashort pulses |
| DE4413886C1 (de) | 1994-04-21 | 1995-04-06 | Leica Ag | System zur Erfassung von Verkehrsinformationen in Fahrzeugen |
| US5682229A (en) | 1995-04-14 | 1997-10-28 | Schwartz Electro-Optics, Inc. | Laser range camera |
| US7900736B2 (en) | 1995-06-07 | 2011-03-08 | Automotive Technologies International, Inc. | Vehicular seats with fluid-containing weight sensing system |
| US20070135982A1 (en) | 1995-06-07 | 2007-06-14 | Automotive Technologies International, Inc. | Methods for Sensing Weight of an Occupying Item in a Vehicular Seat |
| US8054203B2 (en) | 1995-06-07 | 2011-11-08 | Automotive Technologies International, Inc. | Apparatus and method for determining presence of objects in a vehicle |
| US8538636B2 (en) | 1995-06-07 | 2013-09-17 | American Vehicular Sciences, LLC | System and method for controlling vehicle headlights |
| US6091905A (en) | 1995-06-22 | 2000-07-18 | 3Dv Systems, Ltd | Telecentric 3D camera and method |
| US20020014533A1 (en) | 1995-12-18 | 2002-02-07 | Xiaxun Zhu | Automated object dimensioning system employing contour tracing, vertice detection, and forner point detection and reduction methods on 2-d range data maps |
| US5831719A (en) | 1996-04-12 | 1998-11-03 | Holometrics, Inc. | Laser scanning system |
| US5892575A (en) | 1996-05-10 | 1999-04-06 | Massachusetts Institute Of Technology | Method and apparatus for imaging a scene using a light detector operating in non-linear geiger-mode |
| US6825455B1 (en) | 1996-09-05 | 2004-11-30 | Rudolf Schwarte | Method and apparatus for photomixing |
| DE19642967C1 (de) | 1996-10-18 | 1998-06-10 | Deutsch Zentr Luft & Raumfahrt | Verfahren zum automatischen Bestimmen der Sichtweite mit einemn LIDAR-System |
| US6181463B1 (en) | 1997-03-21 | 2001-01-30 | Imra America, Inc. | Quasi-phase-matched parametric chirped pulse amplification systems |
| US6631316B2 (en) | 2001-03-05 | 2003-10-07 | Gentex Corporation | Image processing system to control vehicle headlamps or other vehicle equipment |
| US6774988B2 (en) | 2002-07-30 | 2004-08-10 | Gentex Corporation | Light source detection and categorization system for automatic vehicle exterior light control and method of manufacturing |
| US6327090B1 (en) | 1997-07-03 | 2001-12-04 | Levelite Technology, Inc. | Multiple laser beam generation |
| CN1129883C (zh) | 1997-07-22 | 2003-12-03 | 奥特－森斯有限公司 | 多频率光电检测系统 |
| US7979173B2 (en) | 1997-10-22 | 2011-07-12 | Intelligent Technologies International, Inc. | Autonomous vehicle travel control systems and methods |
| WO1999034235A1 (de) | 1997-12-23 | 1999-07-08 | Siemens Aktiengesellschaft | Verfahren und vorrichtung zur aufnahme eines dreidimensionalen abstandsbildes |
| US6150956A (en) | 1998-05-01 | 2000-11-21 | Zohar Lightomatic Ltd. | Proximity warning system for vehicles |
| US6055490A (en) | 1998-07-27 | 2000-04-25 | Laser Technology, Inc. | Apparatus and method for determining precision reflectivity of highway signs and other reflective objects utilizing an optical range finder instrument |
| AU9456198A (en) * | 1998-09-28 | 2000-04-17 | 3Dv Systems Ltd. | Distance measurement with a camera |
| JP3840341B2 (ja) | 1998-10-15 | 2006-11-01 | 浜松ホトニクス株式会社 | 立体情報検出方法及び装置 |
| US6266442B1 (en) | 1998-10-23 | 2001-07-24 | Facet Technology Corp. | Method and apparatus for identifying objects depicted in a videostream |
| US6967053B1 (en) | 1999-01-21 | 2005-11-22 | Reflexite Corporation | Durable, open-faced retroreflective prismatic construction |
| US6118518A (en) | 1999-02-24 | 2000-09-12 | International Business Machines Corporation | Assembly comprising a pocket 3-D scanner |
| US6370291B1 (en) | 1999-03-11 | 2002-04-09 | Opto Power Corporation | Printed circuit board waveguide |
| ES2184703T3 (es) | 1999-03-31 | 2003-04-16 | Fraunhofer Ges Forschung | Dsipositivo optico para hacer simetricas las radiaciones de redes bidimensionales de diodos laser. |
| US6323942B1 (en) | 1999-04-30 | 2001-11-27 | Canesta, Inc. | CMOS-compatible three-dimensional image sensor IC |
| AU776886B2 (en) * | 1999-06-04 | 2004-09-23 | Teraview Limited | Three dimensional imaging |
| US6619406B1 (en) | 1999-07-14 | 2003-09-16 | Cyra Technologies, Inc. | Advanced applications for 3-D autoscanning LIDAR system |
| AU5646299A (en) | 1999-09-08 | 2001-04-10 | 3Dv Systems Ltd. | 3d imaging system |
| US6054927A (en) * | 1999-09-13 | 2000-04-25 | Eaton Corporation | Apparatus and method for sensing an object within a monitored zone |
| EP1085769B1 (en) | 1999-09-15 | 2012-02-01 | Sharp Kabushiki Kaisha | Stereoscopic image pickup apparatus |
| US6448572B1 (en) | 1999-09-29 | 2002-09-10 | Innovative Technology Licensing, Llc | Ranging three-dimensional laser imager and method |
| DE10004398A1 (de) | 2000-02-02 | 2001-08-16 | Infineon Technologies Ag | VCSEL mit monolithisch integriertem Photodetektor |
| AU2001282850A1 (en) | 2000-04-26 | 2001-11-07 | Arete Associates | Very fast time resolved imaging in multiparameter measurement space |
| JP3574607B2 (ja) | 2000-05-02 | 2004-10-06 | ペンタックス株式会社 | ３次元画像入力装置 |
| US7630063B2 (en) | 2000-08-02 | 2009-12-08 | Honeywell International Inc. | Miniaturized cytometer for detecting multiple species in a sample |
| US6654401B2 (en) | 2000-08-08 | 2003-11-25 | F & H Applied Science Associates, Inc. | Multiple laser source, and systems for use thereof |
| US6535275B2 (en) | 2000-08-09 | 2003-03-18 | Dialog Semiconductor Gmbh | High resolution 3-D imaging range finder |
| US6674878B2 (en) | 2001-06-07 | 2004-01-06 | Facet Technology Corp. | System for automated determination of retroreflectivity of road signs and other reflective objects |
| US6891960B2 (en) | 2000-08-12 | 2005-05-10 | Facet Technology | System for road sign sheeting classification |
| WO2002015144A2 (en) | 2000-08-12 | 2002-02-21 | Facet Technology Corp. | System for road sign sheeting classification |
| KR100393057B1 (ko) | 2000-10-20 | 2003-07-31 | 삼성전자주식회사 | 마이크로 렌즈 일체형 표면광 레이저 |
| US6608360B2 (en) | 2000-12-15 | 2003-08-19 | University Of Houston | One-chip micro-integrated optoelectronic sensor |
| AUPR301401A0 (en) | 2001-02-09 | 2001-03-08 | Commonwealth Scientific And Industrial Research Organisation | Lidar system and method |
| US6480265B2 (en) | 2001-03-26 | 2002-11-12 | Deep Optic Ltd. | Active target distance measurement |
| ATE310268T1 (de) | 2001-04-04 | 2005-12-15 | Instro Prec Ltd | System zur bildanalyse |
| US6711280B2 (en) | 2001-05-25 | 2004-03-23 | Oscar M. Stafsudd | Method and apparatus for intelligent ranging via image subtraction |
| US6646725B1 (en) | 2001-07-11 | 2003-11-11 | Iowa Research Foundation | Multiple beam lidar system for wind measurement |
| DE10140096A1 (de) | 2001-08-16 | 2003-02-27 | Conti Temic Microelectronic | Verfahren zum Betrieb eines aktiven Hinderniswarnsystem |
| US6542227B2 (en) | 2001-09-04 | 2003-04-01 | Rosemount Aerospace, Inc. | System and method of measuring flow velocity in three axes |
| EP1461656A2 (en) | 2001-11-06 | 2004-09-29 | Keyotee | Apparatus for image projection |
| JP3911575B2 (ja) | 2001-12-18 | 2007-05-09 | 株式会社トプコン | パルス方式の光波距離計 |
| US6522396B1 (en) | 2002-01-08 | 2003-02-18 | Raytheon Company | Dual mode adaptive threshold architecture for 3-D ladar FPA |
| EP1331709B1 (en) | 2002-01-28 | 2006-03-22 | Fujifilm Electronic Imaging Limited | Laser diode collimating system |
| US6843416B2 (en) | 2002-01-29 | 2005-01-18 | Symbol Technologies, Inc. | Integrated scanner on a common substrate |
| US6730913B2 (en) * | 2002-02-21 | 2004-05-04 | Ford Global Technologies, Llc | Active night vision system for vehicles employing short-pulse laser illumination and a gated camera for image capture |
| JP4537658B2 (ja) | 2002-02-22 | 2010-09-01 | 株式会社リコー | 面発光レーザ素子、該面発光レーザ素子を用いた面発光レーザアレイ、電子写真システム、面発光レーザモジュール、光通信システム、光インターコネクションシステム、および面発光レーザ素子の製造方法 |
| US7607509B2 (en) | 2002-04-19 | 2009-10-27 | Iee International Electronics & Engineering S.A. | Safety device for a vehicle |
| US7830442B2 (en) | 2002-04-30 | 2010-11-09 | ARETé ASSOCIATES | Compact economical lidar system |
| US6975251B2 (en) | 2002-06-20 | 2005-12-13 | Dakota Technologies, Inc. | System for digitizing transient signals with waveform accumulator |
| EP1556823B1 (en) | 2002-07-10 | 2020-01-01 | Harman Becker Automotive Systems GmbH | System for generating three-dimensional electronic models of objects |
| US6906302B2 (en) | 2002-07-30 | 2005-06-14 | Freescale Semiconductor, Inc. | Photodetector circuit device and method thereof |
| US7253723B2 (en) | 2003-05-19 | 2007-08-07 | Donnelly Corporation | Mirror assembly |
| US8442084B2 (en) | 2002-10-03 | 2013-05-14 | Laser Operations Llc | High performance vertically emitting lasers |
| US7236119B2 (en) * | 2002-11-18 | 2007-06-26 | Lockheed Martin Corporation | System and method for selecting a receiver hardware configuration to detect emitter signals |
| US7348919B2 (en) * | 2002-11-18 | 2008-03-25 | Lockheed Martin Corporation | System and method for evaluating the performance of a scan strategy |
| GB2397957A (en) | 2003-01-30 | 2004-08-04 | Qinetiq Ltd | Target detection |
| US7248342B1 (en) | 2003-02-14 | 2007-07-24 | United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration | Three-dimension imaging lidar |
| US7171037B2 (en) | 2003-03-20 | 2007-01-30 | Agilent Technologies, Inc. | Optical inspection system and method for displaying imaged objects in greater than two dimensions |
| US7436494B1 (en) | 2003-03-28 | 2008-10-14 | Irvine Sensors Corp. | Three-dimensional ladar module with alignment reference insert circuitry |
| US8198576B2 (en) | 2003-03-28 | 2012-06-12 | Aprolase Development Co., Llc | Three-dimensional LADAR module with alignment reference insert circuitry comprising high density interconnect structure |
| US20040213463A1 (en) | 2003-04-22 | 2004-10-28 | Morrison Rick Lee | Multiplexed, spatially encoded illumination system for determining imaging and range estimation |
| US8242428B2 (en) | 2007-12-06 | 2012-08-14 | The United States Of America As Represented By The Secretary Of The Army | Method and system for lidar using spatial information from a light source in combination with nonspatial information influenced by the subject to derive an image |
| US7319805B2 (en) | 2003-10-06 | 2008-01-15 | Ford Motor Company | Active night vision image intensity balancing system |
| US6967569B2 (en) | 2003-10-27 | 2005-11-22 | Ford Global Technologies Llc | Active night vision with adaptive imaging |
| US7542499B2 (en) | 2003-11-27 | 2009-06-02 | Ricoh Company, Ltd. | Surface-emission laser diode and surface-emission laser array, optical interconnection system, optical communication system, electrophotographic system, and optical disk system |
| JP4000376B2 (ja) * | 2003-12-05 | 2007-10-31 | 独立行政法人産業技術総合研究所 | 物体位置検出装置、物体追尾装置および情報提供装置 |
| US7148974B1 (en) | 2004-01-13 | 2006-12-12 | Sandia Corporation | Method for tracking the location of mobile agents using stand-off detection technique |
| US7168815B2 (en) | 2004-01-21 | 2007-01-30 | 3M Innovative Properties Company | Retroreflective elements and articles |
| JP2007526453A (ja) | 2004-01-28 | 2007-09-13 | カネスタ インコーポレイテッド | 単一チップの赤、緑、青、距離（ｒｇｂ−ｚ）センサー |
| EP1728068B1 (en) | 2004-02-26 | 2016-11-02 | BAE SYSTEMS Information and Electronic Systems Integration, Inc. | Improved active search sensor and a method of detection using non-specular reflections |
| US7026600B2 (en) | 2004-02-26 | 2006-04-11 | Rosemount Aerospace Inc. | System and method of identifying an object in a laser beam illuminated scene based on material types |
| US7157685B2 (en) | 2004-04-12 | 2007-01-02 | Canesta, Inc. | Method and system to enhance differential dynamic range and signal/noise in CMOS range finding systems using differential sensors |
| US7590310B2 (en) | 2004-05-05 | 2009-09-15 | Facet Technology Corp. | Methods and apparatus for automated true object-based image analysis and retrieval |
| US7684458B2 (en) | 2004-06-11 | 2010-03-23 | Ricoh Company, Ltd. | Surface-emission laser diode and fabrication process thereof |
| US7697748B2 (en) | 2004-07-06 | 2010-04-13 | Dimsdale Engineering, Llc | Method and apparatus for high resolution 3D imaging as a function of camera position, camera trajectory and range |
| US7236235B2 (en) | 2004-07-06 | 2007-06-26 | Dimsdale Engineering, Llc | System and method for determining range in 3D imaging systems |
| US8289390B2 (en) * | 2004-07-28 | 2012-10-16 | Sri International | Method and apparatus for total situational awareness and monitoring |
| SI21525A (sl) | 2004-08-25 | 2004-12-31 | Feri Maribor | Mikroleče na vrhu optičnih vlaken in postopek za njihovo izdelavo |
| WO2006030989A1 (en) | 2004-09-17 | 2006-03-23 | Matsushita Electric Works, Ltd. | A range image sensor |
| JP3774225B2 (ja) | 2004-10-15 | 2006-05-10 | 独立行政法人科学技術振興機構 | 三次元計測センサ |
| US7440084B2 (en) | 2004-12-16 | 2008-10-21 | Arete' Associates | Micromechanical and related lidar apparatus and method, and fast light-routing components |
| US8085388B2 (en) | 2005-02-01 | 2011-12-27 | Laser Projection Technologies, Inc. | Laser radar projection with object feature detection and ranging |
| US7324688B2 (en) * | 2005-02-14 | 2008-01-29 | Mitsubishi Electric Research Laboratories, Inc. | Face relighting for normalization of directional lighting |
| US7521666B2 (en) | 2005-02-17 | 2009-04-21 | Capella Microsystems Inc. | Multi-cavity Fabry-Perot ambient light filter apparatus |
| WO2006091968A2 (en) | 2005-02-25 | 2006-08-31 | Belfort Instrument Company | Multiple-angle retroreflectometer |
| EP1703741A1 (en) * | 2005-03-17 | 2006-09-20 | IEE INTERNATIONAL ELECTRONICS & ENGINEERING S.A. | 3-d imaging system |
| US7451041B2 (en) | 2005-05-06 | 2008-11-11 | Facet Technology Corporation | Network-based navigation system having virtual drive-thru advertisements integrated with actual imagery from along a physical route |
| US7609373B2 (en) | 2005-05-31 | 2009-10-27 | Kla-Tencor Technologies Corporation | Reducing variations in energy reflected from a sample due to thin film interference |
| US8451432B2 (en) | 2005-06-09 | 2013-05-28 | Analog-Modules, Inc. | Laser spot tracking with off-axis angle detection |
| US7692775B2 (en) * | 2005-07-14 | 2010-04-06 | Chemimage Corporation | Time and space resolved standoff hyperspectral IED explosives LIDAR detection |
| US20070055441A1 (en) | 2005-08-12 | 2007-03-08 | Facet Technology Corp. | System for associating pre-recorded images with routing information in a navigation system |
| DE602005004544T2 (de) | 2005-09-19 | 2008-04-30 | CRF Società Consortile per Azioni, Orbassano | Multifunktioneller optischer Sensor mit einer an Mikrolinsen gekoppelten Matrix von Photodetektoren |
| WO2007035720A2 (en) | 2005-09-20 | 2007-03-29 | Deltasphere, Inc. | Methods, systems, and computer program products for acquiring three-dimensional range information |
| ATE390715T1 (de) | 2005-10-19 | 2008-04-15 | Suisse Electronique Microtech | Einrichtung und verfahren zur demodulation von modulierten elektromagnetischen wellenfeldern |
| DE102005054135A1 (de) | 2005-11-14 | 2007-05-16 | Bosch Gmbh Robert | Verfahren zur Umfelderfassung |
| DE102006050303A1 (de) | 2005-12-05 | 2007-06-14 | Cedes Ag | Sensoranordnung sowie Sensorvorrichtung für eine Sensoranordnung |
| US7881355B2 (en) | 2005-12-15 | 2011-02-01 | Mind Melters, Inc. | System and method for generating intense laser light from laser diode arrays |
| US8242476B2 (en) | 2005-12-19 | 2012-08-14 | Leddartech Inc. | LED object detection system and method combining complete reflection traces from individual narrow field-of-view channels |
| US8355117B2 (en) * | 2005-12-21 | 2013-01-15 | Ecole Polytechnique Federale De Lausanne | Method and arrangement for measuring the distance to an object |
| JP2007171851A (ja) | 2005-12-26 | 2007-07-05 | Sharp Corp | レーザ走査光学系及び画像形成装置 |
| CA2560800C (en) | 2006-01-20 | 2014-08-26 | Geo 3D Inc. | Automated asset detection, location measurement and recognition |
| TWI268867B (en) | 2006-01-27 | 2006-12-21 | E Pin Optical Industry Co Ltd | Multi-beam tandem laser scanning unit |
| US7544945B2 (en) | 2006-02-06 | 2009-06-09 | Avago Technologies General Ip (Singapore) Pte. Ltd. | Vertical cavity surface emitting laser (VCSEL) array laser scanner |
| US7994465B1 (en) | 2006-02-06 | 2011-08-09 | Microsoft Corporation | Methods and devices for improved charge management for three-dimensional and color sensing |
| US9186046B2 (en) | 2007-08-14 | 2015-11-17 | Koninklijke Philips Electronics N.V. | Robotic instrument systems and methods utilizing optical fiber sensor |
| EP1830443B1 (en) | 2006-03-03 | 2016-06-08 | Fraunhofer USA, Inc. | High power diode laser having multiple emitters and method for its production |
| US7944548B2 (en) | 2006-03-07 | 2011-05-17 | Leica Geosystems Ag | Increasing measurement rate in time of flight measurement apparatuses |
| EP2013952B1 (en) | 2006-04-28 | 2021-02-24 | Ricoh Company, Ltd. | Surface-emission laser array, optical scanning apparatus and image forming apparatus |
| EP1860462A1 (de) | 2006-05-23 | 2007-11-28 | Leica Geosystems AG | Distanzmessverfahren und Distanzmesser zur Erfassung der räumlichen Abmessung eines Zieles |
| US8493445B2 (en) * | 2006-05-31 | 2013-07-23 | Sigma Space Corp | Scanner/optical system for three-dimensional lidar imaging and polarimetry |
| CN101688774A (zh) | 2006-07-13 | 2010-03-31 | 威力登音响公司 | 高精确度激光雷达系统 |
| US7579593B2 (en) * | 2006-07-25 | 2009-08-25 | Panasonic Corporation | Night-vision imaging apparatus, control method of the same, and headlight module |
| EP1901093B1 (de) | 2006-09-15 | 2018-11-14 | Triple-IN Holding AG | Aufnahme von Entfernungsbildern |
| EP1903299A1 (en) | 2006-09-20 | 2008-03-26 | IEE INTERNATIONAL ELECTRONICS & ENGINEERING S.A. | Method and system for acquiring a 3-D image of a scene |
| US7701558B2 (en) | 2006-09-22 | 2010-04-20 | Leica Geosystems Ag | LIDAR system |
| EP1912078B1 (en) | 2006-10-11 | 2013-07-24 | Oerlikon Space AG | Laser altimeter, method for range finding and space craft comprising such laser altimeter |
| CA2631468C (en) | 2006-10-18 | 2013-07-09 | Matsushita Electric Works, Ltd. | Spatial information detecting apparatus |
| US7888159B2 (en) | 2006-10-26 | 2011-02-15 | Omnivision Technologies, Inc. | Image sensor having curved micro-mirrors over the sensing photodiode and method for fabricating |
| CN101589316B (zh) | 2006-10-30 | 2012-08-29 | 奥拓诺塞斯有限公司 | 用于激光雷达的扫描系统 |
| ES2342029T3 (es) | 2006-11-14 | 2010-06-30 | Instro Precision Limited | Sistema de deteccion de intrusos. |
| US8045595B2 (en) | 2006-11-15 | 2011-10-25 | Cree, Inc. | Self aligned diode fabrication method and self aligned laser diode |
| US8589033B2 (en) | 2007-01-11 | 2013-11-19 | Microsoft Corporation | Contactless obstacle detection for power doors and the like |
| US8072581B1 (en) | 2007-01-19 | 2011-12-06 | Rockwell Collins, Inc. | Laser range finding system using variable field of illumination flash lidar |
| US7792423B2 (en) * | 2007-02-06 | 2010-09-07 | Mitsubishi Electric Research Laboratories, Inc. | 4D light field cameras |
| DE102007010236B4 (de) | 2007-03-02 | 2008-11-20 | Toposys Topographische Systemdaten Gmbh | Vorrichtung und Verfahren zur Entfernungsbestimmung mittels Lichtpulsen |
| FR2913774B1 (fr) | 2007-03-16 | 2010-11-26 | Thales Sa | Dispositif et procede de localisation d'un mobile a l'approche d'une surface reflechissant les ondes electromagnetiques |
| JP2010522349A (ja) | 2007-03-19 | 2010-07-01 | ジョン・スー・キム | 自立型平行板ビームスプリッタ、その製作方法、およびそれを用いたレーザーダイオードパッケージ構造 |
| US8487525B2 (en) | 2007-05-04 | 2013-07-16 | Seoul Semiconductor Co., Ltd. | Light emitting device including optical lens |
| US8319949B2 (en) | 2007-06-18 | 2012-11-27 | Leddartech Inc. | Method for detecting objects with visible light |
| US8378287B2 (en) | 2007-06-27 | 2013-02-19 | Koninklijke Philips Electronics N.V. | Optical sensor module including a diode laser and a substrate transparent to radiation emitted by the diode laser and a method for manufacturing an optical sensor module |
| DE102007029959A1 (de) | 2007-06-28 | 2009-01-02 | Robert Bosch Gmbh | Verfahren und Vorrichtung zur Erfassung einer Umgebung |
| DE102007030062A1 (de) | 2007-06-29 | 2009-01-02 | Osram Opto Semiconductors Gmbh | Monolithisch integrierter Laserdiodenchip mit einem Aufbau als Mehrfachstrahl-Laserdiode |
| US8422148B2 (en) | 2007-07-03 | 2013-04-16 | Limo Patentverwaltung Gmbh & Co. Kg | Apparatus for shaping of laser radiation |
| JP5171158B2 (ja) | 2007-08-22 | 2013-03-27 | 浜松ホトニクス株式会社 | 固体撮像装置及び距離画像測定装置 |
| JP5212686B2 (ja) | 2007-08-22 | 2013-06-19 | ソニー株式会社 | 半導体レーザアレイの製造方法 |
| ATE478455T1 (de) | 2007-08-31 | 2010-09-15 | Em Microelectronic Marin Sa | Optoelektronischer schaltkreis mit einem photoempfänger und einer laserdiode und diesen umfassendes modul |
| US7663095B2 (en) | 2007-09-20 | 2010-02-16 | Avago Technologies Ecbu Ip (Singapore) Pte. Ltd. | Photodetector with embedded infrared filter |
| US7945408B2 (en) | 2007-09-20 | 2011-05-17 | Voxis, Inc. | Time delay estimation |
| US7894725B2 (en) | 2007-09-28 | 2011-02-22 | Massachusetts Institute Of Technology | Time-multiplexed optical waveform generation |
| US8446470B2 (en) | 2007-10-04 | 2013-05-21 | Magna Electronics, Inc. | Combined RGB and IR imaging sensor |
| US8125620B2 (en) | 2007-10-18 | 2012-02-28 | PulsedLight, LLC | Optical sensor device |
| US8027029B2 (en) | 2007-11-07 | 2011-09-27 | Magna Electronics Inc. | Object detection and tracking system |
| JP5019117B2 (ja) * | 2007-11-14 | 2012-09-05 | スタンレー電気株式会社 | 距離画像生成装置 |
| US8594455B2 (en) | 2011-09-28 | 2013-11-26 | The United States Of America As Represented By The Secretary Of The Army | System and method for image enhancement and improvement |
| DE102007061358B4 (de) | 2007-12-19 | 2012-02-16 | Limo Patentverwaltung Gmbh & Co. Kg | Vorrichtung zur Formung von Laserstrahlung |
| US8310655B2 (en) | 2007-12-21 | 2012-11-13 | Leddartech Inc. | Detection and ranging methods and systems |
| US8723689B2 (en) | 2007-12-21 | 2014-05-13 | Leddartech Inc. | Parking management system and method using lighting system |
| CN101910867B (zh) | 2008-01-16 | 2016-05-18 | 皇家飞利浦电子股份有限公司 | 基于自混合干涉的激光传感器系统 |
| US8077294B1 (en) | 2008-01-17 | 2011-12-13 | Ball Aerospace & Technologies Corp. | Optical autocovariance lidar |
| KR100914961B1 (ko) | 2008-01-23 | 2009-09-02 | 성균관대학교산학협력단 | 구조광 기반 3차원 카메라의 최적 노출 결정방법 및 시스템 |
| US20090232355A1 (en) * | 2008-03-12 | 2009-09-17 | Harris Corporation | Registration of 3d point cloud data using eigenanalysis |
| US7733932B2 (en) | 2008-03-28 | 2010-06-08 | Victor Faybishenko | Laser diode assemblies |
| WO2009124601A1 (en) | 2008-04-11 | 2009-10-15 | Ecole Polytechnique Federale De Lausanne Epfl | Time-of-flight based imaging system using a display as illumination source |
| AU2009240769B2 (en) | 2008-04-22 | 2013-03-21 | Riegl Laser Measurement Systems Gmbh | Apparatus and method for measurement of the reception time of a pulse |
| US8301027B2 (en) | 2008-05-02 | 2012-10-30 | Massachusetts Institute Of Technology | Agile-beam laser array transmitter |
| US20090299633A1 (en) | 2008-05-29 | 2009-12-03 | Delphi Technologies, Inc. | Vehicle Pre-Impact Sensing System Having Terrain Normalization |
| DE102008031682A1 (de) | 2008-07-04 | 2010-03-11 | Eads Deutschland Gmbh | Direktempfang-Doppler-LIDAR-Verfahren und Direktempfang-Doppler-LIDAR-Vorrichtung |
| US8531650B2 (en) | 2008-07-08 | 2013-09-10 | Chiaro Technologies LLC | Multiple channel locating |
| US8456517B2 (en) | 2008-07-09 | 2013-06-04 | Primesense Ltd. | Integrated processor for 3D mapping |
| US8809758B2 (en) * | 2008-07-25 | 2014-08-19 | Cornell University | Light field image sensor with an angle-sensitive pixel (ASP) device |
| US7873091B2 (en) | 2008-08-13 | 2011-01-18 | Institut National D'optique | Laser diode illuminator device and method for optically conditioning the light beam emitted by the same |
| JP5448617B2 (ja) | 2008-08-19 | 2014-03-19 | パナソニック株式会社 | 距離推定装置、距離推定方法、プログラム、集積回路およびカメラ |
| CN101373217B (zh) * | 2008-08-28 | 2011-12-28 | 阮树成 | 毫米波船用调频多通道防撞雷达 |
| US8368876B1 (en) | 2008-10-17 | 2013-02-05 | Odyssey Space Research, L.L.C. | Calibration system and method for imaging flash LIDAR systems |
| JP4981780B2 (ja) | 2008-10-20 | 2012-07-25 | 本田技研工業株式会社 | 測距システム及び測距方法 |
| US8126642B2 (en) | 2008-10-24 | 2012-02-28 | Gray & Company, Inc. | Control and systems for autonomously driven vehicles |
| US8364334B2 (en) | 2008-10-30 | 2013-01-29 | Honeywell International Inc. | System and method for navigating an autonomous vehicle using laser detection and ranging |
| WO2010051615A1 (en) * | 2008-11-05 | 2010-05-14 | Neptec Design Group Ltd. | Return pulse shape analysis for falling edge object discrimination of aerosol lidar |
| EP3396416A1 (en) | 2008-11-25 | 2018-10-31 | Tetravue, Inc. | Systems and methods of high resolution three-dimensional imaging |
| CN104111446A (zh) | 2009-01-27 | 2014-10-22 | Xyz互动技术公司 | 用于单个和/或多个设备的测距、定向和/或定位的方法和装置 |
| US8229663B2 (en) | 2009-02-03 | 2012-07-24 | GM Global Technology Operations LLC | Combined vehicle-to-vehicle communication and object detection sensing |
| US8120754B2 (en) | 2009-02-19 | 2012-02-21 | Northrop Grumman Systems Corporation | Light detection and ranging apparatus |
| US8699755B2 (en) | 2009-02-20 | 2014-04-15 | Navteq B.V. | Determining travel path features based on retroreflectivity |
| US8380367B2 (en) | 2009-03-26 | 2013-02-19 | The University Of North Dakota | Adaptive surveillance and guidance system for vehicle collision avoidance and interception |
| US8717417B2 (en) | 2009-04-16 | 2014-05-06 | Primesense Ltd. | Three-dimensional mapping and imaging |
| US8810796B2 (en) * | 2009-04-21 | 2014-08-19 | Michigan Aerospace Corporation | Light processing system and method |
| US8797550B2 (en) | 2009-04-21 | 2014-08-05 | Michigan Aerospace Corporation | Atmospheric measurement system |
| US8097842B2 (en) | 2009-05-31 | 2012-01-17 | Avago Technologies Ecbu Ip (Singapore) Pte. Ltd. | High resolution single track optical encoder |
| CN102460864B (zh) * | 2009-06-30 | 2016-08-10 | 特林布尔公司 | 光脉冲发射机 |
| RU2419934C2 (ru) | 2009-07-17 | 2011-05-27 | Василий Иванович Швейкин | Диодный источник многолучевого когерентного лазерного излучения (варианты) |
| JP5439080B2 (ja) | 2009-07-28 | 2014-03-12 | 株式会社日立製作所 | 光ｉ／ｏアレイモジュール |
| JP2011035190A (ja) | 2009-08-03 | 2011-02-17 | Ricoh Co Ltd | マルチビームレーザ光量制御回路および該マルチビームレーザ光量制御回路を具備する光走査装置 |
| US8125367B2 (en) | 2009-08-06 | 2012-02-28 | Irvine Sensors Corp. | AM chirp LADAR readout circuit and module |
| US8508721B2 (en) | 2009-08-18 | 2013-08-13 | The Boeing Company | Multifunction aircraft LIDAR |
| DE102009029364A1 (de) | 2009-09-11 | 2011-03-24 | Robert Bosch Gmbh | Messvorrichtung zur Messung einer Entfernung zwischen der Messvorrichtung und einem Zielobjekt mit Hilfe optischer Messstrahlung |
| DE102009029372A1 (de) | 2009-09-11 | 2011-03-24 | Robert Bosch Gmbh | Messvorrichtung zur Messung einer Entfernung zwischen der Messvorrichtung und einem Zielobjekt mit Hilfe optischer Messstrahlung |
| US20110285981A1 (en) * | 2010-05-18 | 2011-11-24 | Irvine Sensors Corporation | Sensor Element and System Comprising Wide Field-of-View 3-D Imaging LIDAR |
| JP5269735B2 (ja) | 2009-10-08 | 2013-08-21 | 株式会社東芝 | 固体撮像装置 |
| US8451871B2 (en) | 2009-11-23 | 2013-05-28 | Vladimir Yankov | Method of manufacturing a laser diode with improved light-emitting characteristics |
| US8368005B2 (en) | 2009-11-30 | 2013-02-05 | Pixart Imaging Incorporation | Optical detection method and optical MEMS detector, and method for making MEMS detector |
| JP2011119434A (ja) | 2009-12-03 | 2011-06-16 | Renesas Electronics Corp | 半導体レーザ素子及びその製造方法 |
| US20110131722A1 (en) | 2009-12-04 | 2011-06-09 | Spajacket International Inc. | Spa side wall insulated jacket and method of use |
| EP2510504A4 (en) | 2009-12-07 | 2013-08-14 | Photon X Inc | 3D VISUALIZATION SYSTEM |
| US8098969B2 (en) | 2009-12-08 | 2012-01-17 | Onechip Photonics Inc. | Waveguide optically pre-amplified detector with passband wavelength filtering |
| WO2011083669A1 (ja) * | 2010-01-06 | 2011-07-14 | コニカミノルタオプト株式会社 | ステレオカメラ装置 |
| US20130076861A1 (en) | 2010-01-21 | 2013-03-28 | Shmuel Sternklar | Method and apparatus for probing an object, medium or optical path using noisy light |
| US8054464B2 (en) | 2010-01-25 | 2011-11-08 | Sigma Space Corp. | Polarization switching lidar device and method |
| US8111452B2 (en) | 2010-02-22 | 2012-02-07 | Corning Incorporated | Wavelength conversion device with microlens and optical package incorporating the same |
| EP2542913B1 (en) | 2010-03-02 | 2019-05-08 | Elbit Systems Ltd. | Image gated camera for detecting objects in a marine environment |
| ATE551761T1 (de) | 2010-03-03 | 2012-04-15 | Axetris Ag | Laserdiodenaufbau mit reduziertem rauschen |
| US8655513B2 (en) | 2010-03-12 | 2014-02-18 | The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration | Methods of real time image enhancement of flash LIDAR data and navigating a vehicle using flash LIDAR data |
| US8494687B2 (en) | 2010-03-12 | 2013-07-23 | The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration | Method for enhancing a three dimensional image from a plurality of frames of flash LIDAR data |
| US8426797B2 (en) * | 2010-03-23 | 2013-04-23 | Massachusetts Institute Of Technology | CMOS readout architecture and method for photon-counting arrays |
| US8363156B2 (en) | 2010-04-09 | 2013-01-29 | 3Dv Co. Ltd | Single-lens 2D/3D digital camera |
| JP5050076B2 (ja) | 2010-04-13 | 2012-10-17 | 株式会社日立製作所 | 光通信モジュールおよび光通信装置 |
| US9373052B2 (en) * | 2010-04-21 | 2016-06-21 | National Ict Australia Limited | Shape and photometric invariants recovery from polarisation images |
| WO2011134083A1 (en) | 2010-04-28 | 2011-11-03 | Ryerson University | System and methods for intraoperative guidance feedback |
| US8587637B1 (en) | 2010-05-07 | 2013-11-19 | Lockheed Martin Corporation | Three dimensional ladar imaging and methods using voxels |
| US8259003B2 (en) | 2010-05-14 | 2012-09-04 | Massachusetts Institute Of Technology | High duty cycle radar with near/far pulse compression interference mitigation |
| WO2011146523A2 (en) | 2010-05-17 | 2011-11-24 | Velodyne Acoustics, Inc. | High definition lidar system |
| US8558993B2 (en) | 2010-05-21 | 2013-10-15 | The National Institute of Standards and Technology, as Presented by the Secretary of Commerce | Optical frequency comb-based coherent LIDAR |
| US8605262B2 (en) | 2010-06-23 | 2013-12-10 | The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration | Time shifted PN codes for CW LiDAR, radar, and sonar |
| US9787974B2 (en) | 2010-06-30 | 2017-10-10 | At&T Intellectual Property I, L.P. | Method and apparatus for delivering media content |
| US8640182B2 (en) | 2010-06-30 | 2014-01-28 | At&T Intellectual Property I, L.P. | Method for detecting a viewing apparatus |
| US8918831B2 (en) | 2010-07-06 | 2014-12-23 | At&T Intellectual Property I, Lp | Method and apparatus for managing a presentation of media content |
| US9201501B2 (en) | 2010-07-20 | 2015-12-01 | Apple Inc. | Adaptive projector |
| JP5791131B2 (ja) | 2010-07-20 | 2015-10-07 | アップル インコーポレイテッド | 自然な相互作用のための相互作用的現実拡張 |
| US9560406B2 (en) | 2010-07-20 | 2017-01-31 | At&T Intellectual Property I, L.P. | Method and apparatus for adapting a presentation of media content |
| US9032470B2 (en) | 2010-07-20 | 2015-05-12 | At&T Intellectual Property I, Lp | Apparatus for adapting a presentation of media content according to a position of a viewing apparatus |
| LU91714B1 (en) | 2010-07-29 | 2012-01-30 | Iee Sarl | Active illumination scanning imager |
| US8599367B2 (en) | 2010-08-04 | 2013-12-03 | Alliant Techsystems Inc. | Apparatus and methods for obtaining multi-dimensional spatial and spectral data with LIDAR detection |
| WO2012020380A1 (en) | 2010-08-11 | 2012-02-16 | Primesense Ltd. | Scanning projectors and image capture modules for 3d mapping |
| US8570406B2 (en) | 2010-08-11 | 2013-10-29 | Inview Technology Corporation | Low-pass filtering of compressive imaging measurements to infer light level variation |
| US8736818B2 (en) | 2010-08-16 | 2014-05-27 | Ball Aerospace & Technologies Corp. | Electronically steered flash LIDAR |
| KR101710514B1 (ko) | 2010-09-03 | 2017-02-27 | 삼성전자주식회사 | 깊이 센서 및 이를 이용한 거리 추정 방법 |
| US20130300740A1 (en) | 2010-09-13 | 2013-11-14 | Alt Software (Us) Llc | System and Method for Displaying Data Having Spatial Coordinates |
| US8681255B2 (en) | 2010-09-28 | 2014-03-25 | Microsoft Corporation | Integrated low power depth camera and projection device |
| US9194953B2 (en) | 2010-10-21 | 2015-11-24 | Sony Corporation | 3D time-of-light camera and method |
| US9857469B2 (en) | 2010-10-22 | 2018-01-02 | Heptagon Micro Optics Pte. Ltd. | System and method for multi TOF camera operation using phase hopping |
| US8692980B2 (en) | 2010-11-01 | 2014-04-08 | Advanced Scientific Concepts, Inc. | Flash LADAR collision avoidance system |
| KR101669412B1 (ko) | 2010-11-01 | 2016-10-26 | 삼성전자주식회사 | 3ｄ 카메라를 위한 깊이 정보 측정 방법 및 장치 |
| US10571571B2 (en) * | 2010-11-12 | 2020-02-25 | Texas Instruments Incorporated | Method and apparatus for controlling time of flight confidence map based depth noise and depth coverage range |
| WO2012068563A1 (en) | 2010-11-19 | 2012-05-24 | Trilumina Corporation | Optical pumping of solid-state laser material using addressable laser array |
| EP2643659B1 (en) | 2010-11-19 | 2019-12-25 | Apple Inc. | Depth mapping using time-coded illumination |
| US9131136B2 (en) | 2010-12-06 | 2015-09-08 | Apple Inc. | Lens arrays for pattern projection and imaging |
| US8340151B2 (en) | 2010-12-13 | 2012-12-25 | Ut-Battelle, Llc | V-shaped resonators for addition of broad-area laser diode arrays |
| US8633989B2 (en) | 2010-12-16 | 2014-01-21 | Sony Corporation | 3D camera phone |
| US9823339B2 (en) * | 2010-12-21 | 2017-11-21 | Microsoft Technology Licensing, Llc | Plural anode time-of-flight sensor |
| EP2469301A1 (en) | 2010-12-23 | 2012-06-27 | André Borowski | Methods and devices for generating a representation of a 3D scene at very high speed |
| EP2469295A1 (en) | 2010-12-23 | 2012-06-27 | André Borowski | 3D landscape real-time imager and corresponding imaging methods |
| US8391336B2 (en) | 2011-03-07 | 2013-03-05 | A.P.M. Automation Solutions Ltd | Variable length ranging and direction-finding signals constructed from bandlimited kernels and sparse spreading sequences |
| WO2012123809A1 (en) * | 2011-03-17 | 2012-09-20 | Universitat Politècnica De Catalunya | System, method and computer program for receiving a light beam |
| US8599363B2 (en) * | 2011-04-06 | 2013-12-03 | GM Global Technology Operations LLC | Method and apparatus for an object detection system using two modulated light sources |
| US8687172B2 (en) | 2011-04-13 | 2014-04-01 | Ivan Faul | Optical digitizer with improved distance measurement capability |
| US8976340B2 (en) * | 2011-04-15 | 2015-03-10 | Advanced Scientific Concepts, Inc. | Ladar sensor for landing, docking and approach |
| US8760499B2 (en) | 2011-04-29 | 2014-06-24 | Austin Russell | Three-dimensional imager and projection device |
| US9191582B1 (en) | 2011-04-29 | 2015-11-17 | Bae Systems Information And Electronic Systems Integration Inc. | Multi-mode high speed sensor |
| US8570372B2 (en) | 2011-04-29 | 2013-10-29 | Austin Russell | Three-dimensional imager and projection device |
| US8908159B2 (en) | 2011-05-11 | 2014-12-09 | Leddartech Inc. | Multiple-field-of-view scannerless optical rangefinder in high ambient background light |
| US9137463B2 (en) | 2011-05-12 | 2015-09-15 | Microsoft Technology Licensing, Llc | Adaptive high dynamic range camera |
| EP2772676B1 (de) | 2011-05-18 | 2015-07-08 | Sick Ag | 3D-Kamera und Verfahren zur dreidimensionalen Überwachung eines Überwachungsbereichs |
| US8811720B2 (en) | 2011-07-12 | 2014-08-19 | Raytheon Company | 3D visualization of light detection and ranging data |
| GB2492848A (en) * | 2011-07-15 | 2013-01-16 | Softkinetic Sensors Nv | Optical distance measurement |
| US8928865B2 (en) | 2011-08-16 | 2015-01-06 | Telaris, Inc. | Three-dimensional tomographic imaging camera |
| US8963956B2 (en) | 2011-08-19 | 2015-02-24 | Microsoft Technology Licensing, Llc | Location based skins for mixed reality displays |
| KR102123196B1 (ko) | 2011-09-13 | 2020-06-16 | 오에스아이 옵토일렉트로닉스 | 개선된 레이저 레인지파인더 센서 |
| JP5454654B1 (ja) | 2011-10-24 | 2014-03-26 | 株式会社デンソー | 表示制御装置、及び、表示画像割当方法 |
| US8854426B2 (en) | 2011-11-07 | 2014-10-07 | Microsoft Corporation | Time-of-flight camera with guided light |
| US10099614B2 (en) | 2011-11-28 | 2018-10-16 | Magna Electronics Inc. | Vision system for vehicle |
| WO2013081984A1 (en) | 2011-11-28 | 2013-06-06 | Magna Electronics, Inc. | Vision system for vehicle |
| US8947647B2 (en) | 2011-12-13 | 2015-02-03 | Raytheon Company | Range-resolved vibration using large time-bandwidth product LADAR waveforms |
| US9137511B1 (en) | 2011-12-15 | 2015-09-15 | Rawles Llc | 3D modeling with depth camera and surface normals |
| TWI551113B (zh) | 2011-12-27 | 2016-09-21 | 鴻海精密工業股份有限公司 | 3d成像模組及3d成像方法 |
| CN103998949B (zh) | 2012-01-10 | 2016-08-24 | 索弗特凯耐提克传感器股份有限公司 | 对飞行时间信号处理的改进或与之相关的改进 |
| US8724671B2 (en) | 2012-01-24 | 2014-05-13 | Southwest Research Institute | Multiple wavelength laser system |
| US9294754B2 (en) | 2012-02-03 | 2016-03-22 | Lumentum Operations Llc | High dynamic range and depth of field depth camera |
| CN104254785B (zh) | 2012-03-01 | 2016-08-24 | Iee国际电子工程股份公司 | 用于混合式三维成像器的主动照明的紧凑式激光源 |
| US9329269B2 (en) | 2012-03-15 | 2016-05-03 | GM Global Technology Operations LLC | Method for registration of range images from multiple LiDARS |
| US8804101B2 (en) | 2012-03-16 | 2014-08-12 | Advanced Scientific Concepts, Inc. | Personal LADAR sensor |
| US9109888B2 (en) | 2012-03-21 | 2015-08-18 | Honda Motor Co., Ltd. | Distance measuring system |
| CA2868355C (en) | 2012-03-23 | 2020-02-25 | Picometrix, Llc | System and method to detect anomalies |
| US9088744B2 (en) | 2012-04-18 | 2015-07-21 | Brightway Vision Ltd. | Mulitple gated pixel per readout |
| US9723233B2 (en) * | 2012-04-18 | 2017-08-01 | Brightway Vision Ltd. | Controllable gated sensor |
| US9810785B2 (en) | 2012-05-29 | 2017-11-07 | Brightway Vision Ltd. | Gated imaging using an adaptive depth of field |
| US8754829B2 (en) | 2012-08-04 | 2014-06-17 | Paul Lapstun | Scanning light field camera and display |
| SG11201502194QA (en) | 2012-09-21 | 2015-04-29 | Nokia Technologies Oy | Method and apparatus for video coding |
| US20140139632A1 (en) * | 2012-11-21 | 2014-05-22 | Lsi Corporation | Depth imaging method and apparatus with adaptive illumination of an object of interest |
| US9204121B1 (en) | 2012-11-26 | 2015-12-01 | Amazon Technologies, Inc. | Reflector-based depth mapping of a scene |
| US8879050B2 (en) | 2012-12-04 | 2014-11-04 | Texas Instruments Incorporated | Method for dynamically adjusting the operating parameters of a TOF camera according to vehicle speed |
| US9046600B2 (en) * | 2012-12-05 | 2015-06-02 | Toyota Motor Engineering & Manufacturing North America, Inc. | Method and apparatus for intensity calibration of multi-beam lidar sensors |
| CN103064087B (zh) | 2012-12-25 | 2015-02-25 | 符建 | 基于多次积分的三维成像雷达系统及方法 |
| US20160047901A1 (en) | 2012-12-25 | 2016-02-18 | Quanergy Systems, Inc. | Robust lidar sensor for broad weather, shock and vibration conditions |
| US20140218473A1 (en) | 2013-01-07 | 2014-08-07 | Nokia Corporation | Method and apparatus for video coding and decoding |
| KR102500906B1 (ko) | 2013-01-08 | 2023-02-21 | 메사추세츠 인스티튜트 오브 테크놀로지 | 광학 위상 어레이들 |
| US9277204B2 (en) | 2013-01-23 | 2016-03-01 | Advanced Scientific Concepts, Inc. | Modular LADAR sensor |
| US20140211194A1 (en) | 2013-01-27 | 2014-07-31 | Quanergy Systems, Inc. | Cost-effective lidar sensor for multi-signal detection, weak signal detection and signal disambiguation and method of using same |
| DE112014000934T5 (de) | 2013-02-21 | 2016-01-07 | Iee International Electronics & Engineering S.A. | Bildgebungsgestütztes Insassenüberwachungssystem mit breit gefächerter Funktionsunterstützung |
| US8855849B1 (en) * | 2013-02-25 | 2014-10-07 | Google Inc. | Object detection based on known structures of an environment of an autonomous vehicle |
| US9398287B2 (en) | 2013-02-28 | 2016-07-19 | Google Technology Holdings LLC | Context-based depth sensor control |
| US9142019B2 (en) | 2013-02-28 | 2015-09-22 | Google Technology Holdings LLC | System for 2D/3D spatial feature processing |
| US20150002734A1 (en) | 2013-07-01 | 2015-01-01 | Motorola Mobility Llc | Electronic Device with Modulated Light Flash Operation for Rolling Shutter Image Sensor |
| US20140240469A1 (en) | 2013-02-28 | 2014-08-28 | Motorola Mobility Llc | Electronic Device with Multiview Image Capture and Depth Sensing |
| US9069060B1 (en) * | 2013-03-13 | 2015-06-30 | Google Inc. | Circuit architecture for optical receiver with increased dynamic range |
| US9103715B1 (en) * | 2013-03-15 | 2015-08-11 | Joseph R. Demers | Terahertz spectrometer phase modulator control using second harmonic nulling |
| US9274047B2 (en) | 2013-05-24 | 2016-03-01 | Massachusetts Institute Of Technology | Methods and apparatus for imaging of occluded objects |
| US9069080B2 (en) | 2013-05-24 | 2015-06-30 | Advanced Scientific Concepts, Inc. | Automotive auxiliary ladar sensor |
| US8742325B1 (en) | 2013-07-31 | 2014-06-03 | Google Inc. | Photodetector array on curved substrate |
| US10126412B2 (en) | 2013-08-19 | 2018-11-13 | Quanergy Systems, Inc. | Optical phased array lidar system and method of using same |
| US9094628B2 (en) | 2013-10-27 | 2015-07-28 | Raytheon Company | Address mapped repartitioned digital pixel |
| US10203399B2 (en) * | 2013-11-12 | 2019-02-12 | Big Sky Financial Corporation | Methods and apparatus for array based LiDAR systems with reduced interference |
| WO2015075926A1 (ja) | 2013-11-20 | 2015-05-28 | パナソニックＩｐマネジメント株式会社 | 測距撮像システム |
| US9182490B2 (en) | 2013-11-27 | 2015-11-10 | Semiconductor Components Industries, Llc | Video and 3D time-of-flight image sensors |
| CN103616696B (zh) * | 2013-11-27 | 2015-10-21 | 中国电子科技集团公司第三十八研究所 | 一种激光成像雷达装置及其测距的方法 |
| EP4016981A3 (en) | 2013-12-24 | 2022-09-21 | Sony Depthsensing Solutions | A time-of-flight camera system |
| US20150192677A1 (en) | 2014-01-03 | 2015-07-09 | Quanergy Systems, Inc. | Distributed lidar sensing system for wide field of view three dimensional mapping and method of using same |
| EP3092806A4 (en) | 2014-01-07 | 2017-08-23 | Nokia Technologies Oy | Method and apparatus for video coding and decoding |
| US10244223B2 (en) | 2014-01-10 | 2019-03-26 | Ostendo Technologies, Inc. | Methods for full parallax compressed light field 3D imaging systems |
| CN103760567B (zh) * | 2014-01-27 | 2016-06-15 | 中国科学院半导体研究所 | 一种具有测距功能的被动成像系统及其测距方法 |
| US9756319B2 (en) * | 2014-02-27 | 2017-09-05 | Harman International Industries, Incorporated | Virtual see-through instrument cluster with live video |
| DE102014103010A1 (de) | 2014-03-06 | 2015-09-10 | Skidata Ag | Digitalkamera |
| WO2015136099A2 (en) | 2014-03-14 | 2015-09-17 | Mesa Imaging Ag | Optical imaging modules and optical detection modules including a time-of-flight sensor |
| GB2524478A (en) | 2014-03-20 | 2015-09-30 | Nokia Technologies Oy | Method, apparatus and computer program product for filtering of media content |
| JP6481846B2 (ja) * | 2014-03-27 | 2019-03-13 | 日本精機株式会社 | 車両用警報装置 |
| US9360554B2 (en) | 2014-04-11 | 2016-06-07 | Facet Technology Corp. | Methods and apparatus for object detection and identification in a multiple detector lidar array |
| US9451141B2 (en) | 2014-04-19 | 2016-09-20 | Massachusetts Institute Of Technology | Methods and apparatus for demultiplexing illumination |
| US9756312B2 (en) | 2014-05-01 | 2017-09-05 | Ecole polytechnique fédérale de Lausanne (EPFL) | Hardware-oriented dynamically adaptive disparity estimation algorithm and its real-time hardware |
| US9921300B2 (en) * | 2014-05-19 | 2018-03-20 | Rockwell Automation Technologies, Inc. | Waveform reconstruction in a time-of-flight sensor |
| GB201409625D0 (en) * | 2014-05-30 | 2014-07-16 | Isis Innovation | Vehicle localisation |
| US9185391B1 (en) | 2014-06-17 | 2015-11-10 | Actality, Inc. | Adjustable parallax distance, wide field of view, stereoscopic imaging system |
| IL233356A (en) | 2014-06-24 | 2015-10-29 | Brightway Vision Ltd | Sensor-based imaging system with minimum wait time between sensor exposures |
| US9753351B2 (en) | 2014-06-30 | 2017-09-05 | Quanergy Systems, Inc. | Planar beam forming and steering optical phased array chip and method of using same |
| US9575184B2 (en) | 2014-07-03 | 2017-02-21 | Continental Advanced Lidar Solutions Us, Inc. | LADAR sensor for a dense environment |
| US10237534B2 (en) * | 2014-07-07 | 2019-03-19 | Infineon Technologies Ag | Imaging device and a method for producing a three-dimensional image of an object |
| US9869753B2 (en) | 2014-08-15 | 2018-01-16 | Quanergy Systems, Inc. | Three-dimensional-mapping two-dimensional-scanning lidar based on one-dimensional-steering optical phased arrays and method of using same |
| US9239264B1 (en) * | 2014-09-18 | 2016-01-19 | Joseph R. Demers | Transceiver method and apparatus having phase modulation and common mode phase drift rejection |
| IL235359A (en) | 2014-10-27 | 2015-11-30 | Ofer David | Simulates a wide-dynamic-range environment with a high intensity beam / reflector |
| US9218534B1 (en) * | 2014-11-17 | 2015-12-22 | Tandent Vision Science, Inc. | Method and system for classifying painted road markings in an automotive driver-vehicle-assistance device |
| JP6397318B2 (ja) * | 2014-11-26 | 2018-09-26 | 浜松ホトニクス株式会社 | 電場ベクトル検出方法及び電場ベクトル検出装置 |
| US9635231B2 (en) | 2014-12-22 | 2017-04-25 | Google Inc. | Time-of-flight camera system and method to improve measurement quality of weak field-of-view signal regions |
| US20180176483A1 (en) | 2014-12-29 | 2018-06-21 | Metaio Gmbh | Method and sytem for generating at least one image of a real environment |
| US20170230638A1 (en) | 2015-02-26 | 2017-08-10 | Dual Aperture International Co. Ltd. | Depth Measurement Techniques for a Multi-Aperture Imaging System |
| US10036801B2 (en) | 2015-03-05 | 2018-07-31 | Big Sky Financial Corporation | Methods and apparatus for increased precision and improved range in a multiple detector LiDAR array |
| US10000000B2 (en) | 2015-03-10 | 2018-06-19 | Raytheon Company | Coherent LADAR using intra-pixel quadrature detection |
| CN104835145B (zh) * | 2015-04-09 | 2017-09-12 | 电子科技大学 | 基于自适应Codebook背景模型的前景检测方法 |
| EP3121620B1 (de) | 2015-07-21 | 2017-12-20 | HENSOLDT Sensors GmbH | Verfahren zur segmentierung der daten eines 3d-sensors, erzeugt in gegenwart von aerosol-wolken, zur erhöhung des situationsbewusstseins und der lageerkennung von hindernissen |
| US9880267B2 (en) | 2015-09-04 | 2018-01-30 | Microvision, Inc. | Hybrid data acquisition in scanned beam display |
| JP6129268B2 (ja) * | 2015-10-08 | 2017-05-17 | 三菱電機株式会社 | 車両用運転支援システムおよび運転支援方法 |
| EP3182162B1 (en) * | 2015-12-18 | 2022-02-16 | STMicroelectronics (Grenoble 2) SAS | Multi-zone ranging and intensity mapping using spad based tof system |
| EP3423865B1 (en) | 2016-03-01 | 2024-03-06 | Brightway Vision Ltd. | Gated imaging apparatus, system and method |
| US9866816B2 (en) | 2016-03-03 | 2018-01-09 | 4D Intellectual Properties, Llc | Methods and apparatus for an active pulsed 4D camera for image acquisition and analysis |
| US10077007B2 (en) * | 2016-03-14 | 2018-09-18 | Uber Technologies, Inc. | Sidepod stereo camera system for an autonomous vehicle |
| US10451740B2 (en) | 2016-04-26 | 2019-10-22 | Cepton Technologies, Inc. | Scanning lidar systems for three-dimensional sensing |
| US10301041B2 (en) * | 2016-06-09 | 2019-05-28 | California Institute Of Technology | Systems and methods for tracking moving objects |
| KR20180050823A (ko) * | 2016-11-07 | 2018-05-16 | 삼성전자주식회사 | 3차원의 도로 모델을 생성하는 방법 및 장치 |
| US10140690B2 (en) | 2017-02-03 | 2018-11-27 | Harman International Industries, Incorporated | System and method for image presentation by a vehicle driver assist module |
| JP6580761B1 (ja) * | 2018-07-11 | 2019-09-25 | 株式会社フォーディーアイズ | 偏光ステレオカメラによる深度取得装置及びその方法 |
| KR102176093B1 (ko) * | 2018-12-28 | 2020-11-09 | 충북대학교 산학협력단 | 색공간 압축 기법을 이용한 조명 불변 이미지를 획득하는 방법 및 이를 위한 장치 |
| EP4042203A4 (en) * | 2020-02-10 | 2023-05-31 | Hesai Technology Co., Ltd. | ADAPTIVE TRANSMITTER AND RECEIVER FOR LIDAR SYSTEMS |
-
2016
- 2016-03-03 US US15/059,811 patent/US9866816B2/en active Active
-
2017
- 2017-02-28 WO PCT/US2017/019852 patent/WO2017151561A1/en active Application Filing
- 2017-02-28 CN CN201780022670.5A patent/CN109313345B/zh active Active
- 2017-02-28 JP JP2018565248A patent/JP6835879B2/ja active Active
- 2017-02-28 DE DE112017001112.4T patent/DE112017001112T5/de active Pending
- 2017-02-28 KR KR1020187028761A patent/KR20190009276A/ko not_active Application Discontinuation
- 2017-12-22 US US15/853,222 patent/US10298908B2/en active Active
-
2018
- 2018-10-22 US US16/167,196 patent/US10382742B2/en active Active
-
2019
- 2019-08-09 US US16/537,305 patent/US10873738B2/en active Active
- 2019-08-09 US US16/537,331 patent/US10623716B2/en active Active
-
2020
- 2020-12-18 US US17/127,461 patent/US11477363B2/en active Active
-
2022
- 2022-10-17 US US17/967,365 patent/US11838626B2/en active Active
-
2023
- 2023-11-30 US US18/524,180 patent/US20240147062A1/en active Pending
-
2024
- 2024-01-19 US US18/417,282 patent/US20240171857A1/en active Pending
Also Published As
| Publication number | Publication date |
|---|---|
| US10623716B2 (en) | 2020-04-14 |
| US20180295344A1 (en) | 2018-10-11 |
| US20240147062A1 (en) | 2024-05-02 |
| US20230336869A1 (en) | 2023-10-19 |
| US10298908B2 (en) | 2019-05-21 |
| JP2019508717A (ja) | 2019-03-28 |
| US11477363B2 (en) | 2022-10-18 |
| US11838626B2 (en) | 2023-12-05 |
| WO2017151561A1 (en) | 2017-09-08 |
| CN109313345A (zh) | 2019-02-05 |
| US20240171857A1 (en) | 2024-05-23 |
| US9866816B2 (en) | 2018-01-09 |
| US20210258497A1 (en) | 2021-08-19 |
| US20190364262A1 (en) | 2019-11-28 |
| JP6835879B2 (ja) | 2021-02-24 |
| US10873738B2 (en) | 2020-12-22 |
| US20200036958A1 (en) | 2020-01-30 |
| US20190058867A1 (en) | 2019-02-21 |
| US10382742B2 (en) | 2019-08-13 |
| DE112017001112T5 (de) | 2018-11-29 |
| CN109313345B (zh) | 2021-05-28 |
| US20170257617A1 (en) | 2017-09-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11477363B2 (en) | Intelligent control module for utilizing exterior lighting in an active imaging system | |
| US11624835B2 (en) | Processing of LIDAR images | |
| EP3423865B1 (en) | Gated imaging apparatus, system and method | |
| JP7203217B2 (ja) | 構造化光照明付き飛行時間型センサ | |
| US10356337B2 (en) | Vehicle vision system with gray level transition sensitive pixels | |
| CN105723239B (zh) | 测距摄像系统以及固体摄像元件 | |
| KR20210046697A (ko) | 다중 스펙트럼 레인징/이미징 센서 어레이 및 시스템 | |
| US20080007722A1 (en) | Vehicle wheel alignment system scanned beam imaging sensor | |
| EP3563177B1 (en) | System for characterizing surroundings of a vehicle | |
| US20230078063A1 (en) | Distance measurement device and distance measurement system | |
| KR20220155362A (ko) | 이미지 데이터 획득을 위한 장치 및 방법 | |
| CN116753861A (zh) | 基于多波长超表面元件的三维重建系统及三维重建方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal |