KR20020067032A - Cmos-호환형 3차원 이미지 센서 ic - Google Patents
Cmos-호환형 3차원 이미지 센서 ic Download PDFInfo
- Publication number
- KR20020067032A KR20020067032A KR1020027003746A KR20027003746A KR20020067032A KR 20020067032 A KR20020067032 A KR 20020067032A KR 1020027003746 A KR1020027003746 A KR 1020027003746A KR 20027003746 A KR20027003746 A KR 20027003746A KR 20020067032 A KR20020067032 A KR 20020067032A
- Authority
- KR
- South Korea
- Prior art keywords
- pixel
- target
- pulse
- clock
- detector
- Prior art date
Links
- 238000000034 method Methods 0.000 claims abstract description 30
- 238000005259 measurement Methods 0.000 claims abstract description 21
- 238000012545 processing Methods 0.000 claims abstract description 12
- 238000001514 detection method Methods 0.000 claims description 19
- 239000003990 capacitor Substances 0.000 claims description 17
- 230000003287 optical effect Effects 0.000 claims description 9
- 238000012937 correction Methods 0.000 claims description 8
- 230000001934 delay Effects 0.000 claims description 5
- 238000012935 Averaging Methods 0.000 claims 1
- 238000003384 imaging method Methods 0.000 abstract description 10
- 238000004519 manufacturing process Methods 0.000 abstract description 6
- 230000004044 response Effects 0.000 description 14
- 230000006870 function Effects 0.000 description 13
- 230000008859 change Effects 0.000 description 12
- 230000008569 process Effects 0.000 description 7
- 230000000630 rising effect Effects 0.000 description 7
- 238000013459 approach Methods 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 4
- 230000001186 cumulative effect Effects 0.000 description 4
- 238000009826 distribution Methods 0.000 description 4
- 230000010354 integration Effects 0.000 description 4
- 238000009877 rendering Methods 0.000 description 4
- 239000000758 substrate Substances 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 3
- 230000004907 flux Effects 0.000 description 3
- HGCFMGDVMNCLNU-UHFFFAOYSA-N 3-thiophen-2-ylsulfonylpyrazine-2-carbonitrile Chemical compound N=1C=CN=C(C#N)C=1S(=O)(=O)C1=CC=CS1 HGCFMGDVMNCLNU-UHFFFAOYSA-N 0.000 description 2
- XUIMIQQOPSSXEZ-UHFFFAOYSA-N Silicon Chemical compound [Si] XUIMIQQOPSSXEZ-UHFFFAOYSA-N 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 230000003247 decreasing effect Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000005242 forging Methods 0.000 description 2
- 239000012634 fragment Substances 0.000 description 2
- 230000001976 improved effect Effects 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 238000012805 post-processing Methods 0.000 description 2
- 230000001902 propagating effect Effects 0.000 description 2
- 230000035945 sensitivity Effects 0.000 description 2
- 229910052710 silicon Inorganic materials 0.000 description 2
- 239000010703 silicon Substances 0.000 description 2
- 241000282412 Homo Species 0.000 description 1
- 238000005481 NMR spectroscopy Methods 0.000 description 1
- 238000009825 accumulation Methods 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000002305 electric material Substances 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000001939 inductive effect Effects 0.000 description 1
- 230000005923 long-lasting effect Effects 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 230000003071 parasitic effect Effects 0.000 description 1
- 238000005375 photometry Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000002310 reflectometry Methods 0.000 description 1
- 230000008929 regeneration Effects 0.000 description 1
- 238000011069 regeneration method Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 230000003313 weakening effect Effects 0.000 description 1
- 238000003466 welding Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C3/00—Measuring distances in line of sight; Optical rangefinders
- G01C3/02—Details
- G01C3/06—Use of electric means to obtain final indication
- G01C3/08—Use of electric radiation detectors
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
- G01S17/06—Systems determining position data of a target
- G01S17/08—Systems determining position data of a target for measuring distance only
- G01S17/10—Systems determining position data of a target for measuring distance only using transmission of interrupted, pulse-modulated waves
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
- G01S17/06—Systems determining position data of a target
- G01S17/08—Systems determining position data of a target for measuring distance only
- G01S17/10—Systems determining position data of a target for measuring distance only using transmission of interrupted, pulse-modulated waves
- G01S17/14—Systems determining position data of a target for measuring distance only using transmission of interrupted, pulse-modulated waves wherein a voltage or current pulse is initiated and terminated in accordance with the pulse transmission and echo reception respectively, e.g. using counters
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
- G01S17/06—Systems determining position data of a target
- G01S17/46—Indirect determination of position data
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
- G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/483—Details of pulse systems
- G01S7/486—Receivers
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/497—Means for monitoring or calibrating
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
- G06V30/22—Character recognition characterised by the type of writing
- G06V30/228—Character recognition characterised by the type of writing of three-dimensional handwriting, e.g. writing in the air
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/50—Control of the SSIS exposure
- H04N25/53—Control of the integration time
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N3/00—Scanning details of television systems; Combination thereof with generation of supply voltages
- H04N3/10—Scanning details of television systems; Combination thereof with generation of supply voltages by means not exclusively optical-mechanical
- H04N3/14—Scanning details of television systems; Combination thereof with generation of supply voltages by means not exclusively optical-mechanical by means of electrically scanned solid-state devices
- H04N3/15—Scanning details of television systems; Combination thereof with generation of supply voltages by means not exclusively optical-mechanical by means of electrically scanned solid-state devices for picture signal generation
- H04N3/155—Control of the image-sensor operation, e.g. image processing within the image-sensor
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/4802—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Electromagnetism (AREA)
- General Physics & Mathematics (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Computer Networks & Wireless Communication (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Signal Processing (AREA)
- Optical Radar Systems And Details Thereof (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Measurement Of Optical Distance (AREA)
- Solid State Image Pick-Up Elements (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
Abstract
3차원 이미지화 시스템은 CMOS 제조 기술을 사용하여 공통 IC(210) 상에 제조된 화소 광 감지 검출기의 2차원 어레이(230)와 전용 전자 장치 및 해당 처리 회로를 구비한다. 일 실시예에서, 각각의 검출기(240)는 시스템-발산 펄스가 물체 포인트로부터 반사되고 해당 포인트에 포커싱된 화소 검출기에 의해 검출되는 비행기간(TOF)에 직접 비례하는 수의 클록 펄스를 축적하는 관련된 고속 카운터(250)를 갖는다. 특정 화소에서 발산된 광 펄스를 반사하는 물체의 포인트까지 거리의 직접 디지털 측정값은 TOF 데이터를 제공한다. 제 2 실시예에서, 카운터와 고속 클록 회로는 제거되고, 대신에 각각의 화소 검출기가 전하를 축적하고, 축적된 전하량이 왕복 TOF의 직접 측정값을 제공하도록, 각각의 화소 검출기(240)에 전하 축적기(600)와 전자 셔터(SI)가 제공된다.
Description
회로로부터 물체까지의 거리 측정값이 제공되는 전자 회로가 종래 기술에서 공지되어 있고, 도 1의 시스템(10)으로 예시될 수 있다. 도 1의 일반화된 시스템에서, 시스템(10) 내의 이미지화 회로는 물체(20)까지의 거리(WP, Z2, Z3)를 근사시키는데 사용되고, 물체의 상부는 기저부보다 시스템(10)에서 더 먼 거리로 도시되어 있다. 통상적으로 시스템(10)은 광 출력이 렌즈(40)에 의해 포커싱(focus)되고 여기서는 물체(20)인, 이미지화될 물체 방향으로 향하는 광원(30)을 구비한다. 다른 종래 시스템에는 능동 광원(active light source)(30)이 제공되지 않으며 대신에 원하는 물체에 의해 반사되는 주위 광에 의존하고 필요로 한다.
광원(30)에서의 여러 광 단편(fraction)들은 물체(20)의 표면부에 의해 반사될 수 있고, 렌즈(50)에 의해 포커싱된다. 이러한 귀환 광(return light)은 집적 회로(IC)(70) 상에 있는 어레이(array) 내의, 광다이오드 등과 같은, 여러 검출기디바이스(60)에 도달한다. 디바이스(60)는 거리 데이터가 추정될 신(scene) 내에 있는 물체(10) 광도의 렌더링(rendering)을 생성한다. 일부 분야에서 디바이스(60)는 전하 결합 소자(CCD) 또는 CMOS 디바이스의 어레이가 될 수도 있다.
통상적으로 CCD는, 제 1 CCD에 의해 광-검출된 전하가 인접 CCD에 직렬-연결되고, 다음으로 인접 CCD의 출력은 제 3 CCD에 연결되는 등, 소위 형 전하 전송(bucket-brigade)으로 구성될 수 있다. 이러한 형 전하 전송 구성은 CCD 어레이를 포함하는 동일한 IC 상의 회로 제조 과정을 배제한다. 더욱이, CCD에는 임의 판독(random readout)과는 반대로 순차 판독(serial readout)이 제공된다. 예컨대, 만약 CCD 거리 측정기 시스템이 디지털 줌 렌즈 분야에 사용된다면, 대부분의 관련된 데이터가 어레이 내의 소수 CCD에 의해 제공되더라도, 관련된 데이터에 접근하기 위해 전체 어레이를 판독하는, 시간 소모 과정이 필요하다. 스틸 사진 및 일부 동영상 사진 분야에서, CCD-기반 시스템은 여전히 사용된다.
언급한 바와 같이, 물체(20)의 상부는 의도적으로 하부보다 더 먼 거리, 즉 거리는 Z3>Z2>Z1로 도시되어 있다. 거리 측정 자동 포커싱 카메라 분야에서, 디바이스(60)는 물체로부터 얻은 상대 광도 데이터를 검사함으로써 카메라(Z=0)로부터 물체(10)까지의 평균 거리를 근사시킨다. 도 1에서, 물체(20)의 상부는 하부보다 어둡고, 하부보다 먼 거리에 있는 것으로 추정된다. 더욱 복잡한 신에서, 물체까지의 포커싱 거리 또는 배경에 대한 대상물은 광도 변화로 배경과 대상물을 구별함으로써 근사된다. 거리 측정 쌍안경 분야에서, 시계(field of view)는 충분히 작아서 포커싱 내의 모든 물체는 사실상 동일한 거리에 있다. 여러 분야에서, 시스템(10) 내의 회로(80,90,100)는 이러한 신호 처리를 지원한다. 언급한 바와 같이, 만약 IC(70)가 CCD(60)를 포함한다면, 80, 90, 100과 같은 다른 처리 회로는 오프-칩으로 형성된다.
안타깝게도, 반사된 광도 데이터에는 물체의 반사율을 알지 못하기 때문에 실제의 정확한 거리 렌더링이 제공되지 않는다. 따라서, 광택이 있는 표면을 가진 떨어진 물체 표면은 광택이 없는 가까운 물체 표면보다 (아마도) 더 많은 광을 반사할 것이다.
다른 포커싱 시스템은 종래 기술에서 공지되어 있다. 카메라 또는 쌍안경에 사용되는 적외선(IR) 자동 포커싱 시스템은 시계 내의 모든 목표물의 평균 거리 또는 최소 거리인 단일 거리 값을 생성한다. 다른 카메라 자동 포커싱 시스템은 종종 거리를 결정하기 위해 대상물 상에 렌즈를 기계적으로 포커싱하는 것이 필요로 한다. 기껏해야 이러한 종래 포커싱 시스템은 렌즈를 시계 내의 단일 물체 상에 포커싱할 수 있지만, 시계 내의 모든 물체에 대한 거리를 동시에 측정할 수는 없다.
일반적으로, 신 내의 최초 광도값의 재현성 또는 근사성은 가시 시스템(human visual system)이 어떤 물체가 신 내에 존재하는가와 이들의 상대적인 위치를 입체적으로 산정할 수 있게 한다. 일반적인 텔레비젼 스크린 상에 렌더링되는 것과 같은 비입체적인 이미지에 대하여, 인간의 뇌는 과거 경험에 비추어 물체의 외견상 크기, 거리 그리고 모양을 평가한다. 특정화된 컴퓨터 프로그램은특정 조건 하에서 물체 거리를 근사할 수 있다.
입체 이미지는 인간이 물체의 거리를 더욱 정교하게 판단할 수 있게 한다. 그러나 컴퓨터 프로그램으로 입체적인 이미지로부터 물체 거리를 판단하는 것이 시도중이다. 오차가 종종 존재하고, 필요한 신호 처리는 특정화된 하드웨어와 계산을 필요로 한다. 입체적인 이미지는 기껏해야 직접 컴퓨터 사용에 적합한 3차원 이미지를 생성하는 간접적인 방식이다.
많은 이용 분야에서 신의 3차원 렌더링을 직접적으로 얻는 것을 필요로 한다. 그러나 실제로 광도 측정값으로부터 조망축(viewing axis)에 따라 거리 및 속도 데이터를 정확하게 추출하는 것은 어렵다. 그럼에도 불구하고 많은 이용 분야에서 예컨대, 용접될 물체의 정밀한 거리와 속도를 결정해야 하는 조립대 용접 로봇(assembly line welding robot)과 같은 정교한 거리 및 속도 추적을 필요로 한다. 필수적인 거리 측정값은 광 조건의 변화와 상기 언급한 다른 결점으로 인해 오차가 발생할 수 있다. 이러한 이용 분야는 3차원 이미지를 직접 포착할 수 있는 시스템으로 인해 유용해질 것이다.
비록 특정화된 3차원 이미지화 시스템이 핵 자기 공명 및 스캐닝 레이저 촬영 분야에 존재하더라도, 이러한 시스템은 사실상 장비의 비용상 지출을 필요로 한다. 더욱이, 이러한 시스템은 강요적이며, 특정 작업, 예컨대 내부 인체 구조의 이미지화와 같은 것에 전용된다.
다른 이용 분야에서, 스캐닝 레이저 거리 측정 시스템 래스터는 x-축과 y-축 평면으로 레이저 빔을 편향시키는 미러(mirror)를 사용하여 이미지를 스캐닝한다.각각의 미러의 편향 각은 샘플링될 화소의 좌표를 결정하는데 사용된다. 이러한 시스템은 샘플링될 화소를 결정하는 각각의 미러 각이 정교하게 검출될 것을 필요로 한다. 이해할 수 있게, 기계적인 부분을 정밀하게 이동시켜야 하는 것은 이러한 거리 측정 시스템에 부피, 복잡성, 그리고 비용을 부가시킨다. 더욱이, 이러한 시스템은 각각의 화소를 순차적으로 샘플링하기 때문에, 단위 시간당 샘플링될 수 있는 완성된 이미지 프레임의 수는 제한된다.
요약하면, 3차원 이미지화를 생성할 수 있는 시스템이 필요하다. 아마도 이러한 시스템은 검출기와 신호 검출을 처리하는 회로를 포함하는 단일 IC 상에서 구현된다. 이러한 단일 IC 시스템은 CMOS 제조 기술을 사용하여 구현될 수 있고, 소수의 분리된 부품을 필요로 하며 부품을 이동시킬 필요가 없어야 한다. 선택적으로, 시스템은 비순차적 또는 임의의 형태로 검출기로부터 데이터를 출력시킬 수 있다.
본 발명은 이러한 시스템을 제공한다.
본 발명은 일반적으로 거리 측정기 형태의 이미지 센서에 관한 것으로, 특히 CMOS 제조법을 사용하여 단일 집적 회로에 의해 구현될 수 있는 센서에 관한 것이다.
도 1은 종래 기술에 따른 일반적인 광도-기반 거리 측정 시스템을 도시한다.
도 2는 본 발명의 제 1 실시예에 따른 단일 IC 상에서 구현된 3차원 이미지화 시스템을 도시한다.
도 3은 본 발명에 따른 관련된 광자 펄스 검출기와 고속 카운터를 구비하는 개별 화소 검출기를 도시한다.
도 4는 본 발명에 따른 고속 카운터 PRSC 카운터의 바람직한 실시의 블록도이다.
도 5는 본 발명에 따른 세부 구간 커패시터 전하를 측정하기 위한 바람직한 실시예를 도시한다.
도 6a는 본 발명에 따른 T(P), T'(P) 및 ΔT(P) 대 P 를 도시한다.
도 6b는 본 발명에 따른 T(P) 대 ΔT(P) 를 도시한다.
도 7은 본 발명에 따른 클록 펄스 폭 재생 장치(restorer)의 바람직한 실시예를 도시한다.
도 8은 본 발명의 제 2 실시예에 따른 단일 IC 상에서 구현된 3차원 이미지화 시스템을 도시한다.
도 9는 본 발명에 따른 관련된 셔터 스위치와 펄스 적분기를 구비하는 개별 화소 검출기를 도시한다.
본 발명은 광도 데이터에 의존하기 보다는 비행 시간(time-of-flight)(TOF)을 사용하여 실시간으로 거리 및 속도 데이터를 측정하는 시스템을 제공한다. 시스템은 CMOS-호환형이고 부분을 이동시킬 필요없이 3차원 이미지를 제공한다. 시스템은 광자 광 에너지를 감지하는 CMOS-호환형 화소 검출기의 2차원 어레이와 처리 회로를 포함하는 단일 IC 상에서 제조될 수 있다. IC 상의 마이크로프로세서는 광 출력 펄스가 적어도 부분적으로 이미지화될 물체의 표면 상의 포인트에서 반사되는 바람직하게는 LED 또는 레이저 광원을 연속적으로 트리거링(trigger)한다.
오프-칩 필터와 입사 광(incoming light)을 포커싱하는 렌즈를 포함하는 광 시스템은, 어레이 내의 각각의 화소 검출기가 이미지화될 물체 표면 상의 단일 포인트로부터만 광을 수신하도록 한다. 즉 어레이 내의 화소에서 모든 광 경로는 광원에서 반사되는 물체 표면 포인트까지 동일한 길이를 갖는다. 온-칩 측정된 TOF 데이터는 순차적인 순서대신 임의로 출력될 수 있고, 3차원 이미지에 필요한 물체 추적과 다른 측정이 용이하게 이루어진다. 전체 시스템은 작고, 견고하며 상대적으로 적은 오프-칩 이산 부품(off-chip discrete component)을 필요로 한다.
제 1 실시예에서, 2차원 어레이 내의 각각의 화소에 대하여 IC는 관련된 펄스 검출기, 고속 카운터를 추가로 포함하며, 온-칩 고속 클록에 액세싱한다. 각각의 광 발산 펄스가 개시될 때, 각각의 화소 검출기의 카운터는 클록 펄스 카운트 개시하고, 입사 반사 광 광자가 관련된 화소에 의해 검출될 때까지 카운트를 축적한다. 따라서, 각각의 고속 카운터 내에 축적된 카운트 값은 시스템에서 관련된 화소에 해당하는 반사 물체 포인트까지 왕복 TOF의 직접 디지털 측정값(direct digital measure)이다. 온-칩 회로는 이러한 TOF 데이터를 용이하고 동시에 신 내의 물체상의 모든 포인트 또는 모든 물체의 거리와 속도를 측정하는데 이용될 수 있다.
제 2 실시예는 고속 검출기, 카운터, 및 클록을 사용할 필요가 없다. 이러한 실시예에서, IC는 화소 검출기의 유사한 2차원 어레이를 포함하고, 각각의 화소에 대하여 셔터 메커니즘과 전하 적분기를 추가로 포함한다. 셔터 메커니즘은 각각의 화소 검출기에서 커패시터가 될 수 있는 전하 적분기까지의 출력 전하 경로를 턴 온 또는 오프한다. 시스템이 광 펄스를 발산하기 전에, 마이크로콘트롤러는 모든 셔터를 개방하고, 각각의 적분기가 관련된 화소 검출기에 의해 출력되는 임의의 전하를 수집하도록 한다. 물체-반사 광 에너지는 검출기 어레이로 귀환하기 시작하며, 더 가까운 물체 표면 포인트에 포커싱된 화소는 검출을 시작하고 전하를 출력하며, 잠시 후에 더 먼 거리의 포인트에 포커싱된 화소가 마찬가지로 동작을 시작한다. 다시 말하면, 이러한 화소와 관련된 적분기는 더 빠른 시간에 전하를 적분하기 시작한다. 잠시 후에 발산된 광 펄스 폭을 근사하고, 모든 셔터는 (바람직하게 동시에) 폐쇄되며, 따라서 추가의 전하 축적을 종료한다. 각각의 화소에 축적된 전하 크기는 화소가 포커싱된 물체 포인트까지의 직접 왕복 TOF 데이터를 제공한다. 바람직하게 데이터의 일 세트가 대략 발산된 광 펄스 트레인 주파수의 구간 동안 턴온되어 있는 셔터에 의해 수집된다. 이러한 데이터 세트 동안 얻어진 전하는 물체 표면에 대하여 포인트 대 포인트(point-by-point)로 반사된 광도를 나타내고, 더 먼 거리지만 더 많이 반사되는 물체 표면 부분에 의해 유발되는 오차를 수정한다.
본 발명의 다른 특징부과 장점은 바람직한 실시예가 첨부된 도면과 함께 상세하게 전개되는 하기 설명에서 분명하게 개시된다.
도 2는 단일 IC(210) 상에 바람직하게 제조된 본 발명의 3차원 이미지화 시스템을 도시하는 블록도이다. 시스템은 부분을 이동시킬 필요가 없으며 상대적으로 소수의 오프-칩 부품을 가지며, 주로 발광 다이오드(LED) 또는 레이저 소스(220)와 관련된 광 포커싱 시스템을 갖는다. 만약 적합한 차폐물(shielding)이 제공된다면, 레이저 소스(220)를 IC(210)가 제조된 공통 기판 상에 접합시킬 수 있다.
시스템(200)은 화소 검출기(240)의 어레이(230)를 포함하며, 각각의 화소 검출기(240)는 관련된 검출기에 의해 출력되는 검출된 전하를 처리하기 위한 전용 회로(250)를 갖는다. 통상적인 이용에서, 어레이(230)는 100 ×100 화소(230)를 포함할 수 있고, 따라서 100 ×100 처리 회로(250)를 갖는다. 바람직하게 IC(210)는 또한 마이크로프로세서 또는 마이크로콘트롤러 유닛(260), (바람직하게 RAM과 ROM을 포함하는) 메모리(270), 고속의 분배가능한 클록(280), 그리고 여러 계산 및 입/출력(I/O) 회로(285)를 포함한다. 다른 기능중에서, 콘트롤러 유닛(260)은 물체까지의 거리와 물체 속도 계산을 수행할 수 있다. 바람직하게 화소 감지 검출기의 2차원 어레이(230)는, 동일한 IC 상에 회로(250,260,270,280,285)를 제조할 수 있는, 표준 상업 실리콘 기술(standard commercial silicon technology)을 사용하여 제조된다. 이해할 수 있게, 동일한 IC 상에 화소 검출기 어레이를 갖는 회로를 제조하는 능력은 짧은 신호 경로로 인하여 처리 시간 및 지연 시간을 단축시킬 수 있다.
각각의 화소 검출기는 전류 소스, 이상 다이오드(ideal diode), 그리고 병렬 임피던스(shunt impedance) 및 노이즈 전류 소스의 병렬 조합으로서 표시된다. 각각의 화소 검출기는 화소 검출기에 들어오는 입사 광자 에너지(incoming photon energy)의 양에 비례하여 전류를 출력한다. 바람직하게 CMOS 제조법은 CMOS 화소 다이오드의 어레이 또는 포토게이트 검출기 디바이스(photogate detector device)를 구현하는데 사용된다. 예컨대 광다이오드는 디퓨전-투-웰(diffusion-to-well), 또는 웰-투-서브스트레이트(well-to-substrate) 접합을 사용하여 제조될 수 있다. 웰-투-서브스트레이트 광다이오드는 적외선(IR) 광에 더 민감하고, 더 작은 커패시턴스를 나타내기 때문에 바람직하다.
도 3에 도시된 바와 같이, 회로(250)는 각각의 화소 검출기(240)와 관련하고, 펄스 피크 검출기(300), 고속 카운터(310)를 포함하며, 고속 클록(280)에 액세싱한다. 바람직하게 IC(210) 상에 형성된, 고속 클록(280)은 펄스가 출력되는 동안 대략 0.1%의 동작 주기를 가지며 대략 2GHz의 고정 주파수에서 고주파 클록 펄스(대략 250ns 펄스 폭)의 연속 트레인을 출력한다. 물론, 다른 고속 클록 파라미터도 대체하여 사용할 수 있다. 이러한 펄스 트레인은 각각의 고속 카운터(310)의 입력 포트에 연결된다. 바람직하게 각각의 카운터(310) 또한 개시(START) 신호(카운트를 개시)를 수신하는 포트, 종료(STOP) 신호(카운트를 종료)를 수신하는 포트, 그리고 제어(CONTROL) 신호(축적된 카운트를 재설정)를 수신하는 포트를 갖는다. 제어(CONTROL) 및 개시(START) 신호는 콘트롤러(260)로부터 이용가능하고, 클록(CLOCK) 신호는 클록 유닛(280)으로부터 이용가능하며, 종료(STOP) 신호는 펄스 피크 검출기(300)로부터 이용가능하다.
개괄하면, 시스템(200)은 다음과 같이 동작한다. 시간(t0)에서, 마이크로프로세서(260)는 공지된 파장의 광 펄스를 발산하도록 광원(220)에 명령하고, 펄스는 포커싱 렌즈(290')을 통과하여 광속(C), 300000 Km/sec의 속도로 물체(20)까지 이동한다. 만약 광원(220)이 충분히 강력하다면, 렌즈(290')는 필요없을 수 있다.이미지화될 물체의 표면에서 적어도 일부의 광은 검출기 어레이에 의해 감지되도록 시스템(200) 방향으로 반사된다.
시간(t0)에서 또는 이전에, 어레이(230) 내의 각각의 화소 카운터(310)는 콘트롤러(260)로부터 제어(COTROL) 신호를 수신하고, 카운터 내에서 이전에 고정된 임의의 카운트를 재설정한다. 시간(t0)에서, 콘트롤러(260)는 각각의 카운터에 개시(START) 명령을 부여하고, 각각의 카운터는 카운트를 개시하며 클록(280)으로부터 클록(CLOCK) 펄스를 축적한다. 광 펄스의 왕복 비행 시간(TOF) 동안, 각각의 카운터는 클록(CLOCK) 펄스를 축적하는데, 긴 TOF, 즉, 이미지화될 물체 상의 광 반사 포인트와 시스템(200) 사이의 큰 거리를 나타낼수록 더 많은 수의 축적된 클록 펄스를 갖는다.
시스템(200)과 관련된 포커싱 렌즈(290)의 기본 특성은 이미지화될 물체(20) 표면 상의 포인트로부터 반사된 광이 이러한 포인트 상에 포커싱된 어레이 내의 화소로만 들어간다는 것이다. 따라서, 시간(t1)에서, 물체(20) 표면 상에서 가장 인접한 포인트로부터 반사된 광자 에너지는 렌즈/필터(290)를 통과하고 이러한 포인트 상에 포커싱된 어레이(230) 내의 화소 검출기(240)로 들어간다. 렌즈(290)와 관련된 필터는 오로지 광원(220)에서 발산된 파장을 갖는 입사 광이 약해지지 않으면서 검출기 어레이에 들어가게 한다.
어레이(230) 내의 일 특정 화소 검출기(240)는 물체(20) 상의 가장 인접한 표면 포인트 상에 포커싱된다. 관련된 검출기(300)는 이러한 물체 포인트로부터 입사 광자 에너지에 응답하여 화소 검출기에 의해 출력되는 전류를 검출한다. 바람직하게 펄스 검출기(300)는 화소 출력 전류 또는 전압 내의 작지만 빠른 변화를 감지하는 증폭 피크 검출기로서 구현된다. 빠르게 변화하는 출력 전류가 검출되기에 충분히 클때, 검출기(300) 내의 논리 회로(SR 플리플롭)는, 관련된 카운터(310)에 종료(STOP) 신호로서 제공되는, 출력 펄스를 래칭(latch)하기 위해 토글링(toggle)된다. 따라서, 관련된 카운터(310) 내에 축적된 카운트의 수는 물체(20)의 인접한 표면까지의 왕복 TOF, 계산 가능한 거리(Z1)를 나타낸다.
거리(Z1)는 다음 관계식:
Z1 = C ·(t1) / 2
으로부터 결정될 수 있고, 여기서 C는 광속이다. 다소 늦은 시간(t2)에서 광자 에너지는 물체(20)의 다소 더 먼 거리로부터 렌즈(290)에 도달하고, 어레이(230)에 들어가며 또 다른 화소 검출기에 의해 검출된다. 지금까지, 시간(t1)에서 카운트를 종료한 카운터를 제외한 모든 카운터와 마찬가지로, 이러한 다른 검출기와 관련된 카운터는 시간(t0)에서 개시한 클록(CLOCK) 펄스를 계속해서 카운트한다. 시간(t2)에서, 입사 광자 에너지를 수신하고 검출하는 화소와 관련된 펄스 검출기는 관련된 카운터에 종료(STOP) 명령을 부여한다. 이러한 카운터 내에 축적된 카운트는 물체(20) 상의 중간 포인트까지의 왕복 TOF, 거리(Z2)를 반영한다. IC(210) 내에서, 메모리(270) 내에 저장된 소프트웨어를 실행하는 콘트롤러(260)는 물체 표면 상의 각각의 광이 반사되는 포인트에 대하여 TOF 데이터와 관련된 거리와 속도를 계산할 수 있다. 이러한 데이터, 또는 원래의 TOF 데이터(raw TOF data)는 오프-칩에서 추가로 처리될 데이터(DATA)로서 IC로부터 수출(export)될 수있다. 바람직하게 데이터(DATA)는 컴퓨터 처리 시스템과 호환가능한 형식으로 수출된다.
유사한 방식으로, 시간(t3)에서 어레이 내의 또 다른 화소 검출기는 관련된 펄스 검출기(300)가 관련된 카운터에 종료(STOP) 명령을 부여하기에 충분한 방금-도달한 광자 에너지를 검출한다. 이러한 카운터 내에 축적된 카운트는 물체(20)의 가장 먼 거리(Z3)에 대한 TOF 데이터를 나타낸다.
물론 어레이 내의 일부 화소는 포커싱된 물체 포인트로부터 반사된 광을 충분히 수신하지 않을 수도 있다. 따라서, (콘트롤러(260)로 프로그래밍될 수 있는) 사전결정된 시간양 후에, 센서 어레이 내의 각각의 화소와 관련된 카운터는 펄스 검출에 기인하여 종료되거나, 또는 거리(Z=무한대)에서의 목표물에 해당하는 카운트를 고정하는 것으로 가정한다.
시스템(200)이 처리될(mat) 물체까지의 표면 거리를 계산하는데 사용되는, 동영상 사진 분야에서, 센서 어레이는 연속적으로 초당 30 프레임으로, 즉 각각의 프레임이 0.33초 보다 작게 지속되도록 동작한다. 이러한 이용 분야에서, 대략 50,000Km(Z=C·0.33s/2) 보다 큰 거리에 있는 물체는 검출될 수 없다. 그러나, 실제 이용 분야에서, 시스템(200)은 일반적으로 100m의 범위 이하에 있는 물체를 이미지화하는데 사용되고 상기 이론적인 제한은 문제가 되지 않는다. 따라서, 사전결정된 시간은 대략 660ns(100m·2/C)이고, 660ns 이후에 피크 검출 펄스를 출력하지 않는 화소는 Z=무한대인 거리의 목표물 이미지 포인트에 포커싱되는 것으로 가정한다.
각각의 검출된 반사 광 펄스를 이용하여, 어레이 내의 각각의 화소에 대한 카운터-계산된 TOF 거리 값이 결정되고 유닛(270)과 관련된 RAM 내의 프레임 버퍼에 바람직하게 저장된다. 바람직하게 마이크로프로세서(260)는 RAM에 저장된 연속적인 프레임이 시계 신내의 물체와 동일한지를 검사한다. 다음으로 마이크로프로세서(260)는 물체 속도를 계산할 수 있다. 거리와 속도 계산에 추가하여, 마이크로프로세서와 관련된 온-칩 회로는 원하는 이미지 형태를 인식하도록 프로그래밍될 수 있다. 임의의 또는 모든 이러한 데이터(도 2에 설명된 데이터(DATA))는 추가로 처리되기 위해 IC로부터 외부 컴퓨터까지 범용 직렬 버스(USB)를 통해 수출될 수 있다.
상기 실시예는 세 개의 분리된 시간(t1,t2,t3)에서 광자 에너지를 수신하는 세 개의 화소 검출기가, 물체(20)까지의 거리(Z1,Z2,Z3)를 계산하는데 사용될 수 있는 카운트를 축적하는, 관련된 카운터를 어떻게 턴-오프하는지를 설명한다. 실제로, 본 발명은 각각의 광 펄스당 3 개가 아닌 1000 또는 10000 개의 계산을 어레이의 크기에 따라 처리한다. 이러한 처리는, 예컨대 메모리(280) 내에 저장된 (또는 저장가능한) 루틴을 실행하는 마이크로프로세서(260)를 사용하여, IC 칩(210) 상에서 이루어진다. 어레이 내의 각각의 화소 검출기는 검출기 어레이 상에 고유의 (x,y) 축 위치를 가지며, 각각의 화소 검출기와 관련된 고속 카운터에서 출력되는 카운트는 고유하게 동일한지를 확인할 수 있다. 따라서, 2차원 검출 어레이(230)에 의해 얻어진 TOF 데이터는 3차원 물체 표면까지의 거리가 제공되도록 처리되는 신호가 될 수 있다.
CMOS-호환가능한 검출기(240)로부터의 출력은, 만약 필요하다면 임의의 순서로 TOF 데이터(DATA)를 출력할 수 있는, 임의의 방식으로 액세싱될 수 있다.
광원(220)은, 비록 다른 파장으로 대체하여 사용가능하지만, 바람직하게는 대략 800nm 파장의 에너지를 발산하는 LED 또는 레이저이다. 800nm 파장 이하에서, 발산된 광은 가시광이 되기 시작하며, 레이저를 만들기는 더욱 어렵다. 900nm 이상에서 레이저 효율은 급속히 떨어지며, 여하튼, 1100nm는 IC(210)과 같은 실리콘 기판 상에서 제조되는 디바이스에 대하여 너무 높은 파장이다. 설명한 바와 같이, 특정 파장을 갖는 발산된 광 펄스와, 다른 파장의 입사 광을 필터링함으로써, 시스템(200)은 주위 광과 무관하게 동작가능하다. 어둠 속에서 동작하는 시스템(200)의 능력은 보안 및 군사용 이미지화 분야에 유용할 수 있다.
설명한 바와 같이, 렌즈(290)는 어레이 내의 각각의 화소가 시계 내의 일 특정 포인트(물체 표면 포인트)에서만 광을 수신하도록 센서 어레이(230) 상에 필터링된 입사 광 에너지에 포커싱된다. 광파 전파(light wave propagation) 특성은 일반적인 렌즈(290)가 광을 센서 어레이 상에 포커싱하는데 사용될 수 있게 한다. 만약 렌즈가 발산된 광을 포커싱하는데 필요하다면, 미러-형상의 장치 사용으로 단일 렌즈가 290, 290'에 사용될 수 있다.
실제 이용 분야에서, 바람직하게 센서 어레이(230)는 1cm에 속하는 목표물 거리를 구분하는 충분한 해상도를 갖는다. 다시 말하면, 이것은 각각의 화소가 70ps(2.1cm/C)에 속하는 시차(time difference)를 분해할 수 있어야 한다. CMOS-구현 시스템 명세서의 의하여, 고속 카운터(310)는 대략 100ps 이내에까지 시간을분해할 수 있어야 하고, 피크 펄스 검출기(300)는 또한 대략 수 마이크로볼트(㎶)에 속하는 검출 감도를 갖는 대략 100ps를 분해할 수 있는 저잡음 고속 유닛이 되어야 한다. 정교한 거리 측정은 펄스 검출기 응답 시간이 전체 경과 시간에서 제거될 것을 필요로 한다. 최종으로, 회로(280)에서 출력되는 클록(CLOCK) 신호는 대략 100ps에 속하는 구간을 가져야 한다.
상기 설명한 바와 같이, 각각의 카운터(310)는 바람직하게 1cm에 속하는 거리를 분해할 수 있으며, 대략 70ps의 시간을 분해할 수 있다. 70ps 주기의 12-비트 카운터를 사용하는 것은 대략 40m(212·1 cm)의 최대 시스템 검출 거리를 갖는다. 일반적인 12-비트 카운터를 실행하는 것은 통상적으로 대략 48 게이트를 필요로하고, 각각의 게이트는 통상적으로 30ps를 필요로 하기 때문에, 전체 전파 시간(propagation time)은 대략 1.5ns가 된다. 다음으로 이것은 적어도 대략 1.5ns의 가장 빠른 시스템 클록 주기를 제한한다. 캐리 룩-어헤드 하드웨어(carry look-ahead hardware)를 사용하는 것은 비용상으로 카운터 전파 시간을 감소시키지만, 시스템의 70ps 주기를 렌더링하는 것은 매우 어렵다.
제 1 바람직한 실시예에서, 종종 선형 시프트 레지스터(linear shift register)(LSR)로 불리는, 소위 의사 임의 순차 레지스터(pseudo random sequence counter)(PRSC)가 사용된다. 이렇게 실행된 카운터(310)는 전체 카운터를 통하여 신호를 리플링 또는 전파시킬 필요가 없다. 대신에, 신호는 대략 2 단계의 논리 회로를 통해서만 리플링되고, 현재의 CMOS 기술을 사용하여 60ps 또는 이러한 전파가 구현된다. 한편, 종래 순차 카운터와 다르게, PRSC 카운터는 외견상 수의 임의 순차(random sequence of number)를 통해 카운트한다. 따라서 12-비트 PRSC는 107, 3733, 28 등과 같은 임의의 순서로 0과 4096 사이의 모든 수를 카운트한다. 그러나, 본 발명에서, 이러한 임의성은 디코딩 논리 회로를 사용하여 PRSC-생성 수를 순차 카운트 수로 변환하여 다루어진다. 이러한 변환 동작은 중요한 시간이 아니며, 반사 광 펄스 검출 후에 IC(210) 상의 콘트롤러(260)를 포함하는 보조 논리 회로로 수행될 수 있다.
도 4는 15-비트 PRSC 유닛으로서 구현되는 고속 카운터(310)의 바람직한 실시예를 도시한다. 이러한 실시예에서, PRSC(310)는, 각각의 하나의 비트에 해당하는, 350-0, 350-1, ... 350-14 로 표시된, 15 직렬-연결 시프트 레지스터를 포함한다. 제 1 비트(350-0)의 입력은 전체 시프트 레지스터 내의 다른 비트의 논리 함수이다. 주어진 카운터 비트 길이에 대하여, 카운터의 카운트 길이를 최대화하는 수정 피드백 함수가 Xilnx에서 출판된 (XAPP 052, July 7, 1997, ver 1.1) "Linear Feedback Shift Register Taps"란 제목의 출원인 노트에 개시되어 있으며, 본 명세서에서 참조된다. 피드백 함수이외에 피드백 복잡성에 필요한 비트는 카운터 비트 길이에 의존한다.
최대 카운터 속도와 효율에 대하여, 피드백 함수가 적은 수의 비트를 사용하여 용이하게 구현되는 카운터 비트 길이를 선택하는 것이 유리하다. 상기 언급된 Xilinx 출원인 노트는 가장 간단한 함수가 도 4의 360으로 표시된 두 개의 입력 XNOR 함수가 되는 것을 나타내며, 이것은 10-비트, 15-비트, 17-비트 피드백 레지스터를 추천한다. 카운터 길이는 최종 비트(last bit) 또는 최초 비트(first bit)에 인접한 피드백 비트를 사용하여 피드백 비트 물리적 설계(layout)를 간단하게 한다. 통상적으로 일부 레지스터 비트와 최종 레지스터 비트의 출력은 레지스터의 개시로 피드백된다. 그러나 선형 설계를 갖는 카운터는, 시스템(200)에 사용되는 중요한 카운터의 성능에 대하여 바람직하지 않은 구성인, 최종 비트에서 최초 비트까지 상대적으로 긴 와이어를 통해 피트백 신호를 통과시키는 것을 필요로 한다.
긴 피드백 경로 (그리고 관련된 시간 지연)은 최종 비트와 다른 피드백 태핑(tap) 비트가 전체 레지스터 내의 최초 비트에 인접하도록 적어도 절반으로 카운터를 접음(fold)으로써 방지될 수 있다. 이러한 이유로, 도 4에 도시된 15-비트 카운터가 선택되고, 비트(14와 15)는 XNOR 게이트(360)를 통해 비트(1)로 피드백되며 여러 레지스터는 공통 클록(CLOCK) 신호에 의해 클로킹되는 플립플롭에 의해 구현된다. 이러한 구성은 최종 비트가 물리적으로 최초 비트에 인접하게 한다. 데이터(DATA) 신호는 도시된 각각의 카운터의 최종 레지스터로부터 출력된다. 도 4에 도시된 것처럼, 각각의 카운터(310)의 입력은 클록(CLOCK), 개시(START), 종료(STOP), 그리고 CPU-부여 제어(CONTROL) 신호를 포함한다.
설명한 바와 같이, 카운터/시프트 레지스터는 소수의 게이트 지연에 속하는 주기에서 동작하여야 하고, 고속 카운터를 포함하는 래치 또는 플립플롭은 또한 이러한 주기로 동작해야 한다. 이러한 제한은 소수 게이트 지연을 초과할 수 있는 위상 사이의 가능한 클록 스큐(skew)에 기인하여 다상 클록의 사용을 포함한다. 더욱이, 클록(CLOCK)과 클록의 보상(complement)을 필요로하는 래치는 두 개의 신호 사이의 가능한 초과 스큐에 기인하여 방지된다. 따라서, 바람직한 실시예는 공통 단일 위상 클록(CLOCK) 신호를 사용하고, 각각의 고속 카운터(310)를 구현하는 래치 또는 플립플롭은 보상 클록(CLOCK) 신호를 필요로 하지 않는다. 소위 NORA TSPC 구성(scheme)을 포함하는 실제 단일-위상 클로킹(TSPC) 구성은 관련된 당업자에게 공지되어 있다.
최대 전체 클록 속도는 고속 카운터의 최초 비트에서 피드백 함수의 지연에 의해 제어되고(도 4 참조), 따라서 피드백 함수의 지연은 최소화되어야 한다. 이러한 이유로, 블록(360) 내에 도시된 패스 게이트 구성(pass gate configuration)은 두 개의 입력 XNOR 게이트 함수를 구현하는데 바람직하다.
높은 클록율과 합성 70ps 고속 카운터 성능은 0.18 마이크로 공정을 통해 달성가능하다. 그러나 이러한 성능은 800nm의 IR 파장 광 검출이 제공될 수 있는 더 큰 감도를 얻는데 필요한 0.35 마이크로 또는 더 큰 공정을 통해 이루는 것이 어려울 수 있다.
더 큰 제조 게이트 폭의 가능한 사용의 보상을 돕기 위하여, 2단(two-tier)어프로치가 카운터(310)를 구현하는데 사용될 수 있다. 이러한 어프로치에서, 카운트되는 클록(CLOCK)률은 실제로 전체 시스템의 최소 분해가능한 시간보다 더 느리다. 카운터의 각각의 클록 틱(clock tick)은 더 작은 세부 구간(subdivision)으로 추가로 재분할된다. 클록 틱 내에서 소위 세부 구간 커패시터가 충전되고, 커패시터 상의 전하양이 클록(CLOCK) 구간 내의 검출된 광 에너지 펄스의 도달 시간을 확인하는데 사용된다.
예컨대, 서브디바이더(subdivider) 커패시터 충전은 입사 광 펄스 (또는 에코 펄스)가 검출되자마자 개시될 수 있으며, 이러한 커패시터의 충전은 다음 클록 구간의 상승 에지에 의해 고정된다. 그 결과, 서브디바이더 커패시터 상의 전하량은 검출된 귀환 펄스(return pulse)의 개시와 다음 클록 구간의 개시 사이의 차이에 해당한다. 아날로그/디지털(A/D) 변환기는 축적된 서브디바이더 커패시터 전하를 측정할 수 있고 이로부터 충전 시간과 클록 구간 내의 검출된 펄스 도착 시간을 결정할 수 있다.
각각의 클록 틱에 대한 세부 구간의 수는 예컨대, 10 개의 세부 구간에 속하는 정도로 작을 수 있다. A/D 변환 시간은 중요한 요소가 아니고, 변환 비선형성은 소프트웨어에 의해 수정될 수 있다. 따라서, 단순한 A/D 변환기(400)는 도 5에 도시된 것처럼 구현될 수 있고, C2는 세부 구간 커패시터이고, 솔리드 스테이트 스위치(solid state switch)(S1,S2)는 선택적으로 턴온 및 턴오프된다. C2의 방전 속도는 C1/C2 비율에 비례한다. 따라서 C2 상의 전하는 임의의 레벨 이하로 C2 상의 전압을 감소시키는데 필요한 스위칭 주기의 수로부터 결정될 수 있다.
도 4를 참조하면, PRSC 카운터(310)의 카운트 값은 먼저 RAM(메모리(280))에 저장될수 있고, 또한 관련된 세부 구간 커패시터(C2)를 방전시키는데 필요한 스위칭 주기의 수를 카운트하는데 동일한 PRSC 카운터를 사용할 수 있다.
도 2와 도 3을 참조하면, 광검출과 관련된 증폭 회로(240,250)은 극히 낮은 레벨의 입사 광자 에너지를 검출할 수 있어야 하고, 이것은 검출기 출력 상의 신호대잡음비(S/N ratio)가 최대화되어야 한다는 것을 의미한다. 바람직하게 차동 어프로치는 커패시티브 커플링과 전력 공급 잡음의 효과를 감소시키는데 사용된다. 이러한 어프로치에서, 실제의 검출기(240)와 유사한 잡음 특성을 갖는 가상 화소 센서(광다이오드)가 사용된다. 그러나 가상 센서는 입사 광을 검출하는 것을 방지하기 위해 금속으로 덮여 있다. 따라서, 가상 검출기 출력은 광 신호 성분을 갖지 않는 순수 잡음 신호이다. 차동 비교기는 가상 검출기로부터의 순수 잡음 출력과 실제 검출기(240)로부터의 신호 플러스 잡음을 비교한다. 따라서 차동 비교기 출력은 두 개의 입력에 존재하는 공통 모드 잡음을 소거한고, 이로 인해 출력 S/N 비를 개선시킨다.
검출기 응답 시간은 하기 설명한 것처럼 보상되고, 그 결과 검출기 재반복가능성은 잡음에 크게 의존한다. 검출기 출력의 여러 샘플이 얻어지고 검출 시간 오차에 대한 표준 편차를 추가로 감소시키도록 평균화된다. 만약 σ가 하나의 검출 샘플에 대한 오차의 표준 편차라면, n 개의 샘플의 평균에 대한 표준 편차는:
σn= σ/ √n 이다.
실제로, 검출기(240)와 관련된 증폭기 회로(250)는 사실상 100ps보다 더 큰 응답 시간을 가질 수 있다. 게다가, 광원(220)의 슬루 속도(slew rate)는 대략 10ns이고, 응답 시간으로 간주된다. 각각의 이러한 응답 시간은 시스템(200)이 제조되는 기술 특성에 의해 변화되지만 물체(20)까지의 거리와는 독립되어 있다. 검출기와 광원 응답 시간으로부터 유발되는 추가의 지연은 TOF 측정값으로부터 제거되어야 한다.
Sr(t)를 광원의 응답 곡선, 즉 시간(t0)에서 펄스를 유발할 때 광원 출력의 그래프로 설정하고, P를 물체(20)로부터 반사된 광원 광의 퍼센트로 설정한다. Dr(f(t))를 f(t)의 함수로서 검출기 증폭기의 검출 시간으로 설정하며, 여기서 f(t)는 시간 함수로서 센서 어레이 상에서 빛나는 광의 그래프이다. 따라서
f(t) = P ·Sr(t) 이다.
일단 검출기 어레이(210)가 안정 상태의 동작 온도에 도달한다면, 증폭기와 광원 신호 검출 시간은 오로지 P에만 의존한다. 만약 Z가 물체까지의 거리라면, C는 광속이며, P의 함수로서 전체 검출 시간은
T(P) = Dr(P ·Sr(t)) + Z/C
로 주어진다.
만약 광원 S'r(t)에 대한 다른 응답 시간이 사용된다면, 전체 검출시간은
T'(P) = Dr(P·S'r(t)) + Z/C
로 주어진다. 상기 두 개의 보정 사이의 차이는
ΔT(P) = T(P) - T'(P) = Dr(P·Sr(t)) - Dr(P·S'r(t))
로 얻어진다.
고정되어 공지된 거리 상에서 이루어진 보정 크기를 사용하여, ΔT(P) 대 P와 Dr(P·Sr(t)) 대 P의 표를 구성할 수 있다. 만약 ΔT(P)가 P의 단조라면,ΔT(P)로부터 역검색표를 사용하여 P를 결정하는 것이 가능하다. 이것은 일반적으로 P가 증가함에 따라 ΔT(P)가 감소하는 경우이다. P로부터 또 다른 검색표를 사용하여 Dr(P·Sr(t))를 얻을 수 있다. 따라서 만약 ΔT(P)가 P의 단조라면, Dr(P·Sr(t))는 ΔT(P)로부터 얻어질 수 있다. 검색 과정을 더욱 효율적으로 하기 위해, Dr(P·Sr(t)) = G(ΔT(P)) 대 ΔT(P) 가 또한 보정 크기로부터 직접 얻어질 수 있고, 표 형식으로 저장되며, 따라서 과정에 따라 변화가능한 중간 P를 제거한다.
상기로부터,
Z = C ·(T(P) - G(ΔT(P))
가 얻어지며, 여기서 T(P)와 ΔT(P)는 특정 화소에 대한 측정된 응답 시간이다. 두 개의 보정을 포함하는, T(P)와 ΔT(P)는 직접 측정된 양이며, 따라서 P를 결정할 필요가 없다.
실제로는 S'r(t)=½Sr(t)를 선택할 수 있다. 예컨대, T(P)에 대한 제 1 측정 펄스는 두 개의 동일한 광원으로 조명될 수 있고, 광원중 하나에 의해 측정된 T'(P)는 트리거링될 수 있다. 대신에 다른 선택이 S'(t)에 대하여 선택될 수 있다. 상기 언급된 검색표 및 역검색표중 하나 또는 모두는 IC(210) 상의 메모리, 예컨대 메모리(280)내에 저장될 수 있다.
도 6a는 T(P), T'(P) 및 ΔT(P) 대 P의 예시이다. 지연 T(P)와 T'(P)는 P의 감소하는 값에 따라 증가하는 것을 보여주며, 또한 이들의 차이 ΔT(P)도 P가 감소함에 따라서 증가한다. 도 6b는 T(P) 대 ΔT(P)를 도시하는 예시이다.
검출 시간을 오프셋시키는 제 1 고전력 펄스와 제 2 저전력 펄스 발산의 잠재적인 문제는 화소 검출기 응답이 저전력 펄스를 감지할 때 최적의 값보다 작을 수 있다는 것이다. 더욱이, 제 2 펄스 데이터를 취할 필요성은 프레임당 얻어지는 샘플의 수를 감소시킬 수 있다. 이러한 문제는 각각의 화소에 들어가는 레이저 광의 전체 양을 측정함으로써 극복될 수 있다. 본질적으로, 검출 시간으로부터 적분 시간을 제거하는 것은 적분 시간을 알아야 한다. 적분 시간은 레이저 광의 발산 펄스에 응답하여 화소 센서 상에 증착된 전체 전하를 검사함으로써 결정된다.
따라서, 만약 전체 증착된 전하가 100ns 펄스 폭동안 3mV이고, 검출기 트립-포인트가 0.5mV라면, 검출 시간은 16ns(100ns ·(0.5/3))이다. 화소 검출기에서 전하의 1ns 허용 오차는 대략 6%의 정확도로 검출되고, 대략 180㎶의 전압 측정 해상도를 갖는다. 다음으로 이것은 전하량이 정확한 측정을 시도하기 전에 사실상 개선(boost)되는 것을 암시한다. 이것은 전하가 발산된 광원의 여러 펄스, 예컨대 프렘임당 100번의 측정에 걸쳐 화소 검출기 상에 축적됨으로써 이루어진다. 세 번의 프레임 이후에, 축적된 전압은 900mV에 속한다. 8-비트 아날로그-디지털 변환기는 이러한 전압을 대략 1%의 해상도로 측정할 수 있으며, 이로부터 각각의 화소 증폭기에 대한 전압 트립-포인트의 측정 지식과 적분 시간이 확인가능하다.
설명한 바와 같이, 카운터(310)는 100ps에 속하는 주기를 갖는 초고속 클록(CLOCK) 신호를 필요로 하며, 이러한 클록(CLOCK) 신호는 어레이(210) 내의 각각의 화소 검출기에서 이용가능해야 한다. 시스템(200)은 1cm ×1cm 크기를 갖는IC 칩 상에 제조되는 것으로 가정하면, 적어도 70ps(1cm/C)는 오로지 클록 신호가 칩의 일측부에서 다른 측부로 가로지르는데 필요하다. 100ps의 주기를 갖는 클록 분배가 될 수 있고 이것은 표준 클록 분배 기술을 넘어서며, 클록 펄스는 클록 주기동안 각각의 화소로 전파된다.
화소 사이의 클록 스큐(clock skew)가 화소 검출기 사이에 신호 통신이 없다는 점에서 중요하지 않음에 따라, 고속 클록(CLOCK)을 어레이 내의 각각의 화소 검출기에 제공하는 임의의 방법으로 충분하다. 그러나, 어레이 내의 각각의 화소 검출기는 고속 클록에 액세싱해야 하며, 이것은, 10000여개의 재생기가 필요하기 때문에, 상대적으로 고가의 위상 동기 루프형(phase lock loop type) 로컬 고속 클록 재생구조 사용을 배제하는 것을 나타낸다.
바람직한 실시예에서, 어레이 내의 화소 위치에 기초하여 사후-처리 단계를 사용하는 효율적인 고속 클록 분배 시스템이 구현된다. 이러한 사후-처리는 검출된 광이 샘플링되기 이전에 수행되고, 어레이 내의 여러 화소에서 클록(CLOCK) 신호의 도달 시간 사이의 차이를 보상할 수 있다. 설명한 바와 같이, 클록 주기는 소수의 인버터 지연에 속하며, 클록 트리(clock tree)는 클록 루트(clock root)에서 각각의 화소까지 많은 레벨의 논리 회로를 가질 수 있다. 그러나, 화소 사이의 클록 스큐는 상대적으로 중요하지 않기 때문에, 클록 루트에서 화소까지의 차동 지연이 허용가능하다. 게다가, 클록 트리에 대한 논리 회로 높이(인버터의 수)조차도 다른 화소를 위해 다를 수 있다.
표준 클록 분배 시스템에서, 하나의 클록 신호는 다음 클록 위상이 시작하기전에 루트에서 화소까지 완전하게 전파하는데 충분한 시간을 갖는다. 그러나, 주기는 인버터 지연에 속하고, 클록 루트에서 화소까지 많은 수의 인버터가 있을 수 있기 때문에, 본 발명에서는 적합하지 않다.
본 발명에서, 주기 제한은 바람직하게 이전에 상승하는 클록 에지가 모든 화소에 도달하기 전에 클록 루트에서 강하하는 클록 에지를 생성함으로써 이루어진다. 따라서 클록 트리의 루트는 하나의 클록 위상에서 동작할 수 있지만, 클록 트리의 리브(leaves)는 이전의 클록 위상 또는 주기 상에서 동작할 수 있다.
각각의 클록 주기는 클록 루트에서 리브까지 이동하는 펄스로서 간주될 수 있고, 임의의 주어진 시간에서 클록 트리는 루트에서 리브까지 동시에 이동하는 여러 파를 가질 수 있다. 그러나, 기생 커패시턴스와 디바이스 크기에 따라서, 파의 상승 에지와 하강 에지는 클록 트리를 통해 다소 다른 속도로 이동할 수 있다. 그 결과, 소수의 논리 회로 레벨 후에 파의 후부(back)는 파의 전부(front)를 따라 잡을 수 있다. 이것이 발생할 때, 파는 소멸하고 클록 펄스는 센서 화소까지 하향으로 전파하지 않는다. 이러한 현상은 특히 파 펄스가 매우 좁을 때 발생하며, 클록 주기가 매우 짧을 때 발생한다.
도 7은 이러한 파 소멸을 방지하는 클록 펄스 폭 복원기(500)의 바람직한 실시예를 도시한다. 회로(500)는 하강(각각 상승) 클록 에지가 회로 입력부에서 검출될 때까지 상승(각각 하강) 클록 에지가 회로 출력부로 전파되는 것을 방지한다. 이것은 상승(각각 하강) 에지와 하강(각각 상승) 에지가 회로(500)에 의해 생성된 지연에 해당하는 적어도 지연(d)까지 분리되도록 한다. 클록 펄스 폭은 버퍼 세그먼트를 추가 또는 제거함으로써 제어될 수 있다. 비록 도 7이 두 개의 직렬-연결 인버터를 포함하는 단일 버퍼 세그먼트(510)을 도시하지만, 더 많거나 또는 더 적은 버퍼 세그먼트가 펄스 폭을 조절하는데 사용될 수 있다.
도 2를 참조하면, 온-칩 프로세서(260) 및/또는 관련된 메모리(270)는 실제 경과한 시간값의 PRSC 수열을 디코딩하는데 사용될 수 있다. 또한 프로세서(260)는 검출기 지연 제거화 클록 스큐 수정에 기초하여 화소 위치를 수행할 수 있고, 또한 검출 시간 표준 오차를 감소시키도록 여러 샘플을 평균할 수 있다.
상기 언급한 바와 같이, 본 발명의 제 1 실시예에서 수용가능한 가장 빠른 클록(CLOCK) 신호와 고속 카운터가 제공되도록 시도될 수 있다. 따라서, 제 2 실시예에는 클록 회로와 고속 카운터가 제거되어 제공될 수 있다.
제 2 바람직한 실시예가 도 8에 도시되어 있고, 시스템(200')은 화소 검출기(240)의 2차 어레이(230), 관련된 셔터를 갖는 각각의 화소 검출기 그리고 전하 축적기 또는 적분기 회로(600)를 포함한다. 도 2에 도시된 것과 유사한 참조 번호를 갖는 도 8의 부품은 설명된 것과 동일한 번호로 될 수 있다. 따라서 210은 어레이(230), 마이크로프로세서 또는 콘트롤러(260), 메모리 유닛(270), 그리고 입/출력 인터페이스 회로(285)를 포함하는 단일 IC이다. 도 2에 도시된 시스템(200)과 관련하여 설명한 것처럼, 광원(220)은 광 렌즈(290')를 통해 광 펄스를 발산하고, 물체(20)로부터 귀환하는 반사 광은 렌즈와 필터(290)를 통과하여 어레이(230) 내의 화소(240)에 도달한다.
도 9는 각각의 화소 검출기(240)와 관련된 회로(600)의 바람직한 실시예를도시한다. 회로(600) 내에서, 각각의 화소 검출기 출력은 개방(전류 통과) 또는 폐쇄(전류-차단) 셔터(S1)를 통해, 여기서 커패시터(C1)의 기호로 도시된 전하 축적기 또는 적분기에 연결된다. 셔터(S1)는 바람직하게 고속 전자 스위치이지만, 불투명성(opaqueness)이 전기 제어 신호에 응답하여 빠르게 변경될 수 있는 강자성체(ferro-electric material)와 같은 광-기계적 셔터가 될 수도 있다.
게다가, 전기 셔터는 전류-제어된 전류 소스와 같은 제어 소스를 사용하여 구성될 수 있다. 화소 검출기는 수신된 광자의 수에 비례하여 전류(Is)를 발생하고, 전류(Im)를 발생하도록 전류-제어된 전류 소스로 반사될 수 있으며, 여기서 Im= K ·Is, K는 상수이다. 화소 검출기 전하를 직접 측정하기 보다는, 커패시터(C1) 상의 전하가 측정된다. 셔터는 Im= 0 이 되도록 전류-제어된 전류 소스를 턴-오프함으로써 폐쇄될 수 있고, 이러한 경우에, 전류(Is)는 더 이상 커패시터(C1)에 영향을 미치지 않는다.
검출기(240)에 들어가는 임의의 입사 광 광자는 유닛(610)에 의해 증폭되는 전류를 발생한다. 셔터(S1)가 오래 개방될수록, 유닛(610)으로부터 출력된 증폭 전하-검출 화소는 커패시터(C1)를 충전한다. 반대로, 셔터(S1)가 (도 9에 도시된 것처럼) 폐쇄될 때, 전하 축적기 또는 적분기(C1)는 유닛(610)으로부터 추가의 전하를 수신하지 못한다.
따라서, 화소 검출기에 상대적으로 인접한 물체에 대하여, 사실상 물체 표면으로부터 모든 광 펄스 생성 광자는 셔터가 폐쇄되기 전에 검출기에 도달할 수 있다. 그러나, 상대적으로 먼 거리의 물체에 대하여, 광원 펄스의 단부에 기인하는 광자는 셔터가 폐쇄되기 전에 센서에 도달할 충분한 시간을 가질 수 없으며, 이로 인해 버려지게 된다. 셔터에 의해 차단된 펄스의 광자 단편을 계산함으로써, 물체까지의 거리가 계산될 수 있다.
상기 설명한 바와 같이, 콘트롤러 또는 프로세서(260)는 회로(285)가 광원(220)을 구동하여 시간(t0)에서 광 펄스를 발산하게 한다. 그러나, 시간(t0)에서 또는 그 이전에, 콘트롤러(260)는 전하 적분기(C1)가 임의의 전하를 방전하도록 하며, 다음으로 관련된 셔터(S1)를 개방한다. 발산된 광펄스로 조명되는 것에 응답하여, 물체(20) 표면의 다른 부분은 시스템(200') 방향으로 광을 반사 귀환시킨다.
결국, (도 8의 거리(Z1)에서) 물체(20)의 가장 인접한 표면에 포커싱된 화소는 입사 광자를 검출하기 시작한다. 이러한 화소의 전류 전하는 증폭기(610)에 의해 증폭되고, 개방 셔터(S1)를 통해 커패시터(C1)를 충전한다. S1이 오래 개방될수록 C1은 전하를 계속 축적한다. 잠시후, 다소 더 먼 물체 거리에 포커싱된 화소는 입사 광자를 검출하기 시작하고, 자체의 개별 증폭기와 셔터를 통해, 자체의 축적기(C1)에 전하를 축적하기 시작한다.
더 인접한 물체 표면 상에 포커싱된 화소와 관련된 적분기(C1)는 다른 적분기보다 더 빨리 전하를 적분하기 시작하고, 따라서 단위 시간당 더 많은 전하를 축적할 수 있다. 발산된 광 펄스 폭을 근사화한 시간 후에, 콘트롤러(260)는 모든셔터를 바람직하게 동시에 폐쇄한다. 이 순간에, 각각의 축적기(C1) 상에 축적된 전하는 정지되거나 또는 고정된다. 필요에 따라, 일부 또는 모든 셔터가, 동시적으로 보다는 임의성을 포함하여, 임의의 원하는 순차로 개방될 수 있다.
각각의 화소에 대하여 각각의 C1에 축적된 전하 크기는 화소의 포커싱된 물체 포인트까지의 직접 왕복 TOF 데이터를 제공한다: 즉.
i1= C1 ·(ΔV / Δt) 이고,
여기서 i1는 화소 검출기에서 출력된 전류이고, C1은 관련된 전류 적분기이며, ΔV 는 축전된 전하 전류에 의해 유발된 C1 양단의 신호 변화이고, Δt 는 전하가 축적되는 시간이다.
바람직하게 하나의 데이터 세트는 대략 발산된 광 펄스 트레인 주파수 구간동안 개방된 모든 셔터에 의해 수집된다. 이러한 데이터 세트동안 얻어진 전하는 물체 표면에 대하여 포인트-대-포인트(point-by-point)로 반사된 광도를 나타낸다. 이러한 전하는 더 먼 거리지만 더 많이 반사된 물체 표면 부분에 의해 유발된 오차를 수정한다. TOF ≥0 에 대하여,
TOF = [(Vcs - Vos)/Vcs] ·PW + Tep - Ts
로 식이 주어지며, 여기서 Vcs는 연속 개방 셔터에 기인한 신호이고, Vos는 사실상 광 펄스 폭 구간 동안 개방된 셔터에 기인한 신호이며, Tep는 펄스 단부의 시간이고, Ts는 셔터가 폐쇄된 시간이며, PW는 광 펄스 폭의 시간 구간이다.
만약 셔터가 개방되어 있다면, 화소 검출기에 들어가는 광자의 전체 수는
No= K ·PW
이며, 여기서 K는 물체의 조명 세기, 물체 반사율, 그리고 렌즈 구경에 따른 상수이다. 만약 Ts- (t0+ 2Z/C) < PW 라면, 셔터는 반사된 광 펄스 에너지의 후미(tailend)를 잘라내고, 화소 검출기에 수신된 유효 광자의 수는
Ns= K ·(Ts- t0- 2Z/C)
이고, 이것으로부터 거리(Z)는
Z = C/2 ·(Ns·PW / No+ t0- Ts)
로 얻어진다.
이러한 방법의 정확도는 얼마나 정확하게 Ns가 측정될 수 있는가에 달려있다. Ns와 No는 센서 상의 결과 전하를 측정함으로써, 예컨대 A/D 변환기를 사용하여 측정된다. 대략 10W의 레이저 광원 전력을 사용하여, 1cm의 거리차는 대략 100 광자의 Ns의 변화(ΔNs)를 유발할 수 있다. 정확성을 증대시키기 위해 누적 방식(cumulative fashion)으로 여러 펄스가 수행될 수 있다.
이러한 기술을 사용하여, 광원은 펄스 사이의 센서 상의 전하를 제거하지 않고 반복적으로 펄스된다. 따라서 센서 상의 전하는 광 에너지가 검출되는 동안 모든 반사된 광 펄스에 의해 발생된 누적 전하이다. 누적 전하는 모든 펄스의 수(n)에 걸쳐 합산된 유효 광자의 누적된 수에 비례한다. 예컨대, 1cm 거리차에 대한 전하차는 n ·ΔNs 이고, n = 100 에 대하여 10000 광자에 속하는 전하차 n ·ΔNs가 얻어진다.
본 발명의 제 1 및 제 2 실시예를 비교하면, 제 1 실시예에서 상대적으로 오래-계속되고 늦게 도달하는 광자 에너지 양의 개시를 검출하는 것이 상대적으로 용이하다. 그러나 제 2 실시예에서, 통상적으로 펄스 폭(PW)은 100ns에 속하고, Vcs 는 대략 2mV 이며, 1cm 해상도에 대하여 TOF의 변화는 대략 100ps 이다. 이러한 예에서, (Vcs - Vos)의 변화는 대략 2㎶ (2mV / 100ns ·0.1ns)에 속한다. 2㎶ 변화는 상대적으로 적은 전자의 검출을 나타내고 일반적으로 종래 A/D 변환기로 해상가능하지 않다.
그럼에도 불구하고, (Vcs - Vos)의 전압 변화의 크기는 여러 광 펄스를 발산하고 광자 에너지를 반복적으로 전하 적분기 상에 축적 또는 구성(build-up)함으로써 개선될 수 있다. 따라서, 만약 200 광 펄스가 각 측정마다 발산된다면, 해상될 변화 전압은 400 ㎶ 에 속하고, 크기는 종래 A/D 변환기로 해상가능하다. 축적된 전하 구성(build-up)의 잡음 성분이 임의적이기 때문에, S/N 비는 사실상 개선될 수 있다.
본 발명의 바람직한 실시예는 검출기 어레이와 관련된 전자 장치를 포함하는 동일한 IC 칩 상의 프로세서(260)로 제조될 수 있다. 프로세서(260)는 연속적으로 얻어진 이미지 프레임을 RAM 메모리부(270)에 액세싱하고 저장한다. 각각의 프레임은 각각의 화소에 대한 거리 값을 포함하기 때문에, 프로세서는 각각의 화소에서 이미지 속도 필드를 계산하기 위해 폐쇄 시간 구간에서 센서 어레이에 의해 얻어진 연속 프레임을 비교할 수 있다. 어레이에 일반적인 방향으로 화소에서의 속도 필드는 다음과 같이 용이하게 계산될 수 있다:
Vz= (dn+1- dn) / FrameRate
여기서, (dn+1- dn)는 두 개의 연속 프레임 상의 거리 측정값의 차이다. 두 개의 다른 크기의 속도 필드는 이미지 내의 다른 플랜(plane)의 윤곽을 먼저 확인함으로써 계산될 수 있고, 각각의 플랜은 자체의 배경과 맞물리는(occlude) 물체에 해당한다. 물체 윤곽은 목표에서 센서 어레이까지 거리의 불연속성으로서 명백하게 된다. 윤곽을 확인함으로써, 동일한 물체(예컨대 사람의 머리)에 해당하는 화소-검출된 물체는 동일한 윤곽 내에 모두 있는 것처럼 확인될 수 있다.
윤곽 내의 물체의 이동은 프레임 사이의 윤곽 이동을 식별함으로써 계산된다. 윤곽 내의 화소는 윤곽의 속도인, 균일한 속도로 모두 수신할 수 있다. 물체는 자체의 윤곽을 사용하여 식별될 수 있기 때문에, 온-칩 프로세서를 사용하여 원하는 물체를 추적할 수 있다. 따라서, IC 칩은 물체가 이동할 때마다 전체 물체 위치의 변화를 나타내도록 단일 값(DATA)을 수출한다(export). 따라서, IC 칩으로부터 프레임 속도에서 화소의 전체 프레임을 수출하는 대신에, 원하는 물체 위치의 변화를 나타내는 단일 벡터가 보내질 수 있다. 이렇게 함으로써 칩 입/출력의 거대한 감소를 유발할 수 있고 필요 조건을 처리하는 오프-칩을 크게 감소시킬 수 있다.
다음 청구항에 의해 한정되는 것과 같이 본 발명의 요지와 사상으로부터 벗어나지 않는 수정과 변화가 개시된 실시예로 이루어질 수 있다.
Claims (25)
- 검출기 어레이와 목표물 사이의 거리를 결정하는 방법으로서,(a) 상기 목표물로부터 반사된 광 에너지를 검출하기 위해 적어도 하나의 화소와 관련된 화소 타이머를 갖는 상기 어레이를 배치하는 단계;(b) 시간(t0)에서 에너지 소스로부터 적어도 상기 광 에너지의 제 1 펄스로 상기 목표물을 조명하는 단계;(c) 상기 시간(t0)에서 상기 화소 타이머를 개시하는 단계;(d) 상기 화소가 상기 제 1 펄스의 결과로 상기 목표물에서 반사된 광 에너지를 검출할 때 상기 화소 타이머를 정지시키는 단계;(e) 상기 타이머가 카운트한 시간 구간으로부터 상기 검출기 어레이와 상기 목표물 사이의 거리를 결정하는 단계를 포함하는 방법.
- 제 1 항에 있어서, 상기 검출기 어레이는 임의로 판독될 수 있는 것을 특징으로 하는 방법.
- 제 1 항에 있어서, 상기 단계(e)는 상기 시간 구간의 직접 디지털 측정값을 얻는 것을 특징으로 하는 방법.
- 제 1 항에 있어서, 상기 화소 타이머는 1MHz를 초과하는 클록 속도에서 토글링되는 디지털 카운터인 것을 특징으로 하는 방법.
- 제 1 항에 있어서, 상기 화소 타이머는 의사 임의 순차 디지털 카운터인 것을 특징으로 하는 방법.
- 제 5 항에 있어서, 상기 의사 임의 순차 디지털 카운터는 단일-위상 클록을 사용하는 것을 특징으로 하는 방법.
- 제 1 항에 있어서, 상기 화소 타이머는 서브-클록 구간 커패시터 충전을 포함하는 것을 특징으로 하는 방법.
- 제 1 항에 있어서, 상기 어레이는 상기 각각의 화소가 상기 관련된 화소 타이머를 갖는 다수의 상기 화소를 포함하는 것을 특징으로 하는 방법.
- 제 1 항에 있어서, 상기 단계(b)는 상기 화소의 검출 시간이 보상될 수 있도록 진폭을 변화시키는 출력 펄스를 포함하는 것을 특징으로 하는 방법.
- 제 1 항에 있어서,상기 다중 시간 구간을 생성하기 위해 상기 다중 펄스를 출력하는 단계; 및상기 결정 거리의 신호/잡음 비를 개선하기 위해 상기 다중 시간 구간을 평균하는 단계를 더 포함하는 것을 특징으로 하는 방법.
- 제 1 항에 있어서, 상기 단계(a), 단계(c), 단계(d), 및 단계(e)중 적어도 하나의 단계는 공통 집적 회로 기판 상에서 수행되는 것을 특징으로 하는 방법.
- 광 펄스 발생기를 사용하여 IC와 목표물 사이의 거리를 결정하는 CMOS-구현가능한 집적 회로(IC) 비행 시간(TOF) 측정 시스템으로서,상기 목표물로부터 귀환하는 생성된 광 펄스 에너지를 검출하는 검출기 어레이;상기 각각의 검출기에 대하여, 관련된 카운터;카운트가능한 클록 펄스를 상기 각각의 카운터에 제공하는 시스템 클록; 및상기 각각의 카운터는 상기 생성된 광 펄스의 시작으로 개시되는 상기 클록 펄스 카운트할 수 있고, 상기 각각의 카운터는 관련된 검출기가 상기 생성된 광 펄스로부터 에너지를 검출할 때 클록 펄스를 추가로 카운트할 수 없는 논리 회로를 포함하며,상기 카운터 내에 축적된 카운트는 상기 거리에 비례하는 직접 디지털 측정값을 제공하는 IC.
- 제 12 항에 있어서, 상기 시스템 클록은(a) 1GHz를 초과하는 클록 속도,(b) 단일 위상 펄스인 상기 클록 펄스,(c) 상기 각각의 검출기에서 클록 펄스 위상을 보상하는 상기 클록, 및(d) 상대적인 클록 에지 보전을 유지하는 수단을 포함하는 상기 클록의 그룹중에서 적어도 하나의 특성을 갖는 것을 특징으로 하는 IC.
- 제 12 항에 있어서, 상기 각각의 카운터는 의사 임의 순차 카운터인 것을 특징으로 하는 IC.
- 제 12 항에 있어서, 상기 각각의 카운터의 출력을 측정하기 위해 서브-클록 구간 커패시터 충전을 제공하는 수단을 더 포함하는 것을 특징으로 하는 IC.
- 제 12 항에 있어서, 상기 검출기와 상기 광 펄스 발생기와 관련된 지연을 결정하고 보상하는 수단을 더 포함하는 것을 특징으로 하는 IC.
- 제 12 항에 있어서,(a) 상기 검출기와 상기 광 펄스 발생기와 관련된 지연을 보상하는 상기 IC에 대한 검색 보정표,(b) 상기 검출기와 상기 광 펄스 발생기와 관련된 지연을 보상하기 위해 상기 여러 검출기와 관련된 특성들을 검사하는 수단중에서 적어도 하나를 구비하는 여러 광 펄스에 대한 데이터를 수집하는 수단을 더 포함하는 것을 특징으로 하는IC.
- 제 12 항에 있어서, 상기 목표물과 관련된 데이터를 제공하기 위해 상기 각각의 데이터로부터의 출력을 처리하는 프로세서를 더 포함하는 것을 특징으로 하는 IC.
- 제 18 항에 있어서, 상기 프로세서는(a) 상기 IC에서 상기 목표물까지의 거리,(b) 상기 목표물의 속도,(c) 상기 목표물의 상대적인 형상, 및(d) 상기 목표물의 상대적인 식별중에서 적어도 하나를 결정할 수 있는 것을 특징으로 하는 IC.
- 검출기 어레이와 목표물 사이의 거리를 결정하는 방법으로서,(a) 상기 목표물로부터 반사된 광 에너지를 검출하기 위해 상기 어레이를 배치하는 단계를 포함하고, 상기 어레이는 다수의 화소를 구비하며, 상기 각각의 화소에는 관련된 전하 수집기가 제공되고, 관련된 셔터는 상기 관련된 화소에 의해 출력된 전하를 수집하는 상기 전하 수집기의 능력을 제어하며;(b) 시간(t0)에서, 광 에너지의 펄스로 상기 목표물을 조명하고 상기 화소가 상기 펄스의 결과로 상기 목표물로부터 반사되어 검출된 광 에너지의 전하를 상기수집기에 출력하도록 상기 각각의 셔터를 개방하는 단계;(c) 상기 각각의 수집기내에 상기 관련된 화소에 의해 출력된 전하를 축적하는 단계;(d) 시간(t1)에서, 상기 각각의 펄스의 폭(t1-t0)을 근사하게 일치시키고, 상기 각각의 관련된 수집기가 추가의 전하를 축적할 수 없도록 상기 각각의 셔터를 폐쇄하는 단계; 및(e) 상기 목표물까지의 상기 각각의 화소에 대한 TOF 측정값을 얻기 위해 상기 각각의 수집기와 관련된 전하의 값을 구하는 단계를 포함하며,상기 목표물까지의 거리가 결정되는 방법.
- 제 20 항에 있어서, 상기 목표물의 광 반사율을 나타내는 보정 데이터를 얻기 위해 적어도 상기 펄스 폭의 기간 동안에 상기 각각의 수집기 내에 전하를 축적하는 단계를 더 포함하는 것을 특징으로 하는 방법.
- 제 20 항에 있어서, 상기 광 에너지의 여러 펄스에 대하여 적어도 일부 수집기 내에 전하를 축적하고, 측정 정확도가 개선된 단계를 더 포함하는 것을 특징으로 하는 방법.
- 광 펄스 발생기를 사용하여 IC와 목표물 사이의 거리를 결정하는 CMOS-구현가능한 집적 회로(IC) 비행 시간(TOF) 측정 시스템으로서,상기 목표물로부터 귀환하는 생성된 광 펄스 에너지를 검출하는 검출기 어레이;상기 각각의 검출기에 대한, 관련된 전하 수집기, 및 상기 관련된 검출기에 의해 출력되는 전하를 수집하는 상기 전하 수집기의 능력을 제어하는 관련된 셔터;상기 검출기가 상기 펄스의 결과로 상기 목표물로부터 반사되어 검출된 광 에너지의 전하를 상기 관련된 수집기로 출력하도록 상기 생성된 광 펄스의 시작을 나타내는 시간(t0)에서 상기 각각의 셔터를 개방하는 논리 회로; 및상기 목표물까지의 상기 각각의 화소에 대한 TOF 측정값을 얻기 위해 상기 각각의 수집기 내에 축적되는 전하의 값을 구하는 수단을 포함하고,상기 값이 구해진 축적된 전하는 상기 거리의 측정값을 제공하는 IC.
- 제 23 항에 있어서, 상기 논리 회로는 상기 목표물의 광 반사율을 나타내는 보정 데이터를 얻기 위해 적어도 상기 펄스의 한 구간 동안 상기 각각의 셔터를 개방하는 것을 특징으로 하는 IC.
- 제 23 항에 있어서, 상기 값이 구해진 축적된 전하로부터,(a) 상기 IC에서 상기 목표물까지의 거리,(b) 상기 목표물의 속도,(c) 상기 목표물의 상대적인 형상, 및(d) 상기 목표물의 상대적인 식별을 결정하는 마이크로프로세서를 더 포함하는 것을 특징으로 하는 IC.
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US09/401,059 | 1999-09-22 | ||
US09/401,059 US6323942B1 (en) | 1999-04-30 | 1999-09-22 | CMOS-compatible three-dimensional image sensor IC |
PCT/US2000/025580 WO2001022033A1 (en) | 1999-09-22 | 2000-09-18 | Cmos-compatible three-dimensional image sensor ic |
Publications (1)
Publication Number | Publication Date |
---|---|
KR20020067032A true KR20020067032A (ko) | 2002-08-21 |
Family
ID=23586101
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020027003746A KR20020067032A (ko) | 1999-09-22 | 2000-09-18 | Cmos-호환형 3차원 이미지 센서 ic |
Country Status (6)
Country | Link |
---|---|
US (1) | US6323942B1 (ko) |
EP (1) | EP1218692A4 (ko) |
JP (1) | JP2003510561A (ko) |
KR (1) | KR20020067032A (ko) |
AU (1) | AU4018901A (ko) |
WO (1) | WO2001022033A1 (ko) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100943949B1 (ko) * | 2007-10-09 | 2010-02-26 | 삼성모바일디스플레이주식회사 | 입체 카메라 시스템 및 이의 구동 방법 |
KR101031591B1 (ko) * | 2010-11-17 | 2011-04-27 | 주식회사 룩센테크놀러지 | 고속 대면적 광자 계수형 엑스선 동영상 센서, 이를 포함하는 엑스선 동영상 촬상 시스템 및 픽셀 데이터 독출 방법 |
US8265791B2 (en) | 2008-04-25 | 2012-09-11 | Samsung Electronics Co., Ltd. | System and method for motion control of humanoid robot |
KR101415859B1 (ko) * | 2005-02-28 | 2014-08-06 | 어드밴스드 퓨얼 리서치, 인크 | 방사능 검출을 위한 장치 및 방법 |
US9207065B2 (en) | 2010-09-08 | 2015-12-08 | Samsung Electronics Co., Ltd. | Depth sensing apparatus and method |
KR20190044995A (ko) * | 2017-10-23 | 2019-05-02 | 주식회사 유진로봇 | 이동성 거울을 이용한 광 송수신기, 3차원 거리 측정 장치, 및 이동체 |
Families Citing this family (256)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7028899B2 (en) | 1999-06-07 | 2006-04-18 | Metrologic Instruments, Inc. | Method of speckle-noise pattern reduction and apparatus therefore based on reducing the temporal-coherence of the planar laser illumination beam before it illuminates the target object by applying temporal phase modulation techniques during the transmission of the plib towards the target |
US7584893B2 (en) | 1998-03-24 | 2009-09-08 | Metrologic Instruments, Inc. | Tunnel-type digital imaging system for use within retail shopping environments such as supermarkets |
US6867808B1 (en) | 1999-03-19 | 2005-03-15 | Scott T. Boden | Time domain imager |
US6988660B2 (en) | 1999-06-07 | 2006-01-24 | Metrologic Instruments, Inc. | Planar laser illumination and imaging (PLIIM) based camera system for producing high-resolution 3-D images of moving 3-D objects |
US6448572B1 (en) * | 1999-09-29 | 2002-09-10 | Innovative Technology Licensing, Llc | Ranging three-dimensional laser imager and method |
US20030132950A1 (en) * | 2001-11-27 | 2003-07-17 | Fahri Surucu | Detecting, classifying, and interpreting input events based on stimuli in multiple sensory domains |
US20030132921A1 (en) * | 1999-11-04 | 2003-07-17 | Torunoglu Ilhami Hasan | Portable sensory input device |
US6710770B2 (en) * | 2000-02-11 | 2004-03-23 | Canesta, Inc. | Quasi-three-dimensional method and apparatus to detect and localize interaction of user-object and virtual transfer device |
US20030174125A1 (en) * | 1999-11-04 | 2003-09-18 | Ilhami Torunoglu | Multiple input modes in overlapping physical space |
JP3574607B2 (ja) * | 2000-05-02 | 2004-10-06 | ペンタックス株式会社 | 3次元画像入力装置 |
US6526366B1 (en) * | 2000-05-18 | 2003-02-25 | Intel Corporation | Imaging sensor defect map storage |
US6535275B2 (en) | 2000-08-09 | 2003-03-18 | Dialog Semiconductor Gmbh | High resolution 3-D imaging range finder |
US6906793B2 (en) * | 2000-12-11 | 2005-06-14 | Canesta, Inc. | Methods and devices for charge management for three-dimensional sensing |
US6690354B2 (en) * | 2000-11-19 | 2004-02-10 | Canesta, Inc. | Method for enhancing performance in a system utilizing an array of sensors that sense at least two-dimensions |
US7954719B2 (en) | 2000-11-24 | 2011-06-07 | Metrologic Instruments, Inc. | Tunnel-type digital imaging-based self-checkout system for use in retail point-of-sale environments |
EP1356664A4 (en) * | 2000-12-11 | 2009-07-22 | Canesta Inc | CMOS-COMPATIBLE THREE-DIMENSIONAL IMAGE SENSING USING MODULATION OF QUANTUM OUTPUT |
US6480265B2 (en) * | 2001-03-26 | 2002-11-12 | Deep Optic Ltd. | Active target distance measurement |
JP4930742B2 (ja) * | 2001-03-29 | 2012-05-16 | 株式会社トプコン | 位置検出装置 |
GB2374743A (en) * | 2001-04-04 | 2002-10-23 | Instro Prec Ltd | Surface profile measurement |
JP4405155B2 (ja) | 2001-04-04 | 2010-01-27 | インストロ プレシジョン リミテッド | 画像解析システム |
JP2003075137A (ja) * | 2001-09-04 | 2003-03-12 | Minolta Co Ltd | 撮影システム並びにそれに用いられる撮像装置および3次元計測用補助ユニット |
US6583863B1 (en) * | 2001-10-15 | 2003-06-24 | The Regents Of The University Of California | Single photon imaging and timing array sensor apparatus and method |
US7071982B2 (en) * | 2001-10-24 | 2006-07-04 | Texas Instruments Incorporated | Adaptive relative and absolute address coding CMOS imager technique and system architecture |
US7474345B2 (en) * | 2001-10-24 | 2009-01-06 | Texas Instruments Incorporated | System and method to facilitate time domain sampling for solid state imager |
US8339379B2 (en) * | 2004-04-29 | 2012-12-25 | Neonode Inc. | Light-based touch screen |
US7340077B2 (en) * | 2002-02-15 | 2008-03-04 | Canesta, Inc. | Gesture recognition system using depth perceptive sensors |
US9959463B2 (en) | 2002-02-15 | 2018-05-01 | Microsoft Technology Licensing, Llc | Gesture recognition system using depth perceptive sensors |
US10242255B2 (en) | 2002-02-15 | 2019-03-26 | Microsoft Technology Licensing, Llc | Gesture recognition system using depth perceptive sensors |
KR100547882B1 (ko) * | 2002-02-26 | 2006-02-01 | 삼성전자주식회사 | 안테나 선택 다이버시티를 지원하는 이동통신시스템에서순방향 채널 상태 정보를 송수신하는 방법 및 장치 |
WO2003073359A2 (en) * | 2002-02-26 | 2003-09-04 | Canesta, Inc. | Method and apparatus for recognizing objects |
US6661500B1 (en) * | 2002-03-15 | 2003-12-09 | National Semiconductor Corporation | Integrated range finder and imager |
US6657706B2 (en) * | 2002-03-27 | 2003-12-02 | Sarnoff Corporation | Method and apparatus for resolving relative times-of-arrival of light pulses |
US6924887B2 (en) * | 2002-03-27 | 2005-08-02 | Sarnoff Corporation | Method and apparatus for generating charge from a light pulse |
AU2003223568A1 (en) * | 2002-04-10 | 2003-10-27 | The Johns Hopkins University | The time of flight system on a chip |
US6894771B1 (en) | 2002-05-15 | 2005-05-17 | Hunter Engineering Company | Wheel alignment apparatus and method utilizing three-dimensional imaging |
US7161579B2 (en) | 2002-07-18 | 2007-01-09 | Sony Computer Entertainment Inc. | Hand-held computer interactive device |
US7883415B2 (en) | 2003-09-15 | 2011-02-08 | Sony Computer Entertainment Inc. | Method and apparatus for adjusting a view of a scene being displayed according to tracked head motion |
US7623115B2 (en) | 2002-07-27 | 2009-11-24 | Sony Computer Entertainment Inc. | Method and apparatus for light input device |
US8797260B2 (en) | 2002-07-27 | 2014-08-05 | Sony Computer Entertainment Inc. | Inertially trackable hand-held controller |
US7646372B2 (en) | 2003-09-15 | 2010-01-12 | Sony Computer Entertainment Inc. | Methods and systems for enabling direction detection when interfacing with a computer program |
US7102615B2 (en) * | 2002-07-27 | 2006-09-05 | Sony Computer Entertainment Inc. | Man-machine interface using a deformable device |
US9393487B2 (en) | 2002-07-27 | 2016-07-19 | Sony Interactive Entertainment Inc. | Method for mapping movements of a hand-held controller to game commands |
US8570378B2 (en) | 2002-07-27 | 2013-10-29 | Sony Computer Entertainment Inc. | Method and apparatus for tracking three-dimensional movements of an object using a depth sensing camera |
US7627139B2 (en) | 2002-07-27 | 2009-12-01 | Sony Computer Entertainment Inc. | Computer image and audio processing of intensity and input devices for interfacing with a computer program |
US8313380B2 (en) | 2002-07-27 | 2012-11-20 | Sony Computer Entertainment America Llc | Scheme for translating movements of a hand-held controller into inputs for a system |
US9474968B2 (en) | 2002-07-27 | 2016-10-25 | Sony Interactive Entertainment America Llc | Method and system for applying gearing effects to visual tracking |
US7760248B2 (en) | 2002-07-27 | 2010-07-20 | Sony Computer Entertainment Inc. | Selective sound source listening in conjunction with computer interactive processing |
US8686939B2 (en) | 2002-07-27 | 2014-04-01 | Sony Computer Entertainment Inc. | System, method, and apparatus for three-dimensional input control |
US6906302B2 (en) * | 2002-07-30 | 2005-06-14 | Freescale Semiconductor, Inc. | Photodetector circuit device and method thereof |
US6777662B2 (en) * | 2002-07-30 | 2004-08-17 | Freescale Semiconductor, Inc. | System, circuit and method providing a dynamic range pixel cell with blooming protection |
US9682319B2 (en) | 2002-07-31 | 2017-06-20 | Sony Interactive Entertainment Inc. | Combiner method for altering game gearing |
US6974373B2 (en) | 2002-08-02 | 2005-12-13 | Geissler Technologies, Llc | Apparatus and methods for the volumetric and dimensional measurement of livestock |
FR2848368B1 (fr) * | 2002-12-06 | 2005-05-20 | Thales Sa | Systeme d'imagerie active tridimensionnelle d'un objet |
US20040151074A1 (en) * | 2003-01-31 | 2004-08-05 | Spears Kurt E. | Time measurement using distance of charge movement |
US7075099B2 (en) * | 2003-02-05 | 2006-07-11 | Accuweb, Inc. | Method and system for detecting the position of an edge of a web |
US9177387B2 (en) | 2003-02-11 | 2015-11-03 | Sony Computer Entertainment Inc. | Method and apparatus for real time motion capture |
US7355687B2 (en) | 2003-02-20 | 2008-04-08 | Hunter Engineering Company | Method and apparatus for vehicle service system with imaging components |
US8284390B1 (en) | 2003-02-20 | 2012-10-09 | Hunter Engineering Company | Vehicle tire changing system with tool positioning sensor |
US7801645B2 (en) * | 2003-03-14 | 2010-09-21 | Sharper Image Acquisition Llc | Robotic vacuum cleaner with edge and object detection system |
US7171037B2 (en) * | 2003-03-20 | 2007-01-30 | Agilent Technologies, Inc. | Optical inspection system and method for displaying imaged objects in greater than two dimensions |
US7352892B2 (en) * | 2003-03-20 | 2008-04-01 | Micron Technology, Inc. | System and method for shape reconstruction from optical images |
US7019826B2 (en) * | 2003-03-20 | 2006-03-28 | Agilent Technologies, Inc. | Optical inspection system, apparatus and method for reconstructing three-dimensional images for printed circuit board and electronics manufacturing inspection |
JP2006523074A (ja) * | 2003-04-11 | 2006-10-05 | カネスタ インコーポレイテッド | センサのダイナミックレンジを差分拡大する方法及びシステム |
US7176438B2 (en) * | 2003-04-11 | 2007-02-13 | Canesta, Inc. | Method and system to differentially enhance sensor dynamic range using enhanced common mode reset |
US8072470B2 (en) | 2003-05-29 | 2011-12-06 | Sony Computer Entertainment Inc. | System and method for providing a real-time three-dimensional interactive environment |
US7173605B2 (en) * | 2003-07-18 | 2007-02-06 | International Business Machines Corporation | Method and apparatus for providing projected user interface for computing device |
US7428997B2 (en) * | 2003-07-29 | 2008-09-30 | Microvision, Inc. | Method and apparatus for illuminating a field-of-view and capturing an image |
US7139067B2 (en) * | 2003-09-12 | 2006-11-21 | Textron Systems Corporation | Three-dimensional imaging with multiframe blind deconvolution |
US8287373B2 (en) | 2008-12-05 | 2012-10-16 | Sony Computer Entertainment Inc. | Control device for communicating visual information |
US7874917B2 (en) | 2003-09-15 | 2011-01-25 | Sony Computer Entertainment Inc. | Methods and systems for enabling depth and direction detection when interfacing with a computer program |
US10279254B2 (en) | 2005-10-26 | 2019-05-07 | Sony Interactive Entertainment Inc. | Controller having visually trackable object for interfacing with a gaming system |
US8323106B2 (en) | 2008-05-30 | 2012-12-04 | Sony Computer Entertainment America Llc | Determination of controller three-dimensional location using image analysis and ultrasonic communication |
US9573056B2 (en) | 2005-10-26 | 2017-02-21 | Sony Interactive Entertainment Inc. | Expandable control device via hardware attachment |
US7095487B2 (en) * | 2003-10-09 | 2006-08-22 | Honda Motor Co., Ltd. | Systems and methods for determining depth using shuttered light pulses |
US7274815B1 (en) | 2003-10-09 | 2007-09-25 | Sandia Corporation | Parallel phase-sensitive three-dimensional imaging camera |
CN1879397A (zh) * | 2003-10-13 | 2006-12-13 | 卓越设备技术公司 | 包含与硅衬底和硅电路集成的绝缘锗光电探测器的图像传感器 |
US20050148432A1 (en) * | 2003-11-03 | 2005-07-07 | Carmein David E.E. | Combined omni-directional treadmill and electronic perception technology |
US7110100B2 (en) * | 2003-11-04 | 2006-09-19 | Electronic Scripting Products, Inc. | Apparatus and method for determining an inclination of an elongate object contacting a plane surface |
US7317954B2 (en) | 2003-12-12 | 2008-01-08 | Conmed Corporation | Virtual control of electrosurgical generator functions |
US7317955B2 (en) * | 2003-12-12 | 2008-01-08 | Conmed Corporation | Virtual operating room integration |
US7663689B2 (en) | 2004-01-16 | 2010-02-16 | Sony Computer Entertainment Inc. | Method and apparatus for optimizing capture device settings through depth information |
JP2007526453A (ja) * | 2004-01-28 | 2007-09-13 | カネスタ インコーポレイテッド | 単一チップの赤、緑、青、距離(rgb−z)センサー |
US7379100B2 (en) * | 2004-02-12 | 2008-05-27 | Canesta, Inc. | Method and system to increase dynamic range of time-of-flight (TOF) and/or imaging sensors |
JP4280822B2 (ja) * | 2004-02-18 | 2009-06-17 | 国立大学法人静岡大学 | 光飛行時間型距離センサ |
JP3966301B2 (ja) * | 2004-03-25 | 2007-08-29 | 株式会社デンソー | 車両用レーダ装置 |
US7321111B2 (en) * | 2004-04-12 | 2008-01-22 | Canesta, Inc. | Method and system to enhance differential dynamic range and signal/noise in CMOS range finding systems using differential sensors |
US7157685B2 (en) * | 2004-04-12 | 2007-01-02 | Canesta, Inc. | Method and system to enhance differential dynamic range and signal/noise in CMOS range finding systems using differential sensors |
US7706638B1 (en) | 2004-04-26 | 2010-04-27 | National Semiconductor Corporation | System, apparatus and method for color machine vision with black and white photoelectric sensor |
US7053820B2 (en) * | 2004-05-05 | 2006-05-30 | Raytheon Company | Generating three-dimensional images using impulsive radio frequency signals |
KR100636483B1 (ko) | 2004-06-25 | 2006-10-18 | 삼성에스디아이 주식회사 | 트랜지스터와 그의 제조방법 및 발광 표시장치 |
US7697748B2 (en) * | 2004-07-06 | 2010-04-13 | Dimsdale Engineering, Llc | Method and apparatus for high resolution 3D imaging as a function of camera position, camera trajectory and range |
US7236235B2 (en) * | 2004-07-06 | 2007-06-26 | Dimsdale Engineering, Llc | System and method for determining range in 3D imaging systems |
US8547401B2 (en) | 2004-08-19 | 2013-10-01 | Sony Computer Entertainment Inc. | Portable augmented reality device and method |
JP4487715B2 (ja) * | 2004-10-01 | 2010-06-23 | 株式会社デンソー | 車両用レーダ装置 |
JP2006105688A (ja) * | 2004-10-01 | 2006-04-20 | Denso Corp | 車両用レーダ装置 |
JP3774225B2 (ja) * | 2004-10-15 | 2006-05-10 | 独立行政法人科学技術振興機構 | 三次元計測センサ |
KR100663515B1 (ko) * | 2004-11-08 | 2007-01-02 | 삼성전자주식회사 | 휴대 단말 장치 및 이를 위한 데이터 입력 방법 |
US8009871B2 (en) | 2005-02-08 | 2011-08-30 | Microsoft Corporation | Method and system to segment depth images and to detect shapes in three-dimensionally acquired data |
JP4612853B2 (ja) * | 2005-03-29 | 2011-01-12 | キヤノン株式会社 | 指示位置認識装置及びそれを有する情報入力装置 |
US20060244720A1 (en) * | 2005-04-29 | 2006-11-02 | Tracy James L | Collapsible projection assembly |
US8018579B1 (en) * | 2005-10-21 | 2011-09-13 | Apple Inc. | Three-dimensional imaging and display system |
US8279168B2 (en) | 2005-12-09 | 2012-10-02 | Edge 3 Technologies Llc | Three-dimensional virtual-touch human-machine interface system and method therefor |
CA3034793C (en) | 2006-03-15 | 2023-01-03 | Gea Farm Technologies Gmbh | Time of flight teat location system |
ITUD20060138A1 (it) * | 2006-05-30 | 2007-11-30 | Neuricam Spa | Dispositivo elettro-ottico per il conteggio di persone, od altro, basato sull'elaborazione di immagini tridimensionali ottenute mediante la tecnica di misura indiretta del tempo di volo, e relativo procedimento |
NL1032435C2 (nl) * | 2006-09-05 | 2008-03-06 | Maasland Nv | Inrichting voor het automatisch melken van een melkdier. |
US8310656B2 (en) | 2006-09-28 | 2012-11-13 | Sony Computer Entertainment America Llc | Mapping movements of a hand-held controller to the two-dimensional image plane of a display screen |
US8781151B2 (en) | 2006-09-28 | 2014-07-15 | Sony Computer Entertainment Inc. | Object detection using video input combined with tilt angle information |
USRE48417E1 (en) | 2006-09-28 | 2021-02-02 | Sony Interactive Entertainment Inc. | Object direction using video input combined with tilt angle information |
US8589033B2 (en) * | 2007-01-11 | 2013-11-19 | Microsoft Corporation | Contactless obstacle detection for power doors and the like |
US8265793B2 (en) | 2007-03-20 | 2012-09-11 | Irobot Corporation | Mobile robot for telecommunication |
US20080273760A1 (en) * | 2007-05-04 | 2008-11-06 | Leonard Metcalfe | Method and apparatus for livestock assessment |
US7930580B2 (en) * | 2007-07-11 | 2011-04-19 | Altasens, Inc. | Controlling timing dependencies in a mixed signal system-on-a-chip (SOC) |
NZ562739A (en) * | 2007-10-19 | 2010-04-30 | Waikatolink Ltd | Signal simulation apparatus and method |
US9817099B2 (en) * | 2007-11-14 | 2017-11-14 | Raytheon Company | System and method for precision collaborative targeting |
US8542907B2 (en) | 2007-12-17 | 2013-09-24 | Sony Computer Entertainment America Llc | Dynamic three-dimensional object mapping for user-defined control device |
NZ586160A (en) * | 2008-01-22 | 2013-05-31 | Delaval Holding Ab | A system for determining the position of a milking animal and its teats having a robotic arm for attaching milking cups and cameras for determining positions of the animal and its teats |
EP2257911B1 (en) | 2008-02-27 | 2018-10-10 | Sony Computer Entertainment America LLC | Methods for capturing depth data of a scene and applying computer actions |
US8368753B2 (en) | 2008-03-17 | 2013-02-05 | Sony Computer Entertainment America Llc | Controller with an integrated depth camera |
CA2728085C (en) | 2008-07-15 | 2016-04-19 | Lely Patent N.V. | Dairy animal treatment system |
GB0813320D0 (en) * | 2008-07-21 | 2008-08-27 | Autotrakker Ltd | Cargo measurement |
LU91464B1 (de) * | 2008-07-28 | 2010-01-29 | Lion Systems S A | Verfahren und vorrichtung zum erhöhen der auflösung einer Kamera |
DE102008035384A1 (de) * | 2008-07-29 | 2010-02-04 | Gea Westfaliasurge Gmbh | Verfahren und Vorrichtung zum Ansetzen eines Melkbechers an eine Zitze eines Tieres |
JP5585903B2 (ja) | 2008-07-30 | 2014-09-10 | 国立大学法人静岡大学 | 距離画像センサ、及び撮像信号を飛行時間法により生成する方法 |
JP5283216B2 (ja) | 2008-07-31 | 2013-09-04 | 国立大学法人静岡大学 | 高速電荷転送フォトダイオード、ロックインピクセル及び固体撮像装置 |
CN102113309B (zh) * | 2008-08-03 | 2013-11-06 | 微软国际控股私有有限公司 | 卷帘相机系统 |
US8961313B2 (en) | 2009-05-29 | 2015-02-24 | Sony Computer Entertainment America Llc | Multi-positional three-dimensional controller |
GB2466497B (en) | 2008-12-24 | 2011-09-14 | Light Blue Optics Ltd | Touch sensitive holographic displays |
JP5688756B2 (ja) | 2008-12-25 | 2015-03-25 | 国立大学法人静岡大学 | 半導体素子及び固体撮像装置 |
JP2012519277A (ja) | 2009-02-27 | 2012-08-23 | ボディー サーフェイス トランスレーションズ, インコーポレイテッド | 三次元表示を使用する物理パラメータの推定 |
WO2010099593A1 (en) | 2009-03-06 | 2010-09-10 | Atreo Medical, Inc. | Measurement of a compression parameter for cpr on a surface |
US8527657B2 (en) | 2009-03-20 | 2013-09-03 | Sony Computer Entertainment America Llc | Methods and systems for dynamically adjusting update rates in multi-player network gaming |
US8342963B2 (en) | 2009-04-10 | 2013-01-01 | Sony Computer Entertainment America Inc. | Methods and systems for enabling control of artificial intelligence game characters |
US8142288B2 (en) | 2009-05-08 | 2012-03-27 | Sony Computer Entertainment America Llc | Base station movement detection and compensation |
US8393964B2 (en) | 2009-05-08 | 2013-03-12 | Sony Computer Entertainment America Llc | Base station for position location |
KR101613133B1 (ko) * | 2009-05-14 | 2016-04-18 | 삼성전자주식회사 | 3차원 영상 처리 장치 및 그 방법 |
US8376595B2 (en) | 2009-05-15 | 2013-02-19 | Magna Electronics, Inc. | Automatic headlamp control |
US9417700B2 (en) | 2009-05-21 | 2016-08-16 | Edge3 Technologies | Gesture recognition systems and related methods |
WO2011011633A2 (en) | 2009-07-22 | 2011-01-27 | Atreo Medical, Inc. | Optical techniques for the measurement of chest compression depth and other parameters during cpr |
US20110285981A1 (en) * | 2010-05-18 | 2011-11-24 | Irvine Sensors Corporation | Sensor Element and System Comprising Wide Field-of-View 3-D Imaging LIDAR |
US8681124B2 (en) | 2009-09-22 | 2014-03-25 | Microsoft Corporation | Method and system for recognition of user gesture interaction with passive surface video displays |
US9645681B2 (en) | 2009-09-23 | 2017-05-09 | Pixart Imaging Inc. | Optical touch display system |
EP2487897B1 (en) | 2009-10-05 | 2016-09-14 | National University Corporation Shizuoka University | Semiconductor element and solid-state imaging device |
NO20093315A1 (no) * | 2009-11-11 | 2011-05-12 | Laerdal Medical As | Metode og system for a male parametre for brystkasse, spesielt ved hjertelungeredning |
US8638425B2 (en) * | 2009-12-03 | 2014-01-28 | Pixart Imaging Inc. | Distance-measuring device with increased signal-to-noise ratio and method thereof |
US8891067B2 (en) | 2010-02-01 | 2014-11-18 | Microsoft Corporation | Multiple synchronized optical sources for time-of-flight range finding systems |
EP2378310B1 (en) | 2010-04-15 | 2016-08-10 | Rockwell Automation Safety AG | Time of flight camera unit and optical surveillance system |
US20110267264A1 (en) * | 2010-04-29 | 2011-11-03 | Mccarthy John | Display system with multiple optical sensors |
US9014848B2 (en) | 2010-05-20 | 2015-04-21 | Irobot Corporation | Mobile robot system |
US8935005B2 (en) | 2010-05-20 | 2015-01-13 | Irobot Corporation | Operating a mobile robot |
WO2011146259A2 (en) | 2010-05-20 | 2011-11-24 | Irobot Corporation | Mobile human interface robot |
US8396252B2 (en) | 2010-05-20 | 2013-03-12 | Edge 3 Technologies | Systems and related methods for three dimensional gesture recognition in vehicles |
US9400503B2 (en) | 2010-05-20 | 2016-07-26 | Irobot Corporation | Mobile human interface robot |
US8918213B2 (en) | 2010-05-20 | 2014-12-23 | Irobot Corporation | Mobile human interface robot |
US8428394B2 (en) | 2010-05-25 | 2013-04-23 | Marcus KRIETER | System and method for resolving spatial orientation using intelligent optical selectivity |
US9161511B2 (en) | 2010-07-06 | 2015-10-20 | Technologies Holdings Corp. | Automated rotary milking system |
US8587771B2 (en) * | 2010-07-16 | 2013-11-19 | Microsoft Corporation | Method and system for multi-phase dynamic calibration of three-dimensional (3D) sensors in a time-of-flight system |
TW201205449A (en) * | 2010-07-20 | 2012-02-01 | Hon Hai Prec Ind Co Ltd | Video camera and a controlling method thereof |
US9760123B2 (en) | 2010-08-06 | 2017-09-12 | Dynavox Systems Llc | Speech generation device with a projected display and optical inputs |
US9149018B2 (en) | 2010-08-31 | 2015-10-06 | Technologies Holdings Corp. | System and method for determining whether to operate a robot in conjunction with a rotary milking platform based on detection of a milking claw |
US10111401B2 (en) | 2010-08-31 | 2018-10-30 | Technologies Holdings Corp. | System and method for determining whether to operate a robot in conjunction with a rotary parlor |
US8800487B2 (en) | 2010-08-31 | 2014-08-12 | Technologies Holdings Corp. | System and method for controlling the position of a robot carriage based on the position of a milking stall of an adjacent rotary milking platform |
US8720382B2 (en) | 2010-08-31 | 2014-05-13 | Technologies Holdings Corp. | Vision system for facilitating the automated application of disinfectant to the teats of dairy livestock |
WO2012030872A1 (en) | 2010-09-02 | 2012-03-08 | Edge3 Technologies Inc. | Method and apparatus for confusion learning |
US8666144B2 (en) | 2010-09-02 | 2014-03-04 | Edge 3 Technologies, Inc. | Method and apparatus for determining disparity of texture |
US8582866B2 (en) | 2011-02-10 | 2013-11-12 | Edge 3 Technologies, Inc. | Method and apparatus for disparity computation in stereo images |
US8655093B2 (en) | 2010-09-02 | 2014-02-18 | Edge 3 Technologies, Inc. | Method and apparatus for performing segmentation of an image |
KR101798063B1 (ko) | 2010-12-14 | 2017-11-15 | 삼성전자주식회사 | 조명 광학계 및 이를 포함하는 3차원 영상 획득 장치 |
KR101691156B1 (ko) | 2010-12-14 | 2016-12-30 | 삼성전자주식회사 | 조명 광학계와 결상 광학계가 통합된 광학계 및 이를 포함하는 3차원 영상 획득 장치 |
DE112011104645T5 (de) | 2010-12-30 | 2013-10-10 | Irobot Corp. | Mobiler Mensch-Schnittstellen-Roboter |
US8930019B2 (en) | 2010-12-30 | 2015-01-06 | Irobot Corporation | Mobile human interface robot |
US8970589B2 (en) | 2011-02-10 | 2015-03-03 | Edge 3 Technologies, Inc. | Near-touch interaction with a stereo camera grid structured tessellations |
US9857868B2 (en) | 2011-03-19 | 2018-01-02 | The Board Of Trustees Of The Leland Stanford Junior University | Method and system for ergonomic touch-free interface |
US9194943B2 (en) | 2011-04-12 | 2015-11-24 | Magna Electronics Inc. | Step filter for estimating distance in a time-of-flight ranging system |
US8840466B2 (en) | 2011-04-25 | 2014-09-23 | Aquifi, Inc. | Method and system to create three-dimensional mapping in a two-dimensional game |
US10127446B2 (en) | 2011-04-28 | 2018-11-13 | Technologies Holdings Corp. | System and method for filtering data captured by a 2D camera |
US9265227B2 (en) | 2011-04-28 | 2016-02-23 | Technologies Holdings Corp. | System and method for improved attachment of a cup to a dairy animal |
US9107378B2 (en) | 2011-04-28 | 2015-08-18 | Technologies Holdings Corp. | Milking box with robotic attacher |
US9681634B2 (en) | 2011-04-28 | 2017-06-20 | Technologies Holdings Corp. | System and method to determine a teat position using edge detection in rear images of a livestock from two cameras |
US8683946B2 (en) | 2011-04-28 | 2014-04-01 | Technologies Holdings Corp. | System and method of attaching cups to a dairy animal |
US8746176B2 (en) | 2011-04-28 | 2014-06-10 | Technologies Holdings Corp. | System and method of attaching a cup to a dairy animal according to a sequence |
US9161512B2 (en) | 2011-04-28 | 2015-10-20 | Technologies Holdings Corp. | Milking box with robotic attacher comprising an arm that pivots, rotates, and grips |
US8671885B2 (en) | 2011-04-28 | 2014-03-18 | Technologies Holdings Corp. | Vision system for robotic attacher |
US9107379B2 (en) | 2011-04-28 | 2015-08-18 | Technologies Holdings Corp. | Arrangement of milking box stalls |
US9049843B2 (en) | 2011-04-28 | 2015-06-09 | Technologies Holdings Corp. | Milking box with a robotic attacher having a three-dimensional range of motion |
US9258975B2 (en) | 2011-04-28 | 2016-02-16 | Technologies Holdings Corp. | Milking box with robotic attacher and vision system |
US9043988B2 (en) | 2011-04-28 | 2015-06-02 | Technologies Holdings Corp. | Milking box with storage area for teat cups |
US9357744B2 (en) | 2011-04-28 | 2016-06-07 | Technologies Holdings Corp. | Cleaning system for a milking box stall |
US10357015B2 (en) | 2011-04-28 | 2019-07-23 | Technologies Holdings Corp. | Robotic arm with double grabber and method of operation |
US8885891B2 (en) | 2011-04-28 | 2014-11-11 | Technologies Holdings Corp. | System and method for analyzing data captured by a three-dimensional camera |
US9058657B2 (en) | 2011-04-28 | 2015-06-16 | Technologies Holdings Corp. | System and method for filtering data captured by a 3D camera |
US8903129B2 (en) | 2011-04-28 | 2014-12-02 | Technologies Holdings Corp. | System and method for filtering data captured by a 2D camera |
US9215861B2 (en) | 2011-04-28 | 2015-12-22 | Technologies Holdings Corp. | Milking box with robotic attacher and backplane for tracking movements of a dairy animal |
US8971572B1 (en) | 2011-08-12 | 2015-03-03 | The Research Foundation For The State University Of New York | Hand pointing estimation for human computer interaction |
US9269152B1 (en) * | 2011-09-07 | 2016-02-23 | Amazon Technologies, Inc. | Object detection with distributed sensor array |
KR101854188B1 (ko) | 2011-10-25 | 2018-05-08 | 삼성전자주식회사 | 3차원 영상 획득 장치 및 3차원 영상 획득 장치에서 깊이 정보 산출 방법 |
US9672609B1 (en) | 2011-11-11 | 2017-06-06 | Edge 3 Technologies, Inc. | Method and apparatus for improved depth-map estimation |
US8854433B1 (en) | 2012-02-03 | 2014-10-07 | Aquifi, Inc. | Method and system enabling natural user interface gestures with an electronic system |
KR101955334B1 (ko) | 2012-02-07 | 2019-03-07 | 삼성전자주식회사 | 3차원 영상 획득 장치 및 상기 3차원 영상 획득 장치에서 깊이 정보를 추출하는 방법 |
JP6029286B2 (ja) | 2012-02-17 | 2016-11-24 | キヤノン株式会社 | 光電変換装置および撮像システム |
US8958911B2 (en) | 2012-02-29 | 2015-02-17 | Irobot Corporation | Mobile robot |
US9030253B1 (en) | 2012-05-30 | 2015-05-12 | Altera Corporation | Integrated circuit package with distributed clock network |
US8860930B2 (en) | 2012-06-02 | 2014-10-14 | Richard Kirby | Three dimensional surface mapping system using optical flow |
US9098739B2 (en) | 2012-06-25 | 2015-08-04 | Aquifi, Inc. | Systems and methods for tracking human hands using parts based template matching |
US9111135B2 (en) | 2012-06-25 | 2015-08-18 | Aquifi, Inc. | Systems and methods for tracking human hands using parts based template matching using corresponding pixels in bounded regions of a sequence of frames that are a specified distance interval from a reference camera |
TWI684031B (zh) | 2012-07-16 | 2020-02-01 | 美商唯亞威方案公司 | 光學濾波器及感測器系統 |
TW201423965A (zh) | 2012-08-03 | 2014-06-16 | Univ Shizuoka Nat Univ Corp | 半導體元件及固體攝像裝置 |
US8836768B1 (en) | 2012-09-04 | 2014-09-16 | Aquifi, Inc. | Method and system enabling natural user interface gestures with user wearable glasses |
KR101858577B1 (ko) | 2012-10-10 | 2018-05-16 | 삼성전자주식회사 | 결상 광학계 및 이를 포함하는 3차원 영상 획득 장치 |
US9402067B2 (en) | 2012-10-22 | 2016-07-26 | Samsung Electronics Co., Ltd. | Imaging optical system for 3D image acquisition apparatus, and 3D image acquisition apparatus including the imaging optical system |
DE102012110538B4 (de) * | 2012-11-05 | 2019-11-21 | Odos Imaging Ltd. | Vorrichtung und Verfahren zum Messen von Abstandswerten und Abstandsbildern |
US9129155B2 (en) | 2013-01-30 | 2015-09-08 | Aquifi, Inc. | Systems and methods for initializing motion tracking of human hands using template matching within bounded regions determined using a depth map |
US9092665B2 (en) | 2013-01-30 | 2015-07-28 | Aquifi, Inc | Systems and methods for initializing motion tracking of human hands |
US10721448B2 (en) | 2013-03-15 | 2020-07-21 | Edge 3 Technologies, Inc. | Method and apparatus for adaptive exposure bracketing, segmentation and scene organization |
US9298266B2 (en) | 2013-04-02 | 2016-03-29 | Aquifi, Inc. | Systems and methods for implementing three-dimensional (3D) gesture based graphical user interfaces (GUI) that incorporate gesture reactive interface objects |
KR102061699B1 (ko) | 2013-06-19 | 2020-01-02 | 삼성전자주식회사 | 이미지 센서, 이를 포함하는 이미지 처리 시스템 및 이의 동작 방법 |
US9798388B1 (en) | 2013-07-31 | 2017-10-24 | Aquifi, Inc. | Vibrotactile system to augment 3D input systems |
DE102013108824A1 (de) * | 2013-08-14 | 2015-02-19 | Huf Hülsbeck & Fürst Gmbh & Co. Kg | Sensoranordnung zur Erfassung von Bediengesten an Fahrzeugen |
CN103472455B (zh) * | 2013-09-13 | 2015-05-06 | 中国科学院空间科学与应用研究中心 | 稀疏孔径压缩计算关联飞行时间四维光谱成像系统及方法 |
CN103472457B (zh) * | 2013-09-13 | 2015-06-10 | 中国科学院空间科学与应用研究中心 | 稀疏孔径压缩计算关联飞行时间的三维成像系统及方法 |
KR101502122B1 (ko) * | 2013-09-27 | 2015-03-13 | 주식회사 비욘드아이즈 | 깊이 정보를 생성하는 이미지 센서 |
US9543965B1 (en) | 2013-10-04 | 2017-01-10 | Altera Corporation | Interposer with embedded clock network circuitry |
JP2015081769A (ja) * | 2013-10-21 | 2015-04-27 | シャープ株式会社 | 光学式物体位置検出装置 |
US10203399B2 (en) | 2013-11-12 | 2019-02-12 | Big Sky Financial Corporation | Methods and apparatus for array based LiDAR systems with reduced interference |
US9507417B2 (en) | 2014-01-07 | 2016-11-29 | Aquifi, Inc. | Systems and methods for implementing head tracking based graphical user interfaces (GUI) that incorporate gesture reactive interface objects |
US9619105B1 (en) | 2014-01-30 | 2017-04-11 | Aquifi, Inc. | Systems and methods for gesture based interaction with viewpoint dependent user interfaces |
JP6328965B2 (ja) * | 2014-03-12 | 2018-05-23 | スタンレー電気株式会社 | 距離画像生成装置および距離画像生成方法 |
US9360554B2 (en) | 2014-04-11 | 2016-06-07 | Facet Technology Corp. | Methods and apparatus for object detection and identification in a multiple detector lidar array |
CN104020461B (zh) * | 2014-05-06 | 2017-01-04 | 南京大学 | 一种基于tdc算法的激光内光路矫正方法 |
EP3201649A1 (en) | 2014-09-29 | 2017-08-09 | Politecnico di Milano | Method and device for detecting the form of sails |
US9578311B2 (en) * | 2014-10-22 | 2017-02-21 | Microsoft Technology Licensing, Llc | Time of flight depth camera |
KR102317329B1 (ko) | 2015-01-02 | 2021-10-26 | 삼성전자주식회사 | 광 스캐닝 프로브 및 이를 이용한 3차원 데이터 생성 장치 |
US10036801B2 (en) | 2015-03-05 | 2018-07-31 | Big Sky Financial Corporation | Methods and apparatus for increased precision and improved range in a multiple detector LiDAR array |
CN111273690A (zh) | 2015-03-31 | 2020-06-12 | 深圳市大疆创新科技有限公司 | 移动平台操作系统及方法 |
JP6609980B2 (ja) * | 2015-04-30 | 2019-11-27 | 株式会社デンソー | 光飛行時間測定装置及び光学的測距装置 |
DE102015120534A1 (de) * | 2015-11-26 | 2017-06-01 | Valeo Schalter Und Sensoren Gmbh | Anordnung wenigstens eines optischen Empfängers einer Sende- und Empfangseinrichtung einer nach einem Lichtimpulslaufzeitverfahren arbeitenden optischen Messvorrichtung |
US10191154B2 (en) | 2016-02-11 | 2019-01-29 | Massachusetts Institute Of Technology | Methods and apparatus for time-of-flight imaging |
US9866816B2 (en) | 2016-03-03 | 2018-01-09 | 4D Intellectual Properties, Llc | Methods and apparatus for an active pulsed 4D camera for image acquisition and analysis |
US10337993B2 (en) | 2016-04-15 | 2019-07-02 | Massachusetts Institute Of Technology | Methods and apparatus for fluorescence lifetime imaging with periodically modulated light |
US9866780B1 (en) * | 2016-11-17 | 2018-01-09 | Northrop Grumman Systems Corporation | Pixel information recovery by oversampling a comparison of pixel data and a noise signal |
US10928489B2 (en) | 2017-04-06 | 2021-02-23 | Microsoft Technology Licensing, Llc | Time of flight camera |
US20190018119A1 (en) * | 2017-07-13 | 2019-01-17 | Apple Inc. | Early-late pulse counting for light emitting depth sensors |
US10215856B1 (en) | 2017-11-27 | 2019-02-26 | Microsoft Technology Licensing, Llc | Time of flight camera |
WO2019127385A1 (en) | 2017-12-29 | 2019-07-04 | Shenzhen United Imaging Healthcare Co., Ltd. | Systems and methods for patient positioning |
CN116777901A (zh) * | 2017-12-29 | 2023-09-19 | 上海联影医疗科技股份有限公司 | 一种用于医学成像中的生成对象的三维模型的系统 |
US10901087B2 (en) | 2018-01-15 | 2021-01-26 | Microsoft Technology Licensing, Llc | Time of flight camera |
US10942274B2 (en) | 2018-04-11 | 2021-03-09 | Microsoft Technology Licensing, Llc | Time of flight and picture camera |
US10895640B2 (en) | 2018-04-27 | 2021-01-19 | Raytheon Company | Digital active optical target detection system |
CN110824599B (zh) | 2018-08-14 | 2021-09-03 | 白金科技股份有限公司 | 一种红外带通滤波器 |
US10895925B2 (en) | 2018-10-03 | 2021-01-19 | Microsoft Technology Licensing, Llc | Touch display alignment |
US11435476B2 (en) | 2018-10-12 | 2022-09-06 | Microsoft Technology Licensing, Llc | Time-of-flight RGB-IR image sensor |
EP3683599B1 (de) * | 2019-01-16 | 2022-06-22 | Ibeo Automotive Systems GmbH | Verfahren und vorrichtung zur optischen abstandsmessung |
JP2020120314A (ja) * | 2019-01-25 | 2020-08-06 | ソニーセミコンダクタソリューションズ株式会社 | 光検出装置及び測距装置 |
JP7401211B2 (ja) * | 2019-06-25 | 2023-12-19 | ファナック株式会社 | 外光照度測定機能を備えた測距装置及び外光照度測定方法 |
US11079515B2 (en) | 2019-12-18 | 2021-08-03 | Microsoft Technology Licensing, Llc | Micro lens time-of-flight sensor having micro lens heights that vary based on image height |
WO2021262942A1 (en) | 2020-06-24 | 2021-12-30 | Sloan Valve Company | Hybrid time-of-flight sensor and ir sensor |
JP7286605B2 (ja) * | 2020-11-18 | 2023-06-05 | キヤノン株式会社 | 光電変換装置および撮像システム |
Family Cites Families (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4764982A (en) * | 1962-07-02 | 1988-08-16 | Pfund Charles E | Secure communication system |
US4277167A (en) * | 1976-08-25 | 1981-07-07 | The United States Of America As Represented By The Secretary Of The Navy | Depth mapping system |
JPS59198378A (ja) * | 1983-04-27 | 1984-11-10 | Nissan Motor Co Ltd | 光レ−ダ装置 |
US4601053A (en) * | 1983-11-21 | 1986-07-15 | Grumman Aerospace Corporation | Automatic TV ranging system |
DE3404396A1 (de) * | 1984-02-08 | 1985-08-14 | Dornier Gmbh, 7990 Friedrichshafen | Vorrichtung und verfahren zur aufnahme von entfernungsbildern |
US5001764A (en) * | 1988-03-25 | 1991-03-19 | Texas Instruments Incorporated | Guardbands for pattern inspector |
US5027132A (en) * | 1988-03-25 | 1991-06-25 | Texas Instruments Incorporated | Position compensation of laser scan for stage movement |
US5446529A (en) * | 1992-03-23 | 1995-08-29 | Advanced Scientific Concepts, Inc. | 3D imaging underwater laser radar |
US5682229A (en) * | 1995-04-14 | 1997-10-28 | Schwartz Electro-Optics, Inc. | Laser range camera |
IL116438A (en) * | 1995-12-18 | 2000-01-31 | Israel State | Laser sensor |
US5892575A (en) * | 1996-05-10 | 1999-04-06 | Massachusetts Institute Of Technology | Method and apparatus for imaging a scene using a light detector operating in non-linear geiger-mode |
EP1040366B1 (de) * | 1997-12-23 | 2003-10-08 | Siemens Aktiengesellschaft | Verfahren und vorrichtung zur aufnahme eines dreidimensionalen abstandsbildes |
US5953110A (en) * | 1998-04-23 | 1999-09-14 | H.N. Burns Engineering Corporation | Multichannel laser radar |
US6137566A (en) * | 1999-02-24 | 2000-10-24 | Eoo, Inc. | Method and apparatus for signal processing in a laser radar receiver |
-
1999
- 1999-09-22 US US09/401,059 patent/US6323942B1/en not_active Expired - Lifetime
-
2000
- 2000-09-18 AU AU40189/01A patent/AU4018901A/en not_active Abandoned
- 2000-09-18 WO PCT/US2000/025580 patent/WO2001022033A1/en active Application Filing
- 2000-09-18 EP EP00963596A patent/EP1218692A4/en not_active Withdrawn
- 2000-09-18 JP JP2001525159A patent/JP2003510561A/ja active Pending
- 2000-09-18 KR KR1020027003746A patent/KR20020067032A/ko not_active Application Discontinuation
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101415859B1 (ko) * | 2005-02-28 | 2014-08-06 | 어드밴스드 퓨얼 리서치, 인크 | 방사능 검출을 위한 장치 및 방법 |
KR100943949B1 (ko) * | 2007-10-09 | 2010-02-26 | 삼성모바일디스플레이주식회사 | 입체 카메라 시스템 및 이의 구동 방법 |
US8265791B2 (en) | 2008-04-25 | 2012-09-11 | Samsung Electronics Co., Ltd. | System and method for motion control of humanoid robot |
US9207065B2 (en) | 2010-09-08 | 2015-12-08 | Samsung Electronics Co., Ltd. | Depth sensing apparatus and method |
KR101031591B1 (ko) * | 2010-11-17 | 2011-04-27 | 주식회사 룩센테크놀러지 | 고속 대면적 광자 계수형 엑스선 동영상 센서, 이를 포함하는 엑스선 동영상 촬상 시스템 및 픽셀 데이터 독출 방법 |
KR20190044995A (ko) * | 2017-10-23 | 2019-05-02 | 주식회사 유진로봇 | 이동성 거울을 이용한 광 송수신기, 3차원 거리 측정 장치, 및 이동체 |
Also Published As
Publication number | Publication date |
---|---|
EP1218692A1 (en) | 2002-07-03 |
EP1218692A4 (en) | 2002-12-04 |
JP2003510561A (ja) | 2003-03-18 |
AU4018901A (en) | 2001-04-24 |
US6323942B1 (en) | 2001-11-27 |
WO2001022033A1 (en) | 2001-03-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR20020067032A (ko) | Cmos-호환형 3차원 이미지 센서 ic | |
US6522395B1 (en) | Noise reduction techniques suitable for three-dimensional information acquirable with CMOS-compatible image sensor ICS | |
US10401147B2 (en) | Dimensioning system | |
US6587186B2 (en) | CMOS-compatible three-dimensional image sensing using reduced peak energy | |
JP4488170B2 (ja) | 三次元距離画像を記録するための方法及び装置 | |
US7379163B2 (en) | Method and system for automatic gain control of sensors in time-of-flight systems | |
US7834985B2 (en) | Surface profile measurement | |
US7379100B2 (en) | Method and system to increase dynamic range of time-of-flight (TOF) and/or imaging sensors | |
CN111758047B (zh) | 单芯片rgb-d相机 | |
US20060126054A1 (en) | Three-dimensional measurement device and three-dimensional measurement method | |
IL258130A (en) | Flight time distance sensor | |
US20200103526A1 (en) | Time of flight sensor | |
US20230333217A1 (en) | Configurable array of single-photon detectors | |
GB2374743A (en) | Surface profile measurement |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
WITN | Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid |