KR20210128930A - 3차원 카메라 시스템 - Google Patents

3차원 카메라 시스템 Download PDF

Info

Publication number
KR20210128930A
KR20210128930A KR1020210049165A KR20210049165A KR20210128930A KR 20210128930 A KR20210128930 A KR 20210128930A KR 1020210049165 A KR1020210049165 A KR 1020210049165A KR 20210049165 A KR20210049165 A KR 20210049165A KR 20210128930 A KR20210128930 A KR 20210128930A
Authority
KR
South Korea
Prior art keywords
time
laser
circuit
camera
pixel
Prior art date
Application number
KR1020210049165A
Other languages
English (en)
Inventor
이빙 미쉘 왕
김광오
릴롱 쉬
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Publication of KR20210128930A publication Critical patent/KR20210128930A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/46—Indirect determination of position data
    • G01S17/48—Active triangulation systems, i.e. using the transmission and reflection of electromagnetic waves other than radio waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481—Constructional features, e.g. arrangements of optical elements
    • G01S7/4816—Constructional features, e.g. arrangements of optical elements of receivers alone
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481—Constructional features, e.g. arrangements of optical elements
    • G01S7/4817—Constructional features, e.g. arrangements of optical elements relating to scanning
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/486—Receivers
    • G01S7/4861—Circuits for detection, sampling, integration or read-out
    • G01S7/4863—Detector arrays, e.g. charge-transfer gates
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/486—Receivers
    • G01S7/4865—Time delay measurement, e.g. time-of-flight measurement, time of arrival measurement or determining the exact position of a peak
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/254—Image signal generators using stereoscopic image cameras in combination with electromagnetic radiation sources for illuminating objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • H04N5/2256—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10141—Special mode during image acquisition
    • G06T2207/10152—Varying illumination

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Electromagnetism (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Optics & Photonics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Measurement Of Optical Distance (AREA)

Abstract

본 발명의 실시 예에 따른 카메라 시스템은, 제 1 레이저; 카메라; 및 상기 제 1 레이저 및 상기 카메라에 연결되는 처리회로를 포함하고, 상기 제 1 레이저는 조종 가능하고(steerable), 상기 카메라는 광 검출기 및 화소 회로를 포함하는 화소를 포함하고, 상기 화소 회로는 제 1 시간-측정 회로(a first time-measuring circuit)를 포함한다. 본 발명은 삼각 측량을 이용한 거리 측정 능력 및 비행 측정의 직접적인 시간을 이용하여 거리를 측정하는 능력을 모두 갖춘 카메라 시스템으로, 하나 이상의 물체의 위치를 결정할 수 있다.

Description

3차원 카메라 시스템 {THREE-DIMENSIONAL CAMERA SYSTEM}
본 발명은 카메라 시스템(camera systems)에 관한 것으로, 더욱 상세하게는 이중 거리 측정 능력을 갖는 카메라 시스템(camera system with dual distance-measuring capabilities)에 관한 것이다.
3차원 촬상 시스템(three-dimensional imaging system)에서, 2개의 카메라 또는 스캐닝 레이저 및 카메라는 예를 들어, 삼각 측량에 의해 얻어진 거리 또는 “범위” 정보로 이미지에서 얻은 촬상된 물체에 대한 횡 방향 위치 정보를 보완함으로써 3차원 이미지를 형성하는 데 사용될 수 있다. 삼각 측량은 3차원 촬상 시스템에 가까운 물체에 대해 높은 정확성을 제공할 수 있지만, 거리가 먼 물체에 대해서는 거리 측정의 정확도가 떨어질 수 있다.
따라서, 개선된 3차원 카메라 시스템이 필요하다.
본 발명의 목적은 이중 거리 측정 능력을 갖는 카메라 시스템을 제공하는 데 있다.
본 발명의 실시 예에 따른 카메라 시스템은, 제 1 레이저; 카메라; 및 상기 제 1 레이저 및 상기 카메라에 연결되는 처리회로를 포함하고, 상기 제 1 레이저는 조종 가능하고(steerable), 상기 카메라는 광 검출기 및 화소 회로를 포함하는 화소를 포함하고, 상기 화소 회로는 제 1 시간-측정 회로(a first time-measuring circuit)를 포함한다.
실시 예로서, 상기 제 1 시간-측정 회로는 10ns의 정밀도(precision)를 갖는다.
실시 예로서, 상기 제 1 시간-측정 회로는 시간-디지털 컨버터 회로(time to digital converter circuit)를 포함하며, 상기 화소 회로는 상기 시간-디지털 컨버터 회로에 의해 생성된 카운트 값을 저장하는 레지스터를 더 포함한다.
실시 예로서, 상기 시간-디지털 컨버터 회로는 카운터를 포함하며, 상기 카운터는 시작 트리거 수신 시 카운팅을 시작하며 및 상기 광 검출기로부터 검출 펄스 수신 시 상기 레지스터에 상기 카운트 값을 저장하도록 구성된다.
실시 예로서, 상기 제 1 시간-측정 회로는 시간-전하 컨버터 회로(time to charge converter)를 포함한다.
실시 예로서, 상기 광 검출기와 상기 제 1 시간-측정 회로 사이에 연결된 감지 회로를 더 포함하며, 상기 감지 회로는 증폭기 및 비교기를 포함한다.
실시 예로서, 상가 제 1 레이저는 1차원에서 조종 가능하며 라인 조명(line illumination)을 생성하도록 구성된다.
실시 예로서, 상기 제 1 레이저는 2차원에서 조종 가능하다.
실시 예로서, 상기 제 1 시간-측정 회로는 1ns의 정밀도를 갖는다.
실시 예로서, 상기 처리 회로는 제 1 모드에서는 상기 제 1 레이저가 스캔을 수행하도록 하고, 제 2 모드에서는 상기 제 1 레이저가 최대 100ns의 지속 시간을 가지는 상승 에지를 갖는 플래시(flash)를 생성하도록 구성된다.
실시 예로서, 상기 처리 회로는, 삼각 측량(triangulation)을 사용하여 제 1 물체까지의 거리를 측정하도록; 제 1 물체가 임계 거리(threshold distance)보다 더 먼 거리에 있는지 결정하도록; 상기 제 1 레이저가 상기 플래시로 상기 제 1 물체를 비추게 하도록; 및 직접 비행 시간 측정(direct time of flight measurement)을 사용하여 상기 제 1 물체까지의 거리를 측정하도록 구성된다.
실시 예로서, 상기 카메라 시스템은 제 2 레이저를 더 포함하고, 상기 처리 회로는, 상기 제 1 레이저를 스캔하고 삼각 측량을 사용하여 제 1 물체까지의 거리를 측정하도록; 제 1 물체가 임계 거리(threshold distance)보다 더 먼 거리에 있는 것으로 결정하도록; 상기 제 2 레이저가 상기 플래시로 상기 제 1 물체를 비추게 하도록; 및 직접 비행 시간 측정(direct time of flight measurement)을 사용하여 상기 제 1 물체까지의 거리를 측정하도록 구성된다.
실시 예로서, 상기 처리 회로는 상기 광 검출기 및 상기 제 1 시간 측정 회로가 시간 게이트(time gate)로 게이트되도록 구성되도록 구성되고, 상기 시간 게이트는 삼각 측량을 사용하여 측정된 거리에 대응하는 시간을 포함하는 시간 범위 내에서 검출을 가능하게 한다.
실시 예로서, 상기 픽셀을 포함하는 픽셀 어레이를 포함하고, 상기 픽셀 어레이는 복수의 열을 포함한다.
실시 예로서, 상기 복수의 열 중 하나의 열에 연결된 제 2 시간 측정 회로를 더 포함하고, 상기 열은 상기 픽셀을 포함하고, 상기 제 2 시간 측정 회로는 100ns의 정밀도를 갖는다.
실시 예로서, 상기 광 검출기와 상기 제 2 시간 측정 회로 사이에 연결되는 펄스 연장 회로(pulse-lengthening circuit)를 더 포함할 수 있다.
본 발명은 카메라 시스템으로 위치를 측정하는 방법에 관한 것이다. 상기 카메라 시스템은 제 1 레이저; 및 카메라를 포함한다. 상기 카메라는 광 검출기 및 화소 회로를 포함하는 화소를 포함하고, 상기 화소 회로는 제 1 시간 측정 회로를 포함하고, 상기 제 1 시간 측정 회로는 10ns의 정밀도를 갖는다. 상기 측정 방법은, 상기 제 1 레이저로 제 1 물체를 조명하는 단계; 삼각 측량을 사용하여 상기 제 1 물체까지의 거리를 측정하는 단계; 상기 제 1 물체가 임계 거리보다 더 먼 것으로 결정하는 단계; 플래시로 상기 제 1 물체를 조명하는 단계; 및 직접 비행 시간 측정을 사용하여 상기 제 1 물체까지의 거리를 측정하는 단계를 포함한다.
실시 예로서, 상기 카메라 시스템은 제 2 레이저를 더 포함하고, 상기 제 1 물체를 플래시로 조명하는 단계는 상기 제 1 물체를 상기 제 2 레이저로부터의 플래시로 조명하는 단계를 포함한다.
실시 예로서, 상기 제 1 레이저는 조종 가능하고, 상기 제 1 레이저로 상기 제 1 물체를 조명하는 단계는 상기 제 1 레이저로 스캔을 수행하는 동안 상기 제 1 레이저로 상기 제 1 물체를 조명하는 단계를 포함한다.
본 발명은 카메라 시스템에 관한 것으로, 제 1 레이저; 카메라; 및 상기 제 1 레이저와 상기 카메라에 연결된 처리 수단을 포함한다. 상기 제 1 레이저는 조종 가능하고, 상기 카메라는 광 검출기와 화소 회로를 포함하는 화소를 포함하고, 상기 화소 회로는 제 1 시간 측정 회로를 포함하고, 상기 제 1 시간 측정 회로는 10ns의 정밀도를 갖는다.
본 발명의 실시 예에 따른 카메라 시스템은 레이저와 카메라에 연결되는 처리회로를 포함한다. 레이저는 조종 가능하고(steerable), 카메라는 광 검출기 및 화소 회로를 포함하는 화소를 포함한다. 화소 회로는 제 1 시간-측정 회로(a first time-measuring circuit)를 포함한다. 본 발명은 삼각 측량을 이용한 거리 측정 능력 및 비행 측정의 직접적인 시간을 이용하여 거리를 측정하는 능력을 모두 갖춘 카메라 시스템으로, 하나 이상의 물체의 위치를 결정할 수 있다.
본 발명의 이런 특징 및 장점과 다른 특징 및 장점은 본 명세서, 청구범위, 및 첨부된 도면을 참조하여 이해될 것이다.
도 1a는 본 발명의 일 실시예에 따른 3차원 카메라 시스템의 개략도이다.
도 1b는 본 발명의 일 실시예에 따른 3차원 카메라 시스템의 개략도이다.
도 2는 본 발명의 일 실시예에 따른 3차원 카메라 시스템의 일부의 블록도이다.
도 3은 본 발명의 일 실시예에 따른 3차원 카메라 시스템의 일부의 개략도이다.
첨부된 도면들(appended drawings)과 관련되어 아래에서 설명하는 발명의 상세한 설명(detailed description)은 본 발명에 따라 제공되는 3차원 카메라 시스템(three-dimensional camera system)의 예시적인 실시 예들을 설명할 의도이고, 단지 본 발명이 구성될 수 있거나 이용될 수 있는 형태들을 나타내기 위한 의도는 아니다. 본 명세서는 예시된 실시 예들과 관련하여 본 발명의 특징들을 설명한다. 그러나 동일하거나 등등한 기능들 및 구조들(the same or equivalent functions and structures)이 본 발명의 범위(the scope of the disclosure) 내에 포함되도록 의도된, 다른 실시 예들에 의해 달성될 수 있음을 이해해야 한다. 본 명세서의 다른 곳에서 나타낸 바와 같이, 같은 구성요소 참조번호들(like element numbers)은 같은 구성요소들 또는 특징들(like elements or features)을 나타내는 것으로 이해될 수 있다.
도 1을 참조하면, 일부 실시예에서, 하나 이상의 물체(105)의 위치를 결정하기 위한 카메라 시스템은 제 1 레이저(110)(예를 들어, 조종 가능한 레이저 또는 "레이저 스캐너") 및 렌즈(120) 및 광 검출기(125)의 어레이를 포함하는 카메라(115)를 포함한다. 광 검출기(125)의 어레이는 직사각형을 이루는 행과 열로 배열할 수 있으며, 그 중 하나의 열이 설명된다.
동작 시, 제 1 레이저(110)는 예를 들어, (i) 레이저가 수직선으로 투사하는 경우, 필드(예를 들어, 카메라(115)의 시야)를 가로 질러 수평으로 스위핑될 수 있거나, (ii) 2차원 패턴(예를 들어, 래스터 스캔(raster scan) 또는 카메라(115)의 시야를 덮는 다른 스캔 패턴)으로 스캔될 수 있다. 광이 물체(105)로부터 카메라(115)로 반사되면, 시스템은 물체까지의 거리를 측정하기 위해서 삼각 측량을 사용할 수 있다. 예를 들어, 시스템은 디스패러티(disparity) 정보(예를 들어, 발신 레이저 빔의 방향과 (115)에 의해 수신된 반사광의 방향 사이의 각도로부터)로부터 물체(105)까지의 거리를 추론 할 수 있다. 이 각도는 물체(105)까지의 거리가 무한대에 접근함에 따라 0에 접근할 수 있다. 물체(105)까지의 거리에 따른 각도의 변화율은 물체까지의 거리가 증가함에 따라 감소할 수 있으므로, 물체까지의 거리가 상대적으로 멀 때, 예를 들어, 제 1 레이저(110)와 카메라(115) 사이의 측방향 분리보다 10배 이상 크거나, 제 1 레이저(110)와 카메라(115) 사이의 측방향 분리보다 100배 이상 큰 경우, 측정의 정확성은 크게 떨어질 수 있다.
도 1b를 참조하면, 비행 거리 측정 능력(flight distance measuring capability)의 직접 시간(direct time)을 도 1a에 도시된 삼각 측량 능력에 결합함으로써 거리가 먼 물체의 거리 측정의 정확성이 향상될 수 있다. 일부 실시예에서, 제 2 레이저는 (정확한 타이밍을 위해, 예를 들어 0.01 ns와 100.0 ns 사이의 짧은 상승 시간 또는 하강 시간을 갖는 플래시(flash, 섬광)를 생성할 수 있는) 플래시 레이저일 수 있다. 예를 들어, 광 검출기(125)가 반사된 펄스의 출발 (예를 들어, 상승)을 검출하기에 적합한 경우, 송신된 펄스의 출발 시간과 반사된 펄스의 수신 출발 시간의 차이가 측정될 수 있으며, 펄스가 반사된 물체(105)까지의 거리가 시간 차이의 1/2과 광의 속도로 곱하여 산출될 수 있다. 일부 실시 예에서, 스캔을 수행하기 위해 지속적으로 조명(illumination, 레이저)을 조사할 수 있고, 짧은 상승 시간을 가지고 플래시를 생성할 수도 있는 단일 레이저는 삼각 측량을 사용하여 거리를 측정하고 비행 측정의 직접 시간을 사용하여 거리를 측정하기 위해 사용된다. 물체(105)까지의 거리를 측정하기 위한 카메라 및 시스템을 포함하는 도 1b의 시스템은 광 검출기(125)의 어레이 상에 렌즈(120)에 의해 이미지가 투사된 위치로부터 물체(105)까지의 방향을 측정하고, 카메라 시스템으로부터 물체의 거리를 측정하여, 예를 들어, 본원에 기술된 하나 이상의 방법을 사용하여 3차원 상의 물체의 위치를 측정할 수 있을 수도 있다. 본원에 사용된 바와 같이, 비행 측정의 “직접” 시간은 예를 들어, 정현파 변조 광을 방출하고 그리고 송신 광의 위상을 물체로부터 반사된 후 수신된 광의 위상과 비교하는 시스템과 달리 펄스의 왕복 시간을 측정하는 것이다.
삼각 측량을 이용한 거리 측정 능력 및 비행 측정의 직접적인 시간을 이용하여 거리를 측정하는 능력을 모두 갖춘 시스템은 다음과 같이 동작할 수 있다. 상기 시스템은 먼저 카메라(115)의 시야에서 하나 이상의 물체(105) 각각에 대한 거리를 측정하기 위해 스캔을 수행할 수 있다. 상기 카메라 시스템에 상대적으로 가까운 물체(105a)의 경우, 삼각 측량을 이용한 거리 측정의 정확성은 받아들일 수도 있다. 그러나, 상기 카메라 시스템으로부터 비교적 먼 물체(105b)의 경우, 상기 카메라 시스템이 삼각 측량이 허용 가능한 정확성을 달성하기 위해 물체가 너무 멀다고 판단할 수 있기에 충분함에도 불구하고 삼각 측량의 정확성이 떨어질 수 있다. 이와 같이, 상기 카메라 시스템은 물체가 임계 거리(제1 레이저(110)과 카메라(115) 사이의 측방향 분리에 예를 들어, 10배인 또는 제 1 레이저(110)과 카메라(115) 사이의 측방향 분리에 100배인 임계 거리로) 보다 더 멀다는 것을 지시하는 삼각 측량을 사용한 거리 측정 시, 비행 측정의 직접 시간을 사용하여 후속 측정을 수행할 수 있다.
이런 비행 측정의 직접 시간을 수행하기 위해, 상기 제 2 레이저(130)는 비행 측정의 직접 시간이 수행될 물체(105)에 조준될 수 있고 (예를 들어, 상기 제 1 측정에 따라 물체가 위치한 관심 영역 (ROI)에 조준될 수 있다), 상기 제 2 레이저는 플래시로 상기 물체(105)를 비출 수 있으며, 상기 왕복 비행 시간이 측정될 수 있다. 상기 각 물체에 대한 비행 측정 직접 시간은 주변 광을 더욱 효율적으로 거부하기 위해 삼각 측량을 이용한 거리 측정에 기반하여 시간-게이팅될 수 있다. 게다가, 일부 실시예에서, 제 2 레이저로부터의 광이 반사될 것으로 예상되는 화소 또는 화소들만이 비행 측정의 직접적인 시간에 대해 활성화된다. 이러한 화소는 예를 들어, i) 상기 제 1 레이저와 제 2 레이저가 동시에 위치한 경우, 스캔동안 물체로부터 제 1 레이저로부터의 광의 반사를 검출하는 동일한 화소 또는 (ii) 레이저와 카메라의 위치 그리고 삼각 측량 기반 측정에 의해 산출된 물체의 위치에 기반하여 광이 제 2 레이저로부터 반사될 것으로 기대되는 화소일 수 있다.
도 2는 일부 실시예에서 삼각 측량 능력 및 비행 거리 측정 능력의 직접 시간 모두를 갖춘 카메라 시스템의 일부의 블록도를 도시한다. 상기 카메라(115)는 화소 어레이(205)를 포함하며, 화소 어레이(205)의 각 화소는 아래 더 상세히 논의된 바와 같이 광 검출기(광 검출기(125)의 어레이) 및 화소 회로(각각 제 1(예를 들어, 정밀) 시간 측정 회로를 포함하는)를 포함한다. 상기 화소 어레이(205)의 행은 행 디코더(215)에 의해 차례차례 제어되는 행 구동부(210)에 의해 선택되고 리셋된다. 행 디코더는 바이너리 행-선택 신호를 수신하고, 이에 대한 응답으로 상기 행 구동부(210)에 연결된 복수의 상기 라인 중 행 선택 라인(상기 화소 어레이(205)의 각 행에 대한 하나)를 켠다. 상기 행 구동부는 이하 더 상세히 논의된 바와 같이, 각각이 상기 화소 어레이(205)의 각 행에 연결되고, 행의 화소 회로에서 스위칭 트랜지스터를 켜도록 구성된 다수의 구동 회로를 포함한다.
제 2(예를 들어, 코어스) 시간-측정 회로(220)의 어레이(화소 어레이(205)의 열 각각에 대한 하나)는 상기 화소 어레이(205)의 열에 연결된다. 상기 카메라 시스템이 스캐닝 모드로 동작하고 현재 선택된 행의 화소들이 물체(105)로부터 반사된 광을 검출할 때, 상기 화소를 포함하는 열에 연결된 상기 코어스 시간-측정 회로는 물체가 비춰진 시간으로부터 상기 화소에 의해 검출된 광이 제 1 레이저(110)에 의해 방출된 경우 상기 제 1 레이저(110)으로부터의 빔의 방향(공지의 시간 기능의 방향)을 추론하는 데 이용된다. 그 후, 상기 삼각 측량 알고리즘은 물체까지의 거리를 추정하기 위해서, (i) 광이 방출되는 경우의 빔의 방향 및 (ii) 광이 화소 상에 촬상된 방향을 이용할 수 있다. 열 디코더(225)는 한번에 하나씩 화소 회로 내 코어스 시간-측정 회로(220) 및 정밀 시간-측정 회로의 내용을 판독하는데 이용될 수 있다.
바이어스 생성기(230)은 화소 어레이(205)에 의해 이용되는 바이어스 전압 및 전류를 생성할 수 있고, 위상-고정 루프(235)는 카메라 시스템에서 디지털 회로에서의 사용을 위한 시스템 클럭을 생성할 수 있고 디지털 블록(240)은 (이하에 더 상세히 논의된) 처리 회로일 수 있거나 처리 회로에 연결될 수 있는) 카메라 시스템에서 이용되는 다양한 디지털 제어 신호를 생성할 수 있다. 도 2에 도시된 구성요소는 단일 다이 또는 2개의 다이에 위치할 수 있고 다른 하나 위에 적층될 수 있다. 적층 설계에서, 화소 내 광다이오드 및 제한된 수의 트랜지스터만이 상부 다이에 위치할 수 있고 회로의 나머지는 하부 다이에 위치할 수 있다. 단일 다이 설계에서, 각 화소 회로는 그것이 연결되는 광 검출기(125) 바로 인접하여 위치할 수 있다.
도 3은 열 판독 회로(310)에 연결된 화소 어레이(205)의 화소(300)(광 검출기(305) 및 화소 회로를 포함하는 화소)를 도시한다. 광 검출기(305)는 단일 광자 애벌랜체 다이오드(SPAD) 또는 애벌랜체 광다이오드(APD)일 수 있다. 상기 화소 회로는 (삼각 측량에 의해 수행되는 거리 측정에 기반하여 상기 회로를 시간-게이팅하는 데 사용될 수 있는) 인에이블 스위치(315) 및 (상기 광 검출기(305)로부터의 신호를 증폭하는 증폭기 및 신호를 디지털 펄스로 변환하는 비교기를 포함할 수 있는) 감지 회로(320)을 포함한다. 상기 화소 회로는 정밀 시간-측정 회로(325)(예를 들어, 아날로그-디지털 컨버터에 연결된 (i) 시간-디지털 컨버터(TDC) 또는 (ii) 시간-전하 컨버터(TCC))를 더 포함할 수 있다. 상기 정밀 시간 측정 회로(325)의 출력은 레지스터(MEM)(330)에 저장될 수 있고 열 판독 회로(310)의 감지 증폭기(340)에 의해 제 2 행 선택 트랜지스터(335)(RSEL2)를 통해 추후에 판독될 디지털 숫자일 수 있다. 상기 감지 회로(320)로부터의 신호(짧은 펄스 일 수 있음)는 (래치를 시용하여 구성될 수 있는) 펄스-연장 회로(345)에 연결되고, 제 1 행 선택 트랜지스터(355)(RSEL1)을 통해 열 판독 컨덕터(350)에 공급될 수 있다. 상기 제 1 행 선택 트랜지스터(355) 및 제 2 행 선택 트랜지스터(335)의 게이트들은 상기 행 구동부(210)에 의해 구동될 수 있다(도 2). 상기 펄스-연장 회로(345)는 열 판독 도체 (350)에 의한 잠재적으로 큰 부하 조건하에서 코어스 시간-측정 회로(360)에 확실하게 송신되도록 펄스를 충분히 연장할 수 있다. 일부 실시예에서, 정밀 시간-측정 회로(325)는 도 3에 도시된 바와 같이, 상기 감지 회로(320)의 출력에 직접 연결되는 대신, 상기 펄스-연장 회로(345)의 출력에 연결된다.
전술한 바와 같이, 정밀 시간-측정 회로(325)는 시간-디지털 컨버터(TDC)를 포함할 수 있다. 상기 시간-디지털 컨버터는 시작 트리거와 종료 트리거 사이의 클럭 주기(예를 들어, 시스템 클럭의 주기)를 카운트하도록 구성된 카운터를 포함할 수 있다. 예를 들어, 상기 시스템은 제 2 레이저(130)가 플래시를 방출 할 때, 상기-시간-디지털 컨버터로 시작 트리거를 송신할 수 있고, 감지 회로(320)는 상기 시간-디지털 컨버터로 종료 트리거, 예를 들어, 검출된 물체로부터 반사된 광에 해당하는 펄스를 송신할 수 있다. 다른 실시예들에서, 검출되는 물체로부터 반사된 광에 대응하는 펄스는 시작 트리거로서 사용될 수 있고, 종료 트리거(예를 들어, 상기 디지털 클럭(240)에 의해 생성된(도 2))는 상기 제 2 레이저(130)에 의한 플래시 방출 후 고정된 시간 후에 시스템 클럭에 의해 생성될 수 있다. 후자의 실시예에서, 상기 종료 트리거 수신 시, 상기 시간-디지털 컨버터에 의해 레지스터(330)에 저장된 카운트는 (i) 상기 제 2 레이저(130)에 의한 플래시 방출과 종료 트리거의 생성 사이의 시간량과 (ii) 상기 플래시의 왕복 시간 사이의 차이에 비례할 수 있다. 후자의 실시예는 전자의 실시예 보다 적은 전력을 소비할 수 있다. 예를 들어, 제 2 레이저(130)의 다중 플래시들이 사용되고 대부분의 플래시가 화소에서 검출되지 않는 경우, 검출이 발생하지 않음으로 시간-디지털 컨버터의 카운터가 실행되지 않기 때문이다.
시간-전하 컨버터는 (i) 시작 트리거가 수신되면 정전류로 캐패시터의 충전을 시작하고 (ii) 종료 트리거가 수신되면 캐피시터의 전압을 샘플링하는 회로일 수 있다. 그 후, 상기 샘플링된 전압은 아날로그-디지털 컨버터를 사용하여 디지털 형태로 변환된다. 상기 정전류는 전류 미러에 의해 생성될 수 있고, 전류 미러의 레퍼런스 암은 전압 램프, 즉, 상기 바이어스 생성기(230)에 의해 생성될 수 있는 선형 변형 전압이 인가되는 캐패시터로 유입되는 전류에 기반한다(도 2).
상기 코어스 시간-측정 회로(360)은 100ns의 정밀도를 가질 수 있으며, 상기 정밀 시간-측정 회로(325)는 10ns의 정밀도를 가질 수 있다. 본원에서 사용된 바와 같이, “정밀도를 가진다”는 의미는 우수한 정밀도를 갖는 것을 포함하므로, 예를 들어, 100 나노세컨드(ns)의 정밀도를 갖는 시간-측정 회로는 또한 1 마이크로세컨드의 정밀도를 갖는 시간-측정 회로일 수 있다.
일부 실시 예에서 시스템은 처리 회로에 의해 제어되면, 처리 회로는 다음과 같이, 예를 들어 (i) 제 1 레이저(110) 및 제 2 레이저(130)의 조향(steering), (ii) 제 2 레이저에 의한 플래시 방출(emission of flashes), 및 (iii) 광 검출기(125)의 어레이의 재설정(resetting)을 제어할 수 있다. 그리고 삼각 측량(triangulation)을 사용하여 거리 계산을 수행 할 수 있으며, 스캐닝 모드(scanning mode)와 플래시 모드(flash mode) 사이에서 명령 모드(command mode)를 변경하며, 플래시 모드를 사용할 때 관심 영역(region of interest)을 지정한다. "처리 회로(processing circuit)"라는 용어는 본 명세서에서 데이터 또는 디지털 신호를 처리하는 데 사용되는 하드웨어, 펌웨어 및 소프트웨어의 임의의 조합을 의미하는 것으로 사용된다. 처리 회로 하드웨어(processing circuit hardware)는, 예를 들어, ASIC(application specific integrated circuits), 범용 또는 특수 목적의 중앙 처리 장치(CPUs, general purpose or special purpose central processing units), 디지털 신호 프로세서(DSPs, digital signal processors), 그래픽 처리 장치 (GPUs, graphics processing units), 및 필드 프로그램 가능한 논리 장치(FPGAs, programmable logic devices such as field programmable gate arrays)와 같은 프로그래머블 로직 장치(programmable logic devices)를 포함할 수 있다. 처리 회로에서, 본 명세서에서 사용되는 바와 같이, 각각의 기능(function)은 그 기능을 수행하도록 구성된 하드웨어, 즉, 하드 와이어(hard-wired)에 의해, 또는, 일시적인 저장 매체에 저장된 명령들을 실행하도록 구성된, CPU와 같은 보다 범용 목적의 하드웨어(general-purpose hardware)에 의해 수행된다. 처리 회로는 단일 인쇄 회로 기판(PCB) 상에 제조되거나 여러 개의 상호 연결된 PCB(interconnected PCBs)에 분산(distributed)될 수 있다. 처리 회로는 다른 처리 회로들을 포함할 수 있다. 예를 들어, 처리 회로는 PCB 상에 상호 연결된 2개의 처리 회로, FPGA 및 CPU를 포함할 수 있다.
본 명세서에서 사용된 바와 같이, 어떤 것의 "부분(a portion of)"은 그것의 "적어도 일부(at least some of)"를 의미한다. 그리고 마찬가지로, 어떤 것의 "부분(a portion of)"은 그것의 전부(all) 또는 전부보다 적음(less than all)을 의미할 수도 있다. 따라서 어떤 것의 "부분(a portion of)은 특별한 경우로서 전부(entire thing)를 포함할 수 있다. 즉, 전부(entire thing)는 그것의 부분(a portion of the thing)에 대한 예일 수 있다.
본 명세서에서 사용된 바와 같이, "어레이(array)"라는 용어는 어떻게 저장되는지(how stored)에 관계없이 순서가 지정된 일련의 숫자(ordered set of numbers)를 의미한다. 예를 들면, 연속적인 메모리 위치(consecutive memory locations)에 저장되었는지 또는 링크된 리스트(linked list)에 저장되었는지 여부에 관계없이 순서가 지정된 일련의 숫자(ordered set of numbers)를 의미한다. 본 명세서에서 사용된 바와 같이, 용어 "직사각형(rectangle)"은 특별한 경우로 정사각형(square)을 포함하며, 즉 정사각형(square)은 직사각형(rectangle)의 예이다. 본 명세서에서 사용된 바와 같이, 용어 "또는(or)"은 "및/또는(and/or)"으로 해석되어야 한다. 예를 들어 "A 또는 B"는 "A" 또는 "B" 또는 "A 및 B" 중에서 어느 하나를 의미한다.
본 명세서에서 사용된 바와 같이, 방법(예를 들면, 조절) 또는 제 1 수량(예를 들어, 제 1 변수)이 제 2 수량 (예를 들어, 제 2 변수)에 "기반"하는 것으로 언급될 때, 이는 제 2 수량이 상기 방법에 대한 입력이거나 제 1 수량에 영향을 미친다는 것을 의미한다. 예를 들어, 제 2 수량은 제 1 수량을 계산하는 함수에 대한 입력 (예 : 단 하나의 입력 또는 여러 입력 중 하나) 일 수 있거나, 제 1 수량은 제 2 수량과 동일할 수 있거나, 제 1 수량은 예를 들어 제 2 수량과 동일한 위치 또는 메모리의 위치에 저장될 수 있다.
본 명세서에서 비록 용어 "제 1(first)", "제 2(second)", "제 3(third)" 등이 다양한 요소(elements), 구성 요소(components), 영역(regions), 층(layers) 및 또는 섹션(sections)을 설명하기 위해 사용될 수 있지만, 이러한 요소(elements), 구성 요소(components), 영역(regions), 층(layers) 및 또는 섹션(sections)은 이러한 용어에 의해 제한되어서는 안되는 것으로 해석되어 할 것이다. 이러한 용어는 단지 하나의 요소(elements), 구성 요소(components), 영역(regions), 층(layers) 및 또는 섹션(sections)을 다른 요소(elements), 구성 요소(components), 영역(regions), 층(layers) 및 또는 섹션(sections)과 구별하는 데 사용될 수 있다. 따라서, 본 명세서에서 설명된 제 1 요소, 제 1 구성 요소, 제 1 영역, 제 1 층 또는 제 1 섹션은 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서, 제 2 요소, 제 2 구성 요소, 제 2 영역, 제 2 층 또는 제 2 섹션으로 사용될 수 있다.
공간적으로 상대적인 용어인 “아래(beneath)”“아래(below)”“하부(lower)”“위(above)”“상부(upper)”등은 도면에 도시되어 있는 것과 같이 하나의 소자 또는 특징(feature)의 다른 소자(들) 또는 특징 (들)과의 관계를 용이하게 기술하기 위하여 사용될 수 있다. 공간적으로 상대적인 용어는 도면에 도시되어 있는 방향에 더하여 사용 시 또는 동작 시 장치의 다른 방향을 포함하는 용어로 이해될 것이다. 예를 들어, 만약 도면 내의 장치가 뒤집어 진다면, “아래(below)”또는 “아래(beneath)”로 기술된 소자는 다른 소자들 또는 특징들의 “위(above)”에 놓여질 것이다. 따라서, 예시적인 용어 “아래”는 아래와 위의 방향을 모두 포함할 수 있다. 장치는 다른 방향(90도 회전되거나 또는 다른 방향들)으로 배향될 수 있고 이에 따라 공간적으로 상대적인 설명들은 배향에 따라 해석될 수 있다. 또한, 한 층이 두 층 사이에 있는 것으로 언급될 때, 그것은 두 층 사이의 유일한 층일 수 있거나 하나 이상의 중간 층이 존재할 수도 있음을 또한 이해할 것이다.
본 명세서에서 사용된 용어는 특정 실시 예(particular embodiments)를 설명하기 위한 것이며, 본 발명을 제한하려는 의도가 아니다. 본 명세서에서 사용되는 용어인, "실질적으로(substantially)", "약(about)" 및 이와 유사한 용어(similar terms)는 정도의 용어(terms of degree)가 아니라 근사값의 용어(terms of approximation)로 사용될 수 있다. 또한, 이러한 용어는 당업자가 인식한 측정되거나 계산된 값(measured or calculated values)의 고유한 편차(inherent deviations)를 설명하기 위한 의도로 사용될 수 있다. 본 명세서에서 사용된 바와 같이, 용어 "주성분(major component)"은 조성물(composition) 또는 제품(product)에서 임의의 다른 단일 성분의 양보다 많은 양으로 조성물(composition), 중합체(polymer) 또는 제품(product)에 존재하는 성분을 지칭한다. 대조적으로, 용어 "주요 성분(primary componet)"은 조성물, 중합체 또는 제품의 적어도 50% 중량 또는 그 이상을 구성하는 성분을 지칭한다. 본 명세서에서 사용된 바와 같이, 용어 "주요 부분(major portion)"은 복수의 항목에 적용될 때 항목의 적어도 절반을 의미한다.
본 명세서에서 사용된 바와 같이, 단수 형태 "a" 및 "an"은 문맥상 명백하게 달리 나타내지 않는 한, 복수 형태도 포함하는 의도를 갖는 것으로 해석될 수 있다. 본 명세서에서 사용될 때, "포함한다(comprises)" 및/또는 "포함하는(comprising)" 이라는 용어는 언급된 특징(features), 정수(integers), 단계(steps), 연산(operations), 요소(elements) 및/또는 구성 요소(components)의 존재를 지정하지만, 하나 이상의 다른 특징(features), 정수(integers), 단계(steps), 연산(operations), 요소(elements), 구성 요소(components) 및/또는 그것들의 그룹(group)의 존재나 추가를 배제하지는 않는 것으로 해석될 수 있다. 본 명세서에서 사용되는 용어 "및/또는(and/or)"은 하나 이상의 연관된 열거된 항목들 중에서 임의의 조합 또는 모든 조합을 포함할 수 있다. "최소 하나 이상의(at least one of)"와 같은 표현은 요소 목록 앞에 올 때 전체 요소 목록을 수정하고 목록의 개별 요소를 수정하지 않는다. 또한, 본 발명의 실시 예를 설명 할 때 "할 수 있다(may)"라는 용어는 "본 발명의 하나 이상의 실시 예(one or more embodiments of the present disclosure)"를 의미한다. 또한, "예시적인(exemplary)"이라는 용어는 예 또는 예시(example or illustration)를 나타내는 의도로 해석될 수 있다. 본 명세서에서 사용되는 용어 "사용하다(use)", "사용하는(using)" 및 "사용된(used)"은 각각 "활용하다(utilize)", "활용하는(utlizing)" 및 "활용된(utilized)"이라는 용어와 동의어로 간주될 수 있다.
하나의 요소 또는 계층이 다른 요소 또는 계층의 "위에 있거나(on)", "연결되거나(connected to)", "커플되거나(coupled to)" 또는 "인접한(adjacent to)" 것으로 언급될 때, 다른 요소 또는 계층과 직접적으로 위에 있거나, 직접적으로 연결되거나 커플되거나 인접할 수 있고, 또한 하나 이상의 요소 또는 계층이 그 중간에 존재할 수 있는 것으로 해석될 수 있다. 예를 들어, 제 1 구성 요소가 제 2 구성 요소에 "연결(connected to)"된 경우, 제 3 구성 요소가 제 1 구성 요소와 제 2 구성 요소 사이에 연결될 수 있다. 예를 들면, 제 3 구성 요소의 일측이 제 1 구성 요소에 연결될 수 있고, 제 3 구성 요소의 타측은 제 2 구성 요소에 연결될 수 있다. 반대로, 하나의 요소 또는 계층이 다른 요소 또는 계층에 "직접 위에 있거나(directly on)", "직접 연결되거나(directly connected to)", "직접 커플되거나(directly coupled to)" 또는 "바로 인접한(immediately adjacent to)" 것으로 언급될 때, 그 중간에 다른 요소 또는 계층이 존재하지 않는 것으로 해석될 수 있다.
본 명세서에서 인용된 임의의 수치 범위(numerical range)는 인용된 범위 내에 포함된 동일한 수치 정밀도(same numerical precision)의 모든 하위 범위(sub-ranges)를 포함하도록 의도된 것으로 해석될 수 있다. 예를 들어, "1.0에서 10.0"의 범위는 언급된 최소값 1.0과 언급된 최대값 10.0 사이의 모든 하위 범위, 예를 들면, 최소값 1.0 이상이고 최대값 10.0 이하(예를 들면, 2.4~7.6)를 포함하는 것으로 해석될 수 있다. 본 명세서에 언급된 임의의 최대 수치 제한(maximum numerical limitation)은 그 안에 포함된 더 낮은 모든 수치 제한을 포함하는 의도를 갖는 것으로 해석될 수 있다. 본 명세서에 언급된 임의의 최소 수치 제한(minimum numerical limitation)은 거기에 포함된 더 높은 모든 수치 제한을 포함하는 의도를 갖는 것으로 해석될 수 있다.
3차원 카메라 시스템(three-dimensional camera system)의 예시적인 실시 예(exemplary embodiments)가 본 명세서에서 구체적으로 설명되고 예시되었지만, 많은 수정(modifications) 및 변형(variations)이 당업자에게 자명할 것이다. 따라서, 본 발명의 개시의 원리에 따라 구성된 3차원 카메라 시스템(three-dimensional camera system)은 본 명세서에서 구체적으로 설명된 것과 다른 것으로 구현될 수 있음은 자명할 것이다. 본 명세서의 개시는 또한 다음의 청구 범위 및 그 균등 범위(equivalents)에서 정의될 수 있다.
105: 물체
110: 제 1 레이저
115: 카메라
120: 렌즈
125: 광 검출기
205: 화소 어레이
210: 행 구동부
220: 시간-측정 회로
225: 열 디코더
230: 바이어스 생성기
240: 디지털 블록
310: 열 판독 회로
300: 화소
315: 스위치
320: 감지 회로
325: 정밀 시간-측정 회로

Claims (10)

  1. 카메라 시스템에 있어서,
    제 1 레이저;
    카메라; 및
    상기 제 1 레이저 및 상기 카메라에 연결되는 처리회로를 포함하고,
    상기 제 1 레이저는 조종 가능하고(steerable),
    상기 카메라는 광 검출기 및 화소 회로를 포함하는 화소를 포함하고,
    상기 화소 회로는 제 1 시간-측정 회로(a first time-measuring circuit)를 포함하는 카메라 시스템.
  2. 제 1 항에 있어서,
    상기 제 1 시간-측정 회로는 10ns의 정밀도(precision)를 갖는 카메라 시스템.
  3. 제 1 항에 있어서,
    상기 제 1 시간-측정 회로는 시간-디지털 컨버터 회로(time to digital converter circuit)를 포함하며,
    상기 화소 회로는 상기 시간-디지털 컨버터 회로에 의해 생성된 카운트 값을 저장하는 레지스터를 더 포함하는 카메라 시스템.
  4. 제 3 항에 있어서,
    상기 시간-디지털 컨버터 회로는 카운터를 포함하며, 상기 카운터는 시작 트리거 수신 시 카운팅을 시작하며 및 상기 광 검출기로부터 검출 펄스 수신 시 상기 레지스터에 상기 카운트 값을 저장하도록 구성되는 카메라 시스템.
  5. 제 1 항에 있어서,
    상기 제 1 시간-측정 회로는 시간-전하 컨버터 회로(time to charge converter)를 포함하는 카메라 시스템.
  6. 제 1 항에 있어서，
    상기 광 검출기와 상기 제 1 시간-측정 회로 사이에 연결된 감지 회로를 더 포함하며,
    상기 감지 회로는 증폭기 및 비교기를 포함하는 카메라 시스템.
  7. 제 1 항에 있어서,
    상가 제 1 레이저는 1차원에서 조종 가능하며 라인 조명(line illumination)을 생성하도록 구성되는 카메라 시스템.
  8. 제 1 항에 있어서,
    상기 제 1 레이저는 2차원에서 조종 가능한 카메라 시스템.
  9. 제 1 항에 있어서,
    상기 제 1 시간-측정 회로는 1ns의 정밀도를 갖는 카메라 시스템.
  10. 제 1 항에 있어서,
    상기 처리 회로는
    제 1 모드에서는 상기 제 1 레이저가 스캔을 수행하도록 하고,
    제 2 모드에서는 상기 제 1 레이저가 최대 100ns의 지속 시간을 가지는 상승 에지를 갖는 플래시를 생성하도록 구성되는 카메라 시스템.

KR1020210049165A 2020-04-17 2021-04-15 3차원 카메라 시스템 KR20210128930A (ko)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US202063011826P 2020-04-17 2020-04-17
US63/011,826 2020-04-17
US16/894,705 2020-06-05
US16/894,705 US11443447B2 (en) 2020-04-17 2020-06-05 Three-dimensional camera system

Publications (1)

Publication Number Publication Date
KR20210128930A true KR20210128930A (ko) 2021-10-27

Family

ID=78082940

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210049165A KR20210128930A (ko) 2020-04-17 2021-04-15 3차원 카메라 시스템

Country Status (2)

Country Link
US (2) US11443447B2 (ko)
KR (1) KR20210128930A (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110031830B (zh) * 2019-04-29 2020-11-03 清华大学深圳研究生院 一种基于激光线扫描成像的测距方法
US11651503B2 (en) * 2020-06-16 2023-05-16 Microsoft Technology Licensing, Llc Determining depth in a depth image

Family Cites Families (64)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU1574899A (en) 1998-12-16 2000-07-03 3Dv Systems Ltd. Self gating photosurface
JP2001337166A (ja) 2000-05-26 2001-12-07 Minolta Co Ltd ３次元入力方法および３次元入力装置
JP3744826B2 (ja) 2001-06-04 2006-02-15 セイコーエプソン株式会社 表示制御回路、電気光学装置、表示装置及び表示制御方法
DE10132616A1 (de) * 2001-07-05 2003-01-23 Schmitz Werke Wintergartenmarkise oder dergleichen
DE10145678B4 (de) * 2001-09-15 2018-09-27 Conti Temic Microelectronic Gmbh Verfahren zur Diebstahlsicherung eines Kraftfahrzeugs
DE10215857A1 (de) * 2002-04-10 2003-10-23 Linde Ag Vorrichtung und Verfahren zur Kontrolle der Zusammensetzung einer Gasatmosphäre
US20050128327A1 (en) * 2003-12-10 2005-06-16 Bencuya Selim S. Device and method for image sensing
US8134637B2 (en) 2004-01-28 2012-03-13 Microsoft Corporation Method and system to increase X-Y resolution in a depth (Z) camera using red, blue, green (RGB) sensing
DE102004037137B4 (de) 2004-07-30 2017-02-09 PMD Technologie GmbH Verfahren und Vorrichtung zur Entfernungsmessung
US7262402B2 (en) 2005-02-14 2007-08-28 Ecole Polytechnique Federal De Lausanne Integrated imager circuit comprising a monolithic array of single photon avalanche diodes
US8355117B2 (en) 2005-12-21 2013-01-15 Ecole Polytechnique Federale De Lausanne Method and arrangement for measuring the distance to an object
US7483151B2 (en) 2006-03-17 2009-01-27 Alpineon D.O.O. Active 3D triangulation-based imaging method and device
EP2584494A3 (en) 2006-08-03 2015-02-11 Alterface S.A. Method and device for identifying and extracting images of multiple users, and for recognizing user gestures
US7852461B2 (en) 2007-11-15 2010-12-14 Microsoft International Holdings B.V. Dual mode depth imaging
KR101467509B1 (ko) 2008-07-25 2014-12-01 삼성전자주식회사 이미지 센서 및 이미지 센서 동작 방법
EP2159603B1 (de) 2008-09-01 2011-11-09 Sick Ag Objektfeststellungsverfahren und Objektfeststellungssensor
US8639046B2 (en) 2009-05-04 2014-01-28 Mamigo Inc Method and system for scalable multi-user interactive visualization
EP2264481A1 (en) 2009-06-04 2010-12-22 IEE International Electronics & Engineering S.A. Method and device for acquiring a range image
US9582889B2 (en) 2009-07-30 2017-02-28 Apple Inc. Depth mapping based on pattern matching and stereoscopic information
WO2011030391A1 (ja) * 2009-09-11 2011-03-17 パナソニック株式会社 アナログ・デジタル変換器、イメージセンサシステム、カメラ装置
US20110102763A1 (en) 2009-10-30 2011-05-05 Microvision, Inc. Three Dimensional Imaging Device, System and Method
US8445828B2 (en) * 2010-07-01 2013-05-21 Silicon Optronics, Inc. High dynamic range image sensor with in pixel memory
US9098931B2 (en) 2010-08-11 2015-08-04 Apple Inc. Scanning projectors and image capture modules for 3D mapping
US8605173B2 (en) * 2010-08-16 2013-12-10 SK Hynix Inc. Differential column ADC architectures for CMOS image sensor applications
US8681255B2 (en) 2010-09-28 2014-03-25 Microsoft Corporation Integrated low power depth camera and projection device
US9066087B2 (en) 2010-11-19 2015-06-23 Apple Inc. Depth mapping using time-coded illumination
EP2477043A1 (en) 2011-01-12 2012-07-18 Sony Corporation 3D time-of-flight camera and method
US8799769B2 (en) 2011-02-08 2014-08-05 Ebay Inc. Application above-the-fold rendering measurements
KR102025522B1 (ko) 2011-03-10 2019-11-26 사이오닉스, 엘엘씨 3차원 센서, 시스템, 및 관련 방법
KR20140022858A (ko) 2011-04-01 2014-02-25 가부시키가이샤 니콘 형상 측정 장치, 형상 측정 방법, 및 구조물의 제조 방법
EP2695000B1 (en) 2011-04-05 2018-05-30 Koninklijke Philips N.V. Detector array with time-to-digital conversion having improved temporal accuracy
WO2013034771A2 (en) 2011-09-08 2013-03-14 Borowski, André 3d imager and method for 3d imaging
JP2013104784A (ja) 2011-11-14 2013-05-30 Mitsubishi Electric Corp 光３次元カメラ
FR2985570A1 (fr) 2012-01-09 2013-07-12 St Microelectronics Grenoble 2 Dispositif de detection de la proximite d'un objet, comprenant des photodiodes spad
EP2803090B1 (en) 2012-01-10 2016-05-25 Softkinetic Sensors N.V. Multispectral sensor
CN104160295B (zh) 2012-03-09 2017-09-15 株式会社半导体能源研究所 半导体装置的驱动方法
US9040892B2 (en) 2012-07-27 2015-05-26 Apple Inc. High dynamic range image sensor having symmetric interleaved long and short exposure pixels
KR101951318B1 (ko) 2012-08-27 2019-04-25 삼성전자주식회사 컬러 영상과 깊이 영상을 동시에 얻을 수 있는 3차원 영상 획득 장치 및 3차원 영상 획득 방법
US8988598B2 (en) 2012-09-14 2015-03-24 Samsung Electronics Co., Ltd. Methods of controlling image sensors using modified rolling shutter methods to inhibit image over-saturation
US9177987B2 (en) * 2012-10-12 2015-11-03 Samsung Electronics Co., Ltd. Binary CMOS image sensors, methods of operating same, and image processing systems including same
JP6017916B2 (ja) 2012-10-16 2016-11-02 株式会社豊田中央研究所 光検出器
WO2014130849A1 (en) 2013-02-21 2014-08-28 Pelican Imaging Corporation Generating compressed light field representation data
KR102040152B1 (ko) 2013-04-08 2019-12-05 삼성전자주식회사 3차원 영상 획득 장치 및 3차원 영상 획득 장치에서의 깊이 영상 생성 방법
US9729860B2 (en) 2013-05-24 2017-08-08 Microsoft Technology Licensing, Llc Indirect reflection suppression in depth imaging
GB2514603B (en) 2013-05-30 2020-09-23 Tobii Ab Gaze-controlled user interface with multimodal input
KR20140147376A (ko) 2013-06-19 2014-12-30 삼성전자주식회사 적층형 컬러-깊이 센서 및 이를 채용한 3차원 영상 획득 장치
US10116883B2 (en) 2013-08-29 2018-10-30 Texas Instruments Incorporated System and methods for depth imaging using conventional CCD image sensors
US10061028B2 (en) 2013-09-05 2018-08-28 Texas Instruments Incorporated Time-of-flight (TOF) assisted structured light imaging
US9874629B2 (en) 2013-12-23 2018-01-23 Oulun Yliopisto Distance measurement device, receiver thereof and method of distance measurement
JP6541347B2 (ja) * 2014-03-27 2019-07-10 キヤノン株式会社 固体撮像装置および撮像システム
US9377533B2 (en) * 2014-08-11 2016-06-28 Gerard Dirk Smits Three-dimensional triangulation and time-of-flight based tracking systems and methods
TWI679442B (zh) * 2014-12-02 2019-12-11 新加坡商新加坡恒立私人有限公司 深度感測模組及深度感測方法
US10145678B2 (en) 2015-04-20 2018-12-04 Samsung Electronics Co., Ltd. CMOS image sensor for depth measurement using triangulation with point scan
US9888191B2 (en) * 2015-04-21 2018-02-06 Semiconductor Components Industries, Llc Imaging systems and methods for performing unboosted image sensor pixel conversion gain adjustments
US10942261B2 (en) 2015-10-21 2021-03-09 Samsung Electronics Co., Ltd Apparatus for and method of range sensor based on direct time-of-flight and triangulation
WO2017106875A1 (en) * 2015-12-18 2017-06-22 Gerard Dirk Smits Real time position sensing of objects
WO2017149526A2 (en) * 2016-03-04 2017-09-08 May Patents Ltd. A method and apparatus for cooperative usage of multiple distance meters
US9652692B1 (en) * 2016-09-26 2017-05-16 Cognex Corporation Machine vision system for capturing a digital image of a sparsely illuminated scene
FR3065196B1 (fr) * 2017-04-14 2019-12-13 Thales Bouee
EP3480626A1 (en) 2017-11-02 2019-05-08 Koninklijke Philips N.V. Improved depth image reconstruction
WO2019104329A1 (en) * 2017-11-27 2019-05-31 Optecks, Llc Medical three-dimensional (3d) scanning and mapping system
US10609319B2 (en) * 2017-12-04 2020-03-31 Pixart Imaging Inc. Image sensor capable of averaging pixel data
EP3657205A1 (en) * 2018-11-23 2020-05-27 Teledyne Innovaciones Microelectrónicas, SLU Cmos image sensor for direct time of flight measurement
CN114942454A (zh) * 2019-03-08 2022-08-26 欧司朗股份有限公司 用于lidar传感器系统的光学封装以及lidar传感器系统

Also Published As

Publication number Publication date
US20210327078A1 (en) 2021-10-21
US20230005170A1 (en) 2023-01-05
US11443447B2 (en) 2022-09-13
US11847790B2 (en) 2023-12-19

Similar Documents

Publication Publication Date Title
US20210181317A1 (en) Time-of-flight-based distance measurement system and method
JP6899005B2 (ja) 光検出測距センサ
AU2007251977B2 (en) Distance measuring method and distance measuring element for detecting the spatial dimension of a target
US10386465B2 (en) Integrated LIDAR illumination power control
US10324171B2 (en) Light detection and ranging sensor
EP1147370B1 (en) Self gating photosurface
US11847790B2 (en) Three-dimensional camera system
WO2021072802A1 (zh) 一种距离测量系统及方法
CN110596721A (zh) 双重共享tdc电路的飞行时间距离测量系统及测量方法
US9981604B2 (en) Object detector and sensing apparatus
Ruokamo et al. An $80\times25 $ Pixel CMOS Single-Photon Sensor With Flexible On-Chip Time Gating of 40 Subarrays for Solid-State 3-D Range Imaging
CN111103057B (zh) 具有使用基于电容器的比较器的阈值检测的光子感测
CN110780312B (zh) 一种可调距离测量系统及方法
US11686819B2 (en) Dynamic beam splitter for direct time of flight distance measurements
US20200158832A1 (en) Muilti-detector with interleaved photodetector arrays and analog readout circuits for lidar reciever
US20220334253A1 (en) Strobe based configurable 3d field of view lidar system
US20230393245A1 (en) Integrated long-range narrow-fov and short-range wide-fov solid-state flash lidar system
CN112105944A (zh) 具有使用短脉冲和长脉冲的多模式操作的光学测距系统
EP4042544A1 (en) Configurable memory blocks for lidar measurements
US20240192375A1 (en) Guided flash lidar
US20230408694A1 (en) Segmented flash lidar using stationary reflectors

Legal Events

Date Code Title Description
A201 Request for examination