KR20170137615A - 에피폴라 라인 레이저 포인트 스캐닝을 갖는 3차원 카메라를 위한 더블 리드아웃을 갖는 타임스탬프 에러 정정 - Google Patents

에피폴라 라인 레이저 포인트 스캐닝을 갖는 3차원 카메라를 위한 더블 리드아웃을 갖는 타임스탬프 에러 정정 Download PDF

Info

Publication number
KR20170137615A
KR20170137615A KR1020170053098A KR20170053098A KR20170137615A KR 20170137615 A KR20170137615 A KR 20170137615A KR 1020170053098 A KR1020170053098 A KR 1020170053098A KR 20170053098 A KR20170053098 A KR 20170053098A KR 20170137615 A KR20170137615 A KR 20170137615A
Authority
KR
South Korea
Prior art keywords
pixel
light spot
light
timestamp
specific
Prior art date
Application number
KR1020170053098A
Other languages
English (en)
Other versions
KR102295485B1 (ko
Inventor
이빙 미쉘 왕
일리아 오브시안니코브
그레고리 왈리고르스키
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Publication of KR20170137615A publication Critical patent/KR20170137615A/ko
Application granted granted Critical
Publication of KR102295485B1 publication Critical patent/KR102295485B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/246—Calibration of cameras
    • H04N13/0246—
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2518—Projection by scanning of the object
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00—Measuring distances in line of sight; Optical rangefinders
    • G01C3/02—Details
    • G01C3/06—Use of electric means to obtain final indication
    • G01C3/08—Use of electric radiation detectors
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G01S17/10—Systems determining position data of a target for measuring distance only using transmission of interrupted, pulse-modulated waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/42—Simultaneous measurement of distance and other co-ordinates
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/46—Indirect determination of position data
    • G01S17/48—Active triangulation systems, i.e. using the transmission and reflection of electromagnetic waves other than radio waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481—Constructional features, e.g. arrangements of optical elements
    • G01S7/4817—Constructional features, e.g. arrangements of optical elements relating to scanning
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/486—Receivers
    • G01S7/4861—Circuits for detection, sampling, integration or read-out
    • G01S7/4863—Detector arrays, e.g. charge-transfer gates
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/486—Receivers
    • G01S7/4865—Time delay measurement, e.g. time-of-flight measurement, time of arrival measurement or determining the exact position of a peak
    • H04N13/0203—
    • H04N13/026—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/261—Image signal generators with monoscopic-to-stereoscopic image conversion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/745—Circuitry for generating timing or clock signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/75—Circuitry for providing, modifying or processing image signals from the pixel array
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/78—Readout circuits for addressed sensors, e.g. output amplifiers or A/D converters
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/497—Means for monitoring or calibrating
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/254—Image signal generators using stereoscopic image cameras in combination with electromagnetic radiation sources for illuminating objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

픽셀 어레이 내 픽셀의 픽셀-특화된 출력들에 대한 타임스탬프들 및 그레이스케일 값들을 생성하는 더블-리드아웃 기술이 사용된 방법 및 시스템이 개시된다. 픽셀 어레이는 이미지 평면을 형성하고, 픽셀들의 로우들은 이미지 평면 상의 스캐닝 라인의 에피폴라 라인을 형성한다.
픽셀-특정 출력이 임계값을 초과하는 경우, 타임스탬프 값 및 그레이스케일 값이 생성되고, 픽셀-특화된 출력과 연관된다. 만일, 픽셀-특화된 출력이 임계값을 초과하지 않거나, 타임스탬프가 없다면(즉, 타임 스탬프 누락), 픽셀-특화된 출력에 대한 그레이스케일 값은 생성되고, 픽셀-특화된 출력과 연관된다. 누락된 타임스탬프들, 픽셀 클러스터들과 연관된 타임스탬프들 및 이상값 타임스탬프들 즉, 정상 조건들에서 타임스탬프 값들이 타임스탬프 값들의 단조적 관계와 일치하지 않는 픽셀-특화된 출력들과 연관된 타임스탬프들에 의해 야기된 타임스탬프 에러들은 정정될 수 있다.

Description

에피폴라 라인 레이저 포인트 스캐닝을 갖는 3차원 카메라를 위한 더블 리드아웃을 갖는 타임스탬프 에러 정정{TIMESTAMP ERROR CORRECTION WITH DOUBLE READOUT FOR THE 3D CAMERA WITH EPIPOLAR LINE LASER POINT SCANNING}
본 발명은 이미지 센서들에 관한 것이다. 더욱 구체적으로는, 본 발명의 특정 실시예들은 3D 객체의 깊이 측정들에 대한 삼각 측량-기반 접근법(triangulation-based approach)에서 레이저 포인트 스캔과 함께 에피폴라 기하학 기반 이미징을 사용하는 깊이 센서 또는 3차원(3D) 이미징(imaging) 시스템 내 타임스탬프 에러들의 정정에 대한 것이나, 이에 제한되지 않는다.
3차원(3D) 이미징 시스템들은 산업 생산, 비디오 게임들, 컴퓨터 그래픽들, 로봇 수술들, 소비자 디스플레이들, 감시 비디오들, 3D 모델링, 부동산 판매 등과 같은 다양한 응용 분야들에서 점점 더 많이 사용되고 있다.
기존의 3D-이미징 기술들은, 예를 들어 TOF(time-of-flight) 기반 레인지 이미징(range imaging), 스테레오 비전 시스템들(stereo vision systems) 및 구조화 된 라이트(structured light, SL) 방법들을 포함할 수 있다.
TOF 방법에서, 3D 객체(object)까지의 거리는, 빛 신호가 카메라와 3D 객체 사이에서 이미지의 각 포인트에 대해 이동하는데 걸리는 왕복 시간을 측정함으로써 알려진 빛의 속도에 근거하여 결정된다. TOF 카메라는 스캐너리스(scannerless) 방식을 사용하여 각 레이저 또는 광 펄스로 전체 장면을 캡처할 수 있다. TOF 방법의 일부 예시적인 애플리케이션들은 실시간 거리 이미지들에 기초한 능독적 보행자 안전 또는 충돌전 탐지와 같은 첨단 자동차 애플리케이션들, 비디오 게임 콘솔들 상에서의 게임들과 상호 작용동안 사람들의 움직임들을 추적하는 것, 산업 기계 비전에서 객체들을 분류하고, 로봇들이 컨베이어 벨트 상의 물건들과 같은 물건들을 찾는 것을 돕는 것 등을 포함할 수 있다.
입체 이미징(stereoscopic imaging) 또는 스테레오 비전(stereo vision) 시스템들에서, 서로 수평 방향으로 변위된(displaced) 2 개의 카메라들은 장면(scene) 또는 장면 내의 3 차원 객체에 대해 2 개의 상이한 뷰들(views)을 얻는데 사용된다. 이 두 이미지들을 비교하여, 3D 객체에 대한 상대적 깊이 정보를 얻을 수 있다. 스테레오 비전은 로봇 공학과 같은 분야들에서 자율 시스템들/로봇들 주변의 3D 객체들의 상대적 위치에 대한 정보를 추출하는데 매우 중요하다. 로봇 공학을 위한 다른 애플리케이션들은, 입체 깊이 정보를 통해 로봇 시스템이 다른 객체 앞의 어떤 하나의 객체와 같이 다른 객체를 부분적으로 또는 완전하게 숨기는 가려짐(occluding) 이미지 구성 요소들을 분리할 수 있게 하는 객체 인식을 포함한다. 3D 스테레오 디스플레이들은 엔터테인먼트 및 자동화 시스템들에도 사용된다.
SL 접근법에서, 객체의 3D 형태는 투영된 빛 패턴들 및 이미징을 위한 카메라를 사용하여 측정될 수 있다. SL 방법에서, 빛의 알려진 패턴, 종종 격자들(grids) 또는 수평 바들(bars) 또는 평행한 줄무늬들의 패턴들이 장면 상에 또는 장면 내 3D 객체에 투영된다. 투영된 패턴은 3D 객체의 표면에 부딪칠(striking) 때 변형(deformed)되거나 변위(displaced)될 수 있다. 이러한 변형은 SL 비전 시스템이 객체의 깊이 및 표면 정보를 계산하게 할 수 있다. 따라서, 좁은 대역의 광을 3D 표면에 투사하면 프로젝터의 시각(perspective) 이외의 다른 시각들에서 왜곡되어 보이는 조명 선이 생기고, 그리고 조명된 표면 형상의 기하학적 재구성에 사용될 수 있다. SL-기반 3D 이미징은 경찰 현장에서 3D 장면에서 지문을 찍거나, 생산 과정에서 구성 요소들을 인라인(inline) 검사하거나, 인체 형상들 또는 인체 피부의 마이크로 구조들에 대한 실제 측정들을 위한 헬스 케어와 같은 다양한 응용 분야에서 사용될 수 있다.
따라서 본 발명은 넓은 범위의 조건에서 작업할 수 있는 저전력 3D 이미징 시스템 구현을 제공한다.
본 발명은 가시광 레이저 스캐닝으로 2D 컬러 이미지들 및 3D-깊이 측정들 모두를 캡처할 수 있는 이미징 유닛을 제공한다.
본 발명의 실시예에 따른 방법은, 광원을 사용하여 스캐닝 라인을 따라 객체의 1-차원 포인트 스캔을 수행하는 단계, 상기 포인트 스캔은 상기 객체의 표면 상에 광 스폿들의 시퀀스를 투영하고, 이미지 평면을 형성하는 2-차원 어레이로 배열된 복수의 픽셀들을 포함하는 이미지 센서 내 픽셀들의 로우를 선택하는 단계, 상기 선택된 픽셀들의 로우는 상기 이미지 평면 상의 상기 스캐닝 라인의 에피폴라 라인의 적어도 일부를 형성하고, 상기 광 스폿들의 시퀀스 내 광 스폿에 대응하는 상기 선택된 로우 내의 픽셀의 적어도 하나의 픽셀-특화된 출력을 생성하는 단계, 상기 광 스폿에 대응하는 상기 픽셀-특화된 출력이 미리 결정된 임계값을 초과하는 경우, 상기 광 스폿에 대응하는 각 픽셀-특화된 출력과 연관된 타임스탬프 값을 생성하는 단계, 상기 광 스폿에 대응하는 각 픽셀-특화된 출력의 그레이-레벨 강도를 나타내는 그레이스케일 값을 생성하는 단계, 광 스폿에 대한 타임스탬프 값을 결정하는 단계, 및 상기 광 스폿에 대해 결정된 타임스탬프 값 및 상기 광 스폿을 투영하기 위해 상기 광원에 의해 사용되는 스캔 각도에 근거해서 상기 객체의 표면 상의 상기 광 스폿까지의 거리를 결정하는 단계를 포함한다. 상기 타임스탬프 결정 단계는, 적어도 2개 이상의 픽셀-특화된 출력들이 상기 광 스폿에 대응하고, 그리고 적어도 하나의 픽셀-특화된 출력이 상기 미리 결정된 임계값을 초과하는 경우, 상기 광 스폿에 대응하는 가장 큰 그레이-레벨 강도를 갖는 픽셀-특화된 출력에 대응하는 타임스탬프 값을 상기 광 스폿에 대한 상기 타임스탬프 값으로 결정하고, 또는 픽셀-특화된 출력이 상기 광 스폿에 대응하고, 그리고 상기 광 스폿에 대한 타임스탬프가 없거나 또는 이상값 타임스탬프가 생성되는 경우, 상기 광 스폿과 이웃하는 광 스폿들의 시퀀스 내의 광 스폿들에 대응하는 픽셀-특화된 출력들과 연관된 타임스탬프들에 근거해서 상기 광 스폿에 대한 상기 타임스탬프 값으로 결정한다.
다른 실시예에 따른 이미징 유닛은, 스캐닝 라인을 따라 객체의 1-차원 포인트 스캔을 수행하는 광원 및 이미지 센서 유닛을 포함한다. 상기 포인트 스캔은 상기 객체의 표면 상에 광 스폿들의 시퀀스를 투영한다. 상기 이미지 센서 유닛은, 이미지 평면을 형성하는 2-차원 픽셀 어레이 내 배열된 복수의 픽셀들, 상기 스캐닝 라인의 에피폴라 라인의 적어도 일부를 형성하는 상기 2-차원 픽셀 어레이 내 픽셀들의 로우, 및 광 스폿들의 시퀀스 내 광 스폿에 대응하는 픽셀-특화된 출력을 생성하는 상기 픽셀들의 로우 내 각 픽셀을 포함한다. 타임스탬프 발생기는, 상기 픽셀-특화된 출력이 미리 결정된 임계값을 초과하는 경우, 상기 광 스폿에 대응하는 각 픽셀-특화된 출력과 연관된 타임스탬프 값을 생성한다. 그레이-스케일 발생기는 상기 광 스폿에 대응하는 각 픽셀-특화된 출력의 그레이-레벨 강도를 나타내는 그레이스케일 값을 생성한다. 타임스탬프 판별기는, 상기 광 스폿에 대한 타임스탬프 값을 판별한다. 2개 이상의 픽셀-특화된 출력들이 상기 광 스폿에 대응하고, 적어도 하나의 픽셀-특화된 출력이 상기 미리 결정된 임계값을 초과하는 경우, 상기 타임스탬프 값은 상기 광 스폿에 대응하는 최대 그레이-스케일 값을 갖는 픽셀-특화된 출력에 대응하고, 그리고 픽셀-특화된 출력이 상기 광 스폿에 대응하고, 그리고 상기 광 스폿에 대한 타임스탬프가 없거나 또는 이상값 타임스탬프가 생성되는 경우, 상기 타임스탬프 값은 상기 광 스폿과 이웃하는 광 스폿들의 시퀀스 내의 광 스폿들에 대응하는 픽셀-특화된 출력들과 연관된 타임스탬프들에 근거한다. 거리 판별기는 상기 광 스폿에 대해 결정된 타임스탬프 값 및 상기 광 스폿을 투영하기 위해 상기 광원에 의해 사용되는 스캔 각도에 근거해서 상기 객체의 표면 상의 상기 광 스폿까지의 거리를 결정하는 거리 판별기를 포함한다. 상기 타임스탬프 판별기는, 픽셀-특화된 출력이 상기 광 스폿에 대응하고, 그리고 상기 광 스폿에 대한 타임스탬프가 없거나 또는 이상값 타임스탬프가 생성되는 경우, 상기 광 스폿과 이웃하는 광 스폿들의 시퀀스 내의 광 스폿들에 대응하는 픽셀-특화된 출력들과 연관된 타임스탬프들에 근거해서 상기 광 스폿에 대한 상기 타임스탬프 값으로 더 판별한다.
상기 타임스탬프 판별기는, 오직 하나의 픽셀-특화된 출력이 상기 광 스폿에 대응하고, 상기 픽셀-특화된 출력이 상기 미리 결정된 임계값을 초과하는 경우, 상기 광 스폿에 대응하는 픽셀-특화된 출력들과 연관된 타임스탬프 값으로 타임스탬프 값을 판별하는 것에 의해 상기 광 스폿에 대한 타임스탬프 값을 더 판별한다.
본 발명의 또 다른 실시예에 따른 이미지 센서 유닛은, 이미지 평면을 형성하는 픽셀들의 복수의 로우들을 포함하는 2-차원 픽셀 어레이를 포함한다. 상기 픽셀들의 적어도 하나의 로우는 객체의 표면 상에 스캐닝 라인으로 투영된 광 스폿의 시퀀스 내 대응하는 광 스폿으로 픽셀-특화된 출력을 출력하고, 상기 적어도 하나의 로우는 스캐닝 라인의 에피폴라 라인의 적어도 일부를 형성한다. 타임스탬프 발생기는 상기 픽셀-특화된 출력이 미리 결정된 임계값을 초과하는 경우, 상기 광 스폿에 대응하는 각 픽셀-특화된 출력과 연관된 타임스탬프 값을 생성한다. 그레이-스케일 발생기는 상기 광 스폿에 대응하는 각 픽셀-특화된 출력의 그레이-레벨 강도를 나타내는 그레이스케일 값을 생성한다. 타임스탬프 판별기는 상기 광 스폿에 대한 타임스탬프 값을 판별한다. 오직 하나의 픽셀-특화된 출력이 상기 광 스폿에 대응하고, 상기 픽셀-특화된 출력이 상기 미리 결정된 임계값을 초과하는 경우, 상기 타임스탬프 값은 상기 광 스폿에 대응하는 픽셀-특정 출력과 연관되고, 2개 이상의 픽셀-특화된 출력들이 상기 광 스폿에 대응하고, 적어도 하나의 픽셀-특화된 출력이 상기 미리 결정된 임계값을 초과하는 경우, 상기 타임스탬프 값은 상기 광 스폿에 대응하는 가장 큰 그레이-레벨 강도를 포함하는 픽셀-특정 출력에 대응하고, 그리고 픽셀-특화된 출력이 상기 광 스폿에 대응하고, 그리고 상기 광 스폿에 대한 타임스탬프가 없거나 또는 이상값 타임스탬프가 생성되는 경우, 상기 타임스탬프 값은 상기 광 스폿과 이웃하는 광 스폿들의 시퀀스 내의 광 스폿들에 대응하는 픽셀-특화된 출력들과 연관된 타임스탬프들에 근거한다. 거리 판별기는 상기 광 스폿에 대해 결정된 타임스탬프 값 및 상기 광 스폿을 투영하기 위해 상기 광원에 의해 사용되는 스캔 각도에 근거해서 상기 객체의 표면 상의 상기 광 스폿까지의 거리를 결정한다.
상기 타임스탬프 판별기는, 하나의 픽셀-특화된 출력이 상기 광 스폿에 대응하고, 상기 광 스폿에 대한 타임스탬프가 없거나 또는 이상값 타임스탬프가 생성된 경우, 상기 광 스폿과 이웃하는 광 스폿들의 시퀀스 내의 광 스폿들에 대응하는 픽셀-특화된 출력들과 연관된 보간 타임 스탬프들에 근거해서 상기 광 스폿에 대한 상기 타임스탬프 값을 더 판별한다.
이와 같은 본 발명에 의하면 저전력 3D 이미징 시스템이 구현될 수 있다.
또한 가시광 레이저 스캐닝으로 2D 컬러 이미지들 및 3D-깊이 측정들 모두를 캡처할 수 있는 이미징 유닛을 제공할 수 있다.
이하, 본 발명의 양상들이 도면에 도시된 예시적인 실시예들을 참조하여 설명 될 것이다.
도 1은 본 발명의 일 실시예에 따른 시스템의 매우 간략화된 부분 레이아웃을 간단히 보여준다.
도 2는 본 발명의 일 실시예에 따른 도 1에 도시된 시스템의 동작 레이아웃을 예시적으로 도시한다.
도 3은 본 발명의 일 실시예에 따른 3D-깊이 측정들이 어떻게 수행될 수 있는 지를 보여주는 예시적인 플로우차트이다.
도 4는 본 발명의 일 실시예에 따른 3D-깊이 측정들을 위해 포인트 스캔이 어떻게 수행될 수 있는 지를 예시적으로 도시한다.
도 5는 본 발명의 일 실시예에 따른 스캔된 라이트 스폿들에 대한 타임-스탬핑을 예시적으로 도시한다.
도 6은 본 발명의 실시예에 따른 도 1 및 도 2에 도시된 이미지 센서의 이미지 프로세서 유닛 내 프로세싱 회로들과 관련된 일부와 2D 픽셀 어레이를 상세히 보여주는 예시적인 회로도이다.
도 7a은 본 발명의 일 실시예에 따른 이미지 센서 유닛의 예시적인 레이아웃이다.
도 7b는 본 발명의 일 실시예에 따른 3D-깊이 측정에 대한 CDS+ADC 유닛의 예시적인 상세한 구조를 보여준다.
도 8은 본 발명의 특정 실시예들에 따른 3D 모드의 동작에서 타임스탬프-기반 픽셀-특화된 출력들을 발생하기 위해 도 1 및 도 2에 도시된 시스템의 상이한 신호들의 예시적 타이밍을 보여주는 타이밍도이다.
도 9는 픽셀들의 2차원 어레이의 2개의 예시적인 픽셀 로우들로부터의 픽셀-특화된 출력들을 도시한 그래프이다.
도 10은 본 발명의 실시예에 따른 3D-깊이 측정들 동안 타임 스탬프 에러 정정을 위해 사용될 수 있는 더블-리드아웃 기술을 도시한 예시적인 플로우차트이다.
도 11은 본 개시의 과제에 따른 예를 들어, 도 1 및 도 2의 시스템(15)에서 사용될 수 있는 더블-리드아웃 기술에 대한 상이한 신호들의 예시적 타이밍을 보여주는 타이밍도이다.
도 12는 본 발명의 실시예에 따른 도 1 및 도 2의 시스템(15)의 전체 레이아웃을 도시한다.
다음의 상세한 설명에서, 본 발명의 완전한 이해를 제공하기 위해 다수의 특정 세부 사항들이 설명된다. 그러나, 개시된 본 발명의 양상들이 이러한 특정 세부 사항들 없이 실시될 수 있다는 것이 당업자에 의해 이해될 것이다. 다른 예들에서, 널리 공지된 방법들, 절차들, 구성 요소들 및 회로들은 본 개시를 모호하게 하지 않기 위해 상세하게 설명되지 않았다. 또한, 설명된 진보적인 양상들은, 예를 들어, 스마트 폰, 사용자 단말기(User Equipment, UE), 랩톱 컴퓨터 등을 포함하는 임의의 이미징 장치 또는 시스템에서 저전력, 3D-깊이 측정들을 수행하도록 구현될 수 있다.
본 명세서에서 "일 실시예" 또는 "실시예"는 본 실시예와 관련하여 설명된 특정 특징, 구조 또는 특성이 본 개시의 적어도 하나의 실시예에 포함됨을 의미한다. 따라서, 본 명세서 전체에 걸쳐 다양한 곳에서 "일 실시예에서" 또는 "실시예에서" 또는 "일 실시예에 따라"(또는 유사한 수입 물을 갖는 다른 구들)의 표현은 반드시 동일한 실시예를 지칭하는 것은 아니다. 또한, 특정 특징, 구조 또는 특성은 하나 이상의 실시예에서 임의의 적절한 방식으로 결합될 수 있다. 또한, 여기에서 논의의 문맥에 따라, 단수는 그 복수형을 포함할 수 있고 복수형 용어는 단수형을 포함할 수 있다. 유사하게 하이픈(-)으로 연결된 용어(예를 들어, "2-차원", "미리-결정된", "픽셀-특화된(pixel-specific)" 등)는 때로는 하이픈이 없는 버전(예를 들어, "2 차원", "미리 결정된, 픽셀 특화된 등)으로 이따금 교체되어 사용될 수 있고, 대문자로 시작되는 용어(예를 들어, "카운터 클럭(Counter Clock)", "행 선택(Row Select)", "픽셀 출력(PIXOUT)" 등)은 대문자가 아닌 버전(예를 들어, "카운터 클럭(counter clock)", "행 선택(row select)", "픽셀출력(pixout)"등)으로 이따금 교체되어 사용될 수 있다. 이러한 간헐적 교체 사용은 서로 모순되는 것으로 간주되지 않아야 한다.
"결합된(coupled)", "작용적으로 결합된(operatively coupled)", "연결된(connected)", "연결하는(connecting)", "전기적으로 연결된" 등의 용어는 동작 방식에서 전기적/전자적으로 연결된 상태를 일반적으로 나타내기 위해 상호 교환적으로 사용될 수 있다. 유사하게, 제 1 엔티티(entity)가 (유선 또는 무선 수단을 통해) 신호들의 타입(아날로그 또는 디지털)과 무관하게 정보 신호(어드레스, 데이터 또는 제어 정보를 포함하는 지의 여부)를 제 2 엔티티(또는 엔티티들)로/로부터 전기적으로 전송 또는 수신할 때, 제1 엔티티가 제2 엔티티와 "통신(communication)"하는 것으로 간주된다.
본 명세서에 사용된 용어 "제1", "제2" 등은 명사들(nouns)에 앞선 레이블들로 사용되며, 명시적으로 정의되지 않는 한, 임의의 순서(예를 들어, 공간적, 시간적, 논리적 등)의 타입을 의미하지 않는다. 또한, 동일하거나 유사한 기능을 갖는 부품들, 구성 요소들, 블록들, 회로들, 유닛들 또는 모듈들을 지칭하기 위해 2개 이상의 도면들에 걸쳐 동일한 참조 번호들이 사용될 수 있다. 그러나, 그러한 사용은 단지 도시의 단순화 및 설명의 용이함을 위한 것으로, 그러한 구성 요소들 또는 유닛들의 구성 또는 구조적 세부 사항들이 모든 실시예들에 걸쳐 동일하거나 또는 그러한 공통으로 참조된 부품들/모듈들이 본 개시의 특정 실시예들의 교시를 구현하는 유일한 방법이라는 것을 의미하지는 않는다. 본 명세서에 사용된 용어 "모듈"은 모듈과 관련하여 여기에 설명된 기능성을 제공하기 위해 구성된 소프트웨어, 펌웨어 및/또는 하드웨어의 임의의 조합을 지칭한다. 소프트웨어는 소프트웨어 패키지, 코드 및/또는 명령 세트 또는 명령들로서 구현될 수 있으며, 여기에 설명된 임의의 구현 예에서 사용되는 "하드웨어"라는 용어는 예를 들어, 단일 또는 임의의 조합, 배선에 의한 회로, 프로그램 가능 회로, 상태 머신 회로, 및/또는 프로그램 가능 회로에 의해 실행되는 명령들을 저장하는 펌웨어를 포함할 수 있다. 모듈들은 집합적으로 또는 개별적으로 예를 들어, 집적 회로(IC), 시스템 온-칩(SoC) 등과 같은 더 큰 시스템의 일부를 형성하는 회로로서 구현될 수 있으나, 여기에 한정되지 않는다.
여기서, 앞서 언급한 3D 기술들은 많은 결점들을 가지고 있음이 관찰된다. 예를 들어, TOF-기반 3D 이미징 시스템은 광학 또는 전기적 셔터들을 동작시키는데 높은 전력을 요구한다. 따라서, TOF 시스템은 저전력 소모를 중요하게 여기는 셀 폰-기반 카메라 애플리케이션들에 적합하지 않을 수 있다. TOF 센서는 일반적으로 7 ?m 이상의 큰 픽셀 사이즈를 갖는 특정 픽셀들을 또한 요구할 수 있고, 이는 센서 해상도(resolution)를 감소시킬 수 있다. 이러한 픽셀들은 또한 주변 광에 취약할 수 있다.
입체 이미징 접근(stereoscopic imaging approach)은 일반적으로 텍스쳐드 표면들(textured surfaces) 및 양호한 조명 조건들에서만 동작한다. 더욱이, 스테레오 이미징은 2개의 렌즈들과 함께 두 개의 일반적인 높은 비트-해상도 센서들을 필요로 하기 때문에, 장치 면적이 중요한 셀 폰들 또는 태블릿들과 같은 휴대용 장치들 내 애플리케이션들에 적합하지 않은 전체 어셈블리가 되게 만든다.
기존의 SL 접근법들은 특히 옥외 조건들에서 주변 광의 높은 레벨들에 취약할 수 있다. 따라서, 구조화된 광-기반 시스템은 스마트폰 내 소비자 이미지 센서들로 부적합할 수 있다.
SL 및 TOF 3D 기술들은 예를 들어, 단일 센서를 사용하여 컬러 및 3D 이미지 모두를 캡처링할 수 있는 카메라에 별도의 컬러 센서를 부가하여, 3D 이미지뿐만 아니라 컬러 이미지를 동시에 캡처하도록 강화될 수 있다.
상술한 3D 기술들과 달리, 본 발명의 특정 실시예들은. 단지 하나의 이미지 센서를 이용하여 깊이 및 컬러 이미지를 캡쳐하면서도, 스마트 폰들, 태블릿들, UE들 등과 같은 포터블, 컴팩트 전자 장치들 상에서 강한 주변 광 및 빈약한 조명 모두를 포함하는 넓은 범위의 조건들에서 작업할 수 있는 저전력 3D 이미징 시스템 구현을 제공한다. 본 발명의 특정 실시예들에 따른 2D 이미징 센서는 가시광 레이저 스캐닝으로 2D RGB(Red, Green, Blue) 컬러 이미지들 및 3D-깊이 측정들 모두를 캡처할 수 있다. 비록 다음의 설명에서 포인트-스캔들을 위한 광원으로서 가시광 레이저 및 이미지/광 캡처 장치로서 2D RGB 센서가 자주 언급되나, 이러한 언급은 설명 및 토의의 일관성 만을 위한 것이다. 아래에 설명된 가시 레이저(visible laser) 및 RGB 센서 기반 예시들은 스마트 폰들, 태블릿들 또는 UE들과 같은 카메라가 장착된 저전력 소비자-등급 모바일 전자 장치들 내 애플리케이션들에서 찾을 수 있다. 그러나, 본 발명의 교시들은 아래 언급된 가시 레이저-RGB 센서 기반 예시들에 제한되지 않는다는 것이 이해된다. 대신, 본 발명의 특정 실시예들에 다르면, 포인트 스캔-기반 3D-깊이 측정들은 아래((i)~(v))와 같은 2D 센서들 및 레이저 광 소스 들(포인트 스캔들에 대한)의 많은 다양한 조합들을 사용하여 수행될 수 있다 (i) 가시 광 레이저 소스를 갖는 2D 컬러(RGB) 센서, 여기서 레이저 소스는 레드(R), 그린(G) 또는 블루(B) 광 레이저 일 수 있고 또는 이들 광들의 조합을 생성하는 레이저 소스, (ii) 적외선(IR) 제거 필터(Infrared (IR) cut filter)를 포함하는 2D RGB 컬러 센서를 갖는 가시 광 레이저, (iii) 2D 근적외선(Near Infrared, NIR) 센서를 갖는 근적외선 레이저, (iv) 2D RGB 센서를 갖는 (적외선 제거 필터를 포함하지 않는) 근적외선 레이저, (v) 가시 또는 근적외선 레이저 중 하나를 갖는 2D RGBW(레드, 그린, 블루, 화이트) 센서 등.
3D-깊이 측정들 동안, 센서들 전체는 3D 콘텐츠를 재구성하기 위해 레이저 스캔과 함께 타임스탬핑 센서(timestamping sensor)로서 동작한다. 특정 실시예들에서, 센서의 픽셀 사이즈는 1 ?m만큼 작을 수 있다. 더욱이, 낮은 비트-해상도에 기인하여, 본 발명의 특정 실시예들에 따른 이미지 센서는 종래의 3D-이미징 시스템들 내 높은 비트-해상도 센서들에서 요구되는 것보다 훨씬 더 낮은 프로세싱 전력을 요구할 수 있다. 적은 프로세싱 전력 및 작은 부품 크기들의 필요성 때문에, 본 발명에 따른 3D 이미징 모듈은 낮은 시스템 전력을 요구할 수 있고, 따라서 스마트 폰들과 같은 저전력 장치들에 포함하기에 매우 적합할 수 있다.
특정 실시예들에서, 본 발명은 라인 센서들의 모음(collection)으로서 기능하는 센서의 픽셀 로우들(rows, 행들)을 갖는 3D-깊이 측정들을 위한 레이저 광원을 갖는 SL-형 삼각 측량 및 포인트 스캔들을 사용한다. 레이저 스캐닝 평면(plane)과 이미징 평면은 각각의 수평 레이저 스캔이 특정 센서 로우에 의해 이미지화되도록 에피폴라 기하학(epipolar geometry)을 사용하여 배향(orient)된다. 본 발명의 일 실시예에 따른 이미지 센서는 타임스탬프들을 이용하여 삼각 측량 접근법의 모호성을 제거함으로써 깊이 계산들 및 시스템 전력의 양을 감소시킬 수 있다. 동일한 이미지 센서, 즉 이미지 센서의 각 픽셀은 3D 레이저 스캔 모드뿐만 아니라 일반적인 2D(RGB 컬러 또는 비(non)-RGB) 이미징 모드에서 사용되어 컬러 및 깊이 이미지들을 실질적으로 동시에 캡처할 수 있다. 또한, 포인트 스캔 방식은 매우 짧은 레이저 노출 시간을 사용하여 낮은 전체 노출 및 안구 안전성을 유지하면서도 움직임-유도 블러(motion-induced blur)를 효과적으로 제거하고, 강한 주변 조명을 효과적으로 상쇄시키며, 그리고 시스템이 색상 캡처와 효과적으로 인터리브된(interleaved) 깊이 측정들을 수행할 수 있도록 하여, 색상 캡처 대비 깊이 측정들을 위한 레이턴시를 감소시킨다.
상술한 바와 같이, 특정 실시예들에서, 전체 이미지 센서는 예를 들어, 주변 광을 사용하는 루틴 2D RGB 컬러 이미징뿐만 아니라 가시 레이저 스캔을 사용하는 3D 깊이 이미징을 위해 사용될 수 있다. 이러한 동일한 카메라 유닛의 이중 사용은 모바일 장치들의 공간 및 비용을 절약할 수 있다. 또한, 특정 애플리케이션들에서, 3D 애플리케이션들을 위한 가시 레이저의 사용자는 근적외선(NIR) 레이저와 비교하여 사용자의 눈 안전에 더 좋을 수 있다. 이 센서는 근적외선 스펙트럼에서 보다 가시 스펙트럼에서 더 높은 양자 효율을 가질 수 있으므로 광원의 저전력 소모를 유도한다.
도 1은 본 발명의 일 실시예에 따른 시스템(15)의 부분적인 레이아웃을 단순화하여 보여준다. 도면에 도시된 바와 같이, 시스템(15)은 프로세서 또는 호스트(19)와 결합하여 통신하는 이미징 모듈(17)을 포함할 수 있다. 또한 시스템(15)은 이미징 모듈(17)로부터 수신되는 이미지 데이터와 같은 정보 콘텐츠를 저장하기 위해 프로세서(19)와 결합하는 메모리 모듈(20)을 포함한다. 특정 실시예들에서, 전체 시스템(15)의 일부분들은 단일 집적 회로(IC) 또는 칩 내에 캡슐화 될 수 있다. 다른 예에서, 모듈들(17, 19, 20) 각각은 개별 칩으로 구현될 수 있다. 또한, 메모리 모듈(20)은 하나 이상의 메모리 칩을 포함할 수 있고, 프로세서 모듈(19)은 다수의 프로세싱 칩들을 또한 포함할 수 있다. 어떤 경우에도, 단일 칩에서 또는 다수의 별개 칩들을 사용하던 간에, 도 1의 모듈들의 패키징에 대한 세부 사항들과 모듈들이 어떻게 조립되고 구현되는지는 본 발명과 관련이 없으므로, 그러한 세부 사항들은 여기에 제공되지 않는다.
시스템(15)은 본 명세서에 설명된 바와 같이, 2D 및 3D 카메라 애플리케이션들을 위해 구성된 임의의 저전력 전자 장치일 수 있다. 시스템(15)은 휴대용(portable) 또는 비-휴대용일 수 있다. 시스템(15)의 휴대용 버전의 일부 예들은 모바일 장치, 셀 폰, 스마트 폰, 사용자 장비(UE), 태블릿, 디지털 카메라, 랩톱 또는 데스크톱 컴퓨터, 전자 스마트워치, 머신-투-머신(Machine-to-Machine, M2M) 통신 유닛, 가상 현실(Virtual Reality, VR) 장치 또는 모듈, 로봇 등과 같은 대중적인 소비자 전자 도구들(gadgets)을 포함할 수 있으나, 이에 제한되지는 않는다. 다른 한편으로는, 시스템(15)의 비-휴대용 버전의 일부 예들은, 비디오 아케이드의 게임 콘솔, 대화형 비디오 단말기, 자동차, 머신 비전 시스템, 산업용 로봇, VR 장비, 자동차 내 운전자 측 장착 카메라(예를 들어, 운전자가 깨어 있는지 여부를 모니터하기 위한) 등을 포함할 수 있으나, 이에 한정되지 않는다. 본 명세서에서 설명된 바와 같이 제공되는, 3D 이미징 기능은 가상 현실 장비상의 가상 현실 애플리케이션들, 온라인 채팅/게임, 3D 문자, 제품과 관련된 정보를 획득하기 위해 제품의 3D 이미지를 사용하는 온라인 또는 로컬(장치-기반) 카탈로그/데이터베이스(예를 들어, 식품 아이템의 칼로리 콘텐츠), 로봇공학 및 머신 비전 애플리케이션들, 자율 주행 애플리케이션들과 같은 자동차 애플리케이션들 등과 같은 다양한 애플리케이션들에서 사용될 수 있으나, 이에 한정되지 않는다.
본 발명의 특정 실시예들에서, 이미징 모듈(17)은 광원(22) 및 이미지 센서 유닛(24)을 포함할 수 있다. 아래 도 2를 참조하면서 더 자세히 설명되는 바와 같이, 일 실시예에서, 광원(22)은 가시 레이저(visible laser)일 수 있다. 다른 실시예들에서, 광원은 근적외선(NIR) 레이저일 수 있다. 이미지 센서 유닛(24)은 도 2에 도시된 픽셀 어레이 및 보조 처리 회로들을 포함할 수 있고, 이하 설명된다.
일 실시예에서, 프로세서(19)는 범용 마이크로 프로세서일 수 있는 CPU일 수 있다. 본 명세서에서, 용어 "프로세서" 및 "CPU"는 설명의 용이함을 위해 상호 교환적으로 사용될 수 있다. 그러나, 프로세서(19)는 CPU 대신에 또는 부가하여, 마이크로 컨트롤러, 디지털 신호 프로세서(DSP), 그래픽 처리 장치(GPU), 특정 주문형 집적 회로(ASIC) 프로세서 등과 같은 임의의 다른 형태의 프로세서들을 포함할 수 있다. 또한, 일 실시예에서, 프로세서/호스트(19)는 분산 프로세싱 환경에서 동작할 수 있는 하나 이상의 CPU를 포함할 수 있다. 프로세서(19)는 x86 명령어 세트 아키텍처(32 비트 또는 64 비트 버전들), PowerPC®ISA 또는 RISC(Reduced Instruction Set Computer) ISA에 의존하는 MIPS(Microprocessor without Interlocked Pipeline Stages) 명령어 세트 아키텍처에 따라서 명령어들을 실행하고 데이터를 처리하도록 구성될 수 있다. 일 실시예에서, 프로세서(19)는 CPU 기능에 부가하여 다른 기능들을 갖는 시스템 온 칩(SoC)일 수 있다.
특정 실시예들에서, 메모리 모듈(20)은 동기식 DRAM(SDRAM)과 같은 DRAM(Dynamic Random Access Memory) 또는 HBM(High Bandwidth Memory)모듈 또는 HMC(Hybrid Memory Cube)모듈과 같은 DRAM-기반 3 차원 스택(3DS) 메모리 모듈 일 수 있다. 다른 실시예들에서, 메모리 모듈(20)은 SSD(Solid-State Drive), non-3DS DRAM 모듈, 또는 SRAM(Static Random Access Memory), PRAM 또는 PCRAM(Phase-Change Random Access Memory), RRAM 또는 ReRAM(Resistive Random Access Memory), CBRAM(Conductive-Bridging RAM), MRAM(Magnetic RAM), STT-MRAM(Spin-Transfer Torque MRAM) 등과 같은 임의의 다른 반도체-기반 저장 시스템일 수 있다.
도 2는 본 발명의 일 실시예에 따른 도 1에 도시된 시스템(15)의 동작 레이아웃을 예시적으로 도시한다. 시스템(15)은 개별 객체 또는 장면(미 도시됨) 내 객체일 수 있는 3D 객체(예컨대, 3D 객체(26))에 대한 깊이 정보(Z-축을 따라서)를 획득하는데 사용될 수 있다. 일 실시예에서, 깊이 정보는 이미지 센서 유닛(24)으로부터 수신된 스캔 데이터에 근거해서 프로세서(19)에 의해 계산될 수 있다. 다른 실시예에서, 깊이 정보는 도 7a의 실시예의 이미지 센서 유닛의 경우와 같이, 이미지 센서 유닛(24)에 의해서 자체적으로 계산될 수 있다. 다른 특정 실시예들에서, 깊이 정보는 3D 사용자 인터페이스의 일부로서 프로세서(19)에 의해 사용되어 시스템(15)의 사용자가 객체의 3D 이미지와 상호 작용하거나 시스템(15) 상에서 실행되는 게임들 또는 다른 애플리케이션들의 일부로서 객체의 3D 이미지를 사용할 수 있게 한다. 본 발명의 교시들에 따른 3D 이미징은 다른 목적들 또는 애플리케이션들에도 또한 사용될 수 있으며, 실질적으로 임의의 장면 또는 3D 객체들에 적용될 수 있다.
도 2에서, X-축은 장치(15)의 정면을 따라 수평 방향으로 취해지고, Y-축은 수직 방향(이 도면에서는 페이지 밖으로)이고, Z-축은 이미징되는 객체(26)의 일반적인 방향으로 장치(15)로부터 멀어지게 연장한다. 깊이 측정들을 위해, 모듈들(22, 24)의 광학 축들은 Z-축에 평행할 수 있다. 본 명세서에서 설명된 원리를 구현하기 위해 다른 광학 배열들도 또한 사용될 수 있으며, 이러한 대체 배열들은 본 발명의 범위 내에 있는 것으로 간주된다.
광원 모듈(22)은, 광학 뷰 필드(optical field of view) 내 3D 객체(26)를 포인트 스캔(point scan)하기 위해 사용될 수 있는 광 빔(light beam) 또는 광학 방사(optical radiation)의 조명 경로를 나타내는 대응하는 점선들(30, 31)과 관련된 예시적인 화살표들(28, 29)로 도시된 바와 같이 3D 객체(26)에 빛을 제공한다. 객체 표면의 라인 단위의 포인트 스캔은 광학 방사원(optical radiation source)을 사용하여 수행될 수 있고, 일 실시예에서, 광학 방사원은 레이저 컨트롤러(34)에 의해서 동작되고 제어되는 레이저 광원(33)일 수 있다. 레이저 소스(laser source, 33) 및 컨트롤러(34)의 구성 요소들은 모듈(22)의 일부인 인클로저(enclosure) 또는 하우징(미 도시됨) 내에 단단하게 장착될 수 있다. 레이저 소스(33)로부터의 광 빔은 레이저 컨트롤러(34)의 제어 하에 투영 광학계(projection optics, 35)를 통해 3D 객체(26)의 표면에 X-Y 방향으로 포인트 스캔(point scan)될 수 있다. 포인트 스캔은 스캔 라인을 따라 3D 객체의 표면 상의 광점들(light spots)을 투영(project)할 수 있고, 이하 도 4 및 도 5를 참조하여 더욱 상세히 설명된다. 투영 광학계(35)는 객체(26)의 해당 표면 상에 포인트 또는 스폿(spot)으로서 레이저(33)로부터 레이저 빔을 집중시키는 포커싱 렌즈들, 유리/플라스틱들 표면 또는 다른 원통형 광학 요소일 수 있다. 도 2의 실시예에서, 볼록한 구조로서 포커싱 렌즈들(35)이 도시되어 있다. 그러나, 임의의 다른 적절한 렌즈 디자인이 투영 광학계(35)에 대해 선택될 수 있다. 객체(26)는, 광원(33)으로부터의 조명 광이 광 스폿으로서 투영 광학계(35)에 의해 포커스되는 포커싱 위치에 놓여질 수 있다. 따라서, 포인트 스캔에서, 3D 객체(26)의 표면 상의 점 또는 좁은 영역/스폿은 투영 광학계(35)로부터의 포커싱된 광 빔에 의해 순차적으로 조명될 수 있다.
특정 실시예들에서, 광원(또는 조명원(illumination source))(33)은, 다이오드 레이저 또는 가시 광을 방출하는 발광 다이오드(Light Emitting Diode, LED), 근적외선(NIR) 레이저, 포인트 광원, 가시 광 스펙트럼 내 단색 조명원(백색 램프와 모노 크로메이터(monochromator)의 조합과 같은) 또는 임의의 다른 유형의 레이저 광원 일 수 있다. 레이저(33)는 장치(15)의 하우징 내의 하나의 위치에 고정될 수 있지만, X-Y 방향들로 회전 가능할 수 있다. 레이저(33)는 3D 객체(26)의 포인트 스캔을 수행하기 위해 (예를 들어, 레이저 컨트롤러(34)에 의해) X-Y 어드레싱 가능할 수 있다. 일 실시예에서, 가시광은 실질적으로 녹색광일 수 있다. 레이저 소스(33)로부터의 가시광 조명은 거울(미 도시됨)을 사용하여 3D 객체(26)의 표면 상에 투영될 수 있거나, 포인트 스캔은 완전히 미러리스(mirror-less)일 수 있다. 특정 실시예들에서, 광원 모듈(22)은 도 2의 예시적인 실시예에 도시된 구성 요소들보다 많거나 적은 구성 요소들을 포함할 수 있다.
도 2에 도시된 실시예에서, 객체(26)의 포인트 스캔으로부터 반사된 광은 화살표들(36, 37) 및 점선들(38, 39)로 표시된 수집 경로(collection path)를 따라 이동할 수 있다. 광 수집 경로는 레이저 소스(33)로부터의 조명을 수신할 때 객체(26)의 표면에 의해 반사되거나 산란된 광자들을 나를 수 있다. 도 2(그리고 도 4 및 도 5에 적용되는)에는 실선 화살표들 및 점선들을 사용하여 다양한 전파 경로들이 도시되나, 이는 설명을 위한 예시에 불과하다. 이러한 도시는 임의의 실제 광 신호 전파 경로들을 설명하는 것으로 해석되어서는 안된다. 실제로, 조명 및 수집 신호 경로들은 도 2에 도시된 것들과 다를 수 있고, 도 2의 예시에서와 같이 명확하게 정의되지 않을 수 있다.
조명된 객체(26)로부터 수신된 광은 이미지 센서 유닛(24)의 수집 광학계(collection optics, 44)를 통해 2D 픽셀 어레이(42)의 하나 이상의 픽셀들 상에 포커싱될 수 있다. 투영 광학계(35)와 마찬가지로, 수집 광학계(44)는 초점(포커싱) 렌즈들, 유리/플라스틱들 표면, 또는 객체(26)로부터 수신된 반사된 광을 2D 어레이(42)의 하나 이상의 픽셀들 상에 모으는 다른 광학 요소일 수 있다. 도 2에 도시된 실시예에서, 볼록한 구조가 포커싱 렌즈들(44)로 도시되어있다. 그러나, 임의의 다른 적절한 렌즈 디자인이 수집 광학계(44)로 선택될 수 있다. 또한, 설명의 편의를 위해 단지 3X3 픽셀 어레이가 도 2에 도시 되어 있다(도 6에서도 마찬가지). 그러나, 알려진 바와 같이, 최근 픽셀 어레이들은 수백만 또는 심지어 수천만 개의 픽셀들을 포함한다. 픽셀 어레이(42)는 어레이 내에서 상이한 픽셀들이 상이한 컬러들의 광 신호 등을 수집할 수 있는 RGB 픽셀 어레이일 수 있다. 상술한 바와 같이, 특정 실시예들에서, 픽셀 어레이(42)는 적외선(IR) 제거 필터를 갖는 2D RGB 센서, 2D 근적외선(NIR) 센서, 2D RGBW(Red, Greene, Blue, White) 센서, 2D RWB(Red, White, Blue) 센서, 다층 CMOS(Complementary Metal-Oxide Semiconductor) 유기 센서, 2D RGB-적외선 센서 등과 같은 임의의 2D 센서 일 수 있으나, 이에 한정되지 않는다. 이후 상세히 설명되는 것 처럼, 시스템(15)은 객체(26)의 3D 이미징(깊이 측정들을 수반)뿐만 아니라 객체(26)(또는 객체를 포함하는 장면)의 2D RGB 컬러 이미징을 위해 동일한 픽셀 어레이(42)를 사용할 수 있다. 픽셀 어레이(42)의 부가적인 아키텍쳐의 세부 사항은 도 6을 참조하여 이후 설명된다.
픽셀 어레이(42)는 수신된 광자들을 대응하는 전기 신호들로 변환할 수 있고, 이후 변환된 신호들은 관련된 이미지 처리 유닛(46)에 의해 처리되어 객체(26)의 3D-깊이 이미지를 결정할 수 있다. 일 실시예에서, 이미지 처리 유닛(46)은 깊이 측정들을 위해 삼각 측량을 사용할 수 있다. 삼각 측량 접근법은 도 4를 참조하여 이후 설명된다. 또한 이미지 처리 유닛(46)은 또한 픽셀 어레이(42)의 동작을 제어하기 위한 관련 회로들을 포함할 수 있다. 예시적인 이미지 처리 및 제어 회로들이 도 7a 및 도 7b에 도시되며, 이는 추후 설명된다.
프로세서(19)는 광원 모듈(22) 및 이미지 센서 유닛(24)의 동작들을 제어할 수 있다. 예를 들어, 시스템(15)은 사용자가 2D 전용 이미징 모드에서 2D 및 3D 이미징 모드로 스위치하도록 제어할 수 있는 모드 스위치(미 도시됨)를 가질 수 있다. 사용자가 모드 스위치를 사용하여 2D-이미징 모드를 선택할 때, 프로세서(19)는 이미지 센서 유닛(24)을 활성화할 수 있지만, 2D 이미징은 주변 광을 사용할 수 있기 때문에 광원 모듈(22)을 활성화하지 않을 수 있다. 반면에, 사용자가 모드 스위치를 사용하여 2D 및 3D 이미징을 선택할 때, 프로세서(19)는 (이하 설명되는 바와 같이) 모듈들(22, 24) 모두를 활성화시킬 수 있다. 이미지 프로세싱 유닛(46)으로부터 수신된 처리된 이미지 데이터는 프로세서(19)에 의해 메모리(20)에 저장될 수 있다. 프로세서(19)는 또한 장치(15)의 디스플레이 스크린(미 도시됨) 상에 사용자에 의해 선택된 2D 또는 3D 이미지를 디스플레이할 수 있다. 프로세서(19)는 본 명세서에서 설명된 다양한 프로세싱 과제들을 수행하기 위해 소프트웨어 또는 펌웨어로 프로그램될 수 있다. 대안적으로 또는 부가적으로, 프로세서(19)는 그 기능들의 일부 또는 전부를 수행하기 위한 프로그램 가능한 하드웨어 논리 회로들을 포함할 수 있다. 특정 실시예들에서, 메모리(20)는 프로세서(19)가 그 기능들을 수행할 수 있도록 프로그램 코드, 룩업 테이블들 및/또는 중간 계산 결과들을 저장할 수 있다.
도 3은 본 발명의 일 실시예에 따라 3D-깊이 측정들이 어떻게 수행될 수 있는 지를 보여주는 예시적 플로우차트(50)를 도시한다. 도 3에 도시된 다양한 단계들은 단일 모듈 또는 모듈들의 조합 또는 시스템(15) 내 시스템 구성 요소들에 의해서 수행될 수 있다. 본 명세서의 단지 예시적 실시예에서, 특정 과제들은 특정 모듈들 또는 시스템 구성 요소들에 의해서 수행되는 것으로 설명된다. 다른 모듈들 또는 시스템 구성 요소들도 그러한 과제들을 수행하는데 적합하게 또한 구성될 수 있다.
도 3의 블록(52)에서, 시스템(15)(더 구체적으로, 프로세서(19)은, 도 2의 광원 모듈(22)과 같은 광원을 사용하여, 스캐닝 라인을 따라, 도 2의 객체(26)와 같은 3D 객체의 1차원(1D) 포인트 스캔을 수행할 수 있다. 포인트 스캔의 일부로서, 광원 모듈(22)은 예를 들어, 프로세서(19)에 의해서, 라인 단위 방식으로 3D 객체(26)의 표면 상에 광 스폿들을 순차적으로 투영하도록 구성될 수 있다. 블록(54)에서, 시스템(15) 내 픽셀 프로세싱 유닛(46)은, 도 2의 2D 픽셀 어레이(42)와 같은, 이미지 센서 내 픽셀들의 로우를 선택할 수 있다. 이미지 센서(42)는 이미지 평면을 형성하는 2D 어레이에 배열된 복수의 픽셀을 가지며, 일 실시예에서, 선택된 픽셀들의 로우는 이미지 평면 상의 스캐닝 라인(블록(52)에서)의 에피폴라 라인(epipolar line)을 형성한다. 에피폴라 기하(epipolar geometry) 구조에 대한 간단한 설명이 도 4를 참조하여 이하 제공된다. 블록(56)에서, 픽셀 처리 유닛(46)은 프로세서(19)에 의해, 픽셀들의 로우에서 대응하는 픽셀을 이용하여 각각의 광 스폿을 검출할 수 있다. 여기서, 조명된 광 스폿으로부터 반사된 광이 2개 이상의 인접한 픽셀들 위에 수집 광학계(44)에 의해서 포커스되어 얻어질 때와 같이, 조명된 광 스폿으로부터 반사된 광은 단일 픽셀 또는 2개 이상의 픽셀들에 의해 검출될 수 있음이 관찰된다. 한편, 2 개 이상의 광 스폿들로부터 반사된 광은 2D 어레이(42) 내 단일 픽셀에서 수집되는 것이 가능할 수 있다. 이하에서 설명되는 타임스탬프-기반 접근은 어느 픽셀에 의해서 어느 레이저 스폿이 이미징되었는지 트랙킹하는 것에 의해 이른바 관련성 문제를 해결한다. 블록(58)에서, 프로세서(19)에 의해서 적합하게 구성된, 이미지 처리 유닛(46)은, 광 스폿들의 시퀀스에서(블록(52)의 포인트 스캔에서) 대응하는 광 스폿의 픽셀-특화된(pixel-specific) 검출(블록(52)에서)에 응답해서 픽셀-특화된 출력을 발생할 수 있다. 따라서, 블록(60)에서, 이미지 처리 유닛(46)은, 적어도 픽셀-특화된 출력(블록(58)에서) 및 대응하는 광 스폿을 투영하기 위해(블록(52)에서) 광원에 의해서 사용되는 스캔 각도에 근거해서, 3D 객체의 표면 상의 대응하는 광 스폿에 대한 3D 거리(또는 깊이)를 판별한다. 깊이 측정은 도 4를 참조하여 더 상세하게 설명된다.
도 4는 본 발명의 일 실시예에 따른 3D-깊이 측정들을 위해 포인트 스캔이 어떻게 수행될 수 있는 지를 예시적으로 도시한다. 도 4에서, X-방향("요(yaw)"각 "β"를 가짐) 및 Y-방향("피치(pitch)" 또는 "고도(elevation)" 각 “α”를 가짐) 내 레이저의 각 운동들(angular motions)을 나타내는 화살표들(62, 64)을 사용하여 레이저 소스(33)의 X-Y 회전 능력을 도시하였다. 일 실시예에서, 레이저 컨트롤러(34)는 프로세서(19)로부터 수신된 스캐닝 명령들/입력에 근거해서 레이저 소스(33)의 X-Y 회전을 제어할 수 있다. 예를 들어, 사용자가 3D-이미징 모드를 선택할 때, 프로세서(19)는 투영 광학계(35)를 마주하는 객체 표면의 3D-깊이 측정들을 개시하도록 레이저 컨트롤러(34)에게 명령할 수 있다. 이에 응답해서, 레이저 컨트롤러(34)는 레이저 소스(33)의 X-Y 이동을 통해 객체 표면의 일련의 1D 포인트 스캔들을 개시할 수 있다. 도 4에 도시된 바와 같이, 레이저 소스(33)는, 1D 수평 스캐닝 라인들 (이중에 두 개 SR(66) 및 SR+1(68)는 도 4의 점선들에 의해서 식별되는)을 따라 광 스폿들을 투영하는 것에 의해 객체(26)의 표면을 포인트 스캔할 수 있다. 객체(26)의 표면의 곡률 때문에, 광 스폿들(70-73)은 도 4의 스캐닝 라인 SR(66)을 형성할 수 있다. 설명의 용이함 및 명확성을 위해, 스캐닝 라인 SR+1(68)을 구성하는 광 스폿들은 참조 부호들을 사용하여 식별되지 않는다. 레이저 소스(33)는 한 번에 하나의 스폿, 예를 들어 왼쪽에서 오른쪽 방향으로, 로우들 R, R+1 등을 따라 객체(26)를 스캔할 수 있다. "R", "R+1" 등의 값들은 2D 픽셀 어레이(42) 내의 픽셀들의 로우들을 기준으로 하며, 이들 값들은 공지되어 있다. 예를 들어, 도 4의 2D 픽셀 어레이(42)에서, 픽셀 로우 "R"은 참조 부호 "75"를 사용하여 식별되고, 픽셀 로우 "R+1"은 참조 부호 "76"을 이용하여 식별된다. 로우들 "R" 및 "R+1"은 예시적인 설명을 위해서만 복수의 픽셀들의 로우들로부터 선택된다.
2D 픽셀 어레이(42) 내의 픽셀들의 로우들을 포함하는 평면은 이미지 평면(image plane)으로 지칭될 수 있으며, 반면, 스캐닝 라인 및 해당 스캐닝 라인을 이미징하는 픽셀들의 대응하는 로우 즉, 라인(SR) 및 로우(R) 또는 라인(SR+1) 및 로우(R+1)과 같은 것을 포함하는 평면은 스캐닝 평면(scanning plane)으로 지칭될 수 있다. 도 4의 실시예에서, 이미지 평면 및 각 스캐닝 평면은, 2D 픽셀 어레이(42) 내의 픽셀들의 로우(R, R+1) 등의 각각이 대응하는 스캐닝 라인(SR, SR+1)등의 에피폴라 라인을 형성하도록 에피폴라 기하를 사용하여 배향된다. 이미지 평면 상에 조명된 스폿(스캐닝 라인에서)의 투영이 로우(R) 라인 그 자체 인 라인을 따라 별개의 스폿을 형성할 수 있을 때 픽셀들의 로우(R)는 대응하는 스캐닝 라인(SR)에 에피폴라로 간주될 수 있다. 예를 들어, 도 4에서, 화살표(78)는 레이저(33)에 의한 스캐닝 라인(SR)을 따라 광 스폿(71)의 조명을 도시하고, 화살표(80)는 광 스폿(71)이 포커싱 렌즈(44)에 의해 로우(R)(75)을 따라 이미징되거나 투영되는 것을 나타낸다. 비록 도 4에 도시되지 않았으나, 스캐닝 라인(SR)으로부터의 모든 광 스폿들(70-73)은 로우(R) 내의 대응하는 픽셀들에 의해 이미징될 것이라는 것이 관찰된다. 따라서, 일 실시예에서, 레이저(33) 및 픽셀 어레이(42)의 위치 및 배향과 같은 물리적 배치는, 객체(26)의 표면 상에 스캐닝 라인 내 조명된 광 스폿들이 픽셀 어레이(42) 내의 대응하는 로우의 픽셀들에 의해 캡처되거나 검출되어서 픽셀들의 해당 로우는 대응하는 스캐닝 라인의 에피폴라 라인을 형성하게 한다. 도 4에 도시되지 않았으나, 일 실시예에서, 스캐닝 라인(SR)과 같은 스캐닝 라인은 완전한 직선이 아닐 수 있고, 만곡되거나 경사질 수 있음을 알 수 있다. 예를 들어, 레이저(33)와 픽셀 어레이(42) 사이에 오정렬(misalignment)이 존재하는 경우, 이와 같은 완벽하지 않은 레이저 스캔 라인들이 초래될 수 있다. 오정렬은 시스템(15)에 조립된 다양한 부품들의 기계적/물리적 허용 오차들의 한계들 또는 이러한 부품들의 배치 또는 최종 조립시의 어떠한 불일치에 기인한 것일 수 있다. 약간 만곡된/경사진 스캐닝 라인의 경우에, 실질적으로 인접한 2 개 이상의 픽셀들의 로우들은(픽셀 어레이(42)에서) 만곡된 스캐닝 라인의 에피폴라 라인을 집합적으로 캡처할 수 있다. 즉, 특정 실시예들에서, 픽셀들의 단일 로우는 에피폴라 라인의 일부만을 형성할 수 있다. 어떤 경우에도, 본 발명의 개시 내용은 이미지 평면에서 단일 로우 또는 실질적으로 인접한 픽셀들의 로우들의 실질적으로 작은 그룹이 대응하는 스캔 라인의 에피폴라 라인을 형성하는지 여부에 무관하게 적용될 수 있다. 그러나, 설명을 용이하게 하고 일반성을 잃지 않기 위해서, 이하의 설명은 주로 픽셀들의 단일 로우가 전체 에피폴라 라인을 형성하는 구성을 언급할 수 있다.
2D 픽셀 어레이(42)의 픽셀들은 로우들(rows, 행들)과 컬럼들(columns, 열들)로 배열될 수 있음을 알 수 있다. 조명된 광 스폿은 픽셀 어레이(42) 내 대응하는 로우 및 컬럼에 의해 참조될 수 있다. 예를 들어, 도 4에서, 스캐닝 라인(SR) 내의 광 스폿(71)은 XR, i로서 지정되어, 광 스폿(71)이 픽셀 어레이(42)의 로우(R) 및 컬럼(i)(Ci)에 의해 이미징될 수 있음을 나타낸다. 컬럼(Ci)은 점선(82)으로 표시된다. 다른 조명된 스폿들도 유사하게 식별될 수 있다.
도 4에서, 참조 부호(84)를 갖는 화살표는, 도 2에 도시된 X-축과 같이, 장치(15)의 정면을 따라 X-축으로부터 광 스폿(71)의 깊이 또는 거리(Z) (Z-축을 따라)를 나타낸다. 도 4에서, 참조 부호(86)를 갖는 점선은 이러한 축을 나타내며, 또한 이는 투영 광학계(35) 및 수집 광학계(44)를 또한 포함하는 수직 평면에 포함되는 것으로 시각화될 수 있다. 그러나, 삼각 측량 방법의 설명을 용이하게 하기 위해, 도 4에서 레이저 소스(33)는 투영 광학계(35) 대신에 X-축(86) 상에 있는 것으로 도시된다. 삼각측량-기반 접근법에서, Z의 값은 다음 수학식을 사용하여 결정될 수 있다.
Figure pat00001
수학식 1에서 언급된 파라미터들은 도 4에 도시된다. 장치(15)의 물리적 구성에 근거하여, 수학식 1의 우변의 파라미터들의 값들이 미리 결정될 수 있다. 수학식 1에서, 파라미터 h는 수집 광학계(44)와 이미지 센서(수집 광학계(44) 뒤쪽의 수직 평면에 있는 것으로 가정) 사이의 (Z-축을 따라) "초점 거리(focal distance)"이다. 파라미터 d는 광원(33)과 이미지 센서 유닛(24)과 관련된 수집 광학계(44) 사이의 "베이스 오프셋(base offset)" 거리이다. 파라미터 q는 수집 광학계(44)와 대응하는 광 스폿을 검출하는 픽셀 사이의 오프셋 거리이다. 여기서, 검출/이미징 픽셀 "I"는 광 스폿(XR,i)(71)과 관련된 컬럼 Ci 로 표시된다. 파라미터 β는 고려중인 광 스폿(이 실시예에서 광 스폿(71))에 대한 스캔 평면 내 광원의 스캔 요 각도(scan yaw angle) 또는 빔 요 각도(beam yaw angle)이다. 다른 실시예에서, 파라미터 q는 픽셀 어레이(42)의 시야(filed of view) 내 광 스폿의 오프셋으로서 고려될 수 있다. 도 4의 각도(θ)는 광 스폿(71)에 대응하는(수직 방향에 대한) 반사된 광의 입사각이다.
수학식 1로부터, 오직 파라미터들 β및 q는 주어진 포인트 스캔에 대해 가변적이고, 다른 파라미터들 h 및 d는 장치(15)의 물리적 기하학에 기인하여 실질적으로 고정된 값임을 알 수 있다. 로우(R75)는 스캐닝 라인(SR)의 에피폴라 라인의 적어도 일부이기 때문에, 객체(26)의 깊이 차이 또는 깊이 프로파일은, 이미지화되는 상이한 광들 스폿들에 대한 파라미터 q의 값들로 표현되는 바와 같이, 수평 방향에서 이미지 시프트(shift)에 의해 반영될 수 있다. 이하에서 설명되는 바와 같이, 본 발명의 특정 실시예들에 따른 타임스탬프-기반 접근법은 캡처된 광 스폿의 픽셀 위치와 레이저 소스(33)의 대응하는 스캔 각도 사이의 대응 관계를 찾는데 사용될 수 있다. 즉, 타임스탬프는 파라미터들 q와 β의 값들 사이의 연관을 나타낼 수 있다. 따라서, 레이저 각 β및 이미징된 광 스폿의 대응하는 위치(파라미터 q로 표현 됨)의 알려진 값으로부터, 해당 광 스폿까지의 거리는 삼각 측량 수학식 1을 사용하여 결정될 수 있다.
도 5는 본 발명의 일 실시예에 따른 스캔된 광 스폿들에 대한 예시적인 타임-스탬핑을 도시한다. 개별 타임스탬프들의 생성에 대한 추가 세부 사항들은 도 8을 참조하여 후술된다. 도 4와 대조적으로, 도 5의 실시예에서, 수집 광학계(44) 및 레이저(33)는 도 2의 실시예에 도시된 바와 같이 이들 구성 요소들의 실제 물리적 기하학적 실체를 반영하는 오프셋 배열로 도시된다. 일 예로서, 스캔닝 라인(66)은 도 5에서 대응하는 광 스폿들(70-73)을 따라서 도시되며, 전술한 바와 같이, 광 스폿들(70-73)들은 희박한(sparse) 레이저 포인트 소스(33)에 의해 객체 표면의 왼쪽에서 오른쪽으로의 포인트 스캔에 근거해서 투영될 수 있다. 따라서, 도시된 바와 같이, 제1 광 스폿(70)은 시점(t1)에 투영되고, 제2 광 스폿(71)은 시점(t2)에 등등 투영될 수 있다. 이들 광 스폿들은 상술한 바와 같이 스캔닝 라인(SR)의 에피폴라 라인인 픽셀 로우 "R"(75)의 픽셀들(90-93) 각각에 의해 검출/이미지화 될 수 있다. 일 실시예에서, 광 스폿을 검출할 때 각 픽셀에 의해 수집되는 전하는 아날로그 전압의 형태일 수 있으며, 이는 이하 설명될 픽셀-특화된 깊이 판별을 위해 이미지 프로세싱 유닛(46)에 출력될 대응하는 타임스탬프를 생성하기 위해 사용될 수 있다. 생성된 타임스탬프들은 도 5의 화살표(95)에 의해 집합적으로 표시된다.
도 5에 도시된 바와 같이, 로우(R)의 검출 픽셀들(90-93) 각각은 관련된 컬럼 번호(이 예에서, 컬럼(C1-C4))을 가질 수 있다. 또한, 도 4로부터, 픽셀 컬럼(Ci, i = 1, 2, 3, ...등) 각각은 수학식 1의 파라미터 q에 대한 관련 값을 갖는다. 따라서, 픽셀-특화된 타임 스탬프(t1-t4)가 검출 픽셀들(90-93)(이하 상세히 설명됨)에 대해 생성될 때, 타임스탬프는 픽셀의 컬럼 번호 및 따라서, 파라미터 q의 픽셀-특화된 값의 표시를 제공할 수 있다. 부가적으로, 일 실시예에서, 레이저(33)가 스폿-특화된 스캔 각도들(Θ)에 대한 미리 결정된 값들로 원하는 시퀀스 내 각 스폿을 조명하도록 적절하게 제어될 수 있기 때문에, 픽셀 어레이(42) 내의 픽셀들을 사용하는 스폿 단위(spot-by-spot) 검출은 이미지 프로세싱 유닛(46)이 각 타임스탬프를 대응하는 조명된 스폿과 따라서, 스폿-특화된 스캔 각도(β)에 "링크(link)"하는 것을 허용할 수 있다. 따라서, 타임 스탬프들은, 픽셀 어레이(42)로부터 수신된 각 픽셀-특화된 신호에 대해, 캡처된 레이저 스폿의 픽셀 위치와 수학식 1의 파라미터들 q 및 β에 대한 값들의 형태인 캡쳐된 레이저 스폿의 각각의 스캔 각도 사이의 대응 관계를 제공한다. 상술한 바와 같이, 수학식 1의 파라미터 q의 값을 통해 반영된 바와 같이, 스캔 각도의 값들과 픽셀 어레이(42) 내의 검출된 스폿의 대응하는 위치는, 그 광 스폿에 대한 깊이 판별을 허용할 수 있다. 이러한 방식으로, 픽셀 어레이(42)의 시야 내의 객체(26)의 표면에 대한 3D-깊이 맵(map)이 생성될 수 있다.
도 6은 본 발명의 일 실시예에 따른 도 1 및 도 2의 이미지 센서 유닛(24)의 이미지 프로세싱 유닛(46) 내의 2D 픽셀 어레이(42) 및 관련된 프로세싱 회로들의 일부의 예시적인 상세 회로를 도시한다. 상술한 바와 같이, 단지 설명을 용이하게 하기 위해, 3×3 어레이로 배열된 9 개의 픽셀들(100-108)을 갖는 픽셀 어레이(42)가 도시되어 있다. 실제로, 픽셀 어레이는 다수의 로우들 및 컬럼들에 수십만 또는 수백만 개의 픽셀들을 포함할 수 있다. 일 실시예에서, 픽셀들(100-108) 각각은 도 6에 도시된 것처럼 동일한 구성을 가질 수 있다. 도 6에 도시된 실시예에서, 2D 픽셀 어레이(42)는 각 픽셀이 4T PPD(Four Transistor Pinned Photo-diode) 픽셀인 CMOS(Complementary Metal Oxide Semiconductor) 어레이이다. 용이한 설명을 위해, 픽셀(108)의 구성 회로 요소들에만 참조 부호들이 표기되어 있다. 이하 설명되는 픽셀(108)의 동작은 다른 픽셀들(101-107)에 동일하게 적용되므로, 개별적인 픽셀 각각의 동작은 여기에 설명되지 않는다.
도시된 바와 같이, 4T PPD 픽셀(108)(및 유사한 다른 픽셀들(101-107))은 도시된 것처럼 연결된 PPD(pinned photo-diode)(110) 및 4 개의 NMOS(N-channel Metal Oxide Semiconductor Field Effect Transistors)(111-114)를 포함할 수 있다. 일부 실시예들에서, 픽셀들(100-108)은 PMOS(P-channel Metal Oxide Semiconductor Field Effect Transistors) 또는 다른 타입들의 전하 전송 장치들로 형성될 수 있다. 트랜지스터(111)는 전송 게이트(Transfer Gate, TG), 플로팅 디퓨젼(Floating Diffusion, FD)으로 동작할 수 있다. 대략적으로, 4T PPD 픽셀(108)은 다음과 같이 동작 할 수 있다. 먼저, PPD(110)는 입사 광자들을 전자들로 변환하여 광 입력 신호를 전하 영역(charge domain) 내 전기적 신호로 변환할 수 있다.
그 다음, 전송 게이트(111)는 PPD(110)로부터의 모든 광자-생성 전자들을 플로팅 디퓨젼으로 전달하기 위해 "닫힘(closed)"으로 될 수 있다. 전하 영역 내 신호는 따라서 용이한 후속 처리 및 측정들을 위해 전압 영역으로 변환된다. 플로팅 디퓨젼에서의 전압은 나중에 트랜지스터(114)를 사용하여 픽셀 출력(PIXOUT) 신호로서 아날로그-디지털 변환기(ADC)로 전달될 수 있고, 후속 처리를 위해 적절한 디지털 신호로 변환될 수 있다. 픽셀 출력(PIXOUT) 신호의 생성 및 처리에 대한 보다 상세한 설명은 도 8의 설명을 참조하여 이하 제공된다.
도 6의 실시예에서, 이미지 프로세싱 유닛(46) 내의 로우(row, 행) 디코더/드라이버(116)는 3개의 다른 신호들을 제공하여, 컬럼-특화된(column-specific) 픽셀 출력(PIXOUT) 신호들(117-119)을 생성하기 위해 픽셀 어레이(42) 내 픽셀들의 동작을 제어하는 것으로 도시된다. 도 5의 실시예에서, 출력(95)은 이러한 픽셀 출력(PIXOUT) 신호들(117-119)을 집합으로 표시할 수 있다. 로우 선택(RSEL) 신호는 픽셀들의 적절한 로우를 선택하기 위해 행사(assert)될 수 있다. 일 실시예에서, 선택될 로우는 레이저 소스(33)에 의해 투영되는(광 스폿들의) 현재 스캐닝 라인의 에피폴라 라인이다. 로우 디코더/드라이버(116)는 예를 들어, 프로세서(19)로부터 로우 어드레스/제어 입력들(126)을 통해 선택될 로우에 대한 어드레스 또는 제어 정보를 수신할 수 있다. 본 설명에서, 로우 디코더/드라이버(116)는 픽셀(108)을 포함하는 픽셀들의 로우를 선택하는 것으로 가정한다. 픽셀 어레이(42) 내 픽셀들의 로우 각각 내 트랜지스터(114)와 같은 트랜지스터는 도시된 것처럼 라인(RSEL, 122-124)에 각각 연결될 수 있다. 리셋(RST) 신호는 선택된 로우 내 픽셀들로 제공되어서 소정의 하이 전압 레벨로 픽셀들을 리셋할 수 있다. 로우-특화된 리셋(RST) 신호(128-130) 각각은 도 6에 도시되고, 도 8의 파형들을 참조하여 더 상세히 설명된다. 각 픽셀의 트랜지스터(112)와 같은 트랜지스터는 도시된 바와 같이, 각각의 리셋(RST) 신호를 수신할 수 있다. 전송(TX) 신호는 후속 처리를 위해 픽셀-특화된 출력 전압(PIXOUT)의 전송을 시작하기 위해 행사될 수 있다. 로우-특화된 전송(TX) 신호 라인(132-134) 각각은 도 6에 도시된다. 트랜지스터(111)와 같은 전송 게이트 트랜지스터는 도 6에 도시된 바와 같이 각각의 전송(TX) 신호를 수신할 수 있다.
상술한 바와 같이, 본 발명의 특정 실시예들에서, 2D 어레이(42) 및 이미지 센서 유닛(24) 내의 나머지 구성 요소들은 2D RGB (또는 non-RGB) 이미징뿐만 아니라 3D-깊이 측정들을 위해 사용될 수 있다. 결과적으로, 도 6에 도시된 바와 같이, 이미지 센서 유닛(24)은 2D 및 3D 이미징 동안 사용될 컬럼-특화된 ADC들(즉, 픽셀들의 컬럼당 하나의 ADC) 뿐만 아니라 CDS(Correlated Double Sampling)를 위한 회로들도 포함하는 픽셀 컬럼 유닛(pixel column unit, 138)을 포함할 수 있다. 픽셀 컬럼 유닛(138)은 픽셀 출력(PIXOUT) 신호들(117-119)을 수신할 수 있고, 그들을 처리해서, 2D 이미지가 생성되거나 3D-깊이 측정들이 획득될 수 있는 디지털 데이터 출력(Dout) 신호(140)를 생성할 수 있다. 또한 픽셀 컬럼 유닛(138)은 픽셀 출력(PIXOUT) 신호들(117-119)의 프로세싱 동안 기준 입력(142) 및 램프 입력(143)을 수신할 수 있다. 픽셀 컬럼 유닛(138)의 동작의 더 상세한 내용은 이하 설명된다. 도 6의 실시예에서, 컬럼 디코더(145)가 픽셀 컬럼 유닛(138)에 결합된 것으로 도시되어 있다. 컬럼 디코더(145)는 주어진 로우 선택(RSEL) 신호와 함께 선택될 로우를 위한 예를 들어, 프로세서(19)로부터 제공되는, 컬럼 어드레스/제어 입력(147)을 수신할 수 있다. 컬럼 선택은 순차적일 수 있으므로, 대응하는 로우 선택(RSEL) 신호에 의해서 선택된 로우 내 각 픽셀로부터의 픽셀 출력의 순차적인 수신을 가능하게 한다. 프로세서(19)는 광 스폿들의 현재 투영되는 스캐닝 라인을 인지할 수 있으며, 따라서 현재 스캐닝 라인의 에피폴라 라인을 형성하는 픽셀들의 로우를 선택하기 위한 적절한 로우 어드레스 입력을 제공 할 수 있으며, 또한 선택된 로우 내 개별 픽셀들로부터의 출력들을 수신하도록, 적절한 컬럼 어드레스 입력들을 픽셀 컬럼 유닛(138)으로 제공할 수 있다.
비록 본 명세서의 설명이, 본 발명의 교시들에 따라 2D 및 3D 이미징을 위해서 도 6에 도시된 4T PPD 픽셀 설계에 주로 초점을 맞추었지만, 다른 실시예들에서 다른 타입들의 픽셀들이 픽셀 어레이(42) 내 사용될 수 있다. 예를 들어, 일 실시예에서, 픽셀 어레이(42) 내 각 픽셀은, 도 6에 도시된 4T PPD 설계 내 트랜지스터(111)과 같은 전송 게이트 트랜지스터를 생략한 3T 픽셀일 수 있다. 다른 실시예들에서, 1T 픽셀 또는 2T 픽셀들이 또한 사용될 수도 있다. 또 다른 실시예에서, 픽셀 어레이(42) 내 각 픽셀은, 트랜지스터들 및 리드아웃(readout) 회로가 2개 이상의 이웃 픽셀들과 공유될 수 있는 공유-트랜지스터 픽셀 구성을 포함할 수 있다. 공유-트랜지스터 픽셀 구성에서, 각 픽셀은 적어도 하나의 포토-다이오드 및 하나의 전송-게이트 트랜지스터를 포함할 수 있고, 그리고 나머지 트랜지스터들은 2개 이상의 픽셀들과 공유될 수 있다. 이러한 공유-트랜지스터 픽셀의 일 예는, 2-공유(1x2) 2.5T 픽셀이며, 2개의 픽셀들에 대해 5개의 트랜지스터들(T)이 사용되는 2.5T/픽셀 구성이다. 픽셀 어레이(42)에서 사용될 수 있는 공유-트랜지스터 픽셀의 다른 예는 1x4 4-공유 픽셀이며, 4개의 픽셀들이 리드아웃 회로를 공유하나, 각각은 적어도 하나의 포토-다이오드 및 하나의 전송 게이트(TX) 트랜지스터를 포함한다. 이러한 열거된 픽셀 구성들 외에 다른 픽셀 구성들은 본 발명의 교시들에 따라 2D 및 3D 이미징을 위해 적절히 구현될 수 있다.
도 7a는 본 발명의 일 실시예에 따른 도 6의 이미지 센서 유닛(24)과 같은 이미지 센서 유닛의 예시적인 레이아웃이다. 간결함을 위해서, 도 7a의 구조의 간략한 설명만 여기에서 제공되나, 상세한 동작은 도 8, 도 10 및 도 11을 참조하여 추후 상세히 설명된다. 도 7a의 실시예에서, 2D 픽셀 어레이(42) 이외의 다양한 구성 요소 블록들은 도 2의 픽셀 제어 유닛(46)의 일부를 형성할 수 있다. 도 7a에 도시된 이미지 센서 유닛(24)은 도 6에 도시된 로우 디코더/드라이버(116)을 집합적으로 포함하는 로우 디코더 유닛(149) 및 로우 드라이버 유닛(150)을 포함할 수 있다. 비록 도 7a에 도시되지 않았으나, 로우 디코더 유닛(149)은 예를 들어, 프로세서(19)로부터 (도 6에 도시된 입력(126)과 같이) 로우 어드레스 입력을 수신할 수 있고, 입력을 디코딩해서 로우 드라이버 유닛(150)이 적절한 로우 선택(RSEL), 리셋(RST), 전송(TX) 신호들을 로우 디코더 유닛(149)에 의해 선택된/디코딩된 로우로 제공하도록 인에이블할 수 있다. 로우 드라이버 유닛(150)은 또한 예를 들어, 프로세서(19)로부터 제어 신호들(미도시)를 수신하여, 로우 드라이버 유닛(150)이 로우 선택(RSEL), 리셋(RST), 전송(TX) 신호들을 위한 적절한 전압 레벨들을 인가하도록 구성된다. 도 7a에 도시된 이미지 센서 유닛(24)에서, 컬럼 ADC 유닛(153)은 도 6의 픽셀 컬럼 유닛(138)을 나타낼 수 있다. 용이한 설명을 위해, 도 7a에서, 로우 드라이버(150)로부터의 로우 선택(RSEL), 리셋(RST), 전송(TX) 신호들과 같은 다양한 로우-특화된 드라이버 신호들은 단일 참조 부호(155)를 사용하여 집합적으로 참조된다. 유사하게, 도 6에 도시된 픽셀 출력들(117-119)과 같은 모든 컬럼-특화된 픽셀 출력들(pixouts)은 단일 참조 부호(157)를 사용하여 집합적으로 참조된다. 컬럼 ADC 유닛(153)은 픽셀 출력 신호들(157), (기준 신호 발생기(159)로부터의) 기준 입력(142) 및 램프 신호(143)를 수신할 수 있고, 픽셀의 컬럼에 대한 대응하는 컬럼-특화된 ADC에 의해 출력되는 컬럼-특화된 출력을 생성한다. 3D 이미징은 도 8을 참조하여 추후 상세히 설명된다. 일 실시예에서, ADC 유닛(153)은, 도 6의 픽셀 컬럼 유닛(138)의 경우에서처럼 CDS를 위한 회로를 포함할 수 있고, 픽셀의 리셋 레벨 및 수신된 신호 레벨 사이의 차이에 해당하는 CDS 출력(미 도시됨)을 생성한다. 특정 실시예들에서, 3D-깊이 값들은 2D 이미지와 결합되어서 객체의 3D 이미지를 생성할 수 있다.
컬럼 ADC 유닛(153)은 2D 어레이(42) 내 픽셀 컬럼당 개별적인 ADC를 포함할 수 있다. 각 컬럼-특화된 ADC는 픽셀 출력 신호들(157)을 따라서 (램프 신호 발생기(163)로부터의) 개별적인 램프 입력(143)을 수신할 수 있다. 일 실시예에서, 램프 신호 발생기(163)는 기준 신호 발생기(159)로부터 수신된 기준 전압 레벨에 근거해서 램프 입력(143)을 발생할 수 있다. ADC 유닛(153) 내 각 컬럼-특화된 ADC는 수신된 입력들을 처리하고, 대응하는 디지털 데이터 출력(Dout) 신호(140)를 생성할 수 있다. 컬럼 디코더(145)로부터, ADC 유닛(153)은 어느 컬럼 ADC 출력이 리드아웃되고, DOUT 버스(140)로 전송될 지에 대한 정보를 수신할 수 있으며, 또한 적절한 픽셀 출력을 수신하도록 주어진 로우에 대해 어느 컬럼을 선택할 것인 지에 대한 정보를 수신할 수 있다. 비록 도 7a에는 도시되지 않았으나, 컬럼 디코더 유닛(145)은 예를 들어, 프로세서(19)로부터 (도 6의 입력(147)과 같이) 컬럼 어드레스 입력을 수신하고, 입력을 디코딩해서 컬럼 ADC 유닛(153)이 적절한 픽셀 컬럼을 선택하도록 인이에블할 수 있다. 도 7a의 실시예에서, 디코딩된 컬럼 어드레스 신호들은 참조 부호 "165"를 사용하여 집합적으로 식별된다.
ADC 유닛들로부터의 디지털 데이터 출력들(140)은 디지털 프로세싱 블록(167)에 의해 처리될 수 있다. 일 실시예에서, 2D RGB 이미징 모드에 대해서, 각 ADC-특화된 데이터 출력(140)은 각 픽셀에 의해서 수집된 실제 광자 전하에 실질적으로 대응하는 멀티-비트 디지털 값일 수 있다. 다른 한편으로, 3D-깊이 측정 모드에서, 각 ADC-특화된 데이터 출력(140)은 각 픽셀이 대응하는 광 스폿을 검출할 때의 시점을 나타내는 타임스탬프 값일 수 있다. 본 발명에 따른 이 타임스탬프 접근법은 추후 더 상세히 설명된다. 디지털 프로세싱 블록(167)은 타이밍 발생을 제공하는 회로, 즉, 2D 이미징 모드에 대한 데이터 출력들의 처리와 같은 ISP(Image Signal Processing), 3D 이미징 모드에 대한 깊이 계산들 등을 포함할 수 있다. 이와 관련하여, 디지털 프로세싱 블록(167)은 인터페이스 유닛(168)과 결합되어서 출력(170)과 같은 처리된 데이터를 제공하고, 예를 들어, 2D RGB/non-RGB 이미지 또는 3D 객체(26)의 3D-깊이 이미지를 장치(15)의 디스플레이 스크린(미 도시됨) 상에 제공하도록 프로세서(19)를 인에이블할 수 있다. 인터페이스 유닛(168)은 디지털 프로세싱 블록(167) 내 타이밍 발생 기능을 지원하는 클럭 신호들을 생성하기 위한 PLL(Phase-Locked Loop) 유닛을 포함할 수 있다. 더욱이, 인터페이스 유닛(168)은 MIPI(Mobile Industry Processor Interface)를 더 포함하여 디지털 블록(167)에 의해서 발생되는 데이터를 위해 장치(15) 내 다른 구성 요소들 또는 회로 요소들과의 산업-표준 하드웨어 및 소프트웨어 인터페이스를 제공할 수 있다. MIPI 사양들(specifications)은 다양한 범위의 모바일 제품들을 지원하고, 모바일 장치 카메라, 디스플레이 스크린, 전원 관리, 배터리 인터페이스 등에 대한 사양들을 제공한다. MIPI-표준화된 인터페이스들은 스마트 폰의 카메라, 또는 디스플레이 스크린과 같은 모바일 장치의 주변장치들 및 모바일 장치의 애플리케이션 프로세서(들)(이는 주변 장치들을 제공하는 공급 업체(들)과 동일한 공급 업체로부터 가 아닐 수도 있다)사이의 향상된 조작성을 제공할 수 있다.
도 7a에서, 타임스탬프 교정 유닛(timestamp calibration unit, 171)은, 3D 측정 모드에서, 적절한 교정 신호들(172)을 개별 컬럼-특화된 ADC들로 제공해서 각 컬럼-특화된 ADC 유닛이 픽셀-특화된 타임스탬프 값을 나타내는 출력을 생성하도록 인에이블하기 위해 컬럼 ADC 유닛(153)과 결합하는 것으로 도시된다. 도 7a에 도시되지 않았으나, 특정 실시예들에서, 교정 유닛(171)은 타임스탬프 교정(calibration)과 관련된 처리를 지원하기 위해 디지털 블록(178)과 또한 결합될 수 있다. 타임스탬핑 접근법 및 관련된 오류들은 도 8 내지 도 11을 참조하여 더 상세히 설명된다.
도 7b는 본 발명의 일 실시예에 따른 3D-깊이 측정을 위한 예시적인 CDS+ADC 유닛(175)의 상세한 구조를 보여준다. 용이한 설명을 위해, 유닛(175)은 이하 설명에서, "ADC 유닛"으로 불리나, 이는 유닛(175)이 ADC 기능뿐만 아니라 CDS 기능을 포함할 수 있음이 잘 이해될 것이다. 도 7b에서, 커패시터(176)는 CDS 유닛의 단순화된 버전을 나타낸다. 일 실시예에서, 2D 픽셀 어레이(42) 내 픽셀들의 각 컬럼은 ADC 유닛(175)과 유사한 컬럼-특화된, 단일 슬로프(slope) ADC 유닛을 포함할 수 있다. 다시 말하면, 주여진 컬럼 내 각 픽셀은 ADC 유닛(175)과 같은 동일한 ADC 유닛을 공유할 수 있다. 따라서 도 6의 실시예에서, 픽셀 컬럼 유닛(138)내 3 개의 ADC 유닛들이(즉, 컬럼 당 하나의 ADC) 있을 수 있다. 특정 실시예들에서, 컬럼-특화된 ADC 유닛들(175)은 도 7a의 컬럼 ADC 유닛(153)의 일부 일 수 있다. 도시된 것처럼, 도 7b에 도시된 ADC(175)는 2진 카운터(181) 및 라인 메모리 유닛(183)에 직렬로 연결된 2개의 OTA들(Operational Transconductance Amplifiers)(177, 179)을 포함할 수 있다. 용이한 설명을 위하여, OTA들(177, 179)의 반전(-) 및 비반전(+) 전압 입력들 만을 도 7b에 도시하고, 바이어스 입력들 및 전원 공급 연결들은 도시하지 않았다. OTA는 차동 입력 전압이 출력 전류를 생성하는 증폭기이다. 따라서, OTA는 전압-제어되는 전류원으로 간주될 수 있다. 바이어싱(biasing) 입력들은 증폭기들의 트랜스컨덕턴스(transconductance)를 제어하기 위해 전류들 또는 전압들을 제공하도록 사용될 수 있다. 제1 OTA(177)는 CDS 유닛(176)을 통해, 도 6에 도시된 픽셀(106)과 같은, 컬럼 디코더(145)로부터 수신된 컬럼의 번호를 사용하여 활성화된 로우에서 선택된, 픽셀로부터의 픽셀 출력 전압의 CDS 버전을 수신할 수 있다. 픽셀 출력 신호의 CDS 버전은 “PIX_CDS"신호로 불릴 수 있다. 또한 OTA(177)는 램프 신호 발생기(163)(도 7a)로부터의 Vramp 전압(143)을 수신할 수 있다. OTA(177)는, 이하 도 8을 참조하여 설명되는 것처럼, 픽셀 출력 전압(157)이 Vramp 전압(143)보다 아래로 낮아지면 출력 전류를 생성할 수 있다. OTA(177)의 출력은 2진 카운터(181)로 인가 되기 전에 제 2 OTA(179)에 의해 필터될 수 있디. 일 실시예에서, 2진 카운터(181)는 10-비트 리플(ripple) 카운터일 수 있는데, 카운터는 클럭(ClK) 입력(185)을 수신하고, 제 1 OTA(177)에 의한 출력 전류의 생성에 의해 트리거되는 기 설정된 시간 동안 카운터되는 클럭 사이클들에 근거하여 타임스탬프 값(186)을 생성한다. 도 7b의 실시예의 맥락에서, Clk 입력(185)은 PLL 유닛(168) 또는 장치(15) 내 다른 클럭 생성기(미 도시됨)에 의해서 생성된 시스템-와이드 클럭(system-wide clock) 또는 이미지 센서-특화된 클럭(image sensor-specific clock)일 수 있다. 픽셀-특화된 타임스탬프 값(186)은 픽셀의 컬럼 번호(column #)에 대해 라인 메모리(183)에 저장될 수 있고, 그 후 Dout 신호(140)로서 디지털 프로세싱 블록(167)으로 출력될 수 있다. 컬럼 번호 입력(165)은 도 7a에 도시된 컬럼 디코더 유닛(145)으로부터 수신될 수 있다.
특정 실시예들에서, RGB 컬러 모델은 도 1 및 도 2의 장치(15)와 같은 모바일 장치들 상의 이미지들의 감지, 표현 및 디스플레이하기 위해 사용될 수 있다. RGB 컬러 모델에서, 3개의 기본 색상들(즉, 레드, 그린 및 블루)을 포함하는 광 신호들은 최종 이미지 내 광범위한 컬러들의 어레이를 생성하기 위해 다양한 방법들로 함께 부가될 수 있다. CDS 방식은 2D RGB 이미징에 사용되어서 바람직하지 않은 오프셋의 제거를 허용하는 방식으로, 픽셀/센서 출력 전압과 같은 전기적 값을 측정할 수 있다. 예를 들어, CDS 유닛(176)과 같은 CDS 유닛은 ADC 유닛(175)처럼 각 컬럼-특화된 ADC 유닛에 채용되어서 상관 이중 샘플링을 수행할 수 있다. CDS에서, 픽셀의 출력은 2회 측정될 수 있다. 즉, 알려진 상태에서 1회 측정되고, 알려지지 않은 상태에서 1회 측정된다. 알려지지 않은 상태에서의 측정값에서 알려진 상태에서의 측정 값을 빼면 측정되는 물리량에 대해 알려진 관계를 갖는 값을 생성할 수 있다. 이 경우, 광전자 전하는 이미지 신호의 픽셀-특화된 부분을 나타낸다. CDS를 이용하여, 각 통합 기간(integration period)의 마지막에서 픽셀의 신호 전압으로부터 픽셀의 기준 전압(픽셀이 리셋된 이후의 픽셀의 전압과 같은)을 제거함으로써 노이즈는 줄어들 수 있다. 따라서, CDS에서, 픽셀의 전하가 출력으로 전달되기 전에, 리셋 값이 샘플링된다. 픽셀의 전하가 전달된 이후의 값으로부터 기준 값은 "감산(deducted)"된다.
특정 실시예들에서, ADC 유닛(175)은 3D-깊이 측정들뿐만 아니라 2D 이미징을 위해서 사용될 수 있다. 그러나, 그러한 공유된 구성에 대한 모든 입력들은 도 7b에 도시되지 않았다. 공유된 사용의 경우에 있어서, 대응하는 Vramp 신호는 2D 이미징에서와 다를 수 있다.
도 8은 본 발명의 특정 실시예들에 따른 3D 모드의 동작에서 타임스탬프-기반 픽셀-특화된 출력들을 발생하기 위해 도 1 및 도 2에 도시된 시스템(15)의 상이한 신호들의 예시적 타이밍을 보여주는 타이밍도(190)이다. 앞서 언급된 바와 같이, 특정 실시예들에서, 동일한 이미지 센서(24) 내 모든 픽셀들은 3D 이미징뿐만 아니라 2D 이미징에서 사용될 수 있다.
간략하게, 앞서 도 4 및 도 5를 참조하여 설명된 바와 같이, 3D 객체(26)는 픽셀 어레이(42)의 로우(R)(75)을 따라 레이저 광원(33)에 의해 한 번에 한 스폿씩 포인트-스캔 될 수 있으며, 여기서 R은 스캐닝 라인(SR)(66)과 R의 에피폴라 관계에 근거하여 알려져 있다. 한 로우를 스캐닝한 후, 다른 로우에 대한 스캐닝 동작이 반복된다. 레이저가 다음 스폿에 투영될 때, 이전 투영된 광 스폿은 로우(R)의 대응하는 픽셀에 의해 이미징될 수 있다. 로우(R)의 모든 픽셀들로부터의 픽셀-특화된 출력들은 디지털 프로세싱 블록(167)(도 7a) 내 깊이 프로세싱 회로/모듈로 리드아웃 될 수 있다.
픽셀-특화된 출력을 생성하기 위해, 대응하는 로우는 RSEL 신호를 사용하여 초기에 선택되어야 한다. 도 8의 맥락에서, 도 8에 도시된 것처럼 RSEL 신호(122)가 "high" 레벨로 행사됨에 따라, 도 6의 로우 디코더/드라이버(116)는 픽셀들(106-108)(도 6)을 포함하는 픽셀들의 로우를 선택하는 것으로 가정되었다. 따라서, 모든 픽셀들(106-108)은 함께 선택된다. 용이한 설명을 위해, 도 8에 사용된 신호들, 입력들 또는 출력들은 도 6 및 도 7에 도시된 것들과 동일한 참조 부호들을 사용한다. 초기에, 선택된 로우 내 모든 픽셀들(106-108)은 RST 라인(128)을 사용하여 하이 전압으로 리셋될 수 있다. 픽셀의 "reset" 레벨은 대응하는 광 스폿의 픽셀-특화된 검출의 부재를 나타낼 수 있다. 본 발명의 일 실시예에 따른 3D 모드에서, RST 신호(128)는, 대응하는 픽셀 출력(pixout) 신호들(117-119) 즉, 이중에 두 개가 도 8에 도시된 PIXOUT1 및 PIXOUT2을 획득하기 위해 픽셀들(106-108)에 의해 수신된 광전자들의 인티그레이션(integration)을 용이하게 하기 위해 소정의 시간 동안 하이 레벨로부터 해제될 수 있다. PIXOUT1 및 PIXOUT2은 이하 설명된다. PIXOUT1 신호(119)는 도 8에서 파선 "-··-··-"으로 도시되고, 픽셀(108)에 의해서 대응하는 ADC 유닛으로 제공되는 출력을 나타낸다. . PIXOUT2 신호(118)는 도 8에서 점선 "······'으로 도시되고, 픽셀(107)에 의해서 대응하는 ADC 유닛으로 제공되는 출력을 나타낸다. 일 실시예에서, 도 6의 라인들(129-130)과 같은 다른 RST 라인들은 블루밍(blooming)을 방지하기 위해 비선택된 로우들에 대해서 하이 또는 "온(on)"으로 유지될 수 있다. 엄밀히 말하면, 도 8의 PIXOUT 신호들(118-119)(그리고 도 11의 유사한 픽셀 출력 신호들)은, PIX_CDS 신호들이 도 7b의 ADC 유닛(175)과 같은 각각의 컬럼-특화된 ADC 유닛 내 도 7b의 OTA(177)와 같은 제1 OTA로 제공되기 전에, 도 7b의 CDS 유닛(176)과 같은 CDS 유닛에 의해 조금 수정될 수 있다. 그러나, 단순한 설명 및 용이한 토의를 위하여, 도 8 및 11의 PIXOUT 신호들은 PIX_CDS 신호들(미 도시됨) 각각의 대표들로 취급되고, OTA들(177) 각각에 직접 "입력(input)"되는 것으로 간주된다.
리셋된 후, 픽셀 내 포토다이오드가 입사 휘도(incident luminance)를 수신할 때, 예를 들어, 3D 객체(26)의 표면 상에 투영된 광 스폿으로부터 반사된 광의 광전자들을 수신하면, 포토 다이오드는 대응하는 광 전류(photocurrent)를 생성할 수 있다. 픽셀에 의한 입사광의 검출은 "온 이벤트(ON event)"라 불리는 반면, 입사광의 강도 저하는 "오프 이벤트(OFF event)"를 생성할 수 있다. 온 이벤트에 응답하여 생성된 광 전류는 초기 리셋 레벨로부터 픽셀 출력 전압(PIXOUT)을 감소시킬 수 있다 따라서, 픽셀은 수신된 휘도/광 신호를 대응하는 전기적(아날로그) 전압으로 변환하는 트랜스듀서(transducer)로서 기능하며, 대응하는 전기적(아날로그) 전압은 일반적으로 도 6 내지 도 8 및 도 11에서 PIXOUT 신호로 지정된다. 각 픽셀은 개별적으로 독출(read)될 수 있고, 대응하는 광 스폿들이 레이저 소스에 의해 투영되는 시퀀스로 독출될 수 있다. 아날로그 pixout 신호는 대응하는 컬럼 ADC에 의해 디지털 값으로 변환될 수 있다. 2D-이미징 모드에서, ADC는 아날로그-디지털 변환기로 기능하고, 멀티-비트 출력을 생성할 수 있다. 그러나, 이하 설명에서 처럼, 3D-깊이 측정 모드에서, ADC는 TDC(time-to-digital converter)로서 기능할 수 있고, 광 스폿이 픽셀에 의해 검출될 때 시간을 나타내는 타임스탬프 값을 생성할 수 있다.
도 8을 다시 참조하면, 픽셀 리셋이 완료된 후(RST(128) 하이와 함께), RST가 해제되기 전에, 픽셀들(106-108)과 관련된 컬럼 ADC들이 또한 리셋될 수 있다. 그러나, 전송(TX) 신호(132)는 계속해서 하이로 유지될 수 있다. ADC들은 공통 ADC 리셋 신호 또는 개별 ADC-특화된 리셋 신호들을 사용하여 리셋될 수 있다. 도 8의 실시예에서, 공통 ADC_RST 신호(192)는 컬럼 ADC 유닛(153)(도 7a) 내 ADC(175)와 같은 컬럼-특화된 ADC들을 리셋하기 위해 (하이 레벨로) 잠시 행사된 것으로 도시되어 있다. 일 실시예에서, ADC들은 픽셀들이 리셋된 후에 이진수 "0" 또는 다른 알려진 수와 같은 미리 결정된 이진값으로 리셋될 수 있다. 도 8에서, 픽셀들(108, 107)과 관련된 ADC들에 대한 이러한 리셋 값들은 신호들(ADCOUT1)(또는 ADC 출력 "A") 및 ADCOUT2(또는 ADC 출력 "B")에서 "필드들(fields)"(194-195)로 각각 도시된다. 여기서 "필드(field)"라는 용어는 도 8에 도시된 ADC 출력들을 논의할 때만 편의를 위해서 사용된다. ADC 출력은 실제로 이러한 모든 "필드들"로 동시에 구성될 수는 없고, ADC의 신호 처리의 현재 스테이지에 종속하는 특정 디지털 값이 될 수 있다. ADC가 리셋되면, 그 출력은 이진수 "0"일 수 있다. 만일 ADC가 클럭 펄스들을 카운트하도록 트리거되면, 그 출력은 도 8의 3D-깊이 측정들의 경우에서와 같이 카운트 값일 수 있고, 또는 ADC가 2D-컬러 이미징에 사용되는 경우, 그 출력은 이미지 신호를 나타내는 멀티-비트 값일 수 있다. 따라서, 도 8의 ADC 출력 신호들은 ADC가 최종 출력으로 진행할 때 내부적으로 생성할 수 있는 서로 다른 디지털 값을 설명하기 위해 그러한 "필드들(fields)"로 단지 도시되어 있다. 도 8에서, 참조 번호(197)는 픽셀(108)과 연관된 ADC의 출력을 나타내는 ADCOUT1 신호를 참조하는데 사용되며, 참조 번호(198)은 픽셀(107)과 관련된 ADC의 출력을 나타내는 ADCOUT2 신호를 참조하기 위해 사용될 수 있다. 각 ADC가 메모리 리드아웃동안 컬럼 디코더에 의해 선택될 때, 출력들(197 198) 각각은 Dout 신호(140)(도 6 및 도 7)로 나타날 수 있다. 리셋되기 전에 ADC 출력들(197-198)은 필드들(199-200)에 기호 "x"로 표시되어있는 것처럼 알려지지 않은 값들을 가질 수 있다.
ADC들이 리셋된 후에, 미리 결정된 임계값은 픽셀 리셋 신호(128) 및 ADC 리셋 신호(192)가 해제 된 후에 램프 입력(Vramp)(143)을 미리 정의된 전압 레벨로 비행사(de-assert)함으로써 인에이블될 수 있다. 도 8의 실시예에서, RAMP 입력(143)은 모든 컬럼-특화된 ADC들에 공통이므로, 각 ADC에 동일한 Vramp 전압을 제공한다. 그러나, 다른 실시예들에서, 상이한 Vramp 값들은 개별적인 ADC-특화된 램프 입력들을 통해 2 개 이상의 ADC들에 인가될 수 있다. 또한, 특정 실시예들에서, Vramp 임계값은 프로그래밍 가능한 파라미터일 수 있고, 원하는 값으로 변경될 수 있다. 임계값(RAMP 신호)이 인에이블된 후, 픽셀-특화된 ADC들은, 도 7b의 카운터(181)와 같은 이진 카운터들이 시작하기 전에 대응하는 픽셀들의 "ON 이벤트"를 기다릴 수 있다.
2D 이미징 모드 경우에서의 다중-비트 출력과는 대조적으로, 3D-깊이 측정 모드에서 각 ADC는 단일 비트 출력(이진수 "0" 또는 "1"을 나타냄)을 생성할 수 있다. 따라서, RGB 센서의 경우, RGB 픽셀 어레이(42)의 픽셀에 의해 수신된 임의의 컬러 정보는 3D 모드에서 효과적으로 무시될 수 있다. 픽셀에 의해 검출된 어떠한 입사광도 없는 경우, 대응하는 ADCOUT 신호는 이진수 "0" 값으로 유지될 수 있다. 따라서, 어떠한 ON 이벤트들도 없는 컬럼들은 그들의 ADCOUT 신호들 각각에 대한 디지털 값 "0"(또는 다른 공지된 수)을 계속 가질 수 있다. 그러나, 앞서 설명한 바와 같이, 픽셀이 입사광에 부딪칠 때, 픽셀의 PIXOUT 라인은 도 8의 PIXOUT1 및 PIXOUT2 신호들의 하향 경사들로 표시된 바와 같이, 리셋 레벨로부터 낮아지기 시작할 수 있다. 먼저 전하를 수신하는 픽셀로부터 픽셀 전하가 독출되기 시작하는 것으로 가정하면, 예컨대, 도 5에 도시된 바와 같이, 그러한 독출은 로우에서 가장 오른쪽 픽셀로부터 시작하여 가장 왼쪽 픽셀에서 끝날 수 있다. 도 5에서 t1은 가장 빠른 시점이고 t4는 가장 오래된 시점이다. 따라서, 도 8의 실시예에서, 픽셀(108)의 출력(PIXOUT1)은 픽셀(107)의 출력 (PIXOUT2)이전에 독출될 수 있다. 점차적으로 하강하는 PIXOUT1이 Vramp 임계값(143)에 도달하자마자, 단일 비트 ADCOUT1은 이진수 "0"에서 이진수 "1"로 반전될 수 있다. 그러나 비트 "1"을 출력하는 대신, 대응하는 ADC는 비트가 반전("0"에서 "1"로)될 때의 시간을 기록할 수 있다. 즉, ADCOUT1의 "업 카운트(up count)" 필드(202)에 의해 표시된 바와 같이, 픽셀(108)과 관련된 ADC는 ADC에서 이진 카운터를 시작함으로써 시간-대-디지털(time-to-digital) 변환기로서 기능할 수 있다. "업 카운트(up count)"기간 동안, ADC의 카운터는 CLK 신호(185)의 클럭 펄스들을 카운트할 수 있고, 예컨대, 도 7b에 도시된 바와 같이, CLK 신호(185)는 각 ADC로 제공될 수 있다. 카운트된 클럭 펄스들은 도 8의 Counter Clock-1 신호(204)로 도시되고, 카운트된 값("업 카운트" 필드에서)은 픽셀(108)에 대한 픽셀-특화된 출력으로서 제공될 수 있다. 유사한 카운팅은, 도 8의 Counter Clock 2 신호(205)로 도시된 것처럼, 픽셀(107)에 의해서 수집된 전하에 대해 픽셀(107)과 관련된 ADC에서 일어날 수 있다. 픽셀-특화된 카운트된 값("up count"필드(207) 내에서)은 픽셀(107)에 대한 픽셀-특화된 출력으로서 각 ADC에 의해 제공될 수 있다. 하나의 로우에서 모든 픽셀들을 스캐닝한 후, 이전 스캔된 로우로부터의 출력들이 디지털 블록(167) 내 깊이 계산 유닛으로 리드아웃되는 동안, 픽셀 단위(pixel-by-pixel) 전하 수집 동작은 다른 로우에서 반복될 수 있다.
각 ADC 출력은 레이저 광원(33)에 의해 조명되는 객체 표면 상의 광 스폿의 픽셀에 의한 검출의 시간적인 표시를 제공하는 각각의 타임 스탬프 값을 효과적으로 나타낼 수 있다.　"타임스탬프"는 픽셀의 광 도달 시간을 캡처하는 것으로 간주될 수 있다. 일 실시예에서, 타임스탬프 값은 ADC 유닛으로부터 수신 된 (카운트된 클럭 펄스들의) 카운트 값으로부터 디지털 프로세싱 블록(167)에 의해 검출된 광 스폿에 대해 생성될 수 있다.　예를 들어, 디지털 블록(167)은 카운트 값을 내부 시스템 시간 또는 다른 기준 시간과 관련시킴으로써 타임스탬프를 생성 할 수 있다. 타임스탬프는 수신단에서 생성되므로, 대응하는 광 스폿이 광원에 의해 투영된 정확한 시간을 반드시 나타내는 것은 아닐 수도 있다. 그러나, 타임스탬프 값들은 디지털 블록(167)이 각 타임스탬프된 광 스폿과 그 광 스폿을 이미징한 픽셀 사이에 일대일 시간적인 대응을 확립하게 하여, 디지털 블록(167)이 시간적인 대응에 의해서 특정된 시간 순서로 타임스탬프된 광 스폿들에 대한 거리들을 판별하게 한다. 즉, 가장 먼저 조명된 광 스폿까지의 거리가 먼저 결정되고, 마지막 조명된 광 스폿까지의 거리가 판별될 때까지 반복된다. 일 실시예에서, 타임스탬핑 접근법은 추후 설명되는 바와 같이, 공통 광 스폿을 검출하는 다수의 픽셀들로부터 발생할 수 있는 모호성의 해결을 용이하게 할 수 있다.
기 결정된 시간 기간이 경과된 후, 램프 신호(143)가 다시 행사되는 때와 같이, 모든 ADC-기반 카운터들은 동시에 정지 할 수 있다. 도 8에서, 픽셀 전하 집적을 위한 미리 결정된 시간 기간의 결말을 표시하는 램프 신호(143)의 천이는 점선(210)으로 표시된다. 또한 RSEL(122) 및 RST(128) 신호들은 램프 신호(143)의 레벨의 변화(라인(210)에서)와 실질적으로 동시에 그 상태들을 천이시킬 수 있다. 일 실시예에서, 모든 ADC-기반 카운터들이 라인(210)에서 리셋될 수 있다는 것을 관찰 할 수 있다. 다른 실시예에서, 모든 ADC-기반 카운터들은 픽셀 전하 독출을 위해 다음 픽셀들의 로우를 선택하기 전에 언제든지 리셋될 수 있다. 한 로우의 픽셀들의 스캐닝이 끝나면 ADC 카운터들을 리셋하는 것에도 불구하고, 픽셀 어레이(42) 내의 각 픽셀에 대한 타임 스탬프 값은 별개로 남아 있을 수 있다. 이는 내부 시스템 시간 또는 시간의 다른 기준 소스에 대한 타임스탬프 값의 관계 설정에 의해 글로벌(global) 및 지속적으로 실행하는 것을 유지하기 때문이다.
여기서, 도 8의 실시예에서, 픽셀(107)과 같이 나중에 스캔된 픽셀은 픽셀(108)과 같이 이전에 스캔된 픽셀보다 더 작은 ADC 출력을 가질 수 있다. 따라서, 도시된 바와 같이, ADCOUT1보다 ADCOUT2는 더 적은 카운트 값(또는 카운트된 클럭 펄스들의 더 적은 수)을 가질 수 있다. 또는 다른 실시예에서, 예를 들면, 각 ADC-특화된 카운터가, 픽셀이 리셋될 때 카운팅을 시작하고, 픽셀의 pixout 신호가 주어진 임계값(Vramp)보다 낮아지는 때와 같이, “온 이벤트(ON event)"가 검출될 때, 카운팅을 중지하는 경우, 늦게 스캔된 픽셀은 일찍 스캔된 픽셀보다 더 큰 ADC 출력을 가질 수 있다.
도 6 내지 도 8 및 도 11에 도시된 회로들 및 파형들은 컬럼 마다 업-카운터들을 갖는 단일-기울기 ADC들을 기반으로 한다. 그러나 타임-스탬핑 접근은 디자인 선택에 따라 업-카운터 또는 다운-카운터로 구현될 수 있음을 이해해야 한다. 또한 글로벌 카운터들을 갖는 단일 슬로프 ADC들도 사용될 수 있다. 예를 들어, 일 실시예에서, 개별적인 컬럼-기반 카운터들을 사용하는 대신, 글로벌 카운터(미 도시됨)가 모든 컬럼 ADC들에 의해 공유될 수 있다. 이 경우, ADC들은 다음과 같이 되도록 구성될 수 있다. 즉, 각 ADC에서 도 7b의 라인 메모리(183)와 같은 컬럼 메모리가, 컬럼-기반 비교기 유닛(미 도시됨)이 램프 임계값(143) 아래로 떨어진 각각의 픽셀 출력 신호를 먼저 감지 할 때와 같이, 컬럼-기반 비교기 유닛이 “온 이벤트(ON event)"를 검출할 때 적절한 ADC-특화된 출력을 생성하기 위해 글로벌 카운터의 출력을 래치할 수 있다.
광 스폿들의 로우가 객체의 표면을 따라 스캐닝될 때, 스캐닝된 객체로부터의 2개 이상의 상이한 스폿들이 동일한 픽셀 상에 이미지화될 수 있음을 알 수 있다. 이러한 스폿들은 동일한 스캐닝 라인에 있을 수 있거나 인접한 스캐닝 라인들 상에 있을 수 있다. 다수의 스폿들이 동일한 픽셀에 의해 검출될 때, 그들 중 하나만 검출되고 타임스탬프될 수 있는 반면, 다른 것들은 무시될 수 있으며, 이는 객체의 깊이 프로파일에 부정적인 영향을 미칠 수 있다. 또한, 수학식 1의 파라미터 q에 의해 주어진 바와 같이, 수학식 1로부터 깊이 측정은 스캔 각도 β 및 이미지화된 광 스폿의 픽셀 위치와 관련된다는 것을 알 수 있다. 따라서, 만일 스캔 각도가 주어진 광 스폿에 대해 정확하게 알려지지 않으면, 깊이 계산은 부정확할 수 있다. 유사하게, 2개 이상의 광 스폿들이 동일한 q 값을 갖는다면, 깊이 계산들은 또한 모호해질 수 있다. 타임-스탬프에 기초한 접근법은 캡처된 광 스폿의 픽셀 위치와 레이저 소스의 대응하는 스캔 각도 사이의 정확한 일치를 유지하는데 사용될 수 있다. 즉, 타임스탬프는 파라미터들 q와 β의 값들 사이의 관련성을 나타낼 수 있다.
일 실시예에서, 다수의 광 스폿들이 동일한 픽셀에 의해 이미징될 때, 거리는 하나의 광 스폿만을 사용하여, 예를 들어, 가장 먼저 수신된 광 스폿을 사용하여 계산될 수 있고, 동시에 동일한 픽셀에서 이후 수신되는 모든 광 스폿들을 무시할 수 있다. 따라서, 이 실시예에서, 가장 먼저-수신된 광 스폿의 타임스탬프는 대응하는 픽셀에 대한 픽셀-특화된 출력으로서 취급될 수 있다. 또는 다른 실시예에서, 거리는, 동일한 픽셀에 의해 이미징된 모든 다른 광 스폿들을 무시하면서, 마지막으로 수신된 광 스폿에 대해 계산될 수 있다. 어느 경우에도, 첫 번째 또는 마지막 광 스폿 사이에 수신된 어느 광 스폿도 깊이 계산들을 위해 무시 될 수 있다. 수학적으로, 광원에 의해 투영된 광 스폿들의 스캔 시간들은 t(i+1) - t(i) = d(t) (상수)인 t(0), t(1), ..., t(n)으로 주어질 수 있다. 픽셀/컬럼 출력들은 ON 이벤트들에 대한 타임스탬프들 인 a(0), a(1), ..., a(n)으로 주어질 수 있고 a(i)는 항상 t(i) 다음이고, a (i + 1) 이전이다. a(i) 및 a(k)(i≠k)가 동일한 픽셀/컬럼과 관련되는 경우, 깊이 계산들에서 어떤 모호성을 제거하기 위해 앞서 설명된 바와 같이, 그들 중 하나만 저장 될 수 있다. 스캔 시간과 출력 시간(타임 스탬프들로 표시) 사이의 시간 관계에 기초하여, 디지털 블록(167)과 같은 프로세싱 유닛은 어떤 출력 포인트(들)가 누락되었는지를 결정할 수 있다. 프로세싱 유닛이 누락된 위치를 복구하지 못할 수도 있지만, 이용 가능한 출력 포인트들로부터의 깊이 계산들은 객체의 수용 가능한 3D-깊이 프로파일을 제공하기에 충분할 수 있다. 누락된 타임 스탬프들 또는 이상값(outlier) 타임스탬프들의 문제점을 해결하기 위한 추가의 방법들은 도 9 내지 도 11을 참조하여 추후 설명된다. 일 실시예에서, 2 개의 상이한 픽셀들이 동일한 광 스폿의 각 부분을 이미징하는 것이 또한 가능할 수 있다는 것을 유의해야 한다. 이 실시예에서, 이들 2 개의 픽셀들로부터의 타임 스탬프 출력들의 값들의 근사(closeness)에 기초하여, 프로세싱 유닛은 단일 광 스폿이 2개의 상이한 픽셀들에 의해 이미징되었을 수도 있다고 추론할 수 있다. 모호성을 해결하기 위해, 프로세싱 유닛은 타임스탬프들을 사용하여 각 위치 값들 q의 "평균"을 찾고, 수학식 1에서 q의 평균값을 사용하여 그러한 "공유된(shared)" 광 스폿에 대한 3D 깊이를 계산할 수 있다.
상술한 설명으로부터, 본 발명의 특정 실시예들에 따른 삼각 측량을 사용하는 타임 스탬프-기반 3D-깊이 측정은, ADC가 단지 단일 비트의 낮은 해상도(resolution)을 갖는 이진 비교기로서 동작할 수 있게 하여, ADC에서 스위칭 전력이 현저히 낮아지므로 시스템 전력을 절약할 수 있다. 반면에, 종래 3D 센서들의 높은 비트 해상도 ADC는 더 많은 프로세싱 전력을 요구할 수 있다. 또한 타임스탬프-기반의 모호성 해결은, 모호성을 해결하기 위해 픽셀 데이터를 검색 및 일치시키는데 상당한 프로세싱 전력을 필요로 하는 종래의 이미징 방식들과 비교할 때, 시스템 전력을 절약할 수 있다.
단일 이미징 단계에서 모든 포인트-스캔된 광 스폿들의 이미징/검출로 인해 모든 깊이 측정들은 한 번에 수행될 수 있기 때문에 대기 시간도 또한 단축된다. 특정 실시예들에서, 픽셀 어레이 내 각 픽셀은 단일 저장 픽셀일 수 있으며, 따라서 크기가 1 마이크로미터(μm) 정도로 작게 만들 수 있다. 단일 저장 픽셀 설계에서, 광전자들을 집적하고 저장하기 위해 픽셀 당 단지 하나의 포토 다이오드 및 하나의 접합 커패시터(도 6의 트랜지스터(111)와 같은)가 있을 수 있다. 반면에, 상이한 시간들에서 오는 광전자들을 저장하기 위해 다수의 커패시터들을 갖는 하나의 포토 다이오드를 갖는 픽셀은 그러한 작은 크기로 감소되지 않을 수 있다. 따라서, 본 발명의 특정 실시 예들에 따른 소형 센서들을 갖는 저-전력 3D 이미징 시스템은 스마트 폰들 또는 태블릿들의 카메라들과 같은 모바일 애플리케이션들에서의 쉬운 구현을 용이하게 할 수 있다.
상술한 바와 같이, 도 1 및 도 2의 이미지 센서 유닛(24)과 같은 동일한 이미지 센서가, 본 발명의 일 실시예에 따른 2D-이미징 및 3D-깊이 측정들 모두에 사용될 수 있다. 이러한 듀얼-모드 이미지 센서는 예를 들어, 모바일 폰, 스마트 폰, 랩탑 컴퓨터 또는 태블릿 상의 카메라 시스템의 일부일 수도 있고, 산업용 로봇 또는 VR 장비의 카메라 시스템의 일부일 수도 있으나, 이에 한정되지 않는다. 특정 실시예들에서, 앞서 설명된 바와 같이, 사용자가 깊이 측정들을 사용하여 종래의 2D-카메라 모드 또는 3D-이미징 모드 사이에서 선택할 수 있게 하는 장치 상의 모드 스위치가 있을 수 있다. 종래의 2D-카메라 모드에서, 특정 실시예들에서, 사용자는 장면의 컬러(RGB) 이미지들 또는 스냅샷들(snapshots) 또는 장면 내의 특정 3D 객체를 캡처할 수 있다. 그러나, 3D 모드에서, 사용자는 상술한 방식으로 포인트 스캔-기반 깊이 측정들을 수행하는 카메라 시스템에 기초하여 객체의 3D 이미지를 생성할 수 있다. 어느 모드에서나, 원하는 이미징을 수행하기 위해 동일한 이미지 센서가 전체적으로 사용될 수 있다. 즉, 이미지 센서의 각 픽셀은 2D 또는 3D 이미징 어느 응용에서도 사용될 수 있다.
상술한 바와 같이, 타임스탬프는 수학식 1에서 주어진 2개의 파라미터들 즉, 이미지된 광 스폿의 픽셀 위치 q 및 레이저 소스의 대응하는 스캔 각도 β 사이의 대응 관계를 찾기 위해 사용될 수 있다. 따라서, 타임스탬프의 지터(jitter) 또는 에러(error)는 타임스탬프의 최소 분해 가능 시간(또는 시간 해상도(time resolution))을 감소시킬 수 있다. 이는 결국 한 로우 시간 내에 스캔될 수 있는 레이저 스폿들의 수를 줄여서 깊이 이미지의 프레임 속도와 공간 해상도의 감소를 초래할 수 있다. 예를 들어, 픽셀 전하 수집 및 후속 프로세싱은 타임스탬프들이 생성될 수 있는 속도를 감소시킬 수 있다. 특정 실시예들에서, 타임스탬프 생성은 수 마이크로 초 소요될 수 있는 반면, 레이저 스캐닝은 예를 들어, 나노 초로 상당히 빠르게 수행될 수 있다. 따라서 하나 이상의 타임스탬프들에서 에러나 지터가 추가 프로세싱 지연들을 초래할 수 있으며, 타임스탬프 오류들을 수정하거나 오류가 없는 타임스탬프들을 생성하는데 필요한 시간을 제공하기 위해 더 느린 레이저 스캔이 필요할 수도 있다. 동일한 시간이 3D 객체의 각 로우를 스캔하도록 할당되었다고 가정하면, 레이저 스캔의 속도를 줄이기 위한 요구 사항은 주어진 스캔 지속 시간 동안 픽셀들의 한 로우를 따라 스캔 될 수 있는 레이저 스폿들의 수를 감소시킬 수 있다. 이것은 결국, 객체의 3D-깊이 이미지의 공간 해상도를 감소시킬 수 있다.
타임 스탬프들의 에러들은 타임스탬프들에서 최소 분해 가능 시간 (즉, 시간 해상도)을 감소시킬 수 있다. 타임 스탬프 에러들의 한 소스는, 반사율이 낮은 표면들 및/또는 2D 픽셀 어레이(42)로부터 먼 거리에 위치한 표면들로부터 반사 된 약한 광 신호들에 의해 야기될 수 있다. 이러한 약한 광 신호들은 예를 들어, RAMP 입력(143)에 의해 설정된 임계값을 초과하지 않는 픽셀-특화된 출력을 생성할 수 있다. 2D 픽셀 어레이에 의해 수신되는 약한 광 신호들에 대한 다른 이유들이 또한 있을 수 있다. 예를 들어, 픽셀-특화된 출력들을 RAMP 입력(143)에 의해 설정된 임계값과 비교하는 비교기들은 드리프트(drift)하거나 그리고/또는 높은 입력 오프셋을 가질 수 있다. 또한 전원 변동들 및 랜덤 노이즈는 또한 픽셀-특화된 출력에 대한 타임스탬프가 생성되지 않도록 하는 원인이 될 수 있다. 어떤 이유로던 픽셀-특화된 출력에 대한 타임스탬프가 생성되지 않으면, 타임스탬프는 누락된 것으로 간주된다. 누락된 타임스탬프들은 한 로우 시간 내에 스캔될 수 있는 광 스폿들의 수를 감소시키고, 깊이 이미지의 프레임 속도와 공간 해상도를 감소시킨다.
수신된 광 스폿들이 예를 들어, RAMP 입력(143)에 의해 설정된 임계값을 초과하는 픽셀-특화된 출력을 생성하기에 충분히 강하고, 따라서 타임스탬프가 누락되지 않는 정상 조건들(normal conditions)에서, 픽셀들의 로우 내 각 픽셀-특화된 출력은 대응하는 타임스탬프 값을 가지며, 픽셀들의 로우와 관련된 타임스탬프 값들은 광 스폿들의 시퀀스가 로우에 대해 스캔되는 방향에 따라 단조적으로(monotonically) 증가하거나 감소한다. 앞서 설명된 바와 같이, 표면에서 반사된 약한 광 신호들이 타임 스탬프가 생성되지 않도록 할 수 있는 경우들이 있다. 즉, 표면에서 반사된 약한 광 신호들로 인해 하나 이상의 누락 타임스탬프들이 발생하는 경우들이 있을 수 있다.
단일 광 스폿으로부터 반사된 광이 픽셀 로우 내 다수의 인접 픽셀들에 의해 이미징되는 경우들도 또한 있을 수 있으며, 이 경우 다수의 인접 픽셀들은 모두 거의 동일한 값을 갖는 타임스탬프들을 갖는다. 동일한 광 스폿을 이미징하고 동일하거나 거의 동일한 타임스탬프를 갖는 다중 인접 픽셀들의 이러한 배열은 본 명세서에서 "픽셀 클러스터(pixel cluster)"로 언급된다. 또 다른 예들에서, 비단조(non-monotonic)와 관련된 타임스탬프, 즉, 대응하는 픽셀-특화된 출력이 다른 인접한 픽셀-특화된 출력들에 대하여 로우 내에서 연속적으로 위치되지만, 타임스탬프 값은 인접한 픽셀-특화된 출력들의 타임스탬프 값들에 대해 단조적(monotonic)이지 않는 상황들이 있을 수 있다. 이러한 픽셀-특화된 비단조 타임스탬프는 본 명세서에서 "이상값(outlier)"으로 불리 울 수 있다. 이러한 상황들 중 어느 경우에도, 픽셀 로우의 타임스탬프 값들의 단조적 관계는 존재하지 않고, 타임스탬프 값들만을 근거로 하여 어떤 픽셀-특화된 출력이 광 스폿에 가장 잘 대응하는지를 판별하는 것은 어려울 수 있고, 이는 누락 타임스탬프들 및/또는 픽셀 클러스터들에 의해 야기된 타임스탬프 에러들을 초래한다.
예를 들어, 도 9는 2 차원 픽셀들의 어레이의 2 개의 예시적인 픽셀들의 로우들로부터의 픽셀-특화된 출력들을 도시하는 그래프(900)이다. 그래프(900)의 가로축은 2 차원 픽셀들의 어레이에서 픽셀들의 로우를 따라 픽셀 위치들 x를 나타내고, 그래프(900)의 세로축은 임의의 단위들로 타임스탬프 값들을 나타낸다. 인출 부호(901)로 표시된 픽셀-특화된 출력들의 한 로우는, 광 스폿들의 스캔 라인이 왼쪽에서 오른쪽인 로우로부터의 픽셀-특화된 출력들(사각형 모양의 점들로 표시됨)을 나타내고, 인출 부호(902)로 표시된 픽셀-특화된 출력들의 다른 로우는, 광 스폿들의 스캔 라인이 오른쪽에서 왼쪽인 로우로부터의 픽셀-특화된 출력들(다이아몬드-형태 점들로 표시됨)을 나타낸다. 방향의 반전은 광 스폿들의 반사의 결과이다.
행(901)의 픽셀-특화된 출력들에 대해, 광 스폿들이 스캔 라인을 따라 스캔됨에 따라 반사된 광이 약해지고, 픽셀 위치(140)의 오른쪽에 있는 픽셀들에 대한 픽셀-특화된 출력들은 타임스탬프를 생성하기에 너무 약하다. 따라서, 픽셀 위치(140)의 오른쪽에 있는 픽셀들에 대한 픽셀-특화된 출력은 타임스탬프들이 누락된다. 로우(901)에는 연속적으로 누락된 여러 개의 타임스탬프들이 있지만, 누락된 타임스탬프는 단일 누락 타임스탬프일 수 있음을 이해할 수 있을 것이다. 또한, 도 9의 로우들(901, 902) 모두는 정도가 변하는 픽셀 클러스터들을 표시하는 픽셀-특화된 타임스탬프들을 갖는다. 인출 부호(903)으로 표시된 하나의 예시적인 픽셀 클러스터는, 모두가 동일한 타임스탬프 값을 갖지만 픽셀 로우에서 서로 다른 픽셀 위치들을 갖는 2개의 픽셀-특화된 출력들을 나타낸다. 다른 픽셀 클러스터들(미 도시됨)은 더 많은 수의 픽셀-특화된 출력들을 포함할 수 있다. 마지막으로, 픽셀-특화된 출력(904)은, 이상값(outlier)을 나타내며, 비록 픽셀 위치가 인접(adjacent)하거나 이웃하는(neighboring) 픽셀-특화된 출력들의 픽셀 위치와 일치하더라도, 타임스탬프 값은 인접하거나 이웃하는 픽셀-특화된 출력들에 관하여 단조적(monotonic)이지 않다.
누락된 타임스탬프들에 의해 야기된 에러들을 정정하기 위해, 본 명세서에 개시된 주제는 각 픽셀-특화된 출력에 대한 타임스탬프들 및 그레이 스케일(grayscale) 값들을 생성하기 위해 더블-리드아웃 기술을 이용한다. 즉, 예를 들어, RAMP 입력(143)에 의해 설정된 임계값을 초과하는 픽셀-특화된 출력에 대해, 타임스탬프 값 및 그레이 스케일 값이 모두 생성되고 픽셀-특화된 출력과 연관된다. 픽셀-특화된 출력이 예를 들어, RAMP 입력(143)에 의해 설정된 임계값을 초과하지 않고, 그리고 타임스탬프가 생성되지 않거나(즉, 누락된 타임스탬프) 또는 이상값 타임스탬프가 생성되는 경우들에서, 픽셀-특화된 출력에 대한 그레이 스케일 값이 생성되고, 픽셀-특화된 출력과 연관된다. 여기에 개시된 더블-리드아웃 기술은 누락된 타임스탬프들, 픽셀 클러스터들과 관련된 타임스탬프들에 의해 야기된 에러들을 정정하고 그리고 이상값 타임스탬프들 즉, 타임스탬프 값들이 정상 조건들 하에서의 타임스탬프 값들의 단조적 관계와 일치하지 않는 픽셀-특화된 출력들과 관련된 타임스탬프들을 제거하기 위해 사용될 수 있다.
도 10은 본 발명의 실시예에 따라 3D-깊이 측정들 동안 타임스탬프 에러 정정을 위해 사용될 수 있는 더블-리드아웃 기술을 나타내는 예시적인 플로우차트(1000)를 도시한다. 도 3에 도시된 실시예에서와 같이, 도 10에 도시된 다양한 동작들은 시스템(15) 내의 단일 모듈 또는 모듈들 및/또는 시스템 컴포넌트들의 조합에 의해 수행 될 수 있다. 본 명세서에서, 단지 예시의 방법으로, 특정 과제들(tasks)이 특정 모듈들 및/또는 시스템 컴포넌트들에 의해서 수행될 수 있는 것으로 설명된다. 그러나, 다른 모듈들 및/또는 시스템 컴포넌트들은 그러한 과제들을 수행하도록 적절히 구성될 수 있다.
도 10에서, 블록(1001)에서의 동작은 도 3의 블록(52)에서의 동작과 유사할 수 있다. 다시 말해, 도 10의 블록(1001)에서, 시스템(15)(더 구체적으로는 프로세서(19))은 도 2의 광원 모듈(22)과 같은 광원을 사용하는 스캐닝 라인을 따라, 도 2의 객체(26)와 같은 3D 객체의 1D 포인트 스캔을 수행할 수 있다. 포인트 스캔의 일부로서, 광원 모듈(22)은 예를 들어, 프로세서(19)에 의해 구성되어 라인 단위 방식으로 3D 객체(26)의 표면 상에 일련의 광 스폿들을 투영할 수 있다.
블록(1002)에서, 시스템 (15)내 픽셀 프로세싱 유닛(46)은 도 2에 도시된 2D-픽셀 어레이(42)와 같은 이미지 센서 내의 픽셀들의 로우를 선택할 수 있다. 이미지 센서(42)는 이미지 평면을 형성하는 2D 어레이 내 배열된 복수의 픽셀들을 포함할 수 있고, 일 실시예에서, 선택된 픽셀들의 로우는 이미지 평면 상의 스캐닝 라인의 에피폴라 라인의 적어도 일부분을 형성한다.
블록(1003)에서, 선택된 픽셀들의 로우의 픽셀에 대해, 픽셀 프로세싱 유닛(46)은 프로세서(19)에 의해 동작하도록 구성되어 광 스폿들의 시퀀스에서 대응하는 광 스폿의 픽셀-특화된 검출을 감지할 수 있다. 앞서 언급한 바와 같이, 일 실시예에서, 그러한 "감지(sensing)"는, 포토 다이오드가 대응하는 광 스폿으로부터 수신된 휘도를 검출하면, 센서의 포토다이오드에 의해 생성된 전하를 수집하기 위한 픽셀의 활성화를 지칭할 수 있다. 픽셀-특화된 PIXOUT 신호는 수신된 휘도에 응답해서 생성된 그러한 픽셀-특화된 전하를 나타낼 수 있다.
블록(1004)에서, 프로세서(19)에 의해 적절히 구성된 픽셀 프로세싱 유닛(46)은 대응하는 광 스폿에 대한 타임스탬프 값 및 픽셀-특화된 출력의 그레이-레벨 강도(gray-level intensity)를 나타내는 그레이스케일 값을 생성할 수 있다. 특히, 픽셀 프로세싱 유닛(46)은 각 픽셀-특화된 출력에 대한 타임스탬프들 및 그레이스케일 값들 모두를 생성하도록 구성된다. 예를 들어, RAMP 입력(143)에 의해 설정된 임계값을 초과하는 픽셀-특화된 출력이 발생하는 경우, 타임스탬프 값 및 그레이스케일 값 모두가 생성되며, 픽셀-특화된 출력과 연관된다. 픽셀-특화된 출력이 예를 들어, RAMP 입력(143)에 의해 설정된 임계값을 초과하지 않는 경우, 타임스탬프는 생성되지 않고, 픽셀-특화된 출력에 대한 그레이스케일 값이 생성되며, 픽셀-특화된 출력과 연관된다. 따라서, 픽셀-특화된 출력이 소정의 임계값을 초과하는지의 여부에 관계없이, 픽셀-특화된 출력의 그레이-레벨 강도를 나타내는 그레이스케일 값이 생성된다. 단일 픽셀-특화된 출력이 광 스폿에 대응하는 경우(즉, 정상 조건), 타임스탬프 및 그레이스케일 값 모두가 생성되며, 픽셀-특화된 출력과 연관된다. 누락된 타임스탬프가 없고, 단일 픽셀-특화된 출력과 연관된 타임스탬프가 광 스폿과의 거리를 판별하는데 사용될 것 이다. 하나의 광 스폿에 대한 하나 이상의 픽셀-특화된 출력이 있는 경우(즉, 픽셀 클러스터), 광 스폿에 대해 결정될 타임스탬프는 픽셀 클러스터의 최대 그레이-스케일 값에 대응하는 타임스탬프일 수 있다. 광 스폿에 대한 타임스탬프 누락이 있는 경우, 광 스폿에 대한 타임스탬프는, 광 스폿들의 시퀀스의 인접한 광 스폿들과 연관된 타임스탬프 값들을 보간하는 것에 의해 결정될 수 있다. 도 7b 및 도 8과 관련하여 설명된 바와 같이, 컬럼-특화된 보정값은 생성된 타임스탬프 값들에 적용되어 컬럼-특화된 보정된 타임 스탬프 값들을 획득할 수 있다.
도 10의 블록(1005)에서, 이미지 처리 유닛(46)은, 적어도 광 스폿에 대해 결정된 타임스탬프 값 및 대응하는 광 스폿에 투영하기 위해 광원에 의해 사용되는 스캔 각도에 근거해서, 3D 객체의 표면 상의 대응하는 광 스폿에 대한 3D 거리(또는 깊이)를 판별할 수 있다. 단일 픽셀-특화된 출력이 광 스폿에 대응하는 경우(즉, 정상 조건), 3D 거리를 판별하기 위해 블록(1005)에서 사용된 광 스폿에 대한 결정된 타임스탬프 값은 단일 픽셀-특화된 출력과 연관된 타임스탬프 값이다. 하나의 광 스폿에 대해 하나 이상의 픽셀-특화된 출력이 있는 경우(즉, 픽셀 클러스터), 3D 거리를 판별하기 위해 블록(1005)에서 사용된 광 스폿에 대한 결정된 타임스탬프 값은 픽셀 클러스터의 픽셀-특화된 출력들의 가장 큰 그레이-스케일 값에 대응하는 타임스탬프 값이다. 광 스폿에 대한 누락 타임스탬프가 있는 경우, 블록(1005)에서 사용된 광 스폿에 대한 결정된 타임스탬프 값은 광 스폿과 이웃하는 광 스폿들의 시퀀스 내 광 스폿들과 연관된 타임스탬프 값들에 근거해서 보간된 값이다. 일부 케이스들에서, 이웃하는 광 스폿들은 타임스탬프가 결정되는 광 스폿과 직접 인접할 수 있다. 픽셀 클러스터들에 대한 케이스와 같은 다른 케이스들에서, 이웃하는 광 스폿들은 타임 스탬프가 결정되는 광 스폿에 직접 인접하지 않을 수 있다. 상술한 바와 같이, 타임스탬프 에러들을 감소시키는 본 명세서에 개시된 더블-리드아웃 기술에 의해 제공되는 결정된 타임스탬프 값은 이미지된 광 스폿의 픽셀 위치 q와 레이저 소스의 대응 스캔 각도(Θ) 사이의 필요한 대응을 제공할 수 있다. 결정된 타임스탬프 값, 픽셀 위치 q 및 대응 스캔 각도 (Θ) 및 다른 파라미터들은 도 4에 도시된 바와 같이, 삼각 측량-기반 깊이 측정을 위해 수학식 1에서 사용될 수 있다.
도 11은 본 개시의 과제에 따른 예를 들면, 도 1 및 도 2의 시스템(15)에서 사용될 수 있는 더블-리드아웃 기술에 대한 상이한 신호들의 예시적 타이밍을 보여주는 타이밍도이다. 여기에 개시된 더블-리드아웃 기술은 픽셀-특화된 출력들에 대한 타임스탬프 값들 및 그레이-스케일 강도들을 나타내는 그레이스케일 값들을 생성한다. 초기에, 타임스탬프 값들이 생성되고, 그 다음 그레이스케일 값들이 생성된다. 도 11을 참조하면, 타임스탬프 값들은 제1 부분(1101) 동안 생성되고, 그레이스케일 강도들을 나타내는 그레이 스케일 값들은 제2 부분(1102) 동안 생성된다.
상술한 바와 같이, 특정 실시예들에서, 시스템(15) 내의 동일한 이미지 센서(24) 내의 모든 픽셀들은 3D 이미징뿐만 아니라 2D 이미징을 위해 사용될 수 있다. 객체(26)는 픽셀 어레이(42)의 로우(R)을 따라 레이저 광원(33)에 의해 한번에 하나의 스폿씩 포인트-스캔될 수 있으며, 여기서, 로우(R)은 스캐닝 라인 SR(66)과의 그 로우(R)의 에피폴라 관계에 근거하여 알려져 있다.
하나의 로우를 스캐닝한 후, 스캐닝 동작은 다른 로우에서 반복된다. 레이저가 다음 스폿을 투영할 때, 이전 투영된 광 스폿은 로우(R)(75) 내 대응하는 픽셀에 의해 이미지화될 수 있다. 더블-리드아웃 기술에 의해 로우(R) 내 모든 픽셀들로부터 생성된 픽셀-특화된 출력들에 대한 타임스탬프들 및 그레이스케일 값들은 디지털 프로세싱 블록(167)(도 7a)에서 깊이 프로세싱 회로/모듈로 리드아웃될 수 있다.
픽셀-특화된 출력에 대한 타임스탬프 값 및 그레이스케일 값을 생성하기 위해, 대응하는 로우는 RSEL 신호(122)를 사용하여 초기에 선택될 수 있다. 도 11의 맥락에서, 도 11에 도시된 바와 같이, RSEL 신호(122)를 "하이" 레벨로 행사하는 것에 의해서 예를 들어, 도 6의 로우 디코더/드라이버(116)는 픽셀들(106-108)을 포함하고 있는 픽셀들의 로우를 선택하는 것으로 가정된다. 따라서, 모든 픽셀들(106-108)이 함께 선택된다. 용이한 설명을 위하여, 도 6 및 도 7에 도시된 신호들, 입력들 및 출력들과 동일한 참조 부호들이 도 11에서 사용된다. 초기에, 선택된 로우의 모든 픽셀들(106-108)은 RST 라인(128)을 사용하여 하이 전압으로 리셋될 수 있다. 픽셀의 "리셋" 레벨은 대응하는 광 스폿의 픽셀-특화된 검출의 부재를 나타낼 수 있다. 일 실시예에 따른 3D 모드에서, RST 신호(128)는, 픽셀들(106-108)에 의해 수신된 광전자들의 집적을 용이하게 하기 위해 소정의 시간동안 RST 신호(128)의 하이 레벨로부터 해제(released)되어서 대응하는 픽셀 출력(pixout) 신호들(117 119)를 획득한다. 픽셀 출력(pixout) 신호들(117 119)중에서 도 11에 도시된 2개의 픽셀 출력 신호들(PIXOUT1 및 PIXOUT2)은 이하 설명된다. PIXOUT1 신호(119)는 픽셀(108)에 의해서 대응하는 ADC 유닛에 제공된 출력을 나타낸다. PIXOUT2 신호(118)는 픽셀(107)에 의해 대응하는 ADC 유닛에 제공된 출력을 나타낸다. 일 실시예에서, 도 6에 도시된 라인들(129-130)과 같은 다른 리셋(RST) 라인들은 블루밍(blooming)을 방지하기 위해 비선택된 로우들에 대해서 하이 또는 "on"으로 유지 될 수 있다. 엄격히 말하면, 도 11의 PIXOUT 신호들(118, 119)은 도 7b의 ADC 유닛(175)과 같은 각 컬럼-특화된 ADC 유닛 내 도 7b의 OTA(177)과 같은 제1 OTA로 PIX_CDS 신호들로서 제공되기 전에, 도 7b의 CDS 유닛(176)과 같은 CDS 유닛에 의해서 약간 변경될 수 있다. 설명의 단순화 및 용이한 설명을 위하여, 그러나 도 11의 PIXOUT 신호들은 PIX_CDS 신호들(미 도시됨) 각각의 대표들로 취급되고, OTA들(177) 각각으로 직접 "입력"된 것으로 간주된다.
리셋된 이후, 픽셀 내 포토다이오드가, 3D 객체(26)의 표면 상에 투영된 광 스폿으로부터 반사된 광 내 광전자들과 같은 입사 휘도를 수신할 때, 포토다이오드는 대응하는 광전류(photocurrent)를 생성할 수 있다. 픽셀에 의한 입사광의 검출은 "온 이벤트"로 불릴 수 있고, 반면 입사광의 강도의 감소 또는 입사광의 비검출은 "오프 이벤트"를 초래한다. 온 이벤트에 응답해서 생성되는 광전류는 초기 리셋 레벨로부터 픽셀 출력 전압(PIXOUT)을 감소시킨다. 따라서, 픽셀은 수신된 휘도/광 신호를 대응하는 전기 (아날로그) 전압으로 변환하기 위한 변환기(transducer)로서 기능하며, 대응하는 전기 (아날로그) 전압은 일반적으로 도 11의 PIXOUT 신호로 표시된다. 각각의 픽셀은 개별적으로 독출될 수 있고 대응하는 광 스폿들이 레이저 소스에 의해 투영되는 순서로 독출될 수 있다. 아날로그 PIXOUT 신호는 대응하는 컬럼 ADC에 의해 디지털 값으로 변환 될 수 있다. 2D-이미징 모드에서, ADC는 아날로그-디지털 변환기로 기능하고 다중-비트 출력을 생성할 수 있다. 본 명세서의 다른 곳에서 설명된 바와 같이, 3D-깊이 측정 모드에서, ADC는 그러나 시간-디지털 변환기(time-to-digital converter, TDC)로서 기능할 수 있고, 광 스폿이 픽셀에 의해 검출되는 시간을 나타내는 타임스탬프 값을 생성 할 수 있다.
다시 도 11을 참조하면, 픽셀 리셋이 수행된 후(리셋(RST)(128) 하이와 함께), 픽셀들(106-108)과 관련된 컬럼 ADC들은 RST(128)가 해제되기 전에 또한 리셋될 수 있다. 그러나 전송(TX) 신호(132)는 계속해서 하이로 유지될 수 있다. ADC들은 공통 ADC 리셋 신호 또는 개별 ADC-특화된 리셋 신호들을 사용하여 리셋될 수 있다. 도 11의 실시예에서, 공통 ADC_RST 신호(192)는 컬럼 ADC 유닛(153)(도 7a)에서 ADC(175)와 같은 컬럼-특화된 ADC들을 리셋하기 위해 잠시 행사된(하이 레벨로) 것으로 도시되어있다. 일 실시예에서, ADC들은 픽셀들이 리셋된 후, 이진수 "0" 또는 다른 알려진 수와 같은 미리 결정된 이진수 값으로 리셋될 수 있다. 도 11에서, 픽셀들(108, 107)과 관련된 ADC들에 대한 이들 리셋 값들은 신호들(ADCOUT1)(또는 ADC 출력 "A") 및 ADCOUT2(또는 ADC 출력 "B")에서 "필드들(fields)"(194,195)로 각각 도시된다. 여기서 사용된 것처럼, 용어 "필드(field)"는 도 11에 도시된 ADC 출력들을 언급할 때 편의를 위하여 사용된다. ADC 출력은, 동시에 그러한 "필드들" 모두를 실제로 포함할 수 없으나, ADC의 신호 프로세싱의 현재 상태에 따라 특정 디지털 값일 수 있음을 이해해야 한다. 만일 ADC가 리셋되면, ADC의 출력은 이진수 "0"일 수 있다. 만일 ADC가 클럭 펄스들을 카운트하도록 트리거되면, ADC의 출력은 도 11의 3D-깊이 측정의 경우와 같이 카운트 값일 수 있고, 또는 만일 ADC가 2D-컬러 이미징에 사용되면, ADC의 출력은 이미지 신호를 나타내는 다중-비트 값일 수 있다. 따라서, ADC가 최종 출력을 향하여 진행할 때 내부적으로 생성할 수 있는 상이한 디지털 값들 단지 나타내기 위해, 도 11의 ADC 출력 신호들은 그러한 "필드들"로 도시된다. 도 11에서, 참조 부호(197)은, 픽셀(108)과 연관된 ADC의 출력을 나타내는 ADCOUT1 신호를 지칭하는데 사용되고, 참조 부호(198)은 픽셀(107)과 연관된 ADC의 출력을 나타내는 ADCOUT2 신호를 지칭하는데 사용된다. 메모리 리드아웃 동안 컬럼 디코더에 의해서 각 ADC가 선택될 때, 출력들(197, 198) 각각은 Dout 신호(140)(도 6 및 도 7)로 나타날 수 있다. 리셋되기 전에, ADC 출력들(197, 198)은 필드들(199, 200)에 "x" 표기법으로 표시된 것처럼 알려지지 않은 값들을 가질 수 있다.
ADC들이 리셋된 후, 픽셀 리셋(RST) 신호(128)및 ADC 리셋 신호(192)가 해제되고 나서, 램프 입력(Vramp)(143)을 미리 정의된 전압 레벨로 비행사(de-asserting)하는 것에 의해 미리 결정된 임계값이 인에이블될 수 있다. 도 11의 실시예에서, RAMP 입력(143)은 모든 컬럼-특화된 ADC들에 공통적이며, 따라서 각 ADC에 동일한 Vramp 전압을 제공한다. 그러나, 다른 실시예들에서, 상이한 Vramp 값들은 개별적인 ADC-특화된 램프 입력들을 통해 2개 이상의 ADC들에 적용될 수 있다. 또한, 특정 실시예들에서, Vramp 임계값은 Vramp 임계값이 원하는 대로 가변적일 수 있도록 허용하는 프로그램 가능한 파라미터(programmable parameter)일 수 있다. Vramp 임계 신호가 인에이블된 후, 픽셀-특화된 ADC들은, 도 7b 내 카운터(181)와 같은 픽셀-특화된 ADC들의 이진 카운터들이 시작하기 전에 대응하는 픽셀의 "ON 이벤트"를 기다릴 수 있다.
3D-깊이 측정 모드에서, 각 ADC는, 2D 이미징 모드의 경우 다중-비트 출력과는 대조적으로, 단일-비트 출력(이진수 "0" 또는 "1"을 나타냄)을 생성할 수 있다. 따라서, RGB 센서의 경우, RGB 픽셀 어레이(42) 내 픽셀에 의해 수신된 임의의 컬러 정보는 3D 모드에서 효과적으로 무시될 수 있다. 픽셀에 의해 검출된 어떠한 입사광도 없는 경우, 대응하는 ADCOUT 신호는 이진수 "0" 값으로 유지될 수 있다. 따라서, 어떠한 ON 이벤트들도 없는 컬럼들은 컬럼들 각각의 ADCOUT 신호들에 대한 디지털 값 "0"(또는 다른 알려진 수)을 계속해서 가질 수 있다. 앞서 언급한 바와 같이, 픽셀이 입사광에 부딪칠 때, 픽셀의 PIXOUT 라인은, 도 11의 PIXOUT1 및 PIXOUT2 신호들의 하향 경사들(downward slope)로 표시된 바와 같이, 리셋 레벨로부터 낮아지기 시작할 수 있다. 전하를 먼저 수신하는 픽셀에서부터 픽셀 전하가 독출된다고 가정하면, 이러한 독출은 로우의 가장 오른쪽 픽셀에서 시작하여 가장 왼쪽 픽셀에서 끝날 수 있다. 예를 들어, 도 5에 도시된 바와 같이, t1 은 가장 빠른 시점이고, t4 는 가장 오래된 시점이다. 따라서, 도 11의 실시예에서, 픽셀(108)의 출력(PIXOUT1)은 픽셀(107)의 출력(PIXOUT2) 이전에 독출될 수 있다. 점진적으로 하강하는 PIXOUT1이 Vramp 임계값(143)에 도달하자마자 단일-비트 ADCOUT1이 이진수 "0"에서 이진수 "1"로 전환(flip)될 수 있다.
그러나, 비트 "1"의 출력 대신, 대응하는 ADC는, 비트가 플립될 때의("0"에서 "1"로) 시간을 기록할 수 있다. 즉, 픽셀(108)과 연관된 ADC는 ADCOUT1의 "업 카운트(up count)" 필드(202)에 의해서 표시된 바와 같이, ADC에서 이진 카운터를 시작하는 것에 의해 시간-대-디지털 변환기로서 기능할 수 있다. "업 카운트" 기간 동안, ADC 내의 카운터는 CLK 신호(미 도시됨) 내의 클록 펄스들을 카운트할 수 있으며, CLK신호는은 예컨대, 도 7b에 도시 된 바와 같이, 각 ADC에 인가될 수 있다. 카운트 된 클럭 펄스들은 도 11의 Counter Clock 1 신호(204)로 도시되고, 카운트된 값("업 카운트" 필드 내)은 픽셀(108)에 대한 픽셀-특화된 출력으로서 제공될 수 있다. 도 11의 Counter Clock 2 신호(205)로 도시된 것처럼, 픽셀(107)에 의해 수집된 전하에 대해 픽셀(107)과 연관된 ADC에서 유사한 카운팅이 발생할 수 있다. 픽셀-특화된 카운트된 값("업 카운트" 필드(207) 내)은 픽셀(107)에 대한 픽셀-특화된 출력에 대한 타임스탬프로서 각 ADC에 의해 제공될 수 있다. 모든 ADC-기반 카운터들은, 기 결정된 시간 기간이 경과 한 후에 램프 신호(143)가 다시 행사될 때와 같은 시점에 동시에 중지할 수 있다. 도 11에서, 픽셀 전하 집적을 위한 미리 결정된 시간 기간의 종결을 표시하는 램프 신호(143)의 전환(transition)은 라인(210)으로 표시된다.
타임스탬프 값들이 픽셀-특화된 출력들에 대해 생성된 후, 픽셀-특화된 출력들에 대한 그레이스케일 값들이 생성될 수 있다. TX 신호(132)는 비-행사될 수 있고, ADC_RST 신호(192)는 ADC들을 리셋하기 위해 다시 잠시 행사될 수 있다. 예를 들어, PIXOUT1 신호(119) 및 PIXOUT2 신호(118)는 예를 들어 ADC들의 입력에 인가된 채로 유지되고, ADC_RST 신호(192)가 비-행사된 후 RAMP 신호(143)는 미리 결정된 비율로 레벨을 변화시키며, ADC들은 CLK 신호(미 도시됨)에서 클록 펄스들을 카운트할 수 있으며, CLK 신호는 예컨대, 도 7b에 도시된 것처럼, 각 ADC에 인가될 수 있다. RAMP 신호(143)가, 예컨대, 1104에서 PIXOUT1 신호(119)와 1105에서 PIXOUT2 신호(118)의 레벨들과 동일한 지점에서, 대응하는 ADC들은 클럭 펄스들의 카운팅을 중지한다. 도 11에 도시된 바와 같이, 필드(1120) 및 필드(1121) 내 카운트 값들 각각은 PIXOUT1 신호(119) 및 PIXOUT2 신호(118)의 그레이-스케일 값을 나타낸다. 1131에서, RST 신호(128)는 행사되고, 1132에서 비-행사된 후 PIXOUT1 신호(119) 및 PIXOUT2 신호(118)의 그레이-스케일 값들은 각각 1133 및 1134에서 디지털 숫자들로 변환된다.
상술한 바와 같이, 한 로우 내 모든 픽셀들을 스캐닝한 후, 더블-리드아웃 기술은 다른 로우에서 반복될 수 있으며, 디지털 블록(167)에서 먼저-스캔된(earlier-scanned) 로우로부터의 픽셀-특화된 출력들에 대한 타임스탬프들 및 그레이스케일 값들은 깊이 계산 유닛으로 리드아웃된다.
도 12는 본 발명의 일 실시예에 따른 도 1 및 도 2의 시스템(15)의 전체 레이아웃을 도시한다. 따라서, 참조 및 설명의 용이함을 위해, 공통 시스템 컴포넌트들/유닛들에 대한 도 1, 도 2 도 12에서 동일한 참조 부호들이 사용된다.
앞서 설명된 바와 같이, 이미징 모듈(17)은 도 2, 도 6, 도 7a 및 도 7b에 도시된 본 발명의 신규한 특징들에 따르는 2D 이미징, 3D-깊이 측정들 및 타임스탬프 보정을 수행하기 위한 예시적 실시예들의 하드웨어를 포함할 수 있다. 프로세서(19)는 다수의 외부 장치들과 인터페이스 하도록 구성될 수 있다. 일 실시예에서, 이미징 모듈(17)은 추가 프로세싱을 위해 프로세서(19)로 데이터 입력들(즉, 도 7a의 처리된 데이터 출력(170)과 같은 픽셀 이벤트 데이터의 형태로)을 제공하는 입력 장치로서 기능할 수 있다. 또한 프로세서(19)는 시스템(15)의 일부일 수 있는 다른 입력 장치들(미 도시됨)로부터의 입력들을 수신할 수 있다. 이러한 입력 장치들의 몇몇 예들은 컴퓨터 키보드, 터치 패드, 터치-스크린, 조이스틱, 물리적 또는 가상 "클릭 가능한 버튼" 및/또는 컴퓨터 마우스/포인팅 장치를 포함한다. 도 12에서, 프로세서(19)는 시스템 메모리(20), 주변 스토리지 유닛(274), 하나 이상의 출력 장치들(276) 및 네트워크 인터페이스 유닛(278)에 결합된 것으로 도시되어 있다. 도 12에서, 디스플레이 유닛이 출력 장치(276)로서 도시되어 있다. 일부 실시예들에서, 시스템(15)은 도시된 장치들의 하나 이상의 인스턴스(instance)를 포함할 수 있다. 시스템(15)의 몇몇 예들은 컴퓨터 시스템(데스크탑 또는 랩톱), 태블릿 컴퓨터, 모바일 장치, 셀룰러 폰, 비디오 게임 유닛 또는 콘솔, M2M(Machine-to-Machine) 통신 유닛, 로봇, 자동차, 가상 현실 장비, 상태-비저장(stateless) "thin" 클라이언트 시스템, 차량 대쉬-캠(dash-cam) 또는 후사 카메라 시스템, 또는 임의의 다른 유형의 컴퓨팅 또는 데이터 프로세싱 장치일 수 있으나, 이에 한정되지 않는다. 다양한 실시예들에서, 도 12에 도시된 모든 구성 요소들은 단일 하우징 내에 수납될 수 있다. 따라서, 시스템(15)은 독립형(standalone) 시스템 또는 임의의 다른 적합한 형태 요소로 구성될 수 있다. 몇몇 실시예들에서, 시스템(15)은 서버 시스템 대신 클라이언트 시스템으로 구성될 수 있다.
특정 실시예들에서, 시스템(15)은 (예를 들어, 분산 프로세싱 구성에서) 하나 이상의 프로세서를 포함할 수 있다. 시스템(15)이 멀티프로세서 시스템인 경우, 프로세서(19)의 인스턴스는 하나 이상일 수 있거나 또는 프로세서들의 인터페이스들(미 도시됨) 각각을 통해 프로세서(19)에 결합된 다중 프로세서들일 수 있다. 프로세서(19)는 SoC(System on Chip)일 수 있고 그리고/또는 하나 이상의 CPUs(Central Processing Units)를 포함 할 수 있다.
상술한 바와 같이, 시스템 메모리(20)는 DRAM, SRAM, PRAM, RRAM, CBRAM, MRAM, STT-MRAM 등과 같은 임의의 반도체-기반 저장 시스템일 수 있다. 일부 실시예들에서, 메모리 유닛(20)은 하나 이상의 비(non)-3D 메모리 모듈들과 함께 적어도 하나의 3DS 메모리 모듈을 포함할 수 있다. 비-3D 메모리는 더블 데이터 레이트(Double Data Rate) 또는 더블 데이터 레이트 2, 3 또는 4 동기식 DRAM(DDR/DDR2/DDR3/DDR4 SDRAM) 또는 Rambus®DRAM, 플래시 메모리, 다양한 타입들의 ROM(Read Only Memory) 등을 포함할 수 있다. 또한, 일부 실시예들에서, 시스템 메모리(20)는 단일 타입의 메모리와는 반대로 다수의 상이한 타입들의 반도체 메모리들을 포함할 수 있다. 다른 실시예들에서, 시스템 메모리(20)는 비-일시적인 데이터 저장 매체일 수 있다.
다양한 실시예들에서, 주변 스토리지 유닛(274)은 디스크 어레이들(RAID(Redundant Array of Independent Disks) 구성에 적합할 수 있는) 또는 SANs(Storage Area Networks))과 같은 더 복잡한 스토리지 장치들/시스템들을 포함할 수 있고, 주변 스토리지 유닛(274)은 SCSI(Small Computer System Interface) 인터페이스, 파이버 채널(Fibre Channel) 인터페이스, Firewire®(IEEE 1394) 인터페이스, PCI Express™(Peripheral Component Interface Express) 표준 기반 인터페이스, USB(Universal Serial Bus) 프로토콜 기반 인터페이스 또는 다른 적절한 인터페이스와 같은 표준 주변 인터페이스를 통해 프로세서(19)와 결합될 수 있다.
디스플레이 유닛(276)은 출력 장치의 예시일 수 있다. 출력 장치의 다른 예들은 그래픽스들/디스플레이 장치, 컴퓨터 스크린, 알람 시스템, CAD/CAM(Computer Aided Design/Computer Aided Machining) 시스템, 비디오 게임 스테이션, 스마트폰 디스플레이 스크린 또는 임의의 다른 타입의 데이터 출력 장치를 포함한다. 일부 실시예들에서, 이미징 모듈(17)과 같은 입력 장치(들), 디스플레이 유닛(276)과 같은 출력 장치(들)은 I/O 또는 주변 인터페이스(들)을 통해 프로세서(19)와 결합될 수 있다.
일 실시예에서, 네트워크 인터페이스(278)는 프로세서(19)와 통신하여 시스템(15)이 네트워크(미 도시됨)에 연결될 수 있게 한다. 다른 실시예에서, 네트워크 인터페이스(278)는 완전히 없을 수 있다. 네트워크 인터페이스(278)는 시스템(15)을 유선 또는 무선 중 어느 것으로 네트워크에 연결하기 위한 임의의 적합한 장치, 매체 및/또는 프로토콜 컨텐츠(content)를 포함할 수 있다. 다양한 실시예들에서, 네트워크는 LAN(Local Area Networks), WAN(Wide Area Networks), 유선 또는 무선 이더넷(Ethernet), 원거리 통신 네트워크들(telecommunication networks), 또는 다른 적절한 타입들의 네트워크들을 포함할 수 있다.
시스템(15)은 도 12에 도시된 다양한 시스템 구성 요소들로 AC 전력을 제공하기 위한 온-보드(on-board) 전력 공급 유닛(280)을 포함할 수 있다. 전원 공급 유닛(280)은 배터리들을 포함할 수 있고, AC 전원 콘센트에 연결될 수도 있다. 일 실시예에서, 전력 공급 유닛(280)은 태양 에너지 또는 다른 재생 에너지를 전력으로 변환할 수 있다.
일 실시예에서, 이미징 모듈(17)은 임의의 퍼스널 컴퓨터(PC) 또는 랩탑에 플러그되는 USB(Universal Serial Bus) 2.0 또는 USB 3.0과 같은 고속 인터페이스와 함께 집적될 수 있다. 시스템 메모리(20) 또는 CD/DVD와 같은 주변 데이터 스토리지 유닛과 같은 비-일시적인, 컴퓨터-판독가능 데이터 스토리지 매체는 프로그램 코드 또는 소프트웨어를 저장할 수 있다. 프로세서(19) 및/또는 이미징 모듈(17) 내 디지털 프로세싱 블록(167)(도 7a)은 프로그램 코드를 실행하기 위해 구성될 수 있고, 장치(15)는 앞서 설명된 바와 같이, 2D 이미징 또는 3D-깊이 측정들(및 관련된 타임스탬프 보정)을 수행하기 위해, 도 1 내지 도 11을 참조하여 설명된 동작들과 같은, 동작될 수 있다. 예를 들어, 특정 실시예들에서, 프로그램 코드의 실행시, 프로세서(19) 및/또는 디지털 블록(167)은 타임스탬프 교정 유닛(171) 및 판독 체인(175)과 같은 관련 회로 컴포넌트를 이들 구성 요소의 도움으로 본 개시의 교시에 따라 타임 스탬프 교정을 적절히 수행한다. 프로그램 코드 또는 소프트웨어는 프로세서(19) 및/또는 디지털 블록(167)과 같은 적절한 프로세싱 엔티티(entity)에 의해 실행되는 독점 소프트웨어 또는 공개 소스 소프트웨어일 수 있으며, 프로세싱 엔티티가 타임 스탬프 교정을 수행하고, 정확한 타이밍을 사용하여 픽셀 이벤트들을 캡쳐하고, 처리하고, 다양한 포맷들로 렌더링하고, 2D 또는 3D 포맷들로 디스플레이할 수 있게 할 수 있다. 앞서 설명한 바와 같이, 특정 실시예들에서, 이미징 모듈(17) 내 디지털 프로세싱 블록(167)은 픽셀 출력 데이터가 추가 프로세싱 및 디스플레이를 위해 프로세서(19)로 전송되기 전에 픽셀 이벤트 신호들의 프로세싱의 일부를 수행할 수 있다. 다른 실시예들에서, 프로세서(19)는, 디지털 블록(167)의 기능을 수행할 수도 있으며, 이 경우 디지털 블록(167)은 이미징 모듈(17)의 일부가 아닐 수도 있다.
전술한 설명에서, 개시된 기술의 완전한 이해를 제공하기 위해 특정 세부 사항들(특정 아키텍처들, 파형들, 인터페이스들, 기술들 등)이 설명되나, 이에 제한 하려는 것은 아니다. 그러나, 개시된 기술은 이러한 특정 세부 사항들에서 벗어나는 다른 실시예들에서 실시 될 수 있음은 당업자에게 명백할 것이다. 즉, 당업자는 여기에 명시적으로 기술되거나 도시되지는 않았지만 개시된 기술의 원리를 구현하는 다양한 배열들을 고안할 수 있을 것이다. 다른 경우들에서, 잘 알려진 장치들, 회로들 및 방법들에 대한 상세한 설명들은 불필요한 세부 사항으로 개시된 기술의 설명을 모호하게 하지 않도록 생략되었다. 개시된 기술의 원리들, 양상들 및 실시예들뿐만 아니라 그의 특정 예들 기재한 본 명세서의 모든 설명들은 그것의 구조적 및 기능적 등가물을 포함하도록 의도된다. 또한 이러한 등가물에는 구조에 관계없이 동일한 기능을 수행하는 개발된 요소와 같이 미래에 개발되는 등가물뿐만 아니라 현재 알려진 등가물도 포함된다.
따라서, 예를 들어 본 명세서의 블록도(예컨대, 도 1 및 도 2)의 블록도)는 기술의 원리를 구현하는 예시적인 회로 또는 다른 기능적 유닛의 개념적 관점을 나타낼 수 있음이 당업자에 의해 인식될 것이다. 유사하게, 도 3 및 도 10의 플로우차트는, 프로세서(예를 들어, 도 12의 프로세서(19) 및/또는 도 7a의 디지털 블록(167))에 의해 실질적으로 수행될 수 있는 다양한 프로세스들을 나타낸다.
이러한 프로세서는, 예를 들어, 범용 프로세서, 특수 목적 프로세서, 통상형의(conventional) 프로세서, DSP(digital signal processor), 복수의 마이크로 프로세서들, DSP 코어와 관련된 하나 이상의 마이크로 프로세서들, ASICs(Application Specific Integrated Circuits), FPGAs(Field Programmable Gate Arrays) 회로들, 임의의 다른 유형의 집적 회로(IC) 및/또는 스테이트 머신(state machine)을 포함할 수 있다. 또한 도 1 내지 도 12와 관련해서 설명된 일부 또는 모든 기능들은 하드웨어 및/또는 소프트웨어에서 그러한 프로세서에 의해 제공될 수 있다.
특정 발명의 양상들이 소프트웨어-기반 프로세싱을 필요로 할 때, 그러한 소프트웨어 또는 프로그램 코드는 컴퓨터-판독 가능 데이터 저장 매체에 상주할 수 있다. 앞서 언급한 바와 같이, 이러한 데이터 저장 매체는 주변 스토리지(274)의 일부이거나, 이미지 센서 유닛(24)의 내부 메모리(20) 또는 임의의 내부 메모리(미 도시됨)의 일부 일 수 있거나, 프로세서(19)의 내부 메모리(미 도시됨)일 수 있다. 일 실시예에서, 프로세서(19) 또는 디지털 블록(176)은 소프트웨어-기판 프로세싱을 수행하기 위해 그러한 매체 상에 저장된 명령들을 실행할 수 있다. 컴퓨터-판독 가능 스토리지 매체의 예들은 ROM, RAM, 디지털 레지스터, 캐시 메모리, 반도체 메모리 장치들, 내부 하드 디스크들, 자기 테이프들 및 이동식 디스크들과 같은 자기 매체, 광-자기 미디어 및 CD-ROM 디스크들 및 DVD들과 같은 광학 미디어를 포함하나, 이에 제한되지 않는다.
본 발명의 진보적인 양상들에 따른 이미징 모듈을 포함하는 이미징 모듈(170) 또는 시스템(15)의 다른 실시예들은, 상술한 기능성 중 임의의 것 및/또는 본 발명의 교시들에 따른 솔루션을 지원하기 위해 필요한 임의의 기능성을 포함하는, 추가 기능성을 제공하기 위해 추가적인 구성요소들을 포함할 수 있다. 비록　특징들 및 엘리먼트들이 특정 조합들로 설명되었지만, 각 특징 또는 엘리먼트는 다른 특징들 및 엘리먼트들 없이 단독으로 또는 다른 특징들을 갖거나 또는 갖지 않는 다양한 조합들로 사용될 수 있다. 전술한 바와 같이, 본 명세서에서 논의 된 다양한 2D- 및 3D-이미징 기능들은 하드웨어 (회로 하드웨어와 같은) 및/또는 컴퓨터-판독 가능 데이터 스토리지 매체(앞서 언급된) 상에 저장된 코드화된 명령들 또는 마이크로코드의 형태로 소프트웨어/펌웨어를 실행할 수 있는 하드웨어를 사용하여 제공될 수 있다. 따라서, 그러한 기능들 및 예시된 기능 블록들은 하드웨어-구현된 및/또는 컴퓨터-구현된 그리고 그러한 기계-구현된 것들 중 중 하나로 이해되어야 한다.
당업자가 알 수 있는 바와 같이, 본 명세서에 설명된 혁신적인 개념들은 광범위한 애플리케이션들에 걸쳐 변형 및 변경될 수 있다. 따라서, 특허 대상의 범위는 상술한 특정 예시적인 교시들 중 어느 것에도 한정되어서는 안되며, 이하 청구 범위에 의해 정의된다.
15: 장치 17:이미징 모듈
19: 프로세서 20: 메모리
22: 광원 24: 이미지 센서 유닛

Claims (10)

  1. 광원을 사용하여 스캐닝 라인을 따라 객체의 1-차원 포인트 스캔을 수행하는 단계;
    상기 포인트 스캔은 상기 객체의 표면 상에 광 스폿들의 시퀀스를 투영하고;
    이미지 평면을 형성하는 2-차원 어레이로 배열된 복수의 픽셀들을 포함하는 이미지 센서 내 픽셀들의 로우를 선택하는 단계;
    상기 선택된 픽셀들의 로우는 상기 이미지 평면 상의 상기 스캐닝 라인의 에피폴라 라인의 적어도 일부를 형성하고;
    상기 광 스폿들의 시퀀스 내 광 스폿에 대응하는 상기 선택된 로우 내의 픽셀의 적어도 하나의 픽셀-특화된 출력을 생성하는 단계;
    상기 광 스폿에 대응하는 상기 픽셀-특화된 출력이 미리 결정된 임계값을 초과하는 경우, 상기 광 스폿에 대응하는 각 픽셀-특화된 출력과 연관된 타임스탬프 값을 생성하는 단계;
    상기 광 스폿에 대응하는 각 픽셀-특화된 출력의 그레이-레벨 강도를 나타내는 그레이스케일 값을 생성하는 단계;
    상기 광 스폿에 대한 타임스탬프 값을 결정하는 단계; 및
    상기 광 스폿에 대해 상기 결정된 타임스탬프 값 및 상기 광 스폿을 투영하기 위해 상기 광원에 의해 사용되는 스캔 각도에 근거해서 상기 객체의 상기 표면 상의 상기 광 스폿까지의 거리를 결정하는 단계를 포함하되,
    상기 광 스폿에 대한 상기 타임스탬프 결정 단계에서,
    적어도 2개 이상의 픽셀-특화된 출력들이 상기 광 스폿에 대응하고, 그리고 적어도 하나의 픽셀-특화된 출력이 상기 미리 결정된 임계값을 초과하는 경우, 상기 타임스탬프 값은 상기 광 스폿에 대응하는 가장 큰 그레이-레벨 강도를 갖는 픽셀-특화된 출력에 대응하고, 또는
    픽셀-특화된 출력이 상기 광 스폿에 대응하고, 그리고 상기 광 스폿에 대한 타임스탬프가 없거나 또는 이상값 타임스탬프가 생성되는 경우, 상기 타임스탬프 값은 상기 광 스폿과 이웃하는 상기 광 스폿들의 시퀀스 내의 광 스폿들에 대응하는 픽셀-특화된 출력들과 연관된 타임스탬프들에 근거하는 것을 특징으로 하는 방법.
  2. 제 1 항에 있어서,
    상기 광 스폿에 대한 상기 타임스탬프 값을 판별하는 단계는
    오직 하나의 픽셀-특화된 출력이 상기 광 스폿에 대응하고, 상기 광 스폿에 대한 타임스탬프가 없거나 또는 이상값 타임스탬프가 생성된 경우, 상기 광 스폿과 이웃하는 광 스폿들의 시퀀스 내의 광 스폿들에 대응하는 픽셀-특화된 출력들과 연관된 보간 타임 스탬프들에 근거해서 상기 광 스폿에 대한 상기 타임스탬프 값을 결정하는 단계를 더 포함하는 것을 특징으로 하는 방법.
  3. 제 2 항에 있어서,
    상기 광 스폿에 대한 타임 스탬프 값을 결정하는 단계는,
    오직 하나의 픽셀-특화된 출력 만이 상기 광 스폿에 대응하고, 상기 픽셀-특화된 출력이 상기 미리 결정된 임계값을 초과하는 경우, 상기 광 스폿에 대응하는 픽셀-특화된 출력과 연관된 타임스탬프 값에 근거해서 상기 광 스폿에 대한 상기 타임스탬프 값을 결정하는 단계를 더 포함하는 것을 특징으로 하는 방법.
  4. 제 1 항에 있어서,
    상기 선택된 픽셀들의 로우 내의 적어도 하나의 픽셀은 4 트랜지스터(4T) 픽셀, 3 트랜지스터(3T) 픽셀, 2 트랜지스터(2T) 픽셀, 1 트랜지스터(1T) 픽셀, 공유-트랜지스터 픽셀, 1x2 공유 픽셀, 또는 1x4의 4-공유 픽셀을 포함하는 것을 특징으로 하는 방법.
  5. 제 1 항에 있어서,
    상기 광원은 레이저 광원, 가시 레이저 광원, 점 광원, 근적외선 레이저 광원 또는 단색 조명원을 포함하고, 그리고
    상기 광원은 X-Y 어드레스 가능한 광원인 것을 특징으로 하는 방법.
  6. 제 1 항에 있어서,
    상기 2-차원 픽셀 어레이는 CMOS(Complementary Metal Oxide Semiconductor) 픽셀 어레이를 포함하는 것을 특징으로 하는 방법.
  7. 제 1 항에 있어서,
    각 광 스폿을 검출하는 단계를 더 포함하고,
    상기 각 광 스폿을 검출하는 단계는,
    상기 객체 상의 하나 이상의 광 스폿들의 투영으로부터 반사된 광을 상기 픽셀들의 로우 내 픽셀에서 수신하는 단계를 포함하는 것을 특징으로 하는 방법.
  8. 제 1 항에 있어서,
    상기 대응하는 광 스폿까지의 거리를 결정하는 단계는,
    상기 광원의 스캔 각도, 상기 광원과 상기 이미지 센서와 관련된 수집 광학계 사이의 오프셋 거리, 상기 수집 광학계와 2-차원 어레이 사이의 거리 및 상기 수집 광학계와 대응하는 광 스폿을 검출하는 상기 픽셀 사이의 오프셋 거리를 사용하여 삼각 측량-기반 계산을 수행하는 단계를 포함하는 것을 특징으로 하는 방법.
  9. 스캐닝 라인을 따라 객체의 1-차원 포인트 스캔을 수행하는 광원; 및
    이미지 센서 유닛을 포함하되,
    상기 포인트 스캔은 상기 객체의 표면 상에 광 스폿들의 시퀀스를 투영하고;
    상기 이미지 센서 유닛은,
    이미지 평면을 형성하는 2-차원 픽셀 어레이 내 배열된 복수의 픽셀들, 상기 스캐닝 라인의 에피폴라 라인의 적어도 일부를 형성하는 상기 2-차원 픽셀 어레이 내 픽셀들의 로우, 및 광 스폿들의 시퀀스 내 광 스폿에 대응하는 픽셀-특화된 출력을 생성하는 상기 픽셀들의 로우 내 각 픽셀;
    상기 픽셀-특화된 출력이 미리 결정된 임계값을 초과하는 경우, 상기 광 스폿에 대응하는 각 픽셀-특화된 출력과 연관된 타임스탬프 값을 생성하는 타임스탬프 발생기;
    상기 광 스폿에 대응하는 각 픽셀-특화된 출력의 그레이-레벨 강도를 나타내는 그레이스케일 값을 생성하는 그레이-스케일 발생기;
    상기 광 스폿에 대한 타임스탬프 값을 판별하는 타임스탬프 판별기; 및
    상기 광 스폿에 대해 결정된 타임스탬프 값 및 상기 광 스폿을 투영하기 위해 상기 광원에 의해 사용되는 스캔 각도에 근거해서 상기 객체의 표면 상의 상기 광 스폿까지의 거리를 결정하는 거리 판별기를 포함하되,
    2개 이상의 픽셀-특화된 출력들이 상기 광 스폿에 대응하고, 적어도 하나의 픽셀-특화된 출력이 상기 미리 결정된 임계값을 초과하는 경우, 상기 타임스탬프 값은 상기 광 스폿에 대응하는 최대 그레이-스케일 값을 갖는 픽셀-특화된 출력에 대응하고, 그리고
    픽셀-특화된 출력이 상기 광 스폿에 대응하고, 그리고 상기 광 스폿에 대한 타임스탬프가 없거나 또는 이상값 타임스탬프가 생성되는 경우, 상기 타임스탬프 값은 상기 광 스폿과 이웃하는 광 스폿들의 시퀀스 내의 광 스폿들에 대응하는 픽셀-특화된 출력들과 연관된 타임스탬프들에 근거하는 것을 특징으로 하는 이미징 유닛.
  10. 이미지 평면을 형성하는 픽셀들의 복수의 로우들을 포함하는 2-차원 픽셀 어레이;
    상기 픽셀들의 적어도 하나의 로우는 객체의 표면 상에 스캐닝 라인으로 투영된 광 스폿의 시퀀스 내 대응하는 광 스폿으로 픽셀-특화된 출력을 출력하고, 상기 적어도 하나의 로우는 스캐닝 라인의 에피폴라 라인의 적어도 일부를 형성하고,
    상기 픽셀-특화된 출력이 미리 결정된 임계값을 초과하는 경우, 상기 광 스폿에 대응하는 각 픽셀-특화된 출력과 연관된 타임스탬프 값을 생성하는 타임스탬프 발생기;
    상기 광 스폿에 대응하는 각 픽셀-특화된 출력의 그레이-레벨 강도를 나타내는 그레이스케일 값을 생성하는 그레이-스케일 발생기;
    상기 광 스폿에 대한 타임스탬프 값을 판별하는 타임스탬프 판별기; 및
    상기 광 스폿에 대해 결정된 타임스탬프 값 및 상기 광 스폿을 투영하기 위해 광원에 의해 사용되는 스캔 각도에 근거해서 상기 객체의 표면 상의 상기 광 스폿까지의 거리를 결정하는 거리 판별기를 포함하되,
    오직 하나의 픽셀-특화된 출력이 상기 광 스폿에 대응하고, 상기 픽셀-특화된 출력이 상기 미리 결정된 임계값을 초과하는 경우, 상기 타임스탬프 값은 상기 광 스폿에 대응하는 픽셀-특정 출력과 연관되고,
    2개 이상의 픽셀-특화된 출력들이 상기 광 스폿에 대응하고, 적어도 하나의 픽셀-특화된 출력이 상기 미리 결정된 임계값을 초과하는 경우, 상기 타임스탬프 값은 상기 광 스폿에 대응하는 가장 큰 그레이-레벨 강도를 포함하는 픽셀-특정 출력에 대응하고, 그리고
    픽셀-특화된 출력이 상기 광 스폿에 대응하고, 그리고 상기 광 스폿에 대한 타임스탬프가 없거나 또는 이상값 타임스탬프가 생성되는 경우, 상기 타임스탬프 값은 상기 광 스폿과 이웃하는 광 스폿들의 시퀀스 내의 광 스폿들에 대응하는 픽셀-특화된 출력들과 연관된 타임스탬프들에 근거하는 것을 특징으로 하는 이미지 센서 유닛.

KR1020170053098A 2016-06-03 2017-04-25 에피폴라 라인 레이저 포인트 스캐닝을 갖는 3차원 카메라를 위한 더블 리드아웃을 갖는 타임스탬프 에러 정정 KR102295485B1 (ko)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201662345734P 2016-06-03 2016-06-03
US62/345,734 2016-06-03
US15/225,816 US9967539B2 (en) 2016-06-03 2016-08-01 Timestamp error correction with double readout for the 3D camera with epipolar line laser point scanning
US15/225,816 2016-08-01

Publications (2)

Publication Number Publication Date
KR20170137615A true KR20170137615A (ko) 2017-12-13
KR102295485B1 KR102295485B1 (ko) 2021-08-31

Family

ID=60483960

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170053098A KR102295485B1 (ko) 2016-06-03 2017-04-25 에피폴라 라인 레이저 포인트 스캐닝을 갖는 3차원 카메라를 위한 더블 리드아웃을 갖는 타임스탬프 에러 정정

Country Status (2)

Country Link
US (1) US9967539B2 (ko)
KR (1) KR102295485B1 (ko)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11425357B2 (en) * 2015-02-13 2022-08-23 Carnegie Mellon University Method for epipolar time of flight imaging
US11972586B2 (en) 2015-02-13 2024-04-30 Carnegie Mellon University Agile depth sensing using triangulation light curtains
US11747135B2 (en) * 2015-02-13 2023-09-05 Carnegie Mellon University Energy optimized imaging system with synchronized dynamic control of directable beam light source and reconfigurably masked photo-sensor
US11493634B2 (en) 2015-02-13 2022-11-08 Carnegie Mellon University Programmable light curtains
US10282902B1 (en) * 2016-06-24 2019-05-07 Amazon Technologies, Inc. Real-time textured 3D models
US10740431B2 (en) 2017-11-13 2020-08-11 Samsung Electronics Co., Ltd Apparatus and method of five dimensional (5D) video stabilization with camera and gyroscope fusion
TWI748460B (zh) * 2019-06-21 2021-12-01 大陸商廣州印芯半導體技術有限公司 飛時測距裝置及飛時測距方法
CN110191287B (zh) * 2019-06-28 2021-05-11 Oppo广东移动通信有限公司 对焦方法和装置、电子设备、计算机可读存储介质
CN112040091B (zh) 2020-09-01 2023-07-21 先临三维科技股份有限公司 相机增益的调整方法和装置、扫描系统
US12003894B1 (en) * 2020-12-29 2024-06-04 Waymo Llc Systems, methods, and apparatus for event detection
CN112666564B (zh) * 2021-03-16 2021-07-06 瓴道(上海)机器人科技有限公司 充电桩的定位方法、装置及设备、存储介质
CN115685247B (zh) * 2022-10-31 2024-05-31 哈尔滨工业大学 单行条纹图像中光斑质心位置的获得方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20070039641A (ko) * 2005-10-10 2007-04-13 주식회사 팬택 하나의 카메라를 이용하여 3차원 이미지를 생성하는 방법및 그 장치
KR20120023247A (ko) * 2010-09-01 2012-03-13 주식회사 팬택 3ｄ 객체 표시가 가능한 휴대용 장치 및 그 방법
KR20120088431A (ko) * 2011-01-31 2012-08-08 삼성전자주식회사 파노라마 이미지를 촬영하는 촬영 기기 및 그 파노라마 촬영 방법
KR20130134103A (ko) * 2012-05-30 2013-12-10 삼성전자주식회사 단말기의 이미지 제공 장치 및 방법

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100302365A1 (en) 2009-05-29 2010-12-02 Microsoft Corporation Depth Image Noise Reduction
US8687060B1 (en) * 2009-12-28 2014-04-01 Cognex Corporation System and method for providing distance-based pulses relative to motion of a surface scanned by a vision system
US9552206B2 (en) * 2010-11-18 2017-01-24 Texas Instruments Incorporated Integrated circuit with control node circuitry and processing circuitry
WO2013128264A2 (en) * 2012-03-01 2013-09-06 Trimble A.B. Methods and apparatus for point cloud data management
US9514522B2 (en) 2012-08-24 2016-12-06 Microsoft Technology Licensing, Llc Depth data processing and compression
US20150294473A1 (en) 2012-11-12 2015-10-15 Telefonaktiebolaget L M Ericsson (Publ) Processing of Depth Images
US20160309135A1 (en) * 2015-04-20 2016-10-20 Ilia Ovsiannikov Concurrent rgbz sensor and system
US10250833B2 (en) * 2015-04-20 2019-04-02 Samsung Electronics Co., Ltd. Timestamp calibration of the 3D camera with epipolar line laser point scanning
US9661308B1 (en) * 2015-04-20 2017-05-23 Samsung Electronics Co., Ltd. Increasing tolerance of sensor-scanner misalignment of the 3D camera with epipolar line laser point scanning
US10531073B2 (en) * 2016-03-17 2020-01-07 Samsung Electronics Co., Ltd. Method and apparatus for automatic calibration of RGBZ sensors utilizing epipolar geometry and scanning beam projector

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20070039641A (ko) * 2005-10-10 2007-04-13 주식회사 팬택 하나의 카메라를 이용하여 3차원 이미지를 생성하는 방법및 그 장치
KR20120023247A (ko) * 2010-09-01 2012-03-13 주식회사 팬택 3ｄ 객체 표시가 가능한 휴대용 장치 및 그 방법
KR20120088431A (ko) * 2011-01-31 2012-08-08 삼성전자주식회사 파노라마 이미지를 촬영하는 촬영 기기 및 그 파노라마 촬영 방법
KR20130134103A (ko) * 2012-05-30 2013-12-10 삼성전자주식회사 단말기의 이미지 제공 장치 및 방법

Also Published As

Publication number Publication date
US9967539B2 (en) 2018-05-08
KR102295485B1 (ko) 2021-08-31
US20170353707A1 (en) 2017-12-07

Similar Documents

Publication Publication Date Title
US11378390B2 (en) CMOS image sensor for 2D imaging and depth measurement with ambient light rejection
US10893227B2 (en) Timestamp calibration of the 3D camera with epipolar line laser point scanning
US9661308B1 (en) Increasing tolerance of sensor-scanner misalignment of the 3D camera with epipolar line laser point scanning
US11924545B2 (en) Concurrent RGBZ sensor and system
KR102295485B1 (ko) 에피폴라 라인 레이저 포인트 스캐닝을 갖는 3차원 카메라를 위한 더블 리드아웃을 갖는 타임스탬프 에러 정정
US11725933B2 (en) CMOS image sensor for RGB imaging and depth measurement with laser sheet scan
CN106067968B (zh) 图像传感器单元和系统
KR102473735B1 (ko) 이미징 장치의 동작 방법
US11736832B2 (en) Timestamp calibration of the 3D camera with epipolar line laser point scanning

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant