KR20160124669A - 주변광을 차단하는 3차원 이미징 및 깊이 측정을 위한 씨모스 이미지 센서 - Google Patents

주변광을 차단하는 3차원 이미징 및 깊이 측정을 위한 씨모스 이미지 센서 Download PDF

Info

Publication number
KR20160124669A
KR20160124669A KR1020160041226A KR20160041226A KR20160124669A KR 20160124669 A KR20160124669 A KR 20160124669A KR 1020160041226 A KR1020160041226 A KR 1020160041226A KR 20160041226 A KR20160041226 A KR 20160041226A KR 20160124669 A KR20160124669 A KR 20160124669A
Authority
KR
South Korea
Prior art keywords
pixel
dimensional
pixels
image sensor
row
Prior art date
Application number
KR1020160041226A
Other languages
English (en)
Other versions
KR102471148B1 (ko
Inventor
이빙 미쉘 왕
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Publication of KR20160124669A publication Critical patent/KR20160124669A/ko
Application granted granted Critical
Publication of KR102471148B1 publication Critical patent/KR102471148B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/254—Image signal generators using stereoscopic image cameras in combination with electromagnetic radiation sources for illuminating objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/22—Measuring arrangements characterised by the use of optical techniques for measuring depth
    • H04N13/0253—
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2518—Projection by scanning of the object
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00—Special procedures for taking photographs; Apparatus therefor
    • G03B15/02—Illuminating scene
    • H04N13/0022—
    • H04N13/0271—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/75—Circuitry for providing, modifying or processing image signals from the pixel array
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • H04N5/374—
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B17/00—Details of cameras or camera bodies; Accessories therefor
    • G03B17/48—Details of cameras or camera bodies; Accessories therefor adapted for combination with other photographic or optical apparatus
    • G03B17/54—Details of cameras or camera bodies; Accessories therefor adapted for combination with other photographic or optical apparatus with projector
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2213/00—Details of stereoscopic systems
    • H04N2213/003—Aspects relating to the "2D+depth" image format

Abstract

동일한 이미지 센서를 이용하여 3차원 물체의 2차원 이미지 및 3차원 깊이를 측정하는 방법 및 시스템이 제공된다. 레이저는 광점들로 물체의 표면을 포인트 스캔하며, 광점들은 이미지 센서의 픽셀 어레이에 의해 검출되고 삼각 측량을 이용하여 물체의 3차원 깊이 프로파일이 생성된다. 픽셀 어레이의 각 행의 픽셀들은 대응하는 레이저 스캔 라인의 등극선을 형성한다. 타임스탬프를 생성하는 것은 캡처된 광점 및 레이저의 스캔각 사이의 대응 관계를 제공하며, 삼각 측량의 모호성을 제거한다. 이미지 센서의 아날로그 디지털 변환기는 2차원 모드에서 다중 비트 출력을 생성하고, 3차원 모드에서 이진 출력을 생성하여 타임스탬프를 생성한다. 강한 주변광은 이미지 센서를 3차원 선형 모드로부터 3차원 대수 모드로 전환함으로써 차단된다.

Description

주변광을 차단하는 3차원 이미징 및 깊이 측정을 위한 씨모스 이미지 센서{CMOS IMAGE SENSOR FOR 2D IMAGING AND DEPTH MEASUREMENT WITH AMBIENT LIGHT REJECTION}
본 발명은 이미지 센서에 관한 것이다. 더 상세하게는, 본 발명은 주변광을 차단하는 포인트 스캔 기반 3차원 깊이 측정 및 2차원 이미징에 사용되는 CMOS (Complementary Metal Oxide Semiconductor) 이미지 센서에 관한 것이다.
3차원 이미지 시스템은, 예를 들어 산업 생산, 비디오 게임, 컴퓨터 그래픽, 로봇 수술, 소비자 디스플레이, 화상 감시, 3차원 모델링, 부동산 판매 등과 같은 응용들에서 다양하게 사용되고 있으며, 사용 분야 및 빈도가 증가하고 있다.
현존하는 3차원 이미지 기술은, 예를 들어, 비행 시간(TOF, Time-Of-Flight) 기반의 거리 이미지, 다중 시야 시스템, 그리고 구조화된 광(SL, Structured Light) 방법들을 포함할 수 있다.
TOF 방법에서, 3차원 물체까지의 거리는 알려진 광속에 기반하여, 각 이미지의 포인트에서 광 신호가 카메라 및 3차원 물체 사이를 왕복하는 왕복 시간을 측정함으로써 계산된다. TOF 카메라는 각 레이저 또는 광 펄스로 전체 장면(scene)을 캡처하는 스캐너없는(scannerless) 방법을 사용할 수 있다. TOF 방법의 일부 응용들은 실시간으로 거리 이미지들에 기반한 능동 보행자 안전 또는 충돌 전 검출과 같은 고등 자동차 응용을 포함할 수 있으며, 비디오 게임 콘솔로 게임을 하는 동안에 사람의 움직임을 추적하거나, 산업 기계 시야에서 물체를 식별하고 로봇이 컨베이어 벨트 상의 아이템을 찾는 것에 도움을 줄 수 있다.
입체적인 이미지 또는 입체 시야 시스템에서, 수평하게 배치된 두 개의 카메라들이 사용되어, 장면 또는 장면내의 3차원 물체에 대한 상이한 두 개의 시야(또는 이미지들)이 획득될 수 있다. 두 개의 이미지들을 비교함으로써, 3차원 물체의 상대적인 깊이 정보가 획득될 수 있다. 다중 시야(stereo vision)는 로봇 공학과 같은 분야에서 매우 중요하며, 자율 시스템 또는 로봇의 근처의 3차원 물체의 상대적인 위치를 추출할 수 있다. 로봇 공학의 다른 응용들은, 입체적인 깊이 정보를 이용하여 로봇 시스템이 가려진 이미지 구성 요소들을 구별하는 물체 인식을 포함할 수 있다. 물체 인식이 없으면, 하나의 물체가 다른 물체의 앞에 위치하여 다른 물체를 부분적으로 또는 완전히 가리는 경우에, 로봇은 두 개의 분리된 물체들을 구별할 수 없다. 3차원 입체 표시 장치들은 오락 및 자동화 시스템들에서 사용될 수 있다.
SL 방법에서, 물체의 3차원 모양이 투사된 광 패턴들 및 촬영용 카메라를 이용하여 측정될 수 있다. SL 방법에서, 격자들 또는 수평 막대들 또는 평행 줄무늬들과 같은 알려진 광 패턴이 장면 또는 장면내의 3차원 물체에 투사된다. 투사된 패턴은 3차원 물체의 표면에 부딪칠 때에 변형되거나 대체될 수 있다. 이러한 변형으로 인해, SL 시야 시스템은 물체의 깊이 및 표면 정보를 계산할 수 있다. 따라서, 3차원 표면에 협대역 광을 투사하는 것은, 투사기와 다른 시야로부터 왜곡되어 보이는 조명선을 생성할 수 있으며, 조명된 표면 형상의 기하학적 재구성에 사용될 수 있다. SL 기반 3차원 이미지는, 예를 들어 3차원 장면에서 지문의 촬영, 생산 과정에서 구성 요소들의 즉시 검품(inline inspection), 인체 또는 피부 등과 같은 미세 구조들의 형태의 실측을 위한 건강 관리와 같은 다양한 응용들에 사용될 수 있다.
본 발명의 목적은 감소된 공간 및 감소된 비용으로 2차원 이미징 및 3차원 깊이 측정을 수행하는 장치, 시스템 및 방법을 제공하는 데에 있다.
본 발명의 방법은, 주변광에 의해 조명되는 3차원 물체의 2차원 이미지를 2차원 어레이에 배열된 복수의 픽셀들을 갖는 이미지 센서로 캡처하는 단계, 상기 주변광에 더하여 레이저원으로부터의 레이저 광을 이용한 포인트 스캔으로 상기 3차원 물체를 조명하는 단계, 그리고 상기 이미지 센서의 적어도 하나의 행의 픽셀들로 상기 주변광 및 상기 레이저 광에 의해 조명되는 상기 3차원 물체의 깊이를 판별하는 단계를 포함한다.
본 발명의 다른 예에 따른 방법은, 2차원 어레이에 배열된 복수의 픽셀들을 갖는 이미지 센서를 이용하여 주변광에 의해 조명되는 3차원 물체의 2차원 컬러 이미지를 캡처하는 단계, 상기 주변광의 조명 레벨을 판별하는 단계, 상기 주변광이 미리 정해진 조명 레벨보다 낮을 때의 선형 모드 및 상기 주변광이 상기 미리 정해진 조명 레벨 이상일 때의 대수 모드 중 하나로 동작하도록 상기 이미지 센서를 구성하는 단계, 상기 주변광에 더하여 가시광의 포인트 스캔을 이용하여 상기 3차원 물체를 조명하도록 가시 광원을 구성하는 단계, 상기 선형 모드 또는 상기 대수 모드 중 하나를 이용하여 상기 이미지 센서의 행의 픽셀들의 각 픽셀에 대해 픽셀 특정 출력을 생성하는 단계, 그리고 상기 행의 픽셀들의 각 픽셀의 상기 픽셀 특정 출력에 기반하여, 상기 주변광 및 상기 가시광에 의해 조명된 상기 3차원 물체의 깊이를 판별하는 단계를 포함한다.
본 발명의 시스템은, 2차원 어레이에 배열된 복수의 픽셀들을 포함하며, 주변광에 의해 조명되는 3차원 물체의 2차원 이미지를 캡처하도록 구성되는 이미지 센서, 가시 레이저 광원, 근적외선 레이저 광원, 포인트 광원, 단색 조명원, 그리고 X-축 및 Y-축으로 조절 가능한 레이저 광원 중 하나이며, 상기 주변광에 더하여 레이저 광의 포인트 스캔을 이용하여 상기 3차원 물체를 조명하도록 구성되는 레이저 광원, 그리고 상기 이미지 센서의 적어도 하나의 행의 픽셀들을 이용하여 상기 주변광 및 상기 레이저 광에 의해 조명되는 상기 3차원 물체의 깊이를 판별하도록 구성되는 처리부를 포함한다.
본 발명에 따르면, 현존하는 CMOS 이미지 센서들을 이용하여 2차원 이미징 및 3차원 깊이 측정이 수행된다. 따라서, 감소된 비용 및 감소된 공간을 소비하는 장치, 시스템 및 방법이 제공된다.
도 1은 본 발명의 실시 예들에 따른 시스템의 단순화된 부분 레이아웃을 보여준다.
도 2는 본 발명의 실시 예에 따른 도 1의 시스템의 예시적인 동작 레이아웃을 보여준다.
도 3은 본 발명의 실시 예들에 따라 3차원 깊이 측정이 수행되는 방법을 보여준다.
도 3는 본 발명의 실시 예들에 따라 스캔된 광점들에 대한 타임스탬프의 예를 보여준다.
도 4는 본 발명의 실시 예들에 따른 도 1 및 도 2의 이미지 센서의 픽셀 어레이 제어 및 처리부의 처리 회로들과 연관된 부분 및 2차원 픽셀 어레이의 회로 상세를 보여준다.
도 6a는 본 발명의 실시 예들에 따른 도 5의 이미지 센서부의 예시적인 레이아웃을 보여준다.
도 6b는 본 발명의 실시 예들에 따른 3차원 깊이 측정을 위한 예시적인 CDS 및 ADC 유닛을 보여준다.
도 7은 본 발명의 실시 예들에 따라 3차원 선형 모드에서 타임스탬프 기반 픽셀 특정 출력을 생성하는 시스템의 신호들의 예시적인 타이밍을 보여주는 타이밍도이다.
도 7은 본 발명의 실시 예들에 따라 3차원 값들을 계산하는 데에 사용되는 예시적인 룩업 테이블을 보여준다.
도 8는 본 발명의 실시 예들에 따른 2차원 이미징 및 3차원 깊이 측정에 사용되는 이미지 센서가 사용되는 방법을 보여주는 예시적인 순서도이다.
도 10은 본 발명의 실시 예들에 따른 2차원 선형 모드를 이용하여 2차원 이미지를 생성하는 도 1 및 도 2의 시스템의 신호들의 타이밍을 보여주는 타이밍도이다.
도 11은 본 발명의 실시 예들에 따라 3차원 대수 모드에서 타임스탬프 기반 픽셀 특정 출력을 생성하는 시스템의 신호들의 타이밍을 보여주는 타이밍도이다.
도 12는 본 발명의 실시 예들에 따른 도 1 및 도 2의 시스템의 전체적인 레이아웃을 보여준다.
후술되는 상세한 설명에서, 구체적인 상세들이 본 발명의 이해를 돕기 위하여 제공된다. 그러나, 본 발명의 기술적 사상은 이러한 구체적 상세 없이 실시될 수 있다. 예를 들어, 잘 알려진 방법들, 절차들, 구성 요소들 및 회로들은 본 발명의 설명을 혼동하는 것을 방지하기 위하여 생략될 수 있다. 또한, 본 발명의 기술적 사상은 스마트폰, 사용자 장치(UE, User Equipment), 랩톱 컴퓨터 등을 포함하는 이미지 장치 또는 시스템의 3차원 깊이 측정을 저전력으로 구현할 수 있다.
본 발명의 상세한 설명에서, "일 실시 예" 또는 "실시 예"는, 해당 실시 예를 참조하여 설명된 구체적인 특징, 구조 또는 특성이 본 발명의 적어도 하나의 실시 예에 포함됨을 의미한다. 따라서, "일 실시 예로서" 또는 "실시 예로서" 또는 "실시 예에 따른"과 같은 용어들은 동일한 예를 참조하는 것으로 한정되지 않는다. 또한, 구체적인 특징들, 구조들 또는 특성들은 하나 또는 그보다 많은 실시 예들과 적절한 방법으로 조합될 수 있다.
"결합", "연결", "전기적 연결" 등의 용어들은 서로 전기적 또는 전자적으로 연결된 상태를 의미하며 서로 교체하며 사용될 수 있다. 제1 개체(entity)가 신호의 타입(예를 들어, 아날로그 또는 디지털)에 관계 없이 제2 개체(entity)로 또는 제2 개체로부터 정보 신호(어드레스, 데이터 또는 제어 정보를 포함)를 송신 또는 수신(유선 또는 무선으로)할 때에, 제1 개체 및 제2 개체는 서로 통신하는 것으로 설명된다. 또한, 첨부된 도면들은 설명을 위한 것이며, 사이즈 또는 비율을 한정하지 않는다. 또한, 다양한 파형들 및 타이밍도들은 설명을 위한 것이며 한정되지 않는다.
"제1", "제2" 등의 용어들은 개체들을 구분하기 위한 용도로 사용되며, 명시적으로 정의되지 않는 한 순서(예를 들어, 공간적, 시간적, 논리적 등)를 의미하지 않는다. 동일한 참조 번호들은 둘 또는 그보다 많은 도면들에서 동일한 또는 유사한 기능을 갖는 부분, 구성 요소, 블록, 회로, 유닛 또는 모듈을 참조하는 데에 사용될 수 있다. 그러나, 이러한 사용은 설명을 용이하게 하기 위한 것이며, 해당 구성 또는 구조적 상세가 실시 예들에 걸쳐 동일하다거나 또는 그러한 공통 부분이 본 발명의 기술적 사상을 구현하는 유일한 방법임을 한정하지 않는다.
종래의 3차원 기술들은 많은 문제점들을 갖는다. 예를 들어, 비행 시간(TOF, Time-Of-Flight) 기반의 이미지 시스템은 광학 또는 전기적 셔터를 동작하기 위한 고전력을 필요로한다. 이러한 시스템은 수 미터 내지 수십 미터의 범위에서 동작하며, 근거리에서 감소된 해상도를 갖는다. 따라서, 비행 시간(TOF) 시스템에서, 1미터 이내의 근거리에서 3차원 이미지를 촬영하는 것은 비현실적이다. 따라서, 대부분의 사진들이 근거리에서 촬영되는 핸드폰 기반의 카메라 응용들에서 비행 시간(TOF) 시스템은 적절하지 않다. 비행 시간(TOF) 센서는 7um보다 큰 사이즈의 특수 픽셀들을 필요로 한다. 특수 픽셀들은 주변 광에 취약할 수 있다.
입체 이미지 방법은 보통 구조화된 표면(textured surface)과 함께 동작한다. 이는, 물체의 입체 이미지 쌍 사이의 특성을 맞추고 대응 관계를 찾을 필요로 인해 매우 높은 복잡도를 갖는다. 이는 고전력을 필요로 하며, 스마트폰과 같이 전력 절감이 필요한 환경에서 바람직하지 않은 속성이다. 또한, 입체 이미징(stereo imaging)은 두 개의 렌즈들과 함께 두 개의 고해상도 센서들을 필요로하며, 이는 전체 부품이 스마트폰, 태블릿과 같은 포터블 장치의 응용에 적합하지 않게 한다.
구조화 광(SL, Structured Light) 방법은 거리의 모호성을 초래하며, 고전력을 필요로 한다. 3차원 깊이 측정을 위한 구조화 광(SL) 방법은 다중 패턴들을 갖는 다중 이미지들을 필요로하며, 이들 모두는 계산 복잡도 및 전력 소비를 증가시킨다. 또한, 구조화 광(SL) 이미징(imaging)은 고해상의 이미지 센서들을 필요로 한다. 따라서, 구조화 광(SL) 기반의 시스템은 스마트폰의 같은 저비용, 저전력, 콤팩트 이미지 센서에 적합하지 않다.
종래 3차원 기술과 반대로, 본 발명의 실시 예들은 스마트폰, 태블릿, 사용자 장치(UE, User Equipment) 등과 같은 포터블 전자 장치의 저전력 3차원 이미지 시스템을 제공한다. 본 발명의 실시 예들에 따른 2차원 이미지 센서는 2차원 RGB (Red, Green, Blue) 이미지들 및 가시광 레이저 스캐닝에 따른 3차원 깊이 측정들을 캡처하며, 3차원 깊이 측정 시에 주변광을 차단할 수 있다. 이하에서, 가시광 레이저 스캔이 포인트 스캔을 위한 광원으로 그리고 2차원 RGB 센서가 이미지 또는 광 캡처 장치로 언급되지만, 이러한 언급은 설명의 일관성을 위한 목적으로 제공된다. 후술되는 가시광 레이저 및 RGB 센서 기반 예들은 스마트폰, 태블릿 또는 사용자 장치(UE)와 같은 카메라를 갖는 저전력 소비자 지향 모바일 전자 장치에 응용될 수 있다. 그러나, 본 발명의 기술적 사상은 가시광 레이저 및 RGB 센서 기반 예들에 한정되지 않는다. 본 발명의 실시 예들에 따르면, 포인트 스캔 기반의 3차원 깊이 측정 및 주변 광 차단 방법은 다양한 2차원 센서들 및 포인트 스캔을 위한 레이저 광원들을 이용하여 수행될 수 있다. 예를 들어, 레이저원(laser source)이 적색(R), 녹색(G), 또는 청색(B) 또는 이들의 조합인, 가시광 레이저원을 갖는 2차원 RGB 센서가 사용될 수 있다. 예를 들어, 적외선(IR, InfraRed) 차단 필터를 갖는 3차원 RGB 컬러 센서를 갖는 가시광 레이저가 사용될 수 있다. 예를 들어, 2차원 적외선(IR) 센서를 갖는 근적외선(NIR, Near InfraRed) 레이저가 사용될 수 있다. 예를 들어, 2차원 근적외선(NIR) 센서를 갖는 근적외선(NIT) 레이저가 사용될 수 있다. 예를 들어, 적외선(IR) 차단 필터를 갖지 않는 2차원 RGB 센서를 갖는 근적외선(NIR) 레이저가 사용될 수 있다. 예를 들어, 근적외선 (NIR) 차단 필터를 갖지 않는 2차원 RGB 센서를 갖지 않는 근적외선(NIT) 레이저가 사용될 수 있다. 예를 들어, 가시 또는 근적외선(NIR) 레이저를 갖는 2차원 RGB 및 적외선(IR) 센서가 사용될 수 있다. 예를 들어, 가시 또는 근적외선(NIR) 레이저를 갖는 2차원 RGBW (RGB 및 White) 센서가 사용될 수 있다.
3차원 측정 시에, 전체 센서는 레이저 스캔과 함께 2진 센서로 동작하여 3차원 콘텐츠를 재구성할 수 있다. 구체적으로, 센서의 픽셀 사이즈는 1um 정도로 작을 수 있다. 또한, 낮은 비트 해상도로 인해, 본 발명의 실시 예에 따른 이미지 센서의 아날로그 디지털 변환기(ADC, Analog to Digital Converter)는 종래의 3차원 이미징 시스템의 고해상 센서들에서 필요한 것과 비교하여 매우 낮은 처리 전력을 필요로한다. 더 낮은 전력을 필요로 함에 따라, 본 발명의 실시 예에 따른 3차원 이미징 모듈은 더 낮은 전력을 필요로 하고, 따라서 스마트폰과 같은 저전력 장치에 더 적합하다.
구체적인 예로서, 본 발명의 실시 예들은 라인 센서들의 그룹을 이용하여 3차원 깊이 측정을 위한 삼각 측량 및 레이저 광원을 이용한 포인트 스캔을 사용한다. 레이저 스캔 평면 및 이미징 평면은 등극선 기하(epipolar geometry)를 이용하여 지향(oriented)된다. 본 발명의 실시 예들에 따른 이미지 센서는 타임스탬프를 이용하여 삼각 측량의 모호성을 제거하므로, 깊이 계산량 및 전력이 감소된다. 동일한 이미지 센서, 즉 이미지 센서의 각 픽셀은 3차원 레이저 스캔 모드 뿐 아니라 정상 2차원 (RGC 또는 비RGB) 이미징 모드로도 사용될 수 있다. 그러나, 레이저 스캔 모드에서, 이미지 센서의 아날로그 디지털 변환기(ADC)의 해상도는 이진 출력(1비트 해상도)로 감소되며, 따라서 독출 속도가 향상되고 이미지 센서 및 연관된 처리부를 포함하는 칩 내의 전력 소비(예를 들어, 아날로그 디지털 변환기 내의 스위칭에 의한)가 감소된다. 또한, 포인트 스캔은 모든 측정을 한 번에(one pass) 수행하며, 따라서 거리 측정의 레이턴시가 감소되고 모션 블러(motion blur)가 감소된다.
구체적인 예로서, 전체 이미지 센서는 가시 레이저 스캔을 이용한 3차원 이미징 뿐 아니라 주변광을 이용한 일반적인 2차원 RGB 이미징을 위해 사용될 수 있다. 동일한 카메라를 다중 용도로 사용함으로써, 모바일 장치의 공간 및 비용이 절약될 수 있다. 또한, 3차원 응용을 위한 가시 레이저의 사용자는 근적외선(NIR) 레이저와 비교하여 눈을 더 안전하게 보호할 수 있다. 센서는 근적외선(NIR) 대역에서 보다 가시 대역에서 더 높은 양자 효율(quantum efficiency)을 가지며, 광원의 소비 전력이 감소된다. 예시적으로, 이중 용도 이미지 센서는 2차원 이미징을 위해 선형 모드에서 통상적인 2차원 센서로 동작할 수 있다. 그러나, 3차원 이미징을 위해, 센서는 통상적인 광 조건에서 선형 모드로 동작하고 강한 주변 광 조건에서 대수(logarithmic) 모드로 동작하여, 강한 주변 광의 차단을 통해 가시 레이저원의 사용이 지속될 수 있게 한다. 또한, 주변 광 차단은 근적외선(NIT) 레이저를 사용할 때에도, 예를 들어, RGB 센서에 채용된 적외선(IR) 차단 필터의 통과 대역의 대역폭이 충분히 좁지 않은 때에, 필요할 수 있다.
도 1은 본 발명의 실시 예들에 따른 시스템(15)의 단순화된 부분 레이아웃을 보여준다. 도시된 바와 같이, 시스템(15)은 프로세서(19) 또는 호스트와 결합되고 통신하는 이미징 모듈(17)을 포함할 수 있다. 시스템(15)은 프로세서(19)에 연결되어 이미징 모듈(17)로부터 수신되는 이미지 데이터와 같은 정보를 저장하는 메모리 모듈(20)을 더 포함할 수 있다. 구체적으로, 전체 시스템(15)은 단일 집적 회로 또는 칩에 집적될 수 있다. 다른 예로서, 이미징 모듈(17), 프로세서(19) 및 메모리 모듈(20) 각각은 분리된 칩으로 구현될 수 있다. 메모리 모듈(20)은 하나 또는 그보다 많은 메모리 칩을 포함할 수 있다. 프로세서(19)는 다중 프로세싱 칩들을 포함할 수 있다. 도 1의 모듈들의 패키징 및 구현(단일 칩 또는 다중 칩)은 한정되지 않는다.
시스템(15)은 본 발명의 실시 예들에 따른 2차원 및 3차원 카메라 응용을 위한 저전력 전자 장치일 수 있다. 시스템(15)은 포터블 또는 고정식일 수 있다. 시스템(15)의 포터블 형태의 예들은 모바일 장치, 핸드폰, 스마트폰, 사용자 장치(UE), 태블릿, 디지털 카메라, 랩톱 또는 데스크톱 컴퓨터, 전자 스마트시계, M2M (Machine-to-Machine) 통신 장치, 가상 현실(VR, Virtual Reality) 장치 또는 모듈, 로봇 등을 포함할 수 있다. 시스템(15)의 고정식 형태의 예들은 비디오 게임방의 게임 콘솔, 상호적 비디오 터미널, 자동차, 기계 시야 시스템, 산업용 로봇, 가상 현실(VR) 장치, 자동차의 운전자측 실장 카메라(예를 들어, 운전자가 졸고있는지를 모니터하는) 등을 포함할 수 있다. 본 발명의 실시 예들에 따른 3차원 이미징 기능은 가상 현실 장치의 가상 현실 응용, 온라인 채팅 또는 게임, 3차원 문자, 제품에 대한 정보(예를 들어, 음식 조각의 칼로리 정보)를 획득하기 위한 제품의 3차원 이미지를 이용한 온라인 또는 지역(장치 기반) 카탈로그 또는 데이터베이스의 검색, 로봇 공학 및 기계 시야 응용들, 자율 주행 응용과 같은 자동차 응용들과 같은 다양한 응용들에 사용될 수 있다.
본 발명의 예로서, 이미징 모듈(17)은 광원(22) 및 이미지 센서부(24)를 포함할 수 있다. 도 2를 참조하여 더 상세하게 설명되는 바와 같이, 광원(22)은 가시 레이저일 수 있다. 다른 예로서, 광원(22)은 근적외선(NIT)일 수 있다. 이미지 센서부(24)는 도 2에서 도시되고 이하에서 설명되는 픽셀 어레이 및 보조 처리 회로들을 포함할 수 있다.
예시적으로, 프로세서(19)는 범용 프로세서인 중앙 처리 장치(CPU)일 수 있다. 여기에서, "프로세서" 및 "중앙 처리 장치(CPU)"는 설명의 편의를 위하여 교차하여 사용될 수 있다. 그러나, 중앙 처리 장치 대신에 또는 중앙 처리 장치에 더하여, 프로세서(19)는 마이크로컨트롤러, 디지털 신호 처리기(DSP, Digital Signal Processor), 그래픽 처리부(GPU, Graphic Processing Unit), 전용의 주문형 반도체(ASIC, Application Specific Integrated Circuit) 프로세서 등을 포함할 수 있다. 또한, 프로세서(19)는 분산 처리 환경에서 동작하는 하나보다 많은 중앙 처리 장치들을 포함할 수 있다. 프로세서(19)는 x86 명령 집합 구조(32비트 또는 64비트 버전), PowerPC® 명령 집합 구조, RISC (Reduced Instruction Set Computer) 명령 집합 구조에 의존하는 MIPS (Microprocessor without Interlocked Pipeline Stages) 명령 집합 구조와 같은 명령 집합 구조(ISA, Instruction Set Architecture)에 따라 명령들을 실행하고 데이터를 처리하도록 구성될 수 있다. 예시적으로, 프로세서(19)는 중앙 처리 장치의 기능에 추가적인 기능들을 갖는 시스템 온 칩(SoC, System on Chip)일 수 있다.
예시적으로, 메모리 모듈(20)은 SDRAM (Synchronous DRAM)과 같은 DRAM (Dynamic Random Access Memory)일 수 있으며, 또는 HBM (High Bandwidth Memory) 모듈 또는 HMC (Hybrid Memory Cube) 메모리 모듈과 같은 DRAM 기반 3DS (3-Dimensional Stack) 메모리 모듈일 수 있다. 예시적으로, 메모리 모듈(20)은 SSD (Solid State Drive), 3DS 가 아닌 DRAM 모듈, 또는 SRAM (Static Random Access Memory), PRAM (Phase-Change Random Access Memory), RRAM (Resistive Random Access Memory), CBRAM (Conductive-Bridging RAM), MRAM (Magnetic RAM), STT-MRAM (Spin-Transfer Torque MRAM) 등과 같은 반도체 기반 스토리지일 수 있다.
도 2는 본 발명의 실시 예에 따른 도 1의 시스템(15)의 예시적인 동작 레이아웃을 보여준다. 시스템(15)은 개별 물체 또는 장면(미도시) 내의 물체일 수 있는 3차원 물체(26)에 대한 Z-축에 따른 깊이 정보를 획득하는 데에 사용될 수 있다. 예시적으로, 깊이 정보는 이미지 센서부(24)로부터 수신되는 스캔 데이터에 기반하여 프로세서(19)에 의해 계산될 수 있다. 다른 예로서, 깊이 정보는 이미지 센서부(24)에서 자체적으로 계산될 수 있다(도 6a 참조). 예시적으로, 깊이 정보는 프로세서(19)에 의해 3차원 사용자 인터페이스의 일부로 사용되어, 시스템(15)의 사용자가 게임 또는 시스템(15)에서 실행되는 다른 응용의 일부로서 물체(26)의 3차원 이미지와 상호 동작하거나 또는 물체(26)의 3차원 이미지를 사용하는 것을 가능하게 할 수 있다. 본 발명의 실시 예들에 따른 3차원 이미징은 다른 목적 또는 응용을 위해 사용될 수 있으며, 장면 또는 3차원 물체에 적용될 수 있다.
도 2에서, X-축은 시스템(15)의 전면을 따른 수평 방향이고, Y-축은 페이지를 벗어나는 수직 방향이고, Z-축은 시스템(15)으로부터 이미지될 물체(26)의 방향으로 확장될 수 있다. 깊이 측정을 위해, 광원(22) 및 이미지 센서부(24)의 광축들은 Z-축에 평행할 수 있다. 본 발명의 기술적 사상을 구현하기 위해 다른 광학 배열이 사용될 수 있으며, 이들은 본 발명의 기술적 범위에 속하는 것으로 간주된다.
광원(22)은 화살표들(28, 29)로 도시된 바와 같이 3차원 물체(26)를 조명할 수 있다. 화살표들(28, 29)은 광 빔 또는 광 방사의 경로를 나타내는 점선들(30, 31)에 각각 대응한다. 광 빔 또는 광 방사는 광 시야각 내의 3차원 물체(26)를 포인트 스캔하는 데에 사용될 수 있다. 물체 표면의 라인 단위 스캔은, 레이저 제어기(34)에 의해 동작 및 제어되는 레이저원(33)일 수 있는 광학 방사원을 이용하여 수행된다. 레이저원(33)으로부터의 광 빔은, 레이저 제어기(34)의 제어에 따라, 투사 렌즈(35)를 통해 3차원 물체(26)의 표면에 걸쳐 X-Y 방향으로 포인트 스캔될 수 있다. 포인트 스캔은 도 3 및 도 9를 참조하여 더 상세하게 후술되는 바와 같이, 스캔 라인을 때라 3차원 물체의 표면에 광점들(light spots)을 투사할 수 있다. 투사 렌즈(35)는 유리 또는 플라스틱 표면을 갖는 집중 렌즈 또는 레이저원(33)으로부터의 레이저 빔을 물체(26)의 표면상의 일 점에 집중하는 원통형 광학 원소일 수 있다. 도 2의 예에서, 볼록한 구조가 집중 렌즈(35)로 도시되어 있다. 그러나, 투사 렌즈(35)를 위한 다른 형태의 적절한 렌즈 디자인이 선택될 수 있다. 물체(26)는 레이저원(33)으로부터의 조명 광이 투사 렌즈(35)에 의해 광점으로 집중되는 초점 위치에 위치할 수 있다. 따라서, 포인트 스캔에서, 3차원 물체(26)의 표면상의 좁은 영역 또는 점이 투사 렌즈(35)로부터의 집중된 광 빔에 의해 순차적으로 조명될 수 있다.
예시적으로, 레이저원(33)(또는 광원 또는 조명원)은 가시광을 발광하는 다이오드 레이저 또는 발광 다이오드(LED, Light Emitting Diode), 근적외선 레이저(NIR), 포인트 광원, 백색 램프 및 모노크로메이터(monochromator)가 조합된 단색(monochromatic) 조명원, 또는 다른 레이저 광원의 조합일 수 있다. 레이저원(33)은 시스템(15)의 하우징 내의 한 위치에 고정될 수 있으며, X-Y 방향들로 회전 가능할 수 있다. 레이저원(33)은 레이저 제어기(34)에 의해 X-Y 방향들로 제어 가능하여, 3차원 물체(26)의 포인트 스캔을 수행할 수 있다. 예시적으로, 가시광은 녹색광일 수 있다. 레이저원(33)으로부터의 가시광 조명은 거울(미도시)을 이용하여 3차원 물체(26)의 표면에 추사될 수 있다. 또는 포인트 스캔은 거울 없이 수행될 수 있다. 예시적으로, 광원(22)은 도 2에 도시된 것보다 적거나 그보다 많은 구성 요소들을 포함할 수 있다.
도 2의 예에서, 물체(26)의 포인트 스캔으로부터 반사된 광은 화살표들(36, 37) 및 점선들(38, 39)로 표시된 수집 경로를 따라 진행할 수 있다. 광 수집 경로를 통해, 레이저원(33)으로부터의 조명을 수신함에 따라 물체(26)의 표면에 의해 산란 또는 표면으로부터 반사되는 광자들이 이동할 수 있다. 도 2에서, 화살표들 및 점선들로 표시된 다양한 경로들은 예시적인 것이다. 도시된 경로들인 실제 광 신호가 진행하는 구체적인 경로를 보여주는 것으로 한정되지 않는다.
조명된 물체(26)로부터 수신되는 광은 이미지 센서부(24)의 수집 렌즈(44)를 통해 2차원 픽셀 어레이(42)의 하나 또는 그보다 많은 픽셀들에 집중될 수 있다. 투사 렌즈(35)와 유사하게, 수집 렌즈(44)는 물체(26)로부터 수신되는 반사광을 2차원 픽셀 어레이(42)의 하나 또는 그보다 많은 픽셀들에 집중하는 유리 또는 플라스틱 표면의 집중 렌즈 또는 다른 원통형 광학 원소일 수 있다. 도 2에서, 볼록 구조가 집중 렌즈(44)로 도시되어 있다. 그러나, 적절한 다른 디자인이 수집 렌즈(44)로 선택될 수 있다. 또한, 설명의 편의를 위하여, 3x3 픽셀 어레이가 도 2에 도시되어 있다. 그러나, 현재의 픽셀 어레이는 수천 또는 수백만의 픽셀들을 포함할 수 있음이 이해될 것이다. 픽셀 어레이(42)는 상이한 픽셀들이 상이한 색의 광 신호들을 수집하는 RGB 픽셀 어레이일 수 있다. 앞서 언급된 바와 같이, 픽셀 어레이(42)는 적외선(IR) 차단 필터를 갖는 2차원 RGB 센서, 2차원 적외선(IR) 센서, 2차원 근적외선(NIR) 센서, 2차원 RGBW 센서, 2차원 RGB-IR 센서 등과 같은 2차원 센서일 수 있다. 아래에서 더 상세하게 설명되는 바와 같이, 시스템(15)은 물체(26)의 3차원 이미징(깊이 측정을 포함)을 위해서 뿐 아니라 물체(26)의 2차원 RGB 컬러(또는 물체를 포함하는 장면)의 이미징을 위해서도 동일한 픽셀 어레이(42)를 사용할 수 있다. 픽셀 어레이(42)의 추가적인 상세는 도 4를 참조하여 후술된다
픽셀 어레이(42)는 수신된 광자들을 대응하는 전기 신호들로 변환하며, 이들은 픽셀 어레이 제어 및 처리부(46)에 의해 처리되어 물체(26)의 3차원 깊이 이미지가 판별될 수 있다. 예시적으로, 픽셀 어레이 제어 및 처리부(46)는 깊이 측정을 위해 삼각 측량을 사용할 수 있다. 삼각 측량은 도 3을 참조하여 후술된다. 픽셀 어레이 제어 및 처리부(46)는 픽셀 어레이(42)의 동작을 제어하기 위한 연관 회로들을 포함할 수 있다. 픽셀 어레이 제어 및 처리부(46)의 예는 도 6a 및 도 6b를 참조하여 후술된다.
프로세서(19)는 광원(22) 및 이미지 센서부(24)의 동작들을 제어할 수 있다. 예를 들어, 시스템(15)은 사용자에 의해 제어되며 2차원 이미징 모드 및 3차원 이미징 모드를 전환하는 모드 스위치(미도시)를 구비할 수 있다. 사용자가 모드 스위치를 이용하여 2차원 이미징 모드를 선택할 때, 프로세서(19)는 이미지 센서부(24)를 활성화하고, 2차원 이미징 모드는 주변광을 이용하므로 광원(22)을 활성화하지 않을 수 있다. 반면, 사용자가 모드 스위치를 이용하여 3차원 이미징 모드를 선택할 때, 프로세서(19)는 광원(22) 및 이미지 센서부(24) 모두를 활성화하고, 픽셀 어레이 제어 및 처리부(46) 내의 리셋 신호(RST)의 레벨의 변화를 트리거하여, 주변광이 너무 강하여 선형 모드에서 반사되지 않을 때에 선형 모드로부터 대수 모드로 전환할 수 있다. 픽셀 어레이 제어 및 처리부(46)로부터 수신되는 처리된 이미지 데이터는 프로세서(19)에 의해 메모리 모듈(20)에 저장될 수 있다. 프로세서(19)는 사용자에 의해 선택된 2차원 또는 3차원 이미지를 시스템(15)의 표시 스크린(미도시)에 표시할 수 있다. 프로세서(19)는 설명되는 다양한 처리 작업들을 수행하는 소프트웨어 또는 펌웨어로 프로그램될 수 있다. 다른 예로서 또는 추가적으로, 프로세서(19)는 설명된 기능들의 일부 또는 전부를 수행하기 위한 프로그램 가능한 하드웨어 논리 회로들을 포함할 수 있다. 예시적으로, 메모리 모듈(20)은 프로그램 코드, 룩업 테이블(도 7에 도시되는 바와 같이), 또는 중간 연산 결과들을 저장하여, 프로세서(19)가 해당 기능을 수행하도록 할 수 있다.
시스템(15), 더 상세하게는 프로세서(19)는 도 2의 물체(26)와 같은 3차원 물체의 1차원 포인트 스캔을 도 2의 광원(22)와 같은 광원을 이용하여 스캔 라인을 따라 수행할 수 있다. 포인트 스캔의 일부로서, 광원(22)은 라인 단위로 3차원 물체(26)의 표면에 순차적인 광점들(또는 일련의 광점들)을 투사하도록 프로세서(19)에 의해 제어될 수 있다. 시스템(15)의 픽셀 어레이 제어 및 처리부(46)는 도 2의 2차원 픽셀 어레이(42)와 같은 이미지 센서에서 한 행의 픽셀들을 선택할 수 있다. 이미지 센서(42)는 이미지 플레인을 형성하는 2차원 어레이에 배열된 복수의 픽셀들을 갖는다. 픽셀들의 선택된 행은 이미지 플레인에서 스캔 라인의 등극선(epipolar line)을 형성한다. 도 3을 참조하여 등극선 기하(epipolar geometry)의 간략한 설명이 제공된다. 픽셀 어레이 제어 및 처리부(46)는 한 행의 픽셀들에서 대응하는 픽셀을 이용하여 각 광점을 검출하도록 프로세서(19)에 의해 제어된다. 조명 광점으로부터 반사된 광이 수집 렌즈(44)에 의해 둘 또는 그보다 많은 인접 픽셀들에 집중될 때, 조명 광점으로부터 반사된 광은 단일 픽셀 또는 하나보다 많은 픽셀들에 의해 검출될 수 있다. 다시 말하면, 둘 또는 그보다 많은 광점들로부터 반사된 광이 2차원 어레이(42)의 단일 픽셀에서 수집될 수 있다. 후술되는 타임스탬프 기반 방법은, 단일 픽셀에 의해 상이한 두 개의 광점들을 이미징하는 것 또는 상이한 두 개의 픽셀들에 의해 단일 광점을 이미징하는 것으로 인해 유발되는 깊이 연산과 연관된 모호성을 제거한다. 픽셀 어레이 제어 및 처리부(46)는 순차적인 광점들에서 대응하는 광점의 픽셀 특정 검출에 응답하여, 픽셀 특정 출력을 생성하도록 프로세서(19)에 의해 제어된다. 따라서, 픽셀 어레이 제어 및 처리부(46)는 적어도 픽셀 특정 출력 및 대응하는 광점을 투사하는 광원(22)에 의해 사용된 스캔 각에 기반하여, 3차원 물체의 표면상의 대응하는 광점까지의 3차원 거리(또는 깊이)를 판별할 수 있다. 깊이 측정은 도 3을 참조하여 더 상세하게 후술된다.
도 3은 본 발명의 실시 예들에 따라 3차원 깊이 측정이 수행되는 방법을 보여준다. 도 3에서, 광원(33)의 X-Y 회전 이동성은 X-방향(β의 각) 및 Y-방향(α의 각)에서 레이저의 각운동을 가리키는 화살표들(62, 64)로 도시되어 있다. 예시적으로, 레이저 제어기(34)는 프로세서(19)로부터 입력되는 스캔 명령 또는 입력에 기반하여 레이저원(33)의 X-Y 회전을 제어할 수 있다. 예를 들어, 사용자가 3차원 이미징 모드를 선택할 때, 프로세서(19)는 레이저 제어기(34)가 투사 렌즈(34)와 마주하는 물체의 3차원 깊이 측정을 시작하도록 제어할 수 있다. 이에 응답하여, 레이저 제어기(34)는 레이저원(33)의 X-Y 이동을 통해 물체 표면의 1차원 X-Y 포인트 스캔을 시작할 수 있다. 도 3에 도시된 바와 같이, 레이저원(33)은 1차원 수평 스캔 라인들을 때라 광점들을 투사함으로서 물체(26)의 표면을 포인트 스캔할 수 있다. 스캔 라인들 중 두 개가 SR (66) 및 SR+1 (68)의 점선으로 도 3에 도시되어 있다. 물체(26)의 표면의 곡률로 인해, 광점들(70~73)이 도 3에서 스캔 라인 SR (66)을 형성할 수 있다. 간결한 설명을 위하여, 스캔 라인 SR+1 (68)을 구성하는 광점들은 참조 번호들을 이용하여 식별되지 않는다. 레이저원(33)은 행들(R, R+1)을 따라 물체(26)를 한 번에 한 점씩, 예를 들어, 왼쪽으로부터 오른쪽의 방향으로 스캔할 수 있다. "R", "R+1"의 값들은 2차원 픽셀 어레이(42)에서 픽셀들의 행들을 참조하며, 따라서 알려진 값들이다. 예를 들어, 도 3의 2차원 픽셀 어레이(42)에서, 픽셀 행 "R"은 "75"의 참조 번호를 이용하여 식별되고, "R+1"의 행은 "76"의 참조 번호를 이용하여 식별된다. 행들 "R" 및 "R+1"은 간결한 설명을 위하여 복수의 행들로부터 선택된다.
2차원 픽셀 어레이에서 픽셀들의 행들을 포함하는 평면은 이미지 평면이라 불린다. SR 및 SR+1과 같은 스캔 라인들을 포함하는 평면은 스캔 평면이라 불린다. 도 3의 예에서, 2차원 픽셀 어레이(42)의 각 행이 대응하는 스캔 라인의 등극선(epipolar line)를 형성하도록, 이미지 평면 및 스캔 평면이 등극선 기하(epipolar geometry)를 이용하여 지향된다. 스캔 라인의 조명점의 이미지 평면으로의 투사가 행(R)에 정렬된 차별점(distinct point)를 형성할 때, 행(R)은 스캔 라인(SR)에 대응하는 등극(epipolar)으로 여겨질 수 있다. 예를 들어, 도 3에서, 화살표(78)는 레이저원(33)에 의한 광점(71)의 조명을 보여주고, 화살표(80)는 광점(71)이 집중 렌즈(44)에 의해 행(R, 75)을 따라 이미지되는 또는 투사되는 것을 보여준다. 도 3에 도시되지 않았지만, 모든 광점들(70~73)은 대응하는 행(R)에서 대응하는 픽셀들에 의해 이미지될(imaged, 캡처 또는 촬영) 수 있다. 따라서, 위치 및 방향과 같은 레이저원(33) 및 픽셀 어레이(42)의 물리적 배치는, 물체(26)의 표면상의 스캔 라인의 조명된 광점들이 픽셀 어레이(42)의 대응하는 행의 픽셀들에 의해 캡처 또는 검출되도록, 즉 픽셀들의 행이 스캔 라인의 등극선(epipolar line)을 형성하도록 될 수 있다.
픽셀 어레이(42)의 픽셀들은 행들 및 열들로 배열될 수 있다. 조명된 광점은 픽셀 어레이(42)의 대응하는 행 및 열에 의해 참조될 수 있다. 예를 들어, 도 3에서, 스캔 라인(SR)의 광점(71)은 "XR,i"로 지정되며, 광점(71)이 픽셀 어레이(42)의 행(R) 및 열(Ci)에 의해 이미지됨을 가리킬 수 있다. 열(Ci)은 점선(82)으로 표시된다. 다른 조명된 광점들은 유사하게 식별될 수 있다. 앞서 언급된 바와 같이, 둘 또는 그보다 많은 광점들로부터 반사된 광은 한 행의 단일 픽셀에서 수신될 수 있으며, 단일 광점으로부터 반사된 광은 한 행의 하나보다 많은 픽셀들에서 수신될 수 있다. 후술되는 타임스탬프 기반 방법은 다중 또는 중첩 투사로부터 발생하는 깊이 계산의 모호성을 제거할 수 있다.
도 3에서, 화살표(84)는 도 2의 X-축과 같이 시스템(15)의 전면에 따른 X-방향으로부터 광점(71)의 거리(Z-축에 따른 거리 "Z") 또는 깊이를 나타낸다. 도 3에서, 점선(86)은 투사 렌즈(35) 및 수집 렌즈(44)를 포함하는 수직 평면에 포함된 것으로 시각화된 축을 나타낸다. 그러나, 간결한 설명을 위하여, 도 3에서 광원(33)이 투사 렌즈(35)를 대신하여 축(86)에 위치하는 것으로 도시된다. 삼각 측량 기반 방법에서, "Z" 값은 수학식 1을 이용하여 판별된다.
Figure pat00001
수학식 1에 언급된 파라미터들은 도 3에도 도시되어 있다. 시스템(15)의 물리적 구성에 기반하여, 수학식 1의 우측의 파라미터들의 값들이 미리 정해질 수 있다. 수학식 1에서, "h"는 수집 렌즈(44) 및 수집 렌즈(44)의 수직 후방 평면에 위치한 것으로 간주되는 이미지 센서부(42) 사이의 거리이다. "d"는 레이저원(33) 및 이미지 센서부(24)와 연관된 수집 렌즈(44) 사이의 오프셋 거리이다. "q"는 수집 렌즈(44) 및 대응하는 광점을 검출하는 픽셀 사이의 오프셋 거리이다. 여기에서, 검출 또는 이미지하는 픽셀(i)은 광점(XR,i, 71)과 연관된 열(Ci)에 의해 나타내어진다. "θ"는 광점(71)에 대한 레이저원(33)의 스캔각 또는 빔각이다. 다른 예로서, "q"는 픽셀 어레이(42)의 시야각 내의 광점의 오프셋으로 여겨질 수 있다.
수학식 1에서, "θ" 및 "q"만이 주어진 포인트 스캔에서 가변될 수 있다. 다른 파라미터들, 즉 "h" 및 "d"는 시스템(15)의 물리적 수치이므로 고정된다. 행(R, 75)이 스캔 라인(SR)의 등극선(epipolar line)이므로, 이미지되는 상이한 광점들에 대한 "q"의 값에 의해 나타나는 바와 같이, 물체(26)의 깊이 차이 또는 깊이 프로파일은 수평 방향에서 이미지 이동으로 반영된다. 후술되는 바와 같이, 본 발명의 실시 예들에 따른 타임 스탬프 기반 방법은, 캡처된 광점의 픽셀 위치 및 레이저원(33)의 대응하는 스캔각 사이의 대응관계를 찾는 데에 사용될 수 있다. 다시 말하면, 타임스탬프는 "q" 및 "θ" 사이의 관계를 나타낸다. 따라서, 알려진 스캔각(θ) 및 "q"로 나타내어지는 이미지된 광점의 대응하는 위치부터, 광점까지의 거리가 삼각 측량의 수학식 1을 이용하여 판별될 수 있다.
거리 측정에서 삼각 측량을 사용하는 것은 미국공개특허 제2011/0102763호에 기재되어 있으며, 본 발명의 레퍼런스로 포함된다.
도 4는 본 발명의 실시 예들에 따라 스캔된 광점들에 대한 타임스탬프의 예를 보여준다. 개별 타임스탬프의 생성의 추가적인 상세는 도 7을 참조하여 후술된다. 도 3과 반대로, 도 4의 예에서, 수집 렌즈(44) 및 레이저원(33)은 도 2에 도시된 실에 물리적 배치를 반영하여 오프셋을 갖는 것으로 도시된다. 예시적으로, 앞서 언급된 바와 같이, 도 4에 도시된 광점들(70~73)에 대응하는 스캔 라인(66)은, 레이저원(33)에 의해 물체 표면의 좌로부터 우로의 포인트 스캔에 기반하여 투사될 수 있다. 따라서, 첫 번째 광점(70)은 시간(t1)에 투사되고, 두 번째 광점(71)은 시간(t2)에 투사될 수 있다. 이러한 광점들은, 스캔 라인(SR)의 등극선인 행(R, 75)에서 픽셀들(90~93)에 의해 검출 또는 이미지화될 수 있다. 예시적으로, 광점을 검출할 때에 각 픽셀에 의해 수집된 전하는 아날로그 전압 형태이며, 후술되는 픽셀 특정 깊이 판별을 위해 픽셀 어레이 제어 및 처리부(46)로 출력될 수 있다. 아날로그 픽셀 출력들은 도 4에서 화살표(95)로 총괄적으로 표시된다.
도 4에 도시된 바와 같이, 행(R)의 각 검출 픽셀(90~93)은 연관된 열 번호들(C1~C4)을 가질 수 있다. 또한, 각 열은 수학식 1의 "q"를 가질 수 있다. 따라서, 픽셀 특정 타임스탬프(t1~t4)가 검출 픽셀들(90~93)에 대해 생성될 때(아래에서 상세하게 후술됨), 타임스탬프는 픽셀의 열 번호의 표시, 즉 픽셀 특정 "q" 값을 제공한다. 또한, 레이저원(33)은 점 특정 스캔각(θ)에 대해 미리 정해진 값들로 필요한 순서로 각 점을 조명하도록 제어된다. 따라서, 픽셀 어레이(42)의 픽셀들을 이용한 점 단위의 검출을 통해, 픽셀 어레이 제어 및 처리부(46)는 각 타임스탬프를 대응하는 조명점, 즉 점 특정(spot specific) 스캔각(θ)과 링크할 수 있다. 따라서, 타임스탬프는 픽셀 어레이(42)로부터 수신되는 각 픽셀 특정(pixel specific) 신호에 대해 수학식 1의 "q" 및 "θ"의 값들의 형태로, 캡처된 광점의 픽셀 위치 및 각 스캔각 사이의 대응 관계를 제공한다. 상술된 바와 같이, 스캔각 및 수학식 1의 "q"로 반영되는 픽셀 어레이(42)의 대응하는 검출 점의 위치의 값들을 통해, 광점의 깊이 판별이 가능하다. 이와 같은 방법으로, 픽셀 어레이(42)의 시야각 내의 물체(26)의 표면에 대한 3차원 깊이 지도가 생성될 수 있다.
도 5는 본 발명의 실시 예들에 따른 도 1 및 도 2의 이미지 센서(24)의 픽셀 어레이 제어 및 처리부(46)의 처리 회로들과 연관된 부분 및 2차원 픽셀 어레이(42)의 회로 상세를 보여준다. 앞서 언급된 바와 같이, 간결한 설명을 위하여, 픽셀 어레이(42)는 9개의 픽셀들(100~108)을 구비하며 3x3 어레이로 배열되는 것으로 도시된다. 그러나, 픽셀 어레이(42)는 다중 행들 및 열들에 배치된 수십만 또는 수백만의 픽셀들을 포함할 수 있다. 예시적으로, 각 픽셀은 도 5에 도시된 바와 같이 동일한 구성을 가질 수 있다. 도 5의 예에서, 2차원 픽셀 어레이(42)는 CMOS (Complementary Metal Oxide Semiconductor) 어레이이며, 각 픽셀은 4T PPD (Four Transistor Pinned Photo-diode) 픽셀이다. 간결한 설명을 위하여, 픽셀(108)의 회로 구성들만이 참조 번호들로 표시된다. 픽셀(108)의 동작의 설명은 다른 픽셀들(100~107)에 동일하게 적용될 수 있으며, 따라서 각 픽셀의 설명은 생략된다.
도시된 바와 같이, 4T PPD 픽셀(108) 또는 다른 픽셀(101~107)은 도시된 바와 같이 연결된 PPD (pinned photo-diode) 및 네 개의 NMOS (N-channel Metal Oxide Semiconductor) 트랜지스터들을 포함할 수 있다. 트랜지스터(111)는 전송 게이트(TG), FD (Floating Diffusion) 트랜지스터로 동작할 수 있다. 4T PPD 픽셀(108)은 다음과 같이 동작할 수 있다. 우선, PPD (110)는 입사된 광자들을 전자들로 변환하여, 광 입력 신호를 전하 도메인의 전기 신호로 변환한다. 이후에, 전송 게이트(111)가 닫히고, 광자로부터 생성된 전자들 모두가 PPD (110)로부터 FD로 전송된다. 전하 도메인의 신호는 차후 처리 및 측정의 용이성을 위해 전압 도메인으로 변환된다. FD의 전압은 픽셀 출력(PIXOUT) 신호로서 트랜지스터(114)를 이용하여 아날로그 디지털 변환기(ADC)로 전송되고, 후속 처리를 위한 적절한 디지털 신호로 변환된다. 픽셀 출력(PIXOUT)의 생성 및 처리에 대한 상세는 도 7 및 도 10 내지 도 11을 참조하여 후술된다.
도 5에서, 픽셀 어레이 제어 및 처리부(46)의 행 디코더 및 드라이버(116)는 세 개의 다른 신호들을 제공하여 픽셀 어레이(42)의 픽셀들의 동작을 제어하고, 열 특정(column specific) 픽셀 출력(PIXOUT) 신호들(117~119)을 생성한다. 도 4에서, 출력(95)은 픽셀 출력(PIXOUT) 신호들(117~119)을 총괄적으로 보여준다. 행 선택(RSEL) 신호는 적절한 픽셀들의 행을 선택할 수 있다. 예시적으로, 선택되는 행은 레이저원(33)에 의해 투사되는 현재 스캔 라인(또는 광점들)의 등극선(epipolar line)일 수 있다. 행 디코더 및 드라이버(116)는 프로세서(19)로부터 행 어드레스 및 제어 입력들(126)을 통해 선택될 행의 어드레스 또는 제어 정보를 수신할 수 있다. 예시적으로, 행 디코더 및 드라이버(116)는 픽셀(108)을 포함하는 행을 선택하는 것으로 가정된다. 픽셀 어레이(42)의 각 행의 픽셀들의 트랜지스터(예를 들어, 114)는 도시된 바와 같이 대응하는 RSEL 라인(예를 들어 122)에 연결될 수 있다. 리셋(RST) 신호는 선택된 행의 픽셀들에 인가되어 픽셀들을 미리 정해진 고전압 레벨로 초기화한다. 행 특정 리셋(RST) 신호들(128~130)이 도 5에 도시되며, 도 7, 도 10 및 도 11의 파형들을 참조하여 더 상세하게 설명된다. 각 픽셀의 트랜지스터(예를 들어, 112)은 도시된 바와 같이 대응하는 리셋(RST) 신호를 수신할 수 있다. 전송(TX) 신호는 후속 처리를 위한 픽셀 특정 출력 전압(PIXOUT)의 전송을 제어할 수 있다. 행 특정 전송(TX) 라인들(132~134)이 도 5에 도시된다. 전송 게이트 트랜지스터(예를 들어, 111)는 도 5에 도시된 바와 같이 대응하는 전송(TX) 신호를 수신할 수 있다.
앞서 언급된 바와 같이, 본 발명의 실시 예들에서, 이미지 센서부(24)의 2차원 어레이(42) 및 나머지 구성 요소들은 3차원 깊이 측정 뿐 아니라 2차원 RGB (또는 비-RGB) 이미징을 위해 사용될 수 있다. 따라서, 도 5에 도시된 바와 같이, 이미지 센서부(24)는 2차원 이미징 및 3차원 이미징에 사용되는 CDS (Correlated Double Sampling) 및 열 특정 ADC (열 당 하나의 ADC)를 모두 포함하는 픽셀 열 유닛(138)을 포함할 수 있다. 픽셀 열 유닛(138)은 픽셀 출력(PIXOUT) 신호들(117~119)을 수신하고, 이들을 처리하여 2차원 이미지가 생성되거나 또는 3차원 깊이가 획득될 수 있는 디지털 데이터 출력(Dout) 신호(140)를 생성할 수 있다. 픽셀 열 유닛(138)은 픽셀 출력(PIXOUT) 신호들(117~119)의 처리 동안에 참조 입력(142) 및 램프 입력(143)을 수신할 수 있다. 픽셀 열 유닛(138)의 동작의 더 상세한 설명은 후술된다. 도 5에서, 열 디코더(145)는 픽셀 열 유닛(138)과 연결된다. 열 디코더(145)는 주어진 행 선택(RSEL) 신호와 함께 선택된 열에 대한 열 어드레스 및 제어 입력(147)을 예를 들어 프로세서(19)로부터 수신할 수 있다. 열 선택은 순차적이며, 대응하는 행 선택(RSEL) 신호에 의해 선택된 행의 각 픽셀로부터 순차적으로 픽셀 출력(PIXOUT)이 수신된다. 프로세서(19)는 현재 투사되는 광점들의 스캔 라인을 알고 있을 수 있다. 따라서, 프로세서(19)는 적절한 행 어드레스 입력을 제공하여, 현재 스캔 라인의 등극선을 형성하는 행의 픽셀들을 선택할 수 있다. 또한, 프로세서(19)는 적절한 열 어드레스 입력을 제공하여 픽셀 열 유닛(138)을 활성화하고, 선택된 행의 개별 픽셀들로부터 픽셀 출력들(PIXOUT)을 수신할 수 있다.
도 5에서, 본 발명의 실시 예들에 따른 2차원 및 3차원 이미징을 위한 4T PPD 픽셀 디자인이 설명되었으나, 다른 타입의 픽셀들이 2차원 픽셀 어레이(42)에 사용될 수 있다. 예를 들어, 픽셀 어레이(42)의 각 픽셀은 도 5의 4T PPD에서 전송 게이트 트랜지스터(예를 들어, 111)를 생략한 3T 픽셀일 수 있다. 다른 예로서, 1T 픽셀 또는 2T 픽셀이 사용될 수 있다. 다른 예로서, 픽셀 어레이(42)의 각 픽셀은, 둘 또는 그보다 많은 이웃한 픽셀들에서 트랜지스터들 및 독출 회로가 공유되는 공유 트랜지스터 픽셀 구조를 가질 수 있다. 공유 트랜지스터 픽셀 구조에서, 각 픽셀은 포토 다이오드 및 전송 게이트 트랜지스터 중 적어도 하나를 갖는다. 나머지 트랜지스터들은 둘 또는 그보다 많은 픽셀들에서 공유될 수 있다. 공유 트랜지스터 픽셀의 일 예는, 2개의 픽셀들에서 5개의 트랜지스터들이 사용되어 픽셀 당 2.5T 구성을 갖는 2-공유(1x2) 2.5T 픽셀이다. 픽셀 어레이(42)에서 사용되는 공유 트랜지스터 픽셀의 다른 예는, 4개의 픽셀들이 독출 회로를 공유하고 각 픽셀은 포토 다이오드 및 전송 게이트(TX) 트랜지스터 중 적어도 하나를 갖는 1x4 4-공유 픽셀이다. 기술되지 않은 다른 픽셀 구성들이 본 발명의 기술적 사상에 따른 2차원 및 3차원 이미징을 위해 적절히 구현될 수 있다.
도 6a는 본 발명의 실시 예들에 따른 도 5의 이미지 센서부(24)의 예시적인 레이아웃을 보여준다. 도 6a에서, 간결한 설명을 위하여, 구성에 대한 간략한 설명만이 제공되며, 동작에 대한 더 상세한 설명은 도 7, 도 10 및 도 11을 참조하여 제공된다. 도시된 바와 같이, 도 6a의 이미지 센서부(24)는 도 5의 행 디코더 및 드라이버(116)을 총괄적으로 포함하는 행 디코더부(149) 및 행 드라이버부(150)를 포함한다. 도 6a에 도시되지 않았지만, 행 디코더부(149)는 행 어드레스 입력(예를 들어, 도 5의 126)을 예를 들어 프로세서(19)로부터 수신하고, 수신된 입력을 디코드하여 행 드라이버부(150)를 활성화할 수 있다. 행 드라이버부(150)느 행 디코더(149)에 의해 선택된 또는 디코드된 행에 적절한 행 선택(RSEL), 리셋(RST) 및 전송(TX) 신호를 제공할 수 있다. 행 드라이버부(150)는 제어 신호를 예를 들어 프로세서(19)로부터 수신하여, 행 선택(RSEL), 리셋(RST) 및 전송(TX) 신호들의 적절한 전압 레벨들을 적용할 수 있다. 도 6a의 이미지 센서부(24)에서, 열 ADC 유닛(153)은 도 5의 픽셀 열 유닛(138)을 나타낼 수 있다. 간결한 설명을 위하여, 도 6a에서, 행 드라이버부(150)로부터의 행 선택(RSEL), 리셋(RST) 및 전송(TX) 신호들과 같은 다양한 행 특정(row specific) 드라이버 신호들은 참조 번호 "155"를 이용하여 통합적으로 참조된다. 마찬가지로, 도 5의 픽셀 출력(PIXOUT) 신호들(117~119)과 같은 모든 열 특정 픽셀 출력들(PIXOUT)은 참조 번호 "157"을 이용하여 통합적으로 참조된다. 열 ADC 유닛(153)은 픽셀 출력(PIXOUT) 신호들(157), 참조 신호 생성기(159)로부터의 참조 입력(142), 그리고 램프 신호(143)을 수신하고, 픽셀들의 열들에 대한 대응하는 열-특정 ADC를 이용하여 픽셀 특정 출력을 생성할 수 있다. 2차원 이미징은 도 10을 참조하여 더 상세하게 설명된다. 예시적으로, 열 ADC 유닛(153)은 도 5의 픽셀 열 유닛(13)의 경우와 같이 CDS를 위한 회로를 포함하며, 픽셀들의 리셋 레벨 및 수신된 신호 레벨 사이의 차이인 CDS 출력을 생성할 수 있다. 예시적으로, 3차원 깊이 값들은 2차원 이미지와 조합되어 물체의 3차원 이미지를 생성할 수 있다.
열 ADC 유닛(153)은 2차원 픽셀 어레이(42)의 픽셀 열 당 별도의 ADC를 포함할 수 있다. 각 열 특정 ADC는 픽셀 출력(PIXOUT)과 함께 램프 신호 생성기(163)로부터 대응하는 램프 입력(143)을 수신할 수 있다. 예시적으로, 램프 신호 생성기(163)는 참조 신호 생성기(159)로부터의 참조 전압 레벨에 기반하여 램프 입력(143)을 생성할 수 있다. 열 ADC 유닛(153)의 각 열 특정 ADC는 수신된 입력들을 처리하여 대응하는 디지털 데이터 출력(Dout) 신호(140)를 생성할 수 있다. 열 디코더부(145)로부터, 열 ADC 유닛(153)은 어떤 ADC 출력이 읽힐 것인지 그리고 디지털 데이터 출력(Dout)으로 출력될 것인지에 대한 정보를 수신하고, 주어진 행에서 어떤 열을 선택하여 픽셀 출력(PIXOUT)을 수신할 것인지에 대한 정보를 수신할 수 있다. 도 6a에 도시되지 않았지만, 열 디코더부(145)는 열 어드레스 입력(예를 들어, 도 5의 147)을 예를 들어 프로세서(19)로부터 수신하고, 수신된 입력들 디코드하여 열 ADC 유닛(153)을 활성화할 수 있다. 열 ADC 유닛(153)은 적절한 픽셀 열을 선택할 수 있다. 도 6a의 예에서, 디코딩된 열 어드레스 신호들은 참조 번호 "165"를 이용하여 통합적으로 식별된다.
열 ADC 유닛(153)으로부터의 디지털 데이터 출력(Dout) 신호들(140)은 디지털 처리 블록(167)에 의해 처리된다. 예시적으로, 2차원 RGB 이미징 모드에 대해, 각 ADC 특정 데이터 출력(140)은 대응하는 픽셀에 의해 수집된 실제 광자들에 대응하는 다중 비트 디지털 값일 수 있다. 반면, 3차원 측정 모드에서, 각 ADC 특정 데이터 출력(140)은 각 픽셀이 대응하는 광점을 검출한 때를 나타내는 타임스탬프일 수 있다. 본 발명의 실시 예들에 따른 타임스탬프 방법은 더 상세하게 후술된다. 디지털 처리 블록(167)은 타이밍 생성, 2차원 이미징 모드에서 데이터 출력들(140)을 처리하는 이미지 신호 처리(ISP, Image Signal Processing), 3차원 이미징 모드에서 깊이 계산을 제공하는 회로들을 포함할 수 있다. 디지털 처리 블록(167)은 인터페이스부(168)에 연결되어 처리된 데이터를 출력(170)으로 제공하고, 프로세서(19)가 3차원 물체의 2차원 RGB(또는 비-RGB) 이미지 또는 3차원 깊이 이미지를 시스템(15)의 표시 스크린에 나타내도록 할 수 있다. 인터페이스부(168)는 디지털 처리 블록(167)의 타이밍 생성 기능을 지원하는 클럭 신호들의 생성을 위한 PLL (Phase-Locked Loop)을 포함할 수 있다. 또한, 인터페이스부(168)는 디지털 처리 블록(167)에 의해 생성된 데이터에 대하여, 시스템(15)의 다른 구성 요소들 또는 회로 원소들과의 산업 표준 하드웨어 및 소프트웨어 인터페이스를 제공하는 MIPI (Mobile Industry Processor Interface)를 포함할 수 있다. MIPI 스펙은 넓은 범위의 모바일 제품들을 지원하며, 모바일 장치의 카메라, 표시 스크린, 전력 관리, 배터리 인터페이스 등을 위한 스펙을 제공한다. MIPI 표준화된 인터페이스들은 스마트폰의 카메라 또는 표시 스크린과 같은 모바일 장치의 주변 기기들 그리고 주변 기기들을 제공하는 벤더와 동일하지 않은 벤더로부터의 모바일 장치의 응용 프로세서 사이에 향상된 동작성을 제공한다.
도 6a에서, 타임스탬프 측정부(171)는 열 ADC 유닛(153)에 연결되고, 개별 열 특정 ADC에 적절한 측정(calibration) 신호들(172)을 제공하여, 열 특정 ADC가 3차원 특정(measurement) 모드에서 픽셀 특정 타입스탬프 값을 나타내는 출력을 생성하도록 제어할 수 있다. 타임스탬프 방법은 도 7을 참조하여 더 상세하게 후술된다.
도 6b는 본 발명의 실시 예들에 따른 3차원 깊이 측정을 위한 예시적인 CDS 및 ADC 유닛(175)을 보여준다. 간결한 설명을 위하여, CDS 및 ADC 유닛(175)은 이하에서 "ADC 유닛"으로 참조된다. 그러나, 아래에서 언급되는 "ADC 유닛"은 ADC 기능에 더하여 CDS 기능을 더 포함하는 것으로 해석된다. ADC 유닛(175)의 단순화된 구현은 도 6b에서 커패시터(176)를 이용하여 표현된다. 예시적으로, 2차원 픽셀 어레이(42)의 픽셀들의 각 열은 ADC 유닛(175)과 유사한 열 특정, 단일 기울기의 ADC 유닛을 포함할 수 있다. 따라서, 도 5의 예에서, 컬럼 당 1개의 ADC 유닛(175), 즉 픽셀 열 유닛(138)에 3개의 ADC 유닛들(175)이 제공될 수 있다. 도시된 바와 같이, 도 6b의 ADC 유닛(175)은 이진 카운터(181) 및 라인 메모리(183)과 함께 직렬 연결되는 두 개의 OTA (Operational Transconductance Amplifiers) (177, 179)를 포함한다. 간결한 설명을 위하여, 도 6b에서 OTA (177, 179)의 반전(-) 및 비반전(+) 전압 입력들만이 도시되어 있으며, 바이어스 입력들 및 전원 연결은 생략되어 있다. OTA는 차동 입력 전압들로 출력 전류를 생성하는 증폭이다. 따라서, OTA는 전압 제어 전류 소스일 수 있다. 증폭기의 트랜스컨덕턴스를 제어하기 위하여 전류 또는 전압의 바이어스 입력들이 이용될 수 있다. 첫 번째 OTA (177)는 열 디코더(145)로부터 수신되는 열 번호를 이용하여 활성화된 행에서 선택되는 도 5의 픽셀(108)과 같은 픽셀로부터의 픽셀 출력(PIXOUT) 전압의 CDS 버전을 CDS 유닛(176)으로부터 수신할 수 있다. 픽셀 출력(PIXOUT) 신호의 CDS 버전은 "PIX_CDS" 신호로 참조된다. OTA (177)는 도 6a의 램프 전압 생성기(163)f부터 Vramp 전압(143)을 수신할 수 있다. OTA (177)는, 도 7을 참조하여 후술되는 바와 같이, 픽셀 출력(PIXOUT) 전압(157)이 Vramp 전압(143) 밑으로 떨어질 때에 출력 전류를 생성할 수 있다. OTA (177)의 출력은 이진 카운터(181)에 적용되기 전에 두 번째 OTA (179)에 의해 필터링된다. 예시적으로, 이진 카운터(181)는 클럭(Clk) 입력(185)을 수신하고, 첫 번째 OTA (177)의 출력 전류의 생성에 의해 트리거되는 미리 정해진 시간 동안 카운팅되는 클럭 사이클들에 기반하여 타임스탬프 값을 생성하는 10비트 리플(ripple) 카운터일 수 있다. 도 6a에서, 클럭(Clk) 입력(185)은 시스템 전역 클럭 또는 인터페이스부1(168)의 PLL에 의해 또는 시스템(150의 다른 클럭 생성기(미도시)에 의해 생성되는 이미지 센서 특정 클럭일 수 있다. 픽셀 특정 타임스탬프 값(186)은 픽셀의 열 번호에 대하여 라인 메모리(183)에 저장되고, Dout 신호(140)로서 순차적으로 디지털 처리 블록(167)으로 출력된다. 열 번호 입력(165)은 도 6a에 도시된 열 디코더부(145)로부터 수신될 수 있다.
예시적으로, RGB 컬러 모델은 도 1 및 도 2의 시스템(15)과 같은 모바일 장치에서 이미지들의 감지, 표현 및 표시를 위해 사용될 수 있다. RGB 컬러 모델에서, 3원색, 즉 적색, 녹색 및 청색을 갖는 광 신호들이 다양한 방법들로 함께 더해져, 최종 이미지에서 색들의 광대한 어레이를 생성한다. CDS 모델은 2차원 이미징에서, 불필요한 오프셋을 제거하는 방법으로, 픽셀 또는 센서 출력 전압과 같은 전기 값들을 측정하는 데에 사용된다. 예를 들어, CDS 유닛(176)과 같은 CDS 유닛은 ADC 유닛(175)와 같은 각 열 특정 ADC 유닛에 적용되어, 상관 이중 샘플링(CDS, correlated double sampling)을 수행할 수 있다. CDS 에서, 픽셀의 출력은 두 번, 한 번은 알려진 조건에서 한 번은 알려지지 않은 조건에서 측정된다. 알려진 조건에서 측정된 값은 알려지지 않은 조건에서 측정된 값으로부터 감해지며, 측정된 물리량, 즉 이미지 신호의 픽셀 특정 부분을 나타내는 광전자 충전(photoelectron charge)과 알려진 관계를 갖는 값을 생성한다. CDS를 이용하여, 각 집적 구간의 끝에서 픽셀의 신호 전압으로부터 픽셀의 참조 전압(예를 들어, 리셋 이후의 전압)을 감함으로써 노이즈가 감소된다. 따라서, CDS에서, 픽셀의 전하가 출력으로 전달되기 전에, 리셋 값이 샘플된다. 픽셀의 전하가 전달된 후에, 참조 값이 공제된다.
예시적으로, ADC 유닛(175)은 2차원 이미징 및 3차원 깊이 측정 모두에 사용될 수 있다. 그러나, 이러한 공유 구성은 도 6b에 도시되어 있지 않다. 공유 사용의 경우, 대응하는 Vramp 신호가 2차원 이미징에 대해 다를 수 있다.
도 7은 본 발명의 실시 예들에 따라 3차원 선형 모드에서 타임스탬프 기반 픽셀 특정 출력을 생성하는 시스템(15)의 신호들의 예시적인 타이밍을 보여주는 타이밍도(190)이다. 앞서 언급된 바와 같이, 동일한 이미지 센서부(24) 내의 모든 픽셀들은 2차원 및 3차원 이미징에 사용될 수 있다. 그러나, 3차원 깊이 측정은 주변광의 레벨에 따라 3차원 선형 모드 또는 3차원 대수 모드를 이용하여 수행될 수 있다. 도 11을 참조하여 후술되는 바와 같이, 3차원 대수 모드는 주변광 차단이 필요한 때에 깊이 측정을 위해 사용도리 수 있다. 도 7은 3차원 선형 모드와 연관된 타이밍 파형들을 보여준다.
도 3 및 도 3를 참조하여 설명된 바와 같이, 3차원 물체(26)는 픽셀 어레이(42)의 행(R, 75)을 따라 한 번에 한 지점씩 레이저 광원(33)에 의해 포인트 스캔될 수 있다. "R"은 스캐닝 라인(SR, 66)과의 등극 관계에 기반하여 알려진 값이다. 한 행의 스캐닝 후에, 스캐닝 동작이 다른 행에서 반복된다. 레이저가 다음 지점을 투사할 때에, 이전에 투사된 광점은 행(R)의 대응하는 픽셀에 의해 이미지될 수 있다. 행(R)의 모든 픽셀들로부터의 픽셀 특정 출력들이 디지털 처리 블록(167, 도 6a 참조)의 깊이 처리 회로/모듈로 독출될 수 있다.
픽셀 특정 출력을 생성하기 위하여, 대응하는 행이 행 선택(RSEL) 신호를 이용하여 선택될 수 있다. 도 7에 도시된 바와 같이, 도 5의 행 디코더 및 드라이버(116)는 행 선택(RSEL) 신호(122)를 하이 레벨로 제어함으로써, 픽셀들(106~108)을 포함하는 픽셀들의 행을 선택할 수 있다. 따라서, 픽셀들(106~108)이 함께 선택된다. 간결한 설명을 위하여, 도 7에서, 도 5 및 도 7에 도시된 신호들, 입력들 또는 출력들에 대해 동일한 참조 번호들이 사용된다. 초기에, 선택된 행의 모든 픽셀들(106~108)이 리셋(RST) 신호(108)를 이용하여 고전압으로 리셋된다. 픽셀의 리셋 레벨은 대응하는 광점의 픽셀 특정 검출이 없는 때를 나타낸다. 본 발명의 실시 예들에 따른 3차원 선형 모드에서, 리셋(RST) 신호(128)는 미리 정해진 시간 동안 하이 레벨로부터 해제되어, 픽셀들(106~108)에 의해 수신되는 광전자들의 집적을 가능하게 하고, 대응하는 픽셀 출력(PIXOUT) 신호들(117~119)을 획득할 수 있다. 픽셀 출력(PIXOUT) 신호들(117~119) 중 두 개가 도 7에 도시되며, 후술된다. 픽셀 출력(PIXOUT1) 신호(119)는 픽셀(1080에 의해 대응하는 ADC 유닛에 공급되는 출력을 나타내며, 2점 쇄선으로 도시된다. 픽셀 출력(PIXOUT2) 신호(118)는 픽셀(107)에 의해 대응하는 ADC 유닛에 공급되는 출력을 나타내며, 점선으로 도시된다. 반면, 본 발명의 실시 예들에 따른 3차원 대수 모드에서, 리셋(RST) 신호(108)는 픽셀 출력의 생성 동안에 선택된 행에 대해 하이 레벨로 유지되며, 이에 대한 설명은 후술된다. 예시적으로, 다른 리셋(RST) 신호들(예를 들어, 도 5의 129 및 130)은 선택된 행들에 대해 하이 또는 온으로 유지되어 블루밍(blooming)을 방지할 수 있다. 도 7의 픽셀 출력(PIXOUT) 신호들(118~119)은 각 열 특정 ADC 유닛(175, 도 6b 참조)의 첫 번째 OTA (177)로 PIX_CDS 신호들로서 적용되기 전에, CDS 유닛(176)에 의해 수정될 수 있다. 그러나, 간결한 설명을 위하여, 도 7, 도 10 및 도 11에서 픽셀 출력(PIXOUT) 신호들(118~119)은 PIX_CDS 신호들을 나타내는 것으로 취급되며, 각 OTA (177)에 직접 입력되는 것으로 간주된다.
리셋 후에, 각 픽셀의 포토다이오드가 입사되는 조명, 예를 들어 3차원 물체(26)의 표면 상에 투사된 광점으로부터 반사되는 광의 광전자들을 수신할 때, 포토다이오드는 대응하는 광전류를 생성할 수 있다. 입사된 광의 픽셀의 검출은 온 이벤트로 불리며, 입사된 광의 광속의 감소는 오프 이벤트라 불린다. 온 이벤트에 응답하여 생성되는 광전류는 픽셀 출력(PIXOUT) 전압을 초기 리셋 레벨로부터 감소시킬 수 있다. 따라서, 픽셀은 수신되는 조명 또는 광 신호를 도 5 내지 도 7과 도 10 및 도 11의 픽셀 출력(PIXOUT) 신호로 통칭되는 대응하는 전기(아날로그) 전압으로 변환하는 트랜스듀서로 기능한다. 각 픽셀은 레이저원에 의해 투사되는 대응하는 광점들의 순서에 따라 개별적으로 읽혀질 수 있다. 아날로그 픽셀 출력(PIXOUT) 신호는 대응하는 열 ADC에 의해 디지털 값으로 변환될 수 있다. 2차원 이미징 모드에서, ADC는 아날로그 디지털 변환기로 기능하며, 다중 비트 출력을 생성한다. 그러나, 후술되는 바와 같이, 3차원 깊이 측정 모드에서, ADC는 시간 디지털 변환기로 기능하며, 광점이 픽셀에 의해 검출되는 시간을 나타내는 타임스탬프 값을 생성한다.
도 7을 다시 참조하면, 리셋(RST) 신호(128)를 하이로 제어하여 픽셀 리셋이 수행된 후에, 픽셀들(106~108)과 연관된 열 ADC 또한 리셋(RST) 신호가 해제되기 전에 리셋된다. 그러나, 전송(TX) 신호(132)는 하이로 유지도리 수 있다. ADC는 공통 ADC 리셋 신호 또는 개별 ADC 특정 리셋 신호들을 이용하여 리셋될 수 있다. 도 7의 예에서, 공통 ADC 리셋(ADC_RST) 신호(192)가 하이 레벨로 제어되어, 열 ADC (153, 도 6a 참조) 내의 열 특정 ADC (175)를 리셋하는 것으로 도시된다. 예시적으로, 픽셀들이 리셋된 후에, ADC는 이진 '0' 또는 다른 알려진 값과 같은 미리 결정된 이진 값으로 리셋될 수 있다. 도 7에서, 픽셀들(108, 107)과 연관된 ADC에 대한 리셋 값들은 신호들 ADCOUT1 (또는 ADC 출력 "A") 및 ADCOUT2 (또는 ADC 출력 "B")의 필드들(194, 195)로 도시된다. 여기에 사용된 "필드"는 도 7, 도 10 및 도 11에 도시된 ADC 출력들을 간결하게 설명하기 위한 용도로 사용된다. ADC 출력은 실제로 동시에 이러한 필드들로 구성되지 않을 수 있다. ADC 출력은 ADC의 신호 처리의 현재 단계에 의존하는 특정한 디지털 값일 수 있다. ADC가 리셋되면, 출력은 이진 "0"일 수 있다. ADC가 클럭 펄스들을 카운트하도록 제어되면, 출력은 도 7 및 도 10에서 3차원 깊이 측정의 케이스의 카운트 값일 수 있다. ADC가 2차원 이미징(도 10의 케이스)을 위해 사용되면, 출력은 이미지 신호를 나타내는 다중 비트 값일 수 있다. 도 7, 도 10 및 도 11의 ADC 출력 신호들은, ADC가 최종 출력을 위해 내부적으로 처리중인 상이한 디지털 값들을 표현하기 위한 용도로 "필드"로 참조된다. 도 7에서, 참조 번호 197은 픽셀(108)과 연관된 ADC의 출력을 나타내는 ADCOUT1 신호를 참조한다. 참조 번호 198은 픽셀(108)과 연관된 ADC의 출력을 나타내는 ADCOUT2 신호를 참조하는 데에 사용된다. 메모리 읽기 동안 열 디코더에 의해 각 ADC가 선택될 때, 출력들(197, 198)은 Dout 신호들(140)(도 5 및 도 7 참조)로 나타난다. 리셋되기 전에, ADC 출력들(197, 198)은 필드들(199, 200)에서 "x"로 표시된 바와 같이 알려지지 않은 값들을 가질 수 있다.
ADC가 리셋된 후에, 픽셀 리셋 신호(128) 및 ADC 리셋 신호(192)가 해제된 후에, 램프 입력(Vramp)을 미리 정해진 전압 레벨로 제어함으로써 미리 결정된 문턱 값이 활성화된다. 도 7의 예에서, RAMP 입력(143)은 모든 열 특정 ADC들에 공통이며, 각 ADC에 동일한 Vramp 전압이 제공된다. 그러나, 다른 예로서, 둘 또는 그보다 많은 ADC들에 상이한 Vramp 전압들이 ADC 특정 RAMP 입력들로 각각 적용될 수 있다. 예시적으로, Vramp 문턱은 필요에 따라 가변되는 것을 허용하는 프로그램 가능한 파라미터일 수 있다. 문턱(RAMP 신호)이 활성화된 후에, 픽셀 특정 ADC는 바이너리 카운터(181, 도 6b 참조)를 시작하기 전에 대응하는 픽셀의 온 이벤트를 기다릴 수 있다.
3차원 이미징 모드의 다중 비트 출력과 반대로, 3차원 깊이 측정 모드에서 각 ADC는 단일 비트 출력(이진 "0" 또는 "1")을 생성할 수 있다. 따라서, RGB 센서의 경우에, RGB 픽셀 어레이(42)에서 픽셀에 의해 수신되는 색 정보는 무시될 수 있다. 픽셀에 의해 검출되는 입사광이 없는 때에, 대응하는 ADCOUT 신호는 이진 "0"을 유지할 수 있다. 따라서, 온 이벤트가 없는 열들은 대응하는 ADCOUT 신호들로 "0" 또는 다른 알려진 디지털 값을 유지할 수 있다. 그러나, 픽셀이 입사광과 충돌한 때에, PIXOUT 신호는 도 7에서 PIXOUT1 및 PIXOUT2의 하강 기울기로 도시된 바와 같이 리셋 레벨로부터 하강하기 시작한다. 전하를 첫 번째로 수신하는 픽셀과 함께 시작하는 픽셀 전하가 읽혀지는 것을 가정하면, 도 4에 도시된 바와 같이, 읽기는 행의 최우측 픽셀에서 시작하고 최좌측 픽셀에서 종료된다. "t1"는 가장 빠른 시간이고, "t4"는 가장 늦은 시간이다. 따라서, 도 7의 예에서, 픽셀(108)의 출력(PIXOUT1)은 픽셀(107)의 출력(PIXOUT2)보다 먼저 읽힌다. PIXOUT1이 Vramp 문턱(143)에 도착하면, 단일 비트 ADCOUT1이 이진 "0"으로부터 이진 "1"로 뒤집힌다. 그러나, 이진 "1"을 출력하는 대신, 대응하는 ADC는 비트 뒤집힘이 발생한 시간을 기록할 수 있다. 다시 말하면, ADCOUT1에서 업카운트 필드(20)에 의해 표시된 바와 같이, 픽셀(108)과 연관된 ADC는 ADC에서 이진 카운터를 시작함으로써 시간 디지털 변환기로 기능할 수 있다. 업 카운트 구간 동안, ADC의 카운터는 도 6b에 도시된 바와 같이 각 ADC에 공급되는 CLK 신호(185)의 클럭 펄스들을 카운트할 수 있다. 카운트된 클럭 펄스들은 도 7에서 제1 카운트 클럭으로 도시되며, 업 카운트 필드에서 카운트된 값은 픽셀(108)에 대한 픽셀 특정 출력으로 제공될 수 있다. 도 7에서 제2 카운터 클럭 신호로 표시된 바와 같이, 픽셀(107)에 의해 수집된 전하에 대해 픽셀(107)과 연관된 ADC에서 유시한 카운팅이 발생할 수 있다. 업카운트 필드(207)에서 픽셀 특정 카운트된 값은 픽셀(107)에 대한 픽셀 특정 출력으로서 각 ADC에 의해 제공될 수 있다. 행 내의 모든 픽셀들을 스캔한 후에, 스캔된 행으로부터의 출력들이 디지털 처리 블록(167)의 깊이 계산부로 읽혀지는 동안, 다음 행에서 픽셀 단위 전하 수집 동작이 반복될 수 있다.
각 ADC 출력은, 레이저원(33)에 의해 조명된 물체의 표면상의 광점의 픽셀에 의한 검출의 시간 지표를 제공하는 타임스탬프 값을 나타낼 수 있다. 타임스탬프는 픽셀에 대한 광 도달 시간을 캡처한 것으로 여겨질 수 있다. 예시적으로, 타임스탬프 값은, 검출된 광점에 대해, ADC 유닛으로부터 수신되는 카운트된 클럭 펄스들의 카운트 값으로부터 디지털 처리 블록(167)에 의해 생성될 수 있다. 예를 들어, 디지털 처리 블록(167)은 카운트 값을 내부 시스템 시간 또는 다른 참조 시간과 연관함으로써 타임스탬프를 생성할 수 있다. 타임스탬프는 수신 종료 시에 생성되며, 따라서 레이저원(330에 의해 대응하는 광점이 투사된 정확한 시간을 나타낼 필요는 없다. 그러나, 타임스탬프 값은 디지털 처리 블록(167)이 타임스탬프가 생성된 광점들 사이의 시간적 관계를 수립하게 한다. 따라서, 디지털 처리 블록(167)은 시간적 관계를 이용하여 타임스탬프가 생성된 광점들까지의 거리들을 시간 순서로 판별할 수 있다. 가장 먼저 조명된 광점까지의 거리가 가장 먼저 판별될 수 있다. 가장 늦게 조명된 광점까지의 거리가 가장 늦게 판별될 수 있다. 예시적으로, 후술되는 바와 같이, 타임스탬프는 동일한 픽셀에서 이미지되는 다중 광점들로부터 발생하는 모호성의 해법을 제시할 수 있다.
모든 ADC 기반 카운터들은 램프 신호(143)가 미리 결정된 시간 구간이 경과한 후에 비활성화될 때에 동시에 중지할 수 있다. 도 7에서, 픽셀 전하 집적의 미리 결정된 시간 구간의 종료를 표시하는 램프 신호(143)의 천이는 점선(210)으로 표시되어 있다. 행 선택(RSEL) 신호(122) 및 리셋(RST) 신호(128)는 램프 신호(143)의 레벨의 변화와 실질적으로 동시에(210에서) 천이할 수 있다. 예시적으로, 모든 ADC 기반 카운터들은 210 라인에서 리셋될 수 있다. 다른 예로서, 모든 ADC 기반 카운터들은 픽셀 전하를 읽기 위한 다음 행의 선택 이전의 임의의 때에 리셋될 수 있다. 한 행의 픽셀들의 스캔의 종료에 따른 ADC의 리셋에도 불구하고, 전역적이고 지속적으로 유지되는 내부 시스템 시간 또는 다른 참조 시간에 대한 타임스탬프 값의 관계 수립으로 인해, 픽셀 어레이(42)의 각 픽셀의 타임스탬프 값은 별도로 유지된다.
도 7에서, 나중에 스캔되는 픽셀(107)은 먼저 스캔되는 픽셀(108)보다 작은 ADC 출력을 가질 수 있다. 따라서, 도시된 바와 같이, ADCOUT2는 ADCOUT1보다 적은 카운트 값을 가질 수 있다. 다른 예로서, 각 ADC 특정 카운터가 픽셀이 리셋된 때에 카운팅을 시작하고 그리고 픽셀의 출력 신호가 문턱(Vramp)보다 낮아지는 온 이벤트 때에 카운팅을 중지할 때, 나중에 스캔되는 픽셀은 먼저 스캔되는 픽셀보다 큰 ADC 출력을 가질 수 있다.
도 5 내지 도 7, 도 10 및 도 11에 도시된 회로들 및 파형들은 열 상승 업카운터를 갖는 단일 기울기 ADC에 기반한 것이다. 그러나, 타임스탬프 방법은 설계 요소에 따라 업카운터 또는 다운카운터로 구현될 수 있음이 이해될 것이다. 또한, 전역 카운터를 구비한 단일 기울기 ADC가 사용될 수도 있다. 예시적으로, 개별적인 열 기반 카운터들을 사용하는 대신에, 하나의 전역 카운터가 모든 열 ADC들에 의해 공유될 수 있다. 이 경우, 픽셀 신호가 램프 문턱(143) 밑으로 처음으로 떨어지는 온 이벤트를 열 기반 비교부(미도시)가 검출한 때에, 각 ADC의 라인 메모리(183, 도 6b 참조)와 같은 열 메모리는 전역 카운터의 출력을 래치하여 적절한 ADC 특정 출력을 생성할 수 있다.
도 7에 도시되지 않았지만, 암전류(dark current)와 동일한 비율로 Vramp 문턱을 감소시킴으로써, 암전류 오프셋이 제거될 수 있다. 암전류는 광자가 입사되지 않는 때에도 포토다이오드와 같은 광감지 장치를 통해 흐르는 상대적으로 적은 양의 전류일 수 있다. 이미지 센서에서, 암전류는 수집된 전하에서 잡음 또는 원치 않는 아티팩트를 유발할 수 있다. 암전류는 픽셀의 결함에서 유발될 수 있고, 광전류와 유사한 효과를 가질 수 있다. 따라서, 암전류로 인해, 픽셀 출력은 광이 없는 때에도(또는 픽셀에 의해 수신되는 광의 부재에도) 지속적으로 감소할 수 있다. 따라서, 전하 수집 동안에, 도 4 및 도 7을 참조하여 설명된 바와 같이 한 행의 픽셀들이 우측으로부터 좌측으로 스캔될 때, 좌측의 픽셀들은 우측의 픽셀들 보다 더 많은 암전류를 집적할 수 있다. 따라서, 암전류로 인한 거짓 이벤트의 등록을 방지하기 위하여, 미리 결정된 램프 문턱(Vramp)은 픽셀들의 행을 따라 암전류가 증가하는 비율로 감소 또는 조절되어, 암전류로 인해 감소된 픽셀 출력의 레벨을 보상할 수 있다. 예시적으로, 조절된 문턱 값은 픽셀의 출력(PIXOUT) 신호의 레벨 비교를 위해 사용될 수 있다. 따라서, 문턱 전압(Vramp)의 값은 각 ADC에 대해 가변 가능하고, 개별적으로 프로그램 가능할 수 있다. 예시적으로, 특정 ADC와 연관된 모든 픽셀들은 동일한 Vramp 값을 가질 수 있다. 다른 예로서, 각 픽셀은 대응하는 ADC에서 프로그램 가능한 픽셀 특정 램프 문턱(Vramp)을 가질 수 있다.
광점들의 행이 물체의 표면을 따라 스캔될 때, 스캔되는 물체로부터의 둘 또는 그보다 많은 상이한 광점들이 동일한 픽셀에서 이미지된다. 광점들은 동일한 스캔 라인들 또는 인접한 스캔 라인들에 형성될 수 있다. 다중 광점들이 물체의 표면을 따라 스캔될 때, 중복 이미징은 광점들 및 픽셀 온 이벤트들의 관계에 부정적인 영향을 주며, 따라서 깊이 측정에서 모호성을 유발한다. 예를 들어, 깊이 측정은 이미지되는 광점의 스캔 각(θ) 및 수학식 1에서 파라미터(q)로 주어진 픽셀 위치와 연관된다. 따라서, 스캔 각이 주어진 광점에 대해 정확하게 알려지지 않으면, 깊이 계산은 부정확할 수 있다. 마찬가지로, 둘 또는 그보다 많은 광점들이 동일한 q 값을 가지면, 깊이 계산은 모호해질 수 있다. 본 발명의 실시 예들에 따른 타임스탬프 기반 방법은, 캡처된 광점의 픽셀 위치 및 대응하는 레이저원의 스캔각 사이의 정확한 관계를 유지할 수 있다. 다시 말하면, 타임스탬프는 파라미터들(q, θ) 사이의 관계를 나타낼 수 있다. 따라서, 데이터 출력점의 관점에서, 두 개의 광점들이 동일한 픽셀 또는 열에 도달하면, 타임스탬프 방법의 시간 디지털 변환은 디지털 처리 블록(167, 도 6b 참조)이 두 개의 광점들 사이의 시간 관계를 수립하여 시간 상으로 어느 광점이 먼저 수신되는지 식별할 수 있다. 이러한 관계는 타임스탬프를 사용하지 않고 구조광 방법을 사용하는 기존의 다중 시야 시스템들에서 용이하지 않다. 따라서, 이러한 시스템들은 해당 문제를 해결하기 위하여 다수의 데이터 검색 및 픽셀 매칭을 수행하여야 한다.
예시적으로, 다중 광점들이 동일한 픽셀에 의해 이미지될 때, 이 광점들의 타임스탬프들이 비교되어 가장 먼저 수신된 광점이 식별되고, 해당 광점으로의 거리만이 계산되고, 동일한 픽셀에서 이후에 수신되는 모든 광점들은 무시된다. 따라서, 가장 먼저 수신된 광점의 타임스탬프는 대응하는 픽셀의 픽셀 특정 출력으로 취급된다. 다른 예로서, 가장 마지막에 수신된 광점의 거리가 계산되고, 동일한 픽셀의 다른 광점들은 무시될 수 있다. 어느 경우에든, 첫 번째 또는 마지막 광점 사이에 수신되는 광점은 깊이 계산에서 무시될 수 있다. 수학적으로, 레이저원에 의해 투사되는 광점의 스캔 시간은 "t(0), t(1), ..., t(n)"으로 주어지며, "t(i+1) - t(i) = d(t)"는 상수이다. 픽셀 또는 열 출력들은 "a(0), a(1), ..., a(n)"으로 주어지며, 이들은 온 이벤트들에 대한 타임스탬프들이다. "a(i)"는 항상 "t(i)" 이후이며 "a(i+1)" 이전이다. "a(i)" 및 "a(k)"(i와 k는 다름)가 동일한 픽셀 또는 열과 연관되면, 이들 중 하나만이 저장되어 깊이 계산의 모호성이 제거된다. 스캔 시간 및 출력 시간(예를 들어, 타임스탬프) 사이의 시간 관계에 기반하여, 디지털 처리 블록(167)은 어느 출력점이 소실되었는지 판별할 수 있다. 디지털 처리 블록(167)이 소실된 위치를 복원할 수 없지만, 가용한 출력점들로부터의 깊이 계산은 물체의 수용 가능한 3차원 깊이 프로파일을 제공하는 데에 충분하다. 예시적으로, 두 개의 상이한 픽셀들이 동일한 광점의 부분을 이미지할 수 있다. 예시적으로, 이러한 두 개의 픽셀들로부터의 타임스탬프 출력들의 값들이 근사한 것에 기반하여, 디지털 처리 블록(167)은 두 개의 상이한 픽셀들에 의해 단일 광점이 이미지되었음을 추론할 수 있다. 모호성을 해결하기 위하여, 디지털 처리 블록(167)은 타임스탬프들을 이용하여 각 위치 값들(q)의 평균을 찾고, q의 평균을 수학식 1에 적용하여 공유된 광점의 3차원 깊이를 계산할 수 있다.
도 8는 본 발명의 실시 예들에 따라 3차원 값들을 계산하는 데에 사용되는 예시적인 룩업 테이블(215)을 보여준다. LUT (Look-Up Table) 기반 방법은 수학식 1을 이용하여 삼각 측량 기반의 온-더-플라이 깊이 계산들에 사용될 수 있다. LUT (215)는 스캔 라인(SR)에 대한 파라미터들(θ, q, Z)의 목록을 보여준다. 파라미터들 사이의 관계는 수학식 1로 주어진다. LUT (215)는 다중 스캔 라인들에 대해 파라미터들의 값들로 미리 채워질(또는 계산될) 수 있으며, 하나의 스캔 라인(SR)만이 도 8에 도시된다. 미리 채워진 LUT (215)는 시스템 메모리(20, 도 1 및 도 2 참조), 프로세서(19)의 내부 메모리(미도시), 또는 디지털 처리 블록(167, 도 6a 참조) 내에 저장될 수 있다. 초기에, LUT (215)를 채우기 위하여, 스캔 라인(SR)을 따라 광점이 참조 거리(Zi), 예를 들어 1미터에서 특정한 스캔 각(θi)을 이용하여 투사될 수 있다. Zi 및 θi는 수학식 1에서 사용되어 대응하는 값(qi)이 계산될 수 있다. 스캔 라인(SR)에 대해 이미지되는 광점이 나타나는 열 또는 픽셀을 가리킬 수 있다. 상이한 값들(Zi , θi)이 사용되어 대응하는 값(qi)이 획득될 수 있다. 스캐닝 라인(SR)의 광점에 대해 Zi의 실제 및 미리 결정된 값들 사이에 차이(ΔZ)가 존재하면, 대응하는 열 또는 픽셀은 Δq 이동될 수 있다. LUT (215)의 값들은 필요에 따라 조절될 수 있다. 이러한 방법으로, 각 스캔 라인(SR)에 대해, LUT (215)가 수학식 1의 삼각 측량을 이용하여 깊이 값들(Zi)이 Zi 및 θi의 함수로 미리 채워질 수 있다. 앞서 언급된 바와 같이, 미리 채워진 LUT는 시스템(15)에 저장될 수 있다. 동작 동안에, 사용자에 의해 선택된 3차원 물체에 투사되는 광점들의 스캔 라인에서 각 광점에 대해, 실제 값들(Zi , θi)이 LUT (215)에 대한 입력으로 사용되어, 대응하는 값(Zi)이 도출될 수 있다. 디지털 처리 블록(167)의 프로세서(19)는 상술된 룩업을 수행하도록 구성될 수 있다. 따라서, 물체의 3차원 프로파일이 삼각 측량을 이용하여 계량된 LUT를 이요한 보간을 통해 생성될 수 있다.
본 발명의 실시 예들에 따른 삼각 측량을 이용한 타임스탬프 기반의 3차원 깊이 측정에 따르면, ADC는 단일 비트의 낮은 해상도를 갖는 이진 비교기로 사용된다. 따라서, ADC에서 매우 적은 전력이 소비되고, 시스템 전력이 절약된다. 반면, 전통적인 3차원 센서들에서, 고해상도 ADC는 더 큰 처리 전력을 필요로한다. 또한, 타임스탬프 기반 모호성 해상도는, 모호성을 해결하기 위해 검색 및 픽셀 매치에 큰 처리 전력을 필요로하는 전통적인 이미징 방법과 비교하여 시스템 전력을 절약할 수 있다. 단일 이미징 단계에서의 모든 포인트 스캔 광점들의 이미징 또는 검출로 인해 모든 거리 측정들이 한 번에 수행되므로, 레이턴시 또한 감소된다. 예시적으로, 픽셀 어레이의 각 픽셀은 단일 스토리지 픽셀일 수 있으며, 다라서 1마이크로미터만큼 작게 제조될 수 있다. 단일 스토리지 픽셀 디자인에서, 픽셀 당 하나의 포토다이오드 및 k나의 정션 커패시터만이 사용되어, 광전자를 집적 및 저장할 수 있다. 반면, 다른 시간에 전달되는 광전자들을 저장하기 위한 다중 커패시터들 및 하나의 포토다이오드를 구비한 픽셀은 1마이크로미터 만큼 작은 사이즈로 감소될 수 없다. 따라서, 본 발명의 실시 예에 따른 소형 센서를 구비한 저전력 3차원 이미징 시스템은 카메라, 스마트폰 또는 태블릿과 같은 모바일 응용들에 용이하게 구현될 수 있다.
도 9는 도 1 및 도 2의 이미지 센서부와 같은 이미지 센서가 본 발명의 실시 예들에 따른 2차원 이미징 및 3차원 깊이 측정을 위해 사용되는 방법을 보여주는 순서도(220)이다. 앞서 언급된 바와 같이, 미지 센서는 모바일 폰, 스마트폰, 랩톱 컴퓨터, 태블릿의 카메라 시스템의 일부 또는 산업 로봇 또는 가상 현실 장치의 카메라 시스템의 일부일 수 있다. 예시적으로, 장치의 모드 스위치는 사용자가 2차원 카메라 모드 및 깊이 측정을 이용한 3차원 이미징 모드를 선택하도록 할 수 있다. 전통적인 2차원 카메라 모드에서, 사용자는 장면 내의 3차원 물체 또는 장면의 컬러(RGB) 이미지 또는 스냅숏을 캡처할 수 있다. 그러나, 3차원 모드에서, 사용자는 포인트 스캔 기반 깊이 측정을 수행하는 카메라 시스템에 기반하여 물체의 3차원 이미지를 획득할 수 있다. 어느 모드에서든, 필요한 이미징을 수행하기 위하여 동일한 이미지 센서가 사용될 수 있다. 다시 말하면, 이미지 센서의 각 픽셀은 2차원 또는 3차원 이미징에 모두 사용될 수 있다. 이러한 동일한 이미지 센서를 이용한 이중 모드 동작이 도 9에 도시되어 있다.
도 9에 도시된 다양한 단계들은 시스템(15)의 단일 모듈 또는 모듈들의 조합에 의해 수행될 수 있다. 예시적으로, 구체적인 작업들이 구체적인 모듈들에 의해 수행되는 것으로 설명된다. 그러나, 다른 모듈들이 해당 작업들을 수행하도록 적절하게 구성될 수 있다.
도 9에 도시된 바와 같이, 블록(222)에서, 이미지 센서는 주변광에 의해 조명되는 3차원 물체의 2차원 이미지를 캡처하도록 제공될 수 있다. 예시적인 3차원 물체(26)는 도 2 내지 도 4에 도시되어 있다. 이미지 센서는 도 2 및 도 5에 도시된 2차원 픽셀 어레이(42)와 같은 2차원 어레이에 배열된 복수의 픽셀들을 구비할 수 있다. 블록(224)에서, 도 2에 도시된 레이저 광원(33) 또는 광원 모듈(22)과 같은 레이저원은 레이저원으로부터의 광으로 포인트 스캔을 이용하여 3차원 물체를 조명할 수 있다. 레이저원으로부터의 광은 추가적인 주변광과 함께 제공될 수 있다. 포인트 스캔은 도 3 및 도 4를 참조하여 서술되었다. 블록(226)에서, 레이저 및 주변광에 의해 조명되는 3차원 물체의 깊이가 이미지 센서의 적어도 하나의 행들을 이용하여 판별될 수 있다. 본 발명의 실시 예들에 따른 타임스탬프를 이용한 삼각 측량 기반 깊이 측정은 앞서 서술되었다. 도 9에 도시된 방법은 도 1 및 도 2의 장치(15)와 같은 장치가 별도의 이미지 센서 없이도 3차원 및 3차원 이미징을 수행하도록 할 수 있다.
도 10은 본 발명의 실시 예들에 따른 2차원 선형 모드를 이용하여 2차원 이미지를 생성하는 도 1 및 도 2의 시스템(15)의 신호들의 타이밍을 보여주는 타이밍도(230)이다. 2차원 이미지는 카메라 플래시 또는 다른 유사한 구성일 포함하는 주면 광 조명 아래에서 장면 또는 장면 내의 3차원 물체의 RGB 이미지일 수 있다. 그러나, 도 7 및 도 11의 3차원 이미징 연관 실시 예들과 달리, 도 10의 2차원 이미징의 예에서 레이저원(33, 도 2 참조)에 의한 조명은 수행되지 않는다. 도 10에 도시된 많은 신호들은 도 7에도 도시되어 있다. 도 7에서 언급된 설명을 참조하여, 도 10에서 핵심적인 측면들만 설명된다. 도 10의 제어 신호들(RSEL, RST, TX, RAMP, ADC_RST)은 도 5의 픽셀들(106~108)을 포함하는 픽셀들의 행에 대한 것이며, 도 7 및 도 10에서 신호들의 파형들 및 타이밍이 다름에도 도 7과 동일한 참조 번호들을 이용하여 식별된다. 또한, 도 10은 도 5의 단일 픽셀(108)에 대한 것이다. 따라서, 도 10의 PIXOUT 신호(119), 카운터 클럭 신호(204), 그리고 ADCOUT 신호(197)는 도 7의 대응하는 신호들(PIXOUT1, 제1 카운터 클럭, ADCOUT1)과 동일한 참조 번호들을 이용하여 도시된다. 픽셀 출력(119)은 미리 정해진 시간 구간 동안 픽셀(108)에 의해 수집되는 광전자들을 선형으로 집적함으로써 생성된다. 도 10의 픽셀(108)에 대한 설명은 픽셀 어레이(42)의 다른 픽셀들과 연관된 대응하는 신호들에 적용될 수 있다.
예시적으로, 도 6b의 ADC 유닛(175)과 같은 열 특정 ADC는 단일 기울기 ADC일 수 있다. 도 7에서와 같이, 동일 행의 픽셀들은 도 10에서 RSEL 신호(122) 및 RST 신호(128)로 도시된 바와 같이 함께 선택 및 리셋될 수 있다. 열 ADC는 공통 ADC_RST 신호(192)를 이용하여 리셋될 수 있다. 도 10에서, 픽셀(108)과 연관된 ADC의 리셋 상태는 ADCOUT 신호(197)에서 필드(234)로 표시된다. 픽셀(108) 및 ADC가 리셋된 후에, 문턱 또는 참조 전압 레벨이 RAMP 신호(143)의 전압 레벨(236)로 도시된 바와 같이 활성화된다. RAMP 신호는 전압 레벨(236)로부터 하강하여 ADCOUT 신호(197)의 필드(238)로 도시된 바와 같이 ADC 유닛의 비교기 오프셋을 디지털화한다. 예시적으로, 카운트 클럭(204)의 클럭 펄스들은 오프셋(238)으로서 카운트 값을 생성하는 데에 사용될 수 있다. 클럭 펄스들은 RAMP 신호(143)가 문턱 레벨(236)에 도달한 때부터 픽셀 출력의 리셋 레벨, 즉 PIXOUT 신호(119)로 하강할 때가지 카운트될 수 있다. 이후에, 각 전송(TX) 신호(132)가 트리거되어 포토다이오드(110)에 축적된 전하가 출력을 위해 FD 트랜지스터(111)로 전달된다. TX 펄스가 활성화된 동안, RAMP 신호(143)는 문턱 레벨(236)로 상승하고, 픽셀 특정 ADC의 카운터(181, 도 6b 참조)는 필드(240)로 표시된 바와 같이 반전 오프셋 값으로 초기화될 수 있다. 반전 오프셋 값(240)은 오프셋 값(238)의 음의 값을 나타낸다. TX 펄스(132)가 비활성화된 후에, 픽셀(108)에 대한 ADC 유닛은 RAMP 문턱(143)이 PIXOUT 신호(119)의 레벨까지 하강할 때까지 수신된 픽셀 신호(PIXOUT)를 디지털화한다. 이 동작은 ADCOUT 신호(197)에서 업카운트 필드(242)로 도시되어 있다. 카운트 값(242)은 카운터 클럭(204)의 클럭 펄스들에 기반하며, 필드(238)의 오프셋 카운트 및 참조 번호 243을 이용하여 도시된 픽셀(108)에 대한 이미지 신호의 픽셀 특정 부분을 포함하는 조합 값을 나타낸다. ADC 유닛의 비교기(미도시)는 필드(238)의 디지털화된 비교기 오프셋 값을 업카운트 값(242)과 비교할 수 있다. 따라서, RGB 이미지 신호(244)는 필드들(240, 242)의 ADC 값들을 더함으로써 획득되며, 업카운트 필드(242)에서 조합 값(오프셋 및 신호의 합)으로부터 오프셋 값(238)이 효과적으로 제거된다.
도 10의 동작은 픽셀 어레이(420의 각 픽셀에 대해 수행될 수 있다. 각 열 ADC는 카운터(181, 도 6b 참조)와 같은 ADC 기반 카운트로부터의 다중 비트 출력의 형태로 대응하는 RGB 이미지 신호를 생성할 수 있다. 도 10에서 참조 번호 244와 같은 다중 비트 출력은 이미지 신호의 색 정보를 효과적으로 나타낼 필요가 있다. 열 ADC 유닛(153)의 ADC로부터 출력되는 RGB 이미지 신호 출력들은 Dout 신호(도 6a 및 도 6b 참조)로 총괄적으로 나타내어지며, 디지털 처리 블록(167)에 의해 처리되어 인터페이스부(168)를 통해 장면의 2차원 컬러 이미지를 표현할 수 있다.
도 10에 도시된 2차원 이미징 및 연관된 파형들은 미국등록특허 제7,990,304호로부터 획득될 수 있으며, 본 발명의 레퍼런스로 포함된다.
도 11은 본 발명의 실시 예들에 따라 3차원 대수 모드에서 타임스탬프 기반 픽셀 특정 출력을 생성하는 시스템(15)의 신호들의 타이밍을 보여주는 타이밍도(250)이다. 앞서 언급된 바와 같이, 3차원 깊이 특정은 주변광의 레벨에 따라 3차원 선형 모드 또는 3차원 대수 모드를 이용하여 수행될 수 있다. 또한, 3차원 깊이 측정 동안에, 도 2의 3차원 물체(26)와 같은 3차원 물체는 레이저원으로부터의 가시광(또는 근적외선과 같은 다른 광) 뿐 아니라 주변광에 의해서도 조명된다. 따라서, 주변광이 3차원 선형 모드에 의해 거부될 정도로 너무 강할 때에, 3차원 대수 모드가 깊이 측정을 위해 사용될 수 있다. 최종 이미지 신호로부터 오프셋 또는 다른 잡음을 제거하기 위한 CDS 기반 이미징의 관점에서, 대수 모드는 도 10에 도시된 2차원 이미징 연관 파형들에서 필요하지 않다. 그러나, 본 발명의 실시 예들에 따른 3차원 깊이 측정의 경우에, 강한 주변광은 포인트 스캔 시에 레이저원으로부터의 광을 방해할 수 있다. 3차원 선형 모드에서, 이러한 간섭은 포인트 스캔되는 광점으로부터 반사되는 가시 또는 근적외선 광을 압도 또는 억압하며, 광점으로부터 수신되는 광의 부정확한 검출을 유발할 수 있다. 따라서, 주변광의 광속이 미리 정해진 조명 레벨, 예를 들어 10000k 럭스보다 높을 때에, 주변광에 기인하는 픽셀 전하를 거부할 것이 요구된다. 이러한 주변광 거부는 도 11에 도시된 3차원 대수 모드를 이용하여 달성될 수 있다.
앞서 언급된 바와 같이, 도 7, 도 10 및 도 11에 도시된 동일한 참조 번호들은 유사한 이름의 신호들(또는 유사한 기능을 갖는 신호들)일 참조할 수 있다. 그러나, 도 7, 도 10 및 도 11에 도시된 신호들은 이미징의 특정 모드들과 연관된다. 예를 들어, 도 10에 도시된 타이밍도(230)는 사용자가 2차원 컬러 이미징 모드를 선택한 때의 신호들의 관계를 보여준다. 그러나, 도 7 및 도 11에서, 유사한 이름의 신호들은 3차원 이미징에 연관되며, 따라서 상이한 타이밍 관계들을 갖는다. 또한, 도 7 및 도 11 사이에서도, 도 7은 3차원 선형 모드와 연관되고 도 11은 3차원 대수 모드와 연관되는 만큼, 일부 신호들의 파형들이 다를 수 있다. 도 7을 참조하여 설명된 관점에서, 도 11의 특이점만이 설명된다. 도 7과 마찬가지로, 도 11의 타이밍도(250)는 도 5의 픽셀들(107, 108)을 참조한다. 그러나, 도 11의 설명은 픽셀 어레이(42)의 다른 픽셀들에 적용될 수 있다.
3차원 선형 모드에서, 픽셀 특정 출력은 미리 정해진 시간 구간 동안 픽셀에 의해 수집되는 광전자들을 선형으로 집적함으로써 생성된다. 따라서, 선형 모드에서, 픽셀의 출력 전압은 주어진 시간 구간 동안에 수집된 또는 집적된 광자들에 비례한다. 그러나, 3차원 대수 모드에서, 픽셀 특성 출력은 3차원 물체로부터 반사되는 레이저 광을 검출함에 따라 미리 정해진 시간 동안 픽셀에 의해 생성되는 광전류의 자연 로그에 비례할 수 있다. 수학적으로, 도 5의 PPD (110)과 같은 포토다이오드에 의해 생성되는 광전류는 수학식 2로 표현된다.
Figure pat00002
수학식 2에서, "Iph"는 다이오드의 광전류이고, "Vph"는 다이오드에 걸친 전압이고, "VT"는 열전압이다. 따라서, 주변광 거절이 필요한 때에, "Vph" 및 각 픽셀 출력(PIXOUT)은 다이오드 전류(Iph)의 자연 로그에 비례한다. 앞서 언급된 바와 같이, 선형 모드가 수행된 때에, 강한 주변광은 광자 수집을 제한할 수 있다. 따라서, 이러한 환경에서, 3차원 대수 모드를 이용한 광전류의 감지가 필요할 수 있다.
예시적으로, 시스템(15)은 주변광 센서(미도시)를 포함할 수 있다. 프로세서(19) 또는 디지털 처리 블록(167)은 사용자에 의해 3차원 이미징 모드가 선택될 때에 주변광의 광속을 감지하여, 3차원 선형 모드 또는 3차원 대수 모드를 사용할 지 판별하도록 구성될 수 있다. 예시적으로, 주변광 레벨은 포인트 스캔되는 광점들로부터 반사되는 광의 이미징을 초기화하는 RSEL 신호의 활성화와 함께 감지될 수 있다. 다른 예로서, 주변광 레벨은 레이저원에 의한 가시 광점 스캔의 초기화 시에 함께 감지될 수 있다. 주변광의 레벨에 기반하여, 프로세서(19) 또는 디지털 처리 블록(167)은 깊이 측정의 3차원 선형 모드 또는 3차원 대수 모드를 선택할 수 있다. 다른 예로서, 주변광 레벨은 3차원 깊이 측정 동안에 주기적으로 또는 지속적으로 감지될 수 있다. 이 경우, 3차원 모드는 이미징 수행 전에 또는 이미징 수행 동안에 선행으로부터 대수로 또는 그 반대로 전환될 수 있다.
도 11의 실시 예를 참조하면, 3차원 대수 모드에서, 픽셀 출력의 생성의 전체 구간 동안에 행 특정 RST 신호(128)가 활성화되고, 선택된 행에 대해 활성화된 채로 유지된다. 반대로, 도 7의 3차원 선형 모드에서, RST 신호(128)는 초기에 활성화되어 행의 픽셀들을 미리 정해진 전압 레벨로 리셋하고, 광전자들의 선형 집적 동안에 비활성화된다. 그러나, TX 신호(132)는 도 7의 3차원 선형 모드와 마찬가지로 하이 상태를 유지한다. 따라서, RST 신호의 적정 레벨은 선형 모드 및 대수 모드를 선택하는 데에 사용될 수 있다. 대수 모드에서, ADC 연관된 픽셀들(107, 108)이 ADC_RST 신호(192)를 이용하여 리셋된 후에, ADC는 주변광 레벨을 초기에 샘플하고, 수신된 픽셀 출력(PIXOUT) 신호들의 신호 레벨을 적절히 계랑할 수 있다. ADC가 리셋된 후에, RAMP 문턱(143)이 활성화되고, ADC 카운터는 각 픽셀에서 온 이벤트가 발생할 것을 기다리는 대기 상태로 진입한다. 픽셀이 투사된 광점으로부터 반사되는 입사광을 수신할 때, PIXOUT 신호가 하강하기 시작한다. 도 7의 선형 하강과 달리, 도 11의 PIXOUT 신호들(118, 119)은 짧은 즉시 하강들(252, 253)을 보이며, 이는 반사된 가시광의 픽셀의 검출에 의해 생성되는 즉시 광전류를 반영한다. PIXOUT 신호들(118, 119)이 미리 정해진 RAMP 문턱(143)에 도달하면, ADC 카운터는 카운팅을 시작한다. RAMP 신호(143)의 하이 상태로의 천이 및 점선(255)에 의해 표시된 바와 같이, 미리 정해진 시간 동안의 전하 집적이 종료된 후에 모든 카운터들은 동시에 멈출 수 있다. 카운트된 값들은 픽셀들(107, 108)에 대한 ADCOUT1 신호의 데이터 필드(257) 및 ADCOUT2 신호의 데이터 필드(259)로 표시된다.대수 모드의 카운트 값들은 선형 모드의 카운트 값들과 다르며, 따라서 도 7 및 도 11에서 ADCOUT 신호에서 업카운트 필드에 대해 상이한 참조 번호들이 사용된다. 도 7의 예와 같이, 나중에 스캔되는 픽셀은 먼저 스캔되는 픽셀보다 더 적은 카운트 값을 가질 수 있다.
도 7을 참조하여 언급된 바와 같이, 열 업카운터들 대신에, 다운카운터들이 도 10 및 도 11의 ADC 유닛들에 사용될 수 있다. 마찬가지로, 전역 카운터가 개별 ADC 특정 카운터들 대신에 사용될 수 있다.
앞서 언급된 바와 같이, 2차원 이미징 분 아니라 3차원 깊이 측정을 위해서도 동일한 이미지 센서(픽셀 어레이의 픽셀들)가 사용될 수 있다. 2차원 모드에서, 센서는 통상적인 2차원 센서와 같이 선형 모드로 동작할 수 있다. 그러나. 3차원 깊이 측정 동안에, 센서는 원활한 주변광 하에서 선형 모드로 동작하지만, 강한 주변광 하에서 대수 모드로 전환되어 가시(또는 근적외선) 광원의 사용이 가능하게 할 수 있다. 따라서, 본 발명의 실시 예들에 따른 이미징 방법은 2차원 및 3차원 이미징을 위해 동일한 4T PPD 픽셀을 사용하므로, 현존하는 2차원 센서 설계와 호환될 수 있다. 이는 센서 설계가 작아지고, 다용도로 기능하고, 그리고 저전력으로 동작함을 의미한다. 이러한 특성은 이미지 센서를 포함하는 모바일 장치들의 공간 및 비용을 절감할 수 있다. 또한, 소비자 모바일 장치들 및 다른 응용들에서, 3차원 깊이 측정을 위한 가시광 레이저(주변광에 더하여)의 사용은 종래의 근적외선 센서보다 눈의 안전을 더 보호할 수 있다. 가시 대역에서, 센서는 근적외선 대역에서보다 높은 양자 효율을 가지며, 광원의 더 낮은 전력 소비를 달성하고, 모바일 장치의 전력 소비를 절감할 수 있다.
도 12는 본 발명의 실시 예들에 따른 도 1 및 도 2의 시스템(15)의 전체적인 레이아웃을 보여준다. 간결한 설명을 위하여, 도 1, 도 2 및 도 12에서 공통 시스템 구성에 대해 동일한 참조 번호들이 사용된다.
앞서 언급된 바와 같이, 이미징 모듈(17)은 도 2, 도 5, 도 6a 및 도 6b의 예들에서 도시된 하드웨어들을 포함하며, 2차원 이미징 및 3차원 깊이 측정을 달성할 수 있다. 프로세서(19)는 다수의 외부 장치들과 인터페이스하도록 구성될 수 있다. 예시적으로, 이미징 모듈(17)은 도 6a의 처리된 데이터 출력(170)과 같은 픽셀 이벤트 데이터 형태의 데이터 입력들을 추가 처리를 위해 프로세서(19)로 제공하는 입력 장치로 기능할 수 있다. 프로세서(19)는 시스템(15)의 일부일 수 있는 다른 장치들(미도시)로부터도 입력들을 수신할 수 있다. 이러한 입력 장치들 중 일부는 컴퓨터 키보드, 터치패드, 터치스크린, 조이스틱, 물리 또는 가상 클릭 가능한 버튼 또는 컴퓨터 마우스 또는 포인팅 장치를 포함할 수 있다. 도 12에서, 프로세서(19)는 시스템 메모리920), 주변 스토리지 유닛(265), 하나 또는 그보다 많은 출력 장치들(267), 그리고 네트워크 인터페이스 유닛(268)과 연결되는 것으로 도시된다. 도 12에서, 표시 유닛은 출력 장치(267)로 도시되어 있다. 예시적으로, 시스템(15)은 도시된 장치들보다 많은 장치들을 포함할 수 있다. 시스템의 예들은 컴퓨터 시스템(데스크톱 또는 랩톱), 태블릿 컴퓨터, 모바일 장치, 핸드폰, 비디오 게임 유닛 또는 콘솔, 기계 대 기계 통신 유닛, 로봇, 자동차, 가상 현실 장치, 국적 없는 얇은 클라이언트 시스템, 자동차의 대시캠 또는 후방 카메라 시스템, 또는 다른 타입의 컴퓨팅 또는 데이터 처리 장치를 포함할 수 있다. 예시적으로, 도 12의 모든 구성들은 단일 하우징에 탑재될 수 있다. 따라서, 시스템(15)은 스탠드얼론 시스템 또는 다른 적절한 형태로 구성될 수 있다. 예시적으로, 시스템(15)은 서버 시스템이 아닌 클라이언트 시스템으로 구성될 수 있다.
예시적으로, 시스템(15)은 하나보다 많은 프로세서들(즉, 분산 처리 구성)을 포함할 수 있다. 시스템이 다중 프로세서 시스템일 때, 하나보다 많은 프로세서(19) 또는 대응하는 인터페이스를 통해 프로세서(19)와 연결되는 다중 프로세서들이 존재할 수 있다. 프로세서(19)는 시스템 온 칩일 수 있으며, 하나보다 많은 중앙 처리 장치들을 포함할 수 있다.
앞서 언급된 바와 같이, 시스템 메모리(20)는 DRAM, SRAM, PRAM, RRAM, CBRAM, MRAM, STT-MRAM 등과 같은 반도체 기반 스토리지 시스템일 수 있다. 예시적으로, 시스템 메모리(20)는 하나 또는 그보다 많은 비-3DS 메모리 모듈과 함께 적어도 하나의 3DS 메모리 모듈을 포함할 수 있다. 비-3DS 메모리는 DDR SDRAM, 램버스 DRAM, 플래시 메모리, 다양한 타입의 ROM 등을 포함할 수 있다. 또한, 예시적으로, 시스템 메모리(20)는 다중의 상이한 타입의 반도체 메모리들을 포함할 수 있다. 다른 예로서, 시스템 메모리(200는 비임시의 데이터 스토리지 매체일 수 있다.
주변 스토리지 유닛(265)은 하드 드라이브, CD 및 DVD와 같은 광학 디스크, 불휘발성 RAM 등과 같은 자기, 광학, 자기-광학, 솔리드 스테이트 스토리지 매체를 포함할 수 있다. 예시적으로, 주변 스토리지 유닛(265)은 RAID (Redundant Array of Independent Disks) 구성을 갖는 디스크 어레이 또는 SAN (Storage Area Networks)와 같은 복잡한 스토리지 장치들 또는 시스템들을 포함할 수 있다. 주변 스토리지 유닛(265)은 SCSI (Small Computer System Interface), 파이어와이어, PCI express, USB 등과 같은 표준 주변 인터페이스를 통해 프로세서(19)와 결합될 수 있다. 다양한 스토리지 장치들은 비임시 데이터 스토리지 매체일 수 있다.
디스플레이 유닛(267)은 출력 장치의 예일 수 있다. 다른 출력 장치의 예들은 그래픽 또는 표시 장치, 컴퓨터 스크린, 알람 스크린, 캐드 또는 캠 시스템, 비디오 게임 스테이션, 스마트폰 표시 스크린, 또는 다른 타입의 데이터 출력 장치를 포함할 수 있다. 예시적으로, 이미징 모듈(17)과 같은 입력 장치들 및 표시 유닛(267)과 같은 출력 장치들은 입출력 또는 주변 인터페이스를 통해 프로세서(19)와 연결될 수 있다.
예시적으로, 네트워크 인터페이스(268)는 프로세서(19)와 통신하고 시스템(15)이 네트워크(미도시)와 연결되도록 할 수 있다. 다른 예로서, 네트워크 인터페이스(268)는 존재하지 않을 수 있다. 네트워크 인터페이스(268)는 시스템(15)을 네트워크(유선 또는 무선으로)에 연결하기 위한 적절한 장치, 매체 또는 프로토콜을 포함할 수 있다. 예시적으로, 네트워크 인터페이스(268)는 LAN, WAN, 무선 이더넷, 전기 통신 네트워크 또는 다른 적절한 타입의 네트워크를 포함할 수 있다.
시스템(15)은 도 12에 도시된 다양한 시스템 구성들에 전력을 공급하는 온보드 전원 유닛(270)을 포함할 수 있다. 전원 유닛(270)은 배터리 또는 교류 전력과 연결될 수 있다. 예시적으로, 전원 유닛(270)은 태양 에너지를 전력으로 변환할 수 있다.
예시적으로, 이미징 모듈(17)은 개인용 컴퓨터 또는 랩톱에 연결될 수 있는 USB 인터페이스와 같은 고속 인터페이스와 집적될 수 있다. 시스템 메모리(20) 또는 CD 또는 DVD와 같은 주변 데이터 스토리지 유닛과 같은 비임시 컴퓨터 독출 가능한 데이터 스토리지 매체는 프로그램 코드 또는 소프트웨어를 저장할 수 있다. 프로세서(19) 또는 이미징 모듈(17)의 디지털 처리 블록(167, 도 6a 참조)은 프로그램 코드를 실행하고, 시스템(15)이 도 1 내지 도 11을 참조하여 설명된 2차원 이미징 및 3차원 깊이 측정을 수행하도록 할 수 있다. 프로그램 코드 또는 소프트웨어는 프로세서(19) 또는 디지털 처리 블록(167)과 같은 적절한 처리 개체에 의해 실행되어 처리 개체가 정확한 타이밍을 이용하여 픽셀 이벤트들을 캡처하고, 처리하고, 다양한 포맷들로 변형하고, 그리고 2차원 또는 3차원 포맷으로 표시하게 하는 등록된 또는 오픈 소스의 소프트웨어일 수 있다. 앞서 언급된 바와 같이, 이미징 모듈(17)의 디지털 처리 블록(167)은 픽셀 출력 데이터가 후속 처리 및 표시를 위해 프로세서(19)로 전송되기 전에 픽셀 이벤트 신호들의 처리의 일부를 수행할 수 있다. 예시적으로, 프로세서(19)는 디지털 처리 블록(167)의 기능을 수행하며, 디지털 처리 블록(167)이 이미징 모듈(17)에 제공되지 않을 수 있다.
앞서 언급된 바와 같이, 본 발명의 이해를 돕기 위하여 구체적인 상세가 설명되었다. 그러나, 본 발명의 상세로부터 멀어지지 않은 다른 실시 예들이 가능하다. 즉, 여기에 명확히 게시되지 않지만, 본 발명의 원리를 다양한 형태로 구현할 수 있다. 예를 들어, 잘 알려진 장치들, 회로들, 방법들은 본 발명의 설명을 혼동하지 않기 위하여 생략되었다. 본 발명의 원리들, 측면들 및 실시 예들에 대한 모든 언급들은 구조적 및 기능적인 등가를 포함하는 것으로 의도된다. 또한, 이러한 등가는 현재 알려진 등가 뿐 아니라 미래에 개발되는 등가, 예를 들어 구조에 관계없이 동일한 기능을 수행하는 원소들에도 적용되는 것으로 의도된다.
예를 들어, 도 1 및 도 2의 블록도들은 본 발명의 기술적 사상에 따른 회로 또는 다른 기능들의 개념도를 나타낼 수 있다. 마찬가지로, 도 9의 순서도는 프로세서(19) 또는 디지털 처리 블록(167)에서 수행되는 다양한 처리들을 나타낸다. 이러한 프로세서는 범용 프로세서, 특수 목적 프로세서, 종래의 프로세서, DSP (digital signal processor), 복수의 마이크로프로세서들, DSP 코어와 연관된 하나 또는 그보다 많은 마이크로프로세서들, 컨트롤러, 마이크로컨트롤러, ASIC (Application Specific Integrated Circuits), FPGA (Field Programmable Gate Arrays), 또는 다른 형태의 집적 회로 또는 상태 기계를 포함할 수 있다. 도 1 내지 도 11을 참조하여 설명된 기능들의 일부 또는 전부는 이러한 프로세서에 의해 하드웨어 또는 소프트웨어로 제공될 수 있다.
본 발명의 기술적 사상이 소프트웨어 기반의 처리를 필요로 하지만, 이러한 소프트웨어 또는 프로그램 코드는 컴퓨터 독출 가능 데이터 스토리지 매체에 저장될 수 있다. 앞서 언급된 바와 같이, 이러한 데이터 스토리지 매체는 주변 스토리지(265)의 일부 또는 시스템 메모리(20)의 일부 또는 프로세서(19)의 내부 메모리(미도시)일 수 있다. 예시적으로, 프로세서(19) 또는 디지털 처리 블록(167)은 이러한 매체에 저장된 명령들을 실행하여 소프트웨어 기반 처리를 수해할 수 있다. 컴퓨터 독출 가능 데이터 스토리지 매체는 범용 컴퓨터 또는 상술된 프로세서에 의해 실행되는 컴퓨터 프로그램, 소프트웨어, 펌웨어 또는 마이크로코드를 포함하는 비임시 데이터 스토리지 매체일 수 있다. 컴퓨터 독출 가능 스토리지 매체의 예들은 ROM, RAM, 디지털 레지스터, 캐시 메모리, 반도체 메모리 장치들, 내장 하드 디스크, 자기 테이프 및 제거 가능한 디스크와 같은 자기 매체, 자기-광학 매체, 그리고 CD 또는 DVD와 같은 광학 매체를 포함할 수 있다.
이미징 모듈(17) 또는 이미징 모듈(17)을 포함하는 시스템(15)의 다른 예들은 상술된 기능들 또는 본 발명에 의해 제시된 해법을 지원하는 데에 필요한 다른 기능을 포함하는 추가 기능을 제공하기 위한 추가적인 구성 요소들을 포함할 수 있다. 구체적인 예를 들어 특성들 및 원소들이 설명되었지만, 각 특성 또는 원소는 다른 특성 및 원소 없이 혼자 사용될 수 있으며, 다른 특성 및 원소와 다양하게 조합될 수 있다. 앞서 언급된 바와 같이, 다양한 2차원 및 3차원 이미징 기능들이 회로와 같은 하드웨어 또는 컴퓨터 독출 가능 데이터 스토리지 매체에 저장된 명령들 또는 마이크로코드들의 형태의 소프트웨어 또는 펌웨어를 실행할 수 있는 하드웨어를 이용하여 제공될 수 있다. 따라서, 기능 블록들로 도시된 기능들은 하드웨어 구현 또는 컴퓨터 구현 중 하나에 해당하며, 기계 구현에 해당한다.
동일한 이지지 센서, 즉 이미지 센서의 모든 픽셀들이 물체의 2차원 이미지 및 3차원 깊이 측정을 위해 사용된다. 이미지 센서는 스마트폰과 같은 모바일 장치의 카메라의 일부일 수 있다. 레이저원은 물체 표면을 광점들로 포인트 스캔하는 데에 사용되며, 이들은 이미지 센서의 픽셀 어레이에 의해 검출되어 감각 측량을 이용하여 물체의 3차원 깊이 프로파일을 생성하는 데에 사용될 수 있다. 3차원 모드에서, 레이저는 스캔 라인을 따라 물체의 표면에 순차적인 광점들을 투사할 수 있다. 조명된 광점들은 픽셀 어레이의 픽셀들의 행을 이용하여 검출되고, 행은 스캔 라인의 등극선을 형성할 수 있다. 검출된 광점들에서 삼각 측량의 모호성을 제거하기 위하여 타임스탬프가 형성되고, 따라서 깊이 연산 및 시스템 전력의 양이 감소된다. 타임스탬프는 캡처된 광점의 픽셀 위치 및 레이저원의 스캔 각 사이의 대응 관계를 제공하며 삼각 측정을 이용하여 깊이가 판별될 수 있다. 2차원 모드에서 이미지 신호들은 이미지 센서의 ADC 유닛으로부터의 다중 비트 출력으로 나타나지만, ADC 유닛은 3차원 깊이 측정에 대해 이진 출력을 생성하여 타임스탬프를 생성할 수 있다. 주변광을 차단하기 위하여, 이미지 센서는 3차원 선형 모드가 아닌 3차원 로그 모드로 동작할 수 있다.
본 발명의 상세한 설명에서는 구체적인 실시 예에 관하여 설명하였으나, 본 발명의 범위와 기술적 사상에서 벗어나지 않는 한도 내에서 여러 가지 변형이 가능하다. 그러므로 본 발명의 범위는 상술한 실시 예에 국한되어 정해져서는 안되며 후술하는 특허청구범위뿐만 아니라 이 발명의 특허청구범위와 균등한 것들에 의해 정해져야 한다.
15; 시스템
17; 이미징 모듈
19; 프로세서
20; 메모리 모듈
22; 광원
24; 이미지 센서부
26; 3차원 물체
33; 레이저원
34; 레이저 제어기
35; 투사 렌즈
42; 2차원 픽셀 어레이
44; 수집 렌즈
46; 픽셀 어레이 제어 및 처리부
100~108; 픽셀들
116; 행 디코더 및 드라이버
138; 픽셀 열 유닛
145; 열 디코더
149; 행 디코더부
150; 행 드라이버부
153; 열 ADC 유닛
159; 참조 신호 생성기
163; 램프 신호 생성기
167; 디지털 처리 블록
168; 인터페이스부
171; 타임스탬프 측정부
175; CDS 및 ADC 유닛
177, 179; OTA
181; 이진 카운터
183; 라인 메모리
265; 주변 스토리지 유닛
267; 표시 유닛
268; 네트워크 인터페이스 유닛
270; 전원 유닛

Claims (20)

  1. 주변광에 의해 조명되는 3차원 물체의 2차원 이미지를 2차원 어레이에 배열된 복수의 픽셀들을 갖는 이미지 센서로 캡처하는 단계;
    상기 주변광에 더하여 레이저원으로부터의 레이저 광을 이용한 포인트 스캔으로 상기 3차원 물체를 조명하는 단계; 그리고
    상기 이미지 센서의 적어도 하나의 행의 픽셀들로 상기 주변광 및 상기 레이저 광에 의해 조명되는 상기 3차원 물체의 깊이를 판별하는 단계를 포함하는 방법.
  2. 제1 항에 있어서,
    상기 레이저 광원은 가시 레이저 광원, 근적외선 레이저 광원, 포인트 광원, 단색 조명원, 그리고 X-축 및 Y-축으로 조절되는 광원 중 하나인 방법.
  3. 제1 항에 있어서,
    상기 레이저 광은 녹색광인 방법.
  4. 제1 항에 있어서,
    상기 이미지 센서의 각 픽셀은 4-트랜지스터 픽셀, 3-트랜지스터 픽셀, 2-트랜지스터 픽셀, 공유 트랜지스터 픽셀, 1x2 2-공유 픽셀, 그리고 1x4 4-공유 픽셀 중 하나인 방법.
  5. 제1 항에 있어서,
    상기 2차원 어레이는 CMOS (Complementary Metal Oxide Semiconductor) 어레이인 방법.
  6. 제1 항에 있어서,
    상기 이미지 센서는 2차원 RGB (적색, 녹색 및 청색) 센서이고, 상기 2차원 어레이의 각 픽셀은 2차원 모드 및 3차원 모드에서 동작하는 방법.
  7. 제1 항에 있어서,
    상기 3차원 물체의 깊이를 판별하는 단계는,
    상기 주변광이 미리 정해진 조명 레벨보다 낮을 때의 산형 모드, 상기 주변광이 상기 미리 정해진 조명 레벨 이상일 때의 대수 모드 중 하나를 이용하여 상기 행의 픽셀들의 각 픽셀에 대해 픽셀 특정 출력을 생성하는 단계; 그리고
    상기 행의 픽셀들의 각 픽셀의 상기 픽셀 특정 출력에 기반하여 상기 3차원 물체의 깊이를 판별하는 단계를 포함하는 방법.
  8. 제7 항에 있어서,
    상기 미리 정해진 조명 레벨은 10000룩스인 방법.
  9. 제7 항에 있어서,
    상기 행의 픽셀들의 주어진 픽셀에 대해, 상기 선형 모드를 이용하여 상기 픽셀 특정 출력을 생성하는 단계는, 미리 정해진 시간 구간 동안 상기 주어진 픽셀에 의해 수집되는 광전자들을 선형으로 집적함으로써 상기 픽셀 특정 출력을 생성하는 단계를 포함하고,
    상기 행의 픽셀들의 주어진 픽셀에 대해, 상기 대수 모드를 이용하여 상기 픽셀 특정 출력을 생성하는 단계는, 상기 3차원 물체로부터 반사되는 상기 레이저 광을 검출한 후 상기 미리 정해진 시간 동안 상기 주어진 픽셀에 의해 생성되는 순간 광전류의 자연 대수에 기반하여 상기 픽셀 특정 출력을 생성하는 단계를 포함하는 방법.
  10. 제9 항에 있어서,
    상기 행의 픽셀들의 주어진 픽셀에 대해, 상기 선형 모드를 이용하여 상기 픽셀 특정 출력을 생성하는 단계는,
    리셋 신호를 활성화하여 상기 주어진 픽셀을 미리 정해진 전압 레벨로 리셋하는 단계; 및
    상기 미리 정해진 시간 구간 동안 상기 광전자의 선형 집적 동안에 상기 리셋 신호를 비활성화하는 단계를 더 포함하고,
    상기 행의 픽셀들의 주어진 픽셀에 대해, 상기 대수 모드를 이용하여 상기 픽셀 특정 출력을 생성하는 단계는,
    상기 리셋 신호를 활성화하여 상기 주어진 픽셀을 상기 미리 정해진 전압 레벨로 리셋하는 단계; 및
    상기 미리 정해진 시간 구간 동안에 상기 리셋 신호의 활성화를 유지하는 단계를 더 포함하는 방법.
  11. 제1 항에 있어서,
    이미지 센서로 캡처하는 단계는, 상기 2차원 어레이의 각 픽셀에 대해, 상기 픽셀과 연관된 아날로그 디지털 변환기로부터의 대응하는 다중 비트 출력을 생성하여 상기 2차원 이미지를 캡처하는 단계를 포함하고,
    상기 3차원 물체의 깊이를 판별하는 단계는, 상기 행의 픽셀들의 각 픽셀들에 대해, 상기 픽셀과 연관된 상기 아날로그 디지털 변환기로 픽셀 특정 타임스탬프 값의 생성을 트리거하는 단일 비트 출력을 제공하는 단계를 포함하고,
    상기 픽셀 특정 타임스탬프 값은 상기 픽셀이 상기 3차원 물체로부터 반사되는 상기 레이저 광을 검출하는 순간을 나타내는 방법.
  12. 제11 항에 있어서,
    상기 3차원 물체의 깊이를 판별하는 단계는,
    상기 행의 픽셀들의 주어진 픽셀에 대해, 상기 픽셀 특정 타임스탬프 값을 이용하여, 상기 이미지 센서와 연관된 수집 렌즈 및 상기 반사된 레이저 광을 검출하는 상기 주어진 픽셀 사이의 오프셋 거리, 그리고 상기 레이저 광원이 상기 주어진 픽셀에 의해 검출되는 상기 레이저 광을 투사하는 데에 사용된 스캔 각 사이의 대응 관계를 수립하는 단계; 그리고
    상기 오프셋 거리 및 상기 스캔 각에 기반하여 상기 3차원 물체의 깊이를 판별하는 단계를 더 포함하는 방법.
  13. 2차원 어레이에 배열된 복수의 픽셀들을 갖는 이미지 센서를 이용하여 주변광에 의해 조명되는 3차원 물체의 2차원 컬러 이미지를 캡처하는 단계;
    상기 주변광의 조명 레벨을 판별하는 단계;
    상기 주변광이 미리 정해진 조명 레벨보다 낮을 때의 선형 모드 및 상기 주변광이 상기 미리 정해진 조명 레벨 이상일 때의 대수 모드 중 하나로 동작하도록 상기 이미지 센서를 구성하는 단계;
    상기 주변광에 더하여 가시광의 포인트 스캔을 이용하여 상기 3차원 물체를 조명하도록 가시 광원을 구성하는 단계;
    상기 선형 모드 또는 상기 대수 모드 중 하나를 이용하여 상기 이미지 센서의 행의 픽셀들의 각 픽셀에 대해 픽셀 특정 출력을 생성하는 단계; 그리고
    상기 행의 픽셀들의 각 픽셀의 상기 픽셀 특정 출력에 기반하여, 상기 주변광 및 상기 가시광에 의해 조명된 상기 3차원 물체의 깊이를 판별하는 단계를 포함하는 방법.
  14. 제13 항에 있어서,
    상기 미리 정해진 조명 레벨은 10000룩스인 방법.
  15. 제13 항에 있어서,
    상기 이미지 센서는 2차원 RGB 센서이고, 상기 2차원 어레이는 CMOS (Complementary Metal Oxide Semiconductor) 어레이이고, 상기 이미지 센서의 각 픽셀은 4-트랜지스터 픽셀, 3-트랜지스터 픽셀, 2-트랜지스터 픽셀, 공유 트랜지스터 픽셀, 1x2 2-공유 픽셀, 그리고 1x4 4-공유 픽셀 중 하나인 방법.
  16. 제13 항에 있어서,
    상기 행의 픽셀들의 주어진 픽셀에 대해, 상기 선형 모드를 이용하여 상기 픽셀 특정 출력을 생성하는 단계는,
    리셋 신호를 활성화하여 상기 주어진 픽셀을 미리 정해진 전압 레벨로 리셋하는 단계; 그리고
    미리 정해진 시간 구간 동안 상기 주어진 픽셀에 의해 수집되는 광전자의 선형 집적 동안에 상기 리셋 신호를 비활성화하는 단계를 포함하고,
    상기 행의 픽셀들의 주어진 픽셀에 대해, 상기 대수 모드를 이용하여 상기 픽셀 특정 출력을 생성하는 단계는,
    리셋 신호를 활성화하여 상기 주어진 픽셀을 미리 정해진 전압 레벨로 리셋하는 단계; 그리고
    상기 미리 정해진 시간 구간 동안에 상기 리셋 신호를 유지하여, 상기 3차원 물체로부터 반사되는 상기 가시광의 검출된 때에 상기 미리 정해진 시간 구간 동안에 상기 주어진 픽셀에 의해 생성되는 순간 광전류의 자연 대수에 기반하여 상기 픽셀 특정 출력을 생성하는 단계를 포함하는 방법.
  17. 2차원 어레이에 배열된 복수의 픽셀들을 포함하며, 주변광에 의해 조명되는 3차원 물체의 2차원 이미지를 캡처하도록 구성되는 이미지 센서;
    가시 레이저 광원, 근적외선 레이저 광원, 포인트 광원, 단색 조명원, 그리고 X-축 및 Y-축으로 조절되는 레이저 광원 중 하나이며, 상기 주변광에 더하여 레이저 광의 포인트 스캔을 이용하여 상기 3차원 물체를 조명하도록 구성되는 레이저 광원; 그리고
    상기 이미지 센서의 적어도 하나의 행의 픽셀들을 이용하여 상기 주변광 및 상기 레이저 광에 의해 조명되는 상기 3차원 물체의 깊이를 판별하도록 구성되는 처리부를 포함하는 시스템.
  18. 제17 항에 있어서,
    상기 2차원 어레이는 CMOS (Complementary Metal Oxide Semiconductor) 어레이이고, 상기 이미지 센서의 각 픽셀은 4-트랜지스터 픽셀, 3-트랜지스터 픽셀, 2-트랜지스터 픽셀, 공유 트랜지스터 픽셀, 1x2 2-공유 픽셀, 그리고 1x4 4-공유 픽셀 중 하나인 시스템.
  19. 제17 항에 있어서,
    상기 이미지 센서는 복수의 아날로그 디지털 변환부들을 포함하고,
    각 아날로그 디지털 변환부는 상기 행의 픽셀들의 각 픽셀과 연관되고, 상기 3차원 물체의 상기 2차원 이미지의 일부로 각 픽셀에 대한 다중 비트 출력을 생성하는 것과 상기 3차원 물체의 깊이가 판별되는 때에 각 픽셀에 대한 단일 비트 출력을 생성하는 것 중 하나를 수행하도록 구성되는 시스템.
  20. 제17 항에 있어서,
    상기 처리부는,
    상기 주변광의 조명 레벨을 판별하고;
    상기 주변광이 미리 정해진 조명 레벨보다 낮을 때의 선형 모드 및 상기 주변광이 상기 미리 정해진 조명 레벨 이상일 때의 대수 모드 중 하나로 상기 이미지 센서를 구성하고;
    상기 행의 픽셀들의 각 픽셀에 대해 상기 이미지 센서로부터 픽셀 특정 출력을 수신하고; 그리고
    상기 이미지 센서로부터 수신되는 모든 픽셀 특정 출력들에 기반하여 상기 3차원 물체의 깊이를 판별하도록 구성되는 시스템.
KR1020160041226A 2015-04-20 2016-04-04 주변광을 차단하는 3차원 이미징 및 깊이 측정을 위한 씨모스 이미지 센서 KR102471148B1 (ko)

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
US201562150252P 2015-04-20 2015-04-20
US62/150,252 2015-04-20
US201562182404P 2015-06-19 2015-06-19
US62/182,404 2015-06-19
US14/842,825 2015-09-01
US14/842,825 US10132616B2 (en) 2015-04-20 2015-09-01 CMOS image sensor for 2D imaging and depth measurement with ambient light rejection

Publications (2)

Publication Number Publication Date
KR20160124669A true KR20160124669A (ko) 2016-10-28
KR102471148B1 KR102471148B1 (ko) 2022-11-25

Family

ID=57128911

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020160033523A KR102532487B1 (ko) 2015-04-20 2016-03-21 포인트 스캔으로 삼각 측량을 이용한 깊이 측정을 위한 씨모스 이미지 센서
KR1020160041226A KR102471148B1 (ko) 2015-04-20 2016-04-04 주변광을 차단하는 3차원 이미징 및 깊이 측정을 위한 씨모스 이미지 센서

Family Applications Before (1)

Application Number Title Priority Date Filing Date
KR1020160033523A KR102532487B1 (ko) 2015-04-20 2016-03-21 포인트 스캔으로 삼각 측량을 이용한 깊이 측정을 위한 씨모스 이미지 센서

Country Status (2)

Country Link
US (8) US10132616B2 (ko)
KR (2) KR102532487B1 (ko)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190022573A (ko) * 2016-06-30 2019-03-06 인터디지털 씨이 페이튼트 홀딩스 픽셀 빔을 표현하는 데이터를 생성하기 위한 장치 및 방법
KR20190035358A (ko) * 2017-09-26 2019-04-03 삼성전자주식회사 외부 광에 기반하여 카메라를 제어하는 전자 장치 및 제어 방법
KR20200003858A (ko) * 2017-04-28 2020-01-10 더 가버닝 카운슬 오브 더 유니버시티 오브 토론토 픽셀 단위 이미징을 위한 방법 및 시스템
KR20200041340A (ko) * 2017-08-23 2020-04-21 아발론 홀로그래픽스 인코퍼레이션 계층화된 장면 분해 코덱 시스템 및 방법
WO2020116754A1 (en) * 2018-12-06 2020-06-11 Samsung Electronics Co., Ltd. Electronic device and method for acquiring depth information of object using the same
WO2020159006A1 (ko) * 2019-02-01 2020-08-06 호서대학교 산학협력단 레이저 스캐너 장치

Families Citing this family (77)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9276031B2 (en) 2013-03-04 2016-03-01 Apple Inc. Photodiode with different electric potential regions for image sensors
US9741754B2 (en) 2013-03-06 2017-08-22 Apple Inc. Charge transfer circuit with storage nodes in image sensors
US9356061B2 (en) 2013-08-05 2016-05-31 Apple Inc. Image sensor with buried light shield and vertical gate
US10285626B1 (en) 2014-02-14 2019-05-14 Apple Inc. Activity identification using an optical heart rate monitor
US9686485B2 (en) 2014-05-30 2017-06-20 Apple Inc. Pixel binning in an image sensor
US11425357B2 (en) 2015-02-13 2022-08-23 Carnegie Mellon University Method for epipolar time of flight imaging
US11972586B2 (en) 2015-02-13 2024-04-30 Carnegie Mellon University Agile depth sensing using triangulation light curtains
US11747135B2 (en) * 2015-02-13 2023-09-05 Carnegie Mellon University Energy optimized imaging system with synchronized dynamic control of directable beam light source and reconfigurably masked photo-sensor
US11493634B2 (en) 2015-02-13 2022-11-08 Carnegie Mellon University Programmable light curtains
US20160309135A1 (en) 2015-04-20 2016-10-20 Ilia Ovsiannikov Concurrent rgbz sensor and system
US11002531B2 (en) * 2015-04-20 2021-05-11 Samsung Electronics Co., Ltd. CMOS image sensor for RGB imaging and depth measurement with laser sheet scan
US10250833B2 (en) 2015-04-20 2019-04-02 Samsung Electronics Co., Ltd. Timestamp calibration of the 3D camera with epipolar line laser point scanning
US10132616B2 (en) * 2015-04-20 2018-11-20 Samsung Electronics Co., Ltd. CMOS image sensor for 2D imaging and depth measurement with ambient light rejection
US11736832B2 (en) 2015-04-20 2023-08-22 Samsung Electronics Co., Ltd. Timestamp calibration of the 3D camera with epipolar line laser point scanning
US10616561B2 (en) * 2015-09-03 2020-04-07 Inuitive Ltd. Method and apparatus for generating a 3-D image
US9936151B2 (en) * 2015-10-16 2018-04-03 Capsovision Inc Single image sensor for capturing mixed structured-light images and regular images
GB2548462B (en) 2016-01-29 2020-06-17 Canon Kk Image sensor and image capturing apparatus
JPWO2017168477A1 (ja) * 2016-03-28 2019-02-07 パナソニックＩｐマネジメント株式会社 撮像装置および画像処理方法
US20180341009A1 (en) * 2016-06-23 2018-11-29 Apple Inc. Multi-range time of flight sensing
CN111682039B (zh) 2016-09-23 2021-08-03 苹果公司 堆叠式背面照明spad阵列
CN106530315B (zh) * 2016-12-27 2024-02-27 浙江大学常州工业技术研究院 中小型物体全角度下目标提取系统及方法
JP7154010B2 (ja) * 2017-01-18 2022-10-17 三星電子株式会社 イメージセンサー
US10656251B1 (en) 2017-01-25 2020-05-19 Apple Inc. Signal acquisition in a SPAD detector
EP3574344A2 (en) 2017-01-25 2019-12-04 Apple Inc. Spad detector having modulated sensitivity
US10962628B1 (en) 2017-01-26 2021-03-30 Apple Inc. Spatial temporal weighting in a SPAD detector
JP6975896B2 (ja) * 2017-02-03 2021-12-01 パナソニックＩｐマネジメント株式会社 撮像装置の制御方法及び撮像装置
CN108574793B (zh) 2017-03-08 2022-05-10 三星电子株式会社 被配置为重新生成时间戳的图像处理设备及包括其在内的电子设备
EP3379814A1 (en) * 2017-03-23 2018-09-26 Christian Rymarenko Converting media using mobile devices
US10462451B1 (en) * 2017-05-12 2019-10-29 Facebook Technologies, Llc Asymmetric structured light source
US10529082B2 (en) * 2017-06-20 2020-01-07 Mitutoyo Corporation Three-dimensional geometry measurement apparatus and three-dimensional geometry measurement method
EP3646057A1 (en) 2017-06-29 2020-05-06 Apple Inc. Time-of-flight depth mapping with parallax compensation
US10622538B2 (en) 2017-07-18 2020-04-14 Apple Inc. Techniques for providing a haptic output and sensing a haptic input using a piezoelectric body
US10904449B2 (en) * 2017-07-31 2021-01-26 Disney Enterprises, Inc. Intrinsic color camera
EP3451655B1 (en) * 2017-08-31 2020-10-21 Canon Kabushiki Kaisha Solid-state image sensor and image capture apparatus
US10440301B2 (en) 2017-09-08 2019-10-08 Apple Inc. Image capture device, pixel, and method providing improved phase detection auto-focus performance
US10955552B2 (en) 2017-09-27 2021-03-23 Apple Inc. Waveform design for a LiDAR system with closely-spaced pulses
KR102384867B1 (ko) 2017-10-16 2022-04-08 삼성전자주식회사 증폭기, 이를 포함하는 아날로그-디지털 변환 회로 및 이미지 센서
WO2019125349A1 (en) 2017-12-18 2019-06-27 Montrose Laboratories Llc Time-of-flight sensing using an addressable array of emitters
US11178332B2 (en) * 2018-01-05 2021-11-16 Sensors Unlimited, Inc. Digital boresighting laser range finder to imaging device
CN108965654B (zh) * 2018-02-11 2020-12-25 浙江宇视科技有限公司 基于单传感器的双光谱摄像机系统和图像处理方法
US10999524B1 (en) 2018-04-12 2021-05-04 Amazon Technologies, Inc. Temporal high dynamic range imaging using time-of-flight cameras
US10598936B1 (en) * 2018-04-23 2020-03-24 Facebook Technologies, Llc Multi-mode active pixel sensor
WO2019205975A1 (zh) * 2018-04-28 2019-10-31 Oppo广东移动通信有限公司 摄像头模组的控制系统、控制方法、控制装置、电子设备及计算机可读存储介质
EA036199B1 (ru) * 2018-06-04 2020-10-13 Общество С Ограниченной Ответственностью "Турбоскан" Способ и устройство контроля формы труднодоступных деталей
US10708484B2 (en) 2018-06-20 2020-07-07 Amazon Technologies, Inc. Detecting interference between time-of-flight cameras using modified image sensor arrays
CN112424639A (zh) * 2018-06-22 2021-02-26 ams有限公司 使用飞行时间和伪随机比特序列测量到物体的距离
US10848693B2 (en) 2018-07-18 2020-11-24 Apple Inc. Image flare detection using asymmetric pixels
US11019294B2 (en) 2018-07-18 2021-05-25 Apple Inc. Seamless readout mode transitions in image sensors
CA3106823A1 (en) 2018-07-19 2020-01-23 Activ Surgical, Inc. Systems and methods for multi-modal sensing of depth in vision systems for automated surgical robots
US10681338B1 (en) 2018-07-24 2020-06-09 Amazon Technologies, Inc. Detecting interference in depth images captured using overlapping depth cameras
WO2020103001A1 (zh) * 2018-11-20 2020-05-28 华为技术有限公司 一种估算物体参数的方法以及电子设备
CN109471320B (zh) * 2018-11-24 2024-04-30 深圳阜时科技有限公司 一种光源结构、光学投影模组、感测装置及设备
US11233966B1 (en) 2018-11-29 2022-01-25 Apple Inc. Breakdown voltage monitoring for avalanche diodes
US10915783B1 (en) * 2018-12-14 2021-02-09 Amazon Technologies, Inc. Detecting and locating actors in scenes based on degraded or supersaturated depth data
KR102029003B1 (ko) * 2018-12-14 2019-10-07 이현민 오브젝트 인식을 위한 센서 장치
CN113330328A (zh) 2019-02-11 2021-08-31 苹果公司 使用脉冲束稀疏阵列的深度感测
US11428812B2 (en) 2019-03-07 2022-08-30 Luminar, Llc Lidar system with range-ambiguity mitigation
US11176269B2 (en) 2019-03-08 2021-11-16 International Business Machines Corporation Access control of specific encrypted data segment
CN111829449B (zh) * 2019-04-23 2022-04-12 上海图漾信息科技有限公司 深度数据测量头、测量装置和测量方法
EP3943882A4 (en) 2019-03-15 2023-06-07 Shanghai Percipio Technology Limited DEPTH DATA MEASURING HEAD, MEASURING DEVICE AND MEASURING METHOD
US11216966B2 (en) * 2019-03-22 2022-01-04 Advanced Solutions Innovation Labs, LLC Systems and methods for automated product measurement
EP3952720A4 (en) 2019-04-08 2023-04-05 Activ Surgical, Inc. SYSTEMS AND METHODS FOR MEDICAL IMAGING
CN114073075A (zh) * 2019-05-12 2022-02-18 魔眼公司 将三维深度图数据映射到二维图像上
US11500094B2 (en) 2019-06-10 2022-11-15 Apple Inc. Selection of pulse repetition intervals for sensing time of flight
US11555900B1 (en) 2019-07-17 2023-01-17 Apple Inc. LiDAR system with enhanced area coverage
CN114599263A (zh) 2019-08-21 2022-06-07 艾科缇弗外科公司 用于医疗成像的系统和方法
US11733359B2 (en) 2019-12-03 2023-08-22 Apple Inc. Configurable array of single-photon detectors
US11580654B2 (en) * 2019-12-30 2023-02-14 Qualcomm Incorporated Alternating light distributions for active depth sensing
US11443447B2 (en) 2020-04-17 2022-09-13 Samsung Electronics Co., Ltd. Three-dimensional camera system
US11476372B1 (en) 2020-05-13 2022-10-18 Apple Inc. SPAD-based photon detectors with multi-phase sampling TDCs
KR20220023072A (ko) 2020-08-20 2022-03-02 주식회사 동운아나텍 ToF 시스템에서의 측정거리 가변장치
CN112197708B (zh) * 2020-08-31 2022-04-22 深圳市慧鲤科技有限公司 测量方法及装置、电子设备及存储介质
KR20220105292A (ko) * 2021-01-20 2022-07-27 에스케이하이닉스 주식회사 이미지 센싱 장치 및 그의 동작 방법
DE102021101756A1 (de) 2021-01-27 2022-07-28 Carl Zeiss Industrielle Messtechnik Gmbh Verfahren zur 3D-Erfassung eines Messobjektes
US11681028B2 (en) 2021-07-18 2023-06-20 Apple Inc. Close-range measurement of time of flight using parallax shift
CN114371807B (zh) * 2022-03-23 2022-06-28 超节点创新科技(深圳)有限公司 混合现实显示方法、三维扫描设备及存储介质
CN114838665B (zh) * 2022-07-04 2022-09-02 江西农业大学 一种基于黑皮鸡枞菌的尺寸原位测量方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110025827A1 (en) * 2009-07-30 2011-02-03 Primesense Ltd. Depth Mapping Based on Pattern Matching and Stereoscopic Information
US20130127854A1 (en) * 2010-08-11 2013-05-23 Primesense Ltd. Scanning Projectors And Image Capture Modules For 3D Mapping
US20140078381A1 (en) * 2012-09-14 2014-03-20 Samsung Electronics Co., Ltd. Method of Controlling Image Sensor and Image Sensor Using the Method
US20140300701A1 (en) * 2013-04-08 2014-10-09 Samsung Electronics Co., Ltd. 3d image acquisition apparatus and method of generating depth image in the 3d image acquisition apparatus

Family Cites Families (71)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5675407A (en) 1995-03-02 1997-10-07 Zheng Jason Geng Color ranging method for high speed low-cost three dimensional surface profile measurement
AU1574899A (en) 1998-12-16 2000-07-03 3Dv Systems Ltd. Self gating photosurface
US7107116B2 (en) 1999-03-29 2006-09-12 Genex Technologies, Inc. Diffuse optical tomography system and method of use
JP3744826B2 (ja) 2001-06-04 2006-02-15 セイコーエプソン株式会社 表示制御回路、電気光学装置、表示装置及び表示制御方法
US7102683B2 (en) 2002-04-17 2006-09-05 Mitsubishi Electric Research Laboratories, Inc. Single lens 3D camera
US7177737B2 (en) 2002-12-17 2007-02-13 Evolution Robotics, Inc. Systems and methods for correction of drift via global localization with a visual landmark
US8134637B2 (en) 2004-01-28 2012-03-13 Microsoft Corporation Method and system to increase X-Y resolution in a depth (Z) camera using red, blue, green (RGB) sensing
US8139141B2 (en) 2004-01-28 2012-03-20 Microsoft Corporation Single chip red, green, blue, distance (RGB-Z) sensor
US7483151B2 (en) 2006-03-17 2009-01-27 Alpineon D.O.O. Active 3D triangulation-based imaging method and device
EP2050067A1 (en) 2006-08-03 2009-04-22 Alterface S.A. Method and device for identifying and extracting images of multiple users, and for recognizing user gestures
US8538166B2 (en) * 2006-11-21 2013-09-17 Mantisvision Ltd. 3D geometric modeling and 3D video content creation
JP5012135B2 (ja) 2007-03-28 2012-08-29 コニカミノルタアドバンストレイヤー株式会社 超深度画像生成装置
WO2009124601A1 (en) 2008-04-11 2009-10-15 Ecole Polytechnique Federale De Lausanne Epfl Time-of-flight based imaging system using a display as illumination source
US8456517B2 (en) 2008-07-09 2013-06-04 Primesense Ltd. Integrated processor for 3D mapping
US8717416B2 (en) 2008-09-30 2014-05-06 Texas Instruments Incorporated 3D camera using flash with structured light
WO2010104490A1 (en) 2009-03-12 2010-09-16 Hewlett-Packard Development Company, L.P. Depth-sensing camera system
US8717417B2 (en) 2009-04-16 2014-05-06 Primesense Ltd. Three-dimensional mapping and imaging
US8639046B2 (en) 2009-05-04 2014-01-28 Mamigo Inc Method and system for scalable multi-user interactive visualization
EP2264481A1 (en) 2009-06-04 2010-12-22 IEE International Electronics & Engineering S.A. Method and device for acquiring a range image
WO2011011633A2 (en) 2009-07-22 2011-01-27 Atreo Medical, Inc. Optical techniques for the measurement of chest compression depth and other parameters during cpr
US8565479B2 (en) 2009-08-13 2013-10-22 Primesense Ltd. Extraction of skeletons from 3D maps
US8908958B2 (en) 2009-09-03 2014-12-09 Ron Kimmel Devices and methods of generating three dimensional (3D) colored models
US20110102763A1 (en) * 2009-10-30 2011-05-05 Microvision, Inc. Three Dimensional Imaging Device, System and Method
US8787663B2 (en) 2010-03-01 2014-07-22 Primesense Ltd. Tracking body parts by combined color image and depth processing
US8363156B2 (en) 2010-04-09 2013-01-29 3Dv Co. Ltd Single-lens 2D/3D digital camera
US8330804B2 (en) 2010-05-12 2012-12-11 Microsoft Corporation Scanned-beam depth mapping to 2D image
US8670029B2 (en) 2010-06-16 2014-03-11 Microsoft Corporation Depth camera illuminator with superluminescent light-emitting diode
US8582867B2 (en) 2010-09-16 2013-11-12 Primesense Ltd Learning-based pose estimation from depth maps
US8681255B2 (en) 2010-09-28 2014-03-25 Microsoft Corporation Integrated low power depth camera and projection device
KR101669412B1 (ko) 2010-11-01 2016-10-26 삼성전자주식회사 3ｄ 카메라를 위한 깊이 정보 측정 방법 및 장치
KR101737085B1 (ko) 2010-11-05 2017-05-17 삼성전자주식회사 3차원 카메라
US9066087B2 (en) 2010-11-19 2015-06-23 Apple Inc. Depth mapping using time-coded illumination
EP2469301A1 (en) 2010-12-23 2012-06-27 André Borowski Methods and devices for generating a representation of a 3D scene at very high speed
EP2477043A1 (en) 2011-01-12 2012-07-18 Sony Corporation 3D time-of-flight camera and method
US8799769B2 (en) 2011-02-08 2014-08-05 Ebay Inc. Application above-the-fold rendering measurements
WO2012133926A2 (en) 2011-04-01 2012-10-04 Nikon Corporation Profile measuring apparatus, method for measuring profile, and method for manufacturing structure
WO2012137109A2 (en) 2011-04-05 2012-10-11 Koninklijke Philips Electronics N.V. Detector array with time-to-digital conversion having improved temporal accuracy
EP2469300B1 (de) 2011-04-18 2012-08-22 Sick Ag 3D-Kamera und Verfahren zur dreidimensionalen Überwachung eines Überwachungsbereichs
US9491441B2 (en) 2011-08-30 2016-11-08 Microsoft Technology Licensing, Llc Method to extend laser depth map range
EP2753988B1 (en) 2011-09-08 2019-10-30 Fastree 3D Bv Time-to-digital converter and method therefor
KR101863626B1 (ko) 2011-11-02 2018-07-06 삼성전자주식회사 영상 처리 장치 및 방법
US9117281B2 (en) 2011-11-02 2015-08-25 Microsoft Corporation Surface segmentation from RGB and depth images
US8854426B2 (en) 2011-11-07 2014-10-07 Microsoft Corporation Time-of-flight camera with guided light
WO2013104718A2 (en) 2012-01-10 2013-07-18 Softkinetic Sensors Nv Color and non-visible light e.g. ir sensor, namely a multispectral sensor
AU2013219966B2 (en) 2012-02-15 2015-04-02 Apple Inc. Scanning depth engine
WO2013127973A1 (en) 2012-03-01 2013-09-06 Iee International Electronics & Engineering S.A. Intersystem interference avoidance
DE102013208802A1 (de) 2012-05-30 2013-12-05 Pmdtechnologies Gmbh Lichtlaufzeitsensor mit spektralen Filtern
KR102070562B1 (ko) 2012-06-19 2020-01-30 삼성전자주식회사 이벤트 기반 이미지 처리 장치 및 그 장치를 이용한 방법
US9040892B2 (en) 2012-07-27 2015-05-26 Apple Inc. High dynamic range image sensor having symmetric interleaved long and short exposure pixels
KR101951318B1 (ko) 2012-08-27 2019-04-25 삼성전자주식회사 컬러 영상과 깊이 영상을 동시에 얻을 수 있는 3차원 영상 획득 장치 및 3차원 영상 획득 방법
US8711370B1 (en) 2012-10-04 2014-04-29 Gerard Dirk Smits Scanning optical positioning system with spatially triangulating receivers
US10674135B2 (en) 2012-10-17 2020-06-02 DotProduct LLC Handheld portable optical scanner and method of using
US9332243B2 (en) 2012-10-17 2016-05-03 DotProduct LLC Handheld portable optical scanner and method of using
US9667883B2 (en) 2013-01-07 2017-05-30 Eminent Electronic Technology Corp. Ltd. Three-dimensional image sensing device and method of sensing three-dimensional images
DE102013200919A1 (de) * 2013-01-22 2014-07-24 Robert Bosch Gmbh Vorrichtung und Verfahren zum Überwachen und Kalibrieren einer Vorrichtung zur Messung der Profiltiefe eines Reifens
US9462164B2 (en) 2013-02-21 2016-10-04 Pelican Imaging Corporation Systems and methods for generating compressed light field representation data using captured light fields, array geometry, and parallax information
GB201303076D0 (en) 2013-02-21 2013-04-10 Isis Innovation Generation of 3D models of an environment
CN105453559B (zh) 2013-04-16 2017-12-29 点积公司 手持式便携光学扫描器及其使用方法
US9442186B2 (en) 2013-05-13 2016-09-13 Microsoft Technology Licensing, Llc Interference reduction for TOF systems
KR20140147376A (ko) 2013-06-19 2014-12-30 삼성전자주식회사 적층형 컬러-깊이 센서 및 이를 채용한 3차원 영상 획득 장치
US9767571B2 (en) 2013-07-29 2017-09-19 Samsung Electronics Co., Ltd. Apparatus and method for analyzing image including event information
US10116883B2 (en) 2013-08-29 2018-10-30 Texas Instruments Incorporated System and methods for depth imaging using conventional CCD image sensors
US10061028B2 (en) 2013-09-05 2018-08-28 Texas Instruments Incorporated Time-of-flight (TOF) assisted structured light imaging
KR102405110B1 (ko) 2014-03-14 2022-06-02 에이엠에스 센서스 싱가포르 피티이. 리미티드. 비행시간 센서를 포함하는 광학 이미징 모듈들 및 광학 검출 모듈들
US10132616B2 (en) * 2015-04-20 2018-11-20 Samsung Electronics Co., Ltd. CMOS image sensor for 2D imaging and depth measurement with ambient light rejection
US11002531B2 (en) 2015-04-20 2021-05-11 Samsung Electronics Co., Ltd. CMOS image sensor for RGB imaging and depth measurement with laser sheet scan
US9525863B2 (en) 2015-04-29 2016-12-20 Apple Inc. Time-of-flight depth mapping with flexible scan pattern
US10620300B2 (en) 2015-08-20 2020-04-14 Apple Inc. SPAD array with gated histogram construction
US10324171B2 (en) 2015-12-20 2019-06-18 Apple Inc. Light detection and ranging sensor
EP3646057A1 (en) 2017-06-29 2020-05-06 Apple Inc. Time-of-flight depth mapping with parallax compensation
US10312616B2 (en) * 2017-07-14 2019-06-04 Molex, Llc Card edge connector

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110025827A1 (en) * 2009-07-30 2011-02-03 Primesense Ltd. Depth Mapping Based on Pattern Matching and Stereoscopic Information
US20130127854A1 (en) * 2010-08-11 2013-05-23 Primesense Ltd. Scanning Projectors And Image Capture Modules For 3D Mapping
US20140078381A1 (en) * 2012-09-14 2014-03-20 Samsung Electronics Co., Ltd. Method of Controlling Image Sensor and Image Sensor Using the Method
US20140300701A1 (en) * 2013-04-08 2014-10-09 Samsung Electronics Co., Ltd. 3d image acquisition apparatus and method of generating depth image in the 3d image acquisition apparatus

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190022573A (ko) * 2016-06-30 2019-03-06 인터디지털 씨이 페이튼트 홀딩스 픽셀 빔을 표현하는 데이터를 생성하기 위한 장치 및 방법
KR20200003858A (ko) * 2017-04-28 2020-01-10 더 가버닝 카운슬 오브 더 유니버시티 오브 토론토 픽셀 단위 이미징을 위한 방법 및 시스템
KR20200041340A (ko) * 2017-08-23 2020-04-21 아발론 홀로그래픽스 인코퍼레이션 계층화된 장면 분해 코덱 시스템 및 방법
US11611755B2 (en) 2017-08-23 2023-03-21 Avalon Holographies Inc. Layered scene decomposition codec system and methods
KR20190035358A (ko) * 2017-09-26 2019-04-03 삼성전자주식회사 외부 광에 기반하여 카메라를 제어하는 전자 장치 및 제어 방법
WO2019066370A1 (ko) * 2017-09-26 2019-04-04 삼성전자 주식회사 외부 광에 기반하여 카메라를 제어하는 전자 장치 및 제어 방법
US11350040B2 (en) 2017-09-26 2022-05-31 Samsung Electronics Co., Ltd. Electronic device for controlling camera on basis of external light, and control method therefor
WO2020116754A1 (en) * 2018-12-06 2020-06-11 Samsung Electronics Co., Ltd. Electronic device and method for acquiring depth information of object using the same
WO2020159006A1 (ko) * 2019-02-01 2020-08-06 호서대학교 산학협력단 레이저 스캐너 장치
KR20200095940A (ko) * 2019-02-01 2020-08-11 호서대학교 산학협력단 레이저 스캐너 장치

Also Published As

Publication number Publication date
KR102532487B1 (ko) 2023-05-16
US10718605B2 (en) 2020-07-21
US10883822B2 (en) 2021-01-05
KR20160124664A (ko) 2016-10-28
US10145678B2 (en) 2018-12-04
US10132616B2 (en) 2018-11-20
US10883821B2 (en) 2021-01-05
US11650044B2 (en) 2023-05-16
US11378390B2 (en) 2022-07-05
KR102471148B1 (ko) 2022-11-25
US20200249010A1 (en) 2020-08-06
US20210041226A1 (en) 2021-02-11
US20200232787A1 (en) 2020-07-23
US20190101379A1 (en) 2019-04-04
US10704896B2 (en) 2020-07-07
US20160307326A1 (en) 2016-10-20
US20210041225A1 (en) 2021-02-11
US20160307325A1 (en) 2016-10-20
US20190094015A1 (en) 2019-03-28

Similar Documents

Publication Publication Date Title
KR102532487B1 (ko) 포인트 스캔으로 삼각 측량을 이용한 깊이 측정을 위한 씨모스 이미지 센서
KR102470675B1 (ko) 등극선 레이저 포인트 스캔을 이용한 3차원 카메라의 타임스탬프 측정
US11924545B2 (en) Concurrent RGBZ sensor and system
US9661308B1 (en) Increasing tolerance of sensor-scanner misalignment of the 3D camera with epipolar line laser point scanning
TWI801572B (zh) 影像感測器、成像單元及生成灰階影像的方法
CN112235522B (zh) 成像方法和成像系统
US11131542B2 (en) CMOS image sensor for RGB imaging and depth measurement with laser sheet scan
KR102295485B1 (ko) 에피폴라 라인 레이저 포인트 스캐닝을 갖는 3차원 카메라를 위한 더블 리드아웃을 갖는 타임스탬프 에러 정정
US20220321819A1 (en) Timestamp calibration of the 3d camera with epipolar line laser point scanning
KR102473735B1 (ko) 이미징 장치의 동작 방법

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant