KR20190074196A

KR20190074196A - 다이렉트 tof 범위 측정을 위한 non-spad 픽셀들

Info

Publication number: KR20190074196A
Application number: KR1020180116616A
Authority: KR
Inventors: 이빙 미쉘 왕
Original assignee: 삼성전자주식회사
Priority date: 2017-12-19
Filing date: 2018-09-28
Publication date: 2019-06-27
Also published as: US20190187256A1; JP2019109240A; TW201937190A; CN110007288A

Abstract

DTOF(Direct Time-of-Flight) 픽셀 어레이의 픽셀 각각에서의 아날로그 진폭 변조와 결합된다. SPAD(Single Photon Avalanche Diode)들 또는 APD(Avalanche Photo Diode)들 어느 것도 사용되지 않는다. 대신에, 픽셀 각각은 400μV/e- 이상의 변환 이득 및 45%를 넘는 광자 검출 효율(PDE)을 갖고, 핀 포토 다이오드(PPD)와 함께 동작하는 포토 다이오드를 갖는다. TOF 정보는 픽셀 내부의 아날로그 도메인 기반의 단일-차동 변환기에 의하여 수신된 광 신호에 추가된다. 픽셀에서 포토 다이오드의 출력은 PPD의 동작을 제어하는데 사용된다. PPD로부터의 전하 전송은 중지되고, 이로 인하여, 픽셀의 포토 다이오드로부터의 출력이 기정의된 시간 간격 이내에 트리거되는 경우, 객체에 대한 TOF 값 및 범위가 기록된다. 이러한 픽셀들은 운전자들을 위한 향상된 자율 주행 시스템을 제공한다.

Description

다이렉트 TOF 범위 측정을 위한 NON-SPAD 픽셀들{NON-SPAD PIXELS FOR DIRECT TIME-OF-FLIGHT RANGE MEASUREMENT}

본 발명은 일반적으로 이미지 센서와 관련된다. 좀 더 구체적으로, 제한되지 않으나, 본 발명에 개시된 발명의 관점에서의 특정 실시예들은 픽셀이, 매우 높은 변환 이득을 갖는 포토 다이오드(Photo Diode, PD)를 사용하여, 핀 포토 다이오드(Pinned Photo Diode, PPD)와 같은 시간-전하 변환기의 동작을 제어함으로써, TOF 값들 및 3차원 객체의 범위에 대한 기록을 용이하게 하는 TOF(Time-of-Flight) 이미지 센서를 나타낸다.

3차원(3D) 이미지 시스템들은 예를 들어, 산업 생산, 비디오 게임들, 컴퓨터 그래픽들, 로봇 수술들, 소비자 디스플레이들, 감시 비디오들, 삼차원 모델링, 부동산 판매들, 자율 주행, 등과 같은 광범위한 어플리케이션들에 점점 더 사용되고 있다.

기존의 3차원 이미지 기술들은 예를 들어, TOF(Time-of-flight) 기반의 범위 이미징, 스테레오 비전 시스템들, 및 구조형 광(Structured light, SL) 방식들을 포함할 수 있다.

TOF 방식에서, 3차원 객체까지의 거리는 알려진 광의 속도에 근거하여, 광 신호가 이미지의 각각의 포인트에 대하여 카메라와 3차원 객체 사이를 이동하는 왕복 시간을 측정함으로써 해결된다. 카메라에서 픽셀들의 출력들은 특정 픽셀의 TOF 값들에 관한 정보를 제공하여 객체의 3차원 깊이 프로파일을 생성한다. TOF 카메라는 각각의 레이저 또는 광 펄스로 전체의 장면을 캡처하는 스캐너리스(Scannerless) 접근법을 사용할 수 있다. 다이렉트 TOF 이미저(Direct TOF imager)에서, 단일한 레이저 펄스는 시공간적인 데이터를 캡처하여 3차원 장면을 기록하는데 사용될 수 있다. 이는 장면 정보의 신속한 취득과 신속한 실시간 처리를 가능케 한다. TOF 방식의 일부 예시적인 어플리케이션들은 자율 주행 및 활동적인 보행자의 안전 또는 실시간의 거리 이미지들에 근거하여 충돌 전 감지와 같은 개선된 자동차용 어플리케이션을 포함하여 비디오 게임 콘솔들 상의 게임들과 함께 상호작용하는 동안과 같이 인간의 움직임들을 추적할 수 있고, 산업상의 머신 비전에서 객체들을 분류하고 로봇들이 컨베이어 벨트 상의 물건들과 같이 물건들을 발견하는데 도움을 줄 수 있다.

라이다(Light Detection and Ranging, LiDAR)는 펄스 레이저 광으로 타겟을 조광하고 센서로 반사된 펄스들을 측정함으로써, 타겟까지의 거리를 측정하는 다이렉트 TOF 방식의 예시이다. 레이저 리턴 시간들 및 파장들의 차이들은 이후 타겟의 디지털 3차원 표현들을 만드는데 사용될 수 있다. 라이다는 지상파, 공중, 그리고 모바일 어플리케이션들을 갖는다. 라이다는, 예를 들어, 고고학, 지리학, 지질학, 삼림학, 등에서와 같이, 고해상도 맵들을 만드는데 공통적으로 사용된다. 라이다는 또한, 예를 들어 임의의 자율 주행 차량에서의 제어 및 주행을 위한 것과 같은 자동차용 어플리케이션들을 갖는다.

입체 이미징 또는 스테레오 비전 시스템들에서, 서로 수평적으로 옮겨진 두 개의 카메라들은 장면 또는 상기 장면에서의 3차원 객체에 대한 두 개의 다른 시야들을 획득하는데 사용된다. 이러한 두 개의 이미지들을 비교함으로써, 상대적인 깊이 정보가 3차원 객체에 대하여 획득될 수 있다. 스테레오 비전은 자동 시스템들/로봇들 인근의 3차원 객체들의 상대적인 위치에 관한 정보를 추출하는 로봇 공학과 같은 분야들에서 매우 중요하다. 로봇 공학에 대한 다른 어플리케이션들은, 입체 깊이 정보가 로봇 시스템으로 하여금 가려진 이미지 컴포넌트들을 분리하도록 하는 객체 인식을 포함한다. 그렇지 않으면, 로봇은 다른 객체를 부분적으로 또는 완전히 숨기는 다른 하나의 앞에 하나의 객체가 있는 것과 같이, 두 개의 분리된 객체들을 구별할 수 없다. 3차원 스테레오 디스플레이들은 엔터테인먼트 또는 자동화 시스템들에서 또한 사용된다.

SL 방식의 접근법에서, 객체의 3차원 형상은 조사된 광 패턴들과 이미징을 위한 카메라를 이용하여 측정될 수 있다. SL 방식에서, 격자들 또는 수평 막대들 또는 평행한 스트라이프 패턴들과 같이 알려진 광 패턴이 장면 또는 상기 장면에서의 3차원 객체에 조사된다. 조사된 패턴은 3차원 객체의 표면에 부딪칠 때, 변형되거나 바뀌어질 수 있다. 이러한 변형은 SL 비전 시스템으로 하여금 객체의 깊이 및 표면 정보를 계산하도록 한다. 따라서, 3차원 표면에 협대역 광을 조사하는 것은 프로젝터에 의한 것보다 다른 관점들로부터 왜곡되어 나타나는 조광 라인을 생성할 수 있고, 조광된 표면의 형상에 대한 기하학적인 복원에 사용될 수 있다. SL 기반의 3차원 이미징은, 예를 들어 3차원 장면에서의 지문들을 촬영하는 경찰력, 생산 과정 동안 컴포넌트들의 인라인 검사, 인체 형상들 또는 인체 피부의 작은 구조들의 실시간 측정을 위한 헬스 케어 등과 같은 각양각색의 어플리케이션들에 사용될 수 있다.

본 발명은 악천후와 같은 상황들에서도 향상된 TOF 값의 측정이 가능한 픽셀을 포함하는 이미지 센서, 시스템, 및 방법을 제공할 수 있다.

일 실시예에서, 본 발명은 이미지 센서의 픽셀로 지시된다. 픽셀은 (i) 수신된 광을 전기 신호로 변환하고, 문턱 값을 만족하는 변환 이득을 갖는 적어도 하나의 포토 다이오드를 포함하는 포토 다이오드 유닛, (ii) 포토 다이오드 유닛과 직렬로 연결되어 전기 신호를 증폭하고, 응답적으로 중간 출력을 생성하는 증폭기 유닛, 및 (iii) 증폭기 유닛과 연결되어, 상기 중간 출력을 수신하는 시간-전하 변환기 유닛(TCC 유닛)을 포함한다. 픽셀에서, TCC 유닛은 (a) 아날로그 전하를 저장하는 장치, 및 (b) 장치와 연결되는 제어 회로를 포함한다. 제어 회로는 (1) 장치로부터 아날로그 전하의 제1 부분의 전송을 시작하고, (2) 기정의된 시간 간격 이내에 중간 출력의 수신에 응답하여 전송을 종료하고, (3) 전송되는 아날로그 전하의 제1 부분에 근거하여, 픽셀에 대한 제1 픽셀-특유 출력을 생성하는 동작들을 수행한다. 특정 실시예들에서, 변환 이득에 대한 문턱 값은 광전자당 적어도 400μV (마이크로 볼트)이다.

다른 실시예에서, 본 발명은 방법으로 지시된다. 이러한 방법은 (i) 레이저 펄스를 3차원 객체에 조사하는 단계, (ii) 아날로그 전하를 저장하는 픽셀 내 장치로 아날로그 변조 신호를 인가하는 단계, (iii) 아날로그 변조 신호로부터 수신되는 변조에 근거하여, 장치로부터 아날로그 전하의 제1 부분의 전송을 시작하는 단계, (iv) 3차원 객체로부터 반사된 조사된 레이저 펄스인 리턴 펄스에서 수신된 광을 전기 신호로 변환하고 문턱 값을 만족하는 변환 이득을 갖는 적어도 하나의 포토 다이오드를 갖는 포토 다이오드 유닛을 포함하는 픽셀을 사용하여, 리턴 펄스를 검출하는 단계, (v) 픽셀 내 증폭기 유닛을 사용하여, 응답적으로 중간 출력을 생성하도록, 전기 신호를 처리하는 단계, (vi) 기정의된 시간 간격 이내에 중간 출력의 생성에 응답하여, 아날로그 전하의 제1 부분의 전송을 종료하는 단계, 및 (vii) 종료 시에, 전송되는 아날로그 전하의 제1 부분에 근거하여, 리턴 펄스의 TOF(Time-of-Flight) 값을 결정하는 단계를 포함한다. 일부 실시예들에서, 변환 이득에 대한 문턱 값은 광자당 적어도 400μV 이다.

또 다른 실시예에서, 본 발명은 시스템으로 지시되며, (i) 광원, (ii) 복수의 픽셀들, (iii) 프로그램 명령어들을 저장하기 위한 메모리, 및 (iv) 메모리 및 복수의 픽셀들에 연결되는 프로세서를 포함한다. 시스템에서, 광원은 레이저 펄스를 3차원 객체에 조사한다. 복수의 픽셀들에서, 픽셀 각각은, (a) 3차원 객체에 의한 조사된 레이저 펄스의 반사 결과인 리턴 펄스에서 수신된 광을 전기 신호로 변환하고, 문턱 값을 만족하는 변환 이득을 갖는 적어도 하나의 포토 다이오드를 포함하는 픽셀-특유 포토 다이오드 유닛, (b) 픽셀-특유 포토 다이오드 유닛과 직렬로 연결되어, 전기 신호를 증폭하고, 응답적으로 중간 출력을 생성하는 픽셀-특유 증폭기 유닛, 및 (c) 픽셀-특유 증폭기 유닛과 연결되어 중간 출력을 수신하는 픽셀-특유 TCC 유닛을 포함한다. 시스템에서, 픽셀-특유 TCC 유닛은 (i) 아날로그 전하를 저장하는 장치, 및 (ii) 장치와 연결되는 제어 회로를 포함한다. 제어 회로는, (a) 장치로부터 아날로그 전하의 픽셀-특유 제1 부분의 전송을 시작하고, (b) 기정의된 시간 간격 이내에 중간 출력의 수신 시에 픽셀-특유 제1 부분의 전송을 종료하고, (c) 전송되는 아날로그 전하의 픽셀-특유 제1 부분에 근거하여 픽셀에 대한 제1 픽셀-특유 출력을 생성하고, (d) 장치로부터 아날로그 전하의 픽셀-특유 제2 부분을 전송하되, 제2 픽셀-특유 제2 부분은 픽셀-특유 제1 부분이 전송된 이후, 아날로그 전하의 나머지와 실질적으로 동일하고, (e) 전송되는 아날로그 전하의 픽셀-특유 제2 부분에 근거하여 픽셀에 대한 제2 픽셀-특유 출력을 생성하는 동작들을 수행한다. 시스템에서, 프로세서는 프로그램 명령어들을 실행하며, 프로세서는 복수의 픽셀들의 픽셀 각각에 대하여, (a) 아날로그 전하의 픽셀-특유 제1 부분 및 픽셀-특유 제2 부분의 전송들을 각각 수행하게 하고, (b) 제1 및 제2 픽셀-특유 출력들을 수신하고, (c) 제1 및 제2 픽셀-특유 출력들에 근거하여, 픽셀-특유 제1 신호 값 및 픽셀-특유 제2 신호 값을 포함하는 픽셀-특유 신호 값들의 쌍을 각각 생성하고, (d) 픽셀-특유 제1 신호 값 및 픽셀-특유 제2 신호 값을 사용하여, 리턴 펄스의 상응하는 픽셀-특유 TOF 값을 결정하고, (e) 픽셀-특유 TOF 값에 근거하여 3차원 객체에 대한 픽셀-특유 거리를 결정하는 동작들을 수행한다. 특정 실시예들에서, 변환 이득에 대한 문턱 값은 광전자당 적어도 400μV 이다.

본 발명에 따른 이미지 센서, 시스템, 및 방법은 픽셀 각각의 변환 이득 및 광자 검출 효율을 향상시켜, 악천후와 같은 상황들에서도 향상된 TOF 값의 측정이 가능하다.

도 1은 본 발명의 일 실시예에 따른 라이다 TOF 이미지 시스템(15)의 매우 단순화된 부분적인 레이아웃을 도시한 도면이다.
도 2는 본 발명의 일 실시예에 따른 도 1의 시스템의 예시적인 동작 레이아웃을 도시한 도면이다.
도 3은 본 발명의 특정 실시예들에 따른 픽셀의 예시적인 회로의 세부적인 도면이다.
도 4는 본 발명의 일부 실시예들에 따른 다른 픽셀의 예시적인 회로의 세부적인 도면이다.
도 5는 본 발명의 특정 실시예에 따른 픽셀의 예시적인 TCC 유닛에 대한 회로의 세부적인 설명을 제공한다.
도 6은 본 발명의 일 실시예에 따른 도 5의 TCC 유닛에서 변조된 전하 전송 매커니즘을 개략적으로 제공하는 예시적인 타이밍도이다.
도 7은 본 발명의 특정 실시예들에 따른 도 5의 TCC 유닛에 사용될 수 있는 예시적인 논리 유닛에 대한 블록도이다.
도 8은 본 발명의 특정 실시예들에 따라 TOF 값들을 측정하기 위하여, 도 5의 실시예의 TCC 유닛이 픽셀 어레이의 일부로 픽셀에 사용되는 경우, 도 1 및 2의 시스템의 각양각색의 신호들의 예시적인 타이밍을 도시하는 타이밍도이다.
도 9는 본 발명의 특정 실시예에 따른 다른 예시적인 TCC 유닛의 회로의 세부적인 도면이다.
도 10은 본 발명의 특정 실시예들에 따라 TOF 값들을 측정하기 위하여, 도 9의 실시예의 TCC 유닛이 픽셀 어레이의 일부로 픽셀에 사용되는 경우, 도 1 및 2의 시스템의 각양각색의 신호들의 예시적인 타이밍을 도시하는 타이밍도이다.
도 11은 본 발명의 일 실시예에 따른 도 1 및 2의 시스템에서 TOF 값이 결정되는 방법을 도시한 예시적인 순서도이다.
도 12는 본 발명의 일 실시예에 따른 도 1 및 도 2의 시스템의 전반적인 레이아웃을 도시한 도면이다.

이하의 상세한 설명에서, 수많은 특정한 세부 사항이 본 발명의 완전한 이해를 제공하기 위하여 설명된다. 그러나, 개시된 본 발명의 양상들이 이러한 특정 세부 사항들 없이 실시될 수 있다는 것은 당업자에 의해 이해될 것이다. 다른 예들에서, 잘 알려진 방법들, 절차들, 컴포넌트들, 및 회로들은 본 개시를 모호하게 하지 않기 위하여 상세하게 설명되지 않는다. 추가적으로, 설명되는 본 발명의 양상들은 예를 들어, 컴퓨터, 자동차 네비게이션 시스템 등을 포함하는 임의의 이미지 장치 또는 시스템에서 저전력, 거리 측정, 및 3차원 이미징을 수행하도록 구현될 수 있다.

"일 실시예" 또는 "실시예"를 통한 본 명세서에서의 언급은 이러한 실시예와 연관되어 설명되는 특정한 특징, 구조, 또는 특성이 본 발명의 적어도 하나의 실시예에 포함됨을 의미한다. 따라서, 이러한 명세서를 통한 다양한 위치에서 "일 실시예에서", "실시예에서", 또는 "일 실시예에 따라" (또는 다른 유사한 취지를 갖는 다른 문구들)와 같은 문구들의 표현들은 반드시 동일한 실시예 모두를 언급하는 것은 아니다. 나아가, 특정한 특징들, 구조들, 또는 특성들은 하나 이상의 실시예들에서 임의의 적합한 방식으로 결합될 수 있다. 또한, 여기에서의 논의의 문맥에 따라, 단수는 이것의 복수 형태들을 포함할 수 있고, 복수는 이것의 단수 형태를 포함할 수 있다. 유사하게, 하이픈으로 연결된 용어 (예를 들어, "3-차원", "기-정의된", "픽셀-특유의" 등)는 이것의 하이픈이 없는 형태 (예를 들어, "3차원", "기 정의된", "픽셀 특유의" 등)와 함께 경우에 따라 상호 교환적으로 사용될 수 있고, 대문자 입력 (예를 들어, "Projector Module," "Image Sensor," "PIXOUT" 또는 "Pixout" 등)은 이것의 대문자로 입력되지 않은 형태 (예를 들어, "projector module," "image sensor," "pixout," 등)과 함께 상호 교환적으로 사용될 수 있다. 이러한 경우에 따른 상호 교환적인 사용들은 상호 불일치하는 것으로 고려되지 않을 것이다.

"결합된", "동작 가능하게 결합된", "연결된", "연결하는", "전기적으로 연결되는" 등과 같은 용어들이 동작 방식에서 전기적/전기적으로 연결되는 상태에 대하여 일반적으로 언급하도록 여기에서 상호 교환적으로 사용될 수 있다는 것이 처음에 언급된다. 유사하게, 제1 엔티티(entity)가 전기적으로 정보 신호들(어드레스, 데이터, 또는 제어 정보이든 아니든)을 이러한 신호들의 형식(아날로그 또는 디지털)과 관계없이 제2 엔티티와 송신 및/또는 수신(유선 또는 무선 수단들을 통하든 아니든)할 때, 제1 엔티티는 제2 엔티티 (또는 엔티티들)와 통신하는 것으로 고려된다. 나아가, 여기에서 도시되고 설명되는 다양한 도면들(컴포넌트 다이어그램들을 포함)은 단지 예시적인 목적을 위한 것이고, 규격에 맞게 그려진 것이 아님이 언급된다. 유사하게, 다양한 파형들 및 타이밍도들은 단지 예시적인 목적을 위하여 도시된다.

여기에서 사용되는 "제1", "제2" 등의 용어들은 그것들이 선행하는 명사들의 레이블로 사용되고, 명시적으로 정의되지 않는 한, 임의로 정하여진 (예를 들어, 공간적, 시간적, 논리적 등) 형식을 암시하지 않는다. 나아가, 동일한 참조 번호들은 동일 또는 유사한 기능들을 갖는 부분들, 컴포넌트들, 블록들, 회로들, 유닛들, 또는 모듈들로 언급되는 둘 이상의 도면들에 걸쳐 사용될 수 있다. 그러나, 이러한 사용은 설명의 단순화 및 설명의 용이성을 위한 것이고, 이러한 컴포넌트들 또는 유닛들의 구성 또는 구조적인 세부 설명들이 모든 실시예들에 걸쳐 동일하다거나, 이러한 공통적으로 참조되는 부분들/모듈들이 본 발명의 특정 실시예들의 교시들을 구현하는 유일한 방법임을 암시하는 것은 아니다.

앞서 언급되었던 3차원 기술들이 많은 단점들을 갖는다는 것이 여기에서 관찰된다. 예를 들어, 레인지 게이트 TOF 이미저(range gated TOF imager)는 광을 제공하는 다수의 레이저 펄스들과 광이 오직 원하는 시간 동안 이미저에 도달하도록 하는 광학 게이트를 사용할 수 있다. 레인지 게이트 TOF 이미저들은 안개를 통하여 보이는 것과 같이 특정된 거리 범위 바깥의 것들을 막도록 2차원 이미징에 사용될 수 있다. 그러나, 게이트 TOF 이미저들은 오직 흑백(Black-and-White, B&W) 출력을 제공할 수 있고, 3차원 이미징 기능을 갖지 않을 수 있다. 나아가, 현재의 TOF 시스템들은 일반적으로 수 미터에서 수십 미터의 범위를 넘어 동작하나, 그것들의 해상도는 짧은 거리들에 대한 측정들에 대하여 감소할 수 있다. 이로 인하여, 안개 또는 보기 힘든 상황들에서와 같이, 짧은 거리 이내에서 3차원 이미징을 만드는 것은 비실용적이다. 또한, 기존 TOF 센서들의 픽셀들은 주변 광에 취약할 수 있다.

다이렉트 TOF(Direct TOF, DTOF) 라이다 센서들은 전형적으로 DTOF 범위 측정들을 위하여 그들의 픽셀 어레이에 단일광자 애벌란치 다이오드들(Single Photon Avalanche Diodes, SPADs) 또는 애벌란치 포토 다이오드들(Avalanche Photo Diodes, APDs)을 사용한다. 일반적으로, SPAD 및 APD 모두는 대략 20V에서 30V 범위의 높은 동작 전압 및 그것들을 제작하기 위한 특수한 제조 공정들을 요구한다. 나아가, SPAD는 5% 범위 내의 낮은 광자 검출 효율(Photon Detection Efficiency, PDE)을 갖는다. 따라서, SPAD 기반의 이미저는 전천후 자율 주행을 위한 고속의 3차원 이미징 시스템에 최적화되지 않을 수 있다.

입체적인 이미징 접근법은 일반적으로 질감을 갖는 표면들에만 효과가 있다. 이는 특징들을 매칭하고 객체에 대한 이미지들의 입체 쌍 사이의 대응성들을 발견하기 위한 요구들 때문에, 높은 계산 복잡도를 갖는다. 이는 높은 시스템 전력을 요구한다. 나아가, 입체 이미징은, 예를 들어, 자동차-기반의 자율 주행 시스템에서와 같이, 공간이 가치있는 곳에서, 전체 어셈블리를 부적절하게 하는 두 개의 렌즈들과 함께 두 개의 균일하고 높은 비트의 해상도 센서들을 요구한다. 추가적으로, 입체 3차원 카메라는 안개를 통하여 보기 어렵고, 동작 흐림 효과(motion blur)를 다루기 어렵다.

반면에, 본 발명의 특정 실시예들은 전천후 상황들을 위한 자동차들에서의 저비용 고효율의 자동차용 라이다 센서 또는 DTOF-기반의 3차원 이미징 시스템의 구현을 제공한다. 따라서, 운전자에 대한 향상된 시야가 예를 들어, 낮은 광, 악천후, 안개, 강한 주변 광 등과 같은 어려운 상황들 하에서 제공될 수 있다. 본 발명의 특정 실시예들에 따른 DTOF 범위 측정 시스템은 이미징을 포함하지 않을 수 있으나, 대신 가청 및/또는 가시 경보를 제공할 수 있다. 측정된 범위는, 예를 들어 다른 객체와의 충돌을 피하도록 자동적으로 차량을 멈추는 것과 같은 차량의 자율 제어에 사용될 수 있다. 이하에서 더욱 상세하게 설명되는 바와 같이, 본 발명의 특정 실시예들에 따른 단일 펄스-기반의 다이렉트 TOF 시스템에서, TOF 정보는 픽셀 자체 내부의 제어된 전하 전송 및 아날로그 도메인-기반의 단일-차동 변환기(single-ended to differential converter)에 의하여, 수신된 신호에 추가된다. 따라서, 본 발명은 각각의 픽셀에서의 단일한 핀 포토 다이오드(Pinned Photo Diode, PPD) (또는 다른 시간-전하 변환기)와 결합한 45% 이상 범위의 PDE를 갖는 고 변환 포토 다이오드(Photo Diode, PD)를 이용한 픽셀 어레이의 각각의 픽셀 내에서 아날로그 진폭 변조(Amplitude Modulation, AM)와 TOF를 직접 조합하는 단일한 칩 솔루션을 제공한다. 고 변환 PD들은 DTOF 범위 측정들을 위하여 현재의 라이다 이미저들의 SPAD들을 대체한다. 픽셀에서 PD의 출력은 PPD의 동작을 제어하여 TOF 값들과 3차원 객체의 범위에 대한 기록을 용이하게 하는데 사용된다. 그 결과, 짧은 범위에서 악천후를 “꿰뚫어 볼” 수 있고, 실질적으로 낮은 동작 전압에서 2차원 그레이-스케일 이미지들뿐만 아니라 3차원 이미지들을 생성할 수 있는 향상된 자율 주행 시스템이 제공될 수 있다.

도 1은 본 발명의 일 실시예에 따른 라이다 TOF 이미지 시스템(15)의 매우 단순화된 부분적인 레이아웃을 도시한 도면이다. 도시된 바와 같이, 시스템(15)은 프로세서 또는 호스트(19)와 연결되고 통신하는 이미지 모듈(17)을 포함한다. 시스템(15)은 예를 들어, 이미지 모듈(17)로부터 수신된 이미지 데이터와 같은 정보 콘텐츠를 저장하도록 프로세서(19)에 연결되는 메모리 모듈(20)을 포함한다. 특정 실시예들에서, 전체의 시스템(15)은 단일한 집적 회로(Intergrated Circuit, IC) 또는 칩에 캡슐화될 수 있다. 또는, 모듈들(17, 19, 20) 각각은 별개의 칩에 구현될 수 있다. 나아가, 메모리 모듈(20)은 다수의 메모리 칩을 포함할 수 있고, 프로세서 모듈(19)은 또한 다수의 프로세싱 칩들을 포함할 수 있다. 어쨌든, 도 1에 모듈들의 패키징과 어떻게 그것들이 단일 칩에서 또는 다수의 분리된 칩들을 사용하여 제조되거나 구현되는지에 관한 세부 내용들은 본 발명과 관련되지 않고, 따라서 이러한 세부 내용들이 여기에서 제공되지 않을 것이다.

시스템(15)은 본 발명의 교시들에 따른 2차원 및 3차원 이미징 어플리케이션들에 대해 구성된 임의의 전자 장치일 수 있다. 시스템(15)은 휴대 가능하거나 휴대 가능하지 않을 수 있다. 시스템(15)의 휴대 가능한 버전의 일부 실시예들은 예를 들어, 모바일 장치, 휴대폰, 스마트폰, 사용자 단말기(User Equipoment, UE), 태블릿, 디지털 카메라, 랩탑 또는 데스크탑 컴퓨터, 자동차 네비게이션 유닛, M2M(Machine-to-Machine) 통신 유닛, 가상 현실(VR) 장치 또는 모듈, 로봇 등과 같은 일반적인 소비자 전자 장치들을 포함할 수 있다. 반면에, 시스템(15)의 휴대 가능하지 않은 버전의 일부 실시예들은 비디오 아케이드의 게임 콘솔, 상호 작용하는 비디오 단말, 자율 주행이 가능한 자동차, 머신 비전 시스템, 산업용 로봇, VR 장비, 등을 포함할 수 있다. 본 발명의 교시들에 따라 제공된 3차원 이미징 기능은 예를 들어, 낮은 광 또는 악천후 상황들에서의 전천후 자율 주행 및 운전자 보조와 같은 자동차 어플리게이션들, 휴먼-머신 인터페이스와 게임 어플리케이션들, 머신 비전과 로봇 공학 어플리케이션들 등과 같은 많은 어플리케이션들에 사용될 수 있다.

본 발명의 특정 실시예들에서, 이미지 모듈(17)은 프로젝터 모듈(또는 광원 모듈)(22) 및 이미지 센서 유닛(24)을 포함할 수 있다. 도 2를 참조하여 더욱 세부적으로 후술되는 바와 같이, 일 실시예에서, 프로젝터 모듈(22)에서의 광원은 예를 들어, 근적외선(Near Infrared, NIR) 또는 단파 적외선(Short Wave Infrared, SWIR) 레이저와 같이, 광이 눈에 띄지 않도록 하는 적외선(IR) 레이저일 수 있다. 다른 실시예들에서, 광원은 가시광선 레이저일 수 있다. 이미지 센서 유닛(24)은 도 2에서 도시되고 후술되는 바와 같이, 픽셀 어레이와 보조 처리 회로들을 포함할 수 있다.

일 실시예에서, 프로세서(19)는 범용 마이크로프로세서인 중앙 처리 장치(CPU)일, 수 있다. 본문에서, “프로세서”와 “CPU”의 용어들은 설명의 편이상 상호 교환되어 사용될 수 있다. 그러나, CPU 이외에 또는 대신에, 프로세서(19)는 예를 들어, 마이크로 컨트롤러, 디지털 신호 프로세서(DSP), 그래픽스 처리 장치(GPU), 전용 ASIC(Application Specific Integrated Circuit) 프로세서 등과 같은 다른 유형의 프로세서들을 포함할 수 있다. 나아가, 일 실시예에서, 프로세서/호스트(19)는 다수의 CPU를 포함할 수 있으며, 이들은 분리된 처리 환경에서 동작할 수 있다. 프로세서(19)는 명령어들을 실행하고, 예를 들어 x86 명령어 세트 아키텍처(32-비트 또는 64-비트 버전), PowerPC®ISA, 또는 RISC(Reduced Instruction Set Computer) ISA에 의존하는 MIPS(Microprocessor without Interlocked Pipeline Stages) 명령어 세트 아키텍처와 같은 특정 명령어 세트 아키텍처(Instruction Set Architecture, ISA)에 따라 데이터를 처리하도록 구성될 수 있다. 일 실시예에서, 프로세서(19)는 CPU 기능 이외의 기능들을 갖는 시스템 온 칩(System on Chip, SoC)일 수 있다.

특정 실시예들에서, 메모리 모듈(20)은 예를 들어, 동기식 DRAM(Synchronous DRAM, SDRAM)이거나 HBM(High Bandwidth Memory) 모듈, 또는 HMC(Hybrid Memory Cube) 메모리 모듈과 같은 DRAM-기반의 3차원 스택(Three Dimensional Stack, 3DS) 메모리 모듈과 같은 DRAM(Dynamic Random Access Memory)일 수 있다. 다른 실시예들에서, 메모리 모듈(20)은 SSD(Solid State Drive), non-3DS DRAM 모듈, 또는 SRAM(Static Random Access Memory), PRAM 또는 PCRAM(Phase-Change Random Access Memory), RRAM 또는 ReRAM(Resistive Random Access Memory), CBRAM(Conductive-Bridging RAM), MRAM(Magnetic RAM), STT-MRAM(Spin-Transfer Torque MRAM) 등과 같은 다른 반도체-기반의 스토리지 시스템일 수 있다.

도 2는 본 발명의 일 실시예에 따른 도 1의 시스템(15)의 예시적인 동작 레이아웃을 도시한 도면이다. 시스템(15)은 3차원 객체(26)와 같이, 개별적인 객체 또는 다른 객체들의 그룹 내의 객체일 수 있는 3차원 객체에 대한 범위 측정 (그리고, 따라서, 3차원 이미지)을 획득하는데 사용될 수 있다. 일 실시예에서, 범위 및 3차원 깊이 정보는 이미지 센서 유닛(24)으로부터 수신되는 측정 데이터에 근거하여 프로세서(19)에 의하여 계산될 수 있다. 다른 실시예에서, 범위/깊이 정보는 이미지 센서 유닛(24) 자체에 의하여 계산될 수 있다. 특정 실시예에서, 범위 정보는 프로세서(19)에 의하여 3차원 사용자 인터페이스의 일부로써 사용될 수 있다. 3차원 사용자 인터페이스는 시스템(15)의 사용자를 객체의 3차원 이미지와 상호작용할 수 있도록 하거나, 객체의 3차원 이미지를 시스템(15)에서 작동하는 게임들 또는 자율 주행 어플리케이션과 같은 다른 어플리케이션들의 일부로써 사용할 수 있도록 할 수 있다. 본 발명의 교시들에 따른 3차원 이미징은 또한, 다른 목적들 또는 어플리케이션들을 위하여 사용될 수 있고, 움직이거나 움직이지 않는 임의의 3차원 객체에 실질적으로 적용될 수 있다.

광원 (또는 프로젝터) 모듈(22)은 광학적 시야 (Field Of View, FOV) 내의 3차원 객체(26)로 조사시키는데 사용될 수 있는 광학적 방사선 또는 광 신호의 조사 경로를 나타내는, 상응하는 점선(31)과 연관된 예시적인 화살표(30)로 도시된 바와 같이 짧은 펄스(28)를 조사시킴으로써 3차원 객체(26)를 조광할 수 있다. 시스템(15)은 단일 펄스가 (픽셀 어레이의) 이미지 프레임 당 사용될 수 있는 다이렉트 TOF 이미저일 수 있다. 특정 실시예들에서, 다수의 짧은 펄스들은 또한 3차원 객체(26)에 전송될 수 있다. 일 실시예에서, 레이저 컨트롤러(34)에 의하여 동작되고 제어되는 레이저 광원(33)일 수 있는 광학적 방사선원은 짧은 펄스(28) (여기에서, 레이저 펄스)를 3차원 객체(26)로 조사시키는데 사용될 수 있다. 레이저 광원(33)으로부터의 짧은 펄스(28)는 레이저 컨트롤러(34)의 제어 하에, 조사 광학계(35)를 통하여 3차원 객체(26)의 표면에 조사될 수 있다. 조사 광학계는 포커싱 렌즈, 유리/플라스틱의 표면, 또는 다른 원통형의 광학 구성 요소일 수 있다. 도 2의 실시예에서, 포커싱 렌즈와 같은 볼록한 구조는 조사 광학계(35)로 도시된다. 그러나, 임의의 다른 적합한 렌즈의 설계 또는 외부의 광학적 커버가 조사 광학계(35)로 선택될 수 있다.

특정 실시예들에서, 광원 (또는 조광 소스)(33)은 다이오드 레이저 또는 가시광선을 방출하는 LED(Light Emitting Diode), 비-가시(non-visible) 스펙트럼에서의 광을 생성하는 광원, 적외선(IR) 레이저(예를 들어, NIR 또는 SWIR 레이저), 점광원, 가시광선 스펙트럼에서의 단색광원(예를 들어, 화이트 램프와 단색화 장치(monochromator)의 조합), 또는 임의의 다른 유형의 레이저 광원일 수 있다. 자율 주행 어플리케이션들에서, 더욱 눈에 띄지 않는 NIR 또는 SWIR 레이저가 펄스 레이저 광원(33)으로 선호될 수 있다. 특정 실시예들에서, 레이저 광원(33)은 예를 들어, 2차원 스캐닝이 가능한 점광원, 1차원(1D) 스캐닝이 가능한 면광원(sheet source), 또는 이미지 센서 유닛(24)의 시야(FOV)를 매칭하는 확산 레이저와 같은 수많은 다른 유형들의 레이저 광원들 중 하나일 수 있다. 특정 실시예들에서, 레이저 광원(33)은 장치(15)의 하우징 내에 하나의 위치로 고정될 수 있으나, X-Y 방향들로 회전할 수도 있다. 레이저 광원(33)은 3차원 객체(26)의 스캔을 수행하도록 X-Y 어드레서블(addressable) (예를 들어, 레이저 컨트롤러(34)에 의하여) 할 수 있다. 레이저 펄스(28)는 미러(미도시)를 사용하여 3차원 객체(26)의 표면에 조사될 수 있다. 또는, 조사가 완전히 미러 없이 될 수 있다. 특정 실시예들에서, 프로젝터 모듈(22)은 도 2의 예시적인 실시예에서 도시된 것들보다 많거나 적은 구성 요소들을 포함할 수 있다.

도 2의 실시예에서, 객체(26)로부터 반사되는, 또한 “리턴 펄스”로 지칭되는, 광/펄스(37)는 점선(40)에 인접한 화살표(39)로 표시되는 수집 경로를 따라 이동할 수 있다. 광 수집 경로는 레이저 광원(33)으로부터 광을 수신시에, 객체(26)의 표면으로부터 반사되거나 표면에 의하여 산란되는 광자들을 운반할 수 있다. 도 2에서의 실선 화살표와 점선을 사용한 다양한 전달 경로들의 묘사는 단순히 예시적인 목적을 위한 것임이 여기에서 언급된다. 이러한 묘사는 임의의 실질적인 광학 신호 전달 경로들을 도시하는 것으로 해석되지 않아야 한다. 실제로, 조광 및 수집 신호 경로들은 도 2에서 도시된 것과 다를 수 있고, 도 2에서 도시된 것 만큼 명확하게 정의된 것이 아닐 수 있다.

TOF 이미징에서, 조광된 3차원 객체(26)로부터 수신된 광은 이미지 센서 유닛(24)의 수집 광학계(44)를 통하여 2차원 픽셀 어레이(42)에 포커싱될 수 있다. 픽셀 어레이(42)는 하나 이상의 픽셀들(43)을 포함할 수 있다. 조사 광학계(35)와 같이, 수집 광학계(44)는 3차원 객체(26)로부터 수신된 반사 광을 2차원 어레이(42)의 하나 이상의 픽셀들(43)로 집중시키는 포커싱 렌즈, 유리/플라스틱 표면, 또는 다른 원통형의 광학 구성 요소일 수 있다. 광 대역 통과 필터(미도시)는 레이저 펄스(28)에서의 광 파장과 동일한 파장을 갖는 광만을 통과시키는 수집 광학계(44)의 일부로 사용될 수 있다. 이는 관련성이 없는 광의 수집/수신을 막고 잡음을 줄이도록 할 수 있다. 도 2의 실시예에서, 포커싱 렌즈와 같은 볼록한 구조가 수집 광학계(44)로 도시된다. 그러나, 임의의 다른 적합한 렌즈 설계 또는 광학적 커버가 수집 광학계(44)로 선택될 수 있다. 나아가, 도시의 용이성을 위하여, 단순히 3X3 픽셀 어레이가 도 2에 도시된다. 그러나, 현재의 픽셀 어레이들은 수천 개 심지어 수백만개의 픽셀들을 포함하는 것으로 이해될 것이다.

본 발명의 특정 실시예들에 따른 TOF-기반의 3차원 이미징은 2차원 픽셀 어레이들(42)과 레이저 광원(33)의 수많은 다른 조합들을 사용하여 수행될 수 있는데, 예를 들어, (i) 레드(R), 그린(G), 또는 블루(B) 광 레이저 이거나, 또는 이러한 광들의 조합을 생성하는 레이저 광원일 수 있는 가시광선 레이저 광원을 갖는 2차원 컬러(RGB) 센서, (ii) 적외선(IR) 차단 필터를 갖는 2차원 RGB 컬러 센서를 포함하는 가시광선 레이저, (iii) 2차원 IR 센서를 갖는 NIR 또는 SWIR 레이저, (iv) 2차원 NIR 센서를 갖는 NIR 레이저, (v) (IR 차단 필터가 없는) 2차원 RGB 센서를 갖는 NIR 레이저, (vi) (NIR 차단 필터가 없는) 2차원 RGB 센서를 갖는 NIR 레이저, (vii) 가시광선 또는 적외선(IR) 레이저를 갖는 2차원 RGB-IR 센서, (vIii) 가시광선 또는 NIR 중 어느 하나의 레이저를 갖는 2차원 RGBW(레드, 그린, 블루, 화이트) 또는 RWB(레드, 화이트, 블루) 센서 등과 같은 것이다. NIR 또는 다른 IR 레이저의 경우에, 예를 들어 자율 주행 어플리케이션들에서, 2차원 픽셀 어레이(42)는 3차원 객체(26)의 그레이 스케일 이미지를 생성하도록 출력들을 제공할 수 있다. 이러한 픽셀 출력들은 또한 범위 측정들을 획득하도록 처리될 수 있고, 이로 인하여, 더욱 상세하게 후술되는 바와 같이, 객체(26)의 3차원 이미지를 생성할 수 있다. 개별적인 픽셀들(43)에 대한 예시적인 회로의 세부 내용들은 도 3 내지 5, 7, 및 9를 참조하여 후술된다.

픽셀 어레이(42)는 수신된 광자들을 상응하는 전자 신호들로 변환할 수 있으며, 이후에 전자 신호들은 관련된 이미지 처리 유닛(46)에 의하여 처리되어 객체(26)의 범위 및 3차원 깊이 정보를 결정한다. 일 실시예에서, 이미지 처리 유닛(46) 및/또는 프로세서(19)는 범위 측정들을 수행할 수 있다. 도 2에서 언급된 바와 같이, 이미지 처리 유닛(46)은 또한 관련된 처리 회로들 및 픽셀 어레이(42)의 동작을 제어하기 위한 회로들을 포함할 수 있다. 프로젝터 모듈(22) 및 픽셀 어레이(42) 모두 고속 신호들에 의하여 제어되어야 하고, 동기화되어야 함이 여기에서 언급된다. 이러한 신호들은 높은 해상도를 획득하도록 매우 정확하여야 한다. 따라서, 프로세서(19) 및 이미지 처리 유닛(46)은 정확한 시간과 높은 정밀도를 관련 신호들에게 제공하도록 구성될 수 있다.

도 2의 실시예의 TOF 시스템(15)에서, 이미지 처리 유닛(46)은 각각의 픽셀(43)로부터 한 쌍의 픽셀-특유 출력들을 수신하여, 광이 프로젝터 모듈(22)에서 객체(26)까지 이동하고, 픽셀 어레이(42)로 되돌아오는데 걸리는 픽셀-특유 시간(픽셀-특유 TOF 값)을 측정할 수 있다. 시간 계산은 후술될 접근법을 사용할 수 있다. 계산된 TOF 값들에 근거하여, 특정 실시예들에서, 객체(26)까지의 픽셀-특유 거리는 이미지 센서 유닛(24)의 이미지 처리 유닛(46)에 의하여 직접 계산되어, 프로세서(19)가 예를 들어, 디스플레이 스크린 또는 사용자 인터페이스와 같은 일부 인터페이스를 통하여 객체(26)의 3차원 거리 이미지를 제공할 수 있게 한다.

프로세서(19)는 프로젝터 모듈(22)과 이미지 센서 유닛(24)의 동작들을 제어할 수 있다. 사용자 입력 시에 또는 자동적으로 (예를 들어, 실시간 자율 주행 어플리케이션에서와 같이), 프로세서(19)는 반복적으로 레이저 펄스(28)를 주위의 3차원 객체(들)에 전송할 수 있고, 입사하는 리턴 펄스들(37)을 수신 및 처리하도록 센서 유닛(24)을 트리거할 수 있다. 이미지 처리 유닛(46)으로부터 수신되는 처리된 이미지 데이터는 TOF-기반의 범위 계산 및 3차원 이미지 생성 (적용 가능하다면)을 위하여 프로세서(19)에 의하여 메모리(20)에 저장될 수 있다. 프로세서(19)는 또한 2차원 이미지 (예를 들어, 그레이 스케일 이미지) 및/또는 3차원 이미지를 장치(15)의 디스플레이 스크린(미도시)에 표시할 수 있다. 프로세서(19)는 소프트웨어 또는 펌웨어로 프로그램되어 여기에서 설명된 다양한 처리 작업들을 수행할 수 있다. 선택적 또는 추가적으로, 프로세서(19)는 이러한 기능들의 일부 또는 전부를 수행하기 위한 프로그래머블(promrammable) 하드웨어 논리 회로들을 포함할 수 있다. 특정 실시예들에서, 메모리(20)는 프로그램 코드, 룩업 테이블, 및/또는 임시 계산 결과들을 저장하여 프로세서(19)가 이러한 기능들을 수행하게 할 수 있다.

도 3은 본 발명의 특정 실시예들에 따른 픽셀(50)의 예시적인 회로의 세부적인 도면이다. 픽셀(50)은 도 2의 픽셀 어레이(42)에서 픽셀(43)의 예시이다. 픽셀(50)은 도 5 내지 10을 참조하여 후술되는 바와 같이, TOF 측정들을 위한 시간-분해 센서(time-resolving sensor)로 동작할 수 있다. 도 3에 도시된 바와 같이, 픽셀(50)은 출력 유닛(53)에 전기적으로 연결되는 포토 다이오드(PD) 유닛(52)을 포함할 수 있다. PD 유닛(52)은 제2 PD(56)와 병렬로 연결되는 제1 PD(55)를 포함할 수 있다. 제1 PD(55)는, 참조 번호 “57”의 실선으로 도시되는 수신된 광 (또는 입사 광)을 전기 신호로 변환하도록 동작하는, 매우 높은 변환 이득을 갖는 PD일 수 있으며, 전기 신호는 더 처리하기 위하여, 제1 PD-특유 출력 단자(58)를 통하여 출력 유닛(53)에 제공될 수 있다. 일부 실시예들에서, 수신된 광(57)은 리턴 펄스(37) (도 2)로 수신되는 광일 수 있다. 특정 실시예들에서, 제1 PD(55)의 변환 이득은 광전자 (또는 광자)당 적어도 400μV일 수 있으며, 또한, 400μV/e-로 상호 교환적으로 지칭될 수 있다. 앞서 언급되었듯이, 전통적인 PD들은 200μV/e-보다 낮은 변환 이득을 갖는다. 높은 이득의 PD(55)는 또한 45% 이상의 범위로, 훨씬 높은 PDE를 가질 수 있으며, 그로 인하여 낮은 광 상황들에서 광자 검출을 용이하게 한다. PD(55)는 애벌란치 이득 없이 광자 카운팅을 수행할 수 있으므로, DTOF 라이다 센서들의 SPAD를 대체하는데 사용될 수 있다. 나아가, PD(55)는 다른 저전압 CMOS(Complementary Metal Oxide Semiconductor) 회로들과 호환될 수 있고, 약 2.5V에서 3V의 “전통적인” 공급 전압에서 동작할 수 있으며, 그로 인하여 충분한 전력 절감을 제공한다. 반면에, 이전에 언급한 바와 같이, SPAD (또는 APD)는 약 20V에서 30V의 높은 동작 전압을 요구할 수 있다. 따라서, 높은 변환 이득, 높은 PDE, 및 낮은 동작 전압을 갖는 PD(55)를 포함하는 픽셀(50)은 TOF 기반의 범위 측정들을 요구하는 전천후 자율 주행 및 다른 어플리케이션들을 위한, 예를 들어, 도 1 및 2의 시스템(15)과 같은 고속의 3차원 이미징 시스템에서 도 2의 픽셀 어레이(42)와 같은 픽셀 어레이에서 유리하게 사용될 수 있다.

일 실시예에서, 제2 PD(56)는 매우 높은 이득 및 높은 PDE를 갖는 저전압 PD일 수 있다는 의미에서 제1 PD(55)와 유사할 수 있다. 그러나, 제1 PD(55)와 대조적으로, 제2 PD(56)는 도 3의 PD(56) 주위의 회색 원으로 도시된 바와 같이, 광에 노출되지 않을 수 있다. 따라서, 제2 PD(56)는 예를 들어, 광(57)의 수신 시에, 어둠 레벨을 검출할 수 있고, 어둠 레벨로 나타나는 기준 신호 (또는 다크 전류)를 생성할 수 있다. 기준 신호는 제2 PD-특유 출력 단자(59)를 통하여 출력 유닛(53)에 제공될 수 있다. 단순히 하나의 높은 이득의 PD(55)가 PD 유닛(52)에 광 수용기로 도시되나, 일부 실시예들에서, PD 유닛(52)은 PD(55)와 유사한 하나 이상의 PD들을 포함할 수 있음이 여기에서 언급되며, 이러한 모든 높은 이득의 PD들은 서로 (노출되지 않은 PD(56)와) 병렬로 연결될 수 있고, 수신되는 광에 노출될 수 있다.

설명의 편의상 간략하게, 그리고 이러한 문맥에 따라, 동일한 참조 번호가 라인/단자 및 이러한 라인/단자와 연관된 신호를 경우에 따라 상호 교환적으로 지칭하기 위하여 도 3 내지 10의 설명에서 사용될 수 있음이 여기에서 언급된다. 예를 들어, 참조 번호 “58”은 PD(55)에 의하여 생성되는 전기 신호 및 전기 신호를 운반하는 라인/단자를 상호 교환적으로 언급하는데 사용될 수 있다. 유사하게, 참조 번호 ”59”는 PD(56)에 의하여 생성되는 기준 신호 및 기준 신호를 운반하는 라인/단자를 언급하는데 사용될 수 있고, (후술되는) 참조 번호 “74”는 PD 유닛(68) (도 4)에 의하여 출력되는 전기 신호 및 전기 신호를 운반하는 라인/단자를 언급하는데 사용될 수 있다.

출력 유닛(53)의 증폭기 유닛(60)은 PD들(55-56)과 직렬로 연결될 수 있고, 전기 신호(58)를 증폭하도록 동작할 수 있다. 일부 실시예들에서, 증폭기 유닛(60)은 감지 증폭기일 수 있다. 이러한 증폭 이전에, 감지 증폭기(60)는 PD들(55-56)을 리셋할 수 있다. 이후에, PD(55)는 광(57)을 수신할 수 있고, 전기 신호(58)를 생성할 수 있다. 감지 증폭기(60)는 전자 셔터가 턴 온되는 경우에 한하여, 전기 신호를 증폭하도록 동작할 수 있다. 예시적인 셔터 신호들은 도 6, 8, 및 10에 도시되며, 후술된다. 도 3의 실시예에서, 셔터 신호 (또한 “전자 셔터”로 언급되는) (61)는 감지 증폭기(60)로 입력되는, 외부에서 공급되는 “인에이블” (En)로 도시된다. 일 실시예에서, PD들(55-56)은 셔터 신호(61)가 턴 온되기 전에 리셋될 수 있다. 셔터 신호(61)가 활성화되는 동안, 감지 증폭기(60)는 기준 신호 (또는 다크 전류) (59)에 대한 (광자 도달의 검출에 응답하여 생성되는) 전기 신호(58)를 감지할 수 있고, 전기 신호를 증폭하여 중간 출력(62)을 생성할 수 있다. 일 실시예에서, 감지 증폭기(60)는 전통적인 전류 감지 증폭기일 수 있다. 중간 출력(62)은 구현에 따라, 전압 신호 또는 전류 신호일 수 있다.

시간-전하 변환기(Time-to-Charge Converter, TCC) 유닛(64)에 대한 예시적인 회로의 세부적인 설명이 후술되는 도 5, 7, 및 9에 도시된다. TCC 유닛(64)은 아날로그 전하 전송 (후술됨)에 근거하여 광자 도달 시간을 기록하는데 사용될 수 있다. 일반적으로, 특정 실시예들에서, TCC 유닛(64)은, 핀 포토 다이오드(PPD) 또는 커패시터와 같이, 아날로그 전하를 저장하도록 동작하는 픽셀-특유 장치, 및 상기 장치와 연결되는 제어 회로를 포함할 수 있다. 제어 회로는 (i) 상기 장치로부터 아날로그 전하의 일부의 전송을 시작하고, (ii) 기결정된 시간 간격 이내에 중간 출력(62)의 수신에 응답하여 전송을 종료하고, (iii) 전송되는 아날로그 전하의 일부에 근거하여 픽셀에 대한 픽셀-특유 아날로그 출력(PIXOUT) (65)을 생성하도록 동작한다. 도 2의 실시예에서, 이미지 센서 어레이(42)의 (도 3의 픽셀(50)과 유사한) 다양한 픽셀들(43)로부터의 pixout 신호들은 이미지 처리 유닛(46) (또는 프로세서(19))에 의하여, 광자 도달 시간(들)을 기록하고 TOF 값들을 결정하도록 처리될 수 있다. 따라서, 더욱 세부적으로 후술되는 바와 같이, 중간 출력(62) (및, 이로 인하여, PD(55)에 의한 광자 검출)은 픽셀-특유 출력(Pixout) (65)을 생성하도록 아날로그 스토리지 장치 (예를 들어, PPD 또는 커패시터)로부터의 전하 전송을 제어할 수 있다. 또한, 후술되는 바와 같이, 전하 전송은 TOF 값 및 3차원 객체(26)의 상응하는 범위의 기록을 용이하게 할 수 있다. 즉, PD(55)로부터의 출력은 스토리지 장치의 동작을 결정하는데 사용된다. 나아가, 픽셀(50)에서, 광-감지 기능은 PD(55)에 의하여 수행되고, 반면에 아날로그 스토리지 장치는 광-감지 구성 요소 대신에, 시간-전하 변환기로 사용된다.

도 4는 본 발명의 일부 실시예들에 따른 다른 픽셀(67)의 예시적인 회로의 세부적인 도면이다. 픽셀(67)은 도 2의 픽셀 어레이(42)에서 픽셀(43)의 다른 예시이다. 도 3의 픽셀(50)과 같이, 픽셀(67)은 도 5 내지 10을 참조하여 후술되는 바와 같이, 또한 TOF 측정들을 위한 시간-분해 센서로 동작할 수 있다. 도 4에 도시된 바와 같이, 픽셀(67)은 출력 유닛(69)에 전기적으로 연결되는 포토 다이오드(PD) 유닛(68)을 포함할 수 있다. 도 4의 실시예에서, PD 유닛(68)은 매우 높은 변환 이득과 높은 PDE를 갖는 오직 하나의 PD(70)를 포함할 수 있으며, PD(56)와 같이 노출되지 않는 PD는 PD 유닛(68)의 일부로 포함되지 않을 수 있다. 그러나, PD(70)는 PD(55) (도 3)와 실질적으로 유사할 수 있으므로, PD(55)의 이득, 동작 전압, 및 PDE에 대한 앞선 설명은 PD(70)에도 적용한다. 그러므로, 이러한 앞선 설명은 설명의 편의상 여기에서 반복되지 않는다. 오직 하나의 높은 이득을 갖는 PD(70)가 광 수용기로 PD 유닛(68)에 도시되나, 일부 실시예들에서, PD 유닛(68)은 PD(70)와 유사한 복수의 PD들을 포함할 수 있으며, 이러한 높은 이득을 갖는 모든 PD들은 서로 병렬로 연결될 수 있고, 수신되는 광에 노출될 수 있다.

도 4에 도시된 바와 같이, PD(70)는 입사 광(71)을 수신하도록 동작할 수 있고, 스위치(73)를 통하여 (2.5V에서 3V의 범위에 있을 수 있는) 일반적인 공급 전압(VDD)에 연결될 수 있다. 앞에서와 같이, 입사 광(71)은 리턴 펄스(37) (도 2)로 수신되는 광을 나타낸다. PD 유닛(68)은 커플링 커패시터(72)를 포함할 수 있으며, 수신된 광(71)에서 하나 이상의 광자들을 검출 시에 PD(70)에 의하여 생성되는 전기 신호는 라인/단자(74)를 통하여 출력 유닛(69)에 제공될 수 있다. 도 4의 실시예에서, 출력 유닛(69)의 이득 스테이지(gainstage) 회로는 증폭기 유닛으로 사용되어 전기 신호(74)를 증폭한다. 도 4의 실시예에서, 이득 스테이지 회로는 도시된 바와 같이, 바이패스 커패시터(76)와 병렬로 연결되는 반전 증폭기 (또는 다이오드 인버터) (75)를 포함할 수 있다. 다른 실시예들에서, 이후의 신호 처리에 따라, 비반전 증폭기가 대신 사용될 수 있다. 스위치(77)는 전기 신호(74)의 증폭 이전에 이득 스테이지를 리셋하도록 제공될 수 있다. 스위치들(73, 77)은 앞선 도 3의 문맥에서 언급되는 전자 셔터 신호(61)와 같이, 외부에서 공급되는 셔터 신호에 의하여 제어될 수 있다. 예시적인 셔터 신호들은 도 6, 8, 및 10에 도시되며, 후술된다. 셔터 신호(61)가 오프되는 경우 (또는 턴 온되지 않는 경우), 스위치들(73, 77)은 닫혀진 상태일 수 있고, 그렇게 함으로써 PD(70) 및 이득 스테이지를 리셋할 수 있다. 이득 스테이지는 전자 셔터(61)가 턴 온되는 경우에 한하여, 전기 신호(74)를 증폭하도록 동작할 수 있다. 셔터 신호(61)가 턴 온 (또는 활성화)되는 경우, 스위치들(73, 77)은 개방된다. PD(70)가 광(71)을 수신하고 셔터(61)가 활성화되는 동안 전기 신호(74)를 생성한다면, 이득 스테이지는 전기 신호(74)를 증폭하여 중간 출력(78)을 생성할 수 있다. 중간 출력(78)은 구현에 따라, 전압 신호 또는 전류 신호일 수 있다.

TCC 유닛(79)에 대한 예시적인 회로의 세부적인 설명이 후술되는 도 5, 7, 및 9에 도시된다. 도 3의 TCC 유닛(64)과 같이, 도 4의 TCC 유닛(79)은 아날로그 전하 전송에 근거하여 광자 도달 시간을 기록하는데 사용될 수 있다. 특정 실시예들에서, TCC 유닛들(64, 79)은 동일한 구성일 수 있다. 일반적으로 특정 실시예들에서, TCC 유닛(79)은, PPD 또는 커패시터와 같이, 아날로그 전하를 저장하도록 동작하는 픽셀-특유 장치, 및 상기 장치와 연결되는 제어 회로를 포함할 수 있다. 제어 회로는 (i) 상기 장치로부터 아날로그 전하의 일부의 전송을 시작하고, (ii) 기결정된 시간 간격 이내에 중간 출력(78)의 수신에 응답하여 전송을 종료하고, (iii) 전송되는 아날로그 전하의 일부에 근거하여 픽셀에 대한 픽셀-특유 아날로그 출력(PIXOUT) (80)을 생성하도록 동작한다. 도 2의 실시예에서, 이미지 센서 어레이(42)의 (도 4의 픽셀(67)과 유사한) 다양한 픽셀들(43)로부터 pixout 신호들은 이미지 처리 유닛(46) (또는 프로세서(19))에 의하여, 광자 도달 시간(들)을 기록하고 TOF 값들을 결정하도록 처리될 수 있다. 따라서, 더욱 세부적으로 후술되는 바와 같이, 중간 출력(78) (및, 이로 인하여 PD(70)에 의한 광자 검출)은 픽셀-특유 출력(Pixout) (80)을 생성하도록 아날로그 스토리지 장치 (예를 들어, PPD 또는 커패시터)로부터의 전하 전송을 제어할 수 있다. 또한, 후술되는 바와 같이, 전하 전송은 TOF 값 및 3차원 객체(26)의 상응하는 범위의 기록을 용이하게 할 수 있다. 즉, 높은 이득의 PD(70)로부터의 출력은 아날로그 스토리지 장치의 동작을 결정하는데 사용된다. 나아가, 픽셀(67)에서, 광-감지 기능은 PD(70)에 의하여 수행되고, 반면에 아날로그 스토리지 장치는 광-감지 구성 요소 대신에, 시간-전하 변환기로 사용된다.

도 5는 본 발명의 특정 실시예에 따른 픽셀의 예시적인 TCC 유닛(84)에 대한 회로의 세부적인 설명을 제공한다. 픽셀은 (도 2의 더욱 일반적인 픽셀(43)의 예시들인) 픽셀들(50 또는 67) 중 어느 것일 수 있고, TCC 유닛(84)은 TCC 유닛들(64 또는 79) 중 어느 것일 수 있다. 도 3 및 4의 셔터 신호(61)와 같은 전자 셔터 신호는 (도 6, 8, 및 10의 타이밍 도들을 참조하여 더욱 상세하게 후술되는 바와 같이) 각각의 픽셀에 제공되어, 픽셀이 수신된 광의 픽셀-특유 광전자들을 캡처할 수 있게 할 수 있다. 더욱 일반적으로 TCC 유닛(84)은 전하 전송 트리거부, 전하 생성 및 전송부, 및 전하 수집 및 출력부를 갖는 것으로 간주될 수 있다. 전하 전송 트리거부는, 도 3의 픽셀(50)의 경우에 감지 증폭기(60)이거나 도 4의 픽셀(67)의 경우에 이득 스테이지인, 관련된 증폭기 유닛으로부터 신호(87)를 수신하는 논리 유닛(86)을 포함할 수 있다. 신호(87)는 적용 가능한 경우, 중간 출력들(62 및 78) 중 하나를 나타낼 수 있다. 논리 유닛(86)과 같은 예시적인 논리 유닛의 블록도는 도 7에 도시되며, 후술된다. 전하 생성 및 전송부는 PPD(89), 제1 N-채널 금속 산화막 반도체 전계 효과 트랜지스터(N-channel Metal Oxide Semiconductor Field Effect Transistor, NMOSFET 또는 NMOS 트랜지스터)(90), 제2 NMOS 트랜지스터(91), 및 제3 NMOS 트랜지스터(92)를 포함할 수 있다. 전하 수집 및 출력부는 제3 NMOS 트랜지스터(92), 제4 NMOS 트랜지스터(93), 및 제5 NMOS 트랜지스터(94)를 포함할 수 있다. 일부 실시예들에서, 도 5의 TCC 유닛(84) 및 (후술되는) 도 9의 TCC 유닛(140)은 P채널 금속 산화막 반도체 전계 효과 트랜지스터들(P-channel Metal Oxide Semiconductor Field Effect Transistors, PMOSFETs 또는 PMOS 트랜지스터들) 또는 다른 유형의 트랜지스터들이나 전하 전송 장치들로 형성될 수 있음이 여기에서 언급된다. 나아가, 상술된, 각각의 부분들로의 다양한 회로 구성 요소들의 분리는 단순히 예시적인 설명의 목적을 위한 것이다. 특정 실시예들에서, 이러한 부분들은 여기에서 나열된 것들보다 많거나 적은 또는 다른 회로 구성 요소들을 포함할 수 있다.

PPD(89)는 커패시터와 유사하게 아날로그 전하를 저장할 수 있다. 일 실시예에서, PPD(89)는 커버될 수 있고, 광에 응답하지 않는다. 따라서, PPD(89)는 광 감지 구성 요소 대신에, 시간-전하 변환기로 사용될 수 있다. 그러나, 상술된 바와 같이, 광 감지 기능은 높은 이득의 PD(55 또는 70)을 통하여 달성될 수 있다. 특정 실시예들에서, 적절한 회로 변경들을 갖는 포토 게이트, 커패시터, 또는 다른 반도체 장치는 도 5 및 9의 TCC 유닛들에서의 PPD 대신에 전하 스토리지 장치로 사용될 수 있다.

전기 셔터 신호(61)의 동작 제어 하에서, 논리 유닛(86)과 같은 전하 전송 트리거부는 전송 인에이블(Transfer Enable, TXEN) 신호(96)를 생성하여 PPD(89)에 저장된 전하의 전송을 트리거한다. PD(55, 70)는 도 2의 객체(26)와 같은 객체에 전송되고 반사되는 광 펄스에서 (“광자 검출 이벤트”로 언급될 수 있는) 광자를 검출할 수 있고, 논리 유닛(86)에 의하여 래치될 수 있는 전기 신호(87)를 출력할 수 있다. 논리 유닛(86)은 도 7의 문맥에서 후술되는 바와 같이, 전기 신호(87)를 처리하여 TXEN 신호(96)를 생성하는 논리 회로들을 포함할 수 있다.

전하 생성 및 전송부에서, PPD(89)는 제3 트랜지스터(92)와 함께 리셋(Reset, RST) 신호(98)를 사용하여 풀 웰 용량(Full well capacity)으로 초기 설정될 수 있다. 제1 트랜지스터(90)는 드레인 단자에서 전송 전압(Transfer Voltage, VTX) 신호(99)를 수신할 수 있고, 게이트 단자에서 TXEN 신호(96)를 수신할 수 있다. TX 신호(100)는 제1 트랜지스터(90)의 소스 단자에서 이용 가능하고, 제2 트랜지스터(91)의 게이트 단자에 인가될 수 있다. 도시된 바와 같이, 제1 트랜지스터(90)의 소스 단자는 제2 트랜지스터(91)의 게이트 단자에 연결될 수 있다. 후술될 바와 같이, VTX 신호(99) (또는, 동일하게, TX 신호(100))는 아날로그 전하가 PPD(89)로부터 전송되는 것을 제어하는 아날로그 변조 신호로 사용될 수 있으며, PPD(89)는 도시된 구성에서 트랜지스터(91)의 소스 단자에 연결될 수 있다. 제2 트랜지스터(91)는 PPD(89)에서의 전하를 소스 단자로부터 드레인 단자로 전송할 수 있으며, 드레인 단자는 제4 트랜지스터(93)의 게이트 단자와 연결될 수 있고, 플로팅 확산(Floating Duffusion, FD) 노드/접합(102)으로 언급되는 전하 “수집 장소(Collection site)”를 형성할 수 있다. 특정 실시예들에서, PPD(89)로부터 전송되는 전하는 아날로그 변조 신호(99) (또는, 동일하게, TX 신호(100))에 의하여 제공되는 변조에 의존할 수 있다. 도 5 및 도 10의 실시예들에서, 전송되는 전하는 전자들이다. 그러나, 본 발명은 이에 제한되지 않는다. 일 실시예에서, 전송되는 전하가 홀들일 수 있는, 다른 설계를 갖는 PPD가 이용될 수 있다.

전하 수집 및 출력부에서, 제3 트랜지스터(92)는 게이트 단자에서 RST 신호(98)를 수신하고, 드레인 단자에서 픽셀 전압(Pixel Voltage, VPIX) 신호(104)를 수신할 수 있다. 제3 트랜지스터(92)의 소스 단자는 FD 노드(102)에 연결될 수 있다. 일 실시예에서, VPIX 신호(104)의 전압 레벨은 일반적인 공급 전압(VDD)의 전압 레벨과 같을 수 있고, 2.5V(볼트)에서 3V의 범위에 있을 수 있다. 또한, 제4 트랜지스터(93)의 드레인 단자는 도시된 바와 같이 VPIX 신호(104)를 수신할 수 있다. 특정 실시예들에서, 제4 트랜지스터(93)는 NMOS 소스 팔로워(source follower)로 동작하여 버퍼 증폭기로의 기능을 수행할 수 있다. 제4 트랜지스터(93)의 소스 단자는 제5 트랜지스터(94)의 드레인 단자와 연결될 수 있으며, 제5 트랜지스터(94)는 소스 팔로워(93)와 캐스코드 구조일 수 있고, 게이트 단자에서 선택(Select, SEL) 신호(105)를 수신할 수 있다. PPD(89)로부터 전송되고 FD 노드(102)에서 “수집되는” 전하는 제5 트랜지스터(94)의 소스 단자에서 픽셀-특유 출력(PIXOUT, 107)으로 나타날 수 있다. Pixout 라인/단자(107)는 Pixout 라인들(65 (도 3) 또는 80 (도 4)) 중 하나를 나타낼 수 있다.

간단하게, 이전에 언급된 바와 같이, PPD(89)에서 FD(102)로 전송되는 전하는 VTX 신호(99) (그리고, 이로 인한, TX 신호(100))에 의하여 제어된다. FD 노드(102)에 도달하는 전하량은 TX 신호(100)에 의하여 변조된다. 일 실시예에서, 전압 (VTX, 99) (그리고, 또한 TX(100))은 상승(램프)하여 PPD(99)에서 FD(102)로 전하를 점진적으로 전송할 수 있다. 따라서, 전송되는 전하량은 아날로그 변조 전압(TX, 100)의 함수일 수 있고, TX 전압(100)의 경사(ramping)는 시간의 함수일 수 있다. 따라서, PPD(89)에서 FD 노드(102)로 전송되는 전하는 또한 시간의 함수일 수 있다. 만약, PPD(89)에서 FD 노드(102)로의 전하의 전송 동안에, PD(55 또는 70)에 대한 포토 검출 이벤트 시에, 논리 유닛(86)에 의한 TXEN 신호(96)의 생성에 기인하여 제2 트랜지스터(91)가 턴 오프 된다면 (예를 들어, 개방-회로가 된다면), PPD(89)에서 FD 노드(102)로의 전하의 전송이 중단된다. 따라서, FD(102)로 전송되는 전하량 및 PPD(89)에 남아있는 전하량은 모두 입사 광자(들)의 TOF의 함수이다. 그 결과는 시간-전하 변환과 단일-끝단에서 차동 신호로의 변환이다. 따라서, PPD(89)는 시간-전하 변환기로 동작한다. 더 많은 전하가 FD 노드(102)로 전송될수록, FD 노드(102)에서 더 많은 전압이 감소하고, PPD(89)에서 더 많은 전압이 증가한다. 객체(26) (도 2)가 더 멀수록, 더 많은 전하가 FD 노드(102)로 전송될 것임이 관찰된다.

플로팅 확산(102)에서 전압은 PIXOUT 신호(107)로 아날로그-디지털 변환기(Analog-to-Digital Converter, ADC) 유닛(미도시)에 트랜지스터(94)를 사용하여 이후에 전송될 수 있고, 후속 처리를 위하여 적절한 디지털 신호/값으로 변환될 수 있다. 도 5에서 다양한 신호들의 타이밍 및 동작에 대한 더욱 세부적인 설명들은 도 8의 설명을 참조하여 이후에 제공된다. 도 5의 실시예에서, 제5 트랜지스터(94)는 상응하는 픽셀(50 또는 67)을 선택하기 위한 SEL 신호(105)를 수신하여, 전하가 완전히 FD 노드(102)로 전송된 후에, PIXOUT1(또는 제1 픽셀 출력) 전압으로 플로팅 확산(FD, 102)에서의 전하를 읽어내고, PIXOUT2(또는 제2 픽셀 출력) 전압으로 PPD(89)에서의 남아있는 전하를 읽어낼 수 있다. 도 8을 참조하여 후술되는 바와 같이, FD 노드(102)는 이 전하를 전압으로 변환하고, 픽셀 출력 라인(PIXOUT, 107)은 순차적으로 PIXOUT1 및 PIXOUT2 신호들을 출력한다. 다른 실시예에서, PIXOUT1 신호 또는 PIXOUT2 신호 중 하나(그러나, 모두는 아니다)는 읽혀질 수 있다.

일 실시예에서, 두 개의 픽셀 출력들의 합(여기에서, PIXOUT1+PIXOUT2)에 대한 하나의 픽셀 출력(예를 들어, PIXOUT1)의 비율은 "T_tof"와 "T_dly"값들의 시간 차이에 비례할 수 있으며, 이는 예를 들어, 도 8에 도시되고 더욱 상세하게 후술된다. 픽셀(50 또는 67)의 경우, 예를 들어, "T_tof" 파라미터는 PD(55) (또는 PD(70))에 의하여 수신되는 광 신호의 픽셀-특유 TOF 값일 수 있고, 지연 시간 파라미터 "T_dly"는 광 신호(28)가 최초 전송될 때로부터, TCC 유닛(64) (또는 TCC 유닛(79))에서 VTX 신호(99)가 상승(램프)하기 시작하는 때까지의 시간일 수 있다. 지연 시간(T_dly)은 VTX(99)가 상승(램프)하기 시작한 후 (전형적으로 전자 셔텨(64)가 “개방”될 때 발생할 수 있다.)에 광 펄스(28)가 전송될 때 음수일 수 있다. 상술된 비례 관계는 아래의 수학식에 의하여 나타날 수 있다.

그러나, 본 발명은 수학식 1에 나타난 관계에 제한되지 않는다. 후술되는 바와 같이, 수학식 1에서의 비율은 3차원 객체의 깊이 또는 거리를 계산하는데 사용될 수 있고, Pixout1+Pixout2가 항상 같지 않을 경우 이러한 비율은 픽셀 대 픽셀(pixel-to-pixel)의 변화들에 덜 민감하다.

설명의 편의상, 이하의 설명에서, “P1”용어는 “Pixout1”을 나타내는데 사용되고, “P2”용어는 “Pixout2”를 나타내는데 사용될 수 있다. 수학식 1에서의 관계로부터 픽셀-특유 TOF 값은 픽셀-특유 출력 값들(P1 및 P2)의 비율로 결정될 수 있음을 알 수 있다. 특정 실시예들에서, 일단 픽셀-특유 TOF 값이 결정되면, (도 2의 3차원 객체(26)와 같은) 객체 또는 객체 상의 특정 위치까지의 픽셀-특유 거리(“D”) 또는 범위(“R”)가 수학식 2와 같이 주어질 수 있다.

파라미터 “c”는 광의 속도를 나타낸다. 또는, 예를 들어, 도 5의 VTX 신호(99) (또는 TX 신호(100))와 같은 변조 신호가 셔터 윈도우 내에서 선형인 일부 다른 실시예들에서, 범위/거리는 수학식 3으로 계산될 수 있다.

수학식 3에서, 파라미터 "T_shutter"는 셔터 지속 기간 또는 셔터 “온” 구간이다. 파라미터 "T_shutter"는 도 8 및 10의 실시예들에서 파라미터 "T_sh"로 지칭된다. 따라서, 객체(26)와 같은, 객체의 3차원 이미지는 상술된 바와 같이 결정되는 픽셀-특유 범위 값들에 근거하여 TOF 시스템(15)에 의하여 생성될 수 있다.

본 발명의 픽셀 자체 내에서 PPD 전하 분배에 대한 아날로그 변조-기반의 조작 또는 제어의 관점에서, 범위 측정 및 해상도 또한 제어 가능하다. PPD 전하에 대한 픽셀-레벨의 아날로그 진폭 변조는 전자 셔터로 작동할 수 있으며, 전자 셔터는 예를 들어, CCD(Charge Coupled Device) 이미지 센서에서의 글로벌 셔터일 수 있다. 글로벌 셔터는 (차량과 같은) 빠른 움직임의 객체의 더 나은 이미지 캡처를 가능케 할 수 있으며, 이는 운전자 보조 시스템 또는 자율 주행 시스템에 도움이 될 수 있다. 나아가, 비록 여기에서의 설명이 도 1 및 2의 시스템(15)과 같이, 하나의 펄스에 대한 TOF 이미징 시스템의 문맥에서 주로 제공되나, 여기에서 설명되는 픽셀-레벨 내부의 아날로그 변조 접근법에 대한 원리는, 지속파 변조 TOF 이미징 시스템 또는 non-TOF 시스템에서, (필요에 따라) 적절한 변경들과 함께 구현될 수 있다.

도 6은 본 발명의 일 실시예에 따른 도 5의 TCC 유닛(84)에서 변조된 전하 전송 매커니즘을 개략적으로 제공하는 예시적인 타이밍도(109)이다. 도 6 (그리고, 또한 도 8 및 도 10)에 도시된 파형들은 본질적으로 단순화되고, 단순히 설명의 목적을 위한 것이며, 실제의 파형들은 회로 구현에 따라 형상뿐만 아니라 시간에 따라 다를 수 있다. 도 5 및 도 6 사이에서의 공통적인 신호들은 비교의 용이성을 위하여, 동일한 참조 번호들을 사용하여 식별된다. 이러한 신호들은 VPIX 신호(104), RST 신호(98), 전자 셔터 신호(61), 및 VTX 변조 신호(99)를 포함한다. 두 개의 추가적인 파형들(111-112)은 또한 변조 신호(99)가 전하 전송 동안에 인가되는 경우, PPD(89)에서의 전하의 상태와 FD(102)에서의 전하의 상태를 각각 설명하도록, 도 6에 도시된다. 도 6의 실시예에서, VPIX(104)는 픽셀(50 또는 67)을 초기화하도록 낮은 논리 전압 (예를 들어, 0 논리값 또는 0 볼트)으로 시작하고, 픽셀(50 또는 67)의 동작 동안에 높은 논리 전압 (예를 들어, 1 논리값 또는 3 볼트)으로 스위칭할 수 있다. RST(98)는 픽셀(50 또는 67)의 초기화 동안에 높은 논리 전압 펄스 (예를 들어, 0 논리값에서 1 논리값으로 진행하고 다시 0 논리값으로 돌아오는 펄스)로 시작하여 PPD(89)에서의 전하를 풀 웰 용량으로 설정하고 FD(102)에서의 전하를 0 쿨롱(0 C)으로 설정한다. FD(102)에 대한 리셋 전압 레벨은 1 논리값 레벨일 수 있다. 범위 (TOF) 측정 동작 동안에, FD(102)가 더 많은 전자들을 PPD(89)로부터 수신할수록, FD(102)의 전압은 더 낮아지게 된다. 셔터 신호(61)는 픽셀(50 또는 67)의 초기화 동안에 낮은 논리 전압 (예를 들어, 0 논리값 또는 0V)으로 시작하고, 픽셀(50 또는 67)의 동작 동안에 최소 측정 범위에 상응하는 시간에서 1 논리값 레벨 (예를 들어, 3 볼트)로 스위칭하여 PD(55 또는 70)로 하여금 (도 3의 입사 광 신호(57)로 나타나고, 도 4의 입사 광 신호(71)로 나타나는) 리턴 광 펄스(37)에서 광자(들)을 검출할 수 있게 하고, 이후 최대 측정 범위에 상응하는 시간에 0 논리값 레벨 (예를 들어, 0V)로 스위칭할 수 있다. 따라서, 셔터 신호(61)의 1 논리값 레벨의 지속 시간은 기정의된 시간 간격/윈도우를 제공하여, PD(55 또는 70)로부터의 출력을 수신할 수 있다. PPD(89)에서의 전하는 초기화 동안 (VPIX(104)는 로우 레벨이고, RST(98)은 하이 레벨이고, VTX(99)는 PPD(89)에서의 전하를 채우도록 하이 레벨인 경우)에 완전히 충전되기 시작하고, VTX(99)가 0V에서 더 높은 전압으로 가급적 선형적인 방식으로 상승(램프)됨에 따라, PPD(89)에서의 전하는 감소한다. 아날로그 변조 신호(99)의 제어 하에서 PPD 전하 레벨은 도 6의 참조 번호 “111”인 파형으로 설명된다. PPD 전하의 감소는 VTX가 상승(램프)하는 시간의 함수일 수 있으며, 이는 PPD(89)에서 FD(102)로의 특정 전하량의 전송을 초래한다. 따라서, 도 6의 참조 번호 “112”인 파형으로 도시된 바와 같이, FD(102)에서의 전하는 낮은 전하 (예를 들어, 0C)로 시작하고, VTX(99)가 0V에서 더 높은 전압으로 상승(램프)됨에 따라 증가하며, 이는 PPD(89)에서 FD(102)로 특정 전하량을 부분적으로 전송한다. 이러한 전하 전송은 VTX(99)가 상승(램프)하는 시간의 함수이다.

상술된 바와 같이, 도 5의 픽셀-특유 출력(PIXOUT, 107)은 플로팅 확산 노드(102)로 전송된 PPD 전하로부터 파생된다. 따라서, Pixout 신호(107)는 아날로그 변조 전압 VTX(99) (또는, 동일하게, TX 전압(100))에 의하여 시간에 걸쳐 진폭-변조되는 것으로 간주될 수 있다. 이러한 방식으로, TOF 정보는 변조 신호 VTX(99) (또는, 동일하게, TX 신호(100))를 사용하여 픽셀-특유 출력(107)의 진폭 변조(Amplitude Modulation, AM)를 통하여 제공된다. 특정 실시예들에서, VTX 신호(99)를 생성하기 위한 변조 함수는 단조로울(monotonic) 수 있다. 도 6, 8, 및 10의 예시적인 실시예들에서, 아날로그 변조 신호들은 램프 함수를 사용하여 생성될 수 있고, 따라서, 그것들은 램프-형식의 파형들을 갖는 것으로 도시된다. 그러나, 다른 실시예들에서, 다른 형태들의 아날로그 파형들/함수들이 변조 신호들로 사용될 수 있다.

도 7은 본 발명의 특정 실시예들에 따른 도 5의 TCC 유닛(84)에 사용될 수 있는 예시적인 논리 유닛(86)에 대한 블록도이다. 논리 유닛(86)은 래치(115) 및 2-입력 OR 게이트(116)를 포함할 수 있다. 셔터 신호(61)가 활성화 또는 턴 “온”되는 동안, 래치(115)는 관련된 증폭기 유닛으로부터의 신호(87) (예를 들어, 감지 증폭기의 중간 출력(62) 또는 이득 스테이지의 중간 출력(78))를 수신할 수 있고, 1 논리값에서 0 논리값으로 진행하고 0 논리값으로 남아있는 신호를 출력할 수 있다. 즉, 래치(115)는, 적용 가능하다면 PD(55) 또는 PD(70)에 의한 광자 검출 이벤트의 결과로 생성되는, 증폭기로부터 제공된 신호(87)를 적어도 셔터 온 구간 동안에 1 논리값에서 0 논리값으로 진행하고 0 논리값으로 남아있는 신호로 변환한다. 특정 실시예들에서, 래치 출력은 신호(87)의 제1 엣지에 의하여 트리거될 수 있다. 제1 엣지는 회로 설계에 따라 양의 방향으로 진행하거나 음의 방향으로 진행할 수 있다.

2-입력 논리 OR 게이트(116)는 래치(115)의 출력과 연결되는 제1 입력, 신호(TXRMD, 117)를 수신하기 위한 제2 입력, 및 TXEN 신호(96)를 제공하기 위한 출력을 포함할 수 있다. 일 실시예에서, TXRMD 신호(117)는 관련된 픽셀(50 또는 67) 내에서 내부적으로 생성될 수 있다. OR 게이트(116)는 TXRMD 신호(117)와 래치(115)의 출력을 논리적으로 OR 연산하여 최종 TXEN 신호(96)를 획득할 수 있다. 이러한 내부적으로 생성된 신호는, 전자 셔터가 “온”되는 동안 로우 레벨로 남을 수 있으나, (후술되는 도 8의 이벤트(135)에서) TXEN 신호(96)가 1 논리값으로 진행하여 PPD(89)에 남아있는 전하의 전송을 용이하도록 “하이 레벨”로 어설트될 수 있다. 일부 실시예들에서, TXRMD 신호 또는 유사한 신호는 외부적으로 제공될 수 있다.

도 8은 본 발명의 특정 실시예들에 따라 TOF 값들을 측정하기 위하여, 도 5의 실시예의 TCC 유닛(84)이 도 2의 픽셀 어레이(42)와 같은 픽셀 어레이의 일부로, 픽셀(50) 또는 픽셀(67)과 같은 픽셀에 사용되는 경우, 도 1 및 2의 시스템(15)의 각양각색의 신호들의 예시적인 타이밍을 도시하는 타이밍도(120)이다. 전송된 펄스(28), VPIX 입력(104), TXEN 입력(96) 등과 같이 도 2 내지 5의 실시예들에서 도시되는 다양한 신호들은 설명의 일관성과 용이성을 위하여 동일한 참조 번호들을 사용하여 도 8에서 식별된다. 도 8의 설명에 앞서서, 도 8의 문맥에서 (또한, 도 10의 경우에서), 참조 번호 “122”로 표시되는 파라미터 "T_dly"는 조사된 펄스(28)의 상승 엣지와 VTX 신호(99)가 상승(램프)하기 시작할 때의 시간 인스턴스 사이의 시간 지연을 나타내며, 참조 번호 “123”으로 표시되는 파라미터 "T_tof"는 조사된 펄스(28)의 상승 엣지와 수신된 (리턴) 펄스(37)의 상승 엣지 사이의 지연에 의하여 측정되는 픽셀-특유 TOF 값을 나타내며, 참조 번호 “124”로 표시되고 셔터 신호(61)의 어설션(assertion) (예를 들어, 논리값 1 또는 “온”)과 디-어설션(de-assertion) (또는 비활성화) (예를 들어, 논리값 0 또는 “오프”)에 의하여 주어지는 파라미터 "T_sh"는 전자 셔터의 “개방”과 “폐쇄'” 사이의 시구간을 나타낸다. 따라서, 전자 셔터(61)는 "T_sh" 구간 동안 “활성화” 되는 것으로 간주되며, 또한 참조 번호 “125”를 사용하여 식별된다. 일부 실시예들에서, 지연 "T_dly"은 동작 상황들과 관계없이 기결정되고 고정될 수 있다. 다른 실시예들에서, 지연 "T_dly" 은 실행 시간(run-time)에, 예를 들어, 외부의 날씨 상황에 따라 조절될 수 있다. “하이” 또는 “로우” 신호 레벨들은 (픽셀(50 또는 67)로 나타나는) 픽셀(43)의 설계와 관련된 것으로 여기에서 언급된다. 도 8에 도시된 신호의 극성들 또는 바이어스 레벨들은 예를 들어, 사용되는 트랜지스터들 또는 다른 회로 구성들의 유형들에 근거하여 다른 유형의 픽셀 설계들에서 서로 다를 수 있다.

상술된 바와 같이, 도 8 (또한, 도 10)에 도시된 파형들은 본질적으로 단순화되고, 단순히 설명의 목적을 위한 것이며, 실제의 파형들은 회로 구현에 따라 형상뿐만 아니라 타이밍이 다를 수 있다. 도 8에 도시된 바와 같이, 리턴 펄스(37)는 조사된 펄스(28)의 시간 별로 지연된 버전일 수 있다. 특정 실시예들에서, 조사된 펄스(28)는 예를 들어, 5에서 10 나노초(ns)의 범위에서와 같이, 매우 짧은 지속 시간을 가질 수 있다. 리턴 펄스(37)는 픽셀(50)에서의 PD(55) 또는 픽셀(67)에서의 PD(70)와 같은 픽셀(43)의 높은 이득 PD를 사용하여 감지될 수 있다. 전자 셔터(61)는 수신된 광(37)의 픽셀-특유 광자(들)의 캡쳐를 “제어”할 수 있다. 셔터 신호(61)는 픽셀 어레이(42)에 도달 시의 광 산란들을 피하도록, 조사된 펄스(28)에 관하여 게이트 지연을 가질 수 있다. 조사된 펄스(28)의 광 산란들은 예를 들어, 악천후로 인하여 발생할 수 있다.

다양한 외부 신호들 (예를 들어, VPIX(104), RST(98) 등) 및 내부 신호들 (예를 들어, TX(100), TXEN(96), 및 FD 전압(102)) 이외에도, 도 8의 타이밍도(120)는 또한 아래의 이벤트들 또는 시구간들, (i) RST, VTX, TXEN, 및 TX 신호들이 하이 레벨이고, 반면 VPIX 및 SHUTTER 신호들이 로우 레벨일 때의 PPD 프리셋(preset) 이벤트(127), (ii) TX가 로우 레벨일 때로부터 RST가 하이 레벨에서 로우 레벨로 변할 때까지의 제1 FD 리셋 이벤트(128), (iii) 지연 시간(T_dly) (122), (iv) TOF(T_tof) (123), (v) 전자 셔터의 “온” 또는 “활성화” 구간(T_sh) (124), 및 (vi) RST가 제2 시간 동안 1 논리값을 가질 때의 지속 시간 동안의 제2 FD 리셋 이벤트(130)를 식별한다. 또한, 도 8은 전자 셔터가 처음에 “폐쇄” 또는 “오프”될 때 (참조 번호 “132”로 표시된다.), 전자 셔터가 “개방” 또는 “온”될 때 (참조 번호 “125”로 표시된다.), FD 노드(102)로 최초로 전송되는 전하가 PIXOUT(107)을 통하여 읽혀질 때 (참조 번호 “134”로 표시된다.), FD 전압이 화살표(130)에서의 제2 시간 동안 리셋될 때, 그리고 PPD(89)에서 남아있는 전하가 FD(102)로 전송되고 다시 이벤트(135)에서 읽혀질 때 (예를 들어, PIXOUT(107)으로의 출력)를 도시한다. 일 실시예에서, 셔터 “온” 구간(T_sh)은 VTX(79)의 상승(램프) 시간 이하일 수 있다.

도 8을 참조하면, 도 5에서 TCC 유닛(84)의 경우에, PPD(89)는 초기화 단계 (예를 들어, PPD 프리셋 이벤트(127))에서 이의 풀 웰 용량의 전하로 채워질 수 있다. PPD 프리셋 시간(127) 동안, 도시된 바와 같이, RST, VTX, TXEN, 및 TX 신호들은 하이 레벨일 수 있고, 반면에 VPIX, SHUTTER, 및 TXEN 신호들은 로우 레벨일 수 있다. 이후, VTX 신호(99) (그리고, 이로 인한 TX 신호(100))는 로우 레벨로 진행하여 제2 트랜지스터(91)를 오프시킬 수 있고, VPIX 신호(104)는 하이 레벨로 진행하여 “완전히 충전된” PPD(89)로부터의 전하 전송을 개시할 수 있다. 글로벌 셔터인 전자 셔터(61)의 경우에, 특정 실시예들에서, 픽셀 어레이(42)에서의 모든 픽셀들은 한 번에 함께 선택될 수 있고, 모든 선택된 PPD들은 RST 신호(98)를 사용하여 함께 리셋될 수 있다. 각각의 픽셀은 프레임 전송 CCD 또는 내부-라인 전송 CCD와 유사한 방식을 사용하여 개별적으로 읽혀질 수 있다. 각각의 (예를 들어, pixout1 및 pixout2 신호들과 같은) 픽셀-특유 아날로그 pixout 신호들은, ADC 유닛(미도시)에 의하여, 예를 들어 앞서 언급된 “P1” 및 “P2” 값들과 같은 상응하는 디지털 값들로 샘플링 및 변환될 수 있다.

도 8에 도시된 실시예에서, TXEN 신호(96)를 제외한 모든 신호들은 도시된 바와 같이, 0 논리값 또는 “로우” 레벨로 시작한다. 최초에, 상술된 바와 같이, PPD(89)는, RST, VTX, TXEN, 및 TX가 1 논리값 레벨로 진행하고 VPIX가 로우 레벨을 유지할 때, 프리셋 된다. 이후, FD 노드(102)는 RST가 1 논리값을 갖는 동안, VTX 및 TX가 0 논리값으로 진행하고, VPIX가 하이 레벨 (또는 1 논리값)로 진행할 때, 리셋된다. 설명의 편의상, 동일한 참조 번호 “102”가 도 5의 FD 노드와 도 8의 타이밍도에서 연관된 전압 파형을 나타내는데 사용된다. FD가 하이 레벨 (예를 들어, 전하 도메인에서 0C)로 리셋된 후에, TXEN이 1 논리값을 갖는 동안, VTX는 상승(램프)된다. TOF(T_tof)의 지속 시간(123)은 레이저 펄스(28)가 전송될 때로부터 리턴 펄스(37)가 수신될 때까지이고, 또한 전하가 PPD(89)로부터 FD(102)로 부분적으로 전송되는 동안의 시간이다. VTX 입력(99) (그리고, 이로 인한 TX 입력(100))은 셔터(61)가 “온” 또는 “개방”되는 동안 상승(램프)될 수 있다. 이는 PPD(89)에서의 전하량이 FD(102)로 전송되게 하며, VTX가 상승(램프)하는 시간에 대한 함수일 수 있다. 그러나, 전송된 펄스(28)가 객체(26)에 반사하고, 픽셀 구성에 따라 PD(55) 또는 PD(70)와 같은 PD에 의하여 수신되는 경우, 적용 가능하다면, 중간 출력 신호(62) 또는 중간 출력 신호(78)와 같이 생성된 증폭 출력은 논리 유닛(86)에 의하여 처리될 수 있으며, 차례로, 논리 유닛(86)은 TXEN 신호(96)를 고정된 0 논리값으로 떨어뜨릴 수 있다. 따라서, 시간적으로 상관되는 방식(temporally-correlated manner)으로, 즉, 셔터가 “온” 또는 “활성화”될 때, PD(55 또는 70)에 의한 리턴 펄스(37)의 검출은 TXEN 신호(96)에 대하여 0 논리값 레벨로 표시될 수 있다. TXEN 입력(96)의 로우 논리값 레벨은 제1 트랜지스터(90)와 제2 트랜지스터(91)를 턴 오프시키며, 이는 PPD(89)로부터 FD(102)로의 전하의 전송을 중단시킨다. SHUTTER 입력(61)이 0 논리값으로 진행하고 SEL 입력(105) (도 8에 도시되지 않음)이 1 논리값으로 진행할 때, FD(102)에서의 전하는 PIXOUT1 전압으로 PIXOUT 라인(107)에 출력된다. 이후, FD 노드(102)는 논리값 하이 레벨인 RST 펄스(98)와 함께 다시 리셋될 수 있다 (참조 번호 “130”으로 표시된다). 이후, TXEN 신호(96)가 1 논리값으로 진행할 때, PPD(89)에 남아있는 전하는 실질적으로 완전히 FD 노드(102)로 전송되고, PIXOUT2 전압으로 PIXOUT 라인(107)에 출력된다. 앞서 언급된 바와 같이, PIXOUT1 및 PIXOUT2 신호들은 적절한 ADC 유닛(미도시)에 의하여 상응하는 디지털 값들(P1 및 P2)로 변환될 수 있다. 특정 실시예들에서, 이러한 값들(P1 및 P2)은 (예를 들어, 픽셀(50 또는 67)로 나타나는) 픽셀(43)과 3차원 객체(26) 사이의 픽셀-특유 거리/범위를 결정하도록 상술된 수학식 2 또는 수학식 3에서 사용될 수 있다.

도 9는 본 발명의 특정 실시예에 따른 다른 예시적인 TCC 유닛(140)의 회로의 세부적인 도면이다. TCC 유닛(140)은 TCC 유닛들(64 또는 79) 중 어느 것일 수 있다. 일부 실시예들에서, TCC 유닛(140)은 도 5의 TCC 유닛(84) 대신에 사용될 수 있다. 많은 신호들 및 회로 구성 요소들이 TCC 유닛들(84 (도 5) 및 140 (도 9)) 사이에서 유사하나, 도 5 및 9의 TCC 유닛들이 동일하다거나, 그것들이 동일한 방식으로 동작함을 암시하는 것은 아니다. 도 5의 앞선 설명의 관점에서, 단순히 도 9의 TCC 유닛(140)에 대한 간략한 설명이 이와 구별되는 관점들을 강조하도록 제공된다.

도 5의 TCC 유닛(84)과 같이, 도 9의 TCC 유닛(140)은 또한 PPD(142), 논리 유닛(144), 제1 NMOS 트랜지스터(146), 제2 NMOS 트랜지스터(147), 제3 NMOS 트랜지스터(148), 제4 NMOS 트랜지스터(149), 제5 NMOS 트랜지스터(150)를 포함하고, 내부의 입력인 TXEN(152)을 생성하고, 외부의 입력인 RST(154), VTX(156) (그리고, 이로 인한, TX 신호(157)), VPIX(159), 및 SEL(160)을 수신하고, FD 노드(162)를 가지고, 그리고 PIXOUT 신호(165)를 출력한다. 그러나, 도 5의 TCC 유닛(84)과 달리, 도 9의 TCC 유닛(140)은 또한 제2 TXEN 신호(TXENB)(167)를 생성하며, TXENB 신호(167)는 TXEN 신호(152)와 상보적일 수 있고, 제6 NMOS 트랜지스터(169)의 게이트 단자에 공급될 수 있다. 제6 NMOS 트랜지스터(169)는 트랜지스터(146)의 소스 단자에 연결된 드레인 단자 및 그라운드(GND) 전위(170)에 연결된 소스 단자를 가질 수 있다. TXENB 신호(167)는 GND 전위를 TX 트랜지스터(147)의 게이트 단자로 가져오는데 사용될 수 있다. TXENB 신호(167) 없이, TXEN 신호(152)가 로우 레벨로 진행할 때, TX 트랜지스터(147)의 게이트는 플로팅될 수 있고, PPD(142)부터의 전하 전송은 완전히 종료되지 않을 수 있다. 이러한 상황은 TXENB 신호(167)를 사용하여 개선될 수 있다. 추가적으로, TCC 유닛(140)은 또한 스토리지 확산(Storage Diffusion, SD) 커패시터(172) 및 제7 NMOS 트랜지스터(174)를 포함할 수 있다. SD 커패시터(172)는 트랜지스터(147)의 드레인 단자와 트랜지스터(174)의 소스 단자의 접합에 연결될 수 있고, 상기 접합에서 SD 노드(175)를 “형성”할 수 있다. 제7 NMOS 트랜지스터(174)는 이의 게이트 단자에서 다른 제2 전송 신호(TX2, 177)를 입력으로 수신할 수 있다. 트랜지스터(174)의 드레인은 도시된 바와 같이, FD 노드(162)에 연결될 수 있다.

RST, VTX, VPIX, TX2, 및 SEL 신호들은 예를 들어, 도 2의 이미지 처리 유닛(46)과 같은 외부 유닛으로부터 TCC 유닛(140)으로 공급될 수 있다. 나아가, 특정 실시예들에서, SD 커패시터(172)는 추가 커패시터가 아닌, 단순히 SD 노드(175)의 접합(junction) 커패시터일 수 있다. TCC 유닛(140)에서, 전하 전송 트리거부는 논리 유닛(144)을 포함할 수 있다. 전하 생성 및 전송부는 PPD(142), NMOS 트랜지스터들(146-148, 169, 174), 및 SD 커패시터(172)를 포함할 수 있다. 그리고, 전하 수집 및 출력부는 NMOS 트랜지스터들(148-150)을 포함할 수 있다. 다양한 회로 구성 요소들에 대한 각각의 부분들로의 분리는 단지 예시적인 설명의 목적을 위한 것임이 여기에서 언급된다. 특정 실시예들에서, 이러한 부분들은 여기에서 나열된 것들보다 많거나 적거나 다른 회로 소자들을 포함할 수 있다. 도 7의 논리 유닛(86)과 같이, 논리 유닛(144)은 또한, 도 3의 픽셀(50)의 경우에 감지 증폭기(60)나 도 4의 픽셀(67)의 경우에 이득 스테이지와 같은 관련된 증폭기 유닛으로부터 신호(87)를 수신할 수 있음이 더 언급된다. 적용 가능하다면, 신호(87)는 중간 출력들(62 및 78) 중 어느 하나를 나타낼 수 있다. 특정 실시예들에서, 논리 유닛(144)은 TXEN(152) 및 TXENB(167) 출력들 모두를 제공하기 위한 도 7의 논리 유닛(86)의 변경된 버전일 수 있다.

도 9의 TCC 유닛(140)의 구성은 실질적으로 도 5의 TCC 유닛(84)의 구성과 유사한 것으로 관찰된다. 그러므로, 설명의 편의상, 트랜지스터들(146-150) 및 RST, SEL, VPIX 등 관련된 입력들과 같이, 도 5 및 9의 실시예들 사이의 공통된 회로 부분들 및 신호들은 여기에서 설명되지 않는다. 도 9의 TCC 유닛(140)은 상관 이중 샘플링(Correlated Double Sampling, CDS) 기반의 전하 전송을 가능케 할 수 있음이 관찰된다. CDS는 원하지 않는 오프셋을 제거하는 방식으로 픽셀/센서 출력 전압(pixout)과 같은 전기적인 값을 측정하기 위한, 잡음을 감소시키는 기술이다. CDS에서, 도 9의 Pixout(165)과 같은 픽셀의 출력(들)은 두 번 측정될 수 있으며, 한번은 알려진 상황에서 측정되고, 한번은 알려지지 않은 상황에서 측정될 수 있다. 알려진 상황에서 측정된 값은 알려지지 않은 상황에서 측정된 값에서 감산되어, 측정된 물리량과의 알려진 관련성을 갖는 값(여기에서 수신된 광의 픽셀-특유 부분을 나타내는 PPD 전하)을 생성할 수 있다. CDS를 사용하여, (예를 들어, 리셋된 이후의 픽셀의 전압과 같은) 픽셀의 기준 전압을 각각의 전하 전송의 종료 시에 픽셀의 신호 전압으로부터 제거함으로써, 잡음이 감소될 수 있다. 따라서, CDS에서, 픽셀의 전하가 출력으로서 전송되기 전에, 리셋/기준 값이 샘플링되며, 리셋/기준 값이 픽셀의 전하가 전송된 이후의 값에서 감하여 진다(“deducted”).

도 9의 실시예에서, SD 커패시터(172) (또는 관련된 SD 노드(175))는 PPD 전하를 FD 노드(162)로 전송에 앞서 저장하여, 임의의 전하가 FD 노드(162)로 전송되기에 앞서 FD 노드(162)에서의 적절한 리셋 값들의 설정(및 샘플링)을 가능케 한다. 그 결과, 픽셀-특유 출력(Pixout 1 및 Pixout 2) 각각은 한 쌍의 픽셀-특유 CDS 출력들을 획득하도록, 이미지 처리 유닛(46) (도 2)의 CDS 유닛(미도시)에 의해 처리될 수 있다. 이후에, 픽셀-특유 CDS 출력들은, 이미지 처리 유닛(46) (도 2)의 ADC 유닛(미도시)에 의하여, 여기에서 앞서 언급된 P1 및 P2 값들인 디지털 값들로 변환될 수 있다. 도 9의 트랜지스터들(169, 174), 및 TXENB(167)와 TX2(177) 신호들은 CDS 기반의 전하 전송을 용이하게 하는데 필요한 보조 회로 구성 요소들을 제공할 수 있다. 일 실시예에서, P1 및 P2 값들은 예를 들어, 동일한 ADC 회로들의 쌍을 사용하여 병렬로 생성될 수 있다. 따라서, 리셋 레벨들과 pixout 1 및 pixout 2 신호들의 상응하는 PPD 전하 레벨들 사이의 차이들은 ADC 유닛(미도시)에 의하여 디지털 숫자들로 변환될 수 있고, 픽셀-특유 신호 값들(P1 및 P2)로 출력되어, 상술된 수학식 1에 근거하여 (예를 들어, 픽셀 (50 또는 67)로 나타나는) 픽셀(43)에 대한 리턴 펄스(37)의 픽셀-특유 TOF 값의 계산을 가능케 할 수 있다. 앞서 언급된 바와 같이, 이러한 계산은 이미지 처리 유닛(46) 자체 또는 시스템(15)의 프로세서(19)에 의하여 수행될 수 있다. 따라서, 3차원 객체(26, 도 2)로의 픽셀-특유 거리는 예를 들어, 수학식 2 또는 수학식 3을 사용하여 결정될 수 있다. 픽셀-대-픽셀 전하 수집 동작은 픽셀 어레이(42)의 모든 픽셀들에 대하여 수행될 수 있다. 픽셀 어레이(42)의 픽셀들(43)에 대한 모든 픽셀-특유 거리 또는 범위 값들에 근거하여, 객체(26)의 3차원 이미지는 예를 들어, 프로세서(19)에 의하여 생성될 수 있고, 적절한 디스플레이 또는 시스템(15)과 연관된 사용자 인터페이스에서 표시될 수 있다. 나아가, 3차원 객체(26)의 2차원 이미지는, 예를 들어, 어떠한 범위 값들도 계산되지 않거나 범위 값들을 이용 가능함에도 불구하고 2차원 이미지가 요구되는 경우, P1 및 P2 값들을 간단하게 추가함으로써 생성될 수 있다. 특정 실시예들에서, 이러한 2차원 이미지는, 예를 들어, 적외선 레이저가 사용되는 경우, 단순히 그레이 스케일 이미지일 수 있다.

도 5 및 9에서 도시된 TCC 구성뿐만 아니라, 도 3 및 4에 도시된 픽셀 구성들은 단순히 예시적인 것으로 여기에서 관찰된다. 상술된 바와 같이, 다수의 높은 이득의 PD들을 갖는 픽셀들은 또한 본 발명의 교시들을 구현하는데 사용될 수 있다. 유사하게, non-PPD 기반의 TCC 유닛이 또한 본 발명의 교시들에 따른 (도 2의 픽셀(43)과 같은) 픽셀로 선택될 수 있다. 나아가, 일부 실시예들에서, TCC 유닛들은 예를 들어, (도 5 및 9의 실시예들에서 PIXOUT 라인들(107, 165) 각각과 같은) 단일 출력을 갖거나, 또는 다른 실시예들에서, TCC 유닛들은, Pixout 1 및 Pixout 2 신호들이 다른 출력 라인들(미도시)을 통하여 출력될 수 있는 이중 출력들을 가질 수 있다. 여기에서 설명되는 픽셀 구성들(50, 67)은 CMOS 구성들일 수 있음이 여기에서 언급된다. 즉, 픽셀-특유 PD 유닛, 증폭기 유닛, 및 TCC 유닛 각각은 CMOS부일 수 있다. 그 결과, DTOF 측정들 및 범위 검출 동작들은 존재하는 SPAD 또는 APD 기반의 시스템들보다 실질적으로 더 낮은 전압 및 더 높은 PDE에서 수행될 수 있다.

도 10은 본 발명의 특정 실시예들에 따라 TOF 값들을 측정하기 위하여, 도 9의 실시예의 TCC 유닛(140)이 도 2의 픽셀 어레이(42)와 같은 픽셀 어레이의 일부로 픽셀(50) 또는 픽셀(67)과 같은 픽셀로 사용되는 경우, 도 1 및 2의 시스템(15)의 각양각색의 신호들의 예시적인 타이밍을 도시하는 타이밍도(180)이다. 도 10의 타이밍도(180)는, 특히 VTX, Shutter, VPIX, 및 TX 신호들의 파형들 그리고, 예를 들어, PPD 리셋 이벤트, 셔터 “온” 구간, 시간 지연 구간(T_dly) 등과 같은 다양한 시간 간격들 또는 이벤트들의 식별과 관련하여, 도 8의 타이밍도(120)와 유사하다. 도 8의 타이밍도(120)에 대한 앞선 광범위한 설명에 근거하여, 단지 도 10의 타이밍도(180)에 대한 구별되는 특징들에 대한 간략한 설명이 간결성을 위해 제공된다.

도 10에서, 설명의 일관성 및 용이성을 위하여, VPIX 신호(159), RST 신호(154), 전자 셔터 신호(61), 아날로그 변조 신호 VTX(156), 및 TX2 신호(177)와 같이 다양한 외부적으로 공급되는 신호들, 및 내부적으로 생성되는 TXEN 신호(152)는 도 9의 이러한 신호들에 사용되는 것과 동일한 참조 번호들을 사용하여 식별된다. 유사하게, 설명의 편의상, 동일한 참조 번호 “162”는 도 9의 FD 노드 및 도 10의 타이밍도의 연관된 전압 파형을 나타내는데 사용된다. 전송 모드(TXRMD) 신호(182)는 도 10에 도시되나 (그리고, 유사한 신호가 또한 도 7에서 언급되나), 도 9 또는 앞선 도 8의 타이밍도에서 도시되지 않았다. 특정 실시예들에서, TXRMD 신호(182)는 논리 유닛(144)에 의하여 내부적으로 생성되거나, 예를 들어, 이미지 처리 유닛(46) (도 2)에 의하여 논리 유닛(144)에 외부적으로 공급될 수 있다. 도 7의 논리 유닛(86)과 같이, 일 실시예에서, 논리 유닛(144)은, 출력을 생성하고, 이후 예를 들어, TXRMD 신호(182)와 같이 내부적으로 생성된 신호와 출력을 논리적으로 OR 연산하여, 최종 TXEN 신호(152)를 획득하기 위한 논리 회로들(미도시)를 포함할 수 있다. 도 10에 도시된 바와 같이, 일 실시예에서, 이러한 내부적으로 생성된 TXRMD 신호(182)는 전자 셔터가 “온”되는 동안 로우 레벨로 남을 수 있으나, (도 10의 이벤트(183)에서) TXEN 신호(152)가 1 논리값으로 진행하여 PPD에 남아있는 전하의 전송을 용이하게 하기 위하여, TXRMD 신호(182)는 이후에 “하이 레벨”로 어설트될 수 있다.

도 10의 PPD 리셋 이벤트(184), 지연 시간(T_dly)(185), TOF 구간(T_tof)(186), 셔터 “오프” 구간(187), 및 셔터 "온" 또는 "활성화" 구간(T_sh)(188 또는 189), 및 FD 리셋 이벤트(190)는 도 8에 도시된 상응하는 이벤트들 또는 시구간들과 유사함이 언급된다. 그러므로, 이러한 파라미터들의 추가적인 설명은 편의상 제공되지 않는다. 처음에, FD 리셋 이벤트(190)는 도시된 바와 같이, “하이 레벨”로 진행하는 FD 신호(162)를 발생시킨다. PPD(142)가 “로우 레벨”로 프리셋 된 후에, SD 노드(175)는 “하이 레벨”로 리셋 된다. 더욱 구체적으로, PPD 프리셋 이벤트(184) 동안, PPD(142)에 전자들을 채우고 이를 0V로 프리셋 시키도록, TX 신호(157)는 “하이 레벨”일 수 있고, TX2 신호(177)는 “하이 레벨”일 수 있고, RST 신호(154)는 “하이 레벨”일 수 있고, VPIX 신호(159)는 “로우 레벨”일 수 있다. 이 후에, TX 신호(157)는 “로우 레벨”로 진행할 수 있으나, TX2 신호(177) 및 RST 신호(154)는 잠시 “하이 레벨”로 남으며, 이는 “하이 레벨”의 VPIX 신호(159)에 따라, SD 노드(175)를 “하이 레벨”로 리셋 시킬 수 있고, SD 커패시터(172)로부터 전자들을 제거할 수 있다. 그 동안에, FD 노드(162)는 (아래의 FD 리셋 이벤트(190)) 마찬가지로 리셋 된다. SD 노드(175)에서의 전압 또는 SD 리셋 이벤트는 도 10에 도시되지 않는다.

도 6 및 8의 실시예와 대조적으로, TX 파형(157)에서 언급된 바와 같이, 전자 셔터(161)가 “활성화”되고 VTX 신호(156)가 상승(램프)될 때, PPD 전하는 진폭 변조되고, 최초 도 9 및 10의 실시예에서 (SD 커패시터(172)를 통하여) SD 노드(175)로 전송된다. 셔터 “온” 구간(289) 동안, 적용 가능하다면 PD(55) 또는 PD(70)와 같은 높은 이득의 PD에 의한 광자들의 검출 시에, TXEN 신호(152)는 “로우 레벨”로 진행하고, PPD(142)에서 SD 노드(175)로의 초기의 전하 전송은 중단된다. SD 노드(175)에 저장되는 전송된 전하는 제1 읽기 구간(191) 동안, Pixout 라인(165)에서 (Pixout 1 출력으로) 읽혀질 수 있다. 전자 셔터(61)가 FD 노드(162)를 리셋 하도록 비활성화 또는 턴 “오프”된 후에, 제1 읽기 구간(191)에서, RST 신호(154)는 잠시 “하이 레벨”로 어설트될 수 있다. 이후에, TX2 신호(177)는 “하이 레벨”로 펄스되어, TX2가 “하이 레벨”인 동안, SD 노드(175)에서 FD 노드(162)로 전하를 전송시킬 수 있다. FD 전압 파형(162)은 이러한 전하 전송 동작을 설명한다. 전송된 전하는 이후 제1 읽기 구간(191) 동안, SEL 신호(160) (도 10에서 미도시)를 사용하여 Pixout 라인(165)을 통하여 (Pixout 1 전압으로) 읽혀질 수 있다.

제1 읽기 구간(191) 동안, 초기의 전하가 SD 노드에서 FD 노드로 이동되고, TX2 신호(177)가 논리 “로우” 레벨로 돌아온 후에, TXEN 입력(152)에서 “하이 레벨”의 펄스를 생성하도록, TXRMD 신호(182)는 “하이 레벨”로 어설트(펄스) 되며, 도 10의 참조 번호 “183”으로 표시되는 바와 같이, 차례로 TX 입력(157)에서 “하이 레벨”의 펄스를 생성하여, PPD(142)에 남아있는 전하를 (SD 커패시터(172)를 통하여) SD 노드(175)로 전송하게 할 수 있다. 이후에, FD 노드(162)는, RST 신호(154)가 잠시 “하이 레벨”로 다시 어설트될 때, 다시 리셋될 수 있다. 제2 RST 하이 레벨 펄스는, TX2 신호(177)가 다시 “하이 레벨”로 펄스되어, TX2가 “하이 레벨”인 동안, (이벤트 183에서의) PPD의 나머지 전하를 SD 노드(175)에서 FD 노드(162)로 전송하도록 하는, 제2 읽기 구간(192)을 정의할 수 있다. FD 전압 파형(162)은 제2 전하 전송 동작을 도시한다. 전송된 남아있는 전하는 이후 제2 읽기 구간(192) 동안, SEL 신호(160) (도 10에서 미도시)를 사용하여 Pixout 라인(165)을 통하여 (Pixout 2 전압으로) 읽혀질 수 있다. 앞서 언급된 바와 같이, PIXOUT 1 및 PIXOUT 2 신호들은 적절한 ADC 유닛(미도시)에 의하여 상응하는 디지털 값들(P1 및 P2)로 변환될 수 있다. 일부 실시예들에서, 이러한 P1 및 P2 값들은, 픽셀(43)과 3차원 객체(26) 사이의 픽셀-특유 거리/범위를 결정하도록 상술된 수학식 2 또는 수학식 3에서 사용될 수 있다. 도 10에서 설명된 SD 기반의 전하 전송은, 도 9의 설명을 참조하여 앞서 설명된 바와 같이, 한 쌍의 픽셀-특유 CDS 출력들을 생성하게 한다. CDS 기반의 신호 처리는, 역시 이전에 언급된 바와 같이, 추가적인 잡음 감소를 제공한다.

요약하면, 본 발명의 교시들에 따른 픽셀 설계들은 PPD (또는 유사한 아날로그 전하 스토리지 장치)와 결합한 하나 이상의 높은 이득의 PD들을 사용하며, 시간-전하 변환기로 동작하며, 이의 AM 기반의 전하 전송 동작이 픽셀에서 하나 이상의 높은 이득의 PD들로부터의 출력들에 의하여 제어되어 TOF를 결정한다. 본 발명에서, 전자 셔터가 “온”인 때와 같이, 매우 짧은 기정의된 시간 간격 이내에 높은 이득의 PD로부터의 출력이 트리거되는 때에 한하여, PPD 전하 전송은 TOF를 기록하기 위하여 중단된다. 그 결과, 본 발명의 교시들에 따른 전천후 자율 주행 시스템은 예를 들어, 낮은 광, 안개, 악천후 등과 같은 어려운 운전 상황들 하에서, 운전자를 위한 향상된 시야를 제공할 수 있다.

도 11은 본 발명의 일 실시예에 따른 도 1 및 2의 시스템(15)에서 TOF 값이 결정되는 방법을 도시한 예시적인 순서도(195)이다. 도 11에 도시된 다양한 단계들은 시스템(15)의 단일 모듈, 또는 시스템(15)내의 모듈들 또는 시스템 구성 요소들의 조합에 의하여 수행될 수 있다. 여기에서의 설명에서, 단순히 예시적인 방식에 의하여, 특정 작업들은 특정 모듈들 또는 시스템 구성 요소들에 의하여 수행되는 것으로 설명된다. 다른 모듈들 또는 시스템 구성 요소들은 마찬가지로 이러한 작업들을 수행하도록 적절하게 구성될 수 있다. 197 블록에서 언급되는 바와 같이, 최초에, 시스템(15) (더욱 구체적으로, 프로젝터 모듈(22))은 도 2의 펄스(28)와 같은 레이저 펄스를, 도 2의 객체(26)와 같은 3차원 객체에 조사할 수 있다. 198 블록에서, 프로세서(19) (또는 특정 실시예들에서 이미지 처리 유닛(46))는 도 6의 VTX 신호(99)와 같은 아날로그 변조 신호를, (설계 선택에 따른) 픽셀(50 또는 67)에서의 PPD(89)와 같은 픽셀에서의 장치에 인가할 수 있다. 앞서 언급된 바와 같이, 픽셀(50 또는 67)은 도 2의 픽셀 어레이(42)에서의 임의의 픽셀들(43)일 수 있다. 나아가, 198 블록에서 언급되는 바와 같이, PPD(89)와 같은 장치는 아날로그 전하를 저장하도록 동작할 수 있다. 199 블록에서, 이미지 처리 유닛(46)은 VTX 신호(99)와 같은 아날로그 변조 신호로부터 수신된 변조에 근거하여, (PPD(89)와 같은) 장치로부터 아날로그 전하의 일부의 전송을 시작할 수 있다. 이러한 전하 전송을 시작하기 위하여, 이미지 처리 유닛(46)은 셔터 신호(61), VPIX 신호(104), 및 RST 신호(98)와 같은 다양한 외부 신호들을 도 6의 예시적인 타이밍도에 도시된 논리 레벨들로 관련된 픽셀(50 또는 67)에 제공할 수 있다.

200 블록에서, 리턴 펄스(37)와 같은 리턴 펄스는 픽셀(50 또는 67)을 사용하여 검출될 수 있다. 앞서 언급된 바와 같이, 리턴 펄스(37)은 3차원 객체(26)로부터 반사되는 조사된 레이저 펄스(28)이다. 200 블록에서 언급되는 바와 같이, 픽셀(50 또는 67)은 PD 유닛(52) (또는 PD 유닛 (68))과 같이, PD(55) (또는 PD(70))와 같은 적어도 하나의 PD를 갖는 PD 유닛을 포함할 수 있으며, 적어도 하나의 PD는 리턴 펄스(37)로 수신되는 광을 전기 신호로 변환하고 문턱 값을 만족하는 변환 이득을 갖는다. 특정 실시예들에서, 문턱 값은 앞서 언급된 바와 같이, 광자당 적어도 400μV일 수 있다. 201 블록에서 언급되는 바와 같이, 이러한 전기 신호는, 응답적으로 중간 출력을 생성하도록, 픽셀(50 또는 67)에서의 감지 증폭기(60) (또는 출력 유닛(69)의 이득 스테이지)와 같은 증폭기 유닛을 사용하여 처리될 수 있다. 도 3의 실시예에서, 이러한 중간 출력은 라인(62)으로 나타나고, 반면에 도 4의 실시예에서 라인(78)으로 나타난다. 도 5 및 9의 설명을 참조하여 언급되는 바와 같이, (설계 선택에 따른) 관련된 논리 유닛(86 (도 5) 또는 144 (도 9))은 (적용 가능하다면, 라인(62 또는 78)에서의 출력일 수 있는) 중간 출력(87)을 처리할 수 있고, TXEN 신호(96 (도 5) 또는 152 (도 9))를 0 논리값 (로우) 상태에 놓여지게 할 수 있다. TXEN 신호(96 또는 152)의 0 논리값 레벨은 도 5의 TCC 유닛(84)에서의 제1 트랜지스터(90) 및 제2 트랜지스터(91) (또는 도 9의 TCC 유닛(140)에서의 상응하는 트랜지스터들(146-147))를 턴 오프시키며, 이는 PPD(89 또는 142)로부터 상응하는 FD 노드(102 또는 162)로의 전하 전송을 중단시킨다. 따라서, 202 블록에서, 관련된 TCC 유닛(84 또는 140)에서의 회로는 예를 들어, 도 8의 셔터가 “온”되는 구간(125) (또는 도 10의 상응하는 구간(189)) 내에서와 같이, 기정의된 시간 간격 내에 중간 출력(87)의 생성에 응답하여 (199 블록에서) 앞서 시작된 아날로그 전하의 일부의 전송을 종료시킬 수 있다.

도 5 및 10을 참조하여 앞서 설명된 바와 같이, (202 블록에서 전송이 종료될 때까지) 각각의 FD 노드(102 (도 5) 또는 162 (도 9))로 전송된 전하의 일부는 Pixout 1 신호로 읽혀질 수 있고, 적절한 디지털 값 “P1”으로 변환될 수 있다. 디지털 값 “P1”은 그 후에 생성된 (Pixout 2 신호에 대한) 디지털 값 “P2”와 함께, 상술된 P1/(P1+P2) 비율로부터 TOF 정보를 획득하는데 사용될 수 있다. 따라서, 203 블록에서 언급된 바와 같이, 시스템(15)에서의 이미지 처리 유닛(46) 또는 프로세서(19) 중 어느 하나는 종료 (202 블록) 시에 전송된 아날로그 전하의 일부에 근거하여 리턴 펄스(37)의 TOF 값을 결정할 수 있다.

도 12는 본 발명의 일 실시예에 따른 도 1 및 도 2의 시스템(15)의 전반적인 레이아웃을 도시한 도면이다. 이로 인하여, 설명 및 참조의 편의상, 동일한 참조 번호들이 공통된 시스템 구성 요소들/유닛들에 대하여 도 1, 2 및 12에서 사용된다.

앞서 설명된 바와 같이, 이미지 모듈(17)은, 적용 가능하다면, 도 3 내지 5, 7, 및 9의 예시적인 실시예들에서 도시된 원하는 하드웨어를 포함하여, 본 발명의 관점에 따른 2차원/3차원 이미징 및 TOF 측정들을 달성하도록 할 수 있다. 프로세서(19)는 다수의 외부 장치들과 인터페이스하도록 구성될 수 있다. 일 실시예에서, 이미지 모듈(17)은 데이터 입력들을 (예를 들어, P1 및 P2 값들과 같은 처리된 픽셀 출력들의 형식으로) 추가 처리를 위해 프로세서(19)에 제공하는 입력 장치로 기능할 수 있다. 또한, 프로세서(19)는 시스템(15)의 일부일 수 있는 다른 입력 장치들(미도시)로부터 입력들을 수신할 수 있다. 이러한 입력 장치들의 일부 예시들은 컴퓨터 키보드, 터치 패드, 터치 스크린, 조이스틱, 물리적 또는 가상의 “클릭 가능한 버튼”, 및/또는 컴퓨터 마우스/포인팅 장치를 포함한다. 도 12에서, 프로세서(19)는 시스템 메모리(20), 주변 스토리지 유닛(206), 하나 이상의 출력 장치들(207), 및 네트워크 인터페이스 유닛(208)에 결합되는 것으로 도시된다. 도 12에서, 디스플레이 유닛은 출력 장치(207)로 도시된다. 일부 실시예들에서, 시스템(15)은 하나 이상의 도시된 장치들을 포함할 수 있다. 시스템(15)의 일부 예시들은 컴퓨터 시스템(데스트탑 또는 랩탑), 태블릿 컴퓨터, 모바일 장치, 휴대폰, 비디오 게임 유닛 또는 콘솔, M2M(machine-to-machine) 통신 유닛, 로봇, 자동차, 가상 현실 장비, 비상태 씬 클라이언트 시스템(stateless “thin” client system), 차량의 대쉬 캠(dash cam) 또는 후방 카메라 시스템, 자율 주행 시스템, 또는 임의의 다른 형식의 컴퓨팅 또는 데이터 처리 장치를 포함한다. 다양한 실시예들에서, 도 12에 도시된 모든 구성 요소들은 단일한 하우징 내에 수납될 수 있다. 따라서, 시스템(15)은 독립 시스템 또는 임의의 다른 적절한 폼 팩터로 구성될 수 있다. 일부 실시예들에서, 시스템(15)은 서버 시스템보다 오히려 클라이언트 시스템으로 구성될 수 있다. 특정 실시예들에서, 시스템(15)은 하나 이상의 프로세서(예를 들어, 분산된 처리 구성으로)를 포함할 수 있다. 시스템(15)이 멀티 프로세서 시스템일 때, 하나 이상의 프로세서들(19) 또는 그것들의 인터페이스들(미도시) 각각을 통하여 프로세서(19)와 결합되는 다수의 프로세서들이 있을 수 있다. 프로세서(19)는 시스템 온 칩(SoC) 일 수 있고/또는 하나 이상의 CPU(Central Processing Unit)를 포함할 수 있다.

앞서 언급된 바와 같이, 시스템 메모리(20)는 예를 들어, DRAM, SRAM, PRAM, RRAM, CBRAM, MRAM, STT-MRAM, 등과 같은 임의의 반도체 기반의 스토리지 시스템일 수 있다. 일부 실시예들에서, 메모리 유닛(20)은 하나 이상의 non-3DS 메모리 모듈들과 함께 적어도 하나의 3DS 메모리 모듈을 포함할 수 있다. non-3DS 메모리는 DDR/DDR2/DDR3/DDR4 SRAM(Double Data Rate 또는 Double Data Rate 2, 3, 또는 4 Synchronous Dynamic Random Access Memory), 또는 Rambus®DRAM, 플래시 메모리, 다양한 형식의 ROM(Read Only Memory) 등을 포함할 수 있다. 또한, 일부 실시예들에서, 시스템 메모리(20)는 단일한 형태의 메모리와 반대로, 다수의 다른 형태들의 반도체 메모리들을 포함할 수 있다. 다른 실시예들에서, 시스템 메모리(20)는 비-일시적 데이터 저장 매체(non-transitory data storage medium)일 수 있다.

주변 스토리지 유닛(206)은 다양한 실시예들에서, 하드 드라이브들, (CD들(Compact Disks) 또는 DVD들(Digital Versatile Disks)과 같은) 광학 디스크들, 비휘발성 RAM(Random Access Memory) 장치들, 플래시 메모리들 등과 같은 마그네틱, 옵티컬, 마그네틱-옵티컬, 또는 솔리드 스테이트 스토리지 매체에 대한 지원을 포함할 수 있다. 일부 실시예들에서, 주변 스토리지 유닛(206)은 (적절한 RAID(Redundant Array of Independent Disks) 구성일 수 있는) 디스크 어레이들 또는 SANs(Storage Area Networks)와 같은 더욱 복잡한 스토리지 장치들/시스템들을 포함할 수 있고, 주변 스토리지 유닛(206)은 SCSI(Small Computer System Interface) 인터페이스, Fibre Channel 인터페이스, Firewire®(IEEE 1394) 인터페이스, Peripheral Component Interface Express (PCI Express™표준 기반 인터페이스, Universal Serial Bus (USB) 프로토콜 기반 인터페이스, 또는 다른 적절한 인터페이스와 같은 표준의 주변 인터페이스를 통하여 프로세서(19)에 결합될 수 있다. 이러한 다양한 스토리지 장치들은 비일시적 데이터 스토리지 매체일 수 있다.

디스플레이 유닛(207)은 출력 장치의 예시일 수 있다. 다른 출력 장치의 예시들은 그래픽/디스플레이 장치, 컴퓨터 스크린, 알람 시스템, CAD/CAM(Computer Aided Design/Computer Aided Machining) 시스템, 비디오 게임 스테이션, 스마트폰 디스플레이 스크린, 자동차에서 대쉬보드가 탑재된 디스플레이 스크린, 또는 임의의 다른 형식의 데이터 출력 장치를 포함한다. 일부 실시예들에서, 이미지 모듈(17)과 같은 입력 장치(들), 및 디스플레이 유닛(207)과 같은 출력 장치(들)는 I/O 또는 주변 인터페이스(들)을 통하여 프로세서(19)와 결합될 수 있다.

일 실시예에서, 네트워크 인터페이스(208)는 프로세서(19)와 통신하여 시스템(15)이 네트워크(미도시)와 결합할 수 있게 할 수 있다. 다른 실시예에서, 네트워크 인터페이스(208)는 전부 없을 수 있다. 네트워크 인터페이스(208)는 임의의 적절한 장치들, 매체 및/또는 유선이든 무선이든 시스템(15)을 네트워크와 연결하기 위한 프로토콜 콘텐츠를 포함할 수 있다. 다양한 실시예들에서, 네트워크는 LANs(Local Area Networks), WANs(Wide Area Networks), 유무선 이더넷, 인터넷, 통신 네트워크들, 위성 링크들, 또는 다른 적절한 형식의 네트워크들을 포함할 수 있다.

시스템(15)은 온 보드 전력 공급 유닛(210)을 포함하여, 전력을 도 12에 도시된 다양한 시스템 구성 요소들에 제공할 수 있다. 전력 공급 유닛(210)은 배터리들을 수신할 수 있거나, AC 전력 방출 수단 또는 자동차 기반의 전력 방출 수단과 연결될 수 있다. 일 실시예에서, 전력 공급 유닛(210)은 태양 에너지 또는 다른 재생 에너지를 전기적 전력으로 변환할 수 있다.

일 실시예에서, 이미지 모듈(17)은 예를 들어, Universal Serial Bus 2.0 or 3.0 (USB 2.0 or 3.0) 인터페이스 또는 상술된 바와 같은 고속의 인터페이스와 통합될 수 있다. 이는 임의의 퍼스널 컴퓨터(PC) 또는 랩탑에 연결될 수 있다. 예를 들어 시스템 메모리(20)와 같은 비-일시적이고 컴퓨터-판독 가능한 데이터 스토리지 매체 또는 CD/DVD와 같은 주변 데이터 스토리지 유닛은 프로그램 코드 또는 소프트웨어를 저장할 수 있다. 프로세서(19) 및/또는 이미지 모듈(17)의 이미지 처리 유닛(46) (도 2)은 프로그램 코드를 실행하도록 구성될 수 있으며, 예를 들어, 도 1 내지 11을 참조하여 앞서 설명된 동작들로 상술된 바와 같이, 장치(15)는 픽셀-특유 거리/범위 값들을 이용한 2차원 이미징(예를 들어, 3차원 객체의 그레이 스케일 이미지), TOF 및 범위 측정들, 및 객체의 3차원 이미지의 생성을 수행하도록 동작할 수 있다. 예를 들어, 특정 실시예들에서, 프로그램 코드의 실행 시에, 프로세서(19) 및/또는 이미지 처리 유닛(46)은 관련된 회로 구성 요소들을 적절하게 구성(또는 활성화)하여, Shutter, RST, VTX, SEL 신호들 등과 같은 적절한 입력 신호들을 픽셀 어레이(42)의 픽셀들(43)에 인가하고, 리턴된 레이저 펄스로부터 광을 캡쳐하게 할 수 있고, TOF 및 범위 측정들에 필요한 픽셀-특유 P1 및 P2 값들에 대한 픽셀 출력들을 이후에 처리 할 수 있다. 프로그램 코드 또는 소프트웨어는 독점 소프트웨어 또는 오픈 소스 소프트웨어일 수 있으며, 이러한 소프트웨어는 프로세서(19) 및/또는 이미지 처리 유닛(46)과 같은 적절한 처리 엔티티에 의한 실행 시에, 처리 엔티티가 다양한 픽셀-특유 ADC 출력들(P1 및 P2 값들)을 처리하고, 범위 값들을 결정하고, 예를 들어, TOF 기반의 범위 측정들에 근거한 멀리 떨어진 객체의 3차원 이미지를 표시하는 것을 포함하는 다양한 포맷으로 결과를 렌더링하는 것을 가능케 할 수 있다. 특정 실시예들에서, 이미지 모듈(17)의 이미지 처리 유닛(46)은, 픽셀 출력 데이터가 추가 처리와 디스플레이를 위해 프로세서(19)로 전송되기 전에, 픽셀 출력들의 처리 일부를 수행할 수 있다. 다른 실시예들에서, 프로세서(19)는 또한, 이미지 처리 유닛(46)의 기능 일부 또는 전부를 수행할 수 있으며, 이러한 경우에, 이미지 처리 유닛(46)은 이미지 모듈(17)의 일부가 아닐 수 있다.

앞선 설명에서, 제한이 아니라 설명의 목적으로, 구체적인 세부 설명들 (특정 구조들, 파형들, 인터페이스들, 기술들 등과 같은)이 개시된 기술의 완전한 이해를 제공하기 위하여 진술된다. 그러나, 개시된 기술이 이러한 구체적인 세부 설명들로부터 벗어난 다른 실시예들로 행하여질 수 있음이 당업자에 자명할 것이다. 즉, 당업자는, 비록 명백하게 여기에서 설명되거나 도시되지 않더라도, 개시된 기술의 원리들 구체화하는 다양한 배열들을 고안할 수 있을 것이다. 일부 예시들에서, 잘 알려진 장치들, 회로들, 및 방법들의 세부적인 설명들은 불필요한 세부 설명으로 개시된 기술의 설명이 애매해지지 않도록 생략된다. 특정 예시들뿐만 아니라, 여기에서 개시된 기술의 원리들, 양상들, 및 실시예들을 언급하는 모든 진술들은 구조적이고 기능적인 균등물들 모두를 포함하는 것으로 의도된다. 추가적으로, 이런 균등물들은 예를 들어 구조에 관계없이 같은 기능을 수행하는 개발된 임의의 요소들과 같은 미래에 개발되는 균등물 뿐만 아니라 현재 알려진 균등물들을 포함하는 것으로 되어있다.

따라서, 예를 들어, 여기에서의 블록도들 (예를 들어, 도 1 내지 2 및 12)이 기술의 원리들을 구체화하는 도시적인 회로 또는 다른 기능적인 유닛들의 개념적인 관점들을 나타내는 것으로 당업자에 이해될 것이다. 유사하게, 도 11의 순서도가, 예를 들어, 프로젝터 모듈(22), 2차원 픽셀 어레이(42) 등과 같은 다양한 시스템 구성 요소들과 함께 프로세서(예를 들어, 도 2의 프로세서(19) 및/또는 이미지 처리 유닛(46))에 의하여 실질적으로 수행될 수 있는 다양한 프로세스들을 나타내는 것으로 이해될 것이다. 이러한 프로세서는 예로써, 일반적인 목적의 프로세서, 특수 목적의 프로세서, 전통적인 프로세서, 디지털 신호 프로세서(DSP), 복수의 마이크로 프로세서들, DSP 코어와 연관된 하나 이상의 마이크로 프로세서들, 컨트롤러, 마이크로 컨트롤러, ASICs(Application Specific Integrated Circuits), FPGAs(Field Programmable Gate Arrays) 회로들, 임의의 다른 형식의 집적 회로(IC), 및/또는 스테이트 머신(state machine)을 포함할 수 있다. 도 1 내지 12의 문맥에서 상술된 처리 기능들의 일부 또는 모두는 또한 이러한 프로세서에 의하여 하드웨어 및/또는 소프트웨어로 제공될 수 있다.

특정 발명의 관점들이 소프트웨어 기반의 처리를 요구할 때, 이러한 소프트웨어 또는 프로그램 코드는 컴퓨터-판독 가능한 데이터 스토리지 매체에 존재할 수 있다. 앞서 언급된 바와 같이, 이러한 데이터 스토리지 매체는 주변 스토리지(206)의 일부일 수 있거나, 시스템 메모리(20) 또는 이미지 센서 유닛(24)의 임의의 내부 메모리(미도시), 또는 프로세서(19)의 내부 메모리(미도시)의 일부일 수 있다. 일 실시예에서, 프로세서(19) 및/또는 이미지 처리 유닛(46)은 이러한 매체에 저장된 명령어들을 실행하여, 소프트웨어 기반의 처리를 수행할 수 있다. 컴퓨터-판독 가능한 데이터 스토리지 매체는, 상술된 일반적인 목적의 컴퓨터 또는 프로세서에 의한 실행을 위한 컴퓨터 프로그램, 소프트웨어, 펌웨어, 또는 마이크로 코드를 포함하는 비-일시적인 데이터 스토리지 매체일 수 있다. 컴퓨터-판독 가능한 스토리지 매체들은 예로써 ROM, RAM, 디지털 레지스터, 캐시 메모리, 반도체 메모리 장치들, 내장 하드 디스크들과 같은 마그네틱 매체, 마그내틱 테이프들 및 소거 가능한 디스크들, 마그네틱-옵티컬 매체, CD-ROM 및 DVD들과 같은 광학 매체를 포함한다.

본 발명의 실시예에 따른 이미지 모듈(17) 또는 이러한 이미지 모듈을 포함하는 시스템(15)의 선택적인 실시예들은, 상술된 임의의 기능 및/또는 본 발명의 교시들에 따른 솔루션을 지원하기 위하여 필요한 임의의 기능을 포함하는 추가적인 기능들을 제공하기 위하여, 추가적인 구성 요소들을 포함할 수 있다. 비록, 특징들 및 요소들이 특정 조합들로 위에서 설명되나, 특징 또는 요소 각각이 다른 특징들 및 요소들 없이 단독으로, 또는 다른 특징들과의 다양한 조합들 또는 다른 특징들 없는 다양한 조합들로 사용될 수 있다. 앞서 언급된 바와 같이, 여기에서 설명되는 다양한 2차원 및 3차원 이미지 기능들은 (하드웨어 회로와 같은) 하드웨어 및/또는 (앞서 언급된) 컴퓨터-판독 가능한 데이터 스토리지 매체에 저장된 코딩된 명령어들 또는 마이크로 코드의 형식으로 소프트웨어/펌웨어를 실행시키는 하드웨어의 사용을 통하여 제공될 수 있다. 따라서, 이러한 기능들 및 도시된 기능 블록들은 하드웨어로 구현되거나 컴퓨터로 구현되는 것으로 이해될 수 있고, 기계로 구현될 수 있는 것으로 이해될 수 있다.

앞서 언급된 것은 DTOF 기술이 픽셀 어레이의 픽셀 각각에서 아날로그 진폭 변조(AM)와 조합되는 시스템 및 방법을 설명한다. 어떠한 SPAD들 또는 APD들도 픽셀들에 사용되지 않는다. 대신, 각각의 픽셀은 400μV/e- 이상의 변환 이득 및 45%보다 큰 PDE를 갖고, PPD (또는 유사한 아날로그 스토리지 장치)와 함께 동작하는 PD를 갖는다. TOF 정보는 픽셀 자체 내부의 아날로그 도메인 기반의 단일-차동 변환기에 의하여 수신된 광 신호에 추가된다. 픽셀의 PD의 출력은 PPD의 동작을 제어하는데 사용된다. 픽셀의 PD로부터의 출력이 기정의된 시간 간격 이내에 트리거되는 경우, PPD로부터의 전하 전송은 중단되고, 이로 인하여, TOF 값 및 객체의 범위는 기록된다. 이러한 픽셀들은 예를 들어, 낮은 광, 안개, 악천후 등과 같은 어려운 운전 상황들 하에서 운전자들을 위하여, AM 기반의 DTOF 센서와 함께 향상된 자율 주행 시스템을 가능케 한다.

당업자에 의하여 이해되는 바와 같이, 본 발명에서 설명된 혁신적인 개념들은 상세한 설명의 넓은 범위에서 변경 및 수정될 수 있다. 따라서, 특허된 주제의 시야는 상술된 교시들의 임의의 특정 실시예에 제한되지 않고, 아래의 청구항들에 의하여 정의된다.

15: TOF 이미지 시스템 17: 이미지 모듈
19: 프로세서 20: 메모리
22: 프로젝터 모듈 24: 이미지 센서 유닛
26: 3차원 객체 42: 픽셀 어레이
43, 50, 67: 픽셀 46: 이미지 처리 유닛
52, 68: PD 유닛 53, 69: 출력 유닛
55, 70: PD 64, 79, 84, 140: TCC 유닛
86, 144: 논리 유닛

Claims

이미지 센서의 픽셀에 있어서,
수신된 광을 전기 신호로 변환하고, 문턱 값을 만족하는 변환 이득을 갖는 적어도 하나의 포토 다이오드를 포함하는 포토 다이오드 유닛;
상기 포토 다이오드 유닛과 직렬로 연결되어 상기 전기 신호를 증폭하고, 응답적으로 중간 출력을 생성하는 증폭기 유닛; 및
상기 증폭기 유닛과 연결되어, 상기 중간 출력을 수신하는 시간-전하 변환기 유닛을 포함하고,
상기 시간-전하 변환기 유닛은,
아날로그 전하를 저장하는 장치; 및
상기 장치와 연결되는 제어 회로를 포함하되,
상기 제어 회로는,
상기 장치로부터 상기 아날로그 전하의 제1 부분의 전송을 시작하고,
기정의된 시간 간격 이내에 상기 중간 출력의 수신에 응답하여 상기 전송을 종료하고,
전송되는 상기 아날로그 전하의 상기 제1 부분에 근거하여 상기 픽셀에 대한 제1 픽셀-특유 출력을 생성하는 동작들을 수행하는 픽셀.
제1 항에 있어서,
상기 포토 다이오드 유닛, 상기 증폭기 유닛, 및 상기 시간-전하 변환기 유닛 각각은 CMOS(Complementary Metal Oxide Semiconductor)부를 포함하는 픽셀.
제1 항에 있어서,
상기 포토 다이오드 유닛은,
상기 광을 수신하고, 상기 수신된 광에 응답하여 상기 전기 신호를 생성하되, 상기 문턱 값을 만족하는 상기 변환 이득을 갖는 제1 포토 다이오드; 및
상기 제1 포토 다이오드와 병렬로 연결되되, 상기 광에 노출되지 않고, 검출되는 어둠 레벨에 근거하여 기준 신호를 생성하는 제2 포토 다이오드를 포함하는 픽셀.
제3 항에 있어서,
상기 증폭기 유닛은,
상기 제1 및 제2 포토 다이오드들에 직렬로 연결되어 상기 기준 신호에 대한 상기 전기 신호를 감지 시에, 상기 전기 신호를 증폭하되, 수신되는 제어 신호에 응답하여 상기 전기 신호를 증폭 시에, 상기 중간 출력을 생성하는 감지 증폭기를 포함하는 픽셀.
제4 항에 있어서,
상기 감지 증폭기는 전류 감지 증폭기인 픽셀.
제1 항에 있어서,
상기 장치는, 핀 포토 다이오드, 포토 게이트, 및 커패시터 중 하나인 픽셀.
제1 항에 있어서,
상기 제어 회로는 출력 단자를 포함하고,
상기 제어 회로는,
아날로그 변조 신호를 수신하고,
외부 입력을 더 수신하고,
상기 외부 입력에 응답하고 상기 아날로그 변조 신호에 의하여 제공되는 변조에 근거하여, 상기 출력 단자를 통하여 상기 아날로그 전하의 상기 제1 부분을 상기 제1 픽셀-특유 출력으로서 전송하고, 그리고
상기 외부 입력에 응답하여 상기 출력 단자를 통하여 상기 아날로그 전하의 제2 부분을 제2 픽셀-특유 출력으로서 전송하는 동작들을 더 수행하되,
상기 제2 부분은 상기 제1 부분이 전송된 이후, 상기 아날로그 전하의 나머지와 실질적으로 동일한 픽셀.
제7 항에 있어서,
상기 제어 회로는 제1 노드 및 제2 노드를 더 포함하고,
상기 제어 회로는,
상기 장치로부터 상기 제1 노드로, 상기 제1 노드로부터 상기 제2 노드로, 상기 제2 노드로부터 상기 출력 단자로, 상기 아날로그 전하의 상기 제1 부분을 상기 제1 픽셀-특유 출력으로서 전송하고, 그리고
상기 장치로부터 상기 제1 노드로, 상기 제1 노드로부터 상기 제2 노드로, 상기 제2 노드로부터 상기 출력 단자로, 상기 아날로그 전하의 상기 제2 부분을 상기 제2 픽셀-특유 출력으로서 전송하는 동작들을 더 수행하는 픽셀.
제1 항에 있어서,
상기 문턱 값은 광전자당 적어도 400μV인 픽셀.
3차원 객체에 레이저 펄스를 조사하는 단계;
아날로그 전하를 저장하는 픽셀 내 장치로 아날로그 변조 신호를 인가하는 단계;
상기 아날로그 변조 신호로부터 수신되는 변조에 근거하여, 상기 장치로부터 상기 아날로그 전하의 제1 부분의 전송을 시작하는 단계;
상기 3차원 객체로부터 반사된 상기 조사된 레이저 펄스인 리턴 펄스에서 수신된 광을 전기 신호로 변환하고 문턱 값을 만족하는 변환 이득을 갖는 적어도 하나의 포토 다이오드를 갖는 포토 다이오드 유닛을 포함하는 상기 픽셀을 사용하여, 상기 리턴 펄스를 검출하는 단계;
상기 픽셀 내 증폭기 유닛을 사용하여, 응답적으로 중간 출력을 생성하도록, 상기 전기 신호를 처리하는 단계;
기정의된 시간 간격 이내에 상기 중간 출력의 생성에 응답하여, 상기 아날로그 전하의 상기 제1 부분의 상기 전송을 종료하는 단계; 및
종료 시에, 전송되는 상기 아날로그 전하의 상기 제1 부분에 근거하여, 상기 리턴 펄스의 TOF(Time-of-Flight) 값을 결정하는 단계를 포함하는 방법.
제10 항에 있어서,
상기 장치로부터 전송되는 상기 아날로그 전하의 상기 제1 부분으로부터 상기 픽셀의 제1 픽셀-특유 출력을 생성하는 단계;
상기 장치로부터 상기 아날로그 전하의 제2 부분을 전송하는 단계;
상기 장치로부터 전송되는 상기 아날로그 전하의 상기 제2 부분으로부터 상기 픽셀의 제2 픽셀-특유 출력을 생성하는 단계;
아날로그-디지털 변환기 유닛을 사용하여 상기 제1 및 제2 픽셀-특유 출력들을 샘플링하는 단계; 및
상기 샘플링에 근거하여, 상기 아날로그-디지털 변환기 유닛을 사용하여 상기 제1 픽셀-특유 출력에 상응하는 제1 신호 값 및 상기 제2 픽셀-특유 출력에 상응하는 제2 신호 값을 생성하는 단계를 더 포함하되,
상기 제2 부분은 상기 제1 부분이 전송된 이후, 상기 아날로그 전하의 나머지와 실질적으로 동일한 방법.
제11 항에 있어서,
상기 리턴 펄스의 상기 TOF 값을 결정하는 단계는,
상기 제1 및 제2 신호 값들의 합계에 대한 상기 제1 신호 값의 비를 사용하여 상기 리턴 펄스의 상기 TOF 값을 결정하는 단계를 포함하는 방법.
제12 항에 있어서,
상기 TOF 값에 근거하여, 상기 3차원 객체에 대한 거리를 결정하는 단계를 더 포함하는 방법.
제10 항에 있어서,
상기 증폭기 유닛에, 상기 레이저 펄스를 조사하는 단계 이후 기결정된 시간 구간 동안, 셔터 신호를 더 인가하는 단계;
상기 아날로그 변조 신호 및 상기 셔터 신호가 활성화되는 동안, 상기 픽셀을 사용하여 상기 리턴 펄스를 검출하는 단계;
상기 셔터 신호가 활성화되는 동안, 상기 중간 출력의 생성 시에, 종료 신호를 제공하는 단계; 및
상기 종료 신호에 응답하여 상기 아날로그 전하의 상기 제1 부분의 상기 전송을 종료하는 단계를 더 포함하는 방법.
제10 항에 있어서,
상기 리턴 펄스를 검출하는 단계는,
상기 포토 다이오드 유닛 내, 상기 문턱 값을 만족하는 상기 변환 이득을 갖는 제1 포토 다이오드에서 상기 광을 수신하는 단계;
상기 제1 포토 다이오드를 사용하여 상기 전기 신호를 생성하는 단계; 및
상기 포토 다이오드 유닛 내, 제2 포토 다이오드를 사용하여 기준 신호를 더 생성하는 단계를 포함하되,
상기 제2 포토 다이오드는, 상기 제1 포토 다이오드와 병렬로 연결되고, 상기 광에 노출되지 않고, 검출되는 어둠 레벨에 근거하여 상기 기준 신호를 생성하는 방법.
제15 항에 있어서,
상기 증폭기 유닛은 상기 제1 및 제2 포토 다이오드들에 직렬로 연결되는 감지 증폭기이고,
상기 전기 신호를 처리하는 단계는,
상기 감지 증폭기에 셔터 신호를 제공하는 단계;
상기 셔터 신호가 활성화되는 동안, 상기 감지 증폭기를 사용하여 상기 기준 신호에 대한 상기 전기 신호를 감지하는 단계; 및
상기 셔터 신호가 활성화되는 동안, 상기 감지 증폭기를 사용하여 상기 전기 신호를 증폭함으로써, 상기 중간 출력을 생성하는 단계를 포함하는 방법.
제10 항에 있어서,
상기 레이저 펄스를 조사하는 단계는,
레이저 광원, 가시 스펙트럼의 광을 생성하는 광원, 비-가시 스펙트럼의 광을 생성하는 광원, 단색성 광원, 적외선 레이저, X-Y 어드레서블 광원, 2차원 스캐닝 가능한 점광원, 1차원 스캐닝 가능한 면광원, 및 확산 레이저 중 하나의 광원을 사용하여 상기 레이저 펄스를 조사하는 단계를 포함하는 방법.
제10 항에 있어서,
상기 문턱 값은 광자당 적어도 400μV인 방법.
레이저 펄스를 3차원 객체에 조사하는 광원; 및
복수의 픽셀들;
프로그램 명령어들을 저장하기 위한 메모리; 및
상기 메모리 및 상기 복수의 픽셀들에 연결되고, 상기 프로그램 명령어들을 실행하는 프로세서를 포함하고,
상기 복수의 픽셀들 각각은,
상기 3차원 객체에 의한 상기 조사된 레이저 펄스의 반사 결과인 리턴 펄스에서 수신된 광을 전기 신호로 변환하고, 문턱 값을 만족하는 변환 이득을 갖는 적어도 하나의 포토 다이오드를 포함하는 픽셀-특유 포토 다이오드 유닛;
상기 픽셀-특유 포토 다이오드 유닛과 직렬로 연결되어, 상기 전기 신호를 증폭하고, 응답적으로 중간 출력을 생성하는 픽셀-특유 증폭기 유닛; 및
상기 픽셀-특유 증폭기 유닛과 연결되어 상기 중간 출력을 수신하는 픽셀-특유 시간-전하 변환기 유닛을 포함하고,
상기 픽셀-특유 시간-전하 변환기 유닛은,
아날로그 전하를 저장하는 장치; 및
상기 장치와 연결되는 제어 회로를 포함하되,
상기 제어 회로는,
상기 장치로부터 상기 아날로그 전하의 픽셀-특유 제1 부분의 전송을 시작하고,
기정의된 시간 간격 이내에 상기 중간 출력의 수신 시에 상기 픽셀-특유 제1 부분의 상기 전송을 종료하고,
전송되는 상기 아날로그 전하의 상기 픽셀-특유 제1 부분에 근거하여 상기 픽셀에 대한 상기 제1 픽셀-특유 출력을 생성하고,
상기 장치로부터 상기 아날로그 전하의 픽셀-특유 제2 부분을 전송하고,
전송되는 상기 아날로그 전하의 상기 픽셀-특유 제2 부분에 근거하여 상기 픽셀에 대한 제2 픽셀-특유 출력을 생성하는 동작들을 수행하고,
상기 픽셀-특유 제2 부분은 상기 픽셀-특유 제1 부분이 전송된 이후, 상기 아날로그 전하의 나머지와 실질적으로 동일하고,
상기 프로세서는 상기 복수의 픽셀들의 픽셀 각각에 대하여,
상기 아날로그 전하의 상기 픽셀-특유 제1 부분 및 상기 픽셀-특유 제2 부분의 전송들을 각각 수행하게 하고,
상기 제1 및 제2 픽셀-특유 출력들을 수신하고,
상기 제1 및 제2 픽셀-특유 출력들에 근거하여, 픽셀-특유 제1 신호 값 및 픽셀-특유 제2 신호 값을 포함하는 픽셀-특유 신호 값들의 쌍을 각각 생성하고,
상기 픽셀-특유 제1 신호 값 및 상기 픽셀-특유 제2 신호 값을 사용하여, 상기 리턴 펄스의 상응하는 픽셀-특유 TOF(Time-of-Flight) 값을 결정하고,
상기 픽셀-특유 TOF 값에 근거하여 상기 3차원 객체에 대한 픽셀-특유 거리를 결정하는 동작들을 수행하는 시스템.
제19 항에 있어서,
상기 프로세서는, 픽셀 각각의 상기 픽셀-특유 시간-전하 변환기 유닛의 상기 제어 회로에 아날로그 변조 신호를 제공하되, 픽셀-특유 시간-전하 변환기 유닛의 상기 제어 회로는 상기 아날로그 변조 신호에 의하여 제공되는 변조에 근거하여 전송되는 상기 아날로그 전하의 상기 픽셀-특유 제1 부분의 양을 제어하는 시스템.