KR102502733B1 - 범위 측정을 위하여 ppd와 spad가 공유된 픽셀 및 시공간적인 상관관계를 이용하는 시간-분해 센서 - Google Patents

Abstract

TOF(Time-of-Flight) 기술은 픽셀 각각에서의 단일한 PPD(Pinned Photo Diode)와 다수의 SPAD(Single Photon Avalanche Diode)들을 이용한 픽셀 어레이의 픽셀 각각에서의 아날로그 진폭 변조와 결합된다. SPAD는 다수의 인접한 픽셀들 사이에서 공유될 수 있다. TOF 정보는 픽셀 내부의 아날로그 도메인 기반의 단일-차동 변환기에 의하여 수신된 광 신호에 추가된다. 픽셀에서 다수의 인접한 SPAD들의 출력들 사이의 시공간적인 상관관계는 PPD의 동작을 제어하여 TOF 값들과 객체의 범위에 대한 기록을 용이하게 하는데 사용된다. PPD로부터의 전하 이동을 중지시키고, 이로써, 픽셀에서 두 개 이상의 SPAD들이 기 정의된 시간 간격 이내에 트리거될 때에만 TOF 값을 기록함으로써, 주변 광에 기인한 오차 범위 측정들이 방지된다. 다수의 SPAD 픽셀들을 갖는 자율 주행 시스템은 어려운 운전 조건들 하에서 운전자를 위한 향상된 시야를 제공한다.

Description

범위 측정을 위하여 PPD와 SPAD가 공유된 픽셀 및 시공간적인 상관관계를 이용하는 시간-분해 센서{TIME-RESOLVING SENSOR USING SHARED PPD+SPAD PIXEL AND SPATIAL-TEMPORAL CORRELATION FOR RANGE MEASUREMENT}

본 발명은 일반적으로 이미지 센서와 관련된다. 좀 더 구체적으로, 제한되지 않으나, 본 발명에 개시된 발명의 관점에서의 특정 실시예들은 픽셀이, 다수의 인접한 단일광자 애벌란치 다이오드(Single Photon Avalanche Diode, SPAD)들의 출력들 사이의 시공간적인 상관관계를 사용하여, 핀 포토 다이오드(Pinned Photo Diode, PPD)와 같은 시간-전하 변환기의 동작을 제어함으로써, TOF 값들 및 3차원 객체의 범위에 대한 기록을 용이하게 하는 TOF(Time-of-Flight) 이미지 센서를 나타낸다.

3차원(3D) 이미지 시스템들은 예를 들어, 산업 생산, 비디오 게임들, 컴퓨터 그래픽들, 로봇 수술들, 소비자 디스플레이들, 감시 비디오들, 삼차원 모델링, 부동산 판매들, 자율 주행, 등과 같은 광범위한 어플리케이션들에 점점 더 사용되고 있다.

기존의 3차원 이미지 기술들은 예를 들어, TOF(Time-of-flight) 기반의 범위 이미징, 스테레오 비전 시스템들, 및 구조형 광(Structured light, SL) 방식들을 포함할 수 있다.

TOF 방식에서, 3차원 객체까지의 거리는 알려진 광의 속도에 근거하여, 광 신호가 이미지의 각각의 포인트에 대하여 카메라와 3차원 객체 사이를 이동하는 왕복 시간을 측정함으로써 해결된다. 카메라에서 픽셀들의 출력들은 특정 픽셀의 TOF 값들에 관한 정보를 제공하여 객체의 3차원 깊이 프로파일을 제공한다. TOF 카메라는 각각의 레이저 또는 광 펄스로 전체의 장면을 캡처하는 스캐너리스(Scannerless) 접근법을 사용할 수 있다. 다이렉트 TOF 이미저(Direct TOF imager)에서, 단일한 레이저 펄스는 시공간적인 데이터를 캡처하여 3차원 장면을 기록하는데 사용될 수 있다. 이는 장면 정보의 빠른 취득과 빠른 실시간 처리를 가능케 한다. TOF 방식의 일부 예시적인 어플리케이션들은 자율 주행 및 활동적인 보행자의 안전 또는 실시간의 거리 이미지들에 근거하여 충돌 전 감지와 같은 개선된 자동차용 어플리케이션을 포함할 수 있고, 비디오 게임 콘솔들 상의 게임들과 함께 상호작용하는 동안과 같이 인간의 움직임들을 추적할 수 있고, 산업상의 머신 비전에서 객체들을 분류하고 로봇들이 컨베이어 벨트 상의 물건들과 같은 물건들을 발견하는데 도움을 줄 수 있다.

입체 이미징 또는 스테레오 비전 시스템들에서, 서로 수평적으로 옮겨진 두 개의 카메라들은 장면 또는 상기 장면에서의 3차원 객체에 대한 두 개의 다른 시야들을 획득하는데 사용된다. 이러한 두 개의 이미지들을 비교함으로써, 상대적인 깊이 정보가 3차원 객체에 대하여 획득될 수 있다. 스테레오 비전은 자동 시스템들/로봇들 인근의 3차원 객체들의 상대적인 위치에 관한 정보를 추출하는 로봇 공학과 같은 분야들에서 매우 중요하다. 로봇 공학에 대한 다른 어플리케이션들은, 입체 깊이 정보가 로봇 시스템으로 하여금 가려진 이미지 컴포넌트들을 분리하도록 하는 객체 인식을 포함한다. 그렇지 않으면, 로봇은 다른 객체를 부분적으로 또는 완전히 숨기는 다른 하나의 앞에 하나의 객체가 있는 것과 같이, 두 개의 분리된 객체들을 구별할 수 없다. 3차원 스테레오 디스플레이들은 엔터테인먼트 또는 자동화 시스템들에서 또한 사용된다.

SL 방식의 접근법에서, 객체의 3차원 형상은 조사된 광 패턴들과 이미징을 위한 카메라를 이용하여 측정될 수 있다. SL 방식에서, 격자들 또는 수평 막대들 또는 평행한 스트라이프 패턴들과 같이 알려진 광 패턴이 장면 또는 상기 장면에서의 3차원 객체에 조사된다. 조사된 패턴은 3차원 객체의 표면에 부딪칠 때, 변형되거나 바뀌어질 수 있다. 이러한 변형은 SL 비전 시스템으로 하여금 객체의 깊이 및 표면 정보를 계산하도록 한다. 따라서, 3차원 표면에 협대역 광을 조사하는 것은 프로젝터에 의한 것보다 다른 관점들로부터 왜곡되어 나타나는 조광 라인을 생성할 수 있고, 조광된 표면의 형상에 대한 기하학적인 복원에 사용될 수 있다. SL 기반의 3차원 이미징은, 예를 들어 3차원 장면에서의 지문들을 촬영하는 경찰력, 생산 과정 동안 컴포넌트들의 인라인 검사, 인체 형상들 또는 인체 피부의 작은 구조들의 실시간 측정을 위한 헬스 케어 등과 같은 각양각색의 어플리케이션들에 사용될 수 있다.

본 발명은 어려운 기후 조건들 하에서 개선된 TOF 값의 정확성을 확보하는 이미지 센서, 시스템, 및 방법을 제공할 수 있다.

일 실시예에서, 본 발명은 이미지 센서의 픽셀로 지시된다. 픽셀은 (i) 복수의 단일광자 애벌란치 다이오드(SPAD)들, (SPAD 각각은 수신된 광을 상응하는 전기 신호로 변환한다), (ii) 복수의 SPAD들과 결합되는 제1 제어 회로, (SPAD 각각이 광을 수신하는 동안, 제1 제어 회로는 SPAD로부터 상응하는 전기 신호를 처리하여 SPAD-특유 출력을 생성한다), (iii) 아날로그 전하는 저장하는 핀 포토 다이오드(PPD), 및 (iv) 제1 제어 회로 및 PPD와 결합되는 제2 제어 회로를 포함한다. 픽셀에서, 제2 제어 회로는, (a) PPD로부터 아날로그 전하의 부분의 이동을 시작시키고, (b) 기 정의된 시간 간격 이내에 제1 제어 회로로부터 적어도 두 개의 SPAD-특유 출력들을 수신 시에 이동을 종료시킨다. 특정 실시예들에서, SPAD-특유 출력들은 디지털 신호들이다.

다른 실시예에서, 본 발명은 방법으로 지시된다. 이러한 방법은 (i) 레이저 펄스를 3차원 객체에 조사하는 단계, (ii) 픽셀의 PPD에 아날로그 변조 신호를 인가하는 단계, (iii) 아날로그 변조 신호로부터 수신된 변조에 근거하여 PPD에 저장된 아날로그 전하의 일부의 이동을 시작하는 단계, (iv) 픽셀의 복수의 SPAD들을 이용하여 리턴 펄스를 검출하는 단계, (리턴 펄스는 3차원 객체로부터 반사되는 조사된 펄스이고, SPAD 각각은 리턴 펄스로부터 수신된 광(luminance)를 상응하는 전기 신호로 변환한다.), (v) SPAD 각각이 광을 수신하는 동안, 상응하는 전기 신호를 처리하여 SPAD-특유 디지털 출력을 생성하는 단계, (vi) 기 정의된 시간 간격 이내에 적어도 두 개의 픽셀-특유 디지털 출력들의 생성 시에, 아날로그 전하의 일부의 이동을 종료하는 단계, 및 (vii) 종료 시에, 이동된 아날로그 전하의 일부에 근거하여 리턴 펄스의 TOF 값을 결정하는 단계를 포함한다.

추가 실시예에서, 본 발명은 광원 및 이미지 센서 유닛을 포함하는 이미지 유닛으로 지시된다. 광원은 레이저 펄스를 3차원 객체에 조사한다. 이미지 센서 유닛은 (i) 2차원 픽셀 어레이로 배열되는 복수의 픽셀들, 및 (ii) 2차원 픽셀 어레이와 결합되는 처리 유닛을 포함한다. 2차원 픽셀 어레이의 픽셀들에서 적어도 하나의 행에 대한 픽셀들은 (a) 복수의 픽셀-특유 SPAD들, (SPAD 각각은 리턴 펄스에서 수신된 광을 상응하는 전기 신호로 변환하고, 리턴 펄스는 3차원 객체에 의한 조사된 펄스의 반사에 기인한다.), (b) 복수의 픽셀-특유 SPAD들과 결합되는 픽셀-특유 제1 제어 회로, (SPAD 각각이 리턴 펄스의 광을 수신하는 동안, 픽셀-특유 제1 제어 회로는 SPAD로부터 상응하는 전기 신호를 처리하여 SPAD-특유 출력을 생성한다.), (c) 아날로그 전하를 저장하는 픽셀-특유 장치, 및 (d) 픽셀-특유 제1 제어 회로 및 픽셀-특유 장치와 결합되는 픽셀-특유 제2 제어 회로, (픽셀-특유 제2 제어 회로는 픽셀-특유 장치로부터 아날로그 전하의 픽셀-특유 제1 부분의 이동을 시작시키고, 기 정의된 시간 간격 이내에 픽셀-특유 제1 제어 회로로부터 적어도 두 개의 SPAD-특유 출력들을 수신 시에, 이동을 종료시킨다.)를 포함한다. 이미지 센서 유닛에서, 처리 유닛은 (a) 픽셀들의 행에 대한 픽셀 각각에서의 픽셀-특유 제2 제어 회로에 아날로그 변조 신호를 제공하고, (b) 기 정의된 시간 간격 이내에 아날로그 전하의 픽셀-특유 제1 부분의 이동에 근거하여 리턴 펄스의 픽셀-특유 TOF 값을 결정한다.

또 다른 실시예에서, 본 발명은 시스템으로 지시된다. 이러한 시스템은 (i) 광원, (ii) 복수의 픽셀들, (iii) 복수의 ADC 유닛들, (iv) 프로그램 명령어들을 저장하기 위한 메모리, 및 (v) 메모리, 복수의 ADC 유닛들, 및 복수의 픽셀들과 결합되는 프로세서를 포함한다. 시스템에서, 광원은 레이저 펄스를 3차원 객체에 조사한다. 복수의 픽셀들에서, 픽셀 각각은 (a) 아날로그 전하는 저장하는 픽셀-특유 PPD, (b) 복수의 픽셀-특유 SPAD들, (SPAD 각각은 리턴 펄스에서 수신된 광을 상응하는 전기 신호로 변환하고, 리턴 펄스는 3차원 객체에 의한, 조사된 펄스의 반사에 기인한다.), (c) 픽셀-특유 PPD 및 복수의 픽셀-특유 SPAD들과 결합된 픽셀-특유 제어 회로를 포함한다. 픽셀-특유 제어 회로는 (a) 픽셀-특유 PPD로부터 아날로그 전하의 픽셀-특유 제1 부분의 제1 이동을 시작시키고, (b) 리턴 펄스의 광을 수신한 SPAD 각각으로부터 상응하는 전기 신호를 처리하여 SPAD-특유 출력을 생성하고, (c) 기 정의된 시간 간격 이내에 적어도 두 개의 SPAD-특유 출력들을 생성 시에, 제1 이동을 종료시키고, (d) 픽셀-특유 PPD로부터 아날로그 전하의 픽셀-특유 제2 부분의 이동을 시작시킬 수 있으며, 픽셀-특유 제2 부분은 픽셀-특유 제1 부분이 이동된 후에, 아날로그 전하의 나머지와 실질적으로 동일하다. 시스템에서, ADC 유닛 각각은 복수의 픽셀들의 픽셀 각각과 연관되고, 아날로그 전하의 픽셀-특유 제1 및 제2 부분들의 제1 및 제2 이동들에 근거하여 픽셀-특유 신호 값들의 쌍을 생성한다. 픽셀-특유 신호 값들의 쌍은 픽셀-특유 제1 신호 값 및 픽셀-특유 제2 신호 값을 포함한다. 시스템에서, 프로세서는 프로그램 명령어들을 실행하며, (a) 픽셀 각각에 대하여, 아날로그 전하의 픽셀-특유 제1 및 제2 부분들의 제1 및 제2 이동들을 용이하게 하고, (b) 픽셀-특유 값들의 쌍 각각을 수신하고, 픽셀-특유 제1 신호 값 및 픽셀-특유 제2 신호 값을 이용하여 리턴 펄스의 상응하는 픽셀-특유 TOF 값을 결정하고, (c) 복수의 픽셀들의 픽셀 각각에 대하여, 픽셀-특유 TOF 값에 근거하여 3차원 객체에 대한 픽셀-특유 거리를 결정하는 것을 수행하도록 동작한다.

본 발명에 따른 이미지 센서, 시스템, 및 방법은 다수의 인접한 SPAD들의 출력들 사이의 시공간적인 상관관계를 사용하여, PPD와 같은 시간-전하 변환기의 동작을 제어함으로써, TOF 값들 및 3차원 객체의 범위에 대한 기록을 용이하게 할 수 있다.

도 1은 본 발명의 일 실시예에 따른 TOF 이미지 시스템의 매우 단순화된 부분적인 레이아웃을 도시한 도면이다.
도 2는 본 발명의 일 실시예에 따른 도 1의 시스템의 예시적인 동작 레이아웃을 도시한 도면이다.
도 3은 본 발명의 특정 실시예들에 따른 픽셀의 예시적인 블록도이다.
도 4는 본 발명의 일부 실시예들에 따른 픽셀의 예시적인 회로의 세부적인 도면이다.
도 5는 본 발명의 일 실시예에 따른 도 4의 픽셀에서 변조된 전하 이동 매커니즘을 개략적으로 제공하는 예시적인 타이밍도이다.
도 6은 본 발명의 일부 실시예들에 따라 TOF 값들을 측정하기 위하여, 도 4의 실시예의 픽셀들이 픽셀 어레이에 사용될 때, 도 1 및 도 2의 시스템의 각양각색의 신호들의 예시적인 타이밍을 도시하는 타이밍도이다.
도 7은 본 발명의 일 실시예에 따른 도 1 및 도 2의 시스템에서 TOF 값이 결정되는 방법을 도시한 예시적인 순서도이다.
도 8은 본 발명의 일 실시예에 따른 이미지 센서 유닛의 일부에 대한 예시적인 레이아웃이다.
도 9는 본 발명의 특정 실시예들에 따른 픽셀의 예시적인 회로의 세부적인 도면이다.
도 10은 본 발명의 일부 실시예들에 따라 TOF 값들을 측정하기 위하여, 도 9의 실시예의 픽셀들이 픽셀 어레이에 사용될 때, 도 1 및 도 2의 시스템의 각양각색의 신호들의 예시적인 타이밍을 도시하는 타이밍도이다.
도 11a 내지 도 11c는 본 발명의 특정 실시예들에 따른 픽셀 어레이 구조들의 세 가지 예들을 도시한 도면이다.
도 12는 본 발명의 특정 실시예들에 따른 논리 유닛이 픽셀에 구현될 수 있는 방법을 도시한 도면이다.
도 13은 본 발명의 일 실시예에 따른 도 1 및 도 2의 시스템의 전반적인 레이아웃을 도시한 도면이다.

이하의 상세한 설명에서, 수많은 특정한 세부 사항이 본 발명의 완전한 이해를 제공하기 위하여 설명된다. 그러나, 개시된 본 발명의 양상들이 이러한 특정 세부 사항들 없이 실시될 수 있다는 것은 당업자에 의해 이해될 것이다. 다른 예들에서, 잘 알려진 방법들, 절차들, 컴포넌트들, 및 회로들은 본 개시를 모호하게 하지 않기 위하여 상세하게 설명되지 않는다. 추가적으로, 설명되는 본 발명의 양상들은 예를 들어, 컴퓨터, 자동차 네비게이션 시스템 등을 포함하는 임의의 이미지 장치 또는 시스템에서 저전력, 거리 측정, 및 3차원 이미징을 수행하도록 구현될 수 있다.

“일 실시예” 또는 “실시예”를 통한 본 명세서에서의 언급은 이러한 실시예와 연관되어 설명되는 특정한 특징, 구조, 또는 특성이 본 발명의 적어도 하나의 실시예에 포함됨을 의미한다. 따라서, 이러한 명세서를 통한 다양한 위치에서 “일 실시예에서”, “실시예에서”, 또는 “일 실시예에 따라” (또는 다른 유사한 취지를 갖는 다른 문구들)와 같은 문구들의 표현들은 반드시 동일한 실시예 모두를 언급하는 것은 아니다. 나아가, 특정한 특징들, 구조들, 또는 특성들은 하나 이상의 실시예들에서 임의의 적합한 방식으로 결합될 수 있다. 또한, 여기에서의 논의의 문맥에 의존하여, 단수는 이것의 복수 형태들을 포함할 수 있고, 복수는 이것의 단수 형태를 포함할 수 있다. 유사하게, 하이픈으로 연결된 용어 (예를 들어, “3-차원”, “기-정의된”, “픽셀-특유의” 등)는 이것의 하이픈이 없는 형태 (예를 들어, “3차원”, “기 정의된”, “픽셀 특유의” 등)와 함께 경우에 따라 상호 교환적으로 사용될 수 있고, 대문자 입력 (예를 들어, “Projector Module,”“mage Sensor,”"PIXOUT" or "Pixout," 등)은 이것의 대문자로 입력되지 않은 형태 (예를 들어, “projector module,”“sensor,”"pixout," 등)과 함께 상호 교환적으로 사용될 수 있다. 이러한 경우에 따른 상호 교환적인 사용들은 상호 불일치하는 것으로 고려되지 않을 것이다.

“결합된”, “동작 가능하게 결합된”, “연결된”, “연결하는”, “전기적으로 연결되는” 등과 같은 용어들이 동작 방식에서 전기적/전기적으로 연결되는 상태에 대하여 일반적으로 언급하도록 여기에서 상호 교환적으로 사용될 수 있다는 것이 처음에 언급된다. 유사하게, 제1 엔티티(entity)가 전기적으로 정보 신호들(어드레스, 데이터, 또는 제어 정보이든 아니든)을 이러한 신호들의 형식(아날로그 또는 디지털)과 관계없이 제2 엔티티와 송신 및/또는 수신(유선 또는 무선 수단들을 통하든 아니든)할 때, 제1 엔티티는 제2 엔티티 (또는 엔티티들)와 통신하는 것으로 고려된다. 나아가, 여기에서 도시되고 설명되는 다양한 도면들(컴포넌트 다이어그램들을 포함)은 단지 예시적인 목적을 위한 것이고, 규격에 맞게 그려진 것이 아님이 언급된다. 유사하게, 다양한 파형들 및 타이밍도들은 단지 예시적인 목적을 위하여 도시된다.

여기에서 사용되는 “제1”, “제2” 등의 용어들은 그것들이 선행하는 명사들의 레이블로 사용되고, 명시적으로 정의되지 않는 한, 임의로 정하여진 (예를 들어, 공간적, 시간적, 논리적 등) 형식을 암시하지 않는다. 나아가, 동일한 참조 번호들은 동일 또는 유사한 기능들을 갖는 부분들, 컴포넌트들, 블록들, 회로들, 유닛들, 또는 모듈들로 언급되는 둘 이상의 도면들에 걸쳐 사용될 수 있다. 그러나, 이러한 사용은 설명의 단순화 및 설명의 용이성을 위한 것이고, 이러한 컴포넌트들 또는 유닛들의 구성 또는 구조적인 세부 설명들이 모든 실시예들에 걸쳐 동일하다거나, 이러한 공통적으로 참조되는 부분들/모듈들이 본 발명의 특정 실시예들의 교시들을 구현하는 유일한 방법임을 암시하는 것은 아니다.

일찍이 언급되었던 3차원 기술들이 많은 단점들을 갖는다는 것이 여기에서 관찰된다. 예를 들어, 레인지 게이트 TOF 이미저(range gated TOF imager)는 광을 제공하는 다수의 레이저 펄스들과 광이 오직 원하는 시간 동안 이미저에 도달하도록 하는 광학 게이트를 사용할 수 있다. 레인지 게이트 TOF 이미저들은 안개를 통하여 보이는 것과 같이 특정된 거리 범위 바깥의 것들을 막도록 2차원 이미징에 사용될 수 있다. 그러나, 게이트 TOF 이미저들은 오직 흑백(Black-and-White, B&W) 출력을 제공할 수 있고, 3차원 이미징 기능을 갖지 않을 수 있다. 나아가, 현재의 TOF 시스템들은 일반적으로 수 미터에서 수십 미터의 범위를 넘어 동작하나, 그것들의 해상도는 짧은 거리들에 대한 측정들에 대하여 감소할 수 있다. 이로 인하여, 안개 또는 보기 힘든 조건들에서와 같이, 짧은 거리 이내에서 3차원 이미징을 만드는 것은 비실용적이다. 또한, 기존 TOF 센서들의 픽셀들은 주변 광에 취약할 수 있다.

입체적인 이미징 접근법은 일반적으로 질감을 갖는 표면들에만 효과가 있다. 이는 특징들을 매칭하고 객체에 대한 이미지들의 입체 쌍 사이의 대응성들을 발견하기 위한 요구들 때문에, 높은 계산 복잡도를 갖는다. 이는 높은 시스템 전력을 요구한다. 나아가, 입체 이미징은, 예를 들어, 자동차-기반의 자율 주행 시스템에서와 같이, 공간이 가치있는 곳에서, 전체 어셈블리를 부적절하게 하는 두 개의 렌즈들과 함께 두 개의 균일하고 높은 비트의 해상도 센서들을 요구한다. 추가적으로, 입체 3차원 카메라는 안개를 통하여 보기 어렵고, 동작 흐림 효과(motion blur)를 다루기 어렵다.

반면에, 본 발명의 특정 실시예들은 예를 들어, 모든 날씨 조건들을 위한 자동차들에서의 TOF-기반 3차원 이미징 시스템의 구현을 제공한다. 따라서, 운전자에 대한 향상된 시야가 예를 들어, 낮은 광, 악천후, 안개, 강한 주변광, 등과 같은 어려운 조건 하에서 제공될 수 있다. 이하에서 더욱 상세하게 설명되는 바와 같이, 본 발명의 특정 실시예들로써의 단일 펄스-기반의 다이렉트 TOF 시스템에서, TOF 정보는 픽셀 자체 내부의 제어된 전하 이동 및 아날로그 도메인-기반의 단일-차동 변환기(single-ended to differential converter)에 의하여, 수신된 신호에 추가된다. 따라서, 본 발명은 각각의 픽셀에서의 단일한 핀 포토 다이오드(Pinned Photo Diode, PPD) (또는 다른 시간-전하 변환기)와 결합한 다수의 단일광자 애벌란치 다이오드들(Single Photon Avalanche Diodes, SPADs)을 이용한 픽셀 어레이의 각각의 픽셀 내에서 아날로그 진폭 변조(Amplitude Modulation, AM)와 TOF를 직접 조합하는 단일한 칩 솔루션을 제공한다. 픽셀에서 다수의 인접한 SPAD들의 출력들 사이의 시공간적인 상관관계(correlation)는 PPD의 동작을 제어하여 TOF 값들과 3차원 객체의 범위에 대한 기록을 용이하게 하는데 사용된다. 그 결과, 짧은 범위에서 악천후를 “꿰뚫어 볼” 수 있고, 실질적으로 주변 광에 독립적인 2차원 그레이 스케일 이미지들뿐만 아니라 3차원 이미지들을 생성할 수 있는 향상된 자율 주행 시스템이 제공될 수 있다.

도 1은 본 발명의 일 실시예에 따른 TOF 이미지 시스템(15)의 매우 단순화된 부분적인 레이아웃을 도시한 도면이다. 도시된 바와 같이, 시스템(15)은 프로세서 또는 호스트(19)와 연결되고 통신하는 이미지 모듈(17)을 포함한다. 시스템(15)은 예를 들어, 이미지 모듈(17)로부터 수신된 이미지 데이터와 같은 정보 콘텐츠를 저장하도록 프로세서(19)에 연결되는 메모리 모듈(20)을 포함한다. 특정 실시예들에서, 전체의 시스템(15)은 단일한 집적 회로(Intergrated Circuit, IC) 또는 칩에 캡슐화될 수 있다. 또는, 모듈들(17, 19, 20) 각각은 별개의 칩에 구현될 수 있다. 나아가, 메모리 모듈(20)은 다수의 메모리 칩을 포함할 수 있고, 프로세서 모듈(19)은 또한 다수의 프로세싱 칩들을 포함할 수 있다. 어쨌든, 도 1에 모듈들의 패키징에 관한 세부 내용들과 어떻게 그것들이 단일 칩 또는 다수의 분리된 칩들을 사용하여 만들어지거나 구현되는지에 대하여는 본 발명과 관련되지 않고, 이후에 이러한 세부 내용들이 여기에서 제공되지 않을 것이다.

시스템(15)은 본 발명의 교시들에 따른 2차원 및 3차원 이미징 어플리케이션들에 대해 구성된 임의의 전자 장치일 수 있다. 시스템(15)은 휴대 가능하거나 휴대 가능하지 않을 수 있다. 시스템(15)의 휴대 가능한 버전의 일부 실시예들은 예를 들어, 모바일 장치, 휴대폰, 스마트폰, 사용자 단말기(User Equipoment, UE), 태블릿, 디지털 카메라, 랩탑 또는 데스크탑 컴퓨터, 자동차 네비게이션 유닛, M2M(Machine-to-Machine) 통신 유닛, 가상 현실(VR) 장치 또는 모듈, 로봇 등과 같은 일반적인 소비자 전자 장치들을 포함할 수 있다. 반면에, 시스템(15)의 휴대 가능하지 않은 버전의 일부 실시예들은 비디오 아케이드의 게임 콘솔, 상호 작용하는 비디오 단말, 자율 주행이 가능한 자동차, 머신 비전 시스템, 산업용 로봇, VR 장비, 등을 포함할 수 있다. 본 발명의 교시들에 따라 제공된 3차원 이미징 기능은 예를 들어, 낮은 광 또는 악천후 조건들에서의 (모든-날씨) 자율 주행 및 운전자 보조와 같은 자동차 어플리게이션들, 휴먼-머신 인터페이스와 게임 어플리케이션들, 머신 비전과 로봇 공학 어플리케이션들 등과 같은 많은 어플리케이션들에 사용될 수 있다.

본 발명의 특정 실시예들에서, 이미지 모듈(17)은 프로젝터 모듈(또는 광원 모듈)(22) 및 이미지 센서 유닛(24)을 포함할 수 있다. 도 2를 참조하여 더욱 세부적으로 후술되는 바와 같이, 일 실시예에서, 프로젝터 모듈(22)에서의 광원은 예를 들어, 근적외선(Near Infrared, NIR) 또는 단파 적외선(Short Wave Infrared, SWIR) 레이저와 같이, 광이 눈에 띄지 않도록 하는 적외선(IR) 레이저일 수 있다. 다른 실시예들에서, 광원은 가시광선 레이저일 수 있다. 이미지 센서 유닛(24)은 도 2에서 도시되고 후술되는 바와 같이, 픽셀 어레이와 보조 처리 회로들을 포함할 수 있다.

일 실시예에서, 프로세서(19)는 범용 마이크로프로세서인 중앙 처리 장치(CPU)일, 수 있다. 본문에서, “프로세서”와 “CPU”의 용어들은 설명의 편이상 상호 교환되어 사용될 수 있다. 그러나, CPU 이외에 또는 대신에, 프로세서(19)는 예를 들어, 마이크로 컨트롤러, 디지털 신호 프로세서(DSP), 그래픽스 처리 장치(GPU), 전용 ASIC(Application Specific Integrated Circuit) 프로세서 등과 같은 다른 유형의 프로세서들을 포함할 수 있다. 나아가, 일 실시예에서, 프로세서/호스트(19)는 다수의 CPU를 포함할 수 있으며, 분리된 처리 환경에서 동작할 수 있다. 프로세서(19)는 명령어들을 실행하고, 예를 들어 x86 명령어 세트 아키텍처(32-비트 또는 64-비트 버전), PowerPC®ISA, 또는 RISC(Reduced Instruction Set Computer) ISA에 의존하는 MIPS(Microprocessor without Interlocked Pipeline Stages) 명령어 세트 아키텍처와 같은 특정 명령어 세트 아키텍처(Instruction Set Architecture, ISA)에 따른 데이터를 처리하도록 구성될 수 있다. 일 실시예에서, 프로세서(19)는 CPU 기능 이외의 기능들을 갖는 시스템 온 칩(System on Chip, SoC)일 수 있다.

특정 실시예들에서, 메모리 모듈(20)은 예를 들어, 동기식 DRAM(Synchronous DRAM, SDRAM)이거나 HBM(High Bandwidth Memory) 모듈, 또는 HMC(Hybrid Memory Cube) 메모리 모듈과 같은 DRAM-기반의 3차원 스택(Three Dimensional Stack, 3DS) 메모리 모듈과 같은 DRAM(Dynamic Random Access Memory)일 수 있다. 다른 실시예들에서, 메모리 모듈(20)은 SSD(Solid State Drive), non-3DS DRAM 모듈, 또는 SRAM(Static Random Access Memory), PRAM 또는 PCRAM(Phase-Change Random Access Memory), RRAM 또는 ReRAM(Resistive Random Access Memory), CBRAM(Conductive-Bridging RAM), MRAM(Magnetic RAM), STT-MRAM(Spin-Transfer Torque MRAM) 등과 같은 다른 반도체-기반의 스토리지 시스템일 수 있다.

도 2는 본 발명의 일 실시예에 따른 도 1의 시스템(15)의 예시적인 동작 레이아웃을 도시한 도면이다. 시스템(15)은 3차원 객체(26)와 같이, 개별적인 객체 또는 다른 객체들 그룹 내의 객체일 수 있는 3차원 객체에 대한 범위 측정 (그리고, 따라서, 3차원 이미지)을 획득하는데 사용될 수 있다. 일 실시예에서, 범위 및 3차원 깊이 정보는 이미지 센서 유닛(24)으로부터 수신되는 측정 데이터에 근거하여 프로세서(19)에 의하여 계산될 수 있다. 다른 실시예에서, 범위/깊이 정보는 이미지 센서 유닛(24) 자체에 의하여 계산될 수 있다. 특정 실시예에서, 범위 정보는 프로세서(19)에 의하여 3차원 사용자 인터페이스의 일부로써 사용될 수 있다. 3차원 사용자 인터페이스는 시스템(15)의 사용자를 객체의 3차원 이미지와 상호작용할 수 있도록 하거나, 객체의 3차원 이미지를 시스템(15)에서 작동하는 게임들 또는 자율 주행 어플리케이션과 같은 다른 어플리케이션들의 일부로써 사용할 수 있도록 할 수 있다. 본 발명의 교시들에 따른 3차원 이미징은 또한, 다른 목적들 또는 어플리케이션들을 위하여 사용될 수 있고, 움직이거나 움직이지 않는 임의의 3차원 객체에 실질적으로 적용될 수 있다.

광원(또는 프로젝터) 모듈(22)은 광학적 시야 (Field Of View, FOV) 내의 3차원 객체(26)로 조사시키는데 사용될 수 있는 광학적 방사선 또는 광 신호의 조사 경로를 나타내는, 상응하는 점선(31)과 연관된 예시적인 화살표(30)로 도시된 바와 같이 짧은 펄스(28)를 조사시킴으로써 3차원 객체(26)를 조광할 수 있다. 시스템(15)은 단일 펄스가 (픽셀 어레이의) 이미지 프레임 당 사용될 수 있는 다이렉트 TOF 이미저일 수 있다. 특정 실시예들에서, 다수의 짧은 펄스들은 또한 3차원 객체(26)에 전송될 수 있다. 일 실시예에서, 레이저 컨트롤러(34)에 의하여 동작되고 제어되는 레이저 광원(33)일 수 있는 광학적 방사선원은 짧은 펄스(28)를 3차원 객체(26)로 조사시키는데 사용될 수 있다. 레이저 광원(33)으로부터의 펄스(28)는 레이저 컨트롤러(34)의 제어 하에서 조사 광학계(35)를 통하여 3차원 객체(26)의 표면에 조사될 수 있다. 조사 광학계는 포커싱 렌즈, 유리/플라스틱의 표면, 또는 다른 원통형의 광학 구성 요소일 수 있다. 도 2의 실시예에서, 볼록한 구조는 포커싱 렌즈(35)로 도시된다. 그러나, 어떠한 다른 적합한 렌즈 디자인 또는 외부의 광학적 커버가 조사 광학계(35)로 선택될 수 있다.

특정 실시예들에서, 광원(또는 조광 소스)(33)은 다이오드 레이저 또는 가시광선을 방출하는 LED(Light Emitting Diode), 비-가시(non-visible) 스펙트럼에서의 광을 생성하는 광원, 적외선(IR) 레이저(예를 들어, NIR 또는 SWIR 레이저), 점광원, 가시광선 스펙트럼에서의 단색광원(예를 들어, 화이트 램프와 단색화 장치(monochromator)의 조합), 또는 임의의 다른 유형의 레이저 광원일 수 있다. 자율 주행 어플리케이션들에서, 더욱 눈에 띄지 않는 NIR 또는 SWIR 레이저가 펄스 레이저 광원(33)으로 선호될 수 있다. 특정 실시예들에서, 광원(33)은 예를 들어, 2차원 스캐닝이 가능한 점광원, 1차원(1D) 스캐닝이 가능한 면광원(sheet source), 또는 센서 유닛(24)의 시야를 매칭하는 확산 레이저와 같은 수많은 다른 유형들의 레이저 광원들 중 하나일 수 있다. 특정 실시예들에서, 레이저(33)는 장치(15)의 하우징 내에 하나의 위치로 고정될 수 있으나, X-Y 방향들로 회전할 수도 있다. 레이저(33)는 3차원 객체(26)의 스캔을 수행하도록 X-Y 어드레서블(addressable) (예를 들어, 레이저 컨트롤러(34)에 의하여) 할 수 있다. 레이저 펄스(28)는 미러(미도시)를 사용하여 3차원 객체(26)의 표면에 조사될 수 있다. 또는, 조사가 완전히 미러 없이 될 수 있다. 특정 실시예들에서, 광원 모듈(22)은 도 2의 예시적인 실시예에서 도시된 것들보다 많거나 적은 구성 요소들을 포함할 수 있다.

도 2의 실시예에서, 객체(26)로부터 반사된 광/펄스(37)는 점선(40)에 인접한 화살표(39)로 표시되는 수집 경로를 따라 이동할 수 있다. 광 수집 경로는 레이저 광원(33)으로부터 광을 수신한 객체(26)의 표면에 의하여 반사되거나 산란된 광자들을 운반할 수 있다. 도 2의 실선 화살표와 점선을 사용한 다양한 전달 경로들의 묘사는 단순히 예시적인 목적을 위한 것임이 언급된다. 이러한 묘사는 임의의 실질적인 광학 신호 전달 경로들을 도시하는 것으로 해석되지 않아야 한다. 실제로, 조광 및 수집 신호 경로들은 도 2에서 도시된 것과 다를 수 있고, 도 2의 도면에서 명확하게 정의된 것이 아닐 수 있다.

TOF 이미징에서, 조광된 객체(26)로부터 수신된 광은 이미지 센서 유닛(24)의 수집 광학계(44)를 통하여 2차원 픽셀 어레이(42)에 포커싱될 수 있다. 픽셀 어레이(42)는 하나 이상의 픽셀들(43)을 포함할 수 있다. 조사 광학계(35)와 같이, 수집 광학계(44)는 객체(26)로부터 수신된 반사된 광을 2차원 어레이(42)의 하나 이상의 픽셀들(43)로 집중시키는 포커싱 렌즈, 유리/플라스틱 표면, 또는 다른 원통형의 광학 구성 요소일 수 있다. 광 대역 통과 필터(미도시)는 조광 펄스(28)에서의 광 파장과 동일한 파장의 광만을 통과시키는 수집 광학계(44)의 일부로서 사용될 수 있다. 이는 관련성이 없는 광의 수집/수신을 막고 잡음을 줄이도록 할 수 있다. 도 2의 실시예에서, 볼록한 구조가 포커싱 렌즈(44)로 도시된다. 그러나, 임의의 다른 적합한 렌즈들의 디자인 또는 광학적 커버가 수집 광학계(44)를 위해 선택될 수 있다. 나아가, 도시하기 쉽도록, 단순히 3X3 픽셀 어레이가 도 2에 (또한 도 8에도) 도시된다. 그러나, 현재의 픽셀 어레이들은 수천 개 심지어 수백만개의 픽셀들을 포함하는 것으로 이해될 것이다.

본 발명의 특정 실시예들에 따른 TOF-기반의 3차원 이미징은 2차원 픽셀 어레이들(42)과 레이저 광원(33)의 수많은 다른 조합을 사용하여 수행될 수 있는데, 예를 들어, (i) 레드(R), 그린(G), 또는 블루(B) 광 레이저, 또는 이러한 광들의 조합을 생성하는 레이저 광원일 수 있는 가시광선 레이저 광원과 2차원 컬러(RGB) 센서, (ii) 적외선(IR) 차단 필터를 갖는 2차원 RGB 컬러 센서와 가시광선 레이저, (iii) 2차원 IR 센서와 NIR 또는 SWIR 레이저, (iv) 2차원 NIR 센서와 NIR 레이저, (v) (IR 차단 필터가 없는) 2차원 RGB 센서와 NIR 레이저, (vi) (NIR 차단 필터가 없는) 2차원 RGB 센서와 NIR 레이저, (vii) 가시광선 또는 NIR 중 어느 하나의 레이저와 2차원 RGBW(레드, 그린, 블루, 화이트) 또는 RWB(레드, 화이트, 블루) 센서 등과 같을 것이다. NIR 또는 다른 IR 레이저의 경우에, 예를 들어 자율 주행 어플리케이션들에서, 2차원 픽셀 어레이(42)는 객체(26)의 그레이 스케일 이미지를 생성하도록 출력들을 제공할 수 있다. 이러한 픽셀 출력들은 또한 범위 측정들을 획득하도록 처리될 수 있고, 이후에, 더욱 상세하게 후술되는 바와 같이, 객체(26)의 3차원 이미지를 생성하도록 처리될 수 있다. 추가적인 이미지 센서 유닛(24)에 대한 구조적인 세부 내용들은 도 8을 참조하여 후술되며, 반면에 예시적인 개별적인 픽셀들(43)에 대한 회로의 세부 내용들은 도 3, 4, 및 9를 참조하여 후술된다.

픽셀 어레이(42)는 수신된 광자들을 상응하는 전자 신호들로 변환할 수 있으며, 이 후에 전자 신호들은 관련된 이미지 처리 유닛(46)에 의하여 처리되어 객체(26)의 범위 및 3차원 깊이 정보를 결정한다. 일 실시예에서, 이미지 처리 유닛(46) 및/또는 프로세서(19)는 범위 측정들을 수행할 수 있다. 이미지 처리 유닛(46)은 또한 픽셀 어레이(42)의 동작을 제어하기 위한 관련 회로들을 포함할 수 있다. 예시적인 이미지 처리 및 제어 회로들은 도 8에 도시되며, 후술된다. 조광 유닛(22)과 픽셀 어레이(42) 모두 고속 신호들에 의하여 제어되어야 하고, 동기화되어야 함이 여기에서 언급된다. 이러한 신호들은 높은 해상도를 획득하도록 매우 정확하여야 한다. 따라서, 프로세서(19) 및 이미지 처리 유닛(46)은 정확한 시간과 높은 정밀도를 관련 신호들에게 제공하도록 구성될 수 있다.

도 2의 실시예에서의 TOF 시스템(15)에서, 픽셀 어레이 처리 회로(46)는 각각의 픽셀(43)로부터 한 쌍의 픽셀-특유 출력들을 수신하여 광이 조광 유닛(22)에서 객체(26)까지 이동하고, 픽셀 어레이(42)로 되돌아오는데 걸리는 픽셀-특유 시간(픽셀-특유 TOF 값)을 측정할 수 있다. 시간 계산은 후술될 접근법을 사용할 수 있다. 계산된 TOF 값에 근거하여, 특정 실시예들에서, 객체(26)까지의 픽셀-특유 거리는 이미지 센서 유닛(24)의 이미지 처리 유닛(46)에 의하여 직접 계산되어, 프로세서(19)가 예를 들어, 디스플레이 스크린 또는 사용자 인터페이스와 같은 일부 인터페이스를 통하여 객체(26)의 3차원 거리 이미지를 제공할 수 있도록 한다.

프로세서(19)는 프로젝터 모듈(22)과 이미지 센서 유닛(24)의 동작들을 제어할 수 있다. 사용자 입력 시에, 또는 자동적으로 (예를 들어, 실시간 자율 주행 어플리케이션), 프로세서(19)는 반복적으로 레이저 펄스(28)를 주위의 3차원 객체(들)에 전송할 수 있고, 입사하는 광 신호들(37)을 수신 및 처리하도록 센서 유닛(24)을 트리거할 수 있다. 이미지 처리 유닛(46)으로부터 수신되는 처리된 이미지 데이터는 TOF-기반의 범위 계산 및 3차원 이미지 생성(적용 가능하다면)을 위하여 프로세서(19)에 의하여 메모리(20)에 저장될 수 있다. 프로세서(19)는 또한 2차원 이미지 (예를 들어, 그레이 스케일 이미지) 및/또는 3차원 이미지를 장치(15)의 디스플레이 스크린(미도시)에 표시할 수 있다. 프로세서(19)는 소프트웨어 또는 펌웨어로 프로그램되어 여기에서 설명된 다양한 처리 작업들을 수행할 수 있다. 선택적 또는 추가적으로, 프로세서(19)는 이러한 기능들의 일부 또는 전부를 수행하기 위한 프로그래머블(promrammable) 하드웨어 논리 회로들을 포함할 수 있다. 특정 실시예들에서, 메모리(20)는 프로그램 코드, 룩업 테이블, 및/또는 임시 계산 결과들을 저장하여 프로세서(19)가 이러한 기능들을 수행하도록 할 수 있다.

도 3은 본 발명의 특정 실시예에 따른 도 2의 픽셀 어레이(42)에서의 픽셀(43)과 같은 픽셀의 예시적인 블록도이다. TOF 측정들을 위하여, 픽셀(43)은 시간-분해(Time-resolving) 센서로 동작할 수 있다. 픽셀(43)의 동작에 대한 세부적인 설명은 도 4 내지 도 9 및 도 9 내지 도 10의 설명을 참조하여 이후에 제공된다. 도 3에 도시된 바와 같이, 픽셀(43)은 PPD 코어부(52)와 전기적으로 연결된 SPAD 코어부(50)를 포함할 수 있다. 본 발명의 교시들에 따른 픽셀에서의 SPAD 및 PPD 코어들의 다른 예시적인 배열들은 도 11에 도시되며, 후술된다. SPAD 코어부(50)는 제1 제어 회로(55)와 구동적으로 연결되는 다수의(두 개 이상) SPAD들(54)을 포함할 수 있다. 하나 이상의 SPAD들(54)은 화살표(56)로 도시되는 입사 광을 수신하고, 상응하는 SPAD-특유 전기 신호를 생성할 수 있으며, SPAD-특유 전기 신호는 SPAD-특유 디지털 출력을 생성하도록 제1 제어 회로(55)에 의하여 처리된다. 이러한 모든 디지털 출력들은 화살표(57)를 사용하여 종합적이고 상징적으로 도 3에 도시된다. PPD 코어(52)는 PPD(59)에 결합되는 제2 제어 회로(58)를 포함할 수 있다. 제2 제어 회로(58)는 SPAD 출력들(57)을 수신하고 PPD로부터의 전하 이동을 응답적으로 제어하여 픽셀-특유 아날로그 출력(PIXOUT, 60)을 생성한다. 더욱 구체적으로, 더욱 상세하게 후술되는 바와 같이, 오직 픽셀(43)에서의 두 개 이상의 인접한 SPAD들(54)이 기 정의된 시간 간격 이내에 입사 광(56)에서의 반사되는 광자들을 검출할 때, PPD(59)로부터의 전하 이동이 제2 제어 회로(58)에 의하여 중단되어, TOF 값과 3차원 객체(26)의 상응하는 범위의 기록을 용이하게 한다. 다시 말해서, 적어도 두 개의 인접한 SPAD들(54)의 출력들 사이의 시공간적인 상관관계는 PPD(59)의 동작을 결정하는 데 이용된다. 나아가, 픽셀(43)에서, 광-감지 기능은 SPAD들(54)에 의하여 수행되며, 반면에 PPD(59)는 광-감지 구성 요소를 대신하여 시간-전하 변환기로 이용된다. (리턴 광 펄스(37)의) 반사된 광자들은 상관성 없는 주변 광자들과 비교하여, 전송된 펄스(28)와 상관되므로, 기 정의된 시간 간격 이내에 두 개 이상의 인접한 SPAD들의 “트리거”에 근거한 PPD(59)로부터의 전하 이동 제어는 주변 광자들의 배제를 통하여 강한 주변 광 하에서도 센서(24)의 향상된 성능을 제공하며, 이로써 실질적으로 범위 측정의 오차들을 방지한다.

도 4는 본 발명의 일부 실시예들에 따른 픽셀(62)의 예시적인 회로의 세부적인 도면이다. 도 4의 픽셀(62)은 도 2 및 도 3에서의 더욱 일반적인 픽셀(43)의 예시이다. 그러므로, 동일한 참조 번호들이 유추의 용이성을 위하여 도 3 및 도 4의 SPAD 코어들(50), SPAD 출력들(57), PPD(59), 및 제2 제어 회로(58)에 대하여 사용된다. 전기적인 셔터 신호(64)는 각각의 픽셀에 제공되어 (도 5, 6, 및 10의 타이밍도들을 참조하여 더욱 상세하게 후술됨), 픽셀이 시간적으로-상관되는 방식으로 수신된 광(37)에서의 픽셀-특유 광전자들을 캡쳐할 수 있도록 한다. 더욱 일반적으로, 픽셀(62)은 전하 이동 트리거부, 전하 생성 및 이동부, 및 전하 수집 및 출력부를 갖는 것으로 간주된다. 전하 이동 트리거부는 SPAD 코어들(50) 및 논리 유닛(66)을 포함할 수 있고, 전하 생성 및 이동부는 PPD(59), 제1 N-채널 금속 산화막 반도체 전계 효과 트랜지스터(N-channel Metal Oxide Semiconductor Field Effect Transistor, NMOSFET 또는 NMOS 트랜지스터)(68), 제2 NMOS 트랜지스터(69), 제3 NMOS 트랜지스터(71)를 포함할 수 있고, 전하 수집 및 출력부는 제3 NMOS 트랜지스터(71), 제4 NMOS 트랜지스터(72), 및 제5 NMOS 트랜지스터(73)를 포함할 수 있다. 일부 실시예들에서, 도 4의 픽셀(62)에서의 PPD 코어와 (후술되는) 도 9의 픽셀(145)에서의 PPD 코어는 P채널 금속 산화막 반도체 전계 효과 트랜지스터들(P-channel Metal Oxide Semiconductor Field Effect Transistors, PMOSFETs 또는 PMOS 트랜지스터들) 또는 다른 유형의 트랜지스터들이나 전하 이동 장치들로 형성될 수 있음이 여기에서 언급된다. 나아가, 상술된, 각각의 부분들에서 다양한 회로 구성 요소들의 분리는 단순히 예시적인 설명의 목적을 위한 것이다. 특정 실시예들에서, 이러한 부분들은 여기에서 나열된 것들보다 많거나 적거나 다른 회로 구성 요소들을 포함할 수 있다.

PPD(59)는 커패시터와 유사하게 아날로그 전하를 저장할 수 있다. 일 실시예에서, PPD(59)는 커버될 수 있고, 광에 응답하지 않는다. 따라서, PPD(59)는 광 감지 구성 요소를 대신하여 시간-전하 변환기로 사용될 수 있다. 다만, 상술된 바와 같이, 광-감지 기능은 SPAD 코어들(50)에서의 SPAD들을 통하여 달성될 수 있다. 특정 실시예들에서, 적절하게 변경된 포토게이트 또는 다른 반도체 장치는 도 4 내지 도 9의 픽셀 구성들에서의 PPD를 대신하여 사용될 수 있다.

전기적인 셔터 신호(64)의 동작 제어 하에서, 전하 이동 트리거부는 이동 인에이블(Transfer Enabel, TXEN) 신호(75)를 생성하여 PPD(59)에 저장된 전하의 이동을 트리거한다. SPAD는 도 2의 객체(26)와 같은, 객체에 전송되고 반사되는 광 펄스에서 광자(“광자 검출 이벤트”로 지칭될 수 있다.)를 검출할 수 있고, 논리 유닛(66)에 의한 후속 처리를 위하여, 셔터 신호(64)의 동작 제어 하에서 래치될 수 있는 펄스 신호를 출력할 수 있다. 더욱 상세하게 후술되는 바와 같이, 논리 유닛(66)은, 모든 디지털 SPAD 출력들(57)을 처리하여 예를 들어, 셔터(64)가 활성화되는 동안과 같이, 기 정의된 시간 간격 이내에 출력들(57)이 인접한 적어도 두 개의 SPAD들로부터 수신될 때, TXEN 신호(75)를 생성하는 논리 회로들을 포함할 수 있다.

전하 생성 및 이동부에서, PPD(59)는 제3 트랜지스터(71)와 함께 리셋(Reset, RST) 신호(77)를 사용하여 풀 웰 용량(Full well capacity)으로 초기 설정될 수 있다. 제1 트랜지스터(68)는 드레인 단자에서 이동 전압(Transfer Voltage, VTX) 신호(79)를 수신할 수 있고, 게이트 단자에서 TXEN 신호(75)를 수신할 수 있다. TX 신호(80)는 제1 트랜지스터(68)의 소스 단자에서 이용 가능하고, 제2 트랜지스터(69)의 게이트 단자에 제공될 수 있다. 도시된 바와 같이, 제1 트랜지스터(68)의 소스 단자는 제2 트랜지스터(69)의 게이트 단자에 연결될 수 있다. 후술될 바와 같이, VTX 신호(79) (또는, 동일하게, TX 신호(80))는 아날로그 전하가 PPD(59)로부터 이동되도록 제어하는 아날로그 변조 신호로 사용될 수 있으며, PPD(59)는 도시된 구성에서 트랜지스터(69)의 소스 단자에 연결될 수 있다. 제2 트랜지스터(69)는 PPD(59)에서의 전하를 소스 단자로부터 드레인 단자로 이동시키며, 드레인 단자는 제4 트랜지스터(72)의 게이트 단자와 연결될 수 있고, 플로팅 확산(Floating Duffusion, FD) 노드/접합(82)로 지칭되는 전하 “수집 장소(Collection site)”를 형성할 수 있다. 특정 실시예들에서, PPD(59)로부터 이동되는 전하는 아날로그 변조 신호(79) (또는, 동일하게, TX 신호(80))에 의하여 제공되는 변조에 의존할 수 있다. 도 4 내지 도 9의 실시예들에서, 이동되는 전하는 전자들이다. 다만, 본 발명은 이에 제한되지 않는다. 일 실시예에서, 이동되는 전하가 홀들일 수 있는, 다른 디자인의 PPD가 이용될 수 있다.

전하 수집 및 출력부에서, 제3 트랜지스터(71)는 게이트 단자에서 RST 신호(77)를 수신하고, 드레인 단자에서 픽셀 전압(Pixel Voltage, VPIX) 신호(84)를 수신할 수 있다. 제3 트랜지스터(71)의 소스 단자는 FD 노드(82)에 연결될 수 있다. 일 실시예에서, VPIX 신호(84)의 전압 레벨은 일반적인 공급 전압(VDD)의 전압 레벨과 같을 수 있고, 2.5V(볼트)에서 3V 사이의 범위일 수 있다. 제4 트랜지스터(72)의 드레인 단자는 또한 도시된 바와 같이 VPIX 신호(82)를 수신할 수 있다. 특정 실시예들에서, 제4 트랜지스터(72)는 NMOS 소스 팔로워(source follower)로 동작하여 버퍼 증폭기로의 기능을 수행할 수 있다. 제4 트랜지스터(72)의 소스 단자는 제5 트랜지스터(73)의 드레인 단자와 연결될 수 있으며, 제5 트랜지스터(73)는 소스 팔로워(72)와 캐스코드 구조일 수 있고, 게이트 단자에서 선택(Select, SEL) 신호(85)를 수신할 수 있다. PPD(59)로부터 이동되고 FD 노드(82)에서 “수집되는” 전하는 제5 트랜지스터(73)의 소스 단자에서 픽셀-특유 출력(PIXOUT, 60)으로 나타날 수 있다.

간단하게, 이전에 언급된 바와 같이, PPD(59)에서 FD(82)로 이동되는 전하는 VTX 신호(79) (그리고, 이후에, TX 신호(80))에 의하여 제어된다. FD 노드(82)에 도달하는 전하량은 TX 신호(80)에 의하여 변조된다. 일 실시예에서, 전압 (VTX, 79) (그리고, 또한 TX(80))은 상승(램프)하여 PPD(59)에서 FD(82)로 전하를 점진적으로 이동시킬 수 있다. 따라서, 이동되는 전하량은 아날로그 변조 전압(TX, 80)의 함수일 수 있고, TX 전압(80)의 경사(ramping)는 시간의 함수일 수 있다. 따라서, PPD(59)에서 FD 노드(82)로 이동되는 전하는 또한 시간의 함수일 수 있다. 만약, PPD(59)에서 FD 노드(82)로의 전하의 이동 동안에, SPAD 코어들(50)에서의 적어도 두 개의 인접한 SPAD에 대한 포토 검출 이벤트 시에, 논리 유닛(66)에 의한 TXEN 신호(75)의 생성에 기인하여 제2 트랜지스터(69)가 턴-오프 된다면(예를 들어, 개방-회로가 된다면), PPD(59)에서 FD 노드(82)로의 전하의 이동이 중단된다. 따라서, FD(82)로 이동되는 전하량과 PPD(59)에 남아있는 전하량은 모두 입사 광자(들)의 TOF의 함수이다. 그 결과는 시간-전하 변환과 단일-끝단에서 차동 신호로의 변환이다. PPD(59)는 따라서 시간-전하 변환기로 동작한다. 더 많은 전하가 FD 노드(82)로 이동될수록, FD 노드(82)에서 더 많은 전압이 감소하고, PPD(59)에서 더 많은 전압이 증가한다.

플로팅 확산(82)에서 전압은 PIXOUT 신호(60)로 아날로그-디지털 변환기(Analog-to-Digital Converter, ADC) 유닛(미도시)에 트랜지스터(73)를 이용하여 이후에 이동될 수 있고, 후속 처리를 위하여 적절한 디지털 신호/값으로 변환될 수 있다. 도 4에서 다양한 신호들의 타이밍 및 동작에 대한 더욱 세부 내용들은 도 6의 설명을 참조하여 이후에 제공된다. 도 4의 실시예에서, 제5 트랜지스터(73)는 픽셀(62)을 선택하기 위한 SEL 신호(85)를 수신하여, 전하가 완전히 FD 노드(82)로 이동된 후에, PIXOUT1(또는 제1 픽셀 출력) 전압으로 플로팅 확산(FD, 82)에서의 전하를 읽어내고, PIXOUT2(또는 제2 픽셀 출력) 전압으로 PPD(59)에서의 남아있는 전하를 읽어낼 수 있다. 도 6을 참조하여 후술되는 바와 같이, FD 노드(82)는 이것에서의 전하를 전압으로 변환하고, 픽셀 출력 데이터 라인(PIXOUT, 60)은 순차적으로 PIXOUT1 및 PIXOUT2 신호들을 출력한다. 다른 실시예에서, PIXOUT1 신호 또는 PIXOUT2 신호 중 어느 하나(그러나, 모두는 아니다)는 읽혀질 수 있다.

일 실시예에서, 두 개의 픽셀 출력들의 합(여기에서, PIXOUT1+PIXOUT2)에 대한 하나의 픽셀 출력(예를 들어, PIXOUT1)의 비율은 "T_tof"와 "T_dly"값들의 시간 차이에 비례할 수 있으며, 이는 예를 들어, 도 6에서 도시되고 더욱 상세하게 후술된다. 픽셀(62)의 경우, 예를 들어, "T_tof" 파라미터는 SPAD 코어들(50)에서의 두 개 이상의 SPAD들에 의하여 수신된 광 신호의 픽셀-특유 TOF 값일 수 있고, 지연 시간 파라미터 "T_dly"는 광 신호(28)가 처음으로 전송될 때로부터 VTX 신호(79)가 상승(램프)하기 시작하는 때까지의 시간일 수 있다. 지연 시간(T_dly)은 VTX(79)가 상승(램프)하기 시작한 후(전형적으로 전자 셔텨(64)가 “개방”될 때 발생할 수 있다.)에 광 펄스(28)가 전송될 때 음수일 수 있다. 상술된 비례 관계는 아래의 수학식에 의하여 나타날 수 있다.

그러나, 본 발명은 수학식 1에 나타난 관계에 제한되지 않는다. 후술되는 바와 같이, 수학식 1에서의 비율은 3차원 객체의 깊이 또는 거리를 계산하는데 사용될 수 있고, 이러한 비율은 Pixout1+Pixout2가 항상 같지는 않을 때에 픽셀 대 픽셀(pixel-to-pixel)의 변화들에 덜 민감하다.

설명의 편의상, 이하의 설명에서, “P1”용어는 “Pixout1”을 나타내는데 사용되고, “P2”용어는 “Pixout2”를 나타내는데 사용된다. 픽셀-특유 TOF 값은 픽셀-특유 출력 값들(P1 및 P2)의 비율로 결정될 수 있는 것으로, 수학식 1에서의 관계로부터 나타난다. 특정 실시예들에서, 일단 픽셀-특유 TOF 값이 결정되면, 객체(도 2의 3차원 객체(26)와 같은) 또는 객체 상의 특정 위치까지의 픽셀-특유 거리(“D”) 또는 범위(“R”)가 수학식 2와 같이 주어질 수 있다.

파라미터 “c”는 광의 속도를 나타낸다. 또는, 예를 들어, 도 4의 VTX 신호(79) (또는 TX 신호(80))와 같은 변조 신호가 셔터 윈도우 내에서 선형인 일부 다른 실시예들에서, 범위/거리는 수학식 3으로 계산될 수 있다.

따라서, 객체(26)와 같은, 객체들의 3차원 이미지는 상술된 바와 같이 결정된 픽셀-특유 범위 값들에 근거하여 TOF 시스템(15)에 의하여 생성될 수 있다.

본 발명의 픽셀 자체 내에서 PPD 전하 분배에 대한 아날로그 변조-기반의 조작 또는 제어의 관점에서, 범위 측정 및 해상도 또한 제어 가능하다. PPD 전하에 대한 픽셀-레벨의 아날로그 진폭 변조는 전자 셔터로 작동할 수 있으며, 전자 셔터는 예를 들어, CMOS(Complementary Metal Oxide Semiconductor) 이미지 센서에서의 롤링 셔터이거나, CCD(Charge Coupled Device) 이미지 센서에서의 글로벌 셔터일 수 있다. 나아가, 비록 여기에서의 설명이 도 1 및 도 2의 시스템(15)과 같이, 하나의 펄스에 대한 TOF 이미징 시스템으로 문맥에서 주로 제공되나, 여기에서 설명되는 픽셀-레벨 내부의 아날로그 변조 접근법에 대한 원리는, (도 3의) 픽셀들(43)로 지속파 변조 TOF 이미징 시스템 또는 non-TOF 시스템에서, (필요에 따라) 적절한 수정들과 함께 구현될 수 있다.

도 5는 본 발명의 일 실시예에 따른 도 4의 픽셀(62)에서 변조된 전하 이동 매커니즘을 개략적으로 제공하는 예시적인 타이밍도(88)이다. 도 5 (그리고, 또한 도 6 내지 도 10)에 도시된 파형들은 본질적으로 단순화되고, 오로지 설명의 목적을 위한 것이다. 실제의 파형들은 회로 구현에 의존하는 형상뿐만 아니라 시간에 따라 다를 수 있다. 도 4 및 도 5 사이에서의 공통적인 신호들은 비교의 용이성을 위하여, 동일한 참조 번호들을 사용하여 식별된다. 이러한 신호들은 VPIX 신호(84), RST 신호(77), 전자 셔터 신호(64), 및 VTX 변조 신호(79)를 포함한다. 두 개의 추가적인 파형들(90, 92)은 또한 변조 신호(79)가 전하 이동 동안에 제공될 때, PPD(59)에서의 전하 상태와 FD(82)에서의 전하 상태를 각각 설명하도록, 도 5에 도시된다. 도 5의 실시예에서, VPIX(84)는 낮은 논리 전압(예를 들어, 0 논리값 또는 0 볼트)으로 시작하여 픽셀(62)을 초기화하고, 픽셀(62)의 동작 동안에 높은 논리 전압(예를 들어, 1 논리값 또는 3 볼트)으로 스위칭할 수 있다. RST(77)는 픽셀(62)의 초기화 동안에 높은 논리 전압 펄스(예를 들어, 0 논리값에서 1 논리값으로 진행하고 다시 0 논리값으로 돌아오는 펄스)로 시작하여 PPD(59)에서의 전하를 풀 웰 용량으로 설정하고 FD(82)에서의 전하를 0 쿨롱(0 C)으로 설정한다. FD(82)에 대한 리셋 전압 레벨은 1 논리값 레벨일 수 있다. 범위 (TOF) 측정 동작 동안에, FD(82)가 더 많은 전자들을 PPD(59)로부터 수신할수록, FD(82)의 전압은 더 낮아지게 된다. 셔터 신호(64)는 픽셀(62)의 초기화 동안에 낮은 논리 전압(예를 들어, 0 논리값 또는 0V)으로 시작하고, 픽셀(62)의 동작 동안에 최소 측정 범위에 상응하는 시간에서 1 논리값 레벨(예를 들어, 3 볼트)로 스위칭하여 SPAD 코어들(50)에서의 SPAD들(54)이 리턴 광 펄스(37)에서 광자(들)을 검출할 수 있도록 하고, 이후에, 최대 측정 범위에 상응하는 시간에 0 논리값 레벨(예를 들어, 0V)로 스위칭할 수 있다. 따라서, 셔터 신호(64)의 1 논리값 레벨의 지속 시간은 기 정의된 시간 간격/윈도우를 제공하여, 이러한 시간 간격 동안 인접한 SPAD들로부터 수신되는 출력들이 시공간적인 상관관계를 갖도록 한다. PPD(59)에서의 전하는 초기화 동안에 완전히 충전되기 시작하되, VTX(79)가 0V에서 높은 전압으로 가급적 선형적인 방식으로 상승(램프)됨에 따라, PPD(59)에서의 전하는 감소한다. 아날로그 변조 신호(79)의 제어 하에서 PPD 전하 레벨은 도 5의 참조 번호 “90”인 파형으로 설명된다. PPD 전하의 감소는 VTX가 상승(램프)하는 시간의 함수일 수 있으며, 이는 PPD(59)에서 FD(82)로의 특정 전하량의 이동을 초래한다. 따라서, 도 5의 참조 번호 “92”인 파형으로 도시된 바와 같이, FD(82)에서의 전하는 낮은 전하(예를 들어, 0C)로 시작하고, VTX(79)가 0V에서 높은 전압으로 상승(램프)됨에 따라 증가하며, 이는 부분적으로 PPD(59)에서 FD(82)로 특정 전하량을 이동시킨다. 이러한 전하 이동은 VTX(79)가 상승(램프)하는 시간의 함수이다.

상술된 바와 같이, 픽셀-특유 출력(PIXOUT, 60)은 플로팅 확산 노드(82)로 이동된 PPD 전하로부터 파생된다. 따라서, Pixout 신호(60)는 아날로그 변조 전압 VTX(79) (또는, 동일하게, TX 전압(80))에 의하여 시간에 따라 진폭 변조되는 것으로 간주될 수 있다. 이러한 방식으로, TOF 정보는 변조 신호 VTX(79) (또는, 동일하게, TX 신호(80))를 사용하여 픽셀-특유 출력(60)의 진폭 변조(Amplitude Modulation, AM)를 통하여 제공된다. 특정 실시예들에서, VTX 신호(79)를 생성하기 위한 변조 함수는 단조로울(monotonic) 수 있다. 도 5, 6, 및 10의 예시적인 실시예들에서, 아날로그 변조 신호들은 램프 함수를 사용하여 생성될 수 있고, 따라서, 그것들은 램프-형식의 파형들을 갖는 것으로 도시된다. 다만, 다른 실시예들에서, 다른 형태들의 아날로그 파형들/함수들이 변조 신호들로 사용될 수 있다.

도 6은 본 발명의 일부 실시예들에 따라 TOF 값들을 측정하기 위하여, 도 4의 실시예에 따른 픽셀(62)이 도 2 및 도 8의 픽셀 어레이(42)와 같은 픽셀 어레이에 사용될 때, 도 1 및 도 2의 시스템(15)의 각양각색의 신호들의 예시적인 타이밍을 도시하는 타이밍도(95)이다. 전송된 펄스(28), VPIX 입력(84), TXEN 입력(75) 등과 같이 도 2 및 도 5의 실시예들에서 도시되는 다양한 신호들은 설명의 일관성과 용이성을 위하여 동일한 참조 번호들을 사용하여 도 6에서 식별된다. 도 6의 설명에 앞서서, 도 6의 문맥에서 (또한, 도 10의 경우에서), 참조 번호 “97”로 표시되는 파라미터 "T_dly"는 조사된 펄스(28)의 상승 엣지와 VTX 신호(79)가 상승(램프)하기 시작할 때의 시간 사이의 시간 지연을 나타내고; 참조 번호 “98”로 표시되는 파라미터 "T_tof"는 조사된 펄스(28)의 상승 엣지와 수신된 펄스(37)의 상승 엣지 사이의 지연에 의하여 측정된 픽셀-특유 TOF 값을 나타내고; 참조 번호 “99”로 표시되고 셔터 신호(64)의 어설션(assertion, 예를 들어, 논리값 1 또는 “온”)과 디-어설션(de-assertion, 또는 비활성화, 예를 들어, 논리값 0 또는 “오프”)에 의하여 주어진 파라미터 "T_sh"는 전자 셔터의 “개방”과 “폐쇄'” 사이의 시간 간격을 나타낸다. 따라서, 전자 셔터(64)는 "T_sh" 구간 동안 “활성화” 되는 것으로 간주되며, 또한 참조 번호 “100”을 이용하여 식별된다. 일부 실시예들에서, 지연 "T_dly"은 동작 조건들과 관계없이 기 결정되고 고정될 수 있다. 다른 실시예들에서, 지연 "T_dly" 은 실행 시간(run-time)에, 예를 들어, 외부의 날씨 조건에 의존하여 조절될 수 있다. 여기에서, “하이” 또는 “로우” 신호 레벨들은 픽셀(62)의 설계와 관련된 것으로 언급된다. 도 6에 도시된 신호의 극성들 또는 바이어스 레벨들은 예를 들어, 사용되는 트랜지스터들 또는 다른 회로 구성들의 형태들에 근거하여 다른 형태의 픽셀 설계들에서 다를 수 있다.

상술된 바와 같이, 도 6 (또한, 도 10)에 도시된 파형들은 간략화 되고, 단순히 예시적인 목적을 위한 것이고, 실제의 파형들은 회로 구현에 의존하여 형상뿐만 아니라 타이밍에 따라 다를 수 있다. 도 6에 도시된 바와 같이, 리턴 펄스(37)는 조사된 펄스(28)의 시간 별로 지연된 버전일 수 있다. 특정 실시예들에서, 조사된 펄스(28)는 예를 들어, 5에서 10 나노초(ns)의 범위에서와 같이, 매우 짧은 지속 시간을 가질 수 있다. 리턴 펄스(37)는 픽셀(62)에서의 두 개 이상의 SPAD들을 이용하여 감지될 수 있다. 전자 셔터 신호(64)는 SPAD들로 하여금 수신된 광(37)의 픽셀-특유 광자(들)를 캡쳐 가능하도록 할 수 있다. 셔터 신호(64)는 픽셀 어레이(42)에 도달했을 때의 광 산란들을 피하도록, 조사된 펄스(28)에 관하여 게이트 지연을 가질 수 있다. 조사된 펄스(28)의 광 산란들은 예를 들어, 악천후로 인하여 발생할 수 있다.

다양한 외부 신호들(예를 들어, VPIX(84), RST(77) 등) 및 내부 신호들(예를 들어, TX(80), TXEN(75), 및 FD 전압(82)) 이외에도, 도 6의 타이밍도(95)는 또한 아래의 이벤트들 또는 시 구간들, (i) RST, VTX, TXEN, 및 TX 신호들이 하이 레벨을 갖고, 반면 VPIX 및 SHUTTER 신호들이 로우 레벨을 가질 때 PPD 프리셋(preset) 이벤트(101), (ii) TX가 로우 레벨을 가질 때로부터 RST가 하이 레벨에서 로우 레벨로 변할 때까지의 제1 FD 리셋 이벤트(103), (iii) 지연 시간(T_dly) (97), (iv) TOF(T_tof) (98), (v) 전자 셔터의 “온” 또는 “활성화” 구간(T_sh) (99), 및 (vi) RST가 제2 시간 동안 논리값 1을 가질 때의 지속 시간 동안의 제2 FD 리셋 이벤트(105)를 식별한다. 또한, 도 6은 전자 셔터가 처음에 “폐쇄” 또는 “오프”될 때(참조 번호 “107”로 표시된다.), 전자 셔터가 “개방” 또는 “온”될 때(참조 번호 “100”으로 표시된다.), FD 노드(82)로 처음에 전송되는 전하가 PIXOUT(60)을 통하여 읽혀질 때(참조 번호 “109”로 표시된다.), FD 전압이 화살표(105)에서의 제2 시간동안 리셋될 때, 그리고 PPD(59)에서 남아있는 전하가 FD(82)로 전송되고 다시 이벤트(110)에서 읽혀질 때(예를 들어, PIXOUT(60)으로의 출력)를 도시한다. 일 실시예에서, 셔터 “온” 구간(T_sh)은 VTX(79)의 상승(램프) 시간 이하일 수 있다.

도 6을 참조하면, 도 4에서 픽셀(62)의 경우에, PPD(59)는 초기 단계(예를 들어, PPD 프리셋 이벤트(101))에서 풀 웰 용량의 전하로 채워질 수 있다. PPD 프리셋 시간(101) 동안, 도시된 바와 같이, RST, VTX, TXEN, 및 TX 신호들은 하이 레벨을 가질 수 있고, 반면에 VPIX, SHUTTER, 및 TXEN 신호들은 로우 레벨을 가질 수 있다. 그 후, VTX 신호(79) (그리고, 이로 인한 TX 신호(80))는 로우 레벨로 진행하여 제2 트랜지스터(69)를 오프시킬 수 있고, VPIX 신호(84)는 하이 레벨로 진행하여 “완전히 충전된” PPD(59)로부터의 전하 전송을 개시할 수 있다. 특정 실시예들에서, 픽셀 어레이(42)에서 픽셀들의 하나의 행에서의 모든 픽셀들은 한 번에 함께 선택될 수 있고, 선택된 행의 모든 픽셀들에서 PPD들은 RST 신호(77)를 이용하여 함께 리셋될 수 있다. 선택된 행의 픽셀들 각각은 개별적으로 읽혀질 수 있고, 아날로그 PIXOUT 신호는 상응하는 열 ADC 유닛(미도시)에 의하여 디지털 값으로 변환될 수 있다. 일 실시예에서, RST 라인들은 블루밍(blooming)을 방지하기 위하여 비선택된 픽셀들의 행들에 대해, 하이 레벨 또는 “온”으로 남아있을 수 있는 것으로 여기에서 언급된다.

도 6에 도시된 실시예에서, TXEN 신호(75)를 제외한 모든 신호들은 도시된 바와 같이, 논리값 0 또는 “로우” 레벨로 시작한다. 처음에, 상술된 바와 같이, PPD(59)는 RST, VTX, TXEN, 및 TX가 논리값 1 레벨로 진행하고, VPIX가 로우 레벨을 유지할 때, 프리셋 된다. 이후에, FD 노드(82)는 RST가 논리값 1을 갖고, VTX 및 TX가 논리값 0으로 진행하고, VPIX가 하이 레벨 (또는 논리값 1)로 진행할 때, 리셋된다. 설명의 편의상, 동일한 참조 번호 “82”가 도 4의 FD 노드와 도 6의 타이밍도에서 관련된 전압 파형을 나타내는데 사용된다. FD가 하이 레벨(예를 들어, 전하 도메인에서 0C)로 리셋된 후에, TXEN이 논리값 1을 갖는 동안, VTX는 상승(램프)된다. TOF(T_tof)의 지속 시간(98)은 펄스 광(28)이 전송될 때로부터 리턴 광(37)이 수신될 때까지이고, 또한 전하가 PPD(59)로부터 FD(82)로 부분적으로 전송되는 동안의 시간이다. VTX 입력(79) (그리고, 지금부터 TX 입력(80))은 셔터(64)가 “온” 또는 “개방”되는 동안 상승(램프)될 수 있다. 이는 PPD(59)내의 상당한 양의 전하가 FD(82)로 전송되게 하며, VTX가 얼마나 오래 상승(램프)하는지에 대한 함수일 수 있다. 그러나, 전송된 펄스(28)가 객체(26)에 반사하고, 픽셀(62)의 SPAD 코어들(50)의 적어도 두 개의 SPAD들에 의하여 수신될 때, 생성된 SPAD 출력들(57)은 논리 유닛(66)에 의하여 처리될 수 있으며, 차례로, 논리 유닛(66)은 TXEN 신호(75)를 고정된 논리값 0으로 떨어뜨릴 수 있다. 따라서, 시간적으로 상관되는 방식(temporally-correlated manner)으로, 즉, 셔터가 “온” 또는 “활성화”될 때, 적어도 두 개의 인접한 SPAD들에 의한 리턴 광(37)의 검출은 TXEN 신호(75)에 대하여 논리값 0 레벨로 표시될 수 있다. TXEN 입력(75)의 낮은 논리값 레벨은 제1 트랜지스터(68)와 제2 트랜지스터(69)를 턴 오프시키며, 이는 PPD(59)로부터 FD(82)로의 전하의 전송을 중단시킨다. SHUTTER 입력(64)이 논리값 0으로 진행하고 SEL 입력(85) (도 6에 도시되지 않음)이 논리값 1로 진행할 때, FD(82)에서의 전하는 PIXOUT1 전압으로 PIXOUT 라인(60)에 출력된다. 그 후, FD 노드(82)는 높은 논리값을 갖는 RST 펄스(77)와 함께 다시 리셋될 수 있다(참조 번호 “105”로 표시된다). 이후에, TXEN 신호(75)가 논리값 1로 진행할 때, PPD(59)에 남아있는 전하는 실질적으로 완전히 FD 노드(82)로 전송되고, PIXOUT2 전압으로 PIXOUT 라인(60)에 출력된다. 일찍이 언급된 바와 같이, PIXOUT1 및 PIXOUT2 신호들은 적절한 ADC 유닛(미도시)에 의하여 상응하는 디지털 값들(P1 및 P2)로 변환될 수 있다. 일부 실시예들에서, 이러한 값들(P1 및 P2)은 픽셀(62)과 3차원 객체(26) 사이의 픽셀-특유 거리/범위를 결정하도록 상술된 수학식 2 또는 수학식 3에서 사용될 수 있다.

일 실시예에서, 논리 유닛(66)은 G( ) 함수(도 12를 참조하여 이후에 도시 및 설명됨)에 근거한 출력을 생성하고, 그 후 최종 TXEN 신호(75)를 획득하도록, (예를 들어, 도 10에 도시된 TXRMD 신호(207)와 유사한 신호와 같이) 내부적으로 생성된 신호와 G( )함수에 근거한 출력을 논리적으로 OR 연산하는 논리 회로(미도시)를 포함할 수 있다. 이러한 내부적으로 생성된 신호는 전자 셔터가 “온”되는 동안 로우 레벨로 남을 수 있으나, (도 6에서의 이벤트(110)에서) TXEN 신호(75)가 논리값 1로 진행하여 PPD에서의 남아있는 전하의 이동을 용이하게 하기 위하여, 내부적으로 생성된 신호는 “하이 레벨”로 어설트될 수 있다. 일부 실시예들에서, TXRMD 신호 또는 유사한 신호는 외부적으로 제공될 수 있다.

도 7은 본 발명의 일 실시예에 따른 도 1 및 도 2의 시스템(15)에서 TOF 값이 결정되는 방법을 도시한 예시적인 순서도(115)이다. 도 7에 도시된 다양한 단계들은 시스템(15)의 단일 모듈 또는 모듈들 또는 시스템 구성 요소들의 조합에 의하여 수행될 수 있다. 여기에서의 설명에서, 단순히 예시적인 방식에 의하여, 특정 작업들은 특정 모듈들 또는 시스템 구성 요소들에 의하여 수행되는 것으로 설명된다. 다른 모듈들 또는 시스템 구성 요소들은 마찬가지로 이러한 작업들을 수행하도록 적절하게 구성될 수 있다. 117 블록에서 언급되는 바와 같이, 최초에 시스템(15) (더욱 구체적으로, 프로젝터 모듈(22))은 도 2의 펄스(28)와 같은 레이저 펄스를, 도 2의 객체(26)와 같은 3차원 객체에 조사할 수 있다. 118 블록에서, 프로세서(19) (또는 일부 실시예들에서 픽셀 어레이 제어 회로(46))는 도 4의 VTX 신호(79)와 같은 아날로그 변조 신호를, 도 4의 픽셀(62)에서의 PPD(59)와 같은 픽셀에서의 PPD에 인가할 수 있다. 앞서 언급된 바와 같이, 픽셀(62)은 도 2의 픽셀 어레이(42)에서의 임의의 픽셀들(43)일 수 있다. 119 블록에서, 픽셀 제어 및 처리 회로(46)는 아날로그 변조 신호(79)로부터 수신된 변조에 근거하여, PPD(59)에 저장된 아날로그 전하의 일부의 이동을 시작할 수 있다. 이러한 전하 이동을 시작하기 위하여, 픽셀 제어 회로(46)는 셔터 신호(64), VPIX 신호(84), 및 RST 신호(77)와 같은 다양한 외부 신호들을 도 6의 예시적인 타이밍도에 도시된 논리 레벨들로 픽셀(62)에 제공할 수 있다. 120 블록에서, 리턴 펄스(37)와 같은 리턴 펄스는 픽셀(62)에서의 복수의 SPAD들을 사용하여 검출될 수 있다. 앞서 언급된 바와 같이, 리턴 펄스(37)은 3차원 객체(26)로부터 반사된 조사된 펄스(28)이다. 그리고, 픽셀(62)에서의 (SPAD 코어들(50)에서의) SPAD 각각은 리턴 펄스로부터 수신된 광(luminance)을 상응하는 (SPAD-특유의) 전기 신호로 변환하도록 동작할 수 있다.

SPAD 각각이 광(luminance)을 수신하는 동안, 픽셀(62)의 SPAD 코어들(50)에서의 제1 제어 회로(55)는 상응하는 (SPAD-특유의) 전기 신호를 처리하여 SPAD-특유 디지털 출력을 이후에 생성할 수 있다 (블록 121). 이러한 모든 SPAD-특유 디지털 출력들은 도 3 및 도 4에서 참조 번호 “57”의 화살표에 의하여 총괄적으로 나타날 수 있다. 도 6의 설명을 참조하여 언급되는 바와 같이, 논리 유닛(66)은 출력들(57)을 처리할 수 있고, 출력들이 시공간적으로 상관되는 한, 논리 유닛(66)은 TXEN 신호(75)를 논리값 0 (로우) 상태에 놓여지게 할 수 있다. TXEN 신호(75)의 논리값 0 레벨은 픽셀(62)에서의 제1 트랜지스터(68) 및 제2 트랜지스터(69)를 턴 오프시키며, 이는 PPD(59)로부터 FD(82)로의 전하 이동을 중단시킨다. 따라서, 122 블록에서, 제2 제어 회로(58)는 예를 들어, 도 6의 셔터가 “온”되는 구간(100) 내에서와 같이, 기결정된 시간 간격에서 적어도 두 개의 SPAD-특유 디지털 출력들의 생성 시에, (119 블록에서) 앞서 시작된 아날로그 전하의 일부의 이동을 종료시킬 수 있다.

도 6을 참조하여 앞서 설명된 바와 같이, (122 블록에서 이동이 종료될 때까지) FD 노드(82)로 이동된 전하의 일부는 Pixout 1 신호로 읽혀질 수 있고, 적절한 디지털 값 “P1”으로 변환될 수 있으며, 이는 그 후에 생성된 (Pixout 2 신호에 대한) 디지털 값 “P2”와 함께, 상술된 P1/(P1+P2) 비율로부터 TOF 정보를 획득하는데 이용될 수 있다. 따라서, 123 블록에서 언급된 바와 같이, 시스템(15)에서 픽셀 제어 회로(46)와 프로세서(19) 중 어느 하나는 종료(122 블록) 시에 이동된 아날로그 전하의 일부에 근거하여 리턴 펄스(37)의 TOF 값을 결정할 수 있다.

도 8은 본 발명의 일 실시예에 따른 도 1 및 도 2의 이미지 센서 유닛(24)과 같은 이미지 센서 유닛의 일부에 대한 예시적인 레이아웃이다. 도 8에 도시된 이미지 센서 유닛(24)의 일부는, 리턴 광을 캡쳐하고, (위의 수학식 1로부터의) TOF 값들의 후속 계산들을 위한 P1 및 P2 값들을 생성하고, 필요하다면, 멀리 떨어진 객체(26)의 3차원 이미지의 생성을 위하여 필요한 신호들을 제공하는 것과 관련될 수 있다. 도 2의 경우와 같이, 도 8의 이미지 센서 유닛(24)에서의 픽셀 어레이(42)는 단순히 설명의 편의상 3x3 어레이로 배열된 9개의 픽셀들을 갖는 것으로 도시된다. 실제로, 픽셀 어레이는 여러 행들과 열들에서 수십만 또는 수백만개의 픽셀들을 포함할 수 있다. 특정 실시예들에서, 픽셀 어레이(42)의 픽셀 각각은 동일한 구성을 가질 수 있고, 이로 인하여, 픽셀 각각은 도 8에 도시된 바와 같이, 동일한 참조 번호 “43”를 사용하여 식별된다. 도 8의 실시예에서, 2차원 픽셀 어레이(42)는 CMOS(Complementary Metal Oxide Semiconductor)일 수 있으며, 여기에서 픽셀(43) 각각은 도 9에 도시된 픽셀(145)일 수 있다. 비록, 도 8의 레이아웃은 도 9의 픽셀 구성과 관련된 것이나, 픽셀(43) 각각이 도 4에 도시된 구성을 가질 때, 도 8의 이미지 센서 유닛(24)은 적절히 변경될 수 있음이 이해될 것이다. 일부 실시예들에서, 픽셀(43)은 도 4 및 도 9에 도시된 것들과 다른 구성을 가질 수 있고, 행 디코더/드라이버(125), 열 디코더(127)와 같은, 도 8의 보조 처리 유닛들은 원하는 픽셀 구성으로 동작하도록 적절히 변경될 수 있다.

픽셀 어레이(42) 이외에도, 도 8의 실시예에서의 이미지 센서 유닛(24)은 또한 행 디코더/드라이버(125), 열 디코더(127), 및 2차원 및 3차원 이미징 동안 사용되는 열-특유 아날로그 디지털 컨버터들(ADCs)뿐만 아니라 상관 이중 샘플링(CDS, Correlated Double Sampling)을 위한 회로들을 포함하는 픽셀 행 유닛(128)을 포함할 수 있다. 일 실시예에서, 픽셀들의 열 당 하나의 ADC가 있을 수 있다. 특정 실시예들에서, 처리 유닛들(125, 127, 128)은 도 2에 도시된 픽셀 어레이 제어 유닛(46)의 일부일 수 있다. 도 8의 실시예에서, 행 디코더/드라이버(125)는 6개의 서로 다른 신호들을 픽셀들의 행에서의 픽셀(43) 각각에 입력으로 제공하여 픽셀 어레이(42)의 픽셀들의 동작을 제어하고, 이로 인하여 열-특유 pixout 신호들 (130~132)의 생성을 가능케 하는 것으로 도시된다. 도 8의 화살표들(134~136) 각각은 상응하는 행에서의 픽셀(43) 각각의 입력으로 인가되는 신호들의 행-특유 세트를 설명한다. 이러한 신호들은 리셋(RST) 신호, 제2 이동(TX2) 신호, 전자 셔터(SH) 신호, 이동 전압(VTX) 신호, 픽셀 전압(VPIX) 신호, 및 행 선택(SEL) 신호를 포함한다. 도 9는 이러한 신호들이 픽셀에 인가되는 방법을 설명한다. 도 10은 이러한 많은 신호들을 통합한 예시적인 타이밍도를 설명한다.

일 실시예에서, 행 선택(SEL) 신호는 적절한 행의 픽셀들을 선택하도록 어설트(assert)될 수 있다. 행 디코더/드라이버(125)는 예를 들어, 프로세서(19)로부터 행 어드레스/제어 입력들(138)을 통하여 선택되는 행에 대한 어드레스 또는 제어 정보를 수신할 수 있다. 행 디코더/드라이버(125)는 수신된 입력들(138)를 디코딩하여, SEL 신호를 이용하여 적절한 행을 선택하고, 상응하는 RST, VTX, 및 다른 신호들을 선택된/디코딩된 행에 제공하도록 할 수 있다. 이러한 신호들이 픽셀 입력들로 인가될 때의 더욱 세부적인 설명들은 도 9 및 도 10의 설명을 참조하여 후술된다. 일부 실시예들에서, 행 드라이버 유닛(125)은 행 드라이버(125)가 화살표들(134~136)에서 언급된 SEL, RST, VTX, SH, 및 다양한 다른 신호들에 대한 적절한 전압 레벨들을 인가하도록 구성하기 위하여 프로세서(19)로부터 제어 신호들(미도시)을 수신할 수 있다

픽셀 열 유닛(128)은 PIXOUT 신호들(130~132)을 선택된 행의 픽셀들로부터 수신할 수 있고, PIXOUT 신호들을 처리하여 TOF 측정들이 획득될 수 있는 픽셀-특유 신호 값들을 생성할 수 있다. 이러한 신호 값들은 앞서 언급된 P1 및 P2 값들일 수 있고, 도 8의 화살표(140)로 도시된 바와 같다. 열-특유 ADC 유닛 각각은 수신된 입력들(pixout 신호들)을 처리하여 상응하는 디지털 데이터 출력들(P1/P2 값들)을 생성할 수 있다. 픽셀 열 유닛(128)에서 CDS 및 ADC 회로들(미도시)에 의하여 제공되는 CDS 및 ADC 동작들의 더욱 세부적인 설명들은 도 10을 참조하여 후술된다. 도 8의 실시예에서, 열 디코더 유닛(127)은 픽셀 열 유닛(128)과 결합된 것으로 도시된다. 열 디코더(127)는 예를 들어, 프로세서(19)로부터, 주어진 행 선택(SEL)신호와 함께 선택된 열을 위한 열 어드레스/제어 입력(142)을 수신할 수 있다. 열 선택은 순차적일 수 있고, 이에 따라, 상응하는 SEL 신호에 의하여 선택된 행의 픽셀 각각으로부터 출력된 픽셀의 순차적 수신을 가능케 한다. 프로세서(19)는 적절한 행 어드레스 입력들을 제공하여 픽셀들의 행을 선택하게 할 수 있다. 또한, 프로세서(19)는 적절한 열 어드레스 입력들을 열 디코더(127)에 제공하여 픽셀 열 유닛(128)으로 하여금 선택된 행의 픽셀들 각각으로부터 출력들(pixouts)을 수신할 수 있게 할 수 있다.

도 9는 본 발명의 특정 실시예에 따른 픽셀(145)의 예시적인 회로의 세부적인 도면이다. 도 9의 픽셀(145)은 도 2 및 도 3의 더욱 일반적인 픽셀(43)의 다른 실시예이다. 그러므로, 동일한 참조 번호들이 유추의 용이성을 위하여 도 3 및 도 9의 PPD 코어(52), PPD(59), 및 Pixout 라인(60)에 대하여 사용된다. 다만, 도 4 및 도 9에서, 도 3으로부터의 참조 번호들의 사용은 도 4 및 도 9의 픽셀 구성들이 동일하다거나, 그것들이 동일한 회로 구성 요소들을 채택함을 암시하는 것은 아니다. CDS 기반의 전하 이동(도 10을 참조하여 후술된다)을 제외하고, 도 9에서의 픽셀(145)은 도 4의 픽셀(62)에 대한 설계와 실질적으로 유사한 것으로 언급된다. 이로 인하여, 단순히 도 9의 회로 구성에 대한 간략한 설명이 편의상 여기에서 제공된다.

픽셀(145)은 SPAD 코어들(50, 도 3)의 일부로, SPAD 코어 1에서 SPAD 코어 N까지(N≥2)와 같은 다수의 SPAD 코어들을 포함할 수 있다. 도 9에서, 두 개의 이러한 SPAD 코어들(147, 148)이 그것들의 세부 회로도와 함께 도시된다. 일부 실시예들에서, 유사한 회로들이 도 4의 픽셀(62)의 SPAD 코어들에 채택될 수 있다. SPAD 코어(147)는 (저항과 같은) 저항성 소자(152)를 통하여 SPAD 동작 전압(VSPAD)(151)을 수신하는 SPAD(150)를 포함할 수 있다. 다만, 본 발명은 도시된 저항(152)과 SPAD(150)의 배열에 제한되지 않는다. 일 실시예에서, 저항(152)과 SPAD(150)의 위치는 교환될 수 있다. 픽셀(145)에서, SPAD(150)는 광에 응답한다. SPAD(150)가 광자를 수신할 때, SPAD(150)는 VSPAD의 레벨에서 0V로 진행하고 다시 VSPAD로 돌아가는 펄스를 출력한다. SPAD(150)의 출력은 커패시터(153)를 통하여 필터링되고, (버퍼와 래치의 조합으로 기능할 수 있는) 인버터(154)에 인가될 수 있다. 일 실시예에서, 커패시터(153)는 제거될 수 있다. SPAD 코어(147)는 PMOS 트랜지스터(155)를 포함하되, PMOS 트랜지스터(155)는 이의 게이트 단자에서 전자 셔터 신호(157)를 수신하고, 트랜지스터(155)의 드레인 단자는 커패시터 (및 인버터(154)의 입력)에 연결되고, 트랜지스터(155)의 소스 단자는 공급 전압(VDD, 156) (또는, 일부 실시예들에서 VPIX 전압)을 수신할 수 있다. 셔터 신호(157)가 턴 오프(예를 들어, 논리값 0 또는 “로우” 레벨)될 때, 트랜지스터(155)는 전도(conduct)될 수 있고, 인버터(154)의 출력(159)은 SPAD(150)로부터 수신된 임의의 출력들의 상태와 관계없이 고정된 전압 레벨(예를 들어, 논리적 “로우” 또는 논리값 0의 상태)로 남을 수 있다. SPAD(150)로부터의 출력은 셔터 신호(157)가 턴 온 또는 “활성화”될 때만 PPD 코어(52)에 인가될 수 있다. 셔터가 활성화(예를 들어, 논리값 1 레벨)될 때, 트랜지스터(155)는 턴 오프되고, 이로 인하여, SPAD에서 생성된 출력은 (커플링 커패시터(153)를 통하여) 인버터(154)로 전송될 수 있고, 출력 라인(159)에 포지티브 펄스(로우에서 하이)로 나타날 수 있다.

SPAD 코어(148)는 회로의 세부도에서 SPAD 코어(147)와 동일하고, 이로 인하여, SPAD 코어(148)에 대한 동작의 세부 설명들은 제공되지 않는다. 도시된 바와 같이, SPAD 코어(148)는 코어-특유 SPAD(160), VSPAD 전압(151)이 SPAD(160)로 공급되기 위하여 통과되는 저항성 소자(162), 커플링 커패시터(163), SPAD(160)에 의하여 생성된 출력을 래칭(latching) 및 출력하기 위한 인버터(164), 및 셔터 입력(157)을 통하여 인버터(164)의 동작을 제어하는 PMOS 트랜지스터(165)를 포함한다. 인버터(164)의 출력(167)은 추가 처리를 위하여, PPD 코어(52)에 제공될 수 있다. 일부 실시예들에서, VSPAD(151), VDD(156), 및 셔터(157) 신호들은 예를 들어, 도 8에 도시된 행 디코더/드라이버 유닛(125) 또는 도 2의 픽셀 제어 유닛(46) (또는 프로세서(19))의 임의의 다른 모듈(미도시)와 같은 외부 유닛으로부터 SPAD 코어(147, 148) 각각으로 공급될 수 있다. 모든 SPAD 코어-특유 출력들(159, 167)은 총체적으로 도 3의 참조 번호 “57”을 사용하여 식별되는 신호들을 형성할 수 있다.

따라서, 전자 셔터 신호(157)는 SPAD 코어들(147, 148)로부터의 출력들(159, 167)이 시간적으로 (또는 시간 상으로(time-wise)) 상관되고, 추가적으로 픽셀(145)의 SPAD 코어들(147, 148)의 인접한 위치로 인하여 공간적으로 상관되게 한다. 추가적인 픽셀의 기하학적 구조는 후술되는 도 11a 내지 도 11c의 예시적인 실시예에서 도시된다.

도 4의 픽셀(62)과 같이, 도 9의 픽셀(145)은 또한 PPD(59), 논리 유닛(170), 제1 NMOS 트랜지스터(172), 제2 NMOS 트랜지스터(173), 제3 NMOS 트랜지스터(174), 제4 NMOS 트랜지스터(175), 제5 NMOS 트랜지스터(176)를 포함하고, 내부의 입력인 TXEN(178)을 생성하고, 외부의 입력인 RST(180), VTX(182) (그리고, 이후에 TX 신호(183)), VPIX(185), 및 SEL(186)을 수신하고, FD 노드(188)을 가지고, 그리고 PIXOUT 신호(60)을 출력한다. 다만, 도 4의 픽셀(62)과 달리, 도 9의 픽셀(145)은 또한 제2 TXEN 신호(TXENB)(190)를 생성하며, TXENB 신호(190)는 TXEN 신호(178)와 상보적일 수 있고, 제6 NMOS 트랜지스터(192)의 게이트 단자에 공급될 수 있다. 제6 NMOS 트랜지스터(192)는 트랜지스터(172)의 소스 단자에 연결된 드레인 단자 및 그라운드(GND) 전위(193)에 연결된 소스 단자를 가질 수 있다. TXENB 신호(190)는 GND 전위를 TX 트랜지스터(173)의 게이트 단자로 가져오는데 이용될 수 있다. TXENB 신호(190) 없이, TXEN 신호(178)가 로우 레벨로 진행할 때, TX 트랜지스터(173)의 게이트는 플로팅될 수 있고, PPD(59)부터의 전하 이동은 완전히 종료되지 않을 수 있다. 이러한 상황은 TXENB 신호(190)를 이용하여 개선될 수 있다. 추가적으로, 픽셀(145)은 또한 스토리지 확산(Storage Diffusion, SD) 커패시터(195) 및 제7 NMOS 트랜지스터(197)를 포함할 수 있다. SD 커패시터(195)는 트랜지스터(173)의 드레인 단자와 트랜지스터(197)의 소스 단자의 접합에 연결될 수 있고, 상기 접합에서 SD 노드(199)를 “형성”할 수 있다. 제7 NMOS 트랜지스터(197)는 이의 게이트 단자에서 다른 제2 이동 신호(TX2, 200)를 입력으로 수신할 수 있다. 트랜지스터(197)의 드레인은 도시된 바와 같이, FD 노드(188)에 연결될 수 있다.

도 8을 참조하여 언급된 바와 같이, 일부 실시예들에서, RST, VTX, VPIX, TX2, 및 SEL 신호들은 도 8에 도시된 행 디코더/드라이버 유닛(125)과 같은 외부 유닛으로부터 픽셀(145)로 공급될 수 있다. 나아가, 일부 실시예들에서, SD 커패시터(195)는 추가 커패시터가 아닌, 단순히 SD 노드(199)의 접합(junction) 커패시터일 수 있다. 도 3과 도 9의 비교는 픽셀(145)에서, 모든 SPAD들(150, 160) 등이 도 3의 SPAD들 블록(54)을 공통적으로 형성하고, SPAD 코어(147, 148) 등 각각으로부터의 모든 non-SPAD 회로 소자들이 도 3의 제1 제어 회로(55)를 공통적으로 형성하고, PPD 코어(52)에서의 모든 non-PPD 회로 소자들이 도 3의 제2 제어 회로(58)를 형성함을 보여준다.

픽셀(145)에서, 전하 이동 트리거부는 SPAD 코어들(147, 148) (및 이러한 다른 코어들), 및 논리 유닛(170)을 포함할 수 있다. 전하 생성 및 이동부는 PPD(59), NMOS 트랜지스터들(172~174, 192, 197) 및 SD 커패시터(195)를 포함할 수 있다. 그리고, 전하 수집 및 출력부는 NMOS 트랜지스터들(174~176을 포함할 수 있다. 여기에서, 다양한 회로 구성 요소들에 대한 각각의 부분들로의 분리는 단지 예시적인 설명의 목적을 위한 것이다. 일부 실시예들에서, 이러한 부분들은 여기에서 나열된 것들보다 많거나 적거나 다른 회로 소자들을 포함할 수 있다.

이전에 언급된 바와 같이, CDS 기반의 전하 수집 및 출력을 제외하고, 도 9의 픽셀 구성은 실질적으로 도 4의 그것과 유사하다. 그러므로, 설명의 편의상, 트랜지스터들(172~176), 및 RST, SEL, VPIX 등 관련된 입력들과 같이, 도 4와 도 9의 실시예들 사이의 공통된 회로 부분들 및 신호들은 여기에서 설명되지 않는다. CDS는 원하지 않는 오프셋을 제거하는 방식으로 픽셀/센서 출력 전압(pixout)과 같은 전기적인 값을 측정하기 위한, , 잡음을 감소시키는 기술로 이해될 것이다. 특정 실시예들에서, 열-특유 CDS 유닛(미도시)은 픽셀 열 유닛(128, 도 8)에서 상관 이중 샘플링을 수행하도록 채택될 수 있다. CDS에서, 도 9의 픽셀(145)과 같은 픽셀의 출력(들)은 두 번 측정될 수 있으며, 한번은 알려진 조건에서 측정되고, 한번은 알려지지 않은 조건에서 측정될 수 있다. 알려진 조건에서 측정된 값은 알려지지 않은 조건에서 측정된 값에서 감산되어, 측정된 물리량과의 알려진 관련성을 갖는 값(여기에서 수신된 광의 픽셀-특유 부분을 나타내는 PPD 전하)을 생성할 수 있다. CDS를 이용하여, (예를 들어, 리셋된 이후의 픽셀의 전압과 같은) 픽셀의 기준 전압을 각각의 전하 이동의 종료 시에 픽셀의 신호 전압으로부터 제거함으로써, 잡음이 감소될 수 있다. 따라서, CDS에서, 픽셀의 전하가 출력으로서 이동되기 전에, 리셋/기준 값이 샘플링되며, 리셋/기준 값이, 픽셀의 전하가 이동된 후의 값에서 감하여 진다(“deducted”).

도 9의 실시예에서, SD 커패시터(195) (또는 관련된 SD 노드(199))는 PPD 전하를 FD 노드(188)로의 이동에 앞서 저장하여, 임의의 전하가 FD 노드(188)로 이동되기에 앞서 FD 노드(188)에서의 적절한 리셋 값들의 설정(및 샘플링)을 가능케 한다. 그 결과, 픽셀-특유 출력(Pixout 1 및 Pixout 2) 각각은 한 쌍의 픽셀-특유 CDS 출력들을 획득하도록, 픽셀 열 유닛(128, 도 8)의 열-특유 CDS 유닛(미도시)에서 처리될 수 있다. 이 후에, 픽셀-특유 CDS 출력들은, 픽셀 열 유닛(128)의 열-특유 ADC 유닛(미도시) 각각에 의하여 디지털 값들(여기에서 도 8의 화살표(140)로 표시되는 P1 및 P2 값들)로 변환될 수 있다. 도 9의 트랜지스터들(192, 197), 및 TXENB(190)와 TX2(200) 신호들은 CDS 기반의 전하 이동을 용이하게 하는데 필요한 보조 회로 구성 요소들을 제공할 수 있다. 일 실시예에서, P1 및 P2 값들은 예를 들어, 열-특유 ADC 유닛의 일부로써, 동일한 ADC 회로들의 쌍을 사용하여 병렬로 생성될 수 있다. 따라서, 리셋 레벨들과 pixout 1 및 pixout 2 신호들의 상응하는 PPD 전하 레벨들 사이의 차이들은 열 병렬 ADC에 의하여 디지털 숫자들로 변환될 수 있고, 픽셀-특유 신호 값들(P1 및 P2)로 출력되어, 상술된 수학식 1에 근거하여 픽셀(145)에 대한 리턴 펄스(37)의 픽셀-특유 TOF 값의 계산을 가능케 할 수 있다. 앞서 언급된 바와 같이, 이러한 계산은 픽셀 어레이 처리 유닛(46) 자체 또는 시스템(15)의 프로세서(19)에 의하여 수행될 수 있다. 따라서, 3차원 객체(26, 도 2)로의 픽셀-특유 거리는 예를 들어, 수학식 2 또는 수학식 3을 이용하여 결정될 수 있다. 픽셀-대-픽셀 전하 수집 동작은 픽셀 어레이(42)의 픽셀들의 모든 행에 대하여 반복될 수 있다. 픽셀 어레이(42)의 픽셀들(43)에 대한 모든 픽셀-특유 거리 또는 범위 값들에 근거하여, 객체(26)의 3차원 이미지는 예를 들어, 프로세서(19)에 의하여 생성될 수 있고, 적절한 디스플레이 또는 시스템(15)과 관련된 사용자 인터페이스에서 표시될 수 있다. 나아가, 3차원 객체(26)의 2차원 이미지는, 예를 들어, 어떠한 범위 값들도 계산되지 않을 때, 또는 범위 값들을 이용 가능함에도 불구하고 2차원 이미지가 요구될 때, P1 및 P2 값들을 간략히 추가함으로써 생성될 수 있다. 특정 실시예들에서, 이러한 이차원 이미지는, 예를 들어, 적외선 레이저가 사용될 때, 단순히 그레이 스케일 이미지일 수 있다.

도 4 및 도 9에서 도시된 픽셀 구성들은 단순히 예시적인 것으로 여기에서 관찰된다. 다수의 SPAD들을 갖는 PPD 기반의 픽셀들의 다른 형태들이 또한 본 발명의 교시들을 구현하는데 사용될 수 있다. 이러한 픽셀들은 예를 들어, (도 4 및 도 9의 실시예들에서 PIXOUT 라인(60)과 같은) 단일 출력을 갖는 픽셀들, 또는 Pixout 1 및 Pixout 2 신호들이 픽셀에서 다른 출력들을 통하여 출력될 수 있는 이중 출력을 갖는 픽셀들을 포함할 수 있다.

도 10은 본 발명의 일부 실시예들에 따라 TOF 값들을 측정하기 위하여, 도 9의 실시예의 픽셀들(145)이 도 2 및 도 8의 픽셀 어레이(42)와 같은 픽셀 어레이에서 사용될 때, 도 1 및 도 2의 시스템(15)의 각양각색의 신호들의 예시적인 타이밍을 도시하는 타이밍도(205)이다. 도 10의 타이밍도(205)는, 특히 VTX, Shutter, VPIX, 및 TX 신호들의 파형들 그리고, 예를들어, PPD 리셋 이벤트, 셔터 “온” 구간, 시간 지연 구간(Tdly) 등과 같은 다양한 시간 간격들 또는 이벤트들의 식별과 관련하여, 도 6의 타이밍도(95)와 유사하다. 도 6의 타이밍도(95)에 대한 앞선 광범위한 설명에 근거하여, 간결성을 위해 단지 도 10의 타이밍도(205)에 대한 구별되는 특징들에 대한 간략한 설명이 제공된다.

도 10에서, 설명의 일관성 및 용이성을 위하여, 다양한 외부적으로 공급되는 신호들, 여기에서, VPIX 신호(185), RST 신호(180), 전자 셔터 신호(157), 아날로그 변조 신호 VTX(182), 및 TX2 신호(200), 및 내부적으로 생성되는 TXEN 신호(178)은 도 9의 신호들에서 사용된 것과 동일한 참조 번호들을 사용하여 식별된다. 유사하게, 설명의 편의상, 동일한 참조 번호 “188”은 도 9의 FD 노드 및 도 10의 타이밍도의 관련된 전압 파형을 나타내는데 사용된다. 이동 모드(TXRMD) 신호(207)는 도 10에 도시되나, 도 9 또는 앞선 도 6의 타이밍도에서 도시되지 않았다. 특정 실시예들에서, TXRMD 신호(207)는 논리 유닛(170)에 의하여 내부적으로 생성되거나, (도 8의 행 디코더/드라이버(125)와 같은) 행 디코더/드라이버에 의하여 논리 유닛(170)으로 외부적으로 공급될 수 있다. 일 실시예에서, 논리 유닛(170)은 G( ) 함수(도 12를 참조하여 이후에 도시 및 설명됨)에 근거한 출력을 생성하고, 그 후 최종 TXEN 신호(178)를 획득하도록, (예를 들어, TXRMD 신호(207)와 같이) 내부적으로 생성된 신호와 G( ) 함수에 근거한 출력을 논리적으로 OR 연산하는 논리 회로(미도시)를 포함할 수 있다. 도 10에 도시된 바와 같이, 일 실시예에서, 이러한 내부적으로 생성된 TXRMD 신호(207)는 전자 셔터가 “온”되는 동안 로우 레벨로 남을 수 있으나, (도 10에서의 이벤트(208)에서) TXEN 신호(178)가 논리값 1로 진행하여 PPD에서의 남아있는 전하의 이동을 용이하게 하기 위하여, TXRMD 신호(207)는 이후에 “하이 레벨”로 어설트될 수 있다.

도 10의 PPD 리셋 이벤트(209), 지연 시간(Tdly)(210), TOF 구간(Ttof)(211), 셔터 “오프” 구간(212), 및 셔터 "온" 또는 "활성화" 구간(Tsh)(213 또는 214), 및 FD 리셋 이벤트(215)는 도 6에 도시된 상응하는 이벤트들 또는 시구간들과 유사하다. 그러므로, 이러한 파라미터들의 추가적인 설명은 편의상 제공되지 않는다. 처음에, FD 리셋 이벤트(215)는 도시된 바와 같이, “하이 레벨”로 진행하는 FD 신호(188)를 발생시킨다. PPD(59)가 “로우 레벨”로 프리셋 된 후에, SD 노드(199)는 “하이 레벨”로 리셋 된다. 더욱 구체적으로, PPD 프리셋 이벤트(209) 동안, TX 신호(183)는 “하이 레벨”일 수 있고, TX2 신호(200)는 “하이 레벨”일 수 있고, RST 신호(180)는 “하이 레벨”일 수 있고, VPIX 신호(185)는 PPD(59)에 전자들을 채우고 PPD(59)를 0V로 프리셋 시키도록 “로우 레벨”일 수 있다. 이 후에, TX 신호(183)는 “로우 레벨”로 진행할 수 있으나, TX2 신호(200) 및 RST 신호(180)는 간단히 “하이 레벨”로 남으며, “하이 레벨”의 VPIX 신호(185)에 따라, SD 노드(199)를 “하이 레벨”로 리셋 시킬 수 있고, SD 커패시터(195)로부터 전자들을 제거할 수 있다. 그 동안에, FD 노드(188)는 (아래의 FD 리셋 이벤트(215)) 마찬가지로 리셋 된다. SD 노드(199)에서의 전압 또는 SD 리셋 이벤트는 도 10에 도시되지 않는다.

도 4 및 도 6의 실시예와 대조적으로, TX 파형(183)에서 언급된 바와 같이, 셔터(157)가 “활성화”되고 VTX 신호(182)가 상승(램프)될 때, PPD 전하는 진폭 변조되고, 처음에 도 9 및 도 10의 실시예의 SD 노드(199)로 (SD 커패시터(195)를 통하여) 이동된다. 셔터 “온” 구간(214) 동안 픽셀(145, 도 9)의 적어도 두 개의 SPAD들에 의한 광자들의 검출 시에, TXEN 신호(178)는 “로우 레벨”로 진행하고, 최초의 PPD(59)에서 SD 노드(199)로의 전하 이동은 중단된다. SD 노드(199)에서 저장된 이동된 전하는 제1 읽기 구간(216) 동안, Pixout 라인(60)에서 (Pixout 1 출력으로) 읽혀질 수 있다. 전자 셔터(157)가 FD 노드(188)를 리셋 하도록 비활성화 또는 턴 “오프”된 후에, 제1 읽기 구간(216)에서, RST 신호(180)는 잠시 “하이 레벨”로 어설트될 수 있다. 그 후에, TX2 신호(200)는 “하이 레벨”로 펄스되어, TX2가 “하이 레벨”인 동안, SD 노드(199)에서 FD 노드(188)로 전하를 이동시킬 수 있다. FD 전압 파형(188)은 이러한 전하 이동 동작을 설명한다. 이동된 전하는 그 후 제1 읽기 구간(216) 동안, SEL 신호(186, 도 10에서 미도시)를 사용하여 Pixout 라인(60)을 통하여 (Pixout 1 전압으로) 읽혀질 수 있다.

제1 읽기 구간(216) 동안, 초기의 전하가 SD 노드에서 FD 노드로 이동되고, TX2 신호(200)가 논리 “로우” 레벨로 돌아온 후에, TXRMD 신호(207)는 “하이 레벨”로 어설트(펄스) 되어, TXEN 입력(178)에서 “하이 레벨”의 펄스를 생성할게 할 수 있으며, 차례로, 도 10의 참조 번호 “208”로 표시되는 바와 같이, TX 입력(183)에서 “하이 레벨”의 펄스를 생성하여, PPD(59)에 남아있는 전하를 (SD 커패시터(195)를 통하여) SD 노드(199)로 이동하게 할 수 있다. 그 후에, FD 노드(188)는, RST 신호(180)가 잠시 “하이 레벨”로 다시 어설트될 때, 다시 리셋될 수 있다. 제2 RST 하이 레벨 펄스는 제2 읽기 구간(218)을 정의할 수 있으며, 제2 읽기 구간(218)에서 TX2 신호(200)는 다시 “하이 레벨”로 펄스되어, “PPD의 나머지 전하(이벤트 208)를 SD 노드(199)에서 FD 노드(188)로 TX2가 “하이 레벨”일 동안 이동”하게 할 수 있다. FD전압 파형(188)은 제2 전하 이동 동작을 보여준다. 이동된 남아있는 전하는 그 후 제2 읽기 구간(218) 동안, SEL 신호(186, 도 10에서 미도시)를 사용하여 Pixout 라인(60)을 통하여 (Pixout 2 전압으로) 읽혀질 수 있다. 앞서 언급된 바와 같이, PIXOUT 1 및 PIXOUT 2 신호들은 적절한 ADC 유닛(미도시)에 의하여 상응하는 디지털 값들(P1 및 P2)로 변환될 수 있다. 일부 실시예들에서, 이러한 P1 및 P2 값들은, 픽셀(145)과 3차원 객체(26) 사이의 픽셀-특유 거리/범위를 결정하기 위하여 상술된 수학식 2 또는 수학식 3에서 사용될 수 있다. 도 10에서 설명된 SD 기반의 전하 이동은, 도 9의 설명을 참조하여 앞서 설명된 바와 같이, 한 쌍의 픽셀-특유 CDS 출력들을 생성하도록 한다. CDS 기반의 신호 처리는, 역시 이전에 언급된 바와 같이, 추가적인 잡음 감소를 제공한다.

도 11a 내지 도 11c는 본 발명의 특정 실시예에 따른 픽셀 어레이 구조들의 세 가지 예들을 도시한 도면이다. 도 11a 내지 도 11c에 도시된 임의의 픽셀 어레이 구조들은 도 2의 픽셀 어레이(42)를 구현하는데 사용될 수 있다. 도 11a에서, 예시적인 2x2 픽셀 어레이(220)가 도시되며, 여기에서 (일부 실시예들에서 도 3의 픽셀(43)을 나타낼 수 있는) 픽셀(222~225) 각각은 하나의 픽셀-특유 PPD 코어 및 4개의 픽셀-특유 SPAD 코어들을 포함한다. 도면의 단순화를 위하여, 이러한 PPD 및 SPAD 코어들은 단순히 픽셀(222)로 식별되며, PPD 코어는 참조 번호 “227”로 식별되고, PAD 코어는 참조 번호 “228”에서 “231”로 식별된다. 도 11a에 도시된 구조는 주어진 사이즈의 반도체 다이 상의 픽셀 각각에 의하여 점유되는 물리적인 공간으로 인하여, 낮은 (공간적인) 해상도를 갖는 구조로 간주될 수 있다. 그 결과, 감소된 수의 픽셀들이, 예시적으로 3x3의 픽셀 어레이(233)로 높은 해상도를 갖는 구조를 도시하는 도 11b의 구조와 비교하여, 다이 상의 픽셀 어레이에 형성될 수 있다. 도 11b의 높은 해상도를 갖는 구조에서, 하나의 SPAD 코어는 4개(2x2)의 인접한 PPD 코어들에 의하여 공유된다. 예를 들어, 도 11b에서, SPAD 코어(235)는 인접한 픽셀들(237, 238, 239, 240, 각각이 일부 실시예들에서 도 3의 픽셀(43)을 나타낸다)의 PPD 코어들에 의하여 공유되는 것으로 도시된다. 다시, 도면의 단순화를 위하여, 도 11b의 픽셀 어레이(233)의 다른 구성 요소들은 참조 번호로 식별되지 않는다. 4개의 인접한 픽셀들 사이의 SPAD의 공유가 픽셀의 PPD와 픽셀과 연관된 SPAD들 사이의 1:1의 유효 비율을 발생시킴이 도 11b의 구성(233)으로부터 관찰된다. 이러한 공유는 (도 11c에 도시된 바와 같이) 3x3 공유 또는 그보다 많게 확장될 수 있다. 도 11b의 SPAD를 공유하는 구성은 픽셀 어레이에 대하여 높은 (공간적인) 해상도를 갖는 구조를 발생시킨다. 이는 SPAD 각각이 다이 상의 인접한 픽셀들 사이에서 공유될 때, 이로 인하여, 다이 상에 더 많은 픽셀들을 수용할 더 많은 공간이 생김으로써, 더 많은 픽셀들이 픽셀 어레이에 형성될 수 있기 때문이다. 나아가, 도 11b의 어레이(233)에서의 픽셀이 2x2 구성의 4개의 SPAD 코어들과 연관된 단일한 PPD 코어를 가지므로, 동시에 최대 4개의 광자들이 (SPAD 당 하나의 광자) 픽셀 각각에 의하여 검출될 수 있다.

도 11a 및 도 11b는 PPD들과 SPAD들이 단일한 다이에 구현된 구성을 도시한 것으로 언급된다. 즉, SPAD들 및 PPD들은 다이에 동일한 레벨 상에 있다. 반면에, 도 11c는 예시적인 4x4 픽셀 어레이(244)를 도시하며, 4x4 픽셀 어레이(244)에서 픽셀들은 예를 들어, 상층 다이의 SPAD 코어들과 하층 다이의 PPD 코어들 (그리고 읽기 회로들)과 같이, 적층된 다이들에 구현된다. 따라서, PPD들 및 SPAD들은 적층된 두 개의 다른 다이들 상에 있을 수 있으며, 이러한 다이들 상의 회로 소자들(PPD들, SPAD들, 트랜지스터들 등)은 와이어들 또는 메탈 범프들에 의하여 전기적으로 연결될 수 있다. 도 11b의 실시예와 같이, 도 11c의 픽셀 구성(244)은 또한 높은 해상도를 갖는 구조를 제공하며, 이 구조에서는 단일한 SPAD 코어는 9개(3x3)의 인접한 PPD 코어들에 의하여 공유될 수 있다. 동등하게, 도 11c에 도시된 바와 같이, PPD 코어(246)와 같은 단일한 PPD 코어는 SPAD 코어들(248~256)과 같은 9개의 SPAD 코어들과 연관되어, 단일한 픽셀을 형성한다. 이러한 SPAD 코어들(248~256)은 또한 다른 픽셀들에 의하여 공유될 수 있다. 도면의 단순화를 위하여, 다른 픽셀들, 그것들의 PPD 코어들, 및 연관된 SPAD 코어들은 도 11c의 참조 번호로 식별되지 않는다. 나아가, 도 11c의 어레이(244)의 픽셀이 3x3 구성의 9개의 SPAD 코어들과 연관된 단일한 PPD 코어를 가지므로, 동시에 최대 9개의 광자들이 (SPAD 당 하나의 광자) 픽셀 각각에 의하여 검출될 수 있다.

도 12는 본 발명의 특정 실시예들에 따른 논리 유닛(66, 도 4) 또는 논리 유닛(170, 도 9)과 같은 논리 유닛이, 픽셀(62, 도 4) 또는 픽셀(145, 도 9)과 같은 픽셀에 구현될 수 있는 방법을 도시한 도면이다. 도 12는 도 11a 또는 도 11b에 도시된 것과 같은 2x2 구성의 4개의 SPAD 코어들(263~266)과 연관된 PPD 코어(262)를 갖는 픽셀(260) (임의의 픽셀들(62 또는 145)을 나타낸다.)의 매우 단순화된 도면을 도시한다. 따라서, 4개의 SPAD들의 이용 가능성은 동시에 최대 4개의 (시공간적으로 상관된) 광자들(SPAD 당 하나의 광자)의 검출을 가능케 한다. 특정 실시예들에서, 픽셀(260)의 논리 유닛(미도시)은 도 12에 도시된 F(x, y) 및 G(a, b, c, d) 함수들을 구현하는 논리 회로(미도시)를 포함할 수 있다. 도 12의 블록들(267~270)은 F(x, y) 함수를 구현하는 논리 회로의 입력들 및 출력들을 도시한다. 따라서, 블록들(267~270)은 이러한 논리 회로들을 나타내는 것으로 간주되고, 픽셀(260)의 논리 유닛의 일부를 공통적으로 형성하는 것으로 간주된다. 설명의 편의상, 이러한 블록들은 “F(x, y) 블록들”로 지칭된다. 나아가, 비록 블록들(267~270)이 도시의 편의상 PPD 코어(262) 외부에 도시되나, 블록들(267~270)의 기능들을 구현하는 논리 회로들은 PPD 코어(262)의 논리 유닛(미도시)의 일부일 수 있음이 이해될 것이다.

도시된 바와 같이, F(x, y) 블록들(267~270) 각각은 두 개의 입력들(두 개의 연관된 SPAD 코어들 각각으로부터 하나의 입력) “x” 및 “y”를 수신한다. 도 3 및 도 4의 문맥에서, 이러한 입력들은 SPAD 코어들(50)로부터 출력 신호들(57)의 형식일 수 있다. 도 9의 문맥에서, SPAD 출력들(159, 167)은 논리 유닛(170)의 F(x, y) 블록들에 필요한 “x”, “y” 입력들을 나타낼 수 있다. 한 쌍의 SPAD 코어들 당 유사한 두 개의 입력을 갖는 F(x, y) 블록들은, 예를 들어, 도 11c의 픽셀 어레이 구성(244)과 같은, PPD 코어와 연관된 4개 보다 많은 SPAD 코어들을 갖는 픽셀들을 위하여 고안될 수 있다. 특정 실시예들에서, 모든 F(x, y) 블록들(267~270)은 PPD 코어(262)의 단일한 F(x, y) 유닛을 통하여 통합 및 구현될 수 있다. 이러한 PPD 코어(262)의 단일한 F(x, y) 유닛은 SPAD 출력들의 서로 다른 쌍들에 대하여 동작하도록 구성되는 논리 회로들을 포함하여, F(x, y) 블록들(267~270) 각각의 기능을, “x” 및 “y” 입력들로 구현할 수 있다. 이전에 언급된 바와 같이, 본 발명의 교시들에 따른 TOF 측정은 픽셀에서 적어도 두 개의 SPAD들에 의하여 시공간적으로 상관되는 광자들의 검출에 근거한다. 따라서, 도 12에서 언급된 바와 같이, F(x, y) 블록(267~270) 각각은 (더욱 구체적으로, F(x, y) 블록에서의 논리 회로) 다음의 기 정의된 동작들을 수행하도록 구성된다. 이러한 동작은 (i) 동시에 2개 또는 4개의 광자들을 검출하도록 (x*y)로 주어진 “x” 및 “y” 입력들 각각에 대한 논리적 NAND 동작, 및 (ii) 동시에 3개의 광자들을 검출하도록 (x+y)로 주어진 “x” 및 “y” 입력들 각각에 대한 논리적 NOR 동작이다. 따라서, 2개(또는 4개 모두)의 SPAD들이 셔터 “온” 구간 동안 광자들을 검출함을 SPAD 코어들(263~266)로부터의 신호들(57, 도 3)이 나타낼 때, F(x, y) 블록들(267~270)을 구현하는 논리 회로는 논리적 NAND 동작을 수행할 수 있다. 유사하게, 3개의 SPAD들이 셔터 “온” 구간 동안 광자들을 검출함을 SPAD 코어들(263~266)로부터의 신호들(57)이 나타낼 때, 논리적인 NOR 동작이 선택될 수 있다. 도 12의 예시적인 실시예에서, 3개의 SPAD 코어들(264~266) 각각이 리턴 펄스(37, 도 2)와 같은 입사 광을 검출할 때, 3개의 펄스들(271~273)은 동시에 3개의 광자들의 검출의 경우를 나타내는 것으로 도시된다.

도 12를 다시 참조하면, F(x, y) 블록(267~270) 각각의 출력은 상응하는 참조 문자 “a”, “b”, “c”, 및 “d”를 사용하여 도시된다. PPD 코어(262)의 논리 유닛(미도시)은 추가적인 논리 회로(미도시)를 포함하여 이러한 출력들 “a” 내지 “d”를 수신 및 처리할 수 있다. 논리 회로는 4개의 이러한 출력들 모두를 입력들로 수신할 수 있고, 기 정의된 논리 함수 “G(a, b, c, d)”에 따라 동작할 수 있다. 예를 들어, 도 12에 나타난 바와 같이, 동시에 2개의 광자들의 검출의 경우에, G( ) 함수는 “a” 내지 “d”의 4개의 모든 입력들에 대하여 (a*b*c*d)로 주어진 논리적 NAND 동작을 수행할 수 있다. 반면에, 동시에 3개 또는 4새의 광자들의 검출의 경우에, G( ) 함수는 “a” 내지 “d”의 4개의 모든 입력들에 대하여 (a+b+c+d)로 주어진 논리적 NOR 동작을 수행할 수 있다. 일 실시예에서, 도 4의 TXEN 신호(75) 또는 도 9의 TXEN 신호(178)와 같은 TXEN 신호는 G( ) 함수를 구현하는 논리 회로의 출력일 수 있다. 다른 실시예에서, G( ) 함수를 위한 논리 회로의 출력은, 예를 들어, 도 10의 TXRMD 신호(207)와 같은 내부적으로 생성된 신호와 OR 연산되어, 최종 TXEN 신호를 획득할 수 있다.

요약하면, 본 발명은 픽셀의 PPD를 시간-전하 변환기로 사용하며, 시간-전하 변환기의 진폭 변조 기반의 전하 이동 동작은 TOF를 결정하는 픽셀의 다수의 인접한 SPAD들로부터의 출력들에 의하여 제어된다. 주변 광이 높을 때, SPAD가 반사된 광자(예를 들어, 반사된 펄스(37)) 대신에 주변 광자에 의하여 트리거될 확률이 높을 수 있다. 이러한 트리거에 대한 의존은 범위 측정의 오차를 발생시킬 수 있다. 그러므로, 본 발명에서, 두 개 이상의 SPAD들이, 예를 들어, 전자 셔터가 “온”될 때와 같이, 매우 짧은 기 정의된 시간 간격 이내에서 트리거될 때만, PPD 전하 이동은 TOF를 기록하도록 중단된다. 그 결과, 본 발명에 교시된 바와 같은 전천후 자율 주행 시스템은 예를 들어, 낮은 광, 안개, 악천후, 강한 주변 광 등과 같은 어려운 주행 조건들 하에서 운전자를 위한 향상된 시야를 제공할 수 있다. 일부 실시예들에서, 본 발명의 교시들에 따른 네비게이션 시스템은 100 킬로 lux (100kLux) 까지의 높은 주변 광 제거 레벨을 가질 수 있다. 특정 실시예들에서, 더 작은 픽셀 사이즈를 갖는 높은 공간적 해상도 픽셀 구조가 SPAD와 PPD의 1:1 비율로 제공될 수 있다. 일부 실시예들에서, SPAD들은 항복 전압(breakdown voltage) 아래로 바이어스 될 수 있고, 애벌란치 포토 다이오드(Avalanche Photo Diode, APD) 모드로 사용될 수 있다.

도 13은 본 발명의 일 실시예에 따른 도 1 및 도 2의 시스템(15)의 전반적인 레이아웃을 도시한 도면이다. 이로 인하여, 설명 및 참조의 편의상, 동일한 참조 번호들이 공통된 시스템 구성 요소들/유닛들에 대하여 도 1, 도 2 및 도 13에서 사용된다.

앞서 설명된 바와 같이, 이미지 모듈(17)은 도 2, 도 3, 도 4 (또는 도 9)의 예시적인 실시예들에서 도시된 원하는 하드웨어를 포함하여, 본 발명의 양상에 따른 2차원/3차원 이미징 및 TOF 측정을 달성하도록 할 수 있다. 프로세서(19)는 다수의 외부 장치들과 인터페이스하도록 구성될 수 있다. 일 실시예에서, 이미지 모듈(17)은 데이터 입력들을 (예를 들어, 도 8의 P1 및 P2 값들과 같은 처리된 픽셀 출력들의 형식으로) 추가 처리를 위한 프로세서(19)에 제공하는 입력 장치로 기능할 수 있다. 또한, 프로세서(19)는 시스템(15)의 일부일 수 있는 다른 입력 장치들(미도시)로부터 입력들을 수신할 수 있다. 이러한 입력 장치들의 일부 예들은 컴퓨터 키보드, 터치 패드, 터치 스크린, 조이스틱, 물리적 또는 가상의 “클릭 가능한 버튼”, 및/또는 컴퓨터 마우스/포인팅 장치를 포함한다. 도 13에서, 프로세서(19)는 시스템 메모리(20), 주변 스토리지 유닛(275), 하나 이상의 출력 장치들(277), 및 네트워크 인터페이스 유닛(278)에 결합되는 것으로 도시된다. 도 13에서, 디스플레이 유닛은 출력 장치(277)로 도시된다. 일부 실시예들에서, 시스템(15)은 하나 이상의 도시된 장치들을 포함할 수 있다. 시스템(15)의 일부 예들은 컴퓨터 시스템(데스트탑 또는 랩탑), 태블릿 컴퓨터, 모바일 장치, 휴대폰, 비디오 게임 유닛 또는 콘솔, M2M(machine-to-machine) 통신 유닛, 로봇, 자동차, 가상 현실 장비, 비상태 신 클라이언트 시스템(stateless “thin” client system), 차량의 대쉬 캠(dash cam) 또는 후방 카메라 시스템, 자율 주행 시스템, 또는 임의의 다른 형식의 컴퓨팅 또는 데이터 처리 장치를 포함한다. 다양한 실시예들에서, 도 13에 도시된 모든 구성 요소들은 단일한 하우징 내에 수납될 수 있다. 따라서, 시스템(15)은 독립 시스템 또는 임의의 다른 적절한 폼 팩터로 구성될 수 있다. 일부 실시예들에서, 시스템(15)은 서버 시스템보다 오히려 클라이언트 시스템으로 구성될 수 있다. 특정 실시예들에서, 시스템(15)은 하나 이상의 프로세서(예를 들어, 분산된 처리 구성으로)를 포함할 수 있다. 시스템(15)이 멀티 프로세서 시스템일 때, 하나 이상의 프로세서들(19) 또는 그것들의 인터페이스들(미도시) 각각을 통하여 프로세서(19)와 결합되는 다수의 프로세서들이 있을 수 있다. 프로세서(19)는 시스템 온 칩(SoC) 및/또는 하나 이상의 CPU(Central Processing Unit)를 포함할 수 있다.

앞서 언급된 바와 같이, 시스템 메모리(20)는 예를 들어, DRAM, SRAM, PRAM, RRAM, CBRAM, MRAM, STT-MRAM, 등과 같은 임의의 반도체 기반의 스토리지 시스템일 수 있다. 일부 실시예들에서, 메모리 유닛(20)은 하나 이상의 non-3DS 메모리 모듈들과 함께 적어도 하나의 3DS 메모리 모듈을 포함할 수 있다. non-3DS 메모리는 DDR/DDR2/DDR3/DDR4 SRAM(Double Data Rate 또는 Double Data Rate 2, 3, 또는 4 Synchronous Dynamic Random Access Memory), 또는 Rambus®DRAM, 플래시 메모리, 다양한 형식의 ROM(Read Only Memory) 등을 포함할 수 있다. 또한, 일부 실시예들에서, 시스템 메모리(20)는 단일한 형태의 메모리와 반대로, 다수의 다른 형태들의 반도체 메모리들을 포함할 수 있다. 다른 실시예들에서, 시스템 메모리(20)는 비-일시적 데이터 저장 매체(non-transitory data storage medium)일 수 있다.

주변 스토리지 유닛(275)은 다양한 실시예들에서, 하드 드라이브들, (CD들(Compact Disks) 또는 DVD들(Digital Versatile Disks)과 같은) 광학 디스크들, 비휘발성 RAM(Random Access Memory) 장치들 등과 같은 마그네틱, 옵티컬, 마그네틱-옵티컬, 또는 솔리드 스테이트 스토리지 매체에 대한 지원을 포함할 수 있다. 일부 실시예들에서, 주변 스토리지 유닛(275)은 (적절한 RAID(Redundant Array of Independent Disks) 구성일 수 있는) 디스크 어레이들 또는 SANs(Storage Area Networks)와 같은 더욱 복잡한 스토리지 장치들/시스템들을 포함할 수 있고, 주변 스토리지 유닛(275)은 SCSI(Small Computer System Interface) 인터페이스, Fibre Channel 인터페이스, Firewire®(IEEE 1394) 인터페이스, Peripheral Component Interface Express (PCI Express™표준 기반 인터페이스, Universal Serial Bus (USB) 프로토콜 기반 인터페이스, 또는 다른 적절한 인터페이스와 같은 표준의 주변 인터페이스를 통하여 프로세서(19)에 결합될 수 있다. 이러한 다양한 스토리지 장치들은 비일시적 데이터 스토리지 매체일 수 있다.

디스플레이 유닛(277)은 출력 장치의 예시일 수 있다. 다른 출력 장치의 예시들은 그래픽/디스플레이 장치, 컴퓨터 스크린, 알람 시스템, CAD/CAM(Computer Aided Design/Computer Aided Machining) 시스템, 비디오 게임 스테이션, 스마트폰 디스플레이 스크린, 자동차에서 대쉬보드가 탑재된 디스플레이 스크린, 또는 임의의 다른 형식의 데이터 출력 장치를 포함한다. 일부 실시예들에서, 이미지 모듈(17)과 같은 입력 장치(들), 및 디스플레이 유닛(277)과 같은 출력 장치(들)는 I/O 또는 주변 인터페이스(들)을 통하여 프로세서(19)와 결합될 수 있다.

일 실시예에서, 네트워크 인터페이스(278)는 프로세서(19)와 통신하여 시스템(15)이 네트워크(미도시)와 결합할 수 있도록 할 수 있다. 다른 실시예에서, 네트워크 인터페이스(278)는 전부 없을 수 있다. 네트워크 인터페이스(278)는 임의의 적절한 장치들, 매체 및/또는 유선이든 무선이든 시스템(15)을 네트워크와 연결하기 위한 프로토콜 콘텐츠를 포함할 수 있다. 다양한 실시예들에서, 네트워크는 LANs(Local Area Networks), WANs(Wide Area Networks), 유무선 이더넷, 통신 네트워크들, 위성 링크들, 또는 다른 적절한 형식의 네트워크들을 포함할 수 있다.

시스템(15)은 온 보드 전력 공급 유닛(280)을 포함하여, 전력을 도 13에 도시된 다양한 시스템 구성 요소들에 제공할 수 있다. 전력 공급 유닛(280)은 배터리들을 수신할 수 있거나, AC 전력 방출 수단 또는 자동차 기반의 전력 방출 수단과 연결될 수 있다. 일 실시예에서, 전력 공급 유닛(280)은 태양 에너지 또는 다른 재생 에너지를 전기적 전력으로 변환할 수 있다.

일 실시예에서, 이미지 모듈(17)은 예를 들어, Universal Serial Bus 2.0 or 3.0 (USB 2.0 or 3.0) 인터페이스 또는 상술된 바와 같은 고속의 인터페이스와 통합될 수 있다. 이는 임의의 퍼스널 컴퓨터(PC) 또는 랩탑에 연결될 수 있다. 예를 들어 시스템 메모리(20)와 같은 비-일시적이고 컴퓨터-판독 가능한 데이터 스토리지 매체 또는 CD/DVD와 같은 주변 데이터 스토리지 유닛은 프로그램 코드 또는 소프트웨어를 저장할 수 있다. 프로세서(19) 및/또는 이미지 모듈(17)의 픽셀 어레이 제어 유닛(46, 도 2)은 프로그램 코드를 실행하도록 구성될 수 있으며, 예를 들어, 도 1 내지 12를 참조하여 앞서 설명된 동작들로 상술된 바와 같이, 장치(15)는 픽셀-특유 거리/범위 값들을 이용한 2차원 이미징(예를 들어, 3차원 객체의 그레이 스케일 이미지), TOF 및 범위 측정들, 및 객체의 3차원 이미지의 생성을 수행하도록 동작할 수 있다. 예를 들어, 특정 실시예들에서, 프로그램 코드의 실행 시에, 프로세서(19) 및/또는 제어 유닛(46)은 도 8의 행 디코더/드라이버(125) 및 픽셀 열 유닛(128)과 같은 관련된 회로 구성 요소들을 적절하게 구성(또는 활성화)하여, Shutter, RST, VTX, SEL 신호들 등과 같은 적절한 입력 신호들을 픽셀 어레이(42)의 픽셀들(43)에 인가하고, 리턴 레이저 펄스로부터 광을 캡쳐하게 할 수 있고, TOF 및 범위 측정들에 필요한 픽셀-특유 P1 및 P2 값들에 대한 픽셀 출력들을 순차적으로 처리 할 수 있다. 프로그램 코드 또는 소프트웨어는 독점 소프트웨어 또는 오픈 소스 소프트웨어일 수 있으며, 이러한 소프트웨어는 프로세서(19) 및/또는 픽셀 어레이 제어 유닛(46)과 같은 적절한 처리 엔티티에 의한 실행 시에, 처리 엔티티가 다양한 픽셀-특유 ADC 출력들(P1 및 P2 값들)을 처리하고, 범위 값들을 결정하고, 예를 들어, TOF 기반의 범위 측정들에 근거한 멀리 떨어진 객체의 3차원 이미지를 표시하는 것을 포함하는 다양한 포맷들에 대한 결과를 렌더링하는 것을 가능케 할 수 있다. 일부 실시예들에서, 이미지 모듈(17)의 픽셀 어레이 제어 유닛(46)은, 픽셀 출력 데이터가 추가 처리를 위한 프로세서(19)와 디스플레이로 전송되기 전에, 픽셀 출력들의 처리 일부를 수행할 수 있다. 다른 실시예들에서, 프로세서(19)는 또한, 픽셀 어레이 제어 유닛(46)의 기능 일부 또는 전부를 수행할 수 있으며, 이러한 경우에, 픽셀 어레이 제어 유닛(46)은 이미지 모듈(17)의 일부가 아닐 수 있다.

앞선 설명에서, 제한이 아니라 설명의 목적으로, 구체적인 세부 설명들 (특정 구조들, 파형들, 인터페이스들, 기술들 등과 같은)이 개시된 기술의 완전한 이해를 제공하기 위하여 진술된다. 그러나, 개시된 기술이 이러한 구체적인 세부 설명들로부터 벗어난 다른 실시예들로 행하여질 수 있음이 당업자에 자명할 것이다. 즉, 당업자는, 비록 명백하게 여기에서 설명되거나 도시되지 않더라도, 개시된 기술의 원리들 구체화하는 다양한 배열들을 고안할 수 있을 것이다. 일부 예시들에서, 잘 알려진 장치들, 회로들, 및 방법들의 세부적인 설명들은 불필요한 세부 설명으로 개시된 기술의 설명이 애매해지지 않도록 생략된다. 특정 예시들뿐만 아니라, 여기에서 개시된 기술의 원리들, 양상들, 및 실시예들을 언급하는 모든 진술들은 구조적이고 기능적인 균등물들 모두를 포함하는 것으로 의도된다. 추가적으로, 이러한 균들물들은 현재의 알려진 균등물 및 예를 들어, 구조와 관계없이 동일한 기능을 수행하도록 개발되는 임의의 소자들과 같이, 미래의 개발된 균등물 모두를 포함하기 위한 것이다. 추가적으로, 이런 균등물들은 예를 들어 구조에 관계없이 같은 기능을 수행하는 개발된 임의의 요소들과 같은 미래에 개발되는 균등물 뿐만 아니라 현재 알려진 균등물들을 포함하는 것으로 되어있다.

따라서, 예를 들어, 여기에서의 블록도들(예를 들어, 도 1 내지 도 3)이 기술의 원리들을 구체화하는 도시적인 회로 또는 다른 기능적인 유닛들의 개념적인 관점들을 나타내는 것으로 당업자에 이해될 것이다. 유사하게, 도 7의 순서도가, 예를 들어, 프로젝터 모듈(22), 2차원 픽셀 어레이(42) 등과 같은 다양한 시스템 구성 요소들과 함께 프로세서(예를 들어, 도 2의 프로세서(19) 및/또는 픽셀 어레이 제어 유닛(46))에 의하여 실질적으로 수행될 수 있는 다양한 프로세스들을 나타내는 것으로 이해될 것이다. 이러한 프로세서는 예로써, 일반적인 목적의 프로세서, 특수 목적의 프로세서, 전통적인 프로세서, 디지털 신호 프로세서(DSP), 복수의 마이크로 프로세서들, DSP 코어와 연관된 하나 이상의 마이크로 프로세서들, 컨트롤러, 마이크로 컨트롤러, ASICs(Application Specific Integrated Circuits), FPGAs(Field Programmable Gate Arrays) 회로들, 임의의 다른 형식의 집적 회로(IC), 및/또는 스테이트 머신(state machine)을 포함할 수 있다. 도 1 내지 도 12의 문맥에서 상술된 처리 기능들의 일부 또는 모두는 또한 이러한 프로세서에 의하여 하드웨어 및/또는 소프트웨어로 제공될 수 있다.

일부 발명의 양상들이 소프트웨어 기반의 처리를 요구할 때, 이러한 소프트웨어 또는 프로그램 코드는 컴퓨터-판독 가능한 데이터 스토리지 매체에 존재할 수 있다. 앞서 언급된 바와 같이, 이러한 데이터 스토리지 매체는 주변 스토리지(275)의 일부일 수 있거나, 시스템 메모리(20) 또는 이미지 센서 유닛(24)의 임의의 내부 메모리(미도시), 또는 프로세서(19)의 내부 메모리(미도시)의 일부일 수 있다. 일 실시예에서, 프로세서(19) 및/또는 픽셀 어레이 제어 유닛(46)은 이러한 매체에 저장된 명령어들을 실행하여, 소프트웨어 기반의 처리를 수행할 수 있다. 컴퓨터-판독 가능한 데이터 스토리지 매체는, 상술된 일반적인 목적의 컴퓨터 또는 프로세서에 의한 실행을 위한 컴퓨터 프로그램, 소프트웨어, 펌웨어, 또는 마이크로 코드를 포함하는 비-일시적인 데이터 스토리지 매체일 수 있다. 컴퓨터-판독 가능한 스토리지 매체들은 예로써 ROM, RAM, 디지털 레지스터, 캐시 메모리, 반도체 메모리 장치들, 내장 하드 디스크들과 같은 마그네틱 매체, 마그내틱 테이프들 및 소거 가능한 디스크들, 마그네틱-옵티컬 매체, CD-ROM 및 DVD들과 같은 광학 매체를 포함한다.

본 발명의 실시예에 따른 이미지 모듈(17) 또는 이러한 이미지 모듈을 포함하는 시스템(15)의 선택적인 실시예들은, 상술된 임의의 기능 및/또는 본 발명의 교시들에 따른 솔루션을 지원하기 위하여 필요한 임의의 기능을 포함하는 추가적인 기능들을 제공하기 위하여, 추가적인 구성 요소들을 포함할 수 있다. 비록, 특징들 및 요소들이 특정 조합들로 위에서 설명되나, 특징 또는 요소 각각이 다른 특징들 및 요소들 없이 단독으로, 또는 다른 특징들과의 다양한 조합들 또는 다른 특징들 없는 다양한 조합들로 사용될 수 있다. 앞서 언급된 바와 같이, 여기에서 설명되는 다양한 2차원 및 3차원 이미지 기능들은 (하드웨어 회로와 같은) 하드웨어 및/또는 (앞서 언급된) 컴퓨터-판독 가능한 데이터 스토리지 매체에 저장된 코딩된 명령어들 또는 마이크로 코드의 형식으로 소프트웨어/펌웨어를 실행시키는 하드웨어의 사용을 통하여 제공될 수 있다. 따라서, 이러한 기능들 및 도시된 기능 블록들은 하드웨어로 구현되거나 컴퓨터로 구현되는 것으로 이해될 수 있고, 기계로 구현될 수 있는 것으로 이해될 수 있다.

앞서 언급된 것은 TOF 기술이 픽셀 각각의 단일한 PPD와 함께 다수의 SPAD들을 사용하여 픽셀 어레이의 픽셀 각각에서 아날로그 진폭 변조(AM)와 조합되는 시스템 및 방법을 설명한다. 픽셀에서의 PPD 및 SPAD들은 단일한 다이 또는 적층된 다이들에 구현될 수 있다. SPAD는 다수의 인접한 픽셀들 사이에 공유될 수 있다. TOF 정보는 픽셀 내부의 아날로그 도메인 기반의 단일-차동 변환기에 의하여 수신된 광 신호에 추가된다. 픽셀의 SPAD들에 인접한 다수의 출력들 사이의 시공간적 상관관계는 PPD의 동작을 제어하는데 사용되어, TOF 값들과 3차원 객체의 범위의 기록을 용이하게 한다. 주변 광에 기인한 오차 범위 측정들은, 픽셀에서의 두 개 이상의 SPAD들이 기 정의된 셔터 시간 간격 이내에 트리거될 때, PPD로부터의 전하 이동 (그리고, 이로 인한 TOF 값의 기록)을 중단시킴으로써 방지될 수 있다. 그 결과, 본 발명의 교시들에 따른 AM 기반의 TOF 이미지 센서를 사용하는 자율 주행 시스템은, 예를 들어, 낮은 광, 안개, 악천후, 강한 주변 광 등과 같은 어려운 운전 조건들 하에서 운전자를 위한 개선된 시야를 제공할 수 있다.

당업자에 의하여 이해되는 바와 같이, 본 발명에서 설명된 혁신적인 개념들은 상세한 설명의 넓은 범위에서 변경 및 수정될 수 있다. 따라서, 특허된 주제의 시야는 상술된 교시들의 임의의 특정 실시예에 제한되지 않고, 아래의 청구항들에 의하여 정의된다.

15: TOF 이미지 시스템 17: 이미지 모듈
19: 프로세서 20: 메모리
22: 프로젝터 모듈 24: 이미지 센서 유닛
26: 3차원 객체 42: 픽셀 어레이
43: 픽셀 46: 픽셀 어레이 제어 및 처리 회로들
50: SPAD 코어들 52: PPD 코어
54: 다수의 SPAD들 55: 제1 제어 회로
58: 제2 제어 회로 59: PPD
66: 논리 유닛

Claims (20)

1. 이미지 센서의 픽셀에 있어서,
   각각이 수신된 광을 상응하는 전기 신호로 변환하는 복수의 단일광자 애벌란치 다이오드(SPAD)들;
   상기 복수의 SPAD들에 결합되되, 상기 복수의 SPAD들 각각이 광을 수신하는 동안, 상기 복수의 SPAD들 각각으로부터의 상응하는 전기 신호를 처리하여 SPAD-특유 출력을 생성하는 제1 제어 회로;
   아날로그 전하를 저장하는 핀 포토 다이오드(PPD); 및
   상기 제1 제어 회로 및 상기 PPD와 결합되는 제2 제어 회로를 포함하고,
   상기 제2 제어 회로는 상기 PPD로부터 상기 아날로그 전하의 제1 부분의 이동을 시작시키고, 기 정의된 시간 간격 이내에 상기 제1 제어 회로로부터 적어도 두 개의 SPAD-특유 출력들을 수신 시에 상기 이동을 종료시키는 픽셀.
2. 제1 항에 있어서,
   상기 복수의 SPAD들, 상기 제1 제어 회로, 상기 PPD, 및 상기 제2 제어 회로 각각은 CMOS(Complementary Metal Oxide Semiconductor)부인 픽셀.
3. 제1 항에 있어서,
   상기 제2 제어 회로는 아날로그 변조 신호를 수신하고, 상기 아날로그 전하의 상기 제1 부분은 상기 아날로그 변조 신호에 의하여 제공되는 변조에 근거하여 이동되는 픽셀.
4. 제1 항에 있어서,
   상기 제2 제어 회로는 상기 PPD로부터 상기 아날로그 전하의 제2 부분을 이동시키고, 상기 제2 부분은 상기 제1 부분이 이동된 후에 상기 아날로그 전하의 나머지와 실질적으로 동일한 픽셀.
5. 제4 항에 있어서,
   상기 제2 제어 회로는,
   상기 제1 부분을 제1 픽셀-특유 출력으로, 상기 제2 부분을 제2 픽셀-특유 출력으로 상기 픽셀 외부로 이동시키는 출력 단자를 포함하고,
   상기 제2 제어 회로는 외부 입력을 수신하여, 상기 출력 단자에 상기 제1 및 제2 픽셀-특유 출력들을 응답적으로 생성하는 픽셀.
6. 제5 항에 있어서,
   상기 제2 제어 회로는,
   제1 노드 및 제2 노드를 더 포함하되,
   상기 제2 제어 회로는,
   상기 PPD로부터 상기 제1 노드로, 상기 제1 노드로부터 상기 제2 노드로, 상기 제2 노드로부터 상기 출력 단자로 상기 제1 부분을 상기 제1 픽셀-특유 출력으로서 이동시키고,
   상기 PPD로부터 상기 제1 노드로, 상기 제1 노드로부터 상기 제2 노드로, 상기 제2 노드로부터 상기 출력 단자로 상기 제2 부분을 상기 제2 픽셀-특유 출력으로서 이동시키는 픽셀.
7. 제1 항에 있어서,
   상기 픽셀에서 상기 복수의 SPAD들에 대한 상기 PPD의 유효 비율은 1:1인 픽셀.
8. 제1 항에 있어서,
   상기 복수의 SPAD들 전체는 상기 픽셀에서 N by N 구성으로 배열되는 픽셀 (N은 ≥2).
9. 레이저 펄스를 3차원 객체에 조사하는 단계;
   픽셀의 핀 포토 다이오드(PPD)로 아날로그 변조 신호를 인가하는 단계;
   상기 아날로그 변조 신호로부터 수신된 변조에 근거하여 상기 PPD에 저장된 아날로그 전하의 제1 부분의 이동을 시작하는 단계;
   상기 픽셀의 복수의 단일광자 애벌란치 다이오드(SPAD)들을 이용하여 리턴 펄스를 감지하되, 상기 리턴 펄스는 상기 3차원 객체로부터 반사된 상기 조사된 펄스이고, 상기 복수의 SPAD들 각각이 상기 리턴 펄스로부터 수신된 광을 상응하는 전기 신호로 변환하는 단계;
   상기 복수의 SPAD들 각각이 광을 수신하는 동안, 상기 상응하는 전기 신호를 처리하여 SPAD-특유 디지털 출력을 생성하는 단계;
   기 정의된 시간 간격 이내에 적어도 두 개의 상기 SPAD-특유 디지털 출력들의 생성 시에, 상기 아날로그 전하의 상기 제1 부분의 상기 이동을 종료하는 단계; 및
   상기 종료 시에, 이동된 상기 아날로그 전하의 상기 제1 부분에 근거하여 상기 리턴 펄스의 TOF(Time-of-Flight) 값을 결정하는 단계를 포함하는 방법.
10. 제9 항에 있어서,
    상기 PPD로부터 이동된 상기 아날로그 전하의 상기 제1 부분으로부터 상기 픽셀의 제1 픽셀-특유 출력을 생성하는 단계;
    상기 PPD로부터 상기 아날로그 전하의 제2 부분을 이동시키되 상기 제2 부분은 상기 제1 부분이 이동된 후에, 상기 아날로그 전하의 나머지와 실질적으로 동일한 단계;
    상기 PPD로부터 이동된 상기 아날로그 전하의 상기 제2 부분으로부터 상기 픽셀의 제2 픽셀-특유 출력을 생성하는 단계;
    아날로그 디지털 변환기를 이용하여 상기 제1 및 제2 픽셀-특유 출력들을 샘플링하는 단계; 및
    상기 샘플링에 근거하여, 상기 제1 픽셀-특유 출력에 상응하는 제1 신호 값, 및 상기 제2 픽셀-특유 출력에 상응하는 제2 신호 값을 상기 아날로그 디지털 변환기를 이용하여 생성하는 단계를 더 포함하는 방법.
11. 제10 항에 있어서,
    상기 제1 및 제2 신호 값들의 합계에 대한 상기 제1 신호 값의 비율을 이용하여 상기 리턴 펄스의 TOF 값을 결정하는 단계를 더 포함하는 방법.
12. 제11 항에 있어서,
    상기 TOF 값에 근거하여 상기 3차원 객체에 대한 거리를 결정하는 단계를 더 포함하는 방법.
13. 제9 항에 있어서,
    상기 레이저 펄스를 조사하는 단계 이후에, 기결정된 시간 동안 셔터 신호를 상기 픽셀에 더 인가하는 단계;
    상기 셔터 신호 및 상기 아날로그 변조 신호가 활성화되는 동안, 상기 복수의 SPAD들을 이용하여 상기 리턴 펄스를 감지하는 단계;
    상기 셔터 신호가 활성화되는 동안, 적어도 두 개의 SPAD-특유 디지털 출력들의 생성시 종료 신호를 제공하는 단계; 및
    상기 종료 신호에 응답하여 상기 아날로그 전하의 상기 제1 부분의 상기 이동을 종료하는 단계를 더 포함하는 방법.
14. 제9 항에 있어서,
    상기 레이저 펄스를 조사하는 단계는,
    광원을 이용하여 상기 레이저 펄스를 조사하는 단계를 포함하되,
    상기 광원은,
    레이저 광원, 가시 스펙트럼의 광을 생성하는 광원, 비-가시 스펙트럼의 광을 생성하는 광원, 단색성 광원, 적외선 레이저, X-Y 어드레서블 광원, 2차원 스캐닝 가능한 점광원, 1차원 스캐닝 가능한 면광원, 및 확산 레이저 중 하나인 방법.
15. 레이저 펄스를 3차원 객체에 조사하는 광원; 및
    이미지 센서 유닛을 포함하되,
    상기 이미지 센서 유닛은,
    2차원 픽셀 어레이로 배열되는 복수의 픽셀들; 및
    상기 2차원 픽셀 어레이에 결합되는 처리 유닛을 포함하고,
    상기 2차원 픽셀 어레이의 적어도 하나의 행의 픽셀들 각각은:
    각각이 상기 조사된 펄스의 상기 3차원 객체에 의한 반사로부터 기인한 리턴 펄스에서 수신된 광을, 상응하는 전기 신호로 변환하는 복수의 픽셀-특유 단일광자 애벌란치 다이오드(SPAD)들;
    상기 복수의 픽셀-특유 SPAD들에 결합되되, 상기 복수의 SPAD들 각각이 상기 리턴 펄스의 광을 수신하는 동안, 상기 SPAD로부터 상기 상응하는 전기 신호를 처리하여 SPAD-특유 출력을 생성하는 픽셀-특유 제1 제어 회로;
    아날로그 전하를 저장하는 픽셀-특유 장치; 및
    상기 픽셀-특유 제1 제어 회로 및 상기 픽셀-특유 장치와 결합되되, 상기 픽셀-특유 장치로부터 상기 아날로그 전하의 픽셀-특유 제1 부분의 이동을 시작시키고, 기 정의된 시간 간격 이내에 상기 픽셀-특유 제1 제어 회로로부터 적어도 두 개의 SPAD-특유 출력들을 수신 시에, 상기 이동을 종료시키는 픽셀-특유 제2 제어 회로를 포함하고,
    상기 처리 유닛은,
    상기 행의 픽셀들 각각의 상기 픽셀-특유 제2 제어 회로에 아날로그 변조 신호를 제공하여 상기 아날로그 전하의 상기 픽셀-특유 제1 부분의 상기 이동을 제어하고,
    상기 기 정의된 시간 간격 이내에 상기 아날로그 전하의 상기 픽셀-특유 제1 부분의 상기 이동에 근거하여 상기 리턴 펄스의 픽셀-특유 TOF 값을 결정하는 이미지 유닛.
16. 제15 항에 있어서,
    상기 픽셀-특유 장치는 핀 포토 다이오드(PPD)인 이미지 유닛.
17. 제16 항에 있어서,
    상기 행의 픽셀들 각각의 상기 픽셀-특유 제2 제어 회로는,
    픽셀-특유 제2 부분은, 상기 픽셀-특유 제1 부분이 이동된 후에, 상기 아날로그 전하의 나머지와 실직적으로 동일하고, 상기 픽셀-특유 장치로부터 상기 아날로그 전하의 상기 픽셀-특유 제2 부분을 이동시키고,
    이동된 상기 아날로그 전하의 상기 픽셀-특유 제1 부분으로부터 픽셀-특유 제1 출력을 생성하고, 이동된 상기 아날로그 전하의 상기 픽셀-특유 제2 부분으로부터 픽셀-특유 제2 출력을 생성하고,
    상기 처리 유닛은,
    상기 행의 픽셀들 각각으로부터 상기 픽셀-특유 제1 및 제2 출력들을 수신하고,
    상기 픽셀-특유 제1 출력에 근거하여 픽셀-특유 제1 디지털 값을 생성하고, 상기 픽셀-특유 제2 출력에 근거하여 픽셀-특유 제2 디지털 값을 생성하고,
    상기 픽셀-특유 제1 디지털 값 및 상기 픽셀-특유 제2 디지털 값을 이용하여 상기 리턴 펄스의 상기 픽셀-특유 TOF 값을 결정하는 이미지 유닛.
18. 레이저 펄스를 3차원 객체에 조사하는 광원; 및
    복수의 픽셀들;
    각각이 상기 복수의 픽셀들 각각에 연관되는 복수의 아날로그- 디지털 변환기 유닛들;
    프로그램 명령어들을 저장하기 위한 메모리; 및
    상기 메모리, 상기 복수의 아날로그 디지털 변환기 유닛들, 및 상기 복수의 픽셀들에 결합되고, 상기 프로그램 명령어들을 실행하는 프로세서를 포함하되,
    상기 복수의 픽셀들의 픽셀 각각은,
    아날로그 전하를 저장하는 픽셀-특유 핀 포토 다이오드(PPD);
    각각이, 상기 조사된 펄스의 상기 3차원 객체에 의한 반사로부터 기인한 리턴 펄스에서 수신된 광을, 상응하는 전기 신호로 변환하는 복수의 픽셀-특유 단일광자 애벌란치 다이오드(SPAD)들; 및
    상기 픽셀-특유 PPD 및 상기 복수의 픽셀-특유 SPAD들과 결합되는 픽셀-특유 제어 회로를 포함하되,
    상기 픽셀-특유 제어 회로는,
    상기 픽셀-특유 PPD로부터 상기 아날로그 전하의 픽셀-특유 제1 부분의 제1 이동을 시작시키고,
    상기 리턴 펄스의 광을 수신한 상기 SPAD들 각각으로부터 상기 상응하는 전기 신호를 처리하여 SPAD-특유 출력을 생성하고,
    기 정의된 시간 간격 이내에 적어도 두 개의 SPAD-특유 출력들을 생성 시에, 상기 제1 이동을 종료시키고,
    상기 픽셀-특유 PPD로부터 상기 아날로그 전하의 픽셀-특유 제2 부분의 이동을 시작시키며, 상기 픽셀-특유 제2 부분은, 상기 픽셀-특유 제1 부분이 이동된 후에, 상기 아날로그 전하의 나머지와 실질적으로 동일하고,
    상기 복수의 아날로그 디지털 변환기 유닛들 각각은,
    상기 아날로그 전하의 상기 픽셀-특유 제1 및 제2 부분들의 상기 제1 및 제2 이동들에 근거하여, 픽셀-특유 제1 신호 값 및 픽셀-특유 제2 신호 값을 포함하는 픽셀-특유 신호 값들의 쌍을 생성하고,
    상기 프로세서는,
    상기 복수의 픽셀들 각각에 대하여, 상기 아날로그 전하의 상기 픽셀-특유 제1 및 제2 부분들의 상기 제1 및 제2 이동들을 수행하게 하고,
    상기 픽셀-특유 신호 값들의 쌍 각각을 수신하고, 상기 픽셀-특유 제1 신호 값 및 상기 픽셀-특유 제2 신호 값을 이용하여 상기 리턴 펄스의 상응하는 픽셀-특유 TOF 값을 결정하고,
    상기 복수의 픽셀들 각각에 대하여, 상기 픽셀-특유 TOF 값에 근거하여 상기 3차원 객체에 대한 픽셀-특유 거리를 결정하는 시스템.
19. 제18 항에 있어서,
    상기 프로세서는 상기 픽셀들 각각의 상기 픽셀-특유 제어 회로에 아날로그 변조 신호를 제공하되, 상기 픽셀-특유 제어 회로들 각각은, 상기 아날로그 변조 신호에 의하여 제공된 변조에 근거한 상기 제1 이동 동안, 상기 아날로그 전하의 상기 픽셀-특유 제1 부분의 양을 제어하는 시스템.
20. 제18 항에 있어서,
    상기 광원은,
    레이저 광원, 가시 스펙트럼의 광을 생성하는 광원, 비-가시 스펙트럼의 광을 생성하는 광원, 단색성 광원, 적외선 레이저, X-Y 어드레서블 광원, 2차원 스캐닝 가능한 점광원, 1차원 스캐닝 가능한 면광원, 및 확산 레이저 중 하나인 시스템.
    

Images