KR102473735B1 - 이미징 장치의 동작 방법 - Google Patents

Abstract

본 발명에 따르면, 동일한 이미지 센서를 사용하여 3차원 객체에 대한 3차원 심도 측정 및 2차원 이미지를 캡쳐할 수 있다. 레이저는 이미지 센서의 픽셀 어레이에 의해 검출되어 삼각 측량을 사용하여 객체의 3차원 심도 프로파일을 생성하는 광점들을 사용하여 객체의 표면을 포인트 스캔한다. 픽셀 어레이의 픽셀들의 각 행은 대응하는 레이저 스캔 라인의 에피폴라 라인(epipolar line)을 형성한다. 타임스탬핑(Timestamping)은 캡쳐된 광점의 픽셀 위치 및 레이저의 각각의 스캔 각도 사이의 연관성을 제공하여 삼각 측량의 애매성을 제거한다. 이미지 센서의 아날로그 디지털 컨버터는 타임 디지털 컨버터(TDC)로써 동작하여 타임스탬프를 생성한다. 에피폴라 라인이 배열 불량이거나 또는 곡선인 경우, 복수의 TDC 어레이들은 복수의 행들의 복수의 픽셀들의 타임스탬프들을 실질적으로 동시에 생성한다. 복수의 타임스탬프들 값들은 조정되어 광점에 대한 하나의 타임스탬프 값이 획득된다.

Description

이미징 장치의 동작 방법{OPERATION METHOD OF IMAGING APPARATUS}

본 발명은 이미지 센서에 관한 것이다. 좀 더 상세하게는, 본 발명의 기술적 사상에 따른 특정 실시 예들은 삼각 측량 기반의 시스템(triangulation-based system)에서 불완전한 레이저 스캐닝 라인들(imperfect laser scan lines)의 허용 오차(tolerance)를 향상시키고, 레이저 포인트 스캔 및 CMOS(Complementary Metal Oxide Semiconductor) 이미지 센서를 사용하여 3차원 객체에 대한 심도 측정하는 방법에 관한 것이다. CMOS 이미지 센서는 3차원 객체의 2차원 이미징을 위하여 사용된다.

3차원(3D) 이미징 시스템들은 산업 생산(industrial production), 비디오 게임들, 컴퓨터 그래픽들, 로봇 수술, 소비지 디스플레이, 감시 비디오, 3차원 모델링, 부동산 매매 등과 같은 다양한 애플리케이션들에 점차 사용되고 있다.

기존의 3차원 이미징 기술들은 거리 이미징 기반의 TOF(time-of-flight), 스테레오 비전 시스템, 및 구조광(SL; structured light) 방법들을 포함한다.

TOF 방법에서, 3차원 객체와의 거리는 이미지의 각 포인트에 대하여 3차원 객체 및 카메라 사이의 광 신호가 이동한 시간을 측정함으로써 이미지 광의 잘 알려진 속도를 기반으로 검출된다. TOF 카메라는 스캐너가 없는 방식을 사용하여 각 레이저 또는 광 펄스와 함께 전체 장면을 캡쳐할 수 있다. TOF 방법의 일부 예시적인 애플리케이션들은 실시간 거리 이미지들에 기반된 선-사고 감지 또는 능동형 보행자 안전과 같은 향상된 자동차 애플리케이션, 비디오 게임 콘솔 상의 게임들과 상호 동작 동안 사용자의 움직임을 감지하는 것, 산업 머신 비전에서, 객체들을 분류하고, 컨베이너 벨트 상의 아이템들에 대한 로봇의 탐색을 돕는 것 등을 포함할 수 있다.

스테레오스코픽(stereoscopic) 이미징 또는 스테레오 비전 시스템들에서, 장면 또는 장면 내의 3차원 객체에 대한 두 개의 다른 뷰(views)를 획득하기 위하여 서로 수평적으로 위치한 두 개의 카메라들이 사용된다. 이러한 두 개의 이미지들을 비교함으로써, 3차원 객체에 대한 상대적인 심도 정보가 획득될 수 있다. 스테레오 비전(stereo vision)은 자율 시스템들 및 로봇들의 근처에서 3차원 객체의 상대적인 위치에 대한 정보를 추출하는 로봇 공학과 같은 분야에서 매우 중요하다. 로봇 공학에 대한 다른 애플리케이션들은 객체 인식을 포함한다. 스테레오 심도 정보는 로봇 시스템이 가로막힌 이미지 구성들(occluding image components)을 분리하도록 할 수 있다. 만약 상술된 이미지 구성들이 분리되지 않는다면, 로봇은 하나의 객체 및 하나의 객체 앞에 위치하여 부분적 또는 전체적으로 가려진 다른 객체와 같은 두 개의 분리된 객체들을 구분할 수 없다. 3차원 스테레오 디스플레이들은 엔터테인먼트 및 자동화 시스템에서 사용된다.

구조광(SL) 방법에서, 객체의 3차원 모양은 투영된 광 패턴들 및 이미징을 위한 카메라를 사용하여 측정될 수 있다. 구조광 방법에서, 그리드(grid), 수평 바(horizontal bar), 또는 평행 선(parallel stripe)과 같은 광의 잘 알려진 패턴은 장면 또는 장면 내의 3차원 객체로 투영된다. 투영된 패턴은 3차원 객체의 표면에 부딪힐 때, 교체되거나 또는 변형될 수 있다. 이러한 변형은 구조광 비전 시스템이 객체의 심도 및 표면 정보를 연산하도록 할 수 있다. 즉, 3차원 표면상에 협대역(narrow band)의 광을 투영하는 것은 프로젝터의 관점보다 다른 관점들로부터 왜곡되게 나타날 수 있는 조명의 라인을 생성하고, 빛나는 표면 모양의 기하적인 재구성을 위하여 사용될 수 있다. 구조광 기반의 3차원 이미징은 3차원 장면의 지문 감별기, 제조 공정에서의 내부 점검, 사람의 피부의 마이크로 구조 또는 사람의 신체 모양의 측정을 위한 헬스케어 장치 등과 같은 다른 애플리케이션들에서 사용될 수 있다.

본 발명의 목적은 향상된 성능 및 감소된 소비 전력을 갖는 이미징 유닛을 제공하는데 있다.

본 발명의 실시 예에 따른 방법은 광원을 사용하여 스캐닝 라인을 따라 3차원 객체의 1차원 포인트 스캔을 수행하는 단계; 단, 포인트 스캔은 상기 3차원 객체의 표면에 일련의 광점들(a sequence of light spots)을 투영하는 것을 포함하고, 이미지 센서의 픽셀들의 복수의 행들을 선택하는 단계; 단, 이미지 센서는 이미지 평면을 형성하는 2차원 어레이로 정렬된 복수의 픽셀들을 포함하고, 상기 복수의 선택된 행들 중 적어도 하나는 상기 이미지 평면상에서 상기 스캐닝 라인의 에피폴라 라인(epipolar line)의 일부를 형성하고, 상기 선택된 복수의 행들의 픽셀들에 있어서, 상기 일련의 광점들 중 대응하는 광점의 특정 픽셀 검출을 감지하는 단계; 공통 광점을 검출한 픽셀들의 그룹에 있어서, 실질적으로 동시에 상기 그룹의 각 픽셀에 대한 특정 픽셀 타임스탬프 값을 생성하는 단계; 및 상기 공통 광점을 투영하는 상기 광원에 의해 사용되는 스캔 각도 및 상기 생성된 특정 픽셀 타임스탬프 값들 중 적어도 하나를 기반으로 상기 3차원 객체의 표면에서 상기 공통 광점까지의 거리를 결정하는 단계를 포함한다.

본 발명의 실시 예에 따른 이미징 유닛은 스캐닝 라인을 따라 3차원 객체의 1차원 포인트 스캔을 수행하도록 동작하는 광원, 및 이미지 센서 유닛을 포함하고, 상기 포인트 스캔은 상기 3차원 객체의 표면에 일련의 광점들(a sequence of light spots)을 투영하는 것을 포함하고, 상기 이미지 센서 유닛은 복수의 픽셀들, 복수의 아날로그 디지털 컨버터(ADC; Analog-to-Digital Converter) 유닛들; 및 프로세싱 유닛을 포함하고, 상기 복수의 픽셀들은 이미지 평면을 형성하는 2차원 픽셀 어레이로 정렬되고, 상기 2차원 픽셀 어레이의 픽셀들의 열(column)의 각 픽셀은 상기 2차원 픽셀 어레이의 픽셀들의 각 행과 연관되고, 상기 열의 각 픽셀은 상기 일련의 광점들 중 대응하는 광점을 검출하도록 동작하고, 상기 복수의 ADC 유닛들은 상기 2차원 픽셀 어레이의 열과 연관되고, 픽셀들의 열의 상기 적어도 두 개의 인접한 픽셀들은 다른 ADC 유닛들과 연결되고, 상기 복수의 ADC 유닛들 각각은 상기 복수의 ADC 유닛들 각각과 연결된 각각의 픽셀에 의한 대응되는 광점의 특정 픽셀 검출에 응답하여 상기 연결된 각각의 픽셀에 대한 특정 픽셀 타임스탬프 값을 생성하도록 동작하고, 상기 프로세싱 유닛은 상기 복수의 ADC 유닛들과 연결되고, 상기 프로세싱 유닛은 상기 일련의 광점들 중 공통 광점을 검출하는 픽셀들의 그룹과 연관된 2차원 픽셀 어레이의 픽셀들의 복수의 행들을 선택하고, 상기 선택된 행들의 픽셀들에 대하여, 공통 광점의 특정 픽셀 검출을 감지하고, 상기 그룹의 상기 픽셀들과 연관된 복수의 ADC 유닛들을 트리거하여 상기 그룹의 각 픽셀에 대한 특정 픽셀 타임스탬프 값을 실질적으로 동시에 생성하고, 상기 공통 광점을 투영하는 광원에 의해 사용되는 스캔 각도 및 상기 생성된 특정 픽셀 타임스탬프 값들을 기반으로 상기 3차원 객체의 표면 상의 공통 광점까지의 거리를 결정한다.

본 발명에 따른 시스템은 광원, 복수의 픽셀들, 복수의 아날로그 디지털 컨버터(ADC; Analog-to-Digital Converter) 유닛들, 메모리, 및 프로세싱 유닛을 포함하고, 상기 광원은 스캐닝 라인을 따라 3차원 객체의 1차원 포인트 스캔을 수행하도록 동작하고, 상기 포인트 스캔은 상기 3차원 객체의 표면으로 일련의 광점들(a sequence of light spots)을 투영하는 것을 포함하고, 상기 복수의 픽셀들은 이미지 평면을 형성하는 2차원 픽셀 어레이로 정렬되고, 상기 2차원 픽셀 어레이의 픽셀들의 행의 각 픽셀은 상기 2차원 픽셀 어레이의 픽셀들의 각각의 행과 연관되고, 상기 열의 각 픽셀은 상기 일련의 광점들 중 대응하는 광점을 검출하도록 동작하고, 상기 복수의 ADC 유닛들은 상기 2차원 어레이의 픽셀들의 열마다 대응되고, 하나의 열중 인접한 적어도 두 개의 픽셀들은 다른 ADC 유닛들과 연결되고, 각 ADC 유닛은 상기 각 ADC 유닛과 연결된 픽셀들에 의해 상기 대응하는 광점의 특정 픽셀 검출에 응답하여 상기 각 ADC 유닛과 연결된 상기 픽셀들 각각에 대한 특정 픽셀 타임스탬프 값을 생성하도록 동작하고, 상기 메모리는 프로그램 명령어들을 저장하고, 상기 프로세서는 상기 메모리 및 상기 복수의 ADC 유닛들과 연결되고, 상기 프로세서는 상기 명령어들을 실행하도록 구성되고, 상기 프로세서는 상기 일련의 광점들 중 공통 광점을 검출하는 픽셀들의 그룹과 연관된 2차원 픽셀 어레이의 복수의 행들을 선택하고, 상기 선택된 복수의 행들 중 적어도 하나는 상기 이미지 평면상에서 상기 스캐닝 라인과 에피폴라 라인의 일부를 형성하고, 상기 선택된 행들의 픽셀들에 대하여 공통 광점의 픽셀 특정 검출을 감지하고, 상기 그룹의 상기 픽셀들과 연관된 상기 ADC 유닛들을 트리거하여 상기 그룹의 각 픽셀에 대한 특정 픽셀 타임스탬프를 실질적으로 동시에 생성하고, 적어도 상기 생성된 특정 픽셀 타임스탬프 값들 및 상기 공통 광점을 투영하는 상기 광원에 의해 사용되는 스캔 각도를 기반으로 상기 3차원 객체의 표면상에서 상기 공통 광점까지의 거리를 결정한다. .

본 발명에 따르면, 향상된 성능 및 감소된 소비 전력을 갖는 이미징 유닛의 동작 방법이 제공된다.

도 1은 본 발명의 실시 예에 따른 시스템을 예시적으로 보여주는 블록도이다.
도 2는 본 발명의 실시 예에 따른 도 1의 시스템의 기능적인 레이아웃을 보여주는 도면이다.
도 3은 본 발명의 실시 예에 따른 3차원 심도 측정이 수행되는 방법을 보여주는 순서도이다.
도 4는 본 발명의 실시 예에 따른 3차원 심도 측정을 위하여 포인트 스캔이 수행되는 방법을 설명하기 위한 도면이다.
도 5는 본 발명의 실시 예에 따른 스캔된 광점들에 대한 타임스탬핑을 설명하기 위한 도면이다.
도 6은 본 발명의 실시 예에 따른 도 1 및 도 2의 이미지 센서의 이미지 처리 유닛의 연관된 처리 회로들의 일부 및 2차원 픽셀 어레이의 예시적인 회로도를 보여주는 도면이다.
도 7a는 본 발명의 실시 예에 따른 이미지 센서 유닛의 예시적인 레이아웃을 보여주는 도면이다.
도 7b는 본 발명의 실시 예에 따른 3차원 심도 측정을 위한 CDS+ADC 유닛의 예시적인 회로도를 보여주는 도면이다.
도 8은 본 발명의 특정 실시 예들에 따른 3차원 모드의 동작에서 타임스탬프 기반의 특정 픽셀 출력들을 생성하기 위한 도 1 및 도 2의 시스템의 신호들의 타이밍을 예시적으로 보여주는 타이밍도이다.
도 9는 본 발명의 실시 예에 따른 동시의 타임스탬핑(simultaneous timestamping)을 사용하여 3차원 심도 측정 동안 복수의 픽셀들에 의해 공통 광점(common light spot)이 검출되는 상황을 해결하는 방법을 보여주는 순서도이다.
도 10은 본 발명의 실시 예에 따른 도 9에서 언급된 동시 타임스탬핑 방식이 구현될 수 있는 방법을 예시적으로 보여주는 도면이다.
도 11은 본 발명의 실시 예에 따라 동시 타임스탬프 방식을 구현하는 실시 예들에서 2차원 RGB 어레이가 픽셀 어레이로써 사용되는 것을 보여주는 예시적인 회로도이다.
도 12는 도 11의 RGB 어레이의 픽셀의 상세한 회로도이다.
도 13은 본 발명의 실시 예에 따른 도 11의 RGB 어레이 내의 다양한 픽셀들이 각각의 전송 신호를 활성화는 방법을 보여주는 도면이다.
도 14는 본 발명의 실시 예에 따른 동시 타임스탬핑 방식이 도 11의 RGB 어레이를 사용하는 TDC 어레이들의 감수된 개수로 구현될 수 있는 방법을 보여주는 예시적인 도면이다.
도 15는 본 발명의 실시 예에 따른 도 1 및 도 2의 시스템의 전체적인 레이아웃을 보여주는 도면이다.

이하의 본문에서, 다양한 상세한 설명들은 본문의 이해를 제공하기 위하여 제시된다. 그러나 이러한 상세한 설명 없이 기재된 본 발명의 사상이 당업자에 의해 용이하게 구현될 수 있음은 잘 이해될 것이다. 다른 예에서, 잘 알려진 방법들, 절차들, 구성들, 및 회로들은 본문을 모호하게 하지 않기 위하여 설명되지 않는다. 더욱이, 기재된 본 발명의 사상은 스마트폰, 사용자 장치, 랩탑 컴퓨터 등과 같은 시스템 또는 이미징 장치에서 저전력, 3차원 측정을 수행하도록 구현될 수 있다.

상세한 설명에서 "하나의 실시 예" 또는 "일 실시 예"를 참조하는 것은 실시 예와 연관된 특정한 특징, 구조, 또는 특성이 본문의 적어도 하나의 실시 예에 포함될 수 있음을 의미한다. 즉, 본문의 다양한 위치에서 사용되는 "하나의 실시 예에서" 또는 "일 실시 예에서" 또는 "하나의 실시 예에 따라" 또는 유사한 의미를 갖는 다른 표현들은 동일한 실시 예를 참조하는 것을 요구하지 않는다. 더욱이, 특정한 특징들, 구조들, 또는 특성들은 적절한 방식으로 하나 또는 그 이상의 실시 예들에서 조합될 수 있다. 또는, 본문에서 언급된 내용에 따라, 단수 용어는 복수의 형태를 포함하고, 복수 용어는 단수 형태를 포함할 수 있다. 유사하게, 하이픈으로 연결된 용어들(예를 들어, "two-dimensional," "pre-determined", "pixel-specific" 등)은 하이픈이 없는 용어들("two dimensional," "predetermined", "pixel specific" 등)로 상호변경(interchangeably)될 수 있다. 대문자로 기재된 용어들("Counter Clock," "Row Select," "PIXOUT," 등)은 대문자가 아닌 용어들("counter clock," "row select," "pixout")로 상호 변경되어 사용될 수 있다. 이러한 상호 변경은 서로 모순되는 것으로 고려되지 않는다.

"연결된", "기능적으로 연결된", "전기적으로 연결된" 등과 같은 용어들은 본문에서, 동작 방식에 따라 전기적/전자적으로 연결된 것의 조건을 일반적으로 참조하도록 상호 교환적으로 사용될 수 있다. 유사하게, 제1 엔트리가 제2 엔트리와 무선 또는 유선을 통해 전기적으로 정보 신호들을 정보 신호들의 형태와 무관하게 송수신하는 경우, 제1 엔트리는 제2 엔트리와 통신하는 것으로 고려될 수 있다. 정보 신호는 어드레스, 데이터 또는 제어 정보를 포함할 수 있다. 구성 도면들을 포함하는 다양한 도면들은 오직 설명의 목적을 위하여 본문에서 언급되고, 도시되며, 정량화되지 않는다. 유사하게, 다양한 파형들 및 타이밍도들은 단순히 설명의 목적을 위하여 도시된다.

"제1", "제2"와 같은 용어들은 앞서 설명된 구성에 대한 라벨로써 사용되고, 별도의 정의가 없는 한 특정한 순서(예를 들어, 공간적, 시간적, 논리적, 등)를 의도하는 것은 아니다. 더욱이, 동일한 참조 번호들은 동일하거나 또는 유사한 기능을 갖는 부분들, 구성들, 블록들, 회로들, 유닛들, 또는 모듈들을 지칭하기 위하여 둘 이상의 도면들에 걸쳐 사용될 수 있다. 그러나 이러한 사용은 단순히 설명의 간결성 및 편의를 위한 것이며, 이러한 구성들 및 유닛들의 구성 또는 구조적인 세부 사항들이 모든 실시 예들 또는 공통적으로 참조되는 부분들/모듈들에서 동일한 것으로 의도되지 않으며, 단순히, 본 발명의 특정 실시 예들을 지칭하기 위한 하나의 수단이다.

앞서 언급된 3차원 기술들은 다양한 문제점들을 갖는다. 예를 들어, TOF 기반의 3차원 이미징 시스템은 광학적 또는 전기적인 셔터들을 구동하기 위한 높은 전력을 요구한다. 이러한 시스템들은 일반적으로 수 미터 내지 수십 미터의 범위에서 동작한다. 그러나 이러한 시스템의 분해능(resolution)은 짧은 거리상에서 감소되며, 이로 인하여 대략 1미터 내의 3차원 이미징은 거의 비현실적이다. 이러한 이유로, TOF 시스템은 사진들이 대부분 가까운 거리에서 촬영되는 휴대전화 기반의 카메라 애플리케이션에서는 적절하지 않다. TOF 센서는 일반적으로 7um 이상의 큰 픽셀 사이즈를 갖는 특별한 픽셀들을 요구한다. 이러한 픽셀들은 주변 광(ambient light)에 취약할 수 있다.

스테레오스코픽 이미징 방식(stereoscopic imaging approach)은 일반적으로 조직적인 표면(textured surface)에서 동작한다. 이는 객체의 이미지들의 스테레오 쌍 사이에서 연관성을 찾고 특징들을 매칭시키는 것이 필요하기 때문에, 높은 계산 복잡도가 요구된다. 이는 높은 시스템 전력을 요구하며, 이는 스마트폰과 같이 전력 관리가 요구되는 시스템에서 적절한 시스템은 아니다. 더욱이, 스테레오 이미징은 두 개의 규칙적이고, 높은 비트 분해능을 갖는 센서들 및 두 개의 렌즈들을 요구하며, 이는 휴대 전화, 태블릿 등과 같은 휴대용 장치들에서의 애플리케이션에 대한 전체 조립을 어렵게 한다.

구조광 접근법(structured light approach)는 거리의 애매성(distance ambiguity)를 제공하고, 높은 시스템 전력을 요구한다. 3차원 심도를 측정하기 위하여, 구조광 방법은 다수의 패턴들을 포함하는 다수의 이미지들을 요구한다. 이는 계산 복잡성 및 전력 소모를 모두 증가시킨다. 더욱이, 구조광 이미징은 높은 비트 분해능을 갖는 규칙적인 이미지 센서들을 요구한다. 즉, 구조광 기반의 시스템은 스마트폰에서의 저비용, 저전력, 단순한 이미지 센서들에 부적절하다.

상술된 3차원 기술들과 대조적으로, 본 발명의 특정 실시 예는 스마트폰, 태블릿, 사용자 장치 등과 같은 휴대용 전자 장치들에서 3차원 이미징 시스템 및 저전력을 구현하기 위한 장치 및 방법을 제공한다. 본 발명의 특정 실시 예에 따른 2차원 이미지 센서는 가시광선 레이저 스캐닝(visible light laser scanning)을 통해 3차원 심도 측정 및 2차원 RGB(레드, 그린, 블루) 이미지들을 캡쳐할 수 있다. 비록 이하의 상세한 설명은 포인트 스캔을 위한 광원으로써 가시광선 레이저(visible light laser) 및 이미지 또는 광 캡쳐 장치로써 2차원 RGB 센서를 자주 언급하나, 이러한 언급은 단순히 설명의 편의를 위한 것이다. 이하에서 언급되는 실시 예들에 기반된 가시광선 레이저 및 RGB 센서는 스마트폰, 태블릿, 사용자 장치 등과 같은 카메라를 포함하는 사용자 레벨의 모바일 전자 장치들 및 저전력 애플리케이션으로 간주될 수 있다. 그러나 본 발명의 지칭들이 이하에서 언급되는 실시 예들에 기반된 가시광선 레이저 및 RGB 센서에 국한되지 않음은 잘 이해될 것이다. 본 발명의 특정 실시 예에 따르면, 포인트-스캔 기반의 3차원 심도 측정 및 주변 광 제거 방식은 포인트 스캔을 위한 레이저 광원 및 2차원 센서들의 다른 다양한 조합들을 사용하여 수행될 수 있다. 예를 들어, 포인트 스캔을 위한 레이저 광원 및 2차원 센서들의 다른 다양한 조합들은 (i) 레드(R), 그린(G), 또는 블루(B) 광 레이저이거나 또는 상술된 컬러들의 조합을 제공하는 가시광선 레이저 광원 및 2차원 컬러(RGB) 센서; (ii) 적외선(IR) 필터를 포함하는 2차원 RGB 컬러 센서 및 가시광선 레이저; (iii) 2차원 IR 센서 및 근접 적외선(NIR; near infraged) 레이저; (iv) NIR 필터가 없는 2차원 RGB 센서 및 NIR 레이저; (v) IR 필터가 없는 2차원 RGB 센서 및 NIR 레이저; (vi) NIR 필터가 없는 2차원 RGB 센서 및 NIR 레이저; (vii) 가시광선 또는 NIR 레이저 및 2차원 RGB-IR 센서; (viii) 가시광건 또는 NIR 레이저 중 하나 및 2차원 RGBW(레드, 그린, 블루, 화이트) 센서 등을 포함할 수 있다.

3차원 심도 측정 동안, 전체 센서는 3차원 컨텐츠를 재구성하기 위한 레이저 스캔과 함께 바이너리 센서로써 동작할 수 있다. 특정 실시 예에서, 센서의 픽셀 크기는 1㎛만큼 작을 수 있다. 더욱이, 낮은 비트 분해능으로 인하여, 본 발명의 특정 실시 예에 따른 이미지 센서의 ADC(Analog-to-Diginal Converter) 유닛은 종래의 3차원 이미징 시스템들의 높은 분해능에서 요구되는 전력보다 충분히 낮은 프로세싱 전력을 요구할 수 있다. 낮은 프로세싱 전력 때문에, 본 발명에 따른 3차원 이미징 모듈은 낮은 시스템 전력을 요구하고, 그로 인하여, 스마트폰과 같은 저전력 장치들에 포함되는 것에 적합할 수 있다.

특정 실시 예에서, 본 발명은 라인 센서들의 그룹들, 3차원 심도 측정을 위하여 레이저 광원을 사용하는 포인트 스캔 및 삼각 측량을 사용한다. 레이저 스캔 평면 및 이미징 평면은 에피폴라 기하(epipolar geometry)를 사용하여 지향(oriented) 된다. 본 발명의 실시 예에 따른 이미지 센서는 타임스탬프(timestamp)를 사용하여 삼각 측량 방식에서의 애매성(ambiguity)을 제거한다. 이로 인하여, 시스템 전력 및 심도 연산의 양이 감소된다. 동일한 이미지 센서(즉, 이미지 센서 내의 각 픽셀들)는 일반적인 2차원(RGB 컬러 또는 비-RGB 컬러) 이미지 모드뿐만 아니라, 3차원 레이저 스캔 모드에서 사용될 수 있다. 그러나 레이저 스캔 모드에서, 이미지 센서의 ADC의 분해능은 바이너리 출력(1-비트의 분해능)으로 감소된다. 그로 인하여, 프로세싱 유닛들 및 이미지 센서와 결합된 칩 내에서 출력 속도가 향상되고, ADC 유닛의 스위칭으로 인한 전력 소모가 감소된다. 더욱이, 포인트 스캔 방식은 시스템이 하나의 패스에서 모든 측정들을 획득할 수 있도록 하고, 이로 인하여, 심도 측정을 위한 레이턴시가 감소되고, 모션 블러(motion blur)가 감소된다.

앞서 언급된 바와 같이, 특정 실시 예에서, 전체 이미지 센서는 주변 광을 이용하여 통상적인 2차원 RGB 컬러 이미징을 위하여 사용될 뿐만 아니라, 가시광선 레이저 스캔을 사용하여 3차원 심도 이미징을 위하여 사용될 수 있다. 동일한 카메라 유닛의 이러한 이중적 사용(dual use)은 모바일 장치에서 공간 및 비용을 절약할 수 있다. 더욱이, 특정 애플리케이션에서, 3차원 애플리케이션들을 위한 가시광선 레이저의 사용은 근접 적외선(NIR; Near Infrared) 레이저의 사용과 비교하여 사용자의 눈에 대한 안정을 위하여 더 좋을 수 있다. 센서는 근접 적외선 스펙트럼에서 보다 가시광선 스펙트럼에서 더 높은 양자 효율을 가질 수 있고, 광원의 전력 소모를 감소시킬 수 있다. 일 실시 예에서, 이미지 센서의 이중적 사용은 일반적인 2차원 센서로써 2차원 이미징을 위한 선형 모드(linear mode)로 동작할 수 있다. 그러나 3차원 이미징을 위하여, 센서는 일반적인 광 조건에서 선형 모드로 동작할 수 있고, 강한 주변 광에서 대수적 모드(logarithmic mode)로 동작하여 강한 주변광의 제거를 통해 가시광선 레이저 소스의 연속적인 사용을 가능하게 할 수 있다. 더욱이, 주변광 제거는 NIR 레이저뿐만 아니라 RGB 센서에 채용된 IR 필터의 패스 대역의 대역폭이 충분히 좁지 않은 경우에서 요구될 수 있다.

도 1은 본 발명의 실시 예에 따른 시스템(15)의 간략화된 부분적 레이아웃을 보여주는 블록도이다. 도 1에 도시된 바와 같이, 시스템(15)은 호스트 또는 프로세서(19)와 통신하고, 연결된 이미징 모듈(17)을 포함할 수 있다. 시스템(15)은 프로세서(19)와 연결된 메모리 모듈(20)을 포함할 수 있다. 메모리 모듈(20)은 이미징 모듈(17)로부터 수신된 이미지 데이터와 같은 정보 컨텐츠를 저장할 수 있다. 특정 실시 예들에서, 전체 시스템(15)은 단일 집적 회로(IC; Integrated Circuit) 또는 단일 칩으로 구현될 수 있다. 또는, 모듈들(17, 19, 20) 각각은 별도의 칩들로 구현될 수 있다. 더욱이, 메모리 모듈(20)은 하나 또는 그 이상의 메모리 칩을 포함할 수 있고, 프로세서 모듈(19)은 멀티 프로세싱 칩들을 포함할 수 있다. 일부 경우에서, 도 1의 모듈들의 패키징에 대한 상세한 설명 및 그것들이 단일 칩 또는 복수의 별도의 칩들로 구현되거나 제조되는 방법은 본 발명의 기술적 사상과 연관되지 않으므로, 이에 대한 상세한 설명은 생략된다.

시스템(15)은 본 발명의 실시 예에 따른 2차원 및 3차원 카메라를 위하여 구성된 저전력 전자 장치일 수 있다. 시스템(15)은 휴대용 이거나 또는 비 휴대용일 수 있다. 시스템(15)의 휴대용 버전의 일부 예들은 모바일 장치, 셀폰, 스마트폰, 사용자 장치, 태블릿, 디지털 카메라, 랩탑, 데스크탑 컴퓨터, 전자 스마트 워치, M2M(Machine-to-Machine) 통신 유닛, 가상 현실 환경 또는 모듈, 로봇 등과 같은 소비자 전자 도구들을 포함할 수 있다. 반면에, 시스템(15)의 비휴대용 버전의 일부 예들은 비디오 게임의 게임 콘솔, 인터랙티브 비디오 단말기, 자동차, 머신 비전 시스템, 산업용 로봇, 가상 현실 장치, 자동차의 운전석에 장착된 카메라(예를 들어, 운전자가 인식하거나 또는 인식하지 못하는 모니터) 등을 포함할 수 있다. 본 발명의 실시 예에 따라 제공되는 3차원 이미징 기능은 다양한 애플리케이션들에서 사용될 수 있다. 예를 들어, 다양한 애플리케이션들은 가상 현실 환경에서의 가상 현실 애플리케이션, 온라인 채팅/게임, 3D 텍스팅, 상품의 3차원 이미지를 활용하여 온라인 또는 로컬 카다로그/데이터 베이스를 탐색하여 상품과 관련된 정보(예를 들어, 음식에 대한 칼로리 정보)를 획득하는 것, 로봇공학 및 머신 비전 애플리케이션, 자동화 운전 애플리케이션과 같은 자동차 애플리케이션 등을 포함한다.

본 발명의 특정 실시 예들에서, 이미징 모듈(17)은 광원 유닛(22)(light source unit) 및 이미지 센서 유닛(24)을 포함할 수 있다. 일 실시 예에서, 광원 유닛(22)은 가시광선 레이저(visible laser)일 수 있다. 다른 실시 예에서, 광원 유닛(22)은 근접 적외선 레이저(NIR laser; Near Infrared laser)일 수 있다. 이미지 센서 유닛(24)은 픽셀 어레이 및 보조 처리 회로를 더 포함할 수 있다. 광원 유닛(22) 및 이미지 센서 유닛(24)은 도 2를 참조하여 더욱 상세하게 설명된다.

일 실시 예에서, 프로세서(19)는 범용 마이크로 프로세서일 수 있는 중앙 처리 유닛(CPU; central processing unit)일 수 있다. 본문에서, "프로세서" 및 "CPU"의 용어들은 설명의 편의를 위하여 상호 교환적으로 사용될 수 있다. 그러나 CPU를 추가하거나 또는 그 대신에 프로세서(19)는 다른 프로세서들의 형태들을 포함할 수 있다. 프로세서의 다른 형태들은 마이크로컨트롤러, 디지털 신호 처리기(DSP; Digital Signal Processor), 그래픽 처리 유닛(GPU; Graphic Processing Unit), 전용 ASIC(Application Specific Integrated Circuit) 프로세서 등을 포함할 수 있다. 더욱이, 일 실시 예에서, 프로세서/호스트(19)는 분산된 프로세싱 환경에서 동작할 수 있는 하나 이상의 CPU를 포함할 수 있다. 프로세서(19)는 명령어들을 실행할 수 있고, 특정 ISA(Instruction Set Architecture)에 따라 데이터를 처리할 수 있다. 특정 ISA는 x86 ISA(32 비트 또는 64 비트 버전), a PowerPC® ISA, 또는 RISC (Reduced Instruction Set Computer) ISA에 의존하는 MIPS(Microprocessor without Interlocked Pipeline Stages) ISA를 포함할 수 있다. 일 실시 예에서, 프로세서(19)는 CPU 기능에 추가적인 기능들을 더 포함하는 시스템-온-칩(SoC; System on Chip)일 수 있다.

특정 실시 예들에서, 메모리 모듈(20)은 SDRAM(Synchronous Dynamic Random Access Memory), 또는 DRAM 기반의 3차원 스택(3DS; Three Dimensional Stack) 메모리 모듈과 같은 동적 랜덤 액세스 메모리(DRAM)일 수 있다. DRAM 기반의 3차원 스택 메모리 모듈은 고 대역 메모리(HBM; High Bandwidth Memory) 모듈, 하이브리드 메모리 큐브(HMC; Hybrid Memory Cube) 메모리 모듈을 포함할 수 있다. 다른 실시 예들에서, 메모리 모듈(20)은 솔리드 스테이트 드라이브(SSD; Solid State Drive), 비-3DS DRAM 모듈, 또는 다른 반도체 기반으로 스토리지 시스템일 수 있다. 다른 반도체 기반의 스토리지 시스템은 SRAM(Static Random Access Memory), PRAM 또는 PCRAM(Phase-Change Random Access Memory), RRAM 또는 ReRAM(Resistive Random Access Memory, (CBRAM)Conductive-Bridging RAM, MRAM(Magnetic RAM, STT-MRAM(Spin-Transfer Torque MRAM) 등을 포함할 수 있다.

도 2는 본 발명의 실시 예에 따른 도 1의 시스템(15)의 동작적인 레이아웃을 예시적으로 보여주는 도면이다. 시스템(15)은 3차원 객체(26)에 대한 Z-축에 따른 심도 정보(depth information)를 획득하기 위하여 사용될 수 있다. 3차원 객체(26)는 장면(scene) 내에 객체이거나 또는 독립적인 객체일 수 있다. 일 실시 예에서, 심도 정보는 이미지 센서 유닛(24)으로부터 수신된 스캔 데이터(scan data)를 기반으로 프로세서(19)에 의해 연산될 수 있다. 다른 실시 예에서, 심도 정보는 이미지 센서 유닛(24)에 의해 연산될 수 있다. 이미지 센서 유닛에 의해 심도 정보가 연산되는 실시 예는 도 7A를 참조하여 설명된다. 특정 실시 예들에서, 심도 정보는 3차원 사용자 인터페이스의 일부로써 프로세서(19)에 의해 사용되어 시스템(15)의 사용자가 객체의 3차원 이미지와 상호작용하거나 또는 시스템(15)에서 구동되는 다른 애플리케이션 또는 게임의 일부로써 객체의 3차원 이미지를 사용할 수 있다. 본 발명에 따른 3차원 이미징은 다른 목적 또는 애플리케이션들을 위하여 사용될 수 있고, 3차원 객체 또는 다른 장면에 실질적으로 적용될 수 있다.

도 2에서, X축은 시스템(15)의 전면을 따라 수평 방향으로 확장된다. Y축은 시스템(15)의 전면에 따른 수직 방향(도면의 페이지에서 외부로 향하는 방향)이며, Z축은 이미징된 객체(26)로의 일반적인 방향으로써 장치(15)로부터 확장되는 방향을 가리킨다. 심도 측정을 위하여, 광원 유닛(22) 및 이미지 센서 유닛(24)의 시각적인 축들(optical axes)은 Z-축과 평행할 수 있다. 다른 시각적인 정렬들은 본문에 기재된 이론들을 구현하기 위하여 사용될 수 있다. 또한 다른 정렬들은 본 발명의 기술적 사상 내에서 고려될 수 있다.

광원 유닛(22)은 광빔(light beam)의 예시적인 화살표(28~29)와 같이 3차원 객체(26)를 밝힐 수 있다. 예시적인 화살표들(28~29)은 장면의 시야 내의 3차원 객체(26)를 포인트 스캔하기 위하여 사용될 수 있는 광학 방사(optical radiation) 또는 광빔(light beam)의 조명 경로를 나타내는 대응하는 점선들(30~31)과 연관된다. 객체 표면의 라인-바이-라인(line-by-line) 포인트 스캔은 광학 방사 소스(optical radiation source)를 사용하여 수행될 수 있다. 일 실시 예에서, 광학 방사 소스는 레이저 제어기(34)에 의해 제어되고 동작되는 레이저 광원(33)(laser light source)일 수 있다. 레이저 광원(33)으로부터의 광빔(light beam)은 레이저 제어기(34)의 제어에 따라 프로젝션 광학 장치(projection optics)(35)을 통해 3차원 객체(26)의 표면을 따라 X-Y 방향으로 포인트 스캔될 수 있다. 이하에서, 도 4 및 도 5를 참조하여 설명되는 바와 같이, 포인트 스캔은 스캐닝 라인을 따라 3차원 객체(26)의 표면에 광점들(light spots)을 투영(project)할 수 있다. 프로젝션 광학 장치(35)는 3차원 객체(36)의 표면에 점 또는 포인트로써 레이저(33)로부터 레이저 빔을 집중시키는 포커싱 렌즈, 유리/플라스틱 표면, 또는 다른 원형 광학 요소일 수 있다. 도 2의 실시 예에서, 볼록한 구조(convex structure)가 프로젝션 광학 장치(35)(즉, 포커싱 렌즈)로써 도시된다. 그러나 다른 적절한 렌즈 디자인이 프로젝션 광학 장치(35)를 위하여 선택될 수 있다. 객체(26)는 레이저 광원(33)으로부터의 빛나는 광이 프로젝션 광학 장치(35)에 의해 광 점(light spot)으로써 집중된 포커싱 위치(focusing location)에 배치될 수 있다. 즉, 포인트 스캔에서, 3차원 객체(26)의 표면상의 포인트 또는 좁은 범위/점은 프로젝션 광학 장치(35)로부터 집중된 광 빔(light beam)에 의해 순차적으로 빛날 수 있다.

특정 실시 예에서, 레이저 광원(또는 조명 소스)(33)은 가시광선 스펙트럼 내의 단색 조명 소스(예를 들어, 백색 램프 및 모노크로메이터(monochromator)의 조합), 근접 적외선 레이저(NIR laser), 포인트 광원, 가시광선을 방출하는 다이오드 레이저 또는 LED(Light Emitting Diode) 또는 다른 레이저 광원의 다른 형태일 수 있다. 레이저 광원(33)은 시스템(15)의 케이스 내에 하나의 위치에 고정될 수 있다. 그러나 레이저 광원(33)은 X-Y 방향들로 회전할 수 있다. 레이저 광원(33)은 레이저 제어기(34)에 의해 X-Y 방향들로 제어되어 3차원 객체(26)의 포인트 스캔을 수행할 수 있다. 일 실시 예에서, 가시광선은 실질적으로 그린 광(green light)일 수 있다. 레이저 광원(33)으로부터의 가시광선 조명은 거울(미도시)을 사용하여 3차원 객체(26)의 표면에 투영될 수 있다. 또는 포인트 스캔은 거울 없이 수행될 수 있다. 특정 실시 예에서, 광원 유닛(22)은 도 2의 예시적인 실시 예들에 도시된 것들보다 더 많거나 혹은 더 적은 구성 요소들을 포함할 수 있다.

도 2의 실시 예에서, 3차원 객체(26)의 포인트 스캔으로부터 반사된 빛은 화살표(36~37) 및 점선(38~39)에 의해 지칭되는 수집 경로(collection path)를 따라 이동할 수 있다. 광 수집 경로(light collection path)는 레이저 광원(33)으로부터의 조명(또는 광)을 수신할 때, 3차원 객체(26)의 표현에 의해 분산되거나 또는 반사된 광자들이 운반되는 경로일 수 있다. 도 2, 도 4, 및 도 5의 화살표들 및 점선들을 사용하여 도시된 다양한 전파 경로들에 대한 묘사는 단순히 설명의 편의를 위한 것이다. 이러한 묘사는 실제 광학 신호들의 전파 경로들을 도시하는 것으로 고려되지 않는다. 실질적인 구현에서, 조명 및 수집 신호 경로들은 도 2에 도시된 것들과 다를 수 있고, 도 2에 도시된 바와 같이 명확하게 정의되지 않을 수 있다.

빛나는 3차원 객체(26)로부터 수신된 광은 이미지 센서 유닛(24)의 집광 장치(44)를 통해 2차원 픽셀 어레이(42)(또는 픽셀 어레이)의 하나 또는 그 이상의 픽셀들에 집중될 수 있다. 프로젝션 광학 장치(35)와 같이, 집광 장치(44)는 픽셀 어레이(42) 내의 하나 또는 그 이상의 픽셀들 상에 객체(26)로부터 수신된 반사광을 집중시키는 원통형 광학 장치, 유리/플라스틱 표면, 또는 포커싱 렌즈일 수 있다. 도 2의 실시 예에서, 볼록 구조(convex structure)가 집광 장치 (44)(즉, 포커싱 렌즈)로써 도시된다. 그러나 다른 적절한 렌즈 디자인이 집광 장치(44)를 위하여 선택될 수 있다. 더욱이, 설명의 편의를 위하여, 3×3 픽셀 어레이가 도 2 및 도 6에 도시된다. 그러나 최신의 픽셀 어레이들은 수십만 또는 수백만 개의 픽셀들을 포함한다. 픽셀 어레이(42)는 RGB 픽셀 어레이일 수 있다. RGB 픽셀 어레이에서, 서로 다른 픽셀들은 다른 컬러의 광 신호들을 수집할 수 있다. 앞서 언급된 바와 같이, 특정 실시 예에서, 픽셀 어레이(42)는 2차원 센서일 수 있다. 2차원 센서는 적외선 필터 및 2차원 RGB 센서, 2차원 적외선 센서, 2차원 근접 적외선 센서, 2차원 RGBW 센서, 2차원 RWB 센서, 멀티 레이어 CMOS 유기 센서(multi-layer CMOS organic sensor), 2차원 RGB-적외선 센서 등을 포함할 수 있다. 이후에 상세하게 설명되는 바와 같이, 시스템(15)은 3차원 객체(26) 또는 3차원 객체(26)를 포함하는 장면의 2차원 RGB 컬러 이미징 뿐만 아니라, 3차원 객체(26)의 심도 측정을 포함하는 3차원 이미징을 위하여 동일한 픽셀 어레이(42)를 사용할 수 있다. 픽셀 어레이(42)의 추가적인 구조적 설명들은 도 6을 참조하여 상세하게 설명된다.

픽셀 어레이(42)는 수신돤 광자들(photons)을 대응하는 전기적인 신호들로 변환할 수 있다. 전기적인 신호들은 3차원 객체(26)의 3차원 심도를 판별하기 위하여 연관된 이미지 처리 유닛(46)(또는 픽셀 어레이 제어 및 처리 회로들)에 의해 처리될 수 있다. 일 실시 예에서, 이미지 처리 유닛(46)은 심도 측정을 위한 삼각 측량(triangulation)을 사용할 수 있다. 삼각 측량 방식은 도 4를 참조하여 더욱 상세하게 설명된다. 이미지 처리 유닛(46)은 픽셀 어레이(42)의 동작을 제어하기 위한 적절한 회로들을 포함할 수 있다. 예시적인 이미지 처리 및 제어 회로들은 도 7a 및 도 7b에 도시된다.

프로세서(19)는 광원 유닛(22) 및 이미지 센서 유닛(24)의 동작을 제어할 수 있다. 예를 들어, 시스템(15)은 사용자(user)에 의해 제어 가능한 모드 스위치(미도시)를 포함할 수 있다. 시스템(15)은 모드 스위치에 의해 2차원 모드 또는 3차원 모드 중 어느 하나의 모드를 기반으로 동작할 수 있다. 사용자가 모드 스위치를 사용하여 2차원 이미징 모드를 선택한 경우, 2차원 이미징은 주변광을 사용할 수 있기 때문에, 프로세서(19)는 이미지 센서 유닛(24)을 활성화하는 반면에, 광원 유닛(22)은 활성화하지 않는다. 이와 반대로, 사용자가 모드 스위치를 사용하여 3차원 이미징 모드를 선택한 경우, 프로세서(19)는 광원 유닛(22) 및 이미지 센서 유닛(24) 모두를 활성화할 수 있다. 이미지 처리 유닛(46)으로부터 수신된 처리 이미지 데이터(processed image data)는 프로세서(19)에 의해 메모리 모듈(20)에 저장될 수 있다. 프로세서(19)는 사용자에 의해 선택된 2차원 또는 3차원 이미지를 시스템(15)의 디스플레이 스크린(미도시) 상에 표시할 수 있다. 프로세서(19)는 소프트웨어 또는 펌웨어 형태로 프로그램되어 본문에 기재된 다양한 처리 작업들을 수행할 수 있다. 또는, 프로세서(19)는 일부 또는 전체의 기능들을 수행하기 위한 프로그램 가능한 하드웨어 로직 회로들을 포함할 수 있다. 특정 실시 예에서, 메모리 모듈(20)는 프로그램 코드, 룩-업 테이블, 또는 중간 연산 결과를 저장하여 프로세서(19)가 다양한 기능들을 수행할 수 있게 한다.

도 3은 본 발명의 실시 예에 따른 3차원 심도 측정이 수행되는 방법을 보여주는 순서도(50)이다. 도 3에 도시된 다양한 단계들은 단일 모듈 또는 모듈들의 조합 또는 시스템(15) 내의 시스템 구성 요소들에 의해 수행될 수 있다. 본문에서, 특정 동작들이 특정 모듈들 또는 시스템 구성 요소들에 의해 수행되는 것으로써 예시적으로 설명된다. 다른 모듈들 또는 시스템 구성 요소들은 이러한 동작들을 수행하도록 적절하게 구성될 수 있다.

도 3을 참조하면, 블록(52)에서, 시스템(15)(좀 더 상세하게는, 프로세서(19))는 도 2의 광원 유닛(22)과 같은 광원을 사용하여 스캐닝 라인(scanning line)을 따라 도 2의 3차원 객체(26)와 같은 3차원 객체의 1차원(1D; one-dimensional) 포인트 스캔을 수행할 수 있다. 포인트 스캔의 일부로써, 광원 유닛(22)은 프로세서(19)에 의해 라인-바이-라인 방식으로 3차원 객체(26)의 표면에 일련의 광점들(a sequence of light spots)을 투영하도록 구성될 수 있다. 블록(54)에서, 시스템(15)의 이미지 처리 유닛(46)은 도 2의 픽셀 어레이(42)와 같은 이미지 센서의 픽셀들의 행을 선택할 수 있다. 이미지 센서(42)는 이미지 평면을 형성하는 2차원 어레이에 정렬된 복수의 픽셀들을 포함할 수 있다. 일 실시 예에서, 픽셀들의 선택된 행은 이미지 평면의 스캐닝 라인(블록(52) 참조)의 에피폴라 라인(epipolar line)을 형성한다. 에피폴라 기하(epipolar geometry)는 도 4를 참조하여 설명된다. 블록(56)에서, 이미지 처리 유닛(46)은, 프로세서(19)에 의해, 픽셀들의 행의 대응하는 픽셀들을 사용하여 각 광점을 검출하도록 기능적으로 구성될 수 있다. 빛나는 점으로부터 반사된 광이 집광 장치(44)에 의해 하나 또는 그 이상의 인접한 픽셀들로 집중될 경우, 빛나는 광점으로부터 반사된 광은 단일 픽셀 또는 그 이상의 픽셀들에 의해 검출될 수 있다. 반면에, 둘 이상의 광점으로부터 반사된 빛은 픽셀 어레이(42)의 단일 픽셀에서 수집될 수 있다. 이하에서 설명되는 타임스탬프 기반의 방식은 두 개의 다른 픽셀들에서의 단일 점의 이미징에 의한 또는 동일한 픽셀에서 두 개의 점들의 이미징에 의한 심도 연산과 연관된 애매성을 제거한다. 블록(58)에서, 프로세서(19)에 의해 적절하게 구성되는 이미징 처리 유닛(46)은 일련의 광점들에서 대응하는 광점의 특정 픽셀 검출(pixel-specific detection)에 응답하여 특정-픽셀 출력(pixel-specific output)을 생성할 수 있다. 일련의 광점들은 블록(52)의 포인트 스캔과 관련되고, 특정 픽셀 검출은 블록(56)과 연관된다. 결과적으로, 블록(60)에서, 이미지 처리 유닛(46)은 블록(52)에서의 대응하는 광점을 투영하는 광원 유닛(22)에 의해 사용되는 스캔 각도 및 블록(58)의 특정 픽셀 출력을 기반으로 3차원 객체의 표면상의 대응하는 광점까지의 3차원 거리(또는 심도)를 결정할 수 있다. 심도 측정은 도 4를 참조하여 더욱 상세하게 설명된다.

도 4는 본 발명의 실시 예에 따른 3차원 심도 측정을 위한 포인트 스캔의 동작 방법을 설명하기 위한 예시적인 도면이다. 도 4에서, 레이저 광원(33)의 X-Y 방향의 회전 가능한 범위는 화살표(62, 64)를 사용하여 도시된다. 레이저의 각운동은 X-방향에서 "β"의 값을 갖고, Y-방향에서 "α"의 값을 갖는다. 일 실시 예에서, 레이저 제어기(34)는 프로세서(19)로부터 수신된 스캐닝 명령/입력을 기반으로 레이저 광원(33)의 X-Y 회전을 제어할 수 있다. 예를 들어, 사용자가 3차원 이미징 모드를 선택한 경우, 프로세서(19)는 프로젝션 광학 장치(35)와 마주하는 객체 표면의 3차원 심도 측정을 개시하도록 레이저 제어기(34)를 제어할 수 있다. 이에 응답하여, 레이저 제어기(34)는 레이저 광원(33)의 X-Y 움직임을 통해 1차원 객체 표면의 X-Y 포인트 스캔을 시작할 수 있다. 도 4에 도시된 바와 같이, 레이저 광원(33)은 1차원의 수평 스캐닝 라인(horizontal scanning line)을 따라 객체(26)의 표면을 포인트 스캔할 수 있다. 예시적으로, 수평 스캐닝 라인은 도 4의 점선으로 도시된 S_R(66) 및 S_R+1(68)을 포함할 수 있다. 객체(26)의 표면의 곡률(curvature) 때문에, 광점들(70~73)은 도 4에 도시된 바와 같이, 스캐닝 라인 S_R(66)을 생성할 수 있다. 설명의 편의 및 명확성을 위하여, 스캐닝 라인 S_R+1(68)을 구성하는 광점들에 대한 참조 번호는 부여되지 않는다. 레이저 광원(33)은 한번에 하나의 점씩 행들(R, R+1)을 따라, 예를 들어, 좌에서 우 방향으로 객체(26)를 스캔할 수 있다. "R", "R+1" 등의 참조기호들은 픽셀 어레이(42)의 픽셀들의 행들을 참조한 것이다. 따라서 이러한 값들은 잘 알려진 값들이다. 예를 들어, 도 4의 픽셀 어레이(42)에서, 행(R)은 참조번호 "75"를 사용하여 표시되고, 행(R+1)은 참조번호 "76"을 사용하여 표시될 수 있다. 행들(R, R+1)은 단순히 설명을 위하여 픽셀들의 복수의 행들 중에서 선택됨이 잘 이해될 것이다.

픽셀 어레이(42)의 픽셀들의 행들을 구성하는 평면은 이미지 평면이라 불리고, 스캐닝 라인들(S_R, S_R+1)을 포함하는 평면은 스캐닝 평면(scanning plane)이라 불린다. 도 4의 실시 예에서, 픽셀 어레이(42)의 픽셀들의 각 행들(R, R+1)이 대응하는 스캐닝 라인들(S_R, S_R+1)의 에피폴라 라인(epipolar line)을 형성하도록 에피폴라 기하를 사용하여 이미지 평면 및 스캐닝 평면의 위치들이 결정된다. 이미지 평면상에서, 스캐닝 라인의 빛나는 점들의 투영(projection)이 행(R)의 라인을 따라 구분된 점을 형성할 수 있는 경우, 픽셀들의 행(R)은 대응하는 스캐닝 라인(S_R)은 에피폴라(epipolar)로 간주된다. 예를 들어, 도 4에서, 화살표(78)는 레이저 광원(33)에 의한 광점(71)의 조명 경로를 보여주고, 화살표(80)는 광점(71)이 광학 장치(44)에 의해 행(R)(75)을 따라 투영되거나 또는 이미징되는 것을 보여준다. 비록 도 4에 도시되지는 않았으나, 광점들(70~73) 전부는 행(R)의 대응하는 픽셀들에 의해 이미징될 수 있다. 즉, 일 실시 예에서, 위치 및 방향성과 같은 레이저 광원(33) 및 픽셀 어레이(42)의 물리적인 배열은 객체(26)의 표면상의 스캐닝 라인에서 빛나는 광점들이 픽셀 어레이의 대응하는 행의 픽셀들에 의해 검출되거나 캡쳐될 수 있도록 구현될 수 있다. 이 때, 픽셀들의 행은 스캐닝 라인의 에피폴라 라인(epipolar line)을 형성한다. 비록 도 4에 도시되지는 않았으나, 특정 실시 예에서, 스캐닝 라인(S_R)과 같은 스캐닝 라인은 완벽하게 직선이지 않고, 비스듬하거나 또는 곡선일 수 있다. 그러나 이러한 구성은 도 9 내지 14를 참조하여 설명된다. 예를 들어, 레이저 광원(33) 및 픽셀 어레이(42) 사이의 배열 불량(misalignment)이 있는 경우, 상술된 완벽하지 않은 레이저가 발생될 수 있다. 배열 불량은 시스템(15)의 조립된 다양한 부분들의 기계적/물리적 오차에 의한 것이거나 또는 이러한 부분들의 최종 조립 또는 배열에서의 어떠한 차이에 의한 것일 수 있다. 곡선 또는 비스듬한 스캐닝 라인의 경우, 픽셀 어레이(42) 내의 픽셀들의 둘 또는 그 이상의 행들이 종합적으로 휘어진 스캐닝 라인의 에피폴라 라인(epipolar line)을 형성할 수 있다. 다시 말해서, 특정 실시 예에서, 픽셀들의 단일 행은 오직 등극선의 일부만을 생성할 수 있다. 어떠한 경우에서던지, 대응하는 스캐닝 라인의 에피폴라 라인을 형성하는 것이 이미지 평면의 픽셀들의 단일 행인지 또는 행들의 그룹인지와 무관하게, 본 발명이 적용될 수 있다. 그러나 설명의 편의 및 일반성을 잃지 않기 위하여, 도 3 내지 도 8의 실시 예들에서는 픽셀들의 하나의 행이 전체 에피폴라 라인을 형성하는 구성을 주로 참조한다. 에피폴라 라인의 다른 영역들을 형성하는 복수의 행들의 실시 예에 대한 설명은 도 9 내지 도 14를 참조하여 설명된다.

픽셀 어레이(42)의 픽셀들은 행 방향 및 열 방향을 따라 정렬될 수 있다. 빛나는 광점들은 픽셀 어레이(42)의 대응하는 행 및 열에 의해 참조될 수 있다. 예를 들어, 도 4에서, 스캐닝 라인(S_R)의 광점(71)은 "X_R,i"의 참조 번호로 표시되어 광점(71)이 픽셀 어레이(42)의 행(R) 및 i열(C_i)에 의해 이미징될 수 있음을 지칭할 수 있다. 행(C_i)은 점선(82)으로 지칭된다. 다른 빛나는 광점들은 유사하게 식별될 수 있다. 앞서 설명된 바와 같이, 둘 또는 그 이상의 광점들로부터 반사된 빛은 행에서 단일 픽셀에 의해 수신되거나 또는 단일 광점으로부터 반사된 빛은 픽셀들의 행의 하나 이상의 픽셀들에 의해 수신될 수 있다. 이하에서 설명되는 타임스탬프 기반의 방식은 복수의 또는 오버랩된 투영들(multiple or overlapping projections)로부터 발생되는 심도 연산들의 애매성(ambiguities)을 제거할 수 있다.

도 4의 도면에서, 참조번호 "84"의 화살표는 시스템(15)의 전면에 형성되는 도 2의 X-축으로부터 광점(71)의 심도 또는 거리(Z)를 나타낸다. 심도 또는 거리(Z)는 Z-축과 연관된다. 도 4에서, 참조번호 "86"의 점선은 상술된 X-축을 가리키고, X-축은 프로젝션 광학 장치(35) 및 집광 장치(44)를 포함하는 수직 평면에 포함되는 것으로 간주될 수 있다. 그러나 삼각 측량 방법의 설명의 편의를 위하여, 레이저 광원(33)은 프로젝션 광학 장치(35) 대신에 X-축(86) 상에 있는 것으로 도 4에 도시된다. 삼각 측량 기반의 방식에서, "Z"의 값은 수학식 1을 사용하여 결정될 수 있다.

수학식 1에 도시된 파라미터들은 도 4에 도시된다. 시스템(15)의 물리적인 구성을 기반으로, 수학식 1의 파리미터들의 값들(예를 들어, h, d, 및 q)이 미리 정해질 수 있다. 수학식 1에서, 파라미터 "h"는 집광 장치(44) 및 픽셀 어레이(42) 사이의 Z-축에 따른 거리를 가리킨다. 이미지 센서 유닛(42)은 집광 장치(44) 뒤의 수직 평면에 위치하는 것으로 가정한다. 파라미터 "d"는 이미지 센서 유닛(24)와 연관된 집광 장치(44) 및 레이저 광원(33) 사이의 오프셋 거리를 가리킨다. 파라미터 "q"는 집광 장치(44) 및 대응하는 광점을 검출하는 픽셀 사이의 오프셋 거리를 가리킨다. 이 때, 검출/이미징 픽셀 "i"는 광점(X_R,i)(71)과 연관된 열(Ci)에 의해 표시된다. 파라미터 "θ"는 고려 중인 광점(예를 들어, 광점(71))에 대한 레이저 광원(33)(또는 광원 유닛(24))의 스캔 각도 또는 빔 각도를 가리킨다. 또는 파라미터 "q"는 픽셀 어레이(42)의 시점 내의 광점의 오프셋으로써 고려될 수 있다.

파라미터 "θ" 및 "q"는 주어진 포인트 스캔에서 가변될 수 있고, 파라미터들 "h" 및 "d"는 시스템(15)의 물리적 기하에 의한 것으로써 본질적으로 고정된 값임을 수학식 1을 통해 알 수 있다. 행(R)(75)이 스캐닝 라인(S_R)의 등극 선의 적어도 일부이기 때문에, 3차원 객체(26)의 심도 차이 또는 심도 프로파일은 수평 방향으로의 이미지 이동에 의해 반영될 수 있다. 수평 방향으로의 이미지 이동은 이미징된 다른 광점들을 위한 파라미터 "q"의 값에 의해 표현된다. 앞서 언급된 바와 같이, 본 발명의 특정 실시 예에 따른 타임스탬프 기반의 방식은 레이저 광원(33)의 대응하는 스캔 각도 및 캡쳐된 광점의 픽셀 위치 사이의 연관성을 탐색하기 위하여 사용될 수 있다. 다시 말해서, 타임스탬프는 파라미터들 "q" 및 "θ" 값들의 연관성을 나타낼 수 있다. 즉, 스캔 각도(θ)의 잘 알려진 값 및 파라미터(q)에 의해 표현되는 바와 같은 이미징된 광점의 대응하는 위치로부터, 광점까지의 거리가 수학식 1과 같이 삼각 측량을 사용하여 결정될 수 있다.

거리 측정을 위하여 삼각 측량을 사용하는 것은 미국공개공보 US2011/0102763에 개시되어 있으며, 삼각 측량 기반의 거리 측정에 관한 미국공개공보 US2011/0102763는 본 발명의 레퍼런스로써 첨부된다.

도 5는 본 발명의 실시 예에 따른 스캔된 광점들을 위한 타임스탬프를 예시적으로 보여준다. 개별적인 타임스탬프들의 생성에 대한 상세한 설명은 도 8을 참조하여 더욱 상세하게 설명된다. 도 4와 달리, 도 5의 실시 예에서, 집광 장치(44) 및 레이저 광원(33)은 도 2의 실시 예에서 도시된 바와 같은 구성 요소들의 실제 물리적인 기하를 반영한 오프셋 정렬로 도시된다. 예시적으로, 스캐닝 라인(66)은 앞서 언급된 바와 같이 광점들(70~73)을 따라 도 5에 도시된다. 스캐닝 라인(66)은 산발적인 레이저 광원(33)에 의해 좌에서 우 방향으로 수행되는 객체 표면의 포인트 스캔을 기반으로 투영된다. 즉, 도시된 바와 같이, 제1 광점(70)은 시점(t₁)에 투영되고, 제2 광점(71)은 시점(t₂)에 투영된다. 이러한 광점들은 픽셀 행(R)(75)의 각 픽셀들(90~93)에 의해 검출되거나 또는 이미징될 수 있다. 픽셀 행(R)(75)은 앞서 언급된 바와 같이 스캐닝 라인(S_R)의 에피폴라 라인일 수 있다. 일 실시 예에서, 광점을 검출할 때, 각 픽셀에 의해 수집된 전하는 아날로그 전압의 형태일 수 있다. 아날로그 전압의 형태는 특정 픽셀 심도 판별을 위하여 이미지 처리 유닛(46)으로 출력될 수 있다. 아날로그 픽셀 출력들(pixouts)은 도 5의 화살표(95)에 의해 표시될 수 있다.

도 5에 도시된 바와 같이, 행(R)의 각 검출 픽셀(90~93)은 C₁~C₄와 같은 연관된 열 번호를 가질 수 있다. 더욱이, 각 픽셀 행(C_i)(단, i=1, 2, 등)은 수학식 1에서 파라미터(q)의 연관된 값을 가질 수 있음을 도 4로부터 알 수 있다. 즉, 특정 픽셀 타임스탬프(t₁~t₄)(pixel-specific timestamp)는 검출 픽셀들(90~93)에 대하여 생성된다. 이는 이하에서 더욱 상세하게 설명된다. 타임스탬프는 파라미터(q)의 특정 픽셀 값 및 픽셀의 행 번호의 표시(indication)를 제공할 수 있다. 더욱이, 일 실시 예에서, 레이저 광원(33)이 특정 점(spot-specific) 스캔 각도(θ)에 대한 미리 정해진 값들을 사용하여 적절한 시퀀스로 각 점을 밝히도록 적절하게 제어될 수 있기 때문에, 픽셀 어레이(42)의 픽셀들을 사용하는 점 단위의 검출(spot-by-spot detection)은 이미지 처리 유닛(42)이 각 타임스탬프를 연관되는 광점 및 특정 점 스캔 각도(θ)(spot-specific scan angle)와 "링크(link)"하도록 할 수 있다. 즉, 타임스탬프들은 캡쳐된 레이저 점의 픽셀 위치 및 각각의 스캔 각도 사이의 대응을 제공할 수 있다. 상술된 대응은 픽셀 어레이(42)로부터 수신된 특정 픽셀 신호 각각에 대한 수학식 1의 파라미터들(q, θ)의 값들의 형태일 수 있다. 앞서 언급된 바와 같이, 수학식 1의 파라미터(q)의 값을 통해 반영된 바와 같이 픽셀 어레이(42)의 검출된 점의 대응하는 위치 및 스캔 각도의 값들은 광점에 대한 심도 판별을 제공할 수 있다. 이러한 방식에서, 픽셀 어레이(42)의 시야 면적(field of view)의 표면을 위한 3차원 심도 맵(depth map)이 생성될 수 있다.

도 6은 본 발명의 실시 예에 따른 도 1 내지 도 2의 이미지 센서 유닛(24)의 이미지 처리 유닛(46) 내의 연관된 처리 회로들의 일부 및 2차원 픽셀 어레이(42)의 회로도를 보여준다. 앞서 언급된 바와 같이, 설명의 편의를 위하여 픽셀 어레이(42)는 3×3 어레이로 정렬된 9개의 픽셀들(100~108)포함하는 것으로 도시된다. 그러나 실제 픽셀 어레이는 복수의 행들 및 복수의 열들로 정렬된 수십만 또는 수백만 개의 픽셀들을 포함할 수 있다. 일 실시 예에서, 각 픽셀(100~108)은 도 6에 도시된 바와 같은 동일한 구조를 포함할 수 있다. 도 6의 실시 예에서, 픽셀 어레이(42)는 각 픽셀들이 4개의 트랜지스터와 연결된 포토 다이오드(4T PPD; Four Transistor Pinned Photo-diode)인 CMOS(Complementary Metal Oxide Semiconductor) 어레이이다. 설명의 편의를 위하여, 픽셀(108)의 구성 회로 요소들에 대한 참조 번호만 표시된다. 픽셀(108)의 동작에 대한 설명은 다른 픽셀들(101~107)에 동직하게 적용될 수 있고, 각 픽셀들의 동작에 대한 설명은 생략된다.

도시된 바와 같이, 4T PPD 픽셀(108)은 고정된 포토-다이오드(110)(PPD; pinned photo-diode) 및 4개의 N-채널 금속 산화 반도체 전계 효과 트랜지스터들(NMOS transistor)(111~114)를 포함할 수 있다. 다른 픽셀들(101~107)은 4T PPD 픽셀(108)과 유사할 수 있다. 일부 실시 예에서, 픽셀들(100~108)은 PMOS 트랜지스터 또는 다른 형태의 전하 전송 장치들로 구성될 수 있다. 트랜지스터(111)는 전송 게이트(TG; Transfer Gate), 플로팅 확산(FD; Floating Diffusion) 트랜지스터로써 동작할 수 있다. 대략적으로, 4T PPD 픽셀(108)은 아래와 같이 동작할 수 있다. 먼저, PPD(110)는 입사된 광자들(photons)을 전자들(electrons)로 변환할 수 있다. 그로 인하여, 광 입력 신호(optical input signal)는 전하 도메인의 전기 신호(electrical signal)로 변환된다. 그 이후에, 전송 게이트(111)는 PPD(110)로부터 생성된 전자들을 모두 부유 확산층(floating diffusion)으로 전송하기 위하여 단락(close)될 수 있다. 획득된 전하 도메인의 신호는 일련의 프로세싱 및 측정의 편의를 위하여 전압 도메인으로 변환된다. 이후에, 부유 확산층의 전압은 트랜지스터(114)를 사용하여 픽셀 출력 신호로써 아날로그-디지털 컨버터(ADC; Analog-to-Digital Converter)로 전송될 수 있고, 일련의 프로세싱을 위한 적절한 디지털 신호로 변환될 수 있다. 픽셀 출력(PIXOUT) 생성 및 처리의 상세한 설명은 도 8을 참조하여 더욱 상세하게 설명된다.

도 6의 실시 예에서, 이미지 처리 유닛(46)의 행 디코더/드라이버(116)는 3개의 다른 신호들을 제공하여 픽셀 어레이(42)의 동작을 제어하고, 특정 열 픽셀 출력 신호들(117~119)을 생성하는 것으로 도시된다. 도 5의 실시 예에서, 출력(95)은 이와 같은 픽셀 출력 신호(PIXOUT)(117~119)를 종합적으로 나타낸다. 행 선택 신호(RSEL)는 픽셀들의 적절한 행을 선택하기 위한 신호일 수 있다. 일 실시 예에서, 선택된 행(또는 선택될 행)은 레이저 광원(33)에 의해 투영된 광점들의 현재 스캐닝 라인의 에피폴라 라인(epipolar line)이다. 행 디코더/드라이버(116)는 프로세서(119)로부터 행 어드레스/제어 입력(126)을 통해 선택될 행을 위한 제어 정보 또는 어드레스를 수신할 수 있다. 본문에서, 행 디코더/드라이버(116)는 픽셀(108)이 포함된 행을 선택하는 것으로 가정한다. 도시된 바와 같이, 픽셀 어레이(42)의 픽셀들의 각 행에서 트랜지스터(114)와 같은 트랜지스터는 행 선택 라인(122~124) 각각과 연결될 수 있다. 리셋 신호(RST)는 선택된 행의 픽셀들로 인가되어 픽셀들을 미리 정해진 고전압 레벨로 리셋할 수 있다. 각 특정 행 리셋 신호(RST)(128~130)은 도 6에 도시되고, 도 8의 그래프를 참조하여 좀 더 상세하게 설명된다. 각 픽셀에서 트랜지스터(112)와 같은 트랜지스터는 각각의 리셋 신호(RST)를 도시된 바와 같이 수신한다. 전송 신호(TX)는 일련의 프로세싱을 위한 특정 픽셀 출력 전압(PIXOUT)의 전송을 수행하기 위한 신호일 수 있다. 각 특정 행 전송 라인(132~134)은 도 6에 도시된다. 트랜지스터(111)와 같은 전송 게이트 트랜지스터는 도 6에 도시된 바와 같이 각각 전송 신호(TX)를 수신할 수 있다.

앞서 언급된 바와 같이, 본 발명의 특정 실시 예에서, 픽셀 어레이(42) 및 이미지 센서 유닛(24)의 다른 구성 요소들은 2차원 RGB(또는 비-RGB) 이미징 뿐만 아니라, 3차원 심도 측정을 위하여 사용될 수 있다. 결론적으로, 도 6에 도시된 바와 같이, 이미지 센서 유닛(24)은 2차원 및 3차원 이미징 동안 사용되는 CDS(Correlated Double Sampling) 뿐만 아니라 픽셀들의 열당 하나의 특정 열 ADC를 위한 회로들을 포함하는 픽셀 열 유닛(138)을 포함할 수 있다. 픽셀 열 유닛(138)은 픽셀 출력 신호(PIXOUT)(117~119)를 수신할 수 있고, 수신된 신호들을 처리하여 디지털 출력 신호(Dout)(140)을 생성할 수 있다. 디지털 출력 신호(Dout)(140)으로부터 2차원 이미징이 생성되거나 또는 3차원 심도 측정이 획득될 수 있다. 픽셀 열 유닛(138)은 픽셀 출력 신호들(117~119)에 대한 처리가 수행되는 동안 기준 입력(142) 및 램프 입력(143)을 수신할 수 있다. 픽셀 열 유닛(138)의 동작의 상세한 설명은 이하에서 더욱 상세하게 설명된다. 도 6의 실시 예에서, 열 디코더 유닛(145)은 픽셀 열 유닛(138)과 연결된 것으로 도시된다. 열 디코더(145)는 주어진 행 선택 신호(RSEL)와 함께 선택될 열을 위한 열 어드레스/제어 입력(147)를 프로세서(19)로부터 수신할 수 있다. 열 선택은 순차적일 수 있다. 그로 인하여, 대응하는 행 선택 신호(RSEL)에 의해 선택된 행에서 각 픽셀로부터의 픽셀 출력의 수신이 순차적으로 수행될 수 있다. 프로세서(19)는 광점의 현재 투영된 스캐닝 라인을 인식할 수 있고, 현재 스캐닝 라인의 등극선을 형성하는 픽셀들의 행을 선택하기 위한 적절한 행 어드레스 입력들을 제공할 수 있고, 픽셀 열 유닛(138)이 선택된 행의 각각의 픽셀들로부터 출력을 수신하도록 적절한 열 어드레스 입력들을 제공할 수 있다.

비록 본 발명에 따른 2차원 및 3차원 이미징을 위한 4T PPD 픽셀 디자인(도 6 참조)이 중점적으로, 본문에서 설명되었으나, 픽셀들의 다른 타입들은 다른 실시 예들에서 픽셀 어레이(42)에 적용될 수 있다. 실시 예로써, 픽셀 어레이(42)의 각 픽셀은 3T 픽셀일 수 있다. 3T 픽셀은 도 6의 4T PPD 디자인에서 트랜지스터(111)와 같은 전송 게이트 트랜지스터가 생략된 구조를 갖는다. 다른 실시 예에서, 1T 픽셀들 또는 2T 픽셀들이 사용될 수 있다. 다른 실시 예에서, 픽셀 어레이(42)의 각 픽셀은 공유 트랜지스터 픽셀 구조를 포함할 수 있다. 공유 트랜지스터 픽셀 구조는 트랜지스터들 및 독출 회로가 둘 이상의 인접한 픽셀들 사이에서 공유될 수 있는 구조를 가리킨다. 공유 트랜지스터 픽셀 구조에서, 각 픽셀은 적어도 하나의 포토 다이오드 및 하나의 전송 게이트 트랜지스터를 포함할 수 있다. 나머지 트랜지스터들은 둘 이상의 픽셀들 사이에서 공유될 수 있다. 공유 트랜지스터 픽셀의 일 예는 2-공유(1X2) 2.5T 픽셀이다. 5개의 트랜지스터들이 2개의 픽셀들을 위하여 사용되고, 결과적으로, 픽셀당 2.5개의 트랜지스터들이 사용되는 구조가 된다. 픽셀 어레이(42)에서 사용될 수 있는 공유 트랜지스터 픽셀의 다른 예는 1x4 4-공유 픽셀이다. 1x4 4-공유 픽셀은 4개의 픽셀들이 독출 회로를 공유하고, 각각은 적어도 하나의 포토 다이오드 및 하나의 전송 게이트 트랜지스터를 포함한다. 열거된 구조와 다른 픽셀 구조들은 본 발명의 실시 예에 따른 2차원 및 3차원 이미징을 위하여 적절하게 구현될 수 있다.

도 7a는 본 발명의 일 실시 예에 따른 도 6의 이미지 센서 유닛(24)과 같은 이미지 센서 유닛의 예시적인 레이아웃을 보여주는 블록도이다. 설명의 편의를 위하여, 도 7a의 구조가 간략하게 설명되고, 좀 더 상세한 설명은 도 8, 및 도 10 내지 도 14를 참조하여 더욱 상세하게 설명된다. 도 7a의 실시 예에서, 픽셀 어레이(42)와 다른 다양한 구성 블록들은 도 2의 이미지 처리 유닛(46)의 일부를 형성할 수 있다. 도시된 바와 같이, 도 7a의 이미지 센서 유닛(24)은 행 디코더 유닛(149) 및 행 드라이버 유닛(150)을 포함할 수 있다. 행 디코더 유닛(149) 및 행 드라이버 유닛(150) 모두는 도 6의 행 디코더/드라이버(116)에 포함될 수 있다. 비록 도 7a에 도시되지는 않았으나, 행 디코더 유닛(149)은 프로세서(19)로부터 도 6의 입력(126)과 같은 행 어드레스 입력을 수신하고, 입력을 디코딩하여 행 드라이버 유닛(150)이 적절한 행 선택 신호(RSEL), 리셋 신호(RST), 및 전송 신호(TX)를, 행 디코더(149)에 의해 디코딩되거나 선택된 행으로 제공하도록 할 수 있다. 행 드라이버 유닛(150)은 프로세서(19)로부터 제어 신호들(미도시)을 수신하여 행 선택 신호(RSEL), 리셋 신호(RST), 및 전송 신호(TX)를 위한 적절한 전압 레벨들을 제공하도록 구성될 수 있다. 도 7a의 이미지 센서(24)에서, 열 ADC 유닛(153)은 도 6의 픽셀 열 유닛(138)을 나타낼 수 있다. 설명의 편의를 위하여, 도 7a에서, 행 드라이버(150)로부터의 행 선택 신호(RSEL), 리셋 신호(RST), 및 전송 신호(TX)와 같은 다양한 특정 행 구동 신호들은 단일 참조 번호 '155'로 표시된다. 유사하게, 도 6의 픽셀 출력들(117~119)과 유사한 모든 특정 열 픽셀 출력들(PIXOUT)은 단일 참조번호 '157'로 표시된다. 열 ADC 유닛(153)은 픽셀 신호들(157) 및 기준 신호 발생기(159)로부터의 기준 입력(142) 및 램프 신호(143)를 수신하여 특정 픽셀 출력을 생성할 수 있다. 특정 픽셀 출력은 픽셀의 열에 대하여 대응하는 특정 열 ADC에 의해 생성될 수 있다. 3차원 이미징은 도 8을 참조하여 더욱 상세하게 설명된다. 열 ADC 유닛(153)은 도 6의 픽셀 열 유닛(138)의 경우와 같이 CDS를 위한 회로를 포함하여 수신된 신호 레벨 및 픽셀의 리셋 레벨 사이의 차이인 CDS 출력(미도시)을 생성할 수 있다. 특정 실시 예들에서, 3차원 심도 값들은 2차원 이미지와 결합되어 객체의 3차원 이미지를 생성할 수 있다.

열 ADC 유닛(153)은 2차원 어레이(42)의 픽셀 열마다 개별적인 ADC를 포함할 수 있다. 각 특정 열 ADC는 픽셀 출력 신호들(157)과 함께 램프 신호 발생기(163)로부터의 램프 입력(143)을 각각 수신할 수 있다. 일 실시 예에서, 램프 신호 생성기(163)는 기준 신호 발생기(159)로부터 수신된 기준 전압 레벨을 기반으로 램프 입력(163)을 생성할 수 있다. ADC 유닛(153)의 특정 열 ADC 각각은 수신된 입력들을 처리하여 대응하는 디지털 데이터 출력(Dout) 신호(140)를 생성할 수 있다. 열 디코더 유닛(145)로부터 ADC 유닛(153)은 어떤 열 ADC 출력이 독출되고, 데이터 출력(Dout) 버스(140)로 전송되는지에 대한 정보를 수신할 수 있다. ADC 유닛(145)은 적절한 주어진 행에 대하여 어떤 열이 선택되는지에 대한 정보를 수신하여 적절한 픽셀 출력을 수신할 수 있다. 비록 도 7a에 도시되지는 않았으나, 열 디코더 유닛(145)은 프로세서(19)로부터 도 6의 입력(147)과 유사한 열 어드레스 입력을 수신하고, 수신된 입력을 디코딩하여 열 ADC 유닛(153)가 적절한 픽셀 열을 선택하도록 할 수 있다. 도 7a의 실시 예에서, 디코딩된 열 어드레스 신호들은 참조 번호 '165'를 사용하여 표시된다.

ADC 유닛들로부터의 디지털 데이터 출력들(140)은 디지털 처리 블록(또는 디지털 블록)(167)에 의해 처리될 수 있다. 일 실시 예에서, 2차원 RGB 이미징 모드에서, 특정 ADC의 데이터 출력(140) 각각은 각 픽셀에 의해 수집된 실질적으로 실제 광자 전하(photon charge)와 대응하는 멀티-비트 데이터 값일 수 있다. 반면에, 3차원 심도 측정 모드에서, 특정 ADC 데이터 출력(140) 각각은 각 픽셀이 대응하는 광점을 검출하는 시점을 가리키는 타임스탬프 값일 수 있다. 본 발명에 따른 타임스탬프 방식은 이하에서 좀 더 상세하게 설명된다. 디지털 처리 블록(167)은 3차원 이미징 모드에서 심도 연산들, 2차원 이미징 모드를 위한 데이터 출력들(140)의 처리와 같은 이미지 신호 처리(ISP; Image Signal Processing), 타이밍 생성 등을 제공하기 위한 회로를 포함할 수 있다. 이와 관련하여, 디지털 처리 블록(167)은 인터페이스 유닛(168)과 연결되어 처리된 데이터를 출력(170)으로써 제공하고, 프로세서(19)가 시스템(15)의 디스플레이 스크린(미도시) 상에 3차원 객체(26)의 3차원 심도 이미지 또는 2차원 RGB/비-RGB 이미지를 렌더링하도록 할 수 있다. 인터페이스 유닛(168)은 디지털 처리 블록(167)의 타이밍 생성 기능을 지원하는 클럭 신호의 생성을 위한 위상 고정 루프(PLL; Phase-Locked Loop) 유닛을 포함할 수 있다. 또한, 인터페이스 유닛(168)은 디지털 블록(167)에 의해 생성된 데이터를 위하여 산업-표준 하드웨어 및 소프트웨어 인터페이스를 시스템(15)의 다른 구성 요소들 또는 회로들로 제공하는 MIPI(Mobile Industry Processor Interface)를 포함할 수 있다. MIPI 시방서(specification)는 광범위한 모바일 제품들을 지원하고, 모바일 장치의 카메라, 디스플레이 스크린, 전력 관리, 배터리 인터페이스 등을 위한 시방서를 제공한다. MIPI 표준 인터페이스들은 스마트폰의 카메리 또는 디스플레이 스크린과 같은 모바일 장치들 및 모바일 장치의 애플리케이션 프로세서의 주변 장치들 사이의 향상된 동작성을 제공할 수 있다. 이 때, 애플리케이션 프로세서의 제조자는 주변 장치를 제공하는 제조자와 동일하지 않을 수 있다.

도 7a의 실시 예에서, 타임스탬프 측정 유닛(171)은 열 ADC 유닛(153)과 연결된 것으로 도시된다. 타임스탬프 측정 유닛(171)은 적절한 측정 신호들(172)을 각각의 특정 열 ADC로 제공하여 각 특정 열 ADC 유닛이 3차원 측정 모드에서 특정 픽셀 타임스탬프 값을 나타내는 출력을 생성하도록 할 수 있다. 비록 도 7a에 도시되지는 않았으나, 특정 실시 예들에서, 타임스탬프 측정 유닛(171)은 처리 지원과 연관된 타임스탬프 측정을 위하여 디지털 처리 블록(167)과 연결될 수 있다. 타임스탬핑 방식(timestamping approach)은 도 8을 참조하여 더욱 상세하게 설명된다.

도 7b는 본 발명의 실시 예에 따른 3차원 심도 측정을 위한 CDS 및 ADC 유닛(175)을 예시적으로 보여주는 회로도이다. 설명의 편의를 위하여, 유닛(175)은 'ADC 유닛'으로 칭한다. 그러나 유닛(175)이 ADC 기능과 함께 CDS 기능을 포함할 수 있음은 잘 이해될 것이다. 도 7b에서, 캐패시터(176)는 CDS 유닛의 간략화된 버전을 나타낸다. 일 실시 예에서, 픽셀 어레이(42)의 픽셀들의 각 열은 ADC 유닛(175)과 유사한 특정 열, 단일 슬로프 ADC 유닛(column-specific, single slope ADC unit)을 포함할 수 있다. 다시 말해서, 도 6의 실시 예에서, 주어진 열의 각 픽셀은 ADC 유닛(175)과 유사하게 동일한 ADC 유닛을 공유할 수 있다. 즉, 도 6의 실시 예에서, 3개의 ADC 유닛들(즉, 열당 하나의 ADC)이 픽셀 열 유닛(138)에 포함될 수 있다. 특정 실시 예들에서, 특정 열 ADC 유닛들(175)은 도 7a의 열 ADC 유닛(153)의 일부일 수 있다. 도 10 및 도 14의 실시 예들과 같은 특정 실시 예들에서, 픽셀 어레이(42)의 픽셀들의 열당 하나 이상의 ADC 유닛(175)와 유사한 특정 열 ADC 유닛이 있을 수 있다. 이에 대하여 이하에서 더욱 상세하게 설명된다. 도시된 바와 같이, 도 7b의 실시 예에서, ADC(175)는 두 개의 OTA(Operational Transconductance Amplifiers)(177, 179)를 포함할 수 있다. OTA들(177, 179)은 바이너리 카운터(181) 및 라인 메모리 유닛(183)과 직렬로 연결된다. 설명의 편의를 위하여, OTA들(177, 179)로의 반전(-) 및 비-반전(+) 전압 입력들은 도 7b에 도시되고, 바이어싱 입력들 및 전원 공급 연결들은 도시되지 않는다. OTA는 차동 입력 전압이 출력 전류를 생성하는 증폭기임은 잘 이해될 것이다. 즉, OTA는 전압 제어 전류 소스(voltage-controlled current source)로써 간주될 수 있다. 바이어싱 입력들은 전류들 또는 전압들을 제공하여 증폭기의 트랜스컨덕턴스를 제어하는데 사용될 수 있다. 제1 OTA(177)는 도 6의 픽셀(108)과 같은 픽셀로부터의 픽셀 출력 전압의 CDS 버전을 CDS 유닛(176)으로부터 수신할 수 있다. 픽셀은 열 디코더 유닛(145)로부터 수신된 열 번호를 사용하여 활성화된 행에서 선택된다. 픽셀 출력 신호의 CDS 버전은 "PIX_CDS" 신호로 칭한다. OTA(177)는 램프 신호 생성기(163)(도 7a 참조)로부터 램프 전압(Vramp)(143)을 수신할 수 있다. 픽셀 출력 전압(157)이 램프 전압(Vramp)(143)보다 낮아지는 경우, OTA(177)는 출력 전류를 생성할 수 있다. 이는 도 8을 참조하여 더욱 상세하게 설명된다. OTA(177)의 출력은 바이너리 카운터(181)로 제공되기 이전에 제2 OTA(179)에 의해 필터링될 수 있다. 일 실시 예에서, 바이너리 카운터(181)는 10-비트 리플 카운터일 수 있다. 10-비트 리플 카운터는 클럭(Clk) 입력(185)을 수신하고, 제1 OTA(177)의 출력 전류 생성에 의해 트리거된 미리 정해진 시간 동안 카운팅된 클럭 사이클을 기반으로 타임스탬프 값(186)을 생성할 수 있다. 도 7b의 실시 예에서, 클럭 입력(185)은 장치(15)의 PLL 유닛(168) 또는 다른 클럭 생성기(미도시)에 의해 생성된 이미지 센서에 특정된 클럭 또는 시스템-와이드 클럭일 수 있다. 특정 픽셀 타임스탬프 값(186)은 픽셀의 열 번호(column #)에 대한 라인 메모리(183)에 저장될 수 있고, 데이터 출력(Dout) 신호(140)로써 디지털 처리 블록(167)으로 순차적으로 출력될 수 있다. 열 번호 입력(165)은 도 7a에 도시된 열 디코더 유닛(145)으로부터 수신된다.

특정 실시 예들에서, RGB 컬러 모델은 도 1 및 도 2의 시스템(15)과 같은 모바일 장치들에서 이미지들의 표시, 표현, 및 감지를 위하여 사용될 수 있다. RGB 컬러 모델에서, 삼원색(레드, 그린, 및 블루)을 포함하는 광 신호들은 다양한 방식으로 결합되어 최종 이미지의 컬러들의 넓은 어레이를 생성할 수 있다. CDS 방법은 2차원 RGB 이미징에서 픽셀/센서 출력 전압과 같은 전기적 값을 측정하기 위하여 의도하지 않은 오프셋을 제거하는 방식에 따라 사용될 수 있다. 예를 들어, CDS 유닛(176)과 같은 CDS 유닛은 ADC 유닛(175)과 같은 특정 열 ADC 유닛 각각에 적용되어, 연관 이중 샘플링(correlated double sampling)을 수행할 수 있다. CSD에서, 픽셀의 출력은 두 번 측정될 수 있다. 1회의 측정은 잘 알려진 조건에서 수행되고, 다른 1회의 측정은 잘 알려지지 않은 조건에서 수행된다. 잘 알려진 조건하의 값은 잘 알려지지 않은 조건의 값으로부터 감산되어 측정된 물리적 양과 연관된 값을 생성할 수 있다. 이 때, 물리적 양과 연관된 값은 이미지 신호의 특정 픽셀 영역을 나타내는 광전자 전하를 가리킬 수 있다. CDS를 사용할 경우, 각 인테그레이션 구간(integration period)의 종료 지점에서 픽셀의 신호 전압으로부터 픽셀의 기준 전압(예를 들어, 리셋 이후의 픽셀의 전압)을 제거함으로써 잡음이 제거될 수 있다. 즉, CDS에서, 픽셀의 전하가 출력으로써 전송되기 이전에, 리셋 값이 샘플링된다. 픽셀의 전하가 전송된 이후에 값으로부터 기준 값이 제거(deducted)된다.

특정 실시 예들에서, ADC 유닛(175)은 2차원 이미징 뿐만 아니라 3차원 심도 측정 모두를 위하여 사용될 수 있다. 그러나 이러한 공유된 구성을 위한 모든 입력들은 도 7b에 도시되지 않는다. 공유된 구성의 경우, 대응하는 램프 신호(Vramp)는 2차원 이미징을 위하여 다를 수 있다.

도 8은 본 발명의 특정 실시 예들에 따른 3차원 모드의 동작에서 타임스탬프 기반의 특정 픽셀 출력들을 생성하기 위한 도 1 및 도 2의 시스템(15)의 다른 신호들의 예시적인 타이밍도(190)이다. 앞서 언급된 바와 같이, 특정 실시 예들에서, 동일한 이미지 센서 유닛(24) 내의 모든 픽셀들은 2차원뿐만 아니라 3차원 이미징을 위하여 사용될 수 있다.

도 4 내지 도 5를 참조하여 설명된 바와 같이, 3차원 객체(26)는 레이저 광원(33)에 의해 픽셀 어레이(42)의 행(R)(75)을 따라 포인트 스캔될 수 있다. 즉, 한 시점에 하나의 점이 스캔된다. 행(R)은 스캐닝 라인(SR)(66)과 에피폴라 관계를 기반으로 알려진다. 하나의 행을 스캔한 이후에, 스캔 동작은 다른 행으로 반복된다. 레이저가 다음 점을 투영할 경우, 이전에 투영된 광점은 행(R)의 대응하는 픽셀에 의해 이미징된다. 행(R)의 모든 픽셀들로부터의 특정 픽셀 출력들은 도 7a의 디지털 처리 블록(167)의 심도 처리 회로/모듈로 독출된다.

특정 픽셀 출력을 생성하기 위하여, 대응하는 행은 행 선택 신호(RSEL)을 사용하여 초기에 선택되어야 한다. 도 8에서, 도 6의 행 디코더/드라이버(116)는 도 8에 도시된 바와 같이, 행 선택 신호(RSEL)(122)가 "하이" 레벨로 상승함으로써 픽셀들(106~108)을 포함하는 픽셀들의 행을 선택하는 것으로 가정한다. 즉, 모든 픽셀들(106~108)은 함께 선택된다. 설명의 편의를 위하여, 도 6 및 도 7에 도시된 신호들, 입력들 또는 출력들에 대하여 도 8에서 동일한 참조 번호들이 사용된다. 먼저, 선택된 행의 모든 픽셀들(106~108)이 리셋(RST) 라인(128)을 사용하여 고전압(high voltage)로 리셋될 수 있다. 픽셀의 "리셋(reset)" 레벨은 대응하는 광점의 특정 픽셀 검출이 없는 상태를 나타낼 수 있다. 본 발명의 일 실시 예에 따른 3차원 모드에서, 대응하는 픽셀 출력(pixout) 신호들(117~109)을 획득하기 위하여, 리셋 신호(128)는 미리 정해진 시간 동안 하이 레벨에서 해제(release)되어 픽셀들(106~108)에 의해 수신된 광전자들의 인테그레이션(integration)이 가능하게 할 수 있다. 두 가지 동작은 도 8에 도시되며, 이하에서 더욱 상세하게 설명된다. 제1 픽셀 출력 신호(PIXOUT1)(119)는 픽셀(108)에 의해 대응하는 ADC 유닛으로 제공된 출력을 나타내고, 파선( )을 사용하여 도시된다. 제2 픽셀 출력 신호(PIXOUT2)(118)는 픽셀(107)에 의해 대응하는 ADC 유닛으로 제공되는 출력을 가리키고, 점선()을 사용하여 도시된다. 일 실시 예에서, 도 6의 라인들(129~130)과 같은 다른 리셋 라인들은 비선택된 행들에 대한 블루밍(blooming)을 방지하기 위하여 하이 또는 "온(on)" 상태를 유지할 수 있다. 엄밀히 말하면, 도 8의 픽셀 출력 신호들(118, 119)은 도 7b의 ADC 유닛(175)와 같은 특정 열 ADC 유닛 각각에서, 도 7b의 OTA(176)와 같은 제1 OTA로 PIX_CDS로써 제공되기 이전에, 도 7b의 CDS 유닛(176)과 같은 CDS 유닛에 의해 조금 변형될 수 있다. 그러나 도면의 간결성 및 설명의 편의를 위하여, 도 8의 픽셀 출력 신호들은 각각의 PIX_CDS 신호들(미도시)의 대표로써 간주되며, 각 OTA들(177)로의 직접적인 입력을 포함하는 것으로 간주된다.

리셋 이후에, 픽셀의 포토다이오드가 3차원 객체(26)의 표면에 투영된 광점으로부터 반사된 광의 광전자들과 같은 입사광을 수신하는 경우, 포토다이오드는 대응하는 광전류(photocurrent)를 생성할 수 있다. 픽셀의 입사광 검출은 "온 이벤트(ON event)"라 불린다. 입사광의 강도가 낮이지는 것은 "오프 이벤트(OFF event)"를 발생할 수 있다. 온 이벤트에 응답하여 생성된 광전류는 초기 리셋 레벨로부터 픽셀 출력 전압(PIXOUT)을 감소시킬 수 있다. 픽셀은 수신된 조명/광 신호를 대응하는 전기적(아날로그) 전압으로 변환하는 변환기로써 동작한다. 전기적 전압은 도 6 내지 도 8의 픽셀 출력 신호(PIXOUT)로써 지칭된다. 각 픽셀은 대응하는 광점들이 레이저 광원에 의해 투영되는 순서에 따라 개별적으로 읽어질 수 있다. 아날로그 픽셀 출력 신호는 대응하는 열 ADC에 의해 디지털 값으로 변환될 수 있다. 2차원 이미징 모드에서, ADC는 아날로그 디지털 컨버터로써 동작하고, 멀티-비트 출력을 생성할 수 있다. 그러나 앞서 언급된 바와 같이, 3차원 심도 측정 모드에서, ADC는 타임 디지털 컨터버(TDC; Time-to-Digital Converter)로써 동작하고, 광점이 픽셀에 의해 검출된 시점을 나타내는 타임스탬프 값을 생성할 수 있다.

도 8을 참조하면, 픽셀 리셋이 수행(즉, 리셋 신호(RST)가 하이인 경우)된 이후에, 리셋 신호(RST)가 해제(release)되기 이전에, 픽셀들(106~108)과 연관된 열 ADC들은 리셋된다. 그러나 전송 신호(TX)(132)는 하이 상태를 유지할 수 있다. ADC들은 공통 ADC 리셋 신호 또는 개별적인 특정 ADC 리셋 신호들 중 어느 하나를 사용하여 리셋될 수 있다. 도 8의 실시 예에서, 공통 ADC_RST 신호(192)는 도 7a의 열 ADC 유닛(153)에 포함된 ADC(175)와 같은 특정 열 ADC들을 리셋하기 위하여 하이 레벨로 천이된다. 일 실시 예에서, ADC들은 픽셀들이 리셋되기 이전에, 미리 정해진 바이너리 값(예를 들어, 바이너리 "0" 또는 다른 알려진 숫자)으로 리셋될 수 있다. 도 8에서, 픽셀들(107, 108)과 연관된 ADC들을 위한 리셋 값들은 신호들(ADCOUT1, ADCOUT2) 각각의 필드(194, 195)에 의해 도시된다. 신호들(ADCOUT1, ADCOUT2)는 ADC 출력 "A", ADC 출력 "B"로 표현될 수 있다. 필드(field)의 용어는 도 8의 ADC 출력들을 설명할 때, 오직 설명의 편의를 위하여 사용된다. ADC 출력은 실제 이러한 필드들 전체로 동시에 구성되지 않을 수 있고, ADC의 신호 처리의 현재 단계를 위한 특정 디지털 값일 수 있다. 예를 들어, ADC가 리셋된 경우, 출력은 바이너리 "0"일 수 있거나, ADC가 카운트 클럭 펄스들을 트리거한 경우, 출력은 3차원 심도 측정의 경우에서 사용되는 카운트 값일 수 있거나, 또는, ADC가 2차원 컬러 이미징을 위하여 사용되는 경우, 출력은 이미지 신호를 나타내는 멀티 비트 값일 수 있다. 즉, 도 8의 ADC 출력은 단순히 다른 디지털 값들이 최종 출력으로의 처리에서 내부적으로 생성될 수 있음을 설명하기 위하여 이러한 필드로 표현된다. 도 8에서, 참조번호 "197"은 픽셀(108)과 연관된 ADC의 출력을 나타내는 신호(ADCOUT1)을 참조하기 위하여 사용된다. 참조번호 "198"은 픽셀(107)과 연관된 ADC의 출력을 나타내는 신호(ADCOUT2)를 참조하기 위하여 사용된다. 출력들(197, 198) 각각은 메모리 독출 동작 동안 열 디코더에 의해 각각의 ADC가 선택된 경우, 데이터 출력 신호(Dout)(140)(도 6 및 도 7 참조)으로써 표현될 수 있다. 리셋 이전에, ADC 출력들(197, 198)은 필드들(199, 200)에서 "x"로 표시된 바와 같이, 알려지지 않은 값들일 수 있다.

ADC들이 리셋되고, 픽셀 리셋 신호(128) 및 ADC 리셋 신호(192)가 해제된 이후에, 램프 입력(Vramp)(143)이 미리 정해진 전압 레벨로 천이됨으로써, ADC들은 미리 정해진 임계값을 갖는다. 도 8의 실시 예에서, 램프 입력(143)은 모든 특정 열 ADC들에 공통이고, 이로 인하여 동일한 램프 전압이 각 ADC로 제공된다. 그러나 다른 실시 예에서, 다른 램프 전압들(Vramp)이 둘 이상의 ADC에 개별적인 특정 ADC 램프 입력들을 통해 제공될 수 있다. 또한, 특정 실시 예들에서, 램프 전압(Vramp) 임계치는 적절한 변수로 프로그램가능한 파라미터일 수 있다. 임계치(램프 신호)가 활성화된 이후에, 특정 픽셀 ADC들은 도 7b의 카운터(181)와 같이 바이너리 카운팅을 시작하기 전에 대응하는 픽셀들의 "온 이벤트"를 대기할 수 있다.

2차원 이미징 모드에서 멀티 비트가 생성되는 반면에, 3차원 심도 측정 모드에서, 각 ADC는 바이너리 "0" 또는 "1"로 표현되는 단일 비트 출력을 생성할 수 있다. 즉, RGB 센서의 경우, RGB 픽셀 어레이(42)의 픽셀에 의해 수신된 컬러 정보는 3차원 모드에서 효율적으로 무시(ignore)될 수 있다. 픽셀에 의해 검출된 입사광이 없는 경우, 대응하는 신호(ADCOUT)는 바이너리 "0"을 유지할 수 있다. 즉, "온 이벤트"가 없는 열들은 각각의 신호(ADCOUT)에 대하여 디지털 값 "0" (또는 다른 알려진 값)을 유지할 수 있다. 그러나 앞서 언급된 바와 같이, 픽셀들이 입사광과 부딪히는 경우, 도 8의 픽셀 출력들(PIXOUT1, PIXOUT2)의 하향 기울기에서 지칭된 바와 같이 픽셀 출력(PIXOUT) 라인은 리셋 레벨로부터 떨어지기 시작한다. 픽셀 전하는 전하를 먼저 수신한 픽셀과 함께 읽어지기 시작하고, 이러한 읽기는 도 5에 도시된 바와 같이 행의 우측 픽셀에서 시작하여 좌측 픽셀에서 종료될 수 있다. 이 때, 도 5의 "t₁"은 가장 빠른 시간이고, "t₄"는 가장 늦은 시간이다. 즉, 도 8의 실시 예에서, 픽셀(108)의 출력(PIXOUT1)은 픽셀(107)의 출력(PIXOUT2) 이전에 읽어질 수 있다. 지속적으로 낮아지는 출력 신호(PIXOUT1)가 램프 임계값(143)에 도달하자마자, 단일 비트(ADCOUT1)가 바이너리 "0"에서 바이너리 "1"로 플립될 수 있다. 그러나 비트 "1"을 출력하는 대신에, 대응하는 ADC는 비트가 "0"에서 "1"로 플립된 시간을 기록할 수 있다. 다시 말해서, 픽셀(108)과 연관된 ADC는 신호(ADCOUT1)의 업카운트(upcount) 필드(202)에 의해 지칭되는 바와 같이 ADC에서 바이너리 카운터를 시작함으로써 타임 디지털 컨버터로써 동작할 수 있다. 업 카운트 구간 동안, ADC의 카운터는 클럭 신호(CLK)(185)의 클럭 펄스들을 카운트할 수 있다. 클럭 신호(185)는 도 7b에 도시된 바와 같이 각 ADC로 제공될 수 있다. 카운팅된 클럭 펄스들은 제1 카운터 클럭(Counter Clock-1) 신호(204)로 도시되고, 업 카운트 필드에서 카운팅된 값은 픽셀(108)에 대한 특정 픽셀 출력으로써 제공될 수 있다. 도 8의 제2 카운터 클럭(Counter Clock-2) 신호(205)에 의해 지칭되는 바와 같이 픽셀(107)에 의해 수집된 전하에 대한 유사한 카운팅 동작이 픽셀(107)과 연관된 ADC에서 수행될 수 있다. 업 카운트 필드(207)의 특정 픽셀 카운팅 값은 각각의 ADC에 의해 픽셀(107)에 대한 특정 픽셀 출력으로써 제공될 수 있다. 하나의 행에 포함된 모든 픽셀들을 스캔한 이후에, 이전 스캔된 행으로부터의 출력이 디지털 블록(167)의 심도 연산 유닛으로 독출되는 동안에, 픽셀-바이-픽셀 전하 수집 동작이 다른 행에서 반복될 수 있다.

각 ADC 출력들 각각은 각각의 타임스탬프를 표현할 수 있다. 타임스탬프는 레이저 광원(33)에 의해 빛나는 객체 표면 상의 광점의 픽셀 검출의 시간적인 지시자를 제공한다. 타임스탬프는 픽셀의 광 도착 시간을 캡쳐하기 위하여 고려될 수 있다. 일 실시 예에서, 타임스탬프 값은 ADC 유닛으로부터 수신된 카운팅된 클럭 펄스들의 카운트 값으로부터 검출된 광점에 대하여 디지털 처리 블록(167)에 의해 생성될 수 있다. 예를 들어, 디지털 블록(167)은 카운트 값을 시스템 내부 시간 또는 다른 기준 시간과 연관시킴으로써 타임스탬프를 생성할 수 있다. 타임스탬프는 수신 종료 시점에 생성된다. 따라서 타임스탬프는 대응하는 광점이 광원에 의해 투영된 투가 시간을 나타낼 필요가 없다. 그러나 타임스탬프 값들은 디지털 블록(167)이 타임스탬프된 광점들 사이의 시간적인 연관성을 구성하도록 할 수 있다. 그로 인하여, 디지털 블록(167)은 시간적인 연관성에 의해 특정된 시간 순서에 따라 타임스탬프된 광점들의 거리들을 결정할 수 있다. 예를 들어, 가장 빠른 광점의 거리가 먼저 결정되고, 가장 늦은 광점의 거리가 나중에 결정된다. 일 실시 예에서, 타임스탬프 방식은 이하에서 논의되는 바와 같이 동일한 픽셀에 이미징된 멀티 광점들로부터 발생할 수 있는 애매성(ambiguity)의 해결을 가능하게 할 수 있다.

램프 신호(143)가 미리 정해진 시간이 경과한 이후에 다시 시작될 때, 모든 ADC 기반의 카운터들이 동시에 중단될 수 있다. 도 8에서, 픽셀 전하 인테그레이션을 위한 미리 정해진 시간 구간의 결과를 가리키는 램프 신호(143)의 천이는 점선(210)에 의해 표시된다. 행 선택 신호(RSEL)(122) 및 리셋 신호(RST)(128)는 램프 신호(143)의 레벨의 변화와 실질적으로 동시에 라인(210)에서 상태를 천이할 수 있다. 일 실시 예에서, ACD 기반의 카운터들은 라인(210)에서 리셋될 수 있다. 다른 실시 예에서, ADC 기반의 카운터들은 픽셀 전하를 읽기 위한 픽셀들의 다음 행을 선택하기 이전에 리셋될 수 있다. 하나의 행에서 픽셀들의 스캐닝의 결과에서 ADC 카운터들의 리셋에서 불구하고, 내부 시스템 시간 또는 다른 기준 시간에 대한 타임스탬프 값의 상관적인 체계 때문에, 픽셀 어레이(42)의 각 픽셀에 대한 타임스탬프 값은 차이를 유지할 수 있다. 예시적으로 다른 기준 시간은 글로벌 및 연속적으로 구동될 수 있다.

도 8의 실시 예에서, 픽셀(107)과 같이 나중에 스캔된 픽셀은 픽셀(108)과 같이 먼저 스캔된 픽셀보다 적은 ADC 출력을 가질 수 있다. 즉, 도시된 바와 같이, 제2 ADC 출력(ADCOUT2)은 제1 ADC 출력(ADCOUT1)보다 적은 카운트 값(또는 더 적은 카운팅된 펄스의 개수)을 가질 수 있다. 또는, 다른 실시 예에서, 픽셀의 픽셀 출력 신호가 정해진 임계값(Vramp) 이하로 떨어지는 것과 같이 "온 이벤트"가 검출되고, 픽셀들이 리셋되고 카운팅을 시작하고, 각 특정 ADC 카운터가 카운팅을 시작할 경우, 나중에 스캔된 픽셀은 먼저 스캔된 픽셀보다 큰 ADC 출력을 가질 수 있다.

도 6 내지 도 8에 도시된 회로들 및 파형들은 열 업-카운트들 당 단일 슬로프 ADC들에 기반된다. 그러나 타임스탬프 방식은 설계 방식에 따라 업 또는 다운 카운터들로 구현될 수 있음은 잘 이해될 것이다. 더욱이 글로벌 카운터를 포함하는 단일 슬로프 ADC들이 사용될 수 있다. 예를 들어, 일 실시 예에서, 독립적인 열 기반의 카운터들을 사용하는 것 대신에, 글로벌 카운터(미도시)가 모든 열 ADC들에 공유될 수 있다. 이 경우, 열 기반의 비교기 유닛(미도시)이 "온 이벤트"를 감지할 때, 각 ADC에서 도 7b의 라인 메모리(183)과 유사한 열 메모리들이 글로벌 카운터 출력을 래치하여 적절한 특정 ADC 출력을 생성하도록 ADC들이 구성될 수 있다. 예시적으로, 온 이벤트는 각각의 픽셀 출력 신호들이 램프 기준(143) 이하로 떨어지는 경우 검출될 수 있다.

광점들의 행이 객체의 표면을 따라 스캔될 경우, 스캔되는 객체로부터의 둘 이상의 다른 점들이 동일한 픽셀에 이미징될 수 있다. 이러한 점들은 동일한 스캐닝 라인에 위치하거나 또는 인접한 스캐닝 라인들에 위치할 수 있다. 다중 점들(multi spots)이 객체의 표면을 따라 스캔될 경우, 중첩되는 이미징은 픽셀 온 이벤트들 및 점들의 연관성에 부정적인 영향을 미칠 수 있고, 그에 따라 심도 측정에서 애매성(ambiguity)이 유발될 수 있다. 예를 들어, 앞서 언급된 수학식1과 같이, 심도 측정은 스캔 각도(θ) 및 이미징된 광점의 픽셀 위치(즉, 수학식 1의 파라미터 "q")와 연관된다. 즉, 스캔 각도가 주어진 광점에 대하여 정확하게 알려지지 않은 경우, 심도 연산들은 애매성을 가질 수 있다. 본 발명의 특정 실시 예들에 따른 타임스탬프 기반의 방식은 캡쳐된 광점의 픽셀 위치 및 레이저 소스의 대응하는 스캔 각도 사이의 정확한 연관성을 유지하는데 사용될 수 있다. 다시 말해서, 타임스탬프는 파라미터들(q, θ)의 값들 사이의 연관성을 나타낼 수 있다. 즉, 데이터 출력 관점에서 동일한 픽셀 또는 열 상에 두 점들이 위치하는 경우, 타임스탬프 방식의 타임 디지털 변환은 이미징 시스템(특히, 도 7b의 디지털 처리 블록(167))이 두 점들 사이의 시간적인 연관성을 구성하여 먼저 수신된 광점이 무엇인지 식별하도록 할 수 있다. 이러한 연관성은 앞서 언급된, 스테레오 비전 시스템들 또는 구조광을 사용하는 시스템들과 같이 타임스탬프를 사용하지 않는 시스템들에서 용이하게 가능하지 않을 수 있다. 결과적으로, 이러한 시스템들은 연관성 문제를 해결하기 위하여 많은 데이터 검색 및 픽셀 매칭을 수행하는 것을 요구할 수 있다.

일 실시 예에서, 다중 광점들이 동일한 픽셀에 이미징된 경우, 이러한 광점들의 타임스탬프들은 비교되어 이전 수신된 광점을 식별할 수 있고, 동일한 픽셀에 순차적으로 수신된 광점을 모두 무시하고, 식별된 광점에 대한 거리만 연산될 수 있다. 즉, 이러한 실시 예에서, 먼저 가장 먼저 수신된 광점의 타임스탬프는 대응하는 픽셀에 대한 특정 픽셀 출력으로써 관리될 수 있다. 또는, 다른 실시 예에서, 동일한 픽셀에 이미징된 다른 모든 광점들을 무시하고 나중에 수신된 광점에 대한 거리가 연산될 수 있다. 이 두 경우에서, 먼저 또는 나중에 수신된 광점들 중 어느 하나의 광점이 심도 연산에서 무시될 수 있다. 수학적으로, 광원에 의해 투영된 광점들의 스캔 시간들은 t(0), t(1), ..., t(n)으로 주어진다. 이 때, t(i+1)-t(i)=d(t)이고, d(t)는 상수이다. 픽셀/열 출력들은 온 이벤트에 대한 타임스탬프인 a(0), a(1), ..., a(n)으로 주어지고, a(i)는 항상 t(i) 다음이다. 그러나 a(i+1) 및 a(k) (i ≠ k)가 동일한 픽셀/열과 연관되어 발생하는 경우, 앞서 설명된 바와 같이 그들 중 오직 하나만 저장되어 심도 연산의 애매성(ambiguity)을 제거할 수 있다. 타임스탬프에 의해 표현되는 출력 시간 및 스캔 시간 사이의 시간 관계를 기반으로, 디지털 블록(167)과 같은 처리 유닛은 출력 포인트들이 누락된 것을 산출할 수 있다. 비록 처리 유닛이 누락 위치를 복원할 수 없을 수 있으나, 가용 출력 포인트들로부터의 심도 연산들은 객체의 3차원 프로파일을 제공하는데 충분할 수 있다. 일 실시 예에서, 두 개의 다른 픽셀들이 동일한 광점의 각 부분을 이미징하는 것 또한 가능할 수 있다. 이러한 실시 예에서, 두 개의 픽셀들로부터의 타임스탬프 출력들의 값들의 근사를 기반으로, 처리 유닛은 단일 광점이 두 개의 다른 픽셀들에 의해 이미징될 수 있음을 추론할 수 있다. 애매성을 해결하기 위하여, 처리 유닛은 타임스탬프를 사용하여 각 위치 값들(q)의 평균을 산출하고, 수학식 1에서 "q"의 평균값을 사용하여 공유된 광점에 대한 3차원 심도를 연산할 수 있다. 도 9 내지 도 14의 실시 예들에서, 도 1의 시스템(15)과 같은 3차원 이미징 시스템에서 어드레스 센서 스캐너 배열 불량 이슈들을 위하여 사용될 수 있는 추가적인 타임스탬프 기법들이 설명된다. 이하에서, 좀 더 상세하게 설명되는 바와 같이, 도 9 내지 도 14의 실시 예들은 광원(33) 및 2차원 센서(42) 사이의 잠재적인 배열 불량 또는 완벽하지 않은 레이저 스캔으로 인한 투영된 광점이 복수의 인접한 픽셀들에 의해 이미징되는 상황과 연관된다. 완벽하지 않은 레이저 스캔은 스캐닝 라인이 하나의 픽셀보다 넓거나, 곡선이거나 또는 비스듬한 경우에 발생할 수 있다.

본 발명의 특정 실시 예에 따른 삼각 측량을 이용한 타임스탬프 기반의 3차원 심도 측정은 ADC가 단일 비트의 낮은 분해능을 갖는 바이너리 비교기로써 동작하도록 할 수 있다. 그로 인하여, ADC의 스위칭 전력이 감소되고, 전체적으로 시스템 전력이 감소된다. 반면에, 종래의 3차원 센서들에서, 높은 비트 분해능을 갖는 ADC는 좀 더 많은 처리 전력을 요구한다. 더욱이, 타임스탬프 기반의 애매성 해결은 애매성 해결을 위한 픽셀 데이터 검색 및 매치로 인한 많은 처리 전력을 요구하는 종래의 이미징 방법과 비교하여 시스템 전력을 감소시킬 수 있다. 모든 심도 측정이 단일 이미징 스텝에서 포인트 스캔된 모든 광점들의 이미징/검출로 인하여 한번에 수행될 수 있기 때문에, 레이턴시가 감소된다. 특정 실시 예에서, 픽셀 어레이의 각 픽셀은 단일 스토리지 픽셀이고, 그에 따라 1 마이크로미터)보다 작은 크기로 제작될 수 있다. 단일 스토리지 픽셀 디자인에서, 픽셀 당 하나의 포토 다이오드 및 하나의 접합 캐패시터가 존재(도 6의 트랜지스터(111)과 유사)하여 광전자들을 저장 및 인테그레이션할 수 있다. 반면에, 다른 시간에 광전자들을 저장하기 위한 복수의 캐패시터들 및 하나의 포토 다이오드를 포함하는 픽셀은 작은 크기로 감소되지 않을 수 있다. 즉, 본 발명의 특정 실시 예에 따른 작은 센서들을 포함하는 저전력 3차원 이미징 시스템은 스마트폰 또는 태블릿의 카메라와 같은 모바일 애플리케이션에서 용이하게 구현될 수 있다.

앞서 언급된 바와 같이, 도 1 내지 도 2의 이미지 센서 유닛(24)과 같은 동일한 이미지 센서는 본 발명의 실시 예들에 따른 2차원 이미징 및 3차원 심도 측정 모두를 위하여 사용될 수 있다. 이러한 듀얼 모드 이미지 센서는 모바일폰, 스마트폰, 랩탑 컴퓨터, 또는 태블릭 또는 가상 현신 환경 또는 산업 로봇의 카메라 시스템의 일부일 수 있다. 특정 실시 예들에서, 장치에 모드 스위치가 포함될 수 있고, 모드 스위치는 사용자가 종래의 2차원 카메라 모드 또는 앞서 설명된 심도 측정을 사용하는 3차원 이미징 모드를 선택하도록 할 수 있다. 특정 실시 예에 따른 종래의 2차원 카메라 모드에서, 사용자는 장명 또는 장면 내의 특정 3차원 객체의 스냅샷 또는 컬러 이미지(RGB 이미지)를 캡쳐할 수 있다. 그러나 3차원 모드에서, 사용자는 앞서 설명된 방식에 따라 포인트 스캔 기반의 심도 측정을 수행하는 카메라 시스템을 기반으로 객체의 3차원 이미지를 생성할 수 있다. 이러한 모드들에서, 동일한 이미지 센서는 의도하는 이미징을 수행하기 위하여 전체에서 사용될 수 있다. 다시 말해서, 이미지 센서의 각 픽셀은 2차원 또는 3차원 이미징의 애플리케이션을 위하여 사용될 수 있다.

앞서 언급된 바와 같이, 도 4 및 도 5의 스캐닝 라인(S_R)과 같은 스캐닝 라인은 완적하게 직선이 아니며, 곡선 또는 비스듬할 수 있다. 이러한 완벽하지 않은 레이저 스캐닝 라인들은 레이저 광원(33) 및 픽셀 어레이(42) 사이의 배열 불량이 있는 경우 발생할 수 있다. 곡선 또는 비스듬한 스캐닝 라인은 이미지 평면의 하나의 픽셀의 높이보다 높을 수 있다. 이 경우, 픽셀 어레이(42) 내의 픽셀들의 둘 이상의 행들이 곡선의 스캐닝 라인의 에피폴라 라인을 형성할 수 있다. 다시 말해서, 특정 실시 예들에, 픽셀들의 단일 행은 에피폴라 라인의 일부만 형성할 수 있다. 이러한 불완전한 스캐닝 라인의 결과로써, 인접한 행들 또는 인접한 열들의 복수의 픽셀들이 동일한 광점을 이미징할 수 있다. 특정 실시 예들에서, 장치가 결함을 가지고 제작된 경우, 배열 불량(misalignment)이 물리적으로 해결되지 않을 수 있다. 더욱 구체적으로, 이러한 불완전성의 효과(즉, 복수의 픽셀들에서 넓은 레이저 점들의 검출)는 좀 더 연관이 있고, 그로 인하여, 레이저 스캔 기반의 에피폴라 라인을 채용하는 3차원 카메라 시스템의 성능을 향상시키기 위하여, 그리고 3차원 심도 측정 동안 혼란을 회피하기 위하여 넓은 레이저 점들을 획득하는 변형된 타임스탬프 방식을 고안하는 것이 적절할 수 있다. 도 9 내지 도 14의 실시 예들은 이와 같은 변형된 타임스탬프 방식의 다양한 사상을 보여준다.

도 9는 본 발명의 실시 예에 따른 동시 타임스탬프(simultaneous timestamping)을 사용하여 3차원 심도 측정동안 복수의 픽셀들에 공통 광점이 검출되는 상황을 해결하는 방법을 보여주는 순서도(215)이다. 도 3에서 언급된 바와 같이, 도 9의 다양한 단계들은 시스템(15)의 시스템 구성 요소들 또는 모듈들의 조합 또는 단일 모듈에 의해 수행될 수 있다. 본문에서, 예시적인 방식에 의해, 특정 동작들이 특정 모듈들 또는 시스템 구성 요소들에 의해 수행되는 것으로 설명된다. 그러나 다른 모듈들 또는 시스템 구성 요소들은 적절하게 이러한 동작들을 수행할 수 있다. 도 9 내지 도 14의 실시 예들에서, 스캐닝 라인들은 완벽하지 않은 것으로 가정한다. 스캐닝 라인들이 하나의 픽셀보다 넓거나 또는 곡선 또는 비스듬한 경우, 시스템(15)의 성능이 향상이 요구될 수 있다.

도 9에서, 블록(217)의 동작은 도 3의 블록(52)의 동작과 유사하게, 다시 말해서, 도 9의 블록(217)에서, 시스템(15)(좀 더 상세하게는 프로세서(19)는 도 2의 광원 유닛(22)과 같은 광 소스를 사용하여 스캐닝 라인을 따라 도 2의 객체(26)와 같은 3차원 객체의 1차원 포인트 스캔을 수행할 수 있다. 포인트 스캔의 일부로써, 광원 유닛(22)은 프로세서(19)에 의해 라인-바이-라인 방식으로 3차원 객체(26)의 표면에 일련의 광점들을 투영하도록 구성될 수 있다. 블록(219)에서, 시스템(15)의 이미지 처리 유닛(46)은 도 2의 2차원 픽셀 어레이(42)와 같은 이미지 센서의 픽셀들의 복수의 행들을 선택할 수 있다. 이미지 센서(42)는 이미지 평면을 형성하는 2차원 어레이로 정렬된 복수의 픽셀들을 포함할 수 있다. 일 실시 예에서, 픽셀들의 복수의 선택된 행들 중 적어도 하나는 스캐닝 라인의 에피폴라 라인(블록(217) 참조)의 일부를 이미지 평면상에서 형성한다. 도 10 및 도 14를 참조하여 더욱 상세하게 설명되는 바와 같이, 스캐닝 라인이 단일 행에 의해 이미징되지 않고, 복수의 행들의 픽셀들에 의해 이미징될 경우, 픽셀들의 하나 이상의 행들에 대한 선택이 요구될 수 있다. 이하에서 언급되는 바와 같이, 선택된 행들은 인접하거나 또는 인접하지 않을 수 있다. 블록(221)에서, 픽셀들의 선택된 행들의 픽셀들에 대하여, 이미지 처리 유닛(46)은 프로세서(19)에 의해 일련의 광점들 중 대응하는 광점의 특정 픽셀 검출을 감지하도록 기능적으로 구성될 수 있다. 앞서 언급된 바와 같이, 일 실시 예에서, 이와 같은 감지(sensing)는 포토다이오드가 대응하는 광점으로부터 수신된 빛을 감지할 경우, 센서의 포토다이오드에 의해 생성된 전하의 수집을 위한 픽셀의 활성화를 가리킬 수 있다. 특정 픽셀 출력(PIXOUT) 신호는 수신된 빛에 응답하여 생성된 이와 같은 특정 픽셀 전하를 가리킨다. 특정 실시 예들에서, 블록(221)의 감지 동작은 공통 광점(common light spot)을 감지하는 픽셀들의 그룹에 대하여 실질적으로 동시에(substantially simultaneously) 수행될 수 있다. 예를 들어, 픽셀들의 그룹은 선택된 행 또는 인접한 행들의 동일한 열에 위치할 수 있다. 블록(223)에서 기재된 바와 같이, 공통 광점을 검출하는 픽셀들의 그룹에 대하여, 프로세서(19)에 의해 적절하게 구성될 수 있는 이미지 처리 유닛(46)은 그룹의 각 픽셀들에 대한 특정 픽셀 타임 스탬프 값을 실질적으로 동시에 생성할 수 있다. 그 결과, 블록(225)에서, 이미지 처리 유닛(46)은 공통 광점을 투영하기 위하여 광원에 의해 사용되는 스캔 각도(블록 (217)참조) 및 생성된 특정 픽셀 타임스탬프 값들(블록(223) 참조)을 기반으로 3차원 객체의 표면 상의 공통 광점까지의 3차원 거리(또는 심도)를 결정할 수 있다. 앞서 언급된 바와 같이, 타임스탬프는 이미징된 광점의 픽셀 위치(q) 및 광원의 대응하는 스캔 각도(θ)필요한 대응 관계를 제공할 수 있다. 삼각 측량 기반의 심도 측정을 위하여 수학식 1에서 사용되는 파라미터들은 도 4를 참조하여 설명된다.

도 10은 본 발명의 실시 예에 따른 도 9에서 언급된 동시 타임스탬프 방식이 구현될 수 있는 방법을 예시적으로 보여주는 레이아웃(227)이다. 도 10에서, 15×10 픽셀 어레이(229)가 예시적으로 도시된다. 픽셀 어레이(229)의 모든 픽셀들은 단일 참조 번호 "230"를 사용하여 식별될 수 있다. 일 실시 예에서, 픽셀들(230)의 전체 개수는 2차원 어레이(229)의 픽셀들의 활성화된 영역의 픽셀들의 개수와 동일할 수 있다. 본문에서, 픽셀 어레이(229)의 픽셀들의 각 행의 활성 영역(active portion)은 동일한 개수의 픽셀들을 포함할 수 있다. 활성 영역은 레이저 스캔 동안 객체(26)로부터 실제 빛을 수신하고, 3차원 심도 측정을 위하여 처리되고 수신되는 대응하는 픽셀 출력 신호를 생성하는 픽셀들을 참조할 수 있다. 도 10의 실시 예에서, 픽셀 어레이(229)는 픽셀들의 활성 영역을 가리킬 수 있다.

특정 실시 예들에서, 픽셀 어레이(229)는 도 2 및 도 6의 픽셀 어레이(42)와 동일할 수 있고, 도 10의 구조로 사용될 수 있다. 즉, 도 6의 실시 예와 같이, 도 10의 각 픽셀(230)은 4T PPD 픽셀일 수 있다. 그러나 다른 실시 예들에서, 픽셀들(230)은 도 6의 픽셀들을 참조하기 이전에 언급된 NMOS 또는 PMOS 트랜지스터들을 포함하는 3T 픽셀, 2T픽셀 등과 같은 다른 형태의 픽셀들일 수 있다. 도 11 및 도 12의 실시 예들은 픽셀들(230)에 대한 공유 픽셀 구조와 같은 추가적인 픽셀 구조를 보여준다.

도 10의 실시 예에서, 픽셀 어레이(229)는 4개의 타임 디지털 컨버터(TDC) 어레이(즉, 제0 내지 제3 컨버터 어레이들(233~236)를 포함한다. 도 7b를 참조하여 설명된 바와 같이, 2차원 픽셀 어레이(42)의 픽셀들의 각 열은 대응하는 특정 열 ADC 유닛(175)과 연관된다. 더욱이, 3차원 심도 측정 모드에서, 특정 열 ADC 유닛(175)은 타임 디지털 컨버터(TDC)로써 동작하고, 각 열의 픽셀에 의해 빛이 검출된 시간을 가리키는 타임스탬프 값을 생성할 수 있다. 앞서 설명된 바와 같이 픽셀들의 열당 하나의 TDC 유닛이 대응되는 것과 대조적으로, 도 10의 실시 예에서, 픽셀 어레이(229)의 픽셀들의 각 열은 4개의 특정 열 TDC 유닛들 전체와 연관된다. 이러한 TDC 유닛 각각은 TDC 어레이들(233~236)의 각각의 일부일 수 있다. 특정 실시 예에들에서, 회로 블록들(233~236)은 이미지 처리 유닛(46)(도 2)의 일부일 수 있다. 좀 더 상세하게는, 특정 실시 예에서, TDC 어레이들(233~236)은 열 ADC 유닛(153)(도 7a)의 일부 일 수 있다. 도면의 간결성을 위하여, 관련된 회로들만 도 10에 도시된다.

TDC 어레이들(233~236) 각각은 "N" 개의 ADC (또는 TDC) 유닛들을 포함할 수 있다. 각 ADC 유닛은 도 7b의 ADC 유닛(175)과 유사할 수 있다. 일 실시 예에서, "N"은 픽셀 어레이(229)의 픽셀 열들의 숫자와 동일할 수 있다. 각각의 TDC 어레이들(233~236)에 포함된 각 TDC 유닛은 도 7b의 ADC 유닛(175)을 참조하여 설명된 방식과 동일한 방식으로 대응하는 타임스탬프 출력을 생성할 수 있다. 각각의 TDC 어레이 당 모든 타임스탬프 출력들은 도 10에서 참조 번호 "239" 내지 "242"를 사용하여 표시된다.

도 10의 실시 예에서, 각 픽셀은 4개의 TDC 어레이들(233~236) 중 하나와 연결되는 것으로 도시된다. 도면의 간결성을 위하여, 일부 픽셀들의 연결을 도시하기 위하여 검정 점들(black dots)이 사용된다. 그러나 어레이(229)의 각 픽셀은 유사하게 연결될 수 있다. 두 개의 검정 점들은 참조 번호 "245"를 사용하여 표시된다. 일 실시 예에서, 동일한 행의 각 픽셀은 동일한 TDC 어레이와 연결될 수 있다. 인접한 행들의 픽셀들은 다른 TDC 어레이들과 연결될 수 있다. 예를 들어, 도 10에 도시된 바와 같이, n 행(247)의 픽셀들은 TDC 어레이(233)과 연결될 수 있다. n+1 행(248)의 픽셀들은 TDC 어레이(234)와 연결될 수 있다. n+2 행(249)의 픽셀들은 TDC 어레이(235)와 연결될 수 있다. n+3 행(250)의 픽셀들은 TDC 어레이(236)과 연결될 수 있다. 즉, 픽셀 어레이(229)의 픽셀들 각각은 대응하는 타임스탬프 값의 생성 및 각각의 픽셀 출력 신호의 처리를 위하여 각각의 TDC 어레이에 포함된 특정 열 TDC/ADC 유닛과 연결될 수 있다. 도 10에 도시된 연결 관계는 예시적인 것이며, 동일한 열의 픽셀들 및 다른 특정 열 ADC 유닛들의 다른 연결 관계들이 고안될 수 있다.

도 10의 실시 예에서, 배열 불량 및 곡선인 에피폴라 라인(252)이 최대 4개의 픽셀들의 높이를 갖는 것으로 도시된다. 다시 말해서, 도 10의 이미지 평면(229)에서, 에피폴라 라인(252)은 픽셀들의 4개의 행들(즉, n 내지 n+3 행들(247~250))로 형성된다. 따라서 도 10의 실시 예에서, 4개의 다른 TDC 어레이들(233~236)이 행들의 최대 개수에 대한 타임스탬프 값들(즉, 4개)을 캡쳐하기 위하여 요구된다. 행들은 곡선 또는 비스듬한 에피폴라 라인(252)에 기인한 광점을 동시에 동시에 검출할 수 있다. 다른 실시 예들에서, 이미지 평면의 대응하는 에피폴라 라인의 픽셀 높이에 대하여 측정된 바와 같이 각 스캐닝 라인이 얼마나 넓은지에 따라 더욱 많거나 또는 적은 개수의 TDC 어레이들이 제공될 수 있다. 행들(247~250)의 그룹에 의해 검출된 광점들의 일부는 음영의 타원으로 도시된다. 타원들 중 세 개는 참조번호 "255", "256", 및 "257"을 사용하여 도 10에서 표시된다. 도면의 간결성을 위하여, 에피폴라 라인(252)의 모든 광점들이 도시되지 않거나 또는 개별적으로 식별되지 않는다. 도 10의 실시 예에서, 각 광점들은 포함하는 것으로 도시되고, 복수의 인접한 행들의 동일한 열 내의 복수의 픽셀들에 의해 검출될 수 있다. 그러나 본 발명의 기술적 사상은 단일 광점이 인접한 열들의 복수의 픽셀들에 의해 이미징되는 다른 실시 예들에 적용될 수 있다.

에피폴라 라인(252)은 도 4 및 도 5의 스캐닝 라인(S_R)(66)과 같은 스캐닝 라인(도 10에서 미도시됨)과 대응될 수 있다. 이상적으로, 스캐닝 라인은 이미지 평면의 스캐닝 라인의 에피폴라 라인을 형성하는 픽셀들의 단일 행에 의해 보여지거나 또는 이미징될 수 있다. 그러나 특정 실시 예에서, 이미징된 스캐닝 라인(즉, 도 10의 에피폴라 라인(252)과 같은 각각의 에피폴라 라인에 의해 지칭되는 라인)은 레이저-센서의 배열 불량으로 인해 완벽하게 직선이 아닐 수 있다. 이러한 이유로, 이미징된 광점의 점 크기는 하나의 픽셀 피치보다 클 수 있다. 결과적으로, 동일/공통 광점을 잠재적으로 이미징할 수 있는 모든 픽셀들이 실질적으로 동시에 감지되지 않는 경우, 스캔된 특정 점은 전체에서 검출되지 않을 수 있다. 이는 3차원 심도 측정의 정확성을 감소시킨다. 앞서 언급된 바와 같이, 공통 광점을 이미징하는 픽셀들은 복수의 인접한 행들 또는 열들에 포함될 수 있다. 그러므로 특정 실시 예에서, 복수의 행들 또는 열들은 실질적으로 동시에 선택되어 픽셀들의 그룹으로부터 픽셀 전하들을 수집할 수 있고, 이로 인하여 실질적으로 동시에 그룹의 각 픽셀에 대한 특정 픽셀 타임스탬프 값들을 성생 또는 획득할 수 있다. 타임스탬프 값들의 동시 생성은 도 10의 실시 예에서 복수의 TDC 어레이들(233, 236)으로 도시되는 바와 같이 복수의 픽셀들의 열당 TDC 유닛들을 제공함으로써 달성될 수 있다.

센서 및 스캐너 사이의 배열 불량은 장치의 제조 과정의 특정 제한 사항으로써 사전에 미리 알려질 수 있다. 이러한 이유로, 시스템(15)은 복수의 TDC 어레이들을 포함하도록 설계 또는 제작된다. 복수의 TDC 어레이들의 개수는 미리 결정되거나 또는 장치의 이미지 편면의 스캐닝 라인의 픽셀 피치 또는 최대 높이와 관련될 수 있다. 장치의 제조 과정동안 또는 그 이후에, 프로세서(19)는 장치(15)의 동작에서, 픽셀 처리 유닛(46)이 적절한 TDC 어레이들을 트리거하여 동일한 열들 또는 인접한 열들에 포함된 복수의 픽셀들에 대한 타임스탬프들을 동시에 캡쳐하도록 픽셀 처리 유닛(46)을 기능적으로 관리하도록 소프트웨어 또는 하드웨어 방식으로 구성될 수 있다. 이러한 방식에서, 장치(15)의 심도 측정 오차 범위가 증가하여 완벽하지 않은 레이저 스캐닝 라인들을 수용할 수 있다.

도 10의 실시 예의 경우와 같이 단일 광점이 복수의 픽셀 이미징된 경우, 앞서 설명된 바와 같이 복수의 TDC 어레이들을 사용하여 생성되는 대응하는 복수의 타임스탬프 값들을 조화(reconcile)하여 단일 광점으로의 거리를 결정하는 다른 방식들이 사용될 수 있다. 일 실시 예에서, 조화 과정(reconciliation process)은 (프로세서(19)에 의해 적절하게 구성되는) 픽셀 처리 유닛(46)에 의해 수행될 수 있고, 거리 결정에 사용될 수 있는 단일 타임스탬프 값을 생성할 수 있다. 실시 예에서, 픽셀들의 그룹이 동일한 광점을 검출한 경우, 모든 특정 픽셀 타임스탬프 값들은 공통 광점에 대하여 단일, 특정 그룹 타임스탬프 값을 획득하는데 사용될 수 있다. 예를 들어, 일 실시 예에서, 생성된 특정 픽셀 타임스탬프 값들 중 하나가 공통 광점에 대한 특정 그룹 타임스탬프 값으로써 선택될 수 있다. 이러한 특정 그룹 타임스탬프 값은 모든 특정 픽셀 타임스탬프 값들의 "대표(representative)"일 수 있다. 선택된 특정 그룹 타임스탬프 값은 이하의 (i) 및 (ii) 구성들에 대한 연관성을 구성하기 위하여 사용될 수 있다. (i) 픽셀들의 특정 픽셀 타임스탬프 값이 특정 그룹 타임스탬프 값에 근사하거나 또는 특정 그룹 타임 스탬프 값으로 선택되고, 이 때, 픽셀들의 그룹의 픽셀에 대한 도 4에 도시된 파라미터 "q", 및 (ii) 광원의 대응하는 스캔 각도(θ). 공통 광점으로의 거리는 상술된 수학식 1을 사용하여 결정될 수 있다. 일 실시 예에서, 실질적으로 물리적인 위치가 픽셀들의 그룹의 중앙인 픽셀과 연관된 특정 픽셀 타임스탬프 값은 공통 광점에 대한 특정 그룹 타임스탬프 값으로써 선택될 수 있다. 즉, 예를 들어, 음영의 타원(256)의 픽셀들의 그룹의 경우, n+2 행(249)의 픽셀들은 중앙 픽셀로써 간주될 수 있고, 이로 인하여, 픽셀의 특정 픽셀 타임스탬프 값은 특정 그룹 타임스탬프 값으로써 사용될 수 있다. 그러나 타원(257)의 픽셀들의 그룹의 경우, n+1 행(248)의 픽셀 또는 n+2 행(249)의 픽셀과 같인 2개의 중앙 픽셀들이 존재한다. 이 경우, 픽셀들 중 어느 하나의 특정 픽셀 타임스탬프 값이 특정 그룹 타임스탬프 값으로써 사용될 수 있다.

다른 조화 방식에서, 특정 픽셀 심도 값이 픽셀들의 그룹의 각 픽셀에 대하여 연산될 수 있다. 특정 픽셀 타임스탬프 값은 특정 픽셀 심도 값의 연산 동안 사용될 수 있다. 그런 이후에, 그룹의 중앙에 위치한 픽셀과 연관된 심도 값이 공통 광점으로의 거리의 최종 측정으로써 사용될 수 있다. 중앙 픽셀은 앞서 설명된 바와 같이 결정될 수 있다. 또는 모든 특정 픽셀 심도 값들의 가중 평균이 공통 광점으로의 거리의 최종 측정으로써 사용될 수 있다. 가중치는 픽셀이 픽셀들의 그룹에서 에지에 위치하는지 또는 중앙에 위치하는지 여부에 따라 결정될 수 있다. 일 실시 예에서, 중앙 픽셀에 대한 특정 픽셀 심도 값은 에지 픽셀의 특정 픽셀 심도 값보다 큰 가중치를 할당받을 수 있다.

앞서 언급된 바와 같이, 특정 실시 예에서, 타임스탬프 값들은 디지털 블록(167)(도 7a)이 타임스탬프된 광점들 사이의 시간적인 관계를 구성하도록 할 수 있다. 이로 인하여, 디지털 블록(167)은 시간적인 관계에 의해 정의된 시간 순서에 따라 타임스탬프된 광점까지의 거리를 결정할 수 있다. 상술된 시간 순서는 가장 먼저 빛나는 광점까지의 거리가 먼저 결정되고, 가장 나중에 빛나는 광점까지의 거리가 나중에 결정되는 순서를 가리킨다. 이러한 방식은 도 10의 실시 예의 경우와 같이, 복수의 행들/열들이 실질적으로 동시에 선택되고, 복수의 TDC 어레이들이 복수의 타임스탬프들을 실질적으로 동시에 생성하도록 동작할 경우에도 적용된다. 예를 들어, 픽셀들의 선택된 행에서 픽셀들의 둘 이상의 그룹들에 대하여, 특정 그룹 타임스탬프 값들이 각각의 타임스탬프된 광점들 사이의 시간적인 관계를 구성하기 위하여 사용될 수 있다. 이러한 타임스탬프된 광점들까지의 거리는 시간적인 관계에 의해 정의된 순서에 따라 결정될 수 있다.

도 11은 본 발명의 실시 예에 따른 동시 타임스탬프 방식을 구현하는 실시 예들에서 픽셀 어레이로써 사용될 수 있는 2차원 RGB 어레이(262)를 부분적으로 보여주는 회로도(260)이다. 그러나 픽셀 어레이(262)는 동시 타임스탬프가 구현되지 않는 실시 예에서 또한 사용될 수 있다. 다시 말해서, 픽셀 어레이(262)는 장치(15)가 복수의 TDC 어레이들을 구현하는지 또는 단일 TDC 어레이를 구현하는지와 무관하게 사용될 수 있다. 그러나 이하에서, 픽셀 어레이(262)를 사용하여 동시 타임스탬프가 구현되는 방법이 중점적으로 설명된다. 특정 실시 예들에서, RGB 어레이(262)는 도 2에 도시된 픽셀 어레이(262)일 수 있다. 다른 실시 예들에서, 도 1 및 도 2의 시스템(15)은 심도 측정을 위하여 RGB 어레이(262)를 채용한 3차원 또는 RGBZ 카메라 시스템일 수 있다. 설명의 편의를 위하여, 도 11의 회로도(260)는 도 12와 함께 설명될 것이다. 도 12는 도 11의 RGB 어레이(262)의 (픽셀(264)와 같은) 픽셀(좀 더 상세하게는 픽셀-쌍)의 상세한 회로도이다. 도면의 간결성 및 명확성을 위하여, 8X3 픽셀 구조로 정렬되고, 픽셀(264)과 유사한 24개의 픽셀들(또는 픽셀-쌍들)이 도 11에 도시된다. 픽셀(264) 및 구동 신호들의 일부는 도 11에서 참조번호를 사용하여 식별된다. 컬러 픽셀 어레이(262)의 각 컬러 픽셀은 대응하는 컬러문자를 사용하여 식별된다. "R"은 레드(red)를 가리키고, "G"는 그린(green)을 가리키고, "B"는 블루(blue)를 가키린다. 비록 RGB 어레이(262)의 컬러 픽셀들이 잘 알려진 베이어 패턴으로 정렬되나, 다른 컬러 패턴 정렬들을 포함하는 컬러 픽셀 어레이들이 본 발명의 다양한 실시 예들에서 픽셀 어레이들로써 사용될 수 있다. 설명의 편의를 위하여, 도 6에 도시된 바와 같은 상세한 연결 및 바이어싱은 도 11의 픽셀 레이아웃(260)에서 생략된다.

도 12를 참조하면, 픽셀(264)DMS 1X2의 2개의 공유된 픽셀이다. 두 개의 독립적으로 선택 가능한 픽셀들(266, 267)은 단일 특정 픽셀 출력(PIXOUT)을 갖는 단일 픽셀 또는 픽셀-쌍(264)을 구성하는 공유 픽셀 구조로 정렬된다. 비록 설명의 편의를 위하여, 픽셀의 용어가 픽셀-쌍(264) 뿐만 아니라 개별적인 픽셀들(266, 267)을 지칭하기 위하여 사용되나, 각 구성 픽셀(266, 267)은 가끔 서브-픽셀로써 참조되어 픽셀(또는 픽셀-쌍)(264)과 본문에서 분명하게 구분될 수 있다. 도 12의 픽셀(264)은 도 11의 2개의 공유된 픽셀 각각을 보여준다. 따라서 도 12의 실시 예는 도 11의 2개의 공유된 픽셀 각각이 적용된다. 도 11에 도시된 바와 같이, 도 11의 픽셀 어레이(262)의 2개의 공유된 픽셀 각각은 도 12의 픽셀(264)과 동일한 구조를 포함할 수 있다. 그러나 도면의 간결성을 위하여, 각 픽셀 및 서브 픽셀들은 도 11에서 개별적으로 도시되지 않는다. 도 12ㅡ이 실시 예에서, 상위 픽셀(266)(top pixel)은 그린 픽셀이고, 하위 픽셀(267)(bottom pixel)은 블루 픽셀이다. 그러나 도 11에 도시된 바와 같이, 다른 2개의 공유된 픽셀들에서, 상위 픽셀은 레드 픽셀이고, 하위 픽셀은 그린 픽셀일 수 있다. 그린 픽셀의 상위 또는 하위 위치와 무관하게, 2개의 공유된 픽셀들의 하나의 행의 모든 그린 픽셀들은 동일한 전송 신호(TX_E)와 연결된다. 전송 신호(TX_E) 중 하나는 참조 번호 "270"을 사용하여 도 11 및 도 12에서 표시된다. 유사하게, 레드 또는 블루 픽셀의 상위 또는 하위 위치와 무관하게, 픽셀 어레이(262)의 2개의 공유된 픽셀들의 하나의 행의 레드/블루 픽셀들 전부는 전송 신호(TX_O)와 연결된다. 전송 신호(TX_O) 중 하나는 도 11 및 도 12에서 참조번호 "271"를 사용하여 도시된다. 이러한 공통 연결 기반의 구성(common connection-based configuration)은 도 13 및 도 14를 참조하여 설명되는 바와 같이, 3차원 심도 측정들 동안 주변광을 좀 더 제거하고, TDC 어레이들의 개수를 감소시킬 수 있다. 설명의 편의를 위하여, "TX_E" 용어는 픽셀 어레이(262)의 서브-픽셀들의 짝수(E; even-numbered) 행들과 연결된 것으로 도시된 전송 신호(TX)를 가리키고, "TX_O"의 용어는 픽셀 어레이(262)의 서브-픽셀들의 홀수(O; odd-numbered) 행들과 연결된 것으로 도시된 전송 신호(TX)를 가리킬 수 있다. 도 11에서, 제0, 제2, 및 제4 행들은 짝수 행들이고, 제1, 제3, 및 제5 행들은 홀수 행들이다. 서브 픽셀들의 제0 내지 제5 행들(Row0~Row5)은 도 11에 도시되고, 도면의 간결성을 위하여, 오직 제4 및 제5 행들(Row4, Row5)이 참조번호 "274", "275"를 사용하여 각각 표시된다. 서브 픽셀들의 다른 행들은 유사하게 표시될 수 있다.

2개의 공유된 픽셀(264)에서 각 서브 픽셀의 동작 및 구조적인 구성이 실질적으로 도 6의 실시 예에 도시된 픽셀들의 동작 및 구조적인 구성과 유사하고, 도 6에서 픽셀들의 기하적인 구조가 설명되었으므로, 본문에서, 도 12의 공유된 픽셀(264)에 대한 간략한 설명이 제공된다. 도 12에 도시된 바와 같이, 리셋 신호(RST)(277)는 NMOS 트랜지스터(279)의 게이트로 제공될 수 있고, 전송 신호(TX_E)(270)는 NMOS 트랜지스터(280)의 게이트로 제공될 수 있고, 전송 신호(TX_O)(271)은 NMOS 트랜지스터(281)의 게이트로 제공될 수 있고, 행 선택 신호(RSEL)(283)는 NMOS 트랜지스터(284)의 게이트로 제공될 수 있다. 도 11 및 도 12의 실시 예에서 리셋 신호(RST), 행 선택 신호(RSEL), 및 전송 신호(TX)는 도 6 및 도 8을 참조하여 설명된 신호들의 기능들과 유사할 수 있다. 포토다이오드들(285, 286)에 의해 생성된 전기적 전하들은 NMOS 트랜지스터(289)의 게이트 단자와 연결된 캐패시터(288)에 수집될 수 있다. 두 개의 전송 게이트들(280, 281)은 출력에 대하여 하나의 공유된 소스 팔로워(289)를 사용하는 추가적인 처리를 위하여 수집된 전기적 전하들을 통과시킬 수 있다. 픽셀(264)의 출력은 도 12에 도시된 바와 같이 픽셀 출력 신호(PIXOUT)(290)이다. 픽셀(264)은 두 개의 포토다이오드들(285, 286) 및 두 개의 전송 게이트들(280, 281)이 하나의 공유된 소스 팔로워(289)를 공유하고 있기 때문에, 2개의 공유된 구조이다. 일부 실시 예들에서, NMOS 트랜지스터들 대신에, 픽셀(264)은 PMOS 트랜지스터들 또는 다른 형태의 전하 전송 장치들로 구성될 수 있다. 도 12의 픽셀(264)과 같이, 픽셀 어레이(262)의 2개의 공유된 픽셀은 유사한 리셋 신호(RST), 행 선택 신호(RSEL), 및 전송 신호(TX)를 수신하고, 특정 픽셀 출력(PIXOUT)를 제공할 수 있다. 앞서 언급한 바와 같이, 도면의 간결성을 위하여, 모든 신호들은 도 11에서 개별독으로 도시되지 않는다.

도 11의 RGB 어레이(262)의 픽셀들은 특정 방식에 따른 도 12에 도시된 바와 같은 공유된 픽셀 구조로 정렬될 수 있다. 상술된 특정 방식은 도 12의 픽셀들(266, 267)과 같이 다른 컬러들의 개별적으로 선택가능한 픽셀들의 복수의 쌍들을 구성한다. 한 쌍의 픽셀들은 각각의 전송 신호들(TX_E, TX_O)을 통해 개별적으로 선택 가능할 수 있다. 도 11의 픽셀 어레이(262)의 레이아웃에 도시된 바와 같이, 픽셀들의 각 쌍은 하나의 그린(G) 픽셀을 포함할 수 있고, 다른 하나의 픽셀은 레드(R) 또는 블루(B) 픽셀일 수 있다.

리셋 신호(RST), 행 선택 신호(RSEL), 및 전송 신호들(TX_E, TX_O)은 각각의 행 디코더/드라이버에 의해 픽셀 어레이(262)의 2개의 공유된 픽셀들 각각으로 제공될 수 있다. 도 11의 실시 예에서, 3개의 행 드라이버들이 도시되나, 도면의 간결성을 위하여 행 드라이버들 중 하나만 참조번호 "295"를 사용하여 표시된다. 각 행 드라이버는 제어 신호들을 생성하고, 행 드라이버와 연관된 서브-픽셀들의 행들의 쌍들 각각으로 제어 신호들을 제공할 수 있다. 예를 들어, 행들(274, 275)의 쌍의 경우, 행 드라이버(295)는 제4 행(Row 4)(274)의 그린 및 레드 서브 픽셀들 전체로 리셋 신호(RST)(277)를 제공할 수 있고, 제5 행(Row 5)(275)의 블루 및 그린 서브-픽셀들 전체로 행 선택 신호(RSEL)(283)(도 11에 도시되지 않았으나, 도 12에 도시됨.)를 제공할 수 있다. 더욱이, 행 드라이버(295)는 도 11에 도시된 바와 같이, 행들(274, 275)의 그린 서브-픽셀들로 전송 신호(TX_E)(270)를 제공하고, 전송 신호(TX_O)(271)를 행들(274, 275)의 레드 또는 블루 서브-픽셀들로 제공할 수 있다. 일 실시 예에서, 도 11에 도시된 행 드라이버들은 픽셀 처리 회로들(46)(도 2 참조)의 일부일 수 있다. 다른 실시 예에서, 도 6에 도시된 행 디코더/드라이버(116)와 같은 단일 행 디코더/드라이버가 RGB 어레이(262)의 픽셀들로 적절한 제어 신호들을 제공하기 위하여 사용될 수 있다. 도 11의 실시 예에서, 행 드라이버(295)와 같은 행 드라이버들 각각은 본 발명의 실시 예에 따라 실질적으로 동시에 복수의 타임스탬프들을 생성하기 위해, 프로세서(19)로부터 적절한 어드레스 또는 제어 정보를 수신하여 2개의 공유된 픽셀들의 복수의 행들의 동시 선택을 수행할 수 있다.

도 13은 본 발명의 일 실시 예에 따른 도 11의 RGB 어레이(262)의 다양한 픽셀들이 각각의 전송 신호들을 사용하여 활성화되는 방법을 설명하기 위한 도면이다. 앞서 언급된 바와 같이, 리셋 신호, 행 선택 신호, 및 전소 ㅇ신호들의 조합은 3차원 심도 측정 동안 타임스탬프들을 생성하기 위하여 사용될 수 있다. 특정 그린 전송 신호들(즉, TX_E 신호) 대 특정 레드/블로 전송 신호들(즉, TX_O) 사이의 설명의 편의를 위하여, 별도의 회로 구성들 없이 각 픽셀 및 각 전송 라인들 사이의 연결만 도 13에서 도시된다. 또한, 설명의 편의를 위하여, 도 11 및 도 12에 도시된 회로 요소들 및 신호들에 대하여 도 13에서 동일한 참조번호들이 사용된다. 도 13에 도시된 바와 같이, 2개의 공유된 픽셀들의 행의 그린 서브-픽셀들 각각은 짝수 전송 신호(TX_E) 각각과 연결된다. 즉, 제0 및 제1 행들(Row 0, Row 1)의 그린 서브-픽셀들은 제0 전송 신호(TX0)(297)을 통해 활성화된다. 제0 전송 신호(TX0)(297)는 도 11의 제2 행(Row 2)에서 도시된 짝수 전송 신호(TX_E)를 나타낸다. 제2 및 제3 행들의 그린 서브-픽셀들은 제2 전송 신호(TX2)(298)를 통해 활성화된다. 제2 전송 신호(TX2)(298)는 도 11의 제 4행(Row 4)에서 도시된 짝수 전송 신호(TX_E)를 나타낸다. 제4 및 제5 행들(Row 4, Row 5)의 그린 서브-픽셀들은 제4 전송 신호(TX4)(270)를 통해 활성화된다. 제4 전송 신호(TX4)(270)는 도 11의 제4 행(Row 4)에 도시된 짝수 전송 신호(TX_E)를 나타낸다. 유사하게, 2개의 공유된 픽셀들의 레드 및 블루 서브 픽셀 각각은 홀수 전송 신호(TX_O) 각각과 연결된다. 즉, 제0 및 제1 행들(Row 0, Row 1)의 레드 및 블루 서브 픽셀들은 도 11의 제1 행(Row 1)에 도시된 홀수 전송 신호(TX_O)로 표시된 제1 전송 신호(TX1)(299)를 통해 활성화된다. 제2 및 제3 행들(Row 2, Row 2)의 레드 및 블루 서브 픽셀들은 도 11의 제3 행(Row 3)에 도시된 홀수 전송 신호(TX_O)로 표시된 제3 전송 신호(TX3)(300)를 통해 활성화된다. 제4 및 제4 행들(Row 4, Row 5)의 레드 및 블루 서브 픽셀들은 도 11의 제5 행(Row 5)에 도시된 홀수 전송 신호(TX_O)로 표시된 제5 전송 신호(TX5)(271)를 통해 활성화된다.

도 14를 참조하여 설명되는 바와 같이, 도 1 및 도 2의 레이저 광원(22)은 그린(G) 광 레이저이고, 도 13의 실시 예에 도시된 픽셀 활성 배열은 본 발명의 실시 예에 따라 에피폴라 라인의 배열 불일치 및 곡률을 해결하기 위하여 3차원 심도 측정동안 동시 타임스탬프들을 생성하는데 요구되는 TDC 어레이들의 개수를 실질적으로 감소시킬 수 있다.

도 14는 본 발명의 실시 예에 따른 동시 타임스탬프 방식이 도 11의 RGB 어레이(262)를 사용하여 TDC 어레이들의 감소된 개수를 구현하는 방법을 예시적으로 보여주는 레이아웃(305)이다. 도 14의 15X10의 RGB 어레이(262)는 도 10의 픽셀 어레이(229)보다 좀 더 일반적인 특정 실시 예로써 고려된다. 이하에서 언급된 바와 같이, 그린 광 레이저를 사용하는 픽셀 어레이(262)의 사용은 TDC 어레이들의 전체 개수를 실질적으로 감소킬 수 있다. 예를 들어, 도 10의 실시 예에서, 4개의 TDC 어레이들(233~236)에서 도 14의 실시 예에서, 2개의 TDC 어레이들(233, 234)로 감소될 수 있다. 도 10 및 도 14의 레이아웃들의 비교의 편의를 위하여, 동일한 참조번호가 가능한 사용된다. 그러나 동일한 참조번호들의 사용은 단순히 설명의 편의를 위한 것이며, 도 10 및 도 14의 실시 예들이 서로 동일하거나 또는 도 14의 실시 예가 도 10의 실시 예보다 좀 더 일반적으로 구현되는 것이 아님은 잘 이해될 것이다. 도 14의 레이아웃(305)은 단순히 레이저 스캐너(33)로써 그린 광과 함께 도 2의 2차원 픽셀 어레이(42)로써 RGB 어레이(262)를 사용함으로써 도 1 및 도 2의 장치(15)가 TDC 어레이들의 개수를 감소시키는 방법을 설명하기 위한 예시적인 도면이다. 도 10을 참조하여 설명되었으므로, 도 14를 참조하여 연관된 사상들만 설명된다.

에피폴라 라인(252)의 배열 불량 및 곡률을 해결하기 위하여 2개의 공유된 픽셀들의 복수의 행들이 RGB 어레이(262)에서 활성화되는 것이 요구될 경우, 특정 행 선택 신호(RESL)(도 12의 행 선택 신호(283) 참조)는 도 8을 참조하여 설명된 방식으로 구동될 수 있다. 일 실시 예에서, 짝수 전송 신호(TX_E) 및 홀수 전송 신호(TX_O)는 다른 방식으로 "하이"로 상승하여 각각의 서브 픽셀들을 활성화하고, 대응하는 TDC 어레이들로 활성화된 서브-픽셀의 전하를 전송하여 특정 서브 픽셀 타임스탬프를 실질적으로 동시에 생성할 수 있다. 도 14의 실시 예에서, 그린(G) 서브 픽셀들은 각각의 TDC 어레이들(233, 234)과 연결된 것으로 도시된다. 도 10의 TDC 어레이들(235, 236)과 같이 둘 이상의 TDC 어레이들이 각각의 블루(B) 및 레드(R) 서브 픽셀들과 연결되도록 사용될 수 있다. 이러한 추가 TDC 어레이들은 이하의 조건들(i, ii, iii)로 인하여 전체 3차원 심도 측정에서 중요한 기능(meaningful contribution)을 제공하지 않는다.

(i) 본 발명의 타임스탬프 방식은 3차원 심도 측정 동안 주로 사용되며, 컬수신된 광들의 컬러 요소와 연관되지 않는다.

(ii) 그린 레이저가 RGB 센서와 함께 사용되는 경우, 레드 및 블루 서브-픽셀들은 일반적으로 3차원 심도 측정 동안 주변 신호들을 수집한다. 이러한 이유로, 3차원 심도 측정 동안, 레드 및 블루 서브 픽셀들의 타임스탬프 값들을 생성하는 것이 불필요하다.

(iii) RGB 어레이(262)의 2개의 공유된 픽셀들 각각은 하나의 그린 서브 픽셀, 하나의 레드 또는 하나의 블루 서브 픽셀을 포함한다. 그러므로 특정 픽셀 타임스탬프 값들이 활성화된 그린 서브 픽셀들로부터 이미 획득되었기 때문에, 3차원 심도 측정동안 레드 및 블루 서브 픽셀들의 비활성화는 연산된 심도 값들의 정확성(또는 최종 심도 프로파일의 분해능)에 영향을 미치지 않는다.

그러므로 그린 레이저 광원은 3차원 심도 측정동안 3차원 객체의 포인트 스캔을 위하여 사용되고, 오직 그린 픽셀들만 활성화되는 것이 더 나을 수 있다. 이러한 선택적인 구현은 도 11 및 도 13의 변형된 레이아웃에 의해 구현될 수 있다. 이 때, 전송 신호들(TX_E, TX_O)은 그린 픽셀들 및 레드/블루 픽셀들을 각각 활성화시키기 위한 방식으로 제공된다. 도 14에서, 검정 점들은 다른 방식으로 각각의 TDC 어레이들과 행의 그린 픽셀들의 연결을 보여주기 위하여 사용된다. 그러나 설명의 편의를 위하여 픽셀들의 일부만 상술된 방식에 따라 표시된다. 즉, 음영 타원(307)에서 상위 그린 픽셀은 상위 TDC 어레이(233)와 연결되는 것으로 도시되고, 음영 타원(307)의 하위 그린 픽셀은 하위 TDC 어레이(234)와 연결되는 것으로 도시된다. 유사한 연결들은 음영 타원(308)의 그린 픽셀들에 대하여 도시된다.

도 14에 도시된 바와 같이, 에피폴라 라인(252)의 곡률로 인하여, 2개의 공유된 픽셀들의 복수의 행들이 동시에 선택될 수 있다. 예를 들어, 제n 행(247, Row(n)) 및 제n+2 행(249), Row(n+2))은 선택된 행들이다. 그러나 음영 타원(308)을 참조하면, 2개의 공유된 픽셀들의 복수의 행들이 동시에 선택되었으나, 오직 그린 서브-픽셀들이 픽셀들의 선택된 행에서 활성화될 수 있다. 이러한 방식은 그린 서브 픽셀들로부터 수집된 전하의 신호 대 잡음비(SNR; Signal-to-Noise Ration)의 감소없이 3차원 심도 측정 동안 주변 광 제거를 좀 더 효율적으로 할 수 있다. 더욱이, 도 14에서, 그린 서브 픽셀만 활성화하는 방식은 도 10의 실시 예의 TDC 어레이들과 비교하여, 절반의 개수의 TDC 어레이들만 요구할 수 있다. 그로 인하여, 처리 유닛(46)(도 2 참조)의 하드웨어(또는 전력 소모)가 감소될 수 있다. 앞서 언급된 바와 같이, 2개의 공유된 픽셀의 특정 픽셀 타임스탬프 값은 오직 활성화된 각각의 그린 서브-픽셀의 타임스탬프 값에 의해 주어질 수 있다. 이 때, 2개의 공유된 픽셀의 레드 또는 블루에 대한 타임스탬프 값을 생성하는 것은 요구되지 않을 수 있다.

그린 레이저 대신에, 시스템(15)(도 1 참조)이 RGB 어레이(262)와 함께 다른 레이저를 사용하는 경우, 레드 및 블루 픽셀들을 활성화하는 것이 요구될 수 있다. 이 경우, 도 10의 구성에 기반된 4개의 TDC 어레이들이 도 14의 실시 예 대신에 사용될 수 있다. 레드, 그린, 및 블루 픽셀들은 도 10을 참조하여 설명된 방식에 따라 TDC 어레이들(233~236)과 연결될 수 있다. 더욱이, 도 12의 공유된 픽셀들과 유사한 구성의 공유된 픽셀들을 사용하는 NIR 센서에 대하여, 선택된 행들의 모든 공유된 픽셀들은 도 14에 도시된 바와 유사한 감소된 TDC 어레이 기반의 구성을 사용하는 3차원 심도 측정 동안 동시에 활성화될 수 있다. 모든 공유된 픽셀들의 구현은 3차원 심도 측정동안 좀 더 나은 신호 대 잡음비(SNR)를 제공할 수 있다. 유사한 방식이 컬러 또는 IR 레이저 소스를 사용하는 공유된 픽셀 기반의 RWB 센서에 대하여 사용될 수 있다.

도 15는 본 발명의 실시 예에 따른 도 1 및 도 2의 시스템(15)의 전체적인 레이아웃을 보여주는 블록도이다. 설명의 편의를 위하여, 도 1, 도 2, 및 도 15는 공통된 시스템 구성 요소들/유닛들에 대하여 동일한 참조 번호를 사용한다.

앞서 설명된 바와 같이, 이미징 모듈(17)은 본 발명에 따른 2차원 이미징, 3차원 심도 측정, 및 복수의 행들의 동시 타임스탬프를 구현하기 위하여 도 2, 도 6, 도 7a, 도 7b, 도 10, 또는 도 14의 실시 예에 도시된 적절한 하드웨어를 포함할 수 있다. 프로세서(19)는 다수의 외부 장치들과 인터페이싱하도록 구성될 수 있다. 일 실시 예에서, 이미징 모듈(17)은 픽셀 이벤트 데이터의 형태로 데이터 입력들을 추가적인 처리를 위하여 프로세서(19)로 제공하는 입력 장치로써 동작할 수 있다. 예를 들어, 픽셀 이벤트 데이터는 도 7a의 처리된 데이터 출력(170)을 포함할 수 있다. 프로세서(19)는 다른 입력 장치들(미도시)로부터 입력들을 수신할 수 있다. 다른 입력 장치들은 시스템(15)의 일부일 수 있다. 이러한 입력 장치들의 일부 예들은 컴퓨터 키보드, 터치패드, 터치 스크린, 조이스틱, 물리적 또는 가상 클릭 버튼, 컴퓨터 마우스, 또는 포인팅 장치 등을 포함할 수 있다. 도 15에서, 프로세서(19)는 시스템 메모리(20), 주변 스토리지 유닛(310), 하나 이상의 출력 장치들(312), 및 네트워크 인터페이스 유닛(314)과 연결되는 것으로 도시된다. 도 15에서, 디스플레이 유닛은 출력 장치(312)로써 도시된다. 일부 실시 예들에서, 시스템(15)은 도시된 장치들 대신에 다른 구성 요소들을 더 포함할 수 있다. 시스템(15)의 일부 예들은 컴퓨터 시스템(랩탑 또는 데스크탑), 태블릿 컴퓨터, 모바일 장치, 셀룰러 폰, 비디오 게임 유닛 또는 콘솔, M2M(machine-to-machine) 통신 유닛, 로봇, 자동차, 가상 현실 환경, 스테이트리스 신 클라이언트 시스템(stateless thin client system), 자동차의 전방 카메라 또는 후방 카메라 시스템, 또는 데이터 처리 장치 또는 컴퓨팅 시스템의 다른 종류들을 포함할 수 있다. 다양한 실시 예들에서, 도 15에 도시된 모든 구성 요소들은 단일 케이스 내에 포함될 수 있다. 즉, 시스템(15)은 독립형 시스템 또는 적절한 다른 폼 팩터로 구성될 수 있다. 일부 실시 예들에서, 시스템(15)은 서버 시스템보다 클라이언트 시스템으로써 구성될 수 있다.

특정 실시 예들에서, 시스템(15)은 하나 이상의 프로세서(예를 들어, 분산된 프로세서싱 구성)를 포함할 수 있다. 시스템(15)이 멀티프로세서 시스템인 경우, 프로세서(19)는 하나 이상이 존재하거나 또는 각각의 인터페이스들(미도시)을 통해 프로세서(19)와 연결된 복수의 프로세서들이 존재할 수 있다. 프로세서(19)는 시스템 온 칩(SoC; System on Chip)이거나 또는 하나 이상의 중앙 처리 유닛(CPU; Central Processing Unit)일 수 있다.

앞서 언급된 바와 같이, 시스템 메모리(20)는 DRAM(Dynamic Random Access Memory), SRAM(Static RAM), PRAM(Phase change RAM), RRAM(Registive RAM), CBRAM(Conductive bridging random access memory), MRAM(Magnetic RAM), STT-MRAM(Spin Transfer Torque MRAM) 등과 같은 반도체 기반의 스토리지 시스템일 수 있다. 일부 실시 예들에서, 메모리 유닛(20)은 하나 이상의 비-3차원 적층 메모리 모듈들과 함께 적어도 하나의 3차원 적층 구조의 메모리 모듈을 포함할 수 있다. 비-3차원 적층 메모리는 DDR2(Double Data Rate 2or Double Data Rate 2) 2, DDR3, DDR4 DDR SDRAM, DDR2 SDRAM, DDR3 SDRAM, DDR4 SDRAM, 또는 Rambus® DRAM, 플래시 메모리, 다양한 형태의 ROM 등을 포함할 수 있다. 일부 실시 예들에서, 시스템 메모리(20)는 단일 종류의 메모리 대신에 다양한 다른 종류의 반도체 메모리들을 포함할 수 있다. 다른 실시 예들에서, 시스템 메모리(20)는 비-일시적인 데이터 스토리지 장치일 수 있다.

다양한 실시 예들에서, 주변 스토리지 유닛(310)은 하드 디스크, 광 디스크(예를 들어, CD, DVD 등), 불휘발성 RAM 장치들 등과 같은 자기, 광, 자기광, 또는 솔리드 스테이트 저장 매체를 포함할 수 있다. 일부 실시 예들에서, 주변 스토리지 유닛(310)은 적절한 RAID(Redundant Array of Independent Disks) 구성일 수 있는 디스크 어레이들 또는 SAN(Storage Area Network)과 같은 좀 더 복합적인 스토리지 장치들/시스템을 포함할 수 있다. 주변 스토리지 유닛(310)은 SCSI(Small Computer System Interface) 인터페이스, 파이버채널(Fibre Channel) 인터페이스, 파이어와이어(Firewire®)(IEEE 1394) 인터페이스, PCI Express™(Peripheral Component Interface Express) 표준 기반의 인터페이스, USB(Universal Serial Bus) 프로토콜 기반의 인터페이스 또는 다른 적절한 인터페이스 등과 같은 표준 주변 인터페이스를 통해 프로세서(19)와 연결될 수 있다. 다양한 스토리지 장치들은 비일시적 데이터 저장 매체(non-transitory data storage media)일 수 있다.

디스플레이 유닛(312)은 출력 장치의 일 예일 수 있다. 출력 장치의 다른 예들은 그래픽/디스플레이 장치, 컴퓨터 스크린, 알람 시스템, CAD/CAM(Computer Aided Design/Computer Aided Machining) 시스템, 비디오 게임 스테이션, 스마트폰 디스플레이 스크린, 또는 데이터 출력 장치의 다른 형태들을 포함할 수 있다. 일부 실시 예들에서, 이미징 모듈(17)과 같은 입력 장치들 및 디스플레이 유닛(312)과 같은 출력 장치들은 입출력 또는 주변 인터페이스를 통해 프로세서(19)와 연결될 수 있다.

일 실시 예에서, 네트워크 인터페이스(314)는 프로세서(19)와 통신하여 시스템(15)이 네트워크(미도시)에 연결되도록 할 수 있다. 다른 실시 예에서, 네트워크 인터페이스(314)는 모두 생략될 수 있다. 네트워크 인터페이스(314)는 시스템(15)이 무선 또는 유선을 통해 네트워크와 연결되기 위한 적절한 장치들, 매체, 또는 프로토콜 구성을 포함할 수 있다. 다양한 실시 예들에서, 네트워크는 LAN(Local Area Network), WAN(Wide Area Network), 유선 또는 무선 이더넷, 전화 통신 네트워크, 또는 다른 적절한 형태의 네트워크들을 포함할 수 있다.

시스템(15)은 도 15에 도시된 다양한 시스템 구성 요소들로 전기적 파워를 공급하기 위한 온-보드 파워 공급 유닛(315)을 포함할 수 있다. 파워 공급 유닛(315)은 배터리들을 수신하거나 또는 교류 전기적 파워 수단과 연결될 수 있다. 일 실시 예에서, 파워 공급 유닛(315)은 태양 에너지 또는 다른 신재생 에너리를 전기적 파워로 변환할 수 있다.

일 실시 예에서, 이미징 모듈(17)은 개인용 컴퓨터 또는 랩탑과 연결되는 USB 2.0, USB3.0 인터페이스 또는 앞서 설명된 바와 같은 고속 인터페이스를 포함할 수 있다. 시스템 메모리(20) 또는 주변 데이터 스토리지 유닛(CD/DVD 등)과 같은 비-일시적, 컴퓨터-판독 가능한 데이터 스토리지 매체는 프로그램 코드 또는 소프트웨어를 저장할 수 있다. 이미징 모듈(17)의 프로세서(19) 또는 디지털 처리 블록(167)(도 7a 참조)은 프로그램 코드를 실행하도록 구성될 수 있고, 그로 인하여, 장치(15)는 도 1 내지 도 14를 참조하여 설명된 동작들과 같은 2차원 이미징 및 복수의 행들의 동시 타임스탬프와 연관된 3차원 심도 측정 을 수행할 수 있다. 예를 들어, 특정 실시 예들에서, 프로그램 코드가 수행될 때, 프로세서(19) 또는 디지털 블록(167)은 도 10의 TDC 어레이들(233~236) 도는 도 14의 TDC 어레이들(233, 234)와 같은 관련된 회로 구성 요소들을 적절하게 활성화하거나 또는 구성하여, 회로 구성 요소들의 동작을 통해 본 발명에 따른 동시 타임스탬핑을 수행할 수 있다. 그로 인하여, 곡선 또는 배열 불량인 에피폴라 라인들의 시스템 허용 오차가 증가한다. 프로그램 코드 또는 소프트웨어는 특허 소프트웨어 또는 공개 소스 소프트웨어일 수 있다. 상술된 공개 소스 소프트웨어는 프로세서(19)또는 디지털 블록(167)과 같은 적절한 처리 엔트리에 의해 수행될 때, 처리 엔트리가 복수의 행들에 포함된 복수의 픽셀들의 타임스탬프들을 동시에 획득하도록 하고, 정확한 타이밍을 사용하여 픽셀 이벤트들을 캡쳐하고, 픽셀 이벤트들을 처리하고, 픽셀 이벤트들을 다양한 방식으로 렌더링하여, 2차원 또는 3차원 형태로 디스플레이하도록 할 수 있다. 앞서 언급된 바와 같이, 특정 실시 예들에서, 이미지 모듈(17)의 디지털 처리 블록(167)은 픽셀 출력 데이터가 추라적인 처리 및 디스플레이를 위하여 프로세서(19)로 제공되기 이전에 픽셀 이벤트 신호들에 대한 처리 중 일부를 수행할 수 있다. 다른 실시 예들에서, 프로세서(19)는 디지털 블록(167)의 기능을 수행할 수 있고, 이 경우, 디지털 블록(167)은 이미징 모듈(17)의 일부가 아닐 수 있다.

앞서 설명된 실시 예들은 설명의 편의를 위한 것이며, 상세한 설명(예를 들어, 특정 구조, 파형, 인터페이스, 및 기법 등)은 기재된 기술의 이해를 제공하기 위한 것이며, 본 발명이 이에 한정되는 것은 아니다. 그러나 당업자는 본 발명의 살세한 설명으로부터 벗어난 다른 실시 예들을 구현할 수 있을 것이다. 즉, 당업자는 본문 또는 도면에 개시되지 않았으나 기재된 기술의 원리를 포함하는 다양한 배열들을 고안할 수 있을 것이다. 예를 들어, 잘 알려진 장치들, 회로들 및 방법들의 상세한 설명들은 본 발명의 설명을 모호하게 하지 않기 위하여 불필요한 설명은 생략된다. 본문에서, 본 발명의 실시 예들, 기술적 사상들, 이론들을 참조하는 기재들 뿐만 아니라, 이에 대한 상세한 실시 예들은 그것들의 기능적, 구조적 동등물을 포함하도록 의도된다. 더욱이, 이러한 동등물들은 잘 알려진 동등물 뿐만 아니라, 향후 개발될 동등물들을 포함하는 것으로 간주된다. 예를 들어, 향후 개발될 동등물들은 구조와 무관하게, 동일한 기능을 수행하도록 개발된 구성 요소를 포함할 수 있다.

즉, 당업자에 의해 본문의 블록도들(예를 들어, 도 1 및 도 2)은 본 발명의 이론을 포함하는 다른 기능적 유닛들 또는 회로들의 개념도를 나타낼 수 있음은 잘 이해될 것이다. 유사하게, 도 3 및 도 9의 순서도들은 프로세서(예를 들어, 도 15의 프로세서(19) 또는 도 7a의 디지털 블록(167))에 의해 적절하게 수행될 수 있는 다양한 프로세스들을 나타낼 수 있음은 잘 이해될 것이다. 이러한 프로세서는, 다양한 방식에서, 범용 프로세서, 특정 목적 프로세서(special purpose processor), 일반적인 프로세서, 디지털 신호 프로세서(DSP; Digital Signal Processor), 복수의 마이크로 프로세서들, DSP 코어와 연관된 하나 이상의 마이크로 프로세서들, 컨트롤러, 마이크로 컨트롤러, ASIC(Application Specific Integrated Circuit), FPGA(Field Programmable Gate Array) 회로들, 집적 회로(IC; Integrated circuit)의 다른 형태들, 또는 스테이트 머신을 포함할 수 있다. 도 1 내지 도 14에 도시된 일부 또는 모든 기능들은 하드웨어 또는 소프트웨어 형태의 프로세서에 의해 제공될 수 있다.

본 발명의 특정 사상이 소프트웨어 기반의 처리를 요구하는 경우, 소프트웨어 또는 프로그램 코드는 컴퓨터-판독 가능한 데이터 저장 매체에 존재할 수 있다. 앞서 언급된 바와 같이, 데이터 저장 매체는 주변 스토리지(310)의 일부이거나 또는 시스템 메모리(20) 또는 이미지 센서(21)의 내부 메모리(미도시), 또는 프로세서(10)의 내부 메모리(미도시)일 수 있다. 일 실시 예에서, 프로세서(19) 또는 디지털 블록(167)은 매체에 저장된 명령어들을 실행하여 소프트웨어 기반의 처리들을 수행할 수 있다. 컴퓨터-판독 가능한 데이터 저장 매체는 범용 컴퓨터 또는 상숭된 프로세서에 의해 실행되는 컴퓨터 프로그램, 소프트웨어, 펌웨어, 또는 마이크로코드를 포함하는 비-일시적인 데이터 저장 매체일 수 있다. 컴퓨터-판독 가능한 스토리지 매체의 예들은 ROM, RAM, 디지털 레지스터, 캐시 메모리, 반도체 메모리 장치들, 하드 디스크 및 자기 테이프와 같은 자기 매체, 착탈식 디스크, 자기광 매체, CD-ROM, DVD-ROM과 같은 광학 매체를 포함할 수 있다.

본 발명에 따른 이미징 모듈을 포함하는 시스템(15) 또는 이미징 모듈(17)의 다른 실시 예들은 추가적인 기능을 제공하기 위한 추가적인 구성 요소들을 포함할 수 있다. 추가적인 기능은 상술된 기능등 또는 본 발명에 따른 기술적 과제 해결을 제공하는데 요구되는 기능들을 포함할 수 있다. 비록 특징들 및 요소들이 특정 조합들에서 설명되었으나, 다른 특징들과의 다양한 조합들, 또는 다른 특징들이 없는 다양한 조합들에서, 각 특징 또는 요소는 다른 특징들 및 요소들없이 독립적으로 사용될 수 있다. 앞서 언급된 바와 같이, 본문에서 언급된 다양한 2차원 및 3차원 이미징 기능들은 상술된 컴퓨터-판독 가능한 데이터 저장 매체에 저장된 마이크로코드 또는 코딩된 명령어 형태의 소프트웨어/펌웨어를 실행할 수 있는 하드웨어 또는 회로 하드웨어와 같은 하드웨어의 사용을 통해 제공될 수 있다. 즉, 이러한 기능들 및 설명된 기능 블록들은 하드웨어로 구현되거나 또는 컴퓨터로 구현되거나 또는 장치로 구현될 수 있음은 잘 이해될 것이다.

상술된 본문은 동일한 이미지 센서(즉, 이미지 센서의 모든 픽셀들)가 3차원 객체의 2차원 이미지 및 3차원 심도 측정 모두를 캡쳐하는데 사용될 수 있는 방법 및 시스템이 설명되었다. 이미지 센서는 스마트폰과 같은 모바일 장치의 카메라의 일부일 수 있다. 레이저 광 소스는 광점들을 사용하여 객체의 표면을 포인트 스캔하는데 사용될 수 있다. 광점들은 이미지 센서의 픽셀 어레이에 의해 검출되고, 삼각 측량을 사용하여 객체의 3차원 심도 프로파일을 생성할 수 있다. 3차원 모드에서, 레이저는 스캐닝 라인을 따라 객체의 표면에 일련의 광점들을 투영할 수 있다. 빛나는 광점들은 픽셀 어레이의 픽셀들의 행을 사용하여 검출될 수 있다. 픽셀들의 행들이 스캐닝 라인의 에피폴라 라인을 형성할 수 있다. 검출된 광점들은 타임스탬프되어 삼각 측량에서 애매성이 제거되고, 그에 따라 시스템 파워 및 심도 연산량이 감소된다. 삼각 측량을 이용하여 심도를 측정하기 위하여 타임스탬프가 캡쳐된 레이저 점의 픽셀 위치 및 레이저 광 소스의 스캔 각도 각각의 연관성을 제공할 수 있다. 이미지 센서의 ADC 유닛은 타임 디지털 컨버터(TDC; Time-to-Digital Converter)로써 동작하여 타임스탬프들을 생성할 수 있다. 픽셀 어레이 및 레이저 스캐너 사이의 배열 불량이 발생한 경우, 스캐닝 라인의 에피폴라 라인은 완벽하게 직선이 아닐 수 있다. 이 경우, 에피폴라 라인은 곡선이고, 하나의 픽셀의 피치보다 넓을 수 있다. 센서-스캐너의 배열 불량이 있으며, 완벽하지 않은 스캔/에피폴라 라인이 있는 상황에서 3차원 심도 측정을 수행하는 3차원 카메라 시스템의 허용 오차를 증가시키기 위하여, 복수의 TDC 어레이들이 실질적으로 동시에 복수의 행들의 복수의 픽셀들의 타임스탬프들을 획득하기 위하여 제공될 수 있다. 빛나는 광점과 연관된 복수의 타임스탬프 값들은 조정되어 광점에 대한 최종 타임스탬프 값이 획득될 수 있다.

당업자에 의해 인식될 수 있는 바와 같이, 본문에 기재된 본 발명의 기술적 사상들은 다양한 응용으로 변형될 수 있다. 따라서 본 발명의 기술적 사상은 본문에 기재된 특정 실시 예들에 국한되어져서는 안되며, 이하에 첨부된 특허청구 범위에 의해 정의된 것과 동등한 것으로 간주되어야 할 것이다.

15: 시스템
17: 이미징 모듈
19: 프로세서
20: 메모리
22: 광 소스
24: 이미지 센서 유닛
26: 3차원 객체
33: 레이저
34: 레이저 제어기
35: 프로젝션 광학 장치
44: 집광 장치
42: 2차원 픽셀 어레이
46: 이미지 처리 유닛

Claims (10)

1. 광원을 사용하여 스캐닝 라인을 따라 3차원 객체의 1차원 포인트 스캔을 수행하는 단계; 단, 상기 1차원 포인트 스캔은 상기 3차원 객체의 표면에 일련의 광점들(a sequence of light spots)을 투영하는 것을 포함하고,
   이미지 센서의 픽셀들의 복수의 행들을 선택하는 단계; 단, 상기 이미지 센서는 이미지 평면을 형성하는 2차원 어레이로 정렬된 복수의 픽셀들을 포함하고, 상기 복수의 선택된 행들 중 적어도 하나는 상기 이미지 평면상에서 상기 스캐닝 라인의 에피폴라 라인(epipolar line)의 일부를 형성하고,
   상기 복수의 복수의 선택된 행들의 픽셀들에 있어서, 상기 일련의 광점들 중 대응하는 광점의 특정 픽셀 검출을 감지하는 단계;
   공통 광점을 검출한 픽셀들의 그룹에 있어서, 실질적으로 동시에 상기 그룹의 각 픽셀에 대한 특정 픽셀 타임스탬프 값을 생성하는 단계; 및
   상기 공통 광점을 투영하는 상기 광원에 의해 사용되는 스캔 각도 및 상기 생성된 특정 픽셀 타임스탬프 값들을 기반으로 상기 3차원 객체의 표면상의 상기 공통 광점까지의 거리를 결정하는 단계를 포함하는 방법.
2. 제 1 항에 있어서,
   상기 복수의 선택된 행들 중 적어도 두 개의 행들은 서로 인접한 행들인 방법.
3. 제 1 항에 있어서,
   상기 2차원 어레이는 CMOS(Complementary Metal Oxide Semiconductor) 어레이인 방법.
4. 제 1 항에 있어서,
   상기 2차원 어레이는 레드, 그린, 및 블루 픽셀들이 베이어 패턴으로 정렬된 픽셀들의 레드, 그린, 및 블루(RGB) 어레이이고,
   상기 픽셀들의 복수의 행들을 선택하는 단계는 상기 픽셀들의 복수의 행들 중 그린 픽셀들만 활성화하는 단계를 포함하고,
   상기 특정 픽셀 타임스탬프 값을 생성하는 단계는 상기 활성화된 그린 픽셀 각각에 대해서만 상기 특정 픽셀 타임스탬프 값을 생성하는 단계를 포함하는 방법.
5. 제 4 항에 있어서,
   상기 RGB 어레이의 픽셀들은 공유된 픽셀 구조(shared-pixel configuration)로 정렬되고,
   상기 공유된 픽셀 구조는 다른 컬러들의 독립적으로 선택 가능한 픽셀들의 복수의 쌍들로 구성되고, 상기 픽셀들의 각 쌍은 하나의 그린 픽셀을 포함하는 방법.
6. 제 1 항에 있어서,
   상기 특정 픽셀 타임스탬프 값을 생성하는 단계는 바이너리 카운터를 사용하여 상기 특정 픽셀 타임스탬프 값을 생성하는 단계를 포함하는 방법.
7. 제 1 항에 있어서,
   상기 공통 광점까지의 상기 거리를 결정하는 단계는
   상기 그룹과 연관된 모든 특정 픽셀 타임스탬프 값들을 사용하여 상기 공통 광점에 대한 특정 그룹 타임스탬프 값을 획득하는 단계;
   상기 특정 그룹 타임스탬프 값을 사용하여 오프셋 거리 및 상기 스캔 각도 사이의 연관성을 구성하는 단계; 단, 상기 오프셋 거리는 상기 이미지 센서와 연관된 집광 장치 및 상기 그룹의 픽셀 사이의 거리이고, 상기 그룹의 픽셀의 특정 픽셀 타임스탬프 값은 상기 공통 광점에 대한 상기 특정 그룹 타임스탬프 값과 가장 근사치이고,
   상기 스캔 각도 및 상기 오프셋 거리를 기반으로 상기 공통 광점까지의 상기 거리를 결정하는 단계를 포함하는 방법.
8. 제 7 항에 있어서,
   상기 특정 픽셀 타임스탬프 값들을 사용하여 상기 공통 광점에 대한 특정 그룹 타임스탬프 값을 획득하는 단계는
   상기 그룹에 대하여, 상기 공통 광점에 대한 상기 특정 그룹 타임스탬프 값으로써, 실질적으로 물리적 위치가 상기 그룹의 중앙인 픽셀과 연관된 특정 픽셀 타임스탬프 값을 선택하는 단계를 포함하는 방법.
9. 제 7 항에 있어서,
   상기 선택된 행들의 픽셀들의 둘 이상의 그룹들에 대하여, 특정 그룹 타임스탬프 값들을 사용하여 상기 타임스탬프된 광점들 각각의 시간적 연관성을 구성하는 단계; 및
   상기 시간적 연관성에 의해 정의된 순서에 따라 상기 타임스탬프된 광점들까지의 거리들을 결정하는 단계를 포함하는 방법.
10. 제 1 항에 있어서,
    상기 공통 광점까지의 상기 거리를 결정하는 단계는
    상기 그룹의 각 픽셀에 대하여, 특정 픽셀 심도 값을 연산하는 단계; 및
    상기 공통 광점까지의 상기 거리로써 물리적인 위치가 실질적으로 상기 그룹의 중앙인 픽셀과 연관된 상기 특정 픽셀 심도 값을 선택하는 것 또는 상기 공통 광점까지의 상기 거리로써 상기 그룹의 픽셀들과 연관된 모든 특정 픽셀 값들의 가중 평균을 사용하는 것 중 어느 하나를 수행하여 상기 공통 광점까지의 상기 거리를 결정하는 단계를 포함하는 방법.
    
    
    

Images