KR20160124666A - 동시 rgbz 센서 및 시스템 - Google Patents

Abstract

2차원(2D)컬러 정보와 3D 깊이 정보는 2D 픽셀 어레이로부터 동시에 얻어진다. 2D 픽셀 어레이는 복수의 제1그룹의 로우들로 배열되어 있다. 상기 어레이의 제2 그룹은 2D 컬러 정보를 생성하기 위해 동작할 수 있고 픽셀 어레이의 제3 그룹의 픽셀들은 3D 깊이 정보를 생성하기 위해 동작할 수 있다. 상기 제1 그룹의 로우들은 제1 개수의 로우들을 포함하고, 상기 제2그룹의 로우들은 상기 제1 개수의 로우들 이하인 제2 개수의 로우들을 포함한다. 상기 제3 그룹의 로우들은 상기 제2 개수의 로우들 이하인 제3 개수의 로우들을 포함한다. 또는, 2D 컬러 정보는 상기 제2그룹의 로우들로부터 선택된 로우로부터 수신되고, 3D 깊이 정보는 상기 제3 그룹의 로우들로부터 선택된 로우로부터 수신된다.

Description

동시 RGBZ 센서 및 시스템{CONCURRENT RGBZ SENSOR AND SYSTEM}

본 발명은 이미지 센서들에 관한 것으로, 보다 구체적으로, 제한되는 것은 아니나, 본 발명에 개시된 특정 실시 예는 레이저 포인트 스캔 및 상보 금속 산화물 반도체(CMOS) 이미지 센서(3D 객체의 2 차원 영상을 위해서도 사용)를 이용하는 삼각 기반 (triangulation based)시스템 및 3차원 객체(object)에 대한 깊이 측정방법에 관한 것이다.

3 차원 (3D) 이미징 시스템들은 산업 생산, 비디오 게임, 컴퓨터 그래픽, 로봇 수술, 소비자 디스플레이, 감시 비디오, 3D 모델링, 부동산 판매 등과 같은 다양한 응용 분야에서의 이용이 증가하고 있다.

현존 3 차원 영상 기술들은 예를 들면, 레인지 이미징, 스테레오 비전 시스템 및 구조형 광(SL: structured light)방법들에 기반하는 비행 시간(TOF: time-of-flight)를 포함할 수 있다.

TOF 방법에서, 3차원 객체(object)까지의 거리가 공지의 광 속도에 기반하여 해결된다. 즉 광 신호가 카메라와 이미지의 각 포인트에 대한 3차원 객체 사이를 가는데 까지 걸리는 왕복시간(RTT: round trip time)을 측정함에 의해 3차원 객체까지의 거리가 얻어진다. TOF 카메라는 각 레이저 또는 광 펄스를 가지고 전체 장면을 캡쳐하기 위해 스캐너리스 방식(scannerless approach)을 사용할 수 있다. TOF 방법의 일부 예시적인 응용은 활동 보행자의 안전 또는 실시간 거리 이미지들에 근거한 선 충돌 검출 등과 같은 진보된 자동차 어플리케이션들을 포함할 수 있다. 또한, TOF 방법의 일부 예시적인 응용은 비디오 게임 콘솔의 게임과 상호 작용하는 것과 같은 인간의 움직임을 추적하는 것을 포함할 수 있다. 또한, 예시적인 응용은 산업용 머신 비전에서 객체들을 분류하고 컨베이어 벨트 상의 아이템들 -등과 같은 아이템들을 로봇들이 찾도록 돕는 것을 포함할 수 있다.

입체 영상 또는 스테레오 비전 시스템에서 수평적으로 서로 떨어져 있는 두 개의 카메라가 장면이나 장면 내의 3차원 객체에 대한 두 개의 다른 장면(view)들을 얻기 위해 사용된다. 이들 두 이미지들을 비교함에 의해, 상대적 깊이 정보가 3차원 객체에 대하여 얻어질 수 있다. 스테레오 비전은 자율적인 시스템/로봇의 부근에서 3D 객체들의 상대적 위치에 대한 정보를 추출하기 위해 로봇 공학 등의 분야에서 매우 중요하다. 로봇 공학에 대한 다른 응용은 입체 깊이 정보가 로보틱 시스템으로 하여금 폐쇄 이미지 성분들을 분리할 수 있게 하는 객체 인식을 포함할 수 있다. 로봇은 그렇지 않으면 다른 객체를 부분 혹은 완전히 숨기는 또 다른 객체 앞의 하나의 객체 등과 같이 두 개의 분리된 객체들로 구별을 할 수 없다. 3차원 스테레오 디스플레이는 엔터테인먼트 및 자동화 시스템에 또한 사용된다.

SL 방식에서, 객체의 3차원 형상은 투영 광 패턴 및 이미징 카메라를 사용하여 측정될 수 있다. SL방법에서는, 공지의 광 패턴 즉 오픈 그리드, 수평 바아 또는 병렬 스트라이프 패턴이 장면 또는 장면 내의 3차원 객체 상으로 투영된다. 투영 패턴은 3차원 객체의 표면을 타격할 때 변형되거나 이동(displacement)될 수 있다. 그러한 변형으로 인해 SL 비전 시스템은 객체의 깊이 및 표면을 계산할 수 있다. 따라서 3차원 표면에 협 대역의 광을 투영하는 것은 라인 광을 생성할 수 있다. 라인 광은 프로젝터의 왜곡보다 다른 투영으로부터 더 왜곡되게 나타날 수 있다. 또한 투영은 광 표면 형상의 기하학적 재구성에 사용될 수 있다. SL 기반의 3D 영상은 3D 장면 내에서 경찰력에 의한 지문 촬영, 생산 과정에서의 부품의 인라인 검사, 인체 바디 형상이나 사람의 피부 및 그와 유사한 마이크로 구조의 라이브 측정을 위한 건강 관리 등과 같은 다른 응용들에 사용될 수 있다.

본 발명이 해결하고자 하는 기술적 과제는, 삼각측량 기반 (triangulation based)시스템 및 3차원 객체에 대한 깊이 측정 방법을 제공함에 있다.

본 발명의 실시 예는 이미지 센서에서 적어도 하나의 객체의 이미지를 수신하고, 상기 이미지 센서는 복수의 제1그룹의 로우들(rows)내에 배열된 2차원(2D) 픽셀 어레이를 포함하며, 상기 어레이의 제2그룹의 로우들의 픽셀들은 상기 적어도 하나의 객체의 2차원 컬러 정보를 생성하기 위해 동작 가능하게 되어 있고, 상기 어레이의 제3 그룹의 픽셀들은 상기 적어도 하나의 객체의 3차원 깊이 정보를 생성하기 위해 동작 가능하게 되어 있고, 상기 제1그룹의 로우들은 로우 들의 제1 개수를 포함하고, 상기 제2그룹의 로우들은 상기 제1 개수 의 로우들 이하인 제2 개수의 로우들을 포함하고, 상기 제3 그룹의 로우들은 상기 제2 개수의 로우들 이하인 제3 개수의 로우들을 포함한다. 본 발명의 실시 예는 상기 제2그룹의 로우들로부터 선택된 한 로우로부터 적어도 하나의 객체의 2차원 컬러 정보를 교대로 수신하고, 상기 제3 그룹의 로우들로부터 선택된 한 로우로부터 적어도 하나의 객체의 3차원 깊이 정보를 수신한다.

본 발명의 실시 예는 2차원 픽셀 어레이와 컨트롤러를 포함하는 이미지 센서 유닛을 제공한다. 2차원 픽셀 어레이는 제1 그룹의 복수의 로우들로 배열된다. 상기 어레이의 제2 그룹의 로우들의 픽셀들은 2차원 픽셀 어레이에 의해 수신된 적어도 하나의 객체의 이미지에 근거하여 2차원 컬러 정보를 생성하기 위해 동작 가능하다. 상기 어레이의 제3 그룹의 픽셀들은 적어도 하나의 객체의 3차원 깊이 정보를 생성하기 위해 동작 가능하다. 상기 제1 그룹의 로우들은 제1 개수의 로우들을 포함하고, 상기 제2 그룹의 로우들은 상기 제1 개수의 로우들 이하인 제2 개수의 로우들을 포함하고, 상기 제3 그룹의 로우들은 상기 제2 개수의 로우들 이하인 제3 개수의 로우들을 포함한다. 컨트롤러는 제2 그룹의 로우들로부터 한 로우를 교대로 선택하고 적어도 하나의 객체의 이미지에 근거하여 생성된 2차원 컬러 정보를 출력하고, 상기 제3 그룹의 로우들로부터 한 로우를 선택하여 적어도 하나의 객체의 생성된 3차원 깊이 정보를 출력한다.

본 발명의 실시 예는 2차원 픽셀 어레이, 컨트롤러, 및 디스플레이를 포함하는 시스템을 제공한다. 2차원 픽셀 어레이는 상기 어레이의 제2 그룹의 로우들의 픽셀들이 2차원 픽셀 어레이에 의해 수신된 적어도 하나의 객체의 2차원 컬러 정보를 생성하기 위해 동작 가능하게 되는 제1 그룹의 복수의 로우들로 배열된다. 상기 어레이의 제3 그룹의 픽셀들은 적어도 하나의 객체의 3차원 깊이 정보를 생성하기 위해 동작 가능하다. 상기 제1 그룹의 로우들은 제1 개수의 로우들을 포함하고, 상기 제2 그룹의 로우들은 상기 제1 개수의 로우들 이하인 제2 개수의 로우들을 포함하고, 상기 제3 그룹의 로우들은 상기 제2 개수의 로우들 이하인 제3 개수의 로우들을 포함한다. 컨트롤러는 제2 그룹의 로우들로부터 한 로우를 교대로 선택하여 적어도 하나의 객체의 이미지에 근거하여 생성된 2차원 컬러 정보를 출력하고, 상기 제3 그룹의 로우들로부터 한 로우를 선택하여 적어도 하나의 객체의 생성된 3차원 깊이 정보를 출력한다. 디스플레이는 2차원 픽셀 어레이와 컨트롤러에 연결되며, 생성된 2차원 컬러 정보에 근거하여 적어도 하나의 객체의 제1 이미지를 디스플레이하고 생성된 3차원 깊이 정보에 근거하여 적어도 하나의 객체의 제2 이미지를 디스플레이 한다.

본 발명의 실시 예에 따르면, 3차원 객체에 대한 깊이 측정이 구현된다.

도 1은 본 발명의 일 실시 예에 따른 시스템의 고단순화 구성을 보여주는 도면이다.
도 2는 본 발명의 일 실시 예에 따른 도 1의 시스템의 예시적인 동작 구성을 도시한다.
도 3은 본 발명의 일 실시 예에 따른 3차원 깊이 측정의 수행을 보여주는 예시적 플로우챠트이다.
도 4는 본 발명의 일 실시 예에 따른 3차원 깊이 측정을 위해 포인트 스캔의 수행을 보여주는 예시적 도면이다.
도 5는 본 발명의 일 실시 예에 따른 스캔된 광 스팟들에 대한 예시적 타임스탬핑을 보여주는 도면이다.
도 6은 본 발명의 일 실시 예에 따는 도 1 및 2 내의 이미지 센서의 2차원 픽셀 어레이의 예시적 상세 회로 및 이미지 프로세싱 유닛의 관련 프로세싱 회로의 일부를 보여주는 도면이다.
도 7a는 본 발명의 일 실시 예에 따른 이미지 센서 유닛의 예시적 구성도이다.
도 7b는 본 발명의 일 실시 예에 따른 3차원 깊이 측정을 위한 CDS+ADC 유닛의 예시적 상세 구성도이다.
도 8은 본 발명의 다른 실시 예에 따른 3차원 선형 모드(linear mode)의 동작에서 타임스탬프 기반의 픽셀 별 출력들을 생성하기 위해 도 1 및 2의 시스템 내에서 다른 신호들의 타이밍을 예시적으로 보여주는 타이밍도이다.
도 9는 본 발명의 다른 실시 예에 따른 3차원 깊이 값들을 결정하기 위해 LUT의 사용을 나타내기 위한 룩업 테이블(LUT)을 예시적으로 보여준다.
도 10은 본 발명의 다른 실시 예에 따른 2차원 선형 모드(linear mode) 동작을 이용하여 2차원 RGB 이미지를 생성하기 위해 도 1 및 2의 시스템 내의 다른 신호들의 타이밍을 예시적으로 보여주는 타이밍도이다.
도 11은 본 발명의 다른 실시 예에 따른 3차원 대수 모드(logarithmic(log) mode) 동작내의 타임스탬프 기반의 픽셀 별 출력들을 생성하기 위해 도 1 및 2의 시스템 내에서 다른 신호들의 타이밍을 예시적으로 보여주는 타이밍도이다.
도 12는 본 발명의 실시 예에 따른 도 1 및 2의 시스템 내의 전체 구성을 보여주는 도면이다.
도 13은 본 발명의 실시 예에 따른 2차원 컬러 정보와 3차원 깊이 정보를 동시에 생성하고 얻기 위한 과정을 보여주는 예시적 플로우챠트이다.
도 14는 본 발명의 일 실시 예에 따른 반투명 객체에 대한 거리와 반투명 객체 뒤의 객체에 대한 거리가 3차원 깊이 측정을 위해 수행되는 것을 예시적으로 보여주는 도면이다.
도 15는 본 발명의 일 실시 예에 따른 반투명 매체의 깊이 이미징이 3차원 깊이 측정을 위해 수행되는 것을 예시적으로 보여주는 도면이다.
도 16은 본 발명의 일 실시 예에 따른 객체의 깊이 이미징이 다중 리턴 경로들의 존재 시에 3차원 깊이 측정을 위해 수행되는 것을 예시적으로 보여주는 도면이다.

이하의 상세한 설명에서, 다양한 특정 상세들이 본 발명에 대한 철저한 이해를 제공하기 위해 설명된다. 그러나, 이 기술 분야에서 통상의 지식을 가진 사람은 이들 특정 상세들이 없이도 본 발명의 개념을 구현할 수 있음을 이해하여야 한다. 다른 예들에서, 잘 알려진 방법들, 절차들, 구성요소들, 및 회로들은 실시 예의 양상을 불필요하게 흐리지 않게 하기 위해서 상세히 설명되지 않는다. 또한, 본 발명의 실시 예는 예컨대 스마트폰, 유저 장치(UE), 랩탑 컴퓨터 등을 포함하는 임의의 이미징 장치 또는 시스템 내에서 저전력을 수행하기 위해 3차원 측정기를 구현할 수 있다.

본 명세서의 전반에 걸쳐 "하나의 실시 예" 또는 "실시 예"는 특별한 특징, 구조, 또는 실시 예와 관련하여 언급된 특성이 개시된 하나의 실시 예 내에 적어도 포함되어 있다는 것을 의미한다. 따라서, "하나의 실시 예 내에서", "한 실시 예 내에서", 또는 "하나의 실시 예에 따라"(또는 유사한 도입을 가지는 다른 문구)라는 문구는 같은 실시 예에 반드시 모두 참조되지는 않는다.

본 명세서에서 사용되는 "예시적"이라는 용어는 "일례 또는 실례로서 제공됨"을 의미한다. 임의의 실시 예에서 "예시적으로"라는 의미는 타 실시 예 상의 필수적으로 바람직하거나 이점이 있는 것으로 해석되어서는 아니 된다. 더욱이, 특별한 특징들, 구조들, 또는 특성들은 하나 이상의 실시 예들 내에서 적당한 수법으로 결합될 수도 있다. 또한, 여기에 개시되는 문맥에 의존하여, 단수 용어는 대응되는 복수의 형태를 포함할 수 있고 복수의 용어는 대응되는 단수 형태를 포함할 수 있다. 유사하게, "2-차원", "미리-설정된", 또는 "픽셀-별" 등과 같은 하이픈 용어는 예를 들어, "2 차원", "미리 설정된", 또는 "특정 픽셀" 등과 같은 대응되는 비 하이픈 버전으로 때때로 상호 교환적으로 사용될 수 있고, 대문자 항목(예를 들어, "카운터 클럭(Counter Clock)", "로우 선택", "PIXOUT" 등)은 상호교환적으로 대응하는 비 대문자 버전(예, "카운터 클럭(counter clock) ","로우 선택 ","pixout "등)으로 사용될 수 있다. 이러한 이따금 교환적인 사용은 서로 일치하지 않는 것으로 간주되어서는 아니 된다.

초기에 언급되는 용어 "연결된", "동작적으로 연결된", "접속된", "연결" "전기적으로 연결된", 등은 본 명세서에서 동작적인 방법으로 전기/전자적으로 연결되어 있는 상태를 일반적으로 나타내기 위하여 상호교환 적으로 사용될 수 있다.

유사하게, 제1 엔티티가 제2 엔티티 로/로부터 정보 신호들(어드레스, 데이터, 또는 제어 정보를 포함)을 신호 타입(아나로그 또는 디지털)에 무관하게 전기적으로 전송 및/또는 수신하는 경우에(유선 또는 무선을 통해)수신한다면, 제1 엔티티는 제2 엔티티 (또는 엔티티들)과 "통신"되는 것으로 간주된다. 여기에 도시되고 논의되는 다양한 도면들(구성요소 도면들을 포함)은 도시의 목적만을 위해서이고, 일정한 비율로 도시되지 않음을 유의하여야 한다. 유사하게, 다양한 파형 및 타이밍도가 도시의 목적만으로 나타나 있다.

본 명세서에서 사용되는 "제1", "제2", 등의 용어는 앞서는 명사들에 대한 라벨로서 사용되며, 명시적으로 정의되는 것을 제외하고는, 임의의 형태의 순서(예를 들어, 공간적, 시간적, 논리적, 등)을 시사하지 않는다. 또한, 동일한 참조 부호는 동일 또는 유사한 기능을 가지는 부품, 구성 요소, 블록, 회로, 유닛, 또는 모듈을 인용하기 위해 두 도면 이상에 걸쳐 사용될 수 있다. 이러한 사용은 설명의 용이성과의 간략화를 위해서이고, 그러한 구성 요소나 유닛의 구성 또는 구조적 세부가 모든 실시 예들에 걸쳐 동일하다는 것을 의미하지는 않으며, 그러한 공통적으로 참조된 부품/모듈들이 특별한 실시 예들의 지침을 구현하기 위한 방법이라는 것만을 의미하지 않는다.

이미 언급된 3D 기술은 많은 결점들을 가짐이 여기에서 관찰된다. 예를 들면 TOF 기반 3D 이미징 시스템은 광(optical)이나 전자적 셔터들을 구동하기 위해 고전력을 요구할 수 잇다. 이들 시스템은 전형적으로 수 미터들 내지 수십 미터들의 범위에 걸쳐 동작하지만, 이들 시스템들의 해상도(resolution)는 단거리들 상의 측정에 대해서 감소하여, 1미터 정도의 거리 내에서 3D 이미징을 만드는 것은 거의 비실용적이다. 그러므로, TOF 시스템은 대부분의 사진들이 가까운 거리에서 촬영되는 휴대전화 기반 카메라 어플리케이션들에는 요구되지 않는다. TOF 센서는 대개 7 미크론(μm)이상의 큰 픽셀 사이즈들을 가지는 특정한 픽셀들을 또한 요구할 수 있다. 이들 픽셀들은 또한, 주변 광에 취약 할 수 있다.

입체 이미징 방식은 텍스쳐드 표면들에 대해서만 작동한다. 객체의 스테레오 쌍(pair)의 이미지들 사이에서 특징들을 매칭하고 대응물을 찾는 것을 필요로 하기 때문에 이는 높은 계산 복잡성(high-computational complexity)을 가진다. 이것은 높은 시스템 파워를 요구하고, 스마트폰들에서와 같이, 파워 절약이 필요한 어플리케이션들에서 바람직한 특성이 아닌 것이다. 게다가 입체 이미징은 2개의 레귤러, 두 개의 렌즈들과 함께 하이 비트 해상도 센서들을 요구하며, 장치가 재산적으로도 소중하게 여겨지게 되는 셀 폰이나 태블릿 등과 같은 휴대용 장치들에서 전체 어셈블리가 어플리케이션에 적합하지 않도록 만든다.

SL 방식은 거리의 모호함을 수반하고, 또한 높은 시스템 전력을 요구한다. 3D 깊이 측정을 위해, SL 방법은 계산의 복잡성 및 전력 소비를 증가시키는 다중 패턴들을 가지는 다중 이미지들을 필요로 할 수 있다. 또한, SL 이미징은 높은 비트 해상도를 가지는 레귤러 이미지 센서들을 요구할 수 있다. 따라서, 구조 광 기반 시스템은 저비용, 저전력, 스마트폰의 소형 이미지 센서에는 적합하지 않을 수 있다.

상술한 3D 기술과는 대조적으로, 본 발명의 특정 실시 예는 스마트폰, 태블릿, 단말기 등의 휴대용 전자 장치에서 저전력, 3D 이미징 시스템을 구현하는 기술을 제공한다. 여기에 개시된 특별한 실시 예로서의 2D 이미지 센서는 2D RGB (적색, 녹색, 청색) 이미지들과 가시 광선 레이저 스캐닝을 가지는 3D 깊이 측정을 모두를 캡쳐할 수 있다. 한편, 3D 깊이 측정시 주변 광이 거부될 수는 있다. 비록, 이하의 설명에서 이미지/광 캡쳐 디바이스로서 포인트 스캔 및 2D RGB 센서를 위한 광원으로서 가시광 레이저가 자주 언급될 것이나, 그러한 언급은 도시 및 설명의 일관성 만을 위한 의도임을 이해하여야 한다. 이하에서 설명되는 가시 레이저 및 RGB 센서 기반의 예시에서 스마트폰, 태블릿, 단말기(UEs) 등에서 카메라들을 가지는 저전력, 소비자용 모바일 전자 장치들의 어플리케이션들을 알 수 있다. 여기에 개시된 본 발명이 이하에서 언급되는 가시 레이저 RGB 센서 기반의 예시들에 제한되지 않음은 이해될 것이다. 오히려, 여기에 개시된 본 발명의 실시 예들에 따라, 포인트 스캔 기반 3D 깊이 측정 및 주변광 거부 방법은, 2D 센서들 및 레이저 광원들(포인트 스캔을 위한)의 다양한 조합들을 사용하여 수행될 수 있고, 레이저 광원들은 제한되는 것은 아니나, (i) R,G,B 광 레이저나 이들 광의 조합을 생성하는 레이저 소스가 되는 가시광 레이저 소스를 갖는 a 2D color (RGB) 센서; (ii) 적외선(IR) 컷 필터를 가지는 2D RGB 컬러 센서를 가지는 가시광 레이저; (iii) 2D IR 센서를 가지는 a Near Infrared (NIR) 레이저; (iv) an NIR laser with a 2D NIR sensor; (v) an NIR laser with a 2D RGB sensor (without an IR cut filter); (vi) an NIR laser with a 2D RGB sensor (without an NIR cut filter); (vii) a 2D RGB-IR sensor with visible or NIR laser; (viii) a 2D RGBW (red, green, blue, white) sensor with either visible or NIR laser; 및 기타 등등이 될 수 있다.

3D 깊이 측정 동안, 전체 센서는 3D 컨텐츠를 재구성하기 위해 레이저 스캔과 협력하여 바이너리 센서로서 동작할 수 있다. 특정한 실시 예에서, 센서의 픽셀 사이즈는 1미크론 정도로 작을 수 있다. 또한, 낮은 비트 해상도에 기인하여, 여기에 개시된 특정한 실시 예들에 따르는 이미지 센서내의 아날로그-디지털 변환기(ADC)유닛들은 전형적인 3D 이미징 시스템 내에서 높은 비트 해상도 센서들에 대해 필요한 전력에 비해 현저히 낮은 프로세싱 전력을 필요로 할 수 있다. 왜냐하면, 본 발명의 실시 예에 따른 3D 이미징 모듈은 낮은 시스템 전력을 요구하므로, 보다 적은 프로세싱 전력의 필요가 스마트폰 등과 같은 저전력 장치들 내에 적용되는 것에 아주 적합해질 수 있기 때문이다.

특별한 실시 예에서, 여기에 개시된 본 발명은 라인 센서들의 그룹을 가지는 3D 깊이 측정을 위한 레이저 광원을 가지고 삼각 및 포인트 스캔을 사용한다. 레이저 스캐닝 플레인 및 이미징 플레인은 등극선 기하(epipolar geometry)를 이용하는 것이 지향된다. 본 발명의 일실시 예에 따라 이미지 센서는 삼각측량 방식(triangulation approach)내에서의 모호성을 제거하기 위해 타임스탬프들(timestamps)을 사용할 수 있으며, 그에 따라 깊이 계산들의 양과 시스템 파워가 감소된다. 동일 이미지 센서 즉 이미지 센서 내의 각 픽셀은 노말 2D(RGB color 또는 non-RGB)이미징 모드는 물론이고 3D 레이저 스캔 모드에서 사용될 수 있다. 레이저 스캔 모드에서, 그렇지만 이미지 센서 내의 ADC 들의 해상도는 바이너리 출력(1비트 해상도 만)으로 줄어들어, 이미지 센서와 관련된 처리 유닛들을 합체하는 칩 내에서, 읽기 속도가 개선되고 예를 들면 ADC 유닛들 내에서 스위칭에 기인하는 파워 소모가 줄어든다. 더욱이, 포인트 스캔 방식은 시스템이 하나의 패스 내에서 모든 측정들을 취하는 것을 허용하므로, 깊이 측정에 대한 레이턴시(latency)가 줄어들고 모션 블러(motion blur)가 감소된다.

전술한 바와 같이, 특별한 실시 예들에서, 전체 이미지 센서는 예를 들면 주변광뿐만 아니라 가시레이저 스캔을 이용하는 3D 깊이 이미징을 사용하는 루틴 2D RGB 컬러 이미징을 위해 사용될 수 있다. 동일 카메라 유닛의 그러한 2중 사용은 모바일 디바이스들에 대한 공간과 비용을 절약할 수 있다. 더욱이, 임의의 어플리케이션들에서, 3D 어플리케이션들에 대한 가시 레이저는 근적외선 레이저(Near Infrared:NIR) 에 비해 사용자 눈 안정성을 위해 더 좋을 수 있다. 센서는 광원의 저전력 소비를 초래하면서 NIR 스펙트럼 보다는 가시 스펙트럼에서 높은 양자화 계수를 가질 수 있다. 일실시 예에서, 듀얼 사용 이미지 센서는 레귤러 2D 센서로서의 2D 이미징에 대한 리니어 모드의 동작에 적절히 작용할 수 있다. 그러나 3D 이미징에 대하여, 센서는 일반 광 조건 하의 리니어 모드와 강한 주변광의 거부를 통해 가시 레이저 소스의 연속된 사용을 촉진하기 위해 강한 주변 광 아래에서의 대수 모드(logarithmic mode)에서 작용할 수 있다. 게다가, 주변 광 거부는 RGB 센서를 가지고서 적용된 IR 컷 필터의 통과 대역의 대역폭이 아주 좁지 않다면, 또한 NIR 레이저에도 필요해질 수 있다.

도 1은 본 발명의 일 실시 예에 따른 시스템(15)의 고단순화 구성을 보여준다. 도시된 바와 같이, 시스템 (15)은 프로세서나 호스트(19)에 연결되어 통신하는 이미징 모듈(17)을 포함할 수 있다. 시스템(15)은 프로세서(19)에 연결되는 메모리 모듈(20)을 포함할 수 있다. 메모리 모듈(20)은 이미징 모듈(17)로부터 수신된 이미지 데이터와 같은 정보 컨텐츠(content)를 저장한다. 특정한 실시 예에서, 전체 시스템(15)은 단일 IC 나 칩 내에 캡슐화될 수 있다. 또는, 모듈들(17,19,20)은 각기 분리된 칩에서 구현될 수 있다. 더욱이, 메모리 모듈(20)은 하나 이상의 메모리 칩을 포함할 수 있으며, 프로세서 모듈(19)은 다중 프로세싱 칩들도 포함할 수 있다. 어떤 경우에, 도 1내의 모듈들의 패키징에 관한 상세와 모듈들이 어떻게 제조되고 구현되는 가(단일 칩에서 또는 멀티플 이산 칩들을 이용)는 본 발명의 실시 예에서 설명되지 않으며 그러한 상세들은 여기에서 제공되지 않는다.

시스템(15)은 본 발명의 실시 예에 따라 2D 및 3D 카메라 어플리케이션들을 위해 구성된 저전력 전자 장치가 될 수 있다. 시스템(15)은 휴대용 혹은 비 휴대용이 될 수 있다. 휴대용 시스템(15)의 일실시 예들은 한정되는 것은 아니나. 모바일 장치, 휴대전화, 스마트폰, 사용자 장치(UE), 태블릿, 디지털 카메라, 랩탑 컴퓨터나 데스크탑 컴퓨터, 전자 스마트워치(smartwatch), Machine-to-Machine (M2M) 통신 유닛, 가상현실(VR)장치나 모듈, 로봇, 및 기타 등등과 같은 대중적 소비자 전자 도구들을 포함할 수 있다. 한편, 비 휴대용 시스템(15)의 일실시 예들은 비디오 아케이드 내의 게임 콘솔, 양방향 비디오 단말기, 자동차, 기계용 시스템, 산업용 로봇, VR 장치, 자동차 내에 운전측 탑재 카메라(예를 들면 운전자가 졸음 운전인지 아닌 지를 모니터링) 등을 포함할 수 있다. 본 발명의 실시 예에 따라 제공되는 3D 이미징 기능성은 여기에 제한되는 것은 아니지만, 가상현실 장치상의 가상현실 어플리케이션들, 온라인 채팅/게이밍, 3D 텍스팅, 프로덕트(예를 들면 한 조각의 푸드 아이템의 칼로리 컨텐츠)에 관련된 정보를 얻기 위해 프로덕트의 3D 이미지를 이용하여 온라인 혹은 로컬(디바이스 기반) 카탈로그/데이터 베이스의 검색, 로보틱스 및 머신 비젼 어플리케이션들, 자동차 어플리케이션들, 자동자 드라이빙 어플리케이션들 등과 같은 다양한 어플리케이션들에 사용될 수 있다.

본 명세서에 기재된 특정 실시 예에서, 이미징 모듈 (17)은 광원(22)과 이미지 센서 유닛(24)을 포함할 수 있다. 이하에서 도 2를 참조하여 보다 상세하게 설명되는 바와 같이, 일 실시 예에서, 광원(22)은 가시 레이저 일 수 있다. 다른 실시 예에서, 광원은 NIR 레이저일 수 있다. 이미지 센서 유닛(24)은 도 2에 도시된 바와 같이 픽셀 어레이 및 보조 처리 회로를 포함 할 수 있으며, 이하에서 또한 설명될 것이다.

일 실시 예에서, 프로세서(19)는 범용 마이크로 프로세서가 될 수 있는 CPU 일 수 있다. 본 발명의 설명에서, 용어 "프로세서" 및 "CPU"는 설명의 편의를 위해 상호 교환적으로 사용될 수 있다. 그러나 CPU 대신 또는 CPU에 부가하여, 프로세서 (19)는 여기에 한정되는 아니지만, 마이크로 컨트롤러, 디지털 신호 프로세서(DSP), 그래픽 처리 장치(GPU), 전용 응용 집적 회로(ASIC) 프로세서 등과 같은 임의의 다른 유형의 프로세서를 포함 할 수 있다는 것이 이해될 것이다. 또한, 일실시 예에서, 프로세서/호스트(19)는 분산 처리 환경에서 동작할 수 있는 하나 이상의 CPU를 포함할 수 있다. 프로세서(19)는 여기에 제한되는 아니지만 x86 명령 세트 아키텍쳐(32-bit or 64-bit 버젼들), 파워 PC® ISA, 또는 RISC (Reduced Instruction Set Computer) ISA에 의존하는 MIPS(Microprocessor without Interlocked Pipeline Stages) 명령 세트 아키텍쳐 등과 같은 특정한 명령 세트 아키텍쳐에 따라 명령들을 실행하고 데이터를 처리하도록 구성될 수 있다. 일 실시 예에서, 프로세서(19)는 CPU의 기능에 더한 부가 기능을 갖는 시스템 온 칩(SOC)일 수 있다.

특정한 실시 예에서, 메모리 모듈(20)은 제한되는 것은 아니지만, 동기 DRAM (SDRAM), 또는 한정되는 것은 아니나 고대역폭 메모리(HBM) 모듈이나 하이브리드 메모리 큐브(HMC) 메모리 모듈과 같은 DRAM 기반 3차원 스택(3DS) 메모리 모듈과 같은 다이나믹 랜덤 액세스액세스 메모리(DRAM)일 수 있다. 다른 실시 예에서, 메모리 모듈(20)은 Solid-State Drive(SSD), 비-3DS DRAM 모듈, 또는 기타 다른 반도체 기반 스토리지 시스템이 될 수 있으며, 반도체 기반 스토리지 시스템은 한정되는 것은 아니지만, Static Random Access Memory (SRAM), Phase-Change Random Access Memory (PRAM or PCRAM), Resistive Random Access Memory (RRAM or ReRAM), Conductive-Bridging RAM (CBRAM), Magnetic RAM (MRAM), Spin-Transfer Torque MRAM (STT-MRAM), 및 기타 등등을 포함할 수 있다.

도 2는 본 발명의 일 실시 예에 따라 도 1의 시스템(15)의 예시적인 동작 구성을 도시한다. 시스템 15는 개별적 객체나 장면(scene)내의 객체가 될 수 있는 3D 객체(26)와 같은 3D 객체에 대한 깊이 정보(Z 축을 따라)를 얻기 위해 사용될 수 있다. 일 실시 예에서, 깊이 정보는 이미지 센서 유닛(24)으로부터 수신된 스캔 데이터에 근거하여 프로세서(19)에 의해 계산될 수 있다. 다른 실시 예에서, 깊이 정보는 도 7A의 실시 예에서의 이미지 센서 유닛의 경우와 같이 이미지 센서 유닛(24) 자체에 의해 계산될 수 있다. 특정한 실시 예에서, 깊이 정보는 시스템(15)의 유저가 객체의 3D 이미지와 상호작용을 수행하거나 게임의 일부나 시스템(15)에 구동되는 다른 어플리케이션으로서, 객체의 3D 이미지를 사용하도록 하기 위해 3D 유저 인터페이스의 일부로서 프로세서(19)에 의해 사용될 수 있다. 개시된 본 발명의 일 실시 예에 따라 3D 이미징은 다른 목적들이나 응용들에 사용될 수 있을 뿐 아니라, 실질적인 어떤 장면이나 3D 객체들에 적용될 수 있다.

도 2에서 X 축은 장치(15)의 정면을 따라 수평 방향이 되게 취해진 것이고, Y 축은 수직 방향(도면에서는 페이지의 외부)이고, Z 축은 객체(26)의 일반적인 방향이 이미지화되어 있는 내에서 장치(15)로부터 떨어져 연장된 것이다. 깊이 측정을 위해, 모듈들(22 및 24)의 광축들은 Z축에 대해 평행일수 있다. 기타 옵티컬 배열은 여기에 개시된 원리를 구현하기 위해 적절히 사용될 수 있고, 이들의 대치적 배열들은 본 발명의 기술적 사상의 범위 내에 있는 것으로 해석되어야 한다.

광원 모듈(22)은 3D 객체(26)를 대응되는 점선들(30,31)과 관련된 화살표(28,29)에 의해 예시적으로 보여지는 바와 같이, 발광(illumination)할 수 있다. 상기 점선들은 광빔의 조사 경로나 옵티컬 필드 장면내에서의 3D 객체(26)를 포인트 스캔하는데 사용될 수 있는 광방사(optical radiation)를 나타낸다. 객체 표면의 라인-바이-라인(line-by-line)포인트 스캔은 실시 예에서 레이저 컨트롤러(34)에 의해 구동되고 제어되는 레이저 광원(33)이 될 수 있는 광방사 소스(source)를 이용함에 의해 수행될 수 있다. 레이저 소스(33)로부터의 광빔은 레이저 컨트롤러(34)의 제어 하에서, 프로젝션 옵틱들(35)를 경유하여 3D 객체(26)의 표면을 가로 질러 X-Y 방향에서, 포인트 스캔될 수 있다. 포인트 스캔은 도 4 및 도 5를 참조로 이하에서 보다 상세히 설명되는 바와 같이, 스캔 라인을 따라 3D 객체의 표면 상의 광 스팟들(spots)을 투영(project)할 수 있다. 프로젝션 옵틱들은 집속 렌즈들, 유리/플라스틱 표면, 또는 객체(26)의 그 표면 상에 레이저(33)의 레이저 빔을 포인트 또는 스팟으로서 집중시키는 기타 원통형의 광학 소자일 수 있다. 도 2의 실시 예에서, 볼록한 구조는 집속 렌즈(35)로서 나타나 있다. 그러나 이외에도 다른 적합한 렌즈 디자인이 프로젝션 옵틱들(35)을 위해 선택될 수 있다. 객체(26)는 광원(33)으로부터의 조사 광이 광 스팟으로서의 프로젝션 옵틱들(35)에 의해 집속되는 경우에 집속 위치에 놓여질 수 있다. 따라서, 포인트 스캔 내에서, 3D 객체(26)의 표면 상에서 포인트 혹은 좁은 영역/스팟은 프로젝션 옵틱들(35)로부터의 집속된 광빔에 의해 순차적으로 비춰질 수 있다.

특별한 실시 예에서, 광원(33: 혹은 조사 원)은 다이오드 레이저나 LED(Light Emitting Diode) 발광 가시광, NIR 레이저, 점광원, 가시광 스펙트럼 내의 단색 조사 원(예를 들면 화이트 램프와 단색화장치(monochromater)의 조합 등), 또는 기타 유형의 레이저 광원이 될 수 있다.

레이저(33)는 장치(15)의 하우징 내에서 한 위치에 고정 될 수 있지만, X-Y 방향으로 회전할 수 있다. 레이저(33)는 3D 객체(26)의 포인트 스캔을 수행하기 위해, X-Y 어드레싱 될 수 있다(예를 들면, 레이저 컨트롤러(34)에 의해). 일 실시 예에서, 가시광은 실질적으로 녹색 광일 수 있다. 레이저 광원(33)으로부터 가시 광 조명은 3D의 표면(도시 생략)에 미러(미도시)를 이용하여 투영될 수 있고, 혹은 포인트 스캔은 전적으로 미러 없이 이루어질 수 있다. 특별한 실시 예에서, 광원 모듈(22)은 도 2의 예시적인 실시 예에서 보여지는 것들에 비해 가감된 구성요소들을 포함할 수 있다.

도 2의 실시 예에서, 객체(26)의 포인트 스캔으로부터 반영된 광은 화살표들(36 및 37)과 점선들(38 및 39)에 의해 나타낸 수집 경로를 따라 이동(travel)할 수 있다. 집광 경로는 레이저 광원(33)으로부터 조명을 수신 시에, 객체(26)의 표면으로부터 반사되거나 산란된 광자를 전달할 수 있다. 도 2(도 4 및 도 5에서도 마찬가지로 적용)내의 실선으로 표시된 화살표들 및 점선들을 이용하는 다양한 전파 경로의 묘사는 도시의 목적만을 위한 것임을 이해하여야 한다. 묘사는 실제 광 신호 전파 경로를 도시하기 위한 것으로 해석되어서는 아니 된다. 실제로는, 조명 및 수집 신호 경로들은 도 2에 도시된 것과 상이할 수 있다. 도 2에서 도시된 바와 같이 명확하게 정의되지 않을 수 있다.

조사된 객체(26)로부터 수신된 광은 이미지 센서 유닛(24)내의 수집 옵틱스(35)를 통해 2D 픽셀(화소)어레이(42)의 하나 이상의 픽셀에 집속될 수 있다. 프로젝션 옵틱스(35)과 마찬가지로, 수집 옵틱스(44)는 집속 렌즈들, 유리/플라스틱 표면, 또는 객체(26)로부터 수신된 투영된 광을 2D 어레이(42)내의 하나 이상의 픽셀들에 집중시키는 기타 원통형의 옵티컬 소자일 수 있다. 도 2의 실시 예에서. 볼록한 구조는 집속 렌즈(44)로서 도시된다. 그러나, 임의의 다른 적합한 렌즈 디자인은, 수집 옵틱스(44)를 위해 선택될 수 있다. 또한, 설명의 용이성을 위해, 3 x 3 픽셀 어레이 만이 도 2(또한 도 6에서)에서 나타나 있다. 그러나, 그러한 최신의 픽셀 어레이들이 수천 또는 심지어 수백만의 픽셀들을 포함하고 있음이 이해될 것이다. 픽셀 어레이(42)는 서로 다른 픽셀들이 다른 컬러들의 광 신호들을 수집할 수 있는 RGB 픽셀 어레이 일 수 있다. 전술한 바와 같이, 특정한 실시 예에서 픽셀 어레이(42)는 IR 컷 필터를 갖는 2D RGB 센서, 2D IR 센서, 2D NIR 센서, 2D RGBW 센서, 2D RGB-IR 센서, 및 기타 등등과 같은 임의의 2D 센서일 수 있다. 이후에 자세히 설명되는 바와 같이, 시스템(15)은 객체(26)의 2D RGB 컬러 이미지(또는 객체를 포함하는 장면)뿐만 아니라 객체(26)의 3D 이미지(깊이 측정을 포함)에 대해 동일한 픽셀 어레이(42)를 사용할 수 있다. 픽셀 어레이(42)의 부가적인 구조적 세부 사항은 도 6을 참조로 후술된다.

픽셀 어레이(42)는 수신된 광자들(photons)을 대응되는 전기적 신호들로 변환하고, 전기적 신호들은 객체(26)의 3D 깊이 이미지를 결정하기 위해 관련된 이미지 처리 유닛(46)에 의해 처리된다. 일 실시 예에서, 이미지 처리 유닛(46)은 깊이 측정을 위해 삼각측량을 사용할 수 있다. 삼각측량 방식은 도 4를 참조로 후술될 것이다. 이미지 처리 유닛(46)은 픽셀 어레이(42)의 동작을 제어하기 위한 관련 회로들을 포함할 수 있다. 이미지 처리 및 제어 회로들의 예시는 도 7a 및 도 7b에서 설명되고, 이하에서 후술된다.

프로세서(19)는 광원 모듈 (22)과 이미지 센서 유닛(24)의 동작들을 제어할 수 있다. 예를 들어, 시스템(15)는 2D 이미지 모드에서부터 3D 이미지 모드까지 스위칭하기 위해, 사용자에 의해 제어가능한 모드 스위치(미도시)를 가질 수 있다. 사용자가 모드 스위치를 사용하여 2D 이미지 모드를 선택하면, 프로세서(19)는 이미지 센서 유닛(24)을 활성화할 수 있지만, 2D 이미징이 주변광을 사용할 수 있기 때문에 광원 모듈(22)을 비활성화할 수 있다. 한편, 사용자가 모드 스위치를 사용하여 3D 이미지를 선택하면, 프로세서(19)는 모듈들(22 및 24) 모두를 활성화할 수 있으며, 주변 광이 너무 강하여 선형 모드(이하에 설명됨)로써 거부될 수 없는 경우와 같이, 이미지를 선형 모드에서 대수 모드로 스위칭하기 위해 이미지 처리 유닛(46)내의 리셋(RST)신호의 레벨에서의 변화를 또한 유발(trigger)할 수 있다. 이미지 처리 유닛(46)으로부터 수신된 처리된 이미지 데이터는 프로세서(19)에 의해 메모리(20)내에 저장될 수 있다. 프로세서(19)는 또한 장치(15)의 디스플레이 스크린(미도시)상에 사용자에 의해 선택된 2D나 3D 이미지를 디스플레이할 수 있다. 프로세서(19)는 본 발명에서 개시되는 다양한 처리 타스크들을 수행하기 위해 소프트웨어나 펌웨어로 프로그램될 수 있다. 대안적으로나 부가적으로, 프로세서(19)는 프로세서(19)의 일부 또는 모든 기능들을 수행하기 위한 프로그래머블 하드웨어 로직 회로들을 포함할 수 있다. 특별한 실시 예에서, 메모리(20)는 프로그램 코드, 룩업 테이블들(도 9에서 나타낸 것과 같고, 후술 될 것임), 및/또는 프로세서(19)의 기능들을 수행하기 위해 프로세서(19)를 인에이블하기 위한 중간 계산 결과들을 저장할 수 있다.

도 3은 본 발명의 일 실시 예에 따라 3차원 깊이 측정이 어떻게 수행되는 자를 보여주는 예시적 플로우챠트(50)이다. 도 3에 도시된 다양한 동작들은 시스템 (15)내에서 하나의 모듈, 모듈들의 조합, 또는 시스템 컴포넌트들에 의해 수행될 수 있다. 여기에 개시되는 설명에서, 실시 예만을 통해서, 특정한 태스크들(tasks)이 특별한 모듈들이나 시스템 컴포넌트들에 의해 수행되는 것으로 설명된다. 다른 모듈들이나 시스템 컴포넌트들이 그러한 태스크들을 잘 수행하기 위해 적절히 구성될 것이다.

도 3에서, 블록(52)에서, 시스템(15)는(보다 구체적으로 프로세서: 19)는 도 2에서의 객체(26)과 같은 3D 객체의 1차원(1D)포인트 스캔을, 도 2 내에서의 광원 모듈(22)과 같은 광원을 이용하여 스캐닝 라인을 따라 수행할 수 있다. 포인트 스캔의 일부로서, 광원 모듈(22)는 라인-바이-라인 방법으로 3D 객체(26)의 표면 상에서 일련의 광 스팟들을 투영하기 위해 예를 들면 프로세서(19)에 의해 구성될 수 있다. 블록(54)에서, 시스템(15)내에서의 픽셀 처리 유닛(46)은 도 2내의 2D 픽셀 어레이(42)와 같은 이미지 센서 내에서 픽셀들의 로우(row)를 선택할 수 있다. 이미지 센서(42)는 이미지 플레인을 형성하는 2D 어레이 내에 배열된 복수의 픽셀들을 가지며, 픽셀들의 선택된 로우는 이미지 플레인 상의 스캐닝 라인(블록 52에서)의 등극선(epipolar line)을 형성한다. 등극선 기하(epipolar geometry)의 간략한 설명은 도 4를 참조로 이하에서 제공된다. 블록(56)에서, 픽셀 처리 유닛(46)은 픽셀들의 로우 내에서 대응되는 픽셀을 이용하여 각각의 광 스팟을 검출하기 위해 프로세서(19)에 의해 동작적으로 구성될 수 있다. 조사된 광 스팟으로부터 반영된 광이 수집 옵틱스(44)에 의해 2개 이상의 인접 픽셀들 상에 집광되는 것과 같이, 조사된 광 스팟으로부터 반영된 광이 단일 픽셀이나 하나 이상의 픽셀에 의해 검출되는 것이 여기서 관찰된다. 한편, 2개 이상의 광 스팟들로부터 반사된 광은 2D 어레이(42)내의 단일 픽셀에서 수집될 수도 있을 것이다. 이하에서 논의되는 타임 스탬프 기반(timestamp-based)방식은 동일 픽셀에 의한 두 개의 다른 스팟들의 이미지나, 두 개의 다른 픽셀들에 의한 단일 스팟의 이미지로부터 야기되는 깊이 계산관련 모호성(depth calculation-related ambiguities)을 제거한다. 블록(58)에서, 프로세서(19)에 의해 적절히 구성되는 바로서, 이미지 처리 유닛(46)은 일련의 광 스팟들(블록 52에서 포인트 스캔 내에서)대응되는 광 스팟의 픽셀 별 검출(블록 56)에 응답하여 픽셀 별 출력을 생성할 수 있다. 결과적으로, 블록(60)에서, 이미지 처리 유닛(46)은 3D 객체의 표면 상에 대응되는 광 스팟에 대해 적어도 픽셀 별 출력(블록 58에서) 및 대응되는 광 스팟(블록 52에서)을 투영하기 위한 광원에 의해 사용되는 주사각(scan angle)에 근거하여 3D 거리(또는 깊이)를 결정할 수 있다. 깊이 측정은 도 4를 참조로 보다 상세히 설명될 것이다.

도 4는 본 발명의 일 실시 예에 따라 포인트 스캔이 어떻게 3차원 깊이 측정에 수행되는 지를 보여주는 예시적 도면이다. 도 4에서, 레이저 소스(33)의 X-Y 회전능력은 X 방향(angle "β" 를 가짐)및 Y 방향(angle "α"를 가짐)내에서 레이저의 앵글 모션들을 나타내는 화살표들(62 및 64)를 이용하여 나타나 있다. 일 실시 예에서, 레이저 컨트롤러(34)는 스캐닝 명령들/프로세서(19)로부터 수신된 입력에 근거하여 레이저 소스(33)의 X-Y 회전을 제어할 수 있다. 예를 들면, 유저가 3D 이미징 모드를 선택하면, 프로세서(19)는 레이저 컨트롤러(34)가 프로젝션 옵틱스(35)를 마주보는 객체 표면의 3D 깊이 측정을 개시하도록 명령할 수 있다. 레이저 컨트롤러(34)는 이에 응답하여 레이저 광원(33)의 X-Y 움직임을 통해 객체 표면의 1D X-Y 포인트 스캔을 개시할 수 있다. 도 4에 도시된 바와 같이, 레이저(33)는 1D 수평 스캐닝 라인들(S_R (66) 및 S_R+1(68)은 도 4내에서 점선들에 의해 구별된다)을 따라 광 스팟들을 투영함에 의해 객체(26)의 표면을 포인트 스캔할 수 있다. 객체(26)의 표면의 곡률 때문에 광 스팟들(70-73)은 도 4 내에서 스캐닝 라인(S_R (66))을 형성할 수 있다. 설명의 편의 및 명확성을 위해, 스캔 라인(S_R+1(68))을 구성하는 광 스팟들은 참조부호들을 이용하여 식별되지 않는다. 레이저(33)는 로우들(R, R+1) 등(예를 들면 좌에서 우로 향하는 방향(left-to-right direction)에서 한번에 한 스팟과 같이)을 따라 객체(26)를 스캔할 수 있다. 로우들(R, R+1)의 값들 등은 2D 픽셀 어레이(42)내에서 픽셀들의 로우들과 관련될 수 있고, 따라서 이들 값들은 알려져 있다. 예를 들면, 도 4내의 2D 픽셀 어레이(42)내에서, 픽셀 로우 R은 참조부호 75를 이용하여 식별되고, 픽셀 로우 R+1은 참조부호 76을 이용하여 식별된다. 로우들(R, R+1)이 도시의 목적만을 위해 픽셀들의 복수의 로우들로부터 선택되는 것임이 이해될 것이다.

2D 픽셀 어레이(42)내의 픽셀들의 로우들을 포함하는 평면은 이미지 평면으로 칭해질 수 있고, 반면에 라인들(S_R 및 S_R+1)과 같이 스캐닝 라인들을 포함하는 평면은 스캐닝 평면으로 칭해질 수 있다. 도 4의 실시 예에서, 이미지 평면 및 스캐닝 평면은, 픽셀들(R, R+1)의 각 로우 및 기타 등이 2D 픽셀 어레이(42)내에서 대응되는 스캐닝 라인(S_R 및 S_R+1) 및 기타 등의 등극선 (epipolar line)을 형성하도록, 등극선 기하를 사용하는 것이 지향된다. 픽셀들 R의 로우는 이미지 평면으로 조사된 스팟(스캐닝 라인 내에서)의 프로젝션이 로우(R)자체가 되는 라인을 따라 구별 스팟(distinct spot)을 형성하면, 대응되는 스캐닝 라인(SR)에 대해 동일한 극성을 갖는 것으로 간주될 수 있다. 예를 들면, 도 4에서, 화살표(78)은 레이저(33)에 의한 광 스팟(71)의 투영(illumination)을 나타내고, 반면에 화살표(80)은 광 스팟(71)이 집광 렌즈(44)에 의해 로우 R(75)을 따라 이미지화 또는 투영되고 있음을 나타낸다. 도 4에 도시되지 않았지만, 광 스팟들(70-73)의 모두가 로우 R 내에서 대응되는 픽셀들에 의해 이미지화될 수 있음이 관찰된다. 따라서, 일 실시 예에서, 레이저(33) 및 픽셀 어레이(42)의 위치 및 방향 등과 같은 물리적인 배열은 픽셀 어레이(42)내에서 대응되는 로우(픽셀들의 로우는 스캐닝 라인의 등극선을 형성)내의 픽셀들에 의해 객체(26)의 표면상의 스캐닝 라인 내에서 조사된 광 스팟들이 캡쳐되거나 검출되도록 설정될 수 있다.

2D 픽셀 어레이(42)내에서 픽셀들이 로우들 및 컬럼들로 배열될 수 있음은 이해될 것이다. 조사된 광 스팟은 픽셀 어레이(42)내의 대응되는 로우 및 컬럼에 의해 참조될 수 있다. 예를 들면, 도 4에서, 스캐닝 라인(SR)내에서 광 스팟(71)은 스팟(71)이 픽셀 어레이(42)내에서 로우 R 및 컬럼 i (Ci)에 의해 이미지화 되었음을 나타내기 위해 X_R,i 로서 지정될 수 있다. 컬럼 Ci는 점선(82)에 의해 표시된다. 다른 조사된 스팟들은 유사하게 식별될 수 있다. 전술된 바로서, 2개 이상의 광 스팟들로부터 반사된 광이 로우 내의 단일 픽셀에 의해 수신되거나, 단일 광 스팟으로부터 반영된 광이 픽셀들의 로우 내에서 하나 이상의 픽셀들에 의해 수신될 수도 있을 것이다. 이제 설명될 타임 스탬프 기반 방식이 그러한 다중 또는 오버래핑 투영으로부터 제기되는 깊이 계산들의 모호성을 해소할 수 있다.

도 4에서, 참조부호 84를 가지는 화살표는 장치(15)의 정면을 따라 도 2내에서 보여지는 X축과 같은 X 축으로부터 광 스팟(71)의 깊이 또는 거리 Z(Z축을 따라)를 나타낸다. 도 4에서, 참조 부호 86을 가지는 점선은 프로젝션 옵틱들(35)과 수집 옵틱들(44)을 포함하는 수직 평면 내에서 포함되어 있는 바와 같이 가시화될 수 있는 축을 나타낸다. 삼각측량 방법의 설명 편의를 위해 레이저 소스(33)가 도 4에서 프로젝션 옵틱들(35)대신에 X축(86)상에 존재하는 것과 같이 도시된다. 삼각측량 방식에서, Z의 값은 다음의 식을 이용하여 결정될 수 있다.

상기 식(1)내의 파라미터들은 도 4에서 또한 보여진다. 장치(15)의 물리적인 구성에 근거하여, 식(1)의 우측의 파라미터들에 대한 값들은 미리 결정될 수 있다. 식(1)에서 파라미터 h는 수집 광학계(44)와 이미지 센서(42)사이의 거리(Z축을 따라)이고(수집 광학계(44)뒤의 수직 평면 내에 존재하게 되는 것으로 가정); 파라미터 d는 광원(33)과 이미지 센서(24)와 관련된 수집 광학계(44)사이의 오프셋 거리이고; 파라미터 q는 수집 광학계(44)와 대응되는 광 스팟(도 4의 예에서, 검출/이미징 픽셀 i는 광 스팟 X_R,i (7)1과 관련된 컬럼 Ci로써 나타난다)을 검출하는 픽셀 사이의 오프셋 거리이고;파라미터 θ는 고찰(도 4의 예에서 광 스팟 71)하에서 광 스팟에 대한 광원의 스캔 각도나 빔 각도이다. 또는, 파라미터 q는 픽셀 어레이(42)의 장면 필드 내에서 광 스팟의 오프셋으로서 간주될 수 있다.

파라미터들 θ 와 q 가 주어진 포인트 스캔을 위해 가변된다는 것이 식(1)을 통해 보여지며, 다른 파라미터들 h 및 d는 장치(15)의 물리적 지오메트리에 기인하여 필수적으로 고정된다. 로우 R(75)이 스캐닝 라인(S_R)의 등극선 이므로 객체(26)의 깊이 차이 혹은 깊이 프로파일은, 수평 방향으로 이미지화된 차이 광 스팟들에 대한 파라미터 q의 값들에 의해 나타낸 바와 같이, 이미지 시프트만큼 반영될 수 있다. 후술되는 바와 같이, 여기에 개시되는 특별한 실시 예에 따라 타임스탬프 기반 방식은 캡쳐된 광 스팟의 픽셀 위치와 레이저 소스(33)의 대응되는 스캔 각도 사이의 대응을 찾기 위해 사용될 수 있다. 한편, 타임스탬프는 파라미터들 θ 와 q 의 값들 사이의 관련성을 나타낼 수 있다. 스캔 각도 θ의 알려진 값과 이미지화된 광 스팟의 대응 위치(파라미터 q에 의해 나타나는 바로서)로부터, 광 스팟에 대한 거리 Z이 삼각 식(1)을 이용하여 결정될 수 있다.

거리 측정 용 삼각 측량의 사용은 예를 들면 US 특허 출원 공개 번호 2011/0102763 A1(Brown et al)를 포함하는 관련 문헌에서 개시된다. 삼각 측량 기반 거리 측정에 관련된 브라운의 위 공보 내의 설명은 그 전체가 본 명세서에 참조로서 포함된다.

도 5는 본 발명의 일 실시 예에 따라 스캔된 광 스팟들에 대한 예시적 타임스탬핑을 보여준다. 개별적 타임스탬프들 발생의 부가적인 세부사항은 도 8의 설명을 참조로 후술될 것이다. 도 4에 비해, 도 5의 실시 예에서, 수집 광학계(44)와 레이저(33)는 도 2의 실시 예에서 보여지는 바와 같이, 이들 컴포넌트들의 실질적인 물리적 지오메트리를 반영하기 위해 오프셋 배열로 보여진다. 예시적으로, 스캐닝 라인(66)은 대응 광 스팟들(70-73)을 따라 도 5에서 보여진다. 전술된 바로서 대응 광 스팟들은 스파스(sparse) 레이저 포인트 소스(33)에 의해 오프젝트 표면의 좌에서 우방향으로의 포인트 스캔에 근거하여 투영될 수 있다. 따라서 도시된 바와 같이, 제1 광 스팟(70)은 시각 t₁에서 투영될 수 있고, 제2 광 스팟(71)은 시각 t₂에서 투영될 수 있고, 그 밖의 광 스팟들도 이와 같다. 이들 광 스팟들은 전술된 바로서 스캐닝 라인(S_R) 의 등극선 라인인 픽셀 로우 R(75)내에서 각 픽셀들 90-93에 의해 검출/이미지화 될 수 있다. 일 실시 예에서, 각 픽셀에 의해 수집된 전하(charge)는 광 스팟 검출이 아나로그 전압의 형태로 수행되는 경우에, 후술되는 바와 같은 픽셀 별 깊이 결정을 위해 이미지 처리 유닛(46)으로 출력될 수 있다. 아나로그 픽셀 출력들(pixouts)은 도 5내의 화살표 95에 의해 집중적으로 나타나 있다.

도 5에서 보여지는 바와 같이, 로우 R 내에서 각 검출 픽셀(90-93)은 관련된 컬럼 번호(여기서, 컬럼들 C₁ 내지 C₄)를 가질 수 있다. 게다가, 각 픽셀 컬럼 C_i (i　=　1, 2, 3, ...)이 식(1)내에서 파라미터 q에 대한 관련된 값을 가진다는 것이 도 4로부터 보여진다. 따라서, 후술되는 바와 같이 픽셀 별 타임스탬프(t₁-t₄)가 검출 픽셀들(90-93)에 대해 생성되면, 타임스탬프는 픽셀의 컬럼 수를 나타낼 수 있으며, 이는 파라미터 q의 픽셀 별 값이 된다. 부가적으로 실시 예에서, 픽셀 어레이(42)내에서 픽셀들을 이용하는 스팟-바이-스팟 검출(spot-by-spot detection)은 이미지 처리 유닛(46)이 대응되는 조사된 스팟에 각 타임스탬프를 링크하는 것을 허용하여, 결국, 미리 설정된 값들을 가지고서 요구되는 시퀀스 내에서 레이저(33)가 각 스팟을 조사하기 위해 적절히 제어되기 때문에 스팟 별 스캔 각도(θ)에 링크하는 것을 허용한다. 따라서, 타임스탬프들은 캡쳐된 레이저 스팟의 픽셀 위치와, 픽셀 어레이(42)로부터 수신된 각 픽셀 별 신호에 대해, 식(1)내의 파라미터들 (θ 와 q)에 대한 값들의 형태 내에서 각각의 스캔 각도 사이의 대응을 제공한다. 전술한 바와 같이, 스캔 각도 및 픽셀 어레이(42)내의 검출된 스팟의 대응 위치의 값들은 식(1)내의 파라미터(q)의 값을 통해 반영된 바와 같이, 광 스팟에 대한 깊이 결정을 허용할 수 있다. 이 방법에서, 픽셀 어레이(42)의 필드 장면내에서 객체(26)의 표면에 대한 3D 깊이 맵은 생성될 수 있다.

도 6은 본 발명의 일 실시 예에 따라 2차원 픽셀 어레이(42)의 예시적 상세 회로 및 도 1 및 2 내의 이미지 센서(24)의 이미지 프로세싱 유닛(46)내에서의 관련된 처리 회로들의 일부를 보여준다. 전술된 바로서, 픽셀 어레이(42)는 도시의 편의성만을 위해 3x3 어레이로서 배열된 9개의 픽셀들(100-108)을 가지는 것으로 보여지나, 실제로는 픽셀 어레이는 다중 로우들과 컬럼들로 수만 내지 수백만 개의 픽셀들을 포함할 수 있다. 일 실시 예에서, 각 픽셀(100-108)은 도 6에서 보여지는 바와 같이 동일한 구성을 가질 수 있다. 도 6의 실시 예에서, 2D 픽셀 어레이(42)는 각 픽셀이 Four Transistor Pinned Photo-diode (4T PPD)픽셀로 되어 있는 Complementary Metal Oxide Semiconductor (CMOS) 어레이를 포함한다. 도시의 편의를 위해, 픽셀(108)만의 구성 회로요소들이 참조부호들로 표시된다. 픽셀(108)의 동작의 이하 설명은 다른 픽셀들(101-107)에 대해서 동일하게 적용되고, 각 개별 픽셀들의 동작은 여기에서 설명되지 않는다.

4T PPD 픽셀 108(다른 픽셀들 101-107도 유사)은 도면에서와 같이 연결되는 구조로, pinned photo-diode (PPD) 110 및 4개의 N-channel Metal Oxide Semiconductor Field Effect Transistors (NMOS) 111-114를 포함한다. 트랜지스터(111)는 전달 게이트(TG), 플로팅 확산(FD)트랜지스터로서 동작할 수 있고, 넓게, 4T PPD 픽셀(108)는 다음과 같이 동작할 수 있다. 첫째로, PPD(110)는 입사된 광자를 전자로 변환하여 광 입력 신호를 전하 영역(charge domain)에서의 전기 신호로 변환되도록 한다. 그러면, 상기 전달 게이트(111)는 PPD(110)에 서 플로팅 확산까지 모든 광자 생성 전자들을 전달하기 위해 "클로즈" 될 수 있다. 따라서 전하 도메인 내의 신호는 후속 처리와 측정의 편의를 위해 전압 도메인으로 변환된다. 플로팅 확산에서의 전압은 트랜지스터(114)를 이용하여 ADC로 픽스 아웃(PIXOUT)신호로서 나중에 전송될 수 있고, 후속의 처리를 위해 적절한 디지털 신호로 변환될 수 있다. 픽셀 아웃(PIXOUT)생성 및 처리의 보다 상세한 것은 도 8,10, 및 11을 참조로 이하에서 설명될 것이다.

도 6의 실시 예에서, 이미지 처리 유닛(46)내의 로우 디코더/드라이버(116)는 픽셀 어레이(42)내의 픽셀들의 동작을 제어하기 위해 3개의 다른 신호들을 제공하여 컬럼 별 픽스아웃(PIXOUT) 신호들(117-119)를 생성하는 것이 나타나 있다. 도 5의 실시 예에서, 출력(95)는 그러한 PIXOUT 신호들(117-119)를 집중적으로 나타낼 수 있다. 로우 선택(RSEL) 신호는 적절한 픽셀들의 로우를 선택하기 위해 제공될 수 있다. 일 실시 예에서, 선택될 로우는 레이저 소스(33)에 의해 투영되는 현재 스캐닝 라인(광 스팟들의)의 등극선 (epipolar line)이 된다. 로우 디코더/드라이버(116)는 예를 들면 프로세서(19)로부터, 로우 어드레스/컨트롤 입력들(126)을 통해 선택될 로우를 위해 어드레스나 제어 정보를 수신할 수 있다. 본 설명에서는, 로우 디코더/드라이버(116)가 픽셀(108)을 포함하는 픽셀들의 로우를 선택하는 것이라고 가정한다. 트랜지스터(114)와 같은 트랜지스터는, 픽셀 어레이(42)내의 픽셀들의 각 로우 내에서, 도시된 바와 같이 각각의 RSEL 라인(122-124)에 연결될 수 있다. 리셋(RST)신호는 미리 설정된 고전압 레벨로 픽셀들을 리셋하기 위해 선택된 로우 내의 픽셀들로 인가될 수 있다. 각 로우 별 RST 신호(128-130)은 도 6에서 나타나 있으며, 도 8,10, 및 11 내에서의 파형들을 참조로 보다 상세히 설명될 것이다. 트랜지스터(112)와 같은 트랜지스터는, 각 픽셀 내에서, 도시된 바와 같이 각각의 RST 신호를 수신할 수 있다. 전송(TX)신호는 연속 처리를 위해 픽셀 별 출력 전압(PIXOUT)의 전송을 개시하기 위해 제공될 수 있다. 각 로우 별 TX 라인(132-134)은 도 6에서 보여진다. 트랜지스터(111)와 같은 전송 게이트 트랜지스터는 도 6에서 보여지는 바와 같이 각 TX 신호를 수신할 수 있다.

전술한 바와 같이, 여기에 개시된 특별한 실시예 들에서, 2D 어레이(42)와 이미지 센서 유닛(24)내의 나머지 컴포넌트들은 2D RGB(또는 비-RGB) 뿐만 아니라 3D 깊이 측정을 위해 이용될 수 있다. 결과적으로, 도 6에서 도시된 바와 같이, 이미지 센서 유닛(24)은 2D 및 3D 이미징 동안 사용되기 위해 Correlated Double Sampling (CDS) 뿐만 아니라 픽셀들의 컬럼마다 하나가 소요되는 column-specific ADCs를 위한 회로들을 구비하는 픽셀 컬럼 유닛(138)을 포함할 수 있다. 픽셀 컬럼 유닛(138)은 2D 이미지가 생성되거나 3D 깊이 측정이 얻어질 수 있는 디지털 데이터 출력(Dout)신호(140)를 생성하기 위해 PIXOUT 신호들(117-119)을 수신하여 처리할 수 있다. 픽셀 컬럼 유닛(138)은 PIXOUT 신호들(117-119)의 처리 동안에 기준 입력(142)과 램프 입력(143)을 또한 수신할 수 있다. 픽셀 컬럼 유닛(138)의 보다 상세한 동작은 후술될 것이다. 도 6의 실시 예에서, 컬럼 디코더 유닛(145)는 픽셀 컬럼 유닛(138)에 연결된다. 컬럼 디코더(145)는 주어진 로우 선택(RSEL)신호와 함께 선택될 컬럼을 위해 컬럼 어드레스/컨트롤 입력(147)을 예를 들면 프로세서(19)로부터 수신할 수 있다. 컬럼 선택은 순차적으로 될 수 있어, 대응되는 RSEL 신호에 의해 선택되는 각 픽셀로부터 픽셀 출력의 순차적인 수신이 가능해진다. 프로세서(19)는 광 스팟들의 현재 투영된 스캐닝 라인을 인식할 수 있고, 현 스캐닝 라인의 등극선 을 형성하는 픽셀들의 로우를 선택하기 위해 적절한 로우 어드레스 입력들을 제공할 수 있고 또한, 선택된 로우 내에 개별적인 픽셀들로부터 출력들을 수신하는 픽셀 컬럼 유닛(138)을 인에이블하기 위해 적절한 컬럼 어드레스 입력들을 제공할 수 있다.

여기에서의 설명이 주로 본 발명의 기술적 사상에 따라 2D 및 3D 이미징을 위해 도 6내에서 보여지는 4T PPD 픽셀 디자인에 대하여 집중되어 있지만, 픽셀들의 다른 유형이 다른 실시 예들에서 픽셀 어레이(42)내에 사용될 수 있을 것이다. 예를 들면, 일 실시 예에서, 픽셀 어레이(42)내의 각 픽셀은 도 6내의 4T PPD 디자인에서 트랜지스터(111)등과 같이, 전송 게이트 트랜지스터를 생략한 3T 픽셀이 될 수 있다. 다른 실시 예들에서, 1T 픽셀이나 2T 픽셀들이 또한 사용될 수 있다. 또한 다른 실시 예에서, 픽셀 어레이(42)내의 각 픽셀은 트랜지스터들과 독출된 회로들이 2이상의 이웃 픽셀들 사이에서 공유될 수 있는 공유 트랜지스터 픽셀 구성을 가질 수 있다. 공유 트랜지스터 픽셀 구성에서, 각 픽셀은 적어도 하나의 포토다이오드와 하나의 전송 게이트 트랜지스터를 가질 수 있으며, 트랜지스터들의 나머지는 2이상의 픽셀들 사이에 공유될 수 있다. 그러한 공유 트랜지스터 픽셀의 일 예는 5개의 트랜지스터들(T)가 2개의 픽셀들을 위해 사용되어 2.5T/픽셀 구성을 초래하는 2 공유(1x2) 2.5T 픽셀이다. 픽셀 어레이(42)내에 사용될 수 있는 공유 트랜지스터 픽셀의 다른 예는 4개의 픽셀들이 독출된 회로를 공유하지만 각 픽셀들이 적어도 하나의 포토다이오드와 하나의 TX 트랜지스터를 가지는 1x4 4 공유 픽셀이다. 여기에 열거된 것과는 다른 다른 픽셀 구성들은 개시된 본 발명의 기술적 사상에 따라 2D 및 3D 이미징을 위해 적절히 구현될 수 있다.

도 7a는 본 발명의 일 실시 예에 따라 도 6내의 이미지 센서 유닛(24)과 같은 이미지 센서 유닛의 예시적 구성도이다. 복잡성을 피하기 위해, 도 7a내에서 구성의 간략한 설명이 여기에서 제공되며, 그 이상의 관련 동작의 상세는 도 8,10, 및 11을 참조로 후술될 것이다. 도시된 바와 같이, 도 7a내의 이미지 센서 유닛(24)은 로우 디코더 유닛(149)과 로우 드라이버 유닛(150)을 포함할 수 있으며, 그들 중 모두는 도 6내에서 로우 디코더/드라이버(116)을 수집적으로 포함할 수 있다. 도 7a에서는 도시되진 않았지만, 로우 디코더 유닛(149)는 로우 어드레스 입력(도 6내에서는 입력 126과 같이)을 예를 들면 프로세서(19)로부터 수신하고, 적절한 RSEL, RST, 및 TX 신호들을 로우 디코더(149)에 의해 선택/디코딩된 로우로 제공하는 로우 드라이버 유닛(150)을 인에이블 하기 위해 입력을 디코딩할 수 있다. 로우 드라이버 유닛(150)은 또한, 로우 드라이버 유닛(150)이 RSEL, RST, 및 TX 신호들에 대한 적절한 전압 레벨들을 인가하도록 하기 위해, 컨트롤 신호들(미도시)을 예를 들면 프로세서(19)로부터 수신할 수 있다. 도 7a 내의 이미지 센서 유닛(24)에서, 컬럼 ADC 유닛(153)은 도 6내의 픽셀 컬럼 유닛(138)을 나타낼 수 있다. 도시의 편의 상, 도 7a에서, 로우 드라이버(150)으로부터 RSEL, RST, 및 TX 신호들과 같은 다양한 로우 별 드라이버 신호들은 단일 참조 부호(155)를 이용하여 집중적으로 참조될 것이다. 유사하게, 도 6내의 PIXOUT 신호들(117-119)과 같은 컬럼 별 픽셀 출력들(PIXOUTS)은 모두, 단일 참조 부호(157)를 이용하여 수집적으로 참조될 것이다. 컬럼 ADC 유닛(153)는 PIXOUT 신호들(157), 기준 입력(142: 기준 신호 발생기 159로부터), 및 램프 신호(143)를, 픽셀들의 컬럼에 대한 대응되는 컬럼 별 ADC에 의해 픽셀 별 출력을 생성하기 위해 수신할 수 있다. 2D 이미징은 도 10을 참조하여 보다 구체적으로 후술될 것이다. 일 실시 예에서, ADC 유닛(153)은 픽셀의 리셋 레벨과 수신된 신호의 레벨 간의 차이가 되는 CDS 출력(미도시)을 생성하기 위해, 도 6내의 픽셀 컬럼 유닛(138)의 경우로서, CDS를 위한 회로들을 포함할 수 있다. 특별한 실시 예에서, 3D 깊이 값들은 객체의 3D 이미지를 생성하기 위해 2D 이미지와 결합될 수 있다.

컬럼 ADC 유닛(153)은 2D 어레이(42)내에서 픽셀 컬럼 당 분리 ADC를 포함할 수 있다. 각 컬럼 별 ADC는 PIXOUT 신호들(157)과 함께 램프 신호 발생기(163)으로부터 각 램프 입력(143)을 수신할 수 있다. 일 실시 예에서, 램프 신호 발생기(163)는 기준 신호 발생기(159)로부터 수신되는 기준 전압 레벨에 근거하여 램프 입력(143)을 생성할 수 있다. ADC 유닛(153)내의 각각의 컬럼 별 ADC는 대응되는 디지털 데이터 출력(Dout)신호(140)를 생성하기 위해 수신되는 입력들을 처리할 수 있다. ADC 유닛(153)은 컬럼 ADC 출력이 독출되어 Dout 버스(140)로 전송되는 것에 관하여 컬럼 디코더(145)로부터 정보를 수신할 수 있으며, 적절한 픽셀 출력을 수신하기 위해 주어진 로우에 대해 선택하고자 하는 컬럼에 관한 정보를 수신할 수 있다. 도 7a에서는 미도시 되었지만, 컬럼 디코더 유닛(145)은 예를 들면 프로세서(19)로부터 컬럼 어드레스 입력(도 6의 입력 147과 같은)을 수신할 수 있고, 적절한 픽셀 컬럼을 선택하는 컬럼 ADC 유닛(153)을 인에이블 하기 위해 입력을 디코딩할 수 있다. 도 7a의 실시 예에서, 디코딩된 컬럼 어드레스 신호들은 참조 부호(165)를 이용하여 집중적으로 식별될 수 있다.

ADC 유닛들로부터의 디지털 데이터 출력(140)은 디지털 처리 블록(167)에 의해 처리될 수 있다. 2D RGB 이미징 모드에 대한 일 실시 예에서, 각 ADC 별 데이터 출력(140)은 각 픽셀에 의해 수집된 실제적인 광자 전하에 실질적으로 상응하는 멀티 비트 디지털 값일 수 있다. 한편, 3D 깊이 측정 모드에서, 각 ADC 별 데이터 출력(140)은 각 픽셀이 대응되는 광 스팟을 검출 시의 시각을 나타내는 타임스탬프 값일 수 있다. 본 발명의 실시 예에 따른 이러한 타임 스탬핑 어프로치는 후술되는 설명에서 보다 상세해질 것이다. 디지털 처리 블록(167)은 타이밍 생성을 제공하는 회로들, 2D 이미징 모드를 위한 데이터 출력들(140)의 처리 및 3D 이미징 모드를 위한 깊이 계산을 위한 처리와 같은 이미지 신호 처리(ISP), 및 기타 등을 포함할 수 있다. 이것에 대하여, 디지털 처리 블록(167)은 예를 들면, 장치(15)의 디스플레이 스크린(미도시)상에 2D RGB/넌 RGB 이미지, 혹은 3D 객체 상의 3D 깊이 이미지를 행하는 프로세서(19)를 인에이블 하고자, 출력(170)과 같이 처리된 데이터를 제공하기 위해 인터페이스 유닛(168)에 연결될 수 있다. 인터페이스 유닛(168)은 디지털 처리 블록(167)내에서 타이밍 발생 기능성(functionality)을 지원하는 클럭 신호들의 생성을 위한 위상고정루프(PLL)유닛을 포함할 수 있다. 또한, 인터페이스 유닛(168)은 디지털 블록(167)에 의해 생성된 데이터를 위해 장치(15)내의 다른 컴포넌트들 혹은 회로 소자들에 대하여 산업 스탠다드 하드웨어 및 소프트웨어 인터페이스를 제공하는 모바일 인더스트리 프로세서 인터페이스(MIPI)를 포함할 수 있다. MIPI 사양들은 광 범위의 모바일 제품들을 지원하고 모바일 디바이스의 카메라, 디스플레이 스크린, 파워 매니지먼트, 배터리 인터페이스 등에 대한 사양들을 제공한다. MIPI 스탠다드 인터페이스들은 스마트폰의 카메라나 디스플레이 스크린, 및 모바일 디바이스의 응용 프로세서(들)와 같은 모바일 디바이스의 주변들 간의 개선된 동작성을 생산할 수 있다. 여기서, 상기 주변들을 제공하는 벤더(들)는 동일 벤더가 아닐 수 있다.

도 7a의 실시 예에서, 타임스탬프 측정 유닛(171)은 개별적인 컬럼 별 ADCs에 대하여 적절한 측정 신호들(172)을 생성하기 위해 컬럼 ADC 유닛(153)에 연결되어, 3D 측정 모드에서 픽셀 별 타임스탬프 값을 나타내는 출력을 생성한다. 이 타임 스탬핑 어프로치는 도 8을 참조로 보다 구체적으로 설명될 것이다.

도 7b는 본 발명의 일 실시 예에 따라 3차원 깊이 측정을 위한 CDS+ADC 유닛(175)의 예시적 상세 구성을 보여준다. 설명의 편의를 위해, 상기 유닛(175)은 이하에서 'ADC 유닛'으로 칭해질 것이지만, 상기 유닛(175)는 ADC 기능에 더하여 CDS 기능을 포함하는 것이 이해될 수 있을 것이다. CDS 유닛의 간략화된 버전은 도 7b에서 커패시터(176)를 사용하여 나타나 있다. 일 실시 예에서, 2D 픽셀 어레이(42)내의 각 컬럼은 ADC 유닛(175)과 유사하게, 컬럼 별, 싱글 슬로프 ADC 유닛을 가질 수 있다. 도 6의 실시 예에서, 컬럼 당 하나의 ADC를 예로 들면 픽셀 컬럼 유닛(138)내에는 3개의 ADC 유닛들이 존재할 수 있다. 도시된 바와 같이, 도 7b의 실시 예에서 ADC(175)는 바이너리 카운터(181) 및 라인 메모리 유닛(183)과 직렬로 연결된 2개의 Operational Transconductance Amplifiers (OTA) 177 및 179를 포함할 수 있다. 도시의 편의상, OTA(177 및 179)에 대한 반전(-) 및 비반전(+)전압 입력들이 도 7b에서 도시되며, 바이어싱 입력들과 전원 공급 연결들은 미도시 되어 있다. OTA가 다른 입력 전압이 출력 전류를 생성하는 증폭기인 것이 이해될 수 있을 것이다. 따라서, OTA 는 전압 제어 전류 소스로서 기능할 수 있다. 바이어싱 입력들은 증폭기의 트랜스컨턱턴스를 제어하기 위한 전류 또는 전압을 제공하기 위해 사용될 수 있다. 제1 OTA(177)는 CDS 유닛(176)으로부터 컬럼 디코더(145)로부터 수신된 컬럼 수를 이용하여 활성화된 로우 내에서 선택된 도 6내의 픽셀(108)과 같은 픽셀로부터의 PIXOUT 전압의 CDS 버전을 수신할 수 있다. 픽스 아웃 신호의 CDS 버전은 'PIX_CDS'로서 칭해질 것이다. OTA(177)은 또한 램프 신호 발생기(163: 도 7a)로부터 Vramp 전압(143)을 수신할 수 있다. OTA(177)은 픽스아웃 전압(157)이 Vramp 전압(143)이하로 떨어지면 도 8을 참조로 후술되는 바와 같이 출력 전류를 생성할 수 있다. OTA(177)의 출력은 바이너리 카운터(181)로 인가되기 이전에 제2 OTA(179)에 의해 필터링될 수 있다. 일 실시 예에서, 바이너리 카운터(181)는 클럭(Clk)입력(185)을 수신하고 제1 OTA(177)에 의한 출력전류의 생성에 의해 설정된 타임이 트리거되는 동안에 카운트되는 클럭 사이클들에 근거하여 타임스탬프 값(186)을 생성하는 10비트 리플 카운터일 수 있다. 도 7a의 실시 예의 내용에서, 클럭 입력(185)는 시스템 와이드 클럭, PLL유닛(168)이나 장치(15)내의 다른 클럭 발생기(미도시) 에 의해 생성된 이미지 센서 별 클럭일 수 있다. 픽셀 별 타임스탬프 값(186)은 픽셀의 컬럼 수(컬럼 #)에 대하여 라인 메모리(183)에 저장될 수 있고, Dout 신호(140)로서 디지털 처리 블록(167)으로 연속적으로 출력될 수 있다. 컬럼 수 입력(165)는 도 7a에서 보여지는 바와 같이 컬럼 디코더 유닛(145)로부터 수신될 수 있다.

특별한 실시 예에서, RGB 컬러 모델은 센싱, 재현, 및 도 1 및 2에서 장치(15)와 같이 모바일 디바이스들 상에서 이미지들의 디스플레이를 위해 이용될 수 있다. RGB 컬러 모델에서, R,G,B 와 같이 3개의 주된 컬러들을 가지는 광 신호들은 파이널 이미지 내의 컬러들의 넓은 어레이를 생성하기 위해 다양한 방법으로 함께 추가될 수 있다. CDS 방법은 바람직하지 않은 오프셋을 제거를 허용하는 방법으로, 픽셀/센서 출력 전압과 같은 전자적인 값을 측정하기 위해 2D RGB 이미징에 이용될 수 있다. 예를 들면, CDS 유닛(176)과 같은 CDS 유닛은 상관 더블 샘플링을 수행하기 위해 ADC 유닛(175)과 같은 각 컬럼 별 ADC 유닛 내에 적용될 수 있다. CDS에서, 픽셀의 출력은 알려진 조건으로 한번, 알려지지 않은 조건으로 한번으로 2번 측정될 수 있다. 알려진 조건으로 측정된 값은 측정되는 물리적 양에 대한 알려진 상관을 가지는 값을 생성하기 위해 미지의 조건으로부터 측정된 값에서 감산될 수 있다. 즉 광전자 전하는 이미지 신호의 픽셀 별 부분을 나타낸다. CDS를 이용하여, 각 집적 구간의 끝에서 픽셀의 신호 전압으로부터 픽셀의 기준전압(리셋 후의 픽셀의 전압과 같은)을 제거함에 의해 노이즈가 감소될 수 있다. 따라서, CDS에서, 픽셀의 전하가 출력으로 전달되기 이전에, 리셋 값은 샘플링된다. 기준 값은 픽셀의 전하가 전송된 후에 값으로부터 "차감"된다.

특별한 실시 예에서, ADC 유닛(175)가 2D 이미징 및 3D 깊이 측정 모두를 위해 이용되는 것이 관찰된다. 그러한 공유 구성을 위한 모든 입력들은 도 7b에서는 미도시된다. 공유 사용의 경우에 대응되는 Vramp 신호는 2D 이미징에 대해 또한 달라질 수 있다.

도 8은 본 발명의 다른 실시 예에 따라 3차원 선형 모드의 동작에서 타임스탬프 기반의 픽셀 별 출력들을 생성하기 위해 도 1 및 2의 시스템(15) 내에서 다른 신호들의 타이밍을 예시적으로 보여주는 타이밍도(190)이다. 전술한 바와 같이, 특정한 실시 예에서, 동일 이미지 센서(24)내의 모든 픽셀들은 2D 뿐만 아니라 3D 이미징에 대해 사용될 수 있다. 3D 깊이 측정은 주변광의 레벨에 의존하여 3D 선형 모드나 3D 대수 모드를 사용하여 수행될 수 있다. 도 11을 참조로 후술되는 바와 같이, 3D 대수 모드는 주변 광 거부가 필요한 경우에 깊이 측정에 이용될 수 있다. 도 8의 설명은 그러나, 3D 리니어 모드에 관련된 타이밍 파형들에 관한 것이다.

간략히, 도 4 및 5를 참조로 전술된 바와 같이, 3D 객체(26)는 픽셀 어레이(42)의 로우 R(75)을 따라 레이저 광원(33)에 의해 한번에 하나의 스팟으로 포인트 스캐닝될 수 있다. 여기서, R은 스캐닝 라인 S_R (66)과 관련하여 대응되는 등극선 관계에 근거한다. 한 로우의 스캐닝 후에, 스캐닝 동작은 다른 로우에 대해 반복한다. 레이저가 다음 스팟을 투영하면, 이전의 투영된 광 스팟은 로우 R내에서의 대응되는 픽셀에 의해 이미지화될 수 있다. 로우 R내의 모든 픽셀들로부터 픽셀 별 출력들은 도 7a의 디지털 처리 블록(167)내의 깊이 처리 회로/모듈로 독출될 수 있다.

픽셀 별 출력을 생성하기 위해, 대응되는 로우는 RSEL 신호를 이용하여 초기에 선택되어야 할 수 있다. 도 8의 맥락에서, 도 6내의 로우 디코더/드라이버(116)이 도 8에서 보여지는 바와 같이 하이레벨로 RSEL 신호(122)를 제공함에 의해 픽셀들(106-108)을 포함하는 픽셀들의 로우를 선택하는 것이라고 가정한다. 따라서, 모든 픽셀들(106-`108)은 함께 선택된다. 설명의 편의상, 동일 참조 부호들이 도 6 및 7내에서 보여지는 바와 같이 신호들, 입력들, 또는 출력들에 대해 도 8내에서 사용된다. 초기에, 선택된 로우 내의 모든 픽셀들(106-108)은 RST 라인(128)을 이용하여 고전압으로 리셋될 수 있다. 픽셀의 리셋 레벨은 대응되는 광 스팟의 픽셀 별 검출의 부재를 나타낼 수 있다. 본 발명의 일 실시 예에 따른 3D 리니어 모드에서, RST 신호(128)는 픽셀들(106-108)에 의해 수신된 광전자들의 집적을 촉진하고 대응되는 픽셀 출력(PIXOUT)신호들(117-119)를 얻기 위해 미리 설정된 타임 동안 하이레벨에서 해제될 수 있다. 광전자들의 집적을 촉진하고 대응되는 픽셀 출력신호를 얻는 것은 도 8에서 보여지고, 이하에서 후술될 것이다. PIXOUT1 신호(119)는 픽셀(108)에 의해 대응되는 ADC 유닛으로 공급되는 출력을 나타내고, 이는 패턴 "- ‥ - ‥ -"을 갖는 파선(dashed line)을 이용하여 표시된다. PIXOUT2 신호(118)는 픽셀(107)에 의해 대응되는 ADC 유닛으로 공급되는 출력을 나타내고, 이는 패턴 "…………"을 갖는 점선을 이용하여 표시된다. 한편, 본 발명의 일 실시 예에 따른 3D 대수 모드에서, RST 신호는 후술되는 바와 같이 픽셀 출력의 발생동안에 선택된 로우를 위해 하이로 남을 수 있다. 일 실시 예에서, 도 6에서의 라인들(129-130)과 같은 다른 RST 라인들은 블루밍을 방지하기 위해 비선택된 로우들을 위해 하이 또는"온" 으로 유지될 수 있다. 정확히 말하면, 도 8(도 10,11에서의 유사한 pixout 신호들)에서의 PIXOUT 신호들(118 및 119)은 도 7b내의 ADC 유닛(175)과 같은 각각의 컬럼 별 ADC 유닛 내에서 도 7b의 OTA(177)와 같은 제1 OTA에 대해 PIX_CDS 신호들이 적용되기 전에, 도 7b내의 CDS 유닛(176)과 같은 CDS 유닛에 의해 약간 변경될 수 있다. 도시의 간략화 및 설명의 편의를 위해, 도 8,10, 및 11 내의 PIXOUT 신호들은 각각의 PIX_CDS 신호들(미도시)의 대표로서 취급되고 각 OTAs(177)에 대해 직접적인 입력이 있는 것으로 간주된다.

리셋 후, 픽셀 내의 포토다이오드가 3D 객체(26)의 표면상에 투영된 광 스팟으로부터 반영된 광 내에서 광전자들과 같은, 입사 휘도(incident luminance)를 수신하면, 포토다이오드는 대응되는 광전류를 생성할 수 있다. 픽셀에 의해 입사광의 검출은 "온 이벤트"로 칭해질 수 있고, 반면에 입사광의 밀도 감소는 "오프 이벤트"를 생성할 수 있다. 온 이벤트에 응답하여 생성되는 광전류는 초기 리셋 레벨로부터 픽셀 출력 전압(PIXOUT)을 감소시킬 수 있다. 픽셀은 수신된 휘도/광 신호를 도 6,8,10,11에서 PIXOUT 신호로서 지정된 바와 같은 대응되는 전기적(아날로그)전압으로 변환하는 트랜스듀서로서 기능한다. 각 픽셀은 실시 예에서 대응되는 광 스팟들이 레이저 소스에 의해 투영되는 시퀀스 내에서 개별적으로 읽혀질 수 있다. 아나로그 픽스아웃 신호는 대응되는 컬럼 ADC에 의해 디지털 값으로 변환될 수 있다. 2D 이미징 모드에서, ADC는 ADC로서 기능하고 멀티비트 출력을 생성할 수 있다. 후술되는 바로서, 3D 깊이 측정모드에서, ADC는 시간-디지털 변환기(time-to-digital converter)로서 기능하고 광 스팟이 픽셀에 의해 검출될 때의 시간을 나타내는 타임스탬프 값을 생성할 수 있다.

다시 도 8을 참조하면, 픽셀 리셋 (RST 128이 하이) 수행된 후, RST가 해제되기 전에 픽셀들(106-108)과 연관된 컬럼 ADC는 물론 리셋될 수 있다. 전송(TX) 신호(132)는, 그러나, 내내 하이로 유지될 수 있다. ADCs는 공통 ADC 리셋 신호 또는 개별 ADC 별 리셋 신호를 이용하여 리셋될 수 있다. 도 8의 실시 예에서. 공통 ADC_RST 신호(192)는 간단히 컬럼 ADC 유닛(153: 도 7a)에서, ADC (175)와 같은 컬럼 별 ADCs를 리셋(하이 레벨로)하기 위해 나타나 있는 것으로 도시되어있다. 일 실시 예에서, ADCs는 이진수 "0"또는 다른 공지의 수와 같은 설정된 바이너리 값으로, 픽셀이 리셋 된 후, 리셋될 수 있다. 도 8에서, 픽셀들 (108 및 107)과 관련된 ADCs에 대한 이들 리셋 값들은 각각의 신호들 ADCOUT1 (or ADC output "A") 및 ADCOUT2 (or ADC output "B")내에서 "필드"(194 및 195)로써 각기 보여진다. 도 8,10,11에서 보여지는 ADC 출력을 설명할 때만 편의상 용어 "필드"가 편의상 사용됨을 주목하여야 한다. ADC 출력이 실제로 동시에 이러한 "필드"를 모두 포함하지 않을 수 있지만, ADC에 대한 신호 처리의 현재 스테이지에 따라 특정 디지털 값이 될 수 있음이 이해될 것이다. 즉, ADC가 리셋되는 경우, 출력은 이진수 "0"일 수 있으며, ADC가 클럭 펄스를 카운트하기 위해 트리거되는 경우, 출력은 도 8 및 11내의 3D 깊이 측정의 경우와 같이 카운트 값이 될 수 있다. ADC가 도 10의 경우에서와 같이 2D 컬러 이미징을 위해 사용되면, 출력은 이미지 신호를 나타내는 멀티 비트 값이 될 수 있다. 따라서, 도 8, 10 및 11의 ADC 출력 신호들은 단지 다른 디지털 값을 나타내기 위해 그러한 "필드"로 도시되며, ADC는 진행하는 방향으로 최종 출력을 생성할 수 있다. 도 8에서 참조부호 "197"은 픽셀(108)과 관련된 ADC의 출력을 나타내는 ADCOUT1 신호를 참조하는데 사용되고, 참조 부호 "198"은 픽셀(107)과 관련된 ADC의 출력을 나타내는 ADCOUT2 신호를 참조하는데 사용된다. 각 출력들(197 및 198) 은 각 ADC가 메모리 판독시 컬럼 디코더에 의해 선택 될 때. Dout 신호(140)로 (도 6 및 7)로서 나타날 수 있다. 리셋되기 전에, ADC 출력들(197 및 198)은 필드 들(199 및 200)에서 부호 "X"로 표시된 바와 같이, 미지의 값을 가질 수 있다.

ADC가 리셋 된 후에 소정의 문턱 값은 픽셀 리셋 신호(128) 및 ADC 리셋 신호(192)가 해제된 이후에 램프 입력(Vramp: 143)을 미리 정의된 전압 레벨로 다시 인가함에 의해 인에이블될 수 있다. 도 8의 실시 예에서, RAMP 입력(143)는 모든 컬럼 개별 ADC들에 대하여 공통이므로 각각의 ADC에 동일한 Vramp 전압을 제공한다. 그러나, 다른 실시 예에서, 다른 Vramp 값들은 별개로 두 개 이상의 ADC들에 ADC 별 램프 입력으로서, 인가될 수 있다. 또한, 특정 실시 예에서, 상기 Vramp 문턱 값은 원하는 대로 변할 수 있도록 프로그램 가능한 파라미터일 수 있다. 문턱 값(RAMP 신호)가 활성화 된 후, 픽셀 별 ADCs는 도 7b내의 카운터 (181)와 같이, 2진 카운터의 동작 전에 대응하는 픽셀의 "ON 이벤트"를 기다릴 수 있다.

3D 깊이 측정 모드에서, 각각의 ADC는 2D 이미징 모드(이하에서 설명)의 경우에는 멀티 비트 출력과는 반대로, 이진수 "0" 또는 "1"을 나타내는 단일 비트 출력을 생성할 수 있다. 따라서, RGB 센서의 경우, RGB 픽셀 어레이(42)내의 픽셀에 의해 수신된 모든 컬러 정보는 효과적으로 무시될 수 있다. 픽셀에 의해 감지된 입사광의 부재 시에, 대응되는 ADCOUT 신호는 이진수 "0"값을 유지할 수 있다. 따라서, 어떠한 온 이벤트 없이 컬럼들은 그들의 각 ADCOUT 신호들을 위해, 디지털 값 "0" (또는 다른 알려진 수)을 유지할 수 있다. 전술 한 바와 같이 픽셀이 입사광과 충돌하는 경우, 그러나, 픽셀의 PIXOUT 라인은 도 8내의 PIXOUT1 및 PIXOUT2 신호의 하향 기울기로 나타낸 바와 같이, 리셋 레벨에서 떨어지기 시작할 수 있다. 로우 내에서 최우측 픽셀로 시작하여 도 5에서와 같이 예를 들어 최좌측 픽셀로 끝나는 리딩과 같이, 픽셀 전하가 먼저 전하를 수신하는 픽셀로 시작하여 리딩되는 것이라고 하면, t1은 최단 시간 인스턴트이고, t4는 최장 시간 인스턴트이다. 따라서, 도 8의 실시 예에서, 픽셀(108:PIXOUT1)의 출력은 픽셀(107 PIXOUT2)의 출력 이전에 판독될 수 있다. 즉시 점진적으로 처지는 PIXOUT1는 상기 Vramp 임계치(143)에 도달하며, 단일 비트 ADCOUT1은 이진수 "0" 에서 "1"까지 플립(flip)될 수 있다. 비트 출력 "1" 대신에, 그러나, 해당 ADC는 비트가 "1"에서 "0"으로 플립할 때. 시간을 기록할 수 있다. 즉, 픽셀(108)과 관련된 ADC는 ADCOUT1에서 "카운트 업"필드(202)로서 나타낸 바와 같이, ADC내에서 이진 카운터를 시작하여 타임 대 디지털 컨버터로서 기능할 수 있다. "업 카운트"기간 동안, ADC 내의 카운터도, 예를 들면, 도 7b에서 도시된 바와 같이, 각각의 ADC에 인가될 수 있는 CLK 신호(185)의 클럭 펄스를 카운트할 수 있다. 카운트된 클럭 펄스는 도 8내의 카운터 클럭-1 신호(204)와 같이 나타난다. "업 카운트" 필드에서 카운터 값은 픽셀(108)에 대한 픽셀 별 출력으로서 제공될 수 있다. 유사한 카운팅은 도 8의 카운터 클럭-2 신호(205)로 나타낸 바와 같이. 픽셀(107)에 의해 수집된 전하에 대하여 픽셀(107)과 관련된 ADC에서 발생할 수 있다. 픽셀 별 카운트 값("업 카운트" 필드 207)은 픽셀(107)에 대한 픽셀 별 출력으로서 각각의 ADC에 의해 제공될 수 있다. 한 로우 내의 모든 픽셀들을 스캐닝 한 후에, 픽셀 바이 픽셀 전하 수집 동작은 이전 스캔 로우로부터의 출력들이 디지털 블록(167)내의 깊이 계산 유닛으로 읽히는 동안에, 다른 로우에 대해 반복될 수 있다.

각 ADC 출력은, 레이저 광원 (33)에 의해 비춰진 객체 표면상의 광 스팟의 픽셀에 의해 검출의 시간적 표시를 제공하는 각 타임스탬프 값을 효과적으로 나타낼 수 있다.

타임스탬프는 픽셀에 대한 광 도착 시간을 포착하기 위한 것으로 고려될 수 있다 일 실시 예에서, 타임 스탬프 값은 ADC 유닛으로부터 수신되는 카운트 값(카운트된 클럭 펄스들)으로부터 디지털 처리 블록(167)에 의해 검출된 광 스팟에 대해 생성될 수 있다. 예를 들어, 디지털 블록(167)은 내부 시스템 시간 또는 다른 기준 시간으로 카운트 값을 관련시킴에 의해 타임 스탬프를 생성할 수 있다. 타임 스탬프는 수신 단에서 생성되므로, 해당 광 스팟이 광원에 의해 투영될 때의 정확한 시간을 반드시 나타내지 않을 수도 있다. 타임 스탬프 값은, 그러나, 디지털 블록 (167)은 시간 상관에 의해 특정 시간적 순서로 타임스탬프된 광 스팟들 사이의 시간 상관을 확립하는 것을 허용할 수 있다. 즉, 시간 상관은 마지막으로 비춰(조명)된 광 스팟까지의 거리가 결정될 때까지 초기에 비춰진 광 스팟에 대한 거리가 첫 번째 및 기타 등으로 결정되는 지는 것을 가리킨다. 일 실시 예에서, 타임 스탬프 어프로치는 또한 후술하는 바와 같이, 동일 픽셀에 이미징되는 멀티플 광 스팟으로부터 야기될 수 있는 모호성의 해결을 용이하게 할 수 있다.

모든 ADC 기반 카운터들은 램프 신호(143)가 미리 결정된 타임 기간이 경과 한 후에 다시 제공될 때 동시에 정지할 수 있다. 도 8에서, 픽셀 전하 집적을 위한 미리 결정된 시간 기간의 결과를 마킹하는 램프 신호 (143)의 천이는 점선(210)에 의해 표시된다. RSEL(122) 및 RST(128)신호는 램프 신호(라인210에서, 143)의 레벨 내에서의 변화를 가지고, 실질적으로 동시에 그 상태들로 천이될 수 있다. 일 실시 예에서, 모든 ADC 기반 카운터들이 라인(210)에서 리셋될 수 있다. 다른 실시 예에서 모든 ADC 기반 카운터들은 픽셀 전하를 판독하는 픽셀의 다음 로우의 선택 이전에 언제든지 리셋될 수 있다. 한 로우의 픽셀 스캐닝의 종료시 ADC 카운터의 리셋에도 불구하고, 픽셀 어레이 (42)의 각 픽셀에 대한 타임 스탬프 값은, 구별을 남길 수 있다. 왜냐하면, 내부 시스템 시간 또는 다른 시간 기준 소스에 대해 인해 타임 스탬프 값의 관계 성립이 글로벌 및 지속적인 러닝(global and continuously-running)을 남길 수 있기 때문이다.

도 8의 실시 예에서, 후 스캔 픽셀, 예컨대 픽셀(107)은 픽셀(108)과 같이 이전에 스캔되어진 픽셀의 출력보다 작은 ADC 출력을 가질 수 있다. 따라서, 도시 한 바와 같이, ADCOUT2는 ADCOUT1보다 작은 카운트 값(또는 작게 카운트된 클럭 펄스들의 수)을 가질 수 있다. 또는 다른 실시 예에서, 픽셀의 픽스아웃 신호가 주어진 문턱값(Vramp)이하로 처진 경우와 같이 온 이벤트가 감지된 때, 각각의 ADC 별 카운터가 카운팅을 하는 경우에, 후 스캔 픽셀은 이전 스캔된 픽셀보다 큰 ADC 출력을 가질 수 있다.

도 6, 8, 10, 및 11에서 보여지는 회로 및 파형도는 컬럼 업 커운터들당 단일 슬로프 ADCs에 근거한다. 타임스탬핑 방식은 설계 선택에 따라 상향 또는 하향 카운터로써 구현될 수 있음을 이해하여야 한다. 또한, 글로벌 카운터들을 가지는 단일 슬로프 ADCs도 잘 사용될 수 있다.

예를 들어, 일 실시 예에서, 개별적인 컬럼 기반 카운터를 사용하는 대신에, 글로벌 카운터(도시 생략)가 모든 컬럼 ADC들에 의해 공유될 수 있다. 이 경우, ADC는, 컬럼 기반 비교기 유닛이 램프 문턱값(143)아래로 처지는 각각의 픽스아웃 신호를 처음 감지할 때와 같이 컬럼 기반 비교기 유닛이 온 이벤트를 감지하는 경우에, 도 7b의 라인 메모리(183)와 같은 컬럼 메모리가 각 ADC 내에서 적절한 ADC 개별 출력을 생성하기 위해 글로벌 카운터의 출력을 래치할 수 있도록 구성될 수 있다.

도 8에서는 도시되지 않았으나, 암전류(dark current) 오프셋은 암전류의 감소와 동일한 비율로 Vramp문턱값을 줄임에 의해 제거될 수 있다. 암전류는 광자들이 포토다이오드와 같은 감광장치로 들어오지 않는 경우라 할지라도, 감광장치를 통해 흐르는 상대적으로 적은 전기적 전류일 수 있다. 이미지 센서에서의 암전류는 수집된 전하내에서, 잡음이나 원치 않는 결과물을 유발할 수 있다. 암전류는 픽셀들 내의 결함에 의해 발생 될 수 있으며, 광전류와 같은 결과를 가질 수 있다. 이에 따라, 암전류에 기인하여, 픽셀 출력은 여전히 광의 존재 없이도(또는 픽셀에 의해 수신되는 광의 부재) 감소할 수 있다. 도 5의 로우(75)의 맥락에서 도시되고 도 8을 참조로 설명되는 바와 같이, 따라서, 전하 수집 동안, 로우내의 픽셀들이, 예를 들면, 오른쪽에서 왼쪽으로 스캔되는 경우에 좌측의 픽셀들은 우측의 픽셀들보다 더 많은 암전류를 집적할 수 있다. 따라서 암전류에 기인하여 어떤 거짓 이벤트의 등록을 막기위해, 미리 결정된 램프 문턱값(Vramp)이, 암전류에 기인하여 픽셀 출력의 감소된 레벨을 보상하기 위해 픽셀들의 로우를 따라 암전류가 증가하는 비율로, 감소되거나 조절될 수 있다. 일 실시 예에서, 조정된 문턱 값은 픽셀의 PIXOUT 신호의 레벨을 비교하는 픽셀에 대해 사용될 수 있다. 따라서, 문턱 전압(Vramp)의 값은 각 ADC에 대해 가변되고 개별적으로 프로그램될 수 있다. 일 실시 예에서, 특정한 ADC와 연관된 모든 픽셀은 동일한 상기 Vramp 값을 가질 수 있다. 다른 실시 예에서, 각 픽셀은 대응되는 ADC내에서 프로그램 가능한 픽셀 별 Vramp 값을 가질 수 있다.

광 스팟들의 로우가 객체의 표면을 따라 스캐닝하는 경우, 스캔되는 객체로부터 둘 이상의 상이한 스팟들이 동일 픽셀상에 이미지화될 수 있음이 여기에서 관찰된다. 스팟들은 동일한 스캐닝 라인내에 있거나 또는 인접하는 스캐닝 라인 상에 있을 수 있다. 멀티플 스팟들이 객체의 표면을 가로 질러 스캔되는 경우, 그러한 중첩 이미지는 그 스팟들의 상관 및 픽셀 온 이벤트에 부정적인 영향을 미칠 수 있고, 깊이 측정의 모호성을 유발할 수 있다. 깊이 측정이 식(1)에서의 파라미터 q로 주어진 바와 같이, 스캔 각도(θ) 및 이미지화된 광 스팟의 픽셀 위치와 관련이 있음은 예를 들어, 앞서 언급한 식(1)으로부터 알 수 있다. 주어진 광 스팟에 대해 스캔 각도가 정확하게 알려지지 않는 경우에 깊이 측정은 정확하지 않을 수 있다. 유사하게, 둘 이상의 광 스팟들이 동일한 q 값을 가지는 경우에 깊이 계산도 또한 모호해질 수 있다. 본 발명에 개시된 특정 실시 예에 따른 타임 스탬프 기반 접근법은 캡쳐된 광 스팟의 픽셀 위치와 레이저 소스의 대응되는 스캔 각도 사이의 정확한 상관 관계를 유지하는데 사용될 수 있다. 즉, 타임 스탬프는 파라미터 q와 θ의 값들 사이의 관계를 나타낼 수 있다. 두 스팟들이 장면의 데이터 출력 포인트로부터 동일 픽셀이나 컬럼 상에 있는 경우에, 타임스탬핑 방식 내에서 시간-디지털 변환은 이미징 시스템 즉 도 7b의 디지털 처리 블록(167)이 어느 광 스팟이 제일 먼저 수신되었는 가를 규명하기 위해 이들 두 스팟들 사이의 시간 상관을 성립하는 것을 허용할 수 있다. 그러한 상관(correlation)은 전술된 바와 같은 스테레오 비젼 시스템들이나 구조광 방식을 시용하는 시스템들과 같이, 타임스탬핑을 이용하지 않는 시스템 내에서 쉽게 가능하지 않을 수 있다. 결과로서, 그러한 시스템들은 해당되는 문제들을 해결하기 위해 많은 데이터의 검색과 픽셀 매칭을 수행할 필요가 있다.

일 실시 예에서, 멀티플 광 스팟들이 동일한 픽셀에 의해 이미지화되면, 이러한 광 스팟들의 타임 스탬프들은 이전의 수신된 광 스팟을 식별하기 위해 비교 될 수 있고, 거리는 동일 픽셀에서 연속적으로 수신되는 모든 광 스팟들을 무시하면서, 그 광 스팟에 대해서만 계산될 수 있다. 본 실시 예에서, 최초 수신된 광 스팟의 타임스탬프는 대응하는 픽셀에 대한 픽셀 별 출력으로서 취급될 수 있다. 또는, 다른 실시 예에서, 거리는 동일 픽셀에 의해 이미지화된 모든 다른 광 스팟들을 무시하면서, 마지막으로 수신된 광 스팟에 대해 계산될 수 있다. 어떤 경우, 첫 번째 또는 마지막 광 스팟 사이에서 수신된 어떤 광 스팟이 깊이 계산에 무시될 수 있다. 수학적으로, 광원에서 투영된 광 스팟들의 스캔 시간은 t (i+1)　-　t(i)　=　d(t) (상수)인 t(1),..., t(n)으로 주어질 수 있다. 픽셀/ 컬럼 출력들은 온 이벤트들에 대한 타임스탬프인 a(0), a(1),...,　a(n)으로 주어질 수 있다. a(i)는 항상 t(i) 다음이나 a(i+1)보다는 이전이다. a(i) 및 a(k) (i　　k)가 동일 픽셀/컬럼과 연관되면 단지 그들 중 하나가 깊이 계산에 어떤 모호성을 제거하기 이전에 논의 된 바와 같이 구제될 수 있다. 스캔 시간과 출력 시간(타임 스탬프에 의해 표시되는) 사이의 시간 관계에 기초하여, 예컨대 디지털 블록 (167)과 같은 처리 유닛은, 출력 포인트 (들)이 누락되는 출력을 구성할 수 있다. 처리 유닛은 누락 위치를 복구하지 못할 수 있지만, 가능한 출력 포인트로부터 깊이 계산들이 객체의 허용 가능한 3D 깊이 프로파일을 제공하기에 충분할 수 있다. 이는 일 실시 예에서, 동일한 광 스팟의 각 부분을 이미지화하기 위해 두 개의 다른 픽셀들에 대해 가능할 수 있다는 것에 유의하여야 한다. 실시 예에서, 두 픽셀들로부터의 출력 타임 스탬프 값의 근접도에 기초하여, 처리 유닛은 하나의 광 스팟이 두 개의 다른 픽셀에 의해 이미지화된 것으로 추론할 수 있다. 모호성을 해결하기 위해, 처리 유닛은 공유된 광 스팟에 대해 3D 깊이를 계산하기 위해 각각의 위치 값 q의 평균을 찾기 위해 타임 스탬프를 사용할 수 있고, 식(1)내의 q의 평균값을 사용할 수 있다.

도 9는 본 발명의 다른 실시 예에 따라 3차원 깊이 값들을 결정하기 위해 룩업테이블(LUT)의 사용을 나타내기 위한 룩업 테이블(LUT:215)을 예시적으로 보여준다.LUT 기반 방식은 식(1)을 이용하는 온 더 플라이(on-the-fly)를 앞서 설명한 삼각 측량 기반 깊이 계산 대신에 사용될 수 있다. LUT(215)는 스캔 라인 S_R 에 대한 파라미터 θ, q 및 Z를 리스팅한다. 이들 파라미터들 사이의 관계는 상기 식(1)에 의해 주어진다. LUT(215)는 멀티플 스캔 라인들에 대한 이들 파라미터들의 값들을 미리 저장할 수 있다. 스캔 라인 S_R 중의 하나 만이 도 9에서 나타나 있다. 미리 구성된 LUT(215)는 프로세서 (19)의 내부 메모리 (미도시)내에서, 시스템 메모리(20) (도 1 및 도 2)에 저장되거나 디지털 처리 블록 내의 167 (도 7a)내에 저장될 수 있다. 우선, LUT(215)를 구성하기 위해, 스캔 라인(S_R )을 따라 광 스팟은 예를 들어 1미터 및 특정 스캔 각도 θi를 사용하여 기준 거리 Z_i에서 투영될 수 있다. 미리 결정된 값들 Z_i 및 θ_i 는 대응되는 값 qi를 얻기 위해 사용될 수 있다. 값 qi는 이미지화된 스팟이 스캔 라인 S_R 에 대해 나타나야 하는 컬럼/픽셀을 가리킬 수 있다. Z_i 와 θ_i 간의 차이 값들은 대응되는 값 qi를 얻기 위해 사용될 수 있다. 실질적인 것과 스캐닝 라인 S_R 내에서 광 스팟에 대한 미리 설정된 값 Z_i 간의 차이 ΔZ이 있다면, 대응되는 컬럼/픽셀은 Δq만큼 이동되어야 한다. LUT (215)의 값은 필요에 따라 조절될 수 있다. 이러한 방식으로, 각각의 스캐닝 라인 S_R 에 대해, LUT (215)는 삼각 측량 식(1)을 사용하는 θ_i 와 q_i 의 함수로서 깊이 값들 Z_i을 가지고서 미리 구성될 수 있다. 앞서 언급 한 바와 같이, 사전에 구성된 LUT 는 장치(15)내에 저장 될 수 있다. 동작 중에, 사용자 선택된 3D 객체상에 투영된 광 스팟들의 스캔 라인 내에서 각 광 스팟에 대한 실질적인 값들 θ_i 와 q_i는 대응되는 값 Z_i를 룩업하기 위해 LUT(215)와 같은 LUT에 대하여 입력들로서 사용될 수 있다. 프로세서(19) 또는 디지털 블록(167)은 예컨대 룩업을 수행하도록 구성될 수 있다. 따라서, 특정 실시 예에서, 객체의 3D 프로파일은 삼각 측량을 사용하여 계산된 LUT 내로 보간(interpolating)을 행함에 의해 생성될 수 있다.

본 발명에 개시된 특정 실시 예에 따라 삼각 측량을 이용하는 타임스탬프 기반 3차원 깊이의 측정은, ADC가 단지 단일 비트의 저 해상도를 가지는 바이너리 비교기로서 동작되는 것을 허용하고 있음이 전술한 설명으로부터 관찰된다. 따라서, ADC 내에서 현저히 적은 스위칭 전력이 소모되므로, 시스템 전력이 보존된다. 또한, 전형적인 3D 센서들에서 고 비트 해상도는, 반면에 더 많은 프로세싱 전력을 요구할 수 있다. 또한, 타임 스탬프 기반 모호성(ambiguity)해상도는, 모호성을 해결하기 위해 픽셀 데이터를 찾고 매칭하는데 상당한 처리 파워를 요구하는 전형적인 이미지 처리 방법에 비해 시스템 파워를 절약할 수 있다. 모든 깊이 측정이 단일 이미지화 단계 내에서 모든 포인트 스캔 광 스팟들의 이미징/검출이 한번에 수행 될 수 있기 때문에 레이턴시 또한 감소된다. 특정 실시 예에서, 픽셀 어레이 내의 각 픽셀은 단일 스토리지 픽셀이 될 수 있어, 1 마이크로 미터 (μm의) 의 사이즈만큼 작게 만들어질 수 있다. 단일 스토리지 픽셀 디자인에서, 광전자를 집적하고 저장하기 위해 픽셀(도 6 에서, 트랜지스터 (111)와 같은) 당 오직 하나의 포토다이오드 및 하나의 접합(junction)커패시터가 있을 수 있다. 한편, 하나의 포토다이오드와, 다른 시간들에서 오는 광전자들을 저장하는 다중 커패시터들을 가지는 픽셀은 그러한 작은 사이즈로 감소될 수 없다. 따라서, 본 명세서에 기재된 특정 실시 예에 따라 작은 센서를 가지는 저전력 3D 이미징 시스템은 제한되는 것은 아니나, 스마트폰이나 태블릿 내의 카메라들과 같은 모바일 애플리케이션에서 쉽게 구현될 수 있도록 해준다.

전술 한 바와 같이, 예컨대 1 및 도 2내의 이미지 센서 유닛(24)와 같은 동일 한 이미지 센서는 본 발명에 개시된 일 실시 예에 따라 2D(차원) 영상과 3차원 깊이 측정 모두에 이용될 수 있다. 그러한 듀얼 모드 이미지 센서는, 예를 들면, 모바일 폰, 스마트폰, 랩탑 컴퓨터, 또는 태블릿상의 카메라 시스템의 일부, 또는 산업용 로봇이나 VR 장비에서의 카메라 시스템의 일부가 될 수 있다. 특정 실시 예에서, 사용자가 이전에 논의 된 바와 같이 깊이 측정을 이용하여 전형적인 2D 카메라 모드 또는 3D 이미징 모드 사이를 선택할 수 있도록 하기 위해 장치에는 모드 스위치가 존재할 수 있을 수 있다. 전형적인 2D 카메라 모드에서, 특정 실시 예에서, 사용자는 컬러(RGB) 이미지들이나 장면의 스냅 샷이나 장면 내의 특정 3D 객체를 캡쳐할 수 있다. 3D 모드에서, 그러나, 사용자는 앞서 설명한 방식으로 포인트 스캔 기반 깊이 측정을 수행하는 카메라 시스템에 기초하여 상기 객체의 3차원 이미지를 생성할 수 있다. 두 모드에서, 동일한 이미지 센서가 원하는 이미징을 수행하기 위해 그 전체에서 사용될 수 있다. 즉, 이미지 센서의 각 픽셀은 2D 또는 3D 이미징과 같은 두 애플리케이션들에 사용될 수 있다.

도 10은 본 발명의 특별한 실시 예에 따라 2차원 선형 모드 동작을 이용하여 2차원 이미지를 생성하기 위해 도 1 및 2의 시스템(15) 내의 다른 신호들의 타이밍을 예시적으로 보여주는 타이밍도(230)이다. 카메라 플래시나 기타 유사한 컴포넌트(미도시)의 간혹 사용을 포함할 수 있는 주변광 조사 하에서 2D 이미지가 장면의 RGB 이미지 혹은 장면 내의 3D 객체가 될 수 있음을 유의하여야 한다. 도 8 및 도 11에서의 3D 이미징 관련 실시 예와 대비하여, 그러나 도 10의 실시 예에서의 2 차원 영상인 경우에 레이저 광원(33: 도 2)에 의해 조명이 없을 수 도 있다. 도 10에서 보여지는 많은 신호들은 도 8 내에서도 도시된다. 도 8에서의 이전의 상세한 설명의 관점에서 도 10의 두드러진 양상만이 여기에서 설명된다. 도 10에서와 같은 제어 신호들 RSEL, RST, TX, RAMP, 및 ADC_RST가 도 6의 픽셀(106-108)를 포함하는 픽셀들의 로우에 대한 것이라는 것을 이해하여야 하며, 따라서 설명의 용이성을 위해, 이러한 신호들이 도 8 및 도 10내의 파형들과 신호들의 타이밍의 차이에도 불구하고 도 8내에 사용된 참조부호들과 동일한 참조부호를 사용하여 식별된다. 또한, 도 10 내의 도시는 단일 픽셀에 대한 것이며, 즉, 도 6내의 픽셀(108)이 된다. 따라서 도 10에서 PIXOUT 신호(119), 카운터 클럭 신호(204), 및 ADCOUT 신호(197)는 도 8내의 대응되는 신호들 PIXOUT1, 카운터 클럭 1 및 ADCOUT1 과 같은 동일한 참조 부호를 사용하여 나타나 있다. 픽셀 출력(119)은 소정의 기간 동안 픽셀(108)에 의해 수집된 광전자를 선형적으로 집적함으로써 생성된다. 이전과 마찬가지로, 픽셀(108)의 컨텍스트에서 도 10의 설명은 픽셀 어레이(42)내의 다른 픽셀들과 연관된 대응 신호들에도 적용된다.

전술한 바와 같이, 특정 실시 예에서 도 7b내의 ADC 유닛(175)과 같은 각 컬럼 별 ADC는 단일 기울기 ADC 일 수 있다. 도 8의 경우에 동일 로우 내의 픽셀들은 도 10내의 RSEL 신호(122) 및 RST 신호(128)에 의해 도시된 바와 같이, 함께 선택되고 리셋될 수 있다. 컬럼 ADC들은 공통 ADC_RST 신호(192)를 사용하여 리셋될 수 있다. 도 10내에서 픽셀(108)과 관련된 ADC의 리셋 상태는 ADCOUT 신호(197)내에서 필드(234)에 의해 표시될 수 있다. 픽셀(108) 및 대응되는 ADC가 리셋된 후에, 문턱 또는 기준 전압 레벨은 Vramp 신호(143)에 대한 전압 레벨(236)에 의해 나타낸 바와 같이 인에이블될 수 있다. 램프는, ADCOUT 신호(197)의 필드(238)에 의해 주어진 바와 같이 ADC 유닛의 비교기 오프셋을 디지털화하기 위해 이 전압 레벨(236)으로부터 램프 다운된다. 일 실시 예에서, 카운터 클럭(204)내의 클럭 펄스들은 오프셋(238)과 같이 카운트 값을 생성하기 위해 사용될 수 있다. 클럭 펄스들은 램프 신호의 레벨이 픽셀 출력(PIXOUT)의 리셋 레벨로 떨어질 때까지 ramp 신호(143)가 문턱 레벨(236)에 도달하는 시간으로부터 카운트될 수 있다. 그 후, 각각의 전송(TX)라인(132)은 -판독을 위한 플로팅 디퓨전 (111)에 대해 포토다이오드 110)에 축적된 전하(전하)의 전송을 시작하기 위해 펄스화 될 수 있다. TX 펄스가 제공되는 동안, 상기 Vramp 신호(143)는 문턱 레벨(236)로 상승하고, 도 7b내에서 카운터 (181)와 같은 픽셀별 ADC 내의 카운터는 필드(240)에 의해 표시된 바와 같이 반전된 오프셋 값으로 초기화될 수 있다. 반전된 오프셋 값(240)은 오프셋 값(238)의 네거티브를 나타낼 수 있다. TX 펄스 (132)의 제공이 중단된 후, 픽셀(108)에 대한 ADC 유닛은 Vramp 문턱값(143)이 PIXOUT 신호(119)의 레벨로 떨어질 때까지 수신된 픽셀 신호(PIXOUT)를 디지털화하는 것을 시작할 수 있다. 이 동작은 ADCOUT 신호(197)내에서 "업 카운트" 필드(242)로써 도시된다. 카운트 값(242)은 카운터 클럭(204)의 클럭 펄스들에 근거할 수 있으며, 참조부호(243)를 사용하여 도시된 바와 같이 오프셋 카운트(필드 238에서)와 픽셀(108)에 대한 이미지 신호의 픽셀 별 부분을 포함하는 결합된 값을 나타낼 수 있다. ADC 유닛 내의 비교기(243)는 필드(238)에서 디지털화된 비교기 오프셋 값을 업 카운트 값(242)와 비교할 수 있다. 따라서, 일 실시 예에서, RGB 이미지 신호(244)는 필드들(240 및 242)내에서 ADC 값들을 가산함으로써 얻어질 수 있다, 따라서, "업 카운트" 필드(242)에서 결합된 값(오프셋 + 신호)으로부터 오프셋 값(238)을 제거하는 동작이 효과적으로 달성된다.

도 10에서 도시된 동작은 픽셀 어레이(42)의 각 픽셀에 대해 수행될 수 있다. 각각의 컬럼 ADC는 도 7b내의 카운터(181)와 같은 ADC 기반 카운터로부터 멀티비트 출력의 형태로 대응하는 RGB 이미지 신호를 생성할 수 있다. 도 10내의 참조부호(244)에서의 출력과 같은 멀티비트 출력은 이미지 신호의 컬러 컨텐츠를 효과적으로 나타내는데 필요할 수 있다. 컬럼 ADC 유닛(153)의 ADCs로부터의 RGB 이미지 신호 출력들은, MIPI 인터페이스(168)를 경유하여 장면 내의 2D 컬러 이미지를 나타내기 위한 디지털 블록(167)에 의해 처리될 수 있는 Dout 신호 140(도 7a 및 7b)에 의해 집중적으로 나타날 수 있다.

2D 이미징의 추가적인 세부 사항과 도 10내의 관련된 파형들은 Lim 등 에게 2011년 8월 2일에 발행된 US 특허 제7,990,304 B2로부터 얻어질 수 있다. 여기에 개시된 본 발명의 기술적 사상과 관련하여 상기 특허 내의 2D 이미징 관련 설명은 전체로서 참조로서 본 명세서에 포함된다.

도 11은 본 발명의 특별한 실시 예에 따라 3차원 대수 모드(logarithmic(log) mode) 동작내의 타임스탬프 기반의 픽셀 특정 출력들을 생성하기 위해 도 1 및 2의 시스템(15) 내에서 다른 신호들의 타이밍을 예시적으로 보여주는 타이밍도(250)이다. 전술한 바와 같이, 3D 깊이 측정은 주변 광의 레벨에 의존하여 3D 선형 모드나 3D 대수 모드(logarithmic mode)를 이용하여 수행될 수 있다. 또한, 3D 깊이 측정 동안에 도 2의 3D 객체(26)와 같은 3D 객체는 레이저 스캔으로부터 주변 광뿐만 아니라 가시광(또는 NIR 광과 같은 다른 광)에 의해 조사될 수 있다. 따라서, 3D 대수 모드(logarithmic mode)는 주변광이 너무 세어 3D 리니어 모드에 의해 거부되지 않는 경우에 깊이 측정에 사용될 수 있다. 최종 이미지 신호로부터 상기 오프셋이나 노이즈를 제거하는 CDS 기반 이미징의 관점에서, 대수 모드(logarithmic mode)가 도 10에서 표시된 2D 이미징 관련 파형들에 대해 필요치 않을 수도 있다. 본원에 개시된 특정 실시 예에 따른 3 차원 깊이 측정의 경우에, 그렇지만, 강한 주변 광이 포인트 스캔 중에 레이저 광원으로부터 빛을 간섭할 수 있다. 3 차원 선형 모드의 동작에서, 이러한 간섭은 포인트 스캔된 광 스팟으로부터 반영된 가시광/NIR 광을 압도 또는 억제할 수 있어, 광 스팟으로부터 수신된 광의 부정확한 검출을 초래할 수 있다. 따라서, 특별한 실시 예들에서, 주변 광에 기인하는 픽셀 전하를 거부하는 것이 주변 광의 강도가 예컨대 10,000 (10K) 럭스와 같이 소정의 휘도 레벨 (또는 강도 문턱치) 이상으로 감지되는 경우, 바람직하게 될 수 있다. 그러한 주변 광 제거는 도 11에서 보여지는 3D 대수 모드를 이용하여 달성될 수 있다.

전술한 바와 같이, 동일 참조 부호들이 유사 이름의 신호들(또는 유사한 기능을 갖는 신호들)과 설명의 편의를 위해 도 8,10, 및 11에서 사용된다. 도 8,10, 및 11에서 보여지는 신호들은 그러나 특정 모드의 이미징에 관한 것임이 이해될 것이다. 예를 들어, 도 10내에서 보여지는 타이밍도(230)는 사용자가 2D 이미징 모드의 동작을 선택하는 경우에, 거기에 보여지는 신호들 사이의 특별한 관계를 도시한다. 도 8 및 11내에서 유사한 명칭의 신호들은 그러나 3D 이미징 모드의 동작에 관련된 것이어서, 다른 타이밍 관계를 가질 수 있다. 또한, 도 8 및 11사이에서도 일부 신호들은 도 8이 3D 선형 모드의 동작에 관련된 반면 도 11이 3D 로그 모드의 동작에 관련되어 있기 때문에, 파형들이 서로 다를 수 있다. 도 8의 이전의 상세한 설명의 관점에서, 도 11의 두드러진 양상만이 여기에서 설명될 것이다. 도 8과 같이, 도 11내의 타이밍도(250)도 또한 도 6내의 픽셀들(107 및 108)을 기준으로 나타내고 있다. 도 11의 설명은 그러나 픽셀 어레이(42)내의 모든 다른 픽셀들에 대해 적용될 수 있다.

3차원(3D) 선형 모드에서, 픽셀 별 출력은 소정의 기간 동안 픽셀에 의해 수집된 광전자를 선형적으로 수집함에 의해 생성될 수 있다. 이와 같이, 선형 모드에서, 픽셀의 출력 전압은 주어진 시간 구간 동안에 수집/ 집적된 전체 광자들(photons)에 비례한다. 3D대수 모드에서는, 그러나, 픽셀 별 출력은 3D 객체로부터 반영된 레이저 광 검출 시, 미리 결정된 시간 구간 동안에 픽셀에 의해 생성된 순간적인 광 전류의 자연대수에 비례할 수 있다. 수학적으로, 광 전류는도 6의 PPD(110)와 같은 포토다이오드에 의해 발생되고, 다음의 관계와 같이 표현될 수 있다. 즉,

와 같고, 여기서, I_ph 는 다이오드의 광전류이고, V_ph 는 다이오드를 가로지르는 전압이며, V_T 는 열 전압이다. 따라서, V_ph 와 각각의 픽셀 출력(PIXOUT)은 마치 주변광원제거(ambient light rejection)이 요구되는 것과 같이, 순간적인 다이오드 전류 I_ph 의 자연대수에 비례하여 만들어 질 수 있다. 전술한 바와 같이, 선형 집적이 완료되면 무거운 주변 광은 광자 수집을 제한할 수 있다. 따라서, 이러한 상황에서, 3D 대수 모드를 사용하는 순간 광 전류의 감지는 더욱 바람직하게 될 수 있다.

특정 실시 예에서, 장치(15)는 주변 광 센서(미도시)를 포함할 수 있다. 프로세서(19) 또는 디지털 블록(167)은 3 차원 선형 모드 또는 3 차원 대수 모드를 사용할지 여부를 결정하는 사용자에 의해 3D 이미징 모드가 선택되는 즉시, 주변 광의 강도를 감지하도록 구성될 수 있다. 일 실시 예에서, 주변 광 레벨은 포인트 스캔 광 스팟들로부터 반사된 광의 이미징의 개시를 지시할 수 있는 RSL 신호의 제공과 동시에 실질적으로 감지될 수 있다. 다른 실시 예에서, 주변 광 레벨은 레이저 소스에 의해 가시광 포인트 스캔의 개시와 실질적으로 동시에 감지될 수 있다. 주변 광의 레벨에 기초하여, 프로세서(19) 또는 디지털 블록(167)은 3차원 선형 모드 또는 깊이 측정의 3D 대수 모드 중 하나를 선택할 수 있다. 또 다른 실시 예에서, 주변 광 레벨은 3 차원 깊이 측정 중 주기적으로 그리고 연속적으로 감지 될 수 있다. 이 경우, 동작의 3D 모드는 진행 이미징 동작 전 또는 중에 언제라도, 선형모드에서 대수모드로 전환될 수 있고 그 반대로도 전환될 수 있다. 주변 광 레벨을 감지하기 위한 다른 접근법이 적절하게 고려될 수 있다.

도 11의 실시 예를 참조하면, 3차원 대수 모드(logarithmic mode) 에서, 로우 특정 RST 신호(128)가 단정(또는 턴온 "하이") (asserted)될 수 있고, 픽셀 출력 발생의 전체 구간 동안에 선택된 로우에 대해 하이로 유지되거나/단정될 수 있다. 이와 대조적으로, 도 8의 3 차원 선형 모드에서 RST 신호(128)는, 광전자들의 선형 집적 동안에 나중에 턴 오프(또는 비단정(de-assertion))되지만, 미리 설정된 전압 레벨로 로우 내의 픽셀들을 리셋하기 위해 초기에 제공(턴온 "하이")될 수 있다. TX 신호(132)는, 그러나, 도 8의 3D의 선형 모드의 경우와 같이 하이로 유지될 수 있다. 따라서, 특정 실시 예에서, RST 신호의 적절한 레벨은 대수 모드 대 선형 모드를 선택하는데 사용될 수 있다. 대수 모드(logarithmic mode)에서, 일 실시 예에서, 픽셀들(107 및 108)과 관련된 ADC들이 RST 신호(192)를 이용하여 리셋된 후, ADC 들은 신호들이 수신될 때 픽셀 출력 신호들(PIXOUT)의 신호 레벨들에 대한 적절한 고려를 수행하는 ADC들을 인에이블 하기 위해 주변 레벨을 초기적으로 샘플링한다. ADC는 리셋 후 RAMP 임계치(143)가 활성화될 수 있으며, ADC 카운터들은 각 픽셀에서 발생하는 "ON 이벤트"를 기다리기 위해 "대기 상태"로 진입할 수 있다. 픽셀 이 입사광(투영 광 스팟으로부터 반사)을 수신하는 경우, 픽셀의 PIXOUT 신호는 하강을 시작할 수 있다. 도 8에서의 선형 하강과 대조적으로, 도 11내의 PIXOUT 신호들(118 및 119)는 각기 짧은 순간적인 하강들(252 및 253)을 나타낼 수 있고, 이 하강들은 각각의 픽셀에 의해 반사된 가시 광선을 검출하여 생성된 순시 광전류를 반영한다. PIXOUT 신호들(118 및 119)이 미리 결정된 상기 Vramp 임계치(143)에 도달하면, ADC 카운터들은 카운팅을 시작할 수 있다. 모든 카운터들은 전하 집적을 위한 미리 결정된 시간이 끝난 후, "하이"상태로 RAMP 신호(143)의 천이에 의해 주어지고, 점선(255)으로 나타낸 바와 같이, 동시에 정지할 수 있다. 카운트 값들은 픽셀들(108 및 107)의 ADCOUT1의 데이터 필드(257)와 ADCOUT2의 데이터 필드(259)에 의해 각기 표시된다. 대수 모드내의 카운트 값들은 선형 모드내의 그 것들과는 다를 수 있고, 따라서 차이 기준 부호들은 도 8 및 11에서 ADCOUT 신호에서 "업 카운트 업"필드에 대해 사용된다. 도 8의 경우와 같이, 후속 픽셀 스캔은 이전 스캔의 카운트 값보다 ADC 출력에 대해 더 작은 카운트 값을 가질 수 있다.

도 8를 참조하여 앞서 언급한 바와 같이. 컬럼 업 카운터들 대신에, 다운 카운터들이 도 10 및 도 11에서 ADC 유닛들 내에 사용될 수 있다. 마찬가지로, 글로벌 카운터 기반 방식은 개별 ADC 별 카운터들 대신에 구현될 수 있다.

전술한 바와 같이, 동일한 이미지 센서(및 대응하는 픽셀 어레이 내의 모든 픽셀)는 루틴 2D 이미징 뿐만 아니라 3D 깊이 측정을 위해 본원에 개시된 기술적 원리에 따라 사용될 수 있다. 2D 모드에서, 상기 센서는 일반 2D 센서와 같이 선형 모드에서 작동할 수 있다. 3D 깊이 측정 동안, 그러나, 상기 센서는 적당한 주변 광 하에서 선형 모드에서 동작 할 수 있지만 가시(또는 NIR)광원을 사용할 수 있도록 강한 주위 광 하에서 대수 모드의 신호 검출로 전환할 수 있다. 따라서, 동일한 4T PPD 픽셀은 2D 및 3D 영상에 모두 사용할 수 있기 때문에, 본 명세서에서 설명된 이미징(촬상)방식은 기존의 2차원 센서 설계와 호환될 수 있다. 이 것은 센서 설계가 작은 사이즈(보다 작은 픽셀들을 가지고)로 되고, 보다 다용도이며, 저전력 동작이 가능하도록 한다. 이들 속성들은 번갈아 그러한 이미지 센서를 포함하는 모바일 장치들에 대한 공간 및 비용을 절약한다. 더욱이, 소비자 모바일 장치들 및 어떤 다른 어플리케이션들에서, 3D 깊이 측정들에 대한 가시광 레이저(주변광에 덧붙여)의 사용은 종래의 NIR 센서들보다 시력 안전성에 더 좋을 수 있다. 가시 스펙트럼에서, 센서는 광원에 대한 저전력 소비를 초래하는 NIR 스펙트럼에 비해 더 높은 양자화 효율을 가질 수 있으며 즉 이는 모바일 장치에서의 전력을 아끼는 것이 된다.

여기에 개시된 일 실시 예는 완전히 동기화된 프레임 레이트, 컬러 위상, 깊이 및 장면 포인트를 제공하기 위해 2D 컬러 이미지 정보와 3D 깊이 정보가 동시에 획득되는 2D 픽셀 어레이를 포함한다. 일 실시 예에서 컬러 이미지 정보와 3D 깊이 정보는 인터리브드 또는 교번 타입의 방법으로 2D 픽셀 어레이의 로우들로부터 출력된다. 즉, 컬러 이미지 정보는 동일 로우로부터 출력된 깊이 정보 에 뒤따라 제1 선택 로우들로부터 출력되어, 컬러 이미지 정보는 동일한 다음 로우로부터 출력된 깊이 정보에 뒤이어 다음 선택된 로우로부터 등과 같이 출력된다. 또는 깊이 정보는 동일 로우로부터 출력된 컬러 이미지 정보에 뒤따라 제1 선택된 로우로부터 출력되어, 깊이 정보는 동일한 다음 로우로부터 출력된 컬러 이미지 정보에 의해 뒤따르는 다음 선택된 로우로부터 출력된다.

본 명세서에서 개시된 본 발명의 기술적 사상에 따라, 도 1,2,6, 7a, 및 7b내에서 나타낸 일 실시 예는 완전히 동기화된 프레임 레이트, 컬러 위상, 깊이 및 장면 포인트를 제공하기 위해 2D 컬러 이미지 정보와 3D 깊이 정보가 동시에 획득되는 2D 픽셀 어레이를 포함한다. 일 실시 예에서 이미지 센서 유닛(24)은 어레이의 각 픽셀이 어레이의 다른 픽셀들과 실질적으로 동일한 복수의 로우들 내에 배열된 2D 픽셀 어레이를 포함한다. 다른 실시 예에서, 어레이의 다른 픽셀들과 실질적으로 동일하지 않는 어레이의 하나 이상의 픽셀들이 될 수 있다. 일 실시 예에서, 어레이의 로우들은 여기에 개시된 바로서 이미지화 되어 있는 객체의 2D 컬러 정보를 생성하기 위해 동작될 수 있고, 여기에 개시된 바로서 객체의 3D 깊이 정보를 생성하기 위해 동작될 수 있다. 다른 실시 예에서, 어레이의 하나 이상의 로우들이 2D 컬러 정보와 3D 깊이 정보를 모두 생성하기 위해 동작될 수 있고 어레이의 다른 로우들은 두 정보 모두가 아니라 2D 컬러 정보 또는 3D 깊이 정보 중 하나를 생성하기 위해 동작될 수 있다. 다른 실시 예에서, 2D 컬러 정보 및/또는 3D 깊이 정보를 위해 스캔된 특정 로우들은 2D 픽셀 어레이의 전체 로우들의 개수보다 더 작을 수 있다. 일 실시 예에서, 2D 컬러 정보와 3D 깊이 정보의 동시적 생성은 디지털 신호 처리의 출력 정보가 요구되지 않기 때문에 프레임 버퍼를 요구하지 않으며, 정보는 획득된 이후에 짧게 출력된다.

도 13은 본 발명의 실시 예에 따라 2차원 컬러 정보와 3차원 깊이 정보를 동시에 생성하고 얻기 위한 과정을 보여주는 예시적 플로우챠트이다. 도 13내에 도시된 다양한 동작들은 싱글 모듈 혹은 예를 들어 시스템(15)내의 모듈들이나 시스템 컴포넌트들의 조합에 의해 수행될 수 있다. 본 명세서의 설명에서, 예시적으로서만, 특정 태스크들이 특정 모듈들이나 시스템 컴포넌트들에 의해 수행되는 것으로 설명된다. 또한, 다른 모듈들이나 시스템 컴포넌트들이 그러한 태스크들을 수행하기 위해 적절히 구성될 수 있다.

프로세스는 시작 블록에서 시작한다. 블록 302에서, 시스템(15) 특히 프로세서(19)는 도 2의 객체(26)와 같은 객체의 2D 컬러 이미지 캡쳐를 도 2의 2D 픽셀 어레이(42)의 제1 로우를 따라 수행할 수 있다. 일 실시 예에서, 제1 로우는 2D 픽셀 어레이(42)의 제1 물리 로우(예를 들면 도 6내에서 나타낸 바와 같이 제1로우 또는 마지막 로우에 대응)이 될 수 있다. 다른 실시 예에서, 제1 로우는 2D 픽셀 어레이(42)의 제1 물리 로우(예를 들면 도 6내에서 나타낸 바와 같이 제1로우 또는 마지막 로우에 대응)과는 다를 수 있다. 일 실시 예에서, 컬러 이미지 정보는 도 6과 관련하여 설명된 바로서, 2D 픽셀 어레이(42)로부터 읽혀진다.

블록 303에서, 시스템(15)은 도 2내의 광원 모듈(22)과 같은 광원을 이용하는 스캐닝 라인을 따라, 도 2의 객체(26)와 같은 3D 객체의 1D 포인트 스캔을 수행할 수 있다. 일 실시 예에서 선택된 스캐닝 라인은 블록 302내에서 컬러 이미지 정보에 대해 스캐닝되었던 로우와 같은 로우에 해당되는 제2 로우에 대응된다. 다른 실시 예에서, 선택된 스캐닝 라인은 블록 302내에서 컬러 이미지 정보에 대해 스캐닝되었던 로우와 같은 로우에 해당되지 않는 제2 로우에 대응된다. 3D 깊이 정보는 도 6과 관련되어 설명된 바로서, 2D 픽셀 어레이(42)로부터 읽혀진다. 일 실시 예에서, 블록들 302 및 303의 순서는 거꾸로 될 수 있다.

블록 304에서, 시스템(15)은 2D 픽셀 어레이의 모든 로우들이 컬러 이미지 정보 및 3D 깊이 정보를 위해 모두 스캐닝되었는 지의 여부를 결정한다. 만약 아니면, 프로세스는 블록 305로 이동한다. 블록 305에서 컬러 이미지 정보의 로우들 및 3D 깊이 정보 스캔의 로우들에 대응되는 인덱스들이 증가되는 경우에(또는 어떤 케이스에 따라 감소되는 경우에) 프로세스는 블록 302로 되돌아간다. 2D 컬러 정보 및 3D 깊이 정보가 동일 로우로부터 얻어지는 본 발명의 일 실시 예에서, 상기 인덱스들은 동일한 인덱스일 수 있다. 2D 컬러 정보 및 3D 깊이 정보가 다른 로우들로부터 얻어지는 실시 예에서, 상기 인덱스들은 다를 수 있다. 만약 블록 304에서 2D 픽셀 어레이의 모든 로우들이 양 컬러 이미지 정보 및 3D 깊이 정보를 위해 모두 스캐닝된 것으로 결정되었으면, 프로세스는 종료된다.

2D 컬러 정보를 출력하는 로우들의 수가 3D 깊이 정보를 출력하는 로우들의 수보다 큰 일 실시 예에서, 컬러 이미지 정보의 선택된 로우들의 수는 인터리브드 또는 교번적 타입의 방법으로 3D 깊이 정보의 각 로우들에 대해 출력될 수 있다.

일 실시 예에서, 동일 로우 R(또는 컬럼 C)은 레이저 광원(예를 들어 레이저 펄스들의 타이밍을 조절)으로부터 출력되는 포인트 조명의 타이밍 및/또는 밀도(인텐시티)를 적응적으로 조절하기 위해 여러 번 스캔될 수 있어, 로우 내에서 각 특정 픽셀의 응답 타임 및 도 2의 투영 옵틱들(35)의 기계적 특성들이 더 잘 맞게 된다. 그러한 기술은 도 1의 이미징 모듈(17)을 측정하기 위해 사용될 수 있다.

도 14는 본 발명의 일 실시 예에 따라 글래스와 같은 반투명 객체(401)에 대한 거리와 반투명 객체(401) 뒤의 객체(402)에 대한 거리가 3차원 깊이 측정을 위해 수행되는 것을 예시적으로 보여준다. 도 14에서 레이저 광원과 같은 X-Y 어드레스블 광원은 반투명 객체(401)을 통해 객체(402)를 포인트 스캔한다. 반투명 객체(401)로부터의 반사 (Reflection: 404)와 객체(402)로부터의 반사(405)는 렌즈(406)를 통과하여 2D 픽셀 어레이의 로우 R 내에서 픽셀들(407 및 408)에 의해 각기 검출된다. 두 검출된 반사 정보는 실질적으로 동일한 타임스탬프들을 가지며 두 반사들의 출력 깊이는 여기에 개시된 바와 같이 결정될 수 있다.

도 15는 본 발명의 일 실시 예에 따라 안개, 비, 등과 같은 반투명 매체(501)의 깊이 이미징이 3차원 깊이 측정을 위해 수행되는 것을 예시적으로 보여준다. 레이저 광원과 같은 X-Y 어드레스블 광원(503)은 반투명 매체(501)를 포인트 스캔하고, 반사(Reflection: 504)는 렌즈(506)를 통과할 것이며, 2D 픽셀 어레이의 로우 R 내에서 픽셀들(507)의 범위는 활성화 될 것이다. 그리고 반사는 실질적으로 동일한 타임스탬프들을 가질 것이다. 매체의 두께(501)는 여기에 개시된 타임스탬프들에 근거하여 결정될 수 있다.

도 16은 본 발명의 일 실시 예에 따라 객체(601)의 깊이 이미징이 다중 리턴 경로들의 존재 시에 3차원 깊이 측정을 위해 수행되는 것을 예시적으로 보여준다. 레이저 광원과 같은 X-Y 어드레스블 광원(602)은 반짝이는 객체(601)를 포인트 스캔하고, 반사미광(stray reflection: 603)은 다른 객체로부터 되돌아올 수 있다. 이러한 상황에서 반사미광(603)은 스캔되어지는 로우 R의 등극선 평면 내에 보이지 않을 수 있고 따라서 포인트 스캔이 지시된 곳에서 객체(601)로부터의 반사(605) 로서 검출되지 않을 수 있다.

도 12는 여기에 개시된 일 실시 예에 따라 도 1 및 도 2내의 시스템(15)에 대한 전체 구성을 나타낸다. 따라서, 참조 및 설명의 편의를 위해 동일한 참조부호들이 공통 시스템 컴포넌트들/유닛들에 대해 도 1,2, 및 12에서 사용된다.

전술한 바와 같이, 이미징 모듈(17)은 본 발명의 기술적 사상에 따라 2D 이미징 및 3D 깊이 측정을 달성하기 위해, 예시적인 실시 예들의 도면들 2,6,7a, 7b 및 13에서 보여지는 하드웨어를 포함할 수 있다. 프로세서(19)는 복수의 외부 소자들과 인터페이싱 하도록 구성될 수 있다. 일 실시 예에서, 이미징 모듈(17)은 입력 장치로서 기능할 수 있다. 입력 장치는 데이터 입력을 제공한다. 데이터 입력은 도 7a내에서 상기 처리된 데이터 출력(170)과 같은 픽셀 이벤트 데이터의 형태로 추가 처리를 위해 프로세서(19)로 제공된다. 프로세서(19)는 다른 입력 장치들(도시되지 않음)로부터 입력들을 또한 수신할 수 있다. 다른 입력 장치들은 시스템(15)의 일부일 수 있다. 그러한 입력 장치들의 일부 예시들은 컴퓨터 키보드, 터치 패드, 터치 스크린, 조이스틱, 물리 혹은 가상적 클릭가능 버튼(clickable button), 및/또는 컴퓨터 마우스/포인팅 장치를 포함할 수 있다. 도 12에서, 프로세서(19)는 시스템 메모리(20), 주변 스토리지 유닛(265), 하나 이상의 출력 장치들(267), 및 네트워크 인터페이스 유닛(268)에 연결된다. 도 12에서 디스플레이 유닛은 출력 장치(267)로서 보여진다. 일부 실시 예들에서 출력 장치(267)는 터치스크린 디스플레이를 포함할 수 있다. 일부 실시 예들에서, 시스템(15)은 보여지는 장치들의 일 예시 보다 더 많은 장치들을 포함할 수 있다. 시스템(15)의 몇몇 실시 예들은 컴퓨터 시스템(데스크탑 혹은 랩탑), 태블릿 컴퓨터, 모바일 장치, 휴대전화, 비디오 게임기나 콘솔, 사물통신(machine-to-machine (M2M) communication) 유닛, 로봇, 자동차, 가상 현실 장치, 스테이트리스 "씬" 클라이언트(stateless "thin" client) 시스템, 차량 대시-캠 혹은 후방 카메라 시스템, 또는 기타 다른 형태의 컴퓨팅 혹은 프로세싱 장치를 포함한다. 다양한 실시 예들에서 도 12내의 모든 구성요소들은 단일 하우징 내에 수용될 수 있다. 따라서, 시스템(15)은 스탠드어론 시스템으로서 구성되거나 기타 다른 적당한 폼 팩터로 구성될 수 있다. 일부 실시 예들에서, 시스템(15)은 서버 시스템이라기 보다는 클라이언트 시스템으로서 구성될 수 있다.

특별한 실시 예에서, 시스템(15)은 하나 이상의 프로세서(예를 들어 분산 처리 구성에서)를 포함할 수 있다. 시스템(15)이 멀티프로세서 시스템이면, 프로세서(19)의 일 예시보다 더 많이 프로세서가 존재할 수 있다. 또한, 각각의 인터페이스들(도시되지 않음)을 통해 프로세서(19)에 연결된 다중 프로세서들이 존재할 수 있다. 프로세서(19)는 시스템 온 칩(SoC)이 될 수 있으며, 및/또는 하나 이상의 CPU를 포함할 수 있다.

전술한 바로서, 시스템 메모리(20)는 임의의 반도체 기반 스토리지 시스템일 수 있다. 제한되는 것은 아니지만, 반도체 기반 스토리지 시스템은 DRAM, SRAM, PRAM, RRAM, CBRAM, MRAM, STT-MRAM, 및 기타일 수 있다. 일부 실시 예에서, 메모리 유닛(20)은 적어도 하나 이상의 비 3DS 메모리 모듈들(non-3DS memory modules)과 함께 적어도 하나의 3DS 메모리 모듈을 포함할 수 있다. 비 3DS 메모리는 더블 데이터 레이트, 또는 더블 데이터 레이트 2,3, 또는 4 동기 다이나믹 랜덤 액세스액세스 메모리(DDR/DDR2/DDR3/DDR4 SDRAM)를 포함할 수 있다. 또한, 비 3DS 메모리는 램버스® DRAM, 플래시 메모리, 다양한 형태의 리도 온리 메모리(ROM), 등을 포함할 수 있다. 또한, 일부 실시 예들에서, 시스템 메모리(20)는 싱글 타입의 메모리에 반하는 것으로서, 다수의 다른 종류의 반도체 메모리들을 포함할 수 있다. 다른 실시 예들에서, 시스템 메모리(20)는 비 일시적 데이터 스토리지 매체(non-transitory data storage medium)일 수 있다.

주변 스토리지 유닛(265)는 다양한 실시 예들에서, 자기적, 광학적, 자기-광학적, 또는 솔리드 스테이트 스토리지 매체를 포함할 수 있다. 그러한 매체들은 하드 드라이브, 광 드라이브(예 CD나 DVD), 불휘발성 랜덤 액세스 메모리(RAM)장치들 등일 수 있다. 일부 실시 예들에서, 주변 스토리지 유닛(265)은 보다 복잡한 스토리지 장치들/시스템들을 포함할 수 있다. 그러한 스토리지 장치들/시스템들은 디스크 어레이들(적합한 RAID (Redundant Array of Independent Disks)구성내에 존재할 수 있음)이나 스토리지 에리어 네트워크들(SANs)일 수 있다. 주변 스토리지 유닛(265)은 표준 주변 인터페이스를 통해 프로세서(19)에 연결될 수 있다. 표준 주변 인터페이스는 Small Computer System Interface (SCSI) 인터페이스, Fibre Channel 인터페이스, Firewire® (IEEE 1394) 인터페이스, Peripheral Component Interface Express (PCI Express™) 표준 기반 인터페이스, Universal Serial Bus (USB) protocol 기반 인터페이스, 또는 다른 적당한 인터페이스일 수 있다. 다양한 그러한 스토지지 장치들은 비 일시적 데이터 스토리지 매체(non-transitory data storage media)일 수 있다.

디스플레이 유닛(267)은 출력 장치의 예가 될 수 있다. 출력 장치의 다른 예시 들은 그래픽/디스플레이 장치, 컴퓨터 스크린, 알람 시스템, CAD/CAM (Computer Aided Design/Computer Aided Machining) 시스템, 비디오 게임 스테이션, 스마트폰 디스플레이 스크린, 또는 기타 다른 종류의 데이터 출력 장치를 포함한다. 일부 실시 예에서, 이미징 모듈(17)과 같은 입력 장치(들)와 디스플레이 유닛(267)과 같은 출력 장치(들)은 I/O 또는 주변 인터페이스(들)를 통해 프로세서(19)에 연결될 수 있다.

일 실시 예에서, 네트워크 인터페이스(268)는 네트워크(미도시)에 연결하는 시스템(15)을 인에이블 하기 위해 프로세서(19)와 통신할 수 있다. 다른 실시 예에서, 네트워크 인터페이스(268)는 어떤 적당한 장치들 및 네트워크로 시스템(15)을 연결하기 위한 매체 및/또는 프로토콜 컨텐츠 (유선이든 무선이든) 를 포함할 수 있다. 다양한 실시 예들에서, 네트워크는 Local Area Networks (LANs), Wide Area Networks (WANs), 유선 또는 무선 Ethernet, 텔레커뮤니케이션 네트워크, 또는 기타 적절한 형태의 네트워크를 포함할 수 있다.

시스템(15)은 도 12내에 도시된 다양한 시스템 구성요소들로 전기적 파워를 제공하기 위한 온 보드 파워 서플라이 유닛(270)을 포함할 수 있다. 파워 서플라이 유닛(270)은 배터리들을 수신하거나 AC 전기적 전원 콘센트(power outlet)에 연결될 수 있다. 일 실시 예에서 파워 서플라이 유닛(270)은 태양 에너지를 전력으로 변환할 수 있다.

일 실시 예에서, 이미징 모듈(17)은 고속 인터페이스로써 집적될 수 있다. 제한되는 것은 아니지만, 고속 인터페이스는 Universal Serial Bus 2.0 or 3.0 (USB 2.0 or 3.0) 인터페이스 혹은 그 이상의 것일 수 있다 고속 인터페이스는 임의의 퍼스널 컴퓨터(PC)나 랩탑에 장착된다. 한정되는 것은 아니지만 시스템 메모리(20)와 같은 비 일시적, 컴퓨터 판독가능 데이터 스토리지 매체(non-transitory, computer-readable data storage medium)또는 CD/DVD와 같은 주변 데이터 스토리지 유닛은 프로그램 코드나 소프트웨어를 저장할 수 있다. 이미징 모듈(17)내에서 프로세서(19) 및/또는 디지털 처리 블록(도 7a의 167)은 프로그램 코드를 실행하도록 구성될 수 있다. 장치(15)는 도면들 1-11 및 13-16을 참조로 기 설명된 동작들과 같이 전술된 바로서 2D 이미징 및 3D 깊이 측정을 수행하도록 동작될 수 있다. 프로그램 코드 혹은 소프트웨어는 사유 (proprietary) 소프트웨어 혹은 오픈 소스 소프트웨어일 수 있다. 프로세서(19) 및/또는 디지털 블록(167)과 같은 적절한 처리 엔티티에 의한 실행 시에, 소프트웨어는 처리 엔티티를 인에이블 할 수 있다. 이는 정확한 타이밍을 이용하여 픽셀 이벤트들을 캡쳐하고 처리하기 위해서이다. 소프트웨어는 다양한 포맷들로 픽셀 이벤트들을 렌더링하고, 2D 및/또는 3D 포맷들로 디스플레이한다. 전술한 바로서, 어떤 실시 예들에서 이미징 모듈(17)내의 디지털 처리 블록(167)은 픽셀 이벤트 신호들의 일부 처리를 수행할 수 있고 그 처리는 픽셀 출력 데이터가 추가 처리 및 디스플레이를 위한 프로세서(19)로 전송되기 이전에 수행된다. 다른 실시 예에서, 프로세서(19)는 디지털 블록(167)이 이미징 모듈(17)의 일부가 아닌 경우에, 디지털 블록(167)의 기능을 또한 수행할 수 있다.

이전 설명에서 제한되지 않지만 설명의 목적을 위해, 특정한 상세들이 개시된 기술의 철저한 이해를 제공하기 위하여 설명되었다. 그러한 상세들은 특별한 아키텍쳐, 파형들, 인터페이스들, 기술들 등이다. 그러나 본 분야에서 통상의 지식을 가진 자에게 있어서 그러한 기술들이 이들 특정한 상세들을 벗어나는 다른 실시 예들 내에서 구현될 수 있다는 것이 명백해질 것이다. 즉, 본 기술분야에 숙련된 기술자는 다양한 배열들을 창작할 수 있을 것이다. 여기에 명시적으로 설명되거나 보여지지 않더라도, 개시된 기술 원리는 구체화될 수 있을 것이다. 일부 예증들, 상세한 설명의 공지 디바이스들, 회로들, 및 방법들은 불필요한 상세들을 가지고 개시된 기술의 설명을 모호하지 않도록 하기 위해 생략된다. 원리들, 아스펙트, 및 개시된 기술의 실시 예들, 뿐만 아니라 그들의 특정한 예들을 인용하는 여기서의 모든 스테이트먼트는 구조적 및 기능적 등가물을 포함하도록 의도된다. 부가적으로, 그러한 등가물은 현재로서 공지된 등가물뿐만 아니라 장래에 개발될 등가물 모두를 포함하는 것으로 의도된다. 등가물은 구조에 무관하게 동리 기능을 수행하는 개발된 어떤 요소들일 수 있다.

따라서, 예를 들면, 여기(도 1 및 도 2)의 블록 다이아그램이 도시적인 회로의 개념적 형태(view) 혹은 기술 원리를 구체화하는 다른 기능적 유닛들을 나타낼 수 있는 것임이 본 분야에 숙련된 자들에 의해 이해될 수 있을 것이다. 유사하게, 도 3의 플로우챠트가 다양한 프로세스들을 나타냄이 이해될 수 있을 것이다. 다양한 프로세스들은 프로세서(예를 들면 도 12의 프로세서 19 및/또는 도 7a의 디지털 블록 167)에 의해 실질적으로 수행될 수 있다. 그러한 프로세서는 예시적으로 범용 프로세서, 전용 프로세서, 일반 프로세서, 디지털 신호 프로세서(DSP), 복수의 마이크로프로세서, DSP 코어와 관련한 하나 이상의 프로세서, 컨트롤러, 마이크로컨트롤러, ASICs, FPGAs, 다른 종류의 IC, 및/또는 상태 머시인을 포함할 수 있다. 도면들 1-11 및 13-16의 컨텍스트 내의 상술된 기능들의 일부 또는 모두는 하드웨어 및/또는 소프트웨어 내에서, 또한 그러한 프로세서에 의해 제공될 수 있다.

여기에 개시된 기술적 주제의 어떤 사상이 소프트웨어 기반 처리를 요구한다면, 그러한 소프트웨어나 프로그램 코드는 컴퓨터 판독가능 데이터 저장 매체 내에 상주할 수 있다. 전술한 바로서, 그러한 데이터 저장 매체는 주변 스토리지(265)의 일부일 수 있다. 또는 데이터 저장 매체는 시스템 메모리(20), 또는 프로세서(19)의 내부 메모리(미도시)일 수 있다. 일 실시 예에서, 프로세서(19)나 디지털 블록(167)은 소프트웨어 기반 처리를 수행하기 위해 그러한 매체 상에 저장된 명령들을 수행할 수 있다. 컴퓨터 판독가능 데이터 저장 매체는 컴퓨터 프로그램, 소프트웨어, 펌웨어, 또는 범용 컴퓨터나 상술한 프로세서에 의한 실행을 위한 마이크로 코드를 담고 있는 비 일시적 데이터 저장 매체일 수 있다. 컴퓨터 판독가능 데이터 저장 매체의 예시는 내부 하드 디스크와 같이, ROM, RAM, 디지털 레지스터, 캐시 메모리, 반도체 메모리 장치, 및 마그네틱 매체를 포함하고, 또한 CD-ROM 디스크 및 DVDs와 같이, 마그네틱 테이프 및 삭제가능 디스크, 자기-광학 매체, 및 옵티컬 매체를 포함한다.

본 발명의 기술적 사상에 따라 이미징 모듈(17)이나 이미징 모듈을 포함하는 시스템(15)의 대안적 실시 예들은 부가적인 기능을 제공하는 부가적인 구성요소들을 포함할 수 있다. 부가적인 기능은 상기 규명된 어떤 임의의 기능 및/또는 개시된 본 발명의 기술적 사상에 따른 솔루션을 지원하는데 필요한 기능을 포함한다. 비록 특징들과 구성요소들이 특별한 조합들 내에서 설명되었으나, 각 특징이나 구성요소가 다른 특징들 및 구성요소들 없이 단독으로 사용될 수 있거나, 다른 특징들을 가지거나 가짐이 없이 다양한 조합들로 사용될 수 있다. 전술한 바로서, 여기에 개시된 다양한 2D 및 3D 이미징 기능들이 하드웨어(회로 하드웨어) 및/또는 소프트웨어/펌웨어의 실행이 가능한 하드웨어의 사용을 통해 구현될 수 있고, 소프트웨어/펌웨어의 실행이 가능한 하드웨어는 코딩된 명령들이나 마이크로코드의 형태로 소프트웨어/펌웨어를 실행한다. 코딩된 명령들이나 마이크로코드는 컴퓨터 판독가능 데이터 저장 매체(상기 언급됨)에 저장된다. 따라서, 그러한 기능들 및 도시된 기능 블록들은 하드웨어 구현 및/또는 컴퓨터 구현으로 되는 것이 이해될 것이며, 결국 머시인 구현으로 된다.

이상에서 시스템 및 방법이 개시되었다. 시스템 및 방법은 동일 이미지 센서 즉 이미지 센서내의 모든 픽셀들이 3D 객체의 2D 이미지 및 객체에 대한 3D 깊이 측정 모두를 캡쳐하는데 사용되는 시스템 및 방법이다. 이미지 센서는 한정되는 것은 아니지만 스마트폰 등과 같은 이동 기기내의 카메라의 일부일 수 있다. 레이저 광 레이저 소스는 광 스팟들을 가지고 객체의 표면을 포인트 스캔하는데 사용될 수 있다. 광 스팟들은 이미지 센서 내의 픽셀 어레이에 의해 검출된다. 검출은 삼각 측량을 이용하여 객체의 3D 깊이 프로파일을 생성하기 위해 수행된다. 3D 모드에서, 레이저느 스캔 라인을 따라 객체의 표면 상의 일련의 광 스팟들을 투영할 수 있다. 반사된 광 스팟들은 픽셀 어레이내의 한 로우의 픽셀들을 이용하여 검출될 수 있다. 한 로우는 스캔 라인의 등극선(epipolar line)을 형성한다. 검출된 광 스팟들은 삼감측량 내에서 어떤 모호성을 제거하기 위해 타임스탬핑될 수 있다. 타임스탬핑은 깊이 계산량 및 시스템 파워를 줄인다. 타임스탬프는 또한 삼감측량을 이용하여 깊이를 결정하기 위해 캡쳐된 레이저 스팟의 픽셀 위치와 레이저 광원의 각 스캔 각도 사이의 대응성을 제공한다. 2D 모드 내에서의 이미지 신호들은 이미지 센서 내의 ADC 유닛으로부터 멀티비트 출력으로써 나타날 수 있다. 그러나 ADC 유닛은 3D 깊이 측정을 위한 타임스탬프 값들을 생성하기 위해 바이너리 출력만을 생성할 수도 있다. 강한 주변 광을 거부하기 위해 이미지 센서는 3D 선형 모드와는 반대되는 3D 대수 모드에서 동작될 수 있다.

본 분야의 숙련된 기술을 가진 자에 의해 인식될 수 있는 바로서, 여기에 개시된 혁신적인 컨셉들은 넓은 범위의 출원들에 걸쳐 변경되고 변화될 수 있다. 따라서, 특허되는 발명의 기술적 사상의 범위는 상술한 바와 같은 어느 특정 지침들에 의해 제한되어서는 안되며 이하의 클레임들에 의해 정의되어야 한다.

Claims (20)

1. 이미지 센서에서 적어도 하나의 객체의 이미지를 수신하되, 상기 이미지 센서는 복수의 제1그룹의 로우들 내에 배열된 2차원(2D) 픽셀 어레이를 포함하고, 상기 어레이의 제2그룹의 로우들의 픽셀들은 상기 적어도 하나의 객체의 2D 컬러 정보를 생성하기 위해 동작가능하고, 상기 어레이의 제3 그룹의 픽셀들은 상기 적어도 하나의 객체의 3D 깊이 정보를 생성하기 위해 동작가능하고, 상기 제1그룹의 로우들은 제1 개수의 로우들을 포함하고, 상기 제2그룹의 로우들은 상기 제1 개수의 로우들 이하인 제2 개수의 로우들을 포함하고, 상기 제3 그룹의 로우들은 상기 제2 개수의 로우들 이하인 제3 개수의 로우들을 포함하며; 및
   교번적인 방법으로 상기 제2그룹의 로우들로부터 선택된 한 로우로부터 상기 적어도 하나의 객체의 2D 컬러 정보를 수신하고, 상기 제3 그룹의 로우들로부터 선택된 한 로우로부터 상기 적어도 하나의 객체의 3D 깊이 정보를 수신하는 것을 포함하는 방법.
2. 제1항에 있어서, 상기 제2그룹의 로우들로부터 선택된 상기 로우는 상기 제3 그룹의 로우들로부터 선택된 로우와 동일한 것인 방법.
3. 제1항에 있어서, 상기 제2그룹의 로우들로부터 선택된 상기 로우는 상기 제3 그룹의 로우들로부터 선택된 로우와는 다른 것인 방법.
4. 제1항에 있어서, 상기 3D 깊이 정보는 적어도 하나의 객체의 스캔된 로우들의 스팟들에 대응되는 삼각 측량 정보를 포함하는 방법.
5. 복수의 제1그룹의 로우들로 배열된 2차원(2D) 픽셀 어레이, 상기 어레이의 제2그룹의 로우들의 픽셀들은 상기 2D 픽셀 어레이에 의해 수신된 적어도 하나의 객체의 이미지에 근거하여 2D 컬러 정보를 생성하기 위해 동작가능하고, 상기 어레이의 제3 그룹의 픽셀들은 상기 적어도 하나의 객체의 3D 깊이 정보를 생성하기 위해 동작가능하고, 상기 제1그룹의 로우들은 제1 개수의 로우들을 포함하고, 상기 제2그룹의 로우들은 상기 제1 개수의 로우들 이하인 제2 개수의 로우들을 포함하고, 상기 제3 그룹의 로우들은 상기 제2 개수의 로우들 이하인 제3 개수의 로우들을 포함하며; 및
   상기 적어도 하나의 객체의 상기 이미지에 근거하여 생성된 2D 컬러 정보를 출력하기 위해 상기 제2 그룹의 로우들로부터 한 로우를 교번적인 방법으로 선택하고, 상기 적어도 하나의 객체의 상기 생성된 3D 깊이 정보를 출력하기 위해 상기 제3 그룹의 로우들로부터 한 로우를 선택하기 위해, 상기 2D 픽셀 어레이에 연결된 컨트롤러를, 포함하는 이미지 센서 유닛.
6. 제5항에 있어서, 상기 제2그룹의 로우들로부터 선택된 상기 로우는 상기 제3 그룹의 로우들로부터 선택된 로우와 동일한 이미지 센서 유닛.
7. 제5항에 있어서, 상기 제2그룹의 로우들로부터 선택된 상기 로우는 상기 제3 그룹의 로우들로부터 선택된 로우와는 다른 이미지 센서 유닛.
8. 제5항에 있어서, 상기 3D 깊이 정보는 적어도 하나의 객체의 스캔된 로우의 스팟들에 대응되는 삼각 측량 정보를 포함하는 이미지 센서 유닛.
9. 제8항에 있어서, 상기 3D 깊이 정보는 상기 제3 그룹의 로우들로부터 선택된 로우의 픽셀들에 의해 생성된 광전자들의 선형 집적(linear integration)에 근거하는 이미지 센서 유닛.
10. 제8항에 있어서, 상기 3D 깊이 정보는 상기 제3 그룹의 로우들로부터 선택된 로우의 픽셀들에 의해 생성된 광전자들의 대수 집적(logarithmic integration)에 근거하는 이미지 센서 유닛.
11. 제8항에 있어서, 상기 삼각 측량 정보는 상기 스캔된 로우의 스팟들에 대한 타임스탬프 정보를 포함하는 이미지 센서 유닛.
12. 제8항에 있어서, 상기 스캔된 로우의 스팟들을 조사하기 위한 레이저 광원을 더 포함하는 이미지 센서 유닛.
13. 제12항에 있어서, 상기 레이저 광원은 가시 레이저 광원, 근 적외선 레이저 광원, 점광원, 단색 조명 원, XY 어드레서블 레이저 광원, 및 미소 전자 기계 시스템(MEMS)기반 레이저 스캐너 중의 하나를 포함하는 이미지 센서 유닛.
14. 복수의 제1그룹의 로우들로 배열된 2차원(2D) 픽셀 어레이, 상기 어레이의 제2그룹의 로우들의 픽셀들은 상기 2D 픽셀 어레이에 의해 수신된 적어도 하나의 객체의 이미지에 근거하여 2D 컬러 정보를 생성하기 위해 동작가능하고, 상기 어레이의 제3 그룹의 픽셀들은 상기 적어도 하나의 객체의 3D 깊이 정보를 생성하기 위해 동작가능하고, 상기 제1그룹의 로우들은 제1 개수의 로우들을 포함하고, 상기 제2그룹의 로우들은 상기 제1 개수의 로우들 이하인 제2 개수의 로우들을 포함하고, 상기 제3 그룹의 로우들은 상기 제2 개수의 로우들 이하인 제3 개수의 로우들을 포함하며;
    상기 적어도 하나의 객체의 상기 이미지에 근거하여 생성된 2D 컬러 정보를 출력하기 위해 상기 제2 그룹의 로우들로부터 한 로우를 교번적인 방법으로 선택하고, 상기 적어도 하나의 객체의 상기 생성된 3D 깊이 정보를 출력하기 위해 상기 제3 그룹의 로우들로부터 한 로우를 선택하기 위해, 상기 2D 픽셀 어레이에 연결된 컨트롤러; 및
    상기 생성된 2D 컬러 정보에 근거하여 상기 적어도 하나의 객체의 제1 이미지를 디스플레이하고, 상기 생성된 3D 깊이 정보에 근거하여 상기 적어도 하나의 객체의 제2 이미지를 디스플레이하기 위해 동작하며, 상기 컨트롤러와 상기 2D 픽셀 어레이에 연결된 디스플레이를 포함하는 시스템.
15. 제14항에 있어서, 상기 3D 깊이 정보는 상기 적어도 하나의 객체의 스캔된 로우의 스팟들에 대응되는 삼각 측량 정보를 포함하고,
    상기 삼각 측량 정보는 상기 스캔된 로우의 스팟들에 대한 타임스탬프 정보를 포함하는 시스템.
16. 제15항에 있어서, 상기 3D 깊이 정보는 상기 제3 그룹의 로우들로부터 선택된 로우의 픽셀들에 의해 생성된 광전자들의 선형 집적(linear integration)에 근거하는 시스템.
17. 제15항에 있어서, 상기 3D 깊이 정보는 상기 제3 그룹의 로우들로부터 선택된 로우의 픽셀들에 의해 생성된 광전자들의 대수 집적(logarithmic integration)에 근거하는 시스템.
18. 제15항에 있어서, 상기 스캔된 로우의 스팟들을 조사하기 위한 레이저 광원을 더 포함하며,
    상기 레이저 광원은 가시 레이저 광원, 근 적외선 레이저 광원, 점광원, 단색 조명 원, XY 어드레서블 레이저 광원, 및 미소 전자 기계 시스템(MEMS)기반 레이저 스캐너 중의 하나를 포함하는 시스템.
19. 제15항에 있어서, 상기 디스플레이는 터치스크린 디스플레이를 포함하는 시스템.
20. 제19항에 있어서, 상기 시스템은 모바일 통신 장치의 일부를 포함하는 시스템.

Images