KR20160124674A

KR20160124674A - 등극선 레이저 포인트 스캔을 이용한 3차원 카메라의 타임스탬프 측정

Info

Publication number: KR20160124674A
Application number: KR1020160045645A
Authority: KR
Inventors: 이빙 미쉘 왕; 일리아 오브시안니코브
Original assignee: 삼성전자주식회사
Priority date: 2015-04-20
Filing date: 2016-04-14
Publication date: 2016-10-28
Also published as: US10893227B2; US20190045151A1; US20190379851A1; CN106067954B; CN110365912B; CN106067954A; US11431938B2; US20210144327A1; US10250833B2; CN110365912A; US20160309140A1; US10447958B2; KR102470675B1

Abstract

동일한 이미지 센서를 이용하여, 3차원 물체의 2차원 이미지 및 3차원 깊이 측정이 제공된다. 레이저 포인트는 광점들이 있는 물체의 표면을 스캔하며, 이는 동일한 이미지 센서의 픽셀 어레이에 의해 검출되어 삼각 측량을 이용항 물체의 3차원 깊이 프로파일을 생성하는 데에 사용된다. 픽셀 어레이의 픽셀들의 각 행은 대응하는 레이저 스캔 라인의 등극선을 형성한다. 타임스탬프는 캡처된 광점의 픽셀 위치 및 레이저의 대응하는 스캔각 사이의 대응관계를 제공하여 삼각 측량의 모호성을 제거한다. 동일한 이미지 센서의 아날로그 디지털 변환기는 시간 디지털 변환기로 동작하여 타임스탬프를 생성한다. 타임스탬프 측정 회로는 온보드로 제공되며, 픽셀 어레이의 픽셀들의 각 열의 전송 지연을 기록하고, 3차원 깊이 측정 동안에 생성되는 타임스탬프 값들에 필요한 수정을 제공한다.

Description

등극선 레이저 포인트 스캔을 이용한 3차원 카메라의 타임스탬프 측정{TIMESTAMP CALIBRATION OF THE 3D CAMERA WITH EPIPOLAR LINE LASER POINT SCANNING}

본 발명은 이미지 센서에 관한 것이다. 더 상세하게는, 본 발명은 레이저 포인트 스캔 및 CMOS (Complementary Metal Oxide Semiconductor) 이미지 센서를 이용하여 3차원 물체에 대한 깊이 측정의 삼각 측량(triangulation) 기반 시스템 및 방법의 타임스탬프 측정(calibration)에 관한 것이다.

3차원 이미지 시스템은, 예를 들어 산업 생산, 비디오 게임, 컴퓨터 그래픽, 로봇 수술, 소비자 디스플레이, 화상 감시, 3차원 모델링, 부동산 판매 등과 같은 응용들에서 다양하게 사용되고 있으며, 사용 분야 및 빈도가 증가하고 있다.

현존하는 3차원 이미지 기술은, 예를 들어, 비행 시간(TOF, Time-Of-Flight) 기반의 거리 이미지, 다중 시야 시스템, 그리고 구조화된 광(SL, Structured Light) 방법들을 포함할 수 있다.

TOF 방법에서, 3차원 물체까지의 거리는 알려진 광속에 기반하여, 각 이미지의 포인트에서 광 신호가 카메라 및 3차원 물체 사이를 왕복하는 왕복 시간을 측정함으로써 계산된다. TOF 카메라는 각 레이저 또는 광 펄스로 전체 장면(scene)을 캡처하는 스캐너없는(scannerless) 방법을 사용할 수 있다. TOF 방법의 일부 응용들은 실시간으로 거리 이미지들에 기반한 능동 보행자 안전 또는 충돌 전 검출과 같은 고등 자동차 응용을 포함할 수 있으며, 비디오 게임 콘솔로 게임을 하는 동안에 사람의 움직임을 추적하거나, 산업 기계 시야에서 물체를 식별하고 로봇이 컨베이어 벨트 상의 아이템을 찾는 것에 도움을 줄 수 있다.

입체적인 이미지 또는 입체 시야 시스템에서, 수평하게 배치된 두 개의 카메라들이 사용되어, 장면 또는 장면내의 3차원 물체에 대한 상이한 두 개의 시야(또는 이미지들)이 획득될 수 있다. 두 개의 이미지들을 비교함으로써, 3차원 물체의 상대적인 깊이 정보가 획득될 수 있다. 다중 시야(stereo vision)는 로봇 공학과 같은 분야에서 매우 중요하며, 자율 시스템 또는 로봇의 근처의 3차원 물체의 상대적인 위치를 추출할 수 있다. 로봇 공학의 다른 응용들은, 입체적인 깊이 정보를 이용하여 로봇 시스템이 가려진 이미지 구성 요소들을 구별하는 물체 인식을 포함할 수 있다. 물체 인식이 없으면, 하나의 물체가 다른 물체의 앞에 위치하여 다른 물체를 부분적으로 또는 완전히 가리는 경우에, 로봇은 두 개의 분리된 물체들을 구별할 수 없다. 3차원 입체 표시 장치들은 오락 및 자동화 시스템들에서 사용될 수 있다.

SL 방법에서, 물체의 3차원 모양이 투사된 광 패턴들 및 촬영용 카메라를 이용하여 측정될 수 있다. SL 방법에서, 격자들 또는 수평 막대들 또는 평행 줄무늬들과 같은 알려진 광 패턴이 장면 또는 장면내의 3차원 물체에 투사된다. 투사된 패턴은 3차원 물체의 표면에 부딪칠 때에 변형되거나 대체될 수 있다. 이러한 변형으로 인해, SL 시야 시스템은 물체의 깊이 및 표면 정보를 계산할 수 있다. 따라서, 3차원 표면에 협대역 광을 투사하는 것은, 투사기와 다른 시야로부터 왜곡되어 보이는 조명선을 생성할 수 있으며, 조명된 표면 형상의 기하학적 재구성에 사용될 수 있다. SL 기반 3차원 이미지는, 예를 들어 3차원 장면에서 지문의 촬영, 생산 과정에서 구성 요소들의 즉시 검품(inline inspection), 인체 또는 피부 등과 같은 미세 구조들의 형태의 실측을 위한 건강 관리와 같은 다양한 응용들에 사용될 수 있다.

본 발명의 목적은 감소된 공간 및 감소된 비용으로 2차원 이미징 및 3차원 깊이 측정을 수행하는 장치, 시스템 및 방법을 제공하는 데에 있다.

본 발명의 방법은, 광원을 이용하여 스캔 라인을 따라 3차원 물체에 대해 상기 3차원 물체의 표면에 순차적인 광점들을 투사하는 1차원 포인트 스캔을 수행하는 단계, 이미지 플레인을 형성하는 2차원 어레이에 배열되는 복수의 픽셀들을 갖는 이미지 센서에서, 상기 이미지 플레인 상에서 상기 스캔 라인의 등극선의 적어도 일부를 형성하는 픽셀들의 행을 선택하는 단계, 상기 선택된 픽셀들의 행의 픽셀에 대해, 상기 순차적인 광점들 중 대응하는 광점의 픽셀 특정 검출을 감지하는 단계, 상기 대응하는 광점의 픽셀 특정 검출을 감지하는 것에 응답하여, 상기 대응하는 광점의 타임스탬프 값을 생성하는 단계, 상기 선택된 픽셀들의 행에서 상기 픽셀과 연관된 2차원 어레이의 열에 대해, 상기 픽셀 특정 검출을 감지하는 단계 및 상기 픽셀들의 행의 상기 픽셀의 픽셀 특정 출력이 미리 정해진 문턱값에 도달한 때 사이의 열 특정 전송 지연을 나타내는 열 특정 수정 값을 타임스탬프 값에 적용하여 수정된 타임스탬프 값을 획득하는 단계, 그리고 적어도 상기 수정된 타임스탬프 값 및 상기 대응하는 광점을 투사하는 상기 광원에 의해 사용된 스캔 각에 기반하여 상기 3차원 물체의 상기 표면 상의 상기 대응하는 광점까지의 거리를 판별하는 단계를 포함한다.

본 발명의 이미지 장치는, 3차원 물체에 대해 스캔 라인을 따라 상기 3차원 물체의 표면에 순차적인 광점들을 투사하는 1차원 포인트 스캔을 수행하도록 구성되는 광원, 그리고 이미지 센서부를 포함한다. 상기 이미지 센서부는, 이미지 플레인을 형성하는 2차원 픽셀 어레이에 배열되는 복수의 픽셀들, 복수의 아날로그 디지털 변환기들, 그리고 상기 복수의 아날로그 디지털 변환기들에 연결된 처리부를 포함한다. 상기 2차원 픽셀 어레이의 픽셀들의 행은 상기 스캔 라인의 등극선의 적어도 일부를 형성하고, 상기 픽셀들의 행의 각 픽셀은 상기 2차원 어레이의 대응하는 열과 연관되고, 상기 픽셀들의 행의 각 픽셀은 상기 순차적인 광점들에서 대응하는 광점을 검출하도록 구성된다. 각 아날로그 디지털 변환기는 상기 픽셀들의 행의 각 픽셀과 연관되고, 각 픽셀에 의한 상기 대응하는 광점의 픽셀 특정 검출에 응답하여 각 픽셀의 픽셀 특정 타임스탬프 값을 생성하도록 구성된다. 상기 처리부는, 상기 선택된 픽셀들의 행에서 상기 픽셀과 연관된 2차원 어레이의 열에 대해, 상기 픽셀 특정 검출을 감지하는 단계 및 상기 픽셀들의 행의 상기 픽셀의 픽셀 특정 출력이 미리 정해진 문턱값에 도달한 때 사이의 열 특정 전송 지연을 나타내는 열 특정 수정 값을 타임스탬프 값에 적용하여 수정된 타임스탬프 값을 획득하고, 그리고 적어도 상기 수정된 타임스탬프 값 및 상기 대응하는 광점을 투사하는 상기 광원에 의해 사용된 스캔 각에 기반하여 상기 3차원 물체의 상기 표면 상의 상기 대응하는 광점까지의 거리를 판별하도록 구성된다.

본 발명의 시스템은, 3차원 물체에 대해 스캔 라인을 따라 상기 3차원 물체의 표면에 순차적인 광점들을 투사하는 1차원 포인트 스캔을 수행하도록 구성되는 광원, 이미지 플레인을 형성하는 2차원 픽셀 어레이에 배열되는 복수의 픽셀들, 복수의 아날로그 디지털 변환기들, 프로그램 명령들을 저장하는 메모리, 그리고 상기 복수의 아날로그 디지털 변환기들에 연결된 처리부를 포함한다. 상기 2차원 픽셀 어레이의 픽셀들의 행은 상기 스캔 라인의 등극선의 적어도 일부를 형성하고, 상기 픽셀들의 행의 각 픽셀은 상기 2차원 어레이의 대응하는 열과 연관되고, 상기 픽셀들의 행의 각 픽셀은 상기 순차적인 광점들에서 대응하는 광점을 검출하도록 구성된다. 각 아날로그 디지털 변환기는 상기 픽셀들의 행의 각 픽셀과 연관되고, 각 픽셀에 의한 상기 대응하는 광점의 픽셀 특정 검출에 응답하여 각 픽셀의 픽셀 특정 타임스탬프 값을 생성하도록 구성된다. 상기 처리부는, 상기 선택된 픽셀들의 행에서 상기 픽셀과 연관된 2차원 어레이의 열에 대해, 상기 픽셀 특정 검출을 감지하는 단계 및 상기 픽셀들의 행의 상기 픽셀의 픽셀 특정 출력이 미리 정해진 문턱값에 도달한 때 사이의 열 특정 전송 지연을 나타내는 열 특정 수정 값을 타임스탬프 값에 적용하여 수정된 타임스탬프 값을 획득하고, 그리고 적어도 상기 수정된 타임스탬프 값 및 상기 대응하는 광점을 투사하는 상기 광원에 의해 사용된 스캔 각에 기반하여 상기 3차원 물체의 상기 표면 상의 상기 대응하는 광점까지의 거리를 판별하도록 구성된다.

본 발명에 따르면, 현존하는 CMOS 이미지 센서들을 이용하여 2차원 이미징 및 3차원 깊이 측정이 수행된다. 따라서, 감소된 비용 및 감소된 공간을 소비하는 장치, 시스템 및 방법이 제공된다.

도 1은 본 발명의 실시 예들에 따른 시스템의 단순화된 부분 레이아웃을 보여준다.
도 2는 본 발명의 실시 예에 따른 도 1의 시스템의 예시적인 동작 레이아웃을 보여준다.
도 3은 본 발명의 실시 예에 따른 3차원 깊이 측정을 보여주는 예시적인 순서도이다.
도 4는 본 발명의 실시 예들에 따라 3차원 깊이 측정이 수행되는 방법을 보여준다.
도 5는 본 발명의 실시 예들에 따라 스캔된 광점들에 대한 타임스탬프의 예를 보여준다.
도 6은 본 발명의 실시 예들에 따른 도 1 및 도 2의 이미지 센서의 픽셀 어레이 제어 및 처리부의 처리 회로들과 연관된 부분 및 2차원 픽셀 어레이의 회로 상세를 보여준다.
도 7a는 본 발명의 실시 예들에 따른 도 6의 이미지 센서부의 예시적인 레이아웃을 보여준다.
도 7b는 본 발명의 실시 예들에 따른 3차원 깊이 측정을 위한 예시적인 CDS 및 ADC 유닛을 보여준다.
도 8은 본 발명의 실시 예들에 따라 3차원 선형 모드에서 타임스탬프 기반 픽셀 특정 출력을 생성하는 시스템의 신호들의 예시적인 타이밍을 보여주는 타이밍도이다.
도 9는 본 발명의 실시 예들에 따라 3차원 깊이 측정 동안에 타임스탬프 값들이 수정되는 방법을 보여주는 순서도이다.
도 10은 본 발명의 실시 예들에 따른 타임스탬프 측정부의 예시적인 레이아웃이다.
도 11은 본 발명의 실시 예들에 따라 열 특정 전송 지연을 판별하는 도 11의 측정부와 연관된 신호들의 타이밍을 보여주는 타이밍도이다.
도 12는 본 발명의 실시 예들에 따른 도 1 및 도 2의 시스템의 전체적인 레이아웃을 보여준다.

후술되는 상세한 설명에서, 구체적인 상세들이 본 발명의 이해를 돕기 위하여 제공된다. 그러나, 본 발명의 기술적 사상은 이러한 구체적 상세 없이 실시될 수 있다. 예를 들어, 잘 알려진 방법들, 절차들, 구성 요소들 및 회로들은 본 발명의 설명을 혼동하는 것을 방지하기 위하여 생략될 수 있다. 또한, 본 발명의 기술적 사상은 스마트폰, 사용자 장치(UE, User Equipment), 랩톱 컴퓨터 등을 포함하는 이미지 장치 또는 시스템의 3차원 깊이 측정을 저전력으로 구현할 수 있다.

본 발명의 상세한 설명에서, "일 실시 예" 또는 "실시 예"는, 해당 실시 예를 참조하여 설명된 구체적인 특징, 구조 또는 특성이 본 발명의 적어도 하나의 실시 예에 포함됨을 의미한다. 따라서, "일 실시 예로서" 또는 "실시 예로서" 또는 "실시 예에 따른"과 같은 용어들은 동일한 예를 참조하는 것으로 한정되지 않는다. 또한, 구체적인 특징들, 구조들 또는 특성들은 하나 또는 그보다 많은 실시 예들과 적절한 방법으로 조합될 수 있다.

"결합", "연결", "전기적 연결" 등의 용어들은 서로 전기적 또는 전자적으로 연결된 상태를 의미하며 서로 교체하며 사용될 수 있다. 제1 개체(entity)가 신호의 타입(예를 들어, 아날로그 또는 디지털)에 관계 없이 제2 개체(entity)로 또는 제2 개체로부터 정보 신호(어드레스, 데이터 또는 제어 정보를 포함)를 송신 또는 수신(유선 또는 무선으로)할 때에, 제1 개체 및 제2 개체는 서로 통신하는 것으로 설명된다. 또한, 첨부된 도면들은 설명을 위한 것이며, 사이즈 또는 비율을 한정하지 않는다. 또한, 다양한 파형들 및 타이밍도들은 설명을 위한 것이며 한정되지 않는다.

"제1", "제2" 등의 용어들은 개체들을 구분하기 위한 용도로 사용되며, 명시적으로 정의되지 않는 한 순서(예를 들어, 공간적, 시간적, 논리적 등)를 의미하지 않는다. 동일한 참조 번호들은 둘 또는 그보다 많은 도면들에서 동일한 또는 유사한 기능을 갖는 부분, 구성 요소, 블록, 회로, 유닛 또는 모듈을 참조하는 데에 사용될 수 있다. 그러나, 이러한 사용은 설명을 용이하게 하기 위한 것이며, 해당 구성 또는 구조적 상세가 실시 예들에 걸쳐 동일하다거나 또는 그러한 공통 부분이 본 발명의 기술적 사상을 구현하는 유일한 방법임을 한정하지 않는다.

종래의 3차원 기술들은 많은 문제점들을 갖는다. 예를 들어, 비행 시간(TOF, Time-Of-Flight) 기반의 이미지 시스템은 광학 또는 전기적 셔터를 동작하기 위한 고전력을 필요로한다. 이러한 시스템은 수 미터 내지 수십 미터의 범위에서 동작하며, 근거리에서 감소된 해상도를 갖는다. 따라서, 비행 시간(TOF) 시스템에서, 1미터 이내의 근거리에서 3차원 이미지를 촬영하는 것은 비현실적이다. 따라서, 대부분의 사진들이 근거리에서 촬영되는 핸드폰 기반의 카메라 응용들에서 비행 시간(TOF) 시스템은 적절하지 않다. 비행 시간(TOF) 센서는 7um보다 큰 사이즈의 특수 픽셀들을 필요로 한다. 특수 픽셀들은 주변 광에 취약할 수 있다.

입체 이미지 방법은 보통 구조화된 표면(textured surface)과 함께 동작한다. 이는, 물체의 입체 이미지 쌍 사이의 특성을 맞추고 대응 관계를 찾을 필요로 인해 매우 높은 복잡도를 갖는다. 이는 고전력을 필요로 하며, 스마트폰과 같이 전력 절감이 필요한 환경에서 바람직하지 않은 속성이다. 또한, 입체 이미징(stereo imaging)은 두 개의 렌즈들과 함께 두 개의 고해상도 센서들을 필요로하며, 이는 전체 부품이 스마트폰, 태블릿과 같은 포터블 장치의 응용에 적합하지 않게 한다.

구조화 광(SL, Structured Light) 방법은 거리의 모호성을 초래하며, 고전력을 필요로 한다. 3차원 깊이 측정을 위한 구조화 광(SL) 방법은 다중 패턴들을 갖는 다중 이미지들을 필요로하며, 이들 모두는 계산 복잡도 및 전력 소비를 증가시킨다. 또한, 구조화 광(SL) 이미징(imaging)은 고해상의 이미지 센서들을 필요로 한다. 따라서, 구조화 광(SL) 기반의 시스템은 스마트폰의 같은 저비용, 저전력, 콤팩트 이미지 센서에 적합하지 않다.

종래 3차원 기술과 반대로, 본 발명의 실시 예들은 스마트폰, 태블릿, 사용자 장치(UE, User Equipment) 등과 같은 포터블 전자 장치의 저전력 3차원 이미지 시스템을 제공한다. 본 발명의 실시 예들에 따른 2차원 이미지 센서는 2차원 RGB (Red, Green, Blue) 이미지들 및 가시광 레이저 스캐닝에 따른 3차원 깊이 측정들을 캡처할 수 있다. 이하에서, 가시광 레이저 스캔이 포인트 스캔을 위한 광원으로 그리고 2차원 RGB 센서가 이미지 또는 광 캡처 장치로 언급되지만, 이러한 언급은 설명의 일관성을 위한 목적으로 제공된다. 후술되는 가시광 레이저 및 RGB 센서 기반 예들은 스마트폰, 태블릿 또는 사용자 장치(UE)와 같은 카메라를 갖는 저전력 소비자 지향 모바일 전자 장치에 응용될 수 있다. 그러나, 본 발명의 기술적 사상은 가시광 레이저 및 RGB 센서 기반 예들에 한정되지 않는다. 본 발명의 실시 예들에 따르면, 포인트 스캔 기반의 3차원 깊이 측정 및 주변 광 차단 방법은 다양한 2차원 센서들 및 포인트 스캔을 위한 레이저 광원들을 이용하여 수행될 수 있다. 예를 들어, 레이저원(laser source)이 적색(R), 녹색(G), 또는 청색(B) 또는 이들의 조합인, 가시광 레이저원을 갖는 2차원 RGB 센서가 사용될 수 있다. 예를 들어, 적외선(IR, InfraRed) 차단 필터를 갖는 3차원 RGB 컬러 센서를 갖는 가시광 레이저가 사용될 수 있다. 예를 들어, 2차원 적외선(IR) 센서를 갖는 근적외선(NIR, Near InfraRed) 레이저가 사용될 수 있다. 예를 들어, 2차원 근적외선(NIR) 센서를 갖는 근적외선(NIT) 레이저가 사용될 수 있다. 예를 들어, 적외선(IR) 차단 필터를 갖지 않는 2차원 RGB 센서를 갖는 근적외선(NIR) 레이저가 사용될 수 있다. 예를 들어, 근적외선 (NIR) 차단 필터를 갖지 않는 2차원 RGB 센서를 갖지 않는 근적외선(NIT) 레이저가 사용될 수 있다. 예를 들어, 가시 또는 근적외선(NIR) 레이저를 갖는 2차원 RGB 및 적외선(IR) 센서가 사용될 수 있다. 예를 들어, 가시 또는 근적외선(NIR) 레이저를 갖는 2차원 RGBW (RGB 및 White) 센서가 사용될 수 있다.

3차원 깊이 측정 시에, 전체 센서는 레이저 스캔과 함께 2진 센서로 동작하여 3차원 콘텐츠를 재구성할 수 있다. 구체적으로, 센서의 픽셀 사이즈는 1um 정도로 작을 수 있다. 또한, 낮은 비트 해상도로 인해, 본 발명의 실시 예에 따른 이미지 센서의 아날로그 디지털 변환기(ADC, Analog to Digital Converter)는 종래의 3차원 이미징 시스템의 고해상 센서들에서 필요한 것과 비교하여 매우 낮은 처리 전력을 필요로한다. 더 낮은 전력을 필요로 함에 따라, 본 발명의 실시 예에 따른 3차원 이미징 모듈은 더 낮은 전력을 필요로 하고, 따라서 스마트폰과 같은 저전력 장치에 더 적합하다.

구체적인 예로서, 본 발명의 실시 예들은 라인 센서들의 그룹을 이용하여 3차원 깊이 측정을 위한 삼각 측량 및 레이저 광원을 이용한 포인트 스캔을 사용한다. 레이저 스캔 평면 및 이미징 평면은 등극선 기하(epipolar geometry)를 이용하여 지향(oriented)된다. 본 발명의 실시 예들에 따른 이미지 센서는 타임스탬프를 이용하여 삼각 측량의 모호성을 제거하므로, 깊이 계산량 및 전력이 감소된다. 온-보드 타임스탬프 측정부는, 센서 픽셀들의 상이한 열들의 독출 체인들과 연관된 신호 전송 지연들의 변화로 인해 유발되는 타임스탬프 지터 및 에러를 보상하도록 제공될 수 있다. 동일한 이미지 센서, 즉 이미지 센서의 각 픽셀은 3차원 레이저 스캔 모드 뿐 아니라 정상 2차원 (RGC 또는 비RGB) 이미징 모드로도 사용될 수 있다. 그러나, 레이저 스캔 모드에서, 이미지 센서의 아날로그 디지털 변환기(ADC)의 해상도는 이진 출력(1비트 해상도)로 감소되며, 따라서 독출 속도가 향상되고 이미지 센서 및 연관된 처리부를 포함하는 칩 내의 전력 소비(예를 들어, 아날로그 디지털 변환기 내의 스위칭에 의한)가 감소된다. 또한, 포인트 스캔은 모든 측정을 한 번에(one pass) 수행하며, 따라서 거리 측정의 레이턴시가 감소되고 모션 블러(motion blur)가 감소된다.

구체적인 예로서, 전체 이미지 센서는 가시 레이저 스캔을 이용한 3차원 이미징 뿐 아니라 주변광을 이용한 일반적인 2차원 RGB 이미징을 위해 사용될 수 있다. 동일한 카메라를 다중 용도로 사용함으로써, 모바일 장치의 공간 및 비용이 절약될 수 있다. 또한, 3차원 응용을 위한 가시 레이저의 사용자는 근적외선(NIR) 레이저와 비교하여 눈을 더 안전하게 보호할 수 있다. 센서는 근적외선(NIR) 대역에서 보다 가시 대역에서 더 높은 양자 효율(quantum efficiency)을 가지며, 광원의 소비 전력이 감소된다. 예시적으로, 이중 용도 이미지 센서는 2차원 이미징을 위해 선형 모드에서 통상적인 2차원 센서로 동작할 수 있다. 그러나, 3차원 이미징을 위해, 센서는 통상적인 광 조건에서 선형 모드로 동작하고 강한 주변 광 조건에서 대수(logarithmic) 모드로 동작하여, 강한 주변 광의 차단을 통해 가시 레이저원의 사용이 지속될 수 있게 한다. 또한, 주변 광 차단은 근적외선(NIT) 레이저를 사용할 때에도, 예를 들어, RGB 센서에 채용된 적외선(IR) 차단 필터의 통과 대역의 대역폭이 충분히 좁지 않은 때에, 필요할 수 있다.

도 1은 본 발명의 실시 예들에 따른 시스템(15)의 단순화된 부분 레이아웃을 보여준다. 도시된 바와 같이, 시스템(15)은 프로세서(19) 또는 호스트와 결합되고 통신하는 이미징 모듈(17)을 포함할 수 있다. 시스템(15)은 프로세서(19)에 연결되어 이미징 모듈(17)로부터 수신되는 이미지 데이터와 같은 정보를 저장하는 메모리 모듈(20)을 더 포함할 수 있다. 구체적으로, 전체 시스템(15)은 단일 집적 회로 또는 칩에 집적될 수 있다. 다른 예로서, 이미징 모듈(17), 프로세서(19) 및 메모리 모듈(20) 각각은 분리된 칩으로 구현될 수 있다. 메모리 모듈(20)은 하나 또는 그보다 많은 메모리 칩을 포함할 수 있다. 프로세서(19)는 다중 프로세싱 칩들을 포함할 수 있다. 도 1의 모듈들의 패키징 및 구현(단일 칩 또는 다중 칩)은 한정되지 않는다.

시스템(15)은 본 발명의 실시 예들에 따른 2차원 및 3차원 카메라 응용을 위한 저전력 전자 장치일 수 있다. 시스템(15)은 포터블 또는 고정식일 수 있다. 시스템(15)의 포터블 형태의 예들은 모바일 장치, 핸드폰, 스마트폰, 사용자 장치(UE), 태블릿, 디지털 카메라, 랩톱 또는 데스크톱 컴퓨터, 전자 스마트시계, M2M (Machine-to-Machine) 통신 장치, 가상 현실(VR, Virtual Reality) 장치 또는 모듈, 로봇 등을 포함할 수 있다. 시스템(15)의 고정식 형태의 예들은 비디오 게임방의 게임 콘솔, 상호적 비디오 터미널, 자동차, 기계 시야 시스템, 산업용 로봇, 가상 현실(VR) 장치, 자동차의 운전자측 실장 카메라(예를 들어, 운전자가 졸고있는지를 모니터하는) 등을 포함할 수 있다. 본 발명의 실시 예들에 따른 3차원 이미징 기능은 가상 현실 장치의 가상 현실 응용, 온라인 채팅 또는 게임, 3차원 문자, 제품에 대한 정보(예를 들어, 음식 조각의 칼로리 정보)를 획득하기 위한 제품의 3차원 이미지를 이용한 온라인 또는 지역(장치 기반) 카탈로그 또는 데이터베이스의 검색, 로봇 공학 및 기계 시야 응용들, 자율 주행 응용과 같은 자동차 응용들과 같은 다양한 응용들에 사용될 수 있다.

본 발명의 예로서, 이미징 모듈(17)은 광원(22) 및 이미지 센서부(24)를 포함할 수 있다. 도 2를 참조하여 더 상세하게 설명되는 바와 같이, 광원(22)은 가시 레이저일 수 있다. 다른 예로서, 광원(22)은 근적외선(NIT)일 수 있다. 이미지 센서부(24)는 도 2에서 도시되고 이하에서 설명되는 픽셀 어레이 및 보조 처리 회로들을 포함할 수 있다.

예시적으로, 프로세서(19)는 범용 프로세서인 중앙 처리 장치(CPU)일 수 있다. 여기에서, "프로세서" 및 "중앙 처리 장치(CPU)"는 설명의 편의를 위하여 교차하여 사용될 수 있다. 그러나, 중앙 처리 장치 대신에 또는 중앙 처리 장치에 더하여, 프로세서(19)는 마이크로컨트롤러, 디지털 신호 처리기(DSP, Digital Signal Processor), 그래픽 처리부(GPU, Graphic Processing Unit), 전용의 주문형 반도체(ASIC, Application Specific Integrated Circuit) 프로세서 등을 포함할 수 있다. 또한, 프로세서(19)는 분산 처리 환경에서 동작하는 하나보다 많은 중앙 처리 장치들을 포함할 수 있다. 프로세서(19)는 x86 명령 집합 구조(32비트 또는 64비트 버전), PowerPC® 명령 집합 구조, RISC (Reduced Instruction Set Computer) 명령 집합 구조에 의존하는 MIPS (Microprocessor without Interlocked Pipeline Stages) 명령 집합 구조와 같은 명령 집합 구조(ISA, Instruction Set Architecture)에 따라 명령들을 실행하고 데이터를 처리하도록 구성될 수 있다. 예시적으로, 프로세서(19)는 중앙 처리 장치의 기능에 추가적인 기능들을 갖는 시스템 온 칩(SoC, System on Chip)일 수 있다.

예시적으로, 메모리 모듈(20)은 SDRAM (Synchronous DRAM)과 같은 DRAM (Dynamic Random Access Memory)일 수 있으며, 또는 HBM (High Bandwidth Memory) 모듈 또는 HMC (Hybrid Memory Cube) 메모리 모듈과 같은 DRAM 기반 3DS (3-Dimensional Stack) 메모리 모듈일 수 있다. 예시적으로, 메모리 모듈(20)은 SSD (Solid State Drive), 3DS 가 아닌 DRAM 모듈, 또는 SRAM (Static Random Access Memory), PRAM (Phase-Change Random Access Memory), RRAM (Resistive Random Access Memory), CBRAM (Conductive-Bridging RAM), MRAM (Magnetic RAM), STT-MRAM (Spin-Transfer Torque MRAM) 등과 같은 반도체 기반 스토리지일 수 있다.

도 2는 본 발명의 실시 예에 따른 도 1의 시스템(15)의 예시적인 동작 레이아웃을 보여준다. 시스템(15)은 개별 물체 또는 장면(미도시) 내의 물체일 수 있는 3차원 물체(26)에 대한 Z-축에 따른 깊이 정보를 획득하는 데에 사용될 수 있다. 예시적으로, 깊이 정보는 이미지 센서부(24)로부터 수신되는 스캔 데이터에 기반하여 프로세서(19)에 의해 계산될 수 있다. 다른 예로서, 깊이 정보는 이미지 센서부(24)에서 자체적으로 계산될 수 있다(도 7a 참조). 예시적으로, 깊이 정보는 프로세서(19)에 의해 3차원 사용자 인터페이스의 일부로 사용되어, 시스템(15)의 사용자가 게임 또는 시스템(15)에서 실행되는 다른 응용의 일부로서 물체(26)의 3차원 이미지와 상호 동작하거나 또는 물체(26)의 3차원 이미지를 사용하는 것을 가능하게 할 수 있다. 본 발명의 실시 예들에 따른 3차원 이미징은 다른 목적 또는 응용을 위해 사용될 수 있으며, 장면 또는 3차원 물체에 적용될 수 있다.

도 2에서, X-축은 시스템(15)의 전면을 따른 수평 방향이고, Y-축은 페이지를 벗어나는 수직 방향이고, Z-축은 시스템(15)으로부터 이미지될 물체(26)의 방향으로 확장될 수 있다. 깊이 측정을 위해, 광원(22) 및 이미지 센서부(24)의 광축들은 Z-축에 평행할 수 있다. 본 발명의 기술적 사상을 구현하기 위해 다른 광학 배열이 사용될 수 있으며, 이들은 본 발명의 기술적 범위에 속하는 것으로 간주된다.

광원(22)은 화살표들(28, 29)로 도시된 바와 같이 3차원 물체(26)를 조명할 수 있다. 화살표들(28, 29)은 광 빔 또는 광 방사의 경로를 나타내는 점선들(30, 31)에 각각 대응한다. 광 빔 또는 광 방사는 광 시야각 내의 3차원 물체(26)를 포인트 스캔하는 데에 사용될 수 있다. 물체 표면의 라인 단위 스캔은, 레이저 제어기(34)에 의해 동작 및 제어되는 레이저원(33)일 수 있는 광학 방사원을 이용하여 수행된다. 레이저원(33)으로부터의 광 빔은, 레이저 제어기(34)의 제어에 따라, 투사 렌즈(35)를 통해 3차원 물체(26)의 표면에 걸쳐 X-Y 방향으로 포인트 스캔될 수 있다. 포인트 스캔은 도 4 및 도 5를 참조하여 더 상세하게 후술되는 바와 같이, 스캔 라인을 때라 3차원 물체의 표면에 광점들(light spots)을 투사할 수 있다. 투사 렌즈(35)는 유리 또는 플라스틱 표면을 갖는 집중 렌즈 또는 레이저원(33)으로부터의 레이저 빔을 물체(26)의 표면상의 일 점에 집중하는 원통형 광학 원소일 수 있다. 도 2의 예에서, 볼록한 구조가 집중 렌즈(35)로 도시되어 있다. 그러나, 투사 렌즈(35)를 위한 다른 형태의 적절한 렌즈 디자인이 선택될 수 있다. 물체(26)는 레이저원(33)으로부터의 조명 광이 투사 렌즈(35)에 의해 광점으로 집중되는 초점 위치에 위치할 수 있다. 따라서, 포인트 스캔에서, 3차원 물체(26)의 표면상의 좁은 영역 또는 점이 투사 렌즈(35)로부터의 집중된 광 빔에 의해 순차적으로 조명될 수 있다.

예시적으로, 레이저원(33)(또는 광원 또는 조명원)은 가시광을 발광하는 다이오드 레이저 또는 발광 다이오드(LED, Light Emitting Diode), 근적외선 레이저(NIR), 포인트 광원, 백색 램프 및 모노크로메이터(monochromator)가 조합된 단색(monochromatic) 조명원, 또는 다른 레이저 광원의 조합일 수 있다. 레이저원(33)은 시스템(15)의 하우징 내의 한 위치에 고정될 수 있으며, X-Y 방향들로 회전 가능할 수 있다. 레이저원(33)은 레이저 제어기(34)에 의해 X-Y 방향들로 제어 가능하여, 3차원 물체(26)의 포인트 스캔을 수행할 수 있다. 예시적으로, 가시광은 녹색광일 수 있다. 레이저원(33)으로부터의 가시광 조명은 거울(미도시)을 이용하여 3차원 물체(26)의 표면에 추사될 수 있다. 또는 포인트 스캔은 거울 없이 수행될 수 있다. 예시적으로, 광원(22)은 도 2에 도시된 것보다 적거나 그보다 많은 구성 요소들을 포함할 수 있다.

도 2의 예에서, 물체(26)의 포인트 스캔으로부터 반사된 광은 화살표들(36, 37) 및 점선들(38, 39)로 표시된 수집 경로를 따라 진행할 수 있다. 광 수집 경로를 통해, 레이저원(33)으로부터의 조명을 수신함에 따라 물체(26)의 표면에 의해 산란 또는 표면으로부터 반사되는 광자들이 이동할 수 있다. 도 2에서, 화살표들 및 점선들로 표시된 다양한 경로들은 예시적인 것이다. 도시된 경로들인 실제 광 신호가 진행하는 구체적인 경로를 보여주는 것으로 한정되지 않는다.

조명된 물체(26)로부터 수신되는 광은 이미지 센서부(24)의 수집 렌즈(44)를 통해 2차원 픽셀 어레이(42)의 하나 또는 그보다 많은 픽셀들에 집중될 수 있다. 투사 렌즈(35)와 유사하게, 수집 렌즈(44)는 물체(26)로부터 수신되는 반사광을 2차원 픽셀 어레이(42)의 하나 또는 그보다 많은 픽셀들에 집중하는 유리 또는 플라스틱 표면의 집중 렌즈 또는 다른 원통형 광학 원소일 수 있다. 도 2에서, 볼록 구조가 집중 렌즈(44)로 도시되어 있다. 그러나, 적절한 다른 디자인이 수집 렌즈(44)로 선택될 수 있다. 또한, 설명의 편의를 위하여, 3x3 픽셀 어레이가 도 2에 도시되어 있다. 그러나, 현재의 픽셀 어레이는 수천 또는 수백만의 픽셀들을 포함할 수 있음이 이해될 것이다. 픽셀 어레이(42)는 상이한 픽셀들이 상이한 색의 광 신호들을 수집하는 RGB 픽셀 어레이일 수 있다. 앞서 언급된 바와 같이, 픽셀 어레이(42)는 적외선(IR) 차단 필터를 갖는 2차원 RGB 센서, 2차원 적외선(IR) 센서, 2차원 근적외선(NIR) 센서, 2차원 RGBW 센서, 2차원 RWB (적색, 백색 및 청색) 센서, 다중 레이어 CMOS 유기 센서, 2차원 RGB-IR 센서 등과 같은 2차원 센서일 수 있다. 아래에서 더 상세하게 설명되는 바와 같이, 시스템(15)은 물체(26)의 3차원 이미징(깊이 측정을 포함)을 위해서 뿐 아니라 물체(26)의 2차원 RGB 컬러(또는 물체를 포함하는 장면)의 이미징을 위해서도 동일한 픽셀 어레이(42)를 사용할 수 있다. 픽셀 어레이(42)의 추가적인 상세는 도 6을 참조하여 후술된다

픽셀 어레이(42)는 수신된 광자들을 대응하는 전기 신호들로 변환하며, 이들은 픽셀 어레이 제어 및 처리부(46)에 의해 처리되어 물체(26)의 3차원 깊이 이미지가 판별될 수 있다. 예시적으로, 픽셀 어레이 제어 및 처리부(46)는 깊이 측정을 위해 삼각 측량을 사용할 수 있다. 삼각 측량은 도 4를 참조하여 후술된다. 픽셀 어레이 제어 및 처리부(46)는 픽셀 어레이(42)의 동작을 제어하기 위한 연관 회로들을 포함할 수 있다. 픽셀 어레이 제어 및 처리부(46)의 예는 도 7a 및 도 7b를 참조하여 후술된다.

프로세서(19)는 광원(22) 및 이미지 센서부(24)의 동작들을 제어할 수 있다. 예를 들어, 시스템(15)은 사용자에 의해 제어되며 2차원 이미징 모드 및 3차원 이미징 모드를 전환하는 모드 스위치(미도시)를 구비할 수 있다. 사용자가 모드 스위치를 이용하여 2차원 이미징 모드를 선택할 때, 프로세서(19)는 이미지 센서부(24)를 활성화하고, 2차원 이미징 모드는 주변광을 이용하므로 광원(22)을 활성화하지 않을 수 있다. 반면, 사용자가 모드 스위치를 이용하여 3차원 이미징 모드를 선택할 때, 프로세서(19)는 광원(22) 및 이미지 센서부(24) 모두를 활성화할 수 있다. 픽셀 어레이 제어 및 처리부(46)로부터 수신되는 처리된 이미지 데이터는 프로세서(19)에 의해 메모리 모듈(20)에 저장될 수 있다. 프로세서(19)는 사용자에 의해 선택된 2차원 또는 3차원 이미지를 시스템(15)의 표시 스크린(미도시)에 표시할 수 있다. 프로세서(19)는 설명되는 다양한 처리 작업들을 수행하는 소프트웨어 또는 펌웨어로 프로그램될 수 있다. 다른 예로서 또는 추가적으로, 프로세서(19)는 설명된 기능들의 일부 또는 전부를 수행하기 위한 프로그램 가능한 하드웨어 논리 회로들을 포함할 수 있다. 예시적으로, 메모리 모듈(20)은 프로그램 코드, 룩업 테이블, 또는 중간 연산 결과들을 저장하여, 프로세서(19)가 해당 기능을 수행하도록 할 수 있다.

도 3은 본 발명의 실시 예에 따른 3차원 깊이 측정을 보여주는 예시적인 순서도이다. 도 3에 도시된 다양한 단계들은 시스템(15)의 단일 모듈 또는 모듈들의 조합에 의해 수행될 수 있다. 예시적으로, 구체적인 작업들이 구체적인 모듈들에 의해 수행되는 것으로 설명된다. 그러나, 다른 모듈들이 해당 작업들을 수행하도록 적절하게 구성될 수 있다.

도 3에서, 52 블록에서, 시스템(15), 더 상세하게는 프로세서(19)는 도 2의 물체(26)와 같은 3차원 물체의 1차원 포인트 스캔을 도 2의 광원(22)와 같은 광원을 이용하여 스캔 라인을 따라 수행할 수 있다. 포인트 스캔의 일부로서, 광원(22)은 라인 단위로 3차원 물체(26)의 표면에 순차적인 광점들을 투사하도록 프로세서(19)에 의해 제어될 수 있다. 54 블록에서, 시스템(15)의 픽셀 어레이 제어 및 처리부(46)는 도 2의 2차원 픽셀 어레이(42)와 같은 이미지 센서에서 한 행의 픽셀들을 선택할 수 있다. 이미지 센서(42)는 이미지 플레인을 형성하는 2차원 어레이에 배열된 복수의 픽셀들을 갖는다. 예시적으로, 픽셀들의 선택된 행은 이미지 플레인에서 스캔 라인(52 블록)의 등극선(epipolar line)을 형성한다. 도 4를 참조하여 등극선 기하(epipolar geometry)의 간략한 설명이 제공된다. 56 블록에서, 픽셀 어레이 제어 및 처리부(46)는 한 행의 픽셀들에서 대응하는 픽셀을 이용하여 각 광점을 검출하도록 프로세서(19)에 의해 제어된다. 조명 광점으로부터 반사된 광이 수집 렌즈(44)에 의해 둘 또는 그보다 많은 인접 픽셀들에 집중될 때, 조명 광점으로부터 반사된 광은 단일 픽셀 또는 하나보다 많은 픽셀들에 의해 검출될 수 있다. 다시 말하면, 둘 또는 그보다 많은 광점들로부터 반사된 광이 2차원 어레이(42)의 단일 픽셀에서 수집될 수 있다. 후술되는 타임스탬프 기반 방법은, 단일 픽셀에 의해 상이한 두 개의 광점들을 이미징하는 것 또는 상이한 두 개의 픽셀들에 의해 단일 광점을 이미징하는 것으로 인해 유발되는 깊이 연산과 연관된 모호성을 제거한다. 58 블록에서, 픽셀 어레이 제어 및 처리부(46)는 순차적인 광점들(52 블록의 포인트 스캔에서)에서 대응하는 광점의 픽셀 특정 검출(56 블록)에 응답하여, 픽셀 특정 출력을 생성하도록 프로세서(19)에 의해 제어된다. 따라서, 60 블록에서, 픽셀 어레이 제어 및 처리부(46)는 적어도 픽셀 특정 출력(58 블록) 및 대응하는 광점(52 블록)을 투사하는 광원(22)에 의해 사용된 스캔 각에 기반하여, 3차원 물체의 표면상의 대응하는 광점까지의 3차원 거리(또는 깊이)를 판별할 수 있다. 깊이 측정은 도 4를 참조하여 더 상세하게 후술된다.

도 4는 본 발명의 실시 예들에 따라 3차원 깊이 측정이 수행되는 방법을 보여준다. 도 4에서, 광원(33)의 X-Y 회전 이동성은 X-방향(β의 각) 및 Y-방향(α의 각)에서 레이저의 각운동을 가리키는 화살표들(62, 64)로 도시되어 있다. 예시적으로, 레이저 제어기(34)는 프로세서(19)로부터 입력되는 스캔 명령 또는 입력에 기반하여 레이저원(33)의 X-Y 회전을 제어할 수 있다. 예를 들어, 사용자가 3차원 이미징 모드를 선택할 때, 프로세서(19)는 레이저 제어기(34)가 투사 렌즈(34)와 마주하는 물체의 3차원 깊이 측정을 시작하도록 제어할 수 있다. 이에 응답하여, 레이저 제어기(34)는 레이저원(33)의 X-Y 이동을 통해 물체 표면의 1차원 X-Y 포인트 스캔을 시작할 수 있다. 도 4에 도시된 바와 같이, 레이저원(33)은 1차원 수평 스캔 라인들을 때라 광점들을 투사함으로서 물체(26)의 표면을 포인트 스캔할 수 있다. 스캔 라인들 중 두 개가 S_R (66) 및 S_R+1 (68)의 점선으로 도 4에 도시되어 있다. 물체(26)의 표면의 곡률로 인해, 광점들(70~73)이 도 4에서 스캔 라인 S_R (66)을 형성할 수 있다. 간결한 설명을 위하여, 스캔 라인 S_R+1 (68)을 구성하는 광점들은 참조 번호들을 이용하여 식별되지 않는다. 레이저원(33)은 행들(R, R+1)을 따라 물체(26)를 한 번에 한 점씩, 예를 들어, 왼쪽으로부터 오른쪽의 방향으로 스캔할 수 있다. "R", "R+1"의 값들은 2차원 픽셀 어레이(42)에서 픽셀들의 행들을 참조하며, 따라서 알려진 값들이다. 예를 들어, 도 4의 2차원 픽셀 어레이(42)에서, 픽셀 행 "R"은 "75"의 참조 번호를 이용하여 식별되고, "R+1"의 행은 "76"의 참조 번호를 이용하여 식별된다. 행들 "R" 및 "R+1"은 간결한 설명을 위하여 복수의 행들로부터 선택된다.

2차원 픽셀 어레이에서 픽셀들의 행들을 포함하는 평면은 이미지 평면이라 불린다. S_R 및 S_R+1과 같은 스캔 라인들을 포함하는 평면은 스캔 평면이라 불린다. 도 4의 예에서, 2차원 픽셀 어레이(42)의 각 행이 대응하는 스캔 라인의 등극선(epipolar line)를 형성하도록, 이미지 평면 및 스캔 평면이 등극선 기하(epipolar geometry)를 이용하여 지향된다. 스캔 라인의 조명점의 이미지 평면으로의 투사가 행(R)에 정렬된 차별점(distinct point)를 형성할 때, 행(R)은 스캔 라인(S_R)에 대응하는 등극(epipolar)으로 여겨질 수 있다. 예를 들어, 도 4에서, 화살표(78)는 레이저원(33)에 의한 광점(71)의 조명을 보여주고, 화살표(80)는 광점(71)이 집중 렌즈(44)에 의해 행(R, 75)을 따라 이미지되는 또는 투사되는 것을 보여준다. 도 4에 도시되지 않았지만, 모든 광점들(70~73)은 대응하는 행(R)에서 대응하는 픽셀들에 의해 이미지될(imaged, 캡처 또는 촬영) 수 있다. 따라서, 위치 및 방향과 같은 레이저원(33) 및 픽셀 어레이(42)의 물리적 배치는, 물체(26)의 표면상의 스캔 라인의 조명된 광점들이 픽셀 어레이(42)의 대응하는 행의 픽셀들에 의해 캡처 또는 검출되도록, 즉 픽셀들의 행이 스캔 라인의 등극선(epipolar line)을 형성하도록 될 수 있다. 예시적으로, 도 4에 도시되지 않지만, 스캐닝 라인(S_R)과 같은 스캐닝 라인은 완전한 직선이 아니며, 구부러지거나 기울어질 수 있다. 예를 들어, 레이저(33) 및 픽셀 어레이(42) 사이에 오정렬(misalignment)이 존재할 때에, 이러한 완전하지 않은 레이저 스캔 라인들이 발생할 수 있다. 이러한 오정렬은 시스템(15)에 탑재된 다양한 부분들의 기계적 또는 물리적 오차 상의 한계로 인해, 또는 이러한 부분들의 최종 결합 또는 배치의 불일치(또는 어긋남)으로 인해 발생할 수 있다. 굽어지거나 기울어진 스캔 라인의 경우, 픽셀 어레이(42)의 픽셀들의 둘 또는 그보다 많은 행들이 통합적으로(또는 총괄적으로) 굽어진 스캔 라인의 등극선을 형성할 수 있다. 다시 말하면, 픽셀들의 단일 행은 등극선의 일부만을 형성할 수 있다. 본 발명의 실시 예들은 이미지 플레인의 픽셀들의 단일 행 또는 행들의 그룹이 대응하는 스캔 라인의 등극선을 형성하는지에 관계 없이 적용될 수 있다. 그러나, 간결한 하고 일반적인 설명을 위하여, 픽셀들의 단일 행이 등극선 전체를 형성하는 예가 주로 참조된다.

픽셀 어레이(42)의 픽셀들은 행들 및 열들로 배열될 수 있다. 조명된 광점은 픽셀 어레이(42)의 대응하는 행 및 열에 의해 참조될 수 있다. 예를 들어, 도 4에서, 스캔 라인(S_R)의 광점(71)은 "X_R,i"로 지정되며, 광점(71)이 픽셀 어레이(42)의 행(R) 및 열(C_i)에 의해 이미지됨을 가리킬 수 있다. 열(C_i)은 점선(82)으로 표시된다. 다른 조명된 광점들은 유사하게 식별될 수 있다. 앞서 언급된 바와 같이, 둘 또는 그보다 많은 광점들로부터 반사된 광은 한 행의 단일 픽셀에서 수신될 수 있으며, 단일 광점으로부터 반사된 광은 한 행의 하나보다 많은 픽셀들에서 수신될 수 있다. 후술되는 타임스탬프 기반 방법은 다중 또는 중첩 투사로부터 발생하는 깊이 계산의 모호성을 제거할 수 있다.

도 4에서, 화살표(84)는 도 2의 X-축과 같이 시스템(15)의 전면에 따른 X-방향으로부터 광점(71)의 거리(Z-축에 따른 거리 "Z") 또는 깊이를 나타낸다. 도 4에서, 점선(86)은 투사 렌즈(35) 및 수집 렌즈(44)를 포함하는 수직 평면에 포함된 것으로 시각화된 축을 나타낸다. 그러나, 간결한 설명을 위하여, 도 4에서 광원(33)이 투사 렌즈(35)를 대신하여 축(86)에 위치하는 것으로 도시된다. 삼각 측량 기반 방법에서, "Z" 값은 수학식 1을 이용하여 판별된다.

수학식 1에 언급된 파라미터들은 도 4에도 도시되어 있다. 시스템(15)의 물리적 구성에 기반하여, 수학식 1의 우측의 파라미터들의 값들이 미리 정해질 수 있다. 수학식 1에서, "h"는 수집 렌즈(44) 및 수집 렌즈(44)의 수직 후방 평면에 위치한 것으로 간주되는 이미지 센서부(42) 사이의 거리이다. "d"는 레이저원(33) 및 이미지 센서부(24)와 연관된 수집 렌즈(44) 사이의 오프셋 거리이다. "q"는 수집 렌즈(44) 및 대응하는 광점을 검출하는 픽셀 사이의 오프셋 거리이다. 여기에서, 검출 또는 이미지하는 픽셀(i)은 광점(X_R,i, 71)과 연관된 열(C_i)에 의해 나타내어진다. "θ"는 광점(71)에 대한 레이저원(33)의 스캔각 또는 빔각이다. 다른 예로서, "q"는 픽셀 어레이(42)의 시야각 내의 광점의 오프셋으로 여겨질 수 있다.

수학식 1에서, "θ" 및 "q"만이 주어진 포인트 스캔에서 가변될 수 있다. 다른 파라미터들, 즉 "h" 및 "d"는 시스템(15)의 물리적 수치이므로 고정된다. 행(R, 75)이 스캔 라인(S_R)의 등극선(epipolar line)의 적어도 일부이므로, 이미지되는 상이한 광점들에 대한 "q"의 값에 의해 나타나는 바와 같이, 물체(26)의 깊이 차이 또는 깊이 프로파일은 수평 방향에서 이미지 이동으로 반영된다. 후술되는 바와 같이, 본 발명의 실시 예들에 따른 타임 스탬프 기반 방법은, 캡처된 광점의 픽셀 위치 및 레이저원(33)의 대응하는 스캔각 사이의 대응관계를 찾는 데에 사용될 수 있다. 다시 말하면, 타임스탬프는 "q" 및 "θ" 사이의 관계를 나타낸다. 따라서, 알려진 스캔각(θ) 및 "q"로 나타내어지는 이미지된 광점의 대응하는 위치부터, 광점까지의 거리가 삼각 측량의 수학식 1을 이용하여 판별될 수 있다.

거리 측정에서 삼각 측량을 사용하는 것은 미국공개특허 제2011/0102763호에 기재되어 있으며, 본 발명의 레퍼런스로 포함된다.

도 5는 본 발명의 실시 예들에 따라 스캔된 광점들에 대한 타임스탬프의 예를 보여준다. 개별 타임스탬프의 생성의 추가적인 상세는 도 8을 참조하여 후술된다. 도 4와 반대로, 도 5의 예에서, 수집 렌즈(44) 및 레이저원(33)은 도 2에 도시된 실에 물리적 배치를 반영하여 오프셋을 갖는 것으로 도시된다. 예시적으로, 앞서 언급된 바와 같이, 도 5에 도시된 광점들(70~73)에 대응하는 스캔 라인(66)은, 레이저원(33)에 의해 물체 표면의 좌로부터 우로의 포인트 스캔에 기반하여 투사될 수 있다. 따라서, 첫 번째 광점(70)은 시간(t₁)에 투사되고, 두 번째 광점(71)은 시간(t₂)에 투사될 수 있다. 이러한 광점들은, 스캔 라인(S_R)의 등극선인 행(R, 75)에서 픽셀들(90~93)에 의해 검출 또는 이미지화될 수 있다. 예시적으로, 광점을 검출할 때에 각 픽셀에 의해 수집된 전하는 아날로그 전압 형태이며, 후술되는 픽셀 특정 깊이 판별을 위해 픽셀 어레이 제어 및 처리부(46)로 출력될 수 있다. 아날로그 픽셀 출력들은 도 5에서 화살표(95)로 총괄적으로 표시된다.

도 5에 도시된 바와 같이, 행(R)의 각 검출 픽셀(90~93)은 연관된 열 번호들(C1~C4)을 가질 수 있다. 또한, 각 열은 수학식 1의 "q"를 가질 수 있다. 따라서, 픽셀 특정 타임스탬프(t1~t4)가 검출 픽셀들(90~93)에 대해 생성될 때(아래에서 상세하게 후술됨), 타임스탬프는 픽셀의 열 번호의 표시, 즉 픽셀 특정 "q" 값을 제공한다. 또한, 레이저원(33)은 점 특정 스캔각(θ)에 대해 미리 정해진 값들로 필요한 순서로 각 점을 조명하도록 제어된다. 따라서, 픽셀 어레이(42)의 픽셀들을 이용한 점 단위의 검출을 통해, 픽셀 어레이 제어 및 처리부(46)는 각 타임스탬프를 대응하는 조명점, 즉 점 특정(spot specific) 스캔각(θ)과 링크할 수 있다. 따라서, 타임스탬프는 픽셀 어레이(42)로부터 수신되는 각 픽셀 특정(pixel specific) 신호에 대해 수학식 1의 "q" 및 "θ"의 값들의 형태로, 캡처된 광점의 픽셀 위치 및 각 스캔각 사이의 대응 관계를 제공한다. 상술된 바와 같이, 스캔각 및 수학식 1의 "q"로 반영되는 픽셀 어레이(42)의 대응하는 검출 점의 위치의 값들을 통해, 광점의 깊이 판별이 가능하다. 이와 같은 방법으로, 픽셀 어레이(42)의 시야각 내의 물체(26)의 표면에 대한 3차원 깊이 지도가 생성될 수 있다.

도 6은 본 발명의 실시 예들에 따른 도 1 및 도 2의 이미지 센서(24)의 픽셀 어레이 제어 및 처리부(46)의 처리 회로들과 연관된 부분 및 2차원 픽셀 어레이(42)의 회로 상세를 보여준다. 앞서 언급된 바와 같이, 간결한 설명을 위하여, 픽셀 어레이(42)는 9개의 픽셀들(100~108)을 구비하며 3x3 어레이로 배열되는 것으로 도시된다. 그러나, 픽셀 어레이(42)는 다중 행들 및 열들에 배치된 수십만 또는 수백만의 픽셀들을 포함할 수 있다. 예시적으로, 각 픽셀은 도 6에 도시된 바와 같이 동일한 구성을 가질 수 있다. 도 6의 예에서, 2차원 픽셀 어레이(42)는 CMOS (Complementary Metal Oxide Semiconductor) 어레이이며, 각 픽셀은 4T PPD (Four Transistor Pinned Photo-diode) 픽셀이다. 간결한 설명을 위하여, 픽셀(108)의 회로 구성들만이 참조 번호들로 표시된다. 픽셀(108)의 동작의 설명은 다른 픽셀들(100~107)에 동일하게 적용될 수 있으며, 따라서 각 픽셀의 설명은 생략된다.

도시된 바와 같이, 4T PPD 픽셀(108) 또는 다른 픽셀(101~107)은 도시된 바와 같이 연결된 PPD (pinned photo-diode) 및 네 개의 NMOS (N-channel Metal Oxide Semiconductor) 트랜지스터들을 포함할 수 있다. 예시적으로, 픽셀들(100~108)은 P-채널 MOSFET (Metal Oxide Semiconductor Field Effect Transistors), 즉 PMOS 또는 전하 전송 장치의 다른 타입으로 형성될 수 있다. 트랜지스터(111)는 전송 게이트(TG), FD (Floating Diffusion) 트랜지스터로 동작할 수 있다. 4T PPD 픽셀(108)은 다음과 같이 동작할 수 있다. 우선, PPD (110)는 입사된 광자들을 전자들로 변환하여, 광 입력 신호를 전하 도메인의 전기 신호로 변환한다. 이후에, 전송 게이트(111)가 닫히고, 광자로부터 생성된 전자들 모두가 PPD (110)로부터 FD로 전송된다. 전하 도메인의 신호는 차후 처리 및 측정의 용이성을 위해 전압 도메인으로 변환된다. FD의 전압은 픽셀 출력(PIXOUT) 신호로서 트랜지스터(114)를 이용하여 아날로그 디지털 변환기(ADC)로 전송되고, 후속 처리를 위한 적절한 디지털 신호로 변환된다. 픽셀 출력(PIXOUT)의 생성 및 처리에 대한 상세는 도 8을 참조하여 후술된다.

도 6에서, 픽셀 어레이 제어 및 처리부(46)의 행 디코더 및 드라이버(116)는 세 개의 다른 신호들을 제공하여 픽셀 어레이(42)의 픽셀들의 동작을 제어하고, 열 특정(column specific) 픽셀 출력(PIXOUT) 신호들(117~119)을 생성한다. 도 5에서, 출력(95)은 픽셀 출력(PIXOUT) 신호들(117~119)을 총괄적으로 보여준다. 행 선택(RSEL) 신호는 적절한 픽셀들의 행을 선택할 수 있다. 예시적으로, 선택되는 행은 레이저원(33)에 의해 투사되는 현재 스캔 라인(또는 광점들)의 등극선(epipolar line)일 수 있다. 행 디코더 및 드라이버(116)는 프로세서(19)로부터 행 어드레스 및 제어 입력들(126)을 통해 선택될 행의 어드레스 또는 제어 정보를 수신할 수 있다. 예시적으로, 행 디코더 및 드라이버(116)는 픽셀(108)을 포함하는 행을 선택하는 것으로 가정된다. 픽셀 어레이(42)의 각 행의 픽셀들의 트랜지스터(예를 들어, 114)는 도시된 바와 같이 대응하는 RSEL 라인(예를 들어 122)에 연결될 수 있다. 리셋(RST) 신호는 선택된 행의 픽셀들에 인가되어 픽셀들을 미리 정해진 고전압 레벨로 초기화한다. 행 특정 리셋(RST) 신호들(128~130)이 도 6에 도시되며, 도 8의 파형들을 참조하여 더 상세하게 설명된다. 각 픽셀의 트랜지스터(예를 들어, 112)은 도시된 바와 같이 대응하는 리셋(RST) 신호를 수신할 수 있다. 전송(TX) 신호는 후속 처리를 위한 픽셀 특정 출력 전압(PIXOUT)의 전송을 제어할 수 있다. 행 특정 전송(TX) 라인들(132~134)이 도 6에 도시된다. 전송 게이트 트랜지스터(예를 들어, 111)는 도 6에 도시된 바와 같이 대응하는 전송(TX) 신호를 수신할 수 있다.

앞서 언급된 바와 같이, 본 발명의 실시 예들에서, 이미지 센서부(24)의 2차원 어레이(42) 및 나머지 구성 요소들은 3차원 깊이 측정 뿐 아니라 2차원 RGB (또는 비-RGB) 이미징을 위해 사용될 수 있다. 따라서, 도 6에 도시된 바와 같이, 이미지 센서부(24)는 2차원 이미징 및 3차원 이미징에 사용되는 CDS (Correlated Double Sampling) 및 열 특정 ADC (열 당 하나의 ADC)를 모두 포함하는 픽셀 열 유닛(138)을 포함할 수 있다. 픽셀 열 유닛(138)은 픽셀 출력(PIXOUT) 신호들(117~119)을 수신하고, 이들을 처리하여 2차원 이미지가 생성되거나 또는 3차원 깊이가 획득될 수 있는 디지털 데이터 출력(Dout) 신호(140)를 생성할 수 있다. 픽셀 열 유닛(138)은 픽셀 출력(PIXOUT) 신호들(117~119)의 처리 동안에 참조 입력(142) 및 램프 입력(143)을 수신할 수 있다. 픽셀 열 유닛(138)의 동작의 더 상세한 설명은 후술된다. 도 6에서, 열 디코더(145)는 픽셀 열 유닛(138)과 연결된다. 열 디코더(145)는 주어진 행 선택(RSEL) 신호와 함께 선택된 열에 대한 열 어드레스 및 제어 입력(147)을 예를 들어 프로세서(19)로부터 수신할 수 있다. 열 선택은 순차적이며, 대응하는 행 선택(RSEL) 신호에 의해 선택된 행의 각 픽셀로부터 순차적으로 픽셀 출력(PIXOUT)이 수신된다. 프로세서(19)는 현재 투사되는 광점들의 스캔 라인을 알고 있을 수 있다. 따라서, 프로세서(19)는 적절한 행 어드레스 입력을 제공하여, 현재 스캔 라인의 등극선을 형성하는 행의 픽셀들을 선택할 수 있다. 또한, 프로세서(19)는 적절한 열 어드레스 입력을 제공하여 픽셀 열 유닛(138)을 활성화하고, 선택된 행의 개별 픽셀들로부터 픽셀 출력들(PIXOUT)을 수신할 수 있다.

도 6에서, 본 발명의 실시 예들에 따른 2차원 및 3차원 이미징을 위한 4T PPD 픽셀 디자인이 설명되었으나, 다른 타입의 픽셀들이 2차원 픽셀 어레이(42)에 사용될 수 있다. 예를 들어, 픽셀 어레이(42)의 각 픽셀은 도 6의 4T PPD에서 전송 게이트 트랜지스터(예를 들어, 111)를 생략한 3T 픽셀일 수 있다. 다른 예로서, 1T 픽셀 또는 2T 픽셀이 사용될 수 있다. 다른 예로서, 픽셀 어레이(42)의 각 픽셀은, 둘 또는 그보다 많은 이웃한 픽셀들에서 트랜지스터들 및 독출 회로가 공유되는 공유 트랜지스터 픽셀 구조를 가질 수 있다. 공유 트랜지스터 픽셀 구조에서, 각 픽셀은 포토 다이오드 및 전송 게이트 트랜지스터 중 적어도 하나를 갖는다. 나머지 트랜지스터들은 둘 또는 그보다 많은 픽셀들에서 공유될 수 있다. 공유 트랜지스터 픽셀의 일 예는, 2개의 픽셀들에서 5개의 트랜지스터들이 사용되어 픽셀 당 2.5T 구성을 갖는 2-공유(1x2) 2.5T 픽셀이다. 픽셀 어레이(42)에서 사용되는 공유 트랜지스터 픽셀의 다른 예는, 4개의 픽셀들이 독출 회로를 공유하고 각 픽셀은 포토 다이오드 및 전송 게이트(TX) 트랜지스터 중 적어도 하나를 갖는 1x4 4-공유 픽셀이다. 기술되지 않은 다른 픽셀 구성들이 본 발명의 기술적 사상에 따른 2차원 및 3차원 이미징을 위해 적절히 구현될 수 있다.

도 7a는 본 발명의 실시 예들에 따른 도 6의 이미지 센서부(24)의 예시적인 레이아웃을 보여준다. 도 7a에서, 간결한 설명을 위하여, 구성에 대한 간략한 설명만이 제공되며, 동작에 대한 더 상세한 설명은 도 8, 도 10 및 도 11을 참조하여 제공된다. 도 7의 예에서, 2차원 픽셀 어레이(42) 외의 다양한 구성 블록들은 도 2의 픽셀 제어부(46)의 일부를 형성할 수 있다. 도시된 바와 같이, 도 7a의 이미지 센서부(24)는 도 6의 행 디코더 및 드라이버(116)을 총괄적으로 포함하는 행 디코더부(149) 및 행 드라이버부(150)를 포함한다. 도 7a에 도시되지 않았지만, 행 디코더부(149)는 행 어드레스 입력(예를 들어, 도 6의 126)을 예를 들어 프로세서(19)로부터 수신하고, 수신된 입력을 디코드하여 행 드라이버부(150)를 활성화할 수 있다. 행 드라이버부(150)느 행 디코더(149)에 의해 선택된 또는 디코드된 행에 적절한 행 선택(RSEL), 리셋(RST) 및 전송(TX) 신호를 제공할 수 있다. 행 드라이버부(150)는 제어 신호를 예를 들어 프로세서(19)로부터 수신하여, 행 선택(RSEL), 리셋(RST) 및 전송(TX) 신호들의 적절한 전압 레벨들을 적용할 수 있다. 도 7a의 이미지 센서부(24)에서, 열 ADC 유닛(153)은 도 6의 픽셀 열 유닛(138)을 나타낼 수 있다. 간결한 설명을 위하여, 도 7a에서, 행 드라이버부(150)로부터의 행 선택(RSEL), 리셋(RST) 및 전송(TX) 신호들과 같은 다양한 행 특정(row specific) 드라이버 신호들은 참조 번호 "155"를 이용하여 통합적으로 참조된다. 마찬가지로, 도 6의 픽셀 출력(PIXOUT) 신호들(117~119)과 같은 모든 열 특정 픽셀 출력들(PIXOUT)은 참조 번호 "157"을 이용하여 통합적으로 참조된다. 열 ADC 유닛(153)은 픽셀 출력(PIXOUT) 신호들(157), 참조 신호 생성기(159)로부터의 참조 입력(142), 그리고 램프 신호(143)을 수신하고, 픽셀들의 열들에 대한 대응하는 열-특정 ADC를 이용하여 픽셀 특정 출력을 생성할 수 있다. 3차원 이미징은 도 8을 참조하여 더 상세하게 설명된다. 예시적으로, 열 ADC 유닛(153)은 도 6의 픽셀 열 유닛(13)의 경우와 같이 CDS를 위한 회로를 포함하며, 픽셀들의 리셋 레벨 및 수신된 신호 레벨 사이의 차이인 CDS 출력을 생성할 수 있다. 예시적으로, 3차원 깊이 값들은 2차원 이미지와 조합되어 물체의 3차원 이미지를 생성할 수 있다.

열 ADC 유닛(153)은 2차원 픽셀 어레이(42)의 픽셀 열 당 별도의 ADC를 포함할 수 있다. 각 열 특정 ADC는 픽셀 출력(PIXOUT)과 함께 램프 신호 생성기(163)로부터 대응하는 램프 입력(143)을 수신할 수 있다. 예시적으로, 램프 신호 생성기(163)는 참조 신호 생성기(159)로부터의 참조 전압 레벨에 기반하여 램프 입력(143)을 생성할 수 있다. 열 ADC 유닛(153)의 각 열 특정 ADC는 수신된 입력들을 처리하여 대응하는 디지털 데이터 출력(Dout) 신호(140)를 생성할 수 있다. 열 디코더부(145)로부터, 열 ADC 유닛(153)은 어떤 ADC 출력이 읽힐 것인지 그리고 디지털 데이터 출력(Dout)으로 출력될 것인지에 대한 정보를 수신하고, 주어진 행에서 어떤 열을 선택하여 픽셀 출력(PIXOUT)을 수신할 것인지에 대한 정보를 수신할 수 있다. 도 7a에 도시되지 않았지만, 열 디코더부(145)는 열 어드레스 입력(예를 들어, 도 6의 147)을 예를 들어 프로세서(19)로부터 수신하고, 수신된 입력들 디코드하여 열 ADC 유닛(153)을 활성화할 수 있다. 열 ADC 유닛(153)은 적절한 픽셀 열을 선택할 수 있다. 도 7a의 예에서, 디코딩된 열 어드레스 신호들은 참조 번호 "165"를 이용하여 통합적으로 식별된다.

열 ADC 유닛(153)으로부터의 디지털 데이터 출력(Dout) 신호들(140)은 디지털 처리 블록(167)에 의해 처리된다. 예시적으로, 2차원 RGB 이미징 모드에 대해, 각 ADC 특정 데이터 출력(140)은 대응하는 픽셀에 의해 수집된 실제 광자들에 대응하는 다중 비트 디지털 값일 수 있다. 반면, 3차원 측정 모드에서, 각 ADC 특정 데이터 출력(140)은 각 픽셀이 대응하는 광점을 검출한 때를 나타내는 타임스탬프일 수 있다. 본 발명의 실시 예들에 따른 타임스탬프 방법은 더 상세하게 후술된다. 디지털 처리 블록(167)은 타이밍 생성, 2차원 이미징 모드에서 데이터 출력들(140)을 처리하는 이미지 신호 처리(ISP, Image Signal Processing), 3차원 이미징 모드에서 깊이 계산을 제공하는 회로들을 포함할 수 있다. 디지털 처리 블록(167)은 인터페이스부(168)에 연결되어 처리된 데이터를 출력(170)으로 제공하고, 프로세서(19)가 3차원 물체의 2차원 RGB(또는 비-RGB) 이미지 또는 3차원 깊이 이미지를 시스템(15)의 표시 스크린에 나타내도록 할 수 있다. 인터페이스부(168)는 디지털 처리 블록(167)의 타이밍 생성 기능을 지원하는 클럭 신호들의 생성을 위한 PLL (Phase-Locked Loop)을 포함할 수 있다. 또한, 인터페이스부(168)는 디지털 처리 블록(167)에 의해 생성된 데이터에 대하여, 시스템(15)의 다른 구성 요소들 또는 회로 원소들과의 산업 표준 하드웨어 및 소프트웨어 인터페이스를 제공하는 MIPI (Mobile Industry Processor Interface)를 포함할 수 있다. MIPI 스펙은 넓은 범위의 모바일 제품들을 지원하며, 모바일 장치의 카메라, 표시 스크린, 전력 관리, 배터리 인터페이스 등을 위한 스펙을 제공한다. MIPI 표준화된 인터페이스들은 스마트폰의 카메라 또는 표시 스크린과 같은 모바일 장치의 주변 기기들 그리고 주변 기기들을 제공하는 벤더와 동일하지 않은 벤더로부터의 모바일 장치의 응용 프로세서 사이에 향상된 동작성을 제공한다.

도 7a에서, 타임스탬프 측정부(171)는 열 ADC 유닛(153)에 연결되고, 개별 열 특정 ADC에 적절한 측정(calibration) 신호들(172)을 제공하여, 열 특정 ADC가 3차원 특정(measurement) 모드에서 픽셀 특정 타입스탬프 값을 나타내는 출력을 생성하도록 제어할 수 있다. 도 7a에 도시되지 않지만, 예시적으로, 타임스탬프 측정부(171)는 처리 지원과 연관된 타임스탬프 교정을 위해 디지털 처리 블록(167)과도 연결될 수 있다. 타임스탬프 방법 및 연관된 측정(또는 교정)은 도 8 내지 도 11을 참조하여 더 상세하게 후술된다.

도 7b는 본 발명의 실시 예들에 따른 3차원 깊이 측정을 위한 예시적인 CDS 및 ADC 유닛(175)을 보여준다. 간결한 설명을 위하여, CDS 및 ADC 유닛(175)은 이하에서 "ADC 유닛"으로 참조된다. 그러나, 아래에서 언급되는 "ADC 유닛"은 ADC 기능에 더하여 CDS 기능을 더 포함하는 것으로 해석된다. 도 7b에서, 커패시터(176)는 ADC 유닛(175)의 단순화된 구현을 나타낸다. 예시적으로, 2차원 픽셀 어레이(42)의 픽셀들의 각 열은 ADC 유닛(175)과 유사한 열 특정, 단일 기울기의 ADC 유닛을 포함할 수 있다. 다시 말하면, 주어진 행의 각 픽셀은 ADC 유닛(175)과 같은 동일한 ADC 유닛을 공유할 수 있다. 따라서, 도 6의 예에서, 컬럼 당 1개의 ADC 유닛(175), 즉 픽셀 열 유닛(138)에 3개의 ADC 유닛들(175)이 제공될 수 있다. 예시적으로, 열 특정 ADC 유닛(175)은 도 7a의 열 ADC 유닛(153)의 일부일 수 있다. 도시된 바와 같이, 도 7b의 ADC 유닛(175)은 이진 카운터(181) 및 라인 메모리(183)과 함께 직렬 연결되는 두 개의 OTA (Operational Transconductance Amplifiers) (177, 179)를 포함한다. 간결한 설명을 위하여, 도 7b에서 OTA (177, 179)의 반전(-) 및 비반전(+) 전압 입력들만이 도시되어 있으며, 바이어스 입력들 및 전원 연결은 생략되어 있다. OTA는 차동 입력 전압들로 출력 전류를 생성하는 증폭이다. 따라서, OTA는 전압 제어 전류 소스일 수 있다. 증폭기의 트랜스컨덕턴스를 제어하기 위하여 전류 또는 전압의 바이어스 입력들이 이용될 수 있다. 첫 번째 OTA (177)는 열 디코더(145)로부터 수신되는 열 번호를 이용하여 활성화된 행에서 선택되는 도 6의 픽셀(108)과 같은 픽셀로부터의 픽셀 출력(PIXOUT) 전압의 CDS 버전을 CDS 유닛(176)으로부터 수신할 수 있다. 픽셀 출력(PIXOUT) 신호의 CDS 버전은 "PIX_CDS" 신호로 참조된다. OTA (177)는 도 7a의 램프 전압 생성기(163)f부터 Vramp 전압(143)을 수신할 수 있다. OTA (177)는, 도 8을 참조하여 후술되는 바와 같이, 픽셀 출력(PIXOUT) 전압(157)이 Vramp 전압(143) 밑으로 떨어질 때에 출력 전류를 생성할 수 있다. OTA (177)의 출력은 이진 카운터(181)에 적용되기 전에 두 번째 OTA (179)에 의해 필터링된다. 예시적으로, 이진 카운터(181)는 클럭(Clk) 입력(185)을 수신하고, 첫 번째 OTA (177)의 출력 전류의 생성에 의해 트리거되는 미리 정해진 시간 동안 카운팅되는 클럭 사이클들에 기반하여 타임스탬프 값을 생성하는 10비트 리플(ripple) 카운터일 수 있다. 도 7b에서, 클럭(Clk) 입력(185)은 시스템 전역 클럭 또는 인터페이스부1(168)의 PLL에 의해 또는 시스템(150의 다른 클럭 생성기(미도시)에 의해 생성되는 이미지 센서 특정 클럭일 수 있다. 픽셀 특정 타임스탬프 값(186)은 픽셀의 열 번호에 대하여 라인 메모리(183)에 저장되고, Dout 신호(140)로서 순차적으로 디지털 처리 블록(167)으로 출력된다. 열 번호 입력(165)은 도 7a에 도시된 열 디코더부(145)로부터 수신될 수 있다.

예시적으로, RGB 컬러 모델은 도 1 및 도 2의 시스템(15)과 같은 모바일 장치에서 이미지들의 감지, 표현 및 표시를 위해 사용될 수 있다. RGB 컬러 모델에서, 3원색, 즉 적색, 녹색 및 청색을 갖는 광 신호들이 다양한 방법들로 함께 더해져, 최종 이미지에서 색들의 광대한 어레이를 생성한다. CDS 모델은 2차원 이미징에서, 불필요한 오프셋을 제거하는 방법으로, 픽셀 또는 센서 출력 전압과 같은 전기 값들을 측정하는 데에 사용된다. 예를 들어, CDS 유닛(176)과 같은 CDS 유닛은 ADC 유닛(175)와 같은 각 열 특정 ADC 유닛에 적용되어, 상관 이중 샘플링(CDS, correlated double sampling)을 수행할 수 있다. CDS 에서, 픽셀의 출력은 두 번, 한 번은 알려진 조건에서 한 번은 알려지지 않은 조건에서 측정된다. 알려진 조건에서 측정된 값은 알려지지 않은 조건에서 측정된 값으로부터 감해지며, 측정된 물리량, 즉 이미지 신호의 픽셀 특정 부분을 나타내는 광전자 충전(photoelectron charge)과 알려진 관계를 갖는 값을 생성한다. CDS를 이용하여, 각 집적 구간의 끝에서 픽셀의 신호 전압으로부터 픽셀의 참조 전압(예를 들어, 리셋 이후의 전압)을 감함으로써 노이즈가 감소된다. 따라서, CDS에서, 픽셀의 전하가 출력으로 전달되기 전에, 리셋 값이 샘플된다. 픽셀의 전하가 전달된 후에, 참조 값이 공제된다.

예시적으로, ADC 유닛(175)은 2차원 이미징 및 3차원 깊이 측정 모두에 사용될 수 있다. 그러나, 이러한 공유 구성은 도 7b에 도시되어 있지 않다. 공유 사용의 경우, 대응하는 Vramp 신호가 2차원 이미징에 대해 다를 수 있다.

도 8은 본 발명의 실시 예들에 따라 3차원 모드에서 타임스탬프 기반 픽셀 특정 출력을 생성하는 시스템(15)의 신호들의 예시적인 타이밍을 보여주는 타이밍도(190)이다. 앞서 언급된 바와 같이, 동일한 이미지 센서부(24) 내의 모든 픽셀들은 2차원 및 3차원 이미징에 사용될 수 있다.

도 4 및 도 5를 참조하여 설명된 바와 같이, 3차원 물체(26)는 픽셀 어레이(42)의 행(R, 75)을 따라 한 번에 한 지점씩 레이저 광원(33)에 의해 포인트 스캔될 수 있다. "R"은 스캐닝 라인(S_R, 66)과의 등극 관계에 기반하여 알려진 값이다. 한 행의 스캐닝 후에, 스캐닝 동작이 다른 행에서 반복된다. 레이저가 다음 지점을 투사할 때에, 이전에 투사된 광점은 행(R)의 대응하는 픽셀에 의해 이미지될 수 있다. 행(R)의 모든 픽셀들로부터의 픽셀 특정 출력들이 디지털 처리 블록(167, 도 7a 참조)의 깊이 처리 회로/모듈로 독출될 수 있다.

픽셀 특정 출력을 생성하기 위하여, 대응하는 행이 행 선택(RSEL) 신호를 이용하여 선택될 수 있다. 도 8에 도시된 바와 같이, 도 6의 행 디코더 및 드라이버(116)는 행 선택(RSEL) 신호(122)를 하이 레벨로 제어함으로써, 픽셀들(106~108)을 포함하는 픽셀들의 행을 선택할 수 있다. 따라서, 픽셀들(106~108)이 함께 선택된다. 간결한 설명을 위하여, 도 8에서, 도 6 및 도 7에 도시된 신호들, 입력들 또는 출력들에 대해 동일한 참조 번호들이 사용된다. 초기에, 선택된 행의 모든 픽셀들(106~108)이 리셋(RST) 신호(108)를 이용하여 고전압으로 리셋된다. 픽셀의 리셋 레벨은 대응하는 광점의 픽셀 특정 검출이 없는 때를 나타낸다. 본 발명의 실시 예들에 따른 3차원 모드에서, 리셋(RST) 신호(128)는 미리 정해진 시간 동안 하이 레벨로부터 해제되어, 픽셀들(106~108)에 의해 수신되는 광전자들의 집적을 가능하게 하고, 대응하는 픽셀 출력(PIXOUT) 신호들(117~119)을 획득할 수 있다. 픽셀 출력(PIXOUT) 신호들(117~119) 중 두 개가 도 8에 도시되며, 후술된다. 픽셀 출력(PIXOUT1) 신호(119)는 픽셀(1080에 의해 대응하는 ADC 유닛에 공급되는 출력을 나타내며, 2점 쇄선으로 도시된다. 픽셀 출력(PIXOUT2) 신호(118)는 픽셀(107)에 의해 대응하는 ADC 유닛에 공급되는 출력을 나타내며, 점선으로 도시된다. 예시적으로, 다른 리셋(RST) 신호들(예를 들어, 도 6의 129 및 130)은 선택된 행들에 대해 하이 또는 온으로 유지되어 블루밍(blooming)을 방지할 수 있다. 도 8의 픽셀 출력(PIXOUT) 신호들(118~119)은 각 열 특정 ADC 유닛(175, 도 7b 참조)의 첫 번째 OTA (177)로 PIX_CDS 신호들로서 적용되기 전에, CDS 유닛(176)에 의해 수정될 수 있다. 그러나, 간결한 설명을 위하여, 도 8 및 도 10에서 픽셀 출력(PIXOUT) 신호들(118~119)은 PIX_CDS 신호들을 나타내는 것으로 취급되며, 각 OTA (177)에 직접 입력되는 것으로 간주된다.

리셋 후에, 각 픽셀의 포토다이오드가 입사되는 조명, 예를 들어 3차원 물체(26)의 표면 상에 투사된 광점으로부터 반사되는 광의 광전자들을 수신할 때, 포토다이오드는 대응하는 광전류를 생성할 수 있다. 입사된 광의 픽셀의 검출은 온 이벤트로 불리며, 입사된 광의 광속의 감소는 오프 이벤트라 불린다. 온 이벤트에 응답하여 생성되는 광전류는 픽셀 출력(PIXOUT) 전압을 초기 리셋 레벨로부터 감소시킬 수 있다. 따라서, 픽셀은 수신되는 조명 또는 광 신호를 도 6 내지 도 8과 도 10 및 도 11의 픽셀 출력(PIXOUT) 신호로 통칭되는 대응하는 전기(아날로그) 전압으로 변환하는 트랜스듀서로 기능한다. 각 픽셀은 레이저원에 의해 투사되는 대응하는 광점들의 순서에 따라 개별적으로 읽혀질 수 있다. 아날로그 픽셀 출력(PIXOUT) 신호는 대응하는 열 ADC에 의해 디지털 값으로 변환될 수 있다. 2차원 이미징 모드에서, ADC는 아날로그 디지털 변환기(Time to Digital Converter, TDC)로 기능하며, 다중 비트 출력을 생성한다. 그러나, 후술되는 바와 같이, 3차원 깊이 측정 모드에서, ADC는 시간 디지털 변환기로 기능하며, 광점이 픽셀에 의해 검출되는 시간을 나타내는 타임스탬프 값을 생성한다.

도 8을 다시 참조하면, 리셋(RST) 신호(128)를 하이로 제어하여 픽셀 리셋이 수행된 후에, 픽셀들(106~108)과 연관된 열 ADC 또한 리셋(RST) 신호가 해제되기 전에 리셋된다. 그러나, 전송(TX) 신호(132)는 하이로 유지도리 수 있다. ADC는 공통 ADC 리셋 신호 또는 개별 ADC 특정 리셋 신호들을 이용하여 리셋될 수 있다. 도 8의 예에서, 공통 ADC 리셋(ADC_RST) 신호(192)가 하이 레벨로 제어되어, 열 ADC (153, 도 7a 참조) 내의 열 특정 ADC (175)를 리셋하는 것으로 도시된다. 예시적으로, 픽셀들이 리셋된 후에, ADC는 이진 '0' 또는 다른 알려진 값과 같은 미리 결정된 이진 값으로 리셋될 수 있다. 도 8에서, 픽셀들(108, 107)과 연관된 ADC에 대한 리셋 값들은 신호들 ADCOUT1 (또는 ADC 출력 "A") 및 ADCOUT2 (또는 ADC 출력 "B")의 필드들(194, 195)로 도시된다. 여기에 사용된 "필드"는 도 8에 도시된 ADC 출력들을 간결하게 설명하기 위한 용도로 사용된다. ADC 출력은 실제로 동시에 이러한 필드들로 구성되지 않을 수 있다. ADC 출력은 ADC의 신호 처리의 현재 단계에 의존하는 특정한 디지털 값일 수 있다. ADC가 리셋되면, 출력은 이진 "0"일 수 있다. ADC가 클럭 펄스들을 카운트하도록 제어되면, 출력은 도 8에서 3차원 깊이 측정의 케이스의 카운트 값일 수 있다. ADC가 2차원 이미징을 위해 사용되면, 출력은 이미지 신호를 나타내는 다중 비트 값일 수 있다. 도 8의 ADC 출력 신호들은, ADC가 최종 출력을 위해 내부적으로 처리중인 상이한 디지털 값들을 표현하기 위한 용도로 "필드"로 참조된다. 도 8에서, 참조 번호 197은 픽셀(108)과 연관된 ADC의 출력을 나타내는 ADCOUT1 신호를 참조한다. 참조 번호 198은 픽셀(108)과 연관된 ADC의 출력을 나타내는 ADCOUT2 신호를 참조하는 데에 사용된다. 메모리 읽기 동안 열 디코더에 의해 각 ADC가 선택될 때, 출력들(197, 198)은 Dout 신호들(140)(도 6 및 도 7 참조)로 나타난다. 리셋되기 전에, ADC 출력들(197, 198)은 필드들(199, 200)에서 "x"로 표시된 바와 같이 알려지지 않은 값들을 가질 수 있다.

ADC가 리셋된 후에, 픽셀 리셋 신호(128) 및 ADC 리셋 신호(192)가 해제된 후에, 램프 입력(Vramp)을 미리 정해진 전압 레벨로 제어함으로써 미리 결정된 문턱 값이 활성화된다. 도 8의 예에서, RAMP 입력(143)은 모든 열 특정 ADC들에 공통이며, 각 ADC에 동일한 Vramp 전압이 제공된다. 그러나, 다른 예로서, 둘 또는 그보다 많은 ADC들에 상이한 Vramp 전압들이 ADC 특정 RAMP 입력들로 각각 적용될 수 있다. 예시적으로, Vramp 문턱은 필요에 따라 가변되는 것을 허용하는 프로그램 가능한 파라미터일 수 있다. 문턱(RAMP 신호)이 활성화된 후에, 픽셀 특정 ADC는 바이너리 카운터(181, 도 7b 참조)를 시작하기 전에 대응하는 픽셀의 온 이벤트를 기다릴 수 있다.

3차원 이미징 모드의 다중 비트 출력과 반대로, 3차원 깊이 측정 모드에서 각 ADC는 단일 비트 출력(이진 "0" 또는 "1")을 생성할 수 있다. 따라서, 3차원 모드에서, RGB 센서의 경우에, RGB 픽셀 어레이(42)에서 픽셀에 의해 수신되는 색 정보는 무시될 수 있다. 픽셀에 의해 검출되는 입사광이 없는 때에, 대응하는 ADCOUT 신호는 이진 "0"을 유지할 수 있다. 따라서, 온 이벤트가 없는 열들은 대응하는 ADCOUT 신호들로 "0" 또는 다른 알려진 디지털 값을 유지할 수 있다. 그러나, 픽셀이 입사광과 충돌한 때에, PIXOUT 신호는 도 8에서 PIXOUT1 및 PIXOUT2의 하강 기울기로 도시된 바와 같이 리셋 레벨로부터 하강하기 시작한다. 전하를 첫 번째로 수신하는 픽셀과 함께 시작하는 픽셀 전하가 읽혀지는 것을 가정하면, 도 5에 도시된 바와 같이, 읽기는 행의 최우측 픽셀에서 시작하고 최좌측 픽셀에서 종료된다. "t₁"는 가장 빠른 시간이고, "t₄"는 가장 늦은 시간이다. 따라서, 도 8의 예에서, 픽셀(108)의 출력(PIXOUT1)은 픽셀(107)의 출력(PIXOUT2)보다 먼저 읽힌다. PIXOUT1이 Vramp 문턱(143)에 도착하면, 단일 비트 ADCOUT1이 이진 "0"으로부터 이진 "1"로 뒤집힌다. 그러나, 이진 "1"을 출력하는 대신, 대응하는 ADC는 비트 뒤집힘이 발생한 시간을 기록할 수 있다. 다시 말하면, ADCOUT1에서 업카운트 필드(20)에 의해 표시된 바와 같이, 픽셀(108)과 연관된 ADC는 ADC에서 이진 카운터를 시작함으로써 시간 디지털 변환기로 기능할 수 있다. 업 카운트 구간 동안, ADC의 카운터는 도 7b에 도시된 바와 같이 각 ADC에 공급되는 CLK 신호(185)의 클럭 펄스들을 카운트할 수 있다. 카운트된 클럭 펄스들은 도 8에서 제1 카운트 클럭으로 도시되며, 업 카운트 필드에서 카운트된 값은 픽셀(108)에 대한 픽셀 특정 출력으로 제공될 수 있다. 도 8에서 제2 카운터 클럭 신호로 표시된 바와 같이, 픽셀(107)에 의해 수집된 전하에 대해 픽셀(107)과 연관된 ADC에서 유시한 카운팅이 발생할 수 있다. 업카운트 필드(207)에서 픽셀 특정 카운트된 값은 픽셀(107)에 대한 픽셀 특정 출력으로서 각 ADC에 의해 제공될 수 있다. 행 내의 모든 픽셀들을 스캔한 후에, 스캔된 행으로부터의 출력들이 디지털 처리 블록(167)의 깊이 계산부로 읽혀지는 동안, 다음 행에서 픽셀 단위 전하 수집 동작이 반복될 수 있다.

각 ADC 출력은, 레이저원(33)에 의해 조명된 물체의 표면상의 광점의 픽셀에 의한 검출의 시간 지표를 제공하는 타임스탬프 값을 나타낼 수 있다. 타임스탬프는 픽셀에 대한 광 도달 시간을 캡처한 것으로 여겨질 수 있다. 예시적으로, 타임스탬프 값은, 검출된 광점에 대해, ADC 유닛으로부터 수신되는 카운트된 클럭 펄스들의 카운트 값으로부터 디지털 처리 블록(167)에 의해 생성될 수 있다. 예를 들어, 디지털 처리 블록(167)은 카운트 값을 내부 시스템 시간 또는 다른 참조 시간과 연관함으로써 타임스탬프를 생성할 수 있다. 타임스탬프는 수신 종료 시에 생성되며, 따라서 레이저원(330에 의해 대응하는 광점이 투사된 정확한 시간을 나타낼 필요는 없다. 그러나, 타임스탬프 값은 디지털 처리 블록(167)이 타임스탬프가 생성된 광점들 사이의 시간적 관계를 수립하게 한다. 따라서, 디지털 처리 블록(167)은 시간적 관계를 이용하여 타임스탬프가 생성된 광점들까지의 거리들을 시간 순서로 판별할 수 있다. 가장 먼저 조명된 광점까지의 거리가 가장 먼저 판별될 수 있다. 가장 늦게 조명된 광점까지의 거리가 가장 늦게 판별될 수 있다. 예시적으로, 후술되는 바와 같이, 타임스탬프는 동일한 픽셀에서 이미지되는 다중 광점들로부터 발생하는 모호성의 해법을 제시할 수 있다.

모든 ADC 기반 카운터들은 램프 신호(143)가 미리 결정된 시간 구간이 경과한 후에 비활성화될 때에 동시에 중지할 수 있다. 도 8에서, 픽셀 전하 집적의 미리 결정된 시간 구간의 종료를 표시하는 램프 신호(143)의 천이는 점선(210)으로 표시되어 있다. 행 선택(RSEL) 신호(122) 및 리셋(RST) 신호(128)는 램프 신호(143)의 레벨의 변화와 실질적으로 동시에(210에서) 천이할 수 있다. 예시적으로, 모든 ADC 기반 카운터들은 210 라인에서 리셋될 수 있다. 다른 예로서, 모든 ADC 기반 카운터들은 픽셀 전하를 읽기 위한 다음 행의 선택 이전의 임의의 때에 리셋될 수 있다. 한 행의 픽셀들의 스캔의 종료에 따른 ADC의 리셋에도 불구하고, 전역적이고 지속적으로 유지되는 내부 시스템 시간 또는 다른 참조 시간에 대한 타임스탬프 값의 관계 수립으로 인해, 픽셀 어레이(42)의 각 픽셀의 타임스탬프 값은 별도로 유지된다.

도 8에서, 나중에 스캔되는 픽셀(107)은 먼저 스캔되는 픽셀(108)보다 작은 ADC 출력을 가질 수 있다. 따라서, 도시된 바와 같이, ADCOUT2는 ADCOUT1보다 적은 카운트 값을 가질 수 있다. 다른 예로서, 각 ADC 특정 카운터가 픽셀이 리셋된 때에 카운팅을 시작하고 그리고 픽셀의 출력 신호가 문턱(Vramp)보다 낮아지는 온 이벤트 때에 카운팅을 중지할 때, 나중에 스캔되는 픽셀은 먼저 스캔되는 픽셀보다 큰 ADC 출력을 가질 수 있다.

도 6 내지 도 8, 도 10 및 도 11에 도시된 회로들 및 파형들은 열 상승 업카운터를 갖는 단일 기울기 ADC에 기반한 것이다. 그러나, 타임스탬프 방법은 설계 요소에 따라 업카운터 또는 다운카운터로 구현될 수 있음이 이해될 것이다. 또한, 전역 카운터를 구비한 단일 기울기 ADC가 사용될 수도 있다. 예시적으로, 개별적인 열 기반 카운터들을 사용하는 대신에, 하나의 전역 카운터가 모든 열 ADC들에 의해 공유될 수 있다. 이 경우, 픽셀 신호가 램프 문턱(143) 밑으로 처음으로 떨어지는 온 이벤트를 열 기반 비교부(미도시)가 검출한 때에, 각 ADC의 라인 메모리(183, 도 7b 참조)와 같은 열 메모리는 전역 카운터의 출력을 래치하여 적절한 ADC 특정 출력을 생성할 수 있다.

광점들의 행이 물체의 표면을 따라 스캔될 때, 스캔되는 물체로부터의 둘 또는 그보다 많은 상이한 광점들이 동일한 픽셀에서 이미지된다. 광점들은 동일한 스캔 라인들 또는 인접한 스캔 라인들에 형성될 수 있다. 다중 광점들이 물체의 표면을 따라 스캔될 때, 중복 이미징은 광점들 및 픽셀 온 이벤트들의 관계에 부정적인 영향을 주며, 따라서 깊이 측정에서 모호성을 유발한다. 예를 들어, 깊이 측정은 이미지되는 광점의 스캔 각(θ) 및 수학식 1에서 파라미터(q)로 주어진 픽셀 위치와 연관된다. 따라서, 스캔 각이 주어진 광점에 대해 정확하게 알려지지 않으면, 깊이 계산은 부정확할 수 있다. 마찬가지로, 둘 또는 그보다 많은 광점들이 동일한 q 값을 가지면, 깊이 계산은 모호해질 수 있다. 본 발명의 실시 예들에 따른 타임스탬프 기반 방법은, 캡처된 광점의 픽셀 위치 및 대응하는 레이저원의 스캔각 사이의 정확한 관계를 유지할 수 있다. 다시 말하면, 타임스탬프는 파라미터들(q, θ) 사이의 관계를 나타낼 수 있다. 따라서, 데이터 출력점의 관점에서, 두 개의 광점들이 동일한 픽셀 또는 열에 도달하면, 타임스탬프 방법의 시간 디지털 변환은 디지털 처리 블록(167, 도 7b 참조)이 두 개의 광점들 사이의 시간 관계를 수립하여 시간 상으로 어느 광점이 먼저 수신되는지 식별할 수 있다. 이러한 관계는 타임스탬프를 사용하지 않고 구조광 방법을 사용하는 기존의 다중 시야 시스템들에서 용이하지 않다. 따라서, 이러한 시스템들은 해당 문제를 해결하기 위하여 다수의 데이터 검색 및 픽셀 매칭을 수행하여야 한다.

예시적으로, 다중 광점들이 동일한 픽셀에 의해 이미지될 때, 이 광점들의 타임스탬프들이 비교되어 가장 먼저 수신된 광점이 식별되고, 해당 광점으로의 거리만이 계산되고, 동일한 픽셀에서 이후에 수신되는 모든 광점들은 무시된다. 따라서, 가장 먼저 수신된 광점의 타임스탬프는 대응하는 픽셀의 픽셀 특정 출력으로 취급된다. 다른 예로서, 가장 마지막에 수신된 광점의 거리가 계산되고, 동일한 픽셀의 다른 광점들은 무시될 수 있다. 어느 경우에든, 첫 번째 또는 마지막 광점 사이에 수신되는 광점은 깊이 계산에서 무시될 수 있다. 수학적으로, 레이저원에 의해 투사되는 광점의 스캔 시간은 "t(0), t(1), ..., t(n)"으로 주어지며, "t(i+1) - t(i) = d(t)"는 상수이다. 픽셀 또는 열 출력들은 "a(0), a(1), ..., a(n)"으로 주어지며, 이들은 온 이벤트들에 대한 타임스탬프들이다. "a(i)"는 항상 "t(i)" 이후이며 "a(i+1)" 이전이다. "a(i)" 및 "a(k)"(i와 k는 다름)가 동일한 픽셀 또는 열과 연관되면, 이들 중 하나만이 저장되어 깊이 계산의 모호성이 제거된다. 스캔 시간 및 출력 시간(예를 들어, 타임스탬프) 사이의 시간 관계에 기반하여, 디지털 처리 블록(167)은 어느 출력점이 소실되었는지 판별할 수 있다. 디지털 처리 블록(167)이 소실된 위치를 복원할 수 없지만, 가용한 출력점들로부터의 깊이 계산은 물체의 수용 가능한 3차원 깊이 프로파일을 제공하는 데에 충분하다. 예시적으로, 두 개의 상이한 픽셀들이 동일한 광점의 부분을 이미지할 수 있다. 예시적으로, 이러한 두 개의 픽셀들로부터의 타임스탬프 출력들의 값들이 근사한 것에 기반하여, 디지털 처리 블록(167)은 두 개의 상이한 픽셀들에 의해 단일 광점이 이미지되었음을 추론할 수 있다. 모호성을 해결하기 위하여, 디지털 처리 블록(167)은 타임스탬프들을 이용하여 각 위치 값들(q)의 평균을 찾고, q의 평균을 수학식 1에 적용하여 공유된 광점의 3차원 깊이를 계산할 수 있다.

본 발명의 실시 예들에 따른 삼각 측량을 이용한 타임스탬프 기반의 3차원 깊이 측정에 따르면, ADC는 단일 비트의 낮은 해상도를 갖는 이진 비교기로 사용된다. 따라서, ADC에서 매우 적은 전력이 소비되고, 시스템 전력이 절약된다. 반면, 전통적인 3차원 센서들에서, 고해상도 ADC는 더 큰 처리 전력을 필요로한다. 또한, 타임스탬프 기반 모호성 해상도는, 모호성을 해결하기 위해 검색 및 픽셀 매치에 큰 처리 전력을 필요로하는 전통적인 이미징 방법과 비교하여 시스템 전력을 절약할 수 있다. 단일 이미징 단계에서의 모든 포인트 스캔 광점들의 이미징 또는 검출로 인해 모든 거리 측정들이 한 번에 수행되므로, 레이턴시 또한 감소된다. 예시적으로, 픽셀 어레이의 각 픽셀은 단일 스토리지 픽셀일 수 있으며, 다라서 1마이크로미터만큼 작게 제조될 수 있다. 단일 스토리지 픽셀 디자인에서, 픽셀 당 하나의 포토다이오드 및 k나의 정션 커패시터만이 사용되어, 광전자를 집적 및 저장할 수 있다. 반면, 다른 시간에 전달되는 광전자들을 저장하기 위한 다중 커패시터들 및 하나의 포토다이오드를 구비한 픽셀은 1마이크로미터 만큼 작은 사이즈로 감소될 수 없다. 따라서, 본 발명의 실시 예에 따른 소형 센서를 구비한 저전력 3차원 이미징 시스템은 카메라, 스마트폰 또는 태블릿과 같은 모바일 응용들에 용이하게 구현될 수 있다.

앞서 언급된 바와 같이, 도 1 및 도 2의 이미지 센서부가 본 발명의 실시 예들에 따른 2차원 이미징 및 3차원 깊이 측정을 위해 사용될 수 있다. 이러한 이중 모드 이미지 센서는 모바일 폰, 스마트폰, 랩톱 컴퓨터, 태블릿의 카메라 시스템의 일부 또는 산업 로봇 또는 가상 현실 장치의 카메라 시스템의 일부일 수 있다. 예시적으로, 장치의 모드 스위치는 사용자가 2차원 카메라 모드 및 깊이 측정을 이용한 3차원 이미징 모드를 선택하도록 할 수 있다. 전통적인 2차원 카메라 모드에서, 사용자는 장면 내의 3차원 물체 또는 장면의 컬러(RGB) 이미지 또는 스냅숏을 캡처할 수 있다. 그러나, 3차원 모드에서, 사용자는 포인트 스캔 기반 깊이 측정을 수행하는 카메라 시스템에 기반하여 물체의 3차원 이미지를 획득할 수 있다. 어느 모드에서든, 필요한 이미징을 수행하기 위하여 동일한 이미지 센서가 사용될 수 있다. 다시 말하면, 이미지 센서의 각 픽셀은 2차원 또는 3차원 이미징에 모두 사용될 수 있다.

앞서 언급된 바와 같이, 타임스탬프는 수학식 1과 같이 이미지된 광점의 픽셀 위치(q) 및 레이저원의 대응하는 스캔각(θ)의 두 개의 파라미터들 사이의 대응 관계를 찾는 데에 사용될 수 있다. 따라서, 타임스탬프의 지터(jitter) 또는 에러는 타임스탬프의 최소 해석 가능 시간(또는 시간 해상도)을 감소시킬 수 있다. 다시 말하면, 한 번에 스캔될 수 있는 광점들의 수가 감소될 수 있으며, 이는 깊이 이미지의 프레임율의 감소 및 공간 해상도의 감소를 초래할 수 있다. 예를 들어, 픽셀 전하 수집 및 후속 처리는 타임스탬프가 생성되는 속도를 감소시킬 수 있다. 예시적으로, 타임스탬프 생성은 수 밀리초를 소비할 수 있으며, 레이저 스캔은 나노초 단위로 훨씬 빠르게 수행될 수 있다. 따라서, 하나 또는 그보다 많은 타임스탬프의 에러 또는 지터는 추가적인 처리 지연을 유발하고, 타임스탬프 에러를 정제하거나 에러 없는 타임스탬프를 생성하는데 필요한 시간을 수용하기 위하여 더 느린 레이저 스캔이 필요할 수 있다. 3차원 물체의 각 행을 스캔하는 데에 동일한 시간이 할당됨을 가정하면, 레이저 스캔의 속도를 감소시켜야 하는 요구는, 주어진 스캔 구산 동안에 픽셀들의 하나의 행을 따라 스캔되는 광점들의 수의 감소를 초래할 수 있다. 다시 말하면, 3차원 물체의 3차원 깊이 이미지의 공간 해상도가 감소될 수 있다.

타임스탬프 지터 및 에러는 상이한 열 특정 독출 체인들의 전송 지연의 가변들(또는 변동들)에 의해 유발된다. 도 7b의 ADC 유닛(175)은 예시적인 독출 체인을 보여준다. 예시적으로, 라인 메모리 모듈(183, 도 7b)은 열 특정 독출 체인의 일부로 고려되지 않을 수 있다. 그러나, 여기에서 설명되는 바와 같이, 열 특정 독출 체인은 도 7b에서 참조 번호 "175"를 이용하여 식별되는 완전한 ADC 구성을 참조하는 데에 사용될 수 있다. 앞서 언급된 바와 같이, 예시적으로, 2차원 픽셀 어레이(42)의 픽셀들의 각 열은 ADC 유닛(175)과 같은 대응하는 열 특정 독출 체인과 연관된다. 구성 요소들의 회로 레이아웃, 상이한 인터커넥트들의 길이들, 장치 미스매치, 공정 변수, 그리고 두 개의 동일하게 형성된 반도체 회로들이 동작 시에 동일하게 동작하지 않는 실제 가능성으로 인해, 각 열 특정 독출 체인은 전송 지연에서 변동을 경험한다. 다시 말하면, 전송 지연이 열마다 다를 수 있으므로, 픽셀 어레이(42)의 픽셀들의 각 열은, 픽셀의 포토다이오드에 의한 광의 감지로부터 타임스탬프 값의 출력 까지의 픽셀 전하 수집 및 처리 동안에 조금씩 다른 전송 지연을 경험할 수 있다. 예시적으로, 전송 지연은 조명의 픽셀 특정 검출의 감지(픽셀들의 포토다이오드에 의한) 및 대응하는 픽셀 출력(PIXOUT) 신호가 미리 정해진 문턱에 도달하는 때 사이의 시간을 참조할 수 있다. 조명의 픽셀 특정 검출은, 예를 들어, 픽셀들의 행이 도 8의 행 선택(RSEL) 신호(122)와 같은 행 선택(RSEL) 신호에 의해 선택되는 때와 같은 픽셀의 활성화 시에 감지될 수 있다. 픽셀의 활성화는 대응하는 픽셀 출력(PIXOUT) 신호가 독출 체인(175)의 픽셀 입력(157)과 같은 픽셀의 열 특정 독출 체인의 입력에서 수신되는 것을 유발할 수 있다. 예시적으로, 미리 정해진 문턱은 도 7b 및 도 8의 Vramp 신호(143)와 같은 Vramp 입력의 활성화된 값일 수 있다. 앞서 언급된 바와 같이, "온 이벤트"는 점진적으로 감소하는 픽셀 출력(PIXOUT) 신호가 Vramp 문턱에 도달하는 때에 발생될 수 있다. 예시적으로, 타임스탬프 생성은, 예를 들어, 도 8의 예에 도시된 바와 같이 온 이벤트의 발생에 따라 시작될 수 있다. 다른 예로서, 타임스탬프 생성은, 예를 들어 앞서 언급된 전력 카운터 기반 카운팅 방법의 경우에, 온 이벤트의 발생에 따라 종결될 수 있다. 다른 예로서, 도 7b의 카운터(181)와 같은 열 기반 카운터는, 대응하는 픽셀이 활성화된 때에 카운팅을 시작하고 그리고 픽셀 출력(PIXOUT) 신호가 Vramp 문턱에 도달한 때에 카운팅을 종료하도록 구성될 수 있다.

열 특정 독출 체인들의 전송 지연들이 일정하지 않을 때, 지연 변동들은 타임스탬프 에러 및 미스매치를 유발할 수 있다. 예를 들어, 나중에 스캔된 광점의 열 특정 전송 지연이 먼저 스캔된 광점의 열 특정 전송 지연보다 짧을 때에, 열 특정 전송 지연들의 차이는 나중에 스캔된 광점의 타임스탬프 값이 먼저 스캔된 광점의 타임스탬프 값보다 커질 수 있다. 이 경우, 이미지 재구성을 위한 광점들의 타임스탬프 기반 재정렬은 에러를 가질 수 있다. 따라서, 개별 열 특정 독출 체인들의 전송 지연들의 미스매치에 의해 유발되는 타임스탬프 지터들 또는 에러들을 치유하기 위한 타임스탬프 교정이 요구된다. 도 9 내지 도 11의 실시 예들은 타임스탬프 교정이 열 특정 독출 회로 체인들의 대역폭 또는 전력 소비를 증가시키지 않으면서 타임스탬프 교정이 수행되는 방법을 보여준다.

도 9는 타임스탬프 값이 본 발명의 실시 예들에 따른 3차원 깊이 측정 동안에 수정되는 방법을 보여주는 순서도(215)이다. 도 3의 실시 예와 같이, 도 9에 도시된 다양한 단계들은 시스템(15)에서 단일 모듈 또는 모듈들 또는 시스템 구성들의 조합에 의해 수행될 수 있다. 아래의 설명에서, 예시적으로, 특정한 작업들이 특정한 모듈들 또는 시스템 구성들에 의해 수행되는 것으로 설명된다. 그러나, 다른 모듈들 또는 시스템 구성들이 해당 작업들을 수행하도록 적절히 구성될 수 있다.

도 9에서, 블록(217)의 동작은 도 3의 블록(52)과 유사하다. 다시 말하면, 도 9의 블록(217)에서, 시스템(15), 더 상세하게는 프로세서(19)는 도 2의 레이저원(22)과 같은 레이저원을 이용하여, 스캔 라인을 따라, 도 2의 3차원 물체(26)와 같은 3차원 물체의 1차원 포인트 스캔을 수행할 수 있다. 예를 들어, 포인트 스캔의 일부로서, 레이저원(22)은 3차원 물체(26)의 표면 상에 라인 단위로 광점들을 순차적으로 투사하도록 프로세서(19)에 의해 구성될 수 있다. 블록(219)에서, 시스템(15)의 픽셀 처리부(46)는 도 2의 2차원 픽셀 어레이(42)와 같은 이미지 센서의 픽셀들의 행을 선택할 수 있다. 이미지 센서(42)는 이미지 플레인을 형성하는 2차원 어레이에 배열되는 복수의 픽셀들을 구비할 수 있다. 예를 들어, 픽셀들의 선택된 행은 이미지 플레인 상에서 스캔 라인의 등극선의 일부를 형성할 수 있다. 221 블록에서, 픽셀들의 선택된 행의 각 픽셀에 대해, 픽셀 처리부(46)는 일련의(또는 순차적인) 광점들에서 대응하는 광점의 픽셀 특정 검출을 감지하도록 프로세서(19)에 의해 구성될 수 있다. 앞서 언급된 바와 같이, 예시적으로, 감지는 포토다이오드가 대응하는 광점으로부터 수신되는 조명을 검출한 때에 센서의 포토다이오드에 의해 생성되는 전하를 수집하기 위한 픽셀의 활성화를 가리킬 수 있다. 픽셀 특정 출력(PIXOUT) 신호는 수신된 조명에 응답하여 생성되는 픽셀 특정 전하를 나타낼 수 있다. 221 블록의 대응하는 광점의 픽셀 특정 검출을 감지하는 것에 응답하여, 233 블록에 표시된 바와 같이, 픽셀 처리부는 대응하는 광점의 타임스탬프 값을 생성할 수 있다. 타임스탬프 값의 생성은 도 7b 및 도 8을 참조하여 설명된 바 있다. 255 블록에서, 픽셀들의 선택된 행의 각 픽셀과 연관된 2차원 어레이의 각 열에 대해, 이미지 처리부(46)는 타임스탬프 값(223 블록에서 생성된 값)에 열 특정 수정 값을 적용하여 수정된 타임스탬프 값을 획득할 수 있다. 225 블록에 표시된 바와 같이, 예시적으로, 열 특정 수정 값은 픽셀 특정 검출의 감지(221 블록) 및 픽셀들의 선택된 행의 각 픽셀의 픽셀 특정 출력(PIXOUT)이 미리 정해진 문턱(예를 들어, Vramp 문턱)에 도달할 때 사이의 열 특정 전송 지연을 나타낸다. 이러한 수정된 타임스탬프 값은 픽셀들의 선택된 행의 각 픽셀의 출력에 대해 획득되어, 개별 열 특정 독출 체인들의 전송 지연들의 미스매치에 의해 유발되는 타임스탬프 지터 또는 에러를 치유할 수 있다. 따라서, 227 블록에서, 이미지 처리부(46)는, 적어도 수정된 타임스탬프 값(225 블록에서 획득된 값) 및 레이저원에 의해 대응하는 광점을 투사하는 데에 사용된 스캔각에 기반하여, 3차원 물체의 표면의 대응하는 광점까지의 3차원 거리(또는 깊이)를 판별할 수 있다. 앞서 언급된 바와 같이, 타임스탬프는 이미지된 광점의 픽셀 위치(q) 및 레이저원의 대응하는 스캔각(θ) 사이의 대응 관계를 제공할 수 있다. 수학식 1에 사용된 삼각 측량 기반 깊이 측정을 위한 이러한 또는 다른 파라미터들은 도 4에 도시된다.

도 10은 도 7a의 타임스탬프 측정부(171)와 같은 본 발명의 실시 예에 따른 타임스탬프 측정부의 예시적인 레이아웃(230)을 보여준다. 간결한 설명을 위하여, 타임스탬프 측정부(171)의 연관된 회로 상세가 도 10에 도시된다. 아래에서 상세히 후술되는 바와 같이, 타임스탬프 측정부(171)는 각 픽셀 열의 전송 지연을 기록하는 데에 사용될 수 있다. 도 7a의 예에서, 기록된 값들은 디지털 처리부(167)로 제공되어, 열 ADC 유닛(153)에 의해 캡처된 타임스탬프 값들(Dout 신호(140)로 나타난)을 수정할 수 있다. 예시적으로, 타임스탬프 측정부(171)에 의해 기록된 열 특정 전송 지연들은 디지털 처리부(167)에 각 타임스탬프 값들과 더해지거나 감해지는 열 특정 수정 값들을 나타낼 수 있다. 더함 또는 감함의 결과로, 포인트 스캔되는 3차원 물체(26)의 3차원 깊이 프로파일이 구성될 수 있다.

도 10에 도시된 바와 같이, 타임스탬프 측정부(171)는 참조 번호 "232"로 통칭되는 복수의 픽셀들(232-1~232-N)을 포함할 수 있다. 도 6의 예와 마찬가지로, 도 10의 각 픽셀(232)은 4T PPD 픽셀인 것으로 도시된다. 그러나, 다른 예로서, 픽셀들(232)은 도 6의 예에서 픽셀들을 참조하여 언급된 바와 같이, 3T 픽셀들, 2T 픽셀들 등과 같은 다른 타입일 수 있다. 마찬가지로, 예시적으로, NMOS 트랜지스터들 대신에, 픽셀들(232)은 PMOS 트랜지스터들 또는 다른 타입의 전하 전송 장치들로 형성될 수 있다. 간결한 설명을 위하여, 도 6에 도시된 바와 같이 바이어스 및 다른 연결 상세들은 도 10의 픽셀 레이아웃에서 생략된다. 그러나, 도 10에서, 예를 들어 픽셀(232-N)을 참조하면, 리셋(RST) 신호는 트랜지스터(234)와 같은 각 NMOS 트랜지스터의 게이트에 인가될 수 있고, 전송(TX) 신호는 트랜지스터(235)와 같은 각 트랜지스터의 게이트에 인가될 수 있다. 예시적으로, 도 10에서, 리셋(RST) 및 전송(TX) 신호들은 도 6 및 도 8을 참조하여 설명된 신호들과 유사한 기능을 수행할 수 있다.

예시적으로, 타임스탬프 측정(또는 교정)의 정확도는 픽셀들(232)을 픽셀 어레이(42)의 픽셀들과 실질적으로 동일하게 만드는 것으로 향상될 수 있다. 예를 들어, 타임스탬프 측정부(171)의 픽셀들(232) 및 2차원 어레이(42)의 픽셀들은 동일한 반도체 제조 공정 및 물질들을 이용하여 제조되어, 구조적 변동이 최소화될 수 있다.

예시적으로, 픽셀들(232)의 전체 개수(N)는 2차원 어레이(42)의 픽셀들의 각 행의 활성 부분의 픽셀들의 수와 동일할 수 있다. 여기에서, 2차원 어레이(42)의 픽셀들의 각 행의 활성 부분은 동일한 개수의 픽셀들을 갖는 것으로 가정된다. 활성 부분은, 레이저 스캔 동안에 물체(26)로부터 광을 수신하고, 3차원 깊이 계산을 위해 대응하는 픽셀 출력(PIXOUT) 신호들이 생성되어 처리되는 픽셀들을 참조할 수 있다. 다른 예로서, 도 10의 N의 값은 픽셀 어레이(42)의 열들의 전체 개수와 동일하며, 즉 열 당 하나의 타임스탬프 측정 픽셀(232)이 대응할 수 있다. 예를 들어, 타임스탬프 측정 픽셀(232-1)은 도 6의 픽셀들(102, 105, 108)의 열과 연관된 전송 지연을 판별하는 데에 사용되고, 타임스탬프 측정 픽셀(232-2)은 도 6의 픽셀들(101, 104, 107)의 열의 전송 지연을 판별하는 데에 사용될 수 있다. 도 10에 도시된 바와 같이, 픽셀들(232) 전부는 도 6의 2차원 어레이(42)의 픽셀들의 행과 마찬가지로 하나의 행에 배열될 수 있다. 그러나, 예시적으로, 3차원 깊이 측정이 아닌 동안에, 행 기반 구성은 픽셀들(232)을 측정 용도의 제한된 사용의 관점에서 필수적이지 않을 수 있다. 따라서, 픽셀들(232)의 행은 타임스탬프 측정의 수정 값들을 생성하기 위해서만 사용되는 2차원 어레이(42)의 일부가 아닌 픽셀들의 추가 행일 수 있다. 도 6 및 도 8과 반대로, 픽셀들(232)의 전체 행은 도 10의 예에서 하나의 행 선택 신호(도 6 및 도 8의 RSEL 신호)에 의해 선택되지 않을 수 있다. 대신, 각 픽셀(232)은 픽셀 특정 클럭 D-플립플롭(DFF)을 이용한 제어 방법으로 개별적으로 선택될 수 있다. 따라서, 타임스탬프 측정부(171)는 복수의 D-플립플롭들(237-1~237-N)을 포함하며, 각 D-플립플롭은 연관된 픽셀에 선택 신호(SEL)를 제공할 수 있다. 도 10에 도시된 바와 같이, N 개의 개별적인 선택 신호들(SEL1~SELN)이 식별된다. 앞서 언급된 바와 같이, 도 10에서, 예를 들어 픽셀(232-N)을 참조하면, 픽셀 특정 선택(SEL) 신호는 트랜지스터(238)와 같은 각 NMOS 트랜지스터의 게이트에 인가될 수 있다. 간결한 설명을 위하여, 도 10에서 각 트랜지스터는 참조 번호들을 이용하여 식별되지는 않는다. 도시된 바와 같이, 각 D-플립플롭은 클럭(CLK) 입력(240)을 이용하여 동작할 수 있다. 예시적으로, 클럭(CLK) 입력(240)은 도 7b의 클럭(Clk) 입력(185)과 동일할 수 있다. 이 경우, 클럭(CLK) 입력(240)은 도 7a의 인터페이스부(168)의 PLL 유닛 또는 시스템(15)의 다른 클럭 생성기(미도시)에 의해 생성되는 시스템 전역 클럭 또는 이미지 센서 특정 클럭일 수 있다. 다른 예로서, 클럭(CLK) 신호(240)는 타임스탬프 측정부(171)를 위해 지역적으로 생성되며, 다른 시스템 구성에 의해 전역적으로 사용 가능하거나 공유되지 않을 수 있다. 예시적으로, 클럭(CLK) 신호(240)의 주파수는 레이저 스캔의 주파수, 즉 레이저원(33, 도 2 참조)이 사용하거나 3차원 물체(26)를 포인트 스캔하는 주파수와 동일할 수 있다. 다른 예로서, 클럭(CLK) 신호(240)의 주파수는 레이저 투사 주파수와 다를 수 있다. 클럭(CLK) 입력(240)에 더하여, 도 11을 참조하여 후술되는 바와 같이, 타임스탬프 측정부(171)는 설정(SET) 입력(242)을 수신하여 각 D-플립플롭(237)의 출력을 논리 하이 또는 "1" 값으로 초기 설정할 수 있다. 설정(SET) 입력(242)은 타임스탬프 측정이 시스템(15)에서 수행될 때에 디지털 처리부(167, 도 7a)에 의해 제공될 수 있다. 다른 예로서, 설정(SET) 신호(242)는 타임스탬프 측정부(171) 내의 적절한 디지털 로직(미도시)에 의해 타임스탬프 측정부(171) 내에서 지역적으로 생성될 수 있다. 도시된 바와 같이, 타임스탬프 측정부(171)의 각 픽셀(232)은 픽셀 트랜지스터들을 바이어스하기 위한 바이어스(VPIX) 신호(244)를 수신할 수 있다. 도 10에서, 예를 들어 픽셀(232-N)을 참조하면, 바이어스(VPIX) 신호(244)는 트랜지스터(234)와 같은 각 NMOS 트랜지스터의 드레인 터미널에 공급될 수 있다. 예시적으로, 바이어스(VPIX) 신호(244)는 픽셀 어레이(42)의 픽셀들 뿐 아니라 픽셀들(232) 모두를 바이어스하는 시스템 전역 공급 전압일 수 있다. 다른 예로서, 바이어스(VPIX) 신호(244)는 타임스탬프 측정부(171) 내에서 생성되며 픽셀들(2320에만 공급될 수 있다.

선택 및 활성화 후에, 각 픽셀(232)은 픽셀 특정 출력(PIXOUT)을 제공할 수 있다. 도 10에서, 픽셀 특정 출력들(PIXOUT1, PIXOUT2, PIXOUT3)은 참조 번호들 246 내지 248을 이용하여 식별된다. 이러한 출력들은 열 특정 독출 체인들(175)을 이용하여 처리되고, 픽셀 어레이(42)의 각 열의 전송 지연이 판별될 수 있다. 다시 말하면, 도 7b의 각 열 특정 독출 체인(175)에 대한 픽셀 출력(PIXOUT) 입력(157)은 다중화된 신호일 수 있다. 통상적인 2차원 또는 3차원 이미징 시에, 픽셀 출력(PIXOUT) 입력(157)은 픽셀 어레이(42)의 열로부터 수신되는 열 특정 픽셀 출력(PIXOUT) 신호일 수 있다. 그러나, 타임스탬프 측정 처리 동안에, 픽셀 출력(PIXOUT) 입력(157)은 독출 체인(175)과 연관된 픽셀들(232) 중 하나로부터 수신되는 픽셀 출력(PIXOUT) 신호일 수 있다. 따라서, 각 열 특정 독출 체인(또는 ADC 유닛)(175)의 회로 하드웨어는 독출 체인과 연관된 열로부터의 열 특정 픽셀 출력(PIXOUT)신호 및 해당 열과 연관된 타임스탬프 측정 픽셀들(232) 중 하나로부터의 픽셀 출력(PIXOUT) 신호를 처리하도록 공유될 수 있다. 열 ADC 유닛(도 6의 138 또는 도 7a의 153 참조)에서, 픽셀 어레이(42)의 픽셀들의 픽셀 출력들을 처리하는 데에 사용되는 것과 동일한 독출 체인들을 사용함으로써, 타임스탬프 측정(또는 교정) 프로세스는 하드웨어의 각 열 특정 전송 지연을 효과적으로 시뮬레이션할 수 있으며, 열 특정 타임스탬프 수정 값을 판별할 수 있다.

도 11은 본 발명의 실시 예들에 따라 열 특정 전송 지연들을 판별하기 위한 타임스탬프 측정부(171)와 연관된 상이한 신호들의 예시적인 타이밍을 보여주는 타이밍도(255)이다. 후술되는 바와 같이, 타임스탬프 측정부(171)의 각 픽셀과 D-플립플롭의 쌍은 픽셀 출력들을 처리하는 데에 사용되어, 픽셀 특정 교정 값, 즉 픽셀의 열 특정 전송 지연을 판별할 수 있다. 이러한 열 특정 전송 지연은, 예를 들어, 이미지 센서부(24)의 제조 시에 또는 미리 정해진 허용 범위를 넘어서는 동작 온도 또는 공급 전압의 변화가 있는 때에 판별될 수 있다. 이러한 온도 또는 전압 변화는 시스템(15)의 일부로 포함되는 적절한 센서(미도시)를 이용하여 감지될 수 있다. 예시적으로, 판별된 지연 값들은 이미지 센서부(24), 예를 들어 이미지 센서부(24)의 디지털 처리부(167, 도 7a 참조)에 저장될 수 있다. 열 특정 전송 지연들의 저장된 값들은 2차원 어레이(42)의 각 열의 픽셀들에서 생성되는 타임스탬프 값들을 나중에 수정 또는 조절하는 데에 사용될 수 있다. 예를 들어, 도 6에서, 픽셀들(102, 105, 108)의 열에 대해 판별되는 열 특정 전송 지연은 3차원 깊이 측정 동안에 픽셀들(102, 105, 108)에 대해 생성되는 타임스탬프 값들의 에러들을 교정하는 데에 사용될 수 있다. 동일한 방법이 픽셀들의 다른 열들에도 사용될 수 있다.

간결한 설명을 위하여, 도 10에 도시된 신호들, 입력들 또는 출력들에 대해 도 11에서 동일한 참조 번호들이 사용된다. 예시적으로, 각 열의 전송 지연은 다음의 순서로 기록될 수 있다.

초기에, 설정(SET) 신호들을 이용하여 설정 입력(S)들에 고전압을 공급함으로써, 모든 D-플립플롭들(237)의 출력들이 로직 하이 상태(또는 이진 '1' 값)로 설정된다. 타임스탬프 측정부(171)의 픽셀들에 인가되는 리셋(RST) 및 전송(TX) 신호들(미도시)은 측정 프로세스 동안에 하이 상태로 유지될 수 있다.

D-플립플롭들(237)이 설정된 후에, 클럭(CLK) 신호(240)가 턴-온 되고, 대응하는 독출 체인(175)을 통해 처리하기 위해 각 픽셀(232)의 출력을 클러킹(예를 들어, 클럭 신호의 계수에 따른 시간 측정)한다. 예시적으로, 클럭(CLK) 신호(240)는 미리 구동되는 클럭이고 턴-온 될 필요가 없을 수 있으나, D-플립플롭들(237)이 설정된 후에 인가될 수 있다. 각 측정 픽셀(232)은 선택된 때에 개별적으로 읽힐 수 있다. D-플립플롭들(237)의 클러킹의 결과로서, 픽셀(또는 열) 선택 신호, 즉 신호들(SEL1~SELN)이 대응하는 D-플립플롭(237)에 의해 순차적으로 논리 로우 상태(또는 이진 '0' 값)으로 천이할 수 있다. 예시적인 3개의 선택(SEL) 신호들(258~260)의 천이들이 도 11에 도시된다. 예시적으로, 측정 픽셀은 대응하는 선택(SEL) 신호가 로우 레벨이 된 때에 활성화되는 것으로 여겨질 수 있다. 이러한 활성화 시점은 시작 시간(Ts)으로 참조될 수 있다. 대응하는 선택(SEL) 신호들(258~260)과 연관된 시작 시간들(Ts1, Ts1, TsN)이 도 11에서 참조 번호들(262~264)을 이용하여 식별된다. 예시적으로, 각 시작 시간(Ts)이 앞서 언급된 전역 카운터 방법을 이용하여 기록될 수 있다. 예를 들어, 도 10 및 도 11에서, 픽셀 특정 선택(SEL) 신호의 하이로부터 로우로의 천이는 측정부(171)의 메모리(미도시) 또는 도 7b의 라인 메모리(183), 또는 디지털 처리 블록(167) 내의 다른 메모리 또는 저장소(미도시)가 전역 카운터의 출력을 대응하는 시작 시간(Ts) 파라미터로 저장하는 것을 트리거할 수 있다. 도 7b의 클럭(185)은, 예를 들어 선택(SEL) 신호(242)의 활성화 및 선택(SEL) 신호의 하이 레벨로부터 로우 레벨로의 천이 사이에 발생하는 클럭 펄스들의 수를 카운트함으로써, 각 시작 시간(Ts)의 카운트 값을 생성하는 데에 사용될 수 있다. 클럭(CLK) 신호가 전역 카운터에서 카운트 값을 생성하는 데에 사용되는 전역 클럭이고 그리고 클럭(CLK) 신호(240)의 주파수가 레이저 스캔 주파수와 동일하면, 이미지 센서부(24)가 광점들의 스캔 및 캡처를 동기하도록 프로세서(19, 도 1 및 도 2 참조)에 의해 적절하게 구성되는 것에 의해, 클럭(CLK) 신호(240)가 실제 레이저 스캔 이벤트를 모방하고 그리고 레이저 주사 주파수가 이미 알려져 있다. 따라서, 시작 시간(Ts)을 기록할 필요가 없다.

D-플립플롭들(237)로부터의 선택(SEL) 신호 출력이 로우 레벨로(또는 턴-오프)된 때에, 대응하는 픽셀 출력(PIXOUT) 신호는 선형 기울기로 하이 레벨로부터 로우 레벨로 낮아질 수 있다. 앞서 언급된 바와 같이, 픽셀에 광이 입사된 때에, 도 11에서 예시적인 3 개의 픽셀 출력 신호들(PIXOUT1, PIXOUT2, PIXOUT3)의 하향 기울기로 도시된 바와 같이, 픽셀 출력(PIXOUT) 신호는 하이 레벨로부터 낮아지기 시작한다. 픽셀 출력(PIXOUT) 신호의 하이 레벨은 광 검출이 없는 리셋 레벨을 나타낸다. 픽셀 출력(PIXOUT1) 신호(246)는 픽셀(232-1)로부터 수신되며, 2점 쇄선을 이용하여 도시된다. 픽셀 출력(PIXOUT2) 신호(247)는 픽셀(232-2)로부터 수신되며, 직선을 이용하여 도시된다. 픽셀 출력(PIXOUT3) 신호(248)는 픽셀(232-N)로부터 수신되며, 점선을 이용하여 도시된다. 픽셀 출력(PIXOUT) 신호들은 대응하는 포토다이오드가 광원으로부터의 주변광을 검출한 때에 생성된다. 따라서, 측정 구간에서, 레이저 포인트 스캔을 수행하여 픽셀들(232)의 포토다이오드들을 위한 광 신호들을 생성할 필요가 있다. 대응하는 픽셀 특정 D-플립플롭들로부터의 선택(SEL) 신호들의 제어된 생성을 통한 픽셀 출력(PIXOUT) 신호들의 순차적인 생성은, 픽셀 출력들이 2차원 픽셀 어레이(42)에서 픽셀들의 선택된 행의 픽셀들로부터 유사하게 수집되는 레이저 스캔 이벤트를 모방하는 것으로 여겨질 수 있다.

각 픽셀 출력(PIXOUT) 신호(246~248)는 대응하는 열 특정 독출 체인(175)에서 미리 정해진 문턱 전압 레벨과 비교될 수 있다. 도 11의 예에서, RAMP 신호(266)는 이러한 문턱 레벨을 제공하는 것으로 도시된다. RAMP 신호(266)는 도 7b 및 도 8의 Vramp 입력(143)과 동일할 수 있다. 도 8을 참조하여 언급된 바와 같이, 미리 정해진 문턱 레벨은 Vramp 입력(143)을 미리 정해진 전압 레벨로 조절함으로써 획득될 수 있다. 도 11에서, RAMP 신호(266)는 미리 정해진 전압 레벨을 보여준다. 각 픽셀 출력(PIXOUT) 신호(246~248)에 대해, 대응하는 독출 체인의 카운터부(도 7b 참조)의 비교기(미도시)는 픽셀 출력(PIXOUT) 신호를 RAMP 신호(266)의 미리 정해진 문턱 레벨과 비교하고, 종료 시간(Te)으로 도시되는 픽셀 출력(PIXOUT) 신호가 RAMP 신호(266)의 문턱 전압에 도달하는 때를 검출할 수 있다. 도 11에서, 예시적인 3개의 종료 시간들(Te1, Te2, TeN)이 참조 번호들(268~270)을 이용하여 식별된다. 예시적으로, 종료 시간(Te)의 값은 측정부(171) 또는 열 카운터(181)의 메모리(미도시), 도 7b의 라인 메모리(183), 또는 디지털 처리 블록(167)의 다른 메모리 또는 저장소(미도시)에 기록 또는 저장될 수 있다. 도 8에 도시된 것과 유사한 타임스탬프 생성 방법의 예에서, 각 종료 시간(Te, 268~270)은 대응하는 타임스탬프의 생성을 가리킬 수 있다. 반면, 카운팅 동작이 측정 픽셀의 활성화와 실질적으로 동시에 시작되거나 카운팅 동작이 앞서 언급된 전력 클럭 기반 방법에 의존하는 예에서, 각 종효 시간(Te, 268~270)은 대응하는 타임스탬프의 생성의 판단을 가리킬 수 있다. 측정 구간에서, 일부 예에서, 열 특정 독출 체인(175)에 의해 생성되는 타임스탬프 값은 무시될 수 있다.

열의 전송 지연을 획득하기 위해, 시작 시간(Ts)의 열 특정 값은 종료 시간(Te)의 열 특정 값으로부터 감해질 수 있다. 다시 말하면, 예시적으로, i번째 열의 열 특정 전송 지연이 종료 시간(Tei)과 시작 시간(Tsi)의 차로 주어질 수 있다. 예시적으로, 전송 지연은 이진 카운트 값 또는 클럭 사이클들의 수, 예를 들어 도 7b의 클럭(185)과 같은 카운터 클럭과 같은 클럭 사이클들의 수 또는 클럭(CLK) 신호(240)를 참조하여 결정되는 타이밍 값으로 측정될 수 있다. 카운팅 동작이 시작 시간(Ts)에 전역 카운터를 이용하여 측정부(232)의 활성화와 실질적으로 동시에 시작될 때, 각 측정 픽셀(232)에 대한 카운팅 동작은 대응하는 픽셀 출력(PIXOUT) 신호가 Vramp 문턱(266)에 도달한 때에, 즉 대응하는 종료 시간(Te)에 종료될 수 있다. 이 경우, 카운팅 동작의 종료에 따라 각 측정 픽셀에 대해 생성되는 카운트 값은, 2차원 픽셀 어레이(42)의 픽셀들의 대응하는 열에 대한 열 특정 전송 지연 또는 타임스탬프 수정을 제공할 수 있다. 예시적으로, 열 특정 전송 지연들의 값들은 도 7a의 디지털 처리 블록(167)의 메모리 또는 저장소(미도시)에 저장 또는 기록될 수 있다. 앞서 언급된 바와 같이, 열 특정 전송 지연들은 이미지 센서부(24)의 제조 시에 또는 동작 온도 또는 공급 전압이 미리 정해진 마진을 벗어날 때에 판별될 수 있다. 예시적으로, 앞서 언급된 열 특정 전송 지연들을 특정하는 방법은 복수회 반복될 수 있고, 픽셀 열에 대한 개별 결과들의 평균이 해당 픽셀 열의 열 특정 전송 지연의 값으로 계산될 수 있다. 평균 값은 해당 픽셀 열의 픽셀들에 대한 타임스탬프 수정을 위해 사용될 수 있다.

각 열 특정 전송 지연의 기록된 값은 열 특정 수정 값으로 사용되어, 픽셀 어레이(42)의 대응하는 픽셀들의 열의 픽셀들에 의한 3차원측정 시에 실제 레이저 이벤트의 타임스탬프를 수하는 데에 반영될 수 있다. 앞서 언급된 바와 같이, 타임스탬프 수정은 도 7a에 도시된 디지털 처리 블록(167)에 의해 수행될 수 있다. 예시적으로, 타임스탬프 수정은 열 특정 전송 지연의 기록된 값을 픽셀 어레이(42)의 대응하는 열의 픽셀에 대한 픽셀 특정 타임스탬프 값과 더하거나 빼는 것을 포함할 수 있다. 다른 예로서, 타임스탬프 수정은, 열 특정 전송 지연의 기록된 값을 픽셀 특정 타임스탬프 값에 적용할 때에 가중 또는 스케일링 팩터를 사용하는 것을 포함할 수 있다.

앞서 언급된 바와 같이, 클럭(CLK) 신호(240)의 주파수는 레이저 주사 주파수와 동일할 수 있다. 이 경우, 클럭(CLK) 신호는 실제 레이저 스캔 이벤트를 모방하며, 따라서 종료 시간(Te)의 값만이 열 특정 카운터(181, 도 7b 참조)에 기록될 필요가 있다. 반면, 클럭(CLK) 신호(240)의 주파수가 레이저 주사 주파수와 다르면, 시작 시간(Ts)의 값들이 전역 카운터(미도시)와 함께 기록되고, 종료 시간(Te)의 값들이 대응하는 열 카운터들(181, 도 7b 참조)에 기록될 수 있다. 열 카운터들(181)은 한정된 비트 해상도를 가질 수 있다. 따라서, 결과적인 카운트 값은 순환 문제를 갖는다. 예시적으로, 이 문제는 열 카운터의 카운트에 하나 또는 다중의 전체 카운트들을 더함으로써 해결될 수 있다. 카운트가 '0'으로부터 시작하는 것을 가정하면, 카운터의 전체 카운트는 카운터의 최대 카운트에 '1'을 더한 것이다. 예를 들어, 10-비트 이진 카운터는 10진에서 0 내지 1023의 카운트를 갖는다. 따라서, 이러한 카운터의 전체 카운트는 1024 이다. 예시적으로, 카운터는 시작 시간(Ts)의 값을 생성하고, 풀 카운트에 도달하고, 종료 시간(Te)의 값을 생성하기 위한 카운팅을 지속하기 전에 리셋될 수 있다. 따라서, 순환 문제는 한정된 비트 해상도를 갖는 카운터가 시작 시간(Ts) 및 종료 시간(Te)의 값들을 카운트하는 데에 사용될 때 발생할 수 있다. 예를 들어, 시작 시간(Ts)이 '1000'이고 종료 시간(Te)이 '100'인 경우, 시작 시간(Ts)의 카운트 값은 종료 시간(Te)보다 크다. 따라서, 시작 시간(Ts)이 종료 시간(Te)으로부터 감해진 때에 음의 결과가 전송 지연으로 획득된다. 카운터의 순환 문제에 따른 음의 결과를 회피하기 위하여, 대응하는 시작 시간(Ts)의 카운트 값이 종료 시간(Te)으로부터 감해지기 전에, 카운터의 전체 카운트(예를 들어, 1024)가 종료 시간(Te)에 더해질 수 있다. 예시적으로, 이러한 더하기 동작은, 예를 들어 '124'의 올바른 전송 지연을 제공할 수 있다.

도 12는 본 발명의 실시 예들에 따른 도 1 및 도 2의 시스템(15)의 전체적인 레이아웃을 보여준다. 간결한 설명을 위하여, 도 1, 도 2 및 도 12에서 공통 시스템 구성에 대해 동일한 참조 번호들이 사용된다.

앞서 언급된 바와 같이, 이미징 모듈(17)은 도 2, 도 6, 도 7a, 도 7b 및 도 10의 예들에서 도시된 하드웨어들을 포함하며, 2차원 이미징, 3차원 깊이 측정 및 타임스탬프 측정을 달성할 수 있다. 프로세서(19)는 다수의 외부 장치들과 인터페이스하도록 구성될 수 있다. 예시적으로, 이미징 모듈(17)은 도 7a의 처리된 데이터 출력(170)과 같은 픽셀 이벤트 데이터 형태의 데이터 입력들을 추가 처리를 위해 프로세서(19)로 제공하는 입력 장치로 기능할 수 있다. 프로세서(19)는 시스템(15)의 일부일 수 있는 다른 장치들(미도시)로부터도 입력들을 수신할 수 있다. 이러한 입력 장치들 중 일부는 컴퓨터 키보드, 터치패드, 터치스크린, 조이스틱, 물리 또는 가상 클릭 가능한 버튼 또는 컴퓨터 마우스 또는 포인팅 장치를 포함할 수 있다. 도 12에서, 프로세서(19)는 시스템 메모리(20), 주변 스토리지 유닛(274), 하나 또는 그보다 많은 출력 장치들(276), 그리고 네트워크 인터페이스 유닛(278)과 연결되는 것으로 도시된다. 도 12에서, 표시 유닛은 출력 장치(276)로 도시되어 있다. 예시적으로, 시스템(15)은 도시된 장치들보다 많은 장치들을 포함할 수 있다. 시스템의 예들은 컴퓨터 시스템(데스크톱 또는 랩톱), 태블릿 컴퓨터, 모바일 장치, 핸드폰, 비디오 게임 유닛 또는 콘솔, 기계 대 기계 통신 유닛, 로봇, 자동차, 가상 현실 장치, 국적 없는 얇은 클라이언트 시스템, 자동차의 대시캠 또는 후방 카메라 시스템, 또는 다른 타입의 컴퓨팅 또는 데이터 처리 장치를 포함할 수 있다. 예시적으로, 도 12의 모든 구성들은 단일 하우징에 탑재될 수 있다. 따라서, 시스템(15)은 스탠드얼론 시스템 또는 다른 적절한 형태로 구성될 수 있다. 예시적으로, 시스템(15)은 서버 시스템이 아닌 클라이언트 시스템으로 구성될 수 있다.

예시적으로, 시스템(15)은 하나보다 많은 프로세서들(즉, 분산 처리 구성)을 포함할 수 있다. 시스템이 다중 프로세서 시스템일 때, 하나보다 많은 프로세서(19) 또는 대응하는 인터페이스를 통해 프로세서(19)와 연결되는 다중 프로세서들이 존재할 수 있다. 프로세서(19)는 시스템 온 칩일 수 있으며, 하나보다 많은 중앙 처리 장치들을 포함할 수 있다.

앞서 언급된 바와 같이, 시스템 메모리(20)는 DRAM, SRAM, PRAM, RRAM, CBRAM, MRAM, STT-MRAM 등과 같은 반도체 기반 스토리지 시스템일 수 있다. 예시적으로, 시스템 메모리(20)는 하나 또는 그보다 많은 비-3DS 메모리 모듈과 함께 적어도 하나의 3DS 메모리 모듈을 포함할 수 있다. 비-3DS 메모리는 DDR SDRAM, 램버스 DRAM, 플래시 메모리, 다양한 타입의 ROM 등을 포함할 수 있다. 또한, 예시적으로, 시스템 메모리(20)는 다중의 상이한 타입의 반도체 메모리들을 포함할 수 있다. 다른 예로서, 시스템 메모리(200는 비임시의 데이터 스토리지 매체일 수 있다.

주변 스토리지 유닛(274)은 하드 드라이브, CD 및 DVD와 같은 광학 디스크, 불휘발성 RAM 등과 같은 자기, 광학, 자기-광학, 솔리드 스테이트 스토리지 매체를 포함할 수 있다. 예시적으로, 주변 스토리지 유닛(274)은 RAID (Redundant Array of Independent Disks) 구성을 갖는 디스크 어레이 또는 SAN (Storage Area Networks)와 같은 복잡한 스토리지 장치들 또는 시스템들을 포함할 수 있다. 주변 스토리지 유닛(274)은 SCSI (Small Computer System Interface), 파이어와이어, PCI express, USB 등과 같은 표준 주변 인터페이스를 통해 프로세서(19)와 결합될 수 있다. 다양한 스토리지 장치들은 비임시 데이터 스토리지 매체일 수 있다.

디스플레이 유닛(276)은 출력 장치의 예일 수 있다. 다른 출력 장치의 예들은 그래픽 또는 표시 장치, 컴퓨터 스크린, 알람 스크린, 캐드 또는 캠 시스템, 비디오 게임 스테이션, 스마트폰 표시 스크린, 또는 다른 타입의 데이터 출력 장치를 포함할 수 있다. 예시적으로, 이미징 모듈(17)과 같은 입력 장치들 및 표시 유닛(276)과 같은 출력 장치들은 입출력 또는 주변 인터페이스를 통해 프로세서(19)와 연결될 수 있다.

예시적으로, 네트워크 인터페이스(278)는 프로세서(19)와 통신하고 시스템(15)이 네트워크(미도시)와 연결되도록 할 수 있다. 다른 예로서, 네트워크 인터페이스(278)는 존재하지 않을 수 있다. 네트워크 인터페이스(278)는 시스템(15)을 네트워크(유선 또는 무선으로)에 연결하기 위한 적절한 장치, 매체 또는 프로토콜을 포함할 수 있다. 예시적으로, 네트워크 인터페이스(268)는 LAN, WAN, 무선 이더넷, 전기 통신 네트워크 또는 다른 적절한 타입의 네트워크를 포함할 수 있다.

시스템(15)은 도 12에 도시된 다양한 시스템 구성들에 전력을 공급하는 온보드 전원 유닛(280)을 포함할 수 있다. 전원 유닛(280)은 배터리 또는 교류 전력과 연결될 수 있다. 예시적으로, 전원 유닛(280)은 태양 에너지 또는 다른 재생 가능한 에너지를 전력으로 변환할 수 있다.

예시적으로, 이미징 모듈(17)은 개인용 컴퓨터 또는 랩톱에 연결될 수 있는 USB 인터페이스와 같은 고속 인터페이스와 집적될 수 있다. 시스템 메모리(20) 또는 CD 또는 DVD와 같은 주변 데이터 스토리지 유닛과 같은 비임시 컴퓨터 독출 가능한 데이터 스토리지 매체는 프로그램 코드 또는 소프트웨어를 저장할 수 있다. 프로세서(19) 또는 이미징 모듈(17)의 디지털 처리 블록(167, 도 7a 참조)은 프로그램 코드를 실행하고, 시스템(15)이 도 1 내지 도 11을 참조하여 설명된 2차원 이미징 및 3차원 깊이 측정(그리고 연관된 타임스탬프 측정)을 수행하도록 할 수 있다. 예를 들어, 프로그램 코드의 실행에 따라, 프로세서(19) 또는 디지털 처리 블록(167)은 측정부(171) 및 독출 체인(175)과 같은 연관된 회로 구성을 활성화하여, 상술된 타임스탬프 측정을 수행할 수 있다. 프로그램 코드 또는 소프트웨어는 프로세서(19) 또는 디지털 처리 블록(167)과 같은 적절한 처리 개체에 의해 실행되어 처리 개체가 정확한 타이밍을 이용하여 타임스탬프 측정을 수행하고, 픽셀 이벤트들을 캡처하고, 처리하고, 다양한 포맷들로 변형하고, 그리고 2차원 또는 3차원 포맷으로 표시하게 하는 등록된 또는 오픈 소스의 소프트웨어일 수 있다. 앞서 언급된 바와 같이, 이미징 모듈(17)의 디지털 처리 블록(167)은 픽셀 출력 데이터가 후속 처리 및 표시를 위해 프로세서(19)로 전송되기 전에 픽셀 이벤트 신호들의 처리의 일부를 수행할 수 있다. 예시적으로, 프로세서(19)는 디지털 처리 블록(167)의 기능을 수행하며, 디지털 처리 블록(167)이 이미징 모듈(17)에 제공되지 않을 수 있다.

앞서 언급된 바와 같이, 본 발명의 이해를 돕기 위하여 구체적인 상세가 설명되었다. 그러나, 본 발명의 상세로부터 멀어지지 않은 다른 실시 예들이 가능하다. 즉, 여기에 명확히 게시되지 않지만, 본 발명의 원리를 다양한 형태로 구현할 수 있다. 예를 들어, 잘 알려진 장치들, 회로들, 방법들은 본 발명의 설명을 혼동하지 않기 위하여 생략되었다. 본 발명의 원리들, 측면들 및 실시 예들에 대한 모든 언급들은 구조적 및 기능적인 등가를 포함하는 것으로 의도된다. 또한, 이러한 등가는 현재 알려진 등가 뿐 아니라 미래에 개발되는 등가, 예를 들어 구조에 관계없이 동일한 기능을 수행하는 원소들에도 적용되는 것으로 의도된다.

예를 들어, 도 1 및 도 2의 블록도들은 본 발명의 기술적 사상에 따른 회로 또는 다른 기능들의 개념도를 나타낼 수 있다. 마찬가지로, 도 3 및 도 9의 순서도들은 프로세서(19) 또는 디지털 처리 블록(167)에서 수행되는 다양한 처리들을 나타낸다. 이러한 프로세서는 범용 프로세서, 특수 목적 프로세서, 종래의 프로세서, DSP (digital signal processor), 복수의 마이크로프로세서들, DSP 코어와 연관된 하나 또는 그보다 많은 마이크로프로세서들, 컨트롤러, 마이크로컨트롤러, ASIC (Application Specific Integrated Circuits), FPGA (Field Programmable Gate Arrays), 또는 다른 형태의 집적 회로 또는 상태 기계를 포함할 수 있다. 도 1 내지 도 11을 참조하여 설명된 기능들의 일부 또는 전부는 이러한 프로세서에 의해 하드웨어 또는 소프트웨어로 제공될 수 있다.

본 발명의 기술적 사상이 소프트웨어 기반의 처리를 필요로 하지만, 이러한 소프트웨어 또는 프로그램 코드는 컴퓨터 독출 가능 데이터 스토리지 매체에 저장될 수 있다. 앞서 언급된 바와 같이, 이러한 데이터 스토리지 매체는 주변 스토리지(274)의 일부 또는 시스템 메모리(20)의 일부, 이미지 센서부(24)의 내부 메모리(미도시), 또는 프로세서(19)의 내부 메모리(미도시)일 수 있다. 예시적으로, 프로세서(19) 또는 디지털 처리 블록(167)은 이러한 매체에 저장된 명령들을 실행하여 소프트웨어 기반 처리를 수해할 수 있다. 컴퓨터 독출 가능 데이터 스토리지 매체는 범용 컴퓨터 또는 상술된 프로세서에 의해 실행되는 컴퓨터 프로그램, 소프트웨어, 펌웨어 또는 마이크로코드를 포함하는 비임시 데이터 스토리지 매체일 수 있다. 컴퓨터 독출 가능 스토리지 매체의 예들은 ROM, RAM, 디지털 레지스터, 캐시 메모리, 반도체 메모리 장치들, 내장 하드 디스크, 자기 테이프 및 제거 가능한 디스크와 같은 자기 매체, 자기-광학 매체, 그리고 CD 또는 DVD와 같은 광학 매체를 포함할 수 있다.

이미징 모듈(17) 또는 이미징 모듈(17)을 포함하는 시스템(15)의 다른 예들은 상술된 기능들 또는 본 발명에 의해 제시된 해법을 지원하는 데에 필요한 다른 기능을 포함하는 추가 기능을 제공하기 위한 추가적인 구성 요소들을 포함할 수 있다. 구체적인 예를 들어 특성들 및 원소들이 설명되었지만, 각 특성 또는 원소는 다른 특성 및 원소 없이 혼자 사용될 수 있으며, 다른 특성 및 원소와 다양하게 조합될 수 있다. 앞서 언급된 바와 같이, 다양한 2차원 및 3차원 이미징 기능들이 회로와 같은 하드웨어 또는 컴퓨터 독출 가능 데이터 스토리지 매체에 저장된 명령들 또는 마이크로코드들의 형태의 소프트웨어 또는 펌웨어를 실행할 수 있는 하드웨어를 이용하여 제공될 수 있다. 따라서, 기능 블록들로 도시된 기능들은 하드웨어 구현 또는 컴퓨터 구현 중 하나에 해당하며, 기계 구현에 해당한다.

동일한 이미지 센서, 즉 이미지 센서의 모든 픽셀들이 물체의 2차원 이미지 및 3차원 깊이 측정을 위해 사용된다. 이미지 센서는 스마트폰과 같은 모바일 장치의 카메라의 일부일 수 있다. 레이저원은 물체 표면을 광점들로 포인트 스캔하는 데에 사용되며, 이들은 이미지 센서의 픽셀 어레이에 의해 검출되어 감각 측량을 이용하여 물체의 3차원 깊이 프로파일을 생성하는 데에 사용될 수 있다. 3차원 모드에서, 레이저는 스캔 라인을 따라 물체의 표면에 순차적인 광점들을 투사할 수 있다. 조명된 광점들은 픽셀 어레이의 픽셀들의 행을 이용하여 검출되고, 행은 스캔 라인의 등극선을 형성할 수 있다. 검출된 광점들에서 삼각 측량의 모호성을 제거하기 위하여 타임스탬프가 형성되고, 따라서 깊이 연산 및 시스템 전력의 양이 감소된다. 타임스탬프는 캡처된 광점의 픽셀 위치 및 레이저원의 스캔 각 사이의 대응 관계를 제공하며 삼각 측정을 이용하여 깊이가 판별될 수 있다. 이미지 센서의 아날로그 디지털 변환부는 시간 디지털 변환기로 동작하여 타임스탬프를 생성할 수 있다. 3차원 카메라 시스템의 성능을 향상시키기 위하여, 타임스탬프 측정(또는 수정) 회로가 온-보드로 제공되고, 픽셀 어레이의 픽셀들의 각 열의 전송 지연을 기록하고, 그리고 3차원 깊이 측정 시에 생성되는 타임스탬프 값들에 대해 필요한 측정값(또는 수정값)을 제공할 수 있다.

본 발명의 상세한 설명에서는 구체적인 실시 예에 관하여 설명하였으나, 본 발명의 범위와 기술적 사상에서 벗어나지 않는 한도 내에서 여러 가지 변형이 가능하다. 그러므로 본 발명의 범위는 상술한 실시 예에 국한되어 정해져서는 안되며 후술하는 특허청구범위뿐만 아니라 이 발명의 특허청구범위와 균등한 것들에 의해 정해져야 한다.

15; 시스템
17; 이미징 모듈
19; 프로세서
20; 메모리 모듈
22; 광원
24; 이미지 센서부
26; 3차원 물체
33; 레이저원
34; 레이저 제어기
35; 투사 렌즈
42; 2차원 픽셀 어레이
44; 수집 렌즈
46; 픽셀 어레이 제어 및 처리부
100~108; 픽셀들
116; 행 디코더 및 드라이버
138; 픽셀 열 유닛
145; 열 디코더
149; 행 디코더부
150; 행 드라이버부
153; 열 ADC 유닛
159; 참조 신호 생성기
163; 램프 신호 생성기
167; 디지털 처리 블록
168; 인터페이스부
171; 타임스탬프 측정부
175; CDS 및 ADC 유닛
177, 179; OTA
181; 이진 카운터
183; 라인 메모리
265; 주변 스토리지 유닛
267; 표시 유닛
268; 네트워크 인터페이스 유닛
270; 전원 유닛

Claims

광원을 이용하여 스캔 라인을 따라 3차원 물체에 대해 상기 3차원 물체의 표면에 순차적인 광점들을 투사하는 1차원 포인트 스캔을 수행하는 단계;
이미지 플레인을 형성하는 2차원 어레이에 배열되는 복수의 픽셀들을 갖는 이미지 센서에서, 상기 이미지 플레인 상에서 상기 스캔 라인의 등극선의 적어도 일부를 형성하는 픽셀들의 행을 선택하는 단계;
상기 선택된 픽셀들의 행의 픽셀에 대해, 상기 순차적인 광점들 중 대응하는 광점의 픽셀 특정 검출을 감지하는 단계;
상기 대응하는 광점의 픽셀 특정 검출을 감지하는 것에 응답하여, 상기 대응하는 광점의 타임스탬프 값을 생성하는 단계;
상기 선택된 픽셀들의 행에서 상기 픽셀과 연관된 2차원 어레이의 열에 대해, 상기 픽셀 특정 검출을 감지하는 단계 및 상기 픽셀들의 행의 상기 픽셀의 픽셀 특정 출력이 미리 정해진 문턱값에 도달한 때 사이의 열 특정 전송 지연을 나타내는 열 특정 수정 값을 타임스탬프 값에 적용하여 수정된 타임스탬프 값을 획득하는 단계; 그리고
적어도 상기 수정된 타임스탬프 값 및 상기 대응하는 광점을 투사하는 상기 광원에 의해 사용된 스캔 각에 기반하여 상기 3차원 물체의 상기 표면 상의 상기 대응하는 광점까지의 거리를 판별하는 단계를 포함하는 방법.
제1 항에 있어서,
상기 열 특정 수정 값은 미리 기록되는 방법.
제1 항에 있어서,
상기 픽셀들의 행의 각 픽셀은 4-트랜지스터 픽셀, 3-트랜지스터 픽셀, 2-트랜지스터 픽셀, 공유 트랜지스터 픽셀, 1x2 2-공유 픽셀, 그리고 1x4 4-공유 픽셀 중 하나인 방법.
제1 항에 있어서,
상기 광원은 X축 및 Y축으로 조절되고,
상기 광원은, 레이저 광원, 가시 레이저 광원, 포인트 광원, 근적외선 레이저 광원 및 단색 조명원 중 하나인 방법.
제1 항에 있어서,
상기 2차원 어레이는 CMOS (Complementary Metal Oxide Semiconductor) 어레이인 방법.
제1 항에 있어서,
상기 픽셀 특정 타임스탬프 값을 생성하는 단계는 이진 카운터를 d용하여 수행되는 방법.
제1 항에 있어서,
상기 타임스탬프 값을 생성하기 전에, 상기 열 특정 수정 값을 판별하는 단계를 더 포함하는 방법.
제7 항에 있어서,
상기 열 특정 수정 값을 판별하는 단계는 하드웨어에서 상기 열 특정 전송 지연을 모의(simulate)하여 수행되는 방법.
제7 항에 있어서,
상기 열 특정 수정 값을 판별하는 단계는,
상기 선택된 픽셀들의 행의 상기 픽셀과 연관된 상기 열에 대해, 상기 선택된 픽셀들의 행의 상기 픽셀에 추가적인 열 특정 측정 픽셀을 제공하는 단계;
상기 측정 픽셀을 활성화하는 단계;
상기 측정 픽셀이 활성화되는 제1 시간을 기록하는 단계;
상기 선택된 픽셀들의 행의 상기 픽셀로부터의 출력이 클러킹(clocking)되는 것과 동일한 방법으로 상기 특정 픽셀의 출력을 클러킹하는 단계;
상기 측정 픽셀의 출력이 상기 미리 정해진 문턱값에 도달하는 제2 시간을 기록하는 단계; 그리고
상기 제2 시간으로부터 상기 제1 시간을 감하여 상기 열 특정 수정 값을 획득하는 단계를 포함하는 방법.
제9 항에 있어서,
상기 제2 시간의 발생에 따라 대응하는 타임스탬프의 생성을 시작하는 단계 및 상기 제2 시간의 발생에 따라 상기 대응하는 타임스탬프의 생성을 판별하는 단계 중 하나를 더 포함하는 방법.
제9 항에 있어서,
상기 클러킹하는 단계는, 상기 1차원 포인트 스캔을 수행할 때에 상기 광원에 의해 사용되는 스캔 주파수와 동일한 제1 클럭 주파수를 이용하여 상기 측정 픽셀의 출력을 클러킹하는 단계 및 상기 스캔 주파수와 다른 제2 클럭 주파수를 이용하여 상기 측정 픽셀의 출력을 클러킹하는 단계 중 하나를 더 포함하는 방법.
제7 항에 있어서,
상기 열 특정 수정 값을 판별하는 단계는,
상기 선택된 픽셀들의 행의 상기 픽셀과 연관된 상기 열에 대해, 상기 선택된 픽셀들의 행의 상기 픽셀에 추가적인 열 특정 측정 픽셀을 제공하는 단계;
상기 측정 픽셀을 활성화하는 단계;
상기 측정 픽셀을 활성화하는 것 이전에 또는 동시에 카운팅 동작을 시작하는 단계;
상기 선택된 픽셀들의 행의 상기 픽셀로부터의 출력이 클러킹(clocking)되는 것과 동일한 방법으로 상기 특정 픽셀의 출력을 클러킹하는 단계;
상기 측정 픽셀의 출력이 상기 미리 정해진 문턱값에 도달할 때에 상기 카운팅 동작을 종료하는 단계; 그리고
상기 카운팅 동작의 종료에 따라 생성되는 카운트 값을 상기 열 특정 수정 값으로 선택하는 단계를 포함하는 방법.
3차원 물체에 대해 스캔 라인을 따라 상기 3차원 물체의 표면에 순차적인 광점들을 투사하는 1차원 포인트 스캔을 수행하도록 구성되는 광원; 그리고
이미지 센서부를 포함하고,
상기 이미지 센서부는,
이미지 플레인을 형성하는 2차원 픽셀 어레이에 배열되는 복수의 픽셀들;
복수의 아날로그 디지털 변환기들; 그리고
상기 복수의 아날로그 디지털 변환기들에 연결된 처리부를 포함하고,
상기 2차원 픽셀 어레이의 픽셀들의 행은 상기 스캔 라인의 등극선의 적어도 일부를 형성하고, 상기 픽셀들의 행의 각 픽셀은 상기 2차원 어레이의 대응하는 열과 연관되고, 상기 픽셀들의 행의 각 픽셀은 상기 순차적인 광점들에서 대응하는 광점을 검출하도록 구성되고,
각 아날로그 디지털 변환기는 상기 픽셀들의 행의 각 픽셀과 연관되고, 각 픽셀에 의한 상기 대응하는 광점의 픽셀 특정 검출에 응답하여 각 픽셀의 픽셀 특정 타임스탬프 값을 생성하도록 구성되고,
상기 처리부는,
상기 선택된 픽셀들의 행에서 상기 픽셀과 연관된 2차원 어레이의 열에 대해, 상기 픽셀 특정 검출을 감지하는 단계 및 상기 픽셀들의 행의 상기 픽셀의 픽셀 특정 출력이 미리 정해진 문턱값에 도달한 때 사이의 열 특정 전송 지연을 나타내는 열 특정 수정 값을 타임스탬프 값에 적용하여 수정된 타임스탬프 값을 획득하고, 그리고
적어도 상기 수정된 타임스탬프 값 및 상기 대응하는 광점을 투사하는 상기 광원에 의해 사용된 스캔 각에 기반하여 상기 3차원 물체의 상기 표면 상의 상기 대응하는 광점까지의 거리를 판별하도록 구성되는 이미지 장치.
제13 항에 있어서,
상기 2차원 픽셀 어레이는 CMOS (Complementary Metal Oxide Semiconductor) 어레이이고, 상기 픽셀들의 행의 각 픽셀은 4-트랜지스터 픽셀, 3-트랜지스터 픽셀, 2-트랜지스터 픽셀, 1-트랜지스터 픽셀, 공유 트랜지스터 픽셀, 1x2 2-공유 픽셀, 그리고 1x4 4-공유 트랜지스터 픽셀 중 하나인 이미지 장치.
제13 항에 있어서,
상기 광원은, 레이저 광원, 가시 레이저 광원, 포인트 광원, 근적외선 레이저 광원, 단색 조명원, 및 X-축 및 Y-축으로 조절되는 광원 중 하나인 이미지 장치.
제13 항에 있어서,
상기 이미지 센서부는 상기 복수의 아날로그 디지털 변환기들 및 상기 프로세서와 연결되고, 하드웨어에서 상기 열 특정 전송 지연을 모의하여 상기 픽셀 특정 타임스탬프 값의 생성 이전에 상기 열 특정 수정 값을 판별하는 측정부를 더 포함하는 이미지 장치.
제13 항에 있어서,
상기 이미지 센서부는 상기 복수의 아날로그 디지털 변환기들 및 상기 프로세서와 연결되는 측정부를 더 포함하고,
상기 측정부는 상기 대응하는 픽셀과 연관된 상기 열에 대한 열 특정 측정 픽셀을 포함하고, 상기 측정 픽셀은 상기 2차원 픽셀 어레이에서 상기 대응하는 픽셀에 추가적으로 제공되고,
상기 측정부는 상기 측정 픽셀을 활성화하고, 상기 측정 픽셀과 연관된 상기 대응하는 픽셀로부터의 출력이 클러킹되는 것과 동일한 방법으로 상기 측정 픽셀의 출력을 클러킹하고,
상기 복수의 아날로그 디지털 변환기들 중 하나는 상기 측정 픽셀이 활성화되는 제1 시간을 기록하고, 상기 측정 픽셀의 출력이 미리 정해진 문턱 값에 도달하는 제2 시간을 측정하고,
상기 처리부는 상기 제2 시간으로부터 상기 제1 시간을 감하여 상기 열 특정 수정 값을 획득하는 이미지 장치.
제17 항에 있어서,
상기 측정부는, 상기 1차원 포인트 스캔을 수행할 때에 상기 광원에 의해 사용되는 스캔 주파수와 동일한 제1 클럭 주파수를 이용하여 상기 측정 픽셀의 출력을 클러킹하는 동작 및 상기 스캔 주파수와 다른 제2 클럭 주파수를 이용하여 상기 측정 픽셀의 출력을 클러킹하는 동작 중 하나를 수행하도록 구성되는 이미지 장치.
제13 항에 있어서,
상기 이미지 센서부는 상기 복수의 아날로그 디지털 변환기들 및 상기 프로세서와 연결되는 측정부를 더 포함하고,
상기 측정부는 상기 대응하는 픽셀과 연관된 상기 열에 대한 열 특정 측정 픽셀을 포함하고, 상기 측정 픽셀은 상기 2차원 픽셀 어레이에서 상기 대응하는 픽셀에 추가적으로 제공되고,
상기 측정부는 상기 측정 픽셀을 활성화하고, 상기 측정 픽셀과 연관된 상기 대응하는 픽셀로부터의 출력이 클러킹되는 것과 동일한 방법으로 상기 측정 픽셀의 출력을 클러킹하고,
상기 복수의 아날로그 디지털 변환기들 중 하나는 상기 측정 픽셀의 활성화와 동시에 카운팅 동작을 시작하고, 그리고 상기 측정 픽셀의 출력이 미리 정해진 문턱 값에 도달할 때에 상기 카운팅 동작을 종료하고,
상기 처리부는 상기 카운팅 동작의 종료에 따라 생성되는 카운트 값을 상기 열 특정 수정 값으로 선택하는 이미지 장치.
3차원 물체에 대해 스캔 라인을 따라 상기 3차원 물체의 표면에 순차적인 광점들을 투사하는 1차원 포인트 스캔을 수행하도록 구성되는 광원;
이미지 플레인을 형성하는 2차원 픽셀 어레이에 배열되는 복수의 픽셀들;
복수의 아날로그 디지털 변환기들;
프로그램 명령들을 저장하는 메모리; 그리고
상기 복수의 아날로그 디지털 변환기들에 연결된 처리부를 포함하고,
상기 2차원 픽셀 어레이의 픽셀들의 행은 상기 스캔 라인의 등극선의 적어도 일부를 형성하고, 상기 픽셀들의 행의 각 픽셀은 상기 2차원 어레이의 대응하는 열과 연관되고, 상기 픽셀들의 행의 각 픽셀은 상기 순차적인 광점들에서 대응하는 광점을 검출하도록 구성되고,
각 아날로그 디지털 변환기는 상기 픽셀들의 행의 각 픽셀과 연관되고, 각 픽셀에 의한 상기 대응하는 광점의 픽셀 특정 검출에 응답하여 각 픽셀의 픽셀 특정 타임스탬프 값을 생성하도록 구성되고,
상기 처리부는,
상기 선택된 픽셀들의 행에서 상기 픽셀과 연관된 2차원 어레이의 열에 대해, 상기 픽셀 특정 검출을 감지하는 단계 및 상기 픽셀들의 행의 상기 픽셀의 픽셀 특정 출력이 미리 정해진 문턱값에 도달한 때 사이의 열 특정 전송 지연을 나타내는 열 특정 수정 값을 타임스탬프 값에 적용하여 수정된 타임스탬프 값을 획득하고, 그리고
적어도 상기 수정된 타임스탬프 값 및 상기 대응하는 광점을 투사하는 상기 광원에 의해 사용된 스캔 각에 기반하여 상기 3차원 물체의 상기 표면 상의 상기 대응하는 광점까지의 거리를 판별하도록 구성되는 시스템.