KR20120111013A

KR20120111013A - 3차원 이미지 센서 및 이를 이용한 거리 측정 방법

Info

Publication number: KR20120111013A
Application number: KR1020110029249A
Authority: KR
Inventors: 배광혁; 경규민; 김태찬
Original assignee: 삼성전자주식회사
Priority date: 2011-03-31
Filing date: 2011-03-31
Publication date: 2012-10-10

Abstract

3차원 이미지 센서는 광원 모듈, 감지부 및 제어부를 포함한다. 광원 모듈은 서로 다른 활성화 구간의 펄스 폭을 가지는 제1 송신광과 제2 송신광을 피사체에 조사한다. 감지부는 상기 제1 송신광 및 제2 송신광에 의한 반사광을 전기적 신호로 변환한다. 제어부는 상기 광원 모듈과 상기 감지부를 제어한다.

Description

3차원 이미지 센서 및 이를 이용한 거리 측정 방법{A TREE-DIMENSIONAL IMAGE SENSOR AND METHOD OF MEASURING DISTANCE USING THE SAME}

본 발명은 이미지 센서에 관한 것으로, 보다 상세하게는 3차원 이미지 센서에 관한 것이다.

이미지 센서는 영상(Image) 또는 거리(Distance, Depth) 정보를 포함하는 광 신호를 전기적인 신호로 변환하는 장치이다. 정밀하면서도 정확하게 원하는 정보를 제공하기 위하여 이미지 센서에 대한 연구가 진행 중이며, 특히, 영상 정보뿐만 아니라 거리 정보를 제공하는 3차원 이미지 센서(3D Image Sensor)에 대한 연구 및 개발이 최근 활발하게 진행되고 있다.

3차원 이미지 센서는 광원으로서 적외선 또는 근적외선을 이용하여 피사체에 대한 거리 정보를 획득할 수 있다.

이에 따라, 본 발명의 목적은 피사체의 오버 새츄레이션 현상을 방지할 수 있는 3차원 이미지 센서 및 3차원 이미지 센서를 이용한 거리 측정 방법을 제공하는데 있다.

상기 일 목적을 달성하기 위하여 본 발명의 일 실시예에 따른 3차원 이미지 센서는 광원 모듈, 감지부 및 제어부를 포함한다. 상기 광원 모듈은 서로 다른 활성화 구간의 펄스 폭을 가지는 제1 송신광과 제2 송신광을 피사체에 조사한다. 상기 감지부는 상기 제1 송신광 및 제2 송신광에 의한 반사광을 전기적 신호로 변환한다. 상기 제어부는 상기 광원 모듈과 상기 감지부를 제어한다.

실시예에 있어서, 상기 광원 모듈은 적어도 상기 제1 송신광을 출력하는 제1 광원 및 상기 제2 송신광을 출력하는 제2 광원을 포함할 수 있다.

상기 감지부는 상기 반사광을 집광시키는 집광 렌즈를 포함하고 상기 제1 광원과 상기 제2 광원은 상기 집광 렌즈에 대하여 대향적으로 배치될 수 있다.

실시예에 있어서, 제1 송신광의 주기와 상기 제2 송신광의 주기는 서로 동일할 수 있다.

실시예에 있어서, 상기 제어부는 서로 교번적으로 활성화되는 제1 및 제2 제어 신호에 의하여 상기 광원 모듈을 제어할 수 있다.

실시예에 있어서, 상기 제1 송신광과 상기 제2 송신광은 서로 180도의 위상차를 갖을 수 있다.

실시예에 있어서, 상기 제1 송신광의 펄스폭과 상기 제2 송신광의 펄스폭은 서로 동일할 수 있다.

상기 일 목적을 달성하기 위하여 본 발명의 일 실시예에 따른 3차원 이미지 센서를 이용한 거리 측정 방법에서는 광원 모듈에서 제1 송신광을 피사체에 조사한다. 상기 광원 모듈에서, 상기 제1 송신광과 서로 다른 활성화 구간의 펄스폭을 가지는 제2 송신광을 상기 피사체에 조사한다. 상기 제1 송신광 및 상기 제2 송신광에 의한 반사광을 전기적 신호로 변환한다. 상기 전기적 신호에 기초하여 상기 3차원 이미지 센서로부터 상기 피사체까지의 거리를 측정한다.

실시예에 있어서, 상기 제1 송신광을 상기 피사체에 조사하는 단계는 상기 3차원 이미지 센서의 제어부에서 주기적으로 활성화되는 제1 제어 신호에 의하여 상기 광원 모듈의 제1 광원을 주기적으로 온/오프 시켜 수행될 수 있다.

상기 제2 송신광을 상기 피사체에 조사하는 단계는 상기 제어부에서 상기 제1 제어 신호와 교번적으로 활성화되는 제2 제어 신호에 의하여 상기 광원 모듈의 제2 광원을 상기 제1 광원과 주기적으로 온/오프 시켜 수행될 수 있다.

제1 광원 및 제2 광원을 제어하여 제1 송신광 및 제2 송신광이 서로 다른 구간에서 활성화되는 펄스 폭을 갖도록 하여 피사체에 대한 오버새추레이션 현상을 방지할 수 있다.

도 1은 본 발명의 일 실시예에 따른 3차원 이미지 센서를 나타내는 블록도이다.
도 2는 도 1의 3차원 이미지 센서에서 광원들과 집광 렌즈의 상대적 위치를 나타낸다.
도 3은 도 1에서 제어신호들과 송신광들을 나타낸다.
도 4는 도 1에서 송신광들과 수신광을 나타낸다.
도 5는 도 1의 3차원 이미지 센서에서 피사체의 거리를 계산하는 일 예를 설명하기 위한 도면이다.
도 6은 본 발명의 일 실시예에 따른 3차원 이미지 센서의 거리 측정 방법을 나타내는 순서도이다.
도 7은 본 발명의 다른 실시예에 따른 3차원 이미지 센서의 거리 측정 방법을 나타내는 순서도이다.
도 8은 본 발명의 일 실시예에 따른 3차원 이미지 센서의 감지부를 나타내는 블록도이다.
도 9는 본 발명의 일 실시예에 따른 3차원 이미지 센서를 카메라에 응용한 예를 나타내는 블록도이다.
도 10은 본 발명의 일 실시예에 따른 3차원 이미지 센서를 컴퓨팅 시스템에 응용한 예를 나타내는 블록도이다.
도 11은 도 10의 컴퓨팅 시스템에서 사용되는 인터페이스의 일 예를 나타내는 블록도이다.

본문에 개시되어 있는 본 발명의 실시예들에 대해서, 특정한 구조적 내지 기능적 설명들은 단지 본 발명의 실시예를 설명하기 위한 목적으로 예시된 것으로, 본 발명의 실시예들은 다양한 형태로 실시될 수 있으며 본문에 설명된 실시예들에 한정되는 것으로 해석되어서는 아니 된다.

본 발명은 다양한 변경을 가할 수 있고 여러 가지 형태를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 본문에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 개시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 구성요소에 대해 사용하였다.

제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위로부터 이탈되지 않은 채 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다.

어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다. 구성요소들 간의 관계를 설명하는 다른 표현들, 즉 "~사이에"와 "바로 ~사이에" 또는 "~에 이웃하는"과 "~에 직접 이웃하는" 등도 마찬가지로 해석되어야 한다.

본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 설시된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.

한편, 어떤 실시예가 달리 구현 가능한 경우에 특정 블록 내에 명기된 기능 또는 동작이 순서도에 명기된 순서와 다르게 일어날 수도 있다. 예를 들어, 연속하는 두 블록이 실제로는 실질적으로 동시에 수행될 수도 있고, 관련된 기능 또는 동작에 따라서는 상기 블록들이 거꾸로 수행될 수도 있다.

이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예를 보다 상세하게 설명하고자 한다. 도면상의 동일한 구성요소에 대해서는 동일한 참조부호를 사용하고 동일한 구성요소에 대해서 중복된 설명은 생략한다.

도 1은 본 발명의 일 실시예에 따른 3차원 이미지 센서를 나타내는 블록도이다.

도 1을 참조하면, 3차원 이미지 센서(10)는 감지부(100), 제어부(200) 및 광원 모듈(300)을 포함할 수 있다. 감지부(100)는 픽셀 어레이(110), 아날로그-디지털 변환(Analog-to-Digital Conversion; ADC)부(130), 로우 주사 회로(120), 컬럼 주사 회로(140) 및 렌즈 모듈(400)을 포함할 수 있고, 렌즈 모듈(400)은 집광 렌즈(410) 및 필터(420)를 포함할 수 있다. 다른 실시예에서는, 감지부(100)는 픽셀 어레이(110), (ADC)부(130), 로우 주사 회로(120) 및 컬럼 주사 회로(140)를 포함하고, 렌즈 모듈(400)은 감지부(100)와 별도로 구성될 수 있다.

픽셀 어레이(110)는 광원 모듈(300)에서 조사된 제1 및 제2 송신광(TX1, TX2)이 피사체(50)에 반사되어 수신광(RX)을 전기적인 신호로 변환하는 거리 픽셀(depth pixel)등을 포함한다. 상기 거리 픽셀들은 흑백 영상 정보와 함께 3차원 이미지 센서(10)로부터 피사체(50)의 거리에 대한 정보를 제공할 수 있다.

픽셀 어레이(110)는 컬러 영상 정보를 제공하는 컬러 픽셀들을 더 포함할 수 있다. 이 경우, 3차원 이미지 센서(100)는 상기 컬러 영상 정보 및 상기 거리 정보를 동시에 제공하는 3차원 컬러 이미지 센서일 수 있다. 일 실시예에서, 적외선(또는 근적외선) 필터가 상기 거리 픽셀들 상에 형성되고, 컬러 필터(예를 들어, 적색, 녹색 및 청색 필터들)가 상기 컬러 픽셀들 상에 형성될 수 있다. 실시예에 따라, 상기 거리 픽셀과 상기 컬러 픽셀의 개수 비는 변경될 수 있다.

ADC부(130)는 픽셀 어레이(110)로부터 출력되는 아날로그 신호를 디지털 신호로 변환할 수 있다. 실시예에 따라, ADC부(130)는 각 컬럼 라인마다 연결된 아날로그-디지털 변환기를 이용하여 아날로그 신호들을 병렬로 변환하는 컬럼 ADC를 수행하거나, 단일한 아날로그-디지털 변환기를 이용하여 상기 아날로그 신호들을 순차적으로 변환하는 단일 ADC를 수행할 수 있다.

실시예에 따라, ADC부(130)는 유효 신호 성분을 추출하기 위한 상관 이중 샘플링(Correlated Double Sampling; CDS)부를 포함할 수 있다. 일 실시예에서, 상기 CDS부는 리셋 성분을 나타내는 아날로그 리셋 신호와 신호 성분을 나타내는 아날로그 데이터 신호의 차이에 기초하여 상기 유효 신호 성분을 추출하는 아날로그 더블 샘플링(Analog Double Sampling)을 수행할 수 있다. 다른 실시예에서, 상기 CDS부는 상기 아날로그 리셋 신호와 상기 아날로그 데이터 신호를 디지털 신호들로 각각 변환한 후 상기 유효 신호 성분으로서 두 개의 디지털 신호의 차이를 추출하는 디지털 더블 샘플링(Digital Double Sampling)을 수행할 수 있다. 또 다른 실시예에서, 상기 CDS부는 상기 아날로그 더블 샘플링 및 상기 디지털 더블 샘플링을 모두 수행하는 듀얼 상관 이중 샘플링을 수행할 수 있다.

로우 주사 회로(120)는 제어부(200)로부터 제어 신호들을 수신하여 픽셀 어레이(110)의 로우 어드레스 및 로우 주사를 제어할 수 있다. 로우 주사 회로(120)는 로우 라인들 중에서 해당 로우 라인을 선택하기 위하여 해당 로우 라인을 활성화시키는 신호를 픽셀 어레이(120)에 인가할 수 있다. 일 실시예에서, 로우 주사 회로(120)는 픽셀 어레이(110) 내의 로우 라인을 선택하는 로우 디코더 및 선택된 로우 라인을 활성화시키는 신호를 공급하는 로우 드라이버를 포함할 수 있다.

컬럼 주사 회로(140)는 제어부(200)로부터 제어 신호들을 수신하여 픽셀 어레이(110)의 컬럼 어드레스 및 컬럼 주사를 제어할 수 있다. 컬럼 주사 회로(140)는 ADC부(130)에서 출력되는 디지털 출력 신호를 디지털 신호 프로세싱 회로(Digital Signal Processing Circuit, 미도시) 또는 외부의 호스트(미도시)로 출력할 수 있다. 예를 들어, 컬럼 주사 회로(140)는 수평 주사 제어 신호를 ADC부(130)에 출력함으로써, ADC부(120) 내의 복수의 아날로그-디지털 변환기들을 순차적으로 선택할 수 있다. 일 실시예에서, 컬럼 주사 회로(140)는 복수의 아날로그-디지털 변환기들 중 하나를 선택하는 컬럼 디코더 및 선택된 아날로그-디지털 변환기의 출력을 수평 전송선으로 유도하는 컬럼 드라이버를 포함할 수 있다. 한편, 상기 수평 전송선은 상기 디지털 출력 신호를 출력하기 위한 비트 폭을 가질 수 있다.

제어부(200)는 ADC부(130), 로우 주사 회로(120), 컬럼 주사 회로(140) 및 광원 모듈(300)을 제어할 수 있다. 제어부(200)는 ADC부(130), 로우 주사 회로(120), 컬럼 주사 회로(130) 및 광원 모듈(300)의 동작에 요구되는 클럭 신호, 타이밍 컨트롤 신호 등과 같은 제어 신호들을 공급할 수 있다. 일 실시예에서, 제어부(200)는 로직 제어 회로, 위상 고정 루프(Phase Lock Loop; PLL) 회로, 타이밍 제어 회로 및 통신 인터페이스 회로 등을 포함할 수 있다.

광원 모듈(300)은 소정의 파장을 가진 광(예를 들어, 적외선 또는 근적외선)을 출력할 수 있다. 광원 모듈(300)은 제1 광원(310), 제2 광원(320) 및 렌즈(330)를 포함할 수 있다. 제1 광원(310)은 제어부(200)로부터의 제1 제어 신호(CLT1)에 응답하여 세기가 주기적으로 변하는 제1 송신광광(TX1)을 출력할 수 있다. 예를 들어, 제1 송신광(TX1)의 세기는 연속적인 펄스들을 가지는 펄스 파, 사인 파, 코사인 파 등과 같은 형태를 가지도록 제어될 수 있다. 제2 광원(320)은 제어부(200)로부터의 제2 제어 신호(CLT2)에 응답하여 세기가 주기적으로 변하는 제2 송신광(TX2)을 출력할 수 있다. 예를 들어, 제2 송신광(TX2)의 세기는 연속적인 펄스들을 가지는 펄스 파, 사인 파, 코사인 파 등과 같은 형태를 가지도록 제어될 수 있다. 여기서 제1 송신광(TX1)과 제2 송신광(TX2)은 서로 다른 활성화 구간의 펄스 폭을 가지도록 제1 제어 신호(CLT1)와 제2 제어 신호(CLT2)에 의하여 제어될 수 있다. 제1 광원(310)과 제2 광원(320)은 발광 다이오드(light emitting diode, LED), 레이저 다이오드 등으로 구현될 수 있다. 렌즈(330)는 제1 광원(310)과 제2 광원(320)에서 출력되는 제1 송신광(TX1)과 제2 송신광(TX2)이 피사체(50)에 포커싱되도록 할 수 있다.

렌즈 모듈(400)은 집광 렌즈(410) 및 필터(420)를 포함할 수 있다. 렌즈(410)는 피사체(50)로부터 반사된 수신광(RX)을 집광하여 픽셀 어레이(110)에 제공할 수 있다. 필터(420)는 적외선 필터로서 적외선 이외의 파장을 가진 광, 예를 들어 가시광선을 필터링한다. 감지부(100)는 편광된 수신광(PRX)을 전기적 신호로 변환할 수 있다.

이하, 본 발명의 실시예들에 따른 3차원 이미지 센서(10)의 동작을 설명한다.

제어부(200)는 서로 다른 활성화 구간의 펄스 폭을 가지는 제1 송신광(TX1)과 제2 송신광(TX2)을 출력하도록 제1 및 제2 제어 신호(CLT1, CLT2)에 의하여 광원 모듈(300)을 제어할 수 있다. 광원 모듈(300)에서 방출된 제1 송신광(TX1)과 제2 송신광(TX2)은 피사체(50)에서 반사되고, 수신광(RX)으로서 렌즈 모듈(400)에 입사될 수 있다. 렌즈 모듈(400)은 수신광(RX)에서 적외선 성분만을 통과시켜 상기 거리 픽셀들에 제공할 수 있다. 상기 거리 픽셀들은 로우 주사 회로(120)에 의해 활성화되어 수신 광(RX)에 상응하는 아날로그 신호를 출력할 수 있다. ADC부(130)는 상기 거리 픽셀들로부터 출력된 아날로그 신호를 디지털 데이터(DATA)로 변환할 수 있다. 디지털 데이터(DATA)는 컬럼 주사 회로(140)에 의해 제어부(200)에 제공될 수 있다.

제어부(200)에 포함된 계산부(210)는 디지털 데이터(DATA)에 기초하여 3차원 이미지 센서(10)로부터 피사체(50)의 거리, 피사체(50)의 수평 위치, 피사체(50)의 수직 위치 및/또는 피사체(50)의 면적 등을 계산할 수 있다.

피사체(50)에 상응하는 영역에 조사된 광(TX)은 피사체(50)에서 반사되어 상기 거리 픽셀들에 다시 입사될 수 있다. 상기 거리 픽셀들은 수신 광(RX)에 상응하는 아날로그 신호를 출력하고, ADC부(130)는 상기 거리 픽셀들로부터 출력된 아날로그 신호를 디지털 데이터(DATA)로 변환할 수 있다. 디지털 데이터(DATA)는 계산부(210)에 의해 거리 정보로 변환되고, 상기 거리 정보는 디지털 신호 프로세싱 회로 또는 외부의 호스트로 제공될 수 있다. 실시예에 따라, 픽셀 어레이(110)는 컬러 픽셀들을 포함할 수 있고, 상기 디지털 신호 프로세싱 회로 또는 상기 호스트에는 상기 거리 정보와 함께 컬러 영상 정보가 제공될 수 있다.

상술한 바와 같이, 본 발명의 실시예들에 따른 3차원 이미지 센서(10)에서, 광원 모듈(300)에 제1 광원(310) 및 제2 광원(320)을 포함하고, 제1 광원(310) 및 제2 광원(320)이 서로 다른 활성화 구간의 펄스 폭을 가지는 제1 송신광(TX1)과 제2 송신광(TX2)을 출력하도록 제어부(200)가 제1 광원(310) 및 제2 광원(320)을 제어함으로써 복수의 송신광이 동일한 활성화 구간을 가지는 경우 발생할 수 있는 피사체의 오버 새추레이션 현상을 방지할 수 있다.

도 2는 도 1의 3차원 이미지 센서에서 광원들과 집광 렌즈의 상대적 위치를 나타낸다.

도 2를 참조하면, 제1 광원(310)과 제2 광원(320)은 집광 렌즈(410)를 기준으로 서로 대향하도록 배치될 수 있다. 보다 상세하게는 제1 광원(310)과 제2 광원(320)은 중심선(CL)을 기준으로 서로 대향하도록 배치될 수 있다. 다른 실시예에서는 제1 광원(310)과 제2 광원(320)은 집광 렌즈(410)의 중심축을 기준으로 서로 대향하도록 배치될 수 있다. 설명의 편의를 위하여 도 2에서는 제1 광원(310)과 제2 광원(320) 만을 도시하였지만, 제1 광원(310) 및 제2 광원(320)은 각각 동일한 개수로 복수개가 집광 렌즈(410)를 기준으로 서로 대향하도록 배치될 수 있다.

도 3은 도 1에서 제어신호들과 송신광들을 나타낸다.

도 3을 참조하면, 제1 제어 신호(CLT1)와 제2 제어 신호(CLT2)는 서로 180도의 위상차를 가지고 교번적으로 활성화되는 것을 알 수 있다. 제1 제어 신호(CLT1)에 응답하여 제1 광원(310)이 주기적으로 턴 온/오프되어 제1 펄스폭(P1)을 가지는 제1 송신광(TX1)이 제1 광원(310)으로부터 출력된다. 제2 제어 신호(CLT2)에 응답하여 제2 광원(320)이 주기적으로 턴 온/오프되어 제2 펄스폭(P2)을 가지는 제2 송신광(TX2)이 제2 광원(320)으로부터 출력된다. 제1 제어 신호(CLT1)와 제2 제어신호(CLT2)는 동일한 주기를 가지고 180도의 위상차를 가지므로 제1 송신광(TX1)과 제2 송신광(TX2)도 서로 동일한 주기를 가지며 180도의 위상차를 가지게 된다. 또한 제1 송신광(TX1)과 제2 송신광(TX2)은 서로 다른 활성화 구간의 펄스 폭을 가지게 되며 제1 펄스폭(P1)은 제2 펄스폭(P2)은 서로 동일하다.

도 4는 도 1에서 송신광들과 수신광을 나타낸다.

도 4를 참조하면, 제1 송신광(TX1)이 피사체(50)에 조사되고 피사체(50)에서 반사된 수신광(RX)의 비행시간차이인 제1 TOF(TOF1)와 제2 송신광(TX2)이 피사체(50)에 조사되고 피사체(50)에서 반사된 수신광(RX)의 비행시간차이인 제2 TOF(TOF2)가 나타나 있다. 제1 송신광(TX1)과 제2 송신광(TX2)도 서로 동일한 주기를 가지며 180도의 위상차를 가지므로 제1 TOF(TOF1)와 제2 TOF(TOF2)는 서로 동일하다.

도 5는 도 1의 3차원 이미지 센서에서 피사체의 거리를 계산하는 일 예를 설명하기 위한 도면이다.

도 5에서 제1 송신광(TX1) 및 제2 송신광(TX2)은 송신광(TX)으로 나나타나 있고, 제1 송신광(TX1), 제2 송신광(TX2) 및 수신광(RX)은 정현파의 형태로 도시되어 있다.

도 1 및 도 5를 참조하면, 광원 모듈(300)에서 송신광(TX)은 주기적으로 변동하는 세기를 가질 수 있다. 예를 들어, 방출된 광(TX)의 세기(즉, 단위 면적당 광자의 수)는 사인 파의 형태를 가질 수 있다.

광원 모듈(300)에서 방출된 송신광(TX)은 피사체(50)에서 반사되어 수신 광(RX)으로서 렌즈 모듈(400)에 입력된다. 렌즈 모듈(400)은 수신광(RX)을 집광하여 픽셀 어레이(110)에 입사시킨다. 픽셀 어레이(110)는 수신 광(RX)을 주기적으로 샘플링할 수 있다. 실시예에 따라, 픽셀 어레이(110)는 수신 광(RX)의 각 주기(즉, 방출된 광(TX)의 주기)마다 180 도의 위상 차를 가지는 두 개의 샘플링 포인트들, 각각 90 도의 위상 차를 가지는 네 개의 샘플링 포인트들, 또는 그 이상의 샘플링 포인트들에서 수신 광(PRX)을 샘플링할 수 있다. 예를 들어, 픽셀 어레이(110)는 매 주기 마다 방출된 광(TX)의 90 도, 180 도, 270도 및 360도의 위상들에서 수신 광(RX)의 샘플들(A0, A1, A2, A3)을 추출할 수 있다.

수신 광(RX)은 추가적인 배경 광, 노이즈 등에 의해 광원 모듈(200)에서 방출된 광(TX)의 오프셋과 다른 오프셋(B)을 가질 수 있다. 수신 광(RX)의 오프셋(B)은 [수학식 1]과 같이 계산될 수 있다.

[수학식 1]

여기서, A0는 방출된 광(TX)의 90 도의 위상에서 샘플링된 수신 광(RX)의 세기를 나타내고, A1은 방출된 광(TX)의 180 도의 위상에서 샘플링된 수신 광(RX)의 세기를 나타내고, A2는 방출된 광(TX)의 270 도의 위상에서 샘플링된 수신 광(RX)의 세기를 나타내고, A3는 방출된 광(TX)의 360 도의 위상에서 샘플링된 수신 광(RX)의 세기를 나타낸다.

수신 광(RX)은 광 손실에 의해 광원 모듈(300)에서 방출된 광(TX)의 진폭(amplitude)보다 작은 진폭(A)을 가질 수 있다. 수신 광(RX)의 진폭(A)은 [수학식 2]와 같이 계산될 수 있다.

[수학식 2]

픽셀 어레이(110)에 포함된 거리 픽셀들 각각에 대한 수신 광(RX)의 진폭(A)에 기초하여 피사체(50)에 대한 흑백 영상 정보가 제공될 수 있다.

수신 광(RX)은 방출된 광(TX)에 대하여 3차원 이미지 센서(100)로부터 피사체(160)의 거리의 두 배에 상응하는 위상 차(φ)만큼 지연된다. 방출된 광(TX)에 대한 수신 광(RX)의 위상 차(φ)는 [수학식 3]과 같이 계산될 수 있다.

[수학식 3]

방출된 광(TX)에 대한 수신 광(RX)의 위상 차(φ)는 광의 비행 시간(Time-Of-Flight; TOF)에 상응한다. 3차원 이미지 센서(10)로부터 피사체(50)의 거리는 수학식 “R = c * TOF / 2”(여기서, R은 피사체(160)의 거리를 나타내고, c는 빛의 속도를 나타낸다)을 이용하여 계산될 수 있다. 또한, 3차원 이미지 센서(10)로부터 피사체(50)의 거리는 수신 광(RX)의 위상 차(φ)를 이용하여 [수학식 4]와 같이 계산될 수 있다.

[수학식 4]

여기서, f는 변조 주파수, 즉 방출된 광(TX)(또는 수신 광(RX))의 주파수를 나타낸다.

상술한 바와 같이, 본 발명의 실시예들에 따른 3차원 이미지 센서(10)는 광원 모듈(300)에서 방출된, 서로 다른 구간에서 활성화되는 펄스 폭을 가지는 제1 및 제2 송신광(TX1, TX2)를 이용하여 피사체(50)에 대한 거리 정보를 획득할 수 있다. 도 2에는 사인 파의 형태를 가지도록 변조된 광(TX)을 이용한 예가 도시되어 있으나, 실시예에 따라, 3차원 이미지 센서(10)는 다양한 형태의 변조된 광(TX)을 이용할 수 있다. 또한, 3차원 이미지 센서(10)는 광(TX)의 세기의 파형, 거리 픽셀의 구조 등에 따라 다양한 방식으로 거리 정보를 추출할 수 있다.

도 6은 본 발명의 일 실시예에 따른 3차원 이미지 센서의 거리 측정 방법을 나타내는 순서도이다.

도 1, 도 2, 도4, 도 5 및 도 6을 참조하면, 3차원 이미지 센서(10)의 광원 모듈(300)의 제1 광원(310)에서 피사체(50)에 제1 송신광(TX1)을 조사한다(S510). 3차원 이미지 센서(10)의 광원 모듈(300)의 제2 광원(320)에서 제1 송신광(TX1)과 다른 활성화 구간의 펄스폭을 가지는 제2 송신광(TX2)을 피사체(50)에 조사한다(S520). 제1 송신광(TX1)과 제2 송신광(TX2)에 의한 피사체(50)로부터 반사된 수신광(RX)을 감지부(100)에서 전기적 신호로 변환한다(S530). 제어부(200)에서 전기적 신호에 기초하여 3차원 이미지 센서(10)로부터 피사체(50)까지의 거리를 측정한다(S540). 상술한 바와 같이, 여기서 제1 송신광(TX1)과 제2 송신광(TX2)은 서로 동일한 주기를 갖으며 또한 서로 180도의 위상차를 갖는다.

도 7은 본 발명의 다른 실시예에 따른 3차원 이미지 센서의 거리 측정 방법을 나타내는 순서도이다.

도 1, 도 2, 도3, 도 4, 도 5 및 도 7을 참조하면, 3차원 이미지 센서(10)의 제어부(200)에서 제1 제어 신호(CLT1)를 주기적으로 활성화시킨다(S610). 3차원 이미지 센서(10)의 제어부(200)에서 제1 제어 신호(CLT1)와 교번적으로 제2 제어 신호(CLT2)를 주기적으로 활성화시킨다(S620). 제1 제어 신호(CLT1)에 응답하여 광원 모듈(300)의 제1 광원(310)을 주기적으로 온/오프 시켜 피사체(50)에 제1 송신광(TX1)을 조사한다(S630). 제2 제어 신호(CLT2)에 응답하여 광원 모듈(300)의 제2 광원(320)을 주기적으로 온/오프 시켜 피사체(50)에 제2 송신광(TX2)을 조사한다(S640). 여기서, 제2 2제어 신호(CLT2)는 제1 제어 신호(CLT1)와 교번적으로 활성화되기 때문에 제2 송신광(TX2)은 제1 송신광(TX1)과 다른 활성화 구간의 펄스폭을 가지게 된다. 상술한 바와 같이, 여기서 제1 송신광(TX1)과 제2 송신광(TX2)은 서로 동일한 주기를 갖으며 또한 서로 180도의 위상차를 갖는다. 제1 송신광(TX1)과 제2 송신광(TX2)에 의한 피사체(50)로부터 반사된 수신광(RX)을 감지부(100)에서 전기적 신호로 변환한다(S650). 제어부(200)에서 전기적 신호에 기초하여 3차원 이미지 센서(10)로부터 피사체(50)까지의 거리를 측정한다(S660).

도 8은 본 발명의 일 실시예에 따른 3차원 이미지 센서의 감지부를 나타내는 블록도이다.

도 8에는, 도 1의 3차원 이미지 센서의 픽셀 어레이(110)가 거리 픽셀과 컬러 픽셀을 포함하는 경우의 일 예가 도시되어 있다. 또한 도 8에는 도 1의 3차원 이미지 센서의 감지부(100)에서 렌즈 모듈(400)을 제외한 경우의 일 예가 도시되어 있다.

도 8을 참조하면, 감지부(700)는 복수의 컬러 픽셀들과 복수의 거리 픽셀들이 배열된 픽셀 어레이(C/Z PX), 컬러 픽셀 선택 회로(CROW, CCOL), 거리 픽셀 선택 회로(ZROW, ZCOL), 컬러 픽셀 컨버터(CADC) 및 거리 픽셀 컨버터(ZADC)를 포함할 수 있다. 컬러 픽셀 선택 회로(CROW, CCOL)와 컬러 픽셀 컨버터(CADC)는 픽셀 어레이(C/Z PX) 내의 컬러 픽셀을 제어하여 영상 정보(CDATA)를 제공하고, 거리 픽셀 선택 회로(ZROW, ZCOL)와 거리 픽셀 컨버터(ZADC)는 픽셀 어레이(C/Z PX) 내의 거리 픽셀을 제어하여 거리 정보(ZDATA)를 제공한다.

이와 같이 3차원 이미지 센서에서는 영상의 컬러 데이터(CDATA) 및 거리 데이터(ZDATA)를 제공하기 위하여 컬러 픽셀들을 제어하는 구성 요소들과 거리 픽셀들을 제어하는 구성 요소들이 별도로 구비되어 서로 독립적으로 동작할 수 있다.

도 9는 본 발명의 일 실시예에 따른 3차원 이미지 센서를 카메라에 응용한 예를 나타내는 블록도이다.

도 9를 참조하면, 카메라(800)는 수광 렌즈(810), 3차원 이미지 센서(900) 및 엔진부(840)를 포함할 수 있다. 3차원 이미지 센서(900)는 3차원 이미지 센서 칩(820) 및 광원 모듈(830)을 포함할 수 있다. 실시예에 따라, 3차원 이미지 센서 칩(820) 및 광원 모듈(830)은 각각 별도의 장치로 구현되거나, 광원 모듈(830) 중 적어도 일부의 구성이 3차원 이미지 센서 칩(820)에 포함되도록 구현될 수 있다. 또한 수광 렌즈(810)는 3차원 이미지 센서(900)의 일부 구성 요소로서 포함될 수도 있다. 광원 모듈(830)은 제1 광원(831), 제2 광원(832) 및 렌즈(832)를 포함할 수 있고, 제1 광원(831) 및 제2 광원(832)은 발광 다이오드(LED)나 레이저 다이오드 등으로 구현될 수 있다. 3차원 이미지 센서 칩(820)은 서로 교번적으로 활성화되는 제1 및 제2 제어 신호(CLT1, CLT2)에 의하여 제1 광원(831) 및 제2 광원(832)을 교번적으로 턴 온/오프시켜 제1 광원(831) 및 제2 광원(832)이 서로 다른 구간에서 활성화되는 펄스 폭을 갖는 송신광들을 출력하도록 할 수 있다.

수광 렌즈(810)는 3차원 이미지 센서 칩(820)의 수광 영역(예를 들어, 도 1의 픽셀 어레이(110))로 입사광을 집광시킬 수 있다. 3차원 이미지 센서 칩(820)은 수광 렌즈(810)를 통하여 입사된 광에 기초하여 거리 정보 및/또는 컬러 영상 정보를 포함하는 데이터(DATA1)를 생성할 수 있다. 예를 들어, 3차원 이미지 센서 칩(820)에서 생성되는 데이터(DATA1)는 광원 모듈(830)에서 방출된 적외선 또는 근적외선을 이용하여 생성된 거리 데이터 및 외부 가시광선을 이용하여 생성된 베이어 패턴의 RGB 데이터를 포함할 수 있다. 3차원 이미지 센서 칩(820)은 클록 신호(CLK)에 기초하여 데이터(DATA1)를 엔진부(840)에 제공할 수 있다. 실시예에 따라, 3차원 이미지 센서 칩(820)은 MIPI(Mobile Industry Processor Interface) 및/또는 CSI(Camera Serial Interface)를 통하여 엔진부(840)와 인터페이싱할 수 있다.

엔진부(840)는 3차원 이미지 센서(900)를 제어한다. 또한, 엔진부(840)는 3차원 이미지 센서 칩(820)으로부터 수신된 데이터(DATA1)를 처리할 수 있다. 예를 들어, 엔진부(840)는 3차원 이미지 센서 칩(820)으로부터 수신된 데이터(DATA1)에 기초하여 입체 컬러 데이터를 생성할 수 있다. 다른 예에서, 엔진부(840)는 데이터(DATA1)에 포함된 상기 RGB 데이터에 기초하여 휘도 성분, 상기 휘도 성분과 청색 성분의 차, 및 휘도 성분과 적색 성분의 차를 포함하는 YUV 데이터를 생성하거나, 압축 데이터, 예를 들어 JPEG(Joint Photography Experts Group) 데이터를 생성할 수 있다. 엔진부(840)는 호스트/어플리케이션(850)에 연결될 수 있으며, 엔진부(840)는 마스터 클록(MCLK)에 기초하여 데이터(DATA2)를 호스트/어플리케이션(850)에 제공할 수 있다. 또한, 엔진부(840)는 SPI(Serial Peripheral Interface) 및/또는 I2C(Inter Integrated Circuit)를 통하여 호스트/어플리케이션(850)과 인터페이싱할 수 있다.

도 10은 본 발명의 일 실시예에 따른 3차원 이미지 센서를 컴퓨팅 시스템에 응용한 예를 나타내는 블록도이다.

도 10을 참조하면, 컴퓨팅 시스템(1000)은 프로세서(1010), 메모리 장치(1020), 저장 장치(1030), 입출력 장치(1040), 파워 서플라이(1050) 및 3차원 이미지 센서(900)를 포함할 수 있다. 한편, 도 33에는 도시되지 않았지만, 컴퓨팅 시스템(1000)은 비디오 카드, 사운드 카드, 메모리 카드, USB 장치 등과 통신하거나, 또는 다른 전자 기기들과 통신할 수 있는 포트(port)들을 더 포함할 수 있다.

프로세서(1010)는 특정 계산들 또는 태스크(task)들을 수행할 수 있다. 실시예에 따라, 프로세서(1010)는 마이크로프로세서(micro-processor), 중앙 처리 장치(Central Processing Unit; CPU)일 수 있다. 프로세서(1010)는 어드레스 버스(address bus), 제어 버스(control bus) 및 데이터 버스(data bus)를 통하여 메모리 장치(1020), 저장 장치(1030) 및 입출력 장치(1040)와 통신을 수행할 수 있다. 실시예에 따라, 프로세서(1010)는 주변 구성요소 상호연결(Peripheral Component Interconnect; PCI) 버스와 같은 확장 버스에도 연결될 수 있다. 메모리 장치(1020)는 컴퓨팅 시스템(1000)의 동작에 필요한 데이터를 저장할 수 있다. 예를 들어, 메모리 장치(1020)는 디램(DRAM), 모바일 디램, 에스램(SRAM), 피램(PRAM), 에프램(FRAM), 알램(RRAM) 및/또는 엠램(MRAM)으로 구현될 수 있다. 저장 장치(1030)는 솔리드 스테이트 드라이브(solid state drive), 하드 디스크 드라이브(hard disk drive), 씨디롬(CD-ROM) 등을 포함할 수 있다. 입출력 장치(1040)는 키보드, 키패드, 마우스 등과 같은 입력 수단 및 프린터, 디스플레이 등과 같은 출력 수단을 포함할 수 있다. 파워 서플라이(1050)는 전자 기기(1000)의 동작에 필요한 동작 전압을 공급할 수 있다.

3차원 이미지 센서(900)는 상기 버스들 또는 다른 통신 링크를 통해서 프로세서(1010)와 연결되어 통신을 수행할 수 있다. 상술한 바와 같이, 3차원 이미지 센서(900)는 복수의 광원을 포함하되 서로 교번적으로 턴 온시켜 피사체에 대한 오버 새추레시연 현상을 방지할 수 있다. 또한 3차원 이미지 센서(900)는 프로세서(1010)와 함께 하나의 칩에 집적될 수도 있고, 서로 다른 칩에 각각 집적될 수도 있다.

3차원 이미지 센서(900)는 다양한 형태들의 패키지로 구현될 수 있다. 예를 들어, 3차원 이미지 센서(900)의 적어도 일부의 구성들은 PoP(Package on Package), Ball grid arrays(BGAs), Chip scale packages(CSPs), Plastic Leaded Chip Carrier(PLCC), Plastic Dual In-Line Package(PDIP), Die in Waffle Pack, Die in Wafer Form, Chip On Board(COB), Ceramic Dual In-Line Package(CERDIP), Plastic Metric Quad Flat Pack(MQFP), Thin Quad Flatpack(TQFP), Small Outline(SOIC), Shrink Small Outline Package(SSOP), Thin Small Outline(TSOP), Thin Quad Flatpack(TQFP), System In Package(SIP), Multi Chip Package(MCP), Wafer-level Fabricated Package(WFP), Wafer-Level Processed Stack Package(WSP) 등과 같은 패키지들을 이용하여 실장될 수 있다.

한편, 컴퓨팅 시스템(1000)은 3차원 이미지 센서를 이용하는 모든 컴퓨팅 시스템으로 해석되어야 할 것이다. 예를 들어, 컴퓨팅 시스템(1000)은 디지털 카메라, 이동 전화기, 피디에이(Personal Digital Assistants; PDA), 피엠피(Portable Multimedia Player; PMP), 스마트폰 등을 포함할 수 있다.

도 11은 도 10의 컴퓨팅 시스템에서 사용되는 인터페이스의 일 예를 나타내는 블록도이다.

도 11을 참조하면, 컴퓨팅 시스템(1100)은 MIPI 인터페이스를 사용 또는 지원할 수 있는 데이터 처리 장치로 구현될 수 있고, 어플리케이션 프로세서(1110), 3차원 이미지 센서(1140) 및 디스플레이(1150) 등을 포함할 수 있다. 어플리케이션 프로세서(1110)의 CSI 호스트(1112)는 카메라 시리얼 인터페이스(Camera Serial Interface; CSI)를 통하여 3차원 이미지 센서(1140)의 CSI 장치(1141)와 시리얼 통신을 수행할 수 있다. 일 실시예에서, CSI 호스트(1112)는 디시리얼라이저(DES)를 포함할 수 있고, CSI 장치(1141)는 시리얼라이저(SER)를 포함할 수 있다. 어플리케이션 프로세서(1110)의 DSI 호스트(1111)는 디스플레이 시리얼 인터페이스(Display Serial Interface; DSI)를 통하여 디스플레이(1150)의 DSI 장치(1151)와 시리얼 통신을 수행할 수 있다.

일 실시예에서, DSI 호스트(1111)는 시리얼라이저(SER)를 포함할 수 있고, DSI 장치(1151)는 디시리얼라이저(DES)를 포함할 수 있다. 나아가, 컴퓨팅 시스템(1100)은 어플리케이션 프로세서(1110)와 통신을 수행할 수 있는 알에프(Radio Frequency; RF) 칩(1160)을 더 포함할 수 있다. 컴퓨팅 시스템(1100)의 PHY(1113)와 RF 칩(1160)의 PHY(1161)는 MIPI(Mobile Industry Processor Interface) DigRF에 따라 데이터 송수신을 수행할 수 있다. 또한, 어플리케이션 프로세서(1110)는 PHY(1161)의 MIPI DigRF에 따른 데이터 송수신을 제어하는 DigRF MASTER(1114)를 더 포함할 수 있다.

한편, 컴퓨팅 시스템(1100)은 지피에스(Global Positioning System; GPS)(1120), 스토리지(1170), 마이크(1180), 디램(Dynamic Random Access Memory; DRAM)(1185) 및 스피커(1190)를 포함할 수 있다. 또한, 컴퓨팅 시스템(1100)은 초광대역(Ultra WideBand; UWB)(1210), 무선 랜(Wireless Local Area Network; WLAN)(1220) 및 와이맥스(Worldwide Interoperability for Microwave Access; WIMAX)(1230) 등을 이용하여 통신을 수행할 수 있다. 다만, 컴퓨팅 시스템(1100)의 구조 및 인터페이스는 하나의 예시로서 이에 한정되는 것이 아니다.

본 발명의 실시예들에 따른 3차원 이미지 센서는 거리 정보를 제공하기 위하여 임의의 광감지 장치에 이용될 수 있으며, 특히 피사체의 영상 정보 및 거리 정보를 함께 제공하는 3차원 이미지 센서에 유용하게 이용될 수 있다. 또한, 본 발명은 얼굴 인식 보안 시스템, 컴퓨터, 디지털 카메라, 3차원 카메라, 휴대폰, PDA, 스캐너, 차량용 네비게이션, 비디오 폰, 감시 시스템, 자동 포커스 시스템, 추적 시스템, 동작 감지 시스템, 이미지 안정화 시스템 등에 유용하게 이용될 수 있다.

상술한 바와 같이, 본 발명의 바람직한 실시예를 참조하여 설명하였지만 해당 기술 분야에서 통상의 지식을 가진 자라면 하기의 특허청구범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.

Claims

서로 다른 활성화 구간의 펄스 폭을 가지는 제1 송신광과 제2 송신광을 피사체에 조사하는 광원 모듈;
상기 제1 송신광 및 제2 송신광에 의한 반사광을 전기적 신호로 변환하는 감지부; 및
상기 광원 모듈과 상기 감지부를 제어하는 제어부를 포함하는 3차원 이미지 센서.
제1항에 있어서, 상기 광원 모듈은 적어도
상기 제1 송신광을 출력하는 제1 광원; 및
상기 제2 송신광을 출력하는 제2 광원을 포함하는 것을 특징으로 하는 3차원 이미지 센서.
제2항에 있어서,
상기 감지부는 상기 반사광을 집광시키는 집광 렌즈를 포함하고,
상기 제1 광원과 상기 제2 광원은 상기 집광 렌즈에 대하여 대향적으로 배치되는 것을 특징으로 하는 3차원 이미지 센서.
제1항에 있어서,
상기 제1 송신광의 주기와 상기 제2 송신광의 주기는 서로 동일한 것을 특징으로 하는 3차원 이미지 센서.
제1항에 있어서, 상기 제어부는 서로 교번적으로 활성화되는 제1 및 제2 제어 신호에 의하여 상기 광원 모듈을 제어하는 것을 특징으로 하는 3차원 이미지 센서.
제1항에 있어서, 상기 제1 송신광과 상기 제2 송신광은 서로 180도의 위상차를 갖는 것을 특징으로 하는 3차원 이미지 센서.
제1항에 있어서, 상기 제1 송신광의 펄스폭과 상기 제2 송신광의 펄스폭은 서로 동일한 것을 특징으로 하는 3차원 이미지 센서.
3차원 이미지 센서를 이용한 거리 측정 방법에 있어서,
광원 모듈에서 제1 송신광을 피사체에 조사하는 단계;
상기 광원 모듈에서, 상기 제1 송신광과 서로 다른 활성화 구간의 펄스폭을 가지는 제2 송신광을 상기 피사체에 조사하는 단계;
상기 제1 송신광 및 상기 제2 송신광에 의한 반사광을 전기적 신호로 변환하는 단계; 및
상기 전기적 신호에 기초하여 상기 3차원 이미지 센서로부터 상기 피사체까지의 거리를 측정하는 단계를 포함하는 3차원 이미지 센서를 이용한 거리 측정 방법.
제8항에 있어서, 상기 제1 송신광을 상기 피사체에 조사하는 단계는 상기 3차원 이미지 센서의 제어부에서 주기적으로 활성화되는 제1 제어 신호에 의하여 상기 광원 모듈의 제1 광원을 주기적으로 온/오프 시켜 수행되는 것을 특징으로 하는 3차원 이미지 센서를 이용한 거리 측정 방법.
제9항에 있어서, 상기 제2 송신광을 상기 피사체에 조사하는 단계는 상기 제어부에서 상기 제1 제어 신호와 교번적으로 활성화되는 제2 제어 신호에 의하여 상기 광원 모듈의 제2 광원을 상기 제1 광원과 주기적으로 온/오프 시켜 수행되는 것을 특징으로 하는 이미지 센서를 이용한 거리 측정 방법.