KR101711061B1

KR101711061B1 - 깊이 추정 장치를 이용한 깊이 정보 추정 방법

Info

Publication number: KR101711061B1
Application number: KR1020100013405A
Authority: KR
Inventors: 민동기; 진영구
Original assignee: 삼성전자주식회사
Priority date: 2010-02-12
Filing date: 2010-02-12
Publication date: 2017-02-28
Also published as: KR20110093382A; US8645099B2; JP2011164094A; US20110202310A1; JP5698527B2

Abstract

깊이 추정 장치를 이용한 깊이 정보 추정 방법이 개시된다. 상기 방법은 깊이 픽셀에서 생성되는 다수의 프레임 신호들 중에서 누락된 프레임 신호의 유무 및 상기 다수의 제공된 프레임 신호들의 연속 패턴을 고려하여 상기 다수의 프레임 신호들을 각각이 에러 없이 상기 대상 물체까지의 깊이를 추정하는데 이용될 수 있는 다수의 프레임 신호 그룹들로 그룹화하는 단계 및 상기 다수의 프레임 신호 그룹들 각각을 이용하여 상기 대상 물체까지의 깊이를 추정하는 단계를 포함한다.

Description

깊이 추정 장치를 이용한 깊이 정보 추정 방법{METHOD FOR ESTIMATING DEPTH INFORMATION USING DEPTH ESTIMATION DEVICE}

본 발명은 TOF(Time Of Flight) 원리를 이용하여 대상 물체까지의 깊이를 측정하는 기술에 관한 것으로, 보다 상세하게는 깊이 추정 장치에서 대상 물체로부터 수신되는 반사광으로부터 서로 다른 위상을 갖는 다수의 프레임 신호들을 이용하여 추출하고, 추출된 프레임 신호들에 기초하여 대상 물체까지의 깊이 정보를 추정하는 방법에 관한 것이다.

센서(Sensor)는 대상물의 상태 또는 위치를 검출하고 검출 결과를 전기적인 신호로 변환하여 전달하는 소자이다. 상기 센서의 종류로서는 빛 센서, 온도 센서, 압력 센서, 자기 센서, 또는 깊이(또는, 거리) 센서(Depth Sensor) 등이 있다.

그 중에서 상기 깊이 센서는 주로 TOF 원리를 이용하여 소스(Source)로부터 방사된 펄스 형태의 신호가 대상 물체(또는, 측정 대상물)에 의해 반사되어 되돌아 올 때까지의 지연 시간을 측정하여 상기 깊이 센서와 상기 대상 물체까지의 깊이(또는, 거리)를 계산한다. 상기 깊이 센서의 상기 소스로부터 출력되는 신호는 마이크로파(Micro wave), 광파(Light wave), 초음파(Ultrasonic wave) 등일 수 있다.

TOF 원리를 이용하여 대상 물체까지의 깊이를 계산하는 깊이 센서는 서로 다른 위상차로 측정된 다수의 프레임 신호를 이용하여 대상 물체까지의 깊이를 계산한다. 예컨대, 4-탭 픽셀 구조(4-Tap Pixel Structure)의 깊이 픽셀을 이용하는 깊이 센서는 동시에 0도, 90도, 180도, 270도의 위상차를 갖는 게이트 신호들을 깊이 픽셀에 인가하여 대상 물체로부터 반사되는 광신호로부터 동시에 다수의 프레임 신호들을 추출하여 대상 물체까지의 깊이를 계산할 수 있다.

그러나 1-탭 픽셀 구조 또는 2-탭 픽셀 구조의 깊이 픽셀을 이용하는 깊이 센서는 시간차를 두고 0도, 90도, 180도, 270도의 위상차를 갖는 게이트 신호들을 깊이 픽셀에 인가하며, 시간차를 가지고 측정되는 다수의 프레임 신호들을 이용하여 대상 물체까지의 깊이를 계산할 수 있다.

이러한 깊이 픽셀의 동작 시 다수의 프레임 신호들 중에서 하나의 신호라도 누락되는 경우에는 깊이 센서에서 계산된 대상 물체까지의 깊이에는 오차가 발생한다. 프레임 신호의 누락은 1-탭 픽셀 구조 또는 2-탭 픽셀 구조의 깊이 픽셀을 이용하는 깊이 센서가 고속 동작을 수행하는 경우(즉, 높은 FPS(Frame Per Second)로 동작하는 경우)에 발생할 가능성이 높다.

따라서 본 발명이 이루고자 하는 기술적인 과제는 대상 물체까지의 깊이 계산 시에 누락된 프레임 신호에 의한 에러를 보상할 수 있는 깊이 추정 장치를 이용한 깊이 정보 추정 방법을 제공하는 것이다.

상기 기술적 과제를 해결하기 위한 깊이 추정 장치를 이용한 깊이 정보 추정 방법은 (a) 광신호를 대상 물체로 출력하는 단계, (b) 상기 대상 물체로부터 반사되는 광신호 및 깊이 픽셀에 인가되는 일정한 위상 차이로 주기적으로 인가되는 다수의 게이트 신호들에 기초하여 다수의 프레임 신호들을 발생하며, 상기 다수의 프레임 신호들 및 상기 다수의 프레임 신호들 각각의 프레임 정보를 상기 대상 물체까지의 깊이 추정을 위하여 제공하는 단계, (c) 상기 다수의 제공된 프레임 신호들 중에서 누락된 프레임 신호의 유무 및 상기 다수의 제공된 프레임 신호들의 연속 패턴을 고려하여 상기 다수의 제공된 프레임 신호들을 각각이 에러 없이 상기 대상 물체까지의 깊이를 추정하는데 이용될 수 있는 다수의 프레임 신호 그룹들로 그룹화하는 단계, 및 (d) 상기 다수의 프레임 신호 그룹들 각각을 이용하여 상기 대상 물체까지의 깊이를 추정하는 단계를 포함할 수 있다.

상기 (c) 단계는 (c1) 상기 다수의 제공된 프레임 신호들 중에서 현재 프레임 신호의 프레임 정보와 이전 프레임 신호의 프레임 정보를 비교하고, 상기 비교 결과에 기초하여 상기 다수의 제공된 프레임 신호들 중에서 상기 누락된 프레임 신호를 검출하고 상기 제공된 다수의 제공된 프레임 신호들의 연속 패턴을 판단하는 단계 및 (c2) 상기 누락된 프레임 신호의 유무 및 상기 다수의 프레임 신호들의 연속 패턴에 기초하여 상기 다수의 제공된 프레임 신호들을 상기 다수의 프레임 신호 그룹들로 그룹화하는 단계를 포함할 수 있다.

상기 (c) 단계는 (c1) 상기 다수의 제공된 프레임 신호들 중에서 현재 프레임 신호의 프레임 정보와 이전 프레임 신호의 프레임 정보를 비교하고, 상기 비교 결과에 기초하여 상기 누락된 프레임 신호의 유무를 판단하며, 상기 누락된 프레임 신호의 유무를 나타내는 인덱스 값을 발생하는 단계, (c2) 상기 다수의 제공된 프레임 신호들 중에서 현재 프레임 신호의 프레임 정보 및 상기 인덱스 값을 비교하고, 상기 비교 결과에 기초하여 상기 다수의 제공된 프레임 신호들의 연속 패턴을 판단하는 단계, 및 (c3) 상기 누락된 프레임 신호의 유무 및 상기 다수의 제공된 프레임 신호들의 연속 패턴에 기초하여 상기 다수의 제공된 프레임 신호들을 상기 다수의 프레임 신호 그룹들로 그룹화하는 단계를 포함할 수도 있다.

현재 프레임 신호 그룹은 이전 프레임 신호 그룹은 적어도 하나의 프레임 신호를 공유할 수 있다.

상기 (d) 단계는 (d1) 상기 다수의 프레임 신호 그룹들 각각에 포함된 두 개의 프레임 신호들의 차이와 상기 다수의 프레임 신호 그룹들 각각에 포함된 다른 두 개의 신호들의 차이의 비율에 기초하여 상기 대상 물체로 출력된 광신호와 상기 대상 물체로부터 반사된 광신호 사이의 위상차를 검출하는 단계 및 (d2) 상기 광신호의 주파수 및 상기 위상차에 기초하여 상기 대상 물체까지의 깊이를 추정하는 단계를 포함할 수 있다.

본 발명의 실시예에 따른 깊이 추정 장치를 이용한 깊이 정보 추정 방법은 컴퓨터로 읽을 수 있는 기록 매체에 저장된 상기 깊이 추정 장치를 이용한 깊이 정보 추정 방법을 실행하기 위한 컴퓨터 프로그램을 실행함으로써 구현될 수 있다.

상기 기술적 과제를 해결하기 위한 깊이 추정 장치는 광원, 깊이 픽셀, 디지털 회로, 메모리, 및 깊이 추정기를 포함할 수 있다.

상기 광원은 광신호를 대상 물체로 출력할 수 있다. 상기 깊이 픽셀은 상기 대상 물체로부터 반사되는 광신호 및 깊이 픽셀에 인가되는 일정한 위상 차이로 주기적으로 인가되는 다수의 게이트 신호들에 기초하여 다수의 프레임 신호들을 발생할 수 있다. 상기 디지털 회로는 상기 다수의 프레임 신호들을 디지털 신호로 변환하여 출력할 수 있다. 상기 메모리는 상기 다수의 프레임 신호들 및 상기 다수의 프레임 신호들 각각의 프레임 정보를 저장하여 상기 대상 물체까지의 깊이 추정을 위하여 제공할 수 있다.

상기 깊이 추정기는 상기 다수의 제공된 프레임 신호들 중에서 누락된 프레임 신호의 유무 및 상기 다수의 제공된 프레임 신호들의 연속 패턴을 고려하여 상기 다수의 제공된 프레임 신호들을 각각이 에러 없이 상기 대상 물체까지의 깊이를 추정하는데 이용될 수 있는 다수의 프레임 신호 그룹들로 그룹화하며, 상기 다수의 프레임 신호 그룹들 각각을 이용하여 상기 대상 물체까지의 깊이를 추정할 수 있다.

상술한 바와 같이 본 발명의 실시예에 따른 깊이 추정 장치를 이용한 깊이 추정 방법은 고속 동작 시 누락된 프레임 신호에 의하여 발생할 수 있는 깊이 추정 에러를 보상할 수 있고, 보다 자연스러운 깊이 이미지를 제공할 수 있는 효과가 있다.

본 발명의 상세한 설명에서 인용되는 도면을 보다 충분히 이해하기 위하여 각 도면의 상세한 설명이 제공된다.
도 1은 2-탭 픽셀 구조를 갖는 깊이 픽셀을 포함하는 본 발명의 실시 예에 따른 깊이 추정 장치의 블락도를 나타낸다.
도 2는 도 1에 도시된 2-탭 픽셀 구조를 갖는 깊이 픽셀의 레이아웃을 나타낸다.
도 3은 도 2에 도시된 2-탭 픽셀 구조에 인가되는 게이트 신호를 나타내는 그래프이다.
도 4는 도 2에 도시된 제1액티브 영역에 구현된 광전 변환 소자와 트랜지스터들을 나타내는 회로도의 일 예이다.
도 5는 적외선 신호들의 파형들과 게이트 신호들의 파형들을 나타낸다.
도 6은 도 1에 도시된 깊이 추정 장치를 이용하여 디지털 프레임 신호들을 추정하는 방법을 설명하기 위한 개념도이다.
도 7은 도 1에 도시된 깊이 추정기의 블락도이다.
도 8은 도 1에 도시된 깊이 추정 장치를 이용한 깊이 정보 추정 방법을 설명하기 위한 흐름도이다.
도 9는 도 1에 도시된 깊이 추정기의 깊이 추정 과정을 나타내는 흐름도이다.
도 10은 1-탭 픽셀 구조를 갖는 깊이 픽셀을 포함하는 본 발명의 실시 예에 따른 깊이 추정 장치의 블락도를 나타낸다.
도 11는 도 10에 도시된 1-탭 픽셀 구조를 갖는 깊이 픽셀의 레이아웃을 나타낸다.
도 12는 도 11에 도시된 1-탭 픽셀 구조에 인가되는 게이트 신호를 나타내는 그래프이다.
도 13은 도 10에 도시된 깊이 추정 장치를 이용하여 디지털 프레임 신호들을 추정하는 방법을 설명하기 위한 개념도이다.
도 14는 도 10에 도시된 깊이 추정기의 블락도이다.
도 15는 도 10에 도시된 깊이 추정기의 깊이 추정 과정을 나타내는 흐름도이다.
도 16은 종래의 깊이 추정 장치와 본 발명의 실시예에 따른 깊이 추정 장치의 성능 분석 시뮬레이션 결과를 나타내는 그래프이다.
도 17은 누락된 프레임 신호가 발생함에 따라서 가변되는 깊이 이미지 및 상기 깊이 이미지의 히스토그램을 나타낸다.
도 18은 본 발명의 실시 예에 따른 3차원 이미지 센서의 블락도를 나타낸다.
도 19는 도 18에 도시된 3차원 이미지 센서를 포함하는 이미지 처리 시스템의 블락도를 나타낸다.
도 20은 이미지 센서와 본 발명의 실시 예에 따른 깊이 추정 장치를 포함하는 이미지 처리 시스템의 블락도를 나타낸다.
도 21은 본 발명의 실시 예에 따른 깊이 추정 장치를 포함하는 신호 처리 시스템의 블락도를 나타낸다.

본 명세서 또는 출원에 개시되어 있는 본 발명의 개념에 따른 실시 예들에 대해서 특정한 구조적 내지 기능적 설명들은 단지 본 발명의 개념에 따른 실시 예를 설명하기 위한 목적으로 예시된 것으로, 본 발명의 개념에 따른 실시 예들은 다양한 형태로 실시될 수 있으며 본 명세서 또는 출원에 설명된 실시 예들에 한정되는 것으로 해석되어서는 아니된다.

본 발명의 개념에 따른 실시 예는 다양한 변경을 가할 수 있고 여러 가지 형태를 가질 수 있으므로 특정 실시 예들을 도면에 예시하고 본 명세서 또는 출원에 상세하게 설명하고자 한다. 그러나, 이는 본 발명의 개념에 따른 실시 예를 특정한 개시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.

제1 및/또는 제2 등의 용어는 다양한 구성 요소들을 설명하는데 사용될 수 있지만, 상기 구성 요소들은 상기 용어들에 의해 한정되어서는 안된다. 상기 용어들은 하나의 구성 요소를 다른 구성 요소로부터 구별하는 목적으로만, 예컨대 본 발명의 개념에 따른 권리 범위로부터 이탈되지 않은 채, 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소는 제1 구성요소로도 명명될 수 있다.

어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.

예컨대, 어느 하나의 구성요소가 다른 구성요소로 데이터 또는 신호를 '전송 또는 출력'하는 경우에는 상기 구성요소는 상기 다른 구성요소로 직접 상기 데이터 또는 신호를 '전송 또는 출력'할 수 있고, 적어도 하나의 또 다른 구성요소를 통하여 상기 데이터 또는 신호를 상기 다른 구성요소로 '전송 또는 출력'할 수 있음을 의미한다.

구성요소들 간의 관계를 설명하는 다른 표현들, 즉 "~사이에"와 "바로 ~사이에" 또는 "~에 이웃하는"과 "~에 직접 이웃하는" 등도 마찬가지로 해석되어야 한다.

본 명세서에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 설시된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 갖고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 명세서에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.

이하, 첨부한 도면을 참조하여 본 발명의 바람직한 실시 예를 설명함으로써, 본 발명을 상세히 설명한다. 각 도면에 제시된 동일한 참조부호는 동일한 부재를 나타낸다.

도 1은 2-탭 픽셀 구조를 갖는 깊이 픽셀을 포함하는 본 발명의 실시 예에 따른 깊이 추정 장치(10)의 블락도를 나타낸다.

상기 깊이 추정 장치(10)는 고속 동작 시 발생할 수 있는 누락 프레임을 보상한 다음 TOF 원리 이용하여 대상 물체까지의 깊이(또는, 거리)를 추정(또는 계산, 측정)할 수 있다. 실시 예에 따라 상기 깊이 추정 장치(10)는 하나의 칩(chip)으로 구현되어 깊이 정보를 계산할 수 있을 수도 있고, 컬러 이미지 센서 칩과 함께 사용되어 3차원 이미지 정보와 깊이 정보를 동시에 측정하는데 이용될 수도 있다.

또한, 본 발명의 실시 예에 3차원 이미지 센서에서, 깊이 정보를 검출하기 위한 깊이 픽셀과 이미지 정보를 검출하기 위한 픽셀들은 하나의 픽셀 어레이에 함께 구현될 수도 있다.

상기 깊이 추정 장치(10)는 적외선 광원(12)을 이용하여 광신호(EL), 예컨대, 변조 적외선 신호,를 방사하고, 상기 적외선 신호(EL)가 적외선 광원(12)으로부터 방사된 시간과 상기 적외선 신호(EL)가 대상 물체(11)에 의하여 반사되어 입사된 적외선 신호(RL)의 입사 시간의 시간 차(

)를 나타내는 수학식 1을 이용하여 대상 물체까지의 깊이(

)를 추정할 수 있다.

여기서, d는 깊이 추정 장치(10)와 대상 물체(11)와의 거리(즉, 깊이)를 나타내고, c는 광속을 나타낸다.

상기 깊이 추정 장치(10)는 적외선 광원(12), 깊이 센서 어레이(14), 적외선 통과 필터(17), CDS/ADC 회로(18), 타이밍 컨트롤러(20), 로우 디코더(22), 메모리(24), 및 깊이 추정기(26)를 포함할 수 있다. 또한, 상기 깊이 추정 장치(10)는 타이밍 컨트롤러(20)의 제어 하에 컬럼 라인의 신호를 CDS/ADC 회로(18)로 전송하기 위한 액티브 로드 회로(미 도시)를 더 포함할 수 있다.

상기 깊이 추정 장치(10)는 대상 물체(11)로부터 반사된 후 입사되는 반사 광을 적외선 통과 필터(17)로 집광시키기 위한 렌즈(미 도시)를 더 포함할 수 있다. 상기 렌즈를 포함하는 렌즈 모듈(미 도시)의 동작은 타이밍 컨트롤러(20)에 의하여 제어될 수 있다.

타이밍 컨트롤러(20)의 제어 하에 적외선 광원(12)은 광신호, 예컨대 변조 적외선(EL)을 외부로 방사(emit)할 수 있다. 상기 적외선 광원(12)은 LED(light emitting diode) 또는 OLED(organic light emitting diode)로 구현될 수 있다. 상기 깊이 추정 장치(10)는 깊이 센서 어레이(14) 주변에 배치된 다수의 적외선 광원들을 포함할 수 있으나, 도 1에서는 설명의 편의를 위하여 하나의 적외선 광원(12)만을 도시한다.

깊이 센서 어레이(14)는 다수의 깊이 픽셀들(16)을 포함한다. 상기 다수의 깊이 픽셀들 각각은 상기 대상 물체로부터 반사되는 광신호 및 깊이 픽셀에 인가되는 일정한 위상 차이로 주기적으로 인가되는 다수의 게이트 신호들에 기초하여 다수의 프레임 신호들을 발생할 수 있다.

도 2는 도 1에 도시된 2-탭 픽셀 구조를 갖는 깊이 픽셀의 레이아웃을 나타낸다. 도 3은 도 2에 도시된 2-탭 픽셀 구조에 인가되는 게이트 신호를 나타내는 그래프이다.

다수의 깊이 픽셀들(16) 각각은 도 2에 도시된 바와 같이 2-탭 픽셀 구조를 갖는 깊이 픽셀(16)로 구현될 수 있다. 2-탭 픽셀 구조를 갖는 깊이 픽셀(16)은 180도의 위상 차를 갖는 게이트 신호들(Ga와 Gc)에 응답하여 프레임 신호들(A0'와 A2')을 측정한 후, 180도의 위상 차를 갖는 게이트 신호들(Gb와 Gd)에 응답하여 프레임 신호들(A1'와 A3')을 측정할 수 있다. 즉, 상기 깊이 픽셀(16)에는 90도의 위상 차이를 갖는 게이트 신호들(Ga 내지 Gd)이 주기적으로 인가되는 것이다.

상기 다수의 깊이 픽셀들(16) 각각은 적외선 통과 필터(17)를 통하여 입사된 적외선(RL)에 따라 발생한 광 전자들(또는 광 전하)을 일정시간, 예컨대 적분 시간 (Integration Time) 동안 축적하고, 축적 결과에 따라 생성된 프레임 신호들(A0'과 A2', 및 A1'과 A3')을 출력할 수 있다. 상기 다수의 깊이 픽셀들(16) 각각에 의하여 생성된 각 프레임 신호(Ak)는 수학식 2와 같이 표시될 수 있다.

여기서, 깊이 픽셀(16)의 광전 변환 소자, 예컨대 포토게이트로 입력되는 게이트 신호(Ga)의 변조 적외선 신호(EL)에 대한 위상 차가 0도일 때 k는 0이고, 게이트 신호(Gb)의 변조 적외선 신호(EL)에 대한 위상 차가 90도일 때 k는 1이고, 게이트 신호(Gc)의 변조 적외선 신호(EL)에 대한 위상 차가 180도일 때 k는 2이고, 게이트 신호(Gd)의 변조 적외선 신호(EL)에 대한 위상 차가 270도일 때 k는 3이다.

a_k _{, n}은 k에 해당하는 위상(phase) 차로 n(n은 자연수)번째 게이트 신호를 인가했을 때, 깊이 픽셀(16)에서 발생한 광전자들(또는 광 전하)의 수를 나타내고, N=fm*Tint이다. 여기서, fm은 변조 적외선(EL)의 주파수를 나타내고, Tint는 적분 시간을 나타낸다.

도 4는 도 2에 도시된 제1액티브 영역에 구현된 광전 변환 소자와 트랜지스터들을 나타내는 회로도의 일 예이고, 도 5는 적외선 신호(EL) 및 게이트 신호들의 파형들을 나타낸다.

도 2에 도시된 바와 같이, 2-탭 픽셀 구조를 갖는 깊이 픽셀(16)은 각 액티브 영역(16-1과 16-2)에 구현된 각 광전 변환 소자(16-3과 16-4)를 포함한다. 각 액티브 영역(16-1과 16-2)의 구조는 실질적으로 동일하므로, 이하에서는 액티브 영역(16-1)에 구현된 소자들을 중심으로 설명한다.

도 4에 도시된 바와 같이 액티브 영역(16-1)에는 광전 변환 소자(16-3)와 4개의 트랜지스터들(RX, TX, DX, 및 SX)이 구현된다. 도 4를 참조하면, 광전 변환 소자(16-3)는 도 2에 도시된 각 게이트 신호(Ga 또는 Gb)와 반사광(RL)에 기초하여 광 전하들을 생성할 수 있다.

예컨대, 광전 변환 소자(16-3)는 타이밍 컨트롤러(20)로부터 출력되는 게이트 신호(Ga)에 응답하여 온/오프될 수 있다. 예컨대, 게이트 신호(Ga)가 하이 레벨일 때 광전 변환 소자(16-3)는 반사광(RL)에 기초하여 광 전하들을 생성할 수 있고, 게이트 신호(Ga)가 로우 레벨일 때 광전 변환 소자(16-3)는 반사광(RL)에 기초하여 광 전하들을 생성하지 않는다.

상기 광전 변환 소자(16-3)는 광 감지 소자로서 포토다이오드(photo diode), 포토트랜지스터(photo transistor), 포토게이트(photo gate), 또는 핀드포토다이오드(PPD; pinned photo diode)로 구현될 수 있다. 리셋 트랜지스터(RX)는 로우 디코더(22)로부터 출력된 리셋 신호(RS)에 응답하여 상기 플로팅 디퓨전 영역(FD)를 리셋할 수 있다.

전송 트랜지스터(TX)는 로우 디코더(22)로부터 출력된 제어 신호(TG)에 응답하여 상기 광전 변환 소자(16-3)에 의하여 생성된 광 전하들을 플로팅 디퓨전 영역(FD)으로 전송될 수 있다. 소스 팔로워 버퍼 증폭기(source follower buffer amplifier) 역할을 수행하는 드라이브 트랜지스터(DX)는 상기 플로팅 디퓨전 영역(FD)에 충전된 광 전하들에 응답하여 버퍼링 동작을 수행할 수 있다.

선택 트랜지스터(SX)는 로우 디코더(22)로부터 출력된 제어 신호(SEL)에 응답하여 드라이브 트랜지스터(DX)로부터 출력된 프레임 신호(A0' 또는 A1')를 컬럼 라인으로 출력할 수 있다. 도 4에는 하나의 광전 변환 소자(16-3)와 4개의 트랜지스터들(TX, RX, DX, 및 SX)을 포함하는 액티브 영역(16-1)이 도시되어 있으나 이는 예시적인 것에 불과하다.

도 1을 다시 참조하면, 타이밍 컨트롤러(20)의 제어 하에, 디지털 회로, 즉 CDS/ADC 회로(18)는 깊이 픽셀(16)로부터 출력된 각 픽셀 신호, 즉, 프레임 신호(A0'와 A2', 및 A1'와 A3')에 CDS(correlated double sampling) 동작과 ADC(analog to digital converting) 동작을 수행하여 각 디지털 프레임 신호(A0와 A2, 및 A1와 A3)를 출력한다. 도 1에 도시된 깊이 추정 장치(10)는 깊이 센서 어레이(14)에 구현된 다수의 컬럼 라인들로부터 출력된 프레임 신호들을 CDS/ADC 회로(18)로 전송하기 위한 액티브 로드 회로들을 더 포함할 수 있다.

버퍼로 구현될 수 있는 메모리(24)는 CDS/ADC 회로(18)로부터 출력된 각 디지털 프레임 신호(A0와 A2, 및 A1와 A3)를 수신하여 저장하고, 다수의 프레임 신호들(A0와 A2, 및 A1와 A3) 각각의 프레임 정보를 저장하여, 저장된 프레임 신호들(A0와 A2, 및 A1와 A3) 및 그에 상응하는 프레임 정보를 상기 대상 물체(11)까지의 깊이 추정을 위하여 제공할 수 있다.

깊이 추정기(26)는 메모리(24)로부터 출력된 각 디지털 프레임 신호(A0와 A2, 및 A1와 A3)에 기초하여 변조 광신호(EL)과 반사된 광신호(RL) 사이의 위상 차를 추정한 다음, 상기 위상차에 기초하여 상기 대상 물체(11)까지의 깊이를 추정할 수 있다.

상기 깊이 추정기(26)에 의하여 추정된 위상 차(

)는 수학식 3과 같다.

깊이 추정기(26)는 수학식 4에 따라서 추정된 위상 차(

)에 기초하여 대상 물체(11)까지의 깊이(

)를 추정하여 출력한다.

여기서, c는 광속을 나타내고, fm은 광신호(EL)의 변조 주파수를 나타낸다.

도 6은 도 1에 도시된 깊이 추정 장치(10)를 이용하여 적외선 광원(12)에서 방사된 광신호(EL)와 반사된 광신호(RL) 사이의 위상차를 구하는 방법을 설명하기 위한 개념도이다.

제1시점(t0)에서 도 3 또는 도 5에 도시된 바와 같이 180도의 위상 차를 갖는 게이트 신호들(Ga와 Gc)이 2-탭 픽셀 구조를 갖는 깊이 픽셀(16)로 공급되면, 2-탭 픽셀 구조를 갖는 깊이 픽셀(16)은 측정된 프레임 신호들(A0'와 A2')을 출력한다.

또한, 제2시점(t1)에서 도 2 또는 도 4에 도시된 바와 같이 180의 위상 차를 갖는 게이트 신호들(Gb와 Gd)이 깊이 픽셀(16)로 공급되면, 상기 깊이 픽셀(16)은 측정된 프레임 신호들(A1'와 A3')을 출력한다. 제1시점(t0)과 제2시점(t1) 사이에는 적분 시간(Tint)이 존재한다.

즉, 깊이 픽셀(16)은 각 프레임 신호(A1', A2', A3', 및 A4')를 동시에 측정할 수 없으므로, 상기 깊이 픽셀(16)은 시간 차(Tint)를 두고 두 번에 나누어 두 개씩의 프레임 신호들을 측정(또는 검출)할 수 있다.

따라서, 깊이 추정기(26)는 각 디지털 프레임 신호들(A0, A2, A3, 및 A4)에 기초하여 위상 차(

)를 수학식 5에 기초하여 추정할 수 있다.

따라서, 깊이 추정기(26)는 수학식 4와 수학식 5에 기초하여 깊이 정보를 추정(또는 계산)하고 추정(또는 계산된)된 깊이(

)를 출력할 수 있다.

이상에서는 상기 메모리(24)에서 제공되는 프레임 신호들(A1, A2, A3, 및 A4)에 누락된 프레임 신호가 없는 경우에 있어서의 상기 깊이 추정기(26)의 대상 물체(11)까지의 깊이 추정에 대하여 살펴 보았다. 그러나 상기 깊이 추정 장치(10)의 고속 동작 시에는 상기 메모리(24)로부터 출력되는 프레임 신호가 누락될 가능성이 높아지며, 누락된 프레임 신호에 의하여 대상 물체(11)까지의 깊이 추정에는 에러가 발생하게 된다.

상기 깊이 추정기(26)는 누락된 프레임 신호에 의하여 발생할 수 있는 깊이 추정의 오차를 보상할 수 있다. 예컨대, 상기 다수의 제공된 프레임 신호들(A1, A2, A3, 및 A4) 중에서 누락된 프레임 신호의 유무 및 상기 다수의 제공된 프레임 신호들의 연속 패턴을 고려하여 상기 다수의 제공된 프레임 신호들을 각각이 에러 없이 상기 대상 물체(11)까지의 깊이를 추정하는데 이용될 수 있는 다수의 프레임 신호 그룹들로 그룹화하며, 상기 다수의 프레임 신호 그룹들 각각을 이용하여 상기 대상 물체(11)까지의 깊이를 추정할 수 있다.

도 7은 도 1에 도시된 깊이 추정기(26)의 블락도이다. 도 7을 참조하면, 상기 깊이 추정기(26)는 상태 판단 모듈(26a), 그루핑 모듈(Grouping Module, 26b), 위상 검출 모듈(26c), 및 거리 계산 모듈(26d)을 포함한다.

상기 상태 판단 모듈(26a)은 상기 메모리(24)로부터 상기 다수의 제공된 프레임 신호들 중에서 현재 프레임 신호의 프레임 정보와 이전 프레임 신호의 프레임 정보를 비교하고, 상기 비교 결과에 기초하여 상기 다수의 제공된 프레임 신호들 중에서 상기 누락된 프레임 신호를 검출하고 상기 제공된 다수의 프레임 신호들의 연속 패턴을 판단할 수 있다.

2-탭 픽셀 구조에서는 프레임 신호가 한 쌍씩 번갈아가면서, 즉, A0와 A2쌍, A1과 A3쌍이 번갈아 가면서 교대로 출력된다. 이때, 프레임 신호 A0와 A2쌍이 출력되는 경우의 프레임 정보를 0이라 가정하고, 프레임 신호 A1과 A3쌍이 출력되는 경우의 프레임 정보를 1로 가정한다.

상기 상태 판단 모듈(26a)은 현재 프레임 신호의 프레임 정보와 이전 프레임 신호의 프레임 정보가 (0, 1) 또는 (1, 0)이면 메모리(24)에서 제공된 프레임 신호들에 누락된 프레임 신호가 없으며, 프레임 신호들의 연속 패턴을 A0와 A2쌍, A1과 A3쌍이 번갈아 가면서 교대로 출력되는 패턴으로 판단할 수 있다.

그러나 현재 프레임 신호의 프레임 정보와 이전 프레임 신호의 프레임 정보가 (0, 0) 또는 (1, 1)이면 메모리(24)에서 제공된 프레임 신호들 중에서 누락된 프레임 신호가 있으며, 프레임 신호들의 연속 패턴을 A0와 A2 프레임 신호 쌍이 연속적으로 제공되거나 A1과 A3 프레임 신호 쌍이 연속되는 패턴임 출력되는 패턴으로 판단할 수 있다. 이때, 누락된 프레임 신호에 의하여 대상 물체(11)까지의 깊이 추정에는 에러가 발생하게 된다.

상기 그루핑 모듈(26b)은 메모리(24)로부터 제공된 프레임 신호들에 있어서의 누락된 프레임 신호의 유무 및 상기 제공된 프레임 신호들의 연속 패턴에 기초하여 상기 다수의 제공된 프레임 신호들을 상기 다수의 프레임 신호 그룹들로 그룹화할 수 있다. 이때, 프레임 신호 그룹들 각각은 대상 물체(11)까지의 깊이 계산 시 에러가 발생하지 않도록 그루핑되며, 현재 프레임 신호 그룹은 이전 프레임 신호 그룹은 적어도 하나의 프레임 신호를 공유할 수 있다.

표 1은 메모리(24)로부터 제공되는 프레임 신호들의 프레임 정보의 일예를 나타낸다.

여기서, f는 현재 프레임 신호의 프레임 정보를 나타내며, pf는 이전 프레임 신호의 프레임 정보를 나타낸다.

상기 그루핑 모듈(26b)은 현재 프레임 신호 그룹과 이전 프레임 신호 그룹이 적어도 하나의 프레임 신호를 공유하도록 프레임 신호들을 그루핑할 수 있다. 예컨대, t0와 t1 시점에 상응하는 프레임 신호 그룹, t1과 t2 시점에 상응하는 프레임 신호 그룹은 t1 시점에서의 프레임 신호를 서로 공유한다. 이러한 그루핑 방식을 무빙 윈도우(Moving Window) 방식이라고 한다.

그러나 t4 시점에서 현재 프레임 신호의 프레임 정보와 이전 프레임의 프레임 정보는 (1, 1)이므로 A1과 A3 프레임 신호 쌍이 누락되었으므로, 상기 그루핑 모듈(26b)은 t3와 t4 시점에 상응하는 프레임 신호 그룹을 대상 물체(11)까지의 깊이 계산에서 제외한다. 그러므로 t2 및 t3 시점에 상응하는 프레임 신호 그룹 다음으로 대상 물체(11)까지의 깊이 추정에 이용되는 프레임 신호 그룹은 t4 및 t5 시점에 상응하는 프레임 신호 그룹이다.

본 발명의 실시예에 따른 깊이 추정 장치(10)와 달리, 일반적인 깊이 추정 장치는 t0와 t1 시점, t2와 t3 시점, t4와 t5 시점, t6와 t7 시점 각각에 상응하는 프레임 신호들을 그루핑할뿐이며 인접한 프레임 신호 그룹 사이에는 공유되는 프레임 신호가 없다. 또한, 일반적인 깊이 추정 장치는 누락된 프레임이 발생한 t4 시점에 상응하는 프레임 신호와 t5 시점에 상응하는 프레임 신호들은 깊이 계산에서 제외시킨다.

상기 위상 검출 모듈(26c)은 상기 다수의 프레임 신호 그룹들 각각에 포함된 두 개의 프레임 신호들의 차이와 상기 다수의 프레임 신호 그룹들 각각에 포함된 다른 두 개의 신호들의 차이의 비율에 기초하여 상기 대상 물체(11)로 출력된 광신호(EL)와 상기 대상 물체로부터 반사된 광신호(RL) 사이의 위상차를 검출할 수 있다.

상기 위상 검출 모듈(26c)에 의하여 검출되는 위상차는 상기 프레임 신호 그룹에 포함된 상기 두 개의 프레임 신호들의 차이와 상기 프레임 신호 그룹에 포함된 상기 다른 두 개의 신호들의 차이의 비율에 대한 아크탄젠트 값일 수 있다(수학식 3 및 수학식 5 참조).

상기 거리 계산 모듈(26d)은 상기 광신호(EL)의 주파수 및 상기 위상차에 기초하여 상기 대상 물체(11)까지의 깊이를 추정할 수 있다. 상기 그루핑 모듈(26b)에 의하여 깊이 계산 시 에러를 발생하는 프레임 신호 그룹은 깊이 추정에서 제외되었으므로, 그루핑 모듈(26b)에 의하여 그루핑되는 프레임 신호 그룹들을 이용한 대상 물체(11)까지의 깊이 계산에는 에러가 발생하지 않는다. 또한, 상기 깊이 추정기(26)는 무빙 윈도우 방식을 이용하므로 일반적인 깊이 추정 장치보다 자연스러운 깊이 이미지를 제공할 수 있다.

도 8은 도 1에 도시된 깊이 추정 장치(10)의 깊이 정보 추정 방법을 설명하기 위한 흐름도이다. 이하 도 1, 도 7, 및 도 8을 참조하여 그 과정을 순차적으로 살펴본다.

깊이 추정 장치(10)는 적외선 광원(12)에서 발생한 광신호(EL)를 대상 물체(11)로 출력하며(S10), 대상 물체(11)로부터 반사되는 광신호(RL)를 수신한다. 깊이 센서 어레이(14)는 수신되는 광신호(RL) 및 게이트 신호들(Ga 내지 Gd)에 기초하여 다수의 프레임 신호들(A0' 내지 A3')을 발생하여 출력한다(S20).

그러면, 디지털 회로(18)는 깊이 센서 어레이(14)로부터 출력되는 다수의 프레임 신호들(A0' 내지 A3')을 디지털 신호(A0 내지 A3)로 변환하여 출력한다(S30). 메모리(24)는 상기 다수의 프레임 신호들(A0 내지 A3) 및 상기 다수의 프레임 신호들 각각에 대응하는 프레임 정보를 저장하며, 저장된 다수의 프레임 신호들 및 그들에 대응하는 프레임 정보를 깊이 추정기(26)로 제공한다(S40).

깊이 추정기(26)는 메모리(24)로부터 제공되는 다수의 프레임 신호들 중에서 누락된 프레임 신호 및 다수의 프레임 신호들의 연속 패턴을 고려하여 에러가 발생하지 않는 프레임 신호 그룹을 이용하여 대상 물체(11)까지의 깊이를 추정한다(S50). 상기 깊이 추정기(26)의 깊이 추정 과정을 이하 도 9를 참조하여 보다 상세히 살펴본다.

도 9는 도 1에 도시된 깊이 추정기(26)의 깊이 추정 과정을 나타내는 흐름도이다.

상태 판단 모듈(26a)은 다수의 제공된 프레임 신호들 중에서 현재 프레임 신호의 프레임 정보와 이전 프레임 신호의 프레임 정보를 비교하고, 상기 비교 결과에 기초하여 상기 다수의 제공된 프레임 신호들 중에서 상기 누락된 프레임 신호를 검출하고 상기 제공된 다수의 프레임 신호들의 연속 패턴을 판단한다(S51).

그루핑 모듈(26b)은 누락된 프레임 신호의 유무 및 다수의 제공된 프레임 신호들의 연속 패턴에 기초하여 상기 다수의 제공된 프레임 신호들을 다수의 프레임 신호 그룹들로 그룹화할 수 있다(S52). 이때, 상기 다수의 프레임 신호 그룹들 각각은 깊이 추정 시에 에러를 발생하지 않도록 무빙 윈도우 방식에 의하여 그루핑된다.

위상 검출 모듈(26c)은 다수의 프레임 신호 그룹들 각각에 포함된 두 개의 프레임 신호들의 차이와 다수의 프레임 신호 그룹들 각각에 포함된 다른 두 개의 신호들의 차이의 비율에 기초하여 대상 물체(11)로 출력된 광신호(EL)와 대상 물체(11)로부터 반사된 광신호(RL) 사이의 위상차를 검출한다(S53). 그러면 거리 계산 모듈(26d)은 광신호(EL)의 주파수 및 위상차에 기초하여 대상 물체(11)까지의 깊이를 추정할 수 있다(S54).

도 10은 1-탭 픽셀 구조를 갖는 깊이 픽셀을 포함하는 본 발명의 실시 예에 따른 깊이 추정 장치(10')의 블락도를 나타낸다. 도 11는 도 10에 도시된 1-탭 픽셀 구조를 갖는 깊이 픽셀의 레이아웃을 나타낸다. 도 12는 도 11에 도시된 1-탭 픽셀 구조에 인가되는 게이트 신호를 나타내는 그래프이다. 그리고 도 13은 도 10에 도시된 깊이 추정 장치(10')를 이용하여 디지털 프레임 신호들을 추정하는 방법을 설명하기 위한 개념도이다.

1-탭 픽셀 구조를 갖는 깊이 픽셀(32)은 액티브 영역(32-1)에 구현된 광전 변환 소자(32-2)를 포함한다. 액티브 영역(32-1)에는 도 4에 도시된 바와 같이 광전 변환 소자(16-3)에 상응하는 광전 변환 소자(32-2)와 다수의 트랜지스터들이 구현될 수 있다.

도 12에 도시된 바와 같이 0도, 90도, 180도, 및 270도의 위상 차를 갖는 각 게이트 신호(Ga, Gb, Gc, 및 Gd)가 광전 변환 소자(32-2)로 순차적으로 공급된다.

따라서, 광전 변환 소자(32-2)는 각 게이트 신호(Ga, Gb, Gc, 및 Gd)가 하이 레벨을 갖는 동안 반사광(RL)에 따라 광전 변환 동작을 수행한다. 광전 변환 소자(32-2)에 의하여 생성된 광 전하들을 플로팅 디퓨젼 노드(FD)로 전송된다.

도 12와 도 13을 참조하면, 1-탭 픽셀 구조를 갖는 깊이 픽셀(32)은 제1시점(t0)에서 0도의 위상 차를 갖는 제1게이트 신호(Ga)에 응답하여 제1프레임 신호 (A0')를 출력하고, 제2시점(t1)에서 90도의 위상 차를 갖는 제2게이트 신호(Gb)에 응답하여 제2프레임 신호(A1')를 출력하고, 제3시점(t3)에서 180도의 위상 차를 갖는 제3게이트 신호(Gc)에 응답하여 제3프레임 신호(A2')를 출력하고, 제4시점(t3)에서 270도의 위상 차를 갖는 제4게이트 신호(Gd)에 응답하여 제4프레임 신호(A3')를 출력한다.

따라서, 디지털 회로(18)는 각 프레임 신호(A0', A1', A2', 및 A3')에 CDS와 ADC를 수행하여 각 디지털 프레임 신호(A0, A1, A2, 및 A3)를 출력한다. 각 디지털 프레임 신호(A0, A1, A2, 및 A3)는 메모리(24)에 저장된다.

이때 깊이 추정기(26')는 수학식 6에 따라 적외선 광원(12)에서 출력된 광신호(EL)과 대상 물체(11)에 반사되어 수신되는 광신(RL)의 위상 차(

)를 계산하고, 상기 위상차에 기초하여 대상 물체(11)까지의 깊이를 추정할 수 있다.

이상에서는 상기 메모리(24)에서 제공되는 프레임 신호들(A1, A1, A2, 및 A3)에 누락된 프레임 신호가 없는 경우에 있어서의 상기 깊이 추정기(26)의 대상 물체(11)까지의 깊이 추정에 대하여 살펴 보았다. 그러나 상기 깊이 추정 장치(10')의 고속 동작 시에는 상기 메모리(24)로부터 출력되는 프레임 신호가 누락될 가능성이 높아지며, 누락된 프레임 신호에 의하여 대상 물체(11)까지의 깊이 추정에는 에러가 발생하게 된다.

상기 깊이 추정기(26')는 누락된 프레임 신호에 의하여 발생할 수 있는 깊이 추정의 오차를 보상할 수 있다. 예컨대, 상기 다수의 제공된 프레임 신호들(A1, A2, A3, 및 A4) 중에서 누락된 프레임 신호의 유무 및 상기 다수의 제공된 프레임 신호들의 연속 패턴을 고려하여 상기 다수의 제공된 프레임 신호들을 각각이 에러 없이 상기 대상 물체(11)까지의 깊이를 추정하는데 이용될 수 있는 다수의 프레임 신호 그룹들로 그룹화하며, 상기 다수의 프레임 신호 그룹들 각각을 이용하여 상기 대상 물체(11)까지의 깊이를 추정할 수 있다.

도 14는 도 10에 도시된 깊이 추정기(26')의 블락도이다. 도 14를 참조하면, 상기 깊이 추정기(26')는 제1 상태 판단 모듈(26a'), 제2 상태 판단 모듈(26b'), 그루핑 모듈(26c'), 위상 검출 모듈(26d'), 및 거리 계산 모듈(26e')을 포함한다.

상기 제1 상태 판단 모듈(26a')은 메모리(24)로부터 제공된 다수의 프레임 신호들 중에서 현재 프레임 신호의 프레임 정보와 이전 프레임 신호의 프레임 정보를 비교하고, 상기 비교 결과에 기초하여 상기 누락된 프레임 신호의 유무를 판단하며, 상기 누락된 프레임 신호의 유무를 나타내는 인덱스 값을 발생할 수 있다.

상기 제2 상태 판단 모듈(26b')은 상기 다수의 제공된 프레임 신호들 중에서 현재 프레임 신호의 프레임 정보 및 상기 인덱스 값을 비교하고, 상기 비교 결과에 기초하여 상기 다수의 제공된 프레임 신호들의 연속 패턴을 판단할 수 있다.

상기 그루핑 모듈(26b)은 메모리(24)로부터 제공된 프레임 신호들에 있어서의 누락된 프레임 신호의 유무 및 상기 제공된 프레임 신호들의 연속 패턴에 기초하여 상기 다수의 제공된 프레임 신호들을 상기 다수의 프레임 신호 그룹들로 그룹화할 수 있다. 이때, 현재 프레임 신호 그룹은 이전 프레임 신호 그룹은 적어도 하나의 프레임 신호를 공유할 수 있다. 즉, 상기 그루핑 모듈(26c') 역시 도 7의 그루핑 모듈(26b)와 같이 무빙 윈도우 방식으로 깊이 계산 시에 에러를 발생하지 않는 프레임 신호들을 그루핑한다.

표 2는 메모리(24)로부터 제공되는 프레임 신호들의 프레임 정보 및 제1 상태 판단 모듈(26a')에서 발생하는 인덱스 값의 일예를 나타낸다.

여기서, n은 프레임 신호의 누락 여부를 나타내는 인덱스 값을 나타낸다. 표 2를 참조하면, 1-탭 픽셀 구조에서는 프레임 신호 A0, A1, A2, A3가 서큘러(Circular) 방식에 의하여 순차적으로 출력되며, 프레임 정보 0, 1, 2, 3 역시 프레임 신호 A0, A1, A2, A3에 대응하여 서큘러 방식에 의하여 순차적으로 가변됨을 알 수 있다.

상기 제1 상태 판단 모듈(26a)은 현재 프레임 신호의 프레임 정보(f)와 이전 프레임 신호의 프레임 정보(pf)가 (1, 0), (2, 1), (3, 2), 또는 (0, 3)이면 메모리(24)에서 제공된 프레임 신호들에 누락된 프레임 신호가 없는 것으로 판단한다. 예컨대, 상기 제1 상태 판단 모듈(26a')은 표 2의 t6 시점에서는 현재 프레임 정보와 이전 프레임 정보가 (2, 0)이므로 프레임 신호 A1이 누락된 것으로 판단할 수 있다.

인덱스 값(n)은 프레임 신호에 따라서 1, 2, 3, 0이 서큘러 방식에 의하여 순차적으로 반복된다. 그러나 인덱스 값(n)은 프레임 신호가 누락된 t6 시점에서는 현재 프레임 정보 값인 2로 설정되어 t9 시점까지는 가변되지 않으며, t10 시점 이후에는 다시 서큘러 방식에 의하여 가변된다. t9 시점은 무빙 윈도우 방식에 따라서 프레임 신호 누락이 발생한 t6 시점으로부터 에러 없이 대상 물체(11)까지의 깊이를 추정할 수 있는 프레임 신호 그루핑이 가능한 시점이다.

무빙 윈도우 방식에 따른 프레임 신호 그루핑 방식에 따르면 t6 내지 t9 시점에 대응하는 프레임 신호 그룹 다음으로 대상 물체(11)까지의 깊이 추정에 이용되는 프레임 신호 그룹은 t7 내지 t10 시점에 대응하는 프레임 신호 그룹, t8 내지 t11 시점에 대응하는 프레임 신호 그룹이 된다.

즉, 상기 제2 상태 판단 모듈(26b')은 현재 프레임 신호의 프레임 정보(f) 및 인덱스 값(n)을 비교하여 현재 프레임 신호와 현재 프레임 이전의 3 개의 프레임 신호의 연속 패턴이 무빙 윈도우 방식에 의하여 에러 없이 대상 물체(11)까지의 깊이 추정을 할 수 있는 연속 패턴인지를 판단하는 것이다.

그러므로 그루핑 모듈(26c')은 제1 상태 판단 모듈(26a') 및 제2 상태 판단 모듈(26b')에 의하여 판단된 누락된 프레임의 유무 및 프레임 신호들의 연속 패턴에 기초하여 메모리(24)로부터 제공된 다수의 프레임 신호들을 각각이 에러 없이 대상 물체(11)까지의 깊이 추정에 이용될 수 있는 다수의 프레임 신호 그룹으로 그루핑할 수 있는 것이다. 표 2에 따르면, 상기 그루핑 모듈(26c')은 현재 프레임 신호의 프레임 정보(f) 및 인덱스 값(n)이 (3, 0), (2, 3), (1, 2), 또는 (0, 1)이면 현재 프레임 신호와 현재 프레임 이전의 3개의 프레임 신호를 하나의 프레임 신호 그룹으로 그루핑함을 알 수 있다.

만약, 프레임 신호가 누락된 t6 시점을 포함하는 t5 내지 t8 시점에 대응하는 프레임 신호 그룹이 대상 물체(11)까지의 깊이 추정에 이용될 경우에는 아래의 수학식 7에서와 같이 광신호(EL)과 반사되는 광신호(RL) 사이의 위상차 계산에는 에러가 발생하게 된다.

그러나 누락된 프레임 신호를 고려한 t6 내지 t9 시점에 대응하는 프레임 신호 그룹을 이용하여 계산된 위상차에는 수학식 8에서와 같이 에러가 발생하지 않는다.

도 17은 누락된 프레임 신호가 발생함에 따라서 가변되는 깊이 이미지 및 상기 깊이 이미지의 히스토그램을 나타낸다. 도 17의 (a)는 깊이 추정 장치(10')에 의하여 누락된 프레임 신호가 보상된 경우의 깊이 이미지(Depth Image) 및 상기 깊이 이미지의 히스토그램을 나타내며, 도 17의 (b) 내지 (d)는 누락된 프레임 신호에 기초하여 깊이 추정에 에러가 발생한 경우의 깊이 이미지 및 상기 깊이 이미지의 히스토그램을 나타낸다.

도 17에 도시되지는 않았으나, 누락된 프레임 신호가 없어 깊이 추정에서 에러가 발생하지 않은 경우의 깊이 이미지 및 히스토그램은 도 17의 (a)에 도시된 깊이 이미지 및 히스토그램과 유사하다. 그러나 누락된 프레임 신호에 의한 깊이 추정에 에러가 발생한 경우에는 깊이 이미지 및 히스토그램은 도 17의 (b) 내지 (d)와 같이 가변된다.

상기 깊이 추정기(26')를 포함하는 도 10의 깊이 추정 장치(10')의 깊이 추정 동작은 깊이 추정 과정을 제외하고는 도 1의 깊이 추정 장치(10)의 동작과 유사하다. 그러므로 이하에서는 도 10의 깊이 추정 장치(10')의 깊이 추정기(26')의 깊이 추정 과정을 중점적으로 살펴본다.

도 15는 도 10에 도시된 깊이 추정기(26')의 깊이 추정 과정을 나타내는 흐름도이다. 이하, 도 10, 도 14, 및 도 15를 참조하여 그 과정을 순차적으로 살펴본다.

제1 상태 판단 모듈(26a')은 메모리(24)로부터 제공된 프레임 신호들 중에서 현재 프레임 신호의 프레임 정보와 이전 프레임 신호의 프레임 정보를 비교하여 누락된 프레임 신호의 유무를 판단하며, 누락된 프레임 신호의 유무를 나타내는 인덱스 값을 발생한다(S60). 그러면 제2 상태 판단 모듈(26b')은 다수의 제공된 프레임 신호들 중에서 현재 프레임 신호의 프레임 정보 및 인덱스 값을 비교하여 다수의 제공된 프레임 신호들의 연속 패턴을 판단한다(S61).

그런 다음, 그루핑 모듈(26c')은 상기 제공된 프레임 신호들에 대한 누락된 프레임 신호의 유무 및 상기 다수의 제공된 프레임 신호들의 연속 패턴에 기초하여 상기 다수의 제공된 프레임 신호들을 상기 다수의 프레임 신호 그룹들로 그룹화한다(S62).

그런 다음, 위상 검출 모듈(26d')은 상기 다수의 프레임 신호 그룹들 각각에 포함된 두 개의 프레임 신호들의 차이와 상기 다수의 프레임 신호 그룹들 각각에 포함된 다른 두 개의 신호들의 차이의 비율에 기초하여 상기 대상 물체(11)로 출력된 광신호(EL)와 상기 대상 물체로부터 반사된 광신호(RL) 사이의 위상차를 검출하며(S63), 거리 계산 모듈(26e')은 상기 광신호(EL)의 주파수 및 상기 위상차에 기초하여 상기 대상 물체(11)까지의 깊이를 추정할 수 있다(S64).

본 발명의 실시예에 따른 깊이 추정 장치(10 또는 10')의 구성 요소들 각각은 본 발명의 기술적 사상을 수행하기 위한 소프트웨어, 하드웨어, 또는 소프트웨어와 하드웨어의 결합에 의하여 구현될 수 있다.

또한, 본 발명의 실시예에 따른 깊이 추정 장치(10 또는 10')는 다양한 형태들의 패키지를 이용하여 실장될 수 있다. 예를 들면, 본 발명의 실시예에 따른 깊이 추정 장치(10 또는 10')는 PoP(Package on Package), Ball grid arrays(BGAs), Chip scale packages(CSPs), Plastic Leaded Chip Carrier(PLCC), Plastic Dual In-Line Package(PDIP), Die in Waffle Pack, Die in Wafer Form, Chip On Board(COB), Ceramic Dual In-Line Package(CERDIP), Plastic Metric Quad Flat Pack(MQFP), Thin Quad Flatpack(TQFP), Small Outline(SOIC), Shrink Small Outline Package(SSOP), Thin Small Outline(TSOP), Thin Quad Flatpack(TQFP), System In Package(SIP), Multi Chip Package(MCP), Wafer-level Fabricated Package(WFP), Wafer-Level Processed Stack Package(WSP) 등과 같은 패키지들을 이용하여 실장될 수 있다.

본 발명의 실시예에 따른 깊이 추정 장치(10 또는 10')를 이용한 깊이 정보 추정 방법은 또한 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현될 수 있다. 본 발명의 실시예에 따른 깊이 추정 장치(10 또는 10')를 이용한 깊이 정보 추정 방법은 컴퓨터로 읽을 수 있는 기록 매체에 저장된 상기 깊이 추정 장치(10 또는 10')를 이용한 깊이 정보 추정 방법을 실행하기 위한 컴퓨터 프로그램을 실행함으로써 구현될 수 있다.

컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 예컨대, 컴퓨터가 읽을 수 있는 기록매체에는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장장치 등이 있다.

또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고 본 발명의 실시예에 따른 깊이 추정 장치(10 또는 10')를 이용한 깊이 정보 추정 방법을 구현하기 위한 기능적인 (functional) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술분야의 프로그래머들에 의해 용이하게 추론될 수 있다.

도 16은 종래의 깊이 깊이 추정 장치와 본 발명의 실시예에 따른 깊이 추정 장치의 성능 분석 시뮬레이션 결과를 나타내는 그래프이다. 도 16에 있어서, x축은 한 누락 프레임 신호가 발생할 확률을 나타내며, y축은 전체 프레임 신호들 중에서 대상 물체까지의 깊이 추정에 이용되지 않은 프레임 신호의 비율을 나타낸다.

프레임 신호 그루핑 방식에 있어서, 종래의 깊이 추정 장치는 누락된 프레임 신호를 포함하는 프레임 신호 그룹을 대상 물체까지의 깊이 추정에서 제외하는 방식(Discard-all)을 이용하며, 본 발명의 실시예에 따른 깊이 추정 장치는 무빙 윈도우 방식을 이용한다.

도 16을 참조하면, 본 발명의 실시예에 따른 깊이 추정 장치가 종래의 깊이 추정 장치보다 더 많은 수의 프레임 신호들을 대상 물체까지의 계산에 이용함을 알 수 있다. 이는 본 발명의 실시예에 따른 깊이 추정 장치가 종래의 깊이 추정 장치보다 더 자연스러운 깊이 이미지를 제공할 수 있음을 의미한다.

도 18은 본 발명의 실시 예에 따른 3차원 이미지 센서(100)의 블락도를 나타낸다. 여기서 3차원 이미지 센서라 함은 깊이 픽셀을 이용하여 깊이 정보를 측정하는 기능과 각 컬러 픽셀들(R, G, 및 B)을 이용하여 각 컬러 정보(예컨대, 레드 컬러 정보, 그린 컬러 정보, 또는 블루 컬러 정보)를 측정하는 기능을 함께 결합하여 3차원 이미지 정보를 얻을 수 있는 장치를 의미한다.

도 18을 참조하면, 3차원 이미지 센서(100)는 소스(12), 타이밍 컨트롤러 (20), 픽셀 어레이(110), 로우 디코더(22), 액티부 로드부(124), CDS/ADC 회로 (130), 및 이미지 신호 프로세서(150)를 포함한다. 실시 예에 따라 3차원 이미지 센서(100)는 컬럼 디코더(미도시)를 더 포함할 수 있다. 상기 컬럼 디코더는 타이밍 컨트롤러(200)로부터 출력된 컬럼 어드레스들을 디코딩하여 컬럼 선택 신호들을 출력할 수 있다. 소스(12)는 적외선 신호, 즉 변조 적외선 신호를 생성할 수 있는 광원으로 구현될 수 있다.

로우 디코더(22)는 픽셀 어레이(110)에 구현된 각 픽셀의 동작을 제어하기 위한 제어 신호들을 생성할 수 있다. 실시 예에 따라 타이밍 컨트롤러(20)는 깊이 픽셀 구동을 위한 게이트 신호(Ga, Gb, Gc, 및 Gd)를 생성할 수 있다. 또한, 다른 실시 예에 따라 로우 디코더(22)는 타이밍 컨트롤러(20)의 제어 하에 각 게이트 신호(Ga, Gb, Gc, 및 Gd)를 생성할 수 있다.

픽셀 어레이(110)는 다수의 픽셀들(미도시)을 포함할 수 있다. 상기 다수의 픽셀들 각각은 레드 픽셀, 그린 픽셀, 블루 픽셀, 깊이 픽셀, 마젠타 픽셀, 사이언 픽셀, 또는 엘로우 픽셀 중에서 적어도 두 개의 픽셀들이 혼합되어 배열될 수 있다. 상기 다수의 픽셀들 각각은 다수의 로우 라인들과 다수의 컬럼 라인들의 교차점에 매트릭스 형태로 배열된다.

로우 디코더(22)는 타이밍 컨트롤러(20)로부터 출력된 제어 신호들에 응답하여 픽셀 어레이(110)에 구현된 상기 다수의 로우 라인들 중에서 어느 하나의 로우 라인을 선택할 수 있다. 컬럼 디코더는 타이밍 컨트롤러(20)로부터 출력된 제어 신호들에 응답하여 픽셀 어레이(110)에 구현된 상기 다수의 컬럼 라인들 중에서 적어도 하나의 컬럼 라인을 선택할 수 있다.

따라서, 픽셀 어레이(110)에 구현된 다수의 픽셀들 중에서 어느 하나의 픽셀은 로우 디코더(22)와 컬럼 디코더에 의하여 선택될 수 있다. 따라서, 선택된 어느 하나의 픽셀에 의하여 검출된 픽셀 신호(예컨대, 깊이 정보 또는 컬러 정보)는 액티부 로드부(124)를 통하여 CDS/ADC 회로(130)로 전송될 수 있다. 액티부 로드부(124)는 타이밍 컨트롤러(20)로부터 출력된 바이어스 전압에 따라 다수의 컬럼 라인들을 통하여 출력된 픽셀 신호들을 CDS/ADC 회로(130)로 전송할 수 있다.

CDS/ADC 회로(130)는 픽셀 어레이(110)로부터 출력된 픽셀 신호(예컨대, 깊이 정보 또는 컬러 정보)를 디지털 신호로 변환한다. 즉, CDS/ADC 회로(130)는 픽셀 어레이(110)로부터 출력된 픽셀 신호(예컨대, 깊이 정보 또는 컬러 정보)에 대하여 CDS 동작을 수행하여 CDS 신호를 생성하고 생성된 CDS 신호에 ADC 동작을 수행하여 디지털 신호를 출력한다.

이미지 신호 프로세서(150)는 CDS/ADC 회로(130)로부터 출력된 디지털 신호로부터 디지털 픽셀 신호(예컨대, 예컨대, 깊이 정보 또는 컬러 정보)를 검출할 수 있다.

실시 예에 따라 이미지 신호 프로세서(150)는 도 1에 도시된 메모리(24) 및/또는 깊이 추정기(26)를 포함하거나, 도 10에 도시된 메모리(24) 및/또는 깊이 추정기(26')를 포함할 수 있다. 따라서, 이미지 신호 프로세서(150)는 앞서 설명한 바 있는 본 발명의 실시 예에 따른 깊이 정보 추정 방법을 적용하여 깊이 정보를 추정하고 추정된 깊이 정보와 각 컬러 정보를 결합하여 3차원 이미지 신호를 생성할 수 있다.

이때, 이미지 신호 프로세서(150)는 픽셀 어레이(110)의 각 픽셀로부터 출력된 각 픽셀 신호를 보간하고 보간된 각 픽셀 정보에 기초하여 3차원 이미지 신호를 생성할 수도 있다. 실시 예에 따라, 도 18에 도시된 CDS/ADC 회로(130) 내부에 도 1에 도시된 메모리(24)가 구현될 수도 있다.

도 19는 도 18에 도시된 3차원 이미지 센서를 포함하는 이미지 처리 시스템(200)의 블락도를 나타낸다. 도 19를 참조하면, 이미지 처리 시스템(200)은 3차원 이미지 센서(100)와 프로세서(210)를 포함할 수 있다.

프로세서(210)는 3차원 이미지 센서(100)의 동작을 제어할 수 있다. 예컨대, 프로세서(210)는 3차원 이미지 센서(100)의 동작을 제어하기 위한 프로그램을 저장할 수 있다. 실시 예에 따라 프로세서(210)는 3차원 이미지 센서(100)의 동작을 제어하기 위한 프로그램이 저장된 메모리(미 도시)를 액세스하여 상기 메모리에 저장된 상기 프로그램을 실행시킬 수 있다.

3차원 이미지 센서(100)는 프로세서(210)의 제어 하에 각 디지털 픽셀 신호(예컨대, 컬러 정보 또는 깊이 정보)에 기초하여 3차원 이미지 정보를 생성할 수 있다. 상기 생성된 3차원 이미지 정보는 인터페이스(230)에 접속된 디스플레이(미 도시)를 통하여 디스플레이될 수 있다.

3차원 이미지 센서(100)에 의하여 생성된 3차원 이미지 정보는 프로세서(210)의 제어 하에 버스(201)를 통하여 메모리 장치(220)에 저장될 수 있다. 메모리 장치(220)는 불휘발성 메모리 장치로 구현될 수 있다.

인터페이스(230)는 3차원 이미지 정보를 입출력하기 위한 인터페이스로 구현될 수 있다. 실시 예에 따라, 인터페이스(230)는 무선 인터페이스로 구현될 수 있다.

도 20은 이미지 센서와 본 발명의 실시 예에 따른 깊이 추정 장치를 포함하는 이미지 처리 시스템(300)의 블락도를 나타낸다. 도 20을 참조하면, 이미지 처리 시스템(300)은 깊이 추정 장치(10 또는 10'), RGB 컬러 픽셀들을 포함하는 컬러 이미지 센서 (310), 및 프로세서(210)를 포함할 수 있다.

도 20에는 설명의 편의를 위하여 물리적으로 서로 분리된 깊이 추정 장치(10 또는 10')와 컬러 이미지 센서(310)를 도시하나 깊이 추정 장치(10 또는 10')와 컬러 이미지 센서(310)가 서로 물리적으로 중복되는 신호 처리 회로들을 포함할 수 있다.

여기서, 컬러 이미지 센서(310)는 깊이 픽셀을 포함하지 않고 레드 픽셀, 그린 픽셀, 및 블루 픽셀로 구현된 픽셀 어레이를 포함하는 이미지 센서를 의미할 수 있다. 따라서, 프로세서(210)는 깊이 추정 장치(10 또는 10')에 의하여 추정(또는 계산)된 깊이 정보와 컬러 이미지 센서(310)로부터 출력된 각 컬러 정보(예컨대, 레드 정보, 그린 정보, 블루 정보, 마젠타 정보, 사이언 정보, 또는 엘로우 정보 중에서 적어도 하나)에 기초하여 3차원 이미지 정보를 생성하고 생성된 3차원 이미지 정보를 디스플레이를 통하여 디스플레이할 수 있다.

프로세서(210)에 의하여 생성된 3차원 이미지 정보는 버스(301)를 통하여 메모리 장치(220)에 저장될 수 있다.

도 19 또는 도 20에 도시된 이미지 처리 시스템은 3차원 거리 측정기, 게임컨트롤러, 깊이 카메라, 또는 제스쳐 센싱 장치(gesture sensing apparatus)에 사용될 수 있다.

도 21은 본 발명의 실시 예에 따른 깊이 추정 장치를 포함하는 신호 처리 시스템(400)의 블락도를 나타낸다. 도 21을 참조하면, 단순 깊이(또는 거리) 측정 센서로서만 동작할 수 있는 신호 처리 시스템(400)은 깊이 추정 장치(10 또는 10')와 상기 깊이 추정 장치(10 또는 10')의 동작을 제어하기 위한 프로세서(210)를 포함한다.

프로세서(210)는 깊이 추정 장치(10 또는 10')로부터 출력된 깊이 정보에 기초하여 신호 처리 시스템(400)과 피사체(또는 타겟 물체)와의 거리 정보 또는 깊이 정보를 계산할 수 있다. 프로세서(210)에 의하여 측정된 거리 정보 또는 깊이 정보는 버스(401)를 통하여 메모리 장치(220)에 저장될 수 있다.

발명은 도면에 도시된 일 실시 예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시 예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 등록청구범위의 기술적 사상에 의해 정해져야 할 것이다.

깊이 추정 장치(10 또는 10')
적외선 광원(12)
대상 물체(11)
적외선 통과 필터(17)
깊이 센서 어레이(14)
로우 디코더(22)
디지털 회로(18)
메모리(24)
깊이 추정기(26 또는 26')
타이밍 컨트롤러(20)
3차원 이미지 센서(100)
이미지 처리 시스템(200 또는 300)
신호 처리 시스템(400)

Claims

(a) 광신호를 대상 물체로 출력하는 단계;
(b) 상기 대상 물체로부터 반사되는 광신호 및 깊이 픽셀에 인가되는 일정한 위상 차이로 주기적으로 인가되는 다수의 게이트 신호들에 기초하여 다수의 프레임 신호들을 발생하며, 상기 다수의 프레임 신호들 및 상기 다수의 프레임 신호들 각각의 프레임 정보를 상기 대상 물체까지의 깊이 추정을 위하여 제공하는 단계;
(c) 상기 다수의 제공된 프레임 신호들 중에서 누락된 프레임 신호의 유무 및 상기 다수의 제공된 프레임 신호들의 연속 패턴을 고려하여 상기 다수의 제공된 프레임 신호들을 각각이 에러 없이 상기 대상 물체까지의 깊이를 추정하는데 이용될 수 있는 다수의 프레임 신호 그룹들로 그룹화하는 단계; 및
(d) 상기 다수의 프레임 신호 그룹들 각각을 이용하여 상기 대상 물체까지의 깊이를 추정하는 단계를 포함하는 깊이 추정 장치를 이용한 깊이 정보 추정 방법.
제1항에 있어서, 상기 (c) 단계는
(c1) 상기 다수의 제공된 프레임 신호들 중에서 현재 프레임 신호의 프레임 정보와 이전 프레임 신호의 프레임 정보를 비교하고, 상기 현재 프레임 신호의 프레임 정보와 이전 프레임 신호의 프레임 정보의 비교 결과에 기초하여 상기 다수의 제공된 프레임 신호들 중에서 상기 누락된 프레임 신호를 검출하고 상기 다수의 제공된 프레임 신호들의 연속 패턴을 판단하는 단계; 및
(c2) 상기 누락된 프레임 신호의 유무 및 상기 다수의 제공된 프레임 신호들의 연속 패턴에 기초하여 상기 다수의 제공된 프레임 신호들을 상기 다수의 프레임 신호 그룹들로 그룹화하는 단계를 포함하는 깊이 추정 장치를 이용한 깊이 정보 추정 방법.
제2항에 있어서, 현재 프레임 신호 그룹은 이전 프레임 신호 그룹은
적어도 하나의 프레임 신호를 공유하는 깊이 추정 장치를 이용한 깊이 정보 추정 방법.
제2항에 있어서, 상기 (d) 단계는
(d1) 상기 다수의 프레임 신호 그룹들 각각에 포함된 두 개의 프레임 신호들의 차이와 상기 다수의 프레임 신호 그룹들 각각에 포함된 다른 두 개의 신호들의 차이의 비율에 기초하여 상기 대상 물체로 출력된 광신호와 상기 대상 물체로부터 반사된 광신호 사이의 위상차를 검출하는 단계; 및
(d2) 상기 광신호의 주파수 및 상기 위상차에 기초하여 상기 대상 물체까지의 깊이를 추정하는 단계를 포함하는 깊이 추정 장치를 이용한 깊이 정보 추정 방법.
제4항에 있어서, 상기 위상차는
상기 프레임 신호 그룹에 포함된 상기 두 개의 프레임 신호들의 차이와 상기 프레임 신호 그룹에 포함된 상기 다른 두 개의 신호들의 차이의 비율에 대한 아크탄젠트 값인 깊이 추정 장치를 이용한 깊이 정보 추정 방법.
제1항에 있어서, 상기 (c) 단계는
(c1) 상기 다수의 제공된 프레임 신호들 중에서 현재 프레임 신호의 프레임 정보와 이전 프레임 신호의 프레임 정보를 비교하고, 상기 현재 프레임 신호의 프레임 정보와 이전 프레임 신호의 프레임 정보의 비교 결과에 기초하여 상기 누락된 프레임 신호의 유무를 판단하며, 상기 누락된 프레임 신호의 유무를 나타내는 인덱스 값을 발생하는 단계;
(c2) 상기 다수의 제공된 프레임 신호들 중에서 현재 프레임 신호의 프레임 정보 및 상기 인덱스 값을 비교하고, 상기 현재 프레임 신호의 프레임 정보와 상기 인덱스 값의 비교 결과에 기초하여 상기 다수의 제공된 프레임 신호들의 연속 패턴을 판단하는 단계; 및
(c3) 상기 누락된 프레임 신호의 유무 및 상기 다수의 제공된 프레임 신호들의 연속 패턴에 기초하여 상기 다수의 제공된 프레임 신호들을 상기 다수의 프레임 신호 그룹들로 그룹화하는 단계를 포함하는 깊이 추정 장치를 이용한 깊이 정보 추정 방법.
제6항에 있어서, 현재 프레임 신호 그룹은 이전 프레임 신호 그룹은
적어도 하나의 프레임 신호를 공유하는 깊이 추정 장치를 이용한 깊이 정보 추정 방법.
제6항에 있어서, 상기 (d) 단계는
(d1) 상기 다수의 프레임 신호 그룹들 각각에 포함된 두 개의 프레임 신호들의 차이와 상기 다수의 프레임 신호 그룹들 각각에 포함된 다른 두 개의 신호들의 차이의 비율에 기초하여 상기 대상 물체로 출력된 광신호와 상기 대상 물체로부터 반사된 광신호 사이의 위상차를 검출하는 단계; 및
(d2) 상기 광신호의 주파수 및 상기 위상차에 기초하여 상기 대상 물체까지의 깊이를 추정하는 단계를 포함하는 깊이 추정 장치를 이용한 깊이 정보 추정 방법.
제8항에 있어서, 상기 위상차는
상기 프레임 신호 그룹에 포함된 상기 두 개의 프레임 신호들의 차이와 상기 프레임 신호 그룹에 포함된 상기 다른 두 개의 신호들의 차이의 비율에 대한 아크탄젠트 값인 깊이 추정 장치를 이용한 깊이 정보 추정 방법.
제1항 내지 제 9항 중 어느 하나의 항에 기재된 깊이 추정 장치를 이용한 깊이 정보 추정 방법을 실행하기 위한 코드를 저장하는 컴퓨터로 읽을 수 있는 기록 매체.