KR20130077329A

KR20130077329A - 깊이 센서, 및 이의 노이즈 감소 방법

Info

Publication number: KR20130077329A
Application number: KR1020110145973A
Authority: KR
Inventors: 민동기; 진영구
Original assignee: 삼성전자주식회사
Priority date: 2011-12-29
Filing date: 2011-12-29
Publication date: 2013-07-09

Abstract

깊이 센서의 노이즈 감소 방법이 개시된다. 상기 깊이 센서의 노이즈 감소 방법은 변조된 광신호를 타겟 물체로 출력하는 단계, 상기 타겟 물체로부터 반사된 광신호에 따라 깊이 픽셀로부터 복수의 픽셀 신호들을 검출하는 단계, 필터 이득을 이용하여 상기 복수의 픽셀 신호들을 필터링하는 단계, 상기 필터링된 복수의 픽셀 신호들을 이용하여 상기 타겟 물체까지의 제1깊이와 상기 반사된 광신호의 강도를 계산하는 단계, 상기 제1깊이를 제1깊이 문턱값과 비교하고, 비교 결과에 따라 상기 필터 이득을 조정하는 단계, 상기 조정된 필터 이득을 이용하여 상기 복수의 픽셀 신호들의 노이즈를 감소시키는 단계, 및 상기 노이즈가 감소된 상기 복수의 픽셀 신호들을 이용하여 제2깊이를 재계산하는 단계를 포함한다.

Description

깊이 센서, 및 이의 노이즈 감소 방법{Depth sensor, method of reducing noise in the same}

본 발명의 개념에 따른 실시 예는 TOF(time-of-flight) 원리를 이용한 깊이 센서에 관한 것으로, 특히, 상기 깊이 센서에 의해 계산된 깊이의 노이즈를 감소시키기 위한 깊이 센서 및 이의 노이즈 감소 방법에 관한 것이다.

센서(sensor)는 대상물의 상태 또는 위치를 검출하고 검출 결과를 전기적인 신호로 변환하여 전달하는 소자이다. 상기 센서의 종류로서는 빛 센서, 온도 센서, 압력 센서, 자기 센서, 또는 깊이(또는, 거리) 센서(depth sensor) 등이 있다.

상기 깊이 센서의 상기 소스로부터 출력되는 신호는 마이크로파(Micro wave), 광파(Light wave) 또는 초음파(Ultrasonic wave)가 주로 사용된다.

상기 깊이 센서는 TOF(time-Of-flight) 측정 방식을 이용하여 깊이를 측정한다. 즉, 상기 깊이 센서는 소스(source)로부터 방사된 펄스 형태의 신호가 타겟 물체(또는, 측정 대상물)에 의해 반사되어 되돌아 올 때까지의 지연 시간을 측정하여 상기 깊이 센서와 상기 타겟 물체까지의 깊이(또는, 거리)를 산출한다.

깊이 센서에 포함된 깊이 픽셀에 의해 검출된 복수의 픽셀 신호들은 노이즈를 포함할 수 있다.

상기 복수의 픽셀 신호들이 노이즈를 포함할 때, 상기 깊이 센서는 상기 노이즈가 포함된 상기 복수의 픽셀 신호들에 의해 노이즈가 포함된 깊이를 계산할 수 있다.

따라서 상기 노이즈를 감소시킬 수 있는 방법이 요구된다.

따라서 본 발명이 이루고자 하는 기술적인 과제는 필터를 사용하여 노이즈를 감소시킬 수 있는 깊이 센서, 및 이의 노이즈 감소 방법을 제공하는 것이다.

본 발명의 실시 예에 따른 깊이 센서의 노이즈 감소 방법은 변조된 광신호를 타겟 물체로 출력하는 단계, 상기 타겟 물체로부터 반사된 광신호에 따라 깊이 픽셀로부터 복수의 픽셀 신호들을 검출하는 단계, 필터 이득을 이용하여 상기 복수의 픽셀 신호들을 필터링하는 단계, 상기 필터링된 복수의 픽셀 신호들을 이용하여 상기 타겟 물체까지의 제1깊이와 상기 반사된 광신호의 강도를 계산하는 단계, 상기 제1깊이를 제1깊이 문턱값과 비교하고, 비교 결과에 따라 상기 필터 이득을 조정하는 단계, 상기 조정된 필터 이득을 이용하여 상기 복수의 픽셀 신호들의 노이즈를 감소시키는 단계, 및 상기 노이즈가 감소된 상기 복수의 픽셀 신호들을 이용하여 제2깊이를 재계산하는 단계를 포함한다.

상기 필터 이득을 조정하는 단계는, 상기 제1깊이가 상기 제1깊이 문턱값보다 클 때, 상기 필터 이득을 크게 설정하는 단계를 포함한다.

상기 필터 이득을 조정하는 단계는, 상기 제1깊이가 상기 제1깊이 문턱값보다 작고, 상기 강도가 강도 문턱값보다 작을 때, 상기 필터 이득을 크게 설정하는 단계를 포함한다.

상기 필터 이득을 조정하는 단계는, 상기 제1깊이가 상기 제1깊이 문턱값보다 작고, 상기 강도가 강도 문턱값보다 클 때, 상기 필터 이득을 상기 제1깊이에 따라 설정하는 단계를 포함한다.

상기 제1깊이의 값이 작을수록 상기 필터 이득은 커지며, 상기 제1깊이의 값이 클수록 상기 필터 이득은 작아진다.

실시 예에 따라, 상기 깊이 센서의 노이즈 감소 방법은 상기 타겟 물체가 이동하였는지 판단하는 단계를 더 포함할 수 있다.

상기 타겟 물체가 이동하였는지 판단하는 단계는 상기 제1깊이와 상기 복수의 픽셀 신호들을 이용하여 계산된 제3깊이의 차이를 계산하는 단계, 및 상기 차이와 제2깊이 문턱값에 따라 상기 타겟 물체가 이동하였는지 판단하는 단계를 포함한다.

실시 예에 따라, 상기 깊이 센서의 노이즈 감소 방법은, 상기 타겟 물체가 이동하였다고 판단될 때, 상기 필터링된 복수의 픽셀 신호들을 상기 복수의 픽셀신호들로 리셋하는 단계를 더 포함할 수 있다.

본 발명의 실시 예에 따른 깊이 센서는 변조 광을 타겟 물체로 출력하는 광원, 상기 타겟 물체로부터 반사된 반사 광에 따라 복수의 픽셀 신호들을 검출하는 깊이 픽셀, 상기 깊이 센서의 노이즈 감소 방법을 실행할 수 있는 프로그램을 저장하는 메모리, 및 상기 프로그램을 실행시키기 위한 마이크로 프로세서를 포함한다.

본 발명의 실시 예에 따른 깊이 센서는 노이즈가 감소된 깊이를 계산할 수 있는 효과가 있다.

본 발명의 상세한 설명에서 인용되는 도면을 보다 충분히 이해하기 위하여 각 도면의 상세한 설명이 제공된다.
도 1은 본 발명의 실시 예에 따른 깊이 센서의 블록도를 나타낸다.
도 2는 도 1의 어레이에 도시된 깊이 픽셀의 평면도를 나타낸다.
도 3은 도 1에 도시된 깊이 픽셀에 포함된 포토 게이트를 제어하기 위한 포토 게이트 컨트롤 신호들의 타이밍도를 나타낸다.
도 4는 도 1에 도시된 마이크로 프로세서의 블록도를 나타낸다.
도 5는 도 1에 도시된 깊이 센서의 노이즈 감소 방법을 설명하기 위한 플로우차트이다.
도 6은 컬러 이미지 센서와 본 발명의 실시 예에 따른 깊이 센서를 포함하는 이미지 처리 시스템의 블록도를 나타낸다.

본 명세서에 개시되어 있는 본 발명의 개념에 따른 실시 예들에 대해서 특정한 구조적 또는 기능적 설명들은 단지 본 발명의 개념에 따른 실시 예들을 설명하기 위한 목적으로 예시된 것으로서, 본 발명의 개념에 따른 실시 예들은 다양한 형태들로 실시될 수 있으며 본 명세서에 설명된 실시 예들에 한정되지 않는다.

본 발명의 개념에 따른 실시 예들은 다양한 변경들을 가할 수 있고 여러 가지 형태들을 가질 수 있으므로 실시 예들을 도면에 예시하고 본 명세서에 상세하게 설명하고자 한다. 그러나, 이는 본 발명의 개념에 따른 실시 예들을 특정한 개시 형태들에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물, 또는 대체물을 포함한다.

제1 또는 제2 등의 용어는 다양한 구성 요소들을 설명하는데 사용될 수 있지만, 상기 구성 요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성 요소를 다른 구성 요소로부터 구별하는 목적으로만, 예컨대 본 발명의 개념에 따른 권리 범위로부터 이탈되지 않은 채, 제1구성요소는 제2구성요소로 명명될 수 있고, 유사하게 제2구성요소는 제1구성요소로도 명명될 수 있다.

어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다. 구성요소들 간의 관계를 설명하는 다른 표현들, 즉 "~사이에"와 "바로 ~사이에" 또는 "~에 이웃하는"과 "~에 직접 이웃하는" 등도 마찬가지로 해석되어야 한다.

본 명세서에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 설시된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 갖는 것으로 해석되어야 하며, 본 명세서에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.

이하, 첨부한 도면을 참조하여 본 발명의 바람직한 실시 예를 설명함으로써, 본 발명을 상세히 설명한다.

도 1은 본 발명의 실시 예에 따른 깊이 센서의 블록도를 나타내며, 도 2는 도 1의 어레이에 도시된 깊이 픽셀의 평면도를 나타내며, 도 3은 도 1에 도시된 깊이 픽셀에 포함된 포토 게이트를 제어하기 위한 복수의 포토 게이트 컨트롤 신호들의 타이밍도를 나타낸다.

도 1 내지 도 3을 참조하면, TOF(time of flight) 원리를 이용하여 깊이(Z)를 계산할 수 있는 깊이 센서(10)는 복수의 깊이 픽셀들(검출기들 또는 센서들; 23-1~23-n; n은 정수)이 배열된 어레이(22)를 포함하는 집적 회로(20), 광원(32), 및 렌즈 모듈(34)을 포함한다.

설명의 편의상 복수의 깊이 픽셀들(23-1~23-n) 각각은 1-탭(tap) 깊이 픽셀을 나타내나, 본 발명의 실시 예는 반드시 1-탭 깊이 픽셀에 한정되지 않는다. 즉, 실시 예에 따라 어레이(22)는 복수의 1-탭 깊이 픽셀들 대신에 복수의 2-탭 깊이 픽셀들을 포함할 수 있다.

어레이(22)에 2차원으로 구현된 깊이 픽셀(23-1)은 포토 게이트(photo gate; 110)를 포함한다. 또한, 깊이 픽셀(23-1)은 신호 처리를 위한 트랜지스터(112)를 포함한다.

로우 디코더(row decoder; 24)는 타이밍 컨트롤러(26)로부터 출력된 로우 어드레스(row address)에 응답하여 복수의 로우들 중에서 어느 하나의 로우를 선택한다. 여기서, 로우(row)란 어레이(22)에서 X-방향으로 배치된 복수의 1-탭 깊이 픽셀들의 집합을 의미한다.

포토 게이트 컨트롤러(28)는 타이밍 컨트롤러(26)의 제어하에 복수의 포토 게이트 컨트롤 신호들(Ga, Gb, Gc 및 Gd)을 생성하여 어레이(22)로 공급할 수 있다.

도 3에 도시된 바와 같이, 각 포토 게이트 컨트롤 신호(Ga, Gb, Gc, 및 Gd)는 구형파이다.

제1포트 게이트 컨트롤 신호(Ga)의 위상과 제3포트 게이트 컨트롤 신호(Gc)의 위상과의 차는 90°이고, 제1포트 게이트 컨트롤 신호(Ga)의 위상과 제2포토 게이트 컨트롤 신호(Gb)의 위상과의 차는 180°이고, 제1포트 게이트 컨트롤 신호(Ga)의 위상과 제4포토 게이트 컨트롤 신호(Gd)의 위상과의 차는 270°이다.

광원 드라이버(30)는, 타이밍 컨트롤러(26)의 제어 하에, 광원(32)을 드라이빙(driving)할 수 있는 클락 신호(MLS)를 생성할 수 있다.

광원(32)은 클락 신호(MLS)에 응답하여 변조된 광신호(EL)를 타겟 물체(40)로 방사(emit)한다. 광원(32)으로서 LED(light emitting diode) 또는 레이저 다이오드(laser diode)가 사용될 수 있다. 변조된 광신호(EL)와 클락 신호(MLS)는 동일한 위상을 가진다.

변조된 광신호(EL)는 정현파이다. 실시 예에 따라 변조된 광신호(EL)는 구형파일 수 있다.

광원 드라이버(30)는 클락 신호(MLS) 또는 클락 신호(MLS)에 대한 정보를 포토 게이트 컨트롤러(28)로 공급한다. 따라서, 포토 게이트 컨트롤러(28)는 타이밍 컨트롤러(26)의 제어하에 변조된 광신호(EL)의 위상과 동일한 위상을 갖는 제1포트 게이트 컨트롤 신호(Ga)와, 변조된 광신호(EL)의 위상과 180°의 위상 차를 갖는 제2포트 게이트 컨트롤 신호(Gb)를 생성한다. 또한, 포토 게이트 컨트롤러(28)는 변조된 광신호(EL)의 위상과 90°의 위상 차를 갖는 제3포트 게이트 컨트롤 신호(Gc)와, 270°의 위상 차를 갖는 제4포트 게이트 컨트롤 신호(Gd)를 생성한다.

포토 게이트 컨트롤러(28)는, 타이밍 컨트롤러(26)의 제어하에, 순차적으로 제1포토 게이트 컨트롤 신호(Ga), 제2포토 게이트 컨트롤 신호(Gb), 제3포토 게이트 컨트롤 신호(Gc), 및 제4포토 게이트 컨트롤 신호(Gd)를 어레이(22)로 공급할 수 있다.

실시 예에 따라 복수의 깊이 픽셀들(23-1~23-n) 각각이 2-탭 깊이 픽셀일 때, 포토 게이트 컨트롤러(28)는, 타이밍 컨트롤러(26)의 제어하에, 제1포토 게이트 컨트롤 신호(Ga)와 제3포토 게이트 컨트롤 신호(Gc)를 동시에 어레이(22)로 공급하고, 제2포토 게이트 컨트롤 신호(Gb)와 제4포토 게이트 컨트롤 신호(Gd)를 동시에 어레이(22)로 공급할 수 있다.

예컨대, 포토 게이트 컨트롤러(28)와 광원 드라이버(30)는 서로 동기 되어 동작할 수 있다.

포토 게이트(110)는 투명 폴리 실리콘(poly silicon)으로 구현될 수 있다. 실시 예에 따라, 포토 게이트(110)는 ITO(Indium tin oxide, 또는 tin-doped indium oxide), IZO(Indium Zinc Oxide), 또는 ZnO(Zinc Oxide) 등으로 구현될 수 있다.

반사된 광신호(RL)는 렌즈 모듈(34)을 통하여 어레이(22)로 입사된다. 여기서 렌즈 모듈(34)은 렌즈와 적외선 통과 필터를 포함하는 의미로 사용될 수 있다.

깊이 센서(10)는 렌즈 모듈(34)의 주변에 원형으로 배열되는 복수의 광원들을 포함하나, 설명의 편의를 위하여 하나의 광원(32)만을 도시한다.

렌즈 모듈(34)을 통하여 어레이(22)로 입사된 광신호(RL)는 깊이 픽셀(23-1)에 의하여 복조될 수 있다.

깊이 픽셀(23-1)은 입사된 광신호(RL)의 광 전자들(또는 광 전하)을 일정시간, 예컨대 적분 시간 (integration time)동안 축적하고, 축적 결과에 따라 생성된 픽셀 신호들(A0', A1', A2', 및 A3')을 출력한다. 깊이 픽셀(23-1)에 의하여 생성된 각 픽셀 신호(Ak')는 수학식 1과 같이 나타낼 수 있다.

[수학식 1]

여기서, 깊이 픽셀(23-1)의 포토 게이트(110)로 입력되는 신호가 제1포토 게이트 컨트롤 신호(Ga)일 때, k는 0이고, 제3포토 게이트 컨트롤 신호(Gc)일 때, k는 1이고, 제2포토 게이트 컨트롤 신호(Gb)일 때 k는 2이고, 게이트 신호(Gd)의 위상 차가 270도일 때 k는 3이다.

a_k _{, n}은 k에 해당하는 위상(phase) 차로 n(n은 자연수)번째 게이트 신호를 인가했을 때, 깊이 픽셀(23)에서 검출된 광전자들(또는 광 전하)의 수를 나타내고, N=fm*Tint이다. 여기서, fm은 변조된 광신호(EL)의 주파수를 나타내고, Tint는 적분 시간을 나타낸다.

타이밍 컨트롤러(26)의 제어 하에, CDS/ADC 회로(36)는 깊이 픽셀(23-1)로부터 검출된 각 픽셀 신호(A0', A1', A2', 및 A3')에 대해 CDS(correlated double sampling) 동작과 ADC(analog to digital converting) 동작을 수행하여 각 디지털 픽셀 신호(A0, A1, A2, 및 A3)를 출력한다.

깊이 센서(10)는 어레이(22)에 구현된 다수의 컬럼 라인들로부터 출력된 픽셀 신호들을 CDS/ADC 회로(36)로 전송하기 위한 액티브 로드 회로들(미도시)을 더 포함할 수 있다.

메모리(38)는 CDS/ADC 회로(36)로부터 출력된 각 디지털 픽셀 신호(A0, A1, A2, 및 A3)를 수신하여 저장한다.

이하, 각 디지털 픽셀 신호(A0, A1, A2, 및 A3)는 설명의 편의상 각 픽셀 신호로 호칭한다.

실시 예에 따라 깊이 센서(10)는 깊이 센서(10)의 노이즈 감소 방법을 실행할 수 있는 프로그램을 저장하는 메모리(미도시)를 더 포함할 수 있다.

도 3에서 반사된 광신호(RL)의 강도(intensity) 또는 진폭은 수학식 2와 같이 계산된다.

[수학식 2]

여기서, 상기 A는 반사된 광신호(RL)의 강도 또는 진폭을 의미한다.

도 3에서 반사된 광신호(RL)의 오프셋(offset)은 수학식 3과 같이 계산된다.

[수학식 3]

B=(A0+A1+A2+A3)/4

여기서, 상기 B는 반사된 광신호(RL)의 오프셋을 나타낸다.

마이크로 프로세서(39)는 복수의 픽셀 신호들(A0, A1, A2, 및 A3)을 이용하여 타겟 물체(40)까지의 깊이(Z)를 계산한다.

예컨대, 변조된 광신호(EL)가 A(1+cosωt)/2이고, 센서(23-1)로 입사된 광신호 또는 센서(23-1)에 의하여 검출된 광신호(RL)가 A0=A'(1+cos(ωt+θ))+B, A1=A'(1+sin(ωt+θ))+B, A2=A'(1-cos(ωt+θ))+B, A3=A'(1-sin(ωt+θ))+B일 때, TOF에 의한 위상 쉬프트(phase shift; θ)는 수학식 4와 같다.

[수학식 4]

θ=arctan((A3-A1)/(A2-A0))

따라서, 광원(32)으로부터 출력된 변조된 광신호(EL)는 타겟 물체(40)에서 반사되고, 타겟 물체(40)가 서로 다른 거리(Z1, Z2, 및 Z3)를 가질 때 깊이(Z)는 수학식 5와 같이 계산된다.

[수학식 5]

Z=θ*C/(2*ω)=θ*C/(2*(2πf))

여기서, C는 광속을 나타낸다.

복수의 픽셀 신호들(A0, A1, A2, 및 A3)은 노이즈를 포함할 수 있다.

복수의 픽셀 신호들(A0, A1, A2, 및 A3)이 노이즈를 포함할 때, 깊이(Z)는 노이즈를 포함할 수 있다. 따라서 깊이 센서(10)의 노이즈 감소 방법이 필요하다.

도 4는 도 1에 도시된 마이크로 프로세서의 블록도를 나타내며, 도 5는 도 1에 도시된 깊이 센서의 노이즈 감소 방법을 설명하기 위한 플로우차트이다.

도 1 내지 도 5를 참조하면, 마이크로 프로세서(39)는 계산 유닛(41), 필터 이득 조정 유닛(43), 및 필터 유닛(45)을 포함한다.

필터 유닛(45)은 수학식 6을 이용하여 복수의 픽셀 신호들(A0, A1, A2, 및 A3)을 필터링하고, 필터링된 복수의 픽셀 신호들(Af0, Af1, Af2, 및 Af3)을 출력한다(S10).

[수학식 6]

Y[N]=G*X[N]+(1-G)*Y[N-1]

여기서, 상기 X[N]은 필터 유닛(45)의 입력 신호, 상기 Y[N]은 필터 유닛(45)의 출력 신호, 상기 G는 상기 필터 이득, 및 상기 N은 자연수를 의미한다.

상기 입력 신호는 픽셀 신호(A0, A1, A2, 또는 A3)를 의미하며, 상기 출력 신호는 필터링된 픽셀 신호(Af0, Af1, Af2, 또는 Af3)를 의미한다.

필터 이득(G)은 0과 1 사이의 범위를 가지는 실수이다.

예컨대, 필터 이득(G)은 0.01이다.

상기 N이 1일 때, 필터 유닛(45)은 복수의 픽셀 신호들(A0, A1, A2, 및 A3) 각각과 필터 이득(G)을 곱하여 필터링된 복수의 픽셀 신호들(Af0, Af1, Af2, 및 Af3) 각각을 출력한다.

계산 유닛(41)은 복수의 픽셀 신호들(Af0, Af1, Af2, 및 Af3)을 이용하여 타겟 물체(40)까지의 제1깊이(Zf)와 반사된 광신호(RL)의 강도(Af)를 계산한다(S20).

상기 제1깊이(Zf)를 계산하기 위해 상기 수학식 4와 상기 수학식 5가 사용될 수 있다.

필터 이득 조정 유닛(43)은 제1깊이(Zf)와 제1깊이 문턱값(Zth1)을 비교한다(S30).

제1깊이(Zf)가 제1깊이 문턱값(Zth1)보다 클 때, 필터 이득 조정 유닛(43)은 필터 이득(G)을 크게 설정한다(S40).

예컨대, 제1깊이(Zf)가 0.8이고 제1깊이 문턱값(Zth1)이 0.7일 때, 필터 이득 조정 유닛(43)은 필터 이득(G)을 0.01에서 0.05로 크게 설정한다.

깊이(Zf)가 제1깊이 문턱값(Zth1)보다 작을 때, 필터 이득 조정 유닛(43)은 강도(Af)와 강도 문턱값(Ath)을 비교한다(S50).

예컨대, 제1깊이(Zf)가 0.6이고 제1깊이 문턱값(Zth1)이 0.7일 때, 필터 이득 조정 유닛(43)은 강도(Af)와 강도 문턱값(Ath)을 비교한다.

제1깊이(Zf)가 제1깊이 문턱값(Zth1)보다 작고, 강도(Af)가 강도 문턱값(Ath)보다 클 때, 필터 이득 조정 유닛(43)은 제1깊이(Zf)에 따라 필터 이득(G)을 설정한다(S60).

예컨대, 제1깊이(Zf)가 0.6, 제1깊이 문턱값(Zth1)이 0.7이며, 강도(Af)가 11, 강도 문턱값(Ath)이 10일 때, 필터 이득 조정 유닛(43)은 필터 이득(G)을 제1깊이(Zf)에 따라 설정한다.

즉, 필터 이득 조정 유닛(43)은 필터 이득(G)을 (1-Zf)로 설정한다.

예컨대, 제1깊이(Zf)가 0.6일 때, 필터 이득(G)은 (1-0.6)이다.

제1깊이(Zf)의 값이 클수록 필터 이득(G)은 작아지며, 제1깊이(Zf)의 값이 작을수록 필터 이득(G)은 커진다.

필터 이득 조정 유닛(43)은 타겟 물체(40)가 이동하였는지 판단한다(S70).

필터 이득 조정 유닛(43)은 제1깊이(Zf)와 제2깊이(Z0)의 차이를 계산한다.

제1깊이(Zf)는 복수의 픽셀 신호들(Af0, Af1, Af2, 및 Af3)을 이용하여 계산된다.

제2깊이(Z0)는 복수의 픽셀 신호들(A0, A1, A2, 및 A3)을 이용하여 계산된다.

필터 이득 조정 유닛(43)은 상기 차이가 제2깊이 문턱값(Zth2)보다 클 때, 타겟 물체(40)가 이동하였다고 판단하며, 상기 차이가 제2깊이 문턱값(Zth2)보다 작을 때, 타겟 물체(40)가 이동하지 않았다고 판단한다.

필터 이득 조정 유닛(43)은 타겟 물체(40)가 이동하였다고 판단할 때, 필터 이득 조정 유닛(43)은 복수의 픽셀 신호들(Af0, Af1, Af2, 및 Af3)을 복수의 픽셀 신호들(A0, A1, A2, 및 A3)로 재설정한다(S80).

깊이(Zf)가 제1깊이 문턱값(Zth1)보다 작고, 강도(Af)가 강도 문턱값(Ath)보다 작을 때, 필터 이득 조정 유닛(43)은 필터 이득(G)을 크게 설정한다(S90).

예컨대, 깊이(Zf)가 0.6, 제1깊이 문턱값(Zth1)이 0.7이고, 강도(Af)가 9, 강도 문턱값(Ath)이 10일 때, 필터 이득 조정 유닛(43)은 필터 이득(G)을 0.01에서 0.03으로 설정한다.

필터 유닛(45)은 조절된 필터 이득(G)을 이용하여 복수의 픽셀 신호들(A0, A1, A2, 및 A3)의 노이즈를 감소시킨다.

계산 유닛(41)은 상기 노이즈가 감소된 복수의 픽셀 신호들을 이용하여 깊이(Z)를 재계산한다.

따라서 깊이 센서(10)는 노이즈가 감소된 깊이(Z)를 계산할 수 있다.

도 6은 컬러 이미지 센서와 본 발명의 실시 예에 따른 깊이 센서를 포함하는 이미지 처리 시스템의 블록도를 나타낸다.

도 6을 참조하면, 이미지 처리 시스템 (700)은 깊이 센서(710), RGB 컬러 픽셀들을 포함하는 컬러 이미지 센서(720), 및 프로세서(730)를 포함할 수 있다.

도 6은 설명의 편의를 위하여 물리적으로 서로 분리된 깊이 센서(710)와 컬러 이미지 센서(720)를 도시하나 깊이 센서(710)와 컬러 이미지 센서(720)가 서로 물리적으로 중복되는 신호 처리 회로들을 포함할 수 있다.

여기서, 깊이 센서(710)는 도 1에 도시된 깊이 센서(10)를 나타낸다.

컬러 이미지 센서(720)는 깊이 픽셀을 포함하지 않고 레드 픽셀, 그린 픽셀, 및 블루 픽셀로 구현된 픽셀 어레이를 포함하는 이미지 센서를 의미할 수 있다. 따라서, 프로세서(730)는 깊이 센서(710)에 의하여 계산된 깊이(또는 거리)와 컬러 이미지 센서(720)로부터 출력된 각 컬러 정보(예컨대, 레드 정보, 그린 정보, 블루 정보, 마젠타 정보, 사이언 정보, 또는 옐로우 정보 중에서 적어도 하나)에 기초하여 3차원 이미지 정보를 생성하고 생성된 3차원 이미지 정보를 디스플레이(미도시)를 통하여 디스플레이할 수 있다.

실시 예에 따라 깊이 센서(710)와 컬러 이미지 센서(720)는 하나의 센서로 구현될 수 있다.

또한, 실시 예에 따라 프로세서(730)는 깊이 센서(710)로부터 출력되는 복수의 픽셀 신호들을 기초하여 깊이를 계산할 수 있다.

프로세서(730)에 의하여 생성된 3차원 이미지 정보는 버스(701)를 통하여 메모리 장치(740)에 저장될 수 있다.

이미지 처리 시스템(700)은 3차원 거리 측정기, 게임컨트롤러, 깊이 카메라, 또는 제스쳐 센싱 장치(gesture sensing apparatus)에 사용될 수 있다.

본 발명은 도면에 도시된 일 실시 예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시 예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 등록청구범위의 기술적 사상에 의해 정해져야 할 것이다.

10; 깊이 센서 32; 광원
20; 집적 회로 34; 렌즈 모듈
22; 어레이 36; CDS/ADC 회로
23-1~23-n; 복수의 깊이 픽셀들 38; 메모리
24; 로우 디코더 39; 마이크로 프로세서
26; 타이밍 컨트롤러 41; 계산 유닛
28; 포토 게이트 컨트롤러 43; 필터 이득 조정 유닛
45; 필터 유닛

Claims

변조된 광신호를 타겟 물체로 출력하는 단계;
상기 타겟 물체로부터 반사된 광신호에 따라 깊이 픽셀로부터 복수의 픽셀 신호들을 검출하는 단계;
필터 이득을 이용하여 상기 복수의 픽셀 신호들을 필터링하는 단계;
상기 필터링된 복수의 픽셀 신호들을 이용하여 상기 타겟 물체까지의 제1깊이와 상기 반사된 광신호의 강도를 계산하는 단계;
상기 제1깊이를 제1깊이 문턱값과 비교하고, 비교 결과에 따라 상기 필터 이득을 조정하는 단계;
상기 조정된 필터 이득을 이용하여 상기 복수의 픽셀 신호들의 노이즈를 감소시키는 단계; 및
상기 노이즈가 감소된 상기 복수의 픽셀 신호들을 이용하여 제2깊이를 재계산하는 단계를 포함하는 깊이 센서의 노이즈 감소 방법.
제1항에 있어서, 상기 필터 이득을 조정하는 단계는,
상기 제1깊이가 상기 제1깊이 문턱값보다 클 때,
상기 필터 이득을 크게 설정하는 단계를 포함하는 깊이 센서의 노이즈 감소 방법.
제1항에 있어서, 상기 필터 이득을 조정하는 단계는,
상기 제1깊이가 상기 제1깊이 문턱값보다 작고, 상기 강도가 강도 문턱값보다 작을 때,
상기 필터 이득을 크게 설정하는 단계를 포함하는 깊이 센서의 노이즈 감소 방법.
제1항에 있어서, 상기 필터 이득을 조정하는 단계는,
상기 제1깊이가 상기 제1깊이 문턱값보다 작고, 상기 강도가 강도 문턱값보다 클 때,
상기 필터 이득을 상기 제1깊이에 따라 설정하는 단계를 포함하는 깊이 센서의 노이즈 감소 방법.
제4항에 있어서, 상기 제1깊이의 값이 작을수록 상기 필터 이득은 커지며, 상기 제1깊이의 값이 클수록 상기 필터 이득은 작아지는 깊이 센서의 노이즈 감소 방법.
제1항에 있어서, 상기 깊이 센서의 노이즈 감소 방법은,
상기 타겟 물체가 이동하였는지 판단하는 단계를 더 포함하는 깊이 센서의 노이즈 감소 방법.
제6항에 있어서, 상기 타겟 물체가 이동하였는지 판단하는 단계는,
상기 제1깊이와 상기 복수의 픽셀 신호들을 이용하여 계산된 제3깊이의 차이를 계산하는 단계; 및
상기 차이와 제2깊이 문턱값에 따라 상기 타겟 물체가 이동하였는지 판단하는 단계를 포함하는 깊이 센서의 노이즈 감소 방법.
제6항에 있어서, 상기 깊이 센서의 노이즈 감소 방법은,
상기 타겟 물체가 이동하였다고 판단될 때,
상기 필터링된 복수의 픽셀 신호들을 상기 복수의 픽셀신호들로 리셋하는 단계를 더 포함하는 깊이 센서의 노이즈 감소 방법.
변조 광을 타겟 물체로 출력하는 광원;
상기 타겟 물체로부터 반사된 반사 광에 따라 복수의 픽셀 신호들을 검출하는 깊이 픽셀;
프로그램을 저장하는 메모리; 및
상기 프로그램을 실행시키기 위한 마이크로 프로세서를 포함하며,
상기 프로그램이 실행됨에 따라 상기 마이크로 프로세서는,
필터 이득을 이용하여 상기 복수의 픽셀 신호들을 필터링하며,
상기 필터링된 복수의 픽셀 신호들을 이용하여 상기 타겟 물체까지의 제1깊이와 상기 반사된 광신호의 강도를 계산하며,
상기 제1깊이를 제1깊이 문턱값과 비교하고, 비교 결과에 따라 상기 필터 이득을 조정하며,
상기 조정된 필터 이득을 이용하여 상기 복수의 픽셀 신호들의 노이즈를 감소시키며,
상기 노이즈가 감소된 상기 복수의 픽셀 신호들을 이용하여 제2깊이를 재계산하는 깊이 센서.