KR20120138304A - 깊이 이미지 신호 처리 방법, 이를 이용한 깊이 센서 및 이를 포함한 이미지 센싱 시스템 - Google Patents

Abstract

깊이 이미지 신호 처리 방법 및 이를 이용한 깊이 센서가 개시된다. 본 발명의 실시예에 따른 깊이 이미지 신호 처리 방법은 타겟 물체로 변조되어 방사된 제1 광신호와 상기 타겟 물체로부터 반사되어 수신된 제2 광신호를 센싱하는 단계, 정현파의 360도 기본위상을 45도 단위로 구분한 8 개 위상영역들 중 어느 하나를 상기 표본영역으로 지정하여 나머지 위상영역 각각을 상기 표본영역에 기초한 매칭함수로 나타내고, 상기 위상영역들 중 상기 제1 광신호와 상기 제2 광신호의 위상차 및 극성에 해당하는 위상영역을 검색하는 단계 및 상기 제1 광신호와 제2 광신호의 차이값으로부터 역-사인(inverse-sine) 함수를 구현한 기설정된 회귀모델을 통해 회귀값를 얻고, 상기 검색된 위상영역에 해당하는 매칭함수에 기초하여 상기 회귀값으로부터 상기 제1 광신호와 상기 제2 광신호의 위상차를 도출하는 단계를 포함하여 상기 위상차로부터 깊이 정보를 출력한다.

Description

깊이 이미지 신호 처리 방법, 이를 이용한 깊이 센서 및 이를 포함한 이미지 센싱 시스템{METHOD OF DEPTH IMAGE SIGNAL PROCESSING, DEPTH SENSOR OF THE SAME AND IMAGE SENSING SYSTEM OF THE SAME}

본 발명은 신호 처리 방법 및 장치에 관한 것으로, 보다 상세하게는 3차원 이미지 신호 처리 방법 및 3차원 이미지 신호 처리 프로세서에 관한 것이다.

깊이 센서는 TOF(time of flight) 원리를 이용하여 물체의 깊이 정보를 제공할 수 있다. 상기 깊이 센서는 외부로부터 입사하는 빛에 응답하여 광전자를 생성한다.

따라서 상기 깊이 센서는 상기 깊이 정보의 신호 대 잡음비를 크게 하기 위해 특수한 알고리즘을 필요로 한다.

따라서, 본 발명이 이루고자 하는 기술적인 과제는, TOF 원리를 이용하여 깊이 정보를 출력할 때 룩업테이블(Look-Up Table) 없이 깊이 정보를 계산하는 깊이 이미지 신호 처리 방법 및 이를 이용한 이미지 프로세서를 포함한 깊이 센서를 제공하는 것이다.

상술한 과제를 해결하기 위한 본 발명의 일 실시예에 따른 깊이 이미지 신호 처리 방법은 타겟 물체로 변조되어 방사된 제1 광신호와 상기 타겟 물체로부터 반사되어 수신된 제2 광신호를 센싱하는 단계; 정현파의 360도 기본위상을 45도 단위로 구분한 8 개 위상영역들 중 어느 하나를 상기 표본영역으로 지정하여 나머지 위상영역 각각을 상기 표본영역에 기초한 매칭함수로 나타내고, 상기 위상영역들 중 상기 제1 광신호와 상기 제2 광신호의 위상차 및 극성에 해당하는 위상영역을 검색하는 단계; 및 상기 제1 광신호와 제2 광신호의 차이값으로부터 역-사인 함수를 구현한 기설정된 회귀모델(Regression Model)를 통해 회귀값를 얻고, 상기 검색된 위상영역에 해당하는 매칭함수에 기초하여 상기 회귀값으로부터 상기 제1 광신호와 상기 제2 광신호의 위상차를 도출하는 단계를 포함하여, 상기 위상차로부터 깊이 정보를 출력한다.

상술한 과제를 해결하기 위한 본 발명의 다른 실시예에 따른 깊이 센서는 타겟 물체로 변조된 제1 광신호를 방사하면, 상기 타겟 물체로부터 반사되어 수신된 제2 광신호를 센싱하는 픽셀 어레이; 상기 픽셀 어레이에 대해 액세스 동작을 하는 액세스 회로; 및 이미지 신호 프로세서를 포함하고, 상기 이미지 신호 프로세서는 정현파의 360도 기본위상을 45도 단위로 구분한 8 개 위상영역들 중 어느 하나를 표본영역으로 지정하여 나머지 위상영역 각각을 상기 표본영역에 기초한 매칭함수로 나타내고, 상기 위상영역들 중 상기 제1 광신호와 상기 제2 광신호의 위상차 및 극성에 해당하는 위상영역을 검색하고, 상기 액세스 회로에서 출력된 상기 제1 광신호와 제2 광신호의 차이값으로부터 역-사인(inverse-sine) 함수를 구현한 기설정된 회귀모델(Regression Model)를 통해 회귀값를 얻고, 상기 검색된 위상영역에 해당하는 매칭함수에 기초하여 상기 회귀값으로부터 상기 제1 광신호와 상기 제2 광신호의 위상차를 출력한다.

상술한 실시예들에 따르면, TOF 원리를 이용하여 깊이 정보를 출력할 때, 360도 기본위상을 45도 단위로 구분한 위상 영역들 중 표본영역에서의 역-사인 함수(inverse-sine function)를 기설정된 회귀모델(Regression Model)로 구현한 깊이 이미지 신호 처리 방법 및 깊이 센서가 제공된다. 상기 회귀 모델을 통해 방사된 광신호와 반사된 광신호 간의 위상차로부터 깊이 정보를 출력함으로써 위상차로부터의 깊이 정보 도출에 소비되는 전력(computation power)이 절감되며, 룩업테이블을 이용하지 않아 메모리가 필요하지 않으므로 메모리 엑세스 시간이 줄어 깊이 이미지 신호 처리 속도가 향상되는 효과가 있다.

도 1은 본 발명의 실시예에 따른 이미지 센싱 시스템의 개략적인 블록도이다.
도 2는 도 1에 도시된 이미지 신호 프로세서의 구체적인 블록도이다.
도 3은 통상의 TOF 원리를 설명하기 위한 제1 광신호 및 제2 광신호의 신호도이다.
도 4는 360도 기본위상에 따른 정현파를 45도 단위의 8개 위상영역으로 나타내어 위상차로부터 깊이 정보를 계산하기 위한 코사인 함수와 사인 함수의 그래프이다.
도 5는 본 발명의 일 실시예에 따른 깊이 이미지 신호 처리 방법을 나타낸 흐름도이다.
도 6은 도 5의 깊이 이미지 신호 처리 방법을 보다 구체적으로 나타낸 흐름도이다.
도 7은 깊이 이미지 신호 처리 방법을 룩업테이블을 이용한 경우와 본 발명의 회귀 모델을 이용한 경우 각각의 에러율을 나타낸 그래프이다.
도 8은 본 발명의 실시예들에 따른 이미지 센싱 시스템을 포함한 전자 장치의 개략적인 블록도이다.
도 9는 본 발명의 실시예들에 따른 이미지 센싱 시스템을 포함한 전자 시스템을 나타낸 블록도이다.

본 명세서에 개시되어 있는 본 발명의 개념에 따른 실시 예들에 대해서 특정한 구조적 또는 기능적 설명들은 단지 본 발명의 개념에 따른 실시 예들을 설명하기 위한 목적으로 예시된 것으로서, 본 발명의 개념에 따른 실시 예들은 다양한 형태들로 실시될 수 있으며 본 명세서에 설명된 실시 예들에 한정되지 않는다.

본 발명의 개념에 따른 실시 예들은 다양한 변경들을 가할 수 있고 여러 가지 형태들을 가질 수 있으므로 실시 예들을 도면에 예시하고 본 명세서에 상세하게 설명하고자 한다. 그러나, 이는 본 발명의 개념에 따른 실시 예들을 특정한 개시 형태들에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물, 또는 대체물을 포함한다.

제1 또는 제2 등의 용어는 다양한 구성 요소들을 설명하는데 사용될 수 있지만, 상기 구성 요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성 요소를 다른 구성 요소로부터 구별하는 목적으로만, 예컨대 본 발명의 개념에 따른 권리 범위로부터 이탈되지 않은 채, 제1구성요소는 제2구성요소로 명명될 수 있고, 유사하게 제2구성요소는 제1구성요소로도 명명될 수 있다.

어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다. 구성요소들 간의 관계를 설명하는 다른 표현들, 즉 "~사이에"와 "바로 ~사이에" 또는 "~에 이웃하는"과 "~에 직접 이웃하는" 등도 마찬가지로 해석되어야 한다.

본 명세서에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 설시된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 갖는 것으로 해석되어야 하며, 본 명세서에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.

본 발명의 일 실시예에 따른 깊이 센서는 CCD(Charge Coupled Device)와 CMOS 깊이 센서를 포함한다. CCD는 CMOS 깊이 센서에 비해 잡음(noise)가 적고, 화질이 우수하지만, 고전압을 요구하며, 공정단가가 비싸다. CMOS깊이 센서는 구동 방식이 간편하고 다양한 스캐닝(scanning)방식으로 구현 가능하다. 또한, 신호 처리 회로를 단일 칩에 집적할 수 있어, 제품의 소형화가 가능하며 CMOS 공정 기술을 호환하여 사용할 수 있어, 제조 단가를 낮출 수 있다. 전력 소모도 매우 낮아 배터리 용량이 제한적인 제품에 적용이 용이하다. 이하에서는 본 발명의 깊이 센서로 CMOS 깊이 센서를 예시하여 설명하나, 본 발명의 기술적 사상은 그대로 CCD에도 적용될 수 있다.

도 1는 본 발명의 실시 예에 따른 이미지 센싱 시스템(10)의 개략적인 블록도이다.

도 1을 참조하면, 이미지 센싱 시스템(10)는 깊이 센서(100)와 이미지 처리 프로세서(DSP, 200)를 포함할 수 있다. 이때, 깊이 센서(100)와 이미지 처리 프로세서(DSP, 200) 각각은 별도의 칩(chip) 또는 모듈(module) 단위로 구현될 수 있다.

깊이 센서(100)는 입사되는 빛에 기초하여 피사체에 대한 이미지 신호를 생성할 수 있다. 깊이 센서(100)는 픽셀 어레이(active pixel array, 110) 및 엑세스 회로(101)를 포함한다.

픽셀 어레이(110)는 다수의 광 감지 소자, 예컨대 포토(photo) 다이오드 또는 핀드 포토 다이오드(pinned photo diode) 등의 광 감지 소자를 포함한다. 픽셀 어레이(110)는 다수의 광 감지 소자를 이용하여 빛을 감지하고, 이를 전기적 신호로 변환하여 영상 신호를 생성한다.

엑세스 회로(101)는 상기 픽셀 어레이에 엑세스 하기 위한 회로로써, 로우 디코더/드라이버(row decoder/driver, 120), 아날로그 상관 이중 샘플링(CDS:Correlated Double Sampling) 블락(130), 아날로그 디지털 컨버터(Analog Digital Converter; 이하 ADC, 140), 램프 신호 발생기(Ramp Generator, 160) 및 타이밍 제너레이터(Timing Generator, 170), 제어 레지스터 블락(Control Register Block, 180) 및 버퍼(Buffer, 190)를 포함할 수 있다.

타이밍 제너레이터(170)는 로우 드라이버(120), ADC(140) 및 램프 신호 발생기(160) 각각에 제어 신호를 출력하여 상기 로우 드라이버(120), ADC(140) 및 램프 신호 발생기(160)의 동작을 제어할 수 있으며, 제어 레지스터 블락(180)은 램프 신호 발생기(160), 타이밍 제너레이터(170) 및 버퍼(190) 각각에 제어 신호를 출력하여 동작을 제어할 수 있다. 이때, 상기 제어 레지스터 블락(180)은 상기 카메라 컨트롤(210)의 제어를 받아 동작한다.

로우 드라이버(120)는 픽셀 어레이(110)를 행(row) 단위로 구동한다. 예컨대, 로우 드라이버(120)는 행 선택 신호를 생성할 수 있다. 그리고, 픽셀 어레이(110)는 로우 드라이버(120)로부터 제공된 행 선택 신호에 의해 선택되는 행(row)으로부터 리셋 신호와 영상 신호를 CDS(130)로 출력한다. 상기 CDS(130)는 입력받은 리셋 신호와 영상 신호를 상관 이중 샘플링을 수행할 수 있다.

ADC(140)는 상기 램프 신호 발생기(160)로부터 제공된 램프 신호(Vramp)와 CDS(130)로부터 출력되는 상관 이중 샘플링된 신호를 비교하여 그 결과 신호를 출력하고, 상기 결과 신호를 카운팅하여 버퍼(190)로 출력한다.

버퍼(190)는 상기 ADC(130)로부터 출력된 디지털 신호를 임시 저장한 후 센싱하고 증폭하여 출력한다. 이때, 상기 버퍼(190)는 임시 저장을 위해 각 열에 하나씩 포함된 복수의 컬럼 메모리 블락(예컨대, SRAM) 및 상기 ADC(130)로부터 출력된 디지털 신호를 센싱하고 증폭하기 위한 센스 앰프(Sense Amplifier)를 포함할 수 있다.

상기 깊이 센서(100)는 디지털 신호 프로세서(DSP, 200)의 제어에 의해 렌즈(500)를 통해 촬상된 물체(object, 400)를 센싱하고, 상기 디지털 신호 프로세서(DSP, 200)는 상기 깊이 센서(100)에 의해 센싱되어 출력된 이미지를 디스플레이 유닛(Display Unit, 300)에 출력할 수 있다. 이때, 디스플레이 유닛(300)은 영상을 출력할 수 있는 모든 장치를 포함한다. 예컨대, 상기 디스플레이 유닛(300)은 컴퓨터, 휴대폰 및 기타 영상 출력 단말을 포함할 수 있다.

이때, 상기 디지털 신호 프로세서(DSP, 200)는 카메라 컨트롤(210), 이미지 신호 프로세서(220) 및 PC I/F(230)를 포함한다.

카메라 컨트롤(210)은 상기 제어 레지스터 블락(180)을 제어한다. 이때, 상기 카메라 컨트롤(210)은 I2C(Inter-Integrated Circuit)를 이용하여 깊이 센서(100), 즉, 상기 제어 레지스터 블락(180)을 제어할 수 있으나, 본 발명의 범위가 이에 한정되는 것은 아니다.

이미지 신호 프로세서(Image Signal Processor, 220)는 상기 버퍼(190)의 출력 신호인 이미지 데이터를 입력받아 이미지를 사람이 보기 좋도록 가공/처리하여 가공/처리된 이미지를 PC I/F(230)를 통해 디스플레이 유닛(300)으로 출력한다.

상기 이미지 신호 프로세서(Image Signal Processor, 220)는 도 1에서는 DSP(200) 내부에 위치하는 것으로 도시하였으나, 이는 당업자에 의해 설계 변경이 가능하다. 예컨대, 상기 이미지 신호 프로세서(Image Signal Processor, 220)는 상기 깊이 센서(100) 내부에 위치할 수도 있다.

이미지 신호 프로세서(220)는 정현파의 360도 기본위상을 45도 단위로 구분한 8 개 위상영역들 중 어느 하나를 표본영역으로 지정하여 나머지 위상영역 각각을 상기 표본영역에 기초한 매칭함수로 나타내고, 상기 위상영역들 중 상기 제1 광신호와 상기 제2 광신호의 위상차 및 극성에 해당하는 위상영역을 검색하고, 상기 액세스 회로에서 출력된 상기 제1 광신호와 제2 광신호의 차이값으로부터 역-사인(inverse-sine) 함수를 구현한 기설정된 회귀모델(Regression Model)를 통해 회귀값를 얻고, 상기 검색된 위상영역에 해당하는 매칭함수에 기초하여 상기 회귀값으로부터 상기 제1 광신호와 상기 제2 광신호의 위상차를 출력하여 깊이 정보를 얻는다. 즉,상기 이미지 신호 프로세서(220)는 룩업테이블을 이용하지 않아 메모리가 필요하지 않으므로 메모리 엑세스 시간이 줄어들고, 정현파의 360도 기본위상을 45도 단위의 표본영역을 이용하므로 위상차로부터의 깊이 정보 도출에 소비되는 전력(computation power)이 절감되어 깊이 이미지 신호 처리 성능이 향상되는 효과가 있다.

도 2는 도 1에 도시된 이미지 신호 프로세서의 구체적인 블록도이다.

도 2에 도시된 바와 같이, 이미지 신호 프로세서(220)는 먼저 정현파의 360도 기본위상을 45도 단위로 구분한 8 개 위상영역들 중 어느 하나를 표본영역으로 지정하여 나머지 위상영역 각각을 상기 표본영역에 기초한 매칭함수로 나타낸다.그리고 상기 위상영역들 중 상기 제1 광신호와 상기 제2 광신호의 위상차 및 극성에 해당하는 위상영역을 검색하고, 상기 액세스 회로에서 출력된 상기 제1 광신호와 제2 광신호의 차이값으로부터 역-사인(inverse-sine) 함수를 구현한 기설정된 회귀모델(Regression Model)를 통해 회귀값를 얻는다. 상기 이미지 신호 프로세서는 상기 검색된 위상영역에 해당하는 매칭함수에 기초하여 상기 회귀값으로부터 상기 제1 광신호와 상기 제2 광신호의 위상차를 출력하고, TOF(Time Of Flight) 원리에 기초하여 깊이 정보를 얻는다. 이때 이미지 신호 프로세서(220)는 매칭 모듈(221), 검색 모듈(223) 및 계산 모듈(225)을 포함한다.

매칭 모듈(221)은 정현파의 360도 기본위상을 45도 단위로 구분한 8 개 위상영역 중 어느 하나를 상기 표본영역으로 지정하고, 나머지 위상영역 각각을 상기 표본영역에 기초한 매칭함수로 나타낸다. 검색 모듈(223)은 상기 8개의 위상영역들 중 상기 제1 광신호와 상기 제2 광신호의 위상차 및 극성에 해당하는 위상영역을 검색한다. 또한 계산 모듈(225)은 상기 액세스 회로에서 출력된 상기 제1 광신호와 제2 광신호의 차이값(y)으로부터 역-사인(inverse-sine) 함수를 구현한 기설정된 회귀모델(Regression Model)를 통해 회귀값(th0)를 얻고, 상기 검색된 위상영역에 해당하는 매칭함수에 기초하여 상기 회귀값으로부터 상기 제1 광신호와 상기 제2 광신호의 위상차(ths)를 출력한다. 설명의 편의를 위하여, 이미지 신호 프로세서(220)의 깊이 이미지 신호 처리 방법과 관련한 동작 원리는 도 3 내지 도 6에서 보다 자세히 설명한다.

도 3은 통상의 TOF 원리를 설명하기 위한 제1 광신호 및 제2 광신호의 신호도이고, 도 4는 360도 기본위상에 따른 정현파를 45도 단위의 8개 위상영역으로 나타내어 위상차로부터 깊이 정보를 계산하기 위한 코사인 함수와 사인 함수의 그래프이다.

도 3을 참조하면, TOF 원리를 이용하여 깊이 정보를 추출하는 깊이 센서(100)는 이미지 센싱 시스템(10)의 광원(미도시)으로부터 타겟 물체로 변조된 제1 광신호를 방사한다. 제1 광신호는 타겟 물체로부터 반사된 제2 광신호가 되어 깊이 센서(100)에 수신된다. 깊이 정보는 제1 광신호와 제2 광신호와의 시간차이 △t로부터 계산된다.

이때 d는 타겟 물체와 깊이 센서와의 거리, c는 광원의 광속이다.

2 탭 픽셀 구조(2-tap pixel structure)에서는 도 3에 도시된 바와 같이, 2개의 포토 게이트에서 동시에 0도, 180도의 위상차를 가지고 광신호의 복조(demodulation) 값을 측정할 수 있도록 게이트 신호 gA, gB 를 인가한다. 인가된 시간동안 광원에 의해 발생하는 전자를 일정시간(T) 동안 축적하여 검출할 수 있는 신호 Ak로 변환한다.

이때 k는 위상차 0도의 경우 0, 90도의 경우 1, 180도의 경우 2, 270도의 경우 3의 값을 가진다. a_{k ,n}은 에 해당하는 위상차로 n번째 게이트 신호를 인가했을 때 발생한 전자들의 수이다.

으로 fm은 광신호의 주파수이다.

즉, 신호 Ak는 다음과 같이 표현된다.

이때 β는 외부광 및 변조된 제2광신호의 오프셋(offset)이고, α는 타겟물체로부터의 거리에 따른 반사율에 관련된 값이다.

따라서 180도의 위상차를 가진 A₀ 및 A₂가 게이트에 함께 인가되고, A1 및 A3가 게이트에 함께 인가되므로 각각의 광신호로부터 깊이 정보를 도출하기 위한 위상차(th0)는 다음과 같이 계산할 수 있다.

즉, 역-탄젠트(inverse-tangent) 함수 및 TOF 원리에 기초하여, 제1 광신호 및 제2 광신호의 센싱된 신호 정보(A₁ 내지 A₃)로부터 위상차(th0)를 도출하여 깊이 정보(△t)를 얻을 수 있는 것이다.

도 4를 참조하면, 함수 계산량을 줄이기 위해 위상차의 정도에 따라 8영역을 구분하여 0 내지 45의 역-사인(inverse sine) 함수를 이용하여 상기 광신호들 간의 위상차(th0)를 계산한다.

정현파는 360도를 기본위상이라 할 때 45도 단위로 사인(sine) 함수의 패턴이 반복되는 특성이 있다. 상기 특성을 이용하여 도 4에 도시된 바와 같이, 360도의 기본위상을 45도 단위의 위상영역 ① 내지 ⑧, 즉 8개로 구분할 수 있다. 표본 영역은 실시예에 따라 상기 8개 영역 중 어느 하나로 다양하게 설정될 수 있으나, 설명의 편의를 위해 위상영역 ①을 표본영역으로 설정하는 것으로 가정한다.

위상영역 ①을 표본영역으로 정하는 경우, 표본영역의 위상을 나타내는 정현파 y=sin th0라 하고, 상기 정현파의 극성을 1이라 가정한다. 이를 기초로 위상영역 ② 내지 ⑧을 각각 극성 및 매칭함수(y)로 나타내면 다음과 같이 표현될 수 있다.

즉, 제1 광신호와 제2 광신호 간의 위상차 및 극성에 기초하여, 상기 8개의 위상영역 중 상기 위상차 및 극성에 해당하는 어느 하나의 위상영역을 검색한다. 그 결과 검색된 위상영역으로부터 상기 위상차(th0)에 상응하는 상기 회귀값(y)에 대한 매칭함수을 얻을 수 있다..

상기 회귀값(y)으로부터 역-사인 함수(inverse sine function)을 구현하기 위한 기설정된 회귀모델(Regression Model)을 통해 위상차(th0)를 도출하여 깊이 정보를 얻을 수 있다. 즉, y = sin th0에서 th0 = sin-1 y 이고, th0 = 2πf*△t 이므로, 깊이 정보 d = (c*th0) / (4πf) 이기 때문이다. 다만, 극성에 따라 상기 위상값은 실제 위상값에 일치시키기 위해 상기 매칭함수에 기초하여 조정할 수 있다.

회귀 모델(Regression model)은 독립변수인 차이값 y와 종속변수인 위상차 th0 간의 인과관계를 분석한 것으로, 시작점과 끝점을 알고 있는 정현파(sine function)를 다양한 회귀 분석 방법에 기초한 회귀 함수(regression equation)로 나타낸 것이다. 회귀 모델은 실시예에 따라 다양한 회귀 분석 방법에 기초하여 다양하게 구현될 수 있으나, 설명의 편의상 최소자승법(least squared error method)에 따라 기설정된 회귀 모델을 예로 들어 설명한다.

즉, 역-사인 함수는 다양한 고차 방정식의 회귀 모델로 나타낼 수 있는데, 예를 들면 다음과 같다.

2차 방정식 내지 6차 방정식에 따른 회귀 모델은 다음과 같이 구현될 수 있다.

그러나 본 발명이 상기 회귀모델의 실시예들에 한정되는 것은 아니며, 회귀 분석 방법에 따라 다양하게 기설정된 회귀 모델로 구현될 수 있다.

상기 회귀 모델을 구현하는 역-사인 함수들은 모듈로 구현될 수 있다. 이 때 모듈이라 함은 하드웨어에 한정되는 것은 아니며, 실시예에 따라 소프트웨어적으로 구현될 수도 있다.

도 5는 본 발명의 일 실시예에 따른 깊이 이미지 신호 처리 방법을 나타낸 흐름도이다.

도 5를 참조하면, 먼저 광원으로부터 타겟 물체로 변조되어 방사된 제1 광신호와 상기 타겟 물체로부터 반사되어 수신된 제2 광신호를 센싱한다(S10).

정현파의 360도 기본위상을 45도 단위로 구분한 8 개 위상영역들 중 어느 하나를 상기 표본영역으로 지정하여 나머지 위상영역 각각을 상기 표본영역에 기초한 매칭함수로 나타내고, 상기 위상영역들 중 상기 제1 광신호와 상기 제2 광신호의 위상차 및 극성에 해당하는 위상영역을 검색한다(S20).

상기 제1 광신호와 센싱된 상기 제2 광신호의 차이값(y)으로부터 역-사인(inverse-sine) 함수를 구현한 기설정된 회귀모델(Regression Model)를 통해 회귀값(th0)을 계산한다(S30).

그 결과, 상기 검색된 위상영역에 해당하는 상기 매칭함수에 기초하여 상기 회귀값(th0)으로부터 상기 제1 광신호와 상기 제2 광신호의 위상차(th)를 출력함으로써, 깊이 정보(d)를 얻을 수 있다(S40). 이때 회귀모델은 도 4에서 설명한 바와 같이, 최소자승법을 이용한 회귀분석에 의한 고차방정식으로써, 기설정된 함수일 수 있다.

도 6은 도 5의 깊이 이미지 신호 처리 방법을 보다 구체적으로 나타낸 흐름도이다.

도 6을 참조하면, 먼저 제1 광신호와 제2 광신호의 위상차 정보를 얻기 위해 사인 함수(sine function)와 코사인 함수(cosine function)을 호출하여(S100) 360도 기본위상을 45도 간격의 8개 위상영역으로 구분한다(S111, S121, S125, S131,S133,S135 및 S137). 예를 들면, 도 6에 도시된 바와 같이, 사인함수와 코사인 함수의 y축 값이 (+)인지 (-)인지, 사인함수의 y축 절대값(극성을 고려한 y축 값을 말한다)과 코사인함수의 y축 절대값 중 어느 것이 더 큰지를 비교하여 각각의 위상영역을 구분할 수 있다.

8개의 위상영역이 구분되면, 그 중 어느 하나를 표본영역으로 정하고, 그 표본영역을 중심으로 나머지 7개 위상영역을 매칭함수로 나타낸다(S141내지 S148).

상기 실시예에서는 위상영역 ①을 표본영역으로 정하고 위상영역 ①의 정현파를 사인 함수로 하여, 나머지 7개 위상영역을 매칭함수로 나타내었으나, 이에 한정되는 것은 아니고, 실시예에 따라 다른 위상영역을 표본영역으로 정하여 나머지 7개의 위상영역을 매칭하는 등 다양하게 구현할 수 있다.

상기 8개의 위상영역 중 제1 광신호와 제2 광신호 간의 위상차가 속하는 영역을 검색한다. 그리고, 위상차를 구하기 위해 상기 제1 광신호와 제2 광신호의 차이값(y)으로부터 기설정된 회귀모델을 통해 회귀값(th0)를 구한다. 다만, 이때 제1 광신호와 제2 광신호 간 차이의 극성에 따라(S160), 상기 위상차 th0에 일정값을 더하여 실제 위상차 th를 출력할 수 있다(S171 내지 S175).

도 7은 깊이 이미지 신호 처리 방법을 룩업테이블을 이용한 경우와 본 발명의 회귀 모델을 이용한 경우 각각의 에러율을 나타낸 그래프이다.

도 7을 참조하면, 역-사인 함수를 룩업테이블을 이용한 경우와 역-사인 함수를 회귀 모델을 이용한 경우의 시뮬레이션을 비교한 결과, 깊이 정보의 에러율이 0.04%이하의 오차로 계산됨을 알 수 있다. 그러나, 회귀모델(Regression)을 이용한 경우가 룩업테이블(LUT)을 이용한 경우보다 더 나은 성능(performance)를 가지는 것을 알 수 있다.

도 8은 본 발명의 일 실시예에 따른 이미지 센싱 시스템의 블록도이다.

도 8에 도시된 이미지 센싱 시스템(10)는 디지털 카메라, 디지털 카메라가 내장된 이동 전화기, 또는 디지털 카메라를 포함하는 모든 전자 장치를 포함한다.

이미지 센싱 시스템(10)는 2차원 이미지 정보 또는 3차원 이미지 정보를 처리할 수 있다.

디지털 카메라는 본 발명의 실시 예에 따른 깊이 센서를 포함한다.

이미지 센싱 시스템(10)는 깊이 센서(100), 및 깊이 센서의 동작을 제어하기 위한 이미지 신호 프로세서(220)를 포함할 수 있다.

이미지 센싱 시스템(10)는 인터페이스(230)를 더 포함할 수 있다. 인터페이스(230)는 영상 표시 장치일 수 있다. 또한, 인터페이스(230)는 입출력 장치일 수 있다.

따라서, 영상 표시 장치는 이미지 신호 프로세서(220)의 제어 하에 깊이 센서로부터 캡처된 정지 영상 또는 동영상을 저장할 수 있는 메모리 장치(250)를 포함할 수 있다. 메모리 장치(250)는 비휘발성 메모리 장치로 구현될 수 있다. 상기 비휘발성 메모리 장치는 다수의 비휘발성 메모리 셀들을 포함할 수 있다.

상기 비휘발성 메모리 셀들 각각은 EEPROM(Electrically Erasable Programmable Read-Only Memory), 플래시 메모리, MRAM(Magnetic RAM), 스핀전달토크 MRAM(Spin-Transfer Torque MRAM), Conductive bridging RAM(CBRAM), FeRAM(Ferroelectric RAM), OUM(Ovonic Unified Memory)라고도 불리는 PRAM(Phase change RAM), 저항 메모리(Resistive RAM: RRAM 또는 ReRAM), 나노튜브 RRAM(Nanotube RRAM), 폴리머 RAM(Polymer RAM: PoRAM), 나노 부유 게이트 메모리(Nano Floating Gate Memory: NFGM), 홀로그래픽 메모리(holographic memory), 분자 전자 메모리 소자(Molecular Electronics Memory Device), 또는 절연 저항 변화 메모리(Insulator Resistance Change Memory)로 구현될 수 있다.

도 9는 본 발명의 일 실시예에 따른 깊이 센서를 포함하는 전자 시스템 및 인터페이스를 나타낸다.

도 9를 참조하면, 상기 전자 시스템(1000)은 MIPI 인터페이스를 사용 또는 지원할 수 있는 데이터 처리 장치, 예컨대 이동 전화기, PDA, PMP, IPTV 또는 스마트 폰으로 구현될 수 있다.

상기 전자 시스템(1000)은 어플리케이션 프로세서(1010), 이미지 센서(1040), 및 디스플레이(1050)를 포함한다.

어플리케이션 프로세서(1010)에 구현된 CSI 호스트(1012)는 카메라 시리얼 인터페이스(camera serial interface(CSI))를 통하여 이미지 센서(1040)의 CSI 장치(1041)와 시리얼 통신할 수 있다. 이때, 예컨대, 상기 CSI 호스트(1012)에는 광 디시리얼라이저가 구현될 수 있고, CSI 장치(1041)에는 광 시리얼라이저가 구현될 수 있다. 이때 이미지 센서(1040)는 깊이 센서를 포함할 수 있다.

어플리케이션 프로세서(1010)에 구현된 DSI 호스트(1011)는 디스플레이 시리얼 인터페이스(display serial interface(DSI))를 통하여 디스플레이(1050)의 DSI 장치(1051)와 시리얼 통신할 수 있다. 이때, 예컨대, DSI 호스트(1011)에는 광 시리얼라이저가 구현될 수 있고, DSI 장치(1051)에는 광 디시리얼라이저가 구현될 수 있다.

전자 시스템(1000)은 어플리케이션 프로세서(1010)와 통신할 수 있는 RF 칩(1060)을 더 포함할 수 있다. 전자 시스템(1000)의 PHY(1013)와 RF 칩(1060)의 PHY(1061)는 MIPI DigRF에 따라 데이터를 주고받을 수 있다.

전자 시스템(1000)은 GPS(1020), 스토리지(1070), 마이크(1080), DRAM(1085) 및 스피커(1090)를 더 포함할 수 있으며, 상기 전자 시스템(1000)은 Wimax(1030), WLAN(1100) 및 UWB(1110) 등을 이용하여 통신할 수 있다.

또한 본 발명의 실시예들에 따른 깊이 이미지 신호 처리 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media),플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media) 및 롬(ROM),램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드 뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.

이상에서는 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어서는 안될 것이다.

10 : 이미지 센싱 시스템 100 : 깊이 센서
110 : 픽셀 어레이 120 : 로우 드라이버
130 : CDS 140 : ADC
160 : 램프 신호 발생기 170 : 타이밍 제너레이터
180 : 제어 레지스터 블락 190 : 버퍼
200 : DSP
210 : 카메라 컨트롤 220 : 이미지 신호 프로세서(ISP)
230 : PC/IF 300 : 디스플레이 유닛
400 : object 500 : 렌즈

Claims (10)

1. 타겟 물체로 변조되어 방사된 제1 광신호와 상기 타겟 물체로부터 반사되어 수신된 제2 광신호를 센싱하는 단계;
   정현파의 360도 기본위상을 45도 단위로 구분한 8 개 위상영역들 중 어느 하나를 상기 표본영역으로 지정하여 나머지 위상영역 각각을 상기 표본영역에 기초한 매칭함수로 나타내고, 상기 위상영역들 중 상기 제1 광신호와 상기 제2 광신호의 위상차 및 극성에 해당하는 위상영역을 검색하는 단계; 및
   상기 제1 광신호와 제2 광신호의 차이값으로부터 역-사인(inverse-sine) 함수를 구현한 기설정된 회귀모델(Regression Model)를 통해 회귀값를 얻고, 상기 검색된 위상영역에 해당하는 매칭함수에 기초하여 상기 회귀값으로부터 상기 제1 광신호와 상기 제2 광신호의 위상차를 도출하는 단계를 포함하여,
   상기 위상차로부터 깊이 정보를 출력하는 깊이 이미지 신호 처리 방법.
2. 제1항에 있어서, 상기 출력하는 단계는
   상기 제1 광신호와 센싱된 상기 제2 광신호의 차이값으로부터 역-사인(inverse-sine) 함수를 구현한 기설정된 회귀모델(Regression Model)를 통해 회귀값을 계산하는 단계; 및
   상기 검색된 위상영역에 해당하는 상기 매칭함수에 기초하여 상기 회귀값으로부터 상기 제1 광신호와 상기 제2 광신호의 위상차를 출력하는 단계를 포함하여,
   상기 위상차로부터 깊이 정보를 출력하는 깊이 이미지 신호 처리 방법.
3. 제1항에 있어서, 상기 회귀모델은
   상기 표본영역을 회귀분석에 기초하여 역-사인 함수로 구현한 기설정된 함수로 나타낸 깊이 이미지 신호 처리 방법.
4. 제1항에 있어서, 상기 회귀모델은
   상기 표본영역을 최소자승법을 이용하여 역-사인 함수로 구현한 기설정된 함수로 나타낸 깊이 이미지 신호 처리 방법.
5. 제1항의 깊이 이미지 신호 처리 방법을 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독가능 매체.
6. 타겟 물체로 변조된 제1 광신호를 방사하면, 상기 타겟 물체로부터 반사되어 수신된 제2 광신호를 센싱하는 픽셀 어레이;
   상기 픽셀 어레이에 대해 액세스 동작을 하는 액세스 회로; 및
   이미지 신호 프로세서를 포함하고,
   상기 이미지 신호 프로세서는
   정현파의 360도 기본위상을 45도 단위로 구분한 8 개 위상영역들 중 어느 하나를 표본영역으로 지정하여 나머지 위상영역 각각을 상기 표본영역에 기초한 매칭함수로 나타내고, 상기 위상영역들 중 상기 제1 광신호와 상기 제2 광신호의 위상차 및 극성에 해당하는 위상영역을 검색하고, 상기 액세스 회로에서 출력된 상기 제1 광신호와 제2 광신호의 차이값으로부터 역-사인(inverse-sine) 함수를 구현한 기설정된 회귀모델(Regression Model)를 통해 회귀값를 얻고, 상기 검색된 위상영역에 해당하는 매칭함수에 기초하여 상기 회귀값으로부터 상기 제1 광신호와 상기 제2 광신호의 위상차를 출력하여 깊이 정보를 얻는 깊이 센서.
7. 제6항에 있어서, 상기 이미지 신호 프로세서는
   상기 8 개 위상영역 중 어느 하나를 상기 표본영역으로 지정하고, 나머지 위상영역 각각을 상기 표본영역에 기초한 매칭함수로 나타내는 매칭모듈;
   상기 위상영역들 중 상기 제1 광신호와 상기 제2 광신호의 위상차 및 극성에 해당하는 위상영역을 검색하는 검색모듈; 및
   상기 액세스 회로에서 출력된 상기 제1 광신호와 제2 광신호의 차이값으로부터 역-사인(inverse-sine) 함수를 구현한 기설정된 회귀모델(Regression Model)를 통해 회귀값를 얻고, 상기 검색된 위상영역에 해당하는 매칭함수에 기초하여 상기 회귀값으로부터 상기 제1 광신호와 상기 제2 광신호의 위상차를 출력하는 계산모듈을 포함하는 깊이 센서.
8. 제6항에 있어서, 상기 회귀모델은
   상기 표본영역을 회귀분석에 기초하여 역-사인 함수로 구현한 기설정된 함수로 나타낸 깊이 센서.
9. 제6항에 있어서, 상기 회귀모델은
   상기 표본영역을 최소자승법을 이용하여 역-사인 함수로 구현한 기설정된 함수로 나타낸 깊이 센서.
10. 제6항의 깊이 센서;
    상기 깊이 센서를 제어하는 디지털 신호 프로세서를 포함하는 이미지 센싱 시스템.

Images