KR20090041197A

KR20090041197A - 깊이 정보 획득 방법 및 장치

Info

Publication number: KR20090041197A
Application number: KR1020070106781A
Authority: KR
Inventors: 심재영; 김도균; 이기창
Original assignee: 삼성전자주식회사
Priority date: 2007-10-23
Filing date: 2007-10-23
Publication date: 2009-04-28
Also published as: US8155386B2; KR101327794B1; US20090103782A1

Abstract

본 발명에 의한 깊이 정보 획득 방법 및 장치는, 컬러 영상의 픽셀들의 픽셀값들을 고려하여, 상기 픽셀들 중 제1 및 제2 컬러 픽셀 중 하나의 다른 하나에 대한 상대적 깊이값을 연산하고, 상기 컬러 영상에 매칭된 깊이 영상에 속하며 상기 제2 컬러 픽셀에 매칭되고 깊이값이 부여되지 않은 제2 깊이 픽셀의 깊이값을, 상기 깊이 영상에 속하며 상기 제1 컬러 픽셀에 매칭되고 깊이값이 부여된 제1 깊이 픽셀의 깊이값 및 상기 연산된 상대적 깊이값을 고려하여 연산함으로써, 깊이 영상의 픽셀들 중 깊이값이 부여되어 있지 않은 픽셀의 깊이값을 획득한다.

깊이값, 컬러 영상, 깊이 영상

Description

깊이 정보 획득 방법 및 장치{Method and apparatus for obtaining depth information}

본 발명은 깊이값을 획득하는 방안에 관한 것으로, 보다 상세하게는, 일반 가정용 카메라와 같은 촬상 장치를 이용하여 획득한 컬러 영상의 픽셀들 각각의 깊이값을 획득하는 방안에 관한 것이다.

깊이 카메라(depth camera)는 그 깊이 카메라에 구비된 촬영 버튼이 조작되면, 피사체에 적외선을 조사하고, 그 피사체의 각 지점마다, 적외선이 조사된 시점부터 그 지점으로부터 반사된 적외선이 감지되는 시점까지의 시간을 고려하여 그 지점의 깊이값을 계산하고, 계산된 깊이값을 영상으로 표현함으로써, 그 피사체를 나타내는 깊이 영상을 생성 및 획득한다. 여기서, 깊이값이란 그 깊이 카메라로부터의 거리를 의미한다.

이처럼, 깊이 카메라는 피사체의 영역들 중 그 깊이 카메라가 조사하는 적외선이 도달되는 영역의 깊이값만을 계산하므로, 그 깊이 카메라가 생성한 깊이 영상의 픽셀들에는 깊이값이 부여되지 않은 픽셀들이 존재할 수 있다. 이에 따라, 깊이 영상의 픽셀들 중 깊이값이 부여되어 있지 않은 픽셀의 깊이값을 획득하기 위한 방 안이 요구되고 있다.

본 발명이 이루고자 하는 기술적 과제는, 깊이 영상의 픽셀들 중 깊이값이 부여되어 있지 않은 픽셀의 깊이값을 획득하는 깊이 정보 획득 방법을 제공하는 데 있다.

본 발명이 이루고자 하는 다른 기술적 과제는, 깊이 영상의 픽셀들 중 깊이값이 부여되어 있지 않은 픽셀의 깊이값을 획득하는 깊이 정보 획득 장치를 제공하는 데 있다.

본 발명이 이루고자 하는 또 다른 기술적 과제는, 깊이 영상의 픽셀들 중 깊이값이 부여되어 있지 않은 픽셀의 깊이값을 획득하기 위한 컴퓨터 프로그램을 저장한 컴퓨터로 읽을 수 있는 기록매체를 제공하는 데 있다.

상기 과제를 이루기 위해, 본 발명에 의한 깊이 정보 획득 방법은, 컬러 영상의 픽셀들의 픽셀값들을 고려하여, 상기 픽셀들 중 제1 및 제2 컬러 픽셀 중 하나의 다른 하나에 대한 상대적 깊이값을 연산하는 단계; 및 상기 컬러 영상에 매칭된 깊이 영상에 속하며 상기 제2 컬러 픽셀에 매칭되고 깊이값이 부여되지 않은 제2 깊이 픽셀의 깊이값을, 상기 깊이 영상에 속하며 상기 제1 컬러 픽셀에 매칭되고 깊이값이 부여된 제1 깊이 픽셀의 깊이값 및 상기 연산된 상대적 깊이값을 고려하여 연산하는 단계를 포함하는 것이 바람직하다.

상기 다른 과제를 이루기 위해, 본 발명에 의한 깊이 정보 획득 장치는, 컬러 영상의 픽셀들의 픽셀값들을 고려하여, 상기 픽셀들 중 제1 및 제2 컬러 픽셀 중 하나의 다른 하나에 대한 상대적 깊이값을 연산하는 제1 연산부; 및 상기 컬러 영상에 매칭된 깊이 영상에 속하며 상기 제2 컬러 픽셀에 매칭되고 깊이값이 부여되지 않은 제2 깊이 픽셀의 깊이값을, 상기 깊이 영상에 속하며 상기 제1 컬러 픽셀에 매칭되고 깊이값이 부여된 제1 깊이 픽셀의 깊이값 및 상기 연산된 상대적 깊이값을 고려하여 연산하는 제2 연산부를 포함하는 것이 바람직하다.

상기 또 다른 과제를 이루기 위해, 본 발명에 의한 컴퓨터로 읽을 수 있는 기록매체는, 컬러 영상의 픽셀들의 픽셀값들을 고려하여, 상기 픽셀들 중 제1 및 제2 컬러 픽셀 중 하나의 다른 하나에 대한 상대적 깊이값을 연산하는 단계; 및 상기 컬러 영상에 매칭된 깊이 영상에 속하며 상기 제2 컬러 픽셀에 매칭되고 깊이값이 부여되지 않은 제2 깊이 픽셀의 깊이값을, 상기 깊이 영상에 속하며 상기 제1 컬러 픽셀에 매칭되고 깊이값이 부여된 제1 깊이 픽셀의 깊이값 및 상기 연산된 상대적 깊이값을 고려하여 연산하는 단계를 컴퓨터에서 실행시키기 위한 컴퓨터 프로그램을 저장한 것이 바람직하다.

본 발명과 본 발명의 동작상의 이점 및 본 발명의 실시에 의하여 달성되는 목적을 충분히 이해하기 위해서는 본 발명의 바람직한 실시예를 예시하는 첨부 도면 및 그 첨부 도면을 설명하는 내용을 참조하여야만 한다.

이하, 본 발명에 의한 깊이 정보 획득 방법 및 장치를 첨부한 도면들을 참조하여 다음과 같이 설명한다.

도 1은 본 발명의 일 실시예에 의한 깊이 정보 획득 장치를 나타내는 블록도로서, 제1 연산부(110), 할당부(120), 및 제2 연산부(130)를 포함한다.

CCD(Charge Coupled Device)나 CMOS(Complementary Metal Oxide Semiconductor)를 채용한 일반 가정용 카메라(이하, CCD/CMOS 카메라)는 그 CCD/CMOS 카메라에 구비된 촬영 버튼이 조작되면, 태양광 또는 플래쉬 광을 받는 피사체로부터 반사된 가시광선을 감지함으로써 그 피사체를 나타내는 컬러 영상을 생성 및 획득한다. 이와 같이 생성된 컬러 영상은 입력단자 IN 1을 통해 제1 연산부(110), 할당부(120) 및 제2 연산부(130) 각각에 입력된다.

이미 전술한 바와 같이, 깊이 카메라는 그 깊이 카메라에 구비된 촬영 버튼이 조작되면, 피사체에 적외선을 조사하고, 그 피사체의 각 지점마다, 적외선이 조사된 시점부터 그 지점으로부터 반사된 적외선이 감지되는 시점까지의 시간을 고려하여 그 지점의 깊이값을 계산하고, 계산된 깊이값을 영상으로 표현함으로써, 그 피사체를 나타내는 깊이 영상을 생성 및 획득한다. 이와 같이 생성된 깊이 영상은 입력단자 IN 2를 통해 할당부(120)에 입력된다.

입력단자 IN 1을 통해 입력된 컬러 영상과 입력단자 IN 2를 통해 입력된 깊이 영상은 서로 매칭(matching)되어 있다. 즉, 본 발명에 의한 깊이 정보 획득 장치는, 컬러 영상을 구성하는 컬러 픽셀들 각각마다, 깊이 영상을 구성하는 깊이 픽셀들 중 그 컬러 픽셀과 대응되는 깊이 픽셀이 존재하는지, 만일 존재한다면 어느 깊이 픽셀인지에 대해 인식하고 있다. 본 명세서에서, 컬러 픽셀이란 입력단자 IN 1을 통해 입력된 컬러 영상에 속하는 픽셀을 의미하고, 깊이 픽셀이란 입력단자 IN 2를 통해 입력된 깊이 영상에 속하는 픽셀을 의미한다. 이하에서는 설명의 편의상, 입력단자 IN 1을 통해 입력된 컬러 영상의 각 행에는 M (단, M은 2이상의 자연수) 개의 컬러 픽셀들이 존재하고 각 열에는 N (단, N은 2이상의 정수) 개의 컬러 픽셀들이 존재하고, 입력단자 IN 2를 통해 입력된 깊이 영상의 각 행에는 M개의 깊이 픽셀들이 존재하고 각 열에는 N개의 깊이 픽셀들이 존재하고, 그 컬러 영상에서 m(단, m은 1≤m≤M인 정수) 번째 행과 n (단, n은 1≤n≤N인 정수) 번째 열이 교차되는 위치에 위치한 컬러 픽셀은, 그 깊이 영상에서 m번째 행과 n번째 열이 교차되는 위치에 위치한 깊이 픽셀에 매칭되어 있다고 가정한다.

한편, 입력단자 IN 1을 통해 입력된 컬러 영상과 입력단자 IN 2를 통해 입력된 깊이 영상 각각의 개수는 하나이다.

제1 연산부(110)는 입력단자 IN 1을 통해 입력된 컬러 영상의 컬러 픽셀들의 픽셀값들을 고려하여, 제1 컬러 픽셀과 제2 컬러 픽셀 중 하나의 다른 하나에 대한 상대적 깊이값을 연산한다. 본 명세서에서, 제1 컬러 픽셀이란, 입력단자 IN 1을 통해 입력된 컬러 영상의 컬러 픽셀들 중 하나이면서, 후술할 제1 깊이 픽셀에 매칭된 컬러 픽셀을 의미한다. 또한, 제2 컬러 픽셀이란, 입력단자 IN 1을 통해 입력된 컬러 픽셀들 중 하나이면서, 후술할 제2 깊이 픽셀에 매칭된 컬러 픽셀을 의미한다.

구체적으로, 제1 연산부(110)는 입력단자 IN 1을 통해 입력된 컬러 영상의 컬러 픽셀들의 픽셀값들을 고려하여, 제1 컬러 픽셀의 깊이값에 대한 제2 컬러 픽셀의 깊이값을 연산할 수도 있고, 제2 컬러 픽셀의 깊이값에 대한 제1 컬러 픽셀의 깊이값을 연산할 수도 있다.

보다 구체적으로, 입력단자 IN 1을 통해 입력된 컬러 영상내에는 하나 이상 의 객체 영상들이 포함되며, 제1 컬러 픽셀과 제2 컬러 픽셀은 그 객체 영상들 중 적어도 일부의 객체 영상들내에 존재하고, 제1 연산부(110)는 그 적어도 일부의 객체 영상들 각각의 형상을 고려하여, 제1 컬러 픽셀과 제2 컬러 픽셀 중 하나의 다른 하나에 대한 상대적 깊이값을 연산한다. 여기서, 객체 영상이란 객체의 적어도 일부를 표현하는 영상을 의미하며, 객체는 사람과 같은 생물일 수도 있고, 건물과 같은 무생물일 수도 있다.

일 례로, 제1 컬러 픽셀과 제2 컬러 픽셀은 입력단자 IN 1을 통해 입력된 컬러 영상내에서 하나의 에지(edge)상에 함께 존재하고, 본 발명에 의한 깊이 정보 획득 장치에 마련된 에지 검출부(미 도시)는 그 컬러 영상에서 하나 이상의 에지들을 검출하고, 제1 연산부(110)는 그 검출된 에지들 각각의 그 컬러 영상내에서의 위치를 고려하여, 제1 컬러 픽셀과 제2 컬러 픽셀 중 하나의 다른 하나에 대한 상대적 깊이값을 연산할 수 있다. 이 때, 에지 검출부(미 도시)는 컬러 영상내에서 광도의 변화가 '미리 설정된 임계값' 이상이며 그 컬러 영상내에서 연속하여 위치하는 컬러 픽셀들을 하나의 에지로서 검출한다. 예컨대, 컬러 영상에 나타난 피사체가 '창문을 포함하는 빌딩이라는 객체'라면, 에지 검출부(미 도시)는 그 컬러 영상에서 그 객체내에서 광도 변화가 일정 수준 이상인 픽셀들에 해당하는 '빌딩의 콘크리트 표면과 창문의 경계선'을 에지로서 검출한다.

다른 례로, 제1 컬러 픽셀과 제2 컬러 픽셀은 입력단자 IN 1을 통해 입력된 컬러 영상내의 하나의 객체 영상내에 함께 존재하고, 제1 연산부(110)는 그 객체 영에 직교(orthogonal)하는 평면인 직교 평면을 그 객체 영상에 통과시키면서, 그 객체 영상의 컬러 픽셀들 중 그 직교 평면과 교차되는 컬러 픽셀들 각각의 그 직교 평면상에서의 위치를 고려하여, 그 직교 평면과 교차되는 컬러 픽셀들 각각의 어떤 일정 기준값에 대한 상대적 깊이값을 연산할 수 있다. 이로써, 제1 연산부(110)는 제1 컬러 픽셀의 어떤 일정 기준값에 대한 상대적 깊이값은 물론, 제2 컬러 픽셀의 그 일정 기준값에 대한 상대적 깊이값도 연산할 수 있으므로, 제1 컬러 픽셀과 제2 컬러 픽셀 중 하나의 다른 하나에 대한 상대적 깊이값도 연산할 수 있다.

한편, 앞서 언급한 바와 같이, 입력단자 IN 2를 통해 입력된 깊이 영상을 구성하는 깊이 픽셀들 중에는 그 깊이 영상이 생성될 당시에 깊이값이 부여되지 않은 깊이 픽셀들이 존재할 수 있다. 이하 본 명세서에서, 제1 깊이 픽셀이란, 입력단자 IN 2를 통해 입력된 깊이 영상을 구성하는 깊이 픽셀들 중 하나로서, 제1 컬러 픽셀에 매칭되어 있으며, 그 깊이 영상이 생성될 당시에 깊이값이 부여된 깊이 픽셀을 의미한다. 반면, 제2 깊이 픽셀이란, 입력단자 IN 2를 통해 입력된 깊이 영상을 구성하는 깊이 픽셀들 중 하나로서, 제2 컬러 픽셀에 매칭되어 있으며, 그 깊이 영상이 생성될 당시에 깊이값이 부여되지 않은 깊이 픽셀을 의미한다.

할당부(120)는 제1 깊이 픽셀의 깊이값을 제1 컬러 픽셀에 할당한다. 구체적으로, 할당부(120)는 깊이 영상이 생성될 당시에 제1 깊이 픽셀에 부여되었던 깊이값을 제1 컬러 픽셀의 깊이값으로서 결정한다.

제2 연산부(130)는, 제1 연산부(110)에서 연산된 '제1 컬러 픽셀과 제2 컬러 픽셀 중 하나의 다른 하나에 대한 상대적 깊이값'과 할당부(120)에서 결정된 '제1 컬러 픽셀의 깊이값'을 고려하여, 제2 깊이 픽셀의 깊이값을 연산한다. 결과적으 로, 제2 연산부(130)는, 제1 연산부(110)에서 연산된 '제1 컬러 픽셀과 제2 컬러 픽셀 중 하나의 다른 하나에 대한 상대적 깊이값'과 '제1 깊이 픽셀의 깊이값'을 고려하여, 제2 깊이 픽셀의 깊이값을 연산한다. 이와 같은 본 발명의 실시예에 따르면, 깊이 영상을 구성하는 깊이 픽셀들 중 깊이값이 부여되어 있지 않은 깊이 픽셀의 깊이값을 획득할 수 있다.

한편, 전술한 제1 연산부(110)는 컬러 픽셀들 중 어떠한 컬러 픽셀에 대해서는 상대적 깊이값을 연산할 수 없을 수 있다. 예컨대, 제1 연산부(110)가 컬러 영상내의 에지상에 존재하는 제1 컬러 픽셀과 제2 컬러 픽셀 중 하나의 다른 하나에 대한 상대적 깊이값을 연산할 뿐이라면, 제1 연산부(110)는 에지상에 존재하지 않는 컬러 픽셀의 그 제1 컬러 픽셀 또는 그 제2 컬러 픽셀에 대한 상대적 깊이값을 연산할 수 없다. 이하 본 명세서에서, 제3 컬러 픽셀이란 '제1 연산부(110)에 의해 상대적 깊이값이 연산될 수 없는' 제1 컬러 픽셀 또는 제2 컬러 픽셀을 의미하고, 제3 깊이 픽셀이란 제3 컬러 픽셀에 매칭된 깊이 픽셀을 의미한다. 결국, 제2 연산부(130)는 제3 컬러 픽셀의 상대적 깊이값을 제1 연산부(110)로부터 입력받을 수 없고, 이에 따라, 제2 연산부(130)는 제3 컬러 픽셀의 상대적 깊이값을 고려하여 제3 깊이 픽셀의 깊이값을 연산할 수가 없다. 다만, 이 경우, 제2 연산부(130)는 '제1 깊이 픽셀들의 부여된 깊이값들과 제2 깊이 픽셀들의 연산된 깊이값들' 중 다수의 깊이값들을 이용하여 제3 깊이 픽셀의 깊이값을 보간(interpolation)할 수 있다.

도 2a는 입력단자 IN 1을 통해 입력된 컬러 영상(210)의 일 례를 나타내고, 도 2b는 입력단자 IN 2를 통해 입력된 깊이 영상(220)의 일 례를 나타낸다. 도 2a에 도시된 바에서, 컬러 영상(210)은 '어떤 한 건물과 그 건물 앞에 위치한 다수의 자동차들과 그 건물 앞에 위치한 두 사람'이라는 피사체를 나타내는 컬러 영상이다. 즉, 도 2a에 도시된 컬러 영상(210)은, '건물'을 의미하는 객체, '자동차'들을 의미하는 객체들, '사람'들을 의미하는 객체들을 나타낸다.

컬러 영상(210)은 제1 컬러 영역(212)과 제2 컬러 영역(214)으로 구성되고, 깊이 영상(220)은 제1 깊이 영역(222)과 제2 깊이 영역(224)으로 구성된다. 본 명세서에서, 제1 컬러 영역(212)은 제1 컬러 픽셀들만으로 구성된 영역을 의미하고, 제2 컬러 영역(214)은 제2 컬러 픽셀들만으로 구성된 영역을 의미한다. 마찬가지로, 제1 깊이 영역(222)은 제1 깊이 픽셀들만으로 구성된 영역을 의미하고, 제2 깊이 영역(224)은 제2 깊이 픽셀들만으로 구성된 영역을 의미한다.

도 3은 본 발명에 의한 깊이 정보 획득 장치를 도 2a 및 도 2b에 도시된 바들을 이용하여 설명하기 위한 도면이다. 도 3에 도시된 바에서, A, B, C, D 모두는 컬러 영상(210)내에 존재하는 '건물을 표현하는 객체 영상'내의 하나의 에지(310)상에 함께 존재하며, A, B는 제1 컬러 픽셀들을 의미하고, C, D는 제2 컬러 픽셀들을 의미하며, A, B, C, D 각각의 실제 깊이값은 2m (단, m은 meter), 4m, 20m, 30m 각각이라 가정한다. 깊이 영상(220)이 생성될 당시에, 깊이 영상(220)의 깊이 픽셀들 중 'A에 매칭된 제1 깊이 픽셀'에는 실제 깊이값(2m)이 부여되고, 깊이 영상(220)의 깊이 픽셀들 중 'B에 매칭된 제1 깊이 픽셀'에는 실제 깊이값(4m)이 부여된다. 반면, 깊이 영상(220)이 생성될 당시에, 깊이 영상(220)의 깊이 픽셀들 중 'C에 매칭된 제2 깊이 픽셀'과 'D에 매칭된 제2 깊이 픽셀' 각각에는 실제 깊이값이 부여되지 않는다.

제1 연산부(110)는 건물을 표현하는 객체 영상내의 하나 이상의 에지들 각각의 컬러 영상(210)내에서의 위치를 고려하여, 제1 컬러 픽셀(A 또는 B)과 제2 컬러 픽셀(C 또는 D) 중 하나의 다른 하나에 대한 상대적 깊이값을 연산한다. 예컨대, 제1 연산부(110)는 'A의 깊이값에 대한 C의 깊이값 (= 10)'을 연산할 수도 있고, 'A의 깊이값에 대한 D의 깊이값 (= 15)'을 연산할 수도 있고, 'B의 깊이값에 대한 C의 깊이값 (= 5)'을 연산할 수도 있고, 'B의 깊이값에 대한 D의 깊이값 (=7.5)'을 연산할 수도 있다.

할당부(120)는 A의 깊이값을 2m로서 결정하고, B의 깊이값을 4m로서 결정한다.

제2 연산부(130)는 C의 깊이값(= 10m)을, 'A의 깊이값에 대한 C의 깊이값 (= 10)' 및 'A의 깊이값 (= 1m)'을 고려하여 연산할 수도 있고, 'B의 깊이값에 대한 C의 깊이값(= 5)' 및 'B의 깊이값 (= 2m)'을 고려하여 연산할 수도 있다.

마찬가지로, 제2 연산부(130)는 D의 깊이값(= 15m)을, 'A의 깊이값에 대한 5의 깊이값 (= 15)' 및 'A의 깊이값 (= 1m)'을 고려하여 연산할 수도 있고, 'B의 깊이값에 대한 D의 깊이값(= 7.5)' 및 'B의 깊이값 (= 2m)'을 고려하여 연산할 수도 있다.

도 4는 본 발명의 일 실시예에 의한 깊이 정보 획득 방법을 나타내는 플로우챠트로서, 깊이 영상의 픽셀들 중 깊이값이 부여되어 있지 않은 픽셀의 깊이값을 획득하는 단계들(제410~ 제420 단계들)을 포함할 수 있다.

제1 연산부(110)는 '컬러 영상을 구성하는 컬러 픽셀들 중 하나인 제1 컬러 픽셀'과 '그 컬러 픽셀들 중 다른 하나인 제2 컬러 픽셀' 중 하나의 다른 하나에 대한 상대적 깊이값을 연산한다(제410 단계).

제410 단계 후에, 제2 연산부(130)는 '제2 컬러 픽셀에 매칭되고 깊이값이 부여되지 않은 깊이 픽셀인 제2 깊이 픽셀'의 깊이값을, '제1 컬러 픽셀에 매칭되고 깊이값이 부여된 깊이 픽셀인 제1 깊이 픽셀'의 깊이값과 제410 단계에서 연산된 상대적 깊이값을 고려하여 연산한다(제420 단계).

이상에서 언급된 본 발명에 의한 깊이 정보 획득 방법을 컴퓨터에서 실행시키기 위한 프로그램은 컴퓨터로 읽을 수 있는 기록매체에 저장될 수 있다. 여기서, 컴퓨터로 읽을 수 있는 기록매체는 마그네틱 저장매체(예를 들면, 롬(ROM), 플로피 디스크, 하드 디스크 등), 및 광학적 판독 매체(예를 들면, 시디롬(CD-ROM), 디브이디(DVD: Digital Versatile Disc))와 같은 저장매체를 포함한다.

이제까지 본 발명을 바람직한 실시예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로, 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점들은 본 발명에 포함된 것으로 해석되어야 할 것이다.

도 1은 본 발명의 일 실시예에 의한 깊이 정보 획득 장치를 나타내는 블록도이다.

도 2a는 컬러 영상의 일 례를 나타내는 도면이고, 도 2b는 깊이 영상의 일 례를 나타내는 도면이다.

도 3은 본 발명의 일 실시예에 의한 깊이 정보 획득 장치를 도 2a 및 도 2b에 도시된 바들을 이용하여 설명하기 위한 도면이다.

도 4는 본 발명의 일 실시예에 의한 깊이 정보 획득 방법을 나타내는 플로우챠트이다.

Claims

컬러 영상의 픽셀들의 픽셀값들을 고려하여, 상기 픽셀들 중 제1 및 제2 컬러 픽셀 중 하나의 다른 하나에 대한 상대적 깊이값을 연산하는 단계; 및

상기 컬러 영상에 매칭된 깊이 영상에 속하며 상기 제2 컬러 픽셀에 매칭되고 깊이값이 부여되지 않은 제2 깊이 픽셀의 깊이값을, 상기 깊이 영상에 속하며 상기 제1 컬러 픽셀에 매칭되고 깊이값이 부여된 제1 깊이 픽셀의 깊이값 및 상기 연산된 상대적 깊이값을 고려하여 연산하는 단계를 포함하는 깊이 정보 획득 방법.
제1 항에 있어서, 상기 제1 깊이 픽셀의 깊이값은 상기 깊이 영상이 생성될 당시에 상기 제1 깊이 픽셀에 부여되고, 상기 제2 깊이 픽셀의 깊이값은 상기 깊이 영상이 생성될 당시에 상기 제2 깊이 픽셀에 부여되지 않은 깊이 정보 획득 방법.
제1 항에 있어서, 상기 깊이 영상 및 상기 컬러 영상 각각의 개수는 하나인 깊이 정보 획득 방법.
제1 항에 있어서, 상기 제1 및 상기 제2 컬러 픽셀은 상기 컬러 영상내의 하나 이상의 객체 영상들 중 적어도 일부의 객체 영상들내에 존재하고, 상기 상대적 깊이값을 연산하는 단계는 상기 적어도 일부의 객체 영상들 각각의 형상을 고려하여 상기 상대적 깊이값을 연산하는 깊이 정보 획득 방법.
제1 항에 있어서, 상기 깊이 정보 획득 방법은

상기 제1 깊이 픽셀의 깊이값을 상기 제1 컬러 픽셀의 깊이값으로서 결정하는 단계를 더 포함하고,

상기 제2 깊이 픽셀의 깊이값을 연산하는 단계는, 상기 제2 깊이 픽셀의 깊이값을 상기 연산된 상대적 깊이값과 상기 결정된 깊이값을 고려하여 연산하는 깊이 정보 획득 방법.
컬러 영상의 픽셀들의 픽셀값들을 고려하여, 상기 픽셀들 중 제1 및 제2 컬러 픽셀 중 하나의 다른 하나에 대한 상대적 깊이값을 연산하는 제1 연산부; 및

상기 컬러 영상에 매칭된 깊이 영상에 속하며 상기 제2 컬러 픽셀에 매칭되고 깊이값이 부여되지 않은 제2 깊이 픽셀의 깊이값을, 상기 깊이 영상에 속하며 상기 제1 컬러 픽셀에 매칭되고 깊이값이 부여된 제1 깊이 픽셀의 깊이값 및 상기 연산된 상대적 깊이값을 고려하여 연산하는 제2 연산부를 포함하는 깊이 정보 획득 장치.
제6 항에 있어서, 상기 제1 깊이 픽셀의 깊이값은 상기 깊이 영상이 생성될 당시에 상기 제1 깊이 픽셀에 부여되고, 상기 제2 깊이 픽셀의 깊이값은 상기 깊이 영상이 생성될 당시에 상기 제2 깊이 픽셀에 부여되지 않은 깊이 정보 획득 장치.
제6 항에 있어서, 상기 깊이 영상 및 상기 컬러 영상 각각의 개수는 하나인 깊이 정보 획득 장치.
제6 항에 있어서, 상기 제1 및 상기 제2 컬러 픽셀은 상기 컬러 영상내의 하나 이상의 객체 영상들 중 적어도 일부의 객체 영상들내에 존재하고, 상기 제1 연산부는 상기 적어도 일부의 객체 영상들 각각의 형상을 고려하여 상기 상대적 깊이값을 연산하는 깊이 정보 획득 장치.
제6 항에 있어서, 상기 깊이 정보 획득 장치는

상기 제1 깊이 픽셀의 깊이값을 상기 제1 컬러 픽셀의 깊이값으로서 결정하는 할당부를 더 포함하고,

상기 제2 연산부는, 상기 제2 깊이 픽셀의 깊이값을 상기 연산된 상대적 깊이값과 상기 결정된 깊이값을 고려하여 연산하는 깊이 정보 획득 장치.
제1 항 내지 제5 항 중 어느 한 항의 방법을 컴퓨터에서 실행시키기 위한 컴퓨터 프로그램을 저장한 컴퓨터로 읽을 수 있는 기록매체.