KR101626679B1

KR101626679B1 - 2ｄ 영상으로부터 입체 영상을 생성하는 방법 및 이를 기록한 기록 매체

Info

Publication number: KR101626679B1
Application number: KR1020140166355A
Authority: KR
Inventors: 김만배
Original assignee: 강원대학교산학협력단
Priority date: 2014-11-26
Filing date: 2014-11-26
Publication date: 2016-06-01

Abstract

본 발명은 2D 영상으로부터 입체 영상을 생성하는 방법에 관한 것으로서, 본 발명은 RGB(Red, Green, Blue) 영상이 입력되면, 이로부터 관심도 맵(saliency map)을 생성하는 단계, 상기 관심도 맵에서 동일 객체의 내부에 존재하는 픽셀과 이웃한 주변 픽셀들이 유사한 값을 갖도록 하기 위하여 이항 필터(binomic filter)를 사용하는 단계, 상기 이항 필터가 사용된 관심도 맵에서 동일 객체에 포함된 다른 색의 이웃하는 두 픽셀 간의 깊이값의 차이를 유사하게 하기 위한 유사 필터(affinity filter)를 사용하는 단계, 상기 입력된 RGB 영상에서 에지 맵(edge map)을 생성하는 단계, 상기 유사 필터가 사용된 관심도 맵을 이용하여 상기 에지 맵에 깊이값을 부여하도록 상기 에지 맵을 변환하는 단계, 변환된 에지 맵에 이항 필터를 적용하여 깊이 맵(depth map)을 생성하는 단계 및 상기 깊이 맵을 이용하여 상기 RGB 영상에 대한 좌우 입체영상을 생성하는 단계를 포함한다.

Description

2Ｄ 영상으로부터 입체 영상을 생성하는 방법 및 이를 기록한 기록 매체 {Method for generating stereoscopic image from 2D image and for medium recording the same}

본 발명은 입체 영상을 생성하는 방법에 관한 것으로서, 더욱 상세하게는 2D 영상으로부터 입체영상을 생성하는 방법에 관한 것이다.

최근 입체 콘텐츠 및 디스플레이 기술의 지속적인 발전이 이루어지고, 대중의 관심도 증가하고 있다. 이러한 추세에 따라 입체 변환에 대한 연구가 활발히 진행되고 있다. 이러한 추세에 따라 2D 영상의 3D 입체변환(2D-to-3D 변환 또는 3D 변환)은 3D TV, 3D 모니터 등에서 기본 기능으로 장착되고 있다.

2D-to-3D 변환은 2D 영상으로부터 깊이맵을 생성하고, 이 깊이맵을 이용하여 좌우 입체영상을 생성하는 기술이다. 현재까지 다양한 기술들이 개발되어 왔고, 몇 가지 기술은 상업용 3D TV에 장착되어 소비자에게 공급되고 있다.

많은 변환 방법들은 2D 영상에서 발견되는 깊이단서(depth cue)를 사용한다. 예를 들어, 초점에 의해 발생하는 블러(blur)의 양을 측정하여 거리값을 계산하는 Depth from Defocus, 기하학적 원근을 이용하여 상대적 거리를 구하는 depth from perspective, 그림자의 정보를 활용하는 depth from shadow, 운동을 측정하여 이 운동 정보로부터 거리값을 얻은 depth from motion 등 다양한 기술들이 있다. 이외에 다양한 깊이단서를 구하고, 이를 통합하여 깊이맵을 제작하기도 한다.

그런데 이러한 깊이 단서를 이용할 때에는 영상에 상응하는 정보가 존재하면 효과가 있지만, 깊이단서가 없거나, 충분하지 않으면 만족스러운 깊이 정보를 얻는 것이 매우 어렵다. 즉, 일부의 영상에만 효과가 있기 때문에, TV, 영화, 애니메이션(animation) 등 다양한 콘텐츠에 적용하면 많은 영상물에서 3D 효과가 낮아지는 문제점이 있다.

대한민국 공개특허 10-2013-0052621

본 발명은 상기와 같은 문제점을 해결하기 위하여 안출된 것으로서, 깊이 단서를 이용하지 않고, RGB 컬러 및 경계 에지 정보를 이용하여 깊이맵 및 입체영상을 생성하는 방법을 제공하는데 그 목적이 있다.

본 발명의 목적은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.

이와 같은 목적을 달성하기 위한 본 발명은 RGB(Red, Green, Blue) 영상이 입력되면, 이로부터 관심도 맵(saliency map)을 생성하는 단계, 상기 관심도 맵에서 동일 객체의 내부에 존재하는 픽셀과 이웃한 주변 픽셀들이 유사한 값을 갖도록 하기 위하여 이항 필터(binomic filter)를 사용하는 단계, 상기 이항 필터가 사용된 관심도 맵에서 동일 객체에 포함된 다른 색의 이웃하는 두 픽셀 간의 깊이값의 차이를 유사하게 하기 위한 유사 필터(affinity filter)를 사용하는 단계, 상기 입력된 RGB 영상에서 에지 맵(edge map)을 생성하는 단계, 상기 유사 필터가 사용된 관심도 맵을 이용하여 상기 에지 맵에 깊이값을 부여하도록 상기 에지 맵을 변환하는 단계, 변환된 에지 맵에 이항 필터를 적용하여 깊이 맵(depth map)을 생성하는 단계 및 상기 깊이 맵을 이용하여 상기 RGB 영상에 대한 좌우 입체영상을 생성하는 단계를 포함한다.

상기 에지 맵을 변환하는 단계는 상기 유사 필터가 사용된 관심도 맵에서 영상을 수직방향으로 K 개의 부영상(subimage)으로 분할하는 단계, 각 부영상의 최대 관심도 값을 구하는 단계, 각 부영상에 존재하는 에지의 비율을 계산하는 단계, 상기 에지 비율에 따라 각 부영상의 최대 관심도값을 변환하는 단계, 각 부영상의 수직 위치값을 수직 방향으로 본 이차원의 점들로부터 곡선 피팅(curve fitting)을 하여 에지가 변환된 각 부영상의 관심도를 나타내는 곡면을 표현하는 수직 곡면 모델링을 수행하는 단계 및 상기 에지 맵의 에지에 상기 곡면의 관심도 값을 곱하여 에지 맵을 변환하는 단계를 포함하여 이루어질 수 있다.

상기 수직 곡면 모델링을 수행하는 단계에서, 스프라인 곡선(spline curve) 또는 베지어 곡선(bezier curve)을 이용하여 곡면을 표현할 수 있다.

상기 에지 맵을 생성하는 단계에서, 상기 입력된 RGB 영상을 그레이스케일(grayscale) 영상으로 변환하고, 변환된 영상에 에지 추출 연산자를 적용하여 영상에 존재하는 에지를 검출할 수 있다.

상기 에지 추출 연산자는 소벨(sobel) 연산자일 수 있다.

본 발명에 의하면 2D 영상으로부터 입체 영상을 생성하는 과정에서 깊이 단서를 이용하지 않고 RGB 컬러 및 경계 에지정보를 이용하여 깊이맵과 입체 영상을 생성할 수 있는 효과가 있다.

도 1은 본 발명의 일 실시예에 따른 2D 영상으로부터 입체영상을 생성하는 방법을 보여주는 흐름도이다.
도 2는 본 발명의 일 실시예에 따른 관심도를 구하기 위한 영역을 분할한 것을 도시한 도면이다.
도 3은 본 발명의 일 실시예에 따른 각 영역에 수평으로 할당된 가중치의 그래프이다.
도 4는 본 발명의 일 실시예에 따른 에지맵을 변환하는 과정을 보여주는 흐름도이다.
도 5는 본 발명의 일 실시예에 따른 영상을 K개의 수직방향 부영상으로 분할하는 것을 도시한 도면이다.
도 6은 본 발명의 일 실시예에 따른 곡면으로 얻어진 관심도이다.

본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.

본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 갖고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 갖는 의미와 일치하는 의미를 갖는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.

또한, 첨부 도면을 참조하여 설명함에 있어, 도면 부호에 관계없이 동일한 구성 요소는 동일한 참조부호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.

본 발명에서 2D 영상으로부터 입체 영상을 생성하는 방법은 일종의 알고리즘이며 소프트웨어 개념이다. 따라서, 어떤 장치의 제어부나 프로세서(processor)가 그 수행 주체일 수 있다. 즉, 본 발명의 입체 영상 생성 방법은 일종의 소프트웨어인 알고리즘이며, 이러한 소프트웨어는 컴퓨터의 제어부 또는 프로세서(processor)에서 실행될 수 있다.

도 1은 본 발명의 일 실시예에 따른 2D 영상으로부터 입체 영상을 생성하는 방법을 보여주는 흐름도이다.

도 1을 참조하면, 본 발명의 2D 영상으로부터 입체 영상을 생성하는 방법은, RGB(Red, Green, Blue) 영상(10)이 입력되면, 입력된 2D 영상인 RGB 영상을 좌우 입체 영상(20)으로 출력하는 것이다. 본 발명에서는 이러한 과정에서 우수한 깊이 맵(depth map)을 얻는 것이 주 목적이다. 본 발명에서 깊이 맵이 얻어지면 DIBR(Depth image based rendering) 기술로 좌우 입체영상이 만들어진다.

RGB(Red, Green, Blue) 영상(10)이 입력되면, 이로부터 관심도 맵(saliency map)을 생성한다(S101).

다음, 관심도 맵에서 동일 객체의 내부에 존재하는 픽셀과 이웃한 주변 픽셀들이 유사한 값을 갖도록 하기 위하여 이항 필터(binomic filter)를 사용한다(S103).

다음, 이항 필터가 사용된 관심도 맵에서 동일 객체에 포함된 다른 색의 이웃하는 두 픽셀 간의 깊이값의 차이를 유사하게 하기 위한 유사 필터(affinity filter)를 사용한다(S105).

입력된 RGB 영상(10)에서 그레이스케일(grayscale) 영상으로 변환하고(S107), 변환된 영상에 에지 추출 연산자를 적용하여 영상에 존재하는 에지를 검출하는 방식으로 에지 맵(edge map)을 생성한다(S109).

그리고, 유사 필터가 사용된 관심도 맵을 이용하여 에지 맵에 깊이값을 부여하도록 에지 맵을 변환한다(S111).

다음, 변환된 에지 맵에 이항 필터를 적용하여 깊이 맵(depth map)을 생성한다(S113, S115).

그리고, 깊이 맵을 이용하여 RGB 영상(10)에 대한 좌우 입체영상(20)을 생성한다.

관심맵이란 인간이 생물학적으로 눈으로 장면 혹은 영상을 인식하면서 눈에 띄는 영역이나 객체를 집중하는 방식을 수치적으로 표현하기 위하여 컴퓨터로 모델링한 것을 의미한다. 관심맵은 영상 리타겟팅(retargeting), 영상 확대 및 축소, 객체 추적, 인식 등과 같이 대부분의 영상처리 및 컴퓨터비전에서 사용되는 기술로 다양한 방면에서 활용이 가능하다.

관심맵은 RGB 영상으로부터 픽셀의 빈도수(frequency)가 크거나, 영역이 큰 픽셀에는 작은 관심(saliency)값을 할당하고, 반대인 경우에는 큰 관심 값을 할당하는 방법이 주를 이루며, 기존 관심맵 생성 알고리즘에 따라 time complexity 및 성능에서 많은 차이를 보이고 있다. 일반적인 관심맵 생성 방법은 전체 영상을 대상으로 해서 관심객체를 추출하는 방식이다.

본 발명에서 관심도 맵(sliency map)을 생성하는 단계(S101)에서는 RGB 영상(10)에서 인간의 시각적 효과가 큰 영역 또는 객체를 찾는다. 예를 들어 배경에 꽃이 있으면 사람은 배경보다는 꽃에 시선을 집중하게 되는데, 이로 인해 상대적으로 꽃의 관심도 값이 크게 된다. 이제까지 다양한 관심도 맵 생성 방법이 소개되어 왔는데 본 발명에서는 2개의 관심도 값을 구하고, 두 값을 통합하여 사용하기로 한다. 먼저 R, G, B 채널에서 관심도를 찾는 방법은 다음과 같다.

도 2는 본 발명의 일 실시예에 따른 관심도를 구하기 위한 영역을 분할한 것을 도시한 도면이다.

도 2의 전체 W × H 영상에서 영역 Ⅰ, Ⅱ, Ⅲ에서 R, G, B의 평균을 각각 구한다. 영역 Ⅰ은 [0,0] × [τ, H/2], 영역 Ⅱ는 [τ, 0] × [W-τ, H/2], 그리고 영역 Ⅲ는 [W-τ, 0] × [W-1, H/2]의 사각형 영역이다. 이를 수식으로 표현하면 다음과 같다.

여기서, i는 수직 좌표값이고, j는 수평 좌표값이다. 0≤i≤H-1이고, 0≤j≤W-1이다.

평균값을 상단 영역에서만 구하는 이유는 일반적으로 원근 때문에, 하단보다 상단이 카메라로부터 멀리 떨어져 있기 때문이다. 수학식 1의 평균값들을 사용하면 영상 관심도 맵에서 상대적으로 하단부의 픽셀이 상단부보다 큰 관심도 값을 가지게 된다.

도 3은 본 발명의 일 실시예에 따른 각 영역에 수평으로 할당된 가중치의 그래프이다.

도 3에서는 3개의 영역 Ⅰ, Ⅱ, Ⅲ에 대한 가중치(weight)가 도시되어 있다. (a)는 영역 Ⅰ의 가중치이고, (b)는 영역 Ⅱ의 가중치이고, (c)는 영역 Ⅲ의 가중치이다.

픽셀 P(i,j)의 경우, 각 가중치는 다음 수학식으로 정해진다. 이때, 수직 좌표 i는 사용되지 않는다.

이 가중치를 사용하는 이유는 다음과 같다. 관심도가 높은 객체가 좌측, 중앙, 또는 우측에 존재할 수 있다. 예를 들어 만일 w[1]만 사용하면, 중앙 또는 우측에 있는 객체는 상대적으로 관심도가 낮은 값을 가지게 된다. 따라서 객체의 위치에 관계없이 균등한 가중치를 주는 것이 다양한 영상에서 균일한 관심도의 값이 유지되도록 할 수 있다.

이 가중치를 이용하여 다음 식에서 R, G, B로부터 얻어지는 관심도를 계산한다.

각 픽셀의 관심도 값은 다음 수학식 4에 나타낸 바와 같이, 값들의 최대치 또는 평균으로 구한다.

두 번째 관심도 값을 구하는 식은 다음 수학식 5와 같다. 수학식 5에서 R, G, B 영상으로부터 변환된 세 값 a, b, c를 구한다.

a, b, c를 구한 후에 도 2의 세 영역 Ⅰ, Ⅱ, Ⅲ에서의 평균값들을 구하고, 이를 수학식으로 나타내면 다음과 같다.

그리고, 도 3의 가중치 함수를 이용하여 세 영역의 관심도를 구하고, 이를 수학식으로 나타내면 다음과 같다.

관심도 값은 세 값의 최대값 또는 평균으로 구할 수 있으며, 이를 수학식으로 나타내면 다음과 같다.

수학식 4와 수학식 8에서 두 개의 관심도를 구한다. 본 발명에서는 다양한 실험을 통하여, 다음 수학식처럼 관심도를 구하는 것이 바람직하며, 양질의 3D를 생성할 수 있다.

여기서 S(i,j)는 픽셀 (i,j)의 관심도 값이고, S_max는 S₂의 최대값이다.

본 발명에서 이항 필터 단계(S103)에 대해 설명하면 다음과 같다.

관심도는 컬러정보에 기반하여 얻어진다. 그런데 한 개의 동일 객체에 다른 컬러가 존재하는 것은 흔하게 발생하므로 다른 관심도 값을 가지게 된다. 이것은 다음의 깊이 값에 영향을 끼치게 된다. 예를 들어, 얼굴에는 각기 다른 피부색, 눈색, 입술 색 등이 혼재하여 발생하게 된다. 이는 관심도를 직접 깊이맵으로 사용하는 것이 어렵다는 것을 보여준다. 따라서 동일 객체의 내부에 존재하는 픽셀과 이웃하는 주변 픽셀의 값을 가능하면 유사한 값으로 만들어 주는 처리 기술이 필요하다. 이를 위해서 이항필터(binomic filter)를 사용한다. 이항필터를 이용하면 관심도 맵에서 이웃하는 주변 픽셀들이 유사한 값을 가지게 된다.

이항 필터에서 출력된 관심도 맵은 N × N 픽셀 블록 단위로 S(i,j)와 스케일링(scaling)된 S(i,j), S^τ(i,j)와의 회선 (콘볼류선, convolution)으로 구할 수 있으며, 다음 수학식과 같이 나타낼 수 있다.

여기서 S_bino(i,j)는 출력 관심도맵이다. 스케일 τ 값이 클수록, 두 인접 픽셀의 값은 더 유사하게 된다. τ의 범위는 [0, 1]이다.

본 발명에서 유사 필터 단계(S105)에 대하여 설명하면 다음과 같다.

같은 RGB를 가지는 픽셀은 당연히 같은 관심도 값을 가지게 된다. 다른 색을 가진 두 이웃하는 픽셀이 동일 객체에 포함된다고 하면 다른 깊이값으로 객체의 깊이가 분리되고, 이에 따라 입체영상의 시청시에 눈의 피로도가 발생한다. 이 문제를 해결하기 위해서 영역 분할(segmentation)에서 종종 활용되고 있는 유사필터(Affinity Filter)를 이용한다. 두 픽셀간의 가중치는 다음 수학식과 같이 지수함수 형태로 표현된다.

여기서 χ_i는 픽셀 i의 공간 위치 값이고, S_i는 픽셀 i의 관심도 값이고, σ_c 및 σ_S는 표준편차이다. σ_c 및 σ_S는 가중치의 값을 제어한다.

이 두 값의 통합 가중치는 선형 결합 또는 곱해서 구해질 수 있으며,

로 나타낼 수 있다. 여기서, α는 [0,1]의 가중치이다.

N × N 픽셀 블록으로 유사필터를 수학식 10의 S_bino에 다음 수학식 12와 같이 콘볼류션을 적용한다.

다음, 본 발명에서 에지맵(edge map)을 생성하는 단계(S107, S109)에 대해서 설명하면 다음과 같다.

먼저 입력된 RGB 영상(10)을 그레이스케일 영상으로 변환한다(S107). 이 영상에 에지(edge) 추출 연산자를 적용하여 영상에 존재하는 에지를 검출한다. 본 발명의 일 실시예에서 검출된 에지를 이용하여 에지맵을 얻기 위한 에지 추출 연산자로 소벨(Sobel) 연산자를 이용한다.

이렇게 구해진 에지맵은 에지이면 255, 비에지이면 0의 값을 갖는다. 에지는 균일한 값을 가지므로, 실제 3D 입체감에는 영향을 주지 못한다. 따라서, 수학식 12의 영상 관심도 맵을 이용하여 깊이값을 얻을 수 있도록 에지맵을 변환한다(S111).

에지맵 변환 단계(S111)에 대해 설명하면 다음과 같다.

도 4는 본 발명의 일 실시예에 따른 에지맵을 변환하는 과정을 보여주는 흐름도이다.

도 4를 참조하면, 본 발명의 에지맵 변환 과정은 수직 부영상 분할 단계(S401), 부영상 최대 관심도 값 계산 단계(S403), 부영상의 에지 비율 계산 단계(S405), 부영상 최대 관심도값 변환(S407), 수직 곡면 모델링 단계(S409), 에지 변환 단계(S411)를 포함한다.

유사 필터가 사용된 관심도 맵에서 영상을 수직방향으로 K 개의 부영상(subimage)으로 분할한다(S401).

그리고, 각 부영상의 최대 관심도 값을 구한다(S403).

그리고, 각 부영상에 존재하는 에지의 비율을 계산한다(S405).

그리고, 에지의 비율에 따라 각 부영상의 최대 관심도 값을 변환한다(S407)

그리고, 각 부영상의 수직 위치값을 수직 방향으로 본 이차원의 점들로부터 곡선 피팅(curve fitting)을 하여 각 부영상의 관심도를 나타내는 곡면을 표현하는 수직 곡면 모델링을 수행한다(S409).

그리고, 에지 맵의 에지에 곡면의 관심도 값을 곱하여 에지 맵을 변환한다(S411).

수직 부영상 분할 단계(S401)를 설명하면 다음과 같다.

도 5는 본 발명의 일 실시예에 따른 영상을 K개의 수직 방향 부영상으로 분할하는 것을 도시한 도면이다.

도 5에서 보는 바와 같이, W × H 영상을 K 개의 부영상(subimage) SB^k(k∈{1,...,K})으로 수직 방향으로 분할한다.

다음, 부영상의 최대 관심도값을 계산하는 단계(S403)에 대해 설명하면 다음과 같다.

도 5를 참조하면, 각 부영상의 최댓값은 SB^k에서의 수학식 12의 S_aff의 최댓값

을 구하는 것이고, 이를 수학식으로 나타내면 다음과 같다.

다음, 부영상의 에지 비율 계산 단계(S405)는 도 5의 각 부영상에 존재하는 에지의 비율

을 계산하는 것이며, 이를 수학식으로 나타내면 다음과 같다.

여기서 E^k는 k번째 부영상에 있는 에지 픽셀의 개수이다.

다음, 부영상 최대 관심도값 변환 단계(S407)에 대해 설명하면 다음과 같다.

3D 입체감의 향상을 위해서, 부영상에 존재하는 에지 비율

에 따라 부영상 최대 관심도 값을 변환한다.

는 수학식2-수학식4에서 구한 에지맵 에지(EDGE)로부터 얻어진다. 에지는 255값을 가지고, 비에지는 0의 값을 가진다. 255값을 깊이값에 사용하면, 당연히 깊이값이 같으므로, 3D 효과가 발생하지 않는다. 이것을 해결하기 위해서

값에 에지 비율 값을 역으로 곱해준다. 따라서 에지 비율이 큰 부영상에는 에지비율을 줄이고, 반대로 에지비율이 작은 부영상에는 에지비율을 증가시킨다. 먼저

의 값에 (1.0-

)을 곱해준다. 이를 수학식으로 나타내면 다음과 같다.

다음, 수직 곡면 모델링 단계(S409)에 대해 설명하면 다음과 같다.

도 6은 본 발명의 일 실시예에 따른 곡면으로 얻어진 관심도이다.

수학식 15의 Q^k는 k번째 부영상의 수직 위치값 y^k의 값이다. 따라서, 수직 방향으로 보면 (y¹,Q¹),(y¹,Q²),...,(y^K,Q^K)의 이차원의 점들로 표현이 된다. 이 K개의 점을 가지고 곡선 피팅(curve fitting)을 한다. 그리고, 스프라인 곡선(spline curve), 베지어 곡선(bezier curve)을 이용하여 부드러운 곡면을 얻는다. 다음에 이 곡면을 x-축으로 늘리면 도 6과 같은 곡면이 구해지고, 이것이 변환된 부영상의 관심도이다.

마지막으로 에지맵의 변환 과정(S411)은 다음과 같다.

에지맵 에지(EDGE)는 0 또는 255의 값을 가지므로, 에지(EDGE)에 도 6의 곡면의 값으로 곱하면 최종 에지맵이 얻어진다. 이를 수학식으로 나타내면 다음과 같다.

이제 최종 깊이맵 생성 단계(S115)에 대해 설명하기로 한다.

수학식 16의 에지(EDGE)와 수학식 12의 관심도 S_aff에 이항필터(S113)를 적용하여 최종 깊이맵을 얻으며, 이를 수학식으로 나타내면 다음과 같다.

다음, 깊이맵 DEPTH와 입력 RGB 영상 I를 이용하여 좌우 입체영상을 생성한다.

좌ㆍ우 영상은 2D RGB 영상 I로부터 다음 수학식과 같이 얻어진다.

여기서,

는 픽셀의 수평이동 값으로서 깊이값 DEPTH로부터 다음 수학식과 같이 계산된다.

여기서, P_max는 최대시차이고, DEPTH의 범위는 [D_min, D_max]이다.

한편, 본 발명의 실시예에 따른 2D 영상으로부터 입체 영상을 생성하는 방법은 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현되는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다.

예컨대, 컴퓨터가 읽을 수 있는 기록매체로는 롬(ROM), 램(RAM), 시디-롬(CD-ROM), 자기 테이프, 하드디스크, 플로피디스크, 이동식 저장장치, 비휘발성 메모리(Flash Memory), 광 데이터 저장장치 등이 있으며, 또한 캐리어웨이브(예를 들면, 인터넷을 통한 전송)의 형태로 구현되는 것도 포함된다.

또한, 컴퓨터로 읽을 수 있는 기록매체는 컴퓨터 통신망으로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 읽을 수 있는 코드로서 저장되고 실행될 수 있다.

이상 본 발명을 몇 가지 바람직한 실시예를 사용하여 설명하였으나, 이들 실시예는 예시적인 것이며 한정적인 것이 아니다. 본 발명이 속하는 기술분야에서 통상의 지식을 지닌 자라면 본 발명의 사상과 첨부된 특허청구범위에 제시된 권리범위에서 벗어나지 않으면서 다양한 변화와 수정을 가할 수 있음을 이해할 것이다.

Claims

RGB(Red, Green, Blue) 영상이 입력되면, 이로부터 관심도 맵(saliency map)을 생성하는 단계;
상기 관심도 맵에서 동일 객체의 내부에 존재하는 픽셀과 이웃한 주변 픽셀들이 유사한 값을 갖도록 하기 위하여 이항 필터(binomic filter)를 사용하는 단계;
상기 이항 필터가 사용된 관심도 맵에서 동일 객체에 포함된 다른 색의 이웃하는 두 픽셀 간의 깊이값의 차이를 유사하게 하기 위한 유사 필터(affinity filter)를 사용하는 단계;
상기 입력된 RGB 영상에서 에지 맵(edge map)을 생성하는 단계;
상기 유사 필터가 사용된 관심도 맵을 이용하여 상기 에지 맵에 깊이값을 부여하도록 상기 에지 맵을 변환하는 단계;
변환된 에지 맵에 이항 필터를 적용하여 깊이 맵(depth map)을 생성하는 단계; 및
상기 깊이 맵을 이용하여 상기 RGB 영상에 대한 좌우 입체영상을 생성하는 단계를 포함하되,
상기 에지 맵을 변환하는 단계는,
상기 유사 필터가 사용된 관심도 맵에서 영상을 수직방향으로 K 개의 부영상(subimage)으로 분할하는 단계;
각 부영상의 최대 관심도 값을 구하는 단계;
각 부영상에 존재하는 에지의 비율을 계산하는 단계;
상기 에지 비율에 따라 각 부영상의 최대 관심도값을 변환하는 단계;
각 부영상의 수직 위치값을 수직 방향으로 본 이차원의 점들로부터 곡선 피팅(curve fitting)을 하여 에지가 변환된 각 부영상의 관심도를 나타내는 곡면을 표현하는 수직 곡면 모델링을 수행하는 단계; 및
상기 에지 맵의 에지에 상기 곡면의 관심도 값을 곱하여 에지 맵을 변환하는 단계를 포함하여 이루어지는 것을 특징으로 하는 2D 영상으로부터 입체 영상을 생성하는 방법.
삭제
청구항 1에 있어서,
상기 수직 곡면 모델링을 수행하는 단계에서,
스프라인 곡선(spline curve) 또는 베지어 곡선(bezier curve)을 이용하여 곡면을 표현하는 것을 특징으로 하는 2D 영상으로부터 입체 영상을 생성하는 방법.
청구항 1에 있어서,
상기 에지 맵을 생성하는 단계에서,
상기 입력된 RGB 영상을 그레이스케일(grayscale) 영상으로 변환하고, 변환된 영상에 에지 추출 연산자를 적용하여 영상에 존재하는 에지를 검출하는 것을 특징으로 하는 2D 영상으로부터 입체 영상을 생성하는 방법.
청구항 4에 있어서,
상기 에지 추출 연산자는 소벨(sobel) 연산자인 것임을 특징으로 하는 2D 영상으로부터 입체 영상을 생성하는 방법.
청구항 1, 청구항 3 내지 청구항 5 중 어느 한 청구항의 방법을 컴퓨터로 실행시킬 수 있는 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.