KR20130112132A - 스테레오 엔도스코프의 풀 에이치디 영상을 이용한 3차원 가시화 속도 향상 방법 - Google Patents

Abstract

본 개시는 스테레오 엔도스코프의 풀 에이치디 영상을 이용한 3D 가시화 속도 향상 방법에 있어서, 스테레오 이미지 입력 단계; 이미지 다운스케일링 단계; 이미지 특징 정보 추출 단계; 캘리브레이션 정보를 이용 Depth-map 추출 단계; 이미지 업스케일링 단계; Depth-map 이미지 출력 단계; 3D 리컨스트럭션 단계; 3D에 텍스쳐 맵핑 단계; Base Line에 의한 양안 시점 생성 단계; 그리고, 시분할 방식에 의한 영상 출력 단계;를 포함하는 것을 특징으로 하는 스테레오 엔도스코프의 풀 에이치디 영상을 이용한 3D 가시화 속도 향상 방법에 관한 것이다.

Description

스테레오 엔도스코프의 풀 에이치디 영상을 이용한 3차원 가시화 속도 향상 방법{3D VISUALIZATION SPEED IMPROVEMENT METHOD USING FULL HD IMAGE OF STEREO ENDOSCOPE}

본 개시(Disclosure)는 전체적으로 스테레오 엔도스코프의 풀 에이치디 영상을 이용한 3D 가시화 속도 향상 방법에 관한 것이다.

여기서는, 본 개시에 관한 배경기술이 제공되며, 이들이 반드시 공지기술을 의미하는 것은 아니다(This section provides background information related to the present disclosure which is not necessarily prior art).

최근 3D 영상(Stereoscopic Video)에 대한 관심이 증폭되면서, 3D 영상에 대한 연구가 활발히 진행되고 있다.

일반적으로 인간은 양안 사이의 시차에 의해 입체감을 가장 크게 느끼는 것으로 알려져 있다. 따라서, 3D 영상은 인간의 이러한 특성을 이용하여 구현될 수 있다. 예컨대, 특정 피사체를 시청자의 좌측 눈을 통해 보여지는 좌안 영상과 시청자의 우측 눈을 통해 보여지는 우안 영상으로 구별하여, 상기 좌안 영상과 상기 우안 영상을 동시에 디스플레이함으로써 시청자가 상기 특정 피사체를 3D 영상으로 볼 수 있도록 할 수 있다. 결국, 3D 영상은 좌안 영상과 우안 영상으로 구분된 양안(binocular) 영상을 제작하여 이를 디스플레이함으로써 구현될 수 있다.

깊이 정보가 없는 단안(monocular) 2D 영상을 3D 영상으로 변환하기 위해서는 2D 영상에 깊이 정보를 부가하여 렌더링(rendering)하는 작업이 필요하다.

이에 대하여 '발명의 실시를 위한 구체적인 내용'의 후단에 기술한다.

여기서는, 본 개시의 전체적인 요약(Summary)이 제공되며, 이것이 본 개시의 외연을 제한하는 것으로 이해되어서는 아니된다(This section provides a general summary of the disclosure and is not a comprehensive disclosure of its full scope or all of its features).

본 개시에 따른 일 태양에 의하면(According to one aspect of the present disclosure), 스테레오 엔도스코프의 풀 에이치디 영상을 이용한 3D 가시화 속도 향상 방법에 있어서, 스테레오 이미지 입력 단계; 이미지 다운스케일링 단계; 이미지 특징 정보 추출 단계; 캘리브레이션 정보를 이용 Depth-map 추출 단계; 이미지 업스케일링 단계; Depth-map 이미지 출력 단계; 3D 리컨스트럭션 단계; 3D에 텍스쳐 맵핑 단계; Base Line에 의한 양안 시점 생성 단계; 그리고, 시분할 방식에 의한 영상 출력 단계;를 포함하는 것을 특징으로 하는 스테레오 엔도스코프의 풀 에이치디 영상을 이용한 3D 가시화 속도 향상 방법이 제공된다.

이에 대하여 '발명의 실시를 위한 구체적인 내용'의 후단에 기술한다.

도 1은 본 발명의 일실시예에 따른 깊이 추정 장치의 구조를 도시한 도면이다.
도 2는 본 발명의 또 다른 일실시예에 따른 깊이 추정 장치의 구조를 도시한 도면이다.
도 3은 본 발명의 또 다른 일실시예에 따른 깊이 추정 장치의 구조를 도시한 도면이다.
도 4는 본 발명의 일실시예에 따른 깊이 추정 장치의 구조를 도시한 도면이다.
도 5는 본 발명의 일실시예에 따른 3D 영상 변환 장치의 구조를 도시한 도면이다.
도 6는 본 발명의 또 다른 일실시예에 따른 3D 영상 변환 장치의 구조를 도시한 도면이다.
도 7는 본 발명의 또 다른 일실시예에 따른 3D 영상 변환 장치의 구조를 도시한 도면이다.
도 8는 본 발명의 또 다른 일실시예에 따른 3D 영상 변환 장치의 구조를 도시한 도면이다.
도 9는 본 발명의 일실시예에 따른 깊이 추정 방법을 도시한 순서도이다.
도 10는 본 발명의 또 다른 일실시예에 따른 깊이 추정 방법을 도시한 순서도이다.
도 11는 본 발명의 또 다른 일실시예에 따른 깊이 추정 방법을 도시한 순서도이다.
도 12는 본 발명의 또 다른 일실시예에 따른 깊이 추정 방법을 도시한 순서도이다.
도 13은 본 발명의 일실시예에 따른 3D 영상 변환 방법을 도시한 순서도이다.
도 14은 본 발명의 또 다른 일실시예에 따른 3D 영상 변환 방법을 도시한 순서도이다.
도 15은 본 발명의 또 다른 일실시예에 따른 3D 영상 변환 방법을 도시한 순서도이다.
도 16은 본 발명의 또 다른 일실시예에 따른 3D 영상 변환 방법을 도시한 순서도이다.
도 17은 본 개시에 따른 스테레오 엔도스코프를 이용한 수술용 이미지와의 정합 속도 향상 방법을 설명하는 도면이다.
도 18 및 도 19는 스테레오 엔도스코프의 풀 에이치디 영상을 이용한 3D 가시화 속도 향상 방법을 설명하는 도면이다.

이하, 본 개시를 첨부된 도면을 참고로 하여 자세하게 설명한다(The present disclosure will now be described in detail with reference to the accompanying drawing(s)).

도 1은 본 발명의 일실시예에 따른 깊이 추정 장치의 구조를 도시한 도면이다.

도 1을 참조하면, 깊이 추정 장치(120)가 도시되어 있다.

깊이 추정 장치(120)는 특성(feature) 정보 추출부(121) 및 깊이 설정부(122)를 포함할 수 있다.

깊이 추정 장치(120)에 입력 영상(110)이 입력되면, 특성 정보 추출부(121)는 입력 영상(110)에 대한 적어도 하나의 특성 정보를 추출하여 깊이 설정부(122)로 제공한다.

본 발명의 일실시예에 따르면, 입력 영상(110)은 단안(monocular) 영상이 될 수 있다.

또한, 본 발명의 일실시예에 따르면, 특성 정보 추출부(121)가 추출하는 특성 정보는 경계(edge) 정보, 컬러(color) 정보, 휘도(luminance) 정보, 모션(motion) 정보 또는 히스토그램(histogram) 정보 등이 될 수 있다.

깊이 설정부(122)는 특성 정보 추출부(121)에서 제공되는 적어도 하나의 특성 정보를 기초로 입력 영상(110)에 대한 깊이(depth) 값을 설정한다.

결국, 본 일실시예에 따른 깊이 추정 장치(120)는 입력 영상(110)의 특성 정보를 바탕으로 입력 영상(110)에 대한 깊이 값을 설정함으로써, 2D의 입력 영상(110)을 3D 영상(Stereoscopic Video)으로 변환 할 수 있다.

본 발명의 일실시예에 따르면, 깊이 추정 장치(120)는 도 1에 도시된 실시예뿐만 아니라 다양한 실시예로 확장될 수 있다. 따라서, 이하에서는 도 2 내지 도 4를 참조하여 깊이 추정 장치(120)의 다양한 실시예에 대해 살펴보기로 한다.

도 2은 본 발명의 또 다른 일실시예에 따른 깊이 추정 장치의 구조를 도시한 도면이다.

도 2를 참조하면, 깊이 추정 장치(220)가 도시되어 있다.

깊이 추정 장치(220)는 특성 정보 추출부(223) 및 깊이 설정부(226)를 포함할 수 있다.

본 발명의 일실시예에 따르면, 깊이 설정부(226)는 깊이 맵(depth map) 초기화부(222) 및 깊이 갱신부(225)를 포함할 수 있다.

깊이 추정 장치(220)에 입력 영상(210)이 입력되면, 깊이 맵 초기화부(222)는 입력 영상(210)을 구성하는 적어도 하나의 화소(pixel)에 대한 초기 깊이 값(initial depth)을 설정하여 깊이 맵(224)에 저장한다.

본 발명의 일실시예에 따르면, 입력 영상(210)은 단안 영상일 수 있다.

또한, 본 발명의 일실시예에 따르면, 깊이 맵 초기화부(222)는 입력 영상(210) 시퀀스(sequence)의 각 프레임(frame) 마다 상기 초기 깊이 값을 설정하여 깊이 맵(224)에 저장할 수 있다.

또한, 본 발명의 일실시예에 따르면, 깊이 맵 초기화부(222)는 상기 초기 깊이 값을 하기의 수학식 1을 이용하여 설정할 수 있다.

여기서, x와 y는 입력 영상(210)을 구성하는 이미지 좌표를 의미하고, z는 깊이 값을 의미한다. 이때, z는 입력 영상(210)에 표현되는 피사체의 거리에 따라, 0부터 1사이의 값이 될 수 있다. 예컨대, 상기 피사체가 관찰자로부터 멀리 떨어져 있다면, 상기 피사체의 깊이는 깊어지고, 이 경우, z 값은 1에 가까운 값이 될 수 있다. 반대로, 상기 피사체가 관찰자 가까이 위치해 있다면, 상기 피사체의 깊이는 얕아지고, 이 경우, z 값은 0에 가까운 값이 될 수 있다. 그리고, N은 입력 영상(210)을 구성하는 이미지의 수평 라인의 개수를 의미한다.

상기 수학식 1을 살펴보면, 상기 초기 깊이 값은 입력 영상(210)을 구성하는 이미지의 y좌표 값이 의존하는 것을 알 수 있다. 일반적으로, 입력 영상(210)에 표현되는 피사체의 경우, 입력 영상(210)의 상단에 위치하는 피사체는 입력 영상(210)의 하단에 위치하는 피사체 보다 먼 거리에 위치해 있다.

따라서, 이러한 특성을 이용하여 입력 영상(210)의 상단에 위치하는 피사체를 입력 영상(210)의 하단에 위치하는 피사체보다 깊이를 깊게 함으로써, 상기 초기 깊이 값을 설정할 수 있다.

이렇게, 깊이 추정 장치(220)가 깊이 맵 초기화부(222)를 통해 상기 초기 깊이 값을 설정하여 깊이 맵(224)에 저장하면, 사용자는 깊이 맵(224)에 저장되어 있는 상기 초기 깊이 값을 이용하여 2D의 입력 영상(210)을 3D 영상으로 변환하기 위한 렌더링 작업을 수행함으로써, 입력 영상(210)을 3D 영상으로 변환할 수 있다.

하지만, 깊이 맵 초기화부(222)가 설정한 초기 깊이 값은 입력 영상(210)을 구성하는 적어도 하나의 화소들 사이의 특성을 고려하여 평활화(smoothing)된 깊이 값이 아니라는 점에서, 상기 초기 깊이 값을 이용하여 변환된 3D 영상은 다소 부정확한 깊이를 가질 수 있다.

따라서, 본 발명의 일실시예에 따른 깊이 추정 장치(220)는 깊이 맵 초기화부(222)가 설정한 초기 깊이 값을 기초로, 입력 영상(210)을 구성하는 적어도 하나의 화소들 사이의 특성 정보를 이용하여 깊이 값을 적절히 조절함으로써, 깊이가 없는 입력 영상(210)에 비교적 정확한 깊이 정보를 부여할 수 있다.

이를 위해, 특성 정보 추출부(223)는 입력 영상(210)에 대한 적어도 하나의 특성 정보를 추출하여 깊이 갱신부(225)로 제공한다.

본 발명의 일실시예에 따르면, 특성 정보 추출부(222)가 추출하는 상기 적어도 하나의 특성 정보는 경계 정보, 컬러 정보, 휘도 정보, 모션 정보 또는 히스토그램 정보 등이 될 수 있다.

그 후에, 깊이 갱신부(225)는 상기 적어도 하나의 특성 정보 및 상기 초기 깊이 값을 기초로 필터링(filtering)을 수행하여 입력 영상(210)에 대한 최종적인 깊이 값을 연산하고, 이 연산된 깊이 값을 이용하여 깊이 맵(224)을 갱신한다.

본 발명의 일실시예에 따르면, 특성 정보 추출부(222)는 상기 적어도 하나의 특성 정보를 기초로 입력 영상(210)을 구성하는 적어도 하나의 화소와 인접 화소들 사이의 가중치(weight)를 연산할 수 있다.

*이때, 본 발명의 일실시예에 따르면, 특성 정보 추출부(223)는 상기 적어도 하나의 화소와 인접 화소들 사이의 특성 정보의 유사도에 의존하도록 상기 가중치를 연산할 수 있다.

또한, 본 발명의 일실시예에 따르면, 깊이 갱신부(225)는 특성 정보 추출부(223)에서 연산된 상기 가중치를 고려하여 상기 필터링을 수행할 수 있다.

이와 관련하여, 특성 정보 추출부(223) 및 깊이 갱신부(225)의 동작을 예를 들어 상세히 설명하기로 한다.

먼저, 특성 정보 추출부(223)가 입력 영상(210)에 대한 휘도 정보를 추출하여 상기 가중치를 연산한다고 가정한다.

특성 정보 추출부(223)는 상기 휘도 정보의 유사도에 따라 입력 영상(210)을 구성하는 적어도 하나의 화소와 인접 화소들 사이의 가중치를 연산할 수 있다.

예컨대, 특성 정보 추출부(223)가 입력 영상(210)을 구성하는 a 화소와, 상기 a 화소와 인접한 x 화소, y 화소, z 화소 및 w 화소 사이의 가중치를 연산한다고 가정하자. 만약, x 화소, y 화소, z 화소 및 w 화소 순으로 상기 a 화소의 휘도와 유사하다고 하면, x 화소, y 화소, z 화소 및 w 화소 순으로 상기 가중치의 크기가 결정될 수 있다.

그리고 나서, 깊이 갱신부(225)는 깊이 맵(224)에 저장되어 있는 x 화소, y 화소, z 화소 및 w 화소의 초기 깊이 값을 특성 정보 추출부(223)에서 연산된 상기 가중치의 크기에 따라 반영하여 a 화소의 제1(a) 깊이 값을 산정한 후, 깊이 맵(224)에 저장되어 있는 a 화소의 초기 깊이 값을 상기 제1(a) 깊이 값으로 갱신할 수 있다.

이와 동시에, 깊이 갱신부(225)는 a 화소의 경우와 동일한 방법으로 x 화소, y 화소, z 화소 및 w 화소에 대해 각각의 인접 화소들과의 가중치를 고려하여 x 화소, y 화소, z 화소 및 w 화소 각각에 대한 제1(b) 깊이 값을 산정한 후, 깊이 맵(224)에 저장되어 있는 x 화소, y 화소, z 화소 및 w 화소의 초기 깊이 값을 상기 제1(b) 깊이 값으로 갱신할 수 있다.

상기 x 화소, y 화소, z 화소 및 w 화소의 초기 깊이 값이 상기 제1(b) 깊이 값으로 갱신되면, 깊이 갱신부(225)는 x 화소, y 화소, z 화소 및 w 화소의 제1(b) 깊이 값을 a 화소와, x 화소, y 화소, z 화소 및 w 화소 사이의 상기 가중치의 크기에 따라 반영하여 a 화소에 대한 새로운 제2(a) 깊이 값을 산정한 후, 깊이 맵(224)에 저장되어 있는 상기 a 화소의 제1(a) 깊이 값을 상기 제2(a) 깊이 값으로 갱신할 수 있다.

이 경우도 깊이 갱신부(225)는 a 화소의 경우와 동일한 방법으로, 깊이 맵(224)에 저장되어 있는 x 화소, y 화소, z 화소 및 w 화소의 제1(b) 깊이 값을 각각의 인접한 화소들과의 가중치를 고려하여, 제2(b) 깊이 값으로 갱신할 수 있다.

이와 같이, 깊이 갱신부(225)는 전술한 깊이 값 갱신 과정을 계속 반복 수행함으로써, 깊이 맵(224)에 저장되어 있는 깊이 값을 필터링할 수 있다.

결국, 본 발명의 일실시예에 따른 깊이 추정 장치(220)는 입력 영상(210)을 구성하는 적어도 하나의 화소에 대해, 상기 적어도 하나의 화소와, 인접한 화소들 사이의 특성 정보에 기초하여 깊이 값을 적절히 조절함으로써, 입력 영상(210)이 비교적 정확한 깊이를 갖는 3D 영상으로 변환되도록 할 수 있다.

이와 관련하여 본 발명의 일실시예에 따르면, 특성 정보 추출부(223)는 상기 가중치를 하기의 수학식 2를 이용하여 연산할 수 있다.

여기서, ω는 가중치, (x,y)는 입력 영상(210)을 구성하는 적어도 하나의 화소에 대한 좌표, (x',y')은 상기 적어도 하나의 화소에 인접한 화소에 대한 좌표, Y는 입력 영상(210)에 대한 적어도 하나의 특성 정보, σ는 필터 파라미터를 의미한다.

또한, 본 발명의 일실시예에 따르면, 깊이 갱신부(225)는 하기의 수학식 3을 이용하여 깊이 맵(224)에 저장되어 있는 깊이 값을 갱신할 수 있다.

여기서, z(x,y)는 입력 영상(210)을 구성하는 적어도 하나의 화소의 깊이, z(x',y')은 상기 적어도 하나의 화소에 인접한 화소의 깊이, ω는 가중치, k는 정규화 인자를 의미한다.

앞서 설명한 바와 같이, 깊이 갱신부(225)는 상기 수학식 3의 연산을 반복 수행함으로써, 깊이 맵(224)에 저장되어 있는 깊이 값을 갱신할 수 있다.

본 발명의 일실시예에 따르면, 깊이 맵 초기화부(222)는 상기 적어도 하나의 특성 정보를 이용하여 상기 초기 깊이 값을 설정한 후, 상기 초기 깊이 값을 깊이 맵(224)에 저장할 수 있다.

이에 따라, 깊이 맵 초기화부(222)는 다소 평활화가 수행된 초기 깊이 값을 설정할 수 있다.

결국, 본 발명의 일실시예에 따른 깊이 추정 장치(220)는 깊이 맵 초기화부(222)를 통해 다소 평활화가 수행된 초기 깊이 값을 설정함으로써, 깊이 갱신부(225)가 깊이 맵(224)에 저장된 깊이 값을 평활화하기 위해 수행해야 하는 반복 연산의 복잡성을 줄일 수 있다.

이때, 본 발명의 일실시예에 따르면, 깊이 추정 장치(220)는 특성 정보 추출부(223)이외에 또 다른 특성 정보 추출부(미도시)를 포함할 수 있다.

이 경우, 깊이 맵 초기화부(222)는 상기 또 다른 특성 정보 추출부로부터 상기 적어도 하나의 특성 정보를 제공받아 상기 초기 깊이 값을 설정할 수 있다.

본 발명의 일실시예에 따르면, 깊이 추정 장치(220)는 입력 영상(210)이 좀 더 부드러운 깊이를 갖는 3D 영상으로 변환될 수 있도록 깊이 맵(224)을 후처리하는 후처리부(미도시)를 더 포함할 수 있다.

또한, 본 발명의 일실시예에 따르면, 깊이 추정 장치(220)는 전처리부(221)를 더 포함할 수 있다.

전처리부(221)는 입력 영상(210)의 컬러 공간(color space)을 변환하거나, 입력 영상(210)이 기 설정된(predetermined) 비디오 스트림으로 인코딩된 영상인 경우 입력 영상(210)을 디코딩하여 입력 영상(210)의 모션 벡터를 추출할 수 있다.

만약, 전처리부(221)가 입력 영상(210)의 컬러 공간을 변환하는 기능을 수행하는 경우, 특성 정보 추출부(223)는 입력 영상(210)의 특성 정보를 더 정확히 추출할 수 있다.

예컨대, 입력 영상(210)이 RGB 컬러 공간이나 YCbCr 컬러 공간으로 이루어져 있는 영상인 경우, 전처리부(221)는 입력 영상(210)의 컬러 공간을 L*u*v* 컬러 공간으로 변환함으로써, 특성 정보 추출부(223)가 입력 영상(210)의 특성 정보를 더 정확히 추출하도록 할 수 있다.

또한, 전처리부(221)가 입력 영상(210)을 디코딩하여 입력 영상(210)의 모션 벡터를 추출하는 기능을 수행하는 경우, 특성 정보 추출부(223)는 상기 모션 벡터를 이용하여 입력 영상(210)의 특성 정보를 추출할 수 있다.

도 3는 본 발명의 또 다른 일실시예에 따른 깊이 추정 장치의 구조를 도시한 도면이다.

도 3을 참조하면, 깊이 추정 장치(320)가 도시되어 있다.

깊이 추정 장치(320)는 특성 정보 추출부(322), 업-스케일링부(325) 및 깊이 설정부(326)를 포함할 수 있다.

본 발명의 일실시예에 따르면, 깊이 설정부(326)는 깊이 맵 초기화부(321) 및 깊이 갱신부(324)를 포함할 수 있다.

깊이 맵 초기화부(321)는 입력 영상(310)을 구성하는 복수의 화소들을 적어도 하나의 블록(block)으로 구분한 후 상기 적어도 하나의 블록에 대한 초기 깊이 값을 설정하여 깊이 맵(323)에 저장한다.

예컨대, 입력 영상(310)을 구성하는 복수의 화소들을 a, b, c, d, e, f 화소라고 가정하면, 깊이 맵 초기화부(321)는 상기 복수의 화소들을 (a,b), (c,d), (e,f)와 같이 서로 인접한 화소들 끼리 적어도 하나의 블록으로 구분한 후 상기 적어도 하나의 블록에 대한 초기 깊이 값을 설정하여 깊이 맵(323)에 저장할 수 있다.

본 발명의 일실시예에 따르면, 입력 영상(310)은 단안 영상이 될 수 있다.

또한, 본 발명의 일실시예에 따르면, 깊이 맵 초기화부(321)는 상기 수학식 1을 이용하여 상기 초기 깊이 값을 설정할 수 있다.

이때, (x,y)는 상기 적어도 하나의 블록에 대한 좌표를 의미한다.

특성 정보 추출부(322)는 입력 영상(310)에 대한 적어도 하나의 특성 정보를 추출하여 깊이 갱신부(324)로 제공한다.

본 발명의 일실시예에 따르면, 특성 정보 추출부(322)가 추출하는 상기 적어도 하나의 특성 정보는 경계 정보, 컬러 정보, 휘도 정보, 모션 정보 또는 히스토그램 정보 등이 될 수 있다.

깊이 갱신부(324)는 특성 정보 추출부(322)에서 추출된 상기 적어도 하나의 특성 정보 및 상기 초기 깊이 값을 기초로 필터링을 수행하여 상기 적어도 하나의 블록에 대한 제2 깊이 값을 연산하고, 상기 제2 깊이 값을 이용하여 깊이 맵(323)을 갱신한다.

본 발명의 일실시예에 따르면, 특성 정보 추출부(322)는 상기 적어도 하나의 특성 정보를 기초로 상기 적어도 하나의 블록과 인접 블록들 사이의 가중치를 연산할 수 있다.

이때, 본 발명의 일실시예에 따르면, 특성 정보 추출부(322)는 상기 적어도 하나의 블록과 상기 인접 블록들 사이의 특성 정보의 유사도에 의존하도록 상기 가중치를 연산할 수 있다.

이때, 본 발명의 일실시예에 따르면, 특성 정보 추출부(322)는 상기 수학식 2를 이용하여 상기 가중치를 연산할 수 있다.

이때, (x,y)는 상기 적어도 하나의 블록에 대한 좌표, (x',y')은 상기 적어도 하나의 블록에 인접한 블록의 좌표를 의미한다.

또한, 본 발명의 일실시예에 따르면, 깊이 갱신부(324)는 특성 정보 추출부(322)에서 연산된 상기 가중치를 고려하여 상기 필터링을 수행할 수 있다.

이때, 본 발명의 일실시예에 따르면, 깊이 갱신부(324)는 상기 수학식 3을 이용하여 상기 필터링을 수행할 수 있다.

이때, (x,y)는 상기 적어도 하나의 블록에 대한 좌표, (x',y')은 상기 적어도 하나의 블록에 인접한 블록의 좌표를 의미한다.

업-스케일링부(325)는 갱신된 깊이 맵(323)을 상기 복수의 화소 단위로 업-스케일링(up-scaling)한다.

결국, 본 발명의 일실시예에 따른 깊이 추정 장치(320)는 입력 영상(310)을 구성하는 복수의 화소들을 적어도 하나의 블록으로 구분하여 깊이 맵(323)을 생성한 후 이를 업-스케일링함으로써, 비교적 단순한 연산을 통해, 입력 영상(310)을 3D 영상으로 변환하기 위한 깊이 맵을 생성할 수 있다.

본 발명의 일실시예에 따르면, 깊이 맵 초기화부(321)는 특성 정보 추출부(322)에서 추출된 상기 적어도 하나의 특성 정보를 이용하여 상기 초기 깊이 값을 설정한 후, 상기 초기 깊이 값을 깊이 맵(323)에 저장할 수 있다.

이에 따라, 깊이 맵 초기화부(321)는 다소 평활화가 수행된 초기 깊이 값을 설정할 수 있다.

결국, 본 발명의 일실시예에 따른 깊이 추정 장치(320)는 깊이 맵 초기화부(321)를 통해 다소 평활화가 수행된 초기 깊이 값을 설정함으로써, 깊이 갱신부(324)가 깊이 맵(323)에 저장된 깊이 값을 평활화하기 위해 수행해야 하는 반복 연산의 복잡성을 줄일 수 있다.

이때, 본 발명의 일실시예에 따르면, 깊이 추정 장치(320)는 특성 정보 추출부(322)이외에 또 다른 특성 정보 추출부(미도시)를 포함할 수 있다.

이 경우, 깊이 맵 초기화부(321)는 상기 또 다른 특성 정보 추출부로부터 상기 적어도 하나의 특성 정보를 제공받아 상기 초기 깊이 값을 설정할 수 있다.

본 발명의 일실시예에 따르면, 깊이 추정 장치(320)는 입력 영상(310)이 좀 더 부드러운 깊이를 갖는 3D 영상으로 변환될 수 있도록 상기 업-스케일링된 깊이 맵을 후처리하는 후처리부(미도시)를 더 포함할 수 있다.

또한, 본 발명의 일실시예에 따르면, 깊이 추정 장치(320)는 전처리부(미도시)를 더 포함할 수 있다.

*상기 전처리부는 입력 영상(320)의 컬러 공간을 변환하거나, 입력 영상(320)이 기 설정된 비디오 스트림으로 인코딩된 영상인 경우, 입력 영상(320)을 디코딩하여 입력 영상(320)의 모션 벡터를 추출할 수 있다.

만약, 상기 전처리부가 입력 영상(320)의 컬러 공간을 변환하는 기능을 수행하는 경우, 특성 정보 추출부(322)는 입력 영상(310)의 특성 정보를 더 정확히 추출할 수 있다.

예컨대, 입력 영상(320)이 RGB 컬러 공간이나 YCbCr 컬러 공간으로 이루어져 있는 영상인 경우, 상기 전처리부는 입력 영상(320)의 컬러 공간을 L*u*v* 컬러 공간으로 변환함으로써, 특성 정보 추출부(322)가 입력 영상(310)의 특성 정보를 더 정확히 추출하도록 할 수 있다.

또한, 상기 전처리부가 입력 영상(310)을 디코딩하여 입력 영상(310)의 모션 벡터를 추출하는 기능을 수행하는 경우, 특성 정보 추출부(322)는 상기 모션 벡터를 이용하여 입력 영상(310)의 특성 정보를 추출할 수 있다.

도 4은 본 발명의 또 다른 일실시예에 따른 깊이 추정 장치의 구조를 도시한 도면이다.

도 4을 참조하면, 깊이 추정 장치(430)가 도시되어 있다.

깊이 추정 장치(430)는 특성 정보 추출부(438) 및 깊이 설정부(442)를 포함할 수 있다.

이때, 본 발명의 일실시예에 따르면, 깊이 설정부(442)는 깊이 맵 초기화부(437) 및 깊이 갱신부(440)를 포함할 수 있다.

깊이 맵 초기화부(437)는 입력 영상(410)을 구성하는 적어도 하나의 화소에 대한 초기 깊이 값을 설정하여 깊이 맵(439)에 저장한다.

본 발명의 일실시예에 따르면, 입력 영상(410)은 단안 영상이 될 수 있다.

특성 정보 추출부(438)는 입력 영상(410)에 대한 적어도 하나의 특성 정보를 추출하여 깊이 갱신부(440)로 제공한다.

본 발명의 일실시예에 따르면, 특성 정보 추출부(438)가 추출하는 상기 적어도 하나의 특성 정보는 경계 정보, 컬러 정보, 휘도 정보, 모션 정보 또는 히스토그램 정보 등이 될 수 있다.

깊이 갱신부(440)는 상기 적어도 하나의 특성 정보 및 상기 초기 깊이 값을 기초로 필터링을 수행하여 입력 영상(410)에 대한 최종적인 깊이 값을 연산하고, 상기 깊이 값을 이용하여 깊이 맵(439)을 갱신한다.

본 발명의 일실시예에 따르면, 특성 정보 추출부(438)는 상기 적어도 하나의 특성 정보를 기초로 입력 영상(410)을 구성하는 적어도 하나의 화소와 인접 화소들 사이의 가중치를 연산할 수 있다.

이때, 본 발명의 일실시예에 따르면, 특성 정보 추출부(438)는 상기 적어도 하나의 화소와 상기 인접 화소들 사이의 특성 정보의 유사도에 의존하도록 상기 가중치를 연산할 수 있다.

이때, 본 발명의 일실시예에 따르면, 특성 정보 추출부(438)는 상기 수학식 2를 이용하여 상기 가중치를 연산할 수 있다.

또한, 본 발명의 일실시예에 따르면, 깊이 갱신부(440)는 상기 가중치를 고려하여 상기 필터링을 수행할 수 있다.

이때, 본 발명의 일실시예에 따르면, 깊이 갱신부(440)는 상기 수학식 3을 이용하여 상기 필터링을 수행할 수 있다.

본 발명의 일실시예에 따른 깊이 추정 장치(430)는 전술한 바와 같이, 깊이 맵 초기화부(437)가 상기 초기 깊이 값을 설정하면, 깊이 갱신부(440)가 상기 적어도 하나의 특성 정보를 이용하여 깊이 맵(439)을 갱신함으로써, 입력 영상(410)에 대한 깊이 값을 추정할 수 있다.

또한, 본 발명의 일실시예에 따른 깊이 추정 장치(430)는 입력 영상(410)을 다운-스케일링(down-scaling)하고, 상기 다운-스케일링된 입력 영상에 대한 제2 깊이 값을 추정한 후 상기 제2 깊이 값을 상기 초기 깊이 값으로 이용함으로써, 입력 영상(410)의 깊이 값 추정을 위한 연산 과정을 간소화할 수 있다.

이와 관련하여, 본 발명의 일실시예에 따른 깊이 추정 장치(430)는 다운-스케일링부(431), 제2 특성 정보 추출부(433), 제2 깊이 설정부(441) 및 업-스케일링부(436)를 더 포함할 수 있다.

이때, 본 발명의 일실시예에 따르면, 제2 깊이 설정부(441)는 제2 깊이 맵 초기화부(432), 제2 깊이 갱신부(435)를 포함할 수 있다.

다운-스케일링부(431)는 깊이 추정 장치(430)로 입력되는 입력 영상(410)을 기 설정된 해상도로 다운-스케일링한다.

예컨대, 입력 영상(410)의 해상도가 1024x768이라면, 다운-스케일링부(431)는 입력 영상(410)을 800x600의 해상도로 다운-스케일링할 수 있다.

제2 깊이 맵 초기화부(432)는 다운-스케일링부(431)에 의해 다운-스케일링된 입력 영상(420)을 구성하는 적어도 하나의 화소에 대한 제2 초기 깊이 값을 설정하여 제2 깊이 맵(434)에 저장한다.

본 발명의 일실시예에 따르면, 제2 깊이 맵 초기화부(432)는 상기 수학식 1을 이용하여 상기 제2 초기 깊이 값을 설정할 수 있다.

제2 특성 정보 추출부(433)는 다운-스케일링된 입력 영상(420)에 대한 적어도 하나의 제2 특성 정보를 추출하여 제2 깊이 갱신부(435)로 제공한다.

본 발명의 일실시예에 따르면, 제2 특성 정보 추출부(433)가 추출하는 상기 적어도 하나의 제2 특성 정보는 경계 정보, 컬러 정보, 휘도 정보, 모션 정보 또는 히스토그램 정보 등이 될 수 있다.

제2 깊이 갱신부(435)는 상기 적어도 하나의 제2 특성 정보 및 상기 제2 초기 깊이 값을 기초로 필터링을 수행하여 다운-스케일링된 입력 영상(420)에 대한 제2 깊이 값을 연산하고, 상기 제2 깊이 값을 이용하여 제2 깊이 맵(434)을 갱신한다.

본 발명의 일실시예에 따르면, 제2 특성 정보 추출부(433)는 상기 적어도 하나의 제2 특성 정보를 기초로 다운-스케일링된 입력 영상(420)을 구성하는 적어도 하나의 화소와 인접 화소들 사이의 제2 가중치를 연산할 수 있다.

이때, 본 발명의 일실시예에 따르면, 제2 특성 정보 추출부(433)는 상기 적어도 하나의 화소와 인접 화소들 사이의 특성 정보의 유사도에 의존하도록 상기 제2 가중치를 연산할 수 있다.

이때, 본 발명의 일실시예에 따르면, 제2 특성 정보 추출부(433)는 상기 수학식 2를 이용하여 상기 제2 가중치를 연산할 수 있다.

또한, 본 발명의 일실시예에 따르면, 제2 깊이 갱신부(435)는 상기 제2 가중치를 고려하여 상기 필터링을 수행할 수 있다.

이때, 본 발명의 일실시예에 따르면, 제2 깊이 갱신부(435)는 상기 수학식 3을 이용하여 상기 필터링을 수행할 수 있다.

업-스케일링부(436)는 갱신된 제2 깊이 맵(434)을 입력 영상(410)에 대한 해상도를 기반으로 업-스케일링하여 깊이 맵 초기화부(437)로 제공한다.

이때, 본 발명의 일실시예에 따르면, 업-스케일링부(436)는 상기 적어도 하나의 제2 특성 정보 및 상기 적어도 하나의 특성 정보를 이용하여 제2 깊이 맵(434)을 업-스케일링할 수 있다.

업-스케일링부(436)가 갱신된 제2 깊이 맵(434)을 업-스케일링하면, 깊이 맵 초기화부(437)는 상기 업-스케일링된 제2 깊이 맵에 저장된 깊이 값을 입력 영상(410)을 구성하는 적어도 하나의 화소에 대한 초기 깊이 값으로 설정하여 깊이 맵(439)에 저장한다.

이와 같이, 본 발명의 일실시예에 따른 깊이 추정 장치(430)는 어느 정도 필터링이 이루어진 깊이 값을 상기 초기 깊이 값으로 설정함으로써, 깊이 갱신부(440)가 입력 영상(410)에 대한 깊이 값을 필터링하여 깊이 맵(439)을 갱신하기 위해 수행해야 하는 연산의 복잡도를 줄일 수 있다.

결국, 본 발명의 일실시예에 따른 깊이 추정 장치(430)는 입력 영상(410)을 다운-스케일링한 후, 초기 깊이 맵을 생성하는 복합적인 접근 방법을 이용하여 최종적으로 깊이 맵을 생성함으로써, 입력 영상(410)의 깊이를 추정하기 위한 전반적인 연산 과정을 줄일 수 있다.

여기서, 도 4에 도시된 깊이 추정 장치(430)는 입력 영상(410)을 1회 다운-스케일링하여 깊이 맵을 생성하는 것으로 도시되어 있으나, 본 발명이 반드시 이에 한정되는 것은 아니다.

즉, 본 발명의 일실시예에 따르면, 깊이 추정 장치(430)는 입력 영상(410)을 n회 다운-스케일링하고, n번째 다운-스케일링된 입력 영상으로부터 깊이 맵을 생성하여 이를 업-스케일링함으로써, n-1번째 다운-스케일링된 입력 영상의 깊이 맵 생성을 위한 초기 깊이 맵으로 사용할 수 있다. 그리고, n-1번째 다운-스케일링된 입력 영상의 깊이 맵의 경우에도 이를 업-스케일링하여 n-2번째 다운 스케일링된 입력 영상의 깊이 맵 생성을 위한 초기 깊이 맵으로 사용할 수 있다.

결국, 본 발명의 일실시예에 따른 깊이 추정 장치(430)는 전술한 과정을 반복 수행하여 생성한 깊이 맵을 최종적으로 입력 영상(410)의 깊이 맵 생성을 위한 초기 깊이 맵으로 사용함으로써, 입력 영상(410)의 깊이를 추정하기 위해 수행해야 하는 연산을 간소화할 수 있다.

이상으로, 도 1 내지 도 4를 참조하여 깊이 추정 장치에 대한 본 발명의 다양한 실시예에 대해 살펴보았다. 이하에서는 도 5 내지 도 8을 참조하여 상기 깊이 추정 장치를 이용하여 입력 영상을 3D 영상으로 변환하는 3D 영상 변환 장치에 대한 본 발명의 다양한 실시예에 대해 살펴보기로 한다.

도 5은 본 발명의 일실시예에 따른 3D 영상 변환 장치의 구조를 도시한 도면이다.

도 5을 참조하면, 3D 영상 변환 장치(520)가 도시되어 있다.

3D 영상 변환 장치(520)는 특성 정보 추출부(521), 깊이 설정부(522) 및 렌더링부(523)를 포함할 수 있다.

3D 영상 변환 장치(520)에 입력 영상(510)이 입력되면, 특성 정보 추출부(521)는 입력 영상(510)에 대한 적어도 하나의 특성 정보를 추출하여 깊이 설정부(522)로 제공한다.

본 발명의 일실시예에 따르면, 입력 영상(510)은 단안 영상일 수 있다.

또한, 본 발명의 일실시예에 따르면, 상기 특성 정보는 경계 정보, 컬러 정보, 휘도 정보, 모션 정보 또는 히스토그램 정보 등이 될 수 있다.

깊이 설정부(522)는 특성 정보 추출부(521)로부터 제공되는 상기 적어도 하나의 특성 정보를 기초로 입력 영상(510)에 대한 깊이 값을 설정한다.

결국, 본 발명의 일실시예에 따른 3D 영상 변환 장치(520)는 입력 영상(510)의 특성 정보를 바탕으로 입력 영상(510)에 대한 깊이 값을 설정하고, 상기 깊이 값을 이용하여 2D의 입력 영상(510)을 3D 영상으로 렌더링함으로써, 입력 영상(510)이 3D 영상으로 변환되도록 할 수 있다.

본 발명의 일실시예에 따르면, 3D 영상 변환 장치(520)는 도 5에 도시된 실시예뿐만 아니라 다양한 실시예로 확장될 수 있다. 따라서, 이하에서는 도 6 내지 도 8를 참조하여 3D 영상 변환 장치(520)의 다양한 실시예에 대해 살펴보기로 한다.

도 6은 본 발명의 또 다른 일실시예에 따른 3D 영상 변환 장치의 구조를 도시한 도면이다.

도 6를 참조하면, 3D 영상 변환 장치(620)가 도시되어 있다.

3D 영상 변환 장치(620)는 특성 정보 추출부(622), 렌더링부(625), 및 깊이 설정부(626)를 포함할 수 있다.

본 발명의 일실시예에 따르면, 깊이 설정부(626)는 깊이 맵 초기화부(621), 깊이 갱신부(624)를 포함할 수 있다.

3D 영상 변환 장치(620)에 입력 영상(610)이 입력되면, 깊이 맵 초기화부(621)는 입력 영상(610)을 구성하는 적어도 하나의 화소에 대한 초기 깊이 값을 설정하여 깊이 맵(623)에 저장한다.

본 발명의 일실시예에 따르면, 입력 영상(610)은 단안 영상일 수 있다.

또한, 본 발명의 일실시예에 따르면, 깊이 맵 초기화부(621)는 입력 영상(610) 시퀀스의 각 프레임 마다 상기 초기 깊이 값을 설정하여 깊이 맵(623)에 저장할 수 있다.

또한, 본 발명의 일실시예에 따르면, 깊이 맵 초기화부(621)는 상기 초기 깊이 값을 상기 수학식 1을 이용하여 설정할 수 있다.

특성 정보 추출부(622)는 입력 영상(610)에 대한 적어도 하나의 특성 정보를 추출하여 깊이 갱신부(624)로 제공한다.

본 발명의 일실시예에 따르면, 상기 적어도 하나의 특성 정보는 경계 정보, 컬러 정보, 휘도 정보, 모션 정보 또는 히스토그램 정보 등이 될 수 있다.

깊이 갱신부(624)는 상기 적어도 하나의 특성 정보 및 상기 초기 깊이 값을 기초로 필터링을 수행하여 입력 영상(610)에 대한 최종적인 깊이 값을 연산하고, 이 연산된 깊이 값을 이용하여 깊이 맵(623)을 갱신한다.

본 발명의 일실시예에 따르면, 특성 정보 추출부(622)는 상기 적어도 하나의 특성 정보를 기초로 입력 영상(610)을 구성하는 적어도 하나의 화소와 인접 화소들 사이의 가중치를 연산할 수 있다.

또한, 본 발명의 일실시예에 따르면, 특성 정보 추출부(622)는 상기 적어도 하나의 화소와 인접 화소들 사이의 특성 정보의 유사도에 의존하도록 상기 가중치를 연산할 수 있다.

이때, 본 발명의 일실시예에 따르면, 특성 정보 추출부(622)는 상기 수학식 2를 이용하여 상기 가중치를 연산할 수 있다.

또한, 본 발명의 일실시예에 따르면, 깊이 갱신부(624)는 상기 가중치를 고려하여 상기 필터링을 수행할 수 있다.

이때, 본 발명의 일실시예에 따르면, 깊이 갱신부(624)는 상기 수학식 3을 이용하여 상기 필터링을 수행할 수 있다.

렌더링부(625)는 깊이 갱신부(624)에 의해 갱신된 깊이 맵(623)을 이용하여 입력 영상(610)을 3D 영상으로 렌더링한다.

본 발명의 일실시예에 따르면, 깊이 맵 초기화부(621)는 상기 적어도 하나의 특성 정보를 이용하여 상기 초기 깊이 값을 설정한 후, 상기 초기 깊이 값을 깊이 맵(623)에 저장할 수 있다.

이에 따라, 깊이 맵 초기화부(621)는 다소 평활화가 수행된 초기 깊이 값을 설정할 수 있다.

결국, 본 발명의 일실시예에 따른 3D 영상 변환 장치(620)는 깊이 맵 초기화부(621)를 통해 다소 평활화가 수행된 초기 깊이 값을 설정함으로써, 깊이 갱신부(624)가 깊이 맵(623)에 저장된 깊이 값을 평활화하기 위해 수행해야 하는 반복 연산의 복잡성을 줄일 수 있다.

이때, 본 발명의 일실시예에 따르면, 3D 영상 변환 장치(620)는 특성 정보 추출부(622)이외에 또 다른 특성 정보 추출부(미도시)를 포함할 수 있다.

이 경우, 깊이 맵 초기화부(621)는 상기 또 다른 특성 정보 추출부로부터 상기 적어도 하나의 특성 정보를 제공받아 상기 초기 깊이 값을 설정할 수 있다.

본 발명의 일실시예에 따르면, 3D 영상 변환 장치(620)는 입력 영상(610)이 좀 더 부드러운 깊이를 갖는 3D 영상으로 변환될 수 있도록 깊이 맵(623)을 후처리하는 후처리부(미도시)를 더 포함할 수 있다.

또한, 본 발명의 일실시예에 따르면, 3D 영상 변환 장치(620)는 전처리부(미도시)를 더 포함할 수 있다.

이러한 전처리부는 입력 영상(610)의 컬러 공간을 변환하거나 입력 영상(610)이 기 설정된 비디오 스트림으로 인코딩된 영상인 경우, 입력 영상(610)을 디코딩하여 입력 영상(610)의 모션 벡터를 추출한다.

만약, 상기 전처리부가 입력 영상(610)의 컬러 공간을 변환하는 기능을 수행하는 경우, 특성 정보 추출부(622)는 입력 영상(610)의 특성 정보를 더 정확히 추출할 수 있다.

예컨대, 입력 영상(610)이 RGB 컬러 공간이나 YCbCr 컬러 공간으로 이루어져 있는 영상인 경우, 상기 전처리부는 입력 영상(610)의 컬러 공간을 L*u*v* 컬러 공간으로 변환함으로써, 특성 정보 추출부(622)가 입력 영상(610)의 특성 정보를 더 정확히 추출하도록 할 수 있다.

또한, 상기 전처리부가 입력 영상(610)을 디코딩하여 입력 영상(610)의 모션 벡터를 추출하는 기능을 수행하는 경우, 특성 정보 추출부(622)는 상기 모션 벡터를 이용하여 입력 영상(610)의 특성 정보를 추출할 수 있다.

도 7는 본 발명의 또 다른 일실시예에 따른 3D 영상 변환 장치의 구조를 도시한 도면이다.

도 7을 참조하면, 3D 영상 변환 장치(720)가 도시되어 있다.

3D 영상 변환 장치(720)는 특성 정보 추출부(722), 업-스케일링부(725), 렌더링부(726) 및 깊이 설정부(727)를 포함할 수 있다.

본 발명의 일실시예에 따르면, 깊이 설정부(727)는 깊이 맵 초기화부(721), 깊이 갱신부(724)를 포함할 수 있다.

깊이 맵 초기화부(721)는 입력 영상(710)을 구성하는 복수의 화소들을 적어도 하나의 블록으로 구분한 후 상기 적어도 하나의 블록에 대한 초기 깊이 값을 설정하여 깊이 맵(723)에 저장한다.

예컨대, 입력 영상(710)을 구성하는 복수의 화소들을 a, b, c, d, e, f 화소라고 가정하면, 깊이 맵 초기화부(721)는 상기 복수의 화소들을 (a,b), (c,d), (e,f)와 같이 서로 인접한 화소들 끼리 적어도 하나의 블록으로 구분한 후 상기 적어도 하나의 블록에 대한 초기 깊이 값을 설정하여 깊이 맵(723)에 저장할 수 있다.

본 발명의 일실시예에 따르면, 입력 영상(710)은 단안 영상이 될 수 있다.

또한, 본 발명의 일실시예에 따르면, 깊이 맵 초기화부(721)는 상기 수학식 1을 이용하여 상기 초기 깊이 값을 설정할 수 있다.

이때, (x,y)는 상기 적어도 하나의 블록에 대한 좌표를 의미한다.

특성 정보 추출부(722)는 입력 영상(710)에 대한 적어도 하나의 특성 정보를 추출하여 깊이 갱신부(724)로 제공한다.

본 발명의 일실시예에 따르면, 특성 정보 추출부(722)가 추출하는 상기 적어도 하나의 특성 정보는 경계 정보, 컬러 정보, 휘도 정보, 모션 정보 또는 히스토그램 정보 등이 될 수 있다.

깊이 갱신부(724)는 상기 적어도 하나의 특성 정보 및 상기 초기 깊이 값을 기초로 필터링을 수행하여 상기 적어도 하나의 블록에 대한 제2 깊이 값을 연산하고, 상기 제2 깊이 값을 이용하여 깊이 맵(723)을 갱신한다.

본 발명의 일실시예에 따르면, 특성 정보 추출부(722)는 상기 적어도 하나의 특성 정보를 기초로 상기 적어도 하나의 블록과 인접 블록들 사이의 가중치를 연산할 수 있다.

이때, 본 발명의 일실시예에 따르면, 특성 정보 추출부(722)는 상기 적어도 하나의 블록과 상기 인접 블록들 사이의 특성 정보의 유사도에 의존하도록 상기 가중치를 연산할 수 있다.

이때, 본 발명의 일실시예에 따르면, 특성 정보 추출부(722)는 상기 수학식 2를 이용하여 상기 가중치를 연산할 수 있다.

이때, (x,y)는 상기 적어도 하나의 블록에 대한 좌표, (x',y')은 상기 적어도 하나의 블록에 인접한 블록의 좌표를 의미한다.

또한, 본 발명의 일실시예에 따르면, 깊이 갱신부(724)는 상기 가중치를 고려하여 상기 필터링을 수행할 수 있다.

이때, 본 발명의 일실시예에 따르면, 깊이 갱신부(724)는 상기 수학식 3을 이용하여 상기 필터링을 수행할 수 있다.

이때, (x,y)는 상기 적어도 하나의 블록에 대한 좌표, (x',y')은 상기 적어도 하나의 블록에 인접한 블록의 좌표를 의미한다.

업-스케일링부(725)는 갱신된 깊이 맵(723)을 상기 복수의 화소 단위로 업-스케일링한다.

렌더링부(726)는 상기 업-스케일링된 깊이 맵을 이용하여 입력 영상(710)을 3D 영상으로 렌더링한다.

결국, 본 발명의 일실시예에 따른 3D 영상 변환 장치(720)는 입력 영상(710)을 구성하는 복수의 화소들을 적어도 하나의 블록으로 구분하여 깊이 맵(723)을 생성한 후 이를 업-스케일링함으로써, 비교적 단순한 연산을 통해 입력 영상(710)을 3D 영상으로 변환할 수 있다.

본 발명의 일실시예에 따르면, 깊이 맵 초기화부(721)는 상기 적어도 하나의 특성 정보를 이용하여 상기 초기 깊이 값을 설정한 후, 상기 초기 깊이 값을 깊이 맵(723)에 저장할 수 있다.

이에 따라, 깊이 맵 초기화부(721)는 다소 평활화가 수행된 초기 깊이 값을 설정할 수 있다.

결국, 본 발명의 일실시예에 따른 3D 영상 변환 장치(720)는 깊이 맵 초기화부(721)를 통해 다소 평활화가 수행된 초기 깊이 값을 설정함으로써, 깊이 갱신부(724)가 깊이 맵(723)에 저장된 깊이 값을 평활화하기 위해 수행해야 하는 반복 연산의 복잡성을 줄일 수 있다.

이때, 본 발명의 일실시예에 따르면, 3D 영상 변환 장치(720)는 특성 정보 추출부(722)이외에 또 다른 특성 정보 추출부(미도시)를 포함할 수 있다.

이 경우, 깊이 맵 초기화부(721)는 상기 또 다른 특성 정보 추출부로부터 상기 적어도 하나의 특성 정보를 제공받아 상기 초기 깊이 값을 설정할 수 있다.

본 발명의 일실시예에 따르면, 3D 영상 변환 장치(720)는 입력 영상(710)이 좀 더 부드러운 깊이를 갖는 3D 영상으로 변환될 수 있도록 업-스케일링된 깊이 맵을 후처리하는 후처리부(미도시)를 더 포함할 수 있다.

또한, 본 발명의 일실시예에 따르면, 3D 영상 변환 장치(720)는 전처리부(미도시)를 더 포함할 수 있다.

상기 전처리부는 입력 영상(710)의 컬러 공간을 변환하거나 입력 영상(610)이 기 설정된 비디오 스트림으로 인코딩된 영상인 경우, 입력 영상(710)을 디코딩하여 입력 영상(710)의 모션 벡터를 추출한다.

만약, 상기 전처리부가 입력 영상(710)의 컬러 공간을 변환하는 기능을 수행하는 경우, 특성 정보 추출부(722)는 입력 영상(710)의 특성 정보를 더 정확히 추출할 수 있다.

예컨대, 입력 영상(710)이 RGB 컬러 공간이나 YCbCr 컬러 공간으로 이루어져 있는 영상인 경우, 상기 전처리부는 입력 영상(710)의 컬러 공간을 L*u*v* 컬러 공간으로 변환함으로써, 특성 정보 추출부(722)가 입력 영상(710)의 특성 정보를 더 정확히 추출하도록 할 수 있다.

또한, 상기 전처리부가 입력 영상(710)을 디코딩하여 입력 영상(710)의 모션 벡터를 추출하는 기능을 수행하는 경우, 특성 정보 추출부(722)는 상기 모션 벡터를 이용하여 입력 영상(710)의 특성 정보를 추출할 수 있다.

도 8은 본 발명의 또 다른 일실시예에 따른 3D 영상 변환 장치의 구조를 도시한 도면이다.

도 8을 참조하면, 3D 영상 변환 장치(830)가 도시되어 있다.

3D 영상 변환 장치(830)는 특성 정보 추출부(838), 깊이 설정부(843) 및 렌더링부(841)를 포함할 수 있다.

이때, 본 발명의 일실시예에 따르면, 깊이 설정부(843)는 깊이 맵 초기화부(837) 및 깊이 갱신부(840)를 포함할 수 있다.

깊이 맵 초기화부(837)는 입력 영상(810)을 구성하는 적어도 하나의 화소에 대한 초기 깊이 값을 설정하여 깊이 맵(839)에 저장한다.

본 발명의 일실시예에 따르면, 입력 영상(810)은 단안 영상이 될 수 있다.

특성 정보 추출부(838)는 입력 영상(810)에 대한 적어도 하나의 특성 정보를 추출하여 깊이 갱신부(840)로 제공한다.

본 발명의 일실시예에 따르면, 상기 적어도 하나의 특성 정보는 경계 정보, 컬러 정보, 휘도 정보, 모션 정보 또는 히스토그램 정보 등이 될 수 있다.

깊이 갱신부(840)는 상기 적어도 하나의 특성 정보 및 상기 초기 깊이 값을 기초로 필터링을 수행하여 입력 영상(810)에 대한 깊이 값을 연산하고, 상기 깊이 값을 이용하여 깊이 맵(839)을 갱신한다.

본 발명의 일실시예에 따르면, 특성 정보 추출부(838)는 상기 적어도 하나의 특성 정보를 기초로 입력 영상(810)을 구성하는 적어도 하나의 화소와 인접 화소들 사이의 가중치를 연산할 수 있다.

이때, 본 발명의 일실시예에 따르면, 특성 정보 추출부(838)는 상기 적어도 하나의 화소와 상기 인접 화소들 사이의 특성 정보의 유사도에 의존하도록 상기 가중치를 연산할 수 있다.

이때, 본 발명의 일실시예에 따르면, 특성 정보 추출부(838)는 상기 수학식 2를 이용하여 상기 가중치를 연산할 수 있다.

또한, 본 발명의 일실시예에 따르면, 깊이 갱신부(840)는 상기 가중치를 고려하여 상기 필터링을 수행할 수 있다.

이때, 본 발명의 일실시예에 따르면, 깊이 갱신부(840)는 상기 수학식 3을 이용하여 상기 필터링을 수행할 수 있다.

렌더링부(841)는 갱신된 깊이 맵(839)을 이용하여 입력 영상(810)을 3D 영상으로 렌더링한다.

본 발명의 일실시예에 따른 깊이 추정 장치(830)는 전술한 바와 같이, 깊이 맵 초기화부(837)가 상기 초기 깊이 값을 설정하면, 깊이 갱신부(840)가 상기 적어도 하나의 특성 정보를 이용하여 깊이 맵(839)을 갱신함으로써, 입력 영상(810)에 대한 깊이 값을 추정할 수 있다.

또한, 본 발명의 일실시예에 따른 깊이 추정 장치(830)는 입력 영상(810)을 다운-스케일링하고, 상기 다운-스케일링된 입력 영상에 대한 제2 깊이 값을 추정한 후 상기 제2 깊이 값을 상기 초기 깊이 값으로 이용함으로써, 입력 영상(810)의 깊이 값 추정을 위한 연산 과정을 간소화할 수 있다.

이와 관련하여, 본 발명의 일실시예에 따른 깊이 추정 장치(830)는 다운-스케일링부(831), 제2 특성 정보 추출부(833), 제2 깊이 설정부(842) 및 업-스케일링부(836)를 더 포함할 수 있다.

이때, 본 발명의 일실시예에 따르면, 제2 깊이 설정부(842)는 제2 깊이 맵 초기화부(832) 및 제2 깊이 갱신부(835)를 포함할 수 있다.

다운-스케일링부(831)는 3D 영상 변환 장치(830)로 입력되는 입력 영상(810)을 기 설정된 해상도로 다운-스케일링한다.

예컨대, 입력 영상(810)의 해상도가 1024x768이라면, 다운-스케일링부(831)는 입력 영상(810)을 800x600의 해상도로 다운-스케일링할 수 있다.

본 발명의 일실시예에 따르면, 입력 영상(810)은 단안 영상이 될 수 있다.

제2 깊이 맵 초기화부(832)는 다운-스케일링부(831)에 의해 다운-스케일링된 입력 영상(820)을 구성하는 적어도 하나의 화소에 대한 제2 초기 깊이 값을 설정하여 제2 깊이 맵(834)에 저장한다.

본 발명의 일실시예에 따르면, 제2 깊이 맵 초기화부(832)는 상기 수학식 1을 이용하여 상기 제2 초기 깊이 값을 설정할 수 있다.

제2 특성 정보 추출부(833)는 다운-스케일링된 입력 영상(820)에 대한 적어도 하나의 제2 특성 정보를 추출하여 제2 깊이 갱신부(835)로 제공한다.

본 발명의 일실시예에 따르면, 제2 특성 정보 추출부(833)가 추출하는 상기 적어도 하나의 제2 특성 정보는 경계 정보, 컬러 정보, 휘도 정보, 모션 정보 또는 히스토그램 정보 등이 될 수 있다.

제2 깊이 갱신부(835)는 상기 적어도 하나의 제2 특성 정보 및 상기 제2 초기 깊이 값을 기초로 필터링을 수행하여 다운-스케일링된 입력 영상(820)에 대한 제2 깊이 값을 연산하고, 상기 제2 깊이 값을 이용하여 제2 깊이 맵(834)을 갱신한다.

본 발명의 일실시예에 따르면, 제2 특성 정보 추출부(833)는 상기 적어도 하나의 제2 특성 정보를 기초로 다운-스케일링된 입력 영상(820)을 구성하는 적어도 하나의 화소와 인접 화소들 사이의 제2 가중치를 연산할 수 있다.

이때, 본 발명의 일실시예에 따르면, 제2 특성 정보 추출부(833)는 상기 적어도 하나의 화소와 인접 화소들 사이의 특성 정보의 유사도에 의존하도록 상기 제2 가중치를 연산할 수 있다.

이때, 본 발명의 일실시예에 따르면, 제2 특성 정보 추출부(833)는 상기 수학식 2를 이용하여 상기 제2 가중치를 연산할 수 있다.

또한, 본 발명의 일실시예에 따르면, 제2 깊이 갱신부(835)는 상기 제2 가중치를 고려하여 필터링을 수행할 수 있다.

이때, 본 발명의 일실시예에 따르면, 제2 깊이 갱신부(835)는 상기 수학식 3을 이용하여 상기 필터링을 수행할 수 있다.

업-스케일링부(836)는 갱신된 제2 깊이 맵(834)을 입력 영상(810)에 대한 해상도를 기반으로 업-스케일링하여 깊이 맵 초기화부(837)로 제공한다.

이때, 본 발명의 일실시예에 따르면, 업-스케일링부(836)는 상기 적어도 하나의 제2 특성 정보 및 상기 적어도 하나의 특성 정보를 이용하여 제2 깊이 맵(834)을 업-스케일링하여 깊이 맵 초기화부(837)로 제공한다.

업-스케일링부(836)가 갱신된 제2 깊이 맵(834)을 업-스케일링하여 제공하면, 깊이 맵 초기화부(837)는 상기 업-스케일링된 제2 깊이 맵에 저장된 깊이 값을 입력 영상(810)을 구성하는 적어도 하나의 화소에 대한 초기 깊이 값으로 설정하여 깊이 맵(839)에 저장한다.

이와 같이, 어느 정도 필터링이 이루어진 깊이 값을 상기 초기 깊이 값으로 설정함으로써, 깊이 갱신부(840)가 입력 영상(810)에 대한 깊이 값을 필터링하여 깊이 맵(839)을 갱신하기 위해 수행해야 하는 연산의 복잡도를 줄일 수 있다.

결국, 본 발명의 일실시예에 따른 3D 영상 변환 장치(830)는 입력 영상(810)을 다운-스케일링한 후, 초기 깊이 맵을 생성하는 복합적인 접근 방법을 이용하여 최종적으로 깊이 맵을 생성함으로써, 입력 영상(810)의 깊이를 추정하기 위한 전반적인 연산 과정을 줄일 수 있다.

여기서, 도 8에 도시된 3D 영상 변환 장치(830)는 입력 영상(810)을 1회 다운-스케일링하여 깊이 맵을 생성하는 것으로 도시되어 있으나, 본 발명이 반드시 이에 한정되는 것은 아니다.

즉, 본 발명의 일실시예에 따르면, 3D 영상 변환 장치(830)는 입력 영상(810)을 n회 다운-스케일링하고, n번째 다운-스케일링된 입력 영상으로부터 깊이 맵을 생성하여 이를 업-스케일링함으로써, n-1번째 다운-스케일링된 입력 영상의 깊이 맵 생성을 위한 초기 깊이 맵으로 사용할 수 있다. 그리고, n-1번째 다운-스케일링된 입력 영상의 깊이 맵의 경우에도 이를 업-스케일링하여 n-2번째 다운 스케일링된 입력 영상의 깊이 맵 생성을 위한 초기 깊이 맵으로 사용할 수 있다.

결국, 본 발명의 일실시예에 따른 3D 영상 변환 장치(830)는 전술한 과정을 반복 수행하여 생성한 깊이 맵을 최종적으로 입력 영상(810)의 깊이 맵 생성을 위한 초기 깊이 맵으로 사용함으로써, 입력 영상(810)의 깊이를 추정하기 위해 수행해야 하는 연산을 간소화할 수 있다.

도 9는 본 발명의 일실시예에 따른 깊이 추정 방법을 도시한 순서도이다.

단계(S910)에서는 입력 영상에 대한 적어도 하나의 특성 정보를 추출한다.

본 발명의 일실시예에 따르면, 상기 적어도 하나의 특성 정보는 경계 정보, 컬러 정보, 휘도 정보, 모션 정보 또는 히스토그램 정보 등이 될 수 있다.

단계(S920)에서는 단계(S910)에서 추출한 상기 적어도 하나의 특성 정보를 기초로 상기 입력 영상에 대한 깊이 값을 설정한다.

본 발명의 일실시예에 따르면, 상기 깊이 추정 방법은 도 9에 도시된 방법 이외에도 다양한 실시예로 확장될 수 있다. 따라서, 이하에서는 도 10 내지 도 12를 참조하여 깊이 추정 방법에 대한 본 발명의 다양한 실시예를 살펴보기로 한다.

도 10은 본 발명의 또 다른 일실시예에 따른 깊이 추정 방법을 도시한 순서도이다.

단계(S1010)에서는 상기 입력 영상에 대한 적어도 하나의 특성 정보를 추출한다.

본 발명의 일실시예에 따르면, 상기 적어도 하나의 특성 정보는 경계 정보, 컬러 정보, 휘도 정보, 모션 정보 또는 히스토그램 정보 등이 될 수 있다.

*단계(S1020)에서는 입력 영상을 구성하는 적어도 하나의 화소에 대한 초기 깊이 값을 설정하여 깊이 맵에 저장한다.

본 발명의 일실시예에 따르면, 단계(S1020)에서는 상기 수학식 1을 이용하여 상기 초기 깊이 값을 설정할 수 있다.

단계(S1030)에서는 상기 적어도 하나의 특성 정보 및 상기 초기 깊이 값을 기초로 필터링을 수행하여 상기 입력 영상에 대한 최종적인 깊이 값을 연산하고, 상기 깊이 값을 이용하여 상기 깊이 맵을 갱신한다.

본 발명의 일실시예에 따르면, 단계(S1010)에서는 상기 적어도 하나의 특성 정보를 기초로 상기 적어도 하나의 화소와 인접 화소들 사이의 가중치를 연산하는 단계를 포함할 수 있다.

이때, 본 발명의 일실시예에 따르면, 상기 가중치는 상기 수학식 2를 통해 연산될 수 있다.

또한, 본 발명의 일실시예에 따르면, 단계(S1030)에서는 상기 가중치를 고려하여 상기 필터링을 수행할 수 있다.

이때, 본 발명의 일실시예에 따르면, 단계(S1030)에서는 상기 수학식 3을 이용하여 상기 필터링을 수행할 수 있다.

도 11은 본 발명의 또 다른 일실시예에 따른 깊이 추정 방법을 도시한 순서도이다.

단계(S1110)에서는 입력 영상을 구성하는 복수의 화소들을 적어도 하나의 블록으로 구분한 후 상기 적어도 하나의 블록에 대한 초기 깊이 값을 설정하여 깊이 맵에 저장한다.

본 발명의 일실시예에 따르면, 단계(S1110)에서는 상기 수학식 1을 이용하여 상기 초기 깊이 값을 설정할 수 있다.

이때, (x,y)는 상기 적어도 하나의 블록에 대한 좌표를 의미한다.

*단계(S1120)에서는 상기 적어도 하나의 블록에 대한 적어도 하나의 특성 정보를 추출한다.

본 발명의 일실시예에 따르면, 상기 적어도 하나의 블록에 대한 상기 적어도 하나의 특성 정보는 경계 정보, 컬러 정보, 휘도 정보, 모션 정보 또는 히스토그램 정보 등이 될 수 있다.

단계(S1130)에서는 상기 적어도 하나의 특성 정보 및 상기 초기 깊이 값을 기초로 필터링을 수행하여 상기 적어도 하나의 블록에 대한 제2 깊이 값을 연산하고, 상기 제2 깊이 값을 이용하여 상기 깊이 맵을 갱신한다.

본 발명의 일실시예에 따르면, 단계(S1120)에서는 상기 적어도 하나의 특성 정보를 기초로 상기 적어도 하나의 블록과 인접 블록들 사이의 가중치를 연산하는 단계를 포함할 수 있다.

이때, 본 발명의 일실시예에 따르면, 상기 가중치는 상기 수학식 2를 통해 연산될 수 있다.

이때, (x,y)는 상기 적어도 하나의 블록에 대한 좌표, (x',y')은 상기 적어도 하나의 블록에 인접한 블록의 좌표를 의미한다.

또한, 본 발명의 일실시예에 따르면, 단계(S1130)에서는 상기 가중치를 고려하여 상기 필터링을 수행할 수 있다.

이때, 본 발명의 일실시예에 따르면, 단계(S1130)에서는 상기 수학식 3을 이용하여 상기 필터링을 수행할 수 있다.

이때, (x,y)는 상기 적어도 하나의 블록에 대한 좌표, (x',y')은 상기 적어도 하나의 블록에 인접한 블록의 좌표를 의미한다.

단계(S1140)에서는 상기 갱신된 깊이 맵을 상기 복수의 화소 단위로 업-스케일링한다.

도 12는 본 발명의 또 다른 일실시예에 따른 깊이 추정 방법을 도시한 순서도이다.

단계(S1210)에서는 입력 영상을 기 설정된 해상도로 다운-스케일링한다.

단계(S1220)에서는 상기 다운-스케일링된 입력 영상을 구성하는 적어도 하나의 화소에 대한 제2 초기 깊이 값을 설정하여 제2 깊이 맵에 저장한다.

본 발명의 일실시예에 따르면, 단계(S1220)에서는 상기 수학식 1을 이용하여 상기 제2 초기 깊이 값을 설정할 수 있다.

단계(S1230)에서는 상기 다운-스케일링된 입력 영상에 대한 적어도 하나의 제2 특성 정보를 추출한다.

본 발명의 일실시예에 따르면, 상기 적어도 하나의 제2 특성 정보는 경계 정보, 컬러 정보, 휘도 정보, 모션 정보 또는 히스토그램 정보 등이 될 수 있다.

단계(S1240)에서는 상기 적어도 하나의 제2 특성 정보 및 상기 제2 초기 깊이 값을 기초로 필터링을 수행하여 상기 다운-스케일링된 입력 영상에 대한 제2 깊이 값을 연산하고, 상기 제2 깊이 값을 이용하여 상기 제2 깊이 맵을 갱신한다.

본 발명의 일실시예에 따르면, 단계(S1230)에서는 상기 적어도 하나의 제2 특성 정보를 기초로 상기 적어도 하나의 화소와 인접 화소들 사이의 제2 가중치를 연산하는 단계를 포함할 수 있다.

이때, 본 발명의 일실시예에 따르면, 상기 제2 가중치는 상기 수학식 2를 통해 연산될 수 있다.

또한, 본 발명의 일실시예에 따르면, 단계(S1240)에서는 상기 제2 가중치를 고려하여 상기 필터링을 수행할 수 있다.

이때, 본 발명의 일실시예에 따르면, 단계(S1240)에서는 상기 수학식 3을 이용하여 상기 필터링을 수행할 수 있다.

단계(S1250)에서는 상기 갱신된 제2 깊이 맵을 상기 입력 영상에 대한 해상도를 기반으로 업-스케일링한다.

단계(S1260)에서는 상기 입력 영상에 대한 적어도 하나의 특성 정보를 추출한다.

본 발명의 일실시예에 따르면, 상기 적어도 하나의 특성 정보는 경계 정보, 컬러 정보, 휘도 정보, 모션 정보 또는 히스토그램 정보 등이 될 수 있다.

단계(S1270)에서는 상기 업-스케일링된 제2 깊이 맵에 저장된 깊이 값을 상기 입력 영상을 구성하는 적어도 하나의 화소에 대한 초기 깊이 값으로 설정하여 깊이 맵에 저장한다.

단계(S1280)에서는 상기 적어도 하나의 특성 정보 및 상기 초기 깊이 값을 기초로 필터링을 수행하여 상기 입력 영상에 대한 최종적인 깊이 값을 연산하고, 상기 깊이 값을 이용하여 상기 깊이 맵을 갱신한다.

본 발명의 일실시예에 따르면, 단계(S1260)에서는 상기 적어도 하나의 특성 정보를 기초로 상기 적어도 하나의 화소와 인접 화소들 사이의 가중치를 연산하는 단계를 포함할 수 있다.

이때, 본 발명의 일실시예에 따르면, 상기 가중치는 상기 수학식 2를 통해 연산될 수 있다.

또한, 본 발명의 일실시예에 따르면, 단계(S1280)에서는 상기 가중치를 고려하여 상기 필터링을 수행할 수 있다.

이때, 본 발명의 일실시예에 따르면, 단계(S1280)에서는 상기 수학식 3을 이용하여 상기 필터링을 수행할 수 있다.

이상으로, 도 9 내지 도 12를 참조하여 깊이 추정 방법에 대한 본 발명의 다양한 실시예들을 살펴보았다. 이하에서는 도 13 내지 도 16을 참조하여 상기 깊이 추정 방법을 이용하여 입력 영상을 3D 영상으로 변환하는 3D 영상 변환 방법에 대한 본 발명의 다양한 실시예에 대해 살펴보기로 한다.

도 13는 본 발명의 일실시예에 따른 3D 영상 변환 방법을 도시한 순서도이다.

단계(S1310)에서는 입력 영상에 대한 적어도 하나의 특성 정보를 추출한다.

본 발명의 일실시예에 따르면, 상기 적어도 하나의 특성 정보는 경계 정보, 컬러 정보, 휘도 정보, 모션 정보 또는 히스토그램 정보 등이 될 수 있다.

단계(S1320)에서는 단계(S1310)에서 추출한 상기 적어도 하나의 특성 정보를 기초로 상기 입력 영상에 대한 깊이 값을 설정한다.

단계(S1330)에서는 상기 깊이 값을 이용하여 상기 입력 영상을 3D 영상으로 렌더링한다.

본 발명의 일실시예에 따르면, 상기 3D 영상 변환 방법은 도 13에 도시된 방법 이외에도 다양한 실시예로 확장될 수 있다. 따라서, 이하에서는 도 14 내지 도 16를 참조하여 3D 영상 변환 방법에 대한 본 발명의 다양한 실시예를 살펴보기로 한다.

도 14은 본 발명의 또 다른 일실시예에 따른 3D 영상 변환 방법을 도시한 순서도이다.

단계(S1410)에서는 상기 입력 영상에 대한 적어도 하나의 특성 정보를 추출한다.

본 발명의 일실시예에 따르면, 상기 적어도 하나의 특성 정보는 경계 정보, 컬러 정보, 휘도 정보, 모션 정보 또는 히스토그램 정보 등이 될 수 있다.

단계(S1420)에서는 입력 영상을 구성하는 적어도 하나의 화소에 대한 초기 깊이 값을 설정하여 깊이 맵에 저장한다.

본 발명의 일실시예에 따르면, 단계(S1420)에서는 상기 수학식 1을 이용하여 상기 초기 깊이 값을 설정할 수 있다.

단계(S1430)에서는 상기 적어도 하나의 특성 정보 및 상기 초기 깊이 값을 기초로 필터링을 수행하여 상기 입력 영상에 대한 최종적인 깊이 값을 연산하고, 상기 깊이 값을 이용하여 상기 깊이 맵을 갱신한다.

본 발명의 일실시예에 따르면, 단계(S1410)에서는 상기 적어도 하나의 특성 정보를 기초로 상기 적어도 하나의 화소와 인접 화소들 사이의 가중치를 연산하는 단계를 포함할 수 있다.

이때, 본 발명의 일실시예에 따르면, 상기 가중치는 상기 수학식 2를 통해 연산될 수 있다.

또한, 본 발명의 일실시예에 따르면, 단계(S1430)에서는 상기 가중치를 고려하여 상기 필터링을 수행할 수 있다.

이때, 본 발명의 일실시예에 따르면, 단계(S1430)에서는 상기 수학식 3을 이용하여 상기 필터링을 수행할 수 있다.

단계(S1440)에서는 상기 갱신된 깊이 맵을 이용하여 상기 입력 영상을 3D 영상으로 렌더링한다.

도 15은 본 발명의 또 다른 일실시예에 따른 3D 영상 변환 방법을 도시한 순서도이다.

단계(S1510)에서는 입력 영상을 구성하는 복수의 화소들을 적어도 하나의 블록으로 구분한 후 상기 적어도 하나의 블록에 대한 초기 깊이 값을 설정하여 깊이 맵에 저장한다.

본 발명의 일실시예에 따르면, 단계(S1510)에서는 상기 수학식 1을 이용하여 상기 초기 깊이 값을 설정할 수 있다.

이때, (x,y)는 상기 적어도 하나의 블록에 대한 좌표를 의미한다.

단계(S1520)에서는 상기 적어도 하나의 블록에 대한 적어도 하나의 특성 정보를 추출한다.

본 발명의 일실시예에 따르면, 상기 적어도 하나의 블록에 대한 상기 적어도 하나의 특성 정보는 경계 정보, 컬러 정보, 휘도 정보, 모션 정보 또는 히스토그램 정보 등이 될 수 있다.

단계(S1530)에서는 상기 적어도 하나의 특성 정보 및 상기 초기 깊이 값을 기초로 필터링을 수행하여 상기 적어도 하나의 블록에 대한 제2 깊이 값을 연산하고, 상기 제2 깊이 값을 이용하여 상기 깊이 맵을 갱신한다.

본 발명의 일실시예에 따르면, 단계(S1520)에서는 상기 적어도 하나의 특성 정보를 기초로 상기 적어도 하나의 블록과 인접 블록들 사이의 가중치를 연산하는 단계를 포함할 수 있다.

이때, 본 발명의 일실시예에 따르면, 상기 가중치는 상기 수학식 2를 통해 연산될 수 있다.

이때, (x,y)는 상기 적어도 하나의 블록에 대한 좌표, (x',y')은 상기 적어도 하나의 블록에 인접한 블록의 좌표를 의미한다.

또한, 본 발명의 일실시예에 따르면, 단계(S1530)에서는 상기 가중치를 고려하여 상기 필터링을 수행할 수 있다.

이때, 본 발명의 일실시예에 따르면, 단계(S1530)에서는 상기 수학식 3을 이용하여 상기 필터링을 수행할 수 있다.

이때, (x,y)는 상기 적어도 하나의 블록에 대한 좌표, (x',y')은 상기 적어도 하나의 블록에 인접한 블록의 좌표를 의미한다.

단계(S1540)에서는 상기 갱신된 깊이 맵을 상기 복수의 화소 단위로 업-스케일링한다.

단계(S1550)에서는 상기 업-스케일링된 깊이 맵을 이용하여 상기 입력 영상을 3D 영상으로 렌더링한다.

도 16는 본 발명의 또 다른 일실시예에 따른 3D 영상 변환 방법을 도시한 순서도이다.

단계(S1610)에서는 입력 영상을 기 설정된 해상도로 다운-스케일링한다.

단계(S1620)에서는 상기 다운-스케일링된 입력 영상을 구성하는 적어도 하나의 화소에 대한 제2 초기 깊이 값을 설정하여 제2 깊이 맵에 저장한다.

본 발명의 일실시예에 따르면, 단계(S1620)에서는 상기 수학식 1을 이용하여 상기 제2 초기 깊이 값을 설정할 수 있다.

단계(S1630)에서는 상기 다운-스케일링된 입력 영상에 대한 적어도 하나의 제2 특성 정보를 추출한다.

본 발명의 일실시예에 따르면, 상기 적어도 하나의 제2 특성 정보는 경계 정보, 컬러 정보, 휘도 정보, 모션 정보 또는 히스토그램 정보 등이 될 수 있다.

단계(S1640)에서는 상기 적어도 하나의 제2 특성 정보 및 상기 제2 초기 깊이 값을 기초로 필터링을 수행하여 상기 다운-스케일링된 입력 영상에 대한 제2 깊이 값을 연산하고, 상기 제2 깊이 값을 이용하여 상기 제2 깊이 맵을 갱신한다.

본 발명의 일실시예에 따르면, 단계(S1630)에서는 상기 적어도 하나의 제2 특성 정보를 기초로 상기 적어도 하나의 화소와 인접 화소들 사이의 제2 가중치를 연산하는 단계를 포함할 수 있다.

이때, 본 발명의 일실시예에 따르면, 상기 제2 가중치는 상기 수학식 2를 통해 연산될 수 있다.

또한, 본 발명의 일실시예에 따르면, 단계(S1640)에서는 상기 제2 가중치를 고려하여 상기 필터링을 수행할 수 있다.

이때, 본 발명의 일실시예에 따르면, 단계(S1640)에서는 상기 수학식 3을 이용하여 상기 필터링을 수행할 수 있다.

단계(S1650)에서는 상기 갱신된 제2 깊이 맵을 상기 입력 영상에 대한 해상도를 기반으로 업-스케일링한다.

단계(S1660)에서는 상기 입력 영상에 대한 적어도 하나의 특성 정보를 추출한다.

본 발명의 일실시예에 따르면, 상기 적어도 하나의 특성 정보는 경계 정보, 컬러 정보, 휘도 정보, 모션 정보 또는 히스토그램 정보 등이 될 수 있다.

단계(S1670)에서는 상기 업-스케일링된 제2 깊이 맵에 저장된 깊이 값을 상기 입력 영상을 구성하는 적어도 하나의 화소에 대한 초기 깊이 값으로 설정하여 깊이 맵에 저장한다.

단계(S1680)에서는 상기 적어도 하나의 특성 정보 및 상기 초기 깊이 값을 기초로 필터링을 수행하여 상기 입력 영상에 대한 최종적인 깊이 값을 연산하고, 상기 깊이 값을 이용하여 상기 깊이 맵을 갱신한다.

본 발명의 일실시예에 따르면, 단계(S1660)에서는 상기 적어도 하나의 특성 정보를 기초로 상기 적어도 하나의 화소와 인접 화소들 사이의 가중치를 연산하는 단계를 포함할 수 있다.

이때, 본 발명의 일실시예에 따르면, 상기 가중치는 상기 수학식 2를 통해 연산될 수 있다.

또한, 본 발명의 일실시예에 따르면, 단계(S1680)에서는 상기 제2 가중치를 고려하여 상기 필터링을 수행할 수 있다.

이때, 본 발명의 일실시예에 따르면, 단계(S1680)에서는 상기 수학식 3을 이용하여 상기 필터링을 수행할 수 있다.

단계(S1690)에서는 상기 갱신된 깊이 맵을 이용하여 상기 입력 영상을 3D 영상으로 렌더링할 수 있다.

도 17은 본 개시에 따른 스테레오 엔도스코프를 이용한 수술용 이미지와의 정합 속도 향상 방법을 설명하는 도면으로서, 스테레오 엔도스코프 이미지, 스테레오 엔도스코프의 광학 정보로부터 시작하여, Depth-Map과 세그멘티드 데이타의 볼륨 렌더링을 통해, 트랜스폼을 행하고, 세그멘티드 데이타의 3D 모델을 형성한다.

도 18 및 도 19는 스테레오 엔도스코프의 풀 에이치디 영상을 이용한 3D 가시화 속도 향상 방법을 설명하는 도면으로서, 스테레오 이미지 입력, 이미지 다운스케일링, 이미지 특징 정보 추출, 캘리브레이션 정보를 이용 Depth-map 추출, 이미지 업스케일링, Depth-map 이미지 출력, 3D 리컨스트럭션, 3D에 텍스쳐 맵핑, Base Line에 의한 양안 시점 생성, 시분할 방식에 의한 영상 출력을 포함한다.

깊이 추정 장치: 120

Claims (1)

1. 스테레오 엔도스코프의 풀 에이치디 영상을 이용한 3D 가시화 속도 향상 방법에 있어서, 스테레오 이미지 입력 단계; 이미지 다운스케일링 단계; 이미지 특징 정보 추출 단계; 캘리브레이션 정보를 이용 Depth-map 추출 단계; 이미지 업스케일링 단계; Depth-map 이미지 출력 단계; 3D 리컨스트럭션 단계; 3D에 텍스쳐 맵핑 단계; Base Line에 의한 양안 시점 생성 단계; 그리고, 시분할 방식에 의한 영상 출력 단계;를 포함하는 것을 특징으로 하는 스테레오 엔도스코프의 풀 에이치디 영상을 이용한 3D 가시화 속도 향상 방법.
   

Images