KR101855980B1 - 홀 채우기 방법 및 장치 - Google Patents

Abstract

본 발명은 한쌍의 컬러 영상과 깊이맵을 통해 스테레오스코픽 3차원 영상을 생성하는 과정에서, 깊이 영상기반 렌더링을 통한 영상 와핑 시 생성된 영상의 홀을 고품질로 채우기 위하여, 희소성 기반의 인페인팅을 깊이맵을 통해 적응적으로 이용하여 홀을 채우는 방법 및 장치를 개시하고 있다. 홀 채우기 방법은 스테레오스코픽 3차원 영상의 홀 영역을 채우는 방법에 있어서, 상기 3차원 영상의 깊이도를 예측하여 깊이 맵을 생성하는 깊이 맵 생성 단계; 상기 깊이 맵을 기반으로 상기 홀 영역의 깊이도를 이용하여 상기 홀 영역의 가장자리 화소의 희소성을 계산하고 상기 희소성을 기반으로 홀 채우기를 실행할 우선 순위를 결정하는 우선 순위 결정 단계; 및 상기 우선 순위에 따라 상기 3차원 영상의 홀 영역에 대해 홀 채우기를 실시하는 홀 채우기 단계를 포함한다. 따라서, 홀 주변의 배경 텍스쳐 정보만을 이용함으로써 전경과 배경이 혼합되는 기존의 인페인팅 방식의 한계를 극복하고, 또한 홀 영역의 윤곽선이 있는 영역을 우선적으로 처리함으로써 채워진 홀에서도 에지 정보를 자연스럽게 구현한다.

Description

홀 채우기 방법 및 장치{HOLE FILLING METHOD AND APPARATUS}

본 발명은 홀 채우기 방법 및 장치에 관한 것으로, 보다 상세하게는 컬러 영상과 깊이 맵을 통해 스테레오스코픽 3차원 영상을 생성하는 과정에서 생성된 영상의 홀을 고품질로 채우기 위한 방법 및 장치에 관한 것이다.

스테레오스코픽 3차원 영상을 생성하기 위한 방법중 하나는, 한쌍의 컬러 영상과 깊이맵을 얻은 후 깊이 영상기반 렌더링을 통하여 3차원 영상을 생성하는 컴퓨터 비전 기반 방법이다. 이 방법은 영상의 수직 시차에 제약을 받지 않으며, 또한 현재 화면을 분석하여 가상 시점을 생성하기 때문에 카메라 노출과 빛의 변화에 따른 컬러의 왜곡문제 또한 발생하지 않는다. 이와 같이, 깊이맵 기반의 깊이 영상기반 렌더링을 통해 3차원 영상을 생성할 경우 정확하고 높은 화질의 3차원 스테레오스코픽 영상을 얻을 수 있지만, 생성된 영상의 일부분에 시차에 따른 정보가 비어있는 문제가 발생한다. 이와 같이 비어있는 부분을 홀이라 하며, 깊이 영상기반 렌더링 기법을 통해 생성된 3차원 영상의 화질 저하에 주요 원인이 된다.

상기의 문제점을 해결하기 위해 비어있는 홀 영역을 채우는 방법들이 다양하게 제안되었다.

Layered depth-images (LDIs) 방법은 원래의 컬러 영상과 깊이맵에 추가적으로 배경의 컬러 및 깊이 정보를 포함하여 홀이 생기는 문제를 해결하는 방법으로, 고품질의 홀 영역 복원이 가능하지만 LDI용 콘텐츠 제작의 어려움 및 추가 정보로 인한 데이터 증가라는 한계를 갖는다(비특허문헌 1).

깊이맵의 평활화(smoothing) 전처리를 통해 홀을 채우는 연구 또한 최근까지 진행되고 있는데, 이러한 기법들은 전처리를 통해 깊이맵의 불연속성(discontinuity)을 완화하여 생성된 영상의 홀 영역을 축소시킴으로 인해 홀 채우기를 보다 편리하게 한다. 하지만 깊이맵의 평활화로 인해 생성된 영상에 기하학적 왜곡 현상이 발생하는 치명적인 문제점을 갖는다(비특허문헌 2 및 3).

깊이맵을 수정하지 않고 깊이 영상기반 렌더링 시 발생하는 홀을 채우는 방식으로 홀 주변 화소를 이용한 동일 화소 채우기 방법(constant color filling)이나 수평 보간법(horizontal interpolation), 깊이 정보를 이용한 수평 외삽법(horizontal extrapolation), 홀 주변의 화소 값의 평활화를 통한 라플라시안 채우기(laplacian filling), 그리고 영상의 다운샘플링과 업샘플링 반복을 통한 홀 채우기 방법 등이 있다(비특허문헌 4,5 및 6). 하지만 이러한 홀 채우기 기법은 홀 주변 및 화면 내 화소 정보 활용의 한계 때문에 발생하는 홀 영역의 텍스쳐 왜곡으로 인해 고품질의 홀 채우기 결과를 기대하기 어려우며, 홀 주변의 전경과 배경 텍스쳐가 혼합되는 문제 또한 발생한다.

J. Shade, S. Gortler, L. He, and R. Szeliski, "Layered Depth Images", in Proc. of ACM SIGGRAPH '98, pp. 231-242, (Orlando, FL, USA), July 1998. S. Lee, and Y. Ho, "Discontinuity-adaptive Depth Map Filtering for 3D View Generation", Proceedings of the 2nd International Conference on Immersive Telecommunications , 2009. 이재호, 김창익, "깊이맵의 전처리와 깊이 정보의 기하학적 분석을 통한 최적의 스테레오스코픽 영상 자동 생성 기법", 방송공학회 논문지 2009년, Vol. 14, No 2, pp. 164-177, 2009. K. Jung, Y. Park, and J. Kim, "2D/3D Mixed Service in T-DMB System Using Depth Image Based Rendering", Proceedings of the Conference on 2008 ICACT. C. Vazquez, W. J. Tam and F. Speranza, "Stereoscopic Imaging: Filling Disoccluded Areas in Depth Image-Based Rendering", Proceedings of the SPIE, Vol. 6392, pp. 63920D, 2006. M. Solh and G. AlRegib, "Hierarchical Hole-Filling(HHF): Depth Image Based Rendering without Depth Map Filtering for 3D-TV", Proceedings of the Conference on 2010 Multimedia Signal Processing (MMSP), 2010.

상술한 문제점을 해결하기 위한 본 발명의 목적은 한쌍의 컬러 영상과 깊이맵을 통해 스테레오스코픽 3차원 영상을 생성하는 과정에서, 깊이 영상기반 렌더링을 통한 영상 와핑 시 생성된 영상의 홀을 고품질로 채우기 위하여, 희소성 기반의 인페인팅을 깊이맵을 통해 적응적으로 이용하여 홀을 채우는 방법 및 장치를 제공하는 것이다.

본 발명의 다른 목적은 홀 주변의 배경 텍스쳐 정보만을 이용함으로써 전경과 배경이 혼합되어 채워지는 문제점을 방지하며, 홀 영역의 에지가 있는 영역을 우선으로 처리함으로써 채워진 홀에도 에지정보가 살아있는 고품질의 홀 채우기가 가능한 홀 채우기 방법 및 장치를 제공하는 것이다.

상기한 목적을 달성하기 위한 홀 채우기 방법은 스테레오스코픽 3차원 영상의 홀 영역을 채우는 방법에 있어서, 상기 3차원 영상의 깊이도를 예측하여 깊이 맵을 생성하는 깊이 맵 생성 단계; 상기 깊이 맵을 기반으로 상기 홀 영역의 깊이도를 이용하여 상기 홀 영역의 가장자리 화소의 희소성을 계산하고 상기 희소성을 기반으로 홀 채우기를 실행할 우선 순위를 결정하는 우선 순위 결정 단계; 및 상기 우선 순위에 따라 상기 3차원 영상의 홀 영역에 대해 홀 채우기를 실시하는 홀 채우기 단계를 포함할 수 있다.

상기 깊이 맵 생성 단계는 상기 3차원 영상이 3차원 영상 와핑을 통해 생성된 영상인 경우, 원본 컬러 화소의 수평 이동 맵핑과 원본 깊이맵 정보의 수평 이동 맵핑을 적용하여 상기 3차원 영상의 깊이맵을 생성하는 단계를 포함할 수 있다.

상기 깊이 맵 생성 단계는 상기 홀 영역의 좌측과 우측의 깊이도를 비교한 후, 낮은 깊이도를 상기 홀 영역의 깊이도로 결정하는 단계를 포함할 수 있다.

상기 우선 순위 결정 단계는 상기 홀 영역의 깊이도를 기반으로 상기 깊이도가 낮은 영역이 높은 우선 순위를 갖도록 깊이 우선 순위를 결정하는 깊이 우선 순위 결정 단계; 상기 깊이 우선 순위를 기반으로 같은 깊이도의 홀 영역의 희소성을 계산하는 희소성 계산 단계; 및 상기 깊이 우선 순위와 상기 계산된 희소성을 기반으로 최종 우선 순위를 결정하는 최종 우선 순위 결정 단계를 포함할 수 있다.

상기 희소성 계산 단계는 상기 홀 영역의 가장자리의 임의의 화소 p점을 중심으로 하는 제 1 패치를 정의하는 제 1 단계; 상기 p점을 중심으로 하는 윈도우 영역 내에 임의의 화소 p_j점을 중심으로 화소 정보가 존재하는 제 2 패치를 정의하는 제 2 단계; 상기 제 1 패치와 상기 윈도우 영역 중 화소 정보가 존재하는 영역 내의 모든 상기 p_j점에 대해 상기 제 1 패치와 상기 제 2 패치의 유사도를 계산하는 제 3 단계; 상기 유사도를 기반으로 상기 p점의 희소성을 계산하는 제 4 단계; 및 상기 p점의 희소성 계산 과정을 상기 홀 영역의 가장자리의 모든 화소에 대해 반복적용하여 상기 홀 영역의 가장자리의 모든 화소에 대한 희소성을 계산하는 제 5 단계를 포함할 수 있다.

상기 최종 우선 순위 결정 단계는 상기 홀 영역의 가장자리의 모든 화소에 대한 희소성을 기반으로 상기 홀의 가장자리의 모든 화소들의 패치 우선도를 산출하는 단계; 및 상기 패치 우선도를 기반으로 상기 최종 우선 순위를 결정하는 단계를 포함할 수 있다.

상기 제 3 단계는

(여기서, ψ_p는 p점을 중심으로 하는 패치, ψ_pj는 상기 윈도우 영역 내의 p_j점을 중심으로 하는 패치,

는 ψ에서의 화소 정보가 존재하는 영역 중 깊이도가 특정 깊이도보다 낮은 영역만을 추출하는 매트릭스, d(A,B)는 A와 B 사이의 평균 제곱 오차, Z(p)는 정규화 상수를 나타내고, σ는 상수로서 0.5의 값을 갖음)에 의해 상기 유사도를 계산하는 단계를 포함할 수 있다.

상기 제 4 단계는

(여기서,

는 A의 화소 수를 의미함)에 의해 상기 P점의 희소성을 계산하는 단계를 포함할 수 있다.

상기 홀 채우기 단계는 상기 우선 순위를 기반으로 낮은 깊이도의 홀 영역부터 홀 채우기를 실행하되, 같은 깊이도의 홀 영역이 모두 채우고 나서, 다음 깊이도의 홀 영역을 채우는 단계를 포함할 수 있다.

상기 홀 채우기 단계는 상기 패치 우선도가 가장 높은 패치를 선택하여 상기 선택된 패치를 기반으로 패치 후보-패치 후보는 상기 선택된 패치와 가장 유사한 N개의 패치를 의미함-들의 선형 결합을 통해 근사 패치를 구하는 단계; 및 상기 근사 패치를 기반으로 상기 선택된 패치의 모르는 영역을 상기 근사 패치를 이용하여 채우는 단계를 포함할 수 있다.

상기 근사 패치는

(여기서,

는 근사 패치, α는 각 패치 후보의 가중치 값을 의미함)를 통해 구할 수 있다.

상기한 목적을 달성하기 위한 홀 채우기 장치는 스테레오스코픽 3차원 영상의 홀 영역을 채우는 장치에 있어서, 상기 3차원 영상의 깊이도를 예측하여 깊이 맵을 생성하는 깊이 맵 생성부; 상기 깊이 맵을 기반으로 상기 홀 영역의 깊이도를 이용하여 상기 홀 영역의 가장자리 화소의 희소성을 계산하고 상기 희소성을 기반으로 홀 채우기를 실행할 우선 순위를 결정하는 우선 순위 결정부; 및 상기 우선 순위에 따라 상기 3차원 영상의 홀 영역에 대해 홀 채우기를 실시하는 홀 채우기부를 포함할 수 있다.

상기 깊이 맵 생성부는 상기 3차원 영상이 3차원 영상 와핑을 통해 생성된 영상인 경우, 원본 컬러 화소의 수평 이동 맵핑과 원본 깊이맵 정보의 수평 이동 맵핑을 적용하여 상기 3차원 영상의 깊이맵을 생성할 수 있다.

상기 깊이 맵 생성부는 상기 홀 영역의 좌측과 우측의 깊이도를 비교한 후, 낮은 깊이도를 상기 홀 영역의 깊이도로 결정할 수 있다.

상기 우선 순위 결정부는 상기 홀 영역의 깊이도를 기반으로 상기 깊이도가 낮은 영역이 높은 우선 순위를 갖도록 깊이 우선 순위를 결정하는 깊이 우선 순위 결정부; 상기 깊이 우선 순위를 기반으로 같은 깊이도의 홀 영역의 희소성을 계산하는 희소성 계산부; 및 상기 깊이 우선 순위와 상기 계산된 희소성을 기반으로 최종 우선 순위를 결정하는 최종 우선 순위 결정부를 포함할 수 있다.

상기 희소성 계산부는 상기 홀 영역의 가장자리의 임의의 화소 p점을 중심으로 하는 제 1 패치를 정의하는 제 1 패치 정의부; 상기 P점을 중심으로 하는 윈도우 영역 내에 임의의 화소 p_j점을 중심으로 화소 정보가 존재하는 제 2 패치를 정의하는 제 2 패치 정의부; 상기 제 1 패치와 상기 윈도우 영역 중 화소 정보가 존재하는 영역 내의 모든 상기 p_j점에 대해 상기 제 1 패치와 상기 제 2 패치의 유사도를 계산하는 유사도 계산부; 상기 유사도를 기반으로 상기 p점의 희소성을 계산하는 p점 희소성 계산부; 및 상기 p점의 희소성 계산 과정을 상기 홀 영역의 가장자리의 모든 화소에 대해 반복적용하여 상기 홀 영역의 가장자리의 모든 화소에 대한 희소성을 계산하는 전체 화소 희소성 계산부를 포함할 수 있다.

상기 최종 우선 순위 결정부는 상기 홀 영역의 가장자리의 모든 화소에 대한 희소성을 기반으로 상기 홀의 가장자리의 모든 화소들의 패치 우선도를 산출하는 패치 우선도 산출부; 및 상기 패치 우선도를 기반으로 상기 최종 우선 순위를 결정하는 순위 결정부를 포함할 수 있다.

상기 유사도 계산부는

(여기서, ψ_p는 p점을 중심으로 하는 패치, ψ_pj는 제 1 영역 내의 p_j점을 중심으로 하는 패치,

는 ψ에서의 화소 정보가 존재하는 영역 중 깊이도가 특정 깊이도보다 낮은 영역만을 추출하는 매트릭스, d(A,B)는 A와 B 사이의 평균 제곱 오차, Z(p)는 정규화 상수를 나타내고, σ는 상수로서 0.5의 값을 갖음)에 의해 상기 유사도를 계산할 수 있다.

상기 p점 희소성 계산부는

(여기서,

는 A의 화소 수를 의미함)에 의해 상기 p점의 희소성을 계산할 수 있다.

상기 홀 채우기부는 상기 우선 순위를 기반으로 낮은 깊이도의 홀 영역부터 홀 채우기를 실행하되, 같은 깊이도의 홀 영역이 모두 채우고 나서, 다음 깊이도의 홀 영역을 채울 수 있다.

상기 홀 채우기부는 상기 패치 우선도가 가장 높은 점을 선택하여 상기 선택된 패치를 기반으로 패치 후보-패치 후보는 상기 선택된 패치 ψ_p와 가장 유사한 N개의 패치를 의미함-들의 선형 결합을 통해 근사 패치를 구하는 근사 패치 산출부; 및 상기 근사 패치를 기반으로 상기 선택된 패치의 모르는 영역을 상기 근사 패치를 이용하여 채우는 채우기부를 포함할 수 있다.

상기 근사 패치는

(여기서,

는 근사패치, α는 각 패치 후보의 가중치 값을 의미함)를 통해 구할 수 있다.

본 발명의 홀 채우기 방법 및 장치에 따르면, 희소성 기반 인페인팅을 이용한 홀 채우기 기법에 포함되는 홀 채우기를 위해 생성된 영상의 홀 영역 깊이도를 예측하는 방법과, 예측된 홀 영역의 깊이도를 이용하여 홀 주변 화소의 희소성을 계산하고, 계산된 희소성에 기반 한 우선순위에 따라 배경만을 이용하는 인페인팅 알고리즘을 통해 깊이 영상기반 렌더링에서 3차원 영상 와핑 시 생성된 영상의 홀을 고품질로 채우는 효과가 있다.

또한, 본 발명의 홀 채우기 방법 및 장치에 따르면, 홀 주변의 배경 텍스쳐 정보만을 이용함으로써 전경과 배경이 혼합되는 기존의 인페인팅 방식의 한계를 극복하고, 또한 홀 영역의 윤곽선이 있는 영역을 우선적으로 처리함으로써 채워진 홀에서도 에지 정보가 자연스러운 효과가 있다.

도 1은 본 발명의 일 실시예에 따른 홀 채우기 방법의 전체적인 흐름도,
도 2는 본 발명의 일 실시예에 따른 홀 채우기 방법을 개략적으로 나타낸 흐르도,
도 3은 본 발명의 홀 채우기 방법의 깊이 맵 생성 단계를 통해 영상의 깊이 맵을 예측하는 방법을 설명하기 위한 개념도,
도 4는 본 발명의 일 실시예에 따른 홀 채우기 방법의 우선 순위 결정 단계를 구체적으로 나타낸 상세흐름도,
도 5는 본 발명의 일 실시예에 따른 홀 채우기 방법의 희소성 계산 단계를 구체적으로 나타낸 상세흐름도,
도 6은 본 발명의 일 실시예에 따른 희소성 계산 단계에서의 희소성 기반 인페인팅 알고리즘을 설명하기 위한 개념도,
도 7은 본 발명의 일 실시예에 따른 홀 채우기 방법의 최종 우선 순위 결정 단계를 구체적으로 나타낸 상세흐름도,
도 8은 본 발명의 일 실시예에 따른 홀 채우기 방법의 홀 채우기 단계를 구체적으로 나타낸 상세흐름도,
도 9는 본 발명의 일 실시예에 따른 홀 채우기 단계에서의 패치 인페인팅 알고리즘을 설명하기 위한 개념도,
도 10은 본 발명의 일 실시예에 따른 홀 채우기 장치를 개략적으로 나타낸 블록도,
도 11은 본 발명의 일 실시예에 따른 홀 채우기 장치의 우선 순위 결정부를 구체적으로 나타낸 상세블록도,
도 12는 본 발명의 일 실시예에 따른 홀 채우기 장치의 희소성 계산부를 구체적으로 나타낸 상세블록도,
도 13은 본 발명의 일 실시예에 따른 홀 채우기 장치의 최종 우선 순위 결정부를 구체적으로 나타낸 상세블록도,
도 14는 본 발명의 일 실시예에 따른 홀 채우기 장치의 홀 채우기부를 구체적으로 나타낸 상세블록도이다.

본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세하게 설명하고자 한다.

그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.

제 1, 제 2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제 1 구성요소는 제 2 구성요소로 명명될 수 있고, 유사하게 제 2 구성요소도 제 1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.

어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.

본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 가진 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.

이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예를 보다 상세하게 설명하고자 한다. 본 발명을 설명함에 있어 전체적인 이해를 용이하게 하기 위하여 도면상의 동일한 구성요소에 대해서는 동일한 참조부호를 사용하고 동일한 구성요소에 대해서 중복된 설명은 생략한다.

홀 채우기 방법

본 발명의 일 실시예에 따른 홀 채우기 방법은 홀 채우기 시, 위에서 상술한 문제점인 '홀 주변 및 화면 내 화소 정보 활용의 한계 때문에 발생하는 홀 영역의 텍스쳐 왜곡'과 '홀 채우기 시의 전경과 배경 텍스쳐 혼합 문제'를 해결할 수 있다. 이를 위해 배경 텍스쳐만을 고려하여 희소성 기반 인페인팅 기법을 홀 채우기에 적용하는 방법을 제시함으로써, 홀 주변 및 화면 내 화소 정보를 보다 효율적으로 활용하여 홀 채우기를 가능하게 하는 동시에, 전경 텍스쳐와 배경 텍스쳐를 분리하여 배경 텍스쳐 정보만을 활용할 수 있게 함으로써 고품질의 홀 채우기를 제공할 수 있는 것이다.

본 발명에 따른 홀 채우기 방법은 배경 텍스쳐만을 고려하여 희소성 기반 인페인팅 기법을 홀 채우기에 적용한다. 희소성 기반의 영상 인페인팅은 주변 화소 또는 화면 내 텍스쳐 유사성을 이용함으로써 영상 내 물체의 윤곽선이나 그 구조가 보존될 수 있는 고품질의 인페인팅을 가능하게 한다. 또한 배경 텍스쳐만을 고려하는 인페인팅을 위해, 생성된 영상에서 홀 영역의 깊이도를 예측한 후, 이와 동일하거나 낮은 깊이도를 갖는 배경 텍스쳐만을 참조하여 홀 영역을 인페인팅한다.

도 1은 본 발명의 일 실시예에 따른 홀 채우기 방법의 전체적인 흐름도이다. 도 1에 도시된 바와 같이, 본 발명의 일 실시예에 따른 홀 채우기 방법은 3D 영상 와핑 단계(110), 생성된 영상에서 홀 영역의 깊이도 예측을 통한 깊이맵 생성 단계(120), 제 1 홀 깊이도 설정 단계(130), 홀 영역이 채워졌는지 판단하는 단계(140), 홀 영역의 깊이도가 제 1 깊이인 패치들의 희소성(sparsity) 계산을 통한 인페인팅 우선 패치 선택 단계(150), 홀 영역의 깊이도가 제 1 홀 깊이도 이하인 텍스쳐만을 고려하여 선택된 패치에 인페인팅을 적용하는 단계(160), 깊이도가 제 1 깊이도인 홀이 모두 채워졌는지 판단하는 단계(170) 및 홀 채우기 완료 단계(180)를 포함할 수 있다.

도 1을 참조하면, 본 발명의 일 실시예에 따른 홀 채우기 방법은 [1]과 [2]의 두 단계로 나눌 수 있다. 우선, [1] 단계에서는, 3차원 영상 와핑(110)으로 생성된 영상에서 배경 텍스쳐만을 고려하여 홀을 채우기 위해서는 생성된 영상의 깊이맵이 필요하기 때문에, 생성된 영상의 깊이맵을 예측하여 생성한다(120). [2] 단계에서는, 먼저 제 1 깊이도(X _{hole_depth} , 초기값 0)를 설정한다(130). 그리고는 홀 영역이 모두 채워졌는지 판단한다(140). 이때, 모든 홀 영역이 채워졌다면 홀 채우기를 완료할 수 있다(180). 홀 영역이 채워져 있지 않은 경우, 낮은 깊이도(상기 제 1 깊이도 이하)를 갖는 홀 영역의 패치(patch)만을 고려하여 희소성 계산을 통한 우선 패치를 결정한 후(150), 깊이도가 X _{hole _ depth} 이하인 배경 텍스쳐만을 고려하여 인페인팅을 적용하여 홀 채우기를 실시한다(160). 같은 깊이도의 홀이 모두 채워지면, X _{hole _ depth} 를 증가시켜 다음 깊이도의 홀 영역을 희소성 기반 인페인팅을 통해 채우게 된다. 상기한 과정의 반복을 통해 홀 영역이 모두 채워지면 상기 반복 과정을 완료한다(180).

도 2는 본 발명의 일 실시예에 따른 홀 채우기 방법을 개략적으로 나타낸 흐름도이다. 도 2에 도시된 바와 같이, 본 발명의 일 실시예에 따른 홀 채우기 방법은 차원 영상의 깊이도를 예측하여 깊이 맵을 생성 단계(210), 깊이 맵을 기반으로 홀 영역의 깊이도를 이용하여 홀 영역의 가장자리 화소의 희소성을 계산하고 희소성을 기반으로 홀 채우기를 실행할 우선 순위를 결정하는 단계(220) 및 우선 순위에 따라 상기 차원 영상의 홀 영역에 대해 홀 채우기를 실시하는 단계(230)를 포함할 수 있다.

도 2를 참조하면, 먼저 깊이 맵 생성 단계(210)에서, 본 발명의 일 실시예에 따른 홀 채우기 장치(미도시)는 3차원 영상의 와핑을 통해 생성된 영상의 깊이도를 예측하여 깊이 맵을 생성한다. 3차원 영상 와핑을 통해 생성된 영상에서 배경 텍스쳐만을 고려하여 홀을 채우기 위해서는 생성된 영상의 깊이 맵이 필요하다. 이를 위해 원본 컬러 화소의 수평 이동 맵핑과 더불어 원본 깊이 맵 정보도 같이 수평 이동 맵핑을 적용하게 되면, 생성된 영상의 깊이 맵을 구할 수 있다. 하지만 이와 같은 과정을 통해 얻은 깊이 맵은 생성된 컬러 영상과 마찬가지로 홀 영역이 생기게 된다. 따라서 이러한 홀 영역의 깊이도를 예측하여 생성해야 할 필요가 있다. 본 발명의 깊이 맵 생성 단계(210)에서는 홀 영역이 낮은 깊이도를 갖는 배경 텍스쳐 영역인 점에 착안하여, 홀 영역의 깊이도를 주변의 낮은 깊이도로 채우는 방법을 사용한다. 즉, 홀의 좌측과 우측의 깊이도를 비교한 후, 낮은 깊이도를 홀 영역의 깊이도로 결정한다. 이러한 알고리즘을 통해 생성된 깊이맵의 홀 영역을 주변의 배경 텍스쳐의 깊이도를 고려하여 채우는 것이 가능하다.

도 3은 본 발명의 홀 채우기 방법의 깊이 맵 생성 단계(210)를 통해 영상의 깊이 맵을 예측하는 방법을 설명하기 위한 개념도이다. 영상(310)은 3D 와핑을 통해 생성된 컬러 영상이고, 영상(320)은 홀(315)이 존재하는 깊이 영상이며, 영상(330)은 홀 영역(335, 336)에 깊이도 예측을 적용하여 생성된 깊이 영상이다. 도 3에 도시된 바와 같이, 컬러 영상(310) 내에 사물(311)과 배경(312, 313) 사이에 홀 영역(315)이 생성될 수 있다. 또한, 깊이 영상(320)에서도 홀 영역(315)이 사물(321)과 배경(322, 323) 사이에 존재한다. 이때, 배경(312, 313, 322, 323)은 낮은 깊이도를 갖는 배경(312, 322) 및 높은 깊이도를 갖는 배경(313, 323)으로 구분할 수 있다. 본 발명의 깊이 맵 생성 단계(210)에서는 상기와 같이 구분된 배경을 통해 홀 영역의 깊이도를 예측할 수 있다. 영상(330)은 깊이도를 예측을 주변의 낮은 깊이도를 갖는 배경 텍스처를 통해 예측하여, 도 3에 도시된 바와 같이, 낮은 깊이도를 갖는 배경(332) 텍스처를 이용하여 홀 영역의 낮은 깊이도를 갖는 부분(335)의 깊이도를 예측하고, 높은 깊이도를 갖는 배경(333) 텍스처를 이용하여 홀 영역의 높은 깊이도를 갖는 부분(336)의 깊이도를 예측한다. 이를 통해 홀 영역(335, 336)의 깊이도를 보다 정확하게 예측할 수 있고, 따라서 보다 정확한 깊이 맵을 생성할 수 있다.

다시 도 2로 돌아가서, 우선 순위 결정 단계(220)에서, 본 발명의 일 실시예에 따른 홀 채우기 장치는 상기 깊이 맵 생성 단계(210)를 통해 생성된 깊이 맵을 기반으로 기반으로 홀 영역의 깊이도를 이용하여 홀 영역의 가장자리 화소의 희소성을 계산하고 희소성을 기반으로 홀 채우기를 실행할 우선 순위를 결정한다.

도 4는 본 발명의 일 실시예에 따른 홀 채우기 방법의 우선 순위 결정 단계(220)를 구체적으로 나타낸 상세흐름도이다. 도 4에 도시된 바와 같이, 본 발명의 우선 순위 결정 단계(220)는 홀 영역의 깊이도를 기반으로 깊이도가 낮은 영역이 높은 우선 순위를 갖도록 깊이 우선 순위를 결정하는 단계(410), 깊이 우선 순위를 기반으로 같은 깊이도의 홀 영역의 희소성을 계산하는 단계(420) 및 깊이 우선 순위와 상기 계산된 희소성을 기반으로 최종 우선 순위를 결정하는 단계(430)를 포함할 수 있다.

도 4를 참조하면, 깊이 우선 순위 결정 단계(410)에서, 본 발명의 일 실시예에 따른 홀 채우기 장치는 깊이도를 고려한 홀 채우기를 위해 제 1 깊이도(X _{hole _ depth} )를 설정한다. 제 1 깊이도 변수를 희소성 계산과 인페인팅을 적용할 때 참조할 홀 영역 및 배경 텍스쳐의 깊이도를 의미한다. 깊이 우선 순위 결정 단계(410)에서 홀 채우기 장치는 홀 영역에서 가장 먼저 채워야 할 부분은 가장 뒷 배경(즉, 깊이도가 가장 낮은 부분)이므로 홀과 화소 정보가 존재하는 영역과의 경계에서의 깊이도가 가장 낮은 부분(즉, 깊이도가 0인 부분(X _{hole _ depth} = 0))을 높은 우선 순위로 하는 깊이 우선 순위를 결정한다. 이후의 희소성에 기반한 우선 순위도 1차적으로는 깊이 우선 순위에 기반하여 실행되므로, 낮은 깊이도의 홀 영역을 상기 깊이 우선 순위에 입각하여 모두 채우고, 다음 깊이도로 넘어가서(예컨대, X _{hole_depth} = 1) 동일한 깊이도의 홀 영역을 채우는 식으로 홀 채우기를 실행할 수 있다. 따라서, 회소성을 기반으로 결정되는 최종 우선 순위는 깊이 우선 순위를 기반으로 성립되는 것이다. 다시 말해, 깊이도가 0인 부분의 희소성만을 구하여 패치의 최종 우선 순위가 결정되며, 선택된 패치에 인페인팅 알고리즘을 적용할 수 있다. 동일한 깊이도의 홀 영역이 모두 채워지게 되면 상기 제 1 깊이도(X _{hole_depth} )를 하나씩 증가시키며 반복적으로 알고리즘을 적용한다.

다음으로, 희소성 계산 단계(420)에서, 홀 채우기 장치는 상기 깊이 우선 순위 결정 단계(410)에서 결정된 우선 순위를 기반으로 같은 깊이도의 홀 영역의 희소성을 계산한다.

도 5는 본 발명의 일 실시예에 따른 홀 채우기 방법의 희소성 계산 단계(420)를 구체적으로 나타낸 상세흐름도이다. 도 5에 도시된 바와 같이, 본 발명의 희소성 계산 단계(420)는 제 1 패치 정의 단계(510), 제 2 패치 정의 단계(520), 유사도 계산 단계(530), p점 희소성 계산 단계(540) 및 전체 화소 희소성 계산 단계(550)를 포함할 수 있다.

도 6은 본 발명의 일 실시예에 따른 희소성 계산 단계(420)에서의 희소성 기반 인페인팅 알고리즘을 설명하기 위한 개념도이다. 먼저, 희소성 기반의 인페인팅 알고리즘에서 홀의 가장자리인 p점의 희소성을 계산한다. 여기서 Ω는 홀 영역을,

는 홀 주변의 화소 정보가 존재하는 영역을 의미한다. 그리고는 홀 채우기 장치는 ψ_p를 홀 가장자리의 p 점을 중심으로 하는 제 1 패치로 정의한다(510). 패치란 특정 화소를 포함하고 있는 하나의 블록을 의미한다. 또한, N(p)는 p점을 중심으로 하는 윈도우 영역을 의미한다. 윈도우 영역이란 패치보다 더 큰 영역을 나타내는 것으로 매크로 블록을 의미한다. 따라서, 제 1 패치는 상기 윈도우 영역에 포함되는 관계를 갖는다. 다음으로, 홀 채우기 장치는 ψ_pj를 상기 윈도우 영역 N(p) 내에 p_j점을 중심으로 하는 화소 정보가 존재하는 제 2 패치로 정의한다(520). 이때, N(p) 내의 화소 정보가 존재하는 영역 중 깊이도가 상기 제 1 깊이도(X _{hole_depth} )보다 낮은 영역을 N_s(P)라고 정의할 수 있다. 이를 토대로 제 1 패치(ψ_p)와 제 2 패치(ψ_pj) 사이의 유사성(

)을 다음의 수학식을 이용하여 구할 수 있다.

여기서,

는 패치(ψ)에서의 화소 정보가 존재하는 영역 중 깊이도가 제 1 깊이도(X _{hole _ depth} )보다 낮은 영역만을 추출하는 매트릭스를 의미하며, d(A,B)는 A,B 사이의 평균 제곱 오차(mean squared error)를, Z(p)는 정규화(normalization) 상수를 뜻한다. 또한, σ는 상수로써 0.5의 값을 갖는다. 이와 같이 제 1 패치(ψ_p)와 제 2 패치(ψ_pj) 사이의 유사성을 계산하는 과정을 기반으로 상기 유사성 계산을 N_s(P) 영역 내에 존재하는 모든 p_j점에 대해 구한다. 그리고 나서 다음의 수학식을 이용하여 p점의 희소성 ρ(p)를 계산한다(540).

여기서,

는 A의 화소 수를 의미한다. 그리고는 p점의 희소성 계산 과정을 홀 영역의 가장자리의 모든 화소에 대해 반복 적용한다(550). 반복 적용을 통해 모든 홀 영역 가장자리의 화소에 대한 희소성을 확보할 수 있다.

희소성은 유사도를 정규화한 값과 윈도우 영역과 윈도우 영역 내에서 화소 정보가 존재하는 영역의 비율을 가중치로 곱하여 계산된다. 희소성이 높은 패치는 복잡도가 높은 것을 의미하므로, 확률적으로 홀 영역의 가장자리일 확률이 높다. 따라서, 상기 희소성을 기반으로 희소성이 높은 패치가 패치 우선도를 높게 설정하여 먼저 홀 채우기를 실행함으로써 자연스로운 홀 채우기를 구현할 수 있다.

다시 도 4로 돌아가서, 최종 우선 순위 결정 단계(430)에서, 깊이 우선 순위와 희소성을 기반으로 최종 우선 순위를 결정한다.

도 7은 본 발명의 일 실시예에 따른 홀 채우기 방법의 최종 우선 순위 결정 단계(430)를 구체적으로 나타낸 상세흐름도이다. 도 7에 도시된 바와 같이, 최종 우선 순위 결정 단계(430)는 홀 영역의 가장자리의 모든 화소에 대한 희소성을 기반으로 홀의 가장자리의 모든 화소들의 패치 우선도를 산출하는 단계(710) 및 패치 우선도를 기반으로 상기 최종 우선 순위를 결정하는 단계(720)를 포함할 수 있다.

도 7을 참조하면, 상기 희소성 계산 단계(420)를 통해 계산된 홀 영역의 가장자리에서의 모든 희소성을 기반으로 패치 우선도를 계산할 수 있다(710). p점에서의 패치 우선도는 다음의 수학식을 통해 계산할 수 있다.

여기서,

는 ρ(p)의 최대값과 최소값의 간격을 0.2와 1 상이로의 선형 변환을 뜻하며, C(p)는 제 1 패치(ψ_p)에서 화소 정보를 알고 있는 화소 영역의 비융을 의미한다. p점의 패치 우선도를 계산하는 과정을 홀의 가장자리 화소들에 대해 모두 반복 적용하여 홀 영역의 가장자리의 모든 화소들의 패치 우선도를 산출한다. 그리고는 상기 패치 우선도를 기반으로 최종 우선 순위를 결정할 수 있다(720). 즉, 패치 우선도가 높을수록 최종 우선 순위도 높다.

다시 도 2로 돌아가서, 홀 채우기 단계(230)에서, 홀 채우기 장치는 상기 우선 순위 결정 단계(220)에서 결정된 우선 순위를 기반으로 3차원 영상의 홀 영역에 대해 홀 채우기를 실시한다.

도 8은 본 발명의 일 실시예에 따른 홀 채우기 방법의 홀 채우기 단계(230)를 구체적으로 나타낸 상세흐름도이다. 도 8에 도시된 바와 같이, 본 발명의 일 실시예에 따른 홀 채우기 단계(230)는 패치 우선도가 가장 높은 패치를 선택하여 선택된 패치를 기반으로 패치 후보들의 선형 결합을 통해 근사 패치를 구하는 단계(810) 및 근사 패치를 기반으로 상기 선택된 패치의 모르는 영역을 상기 근사 패치를 이용하여 채우는 단계(820)를 포함할 수 있다.

도 9는 본 발명의 일 실시예에 따른 홀 채우기 단계에서의 패치 인페인팅 알고리즘을 설명하기 위한 개념도이다. 도 9에 도시된 바와 같이, 패치 우선도 계산에 따라 패치 우선도가 가장 높은 패치를 선택한다. 본 실시예에서는 제 1 패치(ψ_p)가 패치 우선도가 가장 높아 선택된 것으로 가정한다. 그리고는 선택된 패치(ψ_p)를 기반으로 다음의 수학식을 이용하여 패치 후보들의 선형 결합을 통해 근사 패치

를 구한다(810).

여기서, N은 패치 후보 패치 후보(patch candidates)의 개수를 뜻하며, 패치 후보는 선택된 패치(ψ_p)와 가장 유사한 N개의 패치를 의미하며, 제 1 패치(ψ_p)의 화소가 존재하는 영역 중, 상기 제 1 깊이도(X _{hole_depth} )보다 낮은 영역과의 SSD(sum squared difference) 계산을 통해 구한다. 또한, α는 각 패치 후보의 가중치 값을 뜻한다. 도 9를 참조하면, 패치 후보로 ψ_q1, ψ_q2, ψ_q3가 구성되어 있고, 이에 각각 가중치 α₁, α₂, α₃가 부여되어 있다. 각 패치 후보(ψ_q1, ψ_q2, ψ_q3)의 가중치 셋

은 제한된 최적화 문제(constrained optimization problem)의 최소화를 통해 구하게 되며, 이렇게 구해진 근사 패치(

)를 통해 선택된 패치(ψ_p)의 모르는 영역을 근사 패치(

)를 이용하여 채우게 된다(820). 홀 채우기는 우선 순위를 기반으로 낮은 깊이도의 홀 영역부터 홀 채우기를 실행하되, 같은 깊이도의 홀 영역이 모두 채우고 나서, 다음 깊이도의 홀 영역을 채우는 것이 바람직할 수 있다.

본 발명의 일 실시예에 따른 홀 채우기 방법에 따르면 희소성을 기반으로 인페인팅을 하기 때문에 홀 영역의 가장자리부터 근사 패치를 이용하여 홀 영역을 채우게 되고, 가장자리로부터 홀 영역의 내부로 들어오면서 상기 희소성을 기반으로 하는 인페인팅을 반복 적용함으로써 자연스러운 홀 채우기 효과를 얻을 수 있다.

홀 채우기 장치

도 10은 본 발명의 일 실시예에 따른 홀 채우기 장치(1000)를 개략적으로 나타낸 블록도이다. 도 10에 도시된 바와 같이, 본 발명의 홀 채우기 장치(1000)는 스테레오스코픽 3차원 영상의 홀 영역을 채우는 장치로서, 깊이 맵 생성부(1010), 우선 순위 결정부(1020) 및 홀 채우기부(1030)를 포함할 수 있다.

도 10을 참조하면, 깊이 맵 생성부(1010)는 3차원 와핑으로 생성된 3차원 영상의 깊이도를 예측하여 깊이 맵을 생성한다. 깊이 맵 생성부(1010)는 원본 컬러 화소의 수평 이동 맵핑과 원본 깊이맵 정보의 수평 이동 맵핑을 적용하여 상기 3차원 영상의 깊이맵을 생성할 수 있다.

다른 실시예에 있어서, 깊이 맵 생성부(1010)는 홀 영역의 좌측과 우측의 깊이도를 비교한 후, 낮은 깊이도를 상기 홀 영역의 깊이도로 결정하여 홀 영역의 깊이도를 예측하고 이를 통해 깊이 맵을 생성할 수 있다.

다음으로, 우선 순위 결정부(1020)는 깊이 맵 생성부(1010)에서 생성된 깊이 맵을 기반으로 홀 영역의 깊이도를 이용하여 홀 영역의 가장자리 화소의 희소성을 계산하고 희소성을 기반으로 홀 채우기를 실행할 우선 순위를 결정한다.

도 11은 본 발명의 일 실시예에 따른 홀 채우기 장치의 우선 순위 결정부(1020)를 구체적으로 나타낸 상세블록도이다. 도 11에 도시된 바와 같이, 깊이 우선 순위 결정부(1110), 희소성 계산부(1120) 및 최종 우선 순위 결정부(1130)를 포함할 수 있다.

도 11을 참조하면, 깊이 우선 순위 결정부(1110)는 홀 영역의 깊이도를 기반으로 깊이도가 낮은 영역이 높은 우선 순위를 갖도록 깊이 우선 순위를 결정한다.

희소성 계산부(1120)는 깊이 우선 순위를 기반으로 같은 깊이도의 홀 영역의 희소성을 계산한다.

도 12는 본 발명의 일 실시예에 따른 홀 채우기 장치의 희소성 계산부(1120)를 구체적으로 나타낸 상세블록도이다. 도 12에 도시된 바와 같이, 희소성 계산부(1120)는 제 1 패치 정의부(1210), 제 2 패치 정의부(1220), 유사도 계산부(1230), p점 희소성 계산부(1240) 및 전체 화소 희소성 계산부(1250)를 포함할 수 있다.

제 1 패치 정의부(1210)는 홀 영역의 가장자리의 임의의 화소 p점을 중심으로 하는 제 1 패치를 정의한다. 제 2 패치 정의부(1220)는 상기 P점을 중심으로 하는 윈도우 영역 내에 임의의 화소 p_j점을 중심으로 화소 정보가 존재하는 제 2 패치를 정의한다.

그리고 나서, 유사도 계산부(1230)는 상기 제 1 패치와 제 2 패치 간의 유사도를 계산한다. 본 발명의 일 실시예에 따르면, 유사도 계산부(1230)는 상기 제 1 패치와 상기 윈도우 영역 중 화소 정보가 존재하는 영역 내의 모든 p_j점에 대해 상기 제 1 패치와 상기 제 2 패치의 유사도를 계산한다.

유사도 계산부(1230)는

(여기서, ψ_p는 p점을 중심으로 하는 패치, ψ_pj는 제 1 영역 내의 p_j점을 중심으로 하는 패치,

는 상기 패치(ψ)에서의 화소 정보가 존재하는 영역 중 깊이도가 특정 깊이도보다 낮은 영역만을 추출하는 매트릭스, d(A,B)는 A와 B 사이의 평균 제곱 오차, Z(p)는 정규화 상수를 나타내고, σ는 상수로서 0.5의 값을 갖음)에 의해 제 1 패치와 제 2 패치 사이의 유사도를 계산할 수 있다.

p점 희소성 계산부(1240)는 유사도 계산부(1230)에서 계산된 유사도를 기반으로 p점의 희소성을 계산한다.

본 발명의 일 실시예에 따르면, 희소성 계산부(1230)는

(여기서,

는 A의 화소 수를 의미함)에 의해 상기 p점의 희소성을 계산할 수 있다.

그리고는, 전체 화소 희소성 계산부(1250)는 p점의 희소성 계산 과정을 상기 홀 영역의 가장자리의 모든 화소에 대해 반복적용하여 상기 홀 영역의 가장자리의 모든 화소에 대한 희소성을 계산한다.

다시 도 11로 돌아가서, 최종 우선 순위 결정부(1130)는 상기 희소성 계산부(1120)에서 계산된 희소성을 기반으로 최종 우선 순위를 결정한다.

도 13은 본 발명의 일 실시예에 따른 홀 채우기 장치의 최종 우선 순위 결정부(1130)를 구체적으로 나타낸 상세블록도이다. 도 13에 도시된 바와 같이, 본 발명의 일 실시예에 따른 최종 우선 순위 결정부(1130)는 패치 우선도 산출부(1310) 및 순위 결정부(1320)를 포함할 수 있다.

도 13을 참조하면, 패치 우선도 산출부(1310)는 홀 영역의 가장자리의 모든 화소에 대한 희소성을 기반으로 홀 영역의 가장자리의 모든 화소들의 패치 우선도를 산출한다. 순위 결정부(1320)는 패치 우선도 산출부(1310)에서 산출한 패치 우선도를 기반으로 어느 패치에 홀 채우기를 먼저 실행하는지 결정하는 최종 우선 순위를 결정한다.

다시 도 10으로 돌아가서, 홀 채우기부(1030)는 우선 순위 결정부(1020)에서 결정한 우선 순위에 따라 3차원 영상의 홀 영역에 대해 홀 채우기를 실시한다. 홀 채우기부(1030)는 우선 순위를 기반으로 낮은 깊이도의 홀 영역부터 홀 채우기를 실행하되, 같은 깊이도의 홀 영역이 모두 채우고 나서, 다음 깊이도의 홀 영역을 채우는 것이 바람직하다.

도 14는 본 발명의 일 실시예에 따른 홀 채우기 장치의 홀 채우기부(1030)를 구체적으로 나타낸 상세블록도이다. 도 14에 도시된 바와 같이, 본 발명의 일 실시예에 따른 홀 채우기부(1030)는 근사 패치 산출부(1410) 및 채우기부(1420)를 포함할 수 있다.

도 14를 참조하면, 근사 패치 산출부(1410)는 패치 우선도가 가장 높은 점을 선택하여 선택된 패치를 기반으로 패치 후보들의 선형 결합을 통해 근사 패치를 구한다. 여기서, 패치 후보는 상기 선택된 패치와 가장 유사한 N개의 패치를 의미한다.

본 발명의 실시예에 따르면, 근사 패치 산출부(1410)는

를 통해 근사 패치를 구할 수 있다. 여기서,

는 근사패치, α는 각 패치 후보의 가중치 값을 의미한다.

채우기부(1420)는 상기 근사 패치 산출부(1410)에서 산출된 상기 근사 패치를 기반으로 선택된 패치의 모르는 영역을 근사 패치를 이용하여 채운다.

이상 도면 및 실시예를 참조하여 설명하였지만, 본 발명의 보호범위가 상기 도면 또는 실시예에 의해 한정되는 것을 의미하지는 않으며 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.

Claims (22)

1. 스테레오스코픽 3차원 영상의 홀 영역을 채우는 방법에 있어서,
   상기 3차원 영상의 깊이도를 예측하여 깊이 맵을 생성하는 깊이 맵 생성 단계;
   상기 깊이 맵을 기반으로 상기 홀 영역의 깊이도를 이용하여 상기 홀 영역의 가장자리 화소의 희소성을 계산하고 상기 희소성을 기반으로 홀 채우기를 실행할 우선 순위를 결정하는 우선 순위 결정 단계; 및
   상기 우선 순위에 따라 상기 3차원 영상의 홀 영역에 대해 홀 채우기를 실시하는 홀 채우기 단계를 포함하며,
   상기 깊이 맵 생성 단계는 상기 3차원 영상의 배경을 낮은 깊이도를 갖는 배경 텍스처 및 높은 깊이도를 갖는 배경 텍스처로 구분하고, 상기 낮은 깊이도를 갖는 배경 텍스처를 이용하여 상기 홀 영역의 낮은 깊이도를 갖는 부분의 깊이도를 예측하고, 상기 높은 깊이도를 갖는 배경 텍스처를 이용하여 상기 홀 영역의 높은 깊이도를 갖는 부분의 깊이도를 예측하여 상기 깊이 맵을 생성하고,
   상기 홀 채우기 단계는 동일하거나 낮은 깊이도를 갖는 배경 텍스쳐만을 참조하여 홀 영역을 인페인팅하며, 상기 홀 채우기 단계는 상기 우선 순위를 기반으로 상기 낮은 깊이도의 홀 영역부터 홀 채우기를 실행하되, 같은 깊이도의 홀 영역이 모두 채우고 나서, 다음 깊이도의 홀 영역을 채우는 것을 특징으로 하는 홀 채우기 방법.
   
2. 제 1 항에 있어서, 상기 깊이 맵 생성 단계는
   상기 3차원 영상이 3차원 영상 와핑을 통해 생성된 영상인 경우, 원본 컬러 화소의 수평 이동 맵핑과 원본 깊이맵 정보의 수평 이동 맵핑을 적용하여 상기 3차원 영상의 깊이맵을 생성하는 단계를 포함하는 것을 특징으로 하는 홀 채우기 방법.
   
3. 제 1 항에 있어서, 상기 깊이 맵 생성 단계는
   상기 홀 영역의 좌측과 우측의 깊이도를 비교한 후, 낮은 깊이도를 상기 홀 영역의 깊이도로 결정하는 단계를 포함하는 것을 특징으로 하는 홀 채우기 방법.
   
4. 제 1 항에 있어서, 상기 우선 순위 결정 단계는
   상기 홀 영역의 깊이도를 기반으로 상기 깊이도가 낮은 영역이 높은 우선 순위를 갖도록 깊이 우선 순위를 결정하는 깊이 우선 순위 결정 단계;
   상기 깊이 우선 순위를 기반으로 같은 깊이도의 홀 영역의 희소성을 계산하는 희소성 계산 단계; 및
   상기 깊이 우선 순위와 상기 계산된 희소성을 기반으로 최종 우선 순위를 결정하는 최종 우선 순위 결정 단계를 포함하는 것을 특징으로 하는 홀 채우기 방법.
   
5. 제 4 항에 있어서, 상기 희소성 계산 단계는
   상기 홀 영역의 가장자리의 임의의 화소 p점을 중심으로 하는 제 1 패치를 정의하는 제 1 단계;
   상기 p점을 중심으로 하는 윈도우 영역 내에 임의의 화소 p_j점을 중심으로 화소 정보가 존재하는 제 2 패치를 정의하는 제 2 단계;
   상기 제 1 패치와 상기 윈도우 영역 중 화소 정보가 존재하는 영역 내의 모든 상기 p_j점에 대해 상기 제 1 패치와 상기 제 2 패치의 유사도를 계산하는 제 3 단계;
   상기 유사도를 기반으로 상기 p점의 희소성을 계산하는 제 4 단계; 및
   상기 p점의 희소성 계산 과정을 상기 홀 영역의 가장자리의 모든 화소에 대해 반복적용하여 상기 홀 영역의 가장자리의 모든 화소에 대한 희소성을 계산하는 제 5 단계를 포함하는 것을 특징으로 하는 홀 채우기 방법.
   
6. 제 5 항에 있어서, 상기 최종 우선 순위 결정 단계는
   상기 홀 영역의 가장자리의 모든 화소에 대한 희소성을 기반으로 상기 홀의 가장자리의 모든 화소들의 패치 우선도를 산출하는 단계; 및
   상기 패치 우선도를 기반으로 상기 최종 우선 순위를 결정하는 단계를 포함하는 것을 특징으로 하는 홀 채우기 방법.
   
7. 삭제
8. 삭제
9. 삭제
10. 제 6 항에 있어서, 상기 홀 채우기 단계는
    상기 패치 우선도가 가장 높은 패치를 선택하여 상기 선택된 패치를 기반으로 패치 후보-패치 후보는 상기 선택된 패치와 가장 유사한 N개의 패치를 의미함-들의 선형 결합을 통해 근사 패치를 구하는 단계; 및
    상기 근사 패치를 기반으로 상기 선택된 패치의 모르는 영역을 상기 근사 패치를 이용하여 채우는 단계를 포함하는 것을 특징으로 하는 홀 채우기 방법.
    
11. 삭제
12. 스테레오스코픽 3차원 영상의 홀 영역을 채우는 장치에 있어서,
    상기 3차원 영상의 깊이도를 예측하여 깊이 맵을 생성하는 깊이 맵 생성부;
    상기 깊이 맵을 기반으로 상기 홀 영역의 깊이도를 이용하여 상기 홀 영역의 가장자리 화소의 희소성을 계산하고 상기 희소성을 기반으로 홀 채우기를 실행할 우선 순위를 결정하는 우선 순위 결정부; 및
    상기 우선 순위에 따라 상기 3차원 영상의 홀 영역에 대해 홀 채우기를 실시하는 홀 채우기부를 포함하며,
    상기 깊이 맵 생성부는 상기 3차원 영상의 배경을 낮은 깊이도를 갖는 배경 텍스처 및 높은 깊이도를 갖는 배경 텍스처로 구분하고, 상기 낮은 깊이도를 갖는 배경 텍스처를 이용하여 상기 홀 영역의 낮은 깊이도를 갖는 부분의 깊이도를 예측하고, 상기 높은 깊이도를 갖는 배경 텍스처를 이용하여 상기 홀 영역의 높은 깊이도를 갖는 부분의 깊이도를 예측하여 상기 깊이 맵을 생성하고,
    상기 홀 채우기부는 동일하거나 낮은 깊이도를 갖는 배경 텍스쳐만을 참조하여 홀 영역을 인페인팅하며, 상기 홀 채우기 단계는 상기 우선 순위를 기반으로 낮은 깊이도의 홀 영역부터 홀 채우기를 실행하되, 같은 깊이도의 홀 영역이 모두 채우고 나서, 다음 깊이도의 홀 영역을 채우는 것을 특징으로 하는 홀 채우기 장치.
    
13. 제 12 항에 있어서, 상기 깊이 맵 생성부는
    상기 3차원 영상이 3차원 영상 와핑을 통해 생성된 영상인 경우, 원본 컬러 화소의 수평 이동 맵핑과 원본 깊이맵 정보의 수평 이동 맵핑을 적용하여 상기 3차원 영상의 깊이맵을 생성하는 것을 특징으로 하는 홀 채우기 장치.
    
14. 제 12 항에 있어서, 상기 깊이 맵 생성부는
    상기 홀 영역의 좌측과 우측의 깊이도를 비교한 후, 낮은 깊이도를 상기 홀 영역의 깊이도로 결정하는 것을 특징으로 하는 홀 채우기 장치.
    
15. 제 12 항에 있어서, 상기 우선 순위 결정부는
    상기 홀 영역의 깊이도를 기반으로 상기 깊이도가 낮은 영역이 높은 우선 순위를 갖도록 깊이 우선 순위를 결정하는 깊이 우선 순위 결정부;
    상기 깊이 우선 순위를 기반으로 같은 깊이도의 홀 영역의 희소성을 계산하는 희소성 계산부; 및
    상기 깊이 우선 순위와 상기 계산된 희소성을 기반으로 최종 우선 순위를 결정하는 최종 우선 순위 결정부를 포함하는 것을 특징으로 하는 홀 채우기 장치.
    
16. 제 15 항에 있어서, 상기 희소성 계산부는
    상기 홀 영역의 가장자리의 임의의 화소 p점을 중심으로 하는 제 1 패치를 정의하는 제 1 패치 정의부;
    상기 P점을 중심으로 하는 윈도우 영역 내에 임의의 화소 p_j점을 중심으로 화소 정보가 존재하는 제 2 패치를 정의하는 제 2 패치 정의부;
    상기 제 1 패치와 상기 윈도우 영역 중 화소 정보가 존재하는 영역 내의 모든 상기 p_j점에 대해 상기 제 1 패치와 상기 제 2 패치의 유사도를 계산하는 유사도 계산부;
    상기 유사도를 기반으로 상기 p점의 희소성을 계산하는 p점 희소성 계산부; 및
    상기 p점의 희소성 계산 과정을 상기 홀 영역의 가장자리의 모든 화소에 대해 반복적용하여 상기 홀 영역의 가장자리의 모든 화소에 대한 희소성을 계산하는 전체 화소 희소성 계산부를 포함하는 것을 특징으로 하는 홀 채우기 장치.
    
17. 제 16 항에 있어서, 상기 최종 우선 순위 결정부는
    상기 홀 영역의 가장자리의 모든 화소에 대한 희소성을 기반으로 상기 홀의 가장자리의 모든 화소들의 패치 우선도를 산출하는 패치 우선도 산출부; 및
    상기 패치 우선도를 기반으로 상기 최종 우선 순위를 결정하는 순위 결정부를 포함하는 것을 특징으로 하는 홀 채우기 장치.
    
18. 삭제
19. 삭제
20. 삭제
21. 제 17 항에 있어서, 상기 홀 채우기부는
    상기 패치 우선도가 가장 높은 점을 선택하여 상기 선택된 패치를 기반으로 패치 후보-패치 후보는 상기 선택된 패치 ψ_p와 가장 유사한 N개의 패치를 의미함-들의 선형 결합을 통해 근사 패치를 구하는 근사 패치 산출부; 및
    상기 근사 패치를 기반으로 상기 선택된 패치의 모르는 영역을 상기 근사 패치를 이용하여 채우는 채우기부를 포함하는 것을 특징으로 하는 홀 채우기 장치.
    
22. 삭제

Images