KR101361075B1 - 구조행렬을 이용한 예제기반 영상 인페인팅 방법 - Google Patents

Abstract

개시된 내용은 구조행렬을 이용한 예제기반 영상 인페인팅 방법에 관한 것으로서, 복원 대상 영상데이터에서 복원할 영역의 경계에 속한 모든 화소에 대해 우선순위를 계산하여 복원할 영역의 경계에서 우선순위가 가장 높은 화소를 결정하고, 알고 있는 영역에 속한 모든 화소에 대해 복원할 영역의 경계에서 우선순위가 가장 높은 화소와의 패치 유사도를 계산하여 알고 있는 영역에서 유사도가 가장 높은 화소를 선택하고, 알고 있는 영역에서 유사도가 가장 높은 화소를 중심으로 한 패치를 복원할 영역의 경계에서 우선순위가 가장 높은 화소를 중심으로 한 패치에 복사하여 알고 있는 영역은 확장하고 복원할 영역은 축소시키며, 복원 대상 영상데이터에서 복원할 영역이 모두 없어질 때까지 반복하여 처리한다.
따라서, 본 발명은 구조행렬을 이용하여 얻은 영역의 속성을 사용하여 복원할 패치의 우선순위를 결정하고, 가장 유사한 패치를 선택하여 복원대상 영상의 인페인팅을 수행하기 때문에 훨씬 자연스러운 영상 복원을 수행할 수 있으며, 이에 따라 영상 인페인팅의 성능이 크게 개선된다.

Description

구조행렬을 이용한 예제기반 영상 인페인팅 방법{Method of exemplar-based image inpainting using structure matrix}

본 발명은 영상의 속성을 표현하기 위해 구조행렬을 이용하여 인페인팅을 수행하는 구조행렬을 이용한 예제기반 영상 인페인팅 방법에 관한 것이다.

영상 인페인팅은 원래 오래된 그림에서 훼손된 부분을 복원하거나 사진의 흠을 복구하기 위해 제안되었으며, 최근에는 디지털 사진에서 일부 물체를 지우고자 할 때 삭제할 부분을 다른 부분의 영상으로 채워 넣어 자연스럽게 물체를 삭제하는데 많이 사용하고 있다.

이처럼 영상 인페인팅은 노이즈나 긁힘 등의 원인에 의해 훼손된 부분을 복원하거나, 자막이 포함되어 있는 영상에서 자막을 제거하거나, 사진에서 특정 물체를 제거하기 위한 기술이다.

영상 인페인팅 방법은 크게 확산기반 방법과 예제기반 방법의 두 가지로 나누어진다.

확산기반 인페인팅 방법은 복원할 부분에 주변의 화소값들을 확산하여 채워 넣는 방법이다. Bertalmio 등(비특허문헌 1)은 명암값이 동일한 선을 따라 확산해 손상된 부분을 채우는 비선형 확산 방정식을 제안하였다. Chan과 Chen(비특허문헌 2)은 비선형 확산 방정식에 연결성을 강화시킨 CCD(curvature-driven diffusions)를 제안하였다. 확산을 이용한 방법들은 손상된 부분이 작고 질감(texture)이 없는 경우에는 영상에서 손상된 구조를 연결해주어 보기 좋은 결과를 보인다. 그러나 손상된 부분이 크거나 질감이 있는 영역을 복원하는 경우 영상에 번짐(blur)이 발생하는 단점이 있어 영상에서 임의의 물체를 지우는 목적으로는 사용하기 힘들다. Bertalmio 등(비특허문헌 3)은 질감이 있는 영상에 대해 구조도 연결하면서 질김이 번지는 것을 방지하기 위해 영상을 구조영상(structure image)과 질감영상(texture image)로 나누어 구조영상에 대해서는 편미방정식에 의한 확산을, 질감영상에 대해서는 질감합성(texture synthesis)을 사용하여 처리한 후 합하는 방법을 제안하였다. 그러나 이 방법도 손상된 영역이 큰 경우에는 번짐을 피할 수 없어 영상에서 임의의 물체를 지우는 목적으로는 사용하기 힘들다.

Criminisi 등(비특허문헌 4)은 영상에서 임의의 물체를 지우기 위해 예제기반 인페인팅(exemplar-based inpainting)을 제안하였다. 이는 영상에서 지우려는 부분을 표시한 후 이 부분이 손상되었다고 가정하고 알고 있는 영역의 정보를 이용해서 손상된 부분을 채우는 것이다. 손상된 영역을 패치(patch) 단위로 나누어 알고 있는 영역 중에서 손상된 영역과 가장 비슷한 패치를 찾아 손상된 영역을 채우는 과정을 반복한다. 예제기반 인페인팅은 질감합성 방법을 확장한 것으로, 손상된 영역이 큰 경우에도 구조를 연결할 수 있고 질감도 비교적 자연스럽게 표현할 수 있으므로 영상에서 임의의 물체를 지우는 목적으로 많이 이용되고 있다.

예제기반 인페인팅은 Criminisi 등이 제안한 이후 다양한 방법들이 제안되고 있다. Cheng 등(비특허문헌 5)은 손상된 영역의 패치를 구할 때 우선순위를 정하는 방법을 개선한 알고리즘을 제안하고 사용자 파라미터를 추가하여 결과 영상의 품질의 조정할 수 있게 하였다. Wu와 Ruan(비특허문헌 6)은 패치의 크기를 고정하지 않고 상황에 따라 패치의 크기를 달리하여 구조정보를 살리고자 하였다. Hung 등(비특허문헌 7)은 컬러 영상을 분할하여 경계선들을 구한 후 손상된 영역의 경계선을 베지어 곡선으로 복원하여 경계선에 대한 연결을 자연스럽게 연결한 다음 예제기반 인페인팅을 수행하였다. 이 방법은 만화나 그래픽같이 색이 단순한 영상에서 일부 물체를 지우는데 특히 유용하다.

Wong과 Orchard(비특허문헌 8)는 가장 유사한 패치를 결정할 때 하나의 패치를 사용하는 대신에 비 국부적 평균(nonlocal means)을 사용해서 여러 개의 후보 패치의 가중치 합을 구해서 손상된 영역의 패치를 채우는 방법을 제안하였다, Xu와 Sun(비특허문헌 9)은 손상된 영역의 패치를 구할 때 주변과 다른 희소성(sparsity)이 큰 패치에 우선순위를 두는 예제기반 인페인팅 방법을 제안하였다. 그들도 손상된 패치를 채울 때 알고 있는 영역의 패치들의 가중치 합을 사용했는데 가중치를 구하는 과정에서 비 국부적 평균 대신에 국부적 패치 유사성(local patch consistency)을 제안하여 사용하였다. 김창기 등(비특허문헌 10)은 Criminisi 방법에서 패치의 신뢰도를 구하는 방법을 바꾸고 패치의 유사도를 구할 때 거리에 따라 가중치를 주는 방법을 제안하였다. 박찬우 등(비특허문헌 11)은 패치의 유사도에 거리에 따라 가중치를 주고, 여러 개의 후보 패치로 손상된 영역의 패치를 구하는 방법을 제안하였다. 예제기반 인페인팅 방법은 하나의 패치를 채우기 위해 매번 전역적 탐색을 하므로 계산시간이 오래 걸리므로 T.H.Kwon 등(비특허문헌 12)은 패치들을 DCT(Discrete Cosine Transform) 공간으로 변환한 후 빠른 속도로 탐색하는 고속화 방법을 제안하였다.

예제기반 인페인팅 방법은 크게 나누어 손상된 영역에서 어떤 부분부터 복원할 것인지를 결정하는 패치 우선순위(patch priority) 결정 문제와 이 부분을 알고 있는 영역에서 어떤 패치로 대치할 것인지를 결정하는 패치 선택(patch selection) 문제 등 두 가지 문제를 가지고 있다. 지금까지 언급한 기존 예제기반 인페인팅 방법들은 이 두 가지 문제를 화소값에 대한 연산을 통해 해결하고 있다. 패치 우선순위는 중심점의 그래디언트(gradient)를 사용하거나 희소성을 구해 사용하고 있고, 패치 선택은 주로 블록 사이의 오차합(sum of squared difference)을 사용하고 있다. 이들은 화소의 명암값에 대한 연산이다. 그러나 실제로는 그 화소들의 명암값보다는 화소주변 영역의 속성(attribute)에 따른 처리를 하는 것이 보다 사람이 하는 인페인팅에 더 유사하다. 예를 들어 화소 주변의 속성을 에지(edge), 코너(corner), 점(point), 균일한 영역(homogeneous region) 등으로 구분한다면 에지 부분에 패치 우선순위를 주고, 속성이 같은 패치를 먼저 선택하는 등 연산이 가능할 것이다.

즉 인페인팅은 복원된 영상이 사람이 보기에 자연스러워야 하는데, 사람은 구조가 잘 연결되어 있는지, 질감이 유지되는지 등 화소의 명암값보다는 에지, 코너, 점, 질감 등 영역의 속성에 더 민감하므로 화소의 명암값을 보다는 영역의 속성을 이용하는 인페인팅 방법이 더 자연스러운 결과를 보일 수 있을 것이다.

대한민국 등록특허공보 제10-1105675호 2012.01.06.

M. Bertalmio, G. Sapiro, V. Caselles and C. Ballester. "Image Inpainting", Proceedings of SIGGRAPH 2000, pp. 417-424, 2000. T.Chan and J.Shen, "Nontexture inpainting by curvature driven diffusions", Journal of Visual Communication and Image Representation, vol 12, pp.436-449, 2001. M. Bertalmio, L. Vese, G. Sapiro, and S. Osher. "Simultaneous Structure and Texture Image Inpainting", IEEE Transaction on Image Processing, Vol. 12, No. 8, pp. 882-889, August 2003. A. Criminisi, P.Perez and K. Toyama, "Region Filling and Object Removal by Exemplar-Based Image Inpainting", IEEE Trans. Image Processing, Vol. 13, No. p, pp. 1200-1212, Sept. 2004. Wen-Huang Cheng, Chun-Wei Hsieh, Sheng-Kai Lin, Chia-Wei Wang, and Ja-Ling Wu, "Robust Algorithm for Exemplar-based Image Inpainting", International Conference on Computer Graphics, Imaging and Visualization(CGIV2005), pp. 64-69, 2005. Ji-Ying Wu and Qiu-Qi Ruan, "A Novel Exemplar-based Image Completion Model", Journal of Information Science and Engineering 25, pp. 481-497, 2009. Jason C. Hung, Chun-Hong Hwang, Yi-Chun Liao, Nick C. Tang, Ta-Jen Chen, "Exemplar-based Image Inpainting base on Structure Construction", Journal of Software, Vol. 3, No. 8, pp. 57-64, Nov. 2008. Alexander Wong and Jeff Orchard, "A Nonlocal-Means Approach to Exemplar-based Inpainting", IEEE Intl. Conf. on Image Processing, pp. 2600-2603, 2008. Zongben Xu and Jian Sun, "Image Inpainting by Patch Propagation using Patch Sparsity", IEEE Trans. on Image Processing, vol. 19, no. 5, pp. 1153-1165, May 2010. 김창기, 김백섭, "전역적 특성과 거리가중치를 이용한 영상 인페인팅", 정보과학회논문지, 제 37권, 제 8호, pp. 629-640, 2010. 박찬우, 이상현, 박기태, 문영식, "다중 패치를 이용한 예제 기반 영상 인페인팅", 전자공학회논문지, 제 48권, 제 1호, 2011. Tsz-Ho Kwok, Hoi Sheung and Charlie C.L. Wang, "Fast Query for Exemplar-Based Image Completion", IEEE Transactions on Image Processing, vol. 19, no. 12, pp. 3106-3115, 2010.

본 발명은, 에지, 코너, 점, 질감 등 영상의 속성을 표현하기 위해 구조행렬을 이용하여 인페인팅을 수행하는 구조행렬을 이용한 예제기반 영상 인페인팅 방법을 제공한다.

본 발명은, 구조행렬을 이용하여 얻은 영역의 속성을 사용하여 복원할 패치의 우선순위를 결정하고, 가장 유사한 패치를 선택하여 인페인팅을 수행하는 구조행렬을 이용한 예제기반 영상 인페인팅 방법을 제공한다.

본 발명은, 구조행렬에서 지역의 일관성을 구해 이를 복원할 패치의 우선순위를 결정하는데 사용하고, 복원할 패치와 가장 유사한 패치를 구하는 패치 선택을 위해 구조행렬에서 두 화소 사이의 방향, 일관성을 구하고 여기에 명암값과 거리 가중치 등 네 가지 척도의 가중치 합을 사용하여 인페인팅을 수행하는 구조행렬을 이용한 예제기반 영상 인페인팅 방법을 제공한다.

본 발명의 일 실시예에 따른 구조행렬을 이용한 예제기반 영상 인페인팅 방법은, (1) 복원 대상 영상데이터에서 복원할 영역의 경계에 속한 모든 화소에 대하여 우선순위를 계산하고, 복원할 영역의 경계에서 우선순위가 가장 높은 화소를 결정하는 단계와, (2) 알고 있는 영역에 속한 모든 화소에 대하여 (1) 단계에서 결정한 복원할 영역의 경계에서 우선순위가 가장 높은 화소와의 패치 유사도를 계산하고, 알고 있는 영역에서 유사도가 가장 높은 화소를 선택하는 단계와, (3) (2) 단계에서 선택한 알고 있는 영역에서 유사도가 가장 높은 화소를 중심으로 한 패치를 (1) 단계에서 결정한 복원할 영역의 경계에서 우선순위가 가장 높은 화소를 중심으로 한 패치에 복사하여, 알고 있는 영역은 확장하고 복원할 영역은 축소시키는 단계, 그리고 (4) 복원 대상 영상데이터에서 복원할 영역이 모두 없어질 때까지 (1) 단계 이후를 반복하여 처리하는 단계를 포함할 수 있다.

이상에서와 같이 본 발명의 구조행렬을 이용한 예제기반 영상 인페인팅 방법에 따르면, 구조행렬을 이용하여 얻은 영역의 속성을 사용하여 복원할 패치의 우선순위를 결정하고, 가장 유사한 패치를 선택하여 복원대상 영상의 인페인팅을 수행하기 때문에 기존에 제안된 다른 예제기반 영상 인페인팅 방식들보다 훨씬 자연스러운 영상 복원을 수행할 수 있으며, 이에 따라 영상 인페인팅의 성능이 크게 개선되는 효과가 있다.

도 1은 예제기반 인페인팅 알고리즘에서 사용되는 각종 기호들을 설명하기 위한 도면,
도 2는 예제기반 인페인팅 알고리즘에서 사용되는 신뢰도 항과 데이터 항의 계산을 설명하기 위한 도면,
도 3은 본 발명의 일 실시예에 따른 구조행렬을 이용한 예제기반 영상 인페인팅 방법을 수행하기 위한 장치의 구성을 개략적으로 나타낸 도면,
도 4는 본 발명의 일 실시예에 따른 구조행렬을 이용한 예제기반 영상 인페인팅 방법의 동작과정을 상세하게 나타낸 순서도,
도 5 내지 도 11은 본 발명의 방법에 의한 인페인팅 처리와 기존에 제안된 방법에 의한 인페인팅 처리에 대한 실험결과를 비교, 설명하기 위한 도면이다.

먼저, 본 발명의 상세한 설명에 앞서 본 발명에 적용되는 예제기반 인페인팅 방법과 구조행렬에 대하여 설명한다.

예제기반 인페인팅

비특허문헌 4의 Criminisi 등이 제안한 예제기반 인페인팅은 복원할 영역의 경계에서 먼저 복원할 점을 선택하고, 그 점을 중심으로 고정된 크기의 사각영역(이하, 패치(patch)라 함)을 구한다. 복원할 패치는 일부는 손상된 부분을 포함하고, 일부는 알고 있는 영역을 포함하게 된다. 다음으로 알고 있는 영역 중에서 복원할 패치와 가장 유사한 영역을 탐색하여 이 영역으로 패치를 채운다. 이러한 과정을 통해 패치를 순차적으로 채워나가 복원할 영역이 모두 채워질 때까지 반복하게 된다.

도 1은 예제기반 인페인팅 알고리즘에서 사용되는 각종 기호들을 설명하기 위한 도면으로서, Ω는 복원할 영역이고, δΩ는 Ω의 경계이며, Φ는 전체 영상에서 복원할 영역을 뺀 나머지 부분으로서 알고 있는 영역이다. p는 δΩ위의 화소를 의미하고, Ψp는 p를 중심으로 한 패치 영역이며, Ψp′와 Ψp″는 p′, p″를 중심으로 한 새로운 패치에 대한 후보 영역 패치들이다.

도 1의 (a)에서 흰색으로 표시한 부분이 복원할 영역 Ω이고, 그 경계 부분은 δΩ로 표시하였다. δΩ에 속한 화소 p를 대상으로 일정 크기의 패치를 구한 후 패치의 우선순위를 계산한다. 도 1의 (b)에 화소 p에 대한 패치 영역 Ψp를 나타내었다. 비특허문헌 4의 Criminisi 등은 복원할 영역 경계에 있는 p점의 우선순위를 다음과 같이 패치 영역 Ψp의 신뢰도(confidence) C(p)와 p점의 그래디언트의 함수인 데이터 D(p) 등 두 항의 곱으로 결정하였다.

P(p) = C(p)D(p)

패치 영역 Ψp의 신뢰도 C(p)는 다음과 같이 정의된다.

처음 주어진 입력 영상에서 C(q)는 q가 영역 Φ에 있으면, 즉 알고 있는 영역에 속한 화소들에 대해서는 1로 한다. 복원할 화소들, 즉 영역 Ω에 속한 화소들에 대해서는 0으로 초기값을 준다. 화소 p를 중심으로 하는 패치 영역 Ψp의 일부는 Φ에 속하므로 C(p)는 0과 1 사이의 값을 가질 것이다. 데이터 항 D(p)는 화소 p에서의 그래디언트의 세기로 다음과 같이 정의된다.

여기서,

는 화소 밝기의 그래디언트(방향은 그래디언트와 직교하는 방향)를 나타내고, n_p는 화소 p에서 δΩ에 대한 법선벡터(normal vector)이며 a는 정규화 파라미터(Gray-level 영상에서 255)이다.

도 2는 예제기반 인페인팅 알고리즘에서 사용되는 신뢰도 항과 데이터 항의 계산을 설명하기 위한 도면으로서, δΩ에 속하는 세 개의 화소 a, b, c를 표시하였다. 화소 a는 주변에 알고 있는 영역(Φ)을 적게 포함하고 있어 신뢰도항 값은 작지만 기울기가 크고 기울기의 방향이 화소 a의 법선벡터 방향과 일치하므로 데이터항 값은 크다. 화소 b는 신뢰도항 값이 화소 a의 경우보다 크고 기울기는 화소 a의 경우와 같지만 기울기 방향이 법선벡터 방향과 일치하지 않아 데이터항 값은 화소 a의 경우보다 작아지게 된다. 화소 c의 경우 신뢰도는 가장 크지만 기울기가 0이므로 데이터 값은 0이 된다.

복원할 영역 경계 δΩ에 있는 화소들 중에서 우선순위가 가장 높은 화소를 선택한다. 이를 화소 p라 하고 p를 중심으로 한 패치를 Ψp라 하면, 알고 있는 영역 Φ에서 Ψp와 가장 유사한 영역을 탐색해서 그 영역을 Ψp에 복사하게 된다. 기존의 예제기반 인페인팅에서는 모든 화소 q∈Φ를 중심으로 하는 패치 Ψq 들에 대해 다음과 같이 전체탐색(exhaustive search)을 수행한다.

여기서, SSE(A,B)는 두 영역 A와 B 사이에서 서로 대응되는 화소들의 값 차이를 제곱해서 모두 합한, 제곱오차합(sum of squared error)을 의미한다. 도 1의 (c)에서 Ψp′는 Ψp″보다 Ψp와의 오차가 더 작으므로 Ψp′를 선택해서 Ψp 위치에 복사한다. 도 1의 (d)는 Ψp 위치를 Ψp′로 복원한 것을 나타낸다. 이와 같이 복원이 되면 Ω와 δΩ가 바뀌게 되어 상술한 우선순위 탐색부터 다시 수행하게 된다. 이 과정을 모든 영역이 복원될 때까지 반복한다.

구조행렬( structure matrix )

구조행렬은 다음과 같이 영상의 2차 미분들로 이루어진 행렬로서, 행렬의 고유벡터와 고유치를 이용하여 그 화소 부분의 속성을 알 수 있다.

여기서 I, Ix, Iy는 각각 입력영상, 입력영상의 x방향 그래디언트, 입력영상의 y방향 그래디언트를 나타낸다. *는 컨볼루션(convolution)을 의미하고, Kσ는 분산이 σ²인 가우시안 커널(gaussian kernel)이다.

Kσ(x,y)는 다음과 같이 정의된다.

위 식은 고유치 분해(eigenvalue decomposition)를 사용하여 다음과 같이 쓸 수 있다.

여기서, λ1, λ2는 고유치를 나타내는데, 두 고유치 중에서 값이 큰 것을 λ1로 한다.

,

는 각각 λ1, λ2에 해당되는 고유벡터이다. 고유치들은 상술한 Kσ(x,y)의 식에서 다음과 같이 계산된다.

여기서,

이다. 고유벡터들은 다음과 같이 계산된다.

고유치와 고유벡터로부터 해당 화소와 그 주변 영역의 속성을 알 수 있다. 변화가 없이 균일한 영역에서는 λ1과 λ2가 모두 0과 근접한 값을 가지고, 에지 영역에서는 λ1＞＞λ2이며, λ2는 거의 0값을 가진다. 코너에서는 λ1≥λ2≫0 값을 가지며, 점에서는 λ1과 λ2가 모두 비슷한 크기의 큰 값을 가진다. 에지 영역의 경우

는 에지 방향을,

는 그에 직교하는 방향을 나타낸다. 이런 속성은 예제기반 인페인팅에서 복원할 패치의 우선순위를 결정할 때와 가장 유사한 패치를 선택할 때 모두 이용할 수 있다.

이하, 첨부된 도면을 참조하여 본 발명의 구조행렬을 이용한 예제기반 영상 인페인팅 방법을 상세하게 설명한다.

도 3은 본 발명의 일 실시예에 따른 구조행렬을 이용한 예제기반 영상 인페인팅 방법을 수행하기 위한 장치의 구성을 개략적으로 나타낸 도면이다.

도시된 바와 같이 본 발명의 방법이 적용되는 장치는, 입력부(10), 인페인팅 처리부(20), 저장부(30), 출력부(40) 등으로 구성된다.

입력부(10)는 사용자가 요청한 복원 대상이 되는 영상데이터를 인페인팅 처리부(20)로 출력한다.

인페인팅 처리부(20)는 저장부(30)에 저장되어 있는 인페인팅 처리 프로그램을 토대로 입력부(10)로부터 전송받은 복원 대상 영상데이터의 인페인팅 작업을 수행한다.

저장부(30)는 인페인팅 처리 프로그램을 저장하고 있으며, 인페인팅 처리부(20)에서 수행하는 복원 대상 영상데이터 및 인페인팅 처리에 따른 복원 영상데이터를 저장한다.

출력부(40)는 인페인팅 처리부(20)의 인페인팅 처리에 따라 완성된 복원 영상데이터의 외부 출력을 처리한다.

이와 같이 구성된 본 발명에 따른 구조행렬을 이용한 예제기반 영상 인페인팅 방법의 일 실시예를 도 4를 참조하여 상세하게 설명하면 다음과 같다.

도 4는 본 발명의 일 실시예에 따른 구조행렬을 이용한 예제기반 영상 인페인팅 방법의 동작과정을 상세하게 나타낸 순서도이다.

본 발명의 예제기반 인페인팅 방법은 크게 복원할 패치의 우선순위를 결정하는 부분과, 알고 있는 영역에서 가장 유사한 패치를 선택하는 부분으로 나눌 수 있다. 본 발명에서는 구조행렬을 이용하여 얻은 영역의 속성을 사용하여 복원할 패치의 우선순위를 결정하고, 가장 유사한 패치를 선택하는 인페인팅 방법을 수행한다.

먼저, 복원할 영역을 Ω, 복원할 영역의 경계를 δΩ, 알고 있는 영역을 Φ라 할 때, 복원 대상 영상데이터에서 복원할 영역의 경계 δΩ에 속한 모든 화소에 대하여 우선순위를 계산하고, 복원할 영역의 경계에서 우선순위가 가장 높은 화소를 결정한다(S10). 즉 복원할 영역의 경계에서 우선순위가 가장 높은 화소를 탐색하는 것이다.

S10 단계를 통해 복원할 영역의 경계 δΩ에 속한 화소들에 대한 우선순위의 계산은, 다음의 수학식과 같이 신뢰도 항 C(p)와 데이터 항 D(p)를 곱하여 계산한다.

P(p)=C(p)D(p)

여기서, P(p)는 우선순위, p는 복원할 영역의 경계 δΩ에 속한 화소, C(p)는 신뢰도 항, D(p)는 데이터 항이다.

신뢰도 항 C(p)는 복원될 영역의 내부로 갈수록 작은 값을 가지게 되는데, 기존의 criminisi 등에서 사용된 방법은 내부로 갈수록 지나치게 빨리 감소하는 문제가 있어 다음과 같은 수학식을 적용한다.

여기서, C(p)는 패치 영역 Ψp의 신뢰도 항이고, I는 입력영상이고, Ω는 복원할 영역이고, Ψp는 p의 패치 영역이고, |Ψp|는 Ψp의 크기로서 영역 안의 화소의 개수이며, q는 알고 있는 영역 Φ에 속한 화소이다.

그리고 데이터 항 D(p)는 구조행렬을 적용한 것으로서 다음과 같은 수학식을 적용한다.

여기서, D(p)는 p의 그래디언트 함수인 데이터 항이며, λ₁(p), λ₂(p)는 복원할 영역의 경계에 속한 화소인 p에서 구조행렬을 구한 후 나오는 두 개의 구조행렬의 고유치로서 크기가 큰 것이 λ₁(p)이고 작은 것이 λ₂(p)이다.

데이터 항 D(p)는 일관성 측정치(coherence measure)라고 부르기도 하는데, 에지가 있는 부분(즉 일관성이 큰 부분)에서는 높은 값을 가지고, 균일한 영역이나 고립점은 낮은 값을 가지게 된다.

S10 단계를 통해 복원할 영역의 경계 δΩ에서 우선순위가 가장 높은 화소를 결정한 이후에는, 알고 있는 영역 Φ에 속한 모든 화소에 대하여 S10 단계에서 결정한 복원할 영역의 경계 δΩ에서 우선순위가 가장 높은 화소와의 패치 유사도를 계산하고, 알고 있는 영역 Φ에서 유사도가 가장 높은 화소를 선택한다(S20). 즉 복원할 영역의 경계 δΩ에서 가장 우선순위가 높은 화소가 선택된 이후, 이 화소를 중심으로 한 패치를 채우기에 적합한 패치를 알고 있는 영역 Φ에서 선택하는 것이다. 이때 유사도는 두 패치간의 거리, 두 패치간의 화소들의 그래디언트의 유사도, 두 패치간의 평균 색상 차이, 두 패치간의 일관성 척도의 차이 등 각각에 대한 가중치 합으로 계산한다.

이처럼 S10 단계를 통해 우선순위가 가장 큰 화소를 중심으로 하는 패치(즉 복원할 패치)가 결정되면, 이와 가장 유사한 패치를 알고 있는 영역 Φ에서 선택하는 S20 단계에서도 구조행렬을 이용한다.

예를 들어, 복원할 영역 경계에서 우선순위가 가장 높은 화소를 p라고 하면, 알고 있는 영역 Φ에서의 한 화소 q 사이의 유사도 S(p,q)는 다음의 수학식과 같이 여러 항의 가중치 합으로 계산한다.

여기서, S(p,q)는 유사도이고, p는 복원할 영역의 경계에서 우선순위가 가장 높은 화소이고, q는 알고 있는 영역에 속한 화소, S_c(p,q)는 p와 q를 중심으로 한 패치 간의 일관성(coherence)을 나타내는 척도이고, S_d(p,q)는 p와 q를 중심으로 한 패치 간의 화소들의 그래디언트 방향이 같은 정도를 나타내는 척도이고, S_p(p,q)는 p와 q를 중심으로 한 패치 간의 명암값의 유사도이고, S_r(p,q)는 p와 q를 중심으로 한 패치 간의 거리에 따라 단조감소하는 함수이며, ω_c, ω_d, ω_p는 사용자 정의 상수로서 S_c, S_d, S_p 항의 가중치이다.

이때, S_c(p,q)는 복원할 영역의 경계 δΩ에서 우선순위가 가장 높은 화소 p를 중심으로 한 패치와 알고 있는 영역에 속한 한 화소 q를 중심으로 한 패치 간의 일관성을 나타내는 척도로서, 다음의 수학식을 사용하여 계산할 수 있다.

여기서, m은 p의 패치 영역인 Ψp에서 알고 있는 화소의 개수이고, p_i는

영역에서 i번째 화소이고,

는 복원할 영역의 경계에서 우선순위가 가장 높은 화소 p를 중심으로 한 패치 영역 Ψp와 알고 있는 영역 Φ의 교집합 영역(즉 Ψp∩Φ)이고, q_i는 알고 있는 영역에 속한 한 화소를 중심으로 한 패치 영역 Ψq에서 p_i에 대응하는 화소이고, C(p_i)는 p_i의 패치 영역에서의 신뢰도 항이며, C(q_i)는 q_i의 패치 영역에서의 신뢰도 항이다.

또한, S_d(p,q)는 복원할 영역의 경계에서 우선순위가 가장 높은 화소 p를 중심으로 한 패치와 알고 있는 영역에 속한 한 화소 q를 중심으로 한 패치 간의 화소들의 그래디언트 방향이 같은 정도를 나타내는 척도로서, 다음의 수학식과 같이 각각의 고유벡터의 내적으로 계산한다.

여기서,

,

는 p 화소와 q 화소의 고유벡터이다.

또한, S_p(p,q)는 복원할 영역의 경계에서 우선순위가 가장 높은 화소 p를 중심으로 한 패치와 알고 있는 영역에 속한 한 화소 q를 중심으로 한 패치 간의 명암값의 유사도를 나타낸 것으로서, 다음의 수학식을 사용하여 계산한다.

여기서, m_p는 복원할 영역의 경계에서 우선순위가 가장 높은 화소 p를 중심으로 한 패치 영역 Ψp 내에서 알고 있는 화소들, 즉

에 속하는 화소들의 명암값 평균이고, m_q는 알고 있는 영역에 속한 한 화소 q를 중심으로 한 패치 영역 Ψq 내에서

에 대응하는 화소들의 명암값 평균이며, tp는 사용자 정의 상수이다.

또한, S_r(p,q)는 복원할 영역의 경계에서 우선순위가 가장 높은 화소 p를 중심으로 한 패치와 알고 있는 영역에 속한 한 화소 q를 중심으로 한 패치 간의 거리에 따라 단조감소하는 함수로서, 다음의 수학식을 사용하여 계산한다.

여기서, d(p,q)는 p 화소와 q 화소 사이의 거리이며, t_r, α_r은 사용자 정의 상수이다.

이제, 전술한 S20 단계를 통해 알고 있는 영역 Φ에서 유사도가 가장 높은 화소를 선택한 이후에는, S20 단계에서 선택한 알고 있는 영역 Φ에서 유사도가 가장 높은 화소를 중심으로 한 패치를 S10 단계에서 결정한 복원할 영역의 경계 δΩ에서 우선순위가 가장 높은 화소를 중심으로 한 패치에 복사한다(S30). 즉 S20 단계와 같이 유사도가 가장 높은 패치가 선택되면, 이 패치를 S10 단계에서 선택한 우선순위가 가장 높은 패치에 복사하여 알고 있는 영역 Φ는 확장하고 복원할 영역의 경계 δΩ는 축소시키는 것이다.

그리고 복원 대상 영상데이터에서 복원할 영역이 모두 없어질 때까지 S10 단계 이후를 반복하여 처리한다(S40).

다음에는, 본 발명의 구조행렬을 이용한 예제기반 영상 인페인팅 방법에 의한 인페인팅 처리와 기존에 제안된 방법에 의한 인페인팅 처리에 대한 실험결과를 도 5 내지 도 11을 참조하여 상세하게 설명한다.

도 5 내지 도 11은 본 발명의 방법에 의한 인페인팅 처리와 기존에 제안된 방법에 의한 인페인팅 처리에 대한 실험결과를 비교, 설명하기 위한 도면으로서, 패치의 크기는 9×9크기로 하였으며, tp=100, α_r=1/1000으로 설정하였다. 그리고 도 9를 제외하고는 모두 ω_c, ω_d, ω_p는 1, t_r=10으로 설정하였다.

도 5는 골프장에서 사람들과 카트를 지운 영상으로서, a)는 원 영상이고, b)는 원 영상에서 삭제할 부분을 표시한 영상이다. c)와 d)는 각각 기존의 criminisi 방법과 본 발명의 방법으로 인페인팅한 결과이다. 기존의 criminisi 방법과 본 발명의 방법 모두 사람들은 자연스럽게 삭제된 것으로 보인다. 그러나 골프 카트를 삭제한 부분에서는 기존의 criminisi 방법에 비해 본 발명의 방법이 보다 자연스럽게 땅과 바다를 나누고 있음을 확인할 수 있다. 이는 본 발명의 방법은 땅과 바다를 나누는 에지 부분에 우선순위를 두어 먼저 복원한 후 나머지 부분을 복원하는데 비해, 기존의 criminisi 방법은 삭제할 영역을 주변부터 복원해 나가기 때문이다. 이 과정을 도 6을 통해 보다 상세하게 나타내었다. 도면에서 a), b), c)는 기존의 criminisi 방법으로 인페인팅이 각각 25%, 50%, 75% 진행된 상황을 나타낸다. 마찬가지로 d), e), f)는 본 발명의 방법으로 각각 25%, 50%, 75% 진행된 상황을 나타낸다. a)와 d)에서 알 수 있듯이 기존의 방법은 삭제된 영역의 외곽부터 인페인팅하는 반면 본 발명의 방법은 에지부터 인페인팅하기 때문에 땅과 바다를 나눈 부분이 보다 자연스럽게 복원되는 것을 확인할 수 있다.

도 7은 번지점프하는 사람을 지운 예를 나타낸 도면으로서, a), b), c), d)는 각각 원 영상, 원 영상에서 삭제할 부분을 표시한 영상, 기존의 criminisi 방법 결과, 본 발명의 방법 결과를 나타낸 것이다. c)에서 보는 바와 같이 기존의 방법은 복원된 지붕 중간 부분이 연결되지 않고 움푹 들어간 것처럼 보이는데 비해 본 발명의 방법은 지붕 선이 비교적 자연스럽게 연결된 것을 확인할 수 있다.

도 8은 케이블카를 지운 예를 나타낸 도면으로서, a), b), c), d)는 각각 원 영상, 원 영상에서 삭제할 부분을 표시한 영상, 기존의 criminisi 방법 결과, 본 발명의 방법 결과를 나타낸 것이다. c)에서 보는 바와 같이 기존의 방법은 케이블카를 삭제한 부분에 흰 물체가 남아있는 것으로 보이지만 d)의 본 발명의 방법 결과에서는 이런 부분이 없이 자연스럽게 숲으로 보인다. 이는 기존의 criminisi 방법에서는 가장 유사한 패치를 선택할 때 거리를 고려하지 않고 단순히 명암값의 차이만을 고려한 반면, 본 발명의 방법에서는 Sr 항을 이용하여 거리가 먼 패치에 대해 유사도를 작게 하였으므로 삭제할 케이블카 주변의 숲 영역에서 패치의 유사도가 커져 이 부분의 패치가 우선적으로 선택되었기 때문이다.

도 9는 분수 앞에 서있는 사람을 기존의 criminisi 방법으로 지운 영상으로서, 이 영상은 지우려는 영역이 넓고 지우려는 부분 뒤에 수평 직선 성분이 여러 개 있으며 분수의 수직 성분도 포함되어 있어 복원하기 힘든 영상이다. c)의 기존 방법은 원 영상에서 입 부분을 지나는 수평성분과 가슴 부분을 지나는 수평성분은 복원하였으나 어깨 부분을 지나는 수평성분은 복원하지 못하였고 가슴 가운데 부분에는 불필요한 수평 구조가 만들어졌다. 또한, 배 부분에는 주변의 대리석에서 패치를 복사는 대신에 분수에서 패치를 가져와 복사하여 주변과 명암값이 달라 부자연스럽게 보인다. 본 발명의 방법은 기존의 방법과 달리 파라미터를 사용자가 변경할 수 있으므로 이런 경우에 대처할 수 있다.

도 10은 ω_c, ω_d를 변경하면서 본 발명의 방법으로 인페인팅한 결과를 나타낸 도면으로서, ω_p=1, t_r=10으로 고정하였다. a), b), c), d), e), f)는 각각 ω_c=ω_d=0, ω_c=ω_d=0.2, ω_c=ω_d=0.4, ω_c=ω_d=0.6, ω_c=ω_d=0.8, ω_c=ω_d=1로 설정하고 본 발명의 방법으로 인페인팅한 결과이다. ω_c, ω_d는 구조적 정보에 대한 가중치이므로 이 값들이 커질수록 구조적 정보(이 경우 수평 직선성분)가 더 많이 나타나는 것을 알 수 있다. 이 영상은 위에서 실험한 다른 영상들에 비해 구조를 많이 포함하고 있어 ω_c, ω_d를 0.5 보다 작은 값으로 설정하는 것이 보다 자연스러운 복원 결과를 보인다.

도 11은 t_r을 변경하면서 본 발명의 방법으로 인페인팅한 결과를 나타낸 도면으로서, ω_c=ω_d=0.4, ω_p=1로 고정하였다. a), b), c), d), e)는 각각 t_r=10, t_r=30, t_r=70, t_r=100, t_r=150으로 설정하고 본 발명의 방법으로 인페인팅한 결과이다. t_r이 커질수록 먼 곳의 패치를 가져다 복원하므로 d) 경우와 같이 바닥의 대리석 영역에 분수에서의 패치가 복사될 수 있다. 도 9 c)의 기존의 방법에서도 그림 아래 가운데 부분에 대리석 부분이 검은색으로 복원되었는데 이것도 마찬가지 현상이다. 기존 방법은 복원할 패치의 유사도를 계산할 때 거리에 대한 가중치를 주지 않았으므로 이런 현상을 피할 수 없다. 본 발명의 방법에서 t_r을 변경하면서 실험 결과 거리 가중치를 두어 t_r을 10 정도로 작은 값을 주는 것이 더 자연스러운 인페인팅 결과를 보였다. 이 결과는 분수앞 사람 영상뿐 아니라 위에서 실험한 영상들에게도 마찬가지로 t_r이 작을 때 좋은 결과를 보여 실험에는 모두 10으로 고정하였다.

여기에서, 상술한 본 발명에서는 바람직한 실시예를 참조하여 설명하였지만, 해당 기술분야의 숙련된 당업자는 하기의 특허청구범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경할 수 있음을 이해할 수 있을 것이다.

10 : 입력부 20 : 인페인팅 처리부
30 : 저장부 40 : 출력부

Claims (7)

1. (1) 복원 대상 영상데이터에서 복원할 영역의 경계에 속한 모든 화소에 대하여 우선순위를 계산하고, 복원할 영역의 경계에서 우선순위가 가장 높은 화소를 결정하는 단계,
   (2) 복원할 영역을 제외한 나머지 부분인 알고 있는 영역에 속한 모든 화소에 대하여 상기 (1) 단계에서 결정한 복원할 영역의 경계에서 우선순위가 가장 높은 화소와의 패치 유사도를 계산하고, 상기 알고 있는 영역에서 유사도가 가장 높은 화소를 선택하는 단계,
   (3) 상기 (2) 단계에서 선택한 알고 있는 영역에서 유사도가 가장 높은 화소를 중심으로 한 패치를 상기 (1) 단계에서 결정한 복원할 영역의 경계에서 우선순위가 가장 높은 화소를 중심으로 한 패치에 복사하여, 상기 알고 있는 영역은 확장하고 복원할 영역은 축소시키는 단계, 그리고
   (4) 상기 복원 대상 영상데이터에서 복원할 영역이 모두 없어질 때까지 상기 (1), (2), (3) 단계를 반복하여 처리하는 단계를 포함하며,
   상기 (1) 단계에서 우선순위의 계산은,
   신뢰도 항과 데이터 항을 곱한, P(p)=C(p)D(p)의 수학식으로 계산하되,
   신뢰도 항 C(p)는

   

   의 수학식을 사용하며,
   데이터 항 D(p)는

   

   의 수학식을 사용하여 계산하는 구조행렬을 이용한 예제기반 영상 인페인팅 방법.
   여기서, P(p)는 우선순위, p는 복원할 영역의 경계에 속한 화소, C(p)는 패치 영역 Ψp의 신뢰도 항, I는 입력영상, Ω는 복원할 영역, Ψp는 p의 패치 영역, |Ψp|는 Ψp의 크기로서 영역 안의 화소의 개수, q는 알고 있는 영역에 속한 화소, D(p)는 p의 그래디언트 함수인 데이터 항, λ₁(p), λ₂(p)는 복원할 영역의 경계에 속한 화소인 p에서 구조행렬을 구한 후 나오는 두 개의 구조행렬의 고유치로서 크기가 큰 것이 λ₁(p)이고 작은 것이 λ₂(p)이다.
2. 삭제
3. 제 1 항에 있어서,
   상기 (2) 단계에서 유사도 계산은,
   

   

   의 수학식을 사용하여 계산하는 구조행렬을 이용한 예제기반 영상 인페인팅 방법.
   여기서, S(p,q)는 유사도, p는 복원할 영역의 경계에서 우선순위가 가장 높은 화소, q는 알고 있는 영역에 속한 화소, S_c(p,q)는 p와 q를 중심으로 한 패치 간의 일관성(coherence)을 나타내는 척도, S_d(p,q)는 p와 q를 중심으로 한 패치 간의 화소들의 그래디언트 방향이 같은 정도를 나타내는 척도, S_p(p,q)는 p와 q를 중심으로 한 패치 간의 명암값의 유사도, S_r(p,q)는 p와 q를 중심으로 한 패치 간의 거리에 따라 단조감소하는 함수, ω_c, ω_d, ω_p는 사용자 정의 상수로서 S_c, S_d, S_p 항의 가중치이다.
4. 제 3 항에 있어서,
   상기 복원할 영역의 경계에서 우선순위가 가장 높은 화소 p를 중심으로 한 패치와 알고 있는 영역에 속한 한 화소 q를 중심으로 한 패치 간의 일관성을 나타내는 척도 S_c(p,q)는,
   

   

   의 수학식을 사용하여 계산하는 구조행렬을 이용한 예제기반 영상 인페인팅 방법.
   여기서, m은 p의 패치 영역인 Ψp에서 알고 있는 화소의 개수, p_i는

   

   영역에서 i번째 화소,

   

   는 복원할 영역의 경계에서 우선순위가 가장 높은 화소 p를 중심으로 한 패치 영역 Ψp와 알고 있는 영역 Φ의 교집합 영역(즉 Ψp∩Φ), q_i는 알고 있는 영역에 속한 한 화소를 중심으로 한 패치 영역 Ψq에서 p_i에 대응하는 화소, C(p_i)는 p_i의 패치 영역에서의 신뢰도 항, C(q_i)는 q_i의 패치 영역에서의 신뢰도 항이다.
5. 제 3 항에 있어서,
   상기 복원할 영역의 경계에서 우선순위가 가장 높은 화소 p를 중심으로 한 패치와 알고 있는 영역에 속한 한 화소 q를 중심으로 한 패치 간의 화소들의 그래디언트 방향이 같은 정도를 나타내는 척도 S_d(p,q)는,
   

   

   의 수학식을 사용하여 계산하는 구조행렬을 이용한 예제기반 영상 인페인팅 방법.
   여기서,

   

   ,

   

   는 p 화소와 q 화소의 고유벡터이다.
6. 제 3 항에 있어서,
   상기 복원할 영역의 경계에서 우선순위가 가장 높은 화소 p를 중심으로 한 패치와 알고 있는 영역에 속한 한 화소 q를 중심으로 한 패치 간의 명암값의 유사도를 나타내는 S_p(p,q)는,
   

   

   의 수학식을 사용하여 계산하는 구조행렬을 이용한 예제기반 영상 인페인팅 방법.
   여기서, m_p는 복원할 영역의 경계에서 우선순위가 가장 높은 화소 p를 중심으로 한 패치 영역 Ψp 내에서 알고 있는 화소들, 즉

   

   에 속하는 화소들의 명암값 평균, m_q는 알고 있는 영역에 속한 한 화소 q를 중심으로 한 패치 영역 Ψq 내에서

   

   에 대응하는 화소들의 명암값 평균, tp는 사용자 정의 상수이다.
7. 제 3 항에 있어서,
   상기 복원할 영역의 경계에서 우선순위가 가장 높은 화소 p를 중심으로 한 패치와 알고 있는 영역에 속한 한 화소 q를 중심으로 한 패치 간의 거리에 따라 단조감소하는 함수를 나타내는 S_r(p,q)는,
   

   

   의 수학식을 사용하여 계산하는 구조행렬을 이용한 예제기반 영상 인페인팅 방법.
   여기서, d(p,q)는 p 화소와 q 화소 사이의 거리, t_r, α_r은 사용자 정의 상수이다.

Images