KR100954288B1 - Method and apparatus for completing image with structure estimation - Google Patents

Method and apparatus for completing image with structure estimation Download PDF

Info

Publication number
KR100954288B1
KR100954288B1 KR1020080102645A KR20080102645A KR100954288B1 KR 100954288 B1 KR100954288 B1 KR 100954288B1 KR 1020080102645 A KR1020080102645 A KR 1020080102645A KR 20080102645 A KR20080102645 A KR 20080102645A KR 100954288 B1 KR100954288 B1 KR 100954288B1
Authority
KR
South Korea
Prior art keywords
image
region
patch
completing
patches
Prior art date
Application number
KR1020080102645A
Other languages
Korean (ko)
Inventor
김형진
문영식
이정호
Original Assignee
한양대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한양대학교 산학협력단 filed Critical 한양대학교 산학협력단
Priority to KR1020080102645A priority Critical patent/KR100954288B1/en
Application granted granted Critical
Publication of KR100954288B1 publication Critical patent/KR100954288B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

PURPOSE: An image completion apparatus by structure prediction is provided to complete an image through predicted structure information in order to preserve the entire structure of the image, thereby recovering the image more naturally. CONSTITUTION: An image completion apparatus obtains border information if an image about remaining area except for a removal area. The image completion apparatus predicts structure information of the removal area through the border information(S1010). The image completion apparatus completes the predicted structure through the border information around the removal area(S1020). The image completion apparatus fills the removal area excepts the part of the predicted structure through texture synthesis(S1030).

Description

구조 예측에 의한 영상 완성 방법 및 장치{METHOD AND APPARATUS FOR COMPLETING IMAGE WITH STRUCTURE ESTIMATION}Method and device for image completion by structure prediction {METHOD AND APPARATUS FOR COMPLETING IMAGE WITH STRUCTURE ESTIMATION}

본 발명은 구조 예측에 의한 영상 완성 방법 및 장치에 관한 것으로, 더욱 상세하게는 영상 내에서 구조 정보를 예측하고 예측된 구조 정보를 이용하여 보다 자연스럽게 영상을 복원하는 방법 및 장치에 관한 것이다. The present invention relates to a method and apparatus for image completion by structure prediction, and more particularly, to a method and apparatus for predicting structure information in an image and reconstructing the image more naturally by using the predicted structure information.

최근 디지털 미디어의 수요가 증가하고 보급이 확대됨에 따라 불필요한 부분의 제거 및 복원을 하고자 하는 사용자들이 늘어나서 영상의 복원 기술에 대한 관심도가 증대되고 있는 실정이다.As the demand for digital media increases and the spread of digital media increases, the number of users who want to remove and restore unnecessary parts has increased.

일반적으로 인페인팅(inpainting) 기법은 대표적인 영상 복원 방법으로서 디지털 영상의 불필요한 부분을 제거하여 주변과 어울리도록 시각적으로 자연스럽게 만드는 기법이다. In general, inpainting is a representative image reconstruction method that removes unnecessary parts of a digital image and visually makes it look natural.

이러한 인페인팅 기법에서 편미분 방정식(Partial Differential Equation)을 이용하는 방법은 색상의 변화 방향을 예측하여 복원 영역이 넓으면, 영상이 흐려져서 부자연스럽다. The method using partial differential equations in this inpainting technique predicts the direction of change of color, and when the reconstruction area is wide, the image is blurred and unnatural.

한편 인페인팅 기법에서 질감 합성 방법은 영상 내의 유사한 패치(patch)를 찾아서 채우는 방법으로 비슷한 영역이 없으면, 복원이 부자연스러우며 구조적인 정보를 보전하지 못하는 문제점이 있다. On the other hand, in the inpainting technique, the texture synthesis method finds and fills a similar patch in an image, and there is a problem that restoration is unnatural and structural information is not preserved unless there is a similar region.

하지만 이러한 종래 인페인팅 기법은 단순한 색상이나 질감만 복원한다면 내부 구조 정보가 무시되어 완벽한 복원 결과를 기대하기 힘들다.However, if the conventional inpainting technique restores only simple color or texture, the internal structure information is ignored and it is difficult to expect a perfect restoration result.

본 발명은 영상 내에서 구조 정보를 예측하고, 예측된 구조 정보를 이용하여 영상을 완성하는 방법 및 장치를 제공한다. The present invention provides a method and apparatus for predicting structure information in an image and completing the image using the predicted structure information.

또한 본 발명은 영상 내의 객체들의 형태를 보존할 뿐만 아니라 질감 합성 과정에서 구조 정보를 이용하여 영상을 완성하는 방법 및 장치를 제공한다.In addition, the present invention provides a method and apparatus for completing an image using structure information in a texture synthesis process as well as preserving the shape of objects in the image.

본 발명의 일실시예에 따른 영상 완성 방법은 영상 내에서 제거될 영역의 구조를 예측하는 단계와, 상기 제거될 영역 주변의 경계 정보를 이용하여 상기 예측된 구조를 완성하는 단계 및 상기 예측된 구조를 제외한 제거될 영역을 채워서 영상을 완성하는 단계를 포함한다. According to an embodiment of the present invention, a method of completing an image may include estimating a structure of an area to be removed in an image, completing the predicted structure using boundary information around the area to be removed, and the predicted structure. Comprising a region to be removed except for completing the image.

본 발명의 일실시예에 따른 영상 완성 장치는 영상 내에서 제거될 영역의 구조를 예측하는 구조 예측부와, 상기 제거될 영역 주변의 경계 정보를 이용하여 상기 예측된 구조를 완성하는 구조 완성부 및 상기 예측된 구조를 제외한 제거될 영역을 채워서 영상을 완성하는 영상 완성부를 포함한다. An image completing apparatus according to an embodiment of the present invention comprises a structure predictor for predicting a structure of an area to be removed in an image, a structure completing unit for completing the predicted structure using boundary information around the area to be removed; And an image completion unit for completing the image by filling an area to be removed except the predicted structure.

본 발명에 따르면, 영상 내에서 구조 정보를 예측하고, 예측된 구조 정보를 이용하여 영상을 완성하는 방법 및 장치를 제공함으로써 전체 영상의 구조를 보존할 수 있다.According to the present invention, it is possible to preserve the structure of an entire image by providing a method and apparatus for predicting structure information in an image and using the predicted structure information to complete the image.

또한 본 발명에 따르면, 영상 내의 객체들의 형태를 보존할 뿐만 아니라 질 감 합성 과정에서 구조 정보를 이용하여 영상을 완성함으로써 보다 자연스러운 복원 결과를 제공할 수 있다.In addition, according to the present invention, it is possible not only to preserve the shape of the objects in the image, but also to provide a more natural reconstruction result by completing the image by using the structural information in the texture synthesis process.

이하 첨부된 도면들을 참조하여 구조 예측에 의한 영상 완성 장치 및 방법을 상세하게 설명하기로 한다. Hereinafter, an apparatus and a method for completing an image by predicting the structure will be described in detail with reference to the accompanying drawings.

도 1은 본 발명의 일실시예에 따른 영상 완성 장치의 구성을 나타내는 도면이다.1 is a view showing the configuration of an image completing apparatus according to an embodiment of the present invention.

도 1을 참조하면, 본 발명의 일실시예에 따른 영상 완성 장치(100)는 구조 예측부(110), 구조 완성부(120) 및 영상 완성부(130)를 포함한다.Referring to FIG. 1, an image completing apparatus 100 according to an embodiment of the present invention includes a structure predicting unit 110, a structure completing unit 120, and an image completing unit 130.

구조 예측부(110)는 영상 내에서 제거될 영역의 구조를 예측한다. 즉, 구조 예측부(110)는 원래 영상에서 제거될 영역을 설정하고, 상기 제거될 영역을 제외한 영상에 대해 구조 정보를 획득한다. The structure predictor 110 predicts the structure of the region to be removed in the image. That is, the structure predictor 110 sets an area to be removed from the original image and obtains structure information about an image except for the area to be removed.

도 2는 영상 완성 절차에 따른 영상의 일례를 나타내는 도면이다.2 is a diagram illustrating an example of an image according to an image completion procedure.

도 2를 참조하면, 구조 예측부(110)는 원본 영상(210)과 달리 손상된 손상 영상(220)에서 제거될 영역(221)을 제외한 나머지 부분에 대해 경계 정보를 획득하고, 제거될 영역(221)에 대한 구조 정보를 예측한다. Referring to FIG. 2, unlike the original image 210, the structure predictor 110 obtains boundary information about the remaining portion of the damaged image 220 except for the region 221 to be removed, and the region 221 to be removed. Predict structure information for

일례로 구조 예측부(110)는 원본 영상(210)에 포함된 색상과 손상 영상(220)에서 제거될 영역(221)을 항목으로 색인한 결과를 바탕으로 손상 영상(220)에 대한 전체적인 구조 정보를 획득할 수 있다(230). 예를 들어, 상기 색인을 생성할 때 사용되는 색상 항목은 빨간색, 녹색, 노란색, 파란색, 갈색, 보라색, 분홍색, 오렌 지색, 검정색, 흰색, 회색으로 구성될 수 있다. For example, the structure predicting unit 110 based on the result of indexing the color included in the original image 210 and the region 221 to be removed from the damaged image 220 as an item, the overall structure information of the damaged image 220. It may be obtained (230). For example, the color item used when generating the index may be composed of red, green, yellow, blue, brown, purple, pink, orange, black, white, and gray.

도 4는 소벨 마스크의 일례를 나타내는 도면이다.4 is a diagram illustrating an example of a Sobel mask.

도 4를 참조하면, 소벨 마스크(sobel mask)는 수평방향 마스크(410) 및 수직방향 마스크(420)를 포함한다. 상기 소벨 마스크는 영상에 대한 구조 정보를 획득할 때 사용될 수 있다. 일례로 구조 예측부(110)는 손상 영상(220)에서 제거될 영역(221)을 설정하고, 상기 소벨 마스크를 이용하여 상기 제거될 영역을 제외한 영상에 대해 구조 정보를 예측한 결과로 구조 예측 영상(230)을 획득할 수 있다. Referring to FIG. 4, a sobel mask includes a horizontal mask 410 and a vertical mask 420. The Sobel mask may be used when acquiring structural information about an image. For example, the structure predictor 110 sets a region 221 to be removed from the damaged image 220 and uses the Sobel mask to predict structure information on an image except for the region to be removed, as a result of the structure prediction image. 230 may be obtained.

도 5는 소벨 마스크를 이용한 경계 정보의 일례를 나타내는 도면이다.5 is a diagram illustrating an example of boundary information using a Sobel mask.

도 5를 참조하면, 구조 예측부(110)는 원본 영상(210)과 달리 손상된 손상 영상(220)에서 제거될 영역(221)을 제외한 나머지 부분에 대해 소벨 마스크를 이용하여 경계 정보(510)를 획득한 후 제거될 영역(221)에 대한 구조 정보를 예측할 수 있다. Referring to FIG. 5, unlike the original image 210, the structure predictor 110 uses the Sobel mask on the boundary information 510 for the remaining portion except for the region 221 to be removed from the damaged image 220. After the acquisition, the structure information about the region 221 to be removed may be predicted.

도 3은 구조 예측부에 대한 구체적인 구성의 일례를 나타내는 도면이다.3 is a diagram illustrating an example of a specific configuration of a structure prediction unit.

도 3을 참조하면, 구조 예측부(110)는 판단부(310), 기울기 계산부(315), 구조 추적부(320), 리스트 구성부(330) 및 내부 구조 예측부(340)를 포함한다. Referring to FIG. 3, the structure predictor 110 includes a determiner 310, a slope calculator 315, a structure tracker 320, a list constructer 330, and an internal structure predictor 340. .

판단부(310)는 제거될 영역(221)에서 내부 구조 연결에 필요한 대표점을 판단한다. 상기 대표점은 제거될 영역(221)의 구조가 시작되는 점이다. The determination unit 310 determines a representative point for connecting the internal structure in the region 221 to be removed. The representative point is a point where the structure of the region 221 to be removed begins.

도 6은 제거될 영역에서 내부 구조 연결에 필요한 대표점의 일례를 나타내는 도면이다.6 is a view showing an example of representative points required for connecting the internal structure in the region to be removed.

도 6을 참조하면, 판단부(310)는 영상(600)에 포함된 제거될 영역에서 내부 구조 연결에 필요한 대표점(601~607)를 판단한다. 일례로 판단부(310)는 획득한 영상(600)의 구조 정보를 바탕으로 제거될 영역 주변의 대표점들(601~607)을 판단할 수 있다. Referring to FIG. 6, the determination unit 310 determines representative points 601 ˜ 607 required to connect internal structures in a region to be removed included in the image 600. For example, the determination unit 310 may determine the representative points 601 ˜ 607 around the area to be removed based on the acquired structure information of the image 600.

기울기 계산부(315)는 상기 판단된 대표점을 시작으로 외부 구조를 추적하여 상기 기울기를 계산한다. 즉, 기울기 계산부(315)는 각각의 대표점을 시작으로 외부 구조를 추적하면서 상기 구조의 기울기 변화를 계산한다. The slope calculator 315 calculates the slope by tracking an external structure starting from the determined representative point. That is, the slope calculator 315 calculates a change in the slope of the structure while tracking the external structure starting from each representative point.

도 7은 각각의 대표점을 기준으로 추적된 구조의 기울기를 계산하고, 대표점들 간의 연결성을 추정하는 일례를 나타내는 도면이다.7 is a diagram illustrating an example of calculating a slope of a structure tracked based on each representative point and estimating connectivity between the representative points.

도 7을 참조하면, 연결성 추정 이미지(700)에서 P1, P2, P3는 각각 대표점을 나타내고, E1, E2, E3는 각각의 대표점을 시작점으로 하여 소벨 마스크를 이용하여 획득한 구조를 추적한 결과이다. (P1, P2), (P1, P3), (P2, P3)가 각각 연결될 수 있는 대표점들의 쌍이지만, 각각의 대표점들의 기울기를 계산하였을 때 연결될 수 있는 대표점들의 쌍은 (P1, P3)이다. 일례로 기울기 계산부(315)는 각각의 대표점(P1, P2, P3)을 시작으로 외부 구조를 추적하면서 상기 구조의 기울기 변화를 계산할 수 있다. Referring to FIG. 7, in the connectivity estimation image 700, P 1 , P 2 , and P 3 represent representative points, and E 1 , E 2 , and E 3 use respective Sobel masks as starting points. This is the result of tracking the acquired structure. (P 1 , P 2 ), (P 1 , P 3 ), and (P 2 , P 3 ) are pairs of representative points that can be connected respectively, but when the slope of each representative point is calculated, The pair is (P 1 , P 3 ). For example, the slope calculator 315 may calculate a change in slope of the structure while tracking an external structure starting from each representative point P 1 , P 2 , or P 3 .

구조 추적부(320)는 상기 제거될 영역과 직교 방향으로 알고 있는 구조를 추적한다.The structure tracking unit 320 tracks a structure known in the orthogonal direction to the region to be removed.

리스트 구성부(330)는 상기 판단된 대표점들의 리스트를 구성하고, 상기 추 적된 구조의 기울기를 이용하여 일치하는 대표점들의 리스트를 구성한다. 즉, 리스트 구성부(330)는 상기 제거될 영역 주변의 대표점들의 리스트를 구성하고, 상기 추적된 구조의 기울기를 이용하여 일치하는 대표점들의 리스트를 구성한다. The list constructing unit 330 constructs a list of the determined representative points, and forms a list of matching representative points using the slope of the tracked structure. That is, the list constructing unit 330 constructs a list of representative points around the region to be removed, and constructs a list of matching representative points using the slope of the tracked structure.

내부 구조 예측부(340)는 상기 대표점들간의 연결 구조를 생성하여 내부 구조를 예측한다. 즉, 내부 구조 예측부(340)는 상기 대표점들간의 리스트를 참조하여 상기 대표점들간의 연결 구조를 생성하고, 상기 생성된 연결 구조를 이용하여 상기 내부 구조를 예측한다. The internal structure predictor 340 predicts the internal structure by generating a connection structure between the representative points. That is, the internal structure prediction unit 340 generates a connection structure between the representative points with reference to the list between the representative points, and predicts the internal structure using the generated connection structure.

구조 완성부(120)는 상기 제거될 영역 주변의 경계 정보를 이용하여 상기 예측된 구조를 완성한다(240). 일례로 구조 완성부(120)는 상기 예측된 구조 부분에 대해 질감 합성 방법을 이용하여 상기 예측된 구조를 완성할 수 있다. 즉, 구조 완성부(120)는 상기 질감 합성 방법으로 채워야 할 영역의 패치를 원래 영상에서의 패치와 얼마나 유사한지 계산하여 가장 유사한 패치로 채워 넣어서 상기 예측된 구조를 완성할 수 있다. 이때, 유사한 패치를 구하기 위하여 영상 전체를 검사하는 방법은 시간이 오래 걸리고 정확도가 떨어지는 문제가 발생하므로 상기 유사한 패치를 구하는 범위를 구조 예측부(110)에서 소벨 마스크를 이용하여 구한 영상의 전체적인 구조로 제한할 수 있다. The structure completion unit 120 completes the predicted structure by using boundary information around the region to be removed (240). For example, the structure completion unit 120 may complete the predicted structure by using a texture synthesis method for the predicted structure part. That is, the structure completion unit 120 may complete the predicted structure by calculating how similar to the patch in the original image the patch of the region to be filled by the texture synthesis method is filled with the most similar patch. In this case, a method of inspecting the entire image to obtain a similar patch takes a long time and a problem of inaccuracy, so the range of obtaining the similar patch is the overall structure of the image obtained by using the Sobel mask in the structure predictor 110. You can limit it.

도 8은 예측된 구조를 완성하는 일례를 나타내는 도면이다.8 is a diagram illustrating an example of completing a predicted structure.

도 8을 참조하면, 예측된 구조 완성을 도식화한 이미지(800)에서 Ωα는 제거될 영역으로서 채워야 할 영역이며, Ωβ는 제거되지 않은 정보를 가져오는 영역 이다. 예측된 구조 완성을 도식화한 이미지(800)에서 Ωα의 선은 예측된 구조이며, Ωβ의 선은 상기 소벨 마스크를 이용해 구한 구조 정보로서 패치의 유사도를 구할 범위이다. 예측된 구조 완성을 도식화한 이미지(800)에서 Pi는 채워 넣어야 할 예측된 구조의 패치이며, Pj는 대체할 후보 패치를 나타낸다. Referring to FIG. 8, Ω α is an area to be filled as an area to be removed, and Ω β is an area that brings information not removed in the image 800 illustrating the predicted structure completion. In the image 800 illustrating the predicted structure completion, the line of Ω α is a predicted structure, and the line of Ω β is a range for obtaining similarity of patches as the structure information obtained using the Sobel mask. In the image 800 depicting the predicted structure completion, P i is a patch of the predicted structure to be filled, and P j represents a candidate patch to replace.

영상 완성 장치(100)는 채워야 할 영역의 패치를 원래 영상에서의 패치와 얼마나 유사한지 패치간 유사도를 계산하는 유사도 계산부(도면에 도시되어 있지 않음)를 더 포함할 수 있다. 일례로 상기 유사도 계산부는 상기 소벨 마스크를 이용하여 구한 구조 정보 범위에서 상기 패치간 유사도를 계산할 수 있다. The image completion apparatus 100 may further include a similarity calculator (not shown) that calculates the similarity between patches to how similar the patch of the region to be filled with the patch in the original image. For example, the similarity calculator may calculate the similarity between the patches in the structural information range obtained using the Sobel mask.

예를 들어, Pi와의 유사도를 구해 가장 유사한 패치 Pj를 선택하고, 상기 유사도 계산부는 상기 패치간 유사도를 HSV(Hue Saturation Value) 색 공간에서 색인 값의 차이와 RGB(Red Green Blue) 색 공간에서 패치 내부의 색상에 대한 유클리드 거리(Euclidean distance)로 계산할 수 있다. For example, obtaining a similarity with P i to select the most similar patch P j , and the similarity calculating unit calculates the similarity between the patches to the difference between the index values in the Hue Saturation Value (HSV) color space and the red green blue (RGB) color space. This can be calculated as the Euclidean distance for the color inside the patch at.

일례로 상기 패치 내부의 색인 값이 같은 경우, 구조 완성부(120)는 상기 패치 내부의 제거되지 않은 화소에 대해 상기 RGB 색 공간에서 색들간의 유클리드 거리를 계산하여 현재 대체해야 할 패치(Pi)를 상기 계산된 결과에 따라 가장 유사한 패치(Pj)로 대체하여 상기 예측된 구조를 완성할 수 있다. For example, when the index values in the patch are the same, the structure completion unit 120 calculates a Euclidean distance between colors in the RGB color space for pixels that are not removed in the patch (P i). ) Can be replaced by the most similar patch P j according to the calculated result to complete the predicted structure.

이와 같이, 본 발명에서는 Pi를 대체할 수 있는 Pj를 계산할 때 먼저 패치 내부의 색인 값을 비교하여 같은 색인 값일 경우만을 판단함으로써 유사한 패치를 검사하는 시간을 줄일 수 있다. As described above, in the present invention, when calculating P j that can replace P i , the index value inside the patch is first compared to determine only the same index value, thereby reducing the time for examining similar patches.

영상 완성부(130)는 상기 예측된 구조를 제외한 제거될 영역을 채워서 영상을 완성한다(250). 일례로 영상 완성부(130)는 도 8에 도시된 것과 같이 제거될 영역의 구조가 완성되면, 상기 제거될 영역에서 상기 완성된 구조 부분을 제외한 나머지 영역에 대해 질감 합성 방법을 이용하여 채워서 상기 영상을 완성할 수 있다. The image completion unit 130 completes the image by filling the region to be removed except the predicted structure (250). For example, when the structure of the region to be removed is completed as shown in FIG. 8, the image completion unit 130 fills the remaining region except for the completed structure portion in the region to be removed by using a texture synthesis method. Can be completed.

이와 같이, 본 발명에 따른 구조 예측에 의한 영상 완성 장치(100)는 영상 내의 객체들의 형태를 보존할 뿐만 아니라 질감 합성 과정에서 구조 정보를 이용하여 영상을 완성함으로써 보다 자연스러운 복원 결과를 제공할 수 있다. As described above, the image completion apparatus 100 by the structure prediction according to the present invention may not only preserve the shape of the objects in the image, but also provide a more natural reconstruction result by completing the image using the structure information in the texture synthesis process. .

도 9는 질감 합성을 이용한 영상을 완성하는 일례를 나타내는 도면이다.9 is a diagram illustrating an example of completing an image using texture synthesis.

도 9를 참조하면, 질감 합성을 이용한 채우기를 도식화한 이미지(900)에서 Ωα는 제거될 영역으로서 채워져야 할 영역이며, Ωβ는 알려진 영역으로서 제거되지 않은 정보를 가져오는 영역이다. 질감 합성을 이용한 채우기를 도식화한 이미지(900)에서 Pi는 현재 채워져야 할 패치이며, Pj는 대체할 후보 패치를 나타낸다. Referring to FIG. 9, Ω α is an area to be filled as an area to be removed, and Ω β is a known area to obtain information that is not removed in the image 900 illustrating the fill using texture synthesis. In the image 900 depicting the fill using texture synthesis, P i is the patch to be filled now and P j represents the candidate patch to replace.

일례로 상기 패치 내부의 색인 값이 같은 경우, 상기 유사도 계산부는 상기 패치 내부의 제거되지 않은 화소에 대해 상기 RGB 색 공간에서 색들간의 유클리드 거리를 계산하여 가장 유사한 패치를 구하여 대체할 수 있다. 따라서, 영상 완성부(130)는 상기 계산된 패치간 유사도에 따라 가장 유사한 패치로 대체하여 상기 영상을 완성한다.For example, when the index values in the patch are the same, the similarity calculator may calculate and replace the most similar patch by calculating Euclidean distance between colors in the RGB color space with respect to pixels that are not removed in the patch. Therefore, the image completion unit 130 completes the image by replacing the most similar patch according to the calculated similarity between the patches.

본 발명에서 구조 완성 단계와 마찬가지로 Pi와의 유사도를 구해 가장 유사한 패치 Pj를 구할 때 먼저 패치 내부의 색인을 비교하여 같은 색인 경우만을 판단함으로써 유사한 패치를 검사하는 시간을 줄일 수 있다. In the present invention, when obtaining the similarity with P i to obtain the most similar patch P j as in the structure completion step, the time of checking similar patches can be reduced by first comparing the indexes in the patches and determining only the same index case.

한편, 색인이 모두 달라서 유사한 패치가 없을 경우 영상 완성부(130)는 상기 제거될 영역의 각 화소들에 대해 그 화소 주변의 색상 정보를 이용하여 상기 제거될 영역을 채워서 상기 영상을 완성할 수 있다. On the other hand, if there is no similar patch because the indexes are all different, the image completion unit 130 may complete the image by filling the region to be removed using color information around the pixel for each pixel of the region to be removed. .

도 10은 본 발명의 일실시예에 따른 영상 완성 방법의 동작 흐름도를 나타내는 도면이다.10 is a flowchart illustrating an operation of an image completing method according to an embodiment of the present invention.

도 1 내지 도 10을 참조하면, 단계(S1010)에서 영상 완성 장치(100)는 영상 내에서 제거될 영역의 구조를 예측한다. 즉, 단계(S1010)에서 영상 완성 장치(100)는 상기 영상에서 제거될 영역을 제외한 나머지 부분에 대해 경계 정보를 획득한 후 상기 획득된 경계 정보를 이용하여 상기 제거될 영역에 대한 구조 정보를 예측한다. 1 to 10, in operation S1010, the image completion apparatus 100 predicts a structure of an area to be removed in an image. That is, in operation S1010, the image completion apparatus 100 obtains boundary information on the remaining portion of the image except for the region to be removed, and then predicts the structure information on the region to be removed using the obtained boundary information. do.

일례로 단계(S1010)에서 영상 완성 장치(100)는 상기 영상에서 제거될 영역을 제외한 나머지 부분에 대해 도 4에 도시된 것과 같은 소벨 마스크를 이용하여 경계 정보를 획득한 후 상기 제거될 영역에 대한 구조 정보를 예측할 수 있다. 즉, 단계(S1010)에서 영상 완성 장치(100)는 상기 영상에서 제거될 영역을 설정하고, 상기 소벨 마스크를 이용하여 상기 제거될 영역을 제외한 나머지 부분에 대해 경계 정보를 획득한 후 상기 획득된 경계 정보를 이용하여 상기 제거될 영역에 대 한 구조 정보를 예측할 수 있다. For example, in operation S1010, the image completion apparatus 100 acquires boundary information using a Sobel mask as shown in FIG. 4 for the remaining portions of the image except for the region to be removed, and then, for the region to be removed. Predict structural information. That is, in operation S1010, the image completion apparatus 100 sets an area to be removed from the image, acquires boundary information on the remaining portions except for the area to be removed using the Sobel mask, and then obtains the boundary. The information can be used to predict structural information about the region to be removed.

이하 도 11을 참조하여 구조를 예측하는 단계의 동작을 보다 상세하게 설명하기로 한다. Hereinafter, an operation of predicting a structure will be described in more detail with reference to FIG. 11.

도 11은 구조 예측 단계를 구체화한 일례를 나타내는 도면이다.11 is a diagram illustrating an example of a detailed structure prediction step.

도 11을 참조하면, 단계(S1110)에서 영상 완성 장치(100)는 상기 설정된 영역에 따라 내부 구조에 연결에 필요한 대표점을 판단한다. Referring to FIG. 11, in operation S1110, the image completing apparatus 100 determines a representative point for connecting to an internal structure according to the set region.

단계(S1120)에서 영상 완성 장치(100)는 상기 판단된 대표점들의 리스트를 구성한다. In operation S1120, the image completing apparatus 100 constructs a list of the determined representative points.

단계(S1130)에서 영상 완성 장치(100)는 상기 설정된 영역과 직교 방향으로 알고 있는 구조를 추적한다. 일례로 단계(S1130)에서 영상 완성 장치(100)는 각 대표점을 시작으로 외부 구조를 추적하여 상기 기울기의 변화를 구하는 단계를 더 포함할 수 있다. In operation S1130, the image completion apparatus 100 tracks a structure known in the orthogonal direction to the set area. For example, in operation S1130, the image completing apparatus 100 may further include obtaining a change in the slope by tracking an external structure starting from each representative point.

단계(S1140)에서 영상 완성 장치(100)는 상기 추적된 구조의 기울기를 이용하여 일치하는 점의 리스트를 구성한다. In operation S1140, the image completing apparatus 100 constructs a list of matching points using the slope of the tracked structure.

단계(S1150)에서 영상 완성 장치(100)는 상기 대표점들간의 연결 구조를 생성하여 내부 구조를 예측한다. 즉, 단계(S1150)에서 영상 완성 장치(100)는 구조 추정에 필요한 상기 대표점들간의 연결 구조를 생성하여 내부 구조를 예측할 수 있다. In operation S1150, the image completion apparatus 100 generates a connection structure between the representative points to predict an internal structure. That is, in operation S1150, the image completion apparatus 100 may generate a connection structure between the representative points necessary for structure estimation to predict an internal structure.

이와 같이, 본 발명에 따른 영상 완성 방법은 원본 영상에 대해 제거될 영역을 설정하고, 제거될 영역 주변의 구조 정보를 예측할 수 있다. As described above, the image completing method according to the present invention may set a region to be removed with respect to the original image and predict the structure information around the region to be removed.

단계(S1020)에서 영상 완성 장치(100)는 상기 제거될 영역 주변의 경계 정보를 이용하여 상기 예측된 구조를 완성한다. In operation S1020, the image completion apparatus 100 completes the predicted structure by using boundary information around the region to be removed.

일례로 단계(S1020)에서 영상 완성 장치(100)는 상기 질감 합성 방법으로 채워야 할 영역의 패치를 원래 영상에서의 패치와 얼마나 유사한지 계산하여 가장 유사한 패치로 채워 넣어서 상기 예측된 구조를 완성할 수 있다. 이때, 유사한 패치를 구하기 위하여 영상 전체를 검사하는 방법은 시간이 오래 걸리고 정확도가 떨어지는 문제가 발생하므로 상기 유사한 패치를 구하는 범위를 소벨 마스크를 이용하여 구한 영상의 전체적인 구조로 제한할 수 있다. For example, in operation S1020, the image completion apparatus 100 may complete the predicted structure by calculating how similar the patch of the region to be filled by the texture synthesis method is to the patch in the original image and filling it with the most similar patch. have. In this case, the method of inspecting the entire image to obtain a similar patch takes a long time and a problem of inaccuracy, so the range of obtaining the similar patch may be limited to the overall structure of the image obtained using the Sobel mask.

또한 단계(S1020)에서 영상 완성 장치(100)는 채워야 할 영역의 패치를 원래 영상에서의 패치와 얼마나 유사한지 패치간 유사도를 계산하는 단계를 더 포함하고, 상기 계산된 패치간 유사도에 따라 가장 유사한 패치로 상기 제거될 영역의 구조를 완성할 수 있다. In operation S1020, the image completion apparatus 100 may further include calculating a similarity between patches to determine how similar a patch of a region to be filled with a patch in an original image, and is most similar according to the calculated similarity between patches. The patch can complete the structure of the region to be removed.

단계(S1030)에서 영상 완성 장치(100)는 상기 예측된 구조를 제외한 제거될 영역을 채워서 영상을 완성한다. 즉, 단계(S1030)에서 영상 완성 장치(100)는 질감 합성을 이용하여 상기 예측된 구조 부분을 제외한 제거될 영역을 채워서 상기 영상을 완성한다. In operation S1030, the image completion apparatus 100 completes an image by filling an area to be removed except for the predicted structure. That is, in operation S1030, the image completion apparatus 100 completes the image by filling a region to be removed except for the predicted structural portion by using texture synthesis.

또한 단계(S1030)에서 영상 완성 장치(100)는 채워야 할 영역의 패치를 원래 영상에서의 패치와 얼마나 유사한지 패치간 유사도를 계산하는 단계를 더 포함하고, 상기 제거될 영역에서 완성된 구조 부분을 제외한 나머지 영역에 대해 상기 계산된 패치간 유사도에 따라 상기 제거될 영역을 채워서 상기 영상을 완성할 수 있 다. In operation S1030, the image completion apparatus 100 may further include calculating a similarity between patches to determine how similar the patch of the region to be filled with the patch in the original image, and extracting the completed structural part from the region to be removed. The image may be completed by filling the region to be removed according to the calculated similarity between the patches for the remaining regions.

일례로 상기 패치 내부의 색인 값이 같은 경우, 단계(S1030)에서 영상 완성 장치(100)는 상기 패치 내부의 제거되지 않은 화소에 대해 상기 RGB 색 공간에서 색들간의 유클리드 거리를 계산하여 가장 유사한 패치를 구하여 대체하여 상기 영상을 완성할 수 있다.For example, if the index values in the patch are the same, the image completion apparatus 100 calculates Euclidean distance between colors in the RGB color space with respect to an unremoved pixel in the patch, in step S1030, and the most similar patch. Obtaining and replacing to complete the image.

한편, 색인이 모두 달라서 유사한 패치가 없을 경우, 단계(S1030)에서 영상 완성 장치(100)는 상기 제거될 영역의 각 화소들에 대해 그 화소 주변의 색상 정보를 이용하여 상기 제거될 영역을 채워서 상기 영상을 완성할 수 있다.On the other hand, if the indexes are all different and there is no similar patch, in operation S1030, the image completion apparatus 100 fills the region to be removed using color information around the pixel for each pixel of the region to be removed. You can complete the video.

따라서, 본 발명에 따른 영상 완성 방법은 영상 내의 객체들의 형태를 보존할 뿐만 아니라 질감 합성 과정에서 구조 정보를 이용하여 영상을 완성함으로써 보다 자연스럽게 영상을 복원할 수 있다. Therefore, the image completion method according to the present invention can not only preserve the shape of the objects in the image, but also reconstruct the image more naturally by completing the image using the structure information in the texture synthesis process.

이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다. As described above, the present invention has been described by way of limited embodiments and drawings, but the present invention is not limited to the above embodiments, and those skilled in the art to which the present invention pertains various modifications and variations from such descriptions. This is possible.

그러므로, 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 아니되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.Therefore, the scope of the present invention should not be limited to the described embodiments, but should be determined not only by the claims below but also by the equivalents of the claims.

도 1은 본 발명의 일실시예에 따른 영상 완성 장치의 구성을 나타내는 도면이다.1 is a view showing the configuration of an image completing apparatus according to an embodiment of the present invention.

도 2는 영상 완성 절차에 따른 영상의 일례를 나타내는 도면이다.2 is a diagram illustrating an example of an image according to an image completion procedure.

도 3은 구조 예측부에 대한 구체적인 구성의 일례를 나타내는 도면이다.3 is a diagram illustrating an example of a specific configuration of a structure prediction unit.

도 4는 소벨 마스크의 일례를 나타내는 도면이다.4 is a diagram illustrating an example of a Sobel mask.

도 5는 소벨 마스크를 이용한 경계 정보의 일례를 나타내는 도면이다.5 is a diagram illustrating an example of boundary information using a Sobel mask.

도 6은 제거될 영역에서 내부 구조 연결에 필요한 대표점의 일례를 나타내는 도면이다.6 is a view showing an example of representative points required for connecting the internal structure in the region to be removed.

도 7은 각각의 대표점을 기준으로 추적된 구조의 기울기를 계산하고, 대표점들 간의 연결성을 추정하는 일례를 나타내는 도면이다.7 is a diagram illustrating an example of calculating a slope of a structure tracked based on each representative point and estimating connectivity between the representative points.

도 8은 예측된 구조를 완성하는 일례를 나타내는 도면이다.8 is a diagram illustrating an example of completing a predicted structure.

도 9는 질감 합성을 이용하여 영상을 완성하는 일례를 나타내는 도면이다.9 is a diagram illustrating an example of completing an image using texture synthesis.

도 10은 본 발명의 일실시예에 따른 영상 완성 방법의 동작 흐름도를 나타내는 도면이다.10 is a flowchart illustrating an operation of an image completing method according to an embodiment of the present invention.

도 11은 구조 예측 단계를 구체화한 일례를 나타내는 도면이다.11 is a diagram illustrating an example of a detailed structure prediction step.

<도면의 주요 부분에 대한 부호의 설명><Explanation of symbols for the main parts of the drawings>

100: 영상 완성 장치100: video completion device

110: 구조 예측부 120; 구조 완성부110: structure prediction unit 120; Structure completion

130: 영상 완성부130: video completion unit

Claims (20)

영상 내에서 제거될 영역의 구조를 예측하는 단계; Predicting a structure of an area to be removed in the image; 상기 제거될 영역 주변의 경계 정보를 이용하여 상기 예측된 구조를 완성하는 단계; 및Completing the predicted structure using boundary information around the region to be removed; And 상기 예측된 구조를 제외한 제거될 영역을 채워서 영상을 완성하는 단계Completing an image by filling an area to be removed except the predicted structure 를 포함하고,Including, 상기 구조를 예측하는 단계는,Predicting the structure, 상기 제거될 영역에 따라 내부 구조에 연결에 필요한 대표점을 판단하는 단계;Determining a representative point for connecting to an internal structure according to the region to be removed; 상기 판단된 대표점들의 리스트를 구성하는 단계;Constructing the determined list of representative points; 상기 설정된 영역과 직교 방향으로 알고 있는 구조를 추적하는 단계;Tracking a structure known in a direction orthogonal to the set area; 상기 추적된 구조의 기울기를 이용하여 일치하는 점의 리스트를 구성하는 단계; 및Constructing a list of matching points using the slope of the tracked structure; And 상기 대표점들간의 연결 구조를 생성하여 내부 구조를 예측하는 단계Predicting an internal structure by generating a connection structure between the representative points 를 더 포함하는 구조 예측에 의한 영상 완성 방법.The image completion method by the structure prediction further comprising. 제1항에 있어서, The method of claim 1, 상기 구조를 예측하는 단계는,Predicting the structure, 상기 영상에서 제거될 영역을 제외한 나머지 부분에 대해 소벨 마스크(sobel mask)를 이용하여 경계 정보를 획득한 후 상기 제거될 영역에 대한 구조 정보를 예측하는 구조 예측에 의한 영상 완성 방법.And obtaining boundary information using a sobel mask for the remaining portions of the image except for the region to be removed, and then predicting the structure information of the region to be removed. 제2항에 있어서, The method of claim 2, 상기 구조를 예측하는 단계는,Predicting the structure, 상기 영상에서 제거될 영역을 설정하고, 상기 소벨 마스크를 이용하여 상기 제거될 영역을 제외한 영상에 대한 구조 정보를 예측하는 구조 예측에 의한 영상 완성 방법.And a method of predicting the structure of the image excluding the region to be removed using the Sobel mask. 삭제delete 제1항에 있어서, The method of claim 1, 각 대표점을 시작으로 외부 구조를 추적하여 상기 기울기의 변화를 구하는 단계를 더 포함하는 구조 예측에 의한 영상 완성 방법.Comprising the step of tracking the external structure starting from each representative point to obtain a change in the slope image completion method by the structure prediction. 제2항에 있어서, The method of claim 2, 상기 영상을 완성하는 단계는,Completing the image, 질감 합성을 이용하여 상기 예측된 구조 부분을 제외한 제거될 영역을 채워서 상기 영상을 완성하는 구조 예측에 의한 영상 완성 방법.And a method of completing the image by filling a region to be removed except the predicted structural portion by using texture synthesis. 제1항에 있어서,The method of claim 1, 채워야 할 영역의 패치를 원래 영상에서의 패치와 얼마나 유사한지 패치간 유사도를 계산하는 단계를 더 포함하는 구조 예측에 의한 영상 완성 방법.And calculating the similarity between the patches to how similar the patches in the original image are to the patches of the region to be filled. 제7항에 있어서, The method of claim 7, wherein 상기 예측된 구조를 완성하는 단계는,Completing the predicted structure, 상기 계산된 패치간 유사도에 따라 가장 유사한 패치로 상기 제거될 영역의 구조를 완성하고,Complete the structure of the region to be removed with the most similar patch according to the calculated similarity between the patches, 상기 영상을 완성하는 단계는,Completing the image, 상기 제거될 영역의 구조가 완성되면, 상기 제거될 영역에서 완성된 구조 부분을 제외한 나머지 영역에 대해 상기 계산된 패치간 유사도에 따라 상기 제거될 영역을 채워서 상기 영상을 완성하는 구조 예측에 의한 영상 완성 방법.When the structure of the region to be removed is completed, image completion by structure prediction for filling the region to be removed according to the similarity between the patches for the remaining regions other than the completed structure portion in the region to be removed completes the image. Way. 제7항에 있어서,The method of claim 7, wherein 상기 패치간 유사도를 계산하는 단계는,Calculating the similarity between the patches, 상기 패치간 유사도를 HSV 색 공간에서 색인 값의 차이와 RGB 색 공간에서 패치 내부의 색상에 대한 유클리드 거리(Euclidean distance)로 계산하는 구조 예측에 의한 영상 완성 방법.And a similarity between the patches is calculated as a difference between index values in an HSV color space and an Euclidean distance with respect to colors inside a patch in an RGB color space. 제9항에 있어서,10. The method of claim 9, 상기 영상을 완성하는 단계는,Completing the image, 상기 패치 내부의 색인 값이 같은 경우, 상기 패치 내부의 제거되지 않은 화소에 대해 상기 RGB 색 공간에서 색들간의 유클리드 거리를 계산하여 현재 채워야 할 패치를 가장 유사한 패치로 대체하여 상기 영상을 완성하는 구조 예측에 의한 영상 완성 방법.When the index values in the patch are the same, a structure for completing the image by calculating a Euclidean distance between colors in the RGB color space with respect to an unremoved pixel in the patch and replacing a patch to be filled with the most similar patch. Image Completion Method by Prediction. 영상 내에서 제거될 영역의 구조를 예측하는 구조 예측부; A structure predictor for predicting a structure of an area to be removed in the image; 상기 제거될 영역 주변의 경계 정보를 이용하여 상기 예측된 구조를 완성하는 구조 완성부; 및A structure completion unit for completing the predicted structure by using boundary information around the region to be removed; And 상기 예측된 구조를 제외한 제거될 영역을 채워서 영상을 완성하는 영상 완성부Image completion unit for completing the image by filling the area to be removed except the predicted structure 를 포함하고,Including, 상기 구조 예측부는,The structure prediction unit, 상기 제거될 영역에서 내부 구조 연결에 필요한 대표점을 판단하는 판단부;A determination unit to determine a representative point for connecting internal structures in the region to be removed; 상기 제거될 영역과 직교 방향으로 알고 있는 구조를 추적하는 구조 추적부;A structure tracking unit for tracking a structure known in a direction orthogonal to the region to be removed; 상기 판단된 대표점들의 리스트를 구성하고, 상기 추적된 구조의 기울기를 이용하여 일치하는 점의 리스트를 구성하는 리스트 구성부; 및A list constructing unit constituting the determined list of representative points and constituting a list of matching points using the slope of the tracked structure; And 상기 대표점들간의 연결 구조를 생성하여 내부 구조를 예측하는 내부 구조 예측부An internal structure prediction unit for generating a connection structure between the representative points to predict an internal structure 를 더 포함하는 구조 예측에 의한 영상 완성 장치.The image completion device by structure prediction further comprising. 제11항에 있어서, The method of claim 11, 상기 구조 예측부는,The structure prediction unit, 상기 영상에서 제거될 영역을 제외한 나머지 부분에 대해 소벨 마스크(sobel mask)를 이용하여 경계 정보를 획득한 후 상기 제거될 영역에 대한 구조 정보를 예측하는 구조 예측에 의한 영상 완성 장치.And image prediction apparatus for predicting structure information on the region to be removed after acquiring boundary information using a sobel mask for the remaining portions of the image except for the region to be removed. 제12항에 있어서, The method of claim 12, 상기 구조 예측부는,The structure prediction unit, 상기 영상에서 제거될 영역을 설정하고, 상기 소벨 마스크를 이용하여 상기 제거될 영역을 제외한 영상에 대해 구조 정보를 예측하는 구조 예측에 의한 영상 완성 장치.And an area of the image to be removed from the image, and using the Sobel mask to predict the structure information of the image excluding the area to be removed. 삭제delete 제11항에 있어서, The method of claim 11, 각 대표점을 시작으로 외부 구조를 추적하여 상기 기울기를 계산하는 기울기 계산부를 더 포함하는 구조 예측에 의한 영상 완성 장치.And a slope calculator configured to calculate an inclination by tracking an external structure starting from each representative point. 제11항에 있어서, The method of claim 11, 상기 영상 완성부는,The image completion unit, 질감 합성을 이용하여 상기 예측된 구조 부분을 제외한 제거될 영역을 채워서 상기 영상을 완성하는 구조 예측에 의한 영상 완성 장치.And a structure predictor for completing the image by filling a region to be removed except for the predicted structure portion by using texture synthesis. 제11항에 있어서,The method of claim 11, 채워야 할 영역의 패치를 원래 영상에서의 패치와 얼마나 유사한지 패치간 유사도를 계산하는 유사도 계산부를 더 포함하는 구조 예측에 의한 영상 완성 장치.And a similarity calculation unit for calculating a similarity between patches of how similar a patch in a region to be filled with a patch in an original image. 제17항에 있어서, The method of claim 17, 상기 구조 완성부는,The structure completion unit, 상기 계산된 패치간 유사도에 따라 가장 유사한 패치로 상기 제거될 영역의 구조를 완성하고,Complete the structure of the region to be removed with the most similar patch according to the calculated similarity between the patches, 상기 영상 완성부는,The image completion unit, 상기 제거될 영역의 구조가 완성되면, 상기 제거될 영역에서 완성된 구조 부분을 제외한 나머지 영역에 대해 상기 계산된 패치간 유사도에 따라 상기 제거될 영역을 채워서 상기 영상을 완성하는 구조 예측에 의한 영상 완성 장치.When the structure of the region to be removed is completed, image completion by structure prediction for filling the region to be removed according to the similarity between the patches for the remaining regions other than the completed structure portion in the region to be removed completes the image. Device. 제17항에 있어서,The method of claim 17, 상기 유사도 계산부는,The similarity calculation unit, 상기 패치간 유사도를 HSV 색 공간에서 색인 값의 차이와 RGB 색 공간에서 패치 내부의 색상에 대한 유클리드 거리(Euclidean distance)로 계산하는 구조 예측에 의한 영상 완성 장치.And a similarity between the patches is calculated as a difference between an index value in an HSV color space and an Euclidean distance with respect to colors inside a patch in an RGB color space. 제19항에 있어서,The method of claim 19, 상기 영상 완성부는,The image completion unit, 상기 패치 내부의 색인 값이 같은 경우, 상기 패치 내부의 제거되지 않은 화소에 대해 상기 RGB 색 공간에서 색들간의 유클리드 거리를 계산하여 현재 채워야 할 패치를 가장 유사한 패치로 대체하여 상기 영상을 완성하는 구조 예측에 의한 영상 완성 장치.When the index values in the patch are the same, a structure for completing the image by calculating a Euclidean distance between colors in the RGB color space with respect to an unremoved pixel in the patch and replacing a patch to be filled with the most similar patch. Image completion device by prediction.
KR1020080102645A 2008-10-20 2008-10-20 Method and apparatus for completing image with structure estimation KR100954288B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020080102645A KR100954288B1 (en) 2008-10-20 2008-10-20 Method and apparatus for completing image with structure estimation

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020080102645A KR100954288B1 (en) 2008-10-20 2008-10-20 Method and apparatus for completing image with structure estimation

Publications (1)

Publication Number Publication Date
KR100954288B1 true KR100954288B1 (en) 2010-04-23

Family

ID=42220240

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020080102645A KR100954288B1 (en) 2008-10-20 2008-10-20 Method and apparatus for completing image with structure estimation

Country Status (1)

Country Link
KR (1) KR100954288B1 (en)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5247588A (en) 1990-08-14 1993-09-21 Kabushiki Kaisha Toshiba Method of image restoration
KR20040085503A (en) * 2003-03-31 2004-10-08 이성환 Apparatus and method for reconstructing facial image
KR20080048904A (en) * 2006-11-29 2008-06-03 한양대학교 산학협력단 Apparatus and method for restoring loss pixel using directional interpolation

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5247588A (en) 1990-08-14 1993-09-21 Kabushiki Kaisha Toshiba Method of image restoration
KR20040085503A (en) * 2003-03-31 2004-10-08 이성환 Apparatus and method for reconstructing facial image
KR20080048904A (en) * 2006-11-29 2008-06-03 한양대학교 산학협력단 Apparatus and method for restoring loss pixel using directional interpolation

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
데이터베이스 연구 제22권 제1호 pp.35~45 (2006.4)*

Similar Documents

Publication Publication Date Title
US20180150940A1 (en) Method for filling-in missing regions in an image of a multimedia content, corresponding computer program product and apparatus
CN105550989B (en) The image super-resolution method returned based on non local Gaussian process
Fang et al. Variational single image dehazing for enhanced visualization
US20120288199A1 (en) Image processing apparatus, image processing method, and computer-readable recording device
Zhang et al. GAIN: Gradient augmented inpainting network for irregular holes
CN110717892B (en) Tone mapping image quality evaluation method
Wang et al. Gif2video: Color dequantization and temporal interpolation of gif images
Narasimhan et al. A comparison of contrast enhancement techniques in poor illuminated gray level and color images
Jacob et al. Colorization of grayscale images and videos using a semiautomatic approach
Wang et al. Hazy image decolorization with color contrast restoration
Mishra et al. Automatic lesion border selection in dermoscopy images using morphology and color features
CN111489333B (en) No-reference night natural image quality evaluation method
JP6404794B2 (en) Image information acquisition method, image evaluation method, image information acquisition device, image evaluation device, and image processing program
KR100954288B1 (en) Method and apparatus for completing image with structure estimation
CN106504203B (en) Block matching image restoration method applying screening strategy
CN116980549A (en) Video frame processing method, device, computer equipment and storage medium
Nishihara Exemplar-based image inpainting with patch shifting scheme
JP7160211B2 (en) machine learning models, generators, computer programs
KR102119138B1 (en) Bayesian based image restoration method for camera
CN105791879B (en) The compensation motion vector method and system of lost blocks in video code flow error concealing
Liang et al. A color cast image enhancement method based on affine transform in poor visible conditions
CN104504668B (en) Image containing face adds sharp method and device
Badgujar et al. Examplar-based Image Inpainting and Approaches to Improve the Performance
Kumar et al. A Review Paper on Image Quality Assessment Metrics
JP7455234B2 (en) Methods, devices, equipment and storage medium for facial pigment detection model training

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20130410

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20140401

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20160318

Year of fee payment: 7

LAPS Lapse due to unpaid annual fee