KR101075716B1 - 이미지 복원 장치 및 방법 - Google Patents

이미지 복원 장치 및 방법 Download PDF

Info

Publication number
KR101075716B1
KR101075716B1 KR1020090002908A KR20090002908A KR101075716B1 KR 101075716 B1 KR101075716 B1 KR 101075716B1 KR 1020090002908 A KR1020090002908 A KR 1020090002908A KR 20090002908 A KR20090002908 A KR 20090002908A KR 101075716 B1 KR101075716 B1 KR 101075716B1
Authority
KR
South Korea
Prior art keywords
image
area
image area
region
similar
Prior art date
Application number
KR1020090002908A
Other languages
English (en)
Other versions
KR20100083498A (ko
Inventor
정영민
조성대
손병준
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020090002908A priority Critical patent/KR101075716B1/ko
Priority to EP10150472.8A priority patent/EP2209090B1/en
Priority to ES10150472.8T priority patent/ES2438141T3/es
Priority to US12/687,604 priority patent/US8355593B2/en
Publication of KR20100083498A publication Critical patent/KR20100083498A/ko
Application granted granted Critical
Publication of KR101075716B1 publication Critical patent/KR101075716B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/77—Retouching; Inpainting; Scratch removal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/001—Texturing; Colouring; Generation of texture or colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/40—Analysis of texture

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 이미지 복원 장치 및 방법에 관한 것이다.
이를 위해 본 발명은 이미지 복원 요청에 따라 복원할 타겟 이미지 영역의 일부분을 우선적으로 복원할 복원 이미지 영역으로 설정하고, 복원 이미지 영역을 포함하는 미리 설정된 크기의 영역을 검색 영역으로 설정한 후 검색 영역 내에서 복원 이미지 영역과 가장 유사한 이미지 영역을 검출하고, 검출된 유사 이미지 영역의 이미지를 복사하여 복원 이미지 영역에 붙여 넣기 함으로써 자연스럽게 손상된 이미지를 복원할 수 있게 된다.
이미지 복원, 객체 제거, 엣지 방향

Description

이미지 복원 장치 및 방법{APPARATUS AND METHOD FOR INPAINTING IMAGE}
본 발명은 이미지 복원 장치 및 방법에 관한 것으로, 특히 객체 제거에 의한 원본 기반 복원 기술(Object Removal by Exemplar-Based Inpainting)을 기반으로 하여 이미지를 복원하기 위한 장치 및 방법에 관한 것이다.
이미지 복원 기술(Image Inpainting)은 과거 박물관에서 손상된 예술 작품의 복원으로부터 시작된 기술로, 현재에는 그림이나 사진의 손상된 부분을 복원하거나 일부분을 제거하는 것과 같은 다양한 용도로 사용된다.
이러한 이미지 복원 기술은 복원할 타겟 이미지가 존재하면 타겟 이미지의 경계 부분에 인접한 배경 이미지 영역의 픽셀들을 보간하고, 보간된 픽셀들로 타겟 이미지 영역을 채우는 기술이다. 여기서 배경 이미지는 원본 이미지에서 복원할 타겟 이미지를 제외한 나머지 이미지를 의미한다.
하지만 이러한 이미지 복원 기술을 이용하여 생성된 결과 이미지는 블러(Blur) 현상이 심하게 생성되는 문제점이 발생하였다.
상기의 이미지 복원 기술을 보안하기 위해 다양한 기술이 연구되었는데, 그 중 하나의 기술이 객체 제거에 의한 원본 기반 복원 기술(Object Removal by Exemplar-Based Inpainting, 이하 '원본 기반 복원 기술'로 칭함)이다.
원본 기반 복원 기술은 원본 이미지 내의 에지 및 평탄 영역을 참조하여 타겟 이미지의 경계 부분에 인접한 배경 이미지와 가장 유사한 이미지를 배경 이미지 내에서 검색하고, 검색된 이미지로 타겟 이미지 영역을 채우는 방식이다.
구체적으로 도 1을 참조하여 살펴보면, 원본 기반 복원 기술을 사용하는 이미지 복원 장치는 도 1의 (a)와 같은 원본 이미지에서 도 2의 (b)와 같은 타겟 이미지를 설정한다. 그리고 이미지 복원 장치는 타겟 이미지의 경계 부분에 인접한 배경 이미지 영역과 타겟 이미지의 경계 이미지 영역을 포함하는 복원 이미지 영역을 설정한다. 여기서 복원 이미지 영역은 미리 설정된 사이즈를 가지고, 복원하고자 하는 타겟 이미지의 일부분을 포함하는 영역이다.
이미지 복원 장치는 설정된 복원 이미지 영역의 픽셀값과 가장 유사한 픽셀값을 가지는 유사 이미지 영역을 배경 이미지 내에서 검색한다. 이때 복원 이미지 영역의 픽셀값는 복원 이미지 영역 내의 배경 이미지 영역의 픽셀값을 의미한다. 또한 여기서 픽셀값은 이미지 영역 내에 포함된 픽셀들의 RGB 평균값, RGB 분포도, 엣지 값 등을 포함한다.
이후 이미지 복원 장치는 검색된 유사 이미지 영역에서 복원 이미지 영역 내의 타겟 이미지 영역과 대응되는 유사 타겟 이미지만을 복사하여 복원 이미지 영역의 타겟 이미지 영역에 붙여넣기한다. 이미지 복원 장치는 이미지 복원이 완료될 때까지 상기의 동작을 반복적으로 수행한다. 상기의 동작이 완료되면 결과 이미지는 도 1의 (c)와 같이 도시된다.
이와 같이 종래에는 원본 기반 복원 기술을 이용하여 손상된 이미지를 복원하였지만 복원 이미지 영역의 픽셀값과 가장 유사한 픽셀값을 가지는 유사 이미지 영역을 검색할 시 타겟 이미지 영역에 복원하려는 이미지와는 전혀 다른 이미지가 검색될 수 있다는 문제점이 있었다.
이에 대해서 구체적으로 도 2를 참조하여 살펴보면 이미지 복원 장치는 도 2의 (a)에서 복원 이미지 영역(200) 내의 배경 이미지 픽셀값과 가장 유사한 픽셀값을 가지는 210과 같은 유사 이미지 영역을 배경 이미지 내에서 검색한다. 그러나 도 2의 (a)에서 유사 이미지 영역(210)은 복원 이미지 영역(200)과 동떨어진 곳에 위치하고 있기 때문에 검색되는 유사 이미지 영역은 복원하고자 하는 이미지와는 전혀 다른 이미지가 될 수 있다. 이에 따라 복원된 최종 이미지는 도 2의 (b)에서 220 및 230과 같은 오류현상이 나타날 수 있다는 문제점이 있었다.
따라서, 본 발명은 이와 같은 오류현상을 줄이고, 사용자가 원하는 이미지를 복원하기 위한 장치 및 방법을 제공한다.
상술한 바를 달성하기 위한 본 발명은 이미지 복원 요청에 따라 복원할 타겟 이미지 영역의 일부분을 우선적으로 복원할 복원 이미지 영역으로 설정하는 복원 이미지 영역 설정부와, 상기 복원 이미지 영역을 포함하는 미리 설정된 사이즈의 영역을 검색 영역으로 설정하는 검색 영역 설정부와, 상기 검색 영역 내에서 상기 복원 이미지 영역과 가장 유사한 이미지 영역을 검출하는 유사 이미지 영역 검출부와, 상기 검출된 유사 이미지 영역의 이미지를 복사하여 상기 복원 이미지 영역에 붙여 넣기 하는 복원 처리부를 포함함을 특징으로 한다.
또한, 본 발명은 이미지 복원 요청에 따라 복원할 타겟 이미지 영역의 일부분을 우선적으로 복원할 복원 이미지 영역으로 설정하는 복원 이미지 설정 과정과, 상기 복원 이미지 영역을 포함하는 미리 설정된 사이즈의 영역을 검색 영역을 검색 영역으로 설정하는 검색 영역 설정 과정과, 상기 검색 영역 내에서 상기 복원 이미지 영역과 가장 유사한 이미지 영역을 검출하는 유사 이미지 검출 과정과, 상기 검출된 유사 이미지 영역의 이미지를 복사하여 상기 복원 이미지 영역에 붙여 넣기 하는 복원 처리 과정을 포함함을 특징으로 한다.
본 발명은 복원 이미지 영역의 엣지 방향을 이용하여 유사 이미지 영역을 검출하기 위한 검색 영역의 위치와 사이즈를 변경함으로써 복원 이미지 영역과 가장 유사한 유사 이미지 영역을 검색할 수 있는 확률이 높아지고, 좀 더 짧은 시간 내에 사용자가 원하는 결과 이미지를 얻을 수 있다는 이점이 있다.
또한 본 발명은 복원 이미지 영역과 가장 유사한 유사 이미지 영역을 검색할 수 있는 확률을 높임으로써 좀 더 자연스러운 결과 이미지를 얻을 수 있고, 무선 통신 환경과 같은 작은 리소스를 사용하는 환경에서도 이미지 복원을 원활하게 수행할 수 있다는 이점이 있다.
이하 본 발명의 바람직한 실시 예를 첨부한 도면을 참조하여 상세히 설명한다. 하기 설명 및 첨부 도면에서 본 발명의 요지를 불필요하게 흐릴 수 있는 공지 기능 및 구성에 대한 상세한 설명은 생략한다.
이하 본 발명의 실시 예에 따른 이미지 복원 장치의 구성 및 각 구성의 동작에 대해서 도 3를 참조하여 상세하게 살펴보도록 한다.
도 3은 본 발명의 실시 예에 따른 이미지 복원 장치의 구성도를 나타내는 도면이다.
본 발명의 실시 예에 따른 이미지 복원 장치는 타겟 이미지 설정부(300), 복원 이미지 영역 설정부(310), 검색 영역 설정부(320), 유사 이미지 영역 검출부(330), 복원 처리부(340), 최종 이미지 출력부(350)를 포함한다.
타겟 이미지 설정부(300)는 타겟 이미지를 설정하기 위한 요청에 따라 입력된 원본 이미지에서 타겟 이미지 영역을 설정한다.
복원 이미지 영역 설정부(310)는 타겟 이미지의 경계 영역과 인접한 배경 이미지 영역인 인접 배경 이미지 내에서 가장 큰 엣지 값을 가지는 영역을 복원 이미지 영역으로 설정한다. 이것은 복원할 타겟 이미지 영역 중에서 가장 먼저 복원할 영역을 정하기 위한 것이다.
이후 복원 이미지 영역 설정부(310)는 복원 이미지 영역 내에서 배경 이미지 영역의 픽셀 개수와 타겟 이미지 영역의 픽셀 개수를 산출한다. 만약 산출된 배경 이미지 영역의 픽셀 개수가 타겟 이미지 영역의 픽셀 개수보다 작으면 복원 이미지 영역 설정부(310)는 배경 이미지 영역의 픽셀 개수가 많아지도록 복원 이미지 영역 의 위치 또는 사이즈를 변경한다.
이에 대해서 구체적으로 살펴보면 복원 이미지 영역 설정부(310)는 복원 이미지 영역 내에서 배경 이미지 영역의 엣지 방향을 산출한다. 그리고 복원 이미지 영역 설정부(310)는 배경 이미지 영역의 픽셀 개수가 타겟 이미지 영역의 픽셀 개수보다 많아지도록 산출된 엣지 방향을 참조하여 복원 이미지 영역의 위치를 이동시키거나 복원 이미지 영역의 사이즈를 기존의 사이즈보다 크게 변경한다. 이에 따라 본 발명은 배경 이미지 영역에 포함되는 픽셀의 개수가 많아질수록 원본 이미지와 비교되는 대상이 많아지기 때문에 좀 더 정확한 유사 이미지를 검출할 수 있게 된다.
만약 산출된 배경 이미지 영역의 픽셀 개수가 타겟 이미지 영역의 픽셀 개수보다 크면 복원 이미지 영역 설정부(310)는 복원 이미지 영역이 설정된 이미지를 검색 영역 설정부(320)로 바로 전달하거나 사용자의 선택에 따라 복원 이미지 영역의 사이즈를 기존보다 크게 변경할 수 있다.
검색 영역 설정부(320)는 복원 이미지 영역의 픽셀값과 가장 유사한 픽셀값을 가지는 유사 이미지 검색을 위해 사용되는 검색 영역을 설정한다. 이러한 검색 영역 설정부(320)는 검색 영역을 설정할 시 복원 이미지 영역의 엣지 방향을 산출하고, 산출된 엣지 방향을 참조하여 검색 영역의 가로, 세로 길이를 조절한다. 예를 들어, 검색 영역 설정부(320)는 엣지 방향이 가로 방향일 경우 가로 길이가 긴 직사각형 모양의 검색 영역을 설정할 수 있다. 만약 엣지 방향이 세로 방향일 경우 검색 영역 설정부(320)는 세로 길이가 긴 직사각형 모양의 검색 영역을 설정할 수 있다. 또한 엣지가 없는 경우 검색 영역 설정부(320)는 정사각형 모양의 검색 영역을 설정할 수 있다.
유사 이미지 영역 검출부(330)는 설정된 검색 영역 내에서 복원 이미지 영역의 픽셀값과 가장 유사한 픽셀값을 가지는 유사 이미지 영역을 검출한다. 구체적으로 유사 이미지 영역 검출부(330)는 검색 영역 내에서 복원 이미지 영역의 사이즈에 대응되는 영역마다 픽셀값을 산출하고, 산출된 픽셀값들 중 복원 이미지 영역의 픽셀값과 가장 작은 차이값을 가지는 영역을 유사 이미지 영역으로 선택한다.
복원 처리부(340)는 검출된 유사 이미지 영역에서 타겟 이미지 영역에 대응되는 유사 타겟 이미지만을 복사하여 복원 이미지 영역의 타겟 이미지 영역에 붙여넣기한 후 이미지 복원이 완료되었는지 확인한다.
이미지 복원이 완료된 경우 복원 처리부(340)는 복원이 완료된 이미지를 최종 이미지 출력부(350)로 전달한다. 만약 이미지 복원이 완료되지 않으면 복원 처리부(340)는 복원 처리된 이미지를 다시 복원 이미지 영역 설정부(310)로 전달하여 타겟 이미지 영역에 유사 타겟 이미지가 다 채워질 때까지 이미지 복원 동작을 계속적으로 수행하도록 한다.
최종 이미지 출력부(350)는 복원이 완료된 최종 이미지를 화면에 디스플레이한다.
이를 통해서 본 발명은 복원 이미지 영역의 엣지 방향을 참조하여 복원 이미지 영역의 사이즈와 위치를 변경함으로써 복원 이미지 영역과 가장 유사한 유사 이미지 영역을 검출하여 손상된 이미지를 자연스럽게 복원할 수 있게 된다.
그러면 이제 본 발명의 실시 예에 따라 도 3과 같이 구성되는 이미지 복원 장치에서의 이미지 복원 과정에 대해서 도 4a 및 도 4a를 참조하여 하기에서 구체적으로 설명하도록 한다.
도 4a는 본 발명의 실시 예에 따라 이미지 복원 장치가 선택된 이미지의 복원 이미지 영역을 설정하기 위한 과정을 나타내기 위한 흐름도이다.
400단계에서 이미지 선택이 있으면 타겟 이미지 설정부(300)는 401단계에서 선택된 이미지에 타겟 이미지 영역이 설정되었는지 확인하여 설정되었으면 선택된 이미지를 복원 이미지 영역 설정부(310)로 전달한 후 402단계로 진행하고, 그렇지 않으면 401단계에서 타겟 이미지 영역의 설정이 있는지 계속적으로 확인한다.
402단계에서 복원 이미지 영역 설정부(310)는 인접 배경 이미지 영역에서 가장 큰 엣지 값을 가지는 영역을 복원 이미지 영역으로 설정한다. 구체적으로 복원 이미지 영역 설정부(310)는 인접 배경 이미지 영역 내에서 일정한 사이즈의 영역마다 각 영역에 포함된 픽셀들에 대한 엣지 값 평균을 산출하고, 산출된 엣지 값 평균들 중 가장 큰 엣지 값 평균을 가지는 영역을 복원 이미지 영역으로 설정한다. 이러한 복원 이미지 영역은 도 5의 (a)에서 500과 같이 도시된다.
403단계에서 복원 이미지 영역 설정부(310)는 설정된 복원 이미지 영역 내에 포함된 배경 이미지 영역의 픽셀 개수와 타겟 이미지 영역의 픽셀 개수를 산출한다.
404단계에서 복원 이미지 영역 설정부(310)는 산출된 배경 이미지 영역 픽셀 개수와 타겟 이미지 영역 픽셀 개수를 비교하여 배경 이미지 영역 픽셀 개수가 타 겟 이미지 영역 픽셀 개수보다 작으면 405단계로 진행하고, 그렇지 않으면 407단계로 진행한다.
405단계에서 복원 이미지 영역 설정부(310)는 복원 이미지 영역 내의 배경 이미지 영역에 대한 엣지 방향을 산출한다. 이에 대해서 구체적으로 도 6를 참조하여 살펴보면 복원 이미지 영역 설정부(310)는 복원 이미지 영역 내의 배경 이미지 영역에 포함된 임의의 픽셀(600)을 중심으로 610과 620의 픽셀들에 대한 RGB 차이값을 산출하고, 630과 640의 픽셀들에 대한 RGB 차이값을 산출한다. 이후 복원 이미지 영역 설정부(310)는 산출된 RGB 차이값들 중 가장 큰 RGB 차이값을 가지는 픽셀들을 확인한다. 예를 들어, 610과 620의 픽셀들에 대한 RGB 차이값이 630과 640의 픽셀들에 대한 RGB 차이값보다 크면 이미지 영역 설정부(310)는 임의의 픽셀(600)에 대한 엣지 방향을 610과 620의 픽셀들을 가로지르는 방향인 가로 방향으로 인지한다.
상기와 같이 배경 이미지 영역의 엣지 방향을 산출하기 위해 이미지 영역 설정부(310)는 하기의 <표 1>과 같은 알고리즘을 이용한다.
Figure 112009002332676-pat00001
이때, grand_x와 grand_y는 하기의 <표 2>와 같은 알고리즘을 통해 산출된다.
Figure 112009002332676-pat00002
여기서 Gray(610)-Gray(620)는 도 6의 610과 620의 픽셀들에 대한 RGB 차이값이고, Gray(630)-Gray(640)는 630과 640의 픽셀들에 대한 RGB 차이값이다.
이후 406단계에서 복원 이미지 영역 설정부(310)는 배경 이미지 영역의 픽셀 개수가 타겟 이미지 영역의 픽셀 개수보다 많아지도록 엣지 방향을 참조하여 복원 이미지 영역을 이동한다. 다시 말해서 복원 이미지 영역 설정부(310)는 산출된 엣지 방향이 도 5의 (b)에서 510과 같은 엣지 방향을 가지는 경우 도 5의 (c)와 같이 복원 이미지 영역(500)을 520과 같은 위치로 이동하여 배경 이미지 영역의 픽셀 개수가 타겟 이미지 영역의 픽셀 개수보다 많아지도록 한다.
404단계와 406단계에서 407단계로 진행한 복원 이미지 영역 설정부(310)는 설정된 복원 이미지 영역의 사이즈 변경 요청이 있는지 확인하여 변경 요청이 있으면 408단계로 진행하고, 그렇지 않으면
Figure 112009002332676-pat00003
단계로 진행한다.
408단계에서 복원 이미지 영역 설정부(310)는 복원 이미지 영역을 기존의 사이즈보다 큰 사이즈로 변경한다. 이와 같이 사이즈가 변경된 복원 이미지 영역은 도 5의 (c)에서 530과 같이 도시될 수 있다.
이처럼 복원 이미지 영역 설정부(310)는 배경 이미지 영역의 픽셀 개수가 타겟 이미지 영역의 픽셀 개수보다 많아지도록 복원 이미지 영역을 이동하거나 복원 이미지 영역의 사이즈를 크게 변경함으로써 유사 이미지 영역 검출부(330)가 좀 더 정확하게 복원 이미지 영역과 유사한 이미지 영역을 검출할 수 있도록 한다.
408단계에서
Figure 112009002332676-pat00004
단계로 진행하여 검색 영역을 설정한 후 이미지를 복원하기 위한 동작에 대해서 도 4b를 참조하여 하기에서 구체적으로 살펴보도록 한다. 여기서 도 4b의
Figure 112009002332676-pat00005
단계는 도 4a의
Figure 112009002332676-pat00006
단계와 연결되는 단계이다.
도 4b는 본 발명의 실시 예에 따라 이미지 복원 장치가 검색 이미지를 설정하여 이미지를 복원하기 위한 과정을 나타내기 위한 흐름도이다.
Figure 112009002332676-pat00007
단계에서 409단계로 진행한 검색 영역 설정부(320)는 상기에서 산출한 엣지 방향을 참조하여 복원 이미지 영역과 가장 유사한 유사 이미지 영역을 검색하기 위한 검색 영역을 설정한다.
구체적으로 도 7를 참조하여 살펴보면 검색 영역 설정부(320)는 복원 이미지 영역을 중심으로 복원 이미지 영역 설정부(310)에서 산출된 엣지 방향이 가로 또는 세로 방향인지 여부에 따라 검색 영역의 가로 길이와 세로 길이를 조절한다. 만약 도 4a의 404단계에서 407단계로 진행한 경우 복원 이미지 영역의 엣지 방향을 산출하는 과정이 없으므로 검색 영역 설정부(320)는 409단계에서 검색 영역의 엣지 방향을 산출하고, 이를 이용하여 검색 영역의 가로 길이와 세로 길이를 조절할 수도 있다.
예를 들어, 복원 이미지 영역 설정부(310)에서 산출된 엣지 방향이 가로 방향일 경우 검색 영역 설정부(320)는 도 7의 (a)에서 700과 같이 가로 길이가 세로 길이보다 긴 직사각형 모양의 검색 영역을 설정한다. 그리고 복원 이미지 영역 설정부(310)에서 산출된 엣지 방향이 세로 방향일 경우 검색 영역 설정부(320)는 도 7의 (b)에서 710과 같이 세로 길이가 가로 길이보다 긴 직사각형 모양의 검색 영역을 설정한다. 또한 복원 이미지 영역 설정부(310)에서 산출된 엣지 방향이 없다면 검색 영역 설정부(320)는 도 7의 (c)에서 720과 같이 가로, 세로 길이가 동일한 정사각형 모양의 검색 영역을 설정한다. 이와 같은 검색 영역은 복원 이미지 영역과 유사한 이미지를 검색하기 위해 복원 이미지 영역과 인접하게 설정된다.
상기와 같은 검색 영역을 설정하기 위해 검색 영역 설정부(320)는 하기의 <표 3>과 같은 알고리즘을 이용한다.
Figure 112009002332676-pat00008
410단계에서 유사 이미지 영역 검출부(330)는 검색 영역 내에서 복원 이미지 영역 의 배경 이미지 영역에 대한 픽셀 값과 가장 유사한 픽셀 값을 가지는 유사 이미지 영역을 검출한다. 구체적으로 상기에서 설명한 바와 같이 유사 이미지 영역 검출부(330)는 검색 영역 내에서 복원 이미지 영역 즉, 복원 이미지 영역 내의 배경 이미지 영역에 대응되는 영역마다 픽셀 값을 산출하고, 산출된 픽셀 값들 중 배경 이미지 영역의 픽셀 값과 가장 작은 차이 값을 가지는 영역을 유사 이미지 영역으로 선택한다.
411단계에서 복원 처리부(340)는 유사 이미지 영역 검출부(330)로부터 검출된 유사 이미지 영역 내에서 복원 이미지 영역의 타겟 이미지 영역에 대응되는 유사 타겟 이미지를 복사한다.
412단계에서 복원 처리부(340)는 복사된 유사 타겟 이미지를 복원 이미지 영역의 타겟 이미지 영역에 붙여넣기 한다. 이와 같이 유사 타겟 이미지를 붙여 넣기 한 이미지는 도 5의 (e)와 같이 도시 된다.
413단계에서 복원 처리부(340)는 복원이 완료되었는지 여부를 확인하여 이미지 복원이 완료되었으면 415단계로 진행하고, 그렇지 않으면
Figure 112009002332676-pat00009
단계로 진행하여 도 4a 및 도 4b의 402단계 ~ 415단계를 수행한다. 이때, 도 4b의
Figure 112009002332676-pat00010
단계는 도 4a의
Figure 112009002332676-pat00011
단계와 연결되는 단계이다. 또한 본 발명에서는 타겟 이미지에 유사 타겟 이미지들을 모두 붙여 넣기 하여 이미지 복원이 완료될 때까지 상기의 402단계 ~ 415단계를 계속적으로 진행한다.
이미지 복원이 완료되면 복원 처리부(340)는 복원 완료된 이미지를 최종 이미지 출력부(350)로 전달하고, 414단계에서 최종 이미지 출력부(350)는 복원 완료된 최종 이미지를 화면에 디스플레이 한 후 이미지 복원을 종료한다.
그리하여 종래에는 도 8의 (a)와 같이 오류 현상을 포함하는 이미지가 출력되었지만 본 발명과 같은 이미지 복원 방법을 이용한 경우 도 8의 (b)와 같이 오류 현상을 줄이고, 자연스러운 이미지가 출력된다.
이와 같이 본 발명은 엣지 방향에 따라 복원 이미지 영역의 위치 또는 사이즈를 변경하여 검색 영역 내에서 유사 이미지 영역을 검색하는데 사용되는 복원 이미지 영역 내의 배경 이미지 영역에 포함된 픽셀 개수가 많아지도록 함으로써 보다 정확하게 복원 이미지 영역과 가장 유사한 유사 이미지 영역을 검출할 수 있도록 하여 이미지 복원 시 발생하는 오류 현상을 줄일 수 있다는 이점이 있다.
도 1은 종래의 이미지 복원 기술을 설명하기 위한 예시도들,
도 2는 종래의 이미지 복원 기술을 적용한 이미지를 나타내는 예시도들,
도 3은 본 발명의 실시 예에 따른 이미지 복원 장치의 구성도,
도 4a는 본 발명의 실시 예에 따라 이미지 복원 장치가 선택된 이미지의 복원 이미지 영역을 설정하기 위한 과정을 나타내기 위한 흐름도,
도 4b는 본 발명의 실시 예에 따라 이미지 복원 장치가 검색 이미지를 설정하여 이미지를 복원하기 위한 과정을 나타내기 위한 흐름도,
도 5는 본 발명의 실시 예에 따른 이미지 분할 장치가 복원 이미지 영역을 설정하기 위한 과정을 설명하기 위한 예시도들,
도 6은 본 발명의 실시 예에 따른 이미지 분할 장치가 복원 이미지 영역의 엣지 방향을 산출하기 위한 과정을 설명하기 위한 예시도들,
도 7은 본 발명의 실시 예에 따른 이미지 분할 장치가 설정한 검색 영역을 설명하기 위한 예시도들,
도 8은 종래의 최종 이미지와 본 발명의 실시 예에 따른 최종 이미지를 설명하기 위한 예시도들.

Claims (16)

  1. 이미지 복원 요청에 따라 복원할 타겟 이미지 영역의 일부분을 우선적으로 복원할 복원 이미지 영역으로 설정하는 복원 이미지 영역 설정부와,
    상기 복원 이미지 영역을 포함하는 미리 설정된 사이즈의 영역을 검색 영역으로 설정하는 검색 영역 설정부와,
    상기 검색 영역 내에서 상기 복원 이미지 영역과 가장 유사한 이미지 영역을 검출하는 유사 이미지 영역 검출부와,
    상기 검출된 유사 이미지 영역의 이미지를 복사하여 상기 복원 이미지 영역에 붙여넣기 하는 복원 처리부를 포함하고,
    상기 검색 영역 설정부는 상기 복원 이미지 영역의 엣지 방향을 참조하여 상기 검색 영역의 형태를 변형함을 특징으로 이미지 복원 장치.
  2. 제1항에 있어서,
    상기 복원 이미지 영역 설정부는 상기 타겟 이미지 영역의 경계와 인접한 인접 이미지 영역 내에서 가장 큰 엣지 값을 가지는 영역을 상기 복원 이미지 영역으로 설정하고, 상기 설정된 복원 이미지 영역 내에서 상기 인접 이미지 영역의 픽셀 개수와 상기 타겟 이미지 영역의 픽셀 개수를 비교하여 비교 결과에 따라 상기 설정된 복원 이미지 영역의 위치 또는 사이즈를 변경함을 특징으로 이미지 복원 장치.
  3. 제2항에 있어서,
    상기 복원 이미지 영역 설정부는 상기 비교 결과, 상기 인접 이미지 영역의 픽셀 개수보다 상기 타겟 이미지 영역의 픽셀 개수가 작으면 상기 인접 이미지 영역의 픽셀 개수가 상기 타겟 이미지 영역의 픽셀 개수보다 많아지도록 상기 설정된 복원 이미지 영역의 위치 또는 사이즈를 변경함을 특징으로 하는 이미지 복원 장치.
  4. 제1항에 있어서,
    상기 검색 영역 설정부는 상기 복원 이미지 영역의 엣지 방향을 산출하고, 상기 산출된 엣지 방향을 참조하여 상기 검색 영역의 가로 길이와 세로 길이를 조절하는 것을 특징으로 하는 이미지 복원 장치.
  5. 제1항에 있어서,
    상기 유사 이미지 영역 검출부는 상기 검색 영역 내에서 상기 복원 이미지 영역의 픽셀 값과 가장 유사한 픽셀 값을 가지는 유사 이미지 영역을 검출함을 특징으로 하는 이미지 복원 장치.
  6. 제2항에 있어서,
    상기 유사 이미지 영역 검출부는 상기 검색 영역 내에서 상기 인접 이미지 영역에 대응되는 영역마다 픽셀 값을 산출하고, 상기 산출된 픽셀 값들 중 상기 인접 이미지 영역의 픽셀 값과 가장 작은 차이 값을 가지는 영역을 상기 유사 이미지 영역으로 선택함을 특징으로 하는 이미지 복원 장치.
  7. 제1항에 있어서,
    상기 복원 처리부는 상기 검출된 유사 이미지 영역에서 상기 복원 이미지 영역의 타겟 이미지 영역에 대응되는 유사 타겟 이미지를 복사하여 상기 타겟 이미지 영역에 붙여 넣기함을 특징으로 하는 이미지 복원 장치.
  8. 제1항에 있어서,
    이미지 복원이 완료되면 복원된 최종 이미지를 출력하는 최종 이미지 출력부를 더 포함함을 특징으로 하는 이미지 복원 장치.
  9. 이미지 복원 요청에 따라 복원할 타겟 이미지 영역의 일부분을 우선적으로 복원할 복원 이미지 영역으로 설정하는 복원 이미지 설정 과정과,
    상기 복원 이미지 영역을 포함하는 미리 설정된 사이즈의 영역을 검색 영역을 검색 영역으로 설정하는 검색 영역 설정 과정과,
    상기 검색 영역 내에서 상기 복원 이미지 영역과 가장 유사한 이미지 영역을 검출하는 유사 이미지 검출 과정과,
    상기 검출된 유사 이미지 영역의 이미지를 복사하여 상기 복원 이미지 영역에 붙여 넣기 하는 복원 처리 과정을 포함하고,
    상기 검색 영역 설정 과정은 상기 복원 이미지 영역의 엣지 방향을 참조하여 상기 검색 영역의 형태를 변형하는 과정임을 특징으로 이미지 복원 방법.
  10. 제9항에 있어서, 상기 복원 이미지 설정 과정은,
    상기 타겟 이미지 영역의 경계와 인접한 인접 이미지 영역 내에서 가장 큰 엣지 값을 가지는 영역을 상기 복원 이미지 영역으로 설정하는 단계와,
    상기 설정된 복원 이미지 영역 내에서 상기 인접 이미지 영역의 픽셀 개수와 상기 타겟 이미지 영역의 픽셀 개수를 비교하여 비교 결과에 따라 상기 설정된 복원 이미지 영역의 위치 또는 사이즈를 변경하는 단계를 포함함을 특징으로 하는 이미지 복원 방법.
  11. 제10항에 있어서, 상기 변경 단계는,
    상기 비교 결과, 상기 인접 이미지 영역의 픽셀 개수보다 상기 타겟 이미지 영역의 픽셀 개수가 작으면 상기 인접 이미지 영역의 픽셀 개수가 상기 타겟 이미지 영역의 픽셀 개수보다 많아지도록 상기 설정된 복원 이미지 영역의 위치 또는 사이즈를 변경하는 단계임을 특징으로 하는 이미지 복원 방법.
  12. 제9항에 있어서, 상기 검색 영역 설정 과정은,
    상기 복원 이미지 영역의 엣지 방향을 산출하는 단계와,
    상기 산출된 엣지 방향을 참조하여 상기 검색 영역의 가로 길이와 세로 길이를 조절하는 단계를 포함함을 특징으로 하는 이미지 복원 방법.
  13. 제9항에 있어서, 상기 유사 이미지 검출 과정은,
    상기 검색 영역 내에서 상기 복원 이미지 영역의 픽셀 값과 가장 유사한 픽셀 값을 가지는 유사 이미지 영역을 검출하는 과정임을 특징으로 하는 이미지 복원 방법.
  14. 제10항에 있어서, 상기 유사 이미지 검출 과정은,
    상기 검색 영역 내에서 상기 인접 이미지 영역에 대응되는 영역마다 픽셀 값을 산출하는 단계와,
    상기 산출된 픽셀 값들 중 상기 인접 이미지 영역의 픽셀 값과 가장 작은 차이 값을 가지는 영역을 상기 유사 이미지 영역으로 선택하는 과정을 포함함을 특징으로 하는 이미지 복원 방법.
  15. 제9항에 있어서, 상기 복원 처리 과정은,
    상기 검출된 유사 이미지 영역에서 상기 복원 이미지 영역의 타겟 이미지 영역에 대응되는 유사 타겟 이미지를 복사하는 단계와,
    상기 복사한 유사 타겟 이미지를 상기 타겟 이미지 영역에 붙여넣기하는 단계를 포함함을 특징으로 하는 이미지 복원 방법.
  16. 제9항에 있어서,
    상기 복원 처리 과정 이후에 이미지 복원이 완료되면 복원된 최종 이미지를 출력하는 최종 이미지 출력 과정을 더 포함함을 특징으로 하는 이미지 복원 방법.
KR1020090002908A 2009-01-14 2009-01-14 이미지 복원 장치 및 방법 KR101075716B1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020090002908A KR101075716B1 (ko) 2009-01-14 2009-01-14 이미지 복원 장치 및 방법
EP10150472.8A EP2209090B1 (en) 2009-01-14 2010-01-12 Image restoring apparatus and method thereof
ES10150472.8T ES2438141T3 (es) 2009-01-14 2010-01-12 Aparato para restaurar imágenes y método del mismo
US12/687,604 US8355593B2 (en) 2009-01-14 2010-01-14 Image restoring apparatus and method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020090002908A KR101075716B1 (ko) 2009-01-14 2009-01-14 이미지 복원 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20100083498A KR20100083498A (ko) 2010-07-22
KR101075716B1 true KR101075716B1 (ko) 2011-10-21

Family

ID=41722930

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020090002908A KR101075716B1 (ko) 2009-01-14 2009-01-14 이미지 복원 장치 및 방법

Country Status (4)

Country Link
US (1) US8355593B2 (ko)
EP (1) EP2209090B1 (ko)
KR (1) KR101075716B1 (ko)
ES (1) ES2438141T3 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150035195A (ko) * 2013-09-27 2015-04-06 삼성전자주식회사 선택적 검색을 이용한 패치 기반 영상 처리 방법 및 영상 처리 장치
US9811883B2 (en) 2014-11-25 2017-11-07 Samsung Electronics Co., Ltd. Image processing method and apparatus

Families Citing this family (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070266049A1 (en) * 2005-07-01 2007-11-15 Searete Llc, A Limited Liability Corportion Of The State Of Delaware Implementation of media content alteration
US9230601B2 (en) 2005-07-01 2016-01-05 Invention Science Fund I, Llc Media markup system for content alteration in derivative works
US8126938B2 (en) 2005-07-01 2012-02-28 The Invention Science Fund I, Llc Group content substitution in media works
US9065979B2 (en) 2005-07-01 2015-06-23 The Invention Science Fund I, Llc Promotional placement in media works
US9092928B2 (en) 2005-07-01 2015-07-28 The Invention Science Fund I, Llc Implementing group content substitution in media works
US20080052104A1 (en) * 2005-07-01 2008-02-28 Searete Llc Group content substitution in media works
US9583141B2 (en) 2005-07-01 2017-02-28 Invention Science Fund I, Llc Implementing audio substitution options in media works
US8126190B2 (en) 2007-01-31 2012-02-28 The Invention Science Fund I, Llc Targeted obstrufication of an image
US20080013859A1 (en) * 2005-07-01 2008-01-17 Searete Llc, A Limited Liability Corporation Of The State Of Delaware Implementation of media content alteration
US9215512B2 (en) 2007-04-27 2015-12-15 Invention Science Fund I, Llc Implementation of media content alteration
WO2008147836A1 (en) * 2007-05-23 2008-12-04 David Bradin Production of polypropylene from renewable resources
KR101142739B1 (ko) * 2009-10-29 2012-05-03 삼성전자주식회사 검색 영역을 제한한 이미지 복원 장치 및 방법
WO2011061943A1 (ja) * 2009-11-20 2011-05-26 日本電気株式会社 画像修復システム、画像修復方法及び画像修復プログラム
KR101704830B1 (ko) 2011-10-04 2017-02-09 한국전자통신연구원 영상에서 물체 검출 장치 및 방법
CN103325095B (zh) * 2013-06-24 2016-02-03 西南交通大学 一种结合方向因子的样本块稀疏性图像修复方法
CN103761708B (zh) * 2013-12-30 2016-09-07 浙江大学 基于轮廓匹配的图像修复方法
KR101539013B1 (ko) * 2014-03-19 2015-07-24 한림대학교 산학협력단 이미지 복원 장치 및 방법
CN103971338B (zh) * 2014-05-06 2017-01-11 清华大学深圳研究生院 一种基于显著图的可变块图像修复方法
KR101578819B1 (ko) * 2015-07-27 2015-12-21 (주)동광지엔티 지아이에스를 기반으로 하는 항공영상 이미지 내의 보안영역 자동화 편집방법
CN105957027B (zh) * 2016-04-22 2018-09-21 西南石油大学 一种基于所需方向结构特征统计的mrf样本块图像修复方法
US10489676B2 (en) 2016-11-03 2019-11-26 Adobe Inc. Image patch matching using probabilistic sampling based on an oracle
US10636186B2 (en) 2017-12-04 2020-04-28 International Business Machines Corporation Filling in an entity within a video
US10614604B2 (en) 2017-12-04 2020-04-07 International Business Machines Corporation Filling in an entity within an image
US11037019B2 (en) 2018-02-27 2021-06-15 Adobe Inc. Generating modified digital images by identifying digital image patch matches utilizing a Gaussian mixture model
US10762680B1 (en) 2019-03-25 2020-09-01 Adobe Inc. Generating deterministic digital image matching patches utilizing a parallel wavefront search approach and hashed random number
CN110189276A (zh) * 2019-05-31 2019-08-30 华东理工大学 一种基于极大半径圆域的人脸图像修复方法
US11449974B2 (en) 2019-11-08 2022-09-20 Adobe Inc. Generating modified digital images utilizing nearest neighbor fields from patch matching operations of alternate digital images
US11526967B2 (en) 2019-11-25 2022-12-13 Samsung Electronics Co., Ltd. System and method for precise image inpainting to remove unwanted content from digital images
US11948280B2 (en) 2020-01-14 2024-04-02 Samsung Electronics Co., Ltd System and method for multi-frame contextual attention for multi-frame image and video processing using deep neural networks
CN111553869B (zh) * 2020-05-13 2021-04-06 北京航空航天大学 一种空基视角下的生成对抗网络图像补全方法
CN113792169B (zh) * 2021-09-16 2022-05-10 烟台市蓬莱区档案馆 基于大数据应用的数字档案管理方法及系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050168482A1 (en) 2003-02-24 2005-08-04 Microsoft Corporation Image region filling by exemplar-based inpainting
US20070160309A1 (en) 2005-10-12 2007-07-12 Bertozzi Andrea L Method for inpainting of images
JP2008300990A (ja) * 2007-05-29 2008-12-11 Nagasaki Univ 画像修復方法及び画像修復装置

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5734915A (en) * 1992-11-25 1998-03-31 Eastman Kodak Company Method and apparatus for composing digital medical imagery
US6084978A (en) * 1993-12-16 2000-07-04 Eastman Kodak Company Hierarchical storage and display of digital images used in constructing three-dimensional image hard copy
US7308139B2 (en) * 2002-07-12 2007-12-11 Chroma Energy, Inc. Method, system, and apparatus for color representation of seismic data and associated measurements
US7027054B1 (en) * 2002-08-14 2006-04-11 Avaworks, Incorporated Do-it-yourself photo realistic talking head creation system and method
US7755645B2 (en) 2007-03-29 2010-07-13 Microsoft Corporation Object-based image inpainting

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050168482A1 (en) 2003-02-24 2005-08-04 Microsoft Corporation Image region filling by exemplar-based inpainting
US20070160309A1 (en) 2005-10-12 2007-07-12 Bertozzi Andrea L Method for inpainting of images
JP2008300990A (ja) * 2007-05-29 2008-12-11 Nagasaki Univ 画像修復方法及び画像修復装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
논문1(2005)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150035195A (ko) * 2013-09-27 2015-04-06 삼성전자주식회사 선택적 검색을 이용한 패치 기반 영상 처리 방법 및 영상 처리 장치
KR102138789B1 (ko) * 2013-09-27 2020-08-11 삼성전자주식회사 선택적 검색을 이용한 패치 기반 영상 처리 방법 및 영상 처리 장치
US9811883B2 (en) 2014-11-25 2017-11-07 Samsung Electronics Co., Ltd. Image processing method and apparatus

Also Published As

Publication number Publication date
EP2209090B1 (en) 2013-09-04
ES2438141T3 (es) 2014-01-16
US20100177978A1 (en) 2010-07-15
EP2209090A1 (en) 2010-07-21
US8355593B2 (en) 2013-01-15
KR20100083498A (ko) 2010-07-22

Similar Documents

Publication Publication Date Title
KR101075716B1 (ko) 이미지 복원 장치 및 방법
KR101142739B1 (ko) 검색 영역을 제한한 이미지 복원 장치 및 방법
US10453204B2 (en) Image alignment for burst mode images
US9456123B2 (en) Method and system to configure mobile electronic device settings using remote data store analytics
JP2016201117A (ja) 深度測定の品質の向上
KR102141290B1 (ko) 화상 처리 장치, 화상 처리 방법, 화상 처리 프로그램 및 기억 매체
US9224194B2 (en) Joint video deblurring and stabilization
KR20120072245A (ko) 스테레오 영상 정합 장치 및 방법
KR101450782B1 (ko) 화상 처리 장치 및 프로그램
TWI502544B (zh) 立體影像的視差估算方法
US9712744B2 (en) Image quality compensation system and method
JPWO2013105381A1 (ja) 画像処理方法、画像処理装置および画像処理プログラム
US20110110595A1 (en) Image correction apparatus and method for eliminating lighting component
JP2010152521A (ja) 画像立体化処理装置及び方法
CN107277359A (zh) 3d扫描中自适应变焦的方法、装置、移动终端及存储介质
CN111260675A (zh) 一种图像真实边界高精度提取方法及系统
EP2536123B1 (en) Image processing method and image processing apparatus
JP4020093B2 (ja) 縁検出方法及び装置及びプログラム及び記憶媒体及び枠検出方法及び装置及びプログラム及び記憶媒体
JP2004133919A (ja) 擬似３次元画像生成装置および生成方法並びにそのためのプログラムおよび記録媒体
KR101836238B1 (ko) 다운 스케일링과 비용함수를 이용한 이미지 연결선 추정방법
JP2016164709A (ja) 画像処理装置、撮像装置および画像処理プログラム
JP2015197818A (ja) 画像処理装置およびその方法
KR101544156B1 (ko) 동영상 리타겟팅 방법 및 이러한 기능이 탑재된 동영상 장치
US9077963B2 (en) Systems and methods for generating a depth map and converting two-dimensional data to stereoscopic data
KR101265020B1 (ko) 스테레오 이미지에서 중복된 영역의 히스토그램 분석에 의한 고해상도 디스패리티 맵 생성 장치 및 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20140929

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20150925

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20160929

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20170927

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20180921

Year of fee payment: 8