KR20110046904A - 검색 영역을 제한한 이미지 복원 장치 및 방법 - Google Patents

검색 영역을 제한한 이미지 복원 장치 및 방법 Download PDF

Info

Publication number
KR20110046904A
KR20110046904A KR1020090103611A KR20090103611A KR20110046904A KR 20110046904 A KR20110046904 A KR 20110046904A KR 1020090103611 A KR1020090103611 A KR 1020090103611A KR 20090103611 A KR20090103611 A KR 20090103611A KR 20110046904 A KR20110046904 A KR 20110046904A
Authority
KR
South Korea
Prior art keywords
image
similar
area
region
target image
Prior art date
Application number
KR1020090103611A
Other languages
English (en)
Other versions
KR101142739B1 (ko
Inventor
정영민
조성대
홍태화
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020090103611A priority Critical patent/KR101142739B1/ko
Priority to EP10188726A priority patent/EP2317470B1/en
Priority to US12/915,993 priority patent/US8437567B2/en
Publication of KR20110046904A publication Critical patent/KR20110046904A/ko
Application granted granted Critical
Publication of KR101142739B1 publication Critical patent/KR101142739B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/77—Retouching; Inpainting; Scratch removal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/001—Texturing; Colouring; Generation of texture or colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20192—Edge enhancement; Edge preservation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

본 발명은 검색 영역을 제한한 이미지 복원 장치 및 방법에 관한 것이다.
이를 위해 본 발명은 이미지 복원 요청에 따라 복원할 타겟 이미지 영역을 설정하고, 설정된 타겟 이미지 영역의 주변에 미리 설정된 사이즈의 주변 이미지 영역을 설정한 후 주변 이미지 영역 내에서 유사한 픽셀들을 서로 그룹핑하여 복수의 유사 이미지 영역으로 설정하고, 주변 이미지 영역을 상기 설정된 복수의 유사 이미지 영역으로 분할한 후 유사 이미지 영역에 따라 타겟 이미지 영역을 분할하여 상기 분할된 각 타겟 이미지 영역의 검색 영역을 설정하며, 분할된 각 타겟 이미지 영역의 설정된 검색 영역에서 분할된 각 타겟 이미지 영역과 가장 유사한 이미지 영역의 이미지를 검출하여 이미지 복원을 수행함으로써 복원하고자 하는 이미지와 가장 유사한 이미지를 포함하고 있다고 판단되는 검색 영역을 이용한 이미지 복원을 수행하여 복원 이미지 영역과 가장 유사한 이미지를 검색할 확률을 높일 수 있다.
검색 영역 제한, 이미지 복원

Description

검색 영역을 제한한 이미지 복원 장치 및 방법{APPARATUS AND METHOD FOR INPAINTING IMAGE BY RESTRICTING REFERENCE IMAGE REGION}
본 발명은 이미지 복원 장치 및 방법에 관한 것으로, 특히 이미지 복원 시 사용되는 검색 영역을 제한하여 복원하고자 하는 이미지 영역과 가장 유사한 이미지로 복원되도록 하기 위한 이미지 복원 장치 및 방법에 관한 것이다.
이미지 복원 기술(Image Inpainting)은 과거 박물관에서 손상된 예술 작품의 복원으로부터 시작된 기술로, 현재에는 그림이나 사진의 손상된 부분을 복원하거나 일부분을 제거하는 것과 같은 다양한 용도로 사용된다.
이러한 이미지 복원 기술은 복원할 타겟 이미지가 존재하면 타겟 이미지의 경계 부분에 인접한 배경 이미지 영역의 픽셀들을 보간하고, 보간된 픽셀들로 타겟 이미지 영역을 채우는 기술이다. 여기서 배경 이미지는 원본 이미지에서 복원할 타겟 이미지를 제외한 나머지 이미지를 의미한다.
하지만 이러한 이미지 복원 기술을 이용하여 생성된 결과 이미지는 블러(Blur) 현상이 심하게 생성되는 문제점이 발생하였다.
상기의 이미지 복원 기술을 보안하기 위해 다양한 기술이 연구되었는데, 그 중 하나의 기술이 객체 제거에 의한 원본 기반 복원 기술(Object Removal by Exemplar-Based Inpainting, 이하 '원본 기반 복원 기술'로 칭함)이다.
원본 기반 복원 기술은 원본 이미지 내의 에지 및 평탄 영역을 참조하여 타겟 이미지의 경계 부분에 인접한 배경 이미지와 가장 유사한 이미지를 배경 이미지 내에서 검색하고, 검색된 이미지로 타겟 이미지 영역을 채우는 방식이다.
구체적으로 도 1을 참조하여 살펴보면, 원본 기반 복원 기술을 사용하는 이미지 복원 장치는 도 1의 (a)와 같은 원본 이미지에서 도 2의 (b)와 같은 타겟 이미지를 설정한다. 그리고 이미지 복원 장치는 타겟 이미지의 경계 부분에 인접한 배경 이미지 영역과 타겟 이미지의 경계 이미지 영역을 포함하는 복원 이미지 영역을 설정한다. 여기서 복원 이미지 영역은 미리 설정된 사이즈를 가지고, 복원하고자 하는 타겟 이미지의 일부분을 포함하는 영역이다.
이미지 복원 장치는 설정된 복원 이미지 영역의 픽셀값과 가장 유사한 픽셀값을 가지는 유사 이미지 영역을 배경 이미지 내에서 검색한다. 이때 복원 이미지 영역의 픽셀값는 복원 이미지 영역 내의 배경 이미지 영역의 픽셀값을 의미한다. 또한 여기서 픽셀값은 이미지 영역 내에 포함된 픽셀들의 RGB 평균값, RGB 분포도, 엣지 값 등을 포함한다.
이후 이미지 복원 장치는 검색된 유사 이미지 영역에서 복원 이미지 영역 내의 타겟 이미지 영역과 대응되는 유사 타겟 이미지만을 복사하여 복원 이미지 영역의 타겟 이미지 영역에 붙여넣기한다. 이미지 복원 장치는 이미지 복원이 완료될 때까지 상기의 동작을 반복적으로 수행한다. 상기의 동작이 완료되면 결과 이미지 는 도 1의 (c)와 같이 도시된다.
이와 같이 종래에는 원본 기반 복원 기술을 이용하여 손상된 이미지를 복원하였지만 복원 이미지 영역의 픽셀값과 가장 유사한 픽셀값을 가지는 유사 이미지 영역을 검색할 시 타겟 이미지 영역에 복원하려는 이미지와는 전혀 다른 이미지가 검색될 수 있다는 문제점이 있었다.
이에 대해서 구체적으로 도 2를 참조하여 살펴보면 이미지 복원 장치는 도 2의 (a)의 원본 이미지에서 (b)와 같이 화분 이미지를 삭제하고, 해당 위치의 이미지를 복원하려고 할 경우 복원 이미지 영역 내의 가장 유사한 부분을 검색하여 이를 바탕으로 복원을 하게 된다. 그러나 이때 (c)와 같이 유사하다고 판단된 영역의 이미지가 위치상으로는 가깝지만 전혀 다른 이미지를 선택하게 되어, (d)와 같은 오류가 발생할 수 있다는 문제점이 있었다.
따라서, 본 발명은 이와 같은 오류현상을 줄이기 위해 복원하고자 하는 이미지와 가장 유사한 이미지를 포함하는 검색 영역을 이용하여 사용자가 원하는 이미지를 명확하게 복원하기 위한 이미지 복원 장치 및 방법을 제공한다.
상술한 바를 달성하기 위한 본 발명은 검색 영역을 제한한 이미지 복원 장치에 있어서, 이미지 복원 요청에 따라 복원할 타겟 이미지 영역을 설정하는 타겟 영역 설정부와, 상기 설정된 타겟 이미지 영역을 포함하는 미리 설정된 사이즈의 주변 이미지 영역을 설정하는 주변 영역 설정부와, 상기 설정된 주변 이미지 영역 내 에서 유사한 픽셀들을 서로 그룹핑하여 복수의 유사 이미지 영역으로 설정하고, 상기 주변 이미지 영역을 상기 설정된 복수의 유사 이미지 영역으로 분할하는 유사 영역 분할부와, 상기 유사 이미지 영역에 따라 상기 타겟 이미지 영역을 분할하고, 상기 분할된 각 타겟 이미지 영역의 검색 영역을 설정하는 검색 영역 설정부와, 상기 분할된 각 타겟 이미지 영역의 설정된 검색 영역에서 상기 분할된 각 타겟 이미지 영역과 가장 유사한 이미지 영역의 이미지를 검출하여 복사한 후 상기 각 타겟 이미지 영역에 붙여넣기하는 복원 처리부를 포함하는 것을 특징으로 한다.
또한, 본 발명은 검색 영역을 제한한 이미지 복원 방법에 있어서, 이미지 복원 요청에 따라 복원할 타겟 이미지 영역을 설정하는 과정과, 상기 설정된 타겟 이미지 영역을 포함하는 미리 설정된 사이즈의 주변 이미지 영역을 설정하는 과정과, 상기 설정된 주변 이미지 영역 내에서 유사한 픽셀들을 서로 그룹핑하여 복수의 유사 이미지 영역으로 설정하고, 상기 주변 이미지 영역을 상기 설정된 복수의 유사 이미지 영역으로 분할하는 과정과, 상기 유사 이미지 영역에 따라 상기 타겟 이미지 영역을 분할하여 상기 분할된 각 타겟 이미지 영역의 검색 영역을 설정하는 과정과, 상기 분할된 각 타겟 이미지 영역의 설정된 검색 영역에서 상기 분할된 각 타겟 이미지 영역과 가장 유사한 이미지 영역의 이미지를 검출하여 복사한 후 상기 각 타겟 이미지 영역에 붙여넣기하는 과정을 포함함을 특징으로 한다.
본 발명은 이미지 복원 시 사용되는 검색 영역을 복원하고자 하는 이미지와 가장 유사한 이미지를 포함하고 있다고 판단되는 영역으로 제한하여 그 검색 영역 에서만 유사 이미지를 검색함으로써 복원 이미지 영역과 가장 유사한 이미지를 검색할 확률을 높일 수 있어서 좀더 자연스러운 이미지를 제공할 수 있다는 이점이 있다.
또한, 본 발명은 축소된 검색 영역을 이용한 이미지 보정 때보다 빠른 시간 내에 원하는 복원 이미지를 생성할 수 있다는 이점이 있다.
이하 본 발명의 바람직한 실시 예를 첨부한 도면을 참조하여 상세히 설명한다. 하기 설명 및 첨부 도면에서 본 발명의 요지를 불필요하게 흐릴 수 있는 공지 기능 및 구성에 대한 상세한 설명은 생략한다.
도 3은 본 발명의 실시 예에 따른 이미지 복원 장치의 블록 구성도를 나타내는 도면이다.
본 발명의 실시 예에 따른 이미지 복원 장치는 타겟 영역 설정부(300), 주변 영역 설정부(310), 유사 영역 분할부(320), 검색 영역 설정(330), 유사 영역 분할부(340), 최종 이미지 출력부(350)를 포함한다.
타겟 영역 설정부(300)는 원본 이미지에서 삭제하고자 하는 타겟 이미지를 설정하기 위한 요청에 따라 입력된 원본 이미지에서 타겟 이미지 영역을 설정한다.
주변 영역 설정부(310)는 설정된 타겟 이미지 영역과 인접하고, 이미지 복원 시 참조되는 주변 이미지 영역을 설정한다. 이때, 주변 이미지 영역은 타겟 이미지 영역을 포함하면서 타겟 이미지 영역보다 큰 사이즈의 영역으로 설정된다.
유사 영역 분할부(320)는 설정된 주변 이미지 영역에 포함된 픽셀들 중에서 유사한 픽셀들 각각을 그룹핑하여 주변 이미지 영역을 그룹핑된 적어도 하나의 유사 이미지 영역으로 분할한다.
구체적으로, 유사 영역 분할부(320)는 설정된 주변 영역 내에 존재하는 각 픽셀들의 엣지값을 산출하고, 각 픽셀들간의 엣지값에 대한 차이값인 엣지 차이값을 산출한다. 이후 유사 영역 분할부(320)는 산출된 엣지 차이값 중에서 미리 설정된 임계값 이상의 픽셀들이 확인되면 임계값 미만에 해당하는 엣지 차이값을 가지는 픽셀들을 하나의 유사 이미지 영역으로 그룹핑하여 유사 이미지 영역으로 설정한다. 이때, 미리 설정된 임계값은 유사 이미지 영역 내의 픽셀들 중에서 엣지값의 차이가 크게 변화되는 픽셀들을 확인하기 위해서 미리 설정되는 기준값이다.
예를 들어, 주변 이미지 영역의 왼쪽 상단의 첫번째 픽셀부터 엣지값을 산출하는 경우 유사 영역 분할부(320)는 주변 영역의 왼쪽 상단의 첫번째 픽셀부터 내림차순으로 다음 픽셀들의 엣지값을 산출하고, 각 픽셀의 엣지값과 주변 픽셀의 엣지값을 비교하여 엣지 차이값을 산출한다. 산출된 엣지 차이값들과 미리 설정된 임계 엣지 차이값을 비교하여 임계값 이상의 엣지 차이값에 해당하는 픽셀들이 확인되면 유사 영역 분할부(320)는 유사 이미지 영역의 픽셀들 중에서 엣지 차이값이 임계값 미만에 해당하는 픽셀들만을 그룹핑하여 유사 이미지 영역으로 설정한다.
또한 유사 영역 분할부(320)는 주변 이미지 영역내의 설정된 유사 이미지 영역을 제외한 나머지 영역의 왼쪽 하단의 첫번째 픽셀부터 올림차순으로 다음 픽셀들의 엣지값을 산출하고, 각 픽셀의 엣지값과 주변 픽셀의 엣지값을 비교하여 엣지 차이값을 산출한다. 산출된 엣지 차이값들과 미리 설정된 임계값을 비교하여 임계 값 이상의 엣지 차이값에 해당하는 픽셀들이 확인되면 유사 영역 분할부(320)는 유사 영역 픽셀 영역의 픽셀들 중에서 엣지 차이값이 임계값 미만에 해당하는 픽셀들만을 그룹핑하여 다른 유사 이미지 영역으로 설정한다. 이때, 유사 이미지 영역은 복수개로 설정될 수 있다.
만약, 주변 이미지 영역이 2개의 유사 이미지 영역으로 설정되는 경우 유사 영역 분할부(320)는 주변 이미지 영역을 설정된 2개의 유사 이미지 영역으로 분할한다. 본 발명의 실시 예에서는 유사 영역 분할부(320)가 주변 이미지 영역을 2개의 유사 이미지 영역으로 분할하는 것을 예로 설명하였으나 주변 이미지 영역은 2개 이상의 유사 이미지 영역을 분할될 수 있다.
검색 영역 설정부(330)는 분할된 유사 이미지 영역들을 이용하여 타겟 이미지 영역을 복원을 위한 복수개의 복원 이미지 영역으로 분할하고, 각 유사 이미지 영역들을 복원 이미지 영역을 복원하기 위해 사용되는 검색 영역으로 설정한다.
본 발명의 실시 예에서는 2개의 유사 이미지 영역으로 분할되고, 각 유사 이미지 영역이 제1 유사 이미지 영역과 제2 유사 이미지 영역인 것을 예로 설명하도록 한다.
구체적으로, 검색 영역 설정부(330)는 제1 유사 이미지 영역, 제2 유사 이미지 영역, 타겟 이미지 영역이 서로 교차하는 위치에 해당하는 픽셀을 검색한다.
이후 검색 영역 설정부(330)는 검색된 픽셀들을 기준으로 분할 영역을 예측한 후 예측된 분할 영역으로 타겟 이미지 영역을 분할한다. 검색 영역 설정부(330)는 분할된 타겟 이미지 영역 중 제1 유사 이미지 영역에 근접한 타겟 이미지 영역 을 제1 복원 이미지 영역으로 설정하고, 제2 유사 이미지 영역에 근접한 타겟 이미지 영역을 제2 복원 이미지 영역으로 설정한다.
이후 검색 영역 설정부(330)은 제1 유사 이미지 영역을, 제1 복원 이미지 영역을 복원하기 위해서 사용되는 제1 검색 영역으로 설정하고, 제2 유사 이미지 영역을, 제2 복원 이미지 영역을 복원하기 위해서 사용되는 제2 검색 영역으로 설정한다.
복원 처리부(340)는 설정된 복수의 검색 영역을 이용하여 복수의 복원 이미지 영역 각각을 복원한다.
구체적으로, 복원 처리부(340)는 제1 검색 영역 내에서 제1 복원 이미지 영역 내의 특정 복원 이미지 영역의 배경 이미지와 가장 유사한 유사 검색 영역을 검색하고, 검색된 유사 검색 영역 내에서 특정 복원 이미지 영역에 대응되는 이미지를 검출한다. 이후 복원 처리부(340)는 검출된 이미지를 특정 복원 이미지 복원 영역에 복사하여 제1 복원 이미지 영역이 모두 복원될 때까지 복원 동작을 계속적으로 수행한다.
또한 복원 처리부(340)는 제2 검색 영역 내에서 제2 복원 이미지 영역 내의 특정 복원 이미지 영역의 배경 이미지와 가장 유사한 유사 검색 영역을 검색하고, 검색된 유사 검색 영역 내에서 특정 복원 이미지 영역에 대응되는 이미지를 검출한다. 이후 복원 처리부(340)는 검출된 이미지를 특정 복원 이미지 영역에 복사하여 제2 복원 이미지 영역이 모두 복원될 때까지 복원 동작을 계속적으로 수행한다.
최종 이미지 출력부(350)는 복원이 완료된 최종 이미지를 화면에 디스플레이 한다.
이를 통해서 본 발명은 복원 이미지 영역과 가장 유사한 이미지가 포함되어 있다고 판단되는 검색 영역에서만 유사 이미지를 검색하여 복원 이미지 영역과 가장 유사한 이미지를 검색할 확률을 높일 수 있다는 이점이 있다.
그러면 이제 본 발명의 실시 예에 따라 도 3과 같이 구성되는 이미지 복원 장치에서의 이미지 복원 과정에 대해서 도 4a 및 도 4b와, 도 5를 참조하여 하기에서 구체적으로 설명하도록 한다.
도 4a는 본 발명의 실시 예에 따라 이미지 보정 장치에서 복원 이미지 영역마다 복원을 위해서 사용되는 검색 영역을 설정하는 과정을 나타내는 흐름도이고, 도 4b는 본 발명의 실시 예에 따라 설정된 검색 영역을 이용하여 이미지를 복원하는 과정을 나타내는 흐름도이다.
도 4a에 따르면, 400단계에서 타겟 영역 설정부(300)로 원본 이미지가 입력되면 401단계에서 타겟 영역 설정부(300)는 원본 이미지 내에서 복원하고자 하는 타겟 이미지 영역을 설정한다.
도 5는 본 발명의 실시 예에 따라 이미지 보정 장치에서 이미지를 복원하기 위한 과정을 설명하기 위한 예시도들이다.
도 5을 참조하면 타겟 영역 설정부(300)는 (a)와 같은 원본 이미지가 입력되고, (a)의 사람 이미지를 삭제하고자 하는 요청이 있으면 (b)의 500과 같이 타겟 이미지 영역을 설정한다.
401단계에서 주변 영역 설정부(310)는 타겟 이미지 영역을 포함하는 미리 설 정된 크기의 주변 이미지 영역을 설정하는데, 이때 주변 이미지 영역은 (c)와 같이 500의 타겟 이미지 영역을 포함하면서 직사각형의 이미지 영역으로 설정될 수 있다.
403단계에서 유사 영역 분할부(320)는 (c)와 같은 주변 이미지 영역 내에 유사 픽셀들 간을 그룹핑하여 복수의 유사 이미지 영역으로 분할한다. 구체적으로, 유사 영역 분할부(320)는 주변 이미지 영역을 구성하는 각 픽셀들간의 엣지 값에 대한 엣지 차이값을 산출하고, 산출된 엣지 차이값들 중에서 미리 설정된 임계값 이상인 엣지 차이값을 가지는 픽셀들을 경계로 유사 이미지 영역을 분할할 수 있다. 이때, 분할된 복수의 유사 이미지 영역들은 (c)의 501과 502과 같이 도시될 수 있다.
상기의 403단계에서 대해서 도 6 및 도 7을 참조하여 구체적으로 하기에서 설명하도록 한다.
도 6은 본 발명의 실시 예에 따라 유사 영역 분할부에서 주변 이미지 영역을 복수의 유사 이미지 영역으로 분할하기 위한 과정을 나타내는 흐름도이다.
도 6에 따르면, 600단계에서 유사 영역 분할부(320)는 주변 이미지 영역 내의 특정 위치에 있는 픽셀을 시작으로 각 픽셀별 엣지 값을 산출한다. 예를 들어, 유사 영역 분할부(320)가 내림차순으로 엣지 값을 산출할 시 산출되는 엣지 값의 방향은 도 7의 (a)와 같이 도시될 수 있다.
601단계에서 유사 영역 분할부(320)는 산출된 각 픽셀들 간의 엣지값을 서로 비교하여 엣지 차이값을 산출한다.
602단계에서 유사 영역 분할부(320)는 산출된 엣지 차이값들 중에서 미리 설정된 임계값 이상의 엣지 차이값을 가지는 픽셀들이 있는지 확인하여 임계값 이상의 엣지 차이값을 가지는 픽셀들이 있으면 603단계로 진행하고, 그렇지 않으면 602단계에서 임계값 이상의 엣지 차이값을 가지는 픽셀들이 있는지 계속적으로 확인한다.
603단계에서 유사 영역 분할부(320)는 임계값 이상의 엣지 차이값을 가지는 픽셀들 이전에 임계값 미만의 엣지 차이값을 가지는 픽셀들을 모두 하나로 그룹핑하여 유사 이미지 영역으로 설정한다. 예를 들어, 유사 영역 분할부(320)는 주변 이미지 영역의 왼쪽 상단 첫번째에 위치하는 픽셀부터 내림차순으로 엣지값을 산출하고, 그 주변에 인접한 픽셀들과 엣지 차이값을 산출하다가 임계값 이상의 엣지 차이값을 가지는 픽셀들이 확인되면 이전에 확인했던 임계값 미만의 엣지 차이값을 가지는 픽셀들을 하나로 그룹핑하여 하나의 유사 이미지 영역으로 설정한다.
604단계에서 유사 영역 분할부(320)는 주변 이미지 영역 내의 유사 이미지 영역 설정이 완료되었는지 여부를 판단하여 완료되면 606단계로 진행하고, 그렇지 않으면 605단계로 진행하여 주변 이미지 영역 내의 설정된 유사 이미지 영역을 제외한 나머지 영역에서 특정 위치에 있는 픽셀로부터 각 픽셀별 엣지 값을 산출하고, 601단계로 진행하여 602단계~604단계를 수행한다. 예를 들어, 유사 영역 분할부(320)는 주변 이미지 영역의 왼쪽 하단 첫번째 위치하는 위치하는 픽셀부터 올림차순으로 엣지값을 산출하고, 그 주변에 인접한 픽셀들과 엣지 차이값을 산출하다가 임계값 이상의 엣지 차이값을 가지는 픽셀들이 확인되면 이전에 확인했던 임계 값 미만의 엣지 차이값을 가지는 픽세들을 하나로 그룹핑하여 하나의 다른 유사 이미지 영역으로 설정한다.
606단계에서 유사 영역 분할부(320)는 주변 이미지 영역을 상기 설정된 복수의 유사 이미지 영역들로 분할한다. 이와 같이 분할된 주변 이미지 영역은 도 5의 (c)에 501 및 502와 같이 도시될 수 있다.
다시 도 4a를 참조하여 404단계 이후를 설명하도록 한다.
404단계에서 검색 영역 설정부(330)는 주변 이미지 영역의 분할 결과에 따라 타겟 이미지 영역을 분할한다.
이에 대해서 도 7의 (b), (c)를 참조하여 구체적으로 설명하도록 한다.
검색 영역 설정부(330)는 주변 이미지 영역을 복수의 유사 이미지 영역으로 분할한 이후에 복수의 유사 이미지 영역, 타겟 이미지 영역이 서로 교차하는 곳에 위치하는 도 7의 700 및 701과 같은 픽셀들을 검색하고, 검색된 픽셀들을 기준으로 분할 영역을 예측한 후 예측된 분할 영역으로 타겟 이미지 영역을 분할한다. 예를 들어, 검색 영역 설정부(330)는 검색된 700 및 701의 픽셀이 서로 직선으로 연결되는 분할 영역으로 분할된다고 예측하고, 예측된 결과에 따라 (b)의 702와 703과 같은 2개의 타겟 이미지 영역으로 분할한다.
405단계에서 검색 영역 설정부(330)는 분할된 타겟 이미지 영역 각각의 검색 영역을 설정하는데, 도 7와 같이 분할된 타겟 이미지 영역에서 702와 같은 타겟 이미지 영역과 근접한 704와 같은 유사 이미지 영역을 702와 같은 타겟 이미지 영역의 검색 영역으로 설정한다. 그리고 검색 영역 설정부(330)는 703과 같은 타겟 이 미지 영역과 근접한 705와 같은 유사 이미지 영역을 703과 같은 타겟 이미지 영역의 검색 영역으로 설정한다. 이와 같이 설정된 검색 영역은 도 5의 (d)와 같이 도시될 수 있다.
상기와 같이 405단계를 진행한 후 도 4b의 ⓐ 단계를 진행한다.
도 4b에 따르면, ⓐ 단계에서 406단계로 진행한 복원 처리부(340)는 설정된 검색 영역에서 타겟 이미지 영역 내에 특정 복원 이미지 영역의 배경 이미지와 유사한 유사 검색 영역을 검색한다. 다시 말해서, 복원 처리부(340)는 702와 같은 타겟 이미지 영역 내에서 복원하고자 하는 특정 복원 이미지 영역을 선택하고, 선택된 특정 이미지 영역의 배경 이미지와 유사한 유사 검색 영역을 704와 같은 검색 영역에서 검색한다.
만약 유사 검색 영역이 검색되면 복원 처리부(340)는 407단계에서 검색된 유사 검색 영역에서 특정 복원 이미지 영역에 대응되는 이미지를 검출한다. 즉, 복원 처리부(340)는 유사 검색 영역 내에서 특정 복원 이미지 영역과 가장 유사한 이미지를 검출한다.
408단계에서 복원 처리부(340)는 검출된 이미지를 복원하고자 하는 특정 복원 이미지 영역에 복사하여 붙여넣기한다.
409단계에서 복원 처리부(340)는 이미지 복원 동작이 완료되었는지 여부를 판단하고, 그렇지 않으면 406단계로 진행하여 유사 검색 영역을 검색하여 407단계~409단계를 진행한다.
409단계에서 이미지 복원 동작이 완료되면 최종 이미지 출력부(350)는 410단 계에서 상기와 같은 방법으로 복원된 이미지를 출력한다. 이때, 출력된 복원 이미지는 도 5의 (e)와 같이 도시될 수 있다.
기존의 이미지 보정 동작을 수행할 경우 도 5의 (f)와 같이 오류 현상이 포함된 이미지가 출력되었지만 본 발명과 같이 이미지 복원 시 사용되는 검색 영역을 복원하고자 하는 이미지와 가장 유사한 이미지를 포함하는 검색 영역으로 제한하여 복원 동작을 수행함으로써 도 5의 (e)와 같은 이미지를 출력할 수 있다.
예를 들어, 도 8의 (a), (e)와 같은 원본 이미지를 복원할 시 종래에는 (b), (e)와 같은 오류 현상이 발생하였지만 본 발명의 복원 이미지 동작을 수행할 경우 (c), (f)와 같은 복원 이미지를 출력하게 된다.
이와 같이 본 발명은 이미지 복원 시 사용되는 검색 영역을 복원하고자 하는 이미지와 가장 유사한 이미지를 포함하고 있다고 판단되는 영역으로 제한하여 그 검색 영역에서만 유사 이미지를 검색함으로써 복원 이미지 영역과 가장 유사한 이미지를 검색할 확률을 높일 수 있다는 이점이 있다.
본 발명의 이미지 복원 장치 및 방법이 하드웨어, 소프트웨어(즉, 프로그램), 또는 이들의 조합의 형태로 구현될 수 있음은 자명하다. 이러한 프로그램은 컴퓨터와 같은 기계가 읽을 수 있는 휘발성 또는 비휘발성 기록매체에 저장될 수 있고, 이러한 기록매체는 ROM 등과 같은 저장 장치, RAM, 메모리 칩, 집적 회로 등과 같은 메모리, CD, DVD, 자기 디스크, 자기 테이프 등과 같은 광학 또는 자기 기록 매체일 수 있다. 즉, 본 발명의 이미지 보정 장치 및 방법은 이를 실현하기 위한 코드들을 포함하는 프로그램의 형태로 구체화될 수 있다. 더 나아가서, 이러한 프 로그램은 유선 또는 무선으로 전파되는 통신 신호와 같이 임의의 매체를 통해 전기적으로 전달될 수 있고, 본 발명은 이와 균등한 것들을 포함한다.
도 1은 종래의 이미지 복원 기술을 설명하기 위한 예시도들,
도 2는 종래의 이미지 복원 기술을 적용한 이미지를 나타내는 예시도들,
도 3은 본 발명의 실시 예에 따른 이미지 복원 장치의 구성도,
도 4a는 본 발명의 실시 예에 따라 이미지 보정 장치에서 복원 이미지 영역마다 복원을 위해서 사용되는 검색 영역을 설정하는 과정을 나타내는 흐름도,
도 4b는 본 발명의 실시 예에 따라 설정된 검색 영역을 이용하여 이미지를 복원하는 과정을 나타내는 흐름도,
도 5는 본 발명의 실시 예에 따라 이미지 보정 장치에서 이미지를 복원하기 위한 과정을 설명하기 위한 예시도들,
도 6은 본 발명의 실시 예에 따라 유사 영역 분할부에서 주변 이미지 영역을 복수의 유사 이미지 영역으로 분할하기 위한 과정을 나타내는 흐름도,
도 7은 본 발명의 실시 예에 따라 유사 이미지 영역 및 주변 이미지 영역을 분할하는 과정을 설명하기 위한 예시도들,
도 8은 원본 이미지를 복원할 시 종래의 복원 이미지와 본 발명의 실시 예에 따른 복원 이미지를 설명하기 위한 예시도들.

Claims (9)

  1. 검색 영역을 제한한 이미지 복원 장치에 있어서,
    이미지 복원 요청에 따라 복원할 타겟 이미지 영역을 설정하는 타겟 영역 설정부와,
    상기 설정된 타겟 이미지 영역을 포함하는 미리 설정된 사이즈의 주변 이미지 영역을 설정하는 주변 영역 설정부와,
    상기 설정된 주변 이미지 영역 내에서 유사한 픽셀들을 서로 그룹핑하여 복수의 유사 이미지 영역으로 설정하고, 상기 주변 이미지 영역을 상기 설정된 복수의 유사 이미지 영역으로 분할하는 유사 영역 분할부와,
    상기 유사 이미지 영역에 따라 상기 타겟 이미지 영역을 분할하고, 상기 분할된 각 타겟 이미지 영역의 검색 영역을 설정하는 검색 영역 설정부와,
    상기 분할된 각 타겟 이미지 영역의 설정된 검색 영역에서 상기 분할된 각 타겟 이미지 영역과 가장 유사한 이미지 영역의 이미지를 검출하여 복사한 후 상기 각 타겟 이미지 영역에 붙여넣기하는 복원 처리부를 포함하는 것을 특징으로 하는 이미지 복원 장치.
  2. 제1항에 있어서, 상기 유사 영역 분할부는,
    상기 설정된 주변 이미지 영역에 포함된 각 픽셀들에 대한 엣지값을 산출하여 상기 산출된 엣지값에 대한 각 픽셀들 간의 차이값을 산출하고, 상기 산출된 차 이값과 미리 설정된 임계값을 비교한 후 비교 결과에 따라 상기 각 픽셀들을 그룹핑하여 유사 이미지 영역으로 설정하는 것을 특징으로 하는 이미지 복원 장치.
  3. 제2항에 있어서, 상기 유사 영역 분할부는,
    상기 비교 결과, 상기 산출된 차이값이 상기 임계값 이상이면 상기 산출된 차이값 중 상기 임계값 미만인 차이값을 가지는 복수의 픽셀들을 그룹핑하여 상기 유사 이미지 영역으로 설정하는 것을 특징으로 하는 이미지 복원 장치.
  4. 제3항에 있어서, 상기 검색 영역 설정부는,
    상기 설정된 복수의 유사 이미지 영역 및 상기 타겟 이미지 영역이 서로 교차되는 위치의 픽셀들을 기준으로 상기 타겟 이미지 영역이 분할될 분할 영역을 예측하여 상기 예측된 분할 영역으로 분할하고, 상기 분할된 복수의 각 타겟 이미지 영역과 인접하는 유사 이미지 영역을 상기 분할된 복수의 각 타겟 이미지 영역의 검색 영역으로 설정하는 것을 특징으로 하는 이미지 복원 장치.
  5. 검색 영역을 제한한 이미지 복원 방법에 있어서,
    이미지 복원 요청에 따라 복원할 타겟 이미지 영역을 설정하는 과정과,
    상기 설정된 타겟 이미지 영역을 포함하는 미리 설정된 사이즈의 주변 이미지 영역을 설정하는 과정과,
    상기 설정된 주변 이미지 영역 내에서 유사한 픽셀들을 서로 그룹핑하여 복 수의 유사 이미지 영역으로 설정하고, 상기 주변 이미지 영역을 상기 설정된 복수의 유사 이미지 영역으로 분할하는 과정과,
    상기 유사 이미지 영역에 따라 상기 타겟 이미지 영역을 분할하여 상기 분할된 각 타겟 이미지 영역의 검색 영역을 설정하는 과정과,
    상기 분할된 각 타겟 이미지 영역의 설정된 검색 영역에서 상기 분할된 각 타겟 이미지 영역과 가장 유사한 이미지 영역의 이미지를 검출하여 복사한 후 상기 각 타겟 이미지 영역에 붙여넣기하는 과정을 포함함을 특징으로 하는 이미지 복원 방법.
  6. 제5항에 있어서, 상기 복수의 유사 이미지 영역으로 분할하는 과정은,
    상기 설정된 주변 이미지 영역에 포함된 각 픽셀들에 대한 엣지값을 산출하여 상기 산출된 엣지값에 대한 각 픽셀들 간의 차이값을 산출하는 과정과,
    상기 산출된 차이값과 미리 설정된 임계값을 비교하는 과정과,
    상기 비교 결과에 따라 상기 각 픽셀들을 그룹핑하여 유사 이미지 영역으로 설정하는 과정을 포함함을 특징으로 하는 이미지 복원 방법.
  7. 제6항에 있어서, 상기 비교 결과에 따라 상기 각 픽셀들을 그룹핑하여 유사 이미지 영역으로 설정하는 과정은,
    상기 산출된 차이값이 상기 임계값 이상이면 상기 산출된 차이값 중 상기 임계값 미만인 차이값을 가지는 복수의 픽셀들을 그룹핑하여 상기 유사 이미지 영역 으로 설정하는 과정임을 특징으로 하는 이미지 복원 방법.
  8. 제7항에 있어서, 상기 검색 영역을 설정하는 과정은,
    상기 설정된 복수의 유사 이미지 영역 및 상기 타겟 이미지 영역이 서로 교차되는 위치의 픽셀들을 기준으로 상기 타겟 이미지 영역이 분할될 분할 영역을 예측하여 상기 예측된 분할 영역으로 분할하는 과정과,
    상기 분할된 복수의 각 타겟 이미지 영역과 인접하는 유사 이미지 영역을 상기 분할된 복수의 각 타겟 이미지 영역의 검색 영역으로 설정하는 과정을 포함함을 특징으로 하는 이미지 복원 방법.
  9. 제5항 내지 제8항 중 어느 한 항의 방법을 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
KR1020090103611A 2009-10-29 2009-10-29 검색 영역을 제한한 이미지 복원 장치 및 방법 KR101142739B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020090103611A KR101142739B1 (ko) 2009-10-29 2009-10-29 검색 영역을 제한한 이미지 복원 장치 및 방법
EP10188726A EP2317470B1 (en) 2009-10-29 2010-10-25 Image inpainting apparatus and method using restricted search region
US12/915,993 US8437567B2 (en) 2009-10-29 2010-10-29 Image inpainting apparatus and method using restricted search region

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020090103611A KR101142739B1 (ko) 2009-10-29 2009-10-29 검색 영역을 제한한 이미지 복원 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20110046904A true KR20110046904A (ko) 2011-05-06
KR101142739B1 KR101142739B1 (ko) 2012-05-03

Family

ID=43513925

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020090103611A KR101142739B1 (ko) 2009-10-29 2009-10-29 검색 영역을 제한한 이미지 복원 장치 및 방법

Country Status (3)

Country Link
US (1) US8437567B2 (ko)
EP (1) EP2317470B1 (ko)
KR (1) KR101142739B1 (ko)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150035195A (ko) * 2013-09-27 2015-04-06 삼성전자주식회사 선택적 검색을 이용한 패치 기반 영상 처리 방법 및 영상 처리 장치
KR20150088656A (ko) * 2014-01-24 2015-08-03 에스케이플래닛 주식회사 참조 영역 분할을 이용한 인페인팅 장치 및 방법
CN104867110A (zh) * 2014-12-08 2015-08-26 上海大学 基于格子波尔兹曼模型的视频图像瑕疵修复方法
WO2020091182A1 (ko) * 2018-10-30 2020-05-07 삼성전자주식회사 증강 현실을 이용한 영상 데이터를 제공하는 전자 장치 및 그 제어 방법
CN112419179A (zh) * 2020-11-18 2021-02-26 北京字跳网络技术有限公司 修复图像的方法、装置、设备和计算机可读介质

Families Citing this family (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9065979B2 (en) 2005-07-01 2015-06-23 The Invention Science Fund I, Llc Promotional placement in media works
US9583141B2 (en) 2005-07-01 2017-02-28 Invention Science Fund I, Llc Implementing audio substitution options in media works
US8910033B2 (en) 2005-07-01 2014-12-09 The Invention Science Fund I, Llc Implementing group content substitution in media works
US20080052104A1 (en) * 2005-07-01 2008-02-28 Searete Llc Group content substitution in media works
US9092928B2 (en) 2005-07-01 2015-07-28 The Invention Science Fund I, Llc Implementing group content substitution in media works
US9230601B2 (en) 2005-07-01 2016-01-05 Invention Science Fund I, Llc Media markup system for content alteration in derivative works
US20070266049A1 (en) * 2005-07-01 2007-11-15 Searete Llc, A Limited Liability Corportion Of The State Of Delaware Implementation of media content alteration
US20080013859A1 (en) * 2005-07-01 2008-01-17 Searete Llc, A Limited Liability Corporation Of The State Of Delaware Implementation of media content alteration
US8126190B2 (en) 2007-01-31 2012-02-28 The Invention Science Fund I, Llc Targeted obstrufication of an image
US9215512B2 (en) 2007-04-27 2015-12-15 Invention Science Fund I, Llc Implementation of media content alteration
WO2008147836A1 (en) * 2007-05-23 2008-12-04 David Bradin Production of polypropylene from renewable resources
TWI393073B (zh) * 2009-09-21 2013-04-11 Pixart Imaging Inc 影像雜訊濾除方法
JP5673550B2 (ja) * 2009-11-20 2015-02-18 日本電気株式会社 画像修復システム、画像修復方法及び画像修復プログラム
PL2893510T3 (pl) * 2012-09-05 2016-08-31 Fayteq Ag Sposób i urządzenie do przetwarzania obrazu do usuwania obiektu wizualnego z obrazu
US8731324B1 (en) * 2012-11-02 2014-05-20 Cyberlink Corp. Systems and methods for performing image inpainting
US9076221B2 (en) 2012-12-19 2015-07-07 Qualcomm Incorporated Removing an object from an image
US9600869B2 (en) 2013-03-14 2017-03-21 Cyberlink Corp. Image editing method and system
CN103679650B (zh) * 2013-11-26 2016-05-25 四川大学 岩心三维图像修复方法
CN105761213B (zh) * 2014-12-16 2019-02-26 北京大学 图像修补方法和图像修补装置
RU2015102523A (ru) * 2015-01-27 2016-08-20 Общество с ограниченной ответственностью "Аби Девелопмент" "умный" ластик
CN105118036A (zh) * 2015-08-26 2015-12-02 广西小草信息产业有限责任公司 一种对破损图像进行修复的方法和系统
US10846895B2 (en) * 2015-11-23 2020-11-24 Anantha Pradeep Image processing mechanism
CN106023089B (zh) * 2016-01-19 2018-11-13 河南理工大学 一种基于块匹配的图像修复方法
CN105809635A (zh) * 2016-01-22 2016-07-27 河南理工大学 一种基于行扫描的图像块匹配修复方法
CN106023098B (zh) * 2016-05-12 2018-11-16 西安电子科技大学 基于张量结构多字典学习与稀疏编码的图像修补方法
KR102034548B1 (ko) 2016-10-10 2019-10-21 삼성전자주식회사 전자 장치 및 이의 제어 방법
EP3494464A4 (en) 2016-12-14 2019-08-21 Samsung Electronics Co., Ltd. DISPLAY APPARATUS AND METHOD FOR CONTROLLING THE SAME
CN108765321B (zh) * 2018-05-16 2021-09-07 Oppo广东移动通信有限公司 拍照修复方法、装置、存储介质及终端设备
KR102558290B1 (ko) 2018-08-30 2023-07-24 삼성전자주식회사 전자 장치 및 그 제어 방법
US11315274B2 (en) * 2019-09-20 2022-04-26 Google Llc Depth determination for images captured with a moving camera and representing moving features
US11526967B2 (en) 2019-11-25 2022-12-13 Samsung Electronics Co., Ltd. System and method for precise image inpainting to remove unwanted content from digital images

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2002255684A1 (en) * 2001-03-07 2002-09-19 Pulsent Corporation Predictive edge extension into uncovered regions
US6587592B2 (en) * 2001-11-16 2003-07-01 Adobe Systems Incorporated Generating replacement data values for an image region
US6987520B2 (en) * 2003-02-24 2006-01-17 Microsoft Corporation Image region filling by exemplar-based inpainting
JP2005184307A (ja) 2003-12-18 2005-07-07 Matsushita Electric Ind Co Ltd 傷画素補正回路及び傷画素補正方法
TWI241127B (en) * 2004-08-27 2005-10-01 Univ Nat Cheng Kung Image-capturing device and method for removing strangers
US7881913B2 (en) * 2007-02-12 2011-02-01 Harris Corporation Exemplar/PDE-based technique to fill null regions and corresponding accuracy assessment
US7755645B2 (en) * 2007-03-29 2010-07-13 Microsoft Corporation Object-based image inpainting
JP2008300990A (ja) 2007-05-29 2008-12-11 Nagasaki Univ 画像修復方法及び画像修復装置
US8073277B2 (en) * 2007-06-21 2011-12-06 The University Of Southern Mississippi Apparatus and methods for image restoration
US20120179432A1 (en) * 2008-02-13 2012-07-12 Harris Corporation Geospatial modeling system providing poisson-based void inpainting and related methods
US8285070B2 (en) * 2008-04-07 2012-10-09 The Trustees Of Tufts College Methods and apparatus for image restoration
KR101075716B1 (ko) * 2009-01-14 2011-10-21 삼성전자주식회사 이미지 복원 장치 및 방법

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150035195A (ko) * 2013-09-27 2015-04-06 삼성전자주식회사 선택적 검색을 이용한 패치 기반 영상 처리 방법 및 영상 처리 장치
KR20150088656A (ko) * 2014-01-24 2015-08-03 에스케이플래닛 주식회사 참조 영역 분할을 이용한 인페인팅 장치 및 방법
US9922404B2 (en) 2014-01-24 2018-03-20 Sk Planet Co., Ltd. Inpainting device and method using segmentation of reference region
US10127643B2 (en) 2014-01-24 2018-11-13 Sk Planet Co., Ltd. Inpainting device and method using segmentation of reference region
CN104867110A (zh) * 2014-12-08 2015-08-26 上海大学 基于格子波尔兹曼模型的视频图像瑕疵修复方法
WO2020091182A1 (ko) * 2018-10-30 2020-05-07 삼성전자주식회사 증강 현실을 이용한 영상 데이터를 제공하는 전자 장치 및 그 제어 방법
US11867495B2 (en) 2018-10-30 2024-01-09 Samsung Electronics Co., Ltd. Electronic device for providing image data using augmented reality and control method for same
CN112419179A (zh) * 2020-11-18 2021-02-26 北京字跳网络技术有限公司 修复图像的方法、装置、设备和计算机可读介质

Also Published As

Publication number Publication date
KR101142739B1 (ko) 2012-05-03
US20110103706A1 (en) 2011-05-05
US8437567B2 (en) 2013-05-07
EP2317470B1 (en) 2013-01-09
EP2317470A1 (en) 2011-05-04

Similar Documents

Publication Publication Date Title
KR101142739B1 (ko) 검색 영역을 제한한 이미지 복원 장치 및 방법
KR101075716B1 (ko) 이미지 복원 장치 및 방법
US8798361B2 (en) Mapping colors of an image
US8184928B2 (en) Combining seam carving an image resizing
CN109977952B (zh) 基于局部最大值的候选目标检测方法
US20120163704A1 (en) Apparatus and method for stereo matching
US8213745B2 (en) Seam carving for image resizing
US20090214121A1 (en) Image processing apparatus and method, and program
US8867794B2 (en) Systems and methods for performing image inpainting based on texture analysis
CN108492342B (zh) 合并碎图的方法、装置、处理器、存储介质和终端
EP2977932A2 (en) Image processing apparatus, image processing method and image processing program
US8538191B2 (en) Image correction apparatus and method for eliminating lighting component
US20220270232A1 (en) Apparatus for adjusting parameter related to defect detection for image processing for image processing, method for information processing, and program
KR20210024126A (ko) 특징 맵 확대 방법, 장치, 디바이스 및 컴퓨터 판독 가능 기록 매체
KR102158390B1 (ko) 영상 처리 방법 및 장치
CN111260675A (zh) 一种图像真实边界高精度提取方法及系统
US9633414B2 (en) Update region detection device
JP4659793B2 (ja) 画像処理装置及び画像処理方法
CN111028169A (zh) 图像校正方法、装置、终端设备和存储介质
JP2007104706A (ja) 画像処理装置及び画像処理方法
KR102155760B1 (ko) Ct 영상의 해상도 강화 장치 및 그 방법
JP7315002B2 (ja) 物体追跡装置、物体追跡方法、及び、プログラム
US10643312B2 (en) Smoothed image generating device, abnormality determining device, and smoothed image generating method
JP2012019387A (ja) 画像レイアウト設定方法および装置
CN112927126A (zh) 图像显示控制方法、终端及计算机可读存储介质

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20160330

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20170330

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20180329

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20190328

Year of fee payment: 8