KR20160063792A - 영상 복원 방법 및 상기 방법을 수행하는 영상 복원 장치 - Google Patents

영상 복원 방법 및 상기 방법을 수행하는 영상 복원 장치 Download PDF

Info

Publication number
KR20160063792A
KR20160063792A KR1020140167529A KR20140167529A KR20160063792A KR 20160063792 A KR20160063792 A KR 20160063792A KR 1020140167529 A KR1020140167529 A KR 1020140167529A KR 20140167529 A KR20140167529 A KR 20140167529A KR 20160063792 A KR20160063792 A KR 20160063792A
Authority
KR
South Korea
Prior art keywords
image
frequency domain
resolution
low
patch
Prior art date
Application number
KR1020140167529A
Other languages
English (en)
Inventor
이대열
임성창
정세윤
조숙희
김종호
김휘용
최진수
김종옥
김진웅
박세진
최지훈
Original Assignee
한국전자통신연구원
고려대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원, 고려대학교 산학협력단 filed Critical 한국전자통신연구원
Priority to KR1020140167529A priority Critical patent/KR20160063792A/ko
Publication of KR20160063792A publication Critical patent/KR20160063792A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Abstract

본 발명은 영상 복원 방법 및 상기 방법을 수행하는 영상 복원 장치에 관한 것이다.
영상 복원 방법은 제1 해상도 영상으로부터 저주파수 도메인 영상 및 고주파수 도메인 영상을 구분하고, 단계적으로 업스케일링하여 제1 해상도 영상보다 높은 해상도를 갖는 제2 해상도 영상의 해상도와 유사한 저주파수 도메인 영상 및 고주파수 도메인 영상을 생성하며, 생성된 저주파수 도메인 영상 및 고주파수 도메인 영상을 결합으로써, 제2 해상도 영상을 복원하는 방법 및 장치를 제안한다.

Description

영상 복원 방법 및 상기 방법을 수행하는 영상 복원 장치{IMAGE RECONSTRUCTION METHOD AND IMAGE RECONSTRUCTION APPARATUS FOR PERFORMING THE METHOD}
아래의 설명은 영상 복원 방법 및 영상 복원 장치에 관한 것으로 구체적으로는 저해상도 영상을 고해상도 영상으로 복원하는 방법 및 장치에 관한 것이다.
영상에 대한 표현 기술이 발달함에 따라 영상 장치는 소형 화면에서 대형 화면으로 보다 넓은 화면을 통해 영상을 제공할 수 있게 되었다. 또한, 영상 장치는 대형 화면을 통해 영상을 제공함에 따라 소형 화면에서 제공하던 영상의 해상도보다 높은 해상도의 영상을 지원할 수 있게 되었다. 최근에는 기존의 해상도보다 더 높은 해상도를 갖는 영상을 제공하기 위한 연구가 활발하게 수행되고 있다.
구체적으로, 영상 장치는 제공하고자 하는 영상에 대한 압축/저장/전송 과정에서 발생하는 크기 변화로 인하여 고해상도 영상을 제공하기 어렵다. 그래서, 영상 장치는 영상의 크기가 변화하더라도 고해상도의 영상을 제공할 수 있도록 영상 복원 방법을 사용한다.
이에 따라 영상 장치는 고해상도 영상을 획득하기 위해 저해상도 영상을 스케일링하는 보간 방법을 사용한다. 이러한 보간 방법은 저해상도 영상이 고해상도 영상으로 스케일러됨에 따라 스케일러된 고해상도 영상 중 할당되지 못한 픽셀에 대하여 적당한 데이터 값을 할당함으로써, 영상의 해상도를 향상시키는 방법이다.
그러나, 이러한 보간 방법은 할당되지 못한 픽셀에 대하여 정확한 값이 할당되지 못함에 따라 영상의 선명도가 떨어지게 된다. 또한, 보간 방법은 영상의 선명도가 떨어짐에 따라 영상의 전반에 있어 블러가 발생하기 때문에 저해상도 영상에 대하여 정교한 고해상도 영상을 획득하지 못한다.
그러므로, 보다 정확하게 저해상도 영상을 고해상도 영상으로 복원할 수 있는 방법이 필요하다.
본 발명의 목적은 자기 유사성 기반으로 제1 해상도 영상보다 해상도가 높은 제2 해상도 영상을 복원하는 방법을 제안하고자 한다.
본 발명의 다른 목적은 제1 해상도 영상을 표현하는 질감 영역에 따라 적응적으로 저주파수 도메인 영상 또는 중간 주파수 도메인 영상을 이용하여 제2 해상도 영상을 복원하는 방법을 제안하고자 한다.
일실시예에 따른 영상 복원 방법은 제1 해상도 영상으로부터 상기 제1 해상도 영상의 해상도로 표현되는 저주파수 도메인 영상 및 고주파수 도메인 영상을 구분하는 단계; 상기 제1 해상도 영상을 업스케일링하여 업스케일링된 저주파수 도메인 영상을 생성하는 단계; 상기 업스케일링된 저주파수 도메인 영상을 기반으로 상기 제1 해상도 영상의 해상도로 표현된 저주파수 도메인 영상 또는 중간 주파수 도메인 영상 중 어느 하나의 영상에서 유사 패치를 추출하는 단계; 상기 탐색된 유사 패치에 대응하여 상기 제1 해상도 영상의 해상도로 표현된 고주파수 도메인 영상의 패치를 추출하는 단계; 상기 추출된 고주파수 도메인 영상의 패치를 복사하여 업스케일링된 고주파수 도메인 영상을 생성하는 단계; 및 상기 업스케일링된 저주파수 도메인 영상 및 고주파수 도메인 영상을 결합하여 상기 제1 해상도 영상보다 높은 해상도의 제2 해상도 영상을 복원하는 단계를 포함하고, 상기 저주파수 도메인 영상 및 고주파수 도메인 영상은, 상기 제2 해상도 영상의 해상도로 표현될 때까지 단계적으로 업스케일링될 수 있다.
일실시예에 따른 유사 패치를 탐색하는 단계는 상기 업스케일링된 저주파수 도메인 영상이 표현하는 영상 지역을 고려하여 제1 해상도 영상의 해상도로 표현된 저주파수 도메인 영상 또는 중간 주파수 도메인 영상 중 어느 하나의 영상을 이용할 수 있다.
일실시예에 따른 업스케일링된 고주파수 도메인 영상을 생성하는 단계는 제1 해상도 영상의 해상도로 표현된 고주파수 도메인 영상의 패치를 제1 해상도 영상의 해상도로 표현되는 주파수 도메인 영상의 유사 패치에 대한 업스케일링된 주파수 도메인 영상의 방향성에 따라 복사할 수 있다.
일실시예에 따른 업스케일링된 고주파수 도메인 영상을 생성하는 단계는 상기 제1 해상도 영상의 해상도로 표현된 저주파수 도메인 영상의 유사 패치에 대응하여 제1 해상도 영상의 해상도로 표현된 고주파수 도메인 영상의 패치를 추출하고, 추출된 패치에 대한 가중 합으로 연산된 결과를 이용하여 업스케일링된 고주파수 도메인을 생성할 수 있다.
일실시예에 따른 중간 주파수 도메인은 상기 제1 해상도 영상의 해상도로 표현된 저주파수 도메인의 픽셀보다 높은 주파수를 나타내는 픽셀을 포함하며, 상기 영상 지역을 대상으로 상기 업스케일링된 저주파수 도메인 영상의 패치에 대한 유사 패치를 검색할 수 있다.
본 발명의 일실시예에 따르면 영상 복원 방법은 제1 해상도 영상을 표현하는 질감 영역에 따라 적응적으로 저주파수 도메인 또는 중간 주파수 도메인을 이용함으로써, 질감 영역에 따라 시각적 품질이 향상된 제2 해상도 영상을 복원할 수 있다.
본 발명의 일실시예에 따르면 영상 복원 방법은 픽셀 기반의 재구성을 수행하는 비 로컬 방식을 적용함으로써, 제1 해상도 영상에 포함된 잡음 제거에 용이하여 보다 선명한 제2 해상도 영상을 복원할 수 있다.
도 1은 일실시예에 따른 영상 복원 방법에 대한 플로우 차트이다.
도 2는 일실시예에 따른 제1 해상도 영상의 해상도로 표현된 저주파수 도메인 영상 및 고주파수 도메인 영상을 업스케일링하여 제2 해상도 영상을 복원하는 단계를 설명하기 위해 도시한 도면이다.
도 3은 일실시예에 따른 제1 해상도 영상의 해상도로 표현된 고주파수 해상도의 영상의 패치를 복사하여 업스케일링된 고주파수 해상도의 영상을 생성하는 과정을 설명하기 위해 도시한 도면이다.
도 4는 일실시예에 따른 중간 주파수 도메인을 설명하기 위한 도면이다.
도 5는 일실시예에 따른 제1 해상도 영상에 대한 질감 분할 방법을 설명하기 위한 도면이다.
도 6은 일실시예에 따른 저주파수 도메인 영상, 중간 주파수 도메인 영상 및 고주파수 도메인 영상 간의 해상도에 대한 표현 차이를 설명하기 위해 도시한 도면이다.
이하, 본 발명의 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.
도 1은 일실시예에 따른 영상 복원 방법에 대한 플로우 차트이다.
도 1을 참고하면, 영상 복원 방법은 저해상도 영상을 고해상도 영상을 복원할 수 있는 영상 복원 장치에 의해 동작할 수 있다. 일례로 영상 복원 장치는 고화질의 영상을 제공하는 텔레비전, 노트북, 컴퓨터 등 영상을 처리하는 장치에 포함된 프로세서일 수 있다. 영상 복원 장치는 제1 해상도 영상을 이용하여 제1 해상도 영상보다 높은 해상도를 갖는 제2 해상도 영상을 복원할 수 있다.
이를 위해, 영상 복원 장치는 자기 유사성 기반의 비로컬 방식을 이용하며, 비로컬 방식은 제1 해상도 영상을 구성하는 저주파수 도메인 영상과 고주파수 도메인 영상 간의 상관 관계를 고려하여 픽셀 기반의 영상 복원을 수행할 수 있다. 자세한 구성은 도 3을 통해 자세히 설명하도록 한다.
영상 복원 장치는 다음과 같은 단계를 거쳐 제1 해상도 영상보다 높은 해상도를 갖는 제2 해상도 영상을 복원할 수 있다. 일례로, 제1 해상도 영상은 HD(High Definition) 해상도의 영상을 의미할 수 있고, 제2 해상도 영상은 UHD(Ultra High Definition) 해상도의 영상을 의미할 수 있다.
단계(101)에서 영상 복원 장치는 제1 해상도 영상으로부터 저주파수 도메인 영상 및 고주파수 도메인 영상을 구분할 수 있다. 여기서, 제1 해상도 영상은 저해상도 영상(Low Resolution image)으로 오브젝트의 질감 표현에 있어 제2 해상도보다 부드럽지 못한 영상을 의미할 수 있다. 그리고, 저주파수 도메인 영상 및 고주파수 도메인 영상은 제1 해상도 영상의 해상도와 동일한 해상도로 표현되며, 제1 해상도 영상으로부터 필터링됨으로써, 서로 다른 영상의 주파수를 나타낼 수 있다. 여기서, 영상의 주파수는 영상의 성분을 구성하는 주파수를 의미하며 주파수가 높을수록 엣지, 텍스처 등의 영역이 표현되고, 주파수가 낮을수록 평탄한(flat) 영역이 표현될 수 있다.
단계(102)에서 영상 복원 장치는 제1 해상도 영상을 업스케일링하여 업스케일링된 저주파수 도메인 영상을 생성할 수 있다. 여기서, 업스케일링된 저주파수 도메인 영상은 제1 해상도 영상이 보간 방법에 의해 업스케일링됨에 따라 생성된 영상으로써, 보간 영상을 의미할 수 있다. 그리고, 업스케일링된 저주파수 도메인 영상은 제1 해상도 영상보다 높은 해상도로 표현될 수 있다.
여기서, 영상 복원 장치는 제1 해상도 영상에 대하여 복원하고자 하는 제2 해상도 영상이 나타내는 해상도에 따라 업스케일링하는 단계를 조각화할 수 있다. 그리고, 영상 복원 장치는 업스케일링된 저주파수 도메인 영상이 나타내는 해상도가 제2 해상도 영상이 나타내는 해상도와 유사할 때까지 단계적으로 업스케일링을 반복하여 수행할 수 있다. 단계적으로 업스케일링하는 자세한 구성은 도 2를 통해 설명하도록 한다.
이 때, 업스케일링된 저주파수 도메인 영상은 보간 방법을 통해 생성됨에 따라 고주파수 도메인 영상에 대한 정보가 부족할 수 있다. 다시 말해, 영상 복원 장치는 제1 해상도 영상을 구성하는 픽셀과 픽셀 사이값에 대한 평균값을 이용하여 업스케일링된 저주파수 도메인 영상의 픽셀값으로 결정하는 보간 방법을 이용할 수 있다. 여기서, 제1 해상도 영상은 상술한 보간 방법을 통해 업스케일링 됨에 따라 다소 선명도가 하향되기 때문에 이러한 보간 방법을 통해 생성된 영상에 대하여 업스케일링된 저주파수 도메인 영상으로 간주할 수 있다. 또한, 영상 복원 장치는 업스케일링된 저주파수 도메인 영상에 대하여 하향된 선명도를 향상하기 위하여 부족한 고주파수 도메인 정보를 색출할 수 있다.
단계(103)에서 영상 복원 장치는 자기 유사성을 기반으로 업스케일링된 고주파수 도메인을 생성할 수 있다. 구체적으로, 영상 복원 장치는 업스케일링된 저주파수 도메인 영상을 기반으로 제1 해상도 영상의 해상도로 표현된 저주파수 도메인 영상 또는 중간 주파수 도메인 영상으로부터 유사 패치를 추출할 수 있다. 여기서, 영상 복원 장치는 업스케일링된 저주파수 도메인 영상의 패치에 대하여 표현된 영역이 텍스쳐 영역인지 또는 엣지 영역인지에 따라 제1 해상도 영상의 해상도로 표현된 주파수 도메인 영상 또는 중간 주파수 도메인 영상 중 하나의 영상을 이용하여 유사 패치를 추출할 수 있다.
그리고, 영상 복원 장치는 자기 유사성을 기반으로 업스케일링된 저주파수 도메인 영상의 패치에 대응하여 복수 개의 유사 패치를 추출할 수 있다. 즉, 자기 유사성이란, 업스케일링된 저주파수 도메인 영상의 패치에 포함된 픽셀들의 패턴을 기반으로 저주파수 도메인 영상 또는 중간 주파수 도메인에 분포된 복수의 유사 패치를 추출하는 것을 의미할 수 있다.
단계(104)에서 영상 복원 장치는 추출된 유사 패치에 상응하는 위치에 존재하는 제1 해상도 영상의 해상도로 표현된 고주파수 도메인의 패치를 추출할 수 있다. 이 때, 영상 복원 장치는 추출된 복수 개의 유사 패치에 대응하여 같은 위치에 존재하는 제1 해상도 영상의 해상도로 표현된 고주파수 도메인 영상의 패치를 추출할 수 있다. 이 때, 영상 복원 장치는 유사 패치와 동일한 위치 및 개수로 제1 해상도 영상의 해상도로 표현된 고주파수 도메인 영상의 패치를 추출할 수 있다.
일례로, 업스케일링된 저주파수 도메인 영상의 패치에 대한 유사 패치로써, 6개를 추출하였다고 가정하면, 영상 복원 장치는 추출된 6개의 유사 패치에 대응하여 동일한 위치에 존재하는 제1 해상도 영상의 해상도로 표현된 고주파수 도메인 영상에 대한 6개의 패치를 추출할 수 있다.
단계(105)에서 영상 복원 장치는 제1 해상도 영상의 해상도로 표현된 고주파수 도메인 영상의 패치를 복사하여 업스케일링된 고주파수 도메인 영상을 생성할 수 있다. 이 때, 영상 복원 장치는 제1 해상도 영상의 해상도로 표현된 저주파수 도메인 영상의 패치에 대한 위치 및 상기 패치에 대한 위치로부터 집중되는 업스케일링된 저주파수 도메인 영상의 패치에 대한 방향성을 고려할 수 있다.
이는 업스케일링된 저주파수 도메인 영상의 패치와 동일한 위치로써, 업스케일링된 고주파수 도메인 영상의 패치가 복사되도록 하기 위함일 수 있다. 자세한 구성은 도 3을 통해 설명하도록 한다.
단계(106)에서 영상 복원 장치는 업스케일링된 저주파수 도메인 영상 및 고주파수 도메인 영상을 결합하여 제1 해상도보다 높은 해상도를 갖는 제2 해상도 영상을 복원할 수 있다. 이 때, 업스케일링된 저주파수 도메인 영상 및 고주파수 도메인 영상은 상기 제2 해상도 영상의 해상도로 표현될 때까지 단계적으로 업스케일링될 수 있다. 즉, 영상 복원 장치는 제2 해상도 영상의 해상도에 따라 조각화된 단계에 대응하여 저주파수 도메인 및 고주파수 도메인을 업스케일링함으로써, 제1 해상도 영상을 제2 해상도 영상으로 복원할 수 있다.
도 2는 일실시예에 따른 제1 해상도 영상의 해상도로 표현된 저주파수 도메인 영상 및 고주파수 도메인 영상을 업스케일링하여 제2 해상도 영상을 복원하는 단계를 설명하기 위해 도시한 도면이다.
도 2를 참고하면, 영상 복원 장치는 제1 해상도 영상(201)을 보간하여 제2 해상도 영상(214)으로 복원할 수 있다. 여기서, 제1 해상도 영상(201)은 영상을 구성하는 주파수 값에 따라 저주파수 도메인 또는 고주파수 도메인으로 나뉠 수 있다. 여기서 저주파수 도메인은 제1 해상도 영상(201)에 대하여 인접한 영역이 나타내는 주파수 값이 기준치 미만인 주파수 영역으로 영상 내 평탄한 영역을 나타낼 수 있다. 반면, 고주파수 도메인은 제1 해상도 영상(201)에 대하여 인접한 영역이 나타내는 주파수 값이 기준치 이상인 주파수 영역으로 영상 내 윤관석, 텍스처 등 선(line)이 나타내는 성분들에 대한 영역을 나타낼 수 있다. 결국, 영상 복원 장치는 제1 해상도 영상(201)을 구성하는 주파수 값에 대한 기준치에 따라 저주파수 도메인 영상/중간 주파수 도메인 영상/고주파수 도메인 영상으로 구분될 수 있다.
영상 복원 장치는 제1 해상도 영상을 단계적으로 업스케일링함으로써, 제2 해상도 영상을 복원할 수 있다. 여기서, 제1 해상도 영상의 해상도로 표현된 저주파수 도메인 영상(202)은 으로 표현되고, 제1 해상도 영상의 해상도로 표현된 고주파수 도메인 영상(203)은 으로 표현될 수 있다.
영상 복원 장치는 복원하기 위한 제2 해상도 영상(210)의 해상도를 고려하여 제1 해상도 영상(201)을 업스케일링할 수 있다. 영상 복원 장치는 제2 해상도 영상(214)의 해상도에 따라 복원하기 위한 단계를 조각화함으로써, 보다 정확하게 제1 해상도 영상(201)을 제2 해상도 영상(214)으로 복원할 수 있다.
다시 말해, 영상 복원 장치는 제1 해상도 영상을 2배(복원 스케일)로 업스케일링하여 제2 해상도 영상(214)을 복원할 수 있다. 이 때, 영상 복원 장치는 제1 해상도 영상(201)을 구성하는 픽셀에 대한 평균값을 이용하여 결정된 제2 해상도 영상(214)을 복원하게 된다. 이 때, 복원된 제2 해상도 영상(214)은 제1 해상도 영상에 대한 평균값으로 복원됨에 따라 각 픽셀에 대한 표현이 정확하지 않음에 따라 선명도가 떨어지게 된다.
따라서, 영상 복원 장치는 보다 정교한 제2 해상도 영상(214)을 복원하기 위해 제2 해상도 영상(214)의 해상도에 따라 단계별로 조각화할 수 있다. 그리고, 영상 복원 장치는 제2 해상도 영상(214)의 해상도에 따라 조각화된 각 단계에 거쳐 저주파수 도메인 영상(202)을 업스케일링할 수 있다.
이 때, 영상 복원 장치는 제2 해상도 영상(214)의 해상도에 따라 보다 효율적으로 복원할 수 있는 단계를 조각화하고, 이에 따른 업스케일링 비율을 설정할 수 있다.
일례로, 제1 해상도 영상(201)을 2배로 증가된 제2 해상도 영상(214)으로 복원함에 있어, 영상 복원 장치는 해상도에 따라 5단계로 구분할 수 있다. 이 때, 영상 복원 장치는 5단계에 거쳐 제2 해상도 영상(214)을 복원함에 따라 보다 정교한 제2 해상도 영상(214)을 제공할 수 있지만, 각 단계에 따른 연산량이 증가함에 따라 처리 속도가 저하될 수 있다. 따라서, 영상 복원 장치는 복원 스케일에 따라 연산량을 최소화하여 처리 속도를 향상시킬 수 있는 단계를 지정할 수 있다.
또한, 영상 복원 장치는 지정된 단계에 따라 일정한 업스케일링 비율을 통해 저주파수 도메인 영상 및 고주파수 도메인 영상을 업스케일링할 수 있다. 일례로, 제2 해상도 영상(214)을 복원함에 있어서, 복원 스케일은 2배, 단계는 3으로 결정되었다고 가정할 때, 영상 복원 장치는 ?2 에 대한 결과값 1.253 ≒ 2 에 따라 1.25 비율로 제1 해상도 영상을 단계적으로 업스케일링할 수 있다. 그리고, 영상 복원 장치는 제2 해상도 영상(214)에 대한 복원 스케일에 도달할 때까지 업스케일링을 반복하여 수행할 수 있다.
결국, 영상 복원 장치는 복원 스케일에 따른 단계에 따라 저주파수 도메인 영상(202)을 1.25 비율로 업스케일링 함으로써, 저주파수 도메인 영상(202)에 대하여 업스케일링된 저주파수 도메인 영상(204)을 생성할 수 있다.
그리고, 영상 복원 장치는 저주파수 도메인 영상(202) 및 업스케일링된 저주파수 도메인 영상(204)을 기반으로 고주파수 도메인 영상(203)에 대한 업스케일링된 고주파수 도메인 영상(205)을 생성할 수 있다.
구체적으로, 영상 복원 장치는 업스케일링된 저주파수 도메인 영상(204)의 패치(206: pi)를 기반으로 제1 해상도 영상의 해상도로 표현된 주파수 도메인 영상(202)의 유사 패치(207: pj)를 추출할 수 있다. 이 때, 영상 복원 장치는 업스케일링된 저주파수 도메인 영상(204)의 패치(206: pi)가 표현하는 영역에 따라 제1 해상도 영상의 해상도로 표현된 주파수 도메인 영상(202) 또는 중간 주파수 도메인 영상을 이용할 수 있다. 그리고, 영상 복원 장치는 업스케일링된 저주파수 도메인의 영상(204)의 패치(206: pi)에 대응하여 제1 해상도 영상의 해상도로 표현된 저주파수 도메인 영상(202) 또는 중간 주파수 도메인 영상 중에 자기 유사성에 따른 유사 패치(207: pj)를 추출할 수 있다.
영상 복원 장치는 제1 해상도 영상의 해상도로 표현된 주파수 도메인 영상(202) 또는 중간 주파수 도메인 영상으로부터 추출된 유사 패치(207: pj)와 동일한 위치에 존재하는 제1 해상도 영상의 해상도로 표현된 고주파수 도메인 영상(203)의 패치(208: pj)를 추출할 수 있다. 그리고, 영상 복원 장치는 제1 해상도 영상의 해상도로 표현된 고주파수 도메인 영상(203)의 패치(208: pj)를 고주파수 도메인 영상(205)의 패치(209: pi)로 복사함으로써, 업스케일링된 고주파수 도메인 영상(205)을 생성할 수 있다. 여기서, 업스케일링된 고주파수 도메인 영상(205)은 으로 표현될 수 있다.
영상 복원 장치는 업스케일링된 고주파수 도메인 영상(205)을 구성하는 각 픽셀에 대하여 순서에 따라 하나씩 이동하면서 고주파수 도메인의 영상(203)의 패치를 복사할 수 있다.
그리고, 영상 복원 장치는 제2 해상도 영상의 해상도로 표현될 때까지 단계적으로 업스케일링된 저주파수 도메인 영상(210), (212) 및 고주파수 도메인 영상(211), (213)을 생성할 수 있다. 또한, 각 단계에 따른 업스케일링되는 과정은 위에서 상술한 과정과 동일하게 수행될 수 있다.
그리고, 영상 복원 장치는 저주파수 도메인 영상(202) 및 고주파수 도메인 영상(203)을 단계적으로 업스케일링함으로써, 점증적으로 해상도가 높아지는 저주파수 도메인 영상(204), (210), (212) 및 고주파수 도메인 영상(205), (211), (213)을 생성할 수 있다.
이후, 영상 복원 장치는 제2 해상도 영상의 해상도로 표현되는 업스케일링된 저주파수 도메인 영상(212)과 고주파수 도메인 영상(213)을 결합함으로써, 최종적인 제2 해상도 영상(214)을 복원할 수 있다.
도 3은 일실시예에 따른 제1 해상도 영상의 해상도로 표현된 고주파수 해상도의 영상의 패치를 복사하여 업스케일링된 고주파수 해상도의 영상을 생성하는 과정을 설명하기 위해 도시한 도면이다.
도 3을 참고하면, 영상 복원 장치는 비 로컬 방식의 개념을 채용하여 패치에 따른 픽셀을 기반으로 제2 해상도 영상을 복원 방법을 제안하고 있다.
영상 복원 장치는 제1 해상도 영상의 해상도로 표현된 고주파수 도메인 영상의 패치(303)에 대한 중심 픽셀을 이용하여 업스케일링된 고주파수 도메인 영상에 대한 픽셀을 생성할 수 있다. 여기서, 해상도 영상의 해상도로 표현된 고주파수 도메인 영상의 패치(303)는 해상도 영상의 해상도로 표현된 저주파수 도메인 영상 또는 중간 주파수 도메인 영상에 대한 유사 패치(304)에 대응하여 추출된 패치일 수 있다.
또한, 해상도 영상의 해상도로 표현된 고주파수 도메인 영상의 패치(303)는 복수 개로 존재함에 따라 이에 대한 인덱스 집합(305)을 포함할 수 있다. 여기서, 인덱스 집합(305)은 업스케일링된 고주파수 도메인 영상을 생성함에 있어, 제1 해상도 영상의 해상도로 표현된 고주파수 도메인 영상에서 사용된 패치들을 취합한 집합일 수 있다.
그리고, 영상 복원 장치는 업스케일링된 고주파수 도메인 영상의 패치(303) 에 대한 중심 픽셀을 추출할 수 있다. 그리고, 영상 복원 장치는 제1 해상도 영상의 해상도로 표현된 고주파수 도메인 영상에 포함된 복수의 패치에서 추출한 각각 중심 픽셀에 대하여 가중 합 연산을 수행할 수 있다. 그리고, 영상 복원 장치는 연산된 가중 합을 이용하여 고주파수 도메인 영상에 대한 픽셀을 결정할 수 있다. 이 때, 영상 복원 장치는 연산된 가중 합에 의한 중량 유사성에 비례하여 고주파수 도메인 영상에 대한 픽셀을 결정하고, 결정된 픽셀을 복사함으로써, 업스케일링된 도메인 영상을 생성할 수 있다.
여기서, 영상 복원 장치는 비 로컬 방식을 통해 제2 해상도 영상을 복원함에 따라 제1 해상도 영상에 포함된 잡음 제거에 효과적일 수 있다. 다시 말해, 영상 복원 장치는 상술한 바와 같이 제2 해상도 영상을 복원하기 위해 제1 해상도 영상을 업스케일링하여 업스케일링된 저주파수 도메인 영상을 생성할 수 있다. 영상 복원 장치는 업스케일링된 저주파수 도메인 영상의 패치(301)를 기반으로 제1 해상도 영상의 해상도로 표현된 저주파수 도메인 영상 또는 중간 주파수 도메인 영상에 대한 유사 패치를 추출할 수 있다. 이 후, 영상 복원 장치는 추출된 유사 패치에 상응하는 제1 해상도 영상의 해상도로 표현된 고주파수 도메인 영상의 패치를 추출하고, 추출된 제1 해상도 영상의 해상도로 표현된 고주파수 도메인 영상의 패치를 복사하여 업스케일링된 고주파수 도메인 영상을 생성할 수 있다.
이 때, 영상 복원 장치는 제1 해상도 영상으로부터 구분된 저주파수 도메인 영상 및 고주파수 도메인 영상을 통해 제2 해상도 영상을 복원함으로써, 제1 해상도 영상에 포함된 픽셀 이외에 외부에서 전달되는 픽셀이 존재하지 않을 수 있다. 다시 말해, 영상 복원 장치는 업스케일링을 통해 제1 해상도 영상에 포함된 픽셀만을 재구성함으로써, 해상도의 픽셀을 재구성하기 위한 별도의 픽셀 정보가 요구되지 않는다.
결국, 영상 복원 방법은 제1 해상도 영상에 포함된 모든 픽셀 정보에 기초하여 비 로컬 방식의 업스케일링을 수행함에 따라 보다 정교한 제2 해상도 영상을 복원할 수 있다.
일례로, 영상 복원 장치는 고주파수 도메인 영상의 패치(302)를 재구성하기 위해 업스케일링된 저주파수 도메인 영상의 i번째 패치(301)에 대한 제1 해상도 영상의 해상도로 표현된 저주파수 도메인 영상 또는 중간 주파수 도메인 영상에 대한 유사 패치(304)를 추출할 수 있다. 여기서, 제1 해상도 영상의 해상도로 표현된 저주파수 도메인 영상의 유사 패치는 업스케일링된 저주파수 도메인 영상의 패치(301)에 대한 i번째 픽셀에 대한 유사도에 따라 분포된 복수의 패치를 의미할 수 있다.
그리고, 영상 복원 장치는 제1 해상도 영상의 해상도로 표현된 저주파수 도메인 영상의 유사 패치에 대응하여 제1 해상도 영상의 해상도로 표현된 고주파수 도메인 영상의 패치에 대한 위치를 추출할 수 있다. 영상 복원 장치는 추출된 제1 해상도 영상의 해상도로 표현된 고주파수 도메인의 영사의 패치에 대한 위치에 기초로 각 패치의 중심 픽셀을 결정할 수 있다. 그리고, 영상 복원 장치는 결정된 중심 픽셀만을 이용하여 각 패치의 위치에 따른 가중 합에 추출하여 복사함으로써, 업스케일링된 고주파수 도메인 영상의 패치(302)를 복원할 수 있다.
이 때, 영상 복원 장치는 래스터 순서에 따라 하나의 픽셀에 대응하여 하나씩 이동하면서 업스케일링된 고주파수 도메인 영상을 복원할 수 있다. 여기서, 업스케일링된 고주파수 도메인 영상의 패치(302)는 다음의 수학식 1과 같이 나타낼 수 있다.
Figure pat00001
그리고, 수학식 1의
Figure pat00002
은
Figure pat00003
으로 표현될 수 있다.
또한, 영상 복원 장치는 유사 패치를 추출할 때, 제1 해상도 영상에서 표현되는 영역에 따라 저주파수 도메인의 영역 또는 중간 주파수 도메인의 영역을 적응적으로 이용함으로써, 고주파수 도메인 영상을 재구성할 수 있다. 이에 대한 자세한 구성은 도 4를 통해 자세히 설명하도록 한다.
도 4는 일실시예에 따른 중간 주파수 도메인을 설명하기 위한 도면이다.
도 4를 설명하기에 앞서 본 발명에서 제안하는 저주파수 도메인 영상의 패치와 고주파수 도메인 영상의 패치는 서로 간의 유사성이 높다고 가정한다. 이하에서는 이러한 가정을 기반으로 영상 복원 방법을 설명한다.
영상 복원 장치는 제1 해상도 영상에 대하여 자기 유사성을 기반으로 저주파수 도메인 영상과 고주파수 도메인 영상을 통해 제2 해상도 영상을 복원 할 수 있다. 여기서, 저주파수 도메인 영상과 고주파수 도메인 영상은 제2 해상도 영상을 복원하는데 있어, 위에서 언급한 바와 같이 서로 간의 유사성이 높다는 가정에 따라 밀접한 상관 관계를 나타낼 수 있다.
다시 말해, 영상 복원 장치는 업 스케일링할 때 저주파수 도메인 영상의 패치에 대한 위치를 기반으로 동일한 위치를 나타내는 고주파수 도메인의 패치를 복원한다는 점에서 저주파수 도메인 영상과 고주파수 도메인 영상은 제2 해상도 영상을 복원함에 있어 밀접한 상관 관계가 존재한다는 것을 확인할 수 있다.
구체적으로, 고주파수 도메인 영상은 업스케일링을 통해 저주파수 도메인 영상의 유사 패치에 상응하는 고주파수 도메인 영상의 패치를 통해 복원될 수 있다. 이 때, 복원된 고주파수 도메인 영상은 경우에 따라 부자연스러운 영역이 포함될 수 있다. 영상 복원 장치는 보다 정확한 고주파수 도메인 영상을 복원하기 위하여 저주파수 도메인 영상이 표현하는 영역에 따라 저주파수 도메인 영상 또는 중간 주파수 도메인 영상을 이용할 수 있다.
즉, 저주파수 도메인 영상과 고주파수 도메인 영상은 제1 해상도 영상의 모든 픽셀에 대하여 상관 관계가 이루어지지 않을 수 있다. 그러므로, 영상 복원 장치는 저주파수 도메인 영상과 고주파수 도메인 영상 간에 상관 관계가 이루어지지 않은 영역에 대하여 보다 자연스럽게 표현될 수 있도록 중간 주파수 도메인을 이용할 수 있다. 여기서, 중간 주파수 도메인은 저주파수 도메인과 고주파수 도메인의 사이에 있는 영역으로 평탄한 영역과 라인 영역을 동시에 포함하고 있는 영역을 나타낼 수 있다. 중간 주파수 도메인은 다음의 수학식 2와 같이 나타낼 수 있다.
Figure pat00004
일례로, 도 4의 (a)는 저주파수 도메인 영상의 패치이고, 도 4의 (b)는 중간 주파수 도메인 영상의 패치이며, 도 4의 (c)는 고주파수 도메인 영상의 패치를 나타낼 수 있다. 도 4를 살펴보면, 중간 주파수 도메인 영상의 패치는 저주파수 도메인 영상의 패치보다 고주파수 도메인 영상의 패치와의 접지에 따른 상관 관계가 높다는 것을 파악할 수 있다.
결국, 영상 복원 장치는 제2 해상도 영상을 복원하는데 있어, 제1 해상도 영상에서 질감이 표현되는 영역에 따라 저주파수 도메인 영상/중간 주파수 도메인 영상/고주파수 도메인 영상 간의 상관 관계에 따라 유사한 패치를 선택함으로써, 보다 정교한 제2 해상도 영상을 복원할 수 있다.
여기서, 제1 해상도 영상의 질감을 표현하기 위해 각 영역은 대하여 엣지 영역, 플랫 영역 및 텍스처 영역으로 구분할 수 있다. 그리고, 영상 복원 장치는 구분된 각 영역에 대하여 저주파수 도메인 영상 또는 중간 주파수 도메인 영상을 선택할 수 있다. 자세하게, 영상 복원 장치는 텍스처 영역에 대하여 중간 주파수 도메인 영상의 패치를 이용하여 고주파수 도메인 영상의 패치를 생성할 수 있다. 또한, 영상 복원 장치는 텍스처 영역을 제외한 엣지 영역과 플랫 영역에 있어, 저주파수 도메인 영상의 패치를 이용하여 고주파수 도메인 영상의 패치를 재구성할 수 있다.
영상 복원 장치는 제2 해상도 영상을 복원하기 위하여 제1 해상도 영상의 영역에 따라 적응적으로 저주파수 도메인 영상 또는 중간 주파수 도메인 영상을 선택함으로써, 보다 정교하게 제2 해상도 영상의 질감을 표현할 수 있다.
일례로, 제1 해상도 영역에 포함된 텍스처 영역을 통해 실험하였을 때, 영상 복원 장치는 제1 해상도 영상의 해상도로 표현된 저주파수 도메인 영상에서 유사 패치를 검색하고, 검색된 유사 패치와 동일한 위치에 존재하는 제1 해상도 영상의 해상도로 표현된 고주파수 도메인 영상의 패치를 추출할 수 있다. 그리고, 영상 복원 장치는 추출된 제1 해상도 영상의 해상도로 표현된 고주파수 도메인 영상의 패치를 복사함으로써, 업스케일링된 고주파수 도메인 영상을 생성할 수 있다. 이 때, 영상 복원 장치는 텍스처 영역에 따른 중간 주파수 도메인 영상을 통해 유사 패치를 검색하고, 이에 따른 업스케일링된 고주파수 도메인 영상을 생성함에 따라 영상에 대한 해상도에 대한 표현 성능이 개선될 수 있다.
또한, 영상 복원 장치는 제1 해상도 영상이 표현하는 영역에 대하여 보다 적응적으로 도메인 영상을 결정하기 위해, 차분 곡률을 이용하여 픽셀에 대한 질감 영역을 분해할 수 있다. 다시 말해, 영상 복원 장치는 제1 해상도 영상에 대하여 픽셀 텍스처 영역이 존재하는지 여부에 따른 상관 관계를 확인하기 위하여 제1 해상도 영상에 대한 질감 영역을 분해해야 한다. 즉, 영상 복원 장치는 제1 해상도 영상에 대한 질감 영역을 제외한 에지 영역을 표시할 수 있다. 구체적인 구성은 도 5를 통해 설명하도록 한다.
도 5는 일실시예에 따른 제1 해상도 영상에 대한 질감 분할 방법을 설명하기 위한 도면이다.
도 5를 참고하면, 영상 복원 장치는 제2 해상도 영상에 대한 질감을 보다 정확하게 복원하기 위해 제1 해상도 영상을 표현하는 질감 영역을 분할할 수 있다. 영상 복원 장치는 제1 해상도 영상의 질감에 대하여 차분 곡률 방법을 적용할 수 있다. 이 때, 영상 복원 장치는 다음과 같은 식(
Figure pat00005
)을 이용하여 제1 해상도 영상의 질감 영역을 분할할 수 있다.
여기서,
Figure pat00006
과
Figure pat00007
은 제1 해상도 영상에 대한 그라데이션의 방향 및 그라데이션 방향에 대하여 수직하는 방향에 따른 2차 도함수에 따른 결과값을 나타낼 수 있다. 그리고, D는 2차 도함수에 대한 결과값에 따른 차분 곡률을 나타낼 수 있다.
그리고, 각각에 대하여 다음과 같은 수학식 3 및 수학식 4으로 표현될 수 있다.
Figure pat00008
Figure pat00009
또한, 텍스처 영역에 있어서,
Figure pat00010
과
Figure pat00011
은 일반적으로 크기가 거의 동일하며 이에 따른 D는 상대적으로 크기가 작을 수 있다. 영상 복원 장치는 상기 D가 나타내는 차분 곡률을 통해 제1 해상도 영상을 구성하는 모든 픽셀에 대한 텍스처 영역을 추출할 수 있다.
일례로, 도 5를 살펴보면 영상 복원 장치는 차분 곡률 D를 사용하여 제1 해상도 영상의 질감 역을 분할한 영상을 도시하고 있다. 여기서, 영상 복원 장치는 제1 해상도 영상에 대한 픽셀 단위로 산출되는 차분 곡률에 있어 서로 다른 픽셀로 표현할 수 있다.
도 5의 (a)를 살펴보면, 영상 복원 장치는 제1 해상도 영상에 대하여 차분 곡률을 픽셀 단위로 수행함에 따라 흰색 픽셀과 검은색 픽셀로 분류될 수 있다. 그리고, 흰색 픽셀은 텍스처 영역을 나타내고, 검은색 픽셀은 플랫 영역과 엣지 영역을 나타낼 수 있다. 이 때, 영상 복원 장치는 픽셀을 기반으로 텍스처 영역을 분류함에 따라 픽셀에 대한 누락이 발생할 수 있다.
도 5의 (b)를 살펴보면 영상 복원 장치는 누락된 픽셀에 대하여 모폴로지 필터링을 수행함으로써, 누락된 픽셀을 추가시킬 수 있다. 여기서, 모폴로지 필터링은 제1 해상도 영역에 대한 텍스처 영역을 분류함에 따라 발생된 픽셀 누락에 따른 잡음을 제거할 수 있다. 다시 말해, 영상 복원 장치는 모폴로지 필터링을 통해 제1 해상도 영상에서 발생된 누락 픽셀에 대하여 침식과 팽창 또는 제거와 채움과 같은 연산을 수행함으로써, 제1 해상도 영상에 대하여 보다 세분화하여 잡음을 제거할 수 있다.
도 6은 일실시예에 따른 저주파수 도메인 영상, 중간 주파수 도메인 영상 및 고주파수 도메인의 영상 간의 해상도에 대한 표현 차이를 설명하기 위해 도시한 도면이다.
도 6의 (a), (b), (c)는 서로 다른 재건 방법을 통해 표현된 제2 해상도 영상을 나타낼 수 있다. 여기서, 도 6의 (a) 및 (b)는 기존의 영상 복원 방법으로 저주파수 도메인 영상 및 고주파수 도메인 영상에 대하여 유사도가 높은 패치만을 이용하여 복원된 제2 해상도 영상일 수 있다. 다시 말해, 도 6의 (a) 및 (b)는 저주파수 도메인 영상 및 고주파수 도메인 영상에 대하여 보간 방법을 통해 업스케일링한 영상으로 제1 해상도 영상이 표현한 영역을 구분하거나 중간 주파수 도메인 영상을 사용하지 않은 영상일 수 있다.
반면, 도 6의 (c)는 금번 제안된 영상 복원 방법을 이용하여 생성된 제2 해상도 영상일 수 있다. 다시 말해, 도 6의 (c)는 저주파수 도메인 영상 또는 중간 주파수 도메인 영상에 대한 유사 패치를 바탕으로 가중 합으로 복원된 고주파수 도메인 영상을 생성하고, 최종적으로 업스케일링된 저주파수 도메인 영상과 고주파수 도메인 영상을 결합하여 생성된 제2 해상도 영상일 수 있다.
결국, 영상 복원 장치는 제1 해상도 영상에 대한 질감을 더욱 정교하게 표현하기 위해 영역에 따라 서로 다른 도메인을 이용하여 제2 해상도 영상을 복원함으로써, 질감에 대한 시각적인 품질을 향상시킬 수 있다. 또한, 영상 복원 장치는 제1 해상도 영상의 질감을 보다 사실감 있게 표현됨에 따라 현실적으로 구현하기 위한 제2 해상도 영상의 세부 구성까지도 정교하게 복구할 수 있다.
영상 복원 장치는 제1 해상도 영상을 제2 해상도 영상으로 복원하기 위하여 복원하고자 하는 픽셀에 대한 픽셀 정보와 유사한 픽셀을 추출하고, 추출된 유사한 픽셀을 기반으로 제2 해상도 영상을 복원할 수 있다. 또한, 영상 복원 장치는 제2 해상도 영상에 대하여 보다 정확한 정보를 추출하기 위해 유사한 패치뿐만 아니라, 질감 영역에 따라 제1 해상도 영상을 기반으로 생성된 중간 주파수 도메인 영상을 사용할 수 있다.
본 발명의 실시 예에 따른 방법들은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다.
이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.
그러므로, 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.

Claims (1)

  1. 제1 해상도 영상으로부터 상기 제1 해상도 영상의 해상도로 표현되는 저주파수 도메인 영상 및 고주파수 도메인 영상을 구분하는 단계;
    상기 제1 해상도 영상을 업스케일링하여 업스케일링된 저주파수 도메인 영상을 생성하는 단계;
    상기 업스케일링된 저주파수 도메인 영상을 기반으로 상기 제1 해상도 영상의 해상도로 표현된 저주파수 도메인 영상 또는 중간 주파수 도메인 영상 중 어느 하나의 영상에서 유사 패치를 추출하는 단계;
    상기 추출된 유사 패치에 대응하여 상기 제1 해상도 영상의 해상도로 표현된 고주파수 도메인 영상의 패치를 추출하는 단계;
    상기 추출된 고주파수 도메인 영상의 패치를 복사하여 업스케일링된 고주파수 도메인 영상을 생성하는 단계; 및
    상기 업스케일링된 저주파수 도메인 영상 및 고주파수 도메인 영상을 결합하여 상기 제1 해상도 영상보다 높은 해상도를 갖는 제2 해상도 영상을 복원하는 단계
    를 포함하고,
    상기 업스케일링된 저주파수 도메인 영상 및 고주파수 도메인 영상은,
    상기 제2 해상도 영상의 해상도로 표현될 때까지 단계적으로 업스케일링되는 영상 복원 방법.
KR1020140167529A 2014-11-27 2014-11-27 영상 복원 방법 및 상기 방법을 수행하는 영상 복원 장치 KR20160063792A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020140167529A KR20160063792A (ko) 2014-11-27 2014-11-27 영상 복원 방법 및 상기 방법을 수행하는 영상 복원 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140167529A KR20160063792A (ko) 2014-11-27 2014-11-27 영상 복원 방법 및 상기 방법을 수행하는 영상 복원 장치

Publications (1)

Publication Number Publication Date
KR20160063792A true KR20160063792A (ko) 2016-06-07

Family

ID=56192878

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140167529A KR20160063792A (ko) 2014-11-27 2014-11-27 영상 복원 방법 및 상기 방법을 수행하는 영상 복원 장치

Country Status (1)

Country Link
KR (1) KR20160063792A (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210118095A1 (en) * 2019-10-17 2021-04-22 Samsung Electronics Co., Ltd. Image processing apparatus and method

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210118095A1 (en) * 2019-10-17 2021-04-22 Samsung Electronics Co., Ltd. Image processing apparatus and method
KR20210045828A (ko) * 2019-10-17 2021-04-27 삼성전자주식회사 영상 처리 장치 및 방법

Similar Documents

Publication Publication Date Title
CN111047516B (zh) 图像处理方法、装置、计算机设备和存储介质
Le Meur et al. Hierarchical super-resolution-based inpainting
US8731337B2 (en) Denoising and artifact removal in image upscaling
US9652830B2 (en) Method and apparatus for performing hierarchical super-resolution of an input image
US9262684B2 (en) Methods of image fusion for image stabilization
JP2013518336A (ja) 入力画像から増加される画素解像度の出力画像を生成する方法及びシステム
JP4776705B2 (ja) 画像処理装置および方法
JP2011523275A (ja) 画像解像度の向上
KR101651741B1 (ko) 영상의 영역 별로 선명화하는 고해상도 영상 생성 장치 및 방법
WO2021123072A1 (en) Coding scheme for video data using down-sampling/up-sampling and non-linear filter for depth map
KR20180097342A (ko) 영상 아티팩트를 최소화하는 초해상도 영상 선명화 방법 및 장치
JPWO2011111819A1 (ja) 画像処理装置、画像処理プログラム、および、画像を生成する方法
CN105723416B (zh) 图像降噪方法
KR20160141201A (ko) 복수의 영상 프레임의 이미지 패치를 이용한 해상도 스케일링 장치 및 그 방법
CN103748613A (zh) 用于图像去噪、压缩和插值的各向异性梯度正则化
WO2023045627A1 (zh) 图像超分方法、装置、设备及存储介质
KR20160063792A (ko) 영상 복원 방법 및 상기 방법을 수행하는 영상 복원 장치
KR101910894B1 (ko) 영상 복원 장치 및 방법
KR20090078617A (ko) 주파수 기반 영상 모델을 이용한 영상 복원 방법 및 시스템
JP2013238948A (ja) 画像処理装置および方法、並びに、プログラム
Kang et al. Self-learning-based low-quality single image super-resolution
KR102325898B1 (ko) 다중 도메인 영상 복원 시스템 및 방법
Ahmed et al. Digital image inpainting techniques for cultural heritage preservation and restoration
Patel et al. Analysis of Exemplar based Image inpainting
JP5934019B2 (ja) 階調復元装置及びそのプログラム

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application