KR20170087734A - 그라디언트 정보를 이용한 고해상도 영상 생성 장치 및 방법 - Google Patents

그라디언트 정보를 이용한 고해상도 영상 생성 장치 및 방법 Download PDF

Info

Publication number
KR20170087734A
KR20170087734A KR1020160007680A KR20160007680A KR20170087734A KR 20170087734 A KR20170087734 A KR 20170087734A KR 1020160007680 A KR1020160007680 A KR 1020160007680A KR 20160007680 A KR20160007680 A KR 20160007680A KR 20170087734 A KR20170087734 A KR 20170087734A
Authority
KR
South Korea
Prior art keywords
image
resolution
patch
unit
similar
Prior art date
Application number
KR1020160007680A
Other languages
English (en)
Inventor
이대열
이주영
정세윤
김종호
김휘용
임성창
조숙희
최진수
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020160007680A priority Critical patent/KR20170087734A/ko
Publication of KR20170087734A publication Critical patent/KR20170087734A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G06T3/4069—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution by subpixel displacements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G06T3/4076—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution using the original low-resolution images to iteratively correct the high-resolution images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/337—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)

Abstract

본 발명에 따른 그라디언트 정보를 이용한 초해상도 영상 복원 장치는 입력 영상을 주파수 영역별로 분할하는 주파수 영역 분할부, 입력 영상에 대해 업샘플링(upsampling) 또는 다운샘플링(downsampling) 과정을 수행하는 해상도 변환부, 상위 해상도 영상과 입력 영상 및 하위 해상도 영상의 저주파 영역 영상을 패치(patch) 단위로 분할하여 유사패치를 검색하는 유사패치 검색부, 저주파 영역 영상을 분석하여 그라디언트 쩡보를 생성하고, 그라디언트 정보에 기초하여 검색 범위를 지정하는 영상 특성 분석부, 선택된 입력 해상도 및 하위 해상도 저주파 영역의 유사패치에 상응하는 고주파 영상패치를 이용하여 상위해상도의 고주파 영역을 복원하는 상위 해상도 고주파 영역 복원부를 포함한다.

Description

그라디언트 정보를 이용한 고해상도 영상 생성 장치 및 방법{APPARATUS AND METHOD FOR HIGH RESOLUTION IMAGE GENERATION USING GRADIENT INFORMATION}
본 발명은 초해상도 영상 복원에 관한 기술로서, 보다 상세하게는 그라디언트 정보를 이용한 영상 복원 장치에 관한 기술이다.
최근 HD(High Definition) 해상도의 영상 콘텐츠가 다양한 모바일 단말 및 TV에 제공 되면서 많은 사용자들이 고해상도, 고화질의 영상에 익숙해져 있으며 이에 따라 기존 촬영된 영상을 고해상도로 복원하는 기술이 주목을 받고 있다. 또한, 최근에는 HDTV의 4배 해상도를 가지는 UHD(Ultra High Definition)TV 에 대한 관심이 증대되어 이에 따른 UHD 콘텐츠 확보가 중요한 사안이므로 기존 콘텐츠를 UHD 콘텐츠로 변환 할 수 있는 초해상도 영상 복원 알고리듬은 모바일 단말 및 TV에서 핵심 기술로 부각되고 있다.
초해상도 영상 복원을 위해, 주어진 저해상도 픽셀 값들을 보간하여 고해상도 픽셀 값들을 예측하는 보간 (interpolation) 기술, 여러 장의 저해상도 이미지와 카메라 모델링을 이용하여 고해상도 이미지를 예측하고 그 오류를 최소화 시키는 복원 기반(reconstruction-based) 기술, 여러 영상에서의 트레이닝(training)을 통해 저해상도, 고해상도 패치 쌍을 구성하여 저장하고 그를 이용하여 영상을 복원하는 예제 기반 (example-based reconstruction) 기술 등을 사용할 수 있다.
복원 기반 기술과 예제 기반 초해상도 기술에서는 영상 간의 서로 상응하는 부분을 검색하는 영상 매칭(image matching) 기법이 사용된다. 영상 매칭을 위해 영상의 픽셀 값을 비교하는 인텐시티(intensity) 기반 검색 기술과 영상 내의 물체의 특징을 비교하는 특징(feature) 기반 검색 기술 등을 사용할 수 있다.
종래의 복원 기반과 예제 기반 복원과 관련된 초해상도 기술에서는 영상 내의 유사 영역을 검색하는 과정이 필요하며, 이때 영상 전체에 대한 검색을 수행할 경우 계산량이 매우 많아지며 구동시간이 길어지는 단점이 있다. 이에 대한 해결책의 일환으로 공간적으로 인접한 영역을 검색범위로 한정하여 연산 복잡도를 줄이는 방식이 사용되지만, 이 경우 복원된 초해상도 영상의 주관적 화질(subjective quality)이 저하될 수 있는 단점이 있다.
미국 공개특허 US2013/0044965 A1
본 발명이 해결하고자 하는 과제는 초해상도 복원 영상의 주관적 화질을 향상시키기 위하여 그라디언트(Gradient) 정보를 이용하여 유사 패치를 검색하는 초해상도 영상 복원 장치 및 방법을 제공하는 것이다.
본 발명에 따른 그라디언트 정보를 이용한 초해상도 영상 복원 장치는 입력 영상을 주파수 영역별로 분할하는 주파수 영역 분할부, 입력 영상에 대해 업샘플링(upsampling) 또는 다운샘플링(downsampling) 과정을 수행하는 해상도 변환부, 상위 해상도 영상과 입력 영상 및 하위 해상도 영상의 저주파 영역 영상을 패치(patch) 단위로 분할하여 유사패치를 검색하는 유사패치 검색부, 저주파 영역 영상을 분석하여 그라디언트 쩡보를 생성하고, 그라디언트 정보에 기초하여 검색 범위를 지정하는 영상 특성 분석부, 선택된 입력 해상도 및 하위 해상도 저주파 영역의 유사패치에 상응하는 고주파 영상패치를 이용하여 상위해상도의 고주파 영역을 복원하는 상위 해상도 고주파 영역 복원부, 저주파 영상 패치와 복원된 고주파 영상패치를 조합하여 공간영역(spatial domain)의 패치를 생성하는 주파수 영역 융합부 및 복원된 패치를 하위 해상도로 다운샘플링 하여 하위 해상도 패치와의 차분(residual)을 파악하고 그 차이 값을 업스케일링 하여 복원 패치에 적용하는 배경 투사(backward projection)하는 배경 투사부를 포함한다.
본 발명에 따른 그라디언트 정보를 이용한 초해상도 영상 복원 장치 및 방법은 영상의 그라디언트 정보가 비슷한 영역을 유사패치 검색 범위로 하여 초해상도 영상 복원을 수행하여 영상의 주관적 화질을 향상시킬 수 있다.
도 1은 본 발명의 일 실시예에 따른 그라디언트 정보를 이용한 초해상도 영상 복원 장치의 구성도이다.
도 2는 기준 영상 패치 주변의 사각형 검색 범위의 일례를 나타내는 도면이다.
도 3은 해상도 간 유사관계 변화의 일례를 설명하는 도면이다.
도 4는 본 발명의 일 실시예에 따른 그라디언트 정보를 이용한 초해상도 영상 복원 장치의 영상 특성 분석부(400)를 나타내는 구성도이다.
도 5는 본 발명의 일 실시예에 따른 그라디언트 정보를 이용한 초해상도 영상 복원 장치의 그라디언트 특성 히스토그램을 가시화한 일례를 나타내는 도면이다.
도 6은 본 발명의 일 실시예에 따른 그라디언트 정보를 이용한 초해상도 영상 복원 장치의 영상 특성 분석부(600)의 다른 일례를 나타내는 구성도이다.
도 7은 본 발명의 일 실시예에 따른 그라디언트 정보를 이용한 초해상도 영상 복원 장치의 계층적 초해상도 영상 복원 방법의 과정은 설명하는 도면이다.
이하, 본 발명의 실시예를 첨부된 도면들을 참조하여 상세하게 설명한다. 본 명세서에서 사용되는 용어 및 단어들은 실시예에서의 기능을 고려하여 선택된 용어들로서, 그 용어의 의미는 발명의 의도 또는 관례 등에 따라 달라질 수 있다. 따라서 후술하는 실시예에서 사용된 용어는, 본 명세서에 구체적으로 정의된 경우에는 그 정의에 따르며, 구체적인 정의가 없는 경우는 당업자들이 일반적으로 인식하는 의미로 해석되어야 할 것이다.
도 1은 본 발명의 일 실시예에 따른 그라디언트 정보를 이용한 초해상도 영상 복원 장치의 구성도이다.
도 1에서는 설명의 편의를 위하여 자기 유사성(Self-Similarity)을 기반으로 하는 초해상도 복원 과정을 일례로 들어 설명한다. 다만, 본 발명은 자기 유사성 기반으로 한정되는 것은 아니며, 다른 초해상도 영상 복원 방법에 동일하게 적용될 수 있다.
본 발명의 일 실시예에 따른 그라디언트 정보를 이용한 초해상도 영상 복원 장치는 주파수 영역 분할부(110), 해상도 변환부(120), 유사패치 검색부(130), 영상 특성 분석부(140), 상위 해상도 고주파 영역 복원부 (150), 주파수 영역 융합부(160) 및 배경 투사부(170) 를 포함한다.
해상도 변환부(120)에서는 입력 영상에 대해 업샘플링(upsampling) 또는 다운샘플링(downsampling) 과정을 수행하여 하위 해상도 영상(입력되는 영상보다 작은 해상도를 가지는 영상) 또는 상위 해상도 영상(입력되는 영상보다 큰 해상도를 가지는 영상)으로 입력 영상을 변환하여 생성할 수 있다.
입력 영상에 업샘플링(upsampling)을 수행 할 시에는 보간 방법을 이용한다. 예를 들어, 보간 방법에는 쌍일차 보간(bilinear interpolation), 쌍삼차 보간(bicubic interpolation) 등을 이용할 수 있다. 여기서, 업샘플링된 영상은 상위 해상도 영상의 저주파 영역 역할을 한다. 그리고 다운샘플링을 수행할 시에는 앨리어싱 현상(aliasing effect)을 방지 하기 위해
Figure pat00001
주파 필터(low pass filter)를 거쳐 다운샘플링을 수행할 수 있다. 여기서 다운샘플링 된 영상의 저주파 영역 영상은 상위 해상도의 고주파영역 복원에 활용될 수 있다.
입력 영상은 주파수 영역 분할부(110)에서 로우패스 필터(lowpass filter)를 적용하여 저주파 영역 영상을 획득한 뒤 입력 영상과 획득된 저주파 영역 영상의 차분을 이용해서 고주파 영역 영상을 획득하여 입력 영상을 주파수 영역별로 분할할 수 있다. 예를 들어 로우패스 필터로 가우시안(Gaussian) 필터, 버터워스(Butterworth) 필터 등을 이용할 수 있다. 자기 유사성을 이용한 영상 복원 방법에서는 저주파 영역 영상과 고주파 영역 영상을 함께 이용하여 영상을 복원하기 때문에 이러한 주파수 영역 분할이 필요하다.
유사 패치 검색부(130)에서는 상위 해상도 영상과 입력 영상 및 하위 해상도 영상의 저주파 영역 영상을 패치(patch) 단위로 분할한다. 여기서 패치란 특정 크기를 가지는 픽셀들의 집합을 의미하며, 예를 들어 5x5 픽셀 사이즈를 가지는 집합을 의미할 수도 있다. 그리고 유사 패치 검색부(130)는 분할된 패치를 이용해서 상위 해상도 영상과 입력 영상 및 하위 해상도 영상 간의 유사 패치를 검색한다. 이때, 유사패치 검색을 위해서 인텐시티(intensity) 기반 검색 기술과 영상 내의 물체의 특징을 비교하는 특징(feature) 기반 검색 기술 등을 사용할 수 있다.
유사패치 검색은 보간된 상위 해상도 영상 내 패치를 기준으로 입력 영상 및 하위 해상도 영상의 저주파 영역 에서 이루어지며, 상기 입력 영상 및 하위 해상도 영상의 저주파 영역에서 상기 인텐시티 혹은 특징 등을 기반으로 검색된 최적의 저주파 영역 영상 패치와 쌍을 이루는 고주파 영역 영상 패치를 이용하여 상위 해상도 영상의 고주파 영역을 복원한다.
여기서 최적의 저주파 영역 영상 패치란 기준이 되는 상위 해상도 영상 내 패치와 그 유사도가 가장 높은 입력 영상 및 하위 해상도 영상의 저주파 영역 영상 패치를 의미하며, 최적의 저주파 영역 영상 패치와 쌍을 이루는 고주파 영역 영상 패치란 유사도가 가장 높게 측정된 저주파 영역 영상 패치와 공간적으로 같은 위치에 존재하는 고주파 영역 영상 패치를 의미한다.
도 2는 기준 영상 패치 주변의 사각형 검색 범위의 일례를 나타내는 도면이다.
도 1 및 도 2를 참조하면, 여기서 기준 영상 패치(201)란, 보간된 상위 해상도 영상에서 유사 패치 검색의 대상이 되는 영상 패치를 의미하며, 기준 영상 패치(201)를 기준으로 하여 입력 영상 및 하위 해상도 영상에서 유사 패치를 검색(202) 한다.
유사패치를 검색(202)함에 있어 연산 복잡도를 줄이기 위하여 도 2와 같이 입력 영상 및 하위 해상도 영상에 사각형의 검색 범위(203)를 두어 그 안에서 유사패치를 찾는 방법이 일반적으로 이용된다. 이때 사각형의 검색 범위(203)는 기준 영상 패치의 중심점과 공간적으로 인접한 곳에 위치하는 것이 일반적이다. 이러한 사각형의 검색범위(203)를 이용할 경우, 전체 영상을 검색 범위로 한 경우와 비교하여 그 연산량 줄어들지만 한정된 범위 내에서 유사 패치를 찾는다는 점에서 복원된 영상의 주관적 화질이 저하될 가능성이 있다.
특히, 유사패치를 검색(202)함에 있어서 상위 해상도와 하위 해상도 영상의 동일 사이즈 패치에 대하여 유사도를 측정하기 때문에, 영상의 엣지(edge)나 텍스쳐(texture) 영역에서 해상도 간 유사관계가 떨어지는 경우, 유사패치 검색 정확도가 크게 떨어질 수 있다.
도 3은 해상도 간 유사관계 변화의 일례를 설명하는 도면이다.
도 3을 참조하면, 영상의 영역에 따라 해상도 간 유사관계 달라지는 예시는 도 3과 같다. 파란 사각형은 엣지 및 텍스처 영역에서 같은 중심점을 가지는 동일 사이즈의 패치(301)이며, 붉은색 사각형은 평탄한 영역에서 같은 중심점을 가지는 동일 사이즈 패치(302)이다.
영상 내 평탄한(flat) 영역과는 달리, 엣지(edge)나 텍스처(texture) 영역의 경우 해상도 간 유사 관계가 큰폭으로 떨어질 수 있으며, 이러한 상황에서 기준 영상패치 위치를 중심으로 주변 지역에 대한 유사패치 검색을 수행하면 유사성이 떨어지는 영상 영역에 대하여 유사패치를 검색하므로, 부적합한 고주파 신호가 붙어 영상의 주관적 화질이 떨어질 수 있다.
도 3을 살펴보면 엣지 텍스처 영역 패치의 경우 건물 기둥의 반복되는 패턴의 일부를 나타내고 있다. 이때, 해상도 차이로 인하여 같은 중심점을 가지는 동일 면적 패치 안에 보여지는 패턴의 밀도가 다르게 되고, 이로 인하여 해상도 간 그라디언트 특성 또한 달라지게 된다. 여기서 그라디언트 특성(gradient characteristics)이란 해당 영역에 대한 그라디언트 강도 및 방향 정보를 의미한다. 그라디언트란 영상 밝기 값에 대한 미분값을 의미하는 것으로 엣지 검출, 사물 인식, 선명도 측정 등의 다양한 영상 처리 분야에서 활용되고 있다.
도 3의 예로 살펴 보면, 상위 해상도의 패치 안에는 45도와 135도 기울기를 가지는 엣지가 두 개 발견되는 반면 하위 해상도에서는 45도와 135도 기울기를 가지는 엣지가 각 두 개씩 총 네 개가 발견된다. 해당 하위 해상도 패치를 중심으로 그 인근 지역 패치를 살펴보아도 상위 해상도의 패치보다 평균적으로 많은 엣지를 포함하게 되며, 그 중 하나의 패치가 유사패치로 선정될 경우 부적합한 고주파 신호가 붙게 되어 주관적 화질에 영향을 줄 수 있다.
따라서, 본 발명에서는 이러한 엣지, 텍스쳐 영역에서의 적합한 고주파 신호 복원을 위해 그라디언트 기반의 유사패치 검색법을 적용하여 결과물 영상의 주관적 화질을 높일 수 있다.
도 4는 본 발명의 일 실시예에 따른 그라디언트 정보를 이용한 초해상도 영상 복원 장치의 영상 특성 분석부(400)를 나타내는 구성도이다.
도 4를 참조하면, 영상 특성 분석부(400)는 크게 그라디언트 분석부(410)와 검색 범위 결정부(420)를 포함한다.
그라디언트 분석부(410)는 상위 해상도 영상과 입력 혹은 하위 해상도 영상의 저주파 영역 영상을 수신 받아 영상들에 대한 그라디언트 분석을 수행하고 관련된 정보를 검색범위 결정부(420)에 전달하는 역할을 한다. 사람의 시각적 인지 특성 관점에서 엣지 및 텍스쳐 영역은 영상의 선명도를 판단하는데 큰 영향을 미치기 때문에, 해당 영역에 대한 적합한 고주파 신호 복원이 중요하다. 이에 기존의 공간적(spatial) 인접 후보들이 아닌 그라디언트 특성이 비슷한 후보들에 대하여 유사패치 검색을 수행함으로써 보다 적합한 고주파 신호를 복원하고자 하는 것이다.
그라디언트의 특성은 수학식 1 및 수학식2를 이용하여 산출할 수 있다.
Figure pat00002
Figure pat00003
여기서 a(x,y)는 그라디언트의 방향 정보를 의미하며 각도 형식으로 나타낼 수 있다. 상기의 p는 구성할 히스토그램 빈(bin)의 개수를 의미한다. 여기서 히스토그램 빈이란 그라디언트 각도 범위를 동일한 크기의 여러 구간으로 나눈 것을 의미 한다. 상기 p 에 큰 값을 넣을수록 세밀한 간격의 히스토그램이 생성 된다. 수학식 1의 결과로 나온 B(x,y) 값은 히스토그램 빈 값으로서, 이 값을 토대로 현재 그라디언트가 어느 히스토그램 빈에 포함될지 결정이 되며, b번째 히스토그램 빈에 해당 될 시 해당 빈에 그라디언트 크기(magnitude) 값인 m(x,y)를 축적시킨다.
상기의 계산 결과로 나온 H(x,y)b는 특정 이미지 블록(image block)의 그라디언트 특성 정보를 담고 있는 히스토그램으로, 해당 영역에 존재하는 그라디언트 방향들과 각 방향에서의 그라디언트 크기 정보를 가지고 있다.
여기서 이미지 블록이란 특정 크기를 가지는 픽셀들의 집합을 의미하며, 유사패치들 간 그라디언트 특성 비교가 용이하게 하기 위해, 초해상도 복원과정에서 사용되는 영상 패치 사이즈와 동일하게 설정할 수 있다.
도 5는 본 발명의 일 실시예에 따른 그라디언트 정보를 이용한 초해상도 영상 복원 장치의 그라디언트 특성 히스토그램을 가시화한 일례를 나타내는 도면이다.
도 4 및 도 5를 살펴보면, 각 이미지 블록 별로 그라디언트의 방향들이 나타나있으며, 밝게 나타나는 방향일수록 해당 이미지 블록에서 우세한 그라디언트 방향임을 의미한다.
그라디언트 분석부(410)에서 입력 받은 상위 해상도 영상, 입력 또는 하위 해상도의 저주파 영역 영상에 대하여 도5와 같이 원본 영상(501)으로부터 패치 별로 그라디언트 특성 히스토그램(502)이 생성되고 나면, 그 결과를 검색 범위 결정부(420)에 전달 한다.
검색 범위 결정부(420)는 유사패치 검색부(130)로부터 기준 영상 패치 좌표를 받아 해당 기준 영상 패치에 가장 적합한 유사패치 검색 후보들을 추려내어 유사패치 검색부(130)에 전달한다. 이때 유사패치 검색 후보 선정에 있어 그라디언트 분석부(410)로부터 입력 받은 그라디언트 정보 히스토그램을 이용 한다.
보다 자세히는, 검색 범위 결정부(420)는 그라디언트 분석부(410)로부터 수신한 상위 해상도 영상의 그라디언트 정보 히스토그램 중 기준 영상 패치 좌표에 해당하는 히스토그램을 추출하고, 이와 유사한 히스토그램을 가지는 패치들을 입력 또는 하위 해상도 저주파 영역 영상으로부터 선택한다. 이때, 히스토그램 간의 유사도 측정을 위해 수학식 3의 카이제곱 거리(Chi-Square Distance)등이 이용될 수 있다.
Figure pat00004
여기서 d(x,y)는 두 히스토그램 x와 y의 거리를 나타내며, 그 값이 작을수록 두 히스토그램의 유사도가 높은 것이다. 상기 k란 히스토그램을 구성하는 총 빈의 개수를 의미하며, xi와 yi는 x 히스토그램과 y 히스트그램에서의 i번째 빈 값을 의미한다.
상기 수학식3을 기반으로 히스토그램 유사도를 측정 후, 특정 임계치(threshold)를 넘지 않는 입력 또는 하위 해상도의 저주파 영역 패치들에 대해서는 기준 영상 패치와 유사한 그라디언트 특성을 가지는 것으로 간주하여 유사패치 검색부(130)에 검색 대상 범위로써 전달한다.
유사 패치 검색부(130)에서는 상위 해상도 영상의 기준 패치와 가장 유사한 패치를 검색범위 결정부(420)로부터 수신받은 검색 범위내에서 패치 단위로 탐색하게 되며, 이때 인텐시티(intensity) 기반으로 유사도를 측정할 수 있으며, 영상 내의 물체의 특징을 비교하는 특징(feature) 기반으로 유사도를 측정할 수도 있다.
도 6은 본 발명의 일 실시예에 따른 그라디언트 정보를 이용한 초해상도 영상 복원 장치의 영상 특성 분석부(600)의 다른 일례를 나타내는 구성도이다.
도 1 및 도 6을 참조하면, 영상 특성 분석부(600)는 크게 그라디언트 분석부(610), 영상 영역 분석부(620), 검색 범위 결정부(630)로 구성된다.
그라디언트 분석부(610)는, 도 4의 그라디언트 분석부(410)와 마찬가지로, 상위 해상도 영상과 입력 혹은 하위 해상도 영상의 저주파 영역 영상을 수신 받아 영상들에 대한 그라디언트 분석을 수행하고 관련된 정보를 검색범위 결정부(620)에 전달하는 역할을 한다.
검색 범위 결정부(630)는 유사패치 검색부(130)로부터 기준 영상 패치 좌표를 받아 해당 기준 영상 패치에 가장 적합한 유사패치 검색 후보들을 추려내어 유사패치 검색부(130)에 전달한다. 하지만 도 4의 검색 범위 결정부(420)와는 달리, 모든 영상 영역에 대하여 그라디언트 정보 기반으로 검색 범위를 지정하는 것이 아니라 영상의 영역에 따라 적응적으로 검색 범위를 지정한다.
비교적 뚜렷한 그라디언트 방향을 가지는 엣지나 텍스처 영역과는 달리, 평탄한 영역의 경우 뚜렷한 경향성이 없는 그라디언트 정보 히스토그램이 생성되며, 이를 기반으로 유사한 히스토그램을 가지는 유사패치 후보를 결정하게 되면 적합하지 않은 고주파 신호가 붙어 결과물 영상에 아티팩트로 나타날 수 있다. 따라서, 본 실시예의 검색 범위 결정부(630)는 영상 영역 분석부(620)로부터 상위 해상도 영상에 대한 영역 정보를 받아 기준 영상 패치의 영역을 파악하고 이에 알맞은 검색 범위를 지정한다. 여기서 영역 정보란 영상내의 평탄한 영역, 엣지 영역, 텍스쳐 영역을 구분한 것을 의미한다.
기준 영상 패치가 평탄한 영역에 속할 경우, 도 2의 기존 초해상도 기법과 같이 기준패치 인근 영역을 검색 범위로 지정하여 유사패치 검색부(130)에 전달하며, 기준 영상 패치가 텍스쳐 혹은 엣지 영역에 속할 경우 상기 실시예에서 제안한 방법과 같이 그라디언트 기반의 분석을 통해 검색 대상 범위를 지정한다.
영상 영역 분석부(620)에서는 상위 해상도 영상을 입력받아 영역별로 분리하는 과정이 수행된다. 이를 위해서 Difference Curvature 기반 방식인 수학식 4와 수학식 5를 이용할 수 있으며, 이외의 기타 영상 영역 구분 방법이 이용될 수도 있다.
Figure pat00005
Figure pat00006
여기서 ux , uy란 영상의 x, y 방향으로의 1차 미분을 수행한 영상을 의미하며, uxx, uyy, uzz란 영상의 xx, xy, yy 방향으로 2차 미분을 수행한 영상을 의미한다. 상기 식에서 uηη과 uεε값이 동시에 큰 경우 텍스쳐 영역으로 구분되며, uηη 값은 크나 uεε값이 작을 경우 엣지 영역으로 구분된다. 그 이외의 경우에는 평탄한 영역으로 구분된다. 상기 식에서 uηη과 uεε값에 대한 특정 임계치를 지정하고 그를 기준으로 대소를 구분함으로써, 영상의 각 픽셀이 어느 영역에 속하는지 판별할 수 있다.
상기 유사패치 검색과정 이후 상위 해상도 고주파 영역 복원부(150)에서는 선택된 입력 해상도 및 하위 해상도 저주파 영역의 유사패치에 상응하는 고주파 영상패치를 이용하여 상위해상도의 고주파 영역을 복원한다. 이 과정에서 유사패치 검색부(130)가 하나의 유사패치를 선정한 경우에는 그에 상응하는 고주파 영상패치를 이용하며, 여러 유사패치에 대하여 가중치가 주어진 경우에는 상응 고주파 영상패치에 같은 가중치를 적용 후 조합하여 상위 해상도 고주파 영역 복원에 사용한다.
유사패치 검색부(130)에서 상위 해상도 영상을 패치 단위로 분할할 시, 패치간의 중첩되는 영역이 있게 패치를 분할 후 그에 상응하는 유사 패치를 검색하였다면 복원된 상위 해상도 고주파 영역 패치들 간에도 중첩된 영역이 존재한다. 이 경우 상위 해상도 고주파 영역 복원부(150)에서는 후처리 단계를 통하여 패치들을 조합하여 고해상도 영상으로 복원한다. 예를 들어 후처리로는 패치들 간의 중첩되는 영역에 대한 유사도 기반 가중치 평균값 처리를 사용할 수 있다.
주파수 영역 융합부(160)에서 저주파 영상 패치와 복원된 고주파 영상패치를 조합하여 공간영역(spatial domain)의 패치를 생성한다.
배경 투사부(170)에서는 복원된 패치를 하위 해상도로 다운샘플링 하여 하위 해상도 패치와의 차분(residual)을 파악하고 그 차이 값을 업스케일링 하여 복원 패치에 적용하는 배경 투사(backward projection) 작업이 이루어진다. 보다 정밀한 복원을 위해서 반복적 배경투사(iterative backward projection)을 사용할 수 있다. 배경투사가 수행된 이후에 그 결과로서 최종 초해상도 영상이 나온다.
상기 초해상도 영상 복원 방법 및 장치를 계층적으로 반복 적용하여 입력영상의 해상도를 높일 수 있다. 예를 들어 입력 영상을 상기 방법을 이용하여 1.25배씩 3번 수행하여 해상도를 2배로 높일 시, 해상도를 그냥 2배로 높이는 것과 비교하여 해상도 간 패치들의 유사도가 높아지게 되므로 보다 정확하고 적절한 고주파 신호 복원이 가능해진다. 때문에 한번에 해상도를 2배로 높인 것에 비하여 복원된 영상의 주관적 화질이 좋을 수 있다.
도 7은 본 발명의 일 실시예에 따른 그라디언트 정보를 이용한 초해상도 영상 복원 장치의 계층적 초해상도 영상 복원 방법의 과정은 설명하는 도면이다.
도 1 및 도 7을 참조하면, 본 발명의 일 실시예에 따른 그라디언트 정보를 이용한 초해상도 영상 복원 장치의 계층적 초해상도 영상 복원 방법의 과정은 다음과 같다. 배경 투사부(170)에서 출력되는 복원 영상은 다시 도 1의 입력 영상이 되어 주파수 영역 분할부(110)에서 저주파 영역과 고주파 영역으로 분할이 되며, 해상도 변환부(120) 에서 상위 해상도 및 하위 해상도 영상으로 변환 한다.
생성된 상위 해상도 영상을 기준으로 유사패치 검색부(130)에서는 입력 해상도 및 하위 해상도 저주파 영역 영상 패치 들에 대한 유사 패치 검색이 이루어지며 상위 해상도 고주파 영역 복원부(150)에서는 그에 상응하는 고주파 영역 영상 패치를 이용하여 상위 해상도의 고주파 영상 패치를 복원한다. 그 후 주파수 영역 융합부(160)와 배경 투사부(170) 를 통하여 복원된 영상은 다시 도1의 입력 영상으로 입력이 되며, 목표 해상도에 도달할 때까지 상기 과정이 반복 된다.
상술한 내용을 포함하는 본 발명은 컴퓨터 프로그램으로 작성이 가능하다. 그리고 상기 프로그램을 구성하는 코드 및 코드 세그먼트는 당분야의 컴퓨터 프로그래머에 의하여 용이하게 추론될 수 있다. 또한, 상기 작성된 프로그램은 컴퓨터가 읽을 수 있는 기록매체 또는 정보저장매체에 저장되고, 컴퓨터에 의하여 판독되고 실행함으로써 본 발명의 방법을 구현할 수 있다. 그리고 상기 기록매체는 컴퓨터가 판독할 수 있는 모든 형태의 기록매체를 포함한다.
이상 바람직한 실시예를 들어 본 발명을 상세하게 설명하였으나, 본 발명은 전술한 실시예에 한정되지 않고, 본 발명의 기술적 사상의 범위 내에서 당분야에서 통상의 지식을 가진자에 의하여 여러 가지 변형이 가능하다.
110: 주파수 영역 분할부 120: 해상도 변환부
130: 유사패치 검색부 140: 영상 특성 분석부
150: 상위 해상도 고주파 영역 복원부
160: 주파수 영역 융합부 170: 배경 투사부

Claims (1)

  1. 입력 영상을 주파수 영역별로 분할하는 주파수 영역 분할부;
    입력 영상에 대해 업샘플링(upsampling) 또는 다운샘플링(downsampling) 과정을 수행하는 해상도 변환부;
    상위 해상도 영상과 입력 영상 및 하위 해상도 영상의 저주파 영역 영상을 패치(patch) 단위로 분할하여 유사패치를 검색하는 유사패치 검색부;
    저주파 영역 영상을 분석하여 그라디언트 쩡보를 생성하고, 그라디언트 정보에 기초하여 검색 범위를 지정하는 영상 특성 분석부;
    선택된 입력 해상도 및 하위 해상도 저주파 영역의 유사패치에 상응하는 고주파 영상패치를 이용하여 상위해상도의 고주파 영역을 복원하는 상위 해상도 고주파 영역 복원부;
    저주파 영상 패치와 복원된 고주파 영상패치를 조합하여 공간영역(spatial domain)의 패치를 생성하는 주파수 영역 융합부; 및
    복원된 패치를 하위 해상도로 다운샘플링 하여 하위 해상도 패치와의 차분(residual)을 파악하고 그 차이 값을 업스케일링 하여 복원 패치에 적용하는 배경 투사(backward projection)하는 배경 투사부;
    를 포함하는 그라디언트 정보를 이용한 초해상도 영상 복원 장치.
KR1020160007680A 2016-01-21 2016-01-21 그라디언트 정보를 이용한 고해상도 영상 생성 장치 및 방법 KR20170087734A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020160007680A KR20170087734A (ko) 2016-01-21 2016-01-21 그라디언트 정보를 이용한 고해상도 영상 생성 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160007680A KR20170087734A (ko) 2016-01-21 2016-01-21 그라디언트 정보를 이용한 고해상도 영상 생성 장치 및 방법

Publications (1)

Publication Number Publication Date
KR20170087734A true KR20170087734A (ko) 2017-07-31

Family

ID=59419102

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160007680A KR20170087734A (ko) 2016-01-21 2016-01-21 그라디언트 정보를 이용한 고해상도 영상 생성 장치 및 방법

Country Status (1)

Country Link
KR (1) KR20170087734A (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200101713A (ko) * 2019-02-20 2020-08-28 숭실대학교산학협력단 영상 복원 장치 및 방법
WO2021221250A1 (ko) * 2020-04-29 2021-11-04 삼성전자 주식회사 영상을 스케일링하는 전자 장치 및 그 동작 방법
CN116664677A (zh) * 2023-05-24 2023-08-29 南通大学 一种基于超分辨率重建的视线估计方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200101713A (ko) * 2019-02-20 2020-08-28 숭실대학교산학협력단 영상 복원 장치 및 방법
WO2021221250A1 (ko) * 2020-04-29 2021-11-04 삼성전자 주식회사 영상을 스케일링하는 전자 장치 및 그 동작 방법
KR20210133802A (ko) * 2020-04-29 2021-11-08 삼성전자주식회사 영상을 스케일링하는 전자 장치 및 그 동작 방법
CN116664677A (zh) * 2023-05-24 2023-08-29 南通大学 一种基于超分辨率重建的视线估计方法

Similar Documents

Publication Publication Date Title
Bashir et al. A comprehensive review of deep learning-based single image super-resolution
CN111047516A (zh) 图像处理方法、装置、计算机设备和存储介质
JP2013518336A (ja) 入力画像から増加される画素解像度の出力画像を生成する方法及びシステム
JP2003018398A (ja) ピクセル画像から超解像度画像を生成する方法
JP2007000205A (ja) 画像処理装置及び画像処理方法並びに画像処理プログラム
KR20150093993A (ko) 초해상도 영상 복원 방법 및 장치
CN103020898A (zh) 序列虹膜图像超分辨率重建方法
US20160241884A1 (en) Selective perceptual masking via scale separation in the spatial and temporal domains for use in data compression with motion compensation
KR20170087734A (ko) 그라디언트 정보를 이용한 고해상도 영상 생성 장치 및 방법
CN108335265B (zh) 一种基于样本学习的快速图像超分辨率重建方法及装置
Yang et al. Fast multisensor infrared image super-resolution scheme with multiple regression models
Liu et al. Arbitrary-scale super-resolution via deep learning: A comprehensive survey
Xian et al. Single image super-resolution via internal gradient similarity
Sun et al. RAMFAE: a novel unsupervised visual anomaly detection method based on autoencoder
Liu et al. Gradient prior dilated convolution network for remote sensing image super resolution
KR20170087731A (ko) 초해상도 영상 복원 장치 및 방법
Maalouf et al. Image super-resolution, a state-of-the-art review and evaluation
Mandal et al. Super-resolving a single intensity/range image via non-local means and sparse representation
Yang et al. DGRN: Image super-resolution with dual gradient regression guidance
Nguyen et al. Super resolution face image based on locally linear embedding and local correlation
Trede et al. Magnification of Label Maps With a Topology-Preserving Level-Set Method
Vishnukumar et al. Super-resolution for remote sensing images using content adaptive detail enhanced self examples
Li et al. Perceptual adversarial networks with a feature pyramid for image translation
Jiang et al. Super-resolution reconstruction based on structure tensor's eigenvalue and classification dictionary
Zhang et al. Multi-resolution image