KR101037023B1 - 클러스터링 기반 고주파 합성을 이용한 고 해상도 보간 방법 및 장치 - Google Patents

클러스터링 기반 고주파 합성을 이용한 고 해상도 보간 방법 및 장치 Download PDF

Info

Publication number
KR101037023B1
KR101037023B1 KR1020090094265A KR20090094265A KR101037023B1 KR 101037023 B1 KR101037023 B1 KR 101037023B1 KR 1020090094265 A KR1020090094265 A KR 1020090094265A KR 20090094265 A KR20090094265 A KR 20090094265A KR 101037023 B1 KR101037023 B1 KR 101037023B1
Authority
KR
South Korea
Prior art keywords
patch
training set
resolution
low resolution
image
Prior art date
Application number
KR1020090094265A
Other languages
English (en)
Other versions
KR20110037027A (ko
Inventor
송병철
정신철
Original Assignee
인하대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 인하대학교 산학협력단 filed Critical 인하대학교 산학협력단
Priority to KR1020090094265A priority Critical patent/KR101037023B1/ko
Publication of KR20110037027A publication Critical patent/KR20110037027A/ko
Application granted granted Critical
Publication of KR101037023B1 publication Critical patent/KR101037023B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/015—High-definition television systems
    • H04N7/0152—High-definition television systems using spatial or temporal subsampling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details

Landscapes

  • Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Editing Of Facsimile Originals (AREA)
  • Image Processing (AREA)

Abstract

고 해상도 보간 방법 및 장치가 개시된다. 고 해상도 보간 방법은 초기 트레이닝 세트를 구축하는 단계와, 상기 구축된 초기 트레이닝 세트를 감축하는 단계 및 상기 감축된 트레이닝 세트에서 최적의 고 해상도 패치를 채택하여 입력된 저 해상도 패치와 합성하는 단계를 포함한다.
해상도, 보간, 패치, 클러스터링, 합성

Description

클러스터링 기반 고주파 합성을 이용한 고 해상도 보간 방법 및 장치{HIGH RESOLUTION INTERPOLATION METHOD AND APPARATUS USING HIGH FREQUENCY SYNTHESIS BASED ON CLUSTERING}
본 발명의 실시예들은 클러스터링 기반 고주파 합성을 이용한 고 해상도 보간 방법 및 장치에 관한 것으로, 더욱 상세하게는 트레이닝 세트(training set) 내 패치 개수를 줄여 적은 양의 패치를 가지고 클러스터링 기반 고주파 합성을 이용하여 고 해상도 보간을 수행하는 방법 및 장치에 관한 것이다.
영상을 확장하거나 축소하는 스케일링(scaling) 기법은 디지털 TV(digital television)이나 디지털 카메라에서 매우 중요한 기술로 자리잡고 있다. 최근 디스플레이 화면의 크기 및 해상도가 급격히 증가함에 따라 스케일링 기법에 대한 연구도 단순한 확장이나 축소가 아닌 고화질을 인공적으로 만드는 방향으로 진행되고 있는 실정이다.
요즘 HD(High Definition) TV가 대세를 이루고 있으며, 상당 수의 영상 콘텐츠(contents)가 SD(Standard Definition)급인 경우가 많다. 이러한 SD급 콘텐츠는 HDTV로 시청할 경우 SD에서 HD로 스케일링(SD-to-HD scaling)하는 영상 보간을 수행해야 한다. 또한 디지털 카메라로 촬영된 저 해상도 영상을 주밍(zooming)해서 고 해상도로 보는 경우에도 영상 보간이 필요하다. 그러나, 원래 고 해상도로 촬영된 영상 대비 근접한 화질을 보이는 보간 영상을 만드는 것은 어렵기 때문에 많은 연구가 진행되고 있는 실정이다.
여러 보간 기법들 중에서 단일 혹은 복수의 저 해상도 영상들로부터 고 해상도 영상을 얻는 super-resolution 기법이 각광을 받고 있다. 그러나, 아직까지 실용적이며 완성도가 높은 super-resolution 기법은 찾아보기 힘든 실정이다.
본 발명의 일실시예는 학습 단계에서 다양한 저 해상도 및 저 해상도에 대응하는 고 해상도 영상들로부터 고 해상도 합성을 위한 고주파 정보를 추출하고, 블록 단위 저주파-고주파 쌍 형태로 사전에 저장되며, 각 입력 저 해상도 블록에 대해 적합한 고주파 합성 정보를 사전(dictionary)으로부터 검색하여 합성 정보를 이용하여 고 해상도 블록을 생성하는 고 해상도 보간 방법 및 장치를 제공한다.
또한 본 발명의 일실시예는 학습 단계에서 생성된 트레이닝 세트에 저장되는 패치의 개수를 줄여서 메모리 요구와 연산량의 문제를 해결하여 스케일링 속도를 개선하고, 아티팩트 없는 합리적인 성능을 제공할 수 있다.
본 발명의 일실시예에 따른 고 해상도 보간 방법은 초기 트레이닝 세트를 구축하는 단계와, 상기 구축된 초기 트레이닝 세트를 감축하는 단계 및 상기 감축된 트레이닝 세트에서 최적의 고 해상도 패치를 채택하여 입력된 저 해상도 패치와 합성하는 단계를 포함한다.
본 발명의 일실시예에서 상기 초기 트레이닝 세트를 구축하는 단계는 고 해상도 영상을 블러링(blurring) 및 서브-샘플링(sub-sampling)하여 저 해상도 영상을 생성하는 단계와, 상기 생성된 저 해상도 영상에 선형 스케일링(linear scaling)을 적용하여 업-스케일링(up-scaling)된 저주파 영상을 생성하는 단계 및 고주파 성분을 예측하기 위한 제1 영상과 잃어버린 고주파 성분을 의미하는 제2 영 상으로부터 저 해상도 패치와 고 해상도 패치를 쌍(pair)으로 추출하여 트레이닝 세트로 저장하는 단계를 포함할 수 있다.
본 발명의 일실시예에서 상기 트레이닝 세트로 저장하는 단계는 상기 제1 영상에 최대 응답 필터를 적용한 후 크기가 큰 에지 영역의 원시 패치(primitive patch)를 채택하여 상기 저 해상도 패치와 상기 고 해상도 패치를 추출하여 쌍으로 트레이닝 세트로 저장하라 수 있다.
본 발명의 일실시예에서 상기 트레이닝 세트를 감축하는 단계는 상기 고 해상도 패치 및 저 해상도 패치의 쌍들을 상기 저 해상도 패치를 기준으로 클러스터링(clustering)하는 단계 및 상기 클러스터링 결과에 따라 클러스터(cluster)의 중심 값들을 신규 저 해상도 패치들로 구성하며, 상기 신규 저 해상도 패치들에 대응되는 고 해상도 패치들을 구성하는 단계를 포함할 수 있다.
본 발명의 일실시예에서 상기 저 해상도 패치와 합성하는 단계는 상기 감축된 트레이닝 세트에서 상기 입력 저 해상도 패치와 거리가 가장 가까운 저 해상도 패치를 검색하여 고주파에 대응하는 고 해상도 패치를 상기 입력 저 해상도 패치와 합성할 수 있다.
본 발명의 일실시예에 따른 고 해상도 보간 장치는 초기 트레이닝 세트를 구축하는 트레이닝 세트 구축부와, 상기 구축된 초기 트레이닝 세트를 감축하는 트레이닝 세트 감축부 및 상기 감축된 트레이닝 세트에서 최적의 고 해상도 패치를 채택하여 입력된 저 해상도 패치와 합성하는 합성부를 포함할 수 있다.
본 발명의 일실시예에서 상기 트레이닝 세트 구축부는 고 해상도 영상을 블 러링(blurring) 및 서브-샘플링(sub-sampling)하여 저 해상도 영상을 생성하고, 상기 생성된 저 해상도 영상에 선형 스케일링(linear scaling)을 적용하여 업-스케일링(up-scaling)된 저주파 영상을 생성하는 영상 생성부 및 고주파 성분을 예측하기 위한 제1 영상과 잃어버린 고주파 성분을 의미하는 제2 영상으로부터 저 해상도 패치와 고 해상도 패치를 쌍(pair)으로 추출하여 트레이닝 세트로 저장하는 저장부를 포함할 수 있다.
본 발명의 일실시예에서 상기 저장부는 상기 제1 영상에 최대 응답 필터를 적용한 후 크기가 큰 에지 영역의 원시 패치(primitive patch)를 채택하여 상기 저 해상도 패치와 상기 고 해상도 패치를 쌍으로 추출하여 트레이닝 세트로 저장할 수 있다.
본 발명의 일실시예에서 상기 트레이닝 세트 감축부는 상기 고 해상도 패치 및 저 해상도 패치의 쌍들을 상기 저 해상도 패치를 기준으로 클러스터링(clustering)하고, 상기 클러스터링 결과에 따라 클러스터의 중심 값들이 신규 저 해상도 패치들로 구성하며, 상기 신규 저 해상도 패치들에 대응되는 고 해상도 패치들을 구성할 수 있다.
본 발명의 일실시예에서 상기 합성부는 상기 감축된 트레이닝 세트에서 상기 입력 저 해상도 패치와 거리가 가장 가까운 저 해상도 패치를 검색하여 고주파에 대응하는 고 해상도 패치를 상기 입력 저 해상도 패치와 합성할 수 있다.
본 발명의 일실시예에 따르면, 가능한 고주파 정보의 손실 없이 효과적으로 트레이닝 세트의 패치의 개수를 줄임으로써 적은 패치의 개수로도 성능을 최대한 유지할 수 있다.
또한 본 발명의 일실시예에 따르면, 트레이닝 세트에 저장되는 패치의 개수를 줄여서 메모리 요구와 연산량을 감소시켜 스케일링 속도를 개선할 수 있다.
이하에서, 본 발명에 따른 실시예들을 첨부된 도면을 참조하여 상세하게 설명한다. 그러나, 본 발명이 실시예들에 의해 제한되거나 한정되는 것은 아니다. 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다.
도 1은 본 발명의 일실시예에 따른 고 해상도 보간 장치의 구성을 나타내는 도면이다.
도 1을 참조하면, 고 해상도 보간 장치(100)는 트레이닝 세트 구축부(110), 트레이닝 세트 감축부(120) 및 합성부(130)를 포함한다.
트레이닝 세트 구축부(110)는 초기 트레이닝 세트를 구축한다. 즉, 트레이닝 세트 구축부(110)는 트레이닝 이미지들을 입력 받고, 상기 입력된 트레이닝 이미지들을 학습(learning)을 통해 다양한 저 해상도 및 고 해상도 영상들을 채택하고, 채택된 저 해상도 영상 및 고해상도 영상으로부터 패치를 추출하여 초기 트레이닝 세트를 구축한다.
도 2는 도 1에 도시된 트레이닝 세트 구축부의 구체적인 구성에 대한 일례를 나타내는 도면이다.
도 2를 참조하면, 트레이닝 세트 구축부(110)는 영상 생성부(210) 및 저장 부(220)를 포함한다.
영상 생성부(210)는 고 해상도 영상을 블러링(blurring) 및 서브-샘플링(sub-sampling)하여 저 해상도 영상을 생성하고, 상기 생성된 저 해상도 영상에 선형 스케일링(linear scaling)을 적용하여 업-스케일링(up-scaling)된 저주파 영상을 생성한다.
저장부(220)는 고주파 성분을 예측하기 위한 제1 영상과 잃어버린 고주파 성분을 의미하는 제2 영상으로부터 저 해상도 패치와 고 해상도 패치를 쌍(pair)으로 추출하여 트레이닝 세트로 저장한다.
도 3은 본 발명의 일실시예에 따른 초기 트레이닝 세트의 구축 과정을 나타내는 도면이다.
도 3을 참조하면, 영상 생성부(210)는 고 해상도 영상(310)을 저주파 통과 필터(LPF: Low Pass Filter)를 통해 블러링하고, 서브-샘플링하여 저 해상도 영상(320)을 생성할 수 있다. 그리고, 영상 생성부(210)는 저 해상도 영상(320)을 이선형 보간(bilinear interpolation)과 같은 선형 스케일링을 적용하여 업-스케일링된 저주파 영상(330)을 생성할 수 있다. 그리고, 영상 생성부(210)는 고 해상도 영상(310)에서 업-스케일링된 저 해상도 영상(330)을 감산하는 합성(340)을 통해 고주파 계층(high frequency layer) 영상(350)을 생성할 수 있다. 그리고, 영상 생성부(210)는 업-스케일링된 저 해상도 영상(330)을 라플라시안(Laplacian)을 적용하여 중간 주파수 계층(Mid-frequency layer) 영상(360)을 생성할 수 있다.
저장부(220)는 고주파 성분을 예측하기 위해서 업-스케일링된 저주파 영 상(330)을 하이 패스 필터링(high pass filtering)시킨 영상과 잃어버린 고주파 성분을 의미하는 영상으로부터 각각 저 해상도(LR) 패치와 고 해상도(HR) 패치를 추출하여 쌍으로 트레이닝 세트(370)로 저장할 수 있다. 일례로 저장부(220)는 고주파 계층 영상(350)으로부터 고 해상도(HR) 패치를 추출하고, 중간 주파수 계층 영상(360)으로부터 저 해상도(LR) 패치를 추출하여 상기 추출된 고 해상도 패치와 상기 추출된 저 해상도 패치를 쌍으로 대응시켜 트레이닝 세트(370)로 저장할 수 있다. 다른 일례로 저장부(220)는 상기 제1 영상에 최대 응답 필터(maximum response)를 적용한 후 크기가 큰 에지 영역의 원시 패치(primitive patch)만을 채택하여 상기 저 해상도 패치와 상기 고 해상도 패치를 추출하여 쌍으로 트레이닝 세트로 저장할 수 있다.
이와 같이, 트레이닝 세트 구축부(110)는 업-스케일링된 저주파 영상에 최대 응답 필터를 적용한 후 크기가 큰 에지 영역의 원시 패치만을 채택함으로써 고주파 생성에 중요한 패치만을 채택하여 속도 개선 효과를 가져올 수 있다. 또한 트레이닝 세트 구축부(110)는 저 해상도와 고 해상도 패치 사이의 상관성이 크기 때문에서 고주파 생성 효과를 향상시킬 수 있다.
아울러, 트레이닝 세트 구축부(110)는 효과적인 학습을 위해 가능한 다양한 저 해상도 및 고 해상도 영상을 채택하고, 채택된 저 해상도 및 고 해상도 영상들로부터 패치를 추출할 때 주변 블록과의 부드러운 연결을 위해 가로와 세로 각각 1화소 이상의 적당한 간격을 두고 겹치게 N×N 크기의 패치들을 추출할 수 있다.
트레이닝 세트 감축부(120)는 상기 구축된 초기 트레이닝 세트를 감축한다. 트레이닝 세트 감축부(120)는 상기 고 해상도 패치 및 저 해상도 패치의 쌍들을 상기 저 해상도 패치를 기준으로 클러스터링(clustering)하고, 상기 클러스터링 결과에 따라 클러스터의 저 해상도 중심 값들 및 고 해상도 중심값들이 새로운 저 해상도 패치들 및 고해상도 패치들이 된다. 일례로 트레이닝 세트 감축부(120)는 트레이닝 세트 구축부(120)에 의해 구축된 초기 트레이닝 세트의 크기를 효과적으로 줄이기 위해서 저 해상도 패치 및 고 해상도 패치 쌍들을 k-means 클러스터링을 적용하여 유사한 패치들을 그룹핑할 수 있다. 이때, 상기 클러스터링은 저 해상도 패치를 기준으로 진행하여 유사한 패치들을 하나의 그룹으로 묶으며, 그 중심값 또는 평균값이 상기 그룹을 대표하는 새로운 패치가 된다. K-means clustering이 아닌 다른 방식의 clustering 방법들을 이용할 수 있음은 물론이다.
이와 같이, 트레이닝 세트 감축부(120)는 상기 구축된 초기 트레이닝 세트에서 유사한 패치들을 하나의 그룹으로 클러스터링하고, 클러스터링된 중심값 또는 평균값을 대표 패치로 하여 전체 패치의 개수를 줄일 수 있다. 또한 트레이닝 세트 감축부(120)는 유사한 패치들끼리 클러스터링함으로써 고주파 성분의 손실이 최소가 되게 하면서 효과적으로 패치의 수를 줄이고, 동시에 다중(multiple) 패치 결합으로 아티팩트(artifact)의 억제 효과를 얻을 수 있다.
합성부(130)는 상기 감축된 트레이닝 세트에서 최적의 고 해상도 패치를 채택하여 입력된 저 해상도 패치와 합성한다. 즉, 합성부(130)는 저 해상도 이미지를 입력 받고, 상기 입력된 저 해상도 이미지를 트레이닝 세트 감축부(120)에 의해 감축된 트레이닝 세트에 포함된 고 해상도 패치들 중 최적의 고 해상도 패치를 채 택하고, 상기 채택된 최적의 저 해상도 패치와 합성한다.
일례로 합성부(130)는 상기 감축된 트레이닝 세트에서 상기 입력된 저 해상도 이미지와 거리가 가장 가까운 저 해상도 패치를 찾아 고주파에 대응하는 고 해상도 패치를 상기 입력된 저 해상도 이미지와 합성할 수 있다.
도 4는 본 발명의 일실시예에 따른 고 해상도 보간 장치에서의 고주파 합성 과정을 나타내는 도면이다.
도 4를 참조하면, 합성부(130)는 저 해상도 이미지(410)을 입력 받고, 입력된 저 해상도 이미지(410)을 업-스케일링하고, 업-스케일링된 이미지(420)를 라플라시안 연산을 수행하고, 라플라시안 연산된 이미지(430)의 입력 저 해상도 패치와 가장 근접한 저 해상도 패치를 트레이닝 세트(440)에서 검색한다. 일례로 합성부(130)는 상기 입력 저 해상도 패치와 L2-norm 거리가 가장 가까운 저 해상도 패치를 검색하고, 상기 검색된 저 해상도 패치에 대응되는 고 해상도 패치를 상기 입력 저 해상도 패치와 합성할 수 있다.
이와 같이, 본 발명의 일실시예에 따른 고 해상도 보간 장치(100)는 입력 저 해상도 영상에서 추출된 모든 패치들에 대해 고주파 합성 과정을 통해서 최종적으로 고주파 성분이 향상된 고화질의 고 해상도 영상을 생성할 수 있다.
도 5는 본 발명의 일실시예에 따른 고 해상도 보간 방법의 동작 흐름을 나타내는 도면이다.
도 5를 참조하면, 단계(S510)에서 고 해상도 보간 장치는 초기 트레이닝 세 트를 구축한다. 즉, 단계(S510)에서 상기 고 해상도 보간 장치는 복수 개의 트레이닝 이미지들을 이용하여 저 해상도 패치 및 고 해상도 패치의 쌍으로 이루어지는 초기 트레이닝 세트를 구축한다.
도 6은 본 발명의 일실시예에 따른 초기 트레이닝 세트 구축 단계를 구체화한 일례를 나타내는 도면이다.
도 6을 참조하면, 단계(S610)에서 상기 고 해상도 보간 장치는 고 해상도 영상을 블러링(blurring) 및 서브-샘플링(sub-sampling)하여 저 해상도 영상을 생성한다. 일례로 단계(S610)에서 상기 고 해상도 보간 장치는 상기 고 해상도 영상을 저주파 통과 필터를 통해 블러링 및 서브-샘플링하여 저 해상도 영상을 생성할 수 있다.
단계(S620)에서 상기 고 해상도 보간 장치는 상기 생성된 저 해상도 영상에 선형 스케일링(linear scaling)을 적용하여 업-스케일링(up-scaling)된 저주파 영상을 생성한다.
단계(S630)에서 상기 고 해상도 보간 장치는 고주파 성분을 예측하기 위한 제1 영상과 잃어버린 고주파 성분을 의미하는 제2 영상으로부터 저 해상도 패치와 고 해상도 패치를 쌍(pair)으로 추출하여 트레이닝 세트로 저장한다. 일례로 단계(S630)에서 상기 고 해상도 보간 장치는 상기 제1 영상에 최대 응답 필터를 적용한 후 크기가 큰 에지 영역의 원시 패치(primitive patch)를 채택하여 저 해상도 패치와 고 해상도 패치를 쌍으로 추출하고, 상기 추출된 저 해상도 패치와 고해상도 패치를 대응시켜 초기 트레이닝 세트로 저장할 수 있다. 이때 상기 고 해상도 보간 장치는 효과적인 학습을 위해서 가능한 다양한 저 해상도 및 고 해상도 영상들을 채택하고, 채택된 영상들로부터 패치를 추출할 때 주변 블록과의 부드러운 연결을 위해 가로와 세로 각각 1화소 이상의 적당한 간격을 두고 겹치게 N×N 크기의 패치들을 추출할 수 있다.
단계(S520)에서 상기 고 해상도 보간 장치는 상기 구축된 초기 트레이닝 세트를 감축한다. 즉, 단계(S520)에서 상기 고 해상도 보간 장치는 상기 구축된 초기 트레이닝 세트에서 유사한 패치들을 클러스터링하여 클러스터의 중심 값을 대표 패치로 하여 상기 초기 트레이닝 세트에서 전체 패치들의 수를 감축한다.
도 7은 본 발명의 일실시예에 따른 트레이닝 세트 감축 단계를 구체화한 일례를 나타내는 도면이다.
도 7을 참조하면, 단계(S710)에서 상기 고 해상도 보간 장치는 상기 고 해상도 패치 및 저 해상도 패치의 쌍들을 상기 저 해상도 패치를 기준으로 클러스터링(clustering)한다. 즉, 단계(S710)에서 상기 고 해상도 보간 장치는 상기 고 해상도 패치 및 저 해상도 패치의 쌍들을 상기 저 해상도 패치를 기준으로 클러스터링(clustering)을 진행하여 유사한 패치들을 하나의 그룹으로 묶는다. 일례로 단계(S710)에서 상기 고 해상도 보간 장치는 상기 고 해상도 패치 및 저 해상도 패치의 쌍들을 기준 저해상도 패치와 비교하여 유사한 경우 하나의 그룹으로 묶을 수 있다.
단계(S720)에서 상기 고 해상도 보간 장치는 상기 클러스터링 결과에 따라 클러스터(cluster)의 중심 값들을 신규 저 해상도 패치들로 구성하며, 상기 저 해 상도 패치들에 대응되는 고 해상도 패치들을 구성한다. 즉, 단계(S720)에서 상기 고 해상도 보간 장치는 상기 클러스터링 결과에 따라 클러스터(cluster)의 중심 값들 또는 평균 값들을 유사한 저 해상도 패치들을 대표할 수 있는 신규 저 해상도 패치들로 구성하고, 상기 신규 저 해상도 패치들에 대응되는 고 해상도 패치들을 구성한다. 일례로 즉, 단계(S720)에서 상기 고 해상도 보간 장치는 상기 클러스터링 결과에 따라 유사한 n개의 패치들을 1개의 클러스터로 묶은 경우, 클러스터(cluster)의 중심 값 또는 평균 값을 상기 클러스터링 결과에 따라 n개의 유사한 클러스터를 대표할 수 있는 1개의 신규 저 해상도 패치로 구성함으로써 n개의 유사한 패치들을 1개의 패치로 줄일 수 있다.
이와 같이, 본 발명의 일실시예에 따른 고 해상도 보간 방법은 유사한 패치들끼리 묶음으로써 고주파 성분의 손실이 최소가 되게 하면서 효과적으로 패치의 개수를 줄일 수 있고, 동시에 다중 패치 결합으로 아티팩트의 억제 효과를 얻을 수 있다.
단계(S530)에서 상기 고 해상도 보간 장치는 상기 감축된 트레이닝 세트에서 최적의 고 해상도 패치를 채택하여 입력된 저 해상도 패치를 합성한다. 즉, 단계(S530)에서 상기 고 해상도 보간 장치는 상기 감축된 트레이닝 세트에서 입력된 저 해상도 이미지에 의한 입력 저 해상도 패치와 가장 근접한 저 해상도 패치를 검색하고, 상기 검색된 저 해상도 패치에 대응되는 고 해상도 패치를 채택하여 상기 입력 저 해상도 패치와 합성한다.
이와 같이, 본 발명의 일실시예에 따른 고 해상도 보간 방법은 입력된 저 해상도 영상에서 추출된 모든 패치들에 대해 고주파 합성 과정을 통해 최종적으로 고주파 성분이 향상된 고화질의 고 해상도 영상을 얻을 수 있다.
이상과 같이 본 발명에서는 구체적인 구성 요소 등과 같은 특정 사항들과 한정된 실시예 및 도면에 의해 설명되었으나 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.
따라서, 본 발명의 사상은 설명된 실시예에 국한되어 정해져서는 아니되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등하거나 등가적 변형이 있는 모든 것들은 본 발명 사상의 범주에 속한다고 할 것이다.
도 1은 본 발명의 일실시예에 따른 고 해상도 보간 장치의 구성을 나타내는 도면이다.
도 2는 도 1에 도시된 트레이닝 세트 구축부의 구체적인 구성에 대한 일례를 나타내는 도면이다.
도 3은 본 발명의 일실시예에 따른 초기 트레이닝 세트의 구축 과정을 나타내는 도면이다.
도 4는 본 발명의 일실시예에 따른 고 해상도 보간 장치에서의 고주파 합성 과정을 나타내는 도면이다.
도 5는 본 발명의 일실시예에 따른 고 해상도 보간 방법의 동작 흐름을 나타내는 도면이다.
도 6은 본 발명의 일실시예에 따른 초기 트레이닝 세트 구축 단계를 구체화한 일례를 나타내는 도면이다.
도 7은 본 발명의 일실시예에 따른 트레이닝 세트 감축 단계를 구체화한 일례를 나타내는 도면이다.
<도면의 주요 부분에 대한 부호의 설명>
100: 고 해상도 보간 장치
110: 트레이닝 세트 구축부
120: 트레이닝 세트 감축부
130: 합성부

Claims (10)

  1. 초기 트레이닝 세트를 구축하는 단계;
    상기 구축된 초기 트레이닝 세트를 감축하는 단계; 및
    상기 감축된 트레이닝 세트에서 유사도가 가장 큰 고 해상도 패치를 채택하여 입력된 저 해상도 패치와 합성하는 단계
    를 포함하는 고 해상도 보간 방법.
  2. 제1항에 있어서,
    상기 초기 트레이닝 세트를 구축하는 단계는,
    고 해상도 영상을 블러링(blurring) 및 서브-샘플링(sub-sampling)하여 저 해상도 영상을 생성하는 단계;
    상기 생성된 저 해상도 영상에 선형 스케일링(linear scaling)을 적용하여 업-스케일링(up-scaling)된 저주파 영상을 생성하는 단계; 및
    고주파 성분을 예측하기 위한 제1 영상과 잃어버린 고주파 성분을 의미하는 제2 영상으로부터 저 해상도 패치와 고 해상도 패치를 쌍(pair)으로 추출하여 트레이닝 세트로 저장하는 단계
    를 포함하는, 고 해상도 보간 방법.
  3. 제2항에 있어서,
    상기 트레이닝 세트로 저장하는 단계는,
    상기 제1 영상에 최대 응답 필터를 적용한 후 크기가 큰 에지 영역의 원시 패치(primitive patch)를 채택하여 상기 저 해상도 패치와 상기 고 해상도 패치를 추출하여 쌍으로 트레이닝 세트로 저장하는, 고 해상도 보간 방법.
  4. 제1항에 있어서,
    상기 트레이닝 세트를 감축하는 단계는,
    상기 고 해상도 패치 및 저 해상도 패치의 쌍들을 상기 저 해상도 패치를 기준으로 클러스터링(clustering)하는 단계; 및
    상기 클러스터링 결과에 따라 클러스터(cluster)의 중심 값들을 신규 저 해상도 패치들로 구성하고, 상기 신규 저 해상도 패치들에 대응되는 고 해상도 패치들을 구성하는 단계
    를 포함하는 고 해상도 보간 방법.
  5. 제1항에 있어서,
    상기 저 해상도 패치와 합성하는 단계는,
    상기 감축된 트레이닝 세트에서 상기 입력 저 해상도 패치와 거리가 가장 가까운 저 해상도 패치를 검색하여 고주파에 대응하는 고 해상도 패치를 상기 입력 저 해상도 패치와 합성하는, 고 해상도 보간 방법.
  6. 초기 트레이닝 세트를 구축하는 트레이닝 세트 구축부;
    상기 구축된 초기 트레이닝 세트를 감축하는 트레이닝 세트 감축부; 및
    상기 감축된 트레이닝 세트에서 유사도가 가장 큰 고 해상도 패치를 채택하여 입력된 저 해상도 패치와 합성하는 합성부
    를 포함하는 고 해상도 보간 장치.
  7. 제6항에 있어서,
    상기 트레이닝 세트 구축부는,
    고 해상도 영상을 블러링(blurring) 및 서브-샘플링(sub-sampling)하여 저 해상도 영상을 생성하고, 상기 생성된 저 해상도 영상에 선형 스케일링(linear scaling)을 적용하여 업-스케일링(up-scaling)된 저주파 영상을 생성하는 영상 생성부; 및
    고주파 성분을 예측하기 위한 제1 영상과 잃어버린 고주파 성분을 의미하는 제2 영상으로부터 저 해상도 패치와 고 해상도 패치를 쌍(pair)으로 추출하여 트레이닝 세트로 저장하는 저장부
    를 포함하는, 고 해상도 보간 장치.
  8. 제7항에 있어서,
    상기 저장부는,
    상기 제1 영상에 최대 응답 필터를 적용한 후 크기가 큰 에지 영역의 원시 패치(primitive patch)를 채택하여 상기 저 해상도 패치와 상기 고 해상도 패치를 추출하여 쌍으로 트레이닝 세트로 저장하는, 고 해상도 보간 장치.
  9. 제6항에 있어서,
    상기 트레이닝 세트 감축부는,
    상기 고 해상도 패치 및 저 해상도 패치의 쌍들을 상기 저 해상도 패치를 기준으로 클러스터링(clustering)하고, 상기 클러스터링 결과에 따라 클러스터의 중심 값들을 신규 저 해상도 패치들로 구성하며, 상기 신규 저 해상도 패치들에 대응되는 고 해상도 패치들을 구성하는, 고 해상도 보간 장치.
  10. 제6항에 있어서,
    상기 합성부는,
    상기 감축된 트레이닝 세트에서 상기 입력 저 해상도 패치와 거리가 가장 가까운 저 해상도 패치를 검색하여 고주파에 대응하는 고 해상도 패치를 상기 입력 저 해상도 패치와 합성하는, 고 해상도 보간 장치.
KR1020090094265A 2009-10-05 2009-10-05 클러스터링 기반 고주파 합성을 이용한 고 해상도 보간 방법 및 장치 KR101037023B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020090094265A KR101037023B1 (ko) 2009-10-05 2009-10-05 클러스터링 기반 고주파 합성을 이용한 고 해상도 보간 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020090094265A KR101037023B1 (ko) 2009-10-05 2009-10-05 클러스터링 기반 고주파 합성을 이용한 고 해상도 보간 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20110037027A KR20110037027A (ko) 2011-04-13
KR101037023B1 true KR101037023B1 (ko) 2011-05-25

Family

ID=44044563

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020090094265A KR101037023B1 (ko) 2009-10-05 2009-10-05 클러스터링 기반 고주파 합성을 이용한 고 해상도 보간 방법 및 장치

Country Status (1)

Country Link
KR (1) KR101037023B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102800076A (zh) * 2012-07-16 2012-11-28 西安电子科技大学 基于双字典学习的图像超分辨重建方法

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101653038B1 (ko) * 2014-05-12 2016-09-12 주식회사 칩스앤미디어 이미지 패치를 이용한 해상도 스케일링 장치 및 그 방법

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003018398A (ja) 2001-04-20 2003-01-17 Mitsubishi Electric Research Laboratories Inc ピクセル画像から超解像度画像を生成する方法
KR20070016909A (ko) * 2005-08-03 2007-02-08 삼성전자주식회사 초해상도 향상 처리장치 및 방법
KR20080069084A (ko) * 2007-01-22 2008-07-25 삼성전자주식회사 자기 트레이닝을 기반으로 하는 영상 복원 장치 및 방법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003018398A (ja) 2001-04-20 2003-01-17 Mitsubishi Electric Research Laboratories Inc ピクセル画像から超解像度画像を生成する方法
KR20070016909A (ko) * 2005-08-03 2007-02-08 삼성전자주식회사 초해상도 향상 처리장치 및 방법
KR20080069084A (ko) * 2007-01-22 2008-07-25 삼성전자주식회사 자기 트레이닝을 기반으로 하는 영상 복원 장치 및 방법

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102800076A (zh) * 2012-07-16 2012-11-28 西安电子科技大学 基于双字典学习的图像超分辨重建方法
CN102800076B (zh) * 2012-07-16 2015-03-04 西安电子科技大学 基于双字典学习的图像超分辨重建方法

Also Published As

Publication number Publication date
KR20110037027A (ko) 2011-04-13

Similar Documents

Publication Publication Date Title
US8275218B2 (en) Forward and backward image resizing method
US10701394B1 (en) Real-time video super-resolution with spatio-temporal networks and motion compensation
US9432616B1 (en) Systems and methods for up-scaling video
CN111028150B (zh) 一种快速时空残差注意力视频超分辨率重建方法
JP4157568B2 (ja) 画像の高解像度化方法及び装置
CN108830790B (zh) 一种基于精简卷积神经网络的快速视频超分辨率重建方法
CN112750094B (zh) 一种视频处理方法及系统
WO2013131929A1 (en) Method and apparatus for performing super-resolution
WO2011111819A1 (ja) 画像処理装置、画像処理プログラム、および、画像を生成する方法
US20130121588A1 (en) Method, apparatus, and program for compressing images, and method, apparatus, and program for decompressing images
CN104820966B (zh) 一种空时配准解卷积的非同步多视频超分辨率方法
Yoshikawa et al. Super resolution image reconstruction using total variation regularization and learning-based method
CN102342098B (zh) 用于增强高清视频内容的方法和设备
KR101037023B1 (ko) 클러스터링 기반 고주파 합성을 이용한 고 해상도 보간 방법 및 장치
CN103312941A (zh) 基于凸优化理论的视频联合去噪及超分辨率方法和系统
CN104883579A (zh) 一种基于空-频域的联合视频图像的上采样方法
CN106558021B (zh) 基于超分辨率技术的视频增强方法
CN116895037A (zh) 基于边缘信息和多尺度交叉融合网络的帧插入方法及系统
Yeh et al. VDNet: video deinterlacing network based on coarse adaptive module and deformable recurrent residual network
Miura et al. Image quality improvement for learning-based super-resolution with PCA
JP5232182B2 (ja) 画面分割符号化装置およびそのプログラム、並びに、画面分割復号装置およびそのプログラム
JP5463250B2 (ja) 画像再構成装置、符号化装置、復号装置及びプログラム
Gohshi Frequency domain analysis of Super Resolution Image Reconstruction and super resolution with nonlinear processing
Misu et al. Novel framework for single/multi-frame super-resolution using sequential Monte Carlo method
CN117176890A (zh) 基于深度学习的轻量级高精度时空视频超分辨率方法

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20140303

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20150216

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20160404

Year of fee payment: 6

LAPS Lapse due to unpaid annual fee