KR101544171B1 - 혼합 특징 벡터를 적용한 초해상도 장치 및 그 방법 - Google Patents

혼합 특징 벡터를 적용한 초해상도 장치 및 그 방법 Download PDF

Info

Publication number
KR101544171B1
KR101544171B1 KR1020140192172A KR20140192172A KR101544171B1 KR 101544171 B1 KR101544171 B1 KR 101544171B1 KR 1020140192172 A KR1020140192172 A KR 1020140192172A KR 20140192172 A KR20140192172 A KR 20140192172A KR 101544171 B1 KR101544171 B1 KR 101544171B1
Authority
KR
South Korea
Prior art keywords
patch
feature vector
target
resolution
image
Prior art date
Application number
KR1020140192172A
Other languages
English (en)
Inventor
최윤식
이용건
Original Assignee
연세대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 연세대학교 산학협력단 filed Critical 연세대학교 산학협력단
Priority to KR1020140192172A priority Critical patent/KR101544171B1/ko
Application granted granted Critical
Publication of KR101544171B1 publication Critical patent/KR101544171B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Abstract

본 발명은 초해상도 기법을 사용하여 영상을 확대하는 방법 및 그 장치에 관한 것이다.
본 발명은 기존의 초해상도 기법의 문제점인 확대된 영상에서 에지 부분의 화질 열화와 노이즈 발생 현상을 개선하기 위하여, 그래디언트(gradient) 벡터와 놈(norm) 벡터를 혼합한 혼합 특징 벡터를 사용하여 에지부분에서도 보다 선명하고 왜곡 없이 영상을 확대하는 초해상도 기법을 제공하고, 또한 고해상도 영상 획득 과정에서 발생하는 노이즈를 감쇄시키고 보다 강인하게 영상을 확대하기 위하여 적응적인 가중치 산출 방법을 제공한다.
이를 위하여 본 발명은, 확대할 대상이 되는 저해상도 영상을 입력받아 상기 입력영상의 각 패치가 에지 영역에 해당하는지 여부를 판단하는 에지 판단부; 상기 에지 판단부에서 에지 영역으로 판단된 패치에 대하여는 그래디언트 벡터를, 에지 영역이 아닌 것으로 판단된 패치에 대하여는 놈 벡터를, 각 특징벡터로 설정하는 혼합 특징벡터 설정부; 상기 특징벡터를 이용하여 학습 데이터베이스로부터 상기 입력영상과 유사한 유사 저해상도 패치들을 선별하고, 입력영상의 고해상도 영상을 산출하기 위한 가중치를 산출하는 가중치 산출부; 및 상기 산출된 가중치를 이용한 가중합 연산을 수행하여 상기 입력영상의 고해상도 영상을 획득하는 고해상도 영상 획득부를 포함하는, 혼합 특징 벡터를 적용한 초해상도 방법 및 그 장치를 제공한다.

Description

혼합 특징 벡터를 적용한 초해상도 장치 및 그 방법{Apparatus and Method for Super Resolution using Hybrid Feature}
본 발명은 초해상도 기법으로 영상을 확대하는 방법과 그 장치에 관한 것이다.
저해상도의 영상을 고해상도의 영상으로 확대하는 기술은 디스플레이 장치의 해상도에 따라 영상 컨텐츠의 해상도를 조정하거나, 저해상도의 영상을 크게 볼 필요가 있는 경우에 사용되는 기술로서 그 활용도가 매우 높다. 특히 디스플레이 장치의 해상도가 지속적으로 높아져 현재 UHD TV 시장이 확대되고 있는 상황 속에서, 기존의 저해상도로 만들어진 영상 컨텐츠를 고해상도의 장치에서 시청할 수 있도록 영상을 확대하는 기술에 대한 필요성이 더욱 대두되고 있다.
그런데 이와 같이 저해상도의 영상을 고해상도로 확대함에 있어서는 영상의 에지 부분에서의 선명도가 떨어지거나 영상 확대 방법에 따라 왜곡이 일어나는 경우가 많이 있다. 따라서 확대된 영상에서 선명도를 유지하면서도 왜곡이 발생하지 아니하도록 영상을 확대하는 것이 영상 확대 기술의 주된 목표이다.
이와 같은 영상 확대 기술 중 하나로 초해상도 기법이 있다. 초해상도(Super Resolution) 기법에서는 위와 같은 목표를 달성하기 위하여 여러 가지 영상들을 학습하여 이들로부터 저해상도 영상과 고해상도 영상 간의 상관관계를 획득하고, 이를 이용하여 특정 저해상도 영상을 고해상도 영상으로 확대하는 방법을 사용하고 있다.
그러나 기존의 초해상도 기법들은 에지 영역과 비 에지 영역의 특징을 올바르게 반영하지 아니하고 영상을 확대하여 에지 영역에서의 영상 확대 성능이 열화되거나, 또는 에지 영역을 선명하게 하더라도 그 과정에서 확대된 영상 전체에서 과도한 노이즈가 발생하는 문제점이 있다.
본 발명이 해결하고자 하는 과제는, 기존의 초해상도 기법의 문제점들을 개선하여, 그래디언트(gradient) 벡터와 놈(norm) 벡터를 혼합한 혼합 특징 벡터를 사용하여, 에지부분에서도 보다 선명하고 왜곡 없이 영상을 확대하는 초해상도 방법 및 그 장치를 제공하는 것이다. 또한 본 발명은 고해상도 영상 획득 과정에서 발생하는 노이즈를 감쇄시키고 보다 강인하게 영상을 확대하기 위한 적응적인 가중치 산출 방법을 제공한다.
이를 위하여 본 발명은, 확대할 대상이 되는 저해상도 영상을 입력받아 상기 입력영상의 각 패치가 에지 영역에 해당하는지 여부를 판단하는 에지 판단부; 상기 에지 판단부에서 에지 영역으로 판단된 패치에 대하여는 그래디언트 벡터를, 에지 영역이 아닌 것으로 판단된 패치에 대하여는 놈 벡터를, 각 특징벡터로 설정하는 혼합 특징벡터 설정부; 상기 특징벡터를 이용하여 학습 데이터베이스로부터 상기 입력영상과 유사한 유사 저해상도 패치들을 선별하고, 입력영상의 고해상도 영상을 산출하기 위한 가중치를 산출하는 가중치 산출부; 및 상기 산출된 가중치를 이용한 가중합 연산을 수행하여 상기 입력영상의 고해상도 영상을 획득하는 고해상도 영상 획득부를 포함하는, 혼합 특징 벡터를 적용한 초해상도 장치 및 그에 관한 방법을 제공한다.
상기 과제를 해결하기 위해, 본 발명의 일 유형에 따른 혼합 특징 벡터를 적용한 초해상도 장치는, 확대할 대상이 되는 일정한 크기를 가지는 영상 블록인 대상 패치를 입력받고, 상기 대상 패치가 에지 영역에 해당하는지 여부를 판단하고, 에지 영역에 해당하는지 여부에 따라 서로 다른 종류의 특징 벡터가 되는 혼합 특징 벡터(Hybrid Feature Vector)를 상기 대상 패치에 대하여 획득하는 혼합 특징 벡터 획득부; 상기 혼합 특징 벡터를 기준으로, 상기 대상 패치의 크기에 따른 크기를 가지는 적어도 두 개 이상의 후보 저해상도 패치들 중에서, 상기 대상 패치에 대응하는 이웃 저해상도 패치를 선정하는 이웃 패치 선정부; 및 상기 이웃 저해상도 패치에 대응하는 고해상도의 영상 패치인 이웃 고해상도 패치를 이용하여, 상기 대상 패치를 확대한 고해상도 영상 패치인 목표 고해상도 패치를 합성하는 목표 고해상도 패치 합성부를 포함할 수 있다.
상기 본 발명에 따른 혼합 특징 벡터를 적용한 초해상도 장치는, 상기 대상 패치의 상기 혼합 특징 벡터와 상기 이웃 저해상도 패치의 상기 혼합 특징 벡터를 이용하여, 상기 이웃 저해상도 패치의 상기 혼합 특징 벡터의 가중합과 상기 대상 패치의 상기 혼합 특징 벡터 간의 차이의 크기를 일정한 정도 이하로 최소화하는, 상기 이웃 저해상도 패치의 상기 혼합 특징 벡터에 대한 가중치를 산출하는 가중치 산출부를 더 포함하고, 상기 목표 고해상도 패치 합성부는 상기 산출된 가중치와 상기 이웃 고해상도 패치를 이용하여, 상기 목표 고해상도 패치를 합성하는 것을 특징으로 할 수 있다.
여기서 상기 혼합 특징 벡터는, 일정한 크기의 영상 블록에 대하여 획득되고, 상기 영상 블록 내의 화소 신호값들의 기울기 또는 변화의 정도를 나타내는 벡터인 그래디언트(Gradient) 특징 벡터가 되거나, 또는 상기 영상 블록 내의 화소 신호값을 정규화한 행렬인 놈(Norm) 특징 벡터가 되는 것을 특징으로 할 수 있다.
여기서, 상기 그래디언트 특징 벡터는, 상기 영상 블록 내의 적어도 하나 이상의 화소에서의 신호값의 기울기를 나타내는 벡터를 포함하고, 상기 화소에서의 신호값의 기울기를 나타내는 벡터는 상기 화소로부터 일정한 방향으로 일정한 거리 만큼 떨어져 있는 주변 화소들의 신호값을 이용하여, 상기 화소에서의 신호값의 기울기를 나타내는 벡터의 각 성분값이 산출되는 것을 특징으로 할 수 있다.
여기서, 상기 그래디언트 특징 벡터는 상기 영상 블록의 특정 화소를 기준으로 일정한 방향에 대하여 산출된 1차 그래디언트 벡터와 2차 그래디언트 벡터를 포함하는 것을 특징으로 할 수 있다.
여기서, 상기 놈 특징 벡터는, 상기 영상 블록 내의 화소의 각 신호값에서 상기 영상 블록 내의 화소들의 신호값의 평균을 뺀 값들을 상기 놈 특징 벡터의 각 성분값으로 하는 것을 특징으로 할 수 있다.
여기서, 상기 혼합 특징 벡터는, 상기 영상 블록이 에지 영역에 해당하는 경우 상기 그래디언트 특징 벡터가 되고, 상기 영상 블록이 에지 영역에 해당하지 않는 경우 상기 놈 특징 벡터가 되는 것을 특징으로 할 수 있다.
여기서, 상기 혼합 특징 벡터 획득부는, 상기 대상 패치 내의 화소들의 수직 방향의 신호값 변화 정도와 수평 방향의 신호값 변화 정도를 산출하고, 상기 각 산출된 신호값 변화 정도에 따라 상기 대상 패치가 에지 영역에 해당하는지 여부를 판단하는 에지 영역 판별부; 및 상기 대상 패치가 에지 영역에 해당하는 경우 상기 대상 패치에 대하여 상기 그래디언트 특징 벡터를 산출하여 상기 대상 패치의 상기 혼합 특징 벡터로 하고, 상기 대상 패치가 에지 영역에 해당하지 않는 경우는 상기 대상 패치에 대하여 상기 놈 특징 벡터를 산출하여 상기 대상 패치의 상기 혼합 특징 벡터로 하는 특징 벡터 산출부를 포함할 수 있다.
여기서, 상기 이웃 패치 선정부는, 상기 후보 저해상도 패치의 상기 혼합 특징 벡터와 상기 대상 패치의 상기 혼합 특징 벡터 간의 거리를 기준으로, 상기 후보 저해상도 패치들 중에서 상기 이웃 저해상도 패치를 선정하는 것을 특징으로 할 수 있다.
상기 본 발명에 따른 혼합 특징 벡터를 적용한 초해상도 장치는, 적어도 두 개 이상의 상기 후보 저해상도 패치와, 상기 후보 저해상도 패치에 대응하는 고해상도의 영상 패치인 후보 고해상도 패치의 쌍을 저장하는 영상 데이터 베이스부를 더 포함하고, 상기 이웃 패치 선정부는 상기 영상 데이터 베이스 부에 포함된 상기 후보 저해상도 패치 중에서 상기 이웃 저해상도 패치를 선정하고, 상기 이웃 패치 선정부에서 상기 이웃 저해상도 패치로 선정된 상기 후보 저해상도 패치에 대응하는 상기 후보 고해상도 패치가 상기 이웃 저해상도 패치에 대응하는 상기 이웃 고해상도 패치인 것을 특징으로 할 수 있다.
여기서, 상기 영상 데이터 베이스부는 상기 후보 저해상도 패치의 상기 혼합 특징 벡터를 더 저장하는 것을 특징으로 할 수 있다.
여기서, 상기 영상 데이터 베이스부는, 상기 후보 고해상도 패치를 입력받아 다운 샘플링을 통하여 상기 후보 저해상도 패치를 생성하는 후보 저해상도 패치 생성부; 상기 후보 저해상도 패치에 대하여 상기 혼합 특징 벡터를 산출하는 후보 혼합 특징 벡터 산출부; 및 상기 후보 고해상도 패치와 상기 후보 저해상도 패치와 상기 혼합 특징 벡터을 하나로 연결하여 저장하는 저장부를 포함하는 것을 특징으로 할 수 있다.
여기서, 상기 가중치 산출부는, 복수 개의 상기 이웃 저해상도 패치에 대하여, 상기 이웃 저해상도 패치의 상기 혼합 특징 벡터의 가중합과 상기 대상 패치의 상기 혼합 특징 벡터 간의 차이의 크기를 나타내는 제1 비용함수와, 상기 가중치의 크기를 나타내는 제2 비용함수에 따라 정해지는 총 비용함수가 일정한 정도 이하로 최소화되도록 상기 가중치를 산출하는 것을 특징으로 할 수 있다.
여기서, 상기 총 비용함수는 정규화 계수를 적용한 상기 제2 비용함수와 상기 제1 비용함수의 합이고, 상기 가중치 산출부는 상기 가중치들의 크기가 모두 미리 정해진 일정한 정도 이하가 될 때까지 상기 정규화 계수를 조절하여 상기 가중치를 산출하는 것을 특징으로 할 수 있다.
여기서, 상기 가중치 산출부는 하기 식 1과 같이 상기 총 비용함수를 최소화 함으로 상기 가중치를 산출하는 것을 특징으로 할 수 있다.
식 1
Figure 112014127173145-pat00001
(TCF는 여기서 tf는 상기 대상 패치의 상기 혼합 특징 벡터이고, nf는 상기 이웃 저해상도 패치의 상기 혼합 특징 벡터이고, wi는 각 상기 이웃 저해상도 패치의 상기 혼합 특징 벡터에 적용되는 상기 가중치이고, NF는 상기 이웃 저해상도 패치들의 각 상기 혼합 특징 벡터들의 집합이고, i는 인덱스이고, λ 는 상기 정규화 계수이고, w는 wi를 각 성분값으로 하는 벡터이다.)
여기서, 상기 목표 고해상도 패치 합성부는 상기 가중치 산출부에서 산출된 상기 가중치를 각 상기 가중치에 대응하는 상기 이웃 저해상도 패치에 대응하는 상기 이웃 고해상도 패치에 적용하여, 상기 이웃 고해상도 패치들의 가중합을 산출하고, 상기 산출된 상기 이웃 고해상도 패치들의 가중합을 상기 목표 고해상도 패치로 하는 것을 특징으로 할 수 있다.
상기 과제를 해결하기 위해, 본 발명의 또 다른 유형에 따른 혼합 특징 벡터를 적용한 초해상도 장치는, 확대할 대상이 되는 일정한 크기를 가지는 영상 블록인 대상 패치를 입력받고, 상기 대상 패치가 에지 영역에 해당하는지 여부를 판단하고, 에지 영역에 해당하는지 여부에 따라 서로 다른 종류의 특징 벡터가 되는 혼합 특징 벡터(Hybrid Feature Vector)를 상기 대상 패치에 대하여 획득하는 혼합 특징 벡터 획득부; 상기 혼합 특징 벡터들 간의 거리를 기준으로 상기 대상 패치와 근접한 이웃 저해상도 패치를 입력받는 이웃 패치 입력부; 상기 이웃 저해상도 패치의 상기 혼합 특징 벡터의 가중합과 상기 대상 패치의 상기 혼합 특징 벡터 간의 차이의 크기를 일정한 정도 이하로 최소화하는, 상기 이웃 저해상도 패치의 상기 혼합 특징 벡터에 대한 가중치를 산출하는 가중치 산출부; 및 상기 이웃 저해상도 패치에 대응하는 고해상도의 영상 패치인 이웃 고해상도 패치에 상기 가중치를 적용한 가중합을 산출하여, 상기 대상 패치를 확대한 고해상도 영상 패치인 목표 고해상도 패치를 합성하는 목표 고해상도 패치 합성부를 포함하는 것을 특징으로 할 수 있다.
여기서, 상기 혼합 특징 벡터는, 일정한 크기의 영상 블록에 대하여 획득되고, 상기 영상 블록 내의 화소 신호값들의 기울기 또는 변화의 정도를 나타내는 벡터인 그래디언트(Gradient) 특징 벡터가 되거나, 또는 상기 영상 블록 내의 화소 신호값을 정규화한 행렬인 놈(Norm) 특징 벡터가 되고, 상기 영상 블록이 에지 영역에 해당하는 경우 상기 그래디언트 특징 벡터가 되고, 상기 영상 블록이 에지 영역에 해당하지 않는 경우 상기 놈 특징 벡터가 되는 것을 특징으로 할 수 있다.
여기서, 상기 놈 특징 벡터는, 상기 영상 블록 내의 화소의 각 신호값에서 상기 영상 블록 내의 화소들의 신호값의 평균을 뺀 값들을 상기 놈 특징 벡터의 각 성분값으로 하는 것을 특징으로 할 수 있다.
여기서, 상기 가중치 산출부는, 복수 개의 상기 이웃 저해상도 패치에 대하여, 상기 이웃 저해상도 패치의 상기 혼합 특징 벡터의 가중합과 상기 대상 패치의 상기 혼합 특징 벡터 간의 차이의 크기를 나타내는 제1 비용함수와, 상기 가중치의 크기를 나타내는 제2 비용함수에 따라 정해지는 총 비용함수가 일정한 정도 이하로 최소화되도록 상기 가중치를 산출하는 것을 특징으로 할 수 있다.
상기 과제를 해결하기 위해, 본 발명의 또 다른 유형에 따른 혼합 특징 벡터를 적용한 초해상도 방법은, 확대할 대상이 되는 일정한 크기를 가지는 영상 블록인 대상 패치를 입력받고, 상기 대상 패치가 에지 영역에 해당하는지 여부를 판단하고, 에지 영역에 해당하는지 여부에 따라 서로 다른 종류의 특징 벡터가 되는 혼합 특징 벡터(Hybrid Feature Vector)를 상기 대상 패치에 대하여 획득하는 혼합 특징 벡터 획득 단계; 상기 혼합 특징 벡터를 기준으로, 상기 대상 패치의 크기에 따른 크기를 가지는 적어도 두 개 이상의 후보 저해상도 패치들 중에서, 상기 대상 패치에 대응하는 이웃 저해상도 패치를 선정하는 이웃 패치 선정 단계; 상기 이웃 저해상도 패치의 상기 혼합 특징 벡터의 가중합과 상기 대상 패치의 상기 혼합 특징 벡터 간의 차이의 크기를 일정한 정도 이하로 최소화하는, 상기 이웃 저해상도 패치의 상기 혼합 특징 벡터에 대한 가중치를 산출하는 가중치 산출 단계; 및 상기 이웃 저해상도 패치에 대응하는 고해상도의 영상 패치인 이웃 고해상도 패치에 상기 가중치를 적용한 가중합을 산출하여, 상기 대상 패치를 확대한 고해상도 영상 패치인 목표 고해상도 패치를 합성하는 목표 고해상도 패치 합성 단계를 포함하는 것을 특징으로 할 수 있다.
여기서, 상기 혼합 특징 벡터 획득 단계 이전, 확대할 대상이 되는 저해상도 영상을 입력받아, 상기 저해상도 영상에서 일정한 픽셀 간격으로 상기 대상 패치를 추출하는 패치 추출 단계; 및 상기 목표 고해상도 패치 합성 단계 이후, 상기 대상 패치에 대하여 합성된 상기 목표 고해상도 패치를 일정한 픽셀 간격으로 합성하여 고해상도 영상을 합성하는 단계를 더 포함하는 것을 특징으로 할 수 있다.
여기서, 상기 가중치 산출 단계는, 복수 개의 상기 이웃 저해상도 패치에 대하여, 상기 이웃 저해상도 패치의 상기 혼합 특징 벡터의 가중합과 상기 대상 패치의 상기 혼합 특징 벡터 간의 차이의 크기를 나타내는 제1 비용함수와, 상기 가중치의 크기를 나타내는 제2 비용함수에 따라 정해지는 총 비용함수가 일정한 정도 이하로 최소화되도록 상기 가중치를 산출하는 것을 특징으로 할 수 있다.
본 발명에 따른 혼합 특징 벡터를 적용한 초해상도 기법 및 그 장치는, 그래디언트(gradient) 벡터와 놈(norm) 벡터를 혼합한 혼합 특징 벡터를 사용하여, 에지부분에서도 보다 선명하고 왜곡 없이 영상을 확대하는 효과가 있다.
또한 본 발명에 따른 혼합 특징 벡터를 적용한 초해상도 기법 및 그 장치는, 적응적인 가중치 산출 방법을 이용하여 놈 벡터를 혼합 특징 벡터에 포함시킴으로서 고해상도 영상 획득 과정에서 발생하는 노이즈를 효과적으로 감쇄시키고 보다 강인하게 영상을 확대하는 효과가 있다.
도 1은 본 발명의 일 실시예에 따른 혼합 특징 벡터를 적용한 초해상도 장치의 블록도이다.
도 2는 본 발명에 따른 혼합 특징 벡터 획득부의 세부 블록도이다.
도 3의 (a)와 (b)는 본 발명에 따른 영상 데이터베이스부의 세부 블록도이다.
도 4는 본 발명의 또 다른 실시예에 따른 혼합 특징 벡터를 적용한 초해상도 장치의 블록도이다.
도 5는 본 발명의 또 다른 실시예에 따른 혼합 특징 벡터를 적용한 초해상도 장치의 블록도이다.
도 6은 본 발명의 또 다른 실시예에 따른 혼합 특징 벡터를 적용한 초해상도 방법의 흐름도이다.
도 7은 본 발명의 또 다른 실시예에 따른 혼합 특징 벡터를 적용한 초해상도 방법의 흐름도이다.
이하, 본 발명의 바람직한 실시예를 첨부된 도면들을 참조하여 상세히 설명한다. 우선 각 도면의 구성요소들에 참조 부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다. 또한, 이하에서 본 발명의 바람직한 실시예를 설명할 것이나, 본 발명의 기술적 사상은 이에 한정하거나 제한되지 않고 당업자에 의해 변형되어 다양하게 실시될 수 있음은 물론이다.
초해상도 기법은 저해상도 영상을 고해상도의 영상으로 확대하는 기술 중에 하나로써, 학습된 데이터베이스나 영상의 특징을 이용하여 보다 선명한 고해상도 영상을 얻는 것을 목적으로 하는 기술이다. 영상을 확대함에 있어서 화질의 열화는 영상 내의 객체의 경계인 에지(Edge) 부분이나 객체의 표면 상에 일정한 패턴 또는 특징이 나타나는 영역인 텍스쳐(Texture) 부분에서 주로 발생한다. 따라서 초해상도 기법에서 중요한 과제는 이러한 에지 부분과 텍스쳐 부분에서 보다 선명하면서도 오류 또는 노이즈가 발생하지 아니하도록 영상을 확대하는 것이다.
그러나 기존의 초해상도 기법들은 에지 영역과 비 에지 영역의 특징을 올바르게 반영하지 아니하고 영상을 확대하여 에지 영역에서의 영상 확대 성능이 열화되거나, 또는 에지 영역을 선명하게 하더라도 그 과정에서 확대된 영상 전체에서 과도한 노이즈가 발생하는 문제점이 있다.
이에 본 발명은 위와 같은 문제점을 해결하는 혼합 특징 벡터를 적용한 초해상도 장치와 그에 관한 방법을 제공한다.
본 발명에 따른 초해상도 장치의 동작을 간략히 요약하면 다음과 같다.
먼저 확대할 대상이 되는 저해상도 영상을 입력받아 상기 입력영상의 각 패치가 에지 영역에 해당하는지 여부를 판단하고, 에지 영역으로 판단된 패치에 대하여는 그래디언트 벡터를, 에지 영역이 아닌 것으로 판단된 패치에 대하여는 놈 벡터를 각 특징 벡터로 설정하는 혼합 특징 벡터를 설정한다. 다음으로 본 발명은 상기 혼합 특징 벡터를 기준으로 데이터베이스로부터 상기 입력 영상의 패치와 유사한 저해상도 패치들을 일정 개수 선별하고, 상기 선별된 저해상도 패치들의 혼합 특징 벡터의 가중합과 상기 입력영상의 패치의 혼합 특징 벡터의 차이의 크기가 최소화되도록 하는 가중치를 산출한다, 그리고 본 발명은 상기 산출된 가중치를 상기 선별된 저해상도 패치들에 대응하는 고해상도 패치들에 적용한 후 가중합 연산을 수행하여, 상기 입력영상의 패치에 대한 고해상도 패치를 합성한다.
본 발명은 그래디언트(gradient) 벡터와 놈(norm) 벡터를 혼합한 혼합 특징 벡터를 사용함으로써 에지와 텍스쳐 부분에서 모두 강인하게 영상을 확대하는 초해상도 기법을 제공한다.
또한 고해상도 패치를 합성하는 과정에서 발생하는 노이즈를 감쇄하기 위하여 상기 가중치를 산출하는 과정에서, 상기 선별된 저해상도 패치들의 혼합 특징 벡터의 가중합과 상기 입력영상의 패치의 혼합 특징 벡터의 차이의 크기가 최소화되도록 함과 동시에, 가중치 자체의 크기 값도 일정한 기준값 이하로 되도록 최소화하는 구성을 개시한다.
이하에서는 본 발명에 따른 초해상도 장치 및 그에 관한 방법에 대하여 도면과 함께 보다 상세히 설명한다.
도 1은 본 발명의 일 실시예에 따른 혼합 특징 벡터를 적용한 초해상도 장치의 블록도이다.
본 발명에 따른 혼합 특징 벡터를 적용한 초해상도 장치는 혼합 특징 벡터 획득부(100), 이웃 패치 선정부(200), 목표 고해상도 패치 합성부(500)를 포함할 수 있다. 또한 본 발명에 따른 혼합 특징 벡터를 적용한 초해상도 장치는 영상 데이터 베이스부(300)와 가중치 산출부(400)를 필요에 따라 각각 더 포함할 수 있다. 이하에서는 상기 부분들에 대하여 보다 상세히 설명한다.
혼합 특징 벡터 획득부(100)는 확대할 대상이 되는 일정한 크기를 가지는 영상 블록인 대상 패치를 입력받고, 상기 대상 패치가 에지 영역에 해당하는지 여부를 판단하고, 에지 영역에 해당하는지 여부에 따라 서로 다른 종류의 특징 벡터가 되는 혼합 특징 벡터(Hybrid Feature Vector)를 상기 대상 패치에 대하여 획득한다.
여기서 혼합 특징 벡터는 아래에서 상술할 바와 같이 그래디언트 특징 벡터 또는 놈 특징 벡터가 될 수 있고, 대상 패치가 에지 영역에 해당하는 것으로 판단된 경우는 그래디언트 특징 벡터를, 에지 영역이 아닌 것으로 판단된 경우는 놈 특징 벡터가 될 수 있다.
여기서 특징 벡터라 함은 영상 블록의 특징(feature)을 나타내는 적어도 두 개 이상의 성분값으로 이루어진 벡터 또는 행렬을 의미한다. 여기서 특징(feature)가 다차원 행렬이 되는 경우도 필요에 따라 열 벡터 또는 행 벡터로 변환하여 표현할 수 있다는 의미에서 특징 벡터라는 용어로 지칭하여 사용하였다. 따라서 특징 벡터가 반드시 1열의 벡터만을 의미하는 것은 아니고, 적어도 두 개 이상의 성분값을 가지는 벡터 또는 행렬의 형태로 표현되는 데이터의 집합을 총칭하는 의미로 사용한다.
이웃 패치 선정부(200)는 상기 혼합 특징 벡터를 기준으로, 상기 대상 패치의 크기에 따른 크기를 가지는 적어도 두 개 이상의 후보 저해상도 패치들 중에서, 상기 대상 패치에 대응하는 이웃 저해상도 패치를 선정한다.
여기서 후보 저해상도 패치는 바람직하게는 상기 대상 패치와 동일한 크기를 가질 수 있다. 이웃 패치 선정부(200)는 대상 패치의 혼합 특징 벡터와 후보 저해상도 패치의 혼합 특징 벡터들 간의 각 거리를 산출하고, 산출된 거리를 기준으로 거리가 적은 일정한 개수의 이웃 저해상도 패치를 선정할 수 있다. 여기서 선정되는 이웃 저해상도 패치의 개수는 사용자가 필요에 따라 임의로 정할 수 있다.
여기서 이웃 저해상도 패치를 이웃(Neighbor)으로 지칭하는 것은 대상 패치와 저해상도 패치 간의 공간적인 거리가 근접하여 이웃인 것을 의미하는 것이 아니라, 대상 패치의 혼합 특징 벡터와 이웃 저해상도 패치가 각 혼합 특징 벡터 간의 거리가 가깝다는 의미에서 이웃인 것이다.
여기서 혼합 특징 벡터 간의 거리를 기준으로 가까운 이웃 저해상도 패치를 선정함에 있어서는, 거리가 가까운 순으로 미리 정해진 개수의 이웃 저해상도 패치를 선정할 수 있다. 또는 미리 정해진 거리 이하로 가까운 이웃 저해상도 패치를 선정할 수도 있다.
목표 고해상도 패치 합성부(500)는 상기 이웃 저해상도 패치에 대응하는 고해상도의 영상 패치인 이웃 고해상도 패치를 이용하여, 상기 대상 패치를 확대한 고해상도 영상 패치인 목표 고해상도 패치를 합성한다.
이웃 저해상도 패치에는 이에 대응하는 미리 정해진 고해상도의 영상 패치, 즉 이웃 고해상도 패치가 있다. 목표 고해상도 패치 합성부(500)는 이웃 패치 선정부(200)에서 선정된 이웃 저해상도 패치에 대응하는 이웃 고해상도 패치를 이용하여 상기 목표 고해상도 패치를 합성할 수 있다.
여기서 상기 목표 고해상도 패치는 바람직하게는 상기 이웃 고해상도 패치들의 가중합 연산을 통하여 합성될 수 있다.
다음으로 가중치 산출부(400)가 더 포함될 수 있다.
가중치 산출부(400)는 상기 목표 고해상도 패치 합성부(500)가 이웃 고해상도 패치들을 가중합 할 때 적용되는 가중치를 산출한다. 여기서 상기 대상 패치의 상기 혼합 특징 벡터와 상기 이웃 저해상도 패치의 상기 혼합 특징 벡터를 이용하여 상기 가중치를 산출할 수 있다.
가중치 산출부(400)는 상기 이웃 저해상도 패치의 상기 혼합 특징 벡터의 가중합과 상기 대상 패치의 상기 혼합 특징 벡터 간의 차이의 크기를 일정한 정도 이하로 최소화하는, 상기 이웃 저해상도 패치의 상기 혼합 특징 벡터에 대한 가중치를 산출하는 것이 바람직하다.
이와 같이 가중치 산출부(400)가 포함되는 경우, 목표 고해상도 패치 합성부(500)는 상기 산출된 가중치와 상기 이웃 고해상도 패치를 이용하여, 상기 목표 고해상도 패치를 합성하는 것이 바람직하다.
이하에서는 본 발명의 일 실시예에 따른 혼합 특징 벡터를 적용한 초해상도 장치의 각 부분과 상기 혼합 특징 벡터에 대하여 보다 상세히 설명한다.
본 발명에 따른 혼합 특징 벡터(Hybrid Feature Vector)는 일정한 크기의 영상 블록에 대하여 획득될 수 있다.
여기서 상기 혼합 특징 벡터는 상기 영상 블록 내의 화소 신호값들의 기울기 또는 변화의 정도를 나타내는 벡터인 그래디언트(Gradient) 특징 벡터가 되거나, 또는 상기 영상 블록 내의 화소 신호값을 정규화한 행렬인 놈(Norm) 특징 벡터가 될 수 있다.
이때 상기 혼합 특징 벡터는, 상기 영상 블록이 에지 영역에 해당하는 경우 상기 그래디언트 특징 벡터가 되고, 상기 영상 블록이 에지 영역에 해당하지 않는 경우 상기 놈 특징 벡터가 되는 것이 바람직하다.
이와 같이 해당 영상 블록의 특성에 따라 서로 다른 특징 벡터를 사용한다는 의미에서 혼합(Hybrid) 특징 벡터라고 지칭한다.
여기서 그래디언트 특징 벡터는 영상 블록 내의 화소들의 신호값들의 기울기(Gradient)를 나타내는 벡터로, 각 벡터의 성분이 상기 기울기에 관한 정보를 나타낸다.
이와 같은 그래디언트 특징 벡터는, 상기 영상 블록 내의 적어도 하나 이상의 화소에서의 신호값의 기울기를 나타내는 벡터를 포함한다. 또한 바람직하게는 그래디언트 특징 벡터는 상기 영상 블록 내의 모든 화소들에 대하여 각각 산출된 각 화소에서의 신호값의 기울기를 나타내는 각 벡터들을 포함할 수도 있다. 또한 상기 그래디언트 특징 벡터는 필요에 따라 상기 영상 블록 내의 일부의 화소들에 대하여 각각 산출된 각 화소에서의 신호값의 기울기를 나타내는 각 벡터들을 포함할 수도 있다.
이와 같이 영상 블록 내의 특정 화소에서의 신호값의 기울기를 나타내는 벡터는, 상기 특정 화소로부터 일정한 방향으로 일정한 거리 만큼 떨어져 있는 화소들의 신호값을 이용하여 벡터의 각 성분 값을 산출할 수 있다.
예를 들면 영상 블록 내의 특정 화소에서의 신호값의 기울기를 나타내는 벡터는, 상기 특정 화소로부터 수직 방향으로 일정한 거리 만큼 떨어져 있는 화소들과 상기 특정 화소로부터 수평 방향으로 일정한 거리 만큼 떨어져 있는 화소들을 이용하여 산출될 수 있다. 위와 같은 방향은 필요에 따라 대각선 등의 다른 방향으로 설정할 수도 있다.
또한 상기 그래디언트 특징 벡터는, 상기 영상 블록의 특정 화소를 기준으로 일정한 방향에 대하여 산출된 1차 그래디언트 벡터와 2차 그래디언트 벡터를 포함할 수 있다. 또한 여기서 상기 그래디언트 특징 벡터는 필요에 따라 다른 차수의 그래디언트 벡터를 포함할 수도 있다.
이상과 같은 그래디언트 특징 벡터는 고주파 성분을 나타내는 특징이므로, 영상에서 에지에 해당하는 영역의 특징을 보다 잘 나타낼 수 있다. 따라서 본 발명에서는 그래디언트 특징 벡터를 에지 영역으로 판별된 부분에서 혼합 특징 벡터로 사용한다.
예를 들면 도 8과 같이 각 화소 값이 차례로 z1 ~ z25로 지칭되는 5x5 형태의 영상블록을 가정하였을 때, 상기 영상블록의 중심 화소에서의 신호값의 기울기를 나타내는 벡터는, 하기 수학식 1, 2와 같이 산출될 수 있다.
Figure 112014127173145-pat00002
여기서
Figure 112014127173145-pat00003
는 상기 영상블록의 중심 화소인 z13 화소에서의 신호값의 기울기를 나타내는 벡터이고,
Figure 112014127173145-pat00004
은 z13 화소에서의 1차 그래디언트 벡터이고,
Figure 112014127173145-pat00005
은 z13 화소에서의 2차 그래디언트 벡터이다. 상기 1차 및 2차 그래디언트 벡터는 하기 수학식 2와 같이 계산될 수 있다.
Figure 112014127173145-pat00006
여기서, 상기 영상블록의 중심 화소에 대하여 상기 수학식 1, 2와 같이 산출한 신호값의 기울기를 나타내는 벡터와 같이, 상기 영상블록 내의 다른 화소에 대하여도 해당 화소를 기준으로 일정한 방향으로 일정한 거리 만큼 떨어져 있는 화소들의 신호값을 이용하여 해상 화소에서의 신호값의 기울기를 나타내는 벡터를 산출할 수 있다.
상기 그래디언트 벡터는 상기 영상블록 내의 각 화소들에 대하여 위와 같이 산출된 각 화소에서의 신호값의 기울기를 나타내는 벡터를 포함할 수 있다. 여기서 상기 그래디언트 벡터는 상기 영상블록 내의 각 화소에서의 신호값의 기울기를 나타내는 벡터를 연결한(Concatenate) 벡터의 형식으로 표현될 수도 있다.
예를 들면 상기 그래디언트 벡터는 수학식 1과 같이 산출되는 상기 영상 블록 내의 각 화소에서의 신호값의 기울기를 나타내는 벡터를 하기 수학식 3과 같이 연결한 벡터가 될 수 있다.
Figure 112014127173145-pat00007
다음으로 놈(Norm) 특징 벡터는, 상기 영상 블록 내의 화소의 각 신호값에서 상기 영상 블록 내의 화소들의 신호값의 평균을 뺀 값들을 상기 놈 특징 벡터의 각 성분값으로 하는 것이 바람직하다.
예를 들면 도 8과 같이 각 화소 값이 차례로 z1 ~ z25로 지칭되는 5x5 형태의 영상 블록을 가정하였을 때, 놈 특징 벡터는 [n1, n2, ... , n25]의 크기를 가지고, 놈 특징 벡터의 각 성분값은 하기 수학식 4와 같이 산출될 수 있다.
Figure 112014127173145-pat00008
여기서 S는 놈 특징 벡터가 산출되는 대상 영상 블록 내의 화소의 수이고, j 는 영상 블록 내의 화소들의 인덱스이고, n은 놈 특징 벡터의 성분값이고, z는 영상 블록 내의 화소의 신호값이고, I는 놈 특징 벡터의 성분값과 영상 블록 내의 화소의 인덱스이다.
즉 놈 특징 벡터는 영상 블록의 각 화소에서 영상 블록의 평균값을 차감하여 획득되는 행열이다.
이상과 같은 놈 특징 벡터는 저주파 성분 또는 중간대역 주파수 성분을 나타내는 특징이므로, 영상에서 에지가 아닌 영역의 특징을 보다 잘 나타낼 수 있다. 따라서 본 발명에서는 놈 특징 벡터를 에지가 아닌 영역으로 판별된 부분에 대한 혼합 특징 벡터로 사용한다.
도 2는 본 발명에 따른 혼합 특징 벡터 획득부(100)의 세부 블록도이다.
이상과 같은 혼합 특징 벡터를 획득하는 혼합 특징 벡터 획득부(100)는 에지 영역 판별부(110)와 특징 벡터 산출부(120)를 포함할 수 있다.
에지 영역 판별부(110)는 상기 대상 패치 내의 화소들의 수직 방향의 신호값 변화 정도와 수평 방향의 신호값 변화 정도를 산출하고, 상기 각 산출된 신호값 변화 정도에 따라 상기 대상 패치가 에지 영역에 해당하는지 여부를 판단할 수 있다.
여기서 에지 영역 판별부(110)는 상기 대상 패치의 그래디언트의 크기를 산출하고, 상기 산출된 그래디언트의 크기에 따라 대상 패치가 에지 영역에 해당하는지 여부를 판단하는 것이 바람직하다.
바람직하게는 에지 영역 판별부(110)는 하기 수학식 5와 같이 산출되는 상기 대상 패치의 그래디언트 크기를 기준으로, 그 값이 사용자가 정한 기준값 이상이 되는 경우를 상기 대상 패치가 에지 영역에 해당하는 것으로 판단할 수 있다.
Figure 112014127173145-pat00009
여기서 Gx는 상기 대상 패치에 대하여 수평 방향으로 산출한 그래디언트의 크기이고, Gx는 상기 대상 패치에 대하여 수직 방향으로 산출한 그래디언트 크기이다.
여기서 각 방향 별 그래디언트의 크기는 각 방향 별로 산출한 미분계수의 크기가 될 수 있다.
또한 에지 영역 판별부(110)는 대상 패치에서 각 화소 별 에지 성분을 나타내는 에지 맵을 획득한 이후, 대상 패치 내에 총 에지 성분이 사용자가 설정한 일정한 정도 이상으로 판단되는 경우, 대상 패치를 에지 영역에 해당하는 것으로 판단할 수도 있다. 여기서 에지 맵은 기존의 다양한 공지의 기술을 이용하여 획득할 수 있다.
또한 에지 영역 판별부(110)는 기존의 영상에서 에지 영역을 판별하는 다양한 방법을 사용하여 애지맵을 획득한 이후, 대상 패치 내에 에지 성분이 사용자가 설정한 일정한 정도 이상으로 판단되는 대상 패치를 에지 영역에 해당하는 것으로 판단할 수도 있다.
특징 벡터 산출부(120)는 상기 대상 패치가 에지 영역에 해당하는 경우 상기 대상 패치에 대하여 상기 그래디언트 특징 벡터를 산출하여 상기 대상 패치의 상기 혼합 특징 벡터로 하고, 상기 대상 패치가 에지 영역에 해당하지 않는 경우는 상기 대상 패치에 대하여 상기 놈 특징 벡터를 산출하여 상기 대상 패치의 상기 혼합 특징 벡터로 할 수 있다.
즉 대상 패치가 에지 영역인 경우 상기 대상 패치의 혼합 특징 벡터는 그래디언트 벡터가 되고, 에지 영역이 아닌 경우는 놈 특징 벡터가 되는 것이다.
다음으로 이웃 패치 선정부(200)는, 상기 후보 저해상도 패치의 상기 혼합 특징 벡터와 상기 대상 패치의 상기 혼합 특징 벡터 간의 거리를 기준으로, 상기 후보 저해상도 패치들 중에서 상기 이웃 저해상도 패치를 선정할 수 있다.
여기서 혼합 특징 벡터들 간의 거리는 유클리디안 거리가 될 수 있고, 또는 벡터들 간의 거리를 측정하는 다양한 종류의 거리 산출법을 사용하여 산출할 수도 있다.
여기서 이웃 패치 선정부(200)는 복수개의 후보 저해상도 패치들을 입력받아, 상기 후보 저해상도 패치들의 혼합 특징 벡터를 산출하여, 상기 산출된 혼합 특징 벡터를 기준으로 상기 대상 패치의 혼합 특징 벡터와 거리가 가까운 일정한 개수의 후보 저해상도 패치들을 선택할 수 있다.
또는 이웃 패치 선정부(200)는 후보 저해상도 패치와 그에 대하여 미리 산출되어 있는 혼합 특징 벡터를 함께 입력받아, 상기 대상 패치의 혼합 특징 벡터와 거리가 가까운 일정한 개수의 후보 저해상도 패치들을 선택할 수도 있다.
또는 이웃 패치 선정부(200)는 미리 산출되어 있는 혼합 특징 벡터를 입력받아 상기 대상 패치의 혼합 특징 거리와 거리가 가까운 혼합 특징 벡터를 선정하고, 상기 선정된 혼합 특징 벡터에 대응하는 후보 저해상도 패치들을 외부의 데이터 베이스로부터 입력받을 수도 있다.
또한 이웃 패치 선정부(200)는 아래에서 설명할 영상 데이터 베이스부(300)를 탐색하여 상기 이웃 저해상도 패치를 선정할 수도 있다.
본 발명에 따른 혼합 특징 벡터를 적용한 초해상도 장치는 영상 데이터 베이스부(300)를 더 포함할 수 있다.
영상 데이터 베이스부(300)는 적어도 두 개 이상의 상기 후보 저해상도 패치와, 상기 후보 저해상도 패치에 대응하는 고해상도의 영상 패치인 후보 고해상도 패치의 쌍을 저장한다.
이때 이웃 패치 선정부(200)는 영상 데이터 베이스부(300)에 포함된 상기 후보 저해상도 패치 중에서 상기 이웃 저해상도 패치를 선정하는 것이 바람직하다. 여기서 이웃 패치 선정부는 상술한 바와 같이 혼합 특징 벡터들 간의 거리를 기준으로 상기 이웃 저해상도 패치를 선정한다.
여기서 이웃 패치 선정부(200)에서 상기 이웃 저해상도 패치로 선정된 상기 후보 저해상도 패치에 대응하는 상기 후보 고해상도 패치가 상기 이웃 저해상도 패치에 대응하는 상기 이웃 고해상도 패치가 된다.
여기서 영상 데이터 베이스부(300)는 상기 후보 저해상도 패치의 상기 혼합 특징 벡터를 더 저장할 수 있다.
도 3의 (a)와 (b)는 본 발명에 따른 영상 데이터 베이스부(300)의 세부 블록도이다.
도 3의 (a)와 같이 영상 데이터 베이스부(300)는 후보 저해상도 패치 생성부(310), 후보 혼합 특징 벡터 산출부(320), 저장부(330)를 포함할 수 있다.
후보 저해상도 패치 생성부(310)는 상기 후보 고해상도 패치를 입력받아 다운 샘플링을 통하여 상기 후보 저해상도 패치를 생성한다.
후보 혼합 특징 벡터 산출부(320)는 상기 후보 저해상도 패치에 대하여 상기 혼합 특징 벡터를 산출한다.
저장부(330)는 상기 후보 고해상도 패치와 상기 후보 저해상도 패치와 상기 혼합 특징 벡터을 하나로 연결하여 저장한다.
또는 영상 데이터 베이스부(300)는 도 3의 (b)와 같이 이미 생성된 상기 후보 고해상도 패치와 상기 후보 저해상도 패치와 상기 혼합 특징 벡터의 셋(Set)을 입력받아 저장할 수도 있다.
다음으로는 가중치 산출부(400)에 대하여 보다 상세히 설명한다.
상술한 바와 같이 가중치 산출부(400)는, 복수 개의 상기 이웃 저해상도 패치에 대하여, 상기 이웃 저해상도 패치의 상기 혼합 특징 벡터의 가중합과 상기 대상 패치의 상기 혼합 특징 벡터 간의 차이의 크기를 최소화하도록 상기 가중치를 산출할 수 있다.
여기서 가중치는 목표 고해상도 패치 합성부(500)에서 이웃 고해상도 패치들의 가중합을 산출함에 있어서 각 이웃 고해상도 패치들에 적용되는 가중치이다.
가중치 산출부(400)는 하기 수학식 6과 같이 산출되는 비용함수를 최소화함으로써 가중치를 산출할 수 있다.
Figure 112014127173145-pat00010
여기서 tf는 상기 대상 패치의 혼합 특징 벡터이고, nf는 상기 이웃 저해상도 패치의 혼합 특징 벡터이고, wi는 각 이웃 저해상도 패치의 혼합 특징 벡터에 적용되는 가중치이고, NF는 상기 이웃 저해상도 패치들의 각 혼합 특징 벡터들의 집합이고, i는 인덱스이다.
여기서 이웃 저해상도 패치의 혼합 특징 벡터에 적용되었던 가중치 w는, 목표 고해상도 패치 합성부(500)에서 상기 각 이웃 저해상도 패치에 대응하는 이웃 고해상도 패치에 적용되어, 목표 고해상도 패치를 합성하기 위한 가중합이 산출된다. 즉 가중치는 가중치를 산출하는 과정에서는 이웃 저해상도 패치의 혼합 특징 벡터에 적용이 되고, 목표 고해상도 패치를 합성하는 과정에서는 이웃 고해상도 패치 자체에 적용이 된다.
여기서 가중치 산출부(400)는 가중치가 불안정하게 산출되어 목표 고해상도 패치 합성부(500)에서 합성되는 목표 고해상도 패치에 노이즈가 발생하는 것을 방지하기 위하여, 상기 구성에 가중치의 크기 자체를 더 고려하여 상기 가중치의 크기도 일정한 정도 이하로 최소화 되도록 상기 가중치를 산출할 수 있다.
즉 가중치 산출부(400)는, 복수 개의 상기 이웃 저해상도 패치에 대하여, 상기 이웃 저해상도 패치의 상기 혼합 특징 벡터의 가중합과 상기 대상 패치의 상기 혼합 특징 벡터 간의 차이의 크기를 나타내는 제1 비용함수와, 상기 가중치의 크기를 나타내는 제2 비용함수에 따라 정해지는 총 비용함수가 일정한 정도 이하로 최소화되도록 상기 가중치를 산출하는 것이 바람직하다.
여기서 상기 총 비용함수는 정규화 계수를 적용한 상기 제2 비용함수와 상기 제1 비용함수의 합이 되는 것이 비람직하다.
그리고 이 경우 가중치 산출부(400)는 상기 가중치들의 크기가 모두 미리 정해진 일정한 정도 이하가 될 때까지 상기 정규화 계수를 조절하여 상기 가중치를 산출하는 것이 바람직하다.
여기서 가중치 산출부(400)는 하기 수학식 7과 같이 상기 가중치를 산출할 수 있다. 즉 가중치 산출부(400)는 하기 수학식 7과 같이 산출되는 총 비용함수를 최소화함으로써 가중치를 산출할 수 있다.
Figure 112014127173145-pat00011
여기서 λ 는 상기 정규화 계수이고, w는 wi를 각 성분값으로 하는 벡터이고, 나머지 변수들은 수학식 6와 동일하게 사용된다.
가중치 산출부(400)는 상기 수학식 7과 같이 산출되는 비용함수를 이용하여 가중치를 산출함에 있어서, 상기 정규화 계수를 일정한 수로 초기 설정한 다음, 그 크기를 일정한 비율로 증가시키면서, 상기 가중치들의 크기가 모두 미리 정해진 일정한 문턱값 이하가 될 때까지 상기 가중치를 산출하는 것이 바람직하다. 여기서 상기 가중치의 크기에 대하여 정하여지는 문턱값은 사용자가 필요에 따라 설정할 수 있고, 바람직하게는 그래디언트 특징 벡터와 놈 특징 벡터에 대하여 서로 다르게 문턱값을 설정할 수 있다.
또한 가중치 산출부(400)가 상기 수학식 6와 수학식 7의 비용함수를 이용하여 가중치를 산출함에 있어서는, 가중치의 총 합이 1이 되도록 하는 제약 사항을 부가할 수 있다.
본 발명에서 비용함수를 최소화하는 가중치를 산출함 있어서는 다양한 비용함수 기반의 최적화 알고리즘을 사용할 수 있고, 이 때 비용함수를 최소화 한다는 것의 의미는 미리 정해진 일정한 기준 이하로 비용함수가 작아지는 경우 최소화 된 것으로 판단한다는 의미를 포함한다.
목표 고해상도 패치 합성부(500)는 가중치 산출부(400)에서 산출된 상기 가중치를 각 상기 가중치에 대응하는 상기 이웃 저해상도 패치에 대응하는 상기 이웃 고해상도 패치에 적용하여, 상기 이웃 고해상도 패치들의 가중합을 산출하고, 상기 산출된 상기 이웃 고해상도 패치들의 가중합을 상기 목표 고해상도 패치로 하는 것이 바람직하다.
목표 고해상도 패치 합성부(500)는 다음 수학식 8과 같이 이웃 고해상도 패치들을 가중합 하여 목표 고해상도 패치를 산출할 수 있다.
Figure 112014127173145-pat00012
여기서 TP는 목표 고해상도 패치이고, np는 이웃 고해상도 패치이고, NP는 이웃 패치 선정부(200)에서 선정된 이웃 저해상도 패치들에 각 대응하는 이웃 고해상도 패치들의 집합이고, w는 상기 가중치이다.
도 4는 본 발명의 또 다른 실시예에 따른 혼합 특징 벡터를 적용한 초해상도 장치의 블록도이다.
상기 본 발명의 또 다른 실시예에 따른 혼합 특징 벡터를 적용한 초해상도 장치는 혼합 특징 벡터 획득부(100), 이웃 패치 입력부(600), 가중치 산출부(400), 목표 고해상도 패치 합성부(500)를 포함할 수 있다. 여기서 혼합 특징 벡터 획득부(100), 가중치 산출부(400), 목표 고해상도 패치 합성부(500)는 상기 도 1과 함께 상세히 설명한 본 발명에 따른 혼합 특징 벡터를 적용한 초해상도 장치 각 구성 부분과 동일한 방식으로 동작할 수 있다. 이에 중복되는 부분은 일부 생략하고 설명한다.
혼합 특징 벡터 획득부(100)는 확대할 대상이 되는 일정한 크기를 가지는 영상 블록인 대상 패치를 입력받고, 상기 대상 패치가 에지 영역에 해당하는지 여부를 판단하고, 에지 영역에 해당하는지 여부에 따라 서로 다른 종류의 특징 벡터가 되는 혼합 특징 벡터(Hybrid Feature Vector)를 상기 대상 패치에 대하여 획득한다.
이웃 패치 입력부(600)는 상기 혼합 특징 벡터들 간의 거리를 기준으로 상기 대상 패치와 근접한 적어도 두 개 이상의 이웃 저해상도 패치를 입력받는다.
가중치 산출부(400)는 상기 이웃 저해상도 패치의 상기 혼합 특징 벡터의 가중합과 상기 대상 패치의 상기 혼합 특징 벡터 간의 차이의 크기를 일정한 정도 이하로 최소화하는, 상기 이웃 저해상도 패치의 상기 혼합 특징 벡터에 대한 가중치를 산출한다.
목표 고해상도 패치 합성부(500)는 상기 이웃 저해상도 패치에 대응하는 고해상도의 영상 패치인 이웃 고해상도 패치에 상기 가중치를 적용한 가중합을 산출하여, 상기 대상 패치를 확대한 고해상도 영상 패치인 목표 고해상도 패치를 합성한다.
여기서, 상기 혼합 특징 벡터는, 일정한 크기의 영상 블록에 대하여 획득되고, 상기 영상 블록 내의 화소 신호값들의 기울기 또는 변화의 정도를 나타내는 벡터인 그래디언트(Gradient) 특징 벡터가 되거나, 또는 상기 영상 블록 내의 화소 신호값을 정규화한 행렬인 놈(Norm) 특징 벡터가 되는 것이 바람직하다.
그리고 상기 혼합 특징 벡터는, 상기 영상 블록이 에지 영역에 해당하는 경우 상기 그래디언트 특징 벡터가 되고, 상기 영상 블록이 에지 영역에 해당하지 않는 경우 상기 놈 특징 벡터가 되는 것이 바람직하다.
또한 상기 놈 특징 벡터는, 상기 영상 블록 내의 화소의 각 신호값에서 상기 영상 블록 내의 화소들의 신호값의 평균을 뺀 값들을 상기 놈 특징 벡터의 각 성분값으로 하는 것이 바람직하다.
다음으로 가중치 산출부(400)는, 복수 개의 상기 이웃 저해상도 패치에 대하여, 상기 이웃 저해상도 패치의 상기 혼합 특징 벡터의 가중합과 상기 대상 패치의 상기 혼합 특징 벡터 간의 차이의 크기를 나타내는 제1 비용함수와, 상기 가중치의 크기를 나타내는 제2 비용함수에 따라 정해지는 총 비용함수가 일정한 정도 이하로 최소화되도록 상기 가중치를 산출하는 것이 바람직하다.
도 5는 본 발명의 또 다른 실시예에 따른 혼합 특징 벡터를 적용한 초해상도 장치의 블록도이다.
상기 본 발명의 또 다른 실시예에 따른 혼합 특징 벡터를 적용한 초해상도 장치는 패치 추출부(2000), 고해상도 패치 생성부(1000), 고해상도 영상 합성부(3000)를 포함할 수 있다.
여기서 패치 추출부(2000)는 확대할 대상이 되는 저해상도 영상을 입력받아, 상기 저해상도 영상에서 일정한 픽셀 간격으로 확대할 대상이 되는 대상 패치를 추출한다.
고해상도 패치 생성부(1000)는 상기 대상 패치를 추출하여 이를 확대한 목표 고해상도 패치를 합성한다. 여기서 고해상도 패치 생성부는 상기 도 1과 함께 상술한 본 발명에 따른 혼합 특징 벡터를 적용한 초해상도 장치 또는 상기 도 4와 함께 상술한 본 발명에 따른 혼합 특징 벡터를 적용한 초해상도 장치와 동일한 방식으로 동작할 수 있다.
고해상도 영상 합성부(3000)는 상기 대상 패치에 대하여 합성된 상기 목표 고해상도 패치를 일정한 픽셀 간격으로 합성하여 고해상도 영상을 합성한다.
도 6은 본 발명의 또 다른 실시예에 따른 혼합 특징 벡터를 적용한 초해상도 방법의 흐름도이다.
상기 본 발명의 또 다른 실시예에 따른 혼합 특징 벡터를 적용한 초해상도 방법은 혼합 특징 벡터 획득 단계(S100), 이웃 패치 선정 단계(S200), 가중치 산출 단계(S300), 목표 고해상도 패치 합성 단계(S400)를 포함할 수 있다. 상기 본 발명에 따른 혼합 특징 벡터를 적용한 초해상도 방법은 도 1과 함께 상술한 본 발명에 따른 혼합 특징 벡터를 적용한 초해상도 장치와 동일한 방식으로 동작할 수 있다. 이에 중복되는 부분은 생략하고 간략히 설명한다.
영상 확대 방법에 있어서,
확대할 대상이 되는 일정한 크기를 가지는 영상 블록인 대상 패치를 입력받고, 상기 대상 패치가 에지 영역에 해당하는지 여부를 판단하고, 에지 영역에 해당하는지 여부에 따라 서로 다른 종류의 특징 벡터가 되는 혼합 특징 벡터(Hybrid Feature Vector)를 상기 대상 패치에 대하여 획득하는 혼합 특징 벡터 획득 단계(S100);
상기 혼합 특징 벡터를 기준으로, 상기 대상 패치의 크기에 따른 크기를 가지는 적어도 두 개 이상의 후보 저해상도 패치들 중에서, 상기 대상 패치에 대응하는 적어도 두 개 이상의 이웃 저해상도 패치를 선정하는 이웃 패치 선정 단계(S200);
상기 이웃 저해상도 패치의 상기 혼합 특징 벡터의 가중합과 상기 대상 패치의 상기 혼합 특징 벡터 간의 차이의 크기를 일정한 정도 이하로 최소화하는, 상기 이웃 저해상도 패치의 상기 혼합 특징 벡터에 대한 가중치를 산출하는 가중치 산출 단계(S300); 및
여기서 가중치 산출 단계(S300)는, 복수 개의 상기 이웃 저해상도 패치에 대하여, 상기 이웃 저해상도 패치의 상기 혼합 특징 벡터의 가중합과 상기 대상 패치의 상기 혼합 특징 벡터 간의 차이의 크기를 나타내는 제1 비용함수와, 상기 가중치의 크기를 나타내는 제2 비용함수에 따라 정해지는 총 비용함수가 일정한 정도 이하로 최소화되도록 상기 가중치를 산출하는 것이 바람직하다.
다음으로 목표 고해상도 패치 합성 단계(S400)는 상기 이웃 저해상도 패치에 대응하는 고해상도의 영상 패치인 이웃 고해상도 패치에 상기 가중치를 적용한 가중합을 산출하여, 상기 대상 패치를 확대한 고해상도 영상 패치인 목표 고해상도 패치를 합성한다.
도 7은 본 발명의 또 다른 실시예에 따른 혼합 특징 벡터를 적용한 초해상도 방법의 흐름도이다.
상기 본 발명의 또 다른 실시예에 따른 혼합 특징 벡터를 적용한 초해상도 방법은 혼합 특징 벡터 획득 단계(S100), 이웃 패치 선정 단계(S200), 가중치 산출 단계(S300), 목표 고해상도 패치 합성 단계(S400)와 함께 패치 추출 단계(S10)와 고해상도 영상을 합성하는 단계(S20)를 더 포함할 수 있다.
패치 추출 단계(S10)는 혼합 특징 벡터 획득 단계(S100) 이전, 확대할 대상이 되는 저해상도 영상을 입력받아, 상기 저해상도 영상에서 일정한 픽셀 간격으로 상기 대상 패치를 추출할 수 있다.
고해상도 영상을 합성하는 단계(S20)는 목표 고해상도 패치 합성 단계(S400) 이후, 상기 대상 패치에 대하여 합성된 상기 목표 고해상도 패치를 일정한 픽셀 간격으로 합성하여 고해상도 영상을 합성할 수 있다.
이상에서 설명한 본 발명의 실시예를 구성하는 모든 구성요소들이 하나로 결합하거나 결합하여 동작하는 것으로 기재되어 있다고 해서, 본 발명이 반드시 이러한 실시예에 한정되는 것은 아니다. 즉, 본 발명의 목적 범위 안에서라면, 그 모든 구성요소들이 하나 이상으로 선택적으로 결합하여 동작할 수도 있다.
또한, 그 모든 구성요소들이 각각 하나의 독립적인 하드웨어로 구현될 수 있지만, 각 구성요소들의 그 일부 또는 전부가 선택적으로 조합되어 하나 또는 복수개의 하드웨어에서 조합된 일부 또는 전부의 기능을 수행하는 프로그램 모듈을 갖는 컴퓨터 프로그램으로서 구현될 수도 있다. 또한, 이와 같은 컴퓨터 프로그램은 USB 메모리, CD 디스크, 플래쉬 메모리 등과 같은 컴퓨터가 읽을 수 있는 기록매체(Computer Readable Media)에 저장되어 컴퓨터에 의하여 읽혀지고 실행됨으로써, 본 발명의 실시예를 구현할 수 있다. 컴퓨터 프로그램의 기록매체로서는 자기 기록매체, 광 기록매체, 캐리어 웨이브 매체 등이 포함될 수 있다.
또한, 기술적이거나 과학적인 용어를 포함한 모든 용어들은, 상세한 설명에서 다르게 정의되지 않는 한, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 갖는다. 사전에 정의된 용어와 같이 일반적으로 사용되는 용어들은 관련 기술의 문맥상의 의미와 일치하는 것으로 해석되어야 하며, 본 발명에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위 내에서 다양한 수정, 변경 및 치환이 가능할 것이다. 따라서, 본 발명에 개시된 실시예 및 첨부된 도면들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예 및 첨부된 도면에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구 범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리 범위에 포함되는 것으로 해석되어야 할 것이다.
100 : 혼합 특징 벡터 획득부
110 : 에지 영역 판별부
120 : 특징 벡터 산출부
200 : 이웃 패치 선정부
300 : 영상 데이터 베이스부
310 : 저해상도 패치 생성부
320 : 후보 혼합 특징 벡터 산출부
330 : 저장부
400 : 가중치 산출부
500 : 목표 고해상도 패치 합성부
600 : 이웃 패치 입력부
1000 : 고해상도 패치 생성부
2000 : 패치 추출부
3000 : 고해상도 영상 합성부
S100 : 혼합 특징 벡터 획득 단계
S200 : 이웃 패치 선정 단계
S300 : 가중치 산출 단계
S400 : 목표 고해상도 패치 합성 단계
S10 : 패치 추출 단계
S20 : 고해상도 영상 합성 단계

Claims (23)

  1. 영상 확대 장치에 있어서,
    확대할 대상이 되는 일정한 크기를 가지는 영상 블록인 대상 패치를 입력받고, 상기 대상 패치가 에지 영역에 해당하는지 여부를 판단하고, 에지 영역에 해당하는지 여부에 따라 서로 다른 종류의 특징 벡터가 되는 혼합 특징 벡터(Hybrid Feature Vector)를 상기 대상 패치에 대하여 획득하는 혼합 특징 벡터 획득부;
    상기 혼합 특징 벡터를 기준으로, 상기 대상 패치의 크기에 따른 크기를 가지는 적어도 두 개 이상의 후보 저해상도 패치들 중에서, 상기 대상 패치에 대응하는 이웃 저해상도 패치를 선정하는 이웃 패치 선정부; 및
    상기 이웃 저해상도 패치에 대응하는 고해상도의 영상 패치인 이웃 고해상도 패치를 이용하여, 상기 대상 패치를 확대한 고해상도 영상 패치인 목표 고해상도 패치를 합성하는 목표 고해상도 패치 합성부를 포함하고,
    상기 혼합 특징 벡터는, 일정한 크기의 영상 블록에 대하여 획득되고, 상기 영상 블록 내의 화소 신호값들의 기울기 또는 변화의 정도를 나타내는 벡터인 그래디언트(Gradient) 특징 벡터가 되거나, 또는 상기 영상 블록 내의 화소 신호값을 정규화한 행렬인 놈(Norm) 특징 벡터가 되는 것을 특징으로 하는, 혼합 특징 벡터를 적용한 초해상도 장치
  2. 제1항에 있어서,
    상기 대상 패치의 상기 혼합 특징 벡터와 상기 이웃 저해상도 패치의 상기 혼합 특징 벡터를 이용하여, 상기 이웃 저해상도 패치의 상기 혼합 특징 벡터의 가중합과 상기 대상 패치의 상기 혼합 특징 벡터 간의 차이의 크기를 일정한 정도 이하로 최소화하는, 상기 이웃 저해상도 패치의 상기 혼합 특징 벡터에 대한 가중치를 산출하는 가중치 산출부를 더 포함하고,
    상기 목표 고해상도 패치 합성부는 상기 산출된 가중치와 상기 이웃 고해상도 패치를 이용하여, 상기 목표 고해상도 패치를 합성하는 것을 특징으로 하는, 혼합 특징 벡터를 적용한 초해상도 장치
  3. 삭제
  4. 제1항에 있어서,
    상기 그래디언트 특징 벡터는, 상기 영상 블록 내의 적어도 하나 이상의 화소에서의 신호값의 기울기를 나타내는 벡터를 포함하고,
    상기 화소에서의 신호값의 기울기를 나타내는 벡터는, 상기 화소로부터 일정한 방향으로 일정한 거리 만큼 떨어져 있는 주변 화소들의 신호값을 이용하여, 상기 화소에서의 신호값의 기울기를 나타내는 벡터의 각 성분값이 산출되는 것을 특징으로 하는, 혼합 특징 벡터를 적용한 초해상도 장치
  5. 제1항에 있어서,
    상기 그래디언트 특징 벡터는 상기 영상 블록의 특정 화소를 기준으로 일정한 방향에 대하여 산출된 1차 그래디언트 벡터와 2차 그래디언트 벡터를 포함하는 것을 특징으로 하는, 혼합 특징 벡터를 적용한 초해상도 장치
  6. 제1항에 있어서,
    상기 놈 특징 벡터는, 상기 영상 블록 내의 화소의 각 신호값에서 상기 영상 블록 내의 화소들의 신호값의 평균을 뺀 값들을 상기 놈 특징 벡터의 각 성분값으로 하는 것을 특징으로 하는, 혼합 특징 벡터를 적용한 초해상도 장치
  7. 제1항에 있어서, 상기 혼합 특징 벡터는,
    상기 영상 블록이 에지 영역에 해당하는 경우 상기 그래디언트 특징 벡터가 되고,
    상기 영상 블록이 에지 영역에 해당하지 않는 경우 상기 놈 특징 벡터가 되는 것을 특징으로 하는, 혼합 특징 벡터를 적용한 초해상도 장치
  8. 제7항에 있어서, 상기 혼합 특징 벡터 획득부는,
    상기 대상 패치 내의 화소들의 수직 방향의 신호값 변화 정도와 수평 방향의 신호값 변화 정도를 산출하고, 상기 각 산출된 신호값 변화 정도에 따라 상기 대상 패치가 에지 영역에 해당하는지 여부를 판단하는 에지 영역 판별부; 및
    상기 대상 패치가 에지 영역에 해당하는 경우 상기 대상 패치에 대하여 상기 그래디언트 특징 벡터를 산출하여 상기 대상 패치의 상기 혼합 특징 벡터로 하고, 상기 대상 패치가 에지 영역에 해당하지 않는 경우는 상기 대상 패치에 대하여 상기 놈 특징 벡터를 산출하여 상기 대상 패치의 상기 혼합 특징 벡터로 하는 특징 벡터 산출부를 포함하는 것을 특징으로 하는, 혼합 특징 벡터를 적용한 초해상도 장치
  9. 제7항에 있어서,
    상기 이웃 패치 선정부는, 상기 후보 저해상도 패치의 상기 혼합 특징 벡터와 상기 대상 패치의 상기 혼합 특징 벡터 간의 거리를 기준으로, 상기 후보 저해상도 패치들 중에서 상기 이웃 저해상도 패치를 선정하는 것을 특징으로 하는, 혼합 특징 벡터를 적용한 초해상도 장치
  10. 제9항에 있어서,
    적어도 두 개 이상의 상기 후보 저해상도 패치와, 상기 후보 저해상도 패치에 대응하는 고해상도의 영상 패치인 후보 고해상도 패치의 쌍을 저장하는 영상 데이터 베이스부를 더 포함하고,
    상기 이웃 패치 선정부는 상기 영상 데이터 베이스 부에 포함된 상기 후보 저해상도 패치 중에서 상기 이웃 저해상도 패치를 선정하고,
    상기 이웃 패치 선정부에서 상기 이웃 저해상도 패치로 선정된 상기 후보 저해상도 패치에 대응하는 상기 후보 고해상도 패치가 상기 이웃 저해상도 패치에 대응하는 상기 이웃 고해상도 패치인 것을 특징으로 하는, 혼합 특징 벡터를 적용한 초해상도 장치
  11. 제10항에 있어서,
    상기 영상 데이터 베이스부는 상기 후보 저해상도 패치의 상기 혼합 특징 벡터를 더 저장하는 것을 특징으로 하는, 혼합 특징 벡터를 적용한 초해상도 장치
  12. 제10항에 있어서, 상기 영상 데이터 베이스부는,
    상기 후보 고해상도 패치를 입력받아 다운 샘플링을 통하여 상기 후보 저해상도 패치를 생성하는 후보 저해상도 패치 생성부;
    상기 후보 저해상도 패치에 대하여 상기 혼합 특징 벡터를 산출하는 후보 혼합 특징 벡터 산출부; 및
    상기 후보 고해상도 패치와 상기 후보 저해상도 패치와 상기 혼합 특징 벡터을 하나로 연결하여 저장하는 저장부를 포함하는 것을 특징으로 하는, 혼합 특징 벡터를 적용한 초해상도 장치
  13. 제2항에 있어서,
    상기 가중치 산출부는, 복수 개의 상기 이웃 저해상도 패치에 대하여, 상기 이웃 저해상도 패치의 상기 혼합 특징 벡터의 가중합과 상기 대상 패치의 상기 혼합 특징 벡터 간의 차이의 크기를 나타내는 제1 비용함수와, 상기 가중치의 크기를 나타내는 제2 비용함수에 따라 정해지는 총 비용함수가 일정한 정도 이하로 최소화되도록 상기 가중치를 산출하는 것을 특징으로 하는, 혼합 특징 벡터를 적용한 초해상도 장치
  14. 제13항에 있어서,
    상기 총 비용함수는 정규화 계수를 적용한 상기 제2 비용함수와 상기 제1 비용함수의 합이고,
    상기 가중치 산출부는 상기 가중치들의 크기가 모두 미리 정해진 일정한 정도 이하가 될 때까지 상기 정규화 계수를 조절하여 상기 가중치를 산출하는 것을 특징으로 하는, 혼합 특징 벡터를 적용한 초해상도 장치
  15. 제14항에 있어서,
    상기 가중치 산출부는 하기 식 1과 같이 산출되는 상기 총 비용함수를 최소화 함으로 상기 가중치를 산출하는 것을 특징으로 하는, 혼합 특징 벡터를 적용한 초해상도 장치
    식 1
    Figure 112014127173145-pat00013

    (TCF는 여기서 tf는 상기 대상 패치의 상기 혼합 특징 벡터이고, nf는 상기 이웃 저해상도 패치의 상기 혼합 특징 벡터이고, wi는 각 상기 이웃 저해상도 패치의 상기 혼합 특징 벡터에 적용되는 상기 가중치이고, NF는 상기 이웃 저해상도 패치들의 각 상기 혼합 특징 벡터들의 집합이고, i는 인덱스이고, λ 는 상기 정규화 계수이고, w는 wi를 각 성분값으로 하는 벡터이다.)
  16. 제2항에 있어서,
    상기 목표 고해상도 패치 합성부는 상기 가중치 산출부에서 산출된 상기 가중치를 각 상기 가중치에 대응하는 상기 이웃 저해상도 패치에 대응하는 상기 이웃 고해상도 패치에 적용하여, 상기 이웃 고해상도 패치들의 가중합을 산출하고, 상기 산출된 상기 이웃 고해상도 패치들의 가중합을 상기 목표 고해상도 패치로 하는 것을 특징으로 하는, 혼합 특징 벡터를 적용한 초해상도 장치
  17. 영상 확대 장치에 있어서,
    확대할 대상이 되는 일정한 크기를 가지는 영상 블록인 대상 패치를 입력받고, 상기 대상 패치가 에지 영역에 해당하는지 여부를 판단하고, 에지 영역에 해당하는지 여부에 따라 서로 다른 종류의 특징 벡터가 되는 혼합 특징 벡터(Hybrid Feature Vector)를 상기 대상 패치에 대하여 획득하는 혼합 특징 벡터 획득부;
    상기 혼합 특징 벡터들 간의 거리를 기준으로 상기 대상 패치와 근접한 이웃 저해상도 패치를 입력받는 이웃 패치 입력부;
    상기 이웃 저해상도 패치의 상기 혼합 특징 벡터의 가중합과 상기 대상 패치의 상기 혼합 특징 벡터 간의 차이의 크기를 일정한 정도 이하로 최소화하는, 상기 이웃 저해상도 패치의 상기 혼합 특징 벡터에 대한 가중치를 산출하는 가중치 산출부; 및
    상기 이웃 저해상도 패치에 대응하는 고해상도의 영상 패치인 이웃 고해상도 패치에 상기 가중치를 적용한 가중합을 산출하여, 상기 대상 패치를 확대한 고해상도 영상 패치인 목표 고해상도 패치를 합성하는 목표 고해상도 패치 합성부를 포함하는 것을 특징으로 하는, 혼합 특징 벡터를 적용한 초해상도 장치
  18. 제17항에 있어서, 상기 혼합 특징 벡터는,
    일정한 크기의 영상 블록에 대하여 획득되고, 상기 영상 블록 내의 화소 신호값들의 기울기 또는 변화의 정도를 나타내는 벡터인 그래디언트(Gradient) 특징 벡터가 되거나, 또는 상기 영상 블록 내의 화소 신호값을 정규화한 행렬인 놈(Norm) 특징 벡터가 되고,
    상기 영상 블록이 에지 영역에 해당하는 경우 상기 그래디언트 특징 벡터가 되고,
    상기 영상 블록이 에지 영역에 해당하지 않는 경우 상기 놈 특징 벡터가 되는 것을 특징으로 하는, 혼합 특징 벡터를 적용한 초해상도 장치
  19. 제18항에 있어서,
    상기 놈 특징 벡터는, 상기 영상 블록 내의 화소의 각 신호값에서 상기 영상 블록 내의 화소들의 신호값의 평균을 뺀 값들을 상기 놈 특징 벡터의 각 성분값으로 하는 것을 특징으로 하는, 혼합 특징 벡터를 적용한 초해상도 장치
  20. 제18항에 있어서,
    상기 가중치 산출부는, 복수 개의 상기 이웃 저해상도 패치에 대하여, 상기 이웃 저해상도 패치의 상기 혼합 특징 벡터의 가중합과 상기 대상 패치의 상기 혼합 특징 벡터 간의 차이의 크기를 나타내는 제1 비용함수와, 상기 가중치의 크기를 나타내는 제2 비용함수에 따라 정해지는 총 비용함수가 일정한 정도 이하로 최소화되도록 상기 가중치를 산출하는 것을 특징으로 하는, 혼합 특징 벡터를 적용한 초해상도 장치
  21. 영상 확대 방법에 있어서,
    확대할 대상이 되는 일정한 크기를 가지는 영상 블록인 대상 패치를 입력받고, 상기 대상 패치가 에지 영역에 해당하는지 여부를 판단하고, 에지 영역에 해당하는지 여부에 따라 서로 다른 종류의 특징 벡터가 되는 혼합 특징 벡터(Hybrid Feature Vector)를 상기 대상 패치에 대하여 획득하는 혼합 특징 벡터 획득 단계;
    상기 혼합 특징 벡터를 기준으로, 상기 대상 패치의 크기에 따른 크기를 가지는 적어도 두 개 이상의 후보 저해상도 패치들 중에서, 상기 대상 패치에 대응하는 이웃 저해상도 패치를 선정하는 이웃 패치 선정 단계;
    상기 이웃 저해상도 패치의 상기 혼합 특징 벡터의 가중합과 상기 대상 패치의 상기 혼합 특징 벡터 간의 차이의 크기를 일정한 정도 이하로 최소화하는, 상기 이웃 저해상도 패치의 상기 혼합 특징 벡터에 대한 가중치를 산출하는 가중치 산출 단계; 및
    상기 이웃 저해상도 패치에 대응하는 고해상도의 영상 패치인 이웃 고해상도 패치에 상기 가중치를 적용한 가중합을 산출하여, 상기 대상 패치를 확대한 고해상도 영상 패치인 목표 고해상도 패치를 합성하는 목표 고해상도 패치 합성 단계를 포함하는 것을 특징으로 하는, 혼합 특징 벡터를 적용한 초해상도 방법
  22. 제21항에 있어서,
    상기 혼합 특징 벡터 획득 단계 이전, 확대할 대상이 되는 저해상도 영상을 입력받아, 상기 저해상도 영상에서 일정한 픽셀 간격으로 상기 대상 패치를 추출하는 패치 추출 단계; 및
    상기 목표 고해상도 패치 합성 단계 이후, 상기 대상 패치에 대하여 합성된 상기 목표 고해상도 패치를 일정한 픽셀 간격으로 합성하여 고해상도 영상을 합성하는 단계를 더 포함하는 것을 특징으로 하는, 혼합 특징 벡터를 적용한 초해상도 방법
  23. 제21항에 있어서,
    상기 가중치 산출 단계는, 복수 개의 상기 이웃 저해상도 패치에 대하여, 상기 이웃 저해상도 패치의 상기 혼합 특징 벡터의 가중합과 상기 대상 패치의 상기 혼합 특징 벡터 간의 차이의 크기를 나타내는 제1 비용함수와, 상기 가중치의 크기를 나타내는 제2 비용함수에 따라 정해지는 총 비용함수가 일정한 정도 이하로 최소화되도록 상기 가중치를 산출하는 것을 특징으로 하는, 혼합 특징 벡터를 적용한 초해상도 방법

KR1020140192172A 2014-12-29 2014-12-29 혼합 특징 벡터를 적용한 초해상도 장치 및 그 방법 KR101544171B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020140192172A KR101544171B1 (ko) 2014-12-29 2014-12-29 혼합 특징 벡터를 적용한 초해상도 장치 및 그 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140192172A KR101544171B1 (ko) 2014-12-29 2014-12-29 혼합 특징 벡터를 적용한 초해상도 장치 및 그 방법

Publications (1)

Publication Number Publication Date
KR101544171B1 true KR101544171B1 (ko) 2015-08-12

Family

ID=54060966

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140192172A KR101544171B1 (ko) 2014-12-29 2014-12-29 혼합 특징 벡터를 적용한 초해상도 장치 및 그 방법

Country Status (1)

Country Link
KR (1) KR101544171B1 (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105957024A (zh) * 2016-04-20 2016-09-21 西安电子科技大学 基于图像块先验与稀疏范数的盲去模糊方法
KR101711589B1 (ko) * 2015-12-08 2017-03-02 연세대학교 산학협력단 초해상도 기법 기반 사전 생성 방법 및 이를 이용한 영상 확대 방법 및 그 장치
CN114612294A (zh) * 2020-12-08 2022-06-10 武汉Tcl集团工业研究院有限公司 一种图像超分辨率处理方法和计算机设备
CN115147267A (zh) * 2021-03-30 2022-10-04 晶晨半导体(上海)股份有限公司 图像处理装置、系统、方法和计算机可读存储介质

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101174130B1 (ko) * 2005-08-03 2012-08-14 삼성전자주식회사 초해상도 향상 처리장치 및 방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101174130B1 (ko) * 2005-08-03 2012-08-14 삼성전자주식회사 초해상도 향상 처리장치 및 방법

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101711589B1 (ko) * 2015-12-08 2017-03-02 연세대학교 산학협력단 초해상도 기법 기반 사전 생성 방법 및 이를 이용한 영상 확대 방법 및 그 장치
CN105957024A (zh) * 2016-04-20 2016-09-21 西安电子科技大学 基于图像块先验与稀疏范数的盲去模糊方法
CN114612294A (zh) * 2020-12-08 2022-06-10 武汉Tcl集团工业研究院有限公司 一种图像超分辨率处理方法和计算机设备
CN115147267A (zh) * 2021-03-30 2022-10-04 晶晨半导体(上海)股份有限公司 图像处理装置、系统、方法和计算机可读存储介质

Similar Documents

Publication Publication Date Title
JP6101817B2 (ja) 画像高画質化装置、画像表示装置、画像高画質化方法及びコンピュータプログラム
EP1347410A2 (en) Image processing method and apparatus
KR101544171B1 (ko) 혼합 특징 벡터를 적용한 초해상도 장치 및 그 방법
CN105323497A (zh) 恒定包围的高动态范围（cHDR）操作
JP4853653B2 (ja) 画像処理装置及び画像処理プログラム
JP6150899B2 (ja) 画像高画質化装置、画像表示装置、画像高画質化方法及びコンピュータプログラム
CN102202162A (zh) 图像处理设备，图像处理方法和程序
US9280811B2 (en) Multi-scale large radius edge-preserving low-pass filtering
JPWO2013089265A1 (ja) 辞書作成装置、画像処理装置、画像処理システム、辞書作成方法、画像処理方法及びプログラム
US8526500B2 (en) System and method for global inter-frame motion detection in video sequences
JP2004005675A (ja) 勾配解析を利用したデジタル画像のノイズ予測方法
US11145032B2 (en) Image processing apparatus, method and storage medium for reducing color noise and false color
US7885486B2 (en) Image processing system, method for processing image and computer readable medium
US9317904B2 (en) Image processing system and image processing method
US7697775B2 (en) Image signal processing apparatus and method, and program and recording medium used therewith
US20120086986A1 (en) Image processing apparatus, image processing method and storage medium
EP2966613A1 (en) Method and apparatus for generating a super-resolved image from an input image
US8744179B2 (en) Image processing apparatus, image processing method, and non-transitory computer readable medium that utilizes representative colors
JP5737387B2 (ja) 画像処理装置
JP7301589B2 (ja) 画像処理装置、画像処理方法、およびプログラム
JP4868139B2 (ja) 画像処理装置及び画像処理プログラム
CN103426146B (zh) 图像处理设备、图像处理方法
US20100208992A1 (en) Image processing apparatus and image processing method
US8472708B2 (en) Image processor, method for processing image and computer readable medium
KR101571440B1 (ko) 디스플레이 인지 컬러 평가 방법, 이를 수행하기 위한 기록 매체 및 장치

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20141229

PA0201 Request for examination
PA0302 Request for accelerated examination

Patent event date: 20150323

Patent event code: PA03022R01D

Comment text: Request for Accelerated Examination

Patent event date: 20141229

Patent event code: PA03021R01I

Comment text: Patent Application

PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20150417

Patent event code: PE09021S01D

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20150803

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20150806

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20150806

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
FPAY Annual fee payment

Payment date: 20180813

Year of fee payment: 4

PR1001 Payment of annual fee

Payment date: 20180813

Start annual number: 4

End annual number: 4

FPAY Annual fee payment

Payment date: 20191105

Year of fee payment: 5

PR1001 Payment of annual fee

Payment date: 20191105

Start annual number: 5

End annual number: 5

PR1001 Payment of annual fee

Payment date: 20200820

Start annual number: 6

End annual number: 6

PR1001 Payment of annual fee

Payment date: 20211018

Start annual number: 7

End annual number: 7

PR1001 Payment of annual fee

Payment date: 20230801

Start annual number: 9

End annual number: 9