KR100648308B1

KR100648308B1 - 해상도 변환방법 및 장치

Info

Publication number: KR100648308B1
Application number: KR1020040063605A
Authority: KR
Inventors: 이호영; 김창용; 박두식; 이성덕; 루킨알렉세이
Original assignee: 삼성전자주식회사
Priority date: 2004-08-12
Filing date: 2004-08-12
Publication date: 2006-11-23
Also published as: CN1735135A; JP2006054899A; JP4098319B2; US7876979B2; US20060033936A1; CN100484188C; KR20060014879A

Abstract

해상도 변환방법 및 장치가 개시된다. 본 해상도 변환방법은, 입력 영상에 에지 방향성 보간을 수행하여 중간 결과 영상을 산출하는 단계, 중간 결과 영상에 대하여 샘플링율을 변환하여 소정 해상도의 출력영상을 산출하는 단계, 및 산출된 출력영상에 대하여 선명도를 향상시키는 단계를 포함한다. 이에 의해, 종래의 해상도 변환방법에서 발생할 수 있는 화질 열화 요인을 방지하면서, 원하는 크기의 해상도를 갖는 출력 영상을 얻을 수 있다.

에지 방향성, 해상도, 선명도

Description

해상도 변환방법 및 장치{Resolution conversion method and apparatus}

도 1은 본 발명의 일실시예에 따른 해상도 변환 장치의 블럭도,

도 2는 도 1의 에지방향성 보간부에서 보간에 의해 생성되는 보간 화소를 설명하기 위한 도면,

도 3은 도 1에서 에지방향성 보간부의 동작방법의 설명에 제공되는 흐름도,

도 4a 및 도 4b는 에지 방향성 보간에서 방향성 추정을 설명하기 위한 도면

도 5a 내지 도 5f는 보간계수의 결정 방법을 설명하기 위한 도면

도 6은 블럭 분산의 예를 설명하기 위한 도면,

도 7은 2차 보간에서 보간계수의 결정 방법을 설명하기 위한 도면,

도 8은 일반적인 샘플링율 변환을 설명하기 위한 도면,

도 9는 도 1의 선형필터링부에서 샘플링율 변환회로의 일예에 대한 블럭도,

도 10은 도 1에서 선명도 향상부의 동작방법의 설명에 제공되는 흐름도,

도 11은 실제 에지 성분과 추정 에지 성분의 오차를 설명하기 위한 도면,

도 12는 대표 컬러간의 콘트라스트 증가의 예,

도 13은 대표 컬러간의 콘트라스트 증가 방법을 설명하기 위한 도면,

도 14는 도 1의 선명도 향상부에서 처리된 최종 결과 영상을 설명하기 위한 도면, 그리고

도 15는 블럭 불연속성 제거를 설명하기 위한 도면이다.

* 도면의 주요 부분에 대한 부호의 설명 *

100 : 에지방향성 보간부 200 : 선형필터링부

300 : 선명도 향상부

본 발명은 해상도 변환방법 및 장치에 관한 것으로, 더욱 상세하게는 화질 열화 요인의 발생을 방지하면서 입력 영상을 원하는 크기의 해상도를 갖는 출력 영상으로 변환하는 해상도 변환방법 및 장치에 관한 것이다.

CRT(Cathode Ray Tube)와 같은 아날로그 디스플레이 장치와 달리 LCD(Liquid Crystal Display) 등과 같은 디지털 디스플레이 장치에서는 화면 해상도가 제품에 따라 고정되어 있으므로, 다양한 해상도를 갖는 입력영상을 디스플레이 장치의 화면 해상도에 맞게 변환해 주는 해상도 변환이 필수적이다. 특히, HDTV((High Definition Television)의 출현으로 인해 기존 SD(Standard Definition)급 해상도의 영상을 HD(High Definition)급 TV 시스템에 디스플레이 하기 위한 해상도 변환에 대한 필요성이 증가하고 있는 실정이다.

그런데, 이러한 해상도 변환에 사용되는 종래의 방법들은 인간 시각의 화질 인식에 중요한 영상의 에지(edge) 부근에서 많은 화질 열화(artifact)를 발생시키다. 대표적인 화질 열화 현상으로는 해상도 변환후의 결과 영상에서 에지 부근에 톱니 모양의 패턴을 생성해내는 재깅(jagging), 해상도 변환으로 인한 선명도 저하를 발생시키는 블러링(blurring), 그리고 필터 특성의 저하로 인한 에지 근방의 링잉(ringing) 및 알리아싱(aliasing )현상 등이 있다.

한편, 해상도 변환과 관련한 종래 기술들은 크게 선형 필터링 기술을 이용한 방법, 및 비선형 필터링 기술을 이용한 방법으로 분류할 수 있다. 즉, US 5,889,895호, US 5,671,298호, US 2002/0140854호 등에 개시된 방법들은, 바이리니어(bilinear) 및 큐빅(cubic) 보간과 같은 선형 필터링 기법들을 이용하여 해상도 변환을 수행한다. 그런데, 이 방법들은 해상도 확대 과정에서 입력 영상의 고주파성분의 불충분한 재현으로 인해 선명도가 아주 떨어져 출력영상의 화질이 저하되는 문제점을 갖고 있다. 이러한 문제점을 보완하기 위해, US 2002/0140854호 등에는 낮은 해상도 신호에 대해 픽킹(peaking)을 적용하여 포텐셜 에지 화소들을 식별하고, 픽킹된 영상신호에 대해 업컨버젼을 수행한 후, 에지 화소 검출, 에지 링킹(edge linking), 그리고 휘도 트랜지션 향상(Luminance Transient Improvement)을 순차적으로 수행하여 고선명 영상 신호를 출력하는 방법이 개시되어 있다. 그러나, 이 방법은 스케일링 과정에서 기존의 선형 필터를 이용하고, 필터링 전후에 전처리 및 후처리 기법으로 피킹 및 휘도 트랜지션 향상 기능을 적용하여 디테일 및 선명도를 향상시키므로, 많은 연산량과 복잡한 하드웨어 구조를 필요로 하여, 그 성능의 향상에는 한계가 존재한다.

이에 대해, US 5,852,470호, US 5,446,804호 등에 개시된 비선형 필터링 기술을 이용한 방법들은 방향성 보간 기법(directional interpolation)과 내용 기반 보간(content-based interpolation) 방법으로 나눌 수 있다. 방향성 보간 기법의 경우, 영상의 에지 정보를 이용하여 에지 방향에 평행한 방향으로만 보간을 수행하여 에지 성분의 블러링을 방지하는 방법이다. 내용 기반 보간 방법은 미리 학습 과정(learning process)을 통해 최적화된 스케일링 필터 계수를 구한 후, 입력 영상의 국부적인 특성에 따라 학습된 필터 계수를 선택하여 해상도 변환을 수행하는 방법이다. 그러나, 이러한 방법들은 영상의 에지 부분에서는 비교적 양호한 결과를 보이지만, 세밀한 텍스쳐가 많은 복잡한 영역(finde textured region)의 경우에 화질이 열화되는 단점을 지닌다.

따라서, 본 발명의 목적은, 화질 열화 요인들의 발생을 제거하면서 입력 영상을 원하는 크기의 해상도를 갖는 출력 영상으로 변환하는 해상도 변환방법 및 장치를 제공하는데 있다.

상기 목적을 달성하기 위한 본 발명에 따른 해상도 변환 방법은, 입력 영상에 에지 방향성 보간을 수행하여 중간 결과 영상을 산출하는 단계, 상기 중간 결과 영상에 대하여 샘플링율을 변환하여 소정 해상도의 출력영상을 산출하는 단계, 및 산출된 상기 출력영상에 대하여 선명도를 향상시키는 단계를 포함한다.

상기 에지방향성 보간단계는, 상기 입력 영상의 화소 절대차를 이용하여 에지방향성을 추정하는 단계, 및 추정된 상기 에지방향성에 대응하는 위치의 화소값에 기초하여 적응적으로 보간계수를 결정하는 단계, 상기 예지방향 및 상기 보간계 수를 사용하여 에지방향성 보간값을 산출하는단계, 및 상기 에지방향성 보간값과 소정의 선형보간법에 의한 보간값을 적응적으로 브랜딩하여 최종 보간값을 산출하는 단계를 포함하는 것이 바람직하다.

이때, 상기 에지방향성은, 2개의 대각선 방향과 4개의 비대각선 방향에 대하여 추정되며, 상기 소정의 선형보간법으로는 바이큐빅 보간법을 사용할 수 있다.

바람직하게는, 보간 영역이 공간 주파수가 높은 영역인지 여부를 판단하여, 공간 주파수가 높은 영역인 경우에는 상기 소정의 선형보간법에 의한 보간값을 사용하여 최종 보간값을 산출하는 단계를 더 포함하며, 상기 공간 주파수가 높은 영역인지 여부는, 상기 보간 영역내의 평균 천이 국부 분산을 이용하여 판단하는 것이 오류를 감소시킬 수 있다.

또한, 상기 출력영상을 산출하는 단계는, 상기 입력영상의 해상도와 상기 소정 해상도에 따라 산출된 업샘플링과 다운샘플링의 비와, 설정된 사이드로브 개수를 승산하여 필터탭수를 산출하는 단계, 윈도함수를 싱크(sinc) 함수로 승산하여 상기 필터탭수 만큼의 1차 필터계수를 산출하는 단계, 상기 1차 필터계수에서 가우시안 함수와 윈도우 함수의 승산한 값을 이용하여 최종 필터계수를 산출하는 단계,및 상기 중간 결과 영상의 샘플링율을 변환시키고 상기 최종 필터계수에 따라 수평 및 수직 방향으로 필터링을 각각 수행하여 상기 소정의 해상도의 출력 영상을 산출하는 단계를 포함하는 것이 바람직하다.

이때, 상기 필터탭수는 다음의 식에 의해 산출되는 것이 가능하다.

여기서, L은 필터 길이, nLobes는 side-lobe의 개수, U와 D는 최적화된 업샘플링과 다운샘플링의 비, SmoothingAmount는 필터의 컷오프 주파수를 가변시키는 상수를 나타낸다.

상기 제1차 필터계수는 다음의 식에 의해 산출되는 것이 가능하다.

여기서, sin(x)/x 이상적인 저주파 대역 통과함수, Kaiser(i,β)는 카이저 원도우 함수를 나타낸다.

상기 선명도를 향상시키는 단계는, 중첩된 소정 크기의 블럭을 기반으로, 상기 블럭내에서 2개의 대표 컬러를 선정하는 단계, 선정된 상기 대표 컬러간의 콘트라스트를 증가시키는 단계, 에지 영역에 존재하는 화소값을 상기 콘트라스트가 증가된 2개의 대표 컬러중에서 근접한 대표 컬러로 천이 시키는 단계, 블럭 불연속성 제거를 위해 해닝 원도우(Hanning Window)를 이용하여 중첩 블럭의 결과값을 더하여 최종 결과 화소값을 산출하는 단계를 포함하는 것이 바람직하다.

이때, 상기 대표 컬러의 콘트라스트의 증가는, 입력 화소와 상기 2개의 대표 컬러간 거리 및 내적을 통해 적응적으로 증가할 수 있으며, 상기 2개의 대표컬러는 K-means 알고리즘에 의해 선정할 수 있다.

한편, 본 발명에 따른 해상도 변환 장치는, 입력 영상에 에지 방향성 보간을 수행하여 중간 결과 영상을 산출하는 에지방향성 보간부, 상기 중간 결과 영상에 대하여 샘플링율을 변환하여 소정 해상도의 출력영상을 산출하는 선형필터링부, 및산출된 상기 출력영상에 대하여 선명도를 향상시키는 선명도 향성부를 포함한다.

상기 에지방향성 보간부는, 상기 입력 영상의 화소 절대차를 이용하여 에지방향성을 추정하고, 추정된 상기 에지방향성에 대응하는 위치의 화소값에 기초하여 적응적으로 보간계수를 결정하고, 상기 예지방향 및 상기 보간계수를 사용하여 산출한 에지방향성 보간값과 소정의 선형보간법에 의한 보간값을 적응적으로 브랜딩하여 최종 보간값을 산출하는 것이 바람직하다.

상기 에지방향성 보간부는, 보간 영역이 공간 주파수가 높은 영역인 경우에는 상기 소정의 선형보간법에 의한 보간값을 사용하여 최종 보간값을 산출하며, 상기 공간 주파수가 높은 영역인지 여부는, 상기 보간 영역내의 평균 천이 국부 분산을 이용하여 판단하는 것이 가능하다.

상기 선명도 향상부는, 중첩된 소정 크기의 블럭을 기반으로, 상기 블럭내에서 2개의 대표 컬러를 선정하여 콘트라스트를 증가시키며, 에지 영역에 존재하는 화소값을 상기 콘트라스트가 증가된 2개의 대표 컬러중에서 근접한 대표 컬러로 천이 시키고, 블럭 불연속성 제거를 위해 해닝 원도우(Hanning Window)를 이용하여 중첩 블럭의 결과값을 더하여 최종 결과 영상을 산출하는 것이 바람직하다.

이때, 상기 대표 컬러의 콘트라스트의 증가는, 입력 화소와 상기 2개의 대표 컬러간 거리 및 내적을 통해 적응적으로 증가되며, 상기 2개의 대표컬러는 K-means 알고리즘에 의해 선정되는 바람직하다.

이하에서는 도면을 참조하여 본 발명을 보다 상세하게 설명한다.

도 1은 본 발명의 일실시예 따른 해상도 변환장치의 블럭도이다. 도 1을 참조하면, 본 해상도 변환장치는 에지방향성 보간부(100), 선형필터링부(200), 및 선명도 향상부(300)를 포함한다.

에지방향성 보간부(100)는 입력 영상에 대해 에지 방향성 보간법을 적용하여 수평 및 수직 방향으로 해상도를 각각 2배 확대하고, 해상도 변환 과정에서 발생할 수 있는 재깅(jagging)이 제거된 중간 결과 영상을 생성한다. 선형필터링부(200)는 목표 해상도와 일치하는 출력 영상의 생성을 위해, 에지방향성 보간부(100)에서 출력되는 중간 결과 영상에 대하여 선형 FIR 필터링을 수행하여 샘플링율을 변화시키며, 이 과정을 통해 링잉(ringing), 알리아싱(aliasing) 등의 발생이 최소화된 목표 해상도와 동일한 해상도를 갖는 출력 영상을 생성한다. 그리고, 선명도 향상부(300)는 에지방향성 보간부(100) 및 선형필터링부(200)에서의 해상도 변환 과정에서 발생하는 선명도 저하를 보완하여 최종 출력 영상을 생성한다.

이와 같은 구성의 본 해상도 변환장치에 대하여, 이하에서는 에지방향성 보간부(100), 선형필터링부(200), 및 선명도 향상부(300) 각각에 대하여 보다 상세하게 설명하기로 한다.

도 2는 도 1의 해상도 변환장치에서 에지방향성 보간부(100)의 보간에 의해 생성되는 보간된 화소를 설명하기 위한 도면이다. 도 2를 참조하면, 에지방향성 보간부(100)에 의한 에지 방향성 보간은 1차보간 및 2차보간의 2단계의 과정에 의 해 수행되며, 1차보간에서는 홀수 라인 및 홀수 컬럼 위치에서 에지 방향성 보간을 통해 보간 화소(Interpolated Pixel)들을 생성하고, 2차 보간에서는 다시 에지 방향성 보간을 통해 나머지 보간 화소들을 생성한다. 1차보간과 2차보간은 단지 참조되는 원화소(Original Pixel)의 위치만 변경될 뿐, 동일한 방식의 에지 방향성 보간이 사용되어 보간 화소들을 생성한다.

도 3은 도 1의 해상도 변환장치에서 에지방향성 보간부(100)의 동작방법의 설명에 제공되는 흐름도이다. 도 3을 참조하면, 에지방향성 보간부(100)는 먼저 보간계수 및 에지방향성을 결정하고(S400), 결정된 보간계수 및 에지방향성에 따라 에지방향성 보간을 수행하여 에지방향성 보간값을 산출한다(S405). 에지방향성 보간부(100)에서 수행되는 에지방향성 보간은, 도 4a에 도시한 바와 같은 2개의 대각선(diagonal) 방향과, 도 4b에 도시한 바와 같은 4개 방향의 비대각선(non-diagonal) 방향으로 구성되는 총 6개의 방향에 대하여 에지방향성을 추정한다.

에지방향성 보간부(100)는, 후술하는 과정에 의해 결정된 에지방향성 및 보간계수에 따라, 다음의 같은 대각선 방향 보간(

) 및 비대각선 방향 보간(

) 중 어느 하나에 의해 에지방향성 보간값을 산출한다.

에지방향성 보간부(100)는 [수학식 1]의 대각선 방향 보간과, [수학식 2]의 비대각선 방향 보간 중 어느 하나를 사용하게 되므로, [수학식 1] 및 [수학식 2]에서 각 방향성 보간계수(

)의 합은 각각 1이 되도록 한다.

에지 방향성 보간에 사용되는 보간계수(interpolation coefficient)의 결정은 입력 영상의 각 화소의 RGB 신호에 대해 [수학식 3]과 같이 휘도 신호를 구한 후, 구해진 휘도 신호를 기반으로 보간계수를 결정하게 되며, 결정된 보간계수는 동일 공간 위치의 R,G,B 각 화소에 대해 동일한 값을 적용하게 된다.

먼저, 대각선 방향의 보간계수는, 대각선 방향에 위치하는 입력 영상의 원화소들간의 절대차값(Absolute Difference)를 이용하여 결정하게 된다. 대각선 방향 보간계수 (

) 결정에 사용되는 입력 화소들간의 절대값은, 도 5a 및 도 5b에 도시된 바와 같으며, 도시된 화살표는 두 화소간의 절대차값을 표시한다. 보간계수의 결정은 45° 및 -45°방향에 존재하는 화소간 절대차값의 합은 다음의 수식과 같이 결정되며, 최종 에지방향성의 추정은 산출된 Dir₀와 Dir₁을 비교하여 최 소값을 가지는 방향으로 에지방향성을 추정하게 된다.

Dir₀와 Dir₁의 대소 비교를 통한 4개의 대각선 방향 보간계수 (

)의 결정은 다음의 [수학식 6] 내지 [수학식 8]를 사용하여 결정된다. 즉, 두 대각선 방향의 절대차값의 합이 0이면, 에지가 존재하지 않는 평탄한 화소로 간주하여, 다음의 [수학식 6]과 같이 모든 보간 계수의 값을 0.25로 결정한다.

두 대각선 방향의 절대 차값의 합이 0이 아니고, -45°방향의 절대차값이 작 은 경우에는 45°방향의 절대 차값과의 대소 비교를 통해, 다음의 [수학식 7]과 같이 보간계수를 결정한다.

{

}

45°방향 절대차값이 작은 경우에는 -45°방향에서와 동일한 방법으로, 다음의 [수학식 8]과 같이 보간계수를 결정한다.

{

}

비대각선 방향 보간계수의 결정은, 참조 화소의 위치만 다를 뿐 대각선 방향의 보간 계수 결정과 동일한 방법을 적용하며, 비대각선 방향의 에지방향성 결정에 사용되어지는 화소군은, 도 5c 내지 도 5f 와 같다. 먼저 4개 방향 절대차값의 평균값이 0인 경우에는 평탄한 영역으로 간주하여, 다음의 [수학식 9]와 같이, 8개 화소의 보간 계수를 모두 0.125로 결정한다.

이와 달리, 비대각선 4개의 방향(Dir2~Dir5) 가운데 최소값을 가지는 방향에 존재하는 두 개의 화소에 대해서만 보간 계수를 0.5로 설정하고, 나머지는 모두 0으로 설정하여 보간 계수를 결정하게 되는데, 다음의 [수학식 10]은 Dir₂방향이 최소값일 경우의 보간계수 결정의 예를 나타낸다.

현재 보간 화소 위치 즉, 보간될 화소에서의 최종 에지방향성 보간값의 결정은 각 에지방향의 보간계수 결정에 사용된 절대차값들의 최대,최소 및 평균값을 이용하여 다음의 수식과 같이 결정되며, 이에 따라 [수학식 1] 및 [수학식 2]중의 어느 하나를 사용하여 에지방향성 보간값을 산출한다.

다음 단계에서 공간 주파수가 높은 영역인지 판단하여(S410), 공간적 주파수가 높은 영역이 아니면, 에지방향성 보간값과 바이큐빅 보간값을 브랜딩하여 최종 보간값을 산출한다(S415). 즉, 에지 방향성 보간법을 사용하는 경우, 일반적으로 에지 방향성이 우세한 경우(dominant)에 에지에서 재깅(jagging)이 제거된 우수한 보간 결과를 얻을 수 있으나, texture 영역과 같이 우세한 방향성이 없는 경우(Non-dominant)에는 오히려 보간 결과에 나쁜 영향을 미치게 되는 역효과를 보이게 된다. 따라서, 이러한 영역에 대해서는 바이큐빅(biCubic)과 같은 선형 보간 기법을 사용하는 것이 오히려 화질 측면에서는 좋은 결과를 보이게 된다. 따라서, 공간 주파수가 높은 영역이 아닌 경우, 최종 방향성 보간값과 바이큐빅 보간값을 브랜딩(blending) 하여 상기 언급된 화질 열화를 방지하도록 한다(S410, S415). 이를 식으로 나타내면 다음의 [수학식 13]과 같다.

여기서, fBlend는 브랜딩 정도를 결정하는 값으로, 0 ≤ fBlend ≤1 사이의 값을 가진다. fBlend의 결정은 에지 방향 결정 과정에서 구한 Dir₀~ Dir₅의 절대 차값을 이용하여, 최종 에지방향성이 대각선 방향인 경우에는 [수학식 14]와 같이, 비대각선 방향인 경우에는 [수학식 15]와 같이 fblend 상수를 결정하게 된다.

즉, 최종 에지방향성을 결정하는 최소 절대차값의 합이 다른 방향성을 나타내는 절대차값의 합보다 비교적 큰 경우에는 뚜렷한 에지 방향성을 보이는 영역이므로 fBlend의 값을 증가시켜 에지 방향성 보간값을 최종 보간 결과값에 대한 반영 정도를 높여 에지에서 재깅(jagging)을 제거 하게 된다.

그런데, 이와 같은 브랜딩 방법은 대부분의 영상에서 우수한 결과를 나타내지만, 단위 면적당 강한 에지 성분의 수가 많이 존재하는 즉, 공간 주파수가 아주 높은 영역에서는 대부분의 최소 절대차를 기반으로 하는 에지방향성 보간법에서 에지방향성 추정에 오류가 발생할 가능성이 크며, 선형 기법의 브랜딩 만으로는 에지 방향성 보간법으로 인한 화질의 열화를 막는 데는 한계가 존재하게 된다.

이러한 열화를 막기 위해 추정되는 에지방향성의 개수를 증대시키는 방법이 있을 수 있으나, 에지 간격이 너무 조밀하여 주위 화소와의 최소 절대차값을 이용한 에지방향성 추정의 정확도가 저하되므로 그 효과는 연산량 증가에 비해 적다고 할 수 있다. 따라서, 에지방향성 보간부(100)는 공간 주파수가 높은 영역을 검출하여 고주파 영역으로 분류된 화소의 경우에는 강제적으로 4 tab 바이큐빅 보간 결과를 적용하도록(fblend=0) 한다(S410, S420).

그리고, 일반적으로 높은 공간 주파수를 검출하기 위해 분산(variance)을 이용하지만, 분산 정보 자체가 인간 시각 특성과 일치하지 뿐만 아니라 정확한 공간 주파수에 대한 정보를 주지 못하는 단점을 가진다. 따라서, 에지 방향성 보간법으로 인한 화질 열화가 발생하는 영역인 공간 주파수가 높은 영역의 검출에 사용되기에는 그 정확성이 떨어지게 된다. 도 6은 동일한 분산값 5625를 가지는 서로 다른 공간 주파수를 가지는 4개의 블럭을 나타낸다. 도 6에 도시된 바와 같이, 분산값이 동일하여도 서로 다른 공간 주파수를 갖을 수 있다. 이러한 문제점을 개선하기 위해 에지방향성 보간부(100)는 블럭 내 화소 각각을 고려하지 않고, 다음의 [수학식 16]과 같이 각 화소 주위 이웃 화소들의 평균값과의 차분을 이용하여 분산을 구 하여, 공간 주파수가 높은 영역인지 여부를 판단한다. 이와 같은 평균 천이를 고려한 국부 분산(Mean-deviated Local Variance)을 고려할 경우에 블럭 내 화소값 변화 분포를 정확하게 표현할 수 있는 장점을 가지게 된다.

[수학식 16]을 이용하여, 도 6과 같이 인간 시각이 느끼기에 공간 주파수가 다른 4개의 블럭에 대해 평균 천이 국부 분산을 구해보면, (a) 395.5, (b) 1186.5, (c) 2768.5, (d) 12656.5를 각각 나타내어 공간 주파수가 높을 수록 그 값이 증가하는 것을 알 수 있다. 따라서, 에지방향성 보간부(100)는 평균 천이 국부 분산를 적용하여 그 값이 문턱값 이상인 경우에는 공간 주파수가 높은 영역으로 간주하여, 강제적으로 바이큐빅 보간법을 적용하도록 하여, 공간 주파수가 아주 높은 영역에서의 에지 방향성 보간으로 인한 화질 열화를 방지하도록 한다.

에지방향성 보간부(100)에서 1차 보간이 완료되면, 다시 2차 보간을 수행한다(S425). 2차 보간의 경우에는 상기한 에지방향성 보간법을 그대로 적용하며, 차이점은, 도 7에 도시한 바와 같이, 참조되는 화소가 시계방향으로 45°천이된 차이만을 가진다.

선형필터링부(200)는 에지방향성 보간부(100)에 의한 에지 방향성 보간을 수행하여 에지에서 재깅(jagging)이 최소화된 중간 결과 영상에 대해 목표 해상도를 갖는 출력 영상을 획득하기 위해서는 샘플링율 변환 과정을 수행한다. 도 8은 일반적인 샘플링율 변환과정을 설명하기 위한 도면으로, 1차적으로 업샘플링을 통해 L배 샘플 수가 증가된 중간 변환 영상을 획득한 후, 2차 단계로서 목표 해상도를 가지는 출력 영상 획득을 위한 다운 샘플링 과정으로 입력 영상 샘플링율의 L/M배된 출력 샘플을 얻게 된다. 해상도 변환을 위한 샘플링율 변환 즉, 리샘플링(resampling)시스템의 성능은 저역 통과 필터(Low Pass Filter)에 의해 일반적으로 결정되며, 샘플링율 변환기의 성능 향상을 위한 FIR 필터 설계의 설계 방법으로는 다양한 기법이 존재하나, 선형필터링부(200)는 필터 특성 결정에 용이한 윈도윙(windowing) 방법을 이용하며, 이에 대한 수학식 표현은 다음과 같다.

여기서, h(n)은 최종 설계된 필터의 임펄스 응답(impulse response), h_d(n)은 이상적인 필터의 임펄스 응답(impulse response), 그리고 w(n)은 윈도우 함수를 각각 나타낸다.

윈도윙 필터 설계 방법은 이상적인 필터의 임펄스 응답이 시간 영역에서 ±∞ 까지 값이 존재하여 실제로 구현할 수 없으므로 유한길이 윈도우 함수(window function)을 곱하여 이상 임펄스 응답(ideal impulse response)이 절단된 유한 길이의 임펄스 응답을 구하는 과정이다. 시간 영역에서의 곱은 주파수 영역에서 컨벌루션(convolution)이 되므로, 설계하고자 하는 필터의 전달함수는 이상적인 저역 통과 필터의 주파수 응답과 윈도우 함수의 푸리에 변환(Fourier Transform) 된 값의 컨벌루션이 된다. 이상과 같은 방법으로 얻어지는 최종 설계 필터의 천이 대역의 폭(transition bandwidth)은 윈도우 함수의 푸리에 변환 스펙트럼의 주엽(main-lobe)의 폭(width)에 의해서 결정 되고 통과 대역(pass band)과 정지 대역(stop band)의 리플(ripple)은 윈도우 함수의 부엽, 즉 사이드로브(side-lobe)의 크기(magnitude)에 의해서 결정되게 된다. 윈도윙 방법에 사용되어지는 윈도우 함수로 다양한 윈도우 함수가 존재하나, 선형필터링부(200)에서는 사이드로브 크기 조절에 용이한 다음의 수식과 같은 Kaiser window를 사용한다.

여기서 M은 Filter Order로서 파라미터

를 결정지우며,

는 window shape를, 그리고

는 modified zero-order bessel function을 각각 나타낸다.

해상도 변환을 위한 이상적인 필터는 통과 대역(pass-band)에서 평탄한 응답과 높은 정지 대역 감쇠 특성을 가지는 필터로서, 필터의 임펄스 응답(impiulse response)이 가능한 작은 수의 사이드로브를 가지면서, 사이드로브의 진폭(amplitude)이 낮아 영상에서의 링잉(ringing) 발생을 억제하는 것이 이상적이라 할 수 있다. 이러한 이상적인 필터 설계의 어려움으로 인해 해상도 변환시 발생할 수 있는 화질 열화 artifact로서 블러링(blurring), 알리아싱(aliasing), 링잉(ringing) 등이 존재 하며, 이러한 화질의 열화 성분 발생을 억제시키는 정도가 필터의 성능을 결정하게 된다고 할 수 있다.

일반적으로 동시에 이러한 모든 열화 성분들을 제거할 수 있는 FIR 필터의 설계는 어려우며, 각 artifact 들의 발생은 트레이드 오프(trade-off) 관계를 가지게 된다. 예컨대, 블러링 발생을 억제하고 영상에서의 디테일(detail) 정보를 충실히 표현하기 위해 필터의 컷 오프(cut-off) 주파수를 높일 경우에는 영상의 고주파 성분의 알리아싱(aliasing) 발생 정도가 심하게 되어 안티알리아싱(anti-aliasing) 특성이 나빠지게 된다. 반대로, 안티알리아싱 특성을 향상 시키기 위해 필터의 컷 오프 주파수를 낮출 경우에는, 안티알리아싱 특성은 향상되지만 영상의 블러링 정도가 증가하게 된다. 따라서, 선형필터링부(200)는 이러한 화질 열화 요인(ringing, blurring, aliaisng) 들의 발생 정도를 절충하여 적용 분야 및 사용자의 기호에 따라 출력 화질을 생성시키기 쉬운 적응적 필터 설계 방법을 사용한다.

윈도윙 기반 FIR 필터 설계에서 가장 중요한 것은 천이대역폭과 정지대역 감쇠정도에 대한 조절로 알려져 있으며, 천이 대역폭의 조절은 필터 길이 조절을 통해 조정토록 하였으며, 정지대역 감쇠는 Kaiser window의

파라미터 조절을 통해 조정토록 한다. 일반적으로 LPF 필터 설계에서 필터의 컷 오프 주파수가 고정되고 공간 영역에서의 필터 커널이 사이드로브의 개수를 많이 가질 수록 필터의 길이는 증가하게 되며, 사이드로브의 개수가 고정일 경우 필터의 길이는 컷 오프 주파수에 비례하게 된다. 즉, 컷 오프 주파수가 증가할수록 설계된 필터 커널의 주엽(main- lobe) 폭이 감소되고, 컷 오프 주파수가 감소할수록 필터 커널의 주엽 폭이 증가하므로, 선형필터링부(200)에서는 다음의 [수학식 19]와 같이 샘플링율 변환을 위한 저역 통과 필터의 컷 오프 주파수를 조절하는 max{D,U}×SmoothingAmount와, 필터 커널에서의 사이드로브 개수를 나타내는 nLobes를 통해 필터의 길이를 조절하여 천이 대역폭을 조정토록 한다.

여기서 D와 U는 decimation factor(M) 및 interpolation factor(L)의 최대공약수 K로 M과 L을 각각 나눈 값을 나타내며(즉, D=M/k, U=L/K), max(D,U)는 필터의 컷 오프 주파수를 결정하게 된다.

공간 영역에서의 필터 계수는 다음의 [수학식 20]을 통해 결정하게 되며, i는 필터 길이 (0~L-1)내에서 이상적인 저역통과 필터인 싱크(sinc) 함수가 nLobes 만큼의 사이드로브 개수를 가질 수 있도록 하기 위한 argument scaling 상수로서 설계된 필터 커널의 사이드로브 개수를 조절하여 링잉 등의 artifact 발생을 조절하게 된다.

이와 같은 필터 설계 방법에 의한 필터링은 일반적인 폴리페이즈 필터링을 통해 구현되어 질 수 있으며, 2D image 및 video에 적용하기 위해서는 가로 와 세로 방향으로 separable하게 적용하여 최종적인 결과 영상을 얻게 되며, 도 9는 2D image 및 video에 적용하기 위한 샘플링율 변환 회로의 일예에 대한 블럭도를 나타낸다. 이러한 필터링을 위해 연산 및 하드웨어 복잡도를 위해 폴리페이즈 필터링 기법을 적용할 수 있다.

지금까지 설명된 에지 방향성 보간부(100) 및 선형필터링부(200)에 의해, 해상도 변환의 주요 화질 열화 요소인 재깅(jagging), 링잉(ringing), 알리아싱(aliasing)의 발생 제거는 이룰 수 있지만, 일반적으로 해상도 변환 후에 발생하는 입력 신호의 고주파 대역 스펙트럼의 저감으로 인한 선명도 저하를 피할 수는 없다. 일반적인 시청자의 화질 인식에 가장 중요한 선명도 저하 문제를 해결하기 위해 LTI (Luminance Transition Improvement) 및 디테일 향상(detail enhancement) 등을 사용하여 선명도 향상을 꾀하고 있지만, 해상도 변환 과정에서 발생하는 알리아싱 및 링잉 등의 성분도 함께 향상되어 화질 열화가 오히려 강조되는 경우가 많이 발생하며, 이러한 이유로 인해 선명도 향상 정도를 최대로 할 수 없다. 이러한 문제를 해결하기 위해서는 해상도 변환 기술을 통해 해상도가 증가된 영상에 존재하는 링잉(ringing) 성분의 제거가 필요하며, 이를 위해 선명도 향상부(300)는 이러한 잔재 링잉 성분의 추가 제거를 통해 선명도 향상 정도를 최대화 할 수 있는 선명도 향상 기술을 사용한다.

도 10은 도 1의 선명도 향상부(300)의 동작방법의 설명에 제공되는 흐름도이다. 도 10을 참조하면, 선명도 향상부(300)에서 선명도 향상방법은 중첩 블럭 (overlapped block)기반으로 구동되며, 각 블럭마다 2개의 대표 컬러를 구한 후, 구한 대표 컬러간의 콘트라스트를 증가시키게 된다(S500, S505). 선명도 향상부(300)에서의 대표 컬러의 선정은 K-means 알고리즘을 기반으로 하며, 먼저 K-means 알고리즘 적용을 위한 초기 대표 컬러를 입력 RGB 신호에 대해 [수학식 3]을 이용하여 휘도값을 구한 후, 블럭 내 최대 및 최소 휘도값을 가지는 화소의 RGB값을 초기 대표 컬러로 선정하게 된다. 초기 대표값을 기반으로 블럭 화소 정보를 이용하여 K-means 알고리즘을 적용하여 초기 대표 컬러값을 갱신하게 되는데, 일반적으로 K-means 알고리즘을 이용한 초기 대표 컬러값 갱신 과정에서는 반복 연산을 통해 최종 대표 컬러를 구하게 되지만, 하드웨어 구현을 위해 반복 연산의 회수를 1회로 제한할 수 있다.

도 11은 대표 컬러의 갱신을 위한 반복 연산 제한으로 인한 블럭내 실제 에지(True Edge) 성분과 추정 에지(Estimated Edge) 성분간 오차의 예를 보여 준다. 초기 대표 컬러가 휘도값의 최대 및 최소값으로 결정되므로 추정된 2개의 대표 컬러는 블럭 내 에지 성분을 이루는 2개의 컬러 성분을 나타낸다고 볼 수 있다. 도 11에 도시한 바와 같이, 실제 에지 성분과 추정된 에지 성분간은 K-means 알고리즘의 1회 반복 연산 제한으로 인해 오차가 발생하게 되며, 이의 보완을 위해 2개의 대표 컬러간 콘트라스트를 증가시켜, 반복 연산 제한 조건의 문제를 해결한다.

대표 컬러간의 콘트라스트를 증가시킨 후에, 블럭 내 모든 입력 화소에 대해 가장 인접한 2개의 대표 컬러로 입력 화소값을 변화시켜 링잉 성분을 제거하게 된다(S510). 링잉 성분이 제거된 블럭 데이터에 대해 선명도 향상을 위해 간단한 언샤프 마스킹(unsharp masking) 기반의 고주파 성분 향상 블럭을 통한 후, 최종 결과 영상을 획득하게 된다(S515).

도 12는 2개의 대표 컬러간 대비 증가의 예를 2차원 평면상에 도시한 도면이다. 도 12에서 2개의 지점은 K-means 알고리즘에 의해 추정된 2개의 대표 컬러를 나타내며, 대표 컬러를 둘러싼 큰 타원은 블럭 데이터의 컬러 분포를 나타낸다. 실제 에지 성분의 대표 컬러로의 근사화를 위해 2개의 대표 컬러의 대비 증가 방향은 화살표로 표시되어져 있으며, 원은 과도한 대비 증가를 방지하기 위해 설정된 영역을 나타낸다. 대표 컬러의 대비 향상 과정은 하나의 대표 컬러에 대해 블럭의 입력 화소와 다른 대표 컬러간의 거리 및 내적(dot product)을 이용하여 대표 컬러 값을 갱신하게 된다.

도 13은 대표 컬러간의 콘트라스트 증가 방법을 설명하기 위한 도면이다, 도 13에서, Rep_Color0, Rep_Color1는 2개의 대표 컬러를 나타내고, Pixel_i 및 Pixel_k 는 임의의 블럭 내 컬러를 나타낸다. 초기 대표 컬러의 갱신을 위한 입력 컬러의 선택을 Pixel_i에 대해 설명하면 다음의 [수학식 21] 및 [수학식 22]와 같다.

Dot_Product =

[수학식 21]은 입력 컬러 Pixel_i와 대표컬러 Rep_Color0간의 distance를, [수학식 22]는 2개의 대표 컬러와 입력 컬러가 이루는 두 개의 벡터

간의 내적을 각각 나타낸다. 입력 컬러가 과도한 대비 증가 방지를 위한 영역 내에 있거나, 그 내적이 음수인 경우에는 대표 컬러 갱신을 위한 후보 컬러로 선정하여 대표 컬러의 갱신에 사용하게 된다.

if Dist < Limit_Dist && Dot_Product < 0 Use the color update

otherwise Skip

과도한 대비 증가 방지를 위한 Limit_Dist 값은 다음의 식과 같이 정의하였다.

이와 같은 연산을 블럭 내 모든 화소에 대해 2개의 대표 컬러에 적용하여 후보 화소를 결정한 후, K-means 알고리즘을 적용하여 갱신된 대표 컬러를 얻게 된다. 대비가 향상된 최종 대표 컬러의 계산 후, 블럭 내 화소들을 인접한 대표 컬러로 인접도(proximity) 를 측정하여 적응적으로 천이시켜 ringing 현상을 제거하게 된다. 입력 컬러가 2개의 대표 컬러의 중간에 위치하는 경우에는 컬러 천이없이 입력값 그대로 출력하며, 입력 컬러가 인접 대표컬러에 가까울수록, 블럭내 에지 성분이 강할수록 컬러 천이 정도는 증가하게 된다. 대표 컬러를 이용한 컬러의 천이를 위해서는 에지 강도의 측정과 2개의 대표 컬러와 현재 입력 컬러 간의 인접도 측정이 필요 하며, 먼저 에지 강도를 결정하는 방법은 아래 수식과 같다.

[수학식 25]는 대표 컬러간의 거리(distance)를 나타내고, [수학식 26]은 입력 화소와 K-means 알고리즘의 적용 시 결정된 현재 입력화소가 속하는 대표 컬러간 거리를 나타내며, 현재 입력 블럭에 대한 최종 에지 성분의 강도는 pseudo-code와 [수학식 27]을 이용하여 구한다.

for i:i == BlockHeight: i++

for j: j == BlockWight: j++

2개의 대표 컬러 가운데 현재 입력 컬러가 인접한 컬러를 구하기 위해서는 각 대표 컬러와 현재 입력 컬러간의 distance를 아래와 같이 구한다. 여기서 Dist0는 K-means 알고리즘의 적용 시 결정된 현재 입력화소의 대표 컬러와의 distance 를, Dist1는 이외 대표 컬러와의 distance를 각각 나타낸다.

2개의 대표 컬러와 현재 입력 컬러간의 distance를 이용한 최종 인접도는 다음의 [수학식 30]과 같다.

여기서 인접도를 나타내는 proximity는 0~1사이의 값을 가지도록 clipping되며, 현재 입력 화소의 대표 컬러에 인접할수록 그 값은 감소하게 된다. 최종 컬러 천이는 블럭 내 에지 강도가 클수록, 인접 컬러와의 distance가 작을 수록 컬러 천이 정도는 증가하게 되며 아래 [수학식 (31)과 같이 구한다.

도 14는 선명도 향상부(300)에서 처리된 최종 결과 영상을 설명하기 위한 도 면이다. 도 14를 참조하면, 해상도 변환된 입력 영상은 링잉 성분이 잔재해 있을 수 있으며, 이에 대해 후처리기법으로 디테일 향상(detail enhancement)을 적용할 경우에 링잉 성분도 함께 향상되어 화질 열화가 발생할 수 있다. 선명도 향상부(300)는 블럭 내에서 2개의 대표컬러를 구한 후, 이들 대표 컬러에 대해 블럭 내 화소값을 이동시키므로 링잉 성분이 제거됨과 동시에 LTI 또는 CTI 와 유사한 기능을 수행하게 된다. 이렇게 대표 컬러를 중심으로 링잉 성분이 제거된 블럭에 대해 선명도 향상을 위해 간단한 언샤프 마스킹 기법을 적용하여 선명도가 향상되면서 링잉 성분 등의 강조가 최소화된 최종 출력영상을 획득할 수 있다.

한편, 이와 같은 선명도 향상방법은 블럭 기반 연산이므로, 독립적으로 처리된 각 블럭을 그대로 출력 시킬 경우에 JPEG 및 MPEG과 같은 블럭기반 압축 방법에서 발생하는 블럭간 경계에서 불연속성(discontinuity) 문제가 발생할 수 있다. 이러한 문제점의 개선을 위해 선명도 향상부(300)는 중첩 블럭(overlapped block) 구조 기반으로 동작 하며, 해닝 원도우(Hanning window)를 이용하여 처리된 블럭 경계에서 발생할 수 있는 불연속성을 제거한다. 즉, 먼저 입력 영상을 전체 블럭 크기의 절반 크기만큼 중첩 시켜 블럭을 구성한 후(예를 들어 입력 블럭의 크기가 8×8인 경우에 인접 블럭과는 4화소만큼 중첩시킨다), 독립적으로 처리된 각 블럭을 해닝 원도우를 이용하여 이웃 블럭 간 경계에서 스무드 트랜지션(smooth transition)이 가능하도록 하여 불연속성을 제거한다.

도 15는 인접한 두 개의 블럭간 경계에서 해닝 윈도우(Hanning window)를 이용한 스무드 트랜지션(smooth transition)의 개념도를 나타낸다. 도 15을 참조하 면, 먼저 독립적으로 처리된 각 블럭 데이터에 대해 2차원 해닝 윈도우를 곱한 후, (도 14는 1차원 형태로 설명) 원도우 계수가 곱해진 블럭 데이터를 서로 더하여 최종 결과 블럭 데이터를 구하게 된다. 각 블럭에 곱해지는 윈도우 함수는 중첩된 블럭 부분를 중심으로 한쪽은 블럭 경계 방향으로 하고, 다른 한쪽은 블럭 경계방향에서부터 페이드인(fade-in) 하는 형태로 분포하게 되고, 중첩된 블럭 경계 부분에서 두 개의 원도우 함수 계수의 합은 항상 1이 되어 왜곡없이 스무드 트랜지션이 가능하게 된다.

이상 설명한 바와 같이, 본 발명에 따르면, 종래의 해상도 변환방법을 사용하는 경우 발생할 수 있는 화질 열화 요인인, 재깅(jagging), 링잉(ringing), 선명도 저하 문제 등을 해결할 수 있다. 또한, 선형필터링부에서 사용되는 FIR 필터 설계 기술의 경우 응용 분야나 사용자의 기호에 따라 공간 영역 상에서 필터 설계 파라미터를 변경하여 쉽게 필터를 설계 할 수 있는 장점을 가지며, 에지 방향성 보간 필터는 에지 방향성 추정이 간단할 뿐만 아니라 일반적인 비선형 필터가 가지는 알리아싱(aliasing) 특성 저하 문제를 입력 영상의 분류을 통해 간단한 4 tab 큐빅(bicubic) 보간 결과와 적응적으로 브랜딩(blending)하여 안티알리아싱(anti-aliasing) 특성을 향상 시키면서 에지에서 재깅 현상을 최소화할 수 있다. 특히, 선명도 향상부는 해상도 변환 영상에 남아있는 링잉을 효과적으로 제거하여 간단한 언사프 마스킹(unsharp mask)의 적용을 통해서도 효과적으로 해상도 변환 영상의 선명도를 향상 시킬 수 있을 뿐만 아니라, 독립적으로 기존에 사용되는 디테일 향 상(detail enhancer) 방법을 대체할 수도 있다.

또한, 이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.

Claims

대각선 방향에 위치하는 입력 영상의 원소들 간의 절대차 값을 이용하여 보간 계수를 결정하여 에지 방향성 보간을 수행하고 중간 결과 영상을 산출하는 단계;

상기 중간 결과 영상에 대하여 샘플링율을 변환하여 소정 해상도의 출력영상을 산출하는 단계; 및

산출된 상기 출력영상에 대하여 선명도를 향상시키는 단계;를 포함하는 것을 특징으로 하는 해상도 변환방법.
제1항에 있어서,

상기 중간 결과 영상을 산출하는 단계는,

상기 입력 영상의 화소 절대차를 이용하여 에지방향성을 추정하는 단계; 및

추정된 상기 에지방향성에 대응하는 위치의 화소값에 기초하여 적응적으로 보간계수를 결정하는 단계;

상기 에지방향 및 상기 보간계수를 사용하여 에지방향성 보간값을 산출하는단계; 및

상기 에지방향성 보간값과 소정의 선형보간법에 의한 보간값을 적응적으로 브랜딩하여 최종 보간값을 산출하는 단계;를 포함하는 것을 특징으로 하는 해상도 변환방법.
제2항에 있어서,

상기 에지방향성은, 2개의 대각선 방향과 4개의 비대각선 방향에 대하여 추정되는 것을 특징으로 하는 해상도 변환방법.
제2항에 있어서,

상기 소정의 선형보간법은 바이큐빅 보간법인 것을 특징으로 하는 해상도 변환방법.
제2항에 있어서,

보간 영역이 공간 주파수가 높은 영역인지 여부를 판단하여, 공간 주파수가 높은 영역인 경우에는 상기 소정의 선형보간법에 의한 보간값을 사용하여 최종 보간값을 산출하는 단계;를 더 포함하는 것을 특징으로 하는 해상도 변환방법.
제5항에 있어서,

상기 공간 주파수가 높은 영역인지 여부는, 상기 보간 영역내의 평균 천이 국부 분산을 이용하여 판단하는 것을 특징으로 하는 해상도 변환방법.
제1항에 있어서,

상기 출력영상을 산출하는 단계는,

상기 입력영상의 해상도와 상기 소정 해상도에 따라 산출된 업샘플링과 다운샘플링의 비와, 설정된 사이드로브 개수를 승산하여 필터탭수를 산출하는 단계;

윈도함수를 싱크(sinc) 함수로 승산하여 상기 필터탭수 만큼의 1차 필터계수를 산출하는 단계;

상기 1차 필터계수에서 가우시안 함수와 윈도우 함수의 승산한 값을 이용하여 최종 필터계수를 산출하는 단계; 및

상기 중간 결과 영상의 샘플링율을 변환시키고 상기 최종 필터계수에 따라 수평 및 수직 방향으로 필터링을 각각 수행하여 상기 소정의 해상도의 출력 영상을 산출하는 단계;를 포함하는 것을 특징으로 하는 해상도 변환방법.
제7항에 있어서,

상기 필터탭수는 다음의 식에 의해 산출되는 것을 특징으로 하는 해상도 변환 방법:

여기서, L은 필터 길이, nLobes는 side-lobe의 개수, U와 D는 최적화된 업샘플링과 다운샘플링의 비, SmoothingAmount는 필터의 컷오프 주파수를 가변시키는 상수.
제7항에 있어서,

상기 제1차 필터계수는 다음의 식에 의해 산출되는 것을 특징으로 하는 해상도 변환방법:

여기서, sin(x)/x 이상적인 저주파 대역 통과함수, Kaiser(i,β)는 카이저 원도우 함수.
제1항에 있어서,

상기 선명도를 향상시키는 단계는,

중첩된 소정 크기의 블럭을 기반으로, 상기 블럭내에서 2개의 대표 컬러를 선정하는 단계;

선정된 상기 대표 컬러간의 콘트라스트를 증가시키는 단계;

에지 영역에 존재하는 화소값을 상기 콘트라스트가 증가된 2개의 대표 컬러중에서 근접한 대표 컬러로 천이 시키는 단계;

블럭 불연속성 제거를 위해 해닝 원도우(Hanning Window)를 이용하여 중첩 블럭의 결과값을 더하여 최종 결과 화소값을 산출하는 단계;를 포함하는 것을 특징 으로 하는 해상도 변환 방법.
제10항에 있어서,

상기 대표 컬러의 콘트라스트의 증가는, 입력 화소와 상기 2개의 대표 컬러간 거리 및 내적을 통해 적응적으로 증가되는 것을 특징으로 하는 해상도 변환방법.
제10항에 있어서, 상기 2개의 대표컬러는 K-means 알고리즘에 의해 선정되는 것을 특징으로 하는 해상도 변환방법.
대각선 방향에 위치하는 입력 영상의 원소들 간의 절대차 값을 이용하여 보간 계수를 결정하여 에지 방향성 보간을 수행하고 중간 결과 영상을 산출하는 에지방향성 보간부;

상기 중간 결과 영상에 대하여 샘플링율을 변환하여 소정 해상도의 출력영상을 산출하는 선형필터링부; 및

산출된 상기 출력영상에 대하여 선명도를 향상시키는 선명도 향성부;를 포함하는 것을 특징으로 하는 해상도 변환장치.
제13항에 있어서,

상기 에지방향성 보간부는,

상기 입력 영상의 화소 절대차를 이용하여 에지방향성을 추정하고, 추정된 상기 에지방향성에 대응하는 위치의 화소값에 기초하여 적응적으로 보간계수를 결정하고, 상기 예지방향 및 상기 보간계수를 사용하여 산출한 에지방향성 보간값과 소정의 선형보간법에 의한 보간값을 적응적으로 브랜딩하여 최종 보간값을 산출하는 것을 특징으로 하는 해상도 변환장치.
제14항에 있어서,

상기 에지방향성은, 2개의 대각선 방향과 4개의 비대각선 방향에 대하여 추정되는 것을 특징으로 하는 해상도 변환장치.
제14항에 있어서,

상기 소정의 선형보간법은 바이큐빅 보간법인 것을 특징으로 하는 해상도 변환장치.
제14항에 있어서,

상기 에지방향성 보간부는, 보간 영역이 공간 주파수가 높은 영역인 경우에는 상기 소정의 선형보간법에 의한 보간값을 사용하여 최종 보간값을 산출하는 것을 특징으로 하는 해상도 변환장치.
제17항에 있어서,

상기 공간 주파수가 높은 영역인지 여부는, 상기 보간 영역내의 평균 천이 국부 분산을 이용하여 판단하는 것을 특징으로 하는 해상도 변환장치.
제13항에 있어서,

상기 선명도 향상부는,

중첩된 소정 크기의 블럭을 기반으로, 상기 블럭내에서 2개의 대표 컬러를 선정하여 콘트라스트를 증가시키며, 에지 영역에 존재하는 화소값을 상기 콘트라스트가 증가된 2개의 대표 컬러중에서 근접한 대표 컬러로 천이 시키고, 블럭 불연속성 제거를 위해 해닝 원도우(Hanning Window)를 이용하여 중첩 블럭의 결과값을 더하여 최종 결과 영상을 산출하는 것을 특징으로 하는 해상도 변환장치.
제19항에 있어서,

상기 대표 컬러의 콘트라스트의 증가는, 입력 화소와 상기 2개의 대표 컬러간 거리 및 내적을 통해 적응적으로 증가되는 것을 특징으로 하는 해상도 변환장치.
제19항에 있어서, 상기 2개의 대표컬러는 K-means 알고리즘에 의해 선정되는 것을 특징으로 하는 해상도 변환장치.