KR100616761B1 - 선명도를 강화하기 위한 방법 및 장치 - Google Patents

Abstract

본 발명은 필터링된 신호(z_x 및 z_y)를 얻기 위하여 입력신호(s)를 필터링 (HLHP, VLHP)하는 단계와, 승산된 신호들을 얻기 위하여 제어가능한 분수( λ, c_x, c_y)로 상기 필터링된 신호를 승산(M2 및 M3)하는 단계와, 상기 승산된 신호들을 입력신호(s)에 가산(A2)하는 단계를 포함하는 선명도 강화방법에 관한 것이다. 본 발명에 따르면, 제어가능한 분수(c_x, c_y)는 비선형 함수(HCF 및 VCF)에 의해 발생된다.

선명도, 비선형 함수

Description

선명도를 강화하기 위한 방법 및 장치 {Sharpness enhancement}

본 발명은 선명도를 강화하기 위한 방법 및 장치에 관한 것이다.

TV 및 PC 시스템의 기능을 통합하는 계획에서, 특히 홈 환경에서, PC 구조에 있어서 비디오 영상의 고품질 디스플레이는 업계에서 흥미있는 문제가 되었다. PC의 합성 영상에 대한 공간 해상도가 자연적인 비디오 장면의 공간 해상도를 능가하기 때문에, 개선된 품질의 TV 영상에 대한 요구가 증대될 것이다. 인간 시각 시스템에 의해 결정된 주관적인 속성 선명도는 영상 품질의 인식에서 가장 중요한 인자이다. 2-D 선명도 강화에 대한 많은 알고리즘이 이미 제안되었을지라도, 이들 알고리즘의 유효성은 본 명세서에 개시된 바와같이 떨어진다. 사실상, 영상 처리문헌에서는 2-D의 강화를 위해 설계된 오퍼레이터가 비디오 시퀀스에 간단히 적용될 수 있는 것이 종종 함축적으로 가정된다. 이는 대비 선명도에 관한 한 사실이 아닌데, 종래의 2-D 기술은 정지화상에서 바람직하게 허용될 수 있으나 영상 시퀀스에서 눈에 보여서 매우 성가시게 되는 많은 작은 인조잡음 및 비균일성을 발생시킨다. 더욱이, 가시성은 시퀀스 내용, 즉 디테일 및 모션의 양에 따른다.

더욱이, PC 환경에서 MPEG, AVI 등에 의해 압축해제된 영상에 대해 주의가 집중된다. 이러한 경우에, 네트워크 및 버스 스루풋 제한 및 제한된 저장용량은 매우 낮은 비트율에서 동작하며 압축해제된 영상에서 가시 차단현상을 유발하는 압축기술의 사용을 부가한다. 블록 그 자체의 가장자리를 따라 발생하는 인공 고주파수는 차단 인조잡음이 강조되도록 선명도 강화 알고리즘에 의해 증폭된다.

영상 강화 기술의 임무는 종종 장면을 인간에게 잘보이도록 또는 임의의 기계적인 성능(예컨대, 대상물 식별)을 향상시키도록 장면의 디테일을 강조하는 것이며, 동시에, 영상 강화기술은 잡음을 감소시키거나, 적어도 잡음의 증폭을 방지해야한다. 콘트라스트 강조에 대한 알고리즘들은 알고리즘의 선택시 상호작용 방식으로 사용되며 알고리즘의 파라미터들의 세팅은 특정 응용에 따른다.

다수의 방법이 영상의 인식된 품질을 개선하기 위해 고안되었다[1]. 공지된 방법인 히스토그램 균등화는 거의 규일한 출력 그레이 레벨 분포[1, 2]를 얻기 위해 입력 그레이 레벨들의 맵핑(mapping)에 기초하고 있다. 그러나, 전체 영상에 적용된 히스토그램 균등화는 성기게(sparsely) 분포된 히스토그램 영역에서 낮은 콘트라스트의 감쇠의 단점을 가진다. 이러한 문제점은 계산이 매우 복잡한 국소 히스토그램 균등화를 사용함으로써 완화될 수 있다.

다른 방법으로는, 통계적 차분법(statistical differencing)이라 불리는 다른 방법은 화소에서 중심에 놓이는 특정 윈도우내에서 추정된 표준 편차에 의해 각각의 화소값을 나눔으로써 강화된 영상을 발생시킨다[2]. 따라서, 영상에서 화소의 진폭은 상기 화소가 다른 방식으로 감소되는 동안 화소가 인접 화소와 상당히 다를 때 증가된다. 통계적 자분 방법의 귀납적 결과는 미리 선택된 1차 및 2차 모멘트를 포함한다.

콘트라스트 강화에 대한 대안적인 방법은 위상을 일정하게 유지하면서 영상의 푸리에 변환의 크기에 대한 수정에 기초한다. 변환 크기는 0과 1사이의 범위에서 정규화되며 0과 1사이의 수인 전력으로 상승된다[3]. 수정된 스펙트럼의 역변환은 강화된 영상을 산출한다. 이와같이 개념적인 단순한 방법은 강화된 잡음 및 날카로운 에지의 중복과 같은 두 형태의 인조잡음을 가진 부적절하게 강화된 영상들을 발생시킨다. 더욱이, 이러한 방법은 계산이 매우 복잡하다.

불선명 영상을 강화하기 위하여 사용될 수 있는 단순한 선형 오퍼레이터는 불선명 마스킹(Unsharp Masking; UM)이다[1]. 불선명 마스킹 방법은 마하 밴드 효과(Mach band effect)라 불리는 인간의 시각 시스템의 특성을 개발한다. 이러한 특성은 인접 영역의 인식된 명도의 차이가 상기 전이의 선명도에 의존하는 시각적인 현상을 기술하며[1], 결과로써, 영상 선명도는 영상영역들 사이의 더욱 뚜렷한 변화를 도입함으로써 개선될 수 있다. UM의 기본적인 사상은 신호 그자체의 저역통과 필터링된 버전을 입력으로부터 감산하는 것이다. 그러나, 고주파수 성분이 강화되는 신호의 처리된 버전을 입력신호에 가산함으로써 동일한 효과가 얻어질 수 있으며, 본 발명은 도 1에 개략적으로 도시된 후자의 공식을 언급할 것이다. 도 1은 입력신호 x(n)의 선형적으로 고역통과 필터링된(HPF) 버전이 인자 λ에 의해 승산된 다음 출력신호 y(n)를 형성하도록 입력신호 x(n)에 가산되는 것을 도시한다. 고역통과 필터(HPF)의 출력은 신호 변화를 더욱 날카롭게 만드는 강조를 삽입한다. 이 효과는 도 2에 예시되어 있다. 도 2에서, 곡선(a)은 원신호를 나타내며, 곡선(b)은 입력신호의 1차 도함수(derivative)를 나타내며, 곡선(c)은 입력신호의 2차 도함수를 나타내며, 곡선(d)은 원신호 빼기 k 곱하기 2차 도함수를 나타낸다.

1차원에서, 도 1의 블록도에 의해 도시된 UM 연산은 다음과 같이 수학적으로 표현된다.

y(n)=x(n)+λz(n)

여기서, y(n) 및 x(n)은 강화된 신호 및 원신호를 각각 나타내며, z(n)은 선명도 성분을 의미하며, λ은 양의 상수이다. 공통적으로 사용된 선명도 성분은 예컨대 다음과 같이 주어진 라플라스 연산일 수 있는 선형 고역통과 필터에 의해 얻어진 성분이다. 즉 z(n)=2x(n)-x(n-1)-x(n+1)

비록 이러한 방법이 단순하게 실행할 수 있을지라도, 이러한 방법은 그것의 장점을 상당히 감소시킬 수 있는 두 개의 단점을 가진다. 첫째, 오퍼레이터는 날카로운 디테일들에 대한 초과 오버슈트를 발생시킨다. 둘째, 오퍼레이터는 또한 잡음 및/또는 디지털화 효과를 강화한다. 앞의 문제점은 UM 방법이 입력의 고주파수 성분들에 강조를 할당하는 사실로부터 야기되어, SNR(신호대 잡음비)가 낮은 스펙트럼의 일부분을 증폭한다. 반대로, 입력 영상에서의 넓고 급격한 휘도 전이는 오버슈트 효과를 발생시킬 수 있으며, 이들 변화는 마하 밴드 효과를 통해 인간의 시각 시스템에 의해 더 명시된다.

선형 UM 기술의 여러 변화들은 잡음 증폭을 감소시키려는 의도로 문헌에서 제안되었다. 보다 일반적인 방법은 대역통과 필터를 도 1의 고역통과 필터로 대체하는 것이다. 이는 잡음 현상을 감소시키나 대부분의 영상에서 효과적인 디테일 강화를 막는다.

더 복잡한 방법에서, 리 및 박[4]은 UM 방식에서 수정된 라플라시언을 사용 하는 것을 제안하고 있다. 그들은 차수 통계(OS) 라플라시언을 제안하며, 그것의 출력은 윈도우에서 화소의 국소 평균 및 중간값사이의 차이에 비례한다. 그들은 결과 필터가 필적하는 에지 강화 특성을 가진 종래의 UM 필터보다 훨씬 작은 잡음증폭을 야기하는 것을 나타낸다. 다른 접근이 [5]에서 취해지는데, 사실상, 그들은 소위 Teager의 알고리즘의 일반화에 기초하여 매우 단순한 오퍼레이터로 라플라시안 필터를 대체한다. 이러한 오퍼레이터의 예는 다음과 같이 주어진 단순한 2차 방정식 필터이다. 즉, z(n)=x²(n)-x(n-1)x(n+1).

이러한 오퍼레이터는 어두운 영상 영역에서 감소된 고주파수 이득을 가진 가중된 고역통과 필터의 동작과 유사하는 것을 보일 수 있다. 웨버 법칙[1]에 따르면, 인간의 시각 시스템의 민간성은 어두운 영상영역에서 높으며, 상기 제안된 필터는 더 어두운 영역에서의 더 작은 출력을 산출하여 인식가능한 잡음을 감소시킨다. 비록 전술한 2차방정식 오퍼레이터들이 웨버 법칙을 고려할지라도, 불선명 마스킹에서의 그것들의 직접적 사용은 선택된 강화인자(도 1에서 λ)에 의존하는 임의의 시각 잡음을 발생시킬 수 있다.

UM의 성능을 개선하기 위하여, [6]에서 고역통과 필터의 출력은 2차 방정식 에지 센서로부터 얻어진 제어신호에 의해 승산된다.

z(n)=[x(n-1)-x(n+1)]²[2x(n)-x(n-1)-x(n+1)] (1.1)

상기 목적은 진짜 영상 디테일로 인한 국소 휘도 변화만을 확대하는 것이다. 방정식 1.1의 우측에서 첫 번째 인자는 에지 센서이다. 이러한 인자의 출력은 x(n-1) 과 x(n+1)사이의 차이가 충분히 큰 경우에만 크게된다는 것이 명백하지만, 제곱연산은 진짜 영상 디테일로서의 잡음으로 인한 작은 휘도 변화의 해석을 방해한다. 에지 센서의 출력은 단순한 선형 고역통과 필터인 방정식 1.1에서의 두 번째 인자로부터 나오는 신호에 대한 가중치로써 동작한다.

다른 비선형 필터, 즉 상기 유리(rational) UM 기술이 고안되었는데[7], 고역통과 필터의 출력은 국소 입력데이터의 유리 함수에 의해 승산된다.

이러한 방식에서, 낮은 및 중간 선명도를 가진 디테일은 강화되며, 다른 측면에서, 잡음 증폭은 추가 강조를 필요로하지 않으며 거의 영향받지 않은 채로 있는 매우 제한되고 가파른 에지이다. 계산적인 관점하에서, 이 오퍼레이터는 원래의 선형 UM 방법으로써 동일한 간단화.8를 유지한다.

유사한 방법은 [8]에서도 제안되는데, 이 방법은 종래의 불선명 마스킹 구조와 유사하나, 강화는 최대 변화의 방향으로서만 허용되며 강화 파라미터는 [7]에서 기술된 유리 함수와 유사한 유리 함수로써 계산된다. 오퍼레이터는 진짜 디테일을 강화하며, 날카로운 에지 근처의 오버슈트를 제한하며 영역에서 잡음을 감쇠한다. 더욱이, 이러한 방법은 다중값 신호로 그라디언트의 확장을 사용함으로써 색 영상 강화에 적용된다.

최종적으로, [9]에서, 불선명 마스킹 기술은 국소 영상 내용을 사용하는 진보된 적응 제어로 확장된다. 더 자세히하면, 이러한 기술은 선명도 강화의 적응 제어를 위하여 다음과 같은 특징에 집중되었다.

·국소 강도(intensity) 레벨 및 관련 잡음 가시성

·신호에 의해 포함된 잡음 레벨

·입력신호의 국소 선명도

·에일리어싱 방지(에일리어스는 클리핑과 같은 비선형 처리로부터 발생한다)

비디오 신호의 이들 4가지 특징은 개별 유니트 및 상기와 같은 해석에 따른 선명도 강화의 양에 의해 국소적으로 해석된다.

모든 제안된 콘트라스트 강화방법은 2-D 데이터의 강화를 위해 설계되었으며 비디오 시퀀스에 적용될 수 없다. 사실상, 이들 방법은 정지화상에서 바람직하게 허용될 수 있으나 영상 시퀀스에서 매우 잘보여서 성가시게되는 많은 작은 인조잡음 및 비균일성을 발생시킨다. 더욱이, 종래의 2-D 기술은 그들이 매우 잘 보이는 인조잡음을 강조하기 때문에 블록 코딩된 영상 시퀀스의 강화에 적용될 수 없다. 잡음 및 신호의 국소 스펙트라 및 대역폭은 공간적으로 변화하며, 필터의 특성은 국소적으로 사용될 필요가 있다.

본 발명의 목적은 개선된 선명도 강화를 제공하는데 있다. 이 때문에, 본 발명은 독립 청구항에 한정된 선명도 강화를 제공한다. 바람직한 실시예는 종속 청구항에 한정된다.

본 발명에 따른 선명도 강화의 방법에서, 입력신호는 필터링된 신호를 얻기 위하여 필터링되며, 필터링된 신호는 승산된 신호를 얻기 위하여 제어가능한 분수(fraction)에 의해 승산된다. 본 발명에 따르면, 제어가능한 분수는 비선형 함수에 의하여 발생된다.

본 발명의 이들 및 다른 특징은 이하에 기술되는 실시예를 참조로하여 상세히 설명될 것이다.

도 1은 선형 불선명 마스킹 구조를 도시한 도면.

도 2는 불선명 마스킹 기술의 전형적인 실시예를 도시한 도면.

도 3은 3-D 불선명 마스킹 방법의 실시예를 도시한 블록도.

도 4는 도 3의 실시예에 사용하기 위한 공간 필터의 실시예를 도시한 블록도.

도 5는 도 3의 공간 필터에 사용하기 위한 제어 함수의 실시예를 도시한 블록도.

도 6은 유리 함수에 대한 그래프.

도 7은 시간 제어함수에 대한 그래프.

도 8은 제어함수 c_xb에 대한 그래프.

도 9는 비선형 필터의 3x3 윈도우를 도시한 도면.

도 10은 코딩 인조잡음의 일부를 지시한 2진 벡터를 도시하는 도면.

도 11은 도 10의 2진 벡터의 자동상관(autocorrelation)을 기술한 도면.

본 발명의 상세한 설명은 영상이 차단될 수 있는 사실을 고려하여 비디오 응용을 위한 선명도 강화기술을 제안한다. 강화는 불선명 마스킹과 유사한 방식에서 상관신호를 휘도에지에 가산함으로써 달성된다. 그러나, 비선형 함수는 상관신호를 발생시키기 위하여 사용되며, 공간 및 시간정보는 중요하나 드문드문한 디테일을 처리를 처리하기 위하여 그리고 인조잡음을 차단하기 위하여 사용되며, 동시에 오퍼레이터의 시간성분은 잡음 진폭을 감소시킨다.

이와같은 상세한 설명은 다음과 같이 편성된다. 2장 및 3장에서, 비디오 및 블록 코딩된 영상 시퀀스의 새로운 방법에 대한 상세한 설명이 기술될 것이다. 4장에서는 비디오 및 블록 코딩된 영상사이의 자동식별에 대한 알고리즘을 기술하며 두 형태의 시퀀스에 대해 적용될 수 있는 오퍼레이터를 제안한다. 5장에서는 결론이 내려진다.

기본적으로, 강화는 불선명 마스킹과 유사한 방식에서 오버슈트를 휘도 에지에 가산함으로써 달성된다. 그러나, 고품질 영상을 위해 가산된 최적량의 오버슈트는 국소 영상 통계에 따른다. 성능을 개선시키고 다른 특성들을 가진 동영상에 대해 사용하기 위한 제어가 도입된다. 공간 및 시간 정보는 디테일들을 강화하여 블로킹 인조잡음 및 잡음을 방지하기 위하여 사용된다.

2. 비디오 영상 시퀀스에 대한 3-D 불선명 마스킹 기술

콘트라스트 강화 기술의 목적은 장면이 인간에게 더 잘보이도록 하기 위하여 장면의 디테일을 강조하는 것이다. 기본적으로, 강화는 중요한 휘도 변화의 경사도를 증가시키고 오버슈트를 영상에서 대상물들 주위의 에지들에 가산함으로써 달성된다.

이 장에서는 TV 응용에서 에지를 강화하는 불선명 마스킹 기본 방법이 기술된다. 제안된 방식은 진짜 디테일들을 강화하며, 선형 선명 에지 근처의 오버슈트를 제한하며 시간 인조잡음을 감쇠시킨다. 특히, 선형 불선명 마스킹의 문제점들(잡음 민감도 및 선명 디테일에 대한 초과 오버슈트들)을 해결하기 위하여, 본 발명은 국소적인 공간-시간 영상 내용(spatio-temporal image content)을 사용하는 적응 제어를 가진 기술을 확장했다.

제안된 알고리즘의 블록도는 도 3에 도시된다. 입력신호를 s(n,m,t+1)로 놓으면, 강화된 신호 u(n,m,t)는 3개 항 기여으로부터 발생된다.

u(n,m,t)=s(n,m,t)+λu_s(n,m,t)-u_t(n,m,t) (2.1)

여기서, u_s(n,m,t)는 중요한 잡음증폭과 시간 인조잡음을 야기하지 않고 신호 변화들을 더 선명하게 만드는 강조를 도입하는 공간적인 비선형 고역통과 필터(SHPF)의 출력신호이다. u_s(n,m,t)는 이동 대상물들의 선명도를 유지하면서 잡음을 억제하는 3개의 프레임 s(n,m,t+1), s(n,m,t), s(n,m,t-1)상에서 동작하는 시간 고역통과 필터(THPF)의 출력이다. 지연라인들(Z^-1)은 s(n,m,t+1)로부터 s(n,m) 및 s(n,m,t-1)를 발생시킨다. 승산기(M1)는 공간적인 비선형 고역통과 필터(SHPF)의 출력신호 u_s(n,m,t)에 인자 λ를 승산한다. 가산기(A1)는 승산기(M1)의 출력 신호를 일차-지연된 입력 신호 s(n,m,t)에 가산한다. 출력 신호 u(n,m,t)는 디스플레이 디바이스(D) 상에 디스플레이된다.

영상 품질에 대한 공간 및 시간 제어 함수들의 효과는 섹션 2.1 및 섹션 2.1.2에서 각각 설명된다.

2.1 공간 오퍼레이터

제안된 알고리즘은 비선형 상관 필터들에 앞서는 지향성 고역통과 필터 세트에 의해 형성된다. 특히, 본 발명은 수평 및 수직 방향을 따라 제어 신호의 개별 효과들을 고려하며, 상기 선택은 단순함을 제외하고, 눈이 이들 지향성을 가진 라인 및 에지에 더 민감하다는 사실에 의해서도 정당화된다[1].

공간 고역통과 필터(SHPF)의 블록 다이어그램은 도 4에 도시되어 있으며 다음과 같이 표현된다.

u_s(n,m,t)=z_x(n,m,t)c_x(n,m,t)+z_y(n,m,t)c_y(n,m,t) (2.2)

여기서,

z_x(n,m,t)=2s(n,m,t)-s(n,m-1,t)-s(n,m+1,t) (2.3)

z_y(n,m,t)=2s(n,m,t)-s(n-1,m,t)-s(n+1,m,t)

이들 각각의 식은 입력 영상에 수평 및 수직으로 적용된 각각의 라플라시안 필터(수평 및 수직 선형 고역통과 필터들(HLHPF 및 VLHPF))의 출력들이다. 그들의 진폭 응답은 주파수의 단조 함수(monotone function)이며 신호 변화에 필요한 강조를 발생시키기 위하여 사용된다.

고역통과 필터의 성능을 개선하기 위하여, 본 발명은 매체-콘트라스트 디테일들만을 강조하도록 그 동작을 조절할 필요가 있다. 이러한 목적을 달성하기 위하여, z_x 및 z_y는 데이터의 국소 그라디언트(gradient)에 의존하는 제어 함수 c_x 및 c_y에 의해 승산된다. 제어 함수 c_x 및 c_y는 공간적인 고역통과 필터(SHPF)인 z_x와 z_y의 입력신호 s(n,m,t)를 각각 수신하는 각각의 수평 및 수직 제어함수 블록들(HCF, VCF)에 의해 얻어진다. 승산기(M2)는 수평 제어함수(HCF)의 출력 c_x(n,m,t)에 의해 수평 선형 고역통과 필터(HLHP)의 출력신호 z_x(n,m,t)를 승산한다. 승산기(M3)는 상기 수직 제어함수(VCF)의 출력 c_y(n,m,t)에 의해 상기 수직 선형 고역통과 필터(VLHP)의 출력신호 z_y(n,m,t)를 승산한다. 가산기(A2)는 공간적인 고역통과 필터(SHPF)의 출력신호 u_s(n,m,t)을 얻기 위하여 승산기(M2, M3)의 출력들을 합산한다.

단순화를 위하여, 이하에서는 x-방향만을 언급하는 방법의 동작을 설명한다.

2.1.1 수평 제어함수

제어함수는 잡음 증폭, 선명 에지 근처의 오버슈트 및 시간 인조잡음을 막기 위하여 국소 영상 내용을 사용하는 비선형 제어이다. 상기와 같은 동작을 보다 용이하게 이해하기 위하여, 제어함수의 출력은 도 4의 점선 박스로 둘러싸인 블록도의 일부분을 도시하는 도 5에 도시된다.

제어함수는 3개의 주요 기능블록들로 이루어진다.

· 선명도 항에 대한 비선형 유리 제어함수 RF

· 얇은 라인들을 강화하기 위한 특정 제어 TLE

· 제어 함수의 IIR 저역통과 필터 IIR-LPF

이하에서는 영상 품질과 관련한 이들 제어효과가 간단히 설명될 것이다.

유리 함수 RF

본 발명에서 사용하는 제어함수는 다음과 같은 유리 함수이다.

(2.4)

상기 함수가 가정한 값은 에지 센서에 의존한다.

d_x(n,m,t)=s(n,m-1,t)-s(n,m+1,t) (2.5)

에지 센서는 신호 및 잡음사이를 식별하는 대역통과 필터이다. 이러한 목적을 위하여, 두 개의 함축적인 가정들이 중요한 영상 디테일들상에서 만들어지는데, 첫째, 한 가정은 잡음에 의해 도입된 국소 그라디언트 값들보다 큰 국소 그라디언트 값에 의해 표현되고, 둘째, 다른 가정은 중간 주파수 범위내의 데이터 스펙트럼에 기여한다. 따라서, 이러한 함수는 높은 그라디언트 영역들에 적용되는 경향이 있으며 느린 신호 변화들에 덜 민감하다. 더욱이, 이러한 메커니즘은 데이터에 항상 존재하는 가우시안 분포 잡음에 덜 민감한 제안된 오퍼레이터를 만든다.

이러한 동작을 보다 용이하게 이해하기 위하여, 도 6은 d₁ 및 d₂의 특정 선택을 위한 d_x의 함수로써 비선형 제어항

를 도시한다. 유리 함수

의 주요 특징들은 다음과 같다.

1. d₁≤d_x≤d₂에 대해

이다. 이러한 특징은 오퍼레이터가 낮은 및 중간 진폭 휘도 변화들로 표현되는 디테일을 강조할 수 있다.

2. d_x→0에 대하여

→0이다. 잡음이 더 잘보이는 균일 영역들에서, 충동적인 잡음은 d_x의 작은 값(d₁보다 작음)을 산출한후 가산된 고역통과 신호의 작은 값을 산출한다.

3. d_x→∞에 대하여

→0이다. 이러한 방식에서, 선명 에지들 근처의 부적절한 오버슈트는 방지된다. 사실상, 선명 에지들은 d_x의 큰 값들(d₂보다 큼)을 산출하며,

는 작아질 것이다.

본 발명은 d₁ 및 d₂에 대한 우측 위치들을 세팅함으로써 상기와 같은 효과사이들을 최상으로 균형을 맞출 수 있다. 강화의 민감도는 λ의 값을 변화시킴으로써 명백하게 조절될 수 있다.

얇은 라인의 강화(TLE)의 제어

비록 실험적인 결과가 유리 함수

의 유효성을 지원할지라도, 그것은 얇은 라인을 강조하기 위하여 사용될 수 없다. 사실상, 잡음 민감도를 감소시키기 위하여, 에지 센서는 대역통과 필터이며 하나의 화소의 두께를 가진 라인을 검출할 수 없다. 따라서, 얇은 라인은 잡음으로써 잘못 해석되며 이러한 단점은 임의의 인조잡음을 야기한다.

예컨대, 잡음 화소가 라인 그자체에 인접할 때, 센서의 출력은 라인을 따라 변화한다. 그러므로, 저진폭 잡음에서, 상관항 c_xz_x는 라플라시안의 높은 값과 결합된 원래의 값 근처의 제어함수의 높은 기울기 때문에 강하게 변화할 수 있다. 잡음 샘플들의 시간 변화는 비균일 강화를 유발하여 라인에 근접하여 성가신 플리커 현상으로써 나타난다.

얇은 라인들은 비균일 방식으로 강조된다. 더욱이, 제 1프레임(좌측)의 강화는 제 2프레임(우측)의 강화와 다르며, 영상 시퀀스에서 잘보여서 성가신 일시적인 인조잡음을 발생시킨다. 많은 작은 인조잡음들 및 비균일성들은 0 또는 90도와 유사하거나 다른 기울기를 가진 라인근처에서 발생된다. 사실상, 디지털 영상들에서, 이들 라인들은 불가피하게 계단형 가장자리들(계단 효과)을 도시한다. 특히, 한 화소 넓이의 라인들은 폭이 하나 내지 두 개사이에서 교번(alternate)하는 세그먼트에 의해 형성된다. 매우 얇은 라인의 민감성으로 인해 유리 함수는 비균일 방식으로 이들 라인을 강화하며 따라서 계단 효과가 강조된다.

이러한 문제점을 극복하기 위하여, 단순하나 효율적인 방법은 얇은 라인을 검출하기 위하여 적정 제어를 포함한다. 이러한 목적을 위하여, 본 발명은 라플라시안 필터의 출력 z_x 및 z_y를 이용한다. 매우 얇은 라인에 대응하게, 다음과 같은 3가지 경우의 가능성이 존재한다.

수평라인:

과

(2.6)

수직라인:

과

(2.7)

대각선 라인:

과

(2.8)

이러한 관계식으로부터 이하에 기술된 바와같이 통계적 연구로부터 유도될 수 있는 임계치 S_n을 세팅함으로써 라인에 속하는 화소 및 잡음 화소사이를 간단하게 식별하는 것이 가능하다. 예컨대, ｜z_x｜≥ S_n 및 ｜z_y｜≤ S_n 일 때, 수직라인은 검출되며 그것이 이미 잘 보일 때 단지 오버슈트를 제한하기 위하여 필요하다. 따라서, 일단 얇은 라인이 얇은 라인 검출기(TLD)에 의해 검출되면 유리 함수

는 얇은 라인 검출기(TLD)의 출력신호에 의해 제어되는 스위치(S)에 의하여 다음의 오버피크 제어 함수(OCF)(도 5 참조)에 의해 대체된다. 즉, 오버피크 제어함수 (OCF)는 유리함수의 값이 d₂보다 클 때 보정 항 z_x를 단순히 제한하며 다음과 같은 식으로 표현된다.

식 (2.7) 및 (2.8)에 대한 확장은 유사하다. 사실상, 조건 (2.7)이 참일 때, 수평 라인이 검출되며 수직 유리함수

는

로 대체된다. 최종적으로, 만일 조건 (2.8)이 검증되면,

및

는

및

로 각각 대체된다.

S_n은 라인에 속하는 화소 및 잡음화소사이를 식별하기 위하여 선택된다. S_n의 값은 많은 잡음 화소가 얇은 라인으로써 잘못 해석되기 때문에 너무 작을 수 있는데, 다른 측면에서, S_n은 너무 클 수 없으며, 그렇지 않으면 얇은 라인은 개별적으로 취급되지 않을 것이다.

이는 S_n 및 영상에 존재하는 잡음 변화사이의 상호관계를 결정하기 위한 양호한 해결방법이다. 이러한 목적을 위하여, 본 발명은 중요한 디테일로써 잡음 화소를 잘못 분류하는 확률을 추정한다. 분산 σ²을 가진 제로 평균 가우시안 잡음으로 감소된 영상의 시퀀스를 지원하면, 본 발명은 단지 잡음이 존재할 때 확률적으로 에러를 추정한다.

{s(n+k,m)｜k=-1, 0, 1} 및 {s(n, m+k)｜k=-1, 0, 1}이 평균 제로 및 분산 σ²(N(0, σ²))을 가진 가우시안 랜덤 변수와 비상관되기 때문에, z_x 및 z_y가 평균 제로 및 분산

를 가진 가우시안 랜덤 변수이다는 것을 용이하게 알수 있다.

z_x 및 z_y가 s(n,m)(식 2.3)의 값에 따르기 때문에, z_x 및 z_y는 상관된 v.a.이다. 따라서, 결합 확률 밀도함수는 다음과 같다

여기서,

Z_x, Z_y

N(0,6σ)이기 때문에,

에러 확률은 다음과 같다.

를 선택하여, 다음과 같은 값을 얻을 수 있다.

이는 720x576 영상에서 예컨대 2000 이상의 잡음 점이 증폭된다는 것을 의미한다. 그러나, 대부분의 이들 에러는 디테일 및 모션의 마스킹 효과로 인해 적절한 것으로 인식되지 않는다. 실험적인 결과는

를 만족하는 임계값인 것을 나타낸다.

잡음 분산 σ²을 알고 그것이 추정하기에 쉽지 않을 경우에만 적용될 수 있다는 것을 알아야 한다. 그러나, 라인에 근접한 성가신 플리커 효과 및 계단 효과는 거의 불변인 시퀀스의 부분에서 모두 보일 수 있다. 이러한 경우에는 잡음 분산[10]을 추정하기가 용이하다. σ²을 추정하는데 가장 간단한 방법은 영상이 프레임 단위로 변화하지 않으나 감쇠가 발생할 때 매우 유효한 프레임 평균화이다. 프레임 평균화의 가장 간단하고 가장 공통적인 형태는 1≤i≤N에 대하여 N 감쇠된 영상 프레임 g_i(n,m)의 시퀀스로부터 영상 f(n,m)을 추정하는 것이다.

감쇠된 영상 g_i(n,m)의 시퀀스가 다음과 같은 식으로 표현된다고 가정한다.

g_i(n,m) = f(n,m) + η_i(n,m) , 1≤i≤N (2.9)

여기서, n_j(n,m)은 σ²을 가진 제로 평균 불변 백색 가우시안 잡음이며, n_i(n,m)은 i

j에 대하여 n_j(n,m)과 무관하다. 만일 f(n,m)이 랜덤하지 않다고 가정하면, 최대 가능성(ML)은 f(n,m)을 추정하며, f(n,m)은 다음과 같은 식, 즉

수식

을 최대화한다. 이 수식은 다음과 같은 식,즉

수식

(2.10) 에 의하여 주어진다.

식 (2.9) 및 (2.10)으로부터 다음과 같은 식이 주어진다. 즉,

(2.11)

식 (2.11)으로부터, 프레임 평균화된 영상의 감쇠는 η_i(n,m)와 비교하여 N의 인자에 의해 잡음 분산의 감소를 나타내는 σ²/N의 분산을 가진 제로 평균 불변 백색 가우시안 잡음을 유지한다.

이는

으로부터 η_i의 추정을 제안한다. N의 값은 작은 잡음분산을 가진 영상

을 얻기 위하여 높게 되어야 한다. 그것은 σ²의 추정치가 거의 불변인 시퀀스상에 부적당하기 때문에 너무 높을 수 없다.

σ²=30의 최대 값을 가진 시퀀스에 강화 오퍼레이터를 적용하면, N=5로 선택된다. σ²의 추정치는 고속 모션의 조건에서 부적당하나, 이러한 경우에 인조잡음은 잘 보이지 않는다.

IIR 저역통과 필터링

도 5로부터, 수평 제어함수 c_x의 최종 값은 다음에서 설명되는 이유로 인해 공간 저역통과 필터링에 의해 얻어진다는 것을 알 수 있다. 공식적으로, 상기 함수 c_x는 다음과 같이 표현된다.

(2.12)

여기서 c_x는 얇은 라인이 검출되는지의 여부에 따라

또는

와 일치한다.

비균일 강화 효과는 디테일 영역에서 라플라시안의 높은 값과 함께 유리 함수의 기울기만큼 증폭된 센서의 출력에서의 작은 변화로 인해 복잡하고 세밀한 윤곽을 가진 높은 디테일 영역에 적용된다. 이러한 효과는 디테일 그들 자체의 마스크 효과 때문에 2-D 강화에서 인식되지 않는데, 그러나, 그것은 거의 불변인 시퀀스의 부분에서 매우 성가신 플리커링을 발생시킨다. 선명도는 유효하나 에지는 비 균일성 방식으로 증폭된다.

거짓 디테일의 발생에 대하여 오퍼레이터를 더 강하게 만들기 위하여, c_x는 식 (2.12)에서 기술된 바와같이 IIR 필터링된다. c_x 인접화소에 의해 가정된 값은 제어 동작에 직교하는 방향을 따라 현재의 값을 이전값으로 평균화함으로써 계산된다. 이러한 방식에서, 국소 가장자리의 방향을 따라 주로 상기 값들의 불연속성을 감소시키는 것이 가능하여 거짓 디테일 및 관련된 가시 인조잡음의 발생을 막을 수 있다.

2개 이상의 저역통과 필터의 순서는 동일한 대상물에 속하지 않는 화소를 전송하기 때문에 인조잡음을 발생시킬 수 있다.

2.2.1. 시간 오퍼레이터

비디오 시퀀스에서, 시간적 상관은 잡음을 더 감소시키도록 개발될 수 있다. 이동 대상물의 선명도를 유지하면서 잡음을 억제하기 위하여, 3개의 프레임상에서 동작하는 시간 필터를 제안한다. 기본적인 가정은 잡음 화소가 발생할 때 동일한 공간위치에서 이전 프레임 또는 다음 프레임에서 발생하는 확률이 매우 작다는 것이다.

3개의 다음 프레임에서 s의 값을 s(n,m,t-1), s(n,m,t) 및 s(n,m,t+1)로써 정의한다.

(2.13)

(2.14)

상기 조건 (2.13) 및 (2.14)이 검증될 때, 잡음화소는 국소적으로 정지영역에 존재한다.제안된 시간 필터는 조건 (2.13) 및 (2.14)를 평가할 수 있으며 동시에 저역통과 필터링을 수행할 수 있다. 이러한 필터링은 입력신호를 다음과 같은 고역통과 필터를 감산함으로써 수행된다.

(2.15)

여기서, z_t는 다음과 같이 시간 라플라시안 필터이다.

(2,16)

c_t 제어 함수는 다음과 같다.

(2.17)

이의 형상은 도 7에 도시된다. ｜d_t｜≤ d₀에 대하여 c_t≥0이며, 따라서 시간 저역통과 필터는 임의의 임계치보다 작은 신호 변화를 감쇠시킨다. 이는 잡음 변조와 같은 신호 변호를 선택적으로 평활화하게 한다.

시간 센서 d_t는 잡음 화소 및 디테일사이를 식별하도록 선택된다. 조건 (2.13) 및 (2.14)를 평가할 수 있는 단순한 함수이어야 한다. 이러한 목적을 위하여, 대역통과 필터 d_t=s(n,m,t-1)-s(n,m,t+1)은 매우 낮은 계산 복잡성으로 허용가능한 결과를 제공한다. 예로서, 마스크에서 잡음, 비이동 및 균일한 영역의 존재에 의해 변조된 s(n,m,t)을 고려하여, 필터의 공간적인 부분은 동작되지 않도록 한 다. d_x, d_y 및 d_t의 값은 작아서 c_x

c_y

0이며 c_t

1이다.

따라서, 식 (2.1)으로부터 필터의 출력이 다음과 같이 된다.

이 식은 잡음을 감소시키는 선형 저역통과 필터와 일치한다. 대조적으로, 논리적 이동 d_t>>0에 상응하여, c_t

0이며 필터링이 실행되지 않는다.

그러나, 필터의 이러한 버전은 고속 이동의 특정 조건에서 인조잡음을 발생시킨다. 예컨대 균일한 배경상에서 빠르게 이동하는 대상물의 경우를 고려하라. 만일 대상물이 시간 t에서 필터 마크에 존재하나 시간 t-1 및 t+1에서 존재하지 않는다면, s(n,m,t)의 값은 필터의 시간 부분에 의해 임펄스 잡음으로서 고려되며 대상물은 제거될 것이다. 예에서, 백색 및 흑색 슬라이스를 가진 디스크는 조건 (2.13) 및 (2.14)를 만족하도록 상기와 같은 주파수와 함께 회전한다. 대역통과 센서에 시간 오퍼레이터를 적용하면, 광 및 어두운 얇은 라인으로써 보여질 수 있는 임의의 인조잡음이 발생된다. 만일 큰 계산 로드가 허용될 수 있다면, 이러한 형태의 인조잡음은 범위 필터[11]에 의해 제거된다. 실험적인 결과는 잡음 감소가 양 오퍼레이터와 동일하다. 따라서, d_t의 표현은 다음과 같이 된다.

처리된 영상은 육안으로 보기에 편리한 선명한 에지를 제공한다. 더욱이. 영상에서의 잡음과 시간 인조잡음의 양은 명확하게 감소된다.

2.2 계산 복잡성 해석

지금, 본 발명은 제안된 알고리즘의 계산의 복잡성을 해석한다. 도 4로부터는 오퍼레이터가 분리가능하게 보여진다. 따라서, 본 발명은 공간 및 시간 오퍼레이터의 개별 효과를 고려한다. 오퍼레이터는 19번의 승산 및 13번의 가산을 필요로한다. 그러나, 비선형 함수의 값들

,

, 및

가 단지 255 차이값을 가정한 에지 센서(d_x, d_y, d_t)의 값에 의존한다는 것을 유의해야 한다. 그러므로, 유리 함수는 룩업 테이블을 사용함으로써 계산될 수 있고, 이러한 경우에, 화소당 승산의 수는 19 대신에 7이된다. 따라서, 계산의 관점에서 보면, 제안된 해결방법은 매우 낮은 계산 복잡성을 가진 허용가능한 결과치를 제공한다.

3. 블록 코딩된 영상 시퀀스에 대한 불선명 마스킹 기술

3.1. 도입

대부분의 비디오 데이터 압축 표준은 불록 베이스 모션 추정 및 블록 베이스 이산 코사인 변환(DCT)을 사용한다. 특히, 압축 표준은 몇몇의 변환계수로 패킹하는 정보에 대해 NxN 화소 블록 DCT를 사용한다. 이러한 블록 베이스 DCT 방식은 영상의 국소적인 공간 상관특성의 장점을 취한다. 그러나, 이러한 형태의 코딩은 영상이 압축될 때 잘 알려진 블로킹 인조잡음, 코너 분리물, 및 인접잡음을 유도한다.

콘트라스트 선명도에 대한 종래의 2-D 기술은 그들이 영상 시퀀스에서 잘 보 여서 성가시게되는 인조잡음을 강조하기 때문에 블록 코딩된 영상 시퀀스의 강조에 적용될 수 없다. 잡음 및 신호의 국소 스펙트럼 및 대역폭은 공간적으로 변화하며, 필터의 특성은 국소적으로 적응될 필요가 있다.

이러한 목적을 위하여, 이 장에서는 비디오 코딩 알고리즘을 통해 재구성된 비디오 시퀀스로 발생되는 코딩 인조잡음의 압축 특성을 제공하며 디테일을 강조하기 위하여 이전 장에서 기술된 알고리즘의 단순한 수정을 제안하며 전형적인 코딩 인조잡음의 가시성을 감소시킨다.

3.2 비디오 코딩 왜곡

이하의 설명은 인조잡음의 시각적 명시, 원인 및 관계의 상세한 설명에 제한될 것이다. 본 발명은 각각의 인조잡음에 허용될 수 있으며 인조잡음이 시각적으로 현저한 비디오 시퀀스의 공간 및 시간적인 특성을 기술한다.

3.2.1. 블로킹 효과

블로킹 효과는 화소의 블록이 단일 실체로써 처리되며 개별적으로 코딩되는 기술의 성가신 결과이다. 간단히 말해서, 개별 블록이 코딩되는 격리된 성질 때문에, 블록으로 발생된 코딩 에러의 레벨 및 특성은 블록마다 다를 수 있다. 그래서, 가장자리를 가로지르는 휘도의 스무스한 변화는 디코딩된 영상에서 스텝을 유발할 수 있다.

비디오 코딩에서 블로킹 인조잡음을 제거하는 평활화 동작이 고려될 때, 3가지 흥미있는 사항을 발견했다. 첫째, 인간의 시각 시스템은 복잡한 영역보다 단순한 영역에서 블로킹 인조잡음에 민감하다. 따라서, 강한 평활화 필터는 상기 영역 상에서 요구된다. 그러나, 복잡한 영역에서, 블록 경계 둘레의 몇몇 화소의 평활화는 적절한 디-블로킹 효과를 달성하는데 충분하다. 둘째, 평활화 동작은 영역에서 복잡한 영역에 더 부적절한 분선명을 발생시키는 경향이 있다. 따라서, 영상 디테일을 유지하는 적응 평활화는 복잡한 영역에서 바람직하다. 셋째, 모션 보상 때문에, 블로킹 인조잡음이 전파되며 전파된 인조잡음은 복잡한 영역에서 더 잘 보인다. 따라서, 복잡한 영역에서의 평활화는 블록의 내부 뿐만아니라 블록의 경계를 커버해야 한다.

3.2.2 불선명

불선명은 공간 디테일의 손실로써 명시되며 텍스트된 영역내 또는 장면 대상물 에지 둘레와 같은 프레임의 공간적인 활성도 영역에 적당하게 에지의 선명도의 감소이다.

프레임내 코딩된 매크로블록에서, 불선명은 개략적인 양자화를 통해 고차 DCT 계수의 억제하여 블록의 내용을 나타내기 위하여 저차 계수를 유지하며, 따라서, 불선명은 저역통과 필터링과 직접 연관된다.

예측 코딩된 매크로블록에서, 불선명은 부족한 공간 디테일을 가진 예측된 매크로블록의 사용의 결과이다. 그러나, 불선명은 역방향 및 순방향 예측의 보간이 양방향 예측의 내용에 대한 평균을 발생시키는 양방향으로 예측된 매크로블록에서 유도될 수 있다. 이들 양 경우에, 불선명 디테일은 임의의 고주파수 정보를 재구성하는 예측에러에 의해 보충되며, 불선명 효과를 감소시킨다.

전술한 설명으로부터 알수 있듯이, 적응 강화 필터는 디테일을 강조하고 코 딩 인조잡음의 가시성을 감소시키기 위하여 요구된다.

3.2.3 계단 현상

DCT 기본 영상은 대각선 에지의 표현과 동조되지 않는다. 결과적으로, 대부분의 높은 활성도 기본 영상은 대각선 에지를 통계적으로 표현하기 위하여 요구된다. 고차 기본 영상의 전형적인 낮은 크기로 인해, 개략적인 양자화는 제로로 절단한다. 대각선 에지를 형성할 때 고차 기본 영상에 의해 만들어진 구성은 감소되어 수평 또는 수직으로 지향되는 저주파수 기본 영상의 특성만을 나타내는 재구성을 발생시킨다. 그래서, 수평으로 각을 이루는 대각선 에지을 포함하는 블록에서, 개략 양자화는 수직으로 각을 이루는 블록에 대한 수평 방향을 재구성을 발생시킬 수 있다. 스텝방식 불연속성은 블록 경계에서 발생한다.

3.2.4 링잉

링잉 현상은 DCT 계수 양자화에 의해 발생된 고주파수 왜곡과 관련된다. 사실상, 블록의 표현은 각각의 DCT 기본 영상의 균형을 이룬 집합체로써 고려될 수 있다. 따라서, 개별 계수의 양자화는 재구성된 블록에 대응하는 기본 영상에 의해 만들어진 구성에서 에러를 발생시킨다. 고주파수 기본 영상이 에지의 표현에서 중대한 롤을 동작시키기 때문에, 블록의 양자화된 재구성은 고주파수 불규칙성을 포함한다. 이러한 현상은 재구성시 활성화 텍스처의 영역에서 콘트라스트 에지를 따라 분명히 나타난다.

3.2.5 거짓 에지

모션 보상 때문에, 블로킹 인조잡음이 전파되며, 따라서, 거짓 에지는 블로 킹 효과에 의해 현재의 프레임으로 형성된 블록-에지 불연속성에 대한 전달결과이다. 블로킹 효과에서와 같이, 거짓 에지는 예측 코딩된 프레임의 활성화 영역에서 주로 보일 수 있다. 이러한 영역에서의 예측 에러는 전형적으로 최소로 될 수 있거나 또는 제로로 양자화되며, 따라서 거짓 에지는 마스킹되지 않는다.

3.2.6 모션 보상 미스매치(mismatch)

모션 보상(MC) 미스매치는 만족스러운 예측이 특정 매크로블록에 대해 발견되지 않는 상황으로써 한정될 수 있어서 공간 특성이 현재의 매크로블록의 특성과 오매칭되는 예측을 유발한다. 이러한 상황의 결과는 고주파수 잡음형 현상인 잘 보이는 왜곡을 가진 재구성을 발생시키는 예측 에러의 고레벨이다.

3.3 제안된 알고리즘

많은 디-블로킹 방식은 블로킹 인조잡음이 블록 경계에 배치되는 가정하에서 JPEG와 같은 정지 영상 코딩에서 제안되었다. 그러나, 비디오 코딩에서, 이전 프레임의 블로킹 인조잡음은 현재의 프레임으로 전파될 수 있으며 모선 보상 예측(섹션 3.2.5) 때문에 블록내의 임의의 위치에 배치될 수 있다. 따라서, 단순한 블록 경계 활성화는 비디오 코딩에서 나타나는 블로킹 인조잡음을 제거하는데 충분하지 않다. 더욱이, 저역통과 효과는 링잉 및 모션 보상 오매칭 효과를 감소시키기 위하여 매크로블록내에서 필요하다. 볼록 세트[12, 13]상의 투영에 기초하는 반복 방법은 후보 알고리즘일 수 있다. 그러나, 그것의 복잡성 때문에 실시간 비디오 코딩에 대해 충분하지 않다.

이러한 섹션에서, 잡음 활성화 및 에지 강화를 위한 불선명 마스킹 기본 방 법이 제공된다. 블록 다이어그램은 도 3 및 도 4에 도시된 블록 다이어그램과 유사하며, 진짜 디테일을 강화하여 코딩 인조잡음을 감소시키기 위하여 유리함수(식 2.4)을 수정하기 위하여 필요하다.

새로운 유리 함수

및

는 디테일을 강화하여 잡음을 감소시키기 위하여 여러 제한성을 단순화해야 한다.

1. 유리 함수

및

는 임의의 임계값 b 보다 작게 신호의 변화를 감쇠시켜야 한다. 이는 코딩 인조잡음에 기인한 신호 변화를 선택적으로 평활화하도록 한다.
2. h보다 큰 크기를 가진 신호 전이인 중간 범위 디테일은 강화되어야 한다.

3. 선명한 에지상의 초과 오버슈트를 방지하기 위하여 다음과 같이 되어야 한다.

모든 이들 조건을 증명하는 단순한 함수는 두 개의 다항식 함수의 비인 유리 함수로써 공식화될 수 있다.

여기서 에지 센서

및

는 다음과 같다.

(3.3)

분산에 기초한 측정치는 국소 활성도[14]의 신뢰성 있고 단순한 추정기에서 증명되며, 이러한 목적을 위하여 현재의 연산에서 사용되었다. 그러므로, σ²는 현재 화소에 중심을 둔 3x3 윈도우에 속하는 화소들의 분산이며, σ_th ²은 영상의 평균 분산에 기초하여 고정될 값이다. 파라미터 k 및 h'는 낮은 선명도 및 중간 선명도를 가지며 선명한 에지 근처의 잡음 및 오버슈트가 감소된 디테일의 강화사이의 최상의 교환을 달성하기 위하여 선택된다. 파라미터 d₁, d₂, k, h사이의 관계는 다음과 같다.

파라미터 λ를 사용하면 강화 강도를 조절할 수 있다.

도 8은 수평 유리 제어함수의 형상을 도시한다.

에 대하여

인 것으로 보일수 있고, 따라서, 임의의 임계값보다 작은 신호 변화를 감소시킬 수 있다. 필터의 동작을 보다 용이하게 이해하기 위하여, 복잡한 영역에서 주요 특성을 기술한다.

1. 균일한 영역에서, σ² 은 σ_th ²에 대하여 무시될 수 있으며,

및

은 제로로 되는 경향이 있고

이다. 그러므로, 공간 필터의 출력

은 저역통과 필터이며, 코딩 인조잡음은 감소된다.

특히, 수직 경계가 균일한 영역상에서 발생한다는 것을 가정하면(블로킹 효과; 도 9참조), σ²은 작으며

이다. 수직 블록 경계 VB를 고려하기 때문에, 제어 함수 c_x(n-1, m)의 이전값은

와 유사하다. IIR 필터의 출력은 다음과 같은

와 일치한다.

더욱이, 경계 z_y가 너무 작다는 것을 고려하면, 필터의 출력은 단지 수평 제어함수에 의존하며 본 발명은 수평 선형 저역통과 필터를 얻는다.

이 수식은 인접 블록사이의 경계사이의 불연속성을 감소시킨다.

우리의 오퍼레이터는 링잉 잡음을 감소시킨다. 수직 에지를 따르는 링잉 잡음은 전술한 고려 사항과 유사한데, 사실상, z_y의 값은 작으며 필터의 출력은 단지 수평 제어함수에 의존한다. 그래서, 본 발명은 수평 저역통과 필터를 얻는다.

대각선 에지 둘레의 링잉 잡음과 대하여, z_x 및 z_y의 값은 제로로되지 않으 며, 필터의 출력은 수평 및 수직 제어 함수에 의존한다.

σ²가 σ_th ²와 관련하여 무시되기 때문에, 유리함수의 값은 다음과 같다.

즉,

제어 함수의 이전값은 현재의 값보다 크다.

즉,

왜냐하면, 이전 값들은 에지에 근접하기 때문이다. 이는 IIR 저역통과 필터의 출력이 -1/4λ 보다 큰다는 것을 의미한다. 실험적인 결과는 다음과 같다.

이러한 방식에서, 본 발명은 2-D 선형 저역통과 필터를 얻는다. 사실상, u_s(n,m)의 표현은 다음과 같다.

2. 디테일 영역에서, σ²>>0이며

,

이다. 따라서, h'보다 큰 크기를 가진 신호 변화에 의해 표현된 중간 범위의 디테일은 강화될 것이다. 다른 한편으로,

(또는

) 및 σ²>>0일 때, 영역은 저역통과 필터링이적용되도록 수평(수직) 방향으로 균일하다.

만일 작은 계산 로드가 예상되면, 본 발명은 9개의 화소 대신에 5개의 화소의 분산을 계산할 수 있다. 그래서, 다음 5개 화소, 즉 s(n,m), s(n-1,m), s(n+1, m), s(n,m-1), s(n,m+1)의 분산과 유사한 σ_c ²을 정의하면, 식 3.3에서 σ_c ²을 사용할 수 있다.

3.4 결론

전술한 설명으로부터, 영역에 대한 필터는 블록 내에 그리고 블록 경계상에 평활화 효과를 제공하는데, 왜냐하면, 비디오 코딩에서 블로킹 및 링잉 인조잡음이 모션 보상 예측 때문에 블록의 임의의 위치에 배치될 수 있기 때문이다.

다른 한편으로, 필터의 동작은 진짜 디테일을 강화하기 위하여 복잡한 영역에서 비선형 고역통과 동작이다. 필터의 동작을 조절하는 분산 검출기는 오퍼레이터를 간결하고 표현하는 필터 그자체로 구현된다.

블록 코딩된 영상 시퀀스에서 강화하기 위한 오퍼레이터는 2장에서 기술된 것과 유사하는 것을 주목해야 한다. 이는 비디오 및 블록 코딩된 영상 시퀀스에 대한 강화 알고리즘의 정의를 제안한다. 이러한 목적을 위하여, 단순하고 효과적인 해결방법은 4장에서 제안된다.

4. 비디오 및 블록 코딩 영상 시퀀스사이의 자동 식별

2장에서는 진짜 디테일을 강화하며 선명한 에지 근처의 오버슈트를 제한하며 일시적인 인조잡음을 감소시키는 비디오 영상 시퀀스용 강화기술이 기술되었다. 이 오퍼레이터는 그것이 매우 잘보여서 성가시게 되는 코딩 인조잡음을 강조하기 때문에 블록 코딩된 영상 시퀀스의 강화에 적용될 수 없다.

이러한 일을 위하여, 단순한 수정은 디테일을 강조하여 블로킹 및 링잉 현상(3장 참조)의 가시성을 감소시키기 위하여 블록 코딩된 영상 시퀀스를 처리할 때 발생되었다.

그러나, 이러한 오퍼레이터는 그것이 중요한 불선명을 유입하고 낮은 콘트라스트 디테일을 증폭하지 않기 때문에 비디오 시퀀스에 적용될 수 없다.

비디오 및 코딩 영상 시퀀스에 대한 강화 기술을 정의하기 위하여, 필터의 동작이 코딩 인조잡음의 존재에 따라 변화하도록 하는 메커니즘을 오퍼레이터에 삽입하는 것은 중요하다. 이러한 목적을 위하여, 이 장에서는 블로킹 및 링잉 인조잡음에 대한 새로운 왜곡측정에 따르는 에지 센서의 표현으로 가중(weight) 인자를 삽입한다.

4.1 비디오 및 코딩된 영상에 대한 강화 오퍼레이터

2장 및 3장에서 기술된 강화 기술의 비교로부터 알수 있듯이, 상기 기술은 유리함수 및 에지 센서에 대해 다르다. 이는 비디오 및 블록 코딩된 영상 시퀀스에 대한 유리 함수 및/또는 에지 센서를 제안한다. 단순하고 효과적인 해결방법은 다음과 같다.

(4.1)

여기서,

(4.2)

여기서, 파라미터 β는 필터의 바이어스를 결정할 때 중요한 롤을 동작시킨다(이러한 가중치의 결정에 대한 기준은 이하에서 설명될 것이다). 특히, β의 값은 코딩 인조잡음의 존재에 따라 변화하며, 즉 β는 블록 코딩된 시퀀스에서 증가하는동안 비압축된 비디오 시퀀스에서 0을 갖는 경향이 있다. 이러한 방식에서, 필터의 동작은 코딩 인조잡음이 증가함에 따라 점점 더 저역통과 필터링을 수행한다.

비디오 시퀀스에서,

의 분자에서 상수 -h'는 실제 영상에서 존재하는 잡음을 감소시키기 위하여 저역통과 효과를 야기한다. 더욱이, 이러한 경우에

이어서, 필터는 낮은 콘트라스트 디테일 근처에서의 불선명을 발생시키지 않는다. 전술한 바와같이, β의 값은 코딩 인조잡음의 존재에 따르고, 따라서, 이하에서는 블로킹 및 링잉 인조잡음에 대한 새로운 왜곡 측정을 도입한다.

4.1.1 블로킹 및 링잉 인조잡음에 대한 왜곡 측정

블록에 대한 매트릭스를 정의하기 위하여, 다양한 방법이 문헌 [15, 16, 17, 18]에서 제안되었다. 전술한 모든 기술은 블로킹 인조잡음이 블록 경계에 배치된다는 것을 가정하나, 비디오 코딩에서 블로킹 인조잡음이 모션 보상 예측 때문에 블록의 임의의 위치에 배치될 수 있다. 따라서, 이들 방법은 블로킹 인조잡음의 존재를 측정하기에 충분치 않다. 단순한 해결방법은 N의 다른 값을 가진 알고리즘 을 적용하는데, 그러나, 이러한 방법은 그것의 복잡성 때문에 실시간 비디오 코딩에 대해 적절치 않다. 더욱이, 이들 기술은 영상 시퀀스에서 잘 보여서 성가시게되는 링잉 잡음을 고려하지 않는다. 블록의 위치 및 크기에 대한 정보를 필요로하지 않는 블로킹 및 링잉 인조잡음의 존재를 평가하기 위한 방법이 제안된다.

블로킹 효과의 검출

코딩 알고리즘에 의해 발생될 수 있는 전형적인 인조잡음사이에서, 블로킹 효과는 화소의 블록이 단일 실체로써 처리되며 개별적으로 코딩되는 기술의 결과내의 잡음이다(섹션 3.3.1 참조). 이러한 경우에, 블록의 가장자리를 가로지르는 휘도의 스무스한 변화는 인접 샘플이 다른 양자화 간격이하로 되면 디코딩된 영상에서 스텝을 발생시킬 수 있다.

그 다음에, 만일 두 개의 인접 블록의 계수가 개략적으로 양자화되면, 블록 경계를 가로지르는 강도 기울기의 차이 및 낮은 분산을 가진 두 개의 블록을 알 수 있다는 것을 예견한다. 다른 한편으로, 양자화되지 않은 원래의 영상의 블록 경계를 가로지르는 강도 기울기의 이러한 돌연한 변화는 오히려 발생하지 않는다.

전술한 고려할 사항으로부터, 블로킹 효과를 검출하는데 적절한 방법이 매우 작은 분산값과 다른 평균값을 가진 두 개의 인접 블록을 발견하는 것은 명백하다.

단순화를 위하여, 수평 방향을 고려한다. 위치(n,m)에서 화소의 휘도레벨을 s(n,m)로 놓고, 본 발명에서는 두 개의 3x3 인접 윈도우의 평균 및 분산으로써

,

,

,

을 다음과 같이 정의한다. 즉,

(4.4),

(4.5)

다음과 같은 조건, 즉

(4.6)

이 검증될 때, 블로킹 효과는 국소적 정지영역에 존재한다.

수직 방향에 대한 연장은 통상적이다.

링잉 잡음의 검출

섹션 3.2.4에서 언급한 바와같이, 링잉 잡음은 양자화에 의한 고주파 계수의 절단에 의한 Gibb의 현상이고, 마찬가지로, 링잉 잡음은 평활화 텍스처의 영역에서 높은 콘트라스트 에지를 따라 발생한다. 블록의 경계를 둘러쌀때까지 에지로부터 외부로 흔들리는 상 리플링으로써 나타난다.

이러한 사항으로부터, 링잉 잡음을 검출하기 위한 단순한 방법은 유사한 평균값(링잉 잡음이 평균적으로 제로를 가지기 때문에) 및 매우 다른 분산값을 가진 두 개의 인접 3x3 윈도우를 발견하는 것이다. 초기에 언급된 바와같이, 단지 수평 방향만을 고려하여 두 개의 인접 윈도우의 평균 및 분산을

,

,

,

으로 한다(식 4.4 참조). 다음과 같은 조건, 즉

(4.7)

이 검증될 때, 링잉 잡음이 검출된다.

링잉 잡음은 비트율이 감소됨에 따라 대부분 눈에 보일 수 있다.

4.1.2 β값의 검출

비디오 및 블록 코딩된 영상 시퀀스의 강화 기술을 한정하기 위하여, 본 발명에서는 필터의 동작이 코딩 인조잡음의 존재에 따라 변화하도록 하는 메커니즘이 오퍼레이터에 삽입된다.

식 4.2는 이러한 목적을 달성하기 위하여 선택된 방법을 기술하여, 이 기술에서 β는 블록 코딩된 영상을 증가시키는 동안 비압축된 영역에서의 제로값을 취한다. 이러한 방식에서, 필터의 동작은 균일한 영역의 의사 선형 저역통과 범위로부터 디테일 영역의 비선형 고역통과 영역까지의 범위를 가진다. 더욱이, 필터는 코딩 인조잡음이 증가함에 따라 더욱더 저역통과 필터링을 수행한다.

이전의 섹션의 고려사항으로부터, β는 시퀀스에서 코딩 인조잡음의 양에 따르는 것은 명백하다. 이러한 목적을 위하여, 본 발명은 β 및 검출된 코딩 인조잡음의 수사이의 관계를 도시하며, 이는 추정 β 를 위해 사용된 프레임의 수와 영상의 크기를 고려한다.

단순화를 위하여, 본 발명에서는 2장 및 3장에서 기술된 방법 및 4장의 앞선 부분에서 UM_video, UM_block, UM_adapt를 정의한다. 블로킹 및 링잉 인조잡음을 검출하기 위하여, 조건 (4.6) 및 (4.7)은 검증되어야 한다. 실험적인 결과는 다음과 같은 임계치가 만족되는 것을 보여준다. 즉, 임계치는 다음과 같다.

블로킹 효과의 검출에 대하여

링잉 잡음의 검출에 대하여

실험적으로, 본 발명에서는 다양한 비트율에서 576x720 프레임의 MPEG 코딩후에 영상 시퀀스가 사용된다. 블로킹 효과가 모션 보상으로 인해 B 및 P 프레임에서 보다 I 프레임에서 더 잘 보이기 때문에, 결과치는 다른 프레임을 고려한다.

N_b1 및 N_ri는 블로킹 효과 및 링잉 잡음으로써 각각 해석된다. 비압축된 비디오 시퀀에 대해 N_b1=N_ri=0이며, 이는 비트율이 증가함에 따라 블록 코딩된 시퀀스에서 증가한다. 임의의 시퀀스에서 링잉 잡음은 블로킹 효과보다 더 잘보인다.

전술한 고려할 사항으로부터, β가 N_b1 및 N_ri의 값에 따르는 것이 명백하다. 명백하게, 코딩 인조잡음의 수는 영상의 크기와 고려된 프레임의 수를 따른다. 따라서, 영상의 폭 및 높이를 N_c 및 N_r로 놓고 N_b1 및 N_ri를 계산하기 위하여 사용된 프레임의 수를 N_f로 놓으면, β에 대한 적절한 측정치는 다음과 같다.

(5.1)

여기서, α는 실험 결과로부터 유도될 수 있는 일정한 가중치이다. 본 발명의 실험에서, N_c=720, N_r=576, N_f=4 및 α=3000이다.

본 발명의 방법은 블로킹 및 링잉 인조잡음을 검출하며 블록의 위치 및 크기에 대한 임의의 정보를 필요로하지 않는다. 더욱이, β는 비압축된 영상에 대해 제로값을 취하여, 비디오사이의 코딩된 영상을 매우 단순하게 구별한다.

제안된 방법의 잡음 강도를 검사하기 위하여, 원래의 시퀀스는 분산 50의 가우스 분포 잡음을 사용하여 불순화되었다. 만일 종래의 선형 UM 필터링( =0.5)이 적용된다면, 영상은 매우 선명하게되나, 잡음은 증폭되고 출력의 장면의 품질을 저하시킨다. 최상의 가시 품질은 제안된 UM_video 필터링 구조(λ=1.2, d₁=30 및 d₂=40)를 사용하여 얻어지며, 사실상, 공간 오퍼레이터(섹션 2.1 참조)는 중간 콘트라스트 디테일을 강화하며, 시간 필터(섹션 2.1.2)는 잡음을 감소시킨다. UM_video, UM_block, UM_adapt 방법사이의 강화의 비교는 다음과 같은 결과를 산출한다. λ=1, d₁=30 및 d₂=40을 가진 UM_video 오퍼레이터를 사용하면, 처리된 영상은 선명하고 잡음은 거의 제거된다. UM_block 방법(λ=1, d₁=30, d₂=40, σ_th ²=400)은 품질 비균일 영역의 개선을 기술하는데, 그럼에도 불구하고, 이 방법은 중요한 불선명을 도입한다. 사실상, 중간 강도의 디테일은 또한 이전 경우에처럼 잘 규정되지 않는다. 최종적으로, 원래의 영상에 UM_adapt방법을 적용하면, 처리된 영상이 UM_video의 처리된 영상과 유사하다는 것을 보일 수 있다. 실제적으로 N_bl=N_ri=0이고 β=0이다. 따라서, 필터의 저역통과 효과는 감소되며 낮은 콘트라스트 디테일은 증폭된다. 이는 UM_adapt가 비디오 및 압축된 영상에 적용될 수 있다는 것을 의미한다.

압축된 영상 시퀀스에 대한 결과는 다음과 같이 기술된다. 코딩 및 디코딩 영상에 종래의 선형 UM 오퍼레이터(λ=0.5)을 코딩 및 디코딩된 영상에 적용하면, 처리된 영상은 선명하게 되나, 링잉 현상은 균일한 영역에서 매우 잘 보일 수 있다. UM_block 오퍼레이터( λ=1, d₁=30, d₂=40, σ_th ²=400)는 링잉 현상이 없으며 에지는 강화된다. UM_block 방법에 의해 강화된 영상은 블래킹 인조잡음이 없다. 텍스처의 불선명이 발생하지 않는다. 게다가, 에지는 증폭되며 영상은 더 선명하게 된다. 명백하게, 동일한 결과는 압축된 영상에서 β>>0이기 때문에 UM_adapt 오퍼레이터에 의해 얻어진다. 그러나, 그것의 유효성은 β의 값에 의존한다. β=0, λ=1, d₁=30, d₂=40, σ_th ²=200일 때, 선명도는 중간 콘트라스트 디테일에 대하여 유효하다. 그러나, 코딩 인조잡음은 스무스한 영역에서 증폭된다. β=1을 사용하면, 균일한 영역은 β=0의 경우에 적은 잡음을 가진다. 그럼에도 불구하고, 양호한 선명도는 디테일 영역에서 달성된다. 최종적으로, β=4에서, 코딩 인조잡음이 제거되지만, 심각한 불선명을 발생한다.

이들 고려사항으로부터, β가 일정한 값을 가질 수 없으나 영역에서 코딩 인조잡음의 존재 및 양에 따라야 한다. 식 5.1은 이러한 목표를 달성하기 위하여 선택된 방법을 기술한다.

4.1.3 관찰

1. 블록에 대한 매트릭스를 한정하는 주요한 알고리즘은 불로킹 인조잡음이 블록 경계에서 배치된다고 가정하지만, 비디오 코딩에서 블로킹 인조잡음이 모션 보상 에측으로 인해 임의의 위치에 배치될 수 있다는 것을 가정한다. 본 발명의 왜곡 측정은 블록의 위치 및 크기에 대한 임의의 정보를 필요로하지 않는다.

2. 계산 관점에서, 제안된 해결방법은 압축된 시퀀스에 대한 강화를 위해 3장에서 기술된 방법으로써 동일하게 단순화된다. 사실상, 블로킹 및 링잉 인조잡음을 검출하기 위하여, 본 발명에서는 유리함수(식 3.3 참조)의 표현으로 이미 추정된 분산값을 사용한다.

3. 만일 본 발명의 방법이 I 프레임에 적용된다면, 본 발명의 방법은 블록의 크기를 결정할 수 있는데, 사실상, 이들 프레임에서 블로킹 및 링잉 인조잡음은 블록 경계에 항상 배치된다. 단순화를 위하여 수평 방향만을 고려하는 단순한 방법이 이하에서 기술된다. 첫째, 본 발명은 N_c가 영상의 폭인 가운데, 길이 N_c의 벡터 pos_x를 규정한다. 블록 코딩된 영상 BCI에서 블로킹 또는 링잉 인조잡음 A가 검출될 때, pos_x의 각 위치는 1로 설정된다. 이러한 방식에서, 1 값이 코딩 인조잡음(도 10 참조)의 위치를 지시하는 2진 벡터 pos_x가 발생된다. 블로킹 및 링잉 인조잡음 A가 블록 경계 BB에 배치되기 때문에, pos_x는 다음과 같이 표현된다.

여기서 B는 블록의 크기이다. 그 다음에, pos_x의 자동상관은 다음과 같다.

(4.8)

이 수식은 n=kB일 때 최대로된다. 따라서, 블록의 크기를 결정하기 위하여, 본 발명에서는 R_x 및 R_y의 제 1최대 위치를 계산할 수 있다.

예로써, 도 11은 1.5Mb/s에서 코딩한후에 주어진 코딩 장면에 대한 결과를 기술한다. R_x(n) 및 R_y(n)은 n

k8에 대해 제로값을 취하여, 영상은 8x8 크기 블록으로 분할된다.

4. 본 발명의 방법은 강도 기울기의 급격한 변화가 유사하기 때문에 그래픽 영상에 적용될 수 없고, 많은 선명한 에지는 블로킹 효과로써 잘못 해석된다. 더욱이, 이들 영상에서, 균일한 영역에서의 분산은 제로값을 취하여, 조건 (4.6)은 많은 화소에 대해 검증된다.

그래픽 영상사이의 코딩된 영상을 구별하기 위하여, 선명한 에지가 임의의 위치에 배치될 수 있다는 것을 관찰하고, 따라서, pos_x 및 pos_y의 자동상관 (autocorrelation)은 n=1에 대하여 높은 값을 취한다(식 4.8 참조)

전술한 사항으로부터, 다른 형태의 영상이 단순하게 식별될 수 있고, 사실상, 다음과 같은 3가지의 경우가 가능하다.

(a) N_b1+N_ri>>R_x(1)+R_y(1)

0. 영상은 블록 코딩된 영상으로써 분류된다.

(b) N_b1+N_ri>>0 및 R_x(1)+R_y(1)>>0. 영상은 그래픽 영상으로써 분류된다.

(c) N_b1+N_ri

0. 영상은 비압축된 실제 영상으로써 분류된다.

5. 결론

앞의 상세한 설명으로부터, 본 발명에서는 영상이 블로킹될 수 있다는 사실을 고려하여 비디오 응용에 대한 선명도 강화 기술이 제안되었다.

콘트라스트 선명도에 대한 종래의 2-D 기술은 비디오 영상 시퀀스의 강화에 적용될 수 없다. 사실상, 종래의 기술은 정지화상에서 허용가능하나 영상 시퀀스에서 매우 잘보여서 성가시게되는 작은 인조잡음 및 비균일성을 유발하고, 더욱이, 결점의 가시성은 시퀀스의 내용, 즉 디테일 및 모션의 양에 따른다.

3-D UM 알고리즘은 이러한 문제점을 극복하기 위하여 2장에서 제안되었고, 단순한 공식에도 불구하고, 불쾌한 오버슈트 및 일시적인 인조잡음을 유발하지 않고 양호한 잡음 민감성 선명도 동작을 발생시키는 것이 가능하다. 그러나, 이러한 오퍼레이터는 그것이 매우 잘보여서 성가시게되는 코딩 인조잡음을 강조하기 때문에 블록 코딩된 영상 시퀀스의 강화에 적용될 수 없다. 이러한 목적을 위하여, 디테일을 강조하고 블로킹 및 링잉 효과(3장 참조)의 가시성을 감소시키기 위하여 불록 코딩된 영상 시퀀스를 처리할 때 단순한 수정이 이루어졌다.

그러므로, 코딩된 영상 시퀀스에서, 필터의 동작은 균일한 영역에서의 의사 선형 저역통과 영역으로부터 디테일 영역에서의 비선형 고역통과 영역까지의 범위를 가진다. 필터 동작을 조절하는 분산 검출기는 오퍼레이터를 간결하게 표현하는 필터 그자체에 삽입된다.

최종적으로, 비디오 및 코딩된 영상 시퀀스의 강화기술을 정의하기 위하여, 필터의 동작이 코딩 인조잡음의 존재에 따라 변화되도록 하는 메커니즘은 오퍼레이터에 삽입되었다. 이를 위하여, 블록의 위치 및 크기에 대한 임의의 정보를 필요로하지 않는 새로운 왜곡 측정이 도입된다. 사실상, 블록에 매트릭스를 정의하는 주요 제안된 알고리즘은 블로킹 인조잡음이 항상 블록의 경계에 배치되나 비디오 코딩에서 블로킹 인조잡음이 모션 보상 예측으로 인해 임의의 위치에 배치될 수 있다는 것을 가정한다. 알고리즘은 컴퓨터 시뮬레이션에 의해 평가되었으며 그것의 결과는 기존의 알고리즘보다 성능이 우수하다는 것을 명확하게 보여준다. 오퍼레이터의 특정 성분은 이러한 기술이 PC 환경에서 디코딩된 시퀀스에 대해 사용될 수 있도록 하는데, 왜냐하면, 하드웨어 및/또는 요구된 처리 전력과 관련하여 비용을 절감하기 때문이다. 알고리즘은 실제 시퀀스의 이종의 내용에 대하여 강하여 요구하는 영상에 대하여 매우 양호한 성능을 제공한다.

전술한 실시예는 본 발명을 제한하지 않고, 예시하며 당업자는 첨부된 청구 범위를 벗어나지 않고 많은 대안적인 실시예를 설계할 수 있다는 것에 유의하라. 청구범위에서, 괄호사이의 임의의 도면부호는 청구범위를 제한하지 않는다. "포함하는"이란 단어는 청구항에 열거된 것과 다른 요소와 단계의 존재를 배제하지 않는다. 요소 앞의 단어 "a", "an"(하나)는 복수의 요소의 존재를 배제하지 않는다. 본 발명은 여러 개별요소를 포함하는 하드웨어에 의하여 그리고 적절하게 프로그래밍된 컴퓨터에 의해 실행될 수 있다. 여러 수단을 열거하는 장치 청구범위에서, 여러 수단은 하드웨어의 하나 및 동일한 항목으로 구현될 수 있다. 어떤 수단들이 상호 다른 종속항에 열거되어 있다는 단순한 사실이 상기 수단들의 조합이 유리하게 사용될 수 없다는 것을 나타내지는 않는다.

Claims (14)

1. 선명도 강화방법에 있어서,

   필터링된 신호(z_x, z_y)를 얻기 위하여 입력신호(s)를 필터링(SHPF)하는 단계;

   승산된 신호를 얻기 위하여 상기 필터링된 신호를 제어가능한 분수( λ, c_x, c_y)로 승산(M1, M2, M3)하는 단계; 및

   상기 승산된 신호를 상기 입력신호(s)에 가산(A1, A2)하는 단계를 포함하며,

   상기 제어가능한 분수(c_x, c_y)는 비선형 함수(HCF, VCF)에 의해 의존하는, 선명도 강화방법.
2. 제 1 항에 있어서, 상기 제어가능한 분수(c_x)는 에지 감지함수(RF)에 의존하는, 선명도 강화방법.
3. 제 2 항에 있어서, 상기 제어가능한 분수(c_x)는 제 1임계값(d1)보다 작은 에지들에 대해 최대값보다 작은, 선명도 강화방법.
4. 제 2 항에 있어서, 상기 제어가능한 분수(c_x)는 제 2 임계값(d2)을 초과하는 에지들에 대해 최대 값보다 작은, 선명도 강화방법.
5. 제 1 항에 있어서, 상기 비선형 함수는 얇은 라인 검출(TLD)에 의존하는, 선명도 강화방법.
6. 제 5 항에 있어서, 상기 얇은 라인 검출(TLD)은 상기 필터링된 신호(z_x, z_y) 상에서 수행되는, 선명도 강화방법.
7. 제 1 항에 있어서, 상기 필터링은 공간 필터링(SHPF)이며, 상기 방법은,

   시간적으로 필터링된 신호(-u_t)를 얻기 위하여 상기 입력신호(s)를 시간적으로 필터링(THPF)하는 단계; 및

   상기 입력신호(s)에 상기 시간적으로 필터링된 신호(-u_t)를 가산(A1)하는 단계를 더 포함하는, 선명도 강화방법.
8. 제 2 항에 있어서, 상기 에지 감지함수(RF)는 분산(variance)을 기초로 하는, 선명도 강화방법.
9. 제 8 항에 있어서, 상기 제어가능한 분수(c_x, c_y)는 임의의 임계값보다 작은 신호 변화들에 대하여 네거티브인, 선명도 강화방법.
10. 제 1 항에 있어서, 인접 화소 윈도우들의 평균값들의 비교를 포함하는 블로킹 및/또는 링잉 효과 검출단계를 더 포함하는, 선명도 강화방법.
11. 제 10 항에 있어서, 상기 블로킹 및/또는 링잉 효과 검출단계는 상기 인접 화소 윈도우들의 분산들과 임계값의 비교를 더 포함하는, 선명도 강화방법.
12. 제 10 항에 있어서, 블로킹 및/또는 링잉 효과들을 나타내는 벡터(pos_x, pos_y)의 자동상관(autocorrelation)(R_x,R_y)에 기초한 블록 크기 검출을 더 포함하는, 선명도 강화방법.
13. 선명도를 강화하는 장치에 있어서,

    필터링된 신호(z_x, z_y)를 얻기 위하여 입력신호(s)를 필터링(SHPF)하는 수단;

    승산된 신호를 얻기 위하여 상기 필터링된 신호를 제어가능한 분수( λ, c_x, c_y)로 승산(M1, M2, M3)하는 수단; 및

    상기 승산된 신호를 상기 입력신호(s)에 가산(A1, A2)하는 수단을 포함하고,

    상기 장치는 비선형 함수(HCF, VCF)에 의하여 상기 제어가능한 분수(c_x, c_y)를 발생시키는 수단을 더 포함하는, 선명도 강화장치.
14. 텔레비젼 장치에 있어서,

    제 13 항에서 청구된 선명도 강화장치; 및

    상기 선명해진 신호를 디스플레이하는 수단(D)을 포함하는, 텔레비전 장치.

Images