KR20050085554A

KR20050085554A - 코딩된 디지털 영상에 대한 해상도 또는 선명도 향상과아티팩트 감소의 결합

Info

Publication number: KR20050085554A
Application number: KR1020057010622A
Authority: KR
Inventors: 릴라 보로크즈키; 위빈 양
Original assignee: 코닌클리케 필립스 일렉트로닉스 엔.브이.
Priority date: 2002-12-10
Filing date: 2003-11-28
Publication date: 2005-08-29
Also published as: EP1574069A1; CN1723712A; WO2004054269A1; US20060050795A1; JP2006510272A; AU2003282296A1

Abstract

본 출원은 코드화 디지털 영상에 대한 화질을 향상하기 위해, 해상도 또는 선명도 향상 및 아티팩트 감소를 공동으로 제어하는 신규의 방법에 관한 것이다. 본 출원은 메트릭에 기초한 공동 제어를 제공하는 것으로서, 상기 메트릭은 어느 픽셀이 어느 만큼 향상되었는가를 결정하고 어느 픽셀상에서 어느 정도 아티팩트 감소가 이루어졌는가를 결정하는데 사용된다.

Description

코딩된 디지털 영상에 대한 해상도 또는 선명도 향상과 아티팩트 감소의 결합{Joint resolution or sharpness enhancement and artifact reduction for coded digital video}

본 발명은 코딩된 디지털 영상에 대한 최적의 화질을 얻기 위해 영상 향상(video enhancement)과 아티팩트 감소(artifact reduction)를 결합하는 신규의 접근법에 관한 것이다. 영상 향상은 해상도 향상 또는 선명도 향상을 포함할 수 있다. 보다 구체적으로는, 본 발명은 선명도 또는 해상도 향상, 아티팩트 감소, 및 두 후-처리 유닛들을 구동하는 공동 제어를 포함하는 방법 및 시스템에 관한 것이다. 보다 구체적으로는, 본 발명은 본원에서 완전히 설명되는 바와 같이 참고문헌으로 포함되어 있는 발명의 명칭이 "디지털 영상 처리를 위한 단일화된 메트릭(A Unified Metric For Digital Video Processing)(UMDVP)"인 본 발명자의 공동-계류중인 특허 출원에 제공된 메트릭(metric)과 같은 메트릭에 기초한 공동 제어를 제공하는 것으로서, 상기 메트릭은 어느 픽셀이 어느 만큼 향상되었는가를 결정하고 어느 픽셀상에서 어느 정도 아티팩트 감소가 이루어졌는가를 결정하는데 사용된다

MPEG(Moving Picture Expert Group) 영상 압축 기술은 작은 기억 장치 및 적은 밴드 폭을 요구함으로써, 많은 현재 및 최근의 제품들, 예를 들면, DVD 플레이어, 고품위 텔레비전 디코더, 및 영상 회의(video conferencing)를 가능하게 하였다. 압축은 아티팩트의 삽입으로 인해 화질의 감소라는 댓가를 치루었다. 상기와 같은 손실이 많은 압축 기술(MPEG-1, MPEG-2, MPEG-4, H.26x, 등)은 디코딩된 영상의 화질을 떨어뜨리는 코딩 아티팩트(coding artifact)의 삽입을 유발한다는 것으로 알려져 있다. 블록 기반의 코딩 기술에 있어서, 대부분의 주파수 아티팩트는 블로키니스(blockiness) 및 링잉(ringing)이고 이러한 다양한 아티팩트의 감소를 처리하는 많은 알고리즘들이 개발되어 왔다. 이러한 알고리즘의 공통 목적은 장면 컨텐트(예를 들면, 이미지 선명도 및 세밀한 디테일)의 다른 바람직한 특성을 저하시키기 않고 아티팩트를 줄이기 위한 것이다. 실제로, 종래의 선명도 향상 알고리즘은 인코딩된 디지털 영상에 대해 종종 이미 존재하는 코딩 아티팩트를 준최적화로 실행하는 것으로서, 참고문헌으로 본원에 포함되어 있는 발명의 명칭이 "코딩된 디지털 영상에 대한 선명도 향상 시스템 및 방법(System and Method of Sharpness Enhancement for Coded Digital Video)"인 본 발명자의 공동-계류중인 특허 출원을 참조하라.

발명의 명칭이 "디지털 영상 처리에 대한 단일화된 메트릭(Unified Metric for Digital Video Processing)"인 본 발명자의 공동-계류중인 특허 출원에 있어서, 디지털 영상 처리에 대한 메트릭(metric)은 MPEG 코딩 정보 및 국부적 공간 특성에 기초하여 정의된다. 상기 메트릭은 픽셀이 코딩 아티팩트(coding artifact)를 증가(boosting)시킴이 없이 얼마 만큼 향상될 수 있는가를 결정한다. 실험에 의하면, 이러한 메트릭과 결합된 선명도 향상 알고리즘만으로도 이러한 메트릭이 없는 알고리즘 보다 더 양호한 화상을 얻게 되었다. 그러나, 영상은 아직도 최적 화상 품질을 얻기 위해 제거될 필요가 있는 코딩 아티팩트를 포함한다.

통상, 디블록킹(de-blocking) 및 디링잉(de-ringing) 알고리즘 양쪽 모두에 있어서, 제1 단계는 아티팩트를 검출하는 것이고, 그 다음 단계는 아티팩트를 갖는 이미지의 국부 영역상에 아티팩트 감소를 적용하는 것이다. 만일 아티팩트 검출 단계가 부정확하다면, 결과적으로 화상 품질은 아티팩트 감소 이전 보다 더 불량해질 수 있다. 따라서, 신뢰성 있는 코팅 아티팩트를 검출하는 것이 중요하다.

해상도 또는 선명도 향상 알고리즘과 아티팩트 감소 알고리즘 양자는 선험적으로(priori) 코딩된 디지털 영상, 예를 들면, MPEG 코드화 영상의 수신, 기억, 및 그 이상의 처리를 위한 시스템 내에 공존한다. 선명도 향상 및 아티팩트 감소에 대한 현재의 방식은 서로 독립적으로 실행되고 한 쪽으로부터 유래된 향상(enhancement)은 다른 쪽에 부정적인 영향을 끼치고 그에 따라 화상 품질을 떨어뜨린다.

도 1은 디코딩된 영상의 해상도 또는 선명도 향상(SE) 및 아티팩트 감소(AR)를 공동으로 제어하는 후처리 시스템에 대한 기능도.

도 2는 본 발명의 후처리 방법의 제어 레벨의 흐름도.

도 3은 휘도 신호의 알고리즘 레벨 UMDVP-제어된 디링잉(deringing)의 흐름도.

도 4는 위치(i,j)의 UMDVP의 인접픽셀을 도시하는 도면.

도 5는 크로미넌스 신호(chrominance)의 알고리즘 레벨 UMDVP-제어된 디링잉의 흐름도.

따라서, 코딩 아티팩트 및 국부적인 세부 디테일(fine detail)을 식별/구별하는 해상도 또는 선명도 향상(SE) 및 아티팩트 감소(AR)에 대한 결합된 방법이 필요하다. 해상도 향상은 스케일링 함수(scaling function) 및 선명도 향상 알고리즘으로 구성된다. 본 발명은 해상도 향상의 선명도 향상만을 취급한다. 본 발명은 코딩된 디지털 영상에 대한 최적의 화상 품질을 획득하는 선명도 향상과 아티팩트 감소를 결합하는 단일화 방법이다.

일단, UMDVP 등의 메트릭이 어느 픽셀이 향상을 위한 양호한 후보자(candidate)이고 어느 아티팩트상에서 제거되어야 하는지를 식별하면, 본 발명은 SE 및 AR 양쪽 전부를 효과적이며 신뢰성 있게 작동시키기 위한 제어를 제공한다. 한 실시예에 있어서, 본 발명은 블로키니스(blockiness) 및 링잉(ringing) 등의 코딩 아티팩트를 포함하는 픽셀을 특성 부여하기 위해 메트릭을 채택한다. 그리고, 상기 메트릭에 기초하여, 제어는 어느 및 얼마 정도의 많은 인접하는(neighboring) 픽셀이 원래의 픽셀의 주변에서 엣지 및 미세 디테일 등의 상관 특성(relevant feature)을 블러링(blurring)함이 없이 AR에 연관되는가를 결정한다. 또한, 상기 메트릭에 기초하여, 본 발명은 얼마나 "적극적으로(aggressively)" AR이 일정 영역 또는 개별 픽셀에 적용되어야 하는지를 결정한다.

아티팩트가 없는 영역에서, 단일화된 메트릭에 기초한 본 발명의 공동 제어는 SE가 상기 영역들에서 엣지들 및 텍스쳐(texture)들을 향상시키도록 하여, 사용된 향상(enhancement)의 양은 최적의 화상 품질을 획득하도록 제어될 수 있다.

이제, 도 1을 참조하면, MPEG-2 디코더(10)는 입력 영상 신호를 디코딩하고 디코딩된 영상 신호(11)는 후처리 유닛(18)에 입력된다. 상기 후처리 유닛(18)은 선명도 향상 모듈(12) 또는 해상도 향상 모듈( 12a), 및 아티팩트 감소 모듈(13)을 포함한다.

아티팩트 감소 모듈(13)은 예를 들면 디블록킹(de-blocking), 디링잉(de-ring) 등을 포함하는 군(group)으로부터 선택된 적어도 하나의 알고리즘을 포함한다.

제어 모듈(17)은 선명도 향상 모듈(12) 및 아티팩트 감소 모듈(13)에 의해 디코딩된 영상 신호(11)에 대한 후처리의 어플리케이션을 공동으로 제어하도록 메트릭(19)을 사용한다. 제어 모듈(17)은 메트릭 계산 모듈(16)로부터 메트릭(19)을 수신한다. 상기 MPEG-2 디코더(10)는 디코딩된 영상 신호(11) 뿐만 아니라 코딩 정보(15)를 메트릭 계산 모듈(16)에 전송한다. 시스템의 출력은 후처리 영상(14)이다.

디지털 영상 처리를 위한 단일화된 메트릭

양호한 실시예에 있어서, 메트릭 계산 모듈(16)은 동일한 발명의 명칭을 갖는 본 발명자의 공동-계류중인 출원에서 기술된 바와 같이 디지털 영상 처리를 위한 단일화된 메트릭(A Unified Metric For Digital Video Processing)(UMDVP)"을 계산한다. 블록 기반의 코딩 정보(15)로부터, 상기 UMDVP 메트릭이 계산되고 MPEG-2 인코딩된 영상의 국부적인 화상 품질을 반영한다. 상기 UMDVP는 정량화 스케일(quantization scale), 블록을 코딩하기 위해 사용된 비트수, 및 화상 유형(I,P 또는 B) 등의 블록 기반 코딩 정보에 기초하여 결정된다. 상기와 같은 코딩 정보는 약간의 컴퓨터의 사용으로 MPEG-2 비트 스트림으로부터 획득된다. 상기 코딩 정보는 디코더에 의해 메트릭 계산 모듈에 보내진다. 메트릭 계산 모듈(16)은 국소 분산(local variance) 등의 공간 특성을 사용하여 국소 장면 컨텐츠에 대해 UMDVP를 적응시킨다. 공간 특성은 결합 후처리 유닛(18)의 성능을 더 개선하기 위해 픽셀 기반값에 대해 메트릭을 개량하도록 사용된다.

상기 UMDVP 메트릭의 값은 [-1,1]의 범위 내에 있다. 상기 UMDVP값이 낮으면 낮을 수록, 픽셀은 코딩 아티팩트를 더 갖을 것이다. 보통, 높은 양의 UMDVP 값은 픽셀이 선명해져야 하고 아티팩트 감소로부터 배제되어야 한다는 것을 나타낸다. 제어 모듈(17)은 UMDVP 메트릭(19)을 수신하고 상기 메트릭(19)을 사용하여 후처리 유닛(18)의 아티팩트 감소 모듈(13) 및 선명도 향상 모듈(12)을 공동으로 제어하는데 사용된다. 메트릭(19)의 값은 후처리 모듈들 중의 어느 것이 그리고 어떤 순서로 온(on)이 되는가를 결정한다. 예를 들면, 만일 UMDVP 메트릭(19)이 미리 정해진 임계값(VP_THRED) 보다 더 작다면, 선명도 향상 모듈(12)은 오프(off)가 되고 아티팩트 감소 모듈(18)은 온(on)이 되고, 만일 UMDVP 메트릭(19)이 상기 임계값(VP_THRED) 보다 더 크거나 동일하다면, 아티팩트 감소 모듈(18)은 오프가 되고 선명도 향상 모듈(12)은 온이 된다. 하나의 기능(function)을 완전히 오프로 할 필요는 없다. 예를 들면, 아티팩트가 있는 영역에서 AR이 잘 실행된다는 것이 결정되면, SE는 그 영역 내의 선명도를 개선하기 위해 인에이블 될 수 있다.

UMDVP 메트릭이 픽셀에 대해 아티팩트 감소를 적용하는지 또는 어느 정도까지 적용하는지 여부를 나타내는 동안에, 상기 메트릭은 블로키니스(blockiness) 또는 링잉(ringing)등의 상이한 코딩 아티팩트를 분간하는 수단을 제공하지 않는다. 따라서, 일단 제어 모듈(17)에 의해 활성화되면, 보다 높은 성능을 획득하기 위해 상기 UMDVP 메트릭을 어떻게 사용할 것인가를 결정하는 것은 아티팩트 감소 모듈(13)의 몫이다. 예를 들면, UMDVP 메트릭(19)은 얼마나 "적극적으로(aggressively)" 아티팩트 감소 또는 선명도 향상이 실행되어야 하는가를 결정한다. UMDVP 메트릭이 값이 VP_THRED의 값 미만으로 낮으면 낮을 수록, 제어 모듈(17)은 아티팩트 감소 모듈(13)이 실행될 것을 더 지시한다. 그렇지 않으면, UMDVP의 값이 VP_THRED의 값을 초과하여 크면 클 수록, 선명도 향상 모듈(12)이 제어 유닛(17)에 의해 더 많은 향상을 실행하도록 지시받는다.

VP_THRED과 관련된 메트릭의 사용은 도 2에 도시된다. 메트릭 M=UMVDP는 단계 20에서 블록 기반의 코딩 정보로부터 계산된다. 미리 정해진 임계값(VP_THRED)과 계산된 메트릭(M)의 차이는 이하의 식을 사용하여 단계 21에서 결정된다.

AMT=M-VP_THRED

AMT의 값은 후처리가 얼마나 적극적으로, 즉, AMT의 절대값에 직접 비례하여 적용되어야 하는가를 나타낸다. AMT가 양(positive)인 경우에, 아티팩트 감소는 단계 24에서 오프로 되고 향상(enhancement)은 단계 25에서 온으로 된다. 기준 레벨 동안에 실행된 향상의 양(amount of enhencement)은 AMT, 즉, 향상의 적극성(aggressiveness of the enchacement)에 비례한다. 만일, AMT가 양이 아니라면, 즉 0 또는 음이라면, 향상은 단계 22에서 오프로 되고 아티팩트 감소는 단계 23에서 온으로 된다. 주어진 블록에 대한 M의 값이 낮으면 낮을 수록, 블록이 아티팩트를 갖기 쉽기 때문에, ｜AMT｜에 비례하여 실행되는 동안에 보다 적극적인 아티팩트 감소가 실행된다.

아티팩트 감소 알고리즘

많은 유형의 아티팩트가 영상 신호의 손실을 입히는 인코딩에 의해 도입될 수 있고, 후처리 유닛(18)에 의한 후처리 도중에 대응 알고리즘을 사용하여 감소될 수 있다. 메트릭, 예를 들면, UMDVP는 후처리가 상기 알고리즘에 의해 언제, 어디서, 얼마 만큼 달성되는가를 제어하는데 사용 가능하다.

코딩된 영상 스트림에서 통상 발생하는 2가지 유형의 아티팩트는 블로키니스(blockiness) 및 링잉(ringing)이다. 블로키니스는 인접한 블록의 독립적인 코딩에 기인하여 블록 경계에서 시각적으로 표시될 수 있는 불연속성으로서 그 자신을 표명한다. 링잉은 일반적으로 매끈한 텍스쳐(smooth texture) 영역 내의 하이 콘트라스트 엣지들을 따라 가장 두드러지고 상기 엣지로부터 밖으로 연장하는 리플(ripple)로서 나타난다. 링잉은 엣지의 묘사에 중요한 역할을 하는 고주파 DCT 성분의 급격한 절단(truncation)에 의해 발생된다.

블로키니스 및 보충적인 디블록킹(rededial de-blocking)이 널리 연구되고 많은 디블록킹 알고리즘이 개발되는 동안에, 링잉은 관심을 덜 끌었다. 특히, 많은 고-콘트라스트 고-해상도 표시 장치에 대한 만족스러운 디링잉 알고리즘은 종래기술에서는 개시되지 않았고 존재하는 알고리즘은 결과적으로 절충된 화상 품질로 이어지는 단순한 공간 필터링에 기초하고 또는 컴퓨터 사용상의 복잡성이 가까운 장래에 실시를 방해한다. 그러나, 링잉 아티팩트는 고비트율에서 심지어 시각적으로 표시될 수 있고 고정밀 모니터 등의 표시 장치상에 비정상적으로 확장되고 따라서, 신경에 거슬린다.

비블록킹 및 디링잉 알고리즘 양쪽 전부는 본 발명의 시스템 및 방법에 의해 제어 가능하다.

UMDVP-제어된 디링잉

제한적인 것이 아니고 예시로서, 아티팩트 감소 모듈의 디링잉 알고리즘은 적절한 메트릭이 후처리 알고리즘을 제어하기 위해 어떻게 사용될 수 있는가를 설명하기 위해 제시된다. 상기 디링잉 알고리즘은 적응성 공간 필터링에 기초하고, 메트릭 계산 유닛(16)에 의해 계산된 UMDVP 등의 메트릭을 채택하여, 필터링(검출)의 위치, 필터의 크기, 및 어느 픽셀이 필터 윈도우에 포함되거나 또는 배제되었는가를 결정한다. 또한, 메트릭의 값에 기초하여, 디링잉 알고리즘은 필터링된 픽셀이 그 원래값과 얼마 만큼 다른가를 결정하고, 그에 따라 원래 압축 강도에 의존하는 변위(displacement)에 대한 제어를 제공한다.

링잉 아티팩트는 크로미넌스 성분(chrominance component)에서 발생하여 결과적으로 주변 영역과 상이한 색이 되고, 컬러 서브-샘플링(color sub-sampling)에 기인하여 전체 매크로 블록에 퍼지기도 한다. 이러한 문제는 컬러의 어울리지 않음을 방지하기 위해 주의깊은 제어 방법으로 크로미넌스 필터링을 적용함에 의해 교정된다.

a. 휘도 성분에 대한 디링잉

제한적인 것이 아니고 예시로서, 휘도 신호의 UMDVP-제어된 디링잉에 대한 처리 단계들의 흐름들이 도 3에 도시된다. 지점(i,j)의 인접픽셀(neighborhood)이 도 4에 도시된 바와 같이 정의되는, 지점(i,j)에 위치한 픽셀을 고려한다. 단계 31에서, 분리된 "0"의 UMDVP값이 1의 UMDVP의 값을 갖는 인접픽셀에서 발견되는지의 여부가 결정되고, 만일 그렇다면, UMDVP(i,j)는 단계 32에서 위치(i,j)의 픽셀에 대해 1로 설정된다. 인접픽셀 크기는 양호한 실시예에서 디링잉 될 픽셀의 3×3 인접픽셀로 선택되고, 또는 만일 픽셀이 동질적인(homogeneous) 인접픽셀 내에 있지 않지만 음의 UMDVP 값을 갖는 다면, 단계 33에서 이러한 인접픽셀에서의 모든 UMDVP 값이 "0" 보다 더 작은가 또는 동등하는지가 결정된다. 단계 33에서 테스트된 조건은 분리 지점상에서의 디링잉 뿐만 아니라 예를 들면 텍스쳐 영역에서의 과도한 블러링(blurring)을 실행하는 것을 방지하고, 여기서 DMVDP 값은 "1"과 "0"의 혼합(mix)이다.

만일, 단계 33에서의 조건이 충족된다면, 픽셀의 휘도값은 단계 35의 제1의 필터링(I), 예를 들면 선택된 윈도우를 사용하고, 디링잉되고 있는 픽셀의 휘도값으로부터 예를 들면 10% 정도의 주어진 양 만큼 상이한 픽셀들을 배제하는, 저역 통과 필터링에 의해 필터링된다. 따라서, 상당히 상이한 휘도값을 갖는 픽셀들은 배제되어 세밀한 디테일은 아티팩트 대신에 필터링되지 않는다. 다른 형태의 필터링은 저역 통과 필터링 대신에 사용 가능하고, 이하의 필터링(II)를 참고하라.

단계 33에서의 조건이 충족되지 않으면, 픽셀의 휘도값은 저역 통과 필터로서 역시 실행되는 단계 34의 제2의 필터링(II)에 의해 필터링된다.

Y_filt(i,j) = Y(i,j)-f(UMDVP(i,j))*hp(i,j)

여기서, Y(i,j)는 원래 휘도값이고, f(UMDVP(i,j))는 UMDVP(i,j)의 함수이고, hp(i,j)는 고역 통과 신호(high-pass-signal)이다.

f(UMDVP(i,j))=(1-UMDVP(i,j))/a

여기서, "a"는 예를 들면, 2, 4, 8...일 수 있다. "a"=4에 대하여, hp(i,j)의 계산은 이하의 필터 커널(filter kernel)을 사용하여 완성된다:

0 -1 0

-1 4 -1

0 -1 0

8

필터 커널의 출력은 0.5를 곱하여 매우 강력한 저역 통과 필터링을 방지한다.

필터링 이후에, 단계 36에서 원래의 값은 최대 변위에 대해 한정적인 의미가 아니라 예시인 이하의 정의에 기초하여 필터링됨에 의해 대체된다:

픽셀(i,j)이 동질적 영역에 속한다면, Max_displ=PAR1+PAR2이고,

동질적이지 않고, UMDVP(i,j)〈=0이면, Max_displ=abs(UMDVP)*PAR1+PAR2이고,

그렇지 않다면, Max_displ=PAR2이고,

여기서 PAR1=30, PAR2=20이다.

만일 원래 휘도값과 필터링된 값의 절대 차이(absolute difference)가 상기의 계산된 Max_displ보다 더 크다면, 원래값은 유지되거나 또는 단계 36에서 Max_displ 만큼만 이동된다. 즉, 원래값은 f(Y(i,j), Y_filt(i,j), Max_displ)로 설정된다.

b. 크로미넌스 성분의 디링잉

한정적인 것이 아니라 예시로서, 크로미넌스 신호의 UMDVP-제어된 디링잉에 대한 처리 단계의 흐름이 도 5에 도시된다. 지점(i,j)에 위치된 픽셀을 고려한다. 단계 51에서 분리된 "0"의 UMDVP값이 "1"의 UMDVP의 값을 갖는 인접픽셀에서 발견되는지의 여부가 결정되고, 만일 그렇다면, UMDVP(i,j)는 단계 52에서 위치(i,j)의 픽셀에 대해 1로 설정된다. 인접픽셀 크기는 양호한 실시예에서 디링잉 될 픽셀의 7×7 인접픽셀로 선택되고, 단계 53에서, 픽셀(i,j)이 동질적인 영역에 속하는지가 결정된다. 보다 더 큰 윈도우 크기가 선택되는 이유는 일반적인 디지털 영상 시스템에서 크로미넌스 신호는 휘도 신호에 대해 서브-샘플링, 예를 들면, 422 컬러 포맷으로 크로미넌스 신호는 수평으로 2만큼 서브 샘플링되기 때문이다.

만일, 단계 53에서의 조건이 충족된다면, 저역 통과 필터링이 단계 54에서 원래의 크로미넌스 값에 적용, 즉, 3×5 윈도우에서 422 서브 샘플링과 맞춰진다. 필터링에서, 크로미먼스 값이 디링잉되고 있는 픽셀의 크로미넌스 값과 예를 들면 10% 정도의 주어진 양 이상으로 상이한 픽셀들은 배제된다. 따라서, 상당히 상이한 크로미넌스 값을 갖는 픽셀들은 배제되어 컬러 부정합이 방지된다.

필터링 이후에, 원래의 값들은 크로미먼스 성분들에 대해 한정적인 의미가 아니라 예시인 최대 변위에 대한 이하의 정의에 기초하여 단계 55에서 필터링된 값에 의해 치환된다:

픽셀(i,j)이 동질적 영역에 속한다면, Max_displ_chrom=(PAR1+PAR2)/4이고,

동질적이지 않고, UMDVP(i,j)〈=0이면, Max_displ_chrom=(abs(UMDVP)*PAR1+PAR2)/4이고,

그렇지 않다면, Max_displ_chrom=PAR2/4이고,

여기서 PAR1=30, PAR2=10이다.

크로미넌스 성분에 대한 최대 변위는 컬러의 부정합을 방지하기 위해 여기서 계수 4만큼 스케일링 다운된 것을 제외하고, 휘도에 대해 사용된 최대 변위와 동일하다. 제수(divisor)는 실험상 결정된다. 만일 원래의 크로미넌스 값과 필터링된 값의 절대 차이가 위에서 계산된 Max_displ_chrom 보다 더 크다면, 원래의 값은 유지되거나 또는 단계 55에서 Max_displ 만큼만 이동된다. 즉, 원래의 값들은 f(U(i,j), U_filt(i,j), Max_displ_chrom), 및 f(V(i,j), V_filt(i,j), Max_displ_chrom)로 설정된다.

후처리의 순차 제어

메트릭을 이용하는 후처리는 다른 양호한 실시예에서 순차적으로 달성된다. 메트릭-제어 해상도 또는 선명도 향상(SE) 이후의 메트릭-제어된 디링잉(AR)은 제어(17)을 이용하여 가능한 상기와 같은 직렬 제어이다.

이러한 설명에 있어서, 여기에서 개시된 여러 유닛들과 모듈들은 소프트웨어 또는 하드웨어 또는 상기 두개의 조합에 의해 실시되어 소요의 성능 레벨을 달성할 수 있다. 또한, 후처리 알고리즘들 및 그들의 파라미터들은 한정적인 의미가 아닌 단지 예시로서 포함된다. 따라서, 설명된 실시예는 코딩된 디지털 영상에 적용됨에 따라 복수의 후처리 알고리즘들의 공통 제어를 위한 메트릭에서 사용하기 위한 본 발명의 원리에 대한 예시적인 것으로서, 설명된 특정 실시예에 본 발명을 한정하려는 의도가 아니다. 이러한 개시를 고려하여, 본 분양의 당업자는 광범위하게 디코딩된 디지털 영상에 대한 후처리 알고리즘의 어플리케이션의 유형, 적극성, 순서를 결정함에 의해 디코딩된 영상에 대한 후처리 유닛을 제어하기 위해 메트릭을 사용하는 제어 유닛을 포함하는 장치를 실시할 수 있다. 또한, 후처리 알고리즘의 유형들은 예시로서 개시된 것에 제한되지 않고 후처리 알고리즘 그 자체는 디코딩된 디지털 영상의 그들 자신의 처리를 결정하는 때에 메트릭을 이용할 수 있다.

본 발명은 코딩된 디지털 영상에 대한 최적의 화상 품질을 획득하는 선명도 향상과 아티팩트 감소를 결합하는 단일화 방법을 제공할 수 있다.

Claims

디코딩된 디지털 영상의 후처리를 위한 시스템에 있어서,

상기 디코딩된 디지털 영상에 대한 복수의 후처리 모듈들의 어플리케이션의유형(type), 적극성(aggressiveness), 및 순서(order)를 결정하는 메트릭(M)을 계산하기 위한 메트릭 계산 유닛으로서, 상기 메트릭은 상기 디코딩된 디지털 영상으로부터 획득된 블록 기반의 코딩 정보에 기초하는, 상기 메트릭 계산 유닛과;

상기 복수의 후처리 모듈들을 포함하며, 상기 메트릭(M)에 기초하여 상기 디코딩된 디지털 영상의 품질을 개선시키는 후처리 유닛과;

상기 메트릭(M)에 기초하여 상기 후처리 유닛의 상기 복수의 후처리 모듈들 중 적어도 하나의 후처리 모듈의 활성화를 제어하는 제어 유닛을 포함하고,

상기 디코딩된 디지털 영상의 품질은, 상기 제어 유닛이 상기 복수의 후처리 모듈들 중 적어도 하나를 차례로 활성화하고, 상기 적어도 하나의 활성화된 후처리 모듈이 상기 메트릭(M)에 기초하여 상기 디지털 영상을 처리함으로써 개선되는, 디코딩된 디지털 영상의 후처리 시스템.
제1항에 있어서,

상기 복수의 후처리 모듈들은 아티팩트 감소(artifact reduction), 선명도 향상, 및 해상도 향상으로 이루어진 유형(type)들의 군(group)으로부터 선택된 각각의 유형 중 적어도 하나의 알고리즘을 포함하는, 디코딩된 디지털 영상의 후처리 시스템.
제2항에 있어서,

상기 적어도 하나의 아티팩트 감소 알고리즘은 상기 메트릭(M)에 기초하는 휘도 디링잉 알고리즘(luminance deringing algorithm)과 상기 메트릭(M)에 기초하는 크로미넌스 디링잉 알고리즘(chrominance deringing algorithm)중 적어도 하나를 포함하는, 디코딩된 디지털 영상의 후처리 시스템.
제2항에 있어서,

상기 제어 유닛은, M 〈 VP_THRED 공식에 따라, 적어도 하나의 아티팩트 감소 알고리즘을 활성화하고 적어도 하나의 선명도 향상 알고리즘을 턴오프(turn off)하며, 그 이외의 경우에는 상기 적어도 하나의 아티팩트 감소 알고리즘을 턴오프하고 상기 적어도 하나의 선명도 향상 알고리즘을 활성화하는 제1의 메커니즘을 더 포함하고,

VP_THRED는 미리 정해진 임계값이고, 일단 활성화되면 상기 알고리즘은 상기 메트릭(M)의 값에 기초하여 상기 알고리즘이 얼마나 "적극적으로(aggressively)" 수행되는가를 결정하는, 디코딩된 디지털 영상의 후처리 시스템.
제2항에 있어서,

상기 제어 유닛은 활성화되었던 상기 알고리즘이 잘 수행되었는가를 결정하고, 만약 그렇다면 턴오프되었던 알고리즘을 활성화하는 제2의 메커니즘을 더 포함하는, 디코딩된 디지털 영상의 후처리 시스템.
제4항에 있어서,

상기 적어도 하나의 아티택트 감소 알고리즘은 상기 메트릭(M)에 기초한 휘도 디링잉 알고리즘과 상기 메트릭(M)에 기초한 크로미넌스 디링잉 알고리즘 중 적어도 하나를 포함하는, 디코딩된 디지털 영상의 후처리 시스템.
제4항에 있어서,

계산된 상기 메트릭(M)은 디지털 영상 처리를 위한 단일화된 메트릭(UMDVP)이고, 상기 UMDVP 메트릭의 값들은 [-1,1]의 범위 내에 있는, 디코딩된 디지털 영상의 후처리 시스템.
제7항에 있어서,

상기 적어도 하나의 아티팩트 감소 알고리즘은 상기 메트릭(UMDVP)에 기초한 적어도 하나의 디링잉 알고리즘을 포함하는, 디코딩된 디지털 영상의 후처리 시스템.
제8항에 있어서,

UMDVP의 값이 1인 위치(i,j)에서의 픽셀의 인접픽셀 내 UMDVP의 분리된 영점값(isolated zero value)이 1로 치환되어, 분리된 픽셀에 대한 디링잉 알고리즘의 수행과, UMDVP의 값들이 1과 0들의 혼합(mix)인 인접픽셀에 대한 과도한 블러링(blurring)을 방지하고, 인접픽셀은 디링잉되고 있는 픽셀을 둘러싼 n×n 픽셀들인, 디코딩된 디지털 영상의 후처리 시스템.
제9항에 있어서,

상기 디링잉 알고리즘은 적어도 하나의 필터를 갖는 휘도 디링잉 알고리즘이고,

상기 적어도 하나의 필터는:

(a) UMDVP의 값들이 위치(i,j)에서의 픽셀의 3×3 인접픽셀이 동질적(homogeneous)이고 위치(i,j)에서의 픽셀이 음(negative)의 UMDVP의 값을 갖는지를 나타내는지의 여부에 따라 3×3 인접픽셀 크기를 사용하여 위치(j,j)에서의 픽셀에 대한 휘도 필터를 선택하고;

(b) 선택된 필터로, 위치(i,j)에서의 상기 UMDVP의 값에 기초한 픽셀(j,j)에서의 휘도에 대한 필터링된 값을 계산하고;

(c) 위치(i,j)에서의 상기 UMDVP의 값에 적어도 일부분 기초하여 위치(j,j)에서의 원래 휘도값으로부터 위치(i,j)에서의 상기 필터링된 휘도값의 최대 변위(displacement)를 계산하고;

(d) 상기 원래 값으로부터 상기 필터링된 값의 계산된 최대 변위의 함수에 기초하여 필터링된 값으로 위치(i,j)에서의 상기 원래 휘도값을 치환하도록, 적응되는, 디코딩된 디지털 영상의 후처리 시스템.
제10항에 있어서,

픽셀(i,j)에서의 휘도에 대한 필터값은 Y_filt(i,j) = Y(i,j)-f(UMDVP(i,j))*hp(i,j)이고,

여기서, Y(i,j)는 원래 휘도값이고, f(UMDVP(i,j))는 UMDVP(i,j)의 함수이고, hp(i,j)는 고역 통과 신호(high-pass signal)인, 디코딩된 디지털 영상의 후처리 시스템.
제11항에 있어서,

f(UMDVP(i,j))=(1-UMDVP(i,j))/a이고,

여기서, "a"는 양의 정수 n에 대한 수열(sequence) 2ⁿ=2, 4, 6, ...로부터 선택되는, 디코딩된 디지털 영상의 후처리 시스템.
제12항에 있어서,

"a"=4에 대하여, hp(i,j)의 계산은 이하의 필터 커널(filter kernel)을 사용하여 달성되고:

0 -1 0

-1 4 -1

0 -1 0

상기 필터 커널의 출력은 0.5를 곱하여 매우 강력한 저역 통과 필터링을 방지하는, 디코딩된 디지털 영상의 후처리 시스템.
제10항에 있어서,

상기 계산된 최대 변위의 함수는:

(a) 픽셀(i,j)이 동질적 영역에 속한다면, Max_displ=PAR1+PAR2이고;

(b) 동질적이지 않고 UMDVP(i,j)〈=0이면, Max_displ=abs(UMDVP)*PAR1+PAR2이고;

(c) 그 이외의 경우라면, Max_displ=PAR2이고, 여기서 PAR1 및 PAR2는 미리 정해진 파라미터들이고;

(d) 원래 휘도값과 필터링된 값의 절대차(absolute difference)가 계산된 Max_displ보다 더 크다면, 원래값은 유지되거나 또는 Max_displ 만큼만 이동하고, 즉, Y_filt(i,j)=Y 또는 Y_filt=Y+Max_displ 또는 Y_filt=Y-Max_displ인, 디코딩된 디지털 영상의 후처리 시스템.
제15항에 있어서,

PAR1=30, PAR2=10인, 디코딩된 디지털 영상의 후처리 시스템.
제9항에 있어서,

상기 디링잉 알고리즘은 필터를 갖는 크로미넌스 디링잉 알고리즘이고,

상기 필터는:

(a) UMDVP 값들은, 픽셀(i,j)의 7×7 인접픽셀이 동질적이라는 것을 나타내면, 3×5 인접픽셀 크기를 사용하여 픽셀(i,j)의 크로미넌스 값을 필터링하고;

(b) 저역 통과 필터링에 기초하여 픽셀(i,j)의 크로미넌스에 대한 필터링된 값을 계산하고;

(c) 위치(i,j)에서의 상기 UMDVP 값의 적어도 일부분에 기초하여 위치(j,j)에서의 원래 크로미넌스값으로부터 위치(i,j)에서의 상기 필터링된 크로미넌스값의 최대 변위를 계산하고;

(d) 상기 원래값으로부터 상기 필터링된 값의 계산된 최대 변위의 함수에 기초하여 필터링된 값으로 위치(i,j)에서의 상기 원래값을 치환하도록 적응되는, 디코딩된 디지털 영상의 후처리 시스템.
제1항에 있어서,

상기 제어 유닛은 상기 메트릭에 기초하여 상기 후처리 유닛의 상기 복수의 후처리 모듈들 중 상기 후처리 모듈들을 순차적으로 활성화하는, 디코딩된 디지털 영상의 후처리 시스템.
제17항에 있어서,

상기 후처리 모듈들은 적어도 하나의 아티팩트 감소 알고리즘과 선명도 및 해상도 향상 알고리즘 중 적어도 하나를 포함하는, 디코딩된 디지털 영상의 후처리 시스템.
디코딩된 디지털 영상의 품질을 개선시키기 위해 디코딩된 디지털 영상의 후처리 방법에 있어서,

상기 디코딩된 디지털 영상에 대한 복수의 후처리 모듈들의 어플리케이션의유형, 적극성, 및 순서를 결정하는 메트릭(M)을 계산하는 메커니즘을 제공하는 단계로서, 상기 메트릭은 블록 기반의 코딩 정보에 기초하는, 상기 메트릭 계산 메커니즘 제공 단계와;

상기 메트릭(M)에 기초하여 상기 디코딩된 디지털 영상의 품질을 개선시키기 위해 디코딩된 디지털 신호를 후처리하는 복수의 후처리 모듈들을 포함하는 메커니즘을 제공하는 단계와;

상기 메트릭(M)에 기초하여 상기 후처리 유닛의 상기 복수의 후처리 모듈들 중 적어도 하나의 후처리 모듈의 활성화를 위한 제어 유닛을 제공하는 단계와;

상기 메트릭(M)에 기초하여 블록의 각 픽셀의 후처리를 제어하기 위해 메트릭(M)을 계산하는 단계와;

상기 복수의 제공된 후처리 모듈들 중 적어도 하나를 활성화하는 단계로서, 선택 및 처리는 상기 디코딩된 디지털 영상의 품질을 개선시키기 위해 상기 계산된 메트릭(M)에 기초하는, 상기 활성화 단계를 포함하는, 디코딩된 디지털 영상의 후처리 방법.
제19항에 있어서,

복수의 후처리 유닛들을 제공하는 상기 단계는, 적어도 하나의 아티팩트 감소 알고리즘과 적어도 하나의 선명도 및 해상도 향상 알고리즘을 제공하는 단계를 포함하는, 디코딩된 디지털 영상의 후처리 방법.
제20항에 있어서,

적어도 하나의 아티팩트 감소 알고리즘을 제공하는 상기 단계는, 상기 메트릭(M)에 기초하는 적어도 하나의 휘도 디링잉 알고리즘과 상기 메트릭(M)에 기초하는 적어도 하나의 크로미넌스 디링잉 알고리즘을 제공하는 단계를 더 포함하는, 디코딩된 디지털 영상의 후처리 방법.
제20항에 있어서,

상기 활성화 단계는 미리 정해진 임계값(VP_THRED)을 제공하는 단계와;

M 〈 VP_THRED이면, (a) 상기 적어도 하나의 선명도 향상 알고리즘을 턴오프(turn off)하는 서브 단계와, (b) 상기 적어도 하나의 아티팩트 감소 알고리즘을 활성화하는 서브 단계를 수행하고, M 〉=VP_THRED이면, (c) 상기 적어도 하나의 아티팩트 감소 알고리즘을 턴오프하는 서브 단계와, (d) 상기 적어도 하나의 선명도 향상 알고리즘을 활성화하는 서브 단계를 수행하는 단계와;

상기 알고리즘이 상기 메트릭(M)의 값에 기초하여 얼마나 "적극적으로(aggressively)" 수행되는가를 상기 활성화된 알고리즘에 의해 결정하는 단계를 더 포함하는, 디코딩된 디지털 영상의 후처리 방법.
제22항에 있어서,

적어도 하나의 아티팩트 감소 알고리즘을 제공하는 상기 단계는 상기 메트릭(M)에 기초하는 적어도 하나의 휘도 디링잉 알고리즘과 상기 메트릭(M)에 기초하는 적어도 하나의 크로미넌스 디링잉 알고리즘을 제공하는 단계를 더 포함하는, 디코딩된 디지털 영상의 후처리 방법.
제23항에 있어서,

상기 메트릭(M)을 계산하는 상기 단계는 또한 디지털 영상 처리를 위한 단일화된 메트릭(UMDVP)으로서 M을 계산하는 메커니즘에 기초하고,

상기 UMDVP 메트릭의 값들은 [-1,1]의 범위 내에 있는, 디코딩된 디지털 영상의 후처리 방법.
디코딩된 디지털 영상의 후처리를 수행하기 위해 기록 가능한 매체상에 저장된 프로그램 제품에 있어서,

계산된 메트릭에 기초하여 상기 디코딩된 디지털 영상을 후처리하는 수단과;

상기 디코딩된 디지털 영상으로부터 획득된 블록 기반의 코딩 정보에 기초하여, 상기 디코딩된 디지털 영상에 대한 상기 후처리 수단의 어플리케이션의 유형, 적극성, 및 순서를 결정하는 메트릭을 계산하는 수단과;

상기 계산된 메트릭을 이용하여 상기 후처리 수단의 활성화 및 활성화의 순서를 제어하는 수단을 포함하는, 프로그램 제품.