KR20050013625A - 블록킹 아티팩트들을 검출하는 방법 - Google Patents

Abstract

본 발명은 디지털 이미지들의 시퀀스내에서 블록킹 아티팩트들을 검출하는 방법에 관한 것이다. 이 방법은 불연속성 픽셀들의 적어도 하나의 카드를 제공하도록 의도하는, 디지털 이미지의 일부를 하이-패스 필터링하는 단계를 포함한다. 또한, 이것은 기본 블록킹 아티팩트의 제 1 형태(p1)와 기본 블록킹 아티팩트의 제 2 형태(p2)를 불연속적인 픽셀들의 적어도 하나의 카드로 부터 검출하도록 의도하는, 블록킹 아티팩트들을 검출하는 단계를 포함한다. 이 방법은 그들의 형태(p1,p2)에 따라 블록킹 아티팩트들을 수정하는 단계를 최종적으로 포함한다.

Description

블록킹 아티팩트들을 검출하는 방법{Method of detecting blocking artefacts}

블록킹 아티팩트들은 이산 코사인 변환 DCT 형태의 이산 변환을 사용하여 블록-기반 인코딩 기술들에 대한 주요한 문제를 구성한다. 그들은 디코딩된 이미지시퀀스들내에서 때때로 극히 시각적인 블록 모자이크들의 형태로 나타난다. 이러한 아티팩트들은 이산 변환에 대한 강한 후속 양자화로 인한것이며, 강한 양자화로 인해 강한 불연속성들이 인코딩 블록들의 경계들에서 나타난다.

Proc. Of ICIP '98, vol.1, 410-414쪽, 시카고, 1998년 10월, J.Jung, M. Antonini, M. Barlaud에 의한 "최적의 JPEG 디코딩(Optimal JPEG Decoding)"로 제목된 논문은 블록킹 아티팩트들이 검출 및 수정될 수 있는 데이터 처리 방법을 설명한다. 이를 위해, 상기 방법은, 이미지에 수평과 수직으로 적용되는 웨이브렛 변환 형태(wavelet transform type)의 주파수 변환의 단계를 포함한다. 이 변환의 결과는 고주파수 계수들을 가진 두개의 서브-이미지들을 포함한다. 이러한 고주파수 계수들은 블록팅 아티팩트들 또는 자연 윤곽들(natural contours)에 대응한다. 종래 기술의 방법에 따르면, 블록킹 아티팩트들에 대응하는 고주파수 계수들은 8×8 픽셀들의 격자상에 공간적으로 위치하며, 임계보다 더 작은 값을 갖는데, 상기 임계보다 더 큰 값은, 자연 윤곽에 대응한다.

그러나, 상기 방법은, 블록킹 아티팩트들을 검출하는 가능성들을 제한하는 단지 블록킹 아티팩트들의 기본 모델링을 실행할 수 있다. 더욱이, 이것은 8×8 픽셀 격자들에서 블록킹 아티팩트들을 단지 찾는다. 격자는 이미지의 재샘플링 때문에 이미지내에서 왜곡될 수 있다. 이 왜곡은, 격자의 폭이 10-11-11 패턴에 따라 변하는 3/4 인코딩 포맷의 경우에 가끔 미리 알 수 있다. 그러나, 대다수의 경우들에서, 이 변화들은 예를 들어, 레이트 트랜스코딩(rate transcoding)으로부터, 16/9 텔레비전 수신기에서 4/3 포맷으로부터 예를 들어, 16/9 포멧으로 이미지의일부를 확대(zoom in)하는 이미지 포맷 변환과, AD 변환, 또는 이러한 다른 변환들의 조합으로부터 기원하기 때문에 임의적이다. 이 경우에, 종래 기술의 방법은 고정된 사이즈 및 위치를 갖는 격자에서 블록킹 아티팩트들을 단지 검출하고, 이 검출에 기초하여, 일부분 또는 심지어 비효율적인 수정의 위험을 갖는 후-처리 단계를 적용한다.

본 발명은 블록킹 아티팩트들에 대응하는 격자(grid)를 검출하도록 디지털 이미지들의 시퀀스 픽셀들에 대응하는 데이터를 처리하는 방법에 관한 것으로서, 상기 방법은 불연속성 픽셀들의 적어도 하나의 카드를 공급하는 것을 의도하는 디지털 이미지의 일부를 하이-패스 필터링하는 단계와, 불연속성 픽셀들의 적어도 하나의 카드로부터 블록킹 아티팩트들을 검출하는 단계를 포함한다.

또한 본 발명은 본 발명에 따른 데이터 처리 방법을 구현하기 위한 처리 장치를 포함하는 텔레비전 수신기에 관한 것이다.

그 응용은, 블록-기반 인코딩 기술, 예를 들어 MPEG 표준("움직임 화면들 전문가 그룹(Motion Pictures Expert Group)")에 따라 미리 인코딩되고 그 후 디코딩된 디지털 이미지내의 블록킹 아티팩트들의 검출과, 블록-기반 인코딩 기술에 기인한 시각적 아티팩트들을 감쇠하기 위해 이들 블록들내에 포함된 데이터의 수정에 서 두드러지게 발견한다.

도 1은, 공간 영역에서, 블록-기반 인코딩 기술에 따라 인코딩된 이미지들에서 주로 접하게 되는 두 개의 아티팩트 프로파일들(p1 및 p2)을 도시한다.

도 2는 본 발명에 따른 데이터 처리 방법을 도시하는 다이어그램이다..

도 3은 웨이브렛 변환을 도시하는 다이어그램이다.

도 4는 웨이브렛 변환 이후, 주파주 영역에서 두 개의 아티팩트 프로파일들(p1 및 p2)을 도시한다.

도 5는 웨이브렛 변환 이후, 주파수 영역에서 표현된 아트팩트 프로파일(p1)의 함수로서 블록킹 아티팩트의 위치를 도시한다.

도 6은 그레디언트 필터(gradient filter)에 의한 처리 이후, 주파수 영역에서 두 개의 아티팩트 프로파일들(p1 및 p2)을 도시한다.

도 7은 블록킹 아티팩트들을 수정하는 방법을 도시한다.

도 8은 p2형태의 블록킹 아티팩트들을 수정하는 원리를 도시한다.

본 발명의 목적은 보다 효율적인 데이터 처리 방법을 제안하는 것이다.

이를 위해, 본 발명에 따른 데이터 처리 방법에 있어서, 검출 단계는 불연속성 픽셀들의 적어도 하나의 카드로부터 기초 블록킹 아티팩트의 제 2 형태를 검출하도록 또한 의도되는 것을 특징으로 한다.

본 발명은 여러가지 연속적인 픽셀들의 함수로서 휘도(Y)의 전개를 표현하는 도 1에서 도시된 관찰들을 사용한다. 이러한 관찰들에 따라, 블록킹 아티팩트 프로파일들(p1 및 p2)의 두개의 형태들은 블록-기반 인코딩 기술에 따라 인코딩되고 순차적으로 디코딩되는 이미지들에서 주로 접한다. 제 1 프로파일(p1)은 표준 블록킹 아티팩트들에 대응하는 반면, 제 2 프로파일(p2)은 재샘플링 동작 또는 등가 동작(equivalent operation)이 되어진 이미지내에 존재하는 블록킹 아티팩트에 대응한다. 공간 영역에서, 제 1 프로파일(p1)은 계단(staircase)과 같은 단일 단계인 반면, 제 2 프로파일(p2)은 이중 단계이다.

또한, 본 발명에 따른 방법은 보다 강력한 분석에 의해 제 2 블록킹 아티팩트 프로파일을 고려한다. 따라서 실행되는 모델링은 이미지의 가능한 재샘플링 동작을 고려하기 때문에, 블록킹 아티팩트들을 검출하는 것에 관해 얻어진 결과는 개선된다. 또한, 블록킹 아티팩트들은 어떤 격자내에서 독립적으로 검출될 수 있으므로, 블록킹 아티팩트들을 검출하여 수정하는것 둘 다에 보다 효율적인 처리 방법을 제공한다.

본 발명의 상기 및 다른 관점들은 이후에 설명된 실시예(들)을 참고로 하여, 비-제한적인 예의 방식에 의해 분명해지며 명료해질 것이다.

본 발명은 블록-기반 인코딩 기술에 따라 인코딩 및 디코딩되는 디지털 이미지들의 시퀀스를 처리하는 방법에 관한 것이다. 본 예에서, 사용된 인코딩 기술은 이산 코사인 변환(DCT)을 기초로한 MPEG 표준이지만, 대안으로는, 예를 들어 H.263 또는 H.26L 표준과 같은 어떤 다른 등가 표준일 수 있다. 또한, 이 방법은 예를 들어, JPEG 표준에 따라 인코딩된 고정된 이미지에 적용될 수 있음을 주목해야 한다. 처리 방법은 이러한 블록 기반 인코딩 기술들로 인한 블록킹 아티팩트들의 검출에 먼저 관련되며, 다음으로 예를 들어, 후-처리 기술들 또는 이미지 품질 측정들과 같은 뒤이어 일어나는 어플리케이션에 관 한것이다.

도 2는 본 발명에 따른 처리 방법을 다이어그램으로 도시한다. 이러한 방법은 먼저 디지털 이미지의 일부를 하이-패스 필터링(FIL(110))하는 단계를 포함한다. 상기 일부는, 이미지가 두개의 인터레이싱된 프레임들에 의해 구성되며, 예를 들어, 한 프레임의 두 개의 필드들 중 하나가 된다. 상기 필터는, 시퀀스의 디지털 데이터 이미지의 필드의 휘도(Y(m,n))의 픽셀들에 대해, 수평과 수직으로, 한 로우씩 적용되는데, 여기서, m과 n은 수직 및 수평 축에 따라 필드내 픽셀의 위치에 각각 대응하여, 각각 1과 M사이와 1과 N사이의 정수들이다(M=288 및 N=720, 예를 들어, 576×720 인코딩 포멧).

양호한 실시예에서, 필터링 동작은 웨이브렛 변환 형태이다. 도 3을 참조하여 설명된 웨이브렛 변환은 이미지를 복수의 서브-밴드들로 분해하여 구성된 신호 처리 기술이며, 서브-밴드는 보다 작은 해상도의 필터링된 이미지들을 포함한다. 본 예에서, 웨이브렛 변환은 배직교 분해(bi-orthogonal decomposition)를 사용한다. 이러한 분해는 이점을 갖는데, 한편으로, 하이-패스 필터에 의한 윤곽들의 분명한 차이가 성취되며, 다른 한편으로, 로우-패스 필터에 의한 이미지의 평활화(smoothing)가 성취된다. 제 1 서브-밴드 레벨을 얻기 위해, 웨이브렛 변환은 아래의 단계들을 포함한다.

필터(lp1)에 의한 로우-패스 필터링(LP) 단계로서, IEEE Trans. Image Processing, vol. 1, no. 2, 205-220쪽, 1992년 4월 논문 "웨이브렛 변환을 사용한 이미지 코딩(Image Coding Using Wavelet Transform)"에서 Antonini et al에 의해 제안된 로우-패스 필터(Ip1)=

로, 수평 방향으로 서브-샘플링된 텍스처의 이미지(Ii)를 얻기 위해, 이미지(I1)의 수평 방향을 따라 2로 서브-샘플링(DS2)의 단계가 따르는, 상기 로우-패스 필터링 단계와,

필터(ph1)에 의한 하이-패스 필터링(HP) 단계로서, Antonini et al에 의해 제안된 하이-패스 필터(ph1)=

로, 수평 방향으로 불연속성을 검출하며, 수평 방향의 서브-샘플링된 불연속성 이미지(Ei)를 얻기 위해, 이미지(I1)의 수평 방향을 따라 2로 서브-샘플링(DS2)의 단계가 따르는, 상기 하이-패스 필터링 단계.

수평 방향(Ii 및 Ei)내 두개의 서브-샘플링된 이미지들 각각에 대해, 필터(lp1)를 가진 로우-패스 필터링 단계(LP)는 각각 수평 방향으로 서브-샘플링된 이미지(I2 또는 E2h)를 얻기 위해 수평 방향을 따라 2로 서브-샘플링(DS2)의 단계를 따른다.

수평 방향(Ii 및 Ei)내 두개의 서브-샘플링된 이미지들 각각에 대해, 필터(hp1)를 가진 로우-패스 필터링 단계(HP)는 각각 수직 방향으로 서브-샘플링된 이미지(E2v 또는 E2d)를 얻기 위해 수직 방향을 따라 2로 서브-샘플링(DS2)의 단계를 따른다.

결과는 둘로 나눠진 해상도와, 에러들을 원래 이미지와 근사 이미지(approximate image) 사이에 주는 3개의 상세한 이미지들(E2v, E2h, E2d)을 갖는 근사 이미지(I2)이다. 상세한 이미지들(E2h 및 E2v)은 각각 수평 및 수직 방향들에서 불연속성들을 나타낸다.

상기 방법은 블록킹 아티팩트들(BAD(120))에 대응하는 불연속성을 결정하는 단계를 포함한다. 상기 단계는 형성 임계들과, 현재 필터링된 계수와 거기에 근접한 필터링된 계수들 사이의 비교들을 기초로 한다. 도 4는 두 개의 아티팩트 프로파일들(p1 및 p2) 뿐아니라 주파수 영역내 그들의 표현, 즉 k의 함수로서 W₁(m,k)을 도시하며, k는 로우(m)의 픽셀의 위치를 표현하는 정수가 되며, 이는 결국 상기 설명된 것과 같은 웨이브렛 변환이다.

블록킹 아티팩트들을 결정하는 방법은 W₁ ^v(m,k)를 고려함으로써 수직적 블록킹 아티팩트들의 검출에 대해 아래에서 설명된다. 이것은 W₁ ^H(k,n)를 고려함으로써 수평적 블록킹 아티팩트들의 검출에 적용된다.

다음의 누적 조건들이 만족스러우면, 프로파일(pl)에 대응하는 수직적 아티팩트가 검출되는데, W₁ ^V(m,n)은 서브-샘플링된 이미지 E2v의 계수가 된다.

다음의 누적 조건들이 모두 만족되면, 프로파일(p2)에 대응하는 수직적 아티팩트가 검출된다.

본 예에서 A1은 4와 같은 미리 결정된 계수이다. S1 및 S2는 제 1 및 제 2의 미리 결정된 임계들이며, 제 1 임계는 가시적 임계에 대응하며, 위치(m,n)의 픽셀로부터의 제한에 대한 제 2 임계는 자연 윤곽에 대응한다. 본 예에서, 이들은 2와 10과 같다. 블록킹 아티팩트 프로파일들의 웨이브렛 변환 이후, S3는 주파수 영역내의표현으로부터 얻어진 제 3 임계이다. 본 예에서, 이것은 1과 같으며, 불연속성의 대조를 제어하는 것에 의해 보다 신뢰성 높은 검출을 하도록 서빙한다. 이것은 MPEG-4 응용들의 경우에 특히 유리할 수 있는데, 비디오 데이터 스트림들에 엑세싱하여 필드 양자화 단계가 가능하며, 처리 방법의 효율을 보다 향상시키도록 상기 양자화 단계들의 함수로서 임계들(S1 및 S2)이 변하는 경우이다. 예를 들어, 임계 값들은 양자화 단계의 선형적 함수이다.

웨이브렛들에서 2로 분해된 서브-샘플링 때문에, 블록킹 아티팩트의 근사 픽셀에서의 위치는 쉬운 문제가 아니다. 실제로, 제 1 서브-밴드의 주파수 도메인의 계수는 공간 도메인에서의 두개의 픽셀들에 연관될 수 있다. 이것은 웨이브렛 계수 부호들(W₁ ^V)을 고려할 때, 보다 좋은 분석이 필요하기 때문이다. 도 5는 픽셀 p(m,2n-1)와 p(m,2n) 사이에 놓여진 블록의 경계를 도시하는 한편, 픽셀 p(m,2n)와 p(m,2n+1) 사이에 놓여진 블록의 경계를 도시하며, 다른 한편으로는 부호들을 제외하고 주파수 영역내의 유사 프로파일에의 대응을 도시한다. 서브-샘플링 때문에, 서브-샘플링된 픽셀들(p(m,2n-3),p(m,2n-1),p(m,2n+1))은 엇갈려 표시되며, 상기 픽셀들에 대응하는 변환된 계수들(W₁ ^V(m,n-1),W₁ ^V(m,n),W₁ ^V(m,n+1))은, 상승 에지를 갖는 공간 도메인내의 불연속성에 대해 각각 두개의 픽셀들 p(m,2n)과 p(m,2n+1) 사이에 놓여진 블록 경계에서 (+,-,-)이며, 두개의 픽셀들 p(m,2n-1)과 p(m,2n) 사이에 놓여진 블록 경계에서 (+,+,-)이다. 앞의 두 경우에서, 불연속성이 하강 에지를 갖는다면, 서브-샘플링된 픽셀들(p(m,2n-3),p(m,2n-1),p(m,2+1))에 대응하는 변환된 계수들((W₁ ^V(m,n-1),W₁ ^V(m,n),W₁ ^V(m,n+1))의 부호들은 각각 (-,+,+), (-,-,+)이다. 요약하면, 변환된 계수들(W₁ ^V(m,n),W₁ ^V(m,n+1))의 부호들이 동일하면, 블록 경계는 픽셀 p(m,2n)과 p(m,2n+1) 사이에 놓여지며, 변환된 계수들(W₁ ^V(m,n-1),W₁ ^V(m,n))의 부호들이 동일하면, 블록 경계는 픽셀 p(m,2n-1)과 p(m,2n) 사이에 놓여진다. 블록킹 아티팩트들은 p2 형태의 프로파일을 갖는 아티팩트들에 대해 유사 원리에 따라 국부화될 수 있다.

특히 유리한 실시예에서, 필터링 동작은 필터(ph2=[1,-1,-4,8,-4,-1,1])를 사용한 그레디언트 필터링 동작이다. 이 필터는 시퀀스의 디지털 이미지의 필드의 휘도 픽셀들(Y(m,n))에 대해 한 로우씩 수평과 수직으로 적용된다.이 필터링 동작의 결과는 불연속성 픽셀들의 두개의 카드들, 수평 카드(Eh) 및 수직 카드(Ev)에 의해 바람직하게 구성된다. 대다수의 재샘플링 동작은 수평 방향으로 실행되므로, 수직 불성속성들을 보이는 수평 카드(Eh)는 제 1 근사에서 만족할 수 있다. 그러나, 이것이 불연속성 픽셀들의 두개의 카드들을 처리하는 것을 기초로 할 때, 본 발명에 따른 처리 방법은 최적의 효율을 가질 것이다. 예를 들어, Antonini et at에 의해 제안된 웨이브렛 변환(hp1)의 하이-패스 필터와 같은 다른 그레디언트 필터들이 가능하다. 특히, 필터(hp2)는 구현하기 쉽고 신뢰성 높게 필터(hp2)에 근사하다.

도 6은 필터(hp1 또는 ph2)로 필터링한 이후 주파수 도메인에서 그들의 표현뿐만 아니라 공간 도메인에서 두 개의 아티팩트 프로파일들(p1 및 p2))을 도시한다. 주파수 도메인에서, 제 1 프로파일(p1)은 피크에 대응하는 반면, 제 2 프로파일(p2)은 이중 피크에 대응한다.

이 경우에, 블록킹 아티팩트들에 대응하는 불연속성들을 결정하는 단계는 자연 윤곽들과 비가시적 아티팩트들을 검출하는 서브-단계를 포함한다. 이를 위해, 계수값들은 Yfh(m,n)를 수평으로 필터링하고/필터링하거나 Yfv(m,n)는 제 1 과 제 2 임계값들(S1 및 S2) 사이에 있음이 분명하여 블록킹 아티팩트에 대응할 수 있다. 이 조건은 아래와 같이 필터링된 계수들의 절대값에 대해 바람직하게 얻어진다.

대안으로서, 아래 조건이 사용된다.

여기서 S'1 및 S'2는 S1 및 S2으로서 동일한 함수를 가진다.

임계값들은 사용된 필터에 의존한다. 필터(hp1)에 대해, 우리는 예를 들어 S'1=0.6 및 S'2=400, S1=0.5 및 S2=20을 취한다.

블록킹 아티팩트들에 대응하는 불연속성을 결정하는 단계는 블록킹 아티팩트들을 검출하는 서브-단계를 포함한다. 만일 다음 조건을 만족하면 프로파일(p1)에 대응하는 수직 아티팩트는 로우(m)에 대응하는 수평 방향으로 필드를 스캐닝함으로써 검출된다.

만일｜Y(m,n)-Y(m,n-1)｜<｜Y(m,n)-Y(m,n+1)｜이면, 블록의 경계는 위치(m,n)의 픽셀과 위치(m,n+1)의 픽셀 사이에서, 반대의 경우는 위치(m,n-1)의 픽셀과 위치(m,n)의 픽셀 사이에서 국부화된다.

다음 누적 조건들을 만족하면, 프로파일(p2)에 대응하는 아티팩트가 검출된다.

바람직한 실시예에서 f1=6이며, f2=2이다.

블록의 경계는 위치(m,n-1)의 픽셀과 위치(m,1)의 픽셀 사이에서 국부화된다. 각각의 프로 파일(p1 및 p2)에 대응하는 수평 아티팩트의 검출은 칼럼(n)에 대응하여 수직 방향으로 필터링된 계수들(Yfh(m,n))을 포함하는 수평 카드(Eh)를 스캐닝함으로써 유사한 방식으로 실행된다. 상기 설명된 불연속성들을 결정하는 단계는 특히 구현하기 쉬운 유리한 점을 가진다.

본 발명에 따른 데이터 처리 방법의 제 1 어플리케이션은 MPEG 검출 즉, MPEG 표준에 따라 순차적으로 인코딩되고 디코딩되어진 디지털 이미지와 아날로그 이미지 시퀀스들 중 블록킹 아티팩트들의 이것의 격자의 시퀀스의 검출에 의해 구성된다. 이 MPEG 검출은 텔레비전 수신기의 레벨에서 실행되며, 격자에 존재하는 상기 블록킹 아티팩트들을 수정하려고 의도되는 후-처리 이미지들(post-processing images)의 단계를 일반적으로 따른다.

이를 위해, 또한, 처리 방법은 필드의 수평 로우 또는 수직 로우의 SEL(130) 세그먼트들을 선택하는 단계를 포함하며, 이 세그먼트들은 제 4의 미리 결정된 임계(S0)보다 더 높은 다수의 연속적인 불연속성 픽셀들을 포함한다. 실제로, 고립된 불연속성들은 일반적으로 추가 노이즈에 대응하는 반면, DCT 계수들의 거친 양자화(coarse quantization)로 인한 블록킹 아티팩트들은 인코딩 블록들과 함께 나타나는 선형적 결함들을 일반적으로 유발한다. 오류 검출들을 하지 않도록 미리 결정된 임계의 값(S0)은 매우 낮지 않아야 한다. 검출된 기본 아티팩트들의 세그먼트들의 수를 감소시킴으로써 선택을 지나치게 강요하지 않도록 이것은 둘 다 매우 높지 않아야 한다. 실제로, 값(S0)은 720픽셀들의 288로우들의 필드에 대해 3에서 고정된다.

유리하게도, 처리 방법은 세그먼트의 인접한 로우들의 그것보다 실제로 더 큰 세그먼트들내에 존재하는 기초 블록 효과들의 밀도를 갖는 격자 로우, 격자 로우들의 세트, 필드에서 서칭의 단계를 포함한다. 이러한 단계는 오류 검출의 위험을 한층 더 감소시키도록 허용한다.

본 발명에 따른 데이터 처리 방법의 제 2 어플리케이션은 격자내에 존재하는 블록킹 아티팩트들을 수정하기 하도록 의도되는 후-처리 이미지들에 의해 구성된다. 상기 격자는 미리 설명된 방법에 의해 결정되어졌거나, 알려진 바와 같이, 예를 들어, 후-처리 동작은 MPEG-4 비디오 디코더에서 실행된다. 수정은 검출된 블록킹 아티팩트의 프로파일에 의존한다.

만일 블록킹 아티팩트가 프로파일(p1)에 대응하면, 도 7을 참조하여 설명된 수정이 적용된다. 수정 블록킹 아티팩트들의 방법은 다음 단계를 포함한다.

-블록 경계의 좌측 또는 상측에 놓여진 N 데이터의 제 1 세트(u)의 제 1 이산 코사인 변환(DCT1)(71)을 계산하는 단계와,

-블록 경계의 우측 또는 하측에 놓여지며 제 1 세트에 인접한 N 데이터의 제 2 세트(v)의 제 2 이산 코사인 변환(DCT1)(72)을 계산하는 단계와,

-제 1 및 제 2 세트들의 연결(CON)(70)에 대응하는 2N 데이터의 세트(w)의 글로벌 이산 코사인 변환(DCT2)(73)을 계산하여 변환된 데이터(W)의 세트를 제공하는 단계와,

-제 1(71) 및 제 2(72) 변환(DCT1)으로 부터 얻어진 변환된 데이터(U 및 V)로부터 예측된 최대의 주파수 kwpred, PRED(74)를 결정하는 단계로서, 다음의 방식으로 계산된다.

이며,

여기서, T는 0과는 다른 임계인, 상기 단계와,

-글로벌 이산 코사인 변환으로부터 0으로 오드 변환된 데이터(oddtransformed data)(W)를 세팅함으로써 ZER(75)을 수정하는 단계로서, 이것의 주파수는 예측된 최대 주파수보다 더 높으며, 수정된 데이터(W')를 산출하는, 상기 단계와,

-수정된 데이터의 역 이산 코사인 변환(ICDT2)(76)을 계산하는 단계로서, 스크린상에 디스플레잉되도록 연속적으로 의도되는 필터링된 데이터(w')를 산출하는, 상기 단계.

만일 블록킹 아티팩트가 프로파일(p2)에 대응하면, 상기 수정은 상당히 조정되어야 한다. 실제로, 도 8에 도시된 바와 같이 프로파일(p2)에 대응하는 계단과 같은 이중 단계이기 때문에 블록의 경계의 위치는 보다 정확히 주어져야만 한다. 이것은, 수정 방법이 휘도값을 이것의 우측에 직접 놓여진 픽셀의 휘도값(p(n+1))에 주도록 의도되는 매개 픽셀의 휘도값(p(n))을 재조정하는 단계를 예비적으로 포함한다. 그 다음, 상기 설명된 단계들은 매개 픽셀의 좌측에 놓여진 블록킹의 경계들에 적용되어 세그먼트의 부분(v)을 형성한다.

매개 픽셀의 휘도값은 좌측상의 픽셀의 휘도값 또는 가장 가까운 휘도값을 갖는 픽셀의 휘도값에 대응하도록 하는것이 대안적으로 가능하다. 둘의 경우에, 수정 단계를 적용하기 위해 세그먼트들(u 및 v)의 위치는 그에 따라서 적응된다.

본 발명에 따른 데이터 처리 방법의 제 3 적용은 이미지들의 품질을 결정하기 위해 격자내에 존재하는 블록킹 아티팩트들로부터 필드의 블록 레벨을 측정함으로써 구성된다. 품질 측정은 미리 설명된 방법에 의해 결정되어진 격자를 가진 텔레비전 수신기의 레벨에서 또는 주어진 서비스 품질을 보증하도록 이미 알려진 상기 격자를 가진 MPEG-4 비디오 디코더의 레벨에서 실행될 수 있다.

필드의 블록(B)의 레벨은 기본 블록킹 아티팩트들에 대응하는 필터링된 값들의 크기(W₁ ^v(mn))를 요약함으로써 바람직하게 얻어질 수 있는데, 즉,

이며,

여기서, 만일 x가 참이면, δ(x)=1이며, 그렇지 않으면 0이며, artV 및 artH는 블록킹 아티팩트들로서 검출된 픽셀들을 포함한다.

이러한 측정은 이것이 감쇠의 크기(W₁)를 고려하는 이점을 가진다. 또한, 인간의 시각 시스템의 지각 함수로서 중량 계수가 도입될 수 있는 한, 감쇠의 위치(m,n)를 고려한다. 더욱이, 이 측정은 임의의 면적을 갖거나 심지어 시간에 관한 변하는 격자에 대한 블록 레벨의 결정을 허용한다.

적절히 프로그래밍된 텔레비전 수신기 회로에 의해 본 발명에 따른 처리 방법을 구현하는 것이 가능하다. 프로그래밍 메모리에 저장된 컴퓨터 프로그램은 상기 회로로 하여금 도 2를 참조하여 이전에 설명된 다른 동작들을 수행할 수 있도록 한다. 또한, 예를 들어, 상기 프로그램을 포함하는 디스크와 같은 데이터 운반기를 판독하는 동안 컴퓨터 프로그램은 프로그래밍 메모리에 로딩될 수 있다. 또한, 판독 동작은 예를 들어, 인터넷과 같은 통신 네트워크에 의해 실행될 수 있다. 이 경우에, 서비스 제공자는 그것들의 관련된 배열로 컴퓨터 프로그램을 다운 로딩 가능한 신호의 형태로 넣을 것이다.

현재 텍스트내의 괄호들 사이의 어떤 참조 부호가 제한하는 것으로서 해석되어서는 않된다. 동사 "포함하다"의 사용과 이것의 결함들은 청구 범위내에 기재된것 외의 요소들 또는 단계들의 존재를 배제하지 않는다. 전술한 요소 또는 단계에서 관사 "a" 또는 "an"의 사용은 이러한 복수의 요소들 또는 단계들의 존재를 배재하지 않는다.

Claims (10)

1. 블록킹 아티팩트들을 검출하기 위해 디지털 이미지들의 시퀀스의 픽셀들에 대응하는 데이터를 처리하는 방법으로서, 상기 방법은 불연속성 픽셀들의 적어도 하나의 카드를 제공하도록 의도되는 디지털 이미지의 일부를 하이-패스 필터링하는 단계(110)와, 불연속성 픽셀들의 적어도 하나의 카드로부터 기본 블록킹 아티팩트의 제 1 형태(p1)를 검출하도록 의도되는 블록킹 아티팩트들을 검출하는 단계(120)를 포함하는, 상기 데이터 처리 방법에 있어서,

   상기 검출 단계는 불연속성 픽셀들의 적어도 하나의 카드로부터 기본 블록킹 아티팩트의 제 2 형태(p2)를 검출하도록 또한 의도되는 것을 특징으로 하는, 데이터 처리 방법.
2. 제 1 항에 있어서, 상기 하이-패스 필터링 단계(110)는, 웨이브렛 변환(wavelet transform)의 서브-밴드에 대응하는 서브-샘플링된 불연속성 픽셀들의 적어도 하나의 카드를 제공하도록 의도되는, 상기 웨이브렛 변환을 사용하기에 적합한, 데이터 처리 방법.
3. 제 2 항에 있어서, 불연속성 픽셀들의 상기 카드의 서브-샘플링된 픽셀들의 필터링된 값들의 부호들로부터 상기 디지털 이미지의 일부의 로우에 기본 블록킹 아티팩트를 국부화하는 단계를 더 포함하는, 데이터 처리 방법.
4. 제 1 항에 있어서, 상기 하이-패스 필터링 단계는 불연속성 픽셀들이 두개의 카드들을 제공하도록 의도되며, 하나는 수평 카드이고, 하나는 수직 카드인, 데이터 처리 방법.
5. 제 1 항에 있어서, 상기 하이-패스 필터링 단계는 그레디언트 필터(gradient filter)를 사용하기에 적합한, 데이터 처리 방법.
6. 제 1 항에 있어서, 상기 블록킹 아티팩트들에 대응하는 상기 픽셀들의 필터링된 값들로부터 블록킹 아티팩트 레벨을 제공하도록 의도되는, 이미지 품질을 측정하는 단계를 포함하는, 데이터 처리 방법.
7. 제 1 항에 있어서, 그들의 형태(p1,p2)에 따라 상기 블록킹 아티팩트들을 수정하는 단계를 포함하는, 데이터 처리 방법.
8. 제 7 항에 청구된 데이처 처리 방법을 사용하는 처리 장치를 포함하는 텔레비전 수신기로서, 디지털 이미지들의 시퀀스내의 블록킹 아티팩트들을 검출하고, 상기 수신기의 스크린상에 수정된 디지털 이미지들의 시퀀스를 디스플레잉하는 관점으로 그들을 수정하는데 적합한, 텔레비전 수신기.
9. 디코딩된 디지털 이미지들의 시퀀스를 제공하기에 적합하고, 제 7 항에 청구된 데이처 처리 방법을 사용하는 처리 장치를 포함하는 비디오 디코더로서, 수정된 디지털 이미지들의 시퀀스를 제공하도록, 디코딩된 디지털 이미지들의 상기 시퀀스내에서 블록킹 아티팩트들을 검출하여 그들을 수정하는데 적합한, 비디오 디코더.
10. 명령들이 세트를 포함하는 컴퓨터 프로그램 제품으로서, 회로에 로딩될 때, 상기 회로로 하여금 제 1 항 내지 제 7 항 중 어느 한 항에서 청구된 디지털 이미지들을 처리하는 상기 방법을 실행하도록 하는, 컴퓨터 프로그램 제품.