KR20030078633A

KR20030078633A - 낮은 비트 레이트 애플리케이션들을 위한 디지털이미지들의 처리 방법

Info

Publication number: KR20030078633A
Application number: KR10-2003-0003032A
Authority: KR
Inventors: 정조엘
Original assignee: 코닌클리케 필립스 일렉트로닉스 엔.브이.
Priority date: 2002-03-29
Filing date: 2003-01-16
Publication date: 2003-10-08
Also published as: CN1449196A; US7123776B2; EP1359547A3; US20030185451A1; EP1359547A2; JP2003304537A

Abstract

본 발명은 픽셀 블록들을 포함하는 디지털 이미지들을 처리하는 방법에 관한 것으로, 상기 방법은 두 인접한 블록들(Bj, Bk) 사이의 블로킹 아티팩트들을 검출하는 단계(41)와, 인접한 블록들의 쌍을 필터링하는 단계(43)를 포함한다. 본 발명에 따른 방법은 블록들 사이의 휘도의 차가 관찰자에게 보이는지 아닌지를 판정하기 위해, 이미지의 평균 휘도 영역의 함수로서 관찰자에 의해 보여질 수 있는 최소 휘도값들의 차를 나타내는 기준 함수와, 두 인접한 블록들의 픽셀들의 휘도값들 사이의 비교에 기초한 필터 판정 단계(42)를 추가로 포함한다.

Description

낮은 비트 레이트 애플리케이션들을 위한 디지털 이미지들의 처리 방법{Method of processing digital images for low-bit rate applications}

기술분야

본 발명은 픽셀 블록들을 포함하는 디지털 이미지들을 처리하는 방법에 관한 것으로, 상기 방법은 두 인접한 블록들 사이의 블로킹 아티팩트들을 검출하는 단계와, 인접한 블록들의 쌍을 필터링하는 단계를 포함한다.

또한, 본 발명은 이런 이미지 처리 방법을 구현하는 처리 장치에 관한 것이다.

본 발명은 낮은 레이트 비디오 코딩의 분야에 특히 적합하게 응용될 수 있다. 이 코딩 기술은 예로서, 디지털 이미지들이 먼저 코딩되고, 그 후, 데이터 블록들의 형태로 디코딩되는, 표준 H.26L 또는 등가의 표준 제원들에 기초하며, 본 발명은 블록 기반 코딩 기술에 의해 유발된 시각적 아티펙트들을 감쇠시키기 위해 디코딩된 데이터 블록들의 보정을 허용한다. 따라서, 본 발명은 이동 전화들 또는 디지털 퍼스널 어시스턴트들 같은 휴대용 기기들과 적합하게 통합될 수 있다.

배경기술

인터넷 및 휴대용 기기들의 활성화와 함께, 낮은 비트 레이트 및 실시간 애플리케이션들을 위한 모바일 네트워크들을 거쳐 비디오 데이터를 전송할 필요성이 대두되어 왔다. 예로서, MPEG-4 또는 H.26L 표준 같은 코딩 기술들이 이 유형의 애플리케이션들을 위해 구현되어 왔으며, 이들 기술들은 블록 기반 이산 변환에 기초한다. 이들 블록 기반 코딩 기술들로 인한 블로킹 아티팩트들을 보정하기 위해, 특히 저 레이트들을 위해 사용되는 블록들의 영향들을 보정하기 위한 보정 기술들이 병행하여 개발되어 왔다.

MPEG-4 표준에 구현된 디코딩된 디지털 이미지의 후처리 기술은 2000년 1월 31일자로 공개된, "Technologie de l'infromation - Codage des objects audiovisuels - Partie 2 : Visuel(N 3056, 454-56 쪽)"이란 명칭의 국제 표준화 기구 ISO/IEC JTC 1/SC 29/WG 11의 문헌에 기술되어 있다. 이는 MPEG-4 코딩 및 디코딩된 디지털 이미지들에 존재할 수 있는 블록들의 영향들을 보정하는 것을 목적으로 한다. 이 후처리 기술은 도 1에 설명되어 있으며, 하기의 단계들을 포함한다.

- 입력측에서 디지털 이미지(Im)를 수신하고, 이미지의 성능 저하 측정(DM)을 전달하는, 디지털 이미지(Im)의 성능 저하 평가 단계(DEGR)(11),

- 입력측에서 상기 디지털 이미지(Im)의 두 인접한 블록들(Bj, Bk)의 픽셀들의 행 또는 열의 세그먼트(S(j, k))를 수신하고, 균일 클래스(C1) 및 텍스쳐된 클래스(C2)의 두 가능한 클래스들의 세트로부터의 클래스(Ci)를 그에 할당하는 분류 단계(CLASS)(12),

- 입력측에서 픽셀들의 행 또는 열 세그먼트(S(j, k))를 수신하고, 성능 저하 측정(DM)의 함수로서, 필터(F1)의 도움으로 세그먼트(S(j, k))가 클래스(C1)로이루어지는 경우 및 필터(F2)의 도움으로 세그먼트(S(j, k))가 클래스(C2)로 이루어지는 경우, 필터링된 세그먼트(S'(j, k))를 전달하거나 전달하지 않는 필터 단계(FILT)(13).

분류 및 필터 단계들(CLASS(12) 및 FILT(13))은 두 인접한 블록들의 픽셀들의 열들 또는 행들의 세그먼트들에 적용되어, 결과적으로 디지털 이미지(Im)의 열들 또는 행들의 세그먼트들의 스캐닝 루프(14)에서 구현된다. 스캐닝이 실행되고 나면, 필터링된 디지털 이미지(ImF)가 얻어진다.

이 이미지 처리 방법의 주된 단점은 그 복잡도에 있으며, 이 복잡도는, 비록, 다른 경쟁 기술들과 동일한 수준이지만, 예로서 모바일 단말들에 대한 실시간 및 낮은 비트 레이트 전용 애플리케이션들을 위해서는 사용할 수 없는 상태로 남아있다.

본 발명의 목적은 비슷한 효율이면서 덜 복잡한, 디지털 이미지들을 처리하는 방법을 제안하는 것이다.

이를 위해, 본 발명에 따른 디지털 이미지 처리 방법은 두 인접한 블록들의 픽셀들의 휘도값들과, 이미지 영역의 평균 휘도의 함수로서 관찰자에게 보여지는 최소 휘도값들의 차를 나타내는 기준 함수 사이의 비교의 함수로서 필터 단계가 적용되는 것을 특징으로 한다.

따라서, 두 인접한 블록들 및 기준 함수의 휘도값들의 비교는 두 블록들 사이의 휘도의 차가 관찰자에게 보이는지 아닌지를 결정하는 효과를 가진다. 보이지 않은 경우에, 인접한 블록들의 쌍을 필터링하는 것은 유용하지 못하다. 따라서, 본 발명은 종래 기술의 방법에 비해 디지털 이미지 처리 방법의 복잡도를 감소시킬 수 있게 하며, 이미 눈에 보이는 블로킹 아티팩트들만이 필터링되어, 수행되는 필터 작업들의 수를 감소시킨다. 그러나, 본 발명은 현 기술 수준의 방법의 것과 비슷한 효율을 유지하며, 사용되는 기준 함수는 특히 정밀하다.

또한, 본 발명은 이런 디지털 이미지 처리 방법을 포함하는 디코딩 방법 및 이 방법을 구현하는 비디오 디코더에 관한 것이다.

또한, 본 발명은 이런 디지털 이미지 처리 방법을 포함하는 코딩 방법 및 이 방법을 구현하는 비디오 코더에 관한 것이다.

마지막으로, 본 발명은 본 발명에 따른 디지털 이미지 처리 방법을 구현하는 컴퓨터 프로그램 및 이를 전달하기 위한 신호에 관한 것이다.

본 발명에 다른 처리 방법의 복잡도의 감소는 이동 전화들 또는 디지털 퍼스널 어시스턴트들의 유형의 낮은 연산 자원들을 가지는 휴대용 기기들에서 이를 구현할 수 있게 한다. 이런 애플리케이션들을 위해, 종래 기술에서 제안된 처리 방법들은 디지털 이미지 시퀀스가 디스플레이될 때, 약 50%에 달하는 연산 자원들을 소모한다. 본 발명에 따른 디지털 이미지들의 처리 방법에서, 이 비율은 현저히 감소될 수 있으며, 추가로 보다 낮은 전력 소모를 가지는 휴대용 기기들을 가능하게 한다.

이들 및 본 발명의 다른 측면들은 하기에 설명된 실시예들을 참조로 비제한적 실시예들에 의해 설명될 것이며, 그로부터 명백히 알 수 있을 것이다.

도 1은 종래 기술에 따른 디지털 이미지 후처리 방법의 블록도.

도 2는 이미지 영역의 평균 휘도의 함수로서 관찰자에게 보여지는 휘도값들의 최소 차를 나타내는 함수.

도 3은 두 인접한 블록들 사이의 경계부를 나타내는 도면.

도 4는 본 발명에 따른 디지털 이미지 처리 방법의 블록도.

도 5는 본 발명의 양호한 실시예에 따른 디지털 이미지 처리 방법의 블록도.

도 6은 분류 단계내에서 클래스를 선택하기 위한 블록으로 간주되는 하위 블록을 설명하는 도면.

도 7은 성능 저하 측정의 함수로서 필터 및 클래스들의 쌍들의 조합을 나타내는 도면.

도 8은 본 발명에 따른 디지털 이미지 처리 방법에 의해 양호한 방식으로 사용될 수 있는 네 개의 평활화 필터들을 나타내는 도면.

도 9는 본 발명에 따른 디지털 이미지 처리 방법을 포함하는 디코딩 방법의 블록도.

도 10은 본 발명에 다른 디지털 이미지 처리 방법을 포함하는 코딩 방법의 블록도.

본 발명은 낮은 비트 레이트 및 실시간 애플리케이션들을 위한, 블록 기반 코딩 기술에 따라 코딩 및 디코딩된 디지털 이미지들의 시퀀스를 처리하는 방법에 관한 것이다. 사용되는 코딩 기술은 본 실시예에서 H.26L 표준이지만, MPEG-4 표준 또는 소정의 다른 등가의 표준도 사용될 수 있다. 본 방법은 예로서, JPEG 표준에 따라 코딩된 고정 이미지에도 적용될 수 있다는 것은 명백하다.

이런 블록 코딩 기술은 디지털 이미지를 블록들로 분할한다. H.26L 표준의 경우에, 상기 블록들은 4 픽셀들의 4열들이다. 코딩 동안, 상기 블록들은 그 후 주파수 변환을 받게된다. H.26L 표준 및 대부분의 표준 기술들의 경우에, 이는 이산 코사인 변환(DCT)이다. 디코딩 동안, 블록들의 영향들이 블록들의 경계부들을 따라 나타날 수 있다. 블록 효과는 에지와 유사하지만, 이는 고유 이미지의 콘텐츠에 실제로는 존재하지 않는다. 본 발명의 목적은 종래의 방법들 보다 훨씬 덜 복잡하지만 그와 같은 효율로 블록들의 경계부들상에 위치된 이들 "거짓(false)" 에지들을 소거하는 것이다.

본 발명은 도 2에 도시된 다이어그램으로 만들어진 기준 함수에 기초한다. 이 함수(f)는 1997년 11월, IEEE Signal Processing Letters, 4권 11호 317 - 320 쪽에 공개된 "비디오 코딩을 위한 일반화된 블록 에지 손상 메트릭"이라는 명칭의 H. R. Wu 및 M. Yuen의 논문에 보다 상세히 기술되어 있다. 이는 관찰자가 볼수 있는 최소 휘도값들의 차(ΔL)를 인접한 블록들의 쌍으로 덮혀진 표면에 실질적으로 동일한, 이미지 영역의 평균 휘도(AvgL)의 함수로서 나타낸다. 이 함수는 휘도가 0과 Lmax = 255 사이로 코딩되는 경우에, 약 70과 같은 평균 휘도값(L0)에 대하여 약 1 또는 2 단위와 같은 최소값(ΔL0)을 통과시킨다. 이미지 영역의 평균 휘도값이 제 1 미리 결정된 문턱값(T1) 보다 낮은 경우에, 이 영역에서 눈에 보이는 휘도값들의 차는 자연적 윤곽(natural contour)에 적절히 대응한다. 유사하게, 평균 휘도가 제 2 미리 결정된 문턱값(T2) 보다 높은 경우에, 눈에 보이는 휘도값들의 차도 자연적 윤곽에 적절히 대응한다.

도 2의 음영 영역은 관찰자에게 보이는 휘도 차들을 나타낸다. 픽셀들의 인접한 블록들(Bj, Bk)의 쌍이 미리 결정된 평균 휘도값(avgBjBk)과, 도 3에 도시된 바와 같은 휘도값들의 차(h)를 갖도록 하자. 좌표들(avgBjBk, h)이 인접한 블록들의 쌍을 음영 영역내에 위치시키는 경우에, 이때 휘도값들의 차에 대응하는 블로킹 아티팩트는 눈에 보인다. 반대의 경우에, 이는 눈에 보이지 않는다. 휘도의 차는 두 블록들 각각이 균일한 경우의 두 블록들 사이의 정확한 값이거나, 인접한 세그먼트들 및 인접하지 않은 블록들이 작동중인 경우가 된다는 것을 인지하여야 한다. 또한, 두 블록들 사이의 휘도의 평균 차가 되거나, 계산 자원들상에 저장하기를 원하는 경우의 최소 또는 최대 차가 될 수 있다.

도 4는 본 발명에 따른 디지털 이미지 처리 방법을 설명한다. 상기 방법은 하기의 단계들을 포함한다.

- 이미지(Im)의 두 인접한 블록들(Bj, Bk) 사이의 블로킹아티팩트들(PAD)(41)을 검출하는 단계로서, 이 단계는 블로킹 아티팩트가 두 블록들 사이에서 검출되는 경우(y)에는 블록들의 쌍을 필터 판정 단계에 적용하고, 반대의 경우(n)에는 블록들의 쌍을 직접적으로 본 방법의 종료에 적용하고,

- 상술된 원리에 기초한 필터 판정 단계(MASK)(42)로서, 이 단계는 두 블록들 사이에서 블로킹 아티팩트가 눈에 보이는 경우(y)에 블록들의 쌍을 필터 단계에 적용하고, 반대의 경우(n)에 직접적으로 본 방법의 종료에 적용하며,

- 인접한 블록들의 쌍의 필터 단계(FILT)(43)로서, 이는 필터링된 인접한 블록들(B'j, B'k)의 쌍을 적용하고, 본 방법에 의해 처리된 모든 블록들이 최종 이미지(ImF)를 제공한다.

필터링과 블로킹 아티팩트들의 검출을 위해 어떠한 방법들이 사용되더라도, 필터 단계가 기준 함수(f)와 두 인접한 블록들의 휘도값들의 비교의 함수로서 적용되기 때문에, 본 발명은 도 2를 활용한다.

양호한 실시예에서, 필터 단계는 각 블록의 픽셀들의 휘도값들의 최소값들(MinP 및 MinQ)이 제 1 미리 결정된 문턱값(T1) 보다 높은 경우 및 각 블록의 픽셀들의 휘도값들의 최대값들(MaxP 및 MaxQ)이 제 2 미리 결정된 문턱값(T2) 보다 낮은 경우에 인접한 블록들의 쌍에 필터 단계가 적용되지 않으며, 제 2 문턱값은 제 1 문턱값 보다 낮다. 달리 말해서, 하기의 경우에, 어떠한 필터링도 존재하지 않는다.

- MinP>T1 및 MinQ>T1, 즉, 픽셀들 모두가 이미지의 밝은 영역에 속함

- 또는, MaxP<T2 및 MAxQ<T2, 즉, 픽셀들 모두가 이미지의 어두운 영역에 속함.

따라서, 어떠한 평균값도 계산되지 않고, 본 방법은 한편으로는 최소값들 또는 최대값들 이전의 픽셀들의 휘도값들 사이, 및 다른 한편으로 휘도값들의 최소값들 및 최대값들과 두 미리 결정된 문턱값들 사이의 비교만을 사용한다. 따라서, 본 방법은 단지 제한된 연산 자원들을 가지면 되며, 이는 그 복잡도를 한층 더 감소시킨다.

양호한 방식에서, 제 1 및 제 2 문턱값들(T1 및 T2)은 하기의 형태로, 양자화 단계(QP)의 값의 함수로서 미리 결정된다.

QP ∈[1-4]인 경우, T1=210 및 T2=45

QP ∈[5-26]인 경우, T1=215 및 T2=40

QP ∈[27-31]인 경우, T1=220 및 T2=35

양호한 방식에서, 두 인접한 블록들 사이의 휘도값들의 차(h)가 블록들의 쌍의 평균 휘도값(avgBjBk)에 대해 계산된 기준 함수(f)의 값과 같은 기준값 보다 작은 경우, 달리말해서, h<f(avgBj,Bk)인 경우에 필터 단계는 적용되지 않는다.

따라서, 보다 많은 수의 블록들의 쌍이 필터링되지 않을 수 있으며, 이 조건은 보다 일반적이며, 두 선행 조건들과 누적된다. 그러나, 본 방법은 평균값(avgBjBk)을 계산할 필요가 있기 때문에, 보다 복잡하다.

양호한 방식에서, 블로킹 아티팩트의 길이(L)가 두 인접한 블록들 사이의 휘도값들의 차(h)의 함수인 미리 결정된 값 보다 작은 경우에, 필터 단계가 적용되지 않는다.

사실, 1 또는 2의 휘도 차(h)는 1 또는 2 연속 픽셀들에 발생하는 경우에 눈에 보이지 않지만, 주어진 평균 휘도에 대하여 16 연속 픽셀들의 길이(L)에 걸쳐서는 눈에 보이게 된다. 이때, 선행 조건은 다음과 같이 된다.

h<f(avgBjBk)/g(L)인 경우에, 필터링은 수행되지 않으며, 여기서, g는 변수(L)에 따른 가중 함수이다.

본 발명의 양호한 실시예에서, 블록 아티팩트 검출 단계(41)가 도 5에 도시되어 있다. 이는 미공개 프랑스 특허 출원 02 00487에 보다 상세히 설명되어 있다. 블로킹 아티팩트들을 검출하는 단계는 하기의 하위 단계들을 포함한다.

- 디코딩된 디지털 이미지(Im)가 먼저 디지털 이미지(Im)의 성능 저하 측정(DM)을 전달하는 성능 저하 계산 하위 단계(DEGR)(51)의 입력측에 제공된다. 성능 저하 측정(DM)은 예로서, 이미지 양자화 단계의 값에 대응하거나, 역시, 사용된 코딩 기술로부터 공지된 특징들의 함수로서 상기 양자화 단계의 실질적으로 변형된 값에 대응한다.

- 성능 저하 측정(DM)에 기초한 필터 판정 하위 단계(DEC)(52)가 그 후 이어진다. 상기 하위 단계는 이미지(Im)의 인접한 블록들의 쌍(Bj, Bk)을 위해, 그리고, 성능 저하 측정(DM)을 위해 필터 하위 단계가 필요한지 여부를 판정한다. 이 필터에 대한 판정은 예로서, 하기의 기준들에 따라 이루어진다.

- 블록들(Bj 및 Bk) 사이의 휘도의 최대 차가 성능 저하 측정(DM)의 1.5배 미만인 경우, 이때 필터에 대한 판정은 긍정(y)이 된다. 따라서, 이 경우에, 이것이 실제 에지가 아닌 것으로 간주된다.

- 그렇지 않은 경우에, 이는 부정(n)이다. 이때, 블록들 사이의 최대 휘도 차는 실제 에지가 제공되기에 충분히 큰 것으로 간주되며, 이는 필터될 필요가 없는 자연 윤곽에 대응한다.

성능 저하 평가(DEGR)(51) 및 필터 판정(DEC)(52)의 하위 단계들과 병행하여, 이미지(Im)가 하위 단계(CLASS)(53)에 블록 단위로 제공된다. 분류 하위 단계(CLASS)(53)는 미리 규정된 클래스들의 세트로부터 선택된 클래스(Cli), 본 실시예에서는 4 클래스들(C11 내지 C14)을 블록(B)과 연계시킨다.

- 블록(B)은 하기의 조건이 충족되는 경우에, 균일 클래스(C11)에 속한다.

즉, m1이 하위 블록(SB)의 계수들(a_pq)의 최대값이므로, 도 6이 블록(B)의 외측 세그먼트들을 포함하지 않는, P열들 및 Q 픽셀들을 포함하는 블록(B)을 규정하며, m2가 하위 블록(SB)의 계수들(a_pq)의 최소값이고, 여기서, S는 예로서, 본 경우에는 3과 같은 문턱값이다.

- p=1 내지 P-2인, 하위 블록(SB)의 소정의 열(p)에 대한 경우에, 블록(B)은 열들의 클래스(C12)에 속한다.

즉, m1은 하위 블록(SB)의 열(p)의 계수들(a_pq)의 최대값이고, m2는 하위 블록(SB)의 열(p)의 계수들(a_pq)의 최소값이다.

- 블록(B)은q=1 내지 Q-2인 하위 블록(SB)의 소정의 행(q)에 대한 경우에, 블록(B)은 행들의 클래스(C13)에 속한다.

즉, m1은 하위 블록(SB)의 행(q)의 계수들(a_pq)의 최대값이고, m2는 하위 블록(SB)의 행(q)의 계수들(a_pq)의 최소값이다.

- 상기 조건들 중 어떠한 것도 충족되지 않으면, 블록(B)은 텍스쳐된 클래스(C14)에 속한다.

이 단계로부터, 진행하는 격리된 블록들은 더 이상 고려되지 않지만, 수평 및 수직 인접한 블록들의 쌍들은 고려된다. 클래스들의 쌍(Clm, Cln)과 연계된 인접한 블록들의 쌍(Bj,Bk)이 그 후 필터 선택 하위 단계(SEL)(54)에 의해 처리된다. 이 필터 선택 하위 단계(SEL)(54)는 적용될 필터(F1)를 인접한 블록들의 쌍(Bj, Bk)에 전달한다. 필터(F1)의 선택은 도 7에 예시된 바와 같이 클래스들의 쌍들을 필터들과 연계시키는 미리 규정된 모델들(MOD)(55)로부터 디지털 입력 이미지(Im)의 성능 저하 측정(DM)과 클래스들의 쌍(Clm, Cln)의 함수로서 이루어지며, 여기서, F0는 블록들의 쌍의 비필터링에 대응한다.

필터(F0)와 상이한 필터가 선택된 경우에, 전술된 바와 같은 필터 판정 단계(42)는 두 인접한 블록들(Bj, Bk) 사이에 검출된 블로킹 아티팩트가 눈에 보이는지 아닌지를 판정한다.

블로킹 아티팩트가 눈에 보이는 경우에, 인접한 블록들의 쌍(Bj, Bk)과 그 연계된 필터(F1)가 그 후 필터 단계(FILT)(43)의 입력측에 제공되며, 이는 필터된 인접한 블록들의 쌍(B'j, B'k)을 전달한다. 본 실시예에서, 4 필터(F1 내지 F4)가 사용된다. 이들은 저역 통과, 선형 필터들이며, 이는 수직 또는 수평중 어느 한쪽으로 적용된다. 이들은 도 8에 도시되어 있다.

따라서, 본 발명에 따른 방법은 디코딩된 디지털 이미지(Im)의 블록들의 쌍들과 블록들을 처리한 이후에, 필터링된 디코딩된 디지털 이미지(ImF)를 전달한다.

앞서 검토된 바와 같이, 필터 판정 단계는 블로킹 아티팩트들을 검출하는 단계가 그 사이에서 블로킹 아티팩트가 검출된 인접한 블록들의 쌍을 그에 전달하는 순간으로부터 블로킹 아티팩트들을 검출하는 단계에 무관하다. 블로킹 아티팩트 판정 단계는 예로서, 국제 특허 출원 WO 01/20912(내부 참조번호 : PHF99579)에 기술된 것일 수 있다. 이런 검출 단계는 하기의 하위 단계들을 포함한다.

첫째, 디코딩된 이미지내의 자연적 윤곽들에 속하는 픽셀들을 검출하는 하위 단계. 이를 위해, 검출 하위 단계는 필터(h1=[-1 1]을 사용하는 것이 적합한 구배 필터링에 기초한다. 이 필터는 수평 및 수직으로 디지털 이미지의 또는 시퀀스의 디지털 이미지 부분의 휘도 픽셀들(y(i, j))에 적용되며, 여기서, I 및 j는 이미지내의 픽셀의 위치에 대응한다. 따라서, 수평 필터링된 픽셀 테이블(xh(i, j))과 수직 필터링된 픽셀 테이블(xv(i, j))이 얻어지며, xah(i, j) 및 xav(i, j)를 얻도록 절대값이 취해진다. 그 후, 필터링된 픽셀들의 두 테이블들(xah(i, j) 및 xav(i,j)) 각각에 문턱값이 적용된다. 그 필터링된 휘도값(xah[i, j] 또는 xav[i, j])가 미리 결정된 문턱값 보다 높은 모든 픽셀들(p(i, j))이 자연적 윤곽 픽셀들로서 검출되고, 그렇지 않은 것이 블로킹 아티팩트들로서 검출된다. 수평 문턱값 및 수직 문턱값은 예로서, 0 내지 255의 범위의 휘도값들에 대하여 각각 35 및 50과 같다.

따라서, 자연적 윤곽으로서 검출되지 않은 경우 및 하기와 같은 경우에, 수직 블로킹 아티팩트가 검출된다.

유사하게, 자연적 윤곽으로서 검출되지 않은 경우 및 하기와 같은 경우에, 수평 블로킹 아티팩트가 검출된다.

여기서,및는 이미지 또는 이미지 부분의 xah[i, j]와 xav[i, j] 각각의 평균값들이다.

상술한 바와 같이, 필터 판정 단계(42)는 두 인접한 블록들 사이에서 검출된 블로킹 아티팩트가 눈에 보이는지 아닌지를 판정한다.

눈에 보이는 경우에, 이때, 필터 단계(43)는 예로서, 상술된 것들로부터 선형 필터링을 사용하여 인접한 블록들의 쌍을 필터링한다.

도 9는 본 발명에 따른 처리 방법을 사용하는 처리 장치를 포함하는, 디지털적으로 디코딩된 데이터를 생성하기에 적합한 비디오 디코더의 기능을 예시한다.

이 비디오 디코더는 하기의 것들을 포함한다.

- 양자화된 데이터를 생성하기에 적합한 디지털적으로 코딩된 데이터(ES)의 가변 길이 디코딩 수단(VLD)(91),

- 변환된 데이터를 생성하기에 적합한, 양자화된 데이터의 역 양자화 수단(IQ)(92),

- 상술된 바와 같이, 본 실시예에서는 변환된 데이터의 역변환된 데이터로의 역 이산 코사인 변환(IDCT)(93)인 역 주파수 변환 장치.

압축해제 장치는 이미지 메모리(MEM)(95)의 도움을 받는, 이미지 데이터 블록 단위의 재구성 단계(REC)(94)를 추가로 포함한다. 본 발명에 따른 처리 방법을 구현하는 처리 장치(COR)(96)에서, 상기 장치는 스크린(DIS)(97)상에 디스플레이되기 위해 처리된 디지털 이미지들을 생성하도록 재구성된 디지털 이미지의 블록들을 처리하기에 적합하다.

도 10은 데이터 블록 형태의 디지털 이미지들(IN)을 수신하기에 적합한 비디오 코더의 작업을 예시하고 있으며, 이 비디오 코더는 코딩 루프내에, 본 발명에 따른 처리 방법을 사용하는 처리 장치가 이어지는 역 주파수 변환 수단을 포함한다.

비디오 코더(100)는 하기의 것들을 포함한다.

- 여기서는 디지털 비디오 데이터의 직접 이산 코사인 변환(DCT)(101)인 직접 주파수 변환 장치와 상술된 바와 같은 변환된 데이터,

- 양자화된 데이터를 생성하기에 적합한, 변환된 데이터를 양자화하기 위한 양자화 수단(Q)(102) 및

- 코딩된 데이터(ES)를 생성하기에 적합한, 양자화된 데이터를 코딩하기 위한 가변 길이 코딩 수단(VLC)(103).

이는 또한, 하기의 것들을 일련의 조합으로 포함하는 예측 유닛을 포함한다.

- 변환된 데이터를 생성하기에 적합한, 양자화된 데이터를 역 양자화하기 위한 역 양자화 수단(IQ)(104),

- 상술된 바와 같이 변환된 데이터를 역 변환된 데이터로 변환하기 위한 역 이산 코사인 변환 장치(IDCT)(105),

- 변환 장치(IDCT)로부터, 및 모션 보상 장치(MC)(106)로부터 오는 데이터의 가산기,

- 처리된 데이터 블록들을 이미지 메모리(MEM)(108)에 공급하도록 가산기의 출력측으로부터 오는 디코딩된 데이터의 블록들을 처리하기에 적합한, 본 발명에 따른 처리 방법을 구현하는 처리 장치(COR)(107),

- 모션 추정 장치(ME)(109)로부터 오는 모션 벡터들과, 모션 보상 장치(MC)(109)에 의해 사용된 이미지들을 저장하기에 적합한 이미지 메모리(MEM)(108) 및

- 모션 보상 장치로부터 오는 데이터를 입력(IN)의 디지털 비디오 데이터로부터 감산하기에 적합한 감산기로서, 이 감산기의 결과는 변환 장치(DCT)에 전달된다.

역 이산 코사인 변환 장치(IDCT)(105)와 가산기 사이에 처리 장치(COR)(107)를 삽입하는 것도 가능하며, 이 처리는 미분 신호에 영향을 받으며, 재구성된 신호에는 영향을 받지 않는다.

본 발명에 따른 처리 방법을 구현하는 처리 장치도 출력 속도에 관한 것이 아닌, 특히 코딩 품질에 관련하여 비디오 코더의 성능을 향상시킬 수 있다. 또한, 도 10의 비디오 코더 및 도 9의 비디오 디코더가 직렬로 연결될 때, 이는 도 9의 비디오 디코더를 구비한 직렬 배열의 표준 비디오 코더로 획득하거나, 표준 비디오 디코더와 직렬 배열의 도 10의 비디오 코더로 획득하는 것 보다 양호한 이미지 품질을 얻을 수 있게 한다.

비디오 디코더 회로 또는 비디오 코더 회로에 의해 본 발명에 따른 처리 방법을 구현하는 것이 가능하며, 상기 회로는 적절히 프로그램된다. 프로그램 메모리에 포함된 컴퓨터 프로그램은 이 회로가 도 4 또는 도 5를 참조로 상술된 다양한 작업들을 수행할 수 있게 한다. 또한, 컴퓨터 프로그램은 예로서, 상기 프로그램을 포함하는 디스크 같은 데이터 매체를 판독함으로써 프로그램 메모리내에 로딩될 수도 있다. 또한, 판독은 예로서, 인터넷 같은 통신 네트워크를 경유하여 실행될 수 있다. 이 경우에, 서비스 공급자는 다운로딩될 수 있는 신호의 형태로, 관심 부류들의 배열에 컴퓨터 프로그램을 투입한다.

본 명세서의 괄호속의 어떠한 참조 부호도 한정으로서 해석되어서는 안된다. 동사 "포함" 및 그 활용형들도 넓게 해석, 즉, 상기 동사 이후에 나열된 것들 이외의 소자들 또는 단계들의 존재 뿐만 아니라 상기 동사 이후에 "일(one)" 또는 "부정관사(a 또는 an)"가 선행된, 이미 나열된 복수의 소자들 또는 단계들의 존재를 배제하지 않는 것으로 해석된다.

Claims

두 인접한 블록들(Bj, Bk) 사이의 블로킹 아티팩트들을 검출하는 검출 단계(41)와 상기 인접한 블록들의 쌍을 필터링하는 필터 단계(43)를 포함하는, 픽셀 블록들을 포함하는 디지털 이미지들을 처리하는 방법에 있어서,

상기 필터 단계는 이미지 영역의 평균 휘도의 함수로서 관찰자에게 보이는 최소 휘도값들의 차를 나타내는 기준 함수와 상기 두 인접한 블록들의 상기 픽셀들의 휘도값들 사이의 비교의 함수로서 적용되는 것을 특징으로 하는 디지털 이미지 처리 방법.
제 1 항에 있어서, 상기 필터 단계는 각 블록의 상기 픽셀들의 상기 휘도값들의 최소값들(MinP, MinQ)이 제 1 미리 결정된 문턱값(T1)을 초과하는 경우 또는 각 블록의 상기 픽셀들의 상기 휘도값들의 상기 최대값들(MaxP, MaxQ)이 제 2 미리 결정된 문턱값(T2) 보다 낮은 경우에 인접한 블록들(Bj, Bk)의 쌍에 적용되고, 상기 제 2 문턱값은 상기 제 1 문턱값 보다 낮은, 디지털 이미지 처리 방법.
제 2 항에 있어서, 상기 제 1 및 제 2 문턱값들은 인접한 블록들에 대응하는 양자화 단계의 값의 함수로서 미리 결정되는, 디지털 이미지 처리 방법.
제 1 항에 있어서, 상기 필터 단계는 상기 두 인접한 블록들 사이의 차 휘도값들(h)이 상기 블록들의 쌍의 평균 휘도값(avgBjBk)에 대해 계산된 상기 기준 함수의 값과 같은 기준값 보다 작은 경우에 적용되지 않는, 디지털 이미지 처리 방법.
제 4 항에 있어서, 상기 필터 단계는 상기 블로킹 아티팩트의 길이(L)가 상기 두 인접한 블록들 사이의 상기 휘도값들의 차(h)의 함수인 미리 결정된 값 보다 작은 경우에 적용되지 않는, 디지털 이미지 처리 방법.
디코딩된 디지털 이미지들을 생성하도록 의도되고 처리된 디지털 이미지들을 생성하도록 상기 디코딩된 디지털 이미지들을 처리하는 제 1 항에 청구된 처리 방법을 포함하는, 디코딩 방법.
데이터 블록들의 형태로 디지털 이미지들을 코딩하는 방법에 있어서,

역 주파수 변환 단계를 포함하고,

처리된 데이터 블록들을 생성하도록 상기 역 주파수 변환 단계로부터 오는 디코딩된 데이터 블록들을 처리하기에 적합한, 제 1 항에 청구된 처리 단계가 뒤따르는 디지털 이미지 코딩 방법.
디코딩된 디지털 이미지들을 생성하기에 적합하고, 처리된 디지털 이미지들을 생성하도록 상기 디코딩된 디지털 이미지들을 처리하기에 적합한, 제 1 항에 청구된 상기 처리 방법을 구현하는 처리 장치를 포함하는 비디오 디코더.
데이터 블록들의 형태로 디지털 이미지들을 수신하기에 적합하고 역 주파수 변환 수단을 포함하며, 처리된 데이터 블록들을 생성하도록 역 주파수 변환 수단으로부터 오는 디코딩된 데이터 블록들을 처리하기에 적합한, 제 1 항에 청구된 상기 처리 방법을 구현하는 처리 장치를 포함하는 비디오 코더.
제 8 항에 청구된 비디오 디코더를 포함하는 휴대용 장치에 있어서,

상기 장치의 스크린상에 상기 처리된 디지털 이미지들을 디스플레이하는, 휴대용 장치.
명령어들의 세트가 회로에 로딩될 때, 상기 회로가 제 1 항에 청구된 디지털 이미지의 후처리 방법을 수행하게 하는, 상기 명령들의 세트를 포함하는 컴퓨터 프로그램.