KR100917208B1

KR100917208B1 - 블록 경계 영역 필터링 방법

Info

Publication number: KR100917208B1
Application number: KR1020080099675A
Authority: KR
Inventors: 이진수; 유재신
Original assignee: 엘지전자 주식회사
Priority date: 2008-10-10
Filing date: 2008-10-10
Publication date: 2009-09-15
Also published as: KR20080101841A

Abstract

본 발명에 따른 동영상 디코딩 방법은, 입력된 동영상에 대하여 디코딩을 수행함에 있어서, 인접한 픽셀들 간의 차를 포함하는 제 1함수 값과 소정 임계치를 비교한 결과에 근거하여 블록 경계 영역을 중심으로 소정 픽셀들에 대한 필터링을 적응적으로 수행하는 점에 그 특징이 있다.

이와 같은 본 발명에 의하면, 수신된 영상에 대하여 디코딩 처리함에 있어, 영상의 특성에 맞게 적응적인 후처리 방법을 적용함으로써 보다 높은 화질의 동영상을 제공할 수 있는 장점이 있다.

Description

블록 경계 영역 필터링 방법{FILTERING METHOD FOR BLOCK BOUNDARY REGION}

본 발명은 동영상 디코딩 시스템에 관한 것으로, 특히 동영상을 지원하는 유무선 통신 시스템에서, 수신 수단인 디코더에 화질 개선을 위한 후처리 엔진이 포함된 동영상 디코딩 시스템에서의 영상 후처리 방법에 관한 것이다.

최근 들어 PDA나 Hand-held PC, 심지어는 이동 통신 단말기까지 동화상 서비스를 제공하면서 고화질의 동화상을 제공하기 위한 연구가 많이 보고되고 있다. 이러한 유무선 통신을 이용한 동화상 서비스에 사용되는 동영상 표준으로는 H.263, MPEG1/2, MPEG-4 등이 사용된다. 이들은 약간씩 압축 방법이 다르지만 유사한 점들이 매우 많고, 따라서 네트워크 환경이 좋지 못할 때 나타나는 저화질 현상도 유사하게 나타난다.

화질 저하는 크게 네트워크 환경이 나빠져 적은 양의 데이터로 영상을 코딩해야 할 때 발생하는 것과, 전송 시 정보의 손실로 인해 오류가 발생하여 나타나는 것으로 나누어 생각할 수 있다. 전자의 경우는 주로 실시간으로 동영상이 전송되어야 하는 화상 통신 등에서 더욱 심각한 문제이지만, 실시간 서비스가 아니더라도 좋은 화질을 위해 큰 양의 데이터를 전송하려면 전송 시간이 길고 요금도 비싸게 되어 여전히 문제점이 남는다.

이러한 화질 저하 중 전자가 원인인 경우로서 블록킹 현상을 들 수 있다. 이러한 현상은 압축 방법에 있어서 저용량으로 압축을 하기 위해 발생하는 현상으로서 영상에 마치 바둑판과 같은 문양이 발생하게 된다. 이러한 블록킹 현상을 해결하기 위해 많은 연구가 이루어지고 있는데, 정지 영상에서 발생하는 문제를 해결하기 위한 연구와, 동영상에서 발생하는 문제를 해결하기 위한 연구가 모두 활발하게 이루어지고 있다.

하지만, 블록킹 현상을 완전히 제거하려다 보면 오히려 중요한 에지(egde) 영역을 흐리게 만들어 역효과를 나타낼 수도 있는 문제점이 있고, 이러한 블록킹 현상을 어느 정도 해결하더라도 기본적으로 저용량 압축으로 인해 발생되는 화질의 저하는 막을 수가 없다는 문제점이 있다.

본 발명은, 수신된 영상에 대하여 디코딩 처리함에 있어, 영상의 특성에 맞게 적응적인 후처리 방법을 적용함으로써 보다 높은 화질의 동영상을 제공할 수 있는 블록 경계 영역 필터링 방법을 제공함에 그 목적이 있다.

본 발명은, 영상의 블록 경계 영역의 픽셀을 필터링하는 방법에 있어서, 블록의 경계 영역을 중심으로 인접하는 두 픽셀 사이의 차이값과 양자화 계수 정보에 근거하는 임계치를 비교하여 디블록킹 필터링의 수행 여부를 판별하는 단계와, 상기 판별 결과에 근거하여, 영상의 블록 경계를 중심으로 수평 방향 또는 수직 방향으로 4개씩의 픽셀들에 대해 디블록킹 필터링을 수행하는 단계를 포함하되, 상기 디블록킹 필터링을 수행하는 단계에서, 상기 블록 경계를 중심으로 바로 인접한 2개의 픽셀들에 대한 스무딩 처리와, 상기 블록 경계에 인접하지 않은 나머지 2개의 픽셀들에 대한 스무딩 처리는 서로 다른 것을 특징으로 하는 블록 경계 영역의 픽셀을 필터링하는 방법을 제공한다.

이상의 설명에서와 같이 본 발명에 따른 동영상 코딩 방법은, 수신된 영상에 대하여 디코딩 처리함에 있어, 영상의 특성에 맞게 적응적인 후처리 방법을 적용함으로써 보다 높은 화질의 동영상을 제공할 수 있는 장점이 있다.

또한, 본 발명에 따른 동영상 코딩 방법은, 이동통신 시스템과 같이 낮은 네 트워크 환경에서 특히 일반적으로 발생하는 저화질 데이터를 복원하는데 유용하게 사용될 수 있으며, 디코더에서 복원작업이 이루어지므로, 전송 시 일어나는 오류와는 무관하게 적용할 수 있는 장점이 있다.

이하, 첨부된 도면을 참조하여 본 발명에 따른 실시 예를 상세히 설명한다.

먼저, 본 발명의 이해를 돕기 위해 일반적인 동영상 압축 방법을 간략하게 설명하고, 본 발명에 따른 동영상 디코딩 시스템의 영상 후처리 방법에 적용되는 후처리 과정에 대하여 순차적으로 설명해 보기로 한다.

<영상의 일반적인 압축 방법>

일반적으로 유무선 동영상에서 표준으로 자리잡고 있는 H.263, MPEG1/2, 4는 유사한 방법으로 영상을 압축하고 있는데, 가장 큰 특징은 먼저 영상을 움직임 추정(motion estimation) 기법을 이용하여 압축을 한다는 것이다. 동영상을 구성하는 모든 프레임은 크게 I 프레임, P 프레임, B 프레임으로 구분될 수 있다.

여기서, I 프레임은 프레임의 모든 부분이 이전이나 이후 프레임을 참조하지 않고 독립적으로 압축되는 경우로서, 영상을 8*8 단위로 DCT 변환을 수행한 후, 변환된 값을 특정 양자화 계수를 사용하여 양자화한 후, 그 결과 값을 VLC(Variable Length Coding) 기법을 사용하여 코딩하게 된다. 이때, VLC(Variable Length Coding) 특성 상 DCT 변환 후의 결과 값들이 0이 많으면 적은 데이터 양으로 코딩될 수 있다. 따라서 특정 양자화 계수를 크게 설정하면, 그만큼 양자화 계수보다 작은 값들은 모두 0으로 되고, 또한 같은 값이 연속적으로 나타날 확률도 커지므로, 적은 데이터 양으로 코딩될 수 있는 반면에, 화질은 그만큼 손실이 커지므로 저하되게 된다. 그리고, 양자화 값은 매크로 블록단위로 부여되는데, 매크로 블록이란 16*16 픽셀 크기로 나눈 기본 단위이다.

또한, P 프레임이란 이전 프레임을 참조하여 영상을 압축하는 것으로서, 상기 기술한 매크로 블록 단위로, 이전 프레임에서 가장 유사한 매크로 블록을 찾아 모션정보를 추출한다. 모션 정보를 추출하면, 유사한 이전 프레임에서의 매크로 블록과 현재 프레임에서의 코딩 대상 매크로 블록 간의 차이 값을 구한 후, 이를 상기 I 프레임에서와 마찬가지로 8*8 단위로 DCT 변환을 거쳐 양자화 및 VLC (Variable Length Coding)를 통해 모션정보와 함께 압축된다. P 프레임의 경우 이전 프레임에서의 유사한 매크로 블록과의 차이를 코딩하는 만큼 그 값들이 일반 영상의 픽셀 값보다 작을 확률이 매우 크므로 I 프레임에 비해 코딩된 데이터 양이 매우 적게 된다. 하지만 I 프레임에 비해 화질이 좋지 못하므로, 일반적으로 첫프레임은 I 프레임으로 코딩하고 나머지 프레임은 P 프레임으로 코딩하지만, 주기적으로 I 프레임으로 코딩하여 화질을 보장하기도 한다. 그리고, B 프레임은 P 프레임과 유사하지만 이전 프레임뿐 아니라 그 다음 프레임을 참조한다는 것이 다르다.

<양자화에 의한 화질 저하>

1) 색의 손실

상기 기술한 양자화를 통한 압축 방법은 양자화 계수만큼 정보가 손실되므로 정확한 색 정보를 표현할 수 없다. 양자화 계수가 크면 클수록 원래의 색정보가 왜곡되어, 디코더가 압축을 풀고 난 후 영상을 플레이하면 왜곡된 영상이 나타나므로 화질이 저하된다. 영상의 왜곡은 원래의 색이 다른 색으로 나타나거나 영상 전체가 흐려지는 현상으로 나타난다.

2) 블록킹 현상(blocking artifact)

앞에서 기술했듯이 양자화 계수는 매크로 블록마다 정해지고, 양자화가 이루어지는 단위는 8*8 DCT 블록 단위이다. 따라서 DCT 블록마다 양자화가 이루어지면 인접한 DCT 블록 간의 경계 부근이 어긋나는 현상이 발생된다. 이는 각 블록마다 양자화로 인해 색이 왜곡되는 정도가 틀리기 때문에 발생되는데 이를 블록킹 현상이라고 한다. 때문에 양자화 계수가 커지면 영상이 전체적으로 바둑판 모양같이 변하는 왜곡이 생길 수 있다.

<후처리를 통한 화질 개선>

1) 선택적 디블록킹(Deblocking)

앞에서 기술한 화질 저하를 막기 위해서는 낮은 양자화 계수를 사용하면 되나, 네트워크 환경이 나쁘면 압축된 데이터 양이 작아야 하므로 높은 양자화 계수를 사용할 수 밖에 없다. 때문에 상기 기술한 화질 저하를 피할 수 없게 되는 단점이 발생된다. 대신에 영상을 수신한 후 디코더에서 후처리를 통해 저하된 화질을 조금 보상할 수 있다. 현재 사용되는 대표적인 후처리 과정은 블록킹 현상을 보상하는 디블록킹(Deblocking) 방법을 적용하는 것이다. 디블록킹(Deblocking) 방법이 란 DCT 블록 경계 영역을 스무딩(smoothing) 시키는 것으로서 일반적으로 도 1과 같이 경계 영역을 중심으로 양방향 두 픽셀씩을 스무딩(smoothing) 하여 적용한다. 이때, 도 1을 참조하여 설명하면 Bx, Cx나 By, Cy는 Ax, Dx나 Ay, Dy에 비하여 심하게 스무딩(smoothing)을 수행하도록 한다.

여기서, 스무딩(smoothing)이란 두 픽셀의 차이가 원래의 차이보다 덜하도록 수정하는 방법으로써 가장 심하게 스무딩(smoothing)하는 방법은 두 픽셀을 두 픽셀의 평균 값으로 수정하는 방법이 있다. 하지만 이와 같이 경계 영역을 일괄적으로 스무딩(smoothing) 처리할 경우, 경계 영역에서 원래 에지(edge)인 부분까지 스무딩(smoothing) 처리될 수 있는 위험이 발생된다. 따라서 DCT 블록의 경계 영역이 원래 에지(edge) 영역인지, 또는 DCT 블록을 양자화하는 과정에서 나타나는 오류인지를 판별해야 한다.

일반적으로 DCT 블록을 양자화하는 과정에서 나타나는 오류는 양자화 계수 값의 2 배 크기를 넘지 않는다. 따라서 경계 영역에 인접한 두 픽셀의 차이가 양자화 계수 값의 2 배 크기를 넘을 경우에는 원래 에지(edge)인 영역이고 그렇지 않은 경우에는 양자화로 인한 오류라고 판단할 수 있다. 본 발명에서는 인접한 픽셀 간의 차이를 통해 에지(edge)임을 판별하는 방법으로서 로버트 에지 필터(Robert edge filter)를 사용하는 경우에 대하여 설명하기로 한다.

Rebert edge filter

if( abs(D1) + abs(D2) > th1 ) then edge

else blocking

따라서 상기 식에 의해 에지(edge)가 아닌 오류라고 판단될 경우에만 디블록킹 에지 필터(deblocking edge filter)를 적용한다. 이상 기술한 디블록킹 방법이 도 2에 나타나 있다. 먼저 영상이 들어오면 DCT 블록 경계 영역인지를 판단하여, 만일 DCT 블록 경계 영역이면 경계 영역이 에지(edge) 영역인지를 판단한다. 만일 에지(edge) 영역이 아니라면 스무딩(smoothing) 처리를 통한 디블록킹 에지 필터를 수행한다.

2) 에지 강화 방법

앞에서 기술했듯이 높은 양자화 계수를 사용할 경우 영상 전체가 흐려지는 문제가 발생된다. 이러한 문제를 해결하기 위해서는 영상 강화(Enhancement) 필터를 사용할 수 있다. 영상 강화 필터는 원래의 인접한 두 픽셀 간의 차이보다 더 차이가 심하도록 값을 조절하는 것으로서, 스무딩(smoothing)의 반대 개념으로 생각할 수 있다. 강화 필터의 예로서 다음 방법을 들 수 있다.

상기 기술한 Robert Filter 결과를 사용하여,

A₀₀ = A₀₀+ D1*a

A₁₁ = A₁₁ - D1*a

A₁₀ = A₁₀+ D2*a

A₀₁ = A₀₁ - D2*a

를 수행하면 두 픽셀간의 차이가 커져서 에지(edge) 부분에서 영상이 강화된다.

하지만 전 영상에 대해 일괄적으로 영상을 강화하게 되면 다음과 같은 두 가지 문제점이 발생될 수 있다.

-- DCT 블록 경계 부분에서 발생하는 블록킹 현상까지 강화될 수 있다.

-- 에지(edge)가 아닌 잡음이 강화될 수 있다.

상기 두 가지 문제를 방지하기 위하여 본 발명에서는 영상을 강화하되 DCT 블록 경계가 아니면서, 에지(edge)라고 판단되는 경우에만 강화를 수행한다. 따라서 본 발명에서 적용되는 강화 방법은 영상 강화가 아닌 에지(edge) 강화라고 할 수 있다. 에지(edge) 판단은 앞서 기술한 Robert 필터의 결과 값이 일정 임계치 이상일 때로 판단할 수 있다. 이상 기술한 에지 강화 방법이 도 3에 기술되어 있다. 먼저 영상이 입력되면 DCT 블록이 아닌 경우에 대해 에지(edge) 여부를 판단한다. 만일 에지(edge)이면 강화 필터를 수행하게 된다.

이때, 본 발명에서는 상기 해당 영역을 강화 처리함에 있어, 로버트 에지 필터(Robert edge filter)에 입력된 네 개의 픽셀에 대하여, 각각 대각선으로 연결되는 두 픽셀의 밝기 차이를 더욱 크게 조정하도록 한다. 그리고, 상기 대각선으로 연결되는 두 픽셀의 밝기 차이를 조정함에 있어, 그 조정 폭은 두 픽셀 간의 원래 밝기 차이에 비례하도록 한다.

지금까지 기술한 디블록킹(deblocking) 방법과 에지(edge) 강화 방법을 같이 수행할 경우를 나타내면 도 4와 같다. 먼저 영상이 입력되면 DCT 경계 영역인지 판단한다. 만일 DCT 경계 영역이면, 해당 영역이 에지(edge) 영역인지 판단한 후, 만일 에지(edge)가 아니면 경계 영역 주변 픽셀에 한해서 디블록킹 에지 필터 (deblocking edge filter)를 사용하여 스무딩(smoothing) 처리를 수행한다. 만일 DCT 경계가 아니라면 에지(edge) 여부를 판단하여 에지(edge)일 경우 에지 강화 필터(edge enhancement filter)를 사용하여 강화를 수행한다.

도 1은 일반적인 디블록킹(deblocking) 방법의 하나로 스무딩(smoothing) 처리를 설명하기 위한 도면.

도 2 내지 도 4는 본 발명에 따른 동영상 디코딩 방법에 의하여, 영상이 처리되는 과정의 각 실시 예를 나타낸 순서도.

Claims

영상의 블록 경계 영역의 픽셀을 필터링하는 방법에 있어서,

블록의 경계 영역을 중심으로 인접하는 두 픽셀 사이의 차이값과 양자화 계수 정보에 근거하는 임계치를 비교하여 디블록킹 필터링의 수행 여부를 판별하는 단계와;

상기 판별 결과에 근거하여, 영상의 블록 경계를 중심으로 수평 방향 또는 수직 방향으로 4개씩의 픽셀들에 대해 디블록킹 필터링을 수행하는 단계를 포함하되,

상기 디블록킹 필터링을 수행하는 단계에서,

상기 블록 경계를 중심으로 바로 인접한 2개의 픽셀들에 대한 스무딩 처리와, 상기 블록 경계에 인접하지 않은 나머지 2개의 픽셀들에 대한 스무딩 처리는 서로 다른 것을 특징으로 하는 블록 경계 영역의 픽셀을 필터링하는 방법.
제 1항에 있어서,

상기 블록 경계를 중심으로 바로 인접한 2개의 픽셀들에 대한 스무딩 처리는, 평균 연산 방법을 적용하는 것을 특징으로 하는 블록 경계 영역의 픽셀을 필터링하는 방법.
제 1항에 있어서,

상기 스무딩 처리는, 서로 인접한 픽셀들 간의 차이가 덜하도록 픽셀값을 조정하는 것을 특징으로 하는 블록 경계 영역의 픽셀을 필터링하는 방법.