KR20020084712A

KR20020084712A - 디블로킹 필터용 16비트 단위 어드레스 구조를 가지는메모리 맵

Info

Publication number: KR20020084712A
Application number: KR1020010023658A
Authority: KR
Inventors: 류명분
Original assignee: 주식회사 하이닉스반도체
Priority date: 2001-05-02
Filing date: 2001-05-02
Publication date: 2002-11-11

Abstract

본 발명은 영상 압축에 관한 것으로, 16비트 단위 메모리 맵을 채택하고 메모리 최전방 또는 최후방 한 열에 어드레싱을 위한 추가 데이타 영역을 구비함으로써, 어드레싱 회수를 줄일 수 있으며, 공간 효율을 높일 수 있는 디블로킹 필터에 사용되는 메모리 맵을 제공하기 위한 것으로, 이를 위해 본 발명의 압축 영상 복호화 시 디블로킹 필터용 16비트 단위 어드레스 구조를 가지는 메모리 맵에 있어서, 메모리 최전방 또는 최후방 한 열에 배치되며, 어드레싱을 위한 의미없는 데이타를 갖는 추가 데이타 영역; 디블로킹 처리를 할 현재 매크로 블럭의 데이타 영역; 및 현재 매크로 블럭의 처리를 위해 필요한 데이타 영역을 포함한다.

Description

디블로킹 필터용 16비트 단위 어드레스 구조를 가지는 메모리 맵{Memory map having 16bit unit address structure for deblocking filter}

본 발명은 압축 영상의 복원에 관한 것으로, 특히 블럭기반 DCT(Discrete Cosine Transform) 방식을 이용한 압축 영상 복원에 관한 것이다.

무선 인터넷의 발달과 함께 정지 영상이나 동영상을 이용한 통신 환경이 급속히 확산됨에 따라 사용자들은 더욱 고화질의 영상을 원하는 반면, 이를 실현하기 위해 전달해야 하는 데이터의 양은 더욱 늘어나게 된다.

이와 같은 문제점을 해결하기 위해, 엠펙(Moving Picture Expert Group; 이하 MPEG이라 함)을 비롯한 여러 가지 영상 압축 방법이 제안되었으며, 국제적으로 표준화되어 사용되고 있다.

한편, 예컨대, 컬러 영상에 대한 MPEG의 적용에 있어서, 일정 압축비 이상에서의 복원된 영상의 왜곡과 영상의 확대에 따른 블로킹 효과(Block effect) 및 압축의 효율성에 대한 문제가 제기되고 있다.

도 1은 MPEG-Ⅱ에서의 4:2:0 휘도(Luminance)와 색차(Chrominance) 신호의위치를 도시한 도면이다.

또한, 도 2는 MPEG-Ⅱ에서의 부호화 알고리즘(Algorithm)을 도시한 도면이다.

도 1을 참조하면, 디지탈 컬러 영상은 8비트(Bit)의 R(Red), G(Green), B(Blue) 값으로 표현할 수 있다. 그러나, RGB 도메인(Domain)은 이들간의 상관 관계(Correlation) 때문에 컬러 영상 압축에 비효율적이므로, 통상적으로 영상 압축에는 신호 에너지 치밀화(Compaction)의 특성을 지니고, 신호의 상관 관계가 적은 휘도-색차 도메인을 사용한다.

이 경우, 인간의 시각 시스템이 색차 신호(Cb, Cr)에 둔감하고, 휘도 신호(Y)에 민감하다는 사실을 이용하여 압축하게 된다.

휘도(Y)는 영상의 밝기를 나타내는 정도로서, ITU-R(International Telecommunication Unoin - Radiocommunication) 권고 601에서 화소(Pixel)의 휘도는 8비트로 나타내며, 색차(Cb, Cr)는 영상의 색을 나타내는 정보로 권고 601에서는 8비트를 두개 사용하여 화소의 색을 나타낸다.

색을 나타내는 좌표를 '색 공간'이라고 부르는데, MPEG에서 사용되고 있는 Y, Cb, Cr계의 일반적인 모양은 도 1에 도시한 바와 같이, 화소를 휘도 'Y', 색도 'Cb, Cr'이라는 세개의 8비트 정보를 표현한다.

이와 같이, 통상 하나의 화소당 24비트의 정보를 할당하지만 인간의 눈이 색에 그다지 민감하지 않은 것을 이용하여 색 정보를 삭감하는 수단이 압축의 방법으로 널리 사용되고 있다.

색 정보를 삭감하지 않은 것을 '4:4:4'라 부르고, 횡방향으로 반으로 삭감한 것을 '4:2:2', 횡방향, 종방향으로 모두 반으로 삭감한 것을 '4:2:0'이라 부르고 있다. 따라서, '4:2:0'에서 색(Cb, Cr) 정보는 휘도(Y) 정보의 1/4이 된다. MPEG에서는 주로 이러한 '4:2:0'을 입력받아 압축 알고리즘을 수행하고 있다.

MPEG-Ⅱ는 DCT(Discrete Cosine Transform)와 양자화(Quantization), 움직임 추정 등 여러 가지 압축 알고리듬을 이용한 혼성 압축(Hybrid compression)에 의한 영상 압축 표준이다.

도 2를 참조하면, RGB 신호를 입력받아 휘도(Y)와 색차(Cb, Cr) 신호로 변환하는 도메인 전환부(100)와, 4:4:4인 색차(Cb, Cr) 신호를 4:2:0으로 변환하는 서브샘플링부(110)와, 휘도(Y)와 4:2:0의 색차(Cb^, Cr^) 신호를 데이터 변환 및 양자화를 통해 정보를 정리하는 변환 및 양자화부(120)로 구성되어 있으며, 역양자화 과정, 역 DCT 및 움직임 추정 부분은 생략하였다.

구체적으로, 도메인 전환부(100)에 의해 RGB 신호를 각 8비트의 휘도(Y)와 색차(Cb, Cr) 신호로 전환시킨다. 이어서, 4:4:4인 색차(Cb, Cr) 신호를 서브샘플링부(110)의 프리필터(Prefilter)를 통해 필터링한 후, 4:2:0인 색차(Cb^, Cr^) 신호로 서브샘플링하여 데이터의 양을 줄인다.

다음으로, 변환 및 양자화부(120)를 통해 휘도(Y) 신호와 4:2:0인 색차(Cb^, Cr^) 신호를 주파수 기반의 변환 기법인 DCT 및 양자화를 이용하여 손실 압축(Lossy compression)함으로써, 영상의 공간적 중복성을 줄인다. 여기서, 양자화는 양자(Quantum)라고 불리우는 미리 정의된 정보들을 이용하여 주어진 데이터를코드화하는 방법으로, 양자를 이용하여 주어진 데이터를 정확하게 부호화할 수 없는 경우, 양자화는 주어진 데이터와 가장 비슷한 데이터를 복원할 수 있는 코드를 생성한다. 예컨대, 양자화 전의 데이타가 120, 115, 55, 70, 81, 83, 88, 75인 경우, 30, 29, 14, 17, 20, 21, 22, 19의 4의 배수로 양자화된 데이터를 생성한다.

한편, 상기와 같은 MPEG-2, MPEG-4에서 사용되는 블럭 단위 DCT를 이용하여 영상을 압축하는 영상 압축 방식은 압축률이 높은 반면, 블럭간의 상관 관계(Correlation)를 잃어버려 영상을 복원하였을 때 복원된 영상의 화질이 저하되는 것을 방지하기위한 방법으로 디블로킹(Deblocking) 처리를 수행한다.

도 3은 일반적인 후처리 알고리즘에서 8 * 8 블럭의 경계 영역을 도시한 블럭도이다.

후처리(Postprocessing)는 블럭 기반 압축 부호화 후, 복원하였을 때 시각적으로 화질의 저하를 느끼게 하는 인위적인 요소들을 제거하는 과정으로서, 최종적인 주관적 화질을 개선시키는 중요한 과정이다.

블럭 DCT 기반의 영상 부호화에서는 독립적인 예측과 변환 및 양자화로 인해 블럭간의 상관 관계를 잃어버리게 되며, 이 때 가장 많이 나타나는 화질 저하 요소로는 블로킹 효과(Blocking effect)와 링잉 효과(Ringing effect) 등이 있다. 이들 왜곡 현상은 특히, 코딩되는 DCT 계수의 수가 적어지는 저전송률의 방식에서 눈에 띄게 나타난다.

블로킹 효과는 복원된 영상의 블럭들간 경계에서 값이나 경사의 불연속에 의하여 발생하는 것으로, 블럭 경계를 따라 사각의 격자 형태로 발생하므로 쉽게 눈에 띄며 주관적 화질을 저하시킨다.

한편, 링잉 효과는 보통 동일 블럭 내에서 뚜렷한 에지(Edge)로 인해 두 개의 평탄한 영역이 나누어질 때 보여지며, 블럭 DCT의 주기적인 기저 함수는 이렇게 날카로운 에지를 표현하는데에는 적합하지 못하므로 적은 수의 DCT 계수만이 부호화되고 이를 이용하여 영상이 복원되었을 경우 블럭 내에서는 에지 근처에서 주기적으로 테두리가 겹쳐진 듯한 형태의 왜곡을 보이게 된다.

기존의 JPEG(Joint Photographic Experts Group)와 H.261/3 및 MPEG-1/2와 같은 압축 표준은 블럭 DCT 변환에 기반을 두고 있었기 때문에 디블로킹(Deblocking) 연구에 집중되어 왔다. 블로킹 현상은 블럭 경계에서의 불연속성에 기인한 것이기 때문에 초기에는 경계를 따라 평탄화(Smoothing) 즉, 저역 통과 필터링을 하므로써 이러한 블로킹 현상을 줄이려는 노력을 기울여 왔으며, 최근에는 디블로킹을 영상 복원 문제로 인식하면서 더욱 다양한 정보를 이용하는 영상 개선 방법을 이용하게 되면서 높은 성능을 얻게 되었다.

또한, JPEG과 같은 정지 영상과는 달리 동영상 부호화에서는 이전 프레임의 블로킹 현상이 다음 프레임으로 계속 전파되므로, 블럭간의 경계에서 뿐만아니라 임의의 위치에서 블로킹 영향이 발견될 수 있다. 따라서, 단순한 블럭 경게에서의 평탄화로는 충분한 화질 개선이 어렵게 된다.

다음은 MPEG Visual의 Annex F 3.1에 기술되어 있는 디블로킹 기법과 디링잉 기법을 나타낸다.

디블로킹 필터는 디코더에서 8 * 8 블럭의 경계에서 수행되며, 명암성분(Luminance)과 색차 성분(Chrominance) 모두에 대해 적용되며, 도 4는 이러한 블럭 경계를 도시한다.

블럭 경계 주위의 화소 조건에 따라 두 가지 모드로 필터가 동작한다. 어떤 모드로 동작할지를 결정하는 과정은 다음과 같다.

eq_cnt = φ(v0-v1) + φ(v2-v3) + φ(v3-v4) + φ(v4-v5) + φ(v5-v6) + φ(v6-v7) + φ(v7-v8) + φ(v8-v9)

여기서, |γ| ≤THR1 이면, φ(γ) = 1 이고, 그렇지 않으면 φ(γ) = 0 이다.

만약 eq_cnt ≥THR2 이면, DC 오프셋(Offset) 모드이고, 아니면 디폴트(Default) 모드로 동작한다.

상기한 바와 같은 과정을 통하여 작은 DC 차이에 의한 블로킹 왜곡이 없는 평탄 영역은 DC 오프셋 모드로 처리되며, 그 밖의 경우에는 디폴트 모드로 처리된다. 디폴트 모드에서는 화소 S0, S1, S2 등의 주파수 정보를 이용하여 블럭 경계 주위에서 영상 세부를 구별하여 적응 평탄화를 수행한다. 또한, 디폴트 모드의 필터링은 경계 화소인 v4와 v5를 다은과 같이 v4'와 v5'로 대치하므로써 이루어진다.

v4' = v4 - d

v5' = v5 + d

한편, 상기 d는 다음과 같다.

d = CLIP(5 * (a3,0' - a3,0)//8,0 (v4-v5)/2) * δ(|a3,.| 〈 QP)

또한, 상기 a3,0'은 다음과 같다.

a3,0' = SIGN(a3,0) * MIN(|a3,0|, |a3,1|, |a3,2|)

여기서, 주파수 성분 a3,0과 a3,1 및 a3,2는 다음과 같이 근사화된 DCT 커널 [2 -5 5 -2]의 단순 내적에 의하여 계산할 수 있다.

a3,0 = ([2 -5 5 -2] ㆍ [v3 v4 v5 v6]T) // 8,

a3,1 = ([2 -5 5 -2] ㆍ [v1 v2 v3 v4]T) // 8,

a3,2 = ([2 -5 5 -2] ㆍ [v5 v6 v7 v8]T) // 8.

상기 제3 내지 제5 수학식에서, CLIP(x,p,q)는 x를 p와 q 값 사이로 한정짓는 함수이고, QP는 화소 v5를 포함하는 매크로 블럭의 양자화 파라미터(Quantization Parameter)를 의미한다. 또한, δ(Condition)는 컨디션이 참일 때는 '1'을 출력하며, 그렇지 않을 때는 '0'을 출력한다.

매우 평탄한 영역에서, 디폴트 모드의 필터링은 DC 오프셋에 의한 블로킹 현상을 줄이기에 충분하지 않다. 따라서, 이 경우를 DC 오프셋 모드라 하여 다음과 같이 더 강한 평탄화를 수행한다.

max = MAX(v1, v2, v3, v4, v5, v6, v7, v8),

min = MIN(v1, v2, v3, v4, v5, v6, v7, v8),

if(|max - min| ＜ 2 * QP) {

vn' =

{b_k: -4 ≤k ≤4} = {1, 1, 2, 2, 4, 2, 2, 1, 1}//16

}

else

No change will be gone.

제6 수학식에 설명된 필터링 시에는 먼저 모든 수평 방향의 블럭 경계에 대한 처리가 이루어진다. 만일 화소 값이 이전 필터링에 의하여 변하였다면, 수정된 화소 값을 이용하여 다음 필터링을 수행한다.

도 4는 종래기술에 따른 수평 및 수직 경계에 대한 디블로킹 처리도를 도시한 도면이다.

디블로킹 필터링은 8 * 8 블럭의 경계에서 수행되는 바, 도 4에 도시된 바와 같이, 16 * 16 크기의 매크로 블럭 단위의 데이타와 5행의 추가 데이타를 합하여 최소 21 * 21 크기의 메모리가 필요하게 된다. 또한, 디블로킹 필터링의 계산은 화소(Pixel) 단위 처리를 하는데 8비트 단위 메모리를 채택하여 8비트 단위로 데이타 입출력을 하게 되면, 디블로킹 필터를 ASIC(Application Specific Integrated Circuit)으로 구현하는 경우 한번의 필터링을 위해 많은 양의 주변 데이타가 필요한 디블로킹의 특성상 매우 여러번 어드레싱(Addressing)을 해야하는 문제가 있다. 예컨대, 하나의 매크로 블럭 처리를 위해 560번의 데이타 입력과 448번의 출력이 필요하므로 결국 1008번 어드레싱을 해야하며, 이는 처리시간의 상당 부분을 차지하게 되는 문제점이 발생하게 된다.

본 발명은 상기와 같은 종래 기술의 문제점을 해결하기 위한 것으로서, 어드레싱 회수를 줄이면서, 색상 성분 데이타를 추가 저장함에 있어서도 버려지는 공간을 줄일 수 있는 16비트 단위 어드레스 구조를 가지는 메모리 맵을 제공하는데 그목적이 있다.

도 1은 MPEG-Ⅱ에서의 4:2:0 휘도와 색차 신호의 위치를 도시한 도면,

도 2는 MPEG-Ⅱ에서의 부호화 알고리즘을 도시한 도면,

도 3은 일반적인 후처리 알고리즘에서 8 * 8 블럭의 경계 영역을 도시한 블럭도,

도 4는 종래기술에 따른 수평 및 수직 경계에 대한 디블로킹 처리도를 도시한 도면,

도 5는 본 발명의 일실시예에 따른 16비트 단위 어드레싱 메모리 맵을 도시한 블럭도,

도 6은 본 발명의 다른 실시예에 따른 16비트 단위 어드레싱 메모리 맵을 도시한 블럭도

도 7은 본 발명의 다른 실시예에 따른 16비트 단위 어드레싱 메모리 맵을 도시한 블럭도,

도 8은 본 발명의 다른 실시예에 따른 16비트 단위 어드레싱 메모리 맵을 도시한 블럭도.

* 도면의 주요부분에 대한 부호의 설명 *

51 : 추가 데이타 영역,

52 : 디블로킹 처리를 할 현재 매크로 블럭의 데이타 영역,

53 : 현재 매크로 블럭 처리를 위해 필요한 추가 데이타 영역.

상기 목적을 달성하기 위하여 본 발명은 압축 영상 복호화 시 디블로킹 필터용 16비트 단위 어드레스 구조를 가지는 메모리 맵에 있어서, 메모리 최전방 또는 최후방 한 열에 배치되며, 어드레싱을 위한 의미없는 데이타를 갖는 추가 데이타 영역; 디블로킹 처리를 할 현재 매크로 블럭의 데이타 영역; 및 현재 매크로 블럭의 처리를 위해 필요한 데이타 영역을 포함한다.

이하, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 정도로 상세히 설명하기 위하여, 본 발명의 가장 바람직한 실시예를 첨부한 도면을 참조하여 설명하기로 한다.

도 5는 본 발명의 일실시예에 따른 16비트 단위 어드레싱 메모리 맵을 도시한 블럭도이다.

도 5를 참조하면, 본 발명의 디블로킹 필터를 위한 메모리 맵은, 16비트 단위 어드레스 구조를 가지며 메모리 최전방 한 열의 추가 데이타 영역(51)을 구비하여 구성된다.

구체적으로, 본 발명은 16비트 단위 메모리 맵을 채택하여 디블로킹 필터링을 수행하였다. 따라서, 8비트 단위의 메모리 맵을 사용하는 경우 매크로 블럭 하나를 처리하기 위해 한 번 어드레싱하여 한 화소 데이타씩 읽어들이면 수직 방향필터링과 수평 방향 필터링을 수행하고 나면 최대 560번의 데이타 입력과 448번의 데이타 출력을 합하여 총 1008번의 어드레싱을 해야 한다. 이에 반해, 16비트 메모리 맵을 사용하여 한 번 어드레싱에 두 화소씩 읽어들여 듀얼 포트 처리하면, 약 절반 정도의 어드레싱으로 필터링을 수행할 수 있다.

여기서, 도면부호 '53'은 디블로킹 처리를 할 현재 매크로 블럭의 데이타를 나타내며, 도면부호 '52'는 현재 매크로 블럭 처리를 위해 필요한 추가 데이타를 나타내며, 도면부호 '51'은 어드레싱을 편하게 하기 위해 추가된 의미없는 데이타이다.

도 6은 본 발명의 다른 실시예에 따른 16비트 단위 어드레싱 메모리 맵을 도시한 블럭도이다.

도 6을 참조하면, 본 발명의 디블로킹 필터를 위한 메모리 맵은, MPEG 영상 포맷 Y:U:V = 4:2:0이면서, U, V 성분에 대해서도 디블로킹 처리를 한 16비트 단위 어드레스 구조를 가지며 메모리 최전방 한 열의 추가 데이타 영역(61)을 구비하여 구성된다.

여기서, 도면부호 '61'은 어드레싱을 편하게 하기 위해 추가된 의미없는 데이타이며, 도면부호 '62'는 현재 매크로 블럭 처리를 위해 필요한 추가 데이타를 나타내며, 도면부호 '63'은 디블로킹 처리를 할 현재 매크로 블럭의 데이타를 나타내며, 도면부호 '64'는 쓰이지 않는 영역을 나타낸다.

도 7은 본 발명의 다른 실시예에 따른 16비트 단위 어드레싱 메모리 맵을 도시한 블럭도이다.

도 7을 참조하면, 본 발명의 디블로킹 필터를 위한 메모리 맵은, MPEG 영상 포맷 Y:U:V = 4:2:0이면서, Y 성분에 대해서만 디블로킹 처리하고 U, V 성분에 대해서는 디블로킹 처리를 하지 않은 16비트 단위 어드레스 구조를 가지며 메모리 최전방 한 열의 추가 데이타 영역(71)을 구비하여 구성된다.

여기서, 도면부호 '71'은 어드레싱을 편하게 하기 위해 추가된 의미없는 데이타이며, 도면부호 '72'는 현재 매크로 블럭 처리를 위해 필요한 추가 데이타를 나타내며, 도면부호 '73'은 디블로킹 처리를 할 현재 매크로 블럭의 데이타를 나타내며, 도면부호 '74'는 쓰이지 않는 영역을 나타낸다.

도 8은 본 발명의 다른 실시예에 따른 16비트 단위 어드레싱 메모리 맵을 도시한 블럭도이다.

도 8을 참조하면, 16비트 단위 어드레스 구조를 가지며 메모리 최후방 한 열의 추가 데이타 영역(81)을 구비하여 구성된다.

여기서, 도면부호 '81'은 어드레싱을 편하게 하기 위해 추가된 의미없는 데이타이며, 도면부호 '82'는 현재 매크로 블럭 처리를 위해 필요한 추가 데이타를 나타내며, 도면부호 '83'은 디블로킹 처리를 할 현재 매크로 블럭의 데이타를 나타낸다.

상술한 바와 같이 이루어지는 본 발명은, 디블로킹 필터에 사용되는 메모리에 있어서, 16비트 단위 메모리 맵을 채택하고 메모리 최전방 또는 최후방 한 열에 어드레싱을 위한 추가 데이타 영역을 구비함으로써, 8비트 단위 메모리 맵을 사용하는 경우에 비해 어드레싱 회수를 절반 정도로 줄일 수 있으며, 색상 성분 데이타를 추가 저장함에 있어서도 버려지는 공간을 줄일 수 있다.

상술한 본 발명은, 디블로킹 필터에 사용되는 메모리에 있어서, 16비트 단위 메모리 맵을 채택하고 메모리 최전방 또는 최후방 한 열에 어드레싱을 위한 추가 데이타 영역을 구비함으로써, 어드레싱 회수를 줄일 수 있으며, 공간 효율을 높일 수 있는 효과가 있다.

Claims

압축 영상 복호화 시 디블로킹 필터용 16비트 단위 어드레스 구조를 가지는 메모리 맵에 있어서,

메모리 최전방 또는 최후방 한 열에 배치되며, 어드레싱을 위한 의미없는 데이타를 갖는 추가 데이타 영역;

디블로킹 처리를 할 현재 매크로 블럭의 데이타 영역; 및

현재 매크로 블럭의 처리를 위해 필요한 데이타 영역

을 포함하여 이루어지는 디블로킹 필터용 메모리 맵.
제 1 항에 있어서,

상기 메모리 맵은, 쓰이지 않는 영역을 더 포함하는 것을 특징으로 하는 디블로킹 필터용 메모리 맵.