KR100729241B1

KR100729241B1 - 디블록킹 필터

Info

Publication number: KR100729241B1
Application number: KR1020050117615A
Authority: KR
Inventors: 김문수; 서웅
Original assignee: 주식회사 텔레칩스
Priority date: 2005-12-05
Filing date: 2005-12-05
Publication date: 2007-06-15
Also published as: KR20070058839A

Abstract

본 발명은 디지털 영상 디코더에서 전치행렬 변환 메모리 버퍼를 이용하여 최소의 하드웨어 자원을 활용하는 디블록킹 필터에 관한 것으로, 프레임 메모리에 저장된 픽셀 데이터를 효율적으로 필터링하기 위한 전치행렬 변환 메모리 버퍼와 3스테이지-파이프라인 아키텍쳐 형태의 연산 로직(ALU)으로 구성된다. 전치행렬 변환 메모리 버퍼는 수직 방향으로 인접한 영상 픽셀 데이터의 필터링 방식을 수평 방향 필터링 방식과 동일하게 하여 불필요한 메모리 접근을 최소화한다. 3스테이지-파이프라인 아키텍쳐로 구성된 픽셀 데이터 연산 로직은, 픽셀 데이터를 페치하고 필터 타입을 결정하는 제1 스테이지; 픽셀 데이터를 필터링하는 제2 스테이지; 필터링된 픽셀 데이터의 결과를 출력하는 제3 스테이지의 각각을 독립적으로 수행하여 연산 속도를 향상시킨다. 본 발명에 의하면 기존의 중복적인 메모리 접근에 의해 발생되는 전체 복호화 프로그램의 성능 저하 문제를 개선할 뿐만 아니라 파이프라인 아키텍쳐를 통하여 연산 속도를 향상시킬 수 있다.

H.264, 루프 필터, 디블록킹, 전치행렬 변환, 메모리 버퍼

Description

디블록킹 필터{Deblocking Filter}

도 1은 종래의 매크로 블록에서 필터링 수행하는 과정을 나타낸 도면,

도 2는 본 발명에 따른 디블록킹 필터의 전체 구성도,

도 3은 가로/세로 경계에 입접한 픽셀을 나타낸 도면,

도 4는 세로 경계 필터링일 때 물리적 메모리 구조를 나타낸 도면,

도 5는 내부 메모리 버퍼의 전치행렬 변환의 특성을 나타낸 도면,

도 6은 가로 경계 필터링을 위한 전치행렬 변환의 특성을 나타낸 도면,

도 7은 가로 경계 필터링 결과를 위한 전치행렬 변환의 특성을 나타낸 도면이다.

< 도면의 주요부분에 대한 부호의 설명 >

10 : 전치행렬 변환 메모리 버퍼(Transposable Memory Buffer)

20 : 페치/디스패치/결정 스테이지(Fetch/Dispatch & Decision stage)

30 : P-필터 스테이지(P-Filter Stage)

40 : Q-필터 스테이지(Q-Filter Stage)

50 : 라이트-백 스테이지(Write-Back stage)

60 : 파이프라인 제어기(Pipeline controller)

본 발명은 디블록킹 필터 기술에 관한 것으로, 더욱 상세하게는 H.264 디코더에서 전치행렬 변환 메모리 버퍼를 이용하여 최소의 하드웨어 자원을 활용하는 루프 디블록킹 필터에 관한 것이다.

MPEG, JPEG, H.264 등의 디지털 영상 압축 알고리즘은 하나의 프레임 데이터를 여러 블록(16x16, 8x8, 4x4)으로 분할 처리하여 블록 내의 화소들이 갖는 시공간적 리던던시(redundency)를 제거하여 압축률을 높인다.

그러나 이러한 블록 단위의 영상처리 기술은 블록 경계에 존재하는 화소들의 불연속성을 증가시켜 원치않는 결과를 발생시킬 수 있다. 따라서 소스 영상에서 존재하는 불연속성인지 아니면 영상처리에 의해 발생된 불연속성인지의 여부를 판단하게 되는데, 후자인 경우 이를 보완하는 기술이 필요하다. 영상처리 알고리즘에서 이러한 역할을 담당하는 블록을 디블록킹 필터라 한다.

일반적으로, 디블록킹 필터는 도 1과 같이 블록의 경계 면에서 이웃하는 몇 개의 화소들의 정보를 이용하여 필터링을 수행한다. 예컨대, 경계구역의 왼쪽에서 가까운 순서대로 존재하는 화소 세 개를 p0, p1, p2라 하고 마찬가지로 오른쪽에 존재하는 화소 세 개를 q0, q1, q2라 할 경우, 다음의 세가지 조건을 만족하면 필터링을 통하여 위의 여섯 화소의 값을 재설정할 수 있다.

제1 조건: |p0 - q0| < γ

제2 조건: |p2 - p0| < α

제3 조건: |q2 - q0| < β

여기서, α, β,γ 임계값은 각 블록의 양자화 계수 등의 정보를 이용하여 결정한다.

디블록킹 필터는 계산은 복잡하지 않지만 모든 블록의 경계면에서 화소를 읽고 쓰는 작업이 필요하므로 효율적인 메모리 관리가 필수적이다. 특히 H.264의 복호화 프로그램에서 디블록킹 필터에 걸리는 시간이 전체의 약 20 ~ 30%를 차지하고 있기 때문에 디블록킹 필터의 성능 향상은 전체 복호화 과정에 지대한 영향을 기치게 된다.

일반적으로 디블록킹 필터를 수행하기 위해서는 8개의 픽셀 데이터를 프레임 메모리에서 읽어와 내부의 특정 버퍼에 저장한 후 필터링을 시작하고 그 결과를 다시 프레임 메모리에 저장하는 방식을 취하게 된다.

즉, 도 1에서와 같이 경계면 (b)를 기준으로 필터링이 수행되고 나면 경계면 (a)와 (b) 사이, 그리고 경계면 (b)와 (c) 사이의 화소들이 재설정되어 프레임 메모리에 저장된다. 그러나 경계면 (c)를 기준으로 필터링이 수행될 때 경계면 (b)와 (c) 사이의 화소들은 한번 더 프레임 메모리에서 읽혀지고 재설정되어 다시 쓰여 지는 작업을 반복하게 된다. 위와 같은 기존 방식의 중복적인 메모리 접근은 전체 복호화 프로그램의 성능을 저하시킨다.

또한, 디블록킹 필터의 대상이 되는 화소들은 캐릭터 타입 8 비트의 변수 형태를 갖는다. 따라서 중앙처리장치(CPU)가 32 비트 단위의 메모리 접근 방식을 사용하게 될 경우 수평으로 동일한 선에 존재하는 이웃 화소는 다음의 [표 1]과 같이 연속적인 메모리 주소를 갖는다.

메모리 주소	0x03	0x02	0x01	0x00
화소 위치	pV(4n+3,m)	pV(4n+2,m)	pV(4n+1,m)	pV(4n,m)

이때, pV(x,y)는 프레임 상에서 가로축으로 x번째, 세로축으로 y번째 위치에 존재하는 화소를 나타낸다.

도 1에서와 같이 경계면 (a),(b),(c),(d)의 세로 경계면의 경우 연속적인 두 단어(2 word)을 읽음으로써 경계면 좌우의 8 개의 화소를 처리할 수 있다. 그러나 경계면 (e),(f),(g),(h)의 가로 경계면 주위의 상하 8 개의 화소는 다음 [표 2]와 같이 불연속적인 번지를 갖게 되어 실제 필요한 데이터보다 많은 양의 데이터 전송을 요하게 된다.

메모리 주소	0x23	0x22	0x21	0x20
화소 위치	pV(4n+3,m)	pV(4n+2,m)	pV(4n+1,m)	pV(4n,m)
메모리 주소	0x43	0x42	0x41	0x40
화소 위치	pV(4n+3,m+1)	pV(4n+2,m+1)	pV(4n+1,m+1)	pV(4n,m+1)
메모리 주소	0x63	0x62	0x61	0x60
화소 위치	pV(4n+3,m+2)	pV(4n+2,m+2)	pV(4n+1,m+2)	pV(4n,m+2)
메모리 주소	0x83	0x82	0x81	0x80
화소 위치	pV(4n+3,m+3)	pV(4n+2,m+3)	pV(4n+1,m+3)	pV(4n,m+3)

프레임 너비가 0x20(32)인 경우 상하 인접한 화소간의 번지 차이는 0x20 이다.

예컨대, (4n+1,m-1)의 화소와 (4n+1,m)의 화소 경계면을 기준으로 필터링이 수행되는 경우, 32 비트 단위의 메모리 접근 방식에 의해 각 화소마다 필요없는 3 바이트의 데이터 전송이 발생한다. 또한, 필터링된 결과를 저장할 때 필터링 되지 않는 주변 화소들을 유지시키기 위해 별도의 버퍼가 필요하다.

따라서 기존의 메모리 구조를 통한 데이터 접근 방식은 불필요한 데이터 전송을 발생시켜 시스템 전체의 효율성을 저하시키게 된다.

본 발명과 관련된 공지기술로는 "공개번호: 특2000-12878호(2000.3.6), 발명의 명칭: 영상데이터 루프 필터링 방법 및 장치"가 제시되어 있다.

위 공지기술은 영상데이터를 인코딩, 디코딩할 때 발생하는 양자화 효과를 감소시키는 루프 필터링 기술로서, 역양자화된 영상데이터의 역양자화 계수의 분포 및 이전 프레임과 현재 프레임의 차를 나타내는 움직임 벡터를 이용하여 영상데이터의 루프 필터링 필요성 여부를 나타내는 플래그를 추출하는 단계; 및 플래그가 루프 필터링이 필요함을 나타내면 플래그에 상응하는 영상데이터를 소정의 방법으로 필터링하는 단계를 포함한다.

위 공지기술은 플래그와 적응필터를 사용함으로써 양자화 효과를 감소시키고 필터 계산량을 줄인다는 것인 반면, 본 발명은 전치행렬 변환이 가능한 메모리 버퍼를 이용하여 최소의 하드웨어 자원을 활용한다는 점에서 위 공지기술과는 기술적 차이점이 존재한다.

다른 공지기술로서 "공개번호: 10-2005-91270호(2005.9.15), 발명의 명칭: 영상의 불연속성을 제거하기 위한 필터 및 필터링 방법"이 제시되어 있다.

위 공지기술은 영상에서 블록과 블록간의 경계 부분의 불연속성을 제거하는 필터 기술로서, 필터링하려는 블록의 경계부분 화소와 이와 인접한 블록의 경계부분 화소 값과의 차이를 고려하여 경계부분에서의 불연속성의 방향성을 판단하는 단계; 및 방향성에 따라, 화소들의 선택을 달리하여 블록을 필터링하는 단계를 포함한다.

위 공지기술은 블록과 블록간의 경계부분에서의 불연속성을 제거하면서 화질을 향상시킨다는 점에서는 공통점이 있으나, 본 발명은 전치행렬 변환이 가능한 메모리 버퍼를 이용하여 최소의 하드웨어 자원을 활용한다는 점에서 공지기술과는 기술적 차이점이 존재한다.

본 발명의 목적은 디지털 영상 디코더에서 전치행렬변환 메모리 버퍼를 이용하여 최소의 하드웨어 자원을 활용함으로써 기존의 메모리 구조 및 접근방식에 의해 발생되는 전체 복호화 프로그램의 성능 저하 및 시스템 전체의 효율성 저하를 개선하는 디블록킹 필터를 제공하는 것이다.

이와 같은 목적을 달성하기 위한 기술적 사상으로서 본 발명은, 외부 버스로부터 제공된 픽셀 데이터에 대해 내부 전치행렬 변환을 수행하는 메모리 버퍼 수단; 픽셀 데이터를 페치하고 그 페치된 픽셀 데이터에 대한 필터링 방식을 결정하는 제1 처리수단; 위 페치된 픽셀 데이터에 대하여 가로 및 세로의 경계선을 기준으로 위 결정된 필터링 방식에 따라 필터링을 수행하는 제2 처리수단; 위 필터링된 결과 데이터를 출력하는 제3 처리수단; 및 외부 버스로부터 제공된 픽셀 데이터를 제1, 제2, 제3 처리수단을 통해 병렬 처리하도록 제어하는 파이프라인 제어기;를 포함하는 디블록킹 필터를 제공한다.

삭제

이하, 본 발명의 실시예에 대한 구성 및 그 작용을 첨부한 도면을 참조하면서 상세히 설명하기로 한다.

도 2는 본 발명에 따른 디블록킹 필터의 전체 구성도이고, 도 3은 가로/세로 경계에 입접한 픽셀을 나타낸 것이고, 도 4는 세로 경계 필터링일 때 물리적 메모리 구조를 나타낸 도면이고, 도 5는 내부 메모리 버퍼의 전치행렬 변환의 특성을 나타낸 도면이고, 도 6은 가로 경계 필터링을 위한 전치행렬 변환의 특성을 나타낸 도면이고, 도 7은 가로 경계 필터링 결과를 위한 전치행렬 변환의 특성을 나타낸 도면이다.

도 2에 도시된 바와 같이, 본 발명의 디블록킹 필터는 전치행렬 변환 메모리 버퍼(10), 페치/디스패치/결정 스테이지(20), P-필터 스테이지(30), Q-필터 스테이지(40), 라이트-백 스테이지(50), 파이프라인 제어기(60)로 구성된다. 이하, 각 구성요소의 기능에 대해 살펴본다.

전치행렬 변환 메모리 버퍼(10)는 외부 버스로부터 입력된 픽셀 데이터의 전치행렬 변환을 수행한다. 이때, 메모리 버퍼(10)는 MxN 크기의 블록 메모리를 적어도 수 사이클 내에 전치행렬 변환을 수행한다. 전치행렬 변환이란 data[i][j] 형태로 배열된 메모리 데이터를 data[j][i] 형태로 변환하는 것이다.

페치/디스패치/결정 스테이지(20)는 픽셀 데이터를 페치하고, 위 페치된 픽셀 데이터의 처리 시간을 할당하며 필터링 방식을 결정한다. 즉, 페치/디스패치/결정 스테이지(20)는 메모리 버퍼(10)와 연결되어 픽셀 데이터를 페치하고 필터링 방식을 결정하기 위한 "제1 스테이지"로서의 역할을 수행한다.

P-필터 스테이지(30)는 수직 경계에 인접한 P 픽셀을 필터링하고, Q-필터 스테이지(40)는 수평 경계에 인접한 Q 픽셀을 필터링한다. 즉, P-필터 스테이지(30)와 Q-필터 스테이지(40)는 픽셀 데이터를 가로 및 세로의 경계선 기준으로 필터링하기 위한 "제2 스테이지"로서의 역할을 수행한다.

라이트-백 스테이지(50)는 위 필터링된 결과 데이터를 출력하는 "제3 스테이지"로서의 역할을 수행한다.
파이프라인 제어기(60)은 제1,2,3 스테이지와 연결되어 픽셀 데이터를 병렬 처리하는 역할을 수행한다.

본 발명의 루프 디블록킹 필터의 동작을 도 2 내지 7을 참조하여 살펴본다.

본 발명은 3 스테이지-파이프라인 아키텍쳐(stage-pipelined architecture)로 되어 있다.

제1 스테이지에서는 픽셀 데이터를 페치하고 필터 타입을 결정하며, 제2 스테이지에서는 위 페치된 픽셀 데이터를 필터링하며, 제3 스테이지는 그 필터링된 픽셀 데이터의 결과를 출력한다.

입력 데이터를 위한 메모리 버퍼(10)는 전치행렬 변환이 가능(transposable)한 메모리로서 8x8, 8x16, 16x8, 16x16 크기의 블록 메모리를 수 사이클 안에 전치행렬 변환할 수 있는 기능을 가진다. 제어 신호를 통해 전치행렬 변환 여부와 그 타입에 대해 결정할 수 있으며, 페치/디스패치/결정 스테이지(20)에서 어드레스의 변경없이 전치행렬 변환 결과를 입력 데이터로 이용할 수 있다.

전치행렬 변환 메모리 버퍼(10)는 페치/디스패치/결정 스테이지(20)와 직접 연결되어 있지만 외부 버스와도 연결되어 있어 다른 하드웨어에서도 이용할 수 있도록 구성되어 있다.

본 발명의 디블록킹 필터는 도 1과 같이 매크로 블록 내의 4x4 블록을 가로, 세로 방향으로 모두 필터링한다. 휘도(luminance)와 색도(chrominance)에 따라 다르게 진행되며 그 수행하는 순서는 다음과 같다.

■ 4개의 휘도 성분의 세로 경계 필터링([도 1]의 a, b, c, d)

■ 4개의 휘도 성분의 가로 경계 필터링([도 1]의 e, f, g, h)

■ 2개의 색도 성분의 가로 경계 필터링([도 1]의 i, j)

위 필터링하여 출력된 각각의 결과는 경계선을 기준으로 3개의 픽셀에 영향을 준다. 도 3에서는 인접 블록 p와 q에서 가로와 세로 경계를 기준으로 4개의 픽셀을 보여준다. 필터링된 결과는 경계 강도(boundary strength)와 경계선을 가로지르는 샘플 영상의 경사도(gradient) 값에 의존하여 결정되는데, 루프 디블록킹 필터는 QP(Quantizer Parameter, 양자화 변수)값과 각 블록마다 BS 값을 입력받아 자동적으로 필터링을 수행하고 프레임 메모리에 업데이트된다.

도 4는 세로 경계 필터링일 때 물리적 메모리 구조를 도시한다. 도 4에서 어드레스 모드(addressing mode)를 설명하기 위한 SIMD(Single Instruction Multiple Data architecture)는 단일 명령 복수 데이터방식으로, 단일 명령으로 서로 다른 복수의 데이터에 대한 연산을 동시에 수행하게 된다.

P-side 데이터와 Q-side 데이터가 메모리에서 읽어오는 순서대로 두 부분으로 나누어진 내부의 메모리 버퍼(10)에 저장되고 4개 픽셀 데이터의 묶음인 하나의 워드(word) 단위로 필터링을 수행하게 된다. 이러한 경우에는 필터 경계를 기준으로 한 블록씩 32비트 워드 단위로 데이터를 읽어올 수 있는 구조이므로 하드웨어 구조가 단순해지고 한 번에 4개의 픽셀, 즉 하나의 워드씩 페치할 수 있으므로 시스템의 성능 향상에 도움이 된다.

그러나, 가로 방향 필터링일 경우에는 이런 단순한 하드웨어 구조를 그대로 사용할 수 없다. 가로 방향 필터링을 위해서는 세로 방향으로 데이터들을 페치해야 하는데, 일반적인 메모리 구조상 세로 방향으로 여러 개의 데이터를 한번에 읽어올 수 없으므로, 도 3에서와 같이 한 번의 필터링을 위해 8번의 데이터 읽기 동작이 이루어져야 한다. 게다가 필터링한 결과를 업데이트할 경우에도 마찬가지 상황이므로 많은 성능 저하의 문제가 발생될 수 있다.

따라서, 본 발명에서는 전치행렬 변환이 가능한 메모리 버퍼(10)를 사용한다. 메모리 버퍼(10)는 data[i][j] 형태로 배열된 메모리를 data[j][i] 형태로 변환할 수 있는 기능을 가진다.

도 5를 살펴보면, 왼쪽은 전치행렬 변환이 일어나기 전이고 오른쪽은 전치행렬 변환 이후를 나타낸 것으로서, 회색의 데이터의 위치가 바뀌어 있음을 알 수 있다. 이러한 내부 메모리 버퍼(10)를 이용해서 가로 방향 필터링을 세로 방향 필터링처럼 쉽게 구현할 수 있다.

전치행렬 변환 메모리 버퍼(10)를 이용한 가로 경계 필터링은 도 6과 같이 구현할 수 있다. 프레임 메모리에는 왼쪽과 같이 Q-side, P-side 데이터가 위,아래로 배치되어 있고, 데이터들을 전치행렬 변환 메모리 버퍼(10)로 전송한 후, 전치행렬 변환을 수행하면 세로 경계 필터링할 때와 동일한 메모리 구조를 얻을 수 있다. 이때, 단지 P-side와 Q-side 데이터의 위치가 바뀌게 되는데, 이것은 필터 하드웨어의 P-side, Q-side의 시작 어드레스 주소만 변경하면 간단히 해결할 수 있게 된다.

또한, 가로 경계 필터링을 세로 경계 필터링 하드웨어를 그대로 이용해서 동작시킨 후 그 결과를 프레임 메모리로 전송할 때도 위와 같은 전치행렬 변환 과정을 거쳐야 한다.

도 7은 가로 경계 필터링의 결과를 원래 프레임 메모리 구조에 맞게 전치행렬 변환을 수행한 상태로서 이 과정은 필터링하기 전의 입력 데이터에 대한 전치행렬 변화 과정과 완전히 동일하다.

전치행렬 변환의 동작은 하드웨어적으로 수 사이클 안에 이루어지므로 가로 방향 필터링도 많은 수행 시간을 요구하지 않는다. 따라서 본 발명에서는 단순한 구조의 세로 방향 필터링 하드웨어를 그대로 사용하면서 속도 저하 없이 가로 방향 필터링을 효과적으로 구현할 수 있게 된다.

이상에서와 같이 본 발명에 의한 디블록킹 필터에 따르면, 디지털 영상 디코더에서 전치행렬 변환 메모리 버퍼를 이용하여 최소의 하드웨어 자원을 활용함으로써 기존의 중복적인 메모리 접근에 의해 발생되는 전체 복호화 프로그램의 성능 저하 문제를 개선할 수 있다. 또한, 기존의 메모리 구조를 통한 접근방식에 의해 불필요한 데이터를 발생시킴으로써 초래되는 시스템 전체의 효율성 저하 문제를 개선할 수 있다.

Claims

외부 버스로부터 제공된 픽셀 데이터에 대해 내부 전치행렬 변환을 수행하는 메모리 버퍼 수단;

상기 메모리 버퍼 수단과 연결되어, 상기 제공된 픽셀 데이터를 페치하고 상기 페치된 픽셀 데이터에 대한 필터링 방식을 결정하는 제1 처리수단;

상기 제1 처리수단에 연결되어, 상기 페치된 픽셀 데이터에 대하여 가로 및 세로의 경계선을 기준으로 상기 제1 처리수단에서 결정한 필터링 방식에 따라 필터링을 수행하는 제2 처리수단;

상기 제2 처리수단에 연결되어, 상기 제2 처리수단에서 상기 필터링된 결과 데이터를 출력하는 제3 처리수단; 및

상기 제1, 제2, 제3 처리수단과 연결되어 상기 외부 버스로부터 제공된 픽셀 데이터를 상기 제1, 제2, 제3 처리수단을 통해 병렬 처리하도록 제어하는 파이프라인 제어기;

를 포함하여 구성되는 디블록킹 필터.
제 1 항에 있어서,

상기 메모리 버퍼 수단은 상기 전치행렬 변환을 위해 data[i][j] 형태 배열의 메모리 데이터를 data[j][i] 형태 배열로 내부 재배열하는 것을 특징으로 하는 디블록킹 필터.
제 2 항에 있어서,

상기 제1 처리수단은 상기 외부 버스를 통해 제공된 픽셀 데이터를 페치하고 상기 페치된 픽셀 데이터에 대해 처리 시간을 할당하며 필터링 방식을 결정하는 페치/디스패치/결정 수단을 포함하여 구성되는 것을 특징으로 하는 디블록킹 필터.
제 3 항에 있어서,

상기 제2 처리수단은,

상기 페치된 픽셀 데이터에 대하여 수직 경계에 인접한 P 픽셀을 필터링하는 P-필터 수단; 및

상기 페치된 픽셀 데이터에 대하여 수평 경계에 인접한 Q 픽셀을 필터링하는 Q-필터 수단;

을 포함하여 구성되는 것을 특징으로 하는 디블록킹 필터.
제 4 항에 있어서,

상기 P-필터 수단 및 상기 Q-필터 수단은 상기 수직 및 수평 경계를 기준으로 한 블록씩 4개 픽셀 데이터의 묶음인 32 비트 워드 단위로 데이터를 판독하는 것을 특징으로 하는 디블록킹 필터.
제 4 항 또는 제 5 항에 있어서,

상기 제3 처리수단은 상기 제2 처리수단에서 필터링된 결과 데이터를 출력하는 라이트-백 수단을 포함하여 구성되는 것을 특징으로 하는 디블록킹 필터.
제 6 항에 있어서,

상기 필터링된 결과 데이터는 경계 강도 및 경계선을 가로지르는 경사도 값에 의해 결정되는 것을 특징으로 하는 디블록킹 필터.