KR20100013277A

KR20100013277A - 디블록킹 필터의 경계 강도 처리 방법 및 코딩 장치

Info

Publication number: KR20100013277A
Application number: KR1020090069542A
Authority: KR
Inventors: 김한상; 주영훈; 최광표; 채경호
Original assignee: 삼성전자주식회사
Priority date: 2008-07-30
Filing date: 2009-07-29
Publication date: 2010-02-09
Also published as: US20100027685A1

Abstract

본 발명에 따른 디블록킹 필터의 경계 강도 처리 방법은 경계 강도에 대한 정보를 포함하는 패킷을 생성하는 인코딩 과정과, 상기 인코딩 과정에서 생성된 경계 강도에 대한 정보를 포함하는 패킷을 제공받는 디코딩 과정을 포함한다.

인코더, 디코더, 디블록킹, 경계 강도

Description

디블록킹 필터의 경계 강도 처리 방법 및 코딩 장치{METHOD OF DEBLOCKING FILTER FOR BOUNDARY STRENGTH AND APPARATUS FOR CODING}

본 발명은 멀티미디어 코딩에 관한 발명으로서, 특히 디블록킹 필터의 경계 강도를 처리하기 위한 방법에 관한 발명이다.

종래의 멀티미디어 영상 코딩은 블록 단위의 DCT 혹은 동작 보상(Motion compensation)을 수행함으로써 블록킹 에지(Blocking edge)를 유발한다. 상술한 블록킹 에지는 전체 영상에 격자 형태의 줄을 유발함으로써 사용자에게 제공되는 영상의 질적 상태를 저하시키는 요인들 중 하나가 될 수 있다.

디블록킹 필터(deblocking filter)를 이용해서 경계 강도(Boundary strength)를 제거하는 방법은 블록킹 에지(blocking edge)를 완화시켜 주지만, 이는 도 1은 코딩 처리에 있어서 연산에 요구되는 각각의 비율을 설명하기 위한 그래프로서, 코딩 처리를 구성하는 연산 중 디블록킹 필터(Deblocking filter)의 연산 은 38%를 차지하고, 그 중에서 경계 강도(BS) 값을 결정하기 위한 수직 경계 강도(vertical BS)와 수평 경계 강도(Horizontal BS)를 산출하기 위한 연산이 약 20% 정도를 차지한다.

도 2는 종래 기술에 따른 경계 강도를 결정하기 위한 순서도로서, 특히 h.264 디블록킹 필터(Deblocking filter)를 위한 경계 강도(BS) 값을 결정하기 위한 순서도이다. 도 2를 참조하면, 경계강도 값을 결정하기 위한 과정은 인접 블록 간의 특성값(intra coded, cbp, reference frame, motion vector)을 읽어오기(loading), 비교하기(comparison), 비트 곱(bit and), 절대값(ABS), 논리합(or) 등의 계산을 통해 복잡하게 이루어짐을 알 수 있다.

더욱이, 도 3은 마크로 블록(Macro Block)을 도시한 도면으로서, 4×4 블록에 대해 수직 및 수평 방향의 경계 강도를 계산함에 대해 도식적으로 도시한 도면으로서, 도 3에 도시된 점선들은 수직 에지((Vertical edge, 192,193)와 수평 에지(Horizontal edge,194,195)를 나타낸다. 도 3을 참조하면, 블록들(191) 간 수직과 수평 경계들 간 경계 강도들을 모두 연산해야되므로, 디블록킹 필터에 있어서 전체 마크로 블록에서의 연산량이 차지하는 바가 크게 됨을 알 수 있다.

본 발명은 경계 강도에 대한 연산량이 최소화된 디블록킹 필터를 제공하고자 한다.

본 발명의 제1 측면에 따른 디블록킹 필터의 경계 강도 처리 방법은,

인코딩 과정 중 생성된 경계 강도에 대한 정보를 포함하는 패킷을 디코딩 과정에서 공유한다.

본 발명의 제2 측면에 따른 코딩 장치는,

경계강도에 대한 정보 패킷을 생성하는 인코딩부와;

상기 인코딩부에서 생성된 정보 패킷을 디코딩하는 디코딩부를 포함한다.

본 발명은 인코딩의 디블록킹 필터링 중에 생성된 경계 강도에 대한 정보를 디코딩의 디블록킹 필터링 과정에서 요구되는 경계강도에 대한 정보로서 제공함으로써, 디코딩의 디블록킹 필터링 과정에서 별도의 경계 강도를 연산해내기 위해 요구되는 연산과정을 생략할 수 있다.

즉, 본 발명은 인코딩과 디코딩 각각의 디블록킹 필터링 과정에서 요구되는 경계강도에 대한 정보를 공유함으로써 연산과정과 디코더의 연산량을 감소시킬 수 있는 이점이 있다. 따라서, 본 발명은 비트(bit) 수를 줄이고도 정보량을 유지시킬 수 있다.

아래의 <표 1>은 도 10의 예에 따른 수평(horizontal) 및 수직(vertical) 방향의 경계강도 정보를 포함하는 패킷의 크기와 실제 연산량을 비교한 표이다.

	0	1	2	3	4	5	6	7	8	9	합계
비트스트림 크기	1105	61080	3112	2536	2248	2648	2392	2344	2288	2552	32456
수평	0	483	1350	1064	1100	1226	1099	1228	1021	1117	9688
수직	0	470	1342	1174	1276	1290	1233	1303	1152	1193	10433

위의 <표 1>에서 상단에 표시된 0 내지 9는 영상(동영상)을 구성하는 프레임(frame)을 의미하고, 좌측의 수평(Horizontal) 및 수직(Vertical)은 경계강도의 방향을 의미한다.

아래의 <표 2>는 위의 <표 1>과 도 10에 따른 경계강도의 정보를 포함하는 패킷의 크기를 비교설명하기 위한 표이다.

	필터링 방향	total Seq.	합	비고
종래	수평방향의 경계강도	31680	63360	100%
	수직방향의 경계강도	31680
본 발명	수평방향의 경계강도	9688	20121	31.7%
	수직방향의 경계강도	10433

위의 <표 2>를 참조하면 종래의 방식보다 본 발명에 따른 경계강도의 정보를 포함하는 패킷을 이용한 코딩 방법이 약 31.7% 정도로 비트 수가 감소 됨을 확인할 수 있다.

이하에서는 첨부도면들을 참조하여 본 발명의 실시 예를 상세히 설명하기로 한다. 본 발명을 설명함에 있어서, 관련된 공지기능, 혹은 구성에 대한 구체적인 설명은 본 발명의 요지를 모호하지 않게 하기 위하여 생략한다.

본 발명에 따른 디블록킹 필터의 경계 강도 처리 방법은 인코딩 과정에서 생성된 경계 강도에 대한 정보를 포함하는 패킷을 디코딩 과정에 제공함으로써, 디코딩 과정에서 경계 강도에 대한 연산 과정을 생략할 수 있다. 따라서, 본 발명에 따른 디블록킹 필터의 경계 강도 처리 방법은 연산량을 최소화시킬 수 있다.

즉, 본 발명은 디블록킹 필터의 경계 강도를 처리하는 데 있어서 인코딩 과정 중 생성된 경계 강도에 대한 정보를 포함하는 패킷을 분석해서 디코딩 과정에서 의 경계 강도 처리에 적용함으로서 정보량을 유지하고도 연산량을 최소화시킬 수 있는 이점이 있다.

도 4는 본 발명의 제1 실시 예에 따른 코딩 장치를 개략적으로 도시한 도면이다. 도 4를 참조하면, 본 실시 예에 따른 코딩 장치(200)는 경계강도에 대한 정보를 포함하는 패킷을 생성하는 인코딩부(210)와, 상기 인코딩부(210)에서 생성된 패킷을 디코딩하는 디코딩부(220)를 포함한다.

상기 인코딩부(210)는 경계강도의 정보를 생성하는 디블록킹 필터(211)와, 상기 디블록킹 필터(211)에서 생성된 경계강도의 정보를 포함하는 패킷을 생성하는 패킷 인코더(212)를 포함한다.

상기 디코딩부(220)는 상기 패킷 인코더(212)로부터 제공받는 경계강도의 정보를 포함하는 패킷을 디코딩하는 패킷 디코더(221)와, 상기 패킷 디코더(221)에서 디코딩된 경계강도의 정보를 근거로 상기 인코딩부(210)에서 제공되는 비트 스트림의 블록 왜곡을 제어하기 위한 디블록킹 필터(222)를 포함한다.

본 발명에 따른 코딩 장치 및 방법에 적용 가능한 경계 강도의 정보를 포함 하는 패킷 구조(BS_IP)는 'dir'이라는 필드(field)의 적용 여부에 따라서 크게 두 가지 예로 구분해서 설명될 수 있다. 첫 번째 예는 'dir' 필드를 적용하지 않는 도 5와 같이 경계강도의 정보를 포함하는 패킷 구조를 도시한 도면이고, 두 번째 예는 'dir' 필드를 적용한 도 6은 본 발명에 따른 경계강도의 정보를 포함하는 또 다른 패킷 구조를 도시한 도면이다. 즉, 도 5와 도 6은 본 발명에 적용 가능한 경계 강도의 정보를 포함하는 패킷 구성을 도시한 도면으로서, 'dir'의 포함 여부에 그 차이가 있다.

본 발명에 따른 경계강도의 정보를 포함하는 패킷의 파라메터(parameter) 의미 및 비트 할당은 아래의 <표 3> 내지 <표 6>와 같이 정의될 수 있다.

	Offset_max (6~8 bits)
	bits	dec
QCIF	101100	44
QVGA	1010000	80
CIF	1011000	88
VGA	10100000	160

위의 <표 3>에서 QCIF, QVGA, CIF, VGA는 모니터의 해상도를 나타내는 규격을 의미하며, QCIF의 해상도는 176×144이고, QVGA의 해상도는 320×240이고, VGA의 해상도는 640×480이고, CIF의 해상도는 704×576으로 정의될 수 있다.

	dir (1bit)
0	left -> right top -> bottom
1	right -> left bottom -> top

표 4에 표시된 바와 같이 dir 필드는 1비트가 할당되며, 0으로 설정되면 좌에서 우로 혹은 상에서 하로 오프셋을 계산해서 순차적으로 경계강도가 설정된다는 의미이다. 또한, dir 필드가 1로 설정되면 우에서 좌로 혹은 하에서 상으로 오프셋을 계산하며 도 8에 도시된 바와 같이 오프셋 위치로부터 순차적(또는 순환적)으로 경계강도가 설정된다는 것을 의미한다. 이 때, 오프셋 값을 나타내는 필드는 1비트 줄어든다. dir 필드를 포함하는 패킷의 오프셋 필드와 dir 필드의 길이 합은 dir 필드를 포함하지 않는 패킷의 오프셋 필드의 길이와 동일하지만, 경계강도 정보의 전체적인 길이를 최소화시킬 수 있다.

	BS (2bits)
00	0
01	1
10	2
11	end

상기 경계강도 필드는 2비트(bit)로 표현 가능하다. 경계강도는 0부터 4까지 설정 가능하나, 3 혹은 4는 현재 마크로 블록(macro block)이 내부적으로 부호화(intra coded) 되어 있는지 여부에 따라서 결정되기 때문에 패킷 내에서는 실제 경계강도가 3 또는 4인 경우는 무시하고, 0 내지 2의 경계강도만 고려한다.

즉, 경계강도가 0인 경우는 비트열 00으로, 경계강도가 1인 경우는 비트열 01로, 경계강도가 2인 경우는 비트열 10으로 표시할 수 있으며, 비트열 11인 경우는 현재 행 또는 열(가로 혹은 세로 방향)의 끝까지 경계강도가 0이 지속될 경우로서 패킷의 끝을 알리는 지시 필드(Indicator field)로서 설정될 수 있다. 다만, 오프세의 첫 두 비트는 패킷의 끝을 의미하는 11과 동일해서는 안 된다.

	length (3bits)
000	8(2³)
001	1
010	2
011	3
100	4
101	5
110	6
111	7(2³ -1)

표 6의 길이(length) 필드는 경계강도가 연속적으로 지속되는 길이를 의미한다. 표 6은 길이 필드는 3비트로 가정한 경우이다. 길이가 2개의 유닛(8개의 픽셀)이라면 비트열 010으로 표현 가능하며, 모든 비트열이 0인 경우는 2^(길이 필드의 비트수)를 의미로 이해될 수 있다.

도 5와 도 6에 도시된 패킷(경계 강도의 정보를 포함하는 패킷)은 오프셋(offset) 필드와, 경계강도(BS) 필드와, 길이(Length) 필드를 포함해서 구성될 수 있으며, 패킷의 종료(end) 필드까지는,각각의 경계강도(BS) 필드 및 길이(Length) 필드가 반복될 수 있다.

상기 오프셋 필드는 영상의 최 좌측(Horizontal direction) 및 최 상단(Vertical direction)을 기준으로 경계 강도 값이 0이 아닌 값이 나올 때까지의 거리를 의미하며, 단위는 경계강도가 설정되는 4개의 픽셀(Pixel)을 하나의 유닛(Unit)으로 계산한다. 따라서, 352×288 크기의 CIF 영상인 경우는 4 픽셀을 하나의 유닛으로 설정하면 88×72(0x58×0x48)로서 최대 7비트까지 표현할 수 있다.

도 7a는 QCIF 영상의 각 유닛의 위치에 BS값을 표시한 도면이며, 도 7b는 도 5에 도시된 패킷 구조의 예를 도시한 도면이다. 도 7b에 도시된 패킷은 오프셋 필드(510)와, 경계강도 필드들(511, 513, 515, 517, 519, 521, 523, 525)과, 길이 필드들(512, 514, 516, 518, 520, 524, 526)과, 종료 필드(527)를 포함한다.

상기 오프셋 필드(501)는 6비트, 경계강도 필드들(511, 513, 515, 517, 519, 521, 523, 525) 및 길이 필드들(512, 514, 516, 518, 522, 524, 526)의 40비트(각각 5비트), 종료 필드(527)의 2비트를 포함해서 총 48비트로 구성될 수 있다.

도 8a는 도 7a에 도시된 영상의 각 유닛의 BS값을 본 발명의 다른 실시 예에 따라 회전시키는 동작을 보여주는 예시도이며, 도 8b는 본 발명의 다른 실시 예에 따른 도 6에 도시된 패킷 구조의 예를 도시한 도면이다.

도 6에 도시된 패킷 구조의 예(dir 필드 포함)에 따른 도 8b에 도시된 패킷은 오프셋 필드(631)와, dir 필드(632), 경계강도 필드들(633, 635, 637, 639, 641)과, 길이 필드들(634, 636, 638, 640, 642)과, 종료 필드(643)을 포함하며, 경계강도 0이 제일 많이 연속되는 구간을 가장 뒤로 배치하기 위해서 4개의 단위(unit; 4개의 픽셀이 하나의 단위(unit))만큼 회전시키면 도 8a에 도시된 바와 같이 "1111,0011,0000,2200,0000~0000"과 같이 단순화될 수 있다. 우에서 좌방향으로 오프셋을 설정하기 때문에 dir은 1이며(표 2), 오프셋은 00100의 비트(bit)열로 표현될 수 있다. 이 경우에 사용된 경계강도의 정보를 포함하는 패킷의 총 길이는 33비트로서 도 5의 예에 비해서 연산량이 약 30% 가량 감소 됨을 알 수 있다.

도 7b와 도 8b를 비교해 보면, 그 효과를 확인할 수 있다. 즉, QCIF의 화상에서 총 44개 단위의 경계강도가 도 7b와 같이 설정되었을 경우 경계강도의 정보는 오프셋 6비트, 경계강도 및 길이 쌍 (5비트) 8개, 종료를 알리는 종료 지시 2비트로서 총 48비트로 구성된다. 반면에, 도 8b와 같이 dir 필드를 이용해서 표현하게 되면 경계강도 0이 제일 많이 연속되는 구간을 가장 뒤로 정렬시키기 위해서 4 단위 만큼 회전시키면 '1111 0011 0000 22 0...'과 같이 단순하게 될 수 있다. 따라서, 우에서 좌 방향으로 오프셋 값을 설정하기 때문에 dir은 1이며, 오프셋은 00100의 비트열로 표현될 수 있다. 이 경우에 사용된 경계강도의 정보 길이는 총 33비트로 dir 필드를 포함하지 않는 경우에 비해 약 30% 가량 연산량이 감소됨을 확인할 수 있다.

도 9는 디코더에서 경계강도의 정보를 포함하는 패킷을 해석하는 과정을 도시한 순서도로서, 아래의 <표 5>에 표시된 바와 같이 비트 할당된 필드를 디코딩하는 과정을 설명하기 위한 순서도이다.

도 9를 참조하면, 310단계에서 경계강도 값을 나타내는 비트 값을 읽고, 321단계에서 읽은 비트 값이 3인지 판단한다. 3인 경우에는 322단계로 진행하여 모든 경계강도 값을 0으로 설정하고 종료하며, 3이 아닌 경우에는 330단계로 진행한다.

330단계에서는 오프셋 값을 나타내는 비트 값을 읽고, 340단계에서 오프셋(offset) 값으로 저장한다. 350단계에서는 dir 값을 나타내는 비트 값을 읽어 dir 값으로 저장한다.

360단계에서는 경계강도 값을 읽고, 371단계에서 상기 읽은 값이 3인지 판단한다. 3인 경우에는 372단계로 진행하여 남은 경계강도 값을 0으로 설정하고 종료한다. 3이 아닌 경우에는 380단계로 진행하여 읽은 값을 경계강도 값(BS)으로 저장한다. 390단계에서는 길이 필드를 나타내는 비트 값을 읽고, 400단계에서 길이 값(length)으로 저장하고 360단계로 진행한다.

상기 350단계는 dir 필드를 포함하는 패킷이 제공될 경우만 한정된 과정으로서, Read(x)의 함수는 경계강도의 정보를 포함하는 패킷에서 x 비트를 읽은 값을 의미한다. 즉, 패킷에 '11'이라고 설정되어 있을 경우에는 모든 경계강도 값이 0임을 나타내는 것이고, 오프셋(dir) 필드, 경계강도 필드1, 길이 필드1, 경계강도 필드 2, 길이 필드 2 ~ 경계강도 필드n, 길이 필드 n으로 분석하며, 경계강도가 3인 필드가 발견되면, 그 이후의 행 또는 열의 모든 경계강도는 0임을 의미한다.

	오프셋(a) (dir 포함)	dir(d)	경계강도(b)	길이(c)
QCIF	6(5)	1	2	3
QVGA	7(6)	1	2	3(또는 4)
CIF	7(6)	1	2	3(또는 4)
VGA	8(7)	1	2	4

위의 <표 7>은 영상(frame)의 크기에 따른 각 필드 파라미터의 비트 수를 나타낸다. 표 7에 나타낸 비트 이 외에도 비트스트림의 특징에 따라서 조정될 수 있다.

도 10은 도 5에 따른 패킷의 예를 설명하기 위한 도면으로서, dir 필드를 포함하지 않는 패킷 구조의 예이다. 도 10에 도시된 패킷은 경계강도가 0(710)인 경우와, 경계강도가 1(720)인 경우와, 경계강도가 2(730)인 경우와, 경계강도가 3(740)인 경우와, 경계강도가 4(750)인 경우를 포함하며, 경계강도가 0인 경우와 1 또는 2인 경우 오프셋만큼 이동하면 모든 경계강도의 정보를 압축한 형태로 변환할 수 있다.

도 10을 QCIF 화상의 모든 경계강도의 정보(BS=0~2)를 최소의 비트(bit)로 표현하기 위한 예로서, 총 비트 수는 (11×4)×(9×4)×2인 3168 비트로 나타낼 수 있다. 즉, 하나의 마크로 블록(또는 유닛)이 4개의 픽셀(픽셀은 도 10의 칸에 대응)로 구성된 경우에, 하나의 마크로 블록은 수직의 경계강도의 정보 4개와, 수평의 경계강도의 정보 4개로 구성된다. 또한, 표 5를 참조하면 경계강도의 정보는 2비트로 구성됨을 알 수 있다. 따라서, 총 비트 수는 위에 설명한 바와 같이 (11×4)×(9×4)×2인 3168 비트로 나타낼 수 있다.

이를 본 발명의 dir 필드를 포함하지 않는 패킷 구조에 적용해서 표현하면 다음과 같이 총 483비트(75×5+21×6+36×2)가 필요하다. 이는 일반적인 방식으로 표현했을 경우의 비트 수의 15%(=(483/3168)×100)에 해당한다.

다음의 표 8은 도 10에 도시된 수직 방향으로의 경계 강도의 예이다.

도 1은 종래 h.264 디코더에서의 연산량 설명하기 위한 그래프,

도 2는 종래 기술에 따른 경계 강도를 결정하기 위한 순서도,

도 3은 디블록킹 필터의 대상인 마크로 블록의 경계 영역을 도시한 도면,

도 4는 본 발명의 제1 실시 예에 따른 코딩 장치를 개략적으로 도시한 도면,

도 5는 본 발명에 따른 경계강도의 정보를 포함하는 패킷 구조를 도시한 도면,

도 6은 본 발명에 따른 경계강도의 정보를 포함하는 또 다른 패킷 구조를 도시한 도면,

도 7a는 QCIF 영상의 각 유닛의 위치에 BS값을 표시한 도면,

도 7b는 도 5에 도시된 패킷 구조의 예를 도시한 도면,

도 8a는 상기 도 7a에 도시된 영상의 BS값을 본 발명의 다른 실시 예에 따라 회전시키는 동작을 도시한 예시도,

도 8b는 도 6에 도시된 패킷 구조의 예를 도시한 도면,

도 9는 디코더에서 경계강도의 정보를 포함하는 패킷을 해석하는 과정을 도시한 순서도,

도 10은 도 5에 따른 패킷의 예를 설명하기 위한 도면.

Claims

디블록킹 필터의 경계 강도 처리 방법에 있어서,

경계 강도에 대한 정보를 포함하는 패킷을 생성하는 인코딩 과정과;

상기 인코딩 과정에서 생성된 경계 강도의 정보를 포함하는 패킷을 제공받아서 디코딩하는 과정과;

상기 디코딩 과정은 상기 경계 강도의 정보를 디블록킹에 이용함을 특징으로 하는 경계 강도 처리 방법.
제1 항에 있어서,

상기 인코딩 과정은 오프셋 필드와, 경계강도 필드, 길이 필드와 종료 필드를 포함하는 패킷을 생성함을 특징으로 하는 경계 강도 처리 방법.
제1 항에 있어서,

상기 인코딩 과정은 오프셋 필드와, dir 필드, 경계강도 필드, 길이 필드와 종료 필드를 포함하는 패킷을 생성함을 특징으로 하는 경계 강도 처리 방법.
코딩 장치에 있어서,

경계강도의 정보를 생성하는 디블록킹 필터와, 상기 디블록킹 필터에서 생성된 경계강도의 정보를 포함하는 패킷을 생성하는 패킷 인코더를 포함하는 인코딩부와;

상기 인코딩부에서 생성된 패킷을 디코딩해서 상기 경계강도에 대한 정보를 디블록킹에 적용하는 디코딩부를 포함함을 특징으로 하는 코딩 장치.
제4 항에 있어서, 상기 디코딩부는,

상기 패킷 인코더로부터 제공받는 경계강도의 정보를 포함하는 패킷을 디코딩하는 패킷 디코더와;

상기 패킷 디코더에서 디코딩된 경계강도의 정보를 근거로 상기 인코딩부에서 제공되는 비트 스트림의 블록 왜곡을 제어하기 위한 디블록킹 필터를 포함함을 특징으로 하는 코딩 장치.
제4항에 있어서, 상기 패킷 인코더는 0의 BS값이 최대로 연속된 구간이 패킷의 마지막 위치에 배열되도록 패킷의 적어도 하나의 유닛을 회전시키는 것을 특징으로 하는 코딩 장치.