KR100266559B1 - 비데오버퍼링확인기의상태검사회로 - Google Patents

Abstract

본 발명은 영상 압축 시스템에 관한 것으로, 압축 데이타의 전송시에 데이타 전송율(bit-rate)을 일정하게 하기 위하여 이용하는 버퍼의 상태를 등가적으로 검사하는데 적당하도록 한 비데오 버퍼링 확인기의 상태 검사회로에 관한 것이다.

Description

비데오 버퍼링 확인기의 상태 검사회로

제1도는 8x8 블록 데이타의 매크로블록의 구성도.

제2도는 간단한 비데오 엔코더의 블록 다이아그램.

제3도는 본 발명 비데오 버퍼링 확인기의 상태 검사회로도.

* 도면의 주요부분에 대한 부호의 설명

10 : Qp 제어부 10-1 : C_to_Qp 테이블

10-3 : △d_to_△Qp 10-4 : 버퍼상태 검사부

20 : 버퍼부 30 : 비트할당부

40 : 베리언스부

본 발명은 영상 압축 시스템에 관한 것으로, 특히 압축 데이타의 전송시에 데이타 전송율(bit-rate)을 일정하게 하기 위하여 이용하는 버퍼의 상태를 등가적으로 검사하는데 적당하도록 한 비데오 버퍼링 확인기의 상태 검사회로에 관한 것이다.

본 발명은 영상 압축 시스템과 관련이 있는 것으로 MPEG-1이 그 배경이 되는데, 이 MPEG-1의 개요에 대하여 설명하면 다음과 같다.

먼저 MPEG-1의 국제 표준안을 만든 것은 비데오 신호를 압축하는 공통적인 방식의 필요성이 날로 커지고 있기 때문이다. 이 방식은 다양한 디지탈 기억장치에 압축 비데오 데이타를 저장하는데 쓰인다.

이 국제 표준안은 코딩 방식을 결정한 것으로, 비데오 데이타를 1.5Mbits/sec의 속도로 압축한다. 따라서 기존의 또는 미래의 네트워크 방식을 통하여 영상정보를 전송할 수 있게 된다.

이 코딩 방식은 625/525 라인의 티브이와 위크스테이션, 콤퓨터등에서 이용할 수 있도록 유연성을 두었다.

이 표준안은 기본적으로 1.5Mbit/s의 데이타 전송이 가능한 기억장치를 이용할 목적으로 구성하였지만 더 크게 확장할 수도 있다.

이 국제 표준안을 만든 의도는 다양한 응용분야에 이용할 수 있도록 융통성 있는 코딩 알고리즘을 정의하는데 있다. 이러한 목적을 위하여 디코더 및 코딩한 데이타의 특성을 나타내는 여러가지의 파리미터를 정의하였으며, 이 파라미터들을 코딩한 데이타안에 배치하도록 하였다.

이렇게 하여 갖가지 크기와 형태를 가진 영상을 다양한 종류의 방법으로 전송할 수 있게 된다.

이 국제 표준안의 범위가 너무 넓은 관계로 "구속된 파라미터 비트 흐름"이라는 것을 부가적으로 정의하였다. 이렇게 제한을 둔 이유는 파리미터 이용의 범위에 대한 기본지침을 제시하기 위함이다. 비트흐름(코딩한 데이타)안에 그 데이타가 구속된 파라미터의 제한을 받는지 여부를 나타내는 플래그(flag)가 있다.

구속된 파리미터의 요약

수평 영상 사이즈 768 pels

수직 영상 사이즈 576 pels

영상 영역 396 매크로블록

영상 래이트(rate) 30Hz

모션 백터 범위 -64.0~+63.5 pels

입력 버퍼 사이즈 327.680 비트

비트 래이트 1,856,000 bits/sec

이 표준안에서 제시된 코딩방식은 압축률이 높으면서도 양질의 화상을 재현할 수 있도록 한 것이다. 이 알고리즘은 코딩중에 데이타의 손실을 수반한다.

영상의 질과 압축률, 랜덤 억세스사이에 균형을 유지하는 것이 코딩의 기본이 된다.

랜덤 억세스는 인트라프래임(intraframe)에서만 가능하므로 또한 데이타의 양을 증가시킨다. 따라서 이러한 요소들간에 적절한 균형을 유지하며 코딩을 하는 것이 필요하다.

높은 압축율을 얻기 위하여 여러가지 방법을 이용한다. 그 중 첫번째가 신호에 대하여 적절한 정밀도를 선정하는 것이다. 그리고 블록 단위의 이동보상을 하는데, 이로서 임시 리던던시(redundancy)를 줄일 수 있다.

이동보상의 방법으로는 단순히 이전의 영상으로부터 모션 백터를 구하는 방법과 이전과 다음의 양쪽으로부터 모션 백터를 구하는 보간 예측이 있다. 모션백터는 16x16 pel 단위의 블록마다 있게 된다.

예측 에러는 DCT(Discrete Cosine Transform)와 양자화, VLC(Variable Length Coding)를 거쳐 압축된다. 16x16 매크로블록(macroblock)을 이동보상 단위로 선택한 이유는 코딩 이득과 데이타 저장에 필요한 제약사이의 적정한 조건으로 판단했기 때문이다.

각 매크로블록의 영상형태은 서로 다를 수 있다. 따라서 모션 백터는 각 매크로블록마다 있다. 매크로블록의 유형에 따라서 모션 백터와 다른 부수적인 정보들을 압축된 예측오차 데이타와 함께 매크로블록의 데이타로 저장한다.

모션백터는 VLC를 이용하여 서로 다르게 코딩한다. 백터의 최대 크기는 매영상마다 바꿀 수 있으며, 따라서 대부분의 응용에 있어서 일반적인 상황에서의 성능저하를 막을 수 있다.

모션 백터의 값을 구하는 방법은 각 응용방식에서 결정하며, 이 표준안에서는 제한을 하지 않는다.

한 영상에서의 코딩의 기본단위는 매크로블록이다. 각 영상에서 오른쪽에서 왼쪽으로 그리고 위에서 아래의 순서로 각 매크로블록을 코딩한다.

각 매크로블록은 6개의 8x8 블록으로 구성한다.

즉, 4개의 루미넌스(Iuminance)블록과 1개의 Cr 크로미넌스 블록, 1개의 Cb 크로미넌스 블록으로 구성한다. 1개의 크로미넌스 블록과 4개의 루미넌스 블록은 동일한 영역에 대한 영상을 나타내는데, 이는 크로미넌스 성분을 루미넌스 성분에 비하여 수평/수직방향 모두 2 : 1로 서브샘플링(subsampling)하기 때문이다.

제1도에 그 구조를 나타내었다.

원래의 영상과 예측오차신호는 둘 다 스페이셜 리던던시(spatial redundancy)가 높다. 이 표준안에서는 DCT, 웨이트가 부가된 양자화, VLC을 블록단위로 하게 되었다.

이동보상예측, 즉 보간이후의 영상오차 데이타를 8x8 블록으로 재구성한다. 이 데이타를 DCT 영역으로 변환하여 가중치를 부여한 후에 양자화한다.

이 이후에는 많은 계수들이 0으로 되며, 나머지 계수들에 대하여 효과적으로 VLC를 할 수 있게 된다. 이때에 미세한 데이타는 제거되면서 리던던시가 감소하게 된다.

이 국제 표준안에서는 엔코딩의 방식에 대하여 규정하지 않는다.

다만 디코더의 신호처리, 비트스트림의 구조 및 의미에 대하여만 규정한다. 따라서, 많은 부분이 엔코더에 의하여 정의되며, 가격, 속도, 영상의 질, 압축률등의 적정선을 결정할 수 있도록 한다. 여기서는 엔코더의 기능을 간단히 설명하였으며, 제2도에 기본적인 엔코더의 기능상의 구조를 예시하였다.

제2도의 블록 다이아그램을 입력화면 처리 순서에 따라 간단한 동작을 설명하면 다음과 같다.

1. 입력화면에 대하여 어떤 영상타입(I.P.B영상)으로 사용할 것인지 결정한다.

2. 영상타입이 결정되면, 디코더에서 디코딩을 수행할 순서로 도착되도록 화면순서를 재배치한다. 이 화면의 표시순서는 디코더에 의해 복구된다.

3. 모션 계산 블록은 영상 타입에 따라서 영상내의 16x16 매크로블록에 대한 각각의 모션 백터를 계산한다. 이 과정은 많은 계산량을 요구하기 때문에 어레이 처리기둥을 사용하여 병렬로 처리한다.

4. 각각의 매크로블록에 대하여 영상타입, 매크로블록 주변의 모션 보상 예측의 효율성, 블록내의 화면의 특성등에 따라 코딩 모드를 선택한다.

5. 코딩모드에 따라 해당 매크로블록이 존재하는 화면의 전 또는 후의 기준화면을 근거로 모션 보상 예측을 행하여, 예측값을 구하고 이 예측값을 현재의 매크로블록에 있는 실제의 값에서 빼서 그 차이를 구한다.

6. 구해진 차이값은 매크로블록의 형태로 4개의 8x8 루미넌스 블록과 2개의 8x8 크로미넌스 블록으로 구성되어 이것을 분리하여 DCT 블록에 의하여 각각 8x8 DCT 계수를 구한다(제1도 참조)

7. DCT 블록에 의해 구해진 8x8 DCT 계수결과는 양자기 블록에 의해 양자화되며 8x8의 2차원 양자화된 DCT 계수를 지그재그 순서로 읽어서 1차원의 양자화된 DCT 계수 스트링으로 변환한다.

8. 이 스트링은 모션 백터, 모드등과 함께 VLC 블록에 의해 엔코딩된다. 이시점에서 한 화면에 대해 부호화된 데이타가 출력된다.

그러나, 이러한 종래 기술은 제2도에서와 같이 양자회 스케일 Qp 값을 조절하는 방법이 단지 레귤레이터를 통하여 버퍼의 상태 B[n]을 검사하여 매크로블록 단위로 Qp 값을 변화시킬 뿐이다.

이러한 방법으로는 버퍼가 오버플로우(overflow)를 일으킬 경우 매크로블록의 DC 값만 코드화하므로 재생영상의 질을 떨어뜨린다.

이하 본 발명의 구성에 대하여 설명하면 다음과 같다.

-레이트 제어 및 어댑티브(adaptive)양자화

엔코더는 디코더의 입력 버퍼가 오버플로우나 언더플로우(under flow)를 일으키지 않도록 비트 레이트를 조절하여야 한다. 가성적인 디코더는 입력 버퍼에 있는 한 영상에 대한 모든 데이타를 일순간에 제거하도록 되어 있으므로 한 영상에 대한 전체 데이타의 크기를 조절해야 한다. 또한 영상의 질을 균일하게 하기 위하여 엔코더는 각 유형의 영상(I.,P,B-영상)마다 적정량의 비트수를 할당하여야 한다. 이때에 할당비율은 영상 데이타의 특성과 영상의 유형에 따라 달라진다.

각 영상내에서는 영상의 시각적인 질을 높이기 위하여 매크로블록마다 비트수를 할당하여야 한다.

엔코더에서 비트 레이트를 조절하는 방법중의 하나는 양자화기 스케일을 바꾸는 것이다.

-영상 순차에서의 레이트 제어

MPEG 위원회에서는 다음과 같은 비율을 제시한다.

BA_1 : BA_P =2-5 : 1

BA_P 는 빠른 모션에 의하여 증가한다.

BA_P : BA_B = 3 : 1

-한 영상내에서의 레이트 제어

버퍼가 오버플로우를 일으키려고 할 경우에 양자화기 스케일을 크게 해야한다. 만일 그렇게 하여도 오버플로우가 일어날 경우 DCT 계수중 저주파 성분만을 코딩하고 고주파 성분을 버린다. 이때에 재생 영상에 시각적인 결함이 발생하지만 이러한 방법이외에는 별 도리가 없다.

버퍼에 언더플로우가 일어나려고 할 경우에는 양자화기 스케일을 작게 해야한다. 그것도 충분치 않을 경우에는 비트스트림에 매크로블록 스터핑(stuffing)을 하거나 시작 코딩앞에 0을 채운다.

이러한 조작을 하는 간단한 방법중의 하나가 버퍼의 상태를 검사하는 것이다. 각 영상타입에 대한 비트수의 할당과 평균 양자화 스케일 값이 지정되었다고 가정하면, 각 매크로블록마다 일정량의 버퍼공간이 할당되어 각 영상마다 그 안의 매크로블록에 할당한 비트수를 균등하게 제한한다.

그리고 버퍼에 평균치보다 많은 데이타가 있으면 양자화 스케일을 크게 하고 적은 양의 데이타가 있으면 스케일을 작게한다.

한 영상에 대하여 양자화 스케일을 동일하게 하면 코딩된 영상의 전체 민 스퀘어(mean square)에러는 최소로 되는 경향이 있다. 하지만 양자화 스케일 값을 영상의 내용이 복잡한 영역에서는 작게, 변화가 작은 영역에서는 크게 변화 시키면 재생영상의 시각적인 질을 높일 수 있다. 이러한 기법으로는 블록화 현상을 줄일 수 있는 반면에 섬세한 영상 영역에서 양자화 노이즈를 증가시킨다. 하지만 이러한 노이즈는 시각적으로 느끼기 어려우므로 별 문제가 없다.

한편, 제3도의 블록의 구성에 대하여 설명하면 다음과 같다.

베리언스(Variance)부(40)는 프래임 변화를 계산하는 것으로, 각 영상 타입마다 변화를 구하여 비트 할당에 이용한다.

또한, 비트 할당부(30)는 발생 비트수를 예측 :d[n+1] 즉, 다음 VLC할 영상의 코딩 비트수를 예측하여 버퍼 오버플로우/언더플로우를 방지하는데 이용하며, 비트 할당 데이블(30-1)로부터 얻는다.

상기비트 할당 테이블(30-1)은 호스트에서 GOP의 구조에 따라 각 영상-타입의 변화에 따른 비트수 할당 테이블을 결정한다.

또한, 버퍼부(20)는 VLC 의 코딩 데이타를 받아 들이는 채널 버퍼이다. 언더플로우나 오버플로우 상태를 미리 VLC에 알려 매크로블록 단위의 오버플로우/언더플로우 방지기능을 돕는다. 현재 버퍼와 데이타 양 "B[n]"을 버퍼상태검사부(10-4)에 보내어 영상 단위의 언더플로우/오버플로우를 예측한다.

또한, Qp 제어부(10)는 언더플로우/오버플로우를 방지하기 위한 것으로, 버퍼상태검사부(10-4)는 영상단위로 버퍼의 오버플로우/언더플로우를 예측하고 Qp값을 변화시켜 이를 방지한다. 또한 "Qp(ref)"를 보정하여 버퍼부(20)의 상태가 일정 수준에 수렴하도록 한다.

-오버플로우 방지

d[n+1]＞B[n] + 2R -B

-언더플로우 방지

d[n+1]＞B[n] + R

d[n+1] : 다음 프래임에 대한 할당 비트수

B[n] : 현재 버퍼의 데이타 보유량

B : 버퍼 사이즈

R : 매 프래임 주기마다 전송 비트수

또한,d_to_Qp(10-3)는 버퍼상태검사부(10-4)에서 얻은d를 이용하여 Qp(ref)값을 보정하기 위한 데이블이고, C_to_Qp(10-1)는 각 영상 타입의 변화에 대한 프래임의 평균 Qp 값 "Qp(ref)"을 결정하는 테이블이다. 예상 비트수에 대한 오차의 버퍼의 상태에 의하여 테이블값을 매 프래임마다 서서히 변화시킨다.

상기와 같은 본 발명의 구성에 대하여 그 작용과 효과를 상세히 설명하면 다음과 같다.

먼저 오버플로우/언더플로우를 방지하는 방법을 설명하면, 다음 영상의 코드화한 데이타 양을 예측하여 버퍼의 오버플로우와 언더플로우를 방지하는데 중점을 두고 있다.

다음 영상의 발생 비트수를 예측하고 현재 버퍼의 상태와 비교한 후 미리 Qp값을 조절한다. 상기의 방법으로 실패할 경우 널 데이타 스터핑(null data stuffing)이나 AC 계수를 "0"으로 하여 VLC에서 비트수를 조절한다.

한편, Qp제어부(10)의 동작은 제3도에서 베리언스부(40)의 "변화계산"블록이 바로 다음에 코드화할 I, b, P-영상으로부터 루미넌스(Y)성분 데이타 x를 받아 각 유형(I, B, P 타입)의 영상의 변화 Var_Pic을 계산한다.

그리고 Var_Pic로부터 비트할당부(30)의 비트할당데이블(30-1)에서 다음영상에서 발생할 코드량의 예상값인 d[n+1]을 출력한다.

그리고 영상 코드화 경우 오버플로우 예측은 버퍼상태검사부(10-4)에서 d[n+1]＞B[n] + 2R -B 조건을 만족하지 못할 경우 Qp값을 크게하여야 하며,

d =(B[n]+2R-B-d[n+1]＞0 …………………………(1)

언더플로우 예측은 버퍼상태검사부(10-4)에서 d[n+1]＜B[n] + R 조건을 만족하지 못할 경우 Qp값을 작게 하여야 하며,

d =(B[n]+2R-B-d[n+1]＞0 …………………………(2)

한편, Qp값의 변경은 상기의 과정으로부터 얻은d 값을 현재 코드화할 영상에 적용하는데,Qp는d_to_Qp 테이블(10-3)의d 위치에 있는 값이며,Qp (수정된)= Qp(ref) +Qp 이다.

이하 본 발명에 대해 효과를 설명하면 다음과 같다.

d[n] =C*(Var_Pic/Qp(ref)).

Qp = K *d 로 가정하면(K＞0, K는 상수),

실제 코드화한 비트수를 dg[n+1]이라하고 할 때,

dg[n] = C * (Var_Pic/Qp)

= C * (Var_Pic/Qp(ref) +Qp))

로 단순화시킨 후,

B[n+1]이 오버플로우가 예상되는 경우 (1)로부터d＞0이므로 B[n+1]=B[n]+dg[n+1]로 부터 B[n+1]의 크기를d에 반비례하여 미리 줄일 수 있게 된다.

또한, B[n+1]이 언더 플로우가 예상될 경우 식(2)로부터d＜0이므로 B[n+1]의 크기를d 에 반비례하여 미리 늘일 수 있게 된다.

따라서 영상 단위의 Qp 조절을 할 수 있게 되어 화면의 전체 영역에 걸쳐 균등한 화질을 유지할 수 있게 된다.

이상에서와 같이 본 발명은 영상단위의 코딩된 데이타 발생량 예측을 통해 채널 버퍼의 상태를 조절할 수 있게된다.

Claims (2)

1. 비트 할당에 이용하기 위해 각 영상 타입마다 프래임 변화를 구하는 베리언스부 (40)와, 상기 베리언스부(40)의 출력을 입력받아 다음 가변장 길이 코딩할 영상의 코딩 비트수를 예측하여 버퍼 오버플로우/언더플로우를 방지시키게 하는 비트 할당부(30)와, 가변장 길이 코딩의 데이타를 받아 들여 언더플로우나 오버플로우 상태를 미리 알려 매크로블록 단위의 오버플로우/언더플로우를 방지시키게 하는 버퍼부(20)와, 상기 비트할당부(30) 및 버퍼부(20)의 출력에 따라 언더플로우/오버플로우를 방지하는 Qp 제어부(10)로 구성된 것을 특징으로 하는 비데오 버퍼링 확인기의 상태 검사회로.
2. 제1항에 있어서, 상기 Qp제어부(10)는 영상단위로 버퍼의 오버플로우/언더플로우를 예측하고 양자화 스케일 Qp 값을 변화시켜 이를 방지하는 버퍼상태검사부(10-4)와, 상기 버퍼상태검사부(10-4)로부터 얻은d 를 이용하여 상기 양자화 스케일 Qp 값을 보정하는 테이블인d_to_Qp(10-3)와, 각 영상 타입의 변화에 대한 프래임의 평균 Qp 값 "Qp(ref)"을 결정하는 테이블인 C_to_Qp(10-1)로 구성된 것을 특징으로 하는 비데오 버퍼링 확인기의 상태 검사회로.