KR20030089774A - 비디오 디코더의 ｄｃ/ａｃ 계수 저장방법 - Google Patents

Abstract

본 발명은 비디오 디코더에서 최소한의 저장 공간을 사용하여 DC/AC 예측을 위한 DC/AC 계수를 저장하는 기술에 관한 것이다. 이러한 본 발명은, 라인 단위로 디코딩되는 각 매크로블록의 계수를 디씨 스토어에 저장하고, 디코딩하려는 블록의 바로 좌측 블록의 계수를 레프트 블록에 저장하되, 각 블록별로 DC 계수, 7개의 첫 번째 로우 AC 계수, 7개의 첫 번째 컬럼 AC 계수를 저장하고, 각 매크로블록별로 0,1번의 루미넌스 블록, 2,3번의 크로미넌스 블록을 저장하며, 각 블록을 모두 디코딩한 후에는 레프트 블록에 저장되었던 계수를 디씨 스토어에 저장하고, 디코딩한 블록의 계수는 레프트 블록에 저장하는 것에 의해 달성된다.

Description

비디오 디코더의 ＤＣ/ＡＣ 계수 저장방법{RECORDING METHOD FOR DC/AC COEFFICIENT OF VIDEO DECODER}

본 발명은 비디오 디코더의 DC/AC 예측 디코딩 기술에 관한 것으로, 특히 DC/AC 예측을 위한 DC/AC 계수의 저장 공간을 최소화 하여 MPEG 4 비디오 스트림을 디코딩할 수 있도록 한 비디오 디코더의 DC/AC 계수 저장방법에 관한 것이다.

MPEG 4 비디오에서 디씨티 계수(DCT coefficient)의 엔코딩시 각 블록의 DC 계수와 첫 번째 로우(row) AC 계수 및 첫 번째 컬럼(Column) AC 계수를 코딩하는 경우, 좌측 혹은 상단에 위치한 블록의 계수를 이용하여 예측 코딩(predicition coding)을 선택적으로 수행하게 된다. 따라서, MPEG 4 비디오 디코더에서는 DC/AC 예측을 사용한 비트 스트림을 디코딩하기 위해 각 매크로블록을 디코딩한 후에 매크로블록 내부의 각 블록의 DCT 계수를 따로 저장해야 한다. 따라서, 디코딩시에 이 DC/AC 예측을 위해서 많은 메모리가 필요하게 된다.

MPEG 4 비디오에서의 DC/AC 예측은 각 블록의 DC 계수와 첫 번째 로우 AC 계수 및 첫 번째 컬럼 AC 계수에 대해서 이루어진다. 예를 들어, 도 1에서 블록 X를 디코딩할 경우 엔코더는 각각 블록 A,B,C의 DC 계수를 8로 양자화한 QDC 값을 이용한다. (QDC=dc_coefficient//8, //는 integer division with round to nearest integer)

블록 X를 디코딩하기 전에 블록 A,B,C의 코딩이 이미 완료되어 있으므로(엔코딩/디코딩은 라인 단위로 수행된다.) QDCx를 다음과 같이 구할 수 있다.

If(|QDCa - QDCb| < |QDCb-QDCc|)

QDCx=QDCc

그리고, 실제 블록 X의 DC 계수는 QDCx와의 차이를 이용해서 차분 코딩(differential coding)을 하게 된다. 이때, 만약 블록 A,B,C 중 어느 한 블록이라도 VOP(VOP: Video Object Plane)의 외부에 있거나, 블록 X와 다른 비디오 패킷에 속해 있다면 그 블록의 QDC 값은로 취해서 예측해야 한다.

따라서, 디코더는 블록 X를 디코딩할 때, 미리 디코딩되어 있는 블록 A,B,C의 DC 계수를 근거로 블록 X의 DC 계수가 어느 블록의 DC 계수를 이용하여 예측되어 있는지 찾아내고, 예측에 사용한 블록의 DC 계수를 이용하여 블록 X의 DC 계수를 계산해야 한다.

이때, 엔코더에서와 마찬가지로 디코더에서도 블록 X와 블록 A,B,C가 같은 비디오 패킷에 속해 있거나, 블록 A,B,C가 VOP 내부에 속해 있는 경우에만 예측에 사용해야 하고, 만약 세 블록 중 어느 한 블록이라도 다른 비디오 패킷에 속해 있거나, VOP의 외부에 있으면 그 블록의 DC 계수는의 값을 사용해야 한다.

또한, AC 계수의 디코딩시에 해당 블록의 헤더에서 AC 예측 플래그 값이 '1'인 경우에는 DC 뿐만 아니라 일부 AC 계수도 예측 코딩이 사용된 것이므로, 디코더에서 이를 고려해야 한다. 예를 들어, 블록 X의 코딩에 AC 예측이 사용되었고, 블록 X의 DC 계수가 블록 A의 DC 계수를 사용하여 디코딩되었다면, 블록 X의 첫 번째 컬럼 AC 계수는 블록 A의 첫 번째 컬럼 AC 계수를 이용해서 예측되어 있고,

블록 X의 DC 계수가 블록 C를 이용해서 디코딩되었다면, 블록 X의 첫 번째 로우 AC 계수는 블록 C의 첫 번째 로우 AC 계수를 근거로 예측해서 디코딩해야 한다.(도 2 참조)

실제로, MPEG 4 비디오는 매크로블록 단위로 처리하고, 각 매크로블록에는 4 개 블록의 루미넌스(Luminance), 2개 블록의 크로미넌스(Chrominance)가 포함되어 있다. 매크로블록의 각 블록에 대해 DC/AC 예측에 사용하는 블록 A,B,C의 위치는 도 3과 같다.

이러한 DC/AC 예측을 디코더에서 수행하기 위해 디코더는 이미 디코딩된 블록의 DCT 계수를 메모리에 저장하게 된다. 종래의 방법은 모든 블록들의 DC 계수와 14개의 AC 계수(첫번째 로우 AC 계수 7개 + 첫 번째 컬럼 AC 계수 7개)를 저장하여 DC/AC 예측 코딩을 수행하였다. 따라서, 이를 위한 저장 공간이 다음의 식과 같이 크게 늘어나게 된다.

MPEG 4 비디오의 대부분의 애플리케이션이 손에 휴대하는 애플리케이션이라는 점과 이러한 애플리케이션을 위한 메인 프로세서들이 대부분 메모리와 퍼포먼스(performance)에 많은 제약이 있다는 점을 고려하면 DC/AC 예측을 위해서 낭비되는 메모리 사이즈가 상당히 큰 것이라고 볼 수 있다.

예를 들어, 1024 * 768 크기의 비디오를 디코딩할 경우에 DC/AC 예측을 위해 필요한 저장공간은 (1024/16) * (768/16)*6*15 = 64* 48 * 6 * 15 = 276480 = 270kByte가 된다.

이와 같이, 종래의 DC/AC 예측 디코딩 기술에 있어서는 모든 블록들의 DC 계수와 14개의 AC 계수를 저장하여 DC/AC 예측 코딩을 수행하게 되므로 많은 저장 공간을 필요로 한다. 더욱이 MPEG 4 비디오의 대부분의 애플리케이션이 휴대용 애플리케이션이라는 점과 이러한 애플리케이션을 위한 메인 프로세서들이 대부분 메모리와 퍼포먼스에 많은 제약을 받는다는 점을 고려하면 DC/AC 예측을 위해 많은 용량의 메모리가 사용되는 문제점이 있었다.

또한, 종래의 방법을 사용하는 경우 엔코딩된 MPEG 4 비디오 스트림이 재동기 마커(Resyncing Marker)를 사용하여 비디오 패킷 단위로 전송되면 DC/AC 예측은 같은 비디오 패킷에 속해 있는 매크로블록 끼리만 수행되므로 매번 DC/AC 예측을 수행할 때마다 예측에 사용되는 저장된 DC/AC 계수가 속한 매크로블록이 디코딩하려는 매크로블록과 동일한 비디오 패킷에 속해 있는지 체크하면서 DC/AC 예측 디코딩을 수행해야 하는 문제점이 있었다.

따라서, 본 발명의 목적은 MPEG 4 비디오 스크림의 디코딩 시 DC/AC 예측을 위한 DC/AC 계수의 저장 공간을 줄일 수 있도록 하고, 재동기 마커를 사용한 비트 스트림의 디코딩시 DC/AC 예측을 위해 각 매크로블록이 동일한 비디오 패킷에 속해 있는지 체크하는 과정을 생략하는 것이 가능한 비디오 디코더의 DC/AC 계수 저장방법을 제공함에 있다.

도 1은 종래의 비디오 디코더에서 블록 X에 대한 DC/AC 예측 방법을 나타낸 설명도.

도 2는 종래의 비디오 디코더에서 블록 X에 대한 AC 계수 예측 방법을 나타낸 상세 설명도.

도 3은 매크로 블록 내의 6개 블록의 DC/AC 계수 예측에 필요한 A,B,C 블록의 위치를 나타낸 설명도.

도 4는 본 발명에서 nx,ny 위치의 매크로블록을 디코딩할 때 디씨 스토어와 레프트 블록에 저장된 계수의 실제 위치를 나타낸 설명도.

도 5는 0번 블록을 디코딩할 때 A,B,C 블록의 위치를 나타낸 설명도.

도 6은 1번 블록을 디코딩할 때 A,B,C 블록의 위치를 나타낸 설명도.

도 7은 2번 블록을 디코딩할 때 A,B,C 블록의 위치를 나타낸 설명도.

도 8은 3번 블록을 디코딩할 때 A,B,C 블록의 위치를 나타낸 설명도.

도 9는 크로미넌스 블록을 디코딩할 때 A,B,C 블록의 위치를 나타낸 설명도.

본 발명의 제1특징에 따르면, MPEG 4 비디오의 DC/AC 계수를 저장하기 위해 (MB_width + 1) * 4 * 15 사이즈의 저장 공간을 사용한다.

본 발명의 제2특징에 따르면, 상기 (MB_width + 1) * 4 * 15의 저장 공간 중에서 MB_width * 4 * 15의 저장 공간은 매크로블록의 위줄의 계수를 저장하는 공간이고, 추가되는 4 * 15의 저장 공간은 좌측 매크로블록의 계수를 저장하는 공간이다.

본 발명의 제3특징에 따르면, 각 매크로블록이 6개의 블록으로 구성되어 있지만 DC/AC 계수를 저장할 때 매크로블록당 4개 블록의 계수만을 저장하므로 그만큼 메모리 용량을 줄일 수 있다.

본 발명의 제4특징에 따르면, DC/AC 예측시 각 매크로블록이 서로 다른 비디오 패킷에 속해 있는지 알아보기 위해 별도의 비교과정을 수행하지 않고도 DC/AC 예측된 블록들을 디코딩할 수 있다.

본 발명에 의한 비디오 디코더의 DC/AC 계수 저장 방법은, 라인 단위로 디코딩되는 각 매크로블록의 계수를 디씨 스토어에 저장하고, 디코딩하려는 블록의 바로 좌측 블록의 계수를 레프트 블록에 저장하되, 각 블록별로 DC 계수, 7개의 첫 번째 로우 AC 계수, 7개의 첫 번째 컬럼 AC 계수를 저장하고, 각 매크로블록별로 0,1번의 루미넌스 블록, 2,3번의 크로미넌스 블록을 저장하며, 각 블록을 모두 디코딩한 후에는 레프트 블록에 저장되었던 계수를 디씨 스토어에 저장하고, 디코딩한 블록의 계수는 레프트 블록에 저장하는 것으로, 이와 같은 본 발명의 DC/AC 계수 저장 방법을 첨부한 도 4 내지 도 9를 참조하여 상세히 설명하면 다음과 같다.

본 발명에서는 DC/AC 계수를 저장하기 위해 다음과 같은 2개의 어레이를 이용한다.

상기 디씨 스토어(DC_store)는 라인 단위로 디코딩되는 각 매크로블록의 계수를 저장하기 위한 어레이이고, 레프트 블록(Left_block)은 디코딩하려는 블록의 바로 좌측 블록의 계수를 저장하기 위한 어레이이다. 각 블록별로 15개의 계수(DC, 7개의 첫 번째 로우 AC, 7개의 첫 번째 컬럼 AC)를 저장하고, 각 매크로블록별로 4개의 블록(0,1번의 루미넌스 블록, 2,3번의 크로미넌스 블록)을 저장한다.

디코더는 각 매크로블록 내의 루미넌스 블록을 블록번호 0,1,2,3 순서대로 디코딩하기 때문에 각 매크로블록 내의 블록을 디코딩하는 동안에는 4개 블록의 계수가 모두 이용되지만, 매크로블록을 모두 디코딩하고 난 후에는 DC_store에 2,3번 블록번호만 저장되고, Left_block에는 1번,3번 블록의 계수만 저장되면 된다.

각 블록을 디코딩한 후에는 항상 Left_block에 저장된 계수는 DC_store에 저장되고, 디코딩한 블록의 계수는 Left_block에 저장된다.

예를 들어, 매크로블록의 위치가 nx,ny인 매크로블록을 디코딩하려고 할 때, DC_store와 Left_block에는 도 4에서와 같이 DC_store[0(nx-2)]까지는 라인번호 ny의 계수가 저장되어 있고(매크로블록 내의 2,3번 블록의 계수가 "DC_store"의 0,1번 블록에 각각 저장되어 있다), DC_store[nx-1]의 0번 블록에는 라인번호 ny의 2번블록의 계수가 저장되어 있으며, 1번 블록에는 라인번호 ny-1의 3번 블록의 계수가 저장되어 있다. 또한, DC_store[nxMB_width)]에는 라인번호 ny-1의 계수가저장되어 있다.

그리고, Left_block에는 nx-1, ny 매크로블록의 1,3번 블록의 계수가 각각 0,1번 블록에 저장되어 있다.

크로미넌스 블록의 계수도 각각 해당하는 DC_store와 Left_block에 저장되게 된다.(크로미넌스 계수는 DC_store와 Left_block의 2,3번 블록을 이용한다.)

매크로블록 내의 블록 디코딩은 항상 블록번호 0,1,2,3,4,5와 같은 순서대로 수행된다. 0번 블록을 디코딩할 때에는 DC_store와 Left_block에 도 4와 같은 형태로 계수가 저장되어 있으므로, 0번 블록의 DC/AC 계수의 예측을 위한 블록 A,B,C의 위치는 도 5와 같이 된다.

도 5의 위치에 따라 0번 블록의 계수를 구하고, 디코딩을 완료한 후에는 Left_block의 0번 블록의 계수를 DC_store[nx-1][1]에 복사한 다음, 0번 블록의 15개의 DC/AC 계수를 Left_block의 0번 블록에 저장한다. 따라서, 1번 블록을 디코딩할 때에는 블록 A,B,C가 도 6과 같은 형태로 된다.

이와 마찬가지로, 1번 블록의 디코딩을 완료한 후에는 Left_block의 0번 블록의 계수를 DC_store[nx][0]에 복사한 다음, 디코딩이 완료된 1번 블록의 계수를 다음 매크로블록의 디코딩을 위해 Left_block의 0번 블록에 저장한다.

또한, 2번,3번 블록의 디코딩시 블록 A,B,C의 위치와, 디코딩이 완료된 후에 필요한 계수의 복사 동작을 도 7 및 도 8에 나타내었다. 3번 블록을 디코딩할 때에는 DC_store가 저장되는 구조와 계수를 복사하는 순서에 따라 블록 C의 위치가 Left_block의 0번 블록에 위치하게 된다.

4개의 루미넌스 블록을 모두 디코딩한 후에 nx+1, ny 매크로블록을 디코딩할 때에는 DC_store와 Left_block의 상태가 다시 도 4와 같이 되므로 다음 블록을 디코딩할 수 있게 된다.

크로미넌스의 경우에는 매크로블록 당 1개 씩의 블록만 할당되므로 도 9에서와 같이 블록 A,B,C를 사용하고 화살표 순서대로 계수를 복사하게 된다. 이때, 4번, 5번 블록의 경우 각각 DC_store와 Left_block의 2번,3번 블록을 이용한다.

만약 디코딩하려는 매크로블록이 부호화되지 않은 블록(not_coded block)이라면 DC_store[nx-1][1,2,3], DC_store[nx][0], Left_block[0,1,2, 3]에 DC 계수는, AC 계수는 0을 저장한 후 매크로블록으로 넘어가게 된다.

한 라인에 해당하는 매크로블록을 모두 디코딩한 경우, Left_block의 계수는 적절하게 DC_store에 복사하여 다음 줄의 디코딩이 이루어질 수 있도록 하고, Left_block에는 DC 계수로, AC 계수로 0을 저장한 후, 다음 줄 첫 번째 매크로블록의 디코딩을 시작한다.

디코딩시에 재동기 마커를 만나서 비디오 패킷이 바뀌게 되면 새로운 비디오 패킷을 디코딩하기 전에 DC_store와 Left_block의 모든 어레이의 DC 계수로을 저장하고, AC 계수로는 0을 저장하여 서로 다른 비디오 패킷간에 잘못된 예측이 수행되는 것을 방지한다. 이렇게 함으로써, 매번 매크로블록을 디코딩할 때마다 블록 A.B.C가 디코딩하려는 블록과 같은 비디오 패킷에 속하는지 체크할 필요가 없게 된다.

이상에서 상세히 설명한 바와 같이 본 발명은 MPEG 4 비디오 디코더에서 DC/AC 예측을 수행할 때 (MB_width + 1) * 4 * 15 사이즈의 저장 공간을 사용하되, 그 중에서 MB_width * 4 * 15의 저장 공간은 매크로블록의 위줄의 계수를 저장하는 공간으로 사용하고, 추가되는 4 * 15의 저장 공간은 좌측 매크로블록의 계수를 저장하는 공간으로 사용하며, 매크로블록당 4개 블록의 계수만을 저장함으로써, 메모리를 절약할 수 있는 효과가 있다.

또한, 에러 리질리언스(resilience) 코딩이 되어 있는 비트 스트림을 코딩하는 경우 매번 블록을 처리할 때마다 각 블록이 같은 비디오 패킷에 속해 있는지 비교할 필요가 없어 디코딩 퍼포먼스가 향상되는 효과가 있다.

또한, 본 발명에 의한 DC/AC 계수 저장 방법은 MPEG 4 비디오 디코더 뿐만 아니라 유사한 방식의 예측 기법을 사용하는 다른 비디오 디코더(예: H.263)에도 적용할 수 있고, 엔코더에서 DC/AC 예측을 수행하는데 적용하여 메모리 사용량을 절약할 수 있는 효과가 있다.

Claims (5)

1. 라인 단위로 디코딩되는 각 매크로블록의 계수를 디씨 스토어에 저장하고, 디코딩하려는 블록의 바로 좌측 블록의 계수를 레프트 블록에 저장하되, 각 블록별로 DC 계수, 7개의 첫 번째 로우 AC 계수, 7개의 첫 번째 컬럼 AC 계수를 저장하고, 각 매크로블록별로 0,1번의 루미넌스 블록, 2,3번의 크로미넌스 블록을 저장하며, 각 블록을 모두 디코딩한 후에는 레프트 블록에 저장되었던 계수를 디씨 스토어에 저장하고, 디코딩한 블록의 계수는 레프트 블록에 저장하는 것을 특징으로 하는 비디오 디코더의 DC/AC 계수 저장방법.
2. 제1항에 있어서, 상기 디씨 스토어와 레프트 블록을 이용하여 위치가 nx,ny인 매크로블록을 디코딩할 때, 디씨 스토어[0(nx-2)]까지는 라인번호 ny의 계수가 저장되고, 디씨 스토어[nx-1]의 0번 블록에는 라인번호 ny의 2번블록의 계수가 저장되며, 1번 블록에는 라인번호 ny-1의 3번 블록의 계수가 저장되고. 디씨 스토어[nxMB_width)]에는 라인번호 ny-1의 계수가 저장되며, 레프트 블록에는 nx-1, ny 매크로블록의 1,3번 블록의 계수가 각각 0,1번 블록에 저장되는 것을 특징으로 하는 것을 특징으로 하는 비디오 디코더의 DC/AC 계수 저장방법.
3. 제1항에 있어서, 상기 디씨 스토어와 레프트 블록을 이용하여 위치가 nx,ny인 매크로블록을 디코딩할 때, 크로미넌스 계수는 디씨 스토어와 레프트 블록의2,3번 블록을 이용하는 것을 특징으로 하는 비디오 디코더의 DC/AC 계수 저장방법.
4. 제1항에 있어서, 상기 매크로블록이 부호화되지 않은 블록인 경우에는 디씨 스토어[nx-1][1,2,3], 디씨 스토어[nx][0], 레프트 블록[0,1,2,3]에 DC 계수는, AC 계수는 0을 저장하는 것을 특징으로 하는 비디오 디코더의 DC/AC 계수 저장방법.
5. 제1항에 있어서, 재동기 마커를 검출하여 비디오 패킷이 바뀌면 새로운 비디오 패킷을 디코딩하기 전에 상기 디씨 스토어와 레프트 블록의 모든 어레이의 DC 계수로을 저장하고, AC 계수로는 0을 저장하는 단계를 더 포함하는 것을 특징으로 하는 비디오 디코더의 DC/AC 계수 저장방법.