KR100937555B1

KR100937555B1 - 레퍼런스 픽쳐 선택 방법

Info

Publication number: KR100937555B1
Application number: KR1020090014107A
Authority: KR
Inventors: 전병문; 소윤성
Original assignee: 엘지전자 주식회사
Priority date: 2009-02-19
Filing date: 2009-02-19
Publication date: 2010-01-19
Also published as: KR20090037410A

Abstract

본 발명에 따른 동영상 코딩 방법은, 다중 레퍼런스 픽쳐를 이용한 동영상 코딩 시스템에서, 매크로블록 레벨에서 피일드 매크로블록의 레퍼런스 픽쳐 인덱스 결정 방법은, 픽쳐 레벨에서 프레임 단위의 레퍼런스 픽쳐 인덱스를 결정하고, 프레임 단위의 레퍼런스 픽쳐 인덱스 순서에 따라 레퍼런스 프레임을 차례로 방문하면서 다음 식과 같이 탑 레퍼런스 피일드에 낮은 인덱스를 할당하고, 바텀 레퍼런스 피일드에 높은 인덱스를 할당한다.

탑 레퍼런스 피일드 인덱스 = 2 x 레퍼런스 프레임의 픽쳐 인덱스

바텀 레퍼런스 피일드 인덱스 = 2 x 레퍼런스 프레임의 픽쳐 인덱스 + 1

또한, 본 발명에 따른 동영상 코딩 방법은, 다중 레퍼런스 픽쳐를 이용한 동영상 코딩 시스템에서, 매크로블록 레벨에서 피일드 매크로블록의 레퍼런스 픽쳐 인덱스 결정 방법은, 픽쳐 레벨에서 프레임 단위의 레퍼런스 픽쳐 인덱스를 결정하고, 프레임 단위의 레퍼런스 픽쳐 인덱스 순서에 따라 레퍼런스 프레임을 차례로 방문하면서 다음 식과 같이 바텀 레퍼런스 피일드에 낮은 인덱스를 할당하고, 탑 레퍼런스 피일드에 높은 인덱스를 할당 한다.

탑 레퍼런스 피일드 인덱스 = 2 x 레퍼런스 프레임의 픽쳐 인덱스 + 1

바텀 레퍼런스 피일드 인덱스 = 2 x 레퍼런스 프레임의 픽쳐 인덱스

Description

레퍼런스 픽쳐 선택 방법{A METHOD OF SELECTING A REFERENCE PICTURE FOR PROCESSING A FIELD MACROBLOCK}

본 발명은 동영상 코딩에 관한 것으로서, 특히 다중 레퍼런스 픽쳐(multiple reference picture)를 이용하는 동영상 코딩 시스템에서 비월(interlaced) 주사 방식의 동영상을 프레임/피일드 매크로블록(frame/field macroblock)을 갖는 프레임 픽쳐로 코딩하는 동영상 코딩 방법에 관한 것이다.

동영상 코딩 시스템에서는 모션벡터 정보를 이용하여 움직임 보상을 하는데, 특히 다중 레퍼런스 픽쳐를 사용하는 동영상 코딩 시스템에서는 움직임 보상을 위해 모션벡터 외에 레퍼런스 픽쳐 인덱스 정보가 필요하게 된다. 이때 레퍼런스 픽쳐 인덱스는 다중 레퍼런스 픽쳐 각각을 구분하기 위해 사용되는 값으로써, 부호기는 움직임 보상에 사용된 레퍼런스 픽쳐 인덱스 값을 복호기에 전송하고, 복호기는 그 값이 가리키는 레퍼런스 픽쳐로부터 움직임 보상을 수행한다.

일반적으로, 동영상의 주사 방식은 크게 순차(Progressive) 주사 방식과 비월(Interlaced) 주사방식의 두 가지가 있다. 순차 주사에서는 한 프레임의 영상은 모두 같은 시간에 샘플링된 것으로 이루어지는데 반해, 비월 주사에서는 한 프레임 의 영상이 서로 다른 시간에 샘플링된 것으로 모여 이루어지며 샘플이 한 라인마다 번갈아가며 반복되고 있다.

서로 다른 시간에 샘플링된 영상을 각각 탑(Top) 피일드와 바텀(Bottom) 피일드라고 부르는데, 비월 주사의 영상에서 한 장의 프레임은 두 장의 피일드 영상으로 분리될 수 있다. 본 발명에서는 영상을 픽쳐라고 하는 단위로 취급하기로 하고 이 픽쳐에 프레임이 할당될 수도 있고 피일드가 할당될 수도 있다.

비월 주사 동영상의 코딩 방법은 픽쳐 또는 슬라이스 레벨에서 각 피일드를 독립적인 픽쳐로 간주하여 코딩하는 피일드 픽쳐 코딩 방법과 픽쳐 또는 슬라이스 레벨에서 두 장의 피일드를 한 장의 프레임으로 조합한 후 코딩하는 프레임 픽쳐 코딩 방법, 그리고 두 장의 피일드를 한 장의 프레임으로 조합한 후 매크로블록 레벨에서 프레임 또는 피일드 모드를 선택하여 코딩하는 프레임/피일드 매크로블록을 갖는 프레임 픽쳐 코딩 방법 세가지가 존재한다.

이때 매크로블록 단위의 프레임/피일드 코딩을 하는 프레임 픽쳐 코딩은 수직방향으로 인접한 두 개의 매크로블록을 한 쌍으로 묶고 이 매크로블록 쌍 (macroblock pair) 단위로 코딩이 수행된다. 도 1에서는 매크로블록 쌍을 보여주고 있고 번호는 각 매크로블록을 구분하기 위해 사용된 매크로블록 주소를 나타낸다.

여기에서 프레임 매크로블록이란 매크로블록 쌍의 상위 매크로블록 및 하위 매크로블록에서 프레임 단위로 코딩이 이루어진 것을 의미한다. 즉, 각 매크로블록은 두 개의 피일드가 한 장의 프레임으로 조합된 후 프레임 단위로 코딩을 하게 된다.

한편, 피일드 매크로블록이란 매크로블록 쌍의 상위 매크로블록 및 하위 매크로블록에서 피일드 단위의 코딩이 이루어졌음을 의미한다. 이것은 매크로블록 쌍에서 탑(Top) 피일드 성분과 바텀(Bottom) 피일드 성분으로 나누고, 각 피일드를 독립적으로 코딩하는 것이다. 이때 매크로블록 쌍의 상위 매크로블록은 탑(Top) 피일드 성분만을 포함하고 하위 매크로블록은 바텀(Bottom) 피일드 성분만을 포함하도록 재배열되는데, 각 매크로블록을 탑(Top) 피일드 매크로블록과 바텀(Bottom) 피일드 매크로블록이라고 부른다.

그리고, 다중 레퍼런스 픽쳐를 저장하는 레퍼런스 버퍼는 프레임 단위로 구성되어 있다. 프레임 픽쳐 코딩의 경우, 모든 레퍼런스 픽쳐를 두 장의 피일드를 한 장의 프레임으로 조합한 프레임 단위로 간주하여 이들 레퍼런스 프레임 픽쳐 중 한 픽쳐가 움직임 보상에 사용된다. 따라서 레퍼런스 픽쳐 인덱스는 프레임 단위로 값이 할당된다.

이때, P 프레임을 위한 레퍼런스 픽쳐 인덱스는 모든 레퍼런스 프레임을 코딩 순서(coding order)의 역순으로 정렬한 후 정렬된 레퍼런스 프레임을 차례로 방문하면서 1씩 증가된 인덱스 값을 할당함으로써 구해진다. B 프레임의 레퍼런스 픽쳐 인덱스는 리스트 0와 리스트 1로 구분하여 레퍼런스 프레임의 디스플레이 순서(display order)를 기반으로 결정된다.

먼저, 레퍼런스 프레임 리스트 0는 B 프레임보다 디스플레이 순서가 낮은 레퍼런스 프레임에 대해 역순으로 인덱스를 할당하고, B 프레임보다 디스플레이 순서가 높은 레퍼런스 프레임의 디스플레이 순서에 따라 나머지 인덱스를 할당한다. 레 퍼런스 프레임 리스트 1은 레퍼런스 프레임 리스트 0과 반대로, B 프레임보다 디스플레이 순서가 높은 레퍼런스 프레임의 디스플레이 순서에 따라 인덱스를 할당하고 B 프레임보다 디스플레이 순서가 낮은 레퍼런스 프레임에 대해 역순으로 나머지 인덱스를 할당한다. 도 2는 레퍼런스 버퍼 크기가 5일 때 P 프레임에 대한 레퍼런스 픽쳐 인덱스를 보여주고 있고, 도 3은 B 프레임에 대한 레퍼런스 픽쳐 인덱스 리스트 0 와 리스트 1을 보여준다.

또한, 피일드 픽쳐 코딩의 경우에는 모든 레퍼런스 픽쳐의 피일드를 독립된 픽쳐로 간주하여 이들 레퍼런스 피일드 픽쳐 중 한 픽쳐가 움직임 보상에 사용된다. 따라서 레퍼런스 픽쳐 인덱스는 피일드 단위로 값이 할당된다. 이때, P 프레임의 각 피일드에서의 레퍼런스 픽쳐 인덱스는 모든 레퍼런스 피일드를 프레임 단위로 조합한 후 프레임에 대해 코딩 순서 역순으로 정렬한다. 이후, 정렬된 레퍼런스 프레임을 차례로 방문하면서 현재 픽쳐와 동일 패리티(parity)를 갖는 레퍼런스 피일드부터 시작하여 다른 패리티를 갖는 레퍼런스 피일드에 번갈아 가며 1씩 증가된 인덱스 값을 할당한다.

또한, B 프레임의 각 피일드에 대한 레퍼런스 픽쳐 인덱스 리스트 0와 리스트 1은 모든 레퍼런스 피일드를 프레임 단위로 조합한 후 B 프레임의 레퍼런스 프레임 인덱스 결정 방법과 동일하게 레퍼런스 프레임을 정렬한다. 이후, 정렬된 레퍼런스 프레임을 차례로 방문하면서 현재 픽쳐와 동일 패리티를 갖는 레퍼런스 피일드부터 시작하여 다른 패리티를 갖는 레퍼런스 피일드에 번갈아 가며 1씩 증가된 인덱스 값을 할당한다.

도 4는 레퍼런스 버퍼 크기가 5일 때 P 프레임의 탑(Top) 피일드에 대한 레퍼런스 픽쳐 인덱스와 바텀(Bottom) 피일드에 대한 레퍼런스 픽쳐 인덱스를 각각 보여주고 있다. 도 5는 레퍼런스로 사용 가능한 B 프레임의 탑(Top) 피일드와 바텀(Bottom) 피일드에 대한 레퍼런스 픽쳐 인덱스 리스트 0와 리스트 1 을 각각 보여주고 있다.

한편, 다중 레퍼런스 픽쳐를 이용한 동영상 코딩 시스템은 코딩 효율을 향상시키기 위한 방법으로 상기에서 구한 레퍼런스 픽쳐 인덱스를 픽쳐 또는 슬라이스를 디코딩하기 전에 재배열(reordering)하는 기능을 제공하고 있다. 이것은 상기와 같이 프레임 및 피일드 픽쳐에 대한 초기 레퍼런스 픽쳐 인덱스를 결정한 후 코딩효율을 높이기 위해 임의적으로 다시 재배열하는 것이다. 도 6은 P 프레임에 대해 상기의 방법에 따라 초기 레퍼런스 픽쳐 인덱스를 결정하고 임의적으로 인덱스를 재배열한 결과를 예로써 보여주고 있다.

그런데, 다중 레퍼런스 픽쳐를 이용한 동영상 코딩 시스템에서 비월 주사 방식의 동영상을 프레임/피일드 매크로블록을 갖는 프레임 픽쳐로 코딩할 때, 프레임 매크로블록은 모든 레퍼런스 픽쳐를 프레임 단위로 간주하여 이들 레퍼런스 프레임 픽쳐 중 한 픽쳐를 움직임 보상에 사용해야 하고, 피일드 매크로블록에 대해서는 모든 레퍼런스 픽쳐의 피일드를 독립된 픽쳐로 간주하여 이들 레퍼런스 피일드 픽쳐 중 한 픽쳐를 움직임 보상에 사용해야 한다.

따라서, 매크로블록 레벨에서 프레임/피일드 코딩 모드를 선택하는 프레임 픽쳐 코딩에서는 각 매크로블록의 코딩 모드에 따라 레퍼런스 픽쳐 인덱스를 프레 임 단위 또는 피일드 단위로 값을 할당해야 할 필요가 발생된다.

본 발명은, 다중 레퍼런스 픽쳐(multiple reference picture)를 이용하는 동영상 코딩 시스템에서 비월(interlaced) 주사 방식의 동영상을 프레임/피일드 매크로블록(frame/field macroblock)을 갖는 프레임 픽쳐로 코딩할 때, 매크로블록의 코딩 모드에 따라 레퍼런스 픽쳐 인덱스를 다르게 결정함으로써 움직임 보상(motion compensation)에 사용되는 레퍼런스 픽쳐 정보를 효율적으로 제공할 수 있는 동영상 코딩 방법을 제공함에 그 목적이 있다.

상기의 목적을 달성하기 위하여 본 발명에 따른 동영상 코딩 방법은, 다중 레퍼런스 픽쳐(multiple reference picture)를 이용한 동영상 코딩 시스템에서 비월 주사 방식의 동영상을 프레임/피일드 매크로블록을 갖는 프레임 픽쳐로 코딩할 때, 레퍼런스 픽쳐 인덱스를 설정함에 있어서,

픽쳐(또는 슬라이스) 레벨에서 프레임 단위의 레퍼런스 픽쳐 인덱스를 결정하는 단계와;

매크로블록 레벨에서 상기 프레임 단위의 레퍼런스 픽쳐 인덱스를 기반으로 매크로블록의 코딩 모드에 따라 레퍼런스 픽쳐 인덱스를 결정하는 단계; 를 포함하는 점에 그 특징이 있다.

여기서 본 발명에 의하면, 상기 픽쳐(또는 슬라이스) 레벨에서 프레임 단위의 레퍼런스 픽쳐 인덱스를 결정하는 단계에 있어, 모든 레퍼런스 픽쳐를 프레임 단위로 간주하는 점에 그 특징이 있다.

또한 본 발명에 의하면, 상기 픽쳐(또는 슬라이스) 레벨에서 프레임 단위의 레퍼런스 픽쳐 인덱스를 결정하는 단계에 있어, P 프레임을 위한 레퍼런스 픽쳐 인덱스 결정 방법은, 레퍼런스 프레임을 코딩 순서의 역순으로 정렬한 후 정렬된 레퍼런스 프레임을 차례로 방문하면서 인덱스 값을 할당하는 점에 그 특징이 있다.

또한 본 발명에 의하면, 상기 픽쳐(또는 슬라이스) 레벨에서 프레임 단위의 레퍼런스 픽쳐 인덱스를 결정하는 단계에 있어, B 프레임을 위한 레퍼런스 픽쳐 인덱스는 레퍼런스 프레임의 디스플레이 순서를 기반으로 결정되는 점에 그 특징이 있다.

또한 본 발명에 의하면, 상기 픽쳐(또는 슬라이스) 레벨에서 프레임 단위의 레퍼런스 픽쳐 인덱스를 결정하는 단계에 있어, B 프레임을 위한 레퍼런스 프레임 리스트 0는 B 프레임보다 디스플레이 순서가 낮은 레퍼런스 프레임에 대해 역순으로 인덱스를 할당하고 B 프레임보다 디스플레이 순서가 높은 레퍼런스 프레임의 디스플레이 순서에 따라 나머지 인덱스를 할당하며, B 프레임을 위한 레퍼런스 프레임 리스트 1은 B 프레임보다 디스플레이 순서가 높은 레퍼런스 프레임의 디스플레이 순서에 따라 인덱스를 할당하고 B 프레임보다 디스플레이 순서가 낮은 레퍼런스 프레임에 대해 역순으로 나머지 인덱스를 할당하는 점에 그 특징이 있다.

또한 본 발명에 의하면, 상기 매크로블록 레벨에서 매크로블록의 코딩 모드에 따라 레퍼런스 픽쳐 인덱스를 결정하는 단계에 있어, 상기 프레임 단위의 레퍼런스 픽쳐 인덱스에 대해 매크로블록 쌍 단위로 코딩을 수행하면서 매크로블록의 코딩 모드에 따라 레퍼런스 픽쳐 인덱스를 결정하는 점에 그 특징이 있다.

또한 본 발명에 의하면, 상기 매크로블록 레벨에서 매크로블록의 코딩 모드에 따라 레퍼런스 픽쳐 인덱스를 결정하는 단계에 있어, 프레임 매크로블록은 상기 프레임 단위의 레퍼런스 픽쳐 인덱스를 그대로 사용하는 점에 그 특징이 있다.

또한 본 발명에 의하면, 상기 매크로블록 레벨에서 매크로블록의 코딩 모드에 따라 레퍼런스 픽쳐 인덱스를 결정하는 단계에 있어, 레퍼런스 버퍼에 저장된 레퍼런스 프레임은 상반된 패리티를 갖는 피일드 쌍으로 구성된 점에 그 특징이 있다.

또한 본 발명에 의하면, 상기 매크로블록 레벨에서 매크로블록의 코딩 모드에 따라 레퍼런스 픽쳐 인덱스를 결정하는 단계에 있어, 현재 피일드 매크로블록이 탑(Top) 피일드 매크로블록 또는 바텀(Bottom) 피일드 매크로블록 종류에 관계없이, 피일드 매크로블록은 상기 프레임 단위의 레퍼런스 픽쳐 인덱스 순서에 따라 레퍼런스 프레임을 차례로 방문하면서 다음 식과 같이 탑(Top) 레퍼런스 피일드에 낮은 인덱스를 할당하고 바텀(Bottom) 레퍼런스 피일드에 높은 인덱스를 할당하는 점에 그 특징이 있다.

탑(Top) 레퍼런스 피일드 인덱스 = 2 x 레퍼런스 프레임의 픽쳐 인덱스

바텀(Bottom) 레퍼런스 피일드 인덱스 = 2 x 레퍼런스 프레임의 픽쳐 인덱스 + 1

또한 본 발명에 의하면, 상기 매크로블록 레벨에서 매크로블록의 코딩 모드에 따라 레퍼런스 픽쳐 인덱스를 결정하는 단계에 있어, 현재 피일드 매크로블록이 탑(Top) 피일드 매크로블록 또는 바텀(Bottom) 피일드 매크로블록 종류에 관계없이, 피일드 매크로블록은 상기 프레임 단위의 레퍼런스 픽쳐 인덱스 순서에 따라 레퍼런스 프레임을 차례로 방문하면서 다음 식과 같이 바텀(Bottom) 레퍼런스 피일드에 낮은 인덱스를 할당하고 탑(Top) 레퍼런스 피일드에 높은 인덱스를 할당하는 점에 그 특징이 있다.

탑(Top) 레퍼런스 피일드 인덱스 = 2 x 레퍼런스 프레임의 픽쳐 인덱스 + 1

바텀(Bottom) 레퍼런스 피일드 인덱스 = 2 x 레퍼런스 프레임의 픽쳐 인덱스

또한 본 발명에 의하면, 상기 매크로블록 레벨에서 매크로블록의 코딩 모드에 따라 레퍼런스 픽쳐 인덱스를 결정하는 단계에 있어, 피일드 매크로블록은 상기 프레임 단위의 레퍼런스 픽쳐 인덱스 순서에 따라 레퍼런스 프레임을 차례로 방문하면서 현재 피일드와 동일 패리티를 갖는 레퍼런스 피일드로부터 시작하여 다른 패리티를 갖는 레퍼런스 피일드에 번갈아 가며 1씩 증가된 인덱스 값을 할당하는 점에 그 특징이 있다.

또한 본 발명에 의하면, 상기 매크로블록 레벨에서 매크로블록의 코딩 모드에 따라 레퍼런스 픽쳐 인덱스를 결정하는 단계에 있어, 현재 피일드 매크로블록이 탑(Top) 피일드 매크로블록 또는 바텀(Bottom) 피일드 매크로블록 종류에 관계없이, 피일드 매크로블록은 상기 프레임 단위의 레퍼런스 픽쳐 인덱스 순서에 따라 레퍼런스 프레임을 차례로 방문하면서, 다음 식과 같이 현재 피일드에서 시간적 거리가 가까운 레퍼런스 피일드에 낮은 인덱스를 할당하고 시간적 거리가 먼 레퍼런스 피일드에 높은 인덱스를 할당하는 점에 그 특징이 있다.

시간적 거리가 가까운 레퍼런스 피일드 인덱스 = 2 x 레퍼런스 프레임의 픽쳐 인덱스

시간적 거리가 먼 레퍼런스 피일드 인덱스 = 2 x 레퍼런스 프레임의 픽쳐 인덱스 + 1

또한, 상기의 목적을 달성하기 위하여 본 발명에 따른 동영상 코딩 방법의 다른 실시 예는,

다중 레퍼런스 픽쳐를 이용한 동영상 코딩 시스템에서 비월 주사 방식의 동영상을 프레임/피일드 매크로블록을 갖는 프레임 픽쳐로 코딩함에 있어, 매크로블록 레벨에서 프레임 매크로블록의 레퍼런스 픽쳐 인덱스 결정 방법은, 픽쳐(또는 슬라이스) 레벨에서 프레임 단위의 레퍼런스 픽쳐 인덱스를 결정하고, 상기 프레임 단위의 레퍼런스 픽쳐 인덱스를 그대로 사용하는 점에 그 특징이 있다.

또한, 상기의 목적을 달성하기 위하여 본 발명에 따른 동영상 코딩 방법의 또 다른 실시 예는, 다중 레퍼런스 픽쳐를 이용한 동영상 코딩 시스템에서 비월 주사 방식의 동영상을 프레임/피일드 매크로블록을 갖는 프레임 픽쳐로 코딩함에 있어,

매크로블록 레벨에서 피일드 매크로블록의 레퍼런스 픽쳐 인덱스 결정 방법은, 픽쳐(또는 슬라이스) 레벨에서 프레임 단위의 레퍼런스 픽쳐 인덱스를 결정하고, 상기 프레임 단위의 레퍼런스 픽쳐 인덱스 순서에 따라 레퍼런스 프레임을 차례로 방문하면서 다음 식과 같이 탑(Top) 레퍼런스 피일드에 낮은 인덱스를 할당하고, 바텀(Bottom) 레퍼런스 피일드에 높은 인덱스를 할당하는 점에 그 특징이 있 다.

매크로블록 레벨에서 피일드 매크로블록의 레퍼런스 픽쳐 인덱스 결정 방법은, 픽쳐(또는 슬라이스) 레벨에서 프레임 단위의 레퍼런스 픽쳐 인덱스를 결정하고, 상기 프레임 단위의 레퍼런스 픽쳐 인덱스 순서에 따라 레퍼런스 프레임을 차례로 방문하면서 다음 식과 같이 바텀(Bottom) 레퍼런스 피일드에 낮은 인덱스를 할당하고, 탑(Top) 레퍼런스 피일드에 높은 인덱스를 할당 하는 점에 그 특징이 있다.

매크로블록 레벨에서 피일드 매크로블록의 레퍼런스 픽쳐 인덱스 결정 방법은, 픽쳐(또는 슬라이스) 레벨에서 프레임 단위의 레퍼런스 픽쳐 인덱스를 결정하고, 상기 프레임 단위의 레퍼런스 픽쳐 인덱스 순서에 따라 레퍼런스 프레임을 차례로 방문하면서 현재 피일드와 동일 패리티를 갖는 레퍼런스 피일드로부터 시작하여 다른 패리티를 갖는 레퍼런스 피일드에 번갈아 가며 1씩 증가된 인덱스 값을 할당하는 점에 그 특징이 있다.

매크로블록 레벨에서 피일드 매크로블록의 레퍼런스 픽쳐 인덱스 결정 방법은, 픽쳐(또는 슬라이스) 레벨에서 프레임 단위의 레퍼런스 픽쳐 인덱스를 결정하고, 상기 프레임 단위의 레퍼런스 픽쳐 인덱스 순서에 따라 레퍼런스 프레임을 차례로 방문하면서, 다음 식과 같이 현재 피일드에서 시간적 거리가 가까운 레퍼런스 피일드에 낮은 인덱스를 할당하고 시간적 거리가 먼 레퍼런스 피일드에 높은 인덱스를 할당하는 점에 그 특징이 있다.

이와 같은 본 발명에 의하면, 다중 레퍼런스 픽쳐(multiple reference picture)를 이용하는 동영상 코딩 시스템에서 비월(interlaced) 주사 방식의 동영상을 프레임/피일드 매크로블록(frame/field macroblock)을 갖는 프레임 픽쳐로 코딩할 때, 매크로블록의 코딩 모드에 따라 레퍼런스 픽쳐 인덱스를 다르게 결정함으로써 움직임 보상(motion compensation)에 사용되는 레퍼런스 픽쳐 정보를 효율적으로 제공할 수 있는 장점이 있다.

이상의 설명에서와 같이 본 발명에 따른 동영상 코딩 방법에 의하면, 다중 레퍼런스 픽쳐(multiple reference picture)를 이용하는 동영상 코딩 시스템에서 비월(interlaced) 주사 방식의 동영상을 프레임/피일드 매크로블록(frame/field macroblock)을 갖는 프레임 픽쳐로 코딩할 때, 매크로블록의 코딩 모드에 따라 레퍼런스 픽쳐 인덱스를 다르게 결정함으로써 움직임 보상(motion compensation)에 사용되는 레퍼런스 픽쳐 정보를 효율적으로 제공할 수 있는 장점이 있다.

이하, 첨부된 도면을 참조하여 본 발명에 따른 실시 예를 상세히 설명한다.

다중 레퍼런스 픽쳐를 이용한 동영상 코딩 시스템에서 비월 주사 방식의 동영상을 프레임/피일드 매크로블록을 갖는 프레임 픽쳐로 코딩할 때, 프레임 매크로블록에서는 프레임 코딩을 위해 레퍼런스 프레임으로부터 움직임 보상이 이루어져야 한다. 즉, 모든 레퍼런스 픽쳐를 프레임 단위로 간주해야 한다. 그러나, 피일드 매크로블록에서는 피일드 코딩을 위해 레퍼런스 피일드로부터 움직임 보상이 이루 어져야 한다. 즉, 모든 레퍼런스 픽쳐는 피일드 단위로 간주해야 한다.

따라서, 프레임/피일드 매크로블록을 갖는 프레임 픽쳐는 매크로블록 레벨에서 프레임 매크로블록은 프레임 단위의 레퍼런스 픽쳐 인덱스를, 피일드 매크로블록은 피일드 단위의 레퍼런스 픽쳐 인덱스와 같이, 서로 다른 구조를 갖는 인덱스를 사용해야 한다. 이때 고려할 사항은 픽쳐 또는 슬라이스 레벨에서 레퍼런스 픽쳐 인덱스가 재배열(reordering)이 가능하다는 사실이다.

그러므로 프레임/피일드 매크로블록을 갖는 프레임 픽쳐는 픽쳐 또는 슬라이스 레벨에서 레퍼런스 픽쳐를 프레임 단위로 간주하고 프레임 단위의 재배열된 레퍼런스 픽쳐 인덱스를 가지고 있어야 한다. 그리고 매크로블록 레벨에서 상기 프레임 단위의 레퍼런스 픽쳐 인덱스를 기반으로 매크로블록의 코딩 모드에 따라 레퍼런스 픽쳐 인덱스를 결정하는 작업이 필요하다.

본 발명은 프레임/피일드 매크로블록을 갖는 프레임 픽쳐에서의 레퍼런스 픽쳐 인덱스 결정 방법을 소개한다. 그것은 크게 픽쳐(또는 슬라이스) 레벨에서의 레퍼런스 픽쳐 인덱스 결정 과정과 매크로블록 레벨에서의 레퍼런스 픽쳐 인덱스 결정 과정으로 구성된다.

[1] 픽쳐(또는 슬라이스) 레벨에서의 레퍼런스 픽쳐 인덱스 결정

픽쳐 또는 슬라이스 레벨에서 모든 레퍼런스 픽쳐를 프레임 단위로 간주하고 프레임 단위의 레퍼런스 픽쳐 인덱스를 구한다.

이때 P 프레임을 위한 레퍼런스 픽쳐 인덱스 결정 방법은 레퍼런스 프레임을 코딩 순서의 역순으로 정렬한 후 정렬된 레퍼런스 프레임을 차례로 방문하면서 인덱스 값을 할당한다.

그리고, B 프레임을 위한 레퍼런스 픽쳐 인덱스는 레퍼런스 프레임의 디스플레이 순서를 기반으로 결정된다. 먼저, 레퍼런스 프레임 리스트 0는 B 프레임보다 디스플레이 순서가 낮은 레퍼런스 프레임에 대해 역순으로 인덱스를 할당하고 B 프레임보다 디스플레이 순서가 높은 레퍼런스 프레임의 디스플레이 순서에 따라 나머지 인덱스를 할당한다.

레퍼런스 프레임 리스트 1은 레퍼런스 프레임 리스트 0과 반대로 B 프레임보다 디스플레이 순서가 높은 레퍼런스 프레임의 디스플레이 순서에 따라 인덱스를 할당하고 B 프레임보다 디스플레이 순서가 낮은 레퍼런스 프레임에 대해 역순으로 나머지 인덱스를 할당한다. 그리고 코딩 효율을 높이기 위해 레퍼런스 픽쳐 인덱스 재배열이 적용되는 경우, 상기에서 구한 프레임 단위의 레퍼런스 픽쳐 인덱스는 재배열된다.

[2] 매크로블록 레벨에서의 레퍼런스 픽쳐 인덱스 결정

픽쳐(또는 슬라이스) 레벨에서 구한 프레임 단위의 레퍼런스 픽쳐 인덱스에 대해 매크로블록 쌍 단위로 코딩을 수행하면서 매크로블록의 코딩 모드에 따라 다음과 같이 레퍼런스 픽쳐 인덱스를 수정한다.

[2.1] 프레임 매크로블록일 경우

프레임 매크로블록은 레퍼런스 프레임으로부터 움직임 보상이 이루어져야 하 므로 레퍼런스 픽쳐 인덱스는 프레임 단위가 되어야 한다. 따라서 픽쳐(또는 슬라이스) 레벨에서 구한 프레임 단위의 레퍼런스 픽쳐 인덱스를 그대로 사용한다.

여기서 레퍼런스 버퍼에 저장된 레퍼런스 프레임은 상반된 패리티를 갖는 피일드 쌍으로 구성되어 있어야 한다. 도 7은 레퍼런스 버퍼 크기가 5일 때 P 프레임과 B 프레임에서의 프레임 매크로블록에 대한 레퍼런스 픽쳐 인덱스를 보여주고 있다.

[2.2] 피일드 매크로블록일 경우

피일드 매크로블록은 레퍼런스 피일드로부터 움직임 보상이 이루어져야 하므로, 레퍼런스 픽쳐 인덱스는 피일드 단위가 되어야 한다. 이 경우에도 레퍼런스 버퍼에는 상반된 패리티를 갖는 피일드 쌍이 존재하고 있다. 따라서 픽쳐(또는 슬라이스) 레벨에서 구한 레퍼런스 픽쳐 인덱스에 따라 순서대로 레퍼런스 프레임을 방문하면서 각 레퍼런스 프레임을 두 개의 피일드로 분리한 후, 각 피일드에 레퍼런스 픽쳐 인덱스를 새로이 할당한다. 이때 각 레퍼런스 프레임의 두 개 피일드에 대한 레퍼런스 픽쳐 인덱스는 다음과 같은 다양한 방법(Case1 ~ Case4)으로 할당할 수 있다.

(Case 1)

현재 피일드 매크로블록이 탑(Top) 피일드 매크로블록 또는 바텀(Bottom) 피일드 매크로블록 종류에 관계없이, 픽쳐(또는 슬라이스) 레벨에서 구한 레퍼런스 픽쳐 인덱스 순서에 따라 레퍼런스 프레임을 차례로 방문하면서 탑(Top) 레퍼런스 피일드에 낮은 인덱스를 할당하고 바텀(Bottom) 레퍼런스 피일드에 높은 인덱스를 할당한다.

즉, 다음과 같은 식으로 표현이 가능하다.

도 8은 P 프레임과 B 프레임에서의 피일드 매크로블록에 대한 레퍼런스 픽쳐 인덱스를 보여주고 있다.

(Case 2)

현재 피일드 매크로블록이 탑(Top) 피일드 매크로블록 또는 바텀(Bottom) 피일드 매크로블록 종류에 관계없이, 픽쳐(또는 슬라이스) 레벨의 레퍼런스 픽쳐 인덱스 순서에 따라 레퍼런스 프레임을 차례로 방문하면서 바텀(Bottom) 레퍼런스 피일드에 낮은 인덱스를 할당하고 탑(Top) 레퍼런스 피일드에 높은 인덱스를 할당한다.

즉, 다음과 같은 식으로 표현이 가능하다.

탑(Top) 레퍼런스 피일드 인덱스 = 2 x 레퍼런스 프레임의 픽쳐 인덱스 +1

도 9는 P 프레임과 B 프레임에서의 피일드 매크로블록에 대한 레퍼런스 픽쳐 인덱스를 보여주고 있다.

(Case 3)

픽쳐(또는 슬라이스) 레벨의 레퍼런스 픽쳐 인덱스 순서에 따라 레퍼런스 프 레임을 차례로 방문하면서, 현재 피일드와 동일 패리티를 갖는 레퍼런스 피일드부터 시작하여 다른 패리티를 갖는 레퍼런스 피일드에 번갈아 가며 1씩 증가된 인덱스 값을 할당한다. 도 10과 도 11은 P 프레임과 B 프레임에서의 피일드 매크로블록에 대한 레퍼런스 픽쳐 인덱스를 보여주고 있다.

(Case 4)

현재 피일드 매크로블록이 탑(Top) 피일드 매크로블록 또는 바텀(Bottom) 피일드 매크로블록 종류에 관계없이, 픽쳐(또는 슬라이스) 레벨의 레퍼런스 픽쳐 인덱스 순서에 따라 레퍼런스 프레임을 차례로 방문하면서 현재 피일드에서 시간적 거리가 가까운 레퍼런스 피일드에 낮은 인덱스를 할당하고 시간적 거리가 먼 레퍼런스 피일드에 높은 인덱스를 할당한다.

즉, 다음과 같은 식으로 표현이 가능하다.

도 12는 P 프레임과 B 프레임에서의 피일드 매크로블록에 대한 레퍼런스 픽쳐 인덱스를 보여주고 있다.

도 1은 일반적인 프레임/피일드 매크로블록을 갖는 프레임 픽쳐에서의 매크로블록 쌍을 설명하기 위한 도면.

도 2는 종래 동영상 코딩 시스템에 있어, P 프레임 코딩의 레퍼런스 픽쳐 인덱스를 설명하기 위한 도면.

도 3은 종래 동영상 코딩 시스템에 있어, B 프레임 코딩의 레퍼런스 픽쳐 인덱스 리스트 0 및 리스트 1을 설명하기 위한 도면.

도 4는 종래 동영상 코딩 시스템에 있어, P 프레임의 탑(Top) 피일드 및 바텀(Bottom) 피일드 코딩에서의 레퍼런스 픽쳐 인덱스를 설명하기 위한 도면.

도 5는 종래 동영상 코딩 시스템에 있어, B 프레임의 탑(Top) 피일드 및 바텀(Bottom) 피일드 코딩에서의 레퍼런스 픽쳐 인덱스 리스트 0 및 리스트 1을 설명하기 위한 도면.

도 6은 종래 동영상 코딩 시스템에 있어, P 프레임 코딩에서의 재배열된 레퍼런스 픽쳐 인덱스를 설명하기 위한 도면.

도 7은 본 발명에 따른 동영상 코딩 시스템에 있어, 프레임 매크로블록을 갖는 P 프레임과 B 프레임에 대한 레퍼런스 픽쳐 인덱스를 설명하기 위한 도면.

도 8은 본 발명에 따른 동영상 코딩 시스템에 있어, 피일드 매크로블록을 갖는 P 프레임과 B 프레임에 대한 레퍼런스 픽쳐 인덱스를 설명하기 위한 도면(case 1).

도 9는 본 발명에 따른 동영상 코딩 시스템에 있어, 피일드 매크로블록을 갖는 P 프레임과 B 프레임에 대한 레퍼런스 픽쳐 인덱스를 설명하기 위한 도면(case 2).

도 10은 본 발명에 따른 동영상 코딩 시스템에 있어, 피일드 매크로블록을 갖는 P 프레임에 대한 레퍼런스 픽쳐 인덱스를 설명하기 위한 도면(case 3).

도 11은 본 발명에 따른 동영상 코딩 시스템에 있어, 피일드 매크로블록을 갖는 B 프레임에 대한 레퍼런스 픽쳐 인덱스를 설명하기 위한 도면(case 3).

도 12는 본 발명에 따른 동영상 코딩 시스템에 있어, 피일드 매크로블록을 갖는 P 프레임과 B 프레임에 대한 레퍼런스 픽쳐 인덱스를 설명하기 위한 도면(case 4).

Claims

현재 필드 매크로블록을 디코딩하는 방법에 있어서,

다수의 레퍼런스 프레임 픽쳐들을 포함하는 레퍼런스 프레임 픽쳐 리스트를 획득하는 단계;

상기 다수의 레퍼런스 프레임 픽쳐들에 대한 디스플레이 순서 정보에 기반하여 상기 레퍼런스 프레임 픽쳐 리스트에 있는 상기 다수의 레퍼런스 프레임 픽쳐들의 레퍼런스 프레임 픽쳐 인덱스를 결정하는 단계로서, 상기 레퍼런스 프레임 픽쳐 인덱스 번호들은 상기 현재 필드 매크로블록을 포함하는 픽쳐보다 디스플레이 순서가 높은 레퍼런스 프레임 픽쳐들에 대해 디스플레이 순서에 따라 할당되고, 상기 레퍼런스 프레임 픽쳐 인덱스 번호들의 나머지는 상기 현재 필드 매크로블록을 포함하는 픽쳐보다 디스플레이 순서가 낮은 레퍼런스 프레임 픽쳐들에 대해 디스플레이 순서의 역순으로 할당되는 단계;

상기 현재 필드 매크로블럭에 대한 레퍼런스 필드 픽쳐 인덱스를 획득하는 단계;

상기 획득된 레퍼런스 필드 픽쳐 인덱스를 2로 나눈 값과 상기 레퍼런스 프레임 픽쳐 인덱스를 기반으로 상기 레퍼런스 프레임 픽쳐 리스트로부터 레퍼런스 프레임 픽쳐를 결정하는 단계;

상기 획득된 레퍼런스 필드 픽쳐 인덱스 및 상기 결정된 레퍼런스 프레임 픽쳐를 기반으로 상기 매크로블록에 대한 레퍼런스 필드 픽쳐를 선택하는 단계; 및

상기 선택된 레퍼런스 필드 픽쳐를 기반으로 상기 현재 필드 매크로블록을 디코딩하는 단계를 포함하는 매크로블록 디코딩 방법.