KR100739133B1 - 디지털 비디오 코딩시 ｂ프레임 코딩 방법 - Google Patents

Abstract

본 발명은 디지털 비디오 코딩시 B프레임 코딩 방법에 관한 것으로, B프레임 코딩을 하게 되면 양방향 예측에 의해 정확도가 높아지는 반면 각 예측 모드에서 추가되는 헤더 정보량이 많아지는데, 만약 많은 수의 매크로블록이 쌍방향 예측 모드를 선택하였다면 전방향, 후방향의 쌍방향 블록 크기, 전방향의 참조 프레임 번호와 모션 벡터차, 후방향의 모션 벡터차가 추가적으로 비트 스트림에 기록되기 때문에 현재 B프레임의 전체 비트 스트림의 크기가 P-프레임에 비해 증가하는 경우가 발생하게 되는 문제점이 있었다. 따라서, 본 발명은 B프레임 코딩시 스킵 모드를 적용하여 전방향, 후방향, 쌍방향 예측에서 추가되는 헤더 정보를 전송하지 않도록 함으로써, 좀 더 적은 양의 비트 스트림을 생성할 수 있도록 하는 효과가 있다.

Description

디지털 비디오 코딩시 Ｂ프레임 코딩 방법{B-FRAME CODING METHOD IN DIGITAL VIDEO CODING}

도 1은 종래 B프레임의 각 매크로 블록에서의 코딩 과정을 보인 순서도.

도 2는 종래 H.26L TML의 B프레임 코딩을 위한 코드 테이블.

도 3은 본 발명에 의한 스킵모드를 정의한 B프레임 코딩을 위한 코드 테이블.

도 4a 및 도 4b는 본 발명에 의해 스킵모드 적용을 위한 B프레임 코딩 과정을 보인 순서도.

본 발명은 디지털 비디오 코딩 방법에 관한 것으로, 특히 B프레임 코딩에서 전방향(forward), 후방향(backward), 그리고 쌍방향(bi-directional) 예측의 각각에 스킵(skip) 모드를 정의하여 코딩함으로써, 전송되는 비트량을 줄일 수 있도록 하는 디지털 비디오 코딩시 B프레임 코딩 방법에 관한 것이다.

일반적으로, 움직임 연속성을 보장하기 위해 사용되는 B프레임은 두 개의 P-프레임으로부터 쌍방향 예측(Bi-directional prediction)을 통해 부호화하여 얻을 수 있다.

이와 같은, B프레임의 장점은 양방향으로부터 예측을 하게 되므로, 원 영상에 가까운 값으로 예측이 이루어진다는 점이다.

즉, B프레임으로 코딩하여 얻어지는 비트 스트림은, 한 방향으로만 예측하는 P-프레임에 비해 그 크기가 감소하게 되고, 화질 또한 향상된 결과를 얻을 수 있게 된다.

이와 같은 장점은 MPEG-1과 MPEG-2에서도 발견할 수 있으며, 일반적으로 B프레임 코딩을 위한 예측 모드에는 크게 내부(Intra), 전방향(forward), 후방향(backward), 쌍방향(bi-directional), 그리고 직접(direct) 예측 등 5가지 종류가 있다.

이때, B프레임의 각 매크로 블록(MB)에서의 예측 모드를 결정하기 위해서는, 도1에 도시된 바와 같이 5가지 예측 모드에 대한 SAD(Sum of Absolute Difference)를 각각 구하고, 그 중 가장 작은 SAD값을 갖는 예측 모드를 선택하게 되는데, 상기 5가지 모드에 대한 SAD를 구하는 과정에서 많은 계산량을 요구하게 된다.

다음, 상기와 같이 예측 모드가 결정되면 각 매크로 블록(MB)은 선택된 예측 모드에 따라 원시 프레임의 매크로블록과 예측된 매크로블록의 차에 대해 DCT, 양자화, 그리고 부호화(Coding)가 이루어진다.

이때, 상기 부호화 과정에서는 선택된 예측 모드에 따라 비트 스트림에 추가되는 정보(overhead bits)가 필요하다.

즉, 도2에 도시된 바와 같이, 전방향(forward) 예측일 경우는 참조 프레임 번호(Ref_frame), 모션 벡터와 예측된 모션 벡터 사이의 차(MVDFW)에 대한 정보를 비트 스트림에 기록하여야 하며, 후방향(backward) 예측일 경우는 참조 프레임이 다음 P-프레임이 되므로, 전방향 예측과는 달리 모션 벡터와 예측된 모션 벡터 사이의 차(MVDBW)에 대한 정보만 비트 스트림에 기록한다.

다음, 쌍방향(bi-directional) 예측일 경우는 전방향 및 후방향의 7가지 블록타입을 조사하여 최소의 SAD값을 갖는 전방향의 참조 프레임 번호와 모션 벡터차, 후방향의 모션 벡터차 및 블록 크기를 각각 기록한다.

다음, 직접(direct) 예측은 전방향 및 후방향의 모션 벡터를 복호기에서 다음 P-프레임의 모션 벡터로부터 계산할 수 있기 때문에 어떠한 정보도 전송되지 않는다.

상기에서 살펴본 바와 같이 B프레임 코딩을 하게 되면, 양방향 예측에 의해 정확도가 높아지므로 프레임의 코딩되는 비트 스트림의 크기는 크게 감소하고 화질은 향상되지만 각 예측 모드에서 추가되는 헤더 정보량은 무시할 수 없다.

최악의 경우, 많은 수의 매크로블록이 쌍방향 예측 모드를 선택하였다면 전방향, 후방향의 쌍방향 블록 크기(H.26L의 경우), 전방향의 참조 프레임 번호와 모션 벡터차, 후방향의 모션 벡터차가 추가적으로 비트 스트림에 기록되기 때문에 현재 B프레임의 전체 비트 스트림의 크기가 P-프레임에 비해 증가하는 경우도 존재할 수 있는 문제점이 있다.

따라서, 본 발명은 상기와 같은 종래의 문제점을 해결하기 위하여 창출한 것으로, B프레임 코딩시 스킵 모드를 적용하여 전방향, 후방향, 쌍방향 예측에서 추가되는 헤더 정보를 전송하지 않도록 함으로써, 좀 더 적은 양의 비트 스트림을 생성할 수 있도록 하는 디지털 비디오 코딩시 B프레임 코딩 방법을 제공함에 그 목적이 있다.

이와 같은 목적을 달성하기 위한 본 발명은, 다수의 예측 모드를 갖는 B프레임의 코딩에 있어서, 각 예측 모드에 대한 SAD(Sum of Absolute Difference)를 각각 구하는 제1단계와; 스킵모드의 적용 가능성을 판단하기 위해 상기 각 예측 모드에 대하여 소정의 조건 검색을 수행하는 제2단계와; 상기 검색 조건을 만족하는 예측 모드에 대하여 SAD값을 소정값 만큼 감소시켜 최종 예측 모드의 결정 확률을 높이는 제3단계와; 상기 각 예측 모드의 SAD값을 비교하여 가장 작은 SAD값을 갖는 모드를 최종 예측 모드로 결정하는 제4단계와; 상기 결정된 예측 모드로 예측 및 잉여 코딩을 수행한 후, 소정 조건에 부합하는지 여부에 의해 스킵모드를 적용하는 제5단계로 이루어진 것을 특징으로 한다.

본 발명은 B프레임 코딩시 스킵 모드를 정의하여 전방향, 후방향, 그리고 쌍방향 예측 모드에 부가 정보(overhead bits)가 추가되지 않도록 함으로써, 비트 스트림의 크기를 감소시키는 특징이 있다.

이하, 본 발명에 따른 일실시예를 첨부한 도면을 참조하여 상세히 설명하면 다음과 같다.

일단 본 발명은 스킵 모드를 B프레임의 전방향, 후방향, 그리고 쌍방향 예측 모드에 적용함으로서, B프레임의 비트 스트림 크기를 좀더 감소시킬 수 있도록 한다.

B프레임의 전방향 예측모드에 스킵모드를 적용하기 위해서는 다음 조건을 만족해야 한다.

1. 블록 타입 : 16 ×16

2. 참조 프레임이 이전 P프레임

3. x,y 방향의 모션 벡터 : 0

4. 부호화 블록 패턴 (CBP) = 0

상기 조건을 만족할 경우 부호기는 전방향 스킵모드를 나타내는 비트 정보만을 복호기에 전송하게 된다.

그러면, 복호기에서는 현재 매크로블록과 동일한 위치에 있는 이전 P프레임 의 매크로블록을 복사하여 현재 매크로블록을 생성하게 된다.

그럼, 도2 및 도3에 도시된 코드 테이블을 이용하여, 전방향 예측 모드에 스킵 모드를 적용하지 않았을 경우와 적용했을 경우에 얻게 되는 이득을 살펴보기로 한다.

먼저, 도2와 같이 스킵 모드를 적용하지 않았을 경우, 스킵 모드로 판단되는 한 매크로블록에 대해, 매크로블록 타입을 표시하기 위한 3비트, 참조 프레임 번호를 위한 1비트, x,y 방향의 모션 벡터차 2비트, 그리고 CBP=0을 나타내는 1비트를 포함해서 전부 7비트가 필요하다.

그러나, 도3과 같이 스킵 모드가 정의된 코드 테이블을 이용할 경우에는, 단지 매크로블록 타입을 표시하기 위한 3비트만을 필요로하므로 4비트의 이득을 얻을 수 있다.

다음, B프레임의 후방향 예측모드에 스킵모드를 적용하기 위해서는 다음 조건을 만족해야 한다.

1. 블록 타입 : 16 ×16

2. x,y 방향의 모션 벡터 : 0

3. 부호화 블록 패턴 (CBP) = 0

다만, 이때는 참조 프레임이 다음 P프레임으로 고정되어 있다는 사실 외에 전방향 예측모드와 동일하다.

따라서, 상기 조건을 만족할 경우 부호기는 쌍방향 스킵모드를 나타내는 비트 정보만을 복호기에 전송하게 된다.

그러면, 복호기에서는 현재 매크로블록과 동일한 위치에 있는 다음 P프레임의 매크로블록을 복사하여 현재 매크로블록을 생성하게 된다.

그럼, 후방향 예측 모드에 스킵 모드를 적용하지 않았을 경우와 적용했을 경우에 얻게 되는 이득을 살펴보기로 한다.

일단, 실제 전송되는 비트수를 비교해 보면, 스킵 모드로 판단되는 한 매크로블록에 대해 도2에 도시된 코드 테이블을 이용하면 매크로블록 타입을 표시하기 위한 3비트, x,y 방향의 모션 벡터차 2비트, 그리고 CBP=0을 나타내는 1비트를 포함해서 전부 6비트가 필요하다.

그러나, 도3과 같이 본 발명에 의해 스킵 모드가 정의된 코드 테이블을 이용할 경우에는, 단지 매크로블록 타입을 표시하기 위한 3비트만을 필요로 하므로 3비트의 이득을 얻을 수 있다.

다음, B프레임의 쌍방향 예측모드에 스킵모드를 적용하기 위해서는 다음 조건을 만족해야 한다.

1. 전방향 블록 타입 : 16 ×16

2. 후방향 블록 타입 : 16 ×16

3. 참조 프레임이 이전 P프레임

4. x,y 방향의 전방향 모션 벡터 : 0

5. x,y 방향의 후방향 모션 벡터 : 0

6. 부호화 블록 패턴 (CBP) = 0

상기 조건을 만족할 경우 부호기는 쌍방향 스킵모드를 나타내는 비트 정보만 을 복호기에 전송하게 된다.

그러면, 복호기에서는 현재 매크로블록과 동일한 위치에 있는 이전 P프레임과 다음 P프레임의 매크로블록을 각각 더한 후 평균하여 현재 매크로블록을 생성하게 된다.

그럼, 후방향 예측 모드에 스킵 모드를 적용하지 않았을 경우와 적용했을 경우에 얻게 되는 이득을 살펴보기로 한다.

실제 전송되는 비트수를 비교해 보면, 스킵 모드로 판단되는 한 매크로블록에 대해 도2에 도시된 코드 테이블을 적용하면 매크로블록 타입을 표시하기 위한 5비트, 전방향의 참조 프레임 번호를 위한 1비트, 전방향 블록크기 1비트, 전방향 x,y 방향의 모션 벡터차 2비트, 그리고 후방향의 블록크기 1비트, 후방향 x,y 방향의 모션 벡터차 2비트, 마지막으로 CBP=0을 나타내는 1비트 등 모두 13 비트가 필요하다.

그러나, 도3과 같이 본 발명의 스킵 모드가 정의된 코드 테이블을 이용할 경우에는 단지 매크로블록 타입을 표시하기 위한 5비트만을 필요로 하므로 8비트의 이득을 얻을 수 있다.

참고로, 직접 예측 모드는 복호기에서 이미 복호된 다음 P프레임의 매크로블록의 모션 벡터로부터 전방향 및 후방향의 모션 벡터를 계산해 낼 수 있기 때문에 도2의 코드 테이블에서 볼 수 있었던 부가정보 비트(overhead bit)가 없다.

또한, 스킵 모드를 고려하지 않고 B프레임 코딩을 했을 때, 직접 예측 모드로 사용된 매크로블록이 스킵 모드를 고려한 B프레임 코딩에서 전방향_스킵, 후방 향_스킵, 쌍방향_스킵으로 사용될 가능성이 있다.

이런 경우 직접 예측 모드일 때는 1비트인 반면, 전방향_스킵과 후방향_스킵은 3비트, 쌍방향_스킵은 5비트가 사용되기 때문에 오히려 비트 손실을 보게 된다.

따라서, 이 경우를 피하기 위해 직접 예측 모드의 SAD를 구할 때 다음과 같은 조건을 만족하게 되면, 쌍방향_스킵과 같은 우선순위를 갖는 16 ×QP0(QP)를 빼줌으로서 다른 스킵모드로 선택이 되지 않도록 한다.

1. 매크로블록의 x,y 방향의 직접 전방향 모션 벡터가 모두 0이고,

2. x,y 방향의 직접 후방향 모션 벡터가 모두 0

다음, 도4A는 각 매크로블록에서의 스킵모드를 정의한 B프레임 코딩 과정을 보여주고 있다. 만일 전방향 모드의 SAD를 구하는 과정에서 블록 타입이 16 ×16이고, 모션 벡터가 0이면 SAD값을 8 ×QP0(QP)만큼 감소시킨다.

후방향 또는 쌍방향 모드의 SAD를 구할 경우에도 이 조건을 만족하게 되면 6 ×QP0(QP)와 16 ×QP0(QP)만큼 SAD 값을 감소시킨다.

이때 사용된 감소치는 각 스킵모드에서 절약되는 비트수에 비례하여 결정되었다.(전방향_스킵에서 4비트, 후방향_스킵에서 3비트, 쌍방향_스킵에서 8비트 절약)

즉, 상기 과정은 스킵모드를 위한 조건 중에서 스킵 가능성이 있는 모드를 미리 검색하는 것이다.

이것은 SAD 값을 미리 작게 하여 최종 예측 모드로 결정될 가능성을 높이기 위한 것으로, 잉여 코딩(residual coding)을 통해 CBP가 0이 나왔을 때 스킵 모드 로 결정하기 위한 방법이다.

다음, 상기와 같이 스킵모드 적용 가능성이 높은 블록타입에 대하여 SAD값 조정이 완료되면, 도4B에 도시된 바와 같이 각 모드에 대한 SAD값을 비교하여 가장 작은 SAD를 갖는 모드를 선택한다.

즉, 가장 작은 SAD를 갖는 모드가 전방향 예측 모드일 경우에는, 전방향 예측 및 잉여코딩을 수행하고, 스킵모드 적용을 위한 모든 조건검색을 수행하여 조건을 만족할 경우, 비트 스트림에 전방향 스킵모드 타입만을 전송하면 된다.

마찬가지로, 가장 작은 SAD를 갖는 모드가 후방향 또는 쌍방향 예측 모드일 경우에는, 후방향 또는 쌍방향 예측 및 잉여코딩을 수행하고, 스킵모드 적용을 위한 모든 모든 조건검색을 수행하여 조건을 만족할 경우, 비트 스트림에 후방향 스킵모드 타입만을 전송하면 된다.

다음, 직접 예측 모드 및 내부 예측 모드에 대해서는 스킵모드가 정의되어 있지 않기 때문에, 해당 모드가 선택될 경우에는 예측과 잉여코딩을 수행한 후 해당하는 비트 스트림을 그대로 출력한다.

이상에서 설명한 바와 같이 본 발명 디지털 비디오 코딩시 B프레임 코딩 방법은 B프레임 코딩시 스킵 모드를 적용하여 전방향, 후방향, 쌍방향 예측에서 추가되는 헤더 정보를 전송하지 않도록 함으로써, 좀 더 적은 양의 비트 스트림을 생성할 수 있도록 하는 효과가 있다.

Claims (6)

1. 다수의 예측 모드를 갖는 B프레임의 코딩에 있어서, 각 예측 모드에 대한 SAD(Sum of Absolute Difference)를 각각 구하는 제1단계와; 스킵모드의 적용 가능성을 판단하기 위해 상기 각 예측 모드에 대하여 소정의 조건 검색을 수행하는 제2단계와; 상기 검색 조건을 만족하는 예측 모드에 대하여 SAD값을 소정값 만큼 감소시켜 최종 예측 모드의 결정 확률을 높이는 제3단계와; 상기 각 예측 모드의 SAD값을 비교하여 가장 작은 SAD값을 갖는 모드를 최종 예측 모드로 결정하는 제4단계와; 상기 결정된 예측 모드로 예측 및 잉여 코딩을 수행한 후, 소정 조건에 부합하는지 여부에 의해 스킵모드를 적용하는 제5단계로 이루어진 것을 특징으로 하는 디지털 비디오 코딩시 B프레임 코딩 방법.
2. 제1항에 있어서, 상기 제2단계의 예측 모드 결정을 위한 조건 검색은 전방향 예측 모드 및 후방향 예측 모드와 쌍방향 예측 모드를 대상으로 하는 것을 특징으로 하는 디지털 비디오 코딩시 B프레임 코딩 방법.
3. 제1항에 있어서, 상기 제5단계의 B프레임의 전방향 예측모드에 스킵모드를 적용하기 위한 조건으로는, 블록 타입이 16 ×16 이고, 참조 프레임이 이전 P프레임이며, x,y 방향의 모션 벡터 및 부호화 블록 패턴(CBP)이 0 인 것을 특징으로 하는 디지털 비디오 코딩시 B프레임 코딩 방법.
4. 제1항에 있어서, 상기 제5단계의 B프레임의 후방향 예측모드에 스킵모드를 적용하기 위한 조건으로는, 블록 타입이 16 ×16이고, 참조 프레임이 다음 P프레임이며, x,y 방향의 모션 벡터 및 부호화 블록 패턴(CBP)이 0 인 것을 특징으로 하는 디지털 비디오 코딩시 B프레임 코딩 방법.
5. 제1항에 있어서, 상기 제5단계의 B프레임의 후방향 예측모드에 스킵모드를 적용하기 위한 조건으로는, 전방향 및 후방향에 대한 블록 타입이 16 ×16이고, 참조 프레임이 이전 P프레임이며, x,y 방향의 전방향 및 후방향 모션 벡터 및 부호화 블록 패턴(CBP)이 0 인 것을 특징으로 하는 디지털 비디오 코딩시 B프레임 코딩 방법.
6. 제1항에 있어서, 상기 제3단계의 최종 예측 모드의 결정 확률을 높이기 위한 SAD값 감소치는, 각 스킵모드를 적용하였을 경우 절약되는 비트수에 비례하여 결정하는 것을 특징으로 하는 디지털 비디오 코딩시 B프레임 코딩 방법.

Images