KR100367619B1 - Ｈ.26ｌ에서의 ｂ 픽쳐 모드 결정 방법 - Google Patents

Abstract

본 발명은 H.26L 비디오 코딩 시스템의 B 픽쳐 모드 결정기법에 관한 것으로, 각 모드의 오버헤드 비트를 고려한 예측오차 연산방법과 가능한 많은 다이렉트 모드를 B 픽쳐코딩을 수행할 수 있도록 하여 비트율을 저감시키는 기술에 관한 것이다. 이러한 본 발명은 4 ×4 및 16 ×16 인트라 예측, 전방 예측, 후방 예측, 양방향 예측, 다이렉트 예측의 다섯개 모드에 대하여 오버헤드 비트를 고려한 SAD의 초기값을 설정하는 제1단계와; 예측 오차 측정 연산식 SAD를 계산할 때 상기 각 모드에 대해 디스토션을 연산하고, 특히 다이렉트 모드의 선택 가능성을 높여주기 위하여 16 ×QP_o(QP)를 감산하는 제2단계와; 상기 제2단계의 연산 결과 중 가장 작은 SAD 값을 갖는 모드를 B 픽쳐 코딩을 위한 모드로 선택하는 제3단계에 의해 달성된다.

Description

Ｈ.26Ｌ에서의 Ｂ 픽쳐 모드 결정 방법{MODE DECISION METHOD FOR B PICTURE IN H.26L}

본 발명은 H.26L 비디오 코딩 시스템에서 보다 향상된 성능을 얻기 위한 B 픽쳐의 모드 결정 기술에 관한 것으로, 특히 B 픽쳐 신택스에 추가되는 각 모드의 오버헤드 비트를 고려하여 예측 오차 연산을 수행하고, 다이렉트 모드가 모드 타입 표현을 위한 1비트만을 요구한다는 사실과 어떠한 신택스 정보도 전송할 필요가 없다는 점을 감안하여, 플랫 영역(flat regions)이면서 동시에 제로 모션을 갖는 매크로 블록에 대해 16 ×16 인트라 모드 대신 다이렉트 모드로 B 픽쳐 코딩을 수행할 수 있도록 한 H.26L에서의 B 픽쳐 모드 결정 방법에 관한 것이다.

H.26L 비디오 코딩에서의 B 픽쳐는 4 ×4 및 16 ×16 블록 크기의 인트라 예측(Intra prediction), 7가지의 블록 크기를 갖는 전방 예측(Forward prediction) 및 후방 예측(Backward prediction), 그리고, 양방향 예측(Bi-directional prediction), 다이렉트 예측(Direct prediction) 등 다섯 가지 모드에 의해 코딩되어 진다.

상기 다섯 가지 모드 중 도 1과 같은 매크로블록(코딩하려는 영상의 기본 단위)의 최적 모드 결정 방법은 각 예측 모드에 대해 원 영상과 예측된 영상 사이의 예측 오차 측정 방법인 SAD(Sum of Absolute Difference)를 계산하여 각각의 SAD_intra, SAD_fw, SAD_bw, SAD_bid, SAD_dir를 구한 후 그 중에서 가장 작은 값을 갖는 모드를 예측 모드로 선택하는 것이다.

이와 같이 종래의 모드 결정 방법에 있어서는 비록 예측 오차에 의한 SAD 값을 근거로 하여 최적 모드를 결정했을 지라도 코딩된 매크로 블록의 비트열(bit stream) 이외에 그 모드의 신택스에 따라 반드시 추가하여야 할 오버헤드가 존재하게 되는데, 이러한 오버헤드 비트가 전체 비트열의 길이에 영향을 미치게 되어 비트율을 증가시키게 되고, 결국, 이에 의해 부호화 성능이 저하되는 결함이 있었다.

예를 들어, 양방향 모드가 가장 작은 SAD 값을 갖는 최적의 모드로 결정되었을 경우, 코딩된 비트열 외에 참조 프레임 정보, 전방 및 후방의 블록 크기 정보, 전방 모션 벡터, 그리고 후방 모션 벡터 등 모두 4가지 성분의 오버헤드 비트가 반드시 비트열에 추가되어야 하므로 그만큼 비트율이 높아져 부호화 성능이 저하되는 결함이 있었다.

따라서, 본 발명의 목적은 예측 오차 연산값 SAD를 구할 때 각 모드의 오버헤드 비트를 고려한 페널티 값을 SAD 초기치로 설정하여 SAD 값을 증가시킨 후 예측 오차 연산을 수행하여 오버헤드 비트를 많이 요구하는 모드가 예측모드로부터 선택되는 것을 억제하고, 특히 오버헤드 비트가 전혀 필요없고 모노 타입 표현을 위해 오직 1 비트만을 요구하는 다이렉트 모드가 16 ×16 인트라 모드 대신 가능한 한 많이 선택될 수 있도록 16 ×QP_o(QP) 값을 감산하여 결과적으로 비트율이 저감되게 하는 H.26L에서의 B 픽쳐 모드 결정 방법을 제공함에 있다.

도 1은 QCIF 영상에서의 매크로 블록의 설명도.

도 2는 본 발명에 의한 H.26L에서의 B 픽쳐 모드 결정 방법에 대한 신호 흐름도.

도 3a는 H.26L TML-5의 다이렉트 모드의 오버헤드 비트를 보인 테이블.

도 3b는 H.26L TML-5의 B 프레임을 위한 코드 테이블.

도 4의 (a)-(c)는 다이렉트 모드와 실제 전방 움직임 사이의 관계를 보인 그래프.

***도면의 주요 부분에 대한 부호의 설명***

S1-S3 : 제1-3단계

본 발명에 의한 H.26L에서의 B 픽쳐 모드 결정 방법은, 4 ×4 및 16 ×16인트라 예측, 전방 예측, 후방 예측, 양방향 예측, 다이렉트 예측의 다섯개 모드에 대하여 오버헤드 비트를 고려한 SAD의 초기값을 설정하는 제1단계와; 예측 오차 측정 연산식(SAD)을 계산할 때 상기 각 모드에 대해 디스토션을 연산하고, 특히 다이렉트 모드의 선택 가능성을 높여주기 위하여 16 ×QP_o(QP)를 감산하는 제2단계와; 상기 제2단계의 연산 결과 중 가장 작은 SAD 값을 갖는 모드를 B 픽쳐 코딩을 위한 모드로 선택하는 제3단계로 이루어지는 것으로, 이와 같은 본 발명의 작용을 첨부한 도 2 내지 도 4를 참조하여 상세히 설명하면 다음과 같다.

B 픽쳐는 이미 디코드된 이전 위치의 P 픽쳐 및 다음 위치의 P 픽쳐 중 어느 하나 또는 둘 모두로부터 예측되는 것이므로 향상된 코딩 효율을 얻을 수 있다. 따라서, B 픽쳐를 이용한 코딩 기법은 P 픽쳐에 비해 움직임이 작은 영상 시퀀스에 대해 상당한 이득을 얻을 수 있지만, 움직임이 큰 영상 시퀀스에 대해서는 작은 이득을 얻게 된다.

그러나, H.26L 테스트 모드인 TML-5를 기초로 하여 B 픽쳐를 구현한 결과 그 성능이 기대하는 만큼의 이득을 얻을 수 없고 특히 작은 움직임의 시퀀스에 손실을 발생시킨 다는 것을 발견하였다. 따라서, 본 발명은 H.26L에서의 B 픽쳐 코딩의 향상된 성능을 얻기 위한 보다 효과적인 B 픽쳐 모드 결정 방법을 창안한 것이다.

도 3b의 H.26L TML-5의 B 프레임을 위한 코드 테이블에 따르면, 전방 예측 모드는 참조 프레임 번호(단, 다중 참조 프레임이 선택되었을 경우에 해당됨) 및 모션 벡터(MV_F)와 같은 두 개의 정보를 오버헤드 비트로서 필요로 하고, 후방 예측모드는 모션 벡터(MV_B) 단 하나의 정보를 오버헤드 비트로서 필요로 하며, 양방향 예측 모드는 참조 프레임 전방/후방 블록 크기, 전방 모션 벡터(MV_F) 및 후방 모션 벡터(MV_B)와 같은 네 개의 정보를 오버헤드 비트로 필요로 한다.

따라서, 본 발명에서는 예측 오차 연산 값 SAD를 계산할 때 각 모드의 오버헤드 비트를 고려한 패널티 값을 SAD 초기치로 설정하여 SAD 값을 먼저 증가시킨 후 예측 오차 연산을 수행하도록 하였다. 이것은 도 2의 3단계(S3)에서 가장 작은 SAD 값을 갖는 모드를 매크로블록의 최적 예측 모드로 결정할 때 영향을 미치게 된다. 즉, SAD 값이 예측 오차 뿐만 아니라 오버헤드 비트의 영향까지도 포함하도록 함으로써, 통상의 모드 결정 방법에서와 같이 단순히 예측 오차만을 고려한 SAD에 의해 결정된 최적 예측 모드가 결과적으로 비트율을 증가시키게 되는 문제점이 해소된다.

한편, 16 ×16 인트라 및 다이렉트 예측 모드는 코딩 신택스에 부가적인 정보를 필요로 하지 않기 때문에 오버헤드 비트가 존재하지 않게 된다. 그러나, 16 ×16 인트라 모드의 큰 문제점은 도 3b의 테이블에서 알 수 있듯이 모드 타입을 표현함에 있어서, 다이렉트 모드는 도 3a와 같이 단지 1비트인 것과 달리, 많은 수의 비트가 요구된다는 사실이다. 따라서, 비록 두 개의 모드가 오버헤드 비트를 필요로 하지 않을 지라도 각각 다른 방법으로 SAD 값을 계산할 필요가 있다.

작은 움직임을 갖는 시퀀스를 예로 하면, 이 시퀀스는 대체로 제로 모션(zero motion)을 갖는 많은 플랫 영역(flat regions)으로 특징지어질 수 있다.시뮬레이션을 통해 작은 움직임의 시퀀스에 할당된 모드들의 수를 비교해 보면, 비트율이 감소할 수록 플랫 영역에 효과적인 16 ×16 인트라 모드가 많이 선택되어지는 것을 발견할 수 있다. 이 결과는 TML-5 상의 B 픽쳐가 기본적으로 제로 모션 특징 대신 플랫 영역 특징만을 이용한다는 것을 의미한다. 따라서, 16 ×16 인트라 모드의 모드 타입 표현을 위한 많은 비트가 요구됨에 따라 비트량 증가에 따른 손실 발생의 원인을 제공하게 된다.

따라서, 본 발명에서는 제로 모션을 갖는 플랫 영역에 대해 16 ×16 인트라 모드가 할당되는 것을 방지하기 위해 플랫 영역 특징 대신 제로 모션 특징을 효과적으로 이용하는 방법을 사용하였다. 즉, 가능한 한 다이렉트 모드로 결정되어지도록 도 2의 2단계(S2)에서 다이렉트 예측 모드의 SAD 값을 계산할 때 16 ×QP_o(QP)를 감산하도록 하였다. 여기서, QP_o(QP)는 양자화 부호 QUANT에의 포인터이고, 동시에 예측 모드 선택을 위한 스케일 목적으로 사용된다. 참고로, H.263의 QUANT와 H.26L의 QP 사이의 관계는 QUANT = QP_o(QP)-2^QP/6이 된다. 물론, 화질과 비트율 감소 사이에는 트레이드 오프가 존재하지만, 감소된 비트율이 화질 저하를 무시할 수 있을 정도로 크기 때문에 수용 가능한 화질을 유지할 수 있게 된다.

도 4는 이전의 P 픽쳐와 B 픽쳐 사이의 실제 전방 움직임과 본 발명의 다이렉트 모드간 관계를 나타낸 것이다. B 픽쳐는 다이렉트 모드의 SAD 값 감소로 인하여 도 2의 3단계(S3)에서 다이렉트 모드로 선택되어지고 도 4의 (a) 및 (c)에 보이는 것과 같이 실제 움직임들은 다이렉트 모드의 전방 모션으로 접근되어질 수 있다. 만일 다이렉트 예측과 실제 움직임에 의한 예측간의 차이가 클 경우에는 도 4의 (b)에서와 같이 B 픽쳐는 전방 예측 모드로 결정되어진다.

이러한 관계는 후방 및 양방향 모드로 동일하게 적용될 수 있다. 도 4의 (a)에서와 같이 비교적 움직임이 클 경우 전방, 후방 및 양방향 모드들이 다이렉트 모드로 선택되므로 인하여 비트량을 절약할 수 있다. 마찬가지로 도 4의 (c)에서와 같이 움직임이 작을 경우 전방, 후방, 양방향 모드가 다이렉트 모드로 선택되어지고, 특히 제로 모션일 경우 전방, 후방 및 양방향 모드 외에 16 ×16 인트라 모드가 다이렉트 모드로 변경될 가능성이 높기 때문에 더 효과적인 비트율 감소가 이루어진다. 결국, 상기와 같은 모드 선택 방법을 적용함으로써 TML-5 상의 B 픽쳐들에 대하여 개선된 성능을 제공할 수 있게 된다.

TML-5에서의 B 픽쳐에 대한 코딩 신택스를 고려한 각 모드의 SAD의 초기값 및 다이렉트 모드의 SAD 값을 구하는 과정은 다음과 같다. 여기서,,,등은 각 모드에서의 초기치를 의미한다.

양방향 예측 모드:

이상에서 상세히 설명한 바와 같이 본 발명은 비디오 코딩 시스템에서 각 모드의 오버헤드 비트를 고려한 패널티 값을 SAD 초기치로 설정하고, 또한 제로 모션을 갖는 플랫 영역에 대해 16 ×16 인트라 모드 대신 다이렉트 모드가 선택되어지도록 하기 위하여, SAD 값을 계산할 때 16 ×QP_o(QP)를 감산하도록 함으로써 비트율이 현저히 감소되고, 이에 의해 영상정보의 디코딩 성능이 향상되는 효과가 있다.

Claims (5)

1. 4 ×4 및 16 ×16 인트라 예측, 전방 예측, 후방 예측, 양방향 예측, 다이렉트 예측의 다섯개 모드에 대하여 각 모드의 오버헤드 비트를 고려한 페널티 값을 SAD 초기값으로 설정하는 제1단계와; 예측 오차 측정 연산식를 이용하여 상기 각 모드에 대해 디스토션을 연산하고, 다이렉트 모드의 선택 가능성을 높여주는 제2단계와; 상기 제2단계의 연산 결과 중 가장 작은 SAD 값을 갖는 모드를 B 픽쳐 코딩을 위한 모드로 선택하는 제3단계로 이루어지는 것을 특징으로 하는 H.26L에서의 B 픽쳐 모드 결정 방법.
2. 제1항에 있어서, SAD 값이 예측오차 뿐만 아니라 오버헤드 비트의 영향까지 포함하도록 하기 위하여 각 모드의 오버헤드 비트를 고려한 패널티 값을 SAD 초기값으로 설정하는 것을 특징으로 하는 H.26L에서의 B 픽쳐 모드 결정 방법.
3. 제1항에 있어서, 다이렉트 모드의 선택 가능성을 높여주기 위하여 다이렉트 예측 모드의 SAD에서 16 ×QP_o(QP)를 감산하는 것을 특징으로 하는 H.26L에서의 B 픽쳐 모드 결정 방법.
4. 제3항에 있어서, 16 ×QP_o(QP)는 실험에 의해 구해진 값임을 특징으로 하는H.26L에서의 B 픽쳐 모드 결정 방법.
5. 제3항에 있어서, QP_o(QP)는 다이렉트 예측값과 실제 움직임으로부터의 예측값 간의 차이가 수용 불가능한 정도인 경우 B 픽쳐들이 다이렉트 모드가 아닌 실제 움직임을 갖는 모드로 선택되도록 설정된 것을 특징으로 하는 H.26L에서의 B 픽쳐 모드 결정 방법.