KR100480028B1 - 장면 변화 신택스 엘리먼트 추가에 의한 ｂ 픽쳐의 개선된다이렉트 예측 방법 - Google Patents

Abstract

본 발명은 장면 변화 신택스 엘리먼트 추가에 의한 B 픽쳐의 개선된 다이렉트 예측 방법에 관한 것으로 특히, B 픽쳐의 슬라이스 레이어에 장면 변화 유무를 알리는 신택스 엘리먼트를 추가하여 궁극적으로 B 픽쳐의 코딩 효율을 향상시키도록 함에 목적이 있다. 이러한 목적의 본 발명은 프레임을 복호하면서 슬라이스 레이어의 픽쳐 타입(picture type) 신택스 엘리먼트를 참조하여 현재 복호화될 픽쳐 타입을 판단하는 제1 단계와, 상기에서 B 픽쳐 타입으로 판단되면 장면 변화가 발생하였는지 여부를 신택스 엘리먼트를 참조하여 판단하는 제2 단계와, 상기에서 장면 변화가 없으면 현재 B 픽쳐의 다이렉트 모드의 순방향 움직임 벡터를 가장 가까운 레퍼런스 픽쳐로부터 산출하는 제3 단계와, 상기에서 장면 변화가 있는 것으로 확인되면 서브시퀀트 P 픽쳐가 참조하는 long term 레퍼런스 픽쳐로부터 다이렉트 모드의 순방향 움직임 벡터를 구하여 순방향 움직임 보상값을 구하고 서브시퀀트 P 픽쳐로부터 역방향 움직임 벡터를 구하여 역방향 움직임 보상값을 구하는 제4 단계와, 상기에서 구한 순방향 움직임 보상값과 역방향 움직임 보상값을 평균 또는 보간 연산하여 현재 복호하려는 B 픽쳐의 매크로 블록을 예측하는 제5 단계를 수행함을 특징으로 한다.

Description

장면 변화 신택스 엘리먼트 추가에 의한 Ｂ 픽쳐의 개선된 다이렉트 예측 방법{IMPROVED DIRECT PREDICTION MODE FOR B PICTURES BY ADDITION OF SYNTAX ELEMENT INDICATING SCENE CHANGE}

본 발명은 동영상 코딩 시스템에 관한 것으로 특히, 장면 변화 신택스 엘리먼트 추가에 의한 B 픽쳐의 개선된 다이렉트 예측 방법에 관한 것이다.

일반적으로 동영상 코딩 시스템에서 B 픽쳐를 사용할 경우 코딩(또는 복호) 순서는 디스플레이 순서와 달라진다.

도1은 삽입되는 B 픽쳐가 2장일 때의 예를 도시한 것으로, B 픽쳐의 서브시퀀트 P 픽쳐가 항상 먼저 코딩(또는 복호)되어지는 것을 보여주고 있다.

B 픽쳐의 큰 특징 중 하나는 오버헤드(overhead) 정보가 필요없는 다이렉트 예측 모드를 다른 예측 모드 즉, 순방향 예측(forward prediction), 역방향 예측(backward prediction), 양방향 예측(bi-direction prediction), 인트라 예측(intra prediction) 등에 비해 많이 선택함으로써 P 픽쳐보다 높은 코딩 효율을 보여준다.

다이렉트 예측 모드는 서브시퀀트 P 픽쳐에 있는 B 픽쳐의 현재 매크로블록과 동일 위치의 매크로블록의 움직임 벡터로부터 다이렉트 모드의 순방향 움직임 벡터와 역방향 움직임 벡터를 계산하고 이값들을 사용하여 각 방향의 움직임 보상된 값들을 얻고 최종적으로 두개의 움직임 보상값을 평균 또는 보간 연산(interpolative calculation)하여 예측값을 얻는 모드이다.

이때, 코딩 효율을 높이기 위한 방법으로 다이렉트 순방향 움직임 보상은 서브시퀀트 P 픽쳐의 매크로블록이 참조한 레퍼런스 픽쳐로부터 다이렉트 모드의 순방향 움직임 벡터를 구하는 대신, B 픽쳐에서 가장 가까운 레퍼런스 픽쳐로부터 순방향 움직임 벡터를 구하여 그 레퍼런스 픽쳐로부터 움직임 보상을 하는 기법이 사용된다.

그러나, 다이렉트 모드의 순방향 움직임 보상을 구하는 종래의 기법은 장면 변화가 자주 발생하는 뉴스나 영화와 같은 영상 시퀀스(sequence)에서 큰 문제점을 갖고 있다.

예를 들어, 다중 레퍼런스 프레임 버퍼를 사용하는 동영상 코딩 시스템은 장면 변화가 발생한 서브시퀀트 P 픽쳐를 먼저 코딩하고 이때, P 픽쳐는 short term 레퍼런스 픽쳐들이 전혀 다른 장면이기 때문에 long term 버퍼에 있는 레퍼런스 픽쳐로부터 움직임 보상이 이루어진다.

따라서, 다음에 코딩하게 되는 B 픽쳐는 서브시퀀트 P 픽쳐가 참조한 동일한 long term 레퍼런스 픽쳐로부터 다이렉트 모드의 순방향 움직임 보상을 해야 한다.

그러나, 종래의 기법에 따르면 B 픽쳐로부터 가장 가까운 레퍼런스 픽쳐로부터 순방향 움직임 보상이 이루어지므로 최종적인 예측값은 원래 영상과 큰 오차를 갖게 되어 다이렉트 모드가 선택될 가능성이 매우 낮게 되고 결국 다이렉트 모드를 선택할 수 있음에도 불구하고 다른 모드가 선택됨으로써 B 픽쳐의 코딩 효율이 감소하는 결과를 유발하게 된다.

이에, 본 발명은 종래의 문제점을 개선하기 위하여 다중 레퍼런스 프레임 버퍼(multiple reference frame buffer)를 이용한 예측 연산을 수행하는 동영상 코딩 시스템에서 장면 변화가 발생한 P 픽쳐 사이의 B 픽쳐를 코딩(또는 복호)할 때 long term 버퍼에 있는 레퍼런스 픽쳐로부터 다이렉트 모드의 순방향 움직임 벡터를 산출하고 동일 레퍼런스 픽쳐로부터 움직임 보상이 이루어질 수 있도록 새로운 신택스 엘리먼트를 B 픽쳐의 슬라이스 레이어에 추가하도록 창안한 장면 변화 신택스 엘리먼트 추가에 의한 B 픽쳐의 개선된 다이렉트 예측 방법을 제공함에 목적이 있다.

즉, 본 발명은 B 픽쳐의 다이렉트 예측 모드(direct prediction mode)에 대해 서브시퀀트 P 픽쳐가 참조하는 long term 레퍼런스 픽쳐(long term reference picture)로부터 순방향 움직임 벡터(forward motion vector)를 산출하고 움직임 보상(motion compensation)을 지시하는 신택스 엘리먼트를 추가하여 B 픽쳐의 코딩 효율을 향상시키도록 함을 목적으로 한다.

본 발명은 상기의 목적을 달성하기 위하여 동영상 코딩 시스템의 다이렉트 모드에 있어서, 현재 B 픽쳐를 중심으로 이전 P 픽쳐와 서브시퀀트(subsequent) P 픽쳐 사이에 장면 변화가 발생하지 않는 경우에 현재 코딩(또는 복호)하려는 B 픽쳐로부터 가장 가까운 short term 레퍼런스 픽쳐로부터 순방향 움직임 벡터를 유도하여 움직임 보상을 수행하고 반대로, 연속된 두장의 P 픽쳐 사이에 장면 변화가 있을 경우에 서브시퀀트 P 픽쳐가 참조하는 long term 레퍼런스 픽쳐로부터 순방향 움직임 벡터를 유도하여 움직임 보상을 할 수 있도록 구성함을 특징으로 한다.

이를 위해 B 픽쳐의 슬라이스 레이어에 장면 변화 유무를 알리는 신택스 엘리먼트를 추가하도록 한다.

본 발명에서는 추가되는 신택스 엘리먼트를 "scene change"라 부르기로 한다.

즉, 본 발명은 동영상 코딩 시스템의 B 픽쳐 다이렉트 모드에서의 블록 예측 방법에 있어서, 프레임을 복호하면서 슬라이스 레이어(slice layer)의 픽쳐 타입 신택스 엘리먼트를 참조하여 현재 복호화될 픽쳐 타입을 판단하는 제1 단계와, 상기에서 B 픽쳐 타입으로 판단되면 장면 변화가 발생하였는지를 신택스 엘리먼트를 참조하여 판단하는 제2 단계와, 상기에서 장면 변화가 없으면 현재 B 픽쳐의 다이렉트 모드의 순방향 움직임 벡터를 가장 가까운 레퍼런스 픽쳐로부터 산출하는 제3 단계와, 상기에서 장면 변화가 있는 것으로 확인되면 서브시퀀트 P 픽쳐가 참조하는 long term 레퍼런스 픽쳐로부터 다이렉트 모드의 순방향 움직임 벡터를 산출하여 순방향 움직임 보상값을 구하고, 서브시퀀트 P 픽쳐로부터 역방향 움직임 벡터를 유도하고 역방향 움직임 보상값을 구하는 제4 단계와, 상기에서 구한 순방향 움직임 보상값과 역방향 움직임 보상값을 평균 또는 보간 연산하여 현재 복호하려는 B 픽쳐의 매크로블록을 예측하는 제5 단계로 이루어짐을 특징으로 한다.

이하, 본 발명을 도면에 의거 상세히 설명하면 다음과 같다.

도2에 H.26L 코덱의 종래 슬라이스 레이어 구성도를 도시하고 도3에는 본 발명에 의해 "scene change" 신택스 엘리먼트가 추가된 슬라이스 레이어 구성도를 도시하였다.

"scene change" 신택스 엘리먼트는 서브시퀀트 P 픽쳐가 코딩(또는 복호)될 때 장면 변화가 발생하였는지를 검사한 결과를 토대로 서브시퀀트 P 픽쳐에서 장면 변화가 없을 때 코드 넘버 '0'값을 갖고 장면 변화가 발생하였을 때 코드 넘버 '1'값을 갖도록 한다.

도4는 본 발명의 실시예에서 부호기 및 복호기에서의 다이렉트 모드의 예측값을 구하기 위한 동작 순서도를 도시한 것이다.

도4(a)의 복호기는 프레임을 복호하면서 슬라이스 레이어의 픽쳐 타입 신택스 엘리먼트를 참조하여 현재 복호화될 픽쳐 타입을 판단하는 제1 단계와, 상기에서 B 픽쳐 타입으로 판단되면 다이렉트 모드의 예측값을 구하기 위해 장면 변화 유무를 알려주는 "scene change" 신택스 엘리먼트를 참조하여 장면 변화가 발생하였는지를 판단하는 제2 단계와, 상기에서 scene change 값이 '0'일 때 즉, P 픽쳐와 서브시퀀트 P 픽쳐 사이에 장면 변화가 없는 것으로 확인되면 현재 복호하려는 B 픽쳐에 대해 가장 가까운 short term 레퍼런스 픽쳐로부터 순방향 움직임 벡터를 유도하여 움직임을 보상하는 제3 단계와, 상기에서 scene change 값이 '1'일 때 즉, 이전 P 픽쳐와 서브시퀀트 P 픽쳐 사이에 장면 변화가 있으면 서브시퀀트 P 픽쳐가 참조하는 동일한 long term 레퍼런스 픽쳐로부터 순방향 움직임 벡터를 유도하고 순방향 움직임 보상값을 구하고, 서브시퀀트 P 픽쳐로부터 역방향 움직임 벡터를 유도하고 역방향 움직임 보상값을 구하는 제4 단계와, 상기에서 구한 순방향 움직임 보상값과 역방향 움직임 보상값을 평균 또는 보간 연산하여 현재 복호하려는 B 픽쳐의 매크로블록을 예측하는 제5 단계를 수행하도록 구성한다.

본 발명의 실시예를 위한 도4(a)의 복호기와 도4(b)의 부호기 사이의 차이점은 단지 다른 역할 즉, 코딩 동작 아니면 복호 동작을 수행하는 것 외에 나머지 과정은 동일하게 이루어진다.

즉, 부호기는 부호화할 현재 픽쳐가 I 픽쳐인지, P 픽쳐인지 또는 B 픽쳐인지를 "picture type" 신택스 엘리먼트에 기록하는 단계와, 상기에서 B 픽쳐일 경우 서브시퀀트 P 픽쳐가 코딩될 때 장면 변화가 발생하였는지를 검사한 결과를 토대로 장면 변화 유무를 알려주는 정보를 "scene change" 신택스 엘리먼트에 기록하는 단계만이 복호기의 동작과 다른 점이다.

그리고, 나머지 단계는 복호기와 동일하게 수행된다.

본 발명에서는 부호기에 서브시퀀트 P 픽쳐를 코딩할 때 이전 P 픽쳐로부터 장면 변화가 발생하였는지를 검사하는 과정에 대한 상세 설명은 생략하기로 한다.

본 발명의 실시예에서는 도5와 도6의 움직임 벡터 예시도에서 복호하려는 B 픽쳐가 각각 B163, B193인 경우를 예를 들어 설명하기로 한다.

도5와 도6의 예시도에서 구간 S1,S2,S3는 서로 다른 종류의 영상이라고 가정한다.

동영상 코딩 시스템은 B 픽쳐(B163, B193)를 복호하기 전에 P 픽쳐(P165, P195)를 각각 먼저 복호하게 된다.

우선, 각 B 픽쳐는 도3과 같은 슬라이스 레이어를 구성하는 각 신택스 엘리먼트를 순차적으로 참조한다.

만일, "scene change"가 '1'이면 이전 P 픽쳐와 서브시퀀트 P 픽쳐 사이에 장면 변화가 발생한 것으로 판단하고 반대로, "scene change"가 '0'이면 두 픽쳐 사이에 장면 변화가 없는 것으로 판단한다.

이에 따라, 다이렉트 모드의 예측값을 얻기 위해 장면 변화가 발생되지 않은 경우 도5의 예시도와 같은 방법으로 순방향 움직임 벡터()를 유도하며 반대로, 장면 변화가 발생된 경우 도6의 예시도와 같은 방법으로 순방향 움직임 벡터()를 유도하게 된다.

이를 구분하여 각기 설명하면 다음과 같다.

우선, 장면 변화가 없다고 판단한 경우를 도5의 움직임 벡터 예시도를 참조하여 설명하기로 한다.

도5에서 는 서브시퀀트 P 픽쳐(P165)의 움직임 벡터, 는 가장 가까운 short term 레퍼런스 픽쳐(P162)로부터 유도된 다이렉트 모드의 순방향 움직임 벡터, 는 서브시퀀트 P 픽쳐(P165)로부터 유도된 다이렉트 모드의 역방향 움직임 벡터, 는 현재 B 픽쳐(B163)의 블록, 는 B 픽쳐와 동일 위치에 있는 서브시퀀트 P 픽쳐(P165)의 블록, 는 순방향 움직임 벡터()에 의해 순방향 움직임 보상에 사용될 가장 가까운 short term 레퍼런스 픽쳐(P156)의 블록, 는 역방향 움직임 벡터()에 의해 역방향 움직임 보상에 사용될 서브시퀀트 P 픽쳐(P165)의 블록이다.

이때, 순방향 움직임 벡터()와 역방향 움직임 벡터()는 아래의 [수학식 1]과 [수학식 2]에 의해 각기 구해진다.

[수학식 1]과 [수학식 2]에서 는 서브시퀀트 P 픽쳐(P165)가 참조하는 short term 레퍼런스 픽쳐(P156)와 서브시퀀트 P 픽쳐(P165) 간의 시간적 거리, 는 서브시퀀트 P 픽쳐(P165)가 참조하는 short term 레퍼런스 픽쳐(P156)로부터 현재 B 픽쳐(B163)까지의 시간적 거리, 는 가장 가까운 short term 레퍼런스 픽쳐(P162)로부터 현재 B 픽쳐(B163)까지의 거리를 의미한다.

즉, 상기의 방법은 현재 B 픽쳐(B163)의 다이렉트 순방향 움직임 벡터를 가장 가까운 거리의 레퍼런스 픽쳐(P162)로부터 유도함으로써 코딩 효율을 높이도록 하였다.

반대로, 장면 변화가 발생하였다고 판단한 경우를 도6의 움직임 벡터 예시도를 참조하여 설명하기로 한다.

도6에서 는 서브시퀀트 P 픽쳐(P195)가 long term 레퍼런스 픽쳐(P102)에서 발견한 움직임 벡터, 는 서브시퀀트 P 픽쳐(P195)가 참조하는 long term 레퍼런스 픽쳐(P102)로부터 유도된 다이렉트 모드의 순방향 움직임 벡터, 는 서브시퀀트 P 픽쳐(P195)로부터 유도된 다이렉트 모드의 역방향 움직임 벡터, 는 현재 B 픽쳐(B193)의 블록, 는 B 픽쳐와 동일 위치에 있는 서브시퀀트 P 픽쳐(P195)의 블록, 는 순방향 움직임 벡터()에 의해 순방향 움직임 보상에 사용될 long term 레퍼런스 픽쳐(P102)의 블록, 는 역방향 움직임 벡터()에 의해 역방향 움직임 보상에 사용될 서브시퀀트 P 픽쳐(P195)의 블록이다.

이때, 순방향 움직임 벡터()는 상기 [수학식 1]과 다른 방법으로 아래의 [수학식 3]에 의해 long term 레퍼런스 픽쳐(P102)에서 구하고 역방향 움직임 벡터()는 상기의 [수학식 2]에 의해 구한다.

[수학식 3]에서 는 서브시퀀트 P 픽쳐(P195)가 참조하는 long term 레퍼런스 픽쳐(P102)와 서브시퀀트 P 픽쳐(P195) 간의 시간적 거리, 는 서브시퀀트 P 픽쳐(P195)가 참조하는 long term 레퍼런스 픽쳐(P102)로부터 현재 B 픽쳐(B193)까지의 시간적 거리를 의미한다.

즉, 이 방법은 B 픽쳐(B193) 양쪽에 존재하는 P 픽쳐들(P192, P195)이 서로 다른 장면일 때 B 픽쳐(B193)로부터 가장 가까운 레퍼런스 픽쳐(P192)로부터 움직임 벡터를 유도하여 움직임 보상을 하게 되면 실제와는 매우 큰 차이가 발생하여 다이렉트 모드의 선택 가능성은 매우 낮으므로 이 문제점을 개선하기 위하여 서브시퀀트 P 픽쳐(P195)가 참조하는 long term 레퍼런스 픽쳐(P102)로부터 순방향 움직임 벡터()를 유도하여 움직임 보상을 하는 과정을 설명한 것이다.

따라서, 상기와 같은 방법으로 움직임 벡터()()를 구하여 움직임 보상을 각 방향에서 하고 두 값을 평균 또는 보간 연산하여 B 픽쳐(B193)의 블록()을 예측하게 된다.

상기에서 상세히 설명한 바와 같이 본 발명은 B 픽쳐를 중심으로 이전 P 픽쳐와 서브시퀀트 P 픽쳐 사이의 장면 변화(scene change) 유무에 따라 다이렉트 모드의 순방향 움직임 벡터를 가장 가까운 레퍼런스 픽쳐 또는 서브시퀀트 P 픽쳐가 참조하는 long term 레퍼런스 픽쳐로부터 유도하도록 하여 최종적으로 다이렉트 모드가 예측 모드로 선택될 가능성을 높임으로써 B 픽쳐의 코딩 효율을 향상시킬 수 있는 효과가 있다.

도1은 디스플레이 순서와 코딩 순서 예시도.

도2는 종래의 슬라이스 레이어의 신택스 다이어그램.

도3은 본 발명의 실시예에서 슬라이스 레이어의 신택스 다이어그램.

도4는 본 발명의 실시예에서 움직임 벡터 선택을 위한 동작 순서도.

도5는 본 발명의 실시예에서 장면 변화가 없는 경우 움직임 벡터 예시도.

도6은 본 발명의 실시예에서 장면 변화 발생시의 움직임 벡터 예시도.

Claims (3)

1. 동영상 코딩 시스템의 B 픽쳐 다이렉트 모드에서의 블록 예측 방법에 있어서, 프레임을 복호하면서 슬라이스 레이어(slice layer)를 참조하여 현재 복호화될 픽쳐 타입을 판단하는 단계와,

   상기에서 B 픽쳐 타입으로 판단되면 장면 변화가 발생하였는지를 판단하는 단계와,

   상기에서 장면 변화가 없으면 현재 B 픽쳐의 다이렉트 모드의 순방향 움직임 벡터를 가장 가까운 레퍼런스 픽쳐로부터 산출하는 단계와,

   상기에서 장면 변화가 있는 것으로 확인되면 서브시퀀트 P 픽쳐가 참조하는 long term 레퍼런스 픽쳐로부터 다이렉트 모드의 순방향 움직임 벡터를 산출하고 서브시퀀트 P 픽쳐로부터 역방향 움직임 벡터를 유도하고 역방향 움직임 보상값을 구하는 단계와,

   상기에서 구한 순방향 움직임 보상값과 역방향 움직임 보상값을 평균 또는 보간 연산하여 현재 복호하려는 B 픽쳐의 매크로블록을 예측하는 단계로 이루어짐을 특징으로 하는 장면 변화 신택스 엘리먼트 추가에 의한 B 픽쳐의 개선된 다이렉트 예측 방법.
2. 제1항에 있어서, 슬라이스 레이어(slice layer)는 B 픽쳐 양쪽에 존재하는 P 픽쳐 사이에 장면 변화 발생 여부를 알리는 신택스 엘리먼트를 포함하는 것을 특징으로 하는 장면 변화 신택스 엘리먼트 추가에 의한 B 픽쳐의 개선된 다이렉트 예측 방법.
3. 제2항에 있어서, 신택스 엘리먼트 값이 '1'이면 두 P 픽쳐 사이에 장면 변화가 발생한 것으로 판단하고 반대로, '0'이면 두 P 픽쳐 사이에 장면 변화가 발생하지 않은 것으로 판단하도록 구성함을 특징으로 하는 장면 변화 신택스 엘리먼트 추가에 의한 B 픽쳐의 개선된 다이렉트 예측 방법.