KR100778471B1 - 비디오 신호의 인코딩 또는 디코딩 방법 - Google Patents

Abstract

본 발명은 비디오 코딩의 스케일러빌러티 기법에서 확장 계층의 B 프레임을 적응적으로 선택하는 시간 스케일러빌러티를 사용하여 부호화 효율을 향상시키고 시간적 연속성을 극대화시키는 기술에 관한 것이다. 이러한 본 발명은, 기본 계층에 속하는 두 프레임 사이에 위치한 B 프레임의 인코딩 또는 디코딩 여부를 결정함에 있어서, 상기 기본 계층에 속하는 두 프레임 사이의 움직임 변화 정보를 얻는 단계와; 상기 B 프레임에 할당된 비트량을 얻는 단계와; 상기 얻어진 움직임 변화 정보와 상기 B 프레임에 할당된 비트량을 기반으로 상기 B 프레임의 인코딩 또는 디코딩 여부를 결정하는 단계에 의해 달성된다.

Description

비디오 신호의 인코딩 또는 디코딩 방법{METHOD FOR ENCODING OR DECODING OF VIDEO SIGNAL}

도 1은 시간 스케일러빌러티의 설명도.

도 2는 본 발명에서

= 5fps일 때의

의 확률값 설명도.

도 3은 본 발명에 의한 B-프레임 선택을 이용한 적응적 시간 스케일러빌러티 방법의 신호 흐름도.

***도면의 주요 부분에 대한 부호의 설명***

S1-S9 : 제1-9단계

본 발명은 비디오 코딩의 스케일러빌러티 기법 중 시간 스케일러빌러티 (temporal scalability)에 관한 것으로, 특히 확장 계층의 B 프레임을 적응적으로 선택하는 시간 스케일러빌러티를 사용하여 부호화 효율을 향상시키고 시간적 연속성을 극대화시키는데 적당하도록 한 B-프레임 선택을 이용한 적응적 시간 스케일러빌러티 방법에 관한 것이다.

저전송율(VLBR: low and very low bitrate)의 비디오 코딩에서, 기대되는 전송률을 만족시키기 위한 방법은 입력되는 프레임 시퀀스(frame sequence)로부터 일정 간격으로 프레임을 선택하고, 즉, 프레임 레이트(frame rate)를 줄이고 선택된 프레임 셋인 기본 계층(base layer)에 대해 수용할 만큼의 화질을 보장하는 부호화를 행함으로써 가능하다.

예를 들어, 초당 30 프레임의 프레임 레이트를 갖는 시퀀스에 대해 저전송률 비디오 코딩에서는 초당 5∼10 프레임의 레이트를 갖을 수 있다. 이러한 프레임 레이트의 감소는 시간 해상도(temporal resolution)를 떨어뜨리는 결과를 낳게 된다. 더욱이, 입력된 프레임 시퀀스로부터 선택되지 않은 프레임이 특정한 오브젝트를 포함하고 있을 때 부호화된 시퀀스에서는 이 오브젝트의 손실이 발생하게 된다.

이러한 시간 해상도의 손실을 막고 또한 부호화된 시퀀스의 움직임 연속성을 유지하기 위해, 이전에 선택되지 않은 프레임으로 구성된 확장 계층(enhancement layer)을 제공하는 기법이 바로 시간 스케일러빌러티(temporal scalability)이다. 원래의 스케일러빌러티 정의는 기본 계층에 확장 계층의 정보를 더한 하나의 비트열로부터 복호기의 성능에 따라 다양한 레벨의 화질을 선택적으로 서비스하는 메커니즘을 말한다. 이러한 스케일러빌러티는 이종의 네트워크(heterogeneous) 환경에서도 서로 다른 전송율의 프레임 셋을 재 부호화할 필요가 없고 다른 버전의 시퀀스를 따로 저장할 필요가 없게 되므로 계산량 및 저장 공간을 크게 절약하는 효과를 얻을 수 있다.

시간 스케일러빌러티는 두 개의 부호화된 기본 계층의 프레임 사이에 위치한 양방향 예측 가능한 B 프레임을 확장 계층으로 부호화 함으로써 정의된다(도 1 참조). 종래 기술에 의한 시간 스케일러빌러티는 기본 계층에 포함되지 않은 프레임들 중에서 일정한 간격으로 프레임을 선택하여 확장 계층에 포함시켜 구성하였다.

또 다른 구현 방법으로 기본 계층에 포함되지 않은 프레임들 모두를 일방적으로 포함시키는 방법을 들 수 있다. 이때, 확장 계층의 B 프레임에 대한 예측 부호화 방법에는 순방향(forward), 역방향(backward), 양방향(bidirectional), 다이렉트(direct), 그리고 인트라(intra) 등 5가지 모드가 있다.

그러나, 이와 같은 종래의 시간 스케일러빌러티는 낮은 프레임 레이트를 갖는 단일 계층 전송 기법에 비해 향상된 시간적 연속성을 얻을 수 있는 반면, 전자의 구현 방법에서는 확장 계층에 포함되지 않은 프레임이 별개의 오브젝트를 갖고 있으므로 시간적 연속성을 보장할 수 없고, 또한 후자의 구현 방법에 있어서는 기본 계층의 두 프레임 사이에 움직임이 거의 없는 경우 확장 계층으로 포함시킬 필 요가 없는 프레임을 부호화 하게 되므로 비트량을 낭비하게 되는 결함이 있었다.

따라서, 본 발명의 목적은 시간 스케일러빌러티의 요구 조건인 시간 해상도를 향상시킴과 동시에 부호화 효율을 극대화하기 위하여, B 프레임 선택 여부를 현재 프레임의 비트율 할당문제 및 기본 계층의 두 프레임 사이의 움직임 변화정보를 고려하여 결정하는 B-프레임 선택을 이용한 적응적 시간 스케일러빌러티 방법을 제공함에 있다.

본 발명에 의한 비디오 신호의 인코딩 또는 디코딩 방법은, 기본 계층에 속하는 두 프레임 사이에 위치한 B 프레임의 인코딩 또는 디코딩 여부를 결정함에 있어서, 상기 기본 계층에 속하는 두 프레임 사이의 움직임 변화 정보를 얻는 단계와; 상기 B 프레임에 할당된 비트량을 얻는 단계와; 상기 얻어진 움직임 변화 정보와 상기 B 프레임에 할당된 비트량을 기반으로 상기 B 프레임의 인코딩 또는 디코딩 여부를 결정하는 단계로 이루어지는 것으로, 이와 같은 본 발명의 작용을 첨부한 도 2 및 도 3을 참조하여 상세히 설명하면 다음과 같다.

현재 프레임이 B 프레임에 선택될지의 여부를 결정함에 있어서, 현재 프레임 의 비트율 할당 문제 및 기본 계층의 두 P 프레임 사이의 움직임 변화 정보를 고려하여 결정하게 되는데, 이를 위한 B 프레임 결정 함수를 다음과 같이 정의한다.

여기서,

는 현재 프레임,

는 B 프레임으로 부호화 될 프레임

의 결정 함수,

는 확장 계층의 비트율 할당에 기반한 프레임

의 확률,

는 프레임

양쪽에 있는 기본 계층의 P 프레임들 사이의 움직임 변화를 근거로 측정된 프레임

의 확률, 그리고,

는 스칼라 가중치로서

가 된다. 이때, 프레임

에 할당될 비트율이 움직임 요소보다 중요하게 작용하므로

값을

값보다 크게 설정한다. 그리고, 프레임 결정 함수

가 임의의 값

보다 크다면 현재 프레임

가 B 프레임으로 최종적으로 선택되어진다.

우선, 프레임 결정 함수에서 중요한 역할을 하는 비트량 할당(bitrate allocation)에 관해 살펴보기로 한다. 스케일러빌러티 기법을 사용할 때는 기본 계층 및 확장 계층을 위한 비트량이 초기에 결정되어 있으므로 B 프레임 선택에 있어서도 이런 조건을 만족하여야 한다.

즉, H.263+의 프레임 레이어 레이트 콘트롤(frame layer rate control)과 마찬가지로 B 프레임으로 선택된 확장 계층의 프레임들은 각각 정규화된 크기의 비트량을 가지고 있어야 하고, 또한 확장 계층의 모든 프레임들의 비트량 합은 초기에 결정된 확장 계층의 비트량보다 작거나 같아야 한다.

예를 들어, 기본 계층의 움직임 검사를 통해 두 프레임 사이의 움직임이 크 다는 정보를 얻어 현재 프레임

가 B 프레임으로 선택될 가능성이 높을지라도, 현재 프레임

의 비트량이 적게 할당되어 있는 경우에는 현재 프레임

를 선택하지 않는다.

이를 위해, 상기 프레임 결정 함수

에 현재 프레임

에 할당된 비트량을 확률로 나타내는 요소,

를 포함시켰고 기본 계층의 움직임 변화 요소,

보다 가중치를 더 크게 설정함으로써 할당될 비트량에 의해 현재 프레임 선택 여부가 결정되도록 하였다. 본 설명의 예에서는

,

으로 하였다. 현재 프레임의 비트량 할당을

의 확률로서 표현하는 방법은 다음과 같다.

을 기본 계층의 프레임 레이트,

과

을 각각 기본 계층과 확장 계층의 초기에 할당된 비트량(bitrate)이라고 가정한다. 우선, 본 설명에서는 기본 계층의 첫 프레임인 인트라 프레임(I frame)과 두 번째 프레임인 인터 프레임(P frame) 사이의 중간 위치에 있는 프레임을 확장 계층의 B 프레임으로 강제적으로 선택한다. 만일 두 프레임의 거리가 홀수라면 중간 위치 바로 오른쪽에 있는 프레임을 선택하기로 한다. 그리고, 그 프레임 뒤에 있는 확장 계층에 포함될 지 여부를 검사하는 모든 프레임에 대해 아래의 식과 같은 값을

에 할당한다.

여기서,

은 기본 계층의 두 P 프레임 사이에 포함되지 않은 프레임 수가 된다. 이것은 확장 계층에 포함 여부를 검사받는 모든 프레임의 간격이 된다. 도 2에서는

일 때의

값을 보여주고 있다. 상기

값으로부터 기 본 계층의 두 프레임 사이의 중간 위치에 있는 프레임이 높은

값을 갖고 있으므로 B 프레임으로 선택될 가능성이 높음을 알 수 있다.

즉, 통상의 시간 스케일러빌러티의 구현 방법에서와 같이 기본 계층의 두 프레임으로부터 거리가 동일한 프레임이 시간적 연속성을 유지하는데 적합하다는 이론을 여기에서도 이용하게 된다.

그러나, 여기에서는 두 프레임 사이의 움직임 변화 정보를 사용하게 되므로 반드시 중간 위치에 있는 프레임이 선택되는 것은 아니다. 예를 들어, 중간 위치에 있는 프레임

의

가 1이라 할지라도 기본 계층의 두 프레임 사이의 움직임이 거의 없다면 즉,

값이 매우 작다면 B 프레임으로 선택되지 않는다. 또는 두 프레임 사이의 움직임이 매우 크다면 즉,

과

이 큰 값을 갖는 경우

과

번째 프레임은 B 프레임으로 선택될 가능성이 매우 높아진다. 하지만, 상기에서 지적한 바와 같이 두 프레임 사이의 움직임 값이 매우 클지라도

값이 작으므로

프레임은 선택되지 않는다. 초당 30 프레임의 프레임 레이트를 갖는 입력 시퀀스에 대해 실제 선택된 B 프레임에 할당되는 비트량은 다음 수식에 의해 결정된다.

이 비트량은 선택된 B 프레임이 복호기의 출력단에서 보여질 때 허용할 만한 범위의 프레임 화질을 제공한다.

다음으로, B 프레임 결정 함수의 두 번째 요소인 기본 계층의 움직임 변화 확률,

에 대하여 설명한다. 먼저, 현재

프레임 양쪽에 있는 기본 계층의 두 P 프레임 사이의 차영상을 구하고, 그 영상의 히스토그램(HOD: Histogram of Difference Image)에서 0보다 큰 픽셀들의 개수를 구한다. 이런 조건을 만족하는 픽셀들은 두 프레임 사이에 움직임이 발생했을 때 얻어질 수 있다. 움직임이 발생한 픽셀들은 확률로 나타내는 방법은 차영상의 전체 픽셀 개수로 나누는 정규화 과정을 행함으로써 가능하다. 다음의 식은

를 정의한 것이다.

이제, B 프레임 선택을 이용한 적응적 시간 스케일러빌러티에 대한 전체적인 처리 과정을 설명한다. 상기한 바와 같이

는 일정한 패턴을 갖는 확률값이 반복적으로 확장 계층의 후보 프레임에 할당되므로 낮은

값을 갖는 프레임에 대해서는 결정 함수

를 구할 필요가 없다. 다시 말해서, 기본 계층의 두 프레임 사이의 중간 위치와 왼쪽에 있는 후보 프레임들이 높은

값을 갖고 있으므로 이 프레임들에 대해

를 적용한

를 구하여 선택 여부를 결정하면 된다. 이하, 도 3을 참조하여 B 프레임 선택 과정을 설명한다.

기본 계층의 첫 프레임과 두 번째 프레임 사이의 중간 위치에 있는 프레임을 B 프레임으로 강제적으로 선택한 후 모든 확장 계층의 후보 프레임에

를 할당한다(S1,S2).

기본 계층의 다음 두 P 프레임으로 이동한 후 두 프레임 사이의 움직임 변화 확률

를 구한다(S3-S5).

기본 계층의 움직임 변화를 확인하여 변화가 거의 없을 때에는 즉,

이 매우 작은 값을 가지고 있고, 이에 따라

값이 기 설정된 드레쉬홀드값

보다 작을 때에는 현재 프레임

를 선택하지 않고

번째 프레임으로 이동한다(S8,S9,S11).

그러나, 상기의 확인 결과 기본 계층의 움직임 변화가 많은 것으로 판명되면 이는

이 큰 값을 갖고 있는 것을 의미하므로

값이 드레쉬홀드값

보다 클때는 현재 프레임

를 B 프레임으로 선택한다.

이후,

프레임에 대해

을 구하고, 이를 상기

와 비교하여 그 비교 결과에 따라 B 프레임으로의 선택 여부를 결정한다.(S8-S11)

여기서,

과

는 같은 값이고,

프레임에 대해 동일한 과정을 적용하게 된다(S8-S11).

이상에서 상세히 설명한 바와 같이 본 발명은, 기본 계층의 두 P 프레임 사이에 움직임이 거의 없을 때 중간 위치의 프레임을 확장 계층으로 포함시키지 않으므로 부호화 효율이 향상되는 효과가 있다.

또한, 적응적 시간 스케일러빌러티 기법을 적용하여, 기본 계층의 두 프레임 사이에 갑작스건 움직임 변화가 있을 때 중간 위치의 프레임 및 이전 프레임까지 확장 계층으로의 선택 여부를 검사함으로써 시간적 연속성을 극대화 할 수 있는 효 과가 있다.

또한, 선택된 B 프레임에 합리적으로 비트량을 할당 함으로써, 항상 허용할 만한 범위의 화질을 보장할 수 있는 효과가 있다.

Claims (6)

1. 기본 계층에 속하는 두 프레임 사이에 위치한 B 프레임의 인코딩 또는 디코딩 여부를 결정함에 있어서,

   상기 기본 계층에 속하는 두 프레임 사이의 움직임 변화 정보를 얻는 단계와;

   상기 B 프레임에 할당된 비트량을 얻는 단계와;

   상기 얻어진 움직임 변화 정보와 상기 B 프레임에 할당된 비트량을 기반으로 상기 B 프레임의 인코딩 또는 디코딩 여부를 결정하는 단계로 이루어진 것을 특징으로 하는 비디오 신호의 인코딩 또는 디코딩 방법.
2. 삭제
3. 제1항에 있어서, 상기 B 프레임의 인코딩 또는 디코딩 여부를 결정하는 단계는,

   B 프레임 결정함수

   

   로 이루어지는 것을 특징으로 하는 비디오 신호의 인코딩 또는 디코딩 방법.

   여기서,

   

   = 현재 프레임,

   

   = B 프레임으로 부호화 될 프레임

   

   의 결정 함수,

   

   = 확장 계층의 비트율 할당에 기반한 프레임

   

   의 확률,

   

   = 프레임

   

   양쪽에 있는 기본 계층의 P 프레임들 사이의 움직임 변화를 근거로 측정된 프레임

   

   의 확률,

   

   ,

   

   =스칼라 가중치로서

   

   .
4. 제3항에 있어서, 상기 P(i)를 이루는 P_M(i)는,

   상기 기본 계층에 속하는 두 프레임 사이의 움직임 변화정보를 기반으로 하는 것을 특징으로 하는 비디오 신호의 인코딩 또는 디코딩 방법.
5. 제3항에 있어서, 상기 P(i)를 이루는 P_B(i)는,

   상기 B 프레임에 할당된 비트량을 기반으로 하는 것을 특징으로 하는 비디오 신호의 인코딩 또는 디코딩 방법.
6. 제5항에 있어서, 상기 B 프레임은,

   상기 확장 계층에 포함되는 것을 특징으로 하는 비디오 신호의 인코딩 또는 디코딩 방법.

Images