KR100783396B1 - 부호기의 서브밴드 분할을 이용한 시공간 스케일러빌러티방법 - Google Patents

Abstract

본 발명은 비디오 코딩 기법에서, 시간 스케일러빌러티(temporal scalabililty)와 공간 스케일러빌러티(spatial scalabililty)를 혼합하여 부호화 효율을 향상시키고 계산량을 대폭적으로 줄이는 기술에 관한 것이다. 이러한 본 발명은, 입력 영상 시퀀스를 시간 축에 따라 샘플링하여 낮은 프레임 주파수를 갖는 기본계층(BL)의 영상과 높은 프레임 주파수를 갖는 확장계층(EL)의 영상으로 분류하는 제1과정과; 상기 기본계층(BL)과 확장계층(EL)의 영상을 4개의 서브밴드(LL,LH,HL,HH)로 분할하고, 그 중에서 저주파 성분의 서브밴드(LL)는 낮은 공간 해상도의 기본계층(BL)을 위해 부호화 처리하고, 다른 고주파 성분의 서브밴드(LH,HL,HH)는 높은 공간 해상도의 확장계층(EL)에서 부호화 처리하는 제2과정과; 낮은 시간 해상도의 영상은 기본계층(BL)의 부호화 데이터를 복호하여 획득하고, 높은 시간 해상도의 영상은 기본계층(BL)과 확장계층(EL)의 부호화 데이터를 함께 복호하여 획득하는 재3과정과; 낮은 공간 해상도를 갖는 영상은 기본계층(BL)의 서브밴드(LL)를 복호하여 획득하고, 높은 공간 해상도의 영상은 저주파 성분인 서브밴드(LL)와 고주파 성분(LH,HL,HH)을 함께 복호하여 획득하는 제4과정에 의해 달성된다.

Description

부호기의 서브밴드 분할을 이용한 시공간 스케일러빌러티 방법{SPATIO-TEMPORAL HYBRID SCALABLE VIDEO CODING USING SUBBAND DECOMPOSITION}

도 1은 본 발명의 시공간 스케일러빌러티를 이용한 비디오 부호기/복호기의 블록도.

도 2는 본 발명에서 복호 가능한 4가지 시공간 해상도에 대한 설명도.

도 3은 도 1의 부호기에서의 서브밴드를 이용한 공간 스케일러빌러티의 블록도.

***도면의 주요 부분에 대한 부호의 설명***

10 : 부호기 11 : 시간 스케일러빌러티

12 : 공간 스케일러빌러티 12A,12B : 서브밴드 코딩부

20 : 복호기 21 : 공간 디코더

21A,21C : BL 디코딩부 21B,21D : EL 디코딩부

22 : 시간 디코더 22A,22B : 시간 디코딩부

본 발명은 비디오 코딩 기법에서 사용되는 스케일러빌러티(scalabililty)에 관한 것으로, 특히 시간 스케일러빌러티(temporal scalabililty)와 공간 스케일러빌러티(spatial scalabililty)를 혼합하여 부호화 효율을 향상시키고 계산량을 대폭적으로 줄일 수 있도록 한 부호기의 서브밴드 분할을 이용한 시공간 스케일러빌러티 방법에 관한 것이다.

인터넷 상에서 통상의 비디오 통신의 경우, 전송 대역에 대한 네트워크의 서비스 품질이 보증되고 있지 않으므로 동영상을 높은 부호화 속도로 안정되게 전송하는데 어려움이 있었다. 또한, 처리 능력이 낮은 복호기에서는 수신한 부호화 데이터를 완전히 복호할 수 없는 경우도 빈번이 발생되었다.

따라서, 부호기에서는 복호기의 처리 능력에 따라 고해상도 및 저해상도의 부호화 데이터를 생성하고 이를 복호기측으로 전송하여 복호기에 적합한 서비스를 제공하게 되는데, 만일 네트워크 상태가 악화되었을 경우 어느 정도의 화질 저하를 감수할 지라도 저해상도의 품질을 보증할 수 있어야 한다. 이러한 것은 스케일러빌러티 기법에 의해 가능하다.

스케일러빌러티란 하나의 비트열로부터 다양한 레벨의 비디오 화질을 제공하는 기술을 의미한다. 스케일러빌러티는 공간 스케일러빌러티(spatial scalabililty), 시간 스케일러빌러티(temporal scalabililty), SNR 스케일러빌러티(SNR scalabililty) 등 크게 세가지로 분류할 수 있고, 이러한 각각의 스케일러빌러티는 통합되어 하나의 비트열로 구현될 수 있다.

공간 스케일러빌러티는 공간 해상도가 낮은 계층을 기본계층(BL: Base Layer), 높은 계층을 확장계층(EL: Enhancement Layer)으로 분류하고, 확장계층에서는 기본계층의 영상을 업 샘플링하여 기본계층에 비해 4배 크기의 영상을 생성하고, 확장계층의 영상으로부터 뿐만 아니라 그 보간된 영상으로부터도 예측함으로써, 보다 높은 효율의 부호화를 실현한다.

시간 스케일러빌러티는 공간 해상도를 일정하게 유지하면서 1초당 프레임 주파수가 다르게 할 수 있는 기법으로 시간 해상도가 낮은 계층을 기본계층, 높은 계층을 확장계층에 나누어 부호화를 수행한다. 높은 해상도를 갖는 영상 시퀀스는 낮은 해상도를 갖는 영상 시퀀스에 B 픽쳐를 삽입하는 것에 의해 얻어지게 되는데, B 픽쳐에 대한 예측 부호화 방법은 순방향(forward), 역방향(backward), 양방향(bidirectional), 다이렉트(direct), 그리고 인트라(intra) 등 5가지 모드가 있다.

한편, 상기 SNR 스케일러빌러티는 화질이 다른 두 개의 영상 시퀀스를 효율적으로 부호화하여 동시에 전송할 수 있는 기법으로 화질이 낮은 계층을 기본계층, 높은 계층을 확장 계층으로 분류하게 된다.

그러나, 이와 같은 종래의 공간 스케일러빌러티 구현 방법에서는 업 샘플링 및 다운 샘플링을 이용하는 피라미드 분할 방법을 이용하는데, 이 경우에 얻어지는 전체 비트량은 시뮬캐스트(simulcast) 경우와 같이 각 기본계층과 확장계층을 부호화하여 얻게 되는 비트량의 합과 큰 차이가 없게 된다. 다시 말해서, 스케일러빌러티의 장점 중 하나인 부호화 효율 향상을 기대할 수 없게 되는 결함이 있었다.

따라서, 본 발명의 목적은 시간 스케일러빌러티와 공간 스케일러빌러티를 통합한 형태의 시공간 스케일러빌러티를 이용하여 하나의 비트열을 부호화 함으로써 복호기의 처리 능력에 따라 4가지의 해상도를 제공하는 부호화 방법을 제공함에 있다.

본 발명의 또 다른 목적은 통상의 시간 스케일러빌러티에 사용되는 5가지 예측 부호화 방법 대신 단지 영상 시퀀스에서 샘플링을 통해 기본계층과 확장계층으로 분류하고, 공간 스케일러빌러티의 문제점을 서브밴드 분할에 의해 해결하는데 있다.

본 발명의 시공간 스케일러빌러티의 구현을 위한 제1특징에 따르면, 첫째, 영상 시퀀스에 대해 시간축에 따라 샘플링 함으로써, 낮은 프레임 주파수를 갖는 기본계층의 영상과 높은 프레임 주파수를 갖는 확장계층의 영상으로 분류되게 하는 것이고, 둘째, 각 계층에 대해 서브밴드 분할을 통한 공간 스케일러빌러티를 적용함으로써, 낮은 시간 해상도를 갖는 기본계층은 낮은 공간 해상도와 높은 공간 해상도를 갖는 두 개의 계층으로 분리되고, 또한, 높은 시간 해상도를 갖는 확장계층도 낮은 공간 해상도와 높은 공간 해상도를 갖는 두 개의 계층으로 분리되도록 하는 것이다.

본 발명의 제2특징에 따르면, 통상의 시간 스케일러빌러티의 5가지 모드의 예측 부호화를 사용하는 것이 아니라, 간단한 방법으로 다양한 시간 해상도를 갖는 영상 시퀀스를 복원해 낼 수 있도록 한 것이다. 즉, 낮은 시간 해상도를 갖는 영상은 시간 스케일러빌러티의 기본계층을 복호화 함으로써 얻을 수 있게 하고, 높은 시간 해상도의 영상은 기본계층과 확장계층의 부호화 데이터를 복호화 함으로써 얻을 수 있게 한 것이다.

본 발명의 제3특징에 따르면, 본 발명의 서브밴드를 이용한 공간 스케일러빌러티 구현을 위해 각 영상은 4개의 서브밴드 LL,LH,HL,HH로 분할되고, 저주파 성분의 서브밴드 LL은 기본계층을 위해 부호화 되며, 다른 고주파 성분의 LH,HL,HH는 확장계층에서 부호화 된다. 또한, 복호기에서는 낮은 공간 해상도를 갖는 영상은 기본계층의 LL 서브밴드를 복호화 함으로써 얻을 수 있고, 높은 공간 해상도의 영상은 저주파 성분인 LL 서브밴드와 고주파 성분인 LH,HL,HH를 함께 복호함으로써 얻게 된다.

특히, 본 발명에서 높은 공간 해상도를 갖는 영상 부호화 방법에 있어서, 기본계층의 LL 서브밴드의 움직임 보상(Motion compensation) 과정 중에 구한 움직임 벡터(Motion vector)의 업 샘플링한 값을 확장계층의 움직임 보상에 사용하게 되므로 확장계층의 움직임 보상의 계산 시간이 대폭적으로 단축되는 특징이 있다.

본 발명에 의한 부호기의 서브밴드 분할을 이용한 시공간 스케일러빌러티 방법은, 입력 영상 시퀀스를 시간 축에 따라 샘플링하여 낮은 프레임 주파수를 갖는 기본계층(BL)의 영상과 높은 프레임 주파수를 갖는 확장계층(EL)의 영상으로 분류 하는 제1과정과; 상기 기본계층(BL)과 확장계층(EL)의 영상을 4개의 서브밴드(LL,LH,HL,HH)로 분할하고, 그 중에서 저주파 성분의 서브밴드(LL)는 낮은 공간 해상도의 기본계층(BL)을 위해 부호화 처리하고, 다른 고주파 성분의 서브밴드(LH,HL,HH)는 높은 공간 해상도의 확장계층(EL)에서 부호화 처리하는 제2과정과; 낮은 시간 해상도의 영상은 기본계층(BL)의 부호화 데이터를 복호하여 획득하고, 높은 시간 해상도의 영상은 기본계층(BL)과 확장계층(EL)의 부호화 데이터를 함께 복호하여 획득하는 제3과정과; 낮은 공간 해상도를 갖는 영상은 기본계층(BL)의 서브밴드(LL)를 복호하여 획득하고, 높은 공간 해상도의 영상은 저주파 성분인 서브밴드(LL)와 고주파 성분(LH,HL,HH)을 함께 복호하여 획득하는 제4과정으로 이루어지는 것으로, 이와 같은 본 발명의 스케일러빌러티 기법을 첨부한 도 1 내지 도 3을 참조하여 상세히 설명하면 다음과 같다.

본 발명의 스케일러빌러티 기법이 적용되는 비디오 부호기/복호기는 도 1과 같은 구조를 갖는다. 여기서, "BL"은 기본계층(BL: Base Layer), "EL"은 확장계층(EL: Enhancement Layer)을 의미한다.

입력 영상 시퀀스는 부호기(10)의 시간 스케일러빌러티(11)에서 시간 축에 따라 샘플링을 되어 단순히 낮은 프레임 주파수를 갖는 기본계층(BL)의 영상과 높은 프레임 주파수를 갖는 확장계층(EL)의 영상으로 분류된다.

그리고, 복호기(20)에서는 낮은 시간 해상도의 영상은 기본계층(BL)의 부호화 데이터를 복호하여 얻을 수 있고, 높은 시간 해상도의 영상은 기본계층(BL)과 확장계층(EL)의 부호화 데이터를 함께 복호함으로써 얻을 수 있다.

서브밴드를 이용한 공간 스케일러빌러티(12)의 서브밴드 코딩부(12A),(12B)에서는 시간 스케일러빌러티(11)의 기본계층(BL)과 확장계층(EL)에 있는 각 영상을 4개의 서브밴드 LL,LH,HL,HH로 분할하고, 저주파 성분의 서브밴드 LL은 낮은 공간 해상도의 기본계층(BL)을 위해 부호화 되며, 다른 고주파 성분의 서브밴드 LH,HL,HH는 높은 공간 해상도의 확장계층(EL)에서 부호화 된다.

복호기(20)에서는 낮은 공간 해상도를 갖는 영상은 기본계층(BL)의 LL 서브밴드를 복호함으로써 얻을 수 있고, 높은 공간 해상도의 영상은 저주파 성분인 LL 서브밴드와 고주파 성분인 LH,HL,HH를 함께 복호함으로써 얻을 수 있게 된다.

따라서, 입력된 영상 시퀀스에 대해 4가지의 서로 다른 시공간 해상도를 갖는 영상신호를 제공할 수 있게 되는 것이다. 도 2에서 [낮은 시간 해상도/낮은 공간 해상도],[낮은 시간 해상도/높은 공간 해상도],[높은 시간 해상도/낮은 공간 해상도], 그리고, [높은 시간 해상도/높은 공간 해상도]에 대한 예를 보여주고 있다. 여기서, "I"는 인트라 픽쳐(Intra picture), "P"는 예측 픽쳐(Predictive picture), "B"는 양방향 픽쳐(Bidirectional picture), "EI"는 확장된 I 픽쳐(Enhanced I picture), "EP"는 확장된 P 픽쳐(Enhanced P picture), "EB"는 확장된 B 픽쳐(Enhanced B picture)를 의미한다.

본 발명의 서브밴드를 이용한 공간 스케일러빌러티에 대해 좀더 상세히 설명하면 다음과 같다.

낮은 시간 해상도를 갖는 기본계층(BL)과 높은 시간 해상도를 갖는 확장계층(EL)의 영상은 각각 수평, 수직 방향으로 저주파 성분을 갖는 서브밴드 LL 과 고주파 성분의 LH,HL,HH 서브밴드로 분할되고, 각 저주파 및 고주파 서브밴드는 비트량 감소를 위해 움직임 보상에 의해 부호화 처리된다.

이때, 중요한 것은 움직임 보상은 영상의 공간 영역에서 이루어지므로 주파수 영역의 서브밴드들은 움직임 보상을 위해 공간 영역으로 다시 합성(composition)되어야 한다는 것이다. 비록, LL 서브밴드는 독립적으로 움직임 보상을 통해 부호화될 수 있지만, 나머지 고주파 성분의 서브밴드 움직임 보상은 복호된 저주파 성분 LL 서브밴드와 복호된 고주파 성분 서브밴드들을 이용하여 합성한 후 부호화 된다.

또한, 움직임 보상에 사용되는 움직임 벡터는 LL 서브밴드에서 구한 벡터 값을 업 샘플링한 값으로서 따로 고주파 성분에서의 움직임 벡터를 구하려는 과정이 필요없게 된다. 즉, 높은 공간 해상도에서의 움직임 벡터를 구하는 과정을 생략함으로써 계산량이 대폭적으로 줄어든다.

움직임 보상된 고해상도 영상은 다시 분할되고, LL 서브밴드는 제거되며, 고주파 성분의 서브밴드들은 차분 부호화(residual coding)에 사용된다. 도 3은 부호기(10)의 공간 스케일러빌러티(12)의 부호화 과정을 보인 것이다.

이상에서 상세히 설명한 바와 같이 본 발명에 의한 부호기는 4가지 종류의 부호화 데이터를 생성할 수 있어 복호기의 처리 능력에 따라 다양한 서비스를 제공할 수 있는 효과가 있다.

또한, 본 발명의 시간 스케일러빌러티는 통상의 5가지 예측 부호화를 수행하 지 않고, 단순히 기본계층과 확장계층에 해당하는 영상들을 선택하여 서브밴드 공간 스케일러빌러티에 전달하는 것 외에 다른 연산은 수행하지 않으므로 연산 처리시간이 대폭적으로 줄어드는 효과가 있다.

또한, 본 발명의 서브밴드를 이용한 공간 스케일러빌러티는 높은 공간 해상도를 갖는 영상의 움직임 보상에서 저주파 성분의 움직임 벡터 값을 업 샘플링하여 이용하게 되므로 계산량을 대폭적으로 줄일 수 있는 효과가 있다.

Claims (3)

1. 입력 영상 시퀀스를 시간 축에 따라 샘플링하여 낮은 프레임 주파수를 갖는 기본계층의 영상과 높은 프레임 주파수를 갖는 확장계층의 영상으로 분류하는 제1과정과;

   상기 기본계층과 확장계층의 영상을 4개의 서브밴드로 분할하고, 상기 4개의 서브밴드 중에서 저주파 성분의 서브밴드는 낮은 공간 해상도의 기본계층을 위해 부호화 처리하고, 다른 3개의 고주파 성분의 서브밴드는 높은 공간 해상도의 확장계층에서 부호화 처리하는 제2과정과;

   낮은 시간 해상도의 영상은 기본계층의 부호화 데이터를 복호하여 획득하고, 높은 시간 해상도의 영상은 기본계층과 확장계층의 부호화 데이터를 함께 복호하여 획득하는 제3과정과;

   낮은 공간 해상도를 갖는 영상은 기본계층의 서브밴드를 복호하여 획득하고, 높은 공간 해상도의 영상은 저주파 성분인 서브밴드와 고주파 성분을 함께 복호하여 획득하는 제4과정으로 이루어지는 것을 특징으로 하는 부호기의 서브밴드 분할을 이용한 시공간 스케일러빌러티 방법.
2. 제1항에 있어서, 제1과정은 높은 공간 해상도를 갖는 영상 부호화 시 기본계층의 서브밴드의 움직임 보상 과정 중에 구한 움직임 벡터의 업 샘플링한 값을 확장계층의 움직임 보상에 사용하여, 확장계층의 움직임 보상의 계산 시간을 단축하는 것을 특징으로 하는 부호기의 서브밴드 분할을 이용한 시공간 스케일러빌러티 방법.
3. 제1항에 있어서, 4개의 서브밴드는 저주파 성분의 [낮은 시간 해상도/낮은 공간 해상도]와, 고주파 성분의 [낮은 시간 해상도/높은 공간 해상도],[높은 시간 해상도/낮은 공간 해상도], [높은 시간 해상도/높은 공간 해상도]인 것을 특징으로 하는 부호기의 서브밴드 분할을 이용한 시공간 스케일러빌러티 방법.

Images