KR20090012986A - 스케일러블 비디오 부호화에서 계층간 예측모드 고속결정방법 - Google Patents

Abstract

본 발명은 스케일러블 비디오 부호화에서 계층간 예측모드 고속 결정방법에 관한 것으로, 각 계층으로 부호화하고자 하는 비디오 프레임을 입력하는 단계와, 상기 입력된 비디오 프레임에 대해 하위 계층의 움직임 부호화를 수행하는 단계와, 상기 하위 계층의 움직임 부호화 결과에 따른 결정 블록을 상위 계층의 움직임 부호화에 대응시키는 단계와, 상기 하위 계층의 움직임 부호화 결과에 따른 결정 블록의 움직임 벡터 정보를 이용하여 상기 상위 계층의 예측 후보 블록모드들을 결정하는 단계와, 상기 결정된 예측 후보 블록모드들에 대해 율-왜곡 비용을 계산한 후, 이를 이용하여 최종 부호화 블록모드를 결정하는 단계와, 입력되는 비디오 프레임의 부호화가 완료될 때까지 상기의 단계들을 반복적으로 적용하여 스케일러블 부호화를 수행하는 단계를 포함함으로써, 스케일러블 비디오 부호화 과정을 고속으로 수행하여 실시간 소프트웨어 스케일러블 비디오 부호화기 구현을 가능하게 할 수 있는 효과가 있다.

스케일러블 비디오, 예측모드 고속 결정, 움직임 예측, 부호화기

Description

스케일러블 비디오 부호화에서 계층간 예측모드 고속 결정방법{A FAST INTER-LAYER PREDICTION MODE DECISION METHOD IN SCALABLE VIDEO CODING}

본 발명은 스케일러블 비디오 부호화에서 계층간 예측모드 고속 결정방법에 관한 것으로, 보다 상세하게는 스케일러블 비디오 부호화 과정에서 부호화하고자 하는 입력 비디오를 공간 스케일러빌러티(Scalability)를 갖는 비트스트림(Bitstream)으로 부호화하고자 할 때, 공간 계층간 부호화에 있어서 하위 공간 계층에서의 부호화 수행 결과를 상위 공간 계층 입력 비디오를 부호화할 때 이용함으로써, 부호화 복잡도를 효과적으로 줄일 수 있도록 한 스케일러블 비디오 부호화에서 계층간 예측모드 고속 결정방법에 관한 것이다.

도 1은 종래 기술에 따른 SVC 부호화기의 율-왜곡 최적화 기반모드 결정방법을 설명하기 위한 흐름도로서, SVC(Scalable Video Coding) 부호화기의 기본 계층의 차 상위 향상 계층에서의 모드 결정 과정을 나타낸 흐름도이다.

도 1을 참조하면, 먼저, 향상 계층(Enhancement Layer)에서 같은 공간 지점 의 기본 계층(Base Layer)이 화면내(Intra) 예측모드로 부호화되었을 경우, 상위 계층에서는 하위 계층의 텍스쳐(Texture) 정보와 상위 계층의 텍스쳐 정보만을 이용하여 두 계층의 잔차 신호만을 부호화한다.

이러한 방식을 인트라_BL(Intra_BL) 모드라고 하며, 인트라_BL 예측 시 상위 계층으로 업샘플링(Up-Sampling)하기 위해서는 16×16 블록 크기일 경우 패딩(Padding)과 디블록킹(Deblocking) 필터를 이용하여 블로킹 현상을 제거한 후에 업샘플링 필터를 적용한다.

도 1에서 기본 계층 모드는 하위 기본 계층으로부터 예측하여 얻은 움직임 벡터를 아무런 보정(Refinement) 없이 그대로 사용하는 것을 의미한다. 이것은 기본 계층에서 1/4 화소 정밀도의 움직임 벡터를 2배 확대하여 얻은 움직임 벡터이므로 정밀도가 반화소(Half-Pixel) 수준으로 감소하게 된다.

그리고, 도 1에서 보정 모드(Refinement Mode)는 하위 계층으로부터 2배 확대하여 예측한 움직임 벡터의 정밀도를 1/4 화소 수준으로 맞추기 위하여 움직임 벡터를 보정하여 사용하는 모드이다.

이하에는 기본 계층과 차 상위 향상 계층사이에 공간 계층간 예측을 통하여 얻은 움직임 벡터와 블록모드 사이의 관계에 대하여 설명한다.

도 2는 업샘플링한 블록과 움직임 벡터의 예를 설명하기 위한 개념도로서, 도 2의 (a)는 기본 계층의 블록모드가 4×4∼8×8 블록모드인 경우 향상 계층의 해상도만큼 업샘플링한 영상의 블록모드를 나타낸다.

예를 들어, 도 2의 (a)에서 도시된 바와 같이 하위 계층의 블록모드가 8×4 블록모드라면 상위 계층의 동일한 영역은 16×8 블록모드가 되고, 이것은 향상 계층의 후보 블록모드가 되어 도 1과 같은 율-왜곡 최적화 과정을 수행한 후에 최적의 모드로 결정하게 된다.

마찬가지로 도 2의 (b)에 도시된 바와 같이, 하위 계층의 블록모드가 16×16, 16×8, 8×16 블록모드일 경우에는 향상 계층에서의 후보 블록모드가 16×16 블록모드가 되고, 역시 도 1의 율-왜곡 최적화 과정을 거쳐 최적의 블록모드를 결정할 수가 있다.

본 발명에서는 기본 계층으로부터 향상 계층으로 공간 계층간 예측을 통하여 얻은 블록모드를 "MODE_{BL_PRED}"라고 표현하고, 이것은 도 2의 (a)와 (b)의 상위 계층에 존재하는 모드들이다.

이 두 경우 모두 업샘플링되어 분할된 블록 또는 서브 블록 별로 하위 계층의 움직임 벡터를 2배로 확대한 움직임 벡터와 그것을 1/4 화소만큼 보정한 움직임 벡터가 존재한다. 하위 계층의 움직임 벡터와 MODE_{BL_PRED}에 존재하는 움직임 벡터와의 관계는 하기의 수학식 1과 같이 표현할 수 있다.

,

여기서,

는 하위 계층에서 움직임 벡터 예측을 통하여 얻은 움직임 벡터이고 1/4 화소 정밀도를 갖는다. 이것을 공간 계층간 움직임 벡터 예측을 통하여 2배로 확대한 움직임 벡터

와

를 반화소의 주변 8개의 화소점에 대하여 보정 과정을 거쳐 얻은 움직임 벡터

를 얻을 수 있다.

는 반화소 주변 8개의 화소점에 대한 보정을 통하여 얻은 보정벡터이고 보정벡터의 요소는 정수 화소에 대한 보정이므로 -1, 0, 1 중 하나의 값을 가질 수 있다.

마지막으로, H.264/AVC 모드는 향상 계층에서 기본 계층의 어떠한 정보도 이용하지 않고 독립적으로 움직임 예측 및 모드 결정을 수행하는 것을 의미한다. 이 모드는 현재 향상 계층에서 H.264/AVC와 호환적으로 부호화할 수 있다. 이러한 4가지 모드는 각 모드 별로 하기의 수학식 2의 율-왜곡(Rate-Distortion, RD) 비용(cost)을 계산하여 그 값이 최소가 되는 모드를 선택하는 방식이다.

여기서, c와 r은 현재 블록과 참조 블록을 의미하고, D는 두 블록간의 왜곡도를 나타낸다. λ_MODE는 라그랑지안 승수(Lagrangian multiplier)이다. 또한, Mode는 향상 계층에서 율-왜곡 최적화를 수행하는 모든 블록모드를 의미한다.

따라서, 하위 계층으로부터 예측된 블록모드인 MODE_{BL_PRED}와 도 1에 도시된 바와 같이 H.264/AVC 모드를 포함한다. 이에 따라, 공간적 향상 계층에서의 모드 결정을 모든 모드에 대한 율-왜곡 최적화를 수행하므로 부호화 시간 및 복잡도가 크게 증가되는 문제점이 있다.

즉, 공간 계층간 텍스쳐 예측모드, 공간 계층간 움직임 예측모드, 공간 계층간 잔차 신호 예측모드, 그리고 하위 공간 계층의 정보를 이용하지 않고 해당 계층내의 독립적 부호화 모드(또는 옵션)를 가지고 모든 경우를 수행해 본 결과 율-왜곡 비용이 최소화하는 모드를 최적의 모드로 선택하여 최종 부호화 모드로 선택하여 부호화를 수행하고 비트스트림(Bitstream)을 출력하게 된다. 이러한 부호화 구조는 최적의 예측모드를 결정하기 위해 엄청난 복잡도를 수반하게 되며 이로 인해 특히 실시간 부호화기를 실현하기가 거의 불가능하다.

본 발명은 전술한 문제점을 해결하기 위하여 안출된 것으로서, 본 발명의 목적은 스케일러블 비디오 부호화 시에 많은 연산량이 소요되는 부호화 과정을 고속화함으로써, 스케일러블 비디오 부호화 과정의 실시간 처리를 수행할 수 있도록 한 스케일러블 비디오 부호화에서 계층간 예측모드 고속 결정방법을 제공하는데 있다.

본 발명의 다른 목적은 스케일러블 비디오 부호화 과정에서 부호화하고자 하는 입력 비디오를 공간 스케일러빌러티(Scalability)를 갖는 비트스트림으로 부호화하고자 할 때, 공간 계층간 부호화에 있어서 하위 공간 계층에서 부호화를 수행한 결과를 상위 공간 계층 입력 비디오를 부호화할 때 이용함으로써, 부호화 효율을 효과적으로 줄일 수 있도록 한 스케일러블 비디오 부호화에서 계층간 예측모드 고속 결정방법을 제공하는데 있다.

본 발명의 또 다른 목적은 향상 계층에의 모드 결정 과정을 고속화함으로써 전체 스케일러블 비디오 부호화기의 연산량 및 복잡도를 크게 개선할 수 있을 뿐만 아니라 부호화 복잡도를 개선하여 발생되는 부호화 출력비트율의 증가와 화질 열화를 최소화할 수 있도록 한 하는 스케일러블 비디오 부호화에서 계층간 예측모드 고속 결정방법을 제공하는데 있다.

전술한 목적을 달성하기 위하여 본 발명의 제1 측면은, (a) 각 계층으로 부 호화하고자 하는 비디오 프레임을 입력하는 단계; (b) 상기 입력된 비디오 프레임에 대해 하위 계층의 움직임 부호화를 수행하는 단계; (c) 상기 하위 계층의 움직임 부호화 결과에 따른 결정 블록을 상위 계층의 움직임 부호화에 대응시키는 단계; (d) 상기 하위 계층의 움직임 부호화 결과에 따른 결정 블록의 움직임 벡터 정보를 이용하여 상기 상위 계층의 예측 후보 블록모드들을 결정하는 단계; (e) 상기 결정된 예측 후보 블록모드들에 대해 율-왜곡 비용을 계산한 후, 이를 이용하여 최종 부호화 블록모드를 결정하는 단계; 및 (f) 입력되는 비디오 프레임의 부호화가 완료될 때까지 상기 단계(a) 내지 단계(e)를 반복적으로 적용하여 스케일러블 부호화를 수행하는 단계를 포함하는 스케일러블 비디오 부호화에서 계층간 예측모드 고속 결정방법을 제공하는 것이다.

여기서, 상기 단계(c)에서, 계층간 공간 해상도에 비례하여 상기 하위 계층의 움직임 부호화 결과에 따른 결정 블록의 크기 및 움직임 벡터의 크기를 대응시킴이 바람직하다.

바람직하게는, 상기 단계(d)에서, 상기 상위 계층의 예측 후보 블록모드들과 대응되는 하위 계층 결정 블록의 부호화 움직임 벡터가 양방향 모두 영벡터인지, 단방향 영벡터인지, 양방향 모두 비영벡터인지, 잔차 신호 변환 계수의 합이 영 또는 정해진 특정 값 이하인지 중 적어도 하나의 경우를 이용하여 예측 후보 블록모드들을 결정한다.

바람직하게는, 상기 단계(d)에서 결정된 상위 계층의 예측 후보 블록모드와 대응되는 하위 계층의 움직임 부호화 결과가 양방향 모두 영벡터 블록일 경우, 해 당 예측 후보 블록모드에 대한 움직임 보상을 수행한다.

바람직하게는, 상기 단계(d)에서 결정된 상위 계층의 예측 후보 블록모드와 대응되는 하위 계층의 움직임 부호화 결과가 양방향 모두 영벡터 블록이 아닐 경우, 1/4 화소 움직임 벡터 보정을 수행한다.

바람직하게는, 상기 단계(d)에서 결정된 상위 계층의 예측 후보 블록모드와 대응되는 하위 계층의 움직임 부호화 결과가 단방향 영벡터 블록일 경우, 해당 예측 후보 블록모드에 대한 움직임 보상을 수행한다.

바람직하게는, 상기 단계(d)에서 결정된 상위 계층의 예측 후보 블록모드와 대응되는 하위 계층의 움직임 부호화 결과가 단방향 영벡터 블록이 아니면서 비영 벡터 블록이고, 정수변환 계수가 모두 영(zero)일 경우, 해당 예측 후보 블록모드에 대한 움직임 보상을 수행한다.

바람직하게는, 상기 단계(d)에서 결정된 상위 계층의 예측 후보 블록모드와 대응되는 하위 계층의 움직임 부호화 결과가 단방향 영벡터 블록과 비영벡터 블록이 아니면서 상기 상위 계층의 예측 후보 블록모드가 16×16 블록모드가 아닐 경우, 해당 상위 계층의 예측 후보 블록모드보다 작거나 같은 블록 크기에 대해서 율-왜곡 최적화를 수행한다.

바람직하게는, 상기 상위 계층의 예측 후보 블록모드가 16×8 블록모드일 경우, 16×8, 8×8 블록모드에 대해 율-왜곡 비용을 계산한다.

바람직하게는, 상기 상위 계층의 예측 후보 블록모드가 8×16 블록모드일 경우, 8×16 및 8×8 블록모드에 대해 율-왜곡 비용을 계산한다.

바람직하게는, 상기 상위 계층의 예측 후보 블록모드가 8×8 블록모드일 경우, 8×8 블록모드에 대해 율-왜곡 비용을 계산한다.

바람직하게는, 상기 단계(e)에서 율-왜곡 비용이 최소화되는 예측 후보모드를 상기 상위 계층의 최종 부호화 블록모드로 결정한다.

바람직하게는, 다른 독립적인 움직임 부호화 과정 수행 후의 율-왜곡 비용과 비교하여 율-왜곡 비용이 최소화되는 예측 후보모드를 상기 상위 계층의 최종 부호화 블록모드로 결정한다.

바람직하게는, 다른 독립적인 움직임 부호화 과정을 수행하지 않고 상기 상위계층의 최종 부호화 블록모드로 고속 결정할 수 있다.

본 발명의 제2 측면은, (a') 각 계층으로 부호화하고자 하는 비디오 프레임을 입력하는 단계; (b') 상기 입력된 비디오 프레임에 대해 하위 계층의 움직임 부호화를 수행하는 단계; (c') 상기 하위 계층의 움직임 부호화 결과에 따른 결정 블록을 상위 계층의 움직임 부호화에 대응시키는 단계; (d') 상기 하위 계층의 움직임 부호화 결과에 따른 결정 블록의 움직임 벡터가 양방향 모두 영벡터 블록, 단방향 영벡터 블록 및 비영벡터 블록이 아니면서 상기 상위 계층의 예측 후보 블록모드가 16×8 블록모드일 경우, 16×8, 8×8 블록모드에 대해 율-왜곡 비용을 계산하는 단계; (e') 상기 상위 계층의 예측 후보 블록모드가 8×16 블록모드일 경우, 8×16 및 8×8 블록모드에 대해 율-왜곡 비용을 계산하는 단계; (f') 상기 상위 계층의 예측 후보 블록모드가 8×8 블록모드일 경우, 8×8 블록모드에 대해 율-왜곡 비용을 계산하는 단계; (g') 상기 상위 계층의 예측 후보 블록모드가 16×16 블록모드일 경우, 16×16 블록모드에 대해 율-왜곡 비용을 계산하는 단계; (h') 상기 단계(d') 내지 단계(g')에서 계산된 율-왜곡 비용이 최소화되는 예측 후보모드를 상기 상위 계층의 최종 부호화 블록모드로 결정하는 단계; 및 (i') 입력되는 비디오 프레임의 부호화가 완료될 때까지 상기 단계(a') 내지 단계(h')를 반복적으로 적용하여 스케일러블 부호화를 수행하는 단계를 포함하는 스케일러블 비디오 부호화에서 계층간 예측모드 고속 결정방법을 제공하는 것이다.

여기서, 상기 단계(c')에서, 계층간 공간 해상도에 비례하여 상기 하위 계층의 움직임 부호화 결과에 따른 결정 블록의 크기 및 움직임 벡터의 크기를 대응시킴이 바람직하다.

바람직하게는, 상기 단계(d')에서 상기 상위 계층의 예측 후보 블록모드와 대응되는 하위 계층의 움직임 부호화 결과가 양방향 모두 영벡터 블록이 아닐 경우, 1/4 화소 움직임 벡터 보정을 수행한다.

바람직하게는, 상기 단계(d')에서 상기 상위 계층의 예측 후보 블록모드와 대응되는 하위 계층의 움직임 부호화 결과가 양방향 모두 영벡터 블록, 단방향 영벡터 블록 또는 비영벡터 블록이면서 정수변환 계수가 모두 영(zero)일 경우, 해당 예측 후보 블록모드에 대한 움직임 보상을 수행한다.

본 발명의 제3 측면은, 상술한 스케일러블 비디오 부호화에서 계층간 예측 모드 고속 결정방법을 실행시키기 위한 프로그램을 기록한 기록매체를 제공한다.

이상에서 설명한 바와 같은 본 발명의 스케일러블 비디오 부호화에서 계층간 예측모드 고속 결정방법에 따르면, 스케일러블 비디오 부호화 시에 많은 연산량이 소요되는 부호화 과정을 고속화함으로써, 스케일러블 비디오 부호화 과정의 실시간 처리를 수행할 수 있는 이점이 있다.

또한, 본 발명에 따르면, 스케일러블 비디오 부호화 과정에서 부호화하고자 하는 입력 비디오를 공간 스케일러빌러티(Scalability)를 갖는 비트스트림으로 부호화하고자 할 때, 공간 계층간 부호화에 있어서 하위 공간 계층에서 부호화를 수행한 결과를 상위 공간 계층 입력 비디오를 부호화할 때 이용함으로써, 부호화 효율을 효과적으로 줄일 수 있는 이점이 있다.

또한, 본 발명에 따르면, 향상 계층에의 모드 결정 과정을 고속화함으로써 전체 스케일러블 비디오 부호화기의 연산량 및 복잡도를 크게 개선할 수 있을 뿐만 아니라 부호화 복잡도를 개선하여 발생되는 부호화 출력비트율의 증가와 화질 열화를 최소화할 수 있는 이점이 있다.

이하, 첨부 도면을 참조하여 본 발명의 실시예를 상세하게 설명한다. 그러나, 다음에 예시하는 본 발명의 실시예는 여러 가지 다른 형태로 변형될 수 있으며, 본 발명의 범위가 다음에 상술하는 실시예에 한정되는 것은 아니다. 본 발명의 실시예는 당업계에서 통상의 지식을 가진 자에게 본 발명을 보다 완전하게 설명하기 위하여 제공되어지는 것이다.

도 3은 본 발명의 일 실시예에 적용된 SVC 부호화기의 다중 계층 구조를 나타낸 도면이다.

도 3을 참조하면, SVC(Scalable Video Coding)는 하나의 기본 계층(Base Layer)과 적어도 하나 이상의 향상 계층(Enhancement Layer)으로 구성되어 있으며, 시간, 공간 및 화질의 계위성(Scalability)을 지원하기 위해 계층적 부호화 구조를 가지고 있다.

이러한 SVC의 기본 계층은 MPEG-4 Advanced Video Coding(AVC)과 상호 호환성을 갖도록 하고 있으며, 향상 계층은 기본 계층 또는 하위 향상 계층에서 부호화된 정보를 이용하여 부호화할 수 있도록 계층 구조로 설계되어 있다.

본 발명은 SVC의 이러한 3가지 계위성 부호화 과정에 있어서, 특히 공간적 계위성을 제공하기 위한 부호화 과정을 보다 고속으로 수행하기 위한 방법을 제시한다.

또한, SVC는 공간적 계위성을 지원하기 위하여 기본 계층으로부터 향상 계층으로 세 가지 정보를 예측한다. 즉, 계층간 텍스쳐 예측(Inter-Layer Texture Prediction), 계층간 움직임 벡터 예측(Inter-Layer Motion Vector Prediction) 및 계층간 차분 신호 예측(Inter-Layer Residual Prediction)이라고 한다.

이중에서 첫 번째로 계층간 텍스쳐 예측은 하위 계층의 블록이 화면내 예측 모드(예컨대, SVC 규격에서는 IntraBL로 표기됨)로 부호화되었을 경우, 하위 계층 에 대한 부호화된 텍스쳐에 대하여 복원한 후 복원된 텍스쳐에 대해 향상 계층의 해상도로 업샘플링(Up-Sampling)하여 예측신호로 사용한다.

두 번째로 계층간 움직임 벡터 예측은 하위 계층의 움직임 벡터를 이용하여 향상 계층에서 재사용하는 것을 의미한다. 이 경우 상위 계층의 해상도가 하위 계층 해상도의 4배(가로 해상도 2배, 세로 해상도 2배)면, 하위 계층의 움직임 벡터를 그대로 이용할 경우 1/4 화소 정밀도로 얻는 하위 계층의 움직임 벡터가 가로 및 세로 방향 성분이 2배로 되어 움직임 벡터의 정밀도가 1/2로 감소하게 된다. 이러한 움직임 벡터 정밀도를 1/4 화소 수준으로 유지해 주기 위해서 1/4 화소 보정 과정을 거친 후 향상 과정에서 움직임 벡터로 사용할 수 있다.

마지막으로 계층간 차분 신호 예측은 하위 계층에 대한 차분 신호를 상위 계층의 해상도로 업샘플링(Up-Sampling) 필터를 이용하여 업샘플링하고 현재 계층(상위 계층)에 대한 차분 신호와의 차이를 구하여 부호화하는 방식이다.

이와 같이 공간적 계위성을 수행하기 위해 하위 계층에 정보를 이용하여 예측하고, 이 정보를 바탕으로 부호화를 수행하거나, 도 3에 도시된 바와 같이, 기본 계층 위의 각 향상 계층들에서도 MPEG-4 Advanced Video Coding(AVC)(또는 H.264)을 기반으로 한 독립적 부호화를 수행할 수 있다.

이러한 부호화 방식은 각 정보(파라미터 값)에 대해 율-왜곡 비용을 최소화하는 정보를 선택하여 부호화하기 때문에 부호화 효율을 증대할 수 있는 장점이 있으나, 반복적인 연산으로 인해 많은 계산량이 요구된다.

따라서, 하위 계층의 정보를 적절히 이용하되 율-왜곡 성능 저하를 최소화하 는 관점에서 불필요한 연산을 제거함으로써 부호화 속도를 증가시킬 수 있다.

이러한 SVC 부호화기는 각 계위(예컨대, 시간, 공간, 화질 등) 별로 계층 구조를 가지고 있기 때문에, 높은 부호화 효율에 수반하는 복잡한 구조를 가지고 있으며 복잡도 개선이 많이 요구되는 부분이다.

본 발명에서는 기본 계층에서 차 상위 향상 계측으로 예측하는 세 가지 정보 중에서 움직임 벡터가 영벡터(0,0)인 매크로블록의 영역에 대하여 향상 계층에서는 16×16 블록으로 율-왜곡 최적화를 수행하여 움직임 벡터 예측 및 모드 결정을 조기에 완료하고, 움직임 벡터가 영벡터(0,0)가 아닌 영역에 대해서는 기본 계층에서 얻은 움직임 벡터와 참조화면 리스트를 이용하여 얻은 움직임 보상블록과 현재 블록간의 잔차 신호에 대한 정수변환 계수의 합이 0일 때, 그 영역에 대해서도 마찬가지로 향상 계층에서는 16×16 블록으로 모드를 결정하고 움직임 벡터 예측 및 모드 결정을 조기에 완료하거나, 그 이외의 경우에는 기본 계층으로부터 예측된 모드를 판단하여 향상 계층의 후보모드의 수를 줄여줌으로써, 공간 계위성 부호화 과정을 고속화하는 방법을 제시한다. 따라서, 움직임이 적거나 균일한 영상뿐만 아니라 세밀하고 움직임이 빠른 영상에 대해서도 효율적인 고속 부호화 알고리즘 또는 방법이 필요하다.

이하에는 본 발명을 위한 향상 계층의 움직임 벡터와 모드에 관한 통계적 특성 조사에 대하여 설명하기로 한다.

전술한 도 1 및 도 2에 도시된 바와 같이, 기본 계층에서 향상 계층으로 계 층간 예측한 정보들을 이용하기 위하여 그 정보들 중에서 움직임 벡터와 λ_MODE의 통계적 특성을 살펴볼 필요가 있다.

도 4는 하위 계층으로부터 상위 계층으로 예측한 블록모드(MODE_{BL_PRED})와 그 블록내의 움직임 벡터에 관한 통계를 표 형태로 나타낸 도면이고, 도 5는 다양한 시험 영상들의 QP 값에 따른 ZMB의 비율을 나타낸 그래프이며, 도 6은 다양한 시험 영상들에 대한 NZMB에서 ZCB의 비율을 나타낸 그래프이다.

도 4 내지 도 6을 참조하면, 움직임이 적은 Mother&Daughter 영상과 비교적 움직임이 빠른 Foreman 영상, 텍스쳐의 복잡도가 큰 Harbour영상 등에 대하여 QP 값 24∼40을 적용하며, 총 50프레임에 대한 영 움직임 모드(Zero Motion Block, ZMB)의 비율을 나타낸다.

본 발명에서는 B-화면에서 MODE_{BL_PRED} 중 16×16 매크로블록에 대하여 두 개의 참조화면 리스트(LIST0, LIST1)에서 모두 영 움직임 벡터(Zero Motion Vector)를 가지는 블록을 BZMB(Bi-predictive Zero Motion Block)로, 두 개의 참조화면 리스트 중에서 한 방향의 움직임 벡터가 영벡터(0,0)인 블록을 UZMB(Uni-predictive Zero Motion Block)로 정의한다. 마지막으로, NZMB(Non-Zero Motion Block)은 16×16 매크로블록에서 두 참조화면 리스트 움직임 벡터가 모두 영벡터(0,0)가 아닌 경우로 정의한다.

본 발명에서는 BZMB와 UZMB를 합쳐서 ZMB(Zero Motion Block)라고 표현한다. 도 4에 도시된 바와 같이, 기본 계층에서 예측한 16×16 블록모드에 대하여 쌍방향 모두 영벡터(0,0)를 포함하는 비율은 Mother&Daughter 영상의 경우 QP 값이 28이상이면 80％를 넘는다.

그리고, 한 방향이라도 영벡터(0,0)를 포함하는 경우도 평균 10％가 되어 MODE_{BL_PRED} 중 16×16 매크로블록이 영벡터(0,0)를 포함하는 경우가 총 매크로블록 중에서 90％이상이 된다.

즉, 도 5에 도시된 바와 같이, QP 값이 증가할수록 더 증가하게 되는데, 그 이유는 기본 계층에서 향상 계층으로 예측하는 정보들은 기본 계층의 복원된 정보들을 바탕으로 하기 때문에 QP 값이 커질수록 영상의 세밀한 부분의 복원이 감소되고, 균일한 영상 영역이 증가하므로 움직임 벡터가 영벡터(0,0)가 되는 경우가 많아지기 때문이다.

예컨대, Harbour 영상과 같이 텍스쳐의 복잡도가 큰 영상도 큰 QP 값에 대해서 ZMB의 비율이 50％를 넘는다. 또한, Foreman과 같이 움직임이 큰 영상의 경우에도 움직임 벡터가 영벡터(0,0)를 포함하는 경우가 전체의 50％이상을 차지한다.

이와 같은 ZMB의 경우는 움직임이 작거나 텍스쳐의 복잡도가 작은 경우이기 때문에, MODE_{BL_PRED}의 16×16 블록모드에서 영벡터(0,0)를 포함하는 경우는 향상 계층에서도 해당 영역은 큰 블록 크기를 갖는 모드로 결정된다고 간주할 수가 있다.

또한, 도 4에서 ZCB는 Zero Coefficient Block을 의미한다. 향상 계층의 부호화 시 향상 계층의 현재 블록과 공간 계층간 예측 시 기본 계층으로부터 얻는 움직임 벡터

와 하위 계층의 계층적 B-화면 부호화 시 참조화면 리스트 LIST0_base, LIST1_base를 이용하여 향상 계층에서 움직임 보상된 참조 블록간의 잔차 신호에 대한 정수변환 계수의 합이 0일 때 그 블록을 ZCB라고 정의한다. ZCB는 전술한 도 2에 표현되어 있다.

도 2에서 블록 A를 부호화하고자 할 때, 현재 블록 A와 기본 계층으로부터 예측하여 얻은 움직임 벡터

및 참조화면 리스트 LIST0_base, LIST1_base을 이용하여 움직임 보상된 블록의 잔차 신호에 대하여 정수변환을 수행하였을 때, 블록의 모든 정수변환 계수가 0이면 블록 A를 ZCB라고 정의한다.

즉, 블록 A는 모든 정수변환 계수의 합이 0이므로 그 영역은 잔차 신호가 매우 작거나 양자화 계수의 영향으로 변환 계수가 모두 0이 된 경우이다. 다시 말하면, 잔차 신호가 매우 작은 경우는 부호화 영역에서 움직임이 매우 작거나 균일한 영상영역인 경우이므로 이 경우 역시 큰 블록으로 부호화할 수 있음을 의미한다.

이것은 하기의 수학식 3 내지 수학식 7을 통하여 설명할 수 있다. f_n(x,y)를 향상 계층의 현재 블록이라고 했을 때,

,

을 하위 계층의 정보인 움직임 벡터와 참조화면 리스트를 이용하여 계산한 각 리스트에 대한 향상 계층의 움직임 보상 블록이라고 하면, 현재 블록과 움직임 보상 블록간의 잔차 신호는 하기의 수학식 3과 같이 표현된다.

여기서, (v_bx,L0, v_by,L0)는 기본 계층의 참조화면 리스트 LIST0_base를 이용하여 얻은 움직임 벡터이고, (v_bx,L1, v_by,L1)는 LIST1_base을 이용하여 얻은 움직임 벡터이다. 이것은 정수변환을 통하여 하기의 수학식 4와 같이 정수변환 계수를 구할 수 있다.

여기서,

는 가장 가까운 정수 값을 갖게 하는 라운드 연산자이고, k(u)와 k(v)는 u=0과 v=0 일 때

, 그렇지 않을 때는 1이다. C_I(u,v)는 정수변환 계수이고, 정수변환에 대한 양자화 계수를 하기의 수학식 5를 적용하여 양자화할 수 있다.

여기서, ％는 모듈러 연산자이고, f는 0부터 2^16+QP/6까지 값을 갖는 상수이다. 그리고, M(QP％6,r)은 곱셈 계수(Multiplication Factor)라고 하며, 각 주파수 영역별로 이미 지정된 값이고, 하기의 수학식 6과 같이 정의한다.

여기서, 상기의 수학식 5와 수학식 6에서 r=2-(u％2)-(v％2) 이다. 정수변환은 4×4 블록 단위로 수행되므로, 16×16 블록에 대하여 하기의 수학식 7과 같은 조건이면 현재 향상 계층의 블록을 ZCB로 정의할 수 있다.

본 발명의 일 실시예에서는 NZMB인 경우 ZCB인지를 검사한다. 도 6에 도시된 바와 같이, NZMB의 경우에도 시험 영상에 대하여 많은 비율이 양자화 계수의 합이 0이므로 이 부분을 검사함으로써 ZMB 즉, 움직임 벡터가 영벡터(0,0)가 아닌 경우에도 고속의 부호화를 수행할 수 있다.

이하에는 본 발명의 일 실시예에 따른 스케일러블 비디오 부호화에서 계층간 예측모드 고속 결정방법에 대하여 상세하게 설명한다.

도 7은 MODE_{BL_PRED}가 ZMB일 경우 향상 계층에서의 블록모드의 결정을 설명하기 위한 개념도이고, 도 8은 ZCB의 예를 나타낸 개념도이다.

먼저, 도 4 내지 도 6에 도시된 바와 같이 시험 영상들에 대하여 MODE_{BL_PRED} 중 많은 매크로블록이 ZMB이고, NZMB 중에서도 많은 비율이 정수변환 계수가 0임을 통계를 통해 발견되었다.

본 발명에서는 MODE_{BL_PRED}의 16×16 매크로블록을 4개의 블록 타입으로 분류하여 부호화 과정을 다르게 수행하거나, MODE_{BL_PRED}가 16×16 블록모드가 아닌 경우에는 향상 계층에서 후보모드의 수를 줄여서 부호화하여 부호화 시간을 단축하는 방법을 이용한다.

전술한 바와 같이 하위 계층으로부터 예측된 블록모드 MODE_{BL_PRED}가 ZMB일 경우, 같은 공간 지점에서 향상 계층도 16×16 블록모드로 간주하여 부호화할 수가 있다. 이 영역은 쌍방향 또는 단방향으로 움직임이 없음을 의미하므로 큰 블록크기의 모드로 간주되어도 무방하다고 할 수 있다.

이러한 개념은 도 7에 잘 나타나 있다. 도 7에서 하위 계층의 4번째 화면(Frame #4, QCIF)은 쌍방향 예측 후 향상 계층으로 계층간 예측을 수행한다. 이때, 하위 계층으로부터 예측된 블록모드 MODE_{BL_PRED}가 ZMB일 경우 향상 계층에서도 또한 움직임이 없거나 작은 정적인 영역이므로 이 공간 영역을 큰 블록크기로 부호화하는 방법이다.

이 경우 도 1의 복잡한 과정을 거치지 않고 향상 계층에서는 16×16 블록모드의 경우에만 움직임 벡터 예측 및 율-왜곡 비용을 계산하는 과정을 포함하므로, 16×16 하위 블록에 대한 부호화 과정 없이 조기에 향상 계층의 블록모드 결정을 완료할 수 있다(도 8 참조).

한편, MODE_{BL_PRED}가 NZMB의 경우 이것을 두 개의 블록타입으로 분류할 수 있다. 영벡터(0,0)가 아닌 움직임 벡터가 존재하더라도 그 크기가 작아 움직임이 작은 경우에, 상기의 수학식 3 내지 수학식 7을 통하여 구한 정수변환 계수가 모두 0이면 공간적 향상 계층에서 그 영상 영역을 16×16 블록모드로 결정하여 부호화하고 그 이외 모드에 대해서는 율-왜곡 최적화를 수행하지 않는다. 그리고, NZMB 중에서 ZCB의 비율은 양자화 계수와 영상 특성에 따라 다르지만, 도 6에서 도시된 바와 같이 높은 비율의 ZCB를 포함한다.

마지막으로, MODE_{BL_PRED}가 16×16 블록모드가 아닐 경우에는 향상 계층에서는 MODE_{BL_PRED}보다 같거나 작은 블록모드에 대해서만 율-왜곡 최적화를 수행한다. MODE_{BL_PRED}의 각 블록 타입에 따른 공간적 향상 계층에서의 블록모드 결정방법을 후술하는 도 9와 같이 요약할 수 있다.

도 9는 MODE_{BL_PRED}에 따른 공간적 향상 계층에서의 부호화 과정을 표 형태로 나타낸 도면으로서, 기본 계층으로부터 공간 계층간 예측을 통하여 얻은 블록모드에 따라서 향상 계층의 부호화 과정을 어떻게 할 것인지를 보여준다.

도 9를 참조하면, MODE_{BL_PRED}가 16×16 블록모드일 경우 4가지의 블록 타입으로 재분류하여 그에 따른 부호화 과정을 수행한다. 다만, BZMB의 경우에는 쌍방향 으로 움직임이 없는 영상 영역이므로 1/4 화소 움직임 벡터 보정(Quarter-Pixel Refinement) 과정을 생략하여 보다 많은 부호화 시간을 단축할 수 있고, 움직임 벡터 보정시 보간(Interpolation)을 통해 증가하는 데이터의 양을 줄일 수 있는 효과가 있다.

한편, MODE_{BL_PRED}가 16×16 블록모드가 아닐 경우에는 MODE_{BL_PRED}에 대한 율-왜곡 최적화 수행 이외에 MODE_{BL_PRED} 모드 보다 작거나 같은 블록 크기에 대해서만 율-왜곡 최적화를 수행한다.

예를 들어, MODE_{BL_PRED}가 16×8 블록모드이면 향상 계층에서는 MODE_{BL_PRED}와 같은 16×8 블록모드와 그 것보다 더 작게 분할된 모드인 8×8 블록모드에 대해서만 율-왜곡 최적화를 수행한다.

이것은 전술한 도 2의 (a)에서 도시된 바와 같이, MODE_{BL_PRED}를 통하여 기본 계층의 모드를 유추할 수 있으며, 향상 계층의 동일한 지점의 영상 영역도 기본 계층과 유사한 모드로 부호화할 수 있기 때문에, MODE_{BL_PRED}를 통하여 향상 계층에서의 후보 모드를 줄여줌으로써 후보모드에 대해서만 율-왜곡 최적화를 수행하게 된다.

본 발명은 후술하는 도 10에서와 같이 MODE_{BL_PRED}를 총 7가지의 블록 타입으로 분류하여 블록 타입에 따른 서로 다른 부호화 과정을 수행하도록 하는 방법이다. MODE_{BL_PRED}를 결정하는 방법은 후술하는 단계들로 이루어진다.

도 10은 본 발명의 일 실시예에 따른 스케일러블 비디오 부호화에서 계층간 예측모드 고속 결정방법을 설명하기 위한 흐름도이다.

도 10을 참조하면, 먼저, 스케일러블 비디오 부호화 하위 계층에 비디오 프레임을 입력받은 후(S100), 입력된 비디오 프레임에 대해 하위 계층의 움직임 부호화를 수행한다(S101).

그런 다음, 스케일러블 비디오 부호화 상위 계층에 비디오 프레임을 입력받은 후(S102), 하위 계층의 움직임 부호화 결과에 따른 결정 블록을 상위 계층의 움직임 부호화에 매핑(Mapping)하고, 하위 계층의 움직임 부호화 결과에 따른 결정 블록의 움직임 벡터 정보를 이용하여 상위 계층의 예측 후보 블록모드(MODE_{BL_PRED})들을 결정한다(S103).

이때, 상기 단계S103에서 하위 계층의 움직임 부호화 결과에 따른 결정 블록을 상위 계층의 움직임 부호화에 매핑(Mapping)하는 과정은, 계층간 공간 해상도에 비례하여 하위 계층의 움직임 부호화 결과에 따른 결정 블록의 크기 및 움직임 벡터의 크기를 대응시킴이 바람직하다.

이후에, 상위 계층의 예측 후보 블록모드(MODE_{BL_PRED})와 대응되는 하위 계층의 움직임 부호화 결과가 양방향 모두 영벡터 블록(BZMB)인지를 판단하여(S104), 양방향 모두 영벡터 블록(BZMB)일 경우 해당 예측 후보 블록모드(MODE_{BL_PRED})에 대한 움직임 보상을 통하여 율-왜곡 비용을 계산한다(S105).

한편, 상기 단계S104에서의 판단 결과, 상위 계층의 예측 후보 블록모드(MODE_{BL_PRED})와 대응되는 하위 계층의 움직임 부호화 결과가 양방향 모두 영벡터 블록(BZMB)이 아닐 경우, 1/4 화소 움직임 벡터를 보정한 후(S106), 상위 계층의 예측 후보 블록모드(MODE_{BL_PRED})가 단방향 영벡터 블록(UZMB)인지를 판단한다(S107).

만약, 상기 단계S107에서의 판단 결과, 상위 계층의 예측 후보 블록모드(MODE_{BL_PRED})가 단방향 영벡터 블록(UZMB)일 경우, 상기 단계S105로 진행하여 해당 예측 후보 블록모드(MODE_{BL_PRED})에 대한 움직임 보상을 통하여 율-왜곡 비용을 계산한다. 그렇지 않고, 상위 계층의 예측 후보 블록모드(MODE_{BL_PRED})가 단방향 영벡터 블록(UZMB)아닐 경우, 상위 계층의 예측 후보 블록모드(MODE_{BL_PRED})가 비영벡터 블록(NZMB)인지를 판단한다(S108).

그리고, 상기 단계S108에서의 판단 결과, 상위 계층의 예측 후보 블록모드(MODE_{BL_PRED})가 비영벡터 블록(NZMB)일 경우, 정수변환 계수가 모두 영(zero) 인지를 판단하여(S109), 정수변환 계수가 모두 영(zero)이면 상기 단계S105로 진행하여 해당 예측 후보 블록모드(MODE_{BL_PRED})에 대한 움직임 보상을 통하여 율-왜곡 비용을 계산한다.

한편, 상위 계층의 예측 후보 블록모드(MODE_{BL_PRED})가 비영벡터 블록(NZMB)이 아니거나, 정수변환 계수가 모두 영(zero)이 아닐 경우, 상위 계층의 예측 후보 블록모드(MODE_{BL_PRED})가 16×8 블록모드 인지를 판단하여(S110), 16×8 블록모드이면 16×8 및 8×8 블록모드에 대해 율-왜곡 비용을 계산한다(S111).

그렇지 않고, 상기 단계S110에서의 판단 결과, 상위 계층의 예측 후보 블록모드(MODE_{BL_PRED})가 16×8 블록모드가 아닐 경우, 상위 계층의 예측 후보 블록모드(MODE_{BL_PRED})가 8×16 블록모드 인지를 판단하여(S112), 8×16 블록모드이면 8×16 및 8×8 블록모드에 대해 율-왜곡 비용을 계산한다(S113).

만약, 상기 단계S112에서의 판단 결과, 상위 계층의 예측 후보 블록모드(MODE_{BL_PRED})가 8×16 블록모드가 아닐 경우, 상위 계층의 예측 후보 블록모드(MODE_{BL_PRED})가 8×8 블록모드 인지를 판단하여(S114), 8×8 블록모드이면 8×8 블록모드에 대해 율-왜곡 비용을 계산한다(S115).

한편, 상기 단계S114에서의 판단 결과, 상위 계층의 예측 후보 블록모드(MODE_{BL_PRED})가 8×8 블록모드가 아닐 경우, 스킵(SKIP) 또는 직접(DIRECT) 모드에 대해 율-왜곡 비용을 계산한 후(S116), 16×16 블록모드에 대해 율-왜곡 비용을 계산한다(S117).

마지막으로, 상기 계산된 율-왜곡 비용이 최소화되는 예측 후보모드를 상위 계층의 최종 부호화 블록모드로 결정한다(S118).

이때, 상기 단계S118은 다른 독립적인 움직임 부호화 과정 수행 후의 율-왜곡 비용과 비교하여 율-왜곡 비용이 최소화되는 예측 후보모드를 상위 계층의 최종 부호화 블록모드로 결정할 수 있고, 이에 국한하지 않으며, 다른 독립적인 움직임 부호화 과정을 수행하지 않고 상위 계층의 최종 부호화 블록모드로 고속 결정할 수 도 있다.

전술한 상세한 설명을 종합해보면, 본 발명은 가변적인 네트워크 대역폭이나, 다양한 단말화면 크기 및 서비스 품질에 따라 한번 부호화한 원 비트스트림에서 대상 서비스에 맞게 비트스트림을 추출하여 다양한 목적에 맞게 제공할 수 있는 스케일러블 비디오 부호화 과정을 고속으로 수행하기 위한 방법이다.

이는 원소스틸티유스(one-source-multi-use)로서 한 번의 부호화 과정을 통해 계위적(Scalable) 비트스트림 계층을 형성하여 유연한 부호화 비트스트림을 구성하는 것이다.

부호화된 비트스트림의 압축 효율이나 응용 목적에 맞는 비트스트림 추출 또는 구성이 매우 효율적이나 부호화 과정이 매우 복잡하고 많은 연산량이 요구된다. 이러한 과도한 연산량의 요구로 인해, 특히 실시간 응용을 위한 소프트웨어 부호화기(인코더) 구현이 매우 어려운 걸림돌로 작용되고 있다.

이러한 많은 연산량은 주로 부호화 효율을 극대화하기 위해 계층간 여러 가지 예측모드를 사용하여 최적의 모드를 찾아 이를 결정하여 부호화하는 방식을 취하고 있기 때문이다.

따라서, 본 발명에서는 이러한 종래의 과도한 연산량을 줄이고 고속으로 부호화하기 위해 최적의 예측모드를 빨리 결정하여 연산량을 줄임으로써, 실시간 소프트웨어 스케일러블 비디오 부호화기 구현을 가능하게 할 수 있다.

즉, 본 발명에서는 이러한 과도한 연상량을 요구하는 공간 스케일러빌러 티(Scalability)를 갖는 스케일러블 비디오 부호화 과정을 보다 효율적으로 수행함으로써, 즉 공간 계층간 최적의 예측모드를 고속으로 결정하여 부호화함으로써 부호화 시에 연산량을 현격히 줄일 수 있다.

이를 구체적으로 설명하면, 본 발명은 예컨대, MPEG-4 제10부 규격인 AVC(Advanced Video Coding)의 제3 개정 규격(MPEG-4 Part 10 Amendment 3)으로서 SVC(Scalable Video Coding) 규격에 대해 기본 계층에서 예측한 움직임 벡터 정보를 이용하여 향상 계층에서 모드 결정을 고속화하는 방법이다.

즉, 본 발명은 공간 계위성을 갖는 비디오를 부호화하는데 있어서 기본 계층에서 예측한 블록모드 중에서 큰 블록인 16×16 블록모드에서 움직임 벡터가 영벡터(0,0)일 경우, 또는 하위 계층의 정보를 이용하여 얻은 움직임 보상 블록과 향상 계층의 현재 블록의 잔차 신호의 정수변환의 계수가 모두 0인 경우에 대하여 향상 계층에서는 16×16 블록모드에 대해서만 율-왜곡 최적화를 수행함으로써, 향상 계층에서 움직임 모드 결정을 조기에 완료하게 하여 공간 계위성 부호화를 고속화하거나 위 두 경우가 아닌 경우에는 후보모드의 수를 감소시켜 감소된 모드에 대해서만 율-왜곡 최적화를 수행하는 방법을 제시한다.

이와 같이 본 발명을 이용하였을 경우 향상 계층에의 모드 결정과정을 고속화함으로써, 전체 스케일러블 비디오 부호화기의 연산량 및 복잡도를 크게 개선할 수 있을 뿐만 아니라 부호화 복잡도를 개선함으로써 발생되는 부호화 출력비트율의 증가와 화질 열화를 최소화하는 효과가 있다.

또한, 본 발명은 공간 계층간의 공간적 상관도를 이용하여 계층적으로 예측 된 움직임 벡터가 매크로블록에서 영벡터(0,0)이거나, 정수변환 계수의 합이 그 매크로블록에서 0일 때 향상 계층의 해당 공간영역을 큰 블록모드로 결정하고 조기에 모드 결정을 완료하며, 그 이외의 경우에는 향상 계층의 후보모드의 수를 감소시켜 율-왜곡 최적화를 수행하는 방법이다.

전술한 통계에서 알 수 있듯이 하위 계층에서 예측된 움직임 벡터가 매크로블록에서 ZMB일 비율이 매우 크고 이러한 하위 계층의 정보를 상위 공간 계층에서 이용함으로써 많은 연산량 및 부호화 시간의 감소 효과를 얻을 수 있다.

또한, 움직임 벡터가 영벡터(0,0)가 아닐 경우에는 기본 계층의 움직임 벡터와 참조화면 리스트를 이용하여 구한 움직임 보상 블록과 현재 블록간의 정수변환 계수가 모두 0일 때도 똑 같은 조기 완료 방법을 적용한다.

이러한 두 가지가 아닌 경우에는 향상 계층에서 블록모드에 대한 후보모드 수를 감소시킴으로써 부호화 시간을 큰 폭으로 감소시킬 수 있다.

한편, 본 발명의 실시예에 따른 스케일러블 비디오 부호화에서 계층간 예측모드 고속 결정방법은 또한 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현되는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다.

예컨대, 컴퓨터가 읽을 수 있는 기록매체로는 롬(ROM), 램(RAM), 시디-롬(CD-ROM), 자기 테이프, 하드디스크, 플로피디스크, 이동식 저장장치, 비휘발성 메모리(Flash Memory), 광 데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들면, 인터넷을 통한 전송)의 형태로 구현되는 것도 포함된다.

또한, 컴퓨터로 읽을 수 있는 기록매체는 컴퓨터 통신망으로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 읽을 수 있는 코드로서 저장되고 실행될 수 있다.

전술한 본 발명에 따른 스케일러블 비디오 부호화에서 계층간 예측모드 고속 결정방법에 대한 바람직한 실시예에 대하여 설명하였지만, 본 발명은 이에 한정되는 것이 아니고 특허청구범위와 발명의 상세한 설명 및 첨부한 도면의 범위 안에서 여러 가지로 변형하여 실시하는 것이 가능하고 이 또한 본 발명에 속한다.

도 1은 종래 기술에 따른 SVC 부호화기의 율-왜곡 최적화 기반모드 결정방법을 설명하기 위한 흐름도.

도 2는 업샘플링한 블록과 움직임 벡터의 예를 설명하기 위한 개념도.

도 3은 본 발명의 일 실시예에 적용된 SVC 부호화기의 다중 계층 구조를 나타낸 도면.

도 4는 하위 계층으로부터 상위 계층으로 예측한 블록모드(MODEB_{L_PRED})와 그 블록내의 움직임 벡터에 관한 통계를 표 형태로 나타낸 도면.

도 5는 다양한 시험 영상들의 QP 값에 따른 ZMB의 비율을 나타낸 그래프.

도 6은 다양한 시험 영상들에 대한 NZMB에서 ZCB의 비율을 나타낸 그래프.

도 7은 MODE_{BL_PRED}가 ZMB일 경우 향상 계층에서의 블록모드의 결정을 설명하기 위한 개념도.

도 8은 ZCB의 예를 나타낸 개념도.

도 9는 MODE_{BL_PRED}에 따른 공간적 향상 계층에서의 부호화 과정을 표 형태로 나타낸 도면.

도 10은 본 발명의 일 실시예에 따른 스케일러블 비디오 부호화에서 계층간 예측모드 고속 결정방법을 설명하기 위한 흐름도.

Claims (19)

1. (a) 각 계층으로 부호화하고자 하는 비디오 프레임을 입력하는 단계;

   (b) 상기 입력된 비디오 프레임에 대해 하위 계층의 움직임 부호화를 수행하는 단계;

   (c) 상기 하위 계층의 움직임 부호화 결과에 따른 결정 블록을 상위 계층의 움직임 부호화에 대응시키는 단계;

   (d) 상기 하위 계층의 움직임 부호화 결과에 따른 결정 블록의 움직임 벡터 정보를 이용하여 상기 상위 계층의 예측 후보 블록모드들을 결정하는 단계;

   (e) 상기 결정된 예측 후보 블록모드들에 대해 율-왜곡 비용을 계산한 후, 이를 이용하여 최종 부호화 블록모드를 결정하는 단계; 및

   (f) 입력되는 비디오 프레임의 부호화가 완료될 때까지 상기 단계(a) 내지 단계(e)를 반복적으로 적용하여 스케일러블 부호화를 수행하는 단계를 포함하는 스케일러블 비디오 부호화에서 계층간 예측모드 고속 결정방법.
2. 제 1 항에 있어서,

   상기 단계(c)에서, 계층간 공간 해상도에 비례하여 상기 하위 계층의 움직임 부호화 결과에 따른 결정 블록의 크기 및 움직임 벡터의 크기를 대응시키는 것을 특징으로 하는 스케일러블 비디오 부호화에서 계층간 예측모드 고속 결정방법.
3. 제 1 항에 있어서,

   상기 단계(d)에서, 상기 상위 계층의 예측 후보 블록모드들과 대응되는 하위 계층 결정 블록의 부호화 움직임 벡터가 양방향 모두 영벡터인지, 단방향 영벡터인지, 양방향 모두 비영벡터인지, 잔차 신호 변환 계수의 합이 영 또는 정해진 특정 값 이하인지 중 적어도 하나의 경우를 이용하여 예측 후보 블록모드들을 결정하는 것을 특징으로 하는 스케일러블 비디오 부호화에서 계층간 예측모드 고속 결정방법.
4. 제 1 항에 있어서,

   상기 단계(d)에서 결정된 상위 계층의 예측 후보 블록모드와 대응되는 하위 계층의 움직임 부호화 결과가 양방향 모두 영벡터 블록일 경우, 해당 예측 후보 블록모드에 대한 움직임 보상을 수행하는 것을 특징으로 하는 스케일러블 비디오 부호화에서 계층간 예측모드 고속 결정방법.
5. 제 1 항에 있어서,

   상기 단계(d)에서 결정된 상위 계층의 예측 후보 블록모드와 대응되는 하위 계층의 움직임 부호화 결과가 양방향 모두 영벡터 블록이 아닐 경우, 1/4 화소 움직임 벡터 보정을 수행하는 것을 특징으로 하는 스케일러블 비디오 부호화에서 계층간 예측모드 고속 결정방법.
6. 제 1 항에 있어서,

   상기 단계(d)에서 결정된 상위 계층의 예측 후보 블록모드와 대응되는 하위 계층의 움직임 부호화 결과가 단방향 영벡터 블록일 경우, 해당 예측 후보 블록모드에 대한 움직임 보상을 수행하는 것을 특징으로 하는 스케일러블 비디오 부호화에서 계층간 예측모드 고속 결정방법.
7. 제 1 항에 있어서,

   상기 단계(d)에서 결정된 상위 계층의 예측 후보 블록모드와 대응되는 하위 계층의 움직임 부호화 결과가 단방향 영벡터 블록이 아니면서 비영벡터 블록이고, 정수변환 계수가 모두 영(zero)일 경우, 해당 예측 후보 블록모드에 대한 움직임 보상을 수행하는 것을 특징으로 하는 스케일러블 비디오 부호화에서 계층간 예측모드 고속 결정방법.
8. 제 1 항에 있어서,

   상기 단계(d)에서 결정된 상위 계층의 예측 후보 블록모드와 대응되는 하위 계층의 움직임 부호화 결과가 단방향 영벡터 블록과 비영벡터 블록이 아니면서 상기 상위 계층의 예측 후보 블록모드가 16×16 블록모드가 아닐 경우, 해당 상위 계층의 예측 후보 블록모드보다 작거나 같은 블록 크기에 대해서 율-왜곡 최적화를 수행하는 것을 특징으로 하는 스케일러블 비디오 부호화에서 계층간 예측모드 고속 결정방법.
9. 제 8 항에 있어서,

   상기 상위 계층의 예측 후보 블록모드가 16×8 블록모드일 경우, 16×8, 8×8 블록모드에 대해 율-왜곡 비용을 계산하는 것을 특징으로 하는 스케일러블 비디오 부호화에서 계층간 예측모드 고속 결정방법.
10. 제 8 항에 있어서,

    상기 상위 계층의 예측 후보 블록모드가 8×16 블록모드일 경우, 8×16 및 8×8 블록모드에 대해 율-왜곡 비용을 계산하는 것을 특징으로 하는 스케일러블 비디오 부호화에서 계층간 예측모드 고속 결정방법.
11. 제 8 항에 있어서,

    상기 상위 계층의 예측 후보 블록모드가 8×8 블록모드일 경우, 8×8 블록모드에 대해 율-왜곡 비용을 계산하는 것을 특징으로 하는 스케일러블 비디오 부호화에서 계층간 예측모드 고속 결정방법.
12. 제 1 항에 있어서,

    상기 단계(e)에서 율-왜곡 비용이 최소화되는 예측 후보모드를 상기 상위 계층의 최종 부호화 블록모드로 결정하는 것을 특징으로 하는 스케일러블 비디오 부호화에서 계층간 예측모드 고속 결정방법.
13. 제 12 항에 있어서,

    다른 독립적인 움직임 부호화 과정 수행 후의 율-왜곡 비용과 비교하여 율-왜곡 비용이 최소화되는 예측 후보모드를 상기 상위 계층의 최종 부호화 블록모드로 결정하는 것을 특징으로 하는 스케일러블 비디오 부호화에서 계층간 예측모드 고속 결정방법.
14. 제 12 항에 있어서,

    다른 독립적인 움직임 부호화 과정을 수행하지 않고 상기 상위 계층의 최종 부호화 블록모드로 고속 결정하는 것을 특징으로 하는 스케일러블 비디오 부호화에서 계층간 예측모드 고속 결정방법.
15. (a') 각 계층으로 부호화하고자 하는 비디오 프레임을 입력하는 단계;

    (b') 상기 입력된 비디오 프레임에 대해 하위 계층의 움직임 부호화를 수행하는 단계;

    (c') 상기 하위 계층의 움직임 부호화 결과에 따른 결정 블록을 상위 계층의 움직임 부호화에 대응시키는 단계;

    (d') 상기 하위 계층의 움직임 부호화 결과에 따른 결정 블록의 움직임 벡터가 양방향 모두 영벡터 블록, 단방향 영벡터 블록 및 비영벡터 블록이 아니면서 상기 상위 계층의 예측 후보 블록모드가 16×8 블록모드일 경우, 16×8, 8×8 블록모드에 대해 율-왜곡 비용을 계산하는 단계;

    (e') 상기 상위 계층의 예측 후보 블록모드가 8×16 블록모드일 경우, 8×16 및 8×8 블록모드에 대해 율-왜곡 비용을 계산하는 단계;

    (f') 상기 상위 계층의 예측 후보 블록모드가 8×8 블록모드일 경우, 8×8 블록모드에 대해 율-왜곡 비용을 계산하는 단계;

    (g') 상기 상위 계층의 예측 후보 블록모드가 16×16 블록모드일 경우, 16× 16 블록모드에 대해 율-왜곡 비용을 계산하는 단계;

    (h') 상기 단계(d') 내지 단계(g')에서 계산된 율-왜곡 비용이 최소화되는 예측 후보 모드를 상기 상위 계층의 최종 부호화 블록모드로 결정하는 단계; 및

    (i') 입력되는 비디오 프레임의 부호화가 완료될 때까지 상기 단계(a') 내지 단계(h')를 반복적으로 적용하여 스케일러블 부호화를 수행하는 단계를 포함하는 스케일러블 비디오 부호화에서 계층간 예측모드 고속 결정방법.
16. 제 15 항에 있어서,

    상기 단계(c')에서, 계층간 공간 해상도에 비례하여 상기 하위 계층의 움직임 부호화 결과에 따른 결정 블록의 크기 및 움직임 벡터의 크기를 대응시키는 것을 특징으로 하는 스케일러블 비디오 부호화에서 계층간 예측모드 고속 결정방법.
17. 제 15 항에 있어서,

    상기 단계(d')에서 상기 상위 계층의 예측 후보 블록모드와 대응되는 하위 계층의 움직임 부호화 결과가 양방향 모두 영벡터 블록이 아닐 경우, 1/4 화소 움직임 벡터 보정을 수행하는 것을 특징으로 하는 스케일러블 비디오 부호화에서 계층간 예측모드 고속 결정방법.
18. 제 15 항에 있어서,

    상기 단계(d')에서 상기 상위 계층의 예측 후보 블록모드와 대응되는 하위 계층의 움직임 부호화 결과가 양방향 모두 영벡터 블록, 단방향 영벡터 블록 또는 비영벡터 블록이면서 정수변환 계수가 모두 영(zero)일 경우, 해당 예측 후보 블록모드에 대한 움직임 보상을 수행하는 것을 특징으로 하는 스케일러블 비디오 부호화에서 계층간 예측모드 고속 결정방법.
19. 제 1 항 내지 제 18 항 중 어느 한 항의 방법을 컴퓨터로 실행시킬 수 있는 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.

Images