WO2013137588A1 - 스케일러블 비디오 디코딩/인코딩 방법 및 이를 이용한 디코딩/인코딩 장치 - Google Patents

Abstract

본 발명은 스케일러블 비디오 코딩을 수행하는 방법 및 장치에 관한 것으로서, 본 발명에 따른 스케일러블 비디오 코딩을 수행하는 방법은 입력된 레이어에 대한 예측을 수행하는 예측 단계와; 각 레이어에 대한 움직임 정보를 억세스 유닛 마다 압축하는 단계를 포함할 수 있다. 이로 인하여, 인핸스먼트 레이어에서 베이스 레이어의 움직임 정보를 이용할 때 압축되지 않은 움직인 정보를 이용할 수 있어 움직임 정보의 정확도를 높여 예측의 성능을 향상시킬 수 있다.

Description

스케일러블 비디오 디코딩/인코딩 방법 및 이를 이용한 디코딩/인코딩 장치

본 발명은 비디오 압축 기술에 관한 것으로서 더 구체적으로는 스케일러블 비디오 코딩을 수행하는 방법 및 장치에 관한 것이다.

최근 고해상도, 고품질의 영상에 대한 요구가 다양한 응용 분야에서 증가하고 있다. 영상이 고해상도를 가지고 고품질이 될수록 해당 영상에 관한 정보량도 함께 증가하고 있다. 정보량의 증가로 인해 다양한 성능의 장치와 다양한 환경의 네트워크가 등장하고 있다. 다양한 성능의 장치와 다양한 환경의 네트워크가 등장함에 따라서, 동일한 콘텐츠를 다양한 품질로 이용할 수 있게 되었다.

구체적으로, 단말 장치가 지원할 수 있는 품질의 영상이 다양해지고, 구축된 네트워크 환경이 다양해짐으로써, 어떤 환경에서는 일반적인 품질의 영상을 이용하지만, 또 다른 환경에서는 더 높은 품질의 영상을 이용할 수 있게 된다.

이와 같이, 다양한 환경에서 사용자가 요구하는 영상 서비스를 품질에 따라서 다양하게 제공하기 위해 고용량 비디오에 대한 고효율의 인코딩/디코딩 방법을 기반으로 영상의 품질, 예컨대 영상의 화질, 영상의 해상도, 영상의 크기, 비디오의 프레임 레이트 등에 스케일러빌러티를 제공하는 것이 필요하다. 또한, 이러한 스케일러빌러티에 수반되는 다양한 영상 처리 방법이 논의되어야 한다.

한편, 영상의 고해상도, 고품질이 될수록 해당 영상에 관한 정보량도 함께 증가한다. 따라서 기존의 유무선 광대역 회선과 같은 매체를 이용하여 영상 정보를 전송하거나 기존의 저장 매체를 이용해 영상 정보를 저장하는 경우, 정보의 전송 비용과 저장 비용이 증가하게 된다. 따라서, 고해상도, 고품질 영상의 정보를 효과적으로 전송하거나 저장하고, 재생하기 위해 고효율의 영상 압축 기술을 이용할 수 있다.

본 발명은 인터 레이어 예측에 사용되는 움직임 정보를 압축하는 방법 및 이를 이용한 장치를 제공하는 것을 목적으로 한다.

또한, 본 발명은 인터 레이어 예측에 사용되는 움직임 정보를 베이스 레이어에서 유도하는 경우, 움직임 정보의 정확도를 높여 예측의 성능을 향상시킬 수 있는 스케일러블 비디오 코딩 방법 및 이를 이용한 코딩 장치를 제공하는 것을 목적으로 한다.

또한, 본 발명은 인핸스먼트 레이어에서 베이스 레이어의 움직임 정보를 이용할 때 압축되지 않은 움직임 정보를 이용할 수 있도록 하는 스케일러블 비디오 코딩 방법 및 이를 이용한 코딩 장치를 제공하는 것을 목적으로 한다.

한편, 본 발명의 다른 실시예는 레이어 간 해상도 비율을 반영하여 레이어의 움직임 정보를 저장할 수 있는 스케일러블 비디오 코딩 방법 및 이를 이용한 코딩 장치를 제공하는 것을 목적으로 한다.

본 발명의 일 실시형태는 입력된 레이어에 대한 예측을 수행하는 예측 단계와, 각 레이어에 대한 움직임 정보를 억세스 유닛 마다 압축하는 단계를 포함할 수 있다.

이 때, 상기 레이어는 베이스 레이어 및 적어도 하나의 인핸스먼트 레이어를 포함할 수 있고, 상기 예측 단계는, 상기 베이스 레이어의 움직임 정보에 기초하여 상기 인핸스먼트 레이어의 예측을 수행하는 단계를 포함하고, 상기 베이스 레이어의 움직임 정보 및 상기 인핸스먼트 레이어의 움직임 정보의 압축은 상기 인핸스먼트 레이어의 예측 후 수행될 수 있다.

또한, 본 발명의 다른 실시형태는 입력된 레이어에 대한 예측을 수행하는 예측부와, 각 레이어에 대한 움직임 정보를 억세스 유닛 마다 압축하는 메모리를 포함할 수 있다.

본 발명의 일 실시예에 따르면, 본 발명은 인터 레이어 예측에 사용되는 움직임 정보를 압축하는 방법 및 이를 이용한 장치를 제공할 수 있다.

또한, 본 발명의 일 실시예에 따르면, 인터 레이어 예측에 사용되는 움직임 정보를 베이스 레이어에서 유도하는 경우, 움직임 정보의 정확도를 높여 예측의 성능을 향상시킬 수 있다.

또한, 본 발명의 일 실시예에 따르면, 인핸스먼트 레이어에서 베이스 레이어의 움직임 정보를 이용할 때 압축되지 않은 움직임 정보를 이용할 수 있어 움직임 정보의 정확도를 높여 예측의 성능을 향상시킬 수 있다.

한편, 본 발명의 다른 실시예에 따르면 레이어 간 해상도 비율을 반영하여 레이어의 움직임 정보를 저장할 수 있어 데이터 저장 효율을 증가시킬 수 있다.

도 1은 본 발명의 일 실시예에 따라 스케일러빌러티를 지원하는 비디오 인코딩 장치를 개략적으로 도시한 블록도이다.

도 2는 본 발명에 따라서 스케일러블 코딩을 수행하는 인코딩 장치에서의 인터 레이어 예측에 관한 일 예를 설명하는 블록도이다.

도 3은 본 발명의 일 실시예에 따라 스케일러빌러티를 지원하는 비디오 디코딩 장치를 개략적으로 도시한 블록도이다.

도 4는 본 발명에 따라서 스케일러블 코딩을 수행하는 디코딩 장치에서의 인터 레이어 예측에 관한 일 예를 설명하는 블록도이다.

도 5는 본 발명이 적용되는 스케일러불 코딩의 레이어 구조를 개략적으로 설명하는 도면이다.

인터 예측 및 인터 레이어 예측에 대한 설명을 위하여 레이어를 도시한 도면이다.

도 6은 인터 예측에 사용되는 움직임 정보를 압축 저장하는 방법을 설명하기 위한 도면이다.

도 7은 본 발명에 따라 인터 레이어 예측에 사용되는 움직임 정보를 압축하는 방법을 설명하기 위한 제어흐름도이다.

도 8은 본 발명의 다른 실시예에 따라 인터 레이어 예측에 사용되는 움직임 정보를 저장하는 방법을 설명하기 위한 도면이다.

본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니다. 본 명세서에서 사용하는 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명의 기술적 사상을 한정하려는 의도로 사용되는 것은 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성 요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성 요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

한편, 본 발명에서 설명되는 도면상의 각 구성들은 비디오 인코딩 장치/디코딩 장치에서 서로 다른 특징적인 기능들에 관한 설명의 편의를 위해 독립적으로 도시된 것으로서, 각 구성들이 서로 별개의 하드웨어나 별개의 소프트웨어로 구현된다는 것을 의미하지는 않는다. 예컨대, 각 구성 중 두 개 이상의 구성이 합쳐져 하나의 구성을 이룰 수도 있고, 하나의 구성이 복수의 구성으로 나뉘어질 수도 있다. 각 구성이 통합 및/또는 분리된 실시예도 본 발명의 본질에서 벗어나지 않는 한 본 발명의 권리범위에 포함된다.

이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예를 보다 상세하게 설명하고자 한다. 이하, 도면상의 동일한 구성 요소에 대해서는 동일한 참조 부호를 사용하고 동일한 구성 요소에 대해서 중복된 설명은 생략한다.

스케일러빌러티를 지원하는 비디오 코딩 방법(이하, ‘스케일러블 코딩’이라 함)에서는 입력 신호들을 레이어 별로 처리할 수 있다. 레이어에 따라서 입력 신호(입력 영상)들은 해상도(resolution), 프레임 레이트(frame rate), 비트 뎁스(bit-depth), 컬러 포맷(color format), 애스팩트 율(aspect ratio) 중 적어도 하나가 상이할 수 있다.

본 명세서에서, 스케일러블 코딩이라 함은 스케일러블 인코딩과 스케일러블 디코딩을 포함한다.

스케일러블 인코딩/디코딩에서는 레이어 간의 차이를 이용하여, 즉 스케일러빌러티에 기반하여, 레이어 간의 예측을 수행함으로써 정보의 중복 전송/처리를 줄이고 압축 효율을 높일 수 있다.

도 1은 본 발명의 일 실시예에 따라 스케일러빌러티를 지원하는 비디오 인코딩 장치를 개략적으로 도시한 블록도이다.

도 1을 참조하면, 인코딩 장치(100)는 레이어 1에 대한 인코딩부(105)와 레이어 0에 대한 인코딩부(155)를 포함한다.

레이어 0은 베이스 레이어, 참조 레이어 혹은 하위 레이어일 수 있으며, 레이어 1은 인핸스먼트 레이어, 현재 레이어 혹은 상위 레이어일 수 있다.

레이어 1의 인코딩부(105)는 인터/인트라 예측부(110), 변환/양자화부(115), 필터링부(120), DPB(Decoded Picture Buffer, 125), 엔트로피 코딩부(130), 유닛 파라미터 예측부(135), 움직임 예측/리스케일링(rescaling)부(140), 텍스쳐 예측/리스케일링부(145), 파라미터 예측부(150) 및 MUX(Multiplexer, 185)를 포함한다.

레이어 0의 인코딩부(155)는 인터/인트라 예측부(160), 변환/양자화부(165), 필터링부(170), DPB(175) 및 엔트로피 코딩부(180)를 포함한다.

인터/인트라 예측부(110, 160)는 입력된 영상에 대하여 인터 예측과 인트라 예측을 수행할 수 있다. 인터/인트라 예측부(110, 160)는 소정의 처리 단위로 예측을 수행할 수 있다. 예측의 수행 단위는 코딩 유닛(Coding Unit: CU)일 수도 있고, 예측 유닛(Prediction Unit: PU)일 수도 있으며, 변환 유닛(Transform Unit: TU)일 수도 있다.

예컨대, 인터/인트라 예측부(110, 160)는 CU 단위로 인터 예측을 적용할 것인지 인트라 예측을 적용할 것인지를 결정하고, PU 단위로 예측의 모드를 결정하며, PU 단위 혹은 TU 단위로 예측을 수행할 수도 있다. 수행되는 예측은 예측 블록의 생성과 레지듀얼 블록(레지듀얼 신호)의 생성을 포함한다.

인터 예측을 통해서는 현재 픽처의 이전 픽처 및/또는 이후 픽처 중 적어도 하나의 픽처의 정보를 기초로 예측을 수행하여 예측 블록을 생성할 수 있다. 인트라 예측을 통해서는 현재 픽처 내의 픽셀 정보를 기초로 예측을 수행하여 예측 블록을 생성할 수 있다.

인터 예측의 모드 또는 방법으로서, 스킵(skip) 모드, 머지(merge) 모드, MVP(Motion Vector Predictor) 모드 방법 등이 있다. 인터 예측에서는 예측 대상인 현재 PU에 대하여 참조 픽처를 선택하고, 참조 픽처 내에서 현재 PU에 대응하는 참조 블록을 선택할 수 있다. 인터/인트라 예측부(160)는 참조 블록을 기반으로 예측 블록을 생성할 수 있다.

예측 블록은 정수 샘플 단위로 생성될 수도 있고, 정수 이하 픽셀 단위로 생성될 수도 있다. 이때, 움직임 벡터 역시 정수 픽셀 단위 혹은 정수 픽셀 이하의 단위로 표현될 수 있다.

인터 예측에 있어서 움직임 정보 즉, 참조 픽처의 인덱스, 움직임 벡터, 레지듀얼 신호 등의 정보는 엔트로피 인코딩되어 디코딩 장치에 전달된다. 스킵 모드가 적용되는 경우에는 레지듀얼을 생성, 변환, 양자화, 전송하지 않을 수 있다.

인트라 예측에서 예측 모드는 33개의 방향성 예측 모드와 적어도 2개 이상의 비방향성 모드를 가질 수 있다. 비향성성 모드는 DC 예측 모드 및 플래이너 모드(Planar 모드)을 포함할 수 있다. 인트라 예측에서는 참조 샘플에 필터를 적용한 후 예측 블록을 생성할 수도 있다.

PU는 다양한 사이즈/형태의 블록일 수 있으며, 예컨대 인터 예측의 경우에 PU는 2N×2N 블록, 2N×N 블록, N×2N 블록, 또는 N×N 블록 (N은 정수) 등일 수 있다. 인트라 예측의 경우에 PU는 2N×2N 블록 또는 N×N 블록 (N은 정수) 등일 수 있다. 이때, N×N 블록 크기의 PU는 특정한 경우에만 적용하도록 설정할 수 있다. 예컨대 최소 크기 CU에 대해서만 NxN 블록 크기의 PU를 이용하도록 정하거나 인트라 예측에 대해서만 이용하도록 정할 수도 있다. 또한, 상술한 크기의 PU 외에, N×mN 블록, mN×N 블록, 2N×mN 블록 또는 mN×2N 블록 (m<1) 등의 PU를 더 정의하여 사용할 수도 있다.

변환/양자화부(115, 165)는 변환 블록 단위로 레지듀얼 블록에 대한 변환을 수행하여 변환 계수를 생성하고, 변환 계수를 양자화한다.

변환 블록은 샘플들의 사각형 블록으로서 동일한 변환이 적용되는 블록이다. 변환 블록은 변환 유닛(TU)일 수 있으며, 쿼드 트리(quad tree) 구조를 가질 수 있다.

변환/양자화부(115, 165)는 레지듀얼 블록에 적용된 예측 모드와 블록의 크기에 따라서 변환을 수행해서 변환 계수들의 2차원 어레이를 생성할 수 있다. 예컨대, 레지듀얼 블록에 인트라 예측이 적용되었고 블록이 4x4의 레지듀얼 배열이라면, 레지듀얼 블록을 DST(Discrete Sine Transform)를 이용하여 변환하고, 그 외의 경우라면 레지듀얼 블록을 DCT(Discrete Cosine Transform)를 이용하여 변환할 수 있다.

변환/양자화부(115, 165)는 변환 계수들을 양자화하여 양자화된 변환 계수를 생성할 수 있다.

변환/양자화부(115, 165)는 양자화된 변환 계수를 엔트로피 코딩부(130, 180)로 전달할 수 있다. 이때, 변환/양자화부(165)는 양자화된 변환 계수의 2차원 어레이를 소정의 스캔 순서에 따라 1차원 어레이로 재정렬하여 엔트로피 코딩부(130, 180)로 전달할 수도 있다. 또한, 변환/양자화부(115, 165)는 인터 예측을 위해, 레지듀얼과 예측 블록을 기반으로 생성된 복원 블록을 변환/양자화하지 않고, 필터링부(120, 170)에 전달할 수 있다.

엔트로피 코딩부(130, 180)는 양자화된 변환 계수들에 대한 엔트로피 인코딩을 수행할 수 있다. 엔트로피 인코딩에는 예를 들어, 지수 골롬(Exponential Golomb), CABAC(Context-Adaptive Binary Arithmetic Coding) 등과 같은 인코딩 방법을 사용할 수 있다.

필터링부(120, 170)는 디블록킹 필터, ALF(Adaptive Loop Filter), SAO(Sample Adaptive Offset)를 복원된 픽처에 적용할 수 있다.

디블록킹 필터는 복원된 픽처에서 블록 간의 경계에 생긴 왜곡을 제거할 수 있다. ALF(Adaptive Loop Filter)는 디블록킹 필터를 통해 블록이 필터링된 후 복원된 영상과 원래의 영상을 비교한 값을 기초로 필터링을 수행할 수 있다. SAO는 디블록킹 필터가 적용된 레지듀얼 블록에 대하여, 픽셀 단위로 원본 영상과의 오프셋 차이를 복원하며, 밴드 오프셋(Band Offset), 에지 오프셋(Edge Offset) 등의 형태로 적용된다.

필터링부(120, 170)는 디블록킹 필터, ALF, SAO를 모두 적용하지 않고 디블록킹 필터만 적용하거나 디블록킹 필터와 ALF만 적용하거나 디블록킹 필터와 SAO만을 적용할 수도 있다.

DPB(125, 175)는 필터링부(125, 170)로부터 복원 블록 또는 복원 픽처를 전달받아 저장할 수 있다. DPB(125, 175)는 복원 블록 또는 픽처를 인터 예측을 수행하는 인터/인트라 예측부(110, 160)에 제공할 수 있다.

레이어 0의 엔트로피 코딩부(180)에서 출력되는 정보와 레이어 1의 엔트로피 코딩부(130)에서 출력되는 정보는 MUX(185)에서 멀티플렉싱되어 비트스트림으로 출력될 수 있다.

한편, 레이어 1의 인코딩부(105)는 레이어 0의 정보를 이용하여 레이어 1의 영상에 대한 예측을 수행하는 인터 레이어 예측을 위해 유닛 파라미터 예측부(135), 움직임 예측/리스케일링부(140), 텍스쳐 예측/리스케일링부(145), 파라미터 예측부(150) 등을 포함할 수 있다.

유닛 파라미터 예측부(135)는 베이스 레이어의 유닛(CU, PU 및/또는 TU) 정보를 유도하여 인핸스먼트 레이어의 유닛 정보로 사용하도록 하거나, 베이스 레이어의 유닛 정보를 기반으로 인핸스먼트 레이어의 유닛 정보가 결정될 수 있도록 한다.

움직임 예측부(140)는 인터 레이어 움직임 예측을 수행한다. 인터 레이어 움직임 예측을 인터 레이어 인터 예측이라고도 한다. 움직임 예측부(140)는 참조 레이어(베이스 레이어)의 움직임 정보를 이용하여 현재 레이어(인핸스먼트 레이어)의 현재 블록에 대한 예측을 수행할 수 있다.

움직임 예측부(140)는 필요한 경우에, 참조 레이어의 움직임 정보를 스케일링 할 수 있다.

텍스쳐 예측부(145)는 레이어 0의 정보를 기반으로 텍스처 예측을 수행할 수 있다. 텍스처 예측은 인트라 BL(Base Layer) 예측이라고도 불린다. 텍스처 예측은 참조 레이어가 I 슬라이스로서 인트라 예측에 의해 복원된 경우에 적용될 수 있다. 텍스쳐 예측에서는 참조 레이어 내 참조 블록의 텍스처를 인핸스먼트 레이어의 현재 블록에 대한 예측 값으로 사용할 수 있다. 이때, 참조 블록의 텍스처는 업샘플링에 의해 스케일링될 수 있다.

파라미터 예측부(150)는 베이스 레이어에서 사용한 파라미터를 유도하여 인핸스먼트 레이어에서 재사용하도록 하거나 베이스 레이어에서 사용한 파라미터를 기반으로 인핸스먼트 레이어에 대한 파라미터를 예측할 수 있다.

한편, 여기서는 설명의 편의를 위해, 레이어 1의 인코딩부(105)가 MUX(185)를 포함하는 것으로 설명하였으나, MUX는 레이어 1의 인코딩부(105) 및 레이어 0의 인코딩부(155)와는 별도의 장치 혹은 모듈일 수 있다.

도 2는 본 발명에 따라서 스케일러블 코딩을 수행하는 인코딩 장치에서의 인터 레이어 예측에 관한 일 예를 설명하는 블록도이다.

도 2를 참조하면, 레이어 1의 예측부(210)는 인터/인트라 예측부(220) 및 인터 레이어 예측부(230)를 포함한다.

레이어 1의 예측부(210)는 레이어 0의 정보로부터 레이어 1의 예측에 필요한 인터 레이어 예측을 수행할 수 있다.

예컨대, 인터 레이어 예측부(230)는 레이어 0의 인터/인트라 예측부(250) 및/또는 필터링부(260)로부터 레이어 0의 정보를 전달받아 레이어 1의 예측에 필요한 인터 레이어 예측을 수행할 수 있다.

레이어 1의 인터/인트라 예측부(220)는 레이어 1의 정보를 이용하여 인터 예측 혹은 인트라 예측을 수행할 수 있다.

또한, 레이어 1의 인터/인트라 예측부(220)는 인터 레이어 예측부(230)로부터 전달된 정보를 이용하여 레이어 0의 정보에 기반한 예측을 수행할 수도 있다.

아울러, 레이어 1의 필터링부(240)는 레이어 1의 정보에 기반하여 필터링을 수행할 수도 있고, 레이어 0의 정보에 기반하여 필터링을 수행할 수도 있다. 레이어 0의 정보는 레이어 0의 필터링부(260)으로부터 레이어 1의 필터링부(240)에 전달될 수도 있고, 레이어 1의 인터 레이어 예측부(230)로부터 레이어 1의 필터링부(240)에 전달될 수도 있다.

한편, 레이어 0으로부터 인터 레이어 예측부(230)로 전달되는 정보로는 레이어 0의 유닛 파라미터에 관한 정보, 레이어 0의 움직임 정보, 레이어 0의 텍스처 정보, 레이어 0의 필터 파라미터 정보 중 적어도 하나일 수 있다.

따라서, 인터 레이어 예측부(230)는 도 1에서 인터 레이어 예측을 수행하는 유닛 파라미터 예측부(135), 움직임 예측부(140), 텍스처 예측부(145), 파라미터 예측부(150) 중 일부 또는 전부를 포함할 수 있다.

또한, 레이어 1에서, 인터/인트라 예측부(220)는 도 1의 인터/인트라 예측부(110)에 대응할 수 있고, 필터링부(240)는 도 1의 필터링부(120)에 대응할 수 있다. 레이어 0에서, 인터/인트라 예측부(250)는 도 1의 인터/인트라 예측부(160)에 대응할 수 있고, 필터링부(260)는 도 1의 필터링부(170)에 대응할 수 있다.

도 3은 본 발명의 일 실시예에 따라 스케일러빌러티를 지원하는 비디오 디코딩 장치를 개략적으로 도시한 블록도이다.

도 3을 참조하면, 디코딩 장치(300)는 레이어 1의 디코딩부(310)와 레이어 0의 디코딩부(350)를 포함한다.

레이어 0은 베이스 레이어, 참조 레이어 혹은 하위 레이어일 수 있으며, 레이어 1은 인핸스먼트 레이어, 현재 레이어 혹은 상위 레이어일 수 있다.

레이어 1의 디코딩부(310)는 엔트로피 디코딩부(315), 재정렬부(320), 역양자화부(325), 역변환부(330), 예측부(335), 필터링부(340), 메모리를 포함할 수 있다.

레이어 0의 디코딩부(350)는 엔트로피 디코딩부(355), 재정렬부(360), 역양자화부(365), 역변환부(370), 필터링부(380), 메모리(385)를 포함할 수 있다.

인코딩 장치로부터 영상 정보를 포함하는 비트스트림이 전송되면, DEMUX(305)는 레이어 별로 정보를 디멀티플렉싱하여 각 레이어별 디코딩 장치로 전달할 수 있다.

엔트로피 디코딩부(315, 355)는 인코딩 장치에서 사용한 엔트로피 코딩 방식에 대응하여 엔트로피 디코딩을 수행할 수 있다. 예컨대, 인코딩 장치에서 CABAC이 사용된 경우에, 엔트로피 디코딩부(315, 355)도 CABAC을 이용하여 엔트로피 디코딩을 수행할 수 있다.

엔트로피 디코딩부(315, 355)에서 디코딩된 정보 중 예측 블록을 생성하기 위한 정보는 예측부(335, 375)로 제공되고, 엔트로피 디코딩부(315, 355)에서 엔트로피 디코딩이 수행된 레지듀얼 값, 즉 양자화된 변환 계수는 재정렬부(320, 360)로 입력될 수 있다.

재정렬부(320, 360)는 엔트로피 디코딩부(315, 355)에서 엔트로피 디코딩된 비트스트림의 정보, 즉 양자화된 변환 계수를 인코딩 장치에서 재정렬한 방법을 기초로 재정렬할 수 있다.

예컨대, 재정렬부(320, 360)는 1차원 어레이의 양자화된 변환 계수들을 다시 2차원 어레이의 계수들로 재정렬할 수 있다. 재정렬부(320, 360)는 현재 블록(변환 블록)에 적용된 예측 모드 및/또는 변환 블록의 크기를 기반으로 스캐닝을 수행하여 계수(양자화된 변환 계수)들의 2차원 어레이를 생성할 수 있다.

역양자화부(325, 365)는 인코딩 장치에서 제공된 양자화 파라미터와 재정렬된 블록의 계수값을 기초로 역양자화를 수행하여 변환 계수들을 생성할 수 있다.

역변환부(330, 370)는 변환 계수들에 대하여 인코딩 장치의 변환부가 수행한 변환에 대한 역변환을 수행할 수 있다. 예컨대, 역변환부(330, 370)는 인코딩 장치에서 수행된 DCT(Discrete Cosine Transform) 및 DST(Discrete Sine Transform)에 대해 역DCT 및/또는 역DST를 수행할 수 있다.

인코딩 장치에서 DCT 및/또는 DST는 예측 방법, 현재 블록의 크기 및 예측 방향 등 복수의 정보에 따라 선택적으로 수행될 수 있고, 디코딩 장치의 역변환부(330, 370)는 인코딩 장치에서 수행된 변환 정보를 기초로 역변환을 수행할 수 있다.

역변환부(330, 370)는 변환 계수들 혹은 변환 계수의 블록을 역변환하여 레지듀얼 혹은 레지듀얼 블록을 생성할 수 있다.

예측부(335, 375)는 엔트로피 디코딩부(315, 355)로부터 전달된 예측 블록 생성 관련 정보와 메모리(345, 385)에서 제공된 이전에 디코딩된 블록 및/또는 픽처 정보를 기초로 현재 블록에 대한 예측 블록을 생성할 수 있다.

현재 블록에 대한 예측 모드가 인트라 예측(intra prediction) 모드인 경우에, 예측부(335, 375)는 현재 픽처 내의 픽셀 정보를 기초로 현재 블록에 대한 인트라 예측을 수행할 수 있다.

현재 블록에 대한 예측 모드가 인터 예측(inter prediction) 모드인 경우에, 예측부(335, 375)는 현재 픽처의 이전 픽처 또는 이후 픽처 중 적어도 하나의 픽처에 포함된 정보를 기초로 현재 블록에 대한 인터 예측을 수행할 수 있다. 인터 예측에 필요한 움직임 정보의 일부 또는 전부는 인코딩 장치로부터 수신한 정보를 확인하고, 이에 대응하여 유도될 수 있다.

인터 예측의 모드로서 스킵 모드가 적용되는 경우에는 인코딩 장치로부터 레지듀얼이 전송되지 않으며 예측 블록을 복원 블록으로 할 수 있다.

한편, 레이어 1의 예측부(335)는 레이어 1 내의 정보만을 이용하여 인터 예측 또는 인트라 예측을 수행할 수도 있고, 다른 레이어(레이어 0)의 정보를 이용하여 인터 레이어 예측을 수행할 수도 있다.

예컨대, 레이어 1의 예측부(335)는 레이어 1의 움직임 정보, 레이어 1의 텍스처 정보, 레이어 1의 유닛 정보, 레이어 1의 파라미터 정보 중 하나를 이용하여 현재 블록에 대한 예측을 수행할 수 있다. 또한, 레이어 1의 예측부(335)는 레이어 1의 움직임 정보, 레이어 1의 텍스처 정보, 레이어 1의 유닛 정보, 레이어 1의 파라미터 정보 중 복수의 정보를 이용하여 현재 블록에 대한 예측을 수행할 수도 있다.

레이어 1의 예측부(335)는 레이어 0의 예측부(375)로부터 레이어 1의 움직임 정보를 전달받아서 움직임 예측을 수행할 수 있다. 인터 레이어 움직임 예측을 인터 레이어 인터 예측이라고도 한다. 인터 레이어 움직임 예측에 의해, 참조 레이어(베이스 레이어)의 움직임 정보를 이용하여 현재 레이어(인핸스먼트 레이어)의 현재 블록에 대한 예측이 수행될 수 있다. 예측부(335)는 필요한 경우에, 참조 레이어의 움직임 정보를 스케일링 하여 이용할 수도 있다.

레이어 1의 예측부(335)는 레이어 0의 예측부(375)로부터 레이어 1의 텍스처 정보를 전달받아서 텍스처 예측을 수행할 수 있다. 텍스처 예측은 인트라 BL(Base Layer) 예측이라고도 불린다. 텍스처 예측은 참조 레이어가 I 슬라이스로서 인트라 예측에 의해 복원된 경우에 적용될 수 있다. 텍스쳐 예측에서는 참조 레이어 내 참조 블록의 텍스처를 인핸스먼트 레이어의 현재 블록에 대한 예측 값으로 사용할 수 있다. 이때, 참조 블록의 텍스처는 업샘플링에 의해 스케일링될 수 있다.

레이어 1의 예측부(335)는 레이어 0의 예측부(375)로부터 레이어 1의 유닛 파라미터 정보를 전달받아서 유닛 파라미터 예측을 수행할 수 있다. 유닛 파라미터 예측에 의해, 베이스 레이어의 유닛(CU, PU 및/또는 TU) 정보가 인핸스먼트 레이어의 유닛 정보로 사용되거나, 베이스 레이어의 유닛 정보를 기반으로 인핸스먼트 레이어의 유닛 정보가 결정될 수 있다.

레이어 1의 예측부(335)는 레이어 0의 예측부(375)로부터 레이어 1의 필터링에 관한 파라미터 정보를 전달받아서 파라미터 예측을 수행할 수도 있다. 파라미터 예측에 의해, 베이스 레이어에서 사용한 파라미터를 유도하여 인핸스먼트 레이어에서 재사용하거나, 베이스 레이어에서 사용한 파라미터를 기반으로 인핸스먼트 레이어에 대한 파라미터를 예측할 수 있다.

가산기(390, 395)는 예측부(335, 375)에서 생성된 예측 블록과 역변환부(330, 370)에서 생성된 레지듀얼 블록을 이용해 복원 블록을 생성할 수 있다. 이 경우, 가산기(390, 395)를 복원 블록을 생성하는 별도의 유닛(복원 블록 생성부)로 볼 수 있다.

가산기(390, 395)에서 복원된 블록 및/또는 픽처는 필터링부(340, 380)로 제공될 수 있다.

필터링부(340, 380)는 복원된 블록 및/또는 픽처에 디블록킹 필터링, SAO(Sample Adaptive Offset) 및/또는 ALF 등을 적용할 수 있다.

필터링부(340, 380)는 디블록킹 필터, ALF, SAO를 모두 적용하지 않고, 디블록킹 필터만 적용하거나, 디블록킹 필터와 ALF만 적용하거나, 디블록킹 필터와 SAO만을 적용할 수도 있다.

도 3의 예을 참조하면, 레이어 1의 필터링부(340)는 레이어 1의 예측부(335) 및/또는 레이어 1의 필터링부(380)으로부터 전달되는 파라미터 정보를 이용하여 복원된 픽처에 대한 필터링을 수행할 수도 있다. 예컨대, 레이어 1에서 필터링부(340)는 레이어 0에서 적용된 필터링의 파라미터로부터 예측된 파라미터를 이용하여 레이어 1에 대한 혹은 레이어 간의 필터링을 적용할 수 있다.

메모리(345, 385)는 복원된 픽처 또는 블록을 저장하여 참조 픽처 또는 참조 블록으로 사용할 수 있도록 할 수 있다. 메모리(345, 385)는 저장된 복원 픽처를 소정의 출력부(미도시) 혹은 디스플레이(미도시)를 통해 출력할 수도 있다.

도 3의 예에서는 재정렬부, 역양자화부, 역변환부 등으로 나누어 설명하였으나, 도 1의 인코딩 장치에서와 같이, 역양자화/역변환부의 한 모듈에서 재정렬, 역양자화, 역변환을 순서대로 수행하도록 디코딩 장치를 구성할 수도 있다.

반대로, 도 3의 예에서는 예측부로 설명하였으나, 도 1의 예와 같이 레이어 1의 예측부는 다른 레이어(레이어 0)의 정보를 이용하여 예측을 수행하는 인터 레이어 예측부와 다른 레이어(레이어 0)의 정보를 이용하지 않고 예측을 수행하는 인터/인트라 예측부를 포함할 수도 있다.

도 4는 본 발명에 따라서 스케일러블 코딩을 수행하는 디코딩 장치에서의 인터 레이어 예측에 관한 일 예를 설명하는 블록도이다. 도 4를 참조하면, 레이어 1의 예측부(410)는 인터/인트라 예측부(420) 및 인터 레이어 예측부(430)를 포함한다.

레이어 1의 예측부(410)는 레이어 0의 정보로부터 레이어 1의 예측에 필요한 인터 레이어 예측을 수행할 수 있다.

예컨대, 인터 레이어 예측부(430)는 레이어 0의 인터/인트라 예측부(450) 및/또는 필터링부(460)로부터 레이어 0의 정보를 전달받아 레이어 1의 예측에 필요한 인터 레이어 예측을 수행할 수 있다.

레이어 1의 인터/인트라 예측부(420)는 레이어 1의 정보를 이용하여 인터 예측 혹은 인트라 예측을 수행할 수 있다.

또한, 레이어 1의 인터/인트라 예측부(420)는 인터 레이어 예측부(430)로부터 전달된 정보를 이용하여 레이어 0의 정보에 기반한 예측을 수행할 수도 있다.

레이어 1의 필터링부(440)는 레이어 0의 정보에 기반하여 필터링을 수행할 수도 있고, 레이어 0의 정보에 기반하여 필터링을 수행할 수도 있다. 레이어 0의 정보는 레이어 0의 필터링부(460)으로부터 레이어 1의 필터링부(440)에 전달될 수도 있고, 레이어 1의 인터 레이어 예측부(430)로부터 레이어 1의 필터링부(240)에 전달될 수도 있다.

한편, 레이어 0으로부터 인터 레이어 예측부(430)로 전달되는 정보로는 레이어 0의 유닛 파라미터에 관한 정보, 레이어 0의 움직임 정보, 레이어 0의 텍스처 정보, 레이어 0의 필터 파라미터 정보 중 적어도 하나일 수 있다.

레이어 1에서 예측부(410) 는 도 3의 예측부(335)에 대응할 수 있고, 필터링부(440)는 도 3의 필터링부(340)에 대응할 수 있다. 레이어 0에서, 예측부(450)는 도 3의 예측부(375)에 대응할 수 있고, 필터링부(460)는 도 3의 필터링부(380)에 대응할 수 있다.

또한, 도시하지는 않았지만, 인터 레이어 예측부(430)는 수행하는 인터 레이어 예측의 종류(예컨대, 움직임 예측, 텍스처 예측, 유닛 파라미터 예측, 파라미터 예측)에 따라서, 움직임 예측부, 텍스처 예측부, 유닛 파라미터 예측부, 파라미터 예측부를 포함할 수도 있다.

스케일러블 비디오 코딩에서는 다른 레이어의 정보를 이용하여 현재 레이어의 정보를 예측하는 인터 레이어 예측이 수행될 수 있다. 도 1 내지 도 4의 예에서 설명한 바와 같이, 인터 레이어 예측의 예로서 움직임 예측, 텍스처 예측, 유닛 예측, 파라미터 예측 등을 고려할 수 있다.

도 5는 본 발명이 적용되는 스케일러블 코딩의 레이어 구조를 개략적으로 설명하는 도면이다.

POC가 n인 현재 픽처(510)는 다른 레이어의 정보를 참조하지 않고 다른 픽처의 정보를 이용하여 인터 예측을 할 수 있다. 예를 들어 현재 픽처(510)가 P 픽처이면 POC가 n보다 작은 이전 픽처의 정보를 이용하여 인터 예측을 수행하고, 현재 픽처(510)가 B 픽처이면 이전 픽처 및 POC가 n 보다 큰 이후 픽처의 정보를 이용하여 인터 예측을 수행할 수 있다. 인터 예측에 이용되는 예측 정보는 스킵 모드, 머지 모드, MVP(Motion Vector Predictor) 모드와 같은 예측 모드(predMode)에 대한 정보, 참조 픽처 인덱스, 움직임 벡터이다.

인터 예측 시, 디코딩 장치 및 인코딩 장치는 현재 블록의 주변 블록의 움직임 정보를 이용할 수 있다. 주변 블록은 공간적 블록 및 시간적 블록을 포함하고, 주변 블록의 움직임 정보는 머지 모드일 때 움직임 벡터와 참조 픽처 인덱스이고, MVP 모드일 때는 움직임 벡터이다. 디코딩이 완료된 픽처에 대한 움직임 정보는 장치 내 메모리 또는 DPS에 압축 저장된다.

한편, 현재 픽처(510)에 대한 인터 레이어 예측의 경우, 동일한 POC의 다른 레이어(520)의 정보를 기반으로 예측이 수행된다. 본 명세서에서는 다른 레이어의 정보를 이용하여 현재 레이어의 정보를 예측하는 방법을, 설명의 편의를 위해, 인터 레이어 예측이라고 한다.

다른 레이어의 정보를 이용하여 예측되는 (즉, 인터 레이어 예측에 의해 예측되는) 현재 레이어의 정보로는 텍스처, 움직임 정보, 유닛 정보, 소정의 파라미터(예컨대, 필터링 파라미터 등) 등이 있을 수 있다.

또한, 현재 레이어에 대한 예측에 이용되는 (즉, 인터 레이어 예측에 이용되는) 다른 레이어의 정보로는 텍스처, 움직임 정보, 유닛 정보, 소정의 파라미터(예컨대, 필터링 파라미터 등)이 있을 수 있다.

인터 레이어 예측의 일 예로서, 인터 레이어 유닛 파라미터 예측에서는 베이스 레이어의 유닛(CU, PU 및/또는 TU) 정보를 유도하여 인핸스먼트 레이어의 유닛 정보로 사용하거나, 베이스 레이어의 유닛 정보를 기반으로 인핸스먼트 레이어의 유닛 정보를 결정할 수 있다.

또한, 유닛 정보는 각 유닛 레벨에서의 정보를 포함할 수 있다. 예컨대, CU 정보의 경우, 파티션(CU, PU 및 또는 TU)에 관한 정보, 변환에 관한 정보, 예측에 대한 정보, 코딩에 대한 정보를 포함할 수 있다. PU 정보의 경우, PU 파티션에 관한 정보, 예측에 관한 정보(예컨대, 움직임 정보, 예측 모드에 관한 정보 등) 등을 포함할 수 있다. TU에 관한 정보는 TU 파티션에 관한 정보, 변환에 관한 정보(변환 계수, 변환 방법 등) 등을 포함할 수 있다.

또한, 유닛 정보는 처리 단위(예컨대, CU, PU, TU 등)의 분할 정보만을 포함할 수도 있다.

인터 레이어 예측의 다른 예인 인터 레이어 움직임 예측은 인터 레이어 인터 예측이라고도 한다. 인터 레이어 인터 예측에 의하면, 레이어 0 (참조 레이어 혹은 베이스 레이어)의 움직임 정보를 이용하여 레이어 1 (현재 레이어 혹은 인핸스먼트 레이어)의 현재 블록에 대한 예측을 수행할 수 있다.

인터 레이어 인터 예측을 적용하는 경우에는, 참조 레이어의 움직임 정보를 스케일링 할 수도 있다.

인터 레이어 예측의 또 다른 예로서 인터 레이어 텍스쳐 예측은 인트라 BL(Base Layer) 예측이라고도 불린다. 인터 레이어 텍스처 예측은 참조 레이어 내 참조 블록이 인트라 예측에 의해 복원된 경우에 적용될 수 있다.

텍스쳐 예측에서는 참조 레이어 내 참조 블록의 텍스처를 인핸스먼트 레이어의 현재 블록에 대한 예측 값으로 사용할 수 있다. 이때, 참조 블록의 텍스처는 업샘플링에 의해 스케일링될 수 있다.

인터 레이어 예측의 또 다른 예인 인터 레이어 파라미터 예측에서는 베이스 레이어에서 사용한 파라미터를 유도하여 인핸스먼트 레이어에서 재사용하도록 하거나 베이스 레이어에서 사용한 파라미터를 기반으로 인핸스먼트 레이어에 대한 파라미터를 예측할 수 있다.

여기서는 인터 레이어 예측의 예로서, 인터 레이어 텍스처 예측, 인터 레이어 움직임 예측, 인터 레이어 유닛 정보 예측, 인터 레이어 파라미터 예측을 설명하였으나, 본 발명에서 적용할 수 있는 인터 레이어 예측은 이에 한정되지 않는다.

예컨대, 예측부는 인터 레이어 예측으로서 다른 레이어의 레지듀얼 정보를 이용하여 현재 레이어의 레지듀얼을 예측하고 이를 기반으로 현재 레이어 내 현재 블록에 대한 예측을 수행하는 인터 레이어 레지듀얼 예측을 이용할 수도 있다.

한편, 인터 예측을 수행하기 위하여 필요한 움직임 정보는 픽처의 디코딩 과정 후 메모리에 저장된다. 본 명세서에서 디코딩 과정이란 생성된 예측 블록와 레지듀얼 블록을 이용하여 영상이 복원되는 과정을 의미할 수 있다. 또한, 디코딩 과정은 복원된 영상에 대한 필터링을 포함할 수도 있다.

따라서, 현재 픽처에 대한 디코딩이 완료되면, 현재 픽처에 대한 움직임 정보는 다른 픽처의 예측에 사용되기 위하여 저장되며, 움직임 정보는 소정의 움직임 정보 저장 단위(Motion Data Storage Unit)별로 저장될 수 있다.

움직임 정보가 설정되는 최소 단위를 움직임 정보 블록이라고 표현하면 하나의 움직임 정보 저장 단위는 복수의 움직임 정보 블록으로 구성될 수 있다.

복수의 움직임 정보 블록에 대한 움직임 정보는 움직임 정보 저장 단위마다 설하나의 대표값으로 저장될 수 있다. 즉, 움직인 정보 저장 단위마다 설정된 대표값은 움직임 정보 저장 단위에 속하는 움직임 정보 블록의 움직임 정보로 이용된다.

대표값은 움직임 정보의 평균값, 즉 움직임 벡터의 평균값과 참조 픽처 인덱스의 최소값일 수 있다. 또는 대표값은 특정 움직임 정보 블록의 움직임 정보일 수 있으며, 예를 들어 움직임 정보 저장 단위의 좌상단에 위치하는 움직임 정보 블록블의 움직임 정보가 대표값이 될 수 있다.

이는 움직임 정보를 저장하기 위한 메모리를 줄이기 위한 것으로서, 움직임 정보 저장 단위가 되는 블록의 사이즈는 미리 설정되어 있을 수도 있고, 부호화기로부터 시그널링될 수도 있다.

도 6은 인터 예측에 사용되는 움직임 정보를 압축 저장하는 방법을 예시적으로설명하기 도면이다. 도 6에서는 16개의 움직임 정보 블럭들 B0 ~ B15로 구성되는 유닛을 하나의 움직임 정보 저장 단위로 하는 경우를 예로서 설명하고 있다. 설명의 편의를 위해 도 6에서는 각 움직임 정보 블록 BI (I=0, …, 15)의 움직임 벡터를 (XI, YI)로 특정한다.

디코딩 장치는 도 6에 도시된 움직임 정보 저장 단위 내에서 가장 왼쪽 위에 있는 움직임 정보 블록 B0의 움직임 벡터 (X0, Y0)를 움직임 정보 저장 단위(600)에 대한 대표값으로 이용할 수 있다. 즉, 다른 15 개의 움직임 정보 블록 B1 ~ B15에 대해서도 (X0, Y0)의 움직임 벡터값이 할당된다.

다시 말하면, 움직임 정보 저장 단위(600) 내의 첫 번째 움직임 정보 블록인 B0이 인트라 코딩되지 않은 경우에는, 움직임 정보 블록 B0의 움직임 벡터 (X0, YO)이 16 개의 움직임 정보 블록(B0 ~ B15)에 대한 대표 움직임 벡터로서, 메모리(DPS)에 저장된다. 움직임 정보 블록 B0이 인트라 코딩된 경우에는, 움직임 벡터 (0, 0)이 움직임 정보 저장 단위(600)를 대표하는 움직임 벡터 값으로서 움직임 벡터 버퍼에 저장된다.

도 6은 움직임 정보의 일 예로 움직임 벡터의 저장을 설명한 것으로 참조 인덱스와 움직임 벡터를 포함하는 움직임 정보도 상술한 바와 같이 복수의 블록에 대한 소정의 대표적인 값으로 압축 저장될 수 있다. 또한, 움직임 정보와 함께 인터 예측인지 인트라 예측인지 여부 또는 인터 예측에 사용된 예측 모드(predMode)에 대한 정보도 상술한 바와 같이 소정의 대표값으로 압축 저장될 수 있다.

한편, 인터 레이어 예측의 경우, 인핸스먼트 레이어는 베이스 레이어의 정보에 기초하여 예측 및 디코딩 되기 때문에 베이스 레이어에 대한 예측 및 디코딩은 인핸스먼트 레이어의 예측에 선행되어 이루어질 수 있다. 이런 경우, 각 레이어에 대한 움직임 정보를 저장하는 방법에 대하여 살펴본다.

도 7은 본 발명에 따라 인터 레이어 예측에 사용되는 움직임 정보를 압축하는 방법을 설명하기 위한 제어흐름도이다. 본 실시예에서는 스케일러빌러티를 지원하는 도 3의 비디오 디코딩 장치(300)를 일 예로 하여 설명한다.

우선, 예측부(375)는 베이스 레어어 픽처에 대한 예측을 수행한다(S701).

예측부(375)는 엔트로피 디코딩부(355)로부터 전달된 예측 블록 생성 관련 정보와 메모리(385)에서 제공된 이전에 디코딩된 블록 및/또는 픽처 정보를 기초로 현재 블록에 대한 예측 블록을 생성할 수 있다. 그런 후, 베이스 레이어의 움직임 정보에 기초하여 인핸스먼트 레이어의 예측을 수행한다(S702).

인터 레이어 예측을 적용하는 경우에, 참조 레이어의 움직임 정보를 이용하여 현재 레이어의 현재 블록에 대한 예측을 수행할 수도 있고, 베이스 레이어의 텍스처를 이용하여 현재 레이어의 현재 블록에 대한 예측을 수행할 수도 있다.

설명의 편의를 위해, 참조 레이어의 움직임 정보를 이용하는 인터 레이어 예측을 인터 레이어 움직임 예측이라고 하고, 참조 레이어의 텍스처를 이용하는 인터 레이어 예측을 인터 레이어 텍스처 예측이라고 한다.

인터 레이어 움직임 예측에 이용되는 참조 레이어의 움직임 정보는, 현재 블록에 대응하는 참조 레이어 내 블록의 움직임 벡터 및/또는 참조 픽처 인덱스일 수 있다. 인터 레이어 텍스처 예측에 이용되는 참조 레이어의 텍스처는 현재 블록에 대응하는 참조 레이어 내 블록의 복원된 텍스처일 수 있다.

본 실시예에 따르면, 인핸스먼트 레이어의 예측 및 디코딩에 이용할 수 있는 베이스 레이어의 움직임 정보는 압축되지 않은 정보이기 때문에 예측의 정확도를 높일 수 있다. 이로 인하여 복원되는 인핸스먼트 레이어의 화질이 개선되어 원본 영상에 가까운 영상의 복원이 가능해진다.

상술한 바와 같이, 억세스 유닛 내의 모든 레이어에 대한 예측 및 디코딩이 완료되면, 베이스 레이어 및 인핸스먼트 레이어의 움직임 정보가 압축된다(S703).

이 때 억세스 유닛은 동일 시간 대에 디스플레이 되는 레이어를 의미한다. 이를 통하여 저장되는 데이터를 감소시키면서도 인터 레이어 예측의 성능을 향상시킬 수 있다.

본 발명의 또 다른 실시예에 따르면, 인핸스먼트 레이어의 예측 시 베이스 레이어의 움직임 정보가 사용되지 않더라도, 베이스 레이어 및 인핸스먼트 레이어의 움직임 정보는 억세스 유닛 마다 압축되어 저장될 수 있다. 즉, 인터 레이어 예측이 수행되지 않는 경우에도 특정 시점에 표시될 수 있는 레이어들에 대한 움직임 정보는 모든 레이어들에 대한 예측이 완료된 시점에 압축될 수 있다.

움직임 정보는 도 6에 설명된 바와 같이 소정 크기의 블록에 대한 대표값으로 압축되어 저장될 수 있다.

상기 설명은 비디오 인코딩 장치(100)에서 인핸스먼트 레이어에 대한 인터 예측을 위하여 베이스 레이어의 움직임 정보를 하는 과정에 동일하게 적용할 수 있으며, 베이스 레이어의 움직임 정보는 인핸스먼트 레이어의 예측 및/또는 디코딩이 완료된 후 압축 저장될 수 있다.

도 8은 본 발명의 다른 실시예에 따라 인터 레이어 예측에 사용되는 움직임 정보를 저장하는 방법을 설명하기 위한 도면이다.

상술한 바와 같이, 움직임 정보는 특정 크기의 정보 저장 단위로 압축되어 저장될 수 있다. 본 실시예에 따르면, 인핸스먼트 레이어의 움직임 정보가 저장되는 정보 저장 단위는 베이스 레이어와 인핸스먼트 레이어 간의 해상도 비율에 따라 스케일될 수 있고, 도시된 바와 같이 확장될 수 있다.

예를 들어 인핸스먼트 레이어의 해상도가 베이스 레이어 해상도의 a배이고, 베이스 레이어의 정보 저장 단위(810)가 NxN 샘플 블록인 경우, 인핸스먼트 레이어의 정보 저장 단위(820)는 aNxaN 샘플 블록으로 설정될 수 있다. aNxaN 샘플 블록에서 가장 위쪽에 있는 정보 블록 B0의 움직임 벡터 (X0, Y0)를 정보 저장 단위(820)에 대한 대표값으로 이용할 수 있다. 본 실시예에 따를 경우, 레이어 간 해상도 비율을 반영하여 레이어의 움직임 정보를 저장할 수 있어 데이터 저장 효율을 증가시킬 수 있다.

베이스 레이어와 인핸스먼트 레이어의 움직임 정보는 한번에 압축 저장될 수 있다. 또한, 베이스 레이어의 움직임 정보와 인핸스먼트 레이어의 움직임 정보는 둘 중 어느 하나만이 압축 될 수도 있다. 높은 해상도를 갖는 인핸스먼트 레이어의 움직임 정보를 저장하는 경우, 베이스 레이어에 대한 움직임 정보는 저장된 움직임 정보를 다운 샘플링하여 구할 수 있다. 반대로 해상도가 낮은 베이스 레이어에 대한 움직임 정보를 저장하는 경우, 베이스 레이어의 움직임 정보를 업 샘플링하여 인핸스먼트 레이어에 대한 움직임 정보를 파악할 수도 있다.

본 명세서에서는 설명의 편의를 위해, 스케일러블 비디오 코딩이 지원되는 멀티 레이어 구조에서 각 레이어별로 특정 시점(예컨대, POC(Picture Order Count) 혹은 AU(Access Unit))에 복원되는 샘플들의 어레이를 ‘픽처’라고 표현하였다.

이와 관련하여, 디코딩 되어 출력되는 레이어(현재 레이어)에서 특정 시점에 복원된 혹은 복원되는 전체 샘플 어레이를 픽처라고 하여, 참조되는 레이어의 복원된 혹은 복원되는 샘플 어레이와 구분할 수도 있다. 참조되는 레이어에서 특정 시점에 복원된 혹은 복원되는 샘플 어레이는 리프리젠테이션(representation), 참조 레이어 픽처, 참조 레이어 샘플 어레이, 참조 레이어 텍스처 등으로 칭할 수도 있다. 이 경우, 하나의 AU에 대해서는 현재 레이어에서 복원된 하나의 디코딩(인코딩)된 픽처가 출력될 수 있다.

상술한 예시적인 시스템에서, 방법들은 일련의 단계 또는 블록으로써 순서도를 기초로 설명되고 있지만, 본 발명은 단계들의 순서에 한정되는 것은 아니며, 어떤 단계는 상술한 바와 다른 단계와 다른 순서로 또는 동시에 발생할 수 있다. 또한, 상술한 실시예들은 다양한 양태의 예시들을 포함할 수 있으므로 각 실시예의 조합 역시 본 발명의 일 실시예로서 이해되어야 할 것이다. 따라서, 본 발명은 이하의 특허청구범위 내에 속하는 모든 다른 교체, 수정 및 변경을 포함한다고 할 것이다.

Claims (4)

1. 베이스 레이어에 대한 예측을 수행하는 단계와;

   상기 베이스 레이어의 움직임 정보에 기초하여 인핸스먼트 레이어의 예측을 수행하는 단계와;

   상기 베이스 레이어의 움직임 정보 및 상기 인핸스먼트 레이어의 움직임 정보를 억세스 유닛 마다 압축하는 단계를 포함하는 것을 스케일러블 비디오 디코딩 방법.
2. 베이스 레이어에 대한 예측을 수행하는 제1 예측부와;

   상기 베이스 레이어의 움직임 정보에 기초하여 인핸스먼트 레이어의 예측을 수행하는 제2 예측부와;

   상기 베이스 레이어의 움직임 정보 및 상기 인핸스먼트 레이어의 움직임 정보를 억세스 유닛 마다 압축하는 메모리를 포함하는 것을 특징으로 하는 스케일러블 비디오 디코딩 장치.
3. 베이스 레이어에 대한 예측을 수행하는 단계와;

   상기 베이스 레이어의 움직임 정보에 기초하여 인핸스먼트 레이어의 예측을 수행하는 단계와;

   상기 베이스 레이어의 움직임 정보 및 상기 인핸스먼트 레이어의 움직임 정보를 억세스 유닛 마다 압축하는 단계를 포함하는 것을 스케일러블 비디오 인코딩 방법.
4. 베이스 레이어에 대한 예측을 수행하는 제1 예측부와;

   상기 베이스 레이어의 움직임 정보에 기초하여 인핸스먼트 레이어의 예측을 수행하는 제2 예측부와;

   상기 베이스 레이어의 움직임 정보 및 상기 인핸스먼트 레이어의 움직임 정보를 억세스 유닛 마다 압축하는 메모리를 포함하는 것을 특징으로 하는 스케일러블 비디오 인코딩 장치.

Images