KR102418524B1 - 영상 부호화/복호화 방법 및 장치 - Google Patents

Abstract

복수의 계층을 지원하는 영상 부호화/복호화 방법 및 장치가 개시된다. 상기 복수의 계층을 지원하는 영상 복호화 방법은 현재 복호화 대상 블록을 포함하는 제2 계층의 픽처가 참조하는 제1 계층의 정보를 복호화하는 단계, 상기 제2 계층의 픽처 크기로 상기 제1 계층의 정보를 매핑(mapping)하는 단계, 상기 매핑된 제1 계층의 정보를 추가하여 상기 제2 계층의 픽처에 대한 참조 픽처 리스트를 구성하는 단계 및 상기 참조 픽처 리스트를 기반으로 상기 제2 계층의 현재 복호화 대상 블록에 대한 예측을 수행하여 상기 현재 복호화 대상 블록의 예측 샘플들을 생성하는 단계를 포함한다.

Description

영상 부호화/복호화 방법 및 장치{METHOD AND APPARATUS FOR IMAGE ENCODING/DECODING}

본 발명은 영상 부호화 및 복호화에 관한 것으로, 보다 상세하게는 다계층 구조의 영상 부호화 및 복호화 시 하위 계층의 정보를 이용하여 상위 계층의 영상을 예측하고 부호화 및 복호화 하는 방법에 관한 것이다.

최근 멀티미디어(multimedia) 환경이 구축되면서, 다양한 단말과 네트워크가 이용되고 있으며, 이에 따른 사용자 요구도 다변화하고 있다.

예컨대, 단말의 성능과 컴퓨팅 능력(computing capability)가 다양해짐에 따라서 지원하는 성능도 기기별로 다양해지고 있다. 또한 정보가 전송되는 네트워크 역시 유무선 네트워크와 같은 외형적인 구조뿐만 아니라, 전송하는 정보의 형태, 정보량과 속도 등 기능별로도 다양해지고 있다. 사용자는 원하는 기능에 따라서 사용할 단말과 네트워크를 선택하며, 또한 기업이 사용자에게 제공하는 단말과 네트워크의 스펙트럼도 다양해지고 있다.

이와 관련하여, 최근 HD(High Definition) 해상도를 가지는 방송이 국내뿐만 아니라 세계적으로 확대되어 서비스되면서, 많은 사용자들이 고해상도, 고화질의 영상에 익숙해지고 있다. 이에 따라서 많은 영상 서비스 관련 기관들이 차세대 영상 기기에 대한 개발에 많은 노력을 하고 있다.

또한 HDTV와 더불어 HDTV의 4배 이상의 해상도를 가지는 UHD(Ultra High Definition)에 대한 관심이 증대되면서 보다 높은 해상도, 고화질의 영상을 압축하여 처리하는 기술에 대한 요구는 더 높아지고 있다.

영상을 압축하여 처리하기 위해, 시간적으로 이전 및/또는 이후의 픽처로부터 현재 픽처에 포함된 화소값을 예측하는 인터(inter) 예측 기술, 현재 픽처 내의 화소 정보를 이용하여 현재 픽처에 포함된 다른 화소값을 예측하는 인트라(intra) 예측 기술, 출현 빈도가 높은 심볼(symbol)에 짧은 부호를 할당하고 출현 빈도가 낮은 심볼에 긴 부호를 할당하는 엔트로피 인코딩 기술 등이 사용될 수 있다.

상술한 바와 같이, 지원하는 기능이 상이한 각 단말과 네트워크 그리고 다변화된 사용자의 요구를 고려할 때, 지원되는 영상의 품질, 크기, 프레임 등도 이에 따라 다변화될 필요가 있다.

이와 같이, 이종의 통신망과 다양한 기능 및 종류의 단말로 인해, 영상의 화질, 해상도, 크기, 프레임 율 등을 다양하게 지원하는 스케일러빌리티(scalability)는 비디오 포맷의 중요한 기능이 되고 있다.

따라서, 고효율의 비디오 부호화 방법을 기반으로 다양한 환경에서 사용자가 요구하는 서비스를 제공하기 위해 시간, 공간, 화질 등의 측면에서 효율적인 비디오 부호화와 복호화가 가능하도록 스케일러빌리티 기능을 제공하는 것이 필요하다.

본 발명은 스케일러블 비디오 코딩에서 하위 계층의 정보를 이용하여 상위 계층을 부호화/복호화하는 방법 및 장치를 제공한다.

본 발명은 스케일러블 비디오 코딩에서 하위 계층 영상을 매핑하는 방법 및 장치를 제공한다.

본 발명은 스케일러블 비디오 코딩에서 하위 계층 영상을 이용하여 상위 계층 영상의 참조 픽처 리스트를 구성하고 예측을 수행하는 방법 및 장치를 제공한다.

본 발명의 일 실시예에 따르면, 복수의 계층을 지원하는 영상 복호화 방법이 제공된다. 상기 영상 복호화 방법은 현재 복호화 대상 블록을 포함하는 제2 계층의 픽처가 참조하는 제1 계층의 정보를 복호화하는 단계, 상기 제2 계층의 픽처 크기로 상기 제1 계층의 정보를 매핑(mapping)하는 단계, 상기 매핑된 제1 계층의 정보를 추가하여 상기 제2 계층의 픽처에 대한 참조 픽처 리스트를 구성하는 단계 및 상기 참조 픽처 리스트를 기반으로 상기 제2 계층의 현재 복호화 대상 블록에 대한 예측을 수행하여 상기 현재 복호화 대상 블록의 예측 샘플들을 생성하는 단계를 포함한다.

상기 제1 계층의 정보는 상기 제1 계층 픽처의 샘플 값 및 움직임 정보 중 적어도 하나를 포함할 수 있다.

본 발명의 다른 실시예에 따르면, 복수의 계층을 지원하는 영상 복호화 장치가 제공된다. 상기 영상 복호화 장치는 현재 복호화 대상 블록을 포함하는 제2 계층의 픽처가 참조하는 제1 계층의 정보를 복호화하는 복호화부 및 상기 제2 계층의 픽처 크기로 상기 제1 계층의 정보를 매핑(mapping)하고, 상기 매핑된 제1 계층의 정보를 추가하여 상기 제2 계층의 픽처에 대한 참조 픽처 리스트를 구성하고, 상기 참조 픽처 리스트를 기반으로 상기 제2 계층의 현재 복호화 대상 블록에 대한 예측을 수행하여 상기 현재 복호화 대상 블록의 예측 샘플들을 생성하는 예측부를 포함한다.

상기 제1 계층의 정보는 상기 제1 계층 픽처의 샘플 값 및 움직임 정보 중 적어도 하나를 포함할 수 있다.

본 발명의 또 다른 실시예에 따르면, 복수의 계층을 지원하는 영상 부호화 방법이 제공된다. 상기 영상 부호화 방법은 현재 부호화 대상 블록을 포함하는 제2 계층의 픽처가 참조하는 제1 계층의 정보를 복호화하는 단계, 상기 제2 계층의 픽처 크기로 상기 제1 계층의 정보를 매핑(mapping)하는 단계, 상기 매핑된 제1 계층의 정보를 추가하여 상기 제2 계층의 픽처에 대한 참조 픽처 리스트를 구성하는 단계 및 상기 참조 픽처 리스트를 기반으로 상기 제2 계층의 현재 부호화 대상 블록에 대한 예측을 수행하여 상기 현재 부호화 대상 블록의 예측 샘플들을 생성하는 단계를 포함한다.

상기 제1 계층의 정보는 상기 제1 계층 픽처의 샘플 값 및 움직임 정보 중 적어도 하나를 포함할 수 있다.

본 발명의 또 다른 실시예에 따르면, 복수의 계층을 지원하는 영상 부호화 장치가 제공된다. 상기 영상 부호화 장치는 현재 부호화 대상 블록을 포함하는 제2 계층의 픽처가 참조하는 제1 계층의 정보를 부호화하는 부호화부 및 상기 제2 계층의 픽처 크기로 상기 제1 계층의 정보를 매핑(mapping)하고, 상기 매핑된 제1 계층의 정보를 추가하여 상기 제2 계층의 픽처에 대한 참조 픽처 리스트를 구성하고, 상기 참조 픽처 리스트를 기반으로 상기 제2 계층의 현재 부호화 대상 블록에 대한 예측을 수행하여 상기 현재 부호화 대상 블록의 예측 샘플들을 생성하는 예측부를 포함한다.

상기 제1 계층의 정보는 상기 제1 계층 픽처의 샘플 값 및 움직임 정보 중 적어도 하나를 포함할 수 있다.

종래 기술에서는 하위 계층의 움직임 정보를 매핑하는 과정에서, 상위 계층의 시간 움직임 벡터 예측이 수행되지 않는 경우에도, 불필요한 움직임 정보 매핑 과정이 수행되는 문제점이 있다. 또한, 하위 계층의 움직임 정보 매핑을 수행하지 않는 경우, 상위 계층에서 시간 움직임 벡터를 위한 대응 픽처(collocated picture)로 하위 계층의 복호화된 픽처를 지시할 수 있기 때문에 상위 계층의 시간 움직임 벡터 예측을 수행하지 못하는 경우가 발생하여 부호화 효율이 저하되는 문제점이 있다.

본 발명에 따르면, 상위 계층이 참조하는 하위 계층의 움직임 정보를 상위 계층의 영상 크기로 매핑을 수행한 후 매핑된 하위 계층의 영상 신호를 이용하여 상위 계층을 예측하여 복원함으로써, 부호화/복호화 효율을 향상시킬 수 있다. 또한, 상위 레벨 신택스를 수정함으로써, 불필요한 하위 계층의 움직임 정보에 대한 매핑 과정을 생략할 수 있으며 복잡도를 감소시킬 수 있다. 또한, 잘못된 대응 픽처가 사용되는 것을 방지하여 부호화 효율의 저하를 방지할 수 있다.

도 1은 발명이 적용되는 영상 부호화 장치의 일 실시예에 따른 구성을 나타내는 블록도이다.
도 2는 본 발명이 적용되는 영상 복호화 장치의 일 실시예에 따른 구성을 나타내는 블록도이다.
도 3은 본 발명이 적용될 수 있는, 복수 레이어를 이용한 스케일러블 비디오 코딩 구조의 일 실시예를 개략적으로 나타내는 개념도이다.
도 4는 본 발명의 실시예에 따른 스케일러블 비디오 코딩에서 계층간 예측(인터 레이어 예측)을 수행하는 방법을 개략적으로 나타낸 순서도이다.
도 5 및 도 6은 본 발명의 일 실시예에 따른 계층 간 움직임 정보 매핑 방법을 설명하기 위해 도시된 도면이다.

이하, 도면을 참조하여 본 발명의 실시 형태에 대하여 구체적으로 설명한다. 본 명세서의 실시예를 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 명세서의 요지를 흐릴 수 있다고 판단되는 경우에는 해당 설명을 생략할 수도 있다.

본 명세서에서 어떤 구성 요소가 다른 구성 요소에 “연결되어” 있다거나 “접속되어” 있다고 언급된 때에는, 그 다른 구성 요소에 직접적으로 연결되어 있거나 또는 접속되어 있는 것을 의미할 수도 있고, 중간에 다른 구성 요소가 존재하는 것을 의미할 수도 있다. 아울러, 본 명세서에서 특정 구성을 “포함”한다고 기술하는 내용은 해당 구성 이외의 구성을 배제하는 것이 아니며, 추가적인 구성이 본 발명의 실시 또는 본 발명의 기술적 사상의 범위에 포함될 수 있음을 의미한다.

제1, 제2 등의 용어는 다양한 구성들을 설명하는데 사용될 수 있지만, 상기 구성들은 상기 용어에 의해 한정되지 않는다. 상기 용어들은 하나의 구성을 다른 구성으로부터 구별하는 목적으로 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성은 제2 구성으로 명명될 수 있고, 유사하게 제2 구성도 제1 구성으로 명명될 수 있다.

또한 본 발명의 실시예에 나타나는 구성부들은 서로 다른 특징적인 기능을 나타내기 위해 독립적으로 도시되는 것으로, 각 구성부들이 분리된 하드웨어나 하나의 소프트웨어 구성 단위로 이루어짐을 의미하지 않는다. 즉, 각 구성부는 설명의 편의상 각각의 구성부로 나열하여 포함한 것으로 각 구성부 중 적어도 두 개의 구성부가 하나의 구성부를 이루거나, 하나의 구성부가 복수 개의 구성부로 나뉘어져 기능을 수행할 수 있다. 각 구성부의 통합된 실시예 및 분리된 실시예도 본 발명의 본질에서 벗어나지 않는 한 본 발명의 권리 범위에 포함된다.

또한, 일부의 구성 요소는 본 발명에서 본질적인 기능을 수행하는 필수적인 구성 요소는 아니고 단지 성능을 향상시키기 위한 선택적 구성 요소일 수 있다. 본 발명은 단지 성능 향상을 위해 사용되는 구성 요소를 제외한 본 발명의 본질을 구현하는데 필수적인 구성부만을 포함하여 구현될 수 있고, 단지 성능 향상을 위해 사용되는 선택적 구성 요소를 제외한 필수 구성 요소만을 포함한 구조도 본 발명의 권리범위에 포함된다.

도 1은 발명이 적용되는 영상 부호화 장치의 일 실시예에 따른 구성을 나타내는 블록도이다.

멀티 레이어(multi-layer) 구조를 지원하는 스케일러블(scalable) 비디오 부호화 장치는, 단일 레이어 구조의 일반적인 영상 부호화 장치를 확장(extension)하여 구현될 수 있다. 도 1의 블록도는 멀티 레이어 구조에 적용 가능한 스케일러블 비디오 부호화 장치의 기초가 될 수 있는 영상 부호화 장치의 일 실시예를 나타낸다.

도 1을 참조하면, 영상 부호화 장치(100)는 인터 예측부(110), 인트라 예측부(120), 스위치(115), 감산기(125), 변환부(130), 양자화부(140), 엔트로피 부호화부(150), 역양자화부(160), 역변환부(170), 가산기(175), 필터부(180) 및 참조 픽처 버퍼(190)를 포함한다.

영상 부호화 장치(100)는 입력 영상에 대해 인트라(intra) 모드 또는 인터(inter) 모드로 부호화를 수행하고 비트스트림을 출력할 수 있다.

인트라 모드인 경우 스위치(115)가 인트라로 전환되고, 인터 모드인 경우 스위치(115)가 인터로 전환될 수 있다. 인트라 예측은 화면 내 예측, 인터 예측은 화면 간 예측을 의미한다. 영상 부호화 장치(100)는 입력 영상의 입력 블록에 대한 예측 블록을 생성한 후, 입력 블록과 예측 블록의 차분(residual)을 부호화할 수 있다. 이때, 입력 영상은 원 영상(original picture)를 의미할 수 있다.

인트라 모드인 경우, 인트라 예측부(120)는 현재 블록 주변의 이미 부호화/복호화된 블록의 샘플 값을 참조 샘플로 이용할 수 있다. 인트라 예측부(120)는 참조 샘플을 이용하여 공간적 예측을 수행하고 현재 블록에 대한 예측 샘플들을 생성할 수 있다.

인터 모드인 경우, 인터 예측부(110)는, 움직임 예측 과정에서 참조 픽처 버퍼(190)에 저장되어 있는 참조 픽처에서 입력 블록(현재 블록)과의 차이가 가장 적은 참조 블록을 특정하는 움직임 벡터를 구할 수 있다. 인터 예측부(110)는 움직임 벡터와 참조 픽처 버퍼(190)에 저장되어 있는 참조 픽처를 이용하여 움직임 보상을 수행함으로써 현재 블록에 대한 예측 블록을 생성할 수 있다.

멀티 레이어 구조의 경우, 인터 모드에서 적용되는 인터 예측은 인터 레이어 예측을 포함할 수 있다. 인터 예측부(110)는 참조 레이어의 픽처를 샘플링하여 인터 레이어 참조 픽처를 구성하고, 참조 픽처 리스트에 인터 레이어 참조 픽처를 포함하여 인터 레이어 예측을 수행할 수 있다. 레이어 간의 참조 관계는 레이어 간의 의존성을 특정하는 정보를 통해 시그널링될 수 있다.

한편, 현재 레이어 픽처와 참조 레이어 픽처가 동일 사이즈인 경우에 참조 레이어 픽처에 적용되는 샘플링은 참조 레이어 픽처로부터의 샘플 복사 또는 보간에 의한 참조 샘플의 생성을 의미할 수 있다. 현재 레이어 픽처와 참조 레이어 픽처의 해상도가 상이한 경우에 참조 레이어 픽처에 적용되는 샘플링은 업샘플링을 의미할 수 있다.

예컨대, 레이어 간 해상도가 다른 경우로서 해상도에 관한 스케일러빌러티를 지원하는 레이어 간에는 참조 레이어의 복원된 픽처를 업샘플링하여 인터 레이어 참조 픽처가 구성될 수 있다.

어떤 레이어의 픽처를 이용하여 인터 레이어 참조 픽처를 구성할 것인지는 부호화 코스트 등을 고려하여 결정될 수 있다. 부호화 장치는 인터 레이어 참조 픽처로 사용될 픽처가 속하는 레이어를 특정하는 정보를 복호화 장치로 전송할 수 있다.

또한, 인터 레이어 예측에 있어서 참조되는 레이어, 즉 참조 레이어 내에서 현재 블록의 예측에 이용되는 픽처는 현재 픽처(현재 레이어 내 예측 대상 픽처)와 동일 AU(Access Unit)의 픽처일 수 있다.

감산기(125)는 입력 블록과 생성된 예측 블록의 차분에 의해 잔차 블록(residual block)을 생성할 수 있다.

변환부(130)는 잔차 블록에 대해 변환(transform)을 수행하여 변환 계수(transform coefficient)를 출력할 수 있다. 여기서, 변환 계수는 잔차 블록 및/또는 잔차 신호에 대한 변환을 수행함으로써 생성된 계수 값을 의미할 수 있다. 이하, 본 명세서에서는 변환 계수에 양자화가 적용되어 생성된, 양자화된 변환 계수 레벨(transform coefficient level)도 변환 계수로 불릴 수 있다.

변환 생략(transform skip) 모드가 적용되는 경우, 변환부(130)는 잔차 블록에 대한 변환을 생략할 수도 있다.

양자화부(140)는 입력된 변환 계수를 양자화 파라미터(quantization parameter, 또는 양자화 매개변수)에 따라 양자화하여 양자화된 계수(quantized coefficient)를 출력할 수 있다. 양자화된 계수는 양자화된 변환 계수 레벨(quantized transform coefficient level)로 불릴 수도 있다. 이때, 양자화부(140)에서는 양자화 행렬을 사용하여 입력된 변환 계수를 양자화할 수 있다.

엔트로피 부호화부(150)는, 양자화부(140)에서 산출된 값들 또는 부호화 과정에서 산출된 부호화 파라미터 값 등을 확률 분포에 따라 엔트로피 부호화하여 비트스트림(bitstream)을 출력할 수 있다. 엔트로피 부호화부(150)는 비디오의 화소 정보 외에 비디오 디코딩을 위한 정보(예컨대, 신택스 엘리먼트(syntax element) 등)을 엔트로피 부호화 할 수도 있다.

부호화 파라미터는 부호화 및 복호화에 필요한 정보로서, 신택스 엘리먼트와 같이 부호화 장치에서 부호화되어 복호화 장치로 전달되는 정보뿐만 아니라, 부호화 혹은 복호화 과정에서 유추될 수 있는 정보를 포함할 수 있다.

예를 들어, 부호화 파라미터는 인트라/인터 예측 모드, 이동/움직임 벡터, 참조 영상 색인, 부호화 블록 패턴, 잔차 신호 유무, 변환 계수, 양자화된 변환 계수, 양자화 파라미터, 블록 크기, 블록 분할 정보 등의 값 또는 통계를 포함할 수 있다.

잔차 신호는 원신호와 예측 신호 간의 차이를 의미할 수 있고, 또한 원신호와 예측 신호 간의 차이가 변환(transform)된 형태의 신호 또는 원신호와 예측 신호 간의 차이가 변환되고 양자화된 형태의 신호를 의미할 수도 있다. 잔차 신호는 블록 단위에서는 잔차 블록이라 할 수 있다.

엔트로피 부호화가 적용되는 경우, 높은 발생 확률을 갖는 심볼에 적은 수의 비트가 할당되고 낮은 발생 확률을 갖는 심볼에 많은 수의 비트가 할당되어 심볼이 표현됨으로써, 부호화 대상 심볼들에 대한 비트열의 크기가 감소될 수 있다. 따라서 엔트로피 부호화를 통해서 영상 부호화의 압축 성능이 높아질 수 있다.

엔트로피 부호화부(150)는 엔트로피 부호화를 위해 지수 골룸(exponential golomb), CAVLC(Context-Adaptive Variable Length Coding), CABAC(Context-Adaptive Binary Arithmetic Coding)과 같은 부호화 방법이 사용될 수 있다. 예를 들어, 엔트로피 부호화부(150)는 가변 길이 부호화(VLC: Variable Lenghth Coding/Code) 테이블을 이용하여 엔트로피 부호화를 수행할 수 있다. 또한 엔트로피 부호화부(150)는 대상 심볼의 이진화(binarization) 방법 및 대상 심볼/빈(bin)의 확률 모델(probability model)을 도출한 후, 도출된 이진화 방법 또는 확률 모델을 사용하여 엔트로피 부호화를 수행할 수도 있다.

도 1의 실시예에 따른 영상 부호화 장치(100)는 인터 예측 부호화, 즉 화면 간 예측 부호화를 수행하므로, 현재 부호화된 영상은 참조 영상으로 사용되기 위해 복호화되어 저장될 필요가 있다. 따라서 양자화된 계수는 역양자화부(160)에서 역양자화되고 역변환부(170)에서 역변환될 수 있다. 역양자화, 역변환된 계수는 가산기(175)를 통해 예측 블록과 더해지고 복원 블록(Reconstructed Block)이 생성된다.

복원 블록은 필터부(180)를 거치고, 필터부(180)는 디블록킹 필터(deblocking filter), SAO(Sample Adaptive Offset), ALF(Adaptive Loop Filter) 중 적어도 하나 이상을 복원 블록 또는 복원 픽처에 적용할 수 있다. 필터부(180)는 적응적 인루프(in-loop) 필터로 불릴 수도 있다. 디블록킹 필터는 블록 간의 경계에 생긴 블록 왜곡을 제거할 수 있다. SAO는 코딩 에러를 보상하기 위해 픽셀값에 적정 오프셋(offset) 값을 더해줄 수 있다. ALF는 복원된 영상과 원래의 영상을 비교한 값을 기초로 필터링을 수행할 수 있다. 필터부(180)를 거친 복원 블록은 참조 픽처 버퍼(190)에 저장될 수 있다.

도 2는 본 발명이 적용되는 영상 복호화 장치의 일 실시예에 따른 구성을 나타내는 블록도이다.

멀티 레이어(multi-layer) 구조를 지원하는 스케일러블(scalable) 비디오 복호화 장치는, 단일 레이어 구조의 일반적인 영상 복호화 장치를 확장(extension)하여 구현될 수 있다. 도 2의 블록도는 멀티 레이어 구조에 적용 가능한 스케일러블 비디오 복호화 장치의 기초가 될 수 있는 영상 복호화 장치의 일 실시예를 나타낸다.

도 2를 참조하면, 영상 복호화 장치(200)는 엔트로피 복호화부(210), 역양자화부(220), 역변환부(230), 인트라 예측부(240), 인터 예측부(250), 가산기(255), 필터부(260) 및 참조 픽처 버퍼(270)를 포함한다.

영상 복호화 장치(200)는 부호화기에서 출력된 비트스트림을 입력 받아 인트라 모드 또는 인터 모드로 복호화를 수행하고 재구성된 영상, 즉 복원 영상을 출력할 수 있다.

인트라 모드인 경우 스위치가 인트라로 전환되고, 인터 모드인 경우 스위치가 인터로 전환될 수 있다.

영상 복호화 장치(200)는 입력 받은 비트스트림으로부터 복원된 잔차 블록(reconstructed residual block)을 얻고 예측 블록을 생성한 후 복원된 잔차 블록과 예측 블록을 더하여 재구성된 블록, 즉 복원 블록을 생성할 수 있다.

엔트로피 복호화부(210)는, 입력된 비트스트림을 확률 분포에 따라 엔트로피 복호화하여, 양자화된 계수(quantized coefficient)와 신택스 엘리먼트 등의 정보를 출력할 수 있다.

양자화된 계수는 역양자화부(220)에서 역양자화되고 역변환부(230)에서 역변환된다. 양자화된 계수가 역양자화/역변환 된 결과, 복원된 잔차 블록이 생성될 수 있다. 이때, 역양자화부(220)에서는 양자화된 계수에 양자화 행렬을 적용할 수 있다.

인트라 모드인 경우, 인트라 예측부(240)는 현재 블록 주변의 이미 복호화된 블록의 샘플 값을 이용하여 공간적 예측을 수행하고, 현재 블록에 대한 예측 샘플들을 생성할 수 있다.

인터 모드인 경우, 인터 예측부(250)는 움직임 벡터 및 참조 픽처 버퍼(270)에 저장되어 있는 참조 픽처를 이용하여 움직임 보상을 수행함으로써 현재 블록에 대한 예측 블록을 생성할 수 있다.

멀티 레이어 구조의 경우, 인터 모드에서 적용되는 인터 예측은 인터 레이어 예측을 포함할 수 있다. 인터 예측부(250)는 참조 레이어의 픽처를 샘플링하여 인터 레이어 참조 픽처를 구성하고, 참조 픽처 리스트에 인터 레이어 참조 픽처를 포함하여 인터 레이어 예측을 수행할 수 있다. 레이어 간의 참조 관계는 레이어 간의 의존성을 특정하는 정보를 통해 시그널링될 수 있다.

한편, 현재 레이어 픽처와 참조 레이어 픽처가 동일 사이즈인 경우에 참조 레이어 픽처에 적용되는 샘플링은 참조 레이어 픽처로부터의 샘플 복사 또는 보간에 의한 참조 샘플의 생성을 의미할 수 있다. 현재 레이어 픽처와 참조 레이어 픽처의 해상도가 상이한 경우에 참조 레이어 픽처에 적용되는 샘플링은 업샘플링을 의미할 수 있다.

예컨대, 레이어 간 해상도가 다른 경우로서 해상도에 관한 스케일러빌러티를 지원하는 레이어 간에 인터 레이어 예측이 적용된다면, 참조 레이어의 복원된 픽처를 업샘플링하여 인터 레이어 참조 픽처가 구성될 수 있다.

이때, 인터 레이어 참조 픽처로 사용될 픽처가 속하는 레이어를 특정하는 정보는 부호화 장치로부터 복호화 장치로 전송될 수 있다.

또한, 인터 레이어 예측에 있어서 참조되는 레이어, 즉 참조 레이어 내에서 현재 블록의 예측에 이용되는 픽처는 현재 픽처(현재 레이어 내 예측 대상 픽처)와 동일 AU(Access Unit)의 픽처일 수 있다.

복원된 레지듀얼 블록과 예측 블록은 가산기(255)에서 더해져서, 복원 블록이 생성된다. 다시 말하면, 레지듀얼 샘플과 예측 샘플이 더해져서 복원된 샘플 또는 복원된 픽처가 생성된다.

복원된 픽처는 필터부(260)에서 필터링 된다. 필터부(260)는 디블록킹 필터, SAO, ALF 중 적어도 하나 이상을 복원 블록 또는 복원 픽처에 적용할 수 있다. 필터부(260)는 재구성된(modified) 혹은 필터링된(filtered) 복원 픽처(reconstructed picture)를 출력한다. 복원 영상은 참조 픽처 버퍼(270)에 저장되어 인터 예측에 사용될 수 있다.

또한, 영상 복호화 장치(200)는 비트스트림에 포함되어 있는 인코딩된 영상에 관련된 정보를 파싱하는 파싱부(미도시)를 더 포함할 수 있다. 파싱부는 엔트로피 복호화부(210)를 포함할 수도 있고, 엔트로피 복호화부(210)에 포함될 수도 있다. 이러한 파싱부는 또한 디코딩부의 하나의 구성요소로 구현될 수도 있다.

도 1과 도 2에서는 하나의 부호화 장치/복호화 장치가 멀티 레이어에 대한 부호화/복호화를 모두 처리하는 것으로 설명하였으나, 이는 설명의 편의를 위한 것으로서, 부호화 장치/복호화 장치는 레이어별로 구성될 수도 있다.

이 경우, 상위 레이어의 부호화 장치/복호화 장치는 상위 레이어의 정보 및 하위 레이어의 정보를 이용하여 해당 상위 레이어의 부호화/복호화를 수행할 수 있다. 예컨대, 상위 레이어의 예측부(인터 예측부)는 상위 레이어의 픽셀 정보 또는 픽처 정보를 이용하여 현재 블록에 대한 인트라 예측 또는 인터 예측을 수행할 수도 있고, 하위 레이어로부터 복원된 픽처 정보를 수신하고 이를 이용하여 상위 레이어의 현재 블록에 대한 인터 예측(인터 레이어 예측)을 수행할 수도 있다. 여기서는, 레이어 간의 예측만을 예로서 설명하였으나, 부호화 장치/복호화 장치는 레이어별로 구성되든, 하나의 장치가 멀티 레이어를 처리하든 상관없이, 다른 레이어의 정보를 이용하여 현재 레이어에 대한 부호화/복호화를 수행할 수 있다.

본 발명에서 레이어는 뷰(view)를 포함할 수 있다. 이 경우, 인터 레이어 예측의 경우는 단순히 하위 레이어의 정보를 이용하여 상위 레이어의 예측을 수행하는 것이 아니라, 레이어 간 의존성을 특정하는 정보에 의해 의존성이 있는 것으로 특정된 레이어들 사이에서 다른 레이어의 정보를 이용하여 인터 레이어 예측이 수행될 수도 있다.

도 3은 본 발명이 적용될 수 있는, 복수 레이어를 이용한 스케일러블 비디오 코딩 구조의 일 실시예를 개략적으로 나타내는 개념도이다. 도 3에서 GOP(Group of Picture)는 픽처군 즉, 픽처의 그룹을 나타낸다.

영상 데이터를 전송하기 위해서는 전송 매체가 필요하며, 그 성능은 다양한 네트워크 환경에 따라 전송 매체별로 차이가 있다. 이러한 다양한 전송 매체 또는 네트워크 환경에의 적용을 위해 스케일러블 비디오 코딩 방법이 제공될 수 있다.

스케일러빌러티를 지원하는 비디오 코딩 방법(이하, ‘스케일러블 코딩’혹은 ‘스케일러블 비디오 코딩’이라 함)은 계층(layer) 간의 텍스쳐 정보, 움직임 정보, 잔여 신호 등을 활용하여 계층 간 중복성을 제거하여 인코딩 및 디코딩 성능을 높이는 코딩 방법이다. 스케일러블 비디오 코딩 방법은, 전송 비트율, 전송 에러율, 시스템 자원 등의 주변 조건에 따라, 공간적(spatial), 시간적(temporal), 화질적(혹은 품질적, quality), 시점(view) 관점에서 다양한 스케일러빌리티를 제공할 수 있다.

스케일러블 비디오 코딩은, 다양한 네트워크 상황에 적용 가능한 비트스트림을 제공할 수 있도록, 복수 계층(multiple layers) 구조를 사용하여 수행될 수 있다. 예를 들어 스케일러블 비디오 코딩 구조는, 일반적인 영상 디코딩 방법을 이용하여 영상 데이터를 압축하여 처리하는 기본 계층을 포함할 수 있고, 기본 계층의 디코딩 정보 및 일반적인 영상 디코딩 방법을 함께 사용하여 영상 데이터를 압축 처리하는 향상 계층을 포함할 수 있다.

기본 계층(Base layer)은 베이스 레이어라고 지칭할 수도 있고, 하위 계층(lower layer)이라 지칭할 수도 있다. 향상 계층(Enhancement layer)은 인핸스먼트 레이어 혹은 상위 계층(higher layer)이라 지칭할 수도 있다. 이때, 하위 계층은 특정 계층 보다 낮은 스케일러빌러티를 지원하는 계층을 의미할 수 있으며, 상위 계층은 특정 계층 보다 높은 스케일러빌러티를 지원하는 계층을 의미할 수 있다. 또한, 다른 계층의 부호화/복호화에 참조되는 계층을 참조 계층(참조 레이어)라고 하고, 다른 계층을 이용하여 부호화/복호화되는 계층을 현재 계층(현재 레이어)라고 할 수 있다. 참조 계층은 현재 계층보다 하위 계층일 수 있으며, 현재 계층은 참조 계층보다 상위 계층일 수 있다.

여기서, 계층(layer)은 공간(spatial, 예를 들어, 영상 크기), 시간(temporal, 예를 들어, 디코딩 순서, 영상 출력 순서, 프레임 레이트), 화질, 복잡도, 시점(view) 등을 기준으로 구분되는 영상 및 비트스트림(bitstream)의 집합을 의미한다.

도 3을 참조하면, 예를 들어 기본 계층은 SD(standard definition), 15Hz의 프레임율, 1Mbps 비트율로 정의될 수 있고, 제1 향상 계층은 HD(high definition), 30Hz의 프레임율, 3.9Mbps 비트율로 정의될 수 있으며, 제2 향상 계층은 4K-UHD (ultra high definition), 60Hz의 프레임율, 27.2Mbps 비트율로 정의될 수 있다.

상기 포맷(format), 프레임율, 비트율 등은 하나의 실시예로서, 필요에 따라 달리 정해질 수 있다. 또한 사용되는 계층의 수도 본 실시예에 한정되지 않고 상황에 따라 달리 정해질 수 있다. 예를 들어, 전송 대역폭이 4Mbps라면 상기 제1 향상계층 HD의 프레임 레이트를 줄여서 15Hz 이하로 전송할 수 있다.

스케일러블 비디오 코딩 방법은 상기 도 3의 실시예에서 상술한 방법에 의해 시간적, 공간적, 화질적, 시점 스케일러빌리티를 제공할 수 있다. 본 명세서에서 스케일러블 비디오 코딩은 인코딩 관점에서는 스케일러블 비디오 인코딩, 디코딩 관점에서는 스케일러블 비디오 디코딩과 동일한 의미를 가진다.

통상적으로, 화면간 예측(이하, 인터 예측)은 현재 픽처의 이전 픽처 또는 이후 픽처 중 적어도 하나를 참조 픽처로 하고, 참조 픽처를 기반으로 현재 블록에 대한 예측을 수행할 수 있다.

현재 블록의 예측에 이용되는 영상을 참조 픽처(reference picture) 또는 참조 프레임(reference frame)이라고 한다.

참조 픽처 내에서 현재 블록의 예측에 이용되는 영역(참조 블록)은 참조 픽처를 지시하는 참조 픽처 인덱스(refIdx) 및 움직임 벡터(motion vector) 등을 이용하여 나타낼 수 있다.

인터 예측은 참조 픽처 및 참조 픽처 내에서 현재 블록에 대응하는 참조 블록을 선택해서, 현재 블록에 대한 예측 블록을 생성할 수 있다. 이때, 인터 예측은 현재 블록과의 레지듀얼(residual) 신호가 최소화되며, 움직임 벡터 크기 역시 최소가 되도록 예측 블록을 생성할 수 있다.

인터 예측 시 참조 픽처의 정보를 이용하기 위해, 현재 블록 주변에 위치한 주변 블록들의 정보를 이용할 수 있다. 예컨대, 인터 예측은 주변 블록들의 정보를 이용하는 방법에 따라, 스킵(skip) 모드, 머지(merge) 모드, AMVP(Advanced Motion Vector Prediction) 등을 적용할 수 있다. 이러한 스킵 모드, 머지 모드, AMVP 모드는 주변 블록의 정보에 기반하여 현재 블록에 대한 예측 블록을 생성할 수 있다.

스킵 모드는 주변 블록의 정보를 그대로 현재 블록에 이용할 수 있다. 따라서, 스킵 모드가 적용되는 경우, 부호화기는 현재 블록의 움직임 정보로서 어떤 주변 블록의 움직임 정보를 이용할 것인지를 지시하는 정보를 복호화기로 전송하면 되고, 이외 레지듀얼 등과 같은 신택스 정보는 복호화기로 전송하지 않는다.

머지 모드는 주변 블록의 움직임 정보를 그대로 이용하여 현재 블록에 대한 예측 블록을 생성할 수 있다. 머지 모드가 적용되는 경우, 부호화기는 현재 블록에 대하여 머지 모드를 적용하는지를 지시하는 정보, 어떤 주변 블록의 움직임 정보를 이용할 것인지를 지시하는 정보, 현재 블록에 대한 레지듀얼 정보 등을 복호화기에 전송할 수 있다. 복호화기는 부호화기로부터 지시된 주변 블록의 움직임 정보를 이용하여 현재 블록에 대한 예측 블록을 생성하고, 생성된 예측 블록과 부호화기로부터 전송되는 레지듀얼을 더하여 현재 블록을 복원할 수 있다.

AMVP는 주변 블록들의 움직임 정보를 이용하여 현재 블록의 움직임 벡터를 예측할 수 있다. AMVP가 적용되는 경우, 부호화기는 어떤 주변 블록의 움직임 정보를 이용하는지를 지시하는 정보, 현재 블록의 움직임 벡터와 예측된 움직임 벡터 사이의 차이, 참조 픽처를 지시하는 참조 픽처 인덱스 등을 복호화기에 전송할 수 있다. 복호화기는 주변 블록의 움직임 정보(움직임 벡터)를 이용하여 현재 블록의 움직임 벡터를 예측하고, 부호화기로부터 수신된 움직임 벡터 차이를 이용하여 현재 블록에 대한 움직임 벡터를 유도할 수 있다. 복호화기는 유도한 움직임 벡터와 부호화기로부터 수신된 참조 픽처 인덱스 정보를 기반으로 현재 블록에 대한 예측 블록을 생성할 수 있다.

인터 예측의 경우, 복호화기는 부호화기로부터 수신한 스킵 플래그, 머지 플래그 등을 확인하고, 확인한 정보에 따라 현재 블록의 인터 예측에 필요한 움직임 정보(예컨대, 움직임 벡터, 참조 픽처 인덱스 등에 관한 정보)를 유도할 수 있다.

예측이 수행되는 처리 단위는 예측 방법 및 구체적인 내용이 정해지는 처리 단위와 다를 수 있다. 예컨대, 코딩 유닛(CU: Coding Unit) 단위로 인터 예측인지 인트라 예측인지 정해질 수 있고, 예측 유닛(PU: Prediction Unit) 단위로 인트라 예측에 대한 예측 모드 및 인터 예측에 대한 예측 모드가 정해질 수 있다. 또는 예측 유닛 단위로 예측 모드가 정해져서 변환 유닛(TU: Transform Unit) 단위로 예측이 수행될 수도 있다.

한편, 복수의 계층을 지원하는 스케일러블 비디오 코딩 구조에서는 계층 간 강한 연관성(correlation)이 존재하므로 이러한 연관성을 이용하여 예측을 수행하면 데이터의 중복 요소를 제거할 수 있고 영상의 부호화 성능을 향상시킬 수 있다. 따라서, 부호화/복호화되는 현재 계층(상위 계층)의 픽처(영상)를 예측할 경우, 현재 계층의 정보를 이용한 인터 예측 혹은 인트라 예측뿐만 아니라, 다른 계층의 정보를 이용한 계층간 예측(inter-layer prediction, 혹은 인터 레이어 예측)을 수행할 수 있다.

복수의 계층들은 해상도, 프레임 레이트, 컬러 포맷, 시점 중 적어도 하나가 서로 다를 수 있기 때문에(즉, 계층 간의 스케일러빌리티 차이), 현재 계층에 대한 인터 레이어 예측 시 신호 왜곡이 생길 수도 있고, 레지듀얼 신호가 증가하게 될 수도 있다.

따라서, 본 발명에서는 현재 계층(상위 계층)이 참조하는 참조 계층(하위 계층)의 움직임 정보들을 현재 계층의 영상 크기로 매핑(mapping)을 수행한 후 현재 계층의 참조 픽처 리스트에 추가하여 현재 계층에 대한 인터 예측을 수행할 수 있는 방법을 제공한다.

또한, 본 발명은 복수의 계층(layer) 또는 시점(view)을 포함하는 영상의 부호화 및 복호화에 관한 것으로, 복수의 계층 또는 시점은 제1, 제2, 제3, 제n 계층 또는 제1, 제2, 제3, 제n 시점으로 표현될 수 있다.

이하, 본 발명의 실시예에서는 설명의 편의상 제1 계층과 제2 계층이 존재하는 영상을 예로 들어 기술하나, 그 이상의 계층 또는 시점이 존재하는 영상에도 동일한 방법으로 적용될 수 있다. 또한, 제1 계층은 하위 계층(base layer) 혹은 기본 계층 혹은 참조 계층으로, 제2 계층은 상위 계층(enhancement layer) 혹은 향상 계층 혹은 현재 계층으로 표현될 수도 있다.

도 4는 본 발명의 실시예에 따른 스케일러블 비디오 코딩에서 계층간 예측(인터 레이어 예측)을 수행하는 방법을 개략적으로 나타낸 순서도이다. 도 4의 방법은 상술한 도 1의 영상 부호화 장치 및 도 2의 영상 복호화 장치에서 수행될 수 있다.

도 4를 참조하면, 부호화/복호화 장치는 제2 계층의 영상(픽처)이 참조하고 있는 제1 계층의 정보를 복호화한다(S400).

상술한 바와 같이, 제2 계층은 현재 부호화/복호화를 수행하는 계층을 의미하며, 제1 계층보다 높은 스케일러빌리티를 제공하는 상위 계층일 수 있다. 제1 계층은 제2 계층의 부호화/복호화를 위해 참조되는 계층일 수 있으며, 참조 계층 혹은 하위 계층으로 지칭될 수 있다.

부호화/복호화 장치는 제2 계층의 영상 내 부호화/복호화 대상 블록을 예측하기 위한 참조 신호로 제1 계층의 정보를 복호화하여 사용할 수 있다.

복호화할 제1 계층의 정보(제1 계층의 복호화 대상 정보)는 제1 계층 영상(픽처)의 샘플 값 및 움직임 정보 등을 포함할 수 있다. 여기서, 움직임 정보는 움직임 벡터 값, 참조 픽처 인덱스, 예측 방향 지시자, 참조 픽처 POC(Picture Order Count), 예측 모드, 참조 픽처 리스트, 머지 플래그, 머지 색인, 참조 픽처의 픽처 타입(단기(short-term) 참조 픽처, 장기(long-term) 참조 픽처) 등에 관한 정보일 수 있다.

제1 계층의 복호화된 움직임 정보는 NxN 크기의 단위 블록으로 압축되어 저장될 수 있다. 예를 들어, 제1 계층의 복호화된 움직임 정보는 16x16 블록마다 압축되어 저장될 수 있다.

부호화/복호화 장치는 복호화된 제1 계층의 정보를 제2 계층의 영상 크기로 매핑(mapping)한다(S410).

여기서, 매핑은 영상들 사이의 크기나 해상도가 다른 경우에 영상 크기나 해상도를 동일하게 조정하기 위해서 영상의 샘플에 대해 샘플링을 수행하는 것일 수 있으며, 영상의 샘플 값에 대한 샘플링 및 영상의 움직임 정보에 대한 샘플링을 포함할 수 있다.

다시 말해, 부호화/복호화 장치는 복호화된 제1 계층 영상을 제2 계층 영상의 크기로 매핑하기 위해서, 복호화된 제1 계층 영상에 대해 샘플링을 수행할 수 있으며, 샘플링된 제1 계층 영상의 샘플 값 및 움직임 정보 등을 참조할 수 있다.

스케일러블 비디오 코딩 구조에서는 계층 간 영상의 크기가 다를 수 있으므로, 계층 간(제1 계층과 제2 계층 간) 영상의 크기가 다를 경우, 부호화/복호화 장치는 복호화된 제1 계층의 영상 크기를 제2 계층의 영상 크기로 매핑하기 위해 복호화된 제1 계층 영상의 샘플 값들에 대해 리샘플링(resampling)을 수행할 수 있다.

예를 들어, 복호화된 제1 계층의 영상 크기가 960x540이며 제2 계층의 영상 크기가 1920x1080인 경우, 부호화/복호화 장치는 복호화된 제1 계층의 영상 크기를 제2 계층의 영상 크기인 1920x1080 크기로 매핑하는 업샘플링(upsampling)을 수행할 수 있다. 업샘플링은 서로 다른 영상 크기를 가지는 계층 간에 영상 크기를 조정하기 위해 수행될 수 있으며, 작은 영상 크기를 가지는 계층(참조 계층 혹은 하위 계층)의 영상에 보간(interpolation)을 적용함으로써 보간된 샘플들이 유도되어 영상 크기가 조정될 수 있다.

부호화/복호화 장치는 복호화된 제1 계층의 움직임 정보를 제2 계층의 영상 크기로 매핑을 하여 사용할 수 있다. 이러한 복호화된 제1 계층 영상의 움직임 정보를 제2 계층의 영상 크기로 매핑하는 계층 간 움직임 정보 매핑은, 제2 계층 영상을 NxN 크기의 단위 블록으로 구분을 하고, 제2 계층의 NxN 단위 블록마다 대응되는 제1 계층의 움직임 정보를 제2 계층 해당 블록의 움직임 정보로 사용할 수 있다.

이하에서 본 발명의 일 실시예에 따른 계층 간 움직임 정보 매핑 방법을 도 5 및 도 6의 실시예를 통해 설명한다.

도 5 및 도 6은 본 발명의 일 실시예에 따른 계층 간 움직임 정보 매핑 방법을 설명하기 위해 도시된 도면이다.

도 5는 NxN 크기의 단위 블록으로 분할된 제2 계층의 영상을 나타낸다.

예를 들어, 도 5에 도시된 바와 같이, 제2 계층의 영상 크기가 1920x1080이고 N=16인 경우, 부호화/복호화 장치는 제2 계층의 영상을 총 8160개의 16x16 단위 블록으로 분할할 수 있으며, 제2 계층의 각 단위 블록마다 대응되는 제1 계층 블록의 움직임 정보를 제2 계층 해당 블록의 움직임 정보로 사용할 수 있다.

이때, 움직임 정보는 각 단위 블록마다 저장될 수 있다. 또는, 움직임 정보는 픽처마다 룩업 테이블(look-up table) 형태로 저장되어 각 단위 블록이 참조하여 사용할 수 있다.

도 6은 제2 계층의 NxN 블록을 나타내며, 일예로 N=16인 경우의 16x16 블록(600)을 도시하였다. 16x16 블록(600) 내 각각의 사각형은 하나의 샘플을 의미하며, 16x16 블록(600) 내 가장 왼쪽 맨 위쪽의 샘플 위치를 (xP, yP)로 가정한다.

상술한 바와 같이, 계층 간 움직임 정보를 매핑할 때, 제2 계층의 NxN 단위 블록마다 대응되는 제1 계층 블록의 움직임 정보를 제2 계층의 움직임 정보로 매핑하여 사용한다. 이때, 제2 계층의 NxN 블록마다 대응되는 제1 계층 블록의 움직임 정보는, 제2 계층 NxN 블록의 기준 샘플 위치에 대응되는 제1 계층 샘플 위치의 움직임 정보일 수 있다.

예를 들어, 도 6에 도시된 바와 같이, 부호화/복호화 장치는 제2 계층의 16x16 블록(600) 내 (xP+8, yP+8) 위치를 기준 샘플 위치로 결정하고, 기준 샘플 위치 (xP+8, yP+8)에 대응되는 제1 계층 샘플 위치의 움직임 정보를 이용하여 계층 간 움직임 정보 매핑을 수행할 수 있다.

또는, 부호화/복호화 장치는 제2 계층의 16x16 블록(600) 내 (xP, yP) 위치를 기준 샘플 위치로 결정하고, 기준 샘플 위치 (xP, yP)에 대응되는 제1 계층 샘플 위치의 움직임 정보를 이용하여 계층 간 움직임 정보 매핑을 수행할 수 있다.

또는, 부호화/복호화 장치는 제2 계층의 16x16 블록(600) 내 (xP+15, yP) 위치를 기준 샘플 위치로 결정하고, 기준 샘플 위치 (xP+15, yP)에 대응되는 제1 계층 샘플 위치의 움직임 정보를 이용하여 계층 간 움직임 정보 매핑을 수행할 수 있다.

또는, 부호화/복호화 장치는 제2 계층의 16x16 블록(600) 내 (xP, yP+15) 위치를 기준 샘플 위치로 결정하고, 기준 샘플 위치 (xP, yP+15)에 대응되는 제1 계층 샘플 위치의 움직임 정보를 이용하여 계층 간 움직임 정보 매핑을 수행할 수 있다.

또는, 부호화/복호화 장치는 제2 계층의 16x16 블록(600) 내 (xP+15, yP+15) 위치를 기준 샘플 위치로 결정하고, 기준 샘플 위치 (xP+15, yP+15)에 대응되는 제1 계층 샘플 위치의 움직임 정보를 이용하여 계층 간 움직임 정보 매핑을 수행할 수 있다.

또는, 부호화/복호화 장치는 제2 계층의 16x16 블록(600) 내 (xP+1, yP+1) 위치를 기준 샘플 위치로 결정하고, 기준 샘플 위치 (xP+1, yP+1)에 대응되는 제1 계층 샘플 위치의 움직임 정보를 이용하여 계층 간 움직임 정보 매핑을 수행할 수 있다.

부호화/복호화 장치는 상기에서 언급한 기준 샘플 위치뿐만 아니라, 다른 기준 샘플 위치를 사용하여 이에 대응되는 제1 계층 샘플 위치의 움직임 정보를 이용하여 계층 간 움직임 정보 매핑을 수행할 수 있다.

제2 계층의 기준 샘플 위치에 대응되는 제1 계층의 샘플 위치는, 계층 간 영상의 크기를 고려하여 아래 수학식 1과 같이 계산될 수 있다.

여기서, xRef와 yRef는 제1 계층의 샘플 위치이며, xP와 yP는 제2 계층의 기준 샘플 위치이며, ScaledW와 ScaledH는 스케일링된 제1 계층 픽처의 가로 및 세로 크기이며, picWRL와 picHRL는 제1 계층 픽처의 가로 및 세로 크기이다.

예를 들어, 제1 계층의 움직임 정보가 16x16 단위로 압축되어 저장되어 있는 경우, 상기 수학식 1에 의해 계산된 제1 계층의 샘플 위치는 아래 수학식 2를 통해 16x16 단위의 움직임 정보를 사용할 수 있도록 조정될 수 있다.

다른 예로, 제1 계층의 움직임 정보가 8x8 단위로 압축되어 저장되어 있는 경우, 상기 수학식 1에 의해 계산된 제1 계층의 샘플 위치는 아래 수학식 3을 통해 8x8 단위의 움직임 정보를 사용할 수 있도록 조정될 수 있다.

제2 계층의 기준 샘플 위치에 대응되는 제1 계층 샘플 위치의 예측 모드가 인트라 예측 모드인 경우, 부호화/복호화 장치는 제2 계층 해당 블록의 움직임 벡터 값으로 (0, 0)을 사용할 수 있으며, 제2 계층 해당 블록의 참조 픽처 인덱스 및 참조 픽처 POC에는 -1 값을 할당할 수 있다.

또는, 제2 계층의 기준 샘플 위치에 대응되는 제1 계층 샘플 위치의 예측 모드가 인트라 예측 모드인 경우, 부호화/복호화 장치는 제2 계층 해당 블록의 움직임 벡터 값으로 (0, 0)을 사용할 수 있으며, 제2 계층 해당 블록의 참조 픽처 인덱스 및 참조 픽처 POC에는 특정 값(예를 들어, 참조 픽처 인덱스는 0으로 할당하고, 참조 픽처 POC는 참조 픽처 인덱스 0이 지시하는 픽처의 POC로 할당)을 할당할 수 있다.

제2 계층의 기준 샘플 위치에 대응되는 제1 계층 샘플 위치의 예측 모드가 인터 예측 모드인 경우, 부호화/복호화 장치는 제2 계층 해당 블록의 움직임 정보로 제1 계층 샘플 위치의 움직임 벡터 값, 참조 픽처 인덱스, 참조 픽처 POC 값을 사용할 수 있다.

제1 계층의 움직임 벡터를 사용할 경우, 부호화/복호화 장치는 아래 수학식 4와 같이 계층 간 영상의 크기를 반영하여 제1 계층의 움직임 벡터를 사용할 수 있다.

부호화/복호화 장치는 제2 계층의 블록에 대응되는 제1 계층의 대응 블록이 참조하고 있는 참조 픽처의 픽처 타입 정보(참조 픽처가 단기 참조 픽처인지 장기 참조 픽처인지에 대한 픽처 타입 정보)를 제2 계층 해당 블록의 정보로 사용할 수 있다.

상술한 계층 간 움직임 정보 매핑은 상위 레벨에서 결정될 수 있으며, 부호화 장치는 계층 간 움직임 정보 매핑 관련 정보를 상위 레벨에서 전송할 수 있다. 복호화 장치는 상위 레벨로부터 계층 간 움직임 정보 매핑 관련 정보를 획득할 수 있다.

상위 레벨은 비디오 파라미터 세트(VPS: Video Parameter Set), 시퀀스 파라미터 세트(SPS: Sequence Parameter Set), 픽처 파라미터 세트(PPS: Picture Parameter Set), 슬라이스 세그먼트 헤더(Slice segment header) 등일 수 있다.

이하에서는 본 발명의 실시예에 따라 움직임 정보 매핑과 관련된 정보를 상위 레벨에서 시그널링하는 방법에 대해 설명한다.

본 발명의 일 실시예에 의하면, 표 1에서와 같이 VPS에서 해당 계층의 움직임 정보 매핑에 관련된 정보가 시그널링될 수 있다.

표 1을 참조하면, inter_layer_mfm_enable_flag가 0인 경우, i번째 계층의 움직임 정보 매핑을 수행하지 않을 수 있다.

inter_layer_mfm_enable_flag가 1인 경우, 상기 i번재 계층의 움직임 정보 매핑을 수행할 수 있다.

본 발명의 다른 실시예에 의하면, 표 2에서와 같이 SPS의 확장(extension)에서 해당 계층의 움직임 정보 매핑에 관련된 정보가 시그널링될 수 있다.

표 2를 참조하면, sps_inter_layer_mfm_enable_flag가 0인 경우, 제1 계층의 움직임 정보 매핑을 수행하지 않을 수 있다.

sps_inter_layer_mfm_enable_flag가 1인 경우, 제 1계층의 움직임 정보 매핑을 수행할 수 있다.

*본 발명의 또 다른 실시예에 의하면, 표 3에서와 같이 SPS에서 전송되는 시간 움직임 벡터 예측 사용 여부를 알려주는 정보(예를 들어, sps_temporal_mvp_enabled_flag)에 따라 해당 계층의 움직임 정보 매핑 수행 여부를 알려주는 정보(예를 들어, sps_inter_layer_mfm_enable_flag)의 전송 여부를 결정할 수 있다.

표 3을 참조하면, 시간 움직임 벡터 예측 사용 여부를 알려주는 sps_temporal_mvp_enabled_flag가 1인 경우, 제1 계층의 움직임 정보 매핑을 수행할지 여부를 알려주는 sps_inter_layer_mfm_enable_flag를 전송할 수 있다.

sps_temporal_mvp_enabled_flag가 1이고 sps_inter_layer_mfm_enable_flag가 0인 경우, 제1 계층의 움직임 정보를 제2 계층에서 사용하지 않을 수 있다. 즉, 제1 계층의 복원된 영상이 제2 계층의 TMVP(temporal motion vector predictor)로 사용되지 않을 수 있다.

본 발명의 또 다른 실시예에 의하면, 상기 표 3에서와 같은 sps_inter_layer_mfm_enable_flag 전송 없이, sps_temporal_mvp_enabled_flag 값에 의해 해당 계층의 움직임 정보 매핑 수행 여부가 결정될 수 있다. 예를 들어, sps_temporal_mvp_enabled_flag가 1인 경우에는 sps_inter_layer_mfm_enable_flag 가 1인 것으로 간주하여, 해당 계층의 움직임 정보 매핑을 수행할 수 있다. sps_temporal_mvp_enabled_flag가 0 인 경우에는 sps_inter_layer_mfm_enable_flag 가 0인 것으로 간주하여, 해당 계층의 움직임 정보 매핑을 수행할 수 있다.

본 발명의 또 다른 실시예에 의하면, 표 4에서와 같이 PPS의 확장(extension)에서 해당 계층의 움직임 정보 매핑에 관련된 정보가 시그널링될 수 있다.

표 4를 참조하면, pps_inter_layer_mfm_enable_flag가 0인 경우, 제 1계층의 움직임 정보 매핑을 수행하지 않을 수 있다.

pps_inter_layer_mfm_enable_flag가 1인 경우, 제 1계층의 움직임 정보 매핑을 수행할 수 있다.

본 발명의 또 다른 실시예에 의하면, 표 5에서와 같이 슬라이스 세그먼트 헤더의 확장(extension)에서 해당 계층의 움직임 정보 매핑에 관련된 정보가 시그널링될 수 있다.

표 5를 참조하면, slice_inter_layer_mfm_enable_flag가 0인 경우, 제 1계층의 움직임 정보 매핑을 수행하지 않을 수 있다.

slice_inter_layer_mfm_enable_flag가 1인 경우, 제 1계층의 움직임 정보 매핑을 수행할 수 있다.

본 발명의 또 다른 실시예에 의하면, 표 6에서와 같이 슬라이스 세그먼트 헤더의 확장(extension)에서 해당 계층의 움직임 정보 매핑에 관련된 정보가 시그널링될 수 있다.

표 6을 참조하면, 시간 움직임 벡터 예측 사용 여부를 알려주는 slice_temporal_mvp_enabled_flag가 1인 경우, 제1 계층의 움직임 정보 매핑을 수행할지 여부를 알려주는 slice_inter_layer_mfm_enable_flag를 전송할 수 있다. slice_inter_layer_mfm_enable_flag는 기본 계층이 아닌 계층(즉, 향상 계층)에서만 전송이 되며, 향상 계층의 경우 움직임 예측에 사용되는 계층이 존재하지 않을 경우 slice_inter_layer_mfm_enable_flag를 전송하지 않을 수 있다. 해당 플래그가 존재하지 않을 경우에는 해당 플래그 값을 0으로 유추 할 수 있다.

slice_temporal_mvp_enabled_flag가 1이고 slice_inter_layer_mfm_enable_flag가 0인 경우, 제1 계층의 움직임 정보를 제2 계층에서 사용하지 않을 수 있다. 즉, 제1 계층의 복원된 영상이 제2 계층의 시간 움직임 벡터 예측(TMVP: Temporal Motion Vector Predictor)으로 사용되지 않을 수 있다.

slice_inter_layer_mfm_enable_flag가 기본 계층이 아닌 계층(즉, 향상 계층)에서 전송되는 경우, slice_inter_layer_mfm_enable_flag는 표 7에서와 같이 기본 계층이 아닌 계층(즉, 향상 계층)의 슬라이스 세그먼트 헤더에서 slice_segement_header_extension_present_flag 상위에 존재할 수 있다.

표 7을 참조하면, 시간 움직임 벡터 예측 사용 여부를 알려주는 slice_temporal_mvp_enabled_flag가 1인 경우, 제1 계층의 움직임 정보 매핑을 수행할지 여부를 알려주는 slice_inter_layer_mfm_enable_flag를 전송할 수 있다.

slice_temporal_mvp_enabled_flag가 1이고 slice_inter_layer_mfm_enable_flag가 0인 경우, 제1 계층의 움직임 정보를 제2 계층에서 사용하지 않을 수 있다. 즉, 제1 계층의 복원된 영상이 제2 계층의 TMVP(temporal motion vector predictor)로 사용되지 않을 수 있다.

slice_temporal_mvp_enabled_flag가 1이고 slice_inter_layer_mfm_enable_flag가 1인 경우, 제1 계층의 움직임 정보를 제2 계층에서 사용할 수 있다. 즉, 제1 계층의 움직임 정보를 제2 계층의 크기로 매핑을 수행한 후 제1 계층의 복원된 영상을 제2 계층의 TMVP를 위한 대응 픽처(ColPic, Collocated picture)로 사용할 수 있다.

slice_inter_layer_mfm_enable_flag가 1인 경우, 표 8에서와 같이 추가 신택스 정보를 통해 제2 계층의 TMVP를 위한 제1 계층의 대응 픽처(ColPic, Collocated picture)에 대한 정보가 시그널링될 수 있다. 예를 들어, collocated_ref_layer_idx를 통하여 참조하는 계층의 정보를 알 수 있으며, 상기 참조 계층 대응 픽처의 움직임 정보를 제2 계층의 영상 크기로 매핑할 수 있다. 또한 B 슬라이스인 경우, collocated_ref_layer_from_l0_flag를 통하여 대응 픽처로 사용할 수 있는 참조 계층의 픽처가 위치하는 참조 픽처 리스트 방향을 정할 수 있다.

표 8을 참조하면, collocated_ref_layer_idx는 움직임 예측을 위해 사용되는 참조 계층의 개수가 2개 이상일 경우, 움직임 예측에 사용되는 참조 계층의 정보를 알려주는 지시자이다. 움직임 예측을 위해 사용되는 참조 계층의 개수가 1개일 경우 collocated_ref_layer_idx는 생략될 수 있다. 이때, 픽처 내 모든 슬라이스는 동일한 값을 가져야 한다는 제약을 가할 수 있다.

collocated_ref_layer_from_l0_flag는 B 슬라이스에서 전송된다. collocated_ref_layer_from_l0_flag 값이 1인 경우는 LIST0 내에 존재하는 참조 계층의 픽처를 대응 픽처(ColPic)로 한다. collocated_ref_layer_from_l0_flag 값이 0인 경우는 LIST1 내에 존재하는 참조 계층의 픽처를 대응 픽처(ColPic)로 한다. 이후, 대응 픽처(ColPic) 내의 대응 블록(ColPb)의 움직임 벡터를 구하는 과정에서 collocated_from_l0_flag 대신 collocated_ref_layer_from_l0_flag 값을 동일한 의미로 사용할 수 있다. 이때, 픽처 내 모든 슬라이스는 동일한 값을 가져야 한다는 제약을 가할 수 있다. 또는, 대응 픽처(ColPic) 내의 대응 블록(ColPb)의 움직임 벡터를 구하는 과정에서 대응 블록이 LIST0와 LIST1 방향의 움직임 정보를 둘 다 가지고 있는 경우, 현재 부호화/복호화 대상 픽처가 가리키고 있는 방향과 동일한 방향의 움직임 정보를 가져올 수 있다.

기본 계층 또는 slice_inter_layer_mfm_enable_flag가 0 인 경우, 참조 계층의 움직임 정보를 이용하지 않고 collocated_from_l0_flag와 collocated_ref_idx를 사용하여 제2 계층 내의 리스트 방향과 대응 픽처를 알려 줄 수 있다.

slice_inter_layer_mfm_enable_flag가 1인 경우, 표 9에서와 같이 추가 신택스 정보를 사용하여 제2 계층의 TMVP를 위한 제1 계층의 대응 픽처(ColPic, Collocated picture)에 대한 정보 및 참조 픽처 리스트 방향 정보가 시그널링될 수 있다. 예를 들어, slice_temporal_mvp_enabled_flag가 1인 경우, B 슬라이스에 대해서는 collocated_from_l0_flag 값으로부터 대응 픽처의 참조 픽처 리스트 방향을 정할 수 있으며, collocated_ref_layer_idx 값으로부터 참조하는 계층을 알 수 있다.

표 9를 참조하면, collocated_from_l0_flag는 slice_temporal_mvp_enabled_flag가 1이고 B 슬라이스일 경우, 대응 픽처가 속해 있는 참조 픽처 리스트 방향을 지시한다. collocated_from_l0_flag가 존재하지 않을 경우, collocated_from_l0_flag는 1로 유추할 수 있다. 이때, 픽처 내 모든 슬라이스는 동일한 값을 가져야 한다는 제약을 가할 수 있다.

collocated_ref_layer_idx는 움직임 예측을 위해 사용되는 참조 계층의 개수가 2개 이상일 경우, 움직임 예측에 사용되는 참조 계층의 정보를 알려주는 지시자이다. 움직임 예측을 위해 사용되는 참조 계층의 개수가 1개일 경우 collocated_ref_layer_idx는 생략될 수 있다. 이때, 픽처 내 모든 슬라이스는 동일한 값을 가져야 한다는 제약을 가할 수 있다. 상위에서 전송된 collocated_from_l0_flag로부터 대응 픽처에 대한 리스트 방향을 정할 수 있다.

기본 계층 또는 slice_inter_layer_mfm_enable_flag가 0 인 경우, 참조 계층의 움직임 정보를 이용하지 않고 collocated_from_l0_flag와 collocated_ref_idx를 사용하여 제2 계층 내의 리스트 방향과 대응 픽처를 알려 줄 수 있다.

slice_inter_layer_mfm_enable_flag가 1인 경우, 표 10에서와 같이 collocated_ref_layer_idx를 통하여 참조하는 계층의 정보를 알 수 있으며 상기 참조 계층 대응 픽처의 움직임 정보를 제2 계층의 영상 크기로 매핑할 수 있다. 이때, 슬라이스 타입에 따라 P 슬라이스인 경우에는 LIST0 내에 존재하는 참조 계층의 픽처를 대응 픽처로 하며, B 슬라이스인 경우에는 LIST0 또는 LIST1 중 하나의 방향으로 규약을 하고 해당하는 참조 계층의 픽처를 대응 픽처로 하여 부호화/복호화 장치가 동일하게 사용할 수 있다.

기본 계층 또는 slice_inter_layer_mfm_enable_flag가 0인 경우, 참조 계층의 움직임 정보를 이용하지 않고 collocated_from_l0_flag와 collocated_ref_idx를 사용하여 제2 계층 내의 리스트 방향과 대응 픽처를 알려 줄 수 있다.

본 발명의 또 다른 실시예에 따르면, 픽처가 N개의 인디펜던트 슬라이스(independent slice)로 분할되어 있을 경우, 각각의 슬라이스 세그먼트 헤더 내의 slice_inter_layer_mfm_enable_flag는 동일한 값을 가져야 하며, 첫번째 인디펜던트 슬라이스 세그먼트 헤더 내의 slice_inter_layer_mfm_enable_flag 값에 따라 픽처 당 한번의 움직임 정보 매핑 과정을 수행할 수 있다.

상술한 본 발명의 실시예들에서는, 상위 레벨에서 전송되는 ‘sps_inter_layer_mfm_enable_flag’가 움직임 정보 매핑 수행 여부를 알려주는 정보로 사용되었으나, 이 정보를 확장하여 계층 간 신택스 예측 여부를 알려주는 정보로 활용될 수 있다. 예를 들어, sps_inter_layer_mfm_enable_flag가 1인 경우, 움직임 정보 매핑 수행뿐만 아니라, 계층 간 신택스(움직임 정보) 예측을 수행할 수도 있다.

상술한 본 발명의 실시예들에서는, 움직임 정보 매핑 수행 여부를 알려주는 별도의 신택스를 사용하였지만, 별도의 신택스 전송 없이 계층 간 예측 수행에 관한 신택스 정보 값에 따라 움직임 정보 매핑을 수행할 수도 있다.

본 발명에서는 상위 계층에서 시그널링되는 계층 간 예측 수행 여부를 알려주는 신택스 정보를 이용하여 움직임 정보 매핑 수행 여부를 판단할 수 있다. 상기 계층 간 예측 수행 여부를 알려주는 신택스 정보는 상위 레벨에서 시그널링될 수 있다.

여기서, 상위 레벨은 비디오 파라미터 세트(VPS: Video Parameter Set), 시퀀스 파라미터 세트(SPS: Sequence Parameter Set), 픽처 파라미터 세트(PPS: Picture Parameter Set), 슬라이스 세그먼트 헤더(Slice segment header) 등일 수 있다.

본 발명의 일 실시예에 의하면, 표 11에서와 같이 VPS에서 계층 간 예측 수행 여부를 알려주는 신택스가 전송될 수 있다.

표 11을 참조하면, VPS에서 계층 간 예측 수행 여부를 알려주는 신택스가 전송될 경우, no_inter_layer_pred_flag가 1이면 움직임 정보 매핑을 수행하지 않을 수 있으며, no_inter_layer_pred_flag가 0이면, 움직임 정보 매핑을 수행할 수 있다.

본 발명에서는 상위 계층에서 시그널링되는 계층 간 신택스 예측 수행 여부를 알려주는 신택스 정보를 이용하여 움직임 정보 매핑 수행 여부를 판단할 수 있다. 상기 계층 간 신택스 예측 수행 여부를 알려주는 신택스 정보는 상위 레벨에서 시그널링될 수 있다.

여기서, 상위 레벨은 비디오 파라미터 세트(VPS: Video Parameter Set), 시퀀스 파라미터 세트(SPS: Sequence Parameter Set), 픽처 파라미터 세트(PPS: Picture Parameter Set), 슬라이스 세그먼트 헤더(Slice segment header) 등일 수 있다.

본 발명의 일 실시예에 의하면, 표 12에서와 같이 PPS에서 계층 간 신택스 예측 수행 여부를 알려주는 신택스가 전송될 수 있다.

표 12를 참조하면, PPS에서 계층 간 신택스 예측 수행 여부를 알려주는 신택스가 전송될 경우, no_inter_layer_syntax_pred_flag가 0이면, 움직임 정보 매핑을 수행할 수 있으며, no_inter_layer_syntax_pred_flag가 1이면, 움직임 정보 매핑을 수행하지 않을 수 있다.

본 발명의 다른 실시예에 의하면, 표 13에서와 같이 슬라이스 세그먼트 헤더에서 계층 간 신택스 예측 수행 여부를 알려주는 신택스가 전송될 수 있다.

표 13을 참조하면, 슬라이스 세그먼트 헤더에서 계층 간 신택스 예측 수행 여부를 알려주는 신택스가 전송될 경우, no_inter_layer_syntax_pred_flag가 0이면, 움직임 정보 매핑을 수행할 수 있으며, no_inter_layer_syntax_pred_flag가 1이면, 움직임 정보 매핑을 수행하지 않을 수 있다.

다시 도 4를 참조하면, 부호화/복호화 장치는 제1 계층의 정보를 제2 계층의 참조 픽처 리스트에 추가하여 제2 계층의 영상을 부호화/복호화한다(S420).

즉, 부호화/복호화 장치는 상술한 단계 S400 ~ S410을 통해 제2 계층 영상 크기로 매핑된 제1 계층의 복호화된 샘플 값들과 움직임 정보들을 제2 계층의 현재 부호화/복호화 대상 영상을 위한 참조 픽처 리스트에 추가할 수 있으며, 추가된 제1 계층의 정보를 이용하여 제2 계층 영상의 참조 픽처 리스트를 구성할 수 있다. 그리고 부호화/복호화 장치는 상기 참조 픽처 리스트를 기반으로 제2 계층의 영상에 대해 예측 신호를 생성하는 인터 예측을 수행할 수 있다.

제2 계층의 참조 픽처 리스트를 구성할 때, 제1 계층의 복호화된 영상은 제2 계층의 현재 부호화/복호화 대상 영상을 위한 참조 픽처 리스트의 마지막 위치에 추가될 수 있다.

또는, 제1 계층의 복호화된 영상은 제2 계층의 현재 부호화/복호화 대상 영상을 위한 참조 픽처 리스트의 특정 위치에 추가될 수 있다. 이때, 특정 위치는 상위 레벨(예를 들어, VPS, SPS, PPS, 슬라이스 세그먼트 헤더 등)에서 알려 줄 수 있으며, 혹은 추가 정보의 전송 없이 정해진 규약에 의해 특정 위치가 지정될 수도 있다.

또는, 제1 계층의 복호화된 영상은 제2 계층의 현재 부호화/복호화 대상 영상을 위한 참조 픽처 리스트 L0와 L1에 추가될 수 있다. 이 경우, 참조 픽처 리스트 L0와 L1에 추가되는 위치는 동일할 수도 있으며, 상이할 수도 있다. 예를 들어, 참조 픽처 리스트 L0에서는 첫번째 위치에 제1 계층의 복호화된 영상을 추가하고, 참조 픽처 리스트 L1에서는 마지막 위치에 제1 계층의 복호화된 영상을 추가할 수 있다.

또는, 제1 계층의 복호화된 영상은 제2 계층의 현재 부호화/복호화 대상 영상을 위한 참조 픽처 리스트 방향(L0와 L1) 중 어느 하나에 추가될 수 있다. 예를 들어, 제2 계층의 현재 부호화/복호화 대상 영상이 B 슬라이스로 부호화/복호화 되는 경우, 참조 픽처 리스트 L0 혹은 참조 픽처 리스트 L1에만 제1 계층의 복호화된 영상을 추가할 수 있다.

이때, 특정 방향의 참조 픽처 리스트에 제1 계층의 복호화된 영상을 추가할 때, 상위 레벨(예를 들어, VPS, SPS, PPS, 슬라이스 세그먼트 헤더 등)에서 특정 방향의 참조 픽처 리스트 내 어느 위치에 추가될 것인지 위치를 알려 줄 있으며, 혹은 추가 정보의 전송 없이 정해진 규약에 의해 특정 위치가 지정될 수도 있다.

또는, 제1 계층의 복호화된 영상은 예측 구조의 계층적 깊이(hierarchical depth) 정보를 이용하여 깊이에 따라 참조 픽처 리스트의 서로 다른 위치에 추가될 수 있다. 이때, 위치에 대한 정보는 상위 레벨(예를 들어, VPS, SPS, PPS, 슬라이스 세그먼트 헤더 등)에서 알려 줄 수 있다. 예를 들어, 제1 계층의 복호화된 영상은 계층적 깊이에 따라 갖는 시간 레벨(temporal_Id) 값을 기반으로 참조 픽처 리스트 내에 추가되는 위치를 달리 할 수 있다. 일예로, 시간 레벨(temporal_Id) 2 이상을 갖는 경우에, 참조 픽처 리스트의 마지막 위치에 제1 계층의 복호화된 영상을 추가할 수 있고, 시간 레벨(temporal_Id)이 2보다 작은 경우에, 참조 픽처 리스트의 첫번째 위치에 제1 계층의 복호화된 영상을 추가할 수 있다. 이때, 기준 시간 레벨 값은 상위 레벨(예를 들어, VPS, SPS, PPS, 슬라이스 세그먼트 헤더 등)에서 알려줄 수 있다.

상술한 제1 계층의 복호화된 영상은 제1 계층의 복호화된 샘플 값들뿐만 아니라, 제2 계층의 영상 크기로 매핑된 제1 계층의 복호화된 움직임 정보를 포함할 수 있다.

부호화/복호화 장치는 상술한 바와 같은 방법으로, 제1 계층의 복호화된 영상을 제2 계층의 현재 부호화/복호화 대상 영상을 위한 참조 픽처 리스트에 추가한 후, 통상의 인터 예측 방법으로 제2 계층의 현재 부호화/복호화 대상 영상에 대한 예측을 수행할 수 있다.

제1 계층의 복호화된 영상을 제2 계층의 현재 부호화 대상 영상의 참조 신호로 사용하여 예측을 수행하는 경우(인터 레이어 예측을 수행하는 경우), 부호화 장치는 움직임 예측 과정 없이 현재 부호화 대상 영상 내 예측 블록과 동일한 위치의 제1 계층 샘플 값을 예측 신호로 사용할 수 있다. 이 경우, 부호화 장치는 해당 블록의 움직임 정보(예를 들어, 움직임 벡터 차분 값, 움직임 예측 후보 플래그 등)를 전송하지 않을 수 있다.

복호화 장치는 제2 계층의 참조 픽처 인덱스가 지시하는 영상이 참조 픽처 리스트 내 제1 계층의 복호화된 영상인 경우, 제2 계층의 현재 복호화 대상 영상 내 예측 블록에 대한 움직임 정보(예를 들어, 움직임 벡터 차분 값, 움직임 예측 후보 플래그 등)를 복호화하지 않고, 현재 복호화 대상 영상 내 예측 블록과 동일한 위치의 제1 계층 샘플 값을 예측 신호로 사용할 수 있다.

제2 계층 현재 복호화 대상 블록의 참조 픽처 인덱스가 지시하는 영상이 참조 픽처 리스트 내 제1 계층의 복호화된 영상인 경우(인터 레이어 예측이 수행되는 경우), 복호화 장치는 상위 레벨(예를 들어, VPS, SPS, PPS, 슬라이스 세그먼트 헤더 등)에서 전송되는 정보를 기반으로 하여, 제2 계층의 현재 복호화 대상 블록에 대한 움직임 정보(예를 들어, 움직임 벡터 차분 값, 움직임 예측 후보 플래그 등)를 복호화할지 여부를 판단하여 제2 계층의 현재 복호화 대상 블록에 대한 예측을 수행할 수 있다.

표 14는 계층 간 움직임 벡터가 (0, 0) 값을 가지는지 여부를 지시하는 정보(sps_inter_layer_mv_zero_flag)가 SPS에서 전송되는 신택스의 일예를 나타낸다.

표 14를 참조하면, SPS에서 전송되는 sps_inter_layer_mv_zero_flag가 1의 값을 가지며, 현재 복호화 대상 블록의 참조 픽처 인덱스가 참조 픽처 리스트 내에서 제1 계층의 복호화된 영상을 지시할 경우, 복호화 장치는 움직임 벡터 차분 값과 움직임 예측 후보 플래그를 복호화하지 않고 현재 복호화 대상 블록의 위치와 동일한 위치를 갖는 복호화된 제1 계층 영상의 샘플 값을 현재 복호화 대상 블록에 대한 예측 신호로 사용할 수 있다.

SPS에서 전송되는 sps_inter_layer_mv_zero_flag가 0의 값을 가지며, 현재 복호화 대상 블록의 참조 픽처 인덱스가 참조 픽처 리스트 내에서 제1 계층의 복호화된 영상을 지시할 경우, 복호화 장치는 움직임 벡터 차분 값과 움직임 예측 후보 플래그를 복호화한 후 움직임 벡터 값을 구하고, 상기 구해진 움직임 벡터 값의 위치에 있는 복호화된 제1 계층 영상의 샘플 값을 현재 복호화 대상 블록에 대한 예측 신호로 사용할 수 있다.

한편, 부호화 장치에서는 매핑된 제1 계층의 움직임 정보를 제2 계층의 현재 부호화 대상 블록에 대한 시간 움직임 벡터 후보로 사용하기 위해서, 제1 계층의 복호화된 영상을 제2 계층의 시간 움직임 벡터 예측을 위한 대응 영상(collocated picture)로 사용할 수 있다. 이 경우, 부호화 장치는 슬라이스 세그먼트 헤더 내의 내의 대응 픽처를 지시하는 정보(collocated_ref_idx)를 통해 제1계층의 복호화된 영상을 대응 영상으로 지정할 수 있다.

부호화기에서 전송된 슬라이스 세그먼트 헤더 내의 대응 픽처를 지시하는 정보(collocated_ref_idx)가 제1 계층의 복호화된 영상을 지시하는 경우, 복호화 장치에서는 매핑된 제1 계층의 움직임 정보를 제2 계층의 시간 움직임 벡터 후보로 사용할 수 있다.

매핑된 제1 계층의 움직임 정보를 제2 계층의 시간 움직임 벡터 후보로 사용하는 경우, 부호화/복호화 장치는 상기 매핑된 제1 계층의 움직임 정보, 즉 참조 픽처 POC, 참조 픽처 리스트, 참조 픽처의 픽처 타입(단기 참조 픽처, 장기 참조 픽처) 정보 중 하나 이상을 이용할 수 있으며, 하나 이상의 매핑된 제1 계층의 움직임 정보를 이용함으로써 제2 계층의 움직임 벡터를 시간적 거리에 맞게 스케일링(scaling)하여 사용할 수 있다.

상위 레벨에서 제1 계층의 움직임 정보 매핑을 허용하지 않고 복호화된 제1 계층 영상의 참조 샘플 값들만 참조 픽처 리스트에 추가하여 예측을 수행하는 경우, 대응 픽처를 지시하는 정보(collocated_ref_idx)는 제1 계층의 복호화된 영상을 대응 픽처로 지시하지 않도록 표준 문서 상에 제약을 둘 수 있다.

매핑된 제1 계층의 움직임 정보를 제2 계층의 움직임 정보로 사용하는 다른 예로, 매핑된 제1 계층의 움직임 정보를 제2 계층의 시간 움직임 벡터 후보가 아닌 추가적인 후보 모드로 사용할 수도 있다. 이 경우, 제2 계층의 시간 움직임 벡터 후보가 제2 계층의 참조 픽처로부터 유도될 수 있도록 하기 위해, 대응 픽처를 지시하는 정보(collocated_ref_idx)는 제1 계층의 복호화된 영상을 대응 픽처로 지시하지 않도록 표준 문서 상에 제약을 둘 수 있다. 또한, 추가적인 후보 모드로 매핑된 제1 계층의 움직임 정보를 사용하기 위해, 부호화 장치는 추가적으로 참조 픽처 리스트 내의 제1 계층의 매핑된 영상 위치를 알려줄 수 있는 인덱스(예를 들어, base_ref_idx)를 슬라이스 세그먼트 헤더 등에서 전송할 수 있다. 참조 픽처 리스트 내 추가적인 후모 모드의 위치는 부호화 장치와 복호화 장치에 동일하게 적용될 수 있다.

상술한 본 발명에 따른 방법은 컴퓨터에서 실행되기 위한 프로그램으로 제작되어 컴퓨터가 읽을 수 있는 기록 매체에 저장될 수 있으며, 컴퓨터가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다.

컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고, 상기 방법을 구현하기 위한 기능적인(function) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술분야의 프로그래머들에 의해 용이하게 추론될 수 있다.

상술한 실시예들에서, 방법들은 일련의 단계 또는 블록으로서 순서도를 기초로 설명되고 있으나, 본 발명은 단계들의 순서에 한정되는 것은 아니며, 어떤 단계는 상술한 바와 다른 단계와 다른 순서로 또는 동시에 발생할 수 있다. 또한, 당해 기술 분야에서 통상의 지식을 가진 자라면 순서도에 나타난 단계들이 배타적이지 않고, 다른 단계가 포함되거나, 순서도의 하나 또는 그 이상의 단계가 본 발명의 범위에 영향을 미치지 않고 삭제될 수 있음을 이해할 수 있을 것이다.

이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시 예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시 예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호범위는 특허청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.

Claims (5)

1. 계층간 예측을 수행하는 영상 복호화 방법에 있어서,
   현재 복호화 대상 블록에 대해 계층간 예측이 수행되는지 여부를 결정하는 단계;
   제1 계층의 픽처를 복호화하는 단계; 및
   상기 제1 계층의 픽처가 상기 현재 복호화 대상 블록을 포함하는 제2 계층의 픽처가 참조하는 계층의 픽처인 경우, 상기 제1 계층의 픽처를 상기 제2 계층의 픽처에 대한 참조 픽처 리스트에 추가하는 단계를 포함하되,
   상기 제1 계층은 베이스(Base) 레이어이고, 상기 제2 계층은 인핸스먼트(Enhancement) 레이어이고,
   상기 제1 계층의 픽처와 상기 제2 계층의 픽처가 상이한 크기를 가지는 경우, 상기 현재 복호화 대상 블록의 예측을 위한 대응 픽처(collocated-picture)는 상기 제1 계층의 픽처로 결정되지 않고, 상기 대응 픽처를 지시하는 정보는 상기 제1 계층의 픽처를 지시하지 않는 것을 특징으로 하는, 영상 복호화 방법.
2. 제 1항에 있어서,
   상기 제1 계층의 픽처는, 상기 제1 계층의 픽처와 상기 제2 계층의 픽처가 동일한 POC (Picture Order Count)를 가지는 경우, 상기 참조 픽처 리스트에 추가되는 것을 특징으로 하는, 영상 복호화 방법.
3. 제 1항에 있어서,
   상기 제1 계층의 픽처가 상기 제2 계층의 픽처가 참조하는 계층의 픽처인지 여부는 상기 제2 계층 픽처의 레이어 아이디에 기초하여 결정되는 것을 특징으로 하는, 영상 복호화 방법.
4. 계층간 예측을 수행하는 영상 부호화 방법에 있어서,
   현재 부호화 대상 블록에 대해 계층간 예측이 수행되는 것으로 결정하는 단계;
   제1 계층의 픽처를 유도하는 단계; 및
   상기 제1 계층의 픽처가 상기 현재 부호화 대상 블록을 포함하는 제2 계층의 픽처가 참조하는 계층의 픽처인 경우, 상기 제1 계층의 픽처를 상기 제2 계층의 픽처에 대한 참조 픽처 리스트에 추가하는 단계를 포함하되,
   상기 제1 계층은 베이스(Base) 레이어이고, 상기 제2 계층은 인핸스먼트(Enhancement) 레이어이고,
   상기 제1 계층의 픽처와 상기 제2 계층의 픽처가 상이한 크기를 가지는 경우, 상기 현재 부호화 대상 블록의 예측을 위한 대응 픽처(collocated-picture)는 상기 제1 계층의 픽처로 결정되지 않고, 상기 대응 픽처를 지시하는 정보는 상기 제1 계층의 픽처를 지시하지 않는 것을 특징으로 하는, 영상 부호화 방법.
5. 영상 부호화 방법에 의해 생성된 비트스트림을 저장하는 기록매체에 있어서,
   상기 영상 부호화 방법은,
   계층간 예측을 수행하는 영상 부호화 방법에 있어서,
   현재 부호화 대상 블록에 대해 계층간 예측이 수행되는 것으로 결정하는 단계;
   제1 계층의 픽처를 유도하는 단계; 및
   상기 제1 계층의 픽처가 상기 현재 부호화 대상 블록을 포함하는 제2 계층의 픽처가 참조하는 계층의 픽처인 경우, 상기 제1 계층의 픽처를 상기 제2 계층의 픽처에 대한 참조 픽처 리스트에 추가하는 단계를 포함하고,
   상기 제1 계층은 베이스(Base) 레이어이고, 상기 제2 계층은 인핸스먼트(Enhancement) 레이어이고,
   상기 제1 계층의 픽처와 상기 제2 계층의 픽처가 상이한 크기를 가지는 경우, 상기 현재 부호화 대상 블록의 예측을 위한 대응 픽처(collocated-picture)는 상기 제1 계층의 픽처로 결정되지 않고, 상기 대응 픽처를 지시하는 정보는 상기 제1 계층의 픽처를 지시하지 않는 것을 특징으로 하는, 영상 부호화 방법에 의해 생성된 비트스트림을 저장하는 기록매체.
   

Images