KR102412637B1 - 영상 부호화/복호화 방법 및 장치 - Google Patents

Abstract

복수의 레이어를 지원하는 영상 부호화/복호화 방법 및 장치가 개시된다. 상기 영상 복호화 방법은 VPS(Video Parameter Set) extension에 기반하여 현재 레이어에 대한 레이어 종속성을 해석하는 단계, 슬라이스 별로 부호화된 정보에 기반하여 현재 슬라이스에 대한 레이어 종속성을 해석하는 단계 및 상기 현재 레이어에 대한 레이어 종속성 및 상기 현재 슬라이스에 대한 레이어 종속성 중 적어도 하나의 해석을 기반으로 상기 현재 레이어에 대한 참조 픽처 리스트를 구성하는 단계를 포함한다.

Description

영상 부호화/복호화 방법 및 장치{METHOD AND APPARATUS FOR IMAGE ENCODING/DECODING}

본 발명은 영상 부호화 및 복호화에 관한 것으로, 보다 상세하게는 비디오 코딩을 기반으로 하는 영상 부호화 및 복호화에 관한 것이다.

최근 멀티미디어(multimedia) 환경이 구축되면서, 다양한 단말과 네트워크가 이용되고 있으며, 이에 따른 사용자 요구도 다변화하고 있다.

예컨대, 단말의 성능과 컴퓨팅 능력(computing capability)가 다양해짐에 따라서 지원하는 성능도 기기별로 다양해지고 있다. 또한 정보가 전송되는 네트워크 역시 유무선 네트워크와 같은 외형적인 구조뿐만 아니라, 전송하는 정보의 형태, 정보량과 속도 등 기능별로도 다양해지고 있다. 사용자는 원하는 기능에 따라서 사용할 단말과 네트워크를 선택하며, 또한 기업이 사용자에게 제공하는 단말과 네트워크의 스펙트럼도 다양해지고 있다.

이와 관련하여, 최근 HD(High Definition) 해상도를 가지는 방송이 국내뿐만 아니라 세계적으로 확대되어 서비스되면서, 많은 사용자들이 고해상도, 고화질의 영상에 익숙해지고 있다. 이에 따라서 많은 영상 서비스 관련 기관들이 차세대 영상 기기에 대한 개발에 많은 노력을 하고 있다.

또한 HDTV와 더불어 HDTV의 4배 이상의 해상도를 가지는 UHD(Ultra High Definition)에 대한 관심이 증대되면서 보다 높은 해상도, 고화질의 영상을 압축하여 처리하는 기술에 대한 요구는 더 높아지고 있다.

영상을 압축하여 처리하기 위해, 시간적으로 이전 및/또는 이후의 픽처로부터 현재 픽처에 포함된 화소값을 예측하는 인터(inter) 예측 기술, 현재 픽처 내의 화소 정보를 이용하여 현재 픽처에 포함된 다른 화소값을 예측하는 인트라(intra) 예측 기술, 출현 빈도가 높은 심볼(symbol)에 짧은 부호를 할당하고 출현 빈도가 낮은 심볼에 긴 부호를 할당하는 엔트로피 인코딩 기술 등이 사용될 수 있다.

상술한 바와 같이, 지원하는 기능이 상이한 각 단말과 네트워크 그리고 다변화된 사용자의 요구를 고려할 때, 지원되는 영상의 품질, 크기, 프레임 등도 이에 따라 다변화될 필요가 있다.

이와 같이, 이종의 통신망과 다양한 기능 및 종류의 단말로 인해, 영상의 화질, 해상도, 크기, 프레임 율 등을 다양하게 지원하는 스케일러빌리티(scalability)는 비디오 포맷의 중요한 기능이 되고 있다.

따라서, 고효율의 비디오 부호화 방법을 기반으로 다양한 환경에서 사용자가 요구하는 서비스를 제공하기 위해 시간, 공간, 화질 등의 측면에서 효율적인 비디오 부호화와 복호화가 가능하도록 스케일러빌리티 기능을 제공하는 것이 필요하다.

본 발명은 영상 부호화/복호화 효율을 향상시킬 수 있는 영상 부호화/복호화 방법 및 장치를 제공한다.

본 발명은 부호화/복호화 효율을 향상시킬 수 있는 스케일러블 비디오 코딩에서 계층간 전환을 수행하는 방법 및 장치를 제공한다.

본 발명은 영상 부호화/복호화 효율을 향상시킬 수 있는 스케일러블 참조 픽처 세트 정보를 부호화/복호화하는 방법 및 장치를 제공한다.

본 발명은 영상 부호화/복호화 효율을 향상시킬 수 있는 스케일러블 비디오 코딩에서 참조 영상 관리 방법 및 장치를 제공한다.

본 발명의 일 양태에 따르면, 복수의 레이어를 지원하는 영상 복호화 방법이 제공된다. 상기 영상 복호화 방법은 VPS(Video Parameter Set) extension에 기반하여 현재 레이어에 대한 레이어 종속성을 해석하는 단계, 슬라이스 별로 부호화된 정보에 기반하여 현재 슬라이스에 대한 레이어 종속성을 해석하는 단계 및 상기 현재 레이어에 대한 레이어 종속성 및 상기 현재 슬라이스에 대한 레이어 종속성 중 적어도 하나의 해석을 기반으로 상기 현재 레이어에 대한 참조 픽처 리스트를 구성하는 단계를 포함한다.

본 발명의 다른 양태에 따르면, 복수의 레이어를 지원하는 영상 부호화 방법이 제공된다. 상기 영상 부호화 방법은 현재 레이어에 대한 레이어 종속성을 결정하여 VPS(Video Parameter Set) extension을 이용하여 부호화하는 단계, 현재 슬라이스에 대한 레이어 종속성을 결정하여 슬라이스 별로 부호화하는 단계 및 상기 현재 레이어에 대한 레이어 종속성 및 상기 현재 슬라이스에 대한 레이어 종속성 중 적어도 하나에 기반하여 상기 현재 레이어에 대한 참조 픽처 리스트를 구성하는 단계를 포함한다.

본 발명의 또 다른 양태에 따르면, 복수의 레이어를 지원하는 영상 복호화 장치가 제공된다. 상기 영상 복호화 장치는 VPS(Video Parameter Set) extension에 기반하여 현재 레이어에 대한 레이어 종속성을 해석하고, 슬라이스 별로 부호화된 정보에 기반하여 현재 슬라이스에 대한 레이어 종속성을 해석하는 복호화부 및 상기 현재 레이어에 대한 레이어 종속성 및 상기 현재 슬라이스에 대한 레이어 종속성 중 적어도 하나의 해석을 기반으로 상기 현재 레이어에 대한 참조 픽처 리스트를 구성하고, 상기 참조 픽처 리스트를 기반으로 예측을 수행하는 예측부를 포함한다.

본 발명은 공간, 시간, 화질, 시점 스케일러빌리티를 제공 가능한 계층적 부호화 방식에서의 참조 영상 관리 방법을 제공할 수 있다. 최소 한 개 이상의 참조 계층을 포함하여 계층간 예측을 할 경우, 참조 계층의 복호화 영상들을 포함한 참조 영상을 효율적으로 관리 할 수 있다. 또한, 본 발명에 따르면 효율적인 참조 계층 관리가 가능해지며, 동일한 계층이라고 하더라도 부호화 효율을 극대화 할 수 있도록 참조 계층을 선택할 수 있게 된다.

도 1은 발명이 적용되는 영상 부호화 장치의 일 실시예에 따른 구성을 나타내는 블록도이다.
도 2는 본 발명이 적용되는 영상 복호화 장치의 일 실시예에 따른 구성을 나타내는 블록도이다.
도 3은 본 발명이 적용될 수 있는 복수 계층을 이용한 스케일러블 비디오 코딩 구조의 일예를 개략적으로 나타내는 개념도이다.
도 4는 참조 픽처 리스트의 구성을 도시한 도면이다.
도 5는 본 발명의 실시예에 따른 스케일러블 비디오 코딩에서 참조 픽처를 관리하는 방법을 개략적으로 나타내는 순서도이다.
도 6은 본 발명에 따른 스케일러블 참조 레이어 세트(SRLS: Scalable reference layer set, 혹은 레이어 종속성 세트)를 구성하는 방법을 설명하기 위한 도면이다.
도 7은 본 발명에 따른 참조 픽처 리스트(참조 영상 목록)를 구성하는 방법을 설명하기 위한 도면이다.

이하, 도면을 참조하여 본 발명의 실시 형태에 대하여 구체적으로 설명한다. 본 명세서의 실시예를 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 명세서의 요지를 흐릴 수 있다고 판단되는 경우에는 해당 설명을 생략할 수도 있다.

본 명세서에서 어떤 구성 요소가 다른 구성 요소에 “연결되어” 있다거나 “접속되어” 있다고 언급된 때에는, 그 다른 구성 요소에 직접적으로 연결되어 있거나 또는 접속되어 있는 것을 의미할 수도 있고, 중간에 다른 구성 요소가 존재하는 것을 의미할 수도 있다. 아울러, 본 명세서에서 특정 구성을 “포함”한다고 기술하는 내용은 해당 구성 이외의 구성을 배제하는 것이 아니며, 추가적인 구성이 본 발명의 실시 또는 본 발명의 기술적 사상의 범위에 포함될 수 있음을 의미한다.

제1, 제2 등의 용어는 다양한 구성들을 설명하는데 사용될 수 있지만, 상기 구성들은 상기 용어에 의해 한정되지 않는다. 상기 용어들은 하나의 구성을 다른 구성으로부터 구별하는 목적으로 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성은 제2 구성으로 명명될 수 있고, 유사하게 제2 구성도 제1 구성으로 명명될 수 있다.

또한 본 발명의 실시예에 나타나는 구성부들은 서로 다른 특징적인 기능을 나타내기 위해 독립적으로 도시되는 것으로, 각 구성부들이 분리된 하드웨어나 하나의 소프트웨어 구성 단위로 이루어짐을 의미하지 않는다. 즉, 각 구성부는 설명의 편의상 각각의 구성부로 나열하여 포함한 것으로 각 구성부 중 적어도 두 개의 구성부가 하나의 구성부를 이루거나, 하나의 구성부가 복수 개의 구성부로 나뉘어져 기능을 수행할 수 있다. 각 구성부의 통합된 실시예 및 분리된 실시예도 본 발명의 본질에서 벗어나지 않는 한 본 발명의 권리 범위에 포함된다.

또한, 일부의 구성 요소는 본 발명에서 본질적인 기능을 수행하는 필수적인 구성 요소는 아니고 단지 성능을 향상시키기 위한 선택적 구성 요소일 수 있다. 본 발명은 단지 성능 향상을 위해 사용되는 구성 요소를 제외한 본 발명의 본질을 구현하는데 필수적인 구성부만을 포함하여 구현될 수 있고, 단지 성능 향상을 위해 사용되는 선택적 구성 요소를 제외한 필수 구성 요소만을 포함한 구조도 본 발명의 권리범위에 포함된다.

도 1은 발명이 적용되는 영상 부호화 장치의 일 실시예에 따른 구성을 나타내는 블록도이다.

스케일러블(scalable) 비디오 부호화/복호화 방법 또는 장치는, 스케일러빌리티(scalability)를 제공하지 않는 일반적인 영상 부호화/복호화 방법 또는 장치의 확장(extension)에 의해 구현될 수 있으며, 도 1의 블록도는 스케일러블 비디오 부호화 장치의 기초가 될 수 있는 영상 부호화 장치의 일 실시예를 나타낸다.

도 1을 참조하면, 영상 부호화 장치(100)는 움직임 예측부(111), 움직임 보상부(112), 인트라 예측부(120), 스위치(115), 감산기(125), 변환부(130), 양자화부(140), 엔트로피 부호화부(150), 역양자화부(160), 역변환부(170), 가산기(175), 필터부(180) 및 참조 픽처 버퍼(190)를 포함한다.

영상 부호화 장치(100)는 입력 영상에 대해 인트라(intra) 모드 또는 인터(inter) 모드로 부호화를 수행하고 비트스트림을 출력할 수 있다. 인트라 모드인 경우 스위치(115)가 인트라로 전환되고, 인터 모드인 경우 스위치(115)가 인터로 전환될 수 있다. 인트라 예측은 화면 내 예측, 인터 예측은 화면 간 예측을 의미한다. 영상 부호화 장치(100)는 입력 영상의 입력 블록에 대한 예측 블록을 생성한 후, 입력 블록과 예측 블록의 차분(residual)을 부호화할 수 있다. 이때, 입력 영상은 원 영상(original picture)를 의미할 수 있다.

인트라 모드인 경우, 인트라 예측부(120)는 현재 블록 주변의 이미 부호화/복호화된 블록의 픽셀값을 이용하여 공간적 예측을 수행하여 예측 블록을 생성할 수 있다.

인터 모드인 경우, 움직임 예측부(111)는, 움직임 예측 과정에서 참조 픽처 버퍼(190)에 저장되어 있는 참조 영상에서 입력 블록과 가장 매치가 잘 되는 영역을 찾아 움직임 벡터를 구할 수 있다. 움직임 보상부(112)는 움직임 벡터를 이용하여 움직임 보상을 수행함으로써 예측 블록을 생성할 수 있다. 여기서, 움직임 벡터는 인터 예측에 사용되는 2차원 벡터이며, 현재 부호화/복호화 대상 영상과 참조 영상 사이의 오프셋을 나타낼 수 있다.

감산기(125)는 입력 블록과 생성된 예측 블록의 차분에 의해 잔차 블록(residual block)을 생성할 수 있다.

변환부(130)는 잔차 블록에 대해 변환(transform)을 수행하여 변환 계수(transform coefficient)를 출력할 수 있다. 여기서, 변환 계수는 잔차 블록 및/또는 잔차 신호에 대한 변환을 수행함으로써 생성된 계수 값을 의미할 수 있다. 이하, 본 명세서에서는 변환 계수에 양자화가 적용되어 생성된, 양자화된 변환 계수 레벨(transform coefficient level)도 변환 계수로 불릴 수 있다.

양자화부(140)는 입력된 변환 계수를 양자화 파라미터(quantization parameter, 또는 양자화 매개변수)에 따라 양자화하여 양자화된 계수(quantized coefficient)를 출력할 수 있다. 양자화된 계수는 양자화된 변환 계수 레벨(quantized transform coefficient level)로 불릴 수도 있다. 이때, 양자화부(140)에서는 양자화 행렬을 사용하여 입력된 변환 계수를 양자화할 수 있다.

엔트로피 부호화부(150)는, 양자화부(140)에서 산출된 값들 또는 부호화 과정에서 산출된 부호화 파라미터 값 등을 기초로 엔트로피 부호화를 수행하여 비트스트림(bitstream)을 출력할 수 있다. 엔트로피 부호화가 적용되는 경우, 높은 발생 확률을 갖는 심볼(symbol)에 적은 수의 비트가 할당되고 낮은 발생 확률을 갖는 심볼에 많은 수의 비트가 할당되어 심볼이 표현됨으로써, 부호화 대상 심볼들에 대한 비트열의 크기가 감소될 수 있다. 따라서 엔트로피 부호화를 통해서 영상 부호화의 압축 성능이 높아질 수 있다. 엔트로피 부호화부(150)는 엔트로피 부호화를 위해 지수-골롬(Exponential-Golomb), CAVLC(Context-Adaptive Variable Length Coding), CABAC(Context-Adaptive Binary Arithmetic Coding)과 같은 부호화 방법을 사용할 수 있다.

도 1의 실시예에 따른 영상 부호화 장치(100)는 인터 예측 부호화, 즉 화면 간 예측 부호화를 수행하므로, 현재 부호화된 영상은 참조 영상으로 사용되기 위해 복호화되어 저장될 필요가 있다. 따라서 양자화된 계수는 역양자화부(160)에서 역양자화되고 역변환부(170)에서 역변환된다. 역양자화, 역변환된 계수는 가산기(175)를 통해 예측 블록과 더해지고 복원 블록(Reconstructed Block)이 생성된다.

복원 블록은 필터부(180)를 거치고, 필터부(180)는 디블록킹 필터(deblocking filter), SAO(Sample Adaptive Offset), ALF(Adaptive Loop Filter) 중 적어도 하나 이상을 복원 블록 또는 복원 픽처에 적용할 수 있다. 필터부(180)는 적응적 인루프(in-loop) 필터로 불릴 수도 있다. 디블록킹 필터는 블록 간의 경계에 생긴 블록 왜곡을 제거할 수 있다. SAO는 코딩 에러를 보상하기 위해 픽셀값에 적정 오프셋(offset) 값을 더해줄 수 있다. ALF는 복원된 영상과 원래의 영상을 비교한 값을 기초로 필터링을 수행할 수 있다. 필터부(180)를 거친 복원 블록은 참조 픽처 버퍼(190)에 저장될 수 있다.

도 2는 본 발명이 적용되는 영상 복호화 장치의 일 실시예에 따른 구성을 나타내는 블록도이다.

도 1에서 상술한 바와 같이, 스케일러블 비디오 부호화/복호화 방법 또는 장치는, 스케일러빌리티를 제공하지 않는 일반적인 영상 부호화/복호화 방법 또는 장치의 확장에 의해 구현될 수 있으며, 도 2의 블록도는 스케일러블 비디오 복호화 장치의 기초가 될 수 있는 영상 복호화 장치의 일 실시예를 나타낸다.

도 2를 참조하면, 영상 복호화 장치(200)는 엔트로피 복호화부(210), 역양자화부(220), 역변환부(230), 인트라 예측부(240), 움직임 보상부(250), 가산기(255), 필터부(260) 및 참조 픽처 버퍼(270)를 포함한다.

영상 복호화 장치(200)는 부호화기에서 출력된 비트스트림을 입력 받아 인트라 모드 또는 인터 모드로 복호화를 수행하고 재구성된 영상, 즉 복원 영상을 출력할 수 있다. 인트라 모드인 경우 스위치가 인트라로 전환되고, 인터 모드인 경우 스위치가 인터로 전환될 수 있다.

영상 복호화 장치(200)는 입력 받은 비트스트림으로부터 복원된 잔차 블록(reconstructed residual block)을 얻고 예측 블록을 생성한 후 복원된 잔차 블록과 예측 블록을 더하여 재구성된 블록, 즉 복원 블록을 생성할 수 있다.

엔트로피 복호화부(210)는, 입력된 비트스트림을 확률 분포에 따라 엔트로피 복호화하여, 양자화된 계수(quantized coefficient) 형태의 심볼을 포함한 심볼들을 생성할 수 있다.

엔트로피 복호화 방법이 적용되는 경우, 높은 발생 확률을 갖는 심볼에 적은 수의 비트가 할당되고 낮은 발생 확률을 갖는 심볼에 많은 수의 비트가 할당되어 심볼이 표현됨으로써, 각 심볼들에 대한 비트열의 크기가 감소될 수 있다.

양자화된 계수는 역양자화부(220)에서 역양자화되고 역변환부(230)에서 역변환되며, 양자화된 계수가 역양자화/역변환 된 결과, 복원된 잔차 블록이 생성될 수 있다. 이때, 역양자화부(220)에서는 양자화된 계수에 양자화 행렬을 적용할 수 있다.

인트라 모드인 경우, 인트라 예측부(240)는 현재 블록 주변의 이미 복호화된 블록의 픽셀값을 이용하여 공간적 예측을 수행하여 예측 블록을 생성할 수 있다. 인터 모드인 경우, 움직임 보상부(250)는 움직임 벡터 및 참조 픽처 버퍼(270)에 저장되어 있는 참조 영상을 이용하여 움직임 보상을 수행함으로써 예측 블록을 생성할 수 있다.

잔차 블록과 예측 블록은 가산기(255)를 통해 더해지고, 더해진 블록은 필터부(260)를 거칠 수 있다. 필터부(260)는 디블록킹 필터, SAO, ALF 중 적어도 하나 이상을 복원 블록 또는 복원 픽쳐에 적용할 수 있다. 필터부(260)는 재구성된 영상, 즉 복원 영상을 출력할 수 있다. 복원 영상은 참조 픽처 버퍼(270)에 저장되어 인터 예측에 사용될 수 있다.

도 3은 본 발명이 적용될 수 있는 복수 계층을 이용한 스케일러블 비디오 코딩 구조의 일예를 개략적으로 나타내는 개념도이다. 도 3에서 GOP(Group of Picture)는 픽처군 즉, 픽처의 그룹을 나타낸다.

영상 데이터를 전송하기 위해서는 전송 매체가 필요하며, 그 성능은 다양한 네트워크 환경에 따라 전송 매체별로 차이가 있다. 이러한 다양한 전송 매체 또는 네트워크 환경에의 적용을 위해 스케일러블 비디오 코딩 방법이 제공될 수 있다.

스케일러빌러티를 지원하는 비디오 코딩 방법(이하, ‘스케일러블 코딩’혹은 ‘스케일러블 비디오 코딩’이라 함)은 계층(layer) 간의 텍스쳐 정보, 움직임 정보, 잔여 신호 등을 활용하여 계층 간 중복성을 제거하여 인코딩 및 디코딩 성능을 높이는 코딩 방법이다. 스케일러블 비디오 코딩 방법은, 전송 비트율, 전송 에러율, 시스템 자원 등의 주변 조건에 따라, 공간적(spatial), 시간적(temporal), 화질적(혹은 품질적, quality), 시점(view) 관점에서 다양한 스케일러빌리티를 제공할 수 있다.

스케일러블 비디오 코딩은, 다양한 네트워크 상황에 적용 가능한 비트스트림을 제공할 수 있도록, 복수 계층(multiple layers) 구조를 사용하여 수행될 수 있다. 예를 들어 스케일러블 비디오 코딩 구조는, 일반적인 영상 디코딩 방법을 이용하여 영상 데이터를 압축하여 처리하는 기본 계층을 포함할 수 있고, 기본 계층의 디코딩 정보 및 일반적인 영상 디코딩 방법을 함께 사용하여 영상 데이터를 압축 처리하는 향상 계층을 포함할 수 있다.

여기서, 계층(layer)은 공간(spatial, 예를 들어, 영상 크기), 시간(temporal, 예를 들어, 디코딩 순서, 영상 출력 순서, 프레임 레이트), 화질, 복잡도, 시점(view) 등을 기준으로 구분되는 영상 및 비트스트림(bitstream)의 집합을 의미한다.

기본 계층(Base layer)은 베이스 레이어라고 지칭할 수도 있고, 하위 계층(lower layer)이라 지칭할 수도 있다. 향상 계층(Enhancement layer)은 인핸스먼트 레이어 혹은 상위 계층(higher layer)이라 지칭할 수도 있다. 이때, 하위 계층은 특정 계층 보다 낮은 스케일러빌러티를 지원하는 계층을 의미할 수 있으며, 상위 계층은 특정 계층 보다 높은 스케일러빌러티를 지원하는 계층을 의미할 수 있다. 특정 계층이 부호화 혹은 복호화 시에 참조하는 계층은 참조 계층(혹은 참조 레이어)이라 지칭할 수 있다.

도 3을 참조하면, 예를 들어 기본 계층은 SD(standard definition), 15Hz의 프레임율, 1Mbps 비트율로 정의될 수 있고, 제1 향상 계층은 HD(high definition), 30Hz의 프레임율, 3.9Mbps 비트율로 정의될 수 있으며, 제2 향상 계층은 4K-UHD (ultra high definition), 60Hz의 프레임율, 27.2Mbps 비트율로 정의될 수 있다.

상기 포맷(format), 프레임율, 비트율 등은 하나의 실시예로서, 필요에 따라 달리 정해질 수 있다. 또한 사용되는 계층의 수도 본 실시예에 한정되지 않고 상황에 따라 달리 정해질 수 있다. 예를 들어, 전송 대역폭이 4Mbps라면 상기 제1 향상계층 HD의 프레임 레이트를 줄여서 15Hz 이하로 전송할 수 있다.

스케일러블 비디오 코딩 방법은 상기 도 3의 실시예에서 상술한 방법에 의해 시간적, 공간적, 화질적, 시점 스케일러빌리티를 제공할 수 있다.

본 명세서에서 스케일러블 비디오 코딩은 인코딩 관점에서는 스케일러블 비디오 인코딩, 디코딩 관점에서는 스케일러블 비디오 디코딩과 동일한 의미를 가진다.

한편, 스케일러블 비디오 코딩 구조에서는 계층 간 강한 연관성(correlation)이 존재하므로 이러한 연관성을 이용하여 예측을 수행하면 데이터의 중복 요소를 제거할 수 있고 영상의 부호화 성능을 향상시킬 수 있다. 따라서, 부호화 혹은 복호화되는 현재 계층(상위 계층)의 픽처(영상)를 예측할 경우, 현재 계층의 정보를 이용한 인터 예측 혹은 인트라 예측뿐만 아니라, 다른 계층의 정보를 이용한 계층간 예측(inter-layer prediction, 혹은 인터 레이어 예측)을 수행할 수 있다.

계층간 예측, 즉 인터 레이어 예측은 다른 계층의 정보를 이용하므로, 인터레이어 예측을 위해 사용되는 다른 계층의 정보가 필요하다. 즉, 현재 계층의 인터 레이어 예측을 위해 사용되는 다른 계층(참조 계층)의 정보, 참조 계층 내 참조되는 참조 픽처의 정보 등이 필요하다. 이러한 인터 레이어 예측을 사용할 경우 현재 계층이 참조하는 참조 계층 및 참조 픽처에 대한 관리가 필요하다.

계층간 예측을 위해 사용되는 참조 픽처에 대한 관리(이하, 계층간 참조 픽처 관리)에 관련된 정보를 부호화기에서 전송함으로써, 여기에서 설정된 레이어간 종속성을 이용하여 각 레이어가 몇 개의 레이어를 참조하는지 알려주는 정보와 각각의 레이어마다 어떤 레이어를 참조했는지 알려주는 정보를 전송할 수 있다. 이러한 참조 픽처에 대한 관리 정보를 전송하는 부분은 다양한 형태로 전송될 수 있는데, 그것들 중에 한 예는 비디오 파라미터 세트(Video Parameter Set, 이하, VPS) extension이 될 수 있다. 예를 들면, VPS extension에서는 각 레이어가 몇 개의 레이어를 참조하는지 알려주는 정보와 각각의 레이어마다 어떤 레이어를 참조했는지 알려주는 정보를 포함할 수 있다.

예를 들어, 복호화기에서는 VPS extension로부터 각 레이어가 참조하는 참조 레이어의 개수를 나타내는 num_direct_ref_layers[layerID]를 해석하고, 각 레이어마다 참조하는 참조 레이어를 나타내는 ref_layer_id[i]를 해석할 수 있다. 이때, ref_layer_id[i]에서 i는 ‘0’부터 각 레이어가 몇 개의 레이어를 참조했는지 알려주는 num_direct_ref_layers에 의하여 특정된 값까지의 범위를 가질 수 있다. 다시 말해, VPS extension로부터 현재 레이어가 몇 개의 레이어를 참조하는지 알 수 있으며, 또한 현재 레이어의 참조 레이어를 알 수 있다.

각 레이어가 참조할 레이어에 대한 해석이 완료되면, 참조 영상 목록(reference picture list, 혹은 참조 픽처 리스트)을 구성할 수 있다. 이때, 참조 픽처 리스트에는 인터 예측을 위해 사용되는 참조 픽처뿐만 아니라 인터 레이어 예측을 위해 사용되는 참조 픽처를 추가할 수 있다.

도 4는 참조 픽처 리스트의 구성을 도시한 도면이다.

도 4를 참조하면, 참조 픽처 리스트는 현재 픽처에 의하여 참조되는 장기 참조 픽처 세트(RefPicSetLtCurr), 현재 픽처에 의하여 참조되지 않는 장기 참조 픽처 세트(RefPicSetLtFoll), 현재 픽처에 의하여 참조되는 순방향 단기 참조 픽처 세트(RefPicSetStCurrBefore), 현재 픽처에 의하여 참조되는 역방향 단기 참조 픽처 세트(RefPicSetStCurrAfter), 현재 픽처에 의하여 참조되지 않는 단기 참조 픽처 세트(RefPicSetStFoll) 및 현재 픽처에 의하여 인터 레이어 예측을 위해 참조되는 참조 픽처 세트(RefPicSetIvCurr)로 구성될 수 있다.

인터 레이어 예측을 위해 참조되는 참조 픽처 세트(RefPicSetIvCurr)에는 VPS extension에서 시그널링되는 num_direct_ref_layers의 수만큼 참조 레이어가 포함될 수 있다.

인터 레이어 예측을 위해 참조되는 참조 픽처 세트(RefPicSetIvCurr)에는 VPS extension에서 시그널링되는 ref_layer_id[i]와 동일한 레이어 식별자(layer_id)를 가지며 현재 레이어의 현재 픽처와 동일한 POC(Picture Order Count)를 가지는 픽처가 포함될 수 있다. POC는 동일 레이어에 속한 픽처들을 식별할 수 있는 값일 수 있으며, 출력 순서를 나타내는 값일 수 있다.

인터 레이어 예측을 위해 참조되는 참조 픽처 세트(RefPicSetIvCurr)를 구성하는 픽처는 모두 “used for long-term reference”로 표시된다.

이하, 본 발명에서는 스케일러블 비디오 코딩 구조에서 최소 한 개 이상의 참조 레이어를 포함하여 인터 레이어 예측을 할 경우 참조 픽처를 효율적으로 관리하는 방법에 대해 설명한다.

도 5는 본 발명의 실시예에 따른 스케일러블 비디오 코딩에서 참조 픽처를 관리하는 방법을 개략적으로 나타내는 순서도이다. 도 5의 방법은 상술한 도 1의 부호화 장치 또는 상술한 도 2의 복호화 장치에 의해 수행될 수 있다.

도 5를 참조하면, 부호화기 혹은 복호화기는 VPS extension에서 레이어 종속성을 해석한다(S500).

레이어 종속성 해석은 상술한 바와 같이, 현재 레이어를 부호화 혹은 복호화하기 위하여 레이어 간 종속성을 파악한다는 의미이며, 현재 레이어의 부호화 혹은 복호화 시 다른 레이어의 영상을 참조 영상으로 사용하기 위해 계층간 참조 관계를 파악하는 것을 말한다.

부호화기의 입장에서 살펴보면, VPS extension를 이용하여 레이어 종속성을 부호화 할 때, 부호화기는 (1) 기존의 레이어 종속성 표현 방법을 사용할 수 있고, (2) 기존의 레이어 종속성 표현 방법과 각각의 레이어가 참조할 레이어를 스케일러블 참조 레이어 세트(scalable reference layer set, 이하 SRLS)를 사용하여 레이어 종속성을 표현하는 방법 중 하나를 이용할 수 있다.

여기서, SRLS을 사용하여 레이어 종속성을 표현하는 방법은, 현재 레이어가 참조 할 수 있는 참조 레이어의 개수(num_direct_ref_layers)와 참조 레이어(ref_layer_id)를 미리 세트(SRLS)로 지정해 놓고 원하는 세트를 사용할 수 있도록 하는 방법을 말한다.

기존의 레이어 종속성 표현 방법을 사용하여 부호화하는 경우, 부호화기는 상술한 도 4에서와 같이 기존의 방법대로 레이어 종속성을 부호화할 수 있다.

기존의 레이어 종속성 표현 방법과 SRLS를 사용한 레이어 종속성 표현 방법을 이용하여 부호화하는 경우, 부호화기는 어느 방법을 사용했는지 알려주는 플래그(예컨대, vps_srls_present_flag)를 먼저 부호화하고, 상기 플래그에 따라 레이어 종속성을 부호화할 수 있다.

예를 들어, 기존의 레이어 종속성 표현 방법을 사용하는 경우, vps_srls_present_flag를 0으로 부호화하고, 기존의 신택스를 통해 레이어 종속성을 부호화할 수 있다. SRLS를 사용한 레이어 종속성 표현 방법을 이용하는 경우, vps_srls_present_flag를 1로 부호화하고, 레이어 종속성 세트(SRLS)를 몇 개 사용할 것인지 알려주는 신택스(예컨대, num_scalable_ref_layer_sets)와 각 레이어 종속성 세트에 대한 정보(scalable_ref_layer_set())를 부호화할 수 있다.

복호화기의 입장에서 살펴보면, 부호화기에서 기존의 레이어 종속성 표현 방법을 사용하여 부호화한 경우, 복호화기는 신택스의 변환 없이 기존의 방법대로 레이어 종속성을 복호화할 수 있다.

부호화기에서 기존의 레이어 종속성 표현 방법과 SRLS를 사용한 레이어 종속성 표현 방법 중 어느 하나를 이용하여 부호화하는 경우, 복호화기는 어떤 방법을 이용하여 레이어 종속성이 부호화되었는지를 알려주는 플래그(예컨대, vps_srls_present_flag)를 먼저 복호화하고, 상기 플래그에 따라 레이어 종속성 정보를 복호화할 수 있다.

표 1은 VPS extension에서 레이어 종속성을 해석하는 방법을 나타내는 신택스의 일예이다.

표 1을 참조하면, vps_srls_present_flag는 기존의 레이어 종속성 표현 방법과 SRLS를 사용한 레이어 종속성 표현 방법 중 어느 방법을 이용하여 레이어 종속성이 부호화되었는지를 알려주는 플래그이다. 예를 들어, vps_srls_present_flag가 0인 경우, 기존의 레이어 종속성 표현 방법으로 부호화되었다는 것을 지시하고, vps_srls_present_flag가 1인 경우, SRLS를 사용한 레이어 종속성 표현 방법으로 부호화되었다는 것을 지시할 수 있다.

num_scalable_ref_layer_sets은 레이어 종속성 세트(SRLS)의 개수를 나타낸다.

scalable_ref_layer_set()는 각 레이어 종속성 세트의 구성을 나타낸다.

복호화기는 VPS에서 레이어 종속성을 해석하기 위해, vps_srls_present_flag를 복호화할 수 있다.

vps_srls_present_flag가 0인 경우, 복호화기는 기존의 레이어 종속성 표현 방법으로 신택스를 복호화할 수 있다.

vps_srls_present_flag가 1인 경우, 복호화기는 SRLS를 사용한 레이어 종속성 표현 방법으로 신택스를 복호화할 수 있다. 이때, 복호화기는 num_scalable_ref_layer_sets를 복호화하여 레이어 종속성 세트(SRLS)의 개수를 파악하고, scalable_ref_layer_set()를 복호화하여 각 레이어 종속성 세트(SRLS)를 구성할 수 있다.

본 발명에 따른 레이어 종속성 세트(SRLS)를 구성하는 방법에 대해서는 도 6을 참조하여 구체적으로 설명하도록 한다.

부호화기 혹은 복호화기는 슬라이스에서 레이어 종속성을 해석한다(S510).

슬라이스를 통해 레이어 종속성을 해석하는 경우, 부호화기 혹은 복호화기는 (1) VPS extension에서 기존의 방법으로 해석된 레이어 종속성을 현재 슬라이스에서 사용/변경하는 방법과, (2) VPS extension에서 SRLS로 표현된 레이어 종속성을 사용하여 현재 슬라이스에서 사용/변경하는 방법 중 하나를 이용할 수 있다.

VPS extension에서 기존의 방법으로 해석된 레이어 종속성을 현재 슬라이스에서 사용/변경하는 경우, 부호화기는 현재 슬라이스에 대해 레이어 종속성을 사용하지 않을 것인지 아니면 현재 슬라이스에 대해 새로운 레이어 종속성을 설정할 것인지를 구별하고, 이러한 정보를 플래그(예를 들어, slice_srls_present_flag)를 이용하여 슬라이스마다 부호화할 수 있다.

만약 현재 슬라이스에 대해 새로운 레이어 종속성을 설정하는 방법을 사용하는 경우, 부호화기는 현재 슬라이스가 참조할 수 있는 레이어의 수를 신택스 정보(예를 들어, num_scalable_ref_layer)로 부호화하여 전송하고 참조할 수 있는 레이어의 수만큼 참조할 레이어(layer_id 또는 식별 가능한 정보)를 신택스 정보(예를 들어, scalable_ref_layer[i])로 부호화하여 전송할 수 있다. 새로운 레이어 종속성은 VPS extension에서 설정된 레이어간 종속성의 범위안에서 설정가능하다.

VPS extension에서 기존의 방법으로 해석된 레이어 종속성을 현재 슬라이스에서 사용/변경하는 경우, 복호화기는 현재 슬라이스에 대해 레이어 종속성을 사용하지 않을 것인지 아니면 현재 슬라이스에 대해 새로운 레이어 종속성을 설정할 것인지를 알려주는 플래그(예를 들어, slice_srls_present_flag)를 먼저 복호화하고, 상기 플래그에 따라 현재 슬라이스에 대한 레이어 종속성 정보를 복호화할 수 있다.

표 2는 VPS extension에서 기존의 방법으로 해석된 레이어 종속성을 현재 슬라이스에서 사용/변경하는 방법을 나타내는 신택스의 일예이다.

표 2를 참조하면, slice_srls_present_flag는 현재 슬라이스에 대해 레이어 종속성을 사용하지 않을 것인지 아니면 현재 슬라이스에 대해 새로운 레이어 종속성을 설정할 것인지를 알려주는 플래그이다.

num_scalable_ref_layer는 현재 슬라이스가 참조 할 레이어의 수를 나타낸다.

scalable_ref_layer[i]는 참조할 레이어의 layer_id 또는 참조할 레이어를 식별할 수 있는 정보를 나타낸다.

표 3은 표 2의 신택스의 실시 예이다. 표 3을 참조하면, slice_srls_present_flag는 현재 슬라이스에 대해 레이어 종속성을 사용하지 않을 것인지 아니면 현재 슬라이스에 대해 새로운 레이어 종속성을 설정할 것인지를 알려주는 플래그이다. 예를 들어, slice_srls_present_flag가 1이면, 현재 슬라이스에서 새로운 레이어 종속성이 설정되는 것을 나타내고, slice_srls_present_flag가 0이면 현재 슬라이스에 대해 레이어 종속성을 사용하지 않는 것을 나타낸다. slice_srls_present_flag가 0이면 num_scalable_ref_layer는 0으로 설정되고 현재 슬라이스는 Inter layer reference를 사용하지 않는다.

slice_srls_present_flag는 현재 부호화 하려는 레이어가 베이스 레이어가 아닌 경우, VPS extension에서 설정된 레이어간 종속성을 항상 사용하지 않는 경우, VPS extension에서 설정된 레이어간 종속성에서 현재 레이어가 참조할 수 있는 레이어의 수가 1 이상인 경우를 모두 만족하는 경우 해석가능하다.

num_scalable_ref_layer는 현재 슬라이스가 참조 할 레이어의 수를 나타낸다. num_scalable_ref_layer는 slice_srls_present_flag가 1이고, VPS extension에서 설정된 레이어간 종속성에서 참조할 수 있는 레이어의 수가 2 이상인 경우 해석가능하다. num_scalable_ref_layer는 1 보다 크고 VPS extension에서 설정된 레이어간 종속성에서 현재 레이어가 참조할 수 있는 레이어의 수 보다 작은 값을 가질 수 있다. VPS extension에서 설정된 레이어간 종속성에서 현재 레이어가 참조할 수 있는 레이어의 수가 1인 경우, num_scalable_ref_layer는 해석하지 않아도 1로 설정된다.

scalable_ref_layer[i]는 참조할 레이어의 layer_id 또는 참조할 레이어를 식별할 수 있는 정보를 나타낸다. VPS extension에서 설정된 레이어간 종속성에서 현재 레이어가 참조할 수 있는 레이어의 수와 num_scalable_ref_layer가 같다면 해석하지 않아도 scalable_ref_layer[i]는 VPS extension에서 설정된 레이어간 종속성에서 지정하는 참조 레이어를 동일하게 식별할 수 있는 정보로 설정한다.

복호화기는 슬라이스에서 레이어 종속성을 해석하기 위해, slice_srls_present_flag를 복호화할 수 있다. slice_srls_present_flag가 1이면 현재 슬라이스에서 새로운 레이어 종속성을 설정하고, slice_srls_present_flag가 0이면 레이어 종속성을 사용하지 않는다.

현재 슬라이스에 대해 새로운 레이어 종속성을 사용하는 경우, 복호화기는 num_scalable_ref_layer를 복호화하여 현재 슬라이스가 참조할 레이어의 수를 알아내고, 현재 슬라이스가 참조할 레이어의 수만큼 scalable_ref_layer[i]를 복호화하여 참조할 레이어의 layer_id 또는 참조할 레이어를 식별할 수 있는 정보를 파악할 수 있다.

한편, VPS extension에서 SRLS로 표현된 레이어 종속성을 사용하여 현재 슬라이스에서 사용/변경하는 경우, 부호화기는 VPS extension에서 설정된 레이어 종속성을 사용할 것인지 아니면 현재 슬라이스에서 새로운 레이어 종속성을 사용할 것인지를 결정하고, 결정된 정보를 플래그(예를 들어, scalable_ref_layer_set_vps_flag)를 이용하여 슬라이스마다 부호화할 수 있다.

여기서, 부호화기는 VPS extension에서 설정된 플래그 정보(예를 들어, vps_srls_present_flag)에 따라 기존의 레이어 종속성 표현 방법으로 부호화한 것인지 아니면 SRLS를 사용한 레이어 종속성 표현 방법으로 부호화한 것인지를 구별할 수 있다.

만약 SRLS를 사용한 레이어 종속성 표현 방법으로 부호화한 경우, 부호화기는 scalable_ref_layer_set_vps_flag에 따라 현재 슬라이스에서 새로운 레이어 종속성을 부호화하거나 아니면 VPS extension에서 설정된 레이어 종속성 세트에서 어떤 레이어 종속성 세트를 사용할 것인지 알려주는 신택스 정보(예를 들어, scalable_ref_layer_set_Idx)를 부호화할 수 있다.

VPS extension에서 사용한 방법이 기존의 레이어 종속성 표현 방법으로 부호화한 경우라면 scalable_ref_layer_set_vps_flag에 따라 현재 슬라이스에서 사용할 레이어 종속성을 상술한 VPS extension에서 기존의 방법으로 해석된 레이어 종속성을 현재 슬라이스에서 사용/변경하는 방법과 같이 설정할 수 있다.

표 4는 상술한 VPS extension에서 SRLS로 표현된 레이어 종속성을 사용하여 현재 슬라이스에서 사용/변경하는 방법을 나타내는 신택스의 일예이다.

부호화기 혹은 복호화기는 참조 픽처 리스트를 구성한다(S520).

계층간 참조 픽처 리스트는 VPS extension 또는 슬라이스 헤더에 설정된 레이어간 종속성에 의해 관리될 수 있다. 이때, 상술한 단계 S500 ~ S510에 기재되어 있는 방법으로 VPS extension와 슬라이스 헤더에서 레이어 종속성이 해석될 수 있다.

부호화기 혹은 복호화기는 각 레이어가 참조할 레이어를 해석한 이후, 참조 픽처 리스트를 구성할 때 레이어 종속성 세트(ScalableRefLayerSet, 이하 SRLS)를 추가할 수 있다. SRLS에는 VPS extension 또는 슬라이스 헤더에서 해석한 참조 레이어의 수만큼 참조할 레이어를 지정할 수 있다. 또한, SRLS에는 VPS extension 또는 슬라이스 헤더에서 해석한 종속성을 가지고 참조 레이어에서 현재 픽처와 같은 POC를 가지는 영상을 지정할 수 있다. SRLS에 있는 픽처는 모두 “used for long-term reference”로 표시된다.

본 발명에 따른 SRLS를 포함하는 참조 픽처 리스트를 구성하는 방법에 대해서는 도 7을 참조하여 구체적으로 설명하도록 한다.

도 6은 본 발명에 따른 스케일러블 참조 레이어 세트(SRLS: Scalable reference layer set, 혹은 레이어 종속성 세트)를 구성하는 방법을 설명하기 위한 도면이다.

도 6을 참조하면, M개의 스케일러블 참조 레이어 세트가 존재할 수 있고, 각 스케일러블 참조 레이어 세트는 복수의 레이어 ID로 구성될 수 있다.

스케일러블 참조 레이어 세트 1은 A개의 레이어 ID로 구성되고, 스케일러블 참조 레이어 세트 2는 B개의 레이어 ID로 구성되며, 스케일러블 참조 레이어 세트 M은 K개의 레이어 ID로 구성될 수 있다.

스케일러블 참조 레이어 세트를 구성하는 레이어 ID는 현재 레이어 ID와 참조 레이어 ID의 차분 값으로 특정될 수 있다.

부호화기는 스케일러블 참조 레이어 세트를 구성하기 위해서 상술한 scalable_ref_layer_set()를 부호화할 수 있다. scalable_ref_layer_set()는 참조 레이어의 개수를 알려주는 신택스 정보(예를 들어, num_ref_layer), 참조 레이어의 수만큼 현재 레이어와 참조 레이어의 layer_id 차분값의 부호를 나타내는 신택스 정보(예를 들어, delta_layer_id_sign), 상기 차분값의 절대값을 나타내는 신택스 정보(예를 들어, abs_delta_layer_id[i])를 순차적으로 부호화하여 전송할 수 있다. 이때, scalable_ref_layer_set()에 의해 부호화되는 신택스 정보(예를 들어, num_ref_layer, delta_layer_id_sign, abs_delta_layer_id[i])는 각 스케일러블 참조 레이어 세트마다 특정되어 부호화될 수 있다.

표 5는 스케일러블 참조 레이어 세트를 구성하기 위한 scalable_ref_layer_set()의 신택스 테이블을 나타낸 것이다.

표 5를 참조하면, num_scalable_ref_layer_set는 스케일러블 참조 레이어 세트의 수를 나타낸다.

delta_srls_idx_mimus1에 1을 더한 값은 스케일러블 참조 레이어 세트를 특정하는 값으로, 이전 스케일러블 참조 레이어 세트와 차이값을 나타낸다.

num_ref_layer는 참조 레이의 수를 나타낸다.

delta_layer_id_sign은 현재 레이어와 참조 레이어 간의 차이의 부호를 나타낸다.

abs_delta_layer_id[i]는 현재 레이어와 참조 레이어 간의 차이의 절대값을 나타낸다.

복호화기는 num_ref_layer를 통하여 참조 레이어 세트를 구성하는 참조 레이어의 개수를 파악하고, 참조 레이의 수만큼 시그널링 되는 delta_layer_id_sign와 abs_delta_layer_id[i]를 통하여 현재 레이어와 참조 레이어의 layer_id 차분값을 파악할 수 있다.

도 7은 본 발명에 따른 참조 픽처 리스트(참조 영상 목록)를 구성하는 방법을 설명하기 위한 도면이다.

도 7을 참조하면, 현재 영상의 디코딩 전, 현재 레이어에 포함되어있는 참조 영상 세트를 유도하기 위하여 POC 값으로 이루어진 5개의 리스트 및 인터 레이어 예측을 위해 사용되는 1개의 리스트가 구성될 수 있다.

POC 값으로 이루어진 5개의 리스트(Picture order count list)는 PocLtCurr, PocLtFoll, PocStCurrBefore, PocStCurrAfter 및 PocStFoll를 포함할 수 있다. 각 리스트는 각각 NumPocStCurrBefore, NumPocStCurrAfter, NumPocStFoll, NumPocLtCurr 및 NumPocLtFoll으로 특정되는 개수의 구성 요소들(즉, POC 값들)을 포함한다.

PocLtCurr는 현재 픽처에 의하여 이용되고, 현재 픽처의 POC 보다 큰 POC를 갖는 장기(long-term) 참조 픽처의 POC를 포함하는 리스트이고, PocLtFoll는 현재 픽처에 의하여 이용되지 않는 장기 참조 픽처의 POC를 포함하는 리스트이다. PocLtCurr와 PocLtFoll는 장기 참조 픽처 세트를 구성하는데 사용된다.

PocStCurrBefore는 현재 픽처에 의하여 이용되고, 현재 픽처의 POC 보다 작은 POC를 갖는 단기(short-term) 참조 픽처의 POC를 포함하는 리스트이다. PocStCurrAfter는 현재 픽처에 의하여 이용되고, 현재 픽처의 POC 보다 큰 POC를 갖는 단기 참조 픽처의 POC를 포함하는 리스트이다. PocStFoll은 현재 픽처에 의하여 이용되지 않는 단기 참조 픽처의 POC를 포함하는 리스트이다. PocStCurrBefore, PocStCurrAfter 및 PocStFoll은 단기 참조 픽처 세트를 구성하는데 사용된다.

인터 레이어 예측을 위해 사용되는 1개의 리스트는 스케일러빌러티(scalability)를 지원하기 위한 참조 레이어 후보(reference layer candidates)를 포함할 수 있다. 참조 레이어 후보는 인터 레이어 예측을 위한 참조 레이어 후보에 대한 레이어 ID(LayerIDScalableCurr)로 구성될 수 있다. LayerIDScalableCurr는 스케일러블 참조 레이어 세트를 구성하는데 사용된다.

부호화기 혹은 복호화기는 현재 레이어에 대하여 디코딩된 픽처를 저장하고 있는 DPB(Decoded Picture Buffer)를 체크하여 5개의 POC 리스트로부터 5개의 참조 영상 세트를 유도할 수 있고, 다른 레이어의 DPB를 체크하여 참조 레이어 후보(LayerIDScalableCurr)로부터 인터 레이어 예측에 사용될 참조 레이어 세트(ScalableRefLayerSet)를 구성할 수 있다.

스케일러블 참조 레이어 세트(ScalableRefLayerSet)는 VPS extension 또는 슬라이스 헤더에서 시그널링 되는 참조 레이어의 수에 해당하는 참조 레이어로 구성될 수 있다.

스케일러블 참조 레이어 세트(ScalableRefLayerSet)에는 VPS extension 또는 슬라이스 헤더에서 시그널링 되는 종속성을 갖는 참조 레이어에서 현재 픽처와 같은 POC를 가지는 영상을 지정할 수 있다.

스케일러블 참조 레이어 세트(ScalableRefLayerSet)를 구성하는 영상은 모두 장기 참조 픽처로 사용됨(used for long-term reference)으로 표시된다.

부호화기 혹은 복호화기는 참조 영상 세트 및 스케일러블 참조 레이어 세트에 기초하여 참조 픽처 리스트를 유도하고, 참조 픽처 리스트를 이용하여 인터 예측 혹은 인터 레이어 예측을 수행할 수 있다.

본 발명에 따르면 기존의 참조 픽처 세트(reference picture set, RPS)에 스케일러블 참조 레이어 세트(scalable reference layer set, SRLS)를 추가하여 다른 레이어에 있는 참조 영상을 구성함으로써, 스케일러빌러티의 종류에 상관 없이 참조 영상을 통합 관리할 수 있다. 또한, 현재 레이어에서 이루어지는 DPB 관리는 다른 레이어의 DPB에 영향을 미치지 않는다.

상술한 실시예들에서, 방법들은 일련의 단계 또는 블록으로서 순서도를 기초로 설명되고 있으나, 본 발명은 단계들의 순서에 한정되는 것은 아니며, 어떤 단계는 상술한 바와 다른 단계와 다른 순서로 또는 동시에 발생할 수 있다. 또한, 당해 기술 분야에서 통상의 지식을 가진 자라면 순서도에 나타난 단계들이 배타적이지 않고, 다른 단계가 포함되거나, 순서도의 하나 또는 그 이상의 단계가 본 발명의 범위에 영향을 미치지 않고 삭제될 수 있음을 이해할 수 있을 것이다.

이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시 예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시 예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호범위는 특허청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.

Claims (3)

1. 복수의 레이어를 지원하는 영상 복호화 방법에 있어서,
   VPS(Video Parameter Set)에 기반하여 현재 레이어에 대한 제1 레이어 종속성을 해석하는 단계;
   슬라이스 헤더에 부호화된 정보에 기반하여 현재 슬라이스에 대한 제2 레이어 종속성을 해석하는 단계; 및
   상기 현재 레이어에 대한 제1 레이어 종속성 또는 상기 현재 슬라이스에 대한 제2 레이어 종속성 중 적어도 하나의 해석을 기반으로 상기 현재 슬라이스에 대한 참조 픽처 리스트를 구성하는 단계를 포함하되,
   상기 현재 레이어에 대한 제1 종속성은 상기 VPS에 포함되는 플래그 정보에 기반하여 해석되고,
   상기 슬라이스 헤더에 부호화된 정보에 기반하여 현재 슬라이스에 대한 제2레이어 종속성을 해석하는 단계는,
   상기 현재 슬라이스에 대해 상기 제2 레이어 종속성을 사용할 것인지를 나타내는 정보에 기초하여 상기 현재 슬라이스에 대해 상기 제2 레이어 종속성을 사용할 것인지 여부를 결정하는 단계를 포함하고,
   상기 제2 레이어 종속성을 사용할 것인지를 나타내는 정보는 플래그이고, 상기 참조 픽처 리스트의 픽처가 인터 레이어 예측에 사용될 수 있는 픽처인지 여부를 지시하는 정보인 것을 특징으로 하는 영상 복호화 방법.
2. 복수의 레이어를 지원하는 영상 부호화 방법에 있어서,
   현재 레이어에 대한 제1 레이어 종속성을 결정하여 VPS(Video Parameter Set)를 이용하여 부호화하는 단계;
   현재 슬라이스에 대한 제2 레이어 종속성을 결정하여 슬라이스 헤더를 이용하여 부호화하는 단계; 및
   상기 현재 레이어에 대한 제1 레이어 종속성 또는 상기 현재 슬라이스에 대한 제2 레이어 종속성 중 적어도 하나에 기반하여 상기 현재 슬라이스에 대한 참조 픽처 리스트를 구성하는 단계를 포함하되,
   상기 제1 레이어에 대한 종속성은 플래그 정보를 이용하여 상기 VPS에 부호화되고,
   상기 현재 슬라이스에 대한 제2 레이어 종속성을 결정하여 슬라이스 헤더를 이용하여 부호화하는 단계는,
   상기 현재 슬라이스에 대해 상기 제2 레이어 종속성을 설정할 것인지를 나타내는 정보에 기초하여 상기 현재 슬라이스에 대해 상기 제2 레이어 종속성을 설정할 것인지 여부를 결정하는 단계를 포함하고,
   상기 제2 레이어 종속성을 설정할 것인지를 나타내는 정보는 플래그이고, 상기 참조 픽처 리스트의 픽처가 인터 레이어 예측에 사용될 수 있는 픽처인지 여부를 지시하는 정보인 것을 특징으로 하는 영상 부호화 방법.
3. 영상을 복원하기 위해 복수의 레이어를 지원하는 영상 복호화 장치에 입력되는 비트스트림을 저장한 컴퓨터 판독 가능한 기록 매체로서,
   현재 레이어에 대한 제1 레이어 종속성을 결정하여 VPS(Video Parameter Set)를 이용하여 부호화하는 단계;
   현재 슬라이스에 대한 제2 레이어 종속성을 결정하여 슬라이스 헤더를 이용하여 부호화하는 단계; 및
   상기 현재 레이어에 대한 제1 레이어 종속성 또는 상기 현재 슬라이스에 대한 제2 레이어 종속성 중 적어도 하나에 기반하여 상기 현재 슬라이스에 대한 참조 픽처 리스트를 구성하는 단계를 포함하되
   상기 제1 레이어에 대한 종속성은 플래그 정보를 이용하여 상기 VPS에 부호화되고,
   상기 현재 슬라이스에 대한 제2 레이어 종속성을 결정하여 슬라이스 헤더를 이용하여 부호화하는 단계는,
   상기 현재 슬라이스에 대해 상기 제2 레이어 종속성을 설정할 것인지를 나타내는 정보에 기초하여 상기 현재 슬라이스에 대해 상기 제2 레이어 종속성을 설정할 것인지 여부를 결정하는 단계를 포함하고,
   상기 제2 레이어 종속성을 설정할 것인지를 나타내는 정보는 플래그이고, 상기 참조 픽처 리스트의 픽처가 인터 레이어 예측에 사용될 수 있는 픽처인지 여부를 지시하는 정보인 것을 특징으로 하는 영상 부호화 방법으로 생성된 비트스트림을 저장한 컴퓨터 판독 가능한 기록 매체.

Images