KR20140076508A - 비디오 부호화 방법 및 비디오 복호화 방법과 이를 이용하는 장치 - Google Patents

비디오 부호화 방법 및 비디오 복호화 방법과 이를 이용하는 장치 Download PDF

Info

Publication number
KR20140076508A
KR20140076508A KR1020130153329A KR20130153329A KR20140076508A KR 20140076508 A KR20140076508 A KR 20140076508A KR 1020130153329 A KR1020130153329 A KR 1020130153329A KR 20130153329 A KR20130153329 A KR 20130153329A KR 20140076508 A KR20140076508 A KR 20140076508A
Authority
KR
South Korea
Prior art keywords
reference picture
layer
picture
prediction
current
Prior art date
Application number
KR1020130153329A
Other languages
English (en)
Other versions
KR102219841B1 (ko
Inventor
이하현
강정원
이진호
최진수
김진웅
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to PCT/KR2013/011424 priority Critical patent/WO2014092434A2/ko
Publication of KR20140076508A publication Critical patent/KR20140076508A/ko
Priority to KR1020210022002A priority patent/KR102356481B1/ko
Application granted granted Critical
Publication of KR102219841B1 publication Critical patent/KR102219841B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/31—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the temporal domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

본 발명은 비디오 정보의 예측 및 이를 이용하는 비디오 부호화/복호화에 관한 것으로서, 본 발명에 따른 비디오 부호화는 참조 레이어의 픽처를 복호화 하는 단계, 상기 참조 레이어의 복호화된 픽처를 샘플링하여 인터 레이어 참조 픽처를 유도하는 단계, 상기 인터 레이어 참조 픽처 및 현재 레이어의 참조 픽처를 포함하는 참조 픽처 리스트를 구성하는 단계, 상기 참조 픽처 리스트를 기반으로 상기 현재 레이어의 현재 블록에 대한 예측을 수행하여 상기 현재 블록에 대한 예측 샘플을 생성하는 단계, 상기 예측 샘플을 기반으로, 상기 현재 블록에 대한 레지듀얼 샘플을 생성하는 단계 및 상기 레지듀얼 샘플을 부호화하는 단계를 포함한다.

Description

비디오 부호화 방법 및 비디오 복호화 방법과 이를 이용하는 장치{Method and Apparatus for Video Encoding and Video Decoding}
본 발명은 비디오 부호화 및 복호화에 관한 방법과 이를 이용하는 장치에 관한 것으로서, 구체적으로는 현재 레이어의 부호화 혹은 복호화 대상 블록에 대한 예측 샘플을 생성하기 위해 참조 레이어 내 대응하는 참조 픽처의 정보를 이용하는 방법 및 장치에 관한 것이다.
최근 HD(High Definition) 해상도를 가지는 방송 서비스가 국내뿐만 아니라 세계적으로 확대되면서, 많은 사용자들이 고해상도, 고화질의 영상에 익숙해지고 있으며 이에 따라 많은 기관들이 차세대 영상기기에 대한 개발에 박차를 가하고 있다. 또한 HDTV와 더불어 HDTV의 4배 이상의 해상도를 갖는 UHD(Ultra High Definition)에 대한 관심이 증대되면서 보다 높은 해상도, 고화질의 영상에 대한 압축기술이 요구되고 있다.
영상 압축을 위해, 시간적으로 이전 및/또는 이후의 픽쳐로부터 현재 픽쳐에 포함된 화소값을 예측하는 인터(inter) 예측 기술, 현재 픽쳐 내의 화소 정보를 이용하여 현재 픽쳐에 포함된 화소값을 예측하는 인트라(intra) 예측 기술, 출현 빈도가 높은 심볼(symbol)에 짧은 부호를 할당하고 출현 빈도가 낮은 심볼에 긴 부호를 할당하는 엔트로피 부호화 기술 등이 사용될 수 있다.
영상 압축 기술에는 유동적인 네트워크 환경을 고려하지 않고 하드웨어의 제한적인 동작 환경하에서 일정한 네트워크 대역폭을 제공하는 기술이 있다. 그러나 수시로 대역폭이 변화하는 네트워크 환경에 적용되는 영상 데이터를 압축하기 위해서는 새로운 압축 기술이 요구되고, 이를 위해 스케일러블(scalable) 비디오 부호화/복호화 방법이 사용될 수 있다.
따라서, 다양한 공간적 해상도(Spatial Resolution), 다양한 프레임 율(Frame-rate)을 지원할 수 있는 하나의 통합된 데이터를 생성하여 다양한 전송환경과 다양한 단말들에게 데이터를 효율적으로 전송하고자 하는 요구가 증가하고 있다.
이와 관련하여, 데이터의 효율적인 전송을 지원하기 위한 비디오 부호화 기술로서, HEVC를 기반으로 하는 SHVC(Scalable High efficiency Video Coding)에 대한 표준화가 진행 중이다.
본 발명은 하위 레이어(참조 레이어)의 복호화된 픽처를 현재 레이어 내 부호화/복호화 대상에 대한 참조 픽처 리스트에 추가하여 다른 레이어의 정보를 이용한 예측을 수행할 수 있는 방법 및 장치를 제공하는 것을 목적으로 한다.
본 발명은 또한, 하위 레이어(참조 레이어)의 복호화된 픽처를 대상으로 예측(예컨대, 움직임 예측)을 수행하여 원본 신호와 예측 신호 사이의 차분 신호가 최소가 되도록 예측 신호를 생성하는 방법 및 장치를 제공하는 것을 목적으로 한다.
본 발명은 또한, 하위 레이어(참조 레이어)의 복호화된 픽처를 현재 부호화/복호화 대상 블록에 대한 참조 픽처 리스트에 추가할 때, 부호화 정보, 예측 구조의 깊이 정보 등을 이용하여 적응적으로 하위 레이어(참조 레이어)의 복호화된 픽처의 참조 픽처 리스트 내 위치를 결정하는 방법 및 장치를 제공하는 것을 목적으로 한다.
본 발명의 일 실시형태는 비디오 부호화 방법으로서, 참조 레이어의 픽처를 복호화 하는 단계, 상기 참조 레이어의 복호화된 픽처를 샘플링하여 인터 레이어 참조 픽처를 유도하는 단계, 상기 인터 레이어 참조 픽처 및 현재 레이어의 참조 픽처를 포함하는 참조 픽처 리스트를 구성하는 단계, 상기 참조 픽처 리스트를 기반으로 상기 현재 레이어의 현재 블록에 대한 예측을 수행하여 상기 현재 블록에 대한 예측 샘플을 생성하는 단계, 상기 예측 샘플을 기반으로, 상기 현재 블록에 대한 레지듀얼 샘플을 생성하는 단계 및 상기 레지듀얼 샘플을 부호화하는 단계를 포함할 수 있다.
본 발명의 다른 실시형태는 비디오 복호화 방법으로서, 참조 레이어의 픽처를 복호화 하는 단계, 상기 참조 레이어의 복호화된 픽처를 샘플링하여 인터 레이어 참조 픽처를 유도하는 단계, 상기 인터 레이어 참조 픽처 및 현재 레이어의 참조 픽처를 포함하는 참조 픽처 리스트를 구성하는 단계, 상기 참조 픽처 리스트를 기반으로 상기 현재 레이어의 현재 블록에 대한 예측을 수행하여 상기 현재 블록에 대한 예측 샘플을 생성하는 단계 및 상기 예측 샘플과 상기 현재 블록에 대한 레지듀얼 샘플을 기반으로 상기 현재 블록에 대한 복원 샘플을 생성하는 단계를 포함할 수 있다.
본 발명의 또 다른 실시형태는 비디오 정보의 인터 예측 방법으로서, 참조 레이어의 픽처를 복호화 하는 단계, 상기 참조 레이어의 복호화된 픽처를 샘플링하여 인터 레이어 참조 픽처를 유도하는 단계, 상기 인터 레이어 참조 픽처 및 현재 레이어의 참조 픽처를 포함하는 참조 픽처 리스트를 구성하는 단계 및 상기 참조 픽처 리스트를 기반으로 상기 현재 레이어의 현재 블록에 대한 예측을 수행하여 상기 현재 블록에 대한 예측 샘플을 생성하는 단계를 포함할 수 있다.
본 발명에 의하면, 상위 레이어(현재 레이어)의 부호화/복호화 대상 픽처에 대한 예측(예컨대, 움직임 예측 및 움직임 보상 등)을 수행하기 위해 참조 픽처 리스트를 구성함에 있어서, 하위 레이어(참조 레이어)의 복호화된 픽처를 포함하여 참조 픽처 리스트가 구성될 수 있다.
본 발명에 의하면 또한, 하위 레이어(참조 레이어)의 복호화된 영상을 참조 픽처 리스트에 추가함에 있어서, 부호화 정보, 예측 구조 깊이 정보 등을 이용하여 하위 레이어(참조 레이어)의 복호화된 영상의 참조 픽처 리스트 내 위치를 적응적으로 결정할 수 있다.
또한, 본 발명에 의하면, 하위 레이어(참조 레이어)의 복호화된 픽처를 참조 픽처로서 이용하되, 참조 픽처 내에서 하위 레이어(참조 레이어)의 복호화된 픽처의 위치를 적응적으로 결정함으로써 부호화 효율을 높일 수 있다.
도 1은 영상 부호화 장치의 일 실시예에 따른 구성을 나타내는 블록도이다.
도 2는 비디오 복호화 장치의 일 실시예에 따른 구성을 나타내는 블록도이다.
도 3은 본 발명이 적용될 수 있는, 복수 레이어를 이용한 스케일러블 비디오 코딩 구조의 일 실시예를 개략적으로 나타내는 개념도이다.
도 4는 본 발명에 따라서 부호화 장치/복호화 장치에서 인터 레이어 예측을 수행하는 방법을 개략적으로 설명하는 순서도이다.
도 5는 본 발명의 실시예에 따라서 참조 픽처 리스트를 구성하는 방법의 일 예를 개략적으로 설명하는 도면이다.
도 6은 현재 레이어 내에서 각 픽처들에 대한 시간적 레벨들의 일 예를 개략적으로 설명하는 도면이다.
도 7은 현재 레이어의 예측 구조(Structure of Prediction)의 깊이 정보에 대한 일 예를 개략적으로 설명하는 도면이다.
도 8은 본 발명에 따른 비디오 부호화 방법의 일 예를 개략적으로 설명하는 순서도이다.
도 9는 본 발명에 따른 비디오 복호화 방법의 일 예를 개략적으로 설명하는 순서도이다.
본 명세서의 실시예를 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 명세서의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다.
어떤 구성 요소가 다른 구성 요소에 “연결되어” 있다거나 “접속되어” 있다고 언급된 때에는, 그 다른 구성 요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있으나, 중간에 다른 구성 요소가 존재할 수도 있다고 이해되어야 할 것이다. 아울러, 본 발명에서 특정 구성을 “포함”한다고 기술하는 내용은 해당 구성 이외의 구성을 배제하는 것이 아니며, 추가적인 구성이 본 발명의 실시 또는 본 발명의 기술적 사상의 범위에 포함될 수 있음을 의미한다.
제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다.
또한 본 발명의 실시예에 나타나는 구성부들은 서로 다른 특징적인 기능들을 나타내기 위해 독립적으로 도시되는 것으로, 각 구성부들이 분리된 하드웨어나 하나의 소프트웨어 구성단위로 이루어짐을 의미하지 않는다. 즉, 각 구성부는 설명의 편의상 각각의 구성부로 나열하여 포함한 것으로 각 구성부 중 적어도 두 개의 구성부가 합쳐져 하나의 구성부로 이루어지거나, 하나의 구성부가 복수 개의 구성부로 나뉘어져 기능을 수행할 수 있고 이러한 각 구성부의 통합된 실시예 및 분리된 실시예도 본 발명의 본질에서 벗어나지 않는 한 본 발명의 권리범위에 포함된다.
또한, 일부의 구성 요소는 본 발명에서 본질적인 기능을 수행하는 필수적인 구성 요소는 아니고 단지 성능을 향상시키기 위한 선택적 구성 요소일 수 있다. 본 발명은 단지 성능 향상을 위해 사용되는 구성 요소를 제외한 본 발명의 본질을 구현하는데 필수적인 구성부만을 포함하여 구현될 수 있고, 단지 성능 향상을 위해 사용되는 선택적 구성 요소를 제외한 필수 구성 요소만을 포함한 구조도 본 발명의 권리범위에 포함된다.
본 발명은 복수 레이어를 포함하는 구조의 영상 부호화 및 복호화에 관한 기술로서, 상위 레이어를 부호화/복호화 하는 경우에 하위 레이어의 정보를 이용하여 상위 레이어에 대한 예측을 수행하는 방법 및 장치에 관한 것이다.
더 구체적으로, 본 발명에 의하면 상위 레이어(현재 레이어)의 부호화/복호화 대상 픽처에 대한 움직임 예측 및/또는 움직임 보상에 사용되는 참조 픽처 리스트(reference picture list)를 생성함에 있어서, 하위 레이어(참조 레이어)의 복호화된 픽처를 포함하여 참조 픽처 리스트를 생성할 수 있다.
하위 레이어(참조 레이어)의 복호화된 픽처를 포함하여 상위 레이어(현재 레이어, 이하 ‘현재 레이어’라 함)의 참조 픽처 리스트를 생성함에 있어서 부호화 정보 및 예측 구조의 깊이 정보 등을 이용하여 적응적으로 하위 레이어(참조 레이어, 이하 ‘참조 레이어’라 함)의 복호화된 픽처를 추가함으로써, 부호화 효율을 높일 수 있다.
이하, 도면을 참조하여 본 발명에 대하여 구체적으로 설명한다.
도 1은 영상 부호화 장치의 일 실시예에 따른 구성을 나타내는 블록도이다.
멀티 레이어 구조에 대한 스케일러블(scalable) 비디오 부호화/복호화 장치는 단일 레이어 구조에 대한 비디오 부호화/복호화 장치를 확장(extension)하여 구현될 수 있다.
도 1은 멀티 레이어 구조에 대해 적용 가능한, 즉 스케일러빌러티를 제공하는 비디오 부호화 장치의 일 실시예를 나타낸다.
도 1을 참조하면, 비디오 부호화 장치(100)는 인터 예측부(110), 인트라 예측부(120), 스위치(115), 감산기(125), 변환부(130), 양자화부(140), 엔트로피 부호화부(150), 역양자화부(160), 역변환부(170), 가산기(175), 필터부(180) 및 참조 픽처 버퍼(190)를 포함한다.
비디오 부호화 장치(100)는 입력 영상에 대해 인트라(intra) 모드 또는 인터(inter) 모드로 부호화를 수행하고 비트스트림(bitstream)을 출력할 수 있다. 인트라 예측은 화면 내 예측, 인터 예측은 화면 간 예측을 의미한다. 인트라 모드인 경우 스위치(115)가 인트라 모드로 전환되고, 인터 모드인 경우 스위치(115)가 인터 모드로 전환된다. 비디오 부호화 장치(100)는 입력 픽처의 블록(현재 블록)에 대한 예측 블록을 생성한 후, 현재 블록과 예측 블록의 차분을 부호화할 수 있다.
인트라 모드인 경우, 인트라 예측부(120)는 현재 블록 주변의 이미 부호화된 블록의 화소값을 참조 화소로 이용할 수 있다. 인트라 예측부(120)는 참조 호소를 이용하여 공간적 예측을 수행하고 현재 블록에 대한 예측 샘플들을 생성할 수 있다.
인터 모드인 경우, 인터 예측부(110)는, 참조 픽처 버퍼(190)에 저장되어 있는 참조 픽처에서 입력 블록(현재 블록)과의 차이가 가장 적은 참조 블록을 특정하는 움직임 벡터를 구할 수 있다. 인터 예측부(110)는 움직임 벡터와 참조 픽처 버퍼(190)에 저장되어 있는 참조 픽처를 이용하여 움직임 보상을 수행함으로써 현재 블록에 대한 예측 블록을 생성할 수 있다.
멀티 레이어 구조의 경우, 인터 모드에서 적용되는 인터 예측은 인터 레이어 예측을 포함할 수 있다. 인터 예측부(110)는 참조 레이어의 픽처를 샘플링하여 인터 레이어 참조 픽처를 구성하고, 참조 픽처 리스트에 인터 레이어 참조 픽처를 포함하여 인터 레이어 예측을 수행할 수 있다. 레이어 간의 참조 관계는 레이어 간의 의존성을 특정하는 정보를 통해 시그널링될 수 있다.
한편, 현재 레이어 픽처와 참조 레이어 픽처가 동일 사이즈인 경우에 상기 참조 레이어 픽처에 적용되는 샘플링은 참조 레이어 픽처로부터의 샘플 복사 또는 보간에 의한 참조 샘플의 생성을 의미할 수 있다. 현재 레이어 픽처와 참조 레이어 픽처의 해상도가 상이한 경우에 상기 참조 레이어 픽처에 적용되는 샘플링은 업샘플링을 의미할 수 있다.
예컨대, 레이어 간 해상도가 다른 경우로서 해상도에 관한 스케일러빌러티를 지원하는 레이어 간에는 참조 레이어의 복원된 픽처를 업샘플링하여 인터 레이어 참조 픽처가 구성될 수 있다.
어떤 레이어의 픽처를 이용하여 인터 레이어 참조 픽처를 구성할 것인지는 부호화 코스트 등을 고려하여 결정될 수 있다. 부호화 장치는 인터 레이어 참조 픽처로 사용될 픽처가 속하는 레이어를 특정하는 정보를 복호화 장치로 전송할 수 있다.
또한, 인터 레이어 예측에 있어서 참조되는 레이어, 즉 참조 레이어 내에서 현재 블록의 예측에 이용되는 픽처는 현재 픽처(현재 레이어 내 예측 대상 픽처)와 동일 AU(Access Unit)의 픽처일 수 있다.
감산기(125)는 현재 블록과 예측 블록의 차분에 의해 레지듀얼 블록(residual block, 레지듀얼 신호)을 생성할 수 있다.
변환부(130)는 레지듀얼 블록에 대해 변환(transform)을 수행하여 변환 계수(transform coefficient)를 출력할 수 있다. 변환 생략(transform skip) 모드가 적용되는 경우에, 변환부(130)는 레지듀얼 블록에 대한 변환을 생략할 수도 있다.
양자화부(140)는 변환 계수를 양자화 파라미터에 따라 양자화하여 양자화된 계수(quantized coefficient)를 출력할 수 있다.
엔트로피 부호화부(150)는, 양자화부(140)에서 산출된 값들 또는 부호화 과정에서 산출된 부호화 파라미터 값 등을 확률 분포에 따라 엔트로피 부호화하여 비트스트림(bitstream)을 출력할 수 있다. 엔트로피 부호화부(150)는 비디오의 화소 정보 외에 비디오 디코딩을 위한 정보(예컨대, 신택스 엘리먼트(syntax element) 등)을 엔트로피 부호화 할 수도 있다.
부호화 파라미터는 부호화 및 복호화에 필요한 정보로서, 신택스 엘리먼트와 같이 부호화 장치에서 부호화되어 복호화 장치로 전달되는 정보뿐만 아니라, 부호화 혹은 복호화 과정에서 유추될 수 있는 정보를 포함할 수 있다.
부호화 파라미터는 예를 들어 인트라/인터 예측모드, 이동/움직임 벡터, 참조 영상 색인, 부호화 블록 패턴, 레지듀얼 신호 유무, 변환 계수, 양자화된 변환 계수, 양자화 파라미터, 블록 크기, 블록 분할 정보 등의 값 또는 통계를 포함할 수 있다.
레지듀얼 신호는 원신호와 예측 신호의 차이를 의미할 수 있고, 또한 원신호와 예측 신호의 차이가 변환(transform)된 형태의 신호 또는 원신호와 예측 신호의 차이가 변환되고 양자화된 형태의 신호를 의미할 수도 있다. 레지듀얼 신호는 블록 단위에서는 레지듀얼 블록이라 할 수 있다.
엔트로피 부호화가 적용되는 경우, 높은 발생 확률을 갖는 심볼에 적은 수의 비트가 할당되고 낮은 발생 확률을 갖는 심볼에 많은 수의 비트가 할당되어 심볼이 표현됨으로써, 부호화 대상 심볼들에 대한 비트열의 크기가 감소될 수 있다. 따라서 엔트로피 부호화를 통해서 영상 부호화의 압축 성능이 높아질 수 있다.
엔트로피 부호화를 위해 지수 골룸(exponential golomb), CAVLC(Context-Adaptive Variable Length Coding), CABAC(Context-Adaptive Binary Arithmetic Coding)과 같은 부호화 방법이 사용될 수 있다. 예를 들어, 엔트로피 부호화부(150)는 가변 길이 부호화(VLC: Variable Lenghth Coding/Code) 테이블을 이용하여 엔트로피 부호화를 수행할 수 있다. 또한 엔트로피 부호화부(150)는 대상 심볼의 이진화(binarization) 방법 및 대상 심볼/빈(bin)의 확률 모델(probability model)을 도출한 후, 도출된 이진화 방법 또는 확률 모델을 사용하여 엔트로피 부호화를 수행할 수도 있다.
양자화된 계수는 역양자화부(160)에서 역양자화되고 역변환부(170)에서 역변환될 수 있다. 역양자화, 역변환된 계수는 가산기(175)를 통해 예측 블록과 더해지고 복원 블록이 생성될 수 있다.
복원 블록은 필터부(180)를 거치고, 필터부(180)는 디블록킹 필터(deblocking filter), SAO(Sample Adaptive Offset), ALF(Adaptive Loop Filter) 중 적어도 하나 이상을 복원 블록 또는 복원 픽처에 적용할 수 있다. 필터부(180)를 거친 복원 블록은 참조 영상 버퍼(190)에 저장될 수 있다.
도 2는 비디오 복호화 장치의 일 실시예에 따른 구성을 나타내는 블록도이다.
멀티 레이어 구조에 대한 스케일러블(scalable) 비디오 부호화/복호화 장치는 단일 레이어 구조에 대한 비디오 부호화/복호화 장치를 확장(extension)하여 구현될 수 있다.
도 2는 멀티 레이어 구조에 대해 적용 가능한, 즉 스케일러빌러티를 제공하는 비디오 복호화 장치의 일 실시예를 나타낸다.
도 2를 참조하면, 상기 비디오 복호화 장치(200)는 엔트로피 복호화부(210), 역양자화부(220), 역변환부(230), 인트라 예측부(240), 인터 예측부(250), 필터부(260) 및 참조 픽처 버퍼(270)를 포함한다.
비디오 복호화 장치(200)는 부호화 장치에서 출력된 비트스트림을 입력 받아 인트라 모드 또는 인터 모드로 복호화를 수행하고 재구성된 영상, 즉 복원 영상을 출력할 수 있다.
인트라 모드인 경우 스위치가 인트라 예측을 위해 전환되고, 인터 모드인 경우 스위치가 인터 예측을 위해 전환될 수 있다.
비디오 복호화 장치(200)는 입력 받은 비트스트림으로부터 복원된 레지듀얼 블록(residual block)을 얻고 예측 블록을 생성한 후 복원된 레지듀얼 블록과 예측 블록을 더하여 재구성된 블록, 즉 복원 블록을 생성할 수 있다.
엔트로피 복호화부(210)는, 입력된 비트스트림을 확률 분포에 따라 엔트로피 복호화하여, 양자화된 계수(quantized coefficient)와 신택스 엘리먼트 등의 정보를 출력할 수 있다.
양자화된 계수는 역양자화부(220)에서 역양자화되고 역변환부(230)에서 역변환 된다. 양자화된 계수를 역양자화/역변환하여, 복원된 레지듀얼 블록(residual block)이 생성될 수 있다.
인트라 모드인 경우, 인트라 예측부(240)는 현재 블록 주변의 이미 부호화된 블록의 화소값을 이용하여 공간적 예측을 수행하고, 현재 블록에 대한 예측 블록을 생성할 수 있다.
인터 모드인 경우, 인터 예측부(250)는 움직임 벡터 및 참조 픽처 버퍼(270)에 저장되어 있는 참조 픽처를 이용하여 움직임 보상을 수행함으로써 현재 블록에 대한 예측 블록을 생성할 수 있다.
멀티 레이어 구조의 경우, 인터 모드에서 적용되는 인터 예측은 인터 레이어 예측을 포함할 수 있다. 인터 예측부(250)는 참조 레이어의 픽처를 샘플링하여 인터 레이어 참조 픽처를 구성하고, 참조 픽처 리스트에 인터 레이어 참조 픽처를 포함하여 인터 레이어 예측을 수행할 수 있다. 레이어 간의 참조 관계는 레이어 간의 의존성을 특정하는 정보를 통해 시그널링될 수 있다.
한편, 현재 레이어 픽처와 참조 레이어 픽처가 동일 사이즈인 경우에 상기 참조 레이어 픽처에 적용되는 샘플링은 참조 레이어 픽처로부터의 샘플 복사 또는 보간에 의한 참조 샘플의 생성을 의미할 수 있다. 현재 레이어 픽처와 참조 레이어 픽처의 해상도가 상이한 경우에 상기 참조 레이어 픽처에 적용되는 샘플링은 업샘플링을 의미할 수 있다.
예컨대, 이때, 레이어 간 해상도가 다른 경우로서 해상도에 관한 스케일러빌러티를 지원하는 레이어 간에 인터 레이어 예측이 적용된다면, 참조 레이어의 복원된 픽처를 업샘플링하여 인터 레이어 참조 픽처가 구성될 수 있다.
이때, 인터 레이어 참조 픽처로 사용될 픽처가 속하는 레이어를 특정하는 정보는 부호화 장치로부터 복호화 장치로 전송할 수 있다.
또한, 인터 레이어 예측에 있어서 참조되는 레이어, 즉 참조 레이어 내에서 현재 블록의 예측에 이용되는 픽처는 현재 픽처(현재 레이어 내 예측 대상 픽처)와 동일 AU(Access Unit)의 픽처일 수 있다.
복원된 레지듀얼 블록과 예측 블록은 가산기(255)에서 더해져서, 복원 블록이 생성된다. 다시 말하면, 레지듀얼 샘플과 예측 샘플이 더해져서 복원된 샘플 또는 복원된 픽처가 생성된다.
복원된 픽처는 필터부(260)에서 필터링 된다. 필터부(260)는 디블록킹 필터, SAO, ALF 중 적어도 하나 이상을 복원 블록 또는 복원 픽처에 적용할 수 있다. 필터부(260)는 재구성된(modified) 혹은 필터링된(filtered) 복원 픽처(reconstructed picture)를 출력한다. 복원 영상은 참조 픽처 버퍼(270)에 저장되어 인터 예측에 사용될 수 있다.
또한, 영상 복호화 장치(200)는 비트스트림에 포함되어 있는 인코딩된 영상에 관련된 정보를 파싱하는 도시하지 않은 파싱부를 더 포함할 수 있다. 파싱부는 엔트로피 복호화부(210)를 포함할 수도 있고, 엔트로피 복호화부(210)에 포함될 수도 있다. 이러한 파싱부는 또한 디코딩부의 하나의 구성요소로 구현될 수도 있다.
도 1과 도 2에서는 하나의 부호화 장치/복호화 장치가 멀티 레이어에 대한 부호화/복호화를 모두 처리하는 것으로 설명하였으나, 이는 설명의 편의를 위한 것으로서, 부호화 장치/복호화 장치는 레이어별로 구성될 수도 있다.
이 경우, 상위 레이어의 부호화 장치/복호화 장치는 상위 레이어의 정보 및 하위 레이어의 정보를 이용하여 해당 상위 레이어의 부호화/복호화를 수행할 수 있다. 예컨대, 상위 레이어의 예측부(인터 예측부)는 상위 레이어의 픽셀 정보 또는 픽처 정보를 이용하여 현재 블록에 대한 인트라 예측 또는 인터 예측을 수행할 수도 있고, 하위 레이어로부터 복원된 픽처 정보를 수신하고 이를 이용하여 상위 레이어의 현재 블록에 대한 인터 예측(인터 레이어 예측)을 수행할 수도 있다. 여기서는, 레이어 간의 예측만을 예로서 설명하였으나, 부호화 장치/복호화 장치는 레이어별로 구성되든, 하나의 장치가 멀티 레이어를 처리하든 상관없이, 다른 레이어의 정보를 이용하여 현재 레이어에 대한 부호화/복호화를 수행할 수 있다.
본 발명에서 레이어는 뷰(view)를 포함할 수 있다. 이 경우, 인터 레이어 예측의 경우는 단순히 하위 레이어의 정보를 이용하여 상위 레이어의 예측을 수행하는 것이 아니라, 레이어 간 의존성을 특정하는 정보에 의해 의존성이 있는 것으로 특정된 레이어들 사이에서 다른 레이어의 정보를 이용하여 인터 레이어 예측이 수행될 수도 있다.
도 3은 본 발명이 적용될 수 있는, 복수 레이어를 이용한 스케일러블 비디오 코딩 구조의 일 실시예를 개략적으로 나타내는 개념도이다. 도 3에서 GOP(Group of Picture)는 픽처군 즉, 픽처의 그룹을 나타낸다.
비디오 데이터는 전송 매체 혹은 저장 매체를 통해 비디오 부호화 장치로부터 비디오 복호화 장치로 전달된다. 비디오 데이터는 네트워크 환경에 따라 전송 매체별로 차이가 있을 수 있으며, 저장 매체별로도 차이가 있을 수 있다. 이 다양한 비디오 데이터들을 효율적을 지원하기 위해 스케일러블 비디오 코딩 방법이 제공될 수 있다.
스케일러블 비디오 코딩 방법에서는 레이어(layer) 간 샘플 정보(텍스쳐 정보), 움직임 정보, 레지듀얼 신호 등을 활용된다. 이를 통해, 레이어 간 중복성을 제거하여 부호화/복호화 성능을 높일 수 있다. 스케일러블 비디오 코딩 방법은, 전송 비트율, 전송 에러율, 시스템 자원 등의 주변 조건에 따라, 공간적, 시간적, 화질적 관점에서 다양한 스케일러빌리티를 제공할 수 있다.
스케일러블 비디오 코딩은, 복수 레이어(multiple layers) 구조를 사용하여 수행될 수 있다. 멀티 레이어 구조는 다른 레이어의 정보를 이용하지 않고도 독자적으로 부호화/복호화될 수 있는 베이스 레이어를 포함할 수 있다. 또한, 멀티 레이어 구조는 베이스 레이어 및/또는 다른 레이어의 정보를 이용하여 부호화/복호화되는 인핸스먼트 레이어(enhancement layer)를 포함할 수 있다.
레이어 구조에서 스케일러빌러티가 높은 레이어를 상위 레이어라고 하고 스케일러빌러티가 낮은 레이어를 하위 레이어라고 할 수도 있다. 또한, 다른 레이어의 부호화/복호화(예컨대, 예측)에 참조되는 레이어를 참조 레이어라고 하고, 다른 레이어를 이용하여 부호화/복호하(예컨대, 예측)되는 레이어를 현재 레이어라고 할 수 있다. 참조 레이어는 현재 레이어보다 하위 레이어일 수 있으며, 현재 레이어는 참조 레이어보다 상위 레이어일 수 있다.
여기서, 레이어(layer)는 공간(spatial, 예를 들어, 영상 크기, 해상도), 시간(temporal, 예를 들어, 프레임 레이트), 화질, 복잡도, 시점(view) 등을 기준으로 구분되는 영상 및 비트스트림(bitstream)의 집합일 수 있다.
또한 복수의 레이어들은 서로 간에 의존성(dependency)를 가질 수도 있다. 현재 레이어는 의존성이 존재하는 레이어를 참조하여 부호화/복호화될 수 있다.
도 3을 참조하면, 예를 들어 제1 인핸스먼트 레이어는 베이스 레이어의 베이스 해상도보다 높은 제1 해상도, 베이스 레이어의 프레임율보다 높은 제1 프레임율, 베이스 레이어의 비트율보다 높은 제1 비트율로 정의될 수 있다. 또한, 제2 인핸스먼트 레이어는 제1 인핸스먼트 레이어의 해상도보다 높은 제2 해상도, 제1 인핸스먼트 레이어의 프레임율보다 높은 제2 프레임율, 제1 인핸스먼트 레이어의 비트율보다 높은 제2 비트율로 정의될 수 있다.
예컨대, 제1 인핸스먼트 레이어가 HD(high definition), 30Hz의 프레임율, 3.9Mbps 비트율로 정의된다면, 제2 인핸스먼트 레이어는 4K-UHD(ultra high definition), 60Hz의 프레임율, 27.2Mbps 비트율로 정의될 수 있다. 이 포맷(format), 프레임율, 비트율 등은 하나의 예로서, 필요에 따라 달리 정해질 수 있다. 또한 사용되는 레이어의 수도 본 실시예에 한정되지 않고 상황에 따라 달리 정해질 수 있다.
예를 들어, 전송 대역폭이 4Mbps라면 상기 제1 인핸스먼트 레이어 HD의 프레임 레이트를 줄여서 15Hz 이하로 전송할 수 있다. 스케일러블 비디오 코딩 방법은 상기 도 3의 실시예에서 상술한 방법에 의해 시간적, 공간적, 화질적, 시점 간(inter view) 스케일러빌리티를 제공할 수 있다.
비트스트림 내 복수의 레이어를 지원하는 비디오의 부호화 및 복호화, 즉 스케일러블 코딩(scalable coding)의 경우, 복수의 레이어 간에는 강한 연관성(correlation)이 존재하기 때문에 이런 연관성을 이용하여 예측을 수행하면 데이터의 중복 요소를 제거할 수 있고 영상의 부호화 성능을 향상시킬 수 있다.
다른 레이어의 정보를 이용하여 예측의 대상이 되는 현재 레이어의 픽처에 대한 예측을 수행하는 것을 인터 레이어 예측(inter-layer prediction)이라고 한다.
스케일러블 비디오 코딩은 이하 부호화 관점에서는 스케일러블 비디오 부호화, 복호화 관점에서는 스케일러블 비디오 복호화와 동일한 의미를 가진다.
복수의 레이어들은 해상도, 프레임 레이트, 컬러 포맷, 시점 중 적어도 하나가 서로 다를 수 있으며, 인터 레이어 예측 시 해상도의 조절을 위하여 레이어의 업샘플링 또는 다운샘플링이 수행될 수 있다.
통상적으로 인터 예측은 현재 픽처의 이전 픽처 또는 이후 픽처 중 적어도 하나를 참조 픽처로 하고, 참조 픽처를 기반으로 현재 블록에 대한 예측을 수행할 수 있다. 현재 블록의 예측에 이용되는 영상을 참조 픽처(reference picture) 또는 참조 프레임(reference frame)이라고 한다.
참조 픽처 내에서 현재 픽처에 대한 예측을 위해 참조되는 영역은 참조 픽처를 지시하는 참조 픽처 인덱스(refIdx) 및 움직임 벡터(motion vector) 등을 이용하여 특정될 수 있다.
인터 예측은 참조 픽처 및 참조 픽처 내에서 현재 블록에 대응하는 참조 블록을 선택해서, 현재 블록에 대한 예측 블록을 생성할 수 있다.
인터 예측에서 부호화 장치 및 복호화 장치는 현재 블록에 대한 움직임 정보를 도출한 후, 움직임 정보에 기반하여 인터 예측 및/또는 움직임 보상을 수행할 수 있다. 이 때, 부호화 장치 및 복호화 장치는 현재 블록의 주변 블록(neighboring block)의 움직임 정보 및/또는 참조 픽처들 중에서 선택되는 콜(col) 픽쳐(collocated picture) 내에서 현재 블록에 대응되는 콜(col) 블록(collocated block)의 움직임 정보를 이용하여 현재 블록에 대한 예측을 수행할 수 있다.
도 1 및 도 2에서 설명한 바와 같이, 인터 예측(인터 픽처 예측)에서는 현재 픽처의 이전 픽처 또는 이후 픽처 중 적어도 하나를 참조 픽처로 결정하고, 참조 픽처를 기반으로 현재 픽처(현재 픽처 내 현재 블록)에 대한 예측을 수행한다.
부호화 장치는 예측의 결과로 유도되는 예측 블록과 현재 블록의 차이(원본 신호와 예측 신호의 차이)인 레지듀얼 신호를 변환 및/또는 양자화한 후 엔트로피 디코딩을 적용하여 복호화 장치로 전송할 수 있다.
복호화 장치는 부호화 장치로부터 수신한 레지듀얼을 엔트로피 디코딩을 거쳐 역양자화 및/또는 역변환한 후 예측의 결과로 유도 예측 블록(예측 신호)와 더하여 현재 블록(원본 신호)을 복원할 수 있다.
PCM 모드가 적용되는 경우에는 변환/양자화 및 역양자화/역변환이 생략될 수 있으며, 변환 생략 모드가 적용되는 경우에는 변환 및 역변환이 생략될 수 있다. 또한, 인터 예측의 한 방법으로서 부호화 단위(CU: Codinn Unit) 레벨에서의 스킵 모드가 적용되면, 레지듀얼의 전송이 없으므로, 예측 신호를 원본 신호로 사용할 수도 있다.
좀 더 구체적으로 인터 예측에 대하여 설명하면, 인터 예측의 경우, 부호화 장치는 레지듀얼의 최소화 및 움직임 벡터의 최소화 중 적어도 하나를 만족하도록 예측 신호를 생성할 수 있다. 예컨대, 부호화 장치는 레지듀얼을 최소화하면서 움직임 벡터를 최소화 하도록 예측 신호를 생성할 수 있다.
부호화 장치는 복호화 장치에서도 동일한 예측 신호가 유도될 수 있도록 움직임 정보를 특정하는 정보를 복호화 장치에 전송할 수 있다. 복호화 장치는 부호화 장치로부터 수신한 정보를 기반으로 움직임 정보를 유도하고, 예측 신호를 생성할 수 있다.
인터 예측에 있어서 참조 픽처의 정보를 특정하기 위해, 현재 블록의 주변 블록들의 정보가 이용될 수 있다. 예컨대, 인터 예측의 방법들인 스킵(skip) 모드, 머지(merge) 모드, mvd(Motion Vector Difference)와 mvp(Motion Vector Prediction)을 이용하는 AMVP(Advanced Motion Vector Prediction) 모드 등에서는 주변 블록의 움직임 정보에 기반해 현재 블록에 대한 예측 블록을 생성할 수 있다.
상술한 바와 같이, 스킵 모드의 경우는 주변 블록의 움직임 정보를 현재 블록의 움직임 정보로 사용할 수 있다. 예컨대, 주변 블록의 참조 픽처 인덱스 및/또는 움직임 벡터 중 현재 블록의 참조 픽처 인덱스 및/또는 움직임 벡터로 사용하는 정보를 특정하는 정보는 부호화 장치로부터 복호화 장치로 전송되지만, 레지듀얼과 같은 추가 정보는 전송되지 않는다.
인터 예측의 모드로서 머지 모드가 적용되는 경우에, 부호화 장치/복호화 장치는 주변 블록의 움직임 정보를 이용하여 그대로 이용하여 현재 블록에 대한 예측 블록(예측 신호)를 유도할 수 있다. 부호화 장치는 현재 블록에 대하여 머지 모드를 적용하는지를 지시하는 정보, 어떤 주변 블록의 정보를 이용하는지를 지시하는 정보, 현재 블록에 대한 레지듀얼 정보 등을 복호화 장치에 전송할 수 있다.
머지 모드가 적용되는 경우에, 복호화 장치는 부호화 장치로부터 지시된 주변 블록의 움직임 정보를 이용하여 현재 블록에 대한 예측 블록(예측 샘플)을 생성하고, 레지듀얼 신호와 더하여 현재 블록을 복원(복원 샘플을 유도)할 수 있다.
스킵 모드와 머지 모드에서 이용하는 주변 블록의 움직임 정보는 주변 블록의 참조 픽처 인덱스와 움직임 벡터를 포함할 수 있다.
AMVP가 적용되는 경우라면, 부호화 장치/복호화 장치는 주변 블록의 움직임 벡터를 이용하여 현재 블록의 움직임 벡터를 예측할 수 있다. 부호화 장치는 어떤 주변 블록의 움직임 정보를 이용하는지를 특정하는 정보, 현재 블록의 움직임 벡터와 예측된 움직임 벡터 사이의 차이(mvd)를 특정하는 정보, 참조 픽처를 특정하는 참조 픽처 인덱스 등을 복호화기에 전송할 수 있다.
AMVP를 적용하는 경우에, 복호화 장치는 주변 블록의 움직임 정보(움직임 벡터)와 부호화기로부터 전송된 참조 픽처 인덱스를 이용하여 현재 블록에 대한 예측 블록(예측 샘플)을 생성할 수 있다. 예컨대, 복호화 장치는 주변 블록의 움직임 벡터를 기반으로 현재 블록의 움직임 벡터 예측자를 생성하고, 부호화 장치로부터 수신한 움직임 벡터 차이(mvd)와 움직임 벡터 예측자를 더하여 현재 블록의 움직임 벡터를 유도할 수 있다. 복호화 장치는 유도한 움직임 벡터와 수신한 참조 픽처 인덱스를 이용하여 현재 블록에 대한 예측 블록(예측 샘플)을 유도할 수 있다. 복호화 장치는 예측 샘플을 레지듀얼과 더하여 현재 블록을 복원함으로써, 현재 픽처에 대한 복원 샘플들을 유도할 수 있다.
인터 예측을 수행하는 경우, 복호화기 장치가 이용하는 움직임 정보는 부호화기로부터 수신한 정보를 기반으로 유도될 수 있다. 예컨대, 스킵 모드가 적용되는 경우에는 머지 인덱스가 지시하는 블록의 움직임 정보를 현재 블록의 움직임 정보로 이용할 수 있다. 머지 모드가 적용되는 경우에는 머지 인덱스가 지시하는 블록의 움직임 정보를 현재 블록의 움직임 정보로 이용할 있다. 이 경우, 시간적 주변 블록의 움직임 정보 중 일부는 특정 값으로 고정되거나 별도로 유도될 수도 있다. AMVP의 경우, 현재 블록의 움직임 벡터는 주변 블록의 움직임 벡터로부터 예측될 수 있으며, 참조 픽처 인덱스는 별도로 시그널링될 수 있다.
예측이 수행되는 처리 단위는 예측의 방법이 결정되는 단위와 상이할 수도 있다. 예컨대, 인트라 예측이 적용될 것인지 인터 예측이 적용될 것인지는 코딩 유닛(CU) 단위로 결정될 수 있으며, 인트라 예측의 모드와 인터 예측의 모드는 예측 유닛(PU: Prediction Unit) 단위로 결정될 수 있다. 인트라 예측은 변환 유닛(TU: Transform Unit) 단위로 수행될 수 있으며, 인터 예측은 예측 유닛 단위로 수행될 수도 있다.
한편, 멀티 레이어 구조를 적용하는 스케일러블 비디오 코딩에 있어서는, 다른 레이어의 정보를 이용하여 현재 레이어에 대한 예측을 수행할 수 있다. 예컨대, 복호화/부호화 대상 레이어인 현재 레이어의 현재 픽처 내 현재 블록에 대한 예측을 수행함에 있어서, 다른 레이어(참조 레이어)의 정보를 이용할 수 있다.
이 경우에, 다른 레이어의 텍스처(texture) 정보를 이용하는 방식으로 참조 레이어의 픽처 정보를 이용할 수 있다. 이 경우에, 부호화/복호화 대상 블록(현재 블록)에 대응하는 참조 레이어의 복호화된 픽처 정보만을 이용하여 예측을 수행할 수 있다.
하지만, 참조 레이어에서 대응하는 일정 영역의 텍스처 정보를 이용하여 현재 레이어에 대한 예측을 수행하는 경우(인터 레이어 예측을 수행하는 경우)에, 레이어 간의 영상 크기 차이 등에 기반하여 신호의 왜곡이 생길 수도 있고, 레지듀얼 신호가 증가하게 될 수도 있다.
따라서, 본 발명에서는 도 1 및 도 2에서 설명한 바와 같이, 인터 레이어 예측을 수행하는 경우에 부호화 장치/복호화 장치(예컨대, 부호화 장치/복호화 장치 내 인터 예측부)가 참조 레이어에서 인터 레이어 예측에 사용되는 픽처에 대한 샘플링을 수행하여 인터 레이어 참조 픽처를 생성하고, 인터 레이어 참조 픽처를 현재 블록에 대한 참조 픽처 리스트에 포함시켜서 현재 블록에 대한 인터 예측을 수행한다.
도 4는 본 발명에 따라서 부호화 장치/복호화 장치에서 인터 레이어 예측을 수행하는 방법을 개략적으로 설명하는 순서도이다.
도 4에서는 설명의 편의를 위해, 부호화 장치/복호화 장치 내 예측부에서 인터 레이어 예측을 수행하는 경우를 예로서 설명한다. 이때, 예측부는 인터 예측부를 포함할 수 있다.
도 4를 참조하면, 부호화 장치/복호화 장치는 참조 레이어의 픽처를 복호화 한다(S410). 상술한 바와 같이, 참조 레이어는 현재 레이어의 부호화/복호화 대상 블록이 참조하는 레이어를 의미한다. 이때, 예측부는 참조 레이어의 픽처들 중에서 현재 픽처(현재 레이어에서 현재 블록이 속하는 픽처)와 동일한 AU의 픽처를 복호화하여 현재 블록에 대한 예측에 이용할 수 있다.
현재 부호화 대상 블록이 참조하고 있는 참조 레이어의 픽처에 대한 복호화는 VPS(Video Parameter Set), SPS(Sequence Parameter Set)에서 전송되는 참조 레이어의 부호화 방식에 관한 정보를 기반으로 수행될 수 있다.
예컨대, 참조 레이어가 MPEG-2 방식으로 부호화된 경우, 부호화 장치/복호화 장치는 MPEG-2 방식에 따라서 참조 레이어의 픽처를 복호화 할 수 있다.
또한, 참조 레이어가 H.264/AVC 방식으로 부호화된 경우라면, 부호화 장치/복호화 장치는 H.264/AVC 방식에 따라서 참조 레이어의 픽처를 복호화 할 수 있다.
또한, 참조 레이어가 HEVC 방식으로 부호화된 경우라면, 부호화 장치/복호화 장치는 HEVC 방식에 따라서 참조 레이어의 픽처를 복호화 할 수 있다.
부호화 장치/복호화 장치는 현재 블록의 인터 예측을 위한 참조 픽처 리스트를 구성할 수 있다(S420). 예측부는 현재 부호화/복호화 대상 블록(현재 블록)에 대한 인터 예측을 위해 참조 레이어의 복호화된 픽처를 포함하여 참조 픽처 리스트를 생성할 수 있다.
멀티 레이어 구조를 사용하는 비디오 부호화/복호화에 있어서, 예측부는 참조 레이어의 복호화된 픽처를 이용하여 상위 레이어(현재 레이어)의 부호화/복호화 대상 블록에 대한 예측을 수행할 수 있다.
이때, 참조 레이어의 복호화된 픽처를 이용함에 있어서, 참조 레이어의 복호화된 픽처를 상위 레이어(현재 레이어)의 부호화/복호화 대상 블록(현재 블록)을 위한 참조 영상 리스트에 포함시켜서, 현재 블록에 대한 인터 예측을 수행할 수 있다.
참조 픽처 리스트는 슬라이스에 대한 디코딩이 시작되는 때에 구성될 수 있다. 예컨대, P 슬라이스의 경우에는 하나의 참조 픽처 리스트가 구성될 수 있고, B 슬라이스의 경우에는 두 개의 참조 픽처 리스트가 구성될 수 있다. 따라서, 현재 블록에 대한 참조 픽처 리스트는 현재 블록이 속하는 슬라이스별로 구성될 수 있다.
이와 관련하여, 참조 픽처 리스트 내에서 참조 레이어의 복호화된 픽처를 어느 위치에 둘 것인지가 문제된다.
본 발명의 실시예들에 따르면 (1) 참조 픽처 리스트를 구성할 때, 참조 레이어의 복호화된 픽처는 항상 고정된 위치에 추가되거나, (2) 참조 픽처 리스트를 구성할 때, 참조 픽처 리스트 내에서 참조 레이어의 복호화된 픽처의 위치는 부호화 정보를 이용하여 결정되거나, (3) 참조 픽처 리스트를 구성할 때, 참조 픽처 리스트 내에서 참조 레이어의 복호화된 픽처의 위치는 부호화 구조 정보를 이용하여 결정될 수 있다.
이하, 본 발명에서 참조 픽처 리스트에서 참조 레이어의 복호화된 픽처(인터 레이어 참조 픽처)의 위치를 결정하는 방법을 구체적으로 설명한다.
본 발명의 일 실시예에 따르면, 참조 픽처 리스트 생성시마다, 고정된 위치에 참조 레이어의 복호화된 픽처를 추가할 수 있다.
도 5는 본 발명의 실시예에 따라서 참조 픽처 리스트를 구성하는 방법의 일 예를 개략적으로 설명하는 도면이다.
도 5를 참조하면, <1>은 참조 레이어의 복호화된 픽처를 고려하지 않고 구성된 참조 픽처 리스트이며, <2>는 참조 레이어의 복호화된 픽처를 포함하여 구성된 참조 픽처 리스트이다.
도 5의 예에서는 현재 레이어의 픽처들만으로 구성된 참조 픽처 리스트가 <1>과 같을 때, 참조 레이어의 복호화된 픽처(인터 레이어 참조 픽처)는 참조 픽처 리스트의 2 번째 위치에 추가될 수 있다.
여기서는 설명의 편의를 위해, 참조 픽처 리스트의 2 번째 위치에 인터 레이어 참조 픽처가 위치하는 것으로 설명하였으나, 본 발명은 이에 한정되지 않으며, 인터 레이어 참조 픽처(참조 레이어의 복호화된 픽처)는 참조 픽처 리스트 내 다른(두 번째가 아닌) 고정된 소정의 위치에 추가될 수도 있다. 이때, 인터 레이어 참조 픽처의 참조 픽처 리스트 내 위치는 전체 비디오에 대해서 동일한 위치일 수 있다.
도 5에서 참조 픽처 리스트 L0은 P 슬라이스의 인터 예측에 사용되는 참조 픽처 리스트 또는 B 슬라이스의 인터 예측에서 첫 번째 참조 픽처 리스트로 사용되는 참조 픽처 리스트이다. 참조 픽처 리스트 L1은 B 슬라이스의 인터 예측에 사용되는 두 번째 참조 픽처 리스트이다. 또한, P 슬라이스(predictive slice)는 인트라 예측이 수행되거나 예측 블록 당 최대 1개의 움직임 벡터 및 참조 픽처 인덱스를 이용하여 인터 예측이 수행되는 슬라이스이다. B 슬라이스(bi-predictive slice)는 인트라 예측이 수행되거나 예측 블록 당 최대 두 개의 움직임 벡터와 참조 픽처 인덱스를 이용하여 예측이 수행되는 슬라이스이다. 이와 관련하여, I 슬라이스(intra slice)는 인트라 예측만이 적용된 슬라이스이다.
도 5의 예에서는 참조 픽처 리스트 L0에서 인터 레이어 참조 픽처의 위치가 참조 픽처 리스트 L1에서 인터 레이어 참조 픽처의 위치와 동일한 것으로 설명하였으나, 본 발명은 이에 한정되지 않으며, 인터 레이어 참조 픽처의 위치는 참조 픽처 리스트 L0과 참조 픽처 리스트 L1에서 상이할 수 있다. 예를 들어, L0에 대해서는 인터 레이어 참조 픽처는 참조 픽처 리스트에서 현재 픽처 보다 선행하는 참조 픽처 세트 다음의 위치에 놓을 수 있고, L1에 대해서는 인터 레리어 참조 픽처는 참조 픽처 리스트에서 장기 참조 픽처 세트 다음의 위치에 놓을 수 있다.
또한, 도 5의 예에서는 참조 픽처 리스트에서 인터 레이어 참조 픽처가 두 번째 위치에 있다고 했으나, 이때, 두 번째 위치는 두 번째 픽처라는 의미일 수도 있고, 참조 픽처 세트를 한 단위로 했을 때 두 번째 위치라는 의미일 수도 있다. 예컨대, L0에 대하여 인터 레이어 참조 픽처는 참조 픽처 리스트에서 현재 픽처보다 선행하는 참조 픽처 세트 다음의 위치에 놓일 수도 있다.
예컨대, 현재 블록(현재 부호화/복호화 대상 블록)이 B 슬라이스에 속하는 경우에는 도 5에서와 같이, 양방향 참조 픽처 리스트(L0 및 L1)가 존재할 수 있다. 이때, 양 방향(L0 방향 및 L1 방향)의 참조 픽처 리스트(L0, L1)에 참조 계층의 복호화된 픽처(인터 레이어 참조 픽처)가 고정된 위치에 추가될 수 있다.
또한, 예컨대, 현재 블록이 B 슬라이스에 속하는 경우에, 도 5와 같이 양방향의 참조 픽처 리스트가 존재할 수 있다. 이 경우에, 양 방향의 참조 픽처 리스트 중 하나의 리스트(즉, L0 또는 L1)에만 인터 레이어 참조 픽처가 고정된 위치 추가될 수도 있다.
또한, 예를 들어, 현재 블록이 I 슬라이스 또는 P 슬라이스인 경우에, 참조 픽처 리스트 L0에만 참조 레이어의 복호화된 픽처(인터 레이어 참조 픽처)가 고정된 위치에 추가될 수도 있다.
또한, 예를 들어, SPS에서 전송되는, 현재 블록 혹은 현재 픽처의 인터 레이어 예측에 어떤 참조 픽처 리스트를 사용할 것인지를 지시하는 정보(예컨대, LIST0ILRPflag, LIST1ILRPflag)가 특정하는 리스트에만 인터 레이어 참조 픽처를 추가할 수도 있다.
또한, 참조 픽처 리스트 내에서 인터 레이어 참조 픽처(참조 레이어의 복호화된 픽처)의 위치가 고정적으로 N 번째 위치인 경우에, 인터 레이어 예측을 고려하지 않고 구성된 참조 픽처 리스트에서 N 번째 위치에 다른 참조 픽처가 있다면, 인터 레이어 참조 픽처를 N 번째 위치에 두고, 인터 레이어 예측을 고려하지 않고 구성된 참조 픽처 리스트에서 N 번째 위치에 있던 픽처부터는 하나씩 순서를 뒤로 밀 수도 있다.
또한, 참조 픽처 리스트 내에서 인터 레이어 참조 픽처(참조 레이어의 복호화된 픽처)의 위치가 고정적으로 N 번째 위치인 경우에, 인터 레이어 예측을 고려하지 않고 구성된 참조 픽처 리스트에서 N 번째 위치에 있던 참조 픽처를 인터 레이어 참조 픽처로 대체할 수도 있다.
본 발명의 다른 실시예에 의하면, 참조 픽처 리스트를 생성할 때마다, 부호화 정보를 이용하여 참조 픽처 리스트 내에서 참조 레이어의 복호화된 픽처(인터 레이어 참조 픽처)의 위치를 결정할 수 있다.
본 실시예에서는, 현재 부호화/복호화 대상 픽처(현재 픽처)의 시간적 레벨(temporal level) 정보를 이용하여, 현재 블록에 대한 참조 픽처 리스트 내에서 인터 레이어 참조 픽처의 위치를 결정할 수 있다.
도 6은 현재 레이어 내에서 각 픽처들에 대한 시간적 레벨들의 일 예를 개략적으로 설명하는 도면이다. 픽처의 시간적 레벨은 nuh_temporal_id와 같은 신택스 엘리먼트를 통해 부호화 장치로부터 전송될 수 있다.
도 6과 같이 시간적 레벨이 정해진 경우를 예로서 고려하면, 현재 픽처의 시간적 레벨이 1인 경우, 현재 블록에 대한 참조 픽처 리스트에서 1 번째 위치(참조 픽처 인덱스의 값이 0)에 인터 레이어 참조 픽처를 둘 수 있다.
시간적 레벨에 따라서 인터 레이어 참조 픽처(참조 레이어의 복호화된 픽처)의 위치를 결정하는 경우에, 최상의 시간 레벨(maximum temporal level)을 가지는 현재 픽처(부호화/복호화 대상 픽처)에 대해서는 인터 레이어 참조 픽처를 참조 픽처 리스트에 포함시키지 않을 수도 있다.
또 다른 예로 예컨대, 시간적 레벨이 특정 레벨 이상인 레이어의 픽처는 인터 레이어 참조 픽처로서 참조 픽처 리스트에 포함되지 않을 수도 있다.
한편, 시간적 레벨의 범위에 따라서 인터 레이어 참조 픽처의 참조 픽처 리스트 내 위치를 결정할 수도 있다. 예컨대, 현재 픽처의 시간적 레벨이 2 이상인 경우에는 인터 레이어 참조 픽처를 참조 픽처 리스트의 마지막에 위치시킬 수 있고, 현재 픽처의 시간적 레벨이 2 미만인 경우에는 인터 레이어 참조 픽처를 참조 픽처 리스트의 1 번째 위치에 놓을 수도 있다.
인터 레이어 참조 픽처를 참조 픽처 리스트에 추가함에 있어서, 양방향(bi-predictive) 참조 픽처 리스트가 존재하는 경우, 묵시적으로 한 쪽 방향의 참조 픽처 리스트(참조 픽처 리스트 L0 또는 참조 픽처 리스트 L1)에만 인터 레이어 참조 픽처를 추가할 수도 있다. 예컨대, 현재 픽처의 시간적 레벨이 0인 경우에는, 양 쪽 방향 리스트(참조 픽처 리스트 L0 및 참조 픽처 리스트 L1) 내 1 번째 위치에 인터 레이어 참조 픽처를 추가하고, 현재 픽처의 시간적 레벨이 0보다 큰 경우에는 한 쪽 방향의 리스트(참조 픽처 리스트 L0 및 참조 픽처 리스트 L1)에만 1 번째 위치에 인터 레이어 참조 픽처 리스트를 추가할 수도 있다. 여기서는 1 번째 위치에 인터 레이어 참조 픽처를 추가하는 것으로 설명했으나, 현재 픽처의 시간적 레벨에 따라서 1번째 외의 다른 위치에 인터 레이어 참조 픽처가 추가될 수도 있다.
양방향(bi-predictive) 참조 픽처 리스트가 존재하는 경우에 부호화 장치는 전체 시퀀스에 대해 양 방향의 참조 픽처 리스트들에 인터 레이어 참조 픽처를 추가할 수도 있고, 한 방향의 참조 픽처 리스트에만 인터 레이어 참조 픽처를 추가할 수도 있다. 부호화 장치는 SPS에서 인터 레이어 참조 픽처가 추가된 참조 픽처 리스트를 지시하는 정보(예컨대, LIST0ILRPflag, LIST1ILRPflag)를 부호화하여 전송할 수도 있다. 이때, 복호화 장치는 SPS에서 전송되는 정보를 기반으로 양 방향의 참조 픽처 참조 픽처 리스트들에 모두 인터 레이어 참조 픽처를 추가할 수도 있고, 한 방향의 참조 픽처 리스트에만 인터 레이어 참조 픽처를 추가할 수도 있다.
한편, 현재 픽처의 시간적 레벨을 특정하는 정보는 현재 픽처에 대한 NAL(Network Abstract Layer) 유닛 헤더에서 전송될 수 있다. 예컨대, 부호화 장치는 NAL 유닛 헤더에서 현재 픽처의 시간적 레벨(temporal_id)을 특정하는 정보를 복호화 장치에 전송할 수 있으며, 복호화 장치는 NAL 유닛 헤더에서 전송되는 시간적 레벨에 관한 정보에 따라서 현재 픽처의 시간적 레벨을 특정할 수 있다.
또한, 인터 레이어 참조 픽처(참조 레이어의 복호화된 픽처)가 현재 픽처의 시간적 레벨보다 높은 시간적 레벨을 갖는 경우에는, 현재 블록에 대한 참조 픽처 리스트에 인터 레이어 참조 픽처를 포함하지 않을 수도 있다.
본 발명의 또 다른 실시예에 의하면, 참조 픽처 리스트를 생성할 때마다, 예측 구조 정보를 이용하여 참조 픽처 리스트 내에서 참조 레이어의 복호화된 픽처(인터 레이어 참조 픽처)가 놓이는 위치를 결정할 수 있다.
본 실시예에 의하면, 현재 부호화/복호화 대상 픽처의 예측 구조(SOP: Structure of Prediction)에 관한 정보를 이용하여 참조 픽처 리스트 내에서 인터 레이어 참조 픽처의 위치를 결정할 수 있다.
도 7은 현재 레이어의 예측 구조(Structure of Prediction)의 깊이 정보에 대한 일 예를 개략적으로 설명하는 도면이다.
도 7의 예와 같은, 예측 구조를 적용하는 경우에, 현재 픽처에 대한 예측 구조의 깊이 정보에 따라서, 현재 블록에 대한 참조 픽처 리스트에서 인터 레이어 참조 픽처의 위치를 결정할 수 있다.
예를 들어, 도 7의 예를 고려할 때, 예측 구조 내에서 현재 픽처에 대응하는 깊이가 0인 경우라면, 인터 레이어 참조 픽처의 참조 픽처 리스트 내 위치는 첫 번째 위치(참조 픽처 인덱스의 값이 0)로 결정될 수 있다.
또한, 도 7의 예를 고려할 때, 예측 구조 내에서 현재 픽처에 대응하는 깊이가 1 이상이라면, 인터 레이어 참조 픽처의 참조 픽처 리스트 내 위치는 마지막 위치로 결정될 수 있다.
부호화 장치는 PPS(Picture Parameter Set) 또는 슬라이스 헤더에서 예측 구조 내의 깊이 정보에 따라 결정된 인터 레이어 참조 픽처의 참조 픽처 리스트 내 위치를 특정하는 정보를 전송할 수 있다.
복호화 장치는 부호화 장치로부터 수신한 정보를 기반으로 인터 레이어 참조 픽처의 참조 픽처 리스트 내 위치를 결정할 수 있다.
예를 들어, 도 7의 예에서, 수신한 정보가 특정하는 현재 픽처의 예측 구조상 깊이가 0인 경우에, 복호화 장치는 인터 레이어 참조 픽처의 참조 픽처 리스트 내 위치를 첫 번째 위치(참조 픽처 인덱스의 값이 0)로 결정할 수 있다.
또한, 예를 들어, 도 7의 예에서, 수신한 정보가 특정하는 현재 픽처의 예측 구조상 깊이가 1 이상인 경우에, 복호화 장치는 인터 레이어 참조 픽처의 참조 픽처 리스트 내 위치를 마지막 위치로 결정할 수 있다.
한편, 본 실시예에서, 참조 픽처 리스트 내 인터 레이어 참조 픽처의 위치는 묵시적으로 정해질 수도 있다. 이 경우, 예측 구조의 깊이 정보에 따라 참조 픽처 리스트 L0에만 인터 레이어 참조 픽처을 추가할 것인지를 결정할 수도 있다. 이때, 복호화 장치에서도 참조 픽처 리스트 내 동일한 위치에 인터 레이어 참조 픽처가 추가될 수 있도록, 부호화 장치는 인터 레이어 참조 픽처가 추가되는 참조 픽처 리스트를 특정하는 정보를 부호화하여 PPS(Picture Parameter Sets) 또는 슬라이스 헤더에서 전송할 수 있다. 복호화 장치는 수신한 정보를 기반으로 인터 레이어 참조 픽처를 참조 픽처 리스트에 추가하여 현재 블록에 대한 예측을 수행할 수 있다.
한편, 지금까지는‘참조 픽처 리스트 내 인터 레이어 참조 픽처의 위치’라고 기술하였으나, 이는 설명의 편의를 위한 것으로서, 참조 픽처 리스트 내 인터 레이어 참조 픽처의 위치는 ‘인터 레이어 참조 픽처를 지시하는 참조 픽처 인덱스의 참조 픽처 리스트 내 위치’ 또는 ‘참조 픽처 리스트에서 인터 레이어 참조 픽처를 지시하는 참조 픽처 인덱스의 값의 순서’일 수 있다.
도 8은 본 발명에 따른 비디오 부호화 방법의 일 예를 개략적으로 설명하는 순서도이다.
도 8을 참조하면, 부호화 장치는 참조 레이어의 픽처를 복호화 할 수 있다(S810). 복호화되는 픽처는 현재 레이어의 부호화 대상 픽처(현재 픽처)와 동일한 액세스 유닛에 속하는 픽처일 수 있다.
부호화 장치는 참조 레이어의 복호화된 픽처를 샘플링하여 인터 레이어 참조 픽처(참조 레이어의 복호화된 픽처)를 유도할 수 있다(S820). 부호화 장치는 참조 레이어의 복호화된(복원된) 픽처로부터현재 블록(현재 레이어의 현재 픽처 내 부호화 대상 블록)에 대한 참조 픽처로 사용될 수 있는 인터 레이어 참조 픽처를 유도할 수 있다.
부호화 장치는 인터 레이어 참조 픽처 및 현재 레이어의 참조 픽처를 포함하는 참조 픽처를 구성할 수 있다(S830).
이때, 현재 레이어에서, 참조 픽처 리스트 내 인터 레이어 참조 픽처의 위치는 고정된 특정 위치일 수 있다. 예컨대, 인터 레이어 참조 픽처의 참조 픽처 리스트 내 위치는, 현재 레이어에서 현재 블록이 속하는 픽처보다 선행하는 참조 픽처들의 다음 위치로 고정될 수도 있다.
부호화 장치는 적어도 하나 이상의 참조 레이어로부터 유도된 적어도 하나 이상의 인터 레이어 참조 픽처를 포함하도록 참조 픽처 리스트를 구성할 수도 있다.
또한, 부호화 장치는 현재 픽처의 시간적 레벨을 기반으로 참조 픽처 리스트를 구성할 수도 있다. 예컨대, 부호화 장치는 현재 픽처의 시간적 레벨이 특정 범위 레벨 이상인 경우, 인터 레이어 참조 픽처는 참조 픽처 리스트에서 제외할 수 있다. 즉 부호화 장치는 현재 픽처의 시간적 레벨이 특정 범위 레벨 이상인 경우 참조 레이어의 복호화 픽처는 현재 블록의 인터 예측 에참조하지 않을 수 있다
부호화 장치는 참조 픽처 리스트를 기반으로 현재 레이어의 현재 샘플에 대한 예측을 수행하여 현재 블록에 대한 예측 샘플을 수행할 수 있다(S840). 인터 레이어 예측이 적용되는 경우에, 부호화 장치는 인터 레이어 참조 픽처를 참조하여 현재 블록에 대한 인터 예측을 수행할 수 있다.
부호화 장치는 예측 샘플을 기반으로 현재 블록에 대한 레지듀얼 샘플을 생성할 수 있다(S850). 부호화 장치는 현재 블록의 원 신호와 예측 신호의 차이값을 레지듀얼 샘플로서 유도할 수 있다.
부호화 장치는 레지듀얼 샘플을 엔트로피 인코딩하여 복호화 장치로 전송할 수 있다(S860). 부호화 장치는 레지듀얼 샘플을 변환 및 양자화 한 후, 엔트로피 인코딩하여 복호화 장치로 전송할 수 있다.
도 9는 본 발명에 따른 비디오 복호화 방법의 일 예를 개략적으로 설명하는 순서도이다.
도 9를 참조하면, 복호화 장치는 참조 레이어의 픽처를 복호화 할 수 있다(S910). 복호화되는 픽처는 현재 레이어의 복호화 대상 픽처(현재 픽처)와 동일한 액세스 유닛에 속하는 픽처일 수 있다.
복호화 장치는 참조 레이어의 복호화된 픽처를 샘플링하여 인터 레이어 참조 픽처(참조 레이어의 복호화된 픽처)를 유도할 수 있다(S920). 복호화 장치는 참조 레이어의 복호화된(복원된) 픽처로부터 현재 블록(현재 레이어의 현재 픽처 내 복호화 대상 블록)에 대한 참조 픽처로 사용될 수 있는 인터 레이어 참조 픽처를 유도할 수 있다.
복호화 장치는 인터 레이어 참조 픽처 및 현재 레이어의 참조 픽처를 포함하는 참조 픽처를 구성할 수 있다(S930).
이때, 현재 레이어에서, 참조 픽처 리스트 내 인터 레이어 참조 픽처의 위치는 고정된 특정 위치일 수 있다. 예컨대, 인터 레이어 참조 픽처의 참조 픽처 리스트 내 위치는, 현재 레이어에서 현재 블록이 속하는 픽처보다 선행하는 참조 픽처들의 다음 위치로 고정될 수도 있다.
복호화 장치는 적어도 하나 이상의 참조 레이어로부터 유도된 적어도 하나 이상의 인터 레이어 참조 픽처를 포함하도록 참조 픽처 리스트를 구성할 수도 있다.
또한, 복호화 장치는 현재 픽처의 시간적 레벨을 기반으로 참조 픽처 리스트를 구성할 수도 있다. 예컨대, 복호화 장치는 현재 픽처의 시간적 레벨이 특정 범위 레벨 이상인 경우, 인터 레이어 참조 픽처는 참조 픽처 리스트에서 제외할 수 있다. 즉 복호화 장치는 현재 픽처의 시간적 레벨이 특정 범위 레벨 이상인 경우 참조 레이어의 복호화 픽처는 현재 블록의 인터 예측 에 참조하지 않을 수 있다
복호화 장치는 참조 픽처 리스트를 기반으로 현재 레이어의 현재 샘플에 대한 예측을 수행하여 현재 블록에 대한 예측 샘플을 수행할 수 있다(S940). 인터 레이어 예측이 적용되는 경우에, 복호화 장치는 인터 레이어 참조 픽처를 참조하여 현재 블록에 대한 인터 예측을 수행할 수 있다.
복호화 장치는 예측 샘플을 기반으로 현재 블록에 대한 복원 샘플을 생성할 수 있다(S850). 부호화 장치는 현재 블록에 대한 예측 샘플과 부호화 장치로부터 수신한 레지듀얼 신호(레지듀얼 샘플)를 더하여 현재 블록에 대한 복원 샘플을 유도할 수 있다.
상술한 본 발명에 따른 방법은 컴퓨터에서 실행되기 위한 프로그램으로 제작되어 컴퓨터가 읽을 수 있는 기록 매체에 저장될 수 있으며, 컴퓨터가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다.
컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고, 상기 방법을 구현하기 위한 기능적인(function) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술분야의 프로그래머들에 의해 용이하게 추론될 수 있다.
또한, 이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형 실시가 가능한 것은 물론이고, 이러한 변형 실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어서는 안될 것이다.
상술한 실시예는 다양한 양태의 예시들을 포함한다. 다양한 양태들을 나타내기 위한 모든 가능한 조합을 기술할 수는 없지만, 해당 기술 분야의 통상의 지식을 가진 자는 다른 조합이 가능함을 인식할 수 있을 것이다. 따라서, 본 발명은 이하의 특허청구범위 내에 속하는 모든 다른 교체, 수정 및 변경을 포함한다고 할 것이다.

Claims (21)

  1. 참조 레이어의 픽처를 복호화 하는 단계;
    상기 참조 레이어의 복호화된 픽처를 샘플링하여 인터 레이어 참조 픽처를 유도하는 단계;
    상기 인터 레이어 참조 픽처 및 상기 현재 레이어의 참조 픽처를 포함하는 참조 픽처 리스트를 구성하는 단계;
    상기 참조 픽처 리스트를 기반으로 상기 현재 레이어의 현재 블록에 대한 예측을 수행하여 상기 현재 블록에 대한 예측 샘플을 생성하는 단계;
    상기 예측 샘플을 기반으로, 상기 현재 블록에 대한 레지듀얼 샘플을 생성하는 단계; 및
    상기 레지듀얼 샘플을 부호화하는 단계를 포함하는 비디오 부호화 방법.
  2. 제1항에 있어서, 상기 현재 레이어에서, 상기 참조 픽처 리스트 내 상기 인터 레이어 참조 픽처의 위치는 고정된 특정 위치인 것을 특징으로 하는 비디오 부호화 방법.
  3. 제2항에 있어서, 상기 인터 레이어 참조 픽처의 상기 참조 픽처 리스트 내 위치는,
    상기 현재 레이어에서 상기 현재 블록이 속하는 픽처보다 선행하는 참조 픽처들의 다음 위치인 것을 특징으로 하는 비디오 부호화 방법.
  4. 제1항에 있어서, 상기 참조 픽처 리스트는 적어도 하나 이상의 참조 레이어로부터 유도된 적어도 하나 이상의 인터 레이어 참조 픽처를 포함하는 것을 특징으로 하는 비디오 부호화 방법.
  5. 제1항에 있어서, 상기 인터 레이어 참조 픽처는 상기 현재 블록이 속하는 픽처와 동일한 액세스 단위(Access Unit)에 속하는 것을 특징으로 하는 비디오 부호화 방법.
  6. 제1항에 있어서, 상기 인터 레이어 참조 픽처 및 현재 레이어의 참조 픽처를 포함하여 상기 참조 픽처 리스트를 구성하는 단계에서는,
    상기 인터 레이어 참조 픽처의 시간적 레벨이 소정 레벨 이상인 경우에는 상기 인터 레이어 참조 픽처를 상기 참조 픽처 리스트에 포함되지 않는 것을 특징으로 하는 비디오 부호화 방법.
  7. 제6항에 있어서, 상기 인터 레이어 참조 픽처 및 현재 레이어의 참조 픽처를 포함하여 상기 참조 픽처 리스트를 구성하는 단계에서는,
    상기 현재 블록이 속하는 픽처의 시간적 레벨과 같거나 낮은 시간적 레벨을 가지는 참조 레이어의 픽처로부터 유도된 인터 레이어 참조 픽처를 포함하여 상기 참조 픽처 리스트를 구성하는 것을 특징으로 하는 비디오 부호화 방법.
  8. 참조 레이어의 픽처를 복호화 하는 단계;
    상기 참조 레이어의 복호화된 픽처를 샘플링하여 인터 레이어 참조 픽처를 유도하는 단계;
    상기 인터 레이어 참조 픽처 및 현재 레이어의 참조 픽처를 포함하는 참조 픽처 리스트를 구성하는 단계;
    상기 참조 픽처 리스트를 기반으로 상기 현재 레이어의 현재 블록에 대한 예측을 수행하여 상기 현재 블록에 대한 예측 샘플을 생성하는 단계; 및
    상기 예측 샘플과 상기 현재 블록에 대한 레지듀얼 샘플을 기반으로 상기 현재 블록에 대한 복원 샘플을 생성하는 단계를 포함하는 비디오 복호화 방법.
  9. 제8항에 있어서, 상기 현재 레이어에서, 상기 참조 픽처 리스트 내 상기 인터 레이어 참조 픽처 리스트의 위치는 고정된 특정 위치인 것을 특징으로 하는 비디오 복호화 방법.
  10. 제9항에 있어서, 상기 인터 레이어 참조 픽처의 상기 참조 픽처 리스트 내 위치는,
    상기 현재 레이어에서 상기 현재 블록이 속하는 픽처보다 선행하는 참조 픽처들의 다음 위치인 것을 특징으로 하는 비디오 복호화 방법.
  11. 제8항에 있어서, 상기 참조 픽처 리스트는 적어도 하나 이상의 참조 레이어로부터 유도된 적어도 하나 이상의 인터 레이어 참조 픽처를 포함하는 것을 특징으로 하는 비디오 복호화 방법.
  12. 제8항에 있어서, 상기 인터 레이어 참조 픽처는 상기 현재 블록이 속하는 픽처와 동일한 액세스 단위(Access Unit)에 속하는 것을 특징으로 하는 비디오 복호화 방법.
  13. 제8항에 있어서, 상기 인터 레이어 참조 픽처 및 현재 레이어의 참조 픽처를 포함하여 상기 참조 픽처 리스트를 구성하는 단계에서는,
    상기 인터 레이어 참조 픽처의 시간적 레벨이 소정 레벨 이상인 경우에는 상기 인터 레이어 참조 픽처를 상기 참조 픽처 리스트에 포함하지 않는 것을 특징으로 하는 비디오 복호화 방법.
  14. 제13항에 있어서, 상기 인터 레이어 참조 픽처 및 현재 레이어의 참조 픽처를 포함하여 상기 참조 픽처 리스트를 구성하는 단계에서는,
    상기 현재 블록이 속하는 픽처의 시간적 레벨과 같거나 낮은 시간적 레벨을 가지는 참조 레이어의 픽처로부터 유도된 인터 레이어 참조 픽처를 포함하여 상기 참조 픽처 리스트를 구성하는 것을 특징으로 하는 비디오 복호화 방법.
  15. 참조 레이어의 픽처를 복호화 하는 단계;
    상기 참조 레이어의 복호화된 픽처를 샘플링하여 인터 레이어 참조 픽처를 유도하는 단계;
    상기 인터 레이어 참조 픽처 및 현재 레이어의 참조 픽처를 포함하는 참조 픽처 리스트를 구성하는 단계; 및
    상기 참조 픽처 리스트를 기반으로 상기 현재 레이어의 현재 블록에 대한 예측을 수행하여 상기 현재 블록에 대한 예측 샘플을 생성하는 단계를 포함하는 것을 특징으로 하는 비디오 정보의 인터 예측 방법.
  16. 제15항에 있어서, 상기 현재 레이어에서, 상기 참조 픽처 리스트 내 상기 인터 레이어 참조 픽처 리스트의 위치는 고정된 특정 위치인 것을 특징으로 하는 비디오 정보의 인터 예측 방법.
  17. 제16항에 있어서, 상기 인터 레이어 참조 픽처의 상기 참조 픽처 리스트 내 위치는,
    상기 현재 레이어에서 상기 현재 블록이 속하는 픽처보다 선행하는 참조 픽처들의 다음 위치인 것을 특징으로 하는 비디오 정보의 인터 예측 방법.
  18. 제15항에 있어서, 상기 참조 픽처 리스트는 적어도 하나 이상의 참조 레이어로부터 유도된 적어도 하나 이상의 인터 레이어 참조 픽처를 포함하는 것을 특징으로 하는 비디오 정보의 인터 예측 방법.
  19. 제15항에 있어서, 상기 인터 레이어 참조 픽처는 상기 현재 블록이 속하는 픽처와 동일한 액세스 단위(Access Unit)에 속하는 것을 특징으로 하는 비디오 정보의 인터 예측 방법.
  20. 제15항에 있어서, 상기 인터 레이어 참조 픽처 및 현재 레이어의 참조 픽처를 포함하여 상기 참조 픽처 리스트를 구성하는 단계에서는,
    상기 인터 레이어 참조 픽처의 시간적 레벨이 소정 레벨 이상인 경우에는 상기 인터 레이어 참조 픽처를 상기 참조 픽처 리스트에 포함하지 않는 것을 특징으로 하는 비디오 정보의 인터 예측 방법.
  21. 제20항에 있어서, 상기 인터 레이어 참조 픽처 및 현재 레이어의 참조 픽처를 포함하여 상기 참조 픽처 리스트를 구성하는 단계에서는,
    상기 현재 블록이 속하는 픽처의 시간적 레벨과 같거나 낮은 시간적 레벨을 가지는 참조 레이어의 픽처로부터 유도된 인터 레이어 참조 픽처를 포함하여 상기 참조 픽처 리스트를 구성하는 것을 특징으로 하는 비디오 정보의 인터 예측 방법.
KR1020130153329A 2012-12-10 2013-12-10 비디오 부호화 방법 및 비디오 복호화 방법과 이를 이용하는 장치 KR102219841B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
PCT/KR2013/011424 WO2014092434A2 (ko) 2012-12-10 2013-12-10 비디오 부호화 방법 및 비디오 복호화 방법과 이를 이용하는 장치
KR1020210022002A KR102356481B1 (ko) 2012-12-10 2021-02-18 비디오 부호화 방법 및 비디오 복호화 방법과 이를 이용하는 장치

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20120142629 2012-12-10
KR1020120142629 2012-12-10

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020210022002A Division KR102356481B1 (ko) 2012-12-10 2021-02-18 비디오 부호화 방법 및 비디오 복호화 방법과 이를 이용하는 장치

Publications (2)

Publication Number Publication Date
KR20140076508A true KR20140076508A (ko) 2014-06-20
KR102219841B1 KR102219841B1 (ko) 2021-02-25

Family

ID=51128809

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130153329A KR102219841B1 (ko) 2012-12-10 2013-12-10 비디오 부호화 방법 및 비디오 복호화 방법과 이를 이용하는 장치

Country Status (1)

Country Link
KR (1) KR102219841B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180030996A (ko) * 2015-07-27 2018-03-27 미디어텍 인크. 인트라 블록 복사 모드를 이용한 비디오 코딩을 위한 시스템의 방법

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
DONG J ET AL: "Description of scalable video coding technology proposal by InterDigital Communications", 11. JCT-VC MEETING. no. JCTVC-K0034, 1 October 2012* *
Heiko S. et al. Description of 3D Video Technology Proposal by Fraunhofer HHI. ISO/IEC JTC1/SC29/WG11 MPEG2011: M22571, November 2011* *
HONG D ET AL: "Scalability Support in HEVC", 6. JCT-VC MEETING, no. JCTVC-F290, 1 July 2011* *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180030996A (ko) * 2015-07-27 2018-03-27 미디어텍 인크. 인트라 블록 복사 모드를 이용한 비디오 코딩을 위한 시스템의 방법
US11146794B2 (en) 2015-07-27 2021-10-12 Mediatek Inc. Method of system for video coding using intra block copy mode

Also Published As

Publication number Publication date
KR102219841B1 (ko) 2021-02-25

Similar Documents

Publication Publication Date Title
AU2015230740B2 (en) Method and apparatus of scalable video coding
US9860528B2 (en) Method and apparatus of scalable video coding
EP2941002B1 (en) Method for encoding/decoding images, and apparatus using same
KR102209109B1 (ko) 영상 부호화/복호화 방법 및 장치
KR20140016823A (ko) 영상의 복호화 방법 및 이를 이용하는 장치
KR20140043240A (ko) 영상 부호화/복호화 방법 및 장치
KR102356481B1 (ko) 비디오 부호화 방법 및 비디오 복호화 방법과 이를 이용하는 장치
KR102219841B1 (ko) 비디오 부호화 방법 및 비디오 복호화 방법과 이를 이용하는 장치
KR102418524B1 (ko) 영상 부호화/복호화 방법 및 장치
KR102271878B1 (ko) 영상의 부호화/복호화 방법 및 이를 이용하는 장치
KR102334374B1 (ko) 영상 부호화/복호화 방법 및 장치
KR20150008337A (ko) 영상의 복호화 방법 및 이를 이용하는 장치

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
A107 Divisional application of patent
GRNT Written decision to grant