KR101420718B1 - 스케일러블 비디오 부호화 및 복호화 방법, 그리고 이를 이용한 장치 - Google Patents

스케일러블 비디오 부호화 및 복호화 방법, 그리고 이를 이용한 장치 Download PDF

Info

Publication number
KR101420718B1
KR101420718B1 KR1020130024979A KR20130024979A KR101420718B1 KR 101420718 B1 KR101420718 B1 KR 101420718B1 KR 1020130024979 A KR1020130024979 A KR 1020130024979A KR 20130024979 A KR20130024979 A KR 20130024979A KR 101420718 B1 KR101420718 B1 KR 101420718B1
Authority
KR
South Korea
Prior art keywords
block
base layer
prediction
layer
encoding
Prior art date
Application number
KR1020130024979A
Other languages
English (en)
Other versions
KR20140082540A (ko
Inventor
김문철
전병우
Original Assignee
성균관대학교산학협력단
한국과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 성균관대학교산학협력단, 한국과학기술원 filed Critical 성균관대학교산학협력단
Publication of KR20140082540A publication Critical patent/KR20140082540A/ko
Application granted granted Critical
Publication of KR101420718B1 publication Critical patent/KR101420718B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

스케일러블 비디오 부호화 및 복호화 방법, 그리고 이를 이용한 장치가 개시된다. 상기 스케일러블 비디오 복호화 방법은 향상 계층(enhancement layer)의 현재 복호화 대상 블록에 대응되는 기본 계층(base layer)의 블록 분할 정보를 기반으로 상기 현재 복호화 대상 블록을 분할하는 단계 및 상기 분할된 현재 복호화 대상 블록을 기반으로 복호화를 수행하는 단계를 포함한다.

Description

스케일러블 비디오 부호화 및 복호화 방법, 그리고 이를 이용한 장치{METHOD AND APPARATUS FOR SCALABLE VIDEO ENCODING AND DECODING}
본 발명은 영상 부호화 및 복호화에 관한 것으로, 보다 상세하게는 스케일러블 비디오 코딩(Scalable Video Coding; SVC)을 기반으로 하는 영상 부호화 및 복호화 방법, 그리고 이를 이용한 장치에 관한 것이다.
최근 멀티미디어(multimedia) 환경이 구축되면서, 다양한 단말과 네트워크가 이용되고 있으며, 이에 따른 사용자 요구도 다변화하고 있다.
예컨대, 단말의 성능과 컴퓨팅 능력(computing capability)가 다양해짐에 따라서 지원하는 성능도 기기별로 다양해지고 있다. 또한 정보가 전송되는 네트워크 역시 유무선 네트워크와 같은 외형적인 구조뿐만 아니라, 전송하는 정보의 형태, 정보량과 속도 등 기능별로도 다양해지고 있다. 사용자는 원하는 기능에 따라서 사용할 단말과 네트워크를 선택하며, 또한 기업이 사용자에게 제공하는 단말과 네트워크의 스펙트럼도 다양해지고 있다.
이와 관련하여, 최근 HD(High Definition) 해상도를 가지는 방송이 국내뿐만 아니라 세계적으로 확대되어 서비스되면서, 많은 사용자들이 고해상도, 고화질의 영상에 익숙해지고 있다. 이에 따라서 많은 영상 서비스 관련 기관들이 차세대 영상 기기에 대한 개발에 많은 노력을 하고 있다.
또한 HDTV와 더불어 HDTV의 4배 이상의 해상도를 가지는 UHD(Ultra High Definition)에 대한 관심이 증대되면서 보다 높은 해상도, 고화질의 영상을 압축하여 처리하는 기술에 대한 요구는 더 높아지고 있다.
영상을 압축하여 처리하기 위해, 시간적으로 이전 및/또는 이후의 픽처로부터 현재 픽처에 포함된 화소값을 예측하는 인터(inter) 예측 기술, 현재 픽처 내의 화소 정보를 이용하여 현재 픽처에 포함된 다른 화소값을 예측하는 인트라(intra) 예측 기술, 출현 빈도가 높은 심볼(symbol)에 짧은 부호를 할당하고 출현 빈도가 낮은 심볼에 긴 부호를 할당하는 엔트로피 인코딩 기술 등이 사용될 수 있다.
상술한 바와 같이, 지원하는 기능이 상이한 각 단말과 네트워크 그리고 다변화된 사용자의 요구를 고려할 때, 지원되는 영상의 품질, 크기, 프레임 등도 이에 따라 다변화될 필요가 있다.
이와 같이, 이종의 통신망과 다양한 기능 및 종류의 단말로 인해, 영상의 화질, 해상도, 크기, 프레임 율 등을 다양하게 지원하는 스케일러빌리티(scalability)는 비디오 포맷의 중요한 기능이 되고 있다.
따라서, 고효율의 비디오 부호화 방법을 기반으로 다양한 환경에서 사용자가 요구하는 서비스를 제공하기 위해 시간, 공간, 화질 등의 측면에서 효율적인 비디오 부호화와 복호화가 가능하도록 스케일러빌리티 기능을 제공하는 것이 필요하다.
본 발명은 부호화/복호화 효율을 향상시킬 수 있는 스케일러블 비디오 부호화/복호화 방법 및 장치를 제공한다.
본 발명은 부호화/복호화 효율을 향상시킬 수 있는 SVC에서 기본 계층의 블록 분할 정보를 이용한 향상 계층의 비디오 부호화/복호화 방법 및 장치를 제공한다.
본 발명의 일 양태에 따르면, 스케일러블 비디오 복호화 방법이 제공된다. 상기 방법은 향상 계층(enhancement layer)의 현재 복호화 대상 블록에 대응되는 기본 계층(base layer)의 블록 분할 정보를 기반으로 상기 현재 복호화 대상 블록을 분할하는 단계 및 상기 분할된 현재 복호화 대상 블록을 기반으로 복호화를 수행하는 단계를 포함한다.
상기 기본 계층의 블록 분할 정보는, 상기 기본 계층의 부호화 블록 분할 정보, 상기 기본 계층의 예측 블록 분할 정보 및 상기 기본 계층의 변환 블록 분할 정보 중 적어도 하나를 포함한다.
상기 현재 복호화 대상 블록을 분할하는 단계에서는, 상기 현재 복호화 대상 블록에 대응되는 상기 기본 계층의 부호화 블록 분할 정보를 기반으로 상기 현재 복호화 대상 블록에 대한 부호화 유닛(Coding Unit; CU)의 크기를 결정할 수 있다.
상기 현재 복호화 대상 블록을 분할하는 단계에서는, 상기 현재 복호화 대상 블록에 대응되는 상기 기본 계층의 예측 블록 분할 정보를 기반으로 상기 현재 복호화 대상 블록에 적용할 예측 유닛(Prediction Unit; PU)의 크기를 결정할 수 있다.
상기 현재 복호화 대상 블록을 분할하는 단계에서는, 상기 현재 복호화 대상 블록에 대응되는 상기 기본 계층의 변환 블록 분할 정보를 기반으로 상기 현재 복호화 대상 블록에 적용할 변환 유닛(Transform Unit; TU)의 크기를 결정할 수 있다.
상기 부호화 유닛은 상기 기본 계층의 부호화 블록 분할 형태를 기초로 상기 기본 계층의 부호화 블록 크기를 스케일링한 것일 수 있다.
상기 예측 유닛은 상기 기본 계층의 예측 블록 분할 형태를 기초로 상기 기본 계층의 예측 블록 크기를 스케일링한 것일 수 있다.
상기 변환 유닛은 상기 기본 계층의 변환 블록 분할 형태를 기초로 상기 기본 계층의 변환 블록 크기를 스케일링한 것일 수 있다.
본 발명의 다른 양태에 따르면, 스케일러블 비디오 부호화 방법이 제공된다. 상기 방법은 향상 계층(enhancement layer)의 현재 부호화 대상 블록에 대응되는 기본 계층(base layer)의 블록 분할 정보를 기반으로 상기 현재 부호화 대상 블록을 분할하는 단계 및 상기 분할된 현재 부호화 대상 블록을 기반으로 부호화를 수행하는 단계를 포함한다.
상기 기본 계층의 블록 분할 정보는, 상기 기본 계층의 부호화 블록 분할 정보, 상기 기본 계층의 예측 블록 분할 정보 및 상기 기본 계층의 변환 블록 분할 정보 중 적어도 하나를 포함한다.
상기 현재 부호화 대상 블록을 분할하는 단계에서는, 상기 현재 부호화 대상 블록에 대응되는 상기 기본 계층의 부호화 블록 분할 정보를 기반으로 상기 현재 부호화 대상 블록의 부호화 유닛(Coding Unit; CU) 크기를 결정할 수 있다.
상기 현재 부호화 대상 블록을 분할하는 단계에서는, 상기 현재 부호화 대상 블록에 대응되는 상기 기본 계층의 예측 블록 분할 정보를 기반으로 상기 현재 부호화 대상 블록에 적용할 예측 유닛(Prediction Unit; PU)의 크기를 결정할 수 있다.
상기 현재 부호화 대상 블록을 분할하는 단계에서는, 상기 현재 부호화 대상 블록에 대응되는 상기 기본 계층의 변환 블록 분할 정보를 기반으로 상기 현재 부호화 대상 블록에 적용할 변환 유닛(Transform Unit; TU)의 크기를 결정할 수 있다.
상기 부호화 유닛은 상기 기본 계층의 부호화 블록 분할 형태를 기초로 상기 기본 계층의 부호화 블록 크기를 스케일링한 것일 수 있다.
상기 예측 유닛은 상기 기본 계층의 예측 블록 분할 형태를 기초로 상기 기본 계층의 예측 블록 크기를 스케일링한 것일 수 있다.
상기 변환 유닛은 상기 기본 계층의 변환 블록 분할 형태를 기초로 상기 기본 계층의 변환 블록 크기를 스케일링한 것일 수 있다.
스케일러블 비디오 코딩에서 기본 계층의 블록(부호화 블록, 예측 블록, 변환 블록) 분할 정보를 이용하여 향상 계층의 비디오 부호화 및 복호화를 수행함으로써 향상 계층의 블록 분할 정보 시그널링에 필요한 데이터 양을 감소시킬 수 있으며, 이로 인해 부호화 효율을 향상시킬 수 있다.
도 1은 영상 부호화 장치의 일 실시예에 따른 구성을 나타내는 블록도이다.
도 2는 영상 복호화 장치의 일 실시예에 따른 구성을 나타내는 블록도이다.
도 3은 SVC에서 계층 간(inter layer) 움직임 예측을 부호화하는 방법을 개략적으로 설명하기 위한 개념도이다.
도 4는 본 발명의 일 실시예에 따른 SVC에서 기본 계층(또는, 하위 계층)의 부호화 블록(Coding Block; CB) 분할 정보를 이용하여 향상 계층(또는, 상위 계층)의 부호화/복호화 대상 블록을 분할하는 방법을 개략적으로 설명하기 위한 개념도이다.
도 5는 본 발명의 일 실시예에 따른 SVC에서 기본 계층(또는, 하위 계층)의 예측 블록(Prediction Block; PB) 분할 정보를 이용하여 향상 계층(또는, 상위 계층)의 부호화/복호화 대상 블록을 분할하는 방법을 개략적으로 설명하기 위한 개념도이다.
도 6은 본 발명의 다른 실시예에 따른 SVC에서 기본 계층(또는, 하위 계층)의 예측 블록(Prediction Block; PB) 분할 정보를 이용하여 향상 계층(또는, 상위 계층)의 부호화/복호화 대상 블록을 분할하는 방법을 개략적으로 설명하기 위한 개념도이다.
도 7은 본 발명의 일 실시예에 따른 SVC에서 기본 계층(또는, 하위 계층)의 변환 블록(Transform Block; TB) 분할 정보를 이용하여 향상 계층(또는, 상위 계층)의 부호화/복호화 대상 블록을 분할하는 방법을 개략적으로 설명하기 위한 개념도이다.
도 8은 본 발명의 실시예에 따른 SVC에서 기본 계층(또는, 하위 계층)의 블록 분할 정보를 이용한 향상 계층(또는, 상위 계층)의 부호화 및/또는 복호화 방법을 개략적으로 나타낸 순서도이다.
이하, 도면을 참조하여 본 발명의 실시예에 대하여 구체적으로 설명한다. 본 명세서의 실시예를 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 명세서의 요지를 흐릴 수 있다고 판단되는 경우에는 해당 설명을 생략할 수도 있다.
본 명세서에서 어떤 구성 요소가 다른 구성 요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성 요소에 직접적으로 연결되어 있거나 또는 접속되어 있는 것을 의미할 수도 있고, 중간에 다른 구성 요소가 존재하는 것을 의미할 수도 있다. 아울러, 본 명세서에서 특정 구성을 "포함"한다고 기술하는 내용은 해당 구성 이외의 구성을 배제하는 것이 아니며, 추가적인 구성이 본 발명의 실시 또는 본 발명의 기술적 사상의 범위에 포함될 수 있음을 의미한다.
제1, 제2 등의 용어는 다양한 구성들을 설명하는데 사용될 수 있지만, 상기 구성들은 상기 용어에 의해 한정되지 않는다. 상기 용어들은 하나의 구성을 다른 구성으로부터 구별하는 목적으로 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성은 제2 구성으로 명명될 수 있고, 유사하게 제2 구성도 제1 구성으로 명명될 수 있다.
또한 본 발명의 실시예에 나타나는 구성부들은 서로 다른 특징적인 기능을 나타내기 위해 독립적으로 도시되는 것으로, 각 구성부들이 분리된 하드웨어나 하나의 소프트웨어 구성 단위로 이루어짐을 의미하지 않는다. 즉, 각 구성부는 설명의 편의상 각각의 구성부로 나열하여 포함한 것으로 각 구성부 중 적어도 두 개의 구성부가 하나의 구성부를 이루거나, 하나의 구성부가 복수 개의 구성부로 나뉘어져 기능을 수행할 수 있다. 각 구성부의 통합된 실시예 및 분리된 실시예도 본 발명의 본질에서 벗어나지 않는 한 본 발명의 권리 범위에 포함된다.
도 1은 영상 부호화 장치의 일 실시예에 따른 구성을 나타내는 블록도이다. 스케일러블(scalable) 비디오 부호화/복호화 방법 또는 장치는, 스케일러빌리티(scalability)를 제공하지 않는 일반적인 영상 부호화/복호화 방법 또는 장치의 확장(extension)에 의해 구현될 수 있으며, 도 1의 블록도는 스케일러블 비디오 부호화 장치의 기초가 될 수 있는 영상 부호화 장치의 일 실시예를 나타낸다.
도 1을 참조하면, 영상 부호화 장치(100)는 인터 예측부(110), 인트라 예측부(120), 스위치(125), 감산기(130), 변환부(135), 양자화부(140), 엔트로피 부호화부(150), 역양자화부(160), 역변환부(170), 가산기(175), 필터부(180) 및 픽처 버퍼(190)를 포함한다.
영상 부호화 장치(100)는 입력 영상에 대해 인트라(intra) 모드 또는 인터(inter) 모드로 부호화를 수행하고 비트스트림(bitstream)을 출력할 수 있다. 인트라 모드인 경우 스위치(125)가 인트라로 전환되고, 인터 모드인 경우 스위치(125)가 인터로 전환된다. 영상 부호화 장치(100)는 입력 영상의 입력 블록에 대한 예측 블록을 생성한 후, 입력 블록과 예측 블록의 차분(residual)을 부호화할 수 있다.
인트라 모드인 경우, 인트라 예측부(120)는 현재 블록 주변의 이미 부호화된 블록의 픽셀 값을 이용하여 공간적 예측을 수행하여 예측 블록을 생성할 수 있다.
인터 모드인 경우, 인터 예측부(110)는, 움직임 예측 과정에서 픽처 버퍼(190)에 저장되어 있는 참조 영상에서 입력 블록에 대응하는 영역을 찾아 움직임 벡터를 구할 수 있다. 인터 예측부(110)는 움직임 벡터와 픽처 버퍼(190)에 저장되어 있는 참조 영상을 이용하여 움직임 보상을 수행함으로써 예측 블록을 생성할 수 있다.
감산기(130)는 입력 블록과 생성된 예측 블록의 차분에 의해 잔차 블록(residual block)을 생성할 수 있다. 변환부(135)는 잔차 블록에 대해 변환(transform)을 수행하여 변환 계수(transform coefficient)를 출력할 수 있다. 그리고 양자화부(140)는 입력된 변환 계수를 양자화 파라미터에 따라 양자화하여 양자화된 계수(quantized coefficient)를 출력할 수 있다.
엔트로피 부호화부(150)는, 양자화부(140)에서 산출된 값들 또는 부호화 과정에서 산출된 부호화 파라미터 값 등을 기초로 엔트로피 부호화하여 비트스트림(bitstream)을 출력할 수 있다.
영상 부호화 장치(100)는 인터 예측 부호화를 수행하므로, 현재 부호화된 영상은 참조 영상으로 사용되기 위해 복호화되어 저장될 필요가 있다. 따라서, 양자화된 계수는 역양자화부(160)에서 역양자화되고 역변환부(170)에서 역변환될 수 있다. 역양자화, 역변환된 계수는 가산기(175)를 통해 예측 블록과 더해지고 복원 블록이 생성될 수 있다.
복원 블록은 필터부(180)를 거치고, 필터부(180)는 디블록킹 필터(deblocking filter), SAO(Sample Adaptive Offset), ALF(Adaptive Loop Filter) 중 적어도 하나 이상을 복원 블록 또는 복원 픽처에 적용할 수 있다. 필터부(180)를 거친 복원 블록은 픽처 버퍼(190)에 저장될 수 있다.
도 2는 영상 복호화 장치의 일 실시예에 따른 구성을 나타내는 블록도이다. 도 1에서 상술한 바와 같이 스케일러블 비디오 부호화/복호화 방법 또는 장치는, 스케일러빌리티를 제공하지 않는 일반적인 영상 부호화/복호화 방법 또는 장치의 확장에 의해 구현될 수 있으며, 도 2의 블록도는 스케일러블 비디오 복호화 장치의 기초가 될 수 있는 영상 복호화 장치의 일 실시예를 나타낸다.
도 2를 참조하면, 영상 복호화 장치(200)는 엔트로피 복호화부(210), 역양자화부(220), 역변환부(230), 인트라 예측부(240), 인터 예측부(250), 필터부(260) 및 픽처 버퍼(270)를 포함한다.
영상 복호화 장치(200)는 부호화 장치에서 출력된 비트스트림을 입력 받아 인트라 모드 또는 인터 모드로 복호화를 수행하고 재구성된 영상, 즉 복원 영상을 출력할 수 있다. 인트라 모드인 경우 스위치가 인트라로 전환되고, 인터 모드인 경우 스위치가 인터로 전환될 수 있다.
영상 복호화 장치(200)는 입력 받은 비트스트림으로부터 복원된 잔차 블록(residual block)을 얻고 예측 블록을 생성한 후 복원된 잔차 블록과 예측 블록을 더하여 재구성된 블록, 즉 복원 블록을 생성할 수 있다.
엔트로피 복호화부(210)는, 입력된 비트스트림을 확률 분포에 따라 엔트로피 복호화한다. 엔트로피 복호화에 의해, 양자화된 (변환) 계수가 생성될 수 있다.
양자화된 계수는 역양자화부(220)에서 역양자화되고 역변환부(230)에서 역변환되며, 양자화된 계수가 역양자화/역변환된 결과, 복원된 잔차 블록(residual block)이 생성될 수 있다.
인트라 모드인 경우, 인트라 예측부(240)는 현재 블록 주변의 이미 부호화된 블록의 픽셀 값을 이용하여 공간적 예측을 수행하여 예측 블록을 생성할 수 있다.
인터 모드인 경우, 인터 예측부(250)는 움직임 벡터 및 픽처 버퍼(270)에 저장되어 있는 참조 영상을 이용하여 움직임 보상을 수행함으로써 예측 블록을 생성할 수 있다.
복원된 잔차 블록과 예측 블록은 가산기(255)를 통해 더해지고, 더해진 블록은 필터부(260)를 거친다. 필터부(260)는 디블록킹 필터, SAO, ALF 중 적어도 하나를 복원 블록 또는 복원 픽처에 적용할 수 있다. 필터부(260)는 재구성된 영상, 즉 복원 영상을 출력할 수 있다. 복원 영상은 픽처 버퍼(270)에 저장되어 인터 예측에 사용될 수 있다.
한편, 통신 및 영상 기술의 발달에 따라서, 영상 정보를 이용하는 다양한 기기들은 서로 다른 성능을 가지고 있다. 예컨대, 핸드폰과 같은 기기들은 비교적 낮은 해상도의 동영상을 비트스트림 기반으로 재생하기도 한다. 이에 비하여, PC(Personal Computer)와 같은 기기들은 비교적 높은 해상도의 동영상을 재생할 수 있다. 또한, 다양한 네트워크 환경으로 인해 영상 데이터를 전송하는 전송 매체별로 성능의 차이가 발생할 수 있다.
따라서, 다양한 네트워크 환경 또는 다양한 성능의 기기들에 최적의 동영상 서비스를 제공하기 위한 방법이 고려될 필요가 있다. 이에 대한 해법 중 하나가 스케일러블 비디오 코딩(Scalable Video Coding; SVC, 이하, 'SVC'라 함)이다.
SVC는 계층(layer) 간의 텍스처 정보, 움직임 정보, 잔차 신호 등을 활용하여 계층 간의 중복성을 제거하여 부호화/복호화 성능을 높이는 코딩 방법이다. 또한, SVC는 전송 비트율, 전송 에러율, 시스템 자원 등의 주변 조건에 따라 공간적(spatial), 시간적(temporal), 화질적(quality) 관점에서 다양한 스케일러빌리티(scalability)를 제공할 수 있다.
이를 위해, SVC는 복수 계층(multiple layers) 구조를 사용할 수 있다. 예를 들어, SVC는 일반적인 영상 부호화 방법을 이용하여 영상 정보를 처리하는 기본 계층(base layer)과, 기본 계층의 부호화 정보 및 일반적인 영상 부호화 방법을 함께 사용하여 영상 정보를 처리하는 향상 계층(enhancement layer)를 포함할 수 있다. 여기서, 기본 계층은 하위 계층(lower layer)으로 불릴 수도 있으며, 향상 계층은 상위 계층(higher layer)으로 불릴 수도 있다.
SVC의 복수 계층 구조는, 복수의 공간 계층, 복수의 시간 계층, 복수의 화질 계층 등을 포함할 수 있다. 서로 다른 공간 계층에 포함된 영상들은 서로 다른 공간적 해상도를 가질 수 있으며, 서로 다른 시간 계층에 포함된 영상들은 서로 다른 시간적 해상도(프레임율)를 가질 수 있다. 또한, 서로 다른 화질 계층에 포함된 영상들은 서로 다른 화질, 예컨대 서로 다른 SNR(Signal-to-Noise Ratio)을 가질 수 있다. 여기서, 계층은 공간(예를 들어, 영상의 크기), 시간(예를 들어, 부호화 순서, 영상 출력 순서), 화질, 복잡도 등을 기준으로 구분되는 영상 및/또는 비트스트림의 집합을 의미할 수 있다. 또한, 복수의 계층들은 서로 간에 종속성을 가질 수도 있다.
예를 들어, 기본 계층(또는, 하위 계층)과 향상 계층(또는, 상위 계층)들은 서로 다른 비트율, 해상도, 크기 등의 특성을 가질 수 있다. 기본 계층(또는, 하위 계층)에 대한 비트스트림은 기본적인 영상 정보를 포함할 수 있고, 향상 계층(또는, 상위 계층)에 대한 비트스트림은 기본 계층(또는, 하위 계층)의 비트스트림보다 품질(예컨대, 정확도, 크기, 프레임 레이트 등)이 더 향상된 영상 정보를 포함할 수 있다.
따라서, 각 계층은 서로 다른 특성을 고려하여 부호화/복호화될 수 있다. 예컨대, 도 1의 영상 부호화 장치 및 도 2의 영상 복호화 장치가 각 계층별로 해당 계층의 픽처를 도 1 및 도 2에서 상술한 바와 같이 부호화하고 복호화할 수 있다. 또한, 각 계층의 픽처는 다른 계층의 정보를 이용하여 부호화/복호화될 수도 있다. 예컨대, 각 계층의 픽처는 다른 계층의 정보를 이용한 인터 레이어 예측(inter layer prediction)을 통해 부호화되고 복호화될 수 있다. 따라서, SVC 구조에 있어서, 도 1 및 도 2에서 설명한 부호화 장치 및 복호화 장치의 예측부는 다른 계층, 즉 참조 계층(reference layer)의 정보를 이용한 예측을 수행할 수 있다. 예컨대, 참조 계층의 정보를 이용하여 인터 레이어 텍스처(texture) 예측, 인터 레이어 움직임 예측, 인터 레이어 잔차 신호(residual) 예측 등을 수행할 수 있다.
인터 레이어 텍스처 예측에서는 다른 계층의 텍스처 정보를 기반으로 현재 계층(부호화 또는 복호화 대상 계층)의 텍스처가 예측될 수 있다. 인터 레이어 움직임 예측에서는 다른 계층의 움직임 정보(움직임 벡터, 참조 픽처 등)를 기반으로 현재 계층의 움직임 정보가 예측될 수 있다. 인터 레이어 잔차 신호 예측에서는 다른 계층의 잔차 신호를 기반으로 현재 계층의 잔차 신호가 예측될 수 있다.
SVC에서는 다른 계층의 정보를 이용하여 현재 계층이 부호화되고 복호화되므로, 계층 간의 중복된 정보를 처리하는 복잡도가 감소될 수 있으며, 중복된 정보를 전송하는 오버헤드가 감소될 수도 있다.
도 3은 SVC에서 계층 간(inter layer) 움직임 예측을 부호화하는 방법을 개략적으로 설명하기 위한 개념도이다.
종래의 영상 압축 기술인 H.264/AVC의 경우, 영상의 부호화/복호화는 매크로 블록(Macro Block; MB) 단위로 수행될 수 있다. 이때, 매크로 블록은 더 작은 크기의 서브 매크로 블록(Sub Macro Block)으로 분할되어 예측이 수행될 수 있다. 예컨대, 16x16 크기의 매크로 블록은 16x16, 16x8, 8x16, 8x8, 8x4, 4x8, 4x4의 크기를 가지는 서브 매크로 블록으로 분할되어 움직임 예측이 수행될 수 있다.
도 3을 참조하면, H.264/AVC를 기반으로 하는 SVC에서 계층 간 움직임 예측시, 기본 계층(또는, 하위 계층)에서 움직임 예측을 위해 분할된 서브 매크로 블록의 분할 정보와 서브 매크로 블록의 움직임 벡터 정보를 이용하여, 향상 계층(또는, 상위 계층)의 부호화/복호화 대상 블록에 대한 분할을 결정하고 분할된 블록의 움직임 정보로 활용할 수 있다.
예를 들어, 도 3에 도시된 바와 같이, H.264/AVC를 기반으로 하는 H.264/SVC에서 기본 계층(또는, 하위 계층)(L-1)의 부호화/복호화 대상 블록(310)이 8x8, 8x4, 4x8, 4x4 크기의 서브 매크로 블록으로 분할되어 움직임 예측이 수행된 경우, 기본 계층(또는, 하위 계층)(L-1)보다 공간 해상도가 2배로 향상된 특성을 가지는 향상 계층(또는, 상위 계층)(L)에서는 기본 계층(또는, 하위 계층)(L-1)의 블록 분할 정보를 기반으로 부호화/복호화 대상 블록(320)이 분할되어 움직임 예측이 수행될 수 있다. 예컨대, 향상 계층(또는, 상위 계층)(L)의 부호화/복호화 대상 블록(320)은 기본 계층(또는, 하위 계층)(L-1)의 8x8, 8x4, 4x8, 4x4 크기의 서브 매크로 블록과 대응되는 16x16, 16x8, 8x16, 8x8 크기의 블록으로 분할될 수 있다.
이와 마찬가지로, 기본 계층(또는, 하위 계층)(L-1)의 부호화/복호화 대상 블록(315)이 16x16, 16x8, 또는 8x16 크기의 서브 매크로 블록으로 분할되어 움직임 예측이 수행된 경우, 향상 계층(또는, 상위 계층)(L)의 부호화/복호화 대상 블록(325)은 4개의 16x16 크기 블록으로 분할되어 움직임 예측이 수행될 수 있다.
이때, 향상 계층(또는, 상위 계층)(L)의 부호화/복호화 대상 블록(320, 325) 내 분할된 블록 각각은 그와 대응하는 기본 계층(또는, 하위 계층)(L-1)의 서브 매크로 블록의 움직임 벡터 정보를 이용하여 부호화/복호화될 수 있다.
예를 들어, 도 3에 도시된 바와 같이, H.264/AVC를 기반으로 하는 H.264/SVC에서, 향상 계층(또는, 상위 계층)(L)이 기본 계층(또는, 하위 계층)(L-1)보다 2배의 공간 해상도를 가진 경우라면, 향상 계층(또는, 상위 계층)(L)에서 움직임 예측을 위해 분할된 블록(330)은 그와 대응하는 기본 계층(또는, 하위 계층)(L-1)에서의 서브 매크로 블록(340)의 움직임 벡터(MVL -1)를 2배 스케일링한 값을 분할된 블록(330)의 움직임 벡터(MVL)로 이용할 수 있다.
상술한 바와 같이, 종래의 영상 압축 기술인 H.264/AVC를 기반으로 하는 H.264/SVC의 경우, 부호화/복호화 단위가 16x16 크기의 매크로 블록으로 고정되어 있으며 기본 계층(또는, 하위 계층)의 매크로 블록의 분할(partition) 정보만을 이용하여 향상 계층(또는, 상위 계층)의 부호화/복호화 대상 블록을 분할하는데 이용한다. 그러나, 현재 표준화가 진행 중인 HEVC(High Efficiency Video Coding)의 경우, 부호화/복호화 대상 블록의 크기가 8x8에서 64x64까지 가변적이며, 각 부호화/복호화 대상 블록 내에서도 예측 블록, 변환 블록의 크기가 결정되며 그 크기 또한 가변적이다. 따라서, 종래 H.264/AVC를 기반으로 하는 H.264/SVC에서와 같이 부호화/복호화 대상 블록의 크기가 고정되어 있으며 기본 계층(또는, 하위 계층)의 예측 시 블록 분할 정보만을 이용하여 향상 계층(또는, 상위 계층)의 부호화/복호화 대상 블록 분할에 이용할 경우, 기본 계층(또는, 하위 계층)과 향상 계층(또는, 상위 계층) 간의 공간 해상도에 따른 블록 분할 특성을 충분히 반영하기 힘들기 때문에 부호화 효율을 개선하는데 한계가 있다.
이하, 본 발명에서는 HEVC에서와 같이 부호화/복호화 대상 블록의 크기가 가변적일 경우, SVC에서 기본 계층(또는, 하위 계층)의 부호화/복호화 대상 블록의 분할 정보를 이용하여 향상 계층(또는, 상위 계층)의 부호화/복호화를 수행함으로써 블록 분할 정보의 시그널링에 사용되는 데이터의 양을 감소시켜 부호화 효율을 향상시킬 수 있는 방법을 제공한다.
한편, HEVC의 경우, 영상의 부호화/복호화는 가장 큰 부호화/복호화 크기인 CTB(Coding Tree Block)로부터 쿼드트리(quadtree) 형태로 분할되어 수행될 수 있다. 이때, CTB로부터 쿼드트리 형태로 분할된 부호화 유닛(Coding Unit; CU, 또는 Coding Block; CB)을 기반으로 예측을 위한 기본 단위인 예측 유닛(Prediction Unit; PU, 또는 Prediction Block; PB)과 변환을 위한 기본 단위인 변환 유닛(Transform Unit; TU, 또는 Transform Block; TB)으로 분할될 수 있다.
도 4는 본 발명의 일 실시예에 따른 SVC에서 기본 계층(또는, 하위 계층)의 부호화 블록(Coding Block; CB) 분할 정보를 이용하여 향상 계층(또는, 상위 계층)의 부호화/복호화 대상 블록을 분할하는 방법을 개략적으로 설명하기 위한 개념도이다.
도 4를 참조하면, HEVC를 기반으로 하는 SVC에서 기본 계층(또는, 하위 계층)(L-1)의 부호화 블록(또는, 부호화 유닛)은 64x64, 32x32, 16x16 크기의 CTB로부터 쿼드트리 형태로 분할될 수 있다. 예컨대, 도 4에 도시된 바와 같이, CTB는 4개의 8x8 크기의 부호화 블록(410), 4개의 16x16 크기의 부호화 블록(420), 4개의 32x32 크기의 부호화 블록(430), 또는 64x64 크기의 부호화 블록(440)으로 분할될 수 있다. 즉, 부호화 블록은 2Nx2N, NxN 크기의 블록일 수 있다. N은 부호화 블록의 가로 또는 세로 길이의 반에 해당할 수 있다.
이때, SVC에서 향상 계층(또는, 상위 계층)(L)의 부호화/복호화 대상 블록은 기본 계층(또는, 하위 계층)(L-1)의 부호화 블록 분할 정보를 이용하여 분할될 수 있으며, 이를 기반으로 부호화/복호화가 수행될 수 있다.
예를 들어, 도 4에 도시된 바와 같이, 기본 계층(또는, 하위 계층)(L-1)에서 하나의 CTU가 4개의 8x8 크기의 부호화 블록(410)으로 분할된 경우, 그와 대응되는 향상 계층(또는, 상위 계층)(L)의 부호화/복호화 대상 블록은 4개의 16x16 크기의 부호화 블록(450)으로 분할되어 부호화/복호화될 수 있다.
또는, 기본 계층(또는, 하위 계층)(L-1)에서 하나의 CTU가 4개의 16x16 크기의 부호화 블록(420)으로 분할된 경우, 그와 대응되는 향상 계층(또는, 상위 계층)(L)의 부호화/복호화 대상 블록은 4개의 32x32 크기의 부호화 블록(460)으로 분할되어 부호화/복호화될 수 있다.
또는, 기본 계층(또는, 하위 계층)(L-1)에서 하나의 CTU가 4개의 32x32 크기의 부호화 블록(430)으로 분할된 경우, 그와 대응되는 향상 계층(또는, 상위 계층)(L)의 부호화/복호화 대상 블록은 4개의 64x64 크기의 부호화 블록(470)으로 분할되어 부호화/복호화될 수 있다.
또는, 기본 계층(또는, 하위 계층)(L-1)에서 부호화 블록이 64x64 크기의 부호화 블록(440)인 경우, 그와 대응되는 향상 계층(또는, 상위 계층)(L)의 부호화/복호화 대상 블록은 4개의 64x64 크기의 부호화 블록(480)으로 분할되어 부호화/복호화될 수 있다.
상기와 같이, 향상 계층(또는, 상위 계층)(L)의 공간적 스케일러빌리티를 제공하기 위해 기본 계층(또는, 하위 계층)(L-1)의 부호화 블록 분할 정보를 기반으로 부호화 블록의 크기를 스케일링하여 향상 계층(또는, 상위 계층)(L)의 부호화 블록을 결정할 수 있다. 이 경우, 부호화기는 향상 계층(또는, 상위 계층)(L)의 부호화 블록에 대한 분할 정보를 부호화하여 복호화기로 전송할 필요가 없으므로, 부호화 효율을 향상시킬 수 있다.
도 5는 본 발명의 일 실시예에 따른 SVC에서 기본 계층(또는, 하위 계층)의 예측 블록(Prediction Block; PB) 분할 정보를 이용하여 향상 계층(또는, 상위 계층)의 부호화/복호화 대상 블록을 분할하는 방법을 개략적으로 설명하기 위한 개념도이다.
도 5를 참조하면, HEVC를 기반으로 하는 SVC에서 기본 계층(또는, 하위 계층)(L-1)의 예측 블록(또는, 예측 유닛)은 부호화 블록(또는, 부호화 유닛)을 기반으로 RDO(Rate-distortion Optimization)를 고려하여 대칭적(symmetric)으로 분할될 수 있다. 여기서, 예측 블록은 2Nx2N, 2NxN, Nx2N, NxN 크기를 가지는 블록으로 분할될 수 있다.
이때, 향상 계층(또는, 상위 계층)(L)의 부호화/복호화 대상 블록은 기본 계층(또는, 하위 계층)(L-1)의 예측 블록 분할 정보를 기반으로 분할되어 예측이 수행될 수 있다. 예컨대, 향상 계층(또는, 상위 계층)(L)의 공간적 스케일러빌리티를 제공하기 위해, 기본 계층(또는, 하위 계층)(L-1)의 예측 블록 분할 정보(예를 들어, 2Nx2N, 2NxN, Nx2N, NxN 분할 형태)를 기반으로 예측 블록의 크기를 스케일링하여 향상 계층(또는, 상위 계층)(L)의 예측 블록을 결정할 수 있다.
예를 들어, 도 5에 도시된 바와 같이, 기본 계층(또는, 하위 계층)(L-1)의 예측 블록(510)은 16x16 또는 8x8 크기의 부호화 블록 내에서 RDO를 고려하여 8x8, 8x4, 4x8, 4x4 크기를 가지는 예측 블록으로 분할될 수 있다. 이에 대응되는 향상 계층(또는, 상위 계층)(L)의 부호화/복호화 대상 블록(540)은, 기본 계층(또는, 하위 계층)(L-1)의 예측 블록 분할 정보를 기반으로 16x16, 16x8, 8x16, 8x8 크기를 가지는 예측 블록으로 분할되어 예측이 수행될 수 있다.
또는, 기본 계층(또는, 하위 계층)(L-1)의 예측 블록(520)은 16x16 또는 32x32 크기의 부호화 블록 내에서 RDO를 고려하여 16x16, 16x8, 8x16, 8x8 크기를 가지는 예측 블록으로 분할될 수 있다. 이에 대응되는 향상 계층(또는, 상위 계층)(L)의 부호화/복호화 대상 블록(550)은, 기본 계층(또는, 하위 계층)(L-1)의 예측 블록 분할 정보를 기반으로 각각 32x32, 32x16, 16x32, 16x16 크기를 가지는 예측 블록으로 분할되어 예측이 수행될 수 있다.
또는, 기본 계층(또는, 하위 계층)(L-1)의 예측 블록(530)은 32x32 또는 64x64 크기의 부호화 블록 내에서 RDO를 고려하여 32x32, 32x16, 16x32, 16x16 크기를 가지는 예측 블록으로 분할될 수 있다. 이에 대응되는 향상 계층(또는, 상위 계층)(L)의 부호화/복호화 대상 블록(560)은, 기본 계층(또는, 하위 계층)(L-1)의 예측 블록 분할 정보를 기반으로 64x64, 64x32, 32x64, 32x32 크기를 가지는 예측 블록으로 분할되어 예측이 수행될 수 있다.
도 6은 본 발명의 다른 실시예에 따른 SVC에서 기본 계층(또는, 하위 계층)의 예측 블록(Prediction Block; PB) 분할 정보를 이용하여 향상 계층(또는, 상위 계층)의 부호화/복호화 대상 블록을 분할하는 방법을 개략적으로 설명하기 위한 개념도이다.
도 6을 참조하면, HEVC를 기반으로 하는 SVC에서 기본 계층(또는, 하위 계층)(L-1)의 예측 블록(또는, 예측 유닛)은 부호화 블록(또는, 부호화 유닛)을 기반으로 RDO(Rate-distortion Optimization)를 고려하여 비대칭적(asymmetric)으로 분할될 수 있다. 여기서, 예측 블록은 2NxnU, 2NxnD, nLx2N, nRx2N 크기를 가지는 블록으로 분할될 수 있다.
이때, 향상 계층(또는, 상위 계층)(L)의 부호화/복호화 대상 블록은 기본 계층(또는, 하위 계층)(L-1)의 예측 블록 분할 정보를 기반으로 분할되어 예측이 수행될 수 있다. 예컨대, 향상 계층(또는, 상위 계층)(L)의 공간적 스케일러빌리티를 제공하기 위해, 기본 계층(또는, 하위 계층)(L-1)의 예측 블록 분할 정보(예를 들어, 2NxnU, 2NxnD, nLx2N, nRx2N 분할 형태)를 기반으로 예측 블록의 크기를 스케일링하여 향상 계층(또는, 상위 계층)(L)의 예측 블록을 결정할 수 있다.
예를 들어, 도 6에 도시된 바와 같이, 기본 계층(또는, 하위 계층)(L-1)의 예측 블록(610, 620, 630)은 8x8에서 64x64까지 크기의 부호화 블록 내에서 RDO를 고려하여 2NxnU(예컨대, 611, 621), 2NxnD(예컨대, 612, 622), nLx2N(예컨대, 613, 623), nRx2N(예컨대, 614, 624) 크기를 가지는 예측 블록으로 분할될 수 있다. 이에 대응되는 향상 계층(또는, 상위 계층)(L)의 부호화/복호화 대상 블록(640, 650, 660)은, 기본 계층(또는, 하위 계층)(L-1)의 예측 블록 분할 정보를 기반으로 예측 블록의 크기를 스케일링하여 2NxnU(예컨대, 641, 651), 2NxnD(예컨대,642, 652), nLx2N(예컨대, 643, 653), nRx2N(예컨대, 644, 654) 크기를 가지는 예측 블록으로 분할될 수 있다.
도 7은 본 발명의 일 실시예에 따른 SVC에서 기본 계층(또는, 하위 계층)의 변환 블록(Transform Block; TB) 분할 정보를 이용하여 향상 계층(또는, 상위 계층)의 부호화/복호화 대상 블록을 분할하는 방법을 개략적으로 설명하기 위한 개념도이다.
도 7을 참조하면, HEVC를 기반으로 하는 SVC에서 기본 계층(또는, 하위 계층)(L-1)의 변환 블록(또는, 변환 유닛)은 부호화 블록(또는, 부호화 유닛)을 기반으로 RDO(Rate-distortion Optimization)를 고려하여 분할될 수 있다. 여기서, 변환 블록은 2Nx2N, NxN 크기를 가지는 블록으로 분할될 수 있다.
이때, 향상 계층(또는, 상위 계층)(L)의 부호화/복호화 대상 블록은 기본 계층(또는, 하위 계층)(L-1)의 변환 블록 분할 정보를 기반으로 분할되어 변환(transform)될 수 있다. 예컨대, 향상 계층(또는, 상위 계층)(L)의 공간적 스케일러빌리티를 제공하기 위해, 기본 계층(또는, 하위 계층)(L-1)의 변환 블록 분할 정보(예를 들어, 2Nx2N, NxN 분할 형태)를 기반으로 변환 블록의 크기를 스케일링하여 향상 계층(또는, 상위 계층)(L)의 변환 블록을 결정할 수 있다.
예를 들어, 도 7에 도시된 바와 같이, 기본 계층(또는, 하위 계층)(L-1)의 변환 블록(710, 720, 730, 740)은 4x4, 8x8, 16x16, 32x32 크기를 가지는 변환 블록으로 분할될 수 있다. 이에 대응되는 향상 계층(또는, 상위 계층)(L)의 부호화/복호화 대상 블록(750, 760, 770, 780)은, 기본 계층(또는, 하위 계층)(L-1)의 변환 블록 분할 정보(예컨대, 2Nx2N, NxN 분할 형태)를 기반으로 변환 블록의 크기를 스케일링하여 8x8, 16x16, 32x32 크기를 가지는 변환 블록으로 분할될 수 있다.
도 8은 본 발명의 실시예에 따른 SVC에서 기본 계층(또는, 하위 계층)의 블록 분할 정보를 이용한 향상 계층(또는, 상위 계층)의 부호화 및/또는 복호화 방법을 개략적으로 나타낸 순서도이다. 도 8의 실시예에서 향상 계층(또는, 상위 계층)의 부호화 방법은 스케일러블 비디오 부호화기(이하, 부호화기라 함)에서 수행될 수 있고, 향상 계층(또는, 상위 계층)의 복호화 방법은 스케일러블 비디오 복호화기(이하, 복호화기라 함)에서 수행될 수 있다.
도 8을 참조하면, 부호화기/복호화기는, 향상 계층(또는, 상위 계층)의 현재 부호화/복호화 대상 블록에 대응되는 기본 계층(또는, 하위 계층)의 블록 분할 정보를 기반으로 현재 부호화/복호화 대상 블록을 분할한다(S810). 기본 계층(또는, 하위 계층)의 블록 분할 정보는, 기본 계층(또는, 하위 계층)의 부호화 블록 분할 정보, 예측 블록 분할 정보 및 변환 블록 분할 정보 중 적어도 하나를 포함한다.
예를 들어, SVC에서 향상 계층(또는, 상위 계층)의 공간적 스케일러빌리티를 지원하기 위해서, 기본 계층(또는, 하위 계층)의 블록 분할 정보를 기반으로 블록 크기를 스케일링하여 향상 계층(또는, 상위 계층)의 현재 부호화/복호화 대상 블록 분할을 결정할 수 있다.
도 4에서 상술한 바와 같이, 부호화기/복호화기는 향상 계층(또는, 상위 계층)의 현재 부호화/복호화 대상 블록에 대응되는 기본 계층(또는, 하위 계층)의 부호화 블록(Coding Block; CB, 또는 Coding Unit; CU) 분할 정보를 기반으로, 향상 계층(또는, 상위 계층)의 현재 부호화/복호화 대상 블록을 부호화 유닛(Coding Unit; CU, 또는 Coding Block; CB)으로 분할할 수 있다.
도 5 및 도 6에서 상술한 바와 같이, 부호화기/복호화기는 향상 계층(또는, 상위 계층)의 현재 부호화/복호화 대상 블록에 대응되는 기본 계층(또는, 하위 계층)의 예측 블록(Prediction Block; PB, 또는 Prediction Unit; PU) 분할 정보를 기반으로, 향상 계층(또는, 상위 계층)의 현재 부호화/복호화 대상 블록을 예측 유닛(Prediction Unit; PU, 또는 Prediction Block; PB)으로 분할할 수 있다.
도 7에서 상술한 바와 같이, 부호화기/복호화기는 향상 계층(또는, 상위 계층)의 현재 부호화/복호화 대상 블록에 대응되는 기본 계층(또는, 하위 계층)의 변환 블록(Transform Block; TB, 또는 Transform Unit; TU) 분할 정보를 기반으로, 향상 계층(또는, 상위 계층)의 현재 부호화/복호화 대상 블록을 변환 유닛(Transform Unit; TU, 또는 Transform Block; TB)으로 분할할 수 있다.
부호화기/복호화기는, 향상 계층(또는, 상위 계층)의 분할된 현재 부호화/복호화 대상 블록(예를 들어, 부호화 유닛, 예측 유닛, 변환 유닛)을 기반으로 부호화/복호화를 수행한다(S810).
예컨대, 부호화기/복호화기는 분할된 부호화 유닛을 기반으로 부호화/복호화를 수행할 수 있다. 또는, 부호화기/복호화기는 분할된 예측 유닛을 기반으로 인트라 예측 또는 인터 예측을 수행할 수 있으며, 예측을 통해 잔차(residual) 정보를 도출할 수 있다. 또는, 부호화기/복호화기는 분할된 변환 유닛을 기반으로 잔차(residual) 정보를 변환(transform)할 수 있다.
상술한 실시예들에서, 방법들은 일련의 단계 또는 블록으로서 순서도를 기초로 설명되고 있으나, 본 발명은 단계들의 순서에 한정되는 것은 아니며, 어떤 단계는 상술한 바와 다른 단계와 다른 순서로 또는 동시에 발생할 수 있다. 또한, 당해 기술 분야에서 통상의 지식을 가진 자라면 순서도에 나타난 단계들이 배타적이지 않고, 다른 단계가 포함되거나, 순서도의 하나 또는 그 이상의 단계가 본 발명의 범위에 영향을 미치지 않고 삭제될 수 있음을 이해할 수 있을 것이다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시 예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시 예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호범위는 특허청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.

Claims (14)

  1. 향상 계층(enhancement layer)의 현재 복호화 대상 블록에 대응되는 기본 계층(base layer)의 블록 분할 정보를 기반으로 상기 현재 복호화 대상 블록을 분할하는 단계; 및
    상기 분할된 현재 복호화 대상 블록을 기반으로 복호화를 수행하는 단계를 포함하며,
    상기 기본 계층의 블록 분할 정보는, 상기 기본 계층의 부호화 블록 분할 정보, 상기 기본 계층의 예측 블록 분할 정보 및 상기 기본 계층의 변환 블록 분할 정보 중 적어도 하나를 포함하며,
    상기 현재 복호화 대상 블록을 분할하는 단계에서는,
    상기 현재 복호화 대상 블록을 부호화 유닛(Coding Unit; CU), 예측 유닛(Prediction Unit; PU) 및 변환 유닛(Transform Unit; TU) 중 적어도 하나로 분할하되,
    상기 현재 복호화 대상 블록이 부호화 유닛으로 분할되는 경우, 상기 기본 계층의 부호화 블록 분할 정보를 기반으로 상기 현재 복호화 대상 블록에 대한 부호화 유닛의 크기를 결정하며,
    상기 현재 복호화 대상 블록이 예측 유닛으로 분할되는 경우, 상기 기본 계층의 예측 블록 분할 정보를 기반으로 상기 현재 복호화 대상 블록에 적용할 예측 유닛의 크기를 결정하며,
    상기 현재 복호화 대상 블록이 변환 유닛으로 분할되는 경우, 상기 기본 계층의 변환 블록 분할 정보를 기반으로 상기 현재 복호화 대상 블록에 적용할 변환 유닛의 크기를 결정하는 것을 특징으로 하는 스케일러블 비디오 복호화 방법.
  2. 삭제
  3. 삭제
  4. 삭제
  5. 제1항에 있어서,
    상기 현재 복호화 대상 블록에 대한 부호화 유닛은 상기 기본 계층의 부호화 블록 분할 형태를 기초로 상기 기본 계층의 부호화 블록 크기를 스케일링한 것을 특징으로 하는 스케일러블 비디오 복호화 방법.
  6. 제1항에 있어서,
    상기 현재 복호화 대상 블록에 적용할 예측 유닛은 상기 기본 계층의 예측 블록 분할 형태를 기초로 상기 기본 계층의 예측 블록 크기를 스케일링한 것을 특징으로 하는 스케일러블 비디오 복호화 방법.
  7. 제1항에 있어서,
    상기 현재 복호화 대상 블록에 적용할 변환 유닛은 상기 기본 계층의 변환 블록 분할 형태를 기초로 상기 기본 계층의 변환 블록 크기를 스케일링한 것을 특징으로 하는 스케일러블 비디오 복호화 방법.
  8. 향상 계층(enhancement layer)의 현재 부호화 대상 블록에 대응되는 기본 계층(base layer)의 블록 분할 정보를 기반으로 상기 현재 부호화 대상 블록을 분할하는 단계; 및
    상기 분할된 현재 부호화 대상 블록을 기반으로 부호화를 수행하는 단계를 포함하며,
    상기 기본 계층의 블록 분할 정보는, 상기 기본 계층의 부호화 블록 분할 정보, 상기 기본 계층의 예측 블록 분할 정보 및 상기 기본 계층의 변환 블록 분할 정보 중 적어도 하나를 포함하며,
    상기 현재 부호화 대상 블록을 분할하는 단계에서는,
    상기 현재 부호화 대상 블록을 부호화 유닛(Coding Unit; CU), 예측 유닛(Prediction Unit; PU) 및 변환 유닛(Transform Unit; TU) 중 적어도 하나로 분할하되,
    상기 현재 부호화 대상 블록이 부호화 유닛으로 분할되는 경우, 상기 기본 계층의 부호화 블록 분할 정보를 기반으로 상기 현재 부호화 대상 블록에 대한 부호화 유닛의 크기를 결정하며,
    상기 현재 부호화 대상 블록이 예측 유닛으로 분할되는 경우, 상기 기본 계층의 예측 블록 분할 정보를 기반으로 상기 현재 부호화 대상 블록에 적용할 예측 유닛의 크기를 결정하며,
    상기 현재 부호화 대상 블록이 변환 유닛으로 분할되는 경우, 상기 기본 계층의 변환 블록 분할 정보를 기반으로 상기 현재 부호화 대상 블록에 적용할 변환 유닛의 크기를 결정하는 것을 특징으로 하는 스케일러블 비디오 부호화 방법.
  9. 삭제
  10. 삭제
  11. 삭제
  12. 제8항에 있어서,
    상기 현재 부호화 대상 블록에 대한 부호화 유닛은 상기 기본 계층의 부호화 블록 분할 형태를 기초로 상기 기본 계층의 부호화 블록 크기를 스케일링한 것을 특징으로 하는 스케일러블 비디오 부호화 방법.
  13. 제8항에 있어서,
    상기 현재 부호화 대상 블록에 적용할 예측 유닛은 상기 기본 계층의 예측 블록 분할 형태를 기초로 상기 기본 계층의 예측 블록 크기를 스케일링한 것을 특징으로 하는 스케일러블 비디오 부호화 방법.
  14. 제8항에 있어서,
    상기 현재 부호화 대상 블록에 적용할 변환 유닛은 상기 기본 계층의 변환 블록 분할 형태를 기초로 상기 기본 계층의 변환 블록 크기를 스케일링한 것을 특징으로 하는 스케일러블 비디오 부호화 방법.
KR1020130024979A 2012-12-21 2013-03-08 스케일러블 비디오 부호화 및 복호화 방법, 그리고 이를 이용한 장치 KR101420718B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020120151392 2012-12-21
KR20120151392 2012-12-21

Publications (2)

Publication Number Publication Date
KR20140082540A KR20140082540A (ko) 2014-07-02
KR101420718B1 true KR101420718B1 (ko) 2014-07-23

Family

ID=51733449

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130024979A KR101420718B1 (ko) 2012-12-21 2013-03-08 스케일러블 비디오 부호화 및 복호화 방법, 그리고 이를 이용한 장치

Country Status (1)

Country Link
KR (1) KR101420718B1 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170133026A (ko) * 2016-05-25 2017-12-05 디지털인사이트 주식회사 정방형 또는 직방형 블록 분할을 사용하는 비디오 복호화 방법 및 장치
KR101713492B1 (ko) 2016-06-27 2017-03-07 가천대학교 산학협력단 영상 복호화 방법, 영상 부호화 방법, 영상 복호화 장치, 및 영상 부호화 장치

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060063614A (ko) * 2004-12-06 2006-06-12 엘지전자 주식회사 영상 신호의 스케일러블 인코딩 및 디코딩 방법
KR20110036520A (ko) * 2009-10-01 2011-04-07 에스케이 텔레콤주식회사 분할 레이어를 이용한 영상 부호화/복호화 방법 및 장치
KR20120038365A (ko) * 2010-09-30 2012-04-23 삼성전자주식회사 계층적 구조의 심볼을 부호화하는 비디오 부호화 방법 및 그 장치, 계층적 구조의 심볼을 복호화하는 비디오 복호화 방법 및 그 장치

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060063614A (ko) * 2004-12-06 2006-06-12 엘지전자 주식회사 영상 신호의 스케일러블 인코딩 및 디코딩 방법
KR20110036520A (ko) * 2009-10-01 2011-04-07 에스케이 텔레콤주식회사 분할 레이어를 이용한 영상 부호화/복호화 방법 및 장치
KR20120038365A (ko) * 2010-09-30 2012-04-23 삼성전자주식회사 계층적 구조의 심볼을 부호화하는 비디오 부호화 방법 및 그 장치, 계층적 구조의 심볼을 복호화하는 비디오 복호화 방법 및 그 장치

Also Published As

Publication number Publication date
KR20140082540A (ko) 2014-07-02

Similar Documents

Publication Publication Date Title
US11889052B2 (en) Method for encoding video information and method for decoding video information, and apparatus using same
JP6874032B2 (ja) ピクチャの符号化／復号化方法及びこれを利用する装置
KR102273183B1 (ko) 시간적 서브 레이어 정보에 기반한 인터 레이어 예측 방법 및 장치
KR20110115987A (ko) 영상 부호화/복호화 장치 및 방법
KR20110115986A (ko) 영상 부호화/복호화 장치 및 방법
KR20140016823A (ko) 영상의 복호화 방법 및 이를 이용하는 장치
US11843773B2 (en) Video decoding method and apparatus using the same
KR20140122189A (ko) 계층 간 결합된 화면 내 예측을 이용한 영상 부호화/복호화 방법 및 그 장치
KR20110043407A (ko) 영상 부호화/복호화 장치 및 방법
KR20160085237A (ko) 머지를 기반으로 한 복호화 방법 및 장치
KR101420718B1 (ko) 스케일러블 비디오 부호화 및 복호화 방법, 그리고 이를 이용한 장치
KR20130085088A (ko) 스케일러블 비디오 코딩에서의 고속 모드 결정 방법 및 그 장치
KR101685556B1 (ko) 영상 부호화/복호화 방법 및 장치
KR20160031059A (ko) 향상 계층에 대한 스케일러블 코딩 방법 및 장치
KR102400485B1 (ko) 영상의 복호화 방법 및 이를 이용하는 장치
KR102602633B1 (ko) 영상 부호화/복호화 방법 및 장치
KR20140081682A (ko) 영상 부호화/복호화 방법 및 장치
KR20140088015A (ko) 영상의 부호화/복호화 방법 및 이를 이용하는 장치
KR20140038316A (ko) 디블록킹 필터를 이용한 계층 간 예측 방법 및 장치
KR20140073430A (ko) 영상 부호화/복호화 방법 및 장치
KR20170021677A (ko) 영상 부호화 장치 및 방법
KR20150007205A (ko) 영상의 복호화 방법 및 이를 이용하는 장치

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20170703

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20180808

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20200108

Year of fee payment: 6