KR20140136428A - 인터 레이어 예측 방법 및 이를 이용하는 장치 - Google Patents

인터 레이어 예측 방법 및 이를 이용하는 장치 Download PDF

Info

Publication number
KR20140136428A
KR20140136428A KR1020147021404A KR20147021404A KR20140136428A KR 20140136428 A KR20140136428 A KR 20140136428A KR 1020147021404 A KR1020147021404 A KR 1020147021404A KR 20147021404 A KR20147021404 A KR 20147021404A KR 20140136428 A KR20140136428 A KR 20140136428A
Authority
KR
South Korea
Prior art keywords
layer
prediction
unit
information
current block
Prior art date
Application number
KR1020147021404A
Other languages
English (en)
Other versions
KR102083011B1 (ko
Inventor
김철근
박승욱
임재현
전용준
박준영
박내리
전병문
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Publication of KR20140136428A publication Critical patent/KR20140136428A/ko
Application granted granted Critical
Publication of KR102083011B1 publication Critical patent/KR102083011B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/187—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scalable video layer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H04N19/463—Embedding additional information in the video signal during the compression process by compressing encoding parameters before transmission
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Abstract

본 발명은 인터 레이어 예측 방법 및 이를 이용한 장치에 관한 것으로서, 참조 레이어로부터 인터 레이어 움직임 정보를 유도하는 단계 및 상기 인터 레이어 움직임 정보를 이용하여 현재 레이어 내 현재 블록에 대한 예측을 수행하는 단계를 포함하며, 상기 인터 레이어 움직임 정보는 상기 참조 레이어로부터 유도되는 인터 레이어 움직임 벡터를 포함할 수 있다.

Description

인터 레이어 예측 방법 및 이를 이용하는 장치{INTER-LAYER PREDICTION METHOD AND APPARATUS USING SAME}
본 발명은 비디오 압축 기술에 관한 것으로서 더 구체적으로는 스케일러블 비디오 코딩을 수행하는 방법 및 장치에 관한 것이다.
최근 고해상도, 고품질의 영상에 대한 요구가 다양한 응용 분야에서 증가하고 있다. 영상이 고해상도를 가지고 고품질이 될수록 해당 영상에 관한 정보량도 함께 증가하고 있다.
정보량의 증가로 인해 다양한 성능의 장치와 다양한 환경의 네트워크가 등장하고 있다.
다양한 성능의 장치와 다양한 환경의 네트워크가 등장함에 따라서, 동일한 콘텐츠를 다양한 품질로 이용할 수 있게 되었다.
구체적으로, 단말 장치가 지원할 수 있는 품질의 영상이 다양해지고, 구축된 네트워크 환경이 다양해짐으로써, 어떤 환경에서는 일반적인 품질의 영상을 이용하지만, 또 다른 환경에서는 더 높은 품질의 영상을 이용할 수 있게 된다.
예를 들어, 휴대 단말에서 비디오 콘텐츠를 구매한 소비자가 가정 내 대화면의 디스플레이를 통해 동일한 비디오 콘텐츠를 더 큰 화면과 더 높은 해상도로 감상할 수 있게 되는 것이다.
최근에는 HD(High Definition) 해상도를 가지는 방송이 서비스되면서 많은 사용자들은 이미 고해상도, 고화질의 영상에 익숙해지고 있고, 서비스 제공자와 사용자들은 HDTV와 더불어 HDTV의 4배 이상의 해상도를 갖는 UHD(Ultra High Definition)의 서비스에도 관심을 기울이고 있다.
따라서, 다양한 환경에서 사용자가 요구하는 영상 서비스를 품질에 따라서 다양하게 제공하기 위해 고용량 비디오에 대한 고효율의 인코딩/디코딩 방법을 기반으로 영상의 품질, 예컨대 영상의 화질, 영상의 해상도, 영상의 크기, 비디오의 프레임 레이트 등에 스케일러빌러티를 제공하는 것이 필요하다.
본 발명의 일 기술적 목적은 스케일러블 비디오 코딩의 효과를 높이고 레이어별 중복 전송되는 정보를 줄이는 방법 및 장치를 제공하는 것이다.
본 발명의 다른 기술적 목적은 베이스 레이어의 정보를 이용하여 인핸스먼트 레이어의 인코딩/디코딩 효과를 높이는 방법 및 장치를 제공하는 것이다.
본 발명의 또 다른 기술적 목적은 다양한 스케일러빌러티에 대응하여 베이스 레이어의 정보를 활용하는 방법 및 장치를 제공하는 것이다.
본 발명의 또 다른 기술적 목적은 다양한 인터 레이어 예측 방법을 통해, 코딩 효유을 향상시키는 방법 및 장치를 제공하는 것이다.
본발명의 또 다른 기술적 목적은 베이스 레이어의 텍스처 정보, 움직임 정보, 신택스 정보, 유닛 정보, 파라미터 정보, 레지듀얼 정보, 차분 정보 중 적어도 하나를이용하여 인핸스먼트 레이어의 코딩 효율을 높이는 방법 및 장치를 제공하는 것이다.
본 발명의 일 실시 형태는 인터 레이어 예측 방법으로서, 참조 레이어로부터 인터 레이어 움직임 정보를 유도하는 단계 및 상기 인터 레이어 움직임 정보를 이용하여 현재 레이어 내 현재 블록에 대한 예측을 수행하는 단계를 포함하며, 상기 인터 레이어 움직임 정보는 상기 참조 레이어로부터 유도되는 인터 레이어 움직임 벡터를 포함한다. 이때, 상기 인터 레이어 움직임 벡터는 상기 참조 레이어의 움직임 벡터를 상기 참조 레이어와 상기 현재 레이어 간 해상도 비율에 따라서 스케일링하여 상기 인터 레이어 움직임 벡터를 유도할 수 있다
본 발명의 일 실시 형태는 인터 레이어 예측 방법을 이용하는 장치로서, 참조 레이어에 대한 예측을 수행하는 제1 예측부 및 상기 제1 예측부에 의한 예측에 기반한 인터 레이어 움직임 정보를 이용하여 상기 현재 레이어 내 현재 블록에 대한 예측을 수행하는 제2 예측부를 포함한다. 이때, 상기 인터 레이어 움직임 정보는 상기 참조 레이어로부터 유도되는 인터 레이어 움직임 벡터를 포함하고, 상기 제2 예측부는 상기 참조 레이어의 움직임 벡터를 상기 참조 레이어와 상기 현재 레이어 간 해상도 비율에 따라서 스케일링할 수 있다.
본 발명에 의하면, 스케일러블 비디오 코딩의 효과를 높이고 레이어별 중복 전송되는 정보를 줄일 수 있다.
본 발명에 의하면, 베이스 레이어의 정보를 이용하여 인핸스먼트 레이어의 인코딩/디코딩 효과를 높일 수 있다.
본 발명에 의하면 다양한 스케일러빌러티에 대응하여 베이스 레이어의 정보를 활용할 수 있다.
본 발명에 의하면, 다양한 인터 레이어 예측 방법을 통해, 코딩 효유을 향상시킬 수 있다.
도 1은 본 발명의 일 실시예에 따라 스케일러빌러티를 지원하는 비디오 인코딩 장치를 개략적으로 도시한 블록도이다.
도 2는 본 발명에 따라서 스케일러블 코딩을 수행하는 인코딩 장치에서의 레이어 간 예측에 관한 일 예를 설명하는 블록도이다.
도 3은 본 발명의 일 실시예에 따라 스케일러빌러티를 지원하는 비디오 디코딩 장치를 개략적으로 도시한 블록도이다.
도 4는 본 발명에 따라서 스케일러블 코딩을 수행하는 디코딩 장치에서의 레이어 간 예측에 관한 일 예를 설명하는 블록도이다.
도 5는 본 발명에 따라서 인터 레이어 인트라 예측이 수행되는 예를 개략적으로 설명하는 도면이다.
도 6은 본 발명에 따라서 인터 레이어 인트라 예측 과정에서 적용되는 리스케일링(다운샘플링/업샘플링)의 일 예를 개략적으로 나타낸 것이다.
도 7은 본 발명에 따라서 페이즈 쉬프트 업샘플링(phase shifted up-samplimng)을 수행하는 일 예를 개략적으로 설명하는 도면이다.
도 8은 본 발명에 따라서 Interpolation_filter_indicator를 이용하는 방법의 일 예로서, Interpolation_filter_indicator의 값이 10인 경우의 샘플링 방법을 간단히 설명하는 도면이다.
도 9는 다른 레이어를 참조하지 않고 레이어 내에서 인터 예측을 수행하는 경우에 이용되는 움직임 정보의 후보들에 대한 일 예를 간단히 나타낸 것이다.
도 10은 본 발명에 따라서 인터 레이어 움직임 예측을 수행하는 방법의 일 예를 개략적으로 설명하는 순서도이다.
도 11은 본 발명에 따라서 참조 레이어의 움직임 정보를 유도하는 방법을 개략적으로 설명하는 도면이다.
도 12는 본 발명에 따라서 mvIL을 스케일링하는 방법을 개략적으로 설명하는 도면이다.
도 13은 본 발명에 따라서 인터 레이어 신택스 예측을 수행하는 방법의 일 예를 간단히 설명하는 도면이다.
도 14는 본 발명에 따라서 인터 레이어 레지듀얼 예측을 적용하는 방법을 개략적으로 설명한 도면이다.
도 15는 본 발명에 따른 인터 레이어 유닛 정보 예측의 일 예를 개략적으로 설명하는 도면이다.
도 16은 본 발명에 따라서 인터 레이어 유닛 예측을 적용하는 일 예를 개략적으로 설명하는 도면이다.
도 17은 본 발명에 따라서 인터 레이어 유닛 예측을 적용하는 다른 예를 개략적으로 설명하는 도면이다.
도 18은 본 발명에 따라서 인터 레이어 유닛 예측을 적용하는 또 다른 예를 개략적을 설명하는 도면이다.
도 19는 본 발명에 따라서 적응적 인터 레이어 텍스처 예측을 수행하는 방법의 일 예를 개략적으로 설명하는 도면이다.
도 20은 본 발명에 따른 인터 레이어 필터 파라미터 예측에 관하여 개략적으로 설명하는 도면이다.
도 21은 본 발명에 따라서 인터 레이어 차분 모드를 적용하는 경우에, 인트라 예측을 수행하는 방법을 개략적으로 설명하는 도면이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니다. 본 명세서에서 사용하는 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명의 기술적 사상을 한정하려는 의도로 사용되는 것은 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성 요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성 요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
한편, 본 발명에서 설명되는 도면상의 각 구성들은 비디오 인코딩 장치/디코딩 장치에서 서로 다른 특징적인 기능들에 관한 설명의 편의를 위해 독립적으로 도시된 것으로서, 각 구성들이 서로 별개의 하드웨어나 별개의 소프트웨어로 구현된다는 것을 의미하지는 않는다. 예컨대, 각 구성 중 두 개 이상의 구성이 합쳐져 하나의 구성을 이룰 수도 있고, 하나의 구성이 복수의 구성으로 나뉘어질 수도 있다. 각 구성이 통합 및/또는 분리된 실시예도 본 발명의 본질에서 벗어나지 않는 한 본 발명의 권리범위에 포함된다.
이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예를 보다 상세하게 설명하고자 한다. 이하, 도면상의 동일한 구성 요소에 대해서는 동일한 참조 부호를 사용하고 동일한 구성 요소에 대해서 중복된 설명은 생략한다.
스케일러빌러티를 지원하는 비디오 코딩 방법(이하, '스케일러블 코딩'이라 함)에서는 입력 신호들을 레이어별로 처리할 수 있다. 레이어에 따라서 입력 신호(입력 영상)들은 해상도(resolution), 프레임 레이트(frame rate), 비트 뎁스(bit-depth), 컬러 포맷(colot format), 애스팩트 율(aspect ratio) 중 적어도 하나가 상이할 수 있다.
본 명세서에서, 스케일러블 코딩이라 함은 스케일러블 인코딩과 스케일러블 디코딩을 포함한다.
스케일러블 인코딩/디코딩에서는 레이어 간의 차이를 이용하여, 즉 스케일러빌러티에 기반하여, 레이어 간의 예측을 수행함으로써 정보의 중복 전송/처리를 줄이고 압축 효율을 높일 수 있다.
도 1은 본 발명의 일 실시예에 따라 스케일러빌러티를 지원하는 비디오 인코딩 장치를 개략적으로 도시한 블록도이다.
도 1을 참조하면, 인코딩 장치(100)는 레이어 1에 대한 인코딩부(105)와 레이어 0에 대한 인코딩부(155)를 포함한다.
레이어 0은 베이스 레이어, 참조 레이어 혹은 하위 레이어일 수 있으며, 레이어 1은 인핸스먼트 레이어, 현재 레이어 혹은 상위 레이어일 수 있다.
레이어 1의 인코딩부(105)는 인터/인트라 예측부(110), 변환/양자화부(115), 필터링부(120), DPB(Decoded Picture Buffer, 125), 엔트로피 코딩부(130), 유닛 파라미터 예측부(135), 움직임 예측/리스케일링(rescaling)부(140), 텍스쳐 예측/리스케일링부(145), 파라미터 예측부(150) 및 MUX(Multiplexer, 185)를 포함한다.
레이어 0의 인코딩부(155)는 인터/인트라 예측부(160), 변환/양자화부(165), 필터링부(170), DPB(175) 및 엔트로피 코딩부(180)를 포함한다.
인터/인트라 예측부(110, 160)는 입력된 영상에 대하여 인터 예측과 인트라 예측을 수행할 수 있다. 인터/인트라 예측부(110, 160)는 소정의 처리 단위로 예측을 수행할 수 있다. 예측의 수행 단위는 코딩 유닛(Coding Unit: CU)일 수도 있고, 예측 유닛(Prediction Unit: PU)일 수도 있으며, 변환 유닛(Transform Unit: TU)일 수도 있다.
예컨대, 인터/인트라 예측부(110, 160)는 CU 단위로 인터 예측을 적용할 것인지 인트라 예측을 적용할 것인지를 결정하고, PU 단위로 예측의 모드를 결정하며, PU 단위 혹은 TU 단위로 예측을 수행할 수도 있다. 수행되는 예측은 예측 블록의 생성과 레지듀얼 블록(레지듀얼 신호)의 생성을 포함한다.
인터 예측을 통해서는 현재 픽처의 이전 픽처 및/또는 이후 픽처 중 적어도 하나의 픽처의 정보를 기초로 예측을 수행하여 예측 블록을 생성할 수 있다. 인트라 예측을 통해서는 현재 픽처 내의 픽셀 정보를 기초로 예측을 수행하여 예측 블록을 생성할 수 있다.
인터 예측의 모드 또는 방법으로서, 스킵(skip) 모드, 머지(merge) 모드, MVP(Motion Vector Predtiction) 방법 등이 있다. 인터 예측에서는 예측 대상인 현재 PU에 대하여 참조 픽처를 선택하고, 참조 픽처 내에서 현재 PU에 대응하는 참조 블록을 선택할 수 있다. 인터/인트라 예측부(160)는 참조 블록을 기반으로 예측 블록을 생성할 수 있다.
예측 블록은 정수 샘플 단위로 생성될 수도 있고, 정수 이하 픽셀 단위로 생성될 수도 있다. 이때, 움직임 벡터 역시 정수 픽셀 단위 혹은 정수 픽셀 이하의 단위로 표현될 수 있다.
인터 예측에 있어서 움직임 정보 즉, 참조 픽처의 인덱스, 움직임 벡터, 레지듀얼 신호 등의 정보는 엔트로피 인코딩되어 디코딩 장치에 전달된다. 스킵 모드가 적용되는 경우에는 레지듀얼을 생성, 변환, 양자화, 전송하지 않을 수 있다.
인트라 예측에서 예측 모드는 33개의 방향성 예측 모드와 적어도 2개 이상의 비방향성 모드를 가질 수 있다. 비향성성 모드는 DC 예측 모드 및 플래이너 모드(Planar 모드)을 포함할 수 있다. 인트라 예측에서는 참조 샘플에 필터를 적용한 후 예측 블록을 생성할 수도 있다.
PU는 다양한 사이즈/형태의 블록일 수 있으며, 예컨대 인터 예측의 경우에 PU는 2N×2N 블록, 2N×N 블록, N×2N 블록, 또는 N×N 블록 (N은 정수) 등일 수 있다. 인트라 예측의 경우에 PU는 2N×2N 블록 또는 N×N 블록 (N은 정수) 등일 수 있다. 이때, N×N 블록 크기의 PU는 특정한 경우에만 적용하도록 설정할 수 있다. 예컨대 최소 크기 CU에 대해서만 NxN 블록 크기의 PU를 이용하도록 정하거나 인트라 예측에 대해서만 이용하도록 정할 수도 있다. 또한, 상술한 크기의 PU 외에, N×mN 블록, mN×N 블록, 2N×mN 블록 또는 mN×2N 블록 (m<1) 등의 PU를 더 정의하여 사용할 수도 있다.
변환/양자화부(115, 165)는 변환 블록 단위로 레지듀얼 블록에 대한 변환을 수행하여 변환 계수를 생성하고, 변환 계수를 양자화한다.
변환 블록은 샘플들의 사각형 블록으로서 동일한 변환이 적용되는 블록이다. 변환 블록은 변환 유닛(TU)일 수 있으며, 쿼드 트리(quad tree) 구조를 가질 수 있다.
변환/양자화부(115, 165)는 레지듀얼 블록에 적용된 예측 모드와 변환 블록의 크기에 따라서 변환을 수행해서 변환 계수들의 2차원 어레이를 생성할 수 있다. 예컨대, 레지듀얼 블록에 인트라 예측이 적용되었고 블록이 4x4의 레지듀얼 배열이라면, 레지듀얼 블록을 DST(Discrete Sine Transform)를 이용하여 변환하고, 그 외의 경우라면 레지듀얼 블록을 DCT(Discrete Cosine Transform)를 이용하여 변환할 수 있다.
또한, 변환/양자화부(115, 165)는 예측 모드와 변환 블록의 크기에 상관없이 특정 변환을 고정적으로 사용할 수도 있다. 예컨대, 변환/양자화부(115, 165)는 모든 변환 블록에 DST만을 적용할 수 있다. 또한, 변환/양자화부(115, 165)는 모든 변환 블록에 DCT만을 적용할 수도 있다.
변환/양자화부(115, 165)는 변환 계수들을 양자화하여 양자화된 변환 계수를 생성할 수 있다.
변환/양자화부(115, 165)는 양자화된 변환 계수를 엔트로피 코딩부(130, 180)로 전달할 수 있다. 이때, 변환/양자화부(165)는 양자화된 변환 계수의 2차원 어레이를 소정의 스캔 순서에 따라 1차원 어레이로 재정렬하여 엔트로피 코딩부(130, 180)로 전달할 수도 있다. 또한, 변환/양자화부(115, 165)는 인터 예측을 위해, 레지듀얼과 예측 블록을 기반으로 생성된 복원 블록을 변환/양자화하지 않고, 필터링부(120, 170)에 전달할 수 있다.
한편, 변환/양자화부(115, 165)는 필요에 따라서, 변환을 생략(skip)하고 양자화만 수행하거나 변환과 양자화를 모두 생략할 수도 있다. 예컨대, 변환/양자화부(115, 165)는 특정한 예측 방법이 적용되거나 특정 크기를 갖는 블록, 혹은 특정 예측 블록이 적용된 특정한 크기의 블록에 대하여 변환을 생략할 수도 있다.
엔트로피 코딩부(130, 180)는 양자화된 변환 계수들에 대한 엔트로피 인코딩을 수행할 수 있다. 엔트로피 인코딩에는 예를 들어, 지수 골롬(Exponential Golomb), CABAC(Context-Adaptive Binary Arithmetic Coding) 등과 같은 인코딩 방법을 사용할 수 있다.
필터링부(120, 170)는 디블록킹 필터, ALF(Adaptive Loop Filter), SAO(Sample Adaptive Offset)를 복원된 픽처에 적용할 수 있다.
디블록킹 필터는 복원된 픽처에서 블록 간의 경계에 생긴 왜곡을 제거할 수 있다. ALF(Adaptive Loop Filter)는 디블록킹 필터를 통해 블록이 필터링된 후 복원된 영상과 원래의 영상을 비교한 값을 기초로 필터링을 수행할 수 있다. SAO는 디블록킹 필터가 적용된 레지듀얼 블록에 대하여, 픽셀 단위로 원본 영상과의 오프셋 차이를 복원하며, 밴드 오프셋(Band Offset), 에지 오프셋(Edge Offset) 등의 형태로 적용된다.
필터링부(120, 170)는 디블록킹 필터, ALF, SAO를 모두 적용하지 않고 디블록킹 필터만 적용하거나 디블록킹 필터와 ALF만 적용하거나 디블록킹 필터와 SAO만을 적용할 수도 있다.
DPB(125, 175)는 필터링부(125, 170)로부터 복원 블록 또는 복원 픽처를 전달받아 저장할 수 있다. DPB(125, 175)는 복원 블록 또는 픽처를 인터 예측을 수행하는 인터/인트라 예측부(110, 160)에 제공할 수 있다.
레이어 0의 엔트로피 코딩부(180)에서 출력되는 정보와 레이어 1의 엔트로피 코딩부(130)에서 출력되는 정보는 MUX(185)에서 멀티플렉싱되어 비트스트림으로 출력될 수 있다.
한편, 레이어 1의 인코딩부(105)는 레이어 0의 정보를 이용하여 레이어 1의 영상에 대한 예측을 수행하는 인터 레이어 예측을 위해 유닛 파라미터 예측부(135), 움직임 예측/리스케일링부(140), 텍스쳐 예측/리스케일링부(145), 파라미터 예측부(150) 등을 포함할 수 있다.
유닛 파라미터 예측부(135)는 베이스 레이어의 유닛(CU, PU 및/또는 TU) 정보를 유도하여 인핸스먼트 레이어의 유닛 정보로 사용하도록 하거나, 베이스 레이어의 유닛 정보를 기반으로 인핸스먼트 레이어의 유닛 정보가 결정될 수 있도록 한다.
움직임 예측부(140)는 인터 레이어 움직임 예측을 수행한다. 인터 레이어 움직임 예측을 인터 레이어 인터 예측이라고도 한다. 움직임 예측부(140)는 참조 레이어(베이스 레이어)의 움직임 정보를 이용하여 현재 레이어(인핸스먼트 레이어)의 현재 블록에 대한 예측을 수행할 수 있다.
움직임 예측부(140)는 필요한 경우에, 참조 레이어의 움직임 정보를 스케일링 할 수 있다.
텍스쳐 예측부(145)는 레이어 0의 정보를 기반으로 인터 레이어 텍스처 예측을 수행할 수 있다. 인터 레이어 텍스처 예측은 인터 레이어 인트라 예측 혹은 인트라 BL(Base Layer) 예측이라고도 불린다. 텍스처 예측은 참조 레이어의 참조 블록이 복원되어 있는 경우에 이용될 수 있다. 인터 레이어 텍스처 예측에서는 참조 레이어 내 참조 블록의 텍스처를 인핸스먼트 레이어의 현재 블록에 대한 예측 값으로 사용할 수 있다. 이때, 참조 블록의 텍스처는 업샘플링에 의해 스케일링될 수 있다.
파라미터 예측부(150)는 베이스 레이어에서 사용한 파라미터를 유도하여 인핸스먼트 레이어에서 재사용하도록 하거나 베이스 레이어에서 사용한 파라미터를 기반으로 인핸스먼트 레이어에 대한 파라미터를 예측할 수 있다.
한편, 여기서는 설명의 편의를 위해, 레이어 1의 인코딩부(105)가 MUX(185)를 포함하는 것으로 설명하였으나, MUX는 레이어 1의 인코딩부(105) 및 레이어 0의 인코딩부(155)와는 별도의 장치 혹은 모듈일 수 있다.
도 2는 본 발명에 따라서 스케일러블 코딩을 수행하는 인코딩 장치에서의 레이어 간 예측에 관한 일 예를 설명하는 블록도이다.
도 2를 참조하면, 레이어 1의 예측부(210)는 인터/인트라 예측부(220) 및 인터 레이어 예측부(230)를 포함한다.
레이어 1의 예측부(210)는 레이어 0의 정보로부터 레이어 1의 예측에 필요한 인터 레이어 예측을 수행할 수 있다.
예컨대, 인터 레이어 예측부(230)는 레이어 0의 인터/인트라 예측부(250) 및/또는 필터링부(260)로부터 레이어 0의 정보를 전달받아 레이어 1의 예측에 필요한 인터 레이어 예측을 수행할 수 있다.
레이어 1의 인터/인트라 예측부(220)는 레이어 1의 정보를 이용하여 인터 예측 혹은 인트라 예측을 수행할 수 있다.
또한, 레이어 1의 인터/인트라 예측부(220)는 인터 레이어 예측부(230)로부터 전달된 정보를 이용하여 레이어 0의 정보에 기반한 예측을 수행할 수도 있다.
아울러, 레이어 1의 필터링부(240)는 레이어 0의 정보에 기반하여 필터링을 수행할 수도 있고, 레이어 0의 정보에 기반하여 필터링을 수행할 수도 있다. 레이어 0의 정보는 레이어 0의 필터링부(260)으로부터 레이어 1의 필터링부(240)에 전달될 수도 있고, 레이어 1의 인터 레이어 예측부(230)로부터 레이어 1의 필터링부(240)에 전달될 수도 있다.
한편, 레이어 0으로부터 인터 레이어 예측부(230)로 전달되는 정보로는 레이어 0의 유닛 파라미터에 관한 정보, 레이어 0의 움직임 정보, 레이어 0의 텍스처 정보, 레이어 0의 필터 파라미터 정보 중 적어도 하나일 수 있다.
따라서, 인터 레이어 예측부(230)는 도 1에서 인터 레이어 예측을 수행하는 유닛 파라미터 예측부(135), 움직임 예측부(140), 텍스처 예측부(145), 파라미터 예측부(150) 중 일부 또는 전부를 포함할 수 있다.
또한, 레이어 1에서, 인터/인트라 예측부(220)는 도 1의 인터/인트라 예측부(110)에 대응할 수 있고, 필터링부(240)는 도 1의 필터링부(120)에 대응할 수 있다. 레이어 0에서, 인터/인트라 예측부(250)는 도 1의 인터/인트라 예측부(160)에 대응할 수 있고, 필터링부(260)는 도 1의 필터링부(170)에 대응할 수 있다.
도 3은 본 발명의 일 실시예에 따라 스케일러빌러티를 지원하는 비디오 디코딩 장치를 개략적으로 도시한 블록도이다.
도 3을 참조하면, 디코딩 장치(300)는 레이어 1의 디코딩부(310)와 레이어 0의 디코딩부(350)를 포함한다.
레이어 0은 베이스 레이어, 참조 레이어 혹은 하위 레이어일 수 있으며, 레이어 1은 인핸스먼트 레이어, 현재 레이어 혹은 상위 레이어일 수 있다.
레이어 1의 디코딩부(310)는 엔트로피 디코딩부(315), 재정렬부(320), 역양자화부(325), 역변환부(330), 예측부(335), 필터링부(340), 메모리를 포함할 수 있다.
레이어 0의 디코딩부(350)는 엔트로피 디코딩부(355), 재정렬부(360), 역양자화부(365), 역변환부(370), 필터링부(380), 메모리(385)를 포함할 수 있다.
인코딩 장치로부터 영상 정보를 포함하는 비트스트림이 전송되면, DEMUX(305)는 레이어별로 정보를 디멀티플렉싱하여 각 레이어별 디코딩 장치로 전달할 수 있다.
엔트로피 디코딩부(315, 355)는 인코딩 장치에서 사용한 엔트로피 코딩 방식에 대응하여 엔트로피 디코딩을 수행할 수 있다. 예컨대, 인코딩 장치에서 CABAC이 사용된 경우에, 엔트로피 디코딩부(315, 355)도 CABAC을 이용하여 엔트로피 디코딩을 수행할 수 있다.
엔트로피 디코딩부(315, 355)에서 디코딩된 정보 중 예측 블록을 생성하기 위한 정보는 예측부(335, 375)로 제공되고, 엔트로피 디코딩부(315, 355)에서 엔트로피 디코딩이 수행된 레지듀얼 값, 즉 양자화된 변환 계수는 재정렬부(320, 360)로 입력될 수 있다.
재정렬부(320, 360)는 엔트로피 디코딩부(315, 355)에서 엔트로피 디코딩된 비트스트림의 정보, 즉 양자화된 변환 계수를 인코딩 장치에서 재정렬한 방법을 기초로 재정렬할 수 있다.
예컨대, 재정렬부(320, 360)는 1차원 어레이의 양자화된 변환 계수들을 다시 2차원 어레이의 계수들로 재정렬할 수 있다. 재정렬부(320, 360)는 현재 블록(변환 블록)에 적용된 예측 모드 및/또는 변환 블록의 크기를 기반으로 스캐닝을 수행하여 계수(양자화된 변환 계수)들의 2차원 어레이를 생성할 수 있다.
역양자화부(325, 365)는 인코딩 장치에서 제공된 양자화 파라미터와 재정렬된 블록의 계수값을 기초로 역양자화를 수행하여 변환 계수들을 생성할 수 있다.
역양자화부(325, 365)는 소정의 조건에 따라서 혹은 인코딩 장치에서의 양자화 방식에 따라서, 엔트로피 디코딩된 레지듀얼을 역양자화하지 않고 역변환부(330, 370)에 전달할 수도 있다.
역변환부(330, 370)는 변환 계수들에 대하여 인코딩 장치의 변환부가 수행한 변환에 대한 역변환을 수행할 수 있다. 역변환부(330, 370)는 인코딩 장치에서 수행된 DCT(Discrete Cosine Transform) 및 DST(Discrete Sine Transform)에 대해 역DCT 및/또는 역DST를 수행할 수 있다.
인코딩 장치에서 DCT 및/또는 DST는 예측 방법, 현재 블록의 크기 및 예측 방향 등 복수의 정보에 따라 선택적으로 수행될 수 있고, 디코딩 장치의 역변환부(330, 370)는 인코딩 장치에서 수행된 변환 정보를 기초로 역변환을 수행할 수 있다.
예컨대, 역변환부(330, 370)은 예측 모드/블록 크기에 따라서 역DCT와 역DST를 적용할 수 있다. 가령, 역변환부(330, 370)은 인트라 예측이 적용된 4x4 루마 블록에 대해서 역DST를 적용할 수도 있다.
또한, 역변환부(330, 370)는 예측 모드/블록 크기에 상관 없이, 특정 역변환 방법을 고정적으로 사용할 수도 있다. 예컨대, 역변환부(330, 370)는 모든 변환 블록에 역DST만을 적용할 수 있다. 또한, 역변환부(330, 370)는 모든 변환 블록에 역DCT만을 적용할 수도 있다.
역변환부(330, 370)는 변환 계수들 혹은 변환 계수의 블록을 역변환하여 레지듀얼 혹은 레지듀얼 블록을 생성할 수 있다.
역변환부(330, 370)는 또한, 필요에 따라서 혹은 인코딩 장치에서 인코딩된 방식에 따라서, 변환을 생략(skip) 할 수도 있다. 예컨대, 역변환(330, 370)는 특정한 예측 방법이 적용되거나 특정 크기를 갖는 블록, 혹은 특정 예측 블록이 적용된 특정한 크기의 블록에 대하여 변환을 생략할 수도 있다.
예측부(335, 375)는 엔트로피 디코딩부(315, 355)로부터 전달된 예측 블록 생성 관련 정보와 메모리(345, 385)에서 제공된 이전에 디코딩된 블록 및/또는 픽처 정보를 기초로 현재 블록에 대한 예측 블록을 생성할 수 있다.
현재 블록에 대한 예측 모드가 인트라 예측(intra prediction) 모드인 경우에, 예측부(335, 375)는 현재 픽처 내의 픽셀 정보를 기초로 현재 블록에 대한 인트라 예측을 수행할 수 있다.
현재 블록에 대한 예측 모드가 인터 예측(inter prediction) 모드인 경우에, 예측부(335, 375)는 현재 픽처의 이전 픽처 또는 이후 픽처 중 적어도 하나의 픽처에 포함된 정보를 기초로 현재 블록에 대한 인터 예측을 수행할 수 있다. 인터 예측에 필요한 움직임 정보의 일부 또는 전부는 인코딩 장치로부터 수신한 정보를 확인하고, 이에 대응하여 유도될 수 있다.
인터 예측의 모드로서 스킵 모드가 적용되는 경우에는 인코딩 장치로부터 레지듀얼이 전송되지 않으며 예측 블록을 복원 블록으로 할 수 있다.
한편, 레이어 1의 예측부(335)는 레이어 1 내의 정보만을 이용하여 인터 예측 또는 인트라 예측을 수행할 수도 있고, 다른 레이어(레이어 0)의 정보를 이용하여 인터 레이어 예측을 수행할 수도 있다.
예컨대, 레이어 1의 예측부(335)는 레이어 1의 움직임 정보, 레이어 1의 텍스처 정보, 레이어 1의 유닛 정보, 레이어 1의 파라미터 정보 중 하나를 이용하여 현재 블록에 대한 예측을 수행할 수 있다. 또한, 레이어 1의 예측부(335)는 레이어 1의 움직임 정보, 레이어 1의 텍스처 정보, 레이어 1의 유닛 정보, 레이어 1의 파라미터 정보 중 복수의 정보를 이용하여 현재 블록에 대한 예측을 수행할 수도 있다.
레이어 1의 예측부(335)는 레이어 0의 예측부(375)로부터 레이어 1의 움직임 정보를 전달받아서 움직임 예측을 수행할 수 있다. 인터 레이어 움직임 예측을 인터 레이어 인터 예측이라고도 한다. 인터 레이어 움직임 예측에 의해, 참조 레이어(베이스 레이어)의 움직임 정보를 이용하여 현재 레이어(인핸스먼트 레이어)의 현재 블록에 대한 예측이 수행될 수 있다. 예측부(335)는 필요한 경우에, 참조 레이어의 움직임 정보를 스케일링 하여 이용할 수도 있다.
레이어 1의 예측부(335)는 레이어 0의 예측부(375)로부터 레이어 1의 텍스처 정보를 전달받아서 인터 레이어 텍스처 예측을 수행할 수 있다. 인터 레이어 텍스처 예측은 인터 레이어 인트라 예측 혹은 인트라 BL(Base Layer) 예측이라고도 불린다. 인터 레이어 텍스처 예측은 참조 레이어의 참조 블록이 복원되어 있는 경우에 이용할 수 있다. 인터 레이어 텍스처 예측에서는 참조 레이어 내 참조 블록의 텍스처를 인핸스먼트 레이어의 현재 블록에 대한 예측 값으로 사용할 수 있다. 이때, 참조 블록의 텍스처는 업샘플링에 의해 스케일링될 수 있다.
레이어 1의 예측부(335)는 레이어 0의 예측부(375)로부터 레이어 1의 유닛 파라미터 정보를 전달받아서 유닛 파라미터 예측을 수행할 수 있다. 유닛 파라미터 예측에 의해, 베이스 레이어의 유닛(CU, PU 및/또는 TU) 정보가 인핸스먼트 레이어의 유닛 정보로 사용되거나, 베이스 레이어의 유닛 정보를 기반으로 인핸스먼트 레이어의 유닛 정보가 결정될 수 있다.
레이어 1의 예측부(335)는 레이어 0의 예측부(375)로부터 레이어 1의 필터링에 관한 파라미터 정보를 전달받아서 파라미터 예측을 수행할 수도 있다. 파라미터 예측에 의해, 베이스 레이어에서 사용한 파라미터를 유도하여 인핸스먼트 레이어에서 재사용하거나, 베이스 레이어에서 사용한 파라미터를 기반으로 인핸스먼트 레이어에 대한 파라미터를 예측할 수 있다.
가산기(390, 395)는 예측부(335, 375)에서 생성된 예측 블록과 역변환부(330, 370)에서 생성된 레지듀얼 블록을 이용해 복원 블록을 생성할 수 있다. 이 경우, 가산기(390, 395)를 복원 블록을 생성하는 별도의 유닛(복원 블록 생성부)로 볼 수 있다.
가산기(390, 395)에서 복원된 블록 및/또는 픽처는 필터링부(340, 380)로 제공될 수 있다.
필터링부(340, 380)는 복원된 블록 및/또는 픽처에 디블록킹 필터링, SAO(Sample Adaptive Offset) 및/또는 ALF 등을 적용할 수 있다.
필터링부(340, 380)는 디블록킹 필터, ALF, SAO를 모두 적용하지 않고, 디블록킹 필터만 적용하거나, 디블록킹 필터와 ALF만 적용하거나, 디블록킹 필터와 SAO만을 적용할 수도 있다.
도 3의 예을 참조하면, 레이어 1의 필터링부(340)는 레이어 1의 예측부(335) 및/또는 레이어 1의 필터링부(380)으로부터 전달되는 파라미터 정보를 이용하여 복원된 픽처에 대한 필터링을 수행할 수도 있다. 예컨대, 레이어 1에서 필터링부(340)는 레이어 0에서 적용된 필터링의 파라미터로부터 예측된 파라미터를 이용하여 레이어 1에 대한 혹은 레이어 간의 필터링을 적용할 수 있다.
메모리(345, 385)는 복원된 픽처 또는 블록을 저장하여 참조 픽처 또는 참조 블록으로 사용할 수 있도록 할 수 있다. 메모리(345, 385)는 저장된 복원 픽처를 소정의 출력부(미도시) 혹은 디스플레이(미도시)를 통해 출력할 수도 있다.
도 3의 예에서는 재정렬부, 역양자화부, 역변환부 등으로 나누어 설명하였으나, 도 1의 인코딩 장차에서와 같이, 역양자화/역변환부의 한 모듈에서 재정렬, 역양자화, 역변환을 순서대로 수행하도록 디코딩 장치를 구성할 수도 있다.
반대로, 도 3의 예에서는 예측부로 설명하였으나, 도 1의 예와 같이 레이어 1의 예측부는 다른 레이어(레이어 0)의 정보를 이용하여 예측을 수행하는 인터 레이어 예측부와 다른 레이어(레이어 0)의 정보를 이용하지 않고 예측을 수행하는 인터/인트라 예측부를 포함할 수도 있다.
도 4는 본 발명에 따라서 스케일러블 코딩을 수행하는 디코딩 장치에서의 레이어 간 예측에 관한 일 예를 설명하는 블록도이다.
도 4를 참조하면, 레이어 1의 예측부(410)는 인터/인트라 예측부(420) 및 인터 레이어 예측부(430)를 포함한다.
레이어 1의 예측부(410)는 레이어 0의 정보로부터 레이어 1의 예측에 필요한 인터 레이어 예측을 수행할 수 있다.
예컨대, 인터 레이어 예측부(430)는 레이어 0의 인터/인트라 예측부(450) 및/또는 필터링부(460)로부터 레이어 0의 정보를 전달받아 레이어 1의 예측에 필요한 인터 레이어 예측을 수행할 수 있다.
레이어 1의 인터/인트라 예측부(420)는 레이어 1의 정보를 이용하여 인터 예측 혹은 인트라 예측을 수행할 수 있다.
또한, 레이어 1의 인터/인트라 예측부(420)는 인터 레이어 예측부(430)로부터 전달된 정보를 이용하여 레이어 0의 정보에 기반한 예측을 수행할 수도 있다.
레이어 1의 필터링부(440)는 레이어 0의 정보에 기반하여 필터링을 수행할 수도 있고, 레이어 0의 정보에 기반하여 필터링을 수행할 수도 있다. 레이어 0의 정보는 레이어 0의 필터링부(460)으로부터 레이어 1의 필터링부(440)에 전달될 수도 있고, 레이어 1의 인터 레이어 예측부(430)로부터 레이어 1의 필터링부(240)에 전달될 수도 있다.
한편, 레이어 0으로부터 인터 레이어 예측부(430)로 전달되는 정보로는 레이어 0의 유닛 파라미터에 관한 정보, 레이어 0의 움직임 정보, 레이어 0의 텍스처 정보, 레이어 0의 필터 파라미터 정보 중 적어도 하나일 수 있다.
레이어 1에서 예측부(410) 는 도 3의 예측부(335)에 대응할 수 있고, 필터링부(440)는 도 3의 필터링부(340)에 대응할 수 있다. 레이어 0에서, 예측부(450)는 도 3의 예측부(375)에 대응할 수 있고, 필터링부(460)는 도 3의 필터링부(380)에 대응할 수 있다.
또한, 도시하지는 않았지만, 인터 레이어 예측부(430)는 수행하는 인터 레이어 예측의 종류(예컨대, 움직임 예측, 텍스처 예측, 유닛 파라미터 예측, 파라미터 예측)에 따라서, 움직임 예측부, 텍스처 예측부, 유닛 파라미터 예측부, 파라미터 예측부를 포함할 수도 있다.
스케일러블 비디오 코딩에서는 다른 레이어의 정보를 이용하여 현재 레이어의 정보를 예측하는 인터 레이어 예측이 수행될 수 있다. 도 1 내지 도 4의 예에서 설명한 바와 같이, 인터 레이어 예측의 예로서 움직임 예측, 텍스처 예측, 유닛 예측, 파라미터 예측 등을 고려할 수 있다.
이하, 도면을 참조하여, 각 인터 레이어 예측에 대하여 구체적으로 설명한다.
인터 레이어 인트라 예측
인터 레이어 인트라 예측은 인터 레이어 텍스처 예측 혹은 인트라 BL(Base Layer) 예측이라고도 불린다. 본 명세서에서는 설명의 편의를 위해, 인터 레이어 인트라 예측과 텍스처 예측 그리고 인트라 BL의 명칭들을 혼용하여 사용할 수도 있다.
이때, 베이스 레이어의 복원된 영상과 인핸스먼트 레이어의 영상 크기 또는 해상도를 동일하게 맞추기 위해, 베이스 레이어의 복원된 영상에 대한 업샘플링이 수행될 수 있다.
예컨대, DCTIF(DCT based Interpolation Filter)를 적용하여 업샘플링이 수행될 수 있다. 가령, 루마 샘플에 대해서는 8 탭의 DCTIF 를 적용하여 업샘플링을 수행하고, 크로마 샘플에 대해서는 4 탭의 DCTIF를 적용하여 업샘플링을 수행할 수 있다.
업샘플링은 인터폴레이션(interpolation)을 적용함으로써 수행될 수 있다.
한편, 본 발명에 따른 인터 레이어 인트라 예측은 코딩/디코딩의 처리 단위별로 종래와는 다른 특징을 나타낸다. 예컨대, 코딩 블록(예컨대, CU) 레벨에서 보면, 베이스 레이어의 블록 크기에 종속되지 않고, 독자적인 CU 파티션에 따라서 적용될 수 있다.
또한, 예측 블록(예컨대, PU) 레벨에서 보면, 인터 레이어 인트라 예측의 코스트는 현재 레이어(인핸스먼트 레이어) 내에서의 인트라 예측에 대한 코스트와 비교될 수 있다. 이때, 인터 레이어 인트라 예측은 인트라 예측 모드를 사용하는 것이 아니라, 베이스 레이어(참조 레이어)의 복원 영상을 참조 영상으로 사용하여 인트라 예측과 RDO(Rate-Distortion Optimization)를 비교하게 된다.
인터 레이어 인트라 예측을 적용하기 위해, PU에 대한 새로운 모드를 생성하지 않고, 상위 레벨에서 플래그 형태도 인터 레이어 인트라 예측이 적용되는지가 시그널링될 수 있다. 예컨대, 블록 모드 혹은 파티셔닝에 대해 파싱이 수행되기 전에 분할 플래그(split_flag) 다음 위치에서 플래그 형태로 인터 레이어 인트라 예측의 사용 여부에 관한 지시가 전송될 수 있다.
변환 블록(예컨대, TU) 레벨에서 보면, HEVC의 쿼드 트리 구조를 그대로 유지한 채로, 인터 레이어 인트라 예측을 적용하여 변환을 수행할 수 있다.
도 5는 본 발명에 따라서 인터 레이어 인트라 예측이 수행되는 예를 개략적으로 설명하는 도면이다.
도 5의 예에서는, 베이스 레이어의 영상(510)과 인핸스먼트 레이어의 영상(530)은 동일하게 64x64의 크기를 가지지만, 인핸스먼트 레이어의 영상(530)이 베이스 레이어의 영상(510)보다 4 배의 해상도를 가지고 있다.
따라서, 인핸스먼트 레이어의 영상(530)의 예측시에 베이스 레이어의 영상(510)을 참조하기 위해, 인트라 예측 모드로 복원된 베이스 레이어의 영상(510)을 업샘플링하여 참조 영상(520)을 구성한 후, 인핸스먼트 레이어의 예측에 이용한다.
인핸스먼트 레이어의 영상(530)에서 그림자 처리된 부분은, 인터 레이어 인트라 예측이 적용되지 않는 블록을 나타낸다.
이처럼 인터 레이어 인트라 예측을 적용하는 경우에는 베이스 레이어의 영상에 대한 리스케일링이 수행될 수 있다.
구체적으로, 인코딩 장치에서는 입력 영상이 서로 다른 해상도를 가지는 복수의 레이어로 나누어 인코딩/디코딩될 수 있도록 입력 영상을 다운샘플링하는 과정을 수행할 수 있다. 또한, 인코딩 장치/디코딩 장치는 인코딩/디코딩 과정에서 하위 레이어의 영상을 참조 영상으로 사용하기 위해 하위 레이어의 복원 영상을 업샘플링할 수도 있다.
다운샘플링과 업샘플링을 수행하는 경우에, 페이즈(phase) 특성이 맞지 않으면 인코딩/디코딩 과정에서 손실이 발생하게 되며 코딩 성능에 직접적인 영향을 미친다.
도 6은 본 발명에 따라서 인터 레이어 인트라 예측 과정에서 적용되는 리스케일링(다운샘플링/업샘플링)의 일 예를 개략적으로 나타낸 것이다.
도 6(a)에서는 동일 위치(col-located) 정수 샘플을 다움샘플링된 샘플로 사용하는 경우를 설명하고 있다. 도 6(b)에서는 동일 위치 정수 샘플을 사용하지 않고 1/2 페이즈 어긋난 샘플을 생성하여 사용하는 예를 설명하고 있다.
도 6(a)와 도 6(b)에 도시된 바와 같이, 오리지널 샘플을 다운샘플링한 샘플에 하프펠(half-pel) 업샘플링 필터를 적용하면 다운샘플링된 샘플 위치로부터 1/2 페이즈 어긋난 위치에 샘플이 생성될 수 있다.
다운샘플링을 할 때 페이즈 이동이 없었던 도 6(a)의 경우에는 오리지널 샘플과 동일한 위치에 업샘플링에 의해 샘플들이 생성된다. 반면에, 다운샘플링을 할 때 페이즈 이동이 있었던 도 6(b)의 경우에는 오리지널 샘플과는 다른 위치(1/2 페이즈 어긋난 위치)에 샘플들이 생성된다. 따라서, 도 6(b)의 경우에는 페이즈의 불일치에 의해 오리지널 샘플과 업샘플링된 샘플 사이에 손실이 발생할 수 있다.
이 문제를 해결하기 위해, 업샘플링 과정에서 오리지널 샘플(오리지널 영상)들과의 페이즈를 일치시키는 페이즈 쉬프트 업샘플링을 수행하는 것을 고려할 수 있다.
도 7은 본 발명에 따라서 페이즈 쉬프트 업샘플링(phase shifted up-samplimng)을 수행하는 일 예를 개략적으로 설명하는 도면이다.
도 7에서 아래쪽 샘플들은 오리지널 샘플로부터 1/2 페이즈 이동하여 다운샘플링된 샘플들과 다운샘플링된 샘플들로부터 업샘플링된 샘플들을 함께 나타낸 것이다.
도 7의 예에서는 다운샘플링 과정에서의 페이즈 이동을 보상하기 위해, 업샘플링 과정에서 다운샘플링된 샘플들에 대하여 1/4 페이즈, 3/4 페이즈 위치에서 업샘플링을 수행한다.
다운샘플링된 샘플들에 대하여 1/4 페이즈, 3/4 페이즈의 샘플을 보간함으로써 페이즈의 미스매치를 제거할 수 있다. 도 7을 참조하면, 다운샘플링된 샘플들에 대한 1/4 페이즈, 3/4 페이즈 위치에서 업샘플링된 샘플들은 오리지널 샘플들과 페이즈 차이가 없는 것을 확인할 수 있다.
이처럼 업샘플링 필터링을 적용할 때, 페이즈 이동을 얼마나 하여 오리지널 샘플과 페이즈를 일치시킬 것인지는 다운샘플링시에 적용된 페이즈 이동에 따라서 결정될 수 있다.
예컨대, 디코딩 장치에서 오리지널 샘플과 업샘플링된 샘플 간에 페이즈의 불일치가 발생하지 않도록 업샘플링 필터링을 적용하기 위해서는, 인코딩 장치에서 적용한 다운샘플링 필터에 대한 정보 또는 디코딩 장치에서 사용할 업샘플링 필터에 대한 정보가 인코딩 장치로부터 디코딩 장치로 전송될 필요가 있다.
아래 표 1은 본 발명에 따라서 페이즈를 일치시키기 위해 전송되는 다운샘플링/업샘플링 필터 정보의 일 예를 나타낸 것이다.
<표 1>
Figure pct00001
필터의 정보가 인코딩 장치로부터 디코딩 장치로 직접(explicitly) 전송되는 대신 룩업 테이블을 이용할 수도 있다.
이때, 인코딩 장치는 룩업 테이블상에서 필터 정보를 지시하는 인덱스를 디코딩 장치로 전송할 수 있다. 전송되는 인덱스는 인코딩 장치에서 적용된 다운샘플링 필터의 정보를 지시하는 인덱스일 수도 있고, 디코딩 장치에서 적용할 업샘플링 필터의 정보를 지시하는 인덱스일 수도 있다.
표 2는 본 발명에 따라서 필터 정보를 전달하는데 이용되는 룩업 테이블의 일 예를 간단히 나타낸 것이다.
<표 2>
Figure pct00002
업샘플링/다운샘플링 필터 정보는 부호화/복호화 과정의 소정 레벨에서 저장/전송될 수 있다. 예컨대, 필터 정보는 시퀀스 파라미터 셋에서 전송될 수 있다. 이 경우, 동일 시퀀스 내에서는 별도의 시그널링이 없는 한 동일한 필터들이 적용될 수 있다. 또한, 필터 정보를 픽처 파라미터 셋에서 전송하여 별도의 시그널링이 없는 한 동일 픽처 내에서는 동일한 필터들이 적용되도록 할 수도 있다. 혹은 필터 정보를 슬라이스 헤더에 저장하여 전송함으로써 별도의 시그널링이 없는 한 동일한 슬라이스 내에서는 동일한 필터들이 적용되도록 할 수도 있다.
표 3은 필터 정보를 시퀀스 파라미터 셋에 저장하여 전송하는 경우의 예를 간단히 나타낸 것이다.
<표 3>
Figure pct00003
표 3에서 Interpolation_filter_indicator는 사용할 인터폴레이션(보간) 필터의 종류를 지시한다.
표 3에서는 시퀀스 파라미터 셋에서 필터 정보를 저장하는 경우의 신택스 구조를 나타냈으나, 이는 본 발명에 따른 일 예일뿐이며, Interpolation_filter_indicator는 상술한 바와 같이, 픽처 파라미터 셋 또는 슬라이스 헤더에서 전송될 수도 있다.
Interpolation_filter_indicator가 지시하는 필터의 종류는 필터의 특징을 나타내는 정보로서, 표 1에서와 같이 페이즈, 탭 수, 탭의 계수 등을 포함한다.
즉, Interpolation_filter_indicator는 표 4와 같이, 룩업 테이블의 인덱스 값을 지시할 수 있다. 표 4는 리스케일링에 적용되는 필터 정보를 Interpolation_filter_indicator를 통해 지시하는데 이용되는 테이블의 일 예를 나타낸 것이다.
<표 4>
Figure pct00004
도 8은 본 발명에 따라서 Interpolation_filter_indicator를 이용하는 방법의 일 예로서, Interpolation_filter_indicator의 값이 10인 경우의 샘플링 방법을 간단히 설명하는 도면이다.
도 8(a)는 1/2 페이즈 이동이 적용된 다운샘플링의 경우를 나타내며, 도 8(b)는 도 8(a)에서 다운샘플링된 샘플로부터 업샘플링을 수행하는 경우를 나타낸다.
도 8(b)에서는 오리지널 샘플들과 업샘플링된 샘플들 사이의 페이즈를 일치시키기 위해, Interpolation_filter_indicator가 지시하는 대로 8-탭 / 1/4, 3/4 페이즈 인터폴레이션 필터를 적용하여 업샘플링을 수행한다.
다시 말하면, Interpolation_filter_indicator는 디코딩 장치가 적용할 업샘플링 필터를 지시하며, 예컨대, Interpolation_filter_indicator의 값이 10인 경우에는 페이즈를 일치시키기 위해 '8-탭 / 1/4, 3/4 페이즈 인터폴레이션 필터'가 적용되어야 함을 지시한다. 동시에, 8-탭 / 1/4, 3/4 페이즈 인터폴레이션 필터가 적용되어 페이즈를 일치시킨다는 것은 인코딩 장치에서 1/2 페이즈 이동이 적용된 다운샘플링이 수행되었음을 의미한다.
지금까지 설명한 인터 레이어 인트라 예측은 도 1내지 도 4에서 설명한 인터 레이어 예측부(예컨대, 텍스처 예측부)에서 수행될 수 있다. 인터 레이어 인트라 예측에서는 참조 레이어 내 참조 블록의 텍스처를 인핸스먼트 레이어의 현재 블록에 대한 예측 값으로 사용할 수 있다. 이때, 참조 블록의 텍스처는 업샘플링에 의해 스케일링될 수 있다.
인터 레이어 인트라 예측을 적용할 것인지는 CU의 분할 여부를 지시하는 플래그에 이어서 플래그 형태로 지시될 수 있다. 인터 레이어 인트라 예측에서 스케일링이 적용되는 경우에, 필터의 정보는 부호화되어 전달될 수 있다. 이때, 전달되는 정보는 상술한 바와 같다.
인터 레이어 움직임 예측
인터 레이어 움직임 예측은 인터 레이어 인터 예측이라고도 불리며, 본 명세서에서는 발명의 이해를 돕기 위해, 필요에 따라서 인터 레이어 움직임 예측과 인터 레이어 인터 예측의 표현을 혼용할 수 있다.
인터 레이어 움직임 예측에서는 참조 레이어(베이스 레이어)의 움직임 정보를 이용하여 현재 레이어(인핸스먼트 레이어)의 현재 블록에 대한 예측을 수행할 수 있다.
인터 레이어 움직임 예측은 도 1 내지 도 4의 예측부 혹은 인터 레이어 예측부에서 수행될 수 있다. 이하, 설명의 편의를 위해, 예측부에서 인터 레이어 움직임 예측을 수행하는 것으로 설명한다.
도 9는 다른 레이어를 참조하지 않고 레이어 내에서 인터 예측을 수행하는 경우(이하, '인터 예측'이라 함)에 이용되는 움직임 정보의 후보들에 대한 일 예를 간단히 나타낸 것이다.
도 9에서 A0, A1, B0, B1, B2, COL은 해당 블록을 지시할 수도 있고, 해당 블록의 움직임 정보를 지시할 수도 있다. 이때, 해당 블록의 움직임 정보는 움직임 벡터일 수도 있고, 움직임 벡터와 참조 픽처 인덱스일 수도 있다.
여기서는 인터 예측의 방법에 관해 베이스 레이어의 경우를 일 예로서 설명하도록 한다.
베이스 레이어에서의 인터 예측은 도 1 내지 도 4의 예측부 혹은 인터/인트라 예측부에서 수행될 수 있다. 이하, 설명의 편의를 위해, 예측부에서 인터 예측을 수행하는 것으로 설명한다.
인터 예측의 모드로는 머지(merge) 모드, 스킵 모드 그리고 MVP(Motion Vector Predicot)를 이용하는 모드가 있다. MVP를 이용하는 모드를 설명의 편의를 위해 AMVP(advanced MVP) 모드라고 할 수 있다.
머지 모드에서는 도 9에 도시된 주변 블록(neighboring block)들의 움직임 정보(이하, 움직임 정보 후보라 함)들 중에서 선택된 움직임 정보를 현재 블록의 움직임 정보로 이용할 수 있다. 선택되는 움직임 정보 후보를 지시하는 인코딩 장치로부터 디코딩 장치로 전송될 수 있다.
스킵 모드에서는 머지 모드와 동일하게 선택된 움직임 정보 후보의 움직임 정보를 현재 블록의 움직임 정보로 사용하지만, 레지듀얼이 생성/전송되지 않는다.
머지 모드 또는 스킵 모드가 적용되는 경우에, 예측부는 현재 블록 주변의 공간적 후보들인 A0, A1, B0, B1, B2에 대한 가용성을 판단할 수 있다. 가용성 판단은 소정의 순서로 진행될 수 있다. 예컨대, A1→B1→B0→A1→B2의 순서로 진행될 수 있다.
이때, 각 후보들의 가용성 판단에는 이전 후보와의 동일성 판단이 포함될 수 있다. 예컨대, B1에 대하여, A1과 움직임 정보가 동일한지를 고려하여 가용성 판단을 할 수 있다. 구체적으로, A1이 가용하고 A1과 B1의 움직임 정보가 동일하면 B1은 가용하지 않은 것으로 판단할 수 있다.
같은 방법으로, B0는 B1과 움직임 정보가 동일한지를 고려하여 가용성 판단을 할 수 있으며, A0은 A1과 움직임 정보가 동일한지를 고려하여 가용성 판단을 할 수 있다.
B2는 A1과 움직임 정보가 동일한지, B1과 움직임 정보가 동일한지를 모두 고려하여 가용성 판단을 할 수 있으며, 이때, 앞선 네 후보(A0, A1, B0, B1)가 모두 가용한 경우에는 가용하지 않은 것으로 판단할 수도 있다.
COL 후보를 사용하는 경우에는, 참조 픽처 리스트를 이용하여 COL 후보가 포함된 COL 픽처를 특정할 수 있다. 현재 블록과 동일 LCU 내에 있는 COL 블록에 대하여 소정 위치를 포함하는 예측 블록의 움직임 정보를 COL후보로 할 수 있다. 이때, COL 후보의 움직임 벡터는 COL 픽처와 현재 픽처의 참조 픽처들을 고려하여 스케일링될 수 있으며, COL 후보의 참조 인덱스는 소정의 값(예컨대, 0)으로 설정될 수 있다.
COL 후보를 포함하여 가용한 것(available)으로 판단된 후보들로, 가용성 판단 순서에 따라 머지 후보 리스트가 구성될 수 있다. 이때, 현재 블록의 슬라이스 타입이 B(즉, 양방향 예측이 적용되는 슬라이스)이고 현재 머지 후보 리스트에 포함된 후보의 개수가 최대 개수보다 적은 경우에는 머지 후보 리스트에 후보들(조합 양 예측 후보, combined bi-prediction candidates)이 추가될 수 있다.
상술한 바와 같이, 머지 후보 리스트가 구성된 후에도 머지 후보 리스트에 포함된 후보의 개수가 최대 개수보다 적은 경우에는 소정의 후보(예컨대, 제로 머지 후보)가 머지 후보 리스트에 추가될 수 있다.
예측부는 인코딩 장치로부터 전송된 정보(예컨대, 머지 인덱스 merge_idx)가 머지 후보 리스트 상에서 지시하는 후보의 움직임 정보를 현재 블록에 대한 움직임 정보로 이용하여 인터 예측을 수행할 수 있다. 예컨대, 예측부는 머지 인덱스에 의해 선택된 후보의 움직임 정보가 지시하는 샘플들을 현재 블록의 예측 블록으로 할 수 있다.
한편, AMVP 모드가 적용되는 경우에도, 예측부는 MVP 후보로 구성되는 AMVP 리스트를 구성할 수 있다.
AMVP 모드에서, 예측부는 A0→A1으로 후보의 가용성을 판단하고, B0→B1→B2으로 후보의 가용성을 판단한다.
A0→A1의 순서로 후보의 가용성을 판단할 때, 예측부는 ① 가용한 후보로서 현재 블록과 동일한 참조 픽처를 가지는 후보가 있는 경우 해당 후보를 AMVP 리스트에 포함시킬 수 있다. ①을 만족하는 후보가 없는 경우에, 예측부는 ② 현재 픽처와 현재 픽처의 참조 픽처 사이의 POC(Picture Order Count) 차이 및 현재 픽처와 후보의 참조 픽처 사이 POC 차이에 기반하여, 가용한 것으로 먼저 검색된 후보의 움직임 벡터를 스케일링할 수 있다. 예측부는 스케일링된 움직임 벡터를 AMVP 리스트에 포함시킬 수 있다.
B0→B1→B2의 순서로 후보의 가용성을 판단할 때, 예측부는 ① 가용한 후보로서 현재 블록과 동일한 참조 픽처를 가지는 후보가 있는 경우 해당 후보를 AMVP 리스트에 포함시킨다. ①을 만족하는 후보가 없고 A0과 A1 중에 가용한 후보가 없는 경우에, 예측부는 ② 현재 픽처와 현재 픽처의 참조 픽처 사이의 POC(Picture Order Count) 차이 및 현재 픽처와 후보의 참조 픽처 사이 POC 차이에 기반하여, 가용한 것으로 먼저 검색된 후보의 움직임 벡터를 스케일링할 수 있다. 예측부는 스케일링된 움직임 벡터를 AMVP 리스트에 포함시킬 수 있다.
COL 후보(시간적 후보)를 사용하는 경우에는, 참조 픽처 리스트를 이용하여 COL 후보가 포함된 COL 픽처를 특정할 수 있다. 현재 블록과 동일 LCU 내에 있는 COL 블록에 대하여 소정 위치를 포함하는 예측 블록의 움직임 정보를 COL후보로 할 수 있다. 이때, COL 후보의 움직임 벡터는 COL 픽처와 현재 픽처의 참조 픽처들을 고려하여 스케일링될 수 있다.
A0→A1의 순서로 후보의 가용성을 판단하여 결정된 MVP 후보를 A라고 하고, B0→B1→B2의 순서로 후보의 가용성을 판단하여 결정된 MVP 후보를 B라고 하며, 시간적 후보에 대한 가용성 판단에 의해 결정된 MVP 후보를 COL이라고 할 때, AMVP 리스트는 [A B COL]의 순서로 구성될 수 있다.
이때, 예측부는 A와 B가 동일한 경우에는 둘 중 하나를 AMVP 리스트로부터 삭제할 수 있다.
또한, 예측부는 A, B 및 COL이 모두 유효한 경우에는 AMVP 리스트 내 MVP 후보들의 개수를 2로 조정할 수 있다. 예컨대, 예측부는 A와 B로 AMVP 리스트를 구성하고, COL을 AMVP 리스트에서 제거할 수 있다.
예측부는 AMVP 리스트 내 후보들의 개수가 2보다 적은 경우에는 제로(0) 움직임 벡터를 후보로 추가할 수도 있다.
인코딩 장치는 AMVP 리스트 상에서 현재 블록에 대한 인터 예측에 사용할 MVP를 지시하는 MVP 인덱스, 움직임 벡터의 차분 mvd(motion vector difference)와 참조 픽처 리스트 상에서 현재 블록에 대한 참조 픽처를 지시하는 참조 인덱스를 디코딩 장치로 전송할 수 있다. 참조 픽처 리스트는 인터 예측에 사용될 수 있는 참조 픽처들의 리스트로서, 순방향 예측에 대한 L0과 역방향 예측에 대한 L1이 있다.
예측부는 MVP 인덱스가 지시하는 MVP와 mvd로부터 유도한 움직임 벡터와 참조 인덱스가 지시하는 참조 픽처를 기반으로 현재 블록에 대한 예측 블록을 생성할 수 있다.
머지 모드/스킵 모드 또는 AMVP 모드를 적용하여 예측 블록이 생성되면, 예측부는 예측 블록과 레지듀얼을 기반으로 현재 블록에 대한 복원 블록을 생성할 수 있다. 스킵 모드가 적용되는 경우에는 레지듀얼이 전송되지 않으므로, 예측부는 예측 블록을 복원 블록으로 이용할 수 있다.
지금까지는 인터 예측의 방법으로서 베이스 레이어의 경우를 예로 설명하였으나, 인핸스먼트 레이어에서도 다른 레이어의 정보를 이용하지 않고 인터 예측을 수행하는 경우에는 위에서 설명한 것과 동일한 방법으로 인터 예측을 수행할 수 있다.
베이스 레이어에 대하여 상술한 바와 같이 인터 예측이 수행되면, 인핸스먼트 레이어에서는 베이스 레이어의 움직임 정보를 이용하여 인터 레이어 움직임 예측(inter-layer motion prediction)을 수행할 수 있다.
인터 레이어 움직임 예측은 인코딩 장치와 디코딩 장치의 예측부에서 수행할 수 있다.
도 10은 본 발명에 따라서 인터 레이어 움직임 예측을 수행하는 방법의 일 예를 개략적으로 설명하는 순서도이다.
도 10을 참조하면, 인핸스먼트 레이어의 예측부는 참조 레이어의 움직임 정보를 유도할 수 있다(S1010). 예컨대, 인핸스먼트 레이어의 인터 레이어 예측부는 참조 레이어의 예측부로부터 전달된 정보를 기반으로 참조 레이어의 움직임 정보를 유도할 수 있다. 혹은 인핸스먼트 레이어의 예측부는 인코딩 장치로부터 전달된 정보를 기반으로 참조 레이어의 움직임 정보를 유도할 수도 있다.
이때, 인핸스먼트 레이어의 예측부는 유도된 참조 레이어의 움직임 정보, 예컨대 유도된 참조 레이어의 움직임 벡터를 스케일링할 수도 있다.
인핸스먼트 레이어의 예측부는 참조 레이어의 움직임 정보를 이용하여 현재 블록에 대한 인터 레이어 인터 예측을 수행할 수 있다(S1020). 예컨대, 인핸스먼트 레이어의 인터/인트라 예측부는 인터 레이어 예측부가 유도한 참조 레이어의 움직임 정보를 머지 모드/스킵 모드 혹은 AMVP 모드의 한 후보로서 이용하여 현재 블록에 대한 예측을 수행할 수 있다.
이하, 도면을 참조하여, 본 발명에 따른 인터 레이어 인트라 예측을 구체적으로 설명한다.
1. 참조 레이어의 움직임 정보 유도
도 11은 본 발명에 따라서 참조 레이어의 움직임 정보를 유도하는 방법을 개략적으로 설명하는 도면이다. 도 11에서는 현재 레이어는 참조 레이어의 상위 레이어로서, 현재 레이어의 해상도가 참조 레이어의 해상도보다 높은 경우를 예로서 설명한다.
도 11을 참조하면, 현재 레이어의 PU(1110, 현재 PU)에 대응하는 참조 레이어의 PU(1100, 참조 PU)를 기반으로 현재 PU가 특정될 수 있다.
현재 PU를 특정하는 위치를 (xCurr, yCurr)이라고 하고, 현재 PU에 대응하는 참조 레이의 위치, 예컨대 참조 PU를 특정하는 위치를 (xRef, yRef)라고 하자.
참조 레이어의 움직임 벡터로부터 유도할 인터 레이어 움직임 벡터를 mvIL이라고 하고, (xRef, yRef)에 의해 특정되는 참조 레이어의 움직임 벡터(예컨대, 참조 PU의 움직임 벡터)를 mvRL이라고 하자.
도 11에서 nPSW는 현재 PU(1110)의 너비(width)이고, nPSH는 현재 PU(1110의 높이(height)이다.
예측부는 현재 PU를 특정하고, 현재 PU의 위치를 기반으로 참조 PU를 특정하여, 참조 PU의 움직임 정보(예컨대 움직임 벡터)를 유도할 수 있다.
(1) 현재 PU를 특정하는 위치 (xCurr, yCurr) 결정
현재 PU를 특정하는 위치 (xCurr, yCurr)는 아래 ① ~ ⑫와 같은 후보들 중에 어느 하나로 결정될 수 있다.
① LT = ( xP, yP )
② RT = ( xP + nPSW - 1, yP )
③ LB = ( xP, yP + nPSH - 1 )
④ RB = ( xP + nPSW - 1, yP + nPSH - 1 )
⑤ LT' = ( xP - 1, yP - 1 )
⑥ RT' = ( xP + nPSW, yP - 1 )
⑦ LB' = ( xP - 1, yP + nPSH )
⑧ RB' = ( xP + nPSW, yP + nPSH )
⑨ C0 = ( xP + (nPSW>>1) -1, yP + (nPSH>>1) -1 )
⑩ C1 = ( xP + (nPSW>>1), yP + (nPSH>>1) -1 )
⑪ C2 = ( xP + (nPSW>>1) -1, yP + (nPSH>>1) )
⑫ C3 = ( xP + (nPSW>>1), yP + (nPSH>>1) )
현재 PU를 특정하는 위치 (xCurr, yCurr)는 ① ~ ⑫ 중 어느 하나로 결정되어 고정적으로 사용될 수도 있고, 인코딩 장치에서 RDO를 통해 결정한 뒤 어느 위치를 (xCurr, yCurr)로 사용할 것인지를 시그널링할 수도 있다.
혹은 참조 레이어(베이스 레이어)에서 PU를 특정하는 위치에 대응하여, 동일한 위치를 현재 레이어(인핸스먼트 레이어)의 PU를 특정하는 위치로 결정할 수도 있다. 예컨대, 참조 레이어에서 PU 내 좌상단을 PU를 특정하는 위치로 이용하는 경우에는, 현재 레이어에서도 PU 내 좌상단 LT = ( xP, yP )를 (xCurr, yCurr)로 결정하여 이용할 수도 있다.
(2) 참조 레이어의 대상 위치 (xRef, yRef)
참조 레이어에서 움직임 벡터를 가져올 위치(참조 PU의 위치)는 현재 PU의 위치로부터 현재 레이어와 참조 레이어 간의 비에 따라서 결정될 수 있다.
수식 1은 본 발명에 따라서 참조 레이어에서 움직임 벡터를 가져올 위치를 결정하는 방법을 나타낸 것이다.
<수식 1>
xRef = xCurr/scale
yRef = yCurr/scale
이때, 참조 레이어에 대한 현재 레이어의 비를 나타내는 scale은 두 레이어 해상도에 따라서 결정될 수 있다. 예컨대, 현재 레이어의 해상도가 참조 레이어의 해상도의 2 배라면, 적용되는 scale의 값은 2가 된다. 현재 레이어의 해상도와 참조 레이어의 해상도가 동일하다면, 적용되는 scale의 값은 1이 된다.
여기서는 현재 레이어와 참조 레이어 사이의 해상도 비로서 scale의 값을 결정하였으나, 본 발명은 이에 한정되지 않는다. scale은 현재 레이어와 참조 레이어 사이에 적용되는 스케일러빌러티의 종류에 따라서 결정될 수도 있다. 예컨대, scale은 현재 레이어와 참조 레이어 사이의 픽처 크기 비, 프레임 레이트 비일 수도 있다.
예측부는 (xRef, yRef) 위치의 움직임 벡터, 즉 (xRef, yRef)를 커버하는 PU(참조 PU)의 움직임 벡터를 mvRL로서 유도할 수 있다.
또한, 예측부는 (xRef, yRef)를 커버하는 PU(참조 PU)의 참조 인덱스를 인터 레이어 움직임 예측에 사용할 참조 인덱스 refIdxIL로서 유도할 수 있다.
예측부는 mvRL을 스케일링하여 인터 레이어 움직임 예측(인터 레이어 인터 예측)에 사용할 움직임 벡터 mvIL를 유도할 수 있다.
수식 2는 본 발명에 따라서 mvRL을 스케일링하여 mvIL을 유도하는 방법을 나타낸 것이다.
<수식 2>
mvIL = scale * mvRL
수식 2에서 계수 scale은 수식 1에서와 마찬가지로 참조 레이어에 대한 현재 레이어의 비를 나타낸다. 예컨대, 현재 레이어의 해상도가 참조 레이어의 해상도의 2 배라면, 적용되는 scale의 값은 2가 된다.
현재 레이어의 해상도와 참조 레이어의 해상도가 동일하다면, 적용되는 scale의 값은 1이 되며, 예측부는 mvRL을 mvIL로 이용할 수 있다.
2. 참조 레이어로부터 유도한 움직임 정보를 이용한 인터 레이어 인터 예측
예측부는 참조 레이어로부터 유도한 움직임 정보를 이용하여 현재 레이어(인핸스먼트 레이어)의 현재 블록에 대한 인터 레이어 인터 예측을 수행할 수 있다. 참조 레이어로부터 유도한 움직임 정보는 움직임 벡터 mvIL과 참조 인덱스 refIdxIL을 포함한다.
예컨대, 머지 모드/스킵 모드가 적용되는 경우에, 예측부는 mvIL과 refIdxIL을 머지 후보로서 현재 블록에 대한 머지 후보 리스트에 추가할 수 있다.
또한, AMVP 모드가 적용되는 경우에, 예측부는 mvIL을 MVP 후보로서 현재 블록에 대한 AMVP 리스트에 추가할 수 있다.
(1) 머지 모드가 적용되는 경우
표 5는, 앞서 설명한 바와 같이, 인터 예측으로서 다른 레이어를 참조하지 않고 레이어 내에서 머지 모드가 적용되는 경우에, 구성되는 머지 후보 리스트의 일 예를 나타낸 것이다.
<표 5>
Figure pct00005
표 5에서 A1, B1, B0, A0, B2, COL은 도 9의 A1, B1, B0, A0, B2, COL와 동일하다. 또한, 표 5에서 인터 예측의 머지 후보 리스트를 구성하는 방법은 앞서 도 9를 참조하여 설명한 인터 예측의 머지 모드에서와 동일하다.
표 5에서 제일 위에 위치하는 후보에는 가장 작은 값의 인덱스가 할당될 수 있고, 가장 아래에 위치하는 후보에는 가장 큰 값의 인덱스가 할당될 수 있다.
반면, 인터 레이어 움직임 예측이 적용되는 경우에, 예측부는 표 5와 달리 참조 레이어로부터 유도한 움직임 정보을 포함하는 머지 후보 리스트를 구성할 수 있다. 여기서는 설명의 편의를 위해, 참조 레이어로부터 유도한 움직임 정보를 참조 레이어 후보(reference layer candidate) REF라고 한다.
REF는 mvIL과 refIdxIL을 포함한다.
표 6은 본 발명에 따라서 인터 레이어 움직임 예측의 머지 모드가 적용되는 경우에 예측부에 의해 구성되는 머지 후보 리스트의 일 예를 나타낸 것이다. 표 6은 본 발명에 따라서 참조 레이어 후보가 머지 후보 리스트에 추가되는 순서를 설명한다.
<표 6>
Figure pct00006
표 6에서 A1, B1, B0, A0, B2, COL은 도 9의 A1, B1, B0, A0, B2, COL와 동일하다. 또한, 표 6에서 A1, B1, B0, A0, B2, COL로 머지 후보 리스트를 구성하는 방법은 앞서 도 9를 참조하여 설명한 바와 동일하다.
표 6에서 가장 위에 위치하는 후보에는 가장 작은 값의 인덱스가 할당될 수 있고, 가장 아래에 위치하는 후보에는 가장 큰 값의 인덱스가 할당될 수 있다.
다만, 예측부는 도 9에서 설명한 바와 같이, A1, B1, B0, A0, B2의 유효성을 판단할 때마다, 앞선 후보와의 동일성을 고려할 수 있다.
또한, 예측부는 A1, B1, B0, A0, B2 간의 동일성을 배제하고 리스트를 구성한 뒤, A1, B1, B0, A0, B2, COL 간의 동일성을 한번에 판단할 수 있다.이 경우, 동일한 후보 중 하나를 남기는 작업은 COL의 유효성을 판단한 후에 수행될 수 있다.
인터 레이어 움직임 예측의 머지 모드가 적용되는 경우에, 예측부는 표 6의 머지 후보 리스트에서 ⓐ ~ ⓕ 중의 어느 한 순서에 REF를 포함시킬 수 있다.
예컨대, 예측부는 REF에 가장 작은 인덱스(예컨대, 0)을 할당하여 머지 후보 리스트의 ⓐ 순서에 포함시킬 수 있다. 즉, 예측부는 머지 후보 리스트에 REF를 가장 먼저 추가할 수 있다.
또한, 예측부는 REF에 가장 큰 인덱스(예컨대, 머지 후보 리스트에 포함될 수 있는 최대 후보 개수 - 1)를 할당하여 머지 후보 리스트의 ⓕ 순서에 포함시킬 수도 있다. 즉, 예측부는 머지 후보 리스트에 REF를 가장 늦게 추가할 수도 있다.
예측부는 공간적 후보들 다음의 순서인 ⓒ에 REF를 추가할 수도 있다. 즉, 예측부는 공간적 후보들의 유효성을 판단한 후에 REF를 머지 후보 리스트에 추가할 수도 있다.
또한, 예측부는 현재 레이어 내의 후보들 중 단방향 예측에 대한 후보들 다음 그리고 조합 양방향 후보 전의 순서인 ⓓ에 REF를 추가할 수도 있다. 즉, 예측부는 현재 레이어 내의 후보들 중 단방향 예측의 후보들에 대한 유효성을 판단하고, 조합 양방향 후보를 추가하기 전에 REF를 머지 후보 리스트에 추가할 수도 있다.
예측부는 현재 레이어 내의 후보들을 모두 고려한 뒤의 순서인 ⓔ에 REF를 추가할 수도 있다. 즉, 예측부는 현재 레이어 내의 후보들에 대한 유효성을 모두 검토한 후에 REF를 머지 후보 리스트에 추가할 수도 있다.
아울러, 예측부는 현재 블록 좌측의 후보와 상측의 후보를 하나씩 고려한 후의 순서인 ⓑ에 REF를 추가할 수도 있다. 즉, 예측부는 현재 블록 좌측의 후보와 상측의 후보의 유효성을 하나씩 검토한 후에 REF를 머지 후보 리스트에 포함시킬 수도 있다.
표 6의 인터 레이어 움직임 예측의 머지 후보 리스트에 포함되는 후보의 개수, 즉 최대 후보 개수는 표 5와 동일할 수 있다. 이 경우, 최대 후보 개수를 맞추기 위해 REF가 포함되는 위치에 따라서, REF보다 후순위에 있는 현재 레이어의 후보들이 머지 후보 리스트에서 제외될 수도 있다. 또한, REF보다 선순위에 있는 현재 레이어의 후보들로 최대 후보 개수가 충족되는 경우에는 REF가 머지 후보 리스트에서 제외될 수도 있다.
표 6의 인터 레이어 움직임 예측의 머지 후보 리스트에 포함되는 후보의 개수, 즉 최대 후보 개수는 표 5와 상이할 수도 있다. 예컨대, 표 6에서 최대 후보 개수는 REF를 고려하여 표 5의 경우보다 하나 더 많을 수 있다. 이 경우에는 현재 레이어의 후보들로 머지 후보 리스트가 구성된 뒤, REF를 소정의 위치 혹은 소정의 순서에 포함시킴으로써 머지 후보 리스트를 완성한다고 볼 수도 있다. 이때, 머지 후보 리스트 내에서 REF의 위치 혹은 추가되는 순서는 미리 정해져 있을 수도 있고, 인코딩 장치로부터 지시되거나 디코딩 장치에 의해 유도될 수 있다.
머지 후보 리스트 내의 후보들 중에서 어떤 후보를 이용하여 머지 모드를 수행할 것인지는 인코딩 장치로부터 지시될 수 있다. 예컨대, 예측부는 인코딩 장치로부터 수신한 정보(예컨대, 머지 인덱스 merge_idx)가 표 6과 같은 머지 후보 리스트 상에서 지시하는 후보를 선택하고, 선택된 움직임 정보가 지시하는 블록을 기반으로 현재 블록에 대한 예측 블록을 생성할 수 있다.
(2) MVP (AMVP) 모드가 적용되는 경우
표 7은, 앞서 설명한 바와 같이, 인터 예측으로서 다른 레이어를 참조하지 않고 현재 레이어 내에서 MVP 모드가 적용되는 경우에, 구성되는 후보 리스트의 일 예를 나타낸 것이다. 본 명세서에서는 MVP를 이용하는 인터 예측의 모드를 AMVP 모드라고 하며, 이때 이용되는 후보 MVP들로 구성되는 리스트를 AMVP 리스트라고 한다.
<표 7>
Figure pct00007
표 7에서 A1, B1, B0, A0, B2, COL그리고 A와 B는 도 9의 A1, B1, B0, A0, B2, COL 및 도 9를 이용하여 설명한 MVP 모드에서의 A 및 B와 동일하다. 또한, 표 7에서 인터 예측의 MVP후보 리스트를 구성하는 방법은 앞서 도 9를 참조하여 설명한 인터 예측의 MVP 모드에서와 동일하다.
표 7에서 제일 위에 위치하는 후보에는 가장 작은 값의 인덱스가 할당될 수 있고, 가장 아래에 위치하는 후보에는 가장 큰 값의 인덱스가 할당될 수 있다.
반면, 인터 레이어 움직임 예측이 적용되는 경우에, 예측부는 표 7과 달리 참조 레이어로부터 유도한 움직임 정보을 포함하는 MVP후보 리스트를 구성할 수 있다. 여기서는 참조 레이어로부터 유도한 움직임 벡터를 참조 레이어 후보(reference layer candidate) REF라고 한다.
REF는 mvIL을 포함한다.
표 8은 본 발명에 따라서 인터 레이어 움직임 예측의 MVP 모드가 적용되는 경우에 예측부에 의해 구성되는 AMVP 리스트의 일 예를 나타낸 것이다. 표 8은 본 발명에 따라서 참조 레이어 후보가 AMVP 리스트에 추가되는 순서를 설명한다.
<표 8>
Figure pct00008
표 8에서 A1, B1, B0, A0, B2, COL그리고 A와 B는 도 9의 A1, B1, B0, A0, B2, COL 및 도 9를 이용하여 설명한 MVP 모드에서의 A 및 B와 동일하다. 또한, 표 8에서 A, B, COL로 AMVP 리스트를 구성하는 방법은 앞서 도 9를 참조하여 설명한 바와 동일하다.
표 8에서 가장 위에 위치하는 후보에는 가장 작은 값의 인덱스가 할당될 수 있고, 가장 아래에 위치하는 후보에는 가장 큰 값의 인덱스가 할당될 수 있다.
예측부는 도 9에서 설명한 바와 같이, A, B 사이의 동일성을 판단하여 A와 B가 동일한 경우에는 A와 B 중 하나를 AMVP 리스트에서 제외할 수 있다. 이 과정은 B의 유효성을 판단할 때 수행될 수도 있고, A와 B를 판단한 후에 수행될 수도 있으며, COL의 유효성을 판단하는 경우 혹은 COL의 유효성을 판단한 후에 수행될 수도 있다.
인터 레이어 움직임 예측의 MVP 모드가 적용되는 경우에, 예측부는 표 8의 AMVP 리스트에서 ⓐ ~ ⓔ 중의 어느 한 순서에 REF를 포함시킬 수 있다.
예컨대, 예측부는 REF에 가장 작은 인덱스(예컨대, 0)을 할당하여 ⓐ의 순서에 포함시킬 수 있다. 즉, 예측부는 AMVP 리스트에 REF를 가장 먼저 추가할 수 있다.
또한, 예측부는 REF에 가장 큰 인덱스(예컨대, AMVP 리스트에 포함될 수 있는 최대 후보 개수 - 1)를 할당하여 ⓔ의 순서에 추가시킬 수도 있다. 즉, 예측부는 AMVP 리스트의 마지막에 REF를 추가할 수도 있다.
또한, 예측부는 현재 레이어 내의 후보들을 모두 고려한 뒤의 순서인 ⓓ에 REF를 포함시킬 수도 있다.
예측부는 공간적 후보들 다음의 순서인 ⓒ에 REF를 추가시킬 수도 있다. 또한, 예측부는 현재 블록 좌측의 후보를 고려한 후, 상측의 후보를 고려하기 전의 위치인 ⓑ에 REF를 포함시킬 수도 있다.
표 8의 인터 레이어 움직임 예측의 AMVP 리스트에 포함되는 후보의 개수, 즉 최대 후보 개수는 표 7과 동일할 수 있다. 이 경우, 최대 후보 개수를 맞추기 위해 REF가 포함되는 위치에 따라서, REF보다 후순위에 있는 현재 레이어의 후보들이 AMVP 리스트에서 제외될 수도 있다. 또한, REF보다 선순위에 있는 현재 레이어의 후보들로 최대 후보 개수가 충족되는 경우에는 REF가 AMVP 리스트에서 제외될 수도 있다.
예컨대, 최대 후보 개수가 2인 경우, ⓒ 위치의 REF는 AMVP 리스트에서 제외될 수도 있다.
표 8의 인터 레이어 움직임 예측의 AMVP 리스트에 포함되는 후보의 개수, 즉 최대 후보 개수는 표 7과 상이할 수도 있다. 예컨대, 표 8에서 최대 후보 개수는 REF를 고려하여 표 7의 경우(예컨대, 2)보다 하나 더 많을 수 있다. 이 경우에는 현재 레이어의 후보들로 AMVP 리스트가 구성된 뒤, REF를 소정의 위치에 포함시킴으로써 AMVP 리스트를 완성한다고 볼 수도 있다. 이때, AMVP 리스트 내에서 REF의 위치는 미리 정해져 있을 수도 있고, 인코딩 장치로부터 지시되거나 디코딩 장치에 의해 유도될 수 있다.
AMVP 리스트 내의 후보들 중에서 어떤 후보를 이용하여 MVP 모드를 수행할 것인지는 인코딩 장치로부터 지시될 수 있다. 예컨대, 예측부는 인코딩 장치로부터 수신한 정보가 표 6과 같은 AMVP리스트 상에서 지시하는 후보를 선택하고, 선택된 움직임 벡터와 인코딩 장치로부터 수신한 mvd를 이용하여 현재 블록에 대한 움직임 벡터를 유도할 수 있다. 예측부는 유도한 움직임 벡터와 인코딩 장치로부터 수신한 참조 인덱스가 지시하는 참조 픽처를 기반으로 현재 블록에 대한 예측 블록을 생성할 수 있다.
한편, 소정의 조건을 만족하면, 예측부는 AMVP 리스트에 REF를 추가하기 전에 mvIL을 스케일링할 수 있다.
예컨대, 현재 PU의 참조 인덱스와 참조 PU의 참조 인덱스(refIdxIL)가 상이한 경우에는 mvIL을 스케일링할 수 있다. 다시 말하면, 현재 PU의 참조 인덱스가 지시하는 픽처(현재 PU의 참조 픽처)의 POC와 참조 PU의 참조 인덱스가 지시하는 픽처(참조 PU의 참조 픽처)의 POC가 상이한 경우에는, mvIL을 스케일링할 수 있다.
도 12는 본 발명에 따라서 mvIL을 스케일링하는 방법을 개략적으로 설명하는 도면이다.
도 12를 참조하면, 현재 레이어에서 현재 픽처의 POC와 현재 PU(1200)의 참조 픽처(1220)의 POC 간 차이를 tb라고 하고, 참조 레이어에서 현재 픽처의 POC와 참조 PU(1210)의 참조 픽처(1230)의 POC 간 차이를 td라고 한다.
현재 PU(1200)의 참조 픽처(1220)에 대한 POC인 pocRef와 참조 PU(1210)의 참조 픽처(1230)에 대한 POC인 pocRefLayer가 상이한 경우에, 예측부는 REF 즉, mvIL을 스케일링하여 AMVP에 포함시킬 수 있다.
mvIL은 수식 3과 같은 방법으로 스케일링될 수 있다. 스케일링된 mvIL을 mvIL'이라고 한다.
<수식 3>
tx = ( 16384 + ( Abs( td ) >> 1 ) ) / td
DistScaleFactor = Clip3( -4096, 4095, ( tb * tx + 32 ) >> 6 )
mvIL' = Clip3( -8192, 8191.75, Sign( DistScaleFactor * mvIL ) *
( (Abs( DistScaleFactor * mvIL ) + 127 ) >> 8 ) )
td = Clip3( -128, 127, pocCurr - pocRefLayer )
tb = Clip3( -128, 127, pocCurr - pocRef )
수식 3에서, pocCurr은 현재 픽처의 POC를 나타내며, pocRef는 현재 PU의 참조 인덱스에 의해 지시되는 픽처의 POC이고, pocRefLayer는 참조 PU의 참조 인덱스 즉, (xRef, yRef)의 참조 인덱스에 의해 지시되는 픽처의 POC이다.
또한, Abs(x)는 x가 0보다 작은 경우에는 -x가 되고, x가 0보다 크거나 같은 경우에는 x가 된다. Clip3(x,y.c)는 z가 x보다 작은 경우엔 x가 되고, z가 y보다 큰 경우엔 y가 되며, 그 외의 경우에는 z가 된다.
예측부는 pocRef와 pocRefLayer가 상이한 경우에, 수식 3과 같이 각 레이어에서 참조 픽처까지의 거리를 기반으로 인터 레이어 움직임 벡터를 스케일링하고, 스케일링된 움직임 벡터 후보(즉, 스케일링된 mvIL 혹은 스케일링된 REF)를 AMVP 리스트에 추가할 수 있다.
이때, 예측부는 REF (즉 mvIL) 대신 스케일링된 REF(즉, 스케일링된 mvIL)을 AMVP 리스트에 포함시켜서, 앞서 설명한 바와 동일한 방식으로 AMVP 모드를 적용한 인터 레이어 움직임 예측을 수행할 수 있다.
인터 레이어 움직임 예측을 적용하는 경우에, CU 레벨의 관점에서 보면, 베이스 레이어의 블록 크기와 무관하게 모든 CU 파티션을 그대로 사용할 수 있다. 또한, PU 레벨에서 보면, 인코딩 장치가 인터 예측과 인터 레이어 움직임 예측에 대한 RDO를 수행함으로써 최적의 예측 모드를 적용할 수 있다.
인터 레이어 신택스 예측
인터 레이어 신택스 예측에서는 참조 레이어의 신택스 정보를 이용하여 현재 블록의 텍스처를 예측하거나 생성한다. 이때, 현재 블록의 예측에 이용하는 참조 레이어의 신택스 정보는 인트라 예측 모드에 관한 정보, 움직임 정보 등일 수 있다.
예컨대, 참조 레이어가 P 슬라이스나 B 슬라이스이지만, 슬라이스 내에 참조 블록은 인트라 예측 모드가 적용된 블록일 수 있다. 이 경우에는 참조 레이어의 신택스 정보 중 인트라 모드를 이용하여 현재 레이어의 텍스처를 생성/예측하는 인터 레이어 예측을 수행할 수 있다. 구체적으로, 참조 레이어가 P 슬라이스나 B 슬라이스이지만, 슬라이스 내에 참조 블록은 인트라 예측 모드가 적용된 블록인 경우에, 인터 레이어 신택스 예측을 적용하면, 현재 블록에 대하여 (1) 참조 블록의 인트라 예측 모드로 (2) 현재 레이어에서 현재 블록 주변의 참조 픽셀을 이용하여, 인트라 예측을 수행할 수 있다.
참조 레이어가 P 슬라이스나 B 슬라이스이고 슬라이스 내의 참조 블록이 인터 예측 모드가 적용된 블록인 경우에는, 앞서 설명한 바와 같이 인터 레이어 움직임 예측과 동일한 방식으로, 참조 레이어의 신택스 정보 중 움직임 정보를 스케일링하여 현재 레이어에 대한 텍스처를 생성/예측하는 인터 레이어 예측을 수행할 수 있다.
이처럼, 인터 레이어 신택스 예측은 인터 레이어 움직임 예측과 인터 레이어 텍스처 예측을 혼용하는 방식으로 볼 수 있다.
인터 레이어 움직임 예측은 앞서 설명한 바와 같이, 참조 레이어의 움직임 정보를 이용하여 인핸스먼트 레이어에서 예측 신호(예측 블록)를 생성하는 예측 방법이다.
이때, 참조 레이어의 움직임 정보는 레이어 간 해상도의 변화에 따라서 스케일링될 수 있다.
참조 레이어에서 인트라 예측 모드가 적용되어서 움직임 정보가 없는 블록이 참조 블록인 경우에는, 상술한 바와 같이 참조 레이어의 인트라 예측 모드를 가져와 인핸스먼트 레이어의 주변 화소로부터 현재 블록을 예측하여 예측 신호를 생성할 수 있다.
인터 레이어 신택스 예측 혹은 인터 레이어 움직임 예측의 경우에, 루마 성분에 대한 움직임 정보는 참조 레이어로부터 4x4 블록 단위로 가져올 수 있다. 이 경우, 크로마 성분에 대한 움직임 정보로서 루마 성분에 대한 움직임 정보를 사용할 수도 있다.
인터 레이어 신택스 예측을 적용하면, PU 레벨에서 봤을 때, 새로운 PU 모드를 생성하지 않고, 상위 레벨에서 어떤 예측 모드를 적용할 것인지를 시그널링함으로써, 참조 레이어 내 참조 블록에 적용된 예측 모드에 따라서 인터 레이어 인트라 예측과 인터 레이어 움직임 예측을 적응적으로 적용할 수 있다.
인터 레이어 신택스 예측을 적용할 것인지를 지시하는 플래그는 CU의 분할을 지시하는 플래그(예컨대 CU_split_flag) 다음에 플래그 형태로 전송될 수도 있다.
도 13은 본 발명에 따라서 인터 레이어 신택스 예측을 수행하는 방법의 일 예를 간단히 설명하는 도면이다.
도 13을 참조하면, 참조 레이어(1300)의 참조 블록(1310)에 인트라 블록과 인터 블록이 존재한다.
도 13의 경우에 인터 레이어 신택스 예측을 적용하면, 참조 블록(1310)을 현재 레이어에 맞춰 업샘플링한 픽처(1320)를 구성하여 인터 레이어 신택스 예측을 적용해 복원 블록을 생성할 수 있다(1330).
이때, 참조 레이어에서 인트라 예측 모드가 적용된 블록(intra)으로부터는 인트라 예측 모드를 참조하고, 인터 예측 모드가 적용된 블록(MV)으로부터는 움직임 정보를 참조하여 인터 레이어 신택스 예측을 수행할 수 있다.
현재 레이어의 대상 픽처에 대하여 인터 레이어 신택스 예측은 다른 예측 모드들과 혼용될 수도 있으며, 도 13의 현재 픽처(1340)에서 빗금 영역은 다른 예측 모드가 적용될 수 있는 영역을 나타낸다.
인터 레이어 레지듀얼 예측
인터 레이어 레지듀얼 예측은 참조 레이어의 레지듀얼 신호를 이용하여 인핸스먼트 레이어의 레지듀얼 예측 영상을 생성하고 인핸스먼트 레이어에서는 레지듀얼 예측 영상을 참조하여 레지듀얼 영상을 부호화/복호화하는 방법이다.
인터 레이어 레지듀얼 예측은 도 1 내지 도 4의 예측부 혹은 인터 레이어 예측부에서 수행될 수 있다. 이하, 설명의 편의를 위해, 예측부에서 인터 레이어 레지듀얼 예측을 수행하는 것으로 설명한다.
예측부는 참조 레이어의 레지듀얼 신호를 레이어 간 해상도의 차이 혹은 비(ratio)에 따라서 스케일링하여 인핸스먼트 레이어에 대한 레지듀얼 예측 영상을 생성할 수 있다.
인코딩 장치에서는 인터 레이어 신택스 예측 및 인터 레이어 인트라 예측과는 별도로 인터 레이어 레지듀얼 예측에 대한 RDO를 수행할 수도 있다. 만약 RDO 경쟁을 통해 인터 레이어 레지듀얼 예측을 적용하는 것으로 결정되면, 레지듀얼 신호를 예측 하기 위한 플래그, 즉 인터 레이어 레지듀얼 예측을 적용하는 것을 지시하는 플래그는 레지듀얼(변환 계수) 앞쪽에 CU 단위로 부호화되어 전송될 수 있다.
도 14는 본 발명에 따라서 인터 레이어 레지듀얼 예측을 적용하는 방법을 개략적으로 설명한 도면이다.
도 14를 참조하면, 인터 레이어 예측을 위해 참조 레이어의 레지듀얼 신호(1400)에서 참조되는 참조 블록 부분(1410)을 레이어 간 해상도 비에 따라서 스케일링하여 레지듀얼 예측 영상(1420)이 생성될 수 있다.
레지듀얼 예측 영상(1420)을 기반으로 현재 블록에 대한 레지듀얼 영상(1430)이 복원될 수 있다. 이때, 빗금 처리된 영역은 인터 레이어 레지듀얼 예측이 적용되지 않는 영역을 나타낸다.
인코딩 장치는 모든 예측 모드의 레지듀얼 신호에 대하여 인터 레이어 레지듀얼 예측을 적용할 것인지를 RDO를 기반으로 판단할 수 있다. 인터 레이어 레지듀얼 예측을 적용할 것인지를 지시하는 정보는 플래그 형태로 계수(예컨대, 레지듀얼의 양자화된 변환 계수)에 대한 정보보다 앞서 전송될 수 있다.
인터 레이어 예측을 위한 신택스 구조
인코딩 장치는 지금까지 설명한 인터 레이어 예측을 위해 필요한 정보를 시그널링할 수 있다. 또한, 디코딩 장치는 시그널링된 정보를 수신하여 인터 레이어 예측을 수행할 수 있다.
여기서는, 지금까지 설명한 혹은 이후에 추가적으로 설명할 인터 레이어 예측의 수행 방법과 필요한 정보들의 일 예를 나타낸 신택스들에 대하여 설명한다.
표 9는 본 발명에 따른 NAL 유닛 신택스의 일 예를 나타낸 것이다.
<표 9>
Figure pct00009
표 10은 본 발명에 따른 NAL 유닛 헤더 SVC 확장 신택스(NAL unit header SVC extension syntax)의 일 예를 나타낸 것이다.
<표 10>
Figure pct00010
표 11은 본 발명에 따른 시퀀스 파라미터 셋 RBSP 신택스의 일 예를 나타낸 것이다.
<표 11>
Figure pct00011
Figure pct00012
표 12는 본 발명에 따른 서브셋 시퀀스 파라미터 RBSP 신택스의 일 예를 나타낸 것이다.
<표 12>
Figure pct00013
표 13은 본 발명에 따른 시퀀스 파라미터 셋 SVC 확장 신택스(Sequence parameter set SVC extension syntax)의 일 예를 나타낸 것이다.
<표 13>
Figure pct00014
표 14는 본 발명에 따른 픽처 파라미터 셋 RBSP 신택스의 일 예를 나타낸 것이다.
<표 14>
Figure pct00015
Figure pct00016
표 15는 본 발명에 따른 스케일링 리스트 데이터 신택스의 일 예를 나타낸 것이다.
<표 15>
Figure pct00017
표 16은 본 발명에 따른 스케일링 리스트 신택스의 일 예를 나타낸 것이다.
<표 16>
Figure pct00018
표 17은 본 발명에 따른 적응적 파라미터 셋 RBSP 신택스(Adaptation parameter set RBSP syntax)의 일 예를 나타낸 것이다.
<표 17>
Figure pct00019
표 18은 본 발명에 따른 추가적 인핸스먼트 정보 RBSP 신택스(Supplemental enhancement information RBSP syntax)의 일 예를 나타낸 것이다.
<표 18>
Figure pct00020
표 19는 본 발명에 따른 추가적 인핸스먼트 정보 메시지 신택스(Supplemental enhancement information message syntax)를 나타낸 것이다.
<표 19>
Figure pct00021
표 20은 본 발명에 따른 액세스 유닛 디리미터 RBSP 신택스(Access unit delimiter RBSP syntax)의 일 예를 나타낸 것이다.
<표 20>
Figure pct00022
표 21은 본 발명에 따른 필러(filler) 데이터 RBSP 신택스의 일 예를 나타낸 것이다.
<표 21>
Figure pct00023
표 22는 본 발명에 따른 슬라이스 레이어 RBSP 신택스의 일 예를 나타낸 것이다.
<표 22>
Figure pct00024
표 23은 본 발명에 따른 슬라이스 레이어 확장 RBSP 신택스의 일 예를 나타낸 것이다.
<표 23>
Figure pct00025
표 24는 본 발명에 따른 RBSP 슬라이스 트레일링 비트 신택스(RBSP slice trailing bits syntax)의 일 예를 나타낸 것이다.
<표 24>
Figure pct00026
표 25는 본 발명에 따른 RBSP 트레일링 비트 신택스의 일 예를 나타낸 것이다.
<표 25>
Figure pct00027
표 26은 본 발명에 따른 RBSP 바이트 정렬 신택스(RBSP byte alignment syntax)의 일 예를 나타낸 것이다.
<표 26>
Figure pct00028
표 27은 본 발명에 따른 슬라이스 헤더의 일 예를 나타낸 것이다.
<표 27>
Figure pct00029
Figure pct00030
표 28은 본 발명에 따른, 스케일러블 확장에서의 슬라이스 헤더 신택스(Slice header in scalable extension syntax)의 일 예를 나타낸 것이다.
<표 28>
Figure pct00031
Figure pct00032
Figure pct00033
표 29는 본 발명에 따른 단기 참조 픽처 세트 신택스(Short-term reference picture set syntax)의 일 예를 나타낸 것이다.
<표 29>
Figure pct00034
표 30은 본 발명에 따른 참조 픽처 리스트 수정 신택스(Reference picture list modification syntax)의 일 예를 나타낸 것이다.
<표 30>
Figure pct00035
표 31은 본 발명에 따른 참조 픽처 리스트 조합 신택스(Reference picture lists combination syntax)의 일 예를 나타낸 것이다.
<표 31>
Figure pct00036
표 32는 본 발명에 따른 샘플 적응적 오프셋 파라미터 신택스(Sample adaptive offset parameter syntax)의 일 예를 나타낸 것이다.
<표 32>
Figure pct00037
표 33은 본 발명에 따른 적응적 루프 필터 파라미터 신택스의 일 예를 나타낸 것이다.
<표 33>
Figure pct00038
표 34는 본 발명에 따른 적응적 루프 필터 코딩 유닛 제어 파라미터 신택스(Adaptive loop filter coding unit control parameter syntax)의 일 예를 나타낸 것이다,
<표 34>
Figure pct00039
표 35는 본 발명에 따른 예측 가중치 테이블 신택스(Prediction weight table syntax)의 일 예를 나타낸 것이다.
<표 35>
Figure pct00040
Figure pct00041
표 36은 본 발명에 따른 슬라이스 데이터 신택스의 일 예를 나타낸 것이다.
<표 36>
Figure pct00042
표 37은 본 발명에 따른, 스케일러블 확장에서 슬라이스 데이터 신택스(Slice data in scalable extension syntax)의 일 예를 나타낸 것이다.
<표 37>
Figure pct00043
표 38은 본 발명에 따른 코딩 트리 신택스의 일 예를 나타낸 것이다.
<표 38>
Figure pct00044
표 39는 본 발명에 따른, 스케일러블 확장에서 코딩 트리 신택스(Coding tree in scalable extension syntax)의 일 예를 나타낸 것이다.
<표 39>
Figure pct00045
표 40은 본 발명에 따른 코딩 유닛 신택스의 일 예를 나타낸 것이다.
<표 40>
Figure pct00046
Figure pct00047
표 41은 본 발명에 따른, 스케일러블 확장에서 코딩 유닛 신택스(Coding unit in_scalable extension syntax)의 일 예를 나타낸 것이다.
<표 41>
Figure pct00048
Figure pct00049
표 42는 본 발명에 따른 예측 유닛 신택스의 일 예를 나타낸 것이다.
<표 42>
Figure pct00050
Figure pct00051
표 43은 본 발명에 따른 움직임 벡터 차분 코딩 신택스의 일 예를 나타낸 것이다.
<표 43>
Figure pct00052
표 44는 본 발명에 따른 변환 트리 신택스의 일 예를 나타낸 것이다.
<표 44>
Figure pct00053
Figure pct00054
Figure pct00055
표 45는 본 발명에 따른 변환 계수 신택스의 일 예를 나타낸 것이다.
<표 45>
Figure pct00056
Figure pct00057
표 46은 본 발명에 따른 레지듀얼 코딩 신택스의 일 예를 나타낸 것이다.
<표 46>
Figure pct00058
Figure pct00059
상술한 신택스들 중에서 nal _ unit _ type은 표 47과 같이 정의될 수 있다.
<표 47>
Figure pct00060
dependency _ id 는 각 NAL 유닛의 종속성(dependency) 관계를 나타내기 위해 전송되는 ID(identification) 번호이다.
quality _ id 는 각 NAL 유닛의 퀄리티 레벨(quality level)을 나타내기 위해 전송되는 ID(identification) 번호이다.
singleloop _ decoding _ flag의 값이 1이면 스케일러블 비트스트림의 최상위 레이어에서만 움직임 보상(motion compensation)이 수행된다. singleloop_decoding_flag의 값이 0이면 모든 레이어에서 움직임 보상이 허용된다.
slice _ type은 표 48에 따른 슬라이스의 코딩 타입을 특정한다.
<표 48>
Figure pct00061
inter _ layer _ intra _ prediction _ flag 의 값이 1이면, 코딩 유닛에서 인터 레이어 인트라 예측의 동작(operation)이 적응적으로 사용된다는 것을 특정한다. 그렇지 않으면, 인터 레이어 인트라 예측이 사용되지 않는다. inter_layer_intra_prediction_flag가 없는 경우에는, inter_layer_intra_prediction_flag의 값을 0으로 추정할 수 있다. 또한, ILIntraPredFlag 는 다음과 같이 유도될 수 있다.
- singleloop_decoding_flag 의 값이 1일 때, inter_layer_intra_prediction_flag의 값이 1이고slice_type 이 EI이면, ILIntraPredFlag 의 값을 1로 설정한다. 그렇지 않은 경우에는 ILIntraPredFlag의 값을 0으로 설정한다.
- singleloop_decoding_flag 의 값이 0일 때, ILIntraPredFlag의 값은 inter_layer_intra_prediction_flag와 동일하게 설정된다.
inter _ layer _ syntax _ prediction _ flag 의 값이 1이면, 코딩 유닛에서 인터 레이어 신택스 예측의 동작이 적응적으로 이용된다는 것을 특정한다. 그렇지 않으면, 인터 레이어 신택스 예측이 이용되지 않는다. inter_layer_syntax_prediction_flag이 없는 경우에는, inter_layer_syntax_prediction_flag의 값을 0으로 추정할 수 있다. 또한, ILSyntaxPredFlag은 다음과 같이 유도될 수 있다.
- inter_layer_syntax_prediction_flag의 값이 1이고 slice_type이EI가 아니면, ILSyntaxPredFlag는 1로 설정된다. 그렇지 않은 경우에, ILSyntaxPredFlag는 0으로 설정된다.
inter _ layer _ residual _ prediction _ flag 의 값이 1이면, 코딩 유닛에서 인터 레이어 레지듀얼 예측의 동작이 적응적으로 이용된다는 것을 특정한다. 그렇지 않으면, 인터 레이어 레지듀얼 예측이 이용되지 않는다. inter_layer_residual_prediction_flag 가 없으면, is not present, inter_layer_residual_prediction_flag 의 값은 0으로 추정될 수 있다. 또한, ILResPredFlag 는 다음과 같이 유도될 수 있다.
- inter_layer_residual_prediction_flag의 값이 1이고 slice_type이 EI가 아니면, ILResPredFlag는 1로 설정된다. 그렇지 않으면, ILResPredFlag 는 0으로 설정된다.
cabac _ init _ idc는 콘텍스트 변수(context variable)에 대한 초기화 프로세스에 사용되는 초기화 표(initialisation table)를 결정하기 위한 인덱스를 특정한다. cabac_init_idc는 0 이상 2 이하의 값을 가질 수 있다.
il _ mode는 베이스 레이어의 정보를 사용할지 여부를 지시는 신택스이다. il_mode는 singleloop_decoding_flag 값에 따라 다음과 같은 역할을 한다
singleloop_decoding_flag=1이고 slice_type=EI인 경우, il_mode의 값이 1이면 복원된 베이스 레이어를 현재 레이어와의 해상도 차이를 기반으로 스케일링한 후, 현재 CU의 예측 정보로 사용할 수 있다. il_mode의 값이 0이면 베이스 레이어의 복원 정보를 사용하지 않는다.
singleloop_decoding_flag=1이고 slice_type !=EI인 경우, il_mode의 값이 1이면 베이스 레이어의 움직임 정보, 인트라 예측 정보를 대응하는 현재 레이어와의 해상도 차이를 고려하여 스케일링한 후 복사하여 예측 신호를 만들고 그 값을 예측자(predictor)로 사용할 수 있다. il_mode의 값이 0이면 베이스 레이어의 복원 정보를 사용하지 않는다.
singleloop_decoding_flag=0이고 il_mode의 값이 1이면 베이스 레이어의 복원된 픽셀 정보를 해상도를 고려한 스케일링 후 예측 정보로 사용할 수 있다.
il _ res _ mode가 1이면 대응하는 베이스 레이어의 복원된 레지듀얼 데이터를 해상도를 고려하여 스케일링 한 후 현재 CU의 레지듀얼에 대한 예측자로 사용할 수 있다. il_res_mode의 값이 0이면 대응하는 베이스 레이어의 복원된 레지듀얼 데이터를 사용하지 않는다.
inter _ layer _ differential _ coding _ flag의 값이 1이면, 코딩 유닛에서 인터 레이어 차분(differential) 코딩의 동작이 적응적으로 이용되는 것을 특정한다. 그렇지 않으면, 인터 레이어 차분 코딩이 이용되지 않는다. inter_layer_differential_coding_flag이 없으면, inter_layer_differential_coding_flag 의 값을 0으로 추정한다. 또한, ILDiffCodingFlag 는 다음과 같이 유도될 수 있다.
- singleloop_decoding_flag 의 값이 1이고 inter_layer_differential_coding_flag 의 값이 1이며, slice_type이 EI이면, ILDiffCodingFlag 의 값은 1로 설정된다. 그렇지 않으면, ILDiffCodingFlag 의 값은 0으로 설정된다. is set to equal to 0.
- singleloop_decoding_flag 의 값이 1이 아니면, ILDiffCodingFlag 의 값은 inter_layer_differential_coding _flag과 동일하게 설정된다.
인터 레이어 유닛 예측( inter - layer unit prediction )
스케일러블 코딩에 사용되는 입력 신호(signal)는 레이어 간에 해상도, 프레임 레이트(frame rate), 비트 뎁스, 컬러 포맷, 애스팩트 율(aspect ratio) 등이 상이할 수 있다.
이 점을 고려하여 레이어 간 예측(인터 레이어 예측)을 수행함으로써 중복(redundancy)를 줄이고 시뮬캐스트(simulcast) 대비 코딩 효율을 높일 수 있다.
예컨대, 정보의 중복량을 줄이는 한 방법으로 인핸스먼트 레이어에서 전송되는 처리 단위, 즉 CU, PU 및 또는 TU에 관한 정보를 베이스 레이어의 정보를 이용하여 줄이는 방법을 사용할 수 있다.
베이스 레이어의 유닛(CU, PU 및/또는 TU) 정보를 이용하여 인핸스먼트 레이어에서 전송되는 유닛 정보를 줄이는 방법을 인터 레이어 유닛 예측이라고 한다.
인터 레이어 유닛 예측은 도 1 내지 도 4에서 설명한 예측부 또는 인터 레이어 예측부에서 수행될 수 있다. 여기서는 설명의 편의를 위해, 예측부가 인터 레이어 유닛 예측을 수행하는 것으로 설명한다.
예컨대, 인터 레이어 유닛 예측이 적용되는 경우에, 예측부가 베이스 레이어의 유닛 정보를 획득하면 이를 기반으로 인핸스먼트 레이어의 파티셔닝이 수행될 수 있다.
도 15는 본 발명에 따른 인터 레이어 유닛 정보 예측의 일 예를 개략적으로 설명하는 도면이다.
도 15의 예에서는 인핸스먼트 레이어의 해상도가 베이스 레이어의 해상도보다 2 배 높다고 가정한다.
도 15에서 레이어 0은 베이스 레이어 혹은 참조 레이어일 수 있으며, 레이어 1은 인핸스먼트 레이어 혹은 현재 레이어일 수 있다.
도 15를 참조하면, 레이어 0의 LCU 블록(1510)은 다양한 CU, PU 또는 TU로 분할되어 있다. 여기서는, 이런 CU, PU 및/또는 TU의 분할 정보를 설명의 편의를 위해 CU 정보 혹은 유닛 정보라고 한다.
예측부는 베이스 레이어의 CU 정보를 업스케일링한 정보인 참조 CU 정보(1520)를 생성할 수 있다. 예측부는 참조 CU 정보(1520)를 이용하여 레이어 0의 CU 정보를 유도할 수 있다.
예컨대, 참조 CU 정보(1520)로부터 베이스 레이어의 CU 정보를 유도하여 레이어 1에 적용하는 경우에는, 레이어 1의 LCU 구조로서 LCU0(1530)과 같은 유닛 구조가 이용될 수 있다. 참조 CU 정보(1520)를 이용하지 않는 경우 즉, 베이스 레이어의 CU 정보를 이용하지 않는 경우에는, 레이어 1의 LCU 구조로서 LCU1(1540)과 같은 유닛 구조가 이용될 수 있다.
레이어 0의 CU 정보(유닛 정보)를 이용하는 것이 코딩 효율을 높이는데 도움이 될 수도 있고 도움이 되지 않을 수도 있으므로, 인코딩 장치는 레이어 0의 CU 정보를 사용할 것인지를 적응적으로 시그널링할 수 있다.
여기서는 설명의 편의를 위해, 유닛 정보가 CU, PU, TU의 분할 정보인 것으로 설명하였으나, CU, PU, TU의 분할 구조 이외에 CU, PU, TU에 관한 정보를 포함할 수 있다. 다시 말하면, 베이스 레이어의 CU 정보는 트리 구조 또는 파티셔닝에 관한 정보일 수도 있고, PU 정보(스킵 모드인지 논-스킵 모드인지 여부, 예측 방향, 움직임 벡터, 참조 인덱스 등)일 수도 있으며, 둘 모두일 수도 있다.
예컨대, 인터 레이어 유닛 예측이 트리/파티셔닝 정보의 예측에 관한 것이라면, 다음과 같은 신택스들을 이용할 수 있다.
표 49는 본 발명에 따른, 스케일러블 확장 레이어에 대한 슬라이스 데이터 신택스의 일 예를 나타낸 것이다.
<표 49>
Figure pct00062
표 50은 본 발명에 따른, 스케일러블 확장 레이어에 대한 코딩 트리 신택스의 일 예를 나타낸 것이다.
<표 50>
Figure pct00063
bl _ tree _ info _ skip _ flag 의 값이 1이면 베이스 레이어(참조 레이어 혹은 레이어 0) 의 트리 정보를 그대로 사용한다는 것을 지시한다. bl_tree_info_skip_flag 의 값이 0이면 베이스 레이어의 트리 정보를 사용하지 않는다는 것을 지시한다.
bl_tree_info_skip_flag에 관한 이해를 돕기 위해 도 5를 참조할 수 있다. 만일 bl_tree_info_skip_flag 의 값이 1이면 베이스 레이어의 트리 정보가 CU 정보 업스케일링에 의해 인핸스먼트 레이어(현재 레이어 혹은 레이어 1)의 해상도에 맞게 업스케일링된다. 따라서, 현재LCU(Largest Coding Unit)의 split_coding_unit_flag 값들은 업스케일링된 베이스 레이어의 분할 정보와 동일한 값으로 유도될 수 있다.
BLSplitInfo [x0][ y0 ] 는 업스케일링된 CU 정보에 분할 정보가 존재하는 경우에는 1의 값을 가지고, 업스케일링된 CU 정보에 분할 정보가 존재하지 않을 경우에는 0의 값을 가진다.
예를 들어, 인핸스먼트 레이어의 해상도가 베이스 레이어의 해상도의 2 배이고 인핸스먼트 레이어와 베이스 레이어의 CU 깊이(depth)가 동일할 경우, 업샘플링된 베이스 레이어의 분할 정보는 인핸스먼트 레이어의 분할 정보보다 깊이가 한 단계 더 낮게 된다.
만약 베이스 레이어에 분할 정보가 존재하지 않는다면, BLSplitInfo를 0으로 설정하고 인핸스먼트 레이어만을 위한 추가 정보(예컨대, split_coding_unit_flag)를 전송하여 업스케일링된 베이스 레이어로부터 예측되는 경우의 분할 정보보다 더 자세한 분할 정보를 알려줄 수 있다.
유사한 방법을 TU에도 적용할 수 있다. 예컨대, 소정의 플래그 정도를 사용하여 현재 레이어에 대한 TU 분할 정보를 처리하도록 할 수 있다.
표 51은 본 발명에 따른, 스케일러블 확장에 있어서 코딩 유닛 신택스의 일 예를 나타낸 것이다. 표 51의 예에서는 bl_tu_info_skip_flag라는 플랙그를 사용하여 현재 레이어를 위한 TU 분할 정보 전송을 생략할 수 있다.
<표 51>
Figure pct00064
표 52는 본 발명에 따른, 스케일러블 확장에 있어서, 변환 트리 신택스의 일 예를 나타낸 것이다.
<표 52>
Figure pct00065
앞서 설명한 바와 같이, 표 51 및 표 52에서, bl_tu_info_skip_flag의 값이 1이면 베이스 레이어의 업스케일된 TU 분할 정보를 현재 레이어에서 그대로 사용할 수 있다. bl_tu_info_skip_flag의 값이 0이면 현재 레이어를 위한 TU 분할 정보가 인코딩 장치로부터 독립적으로 전송될 수 있다.
한편, 인터 레이어 유닛 예측을 적용하는데 있어서, CU/PU/TU의 정보들을 조합하여 사용할 수도 있다. 발명의 이해를 돕기 위해, 여기서는 베이스 레이어와 인핸스먼트 레이어 사이의 공간 비(spatial ratio)가 2인 경우, 즉 두 레이어의 해상도가 2 배 차이 나는 경우를 예로서 설명한다.
도 16은 본 발명에 따라서 인터 레이어 유닛 예측을 적용하는 일 예를 개략적으로 설명하는 도면이다.
도 16에서는 인터 레이어 유닛 예측을 적용할 때 베이스 레이어 구조를 리샘플링 하는 방법에 관해서 설명한다.
도 16(a)는 베이스 레이어의 CU 및 PU 구조를 나타낸다.
도 16(a)에서 베이스 레이어 블록(1600)은 인트라 코딩된 블록이고, 분할 영역(1620)은 NxN 파티션이며, 나머지 영역은 2Nx2N 파티션이라고 가정한다.
도 16(a)에서 참조 블록(1610)의 CU/PU 정보를 인핸스먼트 레이어에서 사용하기 위해, 두 배의 업샘플링을 수행하면, 베이스 레이어의 분할 구조를 어느 레벨(예를 들어, CU 레벨 혹은 PU 레벨)까지 이용할지에 따라서, 도 16(b)의 블록(1630)과 같은 분할(partition) 구조 혹은 도 16(c) 블록(1640)과 같은 분할 구조를 얻을 수 있다.
이 때, 베이스 레이어의 CU 정보만을 인핸스먼트 레이어에서 사용하고자 한다면 인핸스먼트 레이어의 CU 분할 구조를 블록(1630)의 분할 구조와 같이 구성할 수 있다. 이 경우에는 인핸스먼트 레이어의 영상이 블록 (1630)보다 더 세분화된 분할 구조를 가지는 경우는 커버할 수 없다.
반면, 베이스 레이어의 CU 정보뿐만 아니라, PU 정보까지 함께 인핸스먼트 레이어 의 CU 분할 구조에 반영하는 경우 도 16(c)의 블록(1640)과 같이 베이스 레이어에서 2Nx2N 파티션이 아닌 더 세분화된 파티션(예를 들면 NxN 파티션)을 가지는 부분에 대응되는 인핸스먼트 레이어의 영역에서도 추가적인 CU분할이 가능하다. 따라서, 이 경우에 인핸스먼트 레이어의 영상은 보다 세분화된 분할 구조를 가질 수 있게 된다.
한편, 도 16에서는 베이스 레이어가 인트라 코딩된 블록(intra coded block)인 경우를 예로서 설명하였으나, 동일한 방법을 베이스 레이어가 인터 코딩된 블록(inter coded block)인 경우에도 적용할 수 있다.
도 17은 본 발명에 따라서 인터 레이어 유닛 예측을 적용하는 다른 예를 개략적으로 설명하는 도면이다.
도 17에서는 베이스 레이어의 블록(1700)이 인터 코딩된 블록이고, 영역(1720)는 Nx2N 파티션이고, 영역(1730)은 2NxN 파티션이라고 가정하자.
인터 코딩된 블록의 경우에는 2Nx2N 파티션, NxN 파티션 이외에도, 2NxN 파티션, Nx2N 파티션, 2NxnU 파티션, 2NxnD 파티션, nLx2N 파티션, nRx2N 파티션과 같이 다양한 형태 파티션 타입을 사용할 수 있다.
베이스 레이어의 참조 블록(1710)의 CU/PU 정보를 인핸스먼트 레이어에서 사용하기 위해, 두 배의 업샘플링을 수행하면, 베이스 레이어의 분할 구조를 어느 레벨(예를 들어 CU 레벨 혹은 PU 레벨)까지 이용할지에 따라서, 도 17(b)의 블록(1740)과 같은 분할 구조 혹은 도 17(C)의 블록(1750)과 같은 분할 구조를 얻을 수 있다.
베이스 레이어의 CU 정보만을 인핸스먼트 레이어에서 사용하고자 하면, 참조 블록(1710)에서 영역(1720) 및 영역(1730)의 구조를 제외하고, CU의 분할 구조만을 업샘플링하여 인핸스먼트 레이어의 CU 분할 구조를 도 17(b)의 블록(1740)과 같이 구성할 수 있다.
또한, 베이스 레이어의 PU 정보까지 인핸스먼트 레이어의 CU 분할 구조에 반영하고자 하는 경우에는, 베이스 레이어에서 2Nx2N 파티션이 아닌 파티션 (예컨대, 영역(1720), 영역(1730)의 파티션)을 가지는 부분에 대응하는 인핸스먼트 레이어의 영역에 대해서, 도 17(c)와 같이 추가적인 CU 분할이 가능하다.
다시 말하면, 도 16 및 도 17에서 베이스 레이어의 PU 정보까지 인핸스먼트 레이어의 CU 분할 구조에 반영하고자 하는 경우에는, 베이스 레이어에서 PU 파티셔닝이 있는 영역에 대응하는 인핸스먼트 레이어의 영역에서 CU 분할이 이루어질 수 있다.
한편, 인핸스먼트 레이어에서 베이스 레이어의 분할 구조를 선택적으로 사용하는 방법을 적용할 수도 있다.
도 18은 본 발명에 따라서 인터 레이어 유닛 예측을 적용하는 또 다른 예를 개략적을 설명하는 도면이다.
도 18에서는 인핸스먼트 레이어에서 베이스 레이어의 분할 구조를 재사용하는 방법에 관하여 설명한다.
도 18(a)와 같이 베이스 레이어의 블록(1800)이 2Nx2N 혹은 NxN과 같이 정사각형 모양의 파티션을 가지는 경우와, 2NxnU, 2NxnD, nLx2N 혹은nRx2N과 같이 직사각형 형태의 파티션을 가지는 있다고 가정하자.
이 경우, CU 분할(split)은 정사각형의 형태(2Nx2N 혹은 NxN)로만 이루어지므로, 인핸스먼트 레이어에서 베이스 레이어의 분할 구조를 선택적으로 이용하는 방법을 고려할 수 있다.
예를 들어, 도 18(b)와 같이 파티션 형태에 상관없이, 참조 블록(1810)의 분할 구조를 인핸스먼트 레이어의 블록(1840)에 대한 분할 구조로서 모두 반영할 수 있다.
또한, 도 18(c)와 같이, 참조 블록의 PU 분할 구조 중 정사각형의 파티션(1820)은 인핸스먼트 레이어의 CU 분할 구조에 반영하고, 참조 블록의 PU 분할 구조 중 직사각형의 파티션(1830)은 인핸스먼트 레이어의 CU 분할 구조에 반영하지 않을 수 있다.
이와 같이, CU/PU/TU 정보들을 조합하여 사용하는 방법은, 임의의 단위별로 선택적인 사용이 가능하다. 즉, 시퀀스, 픽처들의 그룹, 단일 픽처, 복수의 슬라이스, 단일 슬라이스, 복수의 LCU, 단일 LCU 등과 같이 임의의 단위를 기준으로 베이스 레이어의 CU/PU/TU 정보들을 조합하여 인핸스먼트 레이어에 사용하는 방법을 선택할 것인지를 결정할 수 있다.
적응적 인터 레이어 텍스처 예측
인터 레이어 예측에 있어서 필터를 적용하여 참조 영상의 품질을 향상시킬 수 있다. 예컨대, 인터 레이어 인트라 예측을 수행하는 경우에, 참조 영상의 품질을 향상시키기 위해, 참조 영상에 필터를 적용할 수 있다.
공간적 스케일러빌러티(spatial scalabilty)의 경우를 예로 들면, 하위 레이어의 텍스처 정보에 업샘플링 필터를 적용하여 레이어 간 해상도를 동일하게 조정한 후에, 조정된 하위 레이어의 텍스처 정보를 참조 영상으로 이용하였다.
이때, 업샘플링 필터가 적용된 하위 레이어의 텍스처 정보에 추가로 필터링을 적용한 후 상위 레이어의 예측을 위한 참조 영상으로 사용할 수 있다. 본 명세서에서는 이 예측 방법을 적응적 인터 레이어 텍스처 예측이라고 표시한다.
도 19는 본 발명에 따라서 적응적 인터 레이어 텍스처 예측을 수행하는 방법의 일 예를 개략적으로 설명하는 도면이다.
도 19를 참조하면, 텍스처 예측부(1910)는 도 1의 텍스처 예측부에 대응한다. 따라서, 텍스처 예측부는 텍스처 예측과 함께 필요한 경우 리스케일링을 수행할 수 있다.
베이스 레이어에서 필터링부(1950)에 의해 적용되는 필터링은 다운 컨버터(1940)에서 다운 컨버팅된 입력 시퀀스와의 차이를 줄이기 위한 것이다.
인핸스먼트 레이어에서, 업샘플링부(1930)에 의해 업샘플링된 텍스처가 필터링부(1920)에서 필터링되는 것은 업샘플링된 베이스 레이어의 텍스처와 입력 시퀀스 사이의 오류를 줄이기 위한 것이다.
이때, 적용되는 필터는 상술한 바와 같은 목적을 달성하기 위한 필터면 된다. 예컨대, 필터링부(1920)에서 적용되는 필터는 인코딩 장치/디코딩 장치에서 소정의 탭 수와 계수로 미리 특정되어 있는 필터일 수도 있으며, 필터 파라미터(탭 수, 계수 등)가 적응적으로 시그널링 되는 필터일 수도 있다.
적응적 인터 레이어 텍스처 예측을 사용할 경우, 참조 영상의 품질 향상으로 인해서 코딩 효율이 향상될 수 있다
적응적 인터 레이어 텍스처 예측을 적용하는 경우에, 참조 영상의 품질은 향상되지만 복잡도가 증가하고 추가적인 필터 파라미터의 인코딩/디코딩이 필요하다. 따라서, 상황(예컨대, 인코딩 장치와 디코딩 장치의 성능, 입력 시퀀스와 업샘플링된 베이스 레이어 텍스처 간의 오차 등)에 따라서 적응적 인터 레이어 텍스처 예측을 사용할 것인지를 결정할 수 있다.
따라서, 필터링부(1920)에서 적용되는 필터를 적응적으로 인코딩/디코딩 루프에서 적용되는 필터라고 할 수 있다. 설명의 편의를 위해, 본 명세서에서는 필터링부(1920)에서 적용하는 필터를 인터 레이어 ALF라고 한다. 인코딩 장치/디코딩 장치가 인루프 필터로서의 ALF를 이용하는 경우라면, 인루프 필터로서의 ALF(Adaptive Loop Filter)를 인터 레이어 ALF로 사용할 수도 있다.
적응적 인터 레이어 텍스처 예측을 사용하기 위해서는 인터 레이어ALF의 적용 여부를 지시하는 플래그가 필요하다. 인터 레이어 ALF의 적용 여부를 지시하는 플래그를 inter_layer_adaptive_loop_filter_enabled_flag라고 하자.
inter_layer_adaptive_loop_filter_enabled_flag의 값이 0 이면, 인터 레이어 ALF를 적용하지 않는 것을 지시하고, inter_layer_adaptive_loop_filter_enabled_flag의 값이 1이면, 인터 레이어 ALF를 적용하는 것을 지시한다.
inter_layer_adaptive_loop_filter_enabled_flag는 시컨스 파라미터 세트(Sequence parameter set)에 정의될 수 있다.
표 53은 본 발명에 따라서 적응적 인터 레이어 텍스처 예측을 적용하기 위한 시퀀스 파라미터 세트의 일 예를 나타낸 것이다.
<표 53>
Figure pct00066
inter_layer_adaptive_loop_filter_enabled_flag는 시컨스 파라미터 세트(Sequence parameter set)가 아닌 슬라이스 헤더에 정의될 수도 있다.
표 54는 본 발명에 따라서 적응적 인터 레이어 텍스처 예측을 적용하기 위한 슬라이스 헤더의 일 예를 나타낸 것이다.
<표 54>
Figure pct00067
인코딩 장치와 디코딩 장치가 인루프 필터로서의 ALF를 사용하는 경우에, 픽처 파라미터 세트에서 ALF의 사용을 위해 사용하는 신택스를 인터 레이어 ALF에도 동일하게 적용해 볼 수 있다.
표 55는 본 발명에 따라서 적응적 인터 레이어 텍스처 예측을 적용하기 위한 픽처 파라미터 세트 신택스의 일 예를 나타낸 것이다.
<표 55>
Figure pct00068
표 55에서 shared_pps_info_enabled_flag의 값이 1이면 인터 레이어 ALF의 파라미터 세트를 사용할 수 있다. 표 55와 달리, 인루프 필터로서의 ALF와 별도로 인터 레이어 ALF의 적용을 위한 플래그를 사용하는 방법도 적용할 수 있음은 물론이다.
표 55는 본 발명에 따라서shared_pps_info_enabled_flag를 인터 레이어 ALF에 적용하는 경우, 슬라이스 데이터 신택스의 예를 나타낸 것이다.
<표 56>
Figure pct00069
인터 레이어 필터 파라미터 예측
루피 필터링 과정에서 적용 가능한 필터로서, 디블록킹 필터, SAO(Sample Adaptive Offset) 그리고 Adaptive Loop Filter(ALF)의 세 가지가 있다.
루프 필터로서, 세 가지 필터가 모두 적용될 수도 있고, 일부만 적용될 수도 있다. 예컨대, 디블록킹 필터만 적용될 수도 있고, 디블록킹 필터와 SAO만 적용될 수도 있다.
인코징 장치는 복원 영상이 입력 영상에 가장 가까울 수 있도록 필터 파라미터를 결정하고, 결정된 필터 파라미터를 디코딩 장치로 전송할 수 있다. 따라서, 스케일러블 코딩의 특성상 베이스 레이어와 인핸스먼트 레이어에 사용되는 영상이 상당히 유사하므로, 필터 파라미터가 두 레이어 사이에서 유사할 가능성이 높다.
따라서, 베이스 레이어에서 사용한 파라미터를 인핸스먼트 레이어에서 재사용하는 방법을 고려할 수 있다. 이를 인터 레이어 필터 파라미터 예측이라고 한다.
인터 레이어 필터 파라미터 예측은 도 1 내지 도 4의 예측부 혹은 인터 레이어 예측부에서 수행할 수도 있고, 인핸스먼트 레이어의 필터부에서 수행할 수도 있다.
도 20은 본 발명에 따른 인터 레이어 필터 파라미터 예측에 관하여 개략적으로 설명하는 도면이다.
도 20을 참조하면, 베이스 레이어의 인루프 필터링부(2020)에서 사용한 필터 파라미터를 현재 레이어의 인루프 필터링부(2010)에서 재사용할 수 있다.
SAO 파라미터는 적응 파라미터 세트(adaptive parameter set)에서 전송될 수 있다. ALF의 파라미터의 경우도 적응 파라미터 세트에서 전송될 수 있다.
표 57은 본 발명에 따른, 스케일러블 확장에 있어서 적응 파라미터 세트의 예를 나타낸 것이다.
<표 57>
Figure pct00070
aps _ id 는 슬라이스 헤더에서 참조되는 적응 파라미터 세트(adaptation parameter set)를 식별한다. aps_id의 값은 0이상 TBD 이하의 값을 가지며, 레벨/프로파링에 의존한다.
aps _ sample _ adaptive _ offset _ flag의 값이 1이면, 현재 적응 파라미터 세트에서 참조하는 슬라이스에 대하여 SAO가 온(ON)인 것을 특정한다. aps_sample_adaptive_offset_flag 의 값이 0이면, 현재 적응 파라미터 세트에서 참조하는 슬라이스에 대하여 SAO가 오프(OFF)인 것을 특정한다. 활성화된 적응 파라미터 세트가 없다면, aps_sample_adaptive_offset_flag 값은 0으로 추정된다.
aps _ adaptive _ loop _ filter _ flag의 값이 1이면, 현재 적응 파라미터 세트에서 참조하는 슬라이스에 대하여 ALF가 온(ON)인 것을 특정한다. aps_adaptive_loop_filter_flag 의 값이 0이면 현재 적응 파라미터 세트가 참조하는 슬라이스에 대하여 ALF가 오프(OFF)인 것을 특정한다. 활성화된 적응 파라미터 세트가 없다면, aps_adaptive_loop_filter_flag 의 값은 0으로 추정된다.
aps _ cabac _ use _ flag의 값이 1이면 sao_param( )과 alf_param( )에 대하여 CABAC 디코딩 과정이 이용되며, aps_cabac_use_flag의 값이 0이면 sao_param( )와 alf_param( )에 대하여 CAVLC 디코딩 과정이 이용된다.
aps _ cabac _ init _ idc는 SAO와 ALF의 콘텍스트 변수들에 대한 초기화 프로세스에서 이용되는 초기화 테이블을 결정하는 인덱스를 특정한다. aps_cabac_init_idc 의 값은 0 이상 2 이하의 범위에 있다.
aps _ cabac _ init _ qp _ minus26 는 양자화 파라미터-26값을 특정한다. 이때, 양자화 파라미터는 SAO와 ALF의 콘텍스트 변수들에 대한 초기화 프로세스에 이용된다.
alf _ data _ byte _ count와sao _ data _ byte _ point 는 바이트 수(number of bytes)를 특정한다.
base _ pred _ alf _ param _ flag의 값이 1이면, 베이스 레이어에서 사용된 ALF 파라미터가 현재 레이어에 사용된다는 것을 특정한다. base_pred_alf_param_flag의 값이 0이면 현재 레이어에 대한 ALF 파라미터가 현재 레이어에 사용된다는 것을 특정한다.
base _ pred _ sao _ param _ flag 의 값이 1이면, 베이스 레이어에서 사용된 SAO 파라미터가 현재 레이어에 사용된다는 것을 특정한다. base_pred_sao_param_flag 의 값이 0이면, 현재 레이어에 대한 SAO 파라미터가 현재 레이어레 사용되지 않는다는 것을 특정한다.
인터 레이어 차분 픽처 코딩
베이스 레이어의 복원 영상(reconstucted picture)을 R BL이라 하고, R BL을 인핸스먼트 레이어의 해상도(resolution)에 맞추어 업샘플링 시킨 영상을 UR BL이라 하자. 그리고, 인핸스먼트 레이어의 복원 영상을 R EL이라 하자.
복원 영상은 인루프 필터링을 적용하기 전의 영상일 수 있다. 또한, 복원 영상은 인루프 필터(deblocking filter, sample adaptive offset filter 및/또는 adaptive loop filter) 중 일부를 적용한 후의 영상일 수도 있다. 더 나아가, 복원 영상은 인루프 필터 전부를 적용한 후의 영상일 수도 있다.
여기서, R EL로부터 UR BL의 값을 뺀 차분 영상을 D라고 하면, D영상들의 도메인(domain)에서 독립적인 부호화/복호화를 수행할 수 있다. 이 방법을 본 명세서에서는 인터 레이어 차분 픽처 코딩(Inter-layer differential picture coding) 혹은 인터 레이어 차분 모드(inter-layer differential mode: IL-Diff mode)라고 한다.
인터 레이어 차분 모드는 시퀀스 단위, 픽쳐 단위, 슬라이스 단위, LCU(Largest CU) 단위, 코딩 유닛(CU) 단위 혹은 예측 유닛(PU) 단위에서 적용될 수 있다. 인터 레이어 차분 모드를 적용하고자 하는 처리 단위에서, 인터 레이어 차분 모드를 사용할지를 알려주는 플래그가 인코딩 장치로부터 디코딩 장치로 전송될 수 있다.
인터 레이어 차분 모드가 적용된 처리 단위에 대해서는, 다른 스케일러빌러티(scalability)를 이용한 코딩(인코딩/디코딩)은 수행하지 않고, 단일 레이어 코딩(인코딩/디코딩) 방법만을 이용할 수도 있다. 이 경우, 다른 스케일러빌러티를 이용한 코딩을 수행할지 여부를 지시하기 위한 비트를 절약할 수 있다.
인터 레이어 차분 모드는 도 1 내지 도 4의 예측부 혹은 인터 레이어 예측부에서 수행할 수 있다. 여기서는 설명의 편의를 위해, 예측부에서 수행하는 것으로 설명한다.
(1) 인터 레이어 차분 모드에 대한 인트라 예측 (intra prediction for IL-Diff mode)
도 21은 본 발명에 따라서 인터 레이어 차분 모드를 적용하는 경우에, 인트라 예측을 수행하는 방법을 개략적으로 설명하는 도면이다.
도 21을 참조하면, 인핸스먼트 레이어의 픽처(2100)는 현재 블록(2115) 전후의 복원 영역(2105)과 미복원 영역(2110)을 포함한다. 복원 영역(2105)으로부터 복원 영상 R EL을 얻을 수 있다. 인핸스먼트 레이어의 픽처(2100)에 대한 복원이 완료되면, 픽처(2100)가 복원 영상 R EL 이 될 수 있다.
한편, 베이스 레이어의 복원 영상 R BL(2120)을 업샘플링한 영상 UR BL(2125)는 현재 블록(2115)에 대응하는 블록 P BL(2130)을 포함한다.
인코딩 과정에서 예측부(인코딩 장치의 예측부)는 수식 4와 같이 베이스 레이어의 복원 영상과 인핸스먼트 레이어의 복원 영상 사이의 차분 D를 유도할 수 있다.
<수식 4>
D = R EL - UR BL
수식 4에선 R EL은 아직 복원되지 않은 영역(2110)의 존재로 인해서, 디블록킹 필터, SAO 혹은 ALF 등과 같은 인루프 필터가 적용되지 않은 상태의 영상을 사용할 수도 있다.
베이스 레이어의 픽처(1220)는 모든 영역이 복원된 상태이기 때문에, R BL은 인루프 필터가 적용된 상태의 복원 영상일 수도 있고, 인루프 필터의 일부가 적용된 상태의 복원 영상일 수도 있으며, 인루프 필터가 적용되지 않은 상태의 복원 영상일 수도 있다.
예측부는 차분 영상 D(2140)에서, 미복원 영역(2150)을 제외하고, 복원 영역(2145)의 픽셀값들을 참조하여, 현재 블록(2155)에 대하여 인트라 예측을 수행할 수 있다.
디코딩 과정에서 예측부(디코딩 장치의 예측부)는 현재 블록과 동일 위치에 존재하는 UR BL 내의 블록값 P BL을 이용하여 수식 5와 같이 현재 블록을 복원할 수 있다.
<수식 5>
R EL = P D + P BL + RES
수식 5에서 P D는 차분 영상 D의 복원된 영역으로부터 인트라 예측을 수행함에 따라서 생성된 예측 블록이며, RES는 레지듀얼 블록이다.
(2) 인터 에이어 차분 모드에 대한 인터 예측 (inter prediction for IL-Diff mode)
인터 레이어 차분 모드를 적용할 때, 현재 블록에 대한 인터 예측을 수행하기 위해 예측부는 현재 픽처의 참조 픽처에 대한 차분 영상 D R을 생성한다. 예컨대, 예측부는 참조 픽처의 인핸스먼트 레이어 픽처에 대한 복원 영상과 참조 픽처의 베이스 레이어 픽처에 대한 복원 영상을 이용하여, 현재 픽처의 참조 픽처에 대한 차분 영상 D R을 생성한다.
예측부는 참조 픽처의 차분 영상 D R을 기반으로 현재 블록의 차분 영상 도메인에서 예측 블록 P D를 생성할 수 있다.
예측부는 예측 블록을 이용하여 수식 6과 같이 현재 블록을 복원할 수 있다.
<수식 6>
R EL = P D + P BL + RES
수식 6에서 R EL은 인핸스먼트 레이어에서 복원된 현재 블록이다. P BL은 UR BL내에서 현재 블록과 동일 위치에 존재하는 블록이며, RES는 레지듀얼 블록이다.
참조 영상의 차분 영상 D R은 미리 생성되어 DPB(Decoded Picture Buffer)에 저장될 수 있다. DPB는 도 1 및 도 3에서 설명한 메모리에 대응할 수 있다.
또한, 참조 영상의 차분 영상 D R은 R EL을 생성할 때마다, 현재 블록의 움직임 정보에 의해 현재 블록의 복원을 위해 필요한 위치로 특정된 블록에 대해서 산출될 수도 있다.
인터 레이어 차분 모드에 대한 인트라 예측의 경우와 달리 인터 레이어 차분 모드에 대한 인터 예측에서는, 참조 픽처에 대한 차분 영상을 생성할 때 인핸스먼트 레이어에서 복원된 참조 픽처로서 인루프 필터가 적용되지 않은 상태의 복원 픽처뿐만 아니라, 인루프 필터의 일부 또는 전부가 적용된 상태의 복원 픽처를 이용할 수도 있다.
본 명세서에서는 설명의 편의를 위해, 스케일러블 비디오 코딩이 지원되는 멀티 레이어 구조에서 각 레이어별로 특정 시점(예컨대, POC(Picture Order Count) 혹은 AU(Access Unit))에 복원되는 샘플들의 어레이를 '픽처'라고 표현하였다.
이와 관련하여, 디코딩 되어 출력되는 레이어(현재 레이어)에서 특정 시점에 복원된 혹은 복원되는 전체 샘플 어레이를 픽처라고 하여, 참조되는 레이어의 복원된 혹은 복원되는 샘플 어레이와 구분할 수도 있다. 참조되는 레이어에서 특정 시점에 복원된 혹은 복원되는 샘플 어레이는 리프리젠테이션(representation), 참조 레이어 픽처, 참조 레이어 샘플 어레이, 참조 레이어 텍스처 등으로 칭할 수도 있다. 이 경우, 하나의 AU에 대해서는 현재 레이어에서 복원된 하나의 디코딩(인코딩)된 픽처가 출력될 수 있다.
상술한 예시적인 시스템에서, 방법들은 일련의 단계 또는 블록으로써 순서도를 기초로 설명되고 있지만, 본 발명은 단계들의 순서에 한정되는 것은 아니며, 어떤 단계는 상술한 바와 다른 단계와 다른 순서로 또는 동시에 발생할 수 있다. 또한, 상술한 실시예들은 다양한 양태의 예시들을 포함한다. 따라서, 본 발명은 이하의 특허청구범위 내에 속하는 모든 다른 교체, 수정 및 변경을 포함한다고 할 것이다.

Claims (20)

  1. 참조 레이어로부터 인터 레이어 움직임 정보를 유도하는 단계; 및
    상기 인터 레이어 움직임 정보를 이용하여 현재 레이어 내 현재 블록에 대한 예측을 수행하는 단계를 포함하며,
    상기 인터 레이어 움직임 정보는 상기 참조 레이어로부터 유도되는 인터 레이어 움직임 벡터를 포함하고,
    상기 인터 레이어 움직임 벡터는 상기 참조 레이어의 움직임 벡터를 상기 참조 레이어와 상기 현재 레이어 간 해상도 비율에 따라서 스케일링하여 상기 인터 레이어 움직임 벡터를 유도하는 것을 특징으로 하는 인터 레이어 예측 방법.
  2. 제1항에 있어서, 상기 참조 레이어의 움직임 벡터는,
    상기 참조 레이어 내에서 상기 현재 블록을 특정하는 위치에 대응하는 참조 위치의 움직임 벡터인 것을 특징으로 하는 인터 레이어 예측 방법.
  3. 제2항에 있어서, 상기 현재 블록을 특정하는 위치는 상기 현재 블록의 좌상단 위치인 것을 특징으로 하는 인터 레이어 예측 방법.
  4. 제2항에 있어서, 상기 참조 위치는,
    상기 현재 블록을 특정하는 위치를 상기 참조 레이어와 상기 현재 레이어 간 해상도 비율에 따라서 스케일링하여 유도되는 것을 특징으로 하는 인터 레이어 예측 방법.
  5. 제2항에 있어서, 상기 참조 위치의 움직임 벡터는,
    상기 참조 위치를 포함하는 예측 블록의 움직임 벡터인 것을 특징으로 하는 인터 레이어 예측 방법.
  6. 제1항에 있어서, 상기 예측을 수행하는 단계에서는,
    상기 현재 블록에 대한 예측 모드에 따라서, 상기 인터 레이어 움직임 정보를 포함하는 후보 리스트를 구성하고,
    상기 후보 리스트 내 후보들 중에서 선택된 움직임 정보를 이용하여 상기 현재 블록에 대한 예측을 수행하는 것을 특징으로 하는 인터 레이어 예측 방법.
  7. 제6항에 있어서, 상기 현재 블록에 대한 예측 모드는 머지 모드이며,
    상기 인터 레이어 움직임 정보는 머지 모드에 대한 후보로서 상기 후보 리스트의 제일 앞에 추가되는 것을 특징으로 하는 인터 레이어 예측 방법.
  8. 제6항에 있어서, 상기 현재 블록에 대한 예측 모드는 머지 모드이며,
    상기 인터 레이어 움직임 정보는 머지 모드에 대한 후보로서 상기 후보 리스트의 마지막에 추가되는 것을 특징으로 하는 인터 레이어 예측 방법.
  9. 제6항에 있어서, 상기 현재 블록에 대한 예측 모드는 머지 모드이며,
    상기 인터 레이어 움직임 정보는 머지 모드에 대한 후보로서 상기 현재 레이어의 시간적 후보보다 나중에 상기 후보 리스트에 추가되는 것을 특징으로 하는 인터 레이어 예측 방법.
  10. 제6항에 있어서, 상기 현재 블록에 대한 예측 모드는 머지 모드이며,
    상기 인터 레이어 움직임 정보는 머지 모드에 대한 후보로서 상기 현재 레이어의 공간적 후보들보다 나중에 상기 후보 리스트에 추가되는 것을 특징으로 하는 인터 레이어 예측 방법.
  11. 제6항에 있어서, 상기 현재 블록에 대한 예측 모드는 MVP(Motion Vector Predictor)를 이용하는 모드이며,
    상기 인터 레이어 움직임 벡터는 상기 현재 블록에 대한 후보 MVP로서 상기 후보 리스트의 제일 앞에 추가되는 것을 특징으로 하는 인터 레이어 예측 방법.
  12. 제6항에 있어서, 상기 현재 블록에 대한 예측 모드는 MVP(Motion Vector Predictor)를 이용하는 모드이며,
    상기 인터 레이어 움직임 벡터는 상기 현재 블록에 대한 후보 MVP로서 상기 후보 리스트의 마지막에 추가되는 것을 특징으로 하는 인터 레이어 예측 방법.
  13. 제6항에 있어서, 상기 현재 블록에 대한 예측 모드는 MVP(Motion Vector Predictor)를 이용하는 모드이며,
    상기 인터 레이어 움직임 벡터는 상기 현재 블록에 대한 후보 MVP로서 상기 현재 블록의 좌측에 위치하는 공간적 후보보다 나중에 상기 후보 리스트에 추가되는 것을 특징으로 하는 인터 레이어 예측 방법.
  14. 제6항에 있어서, 상기 현재 블록에 대한 예측 모드는 MVP(Motion Vector Predictor)를 이용하는 모드이며,
    상기 인터 레이어 움직임 벡터는 상기 현재 블록에 대한 후보 MVP로서 상기 현재 블록의 상측에 위치하는 공간적 후보보다 나중에 상기 후보 리스트에 추가되는 것을 특징으로 하는 인터 레이어 예측 방법.
  15. 제6항에 있어서, 상기 현재 블록에 대한 예측 모드는 MVP(Motion Vector Predictor)를 이용하는 모드이며,
    상기 인터 레이어 움직임 벡터는 상기 현재 블록에 대한 후보 MVP로서 상기 현재 레이어의 공간적 후보들보다 나중에 상기 후보 리스트에 추가되는 것을 특징으로 하는 인터 레이어 예측 방법.
  16. 제6항에 있어서, 상기 현재 블록에 대한 예측 모드는 MVP(Motion Vector Predictor)를 이용하는 모드이며,
    상기 인터 레이어 움직임 벡터는 상기 현재 블록에 대한 후보 MVP로서 스케일링된 후에 상기 후보 리스트에 추가되는 것을 특징으로 하는 인터 레이어 예측 방법.
  17. 제16항에 있어서, 상기 참조 레이어의 움직임 벡터는,
    상기 참조 레이어 내에서 상기 현재 블록을 특정하는 위치에 대응하는 참조 위치를 포함하는 참조 블록의 움직임 벡터이며,
    상기 예측을 수행하는 단계에서는,
    상기 현재 블록의 참조 픽처와 상기 참조 블록의 참조 픽처가 상이한 경우에, 상기 인터 레이어 움직임 벡터를 스케일링하여 상기 후보 리스트에 추가하는 것을 특징으로 하는 인터 레이어 예측 방법.
  18. 제16항에 있어서, 상기 인터 레이어 움직임 벡터는,
    현재 픽처와 상기 현태 픽처의 참조 픽처 간 POC(Picture Order Count) 차이; 및
    상기 픽처와 상기 참조 레이어 내에서 상기 인터 레이어 움직임 정보가 유도되는 픽처의 참조 픽처 간 POC 차이에 기반하여 스케일링 되는 것을 특징으로 하는 인터 레이어 예측 방법.
  19. 참조 레이어에 대한 예측을 수행하는 제1 예측부; 및
    상기 제1 예측부에 의한 예측에 기반한 인터 레이어 움직임 정보를 이용하여 상기 현재 레이어 내 현재 블록에 대한 예측을 수행하는 제2 예측부를 포함하며,
    상기 인터 레이어 움직임 정보는 상기 참조 레이어로부터 유도되는 인터 레이어 움직임 벡터를 포함하고,
    상기 제2 예측부는 상기 참조 레이어의 움직임 벡터를 상기 참조 레이어와 상기 현재 레이어 간 해상도 비율에 따라서 스케일링하는 것을 특징으로 하는 스케일러블 비디오 디코딩 장치.
  20. 제19항에 있어서, 상기 제2 예측부는,
    상기 현재 블록에 대한 예측 모드에 따라서, 상기 인터 레이어 움직임 정보를 포함하는 후보 리스트를 구성하고,
    상기 후보 리스트 내 후보들 중에서 선택된 움직임 정보를 이용하여 상기 현재 블록에 대한 예측을 수행하는 것을 특징으로 하는 스케일러블 비디오 디코딩 장치.
KR1020147021404A 2012-02-29 2013-02-28 인터 레이어 예측 방법 및 이를 이용하는 장치 KR102083011B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201261604538P 2012-02-29 2012-02-29
US61/604,538 2012-02-29
PCT/KR2013/001659 WO2013129878A1 (ko) 2012-02-29 2013-02-28 인터 레이어 예측 방법 및 이를 이용하는 장치

Publications (2)

Publication Number Publication Date
KR20140136428A true KR20140136428A (ko) 2014-11-28
KR102083011B1 KR102083011B1 (ko) 2020-02-28

Family

ID=49082997

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020147021404A KR102083011B1 (ko) 2012-02-29 2013-02-28 인터 레이어 예측 방법 및 이를 이용하는 장치

Country Status (12)

Country Link
US (1) US9554149B2 (ko)
EP (2) EP3442227B1 (ko)
JP (1) JP6166287B2 (ko)
KR (1) KR102083011B1 (ko)
CN (1) CN104255031B (ko)
DK (1) DK2822276T3 (ko)
ES (1) ES2703628T3 (ko)
HU (1) HUE042534T2 (ko)
PL (1) PL2822276T3 (ko)
PT (1) PT2822276T (ko)
TR (1) TR201900494T4 (ko)
WO (1) WO2013129878A1 (ko)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017188509A1 (ko) * 2016-04-28 2017-11-02 엘지전자(주) 인터 예측 모드 기반 영상 처리 방법 및 이를 위한 장치
KR20180121908A (ko) * 2016-03-18 2018-11-09 엘지전자 주식회사 비디오 코딩 시스템에서 블록 구조 도출 방법 및 장치
KR102022375B1 (ko) 2018-08-22 2019-09-18 (주)넥서스일렉트로닉스 Uhd tv용 업스케일 칩셋 모듈
WO2020055169A1 (ko) * 2018-09-11 2020-03-19 김기백 인터 예측을 이용한 영상 부호화/복호화 방법 및 장치
WO2020213867A1 (ko) * 2019-04-15 2020-10-22 엘지전자 주식회사 스케일링 리스트 데이터의 시그널링 기반 비디오 또는 영상 코딩
WO2021015586A1 (ko) * 2019-07-25 2021-01-28 주식회사 윌러스표준기술연구소 비디오 신호 처리 방법 및 장치
WO2021251752A1 (ko) * 2020-06-10 2021-12-16 엘지전자 주식회사 최대 시간 식별자에 기반하여 서브 비트스트림 추출과정을 수행하는 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 컴퓨터 판독가능한 기록매체
US11601641B2 (en) 2018-10-12 2023-03-07 Wilus Institute Of Standards And Technology Inc. Video signal processing method and apparatus using multi-assumption prediction

Families Citing this family (58)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107105305B (zh) 2011-06-24 2020-04-03 Lg 电子株式会社 图像信息编码和解码方法
US20130107962A1 (en) * 2011-10-26 2013-05-02 Intellectual Discovery Co., Ltd. Scalable video coding method and apparatus using inter prediction mode
JP2014197723A (ja) * 2012-01-06 2014-10-16 ソニー株式会社 画像処理装置および方法
CN110830799B (zh) * 2012-01-18 2023-09-15 韩国电子通信研究院 视频解码装置、视频编码装置和传输比特流的方法
WO2013115560A1 (ko) * 2012-01-30 2013-08-08 삼성전자 주식회사 공간 서브영역별로 비디오를 부호화하는 방법 및 그 장치, 공간 서브영역별로 비디오를 복호화하는 방법 및 그 장치
US11039138B1 (en) 2012-03-08 2021-06-15 Google Llc Adaptive coding of prediction modes using probability distributions
US9491458B2 (en) * 2012-04-12 2016-11-08 Qualcomm Incorporated Scalable video coding prediction with non-causal information
US10863170B2 (en) * 2012-04-16 2020-12-08 Nokia Technologies Oy Apparatus, a method and a computer program for video coding and decoding on the basis of a motion vector
GB2501517A (en) * 2012-04-27 2013-10-30 Canon Kk Scalable Encoding and Decoding of a Digital Image
US20130287109A1 (en) * 2012-04-29 2013-10-31 Qualcomm Incorporated Inter-layer prediction through texture segmentation for video coding
RU2643490C2 (ru) 2012-06-29 2018-02-01 Вилос Медиа Интернэшнл Лимитед Устройство декодирования и способ декодирования
EP2870757A1 (en) * 2012-07-09 2015-05-13 VID SCALE, Inc. Codec architecture for multiple layer video coding
MX341900B (es) * 2012-08-29 2016-09-07 Vid Scale Inc Metodo y aparato de prediccion de vector de movimiento para codificacion de video escalable.
US10448032B2 (en) 2012-09-04 2019-10-15 Qualcomm Incorporated Signaling of down-sampling location information in scalable video coding
US9392268B2 (en) * 2012-09-28 2016-07-12 Qualcomm Incorporated Using base layer motion information
US20140140406A1 (en) * 2012-11-16 2014-05-22 General Instrument Corporation Devices and methods for processing of non-idr related syntax for high efficiency video coding (hevc)
US20140254681A1 (en) * 2013-03-08 2014-09-11 Nokia Corporation Apparatus, a method and a computer program for video coding and decoding
US9648353B2 (en) * 2013-04-04 2017-05-09 Qualcomm Incorporated Multiple base layer reference pictures for SHVC
KR20140138538A (ko) * 2013-05-24 2014-12-04 주식회사 케이티 복수의 레이어를 지원하는 비디오 코딩 방법 및 장치
JPWO2015005331A1 (ja) * 2013-07-10 2017-03-02 シャープ株式会社 画像復号装置および画像符号化装置
US10085034B2 (en) * 2013-07-12 2018-09-25 Sony Corporation Image coding apparatus and method
JP6352383B2 (ja) * 2013-07-14 2018-07-04 シャープ株式会社 復号方法及び復号装置
FR3008840A1 (fr) * 2013-07-17 2015-01-23 Thomson Licensing Procede et dispositif de decodage d'un train scalable representatif d'une sequence d'images et procede et dispositif de codage correspondants
KR101709775B1 (ko) * 2013-07-23 2017-02-23 인텔렉추얼디스커버리 주식회사 영상 부호화/복호화 방법 및 장치
US9992501B2 (en) * 2013-09-10 2018-06-05 Kt Corporation Method and apparatus for encoding/decoding scalable video signal
JP6143866B2 (ja) * 2013-09-30 2017-06-07 日本放送協会 画像符号化装置、画像復号装置及びそれらのプログラム
EP3989585A1 (en) * 2013-10-11 2022-04-27 VID SCALE, Inc. High level syntax for hevc extensions
KR20150046742A (ko) * 2013-10-22 2015-04-30 주식회사 케이티 멀티 레이어 비디오 신호 인코딩/디코딩 방법 및 장치
KR20150046744A (ko) * 2013-10-22 2015-04-30 주식회사 케이티 멀티 레이어 비디오 신호 인코딩/디코딩 방법 및 장치
WO2015064990A1 (ko) * 2013-10-29 2015-05-07 주식회사 케이티 멀티 레이어 비디오 신호 인코딩/디코딩 방법 및 장치
CN106416250B (zh) 2013-12-02 2020-12-04 诺基亚技术有限公司 视频编码和解码
WO2015093449A1 (ja) * 2013-12-19 2015-06-25 シャープ株式会社 マージ候補導出装置、画像復号装置及び画像符号化装置
CN105850126B (zh) * 2013-12-24 2019-03-26 株式会社Kt 用于对多层视频信号进行编码/解码的方法和装置
US9819947B2 (en) * 2014-01-02 2017-11-14 Vid Scale, Inc. Methods, apparatus and systems for scalable video coding with mixed interlace and progressive content
US9654794B2 (en) * 2014-01-03 2017-05-16 Qualcomm Incorporated Methods for coding an inter-layer reference picture set (RPS) and coding end of bitstream (EOB) network access layer (NAL) units in multi-layer coding
US10432928B2 (en) 2014-03-21 2019-10-01 Qualcomm Incorporated Using a current picture as a reference for video coding
US10645404B2 (en) 2014-03-24 2020-05-05 Qualcomm Incorporated Generic use of HEVC SEI messages for multi-layer codecs
KR20150110295A (ko) 2014-03-24 2015-10-02 주식회사 케이티 멀티 레이어 비디오 신호 인코딩/디코딩 방법 및 장치
US10715833B2 (en) * 2014-05-28 2020-07-14 Apple Inc. Adaptive syntax grouping and compression in video data using a default value and an exception value
US9992512B2 (en) * 2014-10-06 2018-06-05 Mediatek Inc. Method and apparatus for motion vector predictor derivation
EP4020983A1 (en) 2014-12-31 2022-06-29 Nokia Technologies Oy An apparatus, a method and a computer program for video coding and decoding
CN107925774A (zh) 2015-08-24 2018-04-17 Lg 电子株式会社 基于间预测模式的图像处理方法及其装置
KR102423880B1 (ko) 2015-10-06 2022-07-21 삼성전자주식회사 인코더의 작동방법과 상기 인코더를 포함하는 시스템 온 칩의 작동 방법
US11064195B2 (en) 2016-02-15 2021-07-13 Qualcomm Incorporated Merging filters for multiple classes of blocks for video coding
US10506230B2 (en) * 2017-01-04 2019-12-10 Qualcomm Incorporated Modified adaptive loop filter temporal prediction for temporal scalability support
WO2019009504A1 (ko) * 2017-07-07 2019-01-10 삼성전자 주식회사 적응적 움직임 벡터 해상도로 결정된 움직임 벡터의 부호화 장치 및 부호화 방법, 및 움직임 벡터의 복호화 장치 및 복호화 방법
JP2021005741A (ja) * 2017-09-14 2021-01-14 シャープ株式会社 画像符号化装置及び画像復号装置
US11153607B2 (en) * 2018-01-29 2021-10-19 Mediatek Inc. Length-adaptive deblocking filtering in video coding
WO2020008330A1 (en) 2018-07-01 2020-01-09 Beijing Bytedance Network Technology Co., Ltd. Priority-based non-adjacent merge design
US11140418B2 (en) * 2018-07-17 2021-10-05 Qualcomm Incorporated Block-based adaptive loop filter design and signaling
FR3087309B1 (fr) * 2018-10-12 2021-08-06 Ateme Optimisation d'un sous-echantillonnage intervenant avant le codage d'images en compression
EP3777143A4 (en) * 2019-03-11 2022-02-16 Alibaba Group Holding Limited INTERCODING FOR ADAPTIVE RESOLUTION VIDEO CODING
US11109041B2 (en) * 2019-05-16 2021-08-31 Tencent America LLC Method and apparatus for video coding
WO2020258013A1 (zh) 2019-06-25 2020-12-30 Oppo广东移动通信有限公司 映射方法、编码器、解码器以及计算机存储介质
JP7332403B2 (ja) * 2019-09-11 2023-08-23 株式会社東芝 位置推定装置、移動体制御システム、位置推定方法およびプログラム
US11438611B2 (en) 2019-12-11 2022-09-06 Hfi Innovation Inc. Method and apparatus of scaling window constraint for worst case bandwidth consideration for reference picture resampling in video coding
US11445176B2 (en) * 2020-01-14 2022-09-13 Hfi Innovation Inc. Method and apparatus of scaling window constraint for worst case bandwidth consideration for reference picture resampling in video coding
WO2024041658A1 (en) * 2022-08-26 2024-02-29 Douyin Vision Co., Ltd. On sao and ccsao

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060106580A (ko) * 2005-04-06 2006-10-12 엘지전자 주식회사 레이어간 예측방식를 사용해 엔코딩된 영상신호를디코딩하는 방법
JP2008530926A (ja) * 2005-02-18 2008-08-07 トムソン ライセンシング 低解像度画像から高解像度画像の符号化情報を導出する方法、並びに、係る方法を実現する符号化及び復号化装置
KR20120016991A (ko) * 2010-08-17 2012-02-27 오수미 인터 프리딕션 방법

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7627037B2 (en) * 2004-02-27 2009-12-01 Microsoft Corporation Barbell lifting for multi-layer wavelet coding
DE102004059978B4 (de) * 2004-10-15 2006-09-07 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung und Verfahren zum Erzeugen einer codierten Videosequenz und zum Decodieren einer codierten Videosequenz unter Verwendung einer Zwischen-Schicht-Restwerte-Prädiktion sowie ein Computerprogramm und ein computerlesbares Medium
WO2006080662A1 (en) * 2004-10-21 2006-08-03 Samsung Electronics Co., Ltd. Method and apparatus for effectively compressing motion vectors in video coder based on multi-layer
EP1694074A1 (en) * 2005-02-18 2006-08-23 Thomson Licensing Process for scalable coding of images
KR100888963B1 (ko) * 2004-12-06 2009-03-17 엘지전자 주식회사 영상 신호의 스케일러블 인코딩 및 디코딩 방법
JP5213456B2 (ja) * 2005-02-18 2013-06-19 トムソン ライセンシング 高分解能ピクチャの符号化情報を低分解能ピクチャから導き出す方法、並びにその方法を実現する符号化及び復号化装置
CN101171845A (zh) * 2005-03-17 2008-04-30 Lg电子株式会社 对使用层间预测编码的视频信号进行解码的方法
US8867618B2 (en) * 2005-07-22 2014-10-21 Thomson Licensing Method and apparatus for weighted prediction for scalable video coding
US8446956B2 (en) 2006-01-05 2013-05-21 Thomson Licensing Inter-layer motion prediction method using resampling
US8693538B2 (en) * 2006-03-03 2014-04-08 Vidyo, Inc. System and method for providing error resilience, random access and rate control in scalable video communications
KR100944333B1 (ko) * 2007-07-30 2010-03-02 한국과학기술원 스케일러블 비디오 부호화에서 계층간 예측모드 고속결정방법
TWI362888B (en) * 2008-12-24 2012-04-21 Acer Inc Encoding and decoding method for video screen layout, encoding device, decoding device, and data structure
KR101165613B1 (ko) 2009-05-13 2012-07-16 미라이얼 가부시키가이샤 반도체 웨이퍼 수납용기
US9300970B2 (en) 2010-07-09 2016-03-29 Samsung Electronics Co., Ltd. Methods and apparatuses for encoding and decoding motion vector
CA2839274A1 (en) * 2011-06-30 2013-01-03 Vidyo, Inc. Motion prediction in scalable video coding
JP5830993B2 (ja) 2011-07-14 2015-12-09 ソニー株式会社 画像処理装置及び画像処理方法
US20130188719A1 (en) * 2012-01-20 2013-07-25 Qualcomm Incorporated Motion prediction in svc using motion vector for intra-coded block

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008530926A (ja) * 2005-02-18 2008-08-07 トムソン ライセンシング 低解像度画像から高解像度画像の符号化情報を導出する方法、並びに、係る方法を実現する符号化及び復号化装置
KR20060106580A (ko) * 2005-04-06 2006-10-12 엘지전자 주식회사 레이어간 예측방식를 사용해 엔코딩된 영상신호를디코딩하는 방법
KR20120016991A (ko) * 2010-08-17 2012-02-27 오수미 인터 프리딕션 방법

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180121908A (ko) * 2016-03-18 2018-11-09 엘지전자 주식회사 비디오 코딩 시스템에서 블록 구조 도출 방법 및 장치
WO2017188509A1 (ko) * 2016-04-28 2017-11-02 엘지전자(주) 인터 예측 모드 기반 영상 처리 방법 및 이를 위한 장치
KR102022375B1 (ko) 2018-08-22 2019-09-18 (주)넥서스일렉트로닉스 Uhd tv용 업스케일 칩셋 모듈
WO2020055169A1 (ko) * 2018-09-11 2020-03-19 김기백 인터 예측을 이용한 영상 부호화/복호화 방법 및 장치
US11849132B2 (en) 2018-09-11 2023-12-19 B1 Institute Of Image Technology, Inc. Image encoding/decoding method and apparatus using inter prediction
US11601641B2 (en) 2018-10-12 2023-03-07 Wilus Institute Of Standards And Technology Inc. Video signal processing method and apparatus using multi-assumption prediction
WO2020213867A1 (ko) * 2019-04-15 2020-10-22 엘지전자 주식회사 스케일링 리스트 데이터의 시그널링 기반 비디오 또는 영상 코딩
WO2021015586A1 (ko) * 2019-07-25 2021-01-28 주식회사 윌러스표준기술연구소 비디오 신호 처리 방법 및 장치
WO2021251752A1 (ko) * 2020-06-10 2021-12-16 엘지전자 주식회사 최대 시간 식별자에 기반하여 서브 비트스트림 추출과정을 수행하는 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 컴퓨터 판독가능한 기록매체

Also Published As

Publication number Publication date
ES2703628T3 (es) 2019-03-11
DK2822276T3 (en) 2019-02-04
JP6166287B2 (ja) 2017-07-19
TR201900494T4 (tr) 2019-02-21
PT2822276T (pt) 2018-12-18
US9554149B2 (en) 2017-01-24
JP2015512216A (ja) 2015-04-23
EP2822276A4 (en) 2015-11-04
CN104255031B (zh) 2017-12-22
US20150071356A1 (en) 2015-03-12
EP2822276A1 (en) 2015-01-07
PL2822276T3 (pl) 2019-04-30
EP3442227A1 (en) 2019-02-13
HUE042534T2 (hu) 2019-07-29
CN104255031A (zh) 2014-12-31
KR102083011B1 (ko) 2020-02-28
EP3442227B1 (en) 2020-04-22
EP2822276B1 (en) 2018-11-07
WO2013129878A1 (ko) 2013-09-06

Similar Documents

Publication Publication Date Title
KR102083011B1 (ko) 인터 레이어 예측 방법 및 이를 이용하는 장치
US10148949B2 (en) Scalable video signal encoding/decoding method and apparatus
KR102209109B1 (ko) 영상 부호화/복호화 방법 및 장치
WO2013147557A1 (ko) 인터 레이어 예측 방법 및 이를 이용하는 인코딩 장치와 디코딩 장치
KR20150133686A (ko) 스케일러블 비디오 신호 인코딩/디코딩 방법 및 장치
KR20150075041A (ko) 멀티 레이어 비디오 신호 인코딩/디코딩 방법 및 장치
KR20150050409A (ko) 멀티 레이어 비디오 신호 인코딩/디코딩 방법 및 장치
KR20150110294A (ko) 멀티 레이어 비디오 신호 인코딩/디코딩 방법 및 장치
KR20150064677A (ko) 멀티 레이어 비디오 신호 인코딩/디코딩 방법 및 장치
EP2961166B1 (en) Method for encoding video of multi-layer structure supporting scalability and method for decoding same and apparatus therefor
KR102506469B1 (ko) 영상 부호화/복호화 방법 및 장치
KR20150009468A (ko) 스케일러블 비디오 신호 인코딩/디코딩 방법 및 장치
KR102262064B1 (ko) 스케일러블 비디오 신호 인코딩/디코딩 방법 및 장치
KR20150009412A (ko) 복수의 레이어를 지원하는 영상의 부호화 및 복호화 방법 및 이를 이용하는 장치
KR20150133685A (ko) 멀티 레이어 비디오 신호 인코딩/디코딩 방법 및 장치
KR20150043990A (ko) 멀티 레이어 비디오 신호 인코딩/디코딩 방법 및 장치
KR20150043989A (ko) 멀티 레이어 비디오 신호 인코딩/디코딩 방법 및 장치
KR20150014872A (ko) 스케일러블 비디오 신호 인코딩/디코딩 방법 및 장치
KR20150071653A (ko) 멀티 레이어 비디오 신호 인코딩/디코딩 방법 및 장치
KR20150064676A (ko) 멀티 레이어 비디오 신호 인코딩/디코딩 방법 및 장치
KR20150037659A (ko) 멀티 레이어 비디오 신호 인코딩/디코딩 방법 및 장치
KR20150048077A (ko) 멀티 레이어 비디오 신호 인코딩/디코딩 방법 및 장치
KR20150044394A (ko) 멀티 레이어 비디오 신호 인코딩/디코딩 방법 및 장치

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant