KR20140087972A

KR20140087972A - Method and apparatus for image encoding and decoding using inter-layer prediction with multiple reference layers

Info

Publication number: KR20140087972A
Application number: KR1020130040659A
Authority: KR
Inventors: 강정원; 이하현; 이진호; 최진수; 김진웅
Original assignee: 한국전자통신연구원
Priority date: 2012-12-26
Filing date: 2013-04-12
Publication date: 2014-07-09
Also published as: KR20140088015A; KR102271878B1

Abstract

The present invention relates to image encoding and decoding of a structure including at least one layer, quality, space, and view and, more particularly, to a method for predicting an upper layer signal using one or more reference layers when encoding and decoding the upper layer. The method can improve encoding efficiency by separating a space quality reference layer list, which comprises space and quality layers referred within the same view as the relevant layer, from a view reference layer list, which comprises space and quality layers the same as the relevant layer; and by predicting between layers by taking into consideration the characteristics of each layer, when encoding and decoding an encoding and decoding image of the upper layer.

Description

TECHNICAL FIELD The present invention relates to a method and apparatus for inter-layer image coding and decoding using a multiple reference layer in hierarchical video coding,

계층적 비디오 부호화에서 다중참조계층을 적용한 계층간 영상 부호화 및 복호화 방법 및 그 장치에 관한 것이다.And more particularly, to a method and apparatus for inter-layer video coding and decoding using a multiple reference layer in hierarchical video coding.

종래의 한 개 이상의 계층을 포함하는 구조의 영상 부호화 및 복호화에서는 동일한 슬라이드내의 블록들을 부호화하는 경우에 한 개 이상의 참조계층을 이용하여 부호화함에 있어서 공간, 화질, 시점 스케일러빌리티의 부호화 효율을 고려한 효율적인 참조계층 리스트 생성 및 관리가 이루어지지 못하는 문제를 가지고 있다.Conventionally, in coding and decoding of a structure including one or more hierarchical layers, when coding blocks in the same slide are encoded using one or more reference layers, efficient reference in consideration of space, image quality, and coding efficiency of viewability There is a problem that hierarchical list generation and management can not be performed.

본 발명은 전술한 종래기술의 문제점을 해결하기 위하여 대상계층과 동일시점내에서 참조할 공간화질 참조계층 리스트와 대상계층과 동일 공간 및 화질 계층을 가지는 시점 참조계층 리스트를 분리 생성하여, 각 계층의 특성에 맞는 부.복호화 방식을 적용하도록 하여 부호화 효율을 향상시키는데 그 목적이 있다.In order to solve the problems of the prior art described above, the present invention separately generates a spatial reference reference hierarchical list to be referred to within the same time as a target hierarchical layer, a view reference hierarchical list having the same spatial and image quality hierarchy as a target hierarchical layer, And to improve the coding efficiency by applying a partial decoding method suited to the characteristics.

본 발명의 일 양태에 따르면, 계층적 비디오 부호화에서 다중참조계층을 적용한 계층간 영상 부호화 및 복호화 방법 및 그 장치를 제공한다.According to an aspect of the present invention, there is provided a method and apparatus for inter-layer image coding and decoding using a multiple reference layer in hierarchical video coding.

대상계층과 동일시점내에서 참조할 공간화질 참조계층 리스트와 대상계층과 동일 공간 및 화질 계층을 가지는 시점 참조계층 리스트를 분리 생성하여, 각 계층의 특성에 맞는 부.복호화 방식을 적용하도록 한다.A spatial reference reference hierarchy list to be referred to within the same time as the target hierarchy and a viewpoint reference hierarchy list having the same spatial and picture quality hierarchies as the target hierarchy are separately generated and the subdecoders according to the characteristics of each hierarchy are applied.

본 발명에 따르면, 상위 계층의 부호화, 복호화 영상을 부, 복호화 함에 있어서 대상계층과 동일시점내에서 참조할 공간 및 화질 계층으로 구성된 공간화질 참조계층 리스트와 대상계층과 동일한 공간 및 화질 계층들로 이루어진 시점 참조계층 리스트를 분리하여 각 계층의 특성을 고려하여 계층간 예측을 수행할 수 있도록 함에 의해, 부호화 효율을 향상시키는 이점이 있다.According to the present invention, a spatial image quality reference hierarchy list composed of a space and an image quality hierarchy to be referenced within the same time as a target hierarchy in the encoding and decoding of an upper layer encoded and decoded image, and a space and image quality hierarchy It is possible to separate the viewpoint reference hierarchy list and perform the inter-layer prediction considering the characteristics of each layer, thereby improving the coding efficiency.

도 1은 계층적 비디오 부호화에서 다중참조계층을 적용한 계층간 영상 부호화 방법 (intraBL approach)을 나타낸다.
도 2는 비트스트림 구조를 나타낸다.
도 3 및 도 4는 비디오 파라미터 셋(set)을 나타낸다.
도 5 내지 도 14는 참조계층 리스트의 예들을 나타낸다.
도 15는 계층적 비디오 부호화에서 다중참조계층을 적용한 계층간 영상 복호화 방법 (intraBL approach)을 나타낸다.FIG. 1 shows an inter-layer video coding method (intraBL approach) using a multiple reference layer in hierarchical video coding.
2 shows a bit stream structure.
Figures 3 and 4 illustrate video parameter sets.
Figures 5 to 14 show examples of a reference hierarchical list.
15 shows an inter-layer video decoding method (intraBL approach) in which a multiple reference layer is applied in hierarchical video coding.

도 1은 계층적 비디오 부호화에서 다중참조계층을 적용한 계층간 영상 부호화 방법 (intraBL approach)을 나타낸다.FIG. 1 shows an inter-layer video coding method (intraBL approach) using a multiple reference layer in hierarchical video coding.

통상의 화면 간 예측 방법 Normal inter-picture prediction method

화면간 예측은 현재 영상의 이전 영상 또는 이후 영상 중 적어도 하나를 참조픽처로 하고, 참조픽처를 기반으로 현재 블록에 대한 예측을 수행할 수 있다. The inter-picture prediction may use at least one of a previous picture or a following picture of the current picture as a reference picture, and predict the current block based on the reference picture.

현재 블록의 예측에 이용되는 영상을 참조픽처(reference picture) 또는 참조 프레임(reference frame)이라고 한다. An image used for prediction of a current block is referred to as a reference picture or a reference frame.

참조픽처 내의 영역은 참조픽처를 지시하는 참조픽처 인덱스(refIdx) 및 움직임 벡터(motion vector) 등을 이용하여 나타낼 수 있다. An area in the reference picture can be represented using a reference picture index refIdx indicating a reference picture and a motion vector.

화면간 예측은 참조픽처 및 참조픽처 내에서 현재 블록에 대응하는 참조 블록을 선택해서, 현재 블록에 대한 예측 블록을 생성할 수 있다. The inter picture prediction can generate a prediction block for the current block by selecting a reference block corresponding to the current block in the reference picture and the reference picture.

화면간 예측은 현재 블록과의 레지듀얼(residual) 신호가 최소화되며 움직임 벡터 크기 역시 최소가 되도록 예측 블록을 생성할 수 있다.Inter prediction may generate a prediction block such that the residual signal with respect to the current block is minimized and the motion vector size is minimized.

참조픽처의 정보를 이용하기 위해, 현재 블록의 주변 블록들의 정보를 이용할 수 있다. 예컨대, 스킵(Skip)모드, 머지(merge) 모드, AMVP(Advanced Motion Vector Prediction)등을 통해, 주변 블록의 정보에 기반하여 현재 블록에 대한 예측 블록을 생성할 수 있다. In order to use the information of the reference picture, information of neighboring blocks of the current block can be used. For example, a prediction block for a current block can be generated based on information of neighboring blocks through a Skip mode, a merge mode, and an AMVP (Advanced Motion Vector Prediction).

스킵 모드의 경우에, 주변 블록의 정보를 그대로 현재 블록에 이용할 수 있다. 따라서 스킵 모드의 경우에, 부호화기는 현재 블록의 움직임 정보로서 어떤 블록의 움직임 정보를 이용할 것인지를 지시하는 정보 외에 레지듀얼 등과 같은 신택스 정보를 복호화기에 전송하지 않는다. In the case of the skip mode, the information of the neighboring blocks can be directly used for the current block. Therefore, in the case of the skip mode, the encoder does not transmit syntax information such as residual, etc. to the decoder in addition to information indicating which block's motion information is to be used as motion information of the current block.

머지 모드의 경우에, 주변 블록의 움직임 정보를 그대로 이용하여 현재 블록에 대한 예측 블록을 생성할 수 있다. 부호화기는 머지 모드를 적용하는지에 관한 정보와 어떤 블록의 움직임 정보를 이용할지에 관한 정보, 레지듀얼 정보등을 복호화기에 전송할 수 있다. 복호화기는 예측 블록과 부호화기로부터 전송되는 레지듀얼을 더하여 현재 블록을 복원할 수 있다. In the merge mode, the prediction block for the current block can be generated using the motion information of the neighboring block as it is. The encoder can transmit to the decoder information on whether to apply the merge mode, information on which motion information of a certain block to use, residual information, and the like. The decoder can restore the current block by adding the prediction block and the residual transmitted from the encoder.

AMVP의 경우에는 주변 블록들의 움직임 정보를 이용하여 현재 블록의 움직임 벡터를 예측하고, (1) 어떤 주변 블록의 움직임 정보를 이용하는지에 관한 정보, (2) 현재 블록의 움직임 벡터와 예측된 움직임 벡터 사이의 차이, (3) 참조 픽처를 지시하는 참조 픽처 인덱스 등을 복호화기에 전송할 수 있다. 복호화기는 주변 블록의 움직임 정보들을 이용하여 현재 블록의 움직임 벡터를 예측하고, 부호화기로부터 수신한 레지듀얼을 이용하여 현재 블록에 대한 움직임 벡터를 유도할 수 있다. 복호화기는 유도한 움직임 벡터와 부호화기로부터 수신한 참조 픽처 인덱스 정보를 기반으로 현재 블록에 대한 예측 블록을 생성할 수 있다. In the case of AMVP, the motion vector of the current block is predicted using the motion information of the neighboring blocks, and the motion vector of the current block is predicted by (1) information on which motion information of the neighboring block is used, (2) (3) a reference picture index indicating a reference picture, and the like can be transmitted to the decoder. The decoder can predict the motion vector of the current block using the motion information of the neighboring block and derive the motion vector of the current block using the residual received from the encoder. The decoder can generate a prediction block for the current block based on the derived motion vector and the reference picture index information received from the encoder.

화면간 예측의 경우, 복호화기는 현재 블록의 인터 예측에 필요한 움직임 정보, 예컨대 움직임 벡터, 참조 픽처 인덱스 등에 관한 정보를 부호화기로부터 수신한 스킵 플래그, 머지 플래그 등을 확인하고 이에 대응하여 유도할 수 있다. In case of the inter-picture prediction, the decoder can recognize the skip flag, the merge flag, and the like received from the encoder on the motion information necessary for inter-prediction of the current block, for example, information on the motion vector, reference picture index,

예측이 수행되는 처리 단위와 예측 방법 및 구체적인 내용이 정해지는 처리 단위는 서로 다를 수 있다. 예컨대, PU단위로 예측모드가 정해져서 TU단위로 예측이 수행될 수도 있고, PU 단위로 예측 모드가 정해지고 TU 단위로 화면 내 예측이 수행될 수 도 있다. The processing unit in which the prediction is performed and the processing unit in which the prediction method and the concrete contents are determined may be different from each other. For example, the prediction mode may be determined in units of PU, and the prediction may be performed in units of TU, the prediction mode may be determined in units of PU, and the intra prediction may be performed in units of TU.

[[ E1E1 ] 현재 부호화 대상 계층의 영상이 참조 가능한 계층의 리스트를 구성하는 단계 ] Step of constructing a list of hierarchical layers to which the image of the current coding layer can be referred

비트스트림이 적어도 한가지 이상의 스케일러빌리티 (예를 들어, 공간, 화질, 시점 스케일러빌리티)를 지원하며 적어도 한 개 이상의 계층 구조를 사용하는 비디오 부호화 방법에 있어서 참조계층 리스트를 구성하는 단계임 A step of constructing a reference hierarchical list in a video coding method in which a bitstream supports at least one scalability (e.g., space, image quality, viewability scalability) and uses at least one hierarchical structure

현재 부호화 대상 계층의 하위계층들 가운데 현재 부호화 대상 계층이 부호화시 동일시점 내에서 참조할 적어도 한 개 이상의 공간 혹은 화질 계층들로 공간화질 참조계층 리스트를 구성하고, 동일 공간 및 화질을 가지는 계층들 가운데 참조할 시점 계층들로 시점 참조계층 리스트를 구성할 수 있다.A spatial image quality reference hierarchy list is constructed by at least one space or image quality hierarchy to be referred to in the current time among the lower hierarchical levels of the current encoding target hierarchy at the same time in encoding, The point-of-view hierarchy list can be constructed with reference time layers to be referred to.

[E1-1] 전체 비트스트림에서 현재 부호화 대상 계층과 동일한 계층들이 참조할 수 있는 공간화질 참조계층 리스트 및 시점 참조계층 리스트를 구성하는 단계[E1-1] A step of constructing a spatial reference reference hierarchical list and a view reference hierarchical list which can be referred to by the same hierarchical layer as the current encoding layer in the entire bitstream

-현재 부호화 대상 계층과 동일한 계층들이 참조 가능한 공간화질 참조계층 리스트 및 시점 참조계층 리스트를 구성하는 단계임 - It is a step to construct a list of spatial image quality reference hierarchies and a viewpoint hierarchical list that can be referenced by the same layers as the current encoding layer

-현재 부호화 대상 계층과 동일시점을 가지는 참조 가능한 공간화질 참조계층 리스트를 다음의 방법 가운데 하나로 구성할 수 있다.- A referable spatial image quality reference hierarchical list having the same point in time as the current coding hierarchy can be configured in one of the following methods.

ㆍ대상 계층과 동일시점을 가지는 공간 및 화질 참조계층들을 임의의 순서로 구성할 수 있다. ㆍ Space and image quality reference layers having the same viewpoint as the target layer can be configured in any order.

ㆍ대상 계층과 동일시점을 가지는 공간 및 화질 참조계층들 가운데 layer_id값이 대상 계층의 layer_id 값과 차이가 적은 계층 (즉, 가까운 계층) 부터 많은 계층 순서로 구성할 수 있다. The layer_id value of the spatial and image quality reference layers having the same point in time as the target layer can be configured in a hierarchical order starting from a layer having a small difference from the layer_id value of the target layer (i.e., near layer).

ㆍ대상 계층과 동일시점을 가지는 공간 및 화질 참조계층들 가운데 priority가 높은 계층부터 낮은 계층의 순서로 구성할 수 있다. ㆍ Among the spatial and image quality reference layers having the same point in time as the target layer, the priority can be configured in the order of the higher layer to the lower layer.

≫Priority 관련 정보는 NALU header 혹은 video parameter set 등에서 시그널링할 수 있다. »Priority related information can be signaled in NALU header or video parameter set.

ㆍ현재 부호화 대상과 동일시점을 가지는 공간 (spatial) 및 화질(quality) 참조 계층들 가운데 현재 부호화 대상 계층과 공간해상도 차이가 적은 계층부터 많은 계층 순으로, 동일한 공간해상도에서의 화질 참조계층 순서는 현재 부호화 대상 계층의 layer_id값과 차이가 작은 계층(즉, 가까운 계층)부터 큰 계층 순서로 구성할 수 있다. The order of the picture quality reference hierarchy at the same spatial resolution is as follows: the spatial reference quality at the same spatial resolution as that of the current encoding target; The layer_id value of the to-be-encoded layer can be structured in a hierarchical order from a hierarchy having a small difference (i.e., a near hierarchy) to a hierarchical hierarchy.

≫예를들어, [도2]와 같은 비트스트림 구조에서 layer_id = n의 참조계층 리스트는 (n-1, n-2, n-3)의 순서로 구성할 수 있다. For example, the reference hierarchical list of layer_id = n in the bitstream structure shown in FIG. 2 can be configured in the order of (n-1, n-2, n-3).

ㆍ현재 부호화 대상과 동일시점을 가지는 공간 (spatial) 및 화질(quality) 참조 계층들 가운데 현재 부호화 대상 계층과 공간해상도 차이가 작은 계층부터 큰 계층 순으로, 동일한 공간해상도에서의 화질 참조계층 순서는 부호화하고자 하는 QP값이 낮은 값에서 높은 값의 순서로(즉, 복호시 화질이 좋은 계층부터 낮은 계층순서) 구성할 수 있다. The spatial reference hierarchy order in the same spatial resolution is sequentially encoded in the order of the spatial layer and the image quality reference layer having the same point in time as the current encoding target and in the descending order of the layer having the smaller spatial resolution difference from the current encoding layer The QP values to be desirably can be arranged in order from a low value to a high value (that is, in descending order of picture quality from decoding to lower picture order).

-현재 부호화 대상 계층과 동일 공간과 동일 화질계층들로 이루어진 참조 가능한 시점 참조계층 리스트를 다음의 방법 가운데 하나로 구성할 수 있다.- A reference viewable hierarchical list consisting of the same space and the same picture quality layer as the current coding target layer can be configured in one of the following methods.

ㆍ현재 부호화 대상 계층과 동일 공간과 동일 화질계층들로 이루어진 시점 참조계층들을 임의의 순서로 구성할 수 있다. The viewpoint reference layers including the same space as the current encoding target layer and the same picture quality layers can be configured in an arbitrary order.

ㆍ현재 부호화 대상 계층과 동일 공간과 동일 화질계층들로 이루어진 시점 참조계층들을 현재 부호화 대상 시점과 가까운 시점부터 먼 시점순으로 구성할 수 있다. The viewpoint reference layers including the same space and the same picture quality layer as the current coding layer can be configured in order from the point of time close to the current coding target point.

-구성된 화질시점 참조계층 리스트들과 시점 참조계층 리스트들은 현재 부호화 대상 영상이 속한 계층과 동일한 계층에 속한 영상들을 부호화하기 위해 사용될 수 있다.The configured picture quality point in time reference hierarchy lists and viewpoint reference layer lists can be used to encode images belonging to the same layer as the layer to which the current picture to be encoded belongs.

-구성된 현재 부호화 대상 계층과 동일한 계층들(즉, 동일한 layer_id 값을 가지는 계층들)이 참조 가능한 공간화질 참조계층 리스트와 시점 참조계층 리스트는 효율적인 시그널링을 위하여 통합되어 하나의 참조 가능한 참조계층 리스트로 기술할 수 있다.- A spatial reference reference hierarchy list and a view reference hierarchy list, which can be referred to by the same layers as the current encoding target layer (i.e., layers having the same layer_id value), are integrated for efficient signaling and described as one referenceable hierarchical list can do.

ㆍ예를들어, [도3]과 같이 video parameter set에서 nuh_layer_id의 값을 가지는 계층의 참조계층들(ref_layer_id)을 기술하여 시그널링할 수 있다. For example, as shown in FIG. 3, reference layers (ref_layer_id) of a layer having a value of nuh_layer_id in a video parameter set can be described and signaled.

ㆍ예를들어, [도4]와 같이 같이 video parameter set에서 nuh_layer_id의 값을 가지는 계층의 참조계층들을 기술하여 시그널링할 수 있다. For example, as shown in FIG. 4, reference layers of a layer having a value of nuh_layer_id in a video parameter set can be described and signaled.

ㆍ통합된 참조계층 리스트의 순서는 임의의 순서일 수도 있으며, 공간화질 참조계층 리스트 다음에 시점 참조계층 리스트를 기술할 수도 있으며, 시점 참조계층 리스트 다음에 공간화질 참조계층 리스트를 기술할 수도 있다. The order of the integrated reference hierarchy list may be any order, and may include a list of point-in-time reference hierarchies after the list of spatial quality reference hierarchies, or a list of spatial image quality reference hierarchies following the point-in-time reference hierarchy list.

[E1-2] 현재 부호화 대상 계층이 참조하는 참조계층 리스트를 구성하는 단계[E1-2] Constructing a reference hierarchical list referenced by the current encoding target layer

-현재 부호화하고자 하는 영상의 현재 부호화 대상 계층 (혹은 해당 슬라이스)이 참조 가능한 공간화질 참조계층 리스트 및 시점 참조계층 리스트를 구성하는 단계임 - The current coding target layer (or corresponding slice) of the image to be coded at present is a step constituting a reference list of spatial quality reference layer and a viewpoint reference layer list

-현재 부호화하고자 하는 영상의 현재 부호화 대상 계층이 참조 가능한 공간화질 참조계층 리스트를 다음의 방법 가운데 하나로 구성할 수 있다.- A spatial reference reference hierarchical list which can be referred to a current coding target layer of an image to be coded at present can be configured in one of the following methods.

-현재 부호화하고자 하는 영상의 현재 부호화 대상 계층 계층과 동일 공간과 동일 화질계층들로 이루어진 참조 가능한 시점 참조계층 리스트를 다음의 방법 가운데 하나로 구성할 수 있다.- A referable viewpoint reference hierarchical list consisting of the same space and the same picture quality hierarchy as the current coding subject hierarchical layer of the image to be currently coded can be configured in one of the following methods.

-구성된 화질시점 참조계층 리스트들과 시점 참조계층 리스트들은 현재 부호화 대상 영상의 부호화 대상 계층(혹은 해당 슬라이스)을 부호화하기 위해 사용될 수 있다.The configured picture quality viewpoint reference hierarchy lists and viewpoint reference hierarchy lists can be used to encode the current layer (or corresponding slice) of the current picture to be coded.

-구성된 현재 부호화 대상 계층이 참조 가능한 공간화질 참조계층 리스트와 시점 참조계층 리스트는 효율적인 시그널링을 위하여 통합되어 하나의 참조 가능한 참조계층 리스트로 기술할 수 있다.- The spatial reference reference hierarchy list and the view reference hierarchy list that can be referred to by the current encoding target hierarchy can be integrated into one referenceable hierarchical list for efficient signaling.

ㆍ예를 들어, [도5]에서 [도14]까지의 방식 가운데 하나를 사용해서, slice header에 참조계층들을 기술하여 시그널링할 수 있다. For example, one of the schemes from [FIG. 5] to [FIG. 14] can be used to signal the reference layers in the slice header.

ㆍ이때, 기술되는 해당 계층이 부호화시 참조할 수 있는 계층들은 전체 비트스트림에서 현재 부호화 대상 계층과 동일한 계층들이 참조할 수 있는 참조계층들의 sub-set일 수 있다. At this time, the layers to which the layer described in the coding can refer can be a subset of the reference layers that can be referred to by the same layers as the current layer to be encoded in the entire bitstream.

ㆍ예를들어, slice header에 시그널링 되는 참조계층들은 video parameter set에서 시그널링되는 현재 부호화 대상 계층과 동일한 계층들이 참조할 수 있는 참조계층 리스트의 sub-set일 수 있다. For example, the reference layers signaled in the slice header may be a subset of the reference layer list that can be referenced by the same layer as the current layer to be signaled, which is signaled in the video parameter set.

ㆍ통합된 참조계층 리스트의 순서는 임의의 순서일 수도 있으며, 공간화질 참조계층 리스트 다음에 시점 참조계층 리스트를 기술할 수도 있으며, 시점 참조계층 리스트 다음에 공간화질 참조계층 리스트를 기술할 수도 있다
The order of the integrated reference hierarchy list may be any order, and may include a point-in-time reference hierarchy list after the spatial quality reference hierarchy list, and a space quality reference hierarchy list after the point-in-time hierarchy list

[[ E2E2 ] 참조 가능한 시점참조계층의 복호화 영상을 포함하여 현재 부호화 대상 영상의 화면 간 ] Between the current screen of the current picture to be coded including the decoded picture of the reference time reference layer 예측 을Predictions 위한 for 참조픽처Reference picture 리스트를 생성하는 단계 Steps to create list

시점 참조계층의 복호화 영상을 포함하여 현재 부호화 대상 영상의 화면간 예측을 위한 참조픽처 집합(reference picture set) 구성 및 참조픽처 형태표시(reference picture marking)를 수행할 수 있다.A reference picture set for inter-picture prediction of a current picture to be coded including a decoded picture of a viewpoint reference layer, and a reference picture marking can be performed.

-시점 참조계층 리스트에 포함된 영상이 복원된 영상으로 available 한지를 확인하고 available 한 경우 해당 복원영상을 참조픽처 집합에 포함시키고, available하지 않은 경우 해당 복원영상을 “no reference picture"로 표시할 수 있다.- If the image included in the viewpoint reference hierarchy list is available as a reconstructed image, if it is available, the reconstructed image is included in the reference picture set and if it is not available, the restored image can be displayed as "no reference picture" have.

-시점 참조계층 리스트에 포함된 영상들로 구성된 참조픽처 집합(1)은 “used for long term reference"로 표시하여 현재 부호화 대상 영상의 화면간 예측시 long-term reference picture로 취급할 수 있다.- The reference picture set (1) composed of the images included in the viewpoint reference hierarchical list can be treated as a long-term reference picture in inter-picture prediction of the current picture to be coded by being indicated as "used for long term reference".

-시점 참조계층 리스트에 포함된 영상들로 구성된 참조픽처 집합 이외에 현재 부호화 대상 계층과 동일한 계층의 영상으로 이루어진 화면간 예측을 위한 다음과 같은 참조픽처 집합들이 존재할 수 있다.There may exist the following reference picture sets for inter-picture prediction made up of images of the same layer as the current coding layer, in addition to the reference picture set made up of the images included in the temporal reference layer list.

ㆍ(2)현재 부호화 대상 영상의 화면간 예측에 사용되며, 디스플레이 순서상 현재 부호화 대상 영상을 기준으로 이전인 short-term reference picture (2) a short-term reference picture which is used for inter-picture prediction of the current picture to be encoded and which is based on the current picture to be encoded in the display order

ㆍ(3)현재 부호화 대상 영상의 화면간 예측에 사용되며, 디스플레이 순서상 현재 부호화 대상 영상을 기준으로 이후인 short-term reference picture (3) a short-term reference picture (hereinafter referred to as " short-term reference picture ") which is used for inter-

ㆍ(4)현재 부호화 대상 영상의 화면간 예측을 위한 long-term reference picture (4) A long-term reference picture for inter-picture prediction of the current picture to be coded

ㆍ(5)현재 부호화 대상 영상 이후에 부호화할 수 있는 영상을 위한 short-term reference picture (5) A short-term reference picture for an image that can be encoded after the current encoding target image

ㆍ(6)현재 부호화 대상 영상 이후에 부호화할 수 있는 영상을 위한 long-term reference picture
(6) A long-term reference picture for a picture that can be encoded after the current encoding target picture

참조픽처 집합과 참조픽처 형태에 따라 참조픽처 리스트를 생성할 수 있다.The reference picture list can be generated according to the reference picture set and the reference picture type.

-현재 부호화 대상 영상의 참조픽처 리스트를 생성함에 있어서, 현재 부호화 대상 영상과 동일한 계층의 영상들로 이루어진 참조픽처 집합들로 구성된 화면간 참조영상 리스트 L0 및 L1에 (1)에 생성한 시점 참조계층 리스트로 구성된 참조픽처 집합을 다음과 같이 추가하여 최종 참조픽처 리스트를 생성할 수 있다.In generating the reference picture list of the current image to be encoded, the inter-view reference picture lists L0 and L1, which are composed of reference picture sets composed of images of the same layer as the current image to be encoded, A final reference picture list can be generated by adding a reference picture set composed of a list as follows.

-참조픽처 리스트 생성시마다, 고정된 위치에 시점 참조계층의 복호화 영상을 추가하는 단계 A step of adding a decoded picture of the viewpoint reference layer to a fixed position each time a reference picture list is generated

ㆍL0 list의 경우 (1)을 마지막 혹은 첫 번째(ref_idx=0) 혹은 두 번째(ref_idx=1) 위치에부터 추가할 수 있다. (리스트의 중간 위치에 추가하는 경우, 해당위치 및 그 이후에 있던 영상들의 리스트에서의 인덱스를 추가한 시점참조계층 수(참조계층 리스트로 구성된 참조픽처 집합의 수) 만큼씩 증가시킬 수 있다.) • For the L0 list, you can add (1) from the last or first position (ref_idx = 0) or the second position (ref_idx = 1). (In the case of adding to the middle position of the list, the index in the list of images at the corresponding position and thereafter can be increased by the number of reference reference hierarchies added (the number of reference picture sets composed of the reference hierarchical list)).

ㆍL0 list의 경우 (1)로 첫 번째 (ref_idx=0) 혹은 두 번째 (ref_idx=1) 위치에서부터 시점참조계층 리스트로 구성된 참조픽처 집합의 수 만큼의 참조영상들을 대체할 수 있다. In the case of L0 list, it is possible to replace as many reference images as the number of reference picture sets composed of the first (ref_idx = 0) or the second (ref_idx = 1)

ㆍL0 list의 경우 (1)을 임의의 시그널링된 위치에서 부터 추가할 수 있다.(리스트의 중간 위치에 추가하는 경우, 해당위치 및 그 이후에 있던 영상들의 리스트에서의 인덱스를 추가한 시점참조계층 수(시점참조계층 리스트로 구성된 참조픽처 집합의 수) 만큼씩 증가시킬 수 있다.) In the case of the L0 list, (1) can be added from any signaled position. (In the case of adding to the middle position of the list, (The number of reference picture sets composed of the point-in-time hierarchy list).

ㆍL0 list의 경우 (1)을 임의의 시그널링된 위치에서 부터 시점참조계층 리스트로 구성된 참조픽처 집합의 수 만큼의 참조영상들을 대체할 수 있다. In case of L0 list (1), it is possible to replace the reference pictures as many as the number of the reference picture set composed of the point-in-time hierarchical list from any signaled position.

ㆍL0 list의 경우 (1)의 시점 참조계층 리스트에 포함된 각각의 픽처들을 임의의 서로 다른 위치에 추가할 수 있다. (추가된 영상들의 해당위치 및 이후에 있던 영상들의 리스트에서의 인덱스를 추가한 시점참조계층 수(시점참조계층 리스트로 구성된 참조픽처 집합의 수) 만큼씩 증가시킬 수 있다.) In the case of the L0 list, each picture included in the point-of-view hierarchical list of (1) can be added to any other position. (It is possible to increase the number of reference pictures (the number of the reference picture set composed of the view reference picture list) by adding the index of the position of the added pictures and the index of the pictures after the picture.

ㆍL0 list의 경우 (1)의 시점참조계층 리스트에 포함된 각각의 픽처들을 임의의 서로 다른 위치에 있는 참조영상들을 대체할 수 있다. In the case of the L0 list, each picture included in the point-of-view hierarchical list of (1) can be replaced with reference pictures at arbitrary different positions.

ㆍL1 list의 경우 (1)을 마지막 혹은 첫 번째 (ref_idx=0) 혹은 두 번째 (ref_idx=1) 위치에 추가할 수 있다. (리스트의 중간 위치에 추가하는 경우, 해당위치 및 그 이후에 있던 영상들의 리스트에서의 인덱스를 추가한 참조계층 수(시점참조계층 리스트로 구성된 참조픽처 집합의 수) 만큼씩 증가시킬 수 있다.) • For the L1 list, you can add (1) to the last or first (ref_idx = 0) or second (ref_idx = 1) position. (In the case of adding to the middle position of the list, the index in the list of images at the corresponding position and thereafter can be increased by the number of reference layers added (the number of reference picture sets composed of the view reference hierarchy list)).

ㆍL1 list의 경우 (1)로 첫 번째 (ref_idx=0) 혹은 두 번째 (ref_idx=1) 위치에서부터 시점 참조계층 리스트로 구성된 참조픽처 집합의 수 만큼의 참조영상들을 대체할 수 있다. In the case of the L1 list, it is possible to replace the reference pictures as many as the reference picture set consisting of the first reference point (ref_idx = 0) or the second reference point (ref_idx = 1)

ㆍL1 list의 경우 (1)을 임의의 시그널링된 위치에서 부터 추가할 수 있다.(리스트의 중간 위치에 추가하는 경우, 해당위치 및 그 이후에 있던 영상들의 리스트에서의 인덱스를 추가한 시점참조계층 수(시점참조계층 리스트로 구성된 참조픽처 집합의 수) 만큼씩 증가시킬 수 있다.) In the case of the L1 list, (1) can be added from any signaled position. (In the case of adding to the middle position of the list, (The number of reference picture sets composed of the point-in-time hierarchy list).

ㆍL1 list의 경우 (1)을 임의의 시그널링된 위치에서 부터 시점참조계층 리스트로 구성된 참조픽처 집합의 수 만큼의 참조영상들을 대체할 수 있다. In case of L1 list (1), it is possible to replace the reference images as many as the number of reference picture sets composed of the point-of-view hierarchical list from any signaled position.

ㆍL1 list의 경우 (1)의 시점참조계층 리스트에 포함된 각각의 픽처들을 임의의 서로 다른 위치에 추가할 수 있다. (추가된 영상들의 해당위치 및 이후에 있던 영상들의 리스트에서의 인덱스를 추가한 시점참조계층 수(시점참조계층 리스트로 구성된 참조픽처 집합의 수) 만큼씩 증가시킬 수 있다.) In the case of the L1 list, each picture included in the point-of-view hierarchical list of (1) can be added to any other position. (It is possible to increase the number of reference pictures (the number of the reference picture set composed of the view reference picture list) by adding the index of the position of the added pictures and the index of the pictures after the picture.

ㆍL1 list의 경우 (1)의 시점참조계층 리스트에 포함된 각각의 픽처들을 임의의 서로 다른 위치에 있는 참조영상들을 대체할 수 있다. In the case of the L1 list, each picture included in the point-of-view hierarchical list of (1) can be replaced with reference pictures at arbitrary different positions.

-참조픽처 리스트 생성한 후, 추가로 효율적인 부호화를 위해 시점 참조계층의 복호화 영상의 위치를 변경하는 단계 - generating a reference picture list and then changing the position of the decoded picture in the viewpoint reference layer for further efficient coding

ㆍ추가로, Slice header 혹은 picture parameter set에서의 부호화 파라미터를 이용하여 시점 참조계층의 복호화 영상의 위치를 참조픽처 리스트의 어떠한 위치로든지 변경할 수 있다.
In addition, the position of the decoded image of the viewpoint reference layer can be changed to any position in the reference picture list by using the encoding parameters in the slice header or picture parameter set.

[[ E3E3 ] 현재계층의 영상을 블록단위로 부호화하는 단계] Step of coding the image of the current layer in block units

현재계층의 부호화 대상 블록이 참조 가능한 공간화질 참조계층을 혹은 시점 참조계층의 복호영상을 포함한 화면간 예측을 이용하여 다음과 같이 부호화 할 수 있다. The inter picture prediction including the decoded picture of the spatial reference reference layer or the view reference layer capable of referring to the current block of the current layer can be encoded as follows.

[E3-1] 참조 가능한 공간화질 참조계층의 참조블록의 정보들 중 적어도 아래의 정보가운데 하나를 이용하여 부호화를 수행하는 단계 [E3-1] Performing encoding using at least one of the information of the reference block of the referenced spatial quality reference layer

-참조계층의 참조블록은 현재 계층의 현재 부호화 대상 블록에 대응되는 참조계층의 블록으로 예를 들어, 현재 부호화 대상 블록과 동일 위치의 블록을 의미할 수 있음The reference block of the reference layer may be a reference layer block corresponding to the current encoding target block of the current layer, for example, a block at the same position as the current encoding target block

-현재계층의 부호화 대상 블록이 참조 가능한 공간화질 참조계층 리스트 가운데 하나의 참조계층을 선택할 수 있으며, 현재계층의 부호화 대상 블록은 참조계층의 참조블록의 정보들 중 적어도 아래의 정보가운데 하나를 이용하여 부호화를 수행할 수 있다.A reference layer of a spatial quality reference layer list in which a current block of a current layer can be referred to can be selected and a current block of the current layer can be selected using at least one of the information of the reference blocks of the reference layer Encoding can be performed.

ㆍ[E3-1-1] 참조블록의 복원샘플 [E3-1-1] Restoration sample of reference block

ㆍ[E3-1-2] 참조블록의 레지듀얼 [E3-1-2] Residual of reference block

ㆍ[E3-1-3] 참조블록의 부호화 파라미터(예를 들어, reference frame, motion vector, prediction mode, block partitioning information) [E3-1-3] Encoding parameters (eg, reference frame, motion vector, prediction mode, and block partitioning information)

-참조계층 리스트에서 현재계층의 부호화 대상 블록이 부호화시 참조계층의 정보를 이용하여 부호화한 경우, 사용한 참조계층을 나타내는 인덱스를 부호화할 수 있다.When the current block of the current layer is coded using the information of the reference layer in coding, the index indicating the used reference layer can be encoded in the reference layer list.

ㆍ예를 들어, [도2]에서 layer_id =n 인 계층의 공간화질 참조계층 리스트가 (layer_id = (n-1), layer_id = (n-2))이고, 현재 부호화 대상 블록이 layer_id = (n-2)인 참조계층을 참조하는 경우 공간화질 참조계층 리스트의 인덱스 “1"을 부호화하여 시그널링할 수 있다. For example, if the spatial image quality reference hierarchical list of layer_id = n in (FIG. 2) is (layer_id = (n-1), layer_id = (n-2)) and the current encoding target block is layer_id = -2), the index "1" of the spatial image quality reference hierarchical list can be encoded and signaled.

ㆍ이때 사용되는 공간화질 참조계층 리스트는 slice header에서 시그널링되는 현재 부호화 대상 계층이 참조하는 참조계층 리스트로 부터 구성될 수 있다. 만약에 slice header에서 참조계층 리스트를 시그널링하지 않는다면, vps에서 시그널링되는 전체 비트스트림에서 현재 부호화 대상계층과 동일한 계층들이 참조할 수 있는 참조계층들로 부터 구성될 수 있다. The spatial image quality reference hierarchy list used at this time may be composed of the reference hierarchy list referenced by the current encoding layer signaled in the slice header. If the slice header does not signal the reference layer list, it can be composed of reference layers that can be referred to by the same layers as the current layer to be coded in the entire bitstream signaled in vps.

[E3-2] 현재계층의 현재 부호화 대상 블록이 화면간 예측을 하는 경우, 참조픽처 리스트내의 참조픽처를 이용해서 현재 부호화 대상 블록에 대한 움직임 예측 및 움직임 보상을 수행하는 단계[E3-2] Performing motion prediction and motion compensation on a current block to be coded using a reference picture in a reference picture list, when a current block to be coded in the current layer performs inter-picture prediction

-[E2]에서 생성된 시점참조계층의 복호화 영상을 포함한 참조픽처 리스트내의 참조픽처를 이용하여 통상적인 화면간 예측방법으로 현재 부호화 대상 영상에 대한 움직임 예측 및 움직임 보상을 수행할 수 있다.
- [E2], motion prediction and motion compensation for the current image to be coded can be performed using a conventional intra-picture prediction method using the reference pictures in the reference picture list including the decoded picture of the viewpoint reference layer.

도 15는 계층적 비디오 부호화에서 다중참조계층을 적용한 계층간 영상 복호화 방법 (intraBL approach)을 나타낸다.15 shows an inter-layer video decoding method (intraBL approach) in which a multiple reference layer is applied in hierarchical video coding.

[[ D1D1 ] 현재 복호화 대상 계층의 영상이 참조하고 있는 계층의 리스트를 구성하는 단계 ] Step of constructing a list of hierarchical layers referenced by the image of the current layer to be decoded

참조계층 리스트는 적어도 아래와 같은 방식 중 하나로 정해 질 수 있다. The reference hierarchical list can be defined in at least one of the following ways.

[D1-1] 전체 비트스트림에서 현재 복호화 대상 계층과 동일한 계층들이 참조할 수 있는 공간화질 참조계층 리스트 및 시점 참조계층 리스트를 구성하는 단계 [D1-1] A step of constructing a spatial reference reference hierarchical list and a view reference hierarchical list which can be referred to by the same layers as the current decoding target layer in the entire bitstream

-구성된 참조계층 리스트들은 현재 복호화 대상 영상이 속한 계층과 동일한 계층에 속한 영상들을 복호화하기 위해 사용될 수 있다.The constructed reference hierarchy lists can be used to decode images belonging to the same layer as the layer to which the current image to be decoded belongs.

-video parameter set에서 시그널링되는 현재 복호화 대상 계층의 참조계층 정보를 이용하여 공간화질 참조계층 리스트 및 시점 참조계층 리스트를 구성할 수 있다.the spatial image quality reference hierarchy list and the view point reference hierarchy list can be configured using the reference hierarchy information of the current decoding target layer signaled by the -video parameter set.

-현재 복호화 대상과 동일시점을 가지는 공간화질 참조계층 리스트를 다음과 같이 구성할 수 있다.- A spatial image quality reference hierarchical list having the same point in time as the current decoding target can be constructed as follows.

ㆍ예를 들어, [도2]와 같이 시그널링되는 nuh_layer_id[i]의 값을 가지는 계층의 참조계층들 (ref_layer_id) 가운데 현재 복호화 대상과 동일시점을 가지는 공간 (spatial) 및 화질(quality) 참조 계층들로 참조계층 리스트를 구성할 수 있다. For example, among reference layers (ref_layer_id) of a layer having a value of nuh_layer_id [i] signaled as shown in FIG. 2, spatial and quality reference layers having the same viewpoint as the current decoding target A reference hierarchical list can be constructed.

ㆍ예를들어, [도3]과 같이 시그널링 되는 nuh_layer_id의 값을 가지는 계층의 참조계층들 가운데, 현재 복호화 대상과 동일시점을 가지는 공간 (spatial) 및 화질(quality) 참조 계층들로 참조계층 리스트를 구성할 수 있다. For example, among the reference layers of the layer having the value of nuh_layer_id signaled as in [FIG. 3], the reference layer list is referred to as spatial and quality reference layers having the same viewpoint as the current decoding target Can be configured.

ㆍ공간화질 참조계층 리스트를 구성함에 있어서 계층들의 순서는 다음 중에 한가지 일 수 있다. In order to construct the spatial image quality reference list, the order of the layers may be one of the following.

≫현재 복호화 대상과 동일시점을 가지는 공간 (spatial) 및 화질(quality) 참조 계층들 가운데 layer_id값이 복호화 대상 계층의 layer_id 값과 차이가 작은 계층 (즉, 가까운 계층) 부터 큰 계층 순서로 구성할 수 있다. The spatial_id and the quality_receive_id values having the same viewpoint as the current decoding target can be configured in a hierarchical order from a layer having a small difference from the layer_id value of the decoding target layer (that is, a near layer) have.

≫현재 복호화 대상과 동일시점을 가지는 공간 (spatial) 및 화질(quality) 참조 계층들 가운데 priority가 높은 계층부터 낮은 계층의 순서로 구성할 수 있다. The spatial and quality reference layers having the same viewpoint as the current decoding target can be configured in order of priority from the highest to the lowest layer.

·Priority 관련 정보는 NALU header 혹은 video parameter set 등에서 시그널링할 수 있다. · Priority related information can be signaled in NALU header or video parameter set.

≫현재 복호화 대상과 동일시점을 가지는 공간 (spatial) 및 화질(quality) 참조 계층들 가운데 현재 복호화 대상 계층과 공간해상도 차이가 작은 계층부터 큰 계층 순으로, 동일한 공간해상도에서의 화질 참조계층 순서는 현재 복호화 대상 계층의 layer_id값과 차이가 작은 계층(즉, 가까운 계층)부터 큰 계층 순서로 구성할 수 있다. The order of the picture quality reference hierarchy in the same spatial resolution from the lowest spatial resolution difference to the current decoding target hierarchy in the spatial and picture quality reference layers having the same point in time as the current decoding target, The layer_id value of the to-be-decoded layer can be configured in order from a layer having a small difference (i.e., a near layer) to a layer having a large difference from the layer_id value of the layer to be decoded.

·예를들어, [도1]과 같은 비트스트림 구조에서 layer_id = n의 참조계층 리스트는 (n-1, n-2, n-3)의 순서로 구성할 수 있다. For example, the reference hierarchical list of layer_id = n in the bitstream structure shown in FIG. 1 can be configured in the order of (n-1, n-2, n-3).

≫현재 복호화 대상과 동일시점을 가지는 공간 (spatial) 및 화질(quality) 참조 계층들 가운데 현재 복호화 대상 계층과 공간해상도 차이가 작은 계층부터 큰 계층 순으로, 동일한 공간해상도에서의 화질 참조계층 순서는 QP값이 낮은 값에서 높은 값의 순서로(즉, 복호시 화질이 좋은 계층부터 낮은 계층순서) 부터 큰 계층 순서로 구성할 수 있다. The order of the picture quality reference hierarchy in the same spatial resolution from the lowest spatial resolution difference to the current decoding target hierarchy in the spatial and picture quality reference layers having the same point in time as the current decoding target is QP Values can be arranged in order from a low value to a high value (that is, from a layer having a good image quality to a layer having a low image quality upon decoding) to a layer having a large layer.

-현재 복호화 대상과 동일 공간과 동일 화질 계층들로 이루어진 시점 참조계층 리스트를 다음과 같이 구성할 수 있다.- A viewpoint reference hierarchical list consisting of the same space and the same picture quality layer as the current decoding target can be constructed as follows.

ㆍ예를 들어, [도2]와 같이 시그널링되는 nuh_layer_id[i]의 값을 가지는 계층의 참조계층들 (ref_layer_id) 가운데 현재 복호화 대상과 동일한 공간 (spatial)과 동일한 화질(quality) 을 가지는 계층들 가운데 현재 부호화 대상 계층의 시점이 다른 계층들로 구성할 수 있다. For example, among the reference layers (ref_layer_id) of a layer having a value of nuh_layer_id [i] signaled as shown in FIG. 2, among layers having the same picture quality as the same spatial space as the current decoding target The current encoding target layer may be composed of different layers.

ㆍ예를들어, [도3]과 같이 시그널링 되는 nuh_layer_id의 값을 가지는 계층의 참조계층들 가운데, 현재 복호화 대상과 동일한 공간 (spatial)과 동일한 화질(quality) 을 가지는 계층들 가운데 현재 부호화 대상 계층의 시점이 다른 계층들로 구성할 수 있다. For example, among the reference layers of the layer having the value of nuh_layer_id signaled as in [FIG. 3], among the layers having the same picture quality as the spatial of the current decoding target, The viewpoint can be composed of different layers.

ㆍ시점 참조계층 리스트를 구성함에 있어서 계층들의 순서는 다음 중에 한가지 일수 있다. In the point-of-view hierarchy list, the order of the hierarchies can be one of the following:

≫현재 복호화 대상 시점과 가까운 시점부터 먼 시점순으로 구성할 수 있다. It can be configured in order from the nearest to the nearest to the current decoding target.

≫시그널링 되는 순서로 구성할 수 있다. »Can be configured in order of signaling.

[D1-2] 현재 복호화 대상 계층이 참조하는 공간화질 참조계층 리스트 및 시점 참조계층 리스트를 구성하는 단계[D1-2] A step of constructing a spatial reference reference hierarchical list and a view reference hierarchical list referred to by a current decoding target hierarchy

-구성된 참조계층 리스트들은 현재 복호화 대상 영상을 복호화하기 위해 사용될 수 있다.The constructed reference hierarchy lists may be used to decode the current decoding target image.

-현재 복호화 대상 계층의 slice header에서 시그널링되는 참조계층 정보를 이용하여 공간화질 참조계층 리스트 및 시점 참조계층 리스트를 구성할 수 있다.- A spatial image quality reference hierarchy list and a viewpoint reference hierarchy list can be constructed using the reference layer information signaled in the slice header of the current layer to be decoded.

-현재 복호화대상 영상이 한 개 이상의 슬라이스로 나누어져 있는 경우에도 slice header에서 시그널링되는 참조계층 정보는 동일할 수 있다.- The reference layer information signaled in the slice header may be the same even if the current image to be decoded is divided into one or more slices.

ㆍ예를 들어, [도4]에서 [도14]까지의 방식 가운데 하나를 사용해서, slice header에 시그널링 되는 참조계층들 가운데 현재 복호화 대상과 동일시점을 가지는 공간 (spatial) 및 화질(quality) 참조 계층들로 참조계층 리스트를 구성할 수 있다. For example, by using one of the schemes from [FIG. 4] to [FIG. 14], among the reference layers signaled in the slice header, a spatial reference having the same point in time as the current decoding target, You can construct a reference hierarchy list with hierarchies.

ㆍ이때, slice header에 시그널링되는 참조계층들은 전체 비트스트림에서 현재 복호화 대상 계층과 동일한 계층들이 참조할 수 있는 참조계층들의 sub-set일 수 있다. At this time, the reference layers signaled to the slice header may be a subset of reference layers that can be referenced by the same layers as the current decoding layer in the entire bitstream.

ㆍ예를들어, slice header에 시그널링 되는 참조계층들은 video parameter set에서 시그널링되는 현재 복호화 대상 계층과 동일한 계층들이 참조할 수 있는 참조계층 리스트의 sub-set일 수 있다. For example, the reference layers signaled to the slice header may be a subset of the reference layer list that can be referenced by the same layers as the current decoding layer signaled in the video parameter set.

-현재 복호화 대상과 동일 공간 및 화질 계층들로 이루어진 시점 참조계층 리스트를 다음과 같이 구성할 수 있다.- The point-of-view hierarchical list consisting of the same spatial and image quality layers as the current decoding target can be constructed as follows.

ㆍ예를 들어, [도4]에서 [도14]까지의 방식 가운데 하나를 사용해서, slice header에 시그널링 되는 참조계층들 가운데 현재 복호화 대상과 동일한 공간 (spatial)과 동일한 화질(quality) 을 가지는 계층들 가운데 현재 부호화 대상 계층의 시점이 다른 계층들로 구성할 수 있다. For example, by using one of the schemes from [FIG. 4] to [FIG. 14], among the reference layers signaled to the slice header, a layer having the same picture quality as the current spatial to be decoded, The time point of the current coding target layer may be composed of different layers.

최대한 참조할 수 있는 계층의 수는 비트스트림 전체에 대해 제한할 수 있으며, 이를 video parameter set, sequence parameter set 혹은 slice header 등에서 시그널링 할 수도 있고, 프로파일 및 레벨에 따라 제약을 할 수 도 있다.The maximum number of layers that can be referred to can be limited for the entire bitstream, and signaled by a video parameter set, a sequence parameter set, a slice header, or the like, or may be restricted depending on the profile and the level.

구성된 참조계층 리스트는 추가 시그널링(예를 들어, slice header 와 같은 상위레벨의 시그널링) 이 있을 경우 시그널링에서 표현하는 내용에 따라 리스트내에서의 순서를 변경할 수 있다.
The constructed reference hierarchy list can change the order in the list according to what it represents in signaling when there is additional signaling (eg, high level signaling such as a slice header).

[[ D2D2 ] 시점참조계층의 복호화 영상을 포함하여 현재 복호화 대상 영상의 화면 간 ] Between the pictures of the current picture to be decoded including the decoded picture of the viewpoint reference layer 예측 을Predictions 위한 for 참조픽처Reference picture 리스트를 생성하는 단계 Steps to create list

시점 참조계층의 복호화 영상을 포함하여 현재 복호화 대상 영상의 화면간 예측을 위한 참조픽처 집합(reference picture set) 구성 및 참조픽처 형태표시(reference picture marking)를 수행할 수 있다.A reference picture set for inter-picture prediction of a current picture to be decoded including a decoded picture of a viewpoint reference layer and a reference picture marking can be performed.

-시점 참조계층 리스트에 포함된 영상들로 구성된 참조픽처 집합(1)은 “used for long term reference"로 표시하여 현재 복호화 대상 영상의 화면간 예측시 long-term reference picture로 취급할 수 있다.- The reference picture set (1) composed of the images included in the viewpoint reference hierarchical list can be treated as a long-term reference picture in inter-picture prediction of the current picture to be decoded by using "used for long term reference".

-시점 참조계층 리스트에 포함된 영상들로 구성된 참조픽처 집합 이외에 현재 복호화 대상 계층과 동일한 계층의 영상으로 이루어진 화면간 예측을 위한 다음과 같은 참조픽처 집합들이 존재할 수 있다.There may exist the following reference picture sets for inter-picture prediction made up of images in the same layer as the current decoding target layer, in addition to the reference picture set made up of the images included in the temporal reference layer list.

ㆍ(2)현재 복호화 대상 영상의 화면간 예측에 사용되며, 디스플레이 순서상 현재 복호화 대상 영상을 기준으로 이전인 short-term reference picture (2) a short-term reference picture which is used for inter-picture prediction of a current picture to be decoded and which is based on a current picture to be decoded in display order

ㆍ(3)현재 복호화 대상 영상의 화면간 예측에 사용되며, 디스플레이 순서상 현재 복호화 대상 영상을 기준으로 이후인 short-term reference picture (3) a short-term reference picture (hereinafter referred to as " short-term reference picture ") which is used for inter-

ㆍ(4)현재 복호화 대상 영상의 화면간 예측을 위한 long-term reference picture (4) A long-term reference picture for inter-picture prediction of the current picture to be decoded

ㆍ(5)현재 복호화 대상 영상 이후에 복호화할 수 있는 영상을 위한 short-term reference picture (5) A short-term reference picture for a picture that can be decoded after the current decoding target picture

ㆍ(6)현재 복호화 대상 영상 이후에 복호화할 수 있는 영상을 위한 long-term reference picture
(6) A long-term reference picture for a picture that can be decoded after the current decoding target picture

참조픽처 집합과 참조픽처 형태에 따라 참조픽처 리스트를 생성할 수 있다. The reference picture list can be generated according to the reference picture set and the reference picture type.

-현재 복호화 대상 영상의 참조픽처 리스트를 생성함에 있어서, 현재 복호화 대상 영상과 동일한 계층의 영상들로 이루어진 참조픽처 집합들로 구성된 화면간 참조영상 리스트 L0 및 L1에 (1)에 생성한 시점 참조계층 리스트로 구성된 참조픽처 집합을 다음과 같이 추가하여 최종 참조픽처 리스트를 생성할 수 있다.In the inter-view reference picture lists L0 and L1 constituted by the reference picture sets composed of the pictures of the same hierarchical level as the current picture to be decoded, A final reference picture list can be generated by adding a reference picture set composed of a list as follows.

ㆍL0 list의 경우 (1)의 시점참조계층 리스트에 포함된 각각의 픽처들을 임의의 서로 다른 위치에 추가할 수 있다. (추가된 영상들의 해당위치 및 이후에 있던 영상들의 리스트에서의 인덱스를 추가한 참조계층 수(시점참조계층 리스트로 구성된 참조픽처 집합의 수) 만큼씩 증가시킬 수 있다.) In the case of the L0 list, each picture included in the point-of-view hierarchical list of (1) can be added to any other position. (It is possible to increase the number of reference layers (the number of reference picture sets composed of the view reference hierarchy list) by adding the indexes of the positions of the added images and the images in the subsequent images.

ㆍL1 list의 경우 (1)로 첫 번째 (ref_idx=0) 혹은 두 번째 (ref_idx=1) 위치에서부터 시점참조계층 리스트로 구성된 참조픽처 집합의 수 만큼의 참조영상들을 대체할 수 있다. In the case of the L1 list, it is possible to replace the reference pictures as many as the reference picture set consisting of the first reference point (ref_idx = 0) or the second reference point (ref_idx = 1)

[[ D3D3 ] 현재계층의 영상을 블록단위로 복호화하는 단계] Step of decoding the image of the current layer by block unit

현재 계층의 현재 복호화 대상 블록이 공간화질 참조계층을 참조하는 경우 다음과 같이 복호화 할 수 있다 If the current block to be decoded in the current layer refers to the spatial image quality reference layer, it can be decoded as follows

-[D3-1-1] 현재 복호화 대상 영상에서 사용되는 공간화질 참조계층 리스트에서 현재 복호화 대상 블록이 복호화시 사용하는 참조계층을 결정하고 해당 참조계층의 참조 블록을 결정하는 단계 - [D3-1-1] Determining a reference layer to be used in decoding by the current block to be decoded in the spatial image quality reference layer list used in the current image to be decoded and determining a reference block of the reference layer

ㆍ복호화 대상 블록단위로 시그널링되는 공간화질 참조계층을 나타내는 인덱스에 따라 공간화질 참조계층을 결정할 수 있다. The spatial image quality reference layer can be determined according to the index indicating the spatial image quality reference layer signaled in units of blocks to be decoded.

ㆍ이때 사용되는 공간화질 참조계층 리스트는 slice header에서 시그널링되는 현재 복호화 대상 계층이 참조하는 참조계층 리스트로 부터 구성될 수 있다. 만약에 slice header에서 참조계층 리스트를 시그널링하지 않는다면, vps에서 시그널링되는 전체 비트스트림에서 현재 복호화 대상계층과 동일한 계층들이 참조할 수 있는 참조계층들로 부터 구성될 수 있다. The spatial image quality reference hierarchy list used at this time may be composed of a reference hierarchy list referenced by the current decoding target layer signaled in the slice header. If the slice header does not signal the reference layer list, it can be constructed from reference layers that can be referenced by the same layers as the current layer to be decoded in the entire bitstream signaled in vps.

ㆍ결정된 참조계층에서 현재 복호화 대상 블록에 대응되는 참조블록을 결정할 수 있다. A reference block corresponding to the current block to be decoded can be determined in the determined reference layer.

≫참조계층의 참조블록은 현재 계층의 현재 복호화 대상 블록에 대응되는 참조계층의 블록으로 예를 들어, 현재 복호화 대상 블록과 동일 위치의 블록을 의미할 수 있음 The reference block in the reference layer may be a reference layer block corresponding to the current block to be decoded in the current layer, for example, a block in the same position as the current block to be decoded

ㆍ예를 들어, [도1]에서 layer_id =n 인 계층의 복호화 대상 블록에 대응되는 공간화질 참조계층을 결정함에 있어서, 구성된 view 1의 layer_id =n 의 공간화질 참조계층 리스트가 (layer_id = (n-1), layer_id=(n-2))이고, 현재 복호화 대상 블록의 공간화질 참조계층 인덱스가 “1"인 경우 현재 복호화 대상 블록은 layer_id = (n-2)인 계층을 공간화질 참조계층으로 하고, 공간화질 참조계층에서 현재 복호화 대상 블록에 대응되는 참조블록을 결정할 수 있다. For example, in determining a spatial image quality reference layer corresponding to a block to be decoded of a layer having a layer_id = n in FIG. 1, the spatial image quality reference hierarchical list of layer_id = n of the configured view 1 is (layer_id = (n -1) and layer_id = (n-2)), and the current spatial index reference layer index of the current block to be decoded is "1", the current block to be decoded is a layer_id = (n-2) And the reference block corresponding to the current block to be decoded can be determined in the spatial quality reference layer.

-[D3-1-2] 상기 선택된 공간화질 참조계층의 참조블록의 정보들 중 적어도 아래의 정보 가운데 하나를 이용하여 복호화를 수행할 수 있다.- [D3-1-2] It is possible to perform decoding using at least one of the information of the reference block of the selected spatial image quality reference layer.

ㆍ[D3-1-2-1] 참조블록의 복원샘플 [D3-1-2-1] Restoration sample of reference block

ㆍ[D3-1-2-2] 참조블록의 레지듀얼 [D3-1-2-2] Residual of reference block

ㆍ[D3-1-2-3] 참조블록의 부호화 파라미터(예를 들어, reference frame, motion vector, prediction mode, block partitioning information) [D3-1-2-3] Encoding parameters of a reference block (e.g., reference frame, motion vector, prediction mode, and block partitioning information)

현재 계층의 현재 복호화 대상 블록이 화면간 예측을 하는 경우 다음과 같이 복호화 할 수 있다.If the current block to be decoded in the current layer performs inter-picture prediction, it can be decoded as follows.

-[D3-2] 현재계층의 현재 복호화 대상 블록이 화면간 예측을 하는 경우, 참조픽처 리스트내의 참조픽처를 이용해서 현재 복호화 대상 블록에 대한 움직임 예측 및 움직임 보상을 수행하는 단계- [D3-2] Performing motion prediction and motion compensation on the current block to be decoded using the reference picture in the reference picture list, when the current block to be decoded in the current layer performs inter-picture prediction

ㆍ[D2]에서 생성된 시점참조계층의 복호화 영상을 포함한 참조픽처 리스트내의 참조픽처를 이용하여 통상적인 화면간 예측방법으로 현재 복호화 대상 영상에 대한 움직임 예측 및 움직임 보상을 수행할 수 있다.
The motion estimation and motion compensation for the current decoding target image can be performed using the conventional intra prediction method using the reference pictures in the reference picture list including the decoded image of the viewpoint reference layer generated in [D2].

Claims

A method of inter - layer image coding and decoding using multiple reference layers in hierarchical video coding.