WO2014104725A1 - 영상의 부호화/복호화 방법 및 이를 이용하는 장치 - Google Patents

영상의 부호화/복호화 방법 및 이를 이용하는 장치 Download PDF

Info

Publication number
WO2014104725A1
WO2014104725A1 PCT/KR2013/012135 KR2013012135W WO2014104725A1 WO 2014104725 A1 WO2014104725 A1 WO 2014104725A1 KR 2013012135 W KR2013012135 W KR 2013012135W WO 2014104725 A1 WO2014104725 A1 WO 2014104725A1
Authority
WO
WIPO (PCT)
Prior art keywords
layer
layers
information
picture
current
Prior art date
Application number
PCT/KR2013/012135
Other languages
English (en)
French (fr)
Inventor
강정원
이하현
이진호
최진수
김진웅
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to CN201810447112.XA priority Critical patent/CN108540806B/zh
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to CN201810447030.5A priority patent/CN108540803B/zh
Priority to CN201810447059.3A priority patent/CN108540804B/zh
Priority to EP17165779.4A priority patent/EP3223522B1/en
Priority to CN201380071449.0A priority patent/CN104969553B/zh
Priority to EP13867028.6A priority patent/EP2941002B1/en
Priority to JP2015550312A priority patent/JP6517152B2/ja
Priority to US14/650,184 priority patent/US10154278B2/en
Priority to CN201810447025.4A priority patent/CN108650513B/zh
Priority to CN201810447075.2A priority patent/CN108540805B/zh
Publication of WO2014104725A1 publication Critical patent/WO2014104725A1/ko
Priority to US16/174,036 priority patent/US10531115B2/en
Priority to US16/693,118 priority patent/US11245917B2/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/187—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scalable video layer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/31—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the temporal domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/33—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the spatial domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/34—Scalability techniques involving progressive bit-plane based encoding of the enhancement layer, e.g. fine granular scalability [FGS]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/36—Scalability techniques involving formatting the layers as a function of picture distortion after decoding, e.g. signal-to-noise [SNR] scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Definitions

  • the present invention relates to encoding and decoding processing of an image, and more particularly, to an inter-layer video encoding / decoding method and apparatus for applying multiple reference layers in hierarchical video encoding.
  • an inter prediction technique for predicting pixel values included in a current picture from a previous and / or subsequent picture in time, and predicting pixel values included in a current picture using pixel information in the current picture.
  • An intra prediction technique an entropy encoding technique of allocating a short code to a symbol with a high frequency of appearance and a long code to a symbol with a low frequency of appearance may be used.
  • Video compression technology is a technology that provides a constant network bandwidth under a limited operating environment of hardware without considering a fluid network environment.
  • a new compression technique is required to compress image data applied to a network environment in which bandwidth changes frequently, and a scalable video encoding / decoding method may be used for this purpose.
  • the present invention provides a method for encoding / decoding an image and an apparatus using the same that can efficiently generate and manage a reference picture list including one or more reference layers to improve encoding / decoding efficiency.
  • an image encoding / decoding method capable of adjusting the position of decoded images of reference layers and an order between reference layer decoded images in a reference picture list when generating a reference picture list including a decoded image of a reference layer
  • an apparatus using the same capable of adjusting the position of decoded images of reference layers and an order between reference layer decoded images in a reference picture list when generating a reference picture list including a decoded image of a reference layer
  • a method of decoding an image supporting a plurality of layers may include receiving and parsing layer dependency information on a reference layer that a current layer may refer to in the entire bitstream; When interlayer prediction is used to decode a current picture in the current layer, receiving and parsing layer information of a reference layer referenced by the current picture among the reference layers; And decoding the current picture based on the hierarchical information.
  • the layer dependency information may be included in the video parameter set extension.
  • the layer information may be an ID of a layer of a reference picture which the current picture may refer to, and the layer information may be received by being included in a slice header.
  • the method may further include receiving and parsing flag information indicating whether inter-layer prediction is used to decode a current picture in the current layer.
  • the method may further include receiving and parsing hierarchical reference picture number information that can specify the number of pictures.
  • the layer information may be received when the number of the reference layers and the number of the layer reference pictures are not the same.
  • the number of the layer reference pictures may be specified by adding 1 to the layer reference picture number information.
  • An apparatus for decoding a video supporting a plurality of layers receives and parses layer dependency information on a reference layer that a current layer can refer to in the entire bitstream, and parses the current picture in the current layer.
  • an image encoding / decoding method and an apparatus using the same that can efficiently generate and manage a reference picture list including one or more reference layers to improve encoding / decoding efficiency.
  • an image encoding / decoding method capable of adjusting the position of decoded images of reference layers and an order between reference layer decoded images in a reference picture list when generating a reference picture list including a decoded image of a reference layer
  • an apparatus using the same capable of adjusting the position of decoded images of reference layers and an order between reference layer decoded images in a reference picture list when generating a reference picture list including a decoded image of a reference layer
  • FIG. 1 is a block diagram illustrating a configuration of an image encoding apparatus according to an embodiment.
  • FIG. 2 is a block diagram illustrating a configuration of an image decoding apparatus according to an embodiment.
  • FIG. 3 is a conceptual diagram schematically illustrating an embodiment of a scalable video coding structure using multiple layers to which the present invention can be applied.
  • FIG. 4 is a conceptual diagram schematically illustrating a spatial quality layer and a view layer according to an embodiment of the present invention.
  • FIG. 5 is a control flowchart for explaining a method of encoding a higher layer in an encoding apparatus according to an embodiment of the present invention.
  • FIG. 6 is a control flowchart illustrating a method of decoding a higher layer in a decoding apparatus according to an embodiment of the present invention.
  • FIG. 7 is a control block diagram of an image decoding apparatus according to an embodiment of the present invention.
  • FIG. 8 is a control flowchart illustrating a decoding method of an image decoding apparatus according to an embodiment of the present invention.
  • first and second may be used to describe various components, but the components should not be limited by the terms. The terms are used only for the purpose of distinguishing one component from another.
  • the first component may be referred to as the second component, and similarly, the second component may also be referred to as the first component.
  • each component shown in the embodiments of the present invention are shown independently to represent different characteristic functions, and do not mean that each component is made of separate hardware or one software component unit.
  • each component is included in each component for convenience of description, and at least two of the components may be combined into one component, or one component may be divided into a plurality of components to perform a function.
  • Integrated and separate embodiments of the components are also included within the scope of the present invention without departing from the spirit of the invention.
  • the components may not be essential components for performing essential functions in the present invention, but may be optional components for improving performance.
  • the present invention can be implemented including only the components essential for implementing the essentials of the present invention except for the components used for improving performance, and the structure including only the essential components except for the optional components used for improving performance. Also included in the scope of the present invention.
  • FIG. 1 is a block diagram illustrating a configuration of an image encoding apparatus according to an embodiment.
  • a scalable video encoding / decoding method or apparatus may be implemented by an extension of a general video encoding / decoding method or apparatus that does not provide scalability, and the block diagram of FIG. 1 is scalable.
  • An embodiment of an image encoding apparatus that may be the basis of a video encoding apparatus is illustrated.
  • the image encoding apparatus 100 may include a motion predictor 111, a motion compensator 112, an intra predictor 120, a switch 115, a subtractor 125, and a converter 130. And a quantization unit 140, an entropy encoding unit 150, an inverse quantization unit 160, an inverse transform unit 170, an adder 175, a filter unit 180, and a reference image buffer 190.
  • the image encoding apparatus 100 may perform encoding in an intra mode or an inter mode on an input image and output a bit stream.
  • Intra prediction means intra prediction and inter prediction means inter prediction.
  • the switch 115 is switched to intra, and in the inter mode, the switch 115 is switched to inter.
  • the image encoding apparatus 100 may generate a prediction block for an input block of an input image and then encode a difference between the input block and the prediction block.
  • the intra predictor 120 may generate a prediction block by performing spatial prediction using pixel values of blocks that are already encoded around the current block.
  • the motion predictor 111 may obtain a motion vector by searching for a region that best matches an input block in the reference image stored in the reference image buffer 190 during the motion prediction process.
  • the motion compensator 112 may generate a prediction block by performing motion compensation using the motion vector and the reference image stored in the reference image buffer 190.
  • the subtractor 125 may generate a residual block by the difference between the input block and the generated prediction block.
  • the transform unit 130 may output a transform coefficient by performing transform on the residual block.
  • the quantization unit 140 may output the quantized coefficient by quantizing the input transform coefficient according to the quantization parameter.
  • the entropy encoding unit 150 entropy encodes a symbol according to a probability distribution based on values calculated by the quantization unit 140 or encoding parameter values calculated in the encoding process, thereby generating a bit stream. You can print
  • the entropy encoding method is a method of receiving a symbol having various values and expressing it in a decodable column while removing statistical redundancy.
  • the symbol means a syntax element, a coding parameter, a residual signal value, or the like that is to be encoded / decoded.
  • the encoding parameter is a parameter required for encoding and decoding, and may include information that may be inferred in the encoding or decoding process as well as information encoded by the encoding apparatus and transmitted to the decoding apparatus, such as a syntax element, and may encode or decode an image. It means the information you need when you do. Coding parameters may be, for example, intra / inter prediction modes, moving / motion vectors, reference picture indexes, coding block patterns, presence or absence of residual signals, transform coefficients, quantized transform coefficients, quantization parameters, block sizes, block partitioning information, or the like. May include statistics.
  • the residual signal may mean a difference between the original signal and the prediction signal, and a signal in which the difference between the original signal and the prediction signal is transformed or a signal in which the difference between the original signal and the prediction signal is converted and quantized It may mean.
  • the residual signal may be referred to as a residual block in block units.
  • the entropy encoder 150 may store a table for performing entropy encoding, such as a variable length coding (VLC) table, and the entropy encoder 150 may store the stored variable length encoding. Entropy encoding may be performed using the (VLC) table. In addition, the entropy encoder 150 derives a binarization method of a target symbol and a probability model of a target symbol / bin, and then performs entropy encoding using the derived binarization method or a probability model. You may.
  • VLC variable length coding
  • CABAC context-adaptive binary arithmetic coding
  • the quantized coefficients may be inversely quantized by the inverse quantizer 160 and inversely transformed by the inverse transformer 170.
  • the inverse quantized and inverse transformed coefficients are added to the prediction block through the adder 175 and a reconstruction block can be generated.
  • the reconstruction block passes through the filter unit 180, and the filter unit 180 applies at least one or more of a deblocking filter, a sample adaptive offset (SAO), and an adaptive loop filter (ALF) to the reconstruction block or the reconstruction picture. can do.
  • the reconstructed block that has passed through the filter unit 180 may be stored in the reference image buffer 190.
  • FIG. 2 is a block diagram illustrating a configuration of an image decoding apparatus according to an embodiment.
  • a scalable video encoding / decoding method or apparatus may be implemented by extension of a general video encoding / decoding method or apparatus that does not provide scalability
  • the block diagram of FIG. 2 is scalable video decoding.
  • An embodiment of an image decoding apparatus that may be the basis of an apparatus is shown.
  • the image decoding apparatus 200 may include an entropy decoder 210, an inverse quantizer 220, an inverse transformer 230, an intra predictor 240, a motion compensator 250, and a filter. 260 and a reference picture buffer 270.
  • the image decoding apparatus 200 may receive a bitstream output from the encoding apparatus, perform decoding in an intra mode or an inter mode, and output a reconstructed image, that is, a reconstructed image.
  • the switch In the intra mode, the switch may be switched to intra, and in the inter mode, the switch may be switched to inter.
  • the image decoding apparatus 200 may generate a reconstructed block, that is, a reconstructed block by obtaining a residual block reconstructed from the received bitstream, generating a prediction block, and adding the reconstructed residual block and the prediction block.
  • the entropy decoder 210 may entropy decode the input bitstream according to a probability distribution to generate symbols including symbols in the form of quantized coefficients.
  • the entropy decoding method is a method of generating each symbol by receiving a binary string.
  • the entropy decoding method is similar to the entropy coding method described above.
  • the quantized coefficients are inversely quantized by the inverse quantizer 220 and inversely transformed by the inverse transformer 230, and as a result of the inverse quantization / inverse transformation of the quantized coefficients, a reconstructed residual block may be generated.
  • the intra predictor 240 may generate a predictive block by performing spatial prediction using pixel values of an already encoded block around the current block.
  • the motion compensator 250 may generate a prediction block by performing motion compensation using the motion vector and the reference image stored in the reference image buffer 270.
  • the reconstructed residual block and the prediction block are added through the adder 255, and the added block passes through the filter unit 260.
  • the filter unit 260 may apply at least one or more of the deblocking filter, SAO, and ALF to the reconstructed block or the reconstructed picture.
  • the filter unit 260 outputs a reconstructed image, that is, a reconstructed image.
  • the reconstructed picture may be stored in the reference picture buffer 270 to be used for inter prediction.
  • components directly related to the decoding of an image in the reference image buffer 270 for example, an entropy decoder 210, an inverse quantizer 220, an inverse transformer 230, an intra predictor 240, and motion compensation.
  • the unit 250, the filter unit 260, and the like may be distinguished from other components and expressed as a decoder or a decoder.
  • the image decoding apparatus 200 may further include a parsing unit (not shown) which parses information related to an encoded image included in a bitstream.
  • the parser may include the entropy decoder 210 or may be included in the entropy decoder 210. Such a parser may also be implemented as one component of the decoder.
  • FIG. 3 is a conceptual diagram schematically illustrating an embodiment of a scalable video coding structure using multiple layers to which the present invention can be applied.
  • a group of pictures represents a picture group, that is, a group of pictures.
  • a transmission medium In order to transmit image data, a transmission medium is required, and its performance varies depending on the transmission medium according to various network environments.
  • a scalable video coding method may be provided for application to such various transmission media or network environments.
  • the scalable video coding method is a coding method that improves encoding / decoding performance by removing inter-layer redundancy by using texture information, motion information, and residual signals between layers.
  • the scalable video coding method may provide various scalability in terms of spatial, temporal, and image quality according to ambient conditions such as a transmission bit rate, a transmission error rate, and a system resource.
  • Scalable video coding may be performed using multiple layers structure to provide a bitstream applicable to various network situations.
  • the scalable video coding structure may include a base layer that compresses and processes image data by using a general image encoding method, and compresses the image data by using the encoding information of the base layer and a general image encoding method together. May include an enhancement layer for processing.
  • a layer is an image and a bit divided based on spatial (eg, image size), temporal (eg, coding order, image output order, frame rate), image quality, complexity, and the like.
  • the base layer may mean a lower layer, a reference layer or a base layer
  • the enhancement layer may mean an upper layer and an enhancement layer.
  • the plurality of layers may have a dependency between each other.
  • the base layer may be defined as a standard definition (SD), a frame rate of 15 Hz, and a 1 Mbps bit rate
  • the first enhancement layer may be a high definition (HD), a frame rate of 30 Hz, and a 3.9 Mbps bit rate
  • the second enhancement layer may be defined as an ultra high definition (4K-UHE), a frame rate of 60 Hz, and a bit rate of 27.2 Mbps.
  • 4K-UHE ultra high definition
  • the format, frame rate, bit rate, etc. are exemplary and may be determined differently as necessary.
  • the number of hierarchies used is not limited to this embodiment and may be determined differently according to a situation.
  • the frame rate of the first enhancement layer HD may be reduced and transmitted at 15 Hz or less.
  • the scalable video coding method can provide temporal, spatial and image quality scalability by the method described above in the embodiment of FIG. 3.
  • encoding and decoding video supporting a plurality of layers in a bitstream that is, scalable coding
  • the prediction is performed by using the correlation.
  • Duplicate elements can be removed and the encoding performance of the image can be improved.
  • Performing prediction of the current layer to be predicted using information of another layer is referred to as inter-layer prediction in the following.
  • Scalable video coding has the same meaning as scalable video coding from a coding point of view and scalable video decoding from a decoding point of view.
  • At least one of a resolution, a frame rate, and a color format may be different from each other, and upsampling or downsampling of a layer may be performed to adjust resolution when inter-layer prediction is performed.
  • FIG. 4 is a conceptual diagram schematically illustrating a spatial quality layer and a view layer according to an embodiment of the present invention.
  • the bitstream may include a plurality of layers.
  • the bitstream may include a plurality of view hierarchies (view 1, view 2, and view 3) for different views but having the same spatial and quality.
  • bitstream may be composed of layers having the same viewpoint but different spatial and image quality.
  • the spatial quality layer may be classified into an SD class layer and an HD class layer, and the SD class layer and the HD class layer may be further composed of a base layer and an enhancement layer.
  • each layer may be distinguished from each other by an identifier layer_id.
  • Information on which layer (eg, view layer, spatial and image quality layer) each identifier is, a higher layer or a lower layer in the layer may include a video parameter set (VPS) or a sequence parameter set (SPS), a NAL unit header (nal). unit header) and the like may be signaled.
  • VPS video parameter set
  • SPS sequence parameter set
  • NAL unit header NAL unit header
  • unit header NAL unit header
  • the upper layer is predicted by referring to at least one lower layer.
  • a layer on which prediction is performed is called a target layer, and a layer used or referenced for prediction of the target layer is referred to as a reference layer.
  • the present invention is an invention for generating and managing an efficient reference layer list considering encoding efficiency of space, image quality, and view scalability when encoding blocks using one or more reference layers when encoding blocks in the same slide.
  • inter-screen prediction may use at least one of a previous picture or a subsequent picture of the current picture as a reference picture, and perform prediction on the current block based on the reference picture.
  • An image used for prediction of the current block is called a reference picture or a reference frame.
  • the region in the reference picture may be represented by using a reference picture index refIdx, a motion vector, etc. indicating the reference picture.
  • the inter prediction may select a reference picture corresponding to the current block in the reference picture and the reference picture, and generate a prediction block for the current block.
  • the encoding apparatus and the decoding apparatus may derive the motion information of the current block and then perform the inter prediction and / or motion compensation based on the derived motion information. In this case, the encoding apparatus and the decoding apparatus may move a coll block corresponding to the current block in a neighboring block and / or a collocated picture that has already been restored. By using the information, the encoding / decoding efficiency can be improved.
  • the reconstructed neighboring block is a block in the current picture that is already encoded and / or decoded and reconstructed, and may include a block adjacent to the current block and / or a block located at an outer corner of the current block.
  • the encoding apparatus and the decoding apparatus may determine a predetermined relative position based on a block existing at a position spatially corresponding to the current block in the call picture, and the predetermined relative position (spatially corresponding to the current block)
  • the call block may be derived based on the location of the inside and / or outside of the block existing at the location.
  • the call picture may correspond to one picture among the reference pictures included in the reference picture list.
  • a prediction block may be generated such that a residual signal with a current block is minimized and a motion vector size is also minimized.
  • the motion information derivation scheme may vary depending on the prediction mode of the current block.
  • Prediction modes applied for inter prediction may include Advanced Motion Vector Predictor (AMVP), merge, and the like.
  • AMVP Advanced Motion Vector Predictor
  • the encoding apparatus and the decoding apparatus may generate a predicted motion vector candidate list using the motion vector of the reconstructed neighboring block and / or the motion vector of the call block. . That is, the motion vector of the reconstructed neighboring block and / or the motion vector of the call block may be used as the prediction motion vector candidate.
  • the encoding apparatus may transmit a predicted motion vector index indicating the optimal predicted motion vector selected from the predicted motion vector candidates included in the list to the decoding apparatus.
  • the decoding apparatus may select the prediction motion vector of the current block from the prediction motion vector candidates included in the prediction motion vector candidate list by using the prediction motion vector index.
  • the encoding apparatus may obtain a motion vector difference (MVD) between the motion vector of the current block and the predictive motion vector, and may encode the same and transmit the encoded motion vector to the decoding apparatus.
  • the decoding apparatus may decode the received motion vector difference, and may derive the motion vector of the current block through the sum of the decoded motion vector difference and the predicted motion vector.
  • the encoding apparatus may also transmit a reference picture index or the like indicating the reference picture to the decoding apparatus.
  • the decoding apparatus may predict the motion vector of the current block using the motion information of the neighboring block, and may derive the motion vector for the current block using the residual received from the encoding apparatus.
  • the decoding apparatus may generate a prediction block for the current block based on the derived motion vector and the reference picture index information received from the encoding apparatus.
  • the encoding apparatus and the decoding apparatus may generate the merge candidate list using the motion information of the reconstructed neighboring block and / or the motion information of the call block. That is, when there is motion information of the reconstructed neighboring block and / or the call block, the encoding apparatus and the decoding apparatus may use this as a merge candidate for the current block.
  • the encoding apparatus may select a merge candidate capable of providing an optimal encoding efficiency among the merge candidates included in the merge candidate list as motion information for the current block.
  • a merge index indicating the selected merge candidate may be included in the bitstream and transmitted to the decoding apparatus.
  • the decoding apparatus may select one of the merge candidates included in the merge candidate list by using the transmitted merge index, and determine the selected merge candidate as motion information of the current block. Therefore, when the merge mode is applied, the motion information of the restored neighboring block and / or the call block may be used as the motion information of the current block.
  • the decoding apparatus may reconstruct the current block by adding the prediction block and the residual transmitted from the encoding apparatus.
  • the motion information of the reconstructed neighboring block and / or the motion information of the call block may be used to derive the motion information of the current block.
  • the encoding apparatus does not transmit syntax information such as residual to the decoding apparatus other than the information indicating which block motion information to use as the motion information of the current block.
  • the encoding apparatus and the decoding apparatus may generate a prediction block of the current block by performing motion compensation on the current block based on the derived motion information.
  • the prediction block may mean a motion compensated block generated as a result of performing motion compensation on the current block.
  • the plurality of motion compensated blocks may constitute one motion compensated image.
  • the decoding apparatus may check and derive motion information necessary for inter prediction of the current block, for example, a skip flag, a merge flag, and the like, received from the encoding apparatus, corresponding to the motion vector, the reference picture index, and the like.
  • the processing unit in which the prediction is performed and the processing unit in which the prediction method and the details are determined may be different.
  • a prediction mode may be determined in units of prediction blocks, and prediction may be performed in units of transform blocks, or a prediction mode may be determined in units of prediction blocks, and intra prediction may be performed in units of transform blocks.
  • FIG. 5 is a control flowchart for explaining a method of encoding a higher layer in an encoding apparatus according to an embodiment of the present invention.
  • a method of performing higher layer encoding in a video encoding method that uses at least one scalability (eg, spatial, image quality, view scalability) and uses a multi-layer structure will be described with reference to FIG. 5.
  • a method of constructing a reference layer list that can be referenced by the target image will be described.
  • the encoding apparatus constructs a list of layers that can be referenced by the current encoding target image (S510).
  • the encoding apparatus may construct a reference layer list including at least one layer among the lower layers of the current encoding target layer that the current encoding target layer may refer to at the same time in encoding.
  • the reference layer list may be constructed according to at least one of the methods described below.
  • the encoding apparatus may construct a reference layer list that can be referenced by the same layers as the current encoding target layer in the entire bitstream.
  • the encoding apparatus may generate a reference layer list by configuring reference layers that can be referenced by the same layers as the target layer in any order.
  • the layer_id value among the reference layers may be configured in the order of a layer having a large difference from a layer having a small difference from the layer_id value of the target layer (that is, a close layer).
  • the reference layer list of the current encoding target layer may be configured in the order of the layers having the highest priority among the reference layers.
  • the information related to the priority may be signaled by being included in a NAL unit header or a video parameter set.
  • the reference layer list may be configured for the layer having the same view as the current encoding target layer from the layer having the smallest difference in spatial resolution to the encoding layer.
  • the image quality reference layer order at the same spatial resolution may be a layer order from a layer (ie, a close layer) having a small difference from the layer_id value of the current encoding target layer.
  • the layers may be included in the reference layer list in the order of viewpoints close to the viewpoint of the current encoding target layer.
  • the order of including layers within the same view in the reference layer list may be the same as the layers having the same view as the current encoding target layer.
  • the reference layer list of the layer having layer_id of n has n_, n-2, n-3, n-4, n-5, n-6, n- of layer_id. 7, n-8, n-9, n-10, n-11 may be configured in the order of the hierarchy.
  • the reference layer list including the reference layer at the same time point as the current encoding target layer may be configured in the order of the layers having the smallest difference in spatial resolution from the current encoding target layer.
  • the image quality reference layer order at the same spatial resolution may be a sequence of low to high values of the quantization parameter to be encoded (that is, from the hierarchical layer to the lowest image quality when decoding).
  • the layers may be included in the reference layer list in the order of viewpoints close to the viewpoint of the current encoding target layer.
  • the order of including layers within the same view in the reference layer list may be the same as the layers having the same view as the current encoding target layer.
  • the reference layer referred to by the target layer may be described using layer_id signaled in the bitstream. Examples of video parameter sets describing the reference layer are shown in Tables 1 and 2.
  • num_direct_ref_layers [i] indicates the number of reference layers directly referenced by the i-th layer (that is, the layer having layer_id of nuh_layer_id [i]).
  • ref_layer_id [i] [j] represents the layer_id of the j-th reference layer referenced by the i-th layer. That is, ref_layer_id [i] [j] means that the layer whose layer_id is nuh_layer_id [i] refers to the layer whose layer_id is nuh_layer_id [j].
  • max_one_active_ref_layer_flag 1, it indicates that at most one picture is used for each picture, that is, inter-layer prediction of the i-th layer, in the entire bitstream. If max_one_active_ref_layer_flag is 0, this may indicate that more than one picture may be used for a specific picture in the bitstream, that is, inter-layer prediction of the i-th layer. Alternatively, when max_one_active_ref_layer_flag is 0, this may indicate that the i-th layer does not use inter-layer prediction.
  • max_one_active_ref_layer_flag may be signaled for each layer or may be signaled only once in the entire bitstream.
  • max_one_active_ref_layer_flag When max_one_active_ref_layer_flag is signaled once in the entire bitstream, the value of max_one_active_ref_layer_flag may be 1 when all layers refer to only one reference layer. Therefore, even if the max_one_active_ref_layer_flag value is 0, the slice_numdirect_ref_layers value indicating the number of reference layers of a specific layer may be '1'.
  • the encoding apparatus may construct a reference layer list to which a target image to be currently encoded can be referred.
  • the encoding apparatus may generate the reference layer list to which the current encoding target image may refer by configuring the reference layers in any order.
  • the encoding apparatus may generate the reference layer list by configuring the layer_id value among the reference layers from the layer (ie, the nearest layer) having a small difference from the layer_id value of the encoding target layer in the order of the larger layers.
  • the reference layer list may be configured in the order of the layers having the highest priority among the reference layers having the same view as the target layer.
  • the information related to the priority may be signaled by being included in a NAL unit header or a video parameter set.
  • the reference layer list which may be composed of layers of the same view as the current encoding target layer, may be configured in the order of the layers having the smallest difference in spatial resolution from the current encoding target layer.
  • the order of the reference layers having the same spatial resolution may be the order of layers from the layer (that is, the nearest layer) having a small difference from the layer_id value of the current encoding target layer.
  • the layers may be included in the reference layer list in the order of viewpoints close to the viewpoint of the current encoding target layer.
  • the order of including layers within the same view in the reference layer list may be the same as the layers having the same view as the current encoding target layer.
  • the reference layer list of the layer having layer_id of n has n_, n-2, n-3, n-4, n-5, n-6, n- of layer_id. 7, n-8, n-9, n-10, n-11 may be configured in the order of the hierarchy.
  • the reference layer list including layers having the same view as the current encoding target layer may be configured in the order of the layers having the smallest difference in spatial resolution from the current encoding target layer among the reference layers.
  • the image quality reference layer order at the same spatial resolution may be a sequence of low to high values of the quantization parameter to be encoded (that is, from the hierarchical layer to the lowest image quality when decoding).
  • the layers may be included in the reference layer list in the order of viewpoints close to the viewpoint of the current encoding target layer.
  • the order of including layers within the same view in the reference layer list may be the same as the layers having the same view as the current encoding target layer.
  • the reference layer that can be referred to by the corresponding slice of the current encoding target layer during encoding can be described through various methods. Hereinafter, referring to Tables 3 to 24 and describing and signaling reference layers in slice header0 will be described.
  • the slice header is the current among a subset of reference layers that can be referenced by the same layers as the current encoding target layer in the entire bitstream signaled in the video parameter set.
  • the slice to be encoded includes information of layers that can be referred to.
  • slice_num_direct_ref_layers indicates the number of reference layers directly referenced by the corresponding image.
  • the number of reference layers specified by slice_num_direct_ref_layers should be equal to or smaller than the number of reference layers (ie, NumDirectRefLayers [nuh_layer_id]) referenced by layers having the same layer_id (ie, nuh_layer_id) as the corresponding picture signaled in the video parameter set.
  • ref_layer_id [j] represents the layer_id of the j-th reference layer directly referenced by the corresponding picture.
  • slice_num_direct_ref_layers indicates the number of reference layers directly referenced by the corresponding image.
  • the number of reference layers specified by slice_num_direct_ref_layers should be equal to or smaller than the number of reference layers (ie, NumDirectRefLayers [nuh_layer_id]) referenced by layers having the same layer_id (ie, nuh_layer_id) as the corresponding picture signaled in the video parameter set.
  • ref_layer_id_delta [j] indicates the difference between the layer_id of the j th reference layer directly referenced by the corresponding picture and the layer_id of the j-1 th reference layer.
  • the difference between the layer ids is close to “0”, it means that the current picture refers to a reference layer having a layer_id close to the corresponding layer.
  • ref_layer_id_delta [0] indicates a difference between the layer_id of the 0 th reference layer and the layer_id of the layer to which the current video belongs.
  • slice_num_direct_ref_layers indicates the number of reference layers directly referenced by the corresponding image.
  • the number of reference layers specified by slice_num_direct_ref_layers should be equal to or smaller than the number of reference layers (ie, NumDirectRefLayers [nuh_layer_id]) referenced by layers having the same layer_id (ie, nuh_layer_id) as the corresponding picture signaled in the video parameter set.
  • ref_layer_idx_delta [j] The difference between the index of the jth reference layer (based on the index described in the video parameter set) and the index of the j-1th reference layer (based on the index described in the video parameter set) directly referenced by the image. Indicates. In this case, ref_layer_idx_delta [0] represents an index of the 0 th reference layer.
  • slice_num_direct_ref_layers indicates the number of reference layers directly referenced by the corresponding image.
  • the number of reference layers specified by slice_num_direct_ref_layers should be equal to or smaller than the number of reference layers (ie, NumDirectRefLayers [nuh_layer_id]) referenced by layers having the same layer_id (ie, nuh_layer_id) as the corresponding picture signaled in the video parameter set.
  • ref_layer_idx [j] indicates the index (index reference described in the video parameter set) of the j th reference layer directly referenced by the corresponding picture.
  • slice_num_direct_ref_layers indicates the number of reference layers directly referenced by the picture.
  • the number of reference layers specified by slice_num_direct_ref_layers should be equal to or smaller than the number of reference layers (ie, NumDirectRefLayers [nuh_layer_id]) referenced by layers having the same layer_id (ie, nuh_layer_id) as the corresponding picture signaled in the video parameter set.
  • slice_num_direct_ref_layers is “0”, it means that a reference layer corresponding to the same layer as the corresponding picture signaled in the video parameter set can be used as a reference layer of the current picture.
  • ref_layer_id [j] represents the layer_id of the j-th reference layer directly referenced by the corresponding picture.
  • slice_num_direct_ref_layers indicates the number of reference layers directly referenced by the corresponding image.
  • the number of reference layers specified by slice_num_direct_ref_layers should be equal to or smaller than the number of reference layers (ie, NumDirectRefLayers [nuh_layer_id]) referenced by layers having the same layer_id (ie, nuh_layer_id) as the corresponding picture signaled in the video parameter set.
  • slice_num_direct_ref_layers is “0”, it indicates that a reference layer corresponding to the same layer as the corresponding picture signaled in the video parameter set can be used as the reference layer of the current picture.
  • ref_layer_id_delta [j] indicates the difference between the layer_id of the j th reference layer directly referenced by the corresponding picture and the layer_id of the j-1 th reference layer. In this case, as the difference between the layer ids is close to “0”, it means that the current picture refers to a reference layer having a layer_id close to the corresponding layer.
  • ref_layer_id_delta [0] indicates a difference between layer_id of the 0 th reference layer and layer_id of the layer corresponding to the current picture.
  • slice_num_direct_ref_layers indicates the number of reference layers directly referenced by the corresponding image.
  • the number of reference layers specified by slice_num_direct_ref_layers should be equal to or smaller than the number of reference layers (ie, NumDirectRefLayers [nuh_layer_id]) referenced by layers having the same layer_id (ie, nuh_layer_id) as the corresponding picture signaled in the video parameter set.
  • slice_num_direct_ref_layers When slice_num_direct_ref_layers is “0”, it indicates that a reference layer corresponding to the same layer as the corresponding picture signaled in the video parameter set can be used as a reference layer of the current picture.
  • ref_layer_idx_delta [j] is the difference between the index of the jth reference layer (based on the index described in the video parameter set) and the index of the j-1th reference layer (based on the index described in the video parameter set) directly referenced by the corresponding image.
  • ref_layer_idx_delta [0] represents the index of the 0 th reference layer.
  • slice_num_direct_ref_layers indicates the number of reference layers directly referenced by the corresponding image.
  • the number of reference layers specified by slice_num_direct_ref_layers should be equal to or smaller than the number of reference layers (ie, NumDirectRefLayers [nuh_layer_id]) referenced by layers having the same layer_id (ie, nuh_layer_id) as the corresponding picture signaled in the video parameter set.
  • slice_num_direct_ref_layers When slice_num_direct_ref_layers is “0”, it means that a reference layer corresponding to the same layer as the corresponding picture signaled in the video parameter set can be used as a reference layer of the current picture.
  • ref_layer_idx [j] indicates the index (index reference described in the video parameter set) of the j th reference layer directly referenced by the corresponding picture.
  • a flag indicating whether reference layers that can be referenced by the same layers as the current encoding target layer signaled in the video parameter set are equally used in the slice to be currently encoded. For example, signal layer_dependency_vps_flag in the slice header.
  • the flag is "1"
  • the reference layer information signaled in the video parameter set is used, and if the flag is "0", the information of the reference layers described in the slice header may be used.
  • layer_dependency_vps_flag indicates whether reference layer information is signaled in a slice header or a slice segment header.
  • layer_dependency_vps_flag is “0”
  • the reference layer information is signaled in the slice segment header.
  • layer_dependency_vps_flag is “1”
  • the reference layer information signaled by the video parameter set extension (VPS extension) may be used as the reference layer information of the corresponding picture without signaling the reference layer information in the slice segment header.
  • slice_num_direct_ref_layers indicates the number of reference layers directly referenced by the corresponding image.
  • the number of reference layers specified by slice_num_direct_ref_layers should be equal to or smaller than the number of reference layers (ie, NumDirectRefLayers [nuh_layer_id]) referenced by layers having the same layer_id (ie, nuh_layer_id) as the corresponding picture signaled in the video parameter set.
  • ref_layer_id [j] represents the layer_id of the j-th reference layer directly referenced by the corresponding picture.
  • layer_dependency_vps_flag indicates whether reference layer information is signaled in a slice header or a slice segment header.
  • layer_dependency_vps_flag is “0”
  • the reference layer information is signaled in the slice segment header.
  • layer_dependency_vps_flag is “1”
  • the reference layer information signaled by the video parameter set extension may be used as the reference layer information of the corresponding picture without signaling the reference layer information in the slice segment header.
  • slice_num_direct_ref_layers indicates the number of reference layers directly referenced by the corresponding image.
  • the number of reference layers specified by slice_num_direct_ref_layers should be equal to or smaller than the number of reference layers (ie, NumDirectRefLayers [nuh_layer_id]) referenced by layers having the same layer_id (ie, nuh_layer_id) as the corresponding picture signaled in the video parameter set.
  • ref_layer_id_delta [j] indicates the difference between the layer_id of the j th reference layer directly referenced by the corresponding picture and the layer_id of the j-1 th reference layer.
  • ref_layer_id_delta [0] indicates a difference between ref_layer_id [0] and layer_id of the current video.
  • layer_dependency_vps_flag indicates whether reference layer information is signaled in a slice header or a slice segment header.
  • layer_dependency_vps_flag is “0”
  • the reference layer information is signaled in the slice segment header.
  • layer_dependency_vps_flag is “1”
  • the reference layer information signaled by the video parameter set extension (VPS extension) may be used as the reference layer information of the corresponding picture without signaling the reference layer information in the slice segment header.
  • slice_num_direct_ref_layers indicates the number of reference layers directly referenced by the corresponding image.
  • the number of reference layers specified by slice_num_direct_ref_layers should be equal to or smaller than the number of reference layers (ie, NumDirectRefLayers [nuh_layer_id]) referenced by layers having the same layer_id (ie, nuh_layer_id) as the corresponding picture signaled in the video parameter set.
  • ref_layer_idx_delta [j] is the difference between the index of the jth reference layer (based on the index described in the video parameter set) and the index of the j-1th reference layer (based on the index described in the video parameter set) directly referenced by the corresponding image.
  • ref_layer_idx_delta [0] represents the index of the 0 th reference layer.
  • layer_dependency_vps_flag indicates whether reference layer information is signaled in a slice header or a slice segment header.
  • layer_dependency_vps_flag is “0”
  • the reference layer information is signaled in the slice segment header.
  • layer_dependency_vps_flag is “1”
  • the reference layer information signaled by the video parameter set extension (VPS extension) may be used as the reference layer information of the corresponding picture without signaling the reference layer information in the slice segment header.
  • slice_num_direct_ref_layers indicates the number of reference layers directly referenced by the corresponding image.
  • the number of reference layers specified by slice_num_direct_ref_layers should be equal to or smaller than the number of reference layers (ie, NumDirectRefLayers [nuh_layer_id]) referenced by layers having the same layer_id (ie, nuh_layer_id) as the corresponding picture signaled in the video parameter set.
  • ref_layer_idx [j] indicates the index (index reference described in the video parameter set) of the j th reference layer directly referenced by the corresponding picture.
  • the number of reference layers of a corresponding slice to be currently encoded may be signaled (eg, slice_num_direct_ref_layers) in a slice header.
  • the reference layers are signaled only when the number of signaled reference layers is not equal to the number of reference layers (for example, NumDirectRefLayers [nuh_layer_id]) that can be referenced by the same layers as the current encoding target layer signaled in the video parameter set. .
  • slice_num_direct_ref_layers indicates the number of reference layers directly referenced by the corresponding image.
  • the number of reference layers specified by slice_num_direct_ref_layers should be equal to or smaller than the number of reference layers (ie, NumDirectRefLayers [nuh_layer_id]) referenced by layers having the same layer_id (ie, nuh_layer_id) as the corresponding picture signaled in the video parameter set.
  • the reference layer information signaled by the VPS extension is used as the reference layer information of the video. If the NumDirectRefLayers [nuh_layer_id] value and the slice_num_direc_ref_layers value are not the same, the slice segment header The signaled reference layer information is used as reference layer information of the corresponding picture.
  • ref_layer_id [j] represents the layer_id of the j-th reference layer directly referenced by the corresponding picture.
  • slice_num_direct_ref_layers indicates the number of reference layers directly referenced by the picture.
  • the number of reference layers specified by slice_num_direct_ref_layers should be equal to or smaller than the number of reference layers (ie, NumDirectRefLayers [nuh_layer_id]) referenced by layers having the same layer_id (ie, nuh_layer_id) as the corresponding picture signaled in the video parameter set.
  • the reference layer information signaled by the VPS extension is used as the reference layer information of the video. If the NumDirectRefLayers [nuh_layer_id] value and the slice_num_direc_ref_layers value are not the same, the slice segment header The signaled reference layer information is used as reference layer information of the corresponding picture.
  • ref_layer_id_delta [j] indicates the difference between the layer_id of the j th reference layer directly referenced by the corresponding picture and the layer_id of the j-1 th reference layer.
  • ref_layer_id_delta [0] indicates a difference between ref_layer_id [0] and layer_id of the current video.
  • slice_num_direct_ref_layers indicates the number of reference layers directly referenced by the corresponding image.
  • the number of reference layers specified by slice_num_direct_ref_layers should be equal to or smaller than the number of reference layers (ie, NumDirectRefLayers [nuh_layer_id]) referenced by layers having the same layer_id (ie, nuh_layer_id) as the corresponding picture signaled in the video parameter set.
  • the reference layer information signaled by the VPS extension is used as the reference layer information of the video. If the NumDirectRefLayers [nuh_layer_id] value and the slice_num_direc_ref_layers value are not the same, the slice segment header The signaled reference layer information is used as reference layer information of the corresponding picture.
  • ref_layer_idx_delta [j] is the difference between the index of the jth reference layer (based on the index described in the video parameter set) and the index of the j-1th reference layer (based on the index described in the video parameter set) directly referenced by the corresponding image.
  • ref_layer_idx_delta [0] represents the index of the 0 th reference layer.
  • slice_num_direct_ref_layers indicates the number of reference layers directly referenced by the picture.
  • the number of reference layers specified by slice_num_direct_ref_layers should be equal to or smaller than the number of reference layers (ie, NumDirectRefLayers [nuh_layer_id]) referenced by layers having the same layer_id (ie, nuh_layer_id) as the corresponding picture signaled in the video parameter set.
  • the reference layer information signaled by the VPS extension is used as the reference layer information of the video. If the NumDirectRefLayers [nuh_layer_id] value and the slice_num_direc_ref_layers value are not the same, the slice segment header The signaled reference layer information is used as reference layer information of the corresponding picture.
  • ref_layer_idx [j] indicates the index (index reference described in the video parameter set) of the j th reference layer directly referenced by the corresponding picture.
  • signals shown in Tables 19 to 24 may be signaled when the slice to be currently encoded is encoded using inter-layer prediction.
  • a flag for example, max_one_active_ref_layer_flag
  • max_one_active_ref_layer_flag indicating whether the maximum number of reference layers that can be referenced by the same layers as the current encoding target layer in the video parameter set is signaled, and the flag is set to "0.”
  • Table 19 through Table 24 may be applied when "”. That is, with reference to Tables 19 to 24, when the same layers as the current encoding target layer have two or more reference layers, an embodiment of signaling (eg, slice_num_direct_ref_layers) of the reference layer number of the corresponding slice to be currently encoded Is described.
  • Tables 19, 21, and 23 show a flag (eg, layer_dependency_vps_flag) indicating whether or not the reference layers signaled in the video parameter set are identically used in the slice is signaled in the slice header.
  • a flag eg, layer_dependency_vps_flag
  • Embodiments according to Tables 20, 22, and 24 may refer to layers that are the same as the current encoding target layer whose reference layer number (eg, slice_num_direct_ref_layers) of the corresponding slice to be currently encoded is signaled in the video parameter set. Reference layers are signaled only when they are not equal to the number of reference layers.
  • reference layer number eg, slice_num_direct_ref_layers
  • inter_layer_pred_enabled_flag when inter_layer_pred_enabled_flag is "1", it indicates that the corresponding picture uses interlayer prediction. When inter_layer_pred_enabled_flag is "0”, it indicates that interlayer prediction is not used.
  • layer_dependency_vps_flag indicates whether reference layer information is signaled in a slice header (slice segment header). When layer_dependency_vps_flag is “0”, it indicates that reference layer information is signaled in the slice header. When layer_dependency_vps_flag is “1”, it indicates that reference layer information signaled by the VPS extension is not signaled by the VPS extension without signaling the reference layer information in the slice segment header. Used as reference layer information.
  • slice_num_direct_ref_layers indicates the number of reference layers directly referenced by the corresponding image.
  • the number of reference layers specified by slice_num_direct_ref_layers should be equal to or smaller than the number of reference layers (ie, NumDirectRefLayers [nuh_layer_id]) referenced by layers having the same layer_id (ie, nuh_layer_id) as the corresponding picture signaled in the video parameter set.
  • ref_layer_idx [i] indicates the index (index reference described in the video parameter set) of the i th reference layer directly referenced by the corresponding picture.
  • inter_layer_pred_enabled_flag when inter_layer_pred_enabled_flag is "1", it indicates that the corresponding picture uses interlayer prediction. When inter_layer_pred_enabled_flag is "0", it indicates that interlayer prediction is not used.
  • slice_num_direct_ref_layers indicates the number of reference layers directly referenced by the corresponding image.
  • the number of reference layers specified by slice_num_direct_ref_layers should be equal to or smaller than the number of reference layers (ie, NumDirectRefLayers [nuh_layer_id]) referenced by layers having the same layer_id (ie, nuh_layer_id) as the corresponding picture signaled in the video parameter set.
  • the reference layer information signaled by the VPS extension is used as the reference layer information of the video. If the value of NumDirectRefLayers [nuh_layer_id] and slice_num_direc_ref_layers are not the same, the slice segment header is signaled. The reference layer information is used as the reference layer information of the corresponding image.
  • ref_layer_idx [i] indicates the index (index reference described in the video parameter set) of the i th reference layer directly referenced by the corresponding picture.
  • inter_layer_pred_enabled_flag is "1" this means that the picture uses inter-layer prediction. If inter_layer_pred_enabled_flag is "0", it indicates that inter-layer prediction is not used.
  • layer_dependency_vps_flag indicates whether reference layer information is signaled in a slice header (slice segment header). When layer_dependency_vps_flag is “0”, it indicates that reference layer information is signaled in the slice header. When layer_dependency_vps_flag is “1”, it indicates that reference layer information signaled by the VPS extension is not signaled by the VPS extension without signaling the reference layer information in the slice segment header. Used as reference layer information.
  • slice_num_direct_ref_layers may be equal to the NumDirectRefLayers [nuh_layer_id] value, and ref_layer_idx [i] may be regarded as i.
  • the layer_dependency_vps_flag value is not signaled, it may be regarded as a value of "0".
  • the max_one_active_ref_layer_flag value is "1”
  • the layer_dependency_vps_flag may have a value of "0".
  • slice_num_direct_ref_layers indicates the number of reference layers directly referenced by the corresponding image.
  • the number of reference layers specified by slice_num_direct_ref_layers should be equal to or smaller than the number of reference layers (ie, NumDirectRefLayers [nuh_layer_id]) referenced by layers having the same layer_id (ie, nuh_layer_id) as the corresponding picture signaled in the video parameter set.
  • ref_layer_idx [i] indicates the index (index reference described in the video parameter set) of the i th reference layer directly referenced by the corresponding picture.
  • inter_layer_pred_enabled_flag is "1" this means that the picture uses inter-layer prediction. If inter_layer_pred_enabled_flag is "0", it means that inter-layer prediction is not used.
  • slice_num_direct_ref_layers may indicate the number of reference layers directly referenced by the corresponding picture or may indicate the number of layer reference pictures used for inter-layer prediction of the picture. .
  • the number of reference layers or number of layer reference pictures specified by slice_num_direct_ref_layers is equal to the number of reference layers (ie, NumDirectRefLayers [nuh_layer_id]) referenced by layers having the same layer_id (ie, nuh_layer_id) as the corresponding picture signaled in the video parameter set.
  • the reference layer information signaled by the VPS extension is used as the reference layer information of the video. If the value of NumDirectRefLayers [nuh_layer_id] and slice_num_direc_ref_layers are not the same, the slice segment header is signaled. The reference layer information is used as the reference layer information of the corresponding image.
  • ref_layer_idx [i] indicates the index (index reference described in the video parameter set) of the i th reference layer directly referenced by the corresponding picture.
  • NumDirecRefLayers [nuh_layer_id] of Table 22 may be derived based on the layer dependency information received in the video parameter set extension.
  • the layer dependency information may be signaled with a syntax element direct_dependency_flag [i] [j], and indicate whether a layer having an i th index in the entire bitstream directly refers to a j th layer. Based on such layer dependency information, information of a reference layer referenced by an i th layer in the entire bitstream can be identified.
  • the number of reference layers that the current layer can refer to in the entire bitstream can be derived through flag information (layer layer information) such as direct_dependency_flag [i] [j].
  • inter_layer_pred_enabled_flag 1
  • NumDirectRefLayers [nuh_layer_id] is greater than 1 (NumDirectRefLayers [nuh_layer_id]> 1)
  • all layers included in the entire bitstream do not use one reference layer (! max_one_active_ref_layer_flag)
  • Reference picture number information (slice_num_direct_ref_layers) for specifying the number of reference pictures that can be used for prediction is received.
  • an inter-layer reference picture a reference picture that can be used for inter-layer prediction
  • information for specifying the number of layer-reference pictures is referred to as layer reference picture number information.
  • the number of reference layers referenced by the layer to which the current picture belongs is at most one, the number of layers referenced by the current picture is also one.
  • the layer reference picture number information may be signaled by a syntax element such as num_inter_layer_ref_pics_minus1.
  • the number of layer reference pictures may be specified as a value of signaled layer reference picture information (if slice_num_direct_ref_layers), or may be specified as a value obtained by adding 1 to layer reference picture number information (for num_inter_layer_ref_pics_minus1).
  • the layer information (ref_id_ref_for_ref_layer_reference_reference layer for the reference layer referenced by the current picture_ reference layer) i]) is received.
  • the layer information may be an ID of a layer of a reference picture that can be referenced by the current picture.
  • inter_layer_pred_enabled_flag if the inter_layer_pred_enabled_flag is "1", it means that the video uses inter-layer prediction. If the inter_layer_pred_enabled_flag is "0", it means that the inter-layer prediction is not used.
  • layer_dependency_vps_flag indicates whether reference layer information is signaled in a slice header (slice segment header). When layer_dependency_vps_flag is “0”, it indicates that reference layer information is signaled in the slice header. When layer_dependency_vps_flag is “1”, it indicates that reference layer information signaled by the VPS extension is not signaled by the VPS extension without signaling the reference layer information in the slice segment header. Used as reference layer information.
  • slice_num_direct_ref_layers indicates the number of reference layers directly referenced by the corresponding image.
  • the number of reference layers specified by slice_num_direct_ref_layers should be equal to or smaller than the number of reference layers (ie, NumDirectRefLayers [nuh_layer_id]) referenced by layers having the same layer_id (ie, nuh_layer_id) as the corresponding picture signaled in the video parameter set.
  • ref_layer_idx_delta [j] is the difference between the index of the jth reference layer (based on the index described in the video parameter set) and the index of the j-1th reference layer (based on the index described in the video parameter set) directly referenced by the corresponding image.
  • ref_layer_idx_delta [0] represents the index of the 0 th reference layer.
  • inter_layer_pred_enabled_flag is "1" this means that the picture uses inter-layer prediction. If inter_layer_pred_enabled_flag is "0", it indicates that inter-layer prediction is not used.
  • slice_num_direct_ref_layers indicates the number of reference layers directly referenced by the corresponding image.
  • the number of reference layers specified by slice_num_direct_ref_layers should be equal to or smaller than the number of reference layers (ie, NumDirectRefLayers [nuh_layer_id]) referenced by layers having the same layer_id (ie, nuh_layer_id) as the corresponding picture signaled in the video parameter set.
  • the reference layer information signaled by the VPS extension is used as the reference layer information of the video. If the value of NumDirectRefLayers [nuh_layer_id] and slice_num_direc_ref_layers are not the same, the slice segment header is signaled. The reference layer information is used as the reference layer information of the corresponding image.
  • ref_layer_idx_delta [j] is the difference between the index of the jth reference layer (based on the index described in the video parameter set) and the index of the j-1th reference layer (based on the index described in the video parameter set) directly referenced by the corresponding image.
  • ref_layer_idx_delta [0] represents the index of the 0 th reference layer.
  • layers that may be referred to by the corresponding slice described in the slice header may be a subset of reference layers that may be referenced by the same layers as the current encoding target layer in the entire bitstream.
  • the reference layers signaled in the slice header may be a subset of the reference layer list to which the same layers as the current encoding target layer signaled in the video parameter set may refer.
  • the encoding apparatus configuring a list of layers that may be referenced by the image of the current encoding target layer may perform inter prediction of the current encoding target image including the decoded image of the reference layer that may be referenced by the target layer.
  • a reference picture set is configured, and reference picture marking is performed (S520).
  • the encoding apparatus checks whether the reconstructed picture is available as a reconstructed picture made up of the pictures included in the reference layer list and, if available, includes the reconstructed picture in the reference picture set. It can be displayed as “no reference picture”.
  • a reference picture set (hereinafter, referred to as a first set) consisting of pictures included in the reference layer list is marked as “used for long term reference” so that a long-term reference picture is used for inter prediction of the current encoding target picture. Can be treated as.
  • the reference picture set for inter prediction which is composed of the same layer as the current encoding target layer, may exist in various forms.
  • the reference picture set for inter-prediction is used for inter-prediction of the current encoding target image, and a short-term reference picture (second set) that is previous to the current encoding target image in the display order, and is present.
  • Short-term reference pictures (third set) which are used for inter-prediction of the encoding target image and are later based on the current encoding target image in the display order, and long-term reference pictures for inter-prediction of the current encoding target image (fourth set).
  • the encoding apparatus generates a reference picture list according to the reference picture set and the reference picture type (S530).
  • the encoding apparatus may generate a reference picture list of the current encoding target picture based on the characteristics of the reference picture set and the shape of the reference picture based on the various reference picture sets as described above.
  • the encoding apparatus sets the reference picture set including the reference layer list generated in step S520 in the inter-picture reference picture lists L0 and L1 including reference picture sets including the images of the same layer as the current encoding target image as follows.
  • the final reference picture list can be generated.
  • the encoding apparatus may add the decoded image of the reference layer at a fixed position every time the reference picture list is generated, or may change the position of the decoded image of the reference layer after generating the reference picture list for efficient encoding.
  • the reference layer When the reference layer is added to the middle position of the L0 list, the reference layer can be increased by the number of reference layers (the number of reference picture sets composed of the reference layer list) added with the index in the list of pictures after that position. have.
  • the encoding apparatus may add the first set from any signaled position when generating the L0 list.
  • the index may be increased by the number of reference layers (the number of reference picture sets composed of the reference layer list) added with the index in the list of the images after the position and after. .
  • the encoding apparatus may replace as many reference pictures as the number of reference picture sets composed of the reference layer list from the first signaled position with the first set.
  • the encoding apparatus may add the pictures included in the reference layer list of the first set to arbitrary different positions when generating the L0 list.
  • the encoding apparatus may increase the number of reference layers (the number of reference picture sets composed of the reference layer list) to which the indexes in the corresponding positions of the added images and the list of subsequent images are added.
  • the encoding apparatus may replace reference pictures located at different positions in the L0 list with respective pictures included in the reference layer list of the first set.
  • the encoding apparatus When the reference layer is added to the middle position of the L1 list, the encoding apparatus adds as many as the number of reference layers (the number of reference picture sets composed of the reference layer list) to which the index is added in the list of the images after that position. Can be increased.
  • the encoding apparatus may add the first set from any signaled position when generating the L1 list.
  • the index may be increased by the number of reference layers (the number of reference picture sets composed of the reference layer list) added with the index in the list of the images after the position and after. .
  • the encoding apparatus may replace as many reference pictures as the number of reference picture sets composed of the reference layer list from the first signaled position with the first set.
  • the encoding apparatus may add each picture included in the reference layer list of the first set to any different location when generating the L1 list.
  • the encoding apparatus may increase the number of reference layers (the number of reference picture sets composed of the reference layer list) to which the indexes in the corresponding positions of the added images and the list of subsequent images are added.
  • the encoding apparatus may replace reference pictures located at different positions in the L1 list with respective pictures included in the reference layer list of the first set.
  • the position of the decoded image of the reference layer is determined using encoding parameters that may be included in a slice header or a picture parameter set. You can change it to any position in the reference picture list.
  • the encoding apparatus may perform motion prediction and motion compensation on the current encoding target image by using the reference picture in the reference picture list (S540).
  • the encoding apparatus may perform motion prediction and motion compensation on the current encoding target image by using the reference picture in the reference picture list using a conventional inter prediction method.
  • the decoding apparatus supports at least one or more scalability (eg, spatial, image quality, view scalability) and performs decoding of a higher layer in a video structure supporting a multi-layer structure.
  • scalability eg, spatial, image quality, view scalability
  • a decoding apparatus configures a list of layers that a current decoding target image may refer to (S610).
  • the decoding apparatus may construct a reference layer list for at least one layer. have.
  • the reference layer lists thus constructed may be used to decode the current decoding target picture.
  • the decoding apparatus may configure the following reference layer list using reference layer information of the current decoding target layer included in the video parameter set and the like.
  • the decoding apparatus may construct a reference layer list that can be referenced by the same layers as the current decoding target layer in the entire bitstream.
  • the reference layer list may be used to decode pictures belonging to the same layer as the layer to which the current decoding target picture belongs, and may be configured based on reference layer information of the current decoding target layer signaled in the video parameter set.
  • the decoding apparatus uses the reference layer list as reference layers ref_layer_id of layers having the same nuh_layer_id value as the layer to which the current decoding target image belongs, among the values of the signaled nuh_layer_id [i]. Can be configured.
  • the order of the reference layers in the list may be determined by one of the following methods.
  • the reference layer may be configured in the order signaled in Table 1 and Table 2.
  • the decoding apparatus may configure the reference layer list in the order of the layers having a small layer_id value different from the layer_id value of the layer to be decoded (that is, the close layer).
  • the decoding apparatus may configure the spatial quality reference layer list in the order of the layers having the highest priority and the layers having the lowest priority.
  • the information about the priority may be signaled in the NAL unit header or the video parameter set.
  • the decoding apparatus may configure the spatial quality reference layer list in the order of the layers having the smallest difference in spatial resolution from the current decoding target layer among the reference layers having the same view as the current decoding target.
  • the image quality reference layer order at the same spatial resolution may be configured in the order of the layer having the smallest difference from the layer_id value of the current decoding target layer (that is, the nearest layer).
  • the layers may be included in the reference layer list in a chronological order from a time point close to the start point of the current decoding target layer, and the order in which layers within the same view are included in the reference layer list is the same as the current decoding target layer described above.
  • the same method as the hierarchies of can be applied.
  • the reference layer list of the layer having layer_id of n has n_, n-2, n-3, n-4, n-5, n-6, n- of layer_id. 7, n-8, n-9, n-10, n-11 may be configured in the order of the hierarchy.
  • the layers having the same viewpoint as the current decoding target layer may be configured in the order of the layers having the smallest difference in spatial resolution from the current decoding target layer.
  • the image quality reference layer order at the same spatial resolution may be a low-order quantization parameter value, that is, a high value order (that is, a low-order layer having good image quality during decoding).
  • the layers may be included in the reference layer list in a chronological order from a time point close to the start point of the current decoding target layer, and the order in which layers within the same view are included in the reference layer list is the same as the current decoding target layer described above.
  • the same method as the hierarchies of can be applied.
  • the decoding apparatus may configure a reference layer list to which the current decoding target layer (or a corresponding slice) of the current image to be decoded can refer, and the configured reference layer lists are used to decode the current decoding target image. Can be used for
  • the decoding apparatus may construct a reference layer list using reference layer information signaled in the slice header of the current decoding target layer.
  • the reference layer information signaled in the slice header may be the same or may have different reference layer information for each slice.
  • the decoding apparatus may configure a reference layer list with reference layers based on the information signaled according to any one of Tables 3 to 24.
  • the reference layers signaled in the slice header may be a subset of the reference layers that may be referenced by the same layers as the current decoding target layer in the entire bitstream.
  • the reference layers signaled in the slice header may be a subset of the reference layer list to which the same layers as the current decoding target layer signaled in the video parameter set may refer.
  • the order of the reference layers in the reference layer list may be variously configured as follows.
  • the decoding apparatus may add the reference layer to the reference layer list in the order signaled according to any one of Tables 3 to 24.
  • the decoding apparatus may generate a spatial quality reference layer list by configuring the layer_id value of the reference layer from the layer (ie, the nearest layer) having a small difference from the layer_id value of the decoding target layer in the order of the larger layers.
  • the reference layer list may be configured in the order of the layers having the highest priority among the reference layers from the lower layers.
  • the information related to the priority may be signaled by being included in a NAL unit header or a video parameter set.
  • the reference layer list having the same view as the current decoding target layer may be configured in the order of the layers having the smallest difference in spatial resolution from the current decoding target layer.
  • the order of the quality reference layers having the same spatial resolution may be the order of layers from the layer (that is, the nearest layer) having a small difference from the layer_id value of the current decoding target layer.
  • the layers may be included in the reference layer list in the order of the points closest to the viewpoint of the current decoding target layer, and the order in which the layers within the same view are included in the reference layer list is described above. The same method as the layers at the same point in time can be applied.
  • the reference layer list of the layer having layer_id of n has n_, n-2, n-3, n-4, n-5, n-6, n- of layer_id. 7, n-8, n-9, n-10, n-11 may be configured in the order of the hierarchy.
  • the reference layer list may be configured from the layers having the same viewpoint as the current decoding target layer to the layer having the smallest difference in spatial resolution from the current decoding target layer to the larger layers.
  • the image quality reference layer order at the same spatial resolution may be a low-order quantization parameter value, that is, a high value order (that is, a low-order layer having good image quality during decoding).
  • the layers may be included in the reference layer list in the order of the points closest to the viewpoint of the current decoding target layer, and the order in which the layers within the same view are included in the reference layer list is described above.
  • the same method as the layers at the same point in time can be applied.
  • the constructed reference layer list can be used to decode the slice.
  • the number of layers that can be referenced to the maximum may be limited for the entire bitstream, which may be signaled in a video parameter set, a sequence parameter set, a slice header, or the like, and may be restricted according to a profile and a level.
  • the decoding apparatus may change the order within the list according to the content expressed in the signaling.
  • the decoding apparatus displays a reference picture set configuration and a reference picture shape for inter prediction of the current decoding target picture including the decoded picture of the reference layer (S620).
  • the decoding apparatus may configure a reference picture set and reference picture marking for inter prediction of the current decoding target picture including the decoded picture of the reference layer.
  • the decoding apparatus configures a reference picture set (first set) composed of pictures included in the reference layer list. At this time, it is checked whether the image included in the reference layer list is available as a reconstructed image, and if the image is available, the reconstructed image is included in the reference picture set. If the image is not available, the reconstructed image is “no reference picture”. Can be displayed as
  • the first set may be referred to as “used for long term reference” and may be treated as a long term reference picture when inter-prediction of the current decoding target video is performed.
  • the decoding apparatus may configure various reference picture sets as follows for inter prediction, which is composed of images of the same layer as the current decoding target layer, in addition to the reference set consisting of the pictures included in the reference layer list. .
  • Reference picture sets are used for inter-prediction of the current decoding target picture, and are used for inter-prediction of the current decoding target picture, the short-term reference picture (second set) that is previous to the current decoding target picture, and displayed.
  • the decoding apparatus generates a reference picture list according to the reference picture set and the reference picture type (S630).
  • the decoding apparatus may generate a reference picture list of the current decoding target picture according to the reference picture set and the reference picture type. That is, the decoding apparatus may generate a reference picture list by combining the first set and the second to fourth sets.
  • the decoding apparatus when the decoding apparatus generates a reference picture list of the current decoding target picture, the decoding apparatus includes the reference picture lists L0 and L1 composed of reference picture sets consisting of pictures of the same layer as the current decoding target picture, and the first set.
  • the final reference picture list may be generated by adding a reference picture set including an included reference layer list.
  • the decoded image of the reference layer may be added at a fixed position every time the reference picture list is generated, or the position of the decoded image of the reference layer may be changed for efficient encoding.
  • the index may be increased by the number of reference layers (the number of reference picture sets composed of the reference layer list) to which the index in the list of pictures after the corresponding position is added.
  • the decoding apparatus may add the first set from any signaled position when generating the L0 list.
  • the index when adding to the middle position of the list, the index may be increased by the number of reference layers (the number of reference picture sets composed of the reference layer list) to which the indexes of the images of the position and the subsequent images are added.
  • the decoding apparatus may replace as many reference pictures as the number of reference picture sets composed of the reference layer list from the signaled position as the first set.
  • the decoding apparatus may add each picture included in the first set to any different location when generating the L0 list.
  • the index may be increased by the number of reference layers (the number of reference picture sets composed of the reference layer list) to which the indexes in the corresponding positions of the added images and the list of subsequent images are added.
  • the decoding apparatus may replace reference pictures at arbitrary different positions with respective pictures included in the first set when generating the L0 list.
  • the index may be increased by the number of reference layers (the number of reference picture sets composed of the reference layer list) to which the index in the list of pictures after the corresponding position is added.
  • the decoding apparatus may add the first set from any signaled position when generating the L1 list.
  • the index when adding to an intermediate position of the list, the index may be increased by the number of reference layers (the number of reference picture sets composed of the reference layer list) to which the indexes of the images of the position and the subsequent images are added.
  • the decoding apparatus may replace as many reference pictures as the number of reference picture sets composed of the reference layer list from the signaled position as the first set.
  • the decoding apparatus may add each picture included in the first set to any different location when generating the L1 list.
  • the index may be increased by the number of reference layers (the number of reference picture sets composed of the reference layer list) to which the indexes in the corresponding positions of the added images and the list of subsequent images are added.
  • the decoding apparatus may replace reference pictures at arbitrary different positions with respective pictures included in the first set when generating the L1 list.
  • the position of the decoded image of the reference layer using encoding parameters that may be included in a slice header or a picture parameter set. Can be changed to any position in the reference picture list.
  • motion prediction and motion compensation may be performed on the current decoding target image using the reference picture in the reference picture list (S640).
  • the decoding apparatus may perform motion compensation on the current decoding target block by using the reference picture in the reference picture list.
  • FIG. 7 is a control block diagram of an image decoding apparatus according to an embodiment of the present invention.
  • the decoding apparatus includes a parser 710 for parsing image information and a decoder 720 for predicting a current layer using image information of the parser 710.
  • the parsing unit 710 receives and parses layer dependency information on a reference layer that the current layer can refer to throughout the bitstream, and when interlayer prediction is used to decode the current picture in the current layer, the current layer among the reference layers Receive and parse layer information about a reference layer referenced by a picture.
  • the layer dependency information may be included in the video parameter set extension and received.
  • the layer information about the reference layer referenced by the current picture is an ID of the layer of the reference picture which the current picture may refer to, and the layer information may be included in the slice header.
  • the number of reference layers that the current layer can refer to in the entire bitstream may be derived based on the layer dependency information.
  • the parser 710 may receive and parse flag information indicating whether inter-layer prediction is used to decode a current picture in a current layer.
  • the parser 710 may be used for inter-layer prediction of the current picture.
  • the number of layer reference pictures for specifying the number of layer reference pictures may be received and parsed.
  • the number of layer reference pictures may be specified by adding 1 to the layer reference picture number information. That is, the number of layer reference pictures may be signaled by subtracting 1 from the number of layer reference pictures.
  • the layer information may be received only when the number of reference layers and the number of layer reference pictures are not the same.
  • the decoder 720 may decode the current picture based on the layer information.
  • FIG. 8 is a control flowchart illustrating a decoding method of an image decoding apparatus according to an embodiment of the present invention.
  • the decoding apparatus receives and parses layer dependency information on a reference layer that the current layer can refer to in the entire bitstream (S810).
  • the layer dependency information may be included in the video parameter set extension and received.
  • the decoding apparatus derives the number of reference layers that the current layer can refer to throughout the bitstream based on the layer dependency information (S820).
  • the decoding apparatus may receive and parse flag information indicating whether inter-layer prediction is used to decode the current picture in the current layer (S830).
  • the decoding apparatus may use a layer reference picture that may be used for inter-layer prediction of the current picture.
  • the layer reference picture number information capable of specifying the number of R may be received and parsed.
  • the number of layer reference pictures may be specified as a value of signaled layer reference picture information, or may be specified as a value obtained by adding 1 to the layer reference picture number information.
  • the decoding apparatus receives and parses layer information about the reference layer referenced by the current picture among the reference layers. (S860).
  • the decoding apparatus is inter-layer predicted for decoding the current picture in the current layer, and receives the layer information when the conditions are satisfied.
  • the layer information may be an ID of a layer of a reference picture that can be referenced by the current picture, and may be received by being included in a slice header in a bitstream.
  • the decoding apparatus decodes the current picture based on the layer information (S870).
  • the current picture is decoded based on the layer dependency information signaled in the VPS (S880).
  • an image encoding / decoding method and an apparatus using the same that can efficiently generate and manage a reference picture list including one or more reference layers to improve encoding / decoding efficiency.
  • a method of encoding / decoding an image capable of adjusting the position of the decoded image of the reference layers and the order between the reference layer decoded image when generating a reference picture list including the decoded image of the reference layer and an apparatus using the same Is provided.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

본 발명에 따른 복수의 계층을 지원하는 영상의 복호화 방법은 현재 계층이 상기 비트스트림 전체에서 참조할 수 있는 참조 계층에 대한 계층 의존성 정보를 수신하여 파싱하는 단계와; 상기 현재 계층 내 현재 픽쳐의 디코딩에 인터 레이어 예측이 사용되는 경우, 상기 참조 계층 중 상기 현재 픽쳐가 참조하는 참조 계층에 대한 계층 정보를 수신하여 파싱하는 단계와; 상기 계층 정보에 기초하여 상기 현재 픽쳐의 디코딩을 수행하는 단계를 포함할 수 있다.

Description

영상의 부호화/복호화 방법 및 이를 이용하는 장치
본 발명은 영상의 부호화 및 복호화 처리에 관한 것으로서, 보다 상세하게는 계층적 비디오 부호화에서 다중 참조 계층을 적용한 계층간 영상 부/복호화 방법 및 그 장치에 관한 것이다.
최근 HD(High Definition) 해상도를 가지는 방송 서비스가 국내뿐만 아니라 세계적으로 확대되면서, 많은 사용자들이 고해상도, 고화질의 영상에 익숙해지고 있으며 이에 따라 많은 기관들이 차세대 영상기기에 대한 개발에 박차를 가하고 있다. 또한 HDTV와 더불어 HDTV의 4배 이상의 해상도를 갖는 UHD(Ultra High Definition)에 대한 관심이 증대되면서 보다 높은 해상도, 고화질의 영상에 대한 압축기술이 요구되고 있다.
영상 압축을 위해, 시간적으로 이전 및/또는 이후의 픽쳐로부터 현재 픽쳐에 포함된 화소값을 예측하는 인터(inter) 예측 기술, 현재 픽쳐 내의 화소 정보를 이용하여 현재 픽쳐에 포함된 화소값을 예측하는 인트라(intra) 예측 기술, 출현 빈도가 높은 심볼(symbol)에 짧은 부호를 할당하고 출현 빈도가 낮은 심볼에 긴 부호를 할당하는 엔트로피 부호화 기술 등이 사용될 수 있다.
영상 압축 기술에는 유동적인 네트워크 환경을 고려하지 않고 하드웨어의 제한적인 동작 환경하에서 일정한 네트워크 대역폭을 제공하는 기술이 있다. 그러나 수시로 대역폭이 변화하는 네트워크 환경에 적용되는 영상 데이터를 압축하기 위해서는 새로운 압축 기술이 요구되고, 이를 위해 스케일러블(scalable) 비디오 부호화/복호화 방법이 사용될 수 있다.
본 발명은 하나 이상의 참조 계층을 포함한 참조픽쳐 리스트를 효율적으로 생성 및 관리하여 부호화/복호화 효율을 향상시킬 수 있는 영상의 부호화/복호화 방법 및 이를 이용하는 장치를 제공한다.
본 발명의 일 실시예는 계층간 예측을 수행할 때, 움직임 예측 및 움직임 보상을 위한 참조 영상 리스트를 생성함에 있어, 한 개 이상의 참조계층을 포함하여 참조픽쳐 리스트를 생성할 수 있는 영상의 부호화/복호화 방법 및 이를 이용하는 장치를 제공한다.
본 발명의 일 실시예는 참조 계층의 복호화 영상을 포함하여 참조픽쳐 리스트 생성 시 참조픽쳐 리스트 내에서의 참조계층들의 복호화 영상의 위치 및 참조계층 복호화 영상간의 순서를 조정할 수 있는 영상의 부호화/복호화 방법 및 이를 이용하는 장치를 제공한다.
본 발명의 일 실시예에 따른 복수의 계층을 지원하는 영상의 복호화 방법은 현재 계층이 상기 비트스트림 전체에서 참조할 수 있는 참조 계층에 대한 계층 의존성 정보를 수신하여 파싱하는 단계와; 상기 현재 계층 내 현재 픽쳐의 디코딩에 인터 레이어 예측이 사용되는 경우, 상기 참조 계층 중 상기 현재 픽쳐가 참조하는 참조 계층에 대한 계층 정보를 수신하여 파싱하는 단계와; 상기 계층 정보에 기초하여 상기 현재 픽쳐의 디코딩을 수행하는 단계를 포함할 수 있다.
상기 계층 의존성 정보는 비디오 파라미터 세트 확장에 포함되어 수신될 수있다.
상기 계층 정보는 상기 현재 픽쳐가 참조할 수 있는 참조 픽쳐의 계층의 ID 이며, 상기 계층 정보는 슬라이스 헤더에 포함되어 수신될 수있다.
상기 계층 의존성 정보에 기초하여 상기 현재 계층이 상기 비트스트림 전체에서 참조할 수 있는 참조 계층의 개수를 유도하는 단계와; 상기 참조 레이어의 개수가 0보다 크면, 상기 현재 계층 내 현재 픽쳐의 디코딩에 인터 레이어 예측이 사용되는지 여부를 나타내는 플래그 정보를 수신하여 파싱하는 단계를 더 포함할 수 있다.
상기 플래그 정보가 1이고, 상기 참조 레이어 개수가 1보다 크고, 전체 비트스트림에 포함된 모든 계층이 하나의 참조 계층을 사용하는 것이 아니면, 상기 현재 픽쳐의 상기 인터 레이어 예측을 위하여 사용될 수 있는 계층 참조 픽쳐의 개수를 특정할 수 있는 계층 참조 픽쳐 개수 정보를 수신하여 파싱하는 단계를 더 포함할 수 있다.
상기 계층 정보는 상기 참조 레이어의 개수와 상기 계층 참조 픽쳐의 개수가 동일하지 않은 경우 수신될 수있다.
상기 계층 참조 픽쳐의 개수는 상기 계층 참조 픽쳐 개수 정보에 1을 더한 값으로 특정될 수 있다.
본 발명의 다른 실시예에 따른 복수의 계층을 지원하는 영상의 복호화 장치는 현재 계층이 상기 비트스트림 전체에서 참조할 수 있는 참조 계층에 대한 계층 의존성 정보를 수신하여 파싱하고, 상기 현재 계층 내 현재 픽쳐의 디코딩에 인터 레이어 예측이 사용되는 경우, 상기 참조 계층 중 상기 현재 픽쳐가 참조하는 참조 계층에 대한 계층 정보를 수신하여 파싱하는 파싱부와; 상기 계층 정보에 기초하여 상기 현재 픽쳐의 디코딩을 수행하는 디코딩부를 포함할 수 있다.
본 발명의 일 실시예에 따르면, 하나 이상의 참조 계층을 포함한 참조픽쳐 리스트를 효율적으로 생성 및 관리하여 부호화/복호화 효율을 향상시킬 수 있는 영상의 부호화/복호화 방법 및 이를 이용하는 장치가 제공된다.
본 발명의 일 실시예에 따르면 계층간 예측을 수행할 때, 움직임 예측 및 움직임 보상을 위한 참조 영상 리스트를 생성함에 있어, 한 개 이상의 참조계층을 포함하여 참조픽쳐 리스트를 생성할 수 있는 영상의 부호화/복호화 방법 및 이를 이용하는 장치가 제공된다.
본 발명의 일 실시예는 참조 계층의 복호화 영상을 포함하여 참조픽쳐 리스트 생성 시 참조픽쳐 리스트 내에서의 참조계층들의 복호화 영상의 위치 및 참조계층 복호화 영상간의 순서를 조정할 수 있는 영상의 부호화/복호화 방법 및 이를 이용하는 장치가 제공된다.
도 1은 영상 부호화 장치의 일 실시예에 따른 구성을 나타내는 블록도이다.
도 2는 영상 복호화 장치의 일 실시예에 따른 구성을 나타내는 블록도이다.
도 3은 본 발명이 적용될 수 있는, 복수 계층을 이용한 스케일러블 비디오 코딩 구조의 일 실시예를 개략적으로 나타내는 개념도이다.
도 4는 본 발명의 일 실시예에 따라 공간 화질 계층 및 시점 계층을 개략적으로 나타내는 개념도이다
도 5는 본 발명의 일 실시예에 따른 부호화 장치에서 상위 계층의 부호화를 수행하는 방법을 설명하기 위한 제어흐름도이다.
도 6은 본 발명의 일 실시예에 따른 복호화 장치에서 상위 계층의 복호화를 수행하는 방법을 설명하기 위한 제어흐름도이다.
도 7은 본 발명의 일 실시예에 따른 영상 디코딩 장치의 제어 블록도이다.
도 8은 본 발명의 일 실시예에 따른 영상 디코딩 장치의 디코딩 방법을 설명하기 위한 제어 흐름도이다.
이하, 도면을 참조하여 본 발명의 실시 형태에 대하여 구체적으로 설명한다. 본 명세서의 실시예를 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 명세서의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다.
어떤 구성 요소가 다른 구성 요소에 “연결되어” 있다거나 “접속되어” 있다고 언급된 때에는, 그 다른 구성 요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있으나, 중간에 다른 구성 요소가 존재할 수도 있다고 이해되어야 할 것이다. 아울러, 본 발명에서 특정 구성을 “포함”한다고 기술하는 내용은 해당 구성 이외의 구성을 배제하는 것이 아니며, 추가적인 구성이 본 발명의 실시 또는 본 발명의 기술적 사상의 범위에 포함될 수 있음을 의미한다.
제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다.
또한 본 발명의 실시예에 나타나는 구성부들은 서로 다른 특징적인 기능들을 나타내기 위해 독립적으로 도시되는 것으로, 각 구성부들이 분리된 하드웨어나 하나의 소프트웨어 구성단위로 이루어짐을 의미하지 않는다. 즉, 각 구성부는 설명의 편의상 각각의 구성부로 나열하여 포함한 것으로 각 구성부 중 적어도 두 개의 구성부가 합쳐져 하나의 구성부로 이루어지거나, 하나의 구성부가 복수 개의 구성부로 나뉘어져 기능을 수행할 수 있고 이러한 각 구성부의 통합된 실시예 및 분리된 실시예도 본 발명의 본질에서 벗어나지 않는 한 본 발명의 권리범위에 포함된다.
또한, 일부의 구성 요소는 본 발명에서 본질적인 기능을 수행하는 필수적인 구성 요소는 아니고 단지 성능을 향상시키기 위한 선택적 구성 요소일 수 있다. 본 발명은 단지 성능 향상을 위해 사용되는 구성 요소를 제외한 본 발명의 본질을 구현하는데 필수적인 구성부만을 포함하여 구현될 수 있고, 단지 성능 향상을 위해 사용되는 선택적 구성 요소를 제외한 필수 구성 요소만을 포함한 구조도 본 발명의 권리범위에 포함된다.
도 1은 영상 부호화 장치의 일 실시예에 따른 구성을 나타내는 블록도이다. 스케일러블(scalable) 비디오 부호화/복호화 방법 또는 장치는 스케일러빌리티(scalability)를 제공하지 않는 일반적인 영상 부호화/복호화 방법 또는 장치의 확장(extension)에 의해 구현될 수 있으며, 도 1의 블록도는 스케일러블 비디오 부호화 장치의 기초가 될 수 있는 영상 부호화 장치의 일 실시예를 나타낸다.
도 1을 참조하면, 상기 영상 부호화 장치(100)는 움직임 예측부(111), 움직임 보상부(112), 인트라 예측부(120), 스위치(115), 감산기(125), 변환부(130), 양자화부(140), 엔트로피 부호화부(150), 역양자화부(160), 역변환부(170), 가산기(175), 필터부(180) 및 참조영상 버퍼(190)를 포함한다.
영상 부호화 장치(100)는 입력 영상에 대해 인트라(intra) 모드 또는 인터(inter) 모드로 부호화를 수행하고 비트스트림(bit stream)을 출력할 수 있다. 인트라 예측은 화면 내 예측, 인터 예측은 화면 간 예측을 의미한다. 인트라 모드인 경우 스위치(115)가 인트라로 전환되고, 인터 모드인 경우 스위치(115)가 인터로 전환된다. 영상 부호화 장치(100)는 입력 영상의 입력 블록에 대한 예측 블록을 생성한 후, 입력 블록과 예측 블록의 차분을 부호화할 수 있다.
인트라 모드인 경우, 인트라 예측부(120)는 현재 블록 주변의 이미 부호화된 블록의 화소값을 이용하여 공간적 예측을 수행하여 예측 블록을 생성할 수 있다.
인터 모드인 경우, 움직임 예측부(111)는, 움직임 예측 과정에서 참조 영상 버퍼(190)에 저장되어 있는 참조 영상에서 입력 블록과 가장 매치가 잘 되는 영역을 찾아 움직임 벡터를 구할 수 있다. 움직임 보상부(112)는 움직임 벡터와 참조 영상 버퍼(190)에 저장되어 있는 참조 영상을 이용하여 움직임 보상을 수행함으로써 예측 블록을 생성할 수 있다.
감산기(125)는 입력 블록과 생성된 예측 블록의 차분에 의해 잔여 블록(residual block)을 생성할 수 있다. 변환부(130)는 잔여 블록에 대해 변환(transform)을 수행하여 변환 계수(transform coefficient)를 출력할 수 있다. 그리고 양자화부(140)는 입력된 변환 계수를 양자화 파라미터에 따라 양자화하여 양자화된 계수(quantized coefficient)를 출력할 수 있다.
엔트로피 부호화부(150)는, 양자화부(140)에서 산출된 값들 또는 부호화 과정에서 산출된 부호화 파라미터 값 등을 기초로, 심볼(symbol)을 확률 분포에 따라 엔트로피 부호화하여 비트스트림(bit stream)을 출력할 수 있다. 엔트로피 부호화 방법은 다양한 값을 갖는 심볼을 입력 받아, 통계적 중복성을 제거하면서, 복호 가능한 2진수의 열로 표현하는 방법이다.
여기서, 심볼이란 부호화/복호화 대상 구문 요소(syntax element) 및 부호화 파라미터(coding parameter), 잔여 신호(residual signal)의 값 등을 의미한다. 부호화 파라미터는 부호화 및 복호화에 필요한 매개변수로서, 구문 요소와 같이 부호화 장치에서 부호화되어 복호화 장치로 전달되는 정보뿐만 아니라, 부호화 혹은 복호화 과정에서 유추될 수 있는 정보를 포함할 수 있으며 영상을 부호화하거나 복호화할 때 필요한 정보를 의미한다. 부호화 파라미터는 예를 들어 인트라/인터 예측모드, 이동/움직임 벡터, 참조 영상 색인, 부호화 블록 패턴, 잔여 신호 유무, 변환 계수, 양자화된 변환 계수, 양자화 파라미터, 블록 크기, 블록 분할 정보 등의 값 또는 통계를 포함할 수 있다. 또한 잔여 신호는 원신호와 예측 신호의 차이를 의미할 수 있고, 또한 원신호와 예측 신호의 차이가 변환(transform)된 형태의 신호 또는 원신호와 예측 신호의 차이가 변환되고 양자화된 형태의 신호를 의미할 수도 있다. 잔여 신호는 블록 단위에서는 잔여 블록이라 할 수 있다.
엔트로피 부호화가 적용되는 경우, 높은 발생 확률을 갖는 심볼에 적은 수의 비트가 할당되고 낮은 발생 확률을 갖는 심볼에 많은 수의 비트가 할당되어 심볼이 표현됨으로써, 부호화 대상 심볼들에 대한 비트열의 크기가 감소될 수 있다. 따라서 엔트로피 부호화를 통해서 영상 부호화의 압축 성능이 높아질 수 있다.
엔트로피 부호화를 위해 지수 골룸(exponential golomb), CAVLC(Context-Adaptive Variable Length Coding), CABAC(Context-Adaptive Binary Arithmetic Coding)과 같은 부호화 방법이 사용될 수 있다. 예를 들어, 엔트로피 부호화부(150)에는 가변 길이 부호화(VLC: Variable Lenghth Coding/Code) 테이블과 같은 엔트로피 부호화를 수행하기 위한 테이블이 저장될 수 있고, 엔트로피 부호화부(150)는 저장된 가변 길이 부호화(VLC) 테이블을 사용하여 엔트로피 부호화를 수행할 수 있다. 또한 엔트로피 부호화부(150)는 대상 심볼의 이진화(binarization) 방법 및 대상 심볼/빈(bin)의 확률 모델(probability model)을 도출한 후, 도출된 이진화 방법 또는 확률 모델을 사용하여 엔트로피 부호화를 수행할 수도 있다.
양자화된 계수는 역양자화부(160)에서 역양자화되고 역변환부(170)에서 역변환될 수 있다. 역양자화, 역변환된 계수는 가산기(175)를 통해 예측 블록과 더해지고 복원 블록이 생성될 수 있다.
복원 블록은 필터부(180)를 거치고, 필터부(180)는 디블록킹 필터(deblocking filter), SAO(Sample Adaptive Offset), ALF(Adaptive Loop Filter) 중 적어도 하나 이상을 복원 블록 또는 복원 픽쳐에 적용할 수 있다. 필터부(180)를 거친 복원 블록은 참조 영상 버퍼(190)에 저장될 수 있다.
도 2는 영상 복호화 장치의 일 실시예에 따른 구성을 나타내는 블록도이다. 도 1에서 상술한 바와 같이 스케일러블 비디오 부호화/복호화 방법 또는 장치는 스케일러빌리티를 제공하지 않는 일반적인 영상 부호화/복호화 방법 또는 장치의 확장에 의해 구현될 수 있으며, 도 2의 블록도는 스케일러블 비디오 복호화 장치의 기초가 될 수 있는 영상 복호화 장치의 일 실시예를 나타낸다.
도 2를 참조하면, 상기 영상 복호화 장치(200)는 엔트로피 복호화부(210), 역양자화부(220), 역변환부(230), 인트라 예측부(240), 움직임 보상부(250), 필터부(260) 및 참조 영상 버퍼(270)를 포함한다.
영상 복호화 장치(200)는 부호화 장치에서 출력된 비트스트림을 입력 받아 인트라 모드 또는 인터 모드로 복호화를 수행하고 재구성된 영상, 즉 복원 영상을 출력할 수 있다. 인트라 모드인 경우 스위치가 인트라로 전환되고, 인터 모드인 경우 스위치가 인터로 전환될 수 있다. 영상 복호화 장치(200)는 입력 받은 비트스트림으로부터 복원된 잔여 블록(residual block)을 얻고 예측 블록을 생성한 후 복원된 잔여 블록과 예측 블록을 더하여 재구성된 블록, 즉 복원 블록을 생성할 수 있다.
엔트로피 복호화부(210)는, 입력된 비트스트림을 확률 분포에 따라 엔트로피 복호화하여, 양자화된 계수(quantized coefficient) 형태의 심볼을 포함한 심볼들을 생성할 수 있다. 엔트로피 복호화 방법은 2진수의 열을 입력 받아 각 심볼들을 생성하는 방법이다. 엔트로피 복호화 방법은 상술한 엔트로피 부호화 방법과 유사하다.
양자화된 계수는 역양자화부(220)에서 역양자화되고 역변환부(230)에서 역변환되며, 양자화된 계수가 역양자화/역변환 된 결과, 복원된 잔여 블록(residual block)이 생성될 수 있다.
인트라 모드인 경우, 인트라 예측부(240)는 현재 블록 주변의 이미 부호화된 블록의 화소값을 이용하여 공간적 예측을 수행하여 예측 블록을 생성할 수 있다. 인터 모드인 경우, 움직임 보상부(250)는 움직임 벡터 및 참조 영상 버퍼(270)에 저장되어 있는 참조 영상을 이용하여 움직임 보상을 수행함으로써 예측 블록을 생성할 수 있다.
복원된 잔여 블록과 예측 블록은 가산기(255)를 통해 더해지고, 더해진 블록은 필터부(260)를 거친다. 필터부(260)는 디블록킹 필터, SAO, ALF 중 적어도 하나 이상을 복원 블록 또는 복원 픽쳐에 적용할 수 있다. 필터부(260)는 재구성된 영상, 즉 복원 영상을 출력한다. 복원 영상은 참조 영상 버퍼(270)에 저장되어 화면 간 예측에 사용될 수 있다.
상기 영상 복호화 장치(200)에 포함되어 있는 엔트로피 복호화부(210), 역양자화부(220), 역변환부(230), 인트라 예측부(240), 움직임 보상부(250), 필터부(260) 및 참조 영상 버퍼(270) 중 영상의 복호화에 직접적으로 관련된 구성요소들, 예컨대, 엔트로피 복호화부(210), 역양자화부(220), 역변환부(230), 인트라 예측부(240), 움직임 보상부(250), 필터부(260) 등을 다른 구성요소와 구분하여 복호화부 또는 디코딩부로 표현할 수 있다.
또한, 영상 복호화 장치(200)는 비트스트림에 포함되어 있는 인코딩된 영상에 관련된 정보를 파싱하는 도시하지 않은 파싱부를 더 포함할 수 있다. 파싱부는 엔트로피 복호화부(210)를 포함할 수도 있고, 엔트로피 복호화부(210)에 포함될 수도 있다. 이러한 파싱부는 또한 디코딩부의 하나의 구성요소로 구현될 수도 있다.
도 3은 본 발명이 적용될 수 있는, 복수 계층을 이용한 스케일러블 비디오 코딩 구조의 일 실시예를 개략적으로 나타내는 개념도이다. 도 3에서 GOP(Group of Picture)는 픽쳐군 즉, 픽쳐의 그룹을 나타낸다.
영상 데이터를 전송하기 위해서는 전송 매체가 필요하며, 그 성능은 다양한 네트워크 환경에 따라 전송 매체별로 차이가 있다. 이러한 다양한 전송 매체 또는 네트워크 환경에의 적용을 위해 스케일러블 비디오 코딩 방법이 제공될 수 있다.
스케일러블 비디오 코딩 방법은 계층(layer) 간의 텍스쳐 정보, 움직임 정보, 잔여 신호 등을 활용하여 계층간 중복성을 제거하여 부호화/복호화 성능을 높이는 코딩 방법이다. 스케일러블 비디오 코딩 방법은, 전송 비트율, 전송 에러율, 시스템 자원 등의 주변 조건에 따라, 공간적, 시간적, 화질적 관점에서 다양한 스케일러빌리티를 제공할 수 있다.
스케일러블 비디오 코딩은, 다양한 네트워크 상황에 적용 가능한 비트스트림을 제공할 수 있도록, 복수 계층(multiple layers) 구조를 사용하여 수행될 수 있다. 예를 들어 스케일러블 비디오 코딩 구조는, 일반적인 영상 부호화 방법을 이용하여 영상 데이터를 압축하여 처리하는 기본 계층을 포함할 수 있고, 기본 계층의 부호화 정보 및 일반적인 영상 부호화 방법을 함께 사용하여 영상 데이터를 압축 처리하는 향상 계층을 포함할 수 있다.
여기서, 계층(layer)은 공간(spatial, 예를 들어, 영상 크기), 시간(temporal, 예를 들어, 부호화 순서, 영상 출력 순서, 프레임 레이트), 화질, 복잡도 등을 기준으로 구분되는 영상 및 비트스트림(bitstream)의 집합을 의미한다. 또한 기본 계층은 하위 계층, 참조 계층 또는 Base layer, 향상 계층은 상위 계층, Enhancement layer를 의미할 수 있다. 또한 복수의 계층들은 서로 간에 종속성을 가질 수도 있다.
도 3을 참조하면, 예를 들어 기본 계층은 SD(standard definition), 15Hz의 프레임율, 1Mbps 비트율로 정의될 수 있고, 제1 향상 계층은 HD(high definition), 30Hz의 프레임율, 3.9Mbps 비트율로 정의될 수 있으며, 제2 향상 계층은 4K-UHE(ultra high definition), 60Hz의 프레임율, 27.2Mbps 비트율로 정의될 수 있다. 상기 포맷(format), 프레임율, 비트율 등은 하나의 실시예로서, 필요에 따라 달리 정해질 수 있다. 또한 사용되는 계층의 수도 본 실시예에 한정되지 않고 상황에 따라 달리 정해질 수 있다.
예를 들어, 전송 대역폭이 4Mbps라면 상기 제1향상계층 HD의 프레임 레이트를 줄여서 15Hz이하로 전송할 수 있다. 스케일러블 비디오 코딩 방법은 상기 도 3의 실시예에서 상술한 방법에 의해 시간적, 공간적, 화질적 스케일러빌리티를 제공할 수 있다.
비트스트림 내 복수의 계층을 지원하는 비디오의 부호화 및 복호화, 즉 스케일러블 코딩(scalable coding)의 경우, 복수의 계층간에는 강한 연관성(correlation)이 존재하기 때문에 이런 연관성을 이용하여 예측을 수행하면 데이터의 중복 요소를 제거할 수 있고 영상의 부호화 성능을 향상시킬 수 있다. 다른 계층의 정보를 이용하여 예측의 대상이 되는 현재 레이어의 예측을 수행하는 것을 이하에서는 계층간 예측(inter-layer prediction)이라고 표현한다. 스케일러블 비디오 코딩은 이하 부호화 관점에서는 스케일러블 비디오 부호화, 복호화 관점에서는 스케일러블 비디오 복호화와 동일한 의미를 가진다.
복수의 계층들은 해상도, 프레임 레이트, 컬러 포맷 중 적어도 하나가 서로 다를 수 있으며, 계층간 예측 시 해상도의 조절을 위하여 레이어의 업샘플링 또는 다운샘플링이 수행될 수 있다.
도 4는 본 발명의 일 실시예에 따라 공간 화질 계층 및 시점 계층을 개략적으로 나타내는 개념도이다.
도시된 바와 같이, 비트스트림은 복수의 계층을 포함할 수 있다.
비트스트림은 공간(spatial) 및 화질(quality)은 동일하지만 상이한 시점(view)에 대한 복수의 시점 계층(시점 1, 시점 2, 시점 3)을 포함할 수 있다.
또한, 비트스트림은 시점은 동일하지만 공간 및 화질이 상이한 계층으로 구성될 수도 있다. 공간 화질 계층은 SD 급 계층과 HD 급 계층으로 분류될 수 있으며, SD 급 계층과 HD 급 계층은 또 다시 기본 계층과 향상 계층으로 구성될 수 있다.
도시된 바와 같이 공간, 화질 및 시점이 혼재되어 있는 계층을 식별하기 위하여 각 계층은 식별자(layer_id)로 서로 구분할 수 있다. 각 식별자가 어떠한 계층(예컨대, 시점 계층, 공간 및 화질 계층)인지, 계층 내에서 상위 계층인지 하위 계층인지에 대한 정보는 VPS(video parameter set) 또는 SPS(sequence parameter set), NAL 유닛 헤더(nal unit header) 등에 포함되어 시그널링 될 수 있다.
상술한 바와 같이, 계층간의 연관성을 이용하여 계층간 예측을 수행하는 경우, 적어도 하나 이상의 하위 계층을 참조하여 상위 계층을 예측하게 된다. 이하, 설명의 편의를 위하여 예측이 수행되는 계층을 대상 계층이라고 명명하고, 대상 계층의 예측에 이용되는 또는 참조되는 계층을 참조 계층이라고 표현한다.
본 발명은 동일한 슬라이드내의 블록들을 부호화하는 경우에 한 개 이상의 참조 계층을 이용하여 부호화함에 있어서 공간, 화질, 시점 스케일러빌리티의 부호화 효율을 고려한 효율적인 참조 계층 리스트 생성 및 관리를 위한 발명이다.
통상적으로 화면간 예측은 현재 픽쳐의 이전 픽쳐 또는 이후 픽쳐 중 적어도 하나를 참조 픽쳐로 하고, 참조 픽쳐를 기반으로 현재 블록에 대한 예측을 수행할 수 있다. 현재 블록의 예측에 이용되는 영상을 참조 픽쳐(reference picture) 또는 참조 프레임(reference frame)이라고 한다.
참조 픽쳐 내의 영역은 참조 픽쳐를 지시하는 참조 픽쳐 인덱스(refIdx) 및 움직임 벡터(motion vector) 등을 이용하여 나타낼 수 있다.
화면간 예측은 참조 픽쳐 및 참조 픽쳐 내에서 현재 블록에 대응하는 참조 블록을 선택해서, 현재 블록에 대한 예측 블록을 생성할 수 있다.
화면 간 예측에서 부호화 장치 및 복호화 장치는 현재 블록의 움직임 정보를 도출한 후, 도출된 움직임 정보에 기반하여 화면 간 예측 및/또는 움직임 보상을 수행할 수 있다. 이 때, 부호화 장치 및 복호화 장치는 복원된 주변 블록(neighboring block) 및/또는 이미 복원된 콜(col) 픽쳐(collocated picture) 내에서 현재 블록에 대응되는 콜(col) 블록(collocated block)의 움직임 정보를 이용함으로써, 부호화/복호화 효율을 향상시킬 수 있다.
여기서, 복원된 주변 블록은 이미 부호화 및/또는 복호화되어 복원된 현재 픽쳐 내의 블록으로서, 현재 블록에 인접한 블록 및/또는 현재 블록의 외부 코너에 위치한 블록을 포함할 수 있다. 또한 부호화 장치 및 복호화 장치는, 콜 픽쳐 내에서 현재 블록과 공간적으로 대응되는 위치에 존재하는 블록을 기준으로 소정의 상대적인 위치를 결정할 수 있고, 상기 결정된 소정의 상대적인 위치(상기 현재 블록과 공간적으로 대응되는 위치에 존재하는 블록의 내부 및/또는 외부의 위치)를 기반으로 상기 콜 블록을 도출할 수 있다. 여기서, 일례로 콜 픽쳐는 참조 픽쳐 리스트에 포함된 참조 픽쳐 중에서 하나의 픽쳐에 해당될 수 있다.
화면간 예측은 현재 블록과의 레지듀얼(residual) 신호가 최소화되며 움직임 벡터 크기 역시 최소가 되도록 예측 블록을 생성할 수 있다.
한편, 움직임 정보 도출 방식은 현재 블록의 예측 모드에 따라 달라질 수 있다. 인터 예측을 위해 적용되는 예측 모드에는 AMVP(Advanced Motion Vector Predictor), 머지(merge) 등이 있을 수 있다.
일례로, AMVP(Advanced Motion Vector Predictor)가 적용되는 경우, 부호화 장치 및 복호화 장치는 복원된 주변 블록의 움직임 벡터 및/또는 콜 블록의 움직임 벡터를 이용하여, 예측 움직임 벡터 후보 리스트를 생성할 수 있다. 즉, 복원된 주변 블록의 움직임 벡터 및/또는 콜 블록의 움직임 벡터는 예측 움직임 벡터 후보로 사용될 수 있다. 부호화 장치는 상기 리스트에 포함된 예측 움직임 벡터 후보 중에서 선택된 최적의 예측 움직임 벡터를 지시하는 예측 움직임 벡터 인덱스를 복호화 장치로 전송할 수 있다. 이 때, 복호화 장치는 상기 예측 움직임 벡터 인덱스를 이용하여, 예측 움직임 벡터 후보 리스트에 포함된 예측 움직임 벡터 후보 중에서, 현재 블록의 예측 움직임 벡터를 선택할 수 있다.
부호화 장치는 현재 블록의 움직임 벡터와 예측 움직임 벡터 간의 움직임 벡터 차분(MVD: Motion Vector Difference)을 구할 수 있고, 이를 부호화하여 복호화 장치로 전송할 수 있다. 이 때, 복호화 장치는 수신된 움직임 벡터 차분을 복호화할 수 있고, 복호화된 움직임 벡터 차분과 예측 움직임 벡터의 합을 통해 현재 블록의 움직임 벡터를 도출할 수 있다.
부호화 장치는 또한 참조 픽쳐를 지시하는 참조 픽쳐 인덱스 등을 복호화 장치에 전송할 수 있다.
복호화 장치는 주변 블록의 움직임 정보들을 이용하여 현재 블록의 움직임 벡터를 예측하고, 부호화 장치로부터 수신한 레지듀얼을 이용하여 현재 블록에 대한 움직임 벡터를 유도할 수 있다. 복호화 장치는 유도한 움직임 벡터와 부호화 장치로부터 수신한 참조 픽쳐 인덱스 정보를 기반으로 현재 블록에 대한 예측 블록을 생성할 수 있다.
다른 예로, 머지(merge)가 적용되는 경우, 부호화 장치 및 복호화 장치는 복원된 주변 블록의 움직임 정보 및/또는 콜 블록의 움직임 정보를 이용하여, 머지 후보 리스트를 생성할 수 있다. 즉, 부호화 장치 및 복호화 장치는 복원된 주변 블록 및/또는 콜 블록의 움직임 정보가 존재하는 경우, 이를 현재 블록에 대한 머지 후보로 사용할 수 있다.
부호화 장치는 머지 후보 리스트에 포함된 머지 후보 중에서 최적의 부호화 효율을 제공할 수 있는 머지 후보를 현재 블록에 대한 움직임 정보로 선택할 수 있다. 이 때, 상기 선택된 머지 후보를 지시하는 머지 인덱스가 비트스트림에 포함되어 복호화 장치로 전송될 수 있다. 복호화 장치는 상기 전송된 머지 인덱스를 이용하여, 머지 후보 리스트에 포함된 머지 후보 중에서 하나를 선택할 수 있으며, 상기 선택된 머지 후보를 현재 블록의 움직임 정보로 결정할 수 있다. 따라서, 머지 모드가 적용되는 경우, 복원된 주변 블록 및/또는 콜 블록의 움직임 정보가 현재 블록의 움직임 정보로 그대로 사용될 수 있다. 복호화 장치는 예측 블록과 부호화 장치로부터 전송되는 레 지듀얼을 더하여 현재 블록을 복원할 수 있다.
상술한 AMVP 및 머지 모드에서는, 현재 블록의 움직임 정보를 도출하기 위해, 복원된 주변 블록의 움직임 정보 및/또는 콜 블록의 움직임 정보가 사용될 수 있다.
화면 간 예측에 이용되는 다른 모드 중 하나 인 스킵 모드의 경우에, 주변 블록의 정보를 그대로 현재 블록에 이용할 수 있다. 따라서 스킵 모드의 경우에, 부호화 장치는 현재 블록의 움직임 정보로서 어떤 블록의 움직임 정보를 이용할 것인지를 지시하는 정보 외에 레지듀얼 등과 같은 신택스 정보를 복호화 장치에 전송하지 않는다.
부호화 장치 및 복호화 장치는 상기 도출된 움직임 정보에 기반하여 현재 블록에 대한 움직임 보상을 수행함으로써, 현재 블록의 예측 블록을 생성할 수 있다. 여기서, 예측 블록은 현재 블록에 대한 움직임 보상 수행 결과 생성된, 움직임 보상된 블록을 의미할 수 있다. 또한, 복수의 움직임 보상된 블록은 하나의 움직임 보상된 영상을 구성할 수 있다.
복호화 장치는 현재 블록의 인터 예측에 필요한 움직임 정보, 예컨대 움직임 벡터, 참조 픽쳐 인덱스 등에 관한 정보를 부호화 장치로부터 수신한 스킵 플래그, 머지 플래그 등을 확인하고 이에 대응하여 유도할 수 있다.
예측이 수행되는 처리 단위와 예측 방법 및 구체적인 내용이 정해지는 처리 단위는 서로 다를 수 있다. 예컨대, 예측 블록 단위로 예측모드가 정해져서 변환 블록 단위로 예측이 수행될 수도 있고, 예측 블록 단위로 예측 모드가 정해지고 변환 블록 단위로 화면 내 예측이 수행될 수 도 있다.
도 5는 본 발명의 일 실시예에 따른 부호화 장치에서 상위 계층의 부호화를 수행하는 방법을 설명하기 위한 제어흐름도이다.
이하에서는 도 5를 참조하여 적어도 한가지 이상의 스케일러빌리티 (예를 들어, 공간, 화질, 시점 스케일러빌리티)를 지원하며 다 계층 구조를 사용하는 비디오 부호화 방법에 있어서 상위 계층의 부호화를 수행하는 방법, 보다 구체적으로 대상 영상이 참조할 수 있는 참조 계층 리스트를 구성하는 방법에 대하여 살펴본다.
우선, 부호화 장치는 현재 부호화 대상 영상이 참조할 수 있는 계층의 리스트를 구성한다(S510).
부호화 장치는 현재 부호화 대상 계층의 하위계층들 가운데 현재 부호화 대상 계층이 부호화 시 동일 시점 내에서 참조할 수 있는 적어도 한 개 이상의 계층들을 포함하는 참조 계층 리스트를 구성할 수 있다. 참조 계층 리스트는 하기 설명된 방법 중 적어도 하나에 따라 구성될 수 있다.
첫 번째 실시예에 따르면, 부호화 장치는 전체 비트스트림에서 현재 부호화 대상 계층과 동일한 계층들이 참조할 수 있는 참조 계층 리스트를 구성할 수 있다.
부호화 장치는 대상 계층과 동일한 계층들이 참조 가능한 참조 계층들을 임의의 순서로 구성하여 참조 계층 리스트를 생성할 수 있다.
또는 참조 계층들 가운데 layer_id 값이 대상 계층의 layer_id 값과 차이가 적은 계층 (즉, 가까운 계층)부터 차이가 큰 계층 순서로 구성될 수 있다.
또는 현재 부호화 대상 계층의 참조 계층 리스트는 참조 계층들 가운데 우선 순위(priority)가 높은 계층부터 낮은 계층의 순서로 구성될 수 있다.
우선 순위와 관련된 정보는 NAL 유닛 헤더(NALU header) 혹은 비디오 파라미터 세트(video parameter set) 등에 포함되어 시그널링될 수 있다.
또는 현재 부호화 대상 계층과 동일 시점을 가지는 계층에 대해서는 현재 부호화 대상 계층과 공간 해상도 차이가 작은 계층부터 큰 계층 순으로 참조계층 리스트가 구성될 수 있다. 이때, 동일한 공간 해상도에서의 화질 참조 계층 순서는 현재 부호화 대상 계층의 layer_id 값과 차이가 작은 계층(즉, 가까운 계층)부터 큰 계층 순서일 수 있다.
추가적으로, 현재 부호화 대상 계층의 시점과 가까운 시점부터 먼 시점순으로 계층들을 참조계층 리스트에 포함시킬 수 있다. 동일한 시점 내의 계층들을 참조계층 리스트에 포함시키는 순서는 상술한 현재 부호화 대상 계층과 동일한 시점을 갖는 계층들과 동일한 방식을 적용할 수 있다.
예를 들어, 도 4와 같은 비트스트림 구조에서 layer_id 가 n인 계층의 참조 계층 리스트는 layer_id 가 n-1, n-2, n-3, n-4, n-5, n-6, n-7, n-8, n-9, n-10, n-11인 계층의 순서로 구성될 수 있다.
또는 현재 부호화 대상 계층과 동일 시점의 참조 계층을 포함하는 참조 계층 리스트는 현재 부호화 대상 계층과 공간 해상도 차이가 작은 계층부터 큰 계층 순으로 구성될 수 있다. 이때, 동일한 공간 해상도에서의 화질 참조 계층 순서는 부호화하고자 하는 양자화 파라미터(quantization parameter)값이 낮은 값에서 높은 값의 순서(즉, 복호시 화질이 좋은 계층부터 낮은 계층순서) 일 수 있다.
추가적으로, 현재 부호화 대상 계층의 시점과 가까운 시점부터 먼 시점순으로 계층들을 참조계층 리스트에 포함시킬 수 있다. 동일한 시점 내의 계층들을 참조계층 리스트에 포함시키는 순서는 상술한 현재 부호화 대상 계층과 동일한 시점을 갖는 계층들과 동일한 방식을 적용할 수 있다.
대상 계층이 참조하는 참조 계층에 대하여는 비트스트림 내 시그널링되는layer_id을 이용하여 기술될 수 있다. 참조 계층을 기술하고 있는 비디오 파라미터 세트(video parameter set)에 대한 예는 표 1 및 표 2와 같다.
표 1
Figure PCTKR2013012135-appb-T000001
표 1을 참조하면, num_direct_ref_layers[i]는 i번째 계층 (즉, nuh_layer_id[i]의 layer_id를 가지는 계층)이 직접적으로 참조하는 참조 계층의 수를 나타낸다.
ref_layer_id[i][j]는 i번째 계층이 참조하는 j번째 참조 계층의 layer_id를 나타낸다. 즉, ref_layer_id[i][j]는 layer_id가 nuh_layer_id[i]인 계층이 layer_id가 nuh_layer_id[j]인 계층을 참조하는 것을 의미한다.
표 2
Figure PCTKR2013012135-appb-T000002
표 2를 참조하면, direct_dependency_flag[i][j]이 1이면, i번째 계층 (즉, nuh_layer_id[i]의 layer_id를 가지는 계층)이 j번째 참조 계층(즉, nuh_layer_id[j]의 layer_id를 가지는 계층)을 직접적으로 참조하는 것을 나타낸다.
max_one_active_ref_layer_flag이 1이면, 전체 비트스트림에서 각 영상(picture), 즉 i번째 계층의 계층간 예측을 위해 최대 한 개의 영상이 사용되는 것을 나타낸다. max_one_active_ref_layer_flag가 0이면, 비트스트림내의 특정 영상 즉, i번째 계층의 계층간 예측을 위하여 한 개보다 많은 영상이 사용될 수도 있음을 나타낼 수 있다. 또는 혹은 max_one_active_ref_layer_flag가 0인 경우는 i번째 계층이 계층간 예측을 사용하지 않음을 나타낼 수도 있다.
한편, max_one_active_ref_layer_flag는 각 계층 마다 시그널링 될 수도 있고, 전체 비트스트림에서 한 번만 시그널링될 수도 있다.
max_one_active_ref_layer_flag이 전체 비트스트림에서 한 번 시그널링될 때, 모든 계층들이 하나의 참조 계층만을 참조할 때 max_one_active_ref_layer_flag 의 값은 1이 될 수 있다. 따라서, max_one_active_ref_layer_flag 값이 0이더라도 특정 계층의 참조 계층의 개수를 나타내는 slice_numdirect_ref_layers 값이 ‘1’이 될 수 있다.
참조계층 리스트를 구성하는 두 번째 실시예에 따르면, 부호화 장치는 현재 부호화하고자 하는 대상 영상이 참조 가능한 참조 계층 리스트를 구성할 수 있다. 이는 현재 부호화하고자 하는 영상의 현재 부호화 대상 계층이 참조할 수 있는 참조계층 리스트를 구성하는 것으로, 하기의 방법 가운데 하나로 구성할 수 있다.
부호화 장치는 참조 계층들을 임의의 순서로 구성하여 현재 부호화 대상 영상이 참조할 수 있는 참조 계층 리스트를 생성할 수 있다.
또는 부호화 장치는 참조 계층들 가운데 layer_id 값이 부호화 대상 계층의 layer_id 값과 차이가 적은 계층 (즉, 가까운 계층)부터 큰 계층 순서로 구성하여 참조 계층 리스트를 생성할 수 있다.
또는 참조 계층 리스트는 대상 계층과 동일 시점을 갖는 참조 계층들 가운데 우선 순위(priority)가 높은 계층부터 낮은 계층의 순서로 구성될 수 있다.
이때, 우선 순위와 관련된 정보는 NAL 유닛 헤더(NALU header) 혹은 비디오 파라미터 세트(video parameter set) 등에 포함되어 시그널링될 수 있다.
또는 현재 부호화 대상 계층과 동일 시점의 계층들로 구성될 수 있는 참조 계층 리스트는 현재 부호화 대상 계층과 공간 해상도 차이가 적은 계층부터 큰 계층 순으로 구성될 수 있다. 이때, 동일한 공간 해상도를 갖는 참조 계층의 순서는 현재 부호화 대상 계층의 layer_id 값과 차이가 작은 계층(즉, 가까운 계층)부터 큰 계층 순서일 수 있다.
추가적으로, 현재 부호화 대상 계층의 시점과 가까운 시점부터 먼 시점순으로 계층들을 참조계층 리스트에 포함시킬 수 있다. 동일한 시점 내의 계층들을 참조계층 리스트에 포함시키는 순서는 상술한 현재 부호화 대상 계층과 동일한 시점을 갖는 계층들과 동일한 방식을 적용할 수 있다.
예를 들어, 도 4와 같은 비트스트림 구조에서 layer_id 가 n인 계층의 참조 계층 리스트는 layer_id 가 n-1, n-2, n-3, n-4, n-5, n-6, n-7, n-8, n-9, n-10, n-11인 계층의 순서로 구성될 수 있다.
또는 현재 부호화 대상 계층과 동일 시점을 갖는 계층들로 구성되는 참조 계층 리스트는 참조 계층들 가운데 현재 부호화 대상 계층과 공간 해상도 차이가 작은 계층부터 큰 계층 순으로 구성될 수 있다. 이때, 동일한 공간 해상도에서의 화질 참조 계층 순서는 부호화하고자 하는 양자화 파라미터(quantization parameter)값이 낮은 값에서 높은 값의 순서(즉, 복호시 화질이 좋은 계층부터 낮은 계층순서) 일 수 있다.
추가적으로, 현재 부호화 대상 계층의 시점과 가까운 시점부터 먼 시점순으로 계층들을 참조계층 리스트에 포함시킬 수 있다. 동일한 시점 내의 계층들을 참조계층 리스트에 포함시키는 순서는 상술한 현재 부호화 대상 계층과 동일한 시점을 갖는 계층들과 동일한 방식을 적용할 수 있다.
현재 부호화 대상 계층의 해당 슬라이스가 부호화시 참조할 수 있는 참조 계층은 다양한 방법을 통하여 기술될 수 있다. 이하, 표 3 내지 표 24를 참조하여 슬라이스 헤더(slice header0에서 참조 계층들을 기술하여 시그널링 하는 것을 설명한다.
표 3부터 표 11에 대응하는 실시예에 따르면, 슬라이스 헤더는 비디오 파라미터 세트에서 시그널링 되는 전체 비트스트림에서 현재 부호화 대상 계층과 동일한 계층들이 참조할 수 있는 참조계층들의 서브 세트(sub-set) 가운데 현재 부호화하고자 하는 해당 슬라이스가 참조할 수 있는 계층들의 정보를 포함하고 있다.
이 때, 현재 부호화하고자 하는 해당 슬라이스가 계층간 예측을 사용하여 부호화되는 경우에만, 표 3부터 표 10의 신택스 중 어느 하나가 적용될 수도 있다.
표 3
Figure PCTKR2013012135-appb-T000003
표 3을 참조하면, slice_num_direct_ref_layers는 해당 영상이 직접적으로 참조하는 참조계층의 수를 나타낸다. slice_num_direct_ref_layers로 특정되는 참조 계층의 수는 비디오 파라미터 세트에서 시그널링되는 해당 영상과 동일한 layer_id (즉, nuh_layer_id)를 갖는 계층들이 참조하는 참조계층의 수(즉, NumDirectRefLayers[nuh_layer_id])와 같거나 작아야 한다.
ref_layer_id[j]는 해당 영상이 직접적으로 참조하는 j번째 참조계층의 layer_id를 나타낸다.
표 4
Figure PCTKR2013012135-appb-T000004
표 4를 참조하면, slice_num_direct_ref_layers는 해당 영상이 직접적으로 참조하는 참조계층의 수를 나타낸다. slice_num_direct_ref_layers로 특정되는 참조 계층의 수는 비디오 파라미터 세트에서 시그널링되는 해당 영상과 동일한 layer_id (즉, nuh_layer_id)를 갖는 계층들이 참조하는 참조계층의 수(즉, NumDirectRefLayers[nuh_layer_id])와 같거나 작아야 한다.
ref_layer_id_delta[j]는 해당 영상이 직접적으로 참조하는 j번째 참조계층의 layer_id와 j-1번째 참조계층의 layer_id의 차이를 나타낸다. 이때, 레이어 id의 차이값이 “0”에 가까울수록 현재 영상은현재 영상이 해당하는 계층과 가까운 layer_id를 갖는 참조 계층을 참조하는 것을 의미한다. 이 때, ref_layer_id_delta[0]은 0번째 참조계층의 layer_id와 현재 영상이 속하는 계층의 layer_id와의 차이를 나타낸다.
표 5
Figure PCTKR2013012135-appb-T000005
표 5를 참조하면, slice_num_direct_ref_layers는 해당 영상이 직접적으로 참조하는 참조계층의 수를 나타낸다. slice_num_direct_ref_layers로 특정되는 참조 계층의 수는 비디오 파라미터 세트에서 시그널링되는 해당 영상과 동일한 layer_id (즉, nuh_layer_id)를 가지는 계층들이 참조하는 참조계층의 수(즉, NumDirectRefLayers[nuh_layer_id])와 같거나 작아야 한다.
ref_layer_idx_delta[j]: 해당 영상이 직접적으로 참조하는 j번째 참조계층의 인덱스(비디오 파라미터 세트에서 기술된 인덱스 기준)와 j-1번째 참조계층의 인덱스(비디오 파라미터 세트에서 기술된 인덱스 기준)의 차이를 나타낸다. 이때, ref_layer_idx_delta[0]는 0번째 참조계층의 인덱스를 나타낸다.
표 6
Figure PCTKR2013012135-appb-T000006
표 6을 참조하면, slice_num_direct_ref_layers는 해당 영상이 직접적으로 참조하는 참조계층의 수를 나타낸다. slice_num_direct_ref_layers로 특정되는 참조 계층의 수는 비디오 파라미터 세트에서 시그널링되는 해당 영상과 동일한 layer_id (즉, nuh_layer_id)를 가지는 계층들이 참조하는 참조계층의 수(즉, NumDirectRefLayers[nuh_layer_id])와 같거나 작아야 한다.
ref_layer_idx[j]은 해당 영상이 직접적으로 참조하는 j번째 참조 계층의 인덱스(비디오 파라미터 세트에서 기술된 인덱스 기준)를 나타낸다.
표 7
Figure PCTKR2013012135-appb-T000007
표 7을 참조하면, slice_num_direct_ref_layers는 해당 영상이 직접적으로 참조하는 참조계층의 수를 나타낸다. slice_num_direct_ref_layers로 특정되는 참조 계층의 수는 비디오 파라미터 세트에서 시그널링되는 해당 영상과 동일한 layer_id (즉, nuh_layer_id )를 가지는 계층들이 참조하는 참조계층의 수 (즉, NumDirectRefLayers[nuh_layer_id])와 같거나 작아야 한다. slice_num_direct_ref_layers 가 “0”인 경우는 비디오 파라미터 세트에서 시그널링 되는 해당 영상과 동일한 계층에 해당하는 참조계층을 현재 영상의 참조계층으로 사용할 수 있다는 것을 의미한다.
ref_layer_id [j]는 해당 영상이 직접적으로 참조하는 j번째 참조계층의 layer_id를 나타낸다.
표 8
Figure PCTKR2013012135-appb-T000008
표 8을 참조하면, slice_num_direct_ref_layers는 해당 영상이 직접적으로 참조하는 참조계층의 수를 나타낸다. slice_num_direct_ref_layers로 특정되는 참조 계층의 수는 비디오 파라미터 세트에서 시그널링되는 해당 영상과 동일한 layer_id (즉, nuh_layer_id)를 가지는 계층들이 참조하는 참조계층의 수 (즉, NumDirectRefLayers[nuh_layer_id])와 같거나 작아야 한다. slice_num_direct_ref_layers 가 “0”인 경우는 비디오 파라미터 세트에서 시그널링 되는 해당 영상과 동일한 계층에 해당하는 참조계층을 현재 영상의 참조계층으로 사용할 수 있다는 것을 나타낸다.
ref_layer_id_delta[j]는 해당 영상이 직접적으로 참조하는 j번째 참조계층의 layer_id와 j-1번째 참조계층의 layer_id의 차이를 나타낸다. 이때, 레이어 id의 차이값이 “0”에 가까울수록 현재 영상은현재 영상이 해당하는 계층과 가까운 layer_id를 갖는 참조 계층을 참조하는 것을 의미한다. ref_layer_id_delta[0]는 0번째 참조계층의 layer_id와 현재 영상이 해당하는 계층의 layer_id와의 차이를 나타낸다.
표 9
Figure PCTKR2013012135-appb-T000009
표 9를 참조하면, slice_num_direct_ref_layers는 해당 영상이 직접적으로 참조하는 참조계층의 수를 나타낸다. slice_num_direct_ref_layers로 특정되는 참조 계층의 수는 비디오 파라미터 세트에서 시그널링되는 해당 영상과 동일한 layer_id (즉, nuh_layer_id)를 가지는 계층들이 참조하는 참조계층의 수(즉, NumDirectRefLayers[nuh_layer_id])와 같거나 작아야 한다.
slice_num_direct_ref_layers 가 “0”인 경우, 비디오 파라미터 세트에서 시그널링 되는 해당 영상과 동일한 계층에 해당하는 참조계층을 현재 영상의 참조계층으로 사용할 수 있다는 것을 나타낸다.
ref_layer_idx_delta[j]는 해당 영상이 직접적으로 참조하는 j번째 참조계층의 인덱스(비디오 파라미터 세트에 기술된 인덱스 기준)와 j-1번째 참조계층의 인덱스(비디오 파라미터 세트에 기술된 인덱스 기준)의 차이를 나타낸다. ref_layer_idx_delta[0]는 0번째 참조계층의 인덱스를 나타낸다.
표 10
Figure PCTKR2013012135-appb-T000010
표 10을 참조하면, slice_num_direct_ref_layers는 해당 영상이 직접적으로 참조하는 참조계층의 수를 나타낸다. slice_num_direct_ref_layers로 특정되는 참조 계층의 수는 비디오 파라미터 세트에서 시그널링되는 해당 영상과 동일한 layer_id (즉, nuh_layer_id)를 가지는 계층들이 참조하는 참조계층의 수(즉, NumDirectRefLayers[nuh_layer_id])와 같거나 작아야 한다.
slice_num_direct_ref_layers 가 “0”인 경우는 비디오 파라미터 세트에서 시그널링 되는 해당 영상과 동일한 계층에 해당하는 참조계층을 현재 영상의 참조계층으로 사용할 수 있다는 것을 의미한다.
ref_layer_idx[j]는 해당 영상이 직접적으로 참조하는 j번째 참조계층의 인덱스(비디오 파라미터 세트에 기술된 인덱스 기준)를 나타낸다.
표 11부터 표 14에 대응하는 실시예에 따르면, 비디오 파라미터 세트에서 시그널링 되는 현재 부호화 대상계층과 동일한 계층들이 참조할 수 있는 참조계층들을 현재 부호화하고자 하는 해당 슬라이스에서 동일하게 사용하는지 여부를 알려주는 플래그, 예컨대, layer_dependency_vps_flag를 슬라이스 헤더에 시그널링한다.
플래그가 "1"인 경우에는 비디오 파라미터 세트에서 시그널링되는 참조계층 정보가 사용되고, 플래그가 "0"인 경우에는 슬라이스 헤더에서 기술되는 참조계층들의 정보가 사용될 수 있다.
이 때, 현재 부호화하고자 하는 해당 슬라이스 혹은 픽쳐가 계층간 예측을 사용하여 부호화하는 경우에만, 표 11부터 표 14의 신택스 중 어느 하나가 적용될 수도 있다.
표 11
Figure PCTKR2013012135-appb-T000011
표 11을 참조하면, layer_dependency_vps_flag는 참조계층 정보를 슬라이스 헤더 또는 슬라이스 세그먼트 헤더(slice segment header)에서 시그널링 하는지 여부를 나타낸다. layer_dependency_vps_flag가 “0”인 경우 슬라이스 세그먼트 헤더에서 참조계층 정보를 시그널링 한다. layer_dependency_vps_flag가 “1”인 경우는 슬라이스 세그먼트 헤더에서 참조계층 정보를 시그널링 하지 않고 비디오 파라미터 세트 확장(VPS extension)에서 시그널링된 참조계층 정보를 해당 영상의 참조계층 정보로 사용할 수 있다.
slice_num_direct_ref_layers는 해당 영상이 직접적으로 참조하는 참조계층의 수를 나타낸다. slice_num_direct_ref_layers로 특정되는 참조 계층의 수는 비디오 파라미터 세트에서 시그널링되는 해당 영상과 동일한 layer_id (즉, nuh_layer_id)를 가지는 계층들이 참조하는 참조계층의 수(즉, NumDirectRefLayers[nuh_layer_id])와 같거나 작아야 한다.
ref_layer_id[j]는 해당 영상이 직접적으로 참조하는 j번째 참조계층의 layer_id를 나타낸다.
표 12
Figure PCTKR2013012135-appb-T000012
표 12를 참조하면, layer_dependency_vps_flag는 참조계층 정보를 슬라이스 헤더 또는 슬라이스 세그먼트 헤더에서 시그널링 하는지 여부를 나타낸다. layer_dependency_vps_flag가 “0”인 경우 슬라이스 세그먼트 헤더에서 참조계층 정보를 시그널링 한다. layer_dependency_vps_flag가 “1”인 경우는 슬라이스 세그먼트 헤더에서 참조계층 정보를 시그널링 하지 않고 비디오 파라미터 세트 확장(VPS extension)에서 시그널링된 참조계층 정보를 해당 영상의 참조계층 정보로 사용할 수 있다.
slice_num_direct_ref_layers는 해당 영상이 직접적으로 참조하는 참조계층의 수를 나타낸다. slice_num_direct_ref_layers로 특정되는 참조 계층의 수는 비디오 파라미터 세트에서 시그널링되는 해당 영상과 동일한 layer_id (즉, nuh_layer_id)를 가지는 계층들이 참조하는 참조계층의 수(즉, NumDirectRefLayers[nuh_layer_id])와 같거나 작아야 한다.
ref_layer_id_delta[j]는 해당 영상이 직접적으로 참조하는 j번째 참조계층의 layer_id와 j-1번째 참조계층의 layer_id의 차이를 나타낸다. ref_layer_id_delta[0]는 ref_layer_id[0]와 현재 영상의 layer_id와의 차이를 나타낸다.
표 13
Figure PCTKR2013012135-appb-T000013
표 13을 참조하면, layer_dependency_vps_flag는 참조계층 정보를 슬라이스 헤더 또는 슬라이스 세그먼트 헤더에서 시그널링 하는지 여부를 나타낸다. layer_dependency_vps_flag가 “0”인 경우 슬라이스 세그먼트 헤더에서 참조계층 정보를 시그널링 한다. layer_dependency_vps_flag가 “1”인 경우는 슬라이스 세그먼트 헤더에서 참조계층 정보를 시그널링 하지 않고 비디오 파라미터 세트 확장(VPS extension)에서 시그널링된 참조계층 정보를 해당 영상의 참조계층 정보로 사용할 수 있다.
slice_num_direct_ref_layers는 해당 영상이 직접적으로 참조하는 참조계층의 수를 나타낸다. slice_num_direct_ref_layers로 특정되는 참조 계층의 수는 비디오 파라미터 세트에서 시그널링되는 해당 영상과 동일한 layer_id (즉, nuh_layer_id)를 가지는 계층들이 참조하는 참조계층의 수(즉, NumDirectRefLayers[nuh_layer_id])와 같거나 작아야 한다.
ref_layer_idx_delta[j]는 해당 영상이 직접적으로 참조하는 j번째 참조계층의 인덱스(비디오 파라미터 세트에 기술된 인덱스 기준)와 j-1번째 참조계층의 인덱스(비디오 파라미터 세트에 기술된 인덱스 기준)의 차이를 나타낸다. ref_layer_idx_delta[0]는 0번째 참조계층의 인덱스를 나타낸다.
표 14
Figure PCTKR2013012135-appb-T000014
표 14를 참조하면, layer_dependency_vps_flag는 참조계층 정보를 슬라이스 헤더 또는 슬라이스 세그먼트 헤더에서 시그널링 하는지 여부를 나타낸다. layer_dependency_vps_flag가 “0”인 경우 슬라이스 세그먼트 헤더에서 참조계층 정보를 시그널링 한다. layer_dependency_vps_flag가 “1”인 경우는 슬라이스 세그먼트 헤더에서 참조계층 정보를 시그널링 하지 않고 비디오 파라미터 세트 확장(VPS extension)에서 시그널링된 참조계층 정보를 해당 영상의 참조계층 정보로 사용할 수 있다.
slice_num_direct_ref_layers는 해당 영상이 직접적으로 참조하는 참조계층의 수를 나타낸다. slice_num_direct_ref_layers로 특정되는 참조 계층의 수는 비디오 파라미터 세트에서 시그널링되는 해당 영상과 동일한 layer_id (즉, nuh_layer_id)를 가지는 계층들이 참조하는 참조계층의 수(즉, NumDirectRefLayers[nuh_layer_id])와 같거나 작아야 한다.
ref_layer_idx [j]는 해당 영상이 직접적으로 참조하는 j번째 참조계층의 인덱스(비디오 파라미터 세트에 기술된 인덱스 기준)를 나타낸다.
표 15부터 표 18에 대응하는 실시예에 따르면, 현재 부호화하고자 하는 해당 슬라이스의 참조계층 수가 슬라이스 헤더에 포함되어 시그널링 (예를 들어, slice_num_direct_ref_layers)될 수 있다. 이 때, 참조계층들은 시그널링된 참조계층 수가 비디오 파라미터 세트에서 시그널링되는 현재 부호화 대상 계층과 동일한 계층들이 참조할 수 있는 참조계층 수(예를들어, NumDirectRefLayers[nuh_layer_id])와 동일하지 않은 경우에만 시그널링된다.
이 때, 현재 부호화하고자 하는 해당 슬라이스가 계층간 예측을 사용하여 부호화하는 경우에만, 표 15부터 표 18의 신택스 중 어느 하나가 적용될 수도 있다.
표 15
Figure PCTKR2013012135-appb-T000015
표 15를 참조하면, slice_num_direct_ref_layers는 해당 영상이 직접적으로 참조하는 참조계층의 수를 나타낸다. slice_num_direct_ref_layers로 특정되는 참조 계층의 수는 비디오 파라미터 세트에서 시그널링되는 해당 영상과 동일한 layer_id (즉, nuh_layer_id)를 가지는 계층들이 참조하는 참조계층의 수(즉, NumDirectRefLayers[nuh_layer_id])와 같거나 작아야 한다. NumDirectRefLayers[nuh_layer_id] 값과 slice_num_direc_ref_layers 값이 동일한 경우에는 VPS extension에서 시그널링되는 참조계층 정보를 해당 영상의 참조계층 정보로 사용하며, NumDirectRefLayers[nuh_layer_id] 값과 slice_num_direc_ref_layers 값이 동일하지 않은 경우에는 슬라이스 세크먼트 헤더에서 시그널링되는 참조계층 정보를 해당 영상의 참조계층 정보로 사용한다.
ref_layer_id[j]는 해당 영상이 직접적으로 참조하는 j번째 참조계층의 layer_id를 나타낸다.
표 16
Figure PCTKR2013012135-appb-T000016
표 16을 참조하면, slice_num_direct_ref_layers는 해당 영상이 직접적으로 참조하는 참조계층의 수를 나타낸다. slice_num_direct_ref_layers로 특정되는 참조 계층의 수는 비디오 파라미터 세트에서 시그널링되는 해당 영상과 동일한 layer_id (즉, nuh_layer_id)를 가지는 계층들이 참조하는 참조계층의 수(즉, NumDirectRefLayers[nuh_layer_id])와 같거나 작아야 한다. NumDirectRefLayers[nuh_layer_id] 값과 slice_num_direc_ref_layers 값이 동일한 경우에는 VPS extension에서 시그널링되는 참조계층 정보를 해당 영상의 참조계층 정보로 사용하며, NumDirectRefLayers[nuh_layer_id] 값과 slice_num_direc_ref_layers 값이 동일하지 않은 경우에는 슬라이스 세크먼트 헤더에서 시그널링되는 참조계층 정보를 해당 영상의 참조계층 정보로 사용한다.
ref_layer_id_delta[j]는 해당 영상이 직접적으로 참조하는 j번째 참조계층의 layer_id와 j-1번째 참조계층의 layer_id의 차이를 나타낸다. ref_layer_id_delta[0]는 ref_layer_id[0]와 현재 영상의 layer_id와의 차이를 나타낸다.
표 17
Figure PCTKR2013012135-appb-T000017
표 17을 참조하면, slice_num_direct_ref_layers는 해당 영상이 직접적으로 참조하는 참조계층의 수를 나타낸다. slice_num_direct_ref_layers로 특정되는 참조 계층의 수는 비디오 파라미터 세트에서 시그널링되는 해당 영상과 동일한 layer_id (즉, nuh_layer_id)를 가지는 계층들이 참조하는 참조계층의 수(즉, NumDirectRefLayers[nuh_layer_id])와 같거나 작아야 한다. NumDirectRefLayers[nuh_layer_id] 값과 slice_num_direc_ref_layers 값이 동일한 경우에는 VPS extension에서 시그널링되는 참조계층 정보를 해당 영상의 참조계층 정보로 사용하며, NumDirectRefLayers[nuh_layer_id] 값과 slice_num_direc_ref_layers 값이 동일하지 않은 경우에는 슬라이스 세크먼트 헤더에서 시그널링되는 참조계층 정보를 해당 영상의 참조계층 정보로 사용한다.
ref_layer_idx_delta[j]는 해당 영상이 직접적으로 참조하는 j번째 참조계층의 인덱스(비디오 파라미터 세트에 기술된 인덱스 기준)와 j-1번째 참조계층의 인덱스(비디오 파라미터 세트에 기술된 인덱스 기준)의 차이를 나타낸다. ref_layer_idx_delta[0]는 0번째 참조계층의 인덱스를 나타낸다.
표 18
Figure PCTKR2013012135-appb-T000018
표 18을 참조하면, slice_num_direct_ref_layers는 해당 영상이 직접적으로 참조하는 참조계층의 수를 나타낸다. slice_num_direct_ref_layers로 특정되는 참조 계층의 수는 비디오 파라미터 세트에서 시그널링되는 해당 영상과 동일한 layer_id (즉, nuh_layer_id)를 가지는 계층들이 참조하는 참조계층의 수(즉, NumDirectRefLayers[nuh_layer_id])와 같거나 작아야 한다. NumDirectRefLayers[nuh_layer_id] 값과 slice_num_direc_ref_layers 값이 동일한 경우에는 VPS extension에서 시그널링되는 참조계층 정보를 해당 영상의 참조계층 정보로 사용하며, NumDirectRefLayers[nuh_layer_id] 값과 slice_num_direc_ref_layers 값이 동일하지 않은 경우에는 슬라이스 세크먼트 헤더에서 시그널링되는 참조계층 정보를 해당 영상의 참조계층 정보로 사용한다.
ref_layer_idx [j]는 해당 영상이 직접적으로 참조하는 j번째 참조계층의 인덱스(비디오 파라미터 세트에 기술된 인덱스 기준)를 나타낸다.
본 발명의 또 다른 실시예에 따르면, 현재 부호화하고자 하는 해당 슬라이스가 계층간 예측을 사용하여 부호화하는 경우에 대하여 표 19부터 표 24에 도시되어 있는 신호들이 시그널링 될 수 있다.
표 2에서와 같이 비디오 파라미터 세트에서 현재 부호화 대상 계층과 동일한 계층들이 참조할 수 있는 참조계층의 수가 최대 한 개인지 여부를 알려주는 플래그 (예를 들어, max_one_active_ref_layer_flag)가 시그널링되고, 해당 플래그가 "0"일 때 표 19 내지 표 24가 적용될 수 있다. 즉, 표 19 내지 표 24를 참조하여, 현재 부호화 대상 계층과 동일한 계층들이 두 개 이상의 참조계층을 가지는 경우, 현재 부호화하고자 하는 해당 슬라이스의 참조계층 수를 시그널링(예를 들어, slice_num_direct_ref_layers)하는 실시예에 대하여 기술된다.
구체적으로, 표 19, 표 21, 표 23은 비디오 파라미터 세트에서 시그널링되는 참조계층들을 해당 슬라이스에서 동일하게 사용하는지 여부를 알려주는 플래그(예를 들어, layer_dependency_vps_flag)가 슬라이스 헤더에서 시그널링되고, 해당 플래그가 "1"인 경우에는 비디오 파라미터 세트에서 시그널링되는 참조계층 정보가 사용되고, 플래그가 "0"인 경우에는 슬라이스 헤더에서 참조계층들을 기술하여 시그널링한다.
표 20, 표 22, 표 24에 따른 실시예는, 현재 부호화하고자 하는 해당 슬라이스의 참조계층 수(예를 들어, slice_num_direct_ref_layers)가 비디오 파라미터 세트에서 시그널링되는 현재 부호화 대상계층과 동일한 계층들이 참조할 수 있는 참조계층 수와 동일하지 않은 경우에만 참조계층들을 시그널링한다.
표 19
Figure PCTKR2013012135-appb-T000019
표 19를 참조하면, inter_layer_pred_enabled_flag가 “1”이면, 해당 영상이 계층간 예측을 사용함을 나타내며, inter_layer_pred_enabled_flag가 “0”이면 계층간 예측을 사용하지 않음을 나타낸다.
layer_dependency_vps_flag는 참조계층 정보를 슬라이스 헤더(슬라이스 세그먼트 헤더)에서 시그널링 하는지 여부를 나타낸다. layer_dependency_vps_flag가 “0”인 경우 참조계층 정보를 슬라이스 헤더에서 시그널링 하는 것을 나타내고, layer_dependency_vps_flag가 “1”인 경우는 슬라이스 세그먼트 헤더에서 참조계층 정보를 시그널링 하지 않고 VPS extension에서 시그널링된 참조계층 정보를 해당 영상의 참조계층 정보로 사용하는 것을 나타낸다.
slice_num_direct_ref_layers는 해당 영상이 직접적으로 참조하는 참조계층의 수를 나타낸다. slice_num_direct_ref_layers로 특정되는 참조 계층의 수는 비디오 파라미터 세트에서 시그널링되는 해당 영상과 동일한 layer_id (즉, nuh_layer_id)를 가지는 계층들이 참조하는 참조계층의 수(즉, NumDirectRefLayers[nuh_layer_id])와 같거나 작아야 한다. max_one_active_ref_layer_flag가 “1”인 경우는 NumActiveRefLayerPics = 1 (NumActiveRefLayerPics = slice_num_driect_ref_layers)이 되므로, slice_num_direct_ref_layers은 시그널링 되지 않는다.
ref_layer_idx [i]은 해당 영상이 직접적으로 참조하는 i번째 참조계층의 인덱스(비디오 파라미터 세트에 기술된 인덱스 기준)를 나타낸다.
표 20
Figure PCTKR2013012135-appb-T000020
표 20을 참조하면, inter_layer_pred_enabled_flag가 “1”이면, 해당 영상이 계층간 예측을 사용함을 나타내며, inter_layer_pred_enabled_flag가 “0”이면 계층간 예측을 사용하지 않음을 나타낸다.
slice_num_direct_ref_layers는 해당 영상이 직접적으로 참조하는 참조계층의 수를 나타낸다. slice_num_direct_ref_layers로 특정되는 참조 계층의 수는 비디오 파라미터 세트에서 시그널링되는 해당 영상과 동일한 layer_id (즉, nuh_layer_id)를 가지는 계층들이 참조하는 참조계층의 수(즉, NumDirectRefLayers[nuh_layer_id])와 같거나 작아야 한다. NumDirectRefLayers[nuh_layer_id] 값과 slice_num_direc_ref_layers 값이 동일한 경우에는 VPS extension에서 시그널링되는 참조계층 정보를 해당 영상의 참조계층 정보로 사용하고, NumDirectRefLayers[nuh_layer_id] 값과 slice_num_direc_ref_layers 값이 동일하지 않은 경우에는 슬라이스 세그먼트 헤더에서 시그널링되는 참조계층 정보를 해당 영상의 참조계층 정보로 사용한다.
ref_layer_idx [i]는 해당 영상이 직접적으로 참조하는 i번째 참조계층의 인덱스(비디오 파라미터 세트에 기술된 인덱스 기준)를 나타낸다.
표 21
Figure PCTKR2013012135-appb-T000021
표 21을 참조하면, inter_layer_pred_enabled_flag가 “1”이면, 해당 영상이 계층간 예측을 사용함을 나타내며, inter_layer_pred_enabled_flag가 “0”이면 계층간 예측을 사용하지 않음을 나타낸다.
layer_dependency_vps_flag는 참조계층 정보를 슬라이스 헤더(슬라이스 세그먼트 헤더)에서 시그널링 하는지 여부를 나타낸다. layer_dependency_vps_flag가 “0”인 경우 참조계층 정보를 슬라이스 헤더에서 시그널링 하는 것을 나타내고, layer_dependency_vps_flag가 “1”인 경우는 슬라이스 세그먼트 헤더에서 참조계층 정보를 시그널링 하지 않고 VPS extension에서 시그널링된 참조계층 정보를 해당 영상의 참조계층 정보로 사용하는 것을 나타낸다.
layer_dependency_vps_flag가 “1”이면, slice_num_direct_ref_layers은 NumDirectRefLayers[nuh_layer_id] 값과 같을 수 있고, ref_layer_idx[i]는 i로 간주될수 있다. layer_dependency_vps_flag값이 시그널링 되지 않는 경우에는 “0”의 값으로 간주될 수 있다. max_one_active_ref_layer_flag 값이 “1”인 경우에는 layer_dependency_vps_flag는 “0”의 값을 가질 수 있다.
slice_num_direct_ref_layers는 해당 영상이 직접적으로 참조하는 참조계층의 수를 나타낸다. slice_num_direct_ref_layers로 특정되는 참조 계층의 수는 비디오 파라미터 세트에서 시그널링되는 해당 영상과 동일한 layer_id (즉, nuh_layer_id)를 가지는 계층들이 참조하는 참조계층의 수(즉, NumDirectRefLayers[nuh_layer_id])와 같거나 작아야 한다.
max_one_active_ref_layer_flag가 “1”인 경우는 NumActiveRefLayerPics = 1 (NumActiveRefLayerPics = slice_num_driect_ref_layers)이 되므로, slice_num_direct_ref_layers은 시그널링 되지 않는다.
ref_layer_idx [i]는 해당 영상이 직접적으로 참조하는 i번째 참조계층의 인덱스(비디오 파라미터 세트에 기술된 인덱스 기준)를 나타낸다.
표 22
Figure PCTKR2013012135-appb-T000022
표 22를 참조하면, inter_layer_pred_enabled_flag가 “1”이면, 해당 영상이 계층간 예측을 사용함을 나타내며, inter_layer_pred_enabled_flag가 “0”이면 계층간 예측을 사용하지 않음을 나타낸다.
slice_num_direct_ref_layers는 해당 영상이 직접적으로 참조하는 참조계층의 수를 나타내거나 영상의 인터 레이어 예측에 사용되는 계층 참조 픽쳐의 수를 나타낼 수 있다. . slice_num_direct_ref_layers로 특정되는 참조 계층의 수 또는 계층 참조 픽쳐의 수는 비디오 파라미터 세트에서 시그널링되는 해당 영상과 동일한 layer_id (즉, nuh_layer_id)를 가지는 계층들이 참조하는 참조계층의 수(즉, NumDirectRefLayers[nuh_layer_id])와 같거나 작아야 한다. NumDirectRefLayers[nuh_layer_id] 값과 slice_num_direc_ref_layers 값이 동일한 경우에는 VPS extension에서 시그널링되는 참조계층 정보를 해당 영상의 참조계층 정보로 사용하고, NumDirectRefLayers[nuh_layer_id] 값과 slice_num_direc_ref_layers 값이 동일하지 않은 경우에는 슬라이스 세그먼트 헤더에서 시그널링되는 참조계층 정보를 해당 영상의 참조계층 정보로 사용한다.
ref_layer_idx [i]는 해당 영상이 직접적으로 참조하는 i번째 참조계층의 인덱스(비디오 파라미터 세트에 기술된 인덱스 기준)를 나타낸다.
표 22의 NumDirecRefLayers[nuh_layer_id]는 비디오 파라미터 세트 확장에서 수신되는 계층 의존성 정보에 기초하여 유도될 수 있다. 계층 의존성 정보는 신택스 요소 direct_dependency_flag[i][j] 로 시그널링 될 수 있고, 전체 비트스트림에서 i번째 인덱스를 갖는 레이어가 j번째 레이어를 직접적으로 참조하는 지 여부를 나타낸다. 이러한 계층 의존성 정보에 의하여 전체 비트스트림에서 i번째 레이어가 참조하는 참조 레이어의 정보를 파악할 수 있다.
즉, direct_dependency_flag[i][j] 와 같은 플래그 정보(계층 레이어 정보)를 통하여 현재 계층이 비트스트림 전체에서 참조할 수 있는 참조 계층의 개수를 유도할 수 있다.
현재 계층의 nuh_layer_id 값이 0보다 크고, 즉 현재 계층이 베이스 계층이 아니고, 유도된 참조 계층의 개수가 0보다 크면, 현재 계층 내 현재 픽쳐의 디코딩에 인터 레이어 예측이 사용되는지 여부를 나타내는 플래그 정보(inter_layer_pred_enabled_flag)가 수신된다.
inter_layer_pred_enabled_flag가 1이고, NumDirectRefLayers[nuh_layer_id]이 1보다 크고(NumDirectRefLayers[nuh_layer_id ] > 1), 전체 비트스트림에 포함된 모든 계층이 하나의 참조 계층을 사용하는 것이 아니면 (!max_one_active_ref_layer_flag), 현재 픽쳐의 인터 레이어 예측을 위하여 사용될 수 있는 참조 픽쳐의 개수를 특정할 수 있는 참조 픽쳐 개수 정보(slice_num_direct_ref_layers)가 수신된다. 이하에서는 인터 레이어 예측을 위하여 사용될 수 있는 참조 픽쳐를 계층 참조 픽쳐(inter layer reference picture)라고 표현하고, 계층 참조 픽쳐의 개수를 특정할 수 있는 정보를 계층 참조 픽쳐 개수 정보라고 표현한다.
만약, 현재 픽쳐가 속한 계층이 참조하는 참조 계층의 개수가 최대 하나이면, 현재 픽쳐가 참조하는 계층의 수도 한 개가 된다.
계층 참조 픽쳐 개수 정보는 num_inter_layer_ref_pics_minus1와 같은 신택스 요소로 시그널링 될 수도 있다.
계층 참조 픽쳐의 개수(NumActiveRefLayerPics)는 시그널링되는 계층 참조 픽쳐 정보의 값(slice_num_direct_ref_layers인 경우)으로 특정될 수 있고, 계층 참조 픽쳐 개수 정보에 1을 더한 값(num_inter_layer_ref_pics_minus1인 경우)으로 특정될 수도 있다.
참조 계층의 개수(NumDirecRefLayers[nuh_layer_id])와 계층 참조 픽쳐의 개수(NumActiveRefLayerPics)가 동일하지 않으면(NumDirectRefLayers[ nuh_layer_id ] != NumActiveRefLayerPics), 참조 계층 중 현재 픽쳐가 참조하는 참조 계층에 대한 계층 정보(ref_layer_idx [i])가 수신된다.
계층 정보는 현재 픽쳐가 참조할 수 있는 참조 픽쳐의 계층의 ID 일 수 있다.
표 23
Figure PCTKR2013012135-appb-T000023
표 23을 참조하면, inter_layer_pred_enabled_flag가 “1”이면, 해당 영상이 계층간 예측을 사용함을 나타내며, inter_layer_pred_enabled_flag가 “0”이면 계층간 예측을 사용하지 않음을 나타낸다.
layer_dependency_vps_flag는 참조계층 정보를 슬라이스 헤더(슬라이스 세그먼트 헤더)에서 시그널링 하는지 여부를 나타낸다. layer_dependency_vps_flag가 “0”인 경우 참조계층 정보를 슬라이스 헤더에서 시그널링 하는 것을 나타내고, layer_dependency_vps_flag가 “1”인 경우는 슬라이스 세그먼트 헤더에서 참조계층 정보를 시그널링 하지 않고 VPS extension에서 시그널링된 참조계층 정보를 해당 영상의 참조계층 정보로 사용하는 것을 나타낸다.
slice_num_direct_ref_layers는 해당 영상이 직접적으로 참조하는 참조계층의 수를 나타낸다. slice_num_direct_ref_layers로 특정되는 참조 계층의 수는 비디오 파라미터 세트에서 시그널링되는 해당 영상과 동일한 layer_id (즉, nuh_layer_id)를 가지는 계층들이 참조하는 참조계층의 수(즉, NumDirectRefLayers[nuh_layer_id])와 같거나 작아야 한다.
max_one_active_ref_layer_flag가 “1”인 경우는 NumActiveRefLayerPics = 1 (NumActiveRefLayerPics = slice_num_driect_ref_layers)이 되므로, slice_num_direct_ref_layers은 시그널링 되지 않는다.
ref_layer_idx_delta[j]는 해당 영상이 직접적으로 참조하는 j번째 참조계층의 인덱스(비디오 파라미터 세트에 기술된 인덱스 기준)와 j-1번째 참조계층의 인덱스(비디오 파라미터 세트에 기술된 인덱스 기준)의 차이를 나타낸다. ref_layer_idx_delta[0]는 0번째 참조계층의 인덱스를 나타낸다.
표 24
Figure PCTKR2013012135-appb-T000024
표 24를 참조하면, inter_layer_pred_enabled_flag가 “1”이면, 해당 영상이 계층간 예측을 사용함을 나타내며, inter_layer_pred_enabled_flag가 “0”이면 계층간 예측을 사용하지 않음을 나타낸다.
slice_num_direct_ref_layers는 해당 영상이 직접적으로 참조하는 참조계층의 수를 나타낸다. slice_num_direct_ref_layers로 특정되는 참조 계층의 수는 비디오 파라미터 세트에서 시그널링되는 해당 영상과 동일한 layer_id (즉, nuh_layer_id)를 가지는 계층들이 참조하는 참조계층의 수(즉, NumDirectRefLayers[nuh_layer_id])와 같거나 작아야 한다. NumDirectRefLayers[nuh_layer_id] 값과 slice_num_direc_ref_layers 값이 동일한 경우에는 VPS extension에서 시그널링되는 참조계층 정보를 해당 영상의 참조계층 정보로 사용하고, NumDirectRefLayers[nuh_layer_id] 값과 slice_num_direc_ref_layers 값이 동일하지 않은 경우에는 슬라이스 세그먼트 헤더에서 시그널링되는 참조계층 정보를 해당 영상의 참조계층 정보로 사용한다.
ref_layer_idx_delta[j]는 해당 영상이 직접적으로 참조하는 j번째 참조계층의 인덱스(비디오 파라미터 세트에 기술된 인덱스 기준)와 j-1번째 참조계층의 인덱스(비디오 파라미터 세트에 기술된 인덱스 기준)의 차이를 나타낸다. ref_layer_idx_delta[0]는 0번째 참조계층의 인덱스를 나타낸다.
이때, 슬라이스 헤더에서 기술되는 해당 슬라이스가 부호화시 참조할 수 있는 계층들은 전체 비트스트림에서 현재 부호화 대상 계층과 동일한 계층들이 참조할 수 있는 참조계층들의 서브 세트일 수 있다.
예를 들어, 슬라이스 헤더에 시그널링 되는 참조계층들은 비디오 파라미터 세트에서 시그널링되는 현재 부호화 대상 계층과 동일한 계층들이 참조할 수 있는 참조계층 리스트의 서브 세트일 수 있다.
다시 도 5로 돌아가서, 현재 부호화 대상 계층의 영상이 참조할 수 있는 계층의 리스트를 구성한 부호화 장치는 대상 계층이 참조할 수 있는 참조 계층의 복호화 영상이 포함된 현재 부호화 대상 영상의 화면간 예측을 위하여 참조픽쳐 집합(reference picture set)을 구성하고, 참조픽쳐 형태 표시(reference picture marking)를 수행한다(S520).
이 때, 부호화 장치는 참조 계층 리스트에 포함된 영상들로 구성된 복원된 영상으로 가용한지(available)를 확인하고 가용한 경우 해당 복원영상을 참조픽쳐 집합에 포함시키고, 가용하지 않은 경우 해당 복원영상을 “no reference picture”로 표시할 수 있다.
참조 계층 리스트에 포함된 영상들로 구성된 참조픽쳐 집합(이하, 제1 집합)은 “used for long term reference”로 표시되어 현재 부호화 대상 영상의 화면간 예측시 장기 참조 픽쳐(long-term reference picture)로 취급될 수 있다.
제1 집합, 즉 참조 계층 리스트에 포함된 영상들로 구성된 참조픽쳐 집합 이외에 현재 부호화 대상 계층과 동일한 계층의 영상으로 이루어진 화면간 예측을 위한 참조픽쳐 집합은 다양한 형태로 존재할 수 있다.
화면간 예측을 위한 참조픽쳐 집합은 현재 부호화 대상 영상의 화면간 예측에 사용되며, 디스플레이 순서상 현재 부호화 대상 영상을 기준으로 이전인 기간 참조 픽쳐(short-term reference picture) (제2 집합), 현재 부호화 대상 영상의 화면간 예측에 사용되며, 디스플레이 순서상 현재 부호화 대상 영상을 기준으로 이후인 단기 참조 픽쳐 (제3 집합), 현재 부호화 대상 영상의 화면간 예측을 위한 장기 참조 픽쳐 (제4 집합), 현재 부호화 대상 영상 이후에 부호화할 수 있는 영상을 위한 단기 참조 픽쳐 (제5 집합), 현재 부호화 대상 영상 이후에 부호화 할 수 있는 영상을 위한 장기 참조 픽쳐 (제6 집합)으로 구성될 수 있다.
그런 후, 부호화 장치는 참조픽쳐 집합과 참조픽쳐 형태에 따라 참조 픽쳐 리스트를 생성한다(S530).
부호화 장치는 상기와 같은 여러 참조 픽쳐 집합에 기초하여 참조픽쳐 집합의 특성과 참조픽쳐 형태에 따라 현재 부호화 대상 영상의 참조픽쳐 리스트를 생성할 수 있다.
일 예로, 부호화 장치는 현재 부호화 대상 영상과 동일한 계층의 영상들로 이루어진 참조픽쳐 집합들로 구성된 화면간 참조영상 리스트 L0 및 L1에 단계 S520에서 생성된 참조 계층 리스트로 구성된 참조픽쳐 집합을 다음과 같이 추가하여 최종 참조픽쳐 리스트를 생성할 수 있다.
이 경우, 부호화 장치는 참조픽쳐 리스트 생성시마다 고정된 위치에 참조 계층의 복호화 영상을 추가할 수도 있고, 효율적인 부호화를 위해 참조픽쳐 리스트 생성한 후 추가로 참조 계층의 복호화 영상의 위치를 변경할 수도 있다.
참조픽쳐 리스트 생성시마다 고정된 위치에 참조 계층의 복호화 영상을 추가하는 경우, L0 리스트 생성 시 제1 집합을 마지막 혹은 첫 번째(ref_idx=0) 혹은 두 번째(ref_idx=1) 위치에부터 추가할 수 있다.
참조 계층을 L0 리스트의 중간 위치에 추가하는 경우, 해당 위치 및 그 이후에 있는 영상들의 리스트에서의 인덱스를 추가한 참조 계층의 수(참조 계층 리스트로 구성된 참조픽쳐 집합의 수) 만큼씩 증가시킬 수 있다.
또는 부호화 장치는 L0 리스트 생성 시 첫 번째 (ref_idx=0) 혹은 두 번째 (ref_idx=1) 위치에서부터 참조 계층 리스트로 구성된 참조픽쳐 집합의 수만큼의 참조영상들을 제1 집합으로 대체할 수 있다.
부호화 장치는 L0 리스트 생성 시 제1 집합을 임의의 시그널링된 위치에서부터 추가할 수 있다. 제1 집합이 리스트의 중간 위치에 추가하는 경우, 해당 위치 및 그 이후에 있던 영상들의 리스트에서의 인덱스를 추가한 참조계층 수(참조계층 리스트로 구성된 참조픽쳐 집합의 수) 만큼씩 증가시킬 수 있다.
또는, 부호화 장치는 L0 리스트 생성 시 임의의 시그널링된 위치에서부터 참조계층 리스트로 구성된 참조픽쳐 집합의 수만큼의 참조영상들을 제1 집합으로 대체할 수 있다.
또는, 부호화 장치는 L0 리스트 생성 시 제1 집합의 참조계층 리스트에 포함된 각각의 픽쳐들을 임의의 서로 다른 위치에 추가할 수 있다. 이 때, 부호화 장치는 추가된 영상들의 해당 위치 및 이후에 있던 영상들의 리스트에서의 인덱스를 추가한 참조계층 수(참조계층 리스트로 구성된 참조픽쳐 집합의 수) 만큼씩 증가시킬 수 있다.
또는, 부호화 장치는 L0 리스트 생성 시 임의의 서로 다른 위치에 있는 참조영상들을 제1 집합의 참조계층 리스트에 포함된 각각의 픽쳐들로 대체할 수 있다.
또는 부호화 장치는 L1 리스트 생성 시 제1 집합을 마지막 혹은 첫 번째 (ref_idx=0) 혹은 두 번째 (ref_idx=1) 위치에 추가할 수 있다.
참조 계층을 L1 리스트의 중간 위치에 추가하는 경우, 부호화 장치는 해당 위치 및 그 이후에 있는 영상들의 리스트에서의 인덱스를 추가한 참조 계층의 수(참조 계층 리스트로 구성된 참조픽쳐 집합의 수) 만큼씩 증가시킬 수 있다.
또는 부호화 장치는 L1 리스트 생성 시 첫 번째 (ref_idx=0) 혹은 두 번째 (ref_idx=1) 위치에서부터 참조 계층 리스트로 구성된 참조픽쳐 집합의 수만큼의 참조영상들을 제1 집합으로 대체할 수 있다.
부호화 장치는 L1 리스트 생성 시 제1 집합을 임의의 시그널링된 위치에서부터 추가할 수 있다. 제1 집합이 리스트의 중간 위치에 추가하는 경우, 해당 위치 및 그 이후에 있던 영상들의 리스트에서의 인덱스를 추가한 참조계층 수(참조계층 리스트로 구성된 참조픽쳐 집합의 수) 만큼씩 증가시킬 수 있다.
또는, 부호화 장치는 L1 리스트 생성 시 임의의 시그널링된 위치에서부터 참조계층 리스트로 구성된 참조픽쳐 집합의 수만큼의 참조영상들을 제1 집합으로 대체할 수 있다.
또는, 부호화 장치는 L1 리스트 생성 시 제1 집합의 참조계층 리스트에 포함된 각각의 픽쳐들을 임의의 서로 다른 위치에 추가할 수 있다. 이 때, 부호화 장치는 추가된 영상들의 해당 위치 및 이후에 있던 영상들의 리스트에서의 인덱스를 추가한 참조계층 수(참조계층 리스트로 구성된 참조픽쳐 집합의 수) 만큼씩 증가시킬 수 있다.
또는, 부호화 장치는 L1 리스트 생성 시 임의의 서로 다른 위치에 있는 참조영상들을 제1 집합의 참조계층 리스트에 포함된 각각의 픽쳐들로 대체할 수 있다.
한편, 참조픽쳐 리스트 생성한 후, 추가로 효율적인 부호화를 위해 참조 계층의 복호화 영상의 위치를 변경하는 경우, 슬라이스 헤더 혹은 픽쳐 파라미터 세트에 포함될 수 있는 부호화 파라미터를 이용하여 참조 계층의 복호화 영상의 위치를 참조픽쳐 리스트의 어떠한 위치로든지 변경시킬 수 있다
참조 계층 리스트가 생성되면, 부호화 장치는 참조픽쳐 리스트내의 참조픽쳐를 이용하여 현재 부호화 대상 영상에 대한 움직임 예측 및 움직임 보상을 수행할 수 있다(S540).
부호화 장치는 통상적인 화면 간 예측 방법으로 참조픽쳐 리스트내의 참조픽쳐를 이용해서 현재 부호화 대상 영상에 대한 움직임 예측 및 움직임 보상을 수행할 수 있다.
도 6은 본 발명의 일 실시예에 따른 복호화 장치에서 상위 계층의 복호화를 수행하는 방법을 설명하기 위한 제어흐름도이다. 본 발명에 따른 복호화 장치는 적어도 한가지 이상의 스케일러빌리티 (예를 들어, 공간, 화질, 시점 스케일러빌리티)를 지원하며 다 계층 구조를 지원하는 비디오 구조에서 상위 계층의 복호화를 수행한다.
도 6을 참조하면 우선, 복호화 장치는 현재 복호화 대상 영상이 참조할 수 있는 계층들의 리스트를 구성한다(S610).
비트스트림이 적어도 한가지 이상의 스케일러빌리티 (예를 들어, 공간, 화질, 시점 스케일러빌리티)를 지원하면, 본 발명의 일 실시예에 따른 복호화 장치는 적어도 한 개 이상의 계층에 대한 참조계층 리스트를 구성할 수 있다. 이렇게 구성된 참조 계층 리스트들은 현재 복호화 대상 영상을 복호화하기 위해 사용될 수 있다.
복호화 장치는 비디오 파라미터 세트등에 포함되어 시그널링되는 현재 복호화 대상 계층의 참조계층 정보를 이용하여 아래와 같은 참조 계층 리스트를 구성할 수 있다.
본 발명의 일 실시예에 따르면, 복호화 장치는 전체 비트스트림에서 현재 복호화 대상 계층과 동일한 계층들이 참조할 수 있는 참조계층 리스트를 구성할 수 있다. 참조계층 리스트는 현재 복호화 대상 영상이 속한 계층과 동일한 계층에 속한 영상들을 복호화하기 위해 사용될 수 있으며, 비디오 파라미터 세트에서 시그널링되는 현재 복호화 대상 계층의 참조계층 정보에 기초하여 구성될 수 있다.
예컨대, 복호화 장치는 표 1에 도시되어 있는 바와 같이, 시그널링되는 nuh_layer_id[i]의 값 가운데, 현재 복호화 대상 영상이 속한 계층과 동일한 nuh_layer_id 값을 갖는 계층의 참조계층들(ref_layer_id)로 참조계층 리스트를 구성할 수 있다.
시그널링된 참조계층 정보를 이용하여, 참조계층 리스트를 구성함에 있어서, 리스트 내에서의 참조계층의 순서는 다음의 방법 가운데 하나로 정해질 수 있다.
우선, 참조계층은 표 1 및 표 2에서 시그널링 되는 순서대로 구성될 수 있다.
또는 복호화 장치는 layer_id 값이 복호화 대상 계층의 layer_id 값과 차이가 작은 계층 (즉, 가까운 계층)부터 큰 계층 순서로 참조 계층 리스트를 구성할 수 있다.
또는 복호화 장치는 우선 순위(priority)가 높은 계층부터 낮은 계층의 순서로 공간 화질 참조 계층 리스트를 구성할 수 있다.
이 때, 우선 순위에 대한 정보는 NAL 유닛 헤더 혹은 비디오 파라미터 세트등에서 시그널링될 수 있다.
또는 복호화 장치는 현재 복호화 대상과 동일 시점을 가지는 참조 계층들 가운데 현재 복호화 대상 계층과 공간 해상도 차이가 작은 계층부터 큰 계층 순으로 공간 화질 참조 계층 리스트를 구성할 수 있다.
이때, 동일한 공간 해상도에서의 화질 참조 계층 순서는 현재 복호화 대상 계층의 layer_id값과 차이가 작은 계층(즉, 가까운 계층)부터 큰 계층 순서로 구성할 수 있다.
추가로, 현재 복호화 대상 계층의 시점과 가까운 시점부터 먼 시점순으로 계층들이 참조계층 리스트에 포함될 수 있으며, 동일한 시점내의 계층들이 참조계층리스트에 포함되는 순서는 앞에서 기술한 현재 복호화 대상 계층과 동일 시점의 계층들과 동일한 방식을 적용할 수 있다.
예를 들어, 도 4와 같은 비트스트림 구조에서 layer_id 가 n인 계층의 참조 계층 리스트는 layer_id 가 n-1, n-2, n-3, n-4, n-5, n-6, n-7, n-8, n-9, n-10, n-11 인 계층의 순서로 구성될 수 있다.
또는 현재 복호화 대상 계층과 동일 시점을 가지는 계층들 가운데 현재 복호화 대상 계층과 공간 해상도 차이가 작은 계층부터 큰 계층 순으로 구성될 수 있다. 이때, 동일한 공간 해상도에서의 화질 참조 계층 순서는 복호화하고자 하는 양자화 파라미터(quantization parameter)값이 낮은 값에서 높은 값의 순서(즉, 복호시 화질이 좋은 계층부터 낮은 계층순서) 일 수 있다.
추가로, 현재 복호화 대상 계층의 시점과 가까운 시점부터 먼 시점순으로 계층들이 참조계층 리스트에 포함될 수 있으며, 동일한 시점내의 계층들이 참조계층리스트에 포함되는 순서는 앞에서 기술한 현재 복호화 대상 계층과 동일 시점의 계층들과 동일한 방식을 적용할 수 있다.
본 발명의 다른 실시예에 따라 복호화 장치는 현재 복호화하고자 하는 영상의 현재 복호화 대상 계층 (혹은 해당 슬라이스)이 참조 가능한 참조 계층 리스트를 구성할 수 있으며, 구성된 참조 계층 리스트들은 현재 복호화 대상 영상을 복호화하기 위해 사용될 수 있다.
복호화 장치는 현재 복호화 대상 계층의 슬라이스 헤더에서 시그널링되는 참조 계층 정보를 이용하여 참조 계층 리스트를 구성할 수 있다.
현재 복호화 대상 영상이 한 개 이상의 슬라이스로 나누어져 있는 경우에도 슬라이스 헤더에서 시그널링되는 참조계층 정보는 동일할 수도 있고, 각 슬라이스마다 다른 참조계층 정보를 가질수도 있다.
복호화 장치는 표 3 내지 표 24까지 중 어느 하나에 따라 시그널링되는 정보에 기초하여 참조계층들로 참조계층 리스트를 구성할 수 있다.
이때, 슬라이스 헤더에서 시그널링되는 참조계층들은 전체 비트스트림에서 현재 복호화 대상 계층과 동일한 계층들이 참조할 수 있는 참조계층들의 서브 세트일 수 있다.
예를 들어, 슬라이스 헤더에 시그널링 되는 참조계층들은 비디오 파라미터 세트에서 시그널링되는 현재 복호화 대상 계층과 동일한 계층들이 참조할 수 있는 참조계층 리스트의 서브 세트일 수 있다.
시그널링 되거나 시그널링된 정보를 활용하여 얻어지는 참조 계층 정보(ref_layer_id)를 이용하여, 참조 계층 리스트를 구성함에 있어서, 참조 계층 리스트 내에서 참조 계층의 순서는 아래와 같이 다양하게 구성할 수 있다.
우선, 복호화 장치는 표 3 내지 표 24까지 중 어느 하나에 따라 시그널링 되는 순서대로 참조 계층을 참조 계층 리스트에 추가할 수 있다.
또는, 복호화 장치는 참조 계층의 layer_id 값이 복호화 대상 계층의 layer_id 값과 차이가 적은 계층 (즉, 가까운 계층)부터 큰 계층 순서로 구성하여 공간 화질 참조 계층 리스트를 생성할 수 있다.
또는 참조 계층 리스트는 참조 계층들 가운데 우선 순위(priority)가 높은 계층부터 낮은 계층의 순서로 구성될 수 있다.
이때, 우선 순위와 관련된 정보는 NAL 유닛 헤더(NALU header) 혹은 비디오 파라미터 세트(video parameter set) 등에 포함되어 시그널링될 수 있다
또는 현재 복호화 대상 계층과 동일 시점을 가지는 참조 계층 리스트는 현재 복호화 대상 계층과 공간 해상도 차이가 작은 계층부터 큰 계층 순으로 구성될 수 있다. 이때, 동일한 공간 해상도를 갖는 화질 참조 계층의 순서는 현재 복호화 대상 계층의 layer_id 값과 차이가 작은 계층(즉, 가까운 계층)부터 큰 계층 순서일 수 있다.
이 경우, 추가로, 현재 복호화 대상 계층의 시점과 가까운 시점부터 먼 시점순으로 계층들이 참조계층 리스트에 포함될 수 있으며, 동일한 시점내의 계층들이 참조계층리스트에 포함되는 순서는 앞에서 기술한 현재 복호화 대상 계층과 동일 시점의 계층들과 동일한 방식을 적용할 수 있다.
예를 들어, 도 4와 같은 비트스트림 구조에서 layer_id 가 n인 계층의 참조 계층 리스트는 layer_id 가 n-1, n-2, n-3, n-4, n-5, n-6, n-7, n-8, n-9, n-10, n-11 인 계층의 순서로 구성될 수 있다.
또는 현재 복호화 대상 계층과 동일 시점을 가지는 계층들 가운데현재 복호화 대상 계층과 공간 해상도 차이가 작은 계층부터 큰 계층 순으로 참조 계층 리스트를 구성될 수 있다. 이때, 동일한 공간 해상도에서의 화질 참조 계층 순서는 복호화하고자 하는 양자화 파라미터(quantization parameter)값이 낮은 값에서 높은 값의 순서(즉, 복호시 화질이 좋은 계층부터 낮은 계층순서) 일 수 있다.
이 경우, 추가로, 현재 복호화 대상 계층의 시점과 가까운 시점부터 먼 시점순으로 계층들이 참조계층 리스트에 포함될 수 있으며, 동일한 시점내의 계층들이 참조계층리스트에 포함되는 순서는 앞에서 기술한 현재 복호화 대상 계층과 동일 시점의 계층들과 동일한 방식을 적용할 수 있다. 구성된 참조 계층 리스트는 해당 슬라이스를 복호화하기 위하여 사용될 수 있다.
최대한 참조할 수 있는 계층의 수는 비트스트림 전체에 대해 제한될 수 있으며, 이는 비디오 파라미터 세트, 시퀀스 파라미터 세트 혹은 슬라이스 헤더 등에서 시그널링 될 수도 있고, 프로파일 및 레벨에 따라 제약을 둘 수도 있다.
복호화 장치는 구성된 참조 계층 리스트에 대하여 추가 시그널링(예를 들어, 슬라이스 헤더와 같은 상위 레벨의 시그널링)이 있을 경우 시그널링에서 표현하는 내용에 따라 리스트 내에서의 순서를 변경할 수 있다.
다음으로, 복호화 장치는 참조 계층의 복호화 영상을 포함하여 현재 복호화 대상 영상의 화면 간 예측을 위한 참조픽쳐 집합 구성 및 참조 픽쳐 형태를 표시한다(S620).
복호화 장치는 참조 계층의 복호화 영상을 포함하여 현재 복호화 대상 영상의 화면간 예측을 위한 참조픽쳐 집합(reference picture set) 구성 및 참조픽쳐 형태표시(reference picture marking)를 수행할 수 있다.
즉, 복호화 장치는 참조 계층 리스트에 포함된 영상들로 구성된 참조픽쳐 집합(제1 집합)을 구성한다. 이 때, 참조 계층 리스트에 포함된 영상이 복원된 영상으로 가용한지(available)를 확인하고 가용한 경우 해당 복원영상을 참조픽쳐 집합에 포함시키고, 가용하지 않은 경우 해당 복원영상을 “no reference picture”로 표시할 수 있다.
제1 집합은 “used for long term reference”로 표시하여 현재 복호화 대상 영상의 화면간 예측시 장기 참조 픽쳐로 취급할 수 있다.
복호화 장치는 제1 집합, 즉 참조 계층 리스트에 포함된 영상들로 구성된 참조픽쳐 집합 이외에 현재 복호화 대상 계층과 동일한 계층의 영상으로 이루어진 화면간 예측을 위한 하기와 같이 다양한 참조픽쳐 집합들을 구성할 수 있다.
참조픽쳐 집합들은 현재 복호화 대상 영상의 화면간 예측에 사용되며, 디스플레이 순서상 현재 복호화 대상 영상을 기준으로 이전인 단기 참조 픽쳐 (제2 집합), 현재 복호화 대상 영상의 화면간 예측에 사용되며, 디스플레이 순서상 현재 복호화 대상 영상을 기준으로 이후인 단기 참조 픽쳐 (제3 집합), 현재 복호화 대상 영상의 화면간 예측을 위한 장기 참조 픽쳐 (제4 집합), 현재 복호화 대상 영상 이후에 복호화할 수 있는 영상을 위한 단기 참조 픽쳐 (제5 집합), 현재 복호화 대상 영상 이후에 복호화할 수 있는 영상을 위한 장기 참조 픽쳐 (제6 집합) 중 적어도 하나 일 수 있다.
그런 후, 복호화 장치는 참조픽쳐 집합과 참조 픽쳐 형태에 따라 참조픽쳐 리스트를 생성한다(S630).
복호화 장치는 참조픽쳐 집합과 참조픽쳐 형태에 따라 현재 복호화 대상 영상의 참조픽쳐 리스트를 생성할 수 있다. 즉 복호화 장치는 제1 집합과 상기 제2 집합 내지 제4 집합을 조합하여 참조픽쳐 리스트를 생성할 수 있다.
예컨대, 복호화 장치는 현재 복호화 대상 영상의 참조픽쳐 리스트를 생성함에 있어서, 현재 복호화 대상 영상과 동일한 계층의 영상들로 이루어진 참조픽쳐 집합들로 구성된 화면간 참조영상 리스트 L0 및 L1에, 제1 집합에 포함된 참조 계층 리스트로 구성된 참조픽쳐 집합을 추가하여 최종 참조픽쳐 리스트를 생성할 수 있다.
이 경우, 참조픽쳐 리스트 생성시마다 고정된 위치에 참조 계층의 복호화 영상을 추가할 수도 있고, 효율적인 부호화를 위해 참조 계층의 복호화 영상의 위치를 변경할 수도 있다.
참조픽쳐 리스트 생성시마다 고정된 위치에 참조 계층의 복호화 영상을 추가하는 경우, L0 리스트 생성 시 제1 집합을 마지막 혹은 첫 번째(ref_idx=0) 혹은 두 번째(ref_idx=1) 위치에부터 추가할 수 있다.
참조 계층을 L0 리스트의 중간 위치에 추가하는 경우, 해당위치 이후에 있는 영상들의 리스트에서의 인덱스를 추가한 참조 계층 수(참조 계층 리스트로 구성된 참조픽쳐 집합의 수) 만큼씩 증가시킬 수 있다.
또는 복호화 장치는 L0 리스트 생성 시 제1 집합을 첫 번째 (ref_idx=0) 혹은 두 번째 (ref_idx=1) 위치에서부터 참조 계층 리스트로 구성된 참조픽쳐 집합의 수만큼의 참조영상들을 대체할 수 있다.
또는 복호화 장치는 L0 리스트 생성 시 제1 집합을 임의의 시그널링된 위치에서부터 추가할 수 있다. 이때, 리스트의 중간 위치에 추가하는 경우, 해당 위치 및 그 이후에 있던 영상들의 리스트에서의 인덱스를 추가한 참조계층 수(참조계층 리스트로 구성된 참조픽쳐 집합의 수) 만큼씩 증가시킬 수 있다.
복호화 장치는 L0 리스트 생성 시 제1 집합으로 임의의 시그널링된 위치에서부터 참조계층 리스트로 구성된 참조픽쳐 집합의 수 만큼의 참조영상들을 대체할 수 있다.
복호화 장치는 L0 리스트 생성 시 제1 집합에 포함된 각각의 픽쳐들을 임의의 서로 다른 위치에 추가할 수 있다. 이때, 추가된 영상들의 해당위치 및 이후에 있던 영상들의 리스트에서의 인덱스를 추가한 참조계층 수(참조계층 리스트로 구성된 참조픽쳐 집합의 수) 만큼씩 증가시킬 수 있다.
복호화 장치는 L0 리스트 생성 시 제1 집합에 포함된 각각의 픽쳐들로 임의의 서로 다른 위치에 있는 참조영상들을 대체할 수 있다.
또는 복호화 장치는 L1 리스트 생성 시 제1 집합을 마지막 혹은 첫 번째 (ref_idx=0) 혹은 두 번째 (ref_idx=1) 위치에 추가할 수 있다.
참조 계층을 L1 리스트의 중간 위치에 추가하는 경우, 해당위치 이후에 있는 영상들의 리스트에서의 인덱스를 추가한 참조 계층 수(참조 계층 리스트로 구성된 참조픽쳐 집합의 수) 만큼씩 증가시킬 수 있다.
또는 복호화 장치는 L1 리스트 생성 시 제1 집합을 첫 번째 (ref_idx=0) 혹은 두 번째 (ref_idx=1) 위치에서부터 참조 계층 리스트로 구성된 참조픽쳐 집합의 수만큼의 참조영상들을 대체할 수 있다.
복호화 장치는 L1 리스트 생성 시 제1 집합을 임의의 시그널링된 위치에서부터 추가할 수 있다. 이때, 리스트의 중간 위치에 추가하는 경우, 해당위치 및 그 이후에 있던 영상들의 리스트에서의 인덱스를 추가한 참조계층 수(참조계층 리스트로 구성된 참조픽쳐 집합의 수) 만큼씩 증가시킬 수 있다.
복호화 장치는 L1 리스트 생성 시 제1 집합으로 임의의 시그널링된 위치에서부터 참조계층 리스트로 구성된 참조픽쳐 집합의 수만큼의 참조영상들을 대체할 수 있다.
복호화 장치는 L1 리스트 생성 시 제1 집합에 포함된 각각의 픽쳐들을 임의의 서로 다른 위치에 추가할 수 있다. 이때, 추가된 영상들의 해당위치 및 이후에 있던 영상들의 리스트에서의 인덱스를 추가한 참조계층 수(참조계층 리스트로 구성된 참조픽쳐 집합의 수) 만큼씩 증가시킬 수 있다.
복호화 장치는 L1 리스트 생성 시 제1 집합에 포함된 각각의 픽쳐들로 임의의 서로 다른 위치에 있는 참조영상들을 대체할 수 있다.
한편, 참조픽쳐 리스트를 생성한 후, 추가로 효율적인 부호화를 위해 참조 계층의 복호화 영상의 위치를 변경하는 경우, 슬라이스 헤더 혹은 픽쳐 파라미터 세트에 포함될 수 있는 부호화 파라미터를 이용하여 참조 계층의 복호화 영상의 위치를 참조픽쳐 리스트의 어떠한 위치로든지 변경할 수 있다.
참조 계층 리스트가 생성되면, 참조픽쳐 리스트 내의 참조픽쳐를 이용하여 현재 복호화 대상 영상에 대한 움직임 예측 및 움직임 보상을 수행할 수 있다(S640).
현재 계층의 현재 복호화 대상 블록이 화면간 예측을 하는 경우 복호화 장치는 참조픽쳐 리스트내의 참조픽쳐를 이용해서 현재 복호화 대상 블록에 대한 움직임 보상을 수행할 수 있다.
도 7은 본 발명의 일 실시예에 따른 영상 디코딩 장치의 제어 블록도이다.
도시된 바와 같이, 디코딩 장치는 영상 정보를 파싱하는 파싱부(710)와 파싱부(710)의 영상 정보를 이용하여 현재 레이어를 예측하는 디코딩부(720)를 포함한다.
파싱부(710)는 현재 계층이 비트스트림 전체에서 참조할 수 있는 참조 계층에 대한 계층 의존성 정보를 수신하여 파싱하고, 현재 계층 내 현재 픽쳐의 디코딩에 인터 레이어 예측이 사용되는 경우, 참조 계층 중 현재 픽쳐가 참조하는 참조 계층에 대한 계층 정보를 수신하여 파싱한다.
계층 의존성 정보는 비디오 파라미터 세트 확장에 포함되어 수신될 수 있다.
한편, 현재 픽쳐가 참조하는 참조 계층에 대한 계층 정보는 현재 픽쳐가 참조할 수 있는 참조 픽쳐의 계층의 ID 이며, 계층 정보는 슬라이스 헤더에 포함될 수 있다.
이때, 계층 의존성 정보에 기초하여 현재 계층이 비트스트림 전체에서 참조할 수 있는 참조 계층의 개수가 유도될 수 있다.
파싱부(710)는 유도된 참조 레이어의 개수가 0보다 크면, 현재 계층 내 현재 픽쳐의 디코딩에 인터 레이어 예측이 사용되는지 여부를 나타내는 플래그 정보를 수신하여 파싱할 수 있다.
플래그 정보가 1이고, 참조 레이어 개수가 1보다 크고, 전체 비트스트림에 포함된 모든 계층이 하나의 참조 계층을 사용하는 것이 아니면, 파싱부(710)는 현재 픽쳐의 인터 레이어 예측을 위하여 사용될 수 있는 계층 참조 픽쳐의 개수를 특정할 수 있는 계층 참조 픽쳐 개수 정보를 수신하여 파싱할 수 있다.
계층 참조 픽쳐의 개수는 계층 참조 픽쳐 개수 정보에 1을 더한 값으로 특정될 수 있다. 즉, 계층 참조 픽쳐 개수 정보는 계층 참조 픽쳐의 개수에 1을 뺀 값으로 시그널링 될 수 있다.
이때, 계층 정보는 참조 레이어의 개수와 계층 참조 픽쳐의 개수가 동일하지 않은 경우에만 수신될 수 있다.
디코딩부(720)는 계층 정보에 기초하여 현재 픽쳐의 디코딩을 수행할 수 있다.
도 8은 본 발명의 일 실시예에 따른 영상 디코딩 장치의 디코딩 방법을 설명하기 위한 제어 흐름도이다.
우선, 디코딩 장치는 현재 계층이 비트스트림 전체에서 참조할 수 있는 참조 계층에 대한 계층 의존성 정보를 수신하여 파싱한다(S810).
계층 의존성 정보는 비디오 파라미터 세트 확장에 포함되어 수신될 수 있다.
그런 후, 디코딩 장치는 계층 의존성 정보에 기초하여 현재 계층이 비트스트림 전체에서 참조할 수 있는 참조 계층의 개수를 유도한다(S820).
참조 레이어의 개수가 0보다 크면, 디코딩 장치는 현재 계층 내 현재 픽쳐의 디코딩에 인터 레이어 예측이 사용되는지 여부를 나타내는 플래그 정보를 수신하여 파싱할 수 있다(S830).
플래그 정보가 1이고, 참조 레이어 개수가 1보다 크고, 전체 비트스트림에 포함된 모든 계층이 하나의 참조 계층을 사용하는 것이 아니면, 디코딩 장치는 현재 픽쳐의 인터 레이어 예측을 위하여 사용될 수 있는 계층 참조 픽쳐의 개수를 특정할 수 있는 계층 참조 픽쳐 개수 정보를 수신하여 파싱할 수 있다(S840).
계층 참조 픽쳐의 개수는 시그널링되는 계층 참조 픽쳐 정보의 값으로 특정될 수도 있고, 계층 참조 픽쳐 개수 정보에 1을 더한 값으로 특정될 수 있다.
단계 S820에서 유도된 참조 계층의 개수와 단계 S840에서 확인된 계층 참조 픽쳐의 개수가 동일하지 않으면(S850), 디코딩 장치는 참조 계층 중 현재 픽쳐가 참조하는 참조 계층에 대한 계층 정보를 수신하여 파싱한다(S860).
즉 디코딩 장치는 현재 계층 내 현재 픽쳐의 디코딩에 인터 레이어 예측되고, 상기 조건들이 만족하면, 계층 정보를 수신한다.
계층 정보는 현재 픽쳐가 참조할 수 있는 참조 픽쳐의 계층의 ID 일 수 있으며, 비트스트림에서 슬라이스 헤더에 포함되어 수신될 수 있다.
계층 정보가 파악되면, 디코딩 장치는 계층 정보에 기초하여 현재 픽쳐의 디코딩을 수행한다(S870).
한편, 참조 계층의 개수와 계층 참조 픽쳐의 개수가 동일하면, VPS에서 시그널링된 계층 의존성 정보에 기초하여 현재 픽쳐를 디코딩한다(S880).
이와 같이, 본 발명에 따를 경우, 하나 이상의 참조 계층을 포함한 참조픽쳐 리스트를 효율적으로 생성 및 관리하여 부호화/복호화 효율을 향상시킬 수 있는 영상의 부호화/복호화 방법 및 이를 이용하는 장치가 제공된다.
또한, 참조 계층의 복호화 영상을 포함하여 참조픽쳐 리스트 생성 시 참조픽쳐 리스트 내에서의 참조계층들의 복호화 영상의 위치 및 참조계층 복호화 영상간의 순서를 조정할 수 있는 영상의 부호화/복호화 방법 및 이를 이용하는 장치가 제공된다.
상술한 실시예에서, 방법들은 일련의 단계 또는 블록으로서 순서도를 기초로 설명되고 있으나, 본 발명은 단계들의 순서에 한정되는 것은 아니며, 어떤 단계는 상술한 바와 다른 단계와 다른 순서로 또는 동시에 발생할 수 있다. 또한, 당해 기술 분야에서 통상의 지식을 가진 자라면 순서도에 나타난 단계들이 배타적이지 않고, 다른 단계가 포함되거나, 순서도의 하나 또는 그 이상의 단계가 본 발명의 범위에 영향을 미치지 않고 삭제될 수 있음을 이해할 수 있을 것이다.
상술한 실시예는 다양한 양태의 예시들을 포함한다. 다양한 양태들을 나타내기 위한 모든 가능한 조합을 기술할 수는 없지만, 해당 기술 분야의 통상의 지식을 가진 자는 다른 조합이 가능함을 인식할 수 있을 것이다. 따라서, 본 발명은 이하의 특허청구범위 내에 속하는 모든 다른 교체, 수정 및 변경을 포함한다고 할 것이다.

Claims (14)

  1. 복수의 계층을 지원하는 영상의 복호화 방법에 있어서,
    현재 계층이 상기 비트스트림 전체에서 참조할 수 있는 참조 계층에 대한 계층 의존성 정보를 수신하여 파싱하는 단계와;
    상기 현재 계층 내 현재 픽쳐의 디코딩에 인터 레이어 예측이 사용되는 경우, 상기 참조 계층 중 상기 현재 픽쳐가 참조하는 참조 계층에 대한 계층 정보를 수신하여 파싱하는 단계와;
    상기 계층 정보에 기초하여 상기 현재 픽쳐의 디코딩을 수행하는 단계를 포함하는 것을 특징으로 하는 영상의 복호화 방법.
  2. 제1항에 있어서,
    상기 계층 의존성 정보는 비디오 파라미터 세트 확장에 포함되어 수신되는 것을 특징으로 하는 영상의 복호화 방법.
  3. 제1항에 있어서,
    상기 계층 정보는 상기 현재 픽쳐가 참조할 수 있는 참조 픽쳐의 계층의 ID 이며, 상기 계층 정보는 슬라이스 헤더에 포함되어 수신되는 것을 특징으로 하는 영상의 복호화 방법.
  4. 제1항에 있어서,
    상기 계층 의존성 정보에 기초하여 상기 현재 계층이 상기 비트스트림 전체에서 참조할 수 있는 참조 계층의 개수를 유도하는 단계와;
    상기 참조 레이어의 개수가 0보다 크면, 상기 현재 계층 내 현재 픽쳐의 디코딩에 인터 레이어 예측이 사용되는지 여부를 나타내는 플래그 정보를 수신하여 파싱하는 단계를 더 포함하는 것을 특징으로 하는 영상의 복호화 방법.
  5. 제4항에 있어서,
    상기 플래그 정보가 1이고, 상기 참조 레이어 개수가 1보다 크고, 전체 비트스트림에 포함된 모든 계층이 하나의 참조 계층을 사용하는 것이 아니면,
    상기 현재 픽쳐의 상기 인터 레이어 예측을 위하여 사용될 수 있는 계층 참조 픽쳐의 개수를 특정할 수 있는 계층 참조 픽쳐 개수 정보를 수신하여 파싱하는 단계를 더 포함하는 것을 특징으로 하는 영상의 복호화 방법.
  6. 제5항에 있어서,
    상기 계층 정보는 상기 참조 레이어의 개수와 상기 계층 참조 픽쳐의 개수가 동일하지 않은 경우 수신되는 것을 특징으로 하는 영상의 복호화 방법.
  7. 제5항에 있어서,
    상기 계층 참조 픽쳐의 개수는 상기 계층 참조 픽쳐 개수 정보에 1을 더한 값으로 특정되는 것을 특징으로 하는 영상의 복호화 방법.
  8. 복수의 계층을 지원하는 영상의 복호화 장치에 있어서,
    현재 계층이 상기 비트스트림 전체에서 참조할 수 있는 참조 계층에 대한 계층 의존성 정보를 수신하여 파싱하고, 상기 현재 계층 내 현재 픽쳐의 디코딩에 인터 레이어 예측이 사용되는 경우, 상기 참조 계층 중 상기 현재 픽쳐가 참조하는 참조 계층에 대한 계층 정보를 수신하여 파싱하는 파싱부와;
    상기 계층 정보에 기초하여 상기 현재 픽쳐의 디코딩을 수행하는 디코딩부를포함하는 것을 특징으로 하는 영상의 복호화 장치.
  9. 제8항에 있어서,
    상기 계층 의존성 정보는 비디오 파라미터 세트 확장에 포함되어 수신되는 것을 특징으로 하는 영상의 복호화 장치.
  10. 제8항에 있어서,
    상기 계층 정보는 상기 현재 픽쳐가 참조할 수 있는 참조 픽쳐의 계층의 ID 이며, 상기 계층 정보는 슬라이스 헤더에 포함되어 수신되는 것을 특징으로 하는 영상의 복호화 장치.
  11. 제8항에 있어서,
    상기 계층 의존성 정보에 기초하여 상기 현재 계층이 상기 비트스트림 전체에서 참조할 수 있는 참조 계층의 개수가 유도되고,
    상기 참조 레이어의 개수가 0보다 크면, 상기 파싱부는 상기 현재 계층 내 현재 픽쳐의 디코딩에 인터 레이어 예측이 사용되는지 여부를 나타내는 플래그 정보를 수신하여 파싱하는 것을 특징으로 하는 영상의 복호화 장치.
  12. 제11항에 있어서,
    상기 플래그 정보가 1이고, 상기 참조 레이어 개수가 1보다 크고, 전체 비트스트림에 포함된 모든 계층이 하나의 참조 계층을 사용하는 것이 아니면,
    상기 파싱부는 상기 현재 픽쳐의 상기 인터 레이어 예측을 위하여 사용될 수 있는 계층 참조 픽쳐의 개수를 특정할 수 있는 계층 참조 픽쳐 개수 정보를 수신하여 파싱하는 것을 특징으로 하는 영상의 복호화 장치.
  13. 제12항에 있어서,
    상기 계층 정보는 상기 참조 레이어의 개수와 상기 계층 참조 픽쳐의 개수가 동일하지 않은 경우 수신되는 것을 특징으로 하는 영상의 복호화 장치.
  14. 제12항에 있어서,
    상기 계층 참조 픽쳐의 개수는 상기 계층 참조 픽쳐 개수 정보에 1을 더한 값으로 특정되는 것을 특징으로 하는 영상의 복호화 장치.
PCT/KR2013/012135 2012-12-26 2013-12-24 영상의 부호화/복호화 방법 및 이를 이용하는 장치 WO2014104725A1 (ko)

Priority Applications (12)

Application Number Priority Date Filing Date Title
EP13867028.6A EP2941002B1 (en) 2012-12-26 2013-12-24 Method for encoding/decoding images, and apparatus using same
CN201810447030.5A CN108540803B (zh) 2012-12-26 2013-12-24 用于编码/解码图像的方法、设备以及计算机可读取介质
CN201810447059.3A CN108540804B (zh) 2012-12-26 2013-12-24 用于编码/解码图像的方法、设备以及计算机可读取介质
EP17165779.4A EP3223522B1 (en) 2012-12-26 2013-12-24 Method for decoding images, and apparatus using same
CN201380071449.0A CN104969553B (zh) 2012-12-26 2013-12-24 用于编码/解码图像的方法以及使用其的设备
CN201810447112.XA CN108540806B (zh) 2012-12-26 2013-12-24 用于编码/解码图像的方法、设备以及计算机可读取介质
JP2015550312A JP6517152B2 (ja) 2012-12-26 2013-12-24 ピクチャの符号化／復号化方法及びこれを利用する装置
CN201810447075.2A CN108540805B (zh) 2012-12-26 2013-12-24 用于编码/解码图像的方法、设备以及计算机可读取介质
CN201810447025.4A CN108650513B (zh) 2012-12-26 2013-12-24 用于编码/解码图像的方法、设备以及计算机可读取介质
US14/650,184 US10154278B2 (en) 2012-12-26 2013-12-24 Method for encoding/decoding images, and apparatus using same
US16/174,036 US10531115B2 (en) 2012-12-26 2018-10-29 Method for encoding/decoding images, and apparatus using same
US16/693,118 US11245917B2 (en) 2012-12-26 2019-11-22 Method for encoding/decoding images, and apparatus using same

Applications Claiming Priority (10)

Application Number Priority Date Filing Date Title
KR10-2012-0153421 2012-12-26
KR20120153421 2012-12-26
KR1020130040658A KR20140087971A (ko) 2012-12-26 2013-04-12 계층적 비디오 부호화에서 다중참조계층을 적용한 화면간 부／복호화 방법 및 그 장치
KR10-2013-0040658 2013-04-12
KR1020130071844A KR20140087977A (ko) 2012-12-26 2013-06-21 계층적 비디오 부호화에서 다중참조계층을 적용한 화면간 부복호화장치
KR10-2013-0071844 2013-06-21
KR1020130083101A KR20140087981A (ko) 2012-12-26 2013-07-15 계층적 비디오 부호화에서 다중참조계층을 적용한 화면간 부/복호화 방법 및 그 장치
KR10-2013-0083101 2013-07-15
KR10-2013-0162524 2013-12-24
KR1020130162524A KR102271877B1 (ko) 2012-12-26 2013-12-24 영상의 부호화/복호화 방법 및 이를 이용하는 장치

Related Child Applications (2)

Application Number Title Priority Date Filing Date
US14/650,184 A-371-Of-International US10154278B2 (en) 2012-12-26 2013-12-24 Method for encoding/decoding images, and apparatus using same
US16/174,036 Continuation US10531115B2 (en) 2012-12-26 2018-10-29 Method for encoding/decoding images, and apparatus using same

Publications (1)

Publication Number Publication Date
WO2014104725A1 true WO2014104725A1 (ko) 2014-07-03

Family

ID=51736798

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2013/012135 WO2014104725A1 (ko) 2012-12-26 2013-12-24 영상의 부호화/복호화 방법 및 이를 이용하는 장치

Country Status (6)

Country Link
US (3) US10154278B2 (ko)
EP (2) EP2941002B1 (ko)
JP (2) JP6517152B2 (ko)
KR (4) KR20140087971A (ko)
CN (6) CN108540806B (ko)
WO (1) WO2014104725A1 (ko)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015005331A1 (ja) * 2013-07-10 2015-01-15 シャープ株式会社 画像復号装置および画像符号化装置
WO2015005137A1 (ja) * 2013-07-12 2015-01-15 ソニー株式会社 画像符号化装置および方法
WO2015008479A1 (en) * 2013-07-14 2015-01-22 Sharp Kabushiki Kaisha Signaling indications and constraints
JP2016526848A (ja) * 2013-07-02 2016-09-05 クゥアルコム・インコーポレイテッドＱｕａｌｃｏｍｍ Ｉｎｃｏｒｐｏｒａｔｅｄ マルチレイヤビデオコーディングのためのレイヤ間予測シグナリングに対する最適化
JP2016538756A (ja) * 2013-10-11 2016-12-08 シャープ株式会社 符号化のための情報のシグナリング
JP2017212752A (ja) * 2013-06-18 2017-11-30 ヴィド スケール インコーポレイテッド Ｈｅｖｃ拡張のためのレイヤ間パラメータセット

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140087971A (ko) 2012-12-26 2014-07-09 한국전자통신연구원 계층적 비디오 부호화에서 다중참조계층을 적용한 화면간 부／복호화 방법 및 그 장치
MX2018002477A (es) * 2015-09-02 2018-06-15 Mediatek Inc Metodo y aparato de derivacion de movimiento de lado de decodificador para codificacion de video.
US10841617B2 (en) 2018-11-27 2020-11-17 Semiconductor Components Industries, Llc Methods and apparatus for successive intra block prediction
MX2021006688A (es) * 2018-12-07 2021-07-07 Beijing Dajia Internet Information Tech Co Ltd Codificacion de video utilizando el manejo de imagen de referencia de resolucion multiple.
EP3926954A4 (en) * 2019-02-15 2022-04-06 Panasonic Intellectual Property Corporation of America ENCODING DEVICE, DECODING DEVICE, ENCODING METHOD AND DECODING METHOD
US11310492B2 (en) 2019-09-20 2022-04-19 Tencent America LLC Signaling of inter layer prediction in video bitstream
US11418813B2 (en) * 2019-09-20 2022-08-16 Tencent America LLC Signaling of inter layer prediction in video bitstream
US20210092406A1 (en) * 2019-09-23 2021-03-25 Qualcomm Incorporated Inter-layer reference picture signaling in video coding
US20230209041A1 (en) * 2020-05-22 2023-06-29 Lg Electronics Inc. Multilayer-based image coding method in video or image coding system

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060068254A (ko) * 2004-12-16 2006-06-21 엘지전자 주식회사 비디오 부호화 방법, 복호화 방법 그리고, 복호화 장치
KR20060122664A (ko) * 2005-05-26 2006-11-30 엘지전자 주식회사 레이어간 예측방식를 사용해 엔코딩된 영상신호를디코딩하는 방법
KR20080035220A (ko) * 2006-10-18 2008-04-23 주식회사 휴맥스 계층 구조를 이용한 디코딩 방법 및 장치
KR20110033240A (ko) * 2008-07-22 2011-03-30 톰슨 라이센싱 스케일러블 비디오 코딩（ｓｖｃ）디코딩에서 향상 계층의 패킷 분실에 기인한 오류 은폐를 위한 방법
WO2011081643A2 (en) * 2009-12-14 2011-07-07 Thomson Licensing Merging encoded bitstreams

Family Cites Families (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
ID20680A (id) * 1997-04-01 1999-02-11 Sony Corp Alat dan metode pemberian kode bayangan, alat dan metode penguraian kode bayangan, dan media pendistribusinya
US6639943B1 (en) * 1999-11-23 2003-10-28 Koninklijke Philips Electronics N.V. Hybrid temporal-SNR fine granular scalability video coding
KR100596705B1 (ko) * 2004-03-04 2006-07-04 삼성전자주식회사 비디오 스트리밍 서비스를 위한 비디오 코딩 방법과 비디오 인코딩 시스템, 및 비디오 디코딩 방법과 비디오 디코딩 시스템
CN101171845A (zh) * 2005-03-17 2008-04-30 Lg电子株式会社 对使用层间预测编码的视频信号进行解码的方法
CN101223784A (zh) * 2005-04-13 2008-07-16 诺基亚公司 可分级视频编码中的fgs标识
KR100763182B1 (ko) * 2005-05-02 2007-10-05 삼성전자주식회사 다계층 기반의 가중 예측을 이용한 비디오 코딩 방법 및장치
WO2006123913A1 (en) 2005-05-19 2006-11-23 Lg Electronics Inc. Method for coding/decoding video data
KR20060119736A (ko) 2005-05-19 2006-11-24 엘지전자 주식회사 영상 신호의 인코딩 방법
KR20060122671A (ko) * 2005-05-26 2006-11-30 엘지전자 주식회사 영상 신호의 스케일러블 인코딩 및 디코딩 방법
KR20060122663A (ko) 2005-05-26 2006-11-30 엘지전자 주식회사 영상신호의 엔코딩 및 디코딩에서의 픽처 정보를 전송하고이를 이용하는 방법
KR100878812B1 (ko) 2005-05-26 2009-01-14 엘지전자 주식회사 영상신호의 레이어간 예측에 대한 정보를 제공하고 그정보를 이용하는 방법
CN101998123B (zh) * 2005-10-11 2015-03-18 诺基亚公司 用于有效的可伸缩流适配的系统和方法
CN101317459A (zh) * 2005-10-11 2008-12-03 诺基亚公司 用于可伸缩视频编码的有效解码图像缓存管理
KR100763196B1 (ko) * 2005-10-19 2007-10-04 삼성전자주식회사 어떤 계층의 플래그를 계층간의 연관성을 이용하여부호화하는 방법, 상기 부호화된 플래그를 복호화하는방법, 및 장치
EP1806930A1 (en) * 2006-01-10 2007-07-11 Thomson Licensing Method and apparatus for constructing reference picture lists for scalable video
EP1879399A1 (en) * 2006-07-12 2008-01-16 THOMSON Licensing Method for deriving motion data for high resolution pictures from motion data of low resolution pictures and coding and decoding devices implementing said method
CN101578866B (zh) * 2006-10-20 2013-11-13 诺基亚公司 利用参考画面标记和参考画面列表对可缩放视频位流进行编解码的方法及装置
CN101395922A (zh) * 2006-11-17 2009-03-25 Lg电子株式会社 用于解码/编码视频信号的方法及装置
CN101888555B (zh) * 2006-11-17 2013-04-03 Lg电子株式会社 用于解码/编码视频信号的方法及装置
EP1933563A1 (en) * 2006-12-14 2008-06-18 Thomson Licensing Method and apparatus for encoding and/or decoding bit depth scalable video data using adaptive enhancement layer residual prediction
US20100142613A1 (en) * 2007-04-18 2010-06-10 Lihua Zhu Method for encoding video data in a scalable manner
DE102009039095A1 (de) * 2009-08-27 2011-03-10 Siemens Aktiengesellschaft Verfahren und Vorrichtung zum Erzeugen, Decodieren und Transcodieren eines codierten Videodatenstroms
WO2012096981A1 (en) * 2011-01-14 2012-07-19 Vidyo, Inc. Improved nal unit header
CA2829493A1 (en) * 2011-03-10 2012-09-13 Vidyo, Inc. Dependency parameter set for scalable video coding
US20130195201A1 (en) * 2012-01-10 2013-08-01 Vidyo, Inc. Techniques for layered video encoding and decoding
US9451252B2 (en) * 2012-01-14 2016-09-20 Qualcomm Incorporated Coding parameter sets and NAL unit headers for video coding
EP2810438A1 (en) * 2012-01-31 2014-12-10 VID SCALE, Inc. Reference picture set (rps) signaling for scalable high efficiency video coding (hevc)
US10200709B2 (en) * 2012-03-16 2019-02-05 Qualcomm Incorporated High-level syntax extensions for high efficiency video coding
US20140010291A1 (en) * 2012-07-05 2014-01-09 Vid Scale, Inc. Layer Dependency and Priority Signaling Design for Scalable Video Coding
KR102160242B1 (ko) * 2012-09-09 2020-09-25 엘지전자 주식회사 영상 복호화 방법 및 이를 이용하는 장치
KR20150054752A (ko) * 2012-09-09 2015-05-20 엘지전자 주식회사 영상 복호화 방법 및 이를 이용하는 장치
EP2901690A4 (en) * 2012-09-28 2016-05-04 Nokia Technologies Oy DEVICE, METHOD AND COMPUTER PROGRAM FOR CODING AND DECODING VIDEO CONTENT
TWI651964B (zh) * 2012-10-04 2019-02-21 Ｖｉｄ衡器股份有限公司 用於標準可縮放視訊編碼的參考圖像集映射
US10805605B2 (en) * 2012-12-21 2020-10-13 Telefonaktiebolaget Lm Ericsson (Publ) Multi-layer video stream encoding and decoding
US9774927B2 (en) * 2012-12-21 2017-09-26 Telefonaktiebolaget L M Ericsson (Publ) Multi-layer video stream decoding
KR20140087971A (ko) 2012-12-26 2014-07-09 한국전자통신연구원 계층적 비디오 부호화에서 다중참조계층을 적용한 화면간 부／복호화 방법 및 그 장치
US11438609B2 (en) * 2013-04-08 2022-09-06 Qualcomm Incorporated Inter-layer picture signaling and related processes
EP3522540A1 (en) 2013-06-18 2019-08-07 Vid Scale, Inc. Inter-layer parameter set for hevc extensions
US9756335B2 (en) * 2013-07-02 2017-09-05 Qualcomm Incorporated Optimizations on inter-layer prediction signalling for multi-layer video coding

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060068254A (ko) * 2004-12-16 2006-06-21 엘지전자 주식회사 비디오 부호화 방법, 복호화 방법 그리고, 복호화 장치
KR20060122664A (ko) * 2005-05-26 2006-11-30 엘지전자 주식회사 레이어간 예측방식를 사용해 엔코딩된 영상신호를디코딩하는 방법
KR20080035220A (ko) * 2006-10-18 2008-04-23 주식회사 휴맥스 계층 구조를 이용한 디코딩 방법 및 장치
KR20110033240A (ko) * 2008-07-22 2011-03-30 톰슨 라이센싱 스케일러블 비디오 코딩（ｓｖｃ）디코딩에서 향상 계층의 패킷 분실에 기인한 오류 은폐를 위한 방법
WO2011081643A2 (en) * 2009-12-14 2011-07-07 Thomson Licensing Merging encoded bitstreams

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP2941002A4 *

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017212752A (ja) * 2013-06-18 2017-11-30 ヴィド スケール インコーポレイテッド Ｈｅｖｃ拡張のためのレイヤ間パラメータセット
JP2016526848A (ja) * 2013-07-02 2016-09-05 クゥアルコム・インコーポレイテッドＱｕａｌｃｏｍｍ Ｉｎｃｏｒｐｏｒａｔｅｄ マルチレイヤビデオコーディングのためのレイヤ間予測シグナリングに対する最適化
WO2015005331A1 (ja) * 2013-07-10 2015-01-15 シャープ株式会社 画像復号装置および画像符号化装置
JPWO2015005331A1 (ja) * 2013-07-10 2017-03-02 シャープ株式会社 画像復号装置および画像符号化装置
WO2015005137A1 (ja) * 2013-07-12 2015-01-15 ソニー株式会社 画像符号化装置および方法
JPWO2015005137A1 (ja) * 2013-07-12 2017-03-02 ソニー株式会社 画像符号化装置および方法
US10075719B2 (en) 2013-07-12 2018-09-11 Sony Corporation Image coding apparatus and method
US10085034B2 (en) 2013-07-12 2018-09-25 Sony Corporation Image coding apparatus and method
WO2015008479A1 (en) * 2013-07-14 2015-01-22 Sharp Kabushiki Kaisha Signaling indications and constraints
US10284862B2 (en) 2013-07-14 2019-05-07 Sharp Kabushiki Kaisha Signaling indications and constraints
JP2016538756A (ja) * 2013-10-11 2016-12-08 シャープ株式会社 符号化のための情報のシグナリング

Also Published As

Publication number Publication date
US20190068990A1 (en) 2019-02-28
KR102271877B1 (ko) 2021-07-02
KR20140088014A (ko) 2014-07-09
JP6874032B2 (ja) 2021-05-19
CN108540806B (zh) 2022-07-26
CN108650513B (zh) 2022-07-26
US20150319453A1 (en) 2015-11-05
CN108650513A (zh) 2018-10-12
JP2019092213A (ja) 2019-06-13
KR20140087971A (ko) 2014-07-09
CN104969553B (zh) 2018-06-01
KR20140087981A (ko) 2014-07-09
CN104969553A (zh) 2015-10-07
EP3223522B1 (en) 2019-10-23
CN108540805B (zh) 2022-07-26
EP3223522A1 (en) 2017-09-27
EP2941002A1 (en) 2015-11-04
US20200092580A1 (en) 2020-03-19
CN108540804A (zh) 2018-09-14
JP2016506178A (ja) 2016-02-25
CN108540805A (zh) 2018-09-14
EP2941002A4 (en) 2016-07-06
CN108540806A (zh) 2018-09-14
US11245917B2 (en) 2022-02-08
JP6517152B2 (ja) 2019-05-22
US10531115B2 (en) 2020-01-07
KR20140087977A (ko) 2014-07-09
US10154278B2 (en) 2018-12-11
CN108540803B (zh) 2022-07-26
CN108540803A (zh) 2018-09-14
CN108540804B (zh) 2022-07-26
EP2941002B1 (en) 2017-08-02

Similar Documents

Publication Publication Date Title
WO2014104725A1 (ko) 영상의 부호화/복호화 방법 및 이를 이용하는 장치
WO2018066867A1 (ko) 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체
WO2018030599A1 (ko) 인트라 예측 모드 기반 영상 처리 방법 및 이를 위한 장치
WO2014081226A1 (ko) 영상 디코딩 방법 및 이를 이용하는 장치
WO2014003379A1 (ko) 영상 디코딩 방법 및 이를 이용하는 장치
WO2014058280A1 (ko) 영상의 부호화/복호화 방법 및 이를 이용하는 장치
WO2020171444A1 (ko) Dmvr 기반의 인터 예측 방법 및 장치
WO2017183751A1 (ko) 인터 예측 모드 기반 영상 처리 방법 및 이를 위한 장치
WO2020184848A1 (ko) Dmvr 기반의 인터 예측 방법 및 장치
WO2020189893A1 (ko) Bdof 기반의 인터 예측 방법 및 장치
WO2017003063A1 (ko) 인터 예측 모드 기반 영상 처리 방법 및 이를 위한 장치
WO2017069505A1 (ko) 영상의 부호화/복호화 방법 및 이를 위한 장치
WO2014038906A1 (ko) 영상 복호화 방법 및 이를 이용하는 장치
WO2014107069A1 (ko) 영상 부호화/복호화 방법 및 장치
WO2017034113A1 (ko) 인터 예측 모드 기반 영상 처리 방법 및 이를 위한 장치
WO2020184847A1 (ko) Dmvr 및 bdof 기반의 인터 예측 방법 및 장치
WO2015056941A1 (ko) 다계층 기반의 영상 부호화/복호화 방법 및 장치
WO2011129672A2 (ko) 영상 부호화/복호화 장치 및 방법
WO2020251278A1 (ko) 크로마 양자화 파라미터 데이터 기반 영상 디코딩 방법 및 그 장치
WO2020184952A1 (ko) 비디오 신호에서 인터 예측을 위한 움직임 벡터 차분 정보를 처리하기 위한 비디오 신호의 처리 방법 및 장치
WO2019151795A1 (ko) 움직임 정보를 처리하는 영상 처리 방법, 그를 이용한 영상 복호화, 부호화 방법 및 그 장치
WO2015105385A1 (ko) 스케일러블 비디오 부호화/복호화 방법 및 장치
WO2021145668A1 (ko) 예측 가중 테이블 기반 영상/비디오 코딩 방법 및 장치
WO2015099400A1 (ko) 멀티 레이어 비디오 신호 인코딩/디코딩 방법 및 장치
WO2020032609A1 (ko) 영상 코딩 시스템에서 어파인 머지 후보 리스트를 사용하는 어파인 움직임 예측에 기반한 영상 디코딩 방법 및 장치

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13867028

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 14650184

Country of ref document: US

REEP Request for entry into the european phase

Ref document number: 2013867028

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 2013867028

Country of ref document: EP

ENP Entry into the national phase

Ref document number: 2015550312

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE