WO2015009036A1 - 시간적 서브 레이어 정보에 기반한 인터 레이어 예측 방법 및 장치 - Google Patents

시간적 서브 레이어 정보에 기반한 인터 레이어 예측 방법 및 장치 Download PDF

Info

Publication number
WO2015009036A1
WO2015009036A1 PCT/KR2014/006401 KR2014006401W WO2015009036A1 WO 2015009036 A1 WO2015009036 A1 WO 2015009036A1 KR 2014006401 W KR2014006401 W KR 2014006401W WO 2015009036 A1 WO2015009036 A1 WO 2015009036A1
Authority
WO
WIPO (PCT)
Prior art keywords
layer
information
temporal sublayer
prediction
inter
Prior art date
Application number
PCT/KR2014/006401
Other languages
English (en)
French (fr)
Inventor
이하현
이진호
강정원
최진수
김진웅
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to CN202010805133.1A priority Critical patent/CN112243128B/zh
Priority to US14/650,673 priority patent/US9838702B2/en
Priority to EP14825652.2A priority patent/EP3024237B1/en
Priority to JP2016527928A priority patent/JP6725415B2/ja
Priority to CN201480006735.3A priority patent/CN104982037B/zh
Priority to EP21178680.1A priority patent/EP3913920A1/en
Publication of WO2015009036A1 publication Critical patent/WO2015009036A1/ko
Priority to US15/799,803 priority patent/US10397589B2/en
Priority to US16/509,299 priority patent/US10924752B2/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/31—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the temporal domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/184—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/187—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scalable video layer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H04N19/463—Embedding additional information in the video signal during the compression process by compressing encoding parameters before transmission
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Definitions

  • the present invention relates to image encoding and decoding of a multi-layer structure, and relates to inter-layer prediction for encoding and decoding an upper layer by using information of a lower layer. More specifically, the present invention relates to an efficient signaling method for interlayer prediction based on temporal sublayer information.
  • the supporting performance is also diversified by device.
  • the network in which information is transmitted is also diversified not only in the external structure such as wired and wireless networks, but also in functions such as the type of information to be transmitted, the amount and speed of information.
  • the user selects a terminal and a network to be used according to a desired function, and the spectrum of terminals and networks provided to the user by the enterprise is also diversified.
  • Ultra High Definition which has more than four times the resolution of HDTV
  • the demand for technology for compressing and processing higher resolution and higher quality images is increasing.
  • an inter prediction technique for predicting a pixel value included in a current picture from a previous and / or subsequent picture in time, another pixel included in the current picture using pixel information in the current picture
  • An intra prediction technique for predicting a value an entropy encoding technique for allocating a short sign to a high frequency symbol and a long code to a low frequency symbol may be used.
  • the quality, size, frame, etc. of the supported images need to be diversified accordingly.
  • the present invention provides an interlayer prediction method and apparatus based on temporal sublayer information.
  • the present invention provides a method and apparatus for efficiently signaling by assigning an indicator for adjusting interlayer prediction based on temporal sublayer information.
  • the present invention provides a method capable of applying the same maximum temporal sublayer information to all layers in a multi-layer structure.
  • an inter-layer prediction method of an image having a plurality of layers including at least one temporal sub-layer may include obtaining information on a temporal sublayer allowing interlayer prediction, deriving a reference picture used for interlayer prediction of a current picture based on the information on the temporal sublayer; Performing inter-layer prediction of the current picture based on the reference picture.
  • the information on the temporal sublayer includes indicator information indicating presence or absence of temporal sublayer information used for interlayer prediction, and maximum temporal indicating a maximum temporal sublayer that can be referred to for interlayer prediction in each layer. Sublayer information and indicator information indicating whether to adjust the maximum temporal sublayer information in each layer.
  • an apparatus for inter-layer prediction of an image having a plurality of layers including at least one temporal sub-layer derives an entropy decoder that obtains information about a temporal sublayer that allows interlayer prediction and a reference picture used for interlayer prediction of a current picture based on the information about the temporal sublayer. And a predictor configured to perform interlayer prediction of the current picture based on the reference picture.
  • the information on the temporal sublayer includes indicator information indicating presence or absence of temporal sublayer information used for interlayer prediction, and maximum temporal indicating a maximum temporal sublayer that can be referred to for interlayer prediction in each layer. Sublayer information and indicator information indicating whether to adjust the maximum temporal sublayer information in each layer.
  • related information may be efficiently signaled by allocating an indicator or identifier for adjusting inter-layer prediction based on temporal sublayer information.
  • an indicator or identifier for adjusting inter-layer prediction based on temporal sublayer information may be efficiently signaled by allocating an indicator or identifier for adjusting inter-layer prediction based on temporal sublayer information.
  • by allowing the same maximum temporal sublayer information to be applied to all reference layers in a multi-layer structure it is possible to omit transmitting the maximum temporal sublayer information individually for all reference layers, thereby signaling overhead of related information. Can be reduced.
  • FIG. 1 is a block diagram illustrating a configuration of an image encoding apparatus according to an embodiment of the present invention.
  • FIG. 2 is a block diagram illustrating a configuration of an image decoding apparatus according to an embodiment of the present invention.
  • FIG. 3 is a conceptual diagram schematically illustrating an embodiment of a scalable video coding structure using multiple layers to which the present invention can be applied.
  • FIG. 4 illustrates an example of a hierarchical structure of scalable video coding to which the present invention can be applied.
  • FIG. 5 is a flowchart schematically illustrating a method of performing interlayer prediction based on temporal sublayer information according to an embodiment of the present invention.
  • first and second may be used to describe various configurations, but the configurations are not limited by the terms. The terms are used to distinguish one configuration from another.
  • first configuration may be referred to as the second configuration, and similarly, the second configuration may also be referred to as the first configuration.
  • each component shown in the embodiments of the present invention are independently shown to represent different characteristic functions, and do not mean that each component is made of separate hardware or one software component unit.
  • each component is listed as a component for convenience of description, and at least two of the components may form one component, or one component may be divided into a plurality of components to perform a function.
  • the integrated and separated embodiments of each component are also included in the scope of the present invention without departing from the spirit of the present invention.
  • the components may not be essential components for performing essential functions in the present invention, but may be optional components for improving performance.
  • the present invention can be implemented including only the components essential for implementing the essentials of the present invention except for the components used for improving performance, and the structure including only the essential components except for the optional components used for improving performance. Also included in the scope of the present invention.
  • FIG. 1 is a block diagram illustrating a configuration of an image encoding apparatus according to an embodiment of the present invention.
  • a scalable video encoding apparatus supporting a multi-layer structure may be implemented by extending a general image encoding apparatus having a single layer structure.
  • the block diagram of FIG. 1 shows an embodiment of an image encoding apparatus that can be the basis of a scalable video encoding apparatus applicable to a multilayer structure.
  • the image encoding apparatus 100 may include an inter predictor 110, an intra predictor 120, a switch 115, a subtractor 125, a transformer 130, a quantizer 140, and entropy.
  • An encoder 150, an inverse quantizer 160, an inverse transformer 170, an adder 175, a filter 180, and a reference picture buffer 190 are included.
  • the image encoding apparatus 100 may encode an input image in an intra mode or an inter mode and output a bitstream.
  • the switch 115 may be switched to intra, and in the inter mode, the switch 115 may be switched to inter.
  • Intra prediction means intra prediction and inter prediction means inter prediction.
  • the image encoding apparatus 100 may generate a prediction block for an input block of an input image and then encode a residual between the input block and the prediction block.
  • the input image may mean an original picture.
  • the intra predictor 120 may use a sample value of an already encoded / decoded block around the current block as a reference sample.
  • the intra prediction unit 120 may perform spatial prediction using the reference sample and generate prediction samples for the current block.
  • the inter prediction unit 110 may identify a motion vector specifying a reference block having a smallest difference from an input block (current block) in a reference picture stored in the reference picture buffer 190 during a motion prediction process. You can get it.
  • the inter prediction unit 110 may generate a prediction block for the current block by performing motion compensation using the motion vector and the reference picture stored in the reference picture buffer 190.
  • inter prediction applied in inter mode may include inter layer prediction.
  • the inter prediction unit 110 may construct an inter-layer reference picture by sampling a picture of the reference layer, and perform inter-layer prediction by including an inter-layer reference picture in the reference picture list.
  • the reference relationship between layers may be signaled through information specifying dependencies between layers.
  • sampling applied to the reference layer picture may mean generation of a reference sample by copying a sample from the reference layer picture.
  • sampling applied to the reference layer picture may mean upsampling.
  • an interlayer reference picture may be configured by upsampling a reconstructed picture of a reference layer between layers that support scalability with respect to resolution.
  • the encoding apparatus may transmit information specifying the layer to which the picture to be used as the inter-layer reference picture belongs, to the decoding apparatus.
  • a layer referred to in inter-layer prediction that is, a picture used for prediction of the current block in the reference layer, may be a picture having the same access unit as the current picture (picture to be predicted in the current layer).
  • the subtractor 125 may generate a residual block by the difference between the input block and the generated prediction block.
  • the transform unit 130 may output a transform coefficient by performing a transform on the residual block.
  • the transform coefficient may mean a coefficient value generated by performing transform on the residual block and / or the residual signal.
  • a quantized transform coefficient level generated by applying quantization to a transform coefficient may also be referred to as a transform coefficient.
  • the transform unit 130 may omit the transform on the residual block.
  • the quantization unit 140 may quantize the input transform coefficient according to a quantization parameter or a quantization parameter, and output a quantized coefficient. Quantized coefficients may be referred to as quantized transform coefficient levels. In this case, the quantization unit 140 may quantize the input transform coefficients using the quantization matrix.
  • the entropy encoder 150 may output a bitstream by entropy encoding the values calculated by the quantizer 140 or the encoding parameter values calculated in the encoding process according to a probability distribution.
  • the entropy encoder 150 may entropy encode information (eg, syntax elements) for video decoding in addition to the pixel information of the video.
  • the encoding parameter is information necessary for encoding and decoding, and may include information that may be inferred in the encoding or decoding process as well as information encoded in the encoding apparatus and delivered to the decoding apparatus, such as a syntax element.
  • encoding parameters may include intra / inter prediction modes, moving / motion vectors, reference image indexes, coding block patterns, presence or absence of residual signals, transform coefficients, quantized transform coefficients, quantization parameters, block sizes, block division information, and the like. Or statistics.
  • the residual signal may mean a difference between the original signal and the prediction signal, and a signal in which the difference between the original signal and the prediction signal is transformed or a signal in which the difference between the original signal and the prediction signal is transformed and quantized It may mean.
  • the residual signal may be referred to as a residual block in block units.
  • the entropy encoder 150 may use an encoding method such as exponential golomb, context-adaptive variable length coding (CAVLC), or context-adaptive binary arithmetic coding (CABAC). For example, the entropy encoder 150 may perform entropy encoding by using a variable length coding (VLC) table. In addition, the entropy encoder 150 derives a binarization method of a target symbol and a probability model of a target symbol / bin, and then performs entropy encoding using the derived binarization method or a probability model. You may.
  • VLC variable length coding
  • the quantized coefficients may be inversely quantized by the inverse quantizer 160 and inversely transformed by the inverse transformer 170.
  • the inverse quantized and inverse transformed coefficients are added to the prediction block through the adder 175 and a reconstructed block is generated.
  • the reconstruction block passes through the filter unit 180, and the filter unit 180 applies at least one or more of a deblocking filter, a sample adaptive offset (SAO), and an adaptive loop filter (ALF) to the reconstructed block or reconstructed picture. can do.
  • the filter unit 180 may be referred to as an adaptive in-loop filter.
  • the deblocking filter can remove block distortion generated at the boundary between blocks.
  • SAO can add an appropriate offset to the pixel value to compensate for coding errors.
  • the ALF may perform filtering based on a value obtained by comparing the reconstructed image with the original image.
  • the reconstructed block that has passed through the filter unit 180 may be stored in the reference picture buffer 190.
  • FIG. 2 is a block diagram illustrating a configuration of an image decoding apparatus according to an embodiment of the present invention.
  • a scalable video decoding apparatus supporting a multi-layer structure may be implemented by extending a general image decoding apparatus having a single layer structure.
  • the block diagram of FIG. 2 illustrates an embodiment of an image decoding apparatus that may be the basis of a scalable video decoding apparatus applicable to a multilayer structure.
  • the image decoding apparatus 200 may include an entropy decoder 210, an inverse quantizer 220, an inverse transformer 230, an intra predictor 240, an inter predictor 250, and an adder 255. ), A filter unit 260 and a reference picture buffer 270.
  • the image decoding apparatus 200 may receive a bitstream output from the encoder and perform decoding in an intra mode or an inter mode, and output a reconstructed image, that is, a reconstructed image.
  • the switch In the intra mode, the switch may be switched to intra, and in the inter mode, the switch may be switched to inter.
  • the image decoding apparatus 200 may obtain a reconstructed residual block from the received bitstream, generate a prediction block, and then add the reconstructed residual block and the prediction block to generate a reconstructed block, that is, a reconstruction block. .
  • the entropy decoder 210 may entropy decode the input bitstream according to a probability distribution, and output information such as quantized coefficients and syntax elements.
  • the quantized coefficients are inversely quantized by the inverse quantizer 220 and inversely transformed by the inverse transformer 230.
  • a reconstructed residual block may be generated.
  • the inverse quantization unit 220 may apply a quantization matrix to the quantized coefficients.
  • the intra predictor 240 may perform spatial prediction using sample values of blocks already decoded around the current block, and generate prediction samples for the current block.
  • the inter prediction unit 250 may generate a prediction block for the current block by performing motion compensation using the reference picture stored in the motion vector and the reference picture buffer 270.
  • inter prediction applied in inter mode may include inter layer prediction.
  • the inter prediction unit 250 may construct an interlayer reference picture by sampling a picture of the reference layer, and perform interlayer prediction by including an interlayer reference picture in a reference picture list.
  • the reference relationship between layers may be signaled through information specifying dependencies between layers.
  • sampling applied to the reference layer picture may mean generation of a reference sample by copying a sample from the reference layer picture.
  • sampling applied to the reference layer picture may mean upsampling.
  • the inter-layer reference picture may be configured by upsampling the reconstructed picture of the reference layer.
  • information specifying a layer to which a picture to be used as an inter-layer reference picture belongs may be transmitted from the encoding apparatus to the decoding apparatus.
  • a layer referred to in inter-layer prediction that is, a picture used for prediction of the current block in the reference layer, may be a picture of the same access unit (AU) as the current picture (picture to be predicted in the current layer).
  • AU access unit
  • the reconstructed residual block and the predictive block are added at the adder 255 to generate a reconstructed block.
  • the residual sample and the predictive sample are added to generate a reconstructed sample or a reconstructed picture.
  • the reconstructed picture is filtered by the filter unit 260.
  • the filter unit 260 may apply at least one or more of the deblocking filter, SAO, and ALF to the reconstructed block or the reconstructed picture.
  • the filter unit 260 outputs a modified or filtered reconstructed picture.
  • the reconstructed picture may be stored in the reference picture buffer 270 and used for inter prediction.
  • the image decoding apparatus 200 may further include a parser (not shown) that parses information related to an encoded image included in the bitstream.
  • the parser may include the entropy decoder 210 or may be included in the entropy decoder 210. Such a parser may also be implemented as one component of the decoder.
  • one encoding device / decoding device processes both encoding / decoding for multiple layers. However, this is for convenience of description.
  • the encoding device / decoding device may be configured for each layer.
  • the encoding device / decoding device of the upper layer may perform encoding / decoding of the corresponding upper layer by using the information of the upper layer and the information of the lower layer.
  • the prediction unit (inter prediction unit) of the upper layer may perform intra prediction or inter prediction on the current block by using pixel information or picture information of the upper layer, and receives picture information reconstructed from the lower layer and Inter prediction (inter layer prediction) may be performed on the current block of the upper layer by using the interlayer prediction.
  • Inter prediction inter layer prediction
  • the encoding device / decoding device performs encoding / decoding on the current layer by using information of another layer regardless of whether the device is configured for each layer or one device processes multiple layers. can do.
  • the layer may include a view.
  • information of another layer between layers specified as having dependence by information specifying dependency between layers is not merely performed by using information of a lower layer.
  • Inter layer prediction may be performed using.
  • FIG. 3 is a conceptual diagram schematically illustrating an embodiment of a scalable video coding structure using multiple layers to which the present invention can be applied.
  • a GOP Group of Picture
  • FIG. 3 a GOP (Group of Picture) represents a picture group, that is, a group of pictures.
  • a transmission medium In order to transmit image data, a transmission medium is required, and its performance varies depending on the transmission medium according to various network environments.
  • a scalable video coding method may be provided for application to such various transmission media or network environments.
  • a video coding method that supports scalability removes redundancy between layers by using texture information, motion information, and residual signals between layers.
  • a coding method that improves encoding and decoding performance has various scales in terms of spatial, temporal, image quality (or quality), and view according to ambient conditions such as transmission bit rate, transmission error rate, and system resources. It can provide the ability.
  • Scalable video coding may be performed using multiple layers structure to provide a bitstream applicable to various network situations.
  • the scalable video coding structure may include a base layer that compresses and processes image data using a general image decoding method, and compresses the image data using both the decoding information of the base layer and a general image decoding method. May include an enhancement layer for processing.
  • the base layer may be referred to as a base layer or may be referred to as a lower layer.
  • the enhancement layer may be referred to as an enhancement layer or a higher layer.
  • the lower layer may mean a layer supporting scalability lower than a specific layer
  • the upper layer may mean a layer supporting higher scalability than a specific layer.
  • a layer referred to for encoding / decoding of another layer may be referred to as a reference layer (reference layer), and a layer encoded / decoded using another layer may be referred to as a current layer (current layer).
  • the reference layer may be lower than the current layer, and the current layer may be higher than the reference layer.
  • the layer may be based on spatial (eg, image size), temporal (eg, decoding order, image output order, frame rate), image quality, complexity, view, etc. Means a set of image and bitstream to be distinguished.
  • the base layer may be defined as a standard definition (SD), a frame rate of 15 Hz, and a 1 Mbps bit rate
  • the first enhancement layer may be a high definition (HD), a frame rate of 30 Hz, and a 3.9 Mbps bit rate
  • the second enhancement layer may be defined as 4K-UHD (ultra high definition), a frame rate of 60 Hz, and a bit rate of 27.2 Mbps.
  • the format, frame rate, bit rate, etc. are exemplary and may be determined differently as necessary.
  • the number of hierarchies used is not limited to this embodiment and may be determined differently according to a situation. For example, if the transmission bandwidth is 4 Mbps, the frame rate of the first enhancement layer HD may be reduced and transmitted at 15 Hz or less.
  • the scalable video coding method may provide temporal, spatial, image quality, and view scalability by the method described above in the embodiment of FIG. 3.
  • scalable video coding has the same meaning as scalable video encoding in terms of encoding and scalable video decoding in terms of decoding.
  • scalable video coding may have a structure including a plurality of layers to provide scalability such as temporal, spatial, image quality, viewpoint, and the like. Since there is a strong correlation between layers in the scalable video coding structure supporting the plurality of layers, encoding / decoding by using such correlation can remove redundant elements of data and encode / decode performance of an image. Can improve.
  • Inter-layer prediction (or inter-layer prediction) using information of the layer may be performed.
  • the plurality of layers may have at least one of a resolution, a frame rate, a color format, and a viewpoint according to the type of scalability, and each layer may include at least one temporal sub-layer that is temporally scaled.
  • scalable video coding may have a structure including a plurality of layers including at least one temporal sublayer.
  • interlayer prediction when interlayer prediction is performed in a scalable video coding including a plurality of layers including at least one temporal sublayer, a layer to which current interlayer prediction is performed is applied to a reference layer to be referred to for interlayer prediction.
  • information on whether a temporal sublayer belonging to a reference layer can be referred to for inter-layer prediction is required.
  • the present invention provides a method for efficiently expressing and signaling information on whether a temporal sublayer of each layer is referenceable for interlayer prediction, and a method for performing interlayer prediction based on the signaled information.
  • FIG. 4 illustrates an example of a hierarchical structure of scalable video coding to which the present invention can be applied.
  • each layer may include temporal sublayers to support temporal scalability.
  • each layer is illustrated as being composed of four temporal sublayers, but this is just an example, and each layer may be composed of a different number of temporal sublayers. .
  • the encoder may determine a temporal sublayer to allow inter-layer prediction in each layer except the highest layer, and signal this information to the decoder.
  • the decoder can determine whether temporal sublayers of each layer can be referenced for interlayer prediction in a higher layer through signaled information, and perform interlayer prediction based on referenceable temporal sublayer information of each layer. Can be done.
  • the encoder when each layer is composed of four temporal sublayers, the encoder may be an identifier specifying two or more temporal levels (temporal sublayers) for a lower layer, for example, temporal_id It may be determined that inter-layer prediction is not allowed for temporal sublayers of a lower layer having a C), and inter-layer prediction is allowed for temporal sublayers of a lower layer having a temporal level lower than two. 4, temporal sublayers “0” and “1” of a lower layer having a temporal level lower than 2 are allowed for interlayer prediction (ie, may be referred to for interlayer prediction of a higher layer).
  • Pictures corresponding to temporal sublayers “0” and “1” of the layer may be used as reference pictures for inter-layer prediction of a higher layer.
  • temporal sublayers “2” and “3” of lower layers having a temporal level of 2 or more are not allowed for interlayer prediction (that is, cannot be referred to for interlayer prediction)
  • the temporal sublayer “ Pictures corresponding to 2 ”and“ 3 ”(bars indicated by dotted lines in FIG. 4) cannot be used as reference pictures for inter-layer prediction of a higher layer.
  • the encoder determines whether temporal sublayer pictures belonging to each layer except the highest layer can be used as a reference picture for interlayer prediction, and determines the temporal sublayer information of each determined layer by using a syntax element. Signaling may be performed using.
  • the decoder may decode temporal sublayer information of each layer signaled from the encoder and determine whether temporal sublayer pictures belonging to each layer may be used as reference pictures for interlayer prediction based on the decoded information. .
  • the decoder may perform interlayer prediction based on the information about the reference picture.
  • the information on the temporal sublayer for interlayer prediction refers to information for identifying a temporal sublayer that allows interlayer prediction in the reference layer, and more specifically, a temporal sublayer picture of the reference layer. Refers to information for determining whether is used as a reference picture of a layer (upper layer) that performs inter-layer prediction.
  • the information on the temporal sublayer for the interlayer prediction may be transmitted through a video parameter sets (VPS), a sequence parameter sets (SPS), a picture parameter sets (PPS), a slice segment header, and the like.
  • VPS video parameter sets
  • SPS sequence parameter sets
  • PPS picture parameter sets
  • slice segment header a slice segment header
  • Table 1 is an example of syntax indicating maximum temporal sublayer information of each layer except the highest layer that can be transmitted in the VPS according to an embodiment of the present invention.
  • the maximum temporal sublayer information refers to information on the maximum temporal sublayer level that allows interlayer prediction in the corresponding layer. In other words, it indicates that a temporal sublayer having a temporal level larger than the maximum temporal sublayer information described in the layer is not used for inter-layer prediction.
  • max_tid_il_ref_pics_plus1 [i] may represent temporal sublayer information that fully supports interlayer prediction in an i-th layer.
  • a sublayer with a temporal level value (temporal_id) greater than max_tid_il_ref_pics_plus1 [i] -1 in the i th layer is an inter layer in the n th layer (n is greater than i) that uses the i th layer as a reference layer. May not be used for prediction.
  • a sublayer with a temporal level (temporal_id) smaller than max_tid_il_ref_pics_plus1 [i] in the i th layer is a reference for inter-layer prediction in the n th layer (n is a value greater than i) that uses the i th layer as a reference layer.
  • n is a value greater than i
  • vps_max_layers_minus1 + 1 means the maximum number of layers allowed in an encoded video sequence.
  • the same maximum temporal sublayer information may be applied to all layers without transmitting the maximum temporal sublayer information, max_tid_il_ref_pics_plus1 [i], for each layer.
  • Table 2 is an example of syntax representing maximum temporal sublayer information that is equally applied to all layers that can be transmitted in a VPS according to an embodiment of the present invention.
  • Table 3 is another example of syntax representing maximum temporal sublayer information of each layer except the highest layer that can be transmitted in the VPS according to an embodiment of the present invention.
  • the value of "max_tid_il_ref_pics_plus1 [i]” in each layer except the top layer may be inferred as "7" which is the maximum temporal level (TemporalId) allowable in the bitstream. That is, interlayer prediction may be allowed for all temporal sublayer pictures of all layers except the highest layer in the entire bitstream. In other words, the entire temporal sublayer picture of all layers in the entire bitstream may be used as a reference picture for inter-layer prediction.
  • the “max_tid_il_ref_pics_plus1_present_flag” syntax is “0”
  • a layer (higher) that has the highest temporal sublayer picture of the layer (current layer) on which the current decoding is performed without considering the value of “max_tid_il_ref_pics_plus1 [i]” is larger than the current layer (higher).
  • Layer if the highest temporal sublayer picture of the current layer is not referenced in the upper layer, it may be marked as “unused for reference”.
  • the highest temporal sublayer may refer to a sublayer having the largest temporal level value in the current layer.
  • the highest temporal sublayer picture of the current layer marked as “unused for reference” is not used as a reference picture for inter-layer prediction.
  • the current decoding layer is the second layer
  • Table 3-1 is another example of a syntax that indicates maximum temporal sublayer information that can be transmitted in a VPS according to an embodiment of the present invention.
  • direct_dependency_flag [j] [i] may be information indicating whether the j th layer may be used as a direct reference layer for the i th layer. For example, if direct_dependency_flag [j] [i] is 0, it indicates that the j th layer is not used as a direct reference layer for the i th layer. On the other hand, if direct_dependency_flag [j] [i] is 1, it indicates that the j th layer may be used as a direct reference layer for the i th layer.
  • MaxLayersMinus1 is equal to Min (62, vps_max_layers_minus1), and vps_max_layers_minus1 is information indicating the maximum number of layers allowed in the bitstream transmitted from the VPS.
  • the same maximum temporal sublayer information may be applied to all layers without transmitting the maximum temporal sublayer information (max_tid_il_ref_pics_plus1 [i]) for each layer.
  • Table 4 is another example of syntax representing maximum temporal sublayer information that is equally applied to all layers except the highest layer that can be transmitted in a VPS according to an embodiment of the present invention.
  • Table 5 is another example of syntax representing maximum temporal sublayer information of each layer that can be transmitted in a VPS according to an embodiment of the present invention.
  • max_tid_il_ref_pics_plus1_present_flag [i] exists for each layer, and max_tid_il_ref_pics_plus1 [i] information exists in the layer only when the flag is 1.
  • inter-layer prediction may not be allowed for a sublayer picture having a temporal level value greater than max_tid_il_ref_pics_plus1-1 in the i-th layer.
  • max_tid_il_ref_pics_plus1_present_flag [i] has a value of “0”, it means that max_tid_il_ref_pics_plus1 [i] information does not exist in the i th layer.
  • max_tid_il_ref_pics_plus1 [i] may be inferred to be “7” which is the maximum temporal level (TemporalId) allowable in the bitstream. That is, inter-layer prediction may be allowed for all sub-layer pictures of the i-th layer. In other words, all sub-layer pictures of the i-th layer may be used as reference pictures for inter-layer prediction.
  • max_tid_il_ref_pics_plus1_present_flag when max_tid_il_ref_pics_plus1_present_flag is 0, it is checked whether the maximum temporal sublayer of the current decoding layer (current layer) is referenced in layers larger than the current layer (higher layer) without considering the max_tid_il_ref_pics_plus1 [i] value. If the maximum temporal sublayer of the current layer is not referenced in the upper layer, it may be marked as “unused for reference”. The maximum temporal sublayer picture of the current layer marked as “unused for reference” indicates that it is not used as a reference picture for interlayer prediction.
  • Table 6 is another example of a syntax that indicates maximum temporal sublayer information of each layer that can be transmitted in a VPS according to an embodiment of the present invention.
  • max_tid_il_ref_pics_plus1_not_predicted_flag [i] Only when max_tid_il_ref_pics_plus1_not_predicted_flag [i] is 1, max_tid_il_ref_pics_plus1 [i] information corresponding to the i th layer may be transmitted. That is, interlayer prediction may not be allowed for a sublayer picture having a temporal level value greater than max_tid_il_ref_pics_plus1-1.
  • max_tid_il_ref_pics_plus1_not_predicted_flag [i] the value of max_tid_il_ref_pics_plus1 [i-1] of the i-th layer may be used as the max_tid_il_ref_pics_plus1 [i] value of the i-th layer. If max_tid_il_ref_pics_plus1_not_predicted_flag [i] does not exist, max_tid_il_ref_pics_plus1 [i] of the i-th layer may be inferred to 1.
  • max_tid_il_ref_pics_plus1_present_flag has a value of “0”
  • max_tid_il_ref_pics_plus1_not_predicted_flag [i] and max_tid_il_ref_pics_plus1 [i] information do not exist for each layer.
  • max_tid_il_ref_pics_plus1 [i] may be inferred to be “7” which is the maximum temporal level (TemporalId) allowable in the bitstream. That is, inter-layer prediction (that is, used as a reference picture for inter-layer prediction) may be allowed for all temporal sublayer pictures in the entire bitstream.
  • max_tid_il_ref_pics_plus1_present_flag 0 if it is not referenced after checking whether it is referenced to layers larger than the current layer for the maximum temporal sublayer of the current layer without considering the max_tid_il_ref_pics_plus1 [i] value, “unused for reference” Can be marked with
  • Table 7 is another example of syntax representing maximum temporal sublayer information of each layer that can be transmitted in a VPS according to an embodiment of the present invention.
  • max_tid_il_ref_pics_plus1 that is applicable to the entire layer is transmitted. If max_tid_il_ref_pics_plus1_predicted_flag [i] is 1, the max_tid_il_ref_pics_plus1 value applicable to the entire layer is used. If max_tid_il_ref_pics_plus1_predicted_flag [i] is 0, the max_tid_il [ref _] _ description value can be used.
  • Table 8 is another example of syntax representing maximum temporal sublayer information of each layer that can be transmitted in a VPS according to an embodiment of the present invention.
  • max_tid_il_ref_pics_plus1_predicted_flag [i] value transmitted from the layer with i greater than 0 it may be expressed as a delta value with max_tid_il_ref_pics_plus1 [i-1] of the previous layer (i-1).
  • delta_max_tid_il_ref_pics_plus1 [i] may be regarded as 0.
  • Table 9 is another example of syntax representing maximum temporal sublayer information of each layer that can be transmitted in a VPS according to an embodiment of the present invention.
  • “default_max_tid_il_ref_pics_plus1” may be used as the “max_tid_il_ref_pics_plus1 [i] [j]” value.
  • the same maximum temporal sublayer information may be applied to all layers.
  • max_tid_il_ref_pics_plus1 [i] [j] has a value greater than “0”, it has the same 'nuh_layer_id' as 'layer_id_in_nuh [i]' and the time level information (TemporalId) is greater than 'max_tid_il_ref_pics_plus1 [i] [j] -1' This means that pictures having a large value are not used as reference pictures for inter-layer prediction for pictures having a 'nuh_layer_id' equal to 'layer_id_in_nuh [j]'.
  • Table 10 is another example of syntax representing maximum temporal sublayer information of each layer that can be transmitted in a VPS according to an embodiment of the present invention.
  • “default_max_tid_il_ref_pics_plus1” may be used as the “max_tid_il_ref_pics_plus1 [i] [j]” value.
  • the same maximum temporal sublayer information may be applied to all layers.
  • “max_tid_il_ref_pics_plus1 [i] [j]” may be inferred as a “default_max_tid_il_ref_pics_plus1” value.
  • Table 11 is another example of syntax representing maximum temporal sublayer information of each layer that can be transmitted in a VPS according to an embodiment of the present invention.
  • MaxLayersMinus1-1 MaxLayersMinus1 is equal to Min (62, vps_max_layers_minus1) and vps_max_layers_minus1 is information indicating the maximum number of layers allowed in the bitstream transmitted in the VPS.
  • max_tid_il_ref_pics_plus1 [i] [j] has a value greater than “0”, it has the same 'nuh_layer_id' as 'layer_id_in_nuh [i]' and the time level information (TemporalId) is greater than 'max_tid_il_ref_pics_plus1 [i] [j] -1' This means that pictures having a large value are not used as reference pictures for inter-layer prediction for pictures having a 'nuh_layer_id' equal to 'layer_id_in_nuh [j]'.
  • max_tid_il_ref_pics_plus1 [i] [j] does not exist, the max_tid_il_ref_pics_plus [i] [j] value for the i-th layer may be inferred as a value of 'default_max_tid_il_ref_pics_plus1 [i]'.
  • the signaling method using temporal sublayer information according to an embodiment of the present invention described with reference to Tables 1 to 11 may be represented by various combinations of the above embodiments.
  • the signaling method using temporal sublayer information according to the above-described embodiment of the present invention separately allows all layers using the current layer as a direct reference layer when interlayer prediction is allowed for all temporal sublayer pictures. It is possible to apply the same maximum temporal sublayer information to the entire layer without informing the maximum temporal sublayer information. Therefore, the overhead of signaling related information individually for each layer can be reduced.
  • the signaling method using the temporal sublayer information according to the embodiment of the present invention described above by using the indicator indicating whether to adjust the temporal sublayer for inter-layer prediction for each layer, to efficiently signal the relevant information.
  • the actual available reference layer picture used for decoding of the current picture is used.
  • the number (numRefLayerPics) can be obtained as follows.
  • a variable 'NumDirectRefLayers []' indicating the number of reference layers directly referenced by the current layer, calculated from the syntax element 'direct_dependency_flag' described in the VPS extension, and a syntax element indicating the maximum temporal sublayer (level) information for each layer.
  • syntax element 'sub_layers_vps_max_minus1 [i]' syntax element 'max_tid_il_ref_pics_plus1 [i] [j]' information indicating maximum temporal sublayer information allowing interlayer prediction in each layer
  • syntax element 'TemporalId indicating time level information of the current picture '
  • a variable' numRefLayerPics' indicating the number of reference layer pictures that can be used for decoding the current picture for inter-layer prediction can be obtained as shown in Table 12 below.
  • the 'sub_layers_vps_max_minus1 []' value of the reference layer is greater than or equal to the 'TemporalId' value of the current picture, and the 'max_tid_il_ref_pics_plus1 [] []' of the reference layer for the current layer.
  • Only pictures of the reference layer corresponding to the case where the value is larger than the 'TemporalId' value of the current picture may be regarded as reference layer pictures that may be used for decoding of the current picture for inter-layer prediction.
  • FIG. 5 is a flowchart schematically illustrating a method of performing interlayer prediction based on temporal sublayer information according to an embodiment of the present invention.
  • the method of FIG. 5 in the encoding and decoding of an image having a plurality of layers including at least one temporal sublayer, an interlayer prediction process using temporal sublayer information to generate prediction samples of an encoding / decoding target block is performed. It explains. Therefore, the method of FIG. 5 may be applied to both an encoding and a decoding method of an image. Hereinafter, for convenience of description, the decoding process is described as a reference.
  • the decoder obtains information about a temporal sublayer for interlayer prediction (S500).
  • the information on the temporal sublayer includes maximum temporal sublayer information indicating the maximum temporal sublayer that can be referred for inter-layer prediction in each layer, and indicator information indicating whether to adjust the maximum temporal sublayer information in each layer. It may include.
  • the maximum temporal sublayer information may be the max_tid_il_ref_pics_plus1 syntax element described in Tables 1 to 11
  • the indicator information may be the max_tid_il_ref_pics_plus1_present_flag syntax element described in Tables 1 to 11.
  • the information on the temporal sublayer is information signaled to know the temporal sublayer that allows interlayer prediction in the reference layer of the current decoding layer, and is expressed in various ways as described in Tables 1 to 11 above. Can be.
  • the decoder receives information on a temporal sublayer from an encoder through a VPS, SPS, PPS, slice segment header, and the like, and entropy decodes the information on the received temporal sublayer.
  • the indicator information and maximum temporal sublayer information may be obtained.
  • the decoder may obtain the maximum temporal sublayer information for each layer. At this time, the decoder obtains the maximum temporal sublayer information on the layer having a direct reference relationship based on information on a reference relationship between layers, for example, information on a layer used as a direct reference layer by the current layer (for example, direct_dependency_flag). You may. Conversely, when the indicator information is indicated to not explicitly adjust the maximum temporal sublayer information in each layer, the decoder may infer the maximum temporal sublayer information for each layer to a specific value. For example, the specific value may be a maximum time level value.
  • the decoder derives a reference picture used for interlayer prediction of the current picture based on the information on the temporal sublayer (S510).
  • the decoder may determine that pictures corresponding to a temporal sublayer greater than or equal to the maximum temporal sublayer indicated by the maximum temporal sublayer information are not used as reference pictures for inter-layer prediction of the current picture. have.
  • the decoder may determine that, for each layer, pictures corresponding to temporal sublayers smaller than the maximum temporal sublayer indicated by the maximum temporal sublayer information may be used as reference pictures for interlayer prediction of the current picture.
  • the decoder can obtain an actually available reference layer picture used for decoding the current picture for interlayer prediction using maximum temporal sublayer information as shown in Table 12 above.
  • the decoder performs interlayer prediction of the current picture based on the reference picture (S520).
  • the decoder may generate a reference picture list based on reference pictures that can be referred to for interlayer prediction of the current picture, and may perform interlayer prediction of the current picture by using the reference picture list.
  • the decoder may perform interlayer prediction on the current picture to generate a prediction signal, and add the prediction signal and the residual signal to obtain a reconstruction signal (reconstructed picture) of the current picture.
  • the method according to the present invention described above may be stored in a computer-readable recording medium that is produced as a program for execution on a computer, and examples of the computer-readable recording medium include ROM, RAM, CD-ROM, magnetic tape , Floppy disks, optical data storage devices, and the like, and also include those implemented in the form of carrier waves (eg, transmission over the Internet).
  • the computer readable recording medium can be distributed over network coupled computer systems so that the computer readable code is stored and executed in a distributed fashion.
  • functional programs, codes, and code segments for implementing the method can be easily inferred by programmers in the art to which the present invention belongs.
  • the methods are described based on a flowchart as a series of steps or blocks, but the present invention is not limited to the order of steps, and certain steps may occur in a different order or at the same time than other steps described above. Can be. Also, one of ordinary skill in the art appreciates that the steps shown in the flowcharts are not exclusive, that other steps may be included, or that one or more steps in the flowcharts may be deleted without affecting the scope of the present invention. I can understand.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

본 발명은 적어도 하나의 시간적 서브 레이어(temporal sub-layer)를 포함하는 계층이 복수 개로 구성된 영상의 인터 레이어 예측(inter-layer prediction) 방법에 관한 것으로, 인터 레이어 예측을 위한 시간적 서브 레이어에 대한 정보를 획득하는 단계, 상기 시간적 서브 레이어에 대한 정보를 기반으로 현재 픽처의 인터 레이어 예측을 위해 사용되는 참조 픽처를 유도하는 단계 및 상기 참조 픽처를 기반으로 상기 현재 픽처의 인터 레이어 예측을 수행하는 단계를 포함한다.

Description

시간적 서브 레이어 정보에 기반한 인터 레이어 예측 방법 및 장치
본 발명은 다계층 구조의 영상 부호화 및 복호화에 관한 기술로, 하위 계층의 정보를 이용하여 상위 계층을 부호화 및 복호화하는 인터 레이어 예측에 관한 것이다. 보다 상세하게는 시간적 서브 레이어 정보에 기반하여 인터 레이어 예측을 하기 위한 효율적인 시그널링 방법에 관한 것이다.
최근 멀티미디어(multimedia) 환경이 구축되면서, 다양한 단말과 네트워크가 이용되고 있으며, 이에 따른 사용자 요구도 다변화하고 있다.
예컨대, 단말의 성능과 컴퓨팅 능력(computing capability)가 다양해짐에 따라서 지원하는 성능도 기기별로 다양해지고 있다. 또한 정보가 전송되는 네트워크 역시 유무선 네트워크와 같은 외형적인 구조뿐만 아니라, 전송하는 정보의 형태, 정보량과 속도 등 기능별로도 다양해지고 있다. 사용자는 원하는 기능에 따라서 사용할 단말과 네트워크를 선택하며, 또한 기업이 사용자에게 제공하는 단말과 네트워크의 스펙트럼도 다양해지고 있다.
이와 관련하여, 최근 HD(High Definition) 해상도를 가지는 방송이 국내뿐만 아니라 세계적으로 확대되어 서비스되면서, 많은 사용자들이 고해상도, 고화질의 영상에 익숙해지고 있다. 이에 따라서 많은 영상 서비스 관련 기관들이 차세대 영상 기기에 대한 개발에 많은 노력을 하고 있다.
또한 HDTV와 더불어 HDTV의 4배 이상의 해상도를 가지는 UHD(Ultra High Definition)에 대한 관심이 증대되면서 보다 높은 해상도, 고화질의 영상을 압축하여 처리하는 기술에 대한 요구는 더 높아지고 있다.
영상을 압축하여 처리하기 위해, 시간적으로 이전 및/또는 이후의 픽처로부터 현재 픽처에 포함된 화소값을 예측하는 인터(inter) 예측 기술, 현재 픽처 내의 화소 정보를 이용하여 현재 픽처에 포함된 다른 화소값을 예측하는 인트라(intra) 예측 기술, 출현 빈도가 높은 심볼(symbol)에 짧은 부호를 할당하고 출현 빈도가 낮은 심볼에 긴 부호를 할당하는 엔트로피 인코딩 기술 등이 사용될 수 있다.
상술한 바와 같이, 지원하는 기능이 상이한 각 단말과 네트워크 그리고 다변화된 사용자의 요구를 고려할 때, 지원되는 영상의 품질, 크기, 프레임 등도 이에 따라 다변화될 필요가 있다.
이와 같이, 이종의 통신망과 다양한 기능 및 종류의 단말로 인해, 영상의 화질, 해상도, 크기, 프레임 율, 시점 등을 다양하게 지원하는 스케일러빌리티(scalability)는 비디오 포맷의 중요한 기능이 되고 있다.
따라서, 고효율의 비디오 부호화 방법을 기반으로 다양한 환경에서 사용자가 요구하는 서비스를 제공하기 위해 시간, 공간, 화질, 시점 등의 측면에서 효율적인 비디오 부호화와 복호화가 가능하도록 스케일러빌리티 기능을 제공하는 것이 필요하다.
본 발명은 시간적 서브 레이어 정보에 기반한 인터 레이어 예측 방법 및 장치를 제공한다.
본 발명은 시간적 서브 레이어 정보에 기반하여 인터 레이어 예측을 조절할 수 있도록 하는 지시자를 할당하여 효율적으로 시그널링하는 방법 및 장치를 제공한다.
본 발명은 다계층 구조에서 모든 계층에 대해 동일한 최대 시간적 서브 레이어 정보를 적용할 수 있는 방법을 제공한다.
본 발명의 일 실시예에 따르면, 적어도 하나의 시간적 서브 레이어(temporal sub-layer)를 포함하는 계층이 복수 개로 구성된 영상의 인터 레이어 예측(inter-layer prediction) 방법이 제공된다. 상기 인터 레이어 예측 방법은 인터 레이어 예측을 허용하는 시간적 서브 레이어에 대한 정보를 획득하는 단계, 상기 시간적 서브 레이어에 대한 정보를 기반으로 현재 픽처의 인터 레이어 예측을 위해 사용되는 참조 픽처를 유도하는 단계 및 상기 참조 픽처를 기반으로 상기 현재 픽처의 인터 레이어 예측을 수행하는 단계를 포함한다.
상기 시간적 서브 레이어에 대한 정보는, 인터 레이어 예측을 위해 사용되는시간적 서브 레이어 정보의 유무를 알려주는 지시자 정보와, 각 계층에서 인터 레이어 예측을 위해 참조될 수 있는 최대 시간적 서브 레이어를 지시하는 최대 시간적 서브 레이어 정보와, 각 계층에서 상기 최대 시간적 서브 레이어 정보를 조절할지 여부를 나타내는 지시자 정보를 포함할 수 있다.
본 발명의 다른 실시예에 따르면, 적어도 하나의 시간적 서브 레이어(temporal sub-layer)를 포함하는 계층이 복수 개로 구성된 영상의 인터 레이어 예측(inter-layer prediction) 장치가 제공된다. 상기 인터 레이어 예측 장치는 인터 레이어 예측을 허용하는 시간적 서브 레이어에 대한 정보를 획득하는 엔트로피 복호화부 및 상기 시간적 서브 레이어에 대한 정보를 기반으로 현재 픽처의 인터 레이어 예측을 위해 사용되는 참조 픽처를 유도하고, 상기 참조 픽처를 기반으로 상기 현재 픽처의 인터 레이어 예측을 수행하는 예측부를 포함한다.
상기 시간적 서브 레이어에 대한 정보는, 인터 레이어 예측을 위해 사용되는시간적 서브 레이어 정보의 유무를 알려주는 지시자 정보와, 각 계층에서 인터 레이어 예측을 위해 참조될 수 있는 최대 시간적 서브 레이어를 지시하는 최대 시간적 서브 레이어 정보와, 각 계층에서 상기 최대 시간적 서브 레이어 정보를 조절할지 여부를 나타내는 지시자 정보를 포함할 수 있다.
인터 레이어 예측을 위한 시그널링을 함에 있어서, 시간적 서브 레이어 정보에 기반한 인터 레이어 예측을 조절할 수 있도록 하는 지시자 또는 식별자를 할당함으로써 효율적으로 관련 정보를 시그널링할 수 있다. 또한, 다계층 구조에서 모든 참조 계층에 대해 동일한 최대 시간적 서브 레이어 정보를 적용할 수 있게 함으로써, 모든 참조 계층에 대해서 개별적으로 최대 시간적 서브 레이어 정보를 전송하는 것을 생략할 수 있으므로 관련 정보의 시그널링 오버헤드를 줄일 수 있다.
도 1은 발명이 적용되는 영상 부호화 장치의 일 실시예에 따른 구성을 나타내는 블록도이다.
도 2는 본 발명이 적용되는 영상 복호화 장치의 일 실시예에 따른 구성을 나타내는 블록도이다.
도 3은 본 발명이 적용될 수 있는, 복수 레이어를 이용한 스케일러블 비디오 코딩 구조의 일 실시예를 개략적으로 나타내는 개념도이다.
도 4는 본 발명이 적용될 수 있는 스케일러블 비디오 코딩의 계층 구조를 나타낸 일예이다.
도 5는 본 발명의 실시예에 따른 시간적 서브 레이어 정보에 기반하여 인터 레이어 예측을 수행하는 방법을 개략적으로 나타낸 순서도이다.
이하, 도면을 참조하여 본 발명의 실시 형태에 대하여 구체적으로 설명한다. 본 명세서의 실시예를 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 명세서의 요지를 흐릴 수 있다고 판단되는 경우에는 해당 설명을 생략할 수도 있다.
본 명세서에서 어떤 구성 요소가 다른 구성 요소에 “연결되어” 있다거나 “접속되어” 있다고 언급된 때에는, 그 다른 구성 요소에 직접적으로 연결되어 있거나 또는 접속되어 있는 것을 의미할 수도 있고, 중간에 다른 구성 요소가 존재하는 것을 의미할 수도 있다. 아울러, 본 명세서에서 특정 구성을 “포함”한다고 기술하는 내용은 해당 구성 이외의 구성을 배제하는 것이 아니며, 추가적인 구성이 본 발명의 실시 또는 본 발명의 기술적 사상의 범위에 포함될 수 있음을 의미한다.
제1, 제2 등의 용어는 다양한 구성들을 설명하는데 사용될 수 있지만, 상기 구성들은 상기 용어에 의해 한정되지 않는다. 상기 용어들은 하나의 구성을 다른 구성으로부터 구별하는 목적으로 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성은 제2 구성으로 명명될 수 있고, 유사하게 제2 구성도 제1 구성으로 명명될 수 있다.
또한 본 발명의 실시예에 나타나는 구성부들은 서로 다른 특징적인 기능을 나타내기 위해 독립적으로 도시되는 것으로, 각 구성부들이 분리된 하드웨어나 하나의 소프트웨어 구성 단위로 이루어짐을 의미하지 않는다. 즉, 각 구성부는 설명의 편의상 각각의 구성부로 나열하여 포함한 것으로 각 구성부 중 적어도 두 개의 구성부가 하나의 구성부를 이루거나, 하나의 구성부가 복수 개의 구성부로 나뉘어져 기능을 수행할 수 있다. 각 구성부의 통합된 실시예 및 분리된 실시예도 본 발명의 본질에서 벗어나지 않는 한 본 발명의 권리 범위에 포함된다.
또한, 일부의 구성 요소는 본 발명에서 본질적인 기능을 수행하는 필수적인 구성 요소는 아니고 단지 성능을 향상시키기 위한 선택적 구성 요소일 수 있다. 본 발명은 단지 성능 향상을 위해 사용되는 구성 요소를 제외한 본 발명의 본질을 구현하는데 필수적인 구성부만을 포함하여 구현될 수 있고, 단지 성능 향상을 위해 사용되는 선택적 구성 요소를 제외한 필수 구성 요소만을 포함한 구조도 본 발명의 권리범위에 포함된다.
도 1은 발명이 적용되는 영상 부호화 장치의 일 실시예에 따른 구성을 나타내는 블록도이다.
멀티 레이어(multi-layer) 구조를 지원하는 스케일러블(scalable) 비디오 부호화 장치는, 단일 레이어 구조의 일반적인 영상 부호화 장치를 확장(extension)하여 구현될 수 있다. 도 1의 블록도는 멀티 레이어 구조에 적용 가능한 스케일러블 비디오 부호화 장치의 기초가 될 수 있는 영상 부호화 장치의 일 실시예를 나타낸다.
도 1을 참조하면, 영상 부호화 장치(100)는 인터 예측부(110), 인트라 예측부(120), 스위치(115), 감산기(125), 변환부(130), 양자화부(140), 엔트로피 부호화부(150), 역양자화부(160), 역변환부(170), 가산기(175), 필터부(180) 및 참조 픽처 버퍼(190)를 포함한다.
영상 부호화 장치(100)는 입력 영상에 대해 인트라(intra) 모드 또는 인터(inter) 모드로 부호화를 수행하고 비트스트림을 출력할 수 있다.
인트라 모드인 경우 스위치(115)가 인트라로 전환되고, 인터 모드인 경우 스위치(115)가 인터로 전환될 수 있다. 인트라 예측은 화면 내 예측, 인터 예측은 화면 간 예측을 의미한다. 영상 부호화 장치(100)는 입력 영상의 입력 블록에 대한 예측 블록을 생성한 후, 입력 블록과 예측 블록의 차분(residual)을 부호화할 수 있다. 이때, 입력 영상은 원 영상(original picture)를 의미할 수 있다.
인트라 모드인 경우, 인트라 예측부(120)는 현재 블록 주변의 이미 부호화/복호화된 블록의 샘플 값을 참조 샘플로 이용할 수 있다. 인트라 예측부(120)는 참조 샘플을 이용하여 공간적 예측을 수행하고 현재 블록에 대한 예측 샘플들을 생성할 수 있다.
인터 모드인 경우, 인터 예측부(110)는, 움직임 예측 과정에서 참조 픽처 버퍼(190)에 저장되어 있는 참조 픽처에서 입력 블록(현재 블록)과의 차이가 가장 적은 참조 블록을 특정하는 움직임 벡터를 구할 수 있다. 인터 예측부(110)는 움직임 벡터와 참조 픽처 버퍼(190)에 저장되어 있는 참조 픽처를 이용하여 움직임 보상을 수행함으로써 현재 블록에 대한 예측 블록을 생성할 수 있다.
멀티 레이어 구조의 경우, 인터 모드에서 적용되는 인터 예측은 인터 레이어 예측을 포함할 수 있다. 인터 예측부(110)는 참조 레이어의 픽처를 샘플링하여 인터 레이어 참조 픽처를 구성하고, 참조 픽처 리스트에 인터 레이어 참조 픽처를 포함하여 인터 레이어 예측을 수행할 수 있다. 레이어 간의 참조 관계는 레이어 간의 의존성을 특정하는 정보를 통해 시그널링될 수 있다.
한편, 현재 레이어 픽처와 참조 레이어 픽처가 동일 사이즈인 경우에 참조 레이어 픽처에 적용되는 샘플링은 참조 레이어 픽처로부터의 샘플 복사에 의한 참조 샘플의 생성을 의미할 수 있다. 현재 레이어 픽처와 참조 레이어 픽처의 해상도가 상이한 경우에 참조 레이어 픽처에 적용되는 샘플링은 업샘플링을 의미할 수 있다.
예컨대, 레이어 간 해상도가 다른 경우로서 해상도에 관한 스케일러빌러티를 지원하는 레이어 간에는 참조 레이어의 복원된 픽처를 업샘플링하여 인터 레이어 참조 픽처가 구성될 수 있다.
어떤 레이어의 픽처를 이용하여 인터 레이어 참조 픽처를 구성할 것인지는 부호화 코스트 등을 고려하여 결정될 수 있다. 부호화 장치는 인터 레이어 참조 픽처로 사용될 픽처가 속하는 레이어를 특정하는 정보를 복호화 장치로 전송할 수 있다.
또한, 인터 레이어 예측에 있어서 참조되는 레이어, 즉 참조 레이어 내에서 현재 블록의 예측에 이용되는 픽처는 현재 픽처(현재 레이어 내 예측 대상 픽처)와 동일 AU(Access Unit)의 픽처일 수 있다.
감산기(125)는 입력 블록과 생성된 예측 블록의 차분에 의해 잔차 블록(residual block)을 생성할 수 있다.
변환부(130)는 잔차 블록에 대해 변환(transform)을 수행하여 변환 계수(transform coefficient)를 출력할 수 있다. 여기서, 변환 계수는 잔차 블록 및/또는 잔차 신호에 대한 변환을 수행함으로써 생성된 계수 값을 의미할 수 있다. 이하, 본 명세서에서는 변환 계수에 양자화가 적용되어 생성된, 양자화된 변환 계수 레벨(transform coefficient level)도 변환 계수로 불릴 수 있다.
변환 생략(transform skip) 모드가 적용되는 경우, 변환부(130)는 잔차 블록에 대한 변환을 생략할 수도 있다.
양자화부(140)는 입력된 변환 계수를 양자화 파라미터(quantization parameter, 또는 양자화 매개변수)에 따라 양자화하여 양자화된 계수(quantized coefficient)를 출력할 수 있다. 양자화된 계수는 양자화된 변환 계수 레벨(quantized transform coefficient level)로 불릴 수도 있다. 이때, 양자화부(140)에서는 양자화 행렬을 사용하여 입력된 변환 계수를 양자화할 수 있다.
엔트로피 부호화부(150)는, 양자화부(140)에서 산출된 값들 또는 부호화 과정에서 산출된 부호화 파라미터 값 등을 확률 분포에 따라 엔트로피 부호화하여 비트스트림(bitstream)을 출력할 수 있다. 엔트로피 부호화부(150)는 비디오의 화소 정보 외에 비디오 디코딩을 위한 정보(예컨대, 신택스 엘리먼트(syntax element) 등)을 엔트로피 부호화 할 수도 있다.
부호화 파라미터는 부호화 및 복호화에 필요한 정보로서, 신택스 엘리먼트와 같이 부호화 장치에서 부호화되어 복호화 장치로 전달되는 정보뿐만 아니라, 부호화 혹은 복호화 과정에서 유추될 수 있는 정보를 포함할 수 있다.
예를 들어, 부호화 파라미터는 인트라/인터 예측 모드, 이동/움직임 벡터, 참조 영상 색인, 부호화 블록 패턴, 잔차 신호 유무, 변환 계수, 양자화된 변환 계수, 양자화 파라미터, 블록 크기, 블록 분할 정보 등의 값 또는 통계를 포함할 수 있다.
잔차 신호는 원신호와 예측 신호 간의 차이를 의미할 수 있고, 또한 원신호와 예측 신호 간의 차이가 변환(transform)된 형태의 신호 또는 원신호와 예측 신호 간의 차이가 변환되고 양자화된 형태의 신호를 의미할 수도 있다. 잔차 신호는 블록 단위에서는 잔차 블록이라 할 수 있다.
엔트로피 부호화가 적용되는 경우, 높은 발생 확률을 갖는 심볼에 적은 수의 비트가 할당되고 낮은 발생 확률을 갖는 심볼에 많은 수의 비트가 할당되어 심볼이 표현됨으로써, 부호화 대상 심볼들에 대한 비트열의 크기가 감소될 수 있다. 따라서 엔트로피 부호화를 통해서 영상 부호화의 압축 성능이 높아질 수 있다.
엔트로피 부호화부(150)는 엔트로피 부호화를 위해 지수 골룸(exponential golomb), CAVLC(Context-Adaptive Variable Length Coding), CABAC(Context-Adaptive Binary Arithmetic Coding)과 같은 부호화 방법이 사용될 수 있다. 예를 들어, 엔트로피 부호화부(150)는 가변 길이 부호화(VLC: Variable Lenghth Coding/Code) 테이블을 이용하여 엔트로피 부호화를 수행할 수 있다. 또한 엔트로피 부호화부(150)는 대상 심볼의 이진화(binarization) 방법 및 대상 심볼/빈(bin)의 확률 모델(probability model)을 도출한 후, 도출된 이진화 방법 또는 확률 모델을 사용하여 엔트로피 부호화를 수행할 수도 있다.
도 1의 실시예에 따른 영상 부호화 장치(100)는 인터 예측 부호화, 즉 화면 간 예측 부호화를 수행하므로, 현재 부호화된 영상은 참조 영상으로 사용되기 위해 복호화되어 저장될 필요가 있다. 따라서 양자화된 계수는 역양자화부(160)에서 역양자화되고 역변환부(170)에서 역변환될 수 있다. 역양자화, 역변환된 계수는 가산기(175)를 통해 예측 블록과 더해지고 복원 블록(Reconstructed Block)이 생성된다.
복원 블록은 필터부(180)를 거치고, 필터부(180)는 디블록킹 필터(deblocking filter), SAO(Sample Adaptive Offset), ALF(Adaptive Loop Filter) 중 적어도 하나 이상을 복원 블록 또는 복원 픽처에 적용할 수 있다. 필터부(180)는 적응적 인루프(in-loop) 필터로 불릴 수도 있다. 디블록킹 필터는 블록 간의 경계에 생긴 블록 왜곡을 제거할 수 있다. SAO는 코딩 에러를 보상하기 위해 픽셀값에 적정 오프셋(offset) 값을 더해줄 수 있다. ALF는 복원된 영상과 원래의 영상을 비교한 값을 기초로 필터링을 수행할 수 있다. 필터부(180)를 거친 복원 블록은 참조 픽처 버퍼(190)에 저장될 수 있다.
도 2는 본 발명이 적용되는 영상 복호화 장치의 일 실시예에 따른 구성을 나타내는 블록도이다.
멀티 레이어(multi-layer) 구조를 지원하는 스케일러블(scalable) 비디오 복호화 장치는, 단일 레이어 구조의 일반적인 영상 복호화 장치를 확장(extension)하여 구현될 수 있다. 도 2의 블록도는 멀티 레이어 구조에 적용 가능한 스케일러블 비디오 복호화 장치의 기초가 될 수 있는 영상 복호화 장치의 일 실시예를 나타낸다.
도 2를 참조하면, 영상 복호화 장치(200)는 엔트로피 복호화부(210), 역양자화부(220), 역변환부(230), 인트라 예측부(240), 인터 예측부(250), 가산기(255), 필터부(260) 및 참조 픽처 버퍼(270)를 포함한다.
영상 복호화 장치(200)는 부호화기에서 출력된 비트스트림을 입력 받아 인트라 모드 또는 인터 모드로 복호화를 수행하고 재구성된 영상, 즉 복원 영상을 출력할 수 있다.
인트라 모드인 경우 스위치가 인트라로 전환되고, 인터 모드인 경우 스위치가 인터로 전환될 수 있다.
영상 복호화 장치(200)는 입력 받은 비트스트림으로부터 복원된 잔차 블록(reconstructed residual block)을 얻고 예측 블록을 생성한 후 복원된 잔차 블록과 예측 블록을 더하여 재구성된 블록, 즉 복원 블록을 생성할 수 있다.
엔트로피 복호화부(210)는, 입력된 비트스트림을 확률 분포에 따라 엔트로피 복호화하여, 양자화된 계수(quantized coefficient)와 신택스 엘리먼트 등의 정보를 출력할 수 있다.
양자화된 계수는 역양자화부(220)에서 역양자화되고 역변환부(230)에서 역변환된다. 양자화된 계수가 역양자화/역변환 된 결과, 복원된 잔차 블록이 생성될 수 있다. 이때, 역양자화부(220)에서는 양자화된 계수에 양자화 행렬을 적용할 수 있다.
인트라 모드인 경우, 인트라 예측부(240)는 현재 블록 주변의 이미 복호화된 블록의 샘플 값을 이용하여 공간적 예측을 수행하고, 현재 블록에 대한 예측 샘플들을 생성할 수 있다.
인터 모드인 경우, 인터 예측부(250)는 움직임 벡터 및 참조 픽처 버퍼(270)에 저장되어 있는 참조 픽처를 이용하여 움직임 보상을 수행함으로써 현재 블록에 대한 예측 블록을 생성할 수 있다.
멀티 레이어 구조의 경우, 인터 모드에서 적용되는 인터 예측은 인터 레이어 예측을 포함할 수 있다. 인터 예측부(250)는 참조 레이어의 픽처를 샘플링하여 인터 레이어 참조 픽처를 구성하고, 참조 픽처 리스트에 인터 레이어 참조 픽처를 포함하여 인터 레이어 예측을 수행할 수 있다. 레이어 간의 참조 관계는 레이어 간의 의존성을 특정하는 정보를 통해 시그널링될 수 있다.
한편, 현재 레이어 픽처와 참조 레이어 픽처가 동일 사이즈인 경우에 참조 레이어 픽처에 적용되는 샘플링은 참조 레이어 픽처로부터의 샘플 복사에 의한 참조 샘플의 생성을 의미할 수 있다. 현재 레이어 픽처와 참조 레이어 픽처의 해상도가 상이한 경우에 참조 레이어 픽처에 적용되는 샘플링은 업샘플링을 의미할 수 있다.
예컨대, 레이어 간 해상도가 다른 경우로서 해상도에 관한 스케일러빌러티를 지원하는 레이어 간에 인터 레이어 예측이 적용된다면, 참조 레이어의 복원된 픽처를 업샘플링하여 인터 레이어 참조 픽처가 구성될 수 있다.
이때, 인터 레이어 참조 픽처로 사용될 픽처가 속하는 레이어를 특정하는 정보는 부호화 장치로부터 복호화 장치로 전송될 수 있다.
또한, 인터 레이어 예측에 있어서 참조되는 레이어, 즉 참조 레이어 내에서 현재 블록의 예측에 이용되는 픽처는 현재 픽처(현재 레이어 내 예측 대상 픽처)와 동일 AU(Access Unit)의 픽처일 수 있다.
복원된 레지듀얼 블록과 예측 블록은 가산기(255)에서 더해져서, 복원 블록이 생성된다. 다시 말하면, 레지듀얼 샘플과 예측 샘플이 더해져서 복원된 샘플 또는 복원된 픽처가 생성된다.
복원된 픽처는 필터부(260)에서 필터링 된다. 필터부(260)는 디블록킹 필터, SAO, ALF 중 적어도 하나 이상을 복원 블록 또는 복원 픽처에 적용할 수 있다. 필터부(260)는 재구성된(modified) 혹은 필터링된(filtered) 복원 픽처(reconstructed picture)를 출력한다. 복원 영상은 참조 픽처 버퍼(270)에 저장되어 인터 예측에 사용될 수 있다.
또한, 영상 복호화 장치(200)는 비트스트림에 포함되어 있는 인코딩된 영상에 관련된 정보를 파싱하는 파싱부(미도시)를 더 포함할 수 있다. 파싱부는 엔트로피 복호화부(210)를 포함할 수도 있고, 엔트로피 복호화부(210)에 포함될 수도 있다. 이러한 파싱부는 또한 디코딩부의 하나의 구성요소로 구현될 수도 있다.
도 1과 도 2에서는 하나의 부호화 장치/복호화 장치가 멀티 레이어에 대한 부호화/복호화를 모두 처리하는 것으로 설명하였으나, 이는 설명의 편의를 위한 것으로서, 부호화 장치/복호화 장치는 레이어별로 구성될 수도 있다.
이 경우, 상위 레이어의 부호화 장치/복호화 장치는 상위 레이어의 정보 및 하위 레이어의 정보를 이용하여 해당 상위 레이어의 부호화/복호화를 수행할 수 있다. 예컨대, 상위 레이어의 예측부(인터 예측부)는 상위 레이어의 픽셀 정보 또는 픽처 정보를 이용하여 현재 블록에 대한 인트라 예측 또는 인터 예측을 수행할 수도 있고, 하위 레이어로부터 복원된 픽처 정보를 수신하고 이를 이용하여 상위 레이어의 현재 블록에 대한 인터 예측(인터 레이어 예측)을 수행할 수도 있다. 여기서는, 레이어 간의 예측만을 예로서 설명하였으나, 부호화 장치/복호화 장치는 레이어별로 구성되든, 하나의 장치가 멀티 레이어를 처리하든 상관없이, 다른 레이어의 정보를 이용하여 현재 레이어에 대한 부호화/복호화를 수행할 수 있다.
본 발명에서 레이어는 뷰(view, 시점)를 포함할 수 있다. 이 경우, 인터 레이어 예측의 경우는 단순히 하위 레이어의 정보를 이용하여 상위 레이어의 예측을 수행하는 것이 아니라, 레이어 간 의존성을 특정하는 정보에 의해 의존성이 있는 것으로 특정된 레이어들 사이에서 다른 레이어의 정보를 이용하여 인터 레이어 예측이 수행될 수도 있다.
도 3은 본 발명이 적용될 수 있는, 복수 레이어를 이용한 스케일러블 비디오 코딩 구조의 일 실시예를 개략적으로 나타내는 개념도이다. 도 3에서 GOP(Group of Picture)는 픽처군 즉, 픽처의 그룹을 나타낸다.
영상 데이터를 전송하기 위해서는 전송 매체가 필요하며, 그 성능은 다양한 네트워크 환경에 따라 전송 매체별로 차이가 있다. 이러한 다양한 전송 매체 또는 네트워크 환경에의 적용을 위해 스케일러블 비디오 코딩 방법이 제공될 수 있다.
스케일러빌러티를 지원하는 비디오 코딩 방법(이하, ‘스케일러블 코딩’혹은 ‘스케일러블 비디오 코딩’이라 함)은 계층(layer) 간의 텍스쳐 정보, 움직임 정보, 잔여 신호 등을 활용하여 계층 간 중복성을 제거하여 인코딩 및 디코딩 성능을 높이는 코딩 방법이다. 스케일러블 비디오 코딩 방법은, 전송 비트율, 전송 에러율, 시스템 자원 등의 주변 조건에 따라, 공간적(spatial), 시간적(temporal), 화질적(혹은 품질적, quality), 시점(view) 관점에서 다양한 스케일러빌리티를 제공할 수 있다.
스케일러블 비디오 코딩은, 다양한 네트워크 상황에 적용 가능한 비트스트림을 제공할 수 있도록, 복수 계층(multiple layers) 구조를 사용하여 수행될 수 있다. 예를 들어 스케일러블 비디오 코딩 구조는, 일반적인 영상 디코딩 방법을 이용하여 영상 데이터를 압축하여 처리하는 기본 계층을 포함할 수 있고, 기본 계층의 디코딩 정보 및 일반적인 영상 디코딩 방법을 함께 사용하여 영상 데이터를 압축 처리하는 향상 계층을 포함할 수 있다.
기본 계층(Base layer)은 베이스 레이어라고 지칭할 수도 있고, 하위 계층(lower layer)이라 지칭할 수도 있다. 향상 계층(Enhancement layer)은 인핸스먼트 레이어 혹은 상위 계층(higher layer)이라 지칭할 수도 있다. 이때, 하위 계층은 특정 계층 보다 낮은 스케일러빌러티를 지원하는 계층을 의미할 수 있으며, 상위 계층은 특정 계층 보다 높은 스케일러빌러티를 지원하는 계층을 의미할 수 있다. 또한, 다른 계층의 부호화/복호화에 참조되는 계층을 참조 계층(참조 레이어)라고 하고, 다른 계층을 이용하여 부호화/복호화되는 계층을 현재 계층(현재 레이어)라고 할 수 있다. 참조 계층은 현재 계층보다 하위 계층일 수 있으며, 현재 계층은 참조 계층보다 상위 계층일 수 있다.
여기서, 계층(layer)은 공간(spatial, 예를 들어, 영상 크기), 시간(temporal, 예를 들어, 디코딩 순서, 영상 출력 순서, 프레임 레이트), 화질, 복잡도, 시점(view) 등을 기준으로 구분되는 영상 및 비트스트림(bitstream)의 집합을 의미한다.
도 3을 참조하면, 예를 들어 기본 계층은 SD(standard definition), 15Hz의 프레임율, 1Mbps 비트율로 정의될 수 있고, 제1 향상 계층은 HD(high definition), 30Hz의 프레임율, 3.9Mbps 비트율로 정의될 수 있으며, 제2 향상 계층은 4K-UHD (ultra high definition), 60Hz의 프레임율, 27.2Mbps 비트율로 정의될 수 있다.
상기 포맷(format), 프레임율, 비트율 등은 하나의 실시예로서, 필요에 따라 달리 정해질 수 있다. 또한 사용되는 계층의 수도 본 실시예에 한정되지 않고 상황에 따라 달리 정해질 수 있다. 예를 들어, 전송 대역폭이 4Mbps라면 상기 제1 향상계층 HD의 프레임 레이트를 줄여서 15Hz 이하로 전송할 수 있다.
스케일러블 비디오 코딩 방법은 상기 도 3의 실시예에서 상술한 방법에 의해 시간적, 공간적, 화질적, 시점 스케일러빌리티를 제공할 수 있다. 본 명세서에서 스케일러블 비디오 코딩은 인코딩 관점에서는 스케일러블 비디오 인코딩, 디코딩 관점에서는 스케일러블 비디오 디코딩과 동일한 의미를 가진다.
상술한 바와 같이, 스케일러블 비디오 코딩은 시간적, 공간적, 화질적, 시점 등의 스케일러빌리티를 제공하기 위해 복수의 계층을 포함하는 구조를 가질 수 있다. 이러한 복수의 계층을 지원하는 스케일러블 비디오 코딩 구조에서는 계층 간 강한 연관성(correlation)이 존재하므로, 이러한 연관성을 이용하여 부호화/복호화를 수행하면 데이터의 중복 요소를 제거할 수 있고 영상의 부호화/복호화 성능을 향상시킬 수 있다.
예컨대, 복수의 계층 구조(스케일러블 비디오 코딩)에서, 현재 부호화/복호화가 수행되는 계층(현재 계층)의 픽처(영상)를 예측할 때, 현재 계층의 정보를 이용하는 인터 예측 혹은 인트라 예측뿐만 아니라, 다른 계층의 정보를 이용하는 계층간 예측(inter-layer prediction, 혹은 인터 레이어 예측)을 수행할 수 있다.
복수의 계층들은 스케일러빌리티 종류에 따라 해상도, 프레임 레이트, 컬러 포맷, 시점 중 적어도 하나가 서로 다를 수 있으며, 또한 각 계층은 시간적으로 스케일되는 시간적 서브 레이어(temporal sub-layer)를 적어도 하나 이상 포함하여 구성될 수 있다. 다시 말해, 스케일러블 비디오 코딩은 적어도 하나의 시간적 서브 레이어를 포함하는 계층이 복수 개로 구성된 구조일 수 있다.
상기와 같이, 적어도 하나의 시간적 서브 레이어를 포함하는 계층이 복수 개로 구성된 스케일러블 비디오 코딩에서 인터 레이어 예측을 수행할 경우, 현재 인터 레이어 예측이 수행되는 계층에서는 인터 레이어 예측을 위해 참조할 참조 계층에 대한 정보가 필요할 뿐만 아니라, 참조 계층에 속해 있는 시간적 서브 레이어가 인터 레이어 예측을 위해 참조 가능한지에 대한 정보가 필요하다.
이하, 본 발명에서는 각 계층의 시간적 서브 레이어가 인터 레이어 예측을 위해 참조 가능한지에 대한 정보를 효율적으로 표현하고 시그널링하는 방법과, 상기 시그널링된 정보를 기반으로 인터 레이어 예측을 수행하는 방법을 제공한다.
도 4는 본 발명이 적용될 수 있는 스케일러블 비디오 코딩의 계층 구조를 나타낸 일예이다.
도 4에서는 설명의 편의상 2개의 계층이 존재하는 영상을 예로 들어 기술하나, 그 이상의 계층이 존재하는 영상에 대해서도 확장하여 적용할 수 있다. 또한, 도 4의 스케일러블 비디오 코딩의 계층 구조에서는 공간적, 화질적, 시점 등의 스케일러빌리티를 제공할 수 있으며, 각 계층은 시간적 스케일러빌리티를 지원하기 위한 시간적 서브 레이어들을 포함할 수 있다. 도 4의 실시예에서는 설명의 편의를 위해서 각 계층이 4개의 시간적 서브 레이어들로 구성되는 것으로 도시하였으나, 이는 하나의 예시일 뿐이며, 각 계층은 서로 다른 개수의 시간적 서브 레이어들로 구성될 수 있다.
도 4에 도시된 바와 같은 스케일러블 비디오 코딩 구조에서, 상위 계층이 인터 레이어 예측을 수행할 경우, 상위 계층에서 인터 레이어 예측을 위해 참조할 수 있는 참조 계층(하위 계층)의 시간적 서브 레이어에 대한 정보가 필요하다.
따라서, 부호화기는 최상위 계층을 제외한 각 계층에서 인터 레이어 예측을 허용할 시간적 서브 레이어를 결정하고, 이러한 정보를 복호화기로 시그널링할 수 있다. 그리고 복호화기는 시그널링된 정보를 통해 각 계층의 시간적 서브 레이어가 상위 계층에서 인터 레이어 예측을 위해 참조될 수 있는지를 파악할 수 있으며, 각 계층의 참조될 수 있는 시간적 서브 레이어 정보를 기반으로 인터 레이어 예측을 수행할 수 있다.
예를 들어, 도 4에 도시된 바와 같이, 각 계층이 4개의 시간적 서브 레이어들로 구성된 경우, 부호화기는 하위 계층에 대해서, 2 이상의 시간적 레벨(시간적 서브 레이어를 특정하는 식별자일 수 있으며, 예컨대 temporal_id)을 가지는 하위 계층의 시간적 서브 레이어들에 대해서는 인터 레이어 예측을 허용하지 않고, 2 보다 낮은 시간적 레벨을 가지는 하위 계층의 시간적 서브 레이어들에 대해서는 인터 레이어 예측을 허용하는 것으로 결정할 수 있다. 도 4에서 보면, 2 보다 낮은 시간적 레벨을 가지는 하위 계층의 시간적 서브 레이어 “0”, “1”은 인터 레이어 예측이 허용되므로(즉, 상위 계층의 인터 레이어 예측을 위해 참조될 수 있으므로), 하위 계층의 시간적 서브 레이어 “0”, “1”에 해당하는 픽처들(도 4에서 막대로 표시함)은 상위 계층의 인터 레이어 예측을 위한 참조 픽처로 사용될 수 있다. 그리고, 2 이상의 시간적 레벨을 가지는 하위 계층의 시간적 서브 레이어 “2”, “3”은 인터 레이어 예측이 허용되지 않으므로(즉, 인터 레이어 예측을 위해 참조될 수 없으므로), 하위 계층의 시간적 서브 레이어 “2”, “3”에 해당하는 픽처들(도 4에서 점선으로 표시된 막대)은 상위 계층의 인터 레이어 예측을 위한 참조 픽처로 사용될 수 없다.
즉, 부호화기는 최상위 계층을 제외한 각 계층에 속해 있는 시간적 서브 레이어 픽처들이 인터 레이어 예측을 위한 참조 픽처로 사용될 수 있는지 여부를 결정하고, 상기 결정된 각 계층의 시간적 서브 레이어 정보를 신택스 요소(syntax element)를 이용하여 시그널링할 수 있다. 복호화기는 부호화기로부터 시그널링된 상기 각 계층의 시간적 서브 레이어 정보를 복호화하고, 복호화된 정보를 기반으로 각 계층에 속해 있는 시간적 서브 레이어 픽처들이 인터 레이어 예측을 위한 참조 픽처로 사용될 수 있는지 여부를 파악할 수 있다. 그리고 복호화기는 참조 픽처에 대한 정보를 기반으로 하여 인터 레이어 예측을 수행할 수 있다.
이하에서는 인터 레이어 예측을 위한 시간적 서브 레이어에 대한 정보를 효율적으로 시그널링하는 방법에 대해 설명한다. 여기서, 인터 레이어 예측을 위한 시간적 서브 레이어에 대한 정보는, 상술한 바와 같이, 참조 계층에서 인터 레이어 예측을 허용하는 시간적 서브 레이어를 파악할 수 있는 정보를 말하며, 보다 구체적으로 참조 계층의 시간적 서브 레이어 픽처가 인터 레이어 예측을 수행하는 계층(상위 계층)의 참조 픽처로 사용되는지를 파악할 수 있는 정보를 말한다.
이러한 인터 레이어 예측을 위한 시간적 서브 레이어에 대한 정보는 VPS(Video Parameter Sets), SPS(Sequence Parameter Sets), PPS(Picture Parameter Sets), 슬라이스 세그먼트 헤더(slice segment header)등을 통해서 전송될 수 있다.
보다 구체적으로 아래 표 1 내지 표 11을 참조하여 인터 레이어 예측을 위한 시간적 서브 레이어에 대한 정보를 신택스 요소를 이용하여 표현하고, 이를 VPS, SPS, PPS, 슬라이스 세그먼트 헤더 등을 통해 시그널링하는 방법을 설명하도록 한다.
표 1은 본 발명의 실시예에 따른 VPS에서 전송될 수 있는 최상위 계층을 제외한 각 계층의 최대 시간적 서브 레이어 정보를 나타내는 신택스의 일예이다.
여기서, 최대 시간적 서브 레이어 정보는, 해당 계층에서 인터 레이어 예측을 허용하는 최대 시간적 서브 레이어 레벨에 대한 정보를 말한다. 다시 말해, 해당 계층에서 기술된 최대 시간적 서브 레이어 정보보다 큰 시간적 레벨을 가지는 시간적 서브 레이어는 인터 레이어 예측을 위해 사용되지 않음을 나타낸다.
[표 1]
Figure PCTKR2014006401-appb-I000001
표 1을 참조하면, max_tid_il_ref_pics_plus1[i]은 i 번째 계층에서 인터 레이어 예측을 최대로 지원하는 시간적 서브 레이어 정보를 나타낼 수 있다. 예를 들어, i 번째 계층에서 max_tid_il_ref_pics_plus1[i]-1 보다 큰 시간적 레벨값(temporal_id)을 가지는 서브 레이어는 i 번째 계층을 참조 계층으로 사용하는 n 번째 계층(n은 i 보다 큰 값임)에서 인터 레이어 예측을 위해 사용되지 않을 수 있다. 다시 말해서, i 번째 계층에서 max_tid_il_ref_pics_plus1[i] 보다 작은 시간적 레벨(temporal_id)을 가지는 서브 레이어는 i 번째 계층을 참조 계층으로 사용하는 n 번째 계층(n은 i 보다 큰 값임)에서 인터 레이어 예측을 위한 참조 픽처로 사용될 수 있다. 표1 에서 “vps_max_layers_minus1+1”은 부호화된 비디오 시퀀스 내에서 허용하는 최대 계층의 수를 의미한다.
표 1에서와 같이, 각 계층마다 최대 시간적 서브 레이어 정보, max_tid_il_ref_pics_plus1[i]를 전송하지 않고, 전체 계층에 동일한 최대 시간적 서브 레이어 정보를 적용할 수도 있다.
표 2는 본 발명의 실시예에 따른 VPS에서 전송될 수 있는 모든 계층에 동일하게 적용되는 최대 시간적 서브 레이어 정보를 나타내는 신택스의 일예이다.
[표 2]
Figure PCTKR2014006401-appb-I000002
표 3은 본 발명의 실시예에 따른 VPS에서 전송될 수 있는 최상위 계층을 제외한 각 계층의 최대 시간적 서브 레이어 정보를 나타내는 신택스의 다른 예이다.
[표 3]
Figure PCTKR2014006401-appb-I000003
표 3을 참조하면, 예를 들어, “max_tid_il_ref_pics_plus1_present_flag” 신택스가 “1”의 값을 가질 경우에만, 최상위 계층을 제외한 각 계층마다의“max_tid_il_ref_pics_plus1[i]” 정보가 존재하며, 표 1에서와 같이, 각 계층 마다 “max_tid_il_ref_pics_plus1[i]-1”값 보다 큰 시간 레벨(TemporalId) 값을 가지는 서브 레이어 픽처들에 대해서는 인터 레이어 예측을 허용하지 않을 수 있다.
“max_tid_il_ref_pics_plus1_present_flag”신택스가 “0”의 값을 가질 경우, 각 계층마다 “max_tid_il_ref_pics_plus1[i]” 정보가 존재하지 않는다는 것을 의미한다. 이러한 경우, 최상위 계층을 제외한 각 계층에서의 “max_tid_il_ref_pics_plus1[i]”값은 비트스트림에서 허용 가능한 최대 시간 레벨(TemporalId) 값인 “7”로 유추될 수 있다. 즉, 전체 비트스트림에서 최상위 계층을 제외한 모든 계층들의 전체 시간적 서브 레이어 픽처들에 대해 인터 레이어 예측을 허용할 수 있음을 의미한다. 다시 말해서, 전체 비트스트림에서 모든 계층의 전체 시간적 서브 레이어 픽처는 인터 레이어 예측을 위한 참조 픽처로 사용될 수 있음을 나타낸다.
상기 실시예에서“max_tid_il_ref_pics_plus1_present_flag”신택스가 “0”인 경우, “max_tid_il_ref_pics_plus1[i]” 값을 고려하지 않고 현재 디코딩이 수행되는 계층(현재 계층)의 최상위 시간적 서브 레이어 픽처가 현재 계층보다 큰 계층(상위 계층)에서 참조되는지 여부를 확인하고, 만일 현재 계층의 최상위 시간적 서브 레이어 픽처가 상위 계층에서 참조되지 않으면 “unused for reference”로 마킹할 수 있다. 여기서, 최상위 시간적 서브 레이어는 현재 계층에서 가장 큰 시간 레벨 값을 가지는 서브 레이어를 지칭할 수 있다. “unused for reference”로 마킹된 현재 계층의 최상위 시간적 서브 레이어 픽처는 인터 레이어 예측을 위한 참조 픽처로 사용되지 않음을 나타낸다.
예를 들어, 스케일러블 코딩 구조에서 전체 계층의 수가 4개이며, 4개의 계층 각각이 4개의 시간적 서브 레이어(Temporal_Id = 0~3)로 구성된 경우라고 하자. 이때, 현재 디코딩하는 계층이 두번째 계층인 경우, 두번째 계층의 최상위 시간 서브 레이어인 4번째 시간적 서브 레이어(Temporal_Id = 3)가 세번째 계층과 네번째 계층에 의해 참조되는지 여부를 확인한다. 만일 두번째 계층의 최상위 시간 서브 레이어(Temporal_Id = 3)가 세번째, 네번째 계층에서 참조되지 않는 경우, “unused for reference”로 마킹을 할 수 있다.
표 3-1은 본 발명의 실시예에 따른 VPS에서 전송될 수 있는 최대 시간적 서브 레이어 정보를 나타내는 신택스의 다른 예이다.
[표 3-1]
Figure PCTKR2014006401-appb-I000004
표 3-1를 참조하면, 예를 들어“max_tid_ref_present_flag”신택스가 “1”의 값을 가질 경우, “i”번째 계층을 직접 참조 계층(direct reference layer)으로 사용하는 “j” 번째 계층에 대해 “i” 번째 계층에서 허용하는 최대 시간적 서브 레이어 정보(예,max_tid_il_ref_pics_plus1[i][j])를 개별적으로 기술할 수 있다.
계층 간의 참조 관계는 VPS extension에서 전송되는 신택스 “direct_dependency_flag[j][i]”로부터 유추할 수 있다. direct_dependency_flag[j][i]는 j 번째 계층이 i 번째 계층을 위한 직접 참조 계층으로 사용될수 있는지 여부를 나타내는 정보일 수 있다. 예컨대, direct_dependency_flag[j][i]가 0이면, j 번째 계층이 i 번째 계층을 위한 직접 참조 계층으로 사용되지 않는 것을 나타낸다. 반면, direct_dependency_flag[j][i]가 1이면, j 번째 계층이 i 번째 계층을 위한 직접 참조 계층으로 사용될 수 있음을 나타낸다.
“max_tid_ref_present_flag” 신택스가 “0”의 값을 가질 경우는 계층별로 인터 레이어 예측을 허용하는 시간 서브 레이어 정보를 알려주는 최대 시간적 서브 레이어 정보가 존재하지 않으며 그 값은 비트스트림 내에서 허용하는 최대 시간 레벨인 “7”로 유추될 수 있다. “max_tid_il_ref_pics_plus1[i][j]”가 “0”의 값을 가질 경우, ‘layer_id_in_nuh[i]’와 동일한 ‘nuh_layer_id’를 갖는 non-IRAP 픽처는 ‘layer_id_in_nuh[j]’와 동일한 ‘nuh_layer_id’ 값을 갖는 픽처에 대해 인터 레이어 예측을 위한 참조 픽처로 사용할 수 없음을 명시한다. “max_tid_il_ref_pics_plus1[i][j]”가 “0”보다 큰 값을 갖는 경우, ‘layer_id_in_nuh[i]’와 동일한 ‘nuh_layer_id’를 갖고 시간 레벨 정보(TemporalId)가 ‘max_tid_il_ref_pics_plus1[i][j]-1’ 보다 큰 값을 갖는 픽처들이 ‘layer_id_in_nuh[j]’와 동일한 ‘nuh_layer_id’를 갖는 픽처들에 대한 인터 레이어 예측을 위한 참조 픽처로 사용되지 않음을 의미한다.
표 3-1에서 MaxLayersMinus1은 Min(62, vps_max_layers_minus1)값과 같으며, vps_max_layers_minus1은 VPS에서 전송되는 비트스트림 내에서 허용하는 최대 계층의 수를 알려주는 정보이다.
표 3에서와 같이, 각 계층마다 최대 시간적 서브 레이어 정보(max_tid_il_ref_pics_plus1[i])를 전송하지 않고, 전체 계층에 동일한 최대 시간적 서브 레이어 정보를 적용할 수도 있다.
표 4는 본 발명의 실시예에 따른 VPS에서 전송될 수 있는 최상위 계층을 제외한 모든 계층에 동일하게 적용되는 최대 시간적 서브 레이어 정보를 나타내는 신택스의 다른 예이다.
[표 4]
Figure PCTKR2014006401-appb-I000005
표 4를 참조하면, “max_tid_il_ref_pics_plus1_present_flag”가 “0” 일 경우, 상술한 바와 같이, “max_tid_il_ref_pics_plus1[i]” 값을 최대 시간 레벨 “7”로 유추하거나, “max_tid_il_ref_pics_plus1[i]” 값을 고려하지 않고 현재 계층의 최상위 시간 서브 레이어에 대해 현재 계층보다 큰 계층들에 대해 참조되는지 여부를 확인한 후 참조되지 않을 경우, “unused for reference” 로 마킹을 할 수 있다.
“max_tid_il_ref_pics_plus1_present_flag”가 0인 경우, 모든 계층의 시간적 서브 레이어에 대해 인터 레이어 예측을 허용하거나, 허용하지 않을 수도 있음을 나타낼 수 있다.
표 5는 본 발명의 실시예에 따른 VPS에서 전송될 수 있는 각 계층의 최대 시간적 서브 레이어 정보를 나타내는 신택스의 또 다른 예이다.
[표 5]
Figure PCTKR2014006401-appb-I000006
표 5를 참조하면, 상술한 표 3과 달리, 해당 계층별로 max_tid_il_ref_pics_plus1_present_flag[i]가 존재하며, 상기 플래그가 1인 경우에만 해당 계층에 max_tid_il_ref_pics_plus1[i] 정보가 존재한다.
max_tid_il_ref_pics_plus1_present_flag[i]가 1인 경우, i 번째 계층에서 max_tid_il_ref_pics_plus1-1 보다 큰 시간 레벨(TemporalId) 값을 가지는 서브 레이어 픽처에 대해서는 인터 레이어 예측을 허용하지 않을 수 있다.
max_tid_il_ref_pics_plus1_present_flag[i]가 “0”의 값을 가질 경우, i 번째 계층에서 max_tid_il_ref_pics_plus1[i] 정보가 존재하지 않는다는 것을 의미한다. 이러한 경우, max_tid_il_ref_pics_plus1[i]은 비트스트림에서 허용 가능한 최대 시간 레벨(TemporalId) 값인 “7”로 유추될 수 있다. 즉, i 번째 계층의 모든 서브 레이어 픽처에 대해 인터 레이어 예측을 허용할 수 있다. 다시 말해서, i 번째 계층의 모든 서브 레이어 픽처는 인터 레이어 예측을 위한 참조 픽처로 사용될 수 있음을 나타낸다.
또한, max_tid_il_ref_pics_plus1_present_flag가 0일 경우, max_tid_il_ref_pics_plus1[i] 값을 고려하지 않고 현재 디코딩되는 계층(현재 계층)의 최대 시간적 서브 레이어가 현재 계층보다 큰 계층들(상위 계층)에서 참조되는지 여부를 확인하고, 만일 현재 계층의 최대 시간적 서브 레이어가 상위 계층에서 참조되지 않으면 “unused for reference”로 마킹할 수 있다. “unused for reference”로 마킹된 현재 계층의 최대 시간적 서브 레이어 픽처는 인터 레이어 예측을 위한 참조 픽처로 사용되지 않음을 나타낸다.
max_tid_il_ref_pics_plus1_present_flag가 0 인 경우, 모든 계층의 시간적 서브 레이어에 대해 인터 레이어 예측을 허용하거나, 허용하지 않을 수도 있음을 나타낼 수 있다.
표 6은 본 발명의 실시예에 따른 VPS에서 전송될 수 있는 각 계층의 최대 시간적 서브 레이어 정보를 나타내는 신택스의 또 다른 예이다.
[표 6]
Figure PCTKR2014006401-appb-I000007
표 6을 참조하면, max_tid_il_ref_pics_plus1_present_flag가 “1”의 값을 가질 경우에만, 해당 계층 별로 max_tid_il_ref_pics_plus1_not_predicted_flag[i]와 max_tid_il_ref_pics_plus1[i] 정보가 존재를 한다.
max_tid_il_ref_pics_plus1_not_predicted_flag[i]가 1인 경우에만, i 번째 계층에 해당하는 max_tid_il_ref_pics_plus1[i] 정보를 전송할 수 있다. 즉, max_tid_il_ref_pics_plus1-1 보다 큰 시간 레벨(TemporalId) 값을 가지는 서브 레이어 픽처에 대해서는 인터 레이어 예측을 허용하지 않을 수 있다.
max_tid_il_ref_pics_plus1_not_predicted_flag[i]가 0인 경우에는 i-1 번째 계층의 max_tid_il_ref_pics_plus1[i-1]의 값을 i 번째 계층의 max_tid_il_ref_pics_plus1[i] 값으로 사용할 수 있다. max_tid_il_ref_pics_plus1_not_predicted_flag[i]가 존재하지 않을 경우에는, i 번째 계층의 max_tid_il_ref_pics_plus1[i]을 1로 유추할 수 있다.
max_tid_il_ref_pics_plus1_present_flag가 “0”의 값을 가질 경우, 해당 계층 별로 max_tid_il_ref_pics_plus1_not_predicted_flag[i]와 max_tid_il_ref_pics_plus1[i] 정보가 존재하지 않는다. 이러한 경우, max_tid_il_ref_pics_plus1[i]은 비트스트림에서 허용 가능한 최대 시간 레벨(TemporalId) 값인 “7”로 유추될 수 있다. 즉, 전체 비트스트림에서 모든 시간적 서브 레이어 픽처에 대해 인터 레이어 예측(즉, 계층간 예측을 위한 참조 픽처로 사용됨)을 허용할 수 있다.
또한, max_tid_il_ref_pics_plus1_present_flag가 0일 경우, max_tid_il_ref_pics_plus1[i] 값을 고려하지 않고 현재 계층의 최대 시간적 서브 레이어에 대해 현재 계층보다 큰 계층들에 대해 참조되는지 여부를 확인한 후 참조되지 않을 경우, “unused for reference”로 마킹을 할 수 있다.
max_tid_il_ref_pics_plus1_present_flag가 0 인 경우, 모든 계층의 시간적 서브 레이어에 대해 계층간 예측을 허용하거나, 허용하지 않을 수도 있음을 나타낼 수 있다.
표 7은 본 발명의 실시예에 따른 VPS에서 전송될 수 있는 각 계층의 최대 시간적 서브 레이어 정보를 나타내는 신택스의 또 다른 예이다.
[표 7]
Figure PCTKR2014006401-appb-I000008
표 7을 참조하면, 전체 계층에 적용 가능한 max_tid_il_ref_pics_plus1를 전송한다. 그리고, max_tid_il_ref_pics_plus1_predicted_flag[i]가 1인 경우에는 전체 계층에 적용 가능한 max_tid_il_ref_pics_plus1 값을 사용하고, max_tid_il_ref_pics_plus1_predicted_flag[i]가 0인 경우에는 해당 계층에만 적용 가능한 max_tid_il_ref_pics_plus1[i] 값을 기술하여 사용할 수 있다.
표 8은 본 발명의 실시예에 따른 VPS에서 전송될 수 있는 각 계층의 최대 시간적 서브 레이어 정보를 나타내는 신택스의 또 다른 예이다.
[표 8]
Figure PCTKR2014006401-appb-I000009
표 8을 참조하면, i가 0보다 큰 계층부터 전송되는 max_tid_il_ref_pics_plus1_predicted_flag[i] 값에 따라, 이전 계층(i-1)의 max_tid_il_ref_pics_plus1[i-1]과의 delta 값으로 표시할 수 있다.
max_tid_il_ref_pics_plus1_predicted_flag[i]가 존재하지 않는 경우 delta_max_tid_il_ref_pics_plus1[i]는 0으로 간주할 수 있다.
즉, max_tid_il_ref_pics_plus1_predicted_flag[i]가 1인 경우, 이전 계층(i-1)과의 delta 값인 delta_max_tid_il_ref_pics_plus1[i]을 전송하며, max_tid_il_ref_pics_plus1_predicted_flag[i]가 0인 경우, 해당 계층의 max_tid_il_ref_pics_plus1[i]을 전송한다.
표 9는 본 발명의 실시예에 따른 VPS에서 전송될 수 있는 각 계층의 최대 시간적 서브 레이어 정보를 나타내는 신택스의 또 다른 예이다.
[표 9]
Figure PCTKR2014006401-appb-I000010
표 9를 참조하면, “max_tid_il_ref_present_flag”신택스가 “1”의 값을 가질 경우, ‘default_max_tid_il_ref_flag’ 값에 따라 “i”번째 계층을 직접 참조 계층으로 사용하는 “j” 번째 계층에 대해 “i” 번째 계층에서 허용하는 최대 시간적 서브 레이어 정보(max_tid_il_ref_pics_plus1[i][j])를 개별적으로 기술할 수 있거나, 기본값(예를 들어, default_max_tid_il_ref_pics_plus1)으로 유추할 수 있다. “max_tid_il_ref_present_flag” 신택스가 “0”의 값을 가질 경우는 최상위 계층을 제외한 각 계층에서 최대 시간적 서브 레이어 정보가 존재하지 않는다.
“default_max_tid_il_ref_flag”신택스가 ‘1’의 값을 가질 경우, ‘max_tid_il_ref_pics_plus1[i][j]’신택스가 존재하지 않으며, 복호화 과정상에서 ‘max_tid_il_ref_pics_plus1[i][j]’는 ‘default_max_tid_il_ref_pics_plus1’ 값으로 유추될 수 있다. “default_max_tid_il_ref_flag”가 ‘0’의 값을 가질 경우는 “i”번째 계층을 직접 참조 계층으로 사용하는 “j” 번째 계층에 대해 “i” 번째 계층에서 허용하는 최대 시간적 서브 레이어 정보(max_tid_il_ref_pics_plus1[i][j])가 존재한다.
‘max_tid_il_ref_pics_plus1[i][j]’신택스가 존재할 경우, “default_max_tid_il_ref_pics_plus1”는 “max_tid_il_ref_pics_plus1[i][j]” 값으로 사용될 수 있다. 모든 계층에 동일한 최대 시간적 서브 레이어 정보가 적용될 수 있다.
“max_tid_il_ref_pics_plus1[i][j]”가 “0”의 값을 가질 경우, ‘layer_id_in_nuh[i]’와 동일한 ‘nuh_layer_id’를 갖는 non-IRAP 픽처는 ‘layer_id_in_nuh[j]’와 동일한 ‘nuh_layer_id’ 값을 갖는 픽처에 대해 인터 레이어 예측을 위한 참조 픽처로 사용될 수 없음을 명시한다. max_tid_il_ref_pics_plus1[i][j]가 “0”보다 큰 값을 갖는 경우, ‘layer_id_in_nuh[i]’와 동일한 ‘nuh_layer_id’를 갖고 시간 레벨 정보(TemporalId)가 ‘max_tid_il_ref_pics_plus1[i][j]-1’ 보다 큰 값을 갖는 픽처들이 ‘layer_id_in_nuh[j]’와 동일한 ‘nuh_layer_id’를 갖는 픽처들에 대한 인터 레이어 예측을 위한 참조 픽처로 사용되지 않음을 의미한다. “max_tid_il_ref_pics_plus1[i][j]”신택스가 존재하지 않을 경우, ‘max_tid_il_ref_present_flag’신택스가 “0”인 경우는 “max_tid_il_ref_pics_plus1[i][j]”값이 “7”로 유추될 수 있다. ‘max_tid_il_ref_present_flag’신택스가 “1”인 경우는 “max_tid_il_ref_pics_plus1[i][j]”값이 ‘default_max_tid_il_ref_pics_plus1” 값으로 유추될 수 있다.
표 10은 본 발명의 실시예에 따른 VPS에서 전송될 수 있는 각 계층의 최대 시간적 서브 레이어 정보를 나타내는 신택스의 또 다른 예이다.
[표 10]
Figure PCTKR2014006401-appb-I000011
표 10을 참조하면, “default_max_tid_il_ref_flag”신택스가 ‘1’의 값을 가질 경우, ‘max_tid_il_ref_pics_plus1[i][j]’가 존재하지 않으며, ‘max_tid_il_ref_pics_plus1[i][j]’는 ‘default_max_tid_il_ref_pics_plus1’ 값으로 유추될 수 있다. default_max_tid_il_ref_flag가 ‘0’의 값을 가질 경우, “i”번째 계층을 직접 참조 계층으로 사용하는 “j” 번째 계층에 대해 “i” 번째 계층에서 허용하는 최대 시간적 서브 레이어 정보(max_tid_il_ref_pics_plus1[i][j])가 존재한다.
“max_tid_il_ref_pics_plus1[i][j]” 신택스가 존재할 경우, “default_max_tid_il_ref_pics_plus1”는 “max_tid_il_ref_pics_plus1[i][j]” 값으로 사용될 수 있다. 모든 계층에 동일한 최대 시간적 서브 레이어 정보가 적용될 수 있다.
“max_tid_il_ref_pics_plus1[i][j]”가 “0”의 값을 가질 경우, ‘layer_id_in_nuh[i]’와 동일한 ‘nuh_layer_id’를 갖는 non-IRAP 픽처는 ‘layer_id_in_nuh[j]’와 동일한 ‘nuh_layer_id’ 값을 갖는 픽처에 대해 인터 레이어 예측을 위한 참조 픽처로 사용할 수 없음을 명시한다. “max_tid_il_ref_pics_plus1[i][j]”가 “0”보다 큰 값을 갖는 경우, ‘layer_id_in_nuh[i]’와 동일한 ‘nuh_layer_id’를 갖고 시간 레벨 정보(TemporalId)가 ‘max_tid_il_ref_pics_plus1[i][j]-1’ 보다 큰 값을 갖는 픽처들이 ‘layer_id_in_nuh[j]’와 동일한 ‘nuh_layer_id’를 갖는 픽처들에 대한 인터 레이어 예측을 위한 참조 픽처로 사용되지 않음을 의미한다. “max_tid_il_ref_pics_plus1[i][j]”가 존재하지 않을 경우, “max_tid_il_ref_pics_plus1[i][j]”는 “default_max_tid_il_ref_pics_plus1” 값으로 유추될 수 있다.
표 11은 본 발명의 실시예에 따른 VPS에서 전송될 수 있는 각 계층의 최대 시간적 서브 레이어 정보를 나타내는 신택스의 또 다른 예이다.
[표 11]
Figure PCTKR2014006401-appb-I000012
표 11을 참조하면, “default_max_tid_il_ref_flag”가 ‘1’의 값을 가질 경우, ‘max_tid_il_ref_pics_plus1[i][j]’신택스가 존재하지 않으며, ‘max_tid_il_ref_pics_plus1[i][j]’는 ‘default_max_tid_il_ref_pics_plus1[i]’ 값으로 유추될 수 있다. ‘default_max_tid_il_ref_flag’가 ‘0’의 값을 가질 경우, “i”번째 계층을 직접 참조 계층으로 사용하는 “j” 번째 계층에 대해 “i” 번째 계층에서 허용하는 최대 시간적 서브 레이어 정보(max_tid_il_ref_pics_plus1[i][j])가 존재한다.
“max_tid_il_ref_pics_plus1[i][j]”가 존재할 경우, “default_max_tid_il_ref_pics_plus1[i]”는 i 번째 계층의 “max_tid_il_ref_pics_plus1[i][j]” 값으로 사용될 수 있다. i 는 0에서 MaxLayersMinus1-1 값을 가질 수 있다. MaxLayersMinus1은 Min(62, vps_max_layers_minus1)값과 같으며, vps_max_layers_minus1은 VPS에서 전송되는 비트스트림내에서 허용하는 최대 계층의 수를 알려주는 정보이다.
“max_tid_il_ref_pics_plus1[i][j]”가 “0”의 값을 가질 경우, ‘layer_id_in_nuh[i]’와 동일한 ‘nuh_layer_id’를 갖는 non-IRAP 픽처는 ‘layer_id_in_nuh[j]’와 동일한 ‘nuh_layer_id’ 값을 갖는 픽처에 대해 인터 레이어 예측을 위한 참조 픽처로 사용할 수 없음을 명시한다. max_tid_il_ref_pics_plus1[i][j]가 “0”보다 큰 값을 갖는 경우, ‘layer_id_in_nuh[i]’와 동일한 ‘nuh_layer_id’를 갖고 시간 레벨 정보(TemporalId)가 ‘max_tid_il_ref_pics_plus1[i][j]-1’ 보다 큰 값을 갖는 픽처들이 ‘layer_id_in_nuh[j]’와 동일한 ‘nuh_layer_id’를 갖는 픽처들에 대한 인터 레이어 예측을 위한 참조 픽처로 사용되지 않음을 의미한다. max_tid_il_ref_pics_plus1[i][j]가 존재하지 않을 경우, i번째 계층을 위한 max_tid_il_ref_pics_plus[i][j] 값은 ‘default_max_tid_il_ref_pics_plus1[i]” 값으로 유추될 수 있다.
상기 표 1 내지 표 11을 참조하여 설명한 본 발명의 실시예에 따른 시간적 서브 레이어 정보를 이용한 시그널링 방법은 상기 실시 예들의 여러 조합으로도 표현이 가능할 수 있다.
또한, 상술한 본 발명의 실시예에 따른 시간적 서브 레이어 정보를 이용한 시그널링 방법은, 모든 시간적 서브 레이어 픽처에 대해 인터 레이어 예측을 허용할 경우 현재 계층을 직접 참조 계층으로 사용하는 모든 계층에 대해서 개별적으로 최대 시간적 서브 레이어 정보를 알려줄 필요 없이 전체 계층에 동일한 최대 시간적 서브 레이어 정보를 적용할 수 있도록 한다. 따라서, 각 계층마다 개별적으로 관련 정보를 시그널링하는데 따른 오버헤드를 줄일 수 있다.
또한, 상술한 본 발명의 실시예에 따른 시간적 서브 레이어 정보를 이용한 시그널링 방법은, 각 계층별로 인터 레이어 예측을 위한 시간적 서브 레이어를 조절할지 여부를 나타내는 지시자를 사용함으로써, 효율적으로 관련 정보를 시그널링할 수 있도록 한다.
상기 실시 예들을 통해 기술된 해당 계층에서 인터 레이어 예측을 허용하는 최대 시간적 서브 레이어 정보를 이용하여 현재 픽처에 대해 인터 레이어 예측을 수행할 때, 현재 픽처의 디코딩에 사용되는 실제 이용 가능한 참조 계층 픽처의 개수(numRefLayerPics)는 다음과 같이 구할 수 있다.
VPS extension에 기술된 신택스 요소 ‘direct_dependency_flag’로부터 계산된 현재 계층이 직접 참조하고 있는 참조 계층의 개수를 지시하는 변수 ‘NumDirectRefLayers[]’, 각 계층의 최대 시간적 서브 레이어 (레벨) 정보를 지시하는 신택스 요소 ‘sub_layers_vps_max_minus1[i]’, 각 계층에서 인터 레이어 예측을 허용하는 최대 시간적 서브 레이어 정보를 지시하는 신택스 요소 ‘max_tid_il_ref_pics_plus1[i][j]’ 정보, 현재 픽처의 시간 레벨 정보를 지시하는 신택스 요소 ‘TemporalId’를 이용하여, 인터 레이어 예측을 위해 현재 픽처의 디코딩에 사용될 수 있는 참조 계층 픽처들의 개수를 지시하는 변수 ‘numRefLayerPics’를 다음 표 12와 같이 구할 수 있다.
[표 12]
Figure PCTKR2014006401-appb-I000013
현재 픽처가 직접 참조하고 있는 참조 계층의 픽처들 중, 참조 계층의 ‘sub_layers_vps_max_minus1[]’ 값이 현재 픽처의 ‘TemporalId’ 값보다 크거나 같고, 현재 계층에 대한 참조 계층의 ‘max_tid_il_ref_pics_plus1[][]’값이 현재 픽처의 ‘TemporalId’ 값보다 큰 경우에 해당하는 참조 계층의 픽처들만 인터 레이어 예측을 위해 현재 픽처의 디코딩에 사용될 수 있는 참조 계층 픽처들로 간주될 수 있다.
도 5는 본 발명의 실시예에 따른 시간적 서브 레이어 정보에 기반하여 인터 레이어 예측을 수행하는 방법을 개략적으로 나타낸 순서도이다.
도 5의 방법은 적어도 하나의 시간적 서브 레이어를 포함하는 계층이 복수 개로 구성된 영상의 부호화 및 복호화 과정에서, 부호화/복호화 대상 블록의 예측 샘플들을 생성하기 위해 시간적 서브 레이어 정보를 이용한 인터 레이어 예측 과정에 대해 설명하고 있다. 따라서, 도 5의 방법은 영상의 부호화 및 복호화 방법에 모두 적용될 수 있다. 이하에서는 설명의 편의를 위하여 복호화 과정을 기준으로 기술한다.
도 5를 참조하면, 복호화기는 인터 레이어 예측을 위한 시간적 서브 레이어에 대한 정보를 획득한다(S500).
시간적 서브 레이어에 대한 정보는, 각 계층에서 인터 레이어 예측을 위해 참조될 수 있는 최대 시간적 서브 레이어를 지시하는 최대 시간적 서브 레이어 정보와, 각 계층에서 최대 시간적 서브 레이어 정보를 조절할지 여부를 나타내는 지시자 정보를 포함할 수 있다.
예컨대, 상기 최대 시간적 서브 레이어 정보는 상기 표 1 내지 표 11에서 설명한 max_tid_il_ref_pics_plus1 신택스 요소일 수 있으며, 상기 지시자 정보는 상기 표 1 내지 표 11에서 설명한 max_tid_il_ref_pics_plus1_present_flag 신택스 요소일 수 있다.
또한, 시간적 서브 레이어에 대한 정보는, 현재 디코딩 계층의 참조 계층에서 인터 레이어 예측을 허용하는 시간적 서브 레이어를 알 수 있도록 시그널링되는 정보로서, 상기 표 1 내지 표 11에서 설명한 바와 같은 여러 가지 방법으로 표현될 수 있다.
복호화기는 상기 표 1 내지 표 11에 도시된 바와 같이, VPS, SPS, PPS, 슬라이스 세그먼트 헤더 등을 통해 시간적 서브 레이어에 대한 정보를 부호화기로부터 수신하고, 수신된 시간적 서브 레이어에 대한 정보를 엔트로피 복호화함으로써 상기 지시자 정보, 최대 시간적 서브 레이어 정보 등을 획득할 수 있다.
예를 들어, 상기 지시자 정보가 각 계층에서 최대 시간적 서브 레이어 정보를 조절하는 것으로 지시된 경우, 복호화기는 각 계층에 대해 최대 시간적 서브 레이어 정보를 획득할 수 있다. 이때, 복호화기는 계층 간의 참조 관계에 대한 정보, 예컨대 현재 계층이 직접 참조 계층으로 사용하는 계층에 대한 정보(예를 들면 direct_dependency_flag)를 기반으로 직접 참조 관계가 있는 계층에 대해 최대 시간적 서브 레이어 정보를 획득할 수도 있다. 반대로, 상기 지시자 정보가 각 계층에서 최대 시간적 서브 레이어 정보를 명시적으로 조절하지 않는 것으로 지시된 경우, 복호화기는 각 계층에 대해 최대 시간적 서브 레이어 정보를 특정 값으로 유추할 수 있다. 예컨대, 특정 값은 최대 시간 레벨 값으로, 7일 수 있다.
복호화기는 시간적 서브 레이어에 대한 정보를 기반으로 현재 픽처의 인터 레이어 예측을 위해 사용되는 참조 픽처를 유도한다(S510).
복호화기는 각 계층마다, 최대 시간적 서브 레이어 정보가 지시하는 최대 시간적 서브 레이어 보다 크거나 같은 시간적 서브 레이어에 해당하는 픽처들에 대해서 현재 픽처의 인터 레이어 예측을 위한 참조 픽처로 사용되지 않는 것으로 판단할 수 있다.
복호화기는 각 계층마다, 최대 시간적 서브 레이어 정보가 지시하는 최대 시간적 서브 레이어 보다 작은 시간적 서브 레이어에 해당하는 픽처들에 대해서 현재 픽처의 인터 레이어 예측을 위한 참조 픽처로 사용 가능한 것으로 판단할 수 있다.
복호화기는 인터 레이어 예측을 위해 현재 픽처의 디코딩에 사용되는 실제 이용 가능한 참조 계층 픽처를 최대 시간적 서브 레이어 정보를 이용하여 상기 표 12와 같이 구할 수 있다.
복호화기는 참조 픽처를 기반으로 현재 픽처의 인터 레이어 예측을 수행한다(S520).
복호화기는 현재 픽처의 인터 레이어 예측을 위해 참조 가능한 참조 픽처들을 기반으로 참조 픽처 리스트를 생성할 수 있으며, 이러한 참조 픽처 리스트를 이용하여 현재 픽처의 인터 레이어 예측을 수행할 수 있다.
복호화기는 현재 픽처에 대해 인터 레이어 예측을 수행하여 예측 신호를 생성하고, 상기 예측 신호와 레지듀얼(residual) 신호를 더해서 현재 픽처의 복원 신호(복원된 픽처)를 얻을 수 있다.
상술한 본 발명에 따른 방법은 컴퓨터에서 실행되기 위한 프로그램으로 제작되어 컴퓨터가 읽을 수 있는 기록 매체에 저장될 수 있으며, 컴퓨터가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다.
컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고, 상기 방법을 구현하기 위한 기능적인(function) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술분야의 프로그래머들에 의해 용이하게 추론될 수 있다.
상술한 실시예들에서, 방법들은 일련의 단계 또는 블록으로서 순서도를 기초로 설명되고 있으나, 본 발명은 단계들의 순서에 한정되는 것은 아니며, 어떤 단계는 상술한 바와 다른 단계와 다른 순서로 또는 동시에 발생할 수 있다. 또한, 당해 기술 분야에서 통상의 지식을 가진 자라면 순서도에 나타난 단계들이 배타적이지 않고, 다른 단계가 포함되거나, 순서도의 하나 또는 그 이상의 단계가 본 발명의 범위에 영향을 미치지 않고 삭제될 수 있음을 이해할 수 있을 것이다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시 예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시 예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호범위는 특허청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.

Claims (12)

  1. 적어도 하나의 시간적 서브 레이어(temporal sub-layer)를 포함하는 계층이 복수 개로 구성된 영상의 인터 레이어 예측(inter-layer prediction) 방법에 있어서,
    인터 레이어 예측을 위한 시간적 서브 레이어에 대한 정보를 획득하는 단계;
    상기 시간적 서브 레이어에 대한 정보를 기반으로 현재 픽처의 인터 레이어 예측을 위해 사용되는 참조 픽처를 유도하는 단계; 및
    상기 참조 픽처를 기반으로 상기 현재 픽처의 인터 레이어 예측을 수행하는 단계를 포함하며,
    상기 시간적 서브 레이어에 대한 정보는,
    각 계층에서 인터 레이어 예측을 위해 참조될 수 있는 최대 시간적 서브 레이어를 지시하는 최대 시간적 서브 레이어 정보와,
    각 계층에서 상기 최대 시간적 서브 레이어 정보를 조절할지 여부를 나타내는 지시자 정보를 포함하는 것을 특징으로 하는 인터 레이어 예측 방법.
  2. 제1항에 있어서,
    상기 시간적 서브 레이어에 대한 정보를 획득하는 단계는,
    상기 지시자 정보가 상기 최대 시간적 서브 레이어 정보를 조절하는 것으로 지시하는 경우, 각 계층에 대해 상기 최대 시간적 서브 레이어 정보를 획득하는 것을 특징으로 하는 인터 레이어 예측 방법.
  3. 제1항에 있어서,
    상기 시간적 서브 레이어에 대한 정보를 획득하는 단계는,
    상기 지시자 정보가 상기 최대 시간적 서브 레이어 정보를 조절하지 않는 것으로 지시하는 경우, 각 계층에 대해 상기 최대 시간적 서브 레이어 정보를 최대 시간 레벨 값 7로 유추하는 것을 특징으로 하는 인터 레이어 예측 방법.
  4. 제1항에 있어서,
    상기 현재 픽처의 인터 레이어 예측을 위해 사용되는 상기 참조 픽처를 유도하는 단계는,
    각 계층마다 상기 최대 시간적 서브 레이어 정보가 지시하는 최대 시간적 서브 레이어 보다 크거나 같은 시간적 서브 레이어에 해당하는 픽처들에 대해서 상기 현재 픽처의 인터 레이어 예측을 위한 참조 픽처로 사용되지 않는 것으로 판단하는 것을 특징으로 하는 인터 레이어 예측 방법.
  5. 제1항에 있어서,
    상기 현재 픽처의 인터 레이어 예측을 위해 사용되는 상기 참조 픽처를 유도하는 단계는,
    각 계층마다 상기 최대 시간적 서브 레이어 정보가 지시하는 최대 시간적 서브 레이어 보다 작은 시간적 서브 레이어에 해당하는 픽처들에 대해서 상기 현재 픽처의 인터 레이어 예측을 위한 참조 픽처로 사용 가능한 것으로 판단하는 것을 특징으로 하는 인터 레이어 예측 방법.
  6. 제1항에 있어서,
    상기 시간적 서브 레이어에 대한 정보는 VPS(Video Parameter Sets) 확장(extention) 신택스(syntax)를 통해 시그널링되는 것을 특징으로 하는 인터 레이어 예측 방법.
  7. 적어도 하나의 시간적 서브 레이어(temporal sub-layer)를 포함하는 계층이 복수 개로 구성된 영상의 인터 레이어 예측(inter-layer prediction) 장치에 있어서,
    인터 레이어 예측을 위한 시간적 서브 레이어에 대한 정보를 획득하는 엔트로피 복호화부; 및
    상기 시간적 서브 레이어에 대한 정보를 기반으로 현재 픽처의 인터 레이어 예측을 위해 사용되는 참조 픽처를 유도하고, 상기 참조 픽처를 기반으로 상기 현재 픽처의 인터 레이어 예측을 수행하는 예측부를 포함하며,
    상기 시간적 서브 레이어에 대한 정보는,
    각 계층에서 인터 레이어 예측을 위해 참조될 수 있는 최대 시간적 서브 레이어를 지시하는 최대 시간적 서브 레이어 정보와,
    각 계층에서 상기 최대 시간적 서브 레이어 정보를 조절할지 여부를 나타내는 지시자 정보를 포함하는 것을 특징으로 하는 인터 레이어 예측 장치.
  8. 제7항에 있어서,
    상기 엔트로피 복호화부는,
    상기 지시자 정보가 상기 최대 시간적 서브 레이어 정보를 조절하는 것으로 지시하는 경우, 각 계층에 대해 상기 최대 시간적 서브 레이어 정보를 획득하는 것을 특징으로 하는 인터 레이어 예측 장치.
  9. 제7항에 있어서,
    상기 엔트로피 복호화부는,
    상기 지시자 정보가 상기 최대 시간적 서브 레이어 정보를 조절하지 않는 것으로 지시하는 경우, 각 계층에 대해 상기 최대 시간적 서브 레이어 정보를 최대 시간 레벨 값 7로 유추하는 것을 특징으로 하는 인터 레이어 예측 장치.
  10. 제7항에 있어서,
    상기 예측부는,
    각 계층마다 상기 최대 시간적 서브 레이어 정보가 지시하는 최대 시간적 서브 레이어 보다 크거나 같은 시간적 서브 레이어에 해당하는 픽처들에 대해서 상기 현재 픽처의 인터 레이어 예측을 위한 참조 픽처로 사용되지 않는 것으로 판단하는 것을 특징으로 하는 인터 레이어 예측 장치.
  11. 제7항에 있어서,
    상기 예측부는,
    각 계층마다 상기 최대 시간적 서브 레이어 정보가 지시하는 최대 시간적 서브 레이어 보다 작은 시간적 서브 레이어에 해당하는 픽처들에 대해서 상기 현재 픽처의 인터 레이어 예측을 위한 참조 픽처로 사용 가능한 것으로 판단하는 것을 특징으로 하는 인터 레이어 예측 장치.
  12. 제7항에 있어서,
    상기 시간적 서브 레이어에 대한 정보는 VPS(Video Parameter Sets) 확장(extention) 신택스(syntax)를 통해 시그널링되는 것을 특징으로 하는 인터 레이어 예측 장치.
PCT/KR2014/006401 2013-07-15 2014-07-15 시간적 서브 레이어 정보에 기반한 인터 레이어 예측 방법 및 장치 WO2015009036A1 (ko)

Priority Applications (8)

Application Number Priority Date Filing Date Title
CN202010805133.1A CN112243128B (zh) 2013-07-15 2014-07-15 层间预测方法和传输比特流的方法
US14/650,673 US9838702B2 (en) 2013-07-15 2014-07-15 Method and apparatus for predicting inter-layer based on temporal sub-layer information
EP14825652.2A EP3024237B1 (en) 2013-07-15 2014-07-15 Method and apparatus for predicting inter-layer based on temporal sub-layer information
JP2016527928A JP6725415B2 (ja) 2013-07-15 2014-07-15 時間的サブレイヤー情報に基づいたインターレイヤー予測方法及び装置
CN201480006735.3A CN104982037B (zh) 2013-07-15 2014-07-15 用于基于时间子层信息的层间预测的方法和设备
EP21178680.1A EP3913920A1 (en) 2013-07-15 2014-07-15 Method and apparatus for predicting inter-layer based on temporal sub-layer information
US15/799,803 US10397589B2 (en) 2013-07-15 2017-10-31 Method and apparatus for predicting inter-layer based on temporal sub-layer information
US16/509,299 US10924752B2 (en) 2013-07-15 2019-07-11 Method and apparatus for predicting inter-layer based on temporal sub-layer information

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
KR10-2013-0082813 2013-07-15
KR20130082813 2013-07-15
KR10-2014-0030739 2014-03-17
KR20140030739A KR20150009424A (ko) 2013-07-15 2014-03-17 시간적 서브 레이어 정보에 기반한 계층간 예측을 이용한 영상 부, 복호화 방법 및 그 장치
KR10-2014-0089177 2014-07-15
KR1020140089177A KR102219842B1 (ko) 2013-07-15 2014-07-15 시간적 서브 레이어 정보에 기반한 인터 레이어 예측 방법 및 장치

Related Child Applications (2)

Application Number Title Priority Date Filing Date
US14/650,673 A-371-Of-International US9838702B2 (en) 2013-07-15 2014-07-15 Method and apparatus for predicting inter-layer based on temporal sub-layer information
US15/799,803 Continuation US10397589B2 (en) 2013-07-15 2017-10-31 Method and apparatus for predicting inter-layer based on temporal sub-layer information

Publications (1)

Publication Number Publication Date
WO2015009036A1 true WO2015009036A1 (ko) 2015-01-22

Family

ID=52572663

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2014/006401 WO2015009036A1 (ko) 2013-07-15 2014-07-15 시간적 서브 레이어 정보에 기반한 인터 레이어 예측 방법 및 장치

Country Status (6)

Country Link
US (3) US9838702B2 (ko)
EP (2) EP3024237B1 (ko)
JP (2) JP6725415B2 (ko)
KR (3) KR20150009424A (ko)
CN (2) CN112243128B (ko)
WO (1) WO2015009036A1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016171528A1 (ko) * 2015-04-23 2016-10-27 엘지전자 주식회사 방송 신호 송신 장치, 방송 신호 수신 장치, 방송 신호 송신 방법, 및 방송 신호 수신 방법
JP2016538756A (ja) * 2013-10-11 2016-12-08 シャープ株式会社 符号化のための情報のシグナリング

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150009424A (ko) * 2013-07-15 2015-01-26 한국전자통신연구원 시간적 서브 레이어 정보에 기반한 계층간 예측을 이용한 영상 부, 복호화 방법 및 그 장치
KR20150029592A (ko) 2013-09-10 2015-03-18 주식회사 케이티 스케일러블 비디오 신호 인코딩/디코딩 방법 및 장치
US9591324B2 (en) * 2013-10-14 2017-03-07 Qualcomm Incorporated Systems and methods for separately defining dependencies for sub-layer based inter-layer prediction
JP5886341B2 (ja) * 2014-03-07 2016-03-16 ソニー株式会社 送信装置、送信方法、受信装置および受信方法
WO2016180486A1 (en) * 2015-05-12 2016-11-17 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Composite scalable video streaming
GB2538531A (en) * 2015-05-20 2016-11-23 Nokia Technologies Oy An apparatus, a method and a computer program for video coding and decoding
KR102531386B1 (ko) * 2016-10-04 2023-05-12 주식회사 비원영상기술연구소 영상 데이터 부호화/복호화 방법 및 장치
CA3155739A1 (en) * 2019-09-24 2021-04-01 Fraunhofer-Gesellschaft Zur Forderung Der Angewandten Forschung E.V. Encoder, decoder and data stream for gradual decoder refresh coding and scalable coding
AU2020321174A1 (en) 2019-10-07 2022-04-28 Huawei Technologies Co., Ltd. DPB size based reference picture entry constraints
CN118476229A (zh) * 2021-12-29 2024-08-09 Oppo广东移动通信有限公司 基于层和基于时域子层的编码

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060063532A (ko) * 2004-12-03 2006-06-12 삼성전자주식회사 다 계층 기반의 비디오 인코딩 방법, 디코딩 방법 및 상기방법을 이용한 장치
US20090168875A1 (en) * 2006-01-09 2009-07-02 Seung Wook Park Inter-Layer Prediction Method for Video Signal
US20120183076A1 (en) * 2011-01-14 2012-07-19 Jill Boyce High layer syntax for temporal scalability
US20120269276A1 (en) * 2011-01-14 2012-10-25 Vidyo, Inc. Nal unit header
KR20130037193A (ko) * 2011-10-05 2013-04-15 한국전자통신연구원 스케일러블 비디오 부호화 및 복호화 방법과 이를 이용한 장치

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20070074453A (ko) * 2006-01-09 2007-07-12 엘지전자 주식회사 영상 신호의 인코딩 및 디코딩 방법
AU2012225513B2 (en) 2011-03-10 2016-06-23 Vidyo, Inc. Dependency parameter set for scalable video coding
CN109982078B (zh) * 2012-12-14 2023-03-28 Lg 电子株式会社 编码视频的方法、解码视频的方法以及使用其的装置
EP2982123A4 (en) * 2013-04-05 2016-09-07 Sharp Kk DECODING INTERMEDIATE REFERENCE IMAGE SETS AND CONSTRUCTING REFERENCE PICTURES
US9674522B2 (en) * 2013-04-08 2017-06-06 Qualcomm Incorporated Device and method for scalable coding of video information
KR20150009424A (ko) 2013-07-15 2015-01-26 한국전자통신연구원 시간적 서브 레이어 정보에 기반한 계층간 예측을 이용한 영상 부, 복호화 방법 및 그 장치
EP3076676B1 (en) * 2013-12-01 2019-05-01 Lg Electronics Inc. Method and device for transmitting and receiving broadcast signal for providing trick play service

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060063532A (ko) * 2004-12-03 2006-06-12 삼성전자주식회사 다 계층 기반의 비디오 인코딩 방법, 디코딩 방법 및 상기방법을 이용한 장치
US20090168875A1 (en) * 2006-01-09 2009-07-02 Seung Wook Park Inter-Layer Prediction Method for Video Signal
US20120183076A1 (en) * 2011-01-14 2012-07-19 Jill Boyce High layer syntax for temporal scalability
US20120269276A1 (en) * 2011-01-14 2012-10-25 Vidyo, Inc. Nal unit header
KR20130037193A (ko) * 2011-10-05 2013-04-15 한국전자통신연구원 스케일러블 비디오 부호화 및 복호화 방법과 이를 이용한 장치

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3024237A4 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016538756A (ja) * 2013-10-11 2016-12-08 シャープ株式会社 符号化のための情報のシグナリング
WO2016171528A1 (ko) * 2015-04-23 2016-10-27 엘지전자 주식회사 방송 신호 송신 장치, 방송 신호 수신 장치, 방송 신호 송신 방법, 및 방송 신호 수신 방법
US10412422B2 (en) 2015-04-23 2019-09-10 Lg Electronics Inc. Apparatus for transmitting broadcasting signal, apparatus for receiving broadcasting signal, method for transmitting broadcasting signal, and method for receiving broadcasting signal

Also Published As

Publication number Publication date
US20180054625A1 (en) 2018-02-22
CN104982037A (zh) 2015-10-14
KR20210024510A (ko) 2021-03-05
US10924752B2 (en) 2021-02-16
JP7171654B2 (ja) 2022-11-15
CN112243128B (zh) 2024-04-02
EP3024237A1 (en) 2016-05-25
CN112243128A (zh) 2021-01-19
EP3024237B1 (en) 2021-09-08
JP2016528806A (ja) 2016-09-15
JP2020167733A (ja) 2020-10-08
KR20150009472A (ko) 2015-01-26
CN104982037B (zh) 2020-09-04
KR20150009424A (ko) 2015-01-26
EP3913920A1 (en) 2021-11-24
US10397589B2 (en) 2019-08-27
JP6725415B2 (ja) 2020-07-15
US20160119632A1 (en) 2016-04-28
KR102273183B1 (ko) 2021-07-05
US9838702B2 (en) 2017-12-05
EP3024237A4 (en) 2016-12-21
US20190335185A1 (en) 2019-10-31
KR102219842B1 (ko) 2021-02-25

Similar Documents

Publication Publication Date Title
WO2015009036A1 (ko) 시간적 서브 레이어 정보에 기반한 인터 레이어 예측 방법 및 장치
WO2013157826A1 (ko) 영상 정보 디코딩 방법, 영상 디코딩 방법 및 이를 이용하는 장치
WO2017082443A1 (ko) 영상 코딩 시스템에서 임계값을 이용한 적응적 영상 예측 방법 및 장치
WO2014171713A1 (ko) 인트라 예측을 이용한 비디오 부호화/복호화 방법 및 장치
WO2014010943A1 (ko) 영상 부호화/복호화 방법 및 장치
WO2020050702A1 (ko) 다중 변환 커널을 사용하는 비디오 신호 처리 방법 및 장치
WO2014084656A1 (ko) 복수의 레이어를 지원하는 영상 부호화/복호화 방법 및 장치
WO2015012600A1 (ko) 영상 부호화/복호화 방법 및 장치
WO2015056941A1 (ko) 다계층 기반의 영상 부호화/복호화 방법 및 장치
WO2020130600A1 (ko) 예측 모드를 시그널링하는 비디오 신호 처리 방법 및 장치
WO2020231139A1 (ko) 루마 맵핑 및 크로마 스케일링 기반 비디오 또는 영상 코딩
WO2013162249A1 (ko) 비디오 인코딩 방법, 비디오 디코딩 방법 및 이를 이용하는 장치
WO2020204419A1 (ko) 적응적 루프 필터 기반 비디오 또는 영상 코딩
WO2020180143A1 (ko) 루마 맵핑 및 크로마 스케일링 기반 비디오 또는 영상 코딩
WO2020180122A1 (ko) 조건적으로 파싱되는 alf 모델 및 리셰이핑 모델 기반 비디오 또는 영상 코딩
WO2014038905A2 (ko) 영상 복호화 방법 및 이를 이용하는 장치
WO2014051372A1 (ko) 영상 복호화 방법 및 이를 이용하는 장치
WO2021066618A1 (ko) 변환 스킵 및 팔레트 코딩 관련 정보의 시그널링 기반 영상 또는 비디오 코딩
WO2020141833A1 (ko) 영상 복호화 방법, 영상 부호화 방법, 영상 복호화 장치, 영상 부호화 장치 및 컴퓨터 판독 가능한 기록 매체
WO2014007514A1 (ko) 영상 디코딩 방법 및 이를 이용하는 장치
WO2021251744A1 (ko) Aps에 대한 식별자를 시그널링하는 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 컴퓨터 판독 가능한 기록 매체
WO2021201513A1 (ko) Sps 내 ptl, dpb 및 hrd 관련 정보를 시그널링하는 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 컴퓨터 판독 가능한 기록 매체
WO2021125701A1 (ko) 인터 예측 기반 영상/비디오 코딩 방법 및 장치
WO2021125699A1 (ko) 영상/비디오 인코딩/디코딩 방법 및 이를 이용하는 장치
WO2013062175A1 (ko) 향상 계층에 대한 스케일러블 코딩 방법 및 장치

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 14825652

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 14650673

Country of ref document: US

ENP Entry into the national phase

Ref document number: 2016527928

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE