WO2014092407A1 - 영상의 디코딩 방법 및 이를 이용하는 장치 - Google Patents

영상의 디코딩 방법 및 이를 이용하는 장치 Download PDF

Info

Publication number
WO2014092407A1
WO2014092407A1 PCT/KR2013/011327 KR2013011327W WO2014092407A1 WO 2014092407 A1 WO2014092407 A1 WO 2014092407A1 KR 2013011327 W KR2013011327 W KR 2013011327W WO 2014092407 A1 WO2014092407 A1 WO 2014092407A1
Authority
WO
WIPO (PCT)
Prior art keywords
slice
header
information
flag
bits
Prior art date
Application number
PCT/KR2013/011327
Other languages
English (en)
French (fr)
Inventor
헨드리헨드리
박준영
김철근
전병문
김정선
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority to KR1020147022741A priority Critical patent/KR101614361B1/ko
Priority to US14/377,042 priority patent/US9621906B2/en
Priority to EP13862098.4A priority patent/EP2930936A4/en
Priority to CN201380011238.8A priority patent/CN104137561B/zh
Publication of WO2014092407A1 publication Critical patent/WO2014092407A1/ko
Priority to US15/445,290 priority patent/US10015501B2/en
Priority to US16/001,589 priority patent/US10298940B2/en
Priority to US16/381,051 priority patent/US10666958B2/en
Priority to US16/854,093 priority patent/US10972743B2/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/184—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/20—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding
    • H04N19/29—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding involving scalability at the object level, e.g. video object layer [VOL]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/48—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using compressed domain processing techniques other than decoding, e.g. modification of transform coefficients, variable length coding [VLC] data or run-length data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/573—Motion compensation with multiple frame prediction using two or more reference frames in a given prediction direction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/258—Client or end-user data management, e.g. managing client capabilities, user preferences or demographics, processing of multiple end-users preferences to derive collaborative data
    • H04N21/25808—Management of client data
    • H04N21/25825—Management of client data involving client display capabilities, e.g. screen resolution of a mobile phone
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0127—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level by changing the field or frame frequency of the incoming video signal, e.g. frame rate converter
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179—Video signal processing therefor
    • H04N9/3188—Scale or resolution adjustment

Definitions

  • the present invention relates to video compression techniques, and more particularly, to a method and apparatus for decoding image information in a bitstream.
  • video quality of the terminal device can be supported and the network environment is diversified, in general, video of general quality may be used in one environment, but higher quality video may be used in another environment. .
  • a consumer who purchases video content on a mobile terminal can view the same video content on a larger screen and at a higher resolution through a large display in the home.
  • UHD Ultra High Definition
  • the quality of the image for example, the image quality, the resolution of the image, the size of the image. It is necessary to provide scalability in the frame rate of video and the like. In addition, various image processing methods associated with such scalability should be discussed.
  • One embodiment of the present invention is to provide a method and apparatus for describing additional extension information indication in a bitstream supporting a hierarchical image.
  • One embodiment of the present invention is to provide a method and apparatus for expressing additional extension information and additional extension information.
  • a method of decoding an image including: receiving and parsing a parameter set including indication information indicating whether there is reserved information to be used in the future; If the indication information indicates that the reserved information is present, receiving and parsing a slide header including the reserved information; And decoding the image according to the semantics and the value corresponding to the reserved information.
  • the indication information may be included in a picture parameter set and received.
  • the indication information is information indicating the number of additional slice header bits added to include the reserved information in the slice header.
  • the additional slice header bits The number may be zero.
  • the indication information is followed by a syntax element indicating the presence of a syntax element indicating a SPS ID for an activated Sequence Parameter Set (SPS) in the picture parameter set and a flag information indicating whether a slice header is a dependent slice header. Can be signaled by location.
  • SPS Sequence Parameter Set
  • the reserved information may have as many semantics and values as the number corresponding to the number of additional slice header bits.
  • the reserved information may be received if the current slice is not a dependent slice.
  • the reserved information may be used for a multiview layer, an image supporting spatial scalability, or an image supporting 3D.
  • the indication information and the reserved information may be received in the payload of the NAL unit.
  • a method and apparatus for describing additional extension information indication in a bitstream supporting hierarchical video are provided.
  • a method and apparatus for expressing additional extension information and additional extension information are provided.
  • FIG. 1 is a block diagram schematically illustrating a video encoding apparatus according to an embodiment of the present invention.
  • FIG. 2 is a block diagram schematically illustrating a video decoding apparatus according to an embodiment of the present invention.
  • FIG. 3 is a conceptual diagram schematically illustrating an embodiment of a scalable video coding structure using multiple layers to which the present invention can be applied.
  • FIG. 4 is a diagram illustrating a hierarchical structure for coded images processed in the decoding apparatus of the present invention.
  • FIG. 5 is a diagram illustrating NAL unit header flag extension for a VCL NAL unit according to an embodiment of the present invention.
  • FIG. 6 is a diagram illustrating NAL unit header flag extension for a NON-VCL NAL unit according to an embodiment of the present invention.
  • FIG. 7 is a control block diagram illustrating an apparatus for decoding an image according to the present invention.
  • FIG. 8 is a control flowchart illustrating a decoding method of an image according to the present invention.
  • each of the components in the drawings described in the present invention are shown independently for the convenience of description of the different characteristic functions in the video encoding apparatus / decoding apparatus, each component is a separate hardware or separate software It does not mean that it is implemented.
  • two or more of each configuration may be combined to form one configuration, or one configuration may be divided into a plurality of configurations.
  • Embodiments in which each configuration is integrated and / or separated are also included in the scope of the present invention without departing from the spirit of the present invention.
  • FIG. 1 is a block diagram schematically illustrating a video encoding apparatus according to an embodiment of the present invention.
  • the video encoding / decoding method or apparatus may be implemented by an extension of a general video encoding / decoding method or apparatus that does not provide scalability, and the block diagram of FIG. 1 is based on a scalable video encoding apparatus.
  • An embodiment of a video encoding apparatus that may be represented.
  • the encoding apparatus 100 may include a picture divider 105, a predictor 110, a transformer 115, a quantizer 120, a reordering unit 125, an entropy encoding unit 130, An inverse quantization unit 135, an inverse transform unit 140, a filter unit 145, and a memory 150 are provided.
  • the picture dividing unit 105 may divide the input picture into at least one processing unit block.
  • the block as the processing unit may be a prediction unit (hereinafter referred to as a PU), a transform unit (hereinafter referred to as a TU), or a coding unit (hereinafter referred to as "CU"). It may be called.
  • the processing unit blocks divided by the picture divider 105 may have a quad-tree structure.
  • the predictor 110 includes an inter predictor for performing inter prediction and an intra predictor for performing intra prediction, as described below.
  • the prediction unit 110 generates a prediction block by performing prediction on the processing unit of the picture in the picture division unit 105.
  • the processing unit of the picture in the prediction unit 110 may be a CU, a TU, or a PU.
  • the prediction unit 110 may determine whether the prediction performed on the processing unit is inter prediction or intra prediction, and determine specific contents (eg, prediction mode, etc.) of each prediction method.
  • the processing unit in which the prediction is performed may differ from the processing unit in which specific contents of the prediction method and the prediction method are determined.
  • the method of prediction and the prediction mode may be determined in units of PUs, and the prediction may be performed in units of TUs.
  • a prediction block may be generated by performing prediction based on information of at least one picture of a previous picture and / or a subsequent picture of the current picture.
  • a prediction block may be generated by performing prediction based on pixel information in a current picture.
  • a skip mode, a merge mode, a motion vector prediction (MVP), and the like can be used.
  • a reference picture may be selected for a PU and a reference block corresponding to the PU may be selected.
  • the reference block may be selected in integer pixel units.
  • a prediction block is generated in which a residual signal with the current PU is minimized and the size of the motion vector is also minimized.
  • the prediction block may be generated in integer sample units, or may be generated in sub-pixel units such as 1/2 pixel unit or 1/4 pixel unit.
  • the motion vector may also be expressed in units of integer pixels or less.
  • the residual may be used as the reconstructed block, and thus the residual may not be generated, transformed, quantized, or transmitted.
  • a prediction mode When performing intra prediction, a prediction mode may be determined in units of PUs, and prediction may be performed in units of PUs. In addition, a prediction mode may be determined in units of PUs, and intra prediction may be performed in units of TUs.
  • the prediction mode may have 33 directional prediction modes and at least two non-directional modes.
  • the non-directional mode may include a DC prediction mode and a planner mode (Planar mode).
  • a prediction block may be generated after applying a filter to a reference sample.
  • whether to apply the filter to the reference sample may be determined according to the intra prediction mode and / or the size of the current block.
  • the PU may be a block of various sizes / types, for example, in the case of inter prediction, the PU may be a 2N ⁇ 2N block, a 2N ⁇ N block, an N ⁇ 2N block, an N ⁇ N block (N is an integer), or the like.
  • the PU In the case of intra prediction, the PU may be a 2N ⁇ 2N block or an N ⁇ N block (where N is an integer).
  • the PU of the N ⁇ N block size may be set to apply only in a specific case.
  • the NxN block size PU may be used only for the minimum size CU or only for intra prediction.
  • PUs such as N ⁇ mN blocks, mN ⁇ N blocks, 2N ⁇ mN blocks, or mN ⁇ 2N blocks (m ⁇ 1) may be further defined and used.
  • the residual value (the residual block or the residual signal) between the generated prediction block and the original block is input to the converter 115.
  • the prediction mode information, the motion vector information, etc. used for the prediction are encoded by the entropy encoding unit 130 together with the residual value and transmitted to the decoding apparatus.
  • the transform unit 115 performs transform on the residual block in units of transform blocks and generates transform coefficients.
  • the transform block is a rectangular block of samples to which the same transform is applied.
  • the transform block can be a transform unit (TU) and can have a quad tree structure.
  • the transformer 115 may perform the transformation according to the prediction mode applied to the residual block and the size of the block.
  • the residual block is transformed using a discrete sine transform (DST), otherwise the residual block is transformed into a discrete cosine transform (DCT). Can be converted using.
  • DST discrete sine transform
  • DCT discrete cosine transform
  • the transform unit 115 may generate a transform block of transform coefficients by the transform.
  • the quantization unit 120 may generate quantized transform coefficients by quantizing the residual values transformed by the transform unit 115, that is, the transform coefficients.
  • the value calculated by the quantization unit 120 is provided to the inverse quantization unit 135 and the reordering unit 125.
  • the reordering unit 125 rearranges the quantized transform coefficients provided from the quantization unit 120. By rearranging the quantized transform coefficients, the encoding efficiency of the entropy encoding unit 130 may be increased.
  • the reordering unit 125 may rearrange the quantized transform coefficients in the form of a 2D block into a 1D vector form through a coefficient scanning method.
  • the entropy encoding unit 130 may perform entropy encoding on the quantized transform coefficients rearranged by the reordering unit 125.
  • Entropy encoding may include, for example, encoding methods such as Exponential Golomb, Context-Adaptive Variable Length Coding (CAVLC), and Context-Adaptive Binary Arithmetic Coding (CABAC).
  • the entropy encoding unit 130 may include quantized transform coefficient information, block type information, prediction mode information, partition unit information, PU information, transmission unit information, and motion vector of the CUs received from the reordering unit 125 and the prediction unit 110.
  • Various information such as information, reference picture information, interpolation information of a block, and filtering information may be encoded.
  • the entropy encoding unit 130 may apply a constant change to a parameter set or syntax to be transmitted.
  • the inverse quantizer 135 inversely quantizes the quantized values (quantized transform coefficients) in the quantizer 120, and the inverse transformer 140 inversely transforms the inverse quantized values in the inverse quantizer 135.
  • the reconstructed block may be generated by combining the residual values generated by the inverse quantizer 135 and the inverse transform unit 140 and the prediction blocks predicted by the prediction unit 110.
  • a reconstructed block is generated by adding a residual block and a prediction block through an adder.
  • the adder may be viewed as a separate unit (restore block generation unit) for generating a reconstruction block.
  • the filter unit 145 may apply a deblocking filter, an adaptive loop filter (ALF), and a sample adaptive offset (SAO) to the reconstructed picture.
  • ALF adaptive loop filter
  • SAO sample adaptive offset
  • the deblocking filter may remove distortion generated at the boundary between blocks in the reconstructed picture.
  • the adaptive loop filter may perform filtering based on a value obtained by comparing the reconstructed image with the original image after the block is filtered through the deblocking filter. ALF may be performed only when high efficiency is applied.
  • the SAO restores the offset difference from the original image on a pixel-by-pixel basis to the residual block to which the deblocking filter is applied, and is applied in the form of a band offset and an edge offset.
  • the filter unit 145 may not apply filtering to the reconstructed block used for inter prediction.
  • the memory 150 may store the reconstructed block or the picture calculated by the filter unit 145.
  • the reconstructed block or picture stored in the memory 150 may be provided to the predictor 110 that performs inter prediction.
  • FIG. 2 is a block diagram schematically illustrating a video decoding apparatus according to an embodiment of the present invention.
  • the scalable video encoding / decoding method or apparatus may be implemented by extension of a general video encoding / decoding method or apparatus that does not provide scalability, and the block diagram of FIG. 2 shows scalable video decoding.
  • FIG. 2 shows scalable video decoding.
  • the video decoding apparatus 200 includes an entropy decoding unit 210, a reordering unit 215, an inverse quantization unit 220, an inverse transform unit 225, a prediction unit 230, and a filter unit 235.
  • Memory 240 may be included.
  • the input bitstream may be decoded according to a procedure in which image information is processed in the video encoding apparatus.
  • VLC variable length coding
  • 'VLC' variable length coding
  • CABAC CABAC
  • Information for generating the prediction block among the information decoded by the entropy decoding unit 210 is provided to the predictor 230, and a residual value where entropy decoding is performed by the entropy decoding unit 210, that is, a quantized transform coefficient It may be input to the reordering unit 215.
  • the reordering unit 215 may reorder the information of the bitstream entropy decoded by the entropy decoding unit 210, that is, the quantized transform coefficients, based on the reordering method in the encoding apparatus.
  • the reordering unit 215 may reorder the coefficients expressed in the form of a one-dimensional vector by restoring the coefficients in the form of a two-dimensional block.
  • the reordering unit 215 may generate an array of coefficients (quantized transform coefficients) in the form of a 2D block by scanning coefficients based on the prediction mode applied to the current block (transform block) and the size of the transform block.
  • the inverse quantization unit 220 may perform inverse quantization based on the quantization parameter provided by the encoding apparatus and the coefficient values of the rearranged block.
  • the inverse transform unit 225 may perform inverse DCT and / or inverse DST on the DCT and the DST performed by the transform unit of the encoding apparatus with respect to the quantization result performed by the video encoding apparatus.
  • the inverse transformation may be performed based on a transmission unit determined by the encoding apparatus or a division unit of an image.
  • the DCT and / or DST in the encoding unit of the encoding apparatus may be selectively performed according to a plurality of pieces of information, such as a prediction method, a size and a prediction direction of the current block, and the inverse transformer 225 of the decoding apparatus may be Inverse transformation may be performed based on the performed transformation information.
  • the prediction unit 230 may generate the prediction block based on the prediction block generation related information provided by the entropy decoding unit 210 and the previously decoded block and / or picture information provided by the memory 240.
  • intra prediction for generating a prediction block based on pixel information in the current picture may be performed.
  • inter prediction on the current PU may be performed based on information included in at least one of a previous picture or a subsequent picture of the current picture.
  • motion information required for inter prediction of the current PU provided by the video encoding apparatus for example, a motion vector, a reference picture index, and the like, may be derived by checking a skip flag, a merge flag, and the like received from the encoding apparatus.
  • the reconstruction block may be generated using the prediction block generated by the predictor 230 and the residual block provided by the inverse transform unit 225.
  • FIG. 2 it is described that the reconstructed block is generated by combining the prediction block and the residual block in the adder.
  • the adder may be viewed as a separate unit (restore block generation unit) for generating a reconstruction block.
  • the residual is not transmitted and the prediction block may be a reconstruction block.
  • the reconstructed block and / or picture may be provided to the filter unit 235.
  • the filter unit 235 may apply deblocking filtering, sample adaptive offset (SAO), and / or ALF to the reconstructed block and / or picture.
  • SAO sample adaptive offset
  • the memory 240 may store the reconstructed picture or block to use as a reference picture or reference block and provide the reconstructed picture to the output unit.
  • Components directly related to the decoding of an image for example, an entropy decoding unit 210, a reordering unit 215, an inverse quantization unit 220, an inverse transform unit 225, a prediction unit 230, and a filter unit ( 235) and the like may be distinguished from other components by a decoder or a decoder.
  • the decoding apparatus 200 may further include a parsing unit (not shown) which parses information related to an encoded image included in the bitstream.
  • the parsing unit may include the entropy decoding unit 210 or may be included in the entropy decoding unit 210. Such a parser may also be implemented as one component of the decoder.
  • FIG. 3 is a conceptual diagram schematically illustrating an embodiment of a scalable video coding structure using multiple layers to which the present invention can be applied.
  • a GOP Group of Picture
  • FIG. 3 a GOP (Group of Picture) represents a picture group, that is, a group of pictures.
  • a transmission medium In order to transmit image data, a transmission medium is required, and its performance varies depending on the transmission medium according to various network environments.
  • a scalable video coding method may be provided for application to such various transmission media or network environments.
  • the scalable video coding method is a coding method that improves encoding and decoding performance by removing redundancy between layers by using texture information, motion information, and residual signals between layers.
  • the scalable video coding method may provide various scalability in terms of spatial, temporal, and image quality according to ambient conditions such as a transmission bit rate, a transmission error rate, and a system resource.
  • Scalable video coding may be performed using multiple layers structure to provide a bitstream applicable to various network situations.
  • the scalable video coding structure may include a base layer that compresses and processes image data using a general image decoding method, and compresses the image data using both the decoding information of the base layer and a general image decoding method. May include an enhancement layer for processing.
  • the layer is an image and a bit divided based on spatial (eg, image size), temporal (eg, decoding order, image output order, frame rate), image quality, complexity, and the like.
  • the base layer may mean a reference layer or a base layer
  • the enhancement layer may mean an enhancement layer.
  • the plurality of layers may have a dependency between each other.
  • the base layer may be defined as a standard definition (SD), a frame rate of 15 Hz, and a 1 Mbps bit rate
  • the first enhancement layer may be a high definition (HD), a frame rate of 30 Hz, and a 3.9 Mbps bit rate
  • the second enhancement layer may be defined as an ultra high definition (4K-UHE), a frame rate of 60 Hz, and a bit rate of 27.2 Mbps.
  • 4K-UHE ultra high definition
  • the format, frame rate, bit rate, etc. are exemplary and may be determined differently as necessary.
  • the number of hierarchies used is not limited to this embodiment and may be determined differently according to a situation.
  • the frame rate of the first enhancement layer HD may be reduced and transmitted at 15 Hz or less.
  • the scalable video coding method can provide temporal, spatial and image quality scalability by the method described above in the embodiment of FIG. 3.
  • Scalable video coding has the same meaning as scalable video encoding from an encoding point of view and scalable video decoding from a decoding point of view.
  • a bitstream including a plurality of layers is composed of Network Abstraction Layer (NAL) units that facilitate the adaptive transmission of video through a packet-switching network.
  • NAL Network Abstraction Layer
  • the relationship between the plurality of viewpoints is a spatial layer in video supporting the plurality of layers. Similar to the relationship between.
  • FIG. 4 is a diagram illustrating a hierarchical structure of coded images processed by a decoding apparatus.
  • a coded picture is divided into a network abstraction layer (NAL) between a video coding layer (VCL) that handles decoding of the picture and itself, and a subsystem that transmits and stores coded information. It is.
  • NAL network abstraction layer
  • VCL video coding layer
  • the NAL unit which is a basic unit of the NAL, serves to map a coded image to a bit string of a subsystem such as a file format, a real-time transport protocol (RTP), or the like according to a predetermined standard.
  • a subsystem such as a file format, a real-time transport protocol (RTP), or the like
  • the VCL is a parameter set (picture parameter set, sequence parameter set, video parameter set) corresponding to a header such as a sequence and a picture, and a Supplemental Enhancement Information (SEI) message additionally necessary for the decoding process of the image. It is separated from (slice data).
  • SEI Supplemental Enhancement Information
  • a VCL with information about an image consists of slice data and a slice header.
  • the NAL unit consists of two parts: a NAL unit header and a raw byte sequence payload (RBSP) generated in the VCL.
  • the NAL unit header includes information on the type of the corresponding NAL unit.
  • the NAL unit is divided into a VCL NAL unit and a non-VCL NAL unit according to the RBSP generated in the VCL.
  • the VCL NAL unit refers to a NAL unit containing information about an image
  • the non-VCL NAL unit represents a NAL unit including information (a parameter set or an SEI message) necessary for decoding the image.
  • the VCL NAL unit may be divided into various types according to the nature and type of pictures included in the corresponding NAL unit.
  • the present invention relates to a method for effectively describing scalability information of an image in a bitstream capable of supporting a plurality of layers, to signaling the same, and an apparatus for implementing the same.
  • bitstream is divided into two types for convenience of description. If the bitstream supports only temporal scalability, express it as a base type, and if the bitstream can have scalability to support space / quality / time including time, extended type).
  • the length of the NAL unit header has a fixed length of 2 bytes, that is, 16 bits.
  • Table 1 shows the syntax elements for the NAL unit header.
  • forbidden_zero_bit should be 0 among the information included in the NAL unit header.
  • nal_unit_type means the data structure of the RBSP included in the corresponding NAL unit. There are a plurality of types according to the data structure of the RBSP.
  • nuh_reserved_zero_6bits is information that can be utilized in an extension type that supports scalability, such as a 3D video coding extension type, and is used to identify additional layers present in a coded video sequence (CVS).
  • the layer may be a spatially scalable layer, a quality scalable layer, a texture view, a depth view, or the like.
  • nuh_reserved_zero_6bits becomes 0 and may be used to determine the amount of data included in the decoding unit of the bitstream.
  • a value specified by nuh_temporal_id_plus1 means an identifier of a temporal layer for a NAL unit.
  • the temporal layer refers to a layer of a temporally scalable bitstream composed of VCL NAL units, and the temporal layer has a specific temporal_id value.
  • the design structure of the NAL unit header shown in Table 1 for expressing an extended version of a plurality of layer pictures based on video coding for a single layer is very limited. In addition, only minimal changes are allowed in the NAL unit header shown in Table 1.
  • the basic type bitstream For the basic type bitstream, only temporal scalability is supported, which is described by the temporal_id syntax.
  • information such as layer information or dependency should be included in the NAL unit header, and nuh_reserved_zero_6bits, which was not used in the basic type, is used to transmit such information.
  • nuh_reserved_zero_6bits For example, in case of an image supporting multiple layers such as scalable extension or 3D image extension, 'nuh_reserved_zero_6bits' may be used to identify a layer of the NAL unit.
  • nuh_reserved_zero_6bits may not be enough to transmit all the information required by the extended type.
  • additional information, indicators, flags, etc. must be signaled inevitably at the NAL unit header level / transport layer level.
  • indication information indicating whether a slice / picture of a current NAL unit payload is required for a prediction of a slice / picture in a higher layer, that is, a higher scalability layer, a slice / picture of a current NAL unit payload
  • Indication information indicating whether the slice / picture of another viewpoint layer is required for prediction, and whether slice / picture of the current NAL unit payload is required for the prediction of slice / picture having the same scalability required for higher layer / other viewpoint layer. Indicative information and the like must be signaled.
  • the final semantics have not yet been determined for some reserved flags for extended types, for example syntax elements such as slice_reserved_undetermined_flag [i].
  • the reserved flag means reserved information that is not currently specified for use in a future extension type, and may have semantics and values corresponding to the information to be signaled. That is, the reserved flag does not mean flag information meaning true or false, but means additional bits for signaling additional information.
  • signaling of a reserved flag that is not signaled in the NAL unit header that is, a flag for an extension type, will be described using an expression of NAL unit header flag extension.
  • NAL unit header flag extension may be used to mean that the process of parsing and decoding the reserved flag is extended.
  • slice_reserved_undetermined_flag [i] pending flags such as the current slice_reserved_undetermined_flag [i] are signaled too far from the beginning of the slice header, making it difficult to find, parse, and detect flags at the application stage.
  • slice_reserved_undetermined_flag [i] since slice_reserved_undetermined_flag [i] may or may not exist, it is signaled after other syntax elements that may cause difficulty in determining the exact position of the flag, thus making it difficult to process the reserved flag.
  • reserved flags such as slice_reserved_undetermined_flag [i] have difficulty accepting the idea of NAL unit header flag extensions.
  • the following embodiments according to the present invention contemplate modifications to the signaling of 'slice_reserved_undetermined_flag [i]' to accommodate the idea of NAL unit header flag extension. That is, the present invention proposes an extension of the NAL unit header flag by extending the space of the NAL unit header, and thus more information / indicator can be accommodated.
  • FIG. 5 and 6 illustrate a concept of NAL unit header flag extension according to an embodiment of the present invention.
  • FIG. 5 shows NAL unit header flag extensions for VCL NAL units containing information about a picture
  • FIG. 6 shows a NON-VCL NAL unit as information (parameter set or SEI message) needed to decode the picture.
  • the NAL unit header has a fixed number of bits of 2 bytes, and the NAL unit payload signaled following the NAL unit header is divided into a slice header and a slice payload in the case of a VCL NAL unit.
  • the NAL unit payload signaled following the NAL unit header is divided into a slice header and a slice payload in the case of a VCL NAL unit.
  • a NON-VCL NAL unit it consists of a parameter set payload.
  • NAL unit header flag extension The concept of the NAL unit header flag extension according to the present invention can be expressed as follows with reference to FIGS. 5 and 6.
  • the NAL unit payload for the VCL includes a slice header and a slice payload.
  • the extended flag of the NAL unit header flag extension substantially belongs to or is part of a slice header.
  • the extended flag may include a reserved flag.
  • the extended flag of the NAL unit header flag extension is signaled at the earliest possible position in the slice header. At this time, the extended flag of the NAL unit header flag extension does not need to start from the first bit of the slice header.
  • Information indicating whether or not extended flags are present in the slice header such as a Video Parameter Set (VPS) or a Sequence Parameter Set (SPS) or a Picture Parameter Set (PPS); It may be information included in the parameter set. However, this matter about the parameter set including the indication information may be selectively applied.
  • VPS Video Parameter Set
  • SPS Sequence Parameter Set
  • PPS Picture Parameter Set
  • PPS Picture Parameter Set
  • signaling of an extended flag that is, a reserved flag may be divided into two parts.
  • the first part is a signaling structure for indicating whether to expand the NAL unit header flag as shown in FIG. 5, and this indication information may be signaled by being included in one of a parameter set such as VPS or SPS or PPS.
  • the second part is a structure for signaling the NAL unit header flag extension in the slice header.
  • the first part may signal whether or not a reserved flag exists, and the second part may signal a reserved flag.
  • a plurality of options may be applied to the two parts, and the options of the first part may be combined with the options of the second part.
  • the opposite may also apply.
  • Part 1 Signaling structure for indication of NAL unit header flag extension
  • the indication information on whether the NAL unit header flag extension is present may be signaled by a syntax element called num_extra_slice_header_bits indicating NAL unit header flag extension, that is, how many bits are extended in the slice header.
  • num_extra_slice_header_bits means the number of additional slice header bits that may exist in the slice header RBSP for the coded picture.
  • number of additional bits (num_extra_slice_header_bits) is set to 0, it is interpreted that no additional bits are signaled in the slice header. In other words, it can be interpreted that there is no NAL unit header flag extension, i.e., no reserved flag exists.
  • the additional number of bits can be limited to a specific value and can be clearly defined to be easily parsed. For example, three bits may be given, such as u (3).
  • num_extra_slice_header_bits can be signaled in the PPS, and can be arranged in the fastest possible position of the PPS.
  • num_extra_slice_header_bits may be signaled immediately after signaling of the SPS ID in the PPS or immediately after dependent_slice_segments_enabled_flag in the PPS.
  • the num_extra_slice_header_bits value should have the same value in all PPSs of the same sequence.
  • pic_parameter_set_id indicates a PPS ID for identifying a PPS referred to by another syntax element.
  • seq_parameter_set_id represents an SPS ID value for an activated SPS.
  • num_extra_slice_header_bits is 0, this indicates that no additional slice header bits exist in the slice header RBSP for the coded picture referred to in the PPS. In the case of a bitstream supporting a single layer image, num_extra_slice_header_bits should be 0. Other values for num_extra_slice_header_bits are reserved for future use in extended type video.
  • dependent_slice_segments_enabled_flag 1
  • dependent_slice_segments_enabled_flag 0
  • there is no dependent_slice_segment_flag in the slice segment header for the coded picture referring to the PPS.
  • num_extra_slice_header_bits is signaled after being located after seq_parameter_set_id signaling the SPS ID.
  • num_extra_slice_header_bits is signaled after being located immediately after dependent_slice_segments_enabled_flag located after seq_parameter_set_id signaling the SPS ID.
  • num_extra_slice_header_bits may be signaled in the SPS, and may be arranged at the earliest possible position of the SPS.
  • num_extra_slice_header_bits may be included in the location of the first syntax element of the SPS, immediately after video_parameter_set_id, or immediately after sps_max_sub_layers_minus1 or signaled at sps_temporal_id_nesting_flag.
  • num_extra_slice_header_bits if num_extra_slice_header_bits is 0, it indicates that no additional slice header bits exist in the slice header RBSP for the coded picture referred to in the PPS. . Other values for num_extra_slice_header_bits are reserved for future use in extended type video.
  • video_parameter_set_id indicates a VPS ID value for an activated VPS
  • a value obtained by adding 1 to sps_max_sub_layers_minus1 indicates the maximum number of temporal sublayers that may exist in each CVS (coded video sequence) referring to the SPS.
  • sps_max_sub_layers_minus1 may have a value from 0 to 6.
  • sps_temporal_id_nesting_flag is greater than 0, this indicates whether there is an additional restriction for CVS referencing the SPS in inter prediction. If vps_temporal_id_nesting_flag is 1, sps_temporal_id_nesting_flag must be 1. If sps_max_sub_layers_minus1 is 0, sps_temporal_id_nesting_flag should be 1. sps_temporal_id_nesting_flag is a syntax element used to indicate temporal up switching. For example, switching in which the TemporalId corresponding to the temporal sublayer ID is decoded up from tIdN to tIdM larger than tIdN is always possible in CVS.
  • num_extra_slice_header_bits may be signaled as the first syntax element of the SPS.
  • num_extra_slice_header_bits may be signaled after being located immediately after video_parameter_set_id indicating a VPS ID.
  • Num_extra_slice_header_bits in Table 6 is signaled at the position immediately after sps_max_sub_layers_minus1.
  • num_extra_slice_header_bits may be signaled at the location immediately after sps_temporal_id_nesting_flag.
  • num_extra_slice_header_bits may be signaled in the VPS, and may be arranged at the earliest possible position of the VPS.
  • num_extra_slice_header_bits When num_extra_slice_header_bits is included in the VPS, it may be signaled immediately after video_parameter_set_id or signaled immediately after vps_max_sub_layers_minus1.
  • video_parameter_set_id indicates a VPS ID value referred to by other syntax elements.
  • num_extra_slice_header_bits is 0, this indicates that no additional slice header bits exist in the slice header RBSP for the coded picture referred to in the PPS. In the case of a bitstream supporting a single layer image, num_extra_slice_header_bits should be 0. Other values for num_extra_slice_header_bits are reserved for future use in extended type video.
  • a value obtained by adding 1 to vps_max_sub_layers_minus1 indicates the maximum number of temporal sublayers that may exist in the bitstream.
  • vps_max_sub_layers_minus1 may have a value from 0 to 6.
  • num_extra_slice_header_bits may be signaled after being located immediately after video_parameter_set_id indicating a VPS ID.
  • num_extra_slice_header_bits may be signaled immediately after vps_max_sub_layers_minus1.
  • the indication information of the options 1 to 3 is not included in any parameter set.
  • the decoding apparatus can obtain information on additional bits without parsing dependency of the parameter set, that is, without relying on the parsing of the parameter set.
  • first_slice_segment_in_pic_flag 1
  • first_slice_segment_in_pic_flag 0
  • no_output_of_prior_pics_flag affects the output of a previously decoded picture in a decoded picture buffer (DPB) after decoding an instantaneous decoding refresh (IDR) or broken link access (BLA) picture of a random access point picture that is not the first picture in the bitstream.
  • num_extra_slice_header_bits is 0, this indicates that no additional slice header bits exist in the slice header RBSP for the coded picture referred to in the PPS. In the case of a bitstream supporting a single layer image, num_extra_slice_header_bits should be 0. Other values for num_extra_slice_header_bits are reserved for future use in extended type video.
  • extension_flag_slice_header [i] has semantics and values reserved for future use. That is, extension_flag_slice_header [i] may have a number of semantics and values corresponding to the num_extra_slice_header_bits value as a reserved flag.
  • pic_parameter_set_id represents a value of pps_pic_parameter_set for a used PPS and may have a value from 0 to 63.
  • num_extra_slice_header_bits indicating the number of extended flags, that is, extension_flag_slice_header [i] corresponding to the reserved flag is signaled in the slice header.
  • the indication information of the options 1 to 3 is not included in any parameter set.
  • the decoding apparatus can obtain information on additional bits without parsing dependency of the parameter set, that is, without relying on the parsing of the parameter set.
  • the indication information of the options 1 to 3 is not included in any parameter set.
  • the decoding apparatus can obtain information on additional bits without parsing dependency of the parameter set, that is, without relying on the parsing of the parameter set.
  • extra_slice_header_bits_present_flag is additionally signaled.
  • extension_flag_slice_header [i] If extra_slice_header_bits_present_flag is 0, this may indicate that extension_flag_slice_header [i] does not exist. On the other hand, if extension_flag_slice_header [i] is 1, it may indicate that extension_flag_slice_header [i] exists.
  • extra_slice_header_bits_present_flag is signaled in addition to num_extra_slice_header_bits indicating the number of extended flags.
  • num_extra_slice_header_bits is signaled
  • a flag extension_flag_slice_header [i] reserved according to the number of signaled num_extra_slice_header_bits is signaled.
  • Part 2 Signaling structure for NAL unit header flag extension in slice header
  • An extended flag (pended flag) present in the slice header may be represented by the syntax element extension_flag_slice_header [i].
  • extension flag in other words, if num_extra_slice_header_bits> 0, then the extension flag should be signaled as soon as possible in the slice header. That is, the flag may be signaled at least before signaling of the PPS ID (ie pic_parameter_set_id) in the slide header.
  • syntax element extension_flag_slice_header [i] which means an extended flag
  • syntax element slice_reserved_undetermined_flag [i] or syntax element slice_reserved_ flag [i] may be signaled in another expression such as syntax element slice_reserved_undetermined_flag [i] or syntax element slice_reserved_ flag [i], and the meaning is the same.
  • the extended flag may have a plurality of options as described below with respect to the slice segment dependency.
  • the extended flag may be signaled when num_extra_slice_header_bits is greater than 0 even if there is a dependency on the slice segment.
  • Table 13 shows the syntax elements of the slice header according to this option.
  • first_slice_segment_in_pic_flag 1
  • first_slice_segment_in_pic_flag 0
  • no_output_of_prior_pics_flag affects the output of a previously decoded picture in a decoded picture buffer (DPB) after decoding an instantaneous decoding refresh (IDR) or broken link access (BLA) picture of a random access point picture that is not the first picture in the bitstream.
  • extension_flag_slice_header [i] has semantics and values reserved for future use. That is, extension_flag_slice_header [i] may have a number of semantics and values corresponding to the num_extra_slice_header_bits value as a reserved flag.
  • pic_parameter_set_id represents a value of pps_pic_parameter_set for a used PPS and may have a value from 0 to 63.
  • the slice header according to this option does not include information indicating whether or not there is a dependency on the slice segment in the current slice, and extension_flag_slice_header corresponding to the reserved flag information is signaled corresponding to only num_extra_slice_header_bits. .
  • the extended flag is signaled if num_extra_slice_header_bits is greater than 0 and the current slice has no dependency on the slice segment, ie the current slice is not a dependent slice segment.
  • information indicating whether or not the current slice is a dependent slice segment should be present at a position where it can be decoded before signaling of the extended flag.
  • extension_flag_slice_header [i] is signaled only when signaling for num_extra_slice_header_bits is present and dependent_slice_segment_flag is not 1.
  • the dependent_slice_segment_flag is a syntax element signaled by being included in the slice header. If dependent_slice_segment_flag is 1, the value of each slice segment header syntax element does not exist and these values are inferred as values of the corresponding slice segment header syntax element in the slice header.
  • the corresponding slice segment header refers to a header of an independent slice segment. In the case of a dependent slice, it may be defined to use information of an independent slice segment corresponding to an address of the independent slice.
  • dependent_slice_segment_flag 1
  • extension_flag_slice_header [i] is signaled only when signaling for num_extra_slice_header_bits is present and DependentSliceSegmentFlag is not 1.
  • DependentSliceSegmentFlag is a variable that can be set using a syntax element such as dependent_slice_segment_flag and can indicate whether the current slice is a dependent slice.
  • This option extends the signaling of options 4 to 6 of the first part, and this option proposes a multi-level structure for signaling of an extended flag (hold flag) in the slice header.
  • Table 16 shows the syntax elements of the slice header according to this option.
  • first_slice_segment_in_pic_flag 1
  • first_slice_segment_in_pic_flag 0
  • no_output_of_prior_pics_flag affects the output of a previously decoded picture in a decoded picture buffer (DPB) after decoding an instantaneous decoding refresh (IDR) or broken link access (BLA) picture of a random access point picture that is not the first picture in the bitstream.
  • extra_slice_header_bits_present_fla it may indicate that extension_flag_slice_header [i] does not exist, and if extension_flag_slice_header [i] is 1, it may indicate that extension_flag_slice_header [i] exists.
  • extension_flag_slice_header [i] has semantics and values reserved for future use. That is, extension_flag_slice_header [i] may have a number of semantics and values corresponding to the num_extra_slice_header_bits value as a reserved flag.
  • the additional number of bits for signaling the extension_flag_slice_header may be set to a predetermined value or may be determined depending on the profile definition.
  • additional_extra_slice_header_bits_present_flag is 0, it may indicate that additional_extension_flag_slice_header does not exist, and if additional_extra_slice_header_bits_present_flag is 1, it may indicate that additional_extension_flag_slice_header exists.
  • the additional_extension_flag_slice_header has the semantics and values reserved for future use.
  • the number of bits for signaling the additional_extension_flag_slice_header may be greater than zero.
  • the number of additional bits for signaling the additional_extension_flag_slice_header may be determined to a predetermined value or may be determined depending on the profile definition.
  • pic_parameter_set_id represents a value of pps_pic_parameter_set for a used PPS and may have a value from 0 to 63.
  • the slice header according to this option further includes additional information such as additional_extra_slice_header_bits_present_flag and additional_extension_flag_slice_header for reserved flag signaling.
  • This option extends the signaling of options 4 to 6 of the first part, and this option proposes a multi-level structure for signaling of an extended flag (hold flag) in the slice header. According to this option, extended flags are not signaled in dependent slice segments.
  • extension_flag_slice_header [i] is signaled only when extra_slice_header_bits_present_flag is 1 and dependent_slice_segment_flag is not 1.
  • the dependent_slice_segment_flag is a syntax element signaled by being included in the slice header. If dependent_slice_segment_flag is 1, the value of each slice segment header syntax element does not exist and these values are inferred as values of the corresponding slice segment header syntax element in the slice header. That is, if dependent_slice_segment_flag is 1, this indicates that the current slice is a dependent slice.
  • extra_slice_header_bits_present_flag is signaled only when dependent_slice_segment_flag is not 1. That is, if the current slice is a dependent slice, extension_flag_slice_header, which is a reserved flag signaled according to extra_slice_header_bits_present_flag and extra_slice_header_bits_present_fla, is not signaled.
  • NAL unit header in slice header embodiment for all positions described above with respect to the first part signaling the indication of NAL unit header flag extension and for all positions where flag or information for indicating the presence of extended flag may be present
  • the embodiments for all the options described above for the second part signaling a flag extension and for all locations where an extended flag may be present may be implemented independently of each other. Accordingly, the embodiments of the first part may be implemented in combination with each other of the embodiments of the second part.
  • FIG. 7 is a control block diagram illustrating an apparatus for decoding an image according to an embodiment of the present invention.
  • the image decoding apparatus includes a parser 710, a first layer decoder 720, and a second layer decoder 730.
  • the parsing unit 710 is a component that grasps information desired by the first layer decoding unit 720 and the second layer decoding unit 730 from the received bitstream, and may be implemented as an entropy decoding unit. .
  • the parser 710 may be included in a decoding device that substantially decodes an image or may be included in a system.
  • the parsing unit 710 parses the NAL unit payload to grasp the indication information and the held information included in the NAL unit payload.
  • the parsing unit 710 parses the indication information indicating whether the reserved information to be used in the future is present, and parses the slide header including the reserved information when the indication information indicates that the reserved information exists. That is, according to the present invention, the indication information and the reserved information are received in the payload of the NAL unit, not in the NAL unit header.
  • the indication information may be included in the picture parameter set and received.
  • the instruction information is followed by a syntax element indicating the SPS ID for the activated Sequence Parameter Set (SPS) in the parameter set and a syntax element indicating whether or not the flag information indicating whether the slice header is a dependent slice header. Can be signaled by location.
  • SPS Sequence Parameter Set
  • the indication information may be received included in a sequence parameter set or a video parameter set.
  • the indication information is included in the NON-VCL NAL unit and signaled.
  • the indication information may be information indicating the number of additional slice header bits added to include information reserved in the slice header.
  • the indication information may be signaled as a syntax element num_extra_slice_header_bits.
  • the indication information may be a flag indicating whether there is indication information such as extra_slice_header_bits_present_flag.
  • the additional slice header bits may be 0, and when the bitstream supports images of the plurality of layers, the additional slice header bits may be 1 or more.
  • the reserved information may be referred to as a reserved flag or an extended flag, and is information used for a multiview layer, an image supporting spatial scalability, or an image supporting 3D.
  • the reserved information may have as many semantics and values as the number of additional slice header bits, and may be signaled with syntax elements extension_flag_slice_header, slice_reserved_undetermined_flag, slice_reserved_flag, and the like.
  • the reserved information may be received only when the current slice is not a dependent slice.
  • the first layer decoder 720 decodes a base layer referenced to another layer
  • the second layer decoder 730 refers to the base layer and refers to a higher layer. Can be decoded.
  • the first layer decoder 720 and the second layer decoder 730 may be embodied by one chip or both, and are illustrated as functionally divided in the drawings, and the scope of rights of the drawings is not limited. .
  • the indication information and the reserved information will not be activated.
  • the reserved information may exist.
  • the bitstream is a multiview layer, an image supporting spatial scalability, or an image supporting 3D, the reserved information is stored. Can be used.
  • the second layer decoder 730 may decode the higher layer image based on the semantics and the value of the reserved information.
  • FIG. 8 is a control flowchart illustrating a decoding method of an image according to the present invention.
  • the decoding apparatus receives and parses a parameter set including indication information indicating whether there is reserved information to be used in the future (S810).
  • the indication information may be received as being included in the picture parameter set and may be signaled as information indicating the number of additional slice header bits added to include information held in the slice header.
  • the number of additional slice header bits is zero.
  • the indication information may be signaled with the front side positioned in the picture parameter set.
  • the instruction information may include a syntax element indicating an SPS ID for an activated Sequence Parameter Set (SPS) in the parameter set and a syntax element indicating whether or not flag information indicating whether a slice header is a dependent slice header is present. It can be signaled by being located at.
  • SPS Sequence Parameter Set
  • the decoding apparatus When the decoding apparatus indicates that information indicating the reserved information exists, the decoding apparatus receives and parses a slide header including the reserved information (S820).
  • the reserved information may be information that is not determined to be used for a multiview layer, an image supporting spatial scalability, or an image supporting 3D, and may have as many semantics and values as the number corresponding to the number of additional slice header bits. have.
  • the decoding apparatus decodes an image according to semantics and a value corresponding to the held information (S830).
  • the bitstream supports only a single layer, since the indication information signals that no reserved information exists, the single layer is decoded according to a decoding method of a normal video.
  • the decoding apparatus decodes the upper layer based on the reserved information having new semantics and values for the extended layer.
  • the flag is held in the slice header by extending the structure of the space-limited NAL unit header. Signaling by including.
  • the conventional method only parses the NAL unit header to the slice header.
  • the indication information indicating whether the reserved information exists may be signaled by EHL included in a parameter set, for example, a picture parameter set.
  • the reserved information is not signaled when the current slice is a dependent slice.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Graphics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

본 발명에 따른 영상의 디코딩 방법은 미래에 사용될 보류된 정보의 존재 여부를 나타내는 지시 정보를 포함하는 파라미터 세트를 수신하여, 파싱하는 단계와; 상기 지시 정보가 상기 보류된 정보가 존재하는 것을 나타내면, 상기 보류된 정보를 포함하는 슬라이드 헤더를 수신하여 파싱하는 단계와; 상기 보류된 정보에 대응하는 시멘틱스 및 값에 따라 영상을 디코딩 하는 단계를 포함할 수 있다. 이에 의해, 계층적 영상을 지원하는 비트스트림에서 추가적인 확장 정보 지시를 기술하는 방법 및 장치가 제공된다.

Description

영상의 디코딩 방법 및 이를 이용하는 장치
본 발명은 비디오 압축 기술에 관한 것으로서 더 구체적으로는 비트스트림 내 영상 정보를 디코딩하는 방법 및 장치에 관한 것이다.
최근 고해상도, 고품질의 영상에 대한 요구가 다양한 응용 분야에서 증가하고 있다. 영상이 고해상도를 가지고 고품질이 될수록 해당 영상에 관한 정보량도 함께 증가하고 있다.
정보량의 증가로 인해 다양한 성능의 장치와 다양한 환경의 네트워크가 등장하고 있다. 다양한 성능의 장치와 다양한 환경의 네트워크가 등장함에 따라서, 동일한 콘텐츠를 다양한 품질로 이용할 수 있게 되었다.
구체적으로, 단말 장치가 지원할 수 있는 품질의 영상이 다양해지고, 구축된 네트워크 환경이 다양해짐으로써, 어떤 환경에서는 일반적인 품질의 영상을 이용하지만, 또 다른 환경에서는 더 높은 품질의 영상을 이용할 수 있게 된다.
예를 들어, 휴대 단말에서 비디오 콘텐츠를 구매한 소비자가 가정 내 대화면의 디스플레이를 통해 동일한 비디오 콘텐츠를 더 큰 화면과 더 높은 해상도로 감상할 수 있게 되는 것이다.
최근에는 HD(High Definition) 해상도를 가지는 방송이 서비스되면서 많은 사용자들은 이미 고해상도, 고화질의 영상에 익숙해지고 있고, 서비스 제공자와 사용자들은 HDTV와 더불어 HDTV의 4배 이상의 해상도를 갖는 UHD(Ultra High Definition)의 서비스에도 관심을 기울이고 있다.
따라서, 다양한 환경에서 사용자가 요구하는 영상 서비스를 품질에 따라서 다양하게 제공하기 위해 고용량 비디오에 대한 고효율의 인코딩/디코딩 방법을 기반으로 영상의 품질, 예컨대 영상의 화질, 영상의 해상도, 영상의 크기, 비디오의 프레임 레이트 등에 스케일러빌러티를 제공하는 것이 필요하다. 또한, 이러한 스케일러빌러티에 수반되는 다양한 영상 처리 방법이 논의되어야 한다.
본 발명의 일 실시예는 계층적 영상을 지원하는 비트스트림에서 추가적인 확장 정보 지시를 기술하는 방법 및 장치를 제공하는 것을 목적으로 한다.
본 발명의 일 실시예는 추가적인 확장 정보 지시 및 추가적인 확장 정보를 표현하는 방법 및 장치를 제공함에 있다.
본 발명의 일 실시 형태에 따른 영상의 디코딩 방법은 미래에 사용될 보류된 정보의 존재 여부를 나타내는 지시 정보를 포함하는 파라미터 세트를 수신하여, 파싱하는 단계와; 상기 지시 정보가 상기 보류된 정보가 존재하는 것을 나타내면, 상기 보류된 정보를 포함하는 슬라이드 헤더를 수신하여 파싱하는 단계와; 상기 보류된 정보에 대응하는 시멘틱스 및 값에 따라 영상을 디코딩 하는 단계를 포함할 수 있다.
상기 지시 정보는 픽쳐 파라미터 세트에 포함되어 수신될 수 있다.
상기 지시 정보는 상기 슬라이스 헤더에서 상기 보류된 정보를 포함하기 위하여 추가된 추가 슬라이스 헤더 비트수를 나타내는 정보인 것을 특징으로 하고, 상기 비트스트림이 단일 레이어의 영상을 지원하는 경우, 상기 추가 슬라이스 헤더 비트수는 0일 수 있다.
상기 지시 정보는 상기 픽쳐 파라미터 세트에서 활성화된 SPS(Sequence Parameter Set)에 대한 SPS ID를 지시하는 구문 요소 및 슬라이스 헤더가 종속적인 슬라이스 헤더인지 여부를 지시하는 플래그 정보의 존재 여부를 나타내는 구문 요소 다음에 위치하여 시그널링 될 수 있다.
상기 보류된 정보는 상기 추가 슬라이스 헤더 비트수에 대응하는 개수만큼 시멘틱스와 값을 가질 수 있다.
상기 보류된 정보는 현재 슬라이스가 종속적 슬라이스가 아닌 경우 수신될 수 있다.
상기 보류된 정보는 다시점 레이어, 공간적 스케일러빌러티를 지원하는 영상 또는 3D를 지원하는 영상을 위하여 사용될 수 있다.
상기 지시 정보와 상기 보류된 정보는 NAL 유닛의 페이로드에 포함되어 수신될 수 있다.
본 발명의 일 실시예에 따르면, 계층적 영상을 지원하는 비트스트림에서 추가적인 확장 정보 지시를 기술하는 방법 및 장치가 제공된다.
또한, 본 발명의 일 실시예에 따르면 추가적인 확장 정보 지시 및 추가적인 확장 정보를 표현하는 방법 및 장치가 제공된다.
도 1은 본 발명의 일 실시예에 따른 비디오 인코딩 장치를 개략적으로 도시한 블록도이다.
도 2는 본 발명의 일 실시예에 따른 비디오 디코딩 장치를 개략적으로 도시한 블록도이다.
도 3은 본 발명이 적용될 수 있는, 복수 계층을 이용한 스케일러블 비디오 코딩 구조의 일 실시예를 개략적으로 나타내는 개념도이다.
도 4는 본 발명의 디코딩 장치에서 처리되는 코딩된 영상에 대한 계층 구조를 도시한 도면이다.
도 5는 본 발명의 일 실시예에 따라 VCL NAL 유닛에 대한 NAL 유닛 헤더 플래그 확장을 도시한 도면이다.
도 6은 본 발명의 일 실시예에 따라 NON-VCL NAL 유닛에 대한 NAL 유닛 헤더 플래그 확장을 도시한 도면이다.
도 7은 본 발명에 따른 영상의 디코딩 장치를 설명하기 위한 제어 블록도이다.
도 8은 본 발명에 따른 영상의 디코딩 방법을 설명하기 위한 제어 흐름도이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니다. 본 명세서에서 사용하는 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명의 기술적 사상을 한정하려는 의도로 사용되는 것은 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성 요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성 요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
한편, 본 발명에서 설명되는 도면상의 각 구성들은 비디오 인코딩 장치/디코딩 장치에서 서로 다른 특징적인 기능들에 관한 설명의 편의를 위해 독립적으로 도시된 것으로서, 각 구성들이 서로 별개의 하드웨어나 별개의 소프트웨어로 구현된다는 것을 의미하지는 않는다. 예컨대, 각 구성 중 두 개 이상의 구성이 합쳐져 하나의 구성을 이룰 수도 있고, 하나의 구성이 복수의 구성으로 나뉘어질 수도 있다. 각 구성이 통합 및/또는 분리된 실시예도 본 발명의 본질에서 벗어나지 않는 한 본 발명의 권리범위에 포함된다.
이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예를 보다 상세하게 설명하고자 한다. 이하, 도면상의 동일한 구성 요소에 대해서는 동일한 참조 부호를 사용하고 동일한 구성 요소에 대해서 중복된 설명은 생략한다.
도 1은 본 발명의 일 실시예에 따른 비디오 인코딩 장치를 개략적으로 도시한 블록도이다. 비디오 인코딩/ 디코딩 방법 또는 장치는 스케일러빌리티(scalability)를 제공하지 않는 일반적인 비디오 인코딩/ 디코딩 방법 또는 장치의 확장(extension)에 의해 구현될 수 있으며, 도 1의 블록도는 스케일러블 비디오 인코딩 장치의 기초가 될 수 있는 비디오 인코딩 장치의 일 실시예를 나타낸다.
도 1을 참조하면, 인코딩 장치(100)는 픽처 분할부(105), 예측부(110), 변환부(115), 양자화부(120), 재정렬부(125), 엔트로피 인코딩부(130), 역양자화부(135), 역변환부(140), 필터부(145) 및 메모리(150)를 구비한다.
픽처 분할부(105)는 입력된 픽처를 적어도 하나의 처리 단위 블록으로 분할할 수 있다. 이때, 처리 단위로서의 블록은 예측 유닛(Prediction Unit, 이하 ‘PU’라 함)일 수도 있고, 변환 유닛(Transform Unit, 이하 ‘TU’라 함)일 수도 있으며, 코딩 유닛(Coding Unit, 이하 ‘CU’라 함)일 수도 있다.
픽처 분할부(105)에서 분할되는 처리 단위 블록들은 쿼드 트리(quad-tree) 구조를 가질 수 있다.
예측부(110)는 후술하는 바와 같이, 인터 예측을 수행하는 인터 예측부와 인트라 예측을 수행하는 인트라 예측부를 포함한다. 예측부(110)는, 픽처 분할부(105)에서 픽처의 처리 단위에 대하여 예측을 수행하여 예측 블록을 생성한다. 예측부(110)에서 픽처의 처리 단위는 CU일 수도 있고, TU일 수도 있고, PU일 수도 있다. 또한, 예측부(110)는 해당 처리 단위에 대하여 실시되는 예측이 인터 예측인지 인트라 예측인지를 결정하고, 각 예측 방법의 구체적인 내용(예컨대, 예측 모드 등)을 정할 수 있다. 이때, 예측이 수행되는 처리 단위와 예측 방법 및 예측 방법의 구체적인 내용이 정해지는 처리 단위는 다를 수 있다. 예컨대, 예측의 방법과 예측 모드 등은 PU 단위로 결정되고, 예측의 수행은 TU 단위로 수행될 수도 있다.
인터 예측을 통해서는 현재 픽처의 이전 픽처 및/또는 이후 픽처 중 적어도 하나의 픽처의 정보를 기초로 예측을 수행하여 예측 블록을 생성할 수 있다. 또한, 인트라 예측을 통해서는 현재 픽처 내의 픽셀 정보를 기초로 예측을 수행하여 예측 블록을 생성할 수 있다.
인터 예측의 방법으로서, 스킵(skip) 모드, 머지(merge) 모드, MVP(Motion Vector Predtiction) 등을 이용할 수 있다. 인터 예측에서는 PU에 대하여, 참조 픽처를 선택하고 PU에 대응하는 참조 블록을 선택할 수 있다. 참조 블록은 정수 픽셀 단위로 선택될 수 있다. 이어서, 현재 PU와의 레지듀얼(residual) 신호가 최소화되며 움직임 벡터 크기 역시 최소가 되는 예측 블록이 생성된다.
예측 블록은 정수 샘플 단위로 생성될 수도 있고, 1/2 픽셀 단위 또는 1/4 픽셀 단위와 같이 정수 이하 픽셀 단위로 생성될 수도 있다. 이때, 움직임 벡터 역시 정수 픽셀 이하의 단위로 표현될 수 있다.
인터 예측을 통해 선택된 참조 픽처의 인덱스, 움직임 벡터(ex. Motion Vector Predictor), 레지듀얼 신호 등의 정보는 엔트로피 인코딩되어 디코딩 장치에 전달된다. 스킵 모드가 적용되는 경우에는 레지듀얼을 예측 블록을 복원 블록으로 할 수 있으므로, 레지듀얼을 생성, 변환, 양자화, 전송하지 않을 수 있다.
인트라 예측을 수행하는 경우에는, PU 단위로 예측 모드가 정해져서 PU 단위로 예측이 수행될 수 있다. 또한, PU 단위로 예측 모드가 정해지고 TU 단위로 인트라 예측이 수행될 수도 있다.
인트라 예측에서 예측 모드는 33개의 방향성 예측 모드와 적어도 2개 이상의 비방향성 모드를 가질 수 있다. 비향성성 모드는 DC 예측 모드 및 플래이너 모드(Planar 모드)을 포함할 수 있다.
인트라 예측에서는 참조 샘플에 필터를 적용한 후 예측 블록을 생성할 수 있다. 이때, 참조 샘플에 필터를 적용할 것인지는 현재 블록의 인트라 예측 모드 및/또는 사이즈에 따라 결정될 수 있다.
PU는 다양한 사이즈/형태의 블록일 수 있으며, 예컨대 인터 예측의 경우에 PU는 2N×2N 블록, 2N×N 블록, N×2N 블록, 또는 N×N 블록 (N은 정수) 등일 수 있다. 인트라 예측의 경우에 PU는 2N×2N 블록 또는 N×N 블록 (N은 정수) 등일 수 있다. 이때, N×N 블록 크기의 PU는 특정한 경우에만 적용하도록 설정할 수 있다. 예컨대 최소 크기 CU에 대해서만 NxN 블록 크기의 PU를 이용하도록 정하거나 인트라 예측에 대해서만 이용하도록 정할 수도 있다. 또한, 상술한 크기의 PU 외에, N×mN 블록, mN×N 블록, 2N×mN 블록 또는 mN×2N 블록 (m<1) 등의 PU를 더 정의하여 사용할 수도 있다.
생성된 예측 블록과 원본 블록 사이의 레지듀얼 값(레지듀얼 블록 또는 레지듀얼 신호)은 변환부(115)로 입력된다. 또한, 예측을 위해 사용한 예측 모드 정보, 움직임 벡터 정보 등은 레지듀얼 값과 함께 엔트로피 인코딩부(130)에서 인코딩되어 디코딩 장치에 전달된다.
변환부(115)는 변환 블록 단위로 레지듀얼 블록에 대한 변환을 수행하고 변환 계수를 생성한다.
변환 블록은 샘플들의 직사각형 블록으로서 동일한 변환이 적용되는 블록이다. 변환 블록은 변환 유닛(TU)일 수 있으며, 쿼드 트리(quad tree) 구조를 가질 수 있다.
변환부(115)는 레지듀얼 블록에 적용된 예측 모드와 블록의 크기에 따라서 변환을 수행할 수 있다.
예컨대, 레지듀얼 블록에 인트라 예측이 적용되었고 블록이 4x4의 레지듀얼 배열이라면, 레지듀얼 블록을 DST(Discrete Sine Transform)를 이용하여 변환하고, 그 외의 경우라면 레지듀얼 블록을 DCT(Discrete Cosine Transform)를 이용하여 변환할 수 있다.
변환부(115)는 변환에 의해 변환 계수들의 변환 블록을 생성할 수 있다.
양자화부(120)는 변환부(115)에서 변환된 레지듀얼 값들, 즉 변환 계수들을 양자화하여 양자화된 변환 계수를 생성할 수 있다. 양자화부(120)에서 산출된 값은 역양자화부(135)와 재정렬부(125)에 제공된다.
재정렬부(125)는 양자화부(120)로부터 제공된 양자화된 변환 계수를 재정렬한다. 양자화된 변환 계수를 재정렬함으로써 엔트로피 인코딩부(130)에서의 인코딩 효율을 높일 수 있다.
재정렬부(125)는 계수 스캐닝(Coefficient Scanning) 방법을 통해 2차원 블록 형태의 양자화된 변환 계수들을 1차원의 벡터 형태로 재정렬할 수 있다.
엔트로피 인코딩부(130)는 재정렬부(125)에 의해 재정렬된 양자화된 변환 계수들에 대한 엔트로피 인코딩을 수행할 수 있다. 엔트로피 인코딩에는 예를 들어, 지수 골롬(Exponential Golomb), CAVLC(Context-Adaptive Variable Length Coding), CABAC(Context-Adaptive Binary Arithmetic Coding) 등과 같은 인코딩 방법을 사용할 수 있다. 엔트로피 인코딩부(130)는 재정렬부(125) 및 예측부(110)로부터 전달받은 CU의 양자화된 변환 계수 정보 및 블록 타입 정보, 예측 모드 정보, 분할 단위 정보, PU 정보 및 전송 단위 정보, 움직임 벡터 정보, 참조 픽처 정보, 블록의 보간 정보, 필터링 정보 등 다양한 정보를 인코딩할 수 있다.
또한, 엔트로피 인코딩부(130)는 필요한 경우에, 전송하는 파라미터 셋(parameter set) 또는 신택스에 일정한 변경을 가할 수도 있다.
역양자화부(135)는 양자화부(120)에서 양자화된 값(양자화된 변환 계수)들을 역양자화하고, 역변환부(140)는 역양자화부(135)에서 역양자화된 값들을 역변환한다.
역양자화부(135) 및 역변환부(140)에서 생성된 레지듀얼 값과 예측부(110)에서 예측된 예측 블록이 합쳐져 복원 블록(Reconstructed Block)이 생성될 수 있다.
도 1에서는 가산기를 통해서, 레지듀얼 블록과 예측 블록이 합쳐져 복원 블록이 생성되는 것으로 설명하고 있다. 이때, 가산기를 복원 블록을 생성하는 별도의 유닛(복원 블록 생성부)로 볼 수도 있다.
필터부(145)는 디블록킹 필터, ALF(Adaptive Loop Filter), SAO(Sample Adaptive Offset)를 복원된 픽처에 적용할 수 있다.
디블록킹 필터는 복원된 픽처에서 블록 간의 경계에 생긴 왜곡을 제거할 수 있다. ALF(Adaptive Loop Filter)는 디블록킹 필터를 통해 블록이 필터링된 후 복원된 영상과 원래의 영상을 비교한 값을 기초로 필터링을 수행할 수 있다. ALF는 고효율을 적용하는 경우에만 수행될 수도 있다. SAO는 디블록킹 필터가 적용된 레지듀얼 블록에 대하여, 픽셀 단위로 원본 영상과의 오프셋 차이를 복원하며, 밴드 오프셋(Band Offset), 에지 오프셋(Edge Offset) 등의 형태로 적용된다.
한편, 인터 예측에 사용되는 복원 블록에 대해서 필터부(145)는 필터링을 적용하지 않을 수도 있다.
메모리(150)는 필터부(145)를 통해 산출된 복원 블록 또는 픽처를 저장할 수 있다. 메모리(150)에 저장된 복원 블록 또는 픽처는 인터 예측을 수행하는 예측부(110)에 제공될 수 있다.
도 2는 본 발명의 일 실시예에 따른 비디오 디코딩 장치를 개략적으로 나타낸 블록도이다. 도 1에서 상술한 바와 같이 스케일러블 비디오 인코딩/디코딩 방법 또는 장치는 스케일러빌리티를 제공하지 않는 일반적인 비디오 인코딩/디코딩 방법 또는 장치의 확장에 의해 구현될 수 있으며, 도 2의 블록도는 스케일러블 비디오 디코딩 장치의 기초가 될 수 있는 비디오 디코딩 장치의 일 실시예를 나타낸다
도 2를 참조하면, 비디오 디코딩 장치(200)는 엔트로피 디코딩부(210), 재정렬부(215), 역양자화부(220), 역변환부(225), 예측부(230), 필터부(235) 메모리(240)를 포함할 수 있다.
비디오 인코딩 장치에서 영상 비트스트림이 입력된 경우, 입력된 비트스트림은 비디오 인코딩 장치에서 영상 정보가 처리된 절차에 따라서 디코딩될 수 있다.
예컨대, 비디오 인코딩 장치에서 엔트로피 인코딩을 수행하기 위해 CAVLC 등의 가변 길이 부호화(Variable Length Coding: VLC, 이하 ‘VLC’ 라 함)가 사용된 경우에, 엔트로피 디코딩부(210)도 인코딩 장치에서 사용한 VLC 테이블과 동일한 VLC 테이블로 구현하여 엔트로피 디코딩을 수행할 수 있다. 또한, 비디오 인코딩 장치에서 엔트로피 인코딩을 수행하기 위해 CABAC을 이용한 경우에, 엔트로피 디코딩부(210)는 이에 대응하여 CABAC을 이용한 엔트로피 디코딩을 수행할 수 있다.
엔트로피 디코딩부(210)에서 디코딩된 정보 중 예측 블록을 생성하기 위한 정보는 예측부(230)로 제공되고, 엔트로피 디코딩부(210)에서 엔트로피 디코딩이 수행된 레지듀얼 값, 즉 양자화된 변환 계수는 재정렬부(215)로 입력될 수 있다.
재정렬부(215)는 엔트로피 디코딩부(210)에서 엔트로피 디코딩된 비트스트림의 정보, 즉 양자화된 변환 계수를 인코딩 장치에서 재정렬한 방법을 기초로 재정렬할 수 있다.
재정렬부(215)는 1차원 벡터 형태로 표현된 계수들을 다시 2차원의 블록 형태의 계수로 복원하여 재정렬할 수 있다. 재정렬부(215)는 현재 블록(변환 블록)에 적용된 예측 모드와 변환 블록의 크기를 기반으로 계수에 대한 스캐닝을 수행하여 2 차원 블록 형태의 계수(양자화된 변환 계수) 배열을 생성할 수 있다.
역양자화부(220)는 인코딩 장치에서 제공된 양자화 파라미터와 재정렬된 블록의 계수값을 기초로 역양자화를 수행할 수 있다.
역변환부(225)는 비디오 인코딩 장치에서 수행된 양자화 결과에 대해, 인코딩 장치의 변환부가 수행한 DCT 및 DST에 대해 역DCT 및/또는 역DST를 수행할 수 있다.
역변환은 인코딩 장치에서 결정된 전송 단위 또는 영상의 분할 단위를 기초로 수행될 수 있다. 인코딩 장치의 변환부에서 DCT 및/또는 DST는 예측 방법, 현재 블록의 크기 및 예측 방향 등 복수의 정보에 따라 선택적으로 수행될 수 있고, 디코딩 장치의 역변환부(225)는 인코딩 장치의 변환부에서 수행된 변환 정보를 기초로 역변환을 수행할 수 있다.
예측부(230)는 엔트로피 디코딩부(210)에서 제공된 예측 블록 생성 관련 정보와 메모리(240)에서 제공된 이전에 디코딩된 블록 및/또는 픽처 정보를 기초로 예측 블록을 생성할 수 있다.
현재 PU에 대한 예측 모드가 인트라 예측(intra prediction) 모드인 경우에, 현재 픽처 내의 픽셀 정보를 기초로 예측 블록을 생성하는 인트라 예측을 수행할 수 있다.
현재 PU에 대한 예측 모드가 인터 예측(inter prediction) 모드인 경우에, 현재 픽처의 이전 픽처 또는 이후 픽처 중 적어도 하나의 픽처에 포함된 정보를 기초로 현재 PU에 대한 인터 예측을 수행할 수 있다. 이때, 비디오 인코딩 장치에서 제공된 현재 PU의 인터 예측에 필요한 움직임 정보, 예컨대 움직임 벡터, 참조 픽처 인덱스 등에 관한 정보는 인코딩 장치로부터 수신한 스킵 플래그, 머지 플래그 등을 확인하고 이에 대응하여 유도될 수 있다.
복원 블록은 예측부(230)에서 생성된 예측 블록과 역변환부(225)에서 제공된 레지듀얼 블록을 이용해 생성될 수 있다. 도 2에서는 가산기에서 예측 블록과 레지듀얼 블록이 합쳐져 복원 블록이 생성되는 것으로 설명하고 있다. 이때, 가산기를 복원 블록을 생성하는 별도의 유닛(복원 블록 생성부)로 볼 수 있다.
스킵 모드가 적용되는 경우에는 레지듀얼이 전송되지 않으며 예측 블록을 복원 블록으로 할 수 있다.
복원된 블록 및/또는 픽처는 필터부(235)로 제공될 수 있다. 필터부(235)는 복원된 블록 및/또는 픽처에 디블록킹 필터링, SAO(Sample Adaptive Offset) 및/또는 ALF 등을 적용할 수 있다.
메모리(240)는 복원된 픽처 또는 블록을 저장하여 참조 픽처 또는 참조 블록으로 사용할 수 있도록 할 수 있고 또한 복원된 픽처를 출력부로 제공할 수 있다.
디코딩 장치(200)에 포함되어 있는 엔트로피 디코딩부(210), 재정렬부(215), 역양자화부(220), 역변환부(225), 예측부(230), 필터부(235) 및 메모리(240) 중 영상의 디코딩에 직접적으로 관련된 구성요소들, 예컨대, 엔트로피 디코딩부(210), 재정렬부(215), 역양자화부(220), 역변환부(225), 예측부(230), 필터부(235) 등을 다른 구성요소와 구분하여 디코더 또는 디코딩부로 표현할 수 있다.
또한, 디코딩 장치(200)는 비트스트림에 포함되어 있는 인코딩된 영상에 관련된 정보를 파싱하는 도시하지 않은 파싱부를 더 포함할 수 있다. 파싱부는 엔트로피 디코딩부(210)를 포함할 수도 있고, 엔트로피 디코딩부(210)에 포함될 수도 있다. 이러한 파싱부는 또한 디코딩부의 하나의 구성요소로 구현될 수도 있다.
도 3은 본 발명이 적용될 수 있는, 복수 계층을 이용한 스케일러블 비디오 코딩 구조의 일 실시예를 개략적으로 나타내는 개념도이다. 도 3에서 GOP(Group of Picture)는 픽처군 즉, 픽처의 그룹을 나타낸다.
영상 데이터를 전송하기 위해서는 전송 매체가 필요하며, 그 성능은 다양한 네트워크 환경에 따라 전송 매체별로 차이가 있다. 이러한 다양한 전송 매체 또는 네트워크 환경에의 적용을 위해 스케일러블 비디오 코딩 방법이 제공될 수 있다.
스케일러블 비디오 코딩 방법은 계층(layer) 간의 텍스쳐 정보, 움직임 정보, 잔여 신호 등을 활용하여 계층 간 중복성을 제거하여 인코딩 및 디코딩 성능을 높이는 코딩 방법이다. 스케일러블 비디오 코딩 방법은, 전송 비트율, 전송 에러율, 시스템 자원 등의 주변 조건에 따라, 공간적, 시간적, 화질적 관점에서 다양한 스케일러빌리티를 제공할 수 있다.
스케일러블 비디오 코딩은, 다양한 네트워크 상황에 적용 가능한 비트스트림을 제공할 수 있도록, 복수 계층(multiple layers) 구조를 사용하여 수행될 수 있다. 예를 들어 스케일러블 비디오 코딩 구조는, 일반적인 영상 디코딩 방법을 이용하여 영상 데이터를 압축하여 처리하는 기본 계층을 포함할 수 있고, 기본 계층의 디코딩 정보 및 일반적인 영상 디코딩 방법을 함께 사용하여 영상 데이터를 압축 처리하는 향상 계층을 포함할 수 있다.
여기서, 계층(layer)은 공간(spatial, 예를 들어, 영상 크기), 시간(temporal, 예를 들어, 디코딩 순서, 영상 출력 순서, 프레임 레이트), 화질, 복잡도 등을 기준으로 구분되는 영상 및 비트스트림(bitstream)의 집합을 의미한다. 또한 기본 계층은 참조 계층 또는 Base layer, 향상 계층은 Enhancement layer를 의미할 수 있다. 또한 복수의 계층들은 서로 간에 종속성을 가질 수도 있다.
도 3을 참조하면, 예를 들어 기본 계층은 SD(standard definition), 15Hz의 프레임율, 1Mbps 비트율로 정의될 수 있고, 제1 향상 계층은 HD(high definition), 30Hz의 프레임율, 3.9Mbps 비트율로 정의될 수 있으며, 제2 향상 계층은 4K-UHE(ultra high definition), 60Hz의 프레임율, 27.2Mbps 비트율로 정의될 수 있다. 상기 포맷(format), 프레임율, 비트율 등은 하나의 실시예로서, 필요에 따라 달리 정해질 수 있다. 또한 사용되는 계층의 수도 본 실시예에 한정되지 않고 상황에 따라 달리 정해질 수 있다.
예를 들어, 전송 대역폭이 4Mbps라면 상기 제1향상계층 HD의 프레임 레이트를 줄여서 15Hz이하로 전송할 수 있다. 스케일러블 비디오 코딩 방법은 상기 도 3의 실시예에서 상술한 방법에 의해 시간적, 공간적, 화질적 스케일러빌리티를 제공할 수 있다.
스케일러블 비디오 코딩은 이하 인코딩 관점에서는 스케일러블 비디오 인코딩, 디코딩 관점에서는 스케일러블 비디오 디코딩과 동일한 의미를 가진다.
상술한 바와 같이, 이종의 통신망 및 다양한 단말로 인해 스케일러빌리티는 현재 비디오 포맷의 중요한 기능이 되고 있다.
한편, 복수의 계층을 포함하는 비트스트림은 패킷 스위칭 네트워크(packet-switching network)를 통하여 비디오의 적응적 전송을 용이하게 하는 NAL (Network Abstraction Layer) 유닛들로 구성된다. 복수의 계층과 유사하게 비트스트림 내 복수의 다시점 영상을 포함하는 멀티 뷰 비디오 코딩(multi-view video coding)에서 복수의 시점간의 관계는 복수의 레이어를 지원하는 비디오에서의 공간적 계층(spatial layer)간의 관계와 유사하다.
도 4는 디코딩 장치에 처리되는 코딩된 영상에 대한 계층 구조를 도시한 도면이다.
코딩된 영상은 영상의 디코딩 처리 및 그 자체를 다루는 VCL(video coding layer, 비디오 코딩 계층)과 부호화된 정보를 전송하고 저장하는 하위 시스템의 사이에 있는 NAL(network abstraction layer, 네트워크 추상 계층)로 구분되어 있다.
NAL의 기본 단위인 NAL 유닛은 코딩된 영상을 소정의 규격에 따른 파일 포맷, RTP(Real-time Transport Protocol, TS(Transport Stream) 등과 같은 하위 시스템의 비트열에 매핑시키는 역할을 한다.
한편, VCL은 시퀀스와 픽처 등의 헤더에 해당하는 파라미터 세트(픽처 파라미터 세트, 시퀀스 파라미터 세트, 비디오 파라미터 세트) 및 영상의 디코딩 과정에 부가적으로 필요한 SEI(Supplemental Enhancement Information) 메세지도 영상에 대한 정보(슬라이스 데이터)와 분리되어 있다. 영상에 대한 정보를 지닌 VCL은 슬라이스 데이터와 슬라이스 헤더로 이루어진다.
도시된 바와 같이, NAL 유닛은 NAL 유닛 헤더와 VCL에서 생성된 RBSP(Raw Byte Sequence Payload, 동영상 압축의 결과 데이터)의 두 부분으로 구성된다. NAL 유닛 헤더에는 해당 NAL 유닛의 타입에 대한 정보가 포함되어 있다.
NAL 유닛은 VCL에서 생성된 RBSP의 따라 VCL NAL 유닛과 non-VCL NAL 유닛으로 구분된다. VCL NAL 유닛은 영상에 대한 정보를 포함하고 있는 NAL 유닛을 의미하고, non-VCL NAL 유닛은 영상을 디코딩하기 위하여 필요한 정보(파라미터 세트 또는 SEI 메세지)를 포함하고 있는 NAL 유닛을 나타낸다.
VCL NAL 유닛은 해당 NAL 유닛이 포함하는 픽처의 성질 및 종류 등에 따라 여러 타입으로 나뉠 수 있다.
본 발명은 복수의 레이어를 지원할 수 있는 비트스트림 내에서 영상의 계층적 정보(scalability information)를 효과적으로 기술하고, 이를 시그널링 하기 위한 방법 및 이를 구현하는 장치에 대하여 것이다.
이하에서는 설명의 편의를 위하여 비트스트림을 2가지 타입으로 나누어 설명한다. 비트스트림이 시간 스케일러빌리티(temporal scalability)만을 지원하는 경우, 이를 기본 타입(base type)으로 표현하고, 비트스트림이 시간을 포함한 공간/화질/시점을 지원하는 스케일러빌리티를 가질 수 있는 경우 확장 타입(extended type)으로 표현한다.
한편, 콘텐츠 전달경로(content delivery path)에서의 모든 노드에서 비트스트림을 효과적이며 효율적으로 변환하기 위해서는 비트스트림의 스케일러빌리티 정보가 매우 중요하다. 현재 단일 레이어에 대한 비디오 코딩에 대한 표준(high efficiency video coding)에서는 NAL 유닛 헤더(header)의 길이는 2 바이트(2 bytes), 즉 16 비트로 고정된 길이를 가진다. NAL 유닛 헤더에 대한 구문 요소를 표로 나타내면 표 1과 같다.
표 1
Figure PCTKR2013011327-appb-T000001
표 1에서, NAL 유닛 헤더에 포함되어 있는 정보 중 forbidden_zero_bit는 0이 되어야 한다.
nal_unit_type은 해당 NAL 유닛에 포함되어 있는 RBSP의 데이터 구조를 의미하는 것으로 RBSP의 데이터 구조에 따라 복수의 타입이 존재한다.
nuh_reserved_zero_6bits은 3D 영상 코딩 확장 타입 등과 같이 스케일러빌러티를 지원하는 확장 타입에서 활용될 수 있는 정보로서 코딩된 영상 시퀀스(coded video sequence, CVS) 내 존재하는 추가적인 레이어들을 식별하기 위하여 사용된다. 레이어는 공간적으로 스케일되는 레이어(spatial scalable layer), 화질적으로 스케일되는 레이어(a quality scalable layer), 텍스쳐 뷰(texture view) 또는 깊이 뷰(depth view) 등일 수 있다.
비트스트림이 기본 타입일 경우, nuh_reserved_zero_6bits은 0이 되고, 비트스트림의 디코딩 단위에 포함되어 있는 데이터 양을 결정하는 사용될 수 있다.
nuh_temporal_id_plus1로 특정되는 값은 NAL 유닛에 대한 시간적 레이어의 식별자를 의미한다. 시간적 레이어는 VCL NAL 유닛으로 구성된 시간적으로 스케일될 수 있는 비트스트림의 레이어를 의미하며, 시간적 레이어는 특정의 temporal_id 값을 갖는다.
단일 레이어에 대한 비디오 코딩에 기초하여 복수의 레이어 영상에 대한 확장 버전을 표현하기 위한 표 1와 같은 NAL 유닛 헤더의 디자인 구조는 매우 한정적이다. 또한, 표 1과 같은 NAL 유닛 헤더에서는 최소한의 변경만이 허용된다.
기본 타입의 비트스트림의 경우 시간적 스케일러빌러티(temporal scalability) 만을 지원하고, 이는 temporal_id 신택스에 의하여 설명된다. 하지만, 확장 타입의 경우, 레이어 정보 또는 의존 관계(dependency) 등과 같은 정보가 NAL 유닛 헤더에 포함되어야 하고, 이러한 정보를 전송하기 위하여 기본 타입에서는 사용되지 않았던 nuh_reserved_zero_6bits가 사용된다. 예를 들어, 스케일러블 확장 또는 3D 영상 확장과 같은 다계층이 지원되는 영상의 경우, ‘nuh_reserved_zero_6bits’는 NAL 유닛의 레이어를 식별하기 위하여 사용될 수 있다.
확장 타입을 위하여 요구되는 추가적인 정보를 시그널링 하기 위하여 NAL 유닛 헤더의 구문 요소들 중 ‘nuh_reserved_zero_6bits’만이 변경 가능하다. 하지만 nuh_reserved_zero_6bits로는 확장 타입에서 요구되는 모든 정보를 전송하는데 부족할 수 있다. 확장 타입 영상의 경우, 추가적인 정보, 지시자(indications), 플래그(flags) 등은 NAL 유닛 헤더 레벨/전송 레이어 레벨에서 필연적으로 시그널링 되어야 한다.
예를 들어, 현재 NAL 유닛 페이로드의 슬라이스/픽쳐가 상위 레이어, 다시 말해, 상위 스케일러빌러티 레이어에서의 슬라이스/픽쳐의 예상에 필요한지 여부를 나타내는 지시 정보, 현재 NAL 유닛 페이로드의 슬라이스/픽쳐가 다른 시점 레이어의 슬라이스/픽쳐의 예상에 필요한지 여부를 나타내는 지시 정보, 현재 NAL 유닛 페이로드의 슬라이스/픽쳐가 상위 레이어/다른 시점 레이어에 필요한 동일한 스케일러빌러티를 갖는 슬라이스/픽쳐의 예상에 필요한지 여부를 나타내는 지시 정보 등이 시그널링 되어야 한다.
이와 같이 추가적인 정보가 시그널링되어야 하는 것이 필연적이지만, NAL 유닛 헤더의 길이가 2바이트로 한정되어 있고, NAL 유닛 헤더의 모든 비트가 이미 다른 정보의 시그널링을 위하여 사용되기 때문에 추가적인 정보를 시그널링할 여분의 공간이 없다.
따라서, 추가적인 정보/ 플래그를 전송하기 위하여 NAL 유닛 헤더의 공간을 확장시키기 위한 구조가 필요하다. 이하에선, NAL 유닛 헤더에서 시그널링 되지 못하는 정보/플래그 등을 시그널링 하기 위한 NAL 유닛 헤더의 플래그 확장 구조에 대하여 설명한다.
확장 타입을 위한 일부 보류된 플래그(reserved flag), 예를 들어 slice_reserved_undetermined_flag [i]와 같은 구문 요소에 대하여는 아직 최종적인 시멘틱스가 결정되지 않았다. 보류된 플래그란 향후 확장 타입에 사용되기 위하여 현재 특정되지 않은 보류된 정보를 의미하는 것으로, 시그널링될 정보에 대응하는 시멘틱스 및 값을 가질 수 있다. 즉, 보류된 플래그는 참 또는 거짓을 의미하는 플래그 정보가 아니라 추가적인 정보 시그널링을 위한 추가 비트를 의미한다. 이하에서는 NAL 유닛 헤더에서 시그널링 되지 못하는 보류된 플래그, 즉 확장 타입을 위한 플래그의 시그널링에 대하여 NAL 유닛 헤더 플래그 확장이라는 표현을 사용하여 설명한다.
본 발명의 경우, 보류된 플래그의 파싱을 위하여 NAL 유닛 헤더만이 아닌 NAL 유닛 헤더에 후속하는 NAL 유닛 페이로드까지 파싱한다. 즉 보류된 플래그의 파싱 및 디코딩 과정이 확장된다는 의미로 NAL 유닛 헤더 플래그 확장이라는 표현이 사용될 수도 있다.
한편, 현재의 slice_reserved_undetermined_flag [i]와 같은 보류된 플래그들은 슬라이스 헤더의 시작으로부터 너무 멀리 떨어져 시그널링되기 때문에 어플리케이션 단에서 플래그를 찾아(find), 파싱하고(parse), 검출(detect)하는데 어려움이 있다. 또한, slice_reserved_undetermined_flag [i]는 존재할 수도 있고 존재 하지 않을 수도 있어 플래그의 정확한 위치를 결정하는데 어려움을 야기시킬 수 있는 다른 구문 요소 이후에 시그널링 되기 때문에 보류된 플래그를 처리하는데 어려움이 따른다. 따라서, slice_reserved_undetermined_flag [i]와 같은 보류된 플래그는 NAL 유닛 헤더 플래그 확장의 아이디어를 수용하기에 어려움이 따른다.
본 발명에 따른 하기의 실시예들은 NAL 유닛 헤더 플래그 확장의 아이디어를 수용할 수 있도록 ‘slice_reserved_undetermined_flag [i]’의 시그널링에 대한 변형에 대하여 고려하고 있다. 즉, 본 발명은 NAL 유닛 헤더의 공간을 확장하여 NAL 유닛 헤더 플래그 확장을 제안하고 이를 통해 더 많은 정보/지시자가 수용될 수 있도록 한다.
도 5 및 도 6은 본 발명의 일 실시예에 따라 NAL 유닛 헤더 플래그 확장의 개념을 도시한 도면이다. 도 5는 영상에 대한 정보를 포함하고 있는 VCL NAL 유닛에 대한 NAL 유닛 헤더 플래그 확장을 도시한 것이고, 도 6은 영상을 디코딩하기 위하여 필요한 정보(파라미터 세트 또는 SEI 메세지)와 같은 NON-VCL NAL 유닛에 대한 NAL 유닛 헤더 플래그 확장을 도시한 도면이다.
도 5 및 도 6에 도시된 바와 같이, NAL 유닛 헤더는 2 바이트의 고정된 비트수를 가지고, NAL 유닛 헤더에 이어 시그널링되는 NAL 유닛 페이로드는 VCL NAL 유닛의 경우에는 슬라이스 헤더와 슬라이스 페이로드로 구성되어 있고, NON- VCL NAL 유닛의 경우에는 파라미터 세트 페이로드로 구성되어 있다.
본 발명에 따른 NAL 유닛 헤더 플래그 확장의 컨셉은 도 5 및 도 6을 참조하여 아래와 같이 표현될 수 있다.
- NAL 유닛 헤더의 끝과 NAL 유닛의 페이로드 사이에는 어떠한 공백도 없어야 한다. VCL에 대한 NAL 유닛 페이로드는 슬라이스 헤더와 슬라이스 페이로드를 포함한다.
- NAL 유닛 헤더 플래그 확장의 확장된 플래그(extended flag)는 실질적으로 슬라이스 헤더에 속하거나 슬라이스 헤더의 일부이다. 확장된 플래그는 보류된 플래그를 포함할 수 있다.
- NAL 유닛 헤더 플래그 확장의 확장된 플래그는 슬라이스 헤더에서 가능한 한 가장 빠른 위치에서 시그널링 된다. 이 때, NAL 유닛 헤더 플래그 확장의 확장된 플래그는 슬라이스 헤더의 첫 번째 비트로부터 시작할 필요는 없다.
- 확장된 플래그들이 슬라이스 헤더에 존재하는지 여부를 지시하는 정보는 비디오 파라미터 세트 (Video Parameter Set, VPS) 또는 시퀀스 파라미터 세트 (Sequence Parameter Set, SPS) 또는 픽쳐 파라미터 세트 (Picture Parameter Set, PPS)와 같은 파라미터 세트에 포함되는 정보일 수 있다. 다만, 지시 정보가 포함되는 파라미터 세트에 대한 이러한 사항은 선택적으로 적용될 수 있다.
도 5 및 도 6에 도시된 바와 같이 확장된 플래그, 즉 보류된 플래그의 시그널링은 두 개의 파트로 나누어져 이루어질 수 있다.
제1 파트는 도 5와 같이 NAL 유닛 헤더 플래그 확장 여부를 지시하기 위한 시그널링 구조로, 이러한 지시 정보는 VPS 또는 SPS 또는 PPS와 같은 파라미터 세트 중 하나에 포함되어 시그널링 될 수 있다. 제2 파트는 슬라이스 헤더에서 NAL 유닛 헤더 플래그 확장을 시그널링 하는 구조이다.
즉, 제1 파트는 보류된 플래그가 존재하는지 여부를 시그널링하고, 제 2 파트는 보류된 플래그를 시그널링 할 수 있다.
이와 같은 시그널링 구조에서, 두 개의 파트에는 복수의 옵션이 적용될 수 있고, 제1 파트의 옵션은 제2 파트의 옵션에 결합될 수 있다. 물론, 그 반대도 적용될 수 있다.
제1 파트: NAL 유닛 헤더 플래그 확장의 지시를 위한 시그널링 구조
NAL 유닛 헤더 플래그 확장의 존재 여부에 대한 지시 정보는 NAL 유닛 헤더 플래그 확장, 즉 확장된 플래그가 슬라이스 헤더에서 몇 비트로 시그널링 되는지를 나타내는 num_extra_slice_header_bits 라는 구문 요소로 시그널링 될 수 있다.
num_extra_slice_header_bits는 코딩된 픽쳐를 위한 슬라이스 헤더 RBSP 내 존재할 수 있는 추가적인 슬라이스 헤더 비트의 수를 의미한다.
만약 추가 비트수(num_extra_slice_header_bits)가 0으로 설정되어 있으면, 슬라이스 헤더에서 시그널링되는 추가 비트는 없는 것으로 해석된다. 다시 말해, NAL 유닛 헤더 플래그 확장, 즉 보류된 플래그가 존재하지 않는 것으로 해석될 수 있다. 추가 비트수는 특정 값으로 제한될 수 있으며, 쉽게 파싱될 수 있도록 명확하게 한정될 수 있다. 예를 들어, u(3)과 같이 3비트가 주어질 수 있다
num_extra_slice_header_bits가 시그널링 되는 위치에 대해서 다양한 옵션이 존재할 수 있다.
제1 파트-옵션 1
옵션 1에 따르면, num_extra_slice_header_bits은 PPS에서 시그널링 될 수 있으며, PPS의 가능한 빠른 위치에 배열될 수 있다.
num_extra_slice_header_bits가 PPS에 포함될 때, num_extra_slice_header_bits은 PPS에서 SPS ID의 시그널링 바로 다음에 위치하거나 PPS에서 dependent_slice_segments_enabled_flag 바로 다음에 위치하여 시그널링될 수 있다.
이 때, num_extra_slice_header_bits 값은 동일한 시퀀스의 모든 PPS에서 동일한 값을 가져야 한다.
본 옵션에 따른 PPS의 구문요소를 표로 나타내면 표 2 또는 표 3과 같다.
표 2
Figure PCTKR2013011327-appb-T000002
표 2를 참조하면, pic_parameter_set_id는 다른 구문 요소에 의하여 참조되는 PPS를 식별하는 PPS ID를 나타낸다.
seq_parameter_set_id는 활성화된 SPS에 대한 SPS ID 값을 나타낸다.
num_extra_slice_header_bits가 0이면 PPS에서 참조되는 코딩된 픽쳐를 위한 슬라이스 헤더 RBSP 내에 추가적인 슬라이스 헤더 비트가 존재하지 않는 것을 나타내고, 단일 계층 영상을 지원하는 비트스트림의 경우 num_extra_slice_header_bits은 0이 되어야 한다. num_extra_slice_header_bits에 대한 다른 값은 향후 확장 타입 영상에서 사용되기 위하여 보류된다.
dependent_slice_segments_enabled_flag가 1이면 PPS를 참조하는 코딩된 픽쳐에 대한 슬라이스 세그먼트 헤더에 dependent_slice_segment_flag가 존재하는 것을 나타내고, dependent_slice_segments_enabled_flag가 0이면 PPS를 참조하는 코딩된 픽쳐를 위한 슬라이스 세그먼트 헤더에 dependent_slice_segment_flag가 존재하지 않는 것을 나타낸다.
표 2와 같이, num_extra_slice_header_bits는 SPS ID의 시그널링하는 seq_parameter_set_id 다음에 위치하여 시그널링 된다.
표 3
Figure PCTKR2013011327-appb-T000003
표 3 를 참고하면, num_extra_slice_header_bits는 SPS ID의 시그널링하는 seq_parameter_set_id 의 다음에 위치하는 dependent_slice_segments_enabled_flag 의 바로 다음에 위치하여 시그널링 된다.
제1 파트-옵션 2
본 옵션에 따르면, num_extra_slice_header_bits은 SPS에서 시그널링 될 수 있으며, SPS의 가능한 빠른 위치에 배열될 수 있다.
num_extra_slice_header_bits가 SPS에 포함될 때, num_extra_slice_header_bits는 SPS의 첫 번째 구문 요소 위치에 포함되거나, video_parameter_set_id 바로 다음에 위치하거나 또는, sps_max_sub_layers_minus1 바로 다음 위치 또는 sps_temporal_id_nesting_flag 바로 다음 위치에서 시그널링될 수 있다.
본 옵션에 따른 SPS의 구문요소를 표로 나타내면 표 4 내지 표 7과 같다.
표 4
Figure PCTKR2013011327-appb-T000004
표 4를 참조하면, num_extra_slice_header_bits가 0이면 PPS에서 참조되는 코딩된 픽쳐를 위한 슬라이스 헤더 RBSP 내에 추가적인 슬라이스 헤더 비트가 존재하지 않는 것을 나타내고, 단일 계층 영상을 지원하는 비트스트림의 경우 num_extra_slice_header_bits은 0이 되어야 한다. num_extra_slice_header_bits에 대한 다른 값은 향후 확장 타입 영상에서 사용되기 위하여 보류된다.
video_parameter_set_id는 활성화된 VPS에 대한 VPS ID 값을 나타낸다
sps_max_sub_layers_minus1에 1을 더한 값은 SPS를 참조하는 각 CVS(coded video sequence) 내 존재할 수 있는 시간적 서브 레이어의 최대 개수를 나타낸다. sps_max_sub_layers_minus1는 0부터 6까지의 값을 가질 수 있다.
sps_temporal_id_nesting_flag가 0보다 크면, 인터 예측에 SPS를 참조하는 CVS를 위한 추가적인 제한이 존재하는지 여부를 나타낸다. vps_temporal_id_nesting_flag 가 1이면, sps_temporal_id_nesting_flag는 1이어야 한다. 만약, sps_max_sub_layers_minus1가 0이면 sps_temporal_id_nesting_flag는 1이 되어야 한다. sps_temporal_id_nesting_flag는 시간적 업 스위칭을 지시하는데 사용되는 구문 요소이며, 예를 들어 시간적 서브 레이어 ID에 해당하는 TemporalId가 tIdN에서 tIdN보다 큰 tIdM로 디코딩 업되는 스위칭은 CVS에서 항상 가능하다.
표 4와 같이, num_extra_slice_header_bits는 SPS의 첫 번째 구문 요소로 시그널링 될 수 있다.
표 5
Figure PCTKR2013011327-appb-T000005
표 5에서 num_extra_slice_header_bits는 VPS ID를 나타내는 video_parameter_set_id 바로 다음에 위치하여 시그널링 될 수 있다.
표 6
Figure PCTKR2013011327-appb-T000006
표 6의 num_extra_slice_header_bits는 sps_max_sub_layers_minus1 바로 다음 위치에 하여 시그널링 된다.
표 7
Figure PCTKR2013011327-appb-T000007
표 7에 따른 옵션에서, num_extra_slice_header_bits는 sps_temporal_id_nesting_flag 바로 다음 위치에서 시그널링될 수 있다.
제1 파트-옵션 3
본 옵션에 따르면, num_extra_slice_header_bits은 VPS에서 시그널링 될 수 있으며, VPS의 가능한 빠른 위치에 배열될 수 있다.
num_extra_slice_header_bits가 VPS에 포함될 때, video_parameter_set_id 바로 다음에 위치하여 시그널링 되거나 또는, vps_max_sub_layers_minus1 바로 다음 위치에서 시그널링될 수 있다.
본 옵션에 따른 VPS의 구문요소를 표로 나타내면 표 8 및 표 9와 같다.
표 8
Figure PCTKR2013011327-appb-T000008
표 8을 참조하면, video_parameter_set_id는 다른 구문 요소들에 의하여 참조되는 VPS ID 값을 나타낸다.
num_extra_slice_header_bits가 0이면 PPS에서 참조되는 코딩된 픽쳐를 위한 슬라이스 헤더 RBSP 내에 추가적인 슬라이스 헤더 비트가 존재하지 않는 것을 나타내고, 단일 계층 영상을 지원하는 비트스트림의 경우 num_extra_slice_header_bits은 0이 되어야 한다. num_extra_slice_header_bits에 대한 다른 값은 향후 확장 타입 영상에서 사용되기 위하여 보류된다.
vps_max_sub_layers_minus1에 1을 더한 값은 비트스트림 내 존재할 수 있는 시간적 서브 레이어의 최대 개수를 나타낸다. vps_max_sub_layers_minus1는 0부터 6까지의 값을 가질 수 있다.
표 8과 같이, num_extra_slice_header_bits는 VPS ID를 나타내는 video_parameter_set_id 바로 다음에 위치하여 시그널링 될 수 있다.
표 9
Figure PCTKR2013011327-appb-T000009
표 9에 따른 옵션에서, num_extra_slice_header_bits는 vps_max_sub_layers_minus1 바로 다음에 위치하여 시그널링 될 수 있다
제1 파트-옵션 4
본 옵션에 따르면, 상기 옵션 1 내지 3의 지시 정보는 어떠한 파라미터 세트에도 포함되지 않는다.
슬라이스 세그먼트 헤더에 추가적인 비트가 존재하는지 여부에 대한 정보는 슬라이스 헤더 자체에서 시그널링 된다. 이러한 시그널링 구조에 따르면 디코딩 장치는 파라미터 세트의 파싱 종속성 없이, 즉 파라미터 세트의 파싱에 의존하지 않고 추가 비트에 대한 정보를 얻을 수 있다.
슬라이스 세그먼트 헤더에 포함된 플래그는 표 10과 같다.
표 10
Figure PCTKR2013011327-appb-T000010
표 10을 참조하면, first_slice_segment_in_pic_flag가 1이면 현재 슬라이스 세그먼트가 디코딩 순서 상 첫 번째 슬라이스 세그먼트인 것을 나타내고, first_slice_segment_in_pic_flag가 0이면 해당 슬라이스 세그먼트가 디코딩 순서 상 첫 번째 슬라이스 세그먼트가 아닌 것을 나타낸다.
no_output_of_prior_pics_flag는 비트스트림에서 첫 번째 픽쳐가 아닌 랜덤 억세스 포인트 픽쳐 중 IDR(instantaneous decoding refresh) 또는 BLA(broken link access) 픽쳐의 디코딩 후, DPB(decoded picture buffer) 내의 이전에 디코딩된 픽쳐의 출력에 영향을 준다.
num_extra_slice_header_bits가 0이면 PPS에서 참조되는 코딩된 픽쳐를 위한 슬라이스 헤더 RBSP 내에 추가적인 슬라이스 헤더 비트가 존재하지 않는 것을 나타내고, 단일 계층 영상을 지원하는 비트스트림의 경우 num_extra_slice_header_bits은 0이 되어야 한다. num_extra_slice_header_bits에 대한 다른 값은 향후 확장 타입 영상에서 사용되기 위하여 보류된다.
extension_flag_slice_header [ i ]는 미래의 사용을 위하여 보류된 시멘틱스와 값을 가진다. 즉, extension_flag_slice_header [ i ]는 보류된 플래그로서 num_extra_slice_header_bits 값에 대응하는 개수의 시멘틱스 및 값을 가질 수 있다.
pic_parameter_set_id은 사용되는 PPS를 위한 pps_pic_parameter_set의 값을 나타내며, 0부터 63까지의 값을 가질 수 있다.
표 10과 같이, 확장된 플래그, 즉 보류된 플래그에 해당하는 extension_flag_slice_header [i]의 개수를 지시하는 num_extra_slice_header_bits가 슬라이스 헤더 내에서 시그널링 된다.
제1 파트-옵션 5
본 옵션에 따르면, 상기 옵션 1 내지 3의 지시 정보는 어떠한 파라미터 세트에도 포함되지 않는다.
슬라이스 세그먼트 헤더에 추가적인 비트가 존재하는지 여부에 대한 정보는 슬라이스 헤더 자체에서 시그널링 된다. 이러한 시그널링 구조에 따르면 디코딩 장치는 파라미터 세트의 파싱 종속성 없이, 즉 파라미터 세트의 파싱에 의존하지 않고 추가 비트에 대한 정보를 얻을 수 있다.
슬라이스 세그먼트 헤더에 포함된 플래그는 표 11과 같다.
표 11
Figure PCTKR2013011327-appb-T000011
표 11을 참조하면, num_extra_slice_header_bits는 슬라이스 헤더에 포함되어 시그널링 되면, 그의 비트수가 표 10과는 달리 3 비트로 고정되어 있다.
제1 파트-옵션 6
본 옵션에 따르면, 상기 옵션 1 내지 3의 지시 정보는 어떠한 파라미터 세트에도 포함되지 않는다.
슬라이스 세그먼트 헤더에 추가적인 비트가 존재하는지 여부에 대한 정보는 슬라이스 헤더 자체에서 시그널링 된다. 이러한 시그널링 구조에 따르면 디코딩 장치는 파라미터 세트의 파싱 종속성 없이, 즉 파라미터 세트의 파싱에 의존하지 않고 추가 비트에 대한 정보를 얻을 수 있다.
슬라이스 세그먼트 헤더에 포함된 플래그는 표 12와 같다.
표 12
Figure PCTKR2013011327-appb-T000012
표 12를 참조하면, 표 10에 추가하여 extra_slice_header_bits_present_flag가 추가적으로 시그널링 된다.
extra_slice_header_bits_present_flag가 0이면, extension_flag_slice_header [ i ]가 존재하지 않은 것을 나타낼 수 있다. 반면, extension_flag_slice_header [ i ]기 1이면 extension_flag_slice_header [ i ]가 존재하는 것을 나타낼 수 있다.
즉, 본 옵션에 따르면 확장된 플래그의 개수를 나타내는 num_extra_slice_header_bits에 추가하여 extra_slice_header_bits_present_flag를 시그널링 한다. 표 12와 같이 extra_slice_header_bits_present_flag이 1이면 num_extra_slice_header_bits가 시그널링 되고, 시그널링된 num_extra_slice_header_bits의 개수에 대응하여 보류된 플래그 extension_flag_slice_header [ i ]이 시그널링 된다.
제2 파트: 슬라이스 헤더에서 NAL 유닛 헤더 플래그 확장을 위한 시그널링 구조
슬라이스 헤더에 존재하는 확장된 플래그(보류된 플래그)는 구문 요소 extension_flag_slice_header [i]로 나타낼 수 있다.
확장 플래그가 존재한다면, 다시 말해, num_extra_slice_header_bits > 0 이면, 확장된 플래그는 슬라이스 헤더에서 가능한 한 빨리 시그널링되어야 한다. 즉, 플래그는 최소한 슬라이드 헤더에서 PPS ID(즉, pic_parameter_set_id)의 시그널링 전에 시그널링 될 수 있다.
확장된 플래그를 의미하는 구문 요소 extension_flag_slice_header [i]는 구문 요소 slice_reserved_undetermined_flag [i] 또는 구문 요소 slice_reserved_ flag [i] 등으로 다른 표현으로 시그널링 될 수 있고, 그 의미는 동일하다.
한편, 확장된 플래그는 슬라이스 세그먼트 종속성과 관련하여 아래와 같은 복수의 옵션이 존재할 수 있다.
제2 파트-옵션 1
제2 파트에 대한 제1옵션에 따르면, 현재 슬라이스가 슬라이스 세그먼트에 대한 종속성이 존재한다 하여도 확장된 플래그는 num_extra_slice_header_bits이 0보다 큰 경우 시그널링 될 수 있다.
본 옵션에 따른 슬라이스 헤더의 구문 요소를 표로 나타내면 표 13과 같다.
표 13
Figure PCTKR2013011327-appb-T000013
표 13을 참조하면, first_slice_segment_in_pic_flag가 1이면 현재 슬라이스 세그먼트가 디코딩 순서 상 첫 번째 슬라이스 세그먼트인 것을 나타내고, first_slice_segment_in_pic_flag가 0이면 해당 슬라이스 세그먼트가 디코딩 순서 상 첫 번째 슬라이스 세그먼트가 아닌 것을 나타낸다.
no_output_of_prior_pics_flag는 비트스트림에서 첫 번째 픽쳐가 아닌 랜덤 억세스 포인트 픽쳐 중 IDR(instantaneous decoding refresh) 또는 BLA(broken link access) 픽쳐의 디코딩 후, DPB(decoded picture buffer) 내의 이전에 디코딩된 픽쳐의 출력에 영향을 준다.
extension_flag_slice_header [ i ]는 미래의 사용을 위하여 보류된 시멘틱스와 값을 가진다. 즉, extension_flag_slice_header [ i ]는 보류된 플래그로서 num_extra_slice_header_bits 값에 대응하는 개수의 시멘틱스 및 값을 가질 수 있다.
pic_parameter_set_id은 사용되는 PPS를 위한 pps_pic_parameter_set의 값을 나타내며, 0부터 63까지의 값을 가질 수 있다.
표 13과 같이, 본 옵션에 따른 슬라이스 헤더에는 현재 슬라이스가 슬라이스 세그먼트에 대한 종속성이 존재하지는 여부를 지시하는 정보가 포함되어 있지 않으며, 보류된 플래그 정보에 해당하는 extension_flag_slice_header는 num_extra_slice_header_bits만에 대응하여 시그널링 된다.
제2 파트-옵션 2
제2 파트에 대한 제2옵션에 따르면, 확장된 플래그는 num_extra_slice_header_bits이 0보다 크고, 현재 슬라이스가 슬라이스 세그먼트에 대한 종속성이 존재하지 않는 경우, 즉 현재 슬라이스가 종속적 슬라이스 세그먼트가 아닌 에 시그널링 된다.
이러한 경우, 현재 슬라이스가 종속적 슬라이스 세그먼트인지 아닌지 여부를 지시하는 정보가 확장된 플래그의 시그널링 전에 디코딩 될 수 있는 위치에 존재해야 한다.
본 옵션에 따른 슬라이스 헤더의 구문 요소를 표로 나타내면 표 14 또는 표 15와 같다.
표 14
Figure PCTKR2013011327-appb-T000014
표 14를 참조하면, extension_flag_slice_header [i]는 num_extra_slice_header_bits에 대한 시그널링이 존재하고, dependent_slice_segment_flag가 1이 아닌 경우에만 시그널링 된다.
dependent_slice_segment_flag는 슬라이스 헤더에 포함되어 시그널링 되는 구문 요소이며, dependent_slice_segment_flag가 1이면 각 슬라이스 세그먼트 헤더 구문 요소의 값은 존재하지 않고 이러한 값은 슬라이스 헤더 내 대응되는 슬라이스 세그먼트 헤더 구문 요소의 값들로 유추된다. 여기서 대응되는 슬라이스 세그먼트 헤더란 독립적인 슬라이스 세그먼트의 헤더를 의미하는 것으로 종속적 슬라이스의 경우, 독립적 슬라이스의 주소에 대응시켜 독립적 슬라이스 세그먼트의 정보를 이용하는 것으로 정의될 수 있다.
즉, dependent_slice_segment_flag가 1이면 현재 슬라이스가 종속적 슬라이스(dependent slice)인 것을 나타낸다.
표 15
Figure PCTKR2013011327-appb-T000015
표 15를 참조하면, extension_flag_slice_header [i]는 num_extra_slice_header_bits에 대한 시그널링이 존재하고, DependentSliceSegmentFlag가 1이 아닌 경우에만 시그널링 된다.
DependentSliceSegmentFlag는 dependent_slice_segment_flag와 같은 구문 요소를 이용하여 설정될 수 있는 변수로써 현재 슬라이스가 종속적 슬라이스(dependent slice)이지 여부를 나타낼 수 있다.
제2 파트-옵션 3
본 옵션은 제1 파트의 옵션 4 내지 6의 시그널링을 확장한 것으로, 본 옵션에서는 슬라이스 헤더에서 확장된 플래그(보류된 플래그)의 시그널링을 위한 다단계 구조를 제안한다.
본 옵션에 따른 슬라이스 헤더의 구문 요소를 표로 나타내면 표 16과 같다.
표 16
Figure PCTKR2013011327-appb-T000016
표 16을 참조하면, first_slice_segment_in_pic_flag가 1이면 현재 슬라이스 세그먼트가 디코딩 순서 상 첫 번째 슬라이스 세그먼트인 것을 나타내고, first_slice_segment_in_pic_flag가 0이면 해당 슬라이스 세그먼트가 디코딩 순서 상 첫 번째 슬라이스 세그먼트가 아닌 것을 나타낸다.
no_output_of_prior_pics_flag는 비트스트림에서 첫 번째 픽쳐가 아닌 랜덤 억세스 포인트 픽쳐 중 IDR(instantaneous decoding refresh) 또는 BLA(broken link access) 픽쳐의 디코딩 후, DPB(decoded picture buffer) 내의 이전에 디코딩된 픽쳐의 출력에 영향을 준다.
extra_slice_header_bits_present_fla가 0이면, extension_flag_slice_header [ i ]가 존재하지 않은 것을 나타낼 수 있고, extension_flag_slice_header [ i ]가 1이면 extension_flag_slice_header [ i ]가 존재하는 것을 나타낼 수 있다.
extension_flag_slice_header [ i ]는 미래의 사용을 위하여 보류된 시멘틱스와 값을 가진다. 즉, extension_flag_slice_header [ i ]는 보류된 플래그로서 num_extra_slice_header_bits 값에 대응하는 개수의 시멘틱스 및 값을 가질 수 있다.
extension_flag_slice_header의 시그널링을 위한 추가적인 비트 수는 기설정된 값으로 정해질 수도 있고, 프로파일 정의에 의존하여 정해질 수도 있다.
additional_extra_slice_header_bits_present_flag가 0이면, additional_extension_flag_slice_header가 존재하지 않은 것을 나타낼 수 있고, additional_extra_slice_header_bits_present_flag가 1이면 additional_extension_flag_slice_header가 존재하는 것을 나타낼 수 있다.
additional_extension_flag_slice_header은 미래의 사용을 위하여 보류된 시멘틱스와 값을 가진다. additional_extension_flag_slice_header의 시그널링을 위한 비트 수는 0보다 클 수 있다.
additional_extension_flag_slice_header의 시그널링을 위한 추가적인 비트 수는 기설정된 값으로 정해질 수도 있고, 프로파일 정의에 의존하여 정해질 수도 있다.
pic_parameter_set_id은 사용되는 PPS를 위한 pps_pic_parameter_set의 값을 나타내며, 0부터 63까지의 값을 가질 수 있다.
표 16과 같이, 본 옵션에 따른 슬라이스 헤더에는 보류된 플래그 시그널링을 위한 additional_extra_slice_header_bits_present_flag와 additional_extension_flag_slice_header와 같은 추가적인 정보를 더 포함한다.
제2 파트-옵션 4
본 옵션은 제1 파트의 옵션 4 내지 6의 시그널링을 확장한 것으로, 본 옵션에서는 슬라이스 헤더에서 확장된 플래그(보류된 플래그)의 시그널링을 위한 다단계 구조를 제안한다. 본 옵션에 따를 경우 확장된 플래그들은 종속적인 슬라이스 세그먼트에서는 시그널링 되지 않는다.
본 옵션에 따른 슬라이스 헤더의 구문 요소를 표로 나타내면 표 17 또는 표18과 같다.
표 17
Figure PCTKR2013011327-appb-T000017
표 17을 참조하면, extension_flag_slice_header [ i ]는 extra_slice_header_bits_present_flag 가 1이고, dependent_slice_segment_flag가 1이 아닌 경우에만 시그널링 된다. dependent_slice_segment_flag는 슬라이스 헤더에 포함되어 시그널링 되는 구문 요소이며, dependent_slice_segment_flag가 1이면 각 슬라이스 세그먼트 헤더 구문 요소의 값은 존재하지 않고 이러한 값은 슬라이스 헤더 내 대응되는 슬라이스 세그먼트 헤더 구문 요소의 값들로 유추된다. 즉, dependent_slice_segment_flag가 1이면 현재 슬라이스가 종속적 슬라이스(dependent slice)인 것을 나타낸다.
표 18
Figure PCTKR2013011327-appb-T000018
표 18을 참조하면, extra_slice_header_bits_present_flag는 dependent_slice_segment_flag가 1이 아닌 경우에만 시그널링 된다. 즉, 현재 슬라이스가 종속적인 슬라이스이면 extra_slice_header_bits_present_flag와 extra_slice_header_bits_present_fla에 따라 시그널링 되는 보류된 플래그인 extension_flag_slice_header가 시그널링 되지 않는다.
NAL 유닛 헤더 플래그 확장의 지시를 시그널링하는 제1 파트에 대하여 상술된 모든 옵션과 확장된 플래그의 존재 여부를 지시하기 위한 플래그 또는 정보가 존재할 수 있는 모든 위치에 대한 실시예, 슬라이스 헤더에서 NAL 유닛 헤더 플래그 확장을 시그널링하는 제2 파트에 대하여 상술된 모든 옵션과 확장된 플래그가 존재할 수 있는 모든 위치에 대한 실시예는 각각 독립적으로 구현될 수 있다. 따라서, 제1 파트 대한 각 실시예들은 제2 파트에 대한 각 실시예들에 서로 결합되어 구현될 수 있다.
도 7은 본 발명의 일 실시예에 따른 영상의 디코딩 장치를 설명하기 위한 제어 블록도이다.
본 실시예에 따른 영상 디코딩 장치는 파싱부(710)와, 제1 계층 디코딩부(720), 제2 계층 디코딩부(730)를 포함한다.
본 실시예에 따른 파싱부(710)는 수신되는 비트스트림으로부터 제1 계층 디코딩부(720)와 제2 계층 디코딩부(730)가 원하는 정보를 파악하는 구성 요소로서, 엔트로피 디코딩부로 구현될 수 있다.
파싱부(710)는 실질적으로 영상을 디코딩하는 디코딩 장치에 포함될 수도 있고, 시스템에 포함될 수도 있다.
파싱부(710)는 NAL 유닛 페이로드를 파싱하여, NAL 유닛 페이로드에 포함되어 있는 지시 정보 및 보류된 정보를 파악한다.
우선, 파싱부(710)는 미래에 사용될 보류된 정보의 존재 여부를 나타내는 지시 정보를 파싱하고 지시 정보가 보류된 정보가 존재하는 것을 나타내면, 보류된 정보를 포함하는 슬라이드 헤더를 파싱한다. 즉 본 발명에 따를 경우, 지시 정보와 보류된 정보는 NAL 유닛 헤더가 아닌 NAL 유닛의 페이로드에 포함되어 수신된다.
본 발명의 일 실시예에 따를 경우, 지시 정보는 픽쳐 파라미터 세트에 포함되어 수신될 수 있다. 이 경우, 지시 정보는 파라미터 세트에서 활성화된 SPS(Sequence Parameter Set)에 대한 SPS ID를 지시하는 구문 요소 및 슬라이스 헤더가 종속적인 슬라이스 헤더인지 여부를 지시하는 플래그 정보의 존재 여부를 나타내는 구문 요소 다음에 위치하여 시그널링 될 수 있다.
본 발명의 다른 실시예에 따르면, 지시 정보는 시퀀스 파라미터 세트 또는 비디오 파라미터 세트에 포함되어 수신될 수도 있다.
지시 정보는 NON-VCL NAL 유닛에 포함되어 시그널링된다.
지시 정보는 슬라이스 헤더에서 보류된 정보를 포함하기 위하여 추가된 추가 슬라이스 헤더 비트수를 나타내는 정보일 수 있다. 예를 들어, 지시 정보는 구문 요소 num_extra_slice_header_bits 로 시그널링 될 수 있다.
또는, 지시 정보는 extra_slice_header_bits_present_flag와 같은 지시 정보의 존재 여부를 나타내는 플래그 일 수도 있다.
비트스트림이 단일 레이어의 영상을 지원하는 경우, 추가 슬라이스 헤더 비트수는 0이고, 비트스트림이 복수의 레이어의 영상을 지원하는 경우 추가 슬라이스 헤더 비트수는 1 이상일 수 있다.
한편, 보류된 정보는 보류된 플래그 또는 확장된 플래그라고 표현될 수 있고, 다시점 레이어, 공간적 스케일러빌러티를 지원하는 영상 또는 3D를 지원하는 영상을 위하여 사용되는 정보이다. 보류된 정보는 추가 슬라이스 헤더 비트수에 대응하는 개수만큼 시멘틱스와 값을 가질 수 있으며, 구문 요소 extension_flag_slice_header, slice_reserved_undetermined_flag, slice_reserved_flag 등으로 시그널링 될 수 있다.
한편, 보류된 정보는 현재 슬라이스가 종속적 슬라이스가 아닌 경우에만 수신될 수 있다.
비트스트림이 복수의 레이어를 지원하는 영상 신호인 경우, 제1 계층 디코딩부(720)는 다른 레이어에 참조되는 기본 레이어를 디코딩하고, 제2 계층 디코딩부(730)는 기본 레이어를 참조하여 상위 레이어를 디코딩할 수 있다.
제1 계층 디코딩부(720)와 제2 계층 디코딩부(730)는 실제 하나의 칩 또는 모둘로 구현될 수 있으며, 도면에는 기능적으로 구분하여 도시된 것으로, 도면의 구성에 권리범위가 한정되지 않는다.
기본 레이어의 경우, 지시 정보 및 보류된 정보가 활성화 되지 않을 것이다.
기본 레이어에 기초하여 확장된 레이어의 경우에는 보류된 정보가 존재할 수 있고, 예를 들어 비트스트림이 다시점 레이어, 공간적 스케일러빌러티를 지원하는 영상 또는 3D를 지원하는 영상인 경우, 보류된 정보가 사용될 수 있다.
이런 경우, 제2 계층 디코딩부(730)는 보류된 정보가 가지는 시멘틱스 및 값에 기초하여 상위 레이어 영상에 대한 디코딩을 수행할 수 있다.
도 8은 본 발명에 따른 영상의 디코딩 방법을 설명하기 위한 제어 흐름도이다.
도 8을 참조하면, 디코딩 장치는 미래에 사용될 보류된 정보의 존재 여부를 나타내는 지시 정보를 포함하는 파라미터 세트를 수신하여, 파싱한다(S810).
지시 정보는 픽쳐 파라미터 세트에 포함되어 수신될 수 있으며, 슬라이스 헤더에서 보류된 정보를 포함하기 위하여 추가된 추가 슬라이스 헤더 비트수를 나타내는 정보로 시그널링 될 수 있다.
비트스트림이 단일 레이어의 영상을 지원하는 경우, 추가 슬라이스 헤더 비트수는 0이다.
지시 정보는 픽쳐 파라미터 세트에 앞쪽이 위치하여 시그널링 될 수 있다. 예를 들어, 지시 정보는 파라미터 세트에서 활성화된 SPS(Sequence Parameter Set)에 대한 SPS ID를 지시하는 구문 요소 및 슬라이스 헤더가 종속적인 슬라이스 헤더인지 여부를 지시하는 플래그 정보의 존재 여부를 나타내는 구문 요소 다음에 위치하여 시그널링 될 수 있다.
디코딩 장치는 지시 정보가 보류된 정보가 존재하는 것을 나타내면, 보류된 정보를 포함하는 슬라이드 헤더를 수신하여 파싱한다(S820).
보류된 정보는 다시점 레이어, 공간적 스케일러빌러티를 지원하는 영상 또는 3D를 지원하는 영상을 위하여 사용되도록 결정되지 않은 정보일 수 있으며, 추가 슬라이스 헤더 비트수에 대응하는 개수만큼 시멘틱스와 값을 가질 수 있다.
그런 후, 디코딩 장치는 보류된 정보에 대응하는 시멘틱스 및 값에 따라 영상을 디코딩 한다(S830).
비트스트림이 단일 레이어만을 지원하는 경우, 지시 정보는 보류된 정보가 존재하지 않는 것으로 시그널링 하므로, 단일 레이어는 통상의 영상의 디코딩 방식에 따라 디코딩 된다.
만약, 비트스트림이 복수의 레이어는 지원하는 경우, 디코딩 장치는 확장된 레이어를 위하여 새롭게 시멘틱스와 값을 갖는 보류된 정보에 기초하여 상위 레이어를 디코딩한다.
상술한 바와 같이, 본 발명은 복수의 레이어를 지원하는 비트스트림과 같이 레이어가 확장되어 이들을 기술하기 위한 추가 비트가 필요한 경우, 공간이 제한적인NAL 유닛 헤더의 구조를 확장하여 슬라이스 헤더에 보류된 플래그를 포함시켜 시그널링한다.
슬라이스 헤더의 앞부분에 보류된 플래그와 같은 보류된 정보를 시그널링하여 기존에는 NAL 유닛 헤더만 파싱하던 것을 슬라이스 헤더까지 파싱하는 것을 특징으로 한다.
이 때, 보류된 정보가 존재하는지 여부를 알려주는 지시 정보는 파라미터 세트, 예를 들어 픽쳐 파라미터 세트에 포함EHL여 시그널링 될 수 있다.
한편, 보류된 정보는 현재의 슬라이스가 종속적 슬라이스인 경우 시그널링 되지 않는다.
상술한 예시적인 시스템에서, 방법들은 일련의 단계 또는 블록으로써 순서도를 기초로 설명되고 있지만, 본 발명은 단계들의 순서에 한정되는 것은 아니며, 어떤 단계는 상술한 바와 다른 단계와 다른 순서로 또는 동시에 발생할 수 있다. 또한, 상술한 실시예들은 다양한 양태의 예시들을 포함할 수 있으므로 각 실시예의 조합 역시 본 발명의 일 실시예로서 이해되어야 할 것이다. 따라서, 본 발명은 이하의 특허청구범위 내에 속하는 모든 다른 교체, 수정 및 변경을 포함한다고 할 것이다.

Claims (8)

  1. 영상의 디코딩 방법에 있어서,
    미래에 사용될 보류된 정보의 존재 여부를 나타내는 지시 정보를 포함하는 파라미터 세트를 수신하여, 파싱하는 단계와;
    상기 지시 정보가 상기 보류된 정보가 존재하는 것을 나타내면, 상기 보류된 정보를 포함하는 슬라이드 헤더를 수신하여 파싱하는 단계와;
    상기 보류된 정보에 대응하는 시멘틱스 및 값에 따라 영상을 디코딩 하는 단계를 포함하는 것을 특징으로 하는 영상의 디코딩 방법.
  2. 제1항에 있어서,
    상기 지시 정보는 픽쳐 파라미터 세트에 포함되어 수신되는 것을 특징으로 하는 영상의 디코딩 방법.
  3. 제2항에 있어서,
    상기 지시 정보는 상기 슬라이스 헤더에서 상기 보류된 정보를 포함하기 위하여 추가된 추가 슬라이스 헤더 비트수를 나타내는 정보인 것을 특징으로 하고,
    상기 비트스트림이 단일 레이어의 영상을 지원하는 경우, 상기 추가 슬라이스 헤더 비트수는 0인 것을 특징으로 하는 영상의 디코딩 방법.
  4. 제2항에 있어서,
    상기 지시 정보는 상기 픽쳐 파라미터 세트에서 활성화된 SPS(Sequence Parameter Set)에 대한 SPS ID를 지시하는 구문 요소 및 슬라이스 헤더가 종속적인 슬라이스 헤더인지 여부를 지시하는 플래그 정보의 존재 여부를 나타내는 구문 요소 다음에 위치하여 시그널링 되는 것을 특징으로 하는 영상의 디코딩 방법.
  5. 제2항에 있어서,
    상기 보류된 정보는 상기 추가 슬라이스 헤더 비트수에 대응하는 개수만큼 시멘틱스와 값을 가질 수 있는 것을 특징으로 하는 영상의 디코딩 방법.
  6. 제1항에 있어서,
    상기 보류된 정보는 현재 슬라이스가 종속적 슬라이스가 아닌 경우 수신되는 것을 특징으로 하는 영상의 디코딩 방법.
  7. 제1항에 있어서,
    상기 보류된 정보는 다시점 레이어, 공간적 스케일러빌러티를 지원하는 영상 또는 3D를 지원하는 영상을 위하여 사용되는 것을 특징으로 하는 영상의 디코딩 방법.
  8. 제1항에 있어서,
    상기 지시 정보와 상기 보류된 정보는 NAL 유닛의 페이로드에 포함되어 수신되는 것을 특징으로 하는 영상의 디코딩 방법.
PCT/KR2013/011327 2012-12-10 2013-12-09 영상의 디코딩 방법 및 이를 이용하는 장치 WO2014092407A1 (ko)

Priority Applications (8)

Application Number Priority Date Filing Date Title
KR1020147022741A KR101614361B1 (ko) 2012-12-10 2013-12-09 영상의 디코딩 방법 및 이를 이용하는 장치
US14/377,042 US9621906B2 (en) 2012-12-10 2013-12-09 Method for decoding image and apparatus using same
EP13862098.4A EP2930936A4 (en) 2012-12-10 2013-12-09 IMAGE DECODING METHOD AND APPARATUS USING THE SAME
CN201380011238.8A CN104137561B (zh) 2012-12-10 2013-12-09 解码图像的方法和使用其的装置
US15/445,290 US10015501B2 (en) 2012-12-10 2017-02-28 Method for decoding image and apparatus using same
US16/001,589 US10298940B2 (en) 2012-12-10 2018-06-06 Method for decoding image and apparatus using same
US16/381,051 US10666958B2 (en) 2012-12-10 2019-04-11 Method for decoding image and apparatus using same
US16/854,093 US10972743B2 (en) 2012-12-10 2020-04-21 Method for decoding image and apparatus using same

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201261735552P 2012-12-10 2012-12-10
US61/735,552 2012-12-10
US201361754625P 2013-01-20 2013-01-20
US61/754,625 2013-01-20

Related Child Applications (2)

Application Number Title Priority Date Filing Date
US14/377,042 A-371-Of-International US9621906B2 (en) 2012-12-10 2013-12-09 Method for decoding image and apparatus using same
US15/445,290 Continuation US10015501B2 (en) 2012-12-10 2017-02-28 Method for decoding image and apparatus using same

Publications (1)

Publication Number Publication Date
WO2014092407A1 true WO2014092407A1 (ko) 2014-06-19

Family

ID=50934631

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2013/011327 WO2014092407A1 (ko) 2012-12-10 2013-12-09 영상의 디코딩 방법 및 이를 이용하는 장치

Country Status (5)

Country Link
US (5) US9621906B2 (ko)
EP (1) EP2930936A4 (ko)
KR (3) KR101614361B1 (ko)
CN (4) CN104137561B (ko)
WO (1) WO2014092407A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115244927A (zh) * 2020-01-13 2022-10-25 Lg电子株式会社 图像/视频编码系统中的帧间预测方法和设备

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11438609B2 (en) * 2013-04-08 2022-09-06 Qualcomm Incorporated Inter-layer picture signaling and related processes
KR102657916B1 (ko) 2013-07-15 2024-04-15 지이 비디오 컴프레션, 엘엘씨 다계층식 비디오 코딩에서의 저지연 개념
US11388441B2 (en) * 2014-03-18 2022-07-12 Qualcomm Incorporated Derivation of SPS temporal ID nesting information for multi-layer bitstreams
US9894370B2 (en) * 2014-03-24 2018-02-13 Qualcomm Incorporated Generic use of HEVC SEI messages for multi-layer codecs
CN106658225B (zh) * 2016-10-31 2019-11-26 日立楼宇技术（广州）有限公司 视频扩展码设置及视频播放方法和系统
EP3535977A4 (en) * 2016-11-01 2020-05-20 Nokia Technologies Oy APPARATUS, METHOD, AND COMPUTER PROGRAM FOR VIDEO ENCODING AND DECODING
CN112292855B (zh) * 2018-04-09 2024-06-04 Sk电信有限公司 用于对图像进行编码/解码的方法和装置
US11589069B2 (en) 2018-09-20 2023-02-21 Sharp Kabushiki Kaisha Systems and methods for signaling parameters in video coding
WO2020263133A1 (en) * 2019-06-28 2020-12-30 Huawei Technologies Co., Ltd. Method and apparatus for still picture and video coding
CN114731442B (zh) * 2019-09-16 2023-12-01 Lg电子株式会社 使用加权预测的图像编码/解码方法和装置以及发送比特流的方法
US11509938B2 (en) * 2019-11-05 2022-11-22 Hfi Innovation Inc. Method and apparatus of signaling subpicture information in video coding
CN115004708A (zh) * 2019-11-27 2022-09-02 Lg电子株式会社 用于发信号通知图像信息的方法和设备
MX2022007896A (es) * 2019-12-23 2022-09-26 Lg Electronics Inc Dispositivo y metodo de codificacion de imagenes con base en filtrado.
CN118235408A (zh) * 2021-09-29 2024-06-21 Op解决方案公司 用于可缩放的机器视频编码的系统和方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050265449A1 (en) * 2004-05-29 2005-12-01 Yoon Suk-Hyun Methods, circuits, and computer program products for syntax parsing in H.264 compliant video decoders
US20070230564A1 (en) * 2006-03-29 2007-10-04 Qualcomm Incorporated Video processing with scalability
KR100799592B1 (ko) * 2006-11-30 2008-01-30 한국전자통신연구원 스케일러블 비디오 비트스트림의 계층 변조 송수신을 위한장치 및 그 방법
US20100026883A1 (en) * 2006-03-30 2010-02-04 Byeong Moon Jeon Method and Apparatus for Decoding/Encoding a Video Signal
US20120275517A1 (en) * 2011-03-10 2012-11-01 Vidyo Inc. Dependency parameter set for scalable video coding

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2404467A (en) * 2003-07-31 2005-02-02 Sony Uk Ltd Access control for digital content
WO2007058470A1 (en) 2005-11-15 2007-05-24 Electronics And Telecommunications Research Institute A method of scalable video coding for varying spatial scalability of bitstream in real time and a codec using the same
KR101521041B1 (ko) * 2006-05-25 2015-05-15 톰슨 라이센싱 가중 인코딩을 위한 방법 및 시스템
KR100809298B1 (ko) * 2006-06-22 2008-03-04 삼성전자주식회사 플래그 인코딩 방법, 플래그 디코딩 방법, 및 상기 방법을이용한 장치
CN101422046A (zh) * 2006-11-09 2009-04-29 Lg电子株式会社 用于解码/编码视频信号的方法及装置
CN101569197B (zh) * 2006-12-21 2013-07-10 汤姆森许可贸易公司 针对多视点视频编码和解码使用高级语法进行改进信号通知的方法和装置
CN102724556B (zh) 2007-04-18 2015-07-22 汤姆森许可贸易公司 编码系统
WO2009005658A2 (en) * 2007-06-28 2009-01-08 Thomson Licensing Single loop decoding of multi-vieuw coded video
KR100898769B1 (ko) 2007-09-19 2009-05-20 전자부품연구원 실시간 스트리밍 서비스를 위한 ｓｖｃ 비디오 데이터추출기 및 방법
JP4786623B2 (ja) * 2007-09-25 2011-10-05 Ｋｄｄｉ株式会社 動画像符号化装置および動画像復号装置
CN100555290C (zh) * 2008-04-01 2009-10-28 南靖万利达科技有限公司 快速检索图片的方法
US9706214B2 (en) * 2010-12-24 2017-07-11 Microsoft Technology Licensing, Llc Image and video decoding implementations
US9491491B2 (en) * 2011-06-03 2016-11-08 Qualcomm Incorporated Run-mode based coefficient coding for video coding
US20130170561A1 (en) * 2011-07-05 2013-07-04 Nokia Corporation Method and apparatus for video coding and decoding

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050265449A1 (en) * 2004-05-29 2005-12-01 Yoon Suk-Hyun Methods, circuits, and computer program products for syntax parsing in H.264 compliant video decoders
US20070230564A1 (en) * 2006-03-29 2007-10-04 Qualcomm Incorporated Video processing with scalability
US20100026883A1 (en) * 2006-03-30 2010-02-04 Byeong Moon Jeon Method and Apparatus for Decoding/Encoding a Video Signal
KR100799592B1 (ko) * 2006-11-30 2008-01-30 한국전자통신연구원 스케일러블 비디오 비트스트림의 계층 변조 송수신을 위한장치 및 그 방법
US20120275517A1 (en) * 2011-03-10 2012-11-01 Vidyo Inc. Dependency parameter set for scalable video coding

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115244927A (zh) * 2020-01-13 2022-10-25 Lg电子株式会社 图像/视频编码系统中的帧间预测方法和设备

Also Published As

Publication number Publication date
CN107770555B (zh) 2020-04-14
KR101614361B1 (ko) 2016-04-21
KR20170012531A (ko) 2017-02-02
US20170171551A1 (en) 2017-06-15
US20190238869A1 (en) 2019-08-01
US20180288427A1 (en) 2018-10-04
US10298940B2 (en) 2019-05-21
KR101701119B1 (ko) 2017-02-01
CN107770546B (zh) 2020-04-10
CN107770555A (zh) 2018-03-06
US9621906B2 (en) 2017-04-11
US10972743B2 (en) 2021-04-06
US20150271507A1 (en) 2015-09-24
US20200252634A1 (en) 2020-08-06
KR20160047446A (ko) 2016-05-02
CN104137561A (zh) 2014-11-05
KR20140130125A (ko) 2014-11-07
CN107770545A (zh) 2018-03-06
CN107770545B (zh) 2020-04-24
US10666958B2 (en) 2020-05-26
CN104137561B (zh) 2017-10-03
EP2930936A1 (en) 2015-10-14
CN107770546A (zh) 2018-03-06
EP2930936A4 (en) 2016-11-02
US10015501B2 (en) 2018-07-03

Similar Documents

Publication Publication Date Title
WO2014092407A1 (ko) 영상의 디코딩 방법 및 이를 이용하는 장치
WO2013157828A1 (ko) 복수의 계층을 지원하는 비트스트림의 디코딩 방법 및 이를 이용하는 장치
WO2014003379A1 (ko) 영상 디코딩 방법 및 이를 이용하는 장치
WO2014038906A1 (ko) 영상 복호화 방법 및 이를 이용하는 장치
WO2015056941A1 (ko) 다계층 기반의 영상 부호화/복호화 방법 및 장치
WO2013162249A1 (ko) 비디오 인코딩 방법, 비디오 디코딩 방법 및 이를 이용하는 장치
WO2014042460A1 (ko) 영상 부호화/복호화 방법 및 장치
WO2015009036A1 (ko) 시간적 서브 레이어 정보에 기반한 인터 레이어 예측 방법 및 장치
WO2021040492A1 (ko) 비디오/영상 코딩 시스템에서 변환 계수 코딩 방법 및 장치
WO2014107069A1 (ko) 영상 부호화/복호화 방법 및 장치
WO2021177794A1 (ko) 혼성 nal 유닛 타입에 기반하는 영상 부호화/복호화 방법, 장치 및 비트스트림을 전송하는 방법
WO2021040319A1 (ko) 비디오/영상 코딩 시스템에서 라이스 파라미터 도출 방법 및 장치
WO2021177791A1 (ko) 혼성 nal 유닛 타입에 기반하는 영상 부호화/복호화 방법, 장치 및 비트스트림을 전송하는 방법
WO2021066618A1 (ko) 변환 스킵 및 팔레트 코딩 관련 정보의 시그널링 기반 영상 또는 비디오 코딩
WO2021132963A1 (ko) 슬라이스 또는 픽처에 대한 nal 유닛 타입 기반 영상 또는 비디오 코딩
WO2022131870A1 (ko) Nal 유닛 어레이 정보를 포함하는 미디어 파일 생성/수신 방법, 장치 및 미디어 파일 전송 방법
WO2021241963A1 (ko) 비디오 또는 영상 코딩 시스템에서의 poc 정보 및 비-참조 픽처 플래그에 기반한 영상 코딩 방법
WO2013169049A1 (ko) 인터 레이어 예측 방법 및 이를 이용하는 장치
WO2021066609A1 (ko) 변환 스킵 및 팔레트 코딩 관련 고급 문법 요소 기반 영상 또는 비디오 코딩
WO2021235759A1 (ko) 비디오 또는 영상 코딩 시스템에서의 다중 레이어 기반 영상 코딩 방법
WO2020185036A1 (ko) 비디오 신호를 처리하기 위한 방법 및 장치
WO2024049269A1 (ko) Hrd 파라미터를 시그널링하는 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 컴퓨터 판독 가능한 기록 매체
WO2021194100A1 (ko) 픽쳐 헤더를 이용하는 비디오 신호 처리 방법 및 장치
WO2021194208A1 (ko) 혼성 nal 유닛 타입에 기반하는 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장하는 기록 매체
WO2024076141A1 (ko) 포스트 디코딩 필터에 기반한 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장하는 기록 매체

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13862098

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 14377042

Country of ref document: US

ENP Entry into the national phase

Ref document number: 20147022741

Country of ref document: KR

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 2013862098

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE