WO2014003428A1 - 비디오 인코딩 방법, 비디오 디코딩 방법 및 이를 이용하는 장치 - Google Patents

비디오 인코딩 방법, 비디오 디코딩 방법 및 이를 이용하는 장치 Download PDF

Info

Publication number
WO2014003428A1
WO2014003428A1 PCT/KR2013/005636 KR2013005636W WO2014003428A1 WO 2014003428 A1 WO2014003428 A1 WO 2014003428A1 KR 2013005636 W KR2013005636 W KR 2013005636W WO 2014003428 A1 WO2014003428 A1 WO 2014003428A1
Authority
WO
WIPO (PCT)
Prior art keywords
tile
slice
tiles
lcu
picture
Prior art date
Application number
PCT/KR2013/005636
Other languages
English (en)
French (fr)
Inventor
헨드리헨드리
김정선
김철근
전병문
정상오
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to KR1020227000890A priority Critical patent/KR102412470B1/ko
Priority to US14/411,313 priority patent/US9736482B2/en
Priority to DK13808815.8T priority patent/DK2866439T3/da
Priority to KR1020207028496A priority patent/KR102249484B1/ko
Priority to KR1020217013310A priority patent/KR102351132B1/ko
Priority to EP20200231.7A priority patent/EP3780606B1/en
Priority to KR1020147023349A priority patent/KR102164572B1/ko
Priority to CN201810877301.0A priority patent/CN108718410B/zh
Priority to PL20200231T priority patent/PL3780606T3/pl
Priority to EP24172972.2A priority patent/EP4443877A1/en
Priority to KR1020227020885A priority patent/KR102545727B1/ko
Priority to PL13808815T priority patent/PL2866439T3/pl
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority to EP22150345.1A priority patent/EP4002842B1/en
Priority to ES13808815T priority patent/ES2841995T3/es
Priority to EP23179540.2A priority patent/EP4236315B1/en
Priority to CN201810876802.7A priority patent/CN108769692B/zh
Priority to EP13808815.8A priority patent/EP2866439B1/en
Priority to CN201380039570.5A priority patent/CN104509112B/zh
Publication of WO2014003428A1 publication Critical patent/WO2014003428A1/ko
Priority to US15/651,178 priority patent/US10085026B2/en
Priority to US16/109,214 priority patent/US10491901B2/en
Priority to US16/598,984 priority patent/US10863178B2/en
Priority to US17/088,409 priority patent/US11245907B2/en
Priority to US17/571,040 priority patent/US11729392B2/en
Priority to US18/220,014 priority patent/US12075055B2/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/13—Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/107—Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/112—Selection of coding mode or of prediction mode according to a given display mode, e.g. for interlaced or progressive display mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/129—Scanning of coding units, e.g. zig-zag scan of transform coefficients or flexible macroblock ordering [FMO]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/167—Position within a video image, e.g. region of interest [ROI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/184—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/91—Entropy coding, e.g. variable length coding [VLC] or arithmetic coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Definitions

  • the present invention relates to video compression techniques, and more particularly to a method for specifying a region of a picture.
  • High-efficiency image compression technology can be used to effectively transmit, store, and reproduce high-resolution, high-quality video information.
  • inter prediction and intra prediction may be used.
  • the pixel value of the current picture is predicted by referring to information of another picture
  • the intra prediction method the pixel value is predicted by using the correlation between pixels in the same picture. do.
  • Various methods for making an image identical to an original may be applied to a processing unit, eg, a block, of a predicted image. This allows the decoding apparatus to decode the image more accurately (more consistent with the original), and the encoding apparatus can encode the image so that it can be more accurately reconstructed.
  • An object of the present invention is to provide a configuration of slices and tiles that can improve coding efficiency.
  • An object of the present invention is to provide an arrangement of tiles and maximum size coding units capable of improving coding efficiency and a coding method and apparatus using the same.
  • An object of the present invention is to provide a method and apparatus for signaling entry point information to improve coding efficiency.
  • An embodiment of the present invention is a video encoding method, comprising: setting a tile and a slice for an input current picture, performing encoding based on the tile and slice, and transmitting encoded video information;
  • the current picture may include one or more tiles and one or more slices, and the maximum size coding units (hereinafter, LCUs) in the slice may be arranged according to a tile scan.
  • LCUs maximum size coding units
  • Another embodiment of the present invention is a video decoding method, comprising: receiving video information, specifying a tile and a slice for a current picture according to the received video information, and performing decoding based on the tile and slice
  • the current picture may include one or more tiles and one or more slices, and the maximum size coding units (hereinafter, LCUs) in the slice may be arranged according to a tile scan.
  • LCUs maximum size coding units
  • coding efficiency can be improved through an effective configuration of slices and tiles.
  • coding efficiency can be increased through an effective arrangement of tiles and maximum size coding efficiency.
  • an entry point for parallel processing can be accurately indicated through signaling of entry point information.
  • FIG. 1 is a block diagram schematically illustrating a video encoding apparatus according to an embodiment of the present invention.
  • FIG. 2 is a block diagram schematically illustrating a video decoding apparatus according to an embodiment of the present invention.
  • FIG. 3 is a diagram schematically illustrating an example of a slice.
  • FIG. 4 is a diagram schematically illustrating an example of a tile and a slice.
  • FIG. 5 is a diagram schematically illustrating another example of a tile and a slice.
  • FIG. 6 is a diagram simply illustrating a case where a problem may occur in parallel processing.
  • FIG. 7 is an example schematically illustrating a raster scan order of an LCU.
  • FIG. 8 is an example schematically illustrating a raster scan order of an LCU.
  • FIG. 9 is a diagram schematically illustrating an example of a problem that may occur according to a structure between a slice and a tile in a decoding process.
  • FIG. 10 is a view schematically illustrating an example of a slice and tile structure according to the present invention.
  • 11 through 15 are diagrams illustrating setting of tiles and slices.
  • FIG. 16 briefly illustrates an example of tile and slice settings for a case where Table 1 is applied.
  • 17 is a flowchart schematically illustrating an encoding method according to the present invention.
  • FIG. 18 is a flowchart schematically illustrating a decoding method according to the present invention.
  • each of the components in the drawings described in the present invention are shown independently for the convenience of description of the different characteristic functions in the video encoding apparatus / decoding apparatus, each component is a separate hardware or separate software It does not mean that it is implemented.
  • two or more of each configuration may be combined to form one configuration, or one configuration may be divided into a plurality of configurations.
  • Embodiments in which each configuration is integrated and / or separated are also included in the scope of the present invention without departing from the spirit of the present invention.
  • the encoding apparatus 100 may include a picture divider 105, a predictor 110, a transformer 115, a quantizer 120, a reordering unit 125, an entropy encoding unit 130, An inverse quantization unit 135, an inverse transform unit 140, a filter unit 145, and a memory 150 are provided.
  • the picture dividing unit 105 may divide the input picture into at least one processing unit block.
  • the block as the processing unit may be a prediction unit (hereinafter referred to as a PU), a transform unit (hereinafter referred to as a TU), or a coding unit (hereinafter referred to as "CU"). It may be called.
  • the processing unit blocks divided by the picture divider 105 may have a quad-tree structure.
  • the predictor 110 includes an inter predictor for performing inter prediction and an intra predictor for performing intra prediction, as described below.
  • the prediction unit 110 generates a prediction block by performing prediction on the processing unit of the picture in the picture division unit 105.
  • the processing unit of the picture in the prediction unit 110 may be a CU, a TU, or a PU.
  • the prediction unit 110 may determine whether the prediction performed on the processing unit is inter prediction or intra prediction, and determine specific contents (eg, prediction mode, etc.) of each prediction method.
  • the processing unit in which the prediction is performed may differ from the processing unit in which specific contents of the prediction method and the prediction method are determined.
  • the method of prediction and the prediction mode may be determined in units of PUs, and the prediction may be performed in units of TUs.
  • a prediction block may be generated by performing prediction based on information of at least one picture of a previous picture and / or a subsequent picture of the current picture.
  • a prediction block may be generated by performing prediction based on pixel information in a current picture.
  • a skip mode, a merge mode, a motion vector prediction (MVP), and the like can be used.
  • a reference picture may be selected for a PU and a reference block corresponding to the PU may be selected.
  • the reference block may be selected in integer pixel units.
  • a prediction block is generated in which a residual signal with the current PU is minimized and the size of the motion vector is also minimized.
  • the prediction block may be generated in integer sample units or may be generated in integer or less pixel units.
  • the motion vector may also be expressed in units of integer pixels or less.
  • the residual may be used as the reconstructed block, and thus the residual may not be generated, transformed, quantized, or transmitted.
  • a prediction mode When performing intra prediction, a prediction mode may be determined in units of PUs, and prediction may be performed in units of PUs. In addition, a prediction mode may be determined in units of PUs, and intra prediction may be performed in units of TUs.
  • the prediction mode may have 33 directional prediction modes and at least two non-directional modes.
  • the non-directional mode may include a DC prediction mode and a planner mode (Planar mode).
  • a prediction block may be generated after applying a filter to a reference sample.
  • whether to apply the filter to the reference sample may be determined according to the intra prediction mode and / or the size of the current block.
  • the PU may be a block of various sizes / types, for example, in the case of inter prediction, the PU may be a 2N ⁇ 2N block, a 2N ⁇ N block, an N ⁇ 2N block, an N ⁇ N block (N is an integer), or the like.
  • the PU In the case of intra prediction, the PU may be a 2N ⁇ 2N block or an N ⁇ N block (where N is an integer).
  • the PU of the N ⁇ N block size may be set to apply only in a specific case.
  • the NxN block size PU may be used only for the minimum size CU or only for intra prediction.
  • PUs such as N ⁇ mN blocks, mN ⁇ N blocks, 2N ⁇ mN blocks, or mN ⁇ 2N blocks (m ⁇ 1) may be further defined and used.
  • the residual value (the residual block or the residual signal) between the generated prediction block and the original block is input to the converter 115.
  • the prediction mode information, the motion vector information, etc. used for the prediction are encoded by the entropy encoding unit 130 together with the residual value and transmitted to the decoding apparatus.
  • the transform unit 115 performs transform on the residual block in units of transform blocks and generates transform coefficients.
  • the transform block is a rectangular block of samples to which the same transform is applied.
  • the transform block can be a transform unit (TU) and can have a quad tree structure.
  • the transformer 115 may perform the transformation according to the prediction mode applied to the residual block and the size of the block.
  • the residual block is transformed using a discrete sine transform (DST), otherwise the residual block is transformed into a discrete cosine transform (DCT). Can be converted using.
  • DST discrete sine transform
  • DCT discrete cosine transform
  • the transform unit 115 may generate a transform block of transform coefficients by the transform.
  • the quantization unit 120 may generate quantized transform coefficients by quantizing the residual values transformed by the transform unit 115, that is, the transform coefficients.
  • the value calculated by the quantization unit 120 is provided to the inverse quantization unit 135 and the reordering unit 125.
  • the reordering unit 125 rearranges the quantized transform coefficients provided from the quantization unit 120. By rearranging the quantized transform coefficients, the encoding efficiency of the entropy encoding unit 130 may be increased.
  • the reordering unit 125 may rearrange the quantized transform coefficients in the form of a 2D block into a 1D vector form through a coefficient scanning method.
  • the entropy encoding unit 130 may perform entropy encoding on the quantized transform coefficients rearranged by the reordering unit 125.
  • Entropy encoding may include, for example, encoding methods such as Exponential Golomb, Context-Adaptive Variable Length Coding (CAVLC), and Context-Adaptive Binary Arithmetic Coding (CABAC).
  • the entropy encoding unit 130 may include quantized transform coefficient information, block type information, prediction mode information, partition unit information, PU information, transmission unit information, and motion vector of the CUs received from the reordering unit 125 and the prediction unit 110.
  • Various information such as information, reference picture information, interpolation information of a block, and filtering information may be encoded.
  • the entropy encoding unit 130 may apply a constant change to a parameter set or syntax to be transmitted.
  • the inverse quantizer 135 inversely quantizes the quantized values (quantized transform coefficients) in the quantizer 120, and the inverse transformer 140 inversely transforms the inverse quantized values in the inverse quantizer 135.
  • the reconstructed block may be generated by combining the residual values generated by the inverse quantizer 135 and the inverse transform unit 140 and the prediction blocks predicted by the prediction unit 110.
  • a reconstructed block is generated by adding a residual block and a prediction block through an adder.
  • the adder may be viewed as a separate unit (restore block generation unit) for generating a reconstruction block.
  • the filter unit 145 may apply a deblocking filter, an adaptive loop filter (ALF), and a sample adaptive offset (SAO) to the reconstructed picture.
  • ALF adaptive loop filter
  • SAO sample adaptive offset
  • the deblocking filter may remove distortion generated at the boundary between blocks in the reconstructed picture.
  • the adaptive loop filter may perform filtering based on a value obtained by comparing the reconstructed image with the original image after the block is filtered through the deblocking filter. ALF may be performed only when high efficiency is applied.
  • the SAO restores the offset difference from the original image on a pixel-by-pixel basis to the residual block to which the deblocking filter is applied, and is applied in the form of a band offset and an edge offset.
  • the filter unit 145 may not apply filtering to the reconstructed block used for inter prediction.
  • the memory 150 may store the reconstructed block or the picture calculated by the filter unit 145.
  • the reconstructed block or picture stored in the memory 150 may be provided to the predictor 110 that performs inter prediction.
  • the video decoding apparatus 200 includes an entropy decoding unit 210, a reordering unit 215, an inverse quantization unit 220, an inverse transform unit 225, a prediction unit 230, and a filter unit 235.
  • Memory 240 may be included.
  • the input bitstream may be decoded according to a procedure in which image information is processed in the video encoding apparatus.
  • VLC variable length coding
  • 'VLC' variable length coding
  • CABAC CABAC
  • Information for generating the prediction block among the information decoded by the entropy decoding unit 210 is provided to the predictor 230, and a residual value where entropy decoding is performed by the entropy decoding unit 210, that is, a quantized transform coefficient It may be input to the reordering unit 215.
  • the reordering unit 215 may reorder the information of the bitstream entropy decoded by the entropy decoding unit 210, that is, the quantized transform coefficients, based on the reordering method in the encoding apparatus.
  • the reordering unit 215 may reorder the coefficients expressed in the form of a one-dimensional vector by restoring the coefficients in the form of a two-dimensional block.
  • the reordering unit 215 may generate an array of coefficients (quantized transform coefficients) in the form of a 2D block by scanning coefficients based on the prediction mode applied to the current block (transform block) and the size of the transform block.
  • the inverse quantization unit 220 may perform inverse quantization based on the quantization parameter provided by the encoding apparatus and the coefficient values of the rearranged block.
  • the inverse transform unit 225 may perform inverse DCT and / or inverse DST on the DCT and the DST performed by the transform unit of the encoding apparatus with respect to the quantization result performed by the video encoding apparatus.
  • the inverse transformation may be performed based on a transmission unit determined by the encoding apparatus or a division unit of an image.
  • the DCT and / or DST in the encoding unit of the encoding apparatus may be selectively performed according to a plurality of pieces of information, such as a prediction method, a size and a prediction direction of the current block, and the inverse transformer 225 of the decoding apparatus may be Inverse transformation may be performed based on the performed transformation information.
  • the prediction unit 230 may generate the prediction block based on the prediction block generation related information provided by the entropy decoding unit 210 and the previously decoded block and / or picture information provided by the memory 240.
  • intra prediction for generating a prediction block based on pixel information in the current picture may be performed.
  • inter prediction on the current PU may be performed based on information included in at least one of a previous picture or a subsequent picture of the current picture.
  • motion information required for inter prediction of the current PU provided by the video encoding apparatus for example, a motion vector, a reference picture index, and the like, may be derived by checking a skip flag, a merge flag, and the like received from the encoding apparatus.
  • the reconstruction block may be generated using the prediction block generated by the predictor 230 and the residual block provided by the inverse transform unit 225.
  • FIG. 2 it is described that the reconstructed block is generated by combining the prediction block and the residual block in the adder.
  • the adder may be viewed as a separate unit (restore block generation unit) for generating a reconstruction block.
  • the residual is not transmitted and the prediction block may be a reconstruction block.
  • the reconstructed block and / or picture may be provided to the filter unit 235.
  • the filter unit 235 may apply deblocking filtering, sample adaptive offset (SAO), and / or ALF to the reconstructed block and / or picture.
  • SAO sample adaptive offset
  • the memory 240 may store the reconstructed picture or block to use as a reference picture or reference block and provide the reconstructed picture to the output unit.
  • the encoding apparatus and the decoding apparatus may divide and process (encode / decode) the picture into predetermined units. For example, a picture may be divided into slices and tiles.
  • a slice is an independent slice segment in the same access unit, and an integer number of coding tree units belonging to the dependent slice segments that follow this independent slice segment and precede the next independent slice segment. It may be a Coding Tree Unit (CTU) or a Coding Tree Block (CTB).
  • CTU Coding Tree Unit
  • CTB Coding Tree Block
  • the coding tree unit is a coding unit having a quad-tree structure, and may be referred to as a largest coding unit (LCU) in that it is the largest coding unit.
  • LCU largest coding unit
  • the coding tree unit may refer to a coding tree block of luma samples for one picture with three sample arrays, a coding tree block of two corresponding chroma samples, and a syntax structure that is used to code / decode the samples.
  • the coding tree unit may refer to a coding tree block for samples of a mono picture and a syntax structure used to code / decode the samples, using three separate color planes. May refer to a coding tree block of samples for the frozen picture and a syntax structure used to code / decode the samples.
  • the coding tree block is a coding block of the maximum size, and the coding block may be generated by partitioning the coding tree block.
  • a coding tree unit (CTU), a maximum coding unit (LCU), and a coding tree block (CTB) may be mixed where necessary to facilitate understanding of the present invention.
  • CTU coding tree unit
  • LCU maximum coding unit
  • CTB coding tree block
  • a slice segment is an integer number of CTUs (or LCUs) that are continuously ordered in a tile scan and contained in a single Network Abstraction Layer (NAL) unit.
  • NAL Network Abstraction Layer
  • the portion containing the data element for the first coding tree block (coding tree unit) or all coding tree blocks (coding tree units) of the slice segment is called a slice segment head. If the current slice segment is an independent slice segment, the slice segment header of this independent slice segment is used. If the current slice is a dependent slice segment, the most recent of the independent slice segments that precede the current slice segment in decoding order.
  • the slice segment header of an independent slice segment of is called a slice header.
  • the slice may be a transmission unit of the NAL unit.
  • a NAL unit can be composed of slices or slice segments.
  • FIG. 3 is a diagram schematically illustrating an example of a slice.
  • the current picture may be divided into a plurality of slices by slice boundaries.
  • the current picture 300 is divided into two slices by the slice boundary 350 as an example.
  • a slice includes a slice segment that includes a coding tree unit.
  • the slice segment included in the slice may include an independent slice segment, and if there is a dependent slice segment, the slice segment may include a dependent slice segment.
  • the first slice includes an independent slice segment 310 including four coding tree units and a first dependent slice segment 320 including 32 coding tree units before and after the slice segment boundary 330.
  • the case of the second dependent slice segment 340 including 24 coding tree units is illustrated as an example.
  • the case where another independent slice segment 360 consists of 28 coding tree units is shown as an example.
  • a tile may be a coding tree unit, a coding tree block, or a sequence of maximum coding units.
  • the coding tree unit is a coding unit of a quad-tree structure, and may be a largest coding unit (LCU).
  • LCU largest coding unit
  • a tile is a rectangular area with a particular tile column and a particular tile row in a picture.
  • a tile column is a rectangular region of CTBs (or LCUs) having the same height as the height of the picture and having a width specified by signaling.
  • a tile row is a rectangular area of CTBs (or LCUs) having the same width as the picture and having a height specified by signaling.
  • the width of the tile column and the height of the tile row may be specified by the syntax element signaled.
  • the width of a tile column and the height of a tile row in a picture may be specified by syntax elements transmitted in a picture parameter set for that picture.
  • a tile scan is a specific sequential ordering of CTBs (or LCUs) partitioning a picture.
  • the continuous order is that CTBs (or LCUs) are ordered consecutively by a CTB raster scan in a tile, and tiles are raster scanned in a picture (in raster scan). ) Can be aligned continuously.
  • Tiles may be a unit of scan within a picture, and thus, tiles may be continuously aligned according to a scan order of a picture within a picture, for example, a raster scan order.
  • both of the following two conditions are met or at least one is established.
  • All coding tree units or maximum coding units in a slice segment belong to the same tile.
  • All coding tree units or maximum coding units in a tile belong to the same slice segment.
  • FIG. 4 is a diagram schematically illustrating an example of a tile and a slice.
  • Tiles within a picture may be divided into a plurality of tiles based on tile boundaries.
  • 4 illustrates an example in which the current picture 400 includes only one slice and is divided into two tiles left and right by the tile boundary 410.
  • Tiles and slices can coexist, and in FIG. 4, the slices in the current picture 400 are divided into four subordinate slice segments divided by an independent slice segment 420 and a slice segment boundary 430, 440, and 450. The case where it is comprised is shown as an example.
  • FIG. 5 is a diagram schematically illustrating another example of a tile and a slice.
  • FIG. 5 also shows an example in which the current picture 500 is divided into two tiles on the left and right by the tile boundary 510.
  • a tile to the left of tile boundary 510 includes two slices based on slice boundary 550.
  • a slice includes an independent slice and, if there is a dependent slice, may include a dependent slice.
  • a slice above slice boundary 550 includes an independent slice segment 520 and a dependent slice segment 540, and a slice below slice boundary 550 subordinates to an independent slice segment 530.
  • the case including the slice segment 560 is shown as an example.
  • the next slice ie, the slice in the second tile, based on the slice boundary 590, includes an independent slice segment 570 and a dependent slice segment 580.
  • Tiles and slices may be processing units of independent decoding. For example, when parallel decoding proceeds, each tile can be decoded by a single processing core, and each slice can also be decoded by a single processing core.
  • slices and tiles are a sequence of consecutive coding tree blocks (coding tree units)
  • the tiles may have a particular shape.
  • a tile may be a rectangular area unlike slices.
  • slice segment header including a data element in each slice segment.
  • slice header of the independent slice segment is called a slice header.
  • the tile is not a unit in which header information exists and may be a unit of parallel processing (for example, parallel decoding).
  • One or more tiles may be present in a slice, and may be referred to as a loose relationship with respect to the relationship between the current slice and the tile, provided that one or more slices may be in the tile.
  • FIG. 6 is a diagram simply illustrating a case where a problem may occur in parallel processing.
  • an area 600 of a picture includes a tile 1 610 and a tile 2 620.
  • the region 600 in the picture is composed of two slices.
  • the region 600 in the picture may be a partial region in the picture or may be an entire picture.
  • the first slice contains ten coding tree blocks ((1,1) through (2,10)), and the second slice contains six coding tree blocks ((2,1) through (2,6)). do.
  • Processing Core 1 and Processing Core 2 which are the subjects of the decoding process, process different tiles in parallel.
  • processing core 1 processes tile 1 610
  • processing core 2 processes tile 2 620.
  • One problem that may occur in the case of FIG. 6 is that it is difficult for the processing cores 1 and 2 to perform decoding in parallel.
  • the processing header becomes difficult to perform decoding using information of the slice header.
  • LCU (1,9) and LCU (1,10) refer to LCU (1,5) and LCU (1,6). You will not be able to.
  • LCU (1,9), LCU (1,10), LCU (1,5), LCU (1,6) are in the same slice, and in the slice in FIG. 6 with respect to the reference pixel in intra prediction. There is no limit to apply to, which can cause confusion in the decoding process.
  • a tile cannot cross a slice boundary and a slice cannot cross a tile boundary.
  • an integer number of tiles must exist in a slice when a slice includes a tile
  • an integer number of slices must exist in a tile when a tile includes a slice.
  • One picture may be partitioned into one or more slices and / or one or more tiles.
  • the complete tile is a single tile, and means a whole that is not divided into parts of one tile.
  • a complete slice is one slice, meaning the whole is not divided into parts of one slice.
  • the relationship between slices and tiles may be considered in terms of CTB (or LCU). For example, for each slice and tile, at least one of the following conditions must be met.
  • Tile identification may be specified in raster scan order, and LCUs (or CTBs) in a tile may be ordered in block order and in raster scan order.
  • FIG. 7 is an example schematically illustrating a raster scan order of an LCU.
  • one picture 710 includes one slice and one tile.
  • slices and tiles have the same size as picture 710.
  • LCUs in a picture are arranged in a raster scan order.
  • FIG. 8 is an example schematically illustrating a raster scan order of an LCU.
  • FIG. 8 a case in which one picture 810 includes one slice and 12 tiles, and each tile includes four LCUs will be described as an example.
  • the slice has the same size as the picture 710, and thus the slice includes 12 tiles.
  • tiles within a picture 810 are arranged in raster scan order
  • LCUs are arranged in raster scan order within each tile
  • tiles are arranged in units of four tiles. They are arranged together in raster scan order.
  • FIG. 9 is a diagram schematically illustrating an example of a problem that may occur according to a structure between a slice and a tile in a decoding process.
  • each slice includes six tiles, and each tile includes four LCUs is described.
  • a number assigned to each LCU is an LCU index for specifying the LCU, and the LCU indexes are designated in tile scan order.
  • the number assigned to each tile is a tile ID (tile_id) for specifying a tile, and the tile ID is designated according to the tile scan order.
  • the LCU to be processed next is the LCU at index n + 1. Therefore, after processing (encoding / decoding) LCU # 7 (that is, the last LCU of a tile having a tile ID (tile_id) of 1 in the first slice), the LCU to be processed next in the example of FIG. 9 becomes LCU # 8. .
  • LCU # 8 is an LCU belonging to a different slice from LCU # 7, and LCUs that belong to LCU # 7 remain unprocessed.
  • the LCU read and processing on the actual bitstream is LCU # 16, which is the next LCU in the same slice as LCU # 7, but the decoder is LCU, which is the next LCU of LCU # 7 on the LCU index. You might decide that you are processing # 8.
  • tile IDs must be continuous and endless between tiles belonging to the same slice.
  • tiles present in a slice must be sequential in raster scan order and have no discontinuity in tile ID (tile_id).
  • FIG. 10 is a view schematically illustrating an example of a slice and tile structure according to the present invention.
  • FIG. 10 a case in which the picture 1010 includes two slices and each slice includes eight tiles will be described as an example.
  • the first slice includes tiles 0-7 and the second slice includes slices 8-15. Also in the example of FIG. 10, each tile includes four LCUs.
  • tiles belonging to the same slice are sequentially arranged in the raster scan order according to the limitation of the present invention, and there is no discontinuity in tile IDs for tiles in the same slice.
  • the encoding device and the decoding device may solve the problem as shown in the example of FIG. 9 by setting / specifying the tiles and slices as follows.
  • a tile is an integer number of CTBs that exist simultaneously in one row and one column, and are arranged consecutively according to a coding tree block raster scan (within that tile) of that tile. For example, in a picture, a rectangular area corresponding to a common area of a column having a width corresponding to a predetermined number of LCUs and a row having a height corresponding to a predetermined number of LCUs may be set as a tile.
  • each picture into tiles may be referred to as partitioning.
  • the tiles in the picture are arranged continuously in accordance with the tile raster scan of the picture.
  • a tile scan is a sequential ordering of CTBs that partitions a picture.
  • the tile scan arrangement traverses CTBs (or LCUs) in accordance with a coding tree block raster scan in a tile, and traverses tiles in a picture according to a raster scan order.
  • the slice includes CTBs that are arranged continuously according to the coding tree block raster scan (within the tile) of the tile, the CTBs do not need to be arranged continuously according to the coding tree block raster scan (within the picture) of the picture.
  • a slice is an integer number of CTBs ordered consecutively in the tile scan.
  • the division of each picture into slices is called partitioning.
  • the coding tree block address may be derived from the first coding tree block address in the slice (as represented in the slice header).
  • the tiles within the slice are arranged according to the raster scan, and within each tile the CTBs are also arranged according to the raster scan.
  • tile raster scan means raster scan of tiles
  • coding tree block raster scan means raster scan of coding tree blocks.
  • the CTBs in the slice are arranged not in the raster scan order but in the tile scan order.
  • the arrangement as in the example of FIG. 9 may be prevented from occurring.
  • 11 to 15 are diagrams illustrating configuration of allowed tiles and slices according to I and II and configuration of tiles and slices not allowed.
  • the picture 1110 is composed of three slices and each tile includes four CTBs.
  • the first slice includes tiles 0-3, the second slice includes tiles 4-7, and the third slice includes tiles 8-11.
  • FIG. 12 illustrates an example in which the picture 1210 includes four slices, and each tile includes four CTBs.
  • the first slice contains tiles of 0 and 1
  • the second slice contains tiles of 2-5
  • the third slice contains tiles of 6-9
  • the fourth slice Contains 10 and 11 tiles.
  • FIG. 13 illustrates an example in which a picture 1310 includes two slices and each tile includes four CTBs.
  • the first slice includes tiles of 0, 1, 4, 5, 8, 9 and the second slice includes tiles of 2, 3, 6, 7, 10, 11.
  • FIG. 14 illustrates an example in which the picture 1410 includes two slices, each slice includes one tile, and each tile includes 24 CTBs.
  • FIG. 15 illustrates an example in which the picture 1510 includes four slices, and each tile includes four CTBs.
  • the first slice contains tiles of 0, 4, 8
  • the second slice contains tiles of 1, 2, 3
  • the third slice contains tiles of 5, 6, 7
  • the fourth slice contains 9, 10, and 11 tiles.
  • a tile ID for each LCU may be indicated.
  • the tile ID information indicates to which tile the entry point offset is associated.
  • the tile ID information indicates to which tile the entry point offset is associated.
  • the number of entry point offsets is equal to the number of tiles in the slice.
  • the number of entry point offsets may be equal to the number of tiles-1 in the slice.
  • entry point means a point at which decoding is started in each tile or wavefront parallel processing (WPP), and the entry point offset specifies the number of bits between two entry points.
  • entry point offset i represents the number of bits between entry point i and entry point i-1.
  • Table 1 schematically shows an example of the slice header information modified by the present invention.
  • offset_tile_id [i] specifies an entry point offset associated with the i th entry point offset [entry_point offset [i]).
  • offset_tile_id [i] has a value between 0 and (num_tile_columns_minus1 + 1) * (num_tile_rows_minus1 +1) – 1.
  • offset_tile_id [i] may be expressed as a bit value of ceil (log2 (((# num_tile_columns_minus1 + 1) * (num_tile_rows_minus1 + 1))).
  • num_tile_columns_minus1 specifies the width of the i-th tile column in CTB (ie, LCU) units. That is, num_tile_columns_minus1 # + # 1 for offset_tile_id [i] indicates a value indicating the width of the i-th tile column in CTB units.
  • num_tile_rows_minus1 specifies the height of the i-th tile row in CTB (ie, LCU) units. That is, num_tile_rows_minus1 # + # 1 for offset_tile_id [i] indicates a value indicating the height of the i-th tile row in CTB units.
  • FIG. 16 briefly illustrates an example of tile and slice settings for a case where Table 1 is applied.
  • the picture 1610 includes two slices, the first slice includes tiles of 0, 1, 4, 5, 8, 9, and the second slice includes 2, 3, 6, 7, 10,
  • the case containing the tile of 11 is demonstrated as an example.
  • each tile includes four CTBs.
  • Table 2 and Table 3 briefly illustrate an example of applying the signaling shown in Table 1 with respect to FIG.
  • Table 2 shows an example of signaling for the first slice of FIG. 16.
  • the number of entry point offsets is six, and each entry point offset indicates the first bit of the first LCU (CTB) in each tile.
  • CTB first LCU
  • the number of entry point offsets of the first slice is 6, but the entry point offset may not be signaled for each entry point.
  • the entry point offset for the first entry point is not signaled, and the second entry is set by setting the number of entry point offsets to five. It is also possible to perform only five signaling starting from the offset for the point.
  • Table 3 briefly illustrates an example of signaling for the second slice of FIG. 16.
  • the number of entry point offsets is six, and each entry point offset indicates the first bit of the first LCU (CTB) in each tile.
  • CTB first LCU
  • the number of entry point offsets of the second slice is 6, but the entry point offset may not be signaled for each entry point.
  • the entry point offset for the first entry point is not signaled, and the second entry is set by setting the number of entry point offsets to five. It is also possible to perform only five signaling starting from the offset for the point.
  • I, II, and III have been described as individual embodiments so far, embodiments of the inventions to be described herein are not limited to I, II, and III.
  • I, II, III can be carried out not only individually but also together.
  • (1) and (2) of I may be applied simultaneously.
  • III may be applied to signal information about an entry point.
  • (1) and (2) of I it is possible to signal information about an entry point according to III.
  • information about the entry point may be signaled according to III while applying (1) and (2) and (A), (B) and (C) of I.
  • 17 is a flowchart schematically illustrating an encoding method according to the present invention.
  • the encoding apparatus may split an input picture (S1710).
  • the encoding apparatus may set a tile and a slice by dividing an input picture.
  • the picture may include one or more tiles and one or more slices.
  • Slices and tiles include CTBs (LCUs).
  • LCUs LCUs
  • CTBs LCUs
  • the content of the tile scan is as described above.
  • a slice includes a plurality of tiles
  • the plurality of tiles may be arranged in raster scan order within the slice.
  • Each tile may include a plurality of LCUs, where each LCU may be arranged in raster scan order within the tile.
  • Restrictions for parallel processing may apply to tiles and slices. For example, within an input picture, a tile cannot cross the boundary of the slice and the slice cannot cross the boundary of the tile.
  • a tile may include an integer number of complete slices if the tile comprises a slice
  • a slice may include an integer number of complete tiles if the slice comprises a tile.
  • the encoding apparatus may perform encoding based on the tile and the slice (S1720).
  • the picture may be divided into one or more tiles and one or more slices, and since the restrictions for parallel processing apply to the tiles and slices, the encoding apparatus may encode the tiles and / or slices in parallel through each processing core.
  • CUs divided along the quad tree structure from the LCU may be used as a unit of encoding.
  • the encoding device may transmit encoded video information in operation S1730.
  • the encoding apparatus may include information indicating a first bit of the first LCU in each tile for the second and subsequent tiles.
  • the information may be information indicating an offset between the first bit of the first LCU in the current tile and the first bit of the first LCU in the previous tile.
  • Video information may also include information about slices and tiles specified based on the constraints for the parallel processing.
  • operation S1710 may be performed by the picture division unit 105 of FIG. 1
  • operation S1720 may be performed by each functional block except for the picture division unit 105 in FIG. 1
  • operation S1730 may be performed by a separate transmission unit.
  • it may be performed through the entropy encoding unit 130.
  • the transmission unit may be included in the entropy encoding unit 130 instead of being provided separately.
  • FIG. 18 is a flowchart schematically illustrating a decoding method according to the present invention.
  • the decoding apparatus may receive video information in operation S1810.
  • the decoding apparatus may receive video information transmitted from the encoding apparatus, and the video information may include information specifying a tile and a slice in the current picture.
  • the encoding apparatus may include information indicating the first bit of the first LCU in each tile for the second and subsequent tiles.
  • the information may be information indicating an offset between the first bit of the first LCU in the current tile and the first bit of the first LCU in the previous tile.
  • the decoding apparatus may specify a partition of the current picture based on the received video information in operation S1820.
  • the decoding apparatus may specify the slice and the tile of the current picture based on the information specifying the tile and the slice included in the video information.
  • the current picture may include one or more tiles and one or more slices, and the slices and tiles may include CTBs (LCUs).
  • LCUs (CTBs) in a slice may be arranged according to a tile scan.
  • the content of the tile scan is as described above.
  • a slice includes a plurality of tiles
  • the plurality of tiles may be arranged in raster scan order within the slice.
  • Each tile may include a plurality of LCUs, where each LCU may be arranged in raster scan order within the tile.
  • Restrictions for parallel processing may apply to tiles and slices. For example, within an input picture, a tile cannot cross the boundary of the slice and the slice cannot cross the boundary of the tile.
  • a tile may include an integer number of complete slices if the tile comprises a slice, and a slice may include an integer number of complete tiles if the slice comprises a tile.
  • the decoding apparatus may perform decoding based on the specified tile and slice (S1830).
  • CUs divided along the quad tree structure from the LCU may be used as a unit of decoding.
  • Restrictions for parallel processing may be applied to tiles and slices, and the decoding apparatus may decode tiles and / or slices in parallel through each processing core.
  • step S1810 may be performed by a separate receiver or entropy decoder.
  • the receiver is not provided separately but may be included in the entropy decoding unit.
  • steps S1820 and S1830 may be performed in each functional block of FIG. 2.
  • S1820 and S1830 may be performed by the decoding unit.
  • step S1810 may also be received by the receiver in the decoder.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

본 발명은 비디오 인코딩 방법, 비디오 디코딩 방법 및 이를 이용하는 장치에 관한 것으로서, 본 발명에 따른 비디오 인코딩 방법은, 입력된 현재 픽처에 대한 타일과 슬라이스를 설정하는 단계, 상기 타일과 슬라이스를 기반으로 인코딩을 수행하는 단계 및 인코딩된 비디오 정보를 전송하는 단계를 포함하며, 상기 현재 픽처는 하나 이상의 타일과 하나 이상의 슬라이스를 포함할 수 있고, 상기 슬라이스 내 최대 크기 코딩 유닛(이하, LCU)들은 타일 스캔에 따라 배열될 수 있다.

Description

비디오 인코딩 방법, 비디오 디코딩 방법 및 이를 이용하는 장치
본 발명은 비디오 압축 기술에 관한 것으로서 더 구체적으로는 픽처의 영역을 특정하는 방법에 관한 것이다.
최근 고해상도, 고품질의 영상에 대한 요구가 다양한 응용 분야에서 증가하고 있다. 영상이 고해상도를 가지고 고품질이 될수록 해당 영상에 관한 정보량도 함께 증가한다.
따라서 기존의 유무선 광대역 회선과 같은 매체를 이용하여 영상 정보를 전송하거나 기존의 저장 매체를 이용해 영상 정보를 저장하는 경우에는, 정보의 전송 비용과 저장 비용이 증가하게 된다.
고해상도, 고품질 영상의 정보를 효과적으로 전송하거나 저장하고, 재생하기 위해 고효율의 영상 압축 기술을 이용할 수 있다.
영상 압축의 효율을 높이기 위해, 인터 예측과 인트라 예측을 이용할 수 있다. 인터 예측(inter prediction) 방법에서는 다른 픽처의 정보를 참조하여 현재 픽처(picture)의 픽셀값을 예측하며, 인트라 예측(intra prediction) 방법에서는 동일한 픽처 내에서 픽셀 간 연관 관계를 이용하여 픽셀값을 예측한다.
예측된 영상의 처리 단위, 예컨대 블록에 대하여는 영상을 원본과 동일하게 만들기 위한 다양한 방법이 적용될 수 있다. 이를 통해 디코딩 장치는 해당 영상을 더 정확하게(원본과 더 일치하게) 디코딩할 수 있으며, 인코딩 장치는 해당 영상이 더 정확하게 복원될 수 있도록 인코딩할 수 있다.
따라서, 픽처에서 각 처리 단위들을 어떻게 규정할 것인지, 예컨대, 처리 단위들 간의 제한 혹은 처리 단위의 사용에 관한 제한을 어떻게 규정할 것인지에 대한 연구가 필요할 수 있다.
본 발명은 디코딩 및 인코딩 효율을 높일 수 있는 방법 및 장치를 제공하는 것을 목적으로 한다.
본 발명은 코딩 효율을 높일 수 있는 슬라이스와 타일의 구성을 제공하는 것을 목적으로 한다.
본 발명은 코딩 효율을 높일 수 있는 타일 및 최대 크기 코딩 유닛의 배열과 이를 이용하는 코딩 방법 및 장치를 제공하는 것을 목적으로 한다.
본 발명은 코딩 효율을 높이기 위해 엔트리 포인트 정보를 시그널링하는 방법 및 장치를 제공하는 것을 목적으로 한다.
본 발명의 일 실시형태는 비디오 인코딩 방법으로서, 입력된 현재 픽처에 대한 타일과 슬라이스를 설정하는 단계, 상기 타일과 슬라이스를 기반으로 인코딩을 수행하는 단계 및 인코딩된 비디오 정보를 전송하는 단계를 포함하며, 상기 현재 픽처는 하나 이상의 타일과 하나 이상의 슬라이스를 포함할 수 있고, 상기 슬라이스 내 최대 크기 코딩 유닛(이하, LCU)들은 타일 스캔에 따라 배열될 수 있다.
본 발명의 다른 실시형태는 비디오 디코딩 방법으로서, 비디오 정보를 수신하는 단계, 상기 수신한 비디오 정보에 따라서 현재 픽처에 대한 타일과 슬라이스를 특정하는 단계 및 상기 타일과 슬라이스를 기반으로 디코딩을 수행하는 단계를 포함하며, 상기 현재 픽처는 하나 이상의 타일과 하나 이상의 슬라이스를 포함할 수 있고, 상기 슬라이스 내 최대 크기 코딩 유닛(이하, LCU)들은 타일 스캔에 따라 배열될 수 있다.
본 발명에 의하면, 슬라이스와 타일의 효과적인 구성을 통해 코딩 효율을 높일 수 있다.
본 발명에 의하면, 타일 및 최대 크기 코딩 효율의 효과적인 배열을 통해 코딩 효율을 높일 수 있다.
본 발명에 의하면, 엔트리 포인트 정보의 시그널링을 통해 병렬 처리를 위한 엔트리 포인트를 정확하게 지시할 수 있다.
도 1은 본 발명의 일 실시예에 따른 비디오 인코딩 장치를 개략적으로 도시한 블록도이다.
도 2는 본 발명의 일 실시예에 따른 비디오 디코딩 장치를 개략적으로 나타낸 블록도이다.
도 3은 슬라이스에 관한 일 예를 개략적으로 설명하는 도면이다.
도 4는 타일과 슬라이스에 관한 일 예를 개략적으로 설명하는 도면이다.
도 5는 타일과 슬라이스에 관한 다른 예를 개략적으로 설명하는 도면이다.
도 6은 병렬 처리에 문제가 발생할 수 있는 경우를 간단히 예시하는 도면이다.
도 7은 LCU의 래스터 스캔 순서를 개략적으로 설명하는 일 예이다.
도 8은 LCU의 래스터 스캔 순서를 개략적으로 설명하는 일 예이다.
도 9는 디코딩 과정에서 슬라이스와 타일 간의 구조에 따라서 발생할 수 있는 문제의 일 예를 개략적으로 설명하는 도면이다.
도 10은 본 발명에 따른 슬라이스와 타일 구조의 일 예를 개략적으로 설명하는 도면이다.
도 11 내지 도 15는 타일과 슬라이스의 설정을 예시하는 도면들이다.
도 16는 표 1을 적용하는 경우에 대한 타일과 슬라이스 설정의 일 예를 간단히 나타낸 것이다.
도 17은 본 발명에 따른 인코딩 방법을 개략적으로 설명하는 순서도이다.
도 18은 본 발명에 따른 디코딩 방법을 개략적으로 설명하는 순서도이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니다. 본 명세서에서 사용하는 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명의 기술적 사상을 한정하려는 의도로 사용되는 것은 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성 요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성 요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
한편, 본 발명에서 설명되는 도면상의 각 구성들은 비디오 인코딩 장치/디코딩 장치에서 서로 다른 특징적인 기능들에 관한 설명의 편의를 위해 독립적으로 도시된 것으로서, 각 구성들이 서로 별개의 하드웨어나 별개의 소프트웨어로 구현된다는 것을 의미하지는 않는다. 예컨대, 각 구성 중 두 개 이상의 구성이 합쳐져 하나의 구성을 이룰 수도 있고, 하나의 구성이 복수의 구성으로 나뉘어질 수도 있다. 각 구성이 통합 및/또는 분리된 실시예도 본 발명의 본질에서 벗어나지 않는 한 본 발명의 권리범위에 포함된다.
이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예를 보다 상세하게 설명하고자 한다. 이하, 도면상의 동일한 구성 요소에 대해서는 동일한 참조 부호를 사용하고 동일한 구성 요소에 대해서 중복된 설명은 생략한다.
도 1은 본 발명의 일 실시예에 따른 비디오 인코딩 장치를 개략적으로 도시한 블록도이다. 도 1을 참조하면, 인코딩 장치(100)는 픽처 분할부(105), 예측부(110), 변환부(115), 양자화부(120), 재정렬부(125), 엔트로피 인코딩부(130), 역양자화부(135), 역변환부(140), 필터부(145) 및 메모리(150)를 구비한다.
픽처 분할부(105)는 입력된 픽처를 적어도 하나의 처리 단위 블록으로 분할할 수 있다. 이때, 처리 단위로서의 블록은 예측 유닛(Prediction Unit, 이하 ‘PU’라 함)일 수도 있고, 변환 유닛(Transform Unit, 이하 ‘TU’라 함)일 수도 있으며, 코딩 유닛(Coding Unit, 이하 ‘CU’라 함)일 수도 있다.
픽처 분할부(105)에서 분할되는 처리 단위 블록들은 쿼드 트리(quad-tree) 구조를 가질 수 있다.
예측부(110)는 후술하는 바와 같이, 인터 예측을 수행하는 인터 예측부와 인트라 예측을 수행하는 인트라 예측부를 포함한다. 예측부(110)는, 픽처 분할부(105)에서 픽처의 처리 단위에 대하여 예측을 수행하여 예측 블록을 생성한다. 예측부(110)에서 픽처의 처리 단위는 CU일 수도 있고, TU일 수도 있고, PU일 수도 있다. 또한, 예측부(110)는 해당 처리 단위에 대하여 실시되는 예측이 인터 예측인지 인트라 예측인지를 결정하고, 각 예측 방법의 구체적인 내용(예컨대, 예측 모드 등)을 정할 수 있다. 이때, 예측이 수행되는 처리 단위와 예측 방법 및 예측 방법의 구체적인 내용이 정해지는 처리 단위는 다를 수 있다. 예컨대, 예측의 방법과 예측 모드 등은 PU 단위로 결정되고, 예측의 수행은 TU 단위로 수행될 수도 있다.
인터 예측을 통해서는 현재 픽처의 이전 픽처 및/또는 이후 픽처 중 적어도 하나의 픽처의 정보를 기초로 예측을 수행하여 예측 블록을 생성할 수 있다. 또한, 인트라 예측을 통해서는 현재 픽처 내의 픽셀 정보를 기초로 예측을 수행하여 예측 블록을 생성할 수 있다.
인터 예측의 방법으로서, 스킵(skip) 모드, 머지(merge) 모드, MVP(Motion Vector Predtiction) 등을 이용할 수 있다. 인터 예측에서는 PU에 대하여, 참조 픽처를 선택하고 PU에 대응하는 참조 블록을 선택할 수 있다. 참조 블록은 정수 픽셀 단위로 선택될 수 있다. 이어서, 현재 PU와의 레지듀얼(residual) 신호가 최소화되며 움직임 벡터 크기 역시 최소가 되는 예측 블록이 생성된다.
예측 블록은 정수 샘플 단위로 생성될 수도 있고, 정수 이하 픽셀 단위로 생성될 수도 있다. 이때, 움직임 벡터 역시 정수 픽셀 이하의 단위로 표현될 수 있다.
인터 예측을 통해 선택된 참조 픽처의 인덱스, 움직임 벡터(ex. Motion Vector Predictor), 레지듀얼 신호 등의 정보는 엔트로피 인코딩되어 디코딩 장치에 전달된다. 스킵 모드가 적용되는 경우에는 레지듀얼을 예측 블록을 복원 블록으로 할 수 있으므로, 레지듀얼을 생성, 변환, 양자화, 전송하지 않을 수 있다.
인트라 예측을 수행하는 경우에는, PU 단위로 예측 모드가 정해져서 PU 단위로 예측이 수행될 수 있다. 또한, PU 단위로 예측 모드가 정해지고 TU 단위로 인트라 예측이 수행될 수도 있다.
인트라 예측에서 예측 모드는 33개의 방향성 예측 모드와 적어도 2개 이상의 비방향성 모드를 가질 수 있다. 비향성성 모드는 DC 예측 모드 및 플래이너 모드(Planar 모드)을 포함할 수 있다.
인트라 예측에서는 참조 샘플에 필터를 적용한 후 예측 블록을 생성할 수 있다. 이때, 참조 샘플에 필터를 적용할 것인지는 현재 블록의 인트라 예측 모드 및/또는 사이즈에 따라 결정될 수 있다.
PU는 다양한 사이즈/형태의 블록일 수 있으며, 예컨대 인터 예측의 경우에 PU는 2N×2N 블록, 2N×N 블록, N×2N 블록, 또는 N×N 블록 (N은 정수) 등일 수 있다. 인트라 예측의 경우에 PU는 2N×2N 블록 또는 N×N 블록 (N은 정수) 등일 수 있다. 이때, N×N 블록 크기의 PU는 특정한 경우에만 적용하도록 설정할 수 있다. 예컨대 최소 크기 CU에 대해서만 NxN 블록 크기의 PU를 이용하도록 정하거나 인트라 예측에 대해서만 이용하도록 정할 수도 있다. 또한, 상술한 크기의 PU 외에, N×mN 블록, mN×N 블록, 2N×mN 블록 또는 mN×2N 블록 (m<1) 등의 PU를 더 정의하여 사용할 수도 있다.
생성된 예측 블록과 원본 블록 사이의 레지듀얼 값(레지듀얼 블록 또는 레지듀얼 신호)은 변환부(115)로 입력된다. 또한, 예측을 위해 사용한 예측 모드 정보, 움직임 벡터 정보 등은 레지듀얼 값과 함께 엔트로피 인코딩부(130)에서 인코딩되어 디코딩 장치에 전달된다.
변환부(115)는 변환 블록 단위로 레지듀얼 블록에 대한 변환을 수행하고 변환 계수를 생성한다.
변환 블록은 샘플들의 직사각형 블록으로서 동일한 변환이 적용되는 블록이다. 변환 블록은 변환 유닛(TU)일 수 있으며, 쿼드 트리(quad tree) 구조를 가질 수 있다.
변환부(115)는 레지듀얼 블록에 적용된 예측 모드와 블록의 크기에 따라서 변환을 수행할 수 있다.
예컨대, 레지듀얼 블록에 인트라 예측이 적용되었고 블록이 4x4의 레지듀얼 배열이라면, 레지듀얼 블록을 DST(Discrete Sine Transform)를 이용하여 변환하고, 그 외의 경우라면 레지듀얼 블록을 DCT(Discrete Cosine Transform)를 이용하여 변환할 수 있다.
변환부(115)는 변환에 의해 변환 계수들의 변환 블록을 생성할 수 있다.
양자화부(120)는 변환부(115)에서 변환된 레지듀얼 값들, 즉 변환 계수들을 양자화하여 양자화된 변환 계수를 생성할 수 있다. 양자화부(120)에서 산출된 값은 역양자화부(135)와 재정렬부(125)에 제공된다.
재정렬부(125)는 양자화부(120)로부터 제공된 양자화된 변환 계수를 재정렬한다. 양자화된 변환 계수를 재정렬함으로써 엔트로피 인코딩부(130)에서의 인코딩 효율을 높일 수 있다.
재정렬부(125)는 계수 스캐닝(Coefficient Scanning) 방법을 통해 2차원 블록 형태의 양자화된 변환 계수들을 1차원의 벡터 형태로 재정렬할 수 있다.
엔트로피 인코딩부(130)는 재정렬부(125)에 의해 재정렬된 양자화된 변환 계수들에 대한 엔트로피 인코딩을 수행할 수 있다. 엔트로피 인코딩에는 예를 들어, 지수 골롬(Exponential Golomb), CAVLC(Context-Adaptive Variable Length Coding), CABAC(Context-Adaptive Binary Arithmetic Coding) 등과 같은 인코딩 방법을 사용할 수 있다. 엔트로피 인코딩부(130)는 재정렬부(125) 및 예측부(110)로부터 전달받은 CU의 양자화된 변환 계수 정보 및 블록 타입 정보, 예측 모드 정보, 분할 단위 정보, PU 정보 및 전송 단위 정보, 움직임 벡터 정보, 참조 픽처 정보, 블록의 보간 정보, 필터링 정보 등 다양한 정보를 인코딩할 수 있다.
또한, 엔트로피 인코딩부(130)는 필요한 경우에, 전송하는 파라미터 셋(parameter set) 또는 신택스에 일정한 변경을 가할 수도 있다.
역양자화부(135)는 양자화부(120)에서 양자화된 값(양자화된 변환 계수)들을 역양자화하고, 역변환부(140)는 역양자화부(135)에서 역양자화된 값들을 역변환한다.
역양자화부(135) 및 역변환부(140)에서 생성된 레지듀얼 값과 예측부(110)에서 예측된 예측 블록이 합쳐져 복원 블록(Reconstructed Block)이 생성될 수 있다.
도 1에서는 가산기를 통해서, 레지듀얼 블록과 예측 블록이 합쳐져 복원 블록이 생성되는 것으로 설명하고 있다. 이때, 가산기를 복원 블록을 생성하는 별도의 유닛(복원 블록 생성부)로 볼 수도 있다.
필터부(145)는 디블록킹 필터, ALF(Adaptive Loop Filter), SAO(Sample Adaptive Offset)를 복원된 픽처에 적용할 수 있다.
디블록킹 필터는 복원된 픽처에서 블록 간의 경계에 생긴 왜곡을 제거할 수 있다. ALF(Adaptive Loop Filter)는 디블록킹 필터를 통해 블록이 필터링된 후 복원된 영상과 원래의 영상을 비교한 값을 기초로 필터링을 수행할 수 있다. ALF는 고효율을 적용하는 경우에만 수행될 수도 있다. SAO는 디블록킹 필터가 적용된 레지듀얼 블록에 대하여, 픽셀 단위로 원본 영상과의 오프셋 차이를 복원하며, 밴드 오프셋(Band Offset), 에지 오프셋(Edge Offset) 등의 형태로 적용된다.
한편, 인터 예측에 사용되는 복원 블록에 대해서 필터부(145)는 필터링을 적용하지 않을 수도 있다.
메모리(150)는 필터부(145)를 통해 산출된 복원 블록 또는 픽처를 저장할 수 있다. 메모리(150)에 저장된 복원 블록 또는 픽처는 인터 예측을 수행하는 예측부(110)에 제공될 수 있다.
도 2는 본 발명의 일 실시예에 따른 비디오 디코딩 장치를 개략적으로 나타낸 블록도이다. 도 2를 참조하면, 비디오 디코딩 장치(200)는 엔트로피 디코딩부(210), 재정렬부(215), 역양자화부(220), 역변환부(225), 예측부(230), 필터부(235) 메모리(240)를 포함할 수 있다.
비디오 인코딩 장치에서 영상 비트스트림이 입력된 경우, 입력된 비트스트림은 비디오 인코딩 장치에서 영상 정보가 처리된 절차에 따라서 디코딩될 수 있다.
예컨대, 비디오 인코딩 장치에서 엔트로피 인코딩을 수행하기 위해 CAVLC 등의 가변 길이 부호화(Variable Length Coding: VLC, 이하 ‘VLC’ 라 함)가 사용된 경우에, 엔트로피 디코딩부(210)도 인코딩 장치에서 사용한 VLC 테이블과 동일한 VLC 테이블로 구현하여 엔트로피 디코딩을 수행할 수 있다. 또한, 비디오 인코딩 장치에서 엔트로피 인코딩을 수행하기 위해 CABAC을 이용한 경우에, 엔트로피 디코딩부(210)는 이에 대응하여 CABAC을 이용한 엔트로피 디코딩을 수행할 수 있다.
엔트로피 디코딩부(210)에서 디코딩된 정보 중 예측 블록을 생성하기 위한 정보는 예측부(230)로 제공되고, 엔트로피 디코딩부(210)에서 엔트로피 디코딩이 수행된 레지듀얼 값, 즉 양자화된 변환 계수는 재정렬부(215)로 입력될 수 있다.
재정렬부(215)는 엔트로피 디코딩부(210)에서 엔트로피 디코딩된 비트스트림의 정보, 즉 양자화된 변환 계수를 인코딩 장치에서 재정렬한 방법을 기초로 재정렬할 수 있다.
재정렬부(215)는 1차원 벡터 형태로 표현된 계수들을 다시 2차원의 블록 형태의 계수로 복원하여 재정렬할 수 있다. 재정렬부(215)는 현재 블록(변환 블록)에 적용된 예측 모드와 변환 블록의 크기를 기반으로 계수에 대한 스캐닝을 수행하여 2 차원 블록 형태의 계수(양자화된 변환 계수) 배열을 생성할 수 있다.
역양자화부(220)는 인코딩 장치에서 제공된 양자화 파라미터와 재정렬된 블록의 계수값을 기초로 역양자화를 수행할 수 있다.
역변환부(225)는 비디오 인코딩 장치에서 수행된 양자화 결과에 대해, 인코딩 장치의 변환부가 수행한 DCT 및 DST에 대해 역DCT 및/또는 역DST를 수행할 수 있다. 역변환은 인코딩 장치에서 결정된 전송 단위 또는 영상의 분할 단위를 기초로 수행될 수 있다. 인코딩 장치의 변환부에서 DCT 및/또는 DST는 예측 방법, 현재 블록의 크기 및 예측 방향 등 복수의 정보에 따라 선택적으로 수행될 수 있고, 디코딩 장치의 역변환부(225)는 인코딩 장치의 변환부에서 수행된 변환 정보를 기초로 역변환을 수행할 수 있다.
예측부(230)는 엔트로피 디코딩부(210)에서 제공된 예측 블록 생성 관련 정보와 메모리(240)에서 제공된 이전에 디코딩된 블록 및/또는 픽처 정보를 기초로 예측 블록을 생성할 수 있다.
현재 PU에 대한 예측 모드가 인트라 예측(intra prediction) 모드인 경우에, 현재 픽처 내의 픽셀 정보를 기초로 예측 블록을 생성하는 인트라 예측을 수행할 수 있다.
현재 PU에 대한 예측 모드가 인터 예측(inter prediction) 모드인 경우에, 현재 픽처의 이전 픽처 또는 이후 픽처 중 적어도 하나의 픽처에 포함된 정보를 기초로 현재 PU에 대한 인터 예측을 수행할 수 있다. 이때, 비디오 인코딩 장치에서 제공된 현재 PU의 인터 예측에 필요한 움직임 정보, 예컨대 움직임 벡터, 참조 픽처 인덱스 등에 관한 정보는 인코딩 장치로부터 수신한 스킵 플래그, 머지 플래그 등을 확인하고 이에 대응하여 유도될 수 있다.
복원 블록은 예측부(230)에서 생성된 예측 블록과 역변환부(225)에서 제공된 레지듀얼 블록을 이용해 생성될 수 있다. 도 2에서는 가산기에서 예측 블록과 레지듀얼 블록이 합쳐져 복원 블록이 생성되는 것으로 설명하고 있다. 이때, 가산기를 복원 블록을 생성하는 별도의 유닛(복원 블록 생성부)로 볼 수 있다.
스킵 모드가 적용되는 경우에는 레지듀얼이 전송되지 않으며 예측 블록을 복원 블록으로 할 수 있다.
복원된 블록 및/또는 픽처는 필터부(235)로 제공될 수 있다. 필터부(235)는 복원된 블록 및/또는 픽처에 디블록킹 필터링, SAO(Sample Adaptive Offset) 및/또는 ALF 등을 적용할 수 있다.
메모리(240)는 복원된 픽처 또는 블록을 저장하여 참조 픽처 또는 참조 블록으로 사용할 수 있도록 할 수 있고 또한 복원된 픽처를 출력부로 제공할 수 있다.
인코딩 장치와 디코딩 장치는 픽처를 소정의 단위로 분할하여 처리(인코딩/디코딩) 할 수 있다. 예컨대, 픽처는 슬라이스와 타일로 분할될 수 있다.
슬라이스는 동일 AU(Access Unit) 내에서 한 독립 슬라이스 시그먼트(independent slice segment), 및 이 독립 슬라이스 시그먼트에 뒤따르며 다음 독립 슬라이스 시그먼트에 선행하는 종속 슬라이스 시그먼트들에 속하는 정수 개의 코딩 트리 유닛(Coding Tree Unit: CTU) 또는 코딩 트리 블록(Coding Tree Block: CTB)일 수 있다.
코딩 트리 유닛은 쿼드 트리(Quad-Tree) 구조의 코딩 유닛으로서, 가장 큰 코딩 유닛이라는 점에서 최대 크기 코딩 유닛(Largest Coding Unit: LCU)이라고 할 수 있다.
코딩 트리 유닛은 세 개의 샘플 어레이를 가지른 한 픽처에 대한 루마 샘플들의 코딩 트리 블록, 두 대응하는 크로마 샘플들의 코딩 트리 블록과 샘플들을 코딩/디코딩하는데 사용하는 신택스 구조를 지칭할 수 있다. 혹는 코딩 트리 유닛은 모노 픽처(monochrome picture)의 샘플들에 대한 코딩 트리 블록과 샘플들을 코딩/디코딩하는데 사용하는 신택스 구조를 지칭할 수도 있고, 세 가지 개별 색상 플래인(three separate colour planes)을 이용하여 고딩된 픽처에 대한 샘플들의 코딩 트리 블록과 샘플들을 코딩/디코딩하는데 사용하는 신택스 구조를 지칭할 수도 있다.
코딩 트리 블록은 최대 크기의 코딩 블록으로서, 코딩 블록은 코딩 트리 블록을 파티셔닝하여 생성될 수 있다.
본 명세서에서는 발명의 이해를 돕기 위해 필요한 곳에서 코딩 트리 유닛(CTU), 최대 코딩 유닛(LCU)와 코딩 트리 블록(CTB)을 혼용하여 설명할 수도 있다.
슬라이스 시그먼트는 타일 스캔에 있어서(in tile scan) 연속적으로 정렬(consecutively ordered)되고 단일 NAL(Network Abstraction Layer) 유닛에 포함된 정수 개의 CTU(혹은 LCU)이다.
슬라이스 시그먼트 내에서, 슬라이스 시그먼트의 첫 번째 코딩 트리 블록(코딩 트리 유닛) 혹은 모든 코딩 트리 블록(코딩 트리 유닛)들에 대한 데이터 요소를 포함하는 부분을 슬라이스 시그먼트 헤드라고 한다. 현재 슬라이스 시그먼트가 독립 슬라이스 시그먼트인 경우에는 이 독립 슬라이스 시그먼트의 슬라이스 시그먼트 헤더를, 현재 슬라이스가 종속 슬라이스 시그먼트인 경우에는 디코딩 순서상 현재 슬라이스 시그먼트를 앞서는 독립 슬라이스 시그먼트 중 가장 최근의 독립 슬라이스 시그먼트의 슬라이스 시그먼트 헤더를, 슬라이스 헤더라고 한다.
슬라이스는 NAL 유닛의 전송 단위일 수 있다. 예컨대, NAL 유닛은 슬라이스들 혹은 슬라인스 세그먼트들로 구성될 수 있다.
도 3은 슬라이스에 관한 일 예를 개략적으로 설명하는 도면이다.
현재 픽처는 슬라이스 경계에 의해 복수의 슬라이스로 나뉠 수 있다. 도 3에서는, 현재 픽처(300)가 슬라이스 경계(350)에 의해 두 개의 슬라이스로 구분되는 경우를 예로서 도시하고 있다.
슬라이스는 코딩 트리 유닛을 포함하는 슬라이스 시그먼트를 포함한다. 슬라이스 에 포함되는 슬라이스 시그먼트는 독립 슬라이스 시그먼트를 포함하며, 종속 슬라이스 시그먼트가 존재하는 경우에는 종속 슬라이스 시그먼트를 포함할 수 있다.
도 3에서는 첫 번째 슬라이스가 4 개의 코딩 트리 유닛을 포함하는 독립 슬라이스 시그먼트(310)와 슬라이스 시그먼트 경계(330)를 전후로 32개의 코딩 트리 유닛을 포함하는 제1 종속 슬라이스 시그먼트(320) 및 24개의 코딩 트리 유닛을 포함하는 제2 종속 슬라이스 시그먼트(340)로 구성되는 경우를 예로서 도시하고 있다. 또한, 도 6에서는, 또 하나의 독립 슬라이스 시그먼트(360)가 28개의 코딩 트리 유닛으로 구성되는 경우를 예로서 도시하고 있다.
타일(tile)은 코딩 트리 유닛, 코딩 트리 블록 또는 최대 코딩 유닛의 시퀀스일 수 있다. 코딩 트리 유닛은 쿼드 트리(Quad-Tree) 구조의 코딩 유닛으로서, 최대 크기 코딩 유닛(Largest Coding Unit: LCU)일 수 있다. 앞서 말한 바대로, 본 명세서에서는 발명의 이해를 돕기 위해 필요한 곳에서 코딩 트리 유닛, 최대 코딩 유닛을 혼용하여 설명한다.
구체적으로, 타일은 픽처에서 하나의 타일 행 및 하나의 타일 열 내(within a particular tile column and a particular tile row) 사각 영역이다. 타일 열(tile column)은 픽처의 높이와 동일한 높이를 가지며 시그널링에 의해 특정되는 폭(width)를 가지는 CTB(혹은 LCU)들의 사각 영역이다. 타일 행(tile row)는 픽처의 폭과 동일한 폭을 가지며, 시그널링에 의해 특정되는 높이를 가지는 CTB(혹은 LCU)들의 사각 영역이다.
상술한 바와 같이, 타일 열의 폭과 타일 행의 높이는 시그널링되는 신택스 엘리먼트에 의해 특정될 수 있다. 예컨대, 픽처 내 타일 열의 폭과 타일 행의 높이는 해당 픽처에 대한 픽처 파라미터 세트에서 전송되는 신택스 엘리먼트들에 의해 특정될 수 있다.
타일 스캔(tile scan)은 픽처를 파티셔닝(portioning)하는 CTB(혹은 LCU)들의 특정한 연속적 순서(sequential ordering)이다. 타일 스캔에서 상기 연속적 순서는, CTB(혹은 LCU)들이 타일 내에서 CTB 래스터 스캔에 의해(in CTB raster scan) 연속적으로 정렬되며(ordered consecutively) , 픽처 내에서 타일들이 래스터 스캔에 의해(in raster scan) 연속적으로 정렬되는 것을 의미할 수 있다.
타일은 픽처 내 스캔의 단위일 수 있으며, 따라서, 타일은 픽처 내에서 픽처의 스캔 순서 예컨대, 래스터 스캔 순서에 따라서 연속적으로 정렬될 수 있다.
각 슬라이스와 타일에 대해서는 다음 두 조건이 모두 성립되거나 적어도 하나가 성립된다. (1) 슬라이스 내의 모든 코딩 트리 유닛 또는 최대 코딩 유닛은 동일한 타일에 속한다. (2) 타일 내의 모든 코딩 트리 유닛 또는 최대 코딩 유닛은 동일한 슬라이스에 속한다.
따라서, 동일한 픽처 내에서 복수의 타일을 포함하는 슬라이스들과 복수의 슬라이스를 포함하는 타일이 존재할 수 있다.
또한, 각 슬라이스 시그먼트와 타일에 대해서는 다음 두 조건이 모두 성립되거나 적어도 하나가 성립된다. (1) 슬라이스 시그먼트 내의 모든 코딩 트리 유닛 또는 최대 코딩 유닛은 동일한 타일에 속한다. (2) 타일 내의 모든 코딩 트리 유닛 또는 최대 코딩 유닛은 동일한 슬라이스 시그먼트에 속한다.
도 4는 타일과 슬라이스에 관한 일 예를 개략적으로 설명하는 도면이다.
픽처 내에서 타일은 타일 경계를 기준으로 복수의 타일로 나뉠 수 있다. 도 4에서는 현재 픽처(400)가 하나의 슬라이스만 포함하며 타일 경계(410)에 의해 좌우의 두 타일로 나뉘는 경우를 예로서 도시하고 있다.
타일과 슬라이스는 병존할 수 있으며, 도 4에서는 현재 픽처(400) 내의 슬라이스가 독립 슬라이스 시그먼트(420)와 슬라이스 시그먼트 경계(430, 440, 450)에 의해 나뉘는 4 개의 종속 슬라이스 시그먼트들로 구성되는 경우을 예로서 도시하고 있다.
도 5는 타일과 슬라이스에 관한 다른 예를 개략적으로 설명하는 도면이다.
도 5에서도 현재 픽처(500)가 타일 경계(510)에 의해 좌우의 두 타일로 나뉘는 경우를 예로서 도시하고 있다.
도 5의 예에서, 타일 경계(510) 좌측의 타일은 슬라이스 경계(550)을 기준으로 하는 두 개의 슬라이스를 포함하고 있다.
슬라이스는 앞서 설명한 바와 같이, 독립 슬라이스를 포함하며, 종속 슬라이스가 존재하는 경우, 종속 슬라이스를 포함할 수도 있다. 도 5에서는, 슬라이스 경계(550) 위쪽의 슬라이스가 독립 슬라이스 시그먼트(520)와 종속 슬라이스 시그먼트(540)을 포함하며, 슬라이스 경계(550) 아래쪽의 슬라이스는 독립 슬라이스 시그먼트(530)와 종속 슬라이스 시그먼트(560)을 포함하는 경우를 예로서 도시하고 있다.
또한, 도 5의 예에서, 슬라이스 경계(590)를 기준으로 하는 다음 슬라이스, 즉 두 번째 타일 내의 슬라이스는 독립 슬라이스 시그먼트(570)와 종속 슬라이스 시그먼트(580)을 포함한다.
타일과 슬라이스는 독립적인 디코딩의 처리 단위가 될 수 있다. 예컨대, 병렬적인 디코딩이 진행되는 경우에, 각 타일은 단일 프로세싱 코어에 의해 디코딩될 수 있으며, 각 슬라이스도 단일 프로세싱 코어에 의해 디코딩될 수 있다.
이와 관련하여, 도 4와 도 5에서 볼 수 있듯이, 슬라이스와 타일이 연속적인 코딩 트리 블록(코딩 트리 유닛)의 시퀀스이지만, 타일은 특정한 형태를 가질 수 있다. 예컨대, 타일은 슬라이스와 달리 직사각형의 영역일 수 있다.
이와 같이, 디코딩 처리에 있어서 슬라이스와 타일 간 차이가 존재한다.
일 예로, 슬라이스의 경우에는 각 슬라이스 시그먼트에 데이터 요소를 포함하는 슬라이스 시그먼트 헤더가 존재한다. 상술한 바와 같이, 독립 슬라이스 시그먼트의 슬라이스 시그먼트 헤더는 슬라이스 헤더로 불리운다.
반면에 타일의 경우는 헤더 정보가 존재하는 단위가 아니며 병렬 처리(parallel processing, 예컨대 병렬 디코딩)을 단위가 될 수 있다.
따라서, 타일의 경우는 앞서 설명한 코딩 트리 블록의 행 또는 열의 경계에 의해 발생하는 단절(break)에 대해 타일 간 종속성이 발생하지 않는다. 반면에, 슬라이스의 경우, 코딩 트리 블록의 행 또는 열의 경계 의해서 디코딩 시의 종속성이 문제된다. 다시 말하면, 행 또는 열을 경계로 슬라이스가 병렬적으로 처리되는 경우에 슬라이스 헤더의 정보를 가지고 있지 못한 측에서는 디코딩이 수행되기 어려워질 수 있다.
따라서, 상술한 바와 같이, 타일과 슬라이스 간에 소정의 제한이 필요할 수 있다.
이하, 도면을 참조하여, 타일과 슬라이스 사이의 관계 혹은 제한에 대하여 구체적으로 설명한다.
현재 슬라이스와 타일 사이의 관계는 엄격한 제한을 두고 있지 않다. 하나 이상의 타일이 슬라이스 내에 있을 수 있고, 하나 이상의 슬라이스가 타일 내에 있을 수도 있다는 것만을 전제로 한 현재 슬라이스와 타일 사이의 관계를 두고 느슨한 관계라고 표현할 수도 있다.
이런 느슨한 관계는 디코딩 처리 과정의 디자인에 있어서 유연성을 부여하기도 하지만, (1) 병렬 처리의 정도를 제한하고, (2) 계산 복잡도를 증가시키는 문제를 야기할 수 있다.
도 6은 병렬 처리에 문제가 발생할 수 있는 경우를 간단히 예시하는 도면이다.
인코딩 장치가 픽처를 도 6에 도시된 바와 같이 파티셔닝했다고 가정하자. 도 6을 참조하면, 픽처 내 영역(600)는 타일 1(610)과 타일 2(620)로 구성된다. 또한, 픽처 내 영역(600)은 두 개의 슬라이스로 구성된다. 픽처 내 영역(600)은 픽처 내 일부 영역일 수도 있고, 전체 픽처일 수도 있다.
첫 번째 슬라이스는 10개의 코딩 트리 블록((1,1)~(2,10))을 포함하며, 두 번째 슬라이스는 6개의 코딩 트리 블록((2,1)~(2,6))을 포함한다.
디코딩 처리의 주체인 프로세싱 코어 1과 프로세싱 코어 2가 서로 다른 타일들을 병렬적으로 처리하는 경우를 가정하자. 예컨대, 도 6의 경우에서는 프로세싱 코어 1은 타일 1(610)을 처리하고, 프로세싱 코어 2는 타일 2(620)를 처리한다. 도 6과 같은 경우에 발생할 수 있는 문제의 하나는 프로세싱 코어 1과 2가 병렬적으로 디코딩을 수행하기 어렵다는 것이다.
왜냐하면, 타일 2(620)의 첫 번째 LCU(코딩 트리 블록)는 슬라이스의 개시 부분이 아니기 때문에 슬라이스 헤더의 정보를 가지고 있지 않다. 따라서, 도 6의 예와 같은 경우에, 프로세싱 헤더는 슬라이스 헤더의 정보를 이용하는 디코딩을 수행하기 어렵게 된다.
또한, 도 6의 예에서, 타일들이 독립적이라면, LCU (1,9)과 LCU (1,10)을 디코딩 하는 경우에, 다른 문제가 발생할 수도 있다. 예컨대, 독립적인 타일이 이용되는 경우에, 타일 경계에서는 인트라 예측이 허용되지 않으므로, LCU (1,9)와 LCU (1,10)은 LCU (1,5)과 LCU (1,6)을 참조할 수 없게 된다.
하지만, LCU (1,9), LCU (1,10), LCU (1,5), LCU (1,6)가 동일한 슬라이스 내에 있고, 슬라이스 내에서는 인트라 예측에 있어서 참조 픽셀에 관해 도 6의 경우에 적용할만한 제한이 없으므로, 디코딩 과정에서 혼돈이 생길 수 있다.
따라서, 병렬 처리에서 발생할 수 있는 혼돈과 복잡도를 줄이기 위해, 다음과 같은 제한을 둘 수 있다.
한 픽처 내에서, 타일은 슬라이스 경계를 넘을 수 없고 슬라이스는 타일 경계를 넘을 수 없다. 다시 말하면, 슬라이스가 타일을 포함하는 경우에 슬라이스 내에는 정수 개의 타일이 존재해야 하고, 타일이 슬라이스를 포함하는 경우에 타일 내에는 정수 개의 슬라이스가 존재해야 한다.
구체적으로,
(1) 한 픽처는 하나 이상의 슬라이스 및/또는 하나 이상의 타일로 분할(partitioning)될 수 있다.
(2) 타일이 슬라이스를 포함하는 경우에, 타일 내에는 완전한 슬라이스(complete slice)가 정수 개 존재해야 한다.
(3) 슬라이스가 타일을 포함하는 경우에, 슬라이스 내에는 완전한 타일(complete tile)이 정수 개 존재해야 한다.
이때, 완전한 타일은 하나의 타일로서, 한 타일의 부분으로 나뉘지 않은 전체를 의미한다. 완전한 슬라이스는 하나의 슬라이스로서, 한 슬라이스의 부분으로 나뉘지 않은 전체를 의미한다.

슬라이스와 타일의 관계를 CTB(혹은 LCU)의 관점에서 고려할 수도 있다. 예컨대, 각각의 슬라이스와 타일에 대하여, 다음 조건들 중 적어도 하나가 만족되어야 한다.
(1) 슬라이스 내의 모든 부호화된 블록들은 동일한 타일에 속한다.
(2) 타일 내의 모든 부호화된 블록들은 동일한 슬라이스에 속한다.
또한, 동일 픽처 내에서 여러 개의 타일(multiple tile)을 포함하는 슬라이스와 다중 슬라이스(multiple slice)를 포함하는 타일이 모두 존재할 수 있다.
타일 ID(tile identification)는 래스터 스캔 순서(raster scan order)로 지정될 수 있고, 타일 내의 LCU (혹은 CTB)들은 블록 순서대로 그리고 래스터 스캔 순서대로 정렬될 수 있다.
도 7은 LCU의 래스터 스캔 순서를 개략적으로 설명하는 일 예이다.
도 7에서는 하나의 픽처(710)가 하나의 슬라이스와 하나의 타일을 포함하는 경우를 예로서 설명한다. 따라서, 도 7의 예에서 슬라이스와 타일은 픽처(710)와 동일한 크기를 가진다.
도 7을 참조하면, 픽처 내(슬라이스 내 혹은 타일 내)에서 LCU들은 래스터 스캔 순서로 정렬되어 있다.
도 8은 LCU의 래스터 스캔 순서를 개략적으로 설명하는 일 예이다.
도 8에서는 하나의 픽처(810)가 하나의 슬라이스와 12개의의 타일을 포함하며, 각 타일은 4 개의 LCU를 포함하는 경우를 예로서 설명한다.
따라서, 도 8의 예에서 슬라이스는 픽처(710)와 동일한 크기를 가지며, 따라서 슬라이스는 12개의 타일을 포함하고 있다.
도8을 참조하면, 픽처(810) 내(슬라이스 내)에서 타일들은 래스터 스캔 순서로 정렬되어 있으며, LCU들은 각 타일들 내에서 래스터 스캔 순서로 정렬되어 있으며, 4개의 타일들 단위로 타일들과 함께 래스터 스캔 순서로 정렬되어 있다.
한편, 타일과 슬라이스 사이의 관계가 플렉서블한 경우에는 디코딩 과정에서 문제가 발생할 수도 있다.
도 9는 디코딩 과정에서 슬라이스와 타일 간의 구조에 따라서 발생할 수 있는 문제의 일 예를 개략적으로 설명하는 도면이다.
도 9에서는 한 픽처(910)가 두 개의 슬라이스를 포함하며, 각 슬라이스가 6개의 타일을 포함하고, 각 타일이 4개의 LCU를 포함하는 경우를 예로서 설명한다.
도 9를 참조하면, LCU마다 할당된 번호는 LCU를 특정하는 LCU 인덱스이며, LCU 인덱스는 타일 스캔 순서로 지정되어 있다. 타일마다 할당된 번호는 타일을 특정하는 타일 ID(tile_id)이며, 타일 ID는 타일 스캔 순서에 따라서 지정되어 있다.
인덱스 n의 LCU에 대한 처리가 끝난 뒤에 다음 번 처리의 대상이 되는 LCU는 인덱스 n+1의 LCU이다. 따라서, LCU #7(즉, 첫 번째 슬라이스에서 타일 ID(tile_id)가 1인 타일의 마지막LCU)을 처리(인코딩/디코딩)한 뒤, 도 9의 예에서 다음 처리될 LCU는 LCU #8이 된다. 하지만, LCU #8은 LCU #7과는 상이한 슬라이스에 속한 LCU이며, LCU #7이 속한 슬라이스에는 아직 처리되지 않은 LCU들이 남아있다.
이 경우, 슬라이스 단위로 디코딩이 수행되므로, 실제 비트스트림상에서 읽어내어 처리하는 LCU는 LCU #7과 동일한 슬라이스 내의 다음 LCU인 LCU #16인데도, 디코더는 LCU 인덱스 상으로 LCU #7의 다음 LCU인 LCU #8을 처리하고 있다고 판단할 수도 있다.
디코더가 LCU의 복원된 픽셀을 잘못된 위치에 배치하게 할 수도 있기 때문에, 이 미스매치는 큰 문제를 야기할 수 있다.
이를 해결하기 위해 일정한 제한을 가하거나 타일 ID를 시그널링하는 방법을 고려할 수 있다. 이하, 이와 관련하여 본 발명에 따른 실시예를 구체적으로 설명한다.
I. 제한의 적용 1
도9의 예와 같은 문제를 해결하기 위해, 인코딩 장치와 디코딩 장치가 타일과 슬라이스를 설정/특정할 때, 다음과 같이 타일과 슬라이스에 대한 구조에 소정의 제한(constraints)을 가할 수 있다.
구체적으로, (1) 픽처가 다수의 슬라이스(multiple slices)와 다수의 타일(mutiple tiles)을 포함하는 경우에, 동일한 슬라이스에 속하는 타일들은 래스터 스캔 순서에 따라서 연속적으로 배치되도록 한다. (2) 픽처가 다수의 슬라이스(multiple slices)와 다수의 타일(mutiple tiles)을 포함하는 경우에, 동일한 슬라이스에 속하는 타일들 간에는 타일 ID가 끝이지 않고 연속적이어야 한다.
다시 말하면, 한 슬라이스 내에 존재하는 타일들은 래스터 스캔 순서에 따라서 연속적이며(sequential in raster scan order), 타일 ID(tile_id)에 불연속이 없어야 한다.
도 10은 본 발명에 따른 슬라이스와 타일 구조의 일 예를 개략적으로 설명하는 도면이다.
도 10에서는 픽처(1010)가 두 개의 슬라이스를 포함하며, 각 슬라이스는 8개의 타일을 포함하는 경우를 예로서 설명한다.
도 10의 예에서, 첫 번째 슬라이스는 0~7까지의 타일을 포함하며, 두 번째 슬라이스는 8~15까지의 슬라이스를 포함한다. 또한 도 10의 예에서, 각 타일은 4개의 LCU들을 포함한다.
도시된 바와 같이, 상기 본 발명의 제한에 따라서 동일한 슬라이스에 속하는 타일들은 래스터 스캔 순서에 따라서 연속적으로 배치되며, 동일한 슬라이스 내의 타일들에 대한 타일 ID들에는 불연속이 존재하지 않는다.
따라서, LCU #7에 대한 디코딩이 끝난 후의 경우를 고려하면, 디코더는 동일한 슬라이스 내의 다른 타일(tile_id=2)의 첫 번째 LCU인 LCU #8을 LCU #7 다음에 디코딩할 수 있다.
II. 제한의 적용 2
타일과 슬라이스에 관해 앞서와 같은 제한을 가하는데 더해서, 인코딩 장치와 디코딩 장치가 타일과 슬라이스의 다음과 같이 설정/특정함으로써 통해 도 9의 예와 같은 문제를 해결할 수도 있다.
(A) 타일(tile)은 한 행 및 한 열 내에 동시에 존재하며, 해당 타일의 (해당 타일 내에서) 코딩 트리 블록 래스터 스캔에 따라서 연속적으로 배열되는 정수 개의 CTB들이다. 예컨대, 픽처 내에서, 소정 개수의 LCU에 대응하는 폭을 가지는 열과 소정 개수의 LCU에 대응하는 높이를 가지는 행의 공통 영역에 해당하는 사각 영역을 타일로 설정할 수 있다.
각 픽처의 타일로의 분할(division of each picture into tiles)을 파티셔닝이라고 할 수 있다. 픽처 내의 타일들은 해당 픽처의 타일 래스터 스캔에 따라서 연속적으로 배열된다.
(B) 타일 스캔(tile scan)은 픽처를 파티셔닝 하는 CTB들의 연속적인 배열(sequential ordering)이다. 타일 스캔 배열은 타일 내에서 코딩 트리 블록 래스터 스캔에 따라서 CTB (혹은 LCU)들을 트래버스(traverse)하며, 픽처 내에서 래스터 스캔 순서(raster scan order)에 따라서 타일들을 트래버스(traverse)한다.
슬라이스가 타일의 (타일 내에서) 코딩 트리 블록 래스터 스캔에 따라서 연속적으로 배열되는 CTB들을 포함하더라도, CTB들은 픽처의 (픽처 내에서) 코딩 트리 블록 래스터 스캔에 따라 연속적으로 배열될 필요는 없다.
(C) 슬라이스(slice)는 타일 스캔에 따라서 연속적으로 배열된(ordered consecutively in the tile scan) 정수 개의 CTB들이다. 각 픽처의 슬라이스로의 분할(division of each picture into slices)을 파티셔닝이라고 한다. 코딩 트리 블록 어드레스(coding tree block address)는 (슬라이스 헤더에 표현된 것처럼) 슬라이스 내 첫 번째 코딩 트리 블록 어드레스로부터 유도될 수 있다.
따라서, 슬라이스 내에서 CTB들이 타일 스캔에 따라서 배열되므로, 슬라이스 내에서 타일들은 래스터 스캔에 따라 배열되고, 각 타일 내에서 CTB들은 또한 래스터 스캔에 따라서 배열된다.
여기서, 타일 래스터 스캔은 타일들의 래스터 스캔을 의미하고, 코딩 트리 블록 래스터 스캔은 코딩 트리 블록들의 래스터 스캔을 의미한다.
상기 (A), (B) 및 (C)의 내용에 따르면, 슬라이스 내에서 CTB들은 래스터 스캔 순서에 따라서 배열되는 것이 아니라, 타일 스캔 순서에 따라서 배열된다. 도 9의 예와 같은 배열이 발생하지 않도록 할 수 있다.
도 11 내지 도 15는 상기 I 및 II에 따른 허용되는 타일과 슬라이스의 설정(configuration) 및 허용되지 않는 타일과 슬라이스의 설정(configuration)을 예시하는 도면들이다.
도 11은 픽처(1110)가 3 개의 슬라이스로 구성되며 각 타일이 4개의 CTB를 포함하는 예를 설명하고 있다. 도 11의 예에서, 첫 번째 슬라이스는 0~3까지의 타일을 포함하고, 두 번째 슬라이스는 4~7까지의 타일을 포함하며, 세 번째 슬라이스는 8~11까지의 타일을 포함한다.
상기 I 또는 II에 따르는 경우에, 도 11의 경우는 허용 가능한 예로서 상기 I과 II의 제한을 모두 만족하고 있다.
도 12는 픽처(1210)가 4 개의 슬라이스로 구성되며 각 타일이 4개의 CTB를 포함하는 예를 설명하고 있다. 도 12의 예에서, 첫 번째 슬라이스는 0과 1의 타일을 포함하고, 두 번째 슬라이스는 2~5까지의 타일을 포함하며, 세 번째 슬라이스는 6~9까지의 타일을 포함하며, 네 번째 슬라이는 10과 11의 타일을 포함한다.
상기 I 또는 II에 따르는 경우에, 도 12의 경우는 허용 가능한 예로서 상기 I과 II의 제한을 모두 만족하고 있다.
도 13은 픽처(1310)가 2개의 슬라이스로 구성되며 각 타일이 4개의 CTB를 포함하는 예를 설명하고 있다. 도 13의 예에서, 첫 번째 슬라이스는 0, 1, 4, 5, 8, 9의 타일을 포함하고, 두 번째 슬라이스는 2, 3, 6, 7, 10, 11의 타일을 포함한다.
상기 I 또는 II에 따르는 경우에, 도 13의 경우는 허용되지 않는 예로서 상기 I과 II의 제한을 만족하지 않고 있다. 구체적으로 각 슬라이스 내에서 타일들의 ID가 연속적이지 않으며 슬라이스 내에서 CTB 들이 타일 스캔을 따르고 있지 않다.
도 14는 픽처(1410)가 2개의 슬라이스로 구성되며 각 슬라이스가 하나의 타일을 포함하고, 각 타일이 24개의 CTB를 포함하는 예를 설명하고 있다.
상기 I 또는 II에 따르는 경우에, 도 14의 경우는 허용 가능한 예로서 상기 I과 II의 제한을 모두 만족하고 있다.
도 15는 픽처(1510)가 4개의 슬라이스로 구성되며 각 타일이 4개의 CTB를 포함하는 예를 설명하고 있다. 도 15의 예에서, 첫 번째 슬라이스는 0, 4, 8의 타일을 포함하고, 두 번째 슬라이스는 1, 2, 3의 타일을 포함하며, 세 번째 슬라이스는 5, 6, 7의 타일을 포함하고, 네 번째 슬라이스느는 9, 10, 11의 타일을 포함한다.
상기 I 또는 II에 따르는 경우에, 도 15의 경우는 허용되지 않는 예로서 상기 I과 II의 제한을 만족하지 않고 있다. 구체적으로 각 슬라이스 내에서 타일들의 ID가 연속적이지 않으며 슬라이스 내에서 CTB 들이 타일 스캔을 따르고 있지 않다.
III. 타일 ID(tile_id)의 전송
도 9의 예와 같은 문제를 해결하기 위해, 각 LCU에 대한 타일 ID(tile_id for each LCU)를 지시할 수도 있다.
예컨대, 각 슬라이스 헤더 내 타일들에 대한 각 엔트리 포인트에 대하여, 타일 ID 정보는 어떤 타일에 엔트리 포인트 오프셋이 연관되는지를 지시한다. 따라서, 슬라이스 헤더에서 해당 엔트리 포인트에 대응하는 타일이 무엇인지가 시그널링된다.
또한, 엔트리 포인트 오프셋의 개수가 슬라이스 내 타일의 개수와 동일하다. 혹은 첫 번째 엔트리 포인트에 대응하는 엔트리 포인트 오프셋이 0일 수 있다는 점을 고려하여 엔트리 포인트 오프셋의 개수가 슬라이스 내 타일 개수-1과 동일하도록 할 수도 있다.
여기서 엔트리 포인트는 각 타일 또는 WPP(Wavefront Parallel Processing)에서 디코딩이 개시되는 포인트를 의미하며, 엔트리 포인트 오프셋은 두 엔트리 포인트 간의 비트 수를 특정한다. 예컨대, 엔트리 포인트 오프셋 i는 엔트리 포인트 i와 엔트리 포인트 i-1 사이의 비트 수(the number of bits)를 나타낸다.
표 1은 본 발명에 의해 수정된 슬라이스 헤더 정보의 일 예를 개략적으로 나타낸 것이다.
<표 1>
Figure PCTKR2013005636-appb-I000001
표 1에서, offset_tile_id[i]는 i번째 엔트리 포인트 오프셋(entry_point offset[i])에 연관된(associated) 엔트리 포인트 오프셋을 특정한다.
offset_tile_id[i]는 0부터 (num_tile_columns_minus1+1)* (num_tile_rows_minus1 +1) – 1 사이의 값을 가진다. offset_tile_id [i]는 ceil (log2((( num_tile_columns_minus1 + 1 ) * ( num_tile_rows_minus1 + 1 )))의 비트값으로 표현될 수 있다.
이때, num_tile_columns_minus1은 i 번째 타일 열의 폭을 CTB(즉, LCU) 단위로 특정한다. 즉, offset_tile_id [i]에 대하여 num_tile_columns_minus1 + 1은 i 번째 타일 열의 폭을 CTB 단위로 나타낸 값을 지시한다.
num_tile_rows_minus1은 i 번째 타일 행의 높이를 CTB(즉, LCU) 단위로 특정한다. 즉, offset_tile_id [i]에 대하여 num_tile_rows_minus1 + 1은 i 번째 타일 행의 높이를 CTB 단위로 나타낸 값을 지시한다.
도 16는 표 1을 적용하는 경우에 대한 타일과 슬라이스 설정의 일 예를 간단히 나타낸 것이다.
도 16에서는 픽처(1610)가 두 개의 슬라이스를 포함하며, 첫 번째 슬라이스는 0, 1, 4, 5, 8, 9의 타일을 포함하며, 두 번째 슬라이스는 2, 3, 6, 7, 10, 11의 타일을 포함하는 경우를 예로서 설명한다.
도 16의 예에서 각 타일은 4 개의 CTB들을 포함한다.
다음 표 2 및 표 3은 도 16에 대하여 표 1과 같은 시그널링을 적용하는 일 예를 간단히 나타낸 것이다.
표 2는 도 16의 첫 번째 슬라이스에 대한 시그널링의 일 예를 나타낸다.
<표 2>
Figure PCTKR2013005636-appb-I000002
도 16의 첫 번째 슬라이스의 경우에 엔트리 포인트 오프셋의 개수는 6개이며, 각 엔트리 포인트 오프셋은 각 타일 내 첫 번째 LCU(CTB)의 첫 번째 비트를 지시한다. 표 2의 예에서는 첫 번째 슬라이스의 엔트리 포인트 오프셋의 개수를 6개로 했으나, 각 엔트리 포인트마다 엔트리 포인트 오프셋을 시그널링하지 않을 수도 있다. 예컨대, 첫 번째 엔트리 포인트는 슬라이스 내 첫 번째 LCU의 첫 번째 비트로서 오프셋 값이 0이므로, 첫 번째 엔트리 포인트에 대한 엔트리 포인트 오프셋은 시그널링하지 않고, 엔트리 포인트 오프셋의 개수를 5개로 설정해서 두 번째 엔트리 포인트에 대한 오프셋부터 5개의 시그널링만 수행하도록 할 수도 있다. 표 3은 도 16의 두 번째 슬라이스에 대한 시그널링의 일 예를 간단히 나타낸 것이다.
<표 3>
Figure PCTKR2013005636-appb-I000003
도 16의 두 번째 슬라이스의 경우에 엔트리 포인트 오프셋의 개수는 6개이며, 각 엔트리 포인트 오프셋은 각 타일 내 첫 번째 LCU(CTB)의 첫 번째 비트를 지시한다. 표 3의 예에서는 두 번째 슬라이스의 엔트리 포인트 오프셋의 개수를 6개로 했으나, 각 엔트리 포인트마다 엔트리 포인트 오프셋을 시그널링하지 않을 수도 있다. 예컨대, 첫 번째 엔트리 포인트는 슬라이스 내 첫 번째 LCU의 첫 번째 비트로서 오프셋 값이 0이므로, 첫 번째 엔트리 포인트에 대한 엔트리 포인트 오프셋은 시그널링하지 않고, 엔트리 포인트 오프셋의 개수를 5개로 설정해서 두 번째 엔트리 포인트에 대한 오프셋부터 5개의 시그널링만 수행하도록 할 수도 있다.
표 1 내지 3과 같이, 각각의 엔트리 포인트를 시그널링함으로써 디코딩 장치가 디코딩 순서와 디코딩 대상을 정확히 특정할 수 있도록 할 수 있다.
지금까지 I, II, III를 개별적인 실시예로서 설명하였으나, 본 명세서에서 설명하고자 하는 발명들의 실시예는 I, II, III에 한정되지 않는다. 예컨대, I, II, III는 개별적으로 실시될 수 있을 뿐만 아니라 함께 실시될 수도 있다.
구체적으로, II의 (A), (B), (C)에 따르면서도, I의 (1)과 (2)를 동시에 적용할 수도 있다. 또한, II의 (A), (B), (C)에 따르면서도 III을 적용하여 엔트리 포인트에 관한 정보를 시그널링할 수도 있다. 또한, I의 (1)과 (2)를 적용하면서도 III에 따라서 엔트리 포인트에 관한 정보를 시그널링할 수도 있다. 뿐만 아니라, I의 (1)과 (2) 및 II의 (A), (B), (C)를 적용하면서 III에 따라서 엔트리 포인트에 관한 정보를 시그널링할 수도 있다.
도 17은 본 발명에 따른 인코딩 방법을 개략적으로 설명하는 순서도이다.
도 17을 참조하면, 인코딩 장치는 입력된 픽처를 분할할 수 있다(S1710). 인코딩 장치는 입력된 픽처를 분할하여 타일과 슬라이스를 설정할 수 있다. 픽처는 하나 이상의 타일과 하나 이상의 슬라이스를 포함할 수 있다. 슬라이스와 타일은 CTB(LCU)들을 포함한다. 이때, 슬라이스 내 LCU(CTB)들은 타일 스캔에 따라서 배열될 수 있다. 타일 스캔의 내용은 앞서 설명한 바와 같다.
예컨대, 슬라이스가 복수의 타일을 포함하는 경우에, 복수의 타일들은 슬라이스 내에서 래스터 스캔 순서로 배열될 수 있다. 각 타일들은 복수의 LCU들을 포함할 수 있으며, 이때 각 LCU들은 타일 내에서 래스터 스캔 순서로 배열될 수 있다.
타일과 슬라이스에는 병렬 처리를 위한 제한이 적용될 수 있다. 예컨대, 입력된 픽처 내에서 타일은 슬라이스의 경계를 넘을 수 없고, 슬라이스는 타일의 경계를 넘을 수 없다.
또한, 타일이 슬라이스를 포함하는 경우에 타일은 정수 개의 완전한 슬라이스를 포함하고, 슬라이스가 타일을 포함하는 경우에 슬라이스는 정수 개의 완전한 타일을 포함할 수 있다.
인코딩 장치는 타일과 슬라이스를 기반으로 인코딩을 수행할 수 있다(S1720). 픽처는 하나 이상의 타일과 하나 이상의 슬라이스로 분할될 수 있으며, 타일과 슬라이스에는 병렬 처리를 위한 제한이 적용되므로, 인코딩 장치는 각 프로세싱 코어를 통해 타일 및/또는 슬라이스를 병렬적으로 인코딩할 수 있다.
인코딩 단계에서는 LCU로부터 쿼드 트리 구조를 따라서 분할되는 CU들을 인코딩의 한 단위로 할 수도 있다.
인코딩 장치는 인코딩된 비디오 정보를 전송할 수 있다(S1730).
비디오 정보는 현재 픽처가 복수의 타일을 포함하는 경우에, 인코딩 장치는 두 번째 이후의 타일들에 대하여 각 타일 내 첫 번째 LCU의 첫 번째 비트를 지시하는 정보를 포함할 수 있다. 이때, 상기 정보는 현재 타일 내 첫 번째 LCU의 첫 번째 비트와 이전 타일 내 첫 번째 LCU의 첫 번째 비트 사이의 오프셋을 지시 하는 정보일 수 있다.
또한, 비디오 정보는 상기 병렬 처리를 위한 제한에 기반하여 특정된 슬라이스와 타일에 관한 정보를 포함할 수도 있다.

도 17에서는 설명의 편의를 위해, 인코딩 장치가 각 단계를 수행하는 것으로 설명하였으나, 이는 설명의 편의를 위한 것으로 본 발명은 이에 한정되지 않는다. 예컨대, S1710 단계는 도 1의 픽처 분할부(105)에서 수행될 수 있으며, S1720 단계는 도 1에서 픽처 분할부(105)를 제외한 각 기능 블록에서 수행될 수 있고, S1730 단계는 별도의 전송부 혹은 엔트로피 인코딩부(130)를 통해서 수행될 수 있다. 이때, 전송부가 별도로 구비되는 대신 엔트로피 인코딩부(130)에 포함될 수도 있다.
도 18은 본 발명에 따른 디코딩 방법을 개략적으로 설명하는 순서도이다.
도 18을 참조하면, 디코딩 장치는 비디오 정보를 수신할 수 있다(S1810). 디코딩 장치는 인코딩 장치로부터 전송된 비디오 정보를 수신할 수 있으며, 비디오 정보는 현재 픽처 내 타일과 슬라이스를 특정하는 정보를 포함할 수 있다.
또한, 비디오 정보는 현재 픽처가 복수의 타일을 포함하는 경우에, 인코딩 장치는 두 번째 이후의 타일들에 대하여 각 타일 내 첫 번째 LCU의 첫 번째 비트를 지시하는 정보를 포함할 수 있다. 이때, 상기 정보는 현재 타일 내 첫 번째 LCU의 첫 번째 비트와 이전 타일 내 첫 번째 LCU의 첫 번째 비트 사이의 오프셋을 지시 하는 정보일 수 있다.
디코딩 장치는 수신한 비디오 정보를 기반으로 현재 픽처의 파티션(partition)을 특정할 수 있다(S1820). 디코딩 장치는 비디오 정보에 포함된 타일과 슬라이스를 특정하는 정보를 기반으로 현재 픽처의 슬라이스와 타일을 특정할 수 있다. 이때, 현재 픽처는 하나 이상의 타일과 하나 이상의 슬라이스를 포함할 수 있으며, 슬라이스와 타일은 CTB(LCU)들을 포함할 수 있다.
슬라이스 내 LCU(CTB)들은 타일 스캔에 따라서 배열될 수 있다. 타일 스캔의 내용은 앞서 설명한 바와 같다.
예컨대, 슬라이스가 복수의 타일을 포함하는 경우에, 복수의 타일들은 슬라이스 내에서 래스터 스캔 순서로 배열될 수 있다. 각 타일들은 복수의 LCU들을 포함할 수 있으며, 이때 각 LCU들은 타일 내에서 래스터 스캔 순서로 배열될 수 있다.
타일과 슬라이스에는 병렬 처리를 위한 제한이 적용될 수 있다. 예컨대, 입력된 픽처 내에서 타일은 슬라이스의 경계를 넘을 수 없고, 슬라이스는 타일의 경계를 넘을 수 없다. 또한, 타일이 슬라이스를 포함하는 경우에 타일은 정수 개의 완전한 슬라이스를 포함하고, 슬라이스가 타일을 포함하는 경우에 슬라이스는 정수 개의 완전한 타일을 포함할 수 있다.
디코딩 장치는 특정된 타일과 슬라이스를 기반으로 디코딩을 수행할 수 있다(S1830).
디코딩 단계에서는 LCU로부터 쿼드 트리 구조를 따라서 분할되는 CU들을 디코딩의 한 단위로 할 수도 있다.
타일과 슬라이스에는 병렬 처리를 위한 제한이 적용될 수 있으며, 디코딩 장치는 각 프로세싱 코어를 통해 타일 및/또는 슬라이스를 병렬적으로 디코딩할 수 있다.
여기서는 디코딩 장치가 도 18의 각 단계를 수행하는 것으로 설명하였으나, 이는 설명의 편의를 위한 것으로서, 본 발명은 이에 한정되지 않는다. 예컨대, S1810 단계는 별도의 수신부 혹은 엔트로피 디코딩부에서 수행될 수 있다. 수신부는 별도로 구비되지 않고 엔트로피 디코딩부 내에 포함될 수도 있다. 또한, S1820 단계와 S1830 단계는 도 2의 각 기능 블록에서 수행될 수 있다. 예컨대, 수신을 제외한 다른 기능을 담당하는 유닛들을 디코딩부라고 할 때, S1820 및 S1830은 디코딩부에서 수행할 수 있다. 또한, 엔트로피 디코딩부가 수신부를 포함하는 경우에, S1810 단계 역시 디코딩부 내 수신부에서 수신할 수도 있다.
상술한 예시적인 시스템에서, 방법들은 일련의 단계 또는 블록으로써 순서도를 기초로 설명되고 있지만, 본 발명은 단계들의 순서에 한정되는 것은 아니며, 어떤 단계는 상술한 바와 다른 단계와 다른 순서로 또는 동시에 발생할 수 있다. 또한, 상술한 실시예들은 다양한 양태의 예시들을 포함한다. 따라서, 본 발명은 이하의 특허청구범위 내에 속하는 모든 다른 교체, 수정 및 변경을 포함한다고 할 것이다.

Claims (16)

  1. 입력된 현재 픽처에 대한 타일과 슬라이스를 설정하는 단계;
    상기 타일과 슬라이스를 기반으로 인코딩을 수행하는 단계; 및
    인코딩된 비디오 정보를 전송하는 단계를 포함하며,
    상기 현재 픽처는 하나 이상의 타일과 하나 이상의 슬라이스를 포함하고,
    상기 슬라이스 내 최대 크기 코딩 유닛(이하, LCU)들은 타일 스캔에 따라 배열되어 있는 것을 특징으로 하는 비디오 인코딩 방법.
  2. 제1항에 있어서, 상기 인코딩 단계에서는 LCU로부터 분할되는 코딩 유닛을 인코딩의 한 단위로 해서 인코딩을 수행하는 것을 특징으로 하는 비디오 인코딩 방법.
  3. 제1항에 있어서, 상기 슬라이스가 복수의 타일을 포함하는 경우에, 상기 복수의 타일은 상기 슬라이스 내에서 래스터 스캔 순서로 배열되는 것을 특징으로 하는 비디오 인코딩 방법.
  4. 제3항에 있어서, 상기 복수의 타일들 각각은 복수의 LCU들을 포함하며, LCU들은 타일 내에서 래스터 스캔 순서로 배열되는 것을 특징으로 하는 비디오 인코딩 방법.
  5. 제1항에 있어서, 상기 타일 스캔은,
    타일 내에서 LCU들이 래스터 스캔에 따라서 트래버스 되며, 픽처 내에서 타일들이 래스터 스캔에 따라서 트래버스 되는 것을 특징으로 하는 비디오 인코딩 방법.
  6. 제1항에 있어서, 상기 슬라이스가 복수의 타일을 포함하는 경우에, 상기 복수의 타일은 상기 슬라이스 내에서 래스터 스캔 순서로 배열되고, 상기 복수의 타일들 각각이 포함하는 LCU들은 상기 복수의 타일들 각각에서 래스터 스캔에 따라서 배열되는 것을 특징으로 하는 비디오 인코딩 방법.
  7. 제1항에 있어서, 상기 전송 단계에서는,
    상기 현재 픽처가 복수의 타일을 포함하는 경우에, 두 번째 이후의 타일들에 대하여 각 타일 내 첫 번째 LCU의 첫 번째 비트를 지시하는 엔트리 포인트 정보를 전송하는 것을 특징으로 하는 비디오 인코딩 방법.
  8. 제7항에 있어서, 상기 엔트리 포인트 정보는 현재 타일 내 첫 번째 LCU의 첫 번째 비트와 이전 타일 내 첫 번째 LCU의 첫 번째 비트 사이의 오프셋을 지시하는 것을 특징으로 하는 비디오 인코딩 방법.
  9. 비디오 정보를 수신하는 단계;
    상기 수신한 비디오 정보에 따라서 현재 픽처에 대한 타일과 슬라이스를 특정하는 단계; 및
    상기 타일과 슬라이스를 기반으로 디코딩을 수행하는 단계를 포함하며,
    상기 현재 픽처는 하나 이상의 타일과 하나 이상의 슬라이스를 포함하고,
    상기 슬라이스 내 최대 크기 코딩 유닛(이하, LCU)들은 타일 스캔에 따라 배열되어 있는 것을 특징으로 하는 비디오 디코딩 방법.
  10. 제9항에 있어서, 상기 디코딩 단계에서는 LCU로부터 분할되는 코딩 유닛을 디코딩의 한 단위로 해서 디코딩을 수행하는 것을 특징으로 하는 비디오 디코딩 방법.
  11. 제9항에 있어서, 상기 슬라이스가 복수의 타일을 포함하는 경우에, 상기 복수의 타일은 상기 슬라이스 내에서 래스터 스캔 순서로 배열되는 것을 특징으로 하는 비디오 디코딩 방법.
  12. 제11항에 있어서, 상기 복수의 타일들 각각은 복수의 LCU들을 포함하며, LCU들은 타일 내에서 래스터 스캔 순서로 배열되는 것을 특징으로 하는 비디오 디코딩 방법.
  13. 제9항에 있어서, 상기 타일 스캔은,
    타일 내에서 LCU들이 래스터 스캔에 따라서 트래버스 되며, 픽처 내에서 타일들이 래스터 스캔에 따라서 트래버스 되는 것을 특징으로 하는 비디오 디코딩 방법.
  14. 제9항에 있어서, 상기 슬라이스가 복수의 타일을 포함하는 경우에, 상기 복수의 타일은 상기 슬라이스 내에서 래스터 스캔 순서로 배열되고, 상기 복수의 타일들 각각이 포함하는 LCU들은 상기 복수의 타일들 각각에서 래스터 스캔에 따라서 배열되는 것을 특징으로 하는 비디오 디코딩 방법.
  15. 제9항에 있어서, 상기 전송 단계에서는 엔트리 포인트 정보를 수신하며,
    상기 현재 픽처가 복수의 타일을 포함하는 경우에, 상기 엔트리 포인트 정보는 두 번째 이후의 타일들에 대하여 각 타일 내 첫 번째 LCU의 첫 번째 비트를 지시하는 것을 특징으로 하는 비디오 디코딩 방법.
  16. 제15항에 있어서, 상기 엔트리 포인트 정보는 현재 타일 내 첫 번째 LCU의 첫 번째 비트와 이전 타일 내 첫 번째 LCU의 첫 번째 비트 사이의 오프셋을 지시하는 것을 특징으로 하는 비디오 디코딩 방법.
PCT/KR2013/005636 2012-06-26 2013-06-26 비디오 인코딩 방법, 비디오 디코딩 방법 및 이를 이용하는 장치 WO2014003428A1 (ko)

Priority Applications (24)

Application Number Priority Date Filing Date Title
EP22150345.1A EP4002842B1 (en) 2012-06-26 2013-06-26 Video decoding method, video encoding method and storage medium storing encoded video information
US14/411,313 US9736482B2 (en) 2012-06-26 2013-06-26 Video encoding method, video decoding method, and apparatus using same
ES13808815T ES2841995T3 (es) 2012-06-26 2013-06-26 Método de decodificación de vídeo y método de codificación de vídeo
KR1020217013310A KR102351132B1 (ko) 2012-06-26 2013-06-26 비디오 인코딩 방법, 비디오 디코딩 방법 및 이를 이용하는 장치
EP20200231.7A EP3780606B1 (en) 2012-06-26 2013-06-26 Video decoding method, video encoding method and decoder-readable storage medium storing encoded video information
KR1020147023349A KR102164572B1 (ko) 2012-06-26 2013-06-26 비디오 인코딩 방법, 비디오 디코딩 방법 및 이를 이용하는 장치
CN201810877301.0A CN108718410B (zh) 2012-06-26 2013-06-26 视频编码方法、视频解码方法和使用其的装置
PL20200231T PL3780606T3 (pl) 2012-06-26 2013-06-26 Sposób dekodowania wideo, sposób kodowania wideo oraz środek nośnikowy odczytywalny przez dekoder przechowujący zakodowane informacje wideo
EP24172972.2A EP4443877A1 (en) 2012-06-26 2013-06-26 Decoding apparatus, encoding apparatus and transmitting apparatus
KR1020227020885A KR102545727B1 (ko) 2012-06-26 2013-06-26 비디오 인코딩 방법, 비디오 디코딩 방법 및 이를 이용하는 장치
PL13808815T PL2866439T3 (pl) 2012-06-26 2013-06-26 Sposób dekodowania wideo i sposób kodowania wideo
KR1020227000890A KR102412470B1 (ko) 2012-06-26 2013-06-26 비디오 인코딩 방법, 비디오 디코딩 방법 및 이를 이용하는 장치
DK13808815.8T DK2866439T3 (da) 2012-06-26 2013-06-26 Videodekodningsfremgangsmåde og videokodningsfremgangsmåde
KR1020207028496A KR102249484B1 (ko) 2012-06-26 2013-06-26 비디오 인코딩 방법, 비디오 디코딩 방법 및 이를 이용하는 장치
EP23179540.2A EP4236315B1 (en) 2012-06-26 2013-06-26 Video decoding apparatus and video encoding apparatus
CN201810876802.7A CN108769692B (zh) 2012-06-26 2013-06-26 视频编码方法、视频解码方法和使用其的装置
EP13808815.8A EP2866439B1 (en) 2012-06-26 2013-06-26 Video decoding method and video encoding method
CN201380039570.5A CN104509112B (zh) 2012-06-26 2013-06-26 视频解码方法和使用其的装置
US15/651,178 US10085026B2 (en) 2012-06-26 2017-07-17 Video encoding method, video decoding method, and apparatus using same
US16/109,214 US10491901B2 (en) 2012-06-26 2018-08-22 Video encoding method, video decoding method, and apparatus using same
US16/598,984 US10863178B2 (en) 2012-06-26 2019-10-10 Video encoding method, video decoding method, and apparatus using same
US17/088,409 US11245907B2 (en) 2012-06-26 2020-11-03 Video encoding method, video decoding method, and apparatus using same
US17/571,040 US11729392B2 (en) 2012-06-26 2022-01-07 Video encoding method, video decoding method, and apparatus using same
US18/220,014 US12075055B2 (en) 2012-06-26 2023-07-10 Video encoding method, video decoding method, and apparatus using same

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201261664701P 2012-06-26 2012-06-26
US61/664,701 2012-06-26
US201261672750P 2012-07-17 2012-07-17
US61/672,750 2012-07-17

Related Child Applications (2)

Application Number Title Priority Date Filing Date
US14/411,313 A-371-Of-International US9736482B2 (en) 2012-06-26 2013-06-26 Video encoding method, video decoding method, and apparatus using same
US15/651,178 Continuation US10085026B2 (en) 2012-06-26 2017-07-17 Video encoding method, video decoding method, and apparatus using same

Publications (1)

Publication Number Publication Date
WO2014003428A1 true WO2014003428A1 (ko) 2014-01-03

Family

ID=49783489

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2013/005636 WO2014003428A1 (ko) 2012-06-26 2013-06-26 비디오 인코딩 방법, 비디오 디코딩 방법 및 이를 이용하는 장치

Country Status (12)

Country Link
US (7) US9736482B2 (ko)
EP (5) EP3780606B1 (ko)
KR (5) KR102249484B1 (ko)
CN (3) CN104509112B (ko)
DK (1) DK2866439T3 (ko)
ES (3) ES2961943T3 (ko)
FI (1) FI4002842T3 (ko)
HR (2) HRP20231318T1 (ko)
HU (2) HUE058244T2 (ko)
PL (4) PL2866439T3 (ko)
SI (2) SI3780606T1 (ko)
WO (1) WO2014003428A1 (ko)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108886639A (zh) * 2016-02-02 2018-11-23 弗劳恩霍夫应用研究促进协会 视频流传输中的场景部分和感兴趣区域处理
WO2021182816A1 (ko) * 2020-03-09 2021-09-16 엘지전자 주식회사 직사각형 슬라이스의 크기 정보를 선택적으로 부호화 하는 영상 부호화/복호화 방법, 장치 및 비트스트림을 전송하는 방법
RU2760850C1 (ru) * 2018-06-21 2021-11-30 Телефонактиеболагет Лм Эрикссон (Пабл) Гибкие разбиения тайлов
US11477470B2 (en) 2018-10-02 2022-10-18 Telefonaktiebolaget Lm Ericsson (Publ) Encoding and decoding pictures based on tile group ID
US11553180B2 (en) 2018-06-21 2023-01-10 Telefonaktiebolaget Lm Ericsson (Publ) Tile partitions with sub-tiles in video coding
US11711530B2 (en) 2018-06-21 2023-07-25 Telefonaktiebolaget Lm Ericsson (Publ) Tile shuffling for 360 degree video decoding

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2811742A4 (en) * 2012-02-04 2015-09-02 Lg Electronics Inc VIDEO CODING METHOD, VIDEO DECODING METHOD AND DEVICE THEREFOR
KR102249484B1 (ko) * 2012-06-26 2021-05-12 엘지전자 주식회사 비디오 인코딩 방법, 비디오 디코딩 방법 및 이를 이용하는 장치
PL4033764T3 (pl) * 2012-09-26 2023-12-27 Sun Patent Trust Sposób dekodowania obrazów, sposób kodowania obrazów, urządzenie do dekodowania obrazów, urządzenie do kodowania obrazów oraz urządzenie do kodowania/dekodowania obrazów
WO2014087860A1 (ja) * 2012-12-06 2014-06-12 ソニー株式会社 復号装置、復号方法、およびプログラム
RU2608465C1 (ru) * 2013-01-04 2017-01-18 Самсунг Электроникс Ко., Лтд. Способ энтропийного кодирования сегмента слайса и устройство для него и способ энтропийного декодирования сегмента слайса и устройство для него
CN106716999B (zh) * 2014-06-20 2019-08-09 寰发股份有限公司 用于视频编码的调色板预测器信令的方法
CN113810688B (zh) 2015-05-12 2023-07-18 三星电子株式会社 视频编码方法、视频解码方法以及计算机可读介质
CN106358042B (zh) * 2015-07-17 2020-10-09 恩智浦美国有限公司 使用视频图像的帧间预测的并行解码器
CN113115036A (zh) * 2015-11-24 2021-07-13 三星电子株式会社 视频解码方法和设备及其编码方法和设备
KR101895294B1 (ko) * 2017-03-03 2018-09-05 주식회사 칩스앤미디어 프리 스캔을 이용한 블록 기반 동영상 복호화 방법 및 그 장치
KR20190024212A (ko) * 2017-08-31 2019-03-08 세종대학교산학협력단 타일 구조의 구성 방법 및 이의 장치
WO2019225934A1 (ko) * 2018-05-21 2019-11-28 엘지전자 주식회사 영상 코딩 시스템에서 타일 내 ctu 어드레스 관련 영상 디코딩 방법 및 그 장치
CN112703736B (zh) 2018-09-14 2022-11-25 华为技术有限公司 视频译码方法，视频译码设备以及非瞬时性计算机可读介质
MX2021007926A (es) * 2018-12-28 2021-10-22 Huawei Tech Co Ltd Un codificador de video, un decodificador de video y metodos correspondientes.
EP4373084A2 (en) 2018-12-31 2024-05-22 Huawei Technologies Co., Ltd. An encoder, a decoder and corresponding methods for tile configuration signaling
WO2020209479A1 (ko) * 2019-04-08 2020-10-15 엘지전자 주식회사 시그널링 된 정보에 기반한 픽처 파티셔닝 방법 및 장치
WO2020213963A1 (ko) 2019-04-17 2020-10-22 주식회사 엑스리스 영상 신호 부호화/복호화 방법 및 이를 위한 장치
BR112022009810A2 (pt) * 2019-11-20 2022-08-09 Xris Corp Método para codificação/decodificação de sinal de imagem, e dispositivo para o mesmo
KR20220087514A (ko) * 2019-11-28 2022-06-24 엘지전자 주식회사 영상/비디오 코딩 방법 및 장치
US11412258B2 (en) 2020-02-12 2022-08-09 Tencent America LLC Line graph transforms (LGTs) using 8-bit and 10-bit cores
US11405647B2 (en) * 2020-02-18 2022-08-02 Tencent America LLC Primary transforms using 8-bit and 10-bit cores
WO2021185311A1 (en) * 2020-03-20 2021-09-23 Mediatek Inc. Method and apparatus for signaling tile and slice partition information in image and video coding
US11575937B2 (en) * 2020-07-24 2023-02-07 Tencent America LLC Methods for efficient application of LGT

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004140473A (ja) * 2002-10-15 2004-05-13 Sony Corp 画像情報符号化装置、復号化装置並びに画像情報符号化方法、復号化方法
US20050053296A1 (en) * 2003-09-07 2005-03-10 Microsoft Corporation Bitplane coding for macroblock field/frame coding type information
KR20110017783A (ko) * 2009-08-14 2011-02-22 삼성전자주식회사 계층적 부호화 단위의 스캔 순서를 고려한 비디오 부호화 방법 및 장치, 비디오 복호화 방법 및 장치
KR20110036520A (ko) * 2009-10-01 2011-04-07 에스케이 텔레콤주식회사 분할 레이어를 이용한 영상 부호화/복호화 방법 및 장치
KR20110090065A (ko) * 2010-02-02 2011-08-10 삼성전자주식회사 계층적 데이터 단위의 스캔 순서에 기반한 비디오 부호화 방법과 그 장치, 및 비디오 복호화 방법과 그 장치

Family Cites Families (43)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4083302B2 (ja) * 1998-08-12 2008-04-30 株式会社東芝 動画像スクランブル／デスクランブル装置
US8125480B2 (en) * 2005-04-12 2012-02-28 Siemens Medical Solutions Usa, Inc. Flat texture volume rendering
TW200806315A (en) 2006-04-26 2008-02-01 Wyeth Corp Novel formulations which stabilize and inhibit precipitation of immunogenic compositions
CN101897190B (zh) * 2007-11-28 2012-06-20 松下电器产业株式会社 图像编码方法和图像编码装置
CN101742300B (zh) * 2008-11-21 2012-05-09 中国科学院空间科学与应用研究中心 一种低比特率星载图像压缩处理系统及方法
US8276128B2 (en) * 2009-07-14 2012-09-25 Unisys Corporation Systems, methods, and computer programs for dynamic binary translation in a master control program interpreter
US8527969B2 (en) * 2009-07-14 2013-09-03 Unisys Corporation Systems, methods, and computer programs for dynamic binary translation in an interpreter
EP2285112A1 (en) * 2009-08-07 2011-02-16 Canon Kabushiki Kaisha Method for sending compressed data representing a digital image and corresponding device
EP2285111A1 (en) * 2009-08-07 2011-02-16 Canon Kabushiki Kaisha Method for sending compressed data representing a digital image and corresponding device
JP5263621B2 (ja) * 2009-09-24 2013-08-14 ソニー株式会社 画像処理装置および方法
JP5515758B2 (ja) * 2010-01-18 2014-06-11 ソニー株式会社 画像処理装置および方法
US8588536B2 (en) * 2010-02-22 2013-11-19 Texas Instruments Incorporated Guaranteed-rate tiled image data compression
US9094658B2 (en) * 2010-05-10 2015-07-28 Mediatek Inc. Method and apparatus of adaptive loop filtering
CA2799763A1 (en) * 2010-07-13 2012-01-19 Research In Motion Limited Methods and devices for data compression using context-based coding order
EP2599227B1 (en) * 2010-07-28 2020-04-01 BlackBerry Limited Method and device for compression of binary sequences by grouping multiple symbols
US20120082238A1 (en) * 2010-10-01 2012-04-05 General Instrument Corporation Coding and decoding utilizing picture boundary variability in flexible partitioning
KR20130070646A (ko) * 2010-10-01 2013-06-27 제너럴 인스트루먼트 코포레이션 유연한 분할에서 영상 경계 패딩을 활용하는 코딩 및 디코딩
US20120106622A1 (en) * 2010-11-03 2012-05-03 Mediatek Inc. Method and Apparatus of Slice Grouping for High Efficiency Video Coding
GB2486733A (en) * 2010-12-24 2012-06-27 Canon Kk Video encoding using multiple inverse quantizations of the same reference image with different quantization offsets
US9060174B2 (en) * 2010-12-28 2015-06-16 Fish Dive, Inc. Method and system for selectively breaking prediction in video coding
EP2678944B1 (en) * 2011-02-25 2019-11-06 BlackBerry Limited Methods and devices for data compression using offset-based adaptive reconstruction levels
US20120230399A1 (en) * 2011-03-10 2012-09-13 Christopher Andrew Segall Video decoder parallelization including a bitstream signal
US9532058B2 (en) * 2011-06-03 2016-12-27 Qualcomm Incorporated Intra prediction mode coding with directional partitions
US8995523B2 (en) * 2011-06-03 2015-03-31 Qualcomm Incorporated Memory efficient context modeling
US20120314767A1 (en) * 2011-06-13 2012-12-13 Qualcomm Incorporated Border pixel padding for intra prediction in video coding
WO2012175195A1 (en) * 2011-06-20 2012-12-27 Panasonic Corporation Simplified pipeline for filtering
US20130003859A1 (en) * 2011-06-30 2013-01-03 Qualcomm Incorporated Transition between run and level coding modes
US9338465B2 (en) * 2011-06-30 2016-05-10 Sharp Kabushiki Kaisha Context initialization based on decoder picture buffer
US8767824B2 (en) * 2011-07-11 2014-07-01 Sharp Kabushiki Kaisha Video decoder parallelization for tiles
US9398307B2 (en) * 2011-07-11 2016-07-19 Sharp Kabushiki Kaisha Video decoder for tiles
US9838692B2 (en) * 2011-10-18 2017-12-05 Qualcomm Incorporated Detecting availabilities of neighboring video units for video coding
US9584819B2 (en) * 2011-10-24 2017-02-28 Qualcomm Incorporated Grouping of tiles for video coding
US20130107973A1 (en) * 2011-10-28 2013-05-02 Qualcomm Incorporated Loop filtering control over tile boundaries
US9124895B2 (en) * 2011-11-04 2015-09-01 Qualcomm Incorporated Video coding with network abstraction layer units that include multiple encoded picture partitions
US9332259B2 (en) * 2012-01-18 2016-05-03 Qualcomm Incorporated Indication of use of wavefront parallel processing in video coding
US9462275B2 (en) * 2012-01-30 2016-10-04 Qualcomm Incorporated Residual quad tree (RQT) coding for video coding
CN102447907A (zh) * 2012-01-31 2012-05-09 北京工业大学 一种针对hevc的视频序列的编码方法
US10244246B2 (en) * 2012-02-02 2019-03-26 Texas Instruments Incorporated Sub-pictures for pixel rate balancing on multi-core platforms
EP2811742A4 (en) * 2012-02-04 2015-09-02 Lg Electronics Inc VIDEO CODING METHOD, VIDEO DECODING METHOD AND DEVICE THEREFOR
US9578326B2 (en) * 2012-04-04 2017-02-21 Qualcomm Incorporated Low-delay video buffering in video coding
US20130272428A1 (en) * 2012-04-16 2013-10-17 Sharp Laboratories Of America, Inc. Video decoder for copy slices
US8774540B2 (en) * 2012-04-20 2014-07-08 Broadcom Corporation Tile support in decoders
KR102249484B1 (ko) * 2012-06-26 2021-05-12 엘지전자 주식회사 비디오 인코딩 방법, 비디오 디코딩 방법 및 이를 이용하는 장치

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004140473A (ja) * 2002-10-15 2004-05-13 Sony Corp 画像情報符号化装置、復号化装置並びに画像情報符号化方法、復号化方法
US20050053296A1 (en) * 2003-09-07 2005-03-10 Microsoft Corporation Bitplane coding for macroblock field/frame coding type information
KR20110017783A (ko) * 2009-08-14 2011-02-22 삼성전자주식회사 계층적 부호화 단위의 스캔 순서를 고려한 비디오 부호화 방법 및 장치, 비디오 복호화 방법 및 장치
KR20110036520A (ko) * 2009-10-01 2011-04-07 에스케이 텔레콤주식회사 분할 레이어를 이용한 영상 부호화/복호화 방법 및 장치
KR20110090065A (ko) * 2010-02-02 2011-08-10 삼성전자주식회사 계층적 데이터 단위의 스캔 순서에 기반한 비디오 부호화 방법과 그 장치, 및 비디오 복호화 방법과 그 장치

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108886639A (zh) * 2016-02-02 2018-11-23 弗劳恩霍夫应用研究促进协会 视频流传输中的场景部分和感兴趣区域处理
CN108886639B (zh) * 2016-02-02 2021-05-07 弗劳恩霍夫应用研究促进协会 视频流传输中的场景部分和感兴趣区域处理
US11134282B2 (en) 2016-02-02 2021-09-28 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Scene section and region of interest handling in video streaming
US11917220B2 (en) 2016-02-02 2024-02-27 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Scene section and region of interest handling in video streaming
RU2760850C1 (ru) * 2018-06-21 2021-11-30 Телефонактиеболагет Лм Эрикссон (Пабл) Гибкие разбиения тайлов
US11553180B2 (en) 2018-06-21 2023-01-10 Telefonaktiebolaget Lm Ericsson (Publ) Tile partitions with sub-tiles in video coding
US11711530B2 (en) 2018-06-21 2023-07-25 Telefonaktiebolaget Lm Ericsson (Publ) Tile shuffling for 360 degree video decoding
US12034926B2 (en) 2018-06-21 2024-07-09 Telefonaktiebolaget Lm Ericsson (Publ) Flexible tile partitions
US12101482B2 (en) 2018-06-21 2024-09-24 Telefonaktiebolaget Lm Ericsson (Publ) Tile partitions with sub-tiles in video coding
US11477470B2 (en) 2018-10-02 2022-10-18 Telefonaktiebolaget Lm Ericsson (Publ) Encoding and decoding pictures based on tile group ID
WO2021182816A1 (ko) * 2020-03-09 2021-09-16 엘지전자 주식회사 직사각형 슬라이스의 크기 정보를 선택적으로 부호화 하는 영상 부호화/복호화 방법, 장치 및 비트스트림을 전송하는 방법
US11743469B2 (en) 2020-03-09 2023-08-29 Lg Electronics Inc. Image encoding/decoding method and apparatus for selectively encoding size information of rectangular slice, and method for transmitting bitstream

Also Published As

Publication number Publication date
KR20150034675A (ko) 2015-04-03
ES2912082T3 (es) 2022-05-24
US10085026B2 (en) 2018-09-25
US20220132129A1 (en) 2022-04-28
SI4002842T1 (sl) 2023-12-29
FI4002842T3 (fi) 2023-11-02
EP4236315C0 (en) 2024-06-12
KR102545727B1 (ko) 2023-06-20
EP4236315A2 (en) 2023-08-30
US10863178B2 (en) 2020-12-08
CN108769692A (zh) 2018-11-06
EP2866439A1 (en) 2015-04-29
US12075055B2 (en) 2024-08-27
SI3780606T1 (sl) 2022-06-30
CN104509112B (zh) 2018-08-31
PL4002842T3 (pl) 2024-02-05
PL3780606T3 (pl) 2022-06-20
US20180367796A1 (en) 2018-12-20
US11729392B2 (en) 2023-08-15
US10491901B2 (en) 2019-11-26
CN104509112A (zh) 2015-04-08
HUE058244T2 (hu) 2022-07-28
KR20210054038A (ko) 2021-05-12
EP4443877A1 (en) 2024-10-09
EP2866439B1 (en) 2020-11-04
EP3780606A1 (en) 2021-02-17
HRP20231318T1 (hr) 2024-02-16
DK2866439T3 (da) 2020-12-14
KR102351132B1 (ko) 2022-01-13
CN108718410B (zh) 2022-05-24
HUE063692T2 (hu) 2024-01-28
KR20220092634A (ko) 2022-07-01
US20170318296A1 (en) 2017-11-02
EP2866439A4 (en) 2016-09-21
CN108769692B (zh) 2022-05-24
CN108718410A (zh) 2018-10-30
HRP20240900T1 (hr) 2024-10-11
EP4002842A1 (en) 2022-05-25
US20230353741A1 (en) 2023-11-02
US11245907B2 (en) 2022-02-08
EP4002842B1 (en) 2023-08-02
ES2961943T3 (es) 2024-03-14
EP4236315B1 (en) 2024-06-12
PL2866439T3 (pl) 2021-05-31
US9736482B2 (en) 2017-08-15
US20150341642A1 (en) 2015-11-26
KR102249484B1 (ko) 2021-05-12
EP4236315A3 (en) 2023-09-06
KR20220011209A (ko) 2022-01-27
US20210144382A1 (en) 2021-05-13
EP3780606B1 (en) 2022-02-16
ES2841995T3 (es) 2021-07-12
KR102164572B1 (ko) 2020-10-12
KR20200118241A (ko) 2020-10-14
KR102412470B1 (ko) 2022-06-23
US20200045318A1 (en) 2020-02-06
PL4236315T3 (pl) 2024-08-19

Similar Documents

Publication Publication Date Title
US11729392B2 (en) Video encoding method, video decoding method, and apparatus using same
US11838526B2 (en) Method for encoding and decoding substreams and wavefront parallel processing, and apparatus using same
KR102269655B1 (ko) 비디오 인코딩 방법, 비디오 디코딩 방법 및 이를 이용하는 장치
KR102657113B1 (ko) 비디오 인코딩 및 디코딩 방법과 이를 이용하는 장치

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13808815

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 20147023349

Country of ref document: KR

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 14411313

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 2013808815

Country of ref document: EP