WO2017209328A1 - 영상 코딩 시스템에서 인트라 예측 방법 및 장치 - Google Patents

영상 코딩 시스템에서 인트라 예측 방법 및 장치 Download PDF

Info

Publication number
WO2017209328A1
WO2017209328A1 PCT/KR2016/005919 KR2016005919W WO2017209328A1 WO 2017209328 A1 WO2017209328 A1 WO 2017209328A1 KR 2016005919 W KR2016005919 W KR 2016005919W WO 2017209328 A1 WO2017209328 A1 WO 2017209328A1
Authority
WO
WIPO (PCT)
Prior art keywords
ciip
intra prediction
current
current block
prediction mode
Prior art date
Application number
PCT/KR2016/005919
Other languages
English (en)
French (fr)
Inventor
장형문
이범식
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority to US16/306,837 priority Critical patent/US10812807B2/en
Priority to KR1020187035034A priority patent/KR20180136555A/ko
Priority to PCT/KR2016/005919 priority patent/WO2017209328A1/ko
Publication of WO2017209328A1 publication Critical patent/WO2017209328A1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/11—Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/184—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/33—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the spatial domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Definitions

  • the present invention relates to image coding, and more particularly, to an intra prediction method and apparatus in an image coding system.
  • the demand for high resolution and high quality images such as high definition (HD) images and ultra high definition (UHD) images is increasing in various fields.
  • the higher the resolution and the higher quality of the image data the more information or bit rate is transmitted than the existing image data. Therefore, the image data can be transmitted by using a medium such as a conventional wired / wireless broadband line or by using a conventional storage medium. In the case of storage, the transmission cost and the storage cost are increased.
  • a high efficiency image compression technique is required to effectively transmit, store, and reproduce high resolution, high quality image information.
  • An object of the present invention is to provide a method and apparatus for increasing intra prediction efficiency.
  • Another object of the present invention is to provide a method and apparatus for generating an intra prediction sample using transform coefficients of a neighboring block.
  • Another technical problem of the present invention is to provide a method and apparatus for deriving a peripheral sample by applying a scaling matrix to transform coefficients of a neighboring block and generating an intra prediction sample based on the neighboring sample.
  • Another technical problem of the present invention is to provide a method and apparatus for adaptively determining whether to apply coefficient induced intra prediction (CIIP) to a current block.
  • CIIP coefficient induced intra prediction
  • Another technical problem of the present invention is to provide a method and apparatus for adaptively determining whether to apply CIIP on a PU or CU basis.
  • an intra prediction method performed by a decoding apparatus may include obtaining information about an intra prediction mode from a bitstream, determining an intra prediction mode for a current block based on the information about the intra prediction mode, and efficiently induced CIIP for the current block. determining whether to apply intra prediction, deriving neighboring samples for the current block based on whether to apply the CIIP, and generating prediction samples for the current block based on the intra prediction mode and the neighboring samples. Characterized by including.
  • an intra prediction method performed by an encoding apparatus includes determining an intra prediction mode for a current block, determining whether to apply efficient induced intra prediction (CIIP) to the current block, and surrounding samples for the current block based on whether to apply the CIIP. Deriving them, generating prediction samples for the current block based on the intra prediction mode and the neighboring samples, and encoding and outputting information about the intra prediction mode.
  • CIIP efficient induced intra prediction
  • a decoding apparatus for performing intra prediction.
  • the decoding apparatus may further include an entropy decoding unit configured to obtain information about an intra prediction mode from a bitstream, determine an intra prediction mode for a current block based on the information about the intra prediction mode, and generate a CIIP for the current block.
  • an prediction unit for determining whether to apply intra prediction, deriving neighboring samples for the current block based on whether to apply the CIIP, and generating prediction samples for the current block based on the intra prediction mode and the neighboring samples. It is characterized by.
  • an encoding apparatus for performing intra prediction.
  • the encoding apparatus determines an intra prediction mode for the current block, determines whether to apply efficient induced intra prediction (CIIP) to the current block, derives neighbor samples for the current block based on whether the CIIP is applied, A predictor for generating predictive samples for the current block based on the intra prediction mode and the neighboring samples, and an entropy encoding unit for encoding and outputting information about the intra prediction mode.
  • CIIP efficient induced intra prediction
  • neighboring samples suitable for intra prediction of the current block can be derived, thereby improving intra prediction performance.
  • modified or improved neighboring samples can be generated by applying CIIP scaling to transform coefficients of neighboring blocks. In this way, intra prediction performance can be improved.
  • whether to apply a CIIP to a current block can be adaptively determined based on whether a neighboring block has a coded block flag (CBF), an intra prediction mode, and / or a CIIP applied to a neighboring block. Predictive efficiency can be improved.
  • CBF coded block flag
  • FIG. 1 is a diagram schematically illustrating a configuration of a video encoding apparatus to which the present invention may be applied.
  • FIG. 2 is a diagram schematically illustrating a configuration of a video decoding apparatus to which the present invention may be applied.
  • 3 schematically illustrates an intra prediction method in consideration of CIIP.
  • 5 exemplarily shows a TU decoding procedure according to the present invention.
  • FIG. 6 exemplarily shows a prediction sample generation procedure for a current block according to the present invention.
  • FIG. 7 exemplarily shows a CIIP flag derivation method in PU decoding according to the present invention.
  • FIG. 10 illustrates an example in which a block having a CBF of 1 is considered among neighboring blocks considered when the intra prediction mode of the current PU has a prediction direction in the upper left diagonal direction (ex. Intra prediction mode # 18).
  • FIG. 11 illustrates an example in which there is no block having CBF of 1 among neighboring blocks considered when the intra prediction mode of the current PU has a prediction direction in the upper left diagonal direction.
  • FIG. 13 shows examples of reference blocks when the intra prediction mode of the current PU belongs to category 0.
  • FIG. 14 shows an example of reference blocks when the intra prediction mode of the current PU belongs to category 1.
  • 15 to 18 show examples of reference blocks when the intra prediction mode of the current PU belongs to categories 2 to 5, respectively.
  • 19 exemplarily shows positions of reference blocks with respect to a current PU of a non-square shape.
  • 20 and 21 exemplarily show positions of reference blocks with respect to a current PU of a non-square shape.
  • FIG. 22 shows an example of a CIIP flag of 0 in a reference block.
  • 24 is an example of the case where a plurality of reference blocks exist.
  • 25 exemplarily shows a CIIP reference block position.
  • 26 shows an example of the case where a plurality of reference blocks exist.
  • FIG. 27 shows an example in which an intra prediction mode of a reference block and a current PU are the same and a CIIP flag for the reference block is 0.
  • FIG. 28 shows an example in which an intra prediction mode of a reference block and a current PU are the same, and a CIIP flag is 1 for the reference block.
  • 29 shows an example of a case in which an intra prediction mode of a reference block and a current PU are different.
  • 30 is an example of the case where there are a plurality of reference blocks having various intra prediction modes.
  • FIG. 31 schematically shows an example of an intra prediction method by the encoding apparatus according to the present invention.
  • FIG. 32 schematically shows an example of an intra prediction method by a decoding apparatus according to the present invention.
  • each configuration in the drawings described in the present invention are shown independently for the convenience of description of the different characteristic functions, it does not mean that each configuration is implemented by separate hardware or separate software.
  • two or more of each configuration may be combined to form one configuration, or one configuration may be divided into a plurality of configurations.
  • Embodiments in which each configuration is integrated and / or separated are also included in the scope of the present invention without departing from the spirit of the present invention.
  • a picture generally refers to a unit representing one image of a specific time zone
  • a slice is a unit constituting a part of a picture in coding.
  • One picture may be composed of a plurality of slices, and if necessary, the picture and the slice may be mixed with each other.
  • a pixel or a pel may refer to a minimum unit constituting one picture (or image). Also, 'sample' may be used as a term corresponding to a pixel.
  • a sample may generally represent a pixel or a value of a pixel, and may only represent pixel / pixel values of the luma component, or only pixel / pixel values of the chroma component.
  • a unit represents the basic unit of image processing.
  • the unit may include at least one of a specific region of the picture and information related to the region.
  • the unit may be used interchangeably with terms such as block or area in some cases.
  • an M ⁇ N block may represent a set of samples or transform coefficients consisting of M columns and N rows.
  • FIG. 1 is a diagram schematically illustrating a configuration of a video encoding apparatus to which the present invention may be applied.
  • the video encoding apparatus 100 may include a picture divider 105, a predictor 110, a subtractor 115, a transformer 120, a quantizer 125, a reordering unit 130, An entropy encoding unit 135, an inverse quantization unit 140, an inverse transform unit 145, an adder 150, a filter unit 155, and a memory 160 are included.
  • the picture divider 105 may divide the input picture into at least one processing unit.
  • the processing unit may be a coding unit block (CU), a prediction unit (PU), or a transform unit (TU).
  • a coding unit is a unit block of coding and may be split from a largest coding unit (LCU) into coding units of a deeper depth along a quad-tree structure.
  • LCU largest coding unit
  • the maximum coding unit may be used as the final coding unit immediately based on coding efficiency according to the image characteristic, or if necessary, the coding unit is recursively divided into coding units of lower depths and optimized.
  • a coding unit of size may be used as the final coding unit.
  • the coding unit may not be split into smaller coding units than the minimum coding unit.
  • the final coding unit refers to a coding unit that is the basis of partitioning or partitioning into a prediction unit or a transform unit.
  • the prediction unit is a block partitioning from the coding unit block and may be a unit block of sample prediction. In this case, the prediction unit may be divided into sub blocks.
  • the transform unit may be divided along the quad tree structure from the coding unit block, and may be a unit block for deriving a transform coefficient and / or a unit block for deriving a residual signal from the transform coefficient.
  • a coding unit may be called a coding block (CB)
  • a prediction unit is a prediction block (PB)
  • a transform unit may be called a transform block (TB).
  • a prediction block or prediction unit may mean a specific area in the form of a block within a picture, and may include an array of prediction samples.
  • a transform block or a transform unit may mean a specific area in a block form within a picture, and may include an array of transform coefficients or residual samples.
  • the prediction unit 110 may perform a prediction on a block to be processed (hereinafter, referred to as a current block) and generate a prediction block including prediction samples of the current block.
  • the unit of prediction performed by the prediction unit 110 may be a coding block, a transform block, or a prediction block.
  • the prediction unit 110 may determine whether intra prediction or inter prediction is applied to the current block. As an example, the prediction unit 110 may determine whether intra prediction or inter prediction is applied on a CU basis.
  • the prediction unit 110 may derive a prediction sample for the current block based on reference samples outside the current block in the picture to which the current block belongs (hereinafter, referred to as the current picture). In this case, the prediction unit 110 may (i) derive the prediction sample based on the average or interpolation of neighboring reference samples of the current block, and (ii) the neighbor reference of the current block.
  • the prediction sample may be derived based on a reference sample present in a specific (prediction) direction with respect to the prediction sample among the samples. In case of (i), it may be called non-directional mode or non-angle mode, and in case of (ii), it may be called directional mode or angular mode.
  • the prediction mode may have, for example, 33 directional prediction modes and at least two non-directional modes.
  • the non-directional mode may include a DC prediction mode and a planner mode (Planar mode).
  • the prediction unit 110 may determine the prediction mode applied to the current block by using the prediction mode applied to the neighboring block.
  • the prediction unit 110 may derive the prediction sample for the current block based on the sample specified by the motion vector on the reference picture.
  • the prediction unit 110 may apply one of a skip mode, a merge mode, and a motion vector prediction (MVP) mode to derive a prediction sample for the current block.
  • the prediction unit 110 may use the motion information of the neighboring block as the motion information of the current block.
  • the skip mode unlike the merge mode, the difference (residual) between the prediction sample and the original sample is not transmitted.
  • the MVP mode the motion vector of the current block can be derived using the motion vector of the neighboring block as a motion vector predictor.
  • the neighboring block may include a spatial neighboring block existing in the current picture and a temporal neighboring block present in the reference picture.
  • a reference picture including the temporal neighboring block may be called a collocated picture (colPic).
  • the motion information may include a motion vector and a reference picture index.
  • Information such as prediction mode information and motion information may be encoded (entropy) and output in the form of a bitstream.
  • the highest picture on the reference picture list may be used as the reference picture.
  • Reference pictures included in a reference picture list may be sorted based on a difference in a picture order count (POC) between a current picture and a corresponding reference picture.
  • POC picture order count
  • the subtraction unit 115 generates a residual sample which is a difference between the original sample and the prediction sample.
  • residual samples may not be generated as described above.
  • the transform unit 120 generates a transform coefficient by transforming the residual sample in units of transform blocks.
  • the transform unit 120 may perform the transformation according to the size of the transform block and the prediction mode applied to the coding block or the prediction block that spatially overlaps the transform block. For example, if intra prediction is applied to the coding block or the prediction block that overlaps the transform block, and the transform block is a 4 ⁇ 4 residual array, the residual sample uses a discrete sine transform (DST). In other cases, the residual sample may be transformed by using a discrete cosine transform (DCT).
  • DST discrete sine transform
  • DCT discrete cosine transform
  • the quantization unit 125 may quantize the transform coefficients to generate quantized transform coefficients.
  • the reordering unit 130 rearranges the quantized transform coefficients.
  • the reordering unit 130 may reorder the quantized transform coefficients in the form of a block into a one-dimensional vector form through a coefficient scanning method. Although the reordering unit 130 has been described in a separate configuration, the reordering unit 130 may be part of the quantization unit 125.
  • the entropy encoding unit 135 may perform entropy encoding on the quantized transform coefficients.
  • Entropy encoding may include, for example, encoding methods such as exponential Golomb, context-adaptive variable length coding (CAVLC), context-adaptive binary arithmetic coding (CABAC), and the like.
  • the entropy encoding unit 135 may encode information necessary for video reconstruction other than the quantized transform coefficients (for example, a value of a syntax element) together or separately. Entropy encoded information may be transmitted or stored in units of network abstraction layer (NAL) units in the form of bitstreams.
  • NAL network abstraction layer
  • the inverse quantization unit 140 inverse quantizes the quantized values (quantized transform coefficients) in the quantization unit 125, and the inverse transform unit 145 inversely transforms the inverse quantized values in the inverse quantization unit 135 to obtain a residual sample.
  • the adder 150 reconstructs the picture by combining the residual sample and the predictive sample.
  • the residual sample and the predictive sample may be added in units of blocks to generate a reconstructed block.
  • the adder 150 has been described in a separate configuration, the adder 150 may be part of the predictor 110.
  • the filter unit 155 may apply a deblocking filter and / or a sample adaptive offset to the reconstructed picture. Through deblocking filtering and / or sample adaptive offset, the artifacts of the block boundaries in the reconstructed picture or the distortion in the quantization process can be corrected.
  • the sample adaptive offset may be applied on a sample basis and may be applied after the process of deblocking filtering is completed.
  • the filter unit 155 may apply an adaptive loop filter (ALF) to the reconstructed picture. ALF may be applied to the reconstructed picture after the deblocking filter and / or sample adaptive offset is applied.
  • ALF adaptive loop filter
  • the memory 160 may store information necessary for reconstruction picture or encoding / decoding.
  • the reconstructed picture may be a reconstructed picture after the filtering process is completed by the filter unit 155.
  • the stored reconstructed picture may be used as a reference picture for (inter) prediction of another picture.
  • the memory 160 may store (reference) pictures used for inter prediction.
  • pictures used for inter prediction may be designated by a reference picture set or a reference picture list.
  • FIG. 2 is a diagram schematically illustrating a configuration of a video decoding apparatus to which the present invention may be applied.
  • the video decoding apparatus 200 includes an entropy decoding unit 210, a reordering unit 220, an inverse quantization unit 230, an inverse transform unit 240, a predictor 250, and an adder 260. , A filter unit 270, and a memory 280.
  • the video decoding apparatus 200 may reconstruct the video in response to a process in which the video information is processed in the video encoding apparatus.
  • the video decoding apparatus 200 may perform video decoding using a processing unit applied in the video encoding apparatus.
  • the processing unit block of video decoding may be a coding unit block, a prediction unit block, or a transform unit block.
  • the coding unit block may be divided along the quad tree structure from the largest coding unit block as a unit block of decoding.
  • the prediction unit block is a block partitioned from the coding unit block and may be a unit block of sample prediction. In this case, the prediction unit block may be divided into sub blocks.
  • the transform unit block may be divided along the quad tree structure from the coding unit block, and may be a unit block for deriving a transform coefficient or a unit block for deriving a residual signal from the transform coefficient.
  • the entropy decoding unit 210 may parse the bitstream and output information necessary for video reconstruction or picture reconstruction. For example, the entropy decoding unit 210 decodes information in a bitstream based on a coding method such as exponential Golomb coding, CAVLC, or CABAC, quantized values of syntax elements necessary for video reconstruction, and residual coefficients. Can be output.
  • a coding method such as exponential Golomb coding, CAVLC, or CABAC, quantized values of syntax elements necessary for video reconstruction, and residual coefficients. Can be output.
  • the CABAC entropy decoding method receives a bin corresponding to each syntax element in a bitstream, and decodes syntax element information and decoding information of neighboring and decoding target blocks or information of symbols / bins decoded in a previous step.
  • the context model may be determined using the context model, the probability of occurrence of a bin may be predicted according to the determined context model, and arithmetic decoding of the bin may be performed to generate a symbol corresponding to the value of each syntax element. have.
  • the CABAC entropy decoding method may update the context model by using the information of the decoded symbol / bin for the context model of the next symbol / bean after determining the context model.
  • the information related to the prediction among the information decoded by the entropy decoding unit 210 is provided to the prediction unit 230, and the residual value on which the entropy decoding has been performed by the entropy decoding unit 210, that is, the quantized transform coefficient, is used as a reordering unit ( 220).
  • the reordering unit 220 may rearrange the quantized transform coefficients in the form of a two-dimensional block.
  • the reordering unit 220 may perform reordering in response to coefficient scanning performed by the encoding apparatus. Although the reordering unit 220 has been described in a separate configuration, the reordering unit 220 may be a part of the quantization unit 230.
  • the inverse quantization unit 230 may output the transform coefficients by inversely quantizing the transform coefficients quantized based on the (inverse) quantization parameter.
  • information for deriving a quantization parameter may be signaled from the encoding apparatus.
  • the inverse transform unit 240 may induce residual samples by inversely transforming the transform coefficients.
  • the prediction unit 250 may perform prediction on the current block and generate a prediction block including prediction samples for the current block.
  • the unit of prediction performed by the prediction unit 250 may be a coding block, a transform block, or a prediction block.
  • the prediction unit 250 may determine whether to apply intra prediction or inter prediction based on the information about the prediction.
  • a unit for determining which of intra prediction and inter prediction is to be applied and a unit for generating a prediction sample may be different.
  • the unit for generating a prediction sample in inter prediction and intra prediction may also be different.
  • whether to apply inter prediction or intra prediction may be determined in units of CUs.
  • a prediction mode may be determined and a prediction sample may be generated in PU units.
  • intra prediction a prediction mode may be determined in PU units and a prediction sample may be generated in TU units.
  • the prediction unit 250 may derive the prediction sample for the current block based on the neighbor reference samples in the current picture.
  • the prediction unit 250 may derive the prediction sample for the current block by applying the directional mode or the non-directional mode based on the neighbor reference samples of the current block.
  • the prediction mode to be applied to the current block may be determined using the intra prediction mode of the neighboring block.
  • the prediction unit 250 may derive the prediction sample for the current block based on the sample specified on the reference picture by the motion vector on the reference picture.
  • the prediction unit 250 may induce a prediction sample for the current block by applying any one of a skip mode, a merge mode, and an MVP mode.
  • motion information required for inter prediction of the current block provided by the video encoding apparatus for example, information about a motion vector, a reference picture index, and the like may be obtained or derived based on the prediction information.
  • the motion information of the neighboring block may be used as the motion information of the current block.
  • the neighboring block may include a spatial neighboring block and a temporal neighboring block.
  • the predictor 250 may construct a merge candidate list using motion information of available neighboring blocks, and may use information indicated by the merge index on the merge candidate list as a motion vector of the current block.
  • the merge index may be signaled from the encoding device.
  • the motion information may include a motion vector and a reference picture. When the motion information of the temporal neighboring block is used in the skip mode and the merge mode, the highest picture on the reference picture list may be used as the reference picture.
  • the difference (residual) between the prediction sample and the original sample is not transmitted.
  • the motion vector of the current block may be derived using the motion vector of the neighboring block as a motion vector predictor.
  • the neighboring block may include a spatial neighboring block and a temporal neighboring block.
  • a merge candidate list may be generated by using a motion vector of a reconstructed spatial neighboring block and / or a motion vector corresponding to a Col block, which is a temporal neighboring block.
  • the motion vector of the candidate block selected from the merge candidate list is used as the motion vector of the current block.
  • the information about the prediction may include a merge index indicating a candidate block having an optimal motion vector selected from candidate blocks included in the merge candidate list.
  • the prediction unit 250 may derive the motion vector of the current block by using the merge index.
  • a motion vector predictor candidate list may be generated using a motion vector of a reconstructed spatial neighboring block and / or a motion vector corresponding to a Col block, which is a temporal neighboring block.
  • the prediction information may include a prediction motion vector index indicating an optimal motion vector selected from the motion vector candidates included in the list.
  • the prediction unit 250 may select the predicted motion vector of the current block from the motion vector candidates included in the motion vector candidate list using the motion vector index.
  • the prediction unit of the encoding apparatus may obtain a motion vector difference (MVD) between the motion vector of the current block and the motion vector predictor, and may encode the output vector in a bitstream form. That is, MVD may be obtained by subtracting the motion vector predictor from the motion vector of the current block.
  • the prediction unit 250 may obtain a motion vector difference included in the information about the prediction, and derive the motion vector of the current block by adding the motion vector difference and the motion vector predictor.
  • the prediction unit may also obtain or derive a reference picture index or the like indicating a reference picture from the information about the prediction.
  • the adder 260 may reconstruct the current block or the current picture by adding the residual sample and the predictive sample.
  • the adder 260 may reconstruct the current picture by adding the residual sample and the predictive sample in block units. Since the residual is not transmitted when the skip mode is applied, the prediction sample may be a reconstruction sample.
  • the adder 260 is described in a separate configuration, the adder 260 may be part of the predictor 250.
  • the filter unit 270 may apply the deblocking filtering sample adaptive offset, and / or ALF to the reconstructed picture.
  • the sample adaptive offset may be applied in units of samples and may be applied after deblocking filtering.
  • ALF may be applied after deblocking filtering and / or sample adaptive offset.
  • the memory 280 may store information necessary for reconstruction picture or decoding.
  • the reconstructed picture may be a reconstructed picture after the filtering process is completed by the filter unit 270.
  • the memory 280 may store pictures used for inter prediction.
  • pictures used for inter prediction may be designated by a reference picture set or a reference picture list.
  • the reconstructed picture can be used as a reference picture for another picture.
  • the memory 280 may output the reconstructed picture in an output order.
  • intra prediction or inter prediction may be applied as described above for coding efficiency.
  • intra prediction when intra prediction is applied, neighboring samples of the current block in the current picture may be used as reference samples for the current block.
  • some error when performing intra prediction on the current block based on such neighboring samples, some error may occur, which in turn causes an increase in the amount of data for the residual signal, thereby causing coding efficiency. Will be reduced.
  • modified peripheral samples may be derived and used as reference samples, rather than using the peripheral samples in the current picture as they are.
  • the modified neighboring samples may be derived by applying a scaling mask to transform coefficients of a neighboring block including the neighboring samples.
  • CIIP efficient induced intra prediction
  • the CIIP applies an scaling mask to transform coefficients of a neighboring block and then inverse transforms to generate modified residual samples for the neighboring block, and based on the modified residual samples,
  • intra prediction on the current block may be performed using the modified neighboring samples.
  • CIIP derives modified surrounding samples based on scaling mask application in the frequency domain for the neighboring block, so that the predictive sample of the current block can be derived similarly to the original sample, and based on the modified surrounding samples It can be seen as a method of performing intra prediction.
  • the scaling mask may be called a scaling matrix, and is a kind of filter applied in the frequency domain, and may be derived using information learned based on statistical characteristics between the original image and the predicted image in the frequency domain.
  • the size of the scaling matrix may be less than or equal to the size of the transform coefficients.
  • the procedure of applying the scaling mask to the transform coefficients may be called a CIIP scaling procedure. Based on the CIIP, a modified peripheral sample having a value similar to that of the current block can be derived, and the intra prediction performance can be improved based on the CIIP.
  • Whether to apply the CIIP may be determined based on the CIIP flag.
  • the CIIP flag is 1
  • CIIP scaling is applied to transform coefficients of a neighboring block
  • scaled transform coefficients are inverse transformed
  • modified residual samples are generated.
  • Modified neighboring samples are derived based on the modified residual samples, and intra prediction (ie, generation of prediction samples in the current block) is performed based on the modified neighboring samples.
  • the neighboring block may be a block including at least one of neighboring samples for intra prediction of the current block.
  • the neighboring block may be a block including at least one of neighboring samples selected according to a prediction mode applied to the current block among neighboring samples for intra prediction of the current block.
  • intra prediction may be performed on the current block based on the existing reconstruction samples of the neighboring blocks.
  • a method of performing intra prediction considering CIIP may be represented as follows.
  • FIG. 3 schematically illustrates an intra prediction method in consideration of CIIP.
  • the procedure of FIG. 3 may be performed by a coding device.
  • the coding device may comprise an encoding device or a decoding device.
  • the coding apparatus may perform intra prediction on the current block according to another procedure according to whether CIIP is applied.
  • the coding apparatus dequantizes quantized transform coefficients 300 of a neighboring block to derive transform coefficients (S305), and applies CIIP scaling to the transform coefficients (S310). ).
  • the coding apparatus may apply a predetermined scaling mask to the transform coefficients.
  • the coding apparatus inverse transforms the CIIP scaled transform coefficients (S315) to derive the modified residual sample 320.
  • the coding apparatus may generate the CIIP reconstruction picture 330 based on the predictor 325 of the neighboring block and the modified residual sample 320.
  • the predictor 325 may be called a predictive sample.
  • CIIP may not be applied to the neighboring block. That is, the predictor 325 of the neighboring block may be generated through a general intra prediction method to which CIIP is not applied.
  • the CIIP reconstructed picture 330 here includes a CIIP reconstructed sample 335.
  • the coding apparatus derives a reference sample (modified peripheral sample) of the current block based on the CIIP reconstruction sample 335 (S340).
  • the coding apparatus may generate a predictor, that is, a prediction sample, of the current block according to the intra prediction mode of the current block based on the derived reference sample (S345).
  • the coding apparatus if CIIP is not applied to the current block, the coding apparatus inversely quantizes the quantized transform coefficients 350 of the neighboring block to derive transform coefficients (S355), and inverse transform the transform coefficients (S365), The residual sample 370 is derived. In this case, the coding device does not apply the CIIP scaling procedure to the transform coefficients.
  • the coding apparatus may generate the reconstructed picture 380 based on the predator 325 and the residual sample 370 of the neighboring block.
  • the reconstructed picture 380 includes a reconstructed sample 385.
  • the coding apparatus derives a reference sample (peripheral sample) of the current block based on the reconstruction sample 385 (S390).
  • the coding apparatus may generate a predictor of the current block according to the intra prediction mode of the current block based on the derived reference sample (S395).
  • a specific intra prediction mode eg, DC mode, planner mode, angular mode, etc.
  • a procedure of generating a prediction sample based on peripheral reference samples may be performed at the TU.
  • an area of the PU may include an area of one or more TUs. In this case, the one or more TUs may share the same intra prediction mode.
  • the decoding procedure of the PU according to whether CIIP is applied may be specifically performed as follows.
  • FIG. 4 exemplarily illustrates a PU decoding procedure according to the present invention.
  • the procedure of FIG. 4 may be performed by the decoding apparatus.
  • the above-described current block may correspond to the TU, for example.
  • the decoding apparatus determines an intra prediction mode (S400).
  • the decoding apparatus may determine the intra prediction mode according to whether the most probable mode or the remaining mode is applied.
  • the intra prediction mode may be one of a DC mode, a planner mode, and an angular mode.
  • the MPM list may be determined based on an intra prediction mode for the left or upper neighboring block of the PU, and the intra prediction mode may be determined based on the MPM list.
  • the intra prediction mode for the upper neighboring block may be set to the DC mode.
  • information indicating a specific intra prediction mode may be signaled among the remaining modes not included in the MPM list.
  • the decoding apparatus checks whether the intra prediction mode corresponds to a non-CIIP mode (S410). For example, the CIIP mode may be set not to be applied to some of the intra prediction modes as described below, which may be referred to as a non-CIIP mode. On the other hand, if the non-CIIP mode is not set, the S410 procedure may be omitted.
  • the decoding apparatus parses and confirms the CIIP flag (S420). The decoding apparatus determines whether CIIP is applied to the TU based on the CIIP flag, and decodes the TU (S430). If the CIIP is applied, the decoding apparatus applies the CIIP scaling procedure to the transform coefficients of the neighboring block of the TU to derive a modified neighboring sample, based on the modified neighboring sample, as described above. A prediction sample is generated according to the determined intra prediction mode.
  • the decoding apparatus derives a neighboring sample without a CIIP scaling procedure based on the transform coefficients of the neighboring block of the TU, and extracts a prediction sample according to the determined intra prediction mode based on the neighboring sample.
  • the decoding apparatus checks whether the TU is the last TU in the PU region (S440). For example, when one TU exists in the PU region, the TU may be the last TU. As another example, when there are a plurality of TUs (for example, four) in the PU region, a TU which is decoded last according to a predefined scan order (eg, raster scan order) among the TUs is determined. It may be the last TU.
  • a predefined scan order eg, raster scan order
  • the decoding device may terminate the PU decoding procedure. If the TU is not the last TU in the PU region, the decoding device decodes a next TU.
  • CIIPs of TUs in the PU are determined according to one CIIP flag.
  • CIIP may be separately indicated for each TU in the PU.
  • the above-described TU decoding procedure may be specifically performed as follows, for example.
  • FIG. 5 exemplarily shows a TU decoding procedure according to the present invention.
  • the procedure of FIG. 5 may be performed by the decoding apparatus.
  • the current block may correspond to a TU.
  • the decoding apparatus obtains quantized transform coefficients for the current block (S550).
  • the decoding apparatus may obtain the quantized transform coefficients from a bitstream.
  • the decoding apparatus inversely quantizes the quantized transform coefficients (S510) to derive transform coefficients for the current block, and inverse transform the transform coefficients for the current block (S520) to obtain residual samples for the current block. It may be (S530).
  • the decoding apparatus obtains quantized transform coefficients for the neighboring block (S540).
  • the decoding apparatus may obtain quantized transform coefficients for the neighboring block from the bitstream.
  • the decoding apparatus dequantizes the quantized transform coefficients for the neighboring block (S550) to derive transform coefficients for the neighboring block. If CIIP is applied to the current block, the CIIP scaling procedure is applied to the transform coefficients of the neighboring block (S560), and the CIIP scaled transform coefficients are inversely transformed (S570) to modify the residual for the neighboring block. Samples can be obtained. Based on the modified residual samples, modified neighboring samples for the current block may be derived as reference samples, and prediction samples for the current block may be obtained based on the reference samples (S580).
  • the S560 procedure may be omitted, transform coefficients for the neighboring block may be inverse transformed (S570), and residual samples for the neighboring block may be obtained.
  • neighboring samples for the current block may be derived as reference samples based on residual samples of the neighboring block, and prediction samples for the current block may be obtained based on the reference samples (S580). ).
  • An inverse quantization, CIIP scaling, and / or inverse transform procedure performed based on quantized transform coefficients for the neighboring block may be performed based on information of the neighboring block. For example, if the current block is a TU of 8 ⁇ 8 size and the neighboring block is a TU of 4 ⁇ 4 size, inverse quantization, CIIP scaling and / or inverse transform performed based on quantized transform coefficients for the neighboring block. The procedure may be performed for the 4 ⁇ 4 size TU.
  • the decoding apparatus may generate reconstruction samples for the current block based on the residual samples for the current block and the prediction samples for the current block (S590). In this case, the decoding apparatus may generate the reconstructed samples by adding the residual samples for the current block and the prediction samples for the current block according to a corresponding position or phase.
  • the above-described procedure of generating the prediction samples of the current block may be specifically performed as follows, for example.
  • FIG. 6 exemplarily shows a prediction sample generation procedure for a current block according to the present invention.
  • the decoding apparatus obtains quantized transform coefficients of a neighboring block and inverse transforms the quantized transform coefficients to obtain transform coefficients (S650).
  • the decoding apparatus checks whether CIIP is applied to the current block (S655). Whether to apply the CIIP may be determined based on the CIIP flag. If the value of the CIIP flag is 1, the CIIP is applied to the current block. If the value of the CIIP flag is 0, the CIIP is not applied to the current block. Can be represented.
  • the decoding apparatus applies a CIIP scaling procedure to the transform coefficients (S660).
  • the CIIP scaling procedure may be performed based on a predetermined scaling matrix as described above.
  • the decoding apparatus inversely transforms CIIP scaled transform coefficients (when CIIP is applied) or transform coefficients (when CIIP is not applied) to obtain (modified) residual samples for the neighboring block (S670).
  • the decoding apparatus may generate (modified) reconstructed samples of the neighboring block based on prediction samples of the neighboring block and residual samples for the neighboring block obtained according to the prediction mode of the neighboring block.
  • (Modified) peripheral samples of the current block may be derived based on the reconstructed samples.
  • the (modified) neighboring samples may be utilized as reference samples for intra prediction of the current block.
  • whether to apply the CIIP may be determined in units of PUs or units of TUs.
  • the CIIP flag may be signaled in a PU unit or a TU unit.
  • the CIIP flag may be included in a PU syntax.
  • the PU syntax may include, for example, the following syntax elements.
  • IntraPredModeY may indicate an intra prediction mode of the current block, and specifically, may indicate an intra prediction mode for a luma component of the current block.
  • NON_CIIP_PRED_MODE_INTRA corresponds to the non-CIIP prediction mode described above. That is, when the CIIP mode is set not to be applied to some of the intra prediction modes, the NON_CIIP_PRED_MODE_INTRA indicates an intra prediction mode in which the CIIP mode is not applied.
  • the decoding apparatus may parse the ciip_flag syntax element only when the intra prediction mode of the current block is not the non-CIIP prediction mode.
  • the ciip_flag syntax element may always be included in the PU syntax to reduce complexity.
  • the CIIP flag may be derived based on information on the residual signal of the neighboring block of the current PU.
  • the residual signal may include information about residual samples.
  • CIIP applies the CIIP scaling matrix in the process of generating the prediction samples of the current block by using the residual signal of the neighboring block to minimize the error between the prediction sample and the original sample of the current block, thereby improving intra prediction performance. It can increase. Accordingly, when the CIIP mode is applied, the residual signal of the neighboring block may be generated by applying the scaling matrix.
  • the neighboring block has a specific characteristic regarding quantization or the like, for example, when there are no quantized transform coefficients of the neighboring block or the values are all 0, even if CIIP scaling is applied, the output value is not affected. Therefore, when the current block performs intra prediction based on this neighboring block, the encoding apparatus does not transmit the CIIP flag to the decoding apparatus, and the decoding apparatus may induce the CIIP flag to 0 internally or implicitly. That is, in a specific situation, the decoding device may not parse the CIIP flag, and in this case, the decoding device may derive the value of the CIIP flag to zero.
  • FIG. 7 exemplarily shows a CIIP flag derivation method in PU decoding according to the present invention.
  • the decoding apparatus determines an intra prediction mode (S700).
  • the intra prediction mode may be one of a DC mode, a planner mode, and an angular mode.
  • the decoding apparatus checks whether the intra prediction mode corresponds to a non-CIIP mode (S710). On the other hand, if the non-CIIP mode is not set, the S410 procedure may be omitted.
  • the decoding apparatus checks whether the coded bit flag (CBF) of the neighboring block of the current PU is 0 (S715). For example, if the CBF is 1, this may indicate that the TU includes one or more transform coefficient levels that are not equal to 0.
  • the CBF may correspond to a cbf_luma syntax element.
  • the neighboring block may be, for example, one of neighboring blocks located on the left side, the upper side, the upper left side, the lower left side, or the upper right side of the current PU.
  • the neighboring block may be, for example, a specific neighboring block among the neighboring blocks. The specific neighboring block may be determined according to the intra prediction mode, for example, as described below.
  • the decoding device parses and confirms the CIIP flag (S720).
  • the decoding apparatus may determine whether CIIP is applied to the TU based on the CIIP flag and decode the TU (S730). If the CIIP is applied, the decoding apparatus applies the CIIP scaling procedure to the transform coefficients of the neighboring block of the TU to derive a modified neighboring sample, based on the modified neighboring sample, as described above.
  • a prediction sample is generated according to the determined intra prediction mode.
  • the decoding apparatus determines the TU.
  • a peripheral sample is derived without the CIIP scaling procedure based on the transform coefficients of the neighboring block, and a prediction sample is generated according to the determined intra prediction mode based on the neighboring sample.
  • the decoding apparatus checks whether the TU is the last TU in the PU region (S740).
  • the decoding apparatus may terminate the PU decoding procedure. If the TU is not the last TU in the PU region, the decoding apparatus may be the next TU. It can be decoded as described above.
  • a plurality of neighboring blocks may exist around the PU.
  • the following neighboring blocks may be used to determine whether to apply CIIP of TUs in the PU and / or the PU region.
  • the peripheral reference samples are samples that are referred to to determine whether CIIP is applied to TUs in the current PU region, and correspond to hatched areas in FIG. 8.
  • the peripheral reference samples may be the same as or different from the neighbor samples used for intra prediction of one or more TUs in the current PU region. For example, when there is one TU of the same size as the size of the PU in the current PU region, neighboring reference samples of the current PU and neighboring samples of the TU may be the same. As another example, when there are a plurality of TUs in the current PU region, some of the neighbor reference samples of the PU may be used for intra prediction of the TUs.
  • the decoding apparatus may derive the value of the CIIP flag to 0 without parsing or decoding the CIIP flag.
  • the decoding apparatus parses or decodes a CIIP flag to determine whether to apply the CIIP to the current PU. can do.
  • only one or more neighboring blocks selected based on an intra prediction mode for the current PU among neighboring blocks including neighboring reference samples of the current PU apply CIIP of TUs in the PU and / or the PU region. It can be used to determine whether. That is, in this case, it may be determined whether the CIIP is applied to the current PU in consideration of the CBF of the block including the samples of the positions referenced by the intra prediction modes.
  • the intra prediction mode may include a total of 35 prediction modes as follows.
  • Intra prediction mode Associated name 0 Intra planner One Intra DC 2 ... 34 Intra Angular2 ... Intra Angular34
  • intra prediction mode # 0 represents an intra planner mode
  • intra prediction mode # 1 represents an intra DC mode
  • Intra prediction modes # 2 ... # 34 indicate intra angular 2 mode ... intra angular 34 mode, respectively.
  • the intra planner mode and the intra DC mode may be referred to as an intra non-directional mode, and the intra angular 2 to intra angular 34 modes may be referred to as an intra directional mode.
  • intra prediction modes # 0 and # 1 have no directionality, and a prediction sample may be derived based on bidirectional interpolation of neighboring samples or an average value of neighboring samples.
  • the intra prediction modes # 2 to # 34 have the direction as shown, and the prediction sample may be derived based on the surrounding (reference) samples located in the prediction direction based on the position of the prediction sample. In this case, if there is no surrounding sample in units of an integer sample at the corresponding prediction direction position, a fractional sample is generated through interpolation of two integer samples adjacent to the corresponding direction position. The prediction sample may be derived based on the fractional sample.
  • all or only some of the neighbor reference samples of the current PU may be considered according to the intra prediction mode.
  • FIG. 10 illustrates an example in which a block having a CBF of 1 is considered among neighboring blocks considered when the intra prediction mode of the current PU has a prediction direction in the upper left diagonal direction (ex. Intra prediction mode # 18).
  • the size of the current PU is 16 ⁇ 16 (sample unit), and the shaded area represents peripheral reference samples considered when the intra prediction mode of the current PU has a prediction direction in the upper left diagonal direction.
  • the shaded area represents peripheral reference samples considered when the intra prediction mode of the current PU has a prediction direction in the upper left diagonal direction.
  • only neighboring blocks including the hatched area are considered to determine whether the current PU applies CIIP. That is, when the CBFs of the neighboring blocks including the neighboring reference samples of the hatched area are all zero, it may be determined that the CIIP is not applied to the current PU, and the peripheral reference samples of the hatched area are included. If any one of the CBFs of neighboring blocks is 1, it may be determined whether the CIIP is applied based on the CIIP flag.
  • CIIP is available in intra prediction for TUs in the current PU region, and based on the CIIP flag, the CIIP flag is checked and used in the current PU. It can be determined whether the CIIP is applied.
  • FIG. 11 illustrates an example in which there is no CBF 1 block among neighboring blocks considered when the intra prediction mode of the current PU has a prediction direction in the upper left diagonal direction.
  • the size of the current PU is 16 ⁇ 16 (sample unit), and the shaded area represents peripheral reference samples considered when the intra prediction mode of the current PU has a prediction direction in the upper left diagonal direction.
  • the shaded area represents peripheral reference samples considered when the intra prediction mode of the current PU has a prediction direction in the upper left diagonal direction.
  • CIIP is not available in intra prediction for TUs in the current PU region, and thus a decoding apparatus may determine the current PU without checking a CIIP flag. It can be determined that CIIP does not apply to.
  • the CBF of only reference blocks located in a region of a predetermined category according to the intra prediction mode is considered in consideration of the CBF. You can determine whether to apply CIIP.
  • the reference blocks considered according to the intra prediction mode may be set as follows, for example.
  • the intra prediction mode # 1 may belong to the category 5 as an example.
  • the intra prediction mode # 1 when the intra prediction mode # 1 is selected, it may be determined that the CIIP is not applied. In this case, the intra prediction mode # 1 may be set to the non-CIIP prediction mode.
  • A is a lower left region of the current PU
  • B is a left region of the current PU
  • C is a left upper side of the current PU.
  • An area, D may correspond to an upper area of the current PU
  • E may correspond to a right upper area of the current PU.
  • a size of a current PU is 8 ⁇ 8, and among A, B, C, D, and E representing the CBF reference block position, for example, A is a lower left region of the current PU, and B is A left region of the current PU, C denotes an upper left region of the current PU, D denotes an upper region of the current PU, and E corresponds to an upper right region of the current PU.
  • H ... (-1,2H-1) may indicate the area where the reference samples are located
  • B is a reference of the (-1,0) ... (-1, H-1) position
  • C may indicate the area where the sample is located
  • C may indicate the area where the reference sample of the (-1, -1) position is located
  • D may represent (0, -1) ... (W-1, -1) may indicate an area where reference samples of a position are located
  • E may represent an area where reference samples of positions (W, -1) ... (2W-1, -1) are located.
  • the CBF reference block position according to a specific category may be represented as follows, for example.
  • FIG. 13 shows examples of reference blocks when the intra prediction mode of the current PU belongs to category 0.
  • the intra prediction mode of the current PU belongs to category 0, that is, when the intra prediction mode of the current PU is any one of 14 to 22, the reference blocks located in the B, C, and D regions are included. Based on the CBF, it may be determined whether to apply the CIIP to the current PU. In this case, the B, C, and D regions may correspond to the hatched regions of FIG. 13.
  • the decoding apparatus may derive the CIIP flag to 0, and if any one of the CBFs of the reference blocks (TUs) located in the hatched area is 0 If not, the encoding apparatus transmits the CIIP flag to the decoding apparatus, and the decoding apparatus determines whether to apply the CIIP to the current PU based on the CIIP flag.
  • FIG. 14 shows an example of reference blocks when the intra prediction mode of the current PU belongs to category 1.
  • the intra prediction mode of the current PU belongs to category 1, it may be determined whether to apply CIIP to the current PU based on the CBF of one or more reference blocks located in the B region.
  • the B region may correspond to the hatched region of FIG. 14. If the CBFs of the reference blocks (TUs) located in the hatched area are all 0, the decoding apparatus may derive the CIIP flag to 0, and if any one of the CBFs of the reference blocks (TUs) located in the hatched area is 0 If not, the encoding apparatus transmits the CIIP flag to the decoding apparatus, and the decoding apparatus determines whether to apply the CIIP to the current PU based on the CIIP flag.
  • 15 to 18 show examples of reference blocks when the intra prediction mode of the current PU belongs to categories 2 to 5, respectively.
  • the intra prediction mode of the current PU when the intra prediction mode of the current PU belongs to category 2, it may be determined whether to apply CIIP to the current PU based on CBFs of one or more reference blocks located in the D region.
  • the intra prediction mode of the current PU belongs to category 3 it may be determined whether to apply CIIP to the current PU based on CBFs of one or more reference blocks located in regions A and B, wherein the current PU of the current PU is determined.
  • the intra prediction mode belongs to category 4
  • the hatched areas of the drawings may correspond to the CBF reference areas according to the categories as described above.
  • the PU is partitioned from the CU and may have a non-square shape according to the partitioning mode (or type). Even when the current PU is partitioned into a non-square shape, there are only some differences in the reference region to be considered, and according to the same method, it may be determined whether to apply the CIIP of the current PU based on the CBF of the reference blocks.
  • the partition type of the current PU may be PART_2N ⁇ N.
  • the height of the current PU is H
  • the width of the current PU is W
  • H and W are 4 and 8, respectively.
  • A, B, C, D, and E indicating a CBF reference block position
  • A is a lower left region of the current PU
  • B is a left region of the current PU
  • C is a top left of the current PU.
  • a side region, D corresponds to an upper region of the current PU
  • E corresponds to a right upper region of the current PU.
  • A denotes where reference samples of (-1, H) ... (-1,2H-1) positions are located.
  • Area may be represented, and B may represent an area where reference samples of positions (-1,0) ... (-1, H-1) are located, and C is a position (-1, -1)
  • D may indicate an area where reference samples are located
  • D may indicate an area where reference samples in positions (0, -1) ... (W-1, -1) are located
  • E is (W , -1) ... (2W-1, -1) may indicate the area where the reference samples are located.
  • FIG. 20 illustrates a case where a partition index of a current PU is 0 and FIG. 21 illustrates a case where a partition index of a current PU is 1.
  • the current PU may be determined whether to apply CIIP based on reference blocks on a corresponding reference region according to an intra prediction mode.
  • neighboring blocks located in the right upper E region of the current PU have not yet been decoded according to the raster scan order, and thus, neighboring blocks of the E region are not available. In this case, neighboring blocks of the E region that are not available may be excluded from the reference block for determining whether to apply the CIIP.
  • a TU in the PU and / or the PU region It can be determined whether their CIIP is applied.
  • the CIIP scaling matrix may be determined according to the intra prediction mode. In this case, whether or not the reference block is a block that has already been applied and restored by CIIP may be determined whether to apply CIIP to the current PU.
  • the decoding apparatus may derive the CIIP flag of the current PU based on the CIIP flag of the reference block according to the intra prediction mode of the current PU under certain conditions.
  • FIG. 22 shows an example of a CIIP flag of 0 in a reference block.
  • the intra prediction mode index of the current PU is 10.
  • the reference block is located on the left side of the PU.
  • the decoding apparatus checks the CIIP flag of the reference block, and if the CIIP flag of the reference block is 0, parses and acquires the CIIP flag for the current PU. In this case, the decoding apparatus may determine whether to apply the CIIP to the current PU based on the CIIP flag for the current PU.
  • the intra prediction mode index of the current PU is 26.
  • the reference block is located above the PU.
  • the decoding apparatus checks the CIIP flag of the reference block, and if the CIIP flag of the reference block is 1, induces that the CIIP flag for the current PU is zero. That is, in this case, the encoding device does not transmit the CIIP flag for the current PU to the decoding device, and the decoding device derives the value of the CIIP flag to 0 without parsing the CIIP flag for the current PU.
  • a plurality of reference blocks may exist in the prediction direction according to the intra prediction mode of the current PU.
  • 24 is an example of the case where a plurality of reference blocks exist.
  • blocks of various sizes may exist around a current PU, and an intra prediction mode index of the current PU is 26, and two reference blocks may exist above the current PU, in which case the reference block
  • These CIIP flags may have different values. That is, the CIIP flag of one reference block may be 0, but the CIIP flag of another reference block may be 1.
  • the intra prediction modes may be classified according to a predetermined category, and one or more reference blocks of positions corresponding to the corresponding category may be considered according to priority to derive a CIIP flag for the current PU.
  • reference blocks located in a region of a predetermined category may be considered according to the intra prediction mode.
  • the reference blocks considered according to the intra prediction mode may be set as follows, for example.
  • A is an upper left region of the current PU
  • B is a lower left region of the current PU
  • C is a left region of the current PU
  • D may correspond to an upper region of the current PU
  • E may correspond to a right upper region of the current PU.
  • 25 exemplarily shows a CIIP reference block position.
  • a size of a current PU is 8 ⁇ 8, and among A, B, C, D, and E representing the CIIP reference block position, for example, A is an upper left region of the current PU, and B is The lower left area of the current PU, C denotes a left region of the current PU, D denotes an upper region of the current PU, and E corresponds to an upper right region of the current PU.
  • A is (-1).
  • , -1) may indicate the area where the reference samples of the position is located
  • the B may indicate the area where the reference samples of the (-1, H) ... (-1, 2H-1) position is located
  • C may represent a region where reference samples of positions (-1,0) ... (-1, H-1) are located
  • D may represent (0, -1) ... (W-1, -1) may indicate an area where reference samples of a position are located
  • E may represent an area where reference samples of positions (W, -1) ... (2W-1, -1) are located.
  • a CIIP flag of a reference block located on the left or upper side of the reference blocks based on priority It may be determined whether to apply the CIIP to the current PU based on.
  • the value of the CIIP flag of the current PU may be derived as 0.
  • the CIIP flag of the neighboring blocks according to the priority among the neighboring blocks is 1, the CIIP flag for the current PU is parsed, and it is determined whether to apply the CIIP to the current PU based on the parsed CIIP flag. Can be.
  • 26 shows an example of the case where a plurality of reference blocks exist.
  • the intra prediction mode index of the current PU is 26, and two reference blocks exist in the D region that is above the current PU.
  • the decoding apparatus parses the CIIP flag for the current PU and determines whether to apply the CIIP to the current PU based on the parsed CIIP flag. can do.
  • whether or not CIIPs are applied to TUs in the PU and / or the PU region may be determined in consideration of an intra prediction mode of one or more reference blocks of the current PU. That is, in this case, it may be determined whether the CIIP is applied to the current PU based on the intra prediction mode of the reference block referred to for each intra prediction mode of the current PU.
  • different CIIP scaling metrics may be applied according to the intra prediction mode. That is, the scaling matrix corresponding to the intra prediction mode of the current PU is applied to the transform coefficients of the neighboring blocks of the current TU to generate modified residual samples, and to generate prediction samples and the modified residual samples for the current TU. Since reconstructed samples are generated on the basis, the intra prediction mode of the neighboring block is also important for determining whether to apply CIIP to the current PU. This is because the characteristics of the transform coefficients of the neighboring block may differ depending on the intra prediction mode. Therefore, according to the present invention, it is possible to determine whether to apply CIIP to the current PU based on whether the intra prediction mode of the reference block of the current PU is the same as the intra prediction mode of the current block.
  • FIG. 27 shows an example in which an intra prediction mode of a reference block and a current PU are the same and a CIIP flag for the reference block is 0.
  • the intra prediction mode index of the current PU is 10.
  • the reference block is located on the left side of the PU. If the intra prediction mode of the reference block is the same as the intra prediction mode of the current PU, and the CIIP flag for the reference block is 0, the decoding apparatus parses and obtains the CIIP flag for the current PU.
  • FIG. 28 shows an example in which an intra prediction mode of a reference block and a current PU are the same, and a CIIP flag is 1 for the reference block.
  • the decoding apparatus determines that CIIP is not applied to the current PU. do. In this case, the decoding apparatus determines that the CIIP flag indicates 0 even without parsing the CIIP flag. This is because the reference block is already intra predicted based on the CIIP mode, and since the reference block has the same intra prediction mode as the current PU, scaling metrics of the same category are applied, so that the reference block and the current block are the same or similar. It can be determined that it has a characteristic, and thus, without transmitting and receiving a separate CIIP flag for the current PU, the encoding apparatus and the decoding apparatus may determine that CIIP is not applied to the current PU.
  • 29 shows an example of a case in which an intra prediction mode of a reference block and a current PU are different.
  • an intra prediction mode index of a current PU is 10
  • an intra prediction mode index of a reference block is different from each other by zero.
  • the decoding apparatus may parse and obtain the CIIP flag for the current PU regardless of whether the CIIP is applied to the reference block, and determine whether to apply the CIIP to the PU based on the CIIP flag. have.
  • the CIIP flag parsing and / or the CIIP determination procedure for the current PU can be divided as follows. have.
  • the CIIP flag for the current PU is deduced to 0, in which case the encoding apparatus is the current
  • the CIIP flag for the PU may not be transmitted.
  • the decoding apparatus parses and obtains a CIIP flag for the current PU transmitted in the form of a bitstream from the encoding apparatus, and determines whether to apply the CIIP to the current PU based on the CIIP flag for the current PU. .
  • a plurality of reference blocks may be considered according to the intra prediction mode of the current PU and the partition structure of neighboring blocks.
  • the plurality of reference blocks may have various intra prediction modes.
  • it may be determined whether to derive the CIIP flag based on the number of reference samples. In this case, for example, when more than half of the considered reference samples are located in one or more reference blocks having the same intra prediction mode as the current PU, it is determined that CIIP is not applied to the current PU, and the current The CIIP flag for the PU may be derived to zero.
  • 30 is an example of the case where there are a plurality of reference blocks having various intra prediction modes.
  • the intra prediction mode index of the current PU is 10, and thus, neighboring blocks located to the left of the current PU may be reference blocks.
  • the height of the current PU is H
  • the number of reference samples is H
  • the number of reference samples decoded based on the same intra prediction mode is H / 2 or more
  • the CIIP flag for the current PU is 0.
  • Can be induced that is, when the number of reference pixels needed to generate the prediction samples is N, N / 2 or more reference pixels may be decoded based on the same intra prediction mode (or prediction direction) as the intra prediction mode (or prediction direction) of the current PU. If the value of the CIIP flag for the current PU is derived to zero.
  • the decoding apparatus parses and acquires the CIIP flag for the current PU and applies the CIIP to the current PU based on the CIIP flag for the current PU. It can be determined.
  • the position or region of the reference block may be predetermined according to the intra prediction mode of the current PU.
  • the above-described intra prediction method according to the present invention may be performed based on the following flowchart, for example.
  • FIG. 31 schematically shows an example of an intra prediction method according to the present invention.
  • the method disclosed in FIG. 31 may be performed by an encoding apparatus.
  • S3100 to S3130 of FIG. 31 may be performed by the prediction unit of the encoding apparatus, and S3140 may be performed by the entropy encoding unit of the encoding apparatus.
  • the encoding apparatus determines an intra prediction mode for the current block (S3100).
  • the intra prediction mode may be one of a DC mode, a planner mode, and an angular mode.
  • the current block may correspond to the current TU.
  • at least one PU and at least one TU may be derived from the current CU.
  • one or a plurality of TUs may exist in the region of the PU.
  • an inter / intra prediction type may be determined in the current CU, and a specific intra prediction mode may be determined in the PU.
  • TUs in the PU region may share the determined intra prediction mode.
  • the encoding apparatus may determine an optimal intra prediction mode based on the rate-distortion (RD) cost.
  • RD rate-distortion
  • the encoding apparatus determines whether to apply the CIIP to the current block (S3110).
  • the encoding apparatus may determine whether to apply the CIIP to the current block based on the RD cost. In this case, the encoding apparatus may generate a CIIP flag indicating whether the CIIP is applied and transmit the CIIP flag to the decoding apparatus through a bitstream as described below. Meanwhile, according to a specific condition, it may be determined that the CIIP is not applied to the current block without considering the RD cost. That is, when the specific condition is satisfied, the CIIP may not be applied to the current block. In this case, the encoding apparatus may not perform the procedure of generating the CIIP flag and transmitting it to the decoding apparatus.
  • the encoding apparatus may determine whether the intra prediction mode for the current block belongs to a predefined non-CIIP prediction mode. If the intra prediction mode belongs to the predefined non-CIIP prediction mode, the encoding apparatus may determine that the CIIP is not applied to the current block. Alternatively, if the intra prediction mode does not belong to the predefined non-CIIP prediction mode, the encoding apparatus may determine whether to apply the CIIP to the current block and generate a CIIP flag indicating whether to apply the CIIP. .
  • reference blocks referenced to determine whether the CIIP is applied may be defined.
  • the current block may be located within a region of a current PU, and one or more reference blocks may be derived according to the intra prediction mode among neighboring blocks of the current PU.
  • the one or more reference blocks are located in a left, upper left or upper region of the current PU, and the intra prediction for the current block.
  • the index of the mode is one of 8 to 13
  • the one or more reference blocks are located in the left region of the current PU
  • the index of the intra prediction mode for the current block is one of 23 to 28
  • the one or more Reference blocks are located in an upper region of the current PU
  • the index of the intra prediction mode for the current block is one of 2 to 7
  • the one or more reference blocks are located in a lower left or left region of the current PU.
  • the one or more true if the index of the intra prediction mode for the current block is zero Joe blocks may be located in the lower left, left, upper left, upper or right upper region of the current PU.
  • the one or more reference blocks are located in the upper left region of the current PU, and the index of the intra prediction mode for the current block is If one of 2 to 6, the one or more reference blocks are located in the lower left region of the current PU, and if the index of the intra prediction mode for the current block is one of 7 to 13, the one or more reference blocks When the index is located in the left region of the current PU and the index of the intra prediction mode for the current block is one of 14 to 22, the one or more reference blocks are located in the upper left region of the current PU, and for the current block When the index of the intra prediction mode is 23 to 29, the one or more reference blocks are higher. Located in the upper area of the current PU, if the index of the intra-prediction mode of the current block, one of 30 to 34, wherein the one or more reference blocks can be located on the upper right area of the current PU.
  • the encoding apparatus may determine whether to apply CIIP to the current block based on at least one of coded bit flag (CBF), intra prediction mode, or CIIP of the one or more reference blocks.
  • CBF coded bit flag
  • intra prediction mode intra prediction mode
  • CIIP CIIP of the one or more reference blocks.
  • the encoding apparatus may separately determine whether to apply the CIIP to the current block and generate the CIIP flag.
  • the CIIP when the CIIP is applied to a specific reference block among the one or more reference blocks, the CIIP may be set not to be applied to the current block.
  • the specific reference block may be a reference block located on the left side or the upper side of the reference blocks.
  • the encoding apparatus may separately determine whether to apply the CIIP to the current block and generate the CIIP flag.
  • the CIIP when the CIIP is applied to the one or more reference blocks and the one or more reference blocks have the same intra prediction mode as the intra prediction mode for the current block, the CIIP is not applied to the current block. May be set. If the CIIP is not applied to the one or more reference blocks or the one or more reference blocks do not have the same intra prediction mode as that of the current block, the encoding apparatus separately determines whether to apply the CIIP to the current block. And determine the CIIP flag.
  • the encoding apparatus derives neighboring samples for the current block (S3120).
  • the encoding apparatus derives the neighboring samples of the current block for use in intra prediction. For example, if the upper left sample position of the current block is (0,0), and the height of the current block is H and the width is W, the neighboring samples are (-1,2N-1) ... (-1, -1) and up to (0, -1) ... (2N-1, -1).
  • the encoding apparatus may obtain quantized transform coefficients for the neighboring block and quantize the quantized transform coefficients to obtain transform coefficients.
  • the encoding apparatus may derive the residual samples or the modified residual samples based on the transform coefficients.
  • the encoding apparatus may inversely transform the transform coefficients to derive the residual samples.
  • the encoding apparatus may inversely transform CIIP scaled transform coefficients after the CIIP scaling procedure is performed on the transform coefficients to derive the modified residual samples.
  • the CIIP scaling procedure may be performed based on a predetermined scaling matrix. The scaling matrix may be determined according to the intra prediction mode for the current block.
  • the encoding apparatus may derive the peripheral samples based on the residual samples or the modified residual samples.
  • the encoding apparatus generates prediction samples for the current block based on the intra prediction mode and the neighboring samples (S3130).
  • the encoding apparatus may generate the prediction samples using some or all of the neighboring samples according to the intra prediction mode.
  • the encoding apparatus encodes and outputs the information about the intra prediction mode (S3140).
  • the encoding apparatus may encode and output the information about the intra prediction mode in the form of a bitstream.
  • the bitstream may be transmitted to a decoding apparatus via a network or a storage medium.
  • the encoding apparatus may encode and output the information about the residual for the current block in the form of the bitstream.
  • the information about the residual for the current block may include quantized transform coefficients for the residual samples for the current block.
  • the encoding apparatus may encode the generated CIIP flag and output the encoded CIIP flag in the form of the bitstream.
  • FIG. 32 schematically shows an example of an intra prediction method according to the present invention.
  • the method disclosed in FIG. 32 may be performed by a decoding apparatus.
  • S3200 of FIG. 32 may be performed by the entropy decoding unit of the decoding apparatus, and S3210 to S3240 may be performed by the prediction unit of the decoding apparatus.
  • the decoding apparatus obtains information about an intra prediction mode from a bitstream (S3200).
  • the decoding device may decode the bitstream received from the encoding device and obtain information about the intra prediction mode.
  • the bitstream may be received via a network or a storage medium.
  • the decoding apparatus determines an intra prediction mode for the current block based on the information about the intra prediction mode (S3210).
  • the intra prediction mode may be one of a DC mode, a planner mode, and an angular mode.
  • the current block may correspond to the current TU.
  • at least one PU and at least one TU may be derived from the current CU.
  • one or a plurality of TUs may exist in the region of the PU.
  • an inter / intra prediction type may be determined in the current CU, and a specific intra prediction mode may be determined in the PU.
  • TUs in the PU region may share the determined intra prediction mode.
  • the decoding apparatus determines whether to apply the CIIP to the current block (S3220).
  • the decoding apparatus may parse or obtain a CIIP flag from the bitstream and determine whether to apply the CIIP to the current block based on the CIIP flag.
  • it may be determined or derived that the CIIP is not applied to the current block without receiving or parsing the CIIP flag according to a specific condition. That is, when the specific condition is satisfied, the CIIP may not be applied to the current block.
  • the decoding apparatus may determine whether the intra prediction mode for the current block belongs to a predefined non-CIIP prediction mode. If the intra prediction mode belongs to the predefined non-CIIP prediction mode, the decoding apparatus may determine that the CIIP is not applied to the current block. Or if the intra prediction mode does not belong to the predefined non-CIIP prediction mode, the decoding apparatus obtains the CIIP flag for the current block from the bitstream, and sets the CIIP flag for the current block. Based on the determination, whether CIIP is applied to the current block can be determined.
  • reference blocks referenced to determine whether the CIIP is applied may be defined.
  • the current block may be located within a region of a current PU, and one or more reference blocks may be derived according to the intra prediction mode among neighboring blocks of the current PU.
  • the one or more reference blocks are located in a left, upper left or upper region of the current PU, and the intra prediction for the current block.
  • the index of the mode is one of 8 to 13
  • the one or more reference blocks are located in the left region of the current PU
  • the index of the intra prediction mode for the current block is one of 23 to 28
  • the one or more Reference blocks are located in an upper region of the current PU
  • the index of the intra prediction mode for the current block is one of 2 to 7
  • the one or more reference blocks are located in a lower left or left region of the current PU.
  • the one or more true if the index of the intra prediction mode for the current block is zero Joe blocks may be located in the lower left, left, upper left, upper or right upper region of the current PU.
  • the one or more reference blocks are located in the upper left region of the current PU, and the index of the intra prediction mode for the current block is If one of 2 to 6, the one or more reference blocks are located in the lower left region of the current PU, and if the index of the intra prediction mode for the current block is one of 7 to 13, the one or more reference blocks When the index is located in the left region of the current PU and the index of the intra prediction mode for the current block is one of 14 to 22, the one or more reference blocks are located in the upper left region of the current PU, and for the current block When the index of the intra prediction mode is 23 to 29, the one or more reference blocks are higher. Located in the upper area of the current PU, if the index of the intra-prediction mode of the current block, one of 30 to 34, wherein the one or more reference blocks can be located on the upper right area of the current PU.
  • the decoding apparatus may determine whether to apply CIIP to the current block based on at least one of coded bit flag (CBF), intra prediction mode, or CIIP of the one or more reference blocks.
  • CBF coded bit flag
  • intra prediction mode intra prediction mode
  • CIIP CIIP of the one or more reference blocks.
  • the decoding apparatus may determine that the CIIP is not applied to the current block without receiving or parsing the CIIP flag. Meanwhile, when at least one of the one or more reference blocks has a CBF of value 1, the decoding apparatus obtains the CIIP flag for the current block from the bitstream and based on the CIIP flag for the current block. It can be determined whether CIIP is applied to the current block.
  • the CIIP when the CIIP is applied to a specific reference block among the one or more reference blocks, the CIIP may be set not to be applied to the current block. In this case, the decoding apparatus may determine that the CIIP is not applied to the current block without receiving or parsing the CIIP flag.
  • the specific reference block may be a reference block located on the left side or the upper side of the reference blocks.
  • the decoding apparatus obtains the CIIP flag for the current block from the bitstream and based on the CIIP flag for the current block. It may be determined whether the CIIP is applied to the current block.
  • the decoding apparatus may determine that the CIIP is not applied to the current block without receiving or parsing the CIIP flag.
  • the decoding apparatus is configured to apply the current block to the current block.
  • the CIIP flag may be obtained, and whether to apply CIIP to the current block may be determined based on the CIIP flag of the current block.
  • the decoding apparatus derives neighboring samples for the current block (S3230).
  • the decoding apparatus derives the neighboring samples of the current block for use in intra prediction. For example, if the upper left sample position of the current block is (0,0), and the height of the current block is H and the width is W, the neighboring samples are (-1,2N-1) ... (-1, -1) and up to (0, -1) ... (2N-1, -1).
  • the decoding apparatus may obtain quantized transform coefficients for neighboring blocks from the bitstream, and quantize the quantized transform coefficients to obtain transform coefficients.
  • the decoding apparatus may derive the residual samples or the modified residual samples based on the transform coefficients.
  • the decoding device may inversely transform the transform coefficients to derive the residual samples.
  • the decoding apparatus may derive the modified residual samples by inversely transforming CIIP scaled transform coefficients after a CIIP scaling procedure is performed on the transform coefficients.
  • the CIIP scaling procedure may be performed based on a predetermined scaling matrix.
  • the scaling matrix may be determined according to the intra prediction mode for the current block.
  • the decoding apparatus may derive the peripheral samples based on the residual samples or the modified residual samples.
  • the decoding apparatus generates prediction samples for the current block based on the intra prediction mode and the neighboring samples (S3240).
  • the decoding apparatus may generate the prediction samples using some or all of the neighboring samples according to the intra prediction mode.
  • the decoding apparatus may obtain information about the residual for the current block from the bitstream.
  • the decoding apparatus derives residual samples for the current block based on the information about the residual for the current block, and based on the prediction samples for the current block and the residual samples for the current block. Restoration samples may be generated.
  • the information about the residual for the current block may include quantized transform coefficients for the current block.
  • the decoding apparatus may generate a reconstructed picture based on the reconstructed samples.
  • neighboring samples suitable for intra prediction of the current block can be derived, thereby improving intra prediction performance.
  • the present invention unlike the reconstructed samples of the neighboring block were previously used as the neighboring samples for intra prediction of the current block, it is possible to generate modified or improved neighboring samples by applying CIIP scaling to the transform coefficients of the neighboring block. This may improve intra prediction performance.
  • whether to apply a CIIP to a current block can be adaptively determined based on whether a neighboring block has a coded block flag (CBF), an intra prediction mode, and / or a CIIP applied to a neighboring block. Predictive efficiency can be improved.
  • CBF coded block flag
  • the above-described method according to the present invention may be implemented in software, and the encoding device and / or the decoding device according to the present invention may perform image processing of, for example, a TV, a computer, a smartphone, a set-top box, a display device, and the like. It can be included in the device.
  • the above-described method may be implemented as a module (process, function, etc.) for performing the above-described function.
  • the module may be stored in memory and executed by a processor.
  • the memory may be internal or external to the processor and may be coupled to the processor by various well known means.
  • the processor may include application-specific integrated circuits (ASICs), other chipsets, logic circuits, and / or data processing devices.
  • the memory may include read-only memory (ROM), random access memory (RAM), flash memory, memory card, storage medium and / or other storage device.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

본 발명에 따른 인트라 예측 방법은 비트스트림으로부터 인트라 예측 모드에 관한 정보를 획득하는 단계, 상기 인트라 예측 모드에 관한 정보를 기반으로 현재 블록에 대한 인트라 예측 모드를 결정하는 단계, 상기 현재 블록에 대한 CIIP(coefficient induced intra prediction) 적용 여부를 판단하는 단계, 상기 CIIP 적용 여부를 기반으로 상기 현재 블록에 대한 주변 샘플들을 도출하는 단계, 상기 인트라 예측 모드 및 상기 주변 샘플들을 기반으로 현재 블록에 대한 예측 샘플들을 생성하는 단계를 포함함을 특징으로 한다. 본 발명에 따르면 수정 또는 개선된 주변 샘플들을 생성할 수 있으며, 이를 통하여 인트라 예측 성능을 향상시킬 수 있다.

Description

영상 코딩 시스템에서 인트라 예측 방법 및 장치
본 발명은 영상 코딩에 관한 기술로서, 보다 상세하게는 영상 코딩 시스템에서 인트라 예측 방법 및 장치에 관한 것이다.
최근 HD(High Definition) 영상 및 UHD(Ultra High Definition) 영상과 같은 고해상도, 고품질의 영상에 대한 수요가 다양한 분야에서 증가하고 있다. 영상 데이터가 고해상도, 고품질이 될수록 기존의 영상 데이터에 비해 상대적으로 전송되는 정보량 또는 비트량이 증가하기 때문에 기존의 유무선 광대역 회선과 같은 매체를 이용하여 영상 데이터를 전송하거나 기존의 저장 매체를 이용해 영상 데이터를 저장하는 경우, 전송 비용과 저장 비용이 증가된다.
이에 따라, 고해상도, 고품질 영상의 정보를 효과적으로 전송하거나 저장하고, 재생하기 위해 고효율의 영상 압축 기술이 요구된다.
본 발명의 기술적 과제는 인트라 예측 효율을 높이는 방법 및 장치를 제공함에 있다.
본 발명의 다른 기술적 과제는 주변 블록의 변환 계수(transform coefficient)들를 이용하여 인트라 예측 샘플을 생성하는 방법 및 장치를 제공함에 있다.
본 발명의 또 다른 기술적 과제는 주변 블록에 대한 변환 계수들에 스케일링 메트릭스를 적용하여 주변 샘플을 도출하고, 상기 주변 샘플을 기반으로 인트라 예측 샘플을 생성하는 방법 및 장치를 제공함에 있다.
본 발명의 또 다른 기술적 과제는 현재 블록에 대한 CIIP(coefficient induced intra prediction) 적용 여부를 적응적으로 결정하는 방법 및 장치를 제공함에 있다.
본 발명의 또 다른 기술적 과제는 PU 또는 CU 단위로 CIIP 적용 여부를 적응적으로 결정하는 방법 및 장치를 제공함에 있다.
본 발명의 일 실시예에 따르면, 디코딩 장치에 의하여 수행되는 인트라 예측 방법을 제공한다. 상기 인트라 예측 방법은 비트스트림으로부터 인트라 예측 모드에 관한 정보를 획득하는 단계, 상기 인트라 예측 모드에 관한 정보를 기반으로 현재 블록에 대한 인트라 예측 모드를 결정하는 단계, 상기 현재 블록에 대한 CIIP(coefficient induced intra prediction) 적용 여부를 판단하는 단계, 상기 CIIP 적용 여부를 기반으로 상기 현재 블록에 대한 주변 샘플들을 도출하는 단계, 상기 인트라 예측 모드 및 상기 주변 샘플들을 기반으로 현재 블록에 대한 예측 샘플들을 생성하는 단계를 포함함을 특징으로 한다.
본 발명의 다른 일 실시예에 따르면, 인코딩 장치에 의하여 수행되는 인트라 예측 방법을 제공한다. 상기 인트라 예측 방법은 현재 블록에 대한 인트라 예측 모드를 결정하는 단계, 상기 현재 블록에 대한 CIIP(coefficient induced intra prediction) 적용 여부를 판단하는 단계, 상기 CIIP 적용 여부를 기반으로 상기 현재 블록에 대한 주변 샘플들을 도출하는 단계, 상기 인트라 예측 모드 및 상기 주변 샘플들을 기반으로 현재 블록에 대한 예측 샘플들을 생성하는 단계, 및 상기 인트라 예측 모드에 관한 정보를 인코딩하여 출력하는 단계를 포함함을 특징으로 한다.
본 발명의 또 다른 일 실시예에 따르면, 인트라 예측을 수행하는 디코딩 장치를 제공한다. 상기 디코딩 장치는 비트스트림으로부터 인트라 예측 모드에 관한 정보를 획득하는 엔트로피 디코딩부, 상기 인트라 예측 모드에 관한 정보를 기반으로 현재 블록에 대한 인트라 예측 모드를 결정하고, 상기 현재 블록에 대한 CIIP(coefficient induced intra prediction) 적용 여부를 판단하고, 상기 CIIP 적용 여부를 기반으로 상기 현재 블록에 대한 주변 샘플들을 도출하고, 상기 인트라 예측 모드 및 상기 주변 샘플들을 기반으로 현재 블록에 대한 예측 샘플들을 생성하는 예측부를 포함함을 특징으로 한다.
본 발명의 또 다른 일 실시예에 따르면, 인트라 예측을 수행하는 인코딩 장치를 제공한다. 상기 인코딩 장치는 현재 블록에 대한 인트라 예측 모드를 결정하고, 상기 현재 블록에 대한 CIIP(coefficient induced intra prediction) 적용 여부를 판단하고, 상기 CIIP 적용 여부를 기반으로 상기 현재 블록에 대한 주변 샘플들을 도출하고, 상기 인트라 예측 모드 및 상기 주변 샘플들을 기반으로 현재 블록에 대한 예측 샘플들을 생성하는 예측부, 및 상기 인트라 예측 모드에 관한 정보를 인코딩하여 출력하는 엔트로피 인코딩부를 포함함을 특징으로 한다.
본 발명에 따르면 현재 블록의 인트라 예측에 적합한 주변 샘플들을 도출할 수 있으며, 이를 통하여 인트라 예측 성능을 향상시킬 수 있다.
본 발명에 따르면 기존에는 주변 블록의 복원 샘플이 현재 블록의 인트라 예측을 위한 주변 샘플들로 이용되었던 것과 달리, 주변 블록의 변환 계수에 CIIP 스케일링을 적용하여 수정 또는 개선된 주변 샘플들을 생성할 수 있으며, 이를 통하여 인트라 예측 성능을 향상시킬 수 있다.
또한, 본 발명에 따르면 주변 블록의 CBF(coded block flag), 인트라 예측 모드 및/또는 주변 블록에 대한 CIIP 적용 여부 등을 기반으로 적응적으로 현재 블록에 대한 CIIP 적용 여부를 결정할 수 있으며, 이를 통하여 예측 효율을 향상시킬 수 있다.
도 1은 본 발명이 적용될 수 있는 비디오 인코딩 장치의 구성을 개략적으로 설명하는 도면이다.
도 2는 본 발명이 적용될 수 있는 비디오 디코딩 장치의 구성을 개략적으로 설명하는 도면이다.
도 3은 CIIP를 고려한 인트라 예측 방법을 개략적으로 나타낸다.
도 4는 본 발명에 따른 PU 디코딩 절차를 예시적으로 나타낸다.
도 5는 본 발명에 따른 TU 디코딩 절차를 예시적으로 나타낸다.
도 6은 본 발명에 따른 현재 블록에 대한 예측 샘플 생성 절차를 예시적으로 나타낸다.
도 7은 본 발명에 따른 PU 디코딩시 CIIP 플래그 유도 방법을 예시적으로 나타낸다.
도 8은 현재 PU를 기준으로 주변 블록들 및 주변 참조샘플들을 예시적으로 나타낸다.
도 9는 본 발명에 따른 인트라 예측 모드들을 예시적으로 나타낸다.
도 10은 현재 PU의 인트라 예측 모드가 좌상단 대각 방향의 예측방향을 갖는 경우(ex. 인트라 예측 모드 #18) 고려되는 주변 블록들 중에 CBF가 1인 블록이 있는 경우의 예를 나타낸다.
도 11은 현재 PU의 인트라 예측 모드가 좌상단 대각 방향의 예측방향을 갖는 경우 고려되는 주변 블록들 중에 CBF가 1인 블록이 없는 경우의 예를 나타낸다.
도 12는 CBF 참조 블록 위치를 예시적으로 나타낸다.
도 13은 현재 PU의 인트라 예측 모드가 카테고리 0에 속할 경우에 참조 블록들의 예를 나타낸다.
도 14는 현재 PU의 인트라 예측 모드가 카테고리 1에 속할 경우에 참조 블록들의 예를 나타낸다.
도 15 내지 도 18은 각각 현재 PU의 인트라 예측 모드가 카테고리 2 내지 5에 속할 경우에 참조 블록들의 예를 나타낸다.
도 19는 비정방형 형태의 현재 PU에 대한 참조 블록들의 위치를 예시적으로 나타낸다.
도 20 및 21은 비정방형 형태의 현재 PU에 대한 참조 블록들의 위치를 예시적으로 나타낸다.
도 22는 참조블록의 CIIP 플래그가 0인 경우에 대한 예이다.
도 23은 참조블록의 CIIP 플래그가 1인 경우에 대한 예이다.
도 24는 다수의 참조블록이 존재하는 경우에 대한 예이다.
도 25는 CIIP 참조 블록 위치를 예시적으로 나타낸다.
도 26은 다수의 참조 블록들이 존재하는 경우에 대한 예를 나타낸다.
도 27은 참조블록과 현재 PU의 인트라 예측모드가 동일하고, 상기 참조블록에 대한 CIIP 플래그가 0인 경우에 대한 예이다.
도 28은 참조블록과 현재 PU의 인트라 예측모드가 동일하고, 상기 참조블록에 대한 CIIP 플래그가 1인 경우에 대한 예이다.
도 29는 참조블록과 현재 PU의 인트라 예측모드가 다른 경우에 대한 예이다.
도 30는 다양한 인트라 예측 모드를 갖는 다수의 참조 블록들이 존재하는 경우에 대한 예시이다.
도 31은 본 발명에 따른 인코딩 장치에 의한 인트라 예측 방법의 예를 개략적으로 나타낸다.
도 32는 본 발명에 따른 디코딩 장치에 의한 인트라 예측 방법의 예를 개략적으로 나타낸다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정 실시예에 한정하려고 하는 것이 아니다. 본 명세서에서 상용하는 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명의 기술적 사상을 한정하려는 의도로 사용되는 것은 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서 "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성 요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성 요소, 부품 도는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
한편, 본 발명에서 설명되는 도면상의 각 구성들은 서로 다른 특징적인 기능들에 관한 설명의 편의를 위해 독립적으로 도시된 것으로서, 각 구성들이 서로 별개의 하드웨어나 별개의 소프트웨어로 구현된다는 것을 의미하지는 않는다. 예컨대, 각 구성 중 두 개 이상의 구성이 합쳐져 하나의 구성을 이룰 수도 있고, 하나의 구성이 복수의 구성으로 나뉘어질 수도 있다. 각 구성이 통합 및/또는 분리된 실시예도 본 발명의 본질에서 벗어나지 않는 한 본 발명의 권리범위에 포함된다.
이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예를 보다 상세하게 설명하고자 한다. 이하, 도면상의 동일한 구성 요소에 대해서는 동일한 참조 부호를 사용하고 동일한 구성 요소에 대해서 중복된 설명은 생략한다.
본 명세서에서 픽처(picture)는 일반적으로 특정 시간대의 하나의 영상을 나타내는 단위를 의미하며, 슬라이스(slice)는 코딩에 있어서 픽처의 일부를 구성하는 단위이다. 하나의 픽처는 복수의 슬라이스로 구성될 수 있으며, 필요에 따라서 픽처 및 슬라이스는 서로 혼용되어 사용될 수 있다.
픽셀(pixel) 또는 펠(pel)은 하나의 픽처(또는 영상)을 구성하는 최소의 단위를 의미할 수 있다. 또한, 픽셀에 대응하는 용어로서 '샘플(sample)'이 사용될 수 있다. 샘플은 일반적으로 픽셀 또는 픽셀의 값을 나타낼 수 있으며, 휘도(luma) 성분의 픽셀/픽셀값만을 나타낼 수도 있고, 채도(chroma) 성분의 픽셀/픽셀 값만을 나타낼 수도 있다.
유닛(unit)은 영상 처리의 기본 단위를 나타낸다. 유닛은 픽처의 특정 영역 및 해당 영역에 관련된 정보 중 적어도 하나를 포함할 수 있다. 유닛은 경우에 따라서 블록(block) 또는 영역(area) 등의 용어와 혼용하여 사용될 수 있다. 일반적인 경우, M×N 블록은 M개의 열과 N개의 행으로 이루어진 샘플들 또는 변환 계수(transform coefficient)들의 집합을 나타낼 수 있다.
도 1은 본 발명이 적용될 수 있는 비디오 인코딩 장치의 구성을 개략적으로 설명하는 도면이다.
도 1을 참조하면, 비디오 인코딩 장치(100)는 픽처 분할부(105), 예측부(110), 감산부(115), 변환부(120), 양자화부(125), 재정렬부(130), 엔트로피 인코딩부(135), 역양자화부(140), 역변환부(145), 가산부(150), 필터부(155) 및 메모리(160)을 포함한다.
픽처 분할부(105)는 입력된 픽처를 적어도 하나의 처리 유닛(processing unit)으로 분할할 수 있다. 이 때, 처리 유닛 코딩 유닛 블록(coding unit, CU), 예측 유닛(prediction unit, PU) 또는 변환 유닛(transform unit, TU)일 수 있다. 코딩 유닛은 코딩의 유닛 블록이고, 최대 코딩 유닛(largest coding unit, LCU)으로부터 쿼드 트리 구조(quad-tree structure)를 따라서 하위(deeper) 뎁스의 코딩 유닛들로 분할(split)될 수 있다. 이 경우 영상 특성에 따른 코딩 효율 등을 기반으로, 최대 코딩 유닛이 바로 최종 코딩 유닛으로 사용될 수 있고, 또는 필요에 따라 코딩 유닛은 재귀적으로(recursively) 보다 하위 뎁스의 코딩 유닛들로 분할되어 최적의 사이즈의 코딩 유닛이 최종 코딩 유닛으로 사용될 수 있다. 최소 코딩 유닛(smallest coding unit, SCU)이 설정된 경우 코딩 유닛은 최소 코딩 유닛보다 더 작은 코딩 유닛으로 분할될 수 없다. 여기서 최종 코딩 유닛이라 함은 예측 유닛 또는 변환 유닛으로 파티셔닝 또는 분할되는 기반이 되는 코딩 유닛을 의미한다. 예측 유닛은 코딩 유닛 블록으로부터 파티셔닝(partitioning)되는 블록으로서, 샘플 예측의 유닛 블록일 수 있다. 이 때, 예측 유닛은 서브 블록(sub block)으로 나뉠 수도 있다. 변환 유닛은 코딩 유닛 블록으로부터 쿼드 트리 구조를 따라서 분할 될 수 있으며, 변환 계수를 유도하는 유닛 블록 및/또는 변환 계수로부터 레지듀얼 신호(residual signal)를 유도하는 유닛 블록일 수 있다.
이하, 코딩 유닛은 코딩 블록(coding block, CB), 예측 유닛은 예측 블록(prediction block, PB), 변환 유닛은 변환 블록(transform block, TB) 으로 불릴 수 있다.
예측 블록 또는 예측 유닛은 픽처 내에서 블록 형태의 특정 영역을 의미할 수 있고, 예측 샘플의 어레이(array)를 포함할 수 있다. 또한, 변환 블록 또는 변환 유닛은 픽처 내에서 블록 형태의 특정 영역을 의미할 수 있고, 변환 계수 또는 레지듀얼 샘플의 어레이를 포함할 수 있다.
예측부(110)는 처리 대상 블록(이하, 현재 블록이라 함)에 대한 예측을 수행하고, 상기 현재 블록에 대한 예측 샘플들을 포함하는 예측 블록을 생성할 수 있다. 예측부(110)에서 수행되는 예측의 단위는 코딩 블록일 수 있고, 변환 블록일 수도 있고, 예측 블록일 수도 있다.
예측부(110)는 현재 블록에 인트라 예측이 적용되는지 인터 예측이 적용되는지를 결정할 수 있다. 일 예로, 예측부(110)는 CU 단위로 인트라 예측 또는 인터 예측이 적용되는지를 결정할 수 있다.
인트라 예측의 경우에, 예측부(110)는 현재 블록이 속하는 픽처(이하, 현재 픽처) 내의 현재 블록 외부의 참조 샘플을 기반으로 현재 블록에 대한 예측 샘플을 유도할 수 있다. 이 때, 예측부(110)는 (i) 현재 블록의 주변(neighboring) 참조 샘플들의 평균(average) 혹은 인터폴레이션(interpolation)을 기반으로 예측 샘플을 유도할 수 있고, (ii) 현재 블록의 주변 참조 샘플들 중 예측 샘플에 대하여 특정 (예측) 방향에 존재하는 참조 샘플을 기반으로 상기 예측 샘플을 유도할 수도 있다. (i)의 경우는 비방향성 모드 또는 비각도 모드, (ii)의 경우는 방향성(directional) 모드 또는 각도(angular) 모드라고 불릴 수 있다. 인트라 예측에서 예측 모드는 예를 들어 33개의 방향성 예측 모드와 적어도 2개 이상의 비방향성 모드를 가질 수 있다. 비방향성 모드는 DC 예측 모드 및 플래너 모드(Planar 모드)를 포함할 수 있다. 예측부(110)는 주변 블록에 적용된 예측 모드를 이용하여, 현재 블록에 적용되는 예측 모드를 결정할 수도 있다.
인터 예측의 경우에, 예측부(110)는 참조 픽처 상에서 움직임 벡터에 의해 특정되는 샘플을 기반으로, 현재 블록에 대한 예측 샘플을 유도할 수 있다. 예측부(110)는 스킵(skip) 모드, 머지(merge) 모드, 및 MVP(motion vector prediction) 모드 중 어느 하나를 적용하여 현재 블록에 대한 예측 샘플을 유도할 수 있다. 스킵 모드와 머지 모드의 경우에, 예측부(110)는 주변 블록의 움직임 정보를 현재 블록의 움직임 정보로 이용할 수 있다. 스킵 모드의 경우, 머지 모드와 달리 예측 샘플과 원본 샘플 사이의 차(레지듀얼)가 전송되지 않는다. MVP 모드의 경우, 주변 블록의 움직임 벡터를 움직임 벡터 예측자(motion vector predictor)로 이용하여 현재 블록의 움직임 벡터 예측자로 이용하여 현재 블록의 움직임 벡터를 유도할 수 있다.
인터 예측의 경우에, 주변 블록은 현재 픽처 내에 존재하는 공간적 주변 블록(spatial neighboring block)과 참조 픽처(reference picture)에 존재하는 시간적 주변 블록(temporal neighboring block)을 포함할 수 있다. 상기 시간적 주변 블록을 포함하는 참조 픽처는 동일 위치 픽처(collocated picture, colPic)라고 불릴 수도 있다. 움직임 정보(motion information)는 움직임 벡터와 참조 픽처 인덱스를 포함할 수 있다. 예측 모드 정보와 움직임 정보 등의 정보는 (엔트로피) 인코딩되어 비트스트림 형태로 출력될 수 있다.
스킵 모드와 머지 모드에서 시간적 주변 블록의 움직임 정보가 이용되는 경우에, 참조 픽처 리스트(reference picture list) 상의 최상위 픽처가 참조 픽처로서 이용될 수도 있다. 참조 픽처 리스트(Picture Order Count)에 포함되는 참조 픽처들은 현재 픽처와 해당 참조 픽처 간의 POC(Picture order count) 차이 기반으로 정렬될 수 있다. POC는 픽처의 디스플레이 순서에 대응하며, 코딩 순서와 구분될 수 있다.
감산부(115)는 원본 샘플과 예측 샘플 간의 차이인 레지듀얼 샘플을 생성한다. 스킵 모드가 적용되는 경우에는, 상술한 바와 같이 레지듀얼 샘플을 생성하지 않을 수 있다.
변환부(120)는 변환 블록 단위로 레지듀얼 샘플을 변환하여 변환 계수(transform coefficient)를 생성한다. 변환부(120)는 해당 변환 블록의 사이즈와, 해당 변환 블록과 공간적으로 겹치는 코딩 블록 또는 예측 블록에 적용된 예측 모드에 따라서 변환을 수행할 수 있다. 예컨대, 상기 변환 블록과 겹치는 상기 코딩 블록 또는 상기 예측 블록에 인트라 예측이 적용되었고, 상기 변환 블록이 4×4의 레지듀얼 어레이(array)라면, 레지듀얼 샘플은 DST(Discrete Sine Transform)를 이용하여 변환되고, 그 외의 경우라면 레지듀얼 샘플은 DCT(Discrete Cosine Transform)를 이용하여 변환할 수 있다.
양자화부(125)는 변환 계수들을 양자화하여, 양자화된 변환 계수들을 생성할 수 있다.
재정렬부(130)는 양자화된 변환 계수들을 재정렬한다. 재정렬부(130)는 계수들 스캐닝(scanning) 방법을 통해 블록 형태의 양자화된 변환 계수들을 1차원 벡터 형태로 재정렬할 수 있다. 여기서 재정렬부(130)는 별도의 구성으로 설명하였으나, 재정렬부(130)는 양자화부(125)의 일부일 수 있다.
엔트로피 인코딩부(135)는 양자화된 변환 계수들에 대한 엔트로피 인코딩을 수행할 수 있다. 엔트로피 인코딩은 예를 들어 지수 골롬(exponential Golomb), CAVLC(context-adaptive variable length coding), CABAC(context-adaptive binary arithmetic coding) 등과 같은 인코딩 방법을 포함할 수 있다. 엔트로피 인코딩부(135)는 양자화된 변환 계수 외 비디오 복원에 필요한 정보들(예컨대 신택스 요소(syntax element)의 값 등)을 함께 또는 별도로 인코딩할 수도 있다. 엔트로피 인코딩된 정보들은 비트스트림 형태로 NAL(network abstraction layer) 유닛 단위로 전송 또는 저장될 수 있다.
역양자화부(140)는 양자화부(125)에서 양자화된 값(양자화된 변환 계수)들을 역양자화하고, 역변환부(145)는 역양자화부(135)에서 역양자화된 값들을 역변환하여 레지듀얼 샘플을 생성한다.
가산부(150)는 레지듀얼 샘플과 예측 샘플을 합쳐서 픽처를 복원한다. 레지듀얼 샘플과 예측 샘플은 블록 단위로 더해져서 복원 블록이 생성될 수 있다. 여기서 가산부(150)는 별도의 구성으로 설명하였으나, 가산부(150)는 예측부(110)의 일부일 수 있다.
복원된 픽처(reconstructed picture)에 대하여 필터부(155)는 디블록킹 필터 및/또는 샘플 적응적 오프셋(sample adaptive offset)을 적용할 수 있다. 디블록킹 필터링 및/또는 샘플 적응적 오프셋을 통해, 복원 픽처 내 블록 경계의 아티팩트나 양자화 과정에서의 왜곡이 보정될 수 있다. 샘플 적응적 오프셋은 샘플 단위로 적용될 수 있으며, 디블록킹 필터링의 과정이 완료된 후 적용될 수 있다. 필터부(155)는 ALF(Adaptive Loop Filter)를 복원된 픽처에 적용할 수도 있다. ALF는 디블록킹 필터 및/또는 샘플 적응적 오프셋이 적용된 후의 복원된 픽처에 대하여 적용될 수 있다.
메모리(160)는 복원 픽처 또는 인코딩/디코딩에 필요한 정보를 저장할 수 있다. 여기서 복원 픽처는 상기 필터부(155)에 의하여 필터링 절차가 완료된 복원 픽처일 수 있다. 상기 저장된 복원 픽처는 다른 픽처의 (인터) 예측을 위한 참조 픽처로 활용될 수 있다. 예컨대, 메모리(160)는 인터 예측에 사용되는 (참조) 픽처들을 저장할 수 있다. 이 때, 인터 예측에 사용되는 픽처들은 참조 픽처 세트(reference picture set) 혹은 참조 픽처 리스트(reference picture list)에 의해 지정될 수 있다.
도 2는 본 발명이 적용될 수 있는 비디오 디코딩 장치의 구성을 개략적으로 설명하는 도면이다.
도 2를 참조하면, 비디오 디코딩 장치(200)는 엔트로피 디코딩부(210), 재정렬부(220), 역양자화부(230), 역변환부(240), 예측부(250), 가산부(260), 필터부(270), 메모리(280)를 포함한다.
비디오 정보를 포함하는 비트스트림이 입력되면, 비디오 디코딩 장치는(200)는 비디오 인코딩 장치에서 비디오 정보가 처리된 프로세스에 대응하여 비디오를 복원할 수 있다.
예컨대, 비디오 디코딩 장치(200)는 비디오 인코딩 장치에서 적용된 처리 유닛을 이용하여 비디오 디코딩을 수행할 수 있다. 따라서 비디오 디코딩의 처리 유닛 블록은 코딩 유닛 블록, 예측 유닛 블록 또는 변환 유닛 블록일 수 있다. 코딩 유닛 블록은 디코딩의 유닛 블록으로서 최대 코딩 유닛 블록으로부터 쿼드 트리 구조를 따라서 분할될 수 있다. 예측 유닛 블록은 코딩 유닛 블록으로부터 파티셔닝되는 블록으로서, 샘플 예측의 유닛 블록일 수 있다. 이 때, 예측 유닛 블록은 서브 블록으로 나뉠 수도 있다. 변환 유닛 블록은 코딩 유닛 블록으로부터 쿼드 트리 구조를 따라서 분할 될 수 있으며, 변환 계수를 유도하는 유닛 블록 또는 변환 계수로부터 레지듀얼 신호를 유도하는 유닛 블록일 수 있다.
엔트로피 디코딩부(210)는 비트스트림을 파싱하여 비디오 복원 또는 픽처 복원에 필요한 정보를 출력할 수 있다. 예컨대, 엔트로피 디코딩부(210)는 지수 골롬 부호화, CAVLC 또는 CABAC 등의 코딩 방법을 기초로 비트스트림 내 정보를 디코딩하고, 비디오 복원에 필요한 신택스 엘리먼트의 값, 레지듀얼에 관한 변환 계수의 양자화된 값 들을 출력할 수 있다.
보다 상세하게, CABAC 엔트로피 디코딩 방법은, 비트스트림에서 각 구문 요소에 해당하는 빈을 수신하고, 디코딩 대상 구문 요소 정보와 주변 및 디코딩 대상 블록의 디코딩 정보 혹은 이전 단계에서 디코딩된 심볼/빈의 정보를 이용하여 문맥(context) 모델을 결정하고, 결정된 문맥 모델에 따라 빈(bin)의 발생 확률을 예측하여 빈의 산술 디코딩(arithmetic decoding)를 수행하여 각 구문 요소의 값에 해당하는 심볼을 생성할 수 있다. 이때, CABAC 엔트로피 디코딩 방법은 문맥 모델 결정 후 다음 심볼/빈의 문맥 모델을 위해 디코딩된 심볼/빈의 정보를 이용하여 문맥 모델을 업데이트할 수 있다.
엔트로피 디코딩부(210)에서 디코딩된 정보 중 예측에 관한 정보는 예측부(230)로 제공되고, 엔트로피 디코딩부(210)에서 엔트로피 디코딩이 수행된 레지듀얼 값, 즉 양자화된 변환 계수는 재정렬부(220)로 입력될 수 있다.
재정렬부(220)는 양자화되어 있는 변환 계수들을 2차원의 블록 형태로 재정렬할 수 있다. 재정렬부(220)는 인코딩 장치에서 수행된 계수 스캐닝에 대응하여 재정렬을 수행할 수 있다. 여기서 재정렬부(220)는 별도의 구성으로 설명하였으나, 재정렬부(220)는 양자화부(230)의 일부일 수 있다.
역양자화부(230)는 양자화되어 있는 변환 계수들을 (역)양자화 파라미터를 기반으로 역양자화하여 변환 계수를 출력할 수 있다. 이 때, 양자화 파라미터를 유도하기 위한 정보는 인코딩 장치로부터 시그널링될 수 있다.
역변환부(240)는 변환 계수들을 역변환하여 레지듀얼 샘플들을 유도할 수 있다.
예측부(250)는 현재 블록에 대한 예측을 수행하고, 상기 현재 블록에 대한 예측 샘플들을 포함하는 예측 블록을 생성할 수 있다. 예측부(250)에서 수행되는 예측의 단위는 코딩 블록일 수도 있고, 변환 블록일 수도 있고, 예측 블록일 수도 있다.
예측부(250)는 상기 예측에 관한 정보를 기반으로 인트라 예측을 적용할 것인지 인터 예측을 적용할 것인지를 결정할 수 있다. 이 때, 인트라 예측과 인터 예측 중 어느 것을 적용할 것인지를 결정하는 단위와 예측 샘플을 생성하는 단위는 상이할 수 있다. 아울러, 인터 예측과 인트라 예측에 있어서 예측 샘플을 생성하는 단위 또한 상이할 수 있다. 예를 들어, 인터 예측과 인트라 예측 중 어느 것을 적용할 것인지는 CU 단위로 결정할 수 있다. 또한 예를 들어, 인터 예측에 있어서 PU 단위로 예측 모드를 결정하고 예측 샘플을 생성할 수 있고, 인트라 예측에 있어서 PU 단위로 예측 모드를 결정하고 TU 단위로 예측 샘플을 생성할 수도 있다.
인트라 예측의 경우에, 예측부(250)는 현재 픽처 내의 주변 참조 샘플을 기반으로 현재 블록에 대한 예측 샘플을 유도할 수 있다. 예측부(250)는 현재 블록의 주변 참조 샘플을 기반으로 방향성 모드 또는 비방향성 모드를 적용하여 현재 블록에 대한 예측 샘플을 유도할 수 있다. 이 때, 주변 블록의 인트라 예측 모드를 이용하여 현재 블록에 적용할 예측 모드가 결정될 수도 있다.
인터 예측의 경우에, 예측부(250)는 참조 픽처 상에서 움직임 벡터에 의해 참조 픽처 상에서 특정되는 샘플을 기반으로 현재 블록에 대한 예측 샘플을 유도할 수 있다. 예측부(250)는 스킵(skip) 모드, 머지(merge) 모드 및 MVP 모드 중 어느 하나를 적용하여 현재 블록에 대한 예측 샘플을 유도할 수 있다. 이때, 비디오 인코딩 장치에서 제공된 현재 블록의 인터 예측에 필요한 움직임 정보, 예컨대 움직임 벡터, 참조 픽처 인덱스 등에 관한 정보는 상기 예측에 관한 정보를 기반으로 획득 또는 유도될 수 있다
스킵 모드와 머지 모드의 경우에, 주변 블록의 움직임 정보가 현재 블록의 움직임 정보로 이용될 수 있다. 이 때, 주변 블록은 공간적 주변 블록과 시간적 주변 블록을 포함할 수 있다.
예측부(250)는 가용한 주변 블록의 움직임 정보로 머지 후보 리스트를 구성하고, 머지 인덱스가 머지 후보 리스트 상에서 지시하는 정보를 현재 블록의 움직임 벡터로 사용할 수 있다. 머지 인덱스는 인코딩 장치로부터 시그널링될 수 있다. 움직임 정보는 움직임 벡터와 참조 픽처를 포함할 수 있다. 스킵 모드와 머지 모드에서 시간적 주변 블록의 움직임 정보가 이용되는 경우에, 참조 픽처 리스트 상의 최상위 픽처가 참조 픽처로서 이용될 수 있다.
스킵 모드의 경우, 머지 모드와 달리 예측 샘플과 원본 샘플 사이의 차이(레지듀얼)이 전송되지 않는다.
MVP 모드의 경우, 주변 블록의 움직임 벡터를 움직임 벡터 예측자(motion vector predictor)로 이용하여 현재 블록의 움직임 벡터가 유도될 수 있다. 이 때, 주변 블록은 공간적 주변 블록과 시간적 주변 블록을 포함할 수 있다.
일 예로, 머지 모드가 적용되는 경우, 복원된 공간적 주변 블록의 움직임 벡터 및/또는 시간적 주변 블록인 Col 블록에 대응하는 움직임 벡터를 이용하여, 머지 후보 리스트가 생성될 수 있다. 머지 모드에서는 머지 후보 리스트에서 선택된 후보 블록의 움직임 벡터가 현재 블록의 움직임 벡터로 사용된다. 상기 예측에 관한 정보는 상기 머지 후보 리스트에 포함된 후보 블록들 중에서 선택된 최적의 움직임 벡터를 갖는 후보 블록을 지시하는 머지 인덱스를 포함할 수 있다. 이 때, 예측부(250)는 상기 머지 인덱스를 이용하여, 현재 블록의 움직임 벡터를 도출할 수 있다.
다른 예로, MVP(Motion Vector Prediction) 모드가 적용되는 경우, 복원된 공간적 주변 블록의 움직임 벡터 및/또는 시간적 주변 블록인 Col 블록에 대응하는 움직임 벡터를 이용하여, 움직임 벡터 예측자 후보 리스트가 생성될 수 있다. 즉, 복원된 공간적 주변 블록의 움직임 벡터 및/또는 시간적 주변 블록인 Col 블록에 대응하는 움직임 벡터는 움직임 벡터 후보로 사용될 수 있다. 상기 예측에 관한 정보는 상기 리스트에 포함된 움직임 벡터 후보 중에서 선택된 최적의 움직임 벡터를 지시하는 예측 움직임 벡터 인덱스를 포함할 수 있다. 이 때, 예측부(250)는 상기 움직임 벡터 인덱스를 이용하여, 움직임 벡터 후보 리스트에 포함된 움직임 벡터 후보 중에서, 현재 블록의 예측 움직임 벡터를 선택할 수 있다. 인코딩 장치의 예측부는 현재 블록의 움직임 벡터와 움직임 벡터 예측자 간의 움직임 벡터 차분(MVD)을 구할 수 있고, 이를 인코딩하여 비트스트림 형태로 출력할 수 있다. 즉, MVD는 현재 블록의 움직임 벡터에서 상기 움직임 벡터 예측자를 뺀 값으로 구해질 수 있다. 이 때, 예측부(250)는 상기 예측에 관한 정보에 포함된 움직임 벡터 차분을 획득하고, 상기 움직임 벡터 차분과 상기 움직임 벡터 예측자의 가산을 통해 현재 블록의 상기 움직임 벡터를 도출할 수 있다. 예측부는 또한 참조 픽처를 지시하는 참조 픽처 인덱스 등을 상기 예측에 관한 정보로부터 획득 또는 유도할 수 있다.
가산부(260)는 레지듀얼 샘플과 예측 샘플을 더하여 현재 블록 혹은 현재 픽처를 복원할 수 있다. 가산부(260)는 레지듀얼 샘플과 예측 샘플을 블록 단위로 더하여 현재 픽처를 복원할 수도 있다. 스킵 모드가 적용된 경우에는 레지듀얼이 전송되지 않으므로, 예측 샘플이 복원 샘플이 될 수 있다. 여기서는 가산부(260)를 별도의 구성으로 설명하였으나, 가산부(260)는 예측부(250)의 일부일 수도 있다.
필터부(270)는 복원된 픽처에 디블록킹 필터링 샘플 적응적 오프셋, 및/또는 ALF 등을 적용할 수 있다. 이 때, 샘플 적응적 오프셋은 샘플 단위로 적용될 수 있으며, 디블록킹 필터링 이후 적용될 수도 있다. ALF는 디블록킹 필터링 및/또는 샘플 적응적 오프셋 이후 적용될 수도 있다.
메모리(280)는 복원 픽처 또는 디코딩에 필요한 정보를 저장할 수 있다. 여기서 복원 픽처는 상기 필터부(270)에 의하여 필터링 절차가 완료된 복원 픽처일 수 있다. 예컨대, 메모리(280)는 인터 예측에 사용되는 픽처들을 저장할 수 있다. 이 때, 인터 예측에 사용되는 픽처들은 참조 픽처 세트 혹은 참조 픽처 리스트에 의해 지정될 수도 있다. 복원된 픽처는 다른 픽처에 대한 참조 픽처로서 이용될 수 있다. 또한, 메모리(280)는 복원된 픽처를 출력 순서에 따라서 출력할 수도 있다.
비디오 또는 픽처를 코딩함에 있어서, 코딩 효율을 위하여 상술한 바와 같이 인트라 예측 또는 인터 예측이 적용될 수 있다. 이 중에서 인트라 예측이 적용되는 경우, 현재 블록을 위하여, 현재 픽처 내의 상기 현재 블록의 주변 샘플들이 참조 샘플들로 활용될 수 있다. 그러나, 이와 같은 주변 샘플들을 기반으로 상기 현재 블록에 대한 인트라 예측을 수행하는 경우, 어느 정도의 오차가 발생할 수밖에 없으며, 이는 결국 레지듀얼 신호에 대한 데이터량의 증가를 유발하게 되고, 이로 인하여 코딩 효율이 감소되게 된다.
한편, 인트라 예측을 수행함에 있어, 인트라 예측 효율을 높이기 위하여, 상기 현재 픽처 내의 상기 주변 샘플들을 그대로 사용하기보다는 수정된(modified) 주변 샘플들을 도출하여 참조 샘플들로 사용할 수 있다. 상기 수정된 주변 샘플들은 상기 주변 샘플들을 포함하는 주변 블록의 변환 계수들에 스케일링 마스크(scaling mask)를 적용하여 도출될 수 있다. 이하, 상기 주변 블록의 변환 계수들에 스케일링 마스크를 적용하여 도출된 상기 수정된 주변 샘플들을 이용하여 인트라 예측을 수행하는 방법은, CIIP(coefficient induced intra prediction)이라고 불릴 수 있다. 즉, CIIP는 인트라 예측에서는, 주변 블록의 변환 계수들에 스케일링 마스크를 적용한 후 역변환하여 상기 주변 블록에 대한 수정된 레지듀얼 샘플들을 생성하고, 상기 수정된 레지듀얼 샘플들을 기반으로 상기 주변 블록 내의 상기 수정된 주변 샘플들을 생성하여, 상기 수정된 주변 샘플들을 이용하여 상기 현재 블록에 대한 인트라 예측이 수행될 수 있다. 다시 말하면, CIIP는 현재 블록의 예측 샘플이 원본 샘플과 유사하게 도출될 수 있도록, 주변 블록에 대한 주파수 도메인에서의 스케일링 마스크 적용을 기반으로 수정된 주변 샘플들을 도출하고, 상기 수정된 주변 샘플들을 기반으로 인트라 예측을 수행하는 방법으로 볼 수 있다. 상기 스케일링 마스크는 스케일링 메트릭스라고 불릴 수 있으며, 주파수 도메인에서 적용되는 필터의 일종으로, 주파수 도메인에서 원본 영상과 예측 영상간의 통계적 특성을 기반으로 학습된 정보를 이용하여 도출될 수 있다. 상기 스케일링 메트릭스의 사이즈는 상기 변환 계수들의 사이즈와 같거나 작을 수 있다. 상기 변환 계수들에 상기 스케일링 마스크를 적용하는 절차는 CIIP 스케일링 절차로 불릴 수 있다. CIIP를 기반으로 현재 블록의 샘플값과 유사한 값을 갖는 수정된 주변 샘플을 도출할 수 있으며, 이를 기반으로 인트라 예측 성능이 향상될 수 있다.
CIIP 적용 여부는 CIIP 플래그를 기반으로 결정될 수 있으며, CIIP 플래그가 1인 경우, 주변블록의 변환 계수들에 CIIP 스케일링이 적용되고, 스케일링된 변환 계수들이 역변환되어 수정된 레지듀얼 샘플들이 생성되고, 상기 수정된 레지듀얼 샘플들을 기반으로 수정된 주변 샘플들이 도출되고, 상기 수정된 주변 샘플들을 기반으로 현재블록에 대한 인트라 예측(즉, 현재블록 내의 예측 샘플들 생성)이 수행된다. 여기서 주변 블록이라 함은 현재 블록의 인트라 예측을 위한 주변 샘플들 중 적어도 하나를 포함하는 블록일 수 있다. 또는 상기 주변 블록이라 함은 상기 현재 블록의 인트라 예측을 위한 주변 샘플들 중 상기 현재 블록에 적용되는 예측 모드에 따라 선택된 주변 샘플들 중 적어도 하나를 포함하는 블록일 수도 있다.
한편, CIIP 플래그가 0인 경우, 주변 블록의 기존 복원 샘플을 기반으로 현재블록에 대한 인트라 예측이 수행될 수 있다.
CIIP를 고려한 인트라 예측을 수행하는 방법은 다음과 같이 나타내어질 수 있다.
도 3은 CIIP를 고려한 인트라 예측 방법을 개략적으로 나타낸다. 도 3의 절차는 코딩 장치에 의하여 수행될 수 있다. 상기 코딩 장치는 인코딩 장치 또는 디코딩 장치를 포함할 수 있다.
도 3을 참조하면, 코딩 장치는 CIIP 적용 여부에 따라 다른 절차에 따라 현재 블록에 대한 인트라 예측을 수행할 수 있다.
먼저, 현재 블록에 CIIP가 적용되는 경우, 코딩 장치는 주변 블록의 양자화된 변환 계수들(300)을 역양자화하여 변환 계수들을 도출하고(S305), 상기 변환 계수들에 CIIP 스케일링을 적용한다(S310). 이 경우 상술한 바와 같이 코딩 장치는 미리 정해진 스케일링 마스크를 상기 변환 계수들에 적용할 수 있다.
코딩 장치는 CIIP 스케일링된 변환 계수들을 역변환하여(S315), 수정된 레지듀얼 샘플(320)을 도출한다. 코딩 장치는 상기 주변 블록의 프리딕터(predictor, 325)와 상기 수정된 레지듀얼 샘플(320)을 기반으로 CIIP 복원 픽처(330)를 생성할 수 있다. 상기 프리딕터(325)는 예측 샘플이라고 불릴 수 있다. 여기서 상기 주변 블록의 상기 프리딕터(325)을 구함에 있어서, 상기 주변 블록에 대하여는 CIIP가 적용되지 않을 수 있다. 즉, 상기 주변 블록의 상기 프리딕터(325)는 CIIP가 적용되지 않는 일반 인트라 예측 방법을 통하여 생성되었을 수 있다. 또한, 여기서 CIIP 복원 픽처(330)는 CIIP 복원 샘플(CIIP reconstructed sample, 335)을 포함한다. 코딩 장치는 상기 CIIP 복원 샘플(335)을 기반으로 상기 현재 블록의 참조 샘플(수정된 주변 샘플)을 도출한다(S340). 코딩 장치는 상기 도출된 참조 샘플을 기반으로 상기 현재 블록의 인트라 예측 모드에 따라 상기 현재 블록의 프리딕터, 즉 예측 샘플을 생성할 수 있다(S345).
한편, 상기 현재 블록에 CIIP가 적용되지 않는 경우, 코딩 장치는 주변 블록의 양자화된 변환 계수들(350)을 역양자화하여 변환 계수들을 도출하고(S355), 상기 변환 계수들을 역변환하여(S365), 레지듀얼 샘플(370)을 도출한다. 이 경우 코딩 장치는 상기 변환 계수들에 CIIP 스케일링 절차를 적용하지 않는다. 코딩 장치는 상기 주변 블록의 프리딕터(325)와 상기 레지듀얼 샘플(370)을 기반으로 복원 픽처(380)를 생성할 수 있다. 상기 복원 픽처(380)는 복원 샘플(385)을 포함한다. 코딩 장치는 상기 복원 샘플(385)을 기반으로 상기 현재 블록의 참조 샘플(주변 샘플)을 도출한다(S390). 코딩 장치는 상기 도출된 참조 샘플을 기반으로 상기 현재 블록의 인트라 예측 모드에 따라 상기 현재 블록의 프리딕터를 생성할 수 있다(S395).
인트라 예측 절차를 수행함에 있어서, 구체적인 인트라 예측 모드(ex. DC 모드, 플래너 모드, 앵귤러 모드 등)는 PU에서 결정되고, 주변 참조 샘플들을 기반으로 예측 샘플을 생성하는 절차는 TU에서 수행될 수 있다. PU에 인트라 예측이 적용되는 경우, 상기 PU의 영역은 하나 이상의 TU들의 영역을 포함할 수 있다. 이 경우, 상기 하나 이상의 TU들은 동일한 인트라 예측 모드를 공유할 수 있다.
CIIP가 적용 여부에 따른 PU의 디코딩 절차는 구체적으로 다음과 같이 수행될 수 있다.
도 4는 본 발명에 따른 PU 디코딩 절차를 예시적으로 나타낸다. 도 4의 절차는 디코딩 장치에 의하여 수행될 수 있다. 상술한 현재 블록은 예를 들어 TU에 대응할 수 있다.
도 4를 참조하면, 디코딩 장치는 인트라 예측 모드를 결정한다(S400). 디코딩 장치는 MPM(most probable mode) 또는 리메이닝(remaining) 모드가 적용되는지 여부에 따라 상기 인트라 예측 모드를 결정할 수 있다. 여기서 상기 인트라 예측 모드는 DC 모드, 플래너 모드 또는 앵귤러 모드들 중 하나일 수 있다.
MPM 모드가 적용되는 경우 상기 PU의 좌측 또는 상측 주변 블록에 대한 인트라 예측 모드를 기반으로 MPM 리스트를 결정하고, 상기 MPM 리스트를 기반으로 상기 인트라 예측 모드를 결정할 수 있다. 이 경우 예를 들어 상기 좌측 또는 상측 주변 블록이 가용하지 않거나(ex. 상기 좌측 또는 상측 주변 블록이 픽처 바깥쪽에 위치하는 경우) 또는 상기 좌측 또는 상측 주변 블록이 인터 예측 모드로 코딩된 경우, 상기 좌측 또는 상측 주변 블록에 대한 인트라 예측 모드는 DC 모드로 설정될 수 있다. 또는 리메이닝 모드가 적용되는 경우 상기 MPM 리스트에 포함되지 않는 나머지 모드들 중에서 특정 인트라 예측 모드를 지시하는 정보가 시그널링될 수 있다.
디코딩 장치는 상기 인트라 예측 모드가 비-CIIP 모드(non-CIIP mode)에 해당하는지 여부를 확인한다(S410). 예를 들어, 후술하는 바와 같이 인트라 예측 모드들 중 일부에 대하여는 CIIP 모드가 적용되지 않는 것으로 설정될 수 있으며, 이는 비-CIIP 모드라고 불릴 수 있다. 한편, 비-CIIP 모드가 설정되지 않은 경우 상기 S410 절차는 생략될 수 있다.
상기 결정된 인트라 예측 모드가 상기 비-CIIP 모드에 속하지 않는 경우 디코딩 장치는 CIIP 플래그를 파싱 및 확인한다(S420). 디코딩 장치는 상기 CIIP 플래그를 기반으로 TU에 CIIP가 적용되는지 여부를 결정하고, 상기 TU를 디코딩한다(S430). 만약 상기 CIIP가 적용되는 경우, 디코딩 장치는 상술한 바와 같이 상기 TU의 주변 블록의 변환 계수들에 대하여 CIIP 스케일링 절차를 적용하여, 수정된 주변 샘플을 도출하고, 상기 수정된 주변 샘플을 기반으로 상기 결정된 인트라 예측 모드에 따라 예측 샘플을 생성한다. 만약 상기 CIIP가 적용되지 않는 경우, 디코딩 장치는 상기 TU의 상기 주변 블록의 변환 계수들을 기반으로 CIIP 스케일링 절차 없이 주변 샘플을 도출하고, 상기 주변 샘플을 기반으로 상기 결정된 인트라 예측 모드에 따라 예측 샘플을 생성한다.
디코딩 장치는 상기 TU가 상기 PU 영역 내의 마지막 TU인지 확인한다(S440). 일 예로, 상기 PU 영역 내에 하나의 TU가 존재하는 경우, 해당 TU가 마지막 TU일 수 있다. 다른 예로, 상기 PU 영역 내에 복수(예를 들어 4개)의 TU들이 존재하는 경우, 상기 TU들 중 미리 정의된 스캔 순서(ex. 래스터(raster) 스캔 순서)에 따라 마지막으로 디코딩되는 TU가 상기 마지막 TU일 수 있다.
만약 상기 TU가 상기 PU 영역 내의 상기 마지막 TU인 경우, 디코딩 장치는 상기 PU 디코딩 절차를 종료할 수 있다. 만약 상기 TU가 상기 PU 영역 내의 상기 마지막 TU가 아닌 경우, 디코딩 장치는 다음(next) TU를 디코딩한다.
한편, 비록 도 4에서는 하나의 CIIP 플래그에 따라 상기 PU 내 TU들의 CIIP 적용 여부가 결정되는 것으로 도시되었으나, 이는 예시로서 CIIP 적용 여부는 상기 PU 내 각 TU별로 별도로 지시될 수도 있다.
한편, 상술한 TU 디코딩 절차는 구체적으로 예를 들어 다음과 같이 수행될 수 있다.
도 5는 본 발명에 따른 TU 디코딩 절차를 예시적으로 나타낸다. 도 5의 절차는 디코딩 장치에 의하여 수행될 수 있다. 도 5에서 현재 블록은 TU에 대응할 수 있다.
도 5를 참조하면, 디코딩 장치는 현재 블록에 대한 양자화된 변환 계수들을 획득한다(S550). 디코딩 장치는 비트스트림으로부터 상기 양자화된 변환 계수들을 획득할 수 있다.
디코딩 장치는 상기 양자화된 변환 계수들을 역양자화하여(S510) 상기 현재 블록에 대한 변환 계수들을 도출하고, 상기 현재 블록에 대한 변환 계수들을 역변환하여(S520), 상기 현재 블록에 대한 레지듀얼 샘플들을 획득할 수 있다(S530).
한편, 디코딩 장치는 주변 블록에 대한 양자화된 변환계수들을 획득한다(S540). 디코딩 장치는 상기 비트스트림으로부터 상기 주변 블록에 대한 양자화된 변환 계수들을 획득할 수 있다.
디코딩 장치는 상기 주변 블록에 대한 양자화된 변환 계수들을 역양자화하여(S550), 상기 주변 블록에 대한 변환 계수들을 도출한다. 만약 현재 블록에 CIIP가 적용되는 경우, 상기 주변 블록에 대한 변환 계수들에 CIIP 스케일링 절차를 적용하고(S560), 상기 CIIP 스케일링된 변환 계수들을 역변환하여(S570) 상기 주변 블록에 대한 수정된 레지듀얼 샘플들을 획득할 수 있다. 상기 수정된 레지듀얼 샘플들을 기반으로 상기 현재 블록에 대한 수정된 주변 샘플들을 참조 샘플들로 도출할 수 있으며, 상기 참조 샘플들을 기반으로 상기 현재 블록에 대한 예측 샘플들을 획득할 수 있다(S580).
만약 현재 블록에 CIIP가 적용되지 않는 경우, 상기 S560 절차는 생략될 수 있으며, 상기 주변 블록에 대한 변환 계수들이 역변환되고(S570), 상기 주변 블록에 대한 레지듀얼 샘플들이 획득될 수 있다. 이 경우 상기 주변 블록에 대한 레지듀얼 샘플들을 기반으로 상기 현재 블록에 대한 주변 샘플들을 참조 샘플들로 도출할 수 있으며, 상기 참조 샘플들을 기반으로 상기 현재 블록에 대한 예측 샘플들을 획득할 수 있다(S580).
상기 주변 블록에 대한 양자화된 변환 계수들을 기반으로 수행되는 역양자화, CIIP 스케일링 및/또는 역변환 절차는 상기 주변 블록의 정보를 기반으로 수행될 수 있다. 예를 들어 현재 블록은 8×8 사이즈의 TU이고, 상기 주변 블록은 4×4 사이즈의 TU인 경우, 상기 주변 블록에 대한 양자화된 변환 계수들을 기반으로 수행되는 역양자화, CIIP 스케일링 및/또는 역변환 절차는 상기 4×4 사이즈의 TU에 대하여 수행될 수 있다.
디코딩 장치는 상기 현재 블록에 대한 레지듀얼 샘플들과 상기 현재 블록에 대한 예측 샘플들을 기반으로 상기 현재 블록에 대한 복원 샘플들을 생성할 수 있다(S590). 이 경우 디코딩 장치는 상기 현재 블록에 대한 레지듀얼 샘플들과 상기 현재 블록에 대한 예측 샘플들을 대응하는 위치 또는 페이즈에 따라 가산함으로써, 상기 복원 샘플들을 생성할 수 있다.
한편, 상술한 현재 블록의 예측 샘플들을 생성하는 절차는 구체적으로 예를 들어 다음과 같이 수행될 수 있다.
도 6은 본 발명에 따른 현재 블록에 대한 예측 샘플 생성 절차를 예시적으로 나타낸다.
도 6을 참조하면, 디코딩 장치는 주변 블록의 양자화된 변환 계수들을 획득하고, 상기 양자화된 변환 계수들을 역변환하여 변환 계수들을 획득한다(S650).
디코딩 장치는 현재 블록에 CIIP가 적용되는지 여부를 확인한다(S655). 상기 CIIP 적용 여부는 CIIP 플래그를 기반으로 결정될 수 있으며, 상기 CIIP 플래그의 값이 1이면 상기 현재 블록에 CIIP가 적용됨을 나타내고, 상기 CIIP 플래그의 값이 0이면, 상기 현재 블록에 CIIP가 적용되지 않음을 나타낼 수 있다.
디코딩 장치는 상기 현재 블록에 CIIP가 적용되는 경우, 상기 변환 계수들에 CIIP 스케일링 절차를 적용한다(S660). 상기 CIIP 스케일링 절차는 상술한 바와 같이 소정의 스케일링 메트릭스를 기반으로 수행될 수 있다.
디코딩 장치는 CIIP 스케일링된 변환 계수들(CIIP가 적용되는 경우) 또는 변환 계수들(CIIP가 적용되지 않는 경우)을 역변환하여 상기 주변 블록에 대한 (수정된) 레지듀얼 샘플들을 획득한다(S670). 디코딩 장치는 상기 주변 블록의 예측 모드에 따라 구해진 상기 주변 블록의 예측 샘플들과 상기 주변 블록에 대한 레지듀얼 샘플들을 기반으로 상기 주변 블록의 (수정된) 복원 샘플들을 생성할 수 있으며, 상기 (수정된) 복원 샘플들을 기반으로 상기 현재 블록의 (수정된) 주변 샘플들을 도출할 수 있다. 상기 (수정된) 주변 샘플들은 상기 현재 블록의 인트라 예측을 위한 참조 샘플들로 활용될 수 있다.
이 경우, 상술한 바와 같이 상기 CIIP 적용 여부는 PU 단위 또는 TU 단위로 결정될 수 있다. 이 경우 상기 CIIP 플래그는 PU 단위 또는 TU 단위에서 시그널링될 수 있다.
예를 들어, 상기 CIIP 플래그는 PU 신텍스(syntax)에 포함될 수 있다. 이 경우 상기 PU 신텍스는 예를 들어 다음과 같은 신텍스 요소(syntax element)들을 포함할 수 있다.
Figure PCTKR2016005919-appb-T000001
여기서 ciip_flag 신텍스 요소는 상술한 CIIP 플래그에 대응한다. IntraPredModeY는 상기 현재 블록의 인트라 예측 모드를 나타내며, 구체적으로 상기 현재 블록의 루마 성분(luma component)에 대한 인트라 예측 모드를 나타낼 수 있다. NON_CIIP_PRED_MODE_INTRA는 상술한 비-CIIP 예측 모드에 대응한다. 즉, 인트라 예측 모드들 중 일부에 대하여는 CIIP 모드가 적용되지 않는 것으로 설정된 경우, 상기 NON_CIIP_PRED_MODE_INTRA는 상기 CIIP 모드가 적용되지 않는 것으로 설정된 인트라 예측 모드를 나타낸다.
상기 표에서 서술된 바와 같이 상기 현재 블록의 인트라 예측 모드가 비-CIIP 예측 모드가 아닌 경우에 상기 PU 신텍스에 포함될 수 있다. 다시 말하면, 디코딩 장치는 상기 현재 블록의 인트라 예측 모드가 비-CIIP 예측 모드가 아닌 경우에 한하여, 상기 ciip_flag 신텍스 요소를 파싱할 수도 있다. 또는 복잡도를 줄이기 위하여 상기 ciip_flag 신텍스 요소는 상기 PU 신텍스에 항상 포함될 수도 있다.
한편, 본 발명에 따르면 현재 PU의 주변 블록의 레지듀얼 신호에 관한 정보를 기반으로 CIIP 플래그를 유도할 수도 있다. 상기 레지듀얼 신호는 레지듀얼 샘플들에 관한 정보를 포함할 수 있다. 상술한 바와 같이 CIIP는 주변 블록의 레지듀얼 신호를 이용하여 현재 블록의 예측샘플들을 생성하는 과정에서 CIIP 스케일링 메트릭스를 적용하여 현재블록의 예측샘플과 원본샘플과의 에러를 최소화하여, 인트라 예측 성능을 높일 수 있다. 이에 따라, CIIP 모드가 적용되는 경우, 주변 블록의 레지듀얼 신호는 스케일링 메트릭스를 적용하여 생성될 수 있다. 그러나 상기 주변 블록이 양자화 등에 관한 특정 특성을 갖는 경우, 예를 들어 상기 주변 블록의 양자화된 변환계수들이 없거나, 그 값이 모두 0인 경우에는 CIIP 스케일링을 적용하여도 그 출력값에 영향이 없다. 따라서 현재 블록이 이러한 주변 블록을 기반으로 인트라 예측을 수행하는 경우, 인코딩 장치는 상기 CIIP 플래그를 디코딩 장치로 전송하지 않고, 디코딩 장치는 내부적으로 또는 묵시적으로 상기 CIIP 플래그를 0으로 유도할 수 있다. 즉, 특정 상황에서 디코딩 장치는 상기 CIIP 플래그를 파싱하지 않을 수 있으며, 이 경우 디코딩 장치는 상기 CIIP 플래그의 값을 0으로 유도할 수 있다.
도 7은 본 발명에 따른 PU 디코딩시 CIIP 플래그 유도 방법을 예시적으로 나타낸다.
도 7을 참조하면, 디코딩 장치는 인트라 예측 모드를 결정한다(S700). 여기서 상기 인트라 예측 모드는 DC 모드, 플래너 모드 또는 앵귤러 모드들 중 하나일 수 있다.
디코딩 장치는 상기 인트라 예측 모드가 비-CIIP 모드(non-CIIP mode)에 해당하는지 여부를 확인한다(S710). 한편, 비-CIIP 모드가 설정되지 않은 경우 상기 S410 절차는 생략될 수 있다.
상기 결정된 인트라 예측 모드가 상기 비-CIIP 모드에 속하지 않는 경우, 디코딩 장치는 현재 PU의 주변 블록의 CBF(coded bit flag)가 0인지 확인한다(S715). 예를 들어 상기 CBF가 1이면, 이는 해당 TU가 0이 아닌(not equal to 0) 하나 또는 그이상의(one or more) 변환계수 레벨들을 포함함을 나타낼 수 있다. 상기 CBF는 cbf_luma 신텍스 요소에 대응될 수 있다. 여기서 주변 블록은 예를 들어 현재 PU의 좌측, 상측, 좌상측, 좌하측 또는 우상측에 위치하는 주변 블록들 중 하나일 수 있다. 상기 주변 블록은 예를 들어, 상기 주변 블록들 중 특정 주변 블록일 수 있다. 상기 특정 주변 블록은 후술하는 바와 같이 예를 들어 상기 인트라 예측 모드에 따라 결정될 수 있다.
만약 상기 주변 블록의 CBF가 0이 아닌 경우, 디코딩 장치는 CIIP 플래그를 파싱 및 확인한다(S720). 디코딩 장치는 상기 CIIP 플래그를 기반으로 상기 TU에 CIIP가 적용되는지 여부를 결정하고, 상기 TU를 디코딩할 수 있다(S730). 만약 상기 CIIP가 적용되는 경우, 디코딩 장치는 상술한 바와 같이 상기 TU의 주변 블록의 변환 계수들에 대하여 CIIP 스케일링 절차를 적용하여, 수정된 주변 샘플을 도출하고, 상기 수정된 주변 샘플을 기반으로 상기 결정된 인트라 예측 모드에 따라 예측 샘플을 생성한다. 만약 상기 CIIP가 적용되지 않는 경우(상기 결정된 인트라 예측 모드가 상기 비-CIIP 모드에 속하는 경우, 상기 주변 블록의 CBF가 0인 경우 또는 상기 CIIP 플래그의 값이 0인 경우), 디코딩 장치는 상기 TU의 상기 주변 블록의 변환 계수들을 기반으로 CIIP 스케일링 절차 없이 주변 샘플을 도출하고, 상기 주변 샘플을 기반으로 상기 결정된 인트라 예측 모드에 따라 예측 샘플을 생성한다.
디코딩 장치는 상기 TU가 상기 PU 영역 내의 마지막 TU인지 확인한다(S740).
만약 상기 TU가 상기 PU 영역 내의 상기 마지막 TU인 경우, 디코딩 장치는 상기 PU 디코딩 절차를 종료할 수 있고, 만약 상기 TU가 상기 PU 영역 내의 상기 마지막 TU가 아닌 경우, 디코딩 장치는 다음(next) TU를 디코딩할 수 있음은 상술한 바와 같다.
한편, 상기 PU의 주변에는 다수의 주변 블록들이 존재할 수 있으며, 일 예로, 다음과 같은 주변 블록들이 상기 PU 및/또는 상기 PU 영역 내 TU들의 CIIP 적용 여부 판단을 위하여 이용될 수 있다.
도 8은 현재 PU를 기준으로 주변 블록들 및 주변 참조샘플들을 예시적으로 나타낸다. 여기서 주변 참조샘플들은 상기 현재 PU 영역 내 TU들에 CIIP가 적용되는지 여부를 판단하기 위하여 참조되는 샘플들로서, 도 8에서는 빗금 영역(hatched area)에 해당한다. 상기 주변 참조샘플들은 상기 현재 PU 영역 내 하나 이상의 TU들의 인트라 예측을 위하여 사용되는 주변샘플들과 동일할 수도 있고 다를 수도 있다. 예를 들어, 상기 현재 PU 영역 내 상기 PU의 사이즈와 동일한 사이즈의 하나의 TU가 존재하는 경우, 상기 현재 PU의 주변 참조샘플들과 상기 TU의 주변샘플들은 동일할 수 있다. 다른 예로, 상기 현재 PU 영역 내 복수의 TU들이 존재하는 경우, 상기 PU의 주변 참조샘플들 중 일부가 상기 TU들의 인트라 예측을 위하여 사용될 수 있다.
도 8을 참조하면, 현재 PU의 사이즈가 N×N인 경우, 총 2N+1개의 주변 참조샘플들이 존재할 수 있다. 이 경우 주변 참조샘플을 포함하고 있는 주변 블록의 CBF가 0인 경우, 상기 현재 PU에 대하여는 CIIP가 적용되지 않는 것으로 판단될 수 있다. 여기서 상기 현재 PU에 대하여는 CIIP가 적용되지 않는다고 함은 상기 현재 PU 영역 내 하나 이상의 TU들에 대하여는 CIIP 가 적용되지 않는 것을 나타낼 수 있다. 이하 같다. 따라서, 이 경우 디코딩 장치는 CIIP 플래그를 파싱 또는 디코딩하지 않고도 상기 CIIP 플래그의 값을 0으로 유도할 수 있다.
구체적으로 예를 들어, 상기 주변 참조샘플들을 포함하고 있는 주변 블록들 각각의 CBF가 모두 0인 경우, 상기 현재 PU에 대하여는 CIIP가 적용되지 않는 것으로 설정 또는 판단될 수 있다. 또한, 상기 주변 참조샘플들을 포함하고 있는 주변 블록들 각각의 CBF 중에서 1 값을 갖는 CBF가 있는 경우, 상기 현재 PU에 대하여 CIIP를 적용할지 여부를 결정하기 위하여, 디코딩 장치는 CIIP 플래그를 파싱 또는 디코딩할 수 있다.
다른 예로, 상기 현재 PU의 주변 참조샘플들을 포함하는 주변 블록들 중 상기 현재 PU에 대한 인트라 예측 모드를 기반으로 선택된 하나 또는 그이상의 주변 블록들만이 상기 PU 및/또는 상기 PU 영역 내 TU들의 CIIP 적용 여부 판단을 위하여 이용될 수 있다. 즉, 이 경우 인트라 예측 모드별로 참조되는 위치의 샘플들을 포함하는 블록의 CBF를 고려하여 상기 현재 PU에 대한 CIIP 적용 여부를 판단할 수 있다. 예를 들어, 인트라 예측 모드는 다음과 같이 총 35개의 예측 모드를 포함할 수 있다.
인트라 예측 모드 연관된 이름(associated name)
0 인트라 플래너
1 인트라 DC
2...34 인트라 앵귤러2...인트라 앵귤러34
여기서, 인트라 예측 모드 #0은 인트라 플래너 모드를 나타내고, 인트라 예측 모드 #1은 인트라 DC 모드를 나타낸다. 인트라 예측 모드 #2...#34는 각각 인트라 앵귤러2 모드...인트라 앵귤러34 모드를 나타낸다.
여기서 상기 인트라 플래너 모드 및 인트라 DC 모드는 인트라 비방향성 모드라 불릴 수 있고, 상기 인트라 앵귤러2 내지 인트라 앵귤러34 모드는 인트라 방향성 모드라 불릴 수 있다.
도 9는 본 발명에 따른 인트라 예측 모드들을 예시적으로 나타낸다.
도 9를 참조하면, 인트라 예측 모드 #0 및 #1은 방향성을 갖지 않으며, 주변 샘플들의 양방향 보간, 또는 주변 샘플들의 평균값을 기반으로 예측 샘플이 도출될 수 있다. 한편, 인트라 예측 모드 #2 내지 #34는 도시된 바와 같은 방향성을 가지며, 예측 샘플의 위치를 기준으로 해당 예측방향에 위치하는 주변 (참조)샘플을 기반으로 상기 예측 샘플이 도출될 수 있다. 이 경우 만약 상기 해당 예측방향 위치에 정수 샘플(integer sample) 단위의 주변 샘플이 존재하지 않는 경우, 상기 해당 방향 위치에 인접하는 두 정수 샘플들의 보간을 통하여 분수 샘플(fractional sample)을 생성하고, 상기 분수 샘플을 기반으로 상기 예측 샘플이 도출될 수도 있다.
따라서, 상기 인트라 예측 모드에 따라서 상기 현재 PU의 주변 참조샘플들 중에서 전부 또는 특정 일부만 고려될 수 있다.
도 10은 현재 PU의 인트라 예측 모드가 좌상단 대각 방향의 예측방향을 갖는 경우(ex. 인트라 예측 모드 #18) 고려되는 주변 블록들 중에 CBF가 1인 블록이 있는 경우의 예를 나타낸다.
도 10을 참조하면, 현재 PU의 사이즈는 16×16 (샘플 단위)이고, 빗금친 영역은 현재 PU의 인트라 예측 모드가 좌상단 대각 방향의 예측방향을 갖는 경우 고려되는 주변 참조샘플들은 나타낸다. 이 경우, 상기 빗금친 영역을 포함하는 주변 블록들만이 상기 현재 PU의 CIIP 적용 여부 판단을 위하여 고려된다. 즉, 상기 빗금친 영역의 주변 참조샘플들을 포함하는 주변 블록들의 CBF들이 모두 0인 경우, 상기 현재 PU에 CIIP가 적용되지 않는 것으로 판단할 수 있고, 상기 빗금친 영역의 주변 참조샘플들을 포함하는 상기 주변 블록들의 CBF들 중 하나라도 1인 경우, CIIP 플래그를 기반으로 상기 CIIP 적용 여부를 판단할 수 있다.
도 10에서 상기 주변 참조샘플들 중 일부는 CBF가 1인 블록에 속해 있으므로, 상기 현재 PU 영역 내의 TU들에 대한 인트라 예측에 있어서 CIIP가 가용하고, CIIP 플래그를 확인하여 이를 기반으로 상기 현재 PU에 대한 CIIP 적용 여부를 판단할 수 있다.
한편, 도 11은 현재 PU의 인트라 예측 모드가 좌상단 대각 방향의 예측방향을 갖는 경우 고려되는 주변 블록들 중에 CBF가 1인 블록이 없는 경우의 예를 나타낸다.
도 11을 참조하면, 현재 PU의 사이즈는 16×16 (샘플 단위)이고, 빗금친 영역은 현재 PU의 인트라 예측 모드가 좌상단 대각 방향의 예측방향을 갖는 경우 고려되는 주변 참조샘플들은 나타낸다. 도 11에서 상기 주변 참조샘플들은 모두 CBF가 0인 블록들에 속해 있으므로, 상기 현재 PU 영역 내의 TU들에 대한 인트라 예측에 있어서 CIIP가 가용하지 않고, 따라서 디코딩 장치는 CIIP 플래그 확인 없이도, 상기 현재 PU에 대하여 CIIP가 적용되지 않는 것으로 판단할 수 있다.
상기와 같이 현재 PU의 주변에 다양한 사이즈의 블록들이 존재하고, 인트라 예측 모드를 활용하여 예측 샘플을 생성하는 경우, 인트라 예측 모드에 따라 미리 정해진 카테고리의 영역에 위치한 참조 블록들만의 CBF를 고려하여 상기 CIIP 적용 여부를 판단할 수 있다. 이 경우 인트라 예측 모드에 따라 고려되는 참조 블록들은 예를 들어 다음과 같이 설정될 수 있다.
카테고리 인트라 예측 모드 CBF 참조 블록 위치
카테고리 0 14...22 B,C,D
카테고리 1 8...13 B
카테고리 2 23...28 D
카테고리 3 2...7 A,B
카테고리 4 29...34 D,E
카테고리 5 0 A,B,C,D,E
표에서 보이는 바와 같이 각 인트라 예측 모드에 따라 6개의 카테고리로 구분되어, 각 카테고리에 속한 인트라 예측 모드는 해당 CBF 참조 블록 위치에 존재하는 참조 블록의 CBF를 고려한다. 한편, 인트라 예측 모드 #1은 일 예로, 상기 카테고리 5에 속할 수 있다. 다른 예로, 상기 인트라 예측 모드 #1이 선택된 경우 상기 CIIP가 적용되지 않는 것으로 판단될 수 있다. 이 경우 상기 인트라 예측 모드 #1은 비-CIIP 예측 모드로 설정될 수도 있다.
상기 CBF 참조 블록 위치를 나타내는 A, B, C, D, E 중 예를 들어 상기 A는 상기 현재 PU의 좌하측 영역, 상기 B는 상기 현재 PU의 좌측 영역, 상기 C는 상기 현재 PU의 좌상측 영역, 상기 D는 상기 현재 PU의 상측 영역, 상기 E는 상기 현재 PU의 우상측 영역에 대응할 수 있다.
도 12는 CBF 참조 블록 위치를 예시적으로 나타낸다.
도 12를 참조하면, 현재 PU의 사이즈는 8×8이고, 상기 CBF 참조 블록 위치를 나타내는 A, B, C, D, E 중 예를 들어 상기 A는 상기 현재 PU의 좌하측 영역, 상기 B는 상기 현재 PU의 좌측 영역, 상기 C는 상기 현재 PU의 좌상측 영역, 상기 D는 상기 현재 PU의 상측 영역, 상기 E는 상기 현재 PU의 우상측 영역에 대응한다.
구체적으로 예를 들어, 상기 현재 PU의 좌상단(top-left) 샘플 포지션이 (0,0)이고, 상기 현재 PU의 높이가 H, 상기 현재 PU의 너비가 W인 경우, 상기 A는 (-1,H)...(-1,2H-1) 포지션의 참조 샘플들이 위치하는 영역을 나타낼 수 있고, 상기 B는 (-1,0)...(-1,H-1) 포지션의 참조 샘플들이 위치하는 영역을 나타낼 수 있고, 상기 C는 (-1,-1) 포지션의 참조 샘플이 위치하는 영역을 나타낼 수 있고, 상기 D는 (0,-1)...(W-1,-1) 포지션의 참조 샘플들이 위치하는 영역을 나타낼 수 있고, 상기 E는 (W,-1)...(2W-1, -1) 포지션의 참조 샘플들이 위치하는 영역을 나타낼 수 있다.
구체적인 카테고리에 따른 CBF 참조 블록 위치는 예를 들어 다음과 같이 나타내어질 수 있다.
도 13은 현재 PU의 인트라 예측 모드가 카테고리 0에 속할 경우에 참조 블록들의 예를 나타낸다.
도 13을 참조하면, 현재 PU의 인트라 예측 모드가 카테고리 0에 속할 경우, 즉 상기 현재 PU의 상기 인트라 예측 모드가 14 내지 22 중 어느 하나인 경우, B,C,D 영역에 위치하는 참조 블록들의 CBF를 기반으로, 상기 현재 PU에 대한 CIIP 적용 여부를 판단할 수 있다. 이 경우 상기 B, C, D 영역은 도 13의 빗금 영역에 대응할 수 있다. 디코딩 장치는 상기 빗금 영역에 위치한 참조 블록(TU)들의 CBF들이 모두 0인 경우, 상기 CIIP 플래그를 0으로 유도할 수 있고, 상기 빗금 영역에 위치한 참조 블록(TU)들의 CBF들 중 하나라도 0이 아닌 경우, 인코딩 장치는 CIIP 플래그를 디코딩 장치로 전송하고, 디코딩 장치는 상기 CIIP 플래그를 기반으로 상기 현재 PU에 대한 CIIP 적용 여부를 판단한다.
도 14는 현재 PU의 인트라 예측 모드가 카테고리 1에 속할 경우에 참조 블록들의 예를 나타낸다.
도 14을 참조하면, 현재 PU의 인트라 예측 모드가 카테고리 1에 속할 경우, B 영역에 위치하는 하나 이상의 참조 블록들의 CBF를 기반으로, 상기 현재 PU에 대한 CIIP 적용 여부를 판단할 수 있다. 이 경우 상기 B 영역은 도 14의 빗금 영역에 대응할 수 있다. 디코딩 장치는 상기 빗금 영역에 위치한 참조 블록(TU)들의 CBF들이 모두 0인 경우, 상기 CIIP 플래그를 0으로 유도할 수 있고, 상기 빗금 영역에 위치한 참조 블록(TU)들의 CBF들 중 하나라도 0이 아닌 경우, 인코딩 장치는 CIIP 플래그를 디코딩 장치로 전송하고, 디코딩 장치는 상기 CIIP 플래그를 기반으로 상기 현재 PU에 대한 CIIP 적용 여부를 판단한다.
도 15 내지 도 18은 각각 현재 PU의 인트라 예측 모드가 카테고리 2 내지 5에 속할 경우에 참조 블록들의 예를 나타낸다.
도 15 내지 도 18에서 도시된 바와 같이, 현재 PU의 인트라 예측 모드가 카테고리 2에 속할 경우 D 영역에 위치하는 하나 이상의 참조 블록들의 CBF를 기반으로 상기 현재 PU에 대한 CIIP 적용 여부를 판단할 수 있고, 상기 현재 PU의 상기 인트라 예측 모드가 카테고리 3에 속할 경우 A, B 영역에 위치하는 하나 이상의 참조 블록들의 CBF를 기반으로 상기 현재 PU에 대한 CIIP 적용 여부를 판단할 수 있고, 상기 현재 PU의 상기 인트라 예측 모드가 카테고리 4에 속할 경우 D, E 영역에 위치하는 하나 이상의 참조 블록들의 CBF를 기반으로 상기 현재 PU에 대한 CIIP 적용 여부를 판단할 수 있고, 상기 현재 PU의 상기 인트라 예측 모드가 카테고리 5에 속할 경우 A, B, C, D, E 영역에 위치하는 참조 블록들의 CBF를 기반으로 상기 현재 PU에 대한 CIIP 적용 여부를 판단할 수 있다. 여기서 각 도면의 빗금 영역은 각 카테고리에 따른 CBF 참조 영역에 대응할 수 있음은 상술한 바와 같다.
한편, PU는 CU로부터 파티셔닝되며, 파티셔닝 모드(또는 타입)에 따라 비정방형(non-square) 형태를 가질 수 있다. 현재 PU가 비정방형 형태로 파티셔닝되었을 경우에도 고려되는 참조 영역에 일부 차이가 있을 뿐이며, 동일한 방법에 따라 참조 블록들의 CBF를 기반으로 상기 현재 PU의 CIIP 적용 여부를 판단할 수 있다.
도 19는 비정방형 형태의 현재 PU에 대한 참조 블록들의 위치를 예시적으로 나타낸다. 도 19에서 현재 PU의 파티션 타입은 PART_2N×N 일 수 있다.
도 19를 참조하면, 상기 현재 PU의 높이가 H이고, 상기 현재 PU의 너비가 W이며, 상기 H와 상기 W는 각각 4와 8로 다르다. 이 경우 CBF 참조 블록 위치를 나타내는 A, B, C, D, E 중 예를 들어 상기 A는 상기 현재 PU의 좌하측 영역, 상기 B는 상기 현재 PU의 좌측 영역, 상기 C는 상기 현재 PU의 좌상측 영역, 상기 D는 상기 현재 PU의 상측 영역, 상기 E는 상기 현재 PU의 우상측 영역에 대응한다.
구체적으로 상기 현재 PU의 좌상단(top-left) 샘플 포지션이 (0,0)인 경우, 상기 A는 (-1,H)...(-1,2H-1) 포지션의 참조 샘플들이 위치하는 영역을 나타낼 수 있고, 상기 B는 (-1,0)...(-1,H-1) 포지션의 참조 샘플들이 위치하는 영역을 나타낼 수 있고, 상기 C는 (-1,-1) 포지션의 참조 샘플이 위치하는 영역을 나타낼 수 있고, 상기 D는 (0,-1)...(W-1,-1) 포지션의 참조 샘플들이 위치하는 영역을 나타낼 수 있고, 상기 E는 (W,-1)...(2W-1, -1) 포지션의 참조 샘플들이 위치하는 영역을 나타낼 수 있다.
도 20 및 21은 비정방형 형태의 현재 PU에 대한 참조 블록들의 위치를 예시적으로 나타낸다. 도 20 및 21에서 현재 PU의 파티션 타입은 PART_2N×nU 일 수 있다. 구체적으로 도 20은 현재 PU의 파티션 인덱스가 0인 경우이고, 도 21은 현재 PU의 파티션 인덱스가 1인 경우이다.
도 20 및 도 21을 참조하면, 상기 현재 PU가 비정방형 형태를 갖는 경우에도, 인트라 예측 모드에 따라 대응 참조 영역 상의 참조 블록들을 기반으로 CIIP 적용 여부를 판단할 수 있다. 상기 도 21에서 상기 현재 PU의 우상측 E 영역에 위치하는 주변 블록은 래스터 스캔 순서에 따라 아직 디코딩되지 않았으며, 따라서, 상기 E 영역의 주변 블록은 가용하지 않다. 이 경우 상기 가용하지 않은 상기 E 영역의 주변 블록은 상기 CIIP 적용 여부를 판단을 위한 참조 블록에서 제외될 수 있다.
한편, 상기 현재 PU의 주변 참조샘플들을 포함하는 주변 블록들 중 상기 현재 PU에 대한 인트라 예측 모드에 따라 결정된 하나 또는 그이상의 참조 블록들의 CIIP 적용 여부를 고려하여 상기 PU 및/또는 상기 PU 영역 내 TU들의 CIIP 적용 여부를 판단할 수 있다. CIIP 스케일링 메트릭스는 인트라 예측 모드에 따라 결정될 수 있다. 이 경우 참조 블록이 CIIP가 이미 적용되어 복원된 블록인지 여부에 따라 현재 PU에 대한 CIIP 적용 여부가 결정될 수 있다. 즉, 참조 블록의 복원 샘플들을 생성함에 있어, 이미 CIIP 스케일링 절차가 적용된 경우 상기 참조 블록의 복원 샘플들과 원 샘플들 간 에러가 최소화되었다고 볼 수 있으며, 이 경우 상기 참조 블록을 기반으로 현재 PU 영역 내 TU들의 인트라 예측을 수행함에 있어서 CIIP 적용이 불필요할 수 있다. 따라서, 디코딩 장치는 특정 조건 하에서 현재 PU의 인트라 예측 모드에 따른 참조 블록의 CIIP 플래그를 기반으로 상기 현재 PU의 CIIP 플래그를 유도할 수 있다.
도 22는 참조블록의 CIIP 플래그가 0인 경우에 대한 예이다.
도 22를 참조하면, 현재 PU의 인트라 예측 모드 인덱스는 10이다. 이 경우 참조 블록은 상기 PU의 좌측에 위치하게 된다. 디코딩 장치는 상기 참조 블록의 CIIP 플래그를 확인하고, 상기 참조 블록의 CIIP 플래그가 0인 경우, 상기 현재 PU를 위한 CIIP 플래그를 파싱 및 획득한다. 이 경우 디코딩 장치는 상기 현재 PU를 위한 CIIP 플래그를 기반으로 상기 현재 PU에 대한 CIIP 적용 여부를 판단할 수 있다.
도 23은 참조블록의 CIIP 플래그가 1인 경우에 대한 예이다.
도 23을 참조하면, 현재 PU의 인트라 예측 모드 인덱스는 26이다. 이 경우 참조 블록은 상기 PU의 상측에 위치하게 된다. 디코딩 장치는 상기 참조 블록의 CIIP 플래그를 확인하고, 상기 참조 블록의 CIIP 플래그가 1인 경우, 상기 현재 PU를 위한 CIIP 플래그가 0인 것으로 유도한다. 즉, 이 경우 인코딩 장치는 상기 현재 PU를 위한 CIIP 플래그를 디코딩 장치로 전송하지 않으며, 디코딩 장치는 상기 현재 PU를 위한 CIIP 플래그의 파싱 없이도, 상기 CIIP 플래그의 값을 0으로 유도한다.
한편, 현재 PU의 인트라 예측 모드에 따른 예측 방향에 다수의 참조 블록들이 존재할 수도 있다.
도 24는 다수의 참조블록이 존재하는 경우에 대한 예이다.
도 24를 참조하면, 현재 PU의 주변에 다양한 사이즈의 블록들이 존재할 수 있으며, 현재 PU의 인트라 예측 모드 인덱스는 26이고, 상기 현재 PU의 상측에 두 참조 블록들이 존재할 수 있고, 이 경우 상기 참조 블록들의 CIIP 플래그는 다른 값을 가질 수 있다. 즉, 하나의 참조 블록의 CIIP 플래그는 0이나, 다른 참조 블록의 CIIP 플래그는 1일 수 있다.
이 경우 인트라 예측 모드들을 미리 정해진 카테고리에 따라 구분하고, 해당 카테고리에 대응하는 위치의 하나 이상의 참조 블록들을 우선순위에 따라 고려하여, 상기 현재 PU에 대한 CIIP 플래그를 유도할 수 있다.
먼저 인트라 예측 모드에 따라 미리 정해진 카테고리의 영역에 위치한 참조 블록들이 고려될 수 있다. 이 경우 인트라 예측 모드에 따라 고려되는 참조 블록들은 예를 들어 다음과 같이 설정될 수 있다.
카테고리 인트라 예측 모드 참조 블록 위치
카테고리 0 0, 1 A
카테고리 1 2...6 B
카테고리 2 7...13 C
카테고리 3 14...22 A
카테고리 4 23...29 D
카테고리 5 30...34 E
상기 참조 블록 위치를 나타내는 A, B, C, D, E 중 예를 들어 상기 A는 상기 현재 PU의 좌상측 영역, 상기 B는 상기 현재 PU의 좌하측 영역, 상기 C는 상기 현재 PU의 좌측 영역, 상기 D는 상기 현재 PU의 상측 영역, 상기 E는 상기 현재 PU의 우상측 영역에 대응할 수 있다.
도 25는 CIIP 참조 블록 위치를 예시적으로 나타낸다.
도 25를 참조하면, 현재 PU의 사이즈는 8×8이고, 상기 CIIP 참조 블록 위치를 나타내는 A, B, C, D, E 중 예를 들어 상기 A는 상기 현재 PU의 좌상측 영역, 상기 B는 상기 현재 PU의 좌하측 영역, 상기 C는 상기 현재 PU의 좌측 영역, 상기 D는 상기 현재 PU의 상측 영역, 상기 E는 상기 현재 PU의 우상측 영역에 대응한다.
구체적으로 예를 들어, 상기 현재 PU의 좌상단(top-left) 샘플 포지션이 (0,0)이고, 상기 현재 PU의 높이가 H, 상기 현재 PU의 너비가 W인 경우, 상기 A는 (-1,-1) 포지션의 참조 샘플이 위치하는 영역을 나타낼 수 있고, 상기 B는 (-1,H)...(-1,2H-1) 포지션의 참조 샘플들이 위치하는 영역을 나타낼 수 있고, 상기 C는 (-1,0)...(-1,H-1) 포지션의 참조 샘플들이 위치하는 영역을 나타낼 수 있고, 상기 D는 (0,-1)...(W-1,-1) 포지션의 참조 샘플들이 위치하는 영역을 나타낼 수 있고, 상기 E는 (W,-1)...(2W-1, -1) 포지션의 참조 샘플들이 위치하는 영역을 나타낼 수 있다.
상기 인트라 예측 모드에 따른 카테고리를 기반으로 결정된 참조 블록 위치(또는 영역)에 참조 블록들이 다수 존재하는 경우, 우선순위를 기반으로 상기 참조 블록들 중 상대적으로 좌측 또는 상측에 위치하는 참조 블록의 CIIP 플래그를 기반으로 상기 현재 PU에 대한 CIIP 적용 여부가 결정될 수 있다.
예를 들어, 상기 D 영역에 위치한 참조 블록들 중 1번 샘플이 포함된 좌측 참조 블록의 CIIP 플래그가 0이기 때문에, 현재 PU의 CIIP 플래그의 값은 0으로 유도될 수 있다. 한편, 주변 블록들 중 우선순위에 따른 주변 블록의 CIIP 플래그가 1인 경우에는 상기 현재 PU에 대한 CIIP 플래그를 파싱하고, 상기 파싱된 CIIP 플래그를 기반으로 상기 현재 PU에 대한 CIIP 적용 여부가 판단될 수 있다.
도 26은 다수의 참조 블록들이 존재하는 경우에 대한 예를 나타낸다.
도 26을 참조하면, 현재 PU의 인트라 예측 모드 인덱스는 26이고, 상기 현재 PU의 상측인 D 영역에 두 참조 블록들이 존재한다. 이 경우 상기 두 참조 블록들 중 좌측 참조 블록의 CIIP 플래그는 1이므로, 디코딩 장치는 상기 현재 PU에 대한 CIIP 플래그를 파싱하고, 상기 파싱된 CIIP 플래그를 기반으로 상기 현재 PU에 대한 CIIP 적용 여부를 판단할 수 있다.
한편, 상기 현재 PU의 하나 또는 그이상의 참조 블록들의 인트라 예측 모드를 고려하여 상기 PU 및/또는 상기 PU 영역 내 TU들의 CIIP 적용 여부를 판단할 수 있다. 즉, 이 경우 현재 PU의 인트라 예측 모드별로 참조되는 참조 블록의 인트라 예측 모드를 기반으로 상기 현재 PU에 대한 CIIP 적용 여부를 판단할 수 있다.
CIIP 모드의 경우, 상술한 바와 같이, 인트라 예측 모드에 따라 다른 CIIP 스케일링 메트릭스가 적용될 수 있다. 즉, 현재 PU의 인트라 예측 모드에 대응하는 스케일링 메트릭스가 현재 TU의 주변블록의 변환 계수에 적용하여 수정된 레지듀얼 샘플들을 생성하고, 상기 현재 TU에 대한 예측 샘플들과 상기 수정된 레지듀얼 샘플들을 기반으로 복원 샘플들을 생성하므로, 주변블록의 인트라 예측 모드 역시 현재 PU에 대한 CIIP 적용 여부 판단을 위하여 중요하다. 이는 인트라 예측 모드에 다라 주변블록의 변환계수의 특성이 다를 수 있기 때문이다. 따라서, 본 발명에 따르면 현재 PU의 참조블록의 인트라 예측모드가 현재 블록의 인트라 예측 모드와 동일한지 여부를 기반으로 상기 현재 PU에 대한 CIIP 적용 여부를 판단할 수 있다.
도 27은 참조블록과 현재 PU의 인트라 예측모드가 동일하고, 상기 참조블록에 대한 CIIP 플래그가 0인 경우에 대한 예이다.
도 27을 참조하면, 현재 PU의 인트라 예측 모드 인덱스는 10이다. 이 경우 참조 블록은 상기 PU의 좌측에 위치하게 된다. 상기 참조 블록의 인트라 예측 모드가 상기 현재 PU의 인트라 예측 모드와 동일하고, 상기 참조 블록에 대한 CIIP 플래그가 0인 경우, 디코딩 장치는 상기 현재 PU를 위한 CIIP 플래그를 파싱 및 획득한다.
도 28은 참조블록과 현재 PU의 인트라 예측모드가 동일하고, 상기 참조블록에 대한 CIIP 플래그가 1인 경우에 대한 예이다.
도 28을 참조하면, 참조 블록의 인트라 예측 모드가 현재 PU의 인트라 예측 모드와 동일하고, 상기 참조 블록에 대한 CIIP 플래그가 1인 경우, 디코딩 장치는 상기 현재 PU에 대하여 CIIP가 적용되지 않는 것으로 판단한다. 즉 이 경우, 디코딩 장치는 CIIP 플래그의 파싱 없이도, 상기 CIIP 플래그가 0을 나타내는 것으로 판단한다. 이는 상기 참조 블록이 이미 CIIP 모드를 기반으로 인트라 예측되었고, 상기 참조 블록이 현재 PU와 동일한 인트라 예측 모드를 갖기 때문에, 동일한 카테고리의 스케일링 메트릭스가 적용되었기에, 상기 참조 블록과 상기 현재 블록은 동일 또는 유사한 특성을 갖는 것으로 판단할 수 있고, 따라서 현재 PU에 대하여는 별도의 CIIP 플래그 송수신 없이, 인코딩 장치 및 디코딩 장치는 상기 현재 PU에 대하여 CIIP가 적용되지 않는 것으로 판단할 수 있다.
도 29는 참조블록과 현재 PU의 인트라 예측모드가 다른 경우에 대한 예이다.
도 29를 참조하면, 현재 PU의 인트라 예측 모드 인덱스는 10이고, 참조 블록의 인트라 예측 모드 인덱스는 0으로 서로 다르다. 이 경우 디코딩 장치는 상기 참조 블록에 대한 CIIP 적용 여부와는 무관하게, 상기 현재 PU에 대한 CIIP 플래그를 파싱 및 획득하고, 상기 CIIP 플래그를 기반으로 기반으로 상기 PU에 대한 CIIP 적용 여부를 판단할 수 있다.
따라서, 현재 PU와 참조 블록의 인트라 예측 모드 동일 여부와, 상기 참조 블록에 대한 CIIP 모드 적용 여부를 기반으로, 현재 PU에 대한 CIIP 플래그 파싱 및/또는 CIIP 적용 여부 판단 절차는 다음과 같이 구분될 수 있다.
현재 PU와 참조 블록의 인트라 예측 모드 동일 여부 참조 블록의 CIIP 플래그 현재 PU의 CIIP 플래그
동일 0 Parsing
1 Infer 0
다름 0 Parsing
1 Parsing
상기 표에 따르면, 디코딩 장치는 현재 PU와 참조 블록의 인트라 예측 모드가 동일하고 상기 참조 블록의 CIIP 플래그가 1인 경우 상기 현재 PU에 대한 CIIP 플래그는 0으로 유도하며, 이 경우 인코딩 장치는 상기 현재 PU에 대한 CIIP 플래그를 전송하지 않을 수 있다.
나머지 경우에는 디코딩 장치는 상기 인코딩 장치로부터 비트스트림 형태로 전송된 상기 현재 PU에 대한 CIIP 플래그를 파싱하여 획득하고, 상기 현재 PU에 대한 CIIP 플래그를 기반으로 상기 현재 PU에 대한 CIIP 적용 여부를 판단한다.
한편, 현재 PU의 인트라 예측 모드 및 주변 블록들의 분할 구조에 따라 다수의 참조 블록들이 고려될 수 있다. 이 경우 다수의 참조 블록들이 다양한 인트라 예측 모드를 가질 수도 있다. 이 경우 참조 샘플들의 개수를 기준으로 CIIP 플래그를 유도할지 여부를 결정할 수 있다. 이 경우, 예를 들어 고려되는 참조 샘플들 중 반 이상이 상기 현재 PU와 동일한 인트라 예측 모드를 갖는 하나 이상의 참조 블록들에 위치하는 경우 상기 현재 PU에 대하여는 CIIP가 적용되지 않는 것으로 판단되고, 상기 현재 PU에 대한 CIIP 플래그는 0으로 유도될 수 있다.
도 30는 다양한 인트라 예측 모드를 갖는 다수의 참조 블록들이 존재하는 경우에 대한 예시이다.
도 30를 참조하면, 현재 PU의 인트라 예측 모드 인덱스는 10이고, 따라서 상기 현재 PU의 좌측에 위치하는 주변 블록들이 참조 블록들이 될 수 있다. 이 경우, 만약 현재 PU의 높이가 H일 경우 참조 샘플의 개수는 H개이고 이 중 동일한 인트라 예측모드를 기반으로 디코딩된 참조 샘플의 개수가 H/2개 이상일 경우 상기 현재 PU에 대한 CIIP 플래그는 0으로 유도될 수 있다. 즉, 예측샘플들을 생성하기 위하여 필요한 참조픽셀의 개수가 N일 경우 N/2 이상의 참조픽셀들이 현재 PU의 인트라 예측모드(또는 예측방향)와 동일한 인트라 예측모드(또는 예측방향)을 기반으로 디코딩되었을 경우 상기 현재 PU에 대한 CIIP 플래그의 값을 0으로 유도한다.
상기 도 30에서는 3개의 참조 블록들이 존재하며, 상기 참조 블록들 중 하나만 인트라 예측 모드 인덱스 10을 갖는다. 이와 같이 참조하는 방향의 참조픽셀의 개수가 H/2개 미만일 경우 디코딩 장치는 상기 현재 PU에 대한 CIIP 플래그를 파싱 및 획득하고, 상기 현재 PU에 대한 CIIP 플래그를 기반으로 상기 현재 PU에 대한 CIIP 적용 여부를 판단할 수 있다.
한편, 본 실시예에 따른 경우, 상술한 표 4와 같이 현재 PU의 인트라 예측 모드에 따라 참조 블록의 위치 또는 영역은 미리 결정될 수 있다.
본 발명에 따른 상술한 인트라 예측 방법은 예를 들어 다음과 같은 순서도를 기반으로 수행될 수도 있다.
도 31은 본 발명에 따른 인트라 예측 방법의 예를 개략적으로 나타낸다. 도 31에서 개시된 방법은 인코딩 장치에 의하여 수행될 수 있다. 구체적으로 예를 들어, 도 31의 S3100 내지 S3130은 상기 인코딩 장치의 예측부에 의하여 수행될 수 있고, S3140은 상기 인코딩 장치의 엔트로피 인코딩부에 의하여 수행될 수 있다.
도 31을 참조하면, 인코딩 장치는 현재 블록에 대한 인트라 예측 모드를 결정한다(S3100). 여기서 상기 인트라 예측 모드는 DC 모드, 플래너 모드 또는 앵귤러 모드들 중 하나일 수 있다. 여기서 상기 현재 블록은 현재 TU에 대응될 수 있다. 예를 들어, 현재 CU로부터 적어도 하나의 PU 및 적어도 하나의 TU가 도출될 수 있다. 이 경우, 상기 PU의 영역 내에 하나 또는 복수의 TU가 존재할 수 있다. 예를 들어, 현재 CU에서 인터/인트라 예측 타입이 결정되고, 구체적인 인트라 예측 모드는 PU에서 결정될 수 있다. 이 경우 상기 PU 영역 내의 TU들은 상기 결정된 인트라 예측 모드를 공유할 수 있다. 인코딩 장치는 RD(rate-distortion) 코스트를 기반으로 최적의 인트라 예측 모드를 결정할 수 있다.
인코딩 장치는 상기 현재 블록에 대한 CIIP 적용 여부를 판단한다(S3110). 인코딩 장치는 상기 RD 코스트를 기반으로 상기 현재 블록에 대한 상기 CIIP 적용 여부를 판단할 수 있다. 이 경우 인코딩 장치는 상기 CIIP 적용 여부를 나타내는 CIIP 플래그를 생성하고, 후술하는 바와 같이 비트스트림을 통하여 상기 CIIP 플래그를 디코딩 장치로 전송할 수 있다. 한편, 특정 조건에 따라 상기 RD 코스트를 고려하지 않고도 상기 CIIP가 상기 현재 블록에 적용되지 않는 것으로 판단할 수 있다. 즉, 특정 조건을 만족하는 경우 상기 현재 블록에 대하여는 상기 CIIP가 적용되지 않는 것으로 미리 설정될 수 있다. 이 경우 인코딩 장치는 상기 CIIP 플래그를 생성하여 디코딩 장치로 전송하는 절차를 수행하지 않을 수 있다.
예를 들어, 인코딩 장치는 상기 현재 블록에 대한 상기 인트라 예측 모드가 미리 정의된 비-CIIP 예측 모드에 속하는지 여부를 판단할 수 있다. 만약 상기 인트라 예측 모드가 상기 미리 정의된 비-CIIP 예측 모드에 속하는 경우, 인코딩 장치는 상기 현재 블록에 상기 CIIP가 적용되지 않는 것으로 판단할 수 있다. 또는 만약 상기 인트라 예측 모드가 상기 미리 정의된 비-CIIP 예측 모드에 속하지 않는 경우, 인코딩 장치는 상기 현재 블록에 대한 상기 CIIP 적용 여부를 판단하고, 상기 CIIP 적용 여부를 나타내는 CIIP 플래그를 생성할 수 있다.
한편, 상기 CIIP 적용 여부를 판단하기 위하여 참조되는 참조 블록들이 정의될 수 있다. 예를 들어, 상기 현재 블록은 현재 PU의 영역 내에 위치하고, 상기 현재 PU의 주변 블록들 중에서 상기 인트라 예측 모드에 따라 하나 이상의 참조 블록들이 도출될 수 있다.
일 예로, 상기 현재 블록에 대한 상기 인트라 예측 모드의 인덱스가 14 내지 22 중 하나인 경우 상기 하나 이상의 참조 블록들은 상기 현재 PU의 좌측, 좌상측 또는 상측 영역에 위치하고, 상기 현재 블록에 대한 상기 인트라 예측 모드의 인덱스가 8 내지 13 중 하나인 경우, 상기 하나 이상의 참조 블록들은 상기 현재 PU의 좌측 영역에 위치하고, 상기 현재 블록에 대한 상기 인트라 예측 모드의 인덱스가 23 내지 28 중 하나인 경우, 상기 하나 이상의 참조 블록들은 상기 현재 PU의 상측 영역에 위치하고, 상기 현재 블록에 대한 상기 인트라 예측 모드의 인덱스가 2 내지 7 중 하나인 경우, 상기 하나 이상의 참조 블록들은 상기 현재 PU의 좌하측 또는 좌측 영역에 위치하고, 상기 현재 블록에 대한 상기 인트라 예측 모드의 인덱스가 0인 경우, 상기 하나 이상의 참조 블록들은 상기 현재 PU의 좌하측, 좌측, 좌상측, 상측 또는 우상측 영역에 위치할 수 있다.
다른 예로, 상기 현재 블록에 대한 상기 인트라 예측 모드의 인덱스가 0 내지 1 중 하나인 경우 상기 하나 이상의 참조 블록들은 상기 현재 PU의 좌상측 영역에 위치하고, 상기 현재 블록에 대한 상기 인트라 예측 모드의 인덱스가 2 내지 6 중 하나인 경우, 상기 하나 이상의 참조 블록들은 상기 현재 PU의 좌하측 영역에 위치하고, 상기 현재 블록에 대한 상기 인트라 예측 모드의 인덱스가 7 내지 13 중 하나인 경우, 상기 하나 이상의 참조 블록들은 상기 현재 PU의 좌측 영역에 위치하고, 상기 현재 블록에 대한 상기 인트라 예측 모드의 인덱스가 14 내지 22 중 하나인 경우, 상기 하나 이상의 참조 블록들은 상기 현재 PU의 좌상측 영역에 위치하고, 상기 현재 블록에 대한 상기 인트라 예측 모드의 인덱스가 23 내지 29인 경우, 상기 하나 이상의 참조 블록들은 상기 현재 PU의 상측 영역에 위치하고, 상기 현재 블록에 대한 상기 인트라 예측 모드의 인덱스가 30 내지 34 중 하나인 경우, 상기 하나 이상의 참조 블록들은 상기 현재 PU의 우상측 영역에 위치할 수 있다.
인코딩 장치는 상기 하나 이상의 참조 블록들의 CBF(coded bit flag), 인트라 예측 모드 또는 CIIP 적용 여부 중 적어도 하나를 기반으로 상기 현재 블록에 대한 CIIP 적용 여부를 판단할 수 있다.
일 예로, 상기 하나 이상의 참조 블록들이 값 0의 CBF를 갖는 경우, 상기 현재 블록에 상기 CIIP가 적용되지 않는 것으로 설정될 수 있다. 상기 하나 이상의 참조 블록들 중 적어도 하나가 값 1의 CBF를 갖는 경우, 인코딩 장치는 상기 현재 블록에 대한 CIIP 적용 여부를 별도로 판단하고, 상기 CIIP 플래그를 생성할 수 있다.
다른 예로, 상기 하나 이상의 참조 블록들 중 특정 참조 블록에 상기 CIIP가 적용된 경우, 상기 상기 현재 블록에 상기 CIIP가 적용되지 않는 것으로 설정될 수 있다. 여기서, 상기 특정 참조 블록은 상기 참조 블록들 중 상대적으로 좌측 또는 상측에 위치하는 참조 블록일 수 있다. 상기 하나 이상의 참조 블록들 중 특정 참조 블록에 상기 CIIP가 적용되지 않은 경우, 인코딩 장치는 상기 현재 블록에 대한 CIIP 적용 여부를 별도로 판단하고, 상기 CIIP 플래그를 생성할 수 있다.
또 다른 예로, 상기 하나 이상의 참조 블록들에 상기 CIIP가 적용되고 상기 하나 이상의 참조 블록들이 상기 현재 블록에 대한 인트라 예측 모드와 동일한 인트라 예측 모드를 갖는 경우, 상기 상기 현재 블록에 상기 CIIP가 적용되지 않는 것으로 설정될 수 있다. 상기 하나 이상의 참조 블록들에 상기 CIIP가 적용되지 않거나 상기 하나 이상의 참조 블록들은 상기 현재 블록에 대한 인트라 예측 모드와 동일한 인트라 예측 모드를 갖지 않는 경우, 인코딩 장치는 상기 현재 블록에 대한 CIIP 적용 여부를 별도로 판단하고, 상기 CIIP 플래그를 생성할 수 있다.
인코딩 장치는 상기 현재 블록에 대한 주변 샘플들을 도출한다(S3120). 인코딩 장치는 인트라 예측에 활용하기 위하여, 상기 현재 블록의 주변 샘플들을 도출한다. 예를 들어, 상기 현재 블록의 좌상단 샘플 포지션을 (0,0)이라고 하고, 상기 현재 블록의 높이를 H, 너비를 W라고 할 경우, 상기 주변 샘플들은 (-1,2N-1)...(-1,-1), 그리고 (0,-1)...(2N-1,-1)까지의 샘플들을 포함할 수 있다.
구체적으로 인코딩 장치는 주변 블록에 대한 양자화된 변환 계수들을 획득하고, 상기 양자화된 변환 계수들을 양자화하여 변환 계수들을 획득할 수 있다. 인코딩 장치는 상기 변환 계수들을 기반으로 레지듀얼 샘플들 또는 수정된 레지듀얼 샘플들을 도출할 수 있다.
만약 상기 현재 블록에 상기 CIIP가 적용되지 않는 경우, 인코딩 장치는 상기 변환 계수들을 역변환하여 상기 레지듀얼 샘플들을 도출할 수 있다.
만약 상기 현재 블록에 상기 CIIP가 적용되지 않는 경우, 인코딩 장치는 상기 변환 계수들에 CIIP 스케일링 절차가 수행된 후 CIIP 스케일링된 변환 계수들을 역변환하여 상기 수정된 레지듀얼 샘플들을 도출할 수 있다. 이 경우 상기 CIIP 스케일링 절차는 소정의 스케일링 메트릭스를 기반으로 수행될 수 있다. 상기 스케일링 메트릭스는 상기 현재 블록에 대한 상기 인트라 예측 모드에 따라 결정될 수 있다.
인코딩 장치는 상기 레지듀얼 샘플들 또는 상기 수정된 레지듀얼 샘플들을 기반으로 상기 주변 샘플들을 도출할 수 있다.
인코딩 장치는 상기 인트라 예측 모드 및 상기 주변 샘플들을 기반으로 상기 현재 블록에 대한 예측 샘플들을 생성한다(S3130). 인코딩 장치는 상기 인트라 예측 모드에 따라 상기 주변 샘플들 중 일부 또는 전부를 이용하여 상기 예측 샘플들을 생성할 수 있다.
인코딩 장치는 상기 인트라 예측 모드에 관한 정보를 인코딩하여 출력한다(S3140). 인코딩 장치는 상기 인트라 예측 모드에 관한 정보를 인코딩하여 비트스트림 형태로 출력할 수 있다. 상기 비트스트림은 네트워크 또는 저장매체를 통하여 디코딩 장치로 전송될 수 있다. 또한, 인코딩 장치는 상기 현재 블록에 대한 레지듀얼에 관한 정보를 인코딩하여 상기 비트스트림 형태로 출력할 수도 있다. 상기 현재 블록에 대한 레지듀얼에 관한 정보는 상기 현재 블록에 대한 레지듀얼 샘플들에 관한 양자화된 변환 계수들을 포함할 수 있다.
한편, 인코딩 장치는 상기 생성된 CIIP 플래그를 인코딩하여 상기 비트스트림 형태로 출력할 수도 있다.
도 32는 본 발명에 따른 인트라 예측 방법의 예를 개략적으로 나타낸다. 도 32에서 개시된 방법은 디코딩 장치에 의하여 수행될 수 있다. 구체적으로 예를 들어, 도 32의 S3200은 상기 디코딩 장치의 엔트로피 디코딩부에 의하여 수행될 수 있고, 상기 S3210 내지 S3240은 상기 디코딩 장치의 예측부에 의하여 수행될 수 있다.
도 32을 참조하면, 디코딩 장치는 비트스트림으로부터 인트라 예측 모드에 관한 정보를 획득한다(S3200). 디코딩 장치는 인코딩 장치로부터 수신한 상기 비트스트림을 디코딩하고 상기 인트라 예측 모드에 관한 정보를 획득할 수 있다. 상기 비트스트림은 네트워크 또는 저장매체를 통하여 수신될 수 있다.
디코딩 장치는 상기 인트라 예측 모드에 관한 정보를 기반으로 현재 블록에 대한 인트라 예측 모드를 결정한다(S3210). 여기서 상기 인트라 예측 모드는 DC 모드, 플래너 모드 또는 앵귤러 모드들 중 하나일 수 있다. 여기서 상기 현재 블록은 현재 TU에 대응될 수 있다. 예를 들어, 현재 CU로부터 적어도 하나의 PU 및 적어도 하나의 TU가 도출될 수 있다. 이 경우, 상기 PU의 영역 내에 하나 또는 복수의 TU가 존재할 수 있다. 예를 들어, 현재 CU에서 인터/인트라 예측 타입이 결정되고, 구체적인 인트라 예측 모드는 PU에서 결정될 수 있다. 이 경우 상기 PU 영역 내의 TU들은 상기 결정된 인트라 예측 모드를 공유할 수 있다.
디코딩 장치는 상기 현재 블록에 대한 CIIP 적용 여부를 판단한다(S3220). 디코딩 장치는 상기 비트스트림으로부터 CIIP 플래그를 파싱 또는 획득하고, 상기 CIIP 플래그를 기반으로 상기 현재 블록에 대한 상기 CIIP 적용 여부를 판단할 수 있다. 또한, 특정 조건에 따라 상기 CIIP 플래그를 수신 또는 파싱하지 않고도 상기 CIIP가 상기 현재 블록에 적용되지 않는 것으로 판단 또는 유도 수 있다. 즉, 특정 조건을 만족하는 경우 상기 현재 블록에 대하여는 상기 CIIP가 적용되지 않는 것으로 미리 설정될 수 있다.
예를 들어, 디코딩 장치는 상기 현재 블록에 대한 상기 인트라 예측 모드가 미리 정의된 비-CIIP 예측 모드에 속하는지 여부를 판단할 수 있다. 만약 상기 인트라 예측 모드가 상기 미리 정의된 비-CIIP 예측 모드에 속하는 경우, 디코딩 장치는 상기 현재 블록에 상기 CIIP가 적용되지 않는 것으로 판단할 수 있다. 또는 만약 상기 인트라 예측 모드가 상기 미리 정의된 비-CIIP 예측 모드에 속하지 않는 경우, 디코딩 장치는 상기 비트스트림으로부터 상기 현재 블록에 대한 상기 CIIP 플래그를 획득하고, 상기 상기 현재 블록에 대한 상기 CIIP 플래그를 기반으로 상기 현재 블록에 대한 CIIP 적용 여부를 판단할 수 있다.
한편, 상기 CIIP 적용 여부를 판단하기 위하여 참조되는 참조 블록들이 정의될 수 있다. 예를 들어, 상기 현재 블록은 현재 PU의 영역 내에 위치하고, 상기 현재 PU의 주변 블록들 중에서 상기 인트라 예측 모드에 따라 하나 이상의 참조 블록들이 도출될 수 있다.
일 예로, 상기 현재 블록에 대한 상기 인트라 예측 모드의 인덱스가 14 내지 22 중 하나인 경우 상기 하나 이상의 참조 블록들은 상기 현재 PU의 좌측, 좌상측 또는 상측 영역에 위치하고, 상기 현재 블록에 대한 상기 인트라 예측 모드의 인덱스가 8 내지 13 중 하나인 경우, 상기 하나 이상의 참조 블록들은 상기 현재 PU의 좌측 영역에 위치하고, 상기 현재 블록에 대한 상기 인트라 예측 모드의 인덱스가 23 내지 28 중 하나인 경우, 상기 하나 이상의 참조 블록들은 상기 현재 PU의 상측 영역에 위치하고, 상기 현재 블록에 대한 상기 인트라 예측 모드의 인덱스가 2 내지 7 중 하나인 경우, 상기 하나 이상의 참조 블록들은 상기 현재 PU의 좌하측 또는 좌측 영역에 위치하고, 상기 현재 블록에 대한 상기 인트라 예측 모드의 인덱스가 0인 경우, 상기 하나 이상의 참조 블록들은 상기 현재 PU의 좌하측, 좌측, 좌상측, 상측 또는 우상측 영역에 위치할 수 있다.
다른 예로, 상기 현재 블록에 대한 상기 인트라 예측 모드의 인덱스가 0 내지 1 중 하나인 경우 상기 하나 이상의 참조 블록들은 상기 현재 PU의 좌상측 영역에 위치하고, 상기 현재 블록에 대한 상기 인트라 예측 모드의 인덱스가 2 내지 6 중 하나인 경우, 상기 하나 이상의 참조 블록들은 상기 현재 PU의 좌하측 영역에 위치하고, 상기 현재 블록에 대한 상기 인트라 예측 모드의 인덱스가 7 내지 13 중 하나인 경우, 상기 하나 이상의 참조 블록들은 상기 현재 PU의 좌측 영역에 위치하고, 상기 현재 블록에 대한 상기 인트라 예측 모드의 인덱스가 14 내지 22 중 하나인 경우, 상기 하나 이상의 참조 블록들은 상기 현재 PU의 좌상측 영역에 위치하고, 상기 현재 블록에 대한 상기 인트라 예측 모드의 인덱스가 23 내지 29인 경우, 상기 하나 이상의 참조 블록들은 상기 현재 PU의 상측 영역에 위치하고, 상기 현재 블록에 대한 상기 인트라 예측 모드의 인덱스가 30 내지 34 중 하나인 경우, 상기 하나 이상의 참조 블록들은 상기 현재 PU의 우상측 영역에 위치할 수 있다.
디코딩 장치는 상기 하나 이상의 참조 블록들의 CBF(coded bit flag), 인트라 예측 모드 또는 CIIP 적용 여부 중 적어도 하나를 기반으로 상기 현재 블록에 대한 CIIP 적용 여부를 판단할 수 있다.
일 예로, 상기 하나 이상의 참조 블록들이 값 0의 CBF를 갖는 경우, 상기 현재 블록에 상기 CIIP가 적용되지 않는 것으로 설정될 수 있다. 이 경우 디코딩 장치는 상기 CIIP 플래그의 수신 또는 파싱 없이도 상기 현재 블록에 상기 CIIP가 적용되지 않는 것으로 판단할 수 있다. 한편, 상기 하나 이상의 참조 블록들 중 적어도 하나가 값 1의 CBF를 갖는 경우, 디코딩 장치는 상기 비트스트림으로부터 상기 현재 블록에 대한 상기 CIIP 플래그를 획득하고 상기 현재 블록에 대한 상기 CIIP 플래그를 기반으로 상기 현재 블록에 대한 CIIP 적용 여부를 판단할 수 있다.
다른 예로, 상기 하나 이상의 참조 블록들 중 특정 참조 블록에 상기 CIIP가 적용된 경우, 상기 상기 현재 블록에 상기 CIIP가 적용되지 않는 것으로 설정될 수 있다. 이 경우 디코딩 장치는 상기 CIIP 플래그의 수신 또는 파싱 없이도 상기 현재 블록에 상기 CIIP가 적용되지 않는 것으로 판단할 수 있다. 여기서, 상기 특정 참조 블록은 상기 참조 블록들 중 상대적으로 좌측 또는 상측에 위치하는 참조 블록일 수 있다. 한편, 상기 하나 이상의 참조 블록들 중 특정 참조 블록에 상기 CIIP가 적용되지 않은 경우, 디코딩 장치는 상기 비트스트림으로부터 상기 현재 블록에 대한 상기 CIIP 플래그를 획득하고 상기 현재 블록에 대한 상기 CIIP 플래그를 기반으로 상기 현재 블록에 대한 CIIP 적용 여부를 판단할 수 있다.
또 다른 예로, 상기 하나 이상의 참조 블록들에 상기 CIIP가 적용되고 상기 하나 이상의 참조 블록들이 상기 현재 블록에 대한 인트라 예측 모드와 동일한 인트라 예측 모드를 갖는 경우, 상기 상기 현재 블록에 상기 CIIP가 적용되지 않는 것으로 설정될 수 있다. 이 경우 디코딩 장치는 상기 CIIP 플래그의 수신 또는 파싱 없이도 상기 현재 블록에 상기 CIIP가 적용되지 않는 것으로 판단할 수 있다. 한편, 상기 하나 이상의 참조 블록들에 상기 CIIP가 적용되지 않거나 상기 하나 이상의 참조 블록들은 상기 현재 블록에 대한 인트라 예측 모드와 동일한 인트라 예측 모드를 갖지 않는 경우, 디코딩 장치는 상기 비트스트림으로부터 상기 현재 블록에 대한 상기 CIIP 플래그를 획득하고 상기 현재 블록에 대한 상기 CIIP 플래그를 기반으로 상기 현재 블록에 대한 CIIP 적용 여부를 판단할 수 있다.
디코딩 장치는 상기 현재 블록에 대한 주변 샘플들을 도출한다(S3230). 디코딩 장치는 인트라 예측에 활용하기 위하여, 상기 현재 블록의 주변 샘플들을 도출한다. 예를 들어, 상기 현재 블록의 좌상단 샘플 포지션을 (0,0)이라고 하고, 상기 현재 블록의 높이를 H, 너비를 W라고 할 경우, 상기 주변 샘플들은 (-1,2N-1)...(-1,-1), 그리고 (0,-1)...(2N-1,-1)까지의 샘플들을 포함할 수 있다.
구체적으로 디코딩 장치는 상기 비트스트림으로부터 주변 블록에 대한 양자화된 변환 계수들을 획득하고, 상기 양자화된 변환 계수들을 양자화하여 변환 계수들을 획득할 수 있다. 디코딩 장치는 상기 변환 계수들을 기반으로 레지듀얼 샘플들 또는 수정된 레지듀얼 샘플들을 도출할 수 있다.
만약 상기 현재 블록에 상기 CIIP가 적용되지 않는 경우, 디코딩 장치는 상기 변환 계수들을 역변환하여 상기 레지듀얼 샘플들을 도출할 수 있다.
만약 상기 현재 블록에 상기 CIIP가 적용되지 않는 경우, 디코딩 장치는 상기 변환 계수들에 CIIP 스케일링 절차가 수행된 후 CIIP 스케일링된 변환 계수들을 역변환하여 상기 수정된 레지듀얼 샘플들을 도출할 수 있다. 이 경우 상기 CIIP 스케일링 절차는 소정의 스케일링 메트릭스를 기반으로 수행될 수 있다. 상기 스케일링 메트릭스는 상기 현재 블록에 대한 상기 인트라 예측 모드에 따라 결정될 수 있다.
디코딩 장치는 상기 레지듀얼 샘플들 또는 상기 수정된 레지듀얼 샘플들을 기반으로 상기 주변 샘플들을 도출할 수 있다.
디코딩 장치는 상기 인트라 예측 모드 및 상기 주변 샘플들을 기반으로 상기 현재 블록에 대한 예측 샘플들을 생성한다(S3240). 디코딩 장치는 상기 인트라 예측 모드에 따라 상기 주변 샘플들 중 일부 또는 전부를 이용하여 상기 예측 샘플들을 생성할 수 있다.
디코딩 장치는 상기 비트스트림으로부터 상기 현재 블록에 대한 레지듀얼에 관한 정보를 획득할 수 있다. 디코딩 장치는 상기 현재 블록에 대한 상기 레지듀얼에 관한 정보를 상기 기반으로 상기 현재 블록에 대한 레지듀얼 샘플들을 도출하고, 상기 현재 블록에 대한 예측 샘플들 및 상기 현재 블록에 대한 레지듀얼 샘플들을 기반으로 복원 샘플들을 생성할 수 있다. 상기 현재 블록에 대한 상기 레지듀얼에 관한 정보는 상기 현재 블록에 대한 양자화된 변환 계수들을 포함할 수 있다. 디코딩 장치는 상기 복원 샘플들을 기반으로 복원 픽처를 생성할 수 있다.
상술한 본 발명에 따르면 현재 블록의 인트라 예측에 적합한 주변 샘플들을 도출할 수 있으며, 이를 통하여 인트라 예측 성능을 향상시킬 수 있다.
또한, 본 발명에 따르면 기존에는 주변 블록의 복원 샘플이 현재 블록의 인트라 예측을 위한 주변 샘플들로 이용되었던 것과 달리, 주변 블록의 변환 계수에 CIIP 스케일링을 적용하여 수정 또는 개선된 주변 샘플들을 생성할 수 있으며, 이를 통하여 인트라 예측 성능을 향상시킬 수 있다.
또한, 본 발명에 따르면 주변 블록의 CBF(coded block flag), 인트라 예측 모드 및/또는 주변 블록에 대한 CIIP 적용 여부 등을 기반으로 적응적으로 현재 블록에 대한 CIIP 적용 여부를 결정할 수 있으며, 이를 통하여 예측 효율을 향상시킬 수 있다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시 예들은 본 발명을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시 예에 의하여 본 발명의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 할 것이다.
상술한 본 발명에 따른 방법은 소프트웨어 형태로 구현될 수 있으며, 본 발명에 따른 인코딩 장치 및/또는 디코딩 장치는 예를 들어 TV, 컴퓨터, 스마트폰, 셋톱박스, 디스플레이 장치 등의 영상 처리를 수행하는 장치에 포함될 수 있다.
본 발명에서 실시예들이 소프트웨어로 구현될 때, 상술한 방법은 상술한 기능을 수행하는 모듈(과정, 기능 등)로 구현될 수 있다. 모듈은 메모리에 저장되고, 프로세서에 의해 실행될 수 있다. 메모리는 프로세서 내부 또는 외부에 있을 수 있고, 잘 알려진 다양한 수단으로 프로세서와 연결될 수 있다. 프로세서는 ASIC(application-specific integrated circuit), 다른 칩셋, 논리 회로 및/또는 데이터 처리 장치를 포함할 수 있다. 메모리는 ROM(read-only memory), RAM(random access memory), 플래쉬 메모리, 메모리 카드, 저장 매체 및/또는 다른 저장 장치를 포함할 수 있다.

Claims (15)

  1. 디코딩 장치에 의하여 수행되는 인트라 예측 방법에 있어서,
    비트스트림으로부터 인트라 예측 모드에 관한 정보를 획득하는 단계;
    상기 인트라 예측 모드에 관한 정보를 기반으로 현재 블록에 대한 인트라 예측 모드를 결정하는 단계;
    상기 현재 블록에 대한 CIIP(coefficient induced intra prediction) 적용 여부를 판단하는 단계;
    상기 CIIP 적용 여부를 기반으로 상기 현재 블록에 대한 주변 샘플들을 도출하는 단계; 및
    상기 인트라 예측 모드 및 상기 주변 샘플들을 기반으로 현재 블록에 대한 예측 샘플들을 생성하는 단계를 포함함을 특징으로 하는, 인트라 예측 방법.
  2. 제1항에 있어서,
    상기 비트스트림으로부터 주변 블록에 대한 양자화된 변환 계수들을 획득하는 단계;
    상기 양자화된 변환 계수들을 역양자화하여 변환 계수들을 획득하는 단계;
    상기 변환 계수를 기반으로 레지듀얼 샘플들 또는 수정된 레지듀얼 샘플들을 도출하는 단계; 및
    상기 레지듀얼 샘플들 또는 상기 수정된 레지듀얼 샘플들을 기반으로 상기 주변 샘플들을 도출하는 단계를 더 포함하되,
    상기 현재 블록에 상기 CIIP가 적용되지 않는 경우 상기 변환 계수들을 역변환하여 상기 레지듀얼 샘플들이 도출되고,
    상기 현재 블록에 상기 CIIP가 적용되지 않는 경우 상기 변환 계수들에 CIIP 스케일링 절차가 수행된 후 CIIP 스케일링된 변환 계수들을 역변환하여 상기 수정된 레지듀얼 샘플들이 도출되는 것을 특징으로 하는, 인트라 예측 방법.
  3. 제2항에 있어서,
    상기 CIIP 스케일링 절차는 소정의 스케일링 메트릭스를 기반으로 수행됨을 특징으로 하는, 인트라 예측 방법.
  4. 제3항에 있어서,
    상기 스케일링 메트릭스는 상기 현재 블록에 대한 상기 인트라 예측 모드에 따라 결정되는 것을 특징으로 하는, 인트라 예측 방법.
  5. 제2항에 있어서,
    상기 현재 블록에 대한 상기 인트라 예측 모드가 미리 정의된 비-CIIP 예측 모드에 속하는지 여부를 판단하는 단계를 더 포함하되,
    상기 인트라 예측 모드가 상기 미리 정의된 비-CIIP 예측 모드에 속하는 경우, 상기 현재 블록에 상기 CIIP가 적용되지 않는 것으로 판단되는 것을 특징으로 하는, 인트라 예측 방법.
  6. 제5항에 있어서,
    상기 인트라 예측 모드가 상기 미리 정의된 비-CIIP 예측 모드에 속하지 않는 경우, 상기 비트스트림으로부터 상기 현재 블록에 대한 CIIP 플래그를 획득하는 단계를 더 포함하되,
    상기 현재 블록에 대한 상기 CIIP 플래그를 기반으로 상기 현재 블록에 대한 CIIP 적용 여부가 판단되는 것을 특징으로 하는, 인트라 예측 방법.
  7. 제2항에 있어서,
    상기 현재 블록은 TU(transform unit)에 대응하고,
    상기 TU는 현재 PU(prediction unit)의 영역 내에 위치하고,
    상기 현재 PU의 주변 블록들 중에서 상기 인트라 예측 모드에 따라 하나 이상의 참조 블록들이 도출되고,
    상기 하나 이상의 참조 블록들의 CBF(coded bit flag), 인트라 예측 모드 또는 CIIP 적용 여부 중 적어도 하나를 기반으로 상기 현재 블록에 대한 CIIP 적용 여부가 판단되는 것을 특징으로 하는, 인트라 예측 방법.
  8. 제7항에 있어서,
    상기 현재 블록에 대한 상기 인트라 예측 모드의 인덱스가 14 내지 22 중 하나인 경우 상기 하나 이상의 참조 블록들은 상기 현재 PU의 좌측, 좌상측 또는 상측 영역에 위치하고,
    상기 현재 블록에 대한 상기 인트라 예측 모드의 인덱스가 8 내지 13 중 하나인 경우, 상기 하나 이상의 참조 블록들은 상기 현재 PU의 좌측 영역에 위치하고,
    상기 현재 블록에 대한 상기 인트라 예측 모드의 인덱스가 23 내지 28 중 하나인 경우, 상기 하나 이상의 참조 블록들은 상기 현재 PU의 상측 영역에 위치하고,
    상기 현재 블록에 대한 상기 인트라 예측 모드의 인덱스가 2 내지 7 중 하나인 경우, 상기 하나 이상의 참조 블록들은 상기 현재 PU의 좌하측 또는 좌측 영역에 위치하고,
    상기 현재 블록에 대한 상기 인트라 예측 모드의 인덱스가 0인 경우, 상기 하나 이상의 참조 블록들은 상기 현재 PU의 좌하측, 좌측, 좌상측, 상측 또는 우상측 영역에 위치함을 특징으로 하는, 인트라 예측 방법.
  9. 제7항에 있어서,
    상기 현재 블록에 대한 상기 인트라 예측 모드의 인덱스가 0 내지 1 중 하나인 경우 상기 하나 이상의 참조 블록들은 상기 현재 PU의 좌상측 영역에 위치하고,
    상기 현재 블록에 대한 상기 인트라 예측 모드의 인덱스가 2 내지 6 중 하나인 경우, 상기 하나 이상의 참조 블록들은 상기 현재 PU의 좌하측 영역에 위치하고,
    상기 현재 블록에 대한 상기 인트라 예측 모드의 인덱스가 7 내지 13 중 하나인 경우, 상기 하나 이상의 참조 블록들은 상기 현재 PU의 좌측 영역에 위치하고,
    상기 현재 블록에 대한 상기 인트라 예측 모드의 인덱스가 14 내지 22 중 하나인 경우, 상기 하나 이상의 참조 블록들은 상기 현재 PU의 좌상측 영역에 위치하고,
    상기 현재 블록에 대한 상기 인트라 예측 모드의 인덱스가 23 내지 29인 경우, 상기 하나 이상의 참조 블록들은 상기 현재 PU의 상측 영역에 위치하고,
    상기 현재 블록에 대한 상기 인트라 예측 모드의 인덱스가 30 내지 34 중 하나인 경우, 상기 하나 이상의 참조 블록들은 상기 현재 PU의 우상측 영역에 위치함을 특징으로 하는, 인트라 예측 방법.
  10. 제7항에 있어서,
    상기 하나 이상의 참조 블록들이 값 0의 CBF를 갖는 경우, 상기 현재 블록에 상기 CIIP가 적용되지 않는 것으로 판단되고,
    상기 하나 이상의 참조 블록들 중 적어도 하나가 값 1의 CBF를 갖는 경우, 상기 비트스트림으로부터 상기 현재 블록에 대한 CIIP 플래그를 획득하고 상기 현재 블록에 대한 상기 CIIP 플래그를 기반으로 상기 현재 블록에 대한 CIIP 적용 여부가 판단되는 것을 특징으로 하는, 인트라 예측 방법.
  11. 제7항에 있어서,
    상기 하나 이상의 참조 블록들 중 특정 참조 블록에 상기 CIIP가 적용된 경우, 상기 상기 현재 블록에 상기 CIIP가 적용되지 않는 것으로 판단되고,
    상기 하나 이상의 참조 블록들 중 특정 참조 블록에 상기 CIIP가 적용되지 않은 경우, 상기 비트스트림으로부터 상기 현재 블록에 대한 CIIP 플래그를 획득하고 상기 현재 블록에 대한 상기 CIIP 플래그를 기반으로 상기 현재 블록에 대한 CIIP 적용 여부가 판단되는 것을 특징으로 하는, 인트라 예측 방법.
  12. 제11항에 있어서,
    상기 특정 참조 블록은 상기 참조 블록들 중 상대적으로 좌측 또는 상측에 위치하는 참조 블록인 것을 특징으로 하는, 인트라 예측 방법.
  13. 제7항에 있어서,
    상기 하나 이상의 참조 블록들에 상기 CIIP가 적용되고 상기 하나 이상의 참조 블록들이 상기 현재 블록에 대한 인트라 예측 모드와 동일한 인트라 예측 모드를 갖는 경우, 상기 상기 현재 블록에 상기 CIIP가 적용되지 않는 것으로 판단되고,
    상기 하나 이상의 참조 블록들에 상기 CIIP가 적용되지 않거나 상기 하나 이상의 참조 블록들은 상기 현재 블록에 대한 인트라 예측 모드와 동일한 인트라 예측 모드를 갖지 않는 경우, 상기 비트스트림으로부터 상기 현재 블록에 대한 CIIP 플래그를 획득하고 상기 현재 블록에 대한 상기 CIIP 플래그를 기반으로 상기 현재 블록에 대한 CIIP 적용 여부가 판단되는 것을 특징으로 하는, 인트라 예측 방법.
  14. 인코딩 장치에 의하여 수행되는 인트라 예측 방법에 있어서,
    현재 블록에 대한 인트라 예측 모드를 결정하는 단계;
    상기 현재 블록에 대한 CIIP(coefficient induced intra prediction) 적용 여부를 판단하는 단계;
    상기 CIIP 적용 여부를 기반으로 상기 현재 블록에 대한 주변 샘플들을 도출하는 단계;
    상기 인트라 예측 모드 및 상기 주변 샘플들을 기반으로 현재 블록에 대한 예측 샘플들을 생성하는 단계; 및
    상기 인트라 예측 모드에 관한 정보를 인코딩하여 출력하는 단계를 포함함을 특징으로 하는, 인트라 예측 방법.
  15. 제14항에 있어서,
    주변 블록에 대한 양자화된 변환 계수들을 획득하는 단계;
    상기 양자화된 변환 계수들을 역양자화하여 변환 계수들을 획득하는 단계;
    상기 변환 계수를 기반으로 레지듀얼 샘플들 또는 수정된 레지듀얼 샘플들을 도출하는 단계; 및
    상기 레지듀얼 샘플들 또는 상기 수정된 레지듀얼 샘플들을 기반으로 상기 주변 샘플들을 도출하는 단계를 더 포함하되,
    상기 현재 블록에 상기 CIIP가 적용되지 않는 경우 상기 변환 계수들을 역변환하여 상기 레지듀얼 샘플들이 도출되고,
    상기 현재 블록에 상기 CIIP가 적용되지 않는 경우 상기 변환 계수들에 CIIP 스케일링 절차가 수행된 후 CIIP 스케일링된 변환 계수들을 역변환하여 상기 수정된 레지듀얼 샘플들이 도출되는 것을 특징으로 하는, 인트라 예측 방법.
PCT/KR2016/005919 2016-06-03 2016-06-03 영상 코딩 시스템에서 인트라 예측 방법 및 장치 WO2017209328A1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US16/306,837 US10812807B2 (en) 2016-06-03 2016-06-03 Intra-prediction method and apparatus in image coding system
KR1020187035034A KR20180136555A (ko) 2016-06-03 2016-06-03 영상 코딩 시스템에서 인트라 예측 방법 및 장치
PCT/KR2016/005919 WO2017209328A1 (ko) 2016-06-03 2016-06-03 영상 코딩 시스템에서 인트라 예측 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/KR2016/005919 WO2017209328A1 (ko) 2016-06-03 2016-06-03 영상 코딩 시스템에서 인트라 예측 방법 및 장치

Publications (1)

Publication Number Publication Date
WO2017209328A1 true WO2017209328A1 (ko) 2017-12-07

Family

ID=60478651

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2016/005919 WO2017209328A1 (ko) 2016-06-03 2016-06-03 영상 코딩 시스템에서 인트라 예측 방법 및 장치

Country Status (3)

Country Link
US (1) US10812807B2 (ko)
KR (1) KR20180136555A (ko)
WO (1) WO2017209328A1 (ko)

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020130600A1 (ko) * 2018-12-17 2020-06-25 주식회사 윌러스표준기술연구소 예측 모드를 시그널링하는 비디오 신호 처리 방법 및 장치
WO2020125796A1 (en) * 2018-12-22 2020-06-25 Beijing Bytedance Network Technology Co., Ltd. Two step cross-component prediction mode based on multiple parameter
WO2020156536A1 (en) * 2019-02-01 2020-08-06 Beijing Bytedance Network Technology Co., Ltd. Harmonization between different video process mode
CN111630858A (zh) * 2018-11-16 2020-09-04 北京字节跳动网络技术有限公司 组合帧间帧内预测模式中的权重
WO2020187329A1 (en) * 2019-03-21 2020-09-24 Beijing Bytedance Network Technology Co., Ltd. Improved weighting processing of combined intra-inter prediction
WO2020248954A1 (en) * 2019-06-09 2020-12-17 Beijing Bytedance Network Technology Co., Ltd. Significant coefficient signaling in video coding
WO2021052506A1 (en) * 2019-09-22 2021-03-25 Beijing Bytedance Network Technology Co., Ltd. Transform unit based combined inter intra prediction
WO2021056223A1 (zh) * 2019-09-24 2021-04-01 Oppo广东移动通信有限公司 图像编解码方法、编码器、解码器以及存储介质
US11140386B2 (en) 2018-11-22 2021-10-05 Beijing Bytedance Network Technology Co., Ltd. Coordination method for sub-block based inter prediction
CN113875235A (zh) * 2019-09-23 2021-12-31 韩国电子通信研究院 图像编码/解码方法和装置及存储比特流的记录介质
CN114009016A (zh) * 2019-06-23 2022-02-01 Lg 电子株式会社 从合并数据语法移除冗余语法的方法和装置
CN114556949A (zh) * 2019-08-22 2022-05-27 Lg电子株式会社 帧内预测装置和方法
RU2804481C2 (ru) * 2019-03-22 2023-10-02 ЭлДжи ЭЛЕКТРОНИКС ИНК. Способ и устройство декодирования изображения и способ и устройство кодирования изображения в системе кодирования изображения
US11843725B2 (en) 2018-11-12 2023-12-12 Beijing Bytedance Network Technology Co., Ltd Using combined inter intra prediction in video processing
US11871025B2 (en) 2019-08-13 2024-01-09 Beijing Bytedance Network Technology Co., Ltd Motion precision in sub-block based inter prediction
US11930165B2 (en) 2019-03-06 2024-03-12 Beijing Bytedance Network Technology Co., Ltd Size dependent inter coding
US12041267B2 (en) 2018-10-22 2024-07-16 Beijing Bytedance Network Technology Co., Ltd. Multi-iteration motion vector refinement

Families Citing this family (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3376764A4 (en) * 2015-11-12 2019-12-04 LG Electronics Inc. METHOD AND DEVICE FOR COEFFICIENT-INDUCED INTRAPREDICATION IN A BILDCODING SYSTEM
KR20230125329A (ko) * 2016-10-10 2023-08-29 삼성전자주식회사 영상을 부호화/복호화 하는 방법 및 그 장치
CN116668722A (zh) 2017-05-17 2023-08-29 株式会社Kt 用于解码视频的方法和用于编码视频的方法
KR20200028856A (ko) * 2018-09-07 2020-03-17 김기백 인트라 예측을 이용한 영상 부호화/복호화 방법 및 장치
CN113228648A (zh) * 2018-12-21 2021-08-06 三星电子株式会社 使用三角形预测模式的图像编码装置和图像解码装置及其执行的图像编码方法和图像解码方法
KR20220151233A (ko) * 2019-02-28 2022-11-14 삼성전자주식회사 크로마 성분을 예측하는 비디오 부호화 및 복호화 방법, 및 크로마 성분을 예측하는 비디오 부호화 및 복호화 장치
WO2020184821A1 (ko) * 2019-03-12 2020-09-17 엘지전자 주식회사 Mpm 리스트를 구성하는 방법 및 장치
KR20210137058A (ko) 2019-03-22 2021-11-17 엘지전자 주식회사 영상 코딩 시스템에서 인트라 예측 기반 영상 디코딩 방법 및 그 장치
CA3229435A1 (en) * 2019-03-22 2020-10-01 Lg Electronics Inc. Image decoding method and device and image encoding method and device in image coding system
CN113647102A (zh) * 2019-04-09 2021-11-12 北京达佳互联信息技术有限公司 用于在视频编解码中用信号发送合并模式的方法和装置
KR20210145754A (ko) 2019-04-12 2021-12-02 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 행렬 기반 인트라 예측에서의 산출
CN113748676B (zh) 2019-04-16 2024-05-10 北京字节跳动网络技术有限公司 帧内编解码模式下的矩阵推导
WO2020221372A1 (en) 2019-05-01 2020-11-05 Beijing Bytedance Network Technology Co., Ltd. Context coding for matrix-based intra prediction
WO2020221373A1 (en) 2019-05-01 2020-11-05 Beijing Bytedance Network Technology Co., Ltd. Matrix-based intra prediction using filtering
CN113875233B (zh) 2019-05-22 2023-12-15 北京字节跳动网络技术有限公司 使用上采样的基于矩阵的帧内预测
JP2022535726A (ja) 2019-05-31 2022-08-10 北京字節跳動網絡技術有限公司 行列ベースイントラ予測における制約されたアップサンプリングプロセス
WO2020244610A1 (en) 2019-06-05 2020-12-10 Beijing Bytedance Network Technology Co., Ltd. Context determination for matrix-based intra prediction
WO2020256492A1 (ko) * 2019-06-19 2020-12-24 엘지전자 주식회사 비디오/영상 코딩 시스템에서 중복 시그널링 제거 방법 및 장치
WO2020256524A1 (ko) * 2019-06-20 2020-12-24 한국전자통신연구원 블록 형태에 기반한 예측을 사용하는 영상 부호화 및 영상 복호화를 위한 방법 및 장치
JP7303366B2 (ja) 2019-07-08 2023-07-04 エルジー エレクトロニクス インコーポレイティド スケーリングリストデータに基づく画像またはビデオコーディング
WO2021006631A1 (ko) * 2019-07-08 2021-01-14 엘지전자 주식회사 스케일링 리스트 데이터의 시그널링 기반 비디오 또는 영상 코딩
WO2021006698A1 (ko) 2019-07-10 2021-01-14 엘지전자 주식회사 영상 코딩 시스템에서 영상 코딩 방법 및 장치
WO2021006696A1 (ko) * 2019-07-11 2021-01-14 엘지전자 주식회사 변환 스킵된 잔차 신호에 대한 문맥 모델을 유도하는 영상 부호화/복호화 방법, 장치 및 비트스트림을 전송하는 방법
WO2021034160A1 (ko) * 2019-08-22 2021-02-25 엘지전자 주식회사 매트릭스 인트라 예측 기반 영상 코딩 장치 및 방법
CN114586354A (zh) * 2019-08-22 2022-06-03 Lg 电子株式会社 基于矩阵的帧内预测设备和方法
WO2021083188A1 (en) 2019-10-28 2021-05-06 Beijing Bytedance Network Technology Co., Ltd. Syntax signaling and parsing based on colour component
US11812019B2 (en) 2020-02-05 2023-11-07 Lg Electronics Inc. Image decoding method for residual coding in image coding system, and apparatus therefor
CN115336274B (zh) * 2020-02-05 2023-05-26 Lg电子株式会社 与残差编码关联的图像解码方法以及用于其的装置
WO2021201515A1 (ko) * 2020-04-02 2021-10-07 엘지전자 주식회사 Hls를 시그널링하는 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 컴퓨터 판독 가능한 기록 매체
WO2024193551A1 (en) * 2023-03-20 2024-09-26 FG Innovation Company Limited Device and method for decoding video data

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120100836A (ko) * 2011-03-03 2012-09-12 한국전자통신연구원 변환 계수 스캔 방법 및 그 장치
US20130034158A1 (en) * 2010-04-13 2013-02-07 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Apparatus for intra predicting a block, apparatus for reconstructing a block of a picture, apparatus for reconstructing a block of a picture by intra prediction
KR20130126928A (ko) * 2010-12-08 2013-11-21 엘지전자 주식회사 인트라 예측 방법과 이를 이용한 부호화 장치 및 복호화 장치
KR101354151B1 (ko) * 2006-08-24 2014-01-28 삼성전자주식회사 영상 변환 방법 및 장치, 역변환 방법 및 장치
KR20150038688A (ko) * 2011-04-25 2015-04-08 엘지전자 주식회사 인트라 예측 방법과 이를 이용한 부호화기 및 복호화기

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130188698A1 (en) * 2012-01-19 2013-07-25 Qualcomm Incorporated Coefficient level coding
US11032550B2 (en) * 2016-02-25 2021-06-08 Mediatek Inc. Method and apparatus of video coding

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101354151B1 (ko) * 2006-08-24 2014-01-28 삼성전자주식회사 영상 변환 방법 및 장치, 역변환 방법 및 장치
US20130034158A1 (en) * 2010-04-13 2013-02-07 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Apparatus for intra predicting a block, apparatus for reconstructing a block of a picture, apparatus for reconstructing a block of a picture by intra prediction
KR20130126928A (ko) * 2010-12-08 2013-11-21 엘지전자 주식회사 인트라 예측 방법과 이를 이용한 부호화 장치 및 복호화 장치
KR20120100836A (ko) * 2011-03-03 2012-09-12 한국전자통신연구원 변환 계수 스캔 방법 및 그 장치
KR20150038688A (ko) * 2011-04-25 2015-04-08 엘지전자 주식회사 인트라 예측 방법과 이를 이용한 부호화기 및 복호화기

Cited By (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US12041267B2 (en) 2018-10-22 2024-07-16 Beijing Bytedance Network Technology Co., Ltd. Multi-iteration motion vector refinement
US11843725B2 (en) 2018-11-12 2023-12-12 Beijing Bytedance Network Technology Co., Ltd Using combined inter intra prediction in video processing
US11956449B2 (en) 2018-11-12 2024-04-09 Beijing Bytedance Network Technology Co., Ltd. Simplification of combined inter-intra prediction
CN111630858B (zh) * 2018-11-16 2024-03-29 北京字节跳动网络技术有限公司 组合帧间帧内预测模式中的权重
CN111630858A (zh) * 2018-11-16 2020-09-04 北京字节跳动网络技术有限公司 组合帧间帧内预测模式中的权重
US12069239B2 (en) 2018-11-22 2024-08-20 Beijing Bytedance Network Technology Co., Ltd Sub-block based motion candidate selection and signaling
US11431964B2 (en) 2018-11-22 2022-08-30 Beijing Bytedance Network Technology Co., Ltd. Coordination method for sub-block based inter prediction
US11671587B2 (en) 2018-11-22 2023-06-06 Beijing Bytedance Network Technology Co., Ltd Coordination method for sub-block based inter prediction
US11140386B2 (en) 2018-11-22 2021-10-05 Beijing Bytedance Network Technology Co., Ltd. Coordination method for sub-block based inter prediction
US11632541B2 (en) 2018-11-22 2023-04-18 Beijing Bytedance Network Technology Co., Ltd. Using collocated blocks in sub-block temporal motion vector prediction mode
US12022132B2 (en) 2018-12-17 2024-06-25 Samsung Electronics Co., Ltd. Video signal processing method and device for signaling prediction mode
US11570483B2 (en) 2018-12-17 2023-01-31 Wilus Institute Of Standards And Technology Inc. Video signal processing method and device for signaling prediction mode
WO2020130600A1 (ko) * 2018-12-17 2020-06-25 주식회사 윌러스표준기술연구소 예측 모드를 시그널링하는 비디오 신호 처리 방법 및 장치
US11805268B2 (en) 2018-12-22 2023-10-31 Beijing Bytedance Network Technology Co., Ltd Two step cross-component prediction mode
WO2020125796A1 (en) * 2018-12-22 2020-06-25 Beijing Bytedance Network Technology Co., Ltd. Two step cross-component prediction mode based on multiple parameter
US11570458B2 (en) 2018-12-22 2023-01-31 Beijing Bytedance Network Technology Co., Ltd. Indication of two-step cross-component prediction mode
WO2020156536A1 (en) * 2019-02-01 2020-08-06 Beijing Bytedance Network Technology Co., Ltd. Harmonization between different video process mode
CN113302920A (zh) * 2019-02-01 2021-08-24 北京字节跳动网络技术有限公司 组合帧间帧内预测的扩展应用
US11930165B2 (en) 2019-03-06 2024-03-12 Beijing Bytedance Network Technology Co., Ltd Size dependent inter coding
US11425406B2 (en) 2019-03-21 2022-08-23 Beijing Bytedance Network Technology Co., Ltd. Weighting processing of combined intra-inter prediction
US11330257B2 (en) 2019-03-21 2022-05-10 Beijing Bytedance Network Technology Co., Ltd. Extended application of combined intra-inter prediction
US11876993B2 (en) 2019-03-21 2024-01-16 Beijing Bytedance Network Technology Co., Ltd Signaling of combined intra-inter prediction
WO2020187329A1 (en) * 2019-03-21 2020-09-24 Beijing Bytedance Network Technology Co., Ltd. Improved weighting processing of combined intra-inter prediction
RU2811779C1 (ru) * 2019-03-22 2024-01-17 ЭлДжи ЭЛЕКТРОНИКС ИНК. Способ и устройство декодирования изображения и способ и устройство кодирования изображения в системе кодирования изображения
RU2826258C1 (ru) * 2019-03-22 2024-09-09 ЭлДжи ЭЛЕКТРОНИКС ИНК. Способ и устройство декодирования изображения и способ и устройство кодирования изображения в системе кодирования изображения
RU2804481C2 (ru) * 2019-03-22 2023-10-02 ЭлДжи ЭЛЕКТРОНИКС ИНК. Способ и устройство декодирования изображения и способ и устройство кодирования изображения в системе кодирования изображения
US11490098B2 (en) 2019-06-09 2022-11-01 Beijing Bytedance Network Technology Co., Ltd. Significant coefficient signaling in video coding
US11863766B2 (en) 2019-06-09 2024-01-02 Beijing Bytedance Network Techonogy Co., Ltd. Significant coefficient signaling in video coding
WO2020248954A1 (en) * 2019-06-09 2020-12-17 Beijing Bytedance Network Technology Co., Ltd. Significant coefficient signaling in video coding
CN114009016A (zh) * 2019-06-23 2022-02-01 Lg 电子株式会社 从合并数据语法移除冗余语法的方法和装置
US11871025B2 (en) 2019-08-13 2024-01-09 Beijing Bytedance Network Technology Co., Ltd Motion precision in sub-block based inter prediction
CN114556949A (zh) * 2019-08-22 2022-05-27 Lg电子株式会社 帧内预测装置和方法
US11695946B2 (en) 2019-09-22 2023-07-04 Beijing Bytedance Network Technology Co., Ltd Reference picture resampling in video processing
WO2021052506A1 (en) * 2019-09-22 2021-03-25 Beijing Bytedance Network Technology Co., Ltd. Transform unit based combined inter intra prediction
CN113875235A (zh) * 2019-09-23 2021-12-31 韩国电子通信研究院 图像编码/解码方法和装置及存储比特流的记录介质
US11882304B2 (en) 2019-09-24 2024-01-23 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Image coding/decoding method, coder, decoder, and storage medium
RU2767188C1 (ru) * 2019-09-24 2022-03-16 Гуандун Оппо Мобайл Телекоммьюникейшнз Корп., Лтд. Способ кодирования/декодирования изображений, кодер, декодер и носитель данных
US11159814B2 (en) 2019-09-24 2021-10-26 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Image coding/decoding method, coder, decoder, and storage medium
WO2021056223A1 (zh) * 2019-09-24 2021-04-01 Oppo广东移动通信有限公司 图像编解码方法、编码器、解码器以及存储介质

Also Published As

Publication number Publication date
US10812807B2 (en) 2020-10-20
KR20180136555A (ko) 2018-12-24
US20190306511A1 (en) 2019-10-03

Similar Documents

Publication Publication Date Title
WO2017209328A1 (ko) 영상 코딩 시스템에서 인트라 예측 방법 및 장치
WO2019117636A1 (ko) 비분리 2차 변환에 기반한 영상 코딩 방법 및 그 장치
WO2018221817A1 (ko) 영상 코딩 시스템에서 인트라 예측에 따른 영상 디코딩 방법 및 장치
WO2018174593A1 (ko) 적응적인 화소 분류 기준에 따른 인루프 필터링 방법
WO2017065357A1 (ko) 영상 코딩 시스템에서 예측 향상을 위한 필터링 방법 및 장치
WO2019117634A1 (ko) 2차 변환에 기반한 영상 코딩 방법 및 그 장치
WO2019164031A1 (ko) 영상 코딩 시스템에서 블록 분할 구조에 따른 영상 디코딩 방법 및 장치
WO2020009556A1 (ko) 변환에 기반한 영상 코딩 방법 및 그 장치
WO2020218793A1 (ko) Bdpcm에 기반한 영상 코딩 방법 및 그 장치
WO2017164441A1 (ko) 비디오 코딩 시스템에서 인터 예측 방법 및 장치
WO2019177429A1 (ko) 인트라 예측 기반 영상/비디오 코딩 방법 및 그 장치
WO2018008905A1 (ko) 비디오 신호 처리 방법 및 장치
WO2018236028A1 (ko) 인트라 예측 모드 기반 영상 처리 방법 및 이를 위한 장치
WO2019117639A1 (ko) 변환에 기반한 영상 코딩 방법 및 그 장치
WO2013157825A1 (ko) 영상 부호화/복호화 방법 및 장치
WO2017082443A1 (ko) 영상 코딩 시스템에서 임계값을 이용한 적응적 영상 예측 방법 및 장치
WO2016159610A1 (ko) 비디오 신호 처리 방법 및 장치
WO2018044089A1 (ko) 비디오 신호 처리 방법 및 장치
WO2020116961A1 (ko) 이차 변환에 기반한 영상 코딩 방법 및 그 장치
WO2021040400A1 (ko) 팔레트 모드 기반 영상 또는 비디오 코딩
WO2016064123A1 (ko) 비디오 신호 처리 방법 및 장치
WO2021040319A1 (ko) 비디오/영상 코딩 시스템에서 라이스 파라미터 도출 방법 및 장치
WO2020130661A1 (ko) 이차 변환에 기반한 영상 코딩 방법 및 그 장치
WO2019182329A1 (ko) 영상 복호화 방법/장치, 영상 부호화 방법/장치 및 비트스트림을 저장한 기록 매체
WO2020167097A1 (ko) 영상 코딩 시스템에서 인터 예측을 위한 인터 예측 타입 도출

Legal Events

Date Code Title Description
ENP Entry into the national phase

Ref document number: 20187035034

Country of ref document: KR

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16904127

Country of ref document: EP

Kind code of ref document: A1

122 Ep: pct application non-entry in european phase

Ref document number: 16904127

Country of ref document: EP

Kind code of ref document: A1