WO2020013583A1 - 영상 코딩 시스템에서 인트라 예측에 따른 영상 디코딩 방법 및 장치 - Google Patents

영상 코딩 시스템에서 인트라 예측에 따른 영상 디코딩 방법 및 장치 Download PDF

Info

Publication number
WO2020013583A1
WO2020013583A1 PCT/KR2019/008441 KR2019008441W WO2020013583A1 WO 2020013583 A1 WO2020013583 A1 WO 2020013583A1 KR 2019008441 W KR2019008441 W KR 2019008441W WO 2020013583 A1 WO2020013583 A1 WO 2020013583A1
Authority
WO
WIPO (PCT)
Prior art keywords
intra prediction
sample
current block
prediction mode
pdpc
Prior art date
Application number
PCT/KR2019/008441
Other languages
English (en)
French (fr)
Inventor
최장원
유선미
이령
최정아
허진
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Publication of WO2020013583A1 publication Critical patent/WO2020013583A1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/11—Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques

Definitions

  • the present invention relates to an image coding technology, and more particularly, to an image coding method and apparatus according to intra prediction in an image coding system.
  • the demand for high resolution and high quality images such as high definition (HD) images and ultra high definition (UHD) images is increasing in various fields.
  • the higher the resolution and the higher quality of the image data the more information or bit rate is transmitted than the existing image data. Therefore, the image data can be transmitted by using a medium such as a conventional wired / wireless broadband line or by using a conventional storage medium. In the case of storage, the transmission cost and the storage cost are increased.
  • a high efficiency image compression technique is required to effectively transmit, store, and reproduce high resolution, high quality image information.
  • An object of the present invention is to provide a method and apparatus for improving image coding efficiency.
  • Another object of the present invention is to provide an intra prediction method and apparatus for performing based on at least one neighboring sample of a current block.
  • Another technical problem of the present invention is to provide a method and apparatus for increasing the efficiency of a linear interpolation prediction (LIP).
  • LIP linear interpolation prediction
  • Another technical problem of the present invention is to provide a method and apparatus for increasing efficiency of Position Dependent Inta Prediction Combination (PDPC).
  • PDPC Position Dependent Inta Prediction Combination
  • Another object of the present invention is to provide a method and apparatus for determining an intra prediction method based on at least one of a decision on whether to apply LIP and a decision on whether to apply PDPC.
  • Another object of the present invention is to provide a method and apparatus for efficiently determining an intra prediction method to increase the efficiency of intra prediction.
  • an image decoding method performed by a decoding apparatus.
  • the method includes deriving an intra prediction mode for a current block, deriving a prediction sample of the current block by performing a linear intra prediction (LIP) on the current block based on the intra prediction mode, and Determining whether to perform a position dependent intra prediction combination (PDPC); if it is determined that the PDPC is performed, performing the PDPC on the prediction sample to derive a modified prediction sample; and And generating a reconstructed picture based on the result.
  • LIP linear intra prediction
  • PDPC position dependent intra prediction combination
  • a decoding apparatus for performing image decoding.
  • the decoding apparatus derives an intra prediction mode for a current block, performs a linear intra prediction (LIP) on the current block based on the intra prediction mode, and derives a prediction sample of the current block, and performs a PDPC of the current block. (Position dependent intra prediction combination) and if it is determined that the PDPC is performed, based on the prediction unit and the modified prediction sample to derive a modified prediction sample by performing the PDPC on the prediction sample And an adder for generating a reconstructed picture.
  • LIP linear intra prediction
  • a video encoding method performed by an encoding apparatus may further include determining an intra prediction mode for a current block, performing a linear intra prediction (LIP) on the current block based on the intra prediction mode, and deriving a prediction sample of the current block; Determining whether to perform a position dependent intra prediction combination (PDPC); if it is determined that the PDPC is performed, deriving a modified prediction sample by performing the PDPC on the prediction sample; and intra prediction on the current block And encoding the image information including the mode information.
  • LIP linear intra prediction
  • PDPC position dependent intra prediction combination
  • an encoding apparatus for performing picture encoding.
  • the encoding apparatus determines an intra prediction mode for the current block, performs a linear intra prediction (LIP) on the current block based on the intra prediction mode, derives a prediction sample of the current block, and It is determined whether a position dependent intra prediction combination (PDPC) is performed, and when it is determined that the PDPC is performed, a prediction unit for performing the PDPC on the prediction sample to derive a modified prediction sample, and an intra for the current block.
  • LIP linear intra prediction
  • PDPC position dependent intra prediction combination
  • an entropy encoding unit for encoding image information including prediction mode information.
  • the overall video / video compression efficiency can be improved.
  • the efficiency of intra prediction can be improved.
  • PDPC may be post-processed on a predicted sample derived by performing LIP, thereby improving intra prediction accuracy and improving overall coding efficiency.
  • intra prediction may be performed by adaptively applying LIP and / or PDPC based on specific conditions, thereby improving intra prediction efficiency and improving overall coding efficiency.
  • FIG. 1 is a diagram schematically illustrating a configuration of a video encoding apparatus to which the present invention may be applied.
  • FIG. 2 shows an example of an encoding apparatus for performing an image encoding method.
  • FIG. 3 is a diagram schematically illustrating a configuration of a video decoding apparatus to which the present invention may be applied.
  • FIG. 4 shows an example of a decoding apparatus for performing an image decoding method.
  • FIG. 5 shows an example of an intra prediction based image decoding method.
  • FIG. 7 is a diagram illustrating an example of intra prediction modes.
  • FIG. 9 shows an example of an encoding method using intra prediction.
  • FIG. 10 shows an example of a decoding method using intra prediction.
  • FIG. 11 shows an example of an intra prediction based image encoding method.
  • FIG. 12 shows an example of an intra prediction based image decoding method.
  • FIG. 13 illustrates an LIP according to an embodiment.
  • FIG. 14A and 14B illustrate LIPs according to another exemplary embodiment.
  • FIG. 15 is a diagram for explaining an LIP according to another embodiment.
  • FIG. 15 is a diagram for explaining an LIP according to another embodiment.
  • 16 is a flowchart illustrating a method of determining an optimal prediction mode in intra prediction encoding, according to an embodiment.
  • 17A and 17B illustrate an example of applying PDPC weights when the intra prediction mode is the DC mode.
  • 19 shows an example of an intra prediction method combining the LIP and the PDPC.
  • FIG. 20 shows another example of an intra prediction method combining the LIP and the PDPC.
  • FIG. 21 schematically illustrates an image encoding method by an encoding apparatus according to the present invention.
  • FIG. 22 schematically illustrates an encoding apparatus for performing an image encoding method according to the present invention.
  • FIG. 24 schematically illustrates a decoding apparatus for performing an image decoding method according to the present invention.
  • 25 exemplarily shows a structure diagram of a content streaming system to which the present invention is applied.
  • each configuration in the drawings described in the present invention are shown independently for the convenience of description of the different characteristic functions, it does not mean that each configuration is implemented by separate hardware or separate software.
  • two or more of each configuration may be combined to form one configuration, or one configuration may be divided into a plurality of configurations.
  • Embodiments in which each configuration is integrated and / or separated are also included in the scope of the present invention without departing from the spirit of the present invention.
  • the present invention relates to video / image coding.
  • the methods / embodiments disclosed in the present invention may include a versatile video coding (VVC) standard, an essential video coding (ECC) standard, an AOMedia Video 1 (AV1) standard, a second generation of audio video coding standard (AVS2), or next-generation video.
  • VVC versatile video coding
  • ECC essential video coding
  • AV1 AOMedia Video 1
  • AVS2 second generation of audio video coding standard
  • next-generation video e.g., H.267, H.268, etc.
  • a picture generally refers to a unit representing one image of a specific time zone
  • a slice is a unit constituting a part of a picture in coding.
  • One picture may be composed of a plurality of slices, and if necessary, the picture and the slice may be mixed with each other.
  • a pixel or a pel may refer to a minimum unit constituting one picture (or image). Also, 'sample' may be used as a term corresponding to a pixel.
  • a sample may generally represent a pixel or a value of a pixel, and may only represent pixel / pixel values of the luma component, or only pixel / pixel values of the chroma component.
  • a unit represents the basic unit of image processing.
  • the unit may include at least one of a specific region of the picture and information related to the region.
  • the unit may be used interchangeably with terms such as block or area in some cases.
  • an M ⁇ N block may represent a set of samples or transform coefficients composed of M columns and N rows.
  • FIG. 1 is a diagram schematically illustrating a configuration of a video encoding apparatus to which the present invention may be applied.
  • the video encoding apparatus 100 may include a picture splitter 105, a predictor 110, a residual processor 120, an entropy encoder 130, an adder 140, and a filter 150. ) And memory 160.
  • the residual processing unit 120 may include a subtraction unit 121, a conversion unit 122, a quantization unit 123, a reordering unit 124, an inverse quantization unit 125, and an inverse conversion unit 126.
  • the picture divider 105 may divide the input picture into at least one processing unit.
  • the processing unit may be called a coding unit (CU).
  • the coding unit may be recursively split from the largest coding unit (LCU) according to a quad-tree binary-tree (QTBT) structure.
  • LCU largest coding unit
  • QTBT quad-tree binary-tree
  • one coding unit may be divided into a plurality of coding units of a deeper depth based on a quad tree structure and / or a binary tree structure.
  • the quad tree structure may be applied first and the binary tree structure may be applied later.
  • the binary tree structure may be applied first.
  • the coding procedure according to the present invention may be performed based on the final coding unit that is no longer split.
  • the maximum coding unit may be used as the final coding unit immediately based on coding efficiency according to the image characteristic, or if necessary, the coding unit is recursively divided into coding units of lower depths and optimized.
  • a coding unit of size may be used as the final coding unit.
  • the coding procedure may include a procedure of prediction, transform, and reconstruction, which will be described later.
  • the processing unit may include a coding unit (CU) prediction unit (PU) or a transform unit (TU).
  • the coding unit may be split from the largest coding unit (LCU) into coding units of deeper depths along the quad tree structure.
  • LCU largest coding unit
  • the maximum coding unit may be used as the final coding unit immediately based on coding efficiency according to the image characteristic, or if necessary, the coding unit is recursively divided into coding units of lower depths and optimized.
  • a coding unit of size may be used as the final coding unit. If a smallest coding unit (SCU) is set, the coding unit may not be split into smaller coding units than the minimum coding unit.
  • the final coding unit refers to a coding unit that is the basis of partitioning or partitioning into a prediction unit or a transform unit.
  • the prediction unit is a unit partitioning from the coding unit and may be a unit of sample prediction. In this case, the prediction unit may be divided into sub blocks.
  • the transform unit may be divided along the quad tree structure from the coding unit, and may be a unit for deriving a transform coefficient and / or a unit for deriving a residual signal from the transform coefficient.
  • a coding unit may be called a coding block (CB)
  • a prediction unit is a prediction block (PB)
  • a transform unit may be called a transform block (TB).
  • a prediction block or prediction unit may mean a specific area in the form of a block within a picture, and may include an array of prediction samples.
  • a transform block or a transform unit may mean a specific area in a block form within a picture, and may include an array of transform coefficients or residual samples.
  • the prediction unit 110 may perform a prediction on a block to be processed (hereinafter, referred to as a current block) and generate a predicted block including prediction samples of the current block.
  • the unit of prediction performed by the prediction unit 110 may be a coding block, a transform block, or a prediction block.
  • the prediction unit 110 may determine whether intra prediction or inter prediction is applied to the current block. As an example, the prediction unit 110 may determine whether intra prediction or inter prediction is applied on a CU basis.
  • the prediction unit 110 may derive a prediction sample for the current block based on reference samples outside the current block in the picture to which the current block belongs (hereinafter, referred to as the current picture). In this case, the prediction unit 110 may (i) derive the prediction sample based on the average or interpolation of neighboring reference samples of the current block, and (ii) the neighbor reference of the current block.
  • the prediction sample may be derived based on a reference sample present in a specific (prediction) direction with respect to the prediction sample among the samples. In case of (i), it may be called non-directional mode or non-angle mode, and in case of (ii), it may be called directional mode or angular mode.
  • the prediction mode may have, for example, 33 directional prediction modes and at least two non-directional modes.
  • the non-directional mode may include a DC prediction mode and a planner mode (Planar mode).
  • the prediction unit 110 may determine the prediction mode applied to the current block by using the prediction mode applied to the neighboring block.
  • the prediction unit 110 may derive the prediction sample for the current block based on the sample specified by the motion vector on the reference picture.
  • the prediction unit 110 may apply one of a skip mode, a merge mode, and a motion vector prediction (MVP) mode to derive a prediction sample for the current block.
  • the prediction unit 110 may use the motion information of the neighboring block as the motion information of the current block.
  • the skip mode unlike the merge mode, the difference (residual) between the prediction sample and the original sample is not transmitted.
  • the MVP mode the motion vector of the current block may be derived using the motion vector of the neighboring block as a motion vector predictor.
  • the neighboring block may include a spatial neighboring block existing in the current picture and a temporal neighboring block present in the reference picture.
  • a reference picture including the temporal neighboring block may be called a collocated picture (colPic).
  • the motion information may include a motion vector and a reference picture index.
  • Information such as prediction mode information and motion information may be encoded (entropy) and output in the form of a bitstream.
  • the highest picture on the reference picture list may be used as the reference picture.
  • Reference pictures included in a reference picture list may be sorted based on a difference in a picture order count (POC) between a current picture and a corresponding reference picture.
  • POC picture order count
  • the subtraction unit 121 generates a residual sample which is a difference between the original sample and the prediction sample.
  • residual samples may not be generated as described above.
  • the transform unit 122 generates transform coefficients by transforming the residual sample in units of transform blocks.
  • the transform unit 122 may perform the transform according to the size of the transform block and the prediction mode applied to the coding block or the prediction block that spatially overlaps the transform block. For example, if intra prediction is applied to the coding block or the prediction block that overlaps the transform block, and the transform block is a 4 ⁇ 4 residual array, the residual sample is configured to perform a discrete sine transform (DST) transform kernel.
  • the residual sample may be transformed using a discrete cosine transform (DCT) transform kernel.
  • DST discrete sine transform
  • DCT discrete cosine transform
  • the quantization unit 123 may quantize the transform coefficients to generate quantized transform coefficients.
  • the reordering unit 124 rearranges the quantized transform coefficients.
  • the reordering unit 124 may reorder the quantized transform coefficients in the form of a block into a one-dimensional vector form through a coefficient scanning method. Although the reordering unit 124 has been described in a separate configuration, the reordering unit 124 may be part of the quantization unit 123.
  • the entropy encoding unit 130 may perform entropy encoding on the quantized transform coefficients.
  • Entropy encoding may include, for example, encoding methods such as exponential Golomb, context-adaptive variable length coding (CAVLC), context-adaptive binary arithmetic coding (CABAC), and the like.
  • the entropy encoding unit 130 may encode information necessary for video reconstruction other than the quantized transform coefficient (for example, a value of a syntax element) together or separately. Entropy encoded information may be transmitted or stored in units of network abstraction layer (NAL) units in the form of bitstreams.
  • NAL network abstraction layer
  • the inverse quantization unit 125 inverse quantizes the quantized values (quantized transform coefficients) in the quantization unit 123, and the inverse transformer 126 inverse transforms the inverse quantized values in the inverse quantization unit 125 to obtain a residual sample.
  • the adder 140 reconstructs the picture by combining the residual sample and the predictive sample.
  • the residual sample and the predictive sample may be added in units of blocks to generate a reconstructed block.
  • the adder 140 may be part of the predictor 110.
  • the adder 140 may be called a restoration unit or a restoration block generation unit.
  • the filter unit 150 may apply a deblocking filter and / or a sample adaptive offset to the reconstructed picture. Through deblocking filtering and / or sample adaptive offset, the artifacts of the block boundaries in the reconstructed picture or the distortion in the quantization process can be corrected.
  • the sample adaptive offset may be applied on a sample basis and may be applied after the process of deblocking filtering is completed.
  • the filter unit 150 may apply an adaptive loop filter (ALF) to the reconstructed picture. ALF may be applied to the reconstructed picture after the deblocking filter and / or sample adaptive offset is applied.
  • ALF adaptive loop filter
  • the memory 160 may store reconstructed pictures (decoded pictures) or information necessary for encoding / decoding.
  • the reconstructed picture may be a reconstructed picture after the filtering process is completed by the filter unit 150.
  • the stored reconstructed picture may be used as a reference picture for (inter) prediction of another picture.
  • the memory 160 may store (reference) pictures used for inter prediction.
  • pictures used for inter prediction may be designated by a reference picture set or a reference picture list.
  • the video encoding apparatus includes a prediction unit that performs intra / inter prediction, a transformer that performs a transform, a quantizer that performs quantization, and an entropy that performs entropy encoding. It may include an encoding unit. For example, a prediction block of the current block may be generated through intra / inter prediction, and a residual block of the current block may be generated by subtracting an input block of the current block and the prediction block. Subsequently, a coefficient block, that is, transform coefficients of the current block may be generated through the transform on the residual block. The transform coefficients may be quantized and entropy encoded and stored in the bitstream.
  • FIG. 3 is a diagram schematically illustrating a configuration of a video decoding apparatus to which the present invention may be applied.
  • the video decoding apparatus 300 includes an entropy decoding unit 310, a residual processor 320, a predictor 330, an adder 340, a filter 350, and a memory 360. It may include.
  • the residual processor 320 may include a rearrangement unit 321, an inverse quantization unit 322, and an inverse transform unit 323.
  • the video decoding apparatus 300 may reconstruct the video in response to a process in which the video information is processed in the video encoding apparatus.
  • the video decoding apparatus 300 may perform video decoding using a processing unit applied in the video encoding apparatus.
  • the processing unit block of video decoding may be, for example, a coding unit, and in another example, a coding unit, a prediction unit, or a transform unit.
  • the coding unit may be split along the quad tree structure and / or binary tree structure from the largest coding unit.
  • the prediction unit and the transform unit may be further used in some cases, in which case the prediction block is a block derived or partitioned from the coding unit and may be a unit of sample prediction. At this point, the prediction unit may be divided into subblocks.
  • the transform unit may be divided along the quad tree structure from the coding unit, and may be a unit for deriving a transform coefficient or a unit for deriving a residual signal from the transform coefficient.
  • the entropy decoding unit 310 may parse the bitstream and output information necessary for video reconstruction or picture reconstruction. For example, the entropy decoding unit 310 decodes the information in the bitstream based on a coding method such as exponential Golomb coding, CAVLC, or CABAC, quantized values of syntax elements required for video reconstruction, and residual coefficients. Can be output.
  • a coding method such as exponential Golomb coding, CAVLC, or CABAC, quantized values of syntax elements required for video reconstruction, and residual coefficients. Can be output.
  • the CABAC entropy decoding method receives a bin corresponding to each syntax element in a bitstream, and decodes syntax element information and decoding information of neighboring and decoding target blocks or information of symbols / bins decoded in a previous step.
  • the context model may be determined using the context model, the probability of occurrence of a bin may be predicted according to the determined context model, and arithmetic decoding of the bin may be performed to generate a symbol corresponding to the value of each syntax element. have.
  • the CABAC entropy decoding method may update the context model by using the information of the decoded symbol / bin for the context model of the next symbol / bean after determining the context model.
  • the information related to the prediction among the information decoded by the entropy decoding unit 310 is provided to the prediction unit 330, and the residual value on which the entropy decoding has been performed by the entropy decoding unit 310, that is, the quantized transform coefficient, is used as a reordering unit ( 321 may be input.
  • the reordering unit 321 may rearrange the quantized transform coefficients into a two-dimensional block.
  • the reordering unit 321 may perform reordering in response to coefficient scanning performed by the encoding apparatus. Although the reordering unit 321 has been described in a separate configuration, the reordering unit 321 may be part of the inverse quantization unit 322.
  • the inverse quantization unit 322 may output the transform coefficients by inversely quantizing the quantized transform coefficients based on the (inverse) quantization parameter.
  • information for deriving a quantization parameter may be signaled from the encoding apparatus.
  • the inverse transformer 323 may induce residual samples by inversely transforming the transform coefficients.
  • the prediction unit 330 may perform prediction on the current block and generate a predicted block including prediction samples for the current block.
  • the unit of prediction performed by the prediction unit 330 may be a coding block, a transform block, or a prediction block.
  • the prediction unit 330 may determine whether to apply intra prediction or inter prediction based on the information about the prediction.
  • a unit for determining which of intra prediction and inter prediction is to be applied and a unit for generating a prediction sample may be different.
  • the unit for generating a prediction sample in inter prediction and intra prediction may also be different.
  • whether to apply inter prediction or intra prediction may be determined in units of CUs.
  • a prediction mode may be determined and a prediction sample may be generated in PU units
  • intra prediction a prediction mode may be determined in PU units and a prediction sample may be generated in TU units.
  • the prediction unit 330 may derive the prediction sample for the current block based on the neighbor reference samples in the current picture.
  • the prediction unit 330 may derive the prediction sample for the current block by applying the directional mode or the non-directional mode based on the neighbor reference samples of the current block.
  • the prediction mode to be applied to the current block may be determined using the intra prediction mode of the neighboring block.
  • the prediction unit 330 may derive the prediction sample for the current block based on the sample specified on the reference picture by the motion vector on the reference picture.
  • the prediction unit 330 may derive the prediction sample for the current block by applying any one of a skip mode, a merge mode, and an MVP mode.
  • motion information required for inter prediction of the current block provided by the video encoding apparatus for example, information about a motion vector, a reference picture index, and the like may be obtained or derived based on the prediction information.
  • the motion information of the neighboring block may be used as the motion information of the current block.
  • the neighboring block may include a spatial neighboring block and a temporal neighboring block.
  • the predictor 330 may construct a merge candidate list using motion information of available neighboring blocks, and may use information indicated by the merge index on the merge candidate list as a motion vector of the current block.
  • the merge index may be signaled from the encoding device.
  • the motion information may include a motion vector and a reference picture. When the motion information of the temporal neighboring block is used in the skip mode and the merge mode, the highest picture on the reference picture list may be used as the reference picture.
  • the difference (residual) between the prediction sample and the original sample is not transmitted.
  • the motion vector of the current block may be derived using the motion vector of the neighboring block as a motion vector predictor.
  • the neighboring block may include a spatial neighboring block and a temporal neighboring block.
  • a merge candidate list may be generated by using a motion vector of a reconstructed spatial neighboring block and / or a motion vector corresponding to a Col block, which is a temporal neighboring block.
  • the motion vector of the candidate block selected from the merge candidate list is used as the motion vector of the current block.
  • the information about the prediction may include a merge index indicating a candidate block having an optimal motion vector selected from candidate blocks included in the merge candidate list.
  • the prediction unit 330 may derive the motion vector of the current block by using the merge index.
  • a motion vector predictor candidate list may be generated using a motion vector of a reconstructed spatial neighboring block and / or a motion vector corresponding to a Col block which is a temporal neighboring block.
  • the prediction information may include a prediction motion vector index indicating an optimal motion vector selected from the motion vector candidates included in the list.
  • the prediction unit 330 may select the predicted motion vector of the current block from the motion vector candidates included in the motion vector candidate list using the motion vector index.
  • the prediction unit of the encoding apparatus may obtain a motion vector difference (MVD) between the motion vector of the current block and the motion vector predictor, and may encode the output vector in a bitstream form. That is, MVD may be obtained by subtracting the motion vector predictor from the motion vector of the current block.
  • the prediction unit 330 may obtain a motion vector difference included in the information about the prediction, and derive the motion vector of the current block by adding the motion vector difference and the motion vector predictor.
  • the prediction unit may also obtain or derive a reference picture index or the like indicating a reference picture from the information about the prediction.
  • the adder 340 may reconstruct the current block or the current picture by adding the residual sample and the predictive sample.
  • the adder 340 may reconstruct the current picture by adding the residual sample and the predictive sample in units of blocks. Since the residual is not transmitted when the skip mode is applied, the prediction sample may be a reconstruction sample.
  • the adder 340 has been described in a separate configuration, the adder 340 may be part of the predictor 330. On the other hand, the adder 340 may be called a restoration unit or a restoration block generation unit.
  • the filter unit 350 may apply the deblocking filtering sample adaptive offset, and / or ALF to the reconstructed picture.
  • the sample adaptive offset may be applied in units of samples and may be applied after deblocking filtering.
  • ALF may be applied after deblocking filtering and / or sample adaptive offset.
  • the memory 360 may store reconstructed pictures (decoded pictures) or information necessary for decoding.
  • the reconstructed picture may be a reconstructed picture after the filtering process is completed by the filter 350.
  • the memory 360 may store pictures used for inter prediction.
  • pictures used for inter prediction may be designated by a reference picture set or a reference picture list.
  • the reconstructed picture can be used as a reference picture for another picture.
  • the memory 360 may output the reconstructed picture in the output order.
  • the decoding apparatus may include an entropy decoding unit, an inverse quantization unit, an inverse transform unit, and a prediction unit that performs an intra / inter prediction process.
  • the reverse process of the encoding method may be performed in the decoding apparatus.
  • quantized transform coefficients may be obtained through entropy decoding on the bitstream
  • coefficient blocks of the current block that is, transform coefficients
  • the residual block of the current block may be derived through inverse transform on the transform coefficients
  • the prediction block of the current block derived through intra / inter prediction and the addition of the residual block may be added to the residual block.
  • a reconstructed block can be derived.
  • FIG. 5 shows an example of an intra prediction based image decoding method.
  • the decoding apparatus may derive the intra prediction mode of the current block from the image information (S500).
  • the decoding apparatus may derive a reference sample to be used for intra prediction using a neighboring block of the current block, that is, neighboring samples (S510).
  • the peripheral block of the current block of the left peripheral block, the upper peripheral block, the upper left peripheral block, the upper right peripheral block, the lower left peripheral block, the lower peripheral block, the right peripheral block and the lower right peripheral block of the current block It may include at least one.
  • reference samples of the lower neighboring block, the right neighboring block, and the right neighboring block are It can be derived from reference samples of neighboring blocks other than the lower peripheral block, the right peripheral block and the right lower peripheral block.
  • the decoding apparatus may generate a prediction sample of the current block based on the intra prediction mode and the reference sample (S520).
  • the decoding apparatus may generate a reconstructed picture by adding the prediction sample and the residual sample (S530).
  • the encoding apparatus includes an MPM list including Most Probable Mode (MPM) candidates of the current block based on the intra prediction mode of the neighboring block of the current block in order to efficiently code intra prediction mode related information in intra prediction based coding.
  • MPM Most Probable Mode
  • an index ie, an MPM index
  • Information indicating an intra prediction mode may be encoded.
  • the encoding apparatus may include remaining intra prediction mode information indicating one intra prediction mode among remaining intra prediction modes except for the MPM candidates. Can be encoded.
  • the neighboring blocks of the current block used to construct the MPM list of the current block may be represented as follows.
  • the peripheral blocks of the current block may include a left peripheral block, an upper peripheral block, a lower left peripheral block, a right upper peripheral block, and / or an upper left peripheral block.
  • the left neighboring block has a coordinate of (-1, H-1).
  • a block including a sample the upper peripheral block is a block including a sample of (W-1, -1) coordinates, the right upper peripheral block is a block including a sample of (W, -1) coordinates,
  • the lower left peripheral block may be a block including samples of (-1, H) coordinates, and the upper left peripheral block may be a block including samples of (-1, -1) coordinates.
  • the number of MPM candidates included in the MPM list may be determined based on the number of intra prediction modes. For example, as the number of intra prediction modes increases, the number of the MPM candidates may increase, but may not.
  • the MPM list may include three MPM candidates, five candidates, or six MPM candidates.
  • the MPM list may be configured as described below.
  • the encoding device / decoding device includes the intra prediction mode of the left neighboring block, the intra prediction mode of the upper neighboring block, the planner intra prediction mode, the intra prediction mode of the lower left neighboring block, the intra prediction mode of the right upper neighboring block, MPM candidates can be derived while searching in the order of intra prediction mode.
  • MPM candidates can be derived while searching in the order of intra prediction mode.
  • a position of a neighboring block to be searched and a search order of neighboring blocks may be arbitrarily determined.
  • the encoding device / decoding device adds an intra prediction mode of ⁇ 1 to each derived MPM candidate as an MPM candidate. can do.
  • the MPM candidate derivation process may be terminated.
  • the encoding device / decoding device overlaps the default intra prediction modes defined below with the sequentially derived MPM candidate. If it is confirmed and does not overlap, it can be added as the MPM candidate.
  • the default intra prediction modes can be derived as shown in the following table.
  • VER_IDX represents a vertical intra prediction mode
  • HOR_IDX represents a horizontal intra prediction mode
  • 2 represents an intra prediction mode 2 (that is, a lower left diagonal intra prediction mode)
  • DIA_IDX represents an upper left diagonal intra prediction mode.
  • the order of searching for the default intra prediction modes and the default intra prediction modes may be arbitrarily determined.
  • the duplication mode check process may be performed in all processes, and thus, the derived MPM candidates may be configured with different intra prediction modes.
  • the MPM list may include candidates derived based on an intra prediction mode, a derived intra prediction mode, and / or a default intra prediction mode of a neighboring block.
  • the encoding device / decoding device may search the neighboring blocks of the current block in a specific order and derive the intra prediction mode of the neighboring block as the MPM candidate in the derived order.
  • the neighboring blocks may include a left neighboring block, an upper neighboring block, a lower left neighboring block, a right upper neighboring block, and an upper left neighboring block, and the encoding device / decoding device is an intra prediction mode of the left neighboring block.
  • Intra prediction mode of the upper neighboring block may be derived and the MPM list of the current block may be constructed.
  • an MPM candidate may be derived based on an intra prediction mode derived as the MPM candidate. For example, when the intra prediction mode derived as the MPM candidate is N intra prediction mode, the encoding device / decoding device selects the N + 1 intra prediction mode and / or the N-1 intra prediction mode from the current block. Can be derived as an MPM candidate.
  • the intra prediction mode includes two non-directional or non-angular intra prediction modes and 33 directional or angular intra prediction modes. Can include them.
  • FIG. 7 is a diagram illustrating an example of intra prediction modes.
  • a prediction block of a current block may be generated by using 33 directional prediction methods, two non-directional prediction methods, and a total of 35 prediction methods for intra prediction.
  • a prediction sample is generated using surrounding reference samples (upper reference samples and left reference samples) to predict the current block, and then the prediction sample generated according to the prediction direction is copied.
  • Intra-prediction simply copies the prediction sample, so the error tends to increase as the distance between the prediction sample and the reference sample increases.
  • the intra prediction mode may include two non-directional or non-angular intra prediction modes and 65 directional or angular intra prediction modes. It may include.
  • the non-directional intra prediction modes may include a planar intra prediction mode of 0 and a DC intra prediction mode of 1, and the directional intra prediction modes may include 65 intra prediction modes of 2 to 66. .
  • the present invention may be applied to a case where the number of intra prediction modes is different.
  • the intra prediction mode 67 may further be used, and the intra prediction mode 67 may represent a linear model (LM) mode.
  • LM linear model
  • an intra prediction mode having horizontal directionality and an intra prediction mode having vertical directionality may be distinguished from the intra prediction mode 34 having a left upward diagonal prediction direction.
  • H and V in FIG. 8 mean horizontal directionality and vertical directionality, respectively, and a number of -32 to 32 represents a displacement of 1/32 on a sample grid position.
  • Intra prediction modes 2 to 33 have horizontal orientation, and intra prediction modes 34 to 66 have vertical orientation.
  • Intra prediction mode 18 and intra prediction mode 50 indicate a horizontal intra prediction mode and a vertical intra prediction mode, respectively, and an intra prediction mode 2 indicates a left downward diagonal intra prediction mode,
  • the 34th intra prediction mode may be referred to as a left upward diagonal intra prediction mode, and the 66th intra prediction mode may be referred to as a right upward diagonal intra prediction mode.
  • FIG. 9 shows an example of an encoding method using intra prediction.
  • the encoding apparatus may derive intra prediction mode information of a corresponding neighboring block (S900).
  • the encoding apparatus may list up the most probable modes (MPM) candidate (or MPM list) using the intra prediction mode information of the neighboring block (S910).
  • MPM most probable modes
  • the method of considering the similarity between the neighboring block of the current block and the current block in transmitting intra prediction mode information may be referred to as most probable modes (MPM).
  • the intra prediction mode of the current block can be expressed using the intra prediction mode of the neighboring block.
  • the neighboring block includes a left neighboring block and an upper neighboring block most likely to be utilized at the decoding time of the current block (that is, most likely to exist at the decoding time of the current block). It may include.
  • the MPM candidate of the current block may be configured with a total of three intra prediction modes. That is, the number of MPM candidates of the current block may be three.
  • the first MPM candidate may be determined as the intra prediction mode of the left neighboring block
  • the second MPM candidate is The intra prediction mode of the upper neighboring block
  • the third MPM candidate may be determined as any one of a planar intra prediction mode, a DC intra prediction mode, or a vertical intra prediction mode.
  • the first MPM candidate may be determined in planner intra prediction mode
  • the second MPM candidate may be determined in DC intra prediction mode
  • the third MPM candidate may be determined in vertical intra prediction mode.
  • the first MPM candidate is set to the duplicated intra prediction mode.
  • a second MPM candidate and a third MPM candidate are two intra prediction modes neighboring the overlapped intra prediction mode (ie, N + 1 intra prediction if the overlapped intra prediction mode is N intra prediction modes). Mode and N-1 intra prediction mode).
  • the MPM candidates of the current block may be configured with N intra prediction modes instead of three in total.
  • the method of configuring the MPM candidates may be changed according to the number of the MPM candidates. have.
  • the number of MPM candidates of the current block may be six.
  • the above-described method of constructing (or MPM list) the six MPM candidates may be applied.
  • the encoding apparatus may determine whether the best intra prediction mode to be applied to the current block is included in the previously configured MPM candidate (S920). When the intra prediction mode of the current block is included in the MPM candidate, the encoding apparatus may encode the MPM flag and the MPM index (S930).
  • the MPM flag may indicate whether the intra prediction mode of the current block is derived from a block to which neighboring intra prediction is applied (that is, the intra prediction mode of the current block is included in the MPM candidates in the MPM list).
  • the MPM index may indicate which MPM candidate is applied as an intra prediction mode of the current block among the derived MPM candidates.
  • the encoding apparatus may encode remaining intra prediction mode information indicating the intra prediction mode of the current block (S940).
  • the remaining intra prediction mode information may indicate an order in remaining intra prediction modes except for the MPM candidates among all intra prediction modes.
  • FIG. 10 shows an example of a decoding method using intra prediction.
  • the decoding apparatus may parse an MPM flag for a current block (S1000).
  • the decoding apparatus may determine whether MPM coding is applied to the current block based on the MPM flag, that is, whether an intra prediction mode of the current block is included in the MPM list (S1010).
  • the decoding device may parse the MPM index for the current block (S1020). Thereafter, the decoding apparatus may derive the MPM candidate indicated by the MPM index in the intra prediction mode of the current block (S1030).
  • the decoding apparatus parses remaining intra prediction mode information about the current block (S1040).
  • the intra prediction mode of the current block can be represented with much fewer bits.
  • the total number of intra prediction modes is 35 and the number of MPM candidates is 3, 6 bits of information must be transmitted to represent 35 intra prediction modes unless MPM coding is used.
  • the intra prediction mode of the current block is one of the MPM candidates, information indicating the intra prediction mode for the current block may be transmitted with only 2 bits, and if the intra prediction mode of the current block is the MPM Since one intra prediction mode is selected from the remaining 32 intra prediction modes except three intra prediction modes that can be expressed as MPM candidates even though they are not included in the candidates, information indicating an intra prediction mode for the current block is only 5 bits. Can be expressed.
  • the probability that the intra prediction mode of the current block belongs to the MPM candidate may be low.
  • the intra prediction mode of the current block does not belong to the MPM candidate, as described above, many bits are required to code information indicating the intra prediction mode.
  • the number of MPM candidates and neighboring blocks used to construct the MPM candidates may be extended to improve coding performance.
  • the method of configuring the MPM candidate and the method of coding the MPM candidate may also be changed according to the number of MPM candidates and the number of intra prediction modes. For example, when deriving six MPM candidates or seven MPM candidates, a method of constructing an MPM candidate and a method of coding an MPM candidate in the corresponding number may be applied.
  • the encoding apparatus may derive an intra prediction mode for a current block (S1100) and derive peripheral reference samples of the current block (S1110).
  • the encoding apparatus may generate prediction samples in the current block based on the intra prediction mode and the peripheral reference samples (S1120).
  • the encoding apparatus may perform a prediction sample filtering procedure (S1130). Predictive sample filtering may be referred to as post filtering. Some or all of the prediction samples may be filtered by the prediction sample filtering procedure. In some cases, the S1130 procedure may be omitted.
  • the encoding apparatus may generate residual samples for the current block based on the (filtered) prediction sample (S1140).
  • the encoding apparatus may encode image information including prediction mode information indicating the intra prediction mode and residual information regarding the residual samples (S1150).
  • the encoded image information may be output in the form of a bitstream.
  • the output bitstream may be delivered to the decoding apparatus via a storage medium or a network.
  • the decoding apparatus may perform an operation corresponding to the operation performed by the encoding apparatus. For example, the decoding apparatus may derive an intra prediction mode for the current block based on the received prediction mode information (S1200). The decoding apparatus may derive peripheral reference samples of the current block (S1210). The decoding apparatus may generate prediction samples in the current block based on the intra prediction mode and the peripheral reference samples (S1220). In this case, the decoding apparatus may perform a prediction sample filtering procedure (S1230). Predictive sample filtering may be referred to as post filtering. Some or all of the prediction samples may be filtered by the prediction sample filtering procedure. In some cases, the S1230 procedure may be omitted.
  • the decoding apparatus may generate residual samples for the current block based on the received residual information (S1240).
  • the decoding apparatus may generate reconstructed samples for the current block based on the (filtered) prediction samples and the residual samples, and generate a reconstructed picture based on the (S1250).
  • the prediction mode information may include flag information (eg, prev_intra_luma_pred_flag) indicating whether a most probable mode (MPM) is applied to the current block or a remaining mode is applied as described above. Can be.
  • the prediction mode information may further include index information (eg, mpm_idx) indicating one of the intra prediction mode candidates (eg, MPM candidates).
  • the intra prediction mode candidates for the current block may be composed of an MPM candidate list or an MPM list. That is, the MPM candidate list or the MPM list for the current block may be configured, and the MPM candidate list or the MPM list may include the intra prediction mode candidates.
  • the prediction mode information may be encoded / decoded through, for example, entropy coding (ex. CABAC, CAVLC) based on truncated (rice) binary code. .
  • various intra prediction methods may be applied to the intra prediction.
  • the prediction sample may be generated.
  • LIP linear interpolation intra prediction
  • the LIP described above may be specifically described as follows.
  • Linear interpolation prediction uses the right and bottom buffers (video encodings are generally encoded by raster scans) to reduce the errors that occur in these intra prediction encodings. Since the right block and the lower block are not yet encoded based on the block to be generated, the right end sample and the bottom sample cannot be used as reference samples), and then the prediction block can be generated by interpolating the existing reference samples. .
  • FIG. 13 illustrates an LIP according to an embodiment.
  • FIG. 13 a linear interpolation prediction (LIP) method for generating a prediction block using a right buffer in intra prediction encoding is shown.
  • LIP linear interpolation prediction
  • FIG. 14A and 14B illustrate LIPs according to another exemplary embodiment.
  • FIG. 14A illustrates a method of generating a right bottom sample using a top right sample and a bottom left sample
  • FIG. 14B illustrates a most top right distant two times the length of a block to be currently encoded.
  • most bottom left sample to show how to generate the bottom right sample.
  • the actual right bottom sample can be generated using various methods in addition to the two methods mentioned above.
  • FIG. 15 is a diagram for explaining an LIP according to another embodiment.
  • FIG. 15 is a diagram for explaining an LIP according to another embodiment.
  • the bottom samples (bottom buffer) and the right samples (right buffer) are generated using the bottom left and top right samples.
  • . 15 illustrates a method of generating bottom samples and right end samples.
  • the lower samples are linearly interpolated between the lower left sample and the lower right sample, and the right samples are generated by linear interpolating the upper right sample and the lower right sample.
  • the method of generating the lower right samples using the lower left sample and the lower right sample and the right upper samples using the right upper sample and the lower right sample may be generated differently by giving various weight values.
  • linear interpolation prediction is performed using the generated bottom and right samples.
  • a method of generating a current prediction sample C using the linear interpolation intra prediction method is as follows.
  • the prediction mode will be described as an example of a vertical sequence having positive direction.
  • the bottom buffer may be generated by copying the left reference sample (dark gray) into the bottom sample buffer and using the generated bottom samples.
  • a prediction sample value P may be generated (using an existing intra prediction encoding method of generating a prediction sample) by interpolating A reference samples and B reference samples of the upper reference buffer using the reconstructed value.
  • a prediction sample value P ' may be generated by using interpolation between the A' reference samples and the B 'reference samples of the newly generated lower reference buffer (using the existing intra prediction coded prediction sample generation method).
  • the final predicted value C may be generated based on Equation 3 below by linearly interpolating the generated P and P ′.
  • a prediction value is generated by applying the second to fourth steps to all samples in the block to be currently encoded.
  • the prediction method in the linear interpolation screen can be applied to all directional boards except planar mode and DC mode where no directionality exists.
  • 16 is a flowchart illustrating a method of determining an optimal prediction mode in intra prediction encoding, according to an embodiment.
  • the encoding apparatus first performs an even intra prediction mode for full RD (rate-distortion) through an approximate mode determination method for even intra prediction modes. Candidates can be determined.
  • the encoding apparatus may determine a cost value based on a difference between the prediction block and the original block and simply bits required for encoding the intra prediction mode information, and may determine a mode having a low cost value as an intra prediction mode candidate.
  • the encoding apparatus performs an odd intra prediction mode of ⁇ 1 on the determined candidate (for example, when the determined candidate is an intra prediction mode of 20, the odd intra prediction mode of ⁇ 1 is an intra prediction mode of 19 and an intra prediction mode of 21).
  • the candidate mode for Full RD can be re-determined by using the coarse mode decision method. After determining the candidate mode through the coarse mode decision, the encoding apparatus may find a similar mode around the current block using the most probable mode (MPM) method and add it to the candidate mode. Finally, the encoding apparatus may determine the optimal intra prediction mode through Full RD in terms of rate-distortion optimization (RDO).
  • RDO rate-distortion optimization
  • a position dependent intra prediction combination may be used.
  • Position dependent intra prediction combination performs a new prediction by combining the result of the prediction after filtering the reference sample of the current block for intra prediction and the result of the prediction using the reference sample before filtering. It can represent the prediction method.
  • the PDPC performs filtering based on a filter for the PDPC to derive filtered reference samples, and based on the intra prediction mode of the current block and the filtered reference samples, the PDPC obtains a temporary prediction sample of the current block. Deriving and weighting the at least one reference sample and the temporary prediction sample derived according to the intra prediction mode among the existing reference samples, that is, the unfiltered reference samples, to predict the current block.
  • An intra prediction method for deriving a sample may be indicated. For example, the x component of the top-left sample of the current block is 0 and the y component is 0, the intra prediction mode of the current block is planner mode, and the position of the target sample of the current block is (x , y), referring to FIG.
  • a temporary prediction sample q [x, y] of the target sample may be derived based on the filtered reference samples s [x, -1] and s [-1, y]. And the unfiltered reference samples r [x, -1] and r [-1, y] are weighted to the derived temporary prediction samples q [x, y] to predict the prediction samples p [x, y of the target sample. ] Can be derived.
  • the definition of PDPC is not limited to the above description.
  • the prediction sample P (x, y) located at the (x, y) coordinate in the current block may be calculated through Equation 4 below.
  • R x , -1 represents a reference sample located above the prediction sample P (x, y) among the upper reference samples of the current block
  • R -1, y represents left reference samples of the current block.
  • the reference sample located on the left side based on the prediction sample P (x, y) may be represented, and R ⁇ 1 and ⁇ 1 may represent the top-left reference sample of the current block.
  • 17A and 17B illustrate an example of applying PDPC weights when the intra prediction mode is the DC mode.
  • the DC mode weight may be calculated based on Equation 5 below.
  • Equation 5 Shift included in Equation 5 may be expressed as Equation 6 below.
  • FIG. 17A and 17B illustrate an example of applying PDPC weights when the intra prediction mode is the DC mode.
  • FIG. 17A shows weights for prediction samples P (0, 0) in a 4x4 current block, wTL is -4, wL is 32, wT is 32.
  • FIG. 17B shows weights for prediction samples P (1, 0) in the 4x4 current block, wTL is -2, wL is 8, and wT is 32.
  • FIG. 17A shows weights for prediction samples P (0, 0) in a 4x4 current block, wTL is -4, wL is 32, wT is 32.
  • FIG. 17B shows weights for prediction samples P (1, 0) in the 4x4 current block, wTL is -2, wL is 8, and wT is 32.
  • the above-described LIP and PDPC can be applied under a specific condition can more efficiently process the process of encoding / decoding the input image.
  • a method of selectively applying the LIP and / or the PDPC according to specific conditions may have a maximum compression efficiency. Through the above scheme, the efficiency of the encoding / decoding process can be further improved.
  • the present invention proposes methods for performing intra prediction of the current block by applying the LIP and / or the PDPC under specific conditions.
  • the LIP may be performed on the current block, and then, a method of applying PDPC to post processing may be proposed.
  • the encoding device / decoding device may generate a predicted block for the current block through LIP, and post-process through PDPC on the prediction block based on neighboring samples of the current block. Calibration can be performed. That is, the encoding device / decoding device may derive the modified prediction block by performing the PDPC based on the prediction block and the neighboring samples. For example, the modified prediction sample may be derived based on Equation 4 described above. The modified prediction sample may be derived by substituting the prediction sample derived through the LIP into Equation 4 above.
  • the LIP may be applied to both a luma block and a chroma block of the current block, or may be applied only to the luma block.
  • a method of adaptively performing PDPC only under specific conditions after performing LIP may be proposed.
  • the LIP may be performed through an intra prediction mode for a current block, and the intra prediction mode may be a horizontal intra prediction mode, a vertical intra prediction mode, an intra prediction mode of 2 to 10 intra prediction mode, and 58
  • the intra prediction mode to intra prediction mode 66 the PDPC may be performed.
  • the LIP may be performed through an intra prediction mode for a current block, and the PDPC may be performed no matter what intra prediction mode the intra prediction mode is. That is, the LIP and PDPC may be performed in all intra prediction modes.
  • the LIP may be performed through an intra prediction mode for the current block, and the product of the width and height of the current block is 63 or more (eg, 8x8 size or 4x16).
  • Block of size when the intra prediction mode is one of a horizontal intra prediction mode, a vertical intra prediction mode, an intra prediction mode of 2 to 10 intra prediction mode, and an intra prediction mode of 58 to 66 intra prediction mode, Can be performed.
  • the PDPC may not be performed on the current block.
  • the overlapping application of the LIP and the PDPC may be adaptively limited according to the block size, and through this, intra prediction may be more efficiently performed.
  • a method of adaptively applying the PDPC may be proposed.
  • the intra prediction mode for the current block is one of a horizontal intra prediction mode, a vertical intra prediction mode, an intra prediction mode of 2 to 10 intra prediction mode, and an intra prediction mode of 58 to 66 intra prediction mode.
  • the PDPC may be performed.
  • the PDPC may be performed for all intra prediction modes. That is, the PDPC may be performed no matter what intra prediction mode is the intra prediction mode for the current block.
  • the product of the width and height of the current block is 64 or more (eg, a block of size 8x8 or 4x16), and the intra prediction mode for the current block is horizontal intra prediction.
  • the PDPC may be performed in one of a mode, a vertical intra prediction mode, an intra prediction mode of 2 to 10 intra prediction mode, and an intra prediction mode of 58 to 66 intra prediction mode. In the case other than the above-described conditions, the PDPC may not be performed on the current block.
  • the encoding apparatus may derive the residual image through the difference between the original image (ie, the original block of the current block) and the prediction block, and the decoding apparatus may The reconstructed image may be derived through the sum of the prediction block and the residual signal of the current block.
  • 19 shows an example of an intra prediction method combining the LIP and the PDPC.
  • the encoding device / decoding device may determine whether LIP is applied to the current block (S1900). If LIP is applied to the current block, the encoding device / decoding device may perform the LIP according to the intra prediction mode of the current block (S1910).
  • the encoding device / decoding device may determine whether a condition for performing PDPC is satisfied (S1920).
  • the condition may be the same as described above. For example, it may be determined whether the intra prediction mode of the current block is one of a horizontal intra prediction mode, a vertical intra prediction mode, an intra prediction mode of 2 to 10 intra prediction mode, and an intra prediction mode of 58 to 66 intra prediction mode. Can be. Or, for example, the product of the width and height of the current block is 64 (or 63) or more, and the intra prediction mode for the current block is a horizontal intra prediction mode, a vertical intra prediction mode, number 2 It may be determined whether it is one of intra prediction mode to intra prediction mode of 10 and intra prediction mode of 58 to intra prediction mode of 66.
  • the encoding device / decoding device may derive the modified prediction sample by performing the PDPC on the prediction sample derived based on the LIP (S1930). If the condition is not satisfied, the encoding device / decoding device may derive the prediction sample derived based on the LIP as the final prediction sample of the current block without performing the PDPC on the current block.
  • the encoding device / decoding device may perform the existing intra prediction based on the intra prediction mode of the current block (S1940).
  • the encoding device / decoding device may determine whether the PDPC is performed under condition S1950.
  • the condition may be the same as described above.
  • it may be determined whether the intra prediction mode of the current block is one of a horizontal intra prediction mode, a vertical intra prediction mode, an intra prediction mode of 2 to 10 intra prediction mode, and an intra prediction mode of 58 to 66 intra prediction mode.
  • the product of the width and height of the current block is 64 (or 63) or more
  • the intra prediction mode for the current block is a horizontal intra prediction mode, a vertical intra prediction mode, number 2 It may be determined whether it is one of intra prediction mode to intra prediction mode of 10 and intra prediction mode of 58 to intra prediction mode of 66.
  • the encoding device / decoding device may derive the modified prediction sample by performing the PDPC on the prediction sample derived based on the existing intra prediction (S1960). If the condition is not satisfied, the encoding device / decoding device may derive the prediction sample as the final prediction sample of the current block without performing the PDPC on the current block.
  • the anchor in the experiment may be a VTM1.0 software, an all intra 2 frame experiment result, and in the embodiment, after performing LIP, the intra prediction mode of the current block is horizontal intra prediction mode, vertical
  • the PDPC may be performed in one of an intra prediction mode, an intra prediction mode of 2 to 10 intra prediction mode, and an intra prediction mode of 58 to 66 intra prediction mode.
  • Table 2 shows the performance of the PDPC algorithm
  • Table 3 shows the performance of the LIP algorithm
  • Table 4 shows the results of applying the algorithm of the above-described embodiment. As shown in Table 4 above, it can be seen that a higher performance (that is, Y 1.3% BDrate gain) can be obtained than the conventional PDPC and LIP algorithms through the combination of the LIP and PDPC algorithms proposed in the present invention.
  • the present invention also proposes an embodiment in which the strength of the PDPC is reduced when the PDPC is applied to a block to which the LIP is applied.
  • the present embodiment proposes a method of adjusting the pixel filtering intensity performed by the PDPC when the PDPC is applied by post processing after performing intra prediction with LIP.
  • the predicted samples generated through the LIP are derived by applying a smoothing effect to the sample.
  • a smoothing effect occurs on the sample. Rather, a problem may occur in that the prediction accuracy is reduced.
  • the PDPC when the PDPC is applied after performing the LIP, the PDPC whose filtering strength is adjusted as in Equation 7 described below may be applied instead of the PDPC as in Equation 4 described above.
  • the modified prediction sample may be derived as in the following equation.
  • R x , -1 represents a reference sample located on the basis of the prediction sample P (x, y) among the upper reference samples of the current block
  • R -1, y represents left reference samples of the current block.
  • the reference sample located on the left side based on the prediction sample P (x, y) may be represented, and R ⁇ 1 and ⁇ 1 may represent the top-left reference sample of the current block.
  • P (x, y) in the formula may be a prediction sample derived based on the LIP.
  • Equation 7 changes 64 to 128 in the weight for the predicted sample to be applied. That is, the specific gravity of the existing prediction sample value may be increased and the filtering strength may be reduced.
  • PDPC may be applied to the prediction sample derived by performing the existing intra prediction based on Equation 4 described above.
  • the PDPC with the filtering strength adjusted using Equation 7 may be referred to as a weight reduced PDPC or a modified PDPC.
  • FIG. 20 shows another example of an intra prediction method combining the LIP and the PDPC.
  • the encoding device / decoding device may determine whether LIP is applied to the current block (S2000). When LIP is applied to the current block, the encoding device / decoding device may perform the LIP according to the intra prediction mode of the current block (S2010).
  • the encoding apparatus / decoding apparatus may determine whether a condition for performing PDPC is satisfied (S2020).
  • the condition may be the same as described above. For example, it may be determined whether the intra prediction mode of the current block is one of a horizontal intra prediction mode, a vertical intra prediction mode, an intra prediction mode of 2 to 10 intra prediction mode, and an intra prediction mode of 58 to 66 intra prediction mode. Can be. Or, for example, the product of the width and height of the current block is 64 (or 63) or more, and the intra prediction mode for the current block is a horizontal intra prediction mode, a vertical intra prediction mode, number 2 It may be determined whether it is one of intra prediction mode to intra prediction mode of 10 and intra prediction mode of 58 to intra prediction mode of 66.
  • the encoding device / decoding device may derive the modified prediction sample by performing the modified PDPC on the prediction sample derived based on the LIP (S2030).
  • the modified prediction sample may be derived based on Equation 7 described above.
  • the modified prediction sample may be derived by substituting the prediction sample derived through the LIP into Equation (7).
  • the encoding device / decoding device may derive the prediction sample derived based on the LIP as the final prediction sample of the current block without performing the modified PDPC on the current block.
  • the encoding device / decoding device may perform the existing intra prediction based on the intra prediction mode of the current block (S2040).
  • the encoding device / decoding device may determine whether a condition for performing PDPC is satisfied (S2050).
  • the condition may be the same as described above. For example, it may be determined whether the intra prediction mode of the current block is one of a horizontal intra prediction mode, a vertical intra prediction mode, an intra prediction mode of 2 to 10 intra prediction mode, and an intra prediction mode of 58 to 66 intra prediction mode. Can be. Or, for example, the product of the width and height of the current block is 64 (or 63) or more, and the intra prediction mode for the current block is a horizontal intra prediction mode, a vertical intra prediction mode, number 2 It may be determined whether it is one of intra prediction mode to intra prediction mode of 10 and intra prediction mode of 58 to intra prediction mode of 66.
  • the encoding device / decoding device may derive the modified prediction sample by performing the PDPC on the prediction sample derived based on the existing intra prediction (S2060).
  • the modified prediction sample may be derived based on Equation 4 described above.
  • the modified prediction sample may be derived by substituting the prediction sample derived through the LIP into Equation 4 above.
  • the encoding device / decoding device may derive the prediction sample as the final prediction sample of the current block without performing the PDPC on the current block.
  • FIG. 21 schematically illustrates an image encoding method by an encoding apparatus according to the present invention.
  • the method disclosed in FIG. 21 may be performed by the encoding apparatus disclosed in FIG. 1.
  • S2100 to S2130 of FIG. 21 may be performed by the prediction unit of the encoding apparatus
  • S2140 may be performed by the entropy encoding unit of the encoding apparatus.
  • a process of deriving a residual sample for the current block based on an original sample and a prediction sample for the current block may be performed by a subtractor of the encoding apparatus.
  • the generating of the information about the residual on the current block may be performed by a converter of the encoding apparatus, and the encoding of the information about the residual may be performed by an entropy encoding unit of the encoding apparatus. It can be performed by.
  • the encoding apparatus determines an intra prediction mode for the current block (S2100).
  • the encoding apparatus may perform various intra prediction modes to derive an intra prediction mode having an optimal RD cost as an intra prediction mode for the current block.
  • the intra prediction mode may be one of two non-directional prediction modes and 33 directional prediction modes.
  • the two non-directional prediction modes may include an intra DC mode and an intra planner mode.
  • the intra prediction mode may be one of two non-directional intra prediction modes and 65 directional intra prediction modes.
  • the two non-directional prediction modes may include an intra DC mode and an intra planner mode.
  • the 65 directional intra prediction modes may include vertical directional intra prediction modes and horizontal directional intra prediction modes.
  • the vertical directional intra prediction modes may include intra prediction mode 34 to 66 intra prediction modes
  • the horizontal directional intra prediction modes may include intra prediction mode 2 to intra prediction mode 33.
  • the encoding apparatus may construct the MPM list of the current block based on the neighboring block of the current block, and the MPM list may include three, five, or six MPM candidates. have.
  • the peripheral block may include the left peripheral block, the upper peripheral block, the lower left peripheral block, the upper right peripheral block, and / or the upper left peripheral block of the current block.
  • the encoding apparatus may search the neighboring blocks of the current block in a specific order, and may derive the intra prediction mode of the neighboring block as the MPM candidate in the derived order.
  • an encoding apparatus may include an intra prediction mode of the left neighboring block, an intra prediction mode of the upper neighboring block, a planner intra prediction mode, a DC intra prediction mode, an intra prediction mode of the lower left neighboring block, and the right upper neighboring block.
  • Intra prediction mode of, the intra prediction mode of the upper left neighboring block may be searched in order to derive an MPM candidate and configure the MPM list of the current block.
  • an MPM candidate may be derived based on an intra prediction mode derived as the MPM candidate.
  • the intra prediction mode derived as the MPM candidate is N intra prediction mode
  • the decoding apparatus sets the N + 1 intra prediction mode and / or the N-1 intra prediction mode to the MPM candidate of the current block. Can be derived.
  • the encoding apparatus may select an MPM candidate having an optimal RD cost among the MPM candidates of the MPM list, and determine the selected MPM candidate as an intra prediction mode for the current block.
  • the encoding apparatus may encode an MPM index indicating the selected MPM candidate among the MPM candidates.
  • the MPM index may be signaled in the form of an mpm_idx or intra_luma_mpm_idx syntax element.
  • the determined intra prediction mode may be one of the remaining intra prediction modes except for the MPM candidates.
  • the remaining intra prediction modes may be intra prediction modes except for MPM candidates included in the MPM list in all intra prediction modes.
  • the encoding apparatus may encode remaining intra prediction mode information indicating the intra prediction mode of the current block.
  • the remaining intra prediction mode information may be signaled in the form of rem_intra_luma_pred_mode or intra_luma_mpm_remainder syntax elements.
  • the encoding apparatus may encode an MPM flag indicating whether the determined intra prediction mode is included in the MPM candidates. That is, the MPM flag may indicate whether an intra prediction mode of the current block is derived from the MPM candidates. For example, when the value of the MPM flag is 1, the MPM flag may indicate that the intra prediction mode for the current block is included in MPM candidates, and when the value of the MPM flag is 0, the MPM flag May indicate that the intra prediction mode for the current block is not included in MPM candidates, that is, included in the remaining intra prediction modes.
  • the MPM flag may be signaled in the form of a prev_intra_luma_pred_flag or intra_luma_mpm_flag syntax element.
  • the encoding apparatus derives a prediction sample of the current block by performing a linear intra prediction (LIP) on the current block based on the intra prediction mode (S2110).
  • LIP linear intra prediction
  • the encoding apparatus may determine whether to perform the LIP of the current block.
  • the encoding apparatus may derive a prediction sample of the current block by performing a linear intra prediction (LIP) on the current block based on the intra prediction mode.
  • LIP linear intra prediction
  • the encoding apparatus may derive reference samples based on the neighboring samples of the current block.
  • the peripheral sample may include left peripheral samples, upper left peripheral sample, and / or upper peripheral samples.
  • the left neighboring samples, the upper left neighboring sample, and the upper neighboring sample may be derived from neighboring blocks already reconstructed at the decoding time of the current block.
  • the reference samples may include left reference samples, upper left reference samples, upper reference samples, lower right reference samples, lower peripheral samples, and / or right peripheral samples.
  • the upper left reference sample is p [-1] [-1]
  • the upper reference samples are p [0] [-1] to p [N-1] [-1]
  • the left reference samples are p [-1] [N-1] to p [-1] [0]
  • the lower reference samples are p [0] [N] to p [N-1] [N]
  • the lower right reference sample is p [N] [N] [N]
  • the right reference samples are p [N] [N ⁇ . 1] to p [N] [0]
  • the lower left reference sample may be p [-1] [N]
  • the upper right reference sample may be p [N] [-1].
  • the reconstructed peripheral sample may be derived as the reference sample.
  • a reference sample of the specific location may be derived based on the derived reference sample.
  • the lower right reference sample can be derived using a surrounding reference sample.
  • the lower right reference sample may be derived based on the lower left reference sample and the upper right reference sample of the current block.
  • the lower right reference sample may be derived based on Equation 1 or Equation 2 described above.
  • the lower reference samples may be derived through linear interpolation or weighted sum of the lower left reference sample and the lower right reference sample of the current block.
  • the encoding apparatus may derive at least one reference sample of the reference samples based on the intra prediction mode, and may derive the prediction sample based on the derived reference sample.
  • the encoding apparatus may derive a first reference sample and a second reference sample of the reference samples based on the intra prediction mode, and perform linear interpolation between the first reference sample and the second reference sample (
  • the prediction sample may be derived through linear interpolation.
  • the first reference sample may be a reference sample located in a prediction direction of the intra prediction mode with respect to the prediction sample
  • the second reference sample is located in an opposite direction of the prediction direction with respect to the prediction sample. It may be a reference sample. That is, the prediction sample is based on a first reference sample located in a prediction direction of the intra prediction mode and a second reference sample located in an opposite direction of the prediction direction based on the prediction samples of the current block among the reference samples. Can be derived.
  • a prediction sample may be generated through linear interpolation between the first reference sample and the second reference sample.
  • the prediction sample may be derived based on Equation 3 described above.
  • the position of the first reference sample or the second reference sample is a fractional sample position
  • the first reference sample or the second reference sample through the interpolation between the integer samples adjacent to the left and right of the first reference sample or the second reference sample
  • the sample value of one reference sample or the second reference sample can be derived.
  • the encoding apparatus may derive the prediction sample of the current block based on the intra prediction mode.
  • the encoding apparatus may derive a prediction sample of the current block by performing an existing intra prediction based on the intra prediction mode. For example, the encoding apparatus may derive the reference samples of the current block, and may derive the prediction sample of the current block based on the reference sample according to the intra prediction mode among the reference samples.
  • the encoding apparatus determines whether to perform the position dependent intra prediction combination (PDPC) of the current block (S2120).
  • the encoding apparatus may determine whether the current block performs PDPC based on a specific condition.
  • the intra prediction mode for the current block is one of a vertical intra prediction mode, a horizontal intra prediction mode, 2 to 10 intra prediction modes, 58 intra prediction modes to 66 intra prediction modes, and It may be determined that the PDPC is performed on the current block.
  • the width multiplied by the height of the current block is greater than or equal to 64
  • the intra prediction mode for the current block is a vertical intra prediction mode, a horizontal intra prediction mode, 2 to 10 times.
  • an intra prediction mode, an intra prediction mode of 58, and an intra prediction mode of 66 it may be determined that the PDPC is performed on the current block.
  • a value obtained by multiplying a width and a height of the current block is 63 or more
  • the intra prediction mode for the current block is a vertical intra prediction mode, a horizontal intra prediction mode, number 2 to In the case of one of 10 intra prediction mode, 58 intra prediction mode, and 66 intra prediction mode, it may be determined that the PDPC is performed on the current block.
  • the encoding apparatus derives the modified prediction sample by performing the PDPC on the prediction sample (S2130).
  • the encoding apparatus may derive the modified prediction sample by weighting the reference samples and the prediction sample for the prediction sample.
  • the modified prediction sample may be derived based on Equation 4 described above.
  • the reference samples may be an upper reference sample, a left reference sample, and an upper left reference sample based on the prediction sample. That is, the encoding apparatus may derive the modified prediction sample by weighting the reference sample positioned on the basis of the prediction sample, the reference sample positioned on the left side, and the upper left reference sample and the prediction sample.
  • the encoding apparatus may derive the modified prediction sample by performing a modified PDPC on the prediction sample derived by performing the LIP.
  • the modified PDPC may be a PDPC with reduced weights for reference samples.
  • the encoding apparatus may derive the modified prediction sample by weighting the reference samples and the prediction sample for the prediction sample.
  • the modified prediction sample may be derived based on Equation 7 described above.
  • the reference samples may be an upper reference sample, a left reference sample, and an upper left reference sample based on the prediction sample. That is, the encoding apparatus may derive the modified prediction sample by weighting the reference sample positioned on the basis of the prediction sample, the reference sample positioned on the left side, and the upper left reference sample and the prediction sample.
  • the encoding apparatus performs PDPC (Position dependent intra prediction combination) of the current block. It can be determined.
  • the encoding apparatus may determine whether the current block performs PDPC based on a specific condition.
  • the intra prediction mode for the current block is one of a vertical intra prediction mode, a horizontal intra prediction mode, 2 to 10 intra prediction modes, 58 intra prediction modes to 66 intra prediction modes, and It may be determined that the PDPC is performed on the current block.
  • the width multiplied by the height of the current block is greater than or equal to 64
  • the intra prediction mode for the current block is a vertical intra prediction mode, a horizontal intra prediction mode, or 2 to 10 times.
  • an intra prediction mode, an intra prediction mode of 58, and an intra prediction mode of 66 it may be determined that the PDPC is performed on the current block.
  • a value obtained by multiplying a width and a height of the current block is 63 or more
  • the intra prediction mode for the current block is a vertical intra prediction mode, a horizontal intra prediction mode, number 2 to In the case of one of 10 intra prediction mode, 58 intra prediction mode, and 66 intra prediction mode, it may be determined that the PDPC is performed on the current block.
  • the encoding apparatus may derive the modified prediction sample by performing the PDPC on the prediction sample.
  • the encoding apparatus may derive the modified prediction sample by weighting the reference samples and the prediction sample for the prediction sample.
  • the modified prediction sample may be derived based on Equation 4 described above.
  • the reference samples may be an upper reference sample, a left reference sample, and an upper left reference sample based on the prediction sample. That is, the encoding apparatus may derive the modified prediction sample by weighting the reference sample positioned on the basis of the prediction sample, the reference sample positioned on the left side, and the upper left reference sample and the prediction sample.
  • the encoding apparatus encodes image information including intra prediction mode information on the current block (S2140).
  • the encoding apparatus may encode the image information including the intra prediction mode information and output the bit stream in the form of a bitstream.
  • the bitstream may be transmitted to a decoding device through a network or a (digital) storage medium.
  • the network may include a broadcasting network and / or a communication network
  • the digital storage medium may include various storage media such as USB, SD, CD, DVD, Blu-ray, HDD, SSD, and the like.
  • the encoding apparatus may determine an intra prediction mode for the current block, and generate intra prediction mode information indicating the intra prediction mode.
  • the intra prediction mode information may include the MPM flag, the MPM index and / or the remaining intra prediction mode information.
  • the MPM flag may indicate whether the intra prediction mode for the current block is included in the MPM candidates or in the remaining intra prediction modes not included in the MPM candidates. That is, the MPM flag may indicate whether an intra prediction mode of the current block is derived from the MPM candidates. Specifically, when the value of the MPM flag is 1, the MPM flag may indicate that the intra prediction mode for the current block is included in the MPM candidates. When the value of the MPM flag is 0, the MPM flag is the It may indicate that the intra prediction mode for the current block is not included in the MPM candidates, that is, included in the remaining intra prediction modes.
  • the MPM flag may be signaled in the form of a prev_intra_luma_pred_flag or intra_luma_mpm_flag syntax element.
  • the encoding apparatus may not encode the MPM flag. That is, when the intra prediction mode for the current block is included in the MPM candidates, the intra prediction mode information may not include the MPM flag.
  • the MPM index may indicate one MPM candidate among the MPM candidates.
  • the MPM index may be signaled in the form of an mpm_idx or intra_luma_mpm_idx syntax element.
  • the remaining intra prediction mode information may be one of the remaining intra prediction modes.
  • the remaining intra prediction modes may be intra prediction modes except for MPM candidates included in the MPM list in all intra prediction modes.
  • the remaining intra prediction mode information may be signaled in the form of rem_intra_luma_pred_mode or intra_luma_mpm_remainder syntax elements.
  • the encoding apparatus may derive a residual sample for the current block based on an original sample and a prediction sample for the current block, and apply the residual sample to the residual for the current block based on the residual sample.
  • Information about the residual may be encoded.
  • the image information may include information about the residual.
  • FIG. 22 schematically illustrates an encoding apparatus for performing an image encoding method according to the present invention.
  • the method disclosed in FIG. 21 may be performed by the encoding apparatus disclosed in FIG. 22. More specifically, for example, the prediction unit of the encoding apparatus of FIG. 22 may perform S2100 to S2130 of FIG. 21, and the entropy encoding unit of the encoding apparatus of FIG. 22 may perform S2140 of FIG. 21.
  • a process of deriving a residual sample for the current block based on the original sample and the prediction sample for the current block may be performed by the subtraction unit of the encoding apparatus of FIG. 22.
  • the generating of the information about the residual for the current block based on the residual sample may be performed by the converter of the encoding apparatus of FIG. 22, and the encoding of the information about the residual may be performed in FIG. 22. May be performed by an entropy encoding unit of the encoding apparatus.
  • FIG. 23 schematically shows an image decoding method by a decoding apparatus according to the present invention.
  • the method disclosed in FIG. 23 may be performed by the decoding apparatus disclosed in FIG. 3.
  • S2300 to S2330 of FIG. 23 may be performed by the prediction unit of the decoding apparatus
  • S2340 may be performed by the adder of the decoding apparatus.
  • a process of obtaining image information including information about a residual and / or intra prediction mode information about the current block through a bitstream may be performed by an entropy decoding unit of the decoding apparatus.
  • the derivation of the residual sample for the current block based on the residual information may be performed by an inverse transform unit of the decoding apparatus, and the reconstructed picture is based on the prediction sample and the residual sample.
  • the generating process may be performed by an adder of the decoding apparatus.
  • the decoding apparatus derives an intra prediction mode for the current block (S2300).
  • the decoding apparatus may obtain image information including intra prediction mode information on the current block through the bitstream.
  • the intra prediction mode information may include remaining intra prediction mode information directly indicating an intra prediction mode for the current block, or derived based on an intra prediction mode of a left or upper block of the current block. It may also include an MPM index indicating any one of the MPM candidates in the Most Probable Mode (MPM) list.
  • the MPM index may be signaled in the form of an mpm_idx or intra_luma_mpm_idx syntax element.
  • the remaining intra prediction mode information may be signaled in the form of rem_intra_luma_pred_mode or intra_luma_mpm_remainder syntax elements.
  • the MPM list may include three MPM candidates, five MPM candidates, or six MPM candidates.
  • the decoding apparatus may configure the MPM list of the current block based on the neighboring block of the current block, and the MPM list may include six MPM candidates.
  • the peripheral block may include the left peripheral block, the upper peripheral block, the lower left peripheral block, the upper right peripheral block, and / or the upper left peripheral block of the current block.
  • the decoding apparatus may search the neighboring blocks of the current block in a specific order, and may derive the intra prediction mode of the neighboring block as the MPM candidate in the derived order.
  • a decoding apparatus may include an intra prediction mode of the left neighboring block, an intra prediction mode of the upper neighboring block, a planner intra prediction mode, a DC intra prediction mode, an intra prediction mode of the lower left neighboring block, and the right upper neighboring block.
  • Intra prediction mode of the intra prediction mode of the upper left neighboring block may be searched in order to derive an MPM candidate and configure the MPM list of the current block. Meanwhile, when six MPM candidates are not derived after the search, an MPM candidate may be derived based on an intra prediction mode derived as the MPM candidate. For example, when the intra prediction mode derived as the MPM candidate is N intra prediction mode, the decoding apparatus sets the N + 1 intra prediction mode and / or the N-1 intra prediction mode to the MPM candidate of the current block. Can be derived.
  • the image information may include an MPM flag for the current block.
  • the decoding apparatus may obtain the MPM index for the current block from the bitstream.
  • the video information may not include the MPM flag. In this case, the decoding apparatus may derive the value of the MPM flag as 1.
  • the decoding apparatus may obtain the remaining intra prediction mode information for the current block from the bitstream. That is, when the value of the MPM flag is 0, the image information may include the remaining intra prediction mode information indicating one of the remaining intra prediction modes. In this case, the decoding apparatus may derive the intra prediction mode indicated by the remaining intra prediction mode information among the remaining intra prediction modes as the intra prediction mode for the current block.
  • the remaining intra prediction modes may indicate remaining intra prediction modes not included in the MPM candidates of the MPM list.
  • the decoding apparatus may derive an intra prediction mode for the current block based on the obtained prediction information.
  • the intra prediction mode may be one of two non-directional prediction modes and 33 directional prediction modes.
  • the two non-directional prediction modes may include an intra DC mode and an intra planner mode.
  • the intra prediction mode may be one of two non-directional intra prediction modes and 65 directional intra prediction modes.
  • the two non-directional prediction modes may include an intra DC mode and an intra planner mode.
  • the 65 directional intra prediction modes may include vertical directional intra prediction modes and horizontal directional intra prediction modes.
  • the vertical directional intra prediction modes may include intra prediction mode 34 to 66 intra prediction modes
  • the horizontal directional intra prediction modes may include intra prediction mode 2 to intra prediction mode 33.
  • the decoding apparatus derives a prediction sample of the current block by performing a linear intra prediction on the current block based on the intra prediction mode (S2310).
  • the decoding apparatus may determine whether to perform the LIP of the current block.
  • the decoding apparatus may derive a prediction sample of the current block by performing a linear intra prediction (LIP) on the current block based on the intra prediction mode.
  • LIP linear intra prediction
  • the decoding apparatus may derive reference samples based on the neighboring samples of the current block.
  • the peripheral sample may include left peripheral samples, upper left peripheral sample, and / or upper peripheral samples.
  • the left neighboring samples, the upper left neighboring sample, and the upper neighboring sample may be derived from neighboring blocks already reconstructed at the decoding time of the current block.
  • the reference samples may include left reference samples, upper left reference samples, upper reference samples, lower right reference samples, lower peripheral samples, and / or right peripheral samples.
  • the upper left reference sample is p [-1] [-1]
  • the upper reference samples are p [0] [-1] to p [N-1] [-1]
  • the left reference samples are p [-1] [N-1] to p [-1] [0]
  • the lower reference samples are p [0] [N] to p [N-1] [N]
  • the lower right reference sample is p [N] [N] [N]
  • the right reference samples are p [N] [N ⁇ . 1] to p [N] [0]
  • the lower left reference sample may be p [-1] [N]
  • the upper right reference sample may be p [N] [-1].
  • the reconstructed peripheral sample may be derived as the reference sample.
  • a reference sample of the specific location may be derived based on the derived reference sample.
  • the lower right reference sample can be derived using a surrounding reference sample.
  • the lower right reference sample may be derived based on the lower left reference sample and the upper right reference sample of the current block.
  • the lower right reference sample may be derived based on Equation 1 or Equation 2 described above.
  • the lower reference samples may be derived through linear interpolation or weighted sum of the lower left reference sample and the lower right reference sample of the current block.
  • the decoding apparatus may derive at least one reference sample of the reference samples based on the intra prediction mode, and may derive the prediction sample based on the derived reference sample.
  • the decoding apparatus may derive a first reference sample and a second reference sample of the reference samples based on the intra prediction mode, and perform linear interpolation between the first reference sample and the second reference sample (
  • the prediction sample may be derived through linear interpolation.
  • the first reference sample may be a reference sample located in a prediction direction of the intra prediction mode with respect to the prediction sample
  • the second reference sample is located in an opposite direction of the prediction direction with respect to the prediction sample. It may be a reference sample. That is, the prediction sample is based on a first reference sample located in a prediction direction of the intra prediction mode and a second reference sample located in an opposite direction of the prediction direction based on the prediction samples of the current block among the reference samples. Can be derived.
  • a prediction sample may be generated through linear interpolation between the first reference sample and the second reference sample.
  • the prediction sample may be derived based on Equation 3 described above.
  • the position of the first reference sample or the second reference sample is a fractional sample position
  • the first reference sample or the second reference sample through the interpolation between the integer samples adjacent to the left and right of the first reference sample or the second reference sample
  • the sample value of one reference sample or the second reference sample can be derived.
  • the decoding apparatus may derive the prediction sample of the current block based on the intra prediction mode.
  • the decoding apparatus may derive the prediction sample of the current block by performing the existing intra prediction based on the intra prediction mode. For example, the decoding apparatus may derive the reference samples of the current block and may derive the prediction sample of the current block based on the reference sample according to the intra prediction mode among the reference samples.
  • the decoding apparatus determines whether to perform the position dependent intra prediction combination (PDPC) of the current block (S2320).
  • PDPC position dependent intra prediction combination
  • the decoding apparatus may determine whether to perform PDPC on the current block based on a specific condition.
  • the intra prediction mode for the current block is one of a vertical intra prediction mode, a horizontal intra prediction mode, 2 to 10 intra prediction modes, 58 intra prediction modes to 66 intra prediction modes, and It may be determined that the PDPC is performed on the current block.
  • the width multiplied by the height of the current block is greater than or equal to 64
  • the intra prediction mode for the current block is a vertical intra prediction mode, a horizontal intra prediction mode, or 2 to 10 times.
  • an intra prediction mode, an intra prediction mode of 58, and an intra prediction mode of 66 it may be determined that the PDPC is performed on the current block.
  • a value obtained by multiplying a width and a height of the current block is 63 or more
  • the intra prediction mode for the current block is a vertical intra prediction mode, a horizontal intra prediction mode, number 2 to In the case of one of 10 intra prediction mode, 58 intra prediction mode, and 66 intra prediction mode, it may be determined that the PDPC is performed on the current block.
  • the decoding apparatus derives the modified prediction sample by performing the PDPC on the prediction sample (S2330).
  • the decoding apparatus may derive the modified prediction sample by weighting the reference samples and the prediction sample for the prediction sample.
  • the modified prediction sample may be derived based on Equation 4 described above.
  • the reference samples may be an upper reference sample, a left reference sample, and an upper left reference sample based on the prediction sample. That is, the decoding apparatus may derive the modified prediction sample by weighting the reference sample positioned on the basis of the prediction sample, the reference sample positioned on the left side, and the upper left reference sample and the prediction sample.
  • the decoding apparatus may derive the modified prediction sample by performing a modified PDPC on the prediction sample derived by performing the LIP.
  • the modified PDPC may be a PDPC with reduced weights for reference samples.
  • the decoding apparatus may derive the modified prediction sample by weighting the reference samples and the prediction sample for the prediction sample.
  • the modified prediction sample may be derived based on Equation 7 described above.
  • the reference samples may be an upper reference sample, a left reference sample, and an upper left reference sample based on the prediction sample. That is, the decoding apparatus may derive the modified prediction sample by weighting the reference sample positioned on the basis of the prediction sample, the reference sample positioned on the left side, and the upper left reference sample and the prediction sample.
  • the decoding apparatus performs PDPC (Position dependent intra prediction combination) of the current block. It can be determined.
  • the decoding apparatus may determine whether to perform PDPC on the current block based on a specific condition.
  • the intra prediction mode for the current block is one of a vertical intra prediction mode, a horizontal intra prediction mode, 2 to 10 intra prediction modes, 58 intra prediction modes to 66 intra prediction modes, and It may be determined that the PDPC is performed on the current block.
  • the width multiplied by the height of the current block is greater than or equal to 64
  • the intra prediction mode for the current block is a vertical intra prediction mode, a horizontal intra prediction mode, or 2 to 10 times.
  • an intra prediction mode, an intra prediction mode of 58, and an intra prediction mode of 66 it may be determined that the PDPC is performed on the current block.
  • a value obtained by multiplying a width and a height of the current block is 63 or more
  • the intra prediction mode for the current block is a vertical intra prediction mode, a horizontal intra prediction mode, number 2 to In the case of one of 10 intra prediction mode, 58 intra prediction mode, and 66 intra prediction mode, it may be determined that the PDPC is performed on the current block.
  • the decoding apparatus may derive the modified prediction sample by performing the PDPC on the prediction sample.
  • the decoding apparatus may derive the modified prediction sample by weighting the reference samples and the prediction sample for the prediction sample.
  • the modified prediction sample may be derived based on Equation 4 described above.
  • the reference samples may be an upper reference sample, a left reference sample, and an upper left reference sample based on the prediction sample. That is, the decoding apparatus may derive the modified prediction sample by weighting the reference sample positioned on the basis of the prediction sample, the reference sample positioned on the left side, and the upper left reference sample and the prediction sample.
  • the decoding apparatus generates a reconstructed picture based on the modified prediction sample (S2340).
  • the decoding apparatus may directly use the modified prediction sample as a reconstruction sample or generate a reconstruction sample by adding a residual sample to the modified prediction sample. If there is a residual sample for the current block, the decoding apparatus may receive information about the residual for the current block, and the information about the residual may include transform coefficients for the residual sample. Can be.
  • the image information may include information about the residual.
  • the decoding apparatus may derive the residual sample (or residual sample array) for the current block based on the residual information.
  • the decoding apparatus may generate a reconstructed sample based on the modified prediction sample and the residual sample, and may derive a reconstructed block or a reconstructed picture based on the reconstructed sample.
  • the decoding apparatus may apply an in-loop filtering procedure such as a deblocking filtering and / or SAO procedure to the reconstructed picture in order to improve subjective / objective picture quality as necessary.
  • an in-loop filtering procedure such as a deblocking filtering and / or SAO procedure
  • FIG. 24 schematically illustrates a decoding apparatus for performing an image decoding method according to the present invention.
  • the method disclosed in FIG. 23 may be performed by the decoding apparatus disclosed in FIG. 24. More specifically, for example, the prediction unit of the decoding apparatus of FIG. 24 may perform S2300 to S2330 of FIG. 23, and the adder of the decoding apparatus of FIG. 24 may perform S2340 of FIG. 23.
  • a process of acquiring image information including information on the residual of the current block and the intra prediction mode information through the bitstream may be performed by the entropy decoding unit of the decoding apparatus of FIG. 24. Deriving the residual sample for the current block based on the information about the residual may be performed by an inverse transform unit of the decoding apparatus of FIG. 24, and based on a prediction sample and the residual sample
  • the process of generating the reconstructed picture may be performed by an adder of the decoding apparatus of FIG. 24.
  • the PDPC may be post-processed to the prediction sample derived by performing LIP, thereby improving intra prediction accuracy and improving overall coding efficiency.
  • intra prediction may be performed by adaptively applying LIP and / or PDPC based on specific conditions, thereby improving intra prediction efficiency and improving overall coding efficiency.
  • the embodiments described herein may be implemented and performed on a processor, microprocessor, controller, or chip.
  • the functional units shown in each drawing may be implemented and performed on a computer, processor, microprocessor, controller, or chip.
  • information for implementation (ex. Information on instructions) or an algorithm may be stored in a digital storage medium.
  • the decoding apparatus and encoding apparatus to which the present invention is applied include a multimedia broadcasting transmitting and receiving device, a mobile communication terminal, a home cinema video device, a digital cinema video device, a surveillance camera, a video chat device, a real time communication device such as video communication, and mobile streaming.
  • the OTT video device may include a game console, a Blu-ray player, an internet access TV, a home theater system, a smartphone, a tablet PC, a digital video recorder (DVR), and the like.
  • the processing method to which the present invention is applied can be produced in the form of a program executed by a computer, and can be stored in a computer-readable recording medium.
  • Multimedia data having a data structure according to the present invention can also be stored in a computer-readable recording medium.
  • the computer readable recording medium includes all kinds of storage devices and distributed storage devices in which computer readable data is stored.
  • the computer-readable recording medium may be, for example, a Blu-ray disc (BD), a universal serial bus (USB), a ROM, a PROM, an EPROM, an EEPROM, a RAM, a CD-ROM, a magnetic tape, a floppy disk, and an optical disc. It may include a data storage device.
  • the computer-readable recording medium also includes media embodied in the form of a carrier wave (eg, transmission over the Internet).
  • the bitstream generated by the encoding method may be stored in a computer-readable recording medium or transmitted through a wired or wireless communication network.
  • an embodiment of the present invention may be implemented as a computer program product by program code, which may be performed on a computer by an embodiment of the present invention.
  • the program code may be stored on a carrier readable by a computer.
  • 25 exemplarily shows a structure diagram of a content streaming system to which the present invention is applied.
  • the content streaming system to which the present invention is applied may largely include an encoding server, a streaming server, a web server, a media storage, a user device, and a multimedia input device.
  • the encoding server compresses content input from multimedia input devices such as a smart phone, a camera, a camcorder, etc. into digital data to generate a bitstream and transmit the bitstream to the streaming server.
  • multimedia input devices such as smart phones, cameras, camcorders, etc. directly generate a bitstream
  • the encoding server may be omitted.
  • the bitstream may be generated by an encoding method or a bitstream generation method to which the present invention is applied, and the streaming server may temporarily store the bitstream in the process of transmitting or receiving the bitstream.
  • the streaming server transmits the multimedia data to the user device based on the user's request through the web server, and the web server serves as a medium for informing the user of what service.
  • the web server delivers it to a streaming server, and the streaming server transmits multimedia data to the user.
  • the content streaming system may include a separate control server.
  • the control server plays a role of controlling a command / response between devices in the content streaming system.
  • the streaming server may receive content from a media store and / or an encoding server. For example, when the content is received from the encoding server, the content may be received in real time. In this case, in order to provide a smooth streaming service, the streaming server may store the bitstream for a predetermined time.
  • Examples of the user device include a mobile phone, a smart phone, a laptop computer, a digital broadcasting terminal, a personal digital assistant (PDA), a portable multimedia player (PMP), navigation, a slate PC, Tablet PCs, ultrabooks, wearable devices, such as smartwatches, glass glasses, head mounted displays, digital TVs, desktops Computer, digital signage, and the like.
  • PDA personal digital assistant
  • PMP portable multimedia player
  • slate PC slate PC
  • Tablet PCs ultrabooks
  • wearable devices such as smartwatches, glass glasses, head mounted displays, digital TVs, desktops Computer, digital signage, and the like.
  • Each server in the content streaming system may be operated as a distributed server, in which case data received from each server may be distributed.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

본 발명에 따른 디코딩 장치에 의하여 수행되는 영상 디코딩 방법은 현재 블록에 대한 인트라 예측 모드를 도출하는 단계, 상기 인트라 예측 모드를 기반으로 상기 현재 블록에 LIP(Linear Intra Prediction)를 수행하여 상기 현재 블록의 예측 샘플을 도출하는 단계, 상기 현재 블록의 PDPC(Position dependent intra prediction combination) 수행 여부를 판단하는 단계, 상기 PDPC 가 수행된다고 판단된 경우, 상기 예측 샘플에 대해 상기 PDPC를 수행하여 수정된 예측 샘플을 도출하는 단계, 및 상기 수정된 예측 샘플을 기반으로 복원 픽처를 생성하는 단계를 포함하는 것을 특징으로 한다.

Description

영상 코딩 시스템에서 인트라 예측에 따른 영상 디코딩 방법 및 장치
본 발명은 영상 코딩 기술에 관한 것으로서 보다 상세하게는 영상 코딩 시스템에서 인트라 예측에 따른 영상 코딩 방법 및 그 장치에 관한 것이다.
최근 HD(High Definition) 영상 및 UHD(Ultra High Definition) 영상과 같은 고해상도, 고품질의 영상에 대한 수요가 다양한 분야에서 증가하고 있다. 영상 데이터가 고해상도, 고품질이 될수록 기존의 영상 데이터에 비해 상대적으로 전송되는 정보량 또는 비트량이 증가하기 때문에 기존의 유무선 광대역 회선과 같은 매체를 이용하여 영상 데이터를 전송하거나 기존의 저장 매체를 이용해 영상 데이터를 저장하는 경우, 전송 비용과 저장 비용이 증가된다.
이에 따라, 고해상도, 고품질 영상의 정보를 효과적으로 전송하거나 저장하고, 재생하기 위해 고효율의 영상 압축 기술이 요구된다.
본 발명의 기술적 과제는 영상 코딩 효율을 높이는 방법 및 장치를 제공함에 있다.
본 발명의 다른 기술적 과제는 현재 블록의 적어도 하나의 주변 샘플을 기반으로 수행하는 인트라 예측 방법 및 장치를 제공함에 있다.
본 발명의 다른 기술적 과제는 LIP(Linear Interpolation Prediction)의 효율을 높이는 방법 및 장치를 제공함에 있다.
본 발명의 다른 기술적 과제는 PDPC(Position Dependent inta Prediction Combination)의 효율을 높이는 방법 및 장치를 제공함에 있다.
본 발명의 다른 기술적 과제는 LIP를 적용할지 여부에 대한 결정 및 PDPC를 적용할지 여부에 대한 결정 중 적어도 하나를 기반으로 인트라 예측 방법을 결정하는 방법 및 장치를 제공함에 있다.
본 발명의 다른 기술적 과제는 인트라 예측 방법을 효율적으로 결정하여 인트라 예측의 효율을 높이는 방법 및 장치를 제공함에 있다.
본 발명의 일 실시예에 따르면, 디코딩 장치에 의하여 수행되는 영상 디코딩 방법이 제공된다. 상기 방법은 현재 블록에 대한 인트라 예측 모드를 도출하는 단계, 상기 인트라 예측 모드를 기반으로 상기 현재 블록에 LIP(Linear Intra Prediction)를 수행하여 상기 현재 블록의 예측 샘플을 도출하는 단계, 상기 현재 블록의 PDPC(Position dependent intra prediction combination) 수행 여부를 판단하는 단계, 상기 PDPC 가 수행된다고 판단된 경우, 상기 예측 샘플에 대해 상기 PDPC를 수행하여 수정된 예측 샘플을 도출하는 단계, 및 상기 수정된 예측 샘플을 기반으로 복원 픽처를 생성하는 단계를 포함하는 것을 특징으로 한다.
본 발명의 다른 일 실시예에 따르면, 영상 디코딩을 수행하는 디코딩 장치가 제공된다. 상기 디코딩 장치는 현재 블록에 대한 인트라 예측 모드를 도출하고, 상기 인트라 예측 모드를 기반으로 상기 현재 블록에 LIP(Linear Intra Prediction)를 수행하여 상기 현재 블록의 예측 샘플을 도출하고, 상기 현재 블록의 PDPC(Position dependent intra prediction combination) 수행 여부를 판단하고, 상기 PDPC 가 수행된다고 판단된 경우, 상기 예측 샘플에 대해 상기 PDPC를 수행하여 수정된 예측 샘플을 도출하는 예측부 및 상기 수정된 예측 샘플을 기반으로 복원 픽처를 생성하는 가산부를 포함하는 것을 특징으로 한다.
본 발명의 또 다른 일 실시예에 따르면, 인코딩 장치에 의하여 수행되는 비디오 인코딩 방법을 제공한다. 상기 방법은 현재 블록에 대한 인트라 예측 모드를 결정하는 단계, 상기 인트라 예측 모드를 기반으로 상기 현재 블록에 LIP(Linear Intra Prediction)를 수행하여 상기 현재 블록의 예측 샘플을 도출하는 단계, 상기 현재 블록의 PDPC(Position dependent intra prediction combination) 수행 여부를 판단하는 단계, 상기 PDPC 가 수행된다고 판단된 경우, 상기 예측 샘플에 대해 상기 PDPC를 수행하여 수정된 예측 샘플을 도출하는 단계 및 상기 현재 블록에 대한 인트라 예측 모드 정보를 포함하는 영상 정보를 인코딩하는 단계를 포함하는 것을 특징으로 한다.
본 발명의 또 다른 일 실시예에 따르면, 픽처 인코딩을 수행하는 인코딩 장치가 제공된다. 상기 인코딩 장치는, 현재 블록에 대한 인트라 예측 모드를 결정하고, 상기 인트라 예측 모드를 기반으로 상기 현재 블록에 LIP(Linear Intra Prediction)를 수행하여 상기 현재 블록의 예측 샘플을 도출하고, 상기 현재 블록의 PDPC(Position dependent intra prediction combination) 수행 여부를 판단하고, 상기 PDPC 가 수행된다고 판단된 경우, 상기 예측 샘플에 대해 상기 PDPC를 수행하여 수정된 예측 샘플을 도출하는 예측부, 및 상기 현재 블록에 대한 인트라 예측 모드 정보를 포함하는 영상 정보를 인코딩하는 엔트로피 인코딩부를 포함하는 것을 특징으로 한다.
본 발명에 따르면 전반적인 영상/비디오 압축 효율을 높일 수 있다.
본 발명에 따르면 인트라 예측의 효율을 높일 수 있다.
본 발명에 따르면 LIP 를 수행하여 도출된 예측 샘플에 PDPC 를 후처리로 수행할 수 있고, 이를 통하여 인트라 예측 정확도를 향상시킬 수 있고 전반적인 코딩 효율을 향상시킬 수 있다.
또한, 본 발명에 따르면 특정 조건을 기반으로 LIP 및/또는 PDPC를 적응적으로 적용하여 인트라 예측을 수행할 수 있고, 이를 통하여 인트라 예측 효율을 보다 향상시킬 수 있고, 전반적인 코딩 효율을 향상시킬 수 있다.
도 1은 본 발명이 적용될 수 있는 비디오 인코딩 장치의 구성을 개략적으로 설명하는 도면이다.
도 2는 영상 인코딩 방법을 수행하는 인코딩 장치의 일 예를 나타낸다.
도 3은 본 발명이 적용될 수 있는 비디오 디코딩 장치의 구성을 개략적으로 설명하는 도면이다.
도 4는 영상 디코딩 방법을 수행하는 디코딩 장치의 일 예를 나타낸다.
도 5는 인트라 예측 기반 영상 디코딩 방법의 일 예를 나타낸다.
도 6은 상기 현재 블록의 주변 블록들을 예시적으로 나타낸다.
도 7은 인트라 예측 모드들의 일 예시를 나타내는 도면이다.
도 8은 65개의 예측 방향의 인트라 방향성 모드들을 예시적으로 나타낸다.
도 9는 인트라 예측을 사용하는 인코딩 방법의 일 예를 나타낸다.
도 10은 인트라 예측을 사용하는 디코딩 방법의 일 예를 나타낸다.
도 11은 인트라 예측 기반 영상 인코딩 방법의 일 예를 나타낸다.
도 12는 인트라 예측 기반 영상 디코딩 방법의 일 예를 나타낸다.
도 13은 일 실시예에 따른 LIP를 설명하기 위한 도면이다.
도 14a 및 도 14b는 다른 일 실시예에 따른 LIP를 설명하기 위한 도면이다.
도 15는 또 다른 일 실시예에 따른 LIP를 설명하기 위한 도면이다.
도 16은 일 실시예에 따른 인트라 예측 부호화에서 최적의 예측 모드를 결정하는 방법을 나타내는 흐름도이다.
도 17a 및 도 17b는 인트라 예측 모드가 DC 모드일 때 PDPC 가중치를 적용하는 예시를 나타내는 도면이다.
도 18은 상기 LIP 및 상기 PDPC를 적용하는 일 예를 나타낸다.
도 19는 상기 LIP와 상기 PDPC를 조합한 인트라 예측 방법의 일 예를 나타낸다.
도 20은 상기 LIP와 상기 PDPC를 조합한 인트라 예측 방법의 다른 일 예를 나타낸다.
도 21은 본 발명에 따른 인코딩 장치에 의한 영상 인코딩 방법을 개략적으로 나타낸다.
도 22는 본 발명에 따른 영상 인코딩 방법을 수행하는 인코딩 장치를 개략적으로 나타낸다.
도 23은 본 발명에 따른 디코딩 장치에 의한 영상 디코딩 방법을 개략적으로 나타낸다.
도 24는 본 발명에 따른 영상 디코딩 방법을 수행하는 디코딩 장치를 개략적으로 나타낸다.
도 25는 본 발명이 적용되는 컨텐츠 스트리밍 시스템 구조도를 예시적으로 나타낸다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정 실시예에 한정하려고 하는 것이 아니다. 본 명세서에서 상용하는 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명의 기술적 사상을 한정하려는 의도로 사용되는 것은 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서 "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성 요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성 요소, 부품 도는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
한편, 본 발명에서 설명되는 도면상의 각 구성들은 서로 다른 특징적인 기능들에 관한 설명의 편의를 위해 독립적으로 도시된 것으로서, 각 구성들이 서로 별개의 하드웨어나 별개의 소프트웨어로 구현된다는 것을 의미하지는 않는다. 예컨대, 각 구성 중 두 개 이상의 구성이 합쳐져 하나의 구성을 이룰 수도 있고, 하나의 구성이 복수의 구성으로 나뉘어질 수도 있다. 각 구성이 통합 및/또는 분리된 실시예도 본 발명의 본질에서 벗어나지 않는 한 본 발명의 권리범위에 포함된다.
이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예를 보다 상세하게 설명하고자 한다. 이하, 도면상의 동일한 구성 요소에 대해서는 동일한 참조 부호를 사용하고 동일한 구성 요소에 대해서 중복된 설명은 생략한다.
한편, 본 발명은 비디오/영상 코딩에 관한 것이다. 예를 들어, 본 발명에서 개시된 방법/실시예는 VVC (versatile video coding) 표준, EVC (Essential Video Coding) 표준, AV1 (AOMedia Video 1) 표준, AVS2 (2nd generation of audio video coding standard) 또는 차세대 비디오/이미지 코딩 표준(예를 들어, H.267, H.268 등)에 개시된 방법에 적용될 수 있다.
본 명세서에서 픽처(picture)는 일반적으로 특정 시간대의 하나의 영상을 나타내는 단위를 의미하며, 슬라이스(slice)는 코딩에 있어서 픽처의 일부를 구성하는 단위이다. 하나의 픽처는 복수의 슬라이스로 구성될 수 있으며, 필요에 따라서 픽처 및 슬라이스는 서로 혼용되어 사용될 수 있다.
픽셀(pixel) 또는 펠(pel)은 하나의 픽처(또는 영상)을 구성하는 최소의 단위를 의미할 수 있다. 또한, 픽셀에 대응하는 용어로서 '샘플(sample)'이 사용될 수 있다. 샘플은 일반적으로 픽셀 또는 픽셀의 값을 나타낼 수 있으며, 휘도(luma) 성분의 픽셀/픽셀값만을 나타낼 수도 있고, 채도(chroma) 성분의 픽셀/픽셀 값만을 나타낼 수도 있다.
유닛(unit)은 영상 처리의 기본 단위를 나타낸다. 유닛은 픽처의 특정 영역 및 해당 영역에 관련된 정보 중 적어도 하나를 포함할 수 있다. 유닛은 경우에 따라서 블록(block) 또는 영역(area) 등의 용어와 혼용하여 사용될 수 있다. 일반적인 경우, MxN 블록은 M개의 열과 N개의 행으로 이루어진 샘플들 또는 변환 계수(transform coefficient)들의 집합을 나타낼 수 있다.
도 1은 본 발명이 적용될 수 있는 비디오 인코딩 장치의 구성을 개략적으로 설명하는 도면이다.
도 1을 참조하면, 비디오 인코딩 장치(100)는 픽처 분할부(105), 예측부(110), 레지듀얼 처리부(120), 엔트로피 인코딩부(130), 가산부(140), 필터부(150) 및 메모리(160)을 포함할 수 있다. 레지듀얼 처리부(120)는 감산부(121), 변환부(122), 양자화부(123), 재정렬부(124), 역양자화부(125) 및 역변환부(126)를 포함할 수 있다.
픽처 분할부(105)는 입력된 픽처를 적어도 하나의 처리 유닛(processing unit)으로 분할할 수 있다.
일 예로, 처리 유닛은 코딩 유닛(coding unit, CU)이라고 불릴 수 있다. 이 경우 코딩 유닛은 최대 코딩 유닛(largest coding unit, LCU)으로부터 QTBT (Quad-tree binary-tree) 구조에 따라 재귀적으로(recursively) 분할될 수 있다. 예를 들어, 하나의 코딩 유닛은 쿼드 트리 구조 및/또는 바이너리 트리 구조를 기반으로 하위(deeper) 뎁스의 복수의 코딩 유닛들로 분할될 수 있다. 이 경우 예를 들어 쿼드 트리 구조가 먼저 적용되고 바이너리 트리 구조가 나중에 적용될 수 있다. 또는 바이너리 트리 구조가 먼저 적용될 수도 있다. 더 이상 분할되지 않는 최종 코딩 유닛을 기반으로 본 발명에 따른 코딩 절차가 수행될 수 있다. 이 경우 영상 특성에 따른 코딩 효율 등을 기반으로, 최대 코딩 유닛이 바로 최종 코딩 유닛으로 사용될 수 있고, 또는 필요에 따라 코딩 유닛은 재귀적으로(recursively) 보다 하위 뎁스의 코딩 유닛들로 분할되어 최적의 사이즈의 코딩 유닛이 최종 코딩 유닛으로 사용될 수 있다. 여기서 코딩 절차라 함은 후술하는 예측, 변환, 및 복원 등의 절차를 포함할 수 있다.
다른 예로, 처리 유닛은 코딩 유닛(coding unit, CU) 예측 유닛(prediction unit, PU) 또는 변환 유닛(transform unit, TU)을 포함할 수도 있다. 코딩 유닛은 최대 코딩 유닛(largest coding unit, LCU)으로부터 쿼드 트리 구조를 따라서 하위(deeper) 뎁스의 코딩 유닛들로 분할(split)될 수 있다. 이 경우 영상 특성에 따른 코딩 효율 등을 기반으로, 최대 코딩 유닛이 바로 최종 코딩 유닛으로 사용될 수 있고, 또는 필요에 따라 코딩 유닛은 재귀적으로(recursively) 보다 하위 뎁스의 코딩 유닛들로 분할되어 최적의 사이즈의 코딩 유닛이 최종 코딩 유닛으로 사용될 수 있다. 최소 코딩 유닛(smallest coding unit, SCU)이 설정된 경우 코딩 유닛은 최소 코딩 유닛보다 더 작은 코딩 유닛으로 분할될 수 없다. 여기서 최종 코딩 유닛이라 함은 예측 유닛 또는 변환 유닛으로 파티셔닝 또는 분할되는 기반이 되는 코딩 유닛을 의미한다. 예측 유닛은 코딩 유닛으로부터 파티셔닝(partitioning)되는 유닛으로서, 샘플 예측의 유닛일 수 있다. 이 때, 예측 유닛은 서브 블록(sub block)으로 나뉠 수도 있다. 변환 유닛은 코딩 유닛으로부터 쿼드 트리 구조를 따라서 분할 될 수 있으며, 변환 계수를 유도하는 유닛 및/또는 변환 계수로부터 레지듀얼 신호(residual signal)를 유도하는 유닛일 수 있다. 이하, 코딩 유닛은 코딩 블록(coding block, CB), 예측 유닛은 예측 블록(prediction block, PB), 변환 유닛은 변환 블록(transform block, TB) 으로 불릴 수 있다. 예측 블록 또는 예측 유닛은 픽처 내에서 블록 형태의 특정 영역을 의미할 수 있고, 예측 샘플의 어레이(array)를 포함할 수 있다. 또한, 변환 블록 또는 변환 유닛은 픽처 내에서 블록 형태의 특정 영역을 의미할 수 있고, 변환 계수 또는 레지듀얼 샘플의 어레이를 포함할 수 있다.
예측부(110)는 처리 대상 블록(이하, 현재 블록이라 함)에 대한 예측을 수행하고, 상기 현재 블록에 대한 예측 샘플들을 포함하는 예측된 블록(predicted block)을 생성할 수 있다. 예측부(110)에서 수행되는 예측의 단위는 코딩 블록일 수 있고, 변환 블록일 수도 있고, 예측 블록일 수도 있다.
예측부(110)는 현재 블록에 인트라 예측이 적용되는지 인터 예측이 적용되는지를 결정할 수 있다. 일 예로, 예측부(110)는 CU 단위로 인트라 예측 또는 인터 예측이 적용되는지를 결정할 수 있다.
인트라 예측의 경우에, 예측부(110)는 현재 블록이 속하는 픽처(이하, 현재 픽처) 내의 현재 블록 외부의 참조 샘플을 기반으로 현재 블록에 대한 예측 샘플을 유도할 수 있다. 이 때, 예측부(110)는 (i) 현재 블록의 주변(neighboring) 참조 샘플들의 평균(average) 혹은 인터폴레이션(interpolation)을 기반으로 예측 샘플을 유도할 수 있고, (ii) 현재 블록의 주변 참조 샘플들 중 예측 샘플에 대하여 특정 (예측) 방향에 존재하는 참조 샘플을 기반으로 상기 예측 샘플을 유도할 수도 있다. (i)의 경우는 비방향성 모드 또는 비각도 모드, (ii)의 경우는 방향성(directional) 모드 또는 각도(angular) 모드라고 불릴 수 있다. 인트라 예측에서 예측 모드는 예를 들어 33개의 방향성 예측 모드와 적어도 2개 이상의 비방향성 모드를 가질 수 있다. 비방향성 모드는 DC 예측 모드 및 플래너 모드(Planar 모드)를 포함할 수 있다. 예측부(110)는 주변 블록에 적용된 예측 모드를 이용하여, 현재 블록에 적용되는 예측 모드를 결정할 수도 있다.
인터 예측의 경우에, 예측부(110)는 참조 픽처 상에서 움직임 벡터에 의해 특정되는 샘플을 기반으로, 현재 블록에 대한 예측 샘플을 유도할 수 있다. 예측부(110)는 스킵(skip) 모드, 머지(merge) 모드, 및 MVP(motion vector prediction) 모드 중 어느 하나를 적용하여 현재 블록에 대한 예측 샘플을 유도할 수 있다. 스킵 모드와 머지 모드의 경우에, 예측부(110)는 주변 블록의 움직임 정보를 현재 블록의 움직임 정보로 이용할 수 있다. 스킵 모드의 경우, 머지 모드와 달리 예측 샘플과 원본 샘플 사이의 차(레지듀얼)가 전송되지 않는다. MVP 모드의 경우, 주변 블록의 움직임 벡터를 움직임 벡터 예측자(Motion Vector Predictor)로 이용하여 현재 블록의 움직임 벡터 예측자로 이용하여 현재 블록의 움직임 벡터를 유도할 수 있다.
인터 예측의 경우에, 주변 블록은 현재 픽처 내에 존재하는 공간적 주변 블록(spatial neighboring block)과 참조 픽처(reference picture)에 존재하는 시간적 주변 블록(temporal neighboring block)을 포함할 수 있다. 상기 시간적 주변 블록을 포함하는 참조 픽처는 동일 위치 픽처(collocated picture, colPic)라고 불릴 수도 있다. 움직임 정보(motion information)는 움직임 벡터와 참조 픽처 인덱스를 포함할 수 있다. 예측 모드 정보와 움직임 정보 등의 정보는 (엔트로피) 인코딩되어 비트스트림 형태로 출력될 수 있다.
스킵 모드와 머지 모드에서 시간적 주변 블록의 움직임 정보가 이용되는 경우에, 참조 픽처 리스트(reference picture list) 상의 최상위 픽처가 참조 픽처로서 이용될 수도 있다. 참조 픽처 리스트(Picture Order Count)에 포함되는 참조 픽처들은 현재 픽처와 해당 참조 픽처 간의 POC(Picture order count) 차이 기반으로 정렬될 수 있다. POC는 픽처의 디스플레이 순서에 대응하며, 코딩 순서와 구분될 수 있다.
감산부(121)는 원본 샘플과 예측 샘플 간의 차이인 레지듀얼 샘플을 생성한다. 스킵 모드가 적용되는 경우에는, 상술한 바와 같이 레지듀얼 샘플을 생성하지 않을 수 있다.
변환부(122)는 변환 블록 단위로 레지듀얼 샘플을 변환하여 변환 계수(transform coefficient)를 생성한다. 변환부(122)는 해당 변환 블록의 사이즈와, 해당 변환 블록과 공간적으로 겹치는 코딩 블록 또는 예측 블록에 적용된 예측 모드에 따라서 변환을 수행할 수 있다. 예컨대, 상기 변환 블록과 겹치는 상기 코딩 블록 또는 상기 예측 블록에 인트라 예측이 적용되었고, 상기 변환 블록이 4×4의 레지듀얼 어레이(array)라면, 레지듀얼 샘플은 DST(Discrete Sine Transform) 변환 커널을 이용하여 변환되고, 그 외의 경우라면 레지듀얼 샘플은 DCT(Discrete Cosine Transform) 변환 커널을 이용하여 변환할 수 있다.
양자화부(123)는 변환 계수들을 양자화하여, 양자화된 변환 계수를 생성할 수 있다.
재정렬부(124)는 양자화된 변환 계수를 재정렬한다. 재정렬부(124)는 계수들 스캐닝(scanning) 방법을 통해 블록 형태의 양자화된 변환 계수들을 1차원 벡터 형태로 재정렬할 수 있다. 여기서 재정렬부(124)는 별도의 구성으로 설명하였으나, 재정렬부(124)는 양자화부(123)의 일부일 수 있다.
엔트로피 인코딩부(130)는 양자화된 변환 계수들에 대한 엔트로피 인코딩을 수행할 수 있다. 엔트로피 인코딩은 예를 들어 지수 골롬(exponential Golomb), CAVLC(context-adaptive variable length coding), CABAC(context-adaptive binary arithmetic coding) 등과 같은 인코딩 방법을 포함할 수 있다. 엔트로피 인코딩부(130)는 양자화된 변환 계수 외 비디오 복원에 필요한 정보들(예컨대 신택스 요소(syntax element)의 값 등)을 함께 또는 별도로 인코딩할 수도 있다. 엔트로피 인코딩된 정보들은 비트스트림 형태로 NAL(network abstraction layer) 유닛 단위로 전송 또는 저장될 수 있다.
역양자화부(125)는 양자화부(123)에서 양자화된 값(양자화된 변환 계수)들을 역양자화하고, 역변환부(126)는 역양자화부(125)에서 역양자화된 값들을 역변환하여 레지듀얼 샘플을 생성한다.
가산부(140)는 레지듀얼 샘플과 예측 샘플을 합쳐서 픽처를 복원한다. 레지듀얼 샘플과 예측 샘플은 블록 단위로 더해져서 복원 블록이 생성될 수 있다. 여기서 가산부(140)는 별도의 구성으로 설명하였으나, 가산부(140)는 예측부(110)의 일부일 수 있다. 한편, 가산부(140)는 복원부 또는 복원 블록 생성부로 불릴 수도 있다.
복원된 픽처(reconstructed picture)에 대하여 필터부(150)는 디블록킹 필터 및/또는 샘플 적응적 오프셋(sample adaptive offset)을 적용할 수 있다. 디블록킹 필터링 및/또는 샘플 적응적 오프셋을 통해, 복원 픽처 내 블록 경계의 아티팩트나 양자화 과정에서의 왜곡이 보정될 수 있다. 샘플 적응적 오프셋은 샘플 단위로 적용될 수 있으며, 디블록킹 필터링의 과정이 완료된 후 적용될 수 있다. 필터부(150)는 ALF(Adaptive Loop Filter)를 복원된 픽처에 적용할 수도 있다. ALF는 디블록킹 필터 및/또는 샘플 적응적 오프셋이 적용된 후의 복원된 픽처에 대하여 적용될 수 있다.
메모리(160)는 복원 픽처(디코딩된 픽처) 또는 인코딩/디코딩에 필요한 정보를 저장할 수 있다. 여기서 복원 픽처는 상기 필터부(150)에 의하여 필터링 절차가 완료된 복원 픽처일 수 있다. 상기 저장된 복원 픽처는 다른 픽처의 (인터) 예측을 위한 참조 픽처로 활용될 수 있다. 예컨대, 메모리(160)는 인터 예측에 사용되는 (참조) 픽처들을 저장할 수 있다. 이 때, 인터 예측에 사용되는 픽처들은 참조 픽처 세트(reference picture set) 혹은 참조 픽처 리스트(reference picture list)에 의해 지정될 수 있다.
도 2는 영상 인코딩 방법을 수행하는 인코딩 장치의 일 예를 나타낸다. 도 2를 참조하면 상기 비디오 인코딩 장치는 인트라/인터 예측을 수행하는 예측부, 변환(transform)을 수행하는 변환부, 양자화(quantization)를 수행하는 양자화부 및 엔트로피 인코딩(entropy encoding)을 수행하는 엔트로피 인코딩부를 포함할 수 있다. 예를 들어, 인트라/인터 예측을 통하여 현재 블록의 예측 블록이 생성될 수 있고, 상기 현재 블록의 입력 블록과 상기 예측 블록과의 감산을 통하여 상기 현재 블록의 레지듀얼 블록이 생성될 수 있다. 이 후, 상기 레지듀얼 블록에 대한 변환을 통하여 계수(coefficent) 블록, 즉, 상기 현재 블록의 변환 계수들이 생성될 수 있다. 상기 변환 계수들은 양자화 및 엔트로피 인코딩되어 비트스트림에 저장될 수 있다.
도 3은 본 발명이 적용될 수 있는 비디오 디코딩 장치의 구성을 개략적으로 설명하는 도면이다.
도 3을 참조하면, 비디오 디코딩 장치(300)는 엔트로피 디코딩부(310), 레지듀얼 처리부(320), 예측부(330), 가산부(340), 필터부(350) 및 메모리(360)를 포함할 수 있다. 여기서 레지듀얼 처리부(320)는 재정렬부(321), 역양자화부(322), 역변환부(323)을 포함할 수 있다.
비디오 정보를 포함하는 비트스트림이 입력되면, 비디오 디코딩 장치(300)는 비디오 인코딩 장치에서 비디오 정보가 처리된 프로세스에 대응하여 비디오를 복원할 수 있다.
예컨대, 비디오 디코딩 장치(300)는 비디오 인코딩 장치에서 적용된 처리 유닛을 이용하여 비디오 디코딩을 수행할 수 있다. 따라서 비디오 디코딩의 처리 유닛 블록은 일 예로 코딩 유닛일 수 있고, 다른 예로 코딩 유닛, 예측 유닛 또는 변환 유닛일 수 있다. 코딩 유닛은 최대 코딩 유닛으로부터 쿼드 트리 구조 및/또는 바이너리 트리 구조를 따라서 분할될 수 있다.
예측 유닛 및 변환 유닛이 경우에 따라 더 사용될 수 있으며, 이 경우 예측 블록은 코딩 유닛으로부터 도출 또는 파티셔닝되는 블록으로서, 샘플 예측의 유닛일 수 있다. 이 때, 예측 유닛은 서브 블록으로 나뉠 수도 있다. 변환 유닛은 코딩 유닛으로부터 쿼드 트리 구조를 따라서 분할 될 수 있으며, 변환 계수를 유도하는 유닛 또는 변환 계수로부터 레지듀얼 신호를 유도하는 유닛일 수 있다.
엔트로피 디코딩부(310)는 비트스트림을 파싱하여 비디오 복원 또는 픽처 복원에 필요한 정보를 출력할 수 있다. 예컨대, 엔트로피 디코딩부(310)는 지수 골롬 부호화, CAVLC 또는 CABAC 등의 코딩 방법을 기초로 비트스트림 내 정보를 디코딩하고, 비디오 복원에 필요한 신택스 엘리먼트의 값, 레지듀얼에 관한 변환 계수의 양자화된 값 들을 출력할 수 있다.
보다 상세하게, CABAC 엔트로피 디코딩 방법은, 비트스트림에서 각 구문 요소에 해당하는 빈을 수신하고, 디코딩 대상 구문 요소 정보와 주변 및 디코딩 대상 블록의 디코딩 정보 혹은 이전 단계에서 디코딩된 심볼/빈의 정보를 이용하여 문맥(context) 모델을 결정하고, 결정된 문맥 모델에 따라 빈(bin)의 발생 확률을 예측하여 빈의 산술 디코딩(arithmetic decoding)를 수행하여 각 구문 요소의 값에 해당하는 심볼을 생성할 수 있다. 이때, CABAC 엔트로피 디코딩 방법은 문맥 모델 결정 후 다음 심볼/빈의 문맥 모델을 위해 디코딩된 심볼/빈의 정보를 이용하여 문맥 모델을 업데이트할 수 있다.
엔트로피 디코딩부(310)에서 디코딩된 정보 중 예측에 관한 정보는 예측부(330)로 제공되고, 엔트로피 디코딩부(310)에서 엔트로피 디코딩이 수행된 레지듀얼 값, 즉 양자화된 변환 계수는 재정렬부(321)로 입력될 수 있다.
재정렬부(321)는 양자화되어 있는 변환 계수들을 2차원의 블록 형태로 재정렬할 수 있다. 재정렬부(321)는 인코딩 장치에서 수행된 계수 스캐닝에 대응하여 재정렬을 수행할 수 있다. 여기서 재정렬부(321)는 별도의 구성으로 설명하였으나, 재정렬부(321)는 역양자화부(322)의 일부일 수 있다.
역양자화부(322)는 양자화되어 있는 변환 계수들을 (역)양자화 파라미터를 기반으로 역양자화하여 변환 계수를 출력할 수 있다. 이 때, 양자화 파라미터를 유도하기 위한 정보는 인코딩 장치로부터 시그널링될 수 있다.
역변환부(323)는 변환 계수들을 역변환하여 레지듀얼 샘플들을 유도할 수 있다.
예측부(330)는 현재 블록에 대한 예측을 수행하고, 상기 현재 블록에 대한 예측 샘플들을 포함하는 예측된 블록(predicted block)을 생성할 수 있다. 예측부(330)에서 수행되는 예측의 단위는 코딩 블록일 수도 있고, 변환 블록일 수도 있고, 예측 블록일 수도 있다.
예측부(330)는 상기 예측에 관한 정보를 기반으로 인트라 예측을 적용할 것인지 인터 예측을 적용할 것인지를 결정할 수 있다. 이 때, 인트라 예측과 인터 예측 중 어느 것을 적용할 것인지를 결정하는 단위와 예측 샘플을 생성하는 단위는 상이할 수 있다. 아울러, 인터 예측과 인트라 예측에 있어서 예측 샘플을 생성하는 단위 또한 상이할 수 있다. 예를 들어, 인터 예측과 인트라 예측 중 어느 것을 적용할 것인지는 CU 단위로 결정할 수 있다. 또한 예를 들어, 인터 예측에 있어서 PU 단위로 예측 모드를 결정하고 예측 샘플을 생성할 수 있고, 인트라 예측에 있어서 PU 단위로 예측 모드를 결정하고 TU 단위로 예측 샘플을 생성할 수도 있다.
인트라 예측의 경우에, 예측부(330)는 현재 픽처 내의 주변 참조 샘플을 기반으로 현재 블록에 대한 예측 샘플을 유도할 수 있다. 예측부(330)는 현재 블록의 주변 참조 샘플을 기반으로 방향성 모드 또는 비방향성 모드를 적용하여 현재 블록에 대한 예측 샘플을 유도할 수 있다. 이 때, 주변 블록의 인트라 예측 모드를 이용하여 현재 블록에 적용할 예측 모드가 결정될 수도 있다.
인터 예측의 경우에, 예측부(330)는 참조 픽처 상에서 움직임 벡터에 의해 참조 픽처 상에서 특정되는 샘플을 기반으로 현재 블록에 대한 예측 샘플을 유도할 수 있다. 예측부(330)는 스킵(skip) 모드, 머지(merge) 모드 및 MVP 모드 중 어느 하나를 적용하여 현재 블록에 대한 예측 샘플을 유도할 수 있다. 이때, 비디오 인코딩 장치에서 제공된 현재 블록의 인터 예측에 필요한 움직임 정보, 예컨대 움직임 벡터, 참조 픽처 인덱스 등에 관한 정보는 상기 예측에 관한 정보를 기반으로 획득 또는 유도될 수 있다
스킵 모드와 머지 모드의 경우에, 주변 블록의 움직임 정보가 현재 블록의 움직임 정보로 이용될 수 있다. 이 때, 주변 블록은 공간적 주변 블록과 시간적 주변 블록을 포함할 수 있다.
예측부(330)는 가용한 주변 블록의 움직임 정보로 머지 후보 리스트를 구성하고, 머지 인덱스가 머지 후보 리스트 상에서 지시하는 정보를 현재 블록의 움직임 벡터로 사용할 수 있다. 머지 인덱스는 인코딩 장치로부터 시그널링될 수 있다. 움직임 정보는 움직임 벡터와 참조 픽처를 포함할 수 있다. 스킵 모드와 머지 모드에서 시간적 주변 블록의 움직임 정보가 이용되는 경우에, 참조 픽처 리스트 상의 최상위 픽처가 참조 픽처로서 이용될 수 있다.
스킵 모드의 경우, 머지 모드와 달리 예측 샘플과 원본 샘플 사이의 차이(레지듀얼)이 전송되지 않는다.
MVP 모드의 경우, 주변 블록의 움직임 벡터를 움직임 벡터 예측자(motion vector predictor)로 이용하여 현재 블록의 움직임 벡터가 유도될 수 있다. 이 때, 주변 블록은 공간적 주변 블록과 시간적 주변 블록을 포함할 수 있다.
일 예로, 머지 모드가 적용되는 경우, 복원된 공간적 주변 블록의 움직임 벡터 및/또는 시간적 주변 블록인 Col 블록에 대응하는 움직임 벡터를 이용하여, 머지 후보 리스트가 생성될 수 있다. 머지 모드에서는 머지 후보 리스트에서 선택된 후보 블록의 움직임 벡터가 현재 블록의 움직임 벡터로 사용된다. 상기 예측에 관한 정보는 상기 머지 후보 리스트에 포함된 후보 블록들 중에서 선택된 최적의 움직임 벡터를 갖는 후보 블록을 지시하는 머지 인덱스를 포함할 수 있다. 이 때, 예측부(330)는 상기 머지 인덱스를 이용하여, 현재 블록의 움직임 벡터를 도출할 수 있다.
다른 예로, MVP(Motion Vector Prediction) 모드가 적용되는 경우, 복원된 공간적 주변 블록의 움직임 벡터 및/또는 시간적 주변 블록인 Col 블록에 대응하는 움직임 벡터를 이용하여, 움직임 벡터 예측자 후보 리스트가 생성될 수 있다. 즉, 복원된 공간적 주변 블록의 움직임 벡터 및/또는 시간적 주변 블록인 Col 블록에 대응하는 움직임 벡터는 움직임 벡터 후보로 사용될 수 있다. 상기 예측에 관한 정보는 상기 리스트에 포함된 움직임 벡터 후보 중에서 선택된 최적의 움직임 벡터를 지시하는 예측 움직임 벡터 인덱스를 포함할 수 있다. 이 때, 예측부(330)는 상기 움직임 벡터 인덱스를 이용하여, 움직임 벡터 후보 리스트에 포함된 움직임 벡터 후보 중에서, 현재 블록의 예측 움직임 벡터를 선택할 수 있다. 인코딩 장치의 예측부는 현재 블록의 움직임 벡터와 움직임 벡터 예측자 간의 움직임 벡터 차분(MVD)을 구할 수 있고, 이를 인코딩하여 비트스트림 형태로 출력할 수 있다. 즉, MVD는 현재 블록의 움직임 벡터에서 상기 움직임 벡터 예측자를 뺀 값으로 구해질 수 있다. 이 때, 예측부(330)는 상기 예측에 관한 정보에 포함된 움직임 벡터 차분을 획득하고, 상기 움직임 벡터 차분과 상기 움직임 벡터 예측자의 가산을 통해 현재 블록의 상기 움직임 벡터를 도출할 수 있다. 예측부는 또한 참조 픽처를 지시하는 참조 픽처 인덱스 등을 상기 예측에 관한 정보로부터 획득 또는 유도할 수 있다.
가산부(340)는 레지듀얼 샘플과 예측 샘플을 더하여 현재 블록 혹은 현재 픽처를 복원할 수 있다. 가산부(340)는 레지듀얼 샘플과 예측 샘플을 블록 단위로 더하여 현재 픽처를 복원할 수도 있다. 스킵 모드가 적용된 경우에는 레지듀얼이 전송되지 않으므로, 예측 샘플이 복원 샘플이 될 수 있다. 여기서는 가산부(340)를 별도의 구성으로 설명하였으나, 가산부(340)는 예측부(330)의 일부일 수도 있다. 한편, 가산부(340)는 복원부 또는 복원 블록 생성부로 불릴 수도 있다.
필터부(350)는 복원된 픽처에 디블록킹 필터링 샘플 적응적 오프셋, 및/또는 ALF 등을 적용할 수 있다. 이 때, 샘플 적응적 오프셋은 샘플 단위로 적용될 수 있으며, 디블록킹 필터링 이후 적용될 수도 있다. ALF는 디블록킹 필터링 및/또는 샘플 적응적 오프셋 이후 적용될 수도 있다.
메모리(360)는 복원 픽처(디코딩된 픽처) 또는 디코딩에 필요한 정보를 저장할 수 있다. 여기서 복원 픽처는 상기 필터부(350)에 의하여 필터링 절차가 완료된 복원 픽처일 수 있다. 예컨대, 메모리(360)는 인터 예측에 사용되는 픽처들을 저장할 수 있다. 이 때, 인터 예측에 사용되는 픽처들은 참조 픽처 세트 혹은 참조 픽처 리스트에 의해 지정될 수도 있다. 복원된 픽처는 다른 픽처에 대한 참조 픽처로서 이용될 수 있다. 또한, 메모리(360)는 복원된 픽처를 출력 순서에 따라서 출력할 수도 있다.
도 4는 영상 디코딩 방법을 수행하는 디코딩 장치의 일 예를 나타낸다. 도 4를 참조하면 상기 디코딩 장치는 엔트로피 디코딩부, 역양자화부, 역변환부 및 인트라/인터 예측 과정을 수행하는 예측부를 포함할 수 있다. 예를 들어, 디코딩 장치에서는 상기 인코딩 방법의 역과정이 수행될 수 있다. 구체적으로, 비트스트림에 대한 엔트로피 디코딩을 통하여 양자화된 변환 계수들이 획득될 수 있고, 상기 양자화된 변환 계수들에 대한 역양자화 과정을 통하여 현재 블록의 계수 블록, 즉, 변환 계수들이 획득될 수 있다. 상기 변환 계수들에 대한 역변환을 통하여 상기 현재 블록의 레지듀얼 블록이 도출될 수 있고, 인트라/인터 예측을 통하여 도출된 상기 현재 블록의 예측 블록과 상기 레지듀얼 블록과의 가산을 통하여 상기 현재 블록의 복원 블록(reconstructed block)이 도출될 수 있다.
한편, 상술한 인트라 예측이 수행되는 경우, 후술하는 것과 같이 디코딩될 수 있다.
도 5는 인트라 예측 기반 영상 디코딩 방법의 일 예를 나타낸다.
도 5를 참조하면 디코딩 장치는 영상 정보로부터 현재 블록의 인트라 예측 모드를 도출할 수 있다(S500). 디코딩 장치는 상기 현재 블록의 주변 블록, 즉, 주변 샘플을 이용하여 인트라 예측에 사용될 참조 샘플을 도출할 수 있다(S510). 여기서, 상기 현재 블록의 상기 주변 블록은 상기 현재 블록의 좌측 주변 블록, 상측 주변 블록, 좌상측 주변 블록, 우상측 주변 블록, 좌하측 주변 블록, 하측 주변 블록, 우측 주변 블록 및 우하측 주변 블록 중 적어도 하나를 포함할 수 있다. 여기서, 상기 하측 주변 블록, 우측 주변 블록 및 우하측 주변 블록이 스캔 오더에 따라 상기 현재 블록의 디코딩 시점에 복원되지 않은 경우, 상기 하측 주변 블록, 우측 주변 블록 및 우하측 주변 블록의 참조 샘플들은 상기 하측 주변 블록, 우측 주변 블록 및 우하측 주변 블록 이외의 주변 블록의 참조 샘플로부터 도출될 수 있다.
이후, 디코딩 장치는 상기 인트라 예측 모드 및 상기 참조 샘플을 기반으로 상기 현재 블록의 예측 샘플을 생성할 수 있다(S520). 디코딩 장치는 상기 예측 샘플과 레지듀얼 샘플을 합하여 복원 픽처를 생성할 수 있다(S530).
한편, 인코딩 장치는 인트라 예측 기반 코딩에서 인트라 예측 모드 관련 정보를 효율적으로 코딩하기 위하여 상기 현재 블록의 주변 블록의 인트라 예측 모드를 기반으로 상기 현재 블록의 MPM(Most Probable Mode) 후보들을 포함하는 MPM 리스트를 결정할 수 있고, 상기 현재 블록의 인트라 예측 모드가 상기 MPM 후보들 중 하나인 경우, 상기 MPM 후보들 중 상기 현재 블록의 인트라 예측 모드를 가리키는 인덱스(즉, MPM 인덱스)를 인코딩하여 시그널링하여 상기 현재 블록의 인트라 예측 모드를 나타내는 정보를 인코딩할 수 있다. 또한, 상기 현재 블록의 인트라 예측 모드가 상기 MPM 후보들에 포함되지 않는 경우, 인코딩 장치는 상기 MPM 후보들을 제외한 나머지 인트라 예측 모드들 중 하나의 인트라 예측 모드를 나타내는 리메이닝(remaining) 인트라 예측 모드 정보를 인코딩할 수 있다. 상기 현재 블록의 MPM 리스트를 구성하기 위하여 사용되는 상기 현재 블록의 주변 블록들은 다음과 같이 나타낼 수 있다.
도 6은 상기 현재 블록의 주변 블록들을 예시적으로 나타낸다. 도 6을 참조하면 상기 현재 블록의 상기 주변 블록들은 좌측 주변 블록, 상측 주변 블록, 좌하측 주변 블록, 우상측 주변 블록 및/또는 좌상측 주변 블록을 포함할 수 있다. 여기서, 상기 현재 블록의 사이즈가 WxH 이고, 현재 블록의 좌상단(top-left) 샘플 포지션의 x성분이 0 및 y성분이 0인 경우, 상기 좌측 주변 블록은 (-1, H-1) 좌표의 샘플을 포함하는 블록이고, 상기 상측 주변 블록은 (W-1, -1) 좌표의 샘플을 포함하는 블록이고, 상기 우상측 주변 블록은 (W, -1) 좌표의 샘플을 포함하는 블록이고, 상기 좌하측 주변 블록은 (-1, H) 좌표의 샘플을 포함하는 블록이고, 상기 좌상측 주변 블록은 (-1, -1) 좌표의 샘플을 포함하는 블록일 수 있다.
한편, 상기 MPM 리스트에 포함되는 MPM 후보들의 개수는 인트라 예측 모드의 개수를 기반으로 결정될 수 있다. 예를 들어, 인트라 예측 모드의 개수가 증가함에 따라서 상기 MPM 후보들의 개수가 증가할 수 있으나, 그렇지 않을 수도 있다. 예를 들어, 상기 MPM 리스트는 3개의 MPM 후보들, 5개의 후보들 또는 6개의 MPM 후보들을 포함할 수 있다.
일 예로, 인트라 예측 모드의 개수가 67개이고, 상기 MPM 리스트가 6개의 MPM 후보들을 포함하는 경우, 상기 MPM 리스트는 후술하는 바와 같이 구성될 수 있다.
인코딩 장치/디코딩 장치는 좌측 주변 블록의 인트라 예측 모드, 상측 주변 블록의 인트라 예측 모드, 플래너 인트라 예측 모드, 좌하측 주변 블록의 인트라 예측 모드, 우상측 주변 블록의 인트라 예측 모드, 좌상측 주변 블록의 인트라 예측 모드의 순서로 탐색하면서 MPM 후보를 도출할 수 있다. 한편, 상기 MPM 후보의 도출을 위하여 탐색할 주변 블록의 위치와 주변 블록의 탐색 순서는 임의로 결정될 수 있다. 또한, 상기 주변 블록을 탐색하여 MPM 후보를 도출한 후에 MPM 후보의 개수가 6개보다 작은 경우, 인코딩 장치/디코딩 장치는 각각의 도출된 각 MPM 후보에 ±1한 인트라 예측 모드를 MPM 후보로 추가할 수 있다. 이 경우, MPM 후보들의 수가 6이 되면 상기 MPM 후보 도출 과정은 종료될 수 있다. 한편, 각 MPM 후보에 ±1한 인트라 예측 모드를 MPM 후보로 추가하여도 MPM 후보의 수가 6개보다 작은 경우, 인코딩 장치/디코딩 장치는 아래 정의한 디폴트 인트라 예측 모드들을 순차적으로 도출된 MPM 후보와 중복 확인하며 중복되지 않은 경우에는 상기 MPM 후보로 추가할 수 있다.
예를 들어, 상기 디폴트 인트라 예측 모드들은 다음의 표와 같이 도출될 수 있다.
Figure PCTKR2019008441-appb-T000001
여기서, VER_IDX는 수직 인트라 예측 모드를 나타내고, HOR_IDX는 수평 인트라 예측 모드를 나타내고, 2 는 2번 인트라 예측 모드(즉, 좌하단 대각방향 인트라 예측 모드)를 나타내고, DIA_IDX는 좌상단 대각방향 인트라 예측 모드를 나타낸다.
상기 디폴트 인트라 예측 모드들과 상기 디폴트 인트라 예측 모드들을 탐색하는 순서는 임의로 결정될 수 있다. 또한, 상술한 MPM 후보 도출 과정은 모든 과정에서 중복 모드 확인 과정이 수행될 수 있고, 이에, 도출된 MPM 후보들은 서로 다른 인트라 예측 모드들로 구성될 수 있다.
또는, 일 예로, 상기 MPM 리스트는 주변 블록의 인트라 예측 모드, 도출된 인트라 예측 모드 및/또는 디폴트(default) 인트라 예측 모드를 기반으로 도출된 후보들을 포함할 수 있다. 인코딩 장치/디코딩 장치는 현재 블록의 주변 블록들을 특정 순서에 따라 탐색할 수 있고, 주변 블록의 인트라 예측 모드를 도출된 순서로 상기 MPM 후보로 도출할 수 있다. 예를 들어, 상기 주변 블록들은 좌측 주변 블록, 상측 주변 블록, 좌하측 주변 블록, 우상측 주변 블록, 좌상측 주변 블록을 포함할 수 있고, 인코딩 장치/디코딩 장치는 상기 좌측 주변 블록의 인트라 예측 모드, 상기 상측 주변 블록의 인트라 예측 모드, 플래너 인트라 예측 모드, DC 인트라 예측 모드, 상기 좌하측 주변 블록의 인트라 예측 모드, 상기 우상측 주변 블록의 인트라 예측 모드, 상기 좌상측 주변 블록의 인트라 예측 모드 순서로 탐색하여 MPM 후보를 도출하고 상기 현재 블록의 상기 MPM 리스트를 구성할 수 있다. 한편, 상기 탐색 후, 6개의 MPM 후보들이 도출되지 않은 경우, MPM 후보로 도출된 인트라 예측 모드를 기반으로 MPM 후보가 도출될 수 있다. 예를 들어, 상기 MPM 후보로 도출된 인트라 예측 모드가 N번 인트라 예측 모드인 경우, 인코딩 장치/디코딩 장치는 상기 N+1번 인트라 예측 모드 및/또는 N-1번 인트라 예측 모드를 상기 현재 블록의 MPM 후보로 도출할 수 있다.
참고로, 예를 들어, 인트라 예측 모드는 2개의 비방향성(non-directional, 또는 비각도성(non-angular)) 인트라 예측 모드들과 33개의 방향성(directional, 또는 각도성(angular)) 인트라 예측 모드들을 포함할 수 있다.
도 7은 인트라 예측 모드들의 일 예시를 나타내는 도면이다.
도 7을 참조하면, 일 실시예에서는 화면 내 예측을 위해 33가지의 방향성 예측 방법과 두 가지의 무 방향성 예측 방법, 총 35가지 예측 방법을 사용하여 현재 블록의 예측 블록을 생성할 수 있다. 이 때, 현재 블록을 예측하기 위해 주변의 참조 샘플(상단 참조 샘플들과 좌단 참조 샘플들)을 이용하여 예측 샘플을 생성한 후, 예측 방향성을 따라 생성된 예측 샘플을 복사한다. 화면 내 예측은 예측 샘플을 단순히 복사하므로 예측 샘플과 참조 샘플과의 거리가 멀어질수록 에러가 증가하는 경향이 있다.
또한, 예를 들어, 인트라 예측 모드는 2개의 비방향성(non-directional, 또는 비각도성(non-angular)) 인트라 예측 모드들과 65개의 방향성(directional, 또는 각도성(angular)) 인트라 예측 모드들을 포함할 수 있다. 상기 비방향성 인트라 예측 모드들은 0번인 플래너(planar) 인트라 예측 모드 및 1번인 DC 인트라 예측 모드를 포함할 수 있고, 상기 방향성 인트라 예측 모드들은 2번 내지 66번의 65개의 인트라 예측 모드들을 포함할 수 있다. 다만, 이는 예시로서 본 발명은 인트라 예측 모드들의 수가 다른 경우에도 적용될 수 있다. 한편, 경우에 따라 67번 인트라 예측 모드가 더 사용될 수 있으며, 상기 67번 인트라 예측 모드는 LM(linear model) 모드를 나타낼 수 있다.
도 8은 65개의 예측 방향의 인트라 방향성 모드들을 예시적으로 나타낸다.
도 8을 참조하면, 좌상향 대각 예측 방향을 갖는 34번 인트라 예측 모드를 중심으로 수평 방향성(horizontal directionality)을 갖는 인트라 예측 모드와 수직 방향성(vertical directionality)을 갖는 인트라 예측 모드를 구분할 수 있다. 도 8의 H와 V는 각각 수평 방향성과 수직 방향성을 의미하며, -32 ~ 32의 숫자는 샘플 그리드 포지션(sample grid position) 상에서 1/32 단위의 변위를 나타낸다. 2번 내지 33번 인트라 예측 모드는 수평 방향성, 34번 내지 66번 인트라 예측 모드는 수직 방향성을 갖는다. 18번 인트라 예측 모드와 50번 인트라 예측 모드는 각각 수평 인트라 예측 모드(horizontal intra prediction mode), 수직 인트라 예측 모드(vertical intra prediction mode)를 나타내며, 2번 인트라 예측 모드는 좌하향 대각 인트라 예측 모드, 34번 인트라 예측 모드는 좌상향 대각 인트라 예측 모드, 66번 인트라 예측 모드는 우상향 대각 인트라 예측 모드라고 불릴 수 있다.
도 9는 인트라 예측을 사용하는 인코딩 방법의 일 예를 나타낸다.
도 9를 참조하면 인코딩 장치는 하나 또는 복수의 주변 블록들이 인트라 예측 모드로 인코딩된 경우, 해당 주변 블록의 인트라 예측 모드 정보를 도출할 수 있다(S900). 인코딩 장치는 상기 주변 블록의 인트라 예측 모드 정보를 이용하여 MPM(most probable modes) 후보(또는, MPM 리스트)를 리스트 업(list up)할 수 있다(S910). 인트라 예측 기반 인코딩이 수행되는 경우, 상기 현재 블록의 주변 블록과 현재 블록의 유사성을 고려함으로써 중복되는 정보의 손실을 막을 수 있고, 이를 통하여 인코딩 효율을 증가시킬 수 있다. 인트라 예측 모드 정보를 전송함에 상기 현재 블록의 주변 블록과 현재 블록의 유사성을 고려하는 방법은 MPM(most probable modes)이라고 지칭할 수 있다.
주변 블록은 현재 블록의 바로 주변에 위치하고 있기 때문에 적용되는 인트라 예측 모드가 유사할 확률이 매우 높다. 따라서, 주변 블록의 인트라 예측 모드를 이용하여 상기 현재 블록의 인트라 예측 모드를 표현할 수 있다.
예를 들어, 상기 주변 블록은 현재 블록의 디코딩 시점에 활용할 수 있는 가능성이 가장 높은(즉, 상기 현재 블록의 디코딩 시점에 이미 디코딩된 블록이 존재할 가능성이 가장 높은) 좌측 주변 블록과 상측 주변 블록을 포함할 수 있다.
일 예로, 상기 현재 블록의 MPM 후보는 총 3개의 인트라 예측 모드들로 구성될 수 있다. 즉, 상기 현재 블록의 MPM 후보들의 개수는 3개일 수 있다.
예를 들어, 상기 현재 블록의 좌측 주변 블록의 인트라 예측 모드와 상측 주변 블록의 인트라 예측 모드가 동일하지 않다면, 첫 번째 MPM 후보는 좌측 주변 블록의 인트라 예측 모드로 결정될 수 있고, 두 번째 MPM 후보는 상측 주변 블록의 인트라 예측 모드로 결정될 수 있고, 세 번째 MPM 후보는 플래너(Planar) 인트라 예측 모드, DC 인트라 예측 모드 또는 수직 인트라 예측 모드 중 어느 하나로 결정될 수 있다.
또한, 상기 좌측 주변 블록의 인트라 예측 모드와 상기 상측 주변 블록의 인트라 예측 모드가 동일하고, 상기 중복된 인트라 예측 모드의 모드 번호가 2보다 작다면(즉, 플래너 인트라 예측 모드 또는 DC 인트라 예측 모드이면), 첫 번째 MPM 후보는 플래너 인트라 예측 모드로 결정될 수 있고, 두 번째 MPM 후보는 DC 인트라 예측 모드로 결정될 수 있고, 세 번째 MPM 후보는 수직 인트라 예측 모드로 결정될 수 있다.
또한, 상기 좌측 주변 블록의 인트라 예측 모드와 상기 상측 주변 블록의 인트라 예측 모드가 동일하고, 상기 중복된 인트라 예측 모드의 모드 번호가 2 보다 작지 않다면, 첫 번째 MPM 후보는 상기 중복된 인트라 예측 모드로 결정될 수 있고, 두 번째 MPM 후보 및 세 번째 MPM 후보는 상기 중복된 인트라 예측 모드에 이웃한 두 인트라 예측 모드들(즉, 상기 중복된 인트라 예측 모드가 N번 인트라 예측 모드이면 N+1번 인트라 예측 모드 및 N-1번 인트라 예측 모드)로 결정될 수 있다.
또한, 다른 일 예로, 상기 현재 블록의 MPM 후보는 총 3개가 아닌 N개의 인트라 예측 모드들로 구성될 수 있고, 이 경우, 상기 MPM 후보의 개수에 따라 상기 MPM 후보를 구성하는 방법은 변경될 수 있다. 예를 들어, 상기 현재 블록의 MPM 후보들의 개수는 6개일 수 있다.
상기 MPM 후보들의 개수가 6개인 경우, 상술한 6개의 MPM 후보들을 구성(또는 MPM 리스트)하는 방법이 적용될 수 있다.
인코딩 장치는 상기 현재 블록에 적용될 최적의(best) 인트라 예측 모드가 앞서 구성된 MPM 후보에 포함되는지 판단할 수 있다(S920). 상기 현재 블록의 인트라 예측 모드가 상기 MPM 후보에 포함되는 경우, 인코딩 장치는 MPM 플래그 및 MPM 인덱스를 인코딩할 수 있다(S930).
여기서, 상기 MPM 플래그는 상기 현재 블록의 인트라 예측 모드가 주변의 인트라 예측이 적용된 블록으로부터 도출(즉, 현재 블록의 인트라 예측 모드가 MPM 리스트 내 MPM 후보들에 포함)되는지 여부를 지시할 수 있다.
또한, 상기 MPM 인덱스는 상기 도출된 MPM 후보들 중 현재 블록의 인트라 예측 모드로서 어떠한 MPM 후보가 적용되는지 지시할 수 있다.
한편, 상기 현재 블록의 인트라 예측 모드가 상기 MPM 후보들에 포함되지 않는 경우, 인코딩 장치는 상기 현재 블록의 인트라 예측 모드를 나타내는 리메이닝 인트라 예측 모드 정보를 인코딩할 수 있다(S940). 상기 리메이닝 인트라 예측 모드 정보는 전체 인트라 예측 모드들 중 상기 MPM 후보들을 제외한 나머지 인트라 예측 모드들에서의 순서를 지시할 수 있다.
도 10은 인트라 예측을 사용하는 디코딩 방법의 일 예를 나타낸다.
도 10을 참조하면 디코딩 장치는 현재 블록에 대한 MPM 플래그를 파싱(parsing)할 수 있다(S1000). 디코딩 장치는 상기 MPM 플래그를 기반으로 상기 현재 블록에 MPM 코딩이 적용되는지, 즉, MPM 리스트에 상기 현재 블록의 인트라 예측 모드가 포함되는지 판단할 수 있다(S1010).
상기 현재 블록에 MPM 코딩이 적용되는 경우, 디코딩 장치는 상기 현재 블록에 대한 MPM 인덱스를 파싱(parsing)할 수 있다(S1020). 이후, 디코딩 장치는 상기 MPM 인덱스가 지시하는 MPM 후보를 현재 블록의 인트라 예측 모드로 도출할 수 있다(S1030).
한편, 상기 현재 블록에 MPM 코딩이 적용되지 않는 경우, 디코딩 장치는 상기 현재 블록에 대한 리메이닝 인트라 예측 모드 정보를 파싱(parsing)한다(S1040).
상술한 내용과 같이 인트라 예측에서 MPM 코딩이 이용되는 경우, 전체 인트라 예측 모드들의 개수가 N개이면 이를 표현하기 위한 최소한의 비트는 Log2(N)인 반면, MPM 코딩에서는 나머지 인트라 예측 모드 정보가 전체 인트라 예측 모드의 개수보다 적게 할당된 개수의 나머지 인트라 예측 모드들을 나타내기 때문에 훨씬 적은 비트로 현재 블록의 인트라 예측 모드를 표현할 수 있다.
예를 들어, 전체 인트라 예측 모드 개수가 35개이고 MPM 후보의 개수는 3개인 경우, 만일 MPM 코딩을 사용하지 않는다면 35개의 인트라 예측 모드를 표현하기 위해서 6 비트의 정보가 전송되어야 한다. 반면, 3개의 MPM 후보들이 사용되고 현재 블록의 인트라 예측 모드가 MPM 후보들 중 하나인 경우, 2 비트만으로 상기 현재 블록에 대한 인트라 예측 모드를 나타내는 정보를 전달할 수 있고, 만약 현재 블록의 인트라 예측 모드가 MPM 후보들에 포함되지 않더라도 MPM 후보로 표현할 수 있는 3개의 인트라 예측 모드들을 제외한 나머지 32개의 인트라 예측 모드들 중에서 한 개의 인트라 예측 모드가 선택된 것이기 때문에 5 비트만으로 상기 현재 블록에 대한 인트라 예측 모드를 나타내는 정보가 표현될 수 있다.
다만, 상기 MPM 후보를 구성하는 과정에서 이용하는 주변 블록은 좌측 주변 블록 및 상측 주변 블록만을 대상으로 하면 상기 현재 블록의 인트라 예측 모드가 상기 MPM 후보에 속할 확률이 낮을 수도 있다. 상기 현재 블록의 인트라 예측 모드가 MPM 후보에 속하지 않는 경우 상술한 바와 같이 인트라 예측 모드를 나타내는 정보를 코딩하기 위하여 많은 비트가 필요하다.
따라서, 코딩 성능을 향상시키기 위해 MPM 후보의 개수 및 MPM 후보를 구성하기 위하여 이용하는 주변 블록을 확장할 수도 있다. 또한, MPM 후보를 구성하는 방법 및 MPM 후보를 코딩하는 방법도 MPM 후보의 개수 및 인트라 예측 모드의 개수에 따라 변경될 수도 있다. 예를 들어, 6개의 MPM 후보들 또는 7개의 MPM 후보들을 도출하는 경우, 해당 개수에서의 MPM 후보 구성 방법 및 MPM 후보를 코딩하는 방법이 적용될 수 있다.
도 11은 인트라 예측 기반 영상 인코딩 방법의 일 예를 나타낸다. 도 11을 참조하면 인코딩 장치는 현재 블록에 대한 인트라 예측 모드를 도출하고(S1100), 현재 블록의 주변 참조 샘플들을 도출할 수 있다(S1110). 인코딩 장치는 상기 인트라 예측 모드 및 상기 주변 참조 샘플들을 기반으로 상기 현재 블록 내 예측 샘플들을 생성할 수 있다(S1120). 이 경우 인코딩 장치는 예측 샘플 필터링 절차를 수행할 수 있다(S1130). 예측 샘플 필터링은 포스트 필터링이라 불릴 수 있다. 상기 예측 샘플 필터링 절차에 의하여 상기 예측 샘플들 중 일부 또는 전부가 필터링될 수 있다. 경우에 따라 S1130 절차는 생략될 수 있다.
인코딩 장치는 (필터링된) 예측 샘플을 기반으로 상기 현재 블록에 대한 레지듀얼 샘플들을 생성할 수 있다(S1140). 인코딩 장치는 상기 인트라 예측 모드를 나타내는 예측 모드 정보 및 상기 레듀얼 샘플들에 관한 레지듀얼 정보를 포함하는 영상 정보를 인코딩할 수 있다(S1150). 인코딩된 영상 정보를 비트스트림 형태로 출력될 수 있다. 출력된 비트스트림은 저장매체 또는 네트워크를 통하여 디코딩 장치로 전달될 수 있다.
도 12는 인트라 예측 기반 영상 디코딩 방법의 일 예를 나타낸다. 도 12를 참조하면 디코딩 장치는 상기 인코딩 장치에서 수행된 동작과 대응되는 동작을 수행할 수 있다. 예를 들어, 디코딩 장치는 수신된 예측 모드 정보를 기반으로 현재 블록에 대한 인트라 예측 모드를 도출할 수 있다(S1200). 디코딩 장치는 상기 현재 블록의 주변 참조 샘플들을 도출할 수 있다(S1210). 디코딩 장치는 상기 인트라 예측 모드 및 상기 주변 참조 샘플들을 기반으로 상기 현재 블록 내 예측 샘플들을 생성할 수 있다(S1220). 이 경우 디코딩 장치는 예측 샘플 필터링 절차를 수행할 수 있다(S1230). 예측 샘플 필터링은 포스트 필터링이라 불릴 수 있다. 상기 예측 샘플 필터링 절차에 의하여 상기 예측 샘플들 중 일부 또는 전부가 필터링될 수 있다. 경우에 따라 S1230 절차는 생략될 수 있다.
디코딩 장치는 수신된 레지듀얼 정보를 기반으로 상기 현재 블록에 대한 레지듀얼 샘플들을 생성할 수 있다(S1240). 디코딩 장치는 상기 (필터링된) 예측 샘플들 및 상기 레지듀얼 샘플들을 기반으로 상기 현재 블록에 대한 복원 샘플들을 생성하고, 이를 기반으로 복원 픽처를 생성할 수 있다(S1250).
한편, 상기 예측 모드 정보는 상술한 바와 같이 MPM(most probable mode)가 상기 현재 블록에 적용되는지 아니면 리메이닝 모드(remaining mode)가 적용되는지 여부를 나타내는 플래그 정보(예를 들어, prev_intra_luma_pred_flag)를 포함할 수 있다. 또한, 상기 현재 블록에 상기 MPM이 적용되는 경우, 상기 예측 모드 정보는 상기 인트라 예측 모드 후보들(예를 들어, MPM 후보들) 중 하나를 가리키는 인덱스 정보(예를 들어, mpm_idx)를 더 포함할 수 있다. 한편, 상기 현재 블록에 대한 상기 인트라 예측 모드 후보들은 MPM 후보 리스트 또는 MPM 리스트로 구성될 수 있다. 즉, 상기 현재 블록에 대한 상기 MPM 후보 리스트 또는 상기 MPM 리스트가 구성될 수 있고, 상기 MPM 후보 리스트 또는 상기 MPM 리스트는 상기 인트라 예측 모드 후보들을 포함할 수 있다. 한편, 상기 예측 모드 정보는 예를 들어, 트렁케이티드(truncated) (라이스(rice)) 바이너리 코드(binary code)를 기반으로 하는 엔트로피 코딩(ex. CABAC, CAVLC)을 통하여 인코딩/디코딩될 수 있다.
한편, 상기 인트라 예측을 위하여 다양한 인트라 예측 방법이 적용될 수 있다. 일 예로, 상기 주변 참조 샘플들 중 상기 현재 블록의 예측 샘플을 기준으로 상기 현재 블록의 인트라 예측 모드의 예측 방향의 반대 방향에 위치하는 상기 제2 주변 샘플과 상기 제1 주변 샘플과의 보간을 통하여 상기 예측 샘플이 생성될 수도 있다. 상술한 경우는 선형 보간 인트라 예측(Linear interpolation intra prediction, LIP) 또는 선형 보간 예측이라고 불릴 수 있다.
상술한 LIP 는 구체적으로 다음과 같이 설명될 수 있다.
선형 보간 예측(Linear interpolation prediction, LIP)은 이러한 화면 내 예측 부호화에서 발생하는 에러를 줄이기 위해 우단 버퍼(right buffer)와 하단 버퍼(bottom buffer)(비디오 부호화는 일반적으로 래스터 스캔으로 부호화하므로 현재 부호화하고자 하는 블록을 기준으로 오른쪽 블록과 아래쪽 블록은 아직 부호화되지 않았기 때문에, 우단 샘플과 하단 샘플은 참조 샘플로 사용할 수 없다)을 생성한 후, 이를 기존의 참조 샘플과 보간하여 예측 블록을 생성할 수 있다.
도 13은 일 실시예에 따른 LIP를 설명하기 위한 도면이다.
도 13에서는 화면 내 예측 부호화에서 우단 샘플(right buffer)을 사용하여 예측 블록을 생성하는 선형 보간 예측(LIP)방법이 나타난다.
선형 보간 예측을 수행하기 위해서는 앞에서도 언급했듯이 우단 샘플 버퍼와 하단 샘플 버퍼를 생성할 필요가 있다. 이를 위해 먼저 주변의 참조 샘플을 사용하여 우하단 샘플(bottom right, BR)을 생성할 수 있다.
도 14a 및 도 14b는 다른 일 실시예에 따른 LIP를 설명하기 위한 도면이다.
선형 보간 예측을 수행하기 위해서는 앞에서도 언급했듯이 우단 샘플 버퍼와 하단 샘플 버퍼를 생성해야 한다. 이를 위해 먼저 주변의 참조 샘플을 사용하여 우하단 샘플(bottom right, BR)을 생성한다. 도 14a는 우상단 샘플(top right)과 좌하단 샘플(bottom left)을 사용하여 우하단 샘플을 생성하는 방법을 나타내고 도 14b는 현재 부호화하고자 하는 블록의 2배 길이만큼 먼 most 우상단 샘플(most top right)과 most 좌하단 샘플(most bottom left)을 사용하여 우하단 샘플을 생성하는 방법을 나타낸다. 각각의 샘플을 사용하여 우하단 샘플을 생성하는 식은 아래의 수학식 1 또는 수학식 2와 같다.
Figure PCTKR2019008441-appb-M000001
Figure PCTKR2019008441-appb-M000002
실제 우하단 샘플을 생성하는 방법은 위에서 언급한 두가지 방법 이외에 다양한 방법을 사용하여 생성할 수도 있다.
도 15는 또 다른 일 실시예에 따른 LIP를 설명하기 위한 도면이다.
우하단 샘플을 생성하고 난 후, 좌하단 샘플(bottom left)과 우상단 샘플(top right)을 사용하여 하단 샘플들(하단 버퍼, bottom buffer)과 우단 샘플들(우단 버퍼, right buffer)을 생성한다. 도 15는 하단 샘플들과 우단 샘플들을 생성하는 방법을 나타낸다. 하단 샘플들은 좌하단 샘플과 우하단 샘플을 선형 보간하여 우단 샘플들은 우상단 샘플과 우하단 샘플을 선형 보간하여 생성한다. 이 때, 좌하단 샘플과 우하단 샘플을 사용하여 하단 샘플들과 우상단 샘플과 우하단 샘플을 사용하여 우단 샘플들을 생성하는 방법은 다양한 가중 값을 부여하여 다르게 생성할 수 있다.
하단 샘플들과 우단 샘플들을 생성하고 난 후, 생성한 하단 샘플들과 우단 샘플들을 사용하여 선형 보간 예측을 수행한다. 도 13을 다시 참조하면, 선형 보간 화면 내 예측 방법을 사용하여 현재 예측 샘플 C를 생성하는 방법은 다음과 같다. 도 13에서 예측 모드는 양의 방향성을 갖는 수직 계열의 모드를 예로 설명한다.
제1 단계에서, 좌측 참조 샘플(짙은 회색)들을 하단 샘플 버퍼에 복사하고 생성한 하단 샘플들을 사용하여 하단 버퍼를 생성할 수 있다.
제2 단계에서, 복원된 값을 사용하는 상단 참조 버퍼의 A 참조 샘플과 B 참조 샘플을 보간하여 예측 샘플 값 P를 생성(기존의 화면 내 부호화의 예측 샘플 생성 방법 사용)할 수 있다.
제3 단계에서, 새로 생성한 하단 참조 버퍼의 A' 참조 샘플과 B' 참조 샘플을 보간하여 예측 샘플 값 P'을 생성 (기존의 화면 내 부호화의 예측 샘플 생성 방법 사용)할 수 있다.
제4 단계에서, 생성된 P와 P'을 선형 보간하여 최종 예측 값 C를 아래의 수학식 3을 기반으로 생성할 수 있다.
Figure PCTKR2019008441-appb-M000003
현재 부호화하고자 하는 블록 내의 모든 샘플들에 대해 상기 제2 단계 내지 제4 단계를 적용하여 예측 값을 생성한다. 선형 보간 화면 내 예측 방법은 방향성이 존재하지 않는 planar 모드와 DC 모드를 제외한 모든 방향성 보드에 적용할 수 있다.
도 16은 일 실시예에 따른 인트라 예측 부호화에서 최적의 예측 모드를 결정하는 방법을 나타내는 흐름도이다.
도 16에서 도시된 것과 같이 인트라 예측 코딩에서 최적의 인트라 예측 모드 결정 방법으로서, 인코딩 장치는 먼저 짝수 인트라 예측 모드에 대한 대략적인 모드 결정 방법을 통해 Full RD(rate-distortion)를 위한 짝수 인트라 예측 모드 후보를 결정할 수 있다. 이 때, 인코딩 장치는 예측 블록과 원본 블록의 차이와 간단히 인트라 예측 모드 정보를 부호화하는데 필요한 비트를 기반으로 비용 값을 결정하고 비용 값이 적은 모드를 인트라 예측 모드 후보로 결정할 수 있다. 다음으로, 인코딩 장치는 결정된 후보에 ±1한 홀수 인트라 예측 모드 (예를 들어 결정된 후보가 20번 인트라 예측 모드인 경우 ±1한 홀수 인트라 예측 모드는 19번 인트라 예측 모드와 21번 인트라 예측 모드)에 대해 다시 대략적인 모드 결정 방법을 통해 Full RD를 위한 후보 모드를 재결정할 수 있다. 인코딩 장치는 대략적인 모드 결정을 통해 후보 모드를 결정한 후, MPM (most probable mode) 방법을 사용하여 현재 블록 주변의 유사 모드를 찾고 이를 후보 모드에 추가할 수 있다. 마지막으로 인코딩 장치는 비트율 왜곡 최적화(rate-distortion optimization, RDO) 관점에서 Full RD를 통해 최적의 인트라 예측 모드를 결정할 수 있다.
한편, 상기 인트라 예측을 위하여 다양한 인트라 예측 방법이 적용될 수 있는바, 일 예로 PDPC(Position dependent intra prediction combination)가 있을 수 있다. PDPC (Position dependent intra prediction combination)는 화면 내 예측을 위해 현재 블록의 참조 샘플에 필터링을 한 후 예측을 수행한 결과와 필터링 적용 전의 참조 샘플을 이용하여 예측을 수행한 결과를 조합하여 새로운 예측을 수행하는 예측 방법을 나타낼 수 있다.
구체적으로, 상기 PDPC는 상기 PDPC 에 대한 필터를 기반으로 필터링을 수행하여 필터링된 참조 샘플들을 도출하고, 상기 현재 블록의 인트라 예측 모드 및 상기 필터링된 참조 샘플들을 기반으로 상기 현재 블록의 임시 예측 샘플을 도출하고, 상기 기존의 참조 샘플들, 즉, 필터링되지 않은 참조 샘플들 중 상기 인트라 예측 모드에 따라 도출된 적어도 하나의 참조 샘플과 상기 임시 예측 샘플을 가중합(weighted sum)하여 상기 현재 블록의 예측 샘플을 도출하는 인트라 예측 방법을 나타낼 수 있다. 예를 들어, 상기 현재 블록의 좌상단(top-left) 샘플의 x성분이 0 및 y성분이 0이고, 상기 현재 블록의 인트라 예측 모드가 플래너 모드이고, 상기 현재 블록의 대상 샘플의 위치가 (x,y) 인 경우, 도 7을 참조하면 필터링된 참조 샘플 s[x, -1] 및 s[-1, y] 를 기반으로 상기 대상 샘플의 임시 예측 샘플 q[x, y] 가 도출될 수 있고, 상기 도출된 임시 예측 샘플 q[x, y]에 필터링되지 않은 참조 샘플 r[x, -1] 및 r[-1, y] 가 가중합되어 상기 대상 샘플의 예측 샘플 p[x, y] 가 도출될 수 있다. 다만 PDPC의 정의는 상기된 서술에 한정되지 않는다.
예를 들어, 현재 블록 내 (x, y) 좌표에 위치한 예측 샘플 P(x,y)는 아래의 수학식 4를 통해 계산할 수 있다.
Figure PCTKR2019008441-appb-M000004
수학식 4에서 Rx , -1은 현재 블록의 상측 참조 샘플들 중 예측 샘플 P(x, y)을 기준으로 상측에 위치한 참조 샘플을 나타내고, R-1, y는 현재 블록의 좌측 참조 샘플들 중 예측 샘플 P(x, y)을 기준으로 좌측에 위치한 참조 샘플을 나타내며, R-1, -1은 현재 블록의 좌상측(top-left) 참조 샘플을 나타낼 수 있다.
도 17a 및 도 17b는 인트라 예측 모드가 DC 모드일 때 PDPC 가중치를 적용하는 예시를 나타내는 도면이다.
예를 들어, DC 모드 가중치는 아래의 수학식 5를 기반으로 산출할 수 있다.
Figure PCTKR2019008441-appb-M000005
수학식 5에 포함된 shift는 아래의 수학식 6과 같이 표현될 수 있다.
Figure PCTKR2019008441-appb-M000006
도 17a 및 도 17b를 참조하면, 인트라 예측 모드가 DC 모드일 때 PDPC 가중치를 적용하는 예시를 나타내고 있다. 도 17a는 4x4 현재 블록에서 예측 샘플 P(0, 0)에 대한 가중치를 나타내며, wTL은 -4, wL은 32, wT는 32로 도시되어 있다. 도 17b는 4x4 현재 블록에 예측 샘플 P(1, 0)에 대한 가중치를 나타내며, wTL은 -2, wL은 8, wT는 32로 도시되어 있다.
한편, 상술한 LIP 및 PDPC 는 특정 조건에서 적용하는 것이 입력 영상을 인코딩/디코딩하는 과정을 보다 효율적으로 처리할 수 있도록 할 수 있다. 또한, 상기 LIP 및 상기 PDPC 는 서로 유사한 효과를 발생시킬 수 있는바, 특정 조건에 따라 상기 LIP 및/또는 상기 PDPC 를 선택적으로 적용하여 최대한의 압축 효율을 가질 수 있도록 하는 방안이 제안될 수 있고, 상기 방안을 통하여 인코딩/디코딩 과정의 효율을 보다 향상시킬 수 있다.
이에, 본 발명에서는 특정 조건에서 상기 LIP 및/또는 상기 PDPC 를 적용하여 상기 현재 블록의 인트라 예측을 수행하는 방법들을 제안한다.
일 실시예로, 상기 현재 블록에 대하여 LIP를 수행할 수 있고, 이후, 후처리(post processing)로 PDPC를 적용하는 방안이 제안될 수 있다.
도 18은 상기 LIP 및 상기 PDPC를 적용하는 일 예를 나타낸다. 도 18을 참조하면 인코딩 장치/디코딩 장치는 LIP를 통해 상기 현재 블록에 대한 예측 블록(predicted block)을 생성할 수 있고, 상기 현재 블록의 주변 샘플을 기반으로 상기 예측 블록에 대하여 PDPC를 통한 후처리 보정을 수행할 수 있다. 즉, 인코딩 장치/디코딩 장치는 상기 예측 블록 및 상기 주변 샘플을 기반으로 상기 PDPC 를 수행하여 수정된 예측 블록을 도출할 수 있다. 예를 들어, 수정된 예측 샘플은 상술한 수학식 4을 기반으로 도출될 수 있다. 상기 수학식 4에 상기 LIP를 통하여 도출된 예측 샘플을 대입하여 상기 수정된 예측 샘플을 도출할 수 있다.
이를 통하여, 인트라 예측 정확도가 향상될 수 있다. 한편, LIP는 상기 현재 블록의 루마(luma) 블록, 크로마(chroma) 블록 모두에 적용될 수 있으며, 또는, 루마 블록에만 적용될 수도 있다.
또는, 일 예로, 상기 LIP 및 상기 PDPC의 중복 효과를 방지하기 위해, LIP를 수행한 후, 특정 조건에서만 PDPC 를 적응적으로 수행하는 방안이 제안될 수 있다.
예를 들어, 현재 블록에 대한 인트라 예측 모드를 통하여 상기 LIP 가 수행될 수 있고, 상기 인트라 예측 모드가 수평 인트라 예측 모드, 수직 인트라 예측 모드, 2번 인트라 예측 모드 내지 10번 인트라 예측 모드 및 58번 인트라 예측 모드 내지 66번 인트라 예측 모드 중 하나인 경우, 상기 PDPC 가 수행될 수 있다.
또는, 예를 들어, 현재 블록에 대한 인트라 예측 모드를 통하여 상기 LIP 가 수행될 수 있고, 상기 인트라 예측 모드가 어떤 인트라 예측 모드이던지 상기 PDPC 가 수행될 수 있다. 즉, 모든 인트라 예측 모드에 상기 LIP 및 PDPC 가 수행될 수 있다.
또는, 예를 들어, 현재 블록에 대한 인트라 예측 모드를 통하여 상기 LIP 가 수행될 수 있고, 상기 현재 블록의 폭(width)과 높이(height)의 곱이 63 이상이고(예를 들어, 8x8 사이즈 또는 4x16 사이즈의 블록), 상기 인트라 예측 모드가 수평 인트라 예측 모드, 수직 인트라 예측 모드, 2번 인트라 예측 모드 내지 10번 인트라 예측 모드 및 58번 인트라 예측 모드 내지 66번 인트라 예측 모드 중 하나인 경우, 상기 PDPC 가 수행될 수 있다. 상술한 조건 이외의 경우에는 상기 현재 블록에 대하여 상기 PDPC 가 수행되지 않을 수 있다.
블록의 사이즈가 작은 경우, 예측 샘플과 참조 샘플간의 거리가 멀지 않기 때문에 상기 LIP 및 상기 PDPC를 동시에 수행하면 중복 예측으로 인해 예측 정확도가 떨어질 수 있다. 따라서, 상술한 실시예와 같이 블록 사이즈에 따라 LIP와 PDPC 의 중복 적용을 적응적으로 제한할 수 있고, 이를 통하여 인트라 예측이 보다 효율적으로 수행될 수 있다.
한편, 현재 블록에 상기 LIP 가 적용되지 않은 인트라 예측 모드의 경우에도, 즉, 상기 현재 블록에 기존 인트라 예측 모드가 적용된 경우에도 PDPC 를 적응적으로 적용하는 방안이 제안될 수 있다.
예를 들어, 현재 블록에 대한 상기 인트라 예측 모드가 수평 인트라 예측 모드, 수직 인트라 예측 모드, 2번 인트라 예측 모드 내지 10번 인트라 예측 모드 및 58번 인트라 예측 모드 내지 66번 인트라 예측 모드 중 하나인 경우, 상기 PDPC 가 수행될 수 있다.
또는, 예를 들어, 모든 인트라 예측 모드에 대하여 상기 PDPC 가 수행될 수 있다. 즉, 상기 현재 블록에 대한 인트라 예측 모드가 어떤 인트라 예측 모드이던지 상기 PDPC 가 수행될 수 있다.
또는, 예를 들어, 상기 현재 블록의 폭(width)과 높이(height)의 곱이 64 이상이고(예를 들어, 8x8 사이즈 또는 4x16 사이즈의 블록), 상기 현재 블록에 대한 인트라 예측 모드가 수평 인트라 예측 모드, 수직 인트라 예측 모드, 2번 인트라 예측 모드 내지 10번 인트라 예측 모드 및 58번 인트라 예측 모드 내지 66번 인트라 예측 모드 중 하나인 경우, 상기 PDPC 가 수행될 수 있다. 상술한 조건 이외의 경우에는 상기 현재 블록에 대하여 상기 PDPC 가 수행되지 않을 수 있다.
한편, 상술한 방법으로 예측 블록이 도출된 경우, 인코딩 장치는 원본 영상(즉, 상기 현재 블록의 원본 블록)과 상기 예측 블록과의 차분을 통하여 레지듀얼 영상을 도출할 수 있고, 디코딩 장치는 상기 예측 블록과 상기 현재 블록의 레지듀얼 신호와의 합을 통하여 복원 영상을 도출할 수 있다.
도 19는 상기 LIP와 상기 PDPC를 조합한 인트라 예측 방법의 일 예를 나타낸다.
도 19를 참조하면 인코딩 장치/디코딩 장치는 현재 블록에 LIP 가 적용되는지 판단할 수 있다(S1900). 상기 현재 블록에 LIP 가 적용된 경우, 인코딩 장치/디코딩 장치는 상기 현재 블록의 인트라 예측 모드에 따른 상기 LIP 를 수행할 수 있다(S1910).
이후, 인코딩 장치/디코딩 장치는 PDPC 가 수행되는 조건을 만족하는지 판단할 수 있다(S1920). 상기 조건은 상술한 내용과 같을 수 있다. 예를 들어, 상기 현재 블록의 인트라 예측 모드가 수평 인트라 예측 모드, 수직 인트라 예측 모드, 2번 인트라 예측 모드 내지 10번 인트라 예측 모드 및 58번 인트라 예측 모드 내지 66번 인트라 예측 모드 중 하나인지 판단될 수 있다. 또는, 예를 들어, 상기 현재 블록의 폭(width)과 높이(height)의 곱이 64(또는 63) 이상이고, 상기 현재 블록에 대한 인트라 예측 모드가 수평 인트라 예측 모드, 수직 인트라 예측 모드, 2번 인트라 예측 모드 내지 10번 인트라 예측 모드 및 58번 인트라 예측 모드 내지 66번 인트라 예측 모드 중 하나인지 판단될 수 있다.
상기 조건이 만족되는 경우, 인코딩 장치/디코딩 장치는 상기 LIP 를 기반으로 도출된 예측 샘플에 상기 PDPC를 수행하여 수정된 예측 샘플을 도출할 수 있다(S1930). 상기 조건이 만족되지 않는 경우, 인코딩 장치/디코딩 장치는 상기 현재 블록에 상기 PDPC를 수행하지 않고, 상기 LIP 를 기반으로 도출된 예측 샘플을 상기 현재 블록의 최종 예측 샘플로 도출할 수 있다.
한편, 상기 현재 블록에 상기 LIP 가 적용되지 않는 경우, 인코딩 장치/디코딩 장치는 상기 현재 블록의 인트라 예측 모드을 기반으로 기존의 인트라 예측을 수행할 수 있다(S1940).
이후, 인코딩 장치/디코딩 장치는 PDPC 가 수행되는 조건을 만족하는지 판단할 수 있다(S1950). 상기 조건은 상술한 내용과 같을 수 있다. 예를 들어, 상기 현재 블록의 인트라 예측 모드가 수평 인트라 예측 모드, 수직 인트라 예측 모드, 2번 인트라 예측 모드 내지 10번 인트라 예측 모드 및 58번 인트라 예측 모드 내지 66번 인트라 예측 모드 중 하나인지 판단될 수 있다. 또는, 예를 들어, 상기 현재 블록의 폭(width)과 높이(height)의 곱이 64(또는 63) 이상이고, 상기 현재 블록에 대한 인트라 예측 모드가 수평 인트라 예측 모드, 수직 인트라 예측 모드, 2번 인트라 예측 모드 내지 10번 인트라 예측 모드 및 58번 인트라 예측 모드 내지 66번 인트라 예측 모드 중 하나인지 판단될 수 있다.
상기 조건이 만족되는 경우, 인코딩 장치/디코딩 장치는 기존의 인트라 예측을 기반으로 도출된 예측 샘플에 상기 PDPC를 수행하여 수정된 예측 샘플을 도출할 수 있다(S1960). 상기 조건이 만족되지 않는 경우, 인코딩 장치/디코딩 장치는 상기 현재 블록에 상기 PDPC를 수행하지 않고, 상기 예측 샘플을 상기 현재 블록의 최종 예측 샘플로 도출할 수 있다.
한편, 본 발명에서 제안된 상술한 실시예를 VVC 표준 테스트 모델인 VTM1.0 소프트웨어에 적용한 실험 결과는 다음과 같이 획득된다. 상기 실험에서의 앵커는 VTM1.0 소프트웨어, 올 인트라 2 프레임(all intra 2 frame) 실험 결과일 수 있고, 상기 실시예는 LIP 를 수행한 후, 현재 블록의 인트라 예측 모드가 수평 인트라 예측 모드, 수직 인트라 예측 모드, 2번 인트라 예측 모드 내지 10번 인트라 예측 모드 및 58번 인트라 예측 모드 내지 66번 인트라 예측 모드 중 하나인 경우에 PDPC를 수행하는 방안일 수 있다.
상기 실험 결과는 다음의 표들과 같이 획득될 수 있다.
Figure PCTKR2019008441-appb-T000002
Figure PCTKR2019008441-appb-T000003
Figure PCTKR2019008441-appb-T000004
상기 표 2는 PDPC 알고리즘의 성능을 나타내고, 상기 표 3은 LIP 알고리즘의 성능을 나타내고, 표 4는 상술한 실시예의 알고리즘을 적용한 결과를 나타낸다. 상술한 표 4에 도시된 것과 같이, 본 발명에서 제안된 LIP 및 PDPC 알고리즘 조합법을 통해 기존 PDPC 및 LIP 알고리즘에 비해 더 높은 성능(즉, Y 1.3% BDrate gain)을 얻을 수 있음을 확인할 수 있다.
한편, 본 발명은 LIP 가 적용된 블록에 PDPC 를 적용하는 경우에 상기 PDPC의 강도를 줄여서 적용하는 일 실시예도 제안한다. 다시 말해, 본 실시예에서는 LIP 로 인트라 예측을 수행한 후, 후처리(post processing)로 PDPC를 적용할 시, PDPC로 수행되는 픽셀 필터링 강도를 조절하는 방법을 제안한다.
LIP를 통하여 생성된 예측 샘플들은 기존의 인트라 예측 모드와는 달리 샘플에 스무딩(smoothing) 효과가 적용되어 도출되는바, 다시 PDPC 후처리를 수행하는 경우, 샘플에 대하여 오버스무딩(oversmoothing) 효과가 발생되어 오히려 예측 정확도가 감소하는 문제점이 발생할 수 있다. 이에, 본 실시예에서는 LIP 를 수행한 후 PDPC를 적용하는 경우, 상술한 수학식 4와 같은 상기 PDPC 가 적용되는 대신 후술하는 수학식 7과 같이 필터링 강도가 조정된 PDPC 가 적용될 수 있다.
상기 필터링 강도가 조정된 PDPC가 적용되는 경우, 상기 수정된 예측 샘플은 다음의 수학식과 같이 도출될 수 있다.
Figure PCTKR2019008441-appb-M000007
수학식 7에서 Rx , -1은 현재 블록의 상측 참조 샘플들 중 예측 샘플 P(x, y)을 기준으로 상측에 위치한 참조 샘플을 나타내고, R-1, y는 현재 블록의 좌측 참조 샘플들 중 예측 샘플 P(x, y)을 기준으로 좌측에 위치한 참조 샘플을 나타내며, R-1, -1은 현재 블록의 좌상측(top-left) 참조 샘플을 나타낼 수 있다. 또한, 수식 내 P(x,y) 는 상기 LIP를 기반으로 도출된 예측 샘플일 수 있다.
상술한 수학식 4와 비교하여, 수학식 7에서는 적용되는 예측 샘플에 대한 가중치에서 64가 128로 변경된다. 즉, 기존 예측 샘플 값에 대한 비중이 증가될 수 있고, 필터링 강도가 줄어들 수 있다.
한편, 상기 현재 블록에 LIP 가 적용되지 않고, 기존의 인트라 예측이 수행되는 경우, 상기 기존의 인트라 예측이 수행되어 도출된 예측 샘플에는 상술한 수학식 4를 기반으로 PDPC 가 적용될 수 있다. 여기서, 상기 수학식 7을 사용하는 상기 필터링 강도가 조절된 PDPC는 웨이트 리듀스드(weight reduced) PDPC 또는 수정된 PDPC 라고 불릴 수도 있다.
도 20은 상기 LIP와 상기 PDPC를 조합한 인트라 예측 방법의 다른 일 예를 나타낸다.
도 20을 참조하면 인코딩 장치/디코딩 장치는 현재 블록에 LIP 가 적용되는지 판단할 수 있다(S2000). 상기 현재 블록에 LIP 가 적용된 경우, 인코딩 장치/디코딩 장치는 상기 현재 블록의 인트라 예측 모드에 따른 상기 LIP 를 수행할 수 있다(S2010).
이후, 인코딩 장치/디코딩 장치는 PDPC 가 수행되는 조건을 만족하는지 판단할 수 있다(S2020). 상기 조건은 상술한 내용과 같을 수 있다. 예를 들어, 상기 현재 블록의 인트라 예측 모드가 수평 인트라 예측 모드, 수직 인트라 예측 모드, 2번 인트라 예측 모드 내지 10번 인트라 예측 모드 및 58번 인트라 예측 모드 내지 66번 인트라 예측 모드 중 하나인지 판단될 수 있다. 또는, 예를 들어, 상기 현재 블록의 폭(width)과 높이(height)의 곱이 64(또는 63) 이상이고, 상기 현재 블록에 대한 인트라 예측 모드가 수평 인트라 예측 모드, 수직 인트라 예측 모드, 2번 인트라 예측 모드 내지 10번 인트라 예측 모드 및 58번 인트라 예측 모드 내지 66번 인트라 예측 모드 중 하나인지 판단될 수 있다.
상기 조건이 만족되는 경우, 인코딩 장치/디코딩 장치는 상기 LIP 를 기반으로 도출된 예측 샘플에 상기 수정된 PDPC를 수행하여 수정된 예측 샘플을 도출할 수 있다(S2030). 예를 들어, 수정된 예측 샘플은 상술한 수학식 7을 기반으로 도출될 수 있다. 상기 수학식 7에 상기 LIP를 통하여 도출된 예측 샘플을 대입하여 상기 수정된 예측 샘플을 도출할 수 있다.
상기 조건이 만족되지 않는 경우, 인코딩 장치/디코딩 장치는 상기 현재 블록에 상기 수정된 PDPC를 수행하지 않고, 상기 LIP 를 기반으로 도출된 예측 샘플을 상기 현재 블록의 최종 예측 샘플로 도출할 수 있다.
한편, 상기 현재 블록에 상기 LIP 가 적용되지 않는 경우, 인코딩 장치/디코딩 장치는 상기 현재 블록의 인트라 예측 모드을 기반으로 기존의 인트라 예측을 수행할 수 있다(S2040).
이후, 인코딩 장치/디코딩 장치는 PDPC 가 수행되는 조건을 만족하는지 판단할 수 있다(S2050). 상기 조건은 상술한 내용과 같을 수 있다. 예를 들어, 상기 현재 블록의 인트라 예측 모드가 수평 인트라 예측 모드, 수직 인트라 예측 모드, 2번 인트라 예측 모드 내지 10번 인트라 예측 모드 및 58번 인트라 예측 모드 내지 66번 인트라 예측 모드 중 하나인지 판단될 수 있다. 또는, 예를 들어, 상기 현재 블록의 폭(width)과 높이(height)의 곱이 64(또는 63) 이상이고, 상기 현재 블록에 대한 인트라 예측 모드가 수평 인트라 예측 모드, 수직 인트라 예측 모드, 2번 인트라 예측 모드 내지 10번 인트라 예측 모드 및 58번 인트라 예측 모드 내지 66번 인트라 예측 모드 중 하나인지 판단될 수 있다.
상기 조건이 만족되는 경우, 인코딩 장치/디코딩 장치는 기존의 인트라 예측을 기반으로 도출된 예측 샘플에 상기 PDPC를 수행하여 수정된 예측 샘플을 도출할 수 있다(S2060). 예를 들어, 수정된 예측 샘플은 상술한 수학식 4를 기반으로 도출될 수 있다. 상기 수학식 4에 상기 LIP를 통하여 도출된 예측 샘플을 대입하여 상기 수정된 예측 샘플을 도출할 수 있다.
상기 조건이 만족되지 않는 경우, 인코딩 장치/디코딩 장치는 상기 현재 블록에 상기 PDPC를 수행하지 않고, 상기 예측 샘플을 상기 현재 블록의 최종 예측 샘플로 도출할 수 있다.
도 21은 본 발명에 따른 인코딩 장치에 의한 영상 인코딩 방법을 개략적으로 나타낸다. 도 21에서 개시된 방법은 도 1에서 개시된 인코딩 장치에 의하여 수행될 수 있다. 구체적으로 예를 들어, 도 21의 S2100 내지 S2130은 상기 인코딩 장치의 예측부에 의하여 수행될 수 있고, S2140은 상기 인코딩 장치의 엔트로피 인코딩부에 의하여 수행될 수 있다. 또한, 비록 도시되지는 않았으나 상기 현재 블록에 대한 원본 샘플과 예측 샘플을 기반으로 상기 현재 블록에 대한 레지듀얼 샘플을 도출하는 과정은 상기 인코딩 장치의 감산부에 의하여 수행될 수 있고, 상기 레지듀얼 샘플을 기반으로 상기 현재 블록에 대한 레지듀얼에 관한 정보를 생성하는 과정은 상기 인코딩 장치의 변환부에 의하여 수행될 수 있고, 상기 레지듀얼에 관한 정보를 인코딩하는 과정은 상기 인코딩 장치의 엔트로피 인코딩부에 의하여 수행될 수 있다.
인코딩 장치는 현재 블록에 대한 인트라 예측 모드를 결정한다(S2100). 인코딩 장치는 다양한 인트라 예측 모드들을 수행하여 최적의 RD 코스트를 갖는 인트라 예측 모드를 상기 현재 블록에 대한 인트라 예측 모드로 도출할 수 있다. 상기 인트라 예측 모드는 2개의 비방향성 예측 모드들과 33개의 방향성 예측 모드들 중 하나일 수 있다. 상기 2개의 비방향성 예측 모드들은 인트라 DC 모드 및 인트라 플래너 모드를 포함할 수 있음은 상술한 바와 같다. 또는 상기 인트라 예측 모드는 2개의 비방향성 인트라 예측 모드들과 65개의 방향성 인트라 예측 모드들 중 하나일 수 있다. 상기 2개의 비방향성 예측 모드들은 인트라 DC 모드 및 인트라 플래너 모드를 포함할 수 있음은 상술한 바와 같다. 또한, 상기 65개의 방향성 인트라 예측 모드들은 수직 방향성 인트라 예측 모드들과 수평 방향성 인트라 예측 모드들을 포함할 수 있다. 상기 수직 방향성 인트라 예측 모드들은 34번 인트라 예측 모드 내지 66번 인트라 예측 모드를 포함할 수 있고, 상기 수평 방향성 인트라 예측 모드들은 2번 인트라 예측 모드 내지 33번 인트라 예측 모드를 포함할 수 있다.
또한, 예를 들어, 인코딩 장치는 상기 현재 블록의 상기 주변 블록을 기반으로 상기 현재 블록의 상기 MPM 리스트를 구성할 수 있고, 상기 MPM 리스트는 3개, 5개 또는 6개의 MPM 후보들을 포함할 수 있다. 상기 주변 블록은 상기 현재 블록의 상기 좌측 주변 블록, 상기 상측 주변 블록, 상기 좌하측 주변 블록, 상기 우상측 주변 블록 및/또는 상기 좌상측 주변 블록을 포함할 수 있다. 인코딩 장치는 상기 현재 블록의 주변 블록들을 특정 순서에 따라 탐색할 수 있고, 주변 블록의 인트라 예측 모드를 도출된 순서로 상기 MPM 후보로 도출할 수 있다.
예를 들어, 인코딩 장치는 상기 좌측 주변 블록의 인트라 예측 모드, 상기 상측 주변 블록의 인트라 예측 모드, 플래너 인트라 예측 모드, DC 인트라 예측 모드, 상기 좌하측 주변 블록의 인트라 예측 모드, 상기 우상측 주변 블록의 인트라 예측 모드, 상기 좌상측 주변 블록의 인트라 예측 모드 순서로 탐색하여 MPM 후보를 도출하고 상기 현재 블록의 상기 MPM 리스트를 구성할 수 있다. 한편, 상기 탐색 후, 6개의 MPM 후보들이 도출되지 않은 경우, MPM 후보로 도출된 인트라 예측 모드를 기반으로 MPM 후보가 도출될 수 있다. 예를 들어, 상기 MPM 후보로 도출된 인트라 예측 모드가 N번 인트라 예측 모드인 경우, 디코딩 장치는 상기 N+1번 인트라 예측 모드 및/또는 N-1번 인트라 예측 모드를 상기 현재 블록의 MPM 후보로 도출할 수 있다.
한편, 예를 들어, 인코딩 장치는 상기 MPM 리스트의 MPM 후보들 중 최적의 RD 코스트를 갖는 MPM 후보를 선택할 수 있고, 상기 선택된 MPM 후보를 상기 현재 블록에 대한 인트라 예측 모드로 결정할 수 있다. 이 경우, 인코딩 장치는 상기 MPM 후보들 중 상기 선택된 MPM 후보를 가리키는 MPM 인덱스를 인코딩할 수 있다. 상기 MPM 인덱스는 mpm_idx 또는 intra_luma_mpm_idx 신텍스 요소의 형태로 시그널링될 수 있다.
또는, 예를 들어, 상기 결정된 인트라 예측 모드가 상기 MPM 후보들을 제외한 나머지 인트라 예측 모드들 중 하나일 수 있다. 여기서, 상기 나머지 인트라 예측 모드들은 전체 인트라 예측 모드들에서 상기 MPM 리스트에 포함된 MPM 후보들을 제외한 인트라 예측 모드들일 수 있다. 또한, 이 경우, 인코딩 장치는 상기 현재 블록의 상기 인트라 예측 모드를 가리키는 리메이닝(remaining) 인트라 예측 모드 정보를 인코딩할 수 있다. 상기 리메이닝 인트라 예측 모드 정보는 rem_intra_luma_pred_mode 또는 intra_luma_mpm_remainder 신텍스 요소의 형태로 시그널링될 수 있다.
또한, 인코딩 장치는 상기 결정된 인트라 예측 모드가 상기 MPM 후보들에 포함되는지 여부를 나타내는 MPM 플래그를 인코딩할 수 있다. 즉, 상기 MPM 플래그는 상기 MPM 후보들에서 상기 현재 블록의 인트라 예측 모드가 도출되는지 여부를 나타낼 수 있다. 예를 들어, 상기 MPM 플래그의 값이 1인 경우, 상기 MPM 플래그는 상기 현재 블록에 대한 상기 인트라 예측 모드가 MPM 후보들에 포함됨을 나타낼 수 있고, 상기 MPM 플래그의 값이 0인 경우, 상기 MPM 플래그는 상기 현재 블록에 대한 상기 인트라 예측 모드가 MPM 후보들에 포함되지 않음, 즉, 상기 나머지 인트라 예측 모드들에 포함됨을 나타낼 수 있다. 상기 MPM 플래그는 prev_intra_luma_pred_flag 또는 intra_luma_mpm_flag 신텍스 요소의 형태로 시그널링될 수 있다.
인코딩 장치는 상기 인트라 예측 모드를 기반으로 상기 현재 블록에 LIP(Linear Intra Prediction)를 수행하여 상기 현재 블록의 예측 샘플을 도출한다(S2110).
인코딩 장치는 상기 현재 블록의 상기 LIP 수행 여부를 결정할 수 있다.
상기 LIP 가 수행된다고 판단된 경우, 인코딩 장치는 상기 인트라 예측 모드를 기반으로 상기 현재 블록에 LIP(Linear Intra Prediction)를 수행하여 상기 현재 블록의 예측 샘플을 도출할 수 있다.
구체적으로, 인코딩 장치는 상기 현재 블록의 주변 샘플을 기반으로 참조 샘플들을 도출할 수 있다. 상기 주변 샘플은 좌측 주변 샘플들, 좌상측 주변 샘플, 및/또는 상측 주변 샘플들을 포함할 수 있다. 상기 좌측 주변 샘플들, 상기 좌상측 주변 샘플, 및 상기 상측 주변 샘플들은 상기 현재 블록의 디코딩 시점에 이미 복원된 주변 블록들로부터 도출될 수 있다.
또한, 상기 참조 샘플들은 좌측 참조 샘플들, 좌상측 참조 샘플, 상측 참조 샘플들, 우하측 참조 샘플, 하측 주변 샘플들, 및/또는 우측 주변 샘플들을 포함할 수 있다. 여기서, 상기 현재 블록의 사이즈가 NxN이고, 상기 현재 블록의 좌상단(top-left) 샘플의 x성분이 0 및 y성분이 0인 경우, 상기 좌상측 참조 샘플은 p[-1][-1], 상기 상측 참조 샘플들은 p[0][-1] 내지 p[N-1][-1], 상기 좌측 참조 샘플들은 p[-1][N-1] 내지 p[-1][0], 상기 하측 참조 샘플들은 p[0][N] 내지 p[N-1][N], 상기 우하측 참조 샘플은 p[N][N], 상기 우측 참조 샘플들은 p[N][N-1] 내지 p[N][0], 상기 좌하측 참조 샘플은 p[-1][N], 상기 우상측 참조 샘플은 p[N][-1] 일 수 있다.
복원된 주변 샘플이 존재하는 경우, 상기 복원된 주변 샘플이 상기 참조 샘플로 도출될 수 있다. 또한, 특정 위치에 복원된 주변 샘플이 존재하지 않는 경우, 도출된 참조 샘플을 기반으로 상기 특정 위치의 참조 샘플이 도출될 수 있다.
예를 들어, 주변의 참조 샘플을 사용하여 상기 우하측 참조 샘플이 도출될 수 있다. 일 예로, 상기 우하측 참조 샘플은 상기 현재 블록의 좌하측 참조 샘플 및 우상측 참조 샘플을 기반으로 도출될 수 있다. 예를 들어, 상기 우하측 참조 샘플은 상술한 수학식 1 또는 수학식 2를 기반으로 도출될 수 있다.
상기 하측 참조 샘플들은 상기 현재 블록의 상기 좌하측 참조 샘플과 상기 우하측 참조 샘플의 선형 보간(linear interpolation) 또는 가중합(weighted sum)을 통하여 도출될 수 있다.
이후, 인코딩 장치는 상기 인트라 예측 모드를 기반으로 상기 참조 샘플들 중 적어도 하나의 참조 샘플을 도출할 수 있고, 상기 도출된 참조 샘플을 기반으로 상기 예측 샘플을 도출할 수 있다.
예를 들어, 인코딩 장치는 상기 인트라 예측 모드를 기반으로 상기 참조 샘플들 중 제1 참조 샘플 및 제2 참조 샘플을 도출할 수 있고, 상기 제1 참조 샘플과 상기 제2 참조 샘플과의 선형 보간(linear interpolation)을 통하여 상기 예측 샘플을 도출할 수 있다. 여기서, 상기 제1 참조 샘플은 상기 예측 샘플을 기준으로 상기 인트라 예측 모드의 예측 방향에 위치하는 참조 샘플일 수 있고, 상기 제2 참조 샘플은 상기 예측 샘플을 기준으로 상기 예측 방향의 반대 방향에 위치하는 참조 샘플일 수 있다. 즉, 상기 예측 샘플은 상기 참조 샘플들 중 상기 현재 블록의 예측 샘플을 기준으로 상기 인트라 예측 모드의 예측 방향에 위치하는 제1 참조 샘플 및 상기 예측 방향의 반대 방향에 위치하는 제2 참조 샘플을 기반으로 도출될 수 있다. 구체적으로, 상기 제1 참조 샘플과 상기 제2 참조 샘플과의 선형 보간(linear interpolation)을 통하여 예측 샘플이 생성될 수 있다. 상기 예측 샘플은 상술한 수학식 3을 기반으로 도출될 수 있다. 한편, 상기 제1 참조 샘플 또는 상기 제2 참조 샘플의 위치가 분수 샘플(fractional sample) 위치인 경우, 상기 제1 참조 샘플 또는 상기 제2 참조 샘플의 좌우에 인접한 정수 샘플들간의 보간을 통하여 상기 제1 참조 샘플 또는 상기 제2 참조 샘플의 샘플값이 도출될 수 있다.
한편, 상기 LIP 가 수행되지 않는다고 판단된 경우, 인코딩 장치는 상기 인트라 예측 모드를 기반으로 상기 현재 블록의 예측 샘플을 도출할 수 있다. 다시 말해, 상기 LIP 가 수행되지 않는다고 판단된 경우, 인코딩 장치는 상기 인트라 예측 모드를 기반으로 기존의 인트라 예측을 수행하여 상기 현재 블록의 예측 샘플을 도출할 수 있다. 예를 들어, 인코딩 장치는 상기 현재 블록의 참조 샘플들을 도출할 수 있고, 상기 참조 샘플들 중 상기 인트라 예측 모드에 따른 참조 샘플을 기반으로 상기 현재 블록의 예측 샘플을 도출할 수 있다.
인코딩 장치는 상기 현재 블록의 PDPC(Position dependent intra prediction combination) 수행 여부를 판단한다(S2120).
인코딩 장치는 특정 조건을 기반으로 상기 현재 블록의 PDPC 수행 여부를 판단할 수 있다.
일 예로, 상기 현재 블록에 대한 상기 인트라 예측 모드를 기반으로 상기 현재 블록의 PDPC 수행 여부가 판단될 수 있다.
예를 들어, 상기 현재 블록에 대한 상기 인트라 예측 모드가 수직 인트라 예측 모드, 수평 인트라 예측 모드, 2번 내지 10번 인트라 예측 모드, 58번 인트라 예측 모드 내지 66번 인트라 예측 모드 중 하나인 경우, 상기 현재 블록에 상기 PDPC 가 수행된다고 판단될 수 있다.
또는, 일 예로, 상기 현재 블록의 사이즈 및 상기 현재 블록에 대한 상기 인트라 예측 모드를 기반으로 상기 현재 블록의 PDPC 수행 여부가 판단될 수 있다.
예를 들어, 상기 현재 블록의 폭(width)과 높이(height)를 곱한 값이 64 이상이고, 상기 현재 블록에 대한 상기 인트라 예측 모드가 수직 인트라 예측 모드, 수평 인트라 예측 모드, 2번 내지 10번 인트라 예측 모드, 58번 인트라 예측 모드 내지 66번 인트라 예측 모드 중 하나인 경우, 상기 현재 블록에 상기 PDPC 가 수행된다고 판단될 수 있다.
또는, 예를 들어, 상기 현재 블록의 폭(width)과 높이(height)를 곱한 값이 63 이상이고, 상기 현재 블록에 대한 상기 인트라 예측 모드가 수직 인트라 예측 모드, 수평 인트라 예측 모드, 2번 내지 10번 인트라 예측 모드, 58번 인트라 예측 모드 내지 66번 인트라 예측 모드 중 하나인 경우, 상기 현재 블록에 상기 PDPC 가 수행된다고 판단될 수 있다.
인코딩 장치는 상기 PDPC 가 수행된다고 판단된 경우, 상기 예측 샘플에 대해 상기 PDPC를 수행하여 수정된 예측 샘플을 도출한다(S2130).
일 예로, 인코딩 장치는 상기 예측 샘플에 대한 참조 샘플들과 상기 예측 샘플을 가중합하여 상기 수정된 예측 샘플을 도출할 수 있다. 상기 수정된 예측 샘플은 상술한 수학식 4를 기반으로 도출될 수 있다. 예를 들어, 상기 참조 샘플들은 상기 예측 샘플을 기준으로 상측에 위치하는 참조 샘플, 좌측에 위치하는 참조 샘플 및 좌상측 참조 샘플일 수 있다. 즉, 인코딩 장치는 상기 예측 샘플을 기준으로 상측에 위치하는 참조 샘플, 좌측에 위치하는 참조 샘플 및 상기 좌상측 참조 샘플과 상기 예측 샘플을 가중합하여 상기 수정된 예측 샘플을 도출할 수 있다.
또는, 일 예로, 인코딩 장치는 상기 LIP를 수행하여 도출된 예측 샘플에 대하여 수정된 PDPC 를 수행하여 상기 수정된 예측 샘플을 도출할 수 있다. 상기 수정된 PDPC 는 참조 샘플들에 대한 가중치가 감소된 PDPC 일 수 있다. 인코딩 장치는 상기 예측 샘플에 대한 참조 샘플들과 상기 예측 샘플을 가중합하여 상기 수정된 예측 샘플을 도출할 수 있다. 상기 수정된 예측 샘플은 상술한 수학식 7을 기반으로 도출될 수 있다. 예를 들어, 상기 참조 샘플들은 상기 예측 샘플을 기준으로 상측에 위치하는 참조 샘플, 좌측에 위치하는 참조 샘플 및 좌상측 참조 샘플일 수 있다. 즉, 인코딩 장치는 상기 예측 샘플을 기준으로 상측에 위치하는 참조 샘플, 좌측에 위치하는 참조 샘플 및 상기 좌상측 참조 샘플과 상기 예측 샘플을 가중합하여 상기 수정된 예측 샘플을 도출할 수 있다.
한편, 상기 LIP 가 적용되지 않은 경우(즉, 상기 인트라 예측 모드를 기반으로 기존의 인트라 예측을 수행하여 예측 샘플을 도출한 경우)에도 인코딩 장치는 상기 현재 블록의 PDPC(Position dependent intra prediction combination) 수행 여부를 판단할 수 있다.
인코딩 장치는 특정 조건을 기반으로 상기 현재 블록의 PDPC 수행 여부를 판단할 수 있다.
일 예로, 상기 현재 블록에 대한 상기 인트라 예측 모드를 기반으로 상기 현재 블록의 PDPC 수행 여부가 판단될 수 있다.
예를 들어, 상기 현재 블록에 대한 상기 인트라 예측 모드가 수직 인트라 예측 모드, 수평 인트라 예측 모드, 2번 내지 10번 인트라 예측 모드, 58번 인트라 예측 모드 내지 66번 인트라 예측 모드 중 하나인 경우, 상기 현재 블록에 상기 PDPC 가 수행된다고 판단될 수 있다.
또는, 일 예로, 상기 현재 블록의 사이즈 및 상기 현재 블록에 대한 상기 인트라 예측 모드를 기반으로 상기 현재 블록의 PDPC 수행 여부가 판단될 수 있다.
예를 들어, 상기 현재 블록의 폭(width)과 높이(height)를 곱한 값이 64 이상이고, 상기 현재 블록에 대한 상기 인트라 예측 모드가 수직 인트라 예측 모드, 수평 인트라 예측 모드, 2번 내지 10번 인트라 예측 모드, 58번 인트라 예측 모드 내지 66번 인트라 예측 모드 중 하나인 경우, 상기 현재 블록에 상기 PDPC 가 수행된다고 판단될 수 있다.
또는, 예를 들어, 상기 현재 블록의 폭(width)과 높이(height)를 곱한 값이 63 이상이고, 상기 현재 블록에 대한 상기 인트라 예측 모드가 수직 인트라 예측 모드, 수평 인트라 예측 모드, 2번 내지 10번 인트라 예측 모드, 58번 인트라 예측 모드 내지 66번 인트라 예측 모드 중 하나인 경우, 상기 현재 블록에 상기 PDPC 가 수행된다고 판단될 수 있다.
이후, 상기 PDPC 가 수행된다고 판단된 경우, 인코딩 장치는 상기 예측 샘플에 대해 상기 PDPC를 수행하여 수정된 예측 샘플을 도출할 수 있다. 일 예로, 인코딩 장치는 상기 예측 샘플에 대한 참조 샘플들과 상기 예측 샘플을 가중합하여 상기 수정된 예측 샘플을 도출할 수 있다. 상기 수정된 예측 샘플은 상술한 수학식 4를 기반으로 도출될 수 있다. 예를 들어, 상기 참조 샘플들은 상기 예측 샘플을 기준으로 상측에 위치하는 참조 샘플, 좌측에 위치하는 참조 샘플 및 좌상측 참조 샘플일 수 있다. 즉, 인코딩 장치는 상기 예측 샘플을 기준으로 상측에 위치하는 참조 샘플, 좌측에 위치하는 참조 샘플 및 상기 좌상측 참조 샘플과 상기 예측 샘플을 가중합하여 상기 수정된 예측 샘플을 도출할 수 있다.
인코딩 장치는 상기 현재 블록에 대한 인트라 예측 모드 정보를 포함하는 영상 정보를 인코딩한다(S2140). 인코딩 장치는 상기 인트라 예측 모드 정보를 포함하는 영상 정보를 인코딩할 수 있고, 비트스트림 형태로 출력할 수 있다. 한편, 상기 비트스트림은 네트워크 또는 (디지털) 저장매체를 통하여 디코딩 장치로 전송될 수 있다. 여기서 네트워크는 방송망 및/또는 통신망 등을 포함할 수 있고, 디지털 저장매체는 USB, SD, CD, DVD, 블루레이, HDD, SSD 등 다양한 저장매체를 포함할 수 있다.
예를 들어, 인코딩 장치는 상기 현재 블록에 대한 인트라 예측 모드를 결정할 수 있고, 상기 인트라 예측 모드를 나타내는 인트라 예측 모드 정보를 생성할 수 있다. 상기 인트라 예측 모드 정보는 상기 MPM 플래그, 상기 MPM 인덱스 및/또는 상기 리메이닝 인트라 예측 모드 정보를 포함할 수 있다.
상기 MPM 플래그는 상기 현재 블록에 대한 상기 인트라 예측 모드가 상기 MPM 후보들에 포함되는지, 또는 상기 MPM 후보들에 포함되지 않은 상기 나머지 인트라 예측 모드들에 포함되는지 여부를 나타낼 수 있다. 즉, 상기 MPM 플래그는 상기 MPM 후보들에서 상기 현재 블록의 인트라 예측 모드가 도출되는지 여부를 나타낼 수 있다. 구체적으로, 상기 MPM 플래그의 값이 1인 경우, 상기 MPM 플래그는 상기 현재 블록에 대한 인트라 예측 모드가 MPM 후보들에 포함됨을 나타낼 수 있고, 상기 MPM 플래그의 값이 0인 경우, 상기 MPM 플래그는 상기 현재 블록에 대한 상기 인트라 예측 모드가 MPM 후보들에 포함되지 않음, 즉, 상기 나머지 인트라 예측 모드들에 포함됨을 나타낼 수 있다. 상기 MPM 플래그는 prev_intra_luma_pred_flag 또는 intra_luma_mpm_flag 신텍스 요소의 형태로 시그널링될 수 있다.
또는, 상기 현재 블록의 상기 인트라 예측 모드가 상기 MPM 후보들에 포함된 경우, 인코딩 장치는 상기 MPM 플래그를 인코딩하지 않을 수도 있다. 즉, 상기 현재 블록에 대한 상기 인트라 예측 모드가 상기 MPM 후보들에 포함된 경우, 상기 인트라 예측 모드 정보는 상기 MPM 플래그를 포함하지 않을 수도 있다.
또한, 상기 MPM 인덱스는 상기 MPM 후보들 중 하나의 MPM 후보를 가리킬 수 있다. 상기 MPM 인덱스는 mpm_idx 또는 intra_luma_mpm_idx 신텍스 요소의 형태로 시그널링될 수 있다.
또한, 상기 리메이닝 인트라 예측 모드 정보는 상기 나머지 인트라 예측 모드들 중 하나일 수 있다. 여기서, 상기 나머지 인트라 예측 모드들은 전체 인트라 예측 모드들에서 상기 MPM 리스트에 포함된 MPM 후보들을 제외한 인트라 예측 모드들일 수 있다. 상기 리메이닝 인트라 예측 모드 정보는 rem_intra_luma_pred_mode 또는 intra_luma_mpm_remainder 신텍스 요소의 형태로 시그널링될 수 있다.
한편, 일 예로, 인코딩 장치는 상기 현재 블록에 대한 원본 샘플과 예측 샘플을 기반으로 상기 현재 블록에 대한 레지듀얼 샘플을 도출할 수 있고, 상기 레지듀얼 샘플을 기반으로 상기 현재 블록에 대한 레지듀얼에 관한 정보를 생성할 수 있고, 상기 레지듀얼에 관한 정보를 인코딩할 수 있다. 상기 영상 정보는 상기 레지듀얼에 관한 정보를 포함할 수 있다.
도 22는 본 발명에 따른 영상 인코딩 방법을 수행하는 인코딩 장치를 개략적으로 나타낸다. 도 21에서 개시된 방법은 도 22에서 개시된 인코딩 장치에 의하여 수행될 수 있다. 구체적으로 예를 들어, 도 22의 상기 인코딩 장치의 예측부는 도 21의 S2100 내지 S2130을 수행할 수 있고, 도 22의 상기 인코딩 장치의 엔트로피 인코딩부는 도 21의 S2140을 수행할 수 있다. 또한, 비록 도시되지는 않았으나 상기 현재 블록에 대한 원본 샘플과 예측 샘플을 기반으로 상기 현재 블록에 대한 레지듀얼 샘플을 도출하는 과정은 도 22의 상기 인코딩 장치의 감산부에 의하여 수행될 수 있고, 상기 레지듀얼 샘플을 기반으로 상기 현재 블록에 대한 레지듀얼에 관한 정보를 생성하는 과정은 도 22의 상기 인코딩 장치의 변환부에 의하여 수행될 수 있고, 상기 레지듀얼에 관한 정보를 인코딩하는 과정은 도 22의 상기 인코딩 장치의 엔트로피 인코딩부에 의하여 수행될 수 있다.
도 23은 본 발명에 따른 디코딩 장치에 의한 영상 디코딩 방법을 개략적으로 나타낸다. 도 23에서 개시된 방법은 도 3에서 개시된 디코딩 장치에 의하여 수행될 수 있다. 구체적으로 예를 들어, 도 23의 S2300 내지 S2330은 상기 디코딩 장치의 예측부에 의하여 수행될 수 있고, S2340은 상기 디코딩 장치의 가산부에 의하여 수행될 수 있다. 또한, 비록 도시되지는 않았으나 비트스트림을 통하여 상기 현재 블록에 대한 레지듀얼에 관한 정보 및/또는 인트라 예측 모드 정보를 포함하는 영상 정보를 획득하는 과정은 상기 디코딩 장치의 엔트로피 디코딩부에 의하여 수행될 수 있고, 상기 레지듀얼 정보를 기반으로 상기 현재 블록에 대한 상기 레지듀얼 샘플을 도출하는 과정은 상기 디코딩 장치의 역변환부에 의하여 수행될 수 있고, 상기 예측 샘플과 상기 레지듀얼 샘플을 기반으로 복원 픽처를 생성하는 과정은 상기 디코딩 장치의 가산부에 의하여 수행될 수 있다.
디코딩 장치는 현재 블록에 대한 인트라 예측 모드를 도출한다(S2300).
디코딩 장치는 비트스트림을 통하여 상기 현재 블록에 대한 인트라 예측 모드 정보를 포함하는 영상 정보를 획득할 수 있다. 상기 인트라 예측 모드 정보는 상기 현재 블록에 대한 인트라 예측 모드를 직접적으로 가리키는 리메이닝(remaining) 인트라 예측 모드 정보를 포함할 수도 있고, 또는 상기 현재 블록의 좌측 또는 상측 블록의 인트라 예측 모드를 기반으로 도출된 MPM(Most Probable Mode) 리스트 중에서 어느 하나의 MPM 후보를 가리키는 MPM 인덱스를 포함할 수도 있다. 상기 MPM 인덱스는 mpm_idx 또는 intra_luma_mpm_idx 신텍스 요소의 형태로 시그널링될 수 있다. 상기 리메이닝 인트라 예측 모드 정보는 rem_intra_luma_pred_mode 또는 intra_luma_mpm_remainder 신텍스 요소의 형태로 시그널링될 수 있다.
여기서, 일 예로, 상기 MPM 리스트는 3개의 MPM 후보들, 5개의 MPM 후보들 또는 6개의 MPM 후보들을 포함할 수 있다.
예를 들어, 디코딩 장치는 상기 현재 블록의 상기 주변 블록을 기반으로 상기 현재 블록의 상기 MPM 리스트를 구성할 수 있고, 상기 MPM 리스트는 6개의 MPM 후보들을 포함할 수 있다. 상기 주변 블록은 상기 현재 블록의 상기 좌측 주변 블록, 상기 상측 주변 블록, 상기 좌하측 주변 블록, 상기 우상측 주변 블록 및/또는 상기 좌상측 주변 블록을 포함할 수 있다. 디코딩 장치는 상기 현재 블록의 주변 블록들을 특정 순서에 따라 탐색할 수 있고, 주변 블록의 인트라 예측 모드를 도출된 순서로 상기 MPM 후보로 도출할 수 있다. 예를 들어, 디코딩 장치는 상기 좌측 주변 블록의 인트라 예측 모드, 상기 상측 주변 블록의 인트라 예측 모드, 플래너 인트라 예측 모드, DC 인트라 예측 모드, 상기 좌하측 주변 블록의 인트라 예측 모드, 상기 우상측 주변 블록의 인트라 예측 모드, 상기 좌상측 주변 블록의 인트라 예측 모드 순서로 탐색하여 MPM 후보를 도출하고 상기 현재 블록의 상기 MPM 리스트를 구성할 수 있다. 한편, 상기 탐색 후, 6개의 MPM 후보들이 도출되지 않은 경우, MPM 후보로 도출된 인트라 예측 모드를 기반으로 MPM 후보가 도출될 수 있다. 예를 들어, 상기 MPM 후보로 도출된 인트라 예측 모드가 N번 인트라 예측 모드인 경우, 디코딩 장치는 상기 N+1번 인트라 예측 모드 및/또는 N-1번 인트라 예측 모드를 상기 현재 블록의 MPM 후보로 도출할 수 있다.
또한, 예를 들어, 상기 영상 정보는 상기 현재 블록에 대한 MPM 플래그를 포함할 수 있다. 상기 MPM 플래그의 값이 1인 경우, 디코딩 장치는 비트스트림으로부터 상기 현재 블록에 대한 상기 MPM 인덱스를 획득할 수 있다. 또는, 상기 영상 정보는 상기 MPM 플래그를 포함하지 않을 수 있고, 이 경우, 디코딩 장치는 상기 MPM 플래그의 값을 1로 도출할 수 있다.
또한, 상기 MPM 플래그의 값이 0인 경우, 디코딩 장치는 비트스트림으로부터 상기 현재 블록에 대한 상기 리메이닝 인트라 예측 모드 정보를 획득할 수 있다. 즉, 상기 MPM 플래그의 값이 0인 경우, 상기 영상 정보는 나머지 인트라 예측 모드들 중 하나를 가리키는 상기 리메이닝 인트라 예측 모드 정보를 포함할 수 있다. 이 경우, 디코딩 장치는 나머지 인트라 예측 모드들 중 상기 리메이닝 인트라 예측 모드 정보가 나타내는 인트라 예측 모드를 상기 현재 블록에 대한 상기 인트라 예측 모드로 도출할 수 있다. 여기서, 상기 나머지 인트라 예측 모드들은 상기 MPM 리스트의 상기 MPM 후보들에 포함되지 않은 나머지 인트라 예측 모드들을 나타낼 수 있다.
디코딩 장치는 상기 획득된 예측 정보를 기반으로 상기 현재 블록에 대한 인트라 예측 모드를 도출할 수 있다. 상기 인트라 예측 모드는 2개의 비방향성 예측 모드들과 33개의 방향성 예측 모드들 중 하나일 수 있다. 상기 2개의 비방향성 예측 모드들은 인트라 DC 모드 및 인트라 플래너 모드를 포함할 수 있음은 상술한 바와 같다. 또는 상기 인트라 예측 모드는 2개의 비방향성 인트라 예측 모드들과 65개의 방향성 인트라 예측 모드들 중 하나일 수 있다. 상기 2개의 비방향성 예측 모드들은 인트라 DC 모드 및 인트라 플래너 모드를 포함할 수 있음은 상술한 바와 같다. 또한, 상기 65개의 방향성 인트라 예측 모드들은 수직 방향성 인트라 예측 모드들과 수평 방향성 인트라 예측 모드들을 포함할 수 있다. 상기 수직 방향성 인트라 예측 모드들은 34번 인트라 예측 모드 내지 66번 인트라 예측 모드를 포함할 수 있고, 상기 수평 방향성 인트라 예측 모드들은 2번 인트라 예측 모드 내지 33번 인트라 예측 모드를 포함할 수 있다.
디코딩 장치는 상기 인트라 예측 모드를 기반으로 상기 현재 블록에 LIP(Linear Intra Prediction)를 수행하여 상기 현재 블록의 예측 샘플을 도출한다(S2310).
디코딩 장치는 상기 현재 블록의 상기 LIP 수행 여부를 결정할 수 있다.
상기 LIP 가 수행된다고 판단된 경우, 디코딩 장치는 상기 인트라 예측 모드를 기반으로 상기 현재 블록에 LIP(Linear Intra Prediction)를 수행하여 상기 현재 블록의 예측 샘플을 도출할 수 있다.
구체적으로, 디코딩 장치는 상기 현재 블록의 주변 샘플을 기반으로 참조 샘플들을 도출할 수 있다. 상기 주변 샘플은 좌측 주변 샘플들, 좌상측 주변 샘플, 및/또는 상측 주변 샘플들을 포함할 수 있다. 상기 좌측 주변 샘플들, 상기 좌상측 주변 샘플, 및 상기 상측 주변 샘플들은 상기 현재 블록의 디코딩 시점에 이미 복원된 주변 블록들로부터 도출될 수 있다.
또한, 상기 참조 샘플들은 좌측 참조 샘플들, 좌상측 참조 샘플, 상측 참조 샘플들, 우하측 참조 샘플, 하측 주변 샘플들, 및/또는 우측 주변 샘플들을 포함할 수 있다. 여기서, 상기 현재 블록의 사이즈가 NxN이고, 상기 현재 블록의 좌상단(top-left) 샘플의 x성분이 0 및 y성분이 0인 경우, 상기 좌상측 참조 샘플은 p[-1][-1], 상기 상측 참조 샘플들은 p[0][-1] 내지 p[N-1][-1], 상기 좌측 참조 샘플들은 p[-1][N-1] 내지 p[-1][0], 상기 하측 참조 샘플들은 p[0][N] 내지 p[N-1][N], 상기 우하측 참조 샘플은 p[N][N], 상기 우측 참조 샘플들은 p[N][N-1] 내지 p[N][0], 상기 좌하측 참조 샘플은 p[-1][N], 상기 우상측 참조 샘플은 p[N][-1] 일 수 있다.
복원된 주변 샘플이 존재하는 경우, 상기 복원된 주변 샘플이 상기 참조 샘플로 도출될 수 있다. 또한, 특정 위치에 복원된 주변 샘플이 존재하지 않는 경우, 도출된 참조 샘플을 기반으로 상기 특정 위치의 참조 샘플이 도출될 수 있다.
예를 들어, 주변의 참조 샘플을 사용하여 상기 우하측 참조 샘플이 도출될 수 있다. 일 예로, 상기 우하측 참조 샘플은 상기 현재 블록의 좌하측 참조 샘플 및 우상측 참조 샘플을 기반으로 도출될 수 있다. 예를 들어, 상기 우하측 참조 샘플은 상술한 수학식 1 또는 수학식 2를 기반으로 도출될 수 있다.
상기 하측 참조 샘플들은 상기 현재 블록의 상기 좌하측 참조 샘플과 상기 우하측 참조 샘플의 선형 보간(linear interpolation) 또는 가중합(weighted sum)을 통하여 도출될 수 있다.
이후, 디코딩 장치는 상기 인트라 예측 모드를 기반으로 상기 참조 샘플들 중 적어도 하나의 참조 샘플을 도출할 수 있고, 상기 도출된 참조 샘플을 기반으로 상기 예측 샘플을 도출할 수 있다.
예를 들어, 디코딩 장치는 상기 인트라 예측 모드를 기반으로 상기 참조 샘플들 중 제1 참조 샘플 및 제2 참조 샘플을 도출할 수 있고, 상기 제1 참조 샘플과 상기 제2 참조 샘플과의 선형 보간(linear interpolation)을 통하여 상기 예측 샘플을 도출할 수 있다. 여기서, 상기 제1 참조 샘플은 상기 예측 샘플을 기준으로 상기 인트라 예측 모드의 예측 방향에 위치하는 참조 샘플일 수 있고, 상기 제2 참조 샘플은 상기 예측 샘플을 기준으로 상기 예측 방향의 반대 방향에 위치하는 참조 샘플일 수 있다. 즉, 상기 예측 샘플은 상기 참조 샘플들 중 상기 현재 블록의 예측 샘플을 기준으로 상기 인트라 예측 모드의 예측 방향에 위치하는 제1 참조 샘플 및 상기 예측 방향의 반대 방향에 위치하는 제2 참조 샘플을 기반으로 도출될 수 있다. 구체적으로, 상기 제1 참조 샘플과 상기 제2 참조 샘플과의 선형 보간(linear interpolation)을 통하여 예측 샘플이 생성될 수 있다. 상기 예측 샘플은 상술한 수학식 3을 기반으로 도출될 수 있다. 한편, 상기 제1 참조 샘플 또는 상기 제2 참조 샘플의 위치가 분수 샘플(fractional sample) 위치인 경우, 상기 제1 참조 샘플 또는 상기 제2 참조 샘플의 좌우에 인접한 정수 샘플들간의 보간을 통하여 상기 제1 참조 샘플 또는 상기 제2 참조 샘플의 샘플값이 도출될 수 있다.
한편, 상기 LIP 가 수행되지 않는다고 판단된 경우, 디코딩 장치는 상기 인트라 예측 모드를 기반으로 상기 현재 블록의 예측 샘플을 도출할 수 있다. 다시 말해, 상기 LIP 가 수행되지 않는다고 판단된 경우, 디코딩 장치는 상기 인트라 예측 모드를 기반으로 기존의 인트라 예측을 수행하여 상기 현재 블록의 예측 샘플을 도출할 수 있다. 예를 들어, 디코딩 장치는 상기 현재 블록의 참조 샘플들을 도출할 수 있고, 상기 참조 샘플들 중 상기 인트라 예측 모드에 따른 참조 샘플을 기반으로 상기 현재 블록의 예측 샘플을 도출할 수 있다.
디코딩 장치는 상기 현재 블록의 PDPC(Position dependent intra prediction combination) 수행 여부를 판단한다(S2320).
디코딩 장치는 특정 조건을 기반으로 상기 현재 블록의 PDPC 수행 여부를 판단할 수 있다.
일 예로, 상기 현재 블록에 대한 상기 인트라 예측 모드를 기반으로 상기 현재 블록의 PDPC 수행 여부가 판단될 수 있다.
예를 들어, 상기 현재 블록에 대한 상기 인트라 예측 모드가 수직 인트라 예측 모드, 수평 인트라 예측 모드, 2번 내지 10번 인트라 예측 모드, 58번 인트라 예측 모드 내지 66번 인트라 예측 모드 중 하나인 경우, 상기 현재 블록에 상기 PDPC 가 수행된다고 판단될 수 있다.
또는, 일 예로, 상기 현재 블록의 사이즈 및 상기 현재 블록에 대한 상기 인트라 예측 모드를 기반으로 상기 현재 블록의 PDPC 수행 여부가 판단될 수 있다.
예를 들어, 상기 현재 블록의 폭(width)과 높이(height)를 곱한 값이 64 이상이고, 상기 현재 블록에 대한 상기 인트라 예측 모드가 수직 인트라 예측 모드, 수평 인트라 예측 모드, 2번 내지 10번 인트라 예측 모드, 58번 인트라 예측 모드 내지 66번 인트라 예측 모드 중 하나인 경우, 상기 현재 블록에 상기 PDPC 가 수행된다고 판단될 수 있다.
또는, 예를 들어, 상기 현재 블록의 폭(width)과 높이(height)를 곱한 값이 63 이상이고, 상기 현재 블록에 대한 상기 인트라 예측 모드가 수직 인트라 예측 모드, 수평 인트라 예측 모드, 2번 내지 10번 인트라 예측 모드, 58번 인트라 예측 모드 내지 66번 인트라 예측 모드 중 하나인 경우, 상기 현재 블록에 상기 PDPC 가 수행된다고 판단될 수 있다.
상기 PDPC 가 수행된다고 판단된 경우, 디코딩 장치는 상기 예측 샘플에 대해 상기 PDPC를 수행하여 수정된 예측 샘플을 도출한다(S2330).
일 예로, 디코딩 장치는 상기 예측 샘플에 대한 참조 샘플들과 상기 예측 샘플을 가중합하여 상기 수정된 예측 샘플을 도출할 수 있다. 상기 수정된 예측 샘플은 상술한 수학식 4를 기반으로 도출될 수 있다. 예를 들어, 상기 참조 샘플들은 상기 예측 샘플을 기준으로 상측에 위치하는 참조 샘플, 좌측에 위치하는 참조 샘플 및 좌상측 참조 샘플일 수 있다. 즉, 디코딩 장치는 상기 예측 샘플을 기준으로 상측에 위치하는 참조 샘플, 좌측에 위치하는 참조 샘플 및 상기 좌상측 참조 샘플과 상기 예측 샘플을 가중합하여 상기 수정된 예측 샘플을 도출할 수 있다.
또는, 일 예로, 디코딩 장치는 상기 LIP를 수행하여 도출된 예측 샘플에 대하여 수정된 PDPC 를 수행하여 상기 수정된 예측 샘플을 도출할 수 있다. 상기 수정된 PDPC 는 참조 샘플들에 대한 가중치가 감소된 PDPC 일 수 있다. 디코딩 장치는 상기 예측 샘플에 대한 참조 샘플들과 상기 예측 샘플을 가중합하여 상기 수정된 예측 샘플을 도출할 수 있다. 상기 수정된 예측 샘플은 상술한 수학식 7을 기반으로 도출될 수 있다. 예를 들어, 상기 참조 샘플들은 상기 예측 샘플을 기준으로 상측에 위치하는 참조 샘플, 좌측에 위치하는 참조 샘플 및 좌상측 참조 샘플일 수 있다. 즉, 디코딩 장치는 상기 예측 샘플을 기준으로 상측에 위치하는 참조 샘플, 좌측에 위치하는 참조 샘플 및 상기 좌상측 참조 샘플과 상기 예측 샘플을 가중합하여 상기 수정된 예측 샘플을 도출할 수 있다.
한편, 상기 LIP 가 적용되지 않은 경우(즉, 상기 인트라 예측 모드를 기반으로 기존의 인트라 예측을 수행하여 예측 샘플을 도출한 경우)에도 디코딩 장치는 상기 현재 블록의 PDPC(Position dependent intra prediction combination) 수행 여부를 판단할 수 있다.
디코딩 장치는 특정 조건을 기반으로 상기 현재 블록의 PDPC 수행 여부를 판단할 수 있다.
일 예로, 상기 현재 블록에 대한 상기 인트라 예측 모드를 기반으로 상기 현재 블록의 PDPC 수행 여부가 판단될 수 있다.
예를 들어, 상기 현재 블록에 대한 상기 인트라 예측 모드가 수직 인트라 예측 모드, 수평 인트라 예측 모드, 2번 내지 10번 인트라 예측 모드, 58번 인트라 예측 모드 내지 66번 인트라 예측 모드 중 하나인 경우, 상기 현재 블록에 상기 PDPC 가 수행된다고 판단될 수 있다.
또는, 일 예로, 상기 현재 블록의 사이즈 및 상기 현재 블록에 대한 상기 인트라 예측 모드를 기반으로 상기 현재 블록의 PDPC 수행 여부가 판단될 수 있다.
예를 들어, 상기 현재 블록의 폭(width)과 높이(height)를 곱한 값이 64 이상이고, 상기 현재 블록에 대한 상기 인트라 예측 모드가 수직 인트라 예측 모드, 수평 인트라 예측 모드, 2번 내지 10번 인트라 예측 모드, 58번 인트라 예측 모드 내지 66번 인트라 예측 모드 중 하나인 경우, 상기 현재 블록에 상기 PDPC 가 수행된다고 판단될 수 있다.
또는, 예를 들어, 상기 현재 블록의 폭(width)과 높이(height)를 곱한 값이 63 이상이고, 상기 현재 블록에 대한 상기 인트라 예측 모드가 수직 인트라 예측 모드, 수평 인트라 예측 모드, 2번 내지 10번 인트라 예측 모드, 58번 인트라 예측 모드 내지 66번 인트라 예측 모드 중 하나인 경우, 상기 현재 블록에 상기 PDPC 가 수행된다고 판단될 수 있다.
이후, 상기 PDPC 가 수행된다고 판단된 경우, 디코딩 장치는 상기 예측 샘플에 대해 상기 PDPC를 수행하여 수정된 예측 샘플을 도출할 수 있다. 일 예로, 디코딩 장치는 상기 예측 샘플에 대한 참조 샘플들과 상기 예측 샘플을 가중합하여 상기 수정된 예측 샘플을 도출할 수 있다. 상기 수정된 예측 샘플은 상술한 수학식 4를 기반으로 도출될 수 있다. 예를 들어, 상기 참조 샘플들은 상기 예측 샘플을 기준으로 상측에 위치하는 참조 샘플, 좌측에 위치하는 참조 샘플 및 좌상측 참조 샘플일 수 있다. 즉, 디코딩 장치는 상기 예측 샘플을 기준으로 상측에 위치하는 참조 샘플, 좌측에 위치하는 참조 샘플 및 상기 좌상측 참조 샘플과 상기 예측 샘플을 가중합하여 상기 수정된 예측 샘플을 도출할 수 있다.
디코딩 장치는 상기 수정된 예측 샘플을 기반으로 복원 픽처를 생성한다(S2340). 디코딩 장치는 예측 모드에 따라 상기 수정된 예측 샘플을 바로 복원 샘플로 이용할 수도 있고, 또는 상기 수정된 예측 샘플에 레지듀얼 샘플을 더하여 복원 샘플을 생성할 수도 있다. 디코딩 장치는 상기 현재 블록에 대한 레지듀얼 샘플이 존재하는 경우, 상기 현재 블록에 대한 레지듀얼에 관한 정보를 수신할 수 있고, 상기 레지듀얼에 관한 정보는 상기 레지듀얼 샘플에 관한 변환 계수를 포함할 수 있다. 상기 영상 정보는 상기 레지듀얼에 관한 정보를 포함할 수 있다. 디코딩 장치는 상기 레지듀얼 정보를 기반으로 상기 현재 블록에 대한 상기 레지듀얼 샘플(또는 레지듀얼 샘플 어레이)을 도출할 수 있다. 디코딩 장치는 상기 수정된 예측 샘플과 상기 레지듀얼 샘플을 기반으로 복원 샘플을 생성할 수 있고, 상기 복원 샘플을 기반으로 복원 블록 또는 복원 픽처를 도출할 수 있다.
한편, 이후 디코딩 장치는 필요에 따라 주관적/객관적 화질을 향상시키기 위하여 디블록킹 필터링 및/또는 SAO 절차와 같은 인루프 필터링 절차를 상기 복원 픽처에 적용할 수 있음은 상술한 바와 같다.
도 24는 본 발명에 따른 영상 디코딩 방법을 수행하는 디코딩 장치를 개략적으로 나타낸다. 도 23에서 개시된 방법은 도 24에서 개시된 디코딩 장치에 의하여 수행될 수 있다. 구체적으로 예를 들어, 도 24의 상기 디코딩 장치의 예측부는 도 23의 S2300 내지 S2330을 수행할 수 있고, 도 24의 상기 디코딩 장치의 가산부는 도 23의 S2340을 수행할 수 있다. 또한, 비록 도시되지는 않았으나 비트스트림을 통하여 현재 블록의 레지듀얼에 관한 정보 및 인트라 예측 모드 정보를 포함하는 영상 정보를 획득하는 과정은 도 24의 상기 디코딩 장치의 엔트로피 디코딩부에 의하여 수행될 수 있고, 상기 레지듀얼에 관한 정보를 기반으로 상기 현재 블록에 대한 상기 레지듀얼 샘플을 도출하는 과정은 도 24의 상기 디코딩 장치의 역변환부에 의하여 수행될 수 있고, 예측 샘플과 상기 레지듀얼 샘플을 기반으로 복원 픽처를 생성하는 과정은 도 24의 상기 디코딩 장치의 가산부에 의하여 수행될 수 있다.
상술한 본 발명에 따르면 LIP 를 수행하여 도출된 예측 샘플에 PDPC 를 후처리로 수행할 수 있고, 이를 통하여 인트라 예측 정확도를 향상시킬 수 있고 전반적인 코딩 효율을 향상시킬 수 있다.
또한, 본 발명에 따르면 특정 조건을 기반으로 LIP 및/또는 PDPC를 적응적으로 적용하여 인트라 예측을 수행할 수 있고, 이를 통하여 인트라 예측 효율을 보다 향상시킬 수 있고, 전반적인 코딩 효율을 향상시킬 수 있다.
상술한 실시예에서, 방법들은 일련의 단계 또는 블록으로써 순서도를 기초로 설명되고 있지만, 본 발명은 단계들의 순서에 한정되는 것은 아니며, 어떤 단계는 상술한 바와 다른 단계와 다른 순서로 또는 동시에 발생할 수 있다. 또한, 당업자라면 순서도에 나타내어진 단계들이 배타적이지 않고, 다른 단계가 포함되거나 순서도의 하나 또는 그 이상의 단계가 본 발명의 범위에 영향을 미치지 않고 삭제될 수 있음을 이해할 수 있을 것이다.
본 문서에서 설명한 실시예들은 프로세서, 마이크로 프로세서, 컨트롤러 또는 칩 상에서 구현되어 수행될 수 있다. 예를 들어, 각 도면에서 도시한 기능 유닛들은 컴퓨터, 프로세서, 마이크로 프로세서, 컨트롤러 또는 칩 상에서 구현되어 수행될 수 있다. 이 경우 구현을 위한 정보(ex. information on instructions) 또는 알고리즘이 디지털 저장 매체에 저장될 수 있다.
또한, 본 발명이 적용되는 디코딩 장치 및 인코딩 장치는 멀티미디어 방송 송수신 장치, 모바일 통신 단말, 홈 시네마 비디오 장치, 디지털 시네마 비디오 장치, 감시용 카메라, 비디오 대화 장치, 비디오 통신과 같은 실시간 통신 장치, 모바일 스트리밍 장치, 저장 매체, 캠코더, 주문형 비디오(VoD) 서비스 제공 장치, OTT 비디오(Over the top video) 장치, 인터넷 스트리밍 서비스 제공 장치, 3차원(3D) 비디오 장치, 화상 전화 비디오 장치, 운송 수단 단말 (ex. 차량 단말, 비행기 단말, 선박 단말 등) 및 의료용 비디오 장치 등에 포함될 수 있으며, 비디오 신호 또는 데이터 신호를 처리하기 위해 사용될 수 있다. 예를 들어, OTT 비디오(Over the top video) 장치로는 게임 콘솔, 블루레이 플레이어, 인터넷 접속 TV, 홈시어터 시스템, 스마트폰, 태블릿 PC, DVR(Digital Video Recoder) 등을 포함할 수 있다.
또한, 본 발명이 적용되는 처리 방법은 컴퓨터로 실행되는 프로그램의 형태로 생산될 수 있으며, 컴퓨터가 판독할 수 있는 기록 매체에 저장될 수 있다. 본 발명에 따른 데이터 구조를 가지는 멀티미디어 데이터도 또한 컴퓨터가 판독할 수 있는 기록 매체에 저장될 수 있다. 상기 컴퓨터가 판독할 수 있는 기록 매체는 컴퓨터로 읽을 수 있는 데이터가 저장되는 모든 종류의 저장 장치 및 분산 저장 장치를 포함한다. 상기 컴퓨터가 판독할 수 있는 기록 매체는, 예를 들어, 블루레이 디스크(BD), 범용 직렬 버스(USB), ROM, PROM, EPROM, EEPROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크 및 광학적 데이터 저장 장치를 포함할 수 있다. 또한, 상기 컴퓨터가 판독할 수 있는 기록 매체는 반송파(예를 들어, 인터넷을 통한 전송)의 형태로 구현된 미디어를 포함한다. 또한, 인코딩 방법으로 생성된 비트스트림이 컴퓨터가 판독할 수 있는 기록 매체에 저장되거나 유무선 통신 네트워크를 통해 전송될 수 있다.
또한, 본 발명의 실시예는 프로그램 코드에 의한 컴퓨터 프로그램 제품으로 구현될 수 있고, 상기 프로그램 코드는 본 발명의 실시예에 의해 컴퓨터에서 수행될 수 있다. 상기 프로그램 코드는 컴퓨터에 의해 판독가능한 캐리어 상에 저장될 수 있다.
도 25는 본 발명이 적용되는 컨텐츠 스트리밍 시스템 구조도를 예시적으로 나타낸다.
본 발명이 적용되는 컨텐츠 스트리밍 시스템은 크게 인코딩 서버, 스트리밍 서버, 웹 서버, 미디어 저장소, 사용자 장치 및 멀티미디어 입력 장치를 포함할 수 있다.
상기 인코딩 서버는 스마트폰, 카메라, 캠코더 등과 같은 멀티미디어 입력 장치들로부터 입력된 컨텐츠를 디지털 데이터로 압축하여 비트스트림을 생성하고 이를 상기 스트리밍 서버로 전송하는 역할을 한다. 다른 예로, 스마트폰, 카메라, 캠코더 등과 같은 멀티미디어 입력 장치들이 비트스트림을 직접 생성하는 경우, 상기 인코딩 서버는 생략될 수 있다.
상기 비트스트림은 본 발명이 적용되는 인코딩 방법 또는 비트스트림 생성 방법에 의해 생성될 수 있고, 상기 스트리밍 서버는 상기 비트스트림을 전송 또는 수신하는 과정에서 일시적으로 상기 비트스트림을 저장할 수 있다.
상기 스트리밍 서버는 웹 서버를 통한 사용자 요청에 기초하여 멀티미디어 데이터를 사용자 장치에 전송하고, 상기 웹 서버는 사용자에게 어떠한 서비스가 있는지를 알려주는 매개체 역할을 한다. 사용자가 상기 웹 서버에 원하는 서비스를 요청하면, 상기 웹 서버는 이를 스트리밍 서버에 전달하고, 상기 스트리밍 서버는 사용자에게 멀티미디어 데이터를 전송한다. 이때, 상기 컨텐츠 스트리밍 시스템은 별도의 제어 서버를 포함할 수 있고, 이 경우 상기 제어 서버는 상기 컨텐츠 스트리밍 시스템 내 각 장치 간 명령/응답을 제어하는 역할을 한다.
상기 스트리밍 서버는 미디어 저장소 및/또는 인코딩 서버로부터 컨텐츠를 수신할 수 있다. 예를 들어, 상기 인코딩 서버로부터 컨텐츠를 수신하게 되는 경우, 상기 컨텐츠를 실시간으로 수신할 수 있다. 이 경우, 원활한 스트리밍 서비스를 제공하기 위하여 상기 스트리밍 서버는 상기 비트스트림을 일정 시간동안 저장할 수 있다.
상기 사용자 장치의 예로는, 휴대폰, 스마트 폰(smart phone), 노트북 컴퓨터(laptop computer), 디지털방송용 단말기, PDA(personal digital assistants), PMP(portable multimedia player), 네비게이션, 슬레이트 PC(slate PC), 태블릿 PC(tablet PC), 울트라북(ultrabook), 웨어러블 디바이스(wearable device, 예를 들어, 워치형 단말기 (smartwatch), 글래스형 단말기 (smart glass), HMD(head mounted display)), 디지털 TV, 데스크탑 컴퓨터, 디지털 사이니지 등이 있을 수 있다.
상기 컨텐츠 스트리밍 시스템 내 각 서버들은 분산 서버로 운영될 수 있으며, 이 경우 각 서버에서 수신하는 데이터는 분산 처리될 수 있다.

Claims (15)

  1. 디코딩 장치에 의하여 수행되는 영상 디코딩 방법에 있어서,
    현재 블록에 대한 인트라 예측 모드를 도출하는 단계;
    상기 인트라 예측 모드를 기반으로 상기 현재 블록에 LIP(Linear Intra Prediction)를 수행하여 상기 현재 블록의 예측 샘플을 도출하는 단계;
    상기 현재 블록의 PDPC(Position dependent intra prediction combination) 수행 여부를 판단하는 단계;
    상기 PDPC 가 수행된다고 판단된 경우, 상기 예측 샘플에 대해 상기 PDPC를 수행하여 수정된 예측 샘플을 도출하는 단계; 및
    상기 수정된 예측 샘플을 기반으로 대한 복원 픽처를 생성하는 단계를 포함하는 것을 특징으로 하는 영상 디코딩 방법.
  2. 제1항에 있어서,
    상기 인트라 예측 모드를 기반으로 상기 현재 블록에 상기 LIP를 수행하여 상기 현재 블록의 상기 예측 샘플을 도출하는 단계는,
    상기 현재 블록의 참조 샘플들을 도출하는 단계;
    상기 인트라 예측 모드를 기반으로 상기 참조 샘플들 중 제1 참조 샘플 및 제2 참조 샘플을 도출하는 단계; 및
    상기 제1 참조 샘플과 상기 제2 참조 샘플과의 선형 보간(linear interpolation)을 통하여 상기 예측 샘플을 도출하는 단계를 포함하고,
    상기 참조 샘플들은 상기 현재 블록의 좌측 참조 샘플들, 좌상측 참조 샘플, 상측 참조 샘플들, 우하측 참조 샘플, 하측 주변 샘플들, 및 우측 주변 샘플들을 포함하고,
    상기 제1 참조 샘플은 상기 예측 샘플을 기준으로 상기 인트라 예측 모드의 예측 방향에 위치하는 참조 샘플이고,
    상기 제2 참조 샘플은 상기 예측 샘플을 기준으로 상기 예측 방향의 반대 방향에 위치하는 참조 샘플인 것을 특징으로 하는 영상 디코딩 방법.
  3. 제2항에 있어서,
    상기 현재 블록의 사이즈가 NxN이고, 상기 현재 블록의 좌상단(top-left) 샘플의 x성분이 0 및 y성분이 0인 경우, 상기 좌상측 참조 샘플은 p[-1][-1], 상기 상측 참조 샘플들은 p[0][-1] 내지 p[N-1][-1], 상기 좌측 참조 샘플들은 p[-1][N-1] 내지 p[-1][0], 상기 하측 참조 샘플들은 p[0][N] 내지 p[N-1][N], 상기 우하측 참조 샘플은 p[N][N], 상기 우측 참조 샘플들은 p[N][N-1] 내지 p[N][0], 상기 좌하측 참조 샘플은 p[-1][N], 상기 우상측 참조 샘플은 p[N][-1] 인 것을 특징으로 하는 영상 디코딩 방법.
  4. 제1항에 있어서,
    상기 현재 블록에 대한 상기 인트라 예측 모드를 기반으로 상기 현재 블록의 상기 PDPC 수행 여부가 판단되는 것을 특징으로 하는 영상 디코딩 방법.
  5. 제4항에 있어서,
    상기 현재 블록에 대한 상기 인트라 예측 모드가 수직 인트라 예측 모드, 수평 인트라 예측 모드, 2번 내지 10번 인트라 예측 모드, 58번 인트라 예측 모드 내지 66번 인트라 예측 모드 중 하나인 경우, 상기 현재 블록에 상기 PDPC 가 수행된다고 판단되는 것을 특징으로 하는 영상 디코딩 방법.
  6. 제1항에 있어서,
    상기 현재 블록의 사이즈 및 상기 현재 블록에 대한 상기 인트라 예측 모드를 기반으로 상기 현재 블록의 상기 PDPC 수행 여부가 판단되는 것을 특징으로 하는 영상 디코딩 방법.
  7. 제6항에 있어서,
    상기 현재 블록의 폭(width)과 높이(height)를 곱한 값이 64 이상이고, 상기 현재 블록에 대한 상기 인트라 예측 모드가 수직 인트라 예측 모드, 수평 인트라 예측 모드, 2번 내지 10번 인트라 예측 모드, 58번 인트라 예측 모드 내지 66번 인트라 예측 모드 중 하나인 경우, 상기 현재 블록에 상기 PDPC 가 수행된다고 판단되는 것을 특징으로 하는 영상 디코딩 방법.
  8. 제1항에 있어서,
    상기 예측 샘플에 대해 상기 PDPC를 수행하여 상기 수정된 예측 샘플을 도출하는 단계는,
    상기 예측 샘플을 기준으로 상측에 위치하는 참조 샘플, 좌측에 위치하는 참조 샘플 및 상기 현재 블록의 좌상측 참조 샘플과 상기 예측 샘플을 가중합하여 상기 수정된 예측 샘플을 도출하는 단계를 포함하는 것을 특징으로 하는 영상 디코딩 방법.
  9. 제8항에 있어서,
    상기 수정된 예측 샘플은 다음의 수학식을 기반으로 도출되고,
    Figure PCTKR2019008441-appb-I000001
    여기서, Rx , -1은 상기 예측 샘플을 기준으로 상측에 위치한 상기 참조 샘플을 나타내고, R-1, y는 상기 예측 샘플을 기준으로 좌측에 위치한 상기 참조 샘플을 나타내고, R-1, -1은 상기 현재 블록의 상기 좌상측 참조 샘플을 나타내고, P(x,y) 는 상기 예측 샘플인 것을 특징으로 하는 영상 디코딩 방법.
  10. 제8항에 있어서,
    상기 수정된 예측 샘플은 다음의 수학식을 기반으로 도출되고,
    Figure PCTKR2019008441-appb-I000002
    여기서, Rx , -1은 상기 예측 샘플을 기준으로 상측에 위치한 상기 참조 샘플을 나타내고, R-1, y는 상기 예측 샘플을 기준으로 좌측에 위치한 상기 참조 샘플을 나타내고, R-1, -1은 상기 현재 블록의 상기 좌상측 참조 샘플을 나타내고, P(x,y) 는 상기 예측 샘플인 것을 특징으로 하는 영상 디코딩 방법.
  11. 인코딩 장치에 의하여 수행되는 영상 인코딩 방법에 있어서,
    현재 블록에 대한 인트라 예측 모드를 결정하는 단계;
    상기 인트라 예측 모드를 기반으로 상기 현재 블록에 LIP(Linear Intra Prediction)를 수행하여 상기 현재 블록의 예측 샘플을 도출하는 단계;
    상기 현재 블록의 PDPC(Position dependent intra prediction combination) 수행 여부를 판단하는 단계;
    상기 PDPC 가 수행된다고 판단된 경우, 상기 예측 샘플에 대해 상기 PDPC를 수행하여 수정된 예측 샘플을 도출하는 단계; 및
    상기 현재 블록에 대한 인트라 예측 모드 정보를 포함하는 영상 정보를 인코딩하는 단계를 포함하는 것을 특징으로 하는 영상 인코딩 방법.
  12. 제11항에 있어서,
    상기 현재 블록에 대한 상기 인트라 예측 모드를 기반으로 상기 현재 블록의 상기 PDPC 수행 여부가 판단되는 것을 특징으로 하는 영상 인코딩 방법.
  13. 제12항에 있어서,
    상기 현재 블록에 대한 상기 인트라 예측 모드가 수직 인트라 예측 모드, 수평 인트라 예측 모드, 2번 내지 10번 인트라 예측 모드, 58번 인트라 예측 모드 내지 66번 인트라 예측 모드 중 하나인 경우, 상기 현재 블록에 상기 PDPC 가 수행된다고 판단되는 것을 특징으로 하는 영상 인코딩 방법.
  14. 제11항에 있어서,
    상기 현재 블록의 사이즈 및 상기 현재 블록에 대한 상기 인트라 예측 모드를 기반으로 상기 현재 블록의 상기 PDPC 수행 여부가 판단되는 것을 특징으로 하는 영상 인코딩 방법.
  15. 제14항에 있어서,
    상기 현재 블록의 폭(width)과 높이(height)를 곱한 값이 64 이상이고, 상기 현재 블록에 대한 상기 인트라 예측 모드가 수직 인트라 예측 모드, 수평 인트라 예측 모드, 2번 내지 10번 인트라 예측 모드, 58번 인트라 예측 모드 내지 66번 인트라 예측 모드 중 하나인 경우, 상기 현재 블록에 상기 PDPC 가 수행된다고 판단되는 것을 특징으로 하는 영상 인코딩 방법.
PCT/KR2019/008441 2018-07-13 2019-07-09 영상 코딩 시스템에서 인트라 예측에 따른 영상 디코딩 방법 및 장치 WO2020013583A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201862697964P 2018-07-13 2018-07-13
US62/697,964 2018-07-13

Publications (1)

Publication Number Publication Date
WO2020013583A1 true WO2020013583A1 (ko) 2020-01-16

Family

ID=69143108

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2019/008441 WO2020013583A1 (ko) 2018-07-13 2019-07-09 영상 코딩 시스템에서 인트라 예측에 따른 영상 디코딩 방법 및 장치

Country Status (1)

Country Link
WO (1) WO2020013583A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113965764A (zh) * 2020-07-21 2022-01-21 Oppo广东移动通信有限公司 图像编码方法、图像解码方法及相关装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170280162A1 (en) * 2016-03-22 2017-09-28 Qualcomm Incorporated Constrained block-level optimization and signaling for video coding tools
KR20180026718A (ko) * 2015-07-28 2018-03-13 엘지전자 주식회사 인트라 예측 모드 기반 영상 처리 방법 및 이를 위한 장치
JP2018050151A (ja) * 2016-09-21 2018-03-29 キヤノン株式会社 画像符号化装置、画像符号化方法及びコンピュータプログラム
US20180176587A1 (en) * 2016-12-21 2018-06-21 Arris Enterprises Llc Constrained position dependent intra prediction combination (pdpc)

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180026718A (ko) * 2015-07-28 2018-03-13 엘지전자 주식회사 인트라 예측 모드 기반 영상 처리 방법 및 이를 위한 장치
US20170280162A1 (en) * 2016-03-22 2017-09-28 Qualcomm Incorporated Constrained block-level optimization and signaling for video coding tools
JP2018050151A (ja) * 2016-09-21 2018-03-29 キヤノン株式会社 画像符号化装置、画像符号化方法及びコンピュータプログラム
US20180176587A1 (en) * 2016-12-21 2018-06-21 Arris Enterprises Llc Constrained position dependent intra prediction combination (pdpc)

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
GEERT VAN DER AUWERA: "Extension of Simplified PDPC to Diagonal Intra Modes", JVET-J0069_R1, JOINT VIDEO EXPERTS TEAM (JVET) OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/WG 11 , 10TH MEETING, 5 April 2018 (2018-04-05), San Diego, USA *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113965764A (zh) * 2020-07-21 2022-01-21 Oppo广东移动通信有限公司 图像编码方法、图像解码方法及相关装置
CN113965764B (zh) * 2020-07-21 2023-04-07 Oppo广东移动通信有限公司 图像编码方法、图像解码方法及相关装置

Similar Documents

Publication Publication Date Title
WO2019103564A1 (ko) 영상 코딩 시스템에서 인터 예측에 따른 영상 디코딩 방법 및 장치
WO2020004990A1 (ko) 인터 예측 모드 기반 영상 처리 방법 및 이를 위한 장치
WO2020213944A1 (ko) 영상 코딩에서 매트릭스 기반의 인트라 예측을 위한 변환
WO2019216714A1 (ko) 인터 예측 모드 기반 영상 처리 방법 및 이를 위한 장치
WO2020055107A1 (ko) 영상 코딩 시스템에서 어파인 mvp 후보 리스트를 사용하는 어파인 움직임 예측에 기반한 영상 디코딩 방법 및 장치
WO2019194514A1 (ko) 인터 예측 모드 기반 영상 처리 방법 및 이를 위한 장치
WO2020213946A1 (ko) 변환 인덱스를 이용하는 영상 코딩
WO2019203610A1 (ko) 영상의 처리 방법 및 이를 위한 장치
WO2019235822A1 (ko) 어파인 움직임 예측을 이용하여 비디오 신호를 처리하는 방법 및 장치
WO2020256390A1 (ko) 블록 사이즈를 기반으로 bdpcm 을 수행하는 영상 디코딩 방법 및 그 장치
WO2021060847A1 (ko) 컬러 포맷에 기반하여 분할 모드를 결정하는 영상 부호화/복호화 방법, 장치 및 비트스트림을 전송하는 방법
WO2020213945A1 (ko) 인트라 예측 기반 영상 코딩에서의 변환
WO2020180119A1 (ko) Cclm 예측에 기반한 영상 디코딩 방법 및 그 장치
WO2020013569A1 (ko) 영상 코딩 시스템에서 어파인 움직임 예측에 기반한 영상 디코딩 방법 및 장치
WO2020171673A1 (ko) 인트라 예측을 위한 비디오 신호의 처리 방법 및 장치
WO2020017785A1 (ko) 영상 코딩 시스템에서 인트라 예측 관련 정보를 사용하는 영상 디코딩 방법 및 그 장치
WO2019194463A1 (ko) 영상의 처리 방법 및 이를 위한 장치
WO2021141227A1 (ko) 영상 디코딩 방법 및 그 장치
WO2021141226A1 (ko) 루마 성분 및 크로마 성분에 대한 bdpcm 기반 영상 디코딩 방법 및 그 장치
WO2020009447A1 (ko) 인터 예측 모드 기반 영상 처리 방법 및 이를 위한 장치
WO2021034117A1 (ko) 영상 디코딩 방법 및 그 장치
WO2020130581A1 (ko) 이차 변환에 기반한 영상 코딩 방법 및 그 장치
WO2019216736A1 (ko) 인터 예측 모드 기반 영상 처리 방법 및 이를 위한 장치
WO2019245228A1 (ko) 어파인 모션 예측을 사용하여 비디오 신호를 처리하기 위한 방법 및 장치
WO2022182174A1 (ko) 인트라 예측 모드 도출 기반 인트라 예측 방법 및 장치

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19834728

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19834728

Country of ref document: EP

Kind code of ref document: A1