WO2019125093A1 - 비디오 신호 처리 방법 및 장치 - Google Patents

비디오 신호 처리 방법 및 장치 Download PDF

Info

Publication number
WO2019125093A1
WO2019125093A1 PCT/KR2018/016604 KR2018016604W WO2019125093A1 WO 2019125093 A1 WO2019125093 A1 WO 2019125093A1 KR 2018016604 W KR2018016604 W KR 2018016604W WO 2019125093 A1 WO2019125093 A1 WO 2019125093A1
Authority
WO
WIPO (PCT)
Prior art keywords
current block
prediction mode
intra prediction
intra
samples
Prior art date
Application number
PCT/KR2018/016604
Other languages
English (en)
French (fr)
Inventor
고건중
손주형
김동철
정재홍
곽진삼
Original Assignee
주식회사 윌러스표준기술연구소
(주)휴맥스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to CN202310453302.3A priority Critical patent/CN116405672A/zh
Priority to CN202310458495.1A priority patent/CN116389733A/zh
Priority to CN202310453298.0A priority patent/CN116389730A/zh
Priority to CN202310458674.5A priority patent/CN116389734A/zh
Priority to CN202310461623.8A priority patent/CN116405674A/zh
Priority to CN202310459384.2A priority patent/CN116471404A/zh
Priority to CN202310457445.1A priority patent/CN116389732A/zh
Priority to CN202310456514.7A priority patent/CN116389731A/zh
Application filed by 주식회사 윌러스표준기술연구소, (주)휴맥스 filed Critical 주식회사 윌러스표준기술연구소
Priority to CN202310458479.2A priority patent/CN116405673A/zh
Priority to CN201880083011.7A priority patent/CN111512628B/zh
Publication of WO2019125093A1 publication Critical patent/WO2019125093A1/ko
Priority to US16/907,081 priority patent/US11140384B2/en
Priority to US17/412,212 priority patent/US11659165B2/en
Priority to US18/134,552 priority patent/US20230254478A1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/11—Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H04N19/122—Selection of transform size, e.g. 8x8 or 2x4x8 DCT; Selection of sub-band transforms of varying structure or type
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/129—Scanning of coding units, e.g. zig-zag scan of transform coefficients or flexible macroblock ordering [FMO]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Definitions

  • the present invention relates to a video signal processing method and apparatus, and more particularly, to a video signal processing method and apparatus for encoding or decoding a video signal.
  • Compressive encoding refers to a series of signal processing techniques for transmitting digitized information over a communication line or for storing it in a form suitable for a storage medium.
  • the target of compression coding includes objects such as voice, image, and character.
  • the technique of performing compression coding on an image is referred to as video compression.
  • Compression coding of a video signal is performed by removing surplus information in consideration of spatial correlation, temporal correlation, and probabilistic correlation.
  • a more efficient video signal processing method and apparatus are required.
  • the present invention has an object to increase the coding efficiency of a video signal. Also, the present invention has an object to increase the signaling efficiency related to the prediction of the current block by using the reference samples of the current block.
  • the present invention provides a video signal processing apparatus and a video signal processing method as described below.
  • a video signal processing method comprising the steps of: obtaining reference line information indicating a reference line used for intraprediction of a current block among a plurality of reference lines composed of neighboring samples of a current block; , Determining an intra prediction mode for the current block among a plurality of intra prediction modes constituting an intra prediction mode set based on the reference line information, And decoding the current block based on the determined intra prediction mode, wherein the plurality of reference lines include a first reference line composed of neighboring samples on a line adjacent to the boundary of the current block, And the second sample is composed of neighboring samples on a line spaced by a specific number of samples
  • a video signal processing method is provided that includes a reference line.
  • a video signal processing apparatus comprising a processor, the processor comprising: a reference line for intra prediction of the current block among a plurality of reference lines composed of peripheral samples of a current block; , Determines an intra prediction mode for the current block from a plurality of intra prediction modes constituting the intra prediction mode set based on the reference line information, Decoding the current block based on a plurality of reference samples on a line and a determined intra prediction mode, the plurality of reference lines including a first reference line composed of neighboring samples on a line adjacent to the boundary of the current block, And surrounding samples on a line spaced by a specific number of samples And a second reference line which is connected to the second reference line.
  • the intra prediction mode set is a first intra prediction mode set
  • the reference line for intra prediction of the current block is not the first reference line
  • the intra-prediction mode set may be a second intra-prediction mode set configured as a part of a plurality of intra-prediction modes constituting the first intra-prediction mode set.
  • the second intra-prediction mode set may be configured with a plurality of angular modes.
  • the second intra-prediction mode set may include a predetermined number of angle modes determined based on an intra-prediction mode corresponding to one of neighboring blocks of the current block.
  • the processor is configured to receive intra prediction mode information indicating one of a predetermined number of angle modes included in the second intra prediction mode set and to generate an intra prediction mode for the current block based on the intra prediction mode information, Can be determined.
  • the intra-prediction mode set may be determined based on a relative position of the current block within a high-level region of the current block.
  • the processor may configure the intra-prediction mode set for the current block according to a relative position of the current block in the high-level region.
  • the reference line information is regarded as representing the first reference line, and the intra prediction mode set for the current block is the first intra prediction mode set .
  • the first intra-prediction mode set may include a plurality of angular modes and a planar mode and a direct current mode.
  • the boundary of the current block may be the left or upper boundary of the current block.
  • the specific number of samples may be a value less than or equal to a preset number of samples.
  • the number of samples may represent the number of integer pixels.
  • the coding efficiency of a video signal can be enhanced. Also, according to the embodiment of the present invention, signaling efficiency related to intraprediction of a current block can be increased.
  • FIG. 1 is a schematic block diagram of a video signal encoding apparatus according to an embodiment of the present invention.
  • FIG. 2 is a schematic block diagram of a video signal decoding apparatus according to an embodiment of the present invention.
  • Figure 3 shows an embodiment in which a coding tree unit is divided into coding units within a picture.
  • Figure 4 shows an embodiment of a method of signaling the partitioning of a quadtree and a multi-type tree.
  • FIG. 5 shows an embodiment of reference samples used for prediction of a current block in intra prediction mode.
  • FIG. 6 shows an embodiment of the prediction modes used for intra prediction.
  • FIG. 7 shows an embodiment of a method of signaling to a decoder an intra prediction mode selected by an encoder.
  • Figure 8 shows a detailed embodiment of a method of signaling an intra prediction mode.
  • FIG. 9 is a diagram showing a reference sample padding method when some reference samples for intra prediction of a current block are not available.
  • FIG. 10 is a diagram showing a reference sample padding method when reference samples for intra prediction of a current block are not all available.
  • FIG. 11 is a diagram showing a reference sample padding method when a prediction mode of a neighboring block is a plane mode.
  • FIG. 12 is a diagram showing a reference sample padding method when a prediction mode of a neighboring block is an angle mode.
  • FIG. 13 is a diagram showing a reference sample padding method when a prediction mode of a neighboring block is an angle mode.
  • FIG. 14 is a diagram illustrating a reference sample padding method based on the location of reference samples.
  • 15 is a diagram showing how reference sample padding is performed based on neighboring samples.
  • 16 is a diagram showing a reference sample padding method when neighboring blocks are inter-predicted.
  • 17 is a diagram showing a reference sample padding method when neighboring blocks are inter-predicted.
  • 18 is a diagram showing a reference sample padding method when neighboring blocks are inter-predicted.
  • 19 is a view showing one embodiment of a plurality of reference lines composed of peripheral samples of a current block.
  • 20 is a diagram showing a method in which an intra prediction mode of a current block is signaled.
  • Figure 21 is a diagram illustrating how intraprediction mode information is signaled based on the location of a padded reference sample.
  • 22 is a diagram showing a method in which an intra prediction mode is determined based on a relative position of a current block.
  • FIG. 23 is a diagram illustrating an embodiment of a method in which an intra prediction mode of a current block is determined based on a reference sample.
  • 24 is a diagram showing an embodiment of a method in which an intra prediction mode of a current block is determined based on a reference sample.
  • 25 is a diagram showing an embodiment of a method in which an intra prediction mode of a current block is determined based on a reference sample.
  • 26 is a diagram showing one embodiment of a method in which a vertical block and a horizontal block are divided.
  • FIG. 27 is a diagram showing an embodiment of a method of signaling the division of a quadtree, a binary tree, and a ternary tree.
  • FIG. 28 is a diagram showing an embodiment of a method in which the partitioning of the ternary tree is signaled.
  • 29 is a diagram illustrating a structure in which a vertical block is divided according to an embodiment of the present invention.
  • FIG. 30 is a diagram specifically illustrating a structure in which horizontal blocks are divided according to an embodiment of the present invention.
  • 31 is a diagram showing an embodiment of a method for determining a scan order of blocks.
  • the coding may be interpreted as encoding or decoding, as the case may be.
  • an apparatus for encoding (encoding) a video signal to generate a video signal bitstream is referred to as an encoding apparatus or an encoder, and an apparatus for decoding a video signal bitstream to decode (decode) Device or decoder.
  • the video signal processing apparatus is used as a conceptual term including both an encoder and a decoder.
  • Information is a term including all of values, parameters, coefficients, elements and the like, and the meaning may be interpreted differently in some cases, so the present invention is not limited thereto.
  • 'Unit' is used to refer to a specific position of a basic unit or picture of an image processing, and refers to an image area including both a luma component and a chroma component.
  • a 'block' refers to an image area that contains a specific component of a luma component and chroma components (i.e., Cb and Cr).
  • terms such as 'unit', 'block', 'partition' and 'area' may be used in combination with each other according to the embodiment.
  • a unit in this specification can be used as a concept including both a coding unit, a prediction unit, and a conversion unit.
  • a picture refers to a field or frame, and the terms may be used interchangeably, depending on the embodiment.
  • the encoding apparatus 100 of the present invention includes a transform unit 110, a quantization unit 115, an inverse quantization unit 120, an inverse transform unit 125, a filtering unit 130, a prediction unit 150 And an entropy coding unit 160.
  • the transforming unit 110 transforms the residual signal, which is a difference between the input video signal and the prediction signal generated by the predicting unit 150, to obtain a transform coefficient value.
  • Discrete Cosine Transform DCT
  • DST Discrete Sine Transform
  • Wavelet Transform may be used.
  • the discrete cosine transform and the discrete cosine transform are performed by dividing the input picture signal into blocks. The coding efficiency may vary depending on the distribution and characteristics of the values in the transform domain in the transform.
  • the quantization unit 115 quantizes the transform coefficient output from the transform unit 110.
  • the predictor 150 predicts a picture using an already coded area, adds a residual value between the original picture and the predictive picture to the predicted picture, Is used.
  • the decoder should also use the information available.
  • the encoder performs a process of restoring the encoded current block again.
  • the inverse quantization unit 120 dequantizes the transform coefficient values, and the inverse transform unit 125 restores the residual values using the dequantized transform coefficient values.
  • the filtering unit 130 performs a filtering operation for improving the quality of the reconstructed picture and improving the coding efficiency. For example, a deblocking filter, a sample adaptive offset (SAO), and an adaptive loop filter may be included.
  • the filtered picture is stored in a decoded picture buffer (DPB) 156 for output or use as a reference picture.
  • DPB decoded picture buffer
  • the prediction unit 150 includes an intra prediction unit 152 and an inter prediction unit 154.
  • the intra prediction unit 152 performs intra prediction in the current picture and the inter prediction unit 154 predicts the current picture using the reference picture stored in the decoding picture buffer 156. [ .
  • the intraprediction unit 152 performs intraprediction on reconstructed samples in the current picture, and delivers the intra-coded information to the entropy coding unit 160.
  • the intra-encoding information may include at least one of an intra-prediction mode, an MPM (Most Probable Mode) flag, and an MPM index.
  • the inter prediction unit 154 may include a motion estimation unit 154a and a motion compensation unit 154b.
  • the motion estimation unit 154a obtains the motion vector value of the current area by referring to the specific area of the reconstructed reference picture.
  • the motion estimation unit 154a transfers motion information (reference picture index, motion vector information, and the like) for the reference area to the entropy coding unit 160.
  • the motion compensation unit 154b performs motion compensation using the motion vector value transmitted from the motion estimation unit 154a.
  • the inter-prediction unit 154 delivers the inter-coded information including the motion information for the reference area to the entropy coding unit 160.
  • the transforming unit 110 transforms the residual value between the original picture and the predictive picture to obtain the transform coefficient value.
  • the conversion may be performed in a specific block in the picture, and the size of the specific block may vary within a predetermined range.
  • the quantization unit 115 quantizes the transform coefficient value generated by the transform unit 110 and transmits the quantized transform coefficient value to the entropy coding unit 160.
  • the entropy coding unit 160 entropy-codes quantized transform coefficients, intra-coding information, and inter-coding information to generate a video signal bit stream.
  • the entropy coding unit 160 may use a Variable Length Coding (VLC) scheme or an arithmetic coding scheme.
  • VLC Variable Length Coding
  • VLC Variable length coding
  • CAVLC context-based Adaptive Variable Length Coding
  • Arithmetic coding converts successive data symbols into a single decimal number, which allows the arithmetic coding to obtain the optimal fractional bits needed to represent each symbol.
  • Context-based Adaptive Binary Arithmetic Coding (CABAC) may be used as arithmetic coding.
  • the generated bit stream is encapsulated in a basic unit of a network abstraction layer (NAL) unit.
  • the NAL unit includes an integer number of coded tree units.
  • the bitstream In order to decode the bitstream in the video decoder, the bitstream must be separated into NAL units and then the separated NAL units must be decoded. Meanwhile, the information necessary for decoding the video signal bitstream includes a high level set such as a picture parameter set (PPS), a sequence parameter set (SPS), a video parameter set (VPS) Of Raw Byte Sequence Payload (RBSP).
  • PPS picture parameter set
  • SPS sequence parameter set
  • VPN video parameter set
  • RBSP Video parameter set
  • FIG. 1 illustrates an encoding apparatus 100 according to an embodiment of the present invention, wherein blocks shown separately are logically distinguished from elements of the encoding apparatus 100.
  • FIG. 1 the elements of the encoding apparatus 100 described above can be mounted as one chip or a plurality of chips according to the design of the device.
  • the operation of each element of the above-described encoding apparatus 100 may be performed by a processor (not shown).
  • the decoding apparatus 200 includes an entropy decoding unit 210, an inverse quantization unit 220, an inverse transform unit 225, a filtering unit 230, and a prediction unit 250.
  • the entropy decoding unit 210 entropy-decodes the video signal bitstream, and extracts a transform coefficient, intra-encoding information, inter-encoding information, and the like for each region.
  • the inverse quantization unit 220 dequantizes the entropy-decoded transform coefficients, and the inverse transform unit 225 restores the residual value using the dequantized transform coefficients.
  • the video signal processing apparatus 200 restores the original pixel value by summing the residual value obtained by the inverse transform unit 225 with the prediction value obtained by the prediction unit 250.
  • the filtering unit 230 performs filtering on the picture to improve the picture quality. This may include a deblocking filter for reducing block distortion and / or an adaptive loop filter for eliminating distortion of the entire picture.
  • the filtered picture is output or stored in the decoding picture buffer (DPB) 256 for use as a reference picture for the next picture.
  • DPB decoding picture buffer
  • the prediction unit 250 includes an intra prediction unit 252 and an inter prediction unit 254.
  • the prediction unit 250 generates a predictive picture using the decoded encoding type, the transform coefficient for each region, intra / inter encoding information, and the like through the entropy decoding unit 210 described above.
  • the current picture or the decoded area of other pictures containing the current block may be used.
  • a tile / slice that only uses the current picture, that is, performs only intra-prediction, is reconstructed as an intra picture or an I picture (or a tile / slice) Tile / slice) is referred to as an inter picture (or a tile / slice).
  • a predictive picture or a P picture (Or a tile / slice)
  • a picture (or a tile / slice) using a maximum of two motion vectors and a reference picture index is called a Bi-predictive picture or a B picture (or a tile / slice).
  • a P picture (or a tile / slice) uses a maximum of one motion information set to predict each block
  • a B picture (or a tile / slice) uses a maximum of two motion information Set.
  • the motion information set includes one or more motion vectors and one reference picture index.
  • the intra prediction unit 252 generates a prediction block using intra-coded information and reconstructed samples in the current picture.
  • the intra-encoding information may include at least one of an intra-prediction mode, an MPM (Most Probable Mode) flag, and an MPM index.
  • the intra predictor 252 predicts the sample values of the current block using the reconstructed samples located on the left and / or the upper side of the current block as reference samples.
  • reconstructed samples, reference samples, and samples of the current block may represent pixels.
  • the sample values may represent pixel values.
  • the reference samples may be samples contained in a neighboring block of the current block.
  • the reference samples may be samples adjacent to the left boundary of the current block and / or samples adjacent to the upper boundary.
  • the reference samples are located on a line within a predetermined distance from samples located on a line within a predetermined distance from the left boundary of the current block and / or from an upper boundary of the current block among samples of a neighboring block of the current block. ≪ / RTI >
  • the neighboring block of the current block is a left (L) block, an upper (A) block, a down left (BL) block, an upper right (AR) block, or an upper left AL) blocks.
  • the inter-prediction unit 254 generates a prediction block using the reference picture and the inter-coding information stored in the decoding picture buffer 256.
  • the inter-coded information may include motion information (reference picture index, motion vector information, etc.) of the current block with respect to the reference block.
  • Inter prediction may include L0 prediction, L1 prediction and Bi-prediction. L0 prediction is prediction using one reference picture included in the L0 picture list, and L1 prediction is prediction using one reference picture included in the L1 picture list. This may require a set of motion information (e.g., motion vectors and reference picture indexes).
  • a maximum of two reference areas can be used. These two reference areas may exist in the same reference picture or in different pictures.
  • up to two sets of motion information may be used in the bi-prediction scheme, where two motion vectors may correspond to the same reference picture index, .
  • reference pictures can be displayed (or output) temporally before or after the current picture.
  • the inter-prediction unit 254 can obtain the reference block of the current block using the motion vector and the reference picture index.
  • the reference block exists in the reference picture corresponding to the reference picture index.
  • a pixel value of a block specified by a motion vector or an interpolated value thereof may be used as a predictor of a current block.
  • an 8-tap interpolation filter may be used for the luma signal
  • a 4-tap interpolation filter may be used for the chroma signal.
  • the interpolation filter for motion prediction in sub-pel units is not limited to this. In this manner, the inter prediction unit 254 performs motion compensation for predicting the texture of the current unit from the previously reconstructed picture using the motion information.
  • the prediction value output from the intra predictor 252 or inter prediction unit 254 and the residual value output from the inverse transform unit 225 are added to generate a reconstructed video picture. That is, the video signal decoding apparatus 200 reconstructs the current block using the prediction block generated by the prediction unit 250 and the residual obtained from the inverse transform unit 225.
  • FIG. 2 illustrates a decoding apparatus 200 according to an embodiment of the present invention. Blocks shown separately are logically distinguished from elements of the decoding apparatus 200. FIG. Therefore, the elements of the decoding apparatus 200 may be mounted as one chip or as a plurality of chips according to the design of the device. According to one embodiment, the operation of each element of the above-described decoding apparatus 200 may be performed by a processor (not shown).
  • FIG. 3 shows an embodiment in which a coding tree unit (CTU) is divided into coding units (CUs) in a picture.
  • the picture may be divided into a sequence of coding tree units (CTUs).
  • the coding tree unit consists of two blocks of NXN blocks of luma samples and corresponding chroma samples.
  • the coding tree unit may be divided into a plurality of coding units.
  • the coding tree unit may be a leaf node without being divided. In this case, the coding tree unit itself can be a coding unit.
  • the coding unit refers to a basic unit for processing a picture in the processing of the above-described video signal, i.e.
  • the size and shape of the coding unit in one picture may not be constant.
  • the coding unit may have the shape of a square or a rectangle.
  • the rectangular coding unit (or rectangular block) includes a vertical coding unit (or vertical block) and a horizontal coding unit (or horizontal block).
  • a vertical block is a block whose height is larger than the width
  • a horizontal block is a block whose width is larger than the height.
  • non-square blocks in this specification may refer to rectangular blocks, but the present invention is not limited thereto.
  • the coding tree unit is first divided into a Quad Tree (QT) structure. That is, in a quad tree structure, one node having a size of 2NX2N can be divided into four nodes having an NXN size.
  • a quadtree may also be referred to herein as a quaternary tree. Quadtree partitioning can be performed recursively, and not all nodes need to be partitioned to the same depth.
  • the leaf nodes of the above quad tree can be further divided into a multi-type tree (MTT) structure.
  • MTT multi-type tree
  • one node in a multi-type tree structure, one node can be divided into a binary or binary ternary (ternary) tree structure of horizontal or vertical division. That is, in the multi-type tree structure, there are four divided structures of vertical binary division, horizontal binary division, vertical ternary division, and horizontal ternary division.
  • the width and height of a node in each tree structure may have a power of two.
  • a 2NX2N sized node may be divided into two NX2N nodes by vertical binary partitioning and split into two 2NXN nodes by horizontal binary partitioning.
  • a 2NX2N sized node is divided into (N / 2) X2N, NX2N and (N / 2) X2N nodes by vertical ternary division, And can be divided into 2NX (N / 2), 2NXN, and 2NX (N / 2) nodes by division.
  • This multi-type tree partitioning can be performed recursively.
  • the leaf node of the multi-type tree may be a coding unit. If the coding unit is not too large for the maximum conversion length, the coding unit is used as a unit of prediction and conversion without further division.
  • at least one of the following parameters in the quadtree and the multi-type tree described above may be defined in advance or may be transmitted through the RBSP of the upper level set such as PPS, SPS, VPS, 1) CTU size: the size of the root node of the quadtree, 2) the minimum QT size (MinQtSize): the minimum allowed QT leaf node size, and 3) the maximum BT size (MaxBtSize) 4) maximum TT size (MaxTtSize): maximum allowed TT root node size, 5) maximum MTT depth (MaxMttDepth): maximum allowed depth of MTT segment from QT leaf nodes, and 6) minimum BT size (MinBtSize) Minimum BT leaf node size, 7) minimum TT size (MinTtSize): minimum allowed allowed allowed
  • Figure 4 shows an embodiment of a method of signaling the partitioning of a quadtree and a multi-type tree.
  • Predefined flags can be used to signal the division of the quadtrees and multi-type trees described above.
  • a flag 'qt_split_flag' indicating whether a quad tree node is divided
  • a flag 'mtt_split_flag' indicating whether a multi-type tree node is divided
  • a flag mtt_split_vertical_flag indicating a dividing direction of a multi-
  • a flag 'mtt_split_binary_flag' indicating a segment shape of the multi-type tree node
  • the coding tree unit is a root node of a quadtree, and can be firstly divided into a quadtree structure.
  • 'qt_split_flag' is signaled for each node 'QT_node'. If the value of 'qt_split_flag' is 1, the corresponding node is divided into 4 square nodes. If the value of 'qt_split_flag' is 0, the corresponding node becomes the leaf node 'QT_leaf_node' of the quadtree.
  • Each quad tree leaf node 'QT_leaf_node' can be further divided into a multi-type tree structure.
  • 'mtt_split_flag' is signaled for each node 'MTT_node'.
  • the value of 'mtt_split_flag' is 1, the corresponding node is divided into a plurality of rectangular nodes. If 'mtt_split_flag' is 0, the corresponding node becomes the leaf node 'MTT_leaf_node' of the multi-type tree.
  • 'mtt_split_flag' When 'mtt_split_flag' is 1, 'mtt_split_vertical_flag' and 'mtt_split_binary_flag' for node 'MTT_node' are additionally signaled when the multi-type tree node 'MTT_node' is divided into a plurality of rectangular nodes . If the value of 'mtt_split_vertical_flag' is 1, the vertical division of the node 'MTT_node' is indicated, and if the value of 'mtt_split_vertical_flag' is 0, the horizontal division of the node 'MTT_node' is indicated.
  • the node 'MTT_node' is divided into two rectangular nodes, and when the value of 'mtt_split_binary_flag' is 0, the node 'MTT_node' is divided into three rectangular nodes.
  • FIGS. 5 and 6 show the intra prediction method according to an embodiment of the present invention in more detail.
  • the intra predictor predicts the sample values of the current block using the reconstructed samples located on the left and / or the upper side of the current block as reference samples.
  • FIG. 5 shows an embodiment of reference samples used for prediction of a current block in intra prediction mode.
  • the reference samples may be samples adjacent to the left boundary of the current block and / or samples adjacent to the upper boundary. 5, when the current block size is WXH and samples of a single reference line adjacent to the current block are used for intra prediction, a maximum of 2W + 2H + 1 located on the left and / Reference samples can be set using up to four neighboring samples.
  • samples on a plurality of reference lines may be used for intra prediction of the current block.
  • the plurality of reference lines may be composed of n lines located within a predetermined distance from the boundary of the current block.
  • the intra prediction unit may perform a reference sample padding process to obtain a reference sample. A method of padding the reference sample will be described in detail with reference to FIGS. 9 to 18.
  • FIG. the intra prediction unit may perform a reference sample filtering process to reduce an intra prediction error. That is, filtering may be performed on neighboring samples and / or samples obtained by the reference sample padding procedure to obtain reference samples. The intra predictor predicts the samples of the current block using the reference samples thus obtained.
  • neighboring samples may include samples on at least one reference line.
  • neighboring samples may include adjacent samples on a line adjacent to the boundary of the current block.
  • FIG. 6 shows an embodiment of the prediction modes used for intra prediction.
  • intra prediction mode information indicating the intra prediction direction may be signaled.
  • the intra-prediction mode information indicates any one of a plurality of intra-prediction modes constituting the intra-prediction mode set. If the current block is an intra prediction block, the decoder receives the intra prediction mode information of the current block from the bitstream.
  • the intra prediction unit of the decoder performs intra prediction on the current block based on the extracted intra prediction mode information.
  • the intra-prediction mode set may include all intra-prediction modes used for intra-prediction (e.g., a total of 67 intra-prediction modes). More specifically, the intra-prediction mode set may include a planar mode, a DC mode, and a plurality of (e.g., 65) angular modes (i.e., directional modes). In some embodiments, the intra-prediction mode set may be configured as part of all intra-prediction modes. Each intra prediction mode may be indicated through a predetermined index (i.e., intra prediction mode index). For example, as shown in FIG. 6, the intra prediction mode index 0 indicates a plane mode, and the intra prediction mode index 1 indicates a DC mode.
  • intra prediction mode index 0 indicates a plane mode
  • the intra prediction mode index 1 indicates a DC mode.
  • the intra prediction mode indexes 2 to 66 may indicate different angle modes, respectively.
  • Angle modes indicate different angles within a predetermined angular range, respectively.
  • the angle mode may indicate an angle within an angular range (i.e., the first angular range) between 45 degrees and -135 degrees clockwise.
  • the angle mode can be defined with reference to the 12 o'clock direction.
  • the intra prediction mode index 2 indicates a horizontal diagonal (HDIA) mode
  • the intra prediction mode index 18 indicates a horizontal (HOR) mode
  • the intra prediction mode index 34 indicates a diagonal (DIA) Mode
  • an intra-prediction mode index 50 indicates a vertical (VER) mode
  • an intra-prediction mode index 66 indicates a vertical diagonal (VDIA) mode.
  • the predetermined angle range may be set differently according to the shape of the current block. For example, if the current block is a rectangular block, a wide angle mode may be additionally used that indicates an angle greater than 45 degrees or less than -135 degrees in a clockwise direction. If the current block is a horizontal block, the angular mode may indicate an angle within an angular range (i.e., a second angular range) between (45 + offset1) degrees to (-135 + offset1) degrees clockwise. At this time, angular modes 67 to 76 that deviate from the first angular range may additionally be used.
  • the angular mode may indicate an angle within an angular range (i.e., a third angular range) between (45-offset2) degrees and -135-offset2 degrees in the clockwise direction .
  • angle modes -10 to -1 that deviate from the first angle range may additionally be used.
  • the values of offset1 and offset2 may be determined differently depending on the ratio between the width and the height of the rectangular block. Also, offset1 and offset2 may be positive.
  • the plurality of angle modes constituting the intra-prediction mode set may include a basic angle mode and an extended angle mode.
  • the extended angle mode can be determined based on the basic angle mode.
  • the basic angle mode corresponds to an angle used in intra prediction of the existing HEVC (High Efficiency Video Coding) standard
  • the angle indicated by the extended angle mode can be determined based on the angle indicated by the basic angle mode.
  • the basic angle mode is a mode corresponding to an angle within a predetermined first angle range
  • the extended angle mode can be a wide angle mode that is out of the first angle range. That is, the basic angular mode is the intra-prediction mode ⁇ 2, 3, 4, ... , 66 ⁇ , and the extended angle mode corresponds to the intra-prediction mode ⁇ -10, -9, ... ⁇ . , -1 ⁇ and ⁇ 67, 68, ... , ≪ / RTI > 76 ⁇ .
  • the angle indicated by the extended angle mode can be determined as the angle opposite to the angle indicated by the corresponding basic angle mode.
  • the angle indicated by the extended angle mode can be determined based on the angle indicated by the basic angle mode.
  • the number of extension angle modes is not limited to this, and additional extension angles may be defined according to the size and / or shape of the current block.
  • the interval between the extended angle modes may be set based on the interval between the corresponding basic angle modes.
  • the extended angle modes ⁇ 3, 5, 7, ... , 65 ⁇ is determined by the corresponding basic angular modes ⁇ 2, 4, 6, ... , 66 ⁇ . ≪ / RTI >
  • the extended angle modes ⁇ -10, -9, ... , -1 ⁇ corresponds to the corresponding opposite basic angular modes ⁇ 56, 57, ... , 65 ⁇
  • the extension angle modes ⁇ 67, 68, ..., , 76 ⁇ is determined by the corresponding opposite basic angular modes ⁇ 3, 4, ... , 12 ⁇ .
  • the angular spacing between the extended angle modes may be set to be equal to the angular spacing between corresponding basic angular modes. Further, in the intra-prediction mode set, the number of extended angle modes may be set to be equal to or smaller than the number of basic angle modes.
  • the extended angle mode can be signaled based on the basic angle mode.
  • the wide angle mode i.e., the extended angle mode
  • the replaced basic angle mode may be an angle mode corresponding to the opposite side of the wide angle mode. That is, the replaced basic angle mode is an angle mode corresponding to an angle in the opposite direction of the angle indicated by the wide angle mode, or an angle corresponding to an angle different from the angle in the opposite direction by a predetermined offset index.
  • the predetermined offset index is one.
  • the intra prediction mode index corresponding to the replaced basic angle mode can be remapped to the wide angle mode and signal the corresponding wide angle mode.
  • wide-angle mode ⁇ -10, -9, ... , -1 ⁇ denotes an intra prediction mode index ⁇ 57, 58, ... ⁇ . , 66 ⁇ , respectively
  • the wide angle mode ⁇ 67, 68, ... , 76 ⁇ denotes the intra prediction mode index ⁇ 2, 3, ... , 11 ⁇ , respectively.
  • whether to use the extended angle mode can be determined based on at least one of the shape and the size of the current block.
  • the extended angle mode is used for intra prediction of the current block, and if not, only the basic angle mode can be used for intra prediction of the current block.
  • the current block is a non-square block
  • an extended angle mode is used for intra prediction of the current block, and if the current block is a square block, only the basic angle mode can be used for intra prediction of the current block.
  • the intra prediction unit determines reference samples to be used for intra prediction of the current block and / or interpolated reference samples, based on the intra prediction mode information of the current block. If the intra prediction mode index indicates a particular angle mode, a reference sample or an interpolated reference sample corresponding to the specified angle from the current sample of the current block is used for prediction of the current sample. Thus, different sets of reference samples and / or interpolated reference samples may be used for intra prediction depending on the intra prediction mode. After intraprediction of the current block is performed using the reference samples and the intra prediction mode information, the decoder adds the residual signal of the current block obtained from the inverse transform unit to the intra prediction value of the current block to reconstruct the sample values of the current block.
  • the encoder can signal the selected intra prediction mode information to the decoder.
  • the decoder can extract the intra prediction mode information of the current block from the bitstream. For example, when the total number of intra-prediction modes constituting the intra-prediction mode set is T (for example, 67), a method of simply signaling the T modes expressed by the binary method is a method in which each mode is selected, It is inefficient because it does not take into account the context of the block and its neighboring blocks. Therefore, a set of intra prediction modes configured with some modes associated with the current block among the entire modes can be separately managed. If the range of the intra prediction mode to be signaled is reduced, efficient signaling can be performed. For example, effective signaling can be performed by separately managing a list of some modes, which are likely to be used in the current block among all the modes.
  • the first prediction mode list for intra prediction is an MPM (Most Probable Modes) list.
  • the intra prediction mode included in the MPM list may be referred to as an MPM mode, and the intra prediction mode not included in the MPM list may be referred to as a non-MPM mode.
  • the encoder signals MPM flags that distinguish whether the intra prediction mode used in the current block is the MPM mode or the non-MPM mode.
  • the decoder can identify through the received MPM flag whether the intra prediction mode used in the current block is the MPM mode or the non-MPM mode.
  • a different encoding method is used for the MPM mode, so that efficient signaling can be performed with fewer bits.
  • the number of MPM modes included in the MPM list is m
  • the number of non-MPM modes is T-m. If the number m of MPM modes is less than the number Tm of non-MPM modes, the MPM mode may be coded with truncated unary binarization and the non-MPM mode may be coded with truncated binary binarization.
  • the MPM mode can be configured in consideration of various contexts in the following manner.
  • the MPM list may consist of intra-prediction modes and plane / DC modes used in neighboring blocks of the current block (context M0). If there is a block coded in the intra prediction mode among the neighboring blocks whose reconstruction is completed, the current block may use the same intra prediction mode as the corresponding block due to the regional similarity of the picture. Accordingly, the MPM list can be configured to include intra-prediction modes of neighboring blocks.
  • a neighboring block of the current block is at least one of a left (L) block, an upper (A) block, a lower left (BL) block, an upper right (AR) block, or an upper left One can be included.
  • a neighboring block of the current block may include a left (L) block and an upper (A) block adjacent to the current block.
  • the left (L) block is the lowermost block adjacent to the left boundary of the current block
  • the upper (A) block is the rightmost block adjacent to the upper boundary of the current block.
  • the intra prediction mode, the plane mode, and the DC mode selected in the neighboring blocks of the current block may be added to the MPM list according to a predetermined order.
  • an MPM list can be constructed in the order of ⁇ block L mode, block A mode, plane mode, DC mode, block BL mode, block AR mode, block AL mode ⁇ .
  • additional context conditions e.g., context M1, context M2, .
  • the intra prediction mode already included in the MPM list may not be newly added.
  • the remaining T-m non-MPM modes not included in the MPM list among the T intra-prediction modes may be coded by binomial binomialing. If truncation binomial binarization is used, the initial 2 ⁇ (k) - (Tm) indices are k-1 bits (or bins), assuming 2 ⁇ (k-1) ⁇ Tm ⁇ , And the remaining indices are signaled using k bits (or beans). Therefore, additional context conditions (i.e., context N) are applied to non-MPM modes to minimize signaling overhead by signaling modes with relatively high probability of being selected in the corresponding block to an index composed of k-1 bits can do.
  • context N additional context conditions
  • a second prediction mode list composed of some of the non-MPM modes may be managed. More specifically, the non-MPM modes can be further divided into a selected (s) mode and a non-selected (ns) mode, and a second prediction mode list List) can be managed.
  • the intra prediction mode included in the selection mode list may be referred to as a selection mode, and the intra prediction mode not included in the selection mode list may be referred to as a non-selection mode.
  • the encoder can signal a selected mode flag that distinguishes whether the intra prediction mode used in the current block is a selection mode or a non-selection mode.
  • the decoder can identify through the received selection mode flag whether the intra prediction mode used in the current block is a selection mode or a non-selection mode.
  • the selection mode can be coded with a fixed length.
  • an additional context condition e.g., context S
  • the selection modes of s (where s is a power of 2) are coded with a fixed length, and the remaining ns non-selection modes can be coded with cutting binomial binarization.
  • ns non-selective modes may be signaled using any of l-1 bits (or beans) or l bits (or beans).
  • an additional context condition i.e., context NS
  • context NS is applied to the non-selected modes, signaling over the modes having relatively high probability of being selected in the corresponding block to an index composed of l-1 bits, Can be minimized.
  • context conditions are described below with reference to the drawings.
  • the context conditions defined further in the following embodiments may be applied individually or in duplicate to the various configurations to which the context conditions ⁇ M0, M1, M2, N, S, NS ⁇ are applied.
  • a context condition may be additionally used to signal the basic angle mode prior to the extended angle mode.
  • the angle modes of the peripheral blocks derived through the first context condition (e.g., context M0) of the MPM mode plus predetermined offsets (e.g., -1, +1) are added to the second prediction mode list
  • a context condition can be used.
  • Such a context condition may be applied as a context condition for one or more of MPM mode, non-MPM mode, select mode, or non-select mode.
  • the neighboring blocks of the current block to be examined may include blocks at additional positions other than the predetermined positions. A specific embodiment of this will be described with reference to Fig.
  • Figure 8 shows a detailed embodiment of a method of signaling an intra prediction mode.
  • Fig. 8 (a) shows an embodiment of peripheral blocks to be referred to for constructing a prediction mode list.
  • Fig. 8 (b) shows an embodiment of a method of signaling the intraprediction mode described above.
  • Figure 8 (c) also illustrates one embodiment for signaling non-selective modes to a cutting binomial binarization.
  • FIG. 8 (a) shows an embodiment of the relative positions of the neighboring blocks to be referred to in constructing the MPM list.
  • neighboring blocks are referred to as a left (L) block, an upper (A) block, a lower left (BL) block, an upper right (AR) block, or an upper left .
  • the intra prediction mode, the plane mode, and the DC mode selected from the neighboring blocks may be added to the MPM list according to a predetermined order.
  • the peripheral blocks to be referred to in constructing the MPM list in the embodiment of the present invention are not limited thereto.
  • neighboring blocks of the current block may include a left (L) block and an upper (A) block adjacent to the current block.
  • the left (L) block is the lowermost block adjacent to the left boundary of the current block
  • the upper (A) block is the rightmost block adjacent to the upper boundary of the current block.
  • the order of constructing the MPM list may vary depending on the shape of the current block. For example, if the current block is a non-square block, the reference order of neighboring blocks may be determined differently depending on whether the current block is a vertical block or a horizontal block. For example, if the current block is a vertical block, the left block may be preferentially included in the MPM list than the upper block. If the current block is a horizontal block, the upper block may be preferentially included in the MPM list rather than the left block.
  • the order of constructing the MPM list can be determined by comparing the shape of the current block with the shape of the neighboring blocks. For example, if the current block is a vertical block, the intra prediction mode used in the vertical block among the predetermined neighboring blocks may be preferentially included in the MPM list.
  • the order of constructing the MPM list can be determined in consideration of the relationship between the shape of the current block and the angle mode used in the neighboring block. For example, if the current block is a vertical block, it is in a predetermined range from the vertical (VER) mode 50 of the angle modes used in predetermined peripheral blocks, or in the diagonal (DIA) mode 34 and the vertical diagonal (VDIA) mode 66 May be preferentially included in the MPM list.
  • intra prediction modes included in the MPM list of neighboring blocks may be included in the MPM list of the current block. In this case, if the MPM list of the current block is not filled with the intra prediction modes used in the neighboring blocks, the intra prediction modes included in the MPM list of the neighboring blocks may be added to the MPM list of the current block.
  • intra-prediction modes of blocks at additional positions may be used, depending on the size of the current block and the size of each of the neighboring blocks. For example, if the neighboring blocks of the current block are smaller than the current block size, there may be a plurality of left blocks having different intra prediction modes on the left side of the current block. Specifically, in FIG. 8A, the left block indicates a block located at the bottom of the blocks adjacent to the left boundary of the current block, but may include another block adjacent to the left boundary of the current block. In this case, the MPM mode list can be configured based on the intra prediction mode corresponding to another block.
  • an MPM mode list of the current block may be constructed based on the MPM mode list of neighboring blocks of the current block.
  • the MPM mode list of the current block may be constructed based on the additional intra prediction mode included in the MPM mode list of the left block have.
  • Fig. 8 (b) shows an embodiment of a method of signaling the intraprediction mode described above.
  • T may be 67 and m may be 6.
  • the encoder and decoder construct an MPM list with the same context condition, and the derived mode values can be signaled by rearranging based on the context condition.
  • CABAC-based encoding can be performed by classifying the selected modes into non-angular mode such as DC / plane mode, vertical mode, and plane angle mode.
  • non-angular mode such as DC / plane mode, vertical mode, and plane angle mode.
  • the s selection modes determined by the arbitrary context condition are signaled to fixed length bits, and the remaining ns non-selection modes are signaled to the cutting binomial binarization.
  • n may be 16 and ns may be 45.
  • FIG. 8 (c) illustrates one embodiment of signaling non-selective modes to cutting binomial binarization.
  • the reference samples for intra prediction may not be available depending on the scan order, the block partition, and the location of the current block. Since there may be one or more non-restored reference samples that have not yet been restored at the time of predicting the current block, according to the restoration order of the blocks in the picture. Or if the outer portion of the picture boundary has to be referenced due to the position of the current block, at least some of the reference samples may not be present.
  • a reference sample is not available, it includes the case where the reference sample has not yet been restored and the reference sample is not present. If at least some of the reference samples are not available, reference sample padding may be performed.
  • padding methods according to an embodiment of the present invention will be described with reference to FIGS. 9 to 18.
  • an unavailable reference sample value may be generated based on a reference sample that is closest in distance to a reference sample that is not available among the available reference samples. For example, a reference sample value that is not available may be replaced with a reference sample value that is closest in distance to a reference sample that is not available.
  • FIG. 10 is a diagram illustrating a reference sample padding method when reference samples for intra prediction of a current block are not all available. For example, if the current block is adjacent to the upper left boundary of the picture, there may not be any reference samples for the current block. In this case, reference sample padding may be performed based on the representative value. At this time, the padded reference samples may all have the same value.
  • the representative value may be set based on the bit depth of the sequence containing the current block. For example, the representative value may be an intermediate value of a range that can be expressed based on the bit depth.
  • the representative value may be set differently for each picture or sequence.
  • the representative value may be set based on the current picture including the current block, or the sample values of the previous restored picture or sequence restored before the current sequence.
  • the representative value may be either an average value, a mode value, or an intermediate value of the sample values of the restored picture or sequence.
  • the representative value may be set based on the current picture or the sample value (s) included in the current sequence. Specifically, when there is sample value (s) reconstructed in the current sequence or before the current block in the current picture, the representative value may be any of an average value, a mode value, or an intermediate value of the previously reconstructed sample values.
  • the reference samples can be divided into left reference samples around the left boundary and upper reference samples around the upper boundary with reference to the boundary of the current block.
  • different methods of reference sample padding may be performed on the left reference samples and the upper reference samples.
  • a first reference sample padding method may be performed on either side of left reference samples and upper reference samples
  • a second reference sample padding method may be performed on the other side.
  • the first reference sample padding method is the reference sample padding method described with reference to FIG. 9, and the second reference sample padding method may be the reference sample padding method described with reference to FIG.
  • the reference sample padding described with reference to FIG. 10 is performed on the side where no usable reference sample exists .
  • reference sample padding may be performed in a different manner depending on how the neighboring blocks are predicted. Since neighboring blocks of the current block can be predicted in a manner similar to the way in which other neighboring blocks of the current block are predicted. According to one embodiment, if a neighboring block is predicted based on any one of a plurality of intra prediction modes, reference sample padding may be performed based on the intra prediction mode of the neighboring block. For example, unreverted reference sample values may be determined based on available reference samples of a location determined based on an intra prediction mode of a neighboring block. According to another embodiment, when a neighboring block is inter-predicted, reference sample padding may be performed based on information associated with inter-prediction. This will be described later with reference to FIG. 16 to FIG. The prediction performance for the current block can be improved due to the reference sample value determined based on the prediction method of the neighboring block.
  • Fig. 11 is a diagram showing a reference sample padding method when a prediction mode of a neighboring block is a plane mode.
  • reference sample padding may be performed based on available reference samples.
  • the reference sample padding may be performed using a reference sample padded prior to the reference sample to be padded according to the positional padding order of the reference sample.
  • a planar mode may be an intra prediction mode that is advantageous to indicate a block in which a gradual change occurs in the sample value.
  • reference sample padding may be performed based on available reference samples located at predetermined distances based on the reference samples to be padded.
  • the reference sample padding method may be different from the method described in Fig.
  • the encoder and / or decoder may perform reference sample padding using a reference sample located at a predetermined distance based on the reference sample to be padded.
  • the predetermined distance may be a distance in a sample unit.
  • a reference sample value that is not available can be determined based on the first reference sample and the second reference sample.
  • the first reference sample may be a reference sample located closest to the reference sample that is not available among the available reference samples of the first line to which the unusable reference sample belongs.
  • the second reference sample may be a reference sample located a distance from the unavailable reference sample by the number of available reference samples on the first line.
  • the first reference sample may be a sample adjacent to the left side of the unavailable reference sample.
  • the second reference sample may be a sample left by M samples from the unusable reference sample.
  • the first reference sample may be a sample adjacent to the upper side of the unusable reference sample.
  • the second reference sample may be a sample that is a certain number of samples upward from the unusable reference sample.
  • M consecutive reference samples among the upper reference samples of the current block may be available.
  • a block including at least a part of M reference samples may be an intra-predicted neighboring block using a plane mode.
  • the kth reference sample may not be available when the indices indicating the locations of the M usable reference samples are from 0 to M-1, respectively.
  • k may be an integer greater than or equal to M.
  • the kth reference sample value p [k] is calculated from the first reference sample value p [k-1] located at a distance closest to the left from the kth reference sample and from the kth reference sample by M And the second reference sample value (p [kM]) that has been dropped.
  • the kth reference sample value may be determined based on the amount of change p [k-1] - p [k-M] between the first reference sample value and the second reference sample value.
  • the kth reference sample value p [k] can be expressed by the following equation.
  • an unavailable reference sample value may be determined based on the values of the samples located at both ends of the available consecutive reference samples.
  • the kth reference sample value is the third reference sample value (p [0]) located at the leftmost of the usable continuous reference samples and the fourth reference sample value p [M-1] ). ≪ / RTI > Also, the kth reference sample value may be padded based on the amount of change between the third reference sample value and the fourth reference sample value. At this time, the kth sample value can be expressed by the following equation.
  • Equation (2) shows how the kth reference sample value is determined based on the fourth reference sample value and the variation amount.
  • (K-M + 1) / M or (k-M + 1) / (M-1) in Equation 2 may be a weight for adjusting the degree of reflection of the amount of change according to the position of the reference sample which is not usable .
  • a reference sample value that is not available may be determined based on the angular mode of the neighboring block. For example, a reference sample value that is not available may be determined using a reference sample determined according to the angular mode of the surrounding block among the available reference samples.
  • the values of the reference samples that are not available among the reference samples included in the first group can be determined based on the available reference samples among the reference samples included in the second group.
  • the first group may consist of upper reference samples of the current block
  • the second group may consist of left reference samples of the current block.
  • Reference samples used for reference sample padding can be determined.
  • the reference samples used for the reference sample padding of the first group based on the prediction direction indicated by the first angle mode or vice versa can be determined.
  • the reference samples used for the first group of reference sample paddings may be included in the second group and may be available reference samples.
  • unused reference samples 1201 may be samples of the first group.
  • the intra prediction mode of the neighboring block including the first usable reference samples 1202 among the samples of the first group may be a vertically diagonal mode.
  • the value of the unavailable reference samples 1201 may be determined based on the second available reference samples 1203 included in the second group.
  • Reference sample padding may be performed based on the reference samples located in the prediction direction or the opposite direction indicated by the vertical diagonal mode among the second usable reference samples 1203.
  • the reference sample located on the horizontal diagonal with respect to the unavailable upper reference sample may be any of the left reference samples.
  • FIG. 13 is a diagram showing a reference sample padding method when a prediction mode of a neighboring block is an angle mode.
  • a reference sample value that is not available is determined based on the angle mode
  • the distance between the position of the reference sample to be padded and the position of the reference sample to be padded may be more than a predetermined value. The closer the distance between the positions of the samples, the less the correlation between sample values can be.
  • the unused reference sample value is not used among the restored samples on the angle represented by the intra prediction mode of the neighboring block Can be determined based on the sample closest to the reference sample.
  • the closest sample may not be limited to surrounding samples of the current block.
  • a reference sample value that is not available may be determined based on a first angle corresponding to an intra prediction mode of a neighboring block.
  • the unused reference sample value may be determined based on the closest sample of the reconstructed samples located on the first angle relative to the location of the unavailable reference sample.
  • the reference samples can be distinguished from the left reference samples and the upper reference samples.
  • the left reference samples and the upper reference samples may be mapped to each other based on their respective positions. For example, an upper reference sample corresponding to each of the left reference samples may be determined.
  • the unused sample reference value is set based on another available value Can be determined.
  • the index indicating the relative position of each of the upper reference samples in FIG. 14 may be 0, ..., N-1, N, ..., 2N-1 from the left. Also, the index indicating the relative position of each of the left reference samples is 0 from the top, ... , N-1, N, ... , 2N-1.
  • the upper reference sample and the left reference sample having the same index may be reference samples corresponding to each other. For example, when the index of the first left reference sample is 2N-1, the index of the first upper reference sample corresponding to the first left reference sample may be 2N-1.
  • a sample located at a specific angle based on the position of a reference sample that is not usable may be a sample at a position outside the range of the reference sample determined based on the size of the current block.
  • the range of the reference sample is the upper left sample of the current block, 2W samples on the upper side of the current block, and 2H samples on the left side of the current block .
  • the range of the reference sample may be the upper left sample of the current block, W + H samples on the line adjacent to the upper side of the current block, and W + H samples on the line adjacent to the left side of the current block.
  • the coding tree unit can have a rectangular shape.
  • a reference sample value that is not available can be determined using a reconstructed sample that is outside the range of the reference sample.
  • the reconstructed samples may be samples located on the line adjacent to the upper side or the left side of the current block.
  • the decoder may generate a reference sample of the current block based on a sample of another picture.
  • reference sample padding when neighboring blocks of the current block are inter-predicted, reference sample padding may be performed based on the sample (s) of the reference picture used for inter-prediction of neighboring blocks.
  • the reference sample padding of the current block may be performed based on the neighbor samples of the collocated block corresponding to the same position as the current block in the reference picture.
  • a collocated block may represent a block determined based on a reference picture index used for inter-prediction of neighboring blocks. In this case, the positional relationship between the neighboring sample of the collocated block and the collocated block may be the same as the positional relationship between the reference sample that is not usable and the current block.
  • reference sample padding may be performed based on neighboring samples adjacent to the upper boundary of the collocated block.
  • reference sample padding may be performed based on how the neighboring blocks of the collocated block included in the reference picture are predicted (e.g., intra prediction mode or inter prediction). In this case, the above-described method in which the unused reference sample value is determined based on the intra-prediction mode of the neighboring block can be applied in the same or corresponding manner.
  • reference sample padding when neighboring blocks of a current block are inter-predicted, reference sample padding may be performed based on a reference picture index and a motion vector used for inter-prediction of neighboring blocks. For example, an indirect reference block of the current block may be determined based on the reference picture and the motion vector used for inter prediction of neighboring blocks. Next, reference sample padding can be performed based on the surrounding samples of the indirect reference block existing in the reference picture.
  • the first reference sample value that is not available can be determined based on a specific one of the surrounding samples of the indirect reference block.
  • the positional relationship between the specific sample and the indirect reference block may be the same as the positional relationship between the current block and the first reference sample. Referring to FIG. 17, if at least some of the reference samples adjacent to the upper boundary of the current block are not available, reference sample padding may be performed based on neighboring samples adjacent to the upper boundary of the indirect reference block.
  • reference sample padding may be performed based on how the neighboring blocks of the indirect reference block are predicted. For example, if a neighboring block of an indirect reference block is predicted based on any of a plurality of intra prediction modes, reference sample padding may be performed based on an intra prediction mode of a neighboring block of the indirect reference block. Referring to FIG. 18, when the prediction mode of the neighboring block of the indirect reference block is the first intra prediction mode, the value of the unused reference samples of the current block can be determined based on the first intra prediction mode. At this time, the method described with reference to Figs. 11 to 15 can be applied in the same or corresponding method.
  • the reference sample padding is described with respect to the reference samples included in the reference line adjacent to the current block, but the present disclosure is not limited thereto.
  • the encoder and the decoder according to the embodiment of the present invention can use the samples on the n reference lines within a predetermined distance from the boundary of the current block as reference samples for intra prediction of the current block.
  • the encoder may signal reference line information indicative of at least one reference line used for predicting the current block among the n reference lines.
  • the decoder may obtain reference line information from the bitstream.
  • FIG. 19 is a view showing one embodiment of a plurality of reference lines composed of peripheral samples of a current block.
  • the neighboring sample of the current block may be a sample located within a predetermined distance from the boundary line of the current block.
  • samples of one or more lines of a plurality of reference lines may be used for intra prediction of the current block.
  • the plurality of reference lines may include a line located at a distance of n number of samples from the boundary of a specific block to be predicted. At this time, n may be an integer of 0 or more.
  • a first reference line (Line 1), a second reference line (Line 2), and a third reference line (Line 3) may be configured based on the boundary of the current block.
  • the first reference line may be composed of adjacent samples located on a line adjacent to the boundary of the current block.
  • the second reference line may consist of samples located on a line spaced by one sample with respect to the boundary of the current block.
  • the third reference line may consist of samples located on a line spaced by two samples with respect to the boundary of the current block.
  • the reference line around the upper boundary of the current block is described as an example, but the present disclosure is not limited thereto.
  • the reference samples used for prediction of the current block may be neighboring samples of the current block.
  • neighboring samples may include samples on lines adjacent to the boundary of the current block.
  • the neighboring samples may be samples adjacent to the upper boundary of the current block and samples adjacent to the left boundary.
  • the surrounding sample may include a sample located above the left side of the current block.
  • neighboring samples may include samples that are not adjacent to the boundary of the current block.
  • the surrounding samples may include samples on a line spaced by a specific number of samples to the left from the leftmost sample in the current block.
  • the neighboring samples may include samples on the line spaced by a specific number of samples upward from the sample located at the uppermost position in the current block.
  • the specific number of samples may be a value less than or equal to the preset number of samples. For example, when the predetermined number of samples is 2, the specific number of samples may be any of 0 to 2.
  • the number of samples may mean the number of integer pixels.
  • the intra prediction mode of the current block can be determined based on other information related to the intra prediction of the current block.
  • an intra prediction mode of a current block can be determined based on reference samples used for intra prediction of a current block. This is because the intra prediction method is a prediction method based on the local similarity between the current block and the neighboring blocks.
  • the encoder and decoder may determine the intra prediction mode of the current block based on the reference samples of the current block.
  • an encoder implicitly signals intraprediction mode information using reference samples, or generates a set of intra prediction modes configured in some modes of all modes, The prediction mode information can be signaled. Thus, signaling for intra prediction mode information can be efficiently performed.
  • a set of intra prediction modes of the current block can be constructed, in accordance with the characteristics of the reference samples of the current block.
  • the encoder and decoder can construct a set of intra prediction modes with predefined rules according to the characteristics of the reference samples of the current block.
  • the intra prediction mode sets constituted by the encoder and the decoder may be identical to each other.
  • the decoder can determine the intra prediction mode of the current block based on the configured intra prediction mode set and the signaled intra prediction mode information.
  • the intra prediction mode information may be a sub index indicating one of a plurality of modes constituting the intra prediction mode set.
  • the sub-index may be a value different from the intra-prediction mode index described above.
  • the sub-index may be a value mapped to any one of the modes included in the intra-prediction mode set by a predetermined mapping rule.
  • the intra prediction mode set may be composed of some modes among all the modes.
  • the intra prediction mode set may be configured in a predefined manner according to information associated with reference sample padding.
  • the intra prediction mode set may be configured in a predefined manner depending on the location of the reference samples. Specifically, the location of the reference samples may be a reference line.
  • FIG. 20 is a diagram showing a method in which an intra prediction mode of a current block is signaled.
  • a plurality of reference samples for intra prediction of a current block may be determined.
  • the decoder can prepare reference samples of the current block based on the surrounding samples of the current block. For example, if at least some of the reference samples are not available, the decoder may perform reference sample padding.
  • the decoder can determine the reference line.
  • the encoder can signal reference line information indicating a reference line used for prediction of the current block.
  • the decoder may receive reference line information from the bitstream.
  • the decoder may determine at least one reference line to be used for prediction of the current block based on the reference line information.
  • a set of intra prediction modes can be determined based on the reference samples.
  • the intra prediction mode of the current block may be determined based on the presence of a padded reference sample among the reference samples.
  • an intra prediction mode can be determined based on the presence or absence of a padded reference sample.
  • different intra prediction mode sets may be used depending on whether or not reference sample padding is used.
  • the configurations of the intra prediction modes included in each of the different intra prediction mode sets may be different from each other.
  • the first intra-prediction mode set may be configured with at least a part of the intra-prediction modes constituting the second intra-prediction mode set.
  • the first intra-prediction mode set includes intra-prediction modes constituting the second intra-prediction mode set, and may further include other intra-prediction modes.
  • the intra prediction mode of the current block can be determined based on the first intra prediction mode set (step S2006).
  • the first intra-prediction mode set may be a set configured in the entire intra-prediction mode.
  • the decoder may determine an intra prediction mode of the current block based on the first intra prediction mode set.
  • the encoder may signal intra prediction mode information indicating any of the modes constituting the first intra prediction mode set.
  • the decoder may determine any intra prediction mode of the first set of intra prediction modes based on the intra prediction mode information received from the bitstream.
  • the decoder can perform intra prediction on the current block based on the determined intra prediction mode.
  • the intra prediction mode of the current block can be determined based on the second intra prediction mode set (step S2008).
  • the second intra-prediction mode set may be a set composed of some modes among the entire intra-prediction modes.
  • an intra prediction mode set excluding an angle mode for predicting a current block with reference to a padded reference sample may be used.
  • the probability of predicting the current block based on the padded reference sample may be lower than the probability of predicting the current block based on the reconstructed reference sample.
  • the decoder may determine an intra prediction mode of the current block based on the second intra prediction mode set.
  • the encoder may signal intra prediction mode information indicating any of the modes constituting the second intra prediction mode set.
  • the decoder may determine any one of the intra prediction modes in the second intra prediction mode set based on the intra prediction mode information received from the bitstream.
  • the decoder can perform intra prediction on the current block based on the determined intra prediction mode.
  • the intra prediction mode of the current block may be determined based on the position of the padded reference sample. For example, different intra prediction mode sets may be used depending on the location of the padded reference samples. In the above-described embodiment, one of the first intra-prediction mode and the second intra-prediction mode is selected as an example, but the present disclosure is not limited thereto. For example, a plurality of intra prediction mode sets may be configured according to the characteristics of the reference samples. In addition, the intra prediction mode of the current block can be determined based on any one of the plurality of intra prediction mode sets.
  • a set of intra prediction modes for prediction of a current block may be constructed according to the position of a reference sample.
  • the location of the reference samples may be a reference line.
  • the encoder and the decoder can predict the current block using any one of a plurality of reference lines composed of neighboring samples of the current block.
  • the intra prediction mode of the current block may be determined based on a reference line that includes reference samples of the current block.
  • a set of intra prediction modes for the current block may be constructed based on reference line information.
  • the reference line information may be information indicating a reference line used for predicting a current block among a plurality of reference lines of the current block.
  • the plurality of reference lines of the current block may include a first reference line composed of neighboring samples on a line adjacent to the boundary of the current block.
  • the plurality of reference lines of the current block may include one or more second reference lines that are not adjacent to the boundary of the block. Further, each of the one or more second reference lines may be composed of neighboring samples on a line spaced by a specific number of samples with respect to the boundary of the block. At this time, the number of specific samples spaced from the boundary of the current block may be different for each reference line.
  • the intra prediction mode of the current block may be determined based on the first intra prediction mode set.
  • the first intra-prediction mode set may include the entire intra-prediction mode.
  • the intra prediction mode of the current block can be determined based on the second intra prediction mode set.
  • a plurality of reference lines may be used for intra prediction of the current block. If the plurality of reference lines for intra prediction of the current block include a second reference line, the intra prediction mode of the current block may be determined based on the second intra prediction mode set.
  • the second intra-prediction mode set may be configured as a part of the modes constituting the first intra-prediction mode.
  • the second intra-prediction mode set may be composed of n angular modes.
  • the first intra-prediction mode set may include m angular modes, a planar mode, and a DC mode. At this time, m may be larger than n.
  • m may be the total number of angle modes used for intra prediction.
  • the second intra-prediction mode set may be configured as a part of the modes constituting the first intra-prediction mode set.
  • the angle modes may include the basic angle mode and the extended angle mode described above with reference to FIG.
  • the second intra-prediction mode set may be configured based on the intra-prediction mode of the neighboring blocks of the current block.
  • the second intra-prediction mode set may include an intra-prediction mode of intra-predicted blocks of neighboring blocks.
  • the angle mode when the intra prediction mode of the neighboring block is an angle mode, the angle mode may be included in the second intra prediction mode set.
  • the second intra-prediction mode set may be configured with a predetermined number of angle modes.
  • the second intra-prediction mode set may include angle modes of the corresponding neighboring block plus an offset (e.g., -1, +1) predetermined by the neighboring block. If there are a plurality of blocks predicted based on the intra prediction mode among the neighboring blocks of the current block, the second intra prediction mode set may be configured in consideration of the context of neighboring blocks.
  • the second intra-prediction mode set may be configured in the same or corresponding manner as the MPM list construction method described above with reference to FIG.
  • the second intra prediction mode set may be an MPM list.
  • the second intra-prediction mode set may be configured based on the preset angle mode.
  • the predetermined angle mode may include at least one of a horizontal diagonal mode, a horizontal mode, a diagonal mode, a vertical mode, and a vertical diagonal mode.
  • the second intra-prediction mode set may include angle modes in addition to predetermined ones of the offsets (e.g., -1, +1).
  • the encoder may signal reference line information indicating a reference line that is used to predict the current block among a plurality of reference lines of the current block.
  • the decoder may obtain reference line information from the bitstream.
  • the encoder and decoder can construct a set of intra prediction modes according to predefined rules based on reference line information.
  • the intra prediction mode sets constituted by the encoder and the decoder may be identical to each other.
  • the decoder may determine an intra prediction mode for the current block based on the configured intra prediction mode set.
  • the encoder may signal intra prediction mode information indicating any of the configured intra prediction mode sets.
  • the decoder can parse the bitstream to obtain intra prediction mode information.
  • the decoder can determine the intra prediction mode index of the current block based on the intra prediction mode set and the intra prediction mode information.
  • the decoder may perform intra prediction of the current block based on the determined intra prediction mode index.
  • the decoder may also perform intra prediction of the current block based on the plurality of reference samples on the reference line in accordance with the reference line information and the intra prediction mode index.
  • the decoder may determine a reference line used for prediction of the current block based on the reference line information. If at least some of the plurality of samples on the reference line used for intra prediction of the current block are not available, the decoder performs the reference sample padding described above with reference to Figures 9 to 18 to prepare reference samples of the current block It is possible.
  • an intra prediction mode set composed of some modes among the entire modes can be implicitly signaled through the reference line information.
  • an intra prediction mode set including intra prediction modes likely to have been used for prediction of the current block can be constructed.
  • the intra prediction modes in which the prediction performance is improved according to the reference line may be different from each other.
  • intra prediction mode information indicating any one of the intra prediction mode sets made up of a smaller number of modes than the total number of modes can be signaled.
  • efficient signaling for intra prediction mode information can be performed.
  • step S2010 prediction on the current block may be performed based on the determined intra prediction mode.
  • the decoder may perform intra prediction on the current block based on the determined intra prediction mode to generate a prediction block.
  • Figure 21 is a diagram illustrating how intraprediction mode information is signaled based on the location of a padded reference sample.
  • an intra prediction mode corresponding to an additional angle may be signaled according to the position of the padded reference sample.
  • a set of intra prediction modes for the current block may be composed of the modes between index 34 and index 66.
  • additional angles between angles corresponding to indices 34 to 66 may be signaled using the bit (s) that were allocated to signal the intra-prediction mode corresponding to an index less than index 34.
  • the intra prediction mode information may be signaled with a smaller number of bits through a set of intra prediction modes configured with some of the full modes.
  • neighboring samples adjacent to the upper boundary of the current block may include reconstructed samples.
  • neighboring samples adjacent to the left boundary of the current block may be composed of all padded neighboring samples.
  • the intra prediction mode of the current block can be determined such that the upper neighbor samples are used for intra prediction.
  • the intra-prediction mode set may be configured with intra-prediction modes corresponding to indices 34 to 66. [ The probability that the prediction has been made using the previously reconstructed reference samples may be higher than the probability that the prediction using the padded reference samples is predicted.
  • an intra prediction mode of a current block can be determined based on a relative position of a current block in a high level region of a current block.
  • the high level area of the current block may be a slice or a tile including the current block.
  • the high level area of the current block may be a picture including the current block.
  • the high level area of the current block may be a CTU or a coding tree block (CTB) including the current block.
  • CTU coding tree block
  • the intra prediction mode set for the current block may be differently configured according to the relative position of the current block within the higher level region.
  • the neighboring samples of the current block may not be available for prediction of the current block depending on the position of the current block.
  • different intra prediction mode sets may be configured depending on the relative positions of the current block within a picture, slice, tile, CTU, or CTB.
  • the decoder can determine the intra prediction mode of the current block using a set of intra prediction modes configured according to the relative positions of the current block.
  • the encoder and decoder can construct a set of intra prediction modes according to a predefined rule based on the relative position of the current block within the high level region.
  • the intra prediction mode sets constituted by the encoder and the decoder may be identical to each other.
  • the decoder can determine the intra prediction mode of the current block using the set intra prediction mode configured.
  • the decoder can perform prediction of the current block based on the determined intra prediction mode.
  • the intra prediction mode of the current block may be determined using a predetermined intra prediction mode set.
  • the position of the current block may indicate the position in the upper level region of the upper left corner sample of the current block among the samples included in the current block.
  • the predetermined position may be a position where the boundary of the current block is adjacent to the boundary of the upper level region.
  • the predetermined position may be a position set based on at least one of a scan order or an encoding / decoding order.
  • the predetermined position may be the position of the block to be processed first in the parallelizable area.
  • the predetermined position may be a position adjacent to the upper boundary of the picture (or tile / slice / CTU / CTB). Also, the predetermined position may be a position adjacent to the left boundary of the picture (or tile / slice / CTU / CTB). If the current block is adjacent to the boundary of a picture (or a tile / slice / CTU / CTB), there may not be a previously restored block around the current block.
  • the preset intra prediction mode set may be configured in the entire intra prediction mode.
  • the upper neighboring blocks that can be used may be limited. In this case, among the plurality of reference lines described above, the use of the reference line not adjacent to the boundary of the current block may not be allowed.
  • the encoder and the decoder can be predefined to use a reference line adjacent to the current block when the current block is adjacent to the upper boundary of the upper level area. Accordingly, when the current block is adjacent to the upper boundary of the higher level region, the decoder can predict the current block based on the reference line adjacent to the current block.
  • the decoder can construct the intra-prediction mode set of the current block based on the reference line adjacent to the current block, and determine the intra-prediction mode.
  • the decoder can perform prediction on the current block based on the determined intra prediction mode.
  • the intra prediction mode set when the position of the current block is not the predetermined position described above, the intra prediction mode set may be configured in the manner described above with reference to FIGS. If the position of the current block is not the predetermined position described above, the encoder and decoder may configure a set of intra prediction modes configured with some of the overall modes. In addition, the decoder can perform intra prediction on the current block based on the configured intra prediction mode.
  • the encoder and the decoder can perform intra prediction on the current block using a set of intra prediction modes configured by intra prediction modes except for a certain angle mode. At this time, some angle modes may be determined according to the position of the reference sample that is not available among the reference samples of the current block. For example, angle modes corresponding to the prediction direction predicted from the unavailable reference samples.
  • the encoder and decoder can construct an intra prediction mode set consisting of the remaining intra prediction modes except for at least the intra prediction mode indices 2 through 18 . This is because, if reference sample padding is performed according to the position of the current block, the probability that some angle mode is used for intra prediction of the current block may be lowered.
  • the intra prediction mode of the current block may be determined based on the similarity between the reference samples of the current block.
  • the intra prediction mode of the current block may be implicitly signaled.
  • the encoder and the decoder can select the intra prediction mode of the current block using predetermined rules without signaling.
  • This intra prediction mode information signaling scheme may be referred to as implicit signaling.
  • a method for determining the intra-prediction mode of the current block based on the similarity between neighboring samples of the current block will be described in detail with reference to FIGS. 23 to 25.
  • the intra prediction mode of the current block may be determined using a plurality of reference sample subsets comprised of a plurality of surrounding samples.
  • the intra prediction mode of the current block may be determined based on the similarity between the first reference sample subset and the second reference sample subset.
  • the surrounding sample configurations included in each of the first reference sample subset and the second reference sample subset may be different from each other.
  • the present disclosure is not limited thereto.
  • two or more reference sample subsets are constructed, and based on this, the intra prediction mode of the current block can be determined.
  • the decoder may determine a second reference sample subset similar to the first reference sample subset and the first reference sample subset.
  • the first reference sample subset and the second reference sample subset may be composed of neighboring samples at different positions.
  • the first reference sample subset may be a subset of surrounding samples located on top of the current block.
  • the second reference sample subset may be a subset of surrounding samples located to the left of the current block.
  • the first reference sample subset and the second reference sample subset may be a subset of samples on different reference lines.
  • the second reference sample subset may be determined based on the similarity with the first reference sample subset.
  • the second reference sample subset may be a subset of the first reference sample subset and greater than or equal to a predetermined similarity.
  • the similarity may be a correlation between a first reference sample subset and a second reference sample subset. The similarity may be calculated based on the values of the surrounding samples included in the reference sample subset.
  • the degree of similarity is calculated by multiplying the value of the first neighboring sample, which is one of the plurality of neighboring samples constituting the first reference sample subset, and the value of the second neighboring sample, 2 < / RTI > surrounding samples.
  • the similarity may be calculated by a method of comparing values of a plurality of samples on a position-by-position basis.
  • the encoder and decoder may compare values of a plurality of reference samples constituting a first reference sample subset and values of a plurality of reference samples constituting a second reference sample subset.
  • the similarity is calculated based on at least one of a gradient, a directional variation, or a sample value difference between a plurality of neighboring samples constituting each of the first reference sample subset and the second reference sample subset .
  • the encoder and the decoder can calculate the similarity by comparing the gradient value of the samples constituting the first reference sample subset and the gradient value of the samples constituting the second reference sample subset.
  • the encoder and the decoder can calculate the similarity by comparing the sample value difference between the samples constituting the first reference sample subset and the sample value difference between the samples constituting the second reference sample subset.
  • the intra prediction mode of the current block may be determined based on the positional relationship of the first reference sample subset and the second reference sample subset.
  • the first reference sample subset and the second reference sample subset may be configured with the exception of the reference sample that is not available.
  • the reference sample subset may not contain a reference sample of the location where the padding was performed. Since the sample value of the padded reference sample is a value generated based on the value of adjacent samples. In addition, an error may occur when the similarity is calculated using the unreverted reference samples.
  • a second reference sample subset may be determined with the addition of a sub-pixel.
  • the similarity between a plurality of reference sample subsets can be calculated using sub-pixels of each of a plurality of reference sample subsets.
  • the subpixel may be a subpel unit pixel located between adjacent integer samples.
  • the sub-pixel may be a value obtained by interpolating integer samples.
  • the subpixel may be obtained using at least one of a linear filter or a DCT filter used for intra prediction. If sub-pixels are used, a greater number of angular modes may be implicitly signaled.
  • the intra prediction mode of the current block can be determined.
  • the intra prediction mode of the current block can be determined based on the positional relationship between the first reference sample subset and the second reference sample subset. This will be described with reference to FIGS. 24 and 25.
  • FIG. in step S2305 intra prediction for the current block may be performed based on the determined intra prediction mode.
  • the samples used for calculating the similarity and the reference samples referred to in the intra prediction process may be different samples.
  • the reference sample subset may consist of neighboring samples of the current block, regardless of what is referred to in intra prediction.
  • the intra prediction mode of the current block may be determined based on a plurality of reference sample subsets comprised of neighboring samples. For example, a plurality of candidate subsets may be constructed based on the location of neighboring samples. In addition, through calculation of similarities between a plurality of candidate subsets, a pair of subsets having the greatest similarity can be determined.
  • the amount of change between neighboring samples of the current block can be determined first.
  • the amount of change can be calculated based on the gradient, slope, or sample value difference between neighboring samples of the current block.
  • it can be determined whether the intra prediction mode is signaled in the manner described above. For example, if it is less than the predetermined variation, the intra prediction mode of the current block may not be signaled in the above-described manner.
  • the intra prediction mode can be signaled by the method described above. Or less than a predetermined variation, the intra prediction mode may be signaled in the manner described above. In the case of the planar mode or the DC mode, the variation between adjacent samples may not be large.
  • FIG. 24 is a diagram illustrating an embodiment of a method in which an intra prediction mode of a current block is determined based on a surrounding sample.
  • the shaded portion may represent a similar region of the first reference sample subset and the second reference sample subset.
  • the sample values of each of the samples contained in the shadow portion of the original picture or the reconstructed picture may be values within a predetermined range. The closer the prediction direction is to the shape of the shaded portion, the better the prediction performance can be.
  • the first reference sample subset may consist of a plurality of neighbor samples located above the current block.
  • the second reference sample subset may be comprised of a plurality of neighbor samples located to the left of the current block.
  • the values of neighboring samples included in the shaded portion of the surrounding samples constituting the first reference sample subset are changed to be similar to the values of neighboring samples included in the shaded portion of the surrounding samples constituting the second reference sample subset .
  • the intra prediction mode of the current block can be determined based on the direction in which the samples with high similarity are connected.
  • a plurality of intra prediction modes may be determined based on the first reference sample subset and the second reference sample subset determined in step S2302. For example, two angle modes corresponding to one angle determined based on the positions of the first reference sample subset and the second reference sample subset may be possible.
  • the two angular modes may be a first angular mode and a second angular mode, respectively, in a direction opposite to the direction corresponding to the first angular mode.
  • Intra prediction mode information indicating one of a plurality of angular modes needs to be signaled.
  • an angle mode other than the wide angle mode can be predicted on a basis.
  • the intra prediction mode of the current block may be determined based on the index of the plurality of angle modes. For example, the smallest angle mode among the plurality of angle modes may be used as the intra prediction mode of the current block. Or the angle mode with the largest index among the plurality of angle modes may be used as the intra prediction mode of the current block.
  • the intra prediction mode of the current block can be determined based on the residual signal of the current block.
  • the intra prediction mode of the current block can be determined using the area-specific residual signal in the current block. Specifically, a first residual signal sum of samples located in the uppermost line in the current block can be obtained. A second residual signal sum of the samples located in the leftmost line in the current block can be obtained. When the second residual signal sum is larger than the first residual signal sum, an intra prediction mode corresponding to the prediction angle predicted from the upper side to the left side can be used for prediction of the current block. Conversely, when the first residual signal sum is larger than the second residual signal sum, an intra prediction mode corresponding to the prediction angle predicted from the left to the upper side can be used for predicting the current block.
  • the residual signal may be smaller as the predicted sample is closer to the reference sample used for intra prediction.
  • the intra prediction mode of the current block may be determined based on the number of padded reference samples included in the reference sample subset. For example, an intra prediction mode in the direction referred to from a reference sample subset with a smaller number of padded reference samples may be used for prediction of the current block. This is because the padded reference samples can exhibit less characteristics of the original signal than the restored reference samples. In addition, the probability of being predicted based on the reconstructed reference sample may be higher than the probability of being predicted based on the padded reference sample.
  • FIG. 25 is a diagram showing an embodiment of a method in which an intra prediction mode of a current block is determined based on a surrounding sample.
  • the intra prediction mode of the current block may be determined based on the positions of the first reference sample subset and the second reference sample subset.
  • the first reference sample subset and the second reference sample subset may be a pair of subsets whose similarity is greater than or equal to a predetermined value, as described above.
  • the first reference sample subset may include a first sample positioned n-th to the right from the surrounding sample located on the upper left of the current block.
  • the first reference sample subset may comprise a predetermined number of consecutive samples from the first sample to the right.
  • the second reference sample subset may include a second sample located at an m-th location from the neighboring sample located on the upper left of the current block.
  • the second reference sample subset may comprise a predetermined number of consecutive samples from the second sample downward.
  • the intra prediction mode of the current block can be determined based on n and m.
  • the angle [theta] between the line connecting the first sample and the second sample and the line adjacent to the left boundary of the current block may be arctan (n / m).
  • the intra prediction mode of the current block may be a prediction mode corresponding to the first angle [theta] or the second angle [theta] - a * [pi].
  • a is an integer and? Can be a circularity.
  • the first angle &thetas may not be mapped to an angle corresponding to predetermined angle modes as shown in FIG.
  • an angle mode corresponding to an angle closest to the first angle may be used as the intra prediction mode of the current block.
  • the intra prediction mode of the current block can be determined based on the similarity between neighboring samples of the current block.
  • the encoder and decoder can reduce the signaling overhead for the intra prediction mode of the current block.
  • the signaling may be required if a method of determining the intra prediction mode of the current block based on the reference sample and a conventional method of signaling the intra prediction mode information are used in combination.
  • the method of determining an intra prediction mode can be explicitly signaled.
  • a method of determining the intra-prediction mode on a block-by-block basis can be signaled.
  • a plurality of methods are available for each of the first areas, and a determination method of the intra prediction mode used for each second area may be signaled.
  • the first region may be a high-level region including a plurality of second regions.
  • the first area may be a picture (or a tile / slice), and the second area may be a coding unit or block divided for coding.
  • the method of determining an intra prediction mode may be implicitly signaled.
  • the encoder and decoder may select a method of determining the intra-prediction mode based on a predetermined method. Specifically, when the amount of change between neighboring samples of the current block is equal to or greater than a predetermined value, a method based on the above-described reference sample is used. If the variation is less than a predetermined value, an existing method can be used.
  • 26 is a diagram showing one embodiment of a method in which a vertical block and a horizontal block are divided.
  • a binary block divided by a binary division from a leaf node of a quadtree can be divided into a vertical block and a horizontal block.
  • a block such that the length of the vertical side is longer than the length of the horizontal side, such as Nx2N block size, may be referred to as a vertical block.
  • Vertical blocks may be generated by vertical binary division from the leaf nodes of the quadtree.
  • the vertical block may no longer be further partitioned. Or the vertical block may be further divided according to a specific condition. The particular condition may include the parameters described above in connection with the multi-type tree.
  • the vertical block can be divided into two (N / 2) x2N nodes by vertical binary division. Or the vertical block may be divided into two NxN nodes by horizontal binary division. Or the vertical block may be divided into four (N / 2) xN nodes by a binary quadtree (BQ) partition. Or the vertical block may be divided into two Nx (N / 2) nodes and one NXN node by horizontal tangential division. Or the vertical block can be divided into two (N / 4) x2N) nodes and one (N / 2) X2N nodes by vertical tangential division.
  • a block having a length of a horizontal side longer than the length of a vertical side such as a 2NxN block size
  • Horizontal blocks can be generated by horizontal binary division from the leaf nodes of the quadtree. If the horizontal block is a leaf node, the horizontal block may no longer be further divided. Alternatively, the horizontal block may be further partitioned according to certain conditions. The particular condition may include the parameters described above in connection with the multi-type tree.
  • the horizontal block may be divided into two NxN nodes by vertical binary division. Or the vertical block may be divided into two 2Nx (N / 2) nodes by horizontal binary division.
  • the vertical block may be divided into four Nx (N / 2) nodes by binary quadtree (BQ) partitioning.
  • the horizontal block may be divided into two (N / 2) xN nodes and one NxN node by vertical tangential division.
  • the horizontal block may be divided into two 2Nx (N / 4) nodes and one 2Nx (N / 2) nodes by vertical tangential division.
  • the binary quadtree partitioning may be performed according to predetermined conditions. For example, whether a binary block can be BQ-divided can be determined for each picture, slice, tile, CTU or CU unit.
  • the encoder can signal whether to permit BQ division of the binary block in units of picture, slice, tile, CTU or CU. If binary quadtree partitioning is allowed, the BQ division signaling field for the current block may be signaled.
  • the partition may be the final partition, which is no longer an additional partition.
  • the divided blocks may represent a unit to be encoded. Also, the divided blocks may represent a unit to be transformed.
  • the BQ division of the binary block can be limited to the case where the size of one side of the binary block is MinBtSize.
  • the signaling field for the BQ block segmentation can additionally be signaled only if the size of the side of the binary block with the shorter length is MinBtSize.
  • the ternary division of the binary block can be determined based on a separate parameter related to the ternary division. For example, a separate parameter may be MaxTtSize described above.
  • FIG. 27 is a diagram showing an embodiment of a method of signaling the division of a quadtree, a binary tree, and a ternary tree.
  • Figure 27 (a) shows an embodiment of a method by which the partitioning of a quadtree is signaled. If the QT Split indicates a partition, the corresponding node is divided into quad tree nodes, and if the partition does not indicate a partition, the corresponding node can be a leaf node. At this time, if the quad tree is signaled to the leaf node, the binary tree partition information may be additionally signaled.
  • Figure 27 (b) shows an embodiment of a method in which the partitioning of the binary tree is signaled. If BT Split does not represent a partition, the node becomes a leaf node, and signaling indicating vertical partitioning or horizontal partitioning may be added if partitioning is indicated.
  • Figure 27 (c) shows how the partitioning of the binary tree is signaled in accordance with another embodiment of the present invention.
  • BT Adaptive Split is 1, the node can be split by either a vertical binary division or a horizontal binary division. If BT Adaptive Split is zero, the node can be a leaf node, or it can be split by the remaining one of vertical binary partition or horizontal binary partition. Signaling indicating whether the leaf node is a binary node or a leaf node may be added.
  • the encoder can preferentially signal the binary division in one direction during the binary division. This allows the signaling overhead to be reduced if the partition is heavily selected in the entire picture, slice, tile or CTU unit.
  • the adaptive signaling method of FIG. 27 (c) can be adaptively used or signaled through the following method.
  • the adaptive signaling method can be used when the maximum BT depth (MaxBTDepth) representing the maximum number of allowed BT divisions is greater than a predetermined value. This is because when MaxBTDepth is large, signaling for binary tree segmentation occurs frequently and adaptive signaling effect may occur.
  • MaxBTDepth is small, it is difficult to obtain the effect of adaptive signaling because the number of signaling for the binary tree division is small. Accordingly, when MaxBTDepth is smaller than a preset value, the signaling method of FIG. 27 (b) can be used.
  • the encoder may also signal information related to the adaptive signaling method on a per-picture (or tile / slice) basis. Specifically, the encoder can signal the direction of division that is signaled preferentially by the BT Adaptive Split among the vertical binary division and the horizontal binary division. In addition, the direction of division that is preferentially signaled by BT Adaptive Split may be changed based on the context in a picture (or tile / slice) unit. For example, a division direction that is signaled preferentially based on the frequency of vertical binary division and horizontal binary division up to the previous block of the current block can be determined.
  • adaptive signaling for chroma block segmentation can be performed based on the partition structure of the luma block corresponding to the chroma block.
  • the luma block corresponding to the chroma block can be selected based on the block corresponding to the position of the pixel in the center portion of the chroma block.
  • a luma block corresponding to pixels in various portions such as the upper left side, the upper right side, the center, the lower left side, or the lower right side inside the chroma block may be selected.
  • the division structure of one or a plurality of luma blocks corresponding to the chroma block can be used to change the way in which the division of the chroma block is signaled.
  • the signaling method may be selected in which the vertical binary segmentation is signaled preferentially with respect to the segmentation of the chroma block.
  • Figure 27 (d) shows an embodiment of a method of signaling a QTBT combining block partition structure. If QTBT Split is 1, the corresponding node is quad-tree divided. If it is 0, the corresponding node can be a leaf node or a binary tree. In addition, signaling may be added to indicate whether the node is a leaf node or a binary tree. Further, in the case of indicating that it is divided into a binary tree, signaling indicating whether it is a vertical binary division or a horizontal binary division can be added.
  • Figure 27 (e) shows an embodiment of a method in which partitioning of the binary tree is signaled when BQ partitioning is allowed.
  • either the horizontal binary division or the vertical binary division can be signaled first. Further, the remaining one of the horizontal binary division and the vertical binary division is signaled, and whether the leaf node or the BQ division is signaled.
  • FIG. 27 (f) shows another embodiment of a method in which partitioning of a binary tree is signaled when BQ partitioning is allowed.
  • the partitioning of the binary tree can be signaled through a fixed length coding method. Signaling indicating a leaf node, a horizontal binary division, a vertical binary division, and a BQ division, respectively, can be performed. Effective signaling can be performed when the occurrence probabilities of the leaf node, the horizontal binary division, the vertical binary division, and the BQ division are similar.
  • Figure 27 (g) shows an embodiment of a method in which QTBT combining block segmentation is signaled when BQ partitioning is allowed.
  • the current tree structure can be signaled regardless of whether it is a quadtree or a binary tree.
  • FIG. 28 is a diagram showing an embodiment of a method in which the partitioning of the ternary tree is signaled.
  • the corresponding node when BTTT Split is 0, the corresponding node can be a leaf node.
  • the corresponding node when BTTT Split is 1, the corresponding node can be divided into a binary tree or a ternary tree. A bit indicating whether the binary tree is divided or a tertiary tree, and bits indicating whether horizontal division or vertical division in each case can be additionally signaled.
  • the dividing direction can be signaled prior to the dividing shape. Whether horizontally divided or vertically divided can be signaled prior to the binary tree or the turntree. If BTTT Split is 0, the corresponding node becomes a leaf node, and if it is 1, the corresponding node can be divided into either horizontal division or vertical division. At this time, bits for signaling horizontal division or vertical division and bits for signaling a binary tree or a turntree may additionally be signaled.
  • whether or not to allow the ternary tree partitioning can be determined in units of pictures, slices, tiles, or CTUs.
  • a ternary partition may be allowed if a predetermined condition is satisfied in a picture, slice, tile, or CTU unit.
  • the encoder can signal whether the turntree partitioning is allowed on a picture, slice, tile, or CTU basis.
  • the signaling method of Fig. 28 (b) can reduce the signaling overhead by one bit as compared with the signaling method of Fig. 28 (a).
  • the signaling method of Fig. 28 (b) can signal binary tree segmentation with a maximum of two bits if the ternary tree segmentation is not allowed.
  • the node may be a leaf node according to a binary tree structure, or may be divided into a plurality of nodes by vertical binary division, horizontal binary division, vertical ternary division, or horizontal ternary division .
  • the encoder may preferentially signal either the vertical binary division or the horizontal binary division, and then signal the remaining division structure.
  • the adaptive signaling method described with reference to FIG. 27 (c) can be applied in the same or corresponding manner.
  • a block of 2Nx2N size can be divided into a first left vertical block LVB and a first right vertical block RVB of Nx2N size by vertical binary division.
  • the division structure of the first right vertical block may be limited according to the division structure of the first left vertical block. For example, if the first left vertical block is horizontally binary split, the first right vertical block may not allow horizontal binary division. This is because, when the first left vertical block and the first right vertical block are horizontally binary-split, a block of 2Nx2N size is divided into a quad-tree structure.
  • the vertical block of Nx2N may be vertically binary segmented and divided into a second left vertical block of size (N / 2) x2N and a second right vertical block.
  • the division structure of the second right vertical block may be limited according to the division structure of the second left vertical block. For example, if the second left vertical block is split horizontally, the second right vertical block may not allow horizontal binary division.
  • the second left vertical block and the second right vertical block are subjected to horizontal binary division, they are the same as those obtained by binary quad dividing from a block of Nx2N size. This is because it is possible to signal from the Nx2N node to the BQ division.
  • the division of the second right vertical block can be signaled except for the case of horizontal binary division.
  • FIG. 30 is a diagram specifically illustrating a structure in which horizontal blocks are divided according to an embodiment of the present invention.
  • a block of 2Nx2N size can be divided into a first upper horizontal block UHB and a first lower horizontal block LHB of 2NxN size by horizontal binary division.
  • the division structure of the first lower horizontal block may be limited according to the division structure of the first upper horizontal block.
  • the first upper-side horizontal block is vertically binary-split
  • the first lower-side horizontal block may not allow horizontal binary division. This is because when the first upper-side horizontal block and the first lower-side horizontal block are vertically binary-segmented, a block of 2Nx2N size is divided into a quad-tree structure.
  • a horizontal block of 2NxN is horizontally binary-split and divided into a second upper horizontal block of size 2Nx (N / 2) and a second lower horizontal block.
  • the division structure of the second lower horizontal block may be limited according to the division structure of the second upper horizontal block.
  • the second upper horizontal block is vertically binarized, the second lower horizontal block may not allow vertical binary division.
  • the second upper horizontal block and the second lower horizontal block are subjected to horizontal binary division, they are the same as binary quad divided from 2NxN blocks. This is because it is possible to signal from 2NxN node to BQ division.
  • the vertical binary division for the second upper horizontal block is signaled, the division of the second lower horizontal block can be signaled except for the case of vertical binary division.
  • the type of the division signaling of the current block can be limited based on the division information of the neighboring blocks. Through this, the partition information of the coding tree unit or the coding unit can be efficiently signaled.
  • 31 is a diagram showing an embodiment of a method for determining a scan order of blocks.
  • 31 (a) shows embodiments of a sequence of scanning a plurality of nodes divided from a 2Nx2N size node.
  • a 2Nx2N size node may include a CTU.
  • Encoders and decoders can use the same scan order according to predefined rules. For example, when the node is divided into four nodes by quad tree partitioning ((a) (1)), encoding and decoding of four blocks according to the jet scanning order as shown in FIG. 31 (a) .
  • the node may be divided into a plurality of blocks by binary partitioning or ternary partitioning. As shown in FIG. 31 (a), when the node is divided in the vertical direction ((a) (2), (4)), a plurality of blocks are sequentially encoded and decoded from left to right . Further, when the node is divided in the horizontal direction ((a) (3), (5)), the plurality of nodes may be sequentially encoded and decoded from the top to the bottom.
  • FIG. 31 (b) shows embodiments of a sequence of scanning a plurality of blocks divided from a vertical block.
  • the encoding and decoding of the four blocks can be performed according to the jet scan order.
  • the plurality of blocks can be sequentially encoded and decoded from left to right (in the horizontal direction).
  • the plurality of nodes can be sequentially encoded and decoded in the vertical direction from the upper side to the lower side.
  • FIG. 31 (c) illustrates embodiments of a sequence of scanning a plurality of blocks divided from a horizontal block.
  • encoding and decoding of four blocks can be performed according to the jet scanning order.
  • the horizontal block is divided in the vertical direction ((c) (1), (4))
  • the plurality of blocks can be sequentially encoded and decoded from left to right (in the horizontal direction).
  • the horizontal block is divided in the horizontal direction ((c) (2))
  • the plurality of nodes can be sequentially encoded and decoded in the vertical direction from the top to the bottom.
  • Figure 31 (d) is a diagram illustrating embodiments of a scan sequence for scanning divided blocks in various ways.
  • a block of 2Nx2N size is divided into two vertical blocks, and each vertical block can be divided by horizontal binary division and horizontal division.
  • the encoder and the decoder may use a scan order to scan vertical blocks in order from left to right, and from top to bottom in a vertical block. Accordingly, the encoder and the decoder can scan the upper node of the left vertical block, the lower node of the left vertical block, the upper node of the right vertical block, the middle node of the right vertical block, and the lower node of the right vertical block.
  • a method of maintaining the jet scan order may be used.
  • the encoder and the decoder may use a method of performing a jet scan from the upper left side block of a picture, but scanning a specific block only when a block adjacent to the left side of the specific block is restored. More specifically, (2) to (4) in FIG. 31 (d) show a scan sequence based on the jet scan.
  • embodiments of the present invention can be implemented by various means.
  • embodiments of the present invention may be implemented by hardware, firmware, software, or a combination thereof.
  • the method according to embodiments of the present invention may be implemented in one or more Application Specific Integrated Circuits (ASICs), Digital Signal Processors (DSPs), Digital Signal Processing Devices (DSPDs), Programmable Logic Devices (PLDs) , FPGAs (Field Programmable Gate Arrays), processors, controllers, microcontrollers, microprocessors, and the like.
  • ASICs Application Specific Integrated Circuits
  • DSPs Digital Signal Processors
  • DSPDs Digital Signal Processing Devices
  • PLDs Programmable Logic Devices
  • FPGAs Field Programmable Gate Arrays
  • processors controllers, microcontrollers, microprocessors, and the like.
  • the method according to embodiments of the present invention may be implemented in the form of a module, a procedure or a function for performing the functions or operations described above.
  • the software code can be stored in memory and driven by the processor.
  • the memory may be located inside or outside the processor and may exchange data with the processor by any of a variety of well-known means.

Abstract

비디오 신호를 인코딩하거나 디코딩하는 비디오 신호 처리 방법 및 장치가 개시된다. 더욱 구체적으로, 비디오 신호의 처리 방법에 있어서, 현재 블록의 주변 샘플들로 구성된 복수의 참조 라인들 중에서 상기 현재 블록의 인트라 예측을 위한 참조 라인을 나타내는 참조 라인 정보를 획득하고, 상기 참조 라인 정보에 기초하여, 인트라 예측 모드 세트를 구성하는 복수의 인트라 예측 모드들 중 상기 현재 블록을 위한 인트라 예측 모드를 결정하고, 상기 참조 라인 정보에 따른 참조 라인 상의 복수의 참조 샘플들 및 결정된 인트라 예측 모드를 기초로 상기 현재 블록을 디코딩하며, 상기 복수의 참조 라인들은 상기 현재 블록의 경계에 인접한 라인 상의 주변 샘플들로 구성된 제1 참조 라인 및 상기 현재 블록의 경계를 기준으로 특정 샘플 수만큼 이격된 라인 상의 주변 샘플들로 구성된 제2 참조 라인을 포함하는, 비디오 신호 처리 방법 및 이를 수행하는 비디오 신호 처리 장치가 개시된다.

Description

비디오 신호 처리 방법 및 장치
본 발명은 비디오 신호의 처리 방법 및 장치에 관한 것으로, 보다 상세하게는 비디오 신호를 인코딩하거나 디코딩하는 비디오 신호 처리 방법 및 장치에 관한 것이다.
압축 부호화란 디지털화한 정보를 통신 회선을 통해 전송하거나, 저장 매체에 적합한 형태로 저장하기 위한 일련의 신호 처리 기술을 의미한다. 압축 부호화의 대상에는 음성, 영상, 문자 등의 대상이 존재하며, 특히 영상을 대상으로 압축 부호화를 수행하는 기술을 비디오 압축이라고 일컫는다. 비디오 신호에 대한 압축 부호화는 공간적인 상관관계, 시간적인 상관관계, 확률적인 상관관계 등을 고려하여 잉여 정보를 제거함으로써 이루어진다. 그러나 최근의 다양한 미디어 및 데이터 전송 매체의 발전으로 인해, 더욱 고효율의 비디오 신호 처리 방법 및 장치가 요구되고 있다.
본 발명은 비디오 신호의 코딩 효율을 높이기 위한 목적을 가지고 있다. 또한, 본 발명은 현재 블록의 참조 샘플들을 이용하여 현재 블록의 예측과 관련된 시그널링 효율을 높이기 위한 목적을 가지고 있다.
상기와 같은 과제를 해결하기 위해, 본 발명은 다음과 같은 비디오 신호 처리 장치 및 비디오 신호 처리 방법을 제공한다.
먼저 본 발명의 실시예에 따르면, 비디오 신호 처리 방법에 있어서, 현재 블록의 주변 샘플들로 구성된 복수의 참조 라인들 중에서 상기 현재 블록의 인트라 예측에 사용되는 참조 라인을 나타내는 참조 라인 정보를 획득하는 단계, 상기 참조 라인 정보에 기초하여, 인트라 예측 모드 세트를 구성하는 복수의 인트라 예측 모드들 중 상기 현재 블록을 위한 인트라 예측 모드를 결정하는 단계, 및 상기 참조 라인 정보에 따른 참조 라인 상의 복수의 참조 샘플들 및 결정된 인트라 예측 모드를 기초로 상기 현재 블록을 디코딩하는 단계를 포함하고, 상기 복수의 참조 라인들은 상기 현재 블록의 경계에 인접한 라인 상의 주변 샘플들로 구성된 제1 참조 라인 및 상기 현재 블록의 경계를 기준으로 특정 샘플 수만큼 이격된 라인 상의 주변 샘플들로 구성된 제2 참조 라인을 포함하는, 비디오 신호 처리 방법이 제공된다.
또한, 본 발명의 실시예에 따르면, 비디오 신호 처리 장치에 있어서, 프로세서를 포함하고, 상기 프로세서는, 현재 블록의 주변 샘플들로 구성된 복수의 참조 라인들 중에서 상기 현재 블록의 인트라 예측을 위한 참조 라인을 나타내는 참조 라인 정보를 획득하고, 상기 참조 라인 정보에 기초하여, 인트라 예측 모드 세트를 구성하는 복수의 인트라 예측 모드들 중 상기 현재 블록을 위한 인트라 예측 모드를 결정하고, 상기 참조 라인 정보에 따른 참조 라인 상의 복수의 참조 샘플들 및 결정된 인트라 예측 모드를 기초로 상기 현재 블록을 디코딩하며, 상기 복수의 참조 라인들은 상기 현재 블록의 경계에 인접한 라인 상의 주변 샘플들로 구성된 제1 참조 라인 및 상기 현재 블록의 경계를 기준으로 특정 샘플 수만큼 이격된 라인 상의 주변 샘플들로 구성된 제2 참조 라인을 포함하는, 비디오 신호 처리 장치가 제공된다.
상기 현재 블록의 인트라 예측을 위한 참조 라인이 제1 참조 라인인 경우, 상기 인트라 예측 모드 세트는 제1 인트라 예측 모드 세트이고, 상기 현재 블록의 인트라 예측을 위한 참조 라인이 상기 제1 참조 라인이 아닌 경우, 상기 인트라 예측 모드 세트는 상기 제1 인트라 예측 모드 세트를 구성하는 복수의 인트라 예측 모드들 중 일부로 구성된 제2 인트라 예측 모드 세트일 수 있다.
상기 제2 인트라 예측 모드 세트는 복수의 각도 모드들(angular modes)로 구성될 수 있다.
상기 제2 인트라 예측 모드 세트는 현재 블록의 주변 블록들 중 어느 하나에 대응하는 인트라 예측 모드를 기초로 결정된 기 설정된 개수의 각도 모드들로 구성될 수 있다.
상기 프로세서는, 상기 제2 인트라 예측 모드 세트가 포함하는 기 설정된 개수의 각도 모드들 중 어느 하나를 나타내는 인트라 예측 모드 정보를 수신하고, 상기 인트라 예측 모드 정보를 기초로 상기 현재 블록을 위한 인트라 예측 모드를 결정할 수 있다.
상기 인트라 예측 모드 세트는 상기 현재 블록의 상위 레벨 영역 내에서 상기 현재 블록의 상대적인 위치를 기초로 결정될 수 있다.
상기 프로세서는, 상기 상위 레벨 영역 내에서 상기 현재 블록의 상대적인 위치에 따라 상기 현재 블록을 위한 상기 인트라 예측 모드 세트를 구성할 수 있다.
상기 현재 블록이 상기 상위 레벨 영역의 상측 경계에 인접한 경우, 상기 참조 라인 정보는 상기 제1 참조 라인을 나타내는 것으로 간주되며, 상기 현재 블록을 위한 상기 인트라 예측 모드 세트는 상기 제1 인트라 예측 모드 세트일 수 있다.
상기 제1 인트라 예측 모드 세트는 복수의 각도 모드들 및 평면 모드(planar mode) 및 DC 모드(direct current mode)를 포함할 수 있다.
상기 현재 블록의 경계는 상기 현재 블록의 좌측 또는 상측 경계일 수 있다.
상기 특정 샘플 수는 기 설정된 샘플 수 보다 작거나 동일한 값일 수 있다. 상기 샘플 수는 정수 픽셀의 개수를 나타낼 수 있다.
본 발명의 실시예에 따르면 비디오 신호의 코딩 효율이 높아질 수 있다. 또한, 본 발명의 실시예에 따르면 현재 블록의 인트라 예측과 관련된 시그널링 효율이 높아질 수 있다.
도 1은 본 발명의 실시예에 따른 비디오 신호 인코딩 장치의 개략적인 블록도이다.
도 2는 본 발명의 실시예에 따른 비디오 신호 디코딩 장치의 개략적인 블록도이다.
도 3은 픽쳐 내에서 코딩 트리 유닛이 코딩 유닛들로 분할되는 실시예를 도시한다.
도 4는 쿼드 트리 및 멀티-타입 트리의 분할을 시그널링하는 방법의 일 실시예를 도시한다.
도 5는 인트라 예측 모드에서 현재 블록의 예측을 위해 사용되는 참조 샘플들의 일 실시예를 도시한다.
도 6은 인트라 예측에 사용되는 예측 모드들의 일 실시예를 도시한다.
도 7은 인코더에 의해 선택된 인트라 예측 모드를 디코더에게 시그널링하는 방법의 일 실시예를 도시한다.
도 8은 인트라 예측 모드를 시그널링하는 방법의 상세한 실시예를 도시한다.
도 9는 현재 블록의 인트라 예측을 위한 참조 샘플들이 일부 사용 가능하지 않은 경우 참조 샘플 패딩 방법을 나타내는 도면이다.
도 10은 현재 블록의 인트라 예측을 위한 참조 샘플들이 전부 사용 가능하지 않는 경우 참조 샘플 패딩 방법을 나타내는 도면이다.
도 11은 주변 블록의 예측 모드가 평면 모드인 경우 참조 샘플 패딩 방법을 나타내는 도면이다.
도 12는 주변 블록의 예측 모드가 각도 모드인 경우 참조 샘플 패딩 방법을 나타내는 도면이다.
도 13은 주변 블록의 예측 모드가 각도 모드인 경우 참조 샘플 패딩 방법을 나타내는 도면이다.
도 14는 참조 샘플들의 위치를 기반으로 하는 참조 샘플 패딩 방법을 나타내는 도면이다.
도 15는 주변 샘플들을 기초로 참조 샘플 패딩이 수행되는 방법을 나타내는 도면이다.
도 16은 주변 블록이 인터 예측된 경우 참조 샘플 패딩 방법을 나타내는 도면이다.
도 17은 주변 블록이 인터 예측된 경우 참조 샘플 패딩 방법을 나타내는 도면이다.
도 18은 주변 블록이 인터 예측된 경우 참조 샘플 패딩 방법을 나타내는 도면이다.
도 19는 현재 블록의 주변 샘플들로 구성된 복수의 참조 라인들의 일 실시예를 나타내는 도면이다.
도 20은 현재 블록의 인트라 예측 모드가 시그널링되는 방법을 나타내는 도면이다.
도 21은 패딩된 참조 샘플의 위치를 기초로 인트라 예측 모드 정보가 시그널링되는 방법을 나타내는 도면이다.
도 22는 현재 블록의 상대적인 위치를 기초로 인트라 예측 모드가 결정되는 방법을 나타내는 도면이다.
도 23은 참조 샘플에 기반하여 현재 블록의 인트라 예측 모드가 결정되는 방법의 일 실시예를 나타내는 도면이다.
도 24는 참조 샘플에 기반하여 현재 블록의 인트라 예측 모드가 결정되는 방법의 일 실시예를 나타내는 도면이다.
도 25는 참조 샘플에 기반하여 현재 블록의 인트라 예측 모드가 결정되는 방법의 일 실시예를 나타내는 도면이다.
도 26은 수직 블록 및 수평 블록이 분할되는 방법의 일 실시예를 나타내는 도면이다.
도 27은 쿼드 트리, 바이너리 트리 및 터너리 트리의 분할을 시그널링하는 방법의 일 실시예를 나타내는 도면이다.
도 28은 터너리 트리의 분할이 시그널링되는 방법의 일 실시예를 나타내는 도면이다.
도 29는 본 발명의 일 실시예에 따라 수직 블록이 분할되는 구조를 구체적으로 나타내는 도면이다.
도 30은 본 발명의 일 실시예에 따라 수평 블록이 분할되는 구조를 구체적으로 나타내는 도면이다.
도 31은 블록의 스캔 순서를 정하는 방법의 일 실시예를 나타내는 도면이다.
본 명세서에서 사용되는 용어는 본 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어를 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도, 관례 또는 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한 특정 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 그 의미를 기재할 것이다. 따라서 본 명세서에서 사용되는 용어는, 단순한 용어의 명칭이 아닌 그 용어가 가진 실질적인 의미와 본 명세서의 전반에 걸친 내용을 토대로 해석되어야 함을 밝혀두고자 한다.
본 명세서에서 일부 용어들은 다음과 같이 해석될 수 있다. 코딩은 경우에 따라 인코딩 또는 디코딩으로 해석될 수 있다. 본 명세서에서 비디오 신호의 인코딩(부호화)을 수행하여 비디오 신호 비트스트림을 생성하는 장치는 인코딩 장치 혹은 인코더로 지칭되며, 비디오 신호 비트스트림의 디코딩(복호화)을 수행하여 비디오 신호를 복원하는 장치는 디코딩 장치 혹은 디코더로 지칭된다. 또한, 본 명세서에서 비디오 신호 처리 장치는 인코더 및 디코더를 모두 포함하는 개념의 용어로 사용된다. 정보(information)는 값(values), 파라미터(parameter), 계수(coefficients), 성분(elements) 등을 모두 포함하는 용어로서, 경우에 따라 의미는 달리 해석될 수 있으므로 본 발명은 이에 한정되지 아니한다. '유닛'은 영상 처리의 기본 단위 또는 픽쳐의 특정 위치를 지칭하는 의미로 사용되며, 루마(luma) 성분과 크로마(chroma) 성분을 모두 포함하는 이미지 영역을 가리킨다. 또한, ‘블록’은 루마 성분 및 크로마 성분들(즉, Cb 및 Cr) 중 특정 성분을 포함하는 이미지 영역을 가리킨다. 다만, 실시예에 따라서 ‘유닛’, '블록', '파티션' 및 '영역' 등의 용어는 서로 혼용하여 사용될 수 있다. 또한, 본 명세서에서 유닛은 코딩 유닛, 예측 유닛, 변환 유닛을 모두 포함하는 개념으로 사용될 수 있다. 픽쳐는 필드 혹은 프레임을 가리키며, 실시예에 따라 상기 용어들은 서로 혼용하여 사용될 수 있다.
도 1은 본 발명의 일 실시예에 따른 비디오 신호 인코딩 장치의 개략적인 블록도이다. 도 1을 참조하면, 본 발명의 인코딩 장치(100)는 변환부(110), 양자화부(115), 역양자화부(120), 역변환부(125), 필터링부(130), 예측부(150) 및 엔트로피 코딩부(160)를 포함한다.
변환부(110)는 입력 받은 비디오 신호와 예측부(150)에서 생성된 예측 신호의 차이인 레지듀얼 신호를 변환하여 변환 계수 값을 획득한다. 예를 들어, 이산 코사인 변환(Discrete Cosine Transform, DCT), 이산 사인 변환(Discrete Sine Transform, DST) 또는 웨이블릿 변환(Wavelet Transform) 등이 사용될 수 있다. 이산 코사인 변환 및 이산 사인 변환은 입력된 픽쳐 신호를 블록 형태로 나누어 변환을 수행하게 된다. 변환에 있어서 변환 영역 내의 값들의 분포와 특성에 따라서 코딩 효율이 달라질 수 있다. 양자화부(115)는 변환부(110)에서 출력된 변환 계수 값을 양자화한다.
코딩 효율을 높이기 위하여 픽쳐 신호를 그대로 코딩하는 것이 아니라, 예측부(150)를 통해 이미 코딩된 영역을 이용하여 픽쳐를 예측하고, 예측된 픽쳐에 원본 픽쳐와 예측 픽쳐 간의 레지듀얼 값을 더하여 복원 픽쳐를 획득하는 방법이 사용된다. 인코더와 디코더에서 미스매치가 발생되지 않도록 하기 위해, 인코더에서 예측을 수행할 때에는 디코더에서도 사용 가능한 정보를 사용해야 한다. 이를 위해, 인코더에서는 부호화한 현재 블록을 다시 복원하는 과정을 수행한다. 역양자화부(120)에서는 변환 계수 값을 역양자화하고, 역변환부(125)에서는 역양자화된 변환 계수값을 이용하여 레지듀얼 값을 복원한다. 한편, 필터링부(130)는 복원된 픽쳐의 품질 개선 및 부호화 효율 향상을 위한 필터링 연산을 수행한다. 예를 들어, 디블록킹 필터, 샘플 적응적 오프셋(Sample Adaptive Offset, SAO) 및 적응적 루프 필터 등이 포함될 수 있다. 필터링을 거친 픽쳐는 출력되거나 참조 픽쳐로 이용하기 위하여 복호 픽쳐 버퍼(Decoded Picture Buffer, DPB, 156)에 저장된다.
예측부(150)는 인트라 예측부(152)와 인터 예측부(154)를 포함한다. 인트라 예측부(152)는 현재 픽쳐 내에서 인트라(intra) 예측을 수행하며, 인터 예측부(154)는 복호 픽쳐 버퍼(156)에 저장된 참조 픽쳐를 이용하여 현재 픽쳐를 예측하는 인터(inter) 예측을 수행한다. 인트라 예측부(152)는 현재 픽쳐 내의 복원된 샘플들로부터 인트라 예측을 수행하여, 인트라 부호화 정보를 엔트로피 코딩부(160)에 전달한다. 인트라 부호화 정보는 인트라 예측 모드, MPM(Most Probable Mode) 플래그, MPM 인덱스 중 적어도 하나를 포함할 수 있다. 인터 예측부(154)는 모션 추정부(154a) 및 모션 보상부(154b)를 포함하여 구성될 수 있다. 모션 추정부(154a)는 복원된 참조 픽쳐의 특정 영역을 참조하여 현재 영역의 모션 벡터값을 획득한다. 모션 추정부(154a)는 참조 영역에 대한 모션 정보(참조 픽쳐 인덱스, 모션 벡터 정보 등)를 엔트로피 코딩부(160)로 전달한다. 모션 보상부(154b)는 모션 추정부(154a)에서 전달된 모션 벡터값을 이용하여 모션 보상을 수행한다. 인터 예측부(154)는 참조 영역에 대한 모션 정보를 포함하는 인터 부호화 정보를 엔트로피 코딩부(160)에 전달한다.
위와 같은 픽쳐 예측이 수행될 경우, 변환부(110)는 원본 픽쳐와 예측 픽쳐 간의 레지듀얼 값을 변환하여 변환 계수 값을 획득한다. 이때, 변환은 픽쳐 내에서 특정 블록 단위로 수행될 수 있으며, 특정 블록의 크기는 기 설정된 범위 내에서 가변할 수 있다. 양자화부(115)는 변환부(110)에서 생성된 변환 계수 값을 양자화하여 엔트로피 코딩부(160)로 전달한다.
엔트로피 코딩부(160)는 양자화된 변환 계수, 인트라 부호화 정보, 및 인터 부호화 정보 등을 엔트로피 코딩하여 비디오 신호 비트스트림을 생성한다. 엔트로피 코딩부(160)에서는 가변 길이 코딩(Variable Length Coding, VLC) 방식과 산술 코딩(arithmetic coding) 방식 등이 사용될 수 있다. 가변 길이 코딩(VLC) 방식은 입력되는 심볼들을 연속적인 코드워드로 변환하는데, 코드워드의 길이는 가변적일 수 있다. 예를 들어, 자주 발생하는 심볼들을 짧은 코드워드로, 자주 발생하지 않은 심볼들은 긴 코드워드로 표현하는 것이다. 가변 길이 코딩 방식으로서 컨텍스트 기반 적응형 가변 길이 코딩(Context-based Adaptive Variable Length Coding, CAVLC) 방식이 사용될 수 있다. 산술 코딩은 연속적인 데이터 심볼들을 하나의 소수로 변환하는데, 산술 코딩은 각 심볼을 표현하기 위하여 필요한 최적의 소수 비트를 얻을 수 있다. 산술 코딩으로서 컨텍스트 기반 적응형 산술 부호화(Context-based Adaptive Binary Arithmetic Code, CABAC)가 이용될 수 있다.
상기 생성된 비트스트림은 NAL(Network Abstraction Layer) 유닛을 기본 단위로 캡슐화 된다. NAL 유닛은 부호화된 정수 개의 코딩 트리 유닛(coding tree unit)을 포함한다. 비디오 디코더에서 비트스트림을 복호화하기 위해서는 먼저 비트스트림을 NAL 유닛 단위로 분리한 후, 분리 된 각각의 NAL 유닛을 복호화해야 한다. 한편, 비디오 신호 비트스트림의 복호화를 위해 필요한 정보들은 픽쳐 파라미터 세트(Picture Parameter Set, PPS), 시퀀스 파라미터 세트(Sequence Parameter Set, SPS), 비디오 파라미터 세트(Video Parameter Set, VPS) 등과 같은 상위 레벨 세트의 RBSP(Raw Byte Sequence Payload)를 통해 전송될 수 있다.
한편, 도 1의 블록도는 본 발명의 일 실시예에 따른 인코딩 장치(100)를 나타낸 것으로서, 분리하여 표시된 블록들은 인코딩 장치(100)의 엘리먼트들을 논리적으로 구별하여 도시한 것이다. 따라서 전술한 인코딩 장치(100)의 엘리먼트들은 디바이스의 설계에 따라 하나의 칩으로 또는 복수의 칩으로 장착될 수 있다. 일 실시예에 따르면, 전술한 인코딩 장치(100)의 각 엘리먼트의 동작은 프로세서(미도시)에 의해 수행될 수 있다.
도 2는 본 발명의 일 실시예에 따른 비디오 신호 디코딩 장치(200)의 개략적인 블록도이다. 도 2를 참조하면 본 발명의 디코딩 장치(200)는 엔트로피 디코딩부(210), 역양자화부(220), 역변환부(225), 필터링부(230) 및 예측부(250)를 포함한다.
엔트로피 디코딩부(210)는 비디오 신호 비트스트림을 엔트로피 디코딩하여, 각 영역에 대한 변환 계수, 인트라 부호화 정보, 인터 부호화 정보 등을 추출한다. 역양자화부(220)는 엔트로피 디코딩된 변환 계수를 역양자화하고, 역변환부(225)는 역양자화된 변환 계수를 이용하여 레지듀얼 값을 복원한다. 비디오 신호 처리 장치(200)는 역변환부(225)에서 획득된 레지듀얼 값을 예측부(250)에서 획득된 예측값과 합산하여 원래의 화소값을 복원한다.
한편, 필터링부(230)는 픽쳐에 대한 필터링을 수행하여 화질을 향상시킨다. 여기에는 블록 왜곡 현상을 감소시키기 위한 디블록킹 필터 및/또는 픽쳐 전체의 왜곡 제거를 위한 적응적 루프 필터 등이 포함될 수 있다. 필터링을 거친 픽쳐는 출력되거나 다음 픽쳐에 대한 참조 픽쳐로 이용하기 위하여 복호 픽쳐 버퍼(DPB, 256)에 저장된다.
예측부(250)는 인트라 예측부(252) 및 인터 예측부(254)를 포함한다. 예측부(250)는 전술한 엔트로피 디코딩부(210)를 통해 복호화된 부호화 타입, 각 영역에 대한 변환 계수, 인트라/인터 부호화 정보 등을 활용하여 예측 픽쳐를 생성한다. 복호화가 수행되는 현재 블록을 복원하기 위해서, 현재 블록이 포함된 현재 픽쳐 또는 다른 픽쳐들의 복호화된 영역이 이용될 수 있다. 복원에 현재 픽쳐만을 이용하는, 즉 인트라 예측만을 수행하는 픽쳐(또는, 타일/슬라이스)를 인트라 픽쳐 또는 I 픽쳐(또는, 타일/슬라이스), 인트라 예측과 인터 예측을 모두 수행할 수 있는 픽쳐(또는, 타일/슬라이스)를 인터 픽쳐(또는, 타일/슬라이스)라고 한다. 인터 픽쳐(또는, 타일/슬라이스) 중 각 블록의 샘플값들을 예측하기 위하여 최대 하나의 모션 벡터 및 참조 픽쳐 인덱스를 이용하는 픽쳐(또는, 타일/슬라이스)를 예측 픽쳐(predictive picture) 또는 P 픽쳐(또는, 타일/슬라이스)라고 하며, 최대 두 개의 모션 벡터 및 참조 픽쳐 인덱스를 이용하는 픽쳐(또는, 타일/슬라이스)를 쌍예측 픽쳐(Bi-predictive picture) 또는 B 픽쳐(또는, 타일/슬라이스) 라고 한다. 다시 말해서, P 픽쳐(또는, 타일/슬라이스)는 각 블록을 예측하기 위해 최대 하나의 모션 정보 세트를 이용하고, B 픽쳐(또는, 타일/슬라이스)는 각 블록을 예측하기 위해 최대 두 개의 모션 정보 세트를 이용한다. 여기서, 모션 정보 세트는 하나 이상의 모션 벡터와 하나의 참조 픽쳐 인덱스를 포함한다.
인트라 예측부(252)는 인트라 부호화 정보 및 현재 픽쳐 내의 복원된 샘플들을 이용하여 예측 블록을 생성한다. 전술한 바와 같이, 인트라 부호화 정보는 인트라 예측 모드, MPM(Most Probable Mode) 플래그, MPM 인덱스 중 적어도 하나를 포함할 수 있다. 인트라 예측부(252)는 현재 블록의 좌측 및/또는 상측에 위치한 복원된 샘플들을 참조 샘플들로 이용하여 현재 블록의 샘플 값들을 예측한다. 본 개시에서, 복원된 샘플들, 참조 샘플들 및 현재 블록의 샘플들은 픽셀들을 나타낼 수 있다. 또한, 샘플 값(sample value)들은 픽셀 값들을 나타낼 수 있다.
일 실시예에 따르면, 참조 샘플들은 현재 블록의 주변 블록에 포함된 샘플들일 수 있다. 예를 들어, 참조 샘플들은 현재 블록의 좌측 경계에 인접한 샘플들 및/또는 상측 경계에 인접한 샘플들일 수 있다. 또한, 참조 샘플들은 현재 블록의 주변 블록의 샘플들 중 현재 블록의 좌측 경계로부터 기 설정된 거리 이내의 라인 상에 위치하는 샘플들 및/또는 현재 블록의 상측 경계로부터 기 설정된 거리 이내의 라인 상에 위치하는 샘플들일 수 있다. 이때, 현재 블록의 주변 블록은 현재 블록에 인접한 좌측(L) 블록, 상측(A) 블록, 하좌측(Below Left, BL) 블록, 상우측(Above Right, AR) 블록 또는 상좌측(Above Left, AL) 블록 중 적어도 하나를 포함할 수 있다.
인터 예측부(254)는 복호 픽쳐 버퍼(256)에 저장된 참조 픽쳐 및 인터 부호화 정보를 이용하여 예측 블록을 생성한다. 인터 부호화 정보는 참조 블록에 대한 현재 블록의 모션 정보(참조 픽쳐 인덱스, 모션 벡터 정보 등)을 포함할 수 있다. 인터 예측에는 L0 예측, L1 예측 및 쌍예측(Bi-prediction)이 있을 수 있다. L0 예측은 L0 픽쳐 리스트에 포함된 1개의 참조 픽쳐를 이용한 예측이고, L1 예측은 L1 픽쳐 리스트에 포함된 1개의 참조 픽쳐를 이용한 예측을 의미한다. 이를 위해서는 1세트의 모션 정보(예를 들어, 모션 벡터 및 참조 픽쳐 인덱스)가 필요할 수 있다. 쌍예측 방식에서는 최대 2개의 참조 영역을 이용할 수 있는데, 이 2개의 참조 영역은 동일한 참조 픽쳐에 존재할 수도 있고, 서로 다른 픽쳐에 각각 존재할 수도 있다. 즉, 쌍예측 방식에서는 최대 2세트의 모션 정보(예를 들어, 모션 벡터 및 참조 픽쳐 인덱스)가 이용될 수 있는데, 2개의 모션 벡터가 동일한 참조 픽쳐 인덱스에 대응될 수도 있고 서로 다른 참조 픽쳐 인덱스에 대응될 수도 있다. 이때, 참조 픽쳐들은 시간적으로 현재 픽쳐 이전이나 이후 모두에 표시(또는 출력)될 수 있다.
인터 예측부(254)는 모션 벡터 및 참조 픽쳐 인덱스를 이용하여 현재 블록의 참조 블록을 획득할 수 있다. 상기 참조 블록은 참조 픽쳐 인덱스에 대응하는 참조 픽쳐 내에 존재한다. 또한, 모션 벡터에 의해서 특정된 블록의 픽셀값 또는 이의 보간(interpolation)된 값이 현재 블록의 예측값(predictor)으로 이용될 수 있다. 서브펠(sub-pel) 단위의 픽셀 정확도를 갖는 모션 예측을 위하여 이를 테면, 루마 신호에 대하여 8-탭 보간 필터가, 크로마 신호에 대하여 4-탭 보간 필터가 사용될 수 있다. 다만, 서브펠 단위의 모션 예측을 위한 보간 필터는 이에 한정되지 않는다. 이와 같이 인터 예측부(254)는 이전에 복원된 픽쳐로부터 현재 유닛의 텍스쳐를 모션 정보를 이용하여 예측하는 모션 보상(motion compensation)을 수행한다.
상기 인트라 예측부(252) 또는 인터 예측부(254)로부터 출력된 예측값, 및 역변환부(225)로부터 출력된 레지듀얼 값이 더해져서 복원된 비디오 픽쳐가 생성된다. 즉, 비디오 신호 디코딩 장치(200)는 예측부(250)에서 생성된 예측 블록과 역변환부(225)로부터 획득된 레지듀얼을 이용하여 현재 블록을 복원한다.
한편, 도 2의 블록도는 본 발명의 일 실시예에 따른 디코딩 장치(200)를 나타낸 것으로서, 분리하여 표시된 블록들은 디코딩 장치(200)의 엘리먼트들을 논리적으로 구별하여 도시한 것이다. 따라서 전술한 디코딩 장치(200)의 엘리먼트들은 디바이스의 설계에 따라 하나의 칩으로 또는 복수의 칩으로 장착될 수 있다. 일 실시예에 따르면, 전술한 디코딩 장치(200)의 각 엘리먼트의 동작은 프로세서(미도시)에 의해 수행될 수 있다.
도 3은 픽쳐 내에서 코딩 트리 유닛(Coding Tree Unit, CTU)이 코딩 유닛들(Coding Units, CUs)로 분할되는 실시예를 도시한다. 비디오 신호의 코딩 과정에서, 픽쳐는 코딩 트리 유닛(CTU)들의 시퀀스로 분할될 수 있다. 코딩 트리 유닛은 루마(luma) 샘플들의 NXN 블록과, 이에 대응하는 크로마(chroma) 샘플들의 2개의 블록들로 구성된다. 코딩 트리 유닛은 복수의 코딩 유닛들로 분할될 수 있다. 코딩 트리 유닛은 분할되지 않고 리프 노드가 될 수도 있다. 이 경우, 코딩 트리 유닛 자체가 코딩 유닛이 될 수 있다. 코딩 유닛은 상기에서 설명한 비디오 신호의 처리 과정, 즉 인트라/인터 예측, 변환, 양자화 및/또는 엔트로피 코딩 등의 과정에서 픽쳐를 처리하기 위한 기본 단위를 가리킨다. 하나의 픽쳐 내에서 코딩 유닛의 크기 및 모양은 일정하지 않을 수 있다. 코딩 유닛은 정사각형 혹은 직사각형의 모양을 가질 수 있다. 직사각형 코딩 유닛(혹은, 직사각형 블록)은 수직 코딩 유닛(혹은, 수직 블록)과 수평 코딩 유닛(혹은, 수평 블록)을 포함한다. 본 명세서에서, 수직 블록은 높이가 너비보다 큰 블록이며, 수평 블록은 너비가 높이보다 큰 블록이다. 또한, 본 명세서에서 정사각형이 아닌(non-square) 블록은 직사각형 블록을 가리킬 수 있지만, 본 발명은 이에 한정되지 않는다.
도 3을 참조하면, 코딩 트리 유닛은 먼저 쿼드 트리(Quad Tree, QT) 구조로 분할된다. 즉, 쿼드 트리 구조에서 2NX2N 크기를 가지는 하나의 노드는 NXN 크기를 가지는 네 개의 노드들로 분할될 수 있다. 본 명세서에서 쿼드 트리는 4진(quaternary) 트리로도 지칭될 수 있다. 쿼드 트리 분할은 재귀적으로 수행될 수 있으며, 모든 노드들이 동일한 깊이로 분할될 필요는 없다.
한편, 전술한 쿼드 트리의 리프 노드(leaf node)는 멀티-타입 트리(Multi-Type Tree, MTT) 구조로 더욱 분할될 수 있다. 본 발명의 실시예에 따르면, 멀티 타입 트리 구조에서는 하나의 노드가 수평 혹은 수직 분할의 2진(binary, 바이너리) 혹은 3진(ternary, 터너리) 트리 구조로 분할될 수 있다. 즉, 멀티-타입 트리 구조에는 수직 바이너리 분할, 수평 바이너리 분할, 수직 터너리 분할 및 수평 터너리 분할의 4가지 분할 구조가 존재한다. 본 발명의 실시예에 따르면, 상기 각 트리 구조에서 노드의 너비 및 높이는 모두 2의 거듭제곱 값을 가질 수 있다. 예를 들어, 바이너리 트리(Binary Tree, BT) 구조에서, 2NX2N 크기의 노드는 수직 바이너리 분할에 의해 2개의 NX2N 노드들로 분할되고, 수평 바이너리 분할에 의해 2개의 2NXN 노드들로 분할될 수 있다. 또한, 터너리 트리(Ternary Tree, TT) 구조에서, 2NX2N 크기의 노드는 수직 터너리 분할에 의해 (N/2)X2N, NX2N 및 (N/2)X2N의 노드들로 분할되고, 수평 터너리 분할에 의해 2NX(N/2), 2NXN 및 2NX(N/2)의 노드들로 분할될 수 있다. 이러한 멀티-타입 트리 분할은 재귀적으로 수행될 수 있다.
멀티-타입 트리의 리프 노드는 코딩 유닛이 될 수 있다. 코딩 유닛이 최대 변환 길이에 비해 너무 크지 않으면, 해당 코딩 유닛은 더 이상의 분할 없이 예측 및 변환의 단위로 사용된다. 한편, 전술한 쿼드 트리 및 멀티-타입 트리에서 다음의 파라메터들 중 적어도 하나가 사전에 정의되거나 PPS, SPS, VPS 등과 같은 상위 레벨 세트의 RBSP를 통해 전송될 수 있다. 1) CTU 크기: 쿼드 트리의 루트 노드(root node) 크기, 2) 최소 QT 크기(MinQtSize): 허용된 최소 QT 리프 노드 크기, 3) 최대 BT 크기(MaxBtSize): 허용된 최대 BT 루트 노드 크기, 4) 최대 TT 크기(MaxTtSize): 허용된 최대 TT 루트 노드 크기, 5) 최대 MTT 깊이(MaxMttDepth): QT의 리프 노드로부터의 MTT 분할의 최대 허용 깊이, 6) 최소 BT 크기(MinBtSize): 허용된 최소 BT 리프 노드 크기, 7) 최소 TT 크기(MinTtSize): 허용된 최소 TT 리프 노드 크기, 8) 최대 QT 깊이(MaxQtDepth): 허용된 최대 QT 분할 횟수.
도 4는 쿼드 트리 및 멀티-타입 트리의 분할을 시그널링하는 방법의 일 실시예를 도시한다. 전술한 쿼드 트리 및 멀티-타입 트리의 분할을 시그널링하기 위해 기 설정된 플래그들이 사용될 수 있다. 도 4를 참조하면, 쿼드 트리 노드의 분할 여부를 지시하는 플래그 ‘qt_split_flag’, 멀티-타입 트리 노드의 분할 여부를 지시하는 플래그 ‘mtt_split_flag’, 멀티-타입 트리 노드의 분할 방향을 지시하는 플래그 ‘mtt_split_vertical_flag’ 또는 멀티-타입 트리 노드의 분할 모양을 지시하는 플래그 ‘mtt_split_binary_flag’ 중 적어도 하나가 사용될 수 있다.
본 발명의 실시예에 따르면, 코딩 트리 유닛은 쿼드 트리의 루트 노드이며, 쿼드 트리 구조로 우선 분할될 수 있다. 쿼드 트리 구조에서는 각각의 노드 ‘QT_node’ 별로 ‘qt_split_flag’가 시그널링된다. ‘qt_split_flag’의 값이 1일 경우 해당 노드는 4개의 정사각형 노드들로 분할되며, ‘qt_split_flag’의 값이 0일 경우 해당 노드는 쿼드 트리의 리프 노드 ‘QT_leaf_node’가 된다.
각각의 쿼드 트리 리프 노드 ‘QT_leaf_node’는 멀티-타입 트리 구조로 더 분할될 수 있다. 멀티-타입 트리 구조에서는 각각의 노드 ‘MTT_node’ 별로 ‘mtt_split_flag’가 시그널링된다. ‘mtt_split_flag’의 값이 1일 경우 해당 노드는 복수의 직사각형 노드들로 분할되며, ‘mtt_split_flag’의 값이 0일 경우 해당 노드는 멀티-타입 트리의 리프 노드 ‘MTT_leaf_node’가 된다. 멀티-타입 트리 노드 ‘MTT_node’가 복수의 직사각형 노드들로 분할될 경우(즉, ‘mtt_split_flag’의 값이 1일 경우), 노드 ‘MTT_node’를 위한 ‘mtt_split_vertical_flag’ 및 ‘mtt_split_binary_flag’가 추가로 시그널링될 수 있다. ‘mtt_split_vertical_flag’의 값이 1일 경우 노드 ‘MTT_node’의 수직 분할이 지시되며, ‘mtt_split_vertical_flag’의 값이 0일 경우 노드 ‘MTT_node’의 수평 분할이 지시된다. 또한, ‘mtt_split_binary_flag’의 값이 1일 경우 노드 ‘MTT_node’는 2개의 직사각형 노드들로 분할되며, ‘mtt_split_binary_flag’의 값이 0일 경우 노드 ‘MTT_node’는 3개의 직사각형 노드들로 분할된다.
도 5 및 도 6은 본 발명의 실시예에 따른 인트라 예측 방법을 더욱 구체적으로 도시한다. 전술한 바와 같이, 인트라 예측부는 현재 블록의 좌측 및/또는 상측에 위치한 복원된 샘플들을 참조 샘플들로 이용하여 현재 블록의 샘플 값들을 예측한다.
먼저, 도 5는 인트라 예측 모드에서 현재 블록의 예측을 위해 사용되는 참조 샘플들의 일 실시예를 도시한다. 일 실시예에 따르면, 참조 샘플들은 현재 블록의 좌측 경계에 인접한 샘플들 및/또는 상측 경계에 인접한 샘플들일 수 있다. 도 5에 도시된 바와 같이, 현재 블록의 크기가 WXH이고 현재 블록에 인접한 단일 참조 라인(line)의 샘플들이 인트라 예측에 사용될 경우, 현재 블록의 좌측 및/또는 상측에 위치한 최대 2W+2H+1개의 주변 샘플들을 사용하여 참조 샘플들이 설정될 수 있다. 본 발명의 추가적인 실시예에 따르면, 현재 블록의 인트라 예측을 위해 복수의 참조 라인들 상의 샘플들이 사용될 수 있다. 복수의 참조 라인들은 현재 블록의 경계로부터 기 설정된 거리 이내에 위치한 n개의 라인들로 구성될 수 있다. 이 경우, 현재 블록의 인트라 예측을 위해 사용되는 적어도 하나의 참조 라인을 지시하는 별도의 참조 라인 정보가 시그널링될 수 있다. 구체적으로, 참조 라인 정보는 복수의 참조 라인들 중 어느 하나를 지시하는 인덱스를 포함할 수 있다. 또한, 참조 샘플로 사용될 적어도 일부의 샘플이 아직 복원되지 않은 경우, 인트라 예측부는 참조 샘플 패딩 과정을 수행하여 참조 샘플을 획득할 수 있다. 참조 샘플을 패딩하는 방법에 관해서는 도 9 내지 도 18을 통해 구체적으로 설명하도록 한다. 또한, 인트라 예측부는 인트라 예측의 오차를 줄이기 위해 참조 샘플 필터링 과정을 수행할 수 있다. 즉, 주변 샘플들 및/또는 참조 샘플 패딩 과정에 의해 획득된 샘플들에 필터링을 수행하여 참조 샘플들을 획득할 수 있다. 인트라 예측부는 이와 같이 획득된 참조 샘플들을 이용하여 현재 블록의 샘플들을 예측한다. 본 개시에서, 주변 샘플들은 적어도 하나의 참조 라인 상의 샘플들을 포함할 수 있다. 예를 들어, 주변 샘플들은 현재 블록의 경계에 인접한 라인 상의 인접 샘플들을 포함할 수 있다. 다음으로, 도 6은 인트라 예측에 사용되는 예측 모드들의 일 실시예를 도시한다. 인트라 예측을 위해, 인트라 예측 방향을 지시하는 인트라 예측 모드 정보가 시그널링될 수 있다. 인트라 예측 모드 정보는 인트라 예측 모드 세트를 구성하는 복수의 인트라 예측 모드들 중 어느 하나를 지시한다. 현재 블록이 인트라 예측 블록일 경우, 디코더는 비트스트림으로부터 현재 블록의 인트라 예측 모드 정보를 수신한다. 디코더의 인트라 예측부는 추출된 인트라 예측 모드 정보에 기초하여 현재 블록에 대한 인트라 예측을 수행한다.
본 발명의 실시예에 따르면, 인트라 예측 모드 세트는 인트라 예측에 사용되는 모든 인트라 예측 모드들(예, 총 67개의 인트라 예측 모드들)을 포함할 수 있다. 더욱 구체적으로, 인트라 예측 모드 세트는 평면 모드, DC 모드 및 복수의(예, 65개의) 각도 모드들(즉, 방향 모드들)을 포함할 수 있다. 일부 실시예에서, 인트라 예측 모드 세트는 모든 인트라 예측 모드들 중 일부로 구성될 수도 있다. 각각의 인트라 예측 모드는 기 설정된 인덱스(즉, 인트라 예측 모드 인덱스)를 통해 지시될 수 있다. 예를 들어, 도 6에 도시된 바와 같이 인트라 예측 모드 인덱스 0은 평면 모드를 지시하고, 인트라 예측 모드 인덱스 1은 DC 모드를 지시한다. 또한, 인트라 예측 모드 인덱스 2 내지 66은 서로 다른 각도 모드들을 각각 지시할 수 있다. 각도 모드들은 기 설정된 각도 범위 이내의 서로 다른 각도들을 각각 지시한다. 예를 들어, 각도 모드는 시계 방향으로 45도에서 -135도 사이의 각도 범위(즉, 제1 각도 범위) 이내의 각도를 지시할 수 있다. 상기 각도 모드는 12시 방향을 기준으로 정의될 수 있다. 이때, 인트라 예측 모드 인덱스 2는 수평 대각(Horizontal Diagonal, HDIA) 모드를 지시하고, 인트라 예측 모드 인덱스 18은 수평(Horizontal, HOR) 모드를 지시하고, 인트라 예측 모드 인덱스 34는 대각(Diagonal, DIA) 모드를 지시하고, 인트라 예측 모드 인덱스 50은 수직(Vertical, VER) 모드를 지시하며, 인트라 예측 모드 인덱스 66은 수직 대각(Vertical Diagonal, VDIA) 모드를 지시한다.
한편, 기 설정된 각도 범위는 현재 블록의 모양에 따라 서로 다르게 설정될 수 있다. 예를 들어, 현재 블록이 직사각형 블록일 경우 시계 방향으로 45도를 초과하거나 -135도 미만 각도를 지시하는 광각 모드가 추가적으로 사용될 수 있다. 현재 블록이 수평 블록일 경우, 각도 모드는 시계 방향으로 (45+offset1)도에서 (-135+offset1)도 사이의 각도 범위(즉, 제2 각도 범위) 이내의 각도를 지시할 수 있다. 이때, 제1 각도 범위를 벗어나는 각도 모드 67 내지 76이 추가적으로 사용될 수 있다. 또한, 현재 블록이 수직 블록일 경우, 각도 모드는 시계 방향으로 (45-offset2)도에서 (-135-offset2)도 사이의 각도 범위(즉, 제3 각도 범위) 이내의 각도를 지시할 수 있다. 이때, 제1 각도 범위를 벗어나는 각도 모드 -10 내지 -1이 추가적으로 사용될 수 있다. 본 발명의 실시예에 따르면, offset1 및 offset2의 값은 직사각형 블록의 너비와 높이 간의 비율에 따라 서로 다르게 결정될 수 있다. 또한, offset1 및 offset2는 양수일 수 있다.
본 발명의 추가적인 실시예에 따르면, 인트라 예측 모드 세트를 구성하는 복수의 각도 모드들은 기본 각도 모드와 확장 각도 모드를 포함할 수 있다. 이때, 확장 각도 모드는 기본 각도 모드에 기초하여 결정될 수 있다.
일 실시예에 따르면, 기본 각도 모드는 기존 HEVC(High Efficiency Video Coding) 표준의 인트라 예측에서 사용되는 각도에 대응하는 모드이고, 확장 각도 모드는 차세대 비디오 코덱 표준의 인트라 예측에서 새롭게 추가되는 각도에 대응하는 모드일 수 있다. 더욱 구체적으로, 기본 각도 모드는 인트라 예측 모드 {2, 4, 6, …, 66} 중 어느 하나에 대응하는 각도 모드이고, 확장 각도 모드는 인트라 예측 모드 {3, 5, 7, …, 65} 중 어느 하나에 대응하는 각도 모드일 수 있다. 즉, 확장 각도 모드는 제1 각도 범위 내에서 기본 각도 모드들 사이의 각도 모드일 수 있다. 따라서, 확장 각도 모드가 지시하는 각도는 기본 각도 모드가 지시하는 각도에 기초하여 결정될 수 있다.
다른 실시예에 따르면, 기본 각도 모드는 기 설정된 제1 각도 범위 이내의 각도에 대응하는 모드이고, 확장 각도 모드는 상기 제1 각도 범위를 벗어나는 광각 모드일 수 있다. 즉, 기본 각도 모드는 인트라 예측 모드 {2, 3, 4, …, 66} 중 어느 하나에 대응하는 각도 모드이고, 확장 각도 모드는 인트라 예측 모드 {-10, -9, …, -1} 및 {67, 68, …, 76} 중 어느 하나에 대응하는 각도 모드일 수 있다. 확장 각도 모드가 지시하는 각도는 대응하는 기본 각도 모드가 지시하는 각도의 반대편 각도로 결정될 수 있다. 따라서, 확장 각도 모드가 지시하는 각도는 기본 각도 모드가 지시하는 각도에 기초하여 결정될 수 있다. 한편, 확장 각도 모드들의 개수는 이에 한정되지 않으며, 현재 블록의 크기 및/또는 모양에 따라 추가적인 확장 각도들이 정의될 수 있다. 예를 들어, 확장 각도 모드는 인트라 예측 모드 {-14, -13, …, -1} 및 {67, 68, …, 80} 중 어느 하나에 대응하는 각도 모드로 정의될 수도 있다. 한편, 인트라 예측 모드 세트에 포함되는 인트라 예측 모드들의 총 개수는 전술한 기본 각도 모드와 확장 각도 모드의 구성에 따라 가변할 수 있다.
상기 실시예들에서, 확장 각도 모드들 간의 간격은 대응하는 기본 각도 모드들 간의 간격에 기초하여 설정될 수 있다. 예를 들어, 확장 각도 모드들 {3, 5, 7, …, 65} 간의 간격은 대응하는 기본 각도 모드들 {2, 4, 6, …, 66} 간의 간격에 기초하여 결정될 수 있다. 또한, 확장 각도 모드들 {-10, -9, …, -1} 간의 간격은 대응하는 반대편의 기본 각도 모드들 {56, 57, …, 65} 간의 간격에 기초하여 결정되고, 확장 각도 모드들 {67, 68, …, 76} 간의 간격은 대응하는 반대편의 기본 각도 모드들 {3, 4, …, 12} 간의 간격에 기초하여 결정될 수 있다. 확장 각도 모드들 간의 각도 간격은 대응하는 기본 각도 모드들 간의 각도 간격과 동일하도록 설정될 수 있다. 또한, 인트라 예측 모드 세트에서 확장 각도 모드들의 개수는 기본 각도 모드들의 개수 이하로 설정될 수 있다.
본 발명의 실시예에 따르면, 확장 각도 모드는 기본 각도 모드를 기초로 시그널링될 수 있다. 예를 들어, 광각 모드(즉, 확장 각도 모드)는 제1 각도 범위 이내의 적어도 하나의 각도 모드(즉, 기본 각도 모드)를 대체할 수 있다. 대체되는 기본 각도 모드는 광각 모드의 반대편에 대응하는 각도 모드일 수 있다. 즉, 대체되는 기본 각도 모드는 광각 모드가 지시하는 각도의 반대 방향의 각도에 대응하거나 또는 상기 반대 방향의 각도로부터 기 설정된 오프셋 인덱스만큼 차이 나는 각도에 대응하는 각도 모드이다. 본 발명의 실시예에 따르면, 기 설정된 오프셋 인덱스는 1이다. 대체되는 기본 각도 모드에 대응하는 인트라 예측 모드 인덱스는 광각 모드에 다시 매핑되어 해당 광각 모드를 시그널링할 수 있다. 예를 들어, 광각 모드 {-10, -9, …, -1}은 인트라 예측 모드 인덱스 {57, 58, …, 66}에 의해 각각 시그널링될 수 있고, 광각 모드 {67, 68, …, 76}은 인트라 예측 모드 인덱스 {2, 3, …, 11}에 의해 각각 시그널링될 수 있다. 이와 같이 기본 각도 모드를 위한 인트라 예측 모드 인덱스가 확장 각도 모드를 시그널링하도록 함으로, 각 블록의 인트라 예측에 사용되는 각도 모드들의 구성이 서로 다르더라도 동일한 세트의 인트라 예측 모드 인덱스들이 인트라 예측 모드의 시그널링에 사용될 수 있다. 따라서, 인트라 예측 모드 구성의 변화에 따른 시그널링 오버헤드가 최소화할 수 있다.
한편, 확장 각도 모드의 사용 여부는 현재 블록의 모양 및 크기 중 적어도 하나에 기초하여 결정될 수 있다. 일 실시예에 따르면, 현재 블록의 크기가 기 설정된 크기보다 클 경우 확장 각도 모드가 현재 블록의 인트라 예측을 위해 사용되고, 그렇지 않을 경우 기본 각도 모드만 현재 블록의 인트라 예측을 위해 사용될 수 있다. 다른 실시예에 따르면, 현재 블록이 정사각형이 아닌 블록인 경우 확장 각도 모드가 현재 블록의 인트라 예측을 위해 사용되고, 현재 블록이 정사각형 블록인 경우 기본 각도 모드만 현재 블록의 인트라 예측을 위해 사용될 수 있다.
인트라 예측부는 현재 블록의 인트라 예측 모드 정보에 기초하여, 현재 블록의 인트라 예측에 사용될 참조 샘플들 및/또는 보간된 참조 샘플들을 결정한다. 인트라 예측 모드 인덱스가 특정 각도 모드를 지시할 경우, 현재 블록의 현재 샘플로부터 상기 특정 각도에 대응하는 참조 샘플 또는 보간된 참조 샘플이 현재 샘플의 예측에 사용된다. 따라서, 인트라 예측 모드에 따라 서로 다른 세트의 참조 샘플들 및/또는 보간된 참조 샘플들이 인트라 예측에 사용될 수 있다. 참조 샘플들 및 인트라 예측 모드 정보를 이용하여 현재 블록의 인트라 예측이 수행되고 나면, 디코더는 역변환부로부터 획득된 현재 블록의 잔차 신호를 현재 블록의 인트라 예측값과 더하여 현재 블록의 샘플 값들을 복원한다.
한편, 인코더는 선택된 인트라 예측 모드 정보를 디코더에게 시그널링할 수 있다. 디코더는 비트스트림으로부터 현재 블록의 인트라 예측 모드 정보를 추출할 수 있다. 예를 들어, 인트라 예측 모드 세트를 구성하는 인트라 예측 모드의 총 개수를 T(예를 들어, 67)라고 할 때, T개의 모드를 단순히 이진법으로 표현하여 시그널링하는 방법은 각 모드가 선택될 확률 및 해당 블록 및 주변 블록들의 컨텍스트를 고려하지 않기 때문에 비효율적이다. 따라서 전체 모드들 중 현재 블록에 연관된 일부 모드들로 구성된 인트라 예측 모드 세트가 별도로 관리될 수 있다. 시그널링되는 인트라 예측 모드의 범위를 감소시키면, 효율적인 시그널링이 수행될 수 있다. 예를 들어, 전체 모드들 중 현재 블록에 사용되었을 확률이 높은 일부 모드들의 리스트를 별도로 관리하면 효율적인 시그널링이 수행될 수 있다.
도 7은 인코더에 의해 선택된 인트라 예측 모드를 디코더에게 시그널링하는 방법의 일 실시예를 도시한다. 본 발명의 실시예에 따르면, 현재 블록의 인트라 예측을 위해, 전체 인트라 예측 모드들 중 일부 모드들로 구성된 적어도 하나의 예측 모드 리스트가 관리될 수 있다. 인트라 예측을 위한 제1 예측 모드 리스트는 MPM(Most Probable Modes) 리스트이다. MPM 리스트에 포함되는 인트라 예측 모드는 MPM 모드로, 상기 MPM 리스트에 포함되지 않는 인트라 예측 모드는 비-MPM(non-MPM) 모드로 지칭될 수 있다. 인코더는 현재 블록에 사용된 인트라 예측 모드가 MPM 모드인지 또는 비-MPM 모드인지를 구분하는 MPM 플래그를 시그널링한다. 디코더는 현재 블록에 사용된 인트라 예측 모드가 MPM 모드인지 또는 비-MPM 모드인지를 수신된 MPM 플래그를 통해 식별할 수 있다.
일 실시예에 따르면, MPM 모드를 위해 별도의 부호화 방법을 사용함으로 더 적은 비트로 효율적인 시그널링을 수행할 수 있다. MPM 리스트에 포함되는 MPM 모드들의 개수를 m이라 할 때, 비-MPM 모드들의 개수는 T-m이다. MPM 모드들의 개수 m이 비-MPM 모드들의 개수 T-m보다 작을 경우, MPM 모드는 절삭 단항(truncated unary) 이진화로 코딩 되고 비-MPM 모드는 절삭 이항(truncated binary) 이진화로 코딩 될 수 있다.
MPM 모드는 다음과 같이 다양한 컨텍스트를 단계별로 고려하여 구성될 수 있다. 첫째로, MPM 리스트는 현재 블록의 주변 블록들에서 사용된 인트라 예측 모드들 및 평면/DC 모드들로 구성될 수 있다(컨텍스트 M0). 복원이 완료된 주변 블록들 중 인트라 예측 모드로 부호화된 블록이 존재하는 경우, 픽쳐의 지역적 유사성으로 인해 현재 블록은 해당 블록과 동일한 인트라 예측 모드를 사용했을 가능성이 있다. 따라서, MPM 리스트는 주변 블록의 인트라 예측 모드를 포함하여 구성될 수 있다. 일 실시예에 따르면, 현재 블록의 주변 블록은 현재 블록에 인접한 좌측(L) 블록, 상측(A) 블록, 하좌측(BL) 블록, 상우측(AR) 블록 또는 상좌측(AL) 블록 중 적어도 하나를 포함할 수 있다. 예를 들어, 현재 블록의 주변 블록은 현재 블록에 인접한 좌측(L) 블록 및 상측(A) 블록을 포함할 수 있다. 좌측(L) 블록은 현재 블록의 좌측 경계에 인접한 최하단 블록이며, 상측(A) 블록은 현재 블록의 상측 경계에 인접한 최우측 블록이다. MPM 리스트를 구성하기 위한 주변 블록들의 구체적인 실시예는 도 8을 참조하여 설명하도록 한다. 현재 블록의 주변 블록들에서 선택된 인트라 예측 모드, 평면 모드 및 DC 모드가 기 설정된 순서에 따라 MPM 리스트에 추가될 수 있다. 예를 들어, {블록 L의 모드, 블록 A의 모드, 평면 모드, DC 모드, 블록 BL의 모드, 블록 AR의 모드, 블록 AL의 모드}의 순서로 MPM 리스트가 구성될 수 있다.
둘째, 상기 방법으로 MPM 모드 m개를 채우지 못한 경우 추가적인 컨텍스트 조건(예, 컨텍스트 M1, 컨텍스트 M2, …)들을 추가적으로 적용하여 MPM 리스트를 채울 수 있다. 추가적인 컨텍스트 조건을 적용할 때, MPM 리스트에 이미 포함된 인트라 예측 모드는 새로 추가되지 않을 수 있다.
한편, 전체 T개의 인트라 예측 모드들 중 MPM 리스트에 포함되지 않은 나머지 T-m개의 비-MPM 모드들을 절삭 이항 이진화로 코딩 될 수 있다. 절삭 이항 이진화가 사용되는 경우, 2^(k-1) < T-m < 2^(k)라고 가정하면, 초기 2^(k)-(T-m)개의 인덱스들은 k-1개의 비트(혹은 빈)들을 사용하여 시그널링될 수 있으며, 나머지 인덱스들은 k개의 비트(혹은 빈)들을 사용하여 시그널링된다. 따라서 비-MPM 모드들에 대해서도 추가적인 컨텍스트 조건(즉, 컨텍스트 N)을 적용하여, 해당 블록에서 선택될 가능성이 상대적으로 높은 모드들을 k-1개의 비트들로 구성된 인덱스로 시그널링하여 시그널링 오버헤드를 최소화 할 수 있다.
본 발명의 추가적인 실시예에 따르면, 비-MPM 모드들 중 일부 모드들로 구성된 제2 예측 모드 리스트가 관리될 수 있다. 더욱 구체적으로, 비-MPM 모드들은 추가적으로 선택(selected, s) 모드와 비-선택(non-selected, ns) 모드로 구분될 수 있으며, 선택 모드들로 구성된 제2 예측 모드 리스트(즉, 선택 모드 리스트)가 관리될 수 있다. 선택 모드 리스트에 포함되는 인트라 예측 모드는 선택 모드로, 상기 선택 모드 리스트에 포함되지 않는 인트라 예측 모드는 비-선택 모드로 지칭될 수 있다. 인코더는 현재 블록에 사용된 인트라 예측 모드가 선택 모드인지 또는 비-선택 모드인지를 구분하는 선택(selected) 모드 플래그를 시그널링할 수 있다. 디코더는 현재 블록에 사용된 인트라 예측 모드가 선택 모드인지 또는 비-선택 모드인지를 수신된 선택 모드 플래그를 통해 식별할 수 있다.
상기와 같이 비-MPM 모드를 추가적으로 구분하는 경우, 선택 모드는 고정 길이로 코딩 될 수 있다. 이때, 선택 모드들에 추가적인 컨텍스트 조건(예, 컨텍스트 S)을 적용하여, 해당 블록에서 선택될 가능성이 높은 모드들을 우선하여 배치할 수 있다. 이때, s개(이때, s는 2의 거듭제곱 값)의 선택 모드들은 고정 길이로 코딩 되고, 나머지 ns개의 비-선택 모드들은 절삭 이항 이진화로 코딩 될 수 있다. ns개의 비-선택 모드들은 임의의 l-1개의 비트(혹은 빈)들 또는 l개의 비트(혹은 빈)들을 사용하여 시그널링될 수 있다. 이때, 비-선택 모드들에 대해 추가적인 컨텍스트 조건(즉, 컨텍스트 NS)을 적용하여, 해당 블록에서 선택될 가능성이 상대적으로 높은 모드들을 l-1개의 비트들로 구성된 인덱스로 시그널링하여 시그널링 오버헤드를 최소화 할 수 있다.
상기 컨텍스트 조건들의 구체적인 실시예는 이후 도면들을 참조로 설명하도록 한다. 이하의 실시예들에서 추가로 정의되는 컨텍스트 조건들은 상기 컨텍스트 조건들 {M0, M1, M2, N, S, NS}이 적용되는 다양한 구성들에 개별 또는 중복하여 적용될 수 있다. 예를 들어, 기본 각도 모드를 확장 각도 모드보다 우선하여 시그널링하는 컨텍스트 조건이 추가적으로 사용될 수 있다. 또한, MPM 모드의 첫번째 컨텍스트 조건(예, 컨텍스트 M0)을 통해 도출된 주변 블록들의 각도 모드에 기 설정된 오프셋(예, -1, +1)을 더한 각도 모드들을 제2 예측 모드 리스트에 우선 추가하는 컨텍스트 조건이 사용될 수 있다. 이와 같은 컨텍스트 조건은 MPM 모드, 비-MPM 모드, 선택 모드 또는 비-선택 모드들 중 하나 이상에 대한 컨텍스트 조건으로 적용될 수 있다. 한편, 상기와 같은 가변적인 MPM 리스트를 생성하기 위해 검토하는 현재 블록의 주변 블록들은 기본 설정된 위치 이외에 추가적인 위치의 블록들을 포함할 수 있다. 이에 대한 구체적인 실시예는 도 8을 참조로 설명하도록 한다.
도 8은 인트라 예측 모드를 시그널링하는 방법의 상세한 실시예를 도시한다. 도 8(a)는 예측 모드 리스트를 구성하기 위해 참조하는 주변 블록들의 실시예를 도시한다. 도 8(b)는 전술한 인트라 예측 모드를 시그널링하는 방법의 일 실시예를 도시한다. 또한, 도 8(c)는 비-선택 모드들을 절삭 이항 이진화로 시그널링하는 일 실시예를 도시한다.
먼저, 도 8(a)는 MPM 리스트를 구성하기 위해 참조하는 주변 블록들의 상대적인 위치들의 일 실시예를 도시한다. 도 8(a)를 참조하면, 주변 블록들은 현재 블록에 인접한 좌측(L) 블록, 상측(A) 블록, 하좌측(BL) 블록, 상우측(AR) 블록 또는 상좌측(AL) 순서로 참조될 수 있다. 이때, 상기 주변 블록들에서 선택된 인트라 예측 모드, 평면 모드 및 DC 모드가 기 설정된 순서에 따라 MPM 리스트에 추가될 수 있다. 다만, 본 발명의 실시예에서 MPM 리스트를 구성하기 위해 참조하는 주변 블록들은 이에 한정되지 않는다. 예를 들어, 현재 블록의 주변 블록들은 현재 블록에 인접한 좌측(L) 블록 및 상측(A) 블록을 포함할 수 있다. 좌측(L) 블록은 현재 블록의 좌측 경계에 인접한 최하단 블록이며, 상측(A) 블록은 현재 블록의 상측 경계에 인접한 최우측 블록이다.
본 발명의 일 실시예에 따르면, MPM 리스트를 구성하는 순서는 현재 블록의 모양에 따라 달라질 수 있다. 예를 들어, 현재 블록이 정사각형이 아닌 블록인 경우, 현재 블록이 수직 블록인지 또는 수평 블록인지에 따라, 주변 블록들의 참조 순서가 다르게 결정될 수 있다. 예를 들어, 현재 블록이 수직 블록인 경우, 좌측 블록이 상측 블록보다 MPM 리스트에 우선적으로 포함될 수 있다. 현재 블록이 수평 블록인 경우, 상측 블록이 좌측 블록보다 MPM 리스트에 우선적으로 포함될 수 있다. 본 발명의 추가적인 일 실시예에 따르면, MPM 리스트를 구성하는 순서는 현재 블록의 모양과 주변 블록의 모양을 비교하여 결정될 수 있다. 예를 들어, 현재 블록이 수직 블록인 경우, 기 설정된 주변 블록들 중에서 수직 블록에 사용된 인트라 예측 모드가 MPM 리스트에 우선적으로 포함될 수 있다.
본 발명의 다른 실시예에 따르면, MPM 리스트를 구성하는 순서는 현재 블록의 모양과 주변 블록에서 사용된 각도 모드 간의 연관성을 고려하여 결정될 수 있다. 예를 들어, 현재 블록이 수직 블록인 경우, 기 설정된 주변 블록들에서 사용된 각도 모드들 중 수직(VER) 모드 50으로부터 기 설정된 범위에 있거나 대각(DIA) 모드 34와 수직 대각(VDIA) 모드 66 사이에 있는 각도 모드들이 MPM 리스트에 우선적으로 포함될 수 있다. 추가적인 실시예에 따르면, 주변 블록들의 MPM 리스트에 포함된 인트라 예측 모드들이 현재 블록의 MPM 리스트에 포함될 수 있다. 이때, 주변 블록들에 사용된 인트라 예측 모드들로 현재 블록의 MPM 리스트가 채워지지 않을 경우, 상기 주변 블록들의 MPM 리스트에 포함된 인트라 예측 모드들이 현재 블록의 MPM 리스트에 추가될 수 있다.
본 발명의 추가적인 실시예에 따르면, 현재 블록의 크기 및 주변 블록들 각각의 크기에 따라, 추가적인 위치의 블록들의 인트라 예측 모드들이 이용될 수 있다. 예를 들어, 현재 블록의 주변 블록들이 현재 블록의 크기 보다 작은 경우, 현재 블록의 좌측에는 서로 다른 인트라 예측 모드를 가지는 복수의 좌측 블록이 존재할 수 있다. 구체적으로, 도 8(a)에서, 좌측 블록은 현재 블록의 좌측 경계에 인접한 블록들 중 최하단에 위치한 블록을 나타내지만, 현재 블록의 좌측 경계에 인접한 다른 블록을 포함할 수 있다. 이 경우, 다른 블록에 대응하는 인트라 예측 모드를 기초로 MPM 모드 리스트가 구성될 수 있다.
본 발명의 추가적인 실시예에 따르면, 현재 블록의 주변 블록들의 MPM 모드 리스트를 기초로 현재 블록의 MPM 모드 리스트가 구성될 수 있다. 예를 들어, 도 8(a)에서 좌측 블록의 예측을 위해 사용된 인트라 예측 모드 외에, 상기 좌측 블록의 MPM 모드 리스트가 포함하는 추가적인 인트라 예측 모드를 기초로 현재 블록의 MPM 모드 리스트가 구성될 수 있다.
도 8(b)는 전술한 인트라 예측 모드를 시그널링하는 방법의 일 실시예를 도시한다. 전체 T개의 인트라 예측 모드들 중 m개의 모드들은 MPM 모드로 구분되어 절삭 단항 이진화로 시그널링된다. 일 실시예에 따르면, T는 67이고, m은 6일 수 있다. 절삭 단항 이진화에서는 시그널링 인덱스가 증가할 수록 사용되는 비트(혹은 빈)의 개수가 증가하므로, 해당 블록에서 선택될 가능성이 상대적으로 높은 모드들을 낮은 값의 인덱스에 매칭하여 시그널링 효율을 높일 수 있다. 이를 위해, 인코더와 디코더가 동일한 컨텍스트 조건으로 MPM 리스트를 구성하고, 도출된 모드 값들은 상기 컨텍스트 조건을 기초로 재배열하여 시그널링될 수 있다. 예를 들어, 선택된 모드들을 DC/평면 모드와 같은 비-각도 모드, 수직 모드, 평면 각도 모드의 순서로 분류하여 CABAC 기반의 부호화가 수행될 수 있다. 다음으로, 임의의 컨텍스트 조건에 의해 결정된 s개의 선택 모드들은 고정 길이 비트들로 시그널링되고, 나머지 ns개의 비-선택 모드들은 절삭 이항 이진화로 시그널링된다. 일 실시예에 따르면, n은 16이고 ns는 45일 수 있다.
도 8(c)는 비-선택 모드들을 절삭 이항 이진화로 시그널링하는 일 실시예를 도시한다. 상기 실시예에 따르면, 비-선택 모드들의 개수 ns는 45이다. 절삭 이항 이진화가 사용되는 경우, 2^5 < 45 < 2^6 이므로, 초기 2^6-45=19개의 인덱스들은 5개의 비트(혹은 빈)들을 사용하여 시그널링될 수 있으며, 나머지 26개의 인덱스들은 6개의 비트(혹은 빈)들을 사용하여 시그널링된다. 따라서, 비-선택 모드들에 기 설정된 컨텍스트 조건을 적용하여 해당 블록에서 선택될 가능성이 상대적으로 높은 모드들을 5개의 비트(혹은 빈)들로 시그널링되는 낮은 값의 인덱스에 매칭할 수 있다.
한편, 스캔 순서, 블록 파티션, 및 현재 블록의 위치에 따라 인트라 예측을 위한 참조 샘플들 중 적어도 일부의 참조 샘플이 사용 가능하지 않을 수 있다. 픽쳐 내에서 블록들의 복원 순서에 따라, 현재 블록을 예측하는 시점에 아직 복원되지 않은 비-복원 참조 샘플이 하나 이상 존재할 수 있기 때문이다. 또는 현재 블록의 위치로 인해 픽쳐 경계의 바깥 부분을 참조해야 하는 경우, 참조 샘플들 중 적어도 일부가 존재하지 않을 수 있다.
본 개시에서, 참조 샘플이 사용 가능하지 않은 경우는 참조 샘플이 아직 복원되지 않은 경우 및 참조 샘플이 존재하지 않는 경우를 포함한다. 적어도 일부의 참조 샘플이 사용 가능하지 않을 경우, 참조 샘플 패딩(padding)이 수행될 수 있다. 이하에서는, 본 발명의 실시예에 따른 패딩 방법들에 대해 도 9 내지 도 18을 참조하여 설명하도록 한다.
도 9는 현재 블록의 인트라 예측을 위한 참조 샘플들이 일부 사용 가능하지 않은 경우 참조 샘플 패딩 방법을 나타내는 도면이다. 도 5에서 전술한 바와 같이, 참조 샘플 중 적어도 일부가 사용 가능하지 않은 경우, 디코더는 기 설정된 규칙에 따른 참조 샘플 패딩 과정을 수행하여 사용 가능하지 않은 참조 샘플 값을 사용 가능한 참조 샘플 값으로 대체할 수 있다. 일 실시예에 따르면, 사용 가능하지 않은 참조 샘플 값은 사용 가능한 참조 샘플 중에서 사용 가능하지 않은 참조 샘플과 거리 상 가장 가까운 참조 샘플을 기초로 생성될 수 있다. 예를 들어, 사용 가능하지 않은 참조 샘플 값은 사용 가능하지 않은 참조 샘플과 거리상 가장 가까운 참조 샘플 값으로 대체될 수 있다.
도 10은 현재 블록의 인트라 예측을 위한 참조 샘플들이 전부 사용 가능하지 않은 경우 참조 샘플 패딩 방법을 나타내는 도면이다. 예를 들어, 현재 블록이 픽쳐의 좌상측 경계와 인접한 경우, 현재 블록을 위한 참조 샘플들이 전혀 존재하지 않을 수 있다. 이 경우, 대표값을 기초로 참조 샘플 패딩이 수행될 수 있다. 이때, 패딩된 참조 샘플들은 모두 동일한 값을 가질 수 있다. 일 실시예에 따라, 대표값은 현재 블록을 포함하는 시퀀스의 비트 심도를 기초로 설정될 수 있다. 예를 들어, 대표값은 비트 심도를 기초로 표현 가능한 범위의 중간값일 수 있다.
다른 일 실시예에 따라, 대표값은 픽쳐 또는 시퀀스 별로 다르게 설정될 수 있다. 예를 들어, 대표값은 현재 블록을 포함하는 현재 픽쳐, 또는 현재 시퀀스 이전에 복원된 기 복원 픽쳐 또는 시퀀스의 샘플 값들을 기초로 설정될 수 있다. 예를 들어, 대표값은 기 복원 픽쳐, 또는 시퀀스의 샘플 값들의 평균 값, 최빈값 또는 중간값 중 어느 하나일 수 있다. 또한, 대표값은 현재 픽쳐, 또는 현재 시퀀스가 포함하는 샘플 값(들)을 기초로 설정될 수도 있다. 구체적으로, 현재 시퀀스 또는 현재 픽쳐 내에서 현재 블록 이전에 복원된 샘플 값(들)이 존재하는 경우, 대표값은 이전 복원된 샘플 값들의 평균 값, 최빈값, 또는 중간값 중 어느 하나일 수 있다.
한편, 참조 샘플들은 현재 블록의 경계를 기준으로 좌측 경계 주변의 좌측 참조 샘플들과 상측 경계 주변의 상측 참조 샘플들로 구분될 수 있다. 본 발명의 추가적인 실시예에 따르면, 좌측 참조 샘플들과 상측 참조 샘플들에 대해 서로 다른 방법의 참조 샘플 패딩이 수행될 수도 있다. 예를 들어, 좌측 참조 샘플들 및 상측 참조 샘플들 중 어느 한 측에 대해 제1 참조 샘플 패딩 방법이 수행되고, 다른 한 측에 대해 제2 참조 샘플 패딩 방법이 수행될 수 있다. 예를 들어, 제1 참조 샘플 패딩 방법은 도 9를 통해 설명된 참조 샘플 패딩 방법이고, 제2 참조 샘플 패딩 방법은 도 10을 통해 설명된 참조 샘플 패딩 방법일 수 있다. 예를 들어, 좌측 참조 샘플들 및 상측 참조 샘플들 중 어느 한 측에만 사용 가능한 참조 샘플이 존재하는 경우, 사용 가능한 참조 샘플이 존재하지 않는 측에 대해서는 도 10을 통해 설명된 참조 샘플 패딩이 수행될 수 있다.
본 발명의 일 실시예에 따르면 참조 샘플 패딩은 주변 블록이 예측된 방법에 따라 다른 방법으로 수행될 수 있다. 현재 블록의 주변 블록은 현재 블록의 다른 주변 블록이 예측된 방법과 유사한 방법으로 예측될 수 있기 때문이다. 일 실시예에 따라, 주변 블록이 복수의 인트라 예측 모드 중 어느 하나를 기초로 예측된 경우, 주변 블록의 인트라 예측 모드를 기초로 참조 샘플 패딩이 수행될 수 있다. 예를 들어, 복원되지 않은 참조 샘플 값들은 주변 블록의 인트라 예측 모드를 기초로 결정된 위치의 사용 가능한 참조 샘플들을 기초로 결정될 수 있다. 다른 일 실시예에 따라, 주변 블록이 인터 예측된 경우, 인터 예측과 관련된 정보를 기초로 참조 샘플 패딩이 수행될 수 있다. 이에 대해서는 도 16 내지 도 18을 통해 후술하도록 한다. 주변 블록의 예측 방법을 기초로 결정된 참조 샘플 값으로 인해 현재 블록에 대한 예측 성능이 향상될 수 있다.
이하에서는, 주변 블록의 인트라 예측 모드를 기초로 현재 블록의 참조 샘플 패딩이 수행되는 방법에 대해 도 11 내지 도 15를 참조하여 설명한다. 도 11은 주변 블록의 예측 모드가 평면 모드인 경우 참조 샘플 패딩 방법을 나타내는 도면이다. 도 11을 참조하면, 참조 샘플 패딩은 사용 가능한 참조 샘플을 기초로 수행될 수 있다. 또한, 참조 샘플 패딩은 참조 샘플의 위치적 패딩 순서에 따라 패딩될 참조 샘플 이전에 패딩된 참조 샘플을 이용하여 수행될 수 있다. 평면 모드(Planar mode)는 샘플 값에 점진적인 변화가 일어나는 블록을 나타내기에 유리한 인트라 예측 모드일 수 있다. 이에 따라, 현재 블록의 주변 블록 중 적어도 하나가 평면 모드를 사용하여 예측된 경우, 패딩될 참조 샘플을 기준으로 기 설정된 거리에 위치된 사용 가능한 참조 샘플을 기초로 참조 샘플 패딩이 수행될 수 있다. 이 경우, 참조 샘플 패딩 방법은 도 9에서 설명된 방법과 다를 수 있다.
예를 들어, 인코더 및/또는 디코더는 패딩될 참조 샘플을 기준으로 기 설정된 거리에 위치한 참조 샘플을 사용하여 참조 샘플 패딩을 수행할 수 있다. 기 설정된 거리는 샘플 단위의 거리일 수 있다. 구체적으로, 사용 가능하지 않은 참조 샘플 값은 제1 참조 샘플 및 제2 참조 샘플을 기초로 결정될 수 있다. 예를 들어, 제1 참조 샘플은 사용 가능하지 않은 참조 샘플이 속한 제1 라인의 사용 가능한 참조 샘플들 중에서 사용 가능하지 않은 참조 샘플과 가장 가까운 거리에 위치한 참조 샘플일 수 있다. 또한, 제2 참조 샘플은 사용 가능하지 않은 참조 샘플로부터 제1 라인 상의 사용 가능한 참조 샘플 개수만큼 떨어진 거리에 위치한 참조 샘플일 수 있다.
도 11에서와 같이, 사용 가능하지 않은 참조 샘플이 상측 참조 샘플인 경우, 제1 참조 샘플은 사용 가능하지 않은 참조 샘플의 좌측에 인접한 샘플일 수 있다. 이 경우, 제2 참조 샘플은 사용 가능하지 않은 참조 샘플로부터 좌측으로 M 샘플 수만큼 떨어진 샘플일 수 있다. 다른 일 실시예에 따라, 사용 가능하지 않은 참조 샘플이 좌측 참조 샘플인 경우, 제1 참조 샘플은 사용 가능하지 않은 참조 샘플의 상측에 인접한 샘플일 수 있다. 이 경우, 제2 참조 샘플은 사용 가능하지 않은 참조 샘플로부터 상측으로 특정 샘플 수만큼 떨어진 샘플일 수 있다.
도 11을 참조하면, 현재 블록의 상측 참조 샘플들 중 M개의 연속적인 참조 샘플들이 사용 가능할 수 있다. 또한, M개의 참조 샘플들 중 적어도 일부가 포함된 블록은 평면 모드를 사용하여 인트라 예측된 주변 블록일 수 있다. M개의 사용 가능한 참조 샘플들의 위치를 나타내는 인덱스가 각각 0부터 M-1까지 일 때, k번째 참조 샘플은 사용 가능하지 않을 수 있다. 이때, k는 M보다 크거나 동일한 정수일 수 있다. 이때, k번째 참조 샘플 값(p[k])은, k번째 참조 샘플로부터 좌측으로 가장 가까운 거리에 위치한 제1 참조 샘플 값(p[k-1]) 및 k번째 참조 샘플로부터 좌측으로 M만큼 떨어진 제2 참조 샘플 값(p[k-M])을 기초로 결정될 수 있다. 또한, k번째 참조 샘플 값은 제1 참조 샘플 값과 제2 참조 샘플 값 사이의 변화량(p[k-1] - p[k-M])을 기초로 결정될 수 있다. 이때, k 번째 참조 샘플 값이 p[k]은 아래 수학식과 같이 나타낼 수 있다.
[수학식 1]
p[k] = p[k-1] + (p[k-1] - p[k-M])/(M-1)
또는
p[k] = p[k-1] + (p[k-1] - p[k-M])/M
다른 일 실시예를 따르면, 사용 가능하지 않은 참조 샘플 값은 사용 가능한 연속된 참조 샘플들 중에서 양 쪽 끝에 위치한 샘플들의 값을 기초로 결정될 수 있다. 도 14에서, k번째 참조 샘플 값은 사용 가능한 연속된 참조 샘플들 중 가장 좌측에 위치한 제3 참조 샘플 값(p[0]) 및 가장 우측에 위치한 제4 참조 샘플 값(p[M-1])을 기초로 결정될 수 있다. 또한, k번째 참조 샘플 값은 제3 참조 샘플 값 및 제4 참조 샘플 값 사이의 변화량에 기초하여 패딩될 수 있다. 이때, k 번째 샘플 값은 아래 수학식과 같이 나타낼 수 있다.
[수학식 2]
p[k] = p[M-1] + (k-M+1)*(p[M-1] - p[0])/(M-1)
또는
p[k] = p[M-1] + (k-M+1)*(p[M-1] - p[0])/M
수학식 2는 제4 참조 샘플 값 및 변화량를 기초로 k번째 참조 샘플 값이 결정되는 방법을 나타낸다. 수학식 2에서 (k-M+1)/M 또는 (k-M+1)/(M-1)은 사용 가능하지 않은 참조 샘플의 위치에 따라 변화량의 반영 정도를 조절하기 위한 가중치 일 수 있다.
도 12는 주변 블록의 예측 모드가 각도 모드인 경우 참조 샘플 패딩 방법을 나타내는 도면이다. 본 개시의 일 실시예에 따라, 사용 가능하지 않은 참조 샘플 값은 주변 블록의 각도 모드를 기초로 결정될 수 있다. 예를 들어, 사용 가능하지 않은 참조 샘플 값은 사용 가능한 참조 샘플들 중에 주변 블록의 각도 모드에 따라 결정된 참조 샘플을 이용하여 결정될 수 있다. 이때, 제1 그룹에 포함된 참조 샘플들 중 사용 가능하지 않은 참조 샘플들의 값은 제2 그룹에 포함된 참조 샘플들 중 사용 가능한 참조 샘플들을 기초로 결정될 수 있다. 예를 들어, 제1 그룹은 현재 블록의 상측 참조 샘플들로 구성되고, 제2 그룹은 현재 블록의 좌측 참조 샘플들로 구성될 수 있다.
구체적으로, 제1 그룹이 적어도 하나의 사용 가능하지 않은 참조 샘플을 포함하고, 제1 그룹과 오버랩되는 주변 블록의 예측 모드가 제1 각도 모드인 경우, 제1 각도 모드를 기초로 제1 그룹의 참조 샘플 패딩에 사용되는 참조 샘플들이 결정될 수 있다. 제1 각도 모드가 나타내는 예측 방향 또는 그 반대 방향을 기초로 제1 그룹의 참조 샘플 패딩에 사용되는 참조 샘플들이 결정될 수 있다. 이때, 제1 그룹의 참조 샘플 패딩에 사용되는 참조 샘플들은 제2 그룹에 포함되고, 사용 가능한 참조 샘플들일 수 있다.
도 12를 참조하면, 사용 가능하지 않은 참조 샘플들(1201)은 제1 그룹의 샘플들일 수 있다. 제1 그룹의 샘플들 중에서 제1 사용 가능한 참조 샘플들(1202)을 포함하는 주변 블록의 인트라 예측 모드는 수직 대각 모드일 수 있다. 이 경우, 사용 가능하지 않은 참조 샘플들(1201)의 값은 제2 그룹에 포함된 제2 사용 가능한 참조 샘플들(1203)을 기초로 결정될 수 있다. 제2 사용 가능한 참조 샘플들(1203)들 중에서 수직 대각 모드가 나타내는 예측 방향 또는 그 반대 방향에 위치한 참조 샘플들을 기초로 참조 샘플 패딩이 수행될 수 있다. 사용 가능하지 않은 상측 참조 샘플을 기준으로 수평 대각 상에 위치한 참조 샘플은 좌측 참조 샘플들 중 어느 하나일 수 있다.
도 13은 주변 블록의 예측 모드가 각도 모드인 경우 참조 샘플 패딩 방법을 나타내는 도면이다. 도 12에서와 같이, 사용 가능하지 않은 참조 샘플 값이 각도 모드를 기초로 결정되는 경우, 패딩되는 참조 샘플의 위치와 패딩에 사용되는 참조 샘플의 위치 간의 거리가 기 설정된 값 이상일 수 있다. 샘플의 위치 사이의 거리가 멀수록 샘플 값 간의 연관성이 감소할 수 있다.
이에 따라, 본 발명의 일 실시예에 따르면, 주변 블록의 인트라 예측 모드가 각도 모드인 경우, 사용 가능하지 않은 참조 샘플 값은 주변 블록의 인트라 예측 모드가 나타내는 각도 상의 복원된 샘플 중에서 사용 가능하지 않은 참조 샘플과 가장 가까운 샘플을 기초로 결정될 수 있다. 이 경우, 가장 가까운 샘플은 현재 블록의 주변 샘플로 제한되지 않을 수 있다. 도 13을 참조하면, 사용 가능하지 않은 참조 샘플 값은 주변 블록의 인트라 예측 모드에 대응하는 제1 각도를 기초로 결정될 수 있다. 사용 가능하지 않은 참조 샘플 값은 사용 가능하지 않은 참조 샘플의 위치를 기준으로 제1 각도 상에 위치한 복원된 샘플들 중에서 가장 가까운 샘플을 기초로 결정될 수 있다.
도 14는 참조 샘플들의 위치를 기반으로 하는 참조 샘플 패딩 방법을 나타내는 도면이다. 전술한 바와 같이, 참조 샘플들은 좌측 참조 샘플들과 상측 참조 샘플들로 구별될 수 있다. 본 발명의 일 실시예에 따르면, 좌측 참조 샘플들과 상측 참조 샘플들은 각각의 위치를 기초로 서로 매핑될 수 있다. 예를 들어, 좌측 참조 샘플들 각각에 대응하는 상측 참조 샘플이 결정될 수 있다.
본 발명의 일 실시예에 따라, 서로 대응하는 제1 좌측 참조 샘플 및 제1 상측 참조 샘플 중 어느 하나가 사용 가능하지 않은 경우, 사용 가능하지 않은 참조 샘플 값은 사용 가능한 다른 하나의 값을 기초로 결정될 수 있다.
구체적으로, 도 14에서 상측 참조 샘플들 각각의 상대적인 위치를 나타내는 인덱스는 좌측부터 0, ..., N-1, N,..., 2N-1일 수 있다. 또한, 좌측 참조 샘플들 각각의 상대적인 위치를 나타내는 인덱스는 상측부터 0, …, N-1, N, …, 2N-1일 수 있다. 인덱스가 동일한 상측 참조 샘플 및 좌측 참조 샘플이 서로 대응되는 참조 샘플일 수 있다. 예를 들어, 제1 좌측 참조 샘플의 인덱스가 2N-1인 경우, 제1 좌측 참조 샘플에 대응하는 제1 상측 참조 샘플의 인덱스는 2N-1일 수 있다.
도 15는 주변 샘플들을 기초로 참조 샘플 패딩이 수행되는 방법을 나타내는 도면이다. 도 15를 참조하면, 사용 가능하지 않은 참조 샘플의 위치를 기준으로 특정 각도 상에 위치한 샘플은 현재 블록의 크기를 기초로 결정된 참조 샘플의 범위를 벗어나는 위치의 샘플일 수 있다. 예를 들어, 현재 블록의 크기가 WXH인 경우, 참조 샘플의 범위는 현재 블록의 상좌측 샘플, 현재 블록의 상측에 인접한 라인 상의 2W개의 샘플들 및 현재 블록의 좌측에 인접한 라인 상의 2H개의 샘플들일 수 있다. 또한, 참조 샘플의 범위는 현재 블록의 상좌측 샘플, 현재 블록의 상측에 인접한 라인 상의 W+H개의 샘플들 및 현재 블록의 좌측에 인접한 라인 상의 W+H개의 샘플들일 수 있다. 전술한 바와 같이, 코딩 트리 유닛은 직사각형의 모양을 가질 수 있기 때문이다. 이때, 사용 가능하지 않은 참조 샘플 값은 참조 샘플의 범위를 벗어나는 복원된 샘플을 사용하여 결정될 수 있다. 이때, 복원된 샘플들은 현재 블록의 상측 또는 좌측에 인접한 라인에 위치한 샘플들일 수 있다.
이하에서는, 주변 블록이 인터 예측된 경우 기초로 현재 블록의 참조 샘플 패딩이 수행되는 방법에 대해 도 16 내지 도 18을 참조하여 설명한다. 본 발명의 일 실시예를 따르면, 디코더는 현재 블록의 참조 샘플을 다른 픽쳐의 샘플을 기초로 생성할 수 있다.
도 16은 주변 블록이 인터 예측된 경우 참조 샘플 패딩 방법을 나타내는 도면이다. 본 발명의 일 실시예에 따르면, 현재 블록의 주변 블록이 인터 예측된 경우 주변 블록의 인터 예측에 이용된 참조 픽쳐의 샘플(들)을 기초로 참조 샘플 패딩이 수행될 수 있다. 참조 픽쳐에서 현재 블록과 동일한 위치에 해당하는 콜로케이티드(collocated) 블록의 주변 샘플을 기초로 현재 블록의 참조 샘플 패딩이 수행될 수 있다. 본 개시에서, 콜로케이티드 블록은 주변 블록의 인터 예측에 이용된 참조 픽쳐 인덱스를 기초로 결정된 블록을 나타낼 수 있다. 이때, 콜로케이티드 블록의 주변 샘플과 콜로케이티드 블록과의 위치 관계는 사용 가능하지 않은 참조 샘플과 현재 블록의 위치 관계와 동일할 수 있다.
도 16을 참조하면, 현재 블록의 상측 경계에 인접한 참조 샘플들 중 적어도 일부가 사용 가능하지 않은 경우, 콜로케이티드 블록의 상측 경계에 인접한 주변 샘플들을 기초로 참조 샘플 패딩이 수행될 수 있다. 추가적인 실시예에 따라, 참조 픽쳐에 포함된 콜로케이티드 블록의 주변 블록이 예측된 방법(예를 들어, 인트라 예측 모드 또는 인터 예측)을 기초로 참조 샘플 패딩이 수행될 수 있다. 이 경우, 사용 가능하지 않은 참조 샘플 값이 주변 블록의 인트라 예측 모드를 기초로 결정되는 전술한 방법이 동일 또는 상응하는 방법으로 적용될 수 있다.
도 17은 주변 블록이 인터 예측된 경우 참조 샘플 패딩 방법을 나타내는 도면이다. 본 발명의 일 실시예에 따르면, 현재 블록의 주변 블록이 인터 예측된 경우, 주변 블록의 인터 예측에 이용된 참조 픽쳐 인덱스 및 모션 벡터를 기초로 참조 샘플 패딩이 수행될 수 있다. 예를 들어, 주변 블록의 인터 예측에 이용된 참조 픽쳐 및 모션 벡터를 기초로 현재 블록의 간접 참조 블록이 결정될 수 있다. 다음으로, 참조 픽쳐 내에 존재하는 간접 참조 블록의 주변 샘플을 기초로 참조 샘플 패딩이 수행될 수 있다.
구체적으로, 사용 가능하지 않은 제1 참조 샘플 값은, 간접 참조 블록의 주변 샘플들 중 특정 샘플을 기초로 결정될 수 있다. 특정 샘플과 간접 참조 블록 간의 위치 관계는 현재 블록과 제1 참조 샘플 위치 관계와 동일할 수 있다. 도 17을 참조하면, 현재 블록의 상측 경계에 인접한 참조 샘플들 중 적어도 일부가 사용 가능하지 않은 경우, 간접 참조 블록의 상측 경계에 인접한 주변 샘플들을 기초로 참조 샘플 패딩이 수행될 수 있다.
도 18은 주변 블록이 인터 예측된 경우 참조 샘플 패딩 방법을 나타내는 도면이다. 본 발명의 일 실시예에 따르면, 간접 참조 블록의 주변 블록이 예측된 방법을 기초로, 참조 샘플 패딩이 수행될 수 있다. 예를 들어, 간접 참조 블록의 주변 블록이 복수의 인트라 예측 모드 중 어느 하나를 기초로 예측된 경우, 간접 참조 블록의 주변 블록의 인트라 예측 모드를 기초로 참조 샘플 패딩이 수행될 수 있다. 도 18을 참조하면, 간접 참조 블록의 주변 블록의 예측 모드가 제1 인트라 예측 모드인 경우, 현재 블록의 사용 가능하지 않은 참조 샘플들의 값은 제1 인트라 예측 모드를 기초로 결정될 수 있다. 이때, 도 11 내지 도 15를 통해 설명된 방법이 동일 또는 상응하는 방법으로 적용될 수 있다.
전술한 실시예들에서, 참조 샘플 패딩은 현재 블록에 인접한 참조 라인이 포함하는 참조 샘플들을 대상으로 설명하고 있으나 본 개시가 이에 제한되는 것은 아니다. 전술한 바와 같이 본 발명의 일 실시예에 따른 인코더 및 디코더는 현재 블록의 경계로부터 기 설정된 거리 이내의 n개의 참조 라인 상의 샘플들을 현재 블록의 인트라 예측을 위한 참조 샘플로 이용할 수 있다. 예를 들어, 인코더는 n개의 참조 라인 중 현재 블록의 예측에 사용되는 적어도 하나의 참조 라인을 나타내는 참조 라인 정보를 시그널링할 수 있다. 디코더는 비트스트림으로부터 참조 라인 정보를 획득할 수 있다.
이하에서는, 본 발명의 일 실시예에 따라 현재 블록의 인트라 예측에 복수의 참조 라인이 사용 가능한 경우, 참조 라인 각각을 구성하는 주변 샘플들에 대해 도 19를 참조하여 설명하도록 한다. 도 19는 현재 블록의 주변 샘플들로 구성된 복수의 참조 라인들의 일 실시예를 나타내는 도면이다. 여기에서, 현재 블록의 주변 샘플은 현재 블록의 경계 라인으로부터 기 설정된 거리 이내에 위치한 샘플일 수 있다.
도 5를 참조하여 전술한 바와 같이, 현재 블록의 인트라 예측을 위해 복수의 참조 라인들 중 하나 이상의 라인의 샘플들이 사용될 수 있다. 예를 들어, 복수의 참조 라인들은 예측 대상이 되는 특정 블록의 경계로부터 n개의 샘플 수만큼 떨어진 거리에 위치한 라인을 포함할 수 있다. 이때, n은 0 이상의 정수일 수 있다.
도 19를 참조하면, 현재 블록의 경계를 기준으로 제1 참조 라인(Line1), 제2 참조 라인(Line 2) 및 제3 참조 라인(Line 3)이 구성될 수 있다. 구체적으로, 제1 참조 라인은 현재 블록의 경계에 인접한 라인 상에 위치하는 인접 샘플들로 구성될 수 있다. 제2 참조 라인은 현재 블록의 경계를 기준으로 하나의 샘플만큼 이격된 라인 상에 위치하는 샘플들로 구성될 수 있다. 제3 참조 라인은 현재 블록의 경계를 기준으로 두 개의 샘플만큼 이격된 라인 상에 위치하는 샘플들로 구성될 수 있다. 도 19에서는 현재 블록의 상측 경계 주변의 참조 라인을 예로 들어 설명하고 있으나, 본 개시가 이에 제한되는 것은 아니다. 예를 들어 현재 블록의 좌측 경계를 기준으로 구성된 복수의 참조 라인들이 존재할 수 있다.
인트라 예측 모드에서 현재 블록의 예측을 위해 사용되는 참조 샘플들은 현재 블록의 주변 샘플들일 수 있다. 예를 들어, 주변 샘플들은 현재 블록의 경계에 인접한 라인 상의 샘플들을 포함할 수 있다. 주변 샘플들은 현재 블록의 상측 경계에 인접한 샘플들 및 좌측 경계에 인접한 샘플들일 수 있다. 또한, 주변 샘플은 현재 블록의 상좌측(above left)에 위치한 샘플을 포함할 수 있다.
또한, 주변 샘플들은 현재 블록의 경계에 인접하지 않은 샘플들을 포함할 수도 있다. 구체적으로, 주변 샘플들은 현재 블록 내에서 가장 좌측에 위치한 샘플로부터 좌측으로 특정 샘플 수만큼 이격된 라인 상의 샘플들을 포함할 수 있다. 또한, 주변 샘플들은 현재 블록 내에서 가장 상측에 위치한 샘플로부터 상측으로 특정 샘플 수만큼 이격된 라인 상의 샘플들을 포함할 수 있다. 여기에서, 특정 샘플 수는 기 설정된 샘플 수 보다 작거나 동일한 값일 수 있다. 예를 들어, 기 설정된 샘플 수가 2인 경우, 특정 샘플 수는 0 내지 2 중 어느 하나일 수 있다. 또한, 샘플 수는 정수 픽셀(integer pixel)의 개수를 의미할 수 있다.
한편, 현재 블록의 인트라 예측 모드는 현재 블록의 인트라 예측과 관련된 다른 정보를 기반으로 결정될 수 있다. 본 발명의 일 실시예에 따르면, 현재 블록의 인트라 예측에 사용되는 참조 샘플들을 기초로 현재 블록의 인트라 예측 모드가 결정될 수 있다. 인트라 예측 방법은 현재 블록과 주변 블록 사이의 지역적 유사도에 기반하는 예측 방법이기 때문이다.
예를 들어, 인코더 및 디코더는 현재 블록의 참조 샘플들에 기반하여 현재 블록의 인트라 예측 모드를 결정할 수 있다. 본 발명의 일 실시예에 따르면, 인코더는 참조 샘플들을 이용하여 인트라 예측 모드 정보를 묵시적으로 시그널링(implicit signaling)하거나, 전체 모드 중 일부 모드로 구성된 인트라 예측 모드 세트를 생성하여 더 적은 개수의 비트로 인트라 예측 모드 정보를 시그널링할 수 있다. 이를 통해, 인트라 예측 모드 정보에 대한 시그널링이 효율적으로 수행될 수 있다.
본 발명의 일 실시예에 따르면, 현재 블록의 참조 샘플들의 특성에 따라, 현재 블록의 인트라 예측 모드 세트가 구성될 수 있다. 인코더 및 디코더는 현재 블록의 참조 샘플들의 특성에 따라 미리 정의된 규칙으로 인트라 예측 모드 세트를 구성할 수 있다. 이때, 인코더와 디코더가 각각 구성한 인트라 예측 모드 세트는 서로 동일할 수 있다. 또한, 디코더는 구성된 인트라 예측 모드 세트 및 시그널링된 인트라 예측 모드 정보를 기초로 현재 블록의 인트라 예측 모드를 결정할 수 있다. 인트라 예측 모드 정보는 인트라 예측 모드 세트를 구성하는 복수의 모드들 중 어느 하나를 지시하는 서브 인덱스일 수 있다. 이때, 서브 인덱스는 전술한 인트라 예측 모드 인덱스와 구별된 값일 수 있다. 예를 들어, 서브 인덱스는 기 설정된 매핑 규칙에 의해 인트라 예측 모드 세트가 포함하는 모드들 중 어느 하나에 매핑되는 값일 수 있다.
인트라 예측 모드 세트는 전체 모드들 중 일부 모드들로 구성된 것일 있다. 예를 들어, 인트라 예측 모드 세트는 참조 샘플 패딩과 관련된 정보에 따라 미리 정의된 방법으로 구성될 수 있다. 인트라 예측 모드 세트는 참조 샘플들의 위치에 따라 미리 정의된 방법으로 구성될 수 있다. 구체적으로, 참조 샘플들의 위치는 참조 라인일 수 있다.
이하에서는, 본 발명의 일 실시예에 따라, 현재 블록의 인트라 예측 모드가 현재 블록의 참조 샘플과 관련된 정보를 기초로 결정되는 방법에 대해 도 20을 참조하여 설명한다. 도 20은 현재 블록의 인트라 예측 모드가 시그널링되는 방법을 나타내는 도면이다.
도 20을 참조하면, 단계 S2002에서, 현재 블록의 인트라 예측을 위한 복수의 참조 샘플들이 결정될 수 있다. 디코더는 현재 블록의 주변 샘플들을 기초로 현재 블록의 참조 샘플들을 준비할 수 있다. 예를 들어, 참조 샘플들 중 적어도 일부가 사용 가능하지 않은 경우, 디코더는 참조 샘플 패딩을 수행할 수 있다. 또한, 디코더는 참조 라인을 결정할 수 있다. 예를 들어, 인코더는 현재 블록의 예측에 사용되는 참조 라인을 지시하는 참조 라인 정보를 시그널링할 수 있다. 디코더는 비트스트림으로부터 참조 라인 정보를 수신할 수 있다. 디코더는 참조 라인 정보를 기초로 현재 블록의 예측에 사용되는 적어도 하나의 참조 라인을 결정할 수 있다.
다음으로, 참조 샘플들을 기초로 인트라 예측 모드 세트가 결정될 수 있다. 본 발명의 일 실시예에 따르면, 현재 블록의 인트라 예측 모드는 참조 샘플들 중 패딩된 참조 샘플의 존재 여부를 기초로 결정될 수 있다. 단계 S2004를 참조하면, 패딩된 참조 샘플의 존재 여부를 기초로 인트라 예측 모드가 결정될 수 있다. 예를 들어, 참조 샘플 패딩 여부에 따라 서로 다른 인트라 예측 모드 세트가 사용될 수 있다. 여기에서, 서로 다른 인트라 예측 모드 세트들 각각에 포함된 인트라 예측 모드의 구성은 서로 다를 수 있다. 예를 들어, 제1 인트라 예측 모드 세트는 제2 인트라 예측 모드 세트를 구성하는 인트라 예측 모드 중 적어도 일부로 구성될 수 있다. 제1 인트라 예측 모드 세트는 제2 인트라 예측 모드 세트를 구성하는 인트라 예측 모드들을 포함하고, 이외의 인트라 예측 모드들을 더 포함할 수도 있다.
참조 샘플 패딩이 수행되지 않은 경우(단계 S2004), 제1 인트라 예측 모드 세트를 기초로 현재 블록의 인트라 예측 모드가 결정될 수 있다(단계 S2006). 이때, 제1 인트라 예측 모드 세트는 전체 인트라 예측 모드로 구성된 세트일 수 있다. 디코더는 제1 인트라 예측 모드 세트에 기반하여 현재 블록의 인트라 예측 모드를 결정할 수 있다. 인코더는 제1 인트라 예측 모드 세트를 구성하는 모드 중 어느 하나를 나타내는 인트라 예측 모드 정보를 시그널링할 수 있다. 디코더는 비트스트림으로부터 수신된 인트라 예측 모드 정보를 기초로 제1 인트라 예측 모드 세트 중 어느 하나의 인트라 예측 모드를 결정할 수 있다. 또한, 디코더는 결정된 인트라 예측 모드에 기초하여 현재 블록에 대한 인트라 예측을 수행할 수 있다.
패딩된 참조 샘플이 적어도 하나 존재하는 경우(단계 S2004), 제2 인트라 예측 모드 세트를 기초로 현재 블록의 인트라 예측 모드가 결정될 수 있다(단계 S2008). 이때, 제2 인트라 예측 모드 세트는 전체 인트라 예측 모드 중 일부 모드로 구성된 세트일 수 있다. 패딩된 샘플이 존재하는 경우, 패딩된 참조 샘플을 참조하여 현재 블록을 예측하는 각도 모드가 배제된 인트라 예측 모드 세트가 사용될 수 있다. 패딩된 참조 샘플을 기초로 현재 블록을 예측하였을 확률이 복원된 참조 샘플을 기초로 현재 블록을 예측하였을 확률보다 낮을 수 있기 때문이다. 디코더는 제2 인트라 예측 모드 세트에 기반하여 현재 블록의 인트라 예측 모드를 결정할 수 있다. 인코더는 제2 인트라 예측 모드 세트를 구성하는 모드 중 어느 하나를 나타내는 인트라 예측 모드 정보를 시그널링할 수 있다. 디코더는 비트스트림으로부터 수신된 인트라 예측 모드 정보를 기초로 제2 인트라 예측 모드 세트 중 어느 하나의 인트라 예측 모드를 결정할 수 있다. 또한, 디코더는 결정된 인트라 예측 모드에 기초하여 현재 블록에 대한 인트라 예측을 수행할 수 있다.
본 발명의 추가적인 실시예에 따르면, 현재 블록의 인트라 예측 모드는 패딩된 참조 샘플의 위치를 기초로 결정될 수 있다. 예를 들어, 패딩된 참조 샘플의 위치에 따라 서로 다른 인트라 예측 모드 세트가 사용될 수 있다. 전술한 실시예에서, 제1 인트라 예측 모드 및 제2 인트라 예측 모드 중 어느 하나가 선택되는 것을 예로 들고 있으나, 본 개시가 이에 제한되는 것은 아니다. 예를 들어, 참조 샘플들의 특성에 따라 복수의 인트라 예측 모드 세트들이 구성될 수 있다. 또한, 복수의 인트라 예측 모드 세트들 중 어느 하나를 기반으로 현재 블록의 인트라 예측 모드가 결정될 수 있다.
본 발명의 일 실시예에 따르면, 참조 샘플의 위치에 따라 현재 블록의 예측을 위한 인트라 예측 모드 세트가 구성될 수 있다. 참조 샘플들의 위치는 참조 라인일 수 있다. 전술한 바와 같이, 인코더 및 디코더는 현재 블록의 주변 샘플들로 구성된 복수의 참조 라인들 중 어느 하나를 사용하여 현재 블록을 예측할 수 있다. 일 실시예에 따라, 현재 블록의 인트라 예측 모드는 현재 블록의 참조 샘플들을 포함하는 참조 라인을 기초로 결정될 수 있다.
예를 들어, 현재 블록을 위한 인트라 예측 모드 세트는 참조 라인 정보를 기반으로 구성될 수 있다. 참조 라인 정보는 현재 블록의 복수의 참조 라인들 중 현재 블록의 예측에 사용되는 참조 라인을 나타내는 정보일 수 있다. 현재 블록의 복수의 참조 라인들은 현재 블록의 경계에 인접한 라인 상의 주변 샘플들로 구성된 제1 참조 라인을 포함할 수 있다. 현재 블록의 복수의 참조 라인들은 해당 블록의 경계에 인접하지 않은 하나 이상의 제2 참조 라인들을 포함할 수 있다. 또한, 하나 이상의 제2 참조 라인들 각각은 해당 블록의 경계를 기준으로 특정 샘플 수만큼 이격된 라인 상의 주변 샘플들로 구성될 수 있다. 이때, 현재 블록의 경계로부터 이격되는 특정 샘플 수는 참조 라인 별로 상이할 수 있다.
일 실시예에 따라, 현재 블록의 인트라 예측을 위한 참조 라인이 제1 참조 라인인 경우, 제1 인트라 예측 모드 세트를 기반으로 현재 블록의 인트라 예측 모드가 결정될 수 있다. 제1 인트라 예측 모드 세트는 인트라 예측 모드 전체를 포함하는 것일 수 있다. 또한, 현재 블록의 인트라 예측을 위한 참조 라인이 제1 참조 라인이 아닌 경우, 제2 인트라 예측 모드 세트를 기반으로 현재 블록의 인트라 예측 모드가 결정될 수 있다. 일 실시예에 따라, 현재 블록의 인트라 예측을 위해 복수의 참조 라인이 사용될 수 있다. 현재 블록의 인트라 예측을 위한 복수의 참조 라인이 제2 참조 라인을 포함하는 경우, 제2 인트라 예측 모드 세트를 기반으로 현재 블록의 인트라 예측 모드가 결정될 수 있다. 제2 인트라 예측 모드 세트는 제1 인트라 예측 모드를 구성하는 모드들 중 일부로 구성된 것일 수 있다.
구체적으로, 제2 인트라 예측 모드 세트는 n개의 각도 모드들(angular modes)로 구성될 수 있다. 또한, 제1 인트라 예측 모드 세트는 m개의 각도 모드들, 평면 모드 및 DC 모드를 포함할 수 있다. 이때, m은 n보다 클 수 있다. 일 실시예에 따라, m은 인트라 예측에 사용되는 각도 모드들의 총 개수일 수 있다. 또한, 제2 인트라 예측 모드 세트는 제1 인트라 예측 모드 세트를 구성하는 모드 중 일부 모드로 구성될 수 있다. 각도 모드들은 도 6를 통해 전술한 기본 각도 모드와 확장 각도 모드를 포함할 수 있다. 일 실시예에 따라, 제2 인트라 예측 모드 세트는 현재 블록의 주변 블록의 인트라 예측 모드를 기초로 구성될 수 있다.
제2 인트라 예측 모드 세트는 주변 블록들 중 인트라 예측된 블록의 인트라 예측 모드를 포함할 수 있다. 일 실시예에 따라, 주변 블록의 인트라 예측 모드가 각도 모드인 경우, 상기 각도 모드가 제2 인트라 예측 모드 세트에 포함될 수 있다. 또한, 제2 인트라 예측 모드 세트는 기 설정된 개수의 각도 모드들로 구성될 수도 있다. 예를 들어, 제2 인트라 예측 모드 세트는 해당 주변 블록의 각도 모드에 기 설정된 오프셋(예, -1, +1)을 더한 각도 모드들을 포함할 수 있다. 현재 블록의 주변 블록들 중 인트라 예측 모드를 기초로 예측된 블록이 복수인 경우, 제2 인트라 예측 모드 세트는 주변 블록들의 컨텍스트를 고려하여 구성될 수 있다. 예를 들어, 제2 인트라 예측 모드 세트는 도 7을 통해 전술한 MPM 리스트 구성 방식과 동일 또는 상응하는 방법으로 구성될 수 있다. 제2 인트라 예측 모드 세트는 MPM 리스트일 수 있다.
현재 블록의 주변 블록들 중 각도 모드를 기초로 인트라 예측된 블록이 존재하지 않는 경우, 제2 인트라 예측 모드 세트는 기 설정된 각도 모드를 기초로 구성될 수 있다. 예를 들어, 기 설정된 각도 모드는 수평 대각 모드, 수평 모드, 대각 모드, 수직 모드, 수직 대각 모드 중 적어도 하나를 포함할 수 있다. 또한, 제2 인트라 예측 모드 세트는 기 설정된 각도 모드에 기 설정된 오프셋 (예, -1, +1)을 더한 각도 모드들을 포함할 수 있다.
일 실시예에 따라, 인코더는 현재 블록의 복수의 참조 라인들 중 현재 블록의 예측에 사용되는 참조 라인을 나타내는 참조 라인 정보를 시그널링할 수 있다. 디코더는 비트스트림으로부터 참조 라인 정보를 획득할 수 있다. 또한, 인코더와 디코더는 참조 라인 정보를 기초로 미리 정의된 규칙에 따라 인트라 예측 모드 세트를 구성할 수 있다. 이때, 인코더와 디코더가 각각 구성한 인트라 예측 모드 세트는 서로 동일할 수 있다. 디코더는 구성된 인트라 예측 모드 세트를 기반으로 현재 블록을 위한 인트라 예측 모드를 결정할 수 있다.
예를 들어, 인코더는 구성된 인트라 예측 모드 세트 중 어느 하나를 지시하는 인트라 예측 모드 정보를 시그널링할 수 있다. 디코더는 비트스트림을 파싱하여 인트라 예측 모드 정보를 획득할 수 있다. 디코더는 인트라 예측 모드 세트 및 인트라 예측 모드 정보를 기초로 현재 블록의 인트라 예측 모드 인덱스를 결정할 수 있다. 디코더는 결정된 인트라 예측 모드 인덱스를 기초로 현재 블록의 인트라 예측을 수행할 수 있다. 또한, 디코더는 참조 라인 정보에 따른 참조 라인 상의 복수의 참조 샘플들 및 인트라 예측 모드 인덱스를 기초로 현재 블록의 인트라 예측을 수행할 수 있다. 디코더는 참조 라인 정보를 기초로 현재 블록의 예측에 사용되는 참조 라인을 결정할 수 있다. 현재 블록의 인트라 예측에 사용되는 참조 라인 상의 복수의 샘플들 중 적어도 일부가 사용 가능하지 않은 경우, 디코더는 도 9 내지 도 18을 통해 전술한 참조 샘플 패딩을 수행하여 현재 블록의 참조 샘플들을 준비할 수도 있다.
이를 통해, 전체 모드 중 일부 모드들로 구성된 인트라 예측 모드 세트를 구성하는 방법이 참조 라인 정보를 통해 묵시적으로 시그널링될 수 있다. 참조 라인에 따라, 현재 블록의 예측에 사용되었을 확률이 높은 인트라 예측 모드들을 포함하는 인트라 예측 모드 세트가 구성될 수 있다. 참조 라인에 따라 예측 성능이 향상되는 인트라 예측 모드가 서로 다를 수 있기 때문이다. 또한, 전체 모드 개수보다 적은 개수의 모드들로 구성된 인트라 예측 모드 세트들 중 어느 하나를 지시하는 인트라 예측 모드 정보가 시그널링될 수 있다. 이에 따라, 인트라 예측 모드 정보를 위한 효율적인 시그널링이 수행될 수 있다.
단계 S2010에서, 결정된 인트라 예측 모드를 기초로 현재 블록에 대한 예측이 수행될 수 있다. 디코더는 결정된 인트라 예측 모드를 기초로 현재 블록에 대한 인트라 예측을 수행하여 예측 블록을 생성할 수 있다.
도 21은 패딩된 참조 샘플의 위치를 기초로 인트라 예측 모드 정보가 시그널링되는 방법을 나타내는 도면이다. 본 발명의 추가적인 일 실시예에 따르면, 패딩된 참조 샘플의 위치에 따라 추가적인 각도에 대응하는 인트라 예측 모드가 시그널링될 수 있다. 예를 들어, 도 21에서, 현재 블록을 위한 인트라 예측 모드 세트는 인덱스 34 내지 인덱스 66 사이의 모드들로 구성될 수 있다. 이 경우, 인덱스 34보다 작은 인덱스에 대응하는 인트라 예측 모드를 시그널링하기 위해 할당되었던 비트(들)을 이용하여 인덱스 34 내지 인덱스 66에 대응하는 각도들 사이의 추가적인 각도가 시그널링될 수도 있다. 또는 전체 모드 중 일부 모드로 구성된 인트라 예측 모드 세트를 통해 더 적은 개수의 비트로 인트라 예측 모드 정보가 시그널링될 수 있다.
도 21을 참조하면, 현재 블록의 상측 경계에 인접한 주변 샘플들은 복원된 샘플을 포함할 수 있다. 또한, 현재 블록의 좌측 경계에 인접한 주변 샘플들은 전부 패딩된 주변 샘플들로 구성될 수 있다. 이 경우, 상측 주변 샘플들이 인트라 예측에 사용되도록 현재 블록의 인트라 예측 모드가 결정될 수 있다. 예를 들어, 인트라 예측 모드 세트는 인덱스 34 내지 인덱스 66 에 대응하는 인트라 예측 모드들로 구성될 수 있다. 이전에 복원된 참조 샘플들을 이용하여 예측하였을 확률이 패딩된 참조 샘플들을 이용하여 예측하였을 확률보다 높을 수 있기 때문이다.
도 22는 현재 블록의 상대적인 위치를 기초로 인트라 예측 모드가 결정되는 방법을 나타내는 도면이다. 본 발명의 일 실시예에 따르면 현재 블록의 상위 레벨 영역 내에서 현재 블록의 상대적인 위치를 기초로 현재 블록의 인트라 예측 모드가 결정될 수 있다. 여기에서, 현재 블록의 상위 레벨 영역은 현재 블록을 포함하는 슬라이스 또는 타일일 수 있다. 또한, 현재 블록의 상위 레벨 영역은 현재 블록을 포함하는 픽쳐일 수 있다. 또한, 현재 블록의 상위 레벨 영역은 현재 블록을 포함하는 CTU 또는 CTB(coding tree block)일 수 있다.
일 실시예에 따라, 상위 레벨 영역 내에서 현재 블록의 상대적인 위치에 따라 현재 블록을 위한 인트라 예측 모드 세트가 다르게 구성될 수 있다. 현재 블록의 위치에 따라 현재 블록의 주변 샘플이 현재 블록의 예측에 사용 가능하지 않을 수 있기 때문이다. 예를 들어, 픽쳐, 슬라이스, 타일, CTU, 또는 CTB 내에서의 현재 블록의 상대적인 위치에 따라 서로 다른 인트라 예측 모드 세트가 구성될 수 있다. 디코더는 현재 블록의 상대적인 위치에 따라 구성된 인트라 예측 모드 세트를 사용하여 현재 블록의 인트라 예측 모드를 결정할 수 있다.
인코더와 디코더는 상위 레벨 영역 내에서 현재 블록의 상대적인 위치를 기초로 미리 정의된 규칙에 따라 인트라 예측 모드 세트를 구성할 수 있다. 이때, 인코더와 디코더가 각각 구성한 인트라 예측 모드 세트는 서로 동일할 수 있다. 또한, 디코더는 구성된 인트라 예측 모드 세트를 사용하여 현재 블록의 인트라 예측 모드를 결정할 수 있다. 또한, 디코더는 결정된 인트라 예측 모드를 기초로 현재 블록의 예측을 수행할 수 있다.
본 발명의 일 실시예에 따라, 현재 블록의 위치가 기 설정된 위치인 경우, 현재 블록의 인트라 예측 모드는 기 설정된 인트라 예측 모드 세트를 사용하여 결정될 수 있다. 이때, 현재 블록의 위치는 현재 블록이 포함하는 샘플들 중에서 현재 블록의 좌상측 코너 샘플의 상위 레벨 영역에서의 위치를 나타낼 수 있다. 구체적으로, 기 설정된 위치는 현재 블록의 경계가 상위 레벨 영역의 경계와 인접하는 위치일 수 있다. 기 설정된 위치는 스캔 순서, 또는 인코딩/디코딩 순서 중 적어도 하나를 기초로 설정된 위치일 수 있다. 예를 들어, 기 설정된 위치는 병렬 처리 가능한 영역에서 가장 먼저 처리되는 블록의 위치일 수 있다. 기 설정된 위치는 픽쳐(또는, 타일/슬라이스/CTU/CTB)의 상측 경계에 인접한 위치일 수 있다. 또한, 기 설정된 위치는 픽쳐(또는, 타일/슬라이스/CTU/CTB)의 좌측 경계에 인접한 위치일 수 있다. 현재 블록이 픽쳐(또는, 타일/슬라이스/CTU/CTB)의 경계에 인접한 경우 현재 블록 주변에 이전에 복원된 블록이 존재하지 않을 수 있기 때문이다. 기 설정된 인트라 예측 모드 세트는 인트라 예측 모드 전체로 구성된 것일 수 있다.
또한, 현재 블록의 상측 경계가 상위 레벨 영역의 상측 경계와 오버랩되는 경우 사용 가능한 상측 주변 블록이 제한적일 수 있다. 이 경우, 전술한 복수의 참조 라인들 중에서 현재 블록의 경계에 인접하지 않은 참조 라인의 사용이 허용되지 않을 수 있다. 인코더와 디코더는 현재 블록이 상위 레벨 영역의 상측 경계에 인접한 경우 현재 블록에 인접한 참조 라인이 사용되는 것으로 미리 정의할 수 있다. 이에 따라, 현재 블록이 상위 레벨 영역의 상측 경계에 인접한 경우 디코더는 현재 블록에 인접한 참조 라인을 기초로 현재 블록을 예측할 수 있다. 또한, 디코더는 현재 블록에 인접한 참조 라인을 기초로 현재 블록의 인트라 예측 모드 세트를 구성하고, 인트라 예측 모드를 결정할 수 있다. 또한, 디코더는 결정된 인트라 예측 모드를 기초로 현재 블록에 대한 예측을 수행할 수 있다.
본 발명의 일 실시예에 따라, 현재 블록의 위치가 전술한 기 설정된 위치가 아닌 경우, 도 19 내지 도 21을 통해 전술한 방법으로 인트라 예측 모드 세트가 구성될 수 있다. 현재 블록의 위치가 전술한 기 설정된 위치가 아닌 경우, 인코더와 디코더는 전체 모드들 중 일부 모드들로 구성된 인트라 예측 모드 세트를 구성할 수 있다. 또한, 디코더는 구성된 인트라 예측 모드를 기반으로 현재 블록에 대한 인트라 예측을 수행할 수 있다.
본 발명의 다른 일 실시예에 따르면, 현재 블록의 위치가 기 설정된 위치인 경우, 기 설정된 인트라 예측 모드를 사용하여 현재 블록에 대한 예측을 수행할 수 있다. 이 경우, 기 설정된 인트라 예측 모드는 평면 모드 또는 DC 모드 중 적어도 하나를 포함할 수 있다. 또한, 현재 블록의 위치가 기 설정된 위치인 경우, 인코더와 디코더는 일부 각도 모드를 제외한 인트라 예측 모드들로 구성된 인트라 예측 모드 세트를 이용하여 현재 블록에 대한 인트라 예측을 수행할 수 있다. 이때, 일부 각도 모드는 현재 블록의 참조 샘플들 중 사용 가능하지 않은 참조 샘플의 위치에 따라 결정될 수 있다. 예를 들어, 사용 가능하지 않은 참조 샘플로부터 예측되는 예측 방향에 대응하는 각도 모드들일 수 있다. 구체적으로, 현재 블록의 좌측에 위치된 참조 샘플이 사용 가능하지 않은 경우, 인코더 및 디코더는 적어도 인트라 예측 모드 인덱스 2부터 18까지를 제외한 나머지 인트라 예측 모드들로 구성된 인트라 예측 모드 세트를 구성할 수 있다. 현재 블록의 위치에 따라 참조 샘플 패딩이 수행된 경우, 현재 블록의 인트라 예측을 위해 일부 각도 모드가 사용될 확률이 낮아질 수 있기 때문이다.
본 발명의 다른 일 실시예에 따라, 현재 블록의 인트라 예측 모드는 현재 블록의 참조 샘플들 간의 유사도를 기초로 결정될 수 있다. 이 경우, 현재 블록의 인트라 예측 모드는 묵시적으로 시그널링될 수 있다. 인코더 및 디코더는 별도의 시그널링 없이 미리 결정된 규칙을 이용하여 현재 블록의 인트라 예측 모드를 선택할 수 있다. 이러한 인트라 예측 모드 정보 시그널링 방식은 묵시적 시그널링(implicit signaling)으로 지칭될 수 있다. 이하에서는, 도 23 내지 도 25을 통해 현재 블록의 주변 샘플들 간의 유사도를 기초로 현재 블록의 인트라 예측 모드가 결정되는 방법에 대해 구체적으로 설명하도록 한다.
도 23은 주변 샘플들 간의 유사도에 기반하여 현재 블록의 인트라 예측 모드가 결정되는 방법의 일 실시예를 나타내는 도면이다. 본 개시의 일 실시예에 따라, 현재 블록의 인트라 예측 모드는 복수의 주변 샘플들로 구성된 복수의 참조 샘플 서브세트들을 이용하여 결정될 수 있다. 예를 들어, 현재 블록의 인트라 예측 모드는 제1 참조 샘플 서브세트와 제2 참조 샘플 서브세트 사이의 유사도를 기초로 결정될 수 있다. 여기에서, 제1 참조 샘플 서브세트 및 제2 참조 샘플 서브세트 각각에 포함된 주변 샘플 구성은 서로 다를 수 있다.
이하에서는 설명의 편의를 위해 제1 참조 샘플 서브세트 및 제2 참조 샘플 서브세트에 기반하여 인트라 예측 모드를 결정하는 방법에 대해 설명하나, 본 개시가 이에 제한되는 것은 아니다. 예를 들어, 2개 이상의 참조 샘플 서브세트가 구성되고, 이를 기초로 현재 블록의 인트라 예측 모드가 결정될 수 있다.
도 23을 참조하면, 단계 S2302에서, 디코더는 제1 참조 샘플 서브세트 및 제1 참조 샘플 서브세트와 유사한 제2 참조 샘플 서브세트를 결정할 수 있다. 제1 참조 샘플 서브세트와 제2 참조 샘플 서브세트는 서로 다른 위치의 주변 샘플들로 구성될 수 있다. 예를 들어, 제1 참조 샘플 서브세트는 현재 블록의 상측에 위치한 주변 샘플들로 구성된 서브세트일 수 있다. 또한, 제2 참조 샘플 서브세트는 현재 블록의 좌측에 위치한 주변 샘플들로 구성된 서브세트일 수 있다. 제1 참조 샘플 서브세트와 제2 참조 샘플 서브세트는 서로 다른 참조 라인 상의 샘플들로 구성된 서브세트일 수 있다.
제2 참조 샘플 서브세트는 제1 참조 샘플 서브세트와의 유사도를 기준으로 결정될 수 있다. 예를 들어, 제2 참조 샘플 서브세트는 제1 참조 샘플 서브세트와 기 설정된 유사도 이상인 서브세트일 수 있다. 예를 들어, 유사도는 제1 참조 샘플 서브세트와 제2 참조 샘플 서브세트 사이의 상관도(correlation)일 수 있다. 유사도는 참조 샘플 서브세트가 포함하는 주변 샘플들의 값을 기초로 산출될 수 있다.
구체적으로, 유사도는 제1 참조 샘플 서브세트를 구성하는 복수의 주변 샘플들 중 어느 하나인 제1 주변 샘플의 값과, 제2 참조 샘플 서브세트를 구성하는 복수의 주변 샘플들 중 어느 하나인 제2 주변 샘플의 값을 비교하는 방식으로 산출될 수 있다. 또한, 유사도는 복수의 샘플들의 값을 위치 별로 비교하는 방식으로 산출될 수도 있다. 인코더 및 디코더는 제1 참조 샘플 서브세트를 구성하는 복수의 참조 샘플들의 값과 제2 참조 샘플 서브세트를 구성하는 복수의 참조 샘플들의 값을 비교할 수 있다.
일 실시예에 따라, 유사도는 제1 참조 샘플 서브세트와 제2 참조 샘플 서브세트 각각을 구성하는 복수의 주변 샘플들 간의 그래디언트(gradient), 방향 별 변화량 또는 샘플 값 차이 중 적어도 하나를 기초로 산출될 수 있다. 예를 들어, 인코더 및 디코더는 제1 참조 샘플 서브세트를 구성하는 샘플들의 그래디언트 값과 제2 참조 샘플 서브세트를 구성하는 샘플들의 그래디언트 값을 비교하여 유사도를 산출할 수 있다. 인코더 및 디코더는 제1 참조 샘플 서브세트를 구성하는 샘플들 간의 샘플 값 차이와 제2 참조 샘플 서브세트를 구성하는 샘플들 간의 샘플 값 차이를 비교하여 유사도를 산출할 수 있다.
또한, 참조 샘플 서브세트를 구성하는 복수의 주변 샘플들의 그래디언트, 방향 별 변화량 또는 샘플 값 차이 중 적어도 하나를 기초로 에지(edge)를 포함하는 복수의 서브세트를 획득할 수 있다. 제1 참조 샘플 서브세트 및 제2 참조 샘플 서브세트가 에지를 포함하는 경우, 제1 참조 샘플 서브세트 및 제2 참조 샘플 서브세트의 위치 관계를 기초로 현재 블록의 인트라 예측 모드가 결정될 수 있다.
본 발명의 추가적인 일 실시예에 따라, 제1 참조 샘플 서브세트 및 제2 참조 샘플 서브세트는 사용 가능하지 않은 참조 샘플을 제외하고 구성될 수 있다. 참조 샘플 서브세트는 패딩이 수행된 위치의 참조 샘플을 포함하지 않을 수 있다. 패딩된 참조 샘플의 샘플 값은 인접한 샘플들의 값을 기초로 생성된 값이기 때문이다. 또한, 복원되지 않은 참조 샘플들을 이용하여 유사도를 산출하는 경우 오류가 발생할 수 있기 때문이다.
본 발명의 추가적인 실시예에 따르면, 부픽셀을 추가적으로 이용하여 제2 참조 샘플 서브세트가 결정될 수 있다. 예를 들어, 복수의 참조 샘플 서브세트들 간의 유사도는 복수의 참조 샘플 서브세트들 각각의 부픽셀을 이용하여 산출될 수 있다. 이때, 부픽셀은 인접한 정수 샘플들 사이에 위치하는 서브펠 단위의 픽셀일 수 있다. 부픽셀은 정수 샘플을 인터폴레이션하여 획득된 값일 수 있다. 부픽셀은 인트라 예측에 사용되는 선형 필터 또는 DCT 필터 중 적어도 하나를 이용하여 획득될 수 있다. 부픽셀을 이용하는 경우, 더 많은 수의 각도 모드가 묵시적으로 시그널링될 수 있다.
단계 S2304에서, 현재 블록의 인트라 예측 모드가 결정될 수 있다. 예를 들어, 제1 참조 샘플 서브세트와 제2 참조 샘플 서브세트 사이의 위치 관계를 기초로 현재 블록의 인트라 예측 모드가 결정될 수 있다. 이와 관련하여서는 도 24 및 도 25를 통해 설명하도록 한다. 단계 S2305에서, 결정된 인트라 예측 모드에 기반하여 현재 블록에 대한 인트라 예측이 수행될 수 있다. 한편, 본 실시예에서, 유사도를 산출하기 위해 사용되는 샘플과 인트라 예측 과정에서 참조되는 참조 샘플은 서로 다른 샘플일 수 있다. 예를 들어, 도 23 내지 도 25의 실시예에서 참조 샘플 서브세트는 인트라 예측 시 참조되는 것과 무관하게 현재 블록의 주변 샘플들로 구성될 수 있다.
본 발명의 추가적인 실시예에 따르면, 주변 샘플들로 구성된 복수의 참조 샘플 서브세트들을 기초로 현재 블록의 인트라 예측 모드가 결정될 수 있다. 예를 들어, 주변 샘플들의 위치를 기초로 복수의 후보 서브세트들이 구성될 수 있다. 또한, 복수의 후보 서브세트들 간의 유사도 산출을 통해, 유사도가 가장 큰 한 쌍의 서브세트들이 결정될 수 있다.
또한, 본 발명의 추가적인 실시예에 따르면, 현재 블록의 주변 샘플들 간의 변화량이 먼저 결정될 수 있다. 변화량은 현재 블록의 주변 샘플들 간의 그래디언트, 기울기 또는 샘플 값 차이를 기초로 산출될 수 있다. 현재 블록의 주변 샘플들 간의 변화량에 따라, 전술한 방법으로 인트라 예측 모드가 시그널링되는 지 결정될 수 있다. 예를 들어, 기 설정된 변화량 미만인 경우, 현재 블록의 인트라 예측 모드는 전술한 방법으로 시그널링 되지 않을 수 있다. 또한, 기 설정된 변화량 이상인 경우, 인트라 예측 모드는 전술한 방법으로 시그널링될 수 있다. 또는 기 설정된 변화량 미만인 경우에도, 인트라 예측 모드가 전술한 방법으로 시그널링될 수도 있다. 평면 모드 또는 DC 모드의 경우, 주변 샘플들 간의 변화량이 크지 않을 수 있기 때문이다.
도 24는 주변 샘플에 기반하여 현재 블록의 인트라 예측 모드가 결정되는 방법의 일 실시예를 나타내는 도면이다. 도 24를 참조하면, 음영 부분은 제1 참조 샘플 서브세트와 제2 참조 샘플 서브세트가 유사한 영역을 나타낼 수 있다. 예를 들어, 원본 픽쳐 또는 복원된 픽쳐에서 음영 부분에 포함된 샘플 각각의 샘플 값들은 기 설정된 범위 내의 값일 수 있다. 예측 방향이 음영 부분의 모양에 가까울수록 예측 성능이 향상될 수 있다.
도 24에서, 제1 참조 샘플 서브세트는 현재 블록의 상측에 위치한 복수의 주변 샘플들로 구성될 수 있다. 또한, 제2 참조 샘플 서브세트는 현재 블록의 좌측에 위치한 복수의 주변 샘플들로 구성될 수 있다. 제1 참조 샘플 서브세트를 구성하는 주변 샘플들 중 음영 부분에 포함된 주변 샘플들의 값은 제2 참조 샘플 서브세트를 구성하는 주변 샘플들 중 음영 부분에 포함된 주변 샘플들의 값과 유사하게 변화될 수 있다. 이때, 현재 블록의 인트라 예측 모드는 유사도가 높은 샘플들이 연결되는 방향을 기초로 결정될 수 있다.
본 발명의 추가적인 실시예에 따르면, 단계 S2302에서 결정된 제1 참조 샘플 서브세트 및 제2 참조 샘플 서브세트를 기초로, 복수의 인트라 예측 모드가 결정될 수 있다. 예를 들어, 제1 참조 샘플 서브세트 및 제2 참조 샘플 서브세트의 위치를 기초로 결정된 하나의 각도에 대응하는 두 개의 각도 모드가 가능할 수 있다. 두 개의 각도 모드는 각각 제1 각도 모드 및 제1 각도 모드에 대응하는 방향의 반대 방향의 제2 각도 모드일 수 있다. 복수의 각도 모드 중 어느 하나를 나타내는 인트라 예측 모드 정보가 시그널링될 필요가 있다. 또한, 제1 참조 샘플 서브세트 및 제2 참조 샘플 서브세트의 위치를 기초로 결정된 제1 각도 모드 및 제2 각도 모드 중 어느 하나가 전술한 광각 모드에 대응하는 경우, 광각 모드가 아닌 각도 모드를 기초로 현재 블록이 예측될 수 있다.
일 실시예에 따라, 복수의 각도 모드들의 인덱스를 기초로 현재 블록의 인트라 예측 모드가 결정될 수 있다. 예를 들어, 복수의 각도 모드들 중 인덱스가 가장 작은 각도 모드가 현재 블록의 인트라 예측 모드로 사용될 수 있다. 또는 복수의 각도 모드들 중 인덱스가 가장 큰 각도 모드가 현재 블록의 인트라 예측 모드로 사용될 수 있다.
다른 일 실시예에 따라, 현재 블록의 잔차 신호를 기초로 현재 블록의 인트라 예측 모드가 결정될 수 있다. 예를 들어, 현재 블록의 인트라 예측 모드는 현재 블록 내에서 영역 별 잔차 신호를 이용하여 결정될 수 있다. 구체적으로, 현재 블록 내에서 가장 상측 라인에 위치한 샘플들의 제1 잔차 신호 합이 획득될 수 있다. 현재 블록 내에서 가장 좌측 라인에 위치한 샘플들의 제2 잔차 신호 합이 획득될 수 있다. 제1 잔차 신호 합 보다 제2 잔차 신호 합이 더 큰 경우, 상측으로부터 좌측으로 예측되는 예측 각도에 대응하는 인트라 예측 모드가 현재 블록의 예측에 사용될 수 있다. 반대로, 제2 잔차 신호 합 보다 제1 잔차 신호 합이 더 큰 경우, 좌측으로부터 상측으로 예측되는 예측 각도에 대응하는 인트라 예측 모드가 현재 블록의 예측에 사용될 수 있다. 인트라 예측의 경우, 인트라 예측에 사용된 참조 샘플에 가까운 예측된 샘플일 수록 잔차 신호가 적을 수 있기 때문이다.
또 다른 실시예를 따르면, 참조 샘플 서브세트가 포함하는 패딩된 참조 샘플의 개수를 기초로 현재 블록의 인트라 예측 모드가 결정될 수 있다. 예를 들어, 패딩된 참조 샘플의 개수가 더 적은 참조 샘플 서브세트로부터 참조되는 방향의 인트라 예측 모드가 현재 블록의 예측에 사용될 수 있다. 패딩된 참조 샘플은 복원된 참조 샘플에 비해 원본 신호의 특성을 적게 나타낼 수 있기 때문이다. 또한, 패딩된 참조 샘플을 기초로 예측 되었을 확률보다 복원된 참조 샘플을 기초로 예측되었을 확률이 더 높을 수 있기 때문이다.
도 25는 주변 샘플에 기반하여 현재 블록의 인트라 예측 모드가 결정되는 방법의 일 실시예를 나타내는 도면이다. 도 25를 참조하면, 현재 블록의 인트라 예측 모드는 제1 참조 샘플 서브세트 및 제2 참조 샘플 서브세트의 위치를 기초로 결정될 수 있다. 제1 참조 샘플 서브세트 및 제2 참조 샘플 서브세트는 전술한 바와 같이 유사도가 기 설정된 값 이상인 한 쌍의 서브세트일 수 있다.
도 25에서, 제1 참조 샘플 서브세트는 현재 블록의 상좌측에 위치하는 주변 샘플로부터 우측으로 n번째에 위치한 제1 샘플을 포함할 수 있다. 또한, 제1 참조 샘플 서브세트는 제1 샘플로부터 우측으로 연속되는 기 설정된 개수의 샘플들을 포함할 수 있다. 제2 참조 샘플 서브세트는 현재 블록의 상좌측에 위치하는 주변 샘플로부터 하측으로 m번째에 위치한 제2 샘플을 포함할 수 있다. 또한, 제2 참조 샘플 서브세트는 제2 샘플로부터 하측으로 연속되는 기 설정된 개수의 샘플들을 포함할 수 있다.
이때, 현재 블록의 인트라 예측 모드는 n 및 m을 기초로 결정될 수 있다. 구체적으로, 도 25에서 제1 샘플과 제2 샘플을 연결하는 라인과 현재 블록의 좌측 경계에 인접한 라인 사이의 각도(θ)는 arctan(n/m) 일 수 있다. 현재 블록의 인트라 예측 모드는 제1 각도(θ) 또는 제2 각도(θ - a*π) 에 대응하는 예측 모드일 수 있다. 이때, a는 정수이고, π는 원주율일 수 있다.
한편, 인트라 예측 모드 세트가 포함하는 복수의 각도 모드 중 제1 샘플과 제2 샘플을 연결하는 라인과 일치되는 각도 모드가 존재하지 않을 수 있다. 예를 들어, 제1 각도(θ)는 도 6과 같이 기 설정된 각도 모드들에 대응하는 각도와 매핑되지 않을 수 있다. 이 경우, 각도 모드들에 대응하는 각도들 중 제1 각도(θ)와 가장 가까운 각도에 대응하는 각도 모드가 현재 블록의 인트라 예측 모드로 사용될 수 있다.
전술한 바와 같이, 현재 블록의 주변 샘플들 간의 유사도를 기초로 현재 블록의 인트라 예측 모드가 결정될 수 있다. 이에 따라, 인코더 및 디코더는 현재 블록의 인트라 예측 모드에 대한 시그날링 오버헤드를 감소시킬 수 있다. 본 발명의 추가적인 실시예에 따르면, 참조 샘플을 기반으로 현재 블록의 인트라 예측 모드를 결정하는 방법과 인트라 예측 모드 정보를 시그널링하는 기존 방법을 혼용하여 사용하는 경우, 이에 대한 시그널링이 필요할 수 있다.
일 실시예에 따라, 인트라 예측 모드의 결정 방법은 명시적으로(explicit) 시그널링될 수 있다. 예를 들어, 블록 별로 인트라 예측 모드의 결정 방법이 시그널링될 수 있다. 또는 제1 영역 별로 복수의 방법이 사용 가능한지 시그널링되고, 제2 영역 별로 사용된 인트라 예측 모드의 결정 방법이 시그널링될 수 있다. 예를 들어, 제 1 영역은 복수의 제 2 영역들을 포함하는 상위 레벨 영역일 수 있다. 제 1 영역은 픽쳐(또는, 타일/슬라이스)일 수 있고, 제 2 영역은 코딩을 위해 분할된 코딩 유닛 또는 블록일 수 있다.
다른 일 실시예에 따라, 인트라 예측 모드의 결정 방법은 묵시적으로 시그널링될 수 있다. 예를 들어, 인코더 및 디코더는 기 설정된 방법에 기초하여 인트라 예측 모드의 결정 방법을 선택할 수 있다. 구체적으로, 현재 블록의 주변 샘플들 간의 변화량이 기 설정된 값 이상인 경우 전술한 참조 샘플을 기반으로 하는 방법이 사용되고, 기 설정된 값 미만인 경우 기존의 방법이 사용될 수 있다.
이하에서는, 본 발명의 다른 일 실시예에 따라 코딩 트리 유닛이 코딩 유닛들로 분할되는 방법에 대해 설명한다. 도 26은 수직 블록 및 수평 블록이 분할되는 방법의 일 실시예를 나타내는 도면이다. 쿼드 트리의 리프 노드로부터 바이너리 분할에 의해 분할된 바이너리 블록은 수직 블록 및 수평 블록으로 구분될 수 있다. Nx2N 블록 사이즈와 같이 수직변의 길이가 수평변의 길이보다 긴 블록은 수직 블록으로 지칭될 수 있다. 수직 블록은 쿼드 트리의 리프 노드로부터 수직 바이너리 분할에 의해 생성될 수 있다.
수직 블록이 리프 노드인 경우, 수직 블록은 더 이상 추가 분할되지 않을 수 있다. 또는 수직 블록은 특정 조건에 따라 추가적으로 분할될 수 있다. 특정 조건은 멀티-타입 트리와 관련하여 전술한 파라메터를 포함할 수 있다. 수직 블록은 수직 바이너리 분할에 의해 2개의 (N/2)x2N 노드들로 분할될 수 있다. 또는 수직 블록은 수평 바이너리 분할에 의해 2개의 NxN 노드들로 분할될 수 있다. 또는 수직 블록은 바이너리 쿼드트리(Binary Quadtree, BQ) 분할에 의해 4개의 (N/2)xN 노드들로 분할될 수 있다. 또는 수직 블록은 수평 터너리 분할에 의해 2개의 Nx(N/2) 노드와 1개의 NXN의 노드들로 분할될 수 있다. 또는 수직 블록은 수직 터너리 분할에 의해 2개의 (N/4)x2N) 노드와 1개의 (N/2)X2N의 노드들로 분할될 수 있다.
또한, 2NxN 블록 사이즈와 같이 수평 변의 길이가 수직변의 길이보다 긴 블록은 수평 블록으로 지칭될 수 있다. 수평 블록은 쿼드 트리의 리프 노드로부터 수평 바이너리 분할에 의해 생성될 수 있다. 수평 블록이 리프 노드인 경우, 수평 블록은 더 이상 추가 분할되지 않을 수 있다. 또는 수평 블록은 특정 조건에 따라 추가적으로 분할될 수 있다. 특정 조건은 멀티-타입 트리와 관련하여 전술한 파라메터를 포함할 수 있다. 수평 블록은 수직 바이너리 분할에 의해 2개의 NxN 노드들로 분할될 수 있다. 또는 수직 블록은 수평 바이너리 분할에 의해 2개의 2Nx(N/2) 노드들로 분할될 수 있다. 또는 수직 블록은 바이너리 쿼드트리(BQ) 분할에 의해 4개의 Nx(N/2) 노드들로 분할될 수 있다. 또는 수평 블록은 수직 터너리 분할에 의해 2개의 (N/2)xN 노드와 1개의 NxN 노드들로 분할될 수 있다. 또는 수평 블록은 수직 터너리 분할에 의해 2개의 2Nx(N/4) 노드와 1개의 2Nx(N/2) 노드들로 분할될 수 있다.
본 발명의 일 실시예에 따라, 바이너리 쿼드트리 분할은 기 설정된 조건에 따라 수행될 수 있다. 예를 들어, 바이너리 블록이 BQ 분할될 수 있는 지는 각 픽쳐, 슬라이스, 타일, CTU 또는 CU 단위로 결정될 수 있다. 인코더는 픽쳐, 슬라이스, 타일, CTU 또는 CU 단위로 바이너리 블록의 BQ 분할 허용 여부를 시그널링할 수 있다. 바이너리 쿼드트리 분할이 허용되는 경우, 현재 블록에 대한 BQ 분할 시그널링 필드가 시그널링될 수 있다. 다른 일 실시예에 따라, 바이너리 블록이 BQ 분할되는 경우 해당 분할은 더 이상 추가 분할이 없는 최종 분할일 수 있다. 또한, 분할된 블록들은 인코딩 되는 단위를 나타낼 수 있다. 또한, 분할된 블록들은 트랜스폼 되는 단위를 나타낼 수 있다. 즉 예측 등의 수행은 BQ 블록 분할 이전의 블록에서 통합적으로 수행되고, BQ로 분할된 블록에서는 개별 블록별로 변환이 수행되는 단위일 수 있다. 바이너리 블록의 BQ 분할은 바이너리 블록의 한 변의 사이즈가 MinBtSize인 경우로 제한할 수 있다. 바이너리 블록의 변 중 길이가 짧은 변의 사이즈가 MinBtSize인 경우에만, 추가적으로 BQ 블록 분할에 대한 시그널링 필드가 시그널링될 수 있다. 또한, 바이너리 블록의 터너리 분할은 터너리 분할과 관련된 별도의 파라메터를 기초로 결정될 수 있다. 예를 들어, 별도의 파라메터는 전술한 MaxTtSize일 수 있다.
도 27은 쿼드 트리, 바이너리 트리 및 터너리 트리의 분할을 시그널링하는 방법의 일 실시예를 나타내는 도면이다. 도 27(a)는 쿼드 트리의 분할이 시그널링되는 방법의 일 실시예를 나타낸다. QT Split이 분할을 나타내는 경우 해당 노드는 쿼드 트리 노드들로 분할되고, 분할을 나타내지 않는 경우 해당 노드는 리프 노드가 될 수 있다. 이때, 쿼드 트리가 리프 노드로 시그널링된 경우 바이너리 트리 분할 정보가 추가적으로 시그널링 될 수 있다.
도 27(b)는 바이너리 트리의 분할이 시그널링되는 방법의 일 실시예를 나타낸다. BT Split이 분할을 나타내지 않는 경우 해당 노드는 리프 노드가 되고, 분할을 나타내는 경우 수직 분할 또는 수평 분할을 나타내는 시그널링이 추가될 수 있다.
도 27(c)는 본 발명의 다른 일 실시예에 따라 바이너리 트리의 분할이 시그널링되는 방법을 나타낸다. BT Adaptive Split이 1인 경우 해당 노드는 수직 바이너리 분할 또는 수평 바이너리 분할 중 어느 하나에 의해 분할될 수 있다. BT Adaptive Split이 0인 경우 해당 노드는 리프 노드가 되거나, 수직 바이너리 분할 또는 수평 바이너리 분할 중 나머지 하나에 의해 분할될 수 있다. 리프 노드인지 또는 바이너리 분할인지를 지시하는 시그널링이 추가될 수 있다. 인코더는 바이너리 분할 중 한 방향의 바이너리 분할을 우선적으로 시그널링할 수 있다. 이를 통해, 해당 분할이 전체 픽쳐, 슬라이스, 타일 또는 CTU 단위에서 많이 선택되는 경우, 시그널링 오버헤드가 감소될 수 있다.
도 27(c)의 적응적 시그널링 방법은 하기와 같은 방법을 통해 적응적으로 사용되거나 시그널링 될 수 있다. 예를 들어, 적응적 시그널링 방법은 허용된 최대 BT 분할 횟수를 나타내는 최대 BT 깊이(MaxBTDepth)가 기 설정된 값 보다 큰 경우에 사용될 수 있다. 이는 MaxBTDepth가 큰 경우에는 바이너리 트리 분할에 대한 시그널링이 빈번하게 발생되어 적응적 시그널링의 효과가 발생할 수 있기 때문이다. 반면, MaxBTDepth가 작은 경우에는 바이너리 트리 분할에 대한 시그널링의 횟수가 적어서 적응적 시그널링의 효과를 얻기 어렵기 때문이다. 이에 따라, MaxBTDepth가 기 설정된 값 보다 작은 경우에는, 도 27(b)의 시그널링 방법이 사용될 수 있다.
또한, 인코더는 픽쳐(또는, 타일/슬라이스) 단위로 적응적 시그널링 방법과 관련된 정보를 시그널링할 수 있다. 구체적으로, 인코더는 수직 바이너리 분할 및 수평 바이너리 분할 중에서 BT Adaptive Split에 의해 우선적으로 시그널링되는 분할 방향을 시그널링할 수 있다. 또한, BT Adaptive Split에 의해 우선적으로 시그널링되는 분할 방향은 픽쳐(또는, 타일/슬라이스) 단위에서의 컨텍스트를 기초로 변경될 수 있다. 예를 들어, 현재 블록의 이전 블록까지의 수직 바이너리 분할 및 수평 바이너리 분할의 빈도수를 기초로 우선적으로 시그널링되는 분할 방향이 결정될 수 있다.
또한, 모든 블록들이 인트라 예측 모드로 인코딩된 I-슬라이스의 경우 크로마 블록에 대응하는 루마 블록의 분할 구조를 기반으로, 크로마 블록 분할을 위한 적응적인 시그널링이 수행될 수 있다. 크로마 블록에 대응하는 루마 블록은 크로마 블록의 중앙 부위 픽셀의 위치에 해당하는 블록을 기준으로 선택될 수 있다. 또는 크로마 블록 내부의 좌상측, 우상측, 중앙, 좌하측 또는 우하측과 같이 여러 부위의 픽셀에 대응되는 루마 블록이 선택될 수 있다. 크로마 블록에 해당하는 하나 또는 다수의 루마 블록의 분할 구조를 이용하여 크로마 블록의 분할이 시그널링되는 방법을 변경할 수 있다. 예를 들어, 루마 블록이 수직 블록인 경우, 크로마 블록의 분할과 관련하여 수직 바이너리 분할이 우선적으로 시그널링되는 시그널링 방법이 선택될 수 있다.
도 27(d)는 QTBT 결합 블록 분할 구조를 시그널링하는 방법의 일 실시예를 나타낸다. QTBT Split 이 1인 경우 해당 노드는 쿼드 트리 분할되고, 0인 경우 해당 노드는 리프 노드가 되거나 바이너리 트리 분할될 수 있다. 또한, 리프 노드인지 바이너리 트리로 분할되는지를 지시하는 시그널링이 추가될 수 있다. 또한, 바이너리 트리로 분할됨을 나타내는 경우, 수직 바이너리 분할인지 수평 바이너리 분할인지를 지시하는 시그널링이 추가될 수 있다.
도 27(e)는 BQ 분할이 허용되는 경우, 바이너리 트리의 분할이 시그널링되는 방법의 일 실시예를 나타낸다. 도 27(c)에서와 같이 수평 바이너리 분할 및 수직 바이너리 분할 중 어느 하나가 가장 먼저 시그널링될 수 있다. 또한, 수평 바이너리 분할 및 수직 바이너리 분할 중 나머지 하나가 시그널링되고, 리프 노드인지 BQ 분할인지가 시그널링될 수 있다.
도 27(f)는 BQ 분할이 허용되는 경우, 바이너리 트리의 분할이 시그널링되는 방법의 다른 일 실시예를 나타낸다. 바이너리 트리의 분할은 고정 길이 코딩 방법을 통해 시그널링될 수 있다. 리프 노드, 수평 바이너리 분할, 수직 바이너리 분할 및 BQ 분할을 각각 지시하는 시그널링이 수행될 수 있다. 리프 노드, 수평 바이너리 분할, 수직 바이너리 분할 및 BQ 분할 각각의 발생 확률이 유사한 경우 효율적인 시그널링이 수행될 수 있다.
도 27(g)는 BQ 분할이 허용되는 경우, QTBT 결합 블록 분할이 시그널링되는 방법의 일 실시예를 나타낸다. 도 27(g)에서는 현재 트리 구조가 쿼드 트리인지 또는 바이너리 트리 인지와 무관하게 시그널링될 수 있다.
도 28은 터너리 트리의 분할이 시그널링되는 방법의 일 실시예를 나타내는 도면이다. 도 28(a)를 참조하면, BTTT Split이 0인 경우 해당 노드는 리프 노드가 될 수 있다. 또한, BTTT Split이 1인 경우 해당 노드는 바이너리 트리 분할 또는 터너리 트리 분할될 수 있다. 바이너리 트리 분할인지 또는 터너리 트리 분할인지를 지시하는 비트 및 각각의 경우에 수평 분할인지 수직 분할인지를 지시하는 비트가 추가적으로 시그널링될 수 있다.
도 28(b)를 참조하면, 분할 방향이 분할 모양 보다 우선적으로 시그널링될 수 있다. 수평 분할 또는 수직 분할 여부가 바이너리 트리 또는 터너리 트리 여부에 비해 우선적으로 시그널링될 수 있다. BTTT Split가 0인 경우 해당 노드는 리프 노드가 되고, 1인 경우 해당 노드는 수평 분할 또는 수직 분할 중 어느 하나로 분할될 수 있다. 이때, 수평 분할 또는 수직 분할을 시그널링하는 비트 및 바이너리 트리 또는 터너리 트리를 시그널링하는 비트가 추가적으로 시그널링될 수 있다.
한편, 터너리 트리 분할의 허용여부는 픽쳐, 슬라이스, 타일 또는 CTU 단위로 결정될 수 있다. 예를 들어, 픽쳐, 슬라이스, 타일 또는 CTU 단위로 기 설정된 조건이 성립되는 경우 터너리 트리 분할이 허용될 수 있다. 또는 인코더는 픽쳐, 슬라이스, 타일 또는 CTU 단위로 터너리 트리 분할의 허용 여부를 시그널링할 수 있다. 터너리 트리 분할이 허용되지 않는 경우, 도 28(b)의 시그널링 방법은 도 28(a)의 시그널링 방법에 비해 시그널링 오버헤드를 1비트 감소시킬 수 있다. 도 28(b)의 시그널링 방법은 터너리 트리 분할이 허용되지 않는 경우 최대 2비트로 바이너리 트리 분할을 시그널링할 수 있다.
도 28(c)을 참조하면, 바이너리 트리 구조에 따라 해당 노드는 리프 노드가 되거나, 수직 바이너리 분할, 수평 바이너리 분할, 수직 터너리 분할 또는 수평 터너리 분할에 의해 복수의 노드들로 분할될 수 있다. 일 실시예에 따라, 인코더는 수직 바이너리 분할 또는 수평 바이너리 분할 중 어느 하나를 우선적으로 시그널링하고, 이후 나머지 분할 구조를 시그널링 할 수 있다. 이 경우에도 도 27(c)를 통해 설명한 적응적인 시그널링 방법이 동일 또는 상응하는 방식으로 적용될 수 있다.
도 29는 본 발명의 일 실시예에 따라 수직 블록이 분할되는 구조를 구체적으로 나타내는 도면이다. 도 29(a)를 참조하면, 2Nx2N 사이즈의 블록은 수직 바이너리 분할에 의해 Nx2N 사이즈의 제1 좌측 수직 블록(LVB)과 제1 우측 수직 블록(RVB)으로 분할될 수 있다. 이 경우, 제1 좌측 수직 블록의 분할 구조에 따라 제1우측 수직 블록의 분할 구조가 제한될 수 있다. 예를 들어, 제1 좌측 수직 블록이 수평 바이너리 분할되는 경우, 제1 우측 수직 블록은 수평 바이너리 분할이 허용되지 않을 수 있다. 제1 좌측 수직 블록 및 제1 우측 수직 블록이 수평 바이너리 분할되는 경우, 2Nx2N 사이즈의 블록이 쿼드 트리 구조로 분할되는 것과 동일하기 때문이다. 또한, 이는 2Nx2N 블록에서 쿼드 트리 분할로 시그널링 하는 것이 가능하기 때문이다. 이에 따라, 제1 좌측 수직 블록에 대한 수평 바이너리 분할이 시그널링되는 경우, 제1 우측 수직 블록의 분할에 대해서는 수평 바이너리 분할되는 경우를 제외하고 시그널링될 수 있다.
도 29(b)를 참조하면, Nx2N의 수직 블록은 수직 바이너리 분할되어 (N/2)x2N 사이즈의 제2 좌측 수직 블록과 제2 우측 수직 블록으로 분할될 수 있다. 이 경우, 제2 좌측 수직 블록의 분할 구조에 따라 제2 우측 수직 블록의 분할 구조가 제한될 수 있다. 예를 들어, 제2 좌측 수직 블록이 수평 바이너리 분할되는 경우, 제2 우측 수직 블록은 수평 바이너리 분할이 허용되지 않을 수 있다. 제2 좌측 수직 블록 및 제2 우측 수직 블록이 수평 바이너리 분할되는 경우, Nx2N 사이즈의 블록으로부터 바이너리 쿼드 분할되는 것과 동일하기 때문이다. 또한, 이는 Nx2N 노드에서 BQ 분할로 시그널링 하는 것이 가능하기 때문이다. 이에 따라, 제2 좌측 수직 블록에 대한 수평 바이너리 분할이 시그널링되는 경우, 제2 우측 수직 블록의 분할 대해서는 수평 바이너리 분할되는 경우를 제외하고 시그널링될 수 있다.
도 30은 본 발명의 일 실시예에 따라 수평 블록이 분할되는 구조를 구체적으로 나타내는 도면이다. 도 30(a)를 참조하면, 2Nx2N 사이즈의 블록은 수평 바이너리 분할에 의해 2NxN 사이즈의 제1 상측 수평 블록(UHB)과 제1 하측 수평 블록(LHB)으로 분할될 수 있다. 이 경우, 제1 상측 수평 블록의 분할 구조에 따라 제1하측 수평 블록의 분할 구조가 제한될 수 있다. 예를 들어, 제1 상측 수평 블록이 수직 바이너리 분할되는 경우, 제1 하측 수평 블록은 수평 바이너리 분할이 허용되지 않을 수 있다. 제1 상측 수평 블록 및 제1 하측 수평 블록이 수직 바이너리 분할되는 경우, 2Nx2N 사이즈의 블록이 쿼드 트리 구조로 분할되는 것과 동일하기 때문이다. 또한, 이는 2Nx2N 블록에서 쿼드 트리 분할로 시그널링 하는 것이 가능하기 때문이다. 이에 따라, 제1 상측 수평 블록에 대한 수직 바이너리 분할이 시그널링되는 경우, 제1 하측 수평 블록의 분할 대해서는 수직 바이너리 분할되는 경우를 제외하고 시그널링될 수 있다.
도 30(b)를 참조하면, 2NxN의 수평 블록은 수평 바이너리 분할되어 2Nx(N/2) 사이즈의 제2 상측 수평 블록과 제2 하측 수평 블록으로 분할될 수 있다. 이 경우, 제2 상측 수평 블록의 분할 구조에 따라 제2 하측 수평 블록의 분할 구조가 제한될 수 있다. 예를 들어, 제2 상측 수평 블록이 수직 바이너리 분할되는 경우, 제2 하측 수평 블록은 수직 바이너리 분할이 허용되지 않을 수 있다. 제2 상측 수평 블록 및 제2 하측 수평 블록이 수평 바이너리 분할되는 경우, 2NxN 사이즈의 블록으로부터 바이너리 쿼드 분할되는 것과 동일하기 때문이다. 또한, 이는 2NxN 노드에서 BQ 분할로 시그널링 하는 것이 가능하기 때문이다. 이에 따라, 제2 상측 수평 블록에 대한 수직 바이너리 분할이 시그널링되는 경우, 제2 하측 수평 블록의 분할 대해서는 수직 바이너리 분할되는 경우를 제외하고 시그널링될 수 있다.
도 29 및 도 30을 통해 전술한 바와 같이, 본 발명의 일 실시예에 따르면, 현재 블록의 분할 시그널링의 종류는 주변 블록의 분할 정보를 기초로 제한될 수 있다. 이를 통해, 코딩 트리 유닛 또는 코딩 유닛의 분할 정보가 효율적으로 시그널링될 수 있다.
도 31은 블록의 스캔 순서를 정하는 방법의 일 실시예를 나타내는 도면이다. 도 31(a)는 2Nx2N 사이즈의 노드로부터 분할된 복수의 노드들을 스캔하는 순서의 실시예들을 도시한다. 여기에서, 2Nx2N 사이즈의 노드는 CTU를 포함할 수 있다. 인코더와 디코더는 미리 정의된 규칙에 따라 서로 동일한 스캔 순서를 사용할 수 있다. 예를 들어, 해당 노드가 쿼드 트리 분할에 의해 4개의 노드들로 분할된 경우((a)(1)), 도 31(a)에서와 같이 제트 스캔 순서에 따라 4개의 블록들의 인코딩 및 디코딩이 수행될 수 있다.
해당 노드는 바이너리 분할 또는 터너리 분할에 의해 복수의 블록들로 분할될 수 있다. 도 31(a)에 도시된 바와 같이, 해당 노드가 수직 방향으로 분할된 경우((a)(2), (4)) 복수의 블록들은 좌측으로부터 우측으로(수평 방향) 순차적으로 인코딩 및 디코딩될 수 있다. 또한, 해당 노드가 수평 방향으로 분할된 경우((a)(3), (5)), 복수의 노드들은 상측으로부터 하측으로 수직 방향) 순차적으로 인코딩 및 디코딩될 수 있다.
도 31(b)는 수직 블록으로부터 분할된 복수의 블록들을 스캔하는 순서의 실시예들을 도시한다. 도 31(b)의 (3)과 같이, 수직 블록이 BQ 분할에 의해 분할된 경우, 제트 스캔 순서에 따라 4개의 블록들의 인코딩 및 디코딩이 수행될 수 있다. 수직 블록이 수직 방향으로 분할된 경우((b)(1)) 복수의 블록들은 좌측으로부터 우측으로(수평 방향) 순차적으로 인코딩 및 디코딩될 수 있다. 또한, 수직 블록이 수평 방향으로 분할된 경우((b)(2), (4)), 복수의 노드들은 상측으로부터 하측으로 수직 방향) 순차적으로 인코딩 및 디코딩될 수 있다.
도 31(c)는 수평 블록으로부터 분할된 복수의 블록들을 스캔하는 순서의 실시예들을 도시한다. 도 31(c)의 (3)과 같이, 수직 블록이 BQ 분할에 의해 분할된 경우, 제트 스캔 순서에 따라 4개의 블록들의 인코딩 및 디코딩이 수행될 수 있다. 수평 블록이 수직 방향으로 분할된 경우((c)(1), (4)) 복수의 블록들은 좌측으로부터 우측으로(수평 방향) 순차적으로 인코딩 및 디코딩될 수 있다. 또한, 수평 블록이 수평 방향으로 분할된 경우((c)(2)), 복수의 노드들은 상측으로부터 하측으로 수직 방향) 순차적으로 인코딩 및 디코딩될 수 있다.
도 31(d)는 다양한 방법으로 분할된 블록들을 스캔하는 스캔 순서의 실시예들을 나타내는 도면이다. 도 31(d)의 (1)을 참조하면, 2Nx2N 사이즈의 블록이 2개의 수직블록으로 분할되고, 수직 블록 각각이 수평 바이너리 분할 및 수평 터너리 분할에 의해 분할될 수 있다. 일 실시예에 따라, 인코더 및 디코더는 좌측으로부터 우측 순서로 수직 블록을 스캔하되, 수직 블록 내에서는 상측으로부터 하측 순서로 스캔하는 스캔 순서를 사용할 수 있다. 이에 따라, 인코더 및 디코더는 좌측 수직 블록의 상측 노드, 좌측 수직 블록의 하측 노드, 우측 수직 블록의 상측 노드, 우측 수직 블록의 가운데 노드, 우측 수직 블록의 하측 노드 순서로 스캐닝할 수 있다.
다른 일 실시예에 따라, 제트 스캔 순서를 유지하는 방법이 사용될 수도 있다. 예를 들어, 인코더 및 디코더는 픽쳐의 좌상측 블록으로부터 제트 스캔을 수행하되 특정 블록의 좌측에 인접한 블록이 복원된 경우에만 특정 블록을 스캔하는 방법을 사용할 수 있다. 구체적으로, 도 31(d)의 (2) 내지 (4)는 제트 스캔을 기반으로 하는 스캔 순서를 나타낸다.
상술한 본 발명의 실시예들은 다양한 수단을 통해 구현될 수 있다. 예를 들어, 본 발명의 실시예들은 하드웨어, 펌웨어(firmware), 소프트웨어 또는 그것들의 결합 등에 의해 구현될 수 있다.
하드웨어에 의한 구현의 경우, 본 발명의 실시예들에 따른 방법은 하나 또는 그 이상의 ASICs(Application Specific Integrated Circuits), DSPs(Digital Signal Processors), DSPDs(Digital Signal Processing Devices), PLDs(Programmable Logic Devices), FPGAs(Field Programmable Gate Arrays), 프로세서, 컨트롤러, 마이크로 컨트롤러, 마이크로 프로세서 등에 의해 구현될 수 있다.
펌웨어나 소프트웨어에 의한 구현의 경우, 본 발명의 실시예들에 따른 방법은 이상에서 설명된 기능 또는 동작들을 수행하는 모듈, 절차 또는 함수 등의 형태로 구현될 수 있다. 소프트웨어 코드는 메모리에 저장되어 프로세서에 의해 구동될 수 있다. 상기 메모리는 프로세서의 내부 또는 외부에 위치할 수 있으며, 이미 공지된 다양한 수단에 의해 프로세서와 데이터를 주고 받을 수 있다.
전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적인 것이 아는 것으로 해석해야 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.
본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.

Claims (20)

  1. 비디오 신호 처리 방법에 있어서,
    현재 블록의 주변 샘플들로 구성된 복수의 참조 라인들 중에서 상기 현재 블록의 인트라 예측에 사용되는 참조 라인을 나타내는 참조 라인 정보를 획득하는 단계;
    상기 참조 라인 정보에 기초하여, 인트라 예측 모드 세트를 구성하는 복수의 인트라 예측 모드들 중 상기 현재 블록을 위한 인트라 예측 모드를 결정하는 단계; 및
    상기 참조 라인 정보에 따른 참조 라인 상의 복수의 참조 샘플들 및 결정된 인트라 예측 모드를 기초로 상기 현재 블록을 디코딩하는 단계를 포함하고,
    상기 복수의 참조 라인들은 상기 현재 블록의 경계에 인접한 라인 상의 주변 샘플들로 구성된 제1 참조 라인 및 상기 현재 블록의 경계를 기준으로 특정 샘플 수만큼 이격된 라인 상의 주변 샘플들로 구성된 제2 참조 라인을 포함하는, 비디오 신호 처리 방법.
  2. 제1 항에 있어서,
    상기 현재 블록의 인트라 예측을 위한 참조 라인이 제1 참조 라인인 경우, 상기 인트라 예측 모드 세트는 제1 인트라 예측 모드 세트이고,
    상기 현재 블록의 인트라 예측을 위한 참조 라인이 상기 제1 참조 라인이 아닌 경우, 상기 인트라 예측 모드 세트는 상기 제1 인트라 예측 모드 세트를 구성하는 복수의 인트라 예측 모드들 중 일부로 구성된 제2 인트라 예측 모드 세트인, 비디오 신호 처리 방법.
  3. 제2 항에 있어서,
    상기 제2 인트라 예측 모드 세트는 복수의 각도 모드들(angular modes)로 구성된, 비디오 신호 처리 방법.
  4. 제3 항에 있어서,
    상기 제2 인트라 예측 모드 세트는 현재 블록의 주변 블록들 중 어느 하나에 대응하는 인트라 예측 모드를 기초로 결정된 기 설정된 개수의 각도 모드들로 구성된, 비디오 신호 처리 방법.
  5. 제4 항에 있어서,
    상기 현재 블록을 위한 상기 인트라 예측 모드를 결정하는 단계는,
    상기 제2 인트라 예측 모드 세트가 포함하는 기 설정된 개수의 각도 모드들 중 어느 하나를 나타내는 인트라 예측 모드 정보를 수신하는 단계;
    상기 인트라 예측 모드 정보를 기초로 상기 현재 블록을 위한 인트라 예측 모드를 결정하는 단계를 포함하는, 비디오 신호 처리 방법.
  6. 제2 항에 있어서,
    상기 인트라 예측 모드 세트는 상기 현재 블록의 상위 레벨 영역 내에서 상기 현재 블록의 상대적인 위치를 기초로 결정되는, 비디오 신호 처리 방법.
  7. 제6 항에 있어서,
    상기 방법은,
    상기 상위 레벨 영역 내에서 상기 현재 블록의 상대적인 위치에 따라 상기 현재 블록을 위한 상기 인트라 예측 모드 세트를 구성하는 단계를 포함하는, 비디오 신호 처리 방법.
  8. 제7 항에 있어서,
    상기 현재 블록이 상기 상위 레벨 영역의 상측 경계에 인접한 경우, 상기 참조 라인 정보는 상기 제1 참조 라인을 나타내는 것으로 간주되며,
    상기 현재 블록을 위한 상기 인트라 예측 모드 세트는 상기 제1 인트라 예측 모드 세트인, 비디오 신호 처리 방법.
  9. 제3 항에 있어서,
    상기 제1 인트라 예측 모드 세트는 복수의 각도 모드들 및 평면 모드(planar mode) 및 DC 모드(direct current mode) 를 포함하는, 비디오 신호 처리 방법.
  10. 제1 항에 있어서,
    상기 현재 블록의 경계는 상기 현재 블록의 좌측 또는 상측 경계인, 비디오 신호 처리 방법.
  11. 제1 항에 있어서,
    상기 특정 샘플 수는 기 설정된 샘플 수 보다 작거나 동일한 값인, 비디오 신호 처리 방법.
  12. 제11 항에 있어서,
    상기 샘플 수는 정수 픽셀의 개수를 나타내는, 비디오 신호 처리 방법.
  13. 비디오 신호 처리 장치에 있어서,
    프로세서를 포함하고,
    상기 프로세서는,
    현재 블록의 주변 샘플들로 구성된 복수의 참조 라인들 중에서 상기 현재 블록의 인트라 예측을 위한 참조 라인을 나타내는 참조 라인 정보를 획득하고,
    상기 참조 라인 정보에 기초하여, 인트라 예측 모드 세트를 구성하는 복수의 인트라 예측 모드들 중 상기 현재 블록을 위한 인트라 예측 모드를 결정하고,
    상기 참조 라인 정보에 따른 참조 라인 상의 복수의 참조 샘플들 및 결정된 인트라 예측 모드를 기초로 상기 현재 블록을 디코딩하며,
    상기 복수의 참조 라인들은 상기 현재 블록의 경계에 인접한 라인 상의 주변 샘플들로 구성된 제1 참조 라인 및 상기 현재 블록의 경계를 기준으로 특정 샘플 수만큼 이격된 라인 상의 주변 샘플들로 구성된 제2 참조 라인을 포함하는, 비디오 신호 처리 장치.
  14. 제13 항에 있어서,
    상기 현재 블록의 인트라 예측을 위한 참조 라인이 제1 참조 라인인 경우, 상기 인트라 예측 모드 세트는 제1 인트라 예측 모드 세트이고,
    상기 현재 블록의 인트라 예측을 위한 참조 라인이 상기 제1 참조 라인이 아닌 경우, 상기 인트라 예측 모드 세트는 상기 제1 인트라 예측 모드 세트를 구성하는 복수의 인트라 예측 모드들 중 일부로 구성된 제2 인트라 예측 모드 세트인, 비디오 신호 처리 장치.
  15. 제14 항에 있어서,
    상기 제2 인트라 예측 모드 세트는 복수의 각도 모드들(angular modes)로 구성된, 비디오 신호 처리 장치.
  16. 제15 항에 있어서,
    상기 제2 인트라 예측 모드 세트는 현재 블록의 주변 블록들 중 어느 하나에 대응하는 인트라 예측 모드를 기초로 결정된 기 설정된 개수의 각도 모드들로 구성된, 비디오 신호 처리 장치.
  17. 제16 항에 있어서,
    상기 프로세서는,
    상기 제2 인트라 예측 모드 세트가 포함하는 기 설정된 개수의 각도 모드들 중 어느 하나를 나타내는 인트라 예측 모드 정보를 수신하고,
    상기 인트라 예측 모드 정보를 기초로 상기 현재 블록을 위한 인트라 예측 모드를 결정하는, 비디오 신호 처리 장치.
  18. 제14 항에 있어서,
    상기 인트라 예측 모드 세트는 상기 현재 블록의 상위 레벨 영역 내에서 상기 현재 블록의 상대적인 위치를 기초로 결정되는, 비디오 신호 처리 장치.
  19. 제18 항에 있어서,
    상기 프로세서는,
    상기 상위 레벨 영역 내에서 상기 현재 블록의 상대적인 위치에 따라 상기 현재 블록을 위한 상기 인트라 예측 모드 세트를 구성하는, 비디오 신호 처리 장치.
  20. 제19 항에 있어서,
    상기 현재 블록이 상기 상위 레벨 영역의 상측 경계에 인접한 경우, 상기 참조 라인 정보는 상기 제1 참조 라인을 나타내는 것으로 간주되며,
    상기 현재 블록을 위한 상기 인트라 예측 모드 세트는 상기 제1 인트라 예측 모드 세트인, 비디오 신호 처리 장치.
PCT/KR2018/016604 2017-12-22 2018-12-24 비디오 신호 처리 방법 및 장치 WO2019125093A1 (ko)

Priority Applications (13)

Application Number Priority Date Filing Date Title
CN202310457445.1A CN116389732A (zh) 2017-12-22 2018-12-24 视频信号处理方法和设备
CN202310453298.0A CN116389730A (zh) 2017-12-22 2018-12-24 视频信号处理方法和设备
CN202310458674.5A CN116389734A (zh) 2017-12-22 2018-12-24 视频信号处理方法和设备
CN202310461623.8A CN116405674A (zh) 2017-12-22 2018-12-24 视频信号处理方法和设备
CN202310459384.2A CN116471404A (zh) 2017-12-22 2018-12-24 视频信号处理方法和设备
CN202310453302.3A CN116405672A (zh) 2017-12-22 2018-12-24 视频信号处理方法和设备
CN202310456514.7A CN116389731A (zh) 2017-12-22 2018-12-24 视频信号处理方法和设备
CN202310458495.1A CN116389733A (zh) 2017-12-22 2018-12-24 视频信号处理方法和设备
CN202310458479.2A CN116405673A (zh) 2017-12-22 2018-12-24 视频信号处理方法和设备
CN201880083011.7A CN111512628B (zh) 2017-12-22 2018-12-24 视频信号处理方法和设备
US16/907,081 US11140384B2 (en) 2017-12-22 2020-06-19 Encoding and decoding method and device for video using determined intra prediction mode and reference samples on a reference line
US17/412,212 US11659165B2 (en) 2017-12-22 2021-08-25 Video coding device and method using determined intra prediction mode based on upper boundary
US18/134,552 US20230254478A1 (en) 2017-12-22 2023-04-13 Video signal processing method and device

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
KR20170178796 2017-12-22
KR20170178884 2017-12-22
KR10-2017-0178796 2017-12-22
KR10-2017-0178884 2017-12-22
KR10-2018-0034742 2018-03-26
KR20180034742 2018-03-26

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US16/907,081 Continuation US11140384B2 (en) 2017-12-22 2020-06-19 Encoding and decoding method and device for video using determined intra prediction mode and reference samples on a reference line

Publications (1)

Publication Number Publication Date
WO2019125093A1 true WO2019125093A1 (ko) 2019-06-27

Family

ID=66993733

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2018/016604 WO2019125093A1 (ko) 2017-12-22 2018-12-24 비디오 신호 처리 방법 및 장치

Country Status (4)

Country Link
US (3) US11140384B2 (ko)
KR (2) KR20190076918A (ko)
CN (10) CN111512628B (ko)
WO (1) WO2019125093A1 (ko)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021013240A1 (en) * 2019-07-25 2021-01-28 Beijing Bytedance Network Technology Co., Ltd. Mapping restriction for intra-block copy virtual buffer
US11140384B2 (en) 2017-12-22 2021-10-05 Wilus Institute Of Standards And Technology Inc. Encoding and decoding method and device for video using determined intra prediction mode and reference samples on a reference line
US11575889B2 (en) 2019-09-05 2023-02-07 Beijing Bytedance Network Technology Co., Ltd. Range constrains for block vector in intra-block copy mode
US11638004B2 (en) 2019-09-23 2023-04-25 Beijing Bytedance Network Technology Co., Ltd. Setting intra-block copy virtual buffer based on virtual pipeline data unit
US11683476B2 (en) 2019-07-25 2023-06-20 Beijing Bytedance Network Technology Co., Ltd Size restriction for intra-block copy virtual buffer
US11778176B2 (en) 2020-03-18 2023-10-03 Beijing Bytedance Network Technology Co., Ltd. Intra block copy buffer and palette predictor update

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116684603A (zh) * 2017-03-31 2023-09-01 松下电器（美国）知识产权公司 图像编码装置、图像解码装置及存储介质
US10841578B2 (en) * 2018-02-12 2020-11-17 Tencent America LLC Method and apparatus for using an intra prediction coding tool for intra prediction of non-square blocks in video compression
EP3777177A1 (en) 2018-03-29 2021-02-17 FRAUNHOFER-GESELLSCHAFT zur Förderung der angewandten Forschung e.V. Apparatus for selecting an intra-prediction mode for padding
EP3562158A1 (en) * 2018-04-27 2019-10-30 InterDigital VC Holdings, Inc. Method and apparatus for combined intra prediction modes
KR20220107090A (ko) * 2018-05-10 2022-08-01 삼성전자주식회사 비디오 복호화 방법 및 장치, 비디오 부호화 방법 및 장치
JP2021523588A (ja) * 2018-05-14 2021-09-02 インターデジタル ヴイシー ホールディングス， インコーポレイテッド 四分木二分木のブロック形状適応イントラ予測方向
US10567752B2 (en) 2018-07-02 2020-02-18 Tencent America LLC Method and apparatus for intra prediction for non-square blocks in video compression
US10284844B1 (en) * 2018-07-02 2019-05-07 Tencent America LLC Method and apparatus for video coding
CN113039782B (zh) * 2018-08-31 2023-06-30 寰发股份有限公司 视频编解码中的子块去块方法及装置
BR112020027043A2 (pt) * 2018-09-03 2021-03-30 Huawei Technologies Co., Ltd. Método e decodificador para interpredição
US11095885B2 (en) 2018-10-05 2021-08-17 Tencent America LLC Mode list generation for multi-line intra prediction
US11445203B2 (en) * 2019-01-04 2022-09-13 Qualcomm Incorporated Sub-partition intra prediction in video coding
US11496748B2 (en) * 2019-03-21 2022-11-08 Tencent America LLC Method and apparatus for improved planar and DC modes for non-zero reference lines
US11019332B2 (en) * 2019-03-29 2021-05-25 Qualcomm Incorporated Chroma intra prediction in video coding
US11363284B2 (en) * 2019-05-09 2022-06-14 Qualcomm Incorporated Upsampling in affine linear weighted intra prediction
WO2021118309A1 (ko) * 2019-12-13 2021-06-17 주식회사 케이티 비디오 신호 처리 방법 및 장치
WO2023128648A1 (ko) * 2021-12-29 2023-07-06 엘지전자 주식회사 영상 인코딩/디코딩 방법 및 장치, 그리고 비트스트림을 저장한 기록 매체
WO2023219289A1 (ko) * 2022-05-12 2023-11-16 현대자동차주식회사 참조 화소에 기초하는 인트라 예측모드 유도를 위한 방법

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20090110336A (ko) * 2007-02-23 2009-10-21 니폰덴신뎅와 가부시키가이샤 영상 부호화 방법 및 복호 방법, 그들의 장치, 그들의 프로그램 및 프로그램을 기록한 기록매체
KR20120025174A (ko) * 2010-09-07 2012-03-15 에스케이 텔레콤주식회사 효과적인 화면내 예측모드 집합 선택을 이용한 영상 부호화/복호화 방법 및 장치
KR20170065668A (ko) * 2010-09-30 2017-06-13 선 페이턴트 트러스트 화상 복호 방법, 화상 부호화 방법, 화상 복호 장치, 화상 부호화 장치, 프로그램 및 집적 회로
WO2017176030A1 (ko) * 2016-04-06 2017-10-12 주식회사 케이티 비디오 신호 처리 방법 및 장치
WO2017205703A1 (en) * 2016-05-25 2017-11-30 Arris Enterprises Llc Improved weighted angular prediction coding for intra coding

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110068792A (ko) * 2009-12-16 2011-06-22 한국전자통신연구원 적응적 영상 부호화 장치 및 방법
WO2012134046A2 (ko) * 2011-04-01 2012-10-04 주식회사 아이벡스피티홀딩스 동영상의 부호화 방법
KR20240014614A (ko) * 2011-10-18 2024-02-01 엘지전자 주식회사 인트라 예측 방법 및 그 장치
JP2013141187A (ja) * 2012-01-06 2013-07-18 Sony Corp 画像処理装置及び画像処理方法
US10015515B2 (en) 2013-06-21 2018-07-03 Qualcomm Incorporated Intra prediction from a predictive block
KR101530782B1 (ko) * 2013-12-03 2015-06-22 연세대학교 산학협력단 영상 부호화 및 복호화 방법, 장치 및 시스템
KR102317682B1 (ko) * 2013-12-19 2021-10-26 삼성전자주식회사 인트라 예측을 수반한 비디오 부호화 방법 및 그 장치, 비디오 복호화 방법 및 그 장치
KR101847899B1 (ko) * 2014-02-12 2018-04-12 주식회사 칩스앤미디어 동영상 처리 방법 및 장치
WO2017084577A1 (en) 2015-11-18 2017-05-26 Mediatek Inc. Method and apparatus for intra prediction mode using intra prediction filter in video and image compression
WO2017105141A1 (ko) * 2015-12-17 2017-06-22 삼성전자 주식회사 영상을 부호화/복호화 하는 방법 및 그 장치
US10390021B2 (en) * 2016-03-18 2019-08-20 Mediatek Inc. Method and apparatus of video coding
WO2017204427A1 (ko) * 2016-05-23 2017-11-30 가온미디어 주식회사 영상 처리 방법, 그를 이용한 영상 복호화 및 부호화 방법
WO2017205701A1 (en) * 2016-05-25 2017-11-30 Arris Enterprises Llc Weighted angular prediction for intra coding
US10230961B2 (en) * 2016-06-03 2019-03-12 Mediatek Inc. Method and apparatus for template-based intra prediction in image and video coding
US10484712B2 (en) * 2016-06-08 2019-11-19 Qualcomm Incorporated Implicit coding of reference line index used in intra prediction
CN116708774A (zh) * 2016-07-18 2023-09-05 韩国电子通信研究院 图像编码/解码方法和装置以及存储比特流的记录介质
CN117041560A (zh) * 2016-12-07 2023-11-10 株式会社Kt 对图像信号进行解码或编码的方法和存储视频数据的设备
CN116684619A (zh) * 2017-11-28 2023-09-01 Lx 半导体科技有限公司 图像编码/解码方法、图像数据的传输方法和存储介质
CN111512628B (zh) 2017-12-22 2023-05-23 数码士有限公司 视频信号处理方法和设备

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20090110336A (ko) * 2007-02-23 2009-10-21 니폰덴신뎅와 가부시키가이샤 영상 부호화 방법 및 복호 방법, 그들의 장치, 그들의 프로그램 및 프로그램을 기록한 기록매체
KR20120025174A (ko) * 2010-09-07 2012-03-15 에스케이 텔레콤주식회사 효과적인 화면내 예측모드 집합 선택을 이용한 영상 부호화/복호화 방법 및 장치
KR20170065668A (ko) * 2010-09-30 2017-06-13 선 페이턴트 트러스트 화상 복호 방법, 화상 부호화 방법, 화상 복호 장치, 화상 부호화 장치, 프로그램 및 집적 회로
WO2017176030A1 (ko) * 2016-04-06 2017-10-12 주식회사 케이티 비디오 신호 처리 방법 및 장치
WO2017205703A1 (en) * 2016-05-25 2017-11-30 Arris Enterprises Llc Improved weighted angular prediction coding for intra coding

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11140384B2 (en) 2017-12-22 2021-10-05 Wilus Institute Of Standards And Technology Inc. Encoding and decoding method and device for video using determined intra prediction mode and reference samples on a reference line
US11659165B2 (en) 2017-12-22 2023-05-23 Humax Co., Ltd. Video coding device and method using determined intra prediction mode based on upper boundary
WO2021013240A1 (en) * 2019-07-25 2021-01-28 Beijing Bytedance Network Technology Co., Ltd. Mapping restriction for intra-block copy virtual buffer
US11533507B2 (en) 2019-07-25 2022-12-20 Beijing Bytedance Network Technology Co., Ltd. Mapping restriction for intra-block copy virtual buffer
US11683476B2 (en) 2019-07-25 2023-06-20 Beijing Bytedance Network Technology Co., Ltd Size restriction for intra-block copy virtual buffer
US11575889B2 (en) 2019-09-05 2023-02-07 Beijing Bytedance Network Technology Co., Ltd. Range constrains for block vector in intra-block copy mode
US11638004B2 (en) 2019-09-23 2023-04-25 Beijing Bytedance Network Technology Co., Ltd. Setting intra-block copy virtual buffer based on virtual pipeline data unit
US11778176B2 (en) 2020-03-18 2023-10-03 Beijing Bytedance Network Technology Co., Ltd. Intra block copy buffer and palette predictor update

Also Published As

Publication number Publication date
US11659165B2 (en) 2023-05-23
CN111512628B (zh) 2023-05-23
CN116389732A (zh) 2023-07-04
CN116389730A (zh) 2023-07-04
KR20190076918A (ko) 2019-07-02
US20210385441A1 (en) 2021-12-09
US20200322601A1 (en) 2020-10-08
US20230254478A1 (en) 2023-08-10
CN116389734A (zh) 2023-07-04
CN116405672A (zh) 2023-07-07
CN116405673A (zh) 2023-07-07
CN116389731A (zh) 2023-07-04
KR20230043814A (ko) 2023-03-31
CN111512628A (zh) 2020-08-07
CN116471404A (zh) 2023-07-21
US11140384B2 (en) 2021-10-05
CN116405674A (zh) 2023-07-07
CN116389733A (zh) 2023-07-04

Similar Documents

Publication Publication Date Title
WO2019125093A1 (ko) 비디오 신호 처리 방법 및 장치
WO2019083284A1 (ko) 비디오 신호 처리 방법 및 장치
WO2020222484A1 (ko) 인트라 예측 기반 비디오 신호 처리 방법 및 장치
WO2018080135A1 (ko) 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체
WO2017188652A1 (ko) 영상 부호화/복호화 방법 및 장치
WO2019147087A1 (ko) 비디오 신호 처리 방법 및 장치
WO2020162737A1 (ko) 이차 변환을 이용하는 비디오 신호 처리 방법 및 장치
WO2020050702A1 (ko) 다중 변환 커널을 사용하는 비디오 신호 처리 방법 및 장치
WO2020130600A1 (ko) 예측 모드를 시그널링하는 비디오 신호 처리 방법 및 장치
WO2015009009A1 (ko) 스케일러블 비디오 신호 인코딩/디코딩 방법 및 장치
WO2020076142A1 (ko) 교차성분 선형 모델을 이용한 비디오 신호 처리 방법 및 장치
WO2018070723A1 (ko) 영상의 부호화/복호화 방법 및 이를 위한 장치
WO2016204479A1 (ko) 영상의 부호화/복호화 방법 및 이를 위한 장치
WO2016129851A1 (ko) 비균등 위상 보간을 이용하여 비디오 신호를 인코딩, 디코딩하는 방법 및 장치
WO2021125751A1 (ko) 임의의 모양으로 분할되는 블록을 예측하는 방법 및 복호화 장치
WO2023219290A1 (ko) 크로마 성분별 인트라 예측모드의 부호화를 위한 방법 및 장치
WO2023132660A1 (ko) 종속 양자화를 이용한 비디오 신호 처리 방법 및 이를 위한 장치
WO2023224289A1 (ko) 가상의 참조라인을 사용하는 비디오 코딩을 위한 방법 및 장치
WO2023096472A1 (ko) 비디오 신호 처리 방법 및 이를 위한 장치
WO2023277535A1 (ko) 인트라 예측을 이용한 비디오 신호 처리 방법 및 이를 위한 장치
WO2023043296A1 (ko) Obmc를 이용한 비디오 신호 처리 방법 및 이를 위한 장치
WO2023182697A1 (ko) 인접 정보 기반 팔레트 모드를 이용하는 비디오 코딩을 위한 방법 및 장치
WO2023191332A1 (ko) 적응적 다중변환선택을 이용하는 비디오 코딩을 위한 방법 및 장치
WO2023055147A1 (ko) Mhp(multi-hypothesis prediction)모드에 기초한 비디오 신호 처리 방법 및 이를 위한 장치
WO2023055220A1 (ko) 참조 픽쳐를 기초로 인트라 예측 모드를 결정하는 비디오 신호 처리 방법 및 이를 위한 장치

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18890163

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18890163

Country of ref document: EP

Kind code of ref document: A1